CN117240505B - 一种基于数据治理平台的预警处理方法及系统 - Google Patents
一种基于数据治理平台的预警处理方法及系统 Download PDFInfo
- Publication number
- CN117240505B CN117240505B CN202311026211.8A CN202311026211A CN117240505B CN 117240505 B CN117240505 B CN 117240505B CN 202311026211 A CN202311026211 A CN 202311026211A CN 117240505 B CN117240505 B CN 117240505B
- Authority
- CN
- China
- Prior art keywords
- data
- information
- features
- data source
- characteristic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013523 data management Methods 0.000 title claims abstract description 95
- 238000003672 processing method Methods 0.000 title claims abstract description 12
- 238000012544 monitoring process Methods 0.000 claims abstract description 78
- 230000002159 abnormal effect Effects 0.000 claims abstract description 74
- 238000007726 management method Methods 0.000 claims abstract description 33
- 230000009471 action Effects 0.000 claims abstract description 28
- 238000000034 method Methods 0.000 claims abstract description 16
- 230000001960 triggered effect Effects 0.000 claims abstract description 12
- 230000008569 process Effects 0.000 claims abstract description 10
- 238000012986 modification Methods 0.000 claims description 34
- 230000004048 modification Effects 0.000 claims description 34
- 238000007792 addition Methods 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 19
- 238000013500 data storage Methods 0.000 claims description 18
- 238000012217 deletion Methods 0.000 claims description 18
- 230000037430 deletion Effects 0.000 claims description 18
- 238000000605 extraction Methods 0.000 claims description 12
- 238000012423 maintenance Methods 0.000 claims description 10
- 230000005856 abnormality Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 230000001105 regulatory effect Effects 0.000 claims description 2
- 238000011084 recovery Methods 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013524 data verification Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Abstract
本发明公开一种基于数据治理平台的预警处理方法，包括步骤：S1、提取数据源的相同特征或者根据数据治理平台已有管理分类标准，建立数据治理平台数据源的关系型数据库；S2、对关系型数据库中相关数据组或表建立异常监听规则；S3、判断数据治理平台用户使用数据治理平台过程中是否触发关系型数据库中相关数据组建立的异常监听规则，若触发异常监听规则，则进入步骤S4，若没有触发异常监听规则，则结束异常监听规则的流程；S4、识别其触发异常监听规则对数据治理平台的数据源和元数据进行的具体动作；S5、根据步骤S4识别的具体动作反馈至监控端。本发明解决了现有数据治理平台的数据缺乏对已经出现恶意操作的数据源进行预警或记录的问题。
Description
技术领域
本发明属于数据安全处理技术领域，具体来说，涉及一种基于数据治理平台的预警处理方法及系统。
背景技术
数据治理是实现对企业数据的可用性、易用性、安全性等的整体管理。当前数据治理尚未制定出足够成熟的行业标准，主要针对传统数据管理普遍存在的问题，例如缺少数据标准、数据质量差、管理体系不完善、缺少数据安全保障等问题进行相关设计与解决。并且数据治理平台往往是结合具体领域的特定需求或特定方案开发的。数据治理通常涉及元数据管理、数据质量管理、数据标准管理、数据生命周期管理以及数据安全管理等。其中数据标准管理、元数据管理和权限管理模块是数据治理过程中的重要组成部分。数据治理平台中包含监测预警模块，用于在规则执行失败时向用户显示预警信息，平台内配置的监控规则每天都会定时执行，规则执行失败就会触发一条预警事件。
在专利号为CN201910660102.9的中国发明专利中，公开了一种基于数据治理平台的预警处理方法，包括以下步骤：执行数据治理平台的规则任务，并检测所述数据治理平台规则任务的执行结果；当所述数据治理平台规则任务的执行结果为执行失败时，生成预警事件；生成与所述预警事件相关联的任务失败相关信息，并发送与预警事件对应的预警信息。通过详细记录规则执行失败的原因，为后续的解决问题提供依据，减少处理问题的时间，提高效率。
现有专利的缺陷在于，上述专利虽然实现了通过详细记录规则执行失败的原因，为后续的解决问题提供依据；但现有技术缺乏对数据治理平台的数据已经出现恶意删除或修改的数据源(由于元数据的特性)进行预警或记录，不便于后续数据的恢复处理，导致部分数据丢失。
发明内容
针对现有数据治理平台的数据缺乏对已经出现恶意操作的数据源进行预警或记录的问题，本发明提供了一种基于数据治理平台的预警处理方法及系统。
为实现上述技术目的，本发明采用的技术方案如下：
一种基于数据治理平台的预警处理方法，包括步骤：
S1、提取数据源的相同特征或者根据数据治理平台已有管理分类标准，建立数据治理平台数据源的关系型数据库；
S2、对关系型数据库中相关数据组或表建立异常监听规则；
S3、判断数据治理平台用户使用数据治理平台过程中是否触发关系型数据库中相关数据组建立的异常监听规则，若触发异常监听规则，则进入步骤S4，若没有触发异常监听规则，则结束异常监听规则的流程；
S4、识别其触发异常监听规则对数据治理平台的数据源和元数据进行的具体动作；
S5、根据步骤S4识别的具体动作反馈至监控端。
进一步地，提取数据源的相同特征的步骤包括：
S1010、对单个数据源进行处理；如对单个数据源中的数据进行元数据发现或者数据验证等操作处理。
S1011、收集单个数据源的处理结果，并对其进行数据转换，转换为标准统一的数据格式；
S1012、对步骤S1011处理后的单个数据源生成相应特征/信息的数据组；
S1013、根据多个数据源中相应数据组的特征或信息相互匹配查找相同数据特征。
进一步地，数据治理平台已有管理分类标准包括：数据源的物理资源信息特征、数据源存储信息特征、数据源的计算过程信息特征、数据源质量信息特征、数据源使用信息特征、数据源运维信息特征、数据源标准化内容信息特征和数据源安全信息特征。
进一步地，步骤S1中关系型数据库建立具体步骤包括：
S101、通过提取数据源的相同特征或者根据数据治理平台已有管理分类标准，获取多个数据源的数据特征或信息特征；
S102、根据多个数据源的数据特征或信息特征匹配筛选具有相同数据特征或信息特征的数据源；
S103、根据筛选的相同数据特征或信息特征的数据源建立关系型数据存储表，写入关系型数据库中。
进一步地，异常监听规则包括数据源数据非法增加、删除、修改和查看，或者数据治理平台的元数据非法增加、删除和修改。有的数据源数据是隐私数据，是不对用户以外的其它用户查看的，元数据通常为默认的都可以查看浏览的数据，所以不需要异常监听规则监测其查看字段或代码。
进一步地，步骤S2和S3的详细步骤包括：
S201、通过插件调用数据源和元数据在关系型数据库存储的相同数据特征或信息特征；插件写入有查询数据源和元数据存储的相同数据特征或信息特征的代码(数据查询语句)和相应查询指令。
S202、在数据治理平台上运行该插件，获取数据源和元数据中的查询结果；
S203、判断在关系型数据库连接的虚拟机中匹配查询结果与前一次历史查询结果是否一致，若不一致，则判定为前一次查询之后有异常非法操作数据源或元数据，进入步骤S204，若一致，则判定为没有异常，结束异常监听规则的流程；虚拟机提供查询结果与历史查询结果比对环境，记录每一次历史查询结果和查询的相同数据特征或信息特征。此处当前查询结果与前一次历史查询结果的中间时间段内需排除数据治理平台用户端合法对数据源和元数据的修改和增减。适用于带有隐私性的数据源和元数据，基本不会产生修改的数据源和元数据的监控或监听。或者在每一次数据源和元数据的修改和增减之后，立即新建一次虚拟机匹配判断一致性流程，用于后续数据源和元数据的监控或监听。
S204、触发异常监听规则，发送虚拟机一致性判断结果至数据治理平台的维护端。
进一步地，步骤S4的详细步骤包括：
S401、根据步骤S203的判断结果，若有异常非法操作数据源或元数据，进一步匹配查询关键字段；
S402、识别当前相同数据特征或信息特征的字段查询结果与前一次历史相同数据特征或信息特征的字段查询结果差异的字段，根据不同的数据特征或信息特征的字段，分别进入步骤S403、S404或S405；判断当前查询结果与前一次历史结果差异的具体字段。
S403、若当前查询结果比前一次查询结果多N个数据特征或信息特征的字段，则判定前一次查询后到当前时间段有异常增加N个数据特征或信息特征的字段；
S404、若当前查询结果比前一次查询结果少N个数据特征或信息特征的字段，则判定前一次查询后到当前时间段有异常删除N个数据特征或信息特征的字段；
S405、若当前查询结果与前一次查询结果数据特征或信息特征的字段相同，但有N个数据特征或信息特征的字段不同，则判定前一次查询后到当前时间段有异常修改N个数据特征或信息特征的字段。
进一步地，还包括步骤S6，监控端根据步骤S402识别的具体差异的字段，匹配其反向写入插件，将相应数据特征或信息特征的字段还原至数据源或元数据存储数据库中；其详细步骤包括：
S601、根据监控端获取的具体动作流程，判断其需匹配不同的反向写入插件；
S602、若监控端获取的具体动作流程为异常增加N个数据特征或信息特征的字段，则提取增加N个数据特征或信息特征的字段，并匹配反向写入插件中删除数据特征或信息特征的SQL语句，完成N个数据特征或信息特征字段的删除，更新数据源或元数据的存储数据库；
S603、若监控端获取的具体动作流程为异常删除N个数据特征或信息特征的字段，则提取删除N个数据特征或信息特征的字段，并匹配反向写入插件中添加数据特征或信息特征的SQL语句，完成N个数据特征或信息特征字段的增加，更新数据源或元数据的存储数据库；
S604、若监控端获取的具体动作流程为异常修改N个数据特征或信息特征的字段，则提取修改N个数据特征或信息特征的字段，并匹配反向写入插件中修改数据特征或信息特征的SQL语句，完成N个数据特征或信息特征字段的修改，更新数据源或元数据的存储数据库；还可以通过提取当前查询结果有差异N个数据特征或信息特征的字段，匹配反向写入插件中删除数据特征或信息特征的SQL语句，完成N个数据特征或信息特征字段的删除；再通过提取前一次历史查询结果有差异N个数据特征或信息特征的字段，匹配反向写入插件中添加数据特征或信息特征的SQL语句，完成N个数据特征或信息特征字段的添加，实现前一次查询结果到当前查询结果异常添加、删除和修改的相同数据特征或信息特征的字段。
S605、根据增加、删除和修改的相同数据特征或信息特征和数据源重新建立关系型数据存储表，写入关系型数据库中。确保更新后的数据源和元数据得到建立数据治理平台数据源的关系型数据库的更新，重新建立关系型数据库中相关数据组或表建立异常监听规则。同时对元数据信息特征管理分类标准得到更新，确保数据治理平台获取的信息最新，
一种基于数据治理平台的预警处理系统，包括关系型数据库建立单元、异常监听规则建立单元、触发异常动作流程识别单元、异常操作数据还原单元和关系型数据库；
关系型数据库建立单元包括数据源的相同特征提取模块、元数据信息特征提取模块和关系型数据库建立模块；
数据源的相同特征提取模块，用于直接提取数据源的相同特征；在缺乏数据治理平台得管理分类标准情况下，直接通过多个数据源中相应特征/信息的数据组的特征或信息相互匹配查找相同数据特征。
元数据信息特征提取模块，用于根据数据治理平台已有不同管理分类标准获取对应元数据的多种数据源信息特征；
关系型数据库建立模块，根据筛选的相同数据特征或信息特征和数据源建立关系型数据存储表，写入关系型数据库中；
异常监听规则建立单元包括相同数据特征或信息特征调用模块、虚拟机、历史结果匹配判断模块和一致性判断结果信息发送模块；
相同数据特征或信息特征调用模块，通过模块内设置的插件调用写入有查询数据源和元数据存储的相同数据特征或信息特征的查询语句；
虚拟机，用于运行插件，获取数据源和元数据中的查询结果提供运行环境；
历史结果匹配判断模块，用于判断当前相同数据特征或信息特征的匹配查询结果与前一次历史查询结果是否一致；
一致性判断结果信息发送模块，用于将判断结果不一致或触发异常监听规则的信息发送至数据治理平台的维护端；
触发异常动作流程识别单元包括识别异常增加数据特征或信息特征模块、识别异常删除数据特征或信息特征模块和识别异常修改数据特征或信息特征模块；
识别异常增加数据特征或信息特征模块，用于识别对数据治理平台的数据源数据特征异常增加和对数据治理平台的元数据信息特征异常增加动作；
识别异常删除数据特征或信息特征模块，用于识别对数据治理平台的数据源数据特征异常删除和对数据治理平台的元数据信息特征异常删除动作；
识别异常修改数据特征或信息特征模块，用于识别对数据治理平台的数据源数据特征异常修改和对数据治理平台的元数据信息特征异常修改动作；
异常操作数据还原单元包括增加数据源或元数据存储数据模块、删除数据源或元数据存储数据模块和修改数据源或元数据存储数据模块；
增加数据源或元数据存储数据模块，用于对异常删除的数据源或元数据存储数据进行还原添加；
删除数据源或元数据存储数据模块，用于对异常添加的数据源或元数据存储数据进行还原删除；
修改数据源或元数据存储数据模块，用于对异常修改的数据源或元数据存储数据进行还原修改；
关系型数据库，用于存储数据源的相同特征和数据治理平台已有管理分类标准信息特征的相关数据组或表。
本发明相比现有技术，具有如下有益效果：
通过对数据治理平台的数据源和元数据已有管理分类标准的提取，建立关系型数据库，再通过关系型数据库的关数据组或表建立异常监听规则，实现对数据源和元数据的非法增加、删除和修改的监听，同时通过识别当前相同数据特征或信息特征的字段查询结果与前一次历史相同数据特征或信息特征的字段查询结果差异的字段，具体判定其对数据治理平台的数据源和元数据进行的具体动作流程，便于后续数据源和元数据的恢复处理，防止已经出现恶意删除或修改的数据源和元数据难以恢复的现象产生。
附图说明
图1为本发明实施例中一种基于数据治理平台的预警处理方法的整体流程图；
图2为本发明实施例中提取数据源的相同特征的步骤的流程图；
图3为本发明实施例中步骤S1中关系型数据库建立具体步骤的流程图；
图4为本发明实施例中步骤S2和S3的详细步骤流程图；
图5为本发明实施例中步骤S4的详细步骤流程图；
图6为本发明实施例中步骤S6的详细步骤流程图；
图7为本发明实施例中一种基于数据治理平台的预警处理系统的结构框图。
图中标记说明：10-关系型数据库建立单元，20-异常监听规则建立单元，30-触发异常动作流程识别单元，40-异常操作数据还原单元，50-关系型数据库。
具体实施方式
为了便于本领域技术人员的理解，下面结合实施例与附图对本发明作进一步的说明，实施方式提及的内容并非对本发明的限定。
如图1所示，本实施例提供了一种基于数据治理平台的预警处理方法，包括步骤：S1、提取数据源的相同特征或者根据数据治理平台已有管理分类标准，建立数据治理平台数据源的关系型数据库；S2、对关系型数据库中相关数据组或表建立异常监听规则；S3、判断数据治理平台用户使用数据治理平台过程中是否触发关系型数据库中相关数据组建立的异常监听规则，若触发异常监听规则，则进入步骤S4，若没有触发异常监听规则，则结束异常监听规则的流程；S4、识别其触发异常监听规则对数据治理平台的数据源和元数据进行的具体动作；S5、根据步骤S4识别的具体动作反馈至监控端。
如图2所示，提取数据源的相同特征的步骤包括：
S1010、对单个数据源进行处理；如对单个数据源中的数据进行元数据发现或者数据验证等操作处理。
S1011、收集单个数据源的处理结果，并对其进行数据转换，转换为标准统一的数据格式；
S1012、对步骤S1011处理后的单个数据源生成相应特征/信息的数据组；
S1013、根据多个数据源中数据组的特征或信息相互匹配查找相同数据特征。多个数据源可以相应特征/信息的数据组的特征或信息看作数据对象和数据对象之间的关系，通过分析从数据源处上报的数据模型，进行语法和语义分析，抽取出数据属性粒度的名称、类型、取值等关键信息，根据这些关键信息生成数据属性级别的数据特征。
数据治理平台已有管理分类标准包括：数据源的物理资源信息特征、数据源存储信息特征、数据源的计算过程信息特征、数据源质量信息特征、数据源使用信息特征、数据源运维信息特征、数据源标准化内容信息特征和数据源安全信息特征。
数据源的物理资源信息特征描述物理资源的元数据，包括服务器、操作系统、机房位置等信息。数据源存储信息特征包括数据源地址（IP、PORT等）、物理拓扑（设备、角色等）、权限（用户名、口令等）、库名、版本、域名等信息。数据源的计算过程信息特征通常可分为数据抽取（ETL）或数据加工（job）两类计算，每类计算又可以进一步细分控制元数据（配置属性、调度策略等）、过程元数据（依赖关系、执行状态 、执行日志等）。数据源质量信息特征通常情况下是通过定义一系列质量指标反映数据质量。数据源使用信息特征包括数据产出（产出时间、作业信息等）、表访问（查询、关联、聚合等）、表关联（关联表、关联字段、关联类型、关联次数等）、字段访问（查询、关联、聚合、过滤等）。数据源运维信息特征包括计算成本（CPU、MEM等）、存储成本（空间、压缩率等）。数据源标准化内容信息特征包括代码管理（转换规则、对外接口等）、映射管理、数据展示（样式、规则、语义、单位等）。数据源安全信息特征包括安全等级、数据敏感性（是否敏感、脱敏算法等）。
如多个字段或者表的数据源存储信息特征的数据源地址和库名、数据源安全信息特征的安全等级均为一致或者相同的，则关系型数据库数据组存储表如下：
上述关系型数据库建立存储后，供后续查询相关字段：数据源存储信息特征的数据源地址和库名、数据源安全信息特征的安全等级；其显示结果都为字段A、字段B和字段C（前一次查询和后一次查询中途有修改权限的用户没有对相关内容进行修改），若数据治理平台已有管理分类标准元数据经过修改，该类关系型数据库需更新修改，并生成新的虚拟机中匹配查询结果，作为第一查询结果，用于后续查询结果的验证判断标准。
如图3所示，步骤S1中关系型数据库建立具体步骤包括：
S101、通过提取数据源的相同特征或者根据数据治理平台已有管理分类标准，获取多个数据源的数据特征或信息特征；
S102、根据多个数据源的数据特征或信息特征匹配筛选具有相同数据特征或信息特征的数据源；
S103、根据筛选的相同数据特征或信息特征的数据源建立关系型数据存储表，写入关系型数据库中。
异常监听规则包括数据源数据非法增加、删除、修改和查看，或者数据治理平台的元数据非法增加、删除和修改。有的数据源数据是隐私数据，是不对用户以外的其它用户查看的，元数据通常为默认的都可以查看浏览的数据，所以不需要异常监听规则监测其查看字段或代码。
如图4所示，步骤S2和S3的详细步骤包括：
S201、通过插件调用数据源和元数据在关系型数据库存储的相同数据特征或信息特征；插件写入有查询数据源和元数据存储的相同数据特征或信息特征的代码(数据查询语句)和相应查询指令。
S202、在数据治理平台上运行该插件，获取数据源和元数据中的查询结果；
S203、判断在关系型数据库连接的虚拟机中匹配查询结果与前一次历史查询结果是否一致，若不一致，则判定为前一次查询之后有异常非法操作数据源或元数据，进入步骤S204，若一致，则判定为没有异常，结束异常监听规则的流程；虚拟机提供查询结果与历史查询结果比对环境，记录每一次历史查询结果和查询的相同数据特征或信息特征。此处当前查询结果与前一次历史查询结果的中间时间段内需排除数据治理平台用户端合法对数据源和元数据的修改和增减。适用于带有隐私性的数据源和元数据，基本不会产生修改的数据源和元数据的监控或监听。或者在每一次数据源和元数据的修改和增减之后，立即新建一次虚拟机匹配判断一致性流程，用于后续数据源和元数据的监控或监听。
S204、触发异常监听规则，发送虚拟机一致性判断结果至数据治理平台的维护端。
如图5所示，步骤S4的详细步骤包括：
S401、根据步骤S203的判断结果，若有异常非法操作数据源或元数据，进一步匹配查询关键字段；
S402、识别当前相同数据特征或信息特征的字段查询结果与前一次历史相同数据特征或信息特征的字段查询结果差异的字段，根据不同的数据特征或信息特征的字段，分别进入步骤S403、S404或S405；判断当前查询结果与前一次历史结果差异的具体字段。
S403、若当前查询结果比前一次查询结果多N个数据特征或信息特征的字段，则判定前一次查询后到当前时间段有异常增加N个数据特征或信息特征的字段；
S404、若当前查询结果比前一次查询结果少N个数据特征或信息特征的字段，则判定前一次查询后到当前时间段有异常删除N个数据特征或信息特征的字段；
S405、若当前查询结果与前一次查询结果数据特征或信息特征的字段相同，但有N个数据特征或信息特征的字段不同，则判定前一次查询后到当前时间段有异常修改N个数据特征或信息特征的字段。
如图6所示，还包括步骤S6，监控端根据步骤S402识别的具体差异的字段，匹配其反向写入插件，将相应数据特征或信息特征的字段还原至数据源或元数据存储数据库中；其详细步骤包括：
S601、根据监控端获取的具体动作流程，判断其需匹配不同的反向写入插件；
S602、若监控端获取的具体动作流程为异常增加N个数据特征或信息特征的字段，则提取增加N个数据特征或信息特征的字段，并匹配反向写入插件中删除数据特征或信息特征的SQL语句，完成N个数据特征或信息特征字段的删除，更新数据源或元数据的存储数据库；
S603、若监控端获取的具体动作流程为异常删除N个数据特征或信息特征的字段，则提取删除N个数据特征或信息特征的字段，并匹配反向写入插件中添加数据特征或信息特征的SQL语句，完成N个数据特征或信息特征字段的增加，更新数据源或元数据的存储数据库；
S604、若监控端获取的具体动作流程为异常修改N个数据特征或信息特征的字段，则提取修改N个数据特征或信息特征的字段，并匹配反向写入插件中修改数据特征或信息特征的SQL语句，完成N个数据特征或信息特征字段的修改，更新数据源或元数据的存储数据库；还可以通过提取当前查询结果有差异N个数据特征或信息特征的字段，匹配反向写入插件中删除数据特征或信息特征的SQL语句，完成N个数据特征或信息特征字段的删除；再通过提取前一次历史查询结果有差异N个数据特征或信息特征的字段，匹配反向写入插件中添加数据特征或信息特征的SQL语句，完成N个数据特征或信息特征字段的添加，实现前一次查询结果到当前查询结果异常添加、删除和修改的相同数据特征或信息特征的字段。
S605、根据增加、删除和修改的相同数据特征或信息特征和数据源重新建立关系型数据存储表，写入关系型数据库中。确保更新后的数据源和元数据得到建立数据治理平台数据源的关系型数据库的更新，重新建立关系型数据库中相关数据组或表建立异常监听规则。
如图7所示，一种基于数据治理平台的预警处理系统，包括关系型数据库建立单元10、异常监听规则建立单元20、触发异常动作流程识别单元30、异常操作数据还原单元40和关系型数据库50；
关系型数据库建立单元10包括数据源的相同特征提取模块、元数据信息特征提取模块和关系型数据库建立模块；
数据源的相同特征提取模块，用于直接提取数据源的相同特征；在缺乏数据治理平台得管理分类标准情况下，直接通过多个数据源中相应特征/信息的数据组的特征或信息相互匹配查找相同数据特征。
元数据信息特征提取模块，用于根据数据治理平台已有不同管理分类标准获取对应元数据的多种数据源信息特征；
关系型数据库建立模块，根据筛选的相同数据特征或信息特征和数据源建立关系型数据存储表，写入关系型数据库50中；
异常监听规则建立单元20包括相同数据特征或信息特征调用模块、虚拟机、历史结果匹配判断模块和一致性判断结果信息发送模块；
相同数据特征或信息特征调用模块，通过模块内设置的插件调用写入有查询数据源和元数据存储的相同数据特征或信息特征的查询语句；
虚拟机，用于运行插件，获取数据源和元数据中的查询结果提供运行环境；
历史结果匹配判断模块，用于判断当前相同数据特征或信息特征的匹配查询结果与前一次历史查询结果是否一致；
一致性判断结果信息发送模块，用于将判断结果不一致或触发异常监听规则的信息发送至数据治理平台的维护端；
触发异常动作流程识别单元30包括识别异常增加数据特征或信息特征模块、识别异常删除数据特征或信息特征模块和识别异常修改数据特征或信息特征模块；
识别异常增加数据特征或信息特征模块，用于识别对数据治理平台的数据源数据特征异常增加和对数据治理平台的元数据信息特征异常增加动作；
识别异常删除数据特征或信息特征模块，用于识别对数据治理平台的数据源数据特征异常删除和对数据治理平台的元数据信息特征异常删除动作；
识别异常修改数据特征或信息特征模块，用于识别对数据治理平台的数据源数据特征异常修改和对数据治理平台的元数据信息特征异常修改动作；
异常操作数据还原单元40包括增加数据源或元数据存储数据模块、删除数据源或元数据存储数据模块和修改数据源或元数据存储数据模块；
增加数据源或元数据存储数据模块，用于对异常删除的数据源或元数据存储数据进行还原添加；
删除数据源或元数据存储数据模块，用于对异常添加的数据源或元数据存储数据进行还原删除；
修改数据源或元数据存储数据模块，用于对异常修改的数据源或元数据存储数据进行还原修改；
关系型数据库50，用于存储数据源的相同特征和数据治理平台已有管理分类标准信息特征的相关数据组或表。
本发明相比现有技术，具有如下有益效果：
通过对数据治理平台的数据源和元数据已有管理分类标准的提取，建立关系型数据库，再通过关系型数据库的关数据组或表建立异常监听规则，实现对数据源和元数据的非法增加、删除和修改的监听，同时通过识别当前相同数据特征或信息特征的字段查询结果与前一次历史相同数据特征或信息特征的字段查询结果差异的字段，具体判定其对数据治理平台的数据源和元数据进行的具体动作流程，便于后续数据源和元数据的恢复处理，防止已经出现恶意删除或修改的数据源和元数据难以恢复的现象产生。
以上对本申请提供的一种基于数据治理平台的预警处理方法及系统进行了详细介绍。具体实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。
Claims (3)
1.一种基于数据治理平台的预警处理方法，其特征在于，包括步骤：
S1、提取数据源的相同特征或者根据数据治理平台已有管理分类标准，建立数据治理平台数据源的关系型数据库；
S2、对关系型数据库中相关数据组或表建立异常监听规则；
S3、判断数据治理平台用户使用数据治理平台过程中是否触发关系型数据库中相关数据组建立的异常监听规则，若触发异常监听规则，则进入步骤S4，若没有触发异常监听规则，则结束异常监听规则的流程；
S4、识别其触发异常监听规则对数据治理平台的数据源和元数据进行的具体动作；
S5、根据步骤S4识别的具体动作反馈至监控端；
提取数据源的相同特征的步骤包括：
S1010、对单个数据源进行处理；
S1011、收集单个数据源的处理结果，并对其进行数据转换，转换为标准统一的数据格式；
S1012、对步骤S1011处理后的单个数据源生成相应特征/信息的数据组；
S1013、根据多个数据源中数据组的特征或信息相互匹配查找相同数据特征；
数据治理平台已有管理分类标准包括：数据源的物理资源信息特征、数据源存储信息特征、数据源的计算过程信息特征、数据源质量信息特征、数据源使用信息特征、数据源运维信息特征、数据源标准化内容信息特征和数据源安全信息特征；
步骤S1中关系型数据库建立具体步骤包括：
S101、通过提取数据源的相同特征或者根据数据治理平台已有管理分类标准，获取多个数据源的数据特征或信息特征；
S102、根据多个数据源的数据特征或信息特征匹配筛选具有相同数据特征或信息特征的数据源；
S103、根据筛选的相同数据特征或信息特征的数据源建立关系型数据存储表，写入关系型数据库中；
异常监听规则包括数据源数据非法增加、删除、修改和查看，或者数据治理平台的元数据非法增加、删除和修改；
步骤S2和S3的详细步骤包括：
S201、通过插件调用相同数据特征或信息特征；
S202、在数据治理平台上运行该插件，获取数据源和元数据中的查询结果；
S203、判断在关系型数据库连接的虚拟机中匹配查询结果与前一次历史查询结果是否一致，若不一致，则判定为前一次查询之后有异常非法操作数据源或元数据，进入步骤S204，若一致，则判定为没有异常，结束异常监听规则的流程；
S204、触发异常监听规则，发送虚拟机一致性判断结果至数据治理平台的维护端；
步骤S4的详细步骤包括：
S401、根据步骤S203的判断结果，若有异常非法操作数据源或元数据，进一步匹配查询关键字段；
S402、识别当前相同数据特征或信息特征的字段查询结果与前一次历史相同数据特征或信息特征的字段查询结果差异的字段，根据不同的数据特征或信息特征的字段，分别进入步骤S403、S404或S405；
S403、若当前查询结果比前一次查询结果多N个数据特征或信息特征的字段，则判定前一次查询后到当前时间段有异常增加N个数据特征或信息特征的字段；
S404、若当前查询结果比前一次查询结果少N个数据特征或信息特征的字段，则判定前一次查询后到当前时间段有异常删除N个数据特征或信息特征的字段；
S405、若当前查询结果与前一次查询结果数据特征或信息特征的字段相同，但有N个数据特征或信息特征的字段不同，则判定前一次查询后到当前时间段有异常修改N个数据特征或信息特征的字段。
2.根据权利要求1所述的一种基于数据治理平台的预警处理方法，其特征在于，还包括步骤S6，监控端根据步骤S402识别的具体差异的字段，匹配其反向写入插件，将相应数据特征或信息特征的字段还原至数据源或元数据存储数据库中；其详细步骤包括：
S601、根据监控端获取的具体动作流程，判断其需匹配不同的反向写入插件；
S602、若监控端获取的具体动作流程为异常增加N个数据特征或信息特征的字段，则提取增加N个数据特征或信息特征的字段，并匹配反向写入插件中删除数据特征或信息特征的SQL语句，完成N个数据特征或信息特征字段的删除，更新数据源或元数据的存储数据库；
S603、若监控端获取的具体动作流程为异常删除N个数据特征或信息特征的字段，则提取删除N个数据特征或信息特征的字段，并匹配反向写入插件中添加数据特征或信息特征的SQL语句，完成N个数据特征或信息特征字段的增加，更新数据源或元数据的存储数据库；
S604、若监控端获取的具体动作流程为异常修改N个数据特征或信息特征的字段，则提取修改N个数据特征或信息特征的字段，并匹配反向写入插件中修改数据特征或信息特征的SQL语句，完成N个数据特征或信息特征字段的修改，更新数据源或元数据的存储数据库；
S605、根据增加、删除和修改的相同数据特征或信息特征和数据源重新建立关系型数据存储表，写入关系型数据库中。
3.一种基于数据治理平台的预警处理系统，其特征在于，包括关系型数据库建立单元(10)、异常监听规则建立单元(20)、触发异常动作流程识别单元(30)、异常操作数据还原单元(40)和关系型数据库(50)；
关系型数据库建立单元(10)包括数据源的相同特征提取模块、元数据信息特征提取模块和关系型数据库建立模块；
数据源的相同特征提取模块，用于直接提取数据源的相同特征；在缺乏数据治理平台的管理分类标准情况下，直接通过多个数据源中相应特征/信息的数据组的特征或信息相互匹配查找相同数据特征；
元数据信息特征提取模块，用于根据数据治理平台已有不同管理分类标准获取对应元数据的多种数据源信息特征；
关系型数据库建立模块，根据筛选的相同数据特征或信息特征和数据源建立关系型数据存储表，写入关系型数据库(50)中；
异常监听规则建立单元(20)包括相同数据特征或信息特征调用模块、虚拟机、历史结果匹配判断模块和一致性判断结果信息发送模块；
相同数据特征或信息特征调用模块，通过模块内设置的插件调用写入有查询数据源和元数据存储的相同数据特征或信息特征的查询语句；
虚拟机，用于运行插件，获取数据源和元数据中的查询结果，提供运行环境；
历史结果匹配判断模块，用于判断当前相同数据特征或信息特征的匹配查询结果与前一次历史查询结果是否一致；
一致性判断结果信息发送模块，用于将判断结果不一致或触发异常监听规则的信息发送至数据治理平台的维护端；
触发异常动作流程识别单元(30)包括识别异常增加数据特征或信息特征模块、识别异常删除数据特征或信息特征模块和识别异常修改数据特征或信息特征模块；
识别异常增加数据特征或信息特征模块，用于识别对数据治理平台的数据源数据特征异常增加和对数据治理平台的元数据信息特征异常增加动作；
识别异常删除数据特征或信息特征模块，用于识别对数据治理平台的数据源数据特征异常删除和对数据治理平台的元数据信息特征异常删除动作；
识别异常修改数据特征或信息特征模块，用于识别对数据治理平台的数据源数据特征异常修改和对数据治理平台的元数据信息特征异常修改动作；
异常操作数据还原单元(40)包括增加数据源或元数据存储数据模块、删除数据源或元数据存储数据模块和修改数据源或元数据存储数据模块；
增加数据源或元数据存储数据模块，用于对异常删除的数据源或元数据存储数据进行还原添加；
删除数据源或元数据存储数据模块，用于对异常添加的数据源或元数据存储数据进行还原删除；
修改数据源或元数据存储数据模块，用于对异常修改的数据源或元数据存储数据进行还原修改；
关系型数据库(50)，用于存储数据源的相同特征和数据治理平台已有管理分类标准信息特征的相关数据组或表。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311026211.8A CN117240505B (zh) | 2023-08-15 | 2023-08-15 | 一种基于数据治理平台的预警处理方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311026211.8A CN117240505B (zh) | 2023-08-15 | 2023-08-15 | 一种基于数据治理平台的预警处理方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117240505A CN117240505A (zh) | 2023-12-15 |
| CN117240505B true CN117240505B (zh) | 2024-03-15 |
Family
ID=89091998
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311026211.8A Active CN117240505B (zh) | 2023-08-15 | 2023-08-15 | 一种基于数据治理平台的预警处理方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117240505B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102411599A (zh) * | 2011-08-01 | 2012-04-11 | 中国民生银行股份有限公司 | 数据仓库中异常行为的处理方法及监测服务器 |
| CN107958049A (zh) * | 2017-11-28 | 2018-04-24 | 航天科工智慧产业发展有限公司 | 一种数据质量稽查管理系统 |
| CN111159272A (zh) * | 2019-12-31 | 2020-05-15 | 青梧桐有限责任公司 | 基于数据仓库及etl的数据质量监控及预警方法和系统 |
| CN115686989A (zh) * | 2021-07-25 | 2023-02-03 | 北京航天长峰科技工业集团有限公司北京分公司 | 一种基于触发器解决涉敏数据的实时监控及预警方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10853741B2 (en) * | 2013-12-16 | 2020-12-01 | MetaGovernance, Inc. | Information governance platform |
| US20160306827A1 (en) * | 2015-04-15 | 2016-10-20 | International Business Machines Corporation | Synchronizing data rules and corresponding metadata to implement data governance |
-
2023
- 2023-08-15 CN CN202311026211.8A patent/CN117240505B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102411599A (zh) * | 2011-08-01 | 2012-04-11 | 中国民生银行股份有限公司 | 数据仓库中异常行为的处理方法及监测服务器 |
| CN107958049A (zh) * | 2017-11-28 | 2018-04-24 | 航天科工智慧产业发展有限公司 | 一种数据质量稽查管理系统 |
| CN111159272A (zh) * | 2019-12-31 | 2020-05-15 | 青梧桐有限责任公司 | 基于数据仓库及etl的数据质量监控及预警方法和系统 |
| CN115686989A (zh) * | 2021-07-25 | 2023-02-03 | 北京航天长峰科技工业集团有限公司北京分公司 | 一种基于触发器解决涉敏数据的实时监控及预警方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117240505A (zh) | 2023-12-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11755628B2 (en) | Data relationships storage platform | |
| US10891297B2 (en) | Method and system for implementing collection-wise processing in a log analytics system | |
| CN111258989B (zh) | 数据库迁移评估方法、装置、存储介质和计算机设备 | |
| US6347374B1 (en) | Event detection | |
| US10534659B2 (en) | Policy based dynamic data collection for problem analysis | |
| US8498995B1 (en) | Optimizing data retrieval during event data query processing | |
| CN111159706A (zh) | 数据库安全检测方法、装置、设备及存储介质 | |
| US10911447B2 (en) | Application error fingerprinting | |
| CN112685433B (zh) | 元数据更新方法、装置、电子设备及计算机可读存储介质 | |
| US10089334B2 (en) | Grouping of database objects | |
| CN111881011A (zh) | 日志管理方法、平台、服务器及存储介质 | |
| US8738767B2 (en) | Mainframe management console monitoring | |
| JP2020057416A (ja) | 分散データベースにおけるデータブロックを処理する方法およびデバイス | |
| WO2022252512A1 (zh) | 根因分析方法、装置、电子设备、介质和程序 | |
| CN111177480A (zh) | 一种区块链目录档案系统 | |
| CN107491558B (zh) | 元数据更新方法及装置 | |
| US11748495B2 (en) | Systems and methods for data usage monitoring in multi-tenancy enabled HADOOP clusters | |
| CN111611276A (zh) | 数据查询方法、装置及存储介质 | |
| CN117240505B (zh) | 一种基于数据治理平台的预警处理方法及系统 | |
| CN110245037B (zh) | 一种基于日志的Hive用户操作行为还原方法 | |
| CN116719799A (zh) | 环保数据治理方法、装置、计算机设备和存储介质 | |
| CN111078783A (zh) | 一种基于监管保护的数据治理可视化方法 | |
| CN116414854A (zh) | 数据资产查询方法、装置、计算机设备和存储介质 | |
| CN115168310A (zh) | 一种ldap系统中的日志管理方法、设备、介质及系统 | |
| CN113010208A (zh) | 一种版本信息的生成方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |