CN113762735A - 一种基于规则库的数据质量治理系统及方法 - Google Patents
一种基于规则库的数据质量治理系统及方法 Download PDFInfo
- Publication number
- CN113762735A CN113762735A CN202110946633.1A CN202110946633A CN113762735A CN 113762735 A CN113762735 A CN 113762735A CN 202110946633 A CN202110946633 A CN 202110946633A CN 113762735 A CN113762735 A CN 113762735A
- Authority
- CN
- China
- Prior art keywords
- data
- quality
- rule
- rules
- management
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000003326 Quality management system Methods 0.000 title abstract description 8
- 238000007726 management method Methods 0.000 claims abstract description 43
- 238000004458 analytical method Methods 0.000 claims abstract description 19
- 238000001514 detection method Methods 0.000 claims abstract description 17
- 238000004364 calculation method Methods 0.000 claims abstract description 4
- 238000007619 statistical method Methods 0.000 claims abstract description 4
- 238000012544 monitoring process Methods 0.000 claims description 32
- 238000012545 processing Methods 0.000 claims description 32
- 238000013523 data management Methods 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 15
- 238000007689 inspection Methods 0.000 claims description 6
- 238000011156 evaluation Methods 0.000 claims description 5
- 238000013441 quality evaluation Methods 0.000 claims description 5
- 230000002159 abnormal effect Effects 0.000 claims description 3
- 238000003745 diagnosis Methods 0.000 claims description 3
- 230000008676 import Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000004806 packaging method and process Methods 0.000 claims description 3
- 238000003908 quality control method Methods 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 230000001360 synchronised effect Effects 0.000 claims description 3
- 238000010276 construction Methods 0.000 abstract description 6
- 230000006870 function Effects 0.000 description 16
- 238000011160 research Methods 0.000 description 6
- 238000012550 audit Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 230000003993 interaction Effects 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000001376 precipitating effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
- G06Q10/06311—Scheduling, planning or task assignment for a person or group
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
- G06Q10/103—Workflow collaboration or project management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/48—Indexing scheme relating to G06F9/48
- G06F2209/484—Precedence
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Theoretical Computer Science (AREA)
- Economics (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- Operations Research (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- Development Economics (AREA)
- Educational Administration (AREA)
- Data Mining & Analysis (AREA)
- Game Theory and Decision Science (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于规则库的数据质量治理系统及方法,包括应用层、计算层、存储层、接入层和数据源;存储层用于存储质量规则、问题数据、元数据的连接信息、规则模板和知识库;计算层用于根据数据质量规则进行调度和检测、管理检测结果、检查任务、修复任务以及进行质量检测相关的统计分析;应用层用于根据各种质量规则对数据的分析、对质量问题的分析、形成质量报告以及对绩效进行考核;微服务设有集成框架,所述集成框架放的规则、调度、预警和反馈依次对应规则配置、调度管理、问题工单和多维分析。本发明减少系统间单独建设,避免冗余部署,实现在线全面管控,方便快捷。
Description
技术领域
本发明涉及数据处理技术领域,具体涉及一种基于规则库的数据质量治理系统及方法。
背景技术
数据治理的目标之一是向组织的内部或外部提供合约遵循的可见度。国外数据治理的兴起很大程度上是由于对法案法规的遵循,旨在防止企业运营的不正当行为和数据欺诈。在美国,涉及信息技术或数据的法规例如美国爱国者法案、美国健康保险流通等,均要求提供准确可信的财务报告和治理规则。
当前,我国有关数据的各项标准和政策研究已在各个领域有所触及,如科研数据管理服务中,部分研究是针对数据监管政策、存储规范和传播交流机制的,认为标准建设是解决科学数据完整性、科学数据规范化问题的有效方式;除此之外,也有研究涉及数据质量的标准,如关联数据的质量标准、元数据标准等。
纵观国外数据治理的整个研究历程,国外已经涌现出一些涉及数据治理的研究成果,从研究内容来看,这些成果主要集中在以下几个方面:①数据治理的理论框架模型的设计;②来自跨领域的数据治理价值的探讨;③基于不同框架模型的驱动实践探索。
目前电力信息系统的数据质量治理存在以下问题:未健全数据质量管理体系、运维管理技术有待加强和运维管理人员工作压力大。
发明内容
为了解决现有技术的缺点,本发明的目的是提供一种基于规则库的数据质量治理系统及方法。建立全面数据质量管理环境、制订全面数据质量管理的实施计划、实施全面数据质量管理措施和评估全面数据质量管理过程。减少系统间单独建设,避免冗余部署,实现在线全面管控,方便快捷。
本发明的目的通过如下技术方案实现:
一种基于规则库的数据质量治理系统,包括应用层、计算层、存储层、接入层和数据源;
所述数据源,用于负责管理数据质量检查元数据的系统信息,包括ERP数据库、大数据平台和数据仓库;
所述接入层,用于采集纳入数据质量管理范围的数据源、统一认证用户和权限、短信和邮箱数据,包括JDBC、API查询接口以及集成接口;
所述存储层,用于存储质量规则、问题数据、元数据的连接信息、规则模板和知识库;
所述计算层,用于根据数据质量规则进行调度和检测、管理检测结果、检查任务、修复任务以及进行质量检测相关的统计分析;
所述应用层,用于根据各种质量规则对数据的分析、对质量问题的分析、形成质量报告以及对绩效进行考核。
优选的,所述数据质量治理系统设有稽核检查模块、问题跟踪及解决模块、评估报告模块、知识库模块和告警通知模块。
优选的,所述数据质量规则包括数据标准规则、SQL规则、内置表达式规则、导入导出规则、编辑和维护质量规则、运行和调度质量验核任务、指派质量任务、跟踪质量任务以及数据质量综合报告。
优选的,所述数据质量规则基于数据中台的数据治理开发设计,包括规则库管理、规则配置管理、规则对象管理、调度任务管理、问题工单、多维分析、监控数据等;
所述规则配置管理包括一致性规则、合规性规则、及时性规则、准确性规则和自定义规则;
所述调度任务管理,以任务调度的方式执行数据质量诊断规则,对数据质量进行比对和校验,发现数据中存在的质量问题,并将问题和异常明细数据记录到结果详细,方便后续分析和处理;
所述问题工单,用于将发现的数据质量问题以发送待办的方式通知数据管理人员,以便问题能得到及时处理。当数据管理人员对源头的数据进行处理之后,将处理状态和结果反馈给问题工单,形成闭环数据质量处理网络;
所述多维分析,用于多维度展示数据核查和治理情况,包括规则类型、检测范围、核查频率分布、规则处理排行、消息通道等。
优选的,所述一致性规则,包括增量数据量比对、全量数据量比对(差异率)、数据明细值比对、数据表结构差异比对;
所述合规性规则,包括主键唯一性核查、主键是否为空核查、数值内容有效性核查、数据长度有效性核查、数值范围有效性核查、公共代码(枚举值)范围核查、数值是否为空核查、数量环比波动核查;
所述及时性规则,包括数值是否按时同步和增量数据监控核查;
所述准确性规则,包括数值同比监控和数值环比监控核查;
所述自定义规则,包括数值同比监控和数值环比监控核查。
一种优选的基于规则库的数据质量治理方法,所述操作步骤如下:
S1、设置治理规则:按照质量检查频度、规则类型和使用类型对业务数据治理需求进行分类;
S2、获取数据:调用中台接口获取全部数据源数据;
S3、确定类型:基于设置的治理规则,将获取的数据进行划分并进行响应规则的处理;
S4、处理数据:对于获取的数据进行探查并检测是否存在符合规则的数据字段,若有,则对数据进行处理;若无,进入下一步;
S5、质量检测:对于处理后的数据进行数据质量检测,核查数据的唯一性、完整性、有效性、规范性、一致性和稳定性,并进行判定,符合,进入下一步,不符合,转至S4;
S6、核查合格的数据进行保存并生成数据质量报告。
优选的,设置治理规则涉及建立数据质量评价体系、落实质量信息的采集分析与监控、建立持续改进的工作机制和完善元数据管理,具体流程为:
S1、建立质量验核规则,确定质量管理范围质量控制,监测规则以及采集规范等;
S2、周期性运转验核规则,在业务流程以及应用组件中运用数据质量,控制规则进行质量控制;
S3、根据监测规范,对数据进行监测并归档监测报告,若发现质量问题,转入S4,反之,回到S2;
S4、将问题数据打包并形成任务,分配任务给责任人;
S5、责任人修复问题数据:对质量问题进行溯源分析,形成溯源分析报告并确定整改方案,执行问题整改方案并对整改结果进行分析评估;
S6、制定企业级数据质量评估方案,收集评估,改进结果,任务结束并关闭。
本发明的有益效果是:
优化数据应用建设模式,建立快速在线审批的数据共享使用和数据应用管理机制,并以待办的形式发送责任人提示及时办理,缩短处理周期,极大的推进数据应用开发构建和发布速度,节约了大量的人力沟通成本;通过数据质量模块,进行数据中台内数据治理,促进中台内的数据治理与核查;建设自动调度模块,优化现有的数据链路,进一步提升企业中台的服务能力;
根据中台资源情况、数据依赖关系、应用需求层级,安排中台贴源层、共享层、应用层数据相关程序调度。从全局高度掌握调度优先性,避免资源浪费以及调度无序性。根据业务应用重要程度变化,实现相关链路先后顺序自动调整,自动改变内部依赖关系,保障上下游数据完整。
本发明减少系统间单独建设,避免冗余部署,实现在线全面管控,方便快捷。
附图说明
图1是本发明数据质量治理系统架构图;
图2是本发明数据质量管理流程图;
图3是本发明数据质量治理平台微服务架构图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。
根据图1所示,一种基于规则库的数据质量治理系统,包括应用层、计算层、存储层、接入层和数据源,所述数据质量治理系统设有稽核检查模块、问题跟踪及解决模块、评估报告模块、知识库模块和告警通知模块。
所述数据源,用于负责管理数据质量检查元数据的系统信息,包括ERP数据库、大数据平台和数据仓库。
所述接入层,用于采集纳入数据质量管理范围的数据源、统一认证用户和权限、短信和邮箱数据,包括JDBC、API查询接口以及集成接口。
所述存储层,用于存储质量规则、问题数据、元数据的连接信息、规则模板和知识库。
所述计算层,用于根据数据质量规则进行调度和检测、管理检测结果、检查任务、修复任务以及进行质量检测相关的统计分析;所述数据质量规则包括数据标准规则、SQL规则、内置表达式规则、导入导出规则、编辑和维护质量规则、运行和调度质量验核任务、指派质量任务、跟踪质量任务以及数据质量综合报告。所述数据质量规则基于数据中台的数据治理开发设计,包括规则库管理、规则配置管理、规则对象管理、调度任务管理、问题工单、多维分析、监控数据等;所述规则配置管理包括一致性规则、合规性规则、及时性规则、准确性规则和自定义规则;所述调度任务管理,以任务调度的方式执行数据质量诊断规则,对数据质量进行比对和校验,发现数据中存在的质量问题,并将问题和异常明细数据记录到结果详细,方便后续分析和处理;所述问题工单,用于将发现的数据质量问题以发送待办的方式通知数据管理人员,以便问题能得到及时处理。当数据管理人员对源头的数据进行处理之后,将处理状态和结果反馈给问题工单,形成闭环数据质量处理网络;所述多维分析,用于多维度展示数据核查和治理情况,包括规则类型、检测范围、核查频率分布、规则处理排行、消息通道等。
所述一致性规则,包括增量数据量比对、全量数据量比对(差异率)、数据明细值比对、数据表结构差异比对;所述合规性规则,包括主键唯一性核查、主键是否为空核查、数值内容有效性核查、数据长度有效性核查、数值范围有效性核查、公共代码(枚举值)范围核查、数值是否为空核查、数量环比波动核查;所述及时性规则,包括数值是否按时同步和增量数据监控核查;所述准确性规则,包括数值同比监控和数值环比监控核查;所述自定义规则,包括数值同比监控和数值环比监控核查。
所述微服务设有集成框架,所述集成框架设有规则、调度、预警和反馈四部分,所述规则、所述调度、所述预警和所述反馈依次对应规则配置、调度管理、问题工单和多维分析。
所述应用层,用于根据各种质量规则对数据的分析、对质量问题的分析、形成质量报告以及对绩效进行考核。
一种优选的基于规则库的数据质量治理方法,所述操作步骤如下:
S1、设置治理规则:按照质量检查频度、规则类型和使用类型对业务数据治理需求进行分类;
S2、获取数据:调用中台接口获取全部数据源数据;
S3、确定类型:基于设置的治理规则,将获取的数据进行划分并进行响应规则的处理;
S4、处理数据:对于获取的数据进行探查并检测是否存在符合规则的数据字段,若有,则对数据进行处理;若无,进入下一步;
S5、质量检测:对于处理后的数据进行数据质量检测,核查数据的唯一性、完整性、有效性、规范性、一致性和稳定性,并进行判定,符合,进入下一步,不符合,转至S4;
S6、核查合格的数据进行保存并生成数据质量报告。
根据图2所示,设置治理规则涉及建立数据质量评价体系、落实质量信息的采集分析与监控、建立持续改进的工作机制和完善元数据管理,具体流程为:
S1、建立质量验核规则,确定质量管理范围质量控制,监测规则以及采集规范等;
S2、周期性运转验核规则,在业务流程以及应用组件中运用数据质量,控制规则进行质量控制;
S3、根据监测规范,对数据进行监测并归档监测报告,若发现质量问题,转入S4,反之,回到S2;
S4、将问题数据打包并形成任务,分配任务给责任人;
S5、责任人修复问题数据:对质量问题进行溯源分析,形成溯源分析报告并确定整改方案,执行问题整改方案并对整改结果进行分析评估;
S6、制定企业级数据质量评估方案,收集评估,改进结果,任务结束并关闭。
根据图3所示,所述数据治理系统架构设有平台、数据治理工具、业务系统数库和数据中台,所述平台和所述数据治理工具中间设有跨数据库访问服务和提供数据管理服务,所述数据中台和所述数据治理工具之间设有数据查询,所述数据中台设有对所述业务系统数库的数据采集;
所述跨数据库访问服务,用于统一访问服务与统一权限系统的数据交互;
提供数据管理服务,用于数据治理管理和元数据管理信息与数据管理服务短信平台和内网服务系统的信息交互;
数据查询,用于通过数据查询实现数据中台与治理工具微服务包的数据交互;
数据采集,用于通过接口服务将各业务系统数据推送到数据中台。
使用数据治理系统的操作步骤为:
S1、建立核查主题页面,展示所属权限的系统和应用,选择需要核查的系统和应用并创建所属主题,所述核查主题的功能包括主题新增、主题编辑、主题删除、主题查询和主题查看,根据需求进行核查主题进行管理;
S2、建设核查对象管理页面,将需要核查的表以对象的形式进行管理和分类,所述核查对象管理界面包括新增功能、编辑功能、查询功能和删除功能;
S3、建立业务规则管理页面,用于收集和管理数据治理需求,将收集的需求按规则进行分类,将分类完成的规则在业务规则管理中配置沉淀,形成数据中台数据质量宝贵资产,更好支撑各类应用系统,所述业务规则管理界面包括新增、编辑、删除、导入、导出、查询功能;
S4、建设业务规则实现页面,用于通过可配置规则降低数据质量工具的使用门槛,可配置规则包含及时性内置、一致性内置、合规性内置、准确性内置等,所述业务规则实现页面包括配置和查询功能;
S5、建设调度任务管理页面,用于将业务规则实现通过数据中台的调度功能进行调度任务配置,并将调度任务的运行状态和结果详情进行反馈,所述调度任务管理页面包括新增、编辑、删除、手动执行、终止执行、调度流程配置和查询功能;
S6、建设结果查询页面,用于将发现的数据质量问题以发送待办、邮件和短信的方式通知数据管理人员,责成相关人员从源头上对数据进行处理,当数据管理人员对源头的数据进行处理之后,将处理状态和结果反馈给问题工单,形成闭环数据质量处理网络,所述结果查询页面包括查询、发送待办、处理、通知方式和查询功能。
在具体使用系统时,首先,配置流程,包括确定处理的基本信息、处理流程中涉及的角色、配置每一步流程需要制定的参与者、活动数据和活动动作配置。
然后,根据流程流转的具体情况,需要定义业务处理页面,根据本次需求,包括业务受理、业务审核、技术方案评审、数据处理、数据授权、产品发布、应用发布、代码审核、台账维护等页面。
最后,进入流程发起页面并提交所需的材料等,转入流程处理页面即流程流转时的处理页面,其中在每一步的流程页面中的用户待办列表中都能查看流程流转状态和每一步流程的审批意见。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,尽管参照前述实施例对本发明进行了详细的说明,对于本领域的技术人员来说,其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (4)
1.一种基于规则库的数据质量治理系统,其特征在于:该系统依次包括数据源、接入层、存储层、计算层和应用层;
所述数据源,用于负责管理数据质量检查元数据的系统信息,包括ERP数据库、大数据平台和数据仓库;
所述接入层,用于采集纳入数据质量管理范围的数据源、统一认证用户和权限、短信和邮箱数据,包括JDBC、API查询接口以及集成接口;
所述存储层,用于存储质量规则、问题数据、元数据的连接信息、规则模板和知识库;
所述计算层,用于根据数据质量规则进行调度和检测、管理检测结果、检查任务、修复任务以及进行质量检测相关的统计分析;
所述应用层,用于根据各种质量规则对数据的分析、对质量问题的分析、形成质量报告以及对绩效进行考核。
2.根据权利要求1所述的基于规则库的数据质量治理系统,其特征在于:所述数据质量规则包括数据标准规则、SQL规则、内置表达式规则、导入导出规则、编辑和维护质量规则、运行和调度质量验核任务、指派质量任务、跟踪质量任务以及数据质量综合报告。
所述数据质量规则基于数据中台的数据治理开发设计,包括规则库管理、规则配置管理、规则对象管理、调度任务管理、问题工单、多维分析、监控数据;
所述规则配置管理包括一致性规则、合规性规则、及时性规则、准确性规则和自定义规则;
所述调度任务管理,以任务调度的方式执行数据质量诊断规则,对数据质量进行比对和校验,发现数据中存在的质量问题,并将问题和异常明细数据记录到结果详细,方便后续分析和处理;
所述问题工单,用于将发现的数据质量问题以发送待办的方式通知数据管理人员,以便问题能得到及时处理。当数据管理人员对源头的数据进行处理之后,将处理状态和结果反馈给问题工单,形成闭环数据质量处理网络;
所述多维分析,用于多维度展示数据核查和治理情况,包括规则类型、检测范围、核查频率分布、规则处理排行、消息通道;
所述一致性规则,包括增量数据量比对、全量数据量比对、数据明细值比对、数据表结构差异比对;
所述合规性规则,包括主键唯一性核查、主键是否为空核查、数值内容有效性核查、数据长度有效性核查、数值范围有效性核查、公共代码范围核查、数值是否为空核查、数量环比波动核查;
所述及时性规则,包括数值是否按时同步和增量数据监控核查;
所述准确性规则,包括数值同比监控和数值环比监控核查;
所述自定义规则,包括数值同比监控和数值环比监控核查。
3.一种基于规则库的数据质量治理系统的治理方法,其特征在于具体如下:
S1、设置治理规则:按照质量检查频度、规则类型和使用类型对业务数据治理需求进行分类;
S2、获取数据:调用中台接口获取全部数据源数据;
S3、确定类型:基于设置的治理规则,将获取的数据进行划分并进行响应规则的处理;
S4、处理数据:对于获取的数据进行探查并检测是否存在符合规则的数据字段,若有,则对数据进行处理;若无,进入下一步;
S5、质量检测:对于处理后的数据进行数据质量检测,核查数据的唯一性、完整性、有效性、规范性、一致性和稳定性,并进行判定,符合,进入下一步,不符合,转至S4;
S6、核查合格的数据进行保存并生成数据质量报告。
4.根据权利要求3所述的基于规则库的数据质量治理系统的治理方法,其特征在于,设置治理规则具体流程为:
S1、建立质量验核规则,确定质量管理范围质量控制,监测规则以及采集规范等;
S2、周期性运转验核规则,在业务流程以及应用组件中运用数据质量,控制规则进行质量控制;
S3、根据监测规范,对数据进行监测并归档监测报告,若发现质量问题,转入S4,反之,回到S2;
S4、将问题数据打包并形成任务,分配任务给责任人;
S5、责任人修复问题数据:对质量问题进行溯源分析,形成溯源分析报告并确定整改方案,执行问题整改方案并对整改结果进行分析评估;
S6、制定企业级数据质量评估方案,收集评估,改进结果,任务结束并关闭。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110946633.1A CN113762735A (zh) | 2021-08-18 | 2021-08-18 | 一种基于规则库的数据质量治理系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110946633.1A CN113762735A (zh) | 2021-08-18 | 2021-08-18 | 一种基于规则库的数据质量治理系统及方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113762735A true CN113762735A (zh) | 2021-12-07 |
Family
ID=78790314
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110946633.1A Pending CN113762735A (zh) | 2021-08-18 | 2021-08-18 | 一种基于规则库的数据质量治理系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113762735A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114298550A (zh) * | 2021-12-28 | 2022-04-08 | 安徽海螺信息技术工程有限责任公司 | 一种对水泥生产经营数据的治理方法 |
CN114490602A (zh) * | 2022-01-10 | 2022-05-13 | 杭州数查科技有限公司 | 一种基于数据分析的多维数据管理方法和数据库系统 |
CN117951128A (zh) * | 2024-01-31 | 2024-04-30 | 江苏思行达信息技术股份有限公司 | 一种基于人工智能的数据质量稽查方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106649840A (zh) * | 2016-12-30 | 2017-05-10 | 国网江西省电力公司经济技术研究院 | 一种适用于电力数据质量评估与规则校验的方法 |
CN110162516A (zh) * | 2019-05-27 | 2019-08-23 | 浪潮软件集团有限公司 | 一种基于海量数据处理的数据治理的方法及系统 |
CN111143334A (zh) * | 2019-11-13 | 2020-05-12 | 深圳市华傲数据技术有限公司 | 一种数据质量闭环控制方法 |
CN111161815A (zh) * | 2019-12-27 | 2020-05-15 | 深圳中兴网信科技有限公司 | 医疗数据检测方法、装置、终端和计算机可读存储介质 |
CN112651872A (zh) * | 2020-12-24 | 2021-04-13 | 航天科工网络信息发展有限公司 | 一种基于数据中台的社区综合治理的系统和方法 |
CN112766676A (zh) * | 2021-01-08 | 2021-05-07 | 深圳市酷开网络科技股份有限公司 | 闭环数据质量治理方法、装置、终端设备及存储介质 |
CN113111245A (zh) * | 2021-03-15 | 2021-07-13 | 成都七柱智慧科技有限公司 | 实现多维数据质量校验的高校主数据治理系统及方法 |
-
2021
- 2021-08-18 CN CN202110946633.1A patent/CN113762735A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106649840A (zh) * | 2016-12-30 | 2017-05-10 | 国网江西省电力公司经济技术研究院 | 一种适用于电力数据质量评估与规则校验的方法 |
CN110162516A (zh) * | 2019-05-27 | 2019-08-23 | 浪潮软件集团有限公司 | 一种基于海量数据处理的数据治理的方法及系统 |
CN111143334A (zh) * | 2019-11-13 | 2020-05-12 | 深圳市华傲数据技术有限公司 | 一种数据质量闭环控制方法 |
CN111161815A (zh) * | 2019-12-27 | 2020-05-15 | 深圳中兴网信科技有限公司 | 医疗数据检测方法、装置、终端和计算机可读存储介质 |
CN112651872A (zh) * | 2020-12-24 | 2021-04-13 | 航天科工网络信息发展有限公司 | 一种基于数据中台的社区综合治理的系统和方法 |
CN112766676A (zh) * | 2021-01-08 | 2021-05-07 | 深圳市酷开网络科技股份有限公司 | 闭环数据质量治理方法、装置、终端设备及存储介质 |
CN113111245A (zh) * | 2021-03-15 | 2021-07-13 | 成都七柱智慧科技有限公司 | 实现多维数据质量校验的高校主数据治理系统及方法 |
Non-Patent Citations (3)
Title |
---|
刘夫新;李毅松;崔梦枭;杨栋枢;: "面向电力大数据的数据质量监测体系研究及应用", 电脑知识与技术, vol. 12, no. 31, pages 3 - 5 * |
叶宇航;贺仁龙;程晓旭;: "电信数据质量管理与稽核研究", 电信科学, vol. 28, no. 2, pages 1 - 6 * |
王督等: ""基于大数据稽查监控系统实现电力数据治理的研究与应用"", 《科技前沿》, pages 192 - 195 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114298550A (zh) * | 2021-12-28 | 2022-04-08 | 安徽海螺信息技术工程有限责任公司 | 一种对水泥生产经营数据的治理方法 |
CN114490602A (zh) * | 2022-01-10 | 2022-05-13 | 杭州数查科技有限公司 | 一种基于数据分析的多维数据管理方法和数据库系统 |
CN117951128A (zh) * | 2024-01-31 | 2024-04-30 | 江苏思行达信息技术股份有限公司 | 一种基于人工智能的数据质量稽查方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107831750B (zh) | Imes智能制造执行系统 | |
CN108320069B (zh) | 一种生产制造执行系统 | |
CN113762735A (zh) | 一种基于规则库的数据质量治理系统及方法 | |
CN105868373B (zh) | 电力业务信息系统关键数据处理方法及装置 | |
CN113780990A (zh) | 一种基于人工智能生产管理模式的云智造平台及处理方法 | |
CN111915135A (zh) | 一种生产运营监管系统 | |
CN110852601A (zh) | 一种用于环境监察执法决策的大数据应用方法及系统 | |
CN106327068A (zh) | 一种基于海洋环境与渔业资源监测的智能lims系统 | |
CN110399363B (zh) | 一种问题数据全生命周期数据质量管理方法及系统 | |
CN108319638B (zh) | 一种应用手持巡检设备的危险品生产制造执行系统 | |
CN104156576A (zh) | 药品生产过程质量控制系统的设计与实现技术 | |
CN115169011A (zh) | 一种飞机装配大纲的编辑系统及应用系统 | |
CN115016902B (zh) | 工业流程数字化管理系统及方法 | |
CN114445090A (zh) | 一种用于企业排污许可的跟踪管理系统 | |
CN114218216A (zh) | 资源管理方法、装置、设备及存储介质 | |
Aksyonov et al. | Development of an automated system for analysis, modeling, and decision-making for metallurgical enterprise | |
CN114254908A (zh) | 一种区域金融非银行金融机构风险感知及监管平台 | |
CN113297146A (zh) | 地方监管报送数据的处理模型及方法 | |
CN112396349A (zh) | 一种基于业务实体的数据质量监控方法 | |
Li | Research on enterprise economic management mechanism based on decision process | |
TW201421386A (zh) | 持續性資料品質控制與稽核系統 | |
Xu et al. | High Quality and Efficiency Operation and Maintenance | |
Chen et al. | Design and implementation of digital big data analysis platform based on substation maintenance full link | |
Nowruz et al. | SOFTWARE MAINTENANCE PROBLEMS SOLVED | |
CN112149998A (zh) | 一种复杂装备全价值链质量与可靠性管理系统及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |