CN113469559A - 一种基于数据质量检查的质量位设计与展示方法及系统 - Google Patents
一种基于数据质量检查的质量位设计与展示方法及系统 Download PDFInfo
- Publication number
- CN113469559A CN113469559A CN202110814748.5A CN202110814748A CN113469559A CN 113469559 A CN113469559 A CN 113469559A CN 202110814748 A CN202110814748 A CN 202110814748A CN 113469559 A CN113469559 A CN 113469559A
- Authority
- CN
- China
- Prior art keywords
- quality
- rule
- data
- bit
- result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000013461 design Methods 0.000 title claims abstract description 24
- 238000007689 inspection Methods 0.000 title claims abstract description 18
- 238000012544 monitoring process Methods 0.000 claims abstract description 47
- 238000013507 mapping Methods 0.000 claims abstract description 26
- 230000005540 biological transmission Effects 0.000 claims abstract description 24
- 238000013515 script Methods 0.000 claims description 28
- 230000008569 process Effects 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 9
- 238000012800 visualization Methods 0.000 claims description 8
- 238000003860 storage Methods 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 abstract description 7
- 238000013523 data management Methods 0.000 abstract description 3
- 230000000007 visual effect Effects 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000005611 electricity Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000005265 energy consumption Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000001303 quality assessment method Methods 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000002407 reforming Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
- G06Q10/06311—Scheduling, planning or task assignment for a person or group
- G06Q10/063114—Status monitoring or status determination for a person or group
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06395—Quality analysis or management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/06—Electricity, gas or water supply
Abstract
本发明公开了一种基于数据质量检查的质量位设计与展示方法及系统，可以对数据传输过程中产生的数据质量问题进行监控，根据质量规则与质量位的映射关系，对链路相应的作业、数据、资源进行监控分析，并以可视化的方式展示质量规则运行结果以及质量位监控分析结果等信息，解决了电网企业多分支数据链路数据质量的跟踪问题，避免过多的人工干预，提高了数据管理效率和可靠性。
Description
技术领域
本发明涉及质量位设计与展示技术领域，更具体的说是涉及一种基于数据质量检查的质量位设计与展示方法及系统。
背景技术
目前，通过用电量计量，电网企业可以确保能耗统计信息和相关数据资料的准确性，保证能源消耗量的可比性，进而制定合理的购电分配计划。在此基础上，电网企业需通过对购电计量表的数据进行采集、同步、统计分析等操作，确保统计分析结果准确可靠、实时有效。
但是，在实际应用过程中，在线采集的购电数据表会由于数据库设计和需求变更等因素，造成在抽取数据、转换数据等过程中产生各种质量问题。虽然现有技术中存在一些工具或者平台来追踪数据质量问题，但这些工具或者平台相对比较独立，呈现出点状化或分段化的特点，无法得知整体的数据质量情况，在发生数据质量问题时，由于电网大数据量级非常庞大，使得质量问题很难被定位到，影响项目进度。同时，点状化或分段化的系统、平台，对数据质量问题的解决，也会带来不确定的时间成本，造成业务方-电网企业额外的损失。
因此，如何提供一种高效、可靠的质量位设计与展示方法是本领域技术人员亟需解决的问题。
发明内容
有鉴于此，本发明提供了一种基于数据质量检查的质量位设计与展示方法及系统，有效解决了点状化或分段化的系统、平台无法得知整体的数据质量情况，会带来不确定的时间成本，造成业务方-电网企业额外的损失等问题。
为了实现上述目的，本发明采用如下技术方案：
一方面，本发明提供了一种基于数据质量检查的质量位设计与展示方法，该方法包括：
对数据传输过程中的质量指标、质量监控规则以及质量位进行定义，获得质量规则定义结果；
根据所述质量规则定义结果，建立规则与质量位的双映射关系；
根据所述质量规则定义结果及规则的刻面，生成质量位的规则脚本；
接收用户发起的质量规则配置请求，根据所述质量规则配置请求，获取对应质量位的规则脚本，并运行所述规则脚本，得到质量规则的运行结果；
对所述质量规则的运行结果进行记录并保存；
读取对应的规则与质量位的双映射关系，对链路相应的作业、数据、资源进行监控分析，并将数据链路上所有的质量指标、质量规则的运行结果以及监控分析结果进行可视化展示。
进一步地，对数据传输过程中的质量指标、质量监控规则以及质量位进行定义，获得质量规则定义结果的过程，具体包括：
根据数据链路中的各个端点的数据特点以及数据传输要求，获取整个链路的数据质量要求；
对数据传输过程中的数据质量要求，进行质量指标的归集和定义，获得质量监控规则；
对质量位进行配置，设置质量位的名称以及质量位的规则信息；
对所述质量位的规则信息对应的质量指标的逻辑运算与逻辑运算结果进行定义。
进一步地，所述质量规则定义结果包括质量指标定义信息、质量指标操作信息、质量位配置信息以及质量位的规则信息对应的质量指标的逻辑运算与逻辑运算结果定义信息。
在质量指标的归集和定义过程中，会将质量指标的满足程度记录为两种不同的符号以供后续读取，完全符合时为一种符号，不完全符合时为另一种符号(例如1和0)，在此背景下，用户可以通过质量规则配置入口，进行质量指标的定义，并可以对质量指标进行新增、修改、删除等操作，进行质量指标的管理与配置。
对于规则与质量位的双映射关系，可以根据用户指定的规则与质量为的映射关系，读取质量规则的运行结果，并按照用户指定的不同质量规则中的质量指标逻辑关系定义生成对应的质量位的结果。同样地，当读取到质量位时，也能通过质量位的顺序进行质量规则的追踪。
进一步地，所述规则的刻面包括规则执行时间、预期结果以及规则级别。
本发明中规则脚本描述规则中逻辑运算部分，即数据质量内容中可量化的内容。规则执行时间用于规定规则执行的频率。预期结果用于定义规则逻辑运算部分的执行结果，如相等、成功、不相等、失败。规则级别用于定义规则执行结果评价，如正常、提醒、严重、告警等。
另一方面，本发明还提供了一种基于数据质量检查的质量位设计与展示系统，该系统包括：
质量规则定义单元，所述质量规则定义单元用于对数据传输过程中的质量指标、质量监控规则以及质量位进行定义，获得质量规则定义结果，并建立规则与质量位的双映射关系；
质量规则配置单元，所述质量规则配置单元用于根据所述质量规则定义结果及规则的刻面，生成质量位的规则脚本；
质量规则执行单元，所述质量规则执行单元用于接收用户发起的质量规则配置请求，根据所述质量规则配置请求，获取对应质量位的规则脚本，并运行所述规则脚本，得到质量规则的运行结果；
监控结果记录单元，所述监控结果记录单元用于对所述质量规则的运行结果进行记录并保存；
监控结果发布单元，所述监控结果发布单元用于读取所述监控结果记录单元记录的数据，并将多条记录的数据融合，并进行发布；以及
可视化处理单元，所述可视化处理单元用于以可视化的方式展示所述监控结果发布单元发布的数据。
进一步地，所述质量规则定义单元包括：
数据链路配置模块，所述数据链路配置模块用于根据数据链路中的各个端点的数据特点以及数据传输要求，获取整个链路的数据质量要求，并对数据传输过程中的数据质量要求，进行质量指标的归集和定义，获得质量监控规则；
质量位设计模块，所述质量位设计模块用于对质量位进行配置，对质量位的规则信息对应的质量指标的逻辑运算与逻辑运算结果进行定义，并建立规则与质量位的双映射关系；以及
质量规则存储模块，所述质量规则存储模块用于保存质量监控规则、规则的刻面以及规则与质量位的双映射关系。
进一步地，上述的一种基于数据质量检查的质量位设计与展示系统，还包括业务数据记录单元，所述业务数据记录单元用于实时记录从业务系统中采集到的数据。
其中，业务系统中采集到的数据主要指源业务系统的可计算条目的结构化、半结构化、非结构化数据，结构化的数据＝库表，非结构化的数据＝文件(即可计算数量，获取文件创建时间、存储占用空间、格式、作者等数据)。
本发明中直流规则配置单元通过前端界面，即质量规则配置入口实现，用于接收用户发起的质量规则配置请求，对数据作业工具进行改造，或者对质量指标采集脚本进行开发。
本发明中可视化处理单元能够以可视化展示的方式，对质量位监控结果进行问题分析与故障处理，并为用户提供完整的数据链路上所有的质量指标、质量规则执行结果、评级以及质量规则日志，从而以可视化方式展现指标数据的生产链路及生产情况。
经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种基于数据质量检查的质量位设计与展示方法及系统，可以对数据传输过程中产生的数据质量问题进行监控，根据质量规则与质量位的映射关系，对链路相应的作业、数据、资源进行监控分析，并以可视化的方式展示质量规则运行结果以及质量位监控分析结果等信息，解决了电网企业多分支数据链路数据质量的跟踪问题，避免过多的人工干预，提高了数据管理效率和可靠性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明提供的一种基于数据质量检查的质量位设计与展示方法的实现流程示意图；
图2为本发明实施例中规则与质量位的双向映射关系示意图；
图3为完整性规则设置界面示意图；
图4为本发明提供的一种基于数据质量检查的质量位设计与展示系统的结构架构示意图；
图5为数据链路配置过程的实现流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
一方面，参见附图1，本发明实施例公开了一种基于数据质量检查的质量位设计与展示方法，该方法包括：
S1：对数据传输过程中的质量指标、质量监控规则以及质量位进行定义，获得质量规则定义结果。
用户根据数据链路中各个端点的数据特点、数据传输的要求，罗列出整个链路的数据质量要求。
对数据传输过程中的质量要求，进行质量指标的归集和定义。该过程中，系统会将指标的满足程度记录为两种不同的符号供读取，完全符合时为一种符号，不完全符合时为另一种符号(例如1和0)，在此背景下，用户通过进入质量规则配置入口，进行质量指标的定义，并可以对质量指标进行新增、修改、删除等操作，管理与配置质量指标。用户还可以对质量位进行配置，包括设置质量位的名称、质量位的规则信息。同时，完成所有规则信息对应的该质量指标的逻辑运算与逻辑运算结果的定义。
由此可见，本实施例中上述提到的质量规则定义结果包括质量指标定义信息、质量指标操作信息、质量位配置信息以及质量位的规则信息对应的质量指标的逻辑运算与逻辑运算结果定义信息等信息。
例如：用户可以定义质量规则信息中的完整性，若含有两个质量规则，当两个质量规则中的完整性指标同时为1时，质量位结果为1，即当两个完整性全为1时，该位次质量位结果为1，其余情况质量位结果为0。
S2：根据质量规则定义结果，建立规则与质量位的双映射关系。
根据用户指定的规则与质量位的映射关系，读取质量规则的运行结果，并按照用户指定的不同质量规则中的质量指标逻辑运算关系定义生成对应质量位的结果。同样地，当系统读取到质量位时，也能通过质量位的顺序进行质量规则的追溯。
例如，用户指定的规则与质量位的映射关系如图2所示，其中：
质量规则a→质量指标x1+质量指标x2+质量指标x3；
质量规则b→质量指标y1+质量指标y2+质量指标y3。
用户设计为质量位1由质量规则a中的质量指标x1的运行结果决定，质量位2由质量规则b中的质量指标y2与质量规则a中的质量指标x3逻辑与决定。
S3：根据质量规则定义结果及规则的刻面，生成质量位的规则脚本。
根据用户在质量规则配置入口的点击触发(例如点击了“提交”)，获取点击触发对应的基本信息和规则信息，将规则配置入口输入的代码段添加至触发的规则脚本模板中，以生成质量位的规则脚本。
S4：接收用户发起的质量规则配置请求，根据质量规则配置请求，获取对应质量位的规则脚本，并运行规则脚本，得到质量规则的运行结果。
根据应用链路质量规则配置入口，用户可对应用链路进行质量规则配置，根据用户在质量规则配置入口的点击触发(例如点击了“运行”)，获取点击触发对应的规则脚本并运行该规则脚本。
具体地，规则的刻面包括规则执行时间、预期结果以及规则级别。
S5：对质量规则的运行结果进行记录并保存。
本实施例中用户每次点击触发对应的规则脚本，系统都对运行结果进行记录并保存。
S6：读取对应的规则与质量位的双映射关系，对链路相应的作业、数据、资源进行监控分析，并将数据链路上所有的质量指标、质量规则的运行结果以及监控分析结果进行可视化展示。
根据用户预先定义的质量规则，读取质量规则与质量位的映射关系，并以可视化展示的方式，对监控分析结果进行问题分析，与故障处理，并为用户提供完整的数据链路上所有的质量指标，质量规则执行结果评级以及质量规则日志。
下面通过一个具体的实例对上述方法的实现原理进行说明：
用户可以定义链路的质量位，该质量位包含了完整性和及时性，其中，完整性为数据表的传输完整性，及时性为作业X的作业时间。数据表A的完整性，由A从源到数仓，从数仓到大数据的完整性检查结果逻辑与计算而成。及时性则是B的作业时间必须满足每天早上6：00执行作业这一要求。
用户通过质量规则与质量位配置入口进行配置，分别为：
配置的规则内容为：
完整性规则A：源系统输出的数据表的个数与输入到数仓的表个数相等；
完整性规则B：数仓输出的数据表的个数与输入到大数据平台的表个数相等；完整性规则的设置界面如图3所示。
及时性规则C：X作业时间不迟于6：00。
同时，用户对规则的执行时间进行设置，比如：规则A和规则B的执行时间为每天6：00am，规则C的执行时间为每天8：00am。设置完毕后用户可以在执行完规则(每天6：00和每天8：00)后查看质量位结果，结果中包含了规则A、规则B、规则C的执行时间、执行结果(1或0，表示满足或不满足)。
从图3中可以看出，除了完整性和及时性外，用户还可以设置包括一致性、准确性、规范性和有效性等规则信息。
另一方面，参见附图4，本发明实施例还公开了一种基于数据质量检查的质量位设计与展示系统，该系统包括：
质量规则定义单元1，质量规则定义单元1用于对数据传输过程中的质量指标、质量监控规则以及质量位进行定义，获得质量规则定义结果，并建立规则与质量位的双映射关系；
质量规则配置单元2，质量规则配置单元2用于根据质量规则定义结果及规则的刻面，生成质量位的规则脚本；
质量规则执行单元3，质量规则执行单元3用于接收用户发起的质量规则配置请求，根据质量规则配置请求，获取对应质量位的规则脚本，并运行规则脚本，得到质量规则的运行结果；
监控结果记录单元4，监控结果记录单元4用于对不同时间点的质量规则的运行结果进行记录并保存，即记录规则逻辑运算部分的实际执行结果；
监控结果发布单元5，监控结果发布单元5用于读取监控结果记录单元4记录的数据，并将多条记录的数据融合，并进行发布到可视化处理单元6；以及
可视化处理单元6，可视化处理单元6用于以可视化的方式展示监控结果发布单元5发布的数据，具体以可视化方式展现指标数据的生产链路及生产情况。
本实施例中质量规则定义单元1主要用于质量位的定义及其与质量规则的映射关系的建立与管理。具体地，质量规则定义单元1包括：
数据链路配置模块101，数据链路配置模块101用于根据数据链路中的各个端点的数据特点以及数据传输要求，获取整个链路的数据质量要求，并对数据传输过程中的数据质量要求，进行质量指标的归集和定义，获得质量监控规则；
质量位设计模块102，质量位设计模块102用于对质量位进行配置，对质量位的规则信息对应的质量指标的逻辑运算与逻辑运算结果进行定义，并建立规则与质量位的双映射关系；以及
质量规则存储模块103，质量规则存储模块103用于保存质量监控规则、规则的刻面、脚本以及规则与质量位的双映射关系。
质量规则配置单元通过前端界面(即质量规则配置入口)实现，可以进行质量规则配置，对数据作业工具进行改造，还可以对质量指标采集脚本进行开发。
本实施例中的质量规则执行单元主要根据质量规则规定的时间运行质量规则，并根据质量规则的刻面，生成质量规则运行结果。
更优地，上述的一种基于数据质量检查的质量位设计与展示系统，还包括业务数据记录单元7，业务数据记录单元7用于实时记录从业务系统中采集到的数据。
本实施例中业务数据记录单元从业务系统中采集到的数据，其中原始数据所在系统记为业务数据记录单元1，最终发送至目标系统的数据记为业务数据记录单元n。业务系统的数据包含了业务系统的所有构成部分中的数据，这些数据由一种或多种数据格式，以一个或多个数据表单组成。
参见附图5，本实施例中系统实现应用数据全链路管控的搭建过程如下：
步骤1：梳理指标数据血缘关系链路，包括每一处理环节的输入输出表、数据作业工具等；
步骤2：根据数据链路与作业工具实际情况，设计质量监控指标；
步骤3：由于本实施例公开的上述系统运行在数据运监、数据运营或数据管控这一类系统中，在其所运行的系统中配置数据质量监控规则，进行数据质量监控指标采集，涉及数据作业工具改造或质量指标采集脚本开发；
步骤4：在数据运监系统中进行监控对象的质量位定义，建立质量位与质量规则的关系；
步骤5：在数据运监系统中进行数据监控链路配置。
不难发现，本发明实施例公开的上述方法和系统可以实现如下功能：
1)质量规则支持自定义配置，并且支持对质量规则进行新建、修改、删除以及批量操作。
2)可以根据用户预定义，对数据质量问题或数据作业问题进行发现与定位以及告警。
3)用户可自定义、选择、配置需要监控的链路的质量指标。
4)使用质量位方式对数据链路的数据质量进行检查与反馈。
5)质量位可根据用户需求进行定义。
6)通过可视化方式对全链路的数据质量指标进行展示。
综上所述，本发明实施例公开的质量位设计与展示方法及系统，与现有技术相比，具有如下优点：
对购电数据传输过程产生的数据质量问题进行监控，最终根据质量规则与质量位的映射关系，输出数据质量问题日志，告警提示，并以图形化的方式对整体的数据质量问题分析进行展示。实现自动识别数据质量问题与问题定位，并完成问题分析，解决了电网企业多分支数据链路数据质量问题的跟踪问题，避免过多人工干预，提高工作效率以及预警准确度。
最后，对本发明涉及的关键技术术语进行解释说明：
质量规则：一种用于判断采集到的数据，对数据操作过程中涉及的数据的属性(如数据的值)、操作执行时间、多个操作的执行顺序等是否与用户定义一致的集合。
质量位：一种用于表示数据链路过程数据质量评价的字符编码。
映射：指的是质量位中的数据质量评价结果(即质量位)与质量规则中的质量指标的对应关系。
完整性：数据采集的完整程度，是否存在缺失字段或记录，是记录的数据和实际采集到数据之间的比例。
一致性：记录的数据和实际采集到数据的值是否一致，是否存在信息含义上的冲突，是否符合逻辑。
准确性：采集到的数据是否在取值范围内，作业流程是否按照定义的顺序进行。
规范性：采集到的数据存储方式、方法，对预先定义的规则、规范的满足程度。
及时性：从产生到可以查看的时间间隔，也叫数据的延时时长，用于检查数据处理的进程状态和时延。
作业：在两个数据源之间进行数据采集、同步、汇总、异常分析与展示。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (7)
1.一种基于数据质量检查的质量位设计与展示方法，其特征在于，包括：
对数据传输过程中的质量指标、质量监控规则以及质量位进行定义，获得质量规则定义结果；
根据所述质量规则定义结果，建立规则与质量位的双映射关系；
根据所述质量规则定义结果及规则的刻面，生成质量位的规则脚本；
接收用户发起的质量规则配置请求，根据所述质量规则配置请求，获取对应质量位的规则脚本，并运行所述规则脚本，得到质量规则的运行结果；
对所述质量规则的运行结果进行记录并保存；
读取对应的规则与质量位的双映射关系，对链路相应的作业、数据、资源进行监控分析，并将数据链路上所有的质量指标、质量规则的运行结果以及监控分析结果进行可视化展示。
2.根据权利要求1所述的一种基于数据质量检查的质量位设计与展示方法，其特征在于，对数据传输过程中的质量指标、质量监控规则以及质量位进行定义，获得质量规则定义结果的过程，具体包括：
根据数据链路中的各个端点的数据特点以及数据传输要求，获取整个链路的数据质量要求；
对数据传输过程中的数据质量要求，进行质量指标的归集和定义，获得质量监控规则；
对质量位进行配置，设置质量位的名称以及质量位的规则信息；
对所述质量位的规则信息对应的质量指标的逻辑运算与逻辑运算结果进行定义。
3.根据权利要求1或2所述的一种基于数据质量检查的质量位设计与展示方法，其特征在于，所述质量规则定义结果包括质量指标定义信息、质量指标操作信息、质量位配置信息以及质量位的规则信息对应的质量指标的逻辑运算与逻辑运算结果定义信息。
4.根据权利要求1所述的一种基于数据质量检查的质量位设计与展示方法，其特征在于，所述规则的刻面包括规则执行时间、预期结果以及规则级别。
5.一种基于数据质量检查的质量位设计与展示系统，其特征在于，包括：
质量规则定义单元，所述质量规则定义单元用于对数据传输过程中的质量指标、质量监控规则以及质量位进行定义，获得质量规则定义结果，并建立规则与质量位的双映射关系；
质量规则配置单元，所述质量规则配置单元用于根据所述质量规则定义结果及规则的刻面，生成质量位的规则脚本；
质量规则执行单元，所述质量规则执行单元用于接收用户发起的质量规则配置请求，根据所述质量规则配置请求，获取对应质量位的规则脚本，并运行所述规则脚本，得到质量规则的运行结果；
监控结果记录单元，所述监控结果记录单元用于对所述质量规则的运行结果进行记录并保存；
监控结果发布单元，所述监控结果发布单元用于读取所述监控结果记录单元记录的数据，并将多条记录的数据融合，并进行发布；以及
可视化处理单元，所述可视化处理单元用于以可视化的方式展示所述监控结果发布单元发布的数据。
6.根据权利要求5所述的一种基于数据质量检查的质量位设计与展示系统，其特征在于，所述质量规则定义单元包括：
数据链路配置模块，所述数据链路配置模块用于根据数据链路中的各个端点的数据特点以及数据传输要求，获取整个链路的数据质量要求，并对数据传输过程中的数据质量要求，进行质量指标的归集和定义，获得质量监控规则；
质量位设计模块，所述质量位设计模块用于对质量位进行配置，对质量位的规则信息对应的质量指标的逻辑运算与逻辑运算结果进行定义，并建立规则与质量位的双映射关系；以及
质量规则存储模块，所述质量规则存储模块用于保存质量监控规则、规则的刻面以及规则与质量位的双映射关系。
7.根据权利要求5或6所述的一种基于数据质量检查的质量位设计与展示系统，其特征在于，还包括业务数据记录单元，所述业务数据记录单元用于实时记录从业务系统中采集到的数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110814748.5A CN113469559A (zh) | 2021-07-19 | 2021-07-19 | 一种基于数据质量检查的质量位设计与展示方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110814748.5A CN113469559A (zh) | 2021-07-19 | 2021-07-19 | 一种基于数据质量检查的质量位设计与展示方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113469559A true CN113469559A (zh) | 2021-10-01 |
Family
ID=77881057
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110814748.5A Pending CN113469559A (zh) | 2021-07-19 | 2021-07-19 | 一种基于数据质量检查的质量位设计与展示方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113469559A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115841275A (zh) * | 2022-12-07 | 2023-03-24 | 北京鸿鹄元数科技有限公司 | 基于ai的数据管理水平的体检方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101894319A (zh) * | 2010-06-28 | 2010-11-24 | 中国烟草总公司湖南省公司 | 一种烟草企业数据质量管理系统及方法 |
| CN102571403A (zh) * | 2010-12-31 | 2012-07-11 | 北京亿阳信通软件研究院有限公司 | 通用数据质量管控适配器的实现方法和装置 |
| CN105976120A (zh) * | 2016-05-17 | 2016-09-28 | 全球能源互联网研究院 | 一种电力运营监控数据质量评估系统及方法 |
| CN112579699A (zh) * | 2020-12-14 | 2021-03-30 | 广州信安数据有限公司 | 业务数据处理链路的质量监控方法、系统及存储介质 |
-
2021
- 2021-07-19 CN CN202110814748.5A patent/CN113469559A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101894319A (zh) * | 2010-06-28 | 2010-11-24 | 中国烟草总公司湖南省公司 | 一种烟草企业数据质量管理系统及方法 |
| CN102571403A (zh) * | 2010-12-31 | 2012-07-11 | 北京亿阳信通软件研究院有限公司 | 通用数据质量管控适配器的实现方法和装置 |
| CN105976120A (zh) * | 2016-05-17 | 2016-09-28 | 全球能源互联网研究院 | 一种电力运营监控数据质量评估系统及方法 |
| CN112579699A (zh) * | 2020-12-14 | 2021-03-30 | 广州信安数据有限公司 | 业务数据处理链路的质量监控方法、系统及存储介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115841275A (zh) * | 2022-12-07 | 2023-03-24 | 北京鸿鹄元数科技有限公司 | 基于ai的数据管理水平的体检方法及装置 |
| CN115841275B (zh) * | 2022-12-07 | 2023-09-05 | 北京鸿鹄元数科技有限公司 | 基于ai的数据管理水平的体检方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8370181B2 (en) | System and method for supply chain data mining and analysis | |
| CN105868373B (zh) | 电力业务信息系统关键数据处理方法及装置 | |
| CN111222790B (zh) | 风险事件发生概率的预测方法、装置、设备及存储介质 | |
| CN114648393A (zh) | 一种应用于招投标的数据挖掘方法、系统及设备 | |
| CN115964272A (zh) | 交易数据自动化测试方法、装置、设备及可读存储介质 | |
| JP5017434B2 (ja) | 情報処理装置およびプログラム | |
| CN113469559A (zh) | 一种基于数据质量检查的质量位设计与展示方法及系统 | |
| CN114153914A (zh) | 电厂设备缺陷可视化系统、方法、计算机设备及存储介质 | |
| CN112631889A (zh) | 针对应用系统的画像方法、装置、设备及可读存储介质 | |
| CN114124743B (zh) | 一种数据应用全链路检查规则执行方法及系统 | |
| Li et al. | Ranking software engineering measures related to reliability using expert opinion | |
| US20140372386A1 (en) | Detecting wasteful data collection | |
| JP2009009342A (ja) | 情報処理装置およびプログラム | |
| CN114049036A (zh) | 数据计算平台、方法、设备及存储介质 | |
| CN112579352A (zh) | 业务数据处理链路的质量监控结果生成方法、存储介质及质量监控系统 | |
| CN112396349A (zh) | 一种基于业务实体的数据质量监控方法 | |
| CN115438036B (zh) | 电网统一指标库数据冗余处理系统及方法 | |
| Soderborg | Better Before Bigger Data | |
| CN116743618B (zh) | 厂站远动设备的数据采集分析方法、设备及介质 | |
| CN117035563B (zh) | 产品质量安全风险监测方法、设备、监测系统及介质 | |
| Boring et al. | Human reliability analysis in the US nuclear power industry: a comparison of atomistic and holistic methods | |
| CN116737549A (zh) | 一种时序数据库稳定性测试方法 | |
| CN116109289A (zh) | 一种基于知识图谱的核电厂维修经验反馈知识库构建方法 | |
| Scheer et al. | Operational, Tool-Supported Corporate Performance Management with the ARIS Process Performance Manager | |
| CN117971600A (zh) | 性能监控方法、设备、可读存储介质及计算机程序产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |