CN117648315A - 数据质量检查系统、方法、装置和设备 - Google Patents
数据质量检查系统、方法、装置和设备 Download PDFInfo
- Publication number
- CN117648315A CN117648315A CN202311659318.6A CN202311659318A CN117648315A CN 117648315 A CN117648315 A CN 117648315A CN 202311659318 A CN202311659318 A CN 202311659318A CN 117648315 A CN117648315 A CN 117648315A
- Authority
- CN
- China
- Prior art keywords
- data
- metadata
- checking
- rule
- production
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 127
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000004519 manufacturing process Methods 0.000 claims abstract description 119
- 238000012545 processing Methods 0.000 claims abstract description 15
- 238000007726 management method Methods 0.000 claims description 113
- 238000003326 Quality management system Methods 0.000 claims description 15
- 238000005516 engineering process Methods 0.000 claims description 13
- 230000008859 change Effects 0.000 claims description 8
- 230000026676 system process Effects 0.000 claims description 6
- 238000001514 detection method Methods 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000013461 design Methods 0.000 description 6
- 239000008280 blood Substances 0.000 description 5
- 210000004369 blood Anatomy 0.000 description 5
- 230000001105 regulatory effect Effects 0.000 description 5
- 238000013499 data model Methods 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- BQCADISMDOOEFD-UHFFFAOYSA-N Silver Chemical compound [Ag] BQCADISMDOOEFD-UHFFFAOYSA-N 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 229910052709 silver Inorganic materials 0.000 description 1
- 239000004332 silver Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24564—Applying rules; Deductive queries
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- General Factory Administration (AREA)
Abstract
本申请提供一种数据质量检查系统、方法、装置和设备，数据架构管理系统根据业务元数据检查规则对生产数据对应的业务元数据进行检查，将符合业务元数据检查规则的业务元数据录入本系统，以及根据技术元数据检查规则对生产数据对应的技术元数据进行检查，将符合技术元数据检查规则的技术元数据录入本系统；并将本系统中的元数据发送至生产系统，生产系统用于对数据架构管理系统发送的元数据对应的数据进行处理，从而在生产数据进入生产系统之前，根据业务元数据检查规则对生产数据对应的业务元数据进行检查，以及根据技术元数据检查规则对生产数据对应的技术元数据进行检查，通过事前检查的方式提高数据质量检查效率。
Description
技术领域
本申请涉及数据处理领域，尤其涉及一种数据质量检查系统、方法、装置和设备。
背景技术
随着云计算、物联网、边缘计算等技术的推广应用，企业的数据环境日趋复杂，数据规则更加庞大、分布更加分散、结构更加多样、来源更加丰富。而数据的质量直接决定企业数据资产指令的高低，进而影响最终数据的使用效率与准确性。
目前，多少基于对数据湖仓的规则检查，检查出问题后再对生产系统的数据进行事后纠正，以实现对数据质量的检查，检查效率较低。
发明内容
本申请提供一种数据质量检查系统、方法、装置和设备，用以提高数据质量检查效率。
第一方面，本申请提供一种数据质量检查系统，包括：
数据资产管理平台、数据架构管理系统和生产系统；
所述数据资产管理平台接收数据检查规则，并将所述数据检查规则发送至所述数据架构管理系统；所述数据检查规则包括业务元数据检查规则和技术元数据检查规则；
所述数据架构管理系统根据所述业务元数据检查规则对生产数据对应的业务元数据进行检查，将符合所述业务元数据检查规则的业务元数据录入本系统；
所述数据架构管理系统还用于根据所述技术元数据检查规则对所述生产数据对应的技术元数据进行检查，将符合所述技术元数据检查规则的技术元数据录入本系统；
所述数据架构管理系统还用于将本系统中的业务元数据和技术元数据发送至所述生产系统；
所述生产系统用于对所述数据架构管理系统发送的业务元数据和技术元数据对的数据进行处理。
可选的，所述数据架构管理系统具体用于判断生产数据对应的业务元数据是否符合所述业务元数据检查规则，若符合，将符合所述业务元数据检查规则的业务元数据录入本系统，若不符合，进行报错。
可选的，所述数据架构管理系统具有用于判断生产数据对应的技术元数据是否符合所述技术元数据检查规则，若符合，将符合所述技术元数据检查规则的技术元数据录入本系统，若不符合，进行报错。
可选的，所述系统包括应用接口管理系统；
所述数据资产管理平台在接收到所述数据检查规则后，还将所述数据检查规则发送至所述应用接口管理平台；
所述应用接口管理平台用于根据所述数据检查规则确定传输数据的接口。
可选的，所述系统包括科技管理工作台；
所述数据资产管理平台在接收到所述数据检查规则后，还将所述数据检查规则发送至所述科技管理工作台；
所述科技管理工作台根据所述数据检查规则对数据标准进行约束，并将所述数据标准发送至所述数据架构管理系统；
所述数据架构管理系统具体用于将本系统中满足所述数据标准的数据发送至所述生产系统。
可选的，所述数据架构管理系统中的技术元数据和/或业务元数据发生变更后，所述数据架构管理系统将变更通知发送至所述生产系统，以使所述生产系统进行调整对齐。
可选的，所述数据检查规则包括外部标准规则和业务规则；
所述系统还包括：大数据系统和数据质量管理系统；
所述数据资产管理平台在接收到数据检查规则后，将数据检查规则发送至所述数据质量管理系统；
所述大数据系统用于存储所述生产系统处理后的数据；
所述数据质量管理系统从所述大数据系统中获取数据，根据所述数据检查规则中的外部标准规则和业务规则对从所述大数据系统中获取的数据进行规则检查，在检查到问题后发送至所述大数据系统，所述大数据系统将所述问题发送至所述生产系统。
第二方面，本申请提供一种数据质量检查方法，包括：
接收数据检查规则，所述数据检查规则包括业务元数据检查规则和技术元数据检查规则；
根据所述业务元数据检查规则对生产数据对应的业务元数据进行检查，将符合所述业务元数据检查规则的业务元数据录入本系统；
根据所述技术元数据检查规则对所述生产数据对应的技术元数据进行检查，将符合所述技术元数据检查规则的技术元数据录入本系统；
将本系统的业务元数据对应的和技术元数据发送至生产系统，以使所述生产系统对本系统发送的业务元数据和技术元数据对应的数据进行处理。
第三方面，本申请提供一种数据质量检查装置，包括：
接收模块，用于接收数据检查规则，所述数据检查规则包括业务元数据检查规则和技术元数据检查规则；
第一检查模块，用于根据所述业务元数据检查规则对生产数据对应的业务元数据进行检查，将符合所述业务元数据检查规则的业务元数据录入本系统；
第二检查模块，用于根据所述技术元数据检查规则对所述生产数据对应的技术元数据进行检查，将符合所述技术元数据检查规则的技术元数据录入本系统；
发送模块，用于将本系统的业务元数据对应的和技术元数据发送至生产系统，以使所述生产系统对本系统发送的业务元数据和技术元数据对应的数据进行处理。
第四方面，本申请提供一种电子设备，包括：存储器和处理器；
存储器用于存储指令；处理器用于调用存储器中的指令执行第一方面及第一方面任一种可能的设计中的数据质量检查方法。
第五方面，本申请提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机指令，当电子设备的至少一个处理器执行该计算机指令时，电子设备执行第一方面及第一方面任一种可能的设计中的数据质量检查方法。
第六方面，本申请提供一种计算机程序产品，所述计算机程序产品包括计算机指令，当电子设备的至少一个处理器执行该计算机指令时，电子设备执行第一方面及第一方面任一种可能的设计中的数据质量检查方法。
本申请提供的数据质量检查系统、方法、装置和设备，包括数据资产管理平台、数据架构管理系统和生产系统，数据资产管理平台接收数据检查规则，并将数据检查规则发送至数据架构管理平台，数据检查规则包括业务元数据检查规则和技术元数据检查规则；数据架构管理系统根据业务元数据检查规则对生产数据对应的业务元数据进行检查，将符合业务元数据检查规则的业务元数据录入本系统；数据架构管理系统还用于根据技术元数据检查规则对生产数据对应的技术元数据进行检查，将符合技术元数据检查规则的技术元数据录入本系统；数据架构管理系统还用于将本系统中的业务元数据和技术元数据发送至生产系统，生产系统用于对数据架构管理系统发送的业务元数据和技术元数据对应的数据进行处理，从而在生产数据进入生产系统之前，根据业务元数据检查规则对生产数据对应的业务元数据进行检查，以及根据技术元数据检查规则对生产数据对应的技术元数据进行检查，通过事前检查的方式提高数据质量检查效率。
附图说明
为了更清楚地说明本申请或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请一实施例提供的数据质量检查系统的结构示意图；
图2为本申请另一实施例提供的数据质量检查系统的结构示意图；
图3为本申请又一实施例提供的数据质量检查系统的结构示意图；
图4为本申请一实施例提供的数据质量管理系统的检查示意图；
图5为本申请一实施例提供的数据质量检查方法的流程图；
图6为本申请一实施例提供的数据质量检查装置的结构示意图；
图7为本申请一实施例提供的电子设备的硬件结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请中的附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
为了便于理解本申请的方案，对本申请提及的术语进行解释说明：
数据质量管理：在指定条件下使用时，数据的特性满足明确的或隐含的要求的程度。
业务元数据：主要关注数据的内容和条件，还包括与数据治理相关的详细信息，例如包括主题域、概念、实体、属性的非技术名称和定义、属性的数据类型和其他特征，如范围描述、计算公式、算法和业务规则、有效的域值及其定义。
技术元数据：提供有关数据的技术细节、存储数据的系统以及在系统内和系统之间数据流转过程的信息，包括表结构管理、数据血缘关系管理、数据同步策略管理等。
正如背景技术的描述，企业的数据环境日趋复杂，数据规则更加庞大、分布更加分散、结构更加多样、来源更加丰富。以商业银行为例，独立进行数据存储的系统应用可以达到近500个、系统模块可以达到800个，物理表达到23万多张，涉及从数据采集、生产、传输、整合、分析、应用各个环节，数据质量直接决定企业数据资产质量的高低，进而影响最终数据的使用效率与准确性。
传统的数据质量检查，多是基于对数据湖仓的规则检查，检查出问题后再对生产系统的数据进行事后纠正，数据质量检查效率较低。
针对上述问题，本申请提出了一种数据质量检查系统包括数据架构管理系统，数据架构管理系统在生产数据进入生产系统之前，根据业务元数据检查规则对生产数据对应的业务元数据进行检查，以及根据技术元数据检查规则对生产数据对应的技术元数据进行检查，从而通过事前检查的方式提高数据质量检查效率。
下面以具体地实施例对本申请的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
图1示出了本申请一实施例提供的一种数据质量检查系统的结构示意图。如图1所示本申请实施例提供的数据质量检查系统包括：
数据资产管理平台101、数据架构管理系统102和生产系统103；
数据资产管理平台101接收数据检查规则，并将数据检查规则发生至数据架构管理系统102，数据检查规则包括业务元数据检查规则和技术元数据检查规则；
数据架构管理系统102根据业务元数据检查规则对生产数据对应的业务元数据进行检查，将符合业务元数据检查规则的业务元数据录入本系统中；
数据架构管理系统102还用于根据技术元数据检查规则对生产数据中的技术元数据进行检查，将符合技术元数据检查规则的技术元数据录入本系统中；
数据架构管理系统102还用于将本系统中的业务元数据和技术元数据发送至生产系统103；
生产系统103用于对数据架构管理系统102发生的业务元数据和技术元数据对应的数据进行处理。
实际应用中，生产系统103用于帮助企业对生产数据进行处理、分析和统计，通过对生产数据的分析，可以及时发现生产过程中的异常数据，以便采取相应的措施进行纠正，从而保证生产的稳定性和质量的一致性。例如，可以对生产设备的运行数据进行分析，发现设备的瓶颈和故障点，从而进行设备维护和升级；还可以对生产线上的生产参数进行统计，找出生产过程中的变异因素，进行生产工艺的调整。
本申请实施例中，在数据进入生产系统103之前，数据架构管理系统102通过数据检查规则中的业务元数据检查规则对生产数据对应的业务元数据进行检查，还通过数据检查规则中的技术元数据检查规则对生产数据对应的技术元数据进行检查，从而在数据进入生产系统103之前，进行检查，提高生产系统103对数据的处理效率以及数据检查效率。
实际应用中，可以通过统一规则库向数据资产管理平台101导入数据检查规则，统一规则库中可以存储有业务元数据检查规则、技术元数据检查规则、外部标准规则、业务规则等。例如业务元数据检查规则包括ISO 20022，技术元数据检查规则包括Q/ABC，外部标准规则包括DIRS、EAST、CRD、FBDS、FALT等，业务规则可以包括个人客户9要素、对公客户12要素等。
作为一种实现方式，数据资产管理平台101在接收到数据检查规则后，可以根据数据检查规则生成控制指令(前端控制代码)并发送至数据架构管理平台，数据架构管理平台接收到控制指令后，根据控制指令中携带的业务元数据检查规则和技术元数据检查规则分别对生产数据对应的业务元数据和技术元数据进行检查。
在一些实施例中，数据架构管理系统102在接收到业务元数据检查规则后，判断生产数据对应的业务元数据是否符合业务元数据检查规则，若符合，将符合业务元数据检查规则的业务元数据录入本系统，若不符合，进行报错，以提示按照业务元数据检查规则录入对应的元数据，提高录入数据的准确性。数据架构管理系统102在接收到技术元数据检查规则后，判断生产数据对应的技术元数据是否符合技术元数据检查规则，若符合，将符合技术元数据检查规则的技术元数据录入本系统，若不符合，进行报错，以提示按照技术元数据检查规则录入对应的元数据，提高录入数据的准确性。
而后，数据架构管理系统102将本系统中业务元数据对应的数据和技术元数据对应的数据发送至生产系统103，提高进入生产系统103的数据的准确性，提高生产系统103的处理效率。
在一些实施例中，如图2所示，数据质量检查系统还包括应用接口管理系统104，数据资产管理平台101在接收到数据检查规则后，还将数据检查规则发送至应用接口管理系统104，应用接口管理系统104用于根据数据检查规则确定传输数据的接口，保证接口的准确性，以将所需的生产数据传输至生产系统103。示例的，可以预先设置接口和传输的生产数据的关系。
在一些实施例中，如图2所示，数据质量检查系统还包括科技管理工作台105，数据资产管理平台101在接收到数据检查规则后，还将数据检查规则发送至科技管理工作台105，科技管理工作台105根据数据检查规则对数据标准进行约束，并将数据标准发送至数据架构管理系统102，数据架构管理系统102将本系统中满足数据标准的数据发送至生产系统103，进一步提高进入生产系统103的数据的准确性。
实际应用中，对于业务元数据的检查具体可以包括：一、事前通过统一规则库向数据资产管理平台101导入数据检查规则，包括对业务元数据规范的企业标准(业务元数据检查规则)等，例如企业级数据标准遵循Q/ABC000001-2021等；二、数据资产管理平台101依据导入数据检查规则，向技数据架构管理系统102和应用接口管理系统104传导并形成前端控制代码，保证数据架构管理系统102在录入数据时的准确性，以及应用接口管理系统104接口的准确性，例如数据架构管理系统102在建立数据时，如果录入信息不满足Q/ABC000001-2021的要求，在前端报错并提示按本要求录入系统；三、在需求研制过程中，依托数据资产管理平台101的数据检查规则，在科技工作管理平台进行业务需求说明书数据标准部分的研制，保证业务需求说明书中的数据标准部分的正确性，例如在业务需求说明书的第二部分包含数据标准相关章节，科技工作管理平台通过数据资产管理平台101同步过来的规则，对数据标准部分进行强制约束，即必须选择满足当前最新业务元数据规则约束的数据标准作为需求，避免业务需求使用旧版本数据标准或遗漏编制本部分；四、经过数据架构设计，对数据架构管理系统102数据模型设计进行控制，系统上关联业务元数据属性，保证需求中的数据标准能够执行到位，例如在进行数据模型设计中，需要将业务需求说明书中的数据标准强制关联到数据架构管理系统102的数据模型中，形成强制约束，后期如果业务元数据标准发生变化，则数据模型一并进行更新，确保一致。
在一些实施例中，如图2所示，数据质量检查系统还包括大数据系统106，大数据系统106用于存储生产系统103处理后的数据，数据架构系统中的业务元数据和/或技术元数据(例如，数据包结构)发生变更后，数据架构管理系统102将变更通知发送至生产系统103和大数据系统106，以使生产系统103和大数据系统106进行调整对齐。示例的，数据架构管理系统102中管理的数据表结构发生变更后，在进入生产系统103前，通过数据血缘关系检索，通知使用规则变化数据表的生产系统103和大数据系统106、数据湖仓等，事前进行调整准备，例如数据表某个字段发生变化，可以通过数据血缘关系，通知到消费本字段的所有系统以及通过传递关系二次消费本字段的系统，并要求这些系统同步进行调整对齐。此外，应用接口管理系统104的接口发生变化后，变化部分在进入生产系统103前，通过接口数据血缘关系检查，通知本接口变化相关联的生产系统103等，例如某接口字段发生变化，可以通过数据血缘关系，通知到消费本接口的所有系统以及通过传递关系二次消费接口的系统，并要求这些系统同步进行调整对齐。
以上对本申请实施例进行的事前检查(数据进入生产系统103前的检查)进行详细描述，本申请实施例还可以根据数据质量管理系统107进行事后检查(数据进入生产系统103后的检查)，以便及时发现问题并解决问题。
示例的，数据质量检查系统包括数据质量管理系统107，如图3所示，数据资产管理平台101在获取数据检查规则之后，还可以将数据检查规则发送至数据质量管理平台，录入将数据检查规则中的外部标准规则和业务规则发送至数据质量管理平台。数据质量管理系统107从大数据系统106中获取数据，大数据系统106中存储有生产系统103处理后的数据，数据质量管理系统107在从大数据系统106中获取数据之后，根据数据检查规则中的外部标准规则和业务规则对从大数据系统106中获取的数据进行规则检查，并在检查到问题后将问题发送至大数据系统106，大数据系统106还可以将问题发送至生产系统103，以使生产系统103根据问题及时调整，以解决问题。具体的，数据质量管理系统107通过对大数据系统106、数据湖仓中数据进行规则检查，并形成检查报表，供业务人员事后问题整改，整改方式不仅是对大数据系统106、数据湖仓进行整改，同时也要整改生产系统103中的数据，并依据质量管理系统形成的报表对相关角色进行考核，例如统一规则库中的外部监管规则EAST等，还包括业务部门的规则个人客户要素约束等，通过数据质量管理系统107，对大数据系统106内的数据进行检查形成报告，检查出问题后反馈给整改小组，以解决问题。
具体的，如图4所示，数据质量检测系统可以根据数据资产管理平台101发送的数据检查规则，配置数据质量检测规则，并且数据质量管理系统可以存储的数据质量考核期内的明细数据，以用于质量检测和明细核查。其中，明细数据可以包括从大数据系统106中的Hadoop处理模块获取的源表明细数据、从大数据系统106中的MPP(media processplatform，媒体处理平台)处理模块获取的接口表明细数据、从外部监管数据集市获取的宽表明细数据、从外部监管数据集市中的EAST(Examination and Analysis SystemTechnology，检查分析系统)模块获取的报表明细数据，以及从外部监管数据集市中的FBDS(前置数据仓库系统)模块获取的报表明细数据。
在数据质量检测系统运行数据质量检测规则之后，查看数据质量检测结果，而后根据数据加工映射规则追溯分析数据质量问题原因，包括分析报表明细数据、分析宽表明细数据、分析接口表明细数据以及分析源表明细数据，若是加工规则问题，优化加工规则，若是源头数据质量问题，推动源头整个，若需短期补录，则补录修正后的报表明细数据，短期仅修正报表非关键数据，比如缺失信息、机构名称修正等。而后可以将补录数据推送至外部监管数据集市中的EAST模块以及外部监管数据集市中的FBDS模块，以便后续继续进行数据质量检测。
以上对本申请实施例提供的数据质量检查系统进行了详细描述，数据质量检查系统包括数据架构管理系统，数据架构管理系统在生产数据进入生产系统之前，根据业务元数据检查规则对生产数据对应的业务元数据进行检查，以及根据技术元数据检查规则对生产数据对应的技术元数据进行检查，从而通过事前检查的方式提高数检查效率。
图5示出了本申请实施例提供的一种数据质量检查方法的流程图，如图5所示，以数据架构管理系统为执行主体，本申请实施例提供的数据质量检查方法包括如下步骤：
S101、接收数据检查规则，数据检查规则包括业务元数据检查规则和技术元数据检查规则；
S102、根据业务元数据检查规则对生产数据对应的业务元数据进行检查，将符合业务元数据检查规则的业务元数据对应的数据录入本系统；
S103、根据技术元数据检查规则对生产数据对应的技术元数据进行检查，将符合技术元数据检查规则的技术元数据对应的数据录入本系统；
S104、将本系统的业务元数据对应的和技术元数据对应的数据发送至生产系统，以使生产系统对本系统发送的数据进行处理。
本申请实施例提供的数据质量检查方法，其具体实现原理和技术效果，可参见上述系统实施例，本实施例此处不再赘述。
图6示出了本申请一实施例提供的一种数据质量检查装置的结构示意图，如图6所示，本实施例的数据质量检查装置10用于实现上述任一方法实施例中对应于数据架构管理系统的操作，本实施例的数据质量检查装置10包括：
接收模块11，用于接收数据检查规则，数据检查规则包括业务元数据检查规则和技术元数据检查规则；
第一检查模块12，用于根据业务元数据检查规则对生产数据对应的业务元数据进行检查，将符合业务元数据检查规则的业务元数据对应的数据录入本系统；
第二检查模块13，用于根据技术元数据检查规则对生产数据对应的技术元数据进行检查，将符合技术元数据检查规则的技术元数据对应的数据录入本系统；
发送模块14，用于将本系统的业务元数据对应的和技术元数据对应的数据发送至生产系统，以使生产系统对本系统发送的数据进行处理。
本申请实施例提供的数据质量检查装置10，可执行上述方法实施例，其具体实现原理和技术效果，可参见上述方法实施例，本实施例此处不再赘述。
图7示出了本申请实施例提供的一种电子设备的硬件结构示意图。如图7所示，该电子设备20，用于实现上述任一方法实施例中对应于数据架构管理系统的操作，本实施例的电子设备20可以包括：存储器21，处理器22和通信接口23。
存储器21，用于存储计算机指令。该存储器21可能包含高速随机存取存储器(Random Access Memory，RAM)，也可能还包括非易失性存储(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器，还可以为U盘、移动硬盘、只读存储器、磁盘或光盘等。
处理器22，用于执行存储器存储的计算机指令，以实现上述实施例中的数据质量检查方法。具体可以参见前述方法实施例中的相关描述。该处理器22可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
可选地，存储器21既可以是独立的，也可以跟处理器22集成在一起。
通信接口23，可以与处理器22连接。处理器22可以控制通信接口23来实现信号的接收和发送的功能。
本实施例提供的电子设备可用于执行上述的数据质量检查方法，其实现方式和技术效果类似，本实施例此处不再赘述。
本申请还提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机指令，计算机指令被处理器执行时用于实现上述的各种实施方式提供的方法。
本申请还提供一种计算机程序产品，该计算机程序产品包括计算机指令，该计算机指令存储在计算机可读存储介质中。设备的至少一个处理器可以从计算机可读存储介质中读取该计算机指令，至少一个处理器执行该计算机指令使得设备实施上述的各种实施方式提供的方法。
本申请实施例还提供一种芯片，该芯片包括存储器和处理器，所述存储器用于存储计算机指令，所述处理器用于从所述存储器中调用并运行所述计算机指令，使得安装有所述芯片的设备执行如上各种可能的实施方式中所述的方法。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制。尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换。而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
Claims (10)
1.一种数据质量检查系统，其特征在于，所述系统包括：
数据资产管理平台、数据架构管理系统和生产系统；
所述数据资产管理平台接收数据检查规则，并将所述数据检查规则发送至所述数据架构管理系统；所述数据检查规则包括业务元数据检查规则和技术元数据检查规则；
所述数据架构管理系统根据所述业务元数据检查规则对生产数据对应的业务元数据进行检查，将符合所述业务元数据检查规则的业务元数据录入本系统；
所述数据架构管理系统还用于根据所述技术元数据检查规则对所述生产数据对应的技术元数据进行检查，将符合所述技术元数据检查规则的技术元数据录入本系统；
所述数据架构管理系统还用于将本系统中的业务元数据和技术元数据发送至所述生产系统；
所述生产系统用于对所述数据架构管理系统发送的业务元数据和技术元数据对应的数据进行处理。
2.根据权利要求1所述的系统，其特征在于，所述数据架构管理系统具体用于判断生产数据对应的业务元数据是否符合所述业务元数据检查规则，若符合，将符合所述业务元数据检查规则的业务元数据录入本系统，若不符合，进行报错。
3.根据权利要求1所述的系统，其特征在于，所述数据架构管理系统具有用于判断生产数据对应的技术元数据是否符合所述技术元数据检查规则，若符合，将符合所述技术元数据检查规则的技术元数据录入本系统，若不符合，进行报错。
4.根据权利要求1所述的系统，其特征在于，所述系统包括应用接口管理系统；
所述数据资产管理平台在接收到所述数据检查规则后，还将所述数据检查规则发送至所述应用接口管理平台；
所述应用接口管理平台用于根据所述数据检查规则确定传输数据的接口。
5.根据权利要求1所述的系统，其特征在于，所述系统包括科技管理工作台；
所述数据资产管理平台在接收到所述数据检查规则后，还将所述数据检查规则发送至所述科技管理工作台；
所述科技管理工作台根据所述数据检查规则对数据标准进行约束，并将所述数据标准发送至所述数据架构管理系统；
所述数据架构管理系统具体用于将本系统中满足所述数据标准的数据发送至所述生产系统。
6.根据权利要求1所述的系统，其特征在于，所述数据架构管理系统中的技术元数据和/或业务元数据发生变更后，所述数据架构管理系统将变更通知发送至所述生产系统，以使所述生产系统进行调整对齐。
7.根据权利要求1-6中任意一项所述的系统，其特征在于，所述数据检查规则包括外部标准规则和业务规则；
所述系统还包括：大数据系统和数据质量管理系统；
所述数据资产管理平台在接收到数据检查规则后，将数据检查规则发送至所述数据质量管理系统；
所述大数据系统用于存储所述生产系统处理后的数据；
所述数据质量管理系统从所述大数据系统中获取数据，根据所述数据检查规则中的外部标准规则和业务规则对从所述大数据系统中获取的数据进行规则检查，在检查到问题后发送至所述大数据系统，所述大数据系统将所述问题发送至所述生产系统。
8.一种数据质量检测方法，其特征在于，所述方法包括：
接收数据检查规则，所述数据检查规则包括业务元数据检查规则和技术元数据检查规则；
根据所述业务元数据检查规则对生产数据对应的业务元数据进行检查，将符合所述业务元数据检查规则的业务元数据录入本系统；
根据所述技术元数据检查规则对所述生产数据对应的技术元数据进行检查，将符合所述技术元数据检查规则的技术元数据录入本系统；
将本系统的业务元数据和技术元数据发送至生产系统，以使所述生产系统对本系统发送的业务元数据和技术元数据对应的数据进行处理。
9.一种数据质量检查装置，其特征在于，所述装置，包括：
接收模块，用于接收数据检查规则，所述数据检查规则包括业务元数据检查规则和技术元数据检查规则；
第一检查模块，用于根据所述业务元数据检查规则对生产数据对应的业务元数据进行检查，将符合所述业务元数据检查规则的业务元数据录入本系统；
第二检查模块，用于根据所述技术元数据检查规则对所述生产数据对应的技术元数据进行检查，将符合所述技术元数据检查规则的技术元数据录入本系统；
发送模块，用于将本系统的业务元数据对应的和技术元数据发送至生产系统，以使所述生产系统对本系统发送的业务元数据和技术元数据对应的数据进行处理。
10.一种电子设备，其特征在于，包括：处理器，以及与所述处理器通信连接的存储器；
所述存储器存储计算机执行指令；
所述处理器执行所述存储器存储的计算机执行指令，以实现如权利要求8所述的数据质量检查方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311659318.6A CN117648315A (zh) | 2023-12-05 | 2023-12-05 | 数据质量检查系统、方法、装置和设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311659318.6A CN117648315A (zh) | 2023-12-05 | 2023-12-05 | 数据质量检查系统、方法、装置和设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117648315A true CN117648315A (zh) | 2024-03-05 |
Family
ID=90042980
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311659318.6A Pending CN117648315A (zh) | 2023-12-05 | 2023-12-05 | 数据质量检查系统、方法、装置和设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117648315A (zh) |
-
2023
- 2023-12-05 CN CN202311659318.6A patent/CN117648315A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10984483B2 (en) | Cognitive regulatory compliance automation of blockchain transactions | |
| US10783116B2 (en) | Systems and methods for managing data | |
| US10960541B2 (en) | Analytical robotic process automation | |
| US10467316B2 (en) | Systems and methods for web analytics testing and web development | |
| KR102033971B1 (ko) | 데이터 품질 분석 | |
| US11263108B2 (en) | Device for testing blockchain network | |
| US9047164B2 (en) | Calculating defect density by file and source module | |
| CN108628748B (zh) | 自动化测试管理方法和自动化测试管理系统 | |
| US9547547B2 (en) | Systems and/or methods for handling erroneous events in complex event processing (CEP) applications | |
| CN108876213B (zh) | 基于区块链的产品管理方法、装置、介质及电子设备 | |
| US20200210401A1 (en) | Proactive automated data validation | |
| US9998450B2 (en) | Automatically generating certification documents | |
| CN112445866A (zh) | 数据处理方法、装置、计算机可读介质及电子设备 | |
| CN114219596B (zh) | 一种基于决策树模型的数据处理方法及相关设备 | |
| CN110765148B (zh) | 一种业务数据处理方法及装置 | |
| CN111353763B (zh) | 处理数据的方法、装置、服务器及存储介质 | |
| CN112579632A (zh) | 一种数据核验方法、装置、设备和介质 | |
| CN117648315A (zh) | 数据质量检查系统、方法、装置和设备 | |
| CN112148762A (zh) | 一种实时数据流的统计方法和装置 | |
| CN113778959B (zh) | 数据处理的方法、装置、设备和计算机可读介质 | |
| US11003690B1 (en) | Aggregator systems for storage of data segments | |
| CN113238940A (zh) | 一种接口测试结果的比对方法、装置、设备和存储介质 | |
| US11768806B1 (en) | System and method for regular updates to computer-form files | |
| CN117648718B (zh) | 基于数据源的业务对象显示方法、装置、电子设备和介质 | |
| CN116757638A (zh) | 一种交易数据的核销方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |