CN112463780A - 数据质量检查方法及装置 - Google Patents
数据质量检查方法及装置 Download PDFInfo
- Publication number
- CN112463780A CN112463780A CN202011387513.4A CN202011387513A CN112463780A CN 112463780 A CN112463780 A CN 112463780A CN 202011387513 A CN202011387513 A CN 202011387513A CN 112463780 A CN112463780 A CN 112463780A
- Authority
- CN
- China
- Prior art keywords
- data
- lake
- checking
- check
- inspection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 146
- 238000000034 method Methods 0.000 title claims abstract description 70
- 238000011144 upstream manufacturing Methods 0.000 claims abstract description 53
- 230000008569 process Effects 0.000 claims abstract description 33
- 238000012545 processing Methods 0.000 claims abstract description 28
- 238000004590 computer program Methods 0.000 claims description 13
- 238000012546 transfer Methods 0.000 claims description 7
- 238000012795 verification Methods 0.000 claims description 6
- 238000003908 quality control method Methods 0.000 abstract description 15
- 230000007123 defense Effects 0.000 abstract description 12
- 230000006870 function Effects 0.000 description 14
- 238000004891 communication Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 12
- 238000004364 calculation method Methods 0.000 description 6
- 239000000872 buffer Substances 0.000 description 4
- 238000007792 addition Methods 0.000 description 2
- 230000001174 ascending effect Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 238000003326 Quality management system Methods 0.000 description 1
- BQCADISMDOOEFD-UHFFFAOYSA-N Silver Chemical compound [Ag] BQCADISMDOOEFD-UHFFFAOYSA-N 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000001808 coupling effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 229910052709 silver Inorganic materials 0.000 description 1
- 239000004332 silver Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000033772 system development Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Accounting & Taxation (AREA)
- General Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Data Mining & Analysis (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Finance (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- Technology Law (AREA)
- General Business, Economics & Management (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供的数据质量检查方法及装置，具体可用于信息安全技术领域，在各上游数据系统的待下传数据派发至各下游业务系统的过程中，对所述过程的各个阶段执行对应的第一检查操作；然后对通过所述第一检查操作并已对应派发至各下游业务系统的数据按照对应的数据质量检查规则执行第二检查操作，进而，建立数据质量检查多重防线，同时以数据湖作为分界线采取事前、事中、事后的数据质量控制方法，可以很好提升数据湖数据质量，提升全行业务系统的数据质量，减少后续数据使用导致的问题，同时在不同阶段结合数据阶段本身的特性执行不同的检查工作，准确性高，可以有效减小后续校验加工结果的工作量。
Description
技术领域
本发明涉及计算机领域，具体涉及数据质量检查方法及装置。
背景技术
金融业是典型的数据种类繁多、数据量巨大、专业性强的行业。以一个中型银行为例，按业务或者功能划分，其内部应用系统一般有数百个之多，每一个应用系统的数据也是海量的。同时各个应用系统各自为政，各系统的数据难以流通及共享，存在数据信息孤岛的问题。目前大型商业银行都进行各业务系统数据入湖的方式，所有业务系统数据都全部进入一个统一的数据湖中，解决数据共享及数据信息孤岛的问题。但往往各业务系统数据质量参差不齐，数据类型千差万别，数据入湖后，存在数据质量不高，导致后续应用系统使用数据湖数据进行数据加工时，加工出来的数据结果不准确等问题，但是现有技术无法找到数据结果不准确的原因所在，因此只能在结果端以校验的形式检查加工完成的数据结果，这样处理无疑增大了后期校验的工作以及数据湖的负担。
发明内容
针对现有技术中的问题，本发明提供一种数据质量检查方法及装置。
本发明第一方面提供一种数据质量检查方法，包括：
在各上游数据系统的待下传数据派发至各下游业务系统的过程中，对所述过程的各个阶段执行对应的第一检查操作；所述各个阶段基于所述上游数据系统和所述下游业务系统之间的中间数据湖划分；
对通过所述第一检查操作并已对应派发至各下游业务系统的数据按照对应的数据质量检查规则执行第二检查操作。
在优选的实施例中，还包括：
对所述中间数据湖的接口文件和各上游数据系统的内部数据库存储数据表进行一致性校验。
在优选的实施例中，在各上游数据系统的待下传数据传输至中间数据湖之前，所述数据质量检查方法，还包括：
校验所述待下传数据的数据文件贴源加载的一致性。
在优选的实施例中，所述各个阶段包括：传入所述中间数据湖之前；
在传入所述中间数据湖之前执行对应的第一检查操作，包括：
对通过贴源加载校验后的元数据信息和待下传数据的数据文件进行对比，确定不符合的检查项；所述检查项包括文件记录长度、字段数、分隔符、换行符以及字段长度。
在优选的实施例中，所述各个阶段包括：传入所述中间数据湖的传入过程中；
在传入所述中间数据湖的传入过程中执行对应的第一检查操作，包括：
对所述中间数据湖中记载数据文件后更新的数据表进行增量记录数检查、增量记录数波动率的检查、首存记录数检查、存量记录数检查以及主键字段检查。
在优选的实施例中，所述各个阶段包括：传入所述中间数据湖之后并且在派发至各下游业务系统之前；
在传入所述中间数据湖之后并且在派发至各下游业务系统之前执行对应的第一检查操作，包括：
对传入所述中间数据湖之后的数据进行非空字段检查和一致性检查；
对在数据湖中共享的关键指标数据进行波动检查。
在优选的实施例中，所述对传入所述中间数据湖之后的数据进行一致性检查，包括：
对传入所述中间数据湖之后的数据进行账务类总分核对、明细与分户账核对、同种业务不同数据表记录数核对。
在优选的实施例中，还包括：
根据所述数据质量检查规则对所述中间数据湖以及所述下游业务系统的影响程度，对所述第二检查操作的检查结果进行分级，其中每个级别对应一种处理方式。
本发明第二方面提供一种数据质量检查装置，包括：
第一数据检查模块，在各上游数据系统的待下传数据派发至各下游业务系统的过程中，对所述过程的各个阶段执行对应的第一检查操作；所述各个阶段基于所述上游数据系统和所述下游业务系统之间的中间数据湖划分；
第二数据检查模块，对通过所述第一检查操作并已对应派发至各下游业务系统的数据按照对应的数据质量检查规则执行第二检查操作。
在优选的实施例中，还包括：
一致性校验模块，对所述中间数据湖的接口文件和各上游数据系统的内部数据库存储数据表进行一致性校验。
在优选的实施例中，还包括：
贴源加载校验模块，校验所述待下传数据的数据文件贴源加载的一致性。
在优选的实施例中，所述各个阶段包括：传入所述中间数据湖之前；
第一数据检查模块具体用于对通过贴源加载校验后的元数据信息和待下传数据的数据文件进行对比，确定不符合的检查项；所述检查项包括文件记录长度、字段数、分隔符、换行符以及字段长度。
在优选的实施例中，所述各个阶段包括：传入所述中间数据湖的传入过程中；
所述第一数据检查模块具体用于对所述中间数据湖中记载数据文件后更新的数据表进行增量记录数检查、增量记录数波动率的检查、首存记录数检查、存量记录数检查以及主键字段检查。
在优选的实施例中，所述各个阶段包括：传入所述中间数据湖之后并且在派发至各下游业务系统之前；
所述第一数据检查模块包括：
第一检查单元，对传入所述中间数据湖之后的数据进行非空字段检查和一致性检查；以及
第二检查单元，对在数据湖中共享的关键指标数据进行波动检查。
在优选的实施例中，所述第一检查单元具体用于对传入所述中间数据湖之后的数据进行账务类总分核对、明细与分户账核对、同种业务不同数据表记录数核对。
在优选的实施例中，还包括：
分级模块，根据所述数据质量检查规则对所述中间数据湖以及所述下游业务系统的影响程度，对所述第二检查操作的检查结果进行分级，其中每个级别对应一种处理方式。
本发明的又一个方面，提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述的数据质量检查方法。
本发明的又一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现数据质量检查方法。
由上述技术方案可知，本发明提供的数据质量检查方法及装置，在各上游数据系统的待下传数据派发至各下游业务系统的过程中，对所述过程的各个阶段执行对应的第一检查操作；然后对通过所述第一检查操作并已对应派发至各下游业务系统的数据按照对应的数据质量检查规则执行第二检查操作，在本发明中所述各个阶段基于所述上游数据系统和所述下游业务系统之间的中间数据湖划分，进而，建立数据质量检查多重防线，同时以数据湖作为分界线采取事前、事中、事后的数据质量控制方法，可以很好提升数据湖数据质量，提升全行业务系统的数据质量，减少后续数据使用导致的问题，同时在不同阶段结合数据阶段本身的特性执行不同的检查工作，准确性高，可以有效减小后续校验加工结果的工作量。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中一种数据质量检查方法流程示意图。
图2为本发明实施例中具体场景的应用步骤示意图。
图3为本发明实施例中一种数据质量检查装置结构示意图。
图4为本发明实施例中的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
目前大型商业银行都进行各业务系统数据入湖的方式，所有业务系统数据都全部进入一个统一的数据湖中，解决数据共享及数据信息孤岛的问题。但往往各业务系统数据质量参差不齐，数据类型千差万别，数据入湖后，存在数据质量不高，导致后续应用系统使用数据湖数据进行数据加工时，加工出来的数据结果不准确等问题，但是现有技术无法找到数据结果不准确的原因所在，因此只能在结果端以校验的形式检查加工完成的数据结果，这样处理无疑增大了后期校验的工作以及数据湖的负担。
举例而言，对于多个大型商业银行的所有业务数据统一进入一设定数据湖，但是首先各个大型银行的数据标准不同，数据接口类型不同，因此导入数据湖后，存在数据类型千差万别以及参差不齐的现象，进而导致了在后续数据加工时，加工结果不准确，可以理解，如果仅仅检查加工结果，由于末端检查本身具有滞后性，会导致问题淤积无法及时修正，进而增大了校验量以及错误率，同时也不能确定问题本身，只能检测却不能修复。
可以理解，本发明可用于信息安全技术领域，当然本发明还可以进一步用于其他技术领域，本发明不限于此。
基于此，本发明第一方面实施例提供一种数据质量检查方法，如图1所示，包括：
S1：在各上游数据系统的待下传数据派发至各下游业务系统的过程中，对所述过程的各个阶段执行对应的第一检查操作；
S2：对通过所述第一检查操作并已对应派发至各下游业务系统的数据按照对应的数据质量检查规则执行第二检查操作。
需要说明书的是，在本发明中，所述各个阶段基于所述上游数据系统和所述下游业务系统之间的中间数据湖划分，在具体实施时，例如可以以入湖前、入湖中以及入湖后进行阶段划分，由于入湖前、入湖中以及入湖后的三个阶段中数据所处环境不同，其需要检查的第一检查操作也不尽相同。
本发明提供的数据质量检查方法，在各上游数据系统的待下传数据派发至各下游业务系统的过程中，对所述过程的各个阶段执行对应的第一检查操作；然后对通过所述第一检查操作并已对应派发至各下游业务系统的数据按照对应的数据质量检查规则执行第二检查操作，在本发明中所述各个阶段基于所述上游数据系统和所述下游业务系统之间的中间数据湖划分，进而，建立数据质量检查多重防线，同时以数据湖作为分界线采取事前、事中、事后的数据质量控制方法，可以很好提升数据湖数据质量，提升全行业务系统的数据质量，减少后续数据使用导致的问题，同时在不同阶段结合数据阶段本身的特性执行不同的检查工作，准确性高，可以有效减小后续校验加工结果的工作量。
下面对本发明的上述步骤进行详细说明。
在本发明的实施例中，其数据交互系统包括上游数据系统、中间数据湖以及下游业务系统。
在本发明的实施例中，上游业务系统是各商业银行业务系统，其特点是商业银行上游业务系统众多，能达上千个，并且业务数据千差万别，数据类型和数据质量不统一。
在本发明的实施例中，中间数据湖是达成协议的商业银行用于共享和数据流通的中间数据库，本领域技术人员公知的，数据湖本身无需结构化存储，其保存的数据为入湖数据的原始数据。
在本发明的实施例中，下游业务系统是需要银行数据的下游系统，例如信贷公司、收单商户等，下游业务系统的下游数据使用系统众多，能达上千个，并且使用的业务数据千差万别。
在本发明的实施例中，本发明进一步包括对所述中间数据湖的接口文件和各上游数据系统的内部数据库存储数据表进行一致性校验的步骤，具体而言，进行一致性校验可以利用内部数据库存储表的数据格式以及中间数据湖的接口文件来匹配判断，本实施例中，中间数据湖的接口文件对应可以确定中间数据湖导入的文件格式，通过上游数据系统的内部数据库存储数据表可以知晓上游数据出现格式错误等问题。
在本发明的优选实施例中，在各上游数据系统的待下传数据传输至中间数据湖之前，所述数据质量检查方法，还包括：校验所述待下传数据的数据文件贴源加载的一致性。该实施例中，该步骤作为数据质量管控的第二道防线，用于保证数据文件贴源加载的一致性和准确性。
进一步的，在本发明的实施例中，可以将所述过程分为三个阶段：入湖前、入湖中以及入湖后，下面一一说明。
在本发明的实施例中，所述各个阶段包括：传入所述中间数据湖之前；
在传入所述中间数据湖之前执行对应的第一检查操作，包括：
对通过贴源加载校验后的元数据信息和待下传数据的数据文件进行对比，确定不符合的检查项；所述检查项包括文件记录长度、字段数、分隔符、换行符以及字段长度。
中间数据湖的入湖前执行质量检查找出不符合的数据，这样可以避免后续对错误数据进行加工，加重中间数据湖的负担。
举例而言，入湖前的质量检查包括对上游提供的文件进行检查，检查内容主要根据各应用登记的元数据信息和实际数据文件的情况进行比对，找出不符合的记录(这些记录可能会影响数据湖的数据加载批量、数据的准确性等)，具体检查项包括：文件记录长度、字段数、分隔符、换行符、字段长度等。
下面列举部分检查规则：
对于定长文件，需要检查记录总长度，即文件中每一行的记录总长度(不包含换行符)，等于登记的文件接口的记录总长度。
对于分隔符文件，需要检查记录字段个数和分隔符。检查文件中每一行的记录包含的字段个数(不包含分隔符、换行符)，等于登记的文件接口字段个数；检查文件中分隔符是否和登记的文件接口的分隔符一致。
所有的文件，需要进行换行符检查，即检查数据文件中的换行符是否和登记的文件接口的换行符一致。
在本发明的实施例中，所述各个阶段包括：传入所述中间数据湖的传入过程中；
在传入所述中间数据湖的传入过程中执行对应的第一检查操作，包括：
对所述中间数据湖中记载数据文件后更新的数据表进行增量记录数检查、增量记录数波动率的检查、首存记录数检查、存量记录数检查以及主键字段检查。
具体而言，数据加载入湖时，数据湖应记录加载详细日志，如发生错误数据剔除，应将错误数据记录保存下来。数据文件加载入数据湖后，需要对于数据湖表进行记录级、字段级的技术检查，确保文件加载的一致性、准确性。包括如下规则：
增量记录数检查：增量数据文件中记录数与数据湖Append存储的表当日分区的记录数一致。
增量记录数波动率的检查：采用移动平均值等方式对增量记录数的波动情况进行统计，比照实际生产数据量情况建立正常波动阀值。
首存记录数检查：首存数据文件中记录数与数据湖Append存储的表当日分区的记录数一致。
存量记录数检查：按照时间切片存储的数据湖表，上游应用应按照接口文件同频度定期下传数据库表中相应时间点的存量时间切片记录数，数据湖统计已加载入数据湖的当天存量时间切片记录数进行核对。
特殊情况下:例如对于数据湖表与上游数据表非一一对应的入湖特例(非贴源、衍生数据等)，不进行数据湖表与上游应用表的存量记录数核对。数据湖对于此类数据主要负责加载的一致性，其他数据质量应由提供数据的上游系统负责管控。
主键字段检查：根据SEAS平台接口文件中源系统登记的主键字段，对数据湖表中相关字段进行检查，检查空、重复等异常情况。
进一步的，在本发明实施例中，所述各个阶段包括：传入所述中间数据湖之后并且在派发至各下游业务系统之前；
在传入所述中间数据湖之后并且在派发至各下游业务系统之前执行对应的第一检查操作，包括：
对传入所述中间数据湖之后的数据进行非空字段检查和一致性检查；
对在数据湖中共享的关键指标数据进行波动检查。
在优选的实施例中，所述对传入所述中间数据湖之后的数据进行一致性检查，包括：对传入所述中间数据湖之后的数据进行账务类总分核对、明细与分户账核对、同种业务不同数据表记录数核对。
具体而言，对于数据湖中部分关键业务表进行完整性、一致性、关键数值波动检查，包括如下规则：
完整性检查：根据应用侧规则(主要是监管报送要求)进行非空字段检查。
一致性检查：包括账务类总分核对、明细与分户账核对、同种业务不同数据表记录数核对。
关键数值波动检查：对于在数据湖中共享的关键指标数据(例如客户星级等)进行波动率检查。
波动率的计算：波动率分上升趋势的波动率计算方法和下降趋势的波动率计算方法。
在优选的实施例中，本发明还进一步提供一种适用于本发明的波动率计算方式：
1、上升趋势的波动率计算方法是：在上升趋势中，底部与底部的距离除以底部与底部的相隔时间，取整。上升波动率＝(第二个底部-第一个底部)/两底部的时间距离。
2、下降趋势的波动率计算方法是：在下降趋势中，顶部与顶部的距离除以顶部与顶部的相隔时间，取整。下降波动率＝(第二个顶部-第一个顶部)/两顶部的时间距离。
在进行波动率检查时，设置一定的阀值，通过对关键指标数据的波动率计算及检查，超过阀值时，能及时对相关指标的数据质量发出提醒及警告。通知上游系统及时跟进解决相应数据质量问题。
在本发明的实施例中，在每个阶段均包括对应的质量检查装置，质量检查装置可以是位于云端的中心服务器，亦或是某个对应安装在每个系统(例如上游数据系统、中间数据湖或者各下游业务系统)下的专用装置，本发明不限于此。
在该实施例中，可以通过设置总数据资源管理装置来管理每个检查装置中的检查数据，具体而言，此装置系统为全行系统研发过程中的各种数据资源、软件资产及关联关系等提供了集中管理的平台登记，全行所有业务系统进行表结构新增、修改、删除等变更时，都需要在此装置系统上进行相应的数据结构登记。
上游业务系统数据检查装置作为各应用向数据湖供数的第一道防线，各应用系统在对数据进行文件下传数据时，应确保提供给数据湖的接口文件和自身内部数据库存储数据表的一致性、准确性，并从应用源头做好数据质量规则的部署和检查。
中间数据湖质量检查装置具体可以包括对应每个阶段的细分单元，在一些实施例中，可以包括入湖前数据检查单元、入湖中数据检查单元以及入湖后数据检查单元。
具体的，入湖前数据检查单元对上游提供的文件进行检查，检查内容主要根据各应用在S101软件数据资源管理装置上登记的元数据信息和实际数据文件的情况进行比对，找出不符合的记录(这些记录可能会影响数据湖的数据加载批量、数据的准确性等)。入湖中数据检查单元数据加载入湖时，数据湖应记录加载详细日志，如发生错误数据剔除，应将错误数据记录保存下来；数据文件加载入数据湖后，需要对于数据湖表进行记录级、字段级的技术检查，确保文件加载的一致性、准确性；入湖后数据检查单元具体对于数据湖中部分关键业务表进行完整性、一致性、关键数值波动检查；在此对具体检查事项不做限制。
在本发明的实施例中，在步骤S2的第二检查操作可以作为数据质量管控的第三道防线，通过下游业务系统数据检查装置进行，使用数据湖数据的各应用宜根据自身应用需求部署相应的检查规则，对于检查出的问题，涉及需要数据湖协助进行源头管控的，宜要求数据湖增加相应数据规则部署。用于从源头进行数据质量检查。
可以理解的是，各个检查装置以及上下游系统之间可以使用任何合适的网络协议进行通信，包括在本申请提交日尚未开发出的网络协议。所述网络协议例如可以包括TCP/IP协议、UDP/IP协议、HTTP协议、HTTPS协议等。当然，所述网络协议例如还可以包括在上述协议之上使用的RPC协议(Remote Procedure Call Protocol，远程过程调用协议)、REST协议(Representational State Transfer，表述性状态转移协议)等。
此外，在本发明的其他实施例中，可以通过一个总质量检查装置进行所有第一检查操作和第二检查操作，例如通过设置云端中心服务器来与所有系统进行交互。
进一步的，在本发明实施例中，还包括：
根据所述数据质量检查规则对所述中间数据湖以及所述下游业务系统的影响程度，对所述第二检查操作的检查结果进行分级，其中每个级别对应一种处理方式。
该实施例中，可以对检查结果进行分级，进而适应性处理，提高了数据处理的针对性。
具体而言，可以通过数据质量管理装置实施，此装置用于进行数据质量规则的部署，对于在下游业务系统数据检查装置中检查出的问题，涉及需要数据湖协助进行源头管控的，需在此装置中部署相应的检查规则，数据湖数据质量检查装置进行数据检查时，会自动加载此装置部署的检查规则进行数据质量检查，根据数据质量检查规则对数据湖及下游相关的影响程度，按照轻重程度可以分为警告、错误两种。此装置将定期统计相关检查结果，并对各应用提供给数据湖的数据质量进行评价、公布。所有发现的数据质量问题，均可纳入数据质量管理平台形成闭环管理。
如下表1所示，可以利用代码来标识分级的等级，例如0对应正常，1对应警告，2对应错误。
表1-代码-结果对应关系表
| 代码 | 结果 |
| 0 | 正常 |
| 1 | 警告 |
| 2 | 错误 |
针对这三种检查结果，需采用不同的处理方式：
正常：检查作业返回正常结束标志，无需处理。
警告：检查作业返回正常结束标志，使批量继续运行，但必须保留错误记录并打印出告警信息。
错误：检查作业必须返回异常结束标志，使调度程序中止批量。等待数据质量问题处理完毕之后，重新执行检查任务。
在优选的实施例中，上述数据质量检查规则不通过返回结果如下表2所示：
表2-不通过返回结果表
该数据质量管理装置可以进一步对数据问题进行管理，对于在数据质量管理装置上发现需要整改的数据质量问题，可以自动登记在此装置，此装置根据检查出的数据质量问题的种类及所属应用，自动发邮件给应用数据问题对应的负责人，并且把问题推送给S102上游业务系统数据检查装置，督促和监控应用系统完成数据问题源头数据结构或程序的整改，对数据问题进行闭环处理。
从上述说明可以知晓，本发明在各上游数据系统的待下传数据派发至各下游业务系统的过程中，对所述过程的各个阶段执行对应的第一检查操作；然后对通过所述第一检查操作并已对应派发至各下游业务系统的数据按照对应的数据质量检查规则执行第二检查操作，在本发明中所述各个阶段基于所述上游数据系统和所述下游业务系统之间的中间数据湖划分，进而，建立数据质量检查多重防线，同时以数据湖作为分界线采取事前、事中、事后的数据质量控制方法，可以很好提升数据湖数据质量，提升全行业务系统的数据质量，减少后续数据使用导致的问题，同时在不同阶段结合数据阶段本身的特性执行不同的检查工作，准确性高，可以有效减小后续校验加工结果的工作量。
下面结合具体场景对本发明进行说明。
在本发明的一个场景中，如图2所示，通过各自的质量检查装置进行多道质量检查，进行步骤如下：
S101：软件数据资源管理装置为全行系统研发过程中的各种数据资源、软件资产及关联关系等提供了集中管理的平台登记，并且在全行所有业务系统进行表结构新增、修改、删除等变更时，进行相应的数据结构登记。
S102：上游业务系统数据检查装置在各应用系统在对数据进行文件下传数据时，确保提供给数据湖的接口文件和自身内部数据库存储数据表的一致性、准确性，并从应用源头做好数据质量规则的部署和检查。
S103：数据湖数据质量检查装置按照入湖的事前、事中、事后3个层次单元实现数据质量检查。
具体的，在入湖前对上游提供的文件进行检查，检查内容主要根据各应用在S101软件数据资源管理装置上登记的元数据信息和实际数据文件的情况进行比对，找出不符合的记录(这些记录可能会影响数据湖的数据加载批量、数据的准确性等)；在数据加载入湖时，数据湖应记录加载详细日志，如发生错误数据剔除，应将错误数据记录保存下来。在数据文件加载入数据湖后，需要对于数据湖表进行记录级、字段级的技术检查，确保文件加载的一致性、准确性，同时对于数据湖中部分关键业务表进行完整性、一致性、关键数值波动检查。
S104：下游业务系统数据检查装置使用数据湖数据的各应用宜根据自身应用需求部署相应的检查规则，对于检查出的问题，涉及需要数据湖协助进行源头管控的，宜要求数据湖增加相应数据规则部署。
S105：数据质量管理装置对于在S104下游业务系统数据检查装置中检查出的问题，涉及需要数据湖协助进行源头管控的，在此装置中部署相应的检查规则，S103数据湖数据质量检查装置进行数据检查时，会自动加载此装置部署的检查规则进行数据质量检查。
S106：数据问题管理装置对于在S105数据质量管理装置上发现需要整改的数据质量问题，自动登记在此装置。
从上述场景可以看出，本发明提供的数据检查装置相较于现有技术，一般的数据检查只是对本系统的数据进行物理检查，本发明的数据检查装置是针对大规模业务系统把所有数据下传至中间数据湖，中间数据湖再对外提供大规模的数据共享服务，下游众多的业务系统通过使用数据湖共享的数据，进行业务加工和处理而发明的数据检查装置。通过对上游源系统、中间数据湖、下游使用系统分别布置的三重数据质量管控防线，分别从数据中的业务质量、物理质量、使用质量三方面进行数据全生命周期的质量管控，保证数据的业务意义、物理意义、使用意义。
本发明针对上中下游系统各自的特性进行针对性第一检查操作和第二检查操作。可以很好提升数据湖数据质量，提升全行业务系统的数据质量，减少后续数据使用导致的问题，同时在不同阶段结合数据阶段本身的特性执行不同的检查工作，准确性高，可以有效减小后续校验加工结果的工作量。
对于上游源系统而言：由于商业银行上游业务系统众多，能达上千个，并且业务数据千差万别，在上游业务系统由各业务系统根据自身业务数据的特点布置本系统的数据质量管控规则，能检查出大部份的业务领域相关的数据质量问题。
对于中间数据湖而言：上游业务系统数据统一进入数据湖后，对下传的文件进行文件记录长度、字段数、分隔符、换行符、字段长度等方面的检查。同时通过数据湖的统一的完整性检查、一致性检查、关键数值波动检查、记录数检查等各种专业的数据检查，特别是对银行业至关重要的账务类检查，通过账务类总分核对、明细与分户账核对、同种业务不同数据表记录数核对等进行一致性检查。能很好地实现了数据质量的物理检查。
对于下游数据使用系统而言：由于下游数据使用系统众多，能达上千个，并且使用的业务数据千差万别，在下游数据使用系统中，由各使用系统根据自身业务数据的特点布置使用数据的数据质量管控规则，能检查出从数据湖获取过来的数据的数据使用质量问题。
通过对上游源系统、中间数据湖、下游使用系统分别布置的三重数据质量管控防线，能从数据的业务质量、物理质量、使用质量三方面对数据进行全生命周期的检查，一起耦合作用，产生了良好的数据质量控制效果，很好保证了数据质量的业务性、一致性、完整性。并且检查出的问题，都能及时反馈给数据质量管理系统进行处理，督促上游业务系统及时修改本系统的数据质量问题，保证数据质量问题的闭环管理。从而保证在大规模数据下传、数据共享、数据加工、数据复用等方面都能保证数据质量，对提升全行业务系统的数据质量，减少后续数据使用导致的问题。保证金融业务数据的完整性、准确性、一致性起到了重要作用。
基于相同的发明构思，如图3所示，本发明进一步从装置层面提供一种数据质量检查装置，包括：
第一数据检查模块1，在各上游数据系统的待下传数据派发至各下游业务系统的过程中，对所述过程的各个阶段执行对应的第一检查操作；所述各个阶段基于所述上游数据系统和所述下游业务系统之间的中间数据湖划分；
第二数据检查模块2，对通过所述第一检查操作并已对应派发至各下游业务系统的数据按照对应的数据质量检查规则执行第二检查操作。
由上述技术方案可知，本发明提供的数据质量检查装置，在各上游数据系统的待下传数据派发至各下游业务系统的过程中，对所述过程的各个阶段执行对应的第一检查操作；然后对通过所述第一检查操作并已对应派发至各下游业务系统的数据按照对应的数据质量检查规则执行第二检查操作，在本发明中所述各个阶段基于所述上游数据系统和所述下游业务系统之间的中间数据湖划分，进而，建立数据质量检查多重防线，同时以数据湖作为分界线采取事前、事中、事后的数据质量控制方法，可以很好提升数据湖数据质量，提升全行业务系统的数据质量，减少后续数据使用导致的问题，同时在不同阶段结合数据阶段本身的特性执行不同的检查工作，准确性高，可以有效减小后续校验加工结果的工作量。
在优选的实施例中，还包括：
一致性校验模块，对所述中间数据湖的接口文件和各上游数据系统的内部数据库存储数据表进行一致性校验。
具体而言，进行一致性校验可以利用内部数据库存储表的数据格式以及中间数据湖的接口文件来匹配判断，本实施例中，中间数据湖的接口文件对应可以确定中间数据湖导入的文件格式，通过上游数据系统的内部数据库存储数据表可以知晓上游数据出现格式错误等问题。
在优选的实施例中，还包括：
贴源加载校验模块，校验所述待下传数据的数据文件贴源加载的一致性。
该实施例中，该步骤作为数据质量管控的第二道防线，用于保证数据文件贴源加载的一致性和准确性。
在优选的实施例中，所述各个阶段包括：传入所述中间数据湖之前；
第一数据检查模块具体用于对通过贴源加载校验后的元数据信息和待下传数据的数据文件进行对比，确定不符合的检查项；所述检查项包括文件记录长度、字段数、分隔符、换行符以及字段长度。
在优选的实施例中，所述各个阶段包括：传入所述中间数据湖的传入过程中；
所述第一数据检查模块具体用于对所述中间数据湖中记载数据文件后更新的数据表进行增量记录数检查、增量记录数波动率的检查、首存记录数检查、存量记录数检查以及主键字段检查。
在优选的实施例中，所述各个阶段包括：传入所述中间数据湖之后并且在派发至各下游业务系统之前；
所述第一数据检查模块包括：
第一检查单元，对传入所述中间数据湖之后的数据进行非空字段检查和一致性检查；以及
第二检查单元，对在数据湖中共享的关键指标数据进行波动检查。
在优选的实施例中，所述第一检查单元具体用于对传入所述中间数据湖之后的数据进行账务类总分核对、明细与分户账核对、同种业务不同数据表记录数核对。
在优选的实施例中，还包括：
分级模块，根据所述数据质量检查规则对所述中间数据湖以及所述下游业务系统的影响程度，对所述第二检查操作的检查结果进行分级，其中每个级别对应一种处理方式。
从硬件层面来说，为了本发明提供一种用于实现所述数据质量检查方法中的全部或部分内容的电子设备的实施例，所述电子设备具体包含有如下内容：
处理器(processor)、存储器(memory)、通信接口(Communications Interface)和总线；其中，所述处理器、存储器、通信接口通过所述总线完成相互间的通信；所述通信接口用于实现装置、系统等相关设备之间的信息传输；该电子设备可以是台式计算机、平板电脑及移动终端等，本实施例不限于此。在本实施例中，该电子设备可以参照实施例中的数据质量检查装置的实施例进行实施，其内容被合并于此，重复之处不再赘述。
图4为本发明实施例的电子设备9600的系统构成的示意框图。如图4所示，该电子设备9600可以包括中央处理器9100和存储器9140；存储器9140耦合到中央处理器9100。值得注意的是，该图4是示例性的；还可以使用其他类型的结构，来补充或代替该结构，以实现电信功能或其他功能。
一实施例中，数据质量检查功能可以被集成到中央处理器9100中。
在另一个实施方式中，数据质量检查装置可以与中央处理器9100分开配置，例如可以将数据质量检查配置为与中央处理器9100连接的芯片，通过中央处理器的控制来实现数据质量检查功能。
如图4所示，该电子设备9600还可以包括：通信模块9110、输入单元9120、音频处理器9130、显示器9160、电源9170。值得注意的是，电子设备9600也并不是必须要包括图4中所示的所有部件；此外，电子设备9600还可以包括图4中没有示出的部件，可以参考现有技术。
如图4所示，中央处理器9100有时也称为控制器或操作控件，可以包括微处理器或其他处理器装置和/或逻辑装置，该中央处理器9100接收输入并控制电子设备9600的各个部件的操作。
其中，存储器9140，例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种。可储存上述与失败有关的信息，此外还可存储执行有关信息的程序。并且中央处理器9100可执行该存储器9140存储的该程序等。
输入单元9120向中央处理器9100提供输入。该输入单元9120例如为按键或触摸输入装置。电源9170用于向电子设备9600提供电力。显示器9160用于进行图像和文字等显示对象的显示。该显示器例如可为LCD显示器，但并不限于此。
该存储器9140可以是固态存储器，例如，只读存储器(ROM)、随机存取存储器(RAM)、SIM卡等。还可以是这样的存储器，其即使在断电时也保存信息，可被选择性地擦除且设有更多数据，该存储器的示例有时被称为EPROM等。存储器9140还可以是某种其它类型的装置。存储器9140包括缓冲存储器9141(有时被称为缓冲器)。存储器9140可以包括应用/功能存储部9142，该应用/功能存储部9142用于存储应用程序和功能程序或用于通过中央处理器9100执行电子设备9600的操作的流程。
存储器9140还可以包括数据存储部9143，该数据存储部9143用于存储数据，例如联系人、数字数据、图片、声音和/或任何其他由电子设备使用的数据。存储器9140的驱动程序存储部9144可以包括电子设备的用于通信功能和/或用于执行电子设备的其他功能(如消息传送应用、通讯录应用等)的各种驱动程序。
通信模块9110即为经由天线9111发送和接收信号的发送机/接收机9110。通信模块(发送机/接收机)9110耦合到中央处理器9100，以提供输入信号和接收输出信号，这可以和常规移动通信终端的情况相同。
基于不同的通信技术，在同一电子设备中，可以设置有多个通信模块9110，如蜂窝网络模块、蓝牙模块和/或无线局域网模块等。通信模块(发送机/接收机)9110还经由音频处理器9130耦合到扬声器9131和麦克风9132，以经由扬声器9131提供音频输出，并接收来自麦克风9132的音频输入，从而实现通常的电信功能。音频处理器9130可以包括任何合适的缓冲器、解码器、放大器等。另外，音频处理器9130还耦合到中央处理器9100，从而使得可以通过麦克风9132能够在本机上录音，且使得可以通过扬声器9131来播放本机上存储的声音。
本发明的实施例还提供能够实现上述实施例中的执行主体可以为服务器的数据质量检查方法中全部步骤的一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中的数据质量检查方法的全部步骤。
本领域内的技术人员应明白，本发明的实施例可提供为方法、装置、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(装置)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (18)
1.一种数据质量检查方法，其特征在于，包括：
在各上游数据系统的待下传数据派发至各下游业务系统的过程中，对所述过程的各个阶段执行对应的第一检查操作；所述各个阶段基于所述上游数据系统和所述下游业务系统之间的中间数据湖划分；
对通过所述第一检查操作并已对应派发至各下游业务系统的数据按照对应的数据质量检查规则执行第二检查操作。
2.根据权利要求1所述的数据质量检查方法，其特征在于，还包括：
对所述中间数据湖的接口文件和各上游数据系统的内部数据库存储数据表进行一致性校验。
3.根据权利要求1所述的数据质量检查方法，其特征在于，在各上游数据系统的待下传数据传输至中间数据湖之前，所述数据质量检查方法，还包括：
校验所述待下传数据的数据文件贴源加载的一致性。
4.根据权利要求3所述的数据质量检查方法，其特征在于，所述各个阶段包括：传入所述中间数据湖之前；
在传入所述中间数据湖之前执行对应的第一检查操作，包括：
对通过贴源加载校验后的元数据信息和待下传数据的数据文件进行对比，确定不符合的检查项；所述检查项包括文件记录长度、字段数、分隔符、换行符以及字段长度。
5.根据权利要求1所述的数据质量检查方法，其特征在于，所述各个阶段包括：传入所述中间数据湖的传入过程中；
在传入所述中间数据湖的传入过程中执行对应的第一检查操作，包括：
对所述中间数据湖中记载数据文件后更新的数据表进行增量记录数检查、增量记录数波动率的检查、首存记录数检查、存量记录数检查以及主键字段检查。
6.根据权利要求1所述的数据质量检查方法，其特征在于，所述各个阶段包括：传入所述中间数据湖之后并且在派发至各下游业务系统之前；
在传入所述中间数据湖之后并且在派发至各下游业务系统之前执行对应的第一检查操作，包括：
对传入所述中间数据湖之后的数据进行非空字段检查和一致性检查；
对在数据湖中共享的关键指标数据进行波动检查。
7.根据权利要求6所述的数据质量检查方法，其特征在于，所述对传入所述中间数据湖之后的数据进行一致性检查，包括：
对传入所述中间数据湖之后的数据进行账务类总分核对、明细与分户账核对、同种业务不同数据表记录数核对。
8.根据权利要求1所述的数据质量检查方法，其特征在于，还包括：
根据所述数据质量检查规则对所述中间数据湖以及所述下游业务系统的影响程度，对所述第二检查操作的检查结果进行分级，其中每个级别对应一种处理方式。
9.一种数据质量检查装置，其特征在于，包括：
第一数据检查模块，在各上游数据系统的待下传数据派发至各下游业务系统的过程中，对所述过程的各个阶段执行对应的第一检查操作；所述各个阶段基于所述上游数据系统和所述下游业务系统之间的中间数据湖划分；
第二数据检查模块，对通过所述第一检查操作并已对应派发至各下游业务系统的数据按照对应的数据质量检查规则执行第二检查操作。
10.根据权利要求9所述的数据质量检查装置，其特征在于，还包括：
一致性校验模块，对所述中间数据湖的接口文件和各上游数据系统的内部数据库存储数据表进行一致性校验。
11.根据权利要求9所述的数据质量检查装置，其特征在于，还包括：
贴源加载校验模块，校验所述待下传数据的数据文件贴源加载的一致性。
12.根据权利要求11所述的数据质量检查装置，其特征在于，所述各个阶段包括：传入所述中间数据湖之前；
第一数据检查模块具体用于对通过贴源加载校验后的元数据信息和待下传数据的数据文件进行对比，确定不符合的检查项；所述检查项包括文件记录长度、字段数、分隔符、换行符以及字段长度。
13.根据权利要求9所述的数据质量检查装置，其特征在于，所述各个阶段包括：传入所述中间数据湖的传入过程中；
所述第一数据检查模块具体用于对所述中间数据湖中记载数据文件后更新的数据表进行增量记录数检查、增量记录数波动率的检查、首存记录数检查、存量记录数检查以及主键字段检查。
14.根据权利要求9所述的数据质量检查装置，其特征在于，所述各个阶段包括：传入所述中间数据湖之后并且在派发至各下游业务系统之前；
所述第一数据检查模块包括：
第一检查单元，对传入所述中间数据湖之后的数据进行非空字段检查和一致性检查；以及
第二检查单元，对在数据湖中共享的关键指标数据进行波动检查。
15.根据权利要求14所述的数据质量检查装置，其特征在于，所述第一检查单元具体用于对传入所述中间数据湖之后的数据进行账务类总分核对、明细与分户账核对、同种业务不同数据表记录数核对。
16.根据权利要求9所述的数据质量检查装置，其特征在于，还包括：
分级模块，根据所述数据质量检查规则对所述中间数据湖以及所述下游业务系统的影响程度，对所述第二检查操作的检查结果进行分级，其中每个级别对应一种处理方式。
17.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至8任一项所述的数据质量检查方法。
18.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至8任一项所述的数据质量检查方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011387513.4A CN112463780B (zh) | 2020-12-02 | 2020-12-02 | 数据质量检查方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011387513.4A CN112463780B (zh) | 2020-12-02 | 2020-12-02 | 数据质量检查方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112463780A true CN112463780A (zh) | 2021-03-09 |
| CN112463780B CN112463780B (zh) | 2024-01-05 |
Family
ID=74805685
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011387513.4A Active CN112463780B (zh) | 2020-12-02 | 2020-12-02 | 数据质量检查方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112463780B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112905329A (zh) * | 2021-03-24 | 2021-06-04 | 武汉众邦银行股份有限公司 | 一种提高数据标准落标率的全生命周期管控方法 |
| CN113569047A (zh) * | 2021-07-23 | 2021-10-29 | 中信银行股份有限公司 | 一种系统间数据验证方法、装置、设备及可读存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1784677A (zh) * | 2004-03-31 | 2006-06-07 | 微软公司 | 用于数据库备份的一致性检验的系统和方法 |
| CN106484908A (zh) * | 2016-10-31 | 2017-03-08 | 成都轻松益家电子商务有限公司 | 一种基于中间件的多系统数据一致性比对方法 |
| CN107729366A (zh) * | 2017-09-08 | 2018-02-23 | 广东省建设信息中心 | 一种普适多源异构大规模数据同步系统 |
| CN107844515A (zh) * | 2017-09-26 | 2018-03-27 | 北京安博通科技股份有限公司 | 数据合规检查方法及装置 |
| CN109933578A (zh) * | 2019-03-21 | 2019-06-25 | 浪潮软件集团有限公司 | 一种可配置的自动化数据质量检查方法及系统 |
| CN111241073A (zh) * | 2018-11-29 | 2020-06-05 | 阿里巴巴集团控股有限公司 | 一种数据质量检查方法及装置 |
-
2020
- 2020-12-02 CN CN202011387513.4A patent/CN112463780B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1784677A (zh) * | 2004-03-31 | 2006-06-07 | 微软公司 | 用于数据库备份的一致性检验的系统和方法 |
| CN106484908A (zh) * | 2016-10-31 | 2017-03-08 | 成都轻松益家电子商务有限公司 | 一种基于中间件的多系统数据一致性比对方法 |
| CN107729366A (zh) * | 2017-09-08 | 2018-02-23 | 广东省建设信息中心 | 一种普适多源异构大规模数据同步系统 |
| CN107844515A (zh) * | 2017-09-26 | 2018-03-27 | 北京安博通科技股份有限公司 | 数据合规检查方法及装置 |
| CN111241073A (zh) * | 2018-11-29 | 2020-06-05 | 阿里巴巴集团控股有限公司 | 一种数据质量检查方法及装置 |
| CN109933578A (zh) * | 2019-03-21 | 2019-06-25 | 浪潮软件集团有限公司 | 一种可配置的自动化数据质量检查方法及系统 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112905329A (zh) * | 2021-03-24 | 2021-06-04 | 武汉众邦银行股份有限公司 | 一种提高数据标准落标率的全生命周期管控方法 |
| CN113569047A (zh) * | 2021-07-23 | 2021-10-29 | 中信银行股份有限公司 | 一种系统间数据验证方法、装置、设备及可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112463780B (zh) | 2024-01-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112463780A (zh) | 数据质量检查方法及装置 | |
| CN111951101A (zh) | 数据核对方法及装置 | |
| CN114189525B (zh) | 服务请求方法、装置和电子设备 | |
| CN107908480A (zh) | 薪资计算方法、应用服务器及计算机可读存储介质 | |
| CN104317660B (zh) | 一种银行参数管理系统 | |
| CN111190750B (zh) | 一种数据处理方法以及系统 | |
| CN112910708A (zh) | 分布式服务调用方法及装置 | |
| CN113051094A (zh) | 监管数据报送测试方法及装置 | |
| CN109600250B (zh) | 业务系统故障通知方法、装置、电子装置及存储介质 | |
| CN113515447B (zh) | 系统自动化测试方法及装置 | |
| CN111159311B (zh) | 一种数据映射集成的方法、装置、设备及存储介质 | |
| CN109981697A (zh) | 一种文件转存方法、系统、服务器及存储介质 | |
| CN110266610B (zh) | 流量识别方法、装置、电子设备 | |
| CN113312190A (zh) | 政务服务业务的协同处理方法及装置 | |
| CN112559646A (zh) | 一种报表下载方法和装置 | |
| CN113672488A (zh) | 日志文本处理方法及装置 | |
| CN113326333A (zh) | 数据处理方法、系统、计算机设备及计算机存储介质 | |
| CN111429264A (zh) | 一种分布式系统的组合对账方法及装置 | |
| CN114840249B (zh) | 集中式业务系统的灰度发布方法、装置及设备 | |
| CN110969515A (zh) | 一种订单分配方法及装置 | |
| CN111736976B (zh) | 任务处理方法、装置、计算设备和介质 | |
| CN111967960A (zh) | 账户数据的批量调整方法及装置 | |
| CN115375145A (zh) | 一种需求排期方法及相关装置 | |
| CN116633811A (zh) | 一种电路数据核对方法、装置及存储介质 | |
| CN115034792A (zh) | 一种基于消息队列的低耦合交易预警方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |