CN115048430A - 数据核验方法、系统、装置及存储介质 - Google Patents
数据核验方法、系统、装置及存储介质 Download PDFInfo
- Publication number
- CN115048430A CN115048430A CN202210749124.4A CN202210749124A CN115048430A CN 115048430 A CN115048430 A CN 115048430A CN 202210749124 A CN202210749124 A CN 202210749124A CN 115048430 A CN115048430 A CN 115048430A
- Authority
- CN
- China
- Prior art keywords
- data
- metadata
- verification
- matching
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000013524 data verification Methods 0.000 title claims abstract description 48
- 238000012795 verification Methods 0.000 claims abstract description 64
- 238000006243 chemical reaction Methods 0.000 claims abstract description 17
- 238000012545 processing Methods 0.000 claims abstract description 16
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 13
- 238000007405 data analysis Methods 0.000 claims abstract description 11
- 238000004590 computer program Methods 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 19
- 238000013502 data validation Methods 0.000 claims 1
- 238000004364 calculation method Methods 0.000 abstract description 5
- 238000004891 communication Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000007792 addition Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000013501 data transformation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2465—Query processing support for facilitating data mining operations in structured databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2365—Ensuring data consistency and integrity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/26—Visual data mining; Browsing structured data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Fuzzy Systems (AREA)
- Computer Security & Cryptography (AREA)
- Computing Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Debugging And Monitoring (AREA)
Abstract
本公开涉及数据处理技术领域，提供了一种数据核验方法、系统、装置及存储介质。该方法包括：将元数据输入校验转换单元；校验转换单元对元数据进行数据一致性处理，形成校验数据；在数据分析单元分别形成与时间对应的元数据统计表和校验数据统计表；算法单元根据元数据统计表中与元数据对应的时间生成在校验数据统计表中进行查找的时间范围，查找并匹配与元数据相关的校验数据，将匹配结果分类，输出完成数据匹配与分类的数据表；风险预警单元对具备不同分类特征的数据进行参数调整，形成预警数据；数据核验输出单元输出告警提示或者告警明细数据。本公开能够降低数据核验的算力，还能够提高数据核验速率。
Description
技术领域
本公开涉及数据处理技术领域，尤其涉及一种数据核验方法、系统、装置及存储介质。
背景技术
在数据核验统计过程中，需要核验数据的准确性，由于在数据传输与接收的过程中，存在信道障碍或者违规修改，还存在数据的漂移等问题，导致需要针对上述问题对数据的准确性进行核验。
在现有技术中，多数采用针对多个问题综合计算与修正的方式进行统计分析，这种针对多个问题的综合计算方式不断迭加参数分析与算法，导致运算与系统复杂性呈等比级数上升，与此同时，降低了数据核验的速度；当数据统计包含等级规划、差值变量、数据飘移等问题时，在多数场景统计分析上成为难点，将会进一步提高算法的复杂度和降低数据处理效率。
针对现有技术中存在的技术问题，目前，尚未发现有效的解决方案。
发明内容
有鉴于此，本公开实施例提供了一种数据核验方法、系统、装置及计算机程序可读存储介质，以解决现有技术中运算与系统复杂性等比级数上升、数据核验速度低等问题。
本公开实施例的第一方面，提供了一种数据核验方法，包括以下步骤：
将线上数据单元与线下数据单元的数据作为元数据同步输入校验转换单元；
校验转换单元接收元数据，对元数据进行数据的一致性处理，形成校验数据；
数据分析单元接收元数据和校验数据，分别形成与时间对应的元数据统计表和与时间对应的校验数据统计表；
算法单元接收与时间对应的元数据统计表和与时间对应的校验数据统计表，根据元数据统计表中与元数据对应的时间生成在校验数据统计表中进行查找的时间范围，在校验数据统计表中与查找的时间范围对应的校验数据范围内，查找并匹配与元数据相关的校验数据，将匹配结果分类，输出完成数据匹配与分类的数据表；
风险预警单元接收完成数据匹配与分类的数据表，风险预警单元通过参数进行设定，对具备不同分类特征的数据进行参数调整，形成预警数据，输出预警信息；
数据核验输出单元接收预警信息，根据预设的数据输入输出配置，输出告警提示或者告警明细数据。
本公开实施例的第二方面，提供了一种系统，包括：包括存储器、处理器以及存储在存储器中并且可在处理器上运行的计算机程序，该处理器执行计算机程序时实现上述方法的步骤。
本公开实施例的第三方面，提供了一种装置，包括：包括存储器、处理器以及存储在存储器中并且可在处理器上运行的计算机程序，该处理器执行计算机程序时实现上述方法的步骤。
本公开实施例的第四方面，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。
本公开实施例与现有技术相比存在的有益效果是：通过根据元数据统计表中与元数据对应的时间生成在校验数据统计表中进行查找的时间范围，在校验数据统计表中与查找的时间范围对应的校验数据范围内，查找并匹配与元数据相关的校验数据，能够将查找和匹配的目标校验数据缩小到与查找的时间范围对应的校验数据范围内，降低了数据查找的范围，同时实现了轻量化的数据核验方法，提高了数据核验的速度；将匹配结果分类，能够对匹配的结果分类汇总，形成预警信息与预警明细，能够有效地将数据核验结果进行输出与提示，提高了数据核验的整体效率。
附图说明
为了更清楚地说明本公开实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本公开实施例的应用场景的场景示意图；
图2是本公开实施例提供的一种数据核验方法的流程示意图；
图3是本公开实施例提供的一种数据核验过程的数据转换与流向的流程示意图；
图4是本公开实施例提供的另一种数据核验方法的流程示意图；
图5是本公开实施例提供的一种数据查找与匹配过程和结果示意图；
图6是本公开实施例提供的一种系统的结构示意图。
具体实施方式
本发明实施例能够解决现有技术中存在的相关问题，具体参见下文描述。
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本公开实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本公开。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本公开的描述。
下面将结合附图详细说明根据本公开实施例的一种同义词搜索方法和装置。
图1是本公开实施例的应用场景的场景示意图。该应用场景可以包括终端设备1、2和3、服务器4、网络5。
终端设备1、2和3可以是硬件，也可以是软件。当终端设备1、2和3为硬件时，其可以是具有显示屏且支持与服务器4通信的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等；当终端设备1、2和3为软件时，其可以安装在如上该的电子设备中。终端设备1、2和3可以实现为多个软件或软件模块，也可以实现为单个软件或软件模块，本公开实施例对此不作限制。进一步地，终端设备1、2和3上可以安装有各种应用，例如数据处理应用、即时通信工具、社交平台软件、搜索类应用、购物类应用等。
服务器4可以是提供各种服务的服务器，例如，对与其建立通信连接的终端设备发送的请求进行接收的后台服务器，该后台服务器可以对终端设备发送的请求进行接收和分析等处理，并生成处理结果。服务器4可以是一台服务器，也可以是由若干台服务器组成的服务器集群，或者还可以是一个云计算服务中心，本公开实施例对此不作限制。
需要说明的是，服务器4可以是硬件，也可以是软件。当服务器4为硬件时，其可以是为终端设备1、2和3提供各种服务的各种电子设备。当服务器4为软件时，其可以是为终端设备1、2和3提供各种服务的多个软件或软件模块，也可以是为终端设备1、2和3提供各种服务的单个软件或软件模块，本公开实施例对此不作限制。
网络5可以是采用同轴电缆、双绞线和光纤连接的有线网络，也可以是无需布线就能实现各种通信设备互联的无线网络，例如，蓝牙(Bluetooth)、近场通信(Near FieldCommunication，NFC)、红外(Infrared)等，本公开实施例对此不作限制。
用户可以通过终端设备1、2和3经由网络5与服务器4建立通信连接，以接收或发送信息等。
需要说明的是，终端设备1、2和3、服务器4以及网络5的具体类型、数量和组合可以根据应用场景的实际需求进行调整，本公开实施例对此不作限制。
本公开实施例提供的一种数据核验方法，可以通过终端设备1、2、3、服务器4以及网络5的任一端，进行数据核验，从而解决本发明的技术问题并且实现相应的技术效果。
图2是本公开实施例提供的一种数据核验方法的流程示意图。图2的数据核验方法可以由图1的终端设备或服务器执行。如图2所示，该数据核验方法包括：
S201，将线上数据单元与线下数据单元的数据作为元数据同步输入校验转换单元；
S202，校验转换单元接收元数据，对元数据进行数据的一致性处理，形成校验数据；
S203，数据分析单元接收元数据和校验数据，分别形成与时间对应的元数据统计表和与时间对应的校验数据统计表；
S204，算法单元接收与时间对应的元数据统计表和与时间对应的校验数据统计表，根据元数据统计表中与元数据对应的时间生成在校验数据统计表中进行查找的时间范围，在校验数据统计表中与查找的时间范围对应的校验数据范围内，查找并匹配与元数据相关的校验数据，将匹配结果分类，输出完成数据匹配与分类的数据表；
S205，风险预警单元接收完成数据匹配与分类的数据表，风险预警单元通过参数进行设定，对具备不同分类特征的数据进行参数调整，形成预警数据，输出预警信息；
S206，数据核验输出单元接收预警信息，根据预设的数据输入输出配置，输出告警提示或者告警明细数据。
方法步骤用“SXXX”表示，XXX为三位连续编号的数字，如该方法步骤的S201、S202、S203、S204，S205、S206，应理解，实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对公开实施例的实施过程构成任何限定。其他具体实施方式中关于方法步骤的理解方式与本实施方式相同，将不再赘述。
具体地，通过对元数据进行数据的一致性处理，形成的校验数据是具有一致性关系的数据，符合数据比对与查找匹配的基准要求，通过元数据统计表中与元数据对应的时间生成在校验数据统计表中进行查找的时间范围，可以以时间为目标查找的切入维度，在校验数据统计表中与查找的时间范围对应的校验数据范围内查找并匹配与元数据相关的校验数据，可以在一定时间范围内对应的数据进行查找和匹配，节省了查找与匹配的运算算力，实现了数据核验的轻量化分析过程；此外，通过将匹配结果分类并进行预警信息的输出，能够形成告警和提醒，方便针对数据问题进行修正与调整。
根据本公开实施例提供的技术方案，通过元数据统计表中与元数据对应的时间生成在校验数据统计表中进行查找的时间范围，能够降低系统算力的需求，实现轻量化的数据分析，同时提高了数据核验的速度和效率；通过将匹配结果分类并进行预警信息的输出，有针对地定位在告警问题，提高了数据处理的精准度。
图3是本公开实施例提供的一种数据核验过程的数据转换与流向的的流程示意图。图3的一种数据核验过程的数据转换与流向可以由图1的终端设备或服务器执行。如图3所示，该数据核验过程的数据转换与流向包括：
本地数据单元301的元数据和外部数据单元302的元数据均输入到校验转换单元303，在校验转换单元303形成和输出校验数据，本地数据单元301的元数据的元数据、外部数据单元302的元数据、和校验转换单元303的校验数据均输入到数据分析单元304，在数据分析单元304形成和输出统计数据，算法单元305接收数据分析单元304输出的统计数据，形成和输出分类数据，风险预警单元306接收分类数据，形成和输出预警数据，预警数据输入到数据核验输出单元307，在数据核验输出单元307形成和输出告警提示或者告警明细数据。
图4是本公开实施例提供的一种数据核验方法的流程示意图，如图4所示，该数据核验方法包括：
S401，将线上数据单元与线下数据单元的数据作为元数据同步输入校验转换单元；
S402，校验转换单元接收元数据，对元数据进行数据的一致性处理，形成校验数据；
S403，数据分析单元接收元数据和校验数据，分别形成与时间对应的元数据统计表和与时间对应的校验数据统计表；
S404，根据与元数据统计表中的数据对应的数据权限等级，校正元数据；
S405，算法单元接收与时间对应的元数据统计表和与时间对应的校验数据统计表，根据元数据统计表中与元数据对应的时间生成在校验数据统计表中进行查找的时间范围，在校验数据统计表中与查找的时间范围对应的校验数据范围内，查找并匹配与校正后元数据相关的校验数据，将匹配结果分类，输出完成数据匹配与分类的数据表；
S406，风险预警单元接收完成数据匹配与分类的数据表，风险预警单元通过参数进行设定，对具备不同分类特征的数据进行参数调整，形成预警数据，输出预警信息；
S407，数据核验输出单元接收预警信息，根据预设的数据输入输出配置，输出告警提示或者告警明细数据。
在校验数据统计表中进行元数据的查找与匹配过程中，可以对匹配过程进行模糊匹配，如果在校验数据统计表中匹配的校验数据在预先设定的误差偏移范围内，则将该匹配的校验数据作为匹配成功项，如果在校验数据统计表中匹配的校验数据不在预先设定的误差偏移范围内，则将该匹配的校验数据作为匹配失败项，将匹配成功项与失败项的结果分类，输出完成数据匹配与分类的数据表。
具体地，元数据统计表中的数据存在权限等级时，具体权限等级的元数据是在真实比对目标的基础上通过对应的权限等级系数调整后得到的，与具体的元数据对应的校验数据统计表中的校验数据是对真实比对目标的传输数据进行校验后的数据，因此，需要对元数据进行权限等级系数的反向调整，获取反向调整后的数据与作为真实比对目标的校验数据统计表中对应的校验数据进行比对，判断比对结果是否在预定的误差范围内，进而得到匹配成功项和匹配失败项。
例如，真实比对目标为m，m1为与之对应的元数据，m2为与之对应的校验数据，在m不存在权限等级的情况下，不需要对m1进行权限等级系数的反向调整，将对应的校验数据m2作为真实比对目标，通过m1与m2进行比对，比对误差为x，关系式如下：
m2-m1＝x
预定误差x的范围可以为：±1％*m2，如果|x|<1％*m2，则m2与m1匹配成功，如果|x|>＝1％*m2，则m2与m1匹配失败。
如果m存在权限等级，对应的权限等级为n，权限等级系数为0.9，则需要对m1进行权限等级系数的反向调整为：m1/a，将m1/a与m2进行比对，比对误差为x，关系式如下：
m2-m1/a＝x
预定误差x的范围可以为：±1％*m2，如果|x|<1％*m2，则m2与m1匹配成功，如果|x|>＝1％*m2，则m2与m1匹配失败。
其中，权限等级系数n可以为大于0小于等于1之间的任意数值。
具体地，以下面的元数据统计表为例：
校验数据统计表为：
分别对等级为0.9、对应时间为t1的元数据90，等级为1、对应时间为t2的元数据300，等级为0.8、对应时间为t1的元数据160，等级为1、对应时间为t4的元数据100，依次在校验数据统计表中的[t1',t3']的时间段对应的数据、[t2',t4']的时间段对应的数据、[t3',t5']的时间段对应的数据、[t4',t6']的时间段对应的数据中进行数据查找与匹配。
图5是本公开实施例提供的一种数据查找与匹配过程与结果示意图，如图5所示，该数据查找与匹配过程包括：
等级为0.9、对应时间为t1的元数据90在查找与匹配之前，需要根据数据等级进行权限等级系数的反向调整为：90/0.9＝100，将反向调整后的元数据90/0.9与校验数据[100,301,250]进行匹配，其中第一个校验数据为100，与90/0.9相等，因此，第一个校验数据100与元数据90匹配成功，第二个校验数据301和第三个校验数据250与元数据匹配失败。
等级为1、对应时间为t2的元数据300，设定其等级为1，相当于不存在权限等级，不需要反向调整，因此，直接将元数据300与校验数据[301,250,199]进行匹配，其中第一个校验数据为301，与元数据300的比对误差为：301-300＝1，误差比率为0.3％，匹配成功，第二个校验数据250和第三个校验数据199与元数据匹配失败。
等级为0.8、对应时间为t1的元数据160，在查找与匹配之前，需要根据数据等级进行权限等级系数的反向调整为：160/0.8＝200，将反向调整后的元数据160/0.8＝200与校验数据[250,199,370]进行匹配，其中第二个校验数据为199，与200的比对误差为：199-200＝-1，误差比率为-0.5％，匹配成功，第一个校验数据250和第三个校验数据370与元数据匹配失败。
等级为1、对应时间为t4的元数据100设定其等级为1，相当于不存在权限等级，不需要反向调整，因此，直接将元数据100与校验数据[199,370,458]进行匹配，第一个校验数据199、第二个校验数据370和第三个校验数据458与元数据匹配均失败。
该数据查找与匹配结果为：
由此可见，元数据90、300、160，分别成功匹配了校验数据的100、301、199，元数据100与在校验数据匹配失败，元数据100属于错误的元数据类型，此外，校验数据统计表中与t3’对应的数据250未与元数据统计表中的数据匹配，因此，校验数据统计表中与t3’对应的数据250相应的元数据缺失。
如果在校验数据统计表中进行元数据的查找与匹配完成后，在匹配成功项的结果分类中，如果一条元数据匹配了多个校验数据，根据预先设定的匹配调整误差标准，确定与该条元数据匹配的一个校验数据，将匹配的其它校验数据重新分类。
优选地，根据元数据统计表中与元数据对应的时间生成在校验数据统计表中进行查找的时间范围为：以元数据对应的时间t为基准，转换到校验数据统计表中相应的时间t’，对应在[t’-a,t’-b]的时间范围，其中，a为以时间t’为中心的下边界范围，b为以时间t’为中心的上边界范围，其中a可以为60秒，b可以为1800秒。
通过根据元数据的等级和预定的误差范围，在对应的时间范围内的校验数据中进行数据的依次查找与匹配，能够获得元数据的两种数据问题：数据缺失和数据错误，实现了小范围内数据的模糊查找与匹配，降低了算法单元的整体算力，提高了算法的效率，在预定误差范围内的查找与匹配的过程能够兼顾算法的精准度和效率。
上述所有可选技术方案，可以采用任意结合形成本申请的可选实施例，在此不再一一赘述。
图6是本公开实施例提供的系统600的示意图。如图6所示，该实施例的系统600包括：处理器601、存储器602以及存储在该存储器602中并且可在处理器601上运行的计算机程序603。处理器601执行计算机程序603时实现上述各个方法实施例中的步骤。或者，处理器601执行计算机程序603时实现上述各装置实施例中各模块/单元的功能。
示例性地，计算机程序603可以被分割成一个或多个模块/单元，一个或多个模块/单元被存储在存储器602中，并由处理器601执行，以完成本公开。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序603在系统600中的执行过程。
系统600可以是桌上型计算机、笔记本、掌上电脑及云端服务器等电子设备。系统600可以包括但不仅限于处理器601和存储器602。本领域技术人员可以理解，图6仅仅是系统600的示例，并不构成对系统600的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如，系统还可以包括输入输出设备、网络接入设备、总线等。
处理器601可以是中央处理单元(Central Processing Unit，CPU)，也可以是其它通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器602可以是系统600的内部存储单元，例如，系统600的硬盘或内存。存储器602也可以是系统600的外部存储设备，例如，系统600上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，存储器602还可以既包括系统600的内部存储单元也包括外部存储设备。存储器602用于存储计算机程序以及电子设备所需的其它程序和数据。存储器602还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本公开的范围。
在本公开所提供的实施例中，应该理解到，所揭露的装置/系统和方法，可以通过其它的方式实现。例如，以上所描述的装置/系统实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本公开实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可以存储在计算机可读存储介质中，该计算机程序在被处理器执行时，可以实现上述各个方法实施例的步骤。计算机程序可以包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如，在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上实施例仅用以说明本公开的技术方案，而非对其限制；尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本公开各实施例技术方案的精神和范围，均应包含在本公开的保护范围之内。
Claims (10)
1.一种数据核验方法，其特征在于，包括：
将线上数据单元与线下数据单元的数据作为元数据同步输入校验转换单元；
校验转换单元接收元数据，对元数据进行数据的一致性处理，形成校验数据；
数据分析单元接收元数据和校验数据，分别形成与时间对应的元数据统计表和与时间对应的校验数据统计表；
算法单元接收与时间对应的元数据统计表和与时间对应的校验数据统计表，根据元数据统计表中与元数据对应的时间生成在校验数据统计表中进行查找的时间范围，在校验数据统计表中与查找的时间范围对应的校验数据范围内，查找并匹配与元数据相关的校验数据，将匹配结果分类，输出完成数据匹配与分类的数据表；
风险预警单元接收完成数据匹配与分类的数据表，风险预警单元通过参数进行设定，对具备不同分类特征的数据进行参数调整，形成预警数据，输出预警信息；
数据核验输出单元接收预警信息，根据预设的数据输入输出配置，输出告警提示或者告警明细数据。
2.根据权利要求1所述的数据核验方法，其特征在于，所述与时间对应的元数据统计表中的数据存在权限等级，根据与元数据统计表中的数据对应的数据权限等级，校正元数据，校正后的元数据作为在校验数据统计表中进行查找与匹配过程的基准元数据。
3.根据权利要求2所述的数据核验方法，其特征在于，在校验数据统计表中进行元数据的查找与匹配过程中，如果在校验数据统计表中匹配的校验数据在预先设定的误差偏移范围内，则将该匹配的校验数据作为匹配成功项，如果在校验数据统计表中匹配的校验数据不在预先设定的误差偏移范围内，则将该匹配的校验数据作为匹配失败项，将匹配成功项与失败项的结果分类，输出完成数据匹配与分类的数据表。
4.根据权利要求3所述的数据核验方法，其特征在于，在校验数据统计表中进行元数据的查找与匹配完成后，在匹配失败项的结果分类中，包括元数据的缺失问题、及元数据的错误问题。
5.根据权利要求3所述的数据核验方法，其特征在于，在校验数据统计表中进行元数据的查找与匹配完成后，在匹配成功项的结果分类中，如果一条元数据匹配了多个校验数据，根据预先设定的匹配调整误差标准，确定与该条元数据匹配的一个校验数据，将匹配的其它校验数据重新分类。
6.根据权利要求1-5任一所述的数据核验方法，其特征在于，根据元数据统计表中与元数据对应的时间生成在校验数据统计表中进行查找的时间范围为：以元数据对应的时间t为基准，转换到校验数据统计表中相应的时间t’，对应在[t’-a,t’-b]的时间范围，其中，a为以时间t’为中心的下边界范围，b为以时间t’为中心的上边界范围。
7.根据权利要求6所述的数据核验方法，其特征在于，a为60秒，b为1800秒。
8.一种数据核验系统，其特征在于，包括：
元数据输入模块，被配置为：将线上数据单元与线下数据单元的数据作为元数据同步输入校验转换单元；
数据校验模块，被配置为：校验转换单元接收元数据，对元数据进行数据的一致性处理，形成校验数据；
数据分析模块，被配置为：数据分析单元接收元数据和校验数据，分别形成与时间对应的元数据统计表和与时间对应的校验数据统计表；
查找与匹配算法模块，被配置为：算法单元接收与时间对应的元数据统计表和与时间对应的校验数据统计表，根据元数据统计表中与元数据对应的时间生成在校验数据统计表中进行查找的时间范围，在校验数据统计表中与查找的时间范围对应的校验数据范围内，查找并匹配与元数据相关的校验数据，将匹配结果分类，输出完成数据匹配与分类的数据表；
风险预警模块，被配置为：风险预警单元接收完成数据匹配与分类的数据表，风险预警单元通过参数进行设定，对具备不同分类特征的数据进行参数调整，形成预警数据，输出预警信息；
核验输出模块，被配置为：数据核验输出单元接收预警信息，根据预设的数据输入输出配置，输出告警提示或者告警明细数据。
9.一种装置，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现权利要求1至7中任一项所述的方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210749124.4A CN115048430B (zh) | 2022-06-28 | 2022-06-28 | 数据核验方法、系统、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210749124.4A CN115048430B (zh) | 2022-06-28 | 2022-06-28 | 数据核验方法、系统、装置及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115048430A true CN115048430A (zh) | 2022-09-13 |
| CN115048430B CN115048430B (zh) | 2024-04-16 |
Family
ID=83164594
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210749124.4A Active CN115048430B (zh) | 2022-06-28 | 2022-06-28 | 数据核验方法、系统、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115048430B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116069775A (zh) * | 2023-04-06 | 2023-05-05 | 上海二三四五网络科技有限公司 | 一种数据仓库的数据质量校验系统及校验方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019105143A1 (zh) * | 2017-11-30 | 2019-06-06 | 深圳市文鼎创数据科技有限公司 | 一种基于蓝牙的数据通讯的方法、设备及存储介质 |
| CN110442756A (zh) * | 2019-06-27 | 2019-11-12 | 平安科技（深圳）有限公司 | 数据校验方法、装置、计算机设备和存储介质 |
| CN111858468A (zh) * | 2020-07-22 | 2020-10-30 | 苏州浪潮智能科技有限公司 | 分布式文件系统元数据校验方法、系统、终端及存储介质 |
| CN113434542A (zh) * | 2021-06-24 | 2021-09-24 | 平安国际智慧城市科技股份有限公司 | 数据关系识别方法、装置、电子设备及存储介质 |
| WO2022126975A1 (zh) * | 2020-12-16 | 2022-06-23 | 平安科技（深圳）有限公司 | 客户信息校验方法、装置、计算机设备及存储介质 |
-
2022
- 2022-06-28 CN CN202210749124.4A patent/CN115048430B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019105143A1 (zh) * | 2017-11-30 | 2019-06-06 | 深圳市文鼎创数据科技有限公司 | 一种基于蓝牙的数据通讯的方法、设备及存储介质 |
| CN110442756A (zh) * | 2019-06-27 | 2019-11-12 | 平安科技（深圳）有限公司 | 数据校验方法、装置、计算机设备和存储介质 |
| CN111858468A (zh) * | 2020-07-22 | 2020-10-30 | 苏州浪潮智能科技有限公司 | 分布式文件系统元数据校验方法、系统、终端及存储介质 |
| WO2022126975A1 (zh) * | 2020-12-16 | 2022-06-23 | 平安科技（深圳）有限公司 | 客户信息校验方法、装置、计算机设备及存储介质 |
| CN113434542A (zh) * | 2021-06-24 | 2021-09-24 | 平安国际智慧城市科技股份有限公司 | 数据关系识别方法、装置、电子设备及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 何光宇;闻英友;赵宏;: "基于主动D-S理论分类器的告警校验", 计算机工程, no. 04, 20 February 2009 (2009-02-20) * |
| 邓帅;乔向阳;马兵;陆振坤;杜鸣亮;程宜风;: "变电站继电保护定值单电子核验交接系统研究与应用", 电工技术, no. 01, 10 January 2017 (2017-01-10) * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116069775A (zh) * | 2023-04-06 | 2023-05-05 | 上海二三四五网络科技有限公司 | 一种数据仓库的数据质量校验系统及校验方法 |
| CN116069775B (zh) * | 2023-04-06 | 2023-08-22 | 上海二三四五网络科技有限公司 | 一种数据仓库的数据质量校验系统及校验方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115048430B (zh) | 2024-04-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8407774B2 (en) | Cloud authentication processing and verification | |
| CN109214543B (zh) | 数据处理方法及装置 | |
| CN109614327B (zh) | 用于输出信息的方法和装置 | |
| CN112134883B (zh) | 基于可信计算进行节点间信任关系快速认证的方法、装置及相关产品 | |
| CN112307331A (zh) | 一种基于区块链高校毕业生智能招聘信息推送方法、系统及终端设备 | |
| CN115048430A (zh) | 数据核验方法、系统、装置及存储介质 | |
| CN113435534A (zh) | 一种基于相似度度量的数据异构处理方法、装置、计算机设备及计算机可读存储介质 | |
| CN114143000B (zh) | 基于不经意传输协议与秘密分享的匿踪查询方法及装置 | |
| CN111431908A (zh) | 一种访问处理方法、装置及可读存储介质 | |
| CN110020040B (zh) | 查询数据的方法、装置和系统 | |
| CN113449986A (zh) | 一种业务分配方法、装置、服务器及存储介质 | |
| CN114700957B (zh) | 模型低算力需求的机器人控制方法及装置 | |
| CN114679627B (zh) | 一种基于区块链的点播数据处理方法及系统 | |
| CN116258915B (zh) | 多个目标部位联合检测的方法及装置 | |
| CN115984783B (zh) | 人群计数方法及装置 | |
| CN114511044B (zh) | 无人车通行控制方法及装置 | |
| CN117372685B (zh) | 目标检测方法、装置、电子设备及存储介质 | |
| CN116910566B (zh) | 一种目标识别模型训练方法和装置 | |
| CN115661899A (zh) | 针对难例样本的人脸识别模型的训练方法及装置 | |
| CN115830691A (zh) | 人脸识别模型的训练方法及装置 | |
| CN114417717B (zh) | 印刷电路板的仿真方法及装置 | |
| CN115660071A (zh) | 模型剪枝方法及装置 | |
| CN114519884A (zh) | 人脸识别方法、装置、电子设备及计算机可读存储介质 | |
| CN115937929A (zh) | 针对难例样本的人脸识别模型的训练方法及装置 | |
| CN114860710A (zh) | 用于异常检测的数据处理方法、系统、装置及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |