CN113609119A - 一种数据对账修复方法、装置、存储介质及电子设备 - Google Patents
一种数据对账修复方法、装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN113609119A CN113609119A CN202110920562.8A CN202110920562A CN113609119A CN 113609119 A CN113609119 A CN 113609119A CN 202110920562 A CN202110920562 A CN 202110920562A CN 113609119 A CN113609119 A CN 113609119A
- Authority
- CN
- China
- Prior art keywords
- data
- information
- exchange
- abnormal
- reconciliation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 230000002159 abnormal effect Effects 0.000 claims abstract description 105
- 230000008439 repair process Effects 0.000 claims description 35
- 238000013507 mapping Methods 0.000 claims description 21
- 238000006243 chemical reaction Methods 0.000 claims description 17
- 230000001172 regenerating effect Effects 0.000 claims description 17
- 238000011084 recovery Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 10
- 238000004891 communication Methods 0.000 claims description 8
- 230000001502 supplementing effect Effects 0.000 claims description 4
- 238000013523 data management Methods 0.000 abstract description 2
- 238000013024 troubleshooting Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 230000005856 abnormality Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000002349 favourable effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1448—Management of the data involved in backup or backup restore
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/12—Accounting
- G06Q40/125—Finance or payroll
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Finance (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Accounting & Taxation (AREA)
- General Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Databases & Information Systems (AREA)
- Economics (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- Technology Law (AREA)
- General Business, Economics & Management (AREA)
- Development Economics (AREA)
- Data Mining & Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请涉及数据管理技术领域，具体公开了一种数据对账修复方法、装置、存储介质及电子设备。其中方法包括：接收基于数据交换任务列表拆分获得的交换信息集合；基于所述交换信息集合中的目标交换信息，从发送方获取待对账的第一数据信息、以及从接收方获取待对账的第二数据信息；基于所述第一数据信息以及所述第二数据信息进行数据对账操作，获得数据对账结果；在所述对账结果为不一致的情况下，获取对账异常的异常类型，基于与所述异常类型对应的目标修复方式进行修复。本申请中在对账操作后，通过获取对账异常的异常类型，由此能够准确的确定出异常情况的问题点，同时通过确定目标修复方式，有利于后续自动的进行修复。
Description
技术领域
本申请涉及数据管理技术领域，特别涉及一种数据对账修复方法、装置、存储介质及电子设备。
背景技术
数据对账是各种企业、公司系统中的重要一环。现有的数据对账方法中，通常是由数据交换平台来完成的，即数据共享交换平台会分别采集发送方和接收方在一段时间内的共享数据，然后通过比较来确定数据同步的数据量、数据同步的次数等，以此来确定共享的数据是否一致、准确。然而现有的这种数据对账方法在检测出对账结果不一致时，无法准确的定位出异常情况的问题点，并且也无法进行自动修复，只能通过人工的方式来进行修复排障，增加了人工工作量，提高了人工成本。
发明内容
有鉴于此，本发明提供了一种数据对账修复方法、装置、存储介质及电子设备，主要目的在于解决目前的对账方法无法准确的确定出异常情况的问题点，无法自动进行异常修复的问题。
为解决上述问题，本申请提供一种数据对账修复方法，包括：
接收基于数据交换任务列表拆分获得的交换信息集合；
基于所述交换信息集合中的目标交换信息，从发送方获取待对账的第一数据信息、以及从接收方获取待对账的第二数据信息；
基于所述第一数据信息以及所述第二数据信息进行数据对账操作，获得数据对账结果；
在所述对账结果为不一致的情况下，获取对账异常的异常类型，基于与所述异常类型对应的目标修复方式进行异常修复。
可选的，所述交换信息至少包括如下任意一种或几种信息：接收方的数据库地址、发送方的数据库地址、接收方端口号、发送方端口号；
所述基于所述交换信息集合中的目标交换信息，从发送方获取待对账的第一数据信息、以及从接收方获取待对账的第二数据信息，具体包括：
基于所述目标交换信息中的发送方的数据库地址与发送方的数据库建立通信连接；基于所述目标交换信息中的发送方端口号从所述发送方的数据库中获取到所述第一数据信息；
基于所述目标交换信息中的接收方的数据库地址与接收方的数据库建立通信连接；基于所述目标交换信息中的接收方端口号从所述接收方的数据库中获取到所述第二数据信息。
可选的，所述对账操作包括如下任意一种或几种：
将第一数据信息中提供表的表结构与第二数据信息中接收表的结构进行比较，判断表结构是否一致；
将第一数据信息中提供表的数据量与第二数据信息中接收表的数据量进行比较，判断数据量是否一致；
将第一数据信息中提供表的增量字段值与第二数据信息中接收表的增量字段值进行比较，判断增量字段值是否一致；
将第一数据信息中提供表的增量字段索引与第二数据信息中接收表的增量字段索引进行比较，判断增量字段索引是否一致；
将第一数据信息中提供表的主键与第二数据信息中接收表的主键进行比较，判断主键是否一致。
可选的，所述异常类型包括如下任意一种或几种：接收方的数据库连接异常、发送方的数据库连接异常、提供表的生成情况异常、提供表的完整性异常、接收表的完整性异常、数据交换定时调度任务的生成情况异常、数据交换任务列表的完整性异常、数据转换操作任务的生成情况异常以及数据交换任务的有效性异常；
所述修复方式包括如下一种或几种：重新连接接收方的数据库、重新连接发送方的数据库、重新生成提供表、重新提供表、将提供表中的信息重新写入到接收表、重新生成数据交换定时调度任务、将数据交换信息补入到数据交换任务列表、重新生成数据转换操作任务以及重新生成数据交换任务。
可选的，在接收基于数据交换任务列表拆分获得的交换信息集合之前，所述方法还包括：基于各所述修复方式以及各所述异常类型建立映射关系，获得异常类型与修复方式的映射关系表；
在获取数据交换的异常类型之后，所述方法还包括：基于所述异常类型查找所述映射关系表，以获得与所述异常类型对应的所述目标修复方式。
可选的，在所述对账结果为不一致的情况下，所述方法还包括按照预定的提示方式输出提示信息，以进行对账结果提示。
可选的，在接收基于数据交换任务列表拆分获得的交换信息集合之后，所述方法还包括：
接收数据对账修复指令；
基于所述数据对账修复指令按照预定的获取顺序从所述交换信息集合中逐一获取交换信息作为目标交换信息。
为解决上述技术问题，本申请提供一种数据对账修复装置，包括：
接收模块，用于接收基于数据交换任务列表拆分获得的交换信息集合；
获取模块，用于基于所述交换信息集合中的目标交换信息，从发送方获取待对账的第一数据信息、以及从接收方获取待对账的第二数据信息；
对账模块，用于基于所述第一数据信息以及所述第二数据信息进行数据对账操作，获得数据对账结果；
修复模块，用于在所述对账结果为不一致的情况下，获取对账异常的异常类型，基于与所述异常类型对应的目标修复方式进行异常修复。
为解决上述技术问题，本申请提供一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述数据对账修复方法的步骤。
为解决上述技术问题，本申请提供一种电子设备，至少包括存储器、处理器，所述存储器上存储有计算机程序，所述处理器在执行所述存储器上的计算机程序时实现上述任一项所述数据对账修复方法的步骤。
本申请中的数据对账修复方法、装置、存储介质及电子设备，通过获取第一数据信息以及第二数据信息，并基于第一数据信息以及第二数据信息完成对账操作后，通过获取对账异常的异常类型，由此能够准确的确定出异常情况的问题点，同时通过确定目标修复方式，有利于后续自动的进行修复，不再需要人工排障修复，提高了修复效率。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1为本数据交换平台进行数据交换的流程图；
图2为本申请一实施例一种数据对账修复方法的流程图；
图3为本申请又一实施例一种数据对账修复方法的流程图；
图4为本申请另一实施例一种数据对账修复装置的示意图。
具体实施方式
此处参考附图描述本申请的各种方案以及特征。
应理解的是，可以对此处申请的实施例做出各种修改。因此，上述说明书不应该视为限制，而仅是作为实施例的范例。本领域的技术人员将想到在本申请的范围和精神内的其他修改。
包含在说明书中并构成说明书的一部分的附图示出了本申请的实施例，并且与上面给出的对本申请的大致描述以及下面给出的对实施例的详细描述一起用于解释本申请的原理。
通过下面参照附图对给定为非限制性实例的实施例的优选形式的描述，本申请的这些和其它特性将会变得显而易见。
还应当理解，尽管已经参照一些具体实例对本申请进行了描述，但本领域技术人员能够确定地实现本申请的很多其它等效形式。
当结合附图时，鉴于以下详细说明，本申请的上述和其他方面、特征和优势将变得更为显而易见。
此后参照附图描述本申请的具体实施例；然而，应当理解，所申请的实施例仅仅是本申请的实例，其可采用多种方式实施。熟知和/或重复的功能和结构并未详细描述以避免不必要或多余的细节使得本申请模糊不清。因此，本文所申请的具体的结构性和功能性细节并非意在限定，而是仅仅作为权利要求的基础和代表性基础用于教导本领域技术人员以实质上任意合适的详细结构多样地使用本申请。
本说明书可使用词组“在一种实施例中”、“在另一个实施例中”、“在又一实施例中”或“在其他实施例中”，其均可指代根据本申请的相同或不同实施例中的一个或多个。
本申请中数据交换/数据共享是指：发送方将待交换的数据或待共享的数据发送给接收方，具体是利用数据共享平台来完成数据交换的，具体过程可以如图1所示，数据交换平台首先会创建生成数据交换任务，然后数据交换平台在执行数据交换任务之前还会生成定时调度任务信息，数据交换平台根据定时调度任务信息启动数据交换任务，即从发送方获取待交换的获取提供表数据，然后调用Kettle转换作业对所述待交换的提供表数据进行转换，同时创建数据转换记录，然后将转换后的数据存储至或写入到接收方的数据库，获得接收表数据。由于是通过数据交换平台来读取数据并将数据写入或发送给接收方，由此在数据传输或读写过程中可能会出现丢失等问题，因此在完成数据交换或共享之后需要进行数据对账修复。本申请中的数据对账修复方法具体可以应用于对账服务器，如图2所示，包括如下步骤：
步骤S101，接收基于数据交换任务列表拆分获得的交换信息集合；
本步骤中，数据交换任务列表中包含有若干条交换信息，各交换信息是数据交换平台在进行数据交换/共享时基于接收方和发送方等信息而生成的。具体的所述交换信息至少包括如下一种或几种：接收方的数据库地址、发送方的数据库地址、接收方的端口号、发送方的端口号，当然交换信息还可以包括发送方用户名、接收方用户名、发送方标识信息、接收方标识信息等等。在生成数据交换任务的交换信息后，就可以对该交换信息进行存储，具体的可以存储在数据交换平台的关系型数据库中，由此来获得数据交换任务列表。在后续需要进行数据对账修复时，数据交换平台就会根据对账服务器的个数和/或各对账服务器的负载情况，采用目标拆分方式对数据交换列表中的交换进行拆分，获得若干组交换信息，即获得若干交换信息集合。例如根据对账服务器的个数采用平均拆分方式对数据交换任务列表拆分获得的交换信息，例如有3个服务器节点，数据交换任务列表中共有30条交换信息，那么就可以将该30个数据交换信息拆分成3组，每组10个交换信息。或者，也可以根据服务器的负载情况，对数据交换任务列表中的数据交换信息进行拆分，例如有3个服务器，分别为服务器A、服务器B和服务器C，其中服务器A的负载较多，由此可以拆分出4条数据交换信息作为一个交换信息集合分配给服务器A；然后将数据交换任务列表中剩余的26条交换信息进行平均拆分，获得两个交换信息集合，并分别分配给服务器B和服务器C。本申请中各服务器通过接收拆分后的交换信息集合，由此能够实现分布式的对账操作，提高了对账效率。
步骤S102，基于所述交换信息集合中的目标交换信息，从发送方获取待对账的第一数据信息、以及从接收方获取待对账的第二数据信息；
本步骤在具体实施过程中，具体对账服务器可以按照交换信息集合中各交换信息的排列顺序，依次获取交换信息作为目标交换信息，然后再根据目标交换信息获取相应的第一数据信息以及第二数据信息，基于第一数据信息以及第二数据信息完成一次对账操作。
步骤S103，基于所述第一数据信息以及所述第二数据信息进行数据对账操作，获得数据对账结果；
本步骤中，对账操作具体可以包括如下任意一种或几种：将第一数据信息中提供表的表结构与第二数据信息中接收表的结构进行比较，判断表结构是否一致；将第一数据信息中提供表的数据量与第二数据信息中接收表的数据量进行比较，判断数据量是否一致；将第一数据信息中提供表的增量字段值与第二数据信息中接收表的增量字段值进行比较，判断增量字段值是否一致；将第一数据信息中提供表的增量字段索引与第二数据信息中接收表的增量字段索引进行比较，判断增量字段索引是否一致；将第一数据信息中提供表的主键与第二数据信息中接收表的主键进行比较，判断主键是否一致。
步骤S104，在所述对账结果为不一致的情况下，获取对账异常的异常类型，基于与所述异常类型对应的目标修复方式进行异常修复。
本步骤中异常类型包括如下任意一种或几种：接收方的数据库连接异常、发送方的数据库连接异常、提供表的生成情况异常、提供表的完整性异常、接收表的完整性异常、数据交换定时调度任务的生成情况异常、数据交换任务列表的完整性异常、数据转换操作任务的生成情况异常以及数据交换任务的有效性异常。不同的异常类型对应不同的修复方式，具体的修复方式包括如下一种或几种：重新连接接收方的数据库、重新连接发送方的数据库、重新生成提供表、重新提供表、将提供表中的信息重新写入到接收表、重新生成数据交换定时调度任务、将数据交换信息补入到数据交换任务列表、重新生成数据转换操作任务以及重新生成数据交换任务。本步骤中，当服务器在对账操作之后确定对账结果为不一致时，服务器就可以检测提供库、连接库、提供表、接收表等来确定相应的异常类型，然后服务器再采用与异常类型对应的修复方式进行异常修复，由此能够准确的定位异常情况的问题点，并且自动完成修复，不再需要人工排障修复，提高了修复效率。
本申请又一实施例提供一种数据对账修复方法，如图3所示，包括：
步骤S201，基于各所述修复方式以及各所述异常类型建立映射关系，获得异常类型与修复方式的映射关系表；
本步骤中通过构建映射关系表，能够便于后续根据异常类型来快速的确定目标修复方式，为后续快速的进行异常修复提供了保障。
步骤S202，接收基于数据交换任务列表拆分获得的交换信息集合；
步骤S203，接收数据对账修复指令；基于所述数据对账修复指令按照预定的获取顺序从所述交换信息集合中逐一获取交换信息作为目标交换信息。
步骤S204，基于所述目标交换信息中的发送方的数据库地址与发送方的数据库建立通信连接；基于所述目标交换信息中的发送方端口号从所述发送方的数据库中获取第一数据信息；基于所述目标交换信息中的接收方的数据库地址与接收方的数据库建立通信连接；基于所述目标交换信息中的接收方端口号从所述接收方的数据库中获取第二数据信息。
本步骤中第一数据信息包括如下任意一种或几种：提供表信息、提供库连接信息，提供表信息包括如下一种或几种：表结构信息、总数据量、增量字段值、主键、增量字段索引、触发器等信息。第二数据信息包括如下任意一种或几种：接收表信息、接收库连接信息，其中接收表信息包括如下一种或几种：表结构信息、总数据量、增量字段值等信息。
本步骤中，在数据交换时，发送方会根据待交换的数据生成提供表，该提供表中包含了实际需要交换的待交换数据、与该待交换数据对应的增量字段值、与增量字段值对应的增量字段索引以及主键等等，然后将该提供表发送给数据共享平台，数据共享平台在接收到该提供表之后就可以将提供表中的信息发送给接收方，接收方在接收到数据共享平台发送的信息后就会根据接收到的信息来生成接收表；同理，接收表包含了实际接收到的交换数据、与该待交换数据对应的增量字段值、与增量字段值对应的增量字段索引以及主键等。由于目标交换信息中包含有发送方相关的信息以及接收方相关的信息，因此对账服务器在获得目标交换信息后，就可以根据发送方的相关信息来与发送方的数据库建立连接，并从发送方的数据库获取数据交换时实际交换的第一数据信息；同理对账服务器还会和接收方的数据库建立连接，然后从接收方的数据库获取到接收方实际接收的第二数据信息。
步骤S205，基于所述第一数据信息以及所述第二数据信息进行数据对账操作，获得数据对账结果。
本步骤中在获得第一数据信息和第二数据信息之后就可以从接收表和提供表的表结构、数据量、增量字段值、增量字段索引等多个维度来进行数据对账，以此来判断第一数据信息和第二数据信息是否一致，获得对账结果。
步骤S206，在所述对账结果为不一致的情况下，获取对账异常的异常类型，基于所述异常类型查找所述映射关系表，以获得与所述异常类型对应的目标修复方式，基于所述目标修复方式进行异常修复。
本步骤中，例如对账结果为不一致时，可以检测提供库的连接情况，在提供库连接异常时，确定重新连接提供库为目标修复方式进行修复。以为后续重新进行数据交换提供保障。具体的，在检查连接库是否异常时，可以使用Java数据库连接(Java DatabaseConnectivity，简称JDBC)，利用JDBC来封装预定的检测程序，利用该检测程序以此来检测数据库的连接情况，在数据库连接不上时会报异常，提示连接数据库超时。或者，检测提供表的生成情况，在提供表生成情况异常时，查找映射关系表确定重新生成提供表为目标修复方式，以进行修复，为后续重新进行数据交换提供保障。具体的在检查提供表的生成情况是否异常时，也可以通过JDBC来封装预定的检测程序，利用该检测程序检测提供表是否存在，如果返回结果为空，则表示提供表不存在，说明提供表生成情况异常。或者，检测数据交换定时调度任务的生成情况，在确定数据交换定时调度任务生成情况异常时，查找映射关系表确定重新生成数据交换定时调度任务为目标修复方法，以进行修复，为后续重新进行数据交换提供保障。具体的本申请中可以通过查看第一列表来确定是否生成了数据定时调度任务，即在生成数据定时调度任务时，会将该任务信息存储在第一列表中，当对账结果不一致时，就可以通过查看该任务表确定是否已经生成了数据定时调度任务。或者，检测数据交换任务列表的完整情况，在数据交换任务列表不完整时，查找映射关系表将数据交换信息补入到数据交换任务列表作为目标修复方式，以进行修复，具体的，本申请中可以将交换任务列表中各条交换信息与预设的交换信息模板进行比较，确定各条交换信息中是否包含有接收方的数据库地址、发送方的数据库地址、接收方端口号、发送方端口号，例如当某条交换信息中未包含有接收方的端口号和接收方的数据库地址，而仅仅包含了接收方的用户名时，可以通过查找预设的映射表将用户名对应的接收方的端口号以及接收方的数据库地址补入到数据交换任务信息列表中，当然也可以根据任务标识查找任务交换的历史记录，根据历史记录将接收方的端口号以及接收方的数据库地址补入到数据交换任务信息列表。或者，检测数据转换操作任务的生成情况，在确定数据转换操作任务未生成时，查找映射关系表确定重新执行数据转换操作为目标修复方式，以进行修复，为后续重新进行数据交换提供保障，具体的在检测数据转换操作任务的生成情况时，可以通过查看第二列表来确定是否生成了数据转换操作任务，即在数据转换操作任务时，会将该任务信息存储在第二列表中，当对账结果不一致时，就可以通过查看该任务表确定是否已经生成了数据转换操作任务。或者，检测接收库的连接情况，在接收库连接异常时，查找映射关系表确定重新连接接收库为目标修复方式，以进行修复，为后续重新进行数据交换提供保障。具体的在检查接收库是否连接异常时，也可以使用Java数据库连接(Java Database Connectivity，简称JDBC)，利用JDBC来封装预定的检测程序，利用该检测程序以此来检测数据库的连接情况，在数据库连接不上时会报异常，提示连接数据库超时。或者，检测接收表的完整情况，在接收表不完整时，查找映射关系表确定重新写入提供表以生成接收表为目标修复方式，以进行修复。具体的在检测接收表是否完整时，具体可以将接收表与预设的接收表模板进行比较，确定接收表是否包含了模板中的增量字段、增量字段索引、交换数据等项目，由此来确定接收表是否存在信息或项目缺失的情况。
本步骤中在对账结果不一致时，还可以根据对账异常的异常类型按照对应的提示方式输出提示信息，以进行异常提示，具体的提示方式可以为语音播放方式、屏幕显示方式等，提示信息可以为特定旋律的声音、语音、预定的符号、文字、图片等。例如在异常类型为提供库连接异常时，可以语音播放提示声音来进行提示；再如，在异常类型为接收表不完整时，可以利用显示屏幕来显示预定的文字或图片，或者还可以将提示信息发送至预先绑定的终端设备上，以此来进行异常提示。通过输出与异常类型对应的提示信息，能够使工作人员更加直观的了解到数据对账修复过程中出现的问题。
本申请中根据异常类型来查找预设的映射关系表，由此能够准确、快速的确定目标修复方式，进而能够根据目标修复方式进行自动修复，提高了数据对账修复的效率，并且实现了自动修复排障，无需人工参与修复排障，降低了人力成本。
本申请又一实施例提供一种数据对账修复装置，如图4所示，包括：
接收模块1，用于接收基于数据交换任务列表拆分获得的交换信息集合；
获取模块2，用于基于所述交换信息集合中的目标交换信息，从发送方获取待对账的第一数据信息、以及从接收方获取待对账的第二数据信息；
对账模块3，用于基于所述第一数据信息以及所述第二数据信息进行数据对账操作，获得数据对账结果；
修复模块4，用于在所述对账结果为不一致的情况下，获取对账异常的异常类型，基于与所述异常类型对应的目标修复方式进行异常修复。
本实施例在具体实施过程中，交换信息至少包括如下任意一种或几种信息：接收方的数据库地址、发送方的数据库地址、接收方端口号和发送方端口号；所述获取模块，具体用于：基于所述目标交换信息中的发送方的数据库地址与发送方的数据库建立通信连接；基于所述目标交换信息中的发送方端口号从所述发送方的数据库中获取到所述第一数据信息；基于所述目标交换信息中的接收方的数据库地址与接收方的数据库建立通信连接；基于所述目标交换信息中的接收方端口号从所述接收方的数据库中获取到所述第二数据信息。
所述对账操作包括如下任意一种或几种：将第一数据信息中提供表的表结构与第二数据信息中接收表的结构进行比较，判断表结构是否一致；将第一数据信息中提供表的数据量与第二数据信息中接收表的数据量进行比较，判断数据量是否一致；将第一数据信息中提供表的增量字段值与第二数据信息中接收表的增量字段值进行比较，判断增量字段值是否一致；将第一数据信息中提供表的增量字段索引与第二数据信息中接收表的增量字段索引进行比较，判断增量字段索引是否一致；将第一数据信息中提供表的主键与第二数据信息中接收表的主键进行比较，判断主键是否一致。
所述异常类型包括如下任意一种或几种：接收方的数据库连接异常、发送方的数据库连接异常、提供表的生成情况异常、提供表的完整性异常、接收表的完整性异常、数据交换定时调度任务的生成情况异常、数据交换任务列表的完整性异常、数据转换操作任务的生成情况异常以及数据交换任务的有效性异常。所述修复方式包括如下一种或几种：重新连接接收方的数据库、重新连接发送方的数据库、重新生成提供表、重新提供表、将提供表中的信息重新写入到接收表、重新生成数据交换定时调度任务、将数据交换信息补入到数据交换任务列表、重新生成数据转换操作任务以及重新生成数据交换任务。
本实施例中的数据对账修复装置，还包括建立模块，所述建立模块用于：基于各所述修复方式以及各所述异常类型建立映射关系，获得异常类型与修复方式的映射关系表。所述修复模块具体用于：基于所述异常类型查找所述映射关系表，以获得与所述异常类型对应的所述目标修复方式，然后基于目标修复方式进行异常修复。
本实施例中的数据对账修复装置，还包括提示模块，所述提示模块用于：在所述对账结果为不一致的情况下，按照预定的提示方式输出提示信息，以进行对账结果提示。
本实施例中的接收模块还用于：接收数据对账修复指令；所述获取模块具体用于：基于所述数据对账修复指令按照预定的获取顺序从所述交换信息集合中逐一获取交换信息作为目标交换信息。
本申请中的数据对账修复装置，通过获取第一数据信息以及第二数据信息，并基于第一数据信息以及第二数据信息完成对账操作后，通过获取对账异常的异常类型，由此能够准确的确定出异常情况的问题点，同时通过确定目标修复方式，有利于后续自动的进行修复，不再需要人工排障修复，提高了修复效率。
本申请又一实施例提供一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如下数据对账修复方法的步骤：
步骤一、接收基于数据交换任务列表拆分获得的交换信息集合；
步骤二、基于所述交换信息集合中的目标交换信息，从发送方获取待对账的第一数据信息、以及从接收方获取待对账的第二数据信息；
步骤三、基于所述第一数据信息以及所述第二数据信息进行数据对账操作，获得数据对账结果；
步骤四、在所述对账结果为不一致的情况下，获取对账异常的异常类型，基于与所述异常类型对应的目标修复方式进行异常修复。
上述方法步骤的具体实施过程可参见上述数据对账修复方法的实施例，本实施例在此不再重复赘述。
本申请中的存储介质通过获取第一数据信息以及第二数据信息，并基于第一数据信息以及第二数据信息完成对账操作后，通过获取对账异常的异常类型，由此能够准确的确定出异常情况的问题点，同时通过确定目标修复方式，有利于后续自动的进行修复，不再需要人工排障修复，提高了修复效率。
本申请又一实施例提供一种电子设备，至少包括存储器、处理器，所述存储器上存储有计算机程序，所述处理器在执行所述存储器上的计算机程序时实现下方法的步骤：
步骤一、接收基于数据交换任务列表拆分获得的交换信息集合；
步骤二、基于所述交换信息集合中的目标交换信息，从发送方获取待对账的第一数据信息、以及从接收方获取待对账的第二数据信息；
步骤三、基于所述第一数据信息以及所述第二数据信息进行数据对账操作，获得数据对账结果；
步骤四、在所述对账结果为不一致的情况下，获取对账异常的异常类型，基于与所述异常类型对应的目标修复方式进行异常修复。
上述方法步骤的具体实施过程可参见上述数据对账修复方法的实施例，本实施例在此不再重复赘述。
本申请中电子设备，通过获取第一数据信息以及第二数据信息，并基于第一数据信息以及第二数据信息完成对账操作后，通过获取对账异常的异常类型，由此能够准确的确定出异常情况的问题点，同时通过确定目标修复方式，有利于后续自动的进行修复，不再需要人工排障修复，提高了修复效率。
以上实施例仅为本申请的示例性实施例，不用于限制本申请，本申请的保护范围由权利要求书限定。本领域技术人员可以在本申请的实质和保护范围内，对本申请做出各种修改或等同替换，这种修改或等同替换也应视为落在本申请的保护范围内。
Claims (10)
1.一种数据对账修复方法，其特征在于，包括：
接收基于数据交换任务列表拆分获得的交换信息集合；
基于所述交换信息集合中的目标交换信息，从发送方获取待对账的第一数据信息、以及从接收方获取待对账的第二数据信息；
基于所述第一数据信息以及所述第二数据信息进行数据对账操作，获得数据对账结果；
在所述对账结果为不一致的情况下，获取对账异常的异常类型，基于与所述异常类型对应的目标修复方式进行异常修复。
2.如权利要求1所述的方法，其特征在于，所述交换信息至少包括：接收方的数据库地址、发送方的数据库地址、接收方端口号、发送方端口号；
所述基于所述交换信息集合中的目标交换信息，从发送方获取待对账的第一数据信息、以及从接收方获取待对账的第二数据信息，具体包括：
基于所述目标交换信息中的发送方的数据库地址与发送方的数据库建立通信连接；基于所述目标交换信息中的发送方端口号从所述发送方的数据库中获取到所述第一数据信息；
基于所述目标交换信息中的接收方的数据库地址与接收方的数据库建立通信连接；基于所述目标交换信息中的接收方端口号从所述接收方的数据库中获取到所述第二数据信息。
3.如权利要求1所述的方法，其特征在于，所述对账操作包括如下任意一种或几种：
将第一数据信息中提供表的表结构与第二数据信息中接收表的结构进行比较，判断表结构是否一致；
将第一数据信息中提供表的数据量与第二数据信息中接收表的数据量进行比较，判断数据量是否一致；
将第一数据信息中提供表的增量字段值与第二数据信息中接收表的增量字段值进行比较，判断增量字段值是否一致；
将第一数据信息中提供表的增量字段索引与第二数据信息中接收表的增量字段索引进行比较，判断增量字段索引是否一致；
将第一数据信息中提供表的主键与第二数据信息中接收表的主键进行比较，判断主键是否一致。
4.如权利要求1所述的方法，其特征在于，所述异常类型包括如下任意一种或几种：接收方的数据库连接异常、发送方的数据库连接异常、提供表的生成情况异常、提供表的完整性异常、接收表的完整性异常、数据交换定时调度任务的生成情况异常、数据交换任务列表的完整性异常、数据转换操作任务的生成情况异常以及数据交换任务的有效性异常；
所述修复方式包括如下一种或几种：重新连接接收方的数据库、重新连接发送方的数据库、重新生成提供表、重新提供表、将提供表中的信息重新写入到接收表、重新生成数据交换定时调度任务、将数据交换信息补入到数据交换任务列表、重新生成数据转换操作任务以及重新生成数据交换任务。
5.如权利要求1所述的方法，其特征在于，在接收基于数据交换任务列表拆分获得的交换信息集合之前，所述方法还包括：基于各所述修复方式以及各所述异常类型建立映射关系，获得异常类型与修复方式的映射关系表；
在获取数据交换的异常类型之后，所述方法还包括：基于所述异常类型查找所述映射关系表，以获得与所述异常类型对应的所述目标修复方式。
6.如权利要求1所述的方法，其特征在于，在所述对账结果为不一致的情况下，所述方法还包括按照预定的提示方式输出提示信息，以进行对账结果提示。
7.如权利要求1所述的方法，其特征在于，在接收基于数据交换任务列表拆分获得的交换信息集合之后，所述方法还包括：
接收数据对账修复指令；
基于所述数据对账修复指令按照预定的获取顺序从所述交换信息集合中逐一获取交换信息作为目标交换信息。
8.一种数据对账修复装置，其特征在于，包括：
接收模块，用于接收基于数据交换任务列表拆分获得的交换信息集合；
获取模块，用于基于所述交换信息集合中的目标交换信息，从发送方获取待对账的第一数据信息、以及从接收方获取待对账的第二数据信息；
对账模块，用于基于所述第一数据信息以及所述第二数据信息进行数据对账操作，获得数据对账结果；
修复模块，用于在所述对账结果为不一致的情况下，获取对账异常的异常类型，基于与所述异常类型对应的目标修复方式进行异常修复。
9.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述权利要求1-7任一项所述数据对账修复方法的步骤。
10.一种电子设备，其特征在于，至少包括存储器、处理器，所述存储器上存储有计算机程序，所述处理器在执行所述存储器上的计算机程序时实现上述权利要求1-7任一项所述数据对账修复方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110920562.8A CN113609119A (zh) | 2021-08-11 | 2021-08-11 | 一种数据对账修复方法、装置、存储介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110920562.8A CN113609119A (zh) | 2021-08-11 | 2021-08-11 | 一种数据对账修复方法、装置、存储介质及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113609119A true CN113609119A (zh) | 2021-11-05 |
Family
ID=78340327
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110920562.8A Pending CN113609119A (zh) | 2021-08-11 | 2021-08-11 | 一种数据对账修复方法、装置、存储介质及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113609119A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114390067A (zh) * | 2021-12-20 | 2022-04-22 | 北明软件有限公司 | 一种数据交换的方法、系统、装置及存储介质 |
| CN116361391A (zh) * | 2023-03-30 | 2023-06-30 | 中电云数智科技有限公司 | 一种数据同步表结构异常检测及修复方法和装置 |
| CN116756247A (zh) * | 2023-08-21 | 2023-09-15 | 腾讯科技（深圳）有限公司 | 数据修复方法、装置、计算机设备和存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017020740A1 (zh) * | 2015-08-06 | 2017-02-09 | 阿里巴巴集团控股有限公司 | 库存数据对账方法及装置 |
| CN109743133A (zh) * | 2018-12-25 | 2019-05-10 | 中国联合网络通信集团有限公司 | 数据对账方法及装置 |
| CN110119989A (zh) * | 2019-04-24 | 2019-08-13 | 平安科技（深圳）有限公司 | 异常对账列表处理方法、装置、计算机设备及存储介质 |
| CN110415095A (zh) * | 2019-07-24 | 2019-11-05 | 深圳乐信软件技术有限公司 | 一种对账方法、装置、终端及存储介质 |
| CN110751550A (zh) * | 2019-10-12 | 2020-02-04 | 上海陆家嘴国际金融资产交易市场股份有限公司 | 对账方法、装置、计算机设备和存储介质 |
-
2021
- 2021-08-11 CN CN202110920562.8A patent/CN113609119A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017020740A1 (zh) * | 2015-08-06 | 2017-02-09 | 阿里巴巴集团控股有限公司 | 库存数据对账方法及装置 |
| CN109743133A (zh) * | 2018-12-25 | 2019-05-10 | 中国联合网络通信集团有限公司 | 数据对账方法及装置 |
| CN110119989A (zh) * | 2019-04-24 | 2019-08-13 | 平安科技（深圳）有限公司 | 异常对账列表处理方法、装置、计算机设备及存储介质 |
| CN110415095A (zh) * | 2019-07-24 | 2019-11-05 | 深圳乐信软件技术有限公司 | 一种对账方法、装置、终端及存储介质 |
| CN110751550A (zh) * | 2019-10-12 | 2020-02-04 | 上海陆家嘴国际金融资产交易市场股份有限公司 | 对账方法、装置、计算机设备和存储介质 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114390067A (zh) * | 2021-12-20 | 2022-04-22 | 北明软件有限公司 | 一种数据交换的方法、系统、装置及存储介质 |
| CN116361391A (zh) * | 2023-03-30 | 2023-06-30 | 中电云数智科技有限公司 | 一种数据同步表结构异常检测及修复方法和装置 |
| CN116361391B (zh) * | 2023-03-30 | 2024-05-07 | 中电云计算技术有限公司 | 一种数据同步表结构异常检测及修复方法和装置 |
| CN116756247A (zh) * | 2023-08-21 | 2023-09-15 | 腾讯科技（深圳）有限公司 | 数据修复方法、装置、计算机设备和存储介质 |
| CN116756247B (zh) * | 2023-08-21 | 2023-11-17 | 腾讯科技（深圳）有限公司 | 数据修复方法、装置、计算机设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113609119A (zh) | 一种数据对账修复方法、装置、存储介质及电子设备 | |
| CN106815054B (zh) | 一种刷新bmc固件的方法及装置 | |
| CN107315814B (zh) | 一种kdb数据库数据迁移后数据一致性验证方法及系统 | |
| CN110730246A (zh) | 一种微服务架构下的分布式链路跟踪方法 | |
| CN109669844B (zh) | 设备故障处理方法、装置、设备和存储介质 | |
| CN110034948B (zh) | 排查系统故障的方法和装置 | |
| CN112737856B (zh) | 链路追踪方法和装置、存储介质及电子装置 | |
| CN109150587B (zh) | 一种维护方法和装置 | |
| CN113760775A (zh) | 一种消息自动测试方法及装置 | |
| CN117252149A (zh) | 芯片验证方法及装置、芯片验证系统和可读存储介质 | |
| CN115578111B (zh) | 数据溯源方法、装置、电子设备及可读存储介质 | |
| JPH10312321A (ja) | オンラインシステム障害解析方法 | |
| CN114461193B (zh) | 一种通信协议代码的生成方法、装置、设备及存储介质 | |
| CN115840707A (zh) | 一种刷写测试方法、装置及介质 | |
| WO2021250873A1 (ja) | ルール生成装置、ルール生成方法およびプログラム | |
| CN113868216A (zh) | 区块链监测方法及装置 | |
| CN110807037B (zh) | 一种数据修改方法、装置、电子设备及存储介质 | |
| CN108319679B (zh) | 一种主键的生成方法及装置 | |
| US20210351955A1 (en) | Device setting control device, network system, device setting method, and program | |
| CN113448786A (zh) | 一种PCIe设备测试方法、装置、设备及可读存储介质 | |
| CN105320512A (zh) | 分配主干权限的方法及装置 | |
| CN112416735A (zh) | 一种应用程序检测方法、装置及终端设备、存储介质 | |
| CN111209161B (zh) | 基于接口监控的配置文件自动生成的方法和系统 | |
| CN116108110B (zh) | 一种Kafka消息消费补偿方法、系统和介质 | |
| CN106886462A (zh) | 资源的添加方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |