CN112765124A - 一种自动校验数据的核对方法及服务器 - Google Patents
一种自动校验数据的核对方法及服务器 Download PDFInfo
- Publication number
- CN112765124A CN112765124A CN202011617485.0A CN202011617485A CN112765124A CN 112765124 A CN112765124 A CN 112765124A CN 202011617485 A CN202011617485 A CN 202011617485A CN 112765124 A CN112765124 A CN 112765124A
- Authority
- CN
- China
- Prior art keywords
- server
- check
- verification
- data set
- comparison
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000012795 verification Methods 0.000 claims abstract description 166
- 230000002159 abnormal effect Effects 0.000 claims abstract description 39
- 239000000284 extract Substances 0.000 claims description 5
- 230000005540 biological transmission Effects 0.000 abstract description 12
- 230000008569 process Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013524 data verification Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/64—Protecting data integrity, e.g. using checksums, certificates or signatures
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioethics (AREA)
- General Health & Medical Sciences (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Computer And Data Communications (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请实施例公开了一种自动校验数据的核对方法及服务器,用于对数据查缺补漏,从而避免数据在传输异常而导致运行异常的情况。本申请实施例方法包括:服务器获取当前时间点与上一次校验时间点;服务器根据当前时间点与上一次校验时间点判断是否达到校验时间值;若是,则服务器向目标子系统发送校验启动指令;服务器判断在预设时间内是否接收到目标子系统反馈的第一校验数据集合;若是,则服务器将第一校验数据集合与服务器内存储的原始数据进行校验比对,校验比对为第一校验集合与原始数据内相同属性的数据集合的比对;服务器根据校验比对的比对结果执行相应的校验操作,比对结果为校验数据集合是否异常的结果。
Description
技术领域
本申请实施例涉及数据处理领域,尤其涉及一种自动校验数据的核对方法及服务器。
背景技术
随着科技发展的不断进步,依靠着大数据展开的数据挖掘、机器学习等算法开始应用于各行各业。
在传统的大数据项目中,一个复杂的集成系统通常会有多个子系统来组合运行,运行的过程会涉及到数据之间的交互过程,数据之间的交互又涉及到数据传输,数据传输信道可以是一条专用的通信信道,也可以由数据交换网、电话交换网或其他属性的交换网路来提供。数据传输系统的输入输出设备为终端或计算机,统称数据终端设备,它所发出的数据信息一般都是字母、数字和符号的组合,为了传送这些信息,就需将每一个字母、数字或符号用二进制代码来表示。
就目前来说,在系统进行数据传输的过程中,可能会因为网络故障、攻击、断电等一些意外情况,造成子系统数据部分丢失,从而导致业务运行异常。
发明内容
本申请实施例提供了一种自动校验数据的核对方法及相关装置,用于对数据查缺补漏,从而避免数据在传输异常而导致运行异常的情况。
本申请在第一方面提供了一种自动校验数据的核对方法,包括:
服务器获取当前时间点与上一次校验时间点;
所述服务器根据所述当前时间点与所述上一次校验时间点判断是否达到校验时间值;
若是,则所述服务器向目标子系统发送校验启动指令;
所述服务器判断在预设时间内是否接收到所述目标子系统反馈的第一校验数据集合;
若是,则所述服务器将所述第一校验数据集合与所述服务器内存储的原始数据进行校验比对,所述校验比对为所述第一校验集合与所述原始数据内相同属性的数据集合的比对;
所述服务器根据所述校验比对的比对结果执行相应的校验操作,所述比对结果为所述校验数据集合是否异常的结果。
可选的,所述服务器将所述第一校验数据集合与所述服务器内存储的原始数据进行校验比对,包括:
所述服务器根据所述第一校验数据集合在所述服务器内存储的原始数据中进行集合检索,所述集合检索为对与所述第一校验数据集合相同类型的数据集合的检索;
所述服务器根据所述集合检索的检索结果提取第一比对数据集合;
所述服务器将所述第一校验数据集合与所述第一比对数据集合进行校验比对。
可选的,所述服务器将所述第一校验数据集合与所述第一比对数据集合进行校验比对,包括:
所述服务器计算所述第一校验数据集合的第一校验值;
所述服务器计算所述第一比对数据集合的第二校验值;
所述服务器判断所述第一校验值与所述第二校验值中是否存在为0的值;
若否,则所述服务器判断所述第一校验值与所述第二校验值是否一致;
若所述服务器确定所述第一校验值与所述第二校验值一致,则所述服务器确定所述第一校验数据集合未出现异常。
可选的,所述服务器判断所述第一校验值与所述第二校验值是否一致之后,所述核对方法还包括:
若所述服务器确定所述第一校验值与所述第二校验值不一致,则所述服务器确定所述第一校验数据集合出现缺失。
可选的,所述服务器判断所述第一校验值与所述第二校验值中是否存在为0的值之后,所述核对方法还包括:
若是,则所述服务器判断所述第二校验值是否为0,若是,则所述服务器确定所述第一校验数据集合为多余数据。
可选的,所述服务器判断所述第二校验值是否为0之后,所述核对方法还包括:
若否,则所述服务器确定所述第一校验数据集合出现缺失。
可选的,所述服务器根据所述校验比对的比对结果执行相应的校验操作,包括:
所述服务器根据所述比对结果确定所述目标子系统的校验数据集合未出现异常时,所述服务器向所述目标子系统发送第二校验数据集合发送通知;
所述服务器根据所述比对结果确定所述目标子系统的校验数据集合出现缺失时,所述服务器向所述目标子系统二次发送所述第一比对数据;
所述服务器根据所述比对结果确定所述目标子系统的校验数据集合为多余数据时,所述服务器向所述目标子系统发送删除所述第一校验数据集合指令。
可选的,所述服务器判断在预设时间内是否接收到所述目标子系统反馈的第一校验数据集合之后,所述核对方法还包括:
若否,则所述服务器向所述目标子系统二次发送校验启动指令。
可选的,所述服务器根据所述当前时间点与所述上一次校验时间点判断是否达到校验时间值之后,所述核对方法还包括:
若否,则所述服务器二次获取当前时间点,并根据当前时间点与所述上一次校验时间点二次判断是否达到所述校验时间值。
本申请在第二方面提供了一种自动校验数据的核对装置,包括:
第一获取单元,用于获取当前时间点与上一次校验时间点;
第一判断单元,用于根据所述当前时间点与所述上一次校验时间点判断是否达到校验时间值;
第一执行单元,用于当所述第一判断单元根据所述当前时间点与所述上一次校验时间点确定达到校验时间值时,向目标子系统发送校验启动指令;
第二判断单元,用于判断在预设时间内是否接收到所述目标子系统反馈的第一校验数据集合;
第二执行单元,用于当所述第二判断单元确定在预设时间内接收到所述目标子系统反馈的第一校验数据集合时,将所述第一校验数据集合与所述服务器内存储的原始数据进行校验比对,所述校验比对为所述第一校验集合与所述原始数据内相同属性的数据集合的比对;
校验操作单元,用于根据所述校验比对的比对结果执行相应的校验操作,所述比对结果为所述校验数据集合是否异常的结果。
可选的,所述第二执行单元,包括:
集合检索子单元,用于根据所述第一校验数据集合在所述服务器内存储的原始数据中进行集合检索,所述集合检索为对与所述第一校验数据集合相同类型的数据集合的检索;
检索提取子单元,用于根据所述集合检索的检索结果提取第一比对数据集合;
校验比对子单元,用于将所述第一校验数据集合与所述第一比对数据集合进行校验比对。
可选的,所述校验比对子单元,包括:
第一计算模块,用于计算所述第一校验数据集合的第一校验值;
第二计算模块,用于计算所述第一比对数据集合的第二校验值;
第三判断模块,用于判断所述第一校验值与所述第二校验值中是否存在为0的值;
第四判断模块,用于当所述第三判断模块确定所述第一校验值与所述第二校验值中不存在为0的值时,则判断所述第一校验值与所述第二校验值是否一致;
第一确定模块,用于当所述第四判断模块确定所述第一校验值与所述第二校验值一致时,确定所述第一校验数据集合未出现异常;
第二确定模块,用于当所述第四判断模块确定所述第一校验值与所述第二校验值不一致时,确定所述第一校验数据集合出现缺失;
第五判断模块,用于当所述第三判断模块确定所述第一校验值与所述第二校验值中存在为0的值时,判断所述第二校验值是否为0;
第三确定模块,用于当所述第五判断模块确定所述第二校验值为0时,确定所述第一校验数据集合为多余数据;
第四确定模块,用于当所述第五判断模块确定所述第二校验值不为0时,确定所述第一校验数据集合出现缺失。
可选的,所述校验操作单元,包括:
第一操作子单元,用于根据所述比对结果确定所述目标子系统的校验数据集合未出现异常时,向所述目标子系统发送第二校验数据集合发送通知;
第二操作子单元,用于根据所述比对结果确定所述目标子系统的校验数据集合出现缺失时,向所述目标子系统二次发送所述第一比对数据;
第三操作子单元,用于根据所述比对结果确定所述目标子系统的校验数据集合为多余数据时,向所述目标子系统发送删除所述第一校验数据集合指令。
可选的,所述服务器还包括:
第三执行单元,用于当所述第二判断单元确定在预设时间内未接收到所述目标子系统反馈的第一校验数据集合时,向所述目标子系统二次发送校验启动指令。
可选的,所述服务器还包括:
第四执行单元,用于当所述第一判断单元根据所述当前时间点与所述上一次校验时间点确定未达到校验时间值时,二次获取当前时间点,并根据当前时间点与所述上一次校验时间点二次判断是否达到所述校验时间值。
本申请在第三方面提供了一种服务器,包括:
处理器、存储器、输入输出单元、总线;
所述处理器与所述存储器、所述输入输出单元以及所述总线相连;
所述处理器具体执行如下操作:
获取当前时间点与上一次校验时间点;
根据所述当前时间点与所述上一次校验时间点判断是否达到校验时间值;
若是,则向目标子系统发送校验启动指令;
判断在预设时间内是否接收到所述目标子系统反馈的第一校验数据集合;
若是,则将所述第一校验数据集合与所述服务器内存储的原始数据进行校验比对,所述校验比对为所述第一校验集合与所述原始数据内相同属性的数据集合的比对;
根据所述校验比对的比对结果执行相应的校验操作,所述比对结果为所述校验数据集合是否异常的结果。
可选的,所述处理器还用于执行第一方面中的任意可选方案的操作。
从以上技术方案可以看出,本申请实施例具有以下优点:
服务器通过获取当前时间点,并根据当前时间点确定到达校验检测时间点后,向目标子系统发送校验启动指令,若能够在预设时间内接收到目标子系统反馈的第一校验数据集合,则将该第一校验数据集合与服务器本身存储的原始数据进行校验比对,再根据两者的比对结果来针对校验的数据集合进行相应的校验操作。这样一来,可以在服务器对子系统进行数据传输后,核对服务器与子系统之间的数据差异,根据该数据差异对子系统的数据进行一定的处理,从而达到查缺补漏的效果,避免数据在传输异常而导致运行异常的情况。
附图说明
图1为本申请实施例中自动校验数据的核对方法的一个实施例流程示意图;
图2为本申请实施例中自动校验数据的核对方法的另一个实施例流程示意图;
图3为本申请实施例中自动校验数据的服务器的一个实施例结构示意图;
图4为本申请实施例中自动校验数据的服务器的另一个实施例结构示意图;
图5为本申请实施例中自动校验数据的服务器的另一个实施例结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明中的技术方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整的阐述,显然阐述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都应当属于本发明保护范围。
本申请实施例提供了一种自动校验数据的核对方法及服务器,用于对数据查缺补漏,从而避免数据在传输异常而导致运行异常的情况。
在本实施例中,自动校验数据的核对方法可在系统实现,可以在服务器实现,也可以在终端实现,具体不做明确限定。为方便描述,本申请实施例使用系统为执行主体举例描述。
请参阅图1,在本申请实施例中,对于自动校验数据的核对方法的一个实施例,包括:
101、服务器获取当前时间点与上一次校验时间点;
集成系统在进行大批量数据交互的时候,因各种原因造成数据丢失、数据不同步,从而导致系统运行异常,为了避免这种情况,本申请实施例提供了一种可以在数据传输过程后进行数据校验的方法,来对数据交互后的数据进行查缺补漏,数据校验的流程大体为服务器先判断是否到达校验时间点,若是,则启动校验服务,然后从子系统中获取到校验的数据来校验,最后根据校验结果执行相对应的操作。
为了判断是否达到校验时间点,服务器需要获取现在的时间与最近一次校验操作的时间作为时间间隔的计算数据。
102、服务器根据当前时间点与上一次校验时间点判断是否达到校验时间值;若是,则执行步骤103;
服务器需要确定到达校验时间后,才能开启校验服务,从而对子系统中的数据进行一一校验,因此,服务器判断当前时间点是否达到校验时间值是执行后续校验操作必不可少的触发条件。在本申请实施例中,服务器可以预先设置一个检验任务的定时时间间隔作为校验时间值,然后获取当前的时间点与最近一次的校验时间点相减得到当前的时间间隔,接着,将当前的时间间隔与校验时间值进行比较,若是当前时间间隔已经达到校验时间值,则确定达到校验服务时间。
在此处的校验时间值可以通过多种方式进行设定,如可以通过用户手动设置,还可以通过通用的开源Cron表达式自定义校验的执行间隔等,具体此处不做限定。
103、服务器向目标子系统发送校验启动指令;
当服务器根据当前时间点与上一次校验时间点确定达到校验时间值时,服务器确定达到校验服务时间,可以向目标子系统发送校验启动指令。
104、服务器判断在预设时间内是否接收到目标子系统反馈的第一校验数据集合;若是,则执行步骤105;
为了保证校验的时效性,在服务器向目标子系统发送校验启动指令后,还需要设置一个时间间隔作为子系统的响应时间限制,若是子系统能够在这个时间间隔内反馈第一校验数据集合,服务器才能够根据获取到的第一校验数据集合执行后续的校验操作。否则,视为检验启动响应时间过长,服务器需要重新启动校验服务。
105、服务器将第一校验数据集合与服务器内存储的原始数据进行校验比对;
当服务器确定在预设时间内接收到目标子系统反馈的第一校验数据集合后,需要对该校验数据进行校验比对,这个校验比对为第一校验集合与服务器的原始数据中相同属性的数据集合的比对,此处校验比对的方法有多种,可以是服务器直接将两种数据集合的内容提取出来进行一一比较的方式,也可以是通过对各个数据集合的关键性属性进行赋值,然后调用内部转字节流的方法将其转化为算法可用的字节流,再通过算法计算得到各个数据集合的校验值并进行对比的方式等,具体此处不做限定。
106、服务器根据校验比对的比对结果执行相应的校验操作,比对结果为校验数据集合是否异常的结果。
校验比对的比对结果可以分为两种,校验数据集合异常或校验数据集合不异常,而校验数据集合异常的结果又可以细分为校验数据为多余数据、校验数据出现缺失。当服务器获取到校验比对的比对结果后,可以根据比对结果对传输的数据进行一定的处理。例如,当比对结果为校验数据出现数据缺失时,服务器可以再向目标子系统传输一次发生缺失的原始数据;当比对结果为校验数据为多余数据时,服务器可以向目标子系统发送一条数据删除的指令,命令目标子系统将这条多余的数据删掉。
在本申请实施例中,服务器可以通过获取当前时间点,并根据当前时间点确定到达校验检测时间点后,向目标子系统发送校验启动指令,若能够在预设时间内接收到目标子系统反馈的第一校验数据集合,则将该第一校验数据集合与服务器本身存储的原始数据进行校验比对,再根据两者的比对结果来针对校验的数据集合进行相应的校验操作。这样一来,可以在服务器对子系统进行数据传输后,核对服务器与子系统之间的数据差异,根据该数据差异对子系统的数据进行一定的处理,从而达到查缺补漏的效果,避免数据在传输异常而导致运行异常的情况。
请参阅图2,本申请实施例中,对于自动校验数据的核对方法的另一个实施例,包括:
201、服务器获取当前时间点与上一次校验时间点;
202、服务器根据当前时间点与上一次校验时间点判断是否达到校验时间值;若是,则执行步骤203;若否,则执行步骤204;
203、服务器向目标子系统发送校验启动指令;
本实施例中的步骤201至203与前述实施例中步骤101至103类似,此处不再赘述。
204、服务器二次获取当前时间点,并根据当前时间点与上一次校验时间点二次判断是否达到校验时间值;
当服务器根据当前时间点与上一次校验时间点确定还未达到校验时间值时,需要二次获取当前时间点,并根据当前时间点与上一次校验时间点二次判断是否达到校验时间值。
205、服务器判断在预设时间内是否接收到目标子系统反馈的第一校验数据集合;若是,则执行步骤207;若否,则执行步骤206;
本实施例中的步骤205与前述实施例中步骤104类似,此处不再赘述。
206、服务器向目标子系统二次发送校验启动指令;
当服务器确定在预设时间内未接收到目标子系统反馈的第一校验数据集合后,服务器确定检验启动响应时间过长,需要重新启动校验服务,向目标子系统二次发送校验启动指令。
207、服务器根据第一校验数据集合在服务器内存储的原始数据中进行集合检索;
当服务器确定在预设时间内接收到目标子系统反馈的第一校验数据集合后,服务器确定启动校验服务,将第一校验数据集合在服务器内的原始数据中进行与第一校验数据集合相同类型的数据集合的检索,以获得第一校验数据的对比参照数据。
208、服务器根据集合检索的检索结果提取第一比对数据集合;
209、服务器计算第一校验数据集合的第一校验值;
210、服务器计算第一比对数据集合的第二校验值;
211、服务器判断第一校验值与第二校验值中是否存在为0的值;若是,则执行步骤212;若否,则执行步骤215;
服务器将检索到的与第一校验数据集合类型相同的第一比对数据集合提取出来,并分别计算第一校验数据集合与第一比对数据集合的校验值,通过对校验值的判断来确定第一校验数据的状态。
其中,第二校验值的取值可以为0或1,当服务器提取出来的比对数据集合是有内容的,则计算其第二校验值为1,若是无内容的则为0;第一校验值的取值可以为0至1之间的任何数,该第一校验值实质是服务器将第一校验数据集合与第一比对数据集合比对得到的比值。当服务器确定第一校验值与第二校验值中有存在为0的值时,则执行步骤212;若是不存在,则执行步骤215。
212、服务器判断所述第二校验值是否为0;若是,则执行步骤213;若否,则执行步骤214;
213、服务器确定第一校验数据集合为多余数据;步骤213执行之后执行步骤220;
214、服务器确定第一校验数据集合出现缺失;步骤214执行之后执行步骤219;
当服务器确定第一校验值与第二校验值中有存在为0的值时,则确定数据为异常状态,为了具体分析出第一校验数据属于哪一种异常状态,服务器需要确定到底是第一校验值为0还是第二校验值为0,若是第一校验值为0,则服务器确定第一校验数据集合出现缺失,执行步骤219;若是第二校验值为0,则服务器确定第一校验数据集合为多余的数据,执行步骤220。
215、服务器判断第一校验值与第二校验值是否一致;若是,则执行步骤216;若否,则执行步骤217;
216、服务器确定第一校验数据集合未出现异常;步骤216执行之后执行步骤218;
217、服务器确定第一校验数据集合出现缺失;步骤217执行之后执行步骤219;
当服务器确定第一校验值与第二校验值中不存在有为0的值时,则为了进一步判断第一校验数据集合是否处于异常状态,需要进一步判断第一校验值与第二校验值是否一致,若是一致,则确定第一校验数据集合并未出现异常,执行步骤218;若是不一致,则确定第一校验数据出现了缺失,执行步骤219。
218、服务器向目标子系统发送第二校验数据集合发送通知;
当服务器确定第一校验数据集合并未出现异常时,确定第一校验数据集合校验完成,可以执行下一个校验数据集合的校验操作,因此需要向目标子系统发送第二校验数据集合发送的通知。
219、服务器向目标子系统二次发送第一比对数据;
当服务器确定第一校验数据集合出现了缺失时,需要向目标子系统二次发送第一比对数据,达到补漏效果。
220、服务器向目标子系统发送删除第一校验数据集合指令。
当服务器确定第一校验数据集合是多余的数据时,需要向目标子系统发送删除第一校验数据集合指令,从而达到数据更正的效果。
在本申请实施例中,进一步地,服务器在第一校验数据校验完成以后,仍会自动继续校验过程,从目标子系统中获取第二校验数据,对第二校验数据进行校验,直至将目标子系统的校验数据依次校验完毕,才算是完成一个校验流程,提高了数据校验的校验效率。
上述是对自动校验数据的核对方法进行详细描述,下面对自动校验数据的服务器进行详细描述。
请参阅图3,在本申请实施例中,自动校验数据的服务器的一个实施例,包括:
第一获取单元301,用于获取当前时间点与上一次校验时间点;
第一判断单元302,用于根据当前时间点与上一次校验时间点判断是否达到校验时间值;
第一执行单元303,用于当第一判断单元302根据当前时间点与上一次校验时间点确定达到校验时间值时,向目标子系统发送校验启动指令;
第二判断单元304,用于判断在预设时间内是否接收到目标子系统反馈的第一校验数据集合;
第二执行单元305,用于当第二判断单元304确定在预设时间内接收到目标子系统反馈的第一校验数据集合时,将第一校验数据集合与服务器内存储的原始数据进行校验比对,该校验比对为第一校验集合与原始数据内相同属性的数据集合的比对;
校验操作单元306,用于根据校验比对的比对结果执行相应的校验操作,该比对结果为校验数据集合是否异常的结果。
在本申请实施例中,首先,第一获取单元301获取到当前时间点与上一次校验时间点后,然后,第一判断单元302根据当前时间点与上一次校验时间点判断是否达到校验时间值,若到达了,则第一执行单元303向目标子系统发送校验启动指令,目标子系统在接收到校验启动指令后需要反馈第一校验数据集合,因此,第二判断单元304需要判断在预设时间内是否收到第一校验数据集合,当确定在预设时间内收到时,第二执行单元305将第一校验数据集合与服务器内存储的原始数据进行校验比对,在原始数据内选出与第一校验集合相同属性的数据集合,最后,校验操作单元306根据校验比对的比对结果执行相应的校验操作,以此对数据查缺补漏,从而避免数据在传输异常而导致运行异常的情况。
请参阅图4,在本申请实施例中,自动校验数据的服务器的另一个实施例,包括:
第一获取单元401,用于获取当前时间点与上一次校验时间点;
第一判断单元402,用于根据当前时间点与上一次校验时间点判断是否达到校验时间值;
第一执行单元403,用于当第一判断单元402根据当前时间点与上一次校验时间点确定达到校验时间值时,向目标子系统发送校验启动指令;
第四执行单元404,用于当第一判断单元402根据当前时间点与上一次校验时间点确定未达到校验时间值时,二次获取当前时间点,并根据当前时间点与上一次校验时间点二次判断是否达到校验时间值;
第二判断单元405,用于判断在预设时间内是否接收到目标子系统反馈的第一校验数据集合;
第二执行单元406,用于当第二判断单元405确定在预设时间内接收到目标子系统反馈的第一校验数据集合时,将第一校验数据集合与服务器内存储的原始数据进行校验比对,该校验比对为第一校验集合与原始数据内相同属性的数据集合的比对;
第三执行单元407,用于当第二判断单元405确定在预设时间内未接收到目标子系统反馈的第一校验数据集合时,向目标子系统二次发送校验启动指令;
校验操作单元408,用于根据校验比对的比对结果执行相应的校验操作,该比对结果为校验数据集合是否异常的结果。
在本申请实施例中,第二执行单元406可以包括集合检索子单元4061、检索提取子单元4062以及校验比对子单元4063。
集合检索子单元4061,用于根据第一校验数据集合在服务器内存储的原始数据中进行集合检索,集合检索为对与第一校验数据集合相同类型的数据集合的检索;
检索提取子单元4062,用于根据集合检索的检索结果提取第一比对数据集合;
校验比对子单元4063,用于将第一校验数据集合与第一比对数据集合进行校验比对。
进一步地,校验比对子单元4063可以包括第一计算模块40631、第二计算模块40632、第三判断模块40633、第四判断模块40634、第一确定模块40635、第二确定模块40636、第五判断模块40637、第三确定模块40638以及第四确定模块40639。
第一计算模块40631,用于计算第一校验数据集合的第一校验值;
第二计算模块40632,用于计算第一比对数据集合的第二校验值;
第三判断模块40633,用于判断第一校验值与第二校验值中是否存在为0的值;
第四判断模块40634,用于当第三判断模块40633确定第一校验值与第二校验值中不存在为0的值时,判断第一校验值与第二校验值是否一致;
第一确定模块40635,用于当第四判断模块40634确定第一校验值与第二校验值一致时,确定第一校验数据集合未出现异常;
第二确定模块40636,用于当第四判断模块40634确定第一校验值与第二校验值不一致时,确定第一校验数据集合出现缺失;
第五判断模块40637,用于当第三判断模块40633确定第一校验值与第二校验值中存在为0的值时,判断第二校验值是否为0;
第三确定模块40638,用于当第五判断模块40637确定第二校验值为0时,确定第一校验数据集合为多余数据;
第四确定模块40639,用于当第五判断模块40637确定第二校验值不为0时,确定第一校验数据集合出现缺失。
在本申请实施例中,校验操作单元408可以包括第一操作子单元4081、第二操作子单元4082以及第三操作子单元4083。
第一操作子单元4081,用于根据比对结果确定目标子系统的校验数据集合未出现异常时,向目标子系统发送第二校验数据集合发送通知;
第二操作子单元4082,用于根据比对结果确定目标子系统的校验数据集合出现缺失时,向目标子系统二次发送第一比对数据;
第三操作子单元4083,用于根据比对结果确定目标子系统的校验数据集合为多余数据时,向目标子系统发送删除第一校验数据集合指令。
上述实施例中,各个单元以及模块的功能与图2所示实施例中的步骤对应,此处不再赘述。
请参阅图5,在本申请实施例中,自动校验数据的服务器的另一个实施例,包括:
处理器501、存储器502、输入输出单元503、总线504;
所述处理器501与所述存储器502、所述输入输出单元503以及所述总线504相连;
所述处理器501具体执行如下操作:
获取当前时间点与上一次校验时间点;
根据当前时间点与上一次校验时间点判断是否达到校验时间值;
若是,则向目标子系统发送校验启动指令;
判断在预设时间内是否接收到目标子系统反馈的第一校验数据集合;
若是,则将第一校验数据集合与服务器内存储的原始数据进行校验比对,校验比对为第一校验集合与原始数据内相同属性的数据集合的比对;
根据校验比对的比对结果执行相应的校验操作,比对结果为校验数据集合是否异常的结果。
本实施例中,处理器501的功能与前述图1至图4所述实施例中的步骤对应,此处不再赘述。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,read-onlymemory)、随机存取存储器(RAM,random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
Claims (10)
1.一种自动校验数据的核对方法,其特征在于,包括:
服务器获取当前时间点与上一次校验时间点;
所述服务器根据所述当前时间点与所述上一次校验时间点判断是否达到校验时间值;
若是,则所述服务器向目标子系统发送校验启动指令;
所述服务器判断在预设时间内是否接收到所述目标子系统反馈的第一校验数据集合;
若是,则所述服务器将所述第一校验数据集合与所述服务器内存储的原始数据进行校验比对,所述校验比对为所述第一校验集合与所述原始数据内相同属性的数据集合的比对;
所述服务器根据所述校验比对的比对结果执行相应的校验操作,所述比对结果为所述校验数据集合是否异常的结果。
2.根据权利要求1所述的核对方法,其特征在于,所述服务器将所述第一校验数据集合与所述服务器内存储的原始数据进行校验比对,包括:
所述服务器根据所述第一校验数据集合在所述服务器内存储的原始数据中进行集合检索,所述集合检索为对与所述第一校验数据集合相同类型的数据集合的检索;
所述服务器根据所述集合检索的检索结果提取第一比对数据集合;
所述服务器将所述第一校验数据集合与所述第一比对数据集合进行校验比对。
3.根据权利要求2所述的核对方法,其特征在于,所述服务器将所述第一校验数据集合与所述第一比对数据集合进行校验比对,包括:
所述服务器计算所述第一校验数据集合的第一校验值;
所述服务器计算所述第一比对数据集合的第二校验值;
所述服务器判断所述第一校验值与所述第二校验值中是否存在为0的值;
若否,则所述服务器判断所述第一校验值与所述第二校验值是否一致;
若所述服务器确定所述第一校验值与所述第二校验值一致,则所述服务器确定所述第一校验数据集合未出现异常。
4.根据权利要求3所述的核对方法,其特征在于,所述服务器判断所述第一校验值与所述第二校验值是否一致之后,所述核对方法还包括:
若所述服务器确定所述第一校验值与所述第二校验值不一致,则所述服务器确定所述第一校验数据集合出现缺失。
5.根据权利要求4所述的核对方法,其特征在于,所述服务器判断所述第一校验值与所述第二校验值中是否存在为0的值之后,所述核对方法还包括:
若是,则所述服务器判断所述第二校验值是否为0,若是,则所述服务器确定所述第一校验数据集合为多余数据。
6.根据权利要求5所述的核对方法,其特征在于,所述服务器判断所述第二校验值是否为0之后,所述核对方法还包括:
若否,则所述服务器确定所述第一校验数据集合出现缺失。
7.根据权利要求1至6任意一项所述的核对方法,其特征在于,所述服务器根据所述校验比对的比对结果执行相应的校验操作,包括:
所述服务器根据所述比对结果确定所述目标子系统的校验数据集合未出现异常时,所述服务器向所述目标子系统发送第二校验数据集合发送通知;
所述服务器根据所述比对结果确定所述目标子系统的校验数据集合出现缺失时,所述服务器向所述目标子系统二次发送所述第一比对数据;
所述服务器根据所述比对结果确定所述目标子系统的校验数据集合为多余数据时,所述服务器向所述目标子系统发送删除所述第一校验数据集合指令。
8.根据权利要求7所述的核对方法,其特征在于,所述服务器判断在预设时间内是否接收到所述目标子系统反馈的第一校验数据集合之后,所述核对方法还包括:
若否,则所述服务器向所述目标子系统二次发送校验启动指令。
9.根据权利要求8所述的核对方法,其特征在于,所述服务器根据所述当前时间点与所述上一次校验时间点判断是否达到校验时间值之后,所述核对方法还包括:
若否,则所述服务器二次获取当前时间点,并根据当前时间点与所述上一次校验时间点二次判断是否达到所述校验时间值。
10.一种服务器,其特征在于,包括:
第一获取单元,用于获取当前时间点与上一次校验时间点;
第一判断单元,用于根据所述当前时间点与所述上一次校验时间点判断是否达到校验时间值;
第一执行单元,用于当所述第一判断单元根据所述当前时间点与所述上一次校验时间点确定达到校验时间值时,向目标子系统发送校验启动指令;
第二判断单元,用于判断在预设时间内是否接收到所述目标子系统反馈的第一校验数据集合;
第二执行单元,用于当所述第二判断单元确定在预设时间内接收到所述目标子系统反馈的第一校验数据集合时,将所述第一校验数据集合与所述服务器内存储的原始数据进行校验比对,所述校验比对为所述第一校验集合与所述原始数据内相同属性的数据集合的比对;
校验操作单元,用于根据所述校验比对的比对结果执行相应的校验操作,所述比对结果为所述校验数据集合是否异常的结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011617485.0A CN112765124B (zh) | 2020-12-30 | 2020-12-30 | 一种自动校验数据的核对方法及服务器 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011617485.0A CN112765124B (zh) | 2020-12-30 | 2020-12-30 | 一种自动校验数据的核对方法及服务器 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112765124A true CN112765124A (zh) | 2021-05-07 |
CN112765124B CN112765124B (zh) | 2024-05-17 |
Family
ID=75697978
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011617485.0A Active CN112765124B (zh) | 2020-12-30 | 2020-12-30 | 一种自动校验数据的核对方法及服务器 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112765124B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115092215A (zh) * | 2022-05-24 | 2022-09-23 | 卡斯柯信号有限公司 | 一种基于连接关系的交路检查方法 |
Citations (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104835535A (zh) * | 2015-05-15 | 2015-08-12 | 华中科技大学 | 一种固态盘自适应纠错方法与系统 |
CN106471785A (zh) * | 2014-11-29 | 2017-03-01 | 华为技术有限公司 | 一种虚拟载波侦听方法及装置 |
EP3188105A1 (en) * | 2014-10-22 | 2017-07-05 | Huawei Technologies Co. Ltd. | Verification information transmission method and terminal |
CN107015991A (zh) * | 2016-01-28 | 2017-08-04 | 阿里巴巴集团控股有限公司 | 数据一致性的自检方法、装置、系统和业务装置 |
CN107085571A (zh) * | 2016-02-14 | 2017-08-22 | 阿里巴巴集团控股有限公司 | 一种校验规则的执行方法和装置 |
CN107193681A (zh) * | 2016-03-15 | 2017-09-22 | 阿里巴巴集团控股有限公司 | 数据校验方法及装置 |
CN108234583A (zh) * | 2016-12-22 | 2018-06-29 | 中国移动通信有限公司研究院 | 一种进行数据校验的方法及设备 |
CN108572883A (zh) * | 2017-04-19 | 2018-09-25 | 北京金山云网络技术有限公司 | 一种数据正确性校验方法及装置 |
CN109492436A (zh) * | 2018-11-29 | 2019-03-19 | 深圳市网心科技有限公司 | 一种文件校验方法及相关装置 |
CN110503567A (zh) * | 2019-08-15 | 2019-11-26 | 中国平安财产保险股份有限公司 | 数据校验方法、设备、存储介质及装置 |
AU2017101869A4 (en) * | 2016-12-15 | 2019-12-05 | Ping An Technology(Shenzhen)Co.,Ltd. | Method, device, terminal and storage medium for data verification |
CN110830048A (zh) * | 2019-11-14 | 2020-02-21 | 天津大学 | 基于奇偶校验矩阵分解构造全分集ldpc码的纠错方法 |
CN111158739A (zh) * | 2019-12-11 | 2020-05-15 | 苏宁云计算有限公司 | 一种任务校验方法及装置 |
CN111339200A (zh) * | 2020-02-28 | 2020-06-26 | 中国平安人寿保险股份有限公司 | 一种基于数据库同步的数据校验方法及数据校验系统 |
CN111681408A (zh) * | 2020-06-08 | 2020-09-18 | 广东电网有限责任公司电力科学研究院 | 一种数据修复处理方法及装置 |
CN111694818A (zh) * | 2020-04-23 | 2020-09-22 | 姜金龙 | 基金业绩数据校验算法 |
EP3737109A1 (en) * | 2019-05-08 | 2020-11-11 | Getac Technology Corporation | Verification code generation method, data verification method and electronic device |
-
2020
- 2020-12-30 CN CN202011617485.0A patent/CN112765124B/zh active Active
Patent Citations (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3188105A1 (en) * | 2014-10-22 | 2017-07-05 | Huawei Technologies Co. Ltd. | Verification information transmission method and terminal |
CN106471785A (zh) * | 2014-11-29 | 2017-03-01 | 华为技术有限公司 | 一种虚拟载波侦听方法及装置 |
CN104835535A (zh) * | 2015-05-15 | 2015-08-12 | 华中科技大学 | 一种固态盘自适应纠错方法与系统 |
CN107015991A (zh) * | 2016-01-28 | 2017-08-04 | 阿里巴巴集团控股有限公司 | 数据一致性的自检方法、装置、系统和业务装置 |
CN107085571A (zh) * | 2016-02-14 | 2017-08-22 | 阿里巴巴集团控股有限公司 | 一种校验规则的执行方法和装置 |
CN107193681A (zh) * | 2016-03-15 | 2017-09-22 | 阿里巴巴集团控股有限公司 | 数据校验方法及装置 |
AU2017101869A4 (en) * | 2016-12-15 | 2019-12-05 | Ping An Technology(Shenzhen)Co.,Ltd. | Method, device, terminal and storage medium for data verification |
CN108234583A (zh) * | 2016-12-22 | 2018-06-29 | 中国移动通信有限公司研究院 | 一种进行数据校验的方法及设备 |
CN108572883A (zh) * | 2017-04-19 | 2018-09-25 | 北京金山云网络技术有限公司 | 一种数据正确性校验方法及装置 |
CN109492436A (zh) * | 2018-11-29 | 2019-03-19 | 深圳市网心科技有限公司 | 一种文件校验方法及相关装置 |
EP3737109A1 (en) * | 2019-05-08 | 2020-11-11 | Getac Technology Corporation | Verification code generation method, data verification method and electronic device |
CN110503567A (zh) * | 2019-08-15 | 2019-11-26 | 中国平安财产保险股份有限公司 | 数据校验方法、设备、存储介质及装置 |
CN110830048A (zh) * | 2019-11-14 | 2020-02-21 | 天津大学 | 基于奇偶校验矩阵分解构造全分集ldpc码的纠错方法 |
CN111158739A (zh) * | 2019-12-11 | 2020-05-15 | 苏宁云计算有限公司 | 一种任务校验方法及装置 |
CN111339200A (zh) * | 2020-02-28 | 2020-06-26 | 中国平安人寿保险股份有限公司 | 一种基于数据库同步的数据校验方法及数据校验系统 |
CN111694818A (zh) * | 2020-04-23 | 2020-09-22 | 姜金龙 | 基金业绩数据校验算法 |
CN111681408A (zh) * | 2020-06-08 | 2020-09-18 | 广东电网有限责任公司电力科学研究院 | 一种数据修复处理方法及装置 |
Non-Patent Citations (2)
Title |
---|
JIANJIANG LI: "A data-check based distributed storage model for storing hot temporary data", 《FUTURE GENERATION COMPUTER SYSTEMS》, vol. 73, pages 13 - 21 * |
柳姗姗: "基于错误纠正码的抗单粒子翻转存储器加固设计研究", 《中国博士学位论文全文数据库 信息科技》, pages 137 - 28 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115092215A (zh) * | 2022-05-24 | 2022-09-23 | 卡斯柯信号有限公司 | 一种基于连接关系的交路检查方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112765124B (zh) | 2024-05-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110716895B (zh) | 目标数据归档方法、装置、计算机设备及介质 | |
CN106843957B (zh) | 系统固件升级方法及装置 | |
CN106936441B (zh) | 一种数据压缩方法和装置 | |
CN111262822B (zh) | 文件存储方法、装置、区块链节点和系统 | |
CN108376110B (zh) | 一种自动检测方法、系统及终端设备 | |
CN112765124A (zh) | 一种自动校验数据的核对方法及服务器 | |
CN110048899B (zh) | 一种日志检测方法、装置、终端及服务器 | |
CN112100070A (zh) | 版本缺陷的检测方法、装置、服务器及存储介质 | |
WO2024040916A1 (zh) | Sdk的修复方法、装置、终端、设备、系统及介质 | |
CN111385613B (zh) | 一种电视系统修复方法、存储介质及应用服务器 | |
CN109413450B (zh) | 一种弹幕数据的完整性校验方法、装置、终端及存储介质 | |
CN110674511A (zh) | 基于椭圆曲线加密算法的离线数据保护方法及系统 | |
CN107608879B (zh) | 一种故障检测方法、装置和存储介质 | |
CN111694588B (zh) | 引擎升级检测方法、装置、计算机设备和可读存储介质 | |
CN113064966B (zh) | 用于故障定位的方法、系统及装置 | |
CN114416874A (zh) | 数据库的同步验证方法、装置、设备及存储介质 | |
CN114510717A (zh) | 一种elf文件的检测方法、装置、存储介质 | |
CN109348304B (zh) | 一种弹幕数据的校验方法、装置及终端 | |
CN113271337A (zh) | 一种计算机消息订阅方法和装置 | |
CN114172894A (zh) | 数据传输方法、装置、服务器和计算机设备 | |
CN106528248A (zh) | 一种移动终端基于软件完整性的下载方法及系统 | |
CN112201248A (zh) | 基于长连接的流式语音识别方法和系统 | |
CN113111040A (zh) | 一种文件解压方法及装置 | |
CN107704557B (zh) | 操作互斥数据的处理方法、装置、计算机设备和存储介质 | |
CN107102946B (zh) | 一种程序的检测方法、装置与电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |