CN116527539B - 数据一致性校验方法、装置及计算机设备 - Google Patents
数据一致性校验方法、装置及计算机设备 Download PDFInfo
- Publication number
- CN116527539B CN116527539B CN202310544569.3A CN202310544569A CN116527539B CN 116527539 B CN116527539 B CN 116527539B CN 202310544569 A CN202310544569 A CN 202310544569A CN 116527539 B CN116527539 B CN 116527539B
- Authority
- CN
- China
- Prior art keywords
- data
- uploaded
- server
- verification
- equipment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012795 verification Methods 0.000 title claims abstract description 199
- 238000000034 method Methods 0.000 title claims abstract description 102
- 230000005540 biological transmission Effects 0.000 claims abstract description 52
- 230000008569 process Effects 0.000 claims abstract description 36
- 230000015654 memory Effects 0.000 claims description 26
- 238000012544 monitoring process Methods 0.000 claims description 14
- 238000004891 communication Methods 0.000 claims description 9
- 238000013524 data verification Methods 0.000 abstract description 56
- 230000002159 abnormal effect Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 7
- 230000005856 abnormality Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- KKIMDKMETPPURN-UHFFFAOYSA-N 1-(3-(trifluoromethyl)phenyl)piperazine Chemical compound FC(F)(F)C1=CC=CC(N2CCNCC2)=C1 KKIMDKMETPPURN-UHFFFAOYSA-N 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0823—Errors, e.g. transmission errors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/2866—Architectures; Arrangements
- H04L67/30—Profiles
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Environmental & Geological Engineering (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Computer And Data Communications (AREA)
Abstract
本申请涉及数据校验技术领域,公开了数据一致性校验方法、装置、计算机设备及存储介质,所述方法包括:当监测到待上传数据时,将待上传数据发送给服务端设备,以在服务端设备中生成待校验数据;对客户端设备中的待上传数据进行校验,获得第一校验结果;控制服务端设备对待校验数据进行校验,获得第二校验结果;根据第一校验结果以及第二校验结果,确定待上传数据与待校验数据的一致性。本申请实现分别在客户端设备对源数据进行校验,在服务端设备对接收到的数据进行校验,从而自动完成客户端设备将本地源数据上传给服务端设备的过程中,数据的一致性校验,还实现了自动将数据发送给服务端设备,减少人工参与,进一步提高了数据一致性校验效率。
Description
技术领域
本申请涉及数据校验技术领域,具体涉及数据一致性校验方法、装置、及计算机设备。
背景技术
随着远程数据分享和交互的应用场景的扩展,越来越多的服务端设备提供网络传输协议(例如,Telent、FTP、TFTP、SMTP或HTTP协议)服务,已供用户通过客户端设备与服务端设备建立连接后,用户可以从服务端设备获得或查看远程数据,也可以将本地数据上传到至支持服务端设备中供其他用户查看或下载使用。
用户在通过网络向服务端设备上传数据和/或从服务端设备下载数据的过程中,数据可能因为网络抖动以及中间服务端设备被挟持等原因而导致数据被篡改或丢失数据,最终导致上传或下载的数据和原始数据不一致。为了保证数据的一致性,目前主要是针对下载后的数据进行一致性校验,例如,在服务端设备上同时提供数据和数据的校验信息(如md5校验码),用户在完成数据下载后,在客户端设备也即本地对数据进行校验,然后和服务端设备上的检验信息进行比对,如果相同则表明下载的数据和源数据相同,反之则表明数据被篡改或缺失。但对于将数据上传至服务端设备的过程,没有形成一个系统的检验流程,然而保证上传数据的一致性也同等重要。
因此,如何校验客户端设备将本地源数据上传给服务端设备的过程中,数据的一致性,已成为目前急需解决的问题。
发明内容
有鉴于此,本申请实施例提供了一种数据一致性校验方法、装置、计算机设备及存储介质,以解决如何校验客户端设备将本地源数据上传给服务端设备的过程中,数据的一致性的问题。
第一方面,本申请实施例提供了一种数据一致性校验方法,应用于客户端设备,客户端设备与服务端设备通信连接;
所述方法包括:
当监测到待上传数据时,将待上传数据发送给服务端设备,以在服务端设备中生成待校验数据;
对客户端设备中的待上传数据进行校验,获得第一校验结果;
控制服务端设备对待校验数据进行校验,获得第二校验结果;
根据第一校验结果以及第二校验结果,确定待上传数据与待校验数据的一致性。
在上述技术方案中,当在监测到待上传数据时,就将待上传数据发送给服务端设备,以在服务端设备中生成待校验数据。从而对客户端设备中的待上传数据进行校验,获得第一校验结果;还控制服务端设备自动对其中的待校验数据进行校验,获得第二校验结果。根据第一校验结果以及第二校验结果,确定待上传数据与待校验数据的一致性。实现分别在客户端设备对源数据进行校验,在服务端设备对接收到的数据进行校验。进而根据两方设备各自的校验结果,确定客户端设备向服务端设备发送的源数据与服务端设备接收的数据之间的一致性。自动完成客户端设备将本地源数据上传给服务端设备的过程中,数据的一致性校验,还实现了自动将数据发送给服务端设备,减少人工参与,进一步提高了数据一致性校验效率。
可选的,在当在客户端设备中监测到待上传数据时,将待上传数据发送给服务端设备,以在服务端设备中生成待校验数据之前,方法还包括:
获取系统配置文件;系统配置文件包括各类数据对应的校验等级;
当待上传数据对应的校验等级为第一等级时,对客户端设备中的待上传数据进行校验,获得第一校验结果,包括:
向服务端设备发送查询校验算法的指令,以使服务端设备执行指令返回第一校验算法列表;第一校验算法列表中包括服务端设备支持的各个校验算法的标识信息;
获取客户端设备的第二校验算法列表;第二校验算法列表中包括客户端设备支持的各个校验算法的标识信息;
根据第一校验算法列表中的标识信息与第二校验算法列表中的标识信息,得到服务端设备与客户端设备均支持的目标校验算法。
在上述技术方案中,获取系统的配置文件,以得到待上传数据对应的校验等级。当校验等级为第一等级时,在对待上传数据进行校验之前,先向服务端设备发送查询校验算法的指令以得到服务端设备支持的各个校验算法的标识信息;获取客户端设备支持的各个校验算法的标识信息,以确定服务端设备与客户端设备均支持的目标校验算法。实现特定校验等级下通过校验算法协商,选择客户端设备和服务端设备双方都支持的校验算法。
可选的,当待上传数据对应的校验等级为第一等级时,对客户端设备中的所述待上传数据进行校验,获得第一校验结果,包括
在客户端设备中基于目标校验算法校验待上传数据,得到第一校验码;
控制服务端设备对待校验数据进行校验,获得第二校验结果,包括:
控制服务端设备基于目标校验算法校验待校验数据,得到第二校验码;
根据第一校验结果以及第二校验结果,确定待上传数据与待校验数据的一致性,包括:
根据第一校验码与第二校验码是否一致,确定待上传数据与待校验数据的一致性。
在上述技术方案中,使用服务端设备以及客户端设备均支持的目标校验算法对待上传数据进行校验,优先使用服务端设备上的校验算法资源在服务端设备上对待校验数据以及待上传数据进行校验,尽量避免将待校验数据下载到客户端设备进行校验,减少对网络带宽的占用,同时缩短校验时间。
可选的,当服务端设备与客户端设备不存在均支持的校验算法,且待上传数据对应的校验等级为第一等级时,所述方法还包括:
将待校验数据从服务端设备下载至客户端设备,得到下载数据;
基于预设校验算法对客户端设备中的下载数据进行校验,得到第三校验码;
基于预设校验算法对客户端设备中的待上传数据进行校验,得到第四校验码;
根据第三校验码与第四校验码是否一致,确定下载数据与待上传数据的一致性,并将下载数据与待上传数据的一致性确定为待上传数据与待校验数据的一致性。
在上述技术方案中,保证在校验等级为第一等级时,即使没有客户端设备以及服务端设备均支持的校验算法,也能够通过将待校验数据从服务端设备下载至客户端设备中,利用客户端设备中的预设校验算法对待上传数据与下载数据的一致性进行校验,进而将下载数据与待上传数据的一致性确定为待上传数据与待校验数据的一致性,提高了不同场景下数据一致性校验的适用性。
可选的,当待上传数据对应的校验等级为第二等级时,对客户端设备中的待上传数据进行校验,获得第一校验结果,包括:
在客户端设备中获取待上传数据的大小,得到第一数值;
控制服务端设备对待校验数据进行校验,获得第二校验结果,包括:
控制服务端设备获取待校验数据的大小,得到第二数值;
根据第一校验结果以及第二校验结果,确定待上传数据与待校验数据的一致性,包括:
根据第一数值与第二数值是否一致,确定待上传数据与待校验数据的一致性。
在上述技术方案中,当校验等级为第二等级时,仅对待上传数据与待校验数据的大小进行一致性校验;不必使用其他复杂的校验方法,满足将待上传数据上传给服务端设备时,对上传数据进行一致性校验的同时还提高了数据一致性校验效率。
可选的,系统配置文件还包括各类数据对应的上传路径、至少一个用户地址以及管理员地址;在确定待上传数据与待校验数据的一致性之后,所述方法还包括:
当待上传数据与待校验数据的一致性为不一致时,执行以下步骤:
根据待上传数据对应的上传路径,在系统配置文件中查找待上述数据对应的目标用户地址以及目标管理员地址;
将第一信息分别发送至目标用户地址以及目标管理员地址;第一信息用于指示待上传数据已上传至服务器端设备且待上传数据与待校验数据不一致。
在上述技术方案中,在待上传数据与待校验数据不一致时,依据待上传数据对应的上传路径,在系统配置文件中查找该上传路径关联的目标用户地址以及目标管理员地址。进而将用于指示待上传数据已上传至服务器端设备且待上传数据与待校验数据不一致的第一信息发送给目标用户地址以及管理员地址。及时通知相关用户与管理员,使相关人员可以及时介入以提高数据一致性校验的工作效率。
可选的,当监测到待上传数据时,将待上传数据发送给服务端设备,以在服务端设备中生成待校验数据,包括:
获取系统配置文件,系统配置文件包括至少一个服务端设备地址以及服务端设备认证方式;
当监测到待上传数据时,在系统配置文件中查找与待上传数据对应的上传路径相关联的目标服务端设备地址以及目标服务端设备认证方式;
根据目标服务端设备认证方式,登录目标服务端设备地址对应的服务端设备;
将待上传数据通过断点续传发送给服务端设备,以在服务端设备中生成待校验数据。
在上述技术方案中,在监测到待上传数据时,在系统配置文件中查找与待上传数据对应的上传路径相关联的目标服务端设备地址以及目标服务端设备认证方式。然后通过目标服务端设备认证方式远程登录目标服务端设备地址对应的服务端设备;进而通过断点续传将待上传数据发送给已经登录的服务端设备,以使服务端设备中生成待校验数据。通过断电续传避免因为偶然的中断而导致数据上传失败的情况,并基于待上传数据在系统配置文件中对应的目标服务端设备地址以及目标服务端设备认证方式,自动登录目标服务端设备地址对应的服务端设备,并将待上传数据自动发送给服务端设备,减少人工参与,提高数据上传效率。
可选的,系统配置文件还包括断点续传阈值;将待上传数据通过断点续传发送给服务端设备,以在服务端设备中生成待校验数据,包括:
监测将待上传数据通过断点续传发送给服务端设备的过程中,尝试断点续传的次数是否大于断点续传阈值;
监测将待上传数据通过断点续传发送给服务端设备的过程中,尝试连接服务端设备的次数是否大于预设阈值;
当尝试断点续传的次数大于断点续传阈值或尝试连接服务端设备的次数大于预设阈值时,结束将待上传数据通过断点续传发送给服务端设备,以在服务端设备中生成待校验数据的流程;
将第二信息分别发送至待上传数据对应目标用户地址以及目标管理员地址;第二信息用于指示待上传数据上传失败。
在上述技术方案中,当尝试断点续传的次数大于断点续传阈值或尝试远程连接服务端设备的次数大于预设阈值时,就结束待上传数据通过断点续传发送给服务端设备的流程并向目标用户地址以及目标管理员地址发送用于指示待上传数据上传失败的第二信息。避免无限尝试连接服务端设备二对服务端设备造成过大的压力。同时利用断电续传给服务端设备发送待上传数据还可以避免因为偶然的中断而导致数据上传失败的情况。并将异常情况通过第二信息发送给目标管理员地址和目标用户地址,以使管理员和用户可以及时介入处理。
第二方面,本申请实施例提供了一种数据一致性校验装置,应用于客户端设备,客户端设备与服务端设备通信连接;所述装置包括:
发送模块,用于当监测到待上传数据时,将待上传数据发送给服务端设备,以在服务端设备中生成待校验数据;
第一校验模块,用于对客户端设备中的待上传数据进行校验,获得第一校验结果;
第二校验模块,用于控制服务端设备对待校验数据进行校验,获得第二校验结果;
确定模块,用于根据第一校验结果以及第二校验结果,确定待上传数据与待校验数据的一致性。
第三方面,本申请实施例提供了一种计算机设备,包括:存储器和处理器,存储器和处理器之间互相通信连接,存储器中存储有计算机指令,处理器通过执行计算机指令,从而执行上述数据一致性校验方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机指令,计算机指令用于使计算机执行上述数据一致性校验方法。
第五方面,本申请实施例提供了一种计算机程序产品或计算机程序,所述计算机程序产品或计算机程序包括计算机指令,所述计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质中读取所述计算机指令,处理器执行所述计算机指令,使得所述计算机设备执行上述数据一致性校验方法。
附图说明
为了更清楚地说明本申请具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是根据本申请实施例示出的数据校验系统的结构框图;
图2是根据本申请一些实施例示出的数据一致性校验方法的流程示意图;
图3是根据本申请一些实施例示出的又一数据一致性校验方法的流程示意图;
图4是根据本申请一种应用场景中数据一致性校验方法的流程示意图;
图5是根据本申请实施例示出的数据一致性校验装置的结构框图;
图6是本申请实施例的计算机设备的硬件结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
应理解,在本申请的实施例中提到的“指示”可以是直接指示,也可以是间接指示,还可以是表示具有关联关系。举例说明,A指示B,可以表示A直接指示B,例如B可以通过A获取;也可以表示A间接指示B,例如A指示C,B可以通过C获取;还可以表示A和B之间具有关联关系。
在本申请实施例的描述中,术语“对应”可表示两者之间具有直接对应或间接对应的关系,也可以表示两者之间具有关联关系,也可以是指示与被指示、配置与被配置等关系。
本申请实施例中,“预定义”可以通过在设备(例如,包括终端设备和网络设备)中预先保存相应的代码、表格或其他可用于指示相关信息的方式来实现,本申请对于其具体的实现方式不做限定。
图1是本申请实施例示出的一种数据上传系统的结构示意图,该数据上传系统中包括至少一个客户端设备110以及至少一个服务端设备120;每个服务端设备120都与至少一个客户端设备110通信连接;该数据校验系统运行在客户端设备110上。图1中仅示出一个服务端设备120与一个客户端设备110通信连接。
当数据校验系统在客户端设备中监测到待上传数据时,将待上传数据发送给服务端设备,以在服务端设备中生成待校验数据;对客户端设备中的待上传数据进行校验,获得第一校验结果;控制服务端设备对待校验数据进行校验,获得第二校验结果;根据第一校验结果以及第二校验结果,确定待上传数据与待校验数据的一致性。
可选的,数据校验系统还可以在启动时读取系统配置文件,以获取系统配置文件中的各个信息,从而根据系统配置文件处理后续数据一致性校验流程。系统配置文件包括但不限于各类数据存储在客户端设备中的目录路径、服务端设备地址、服务端设备认证方式(例如,用户名和密码)、各类数据对应的上传路径、用户地址、管理员地址、断点续传阈值、校验算法信息、各类数据的校验等级。其中校验等级至少分为2个等级,校验等级用于指示不同的校验方法,例如,当校验等级设置为1时,数据校验系统在待上传数据上传完成后,只做大小比对校验;当校验等级设置为2时,数据校验系统会优先通过特定校验算法对分别在客户端设备以及服务端设备上对待上传数据以及待校验数据进行一致性校验。当然,校验等级还可以用于指示是否进行数据一致性校验,例如当校验等级设置为0时,数据校验系统对待上传数据以及待校验数据不做任何校验。
需要说明的是,各类数据对应的上传路径为通过客户端设备将各类数据上传到服务端设备时,数据在服务端设备中的具体存储位置;断点续传阈值用于指示上传和下载数据时失败后尝试断点续传的最大次数;校验算法信息包括但不限于客户端设备支持的各个校验算法的标识信息,校验算法的标识信息本申请实施例不做具体限制,可以是校验算法的名称或ID,可以用于表征不同的校验算法的信息均可以作为校验算法的标识信息。
可选的,在数据校验系统启动前,用户可以预先通过系统配置文件对数据校验系统进行配置。数据校验系统在启动后还可以接收用户输入的修改目标类型数据的校验等级的输入,更改目标类型数据的校验等级。可以通过系统配置文件灵活配置各类数据的校验等级,使得数据校验系统可灵活应用于对数据一致性有不同程度要求的场景。
可选的,客户端设备110自动生成待上传数据,还可以生成与待上传数据关联的标识文件,标识文件可以指示当前待上传数据可以被上传,标识文件可以包括待上传数据对应的用户信息。当数据校验系统在客户端设备中监测到标识文件,就确认监测到待上传数据。客户端设备110自动生成待上传数据的方法本申请实施例不做具体限制,可以是通过定时任务扫描客户端设备中的特定存储位置下是否有新数据生成,如果有就将该特定存储位置中的数据确定为待上传数据;可以是在接收到目标用户输入的目标数据的上传指令后,将目标数据确定为待上传数据;还可以是在监测到用户输入的触发指令后,将存储在数据库中的目标数据确定为待上传数据。可以理解的触发指令可以自行设置,例如在客户端设备的目标应用程序中对目标数据的保存、确认、备份以及上传等至少一者的操作或者是同意目标数据导出的操作。
可选的,当数据校验系统在客户端设备中监测到标识文件时,将标识文件对应的待上传数据发送给服务端设备,并在读取标识文件中待上传数据对应的用户信息后删除该标识文件。以避免将重复的数据上传给服务器设备。通过标识文件标识可以被上传的数据可以避免过早将数据发送给服务端设备,导致数据上传出错的情况。
图2是根据本申请实施例示出的一种数据一致性校验方法的流程示意图,该方法应用于客户端设备,该方法可以由上述的数据校验系统执行。如图2所示,该数据一致性校验方法包括如下步骤:
步骤201,当监测到待上传数据时,将待上传数据发送给服务端设备,以在服务端设备中生成待校验数据。
数据校验系统通过既有的监测机制在客户端设备的上传目录下通过监测是否有标识文件生成来确定在客户端设备中是否监测到待上传数据。标识文件用于指示其关联的数据可以被上传。本申请实施例对具体的监测机制不做限定,可以是定时扫描或既有的文件/目录监控工具(例如,iwatch、python或watchdog等模块)。当数据校验系统在上传目标下监测到标识文件时,就将该标识文件对应的数据确定为待上传数据,并获取该待上传数据对应的上传路径,按照该上传路径将待上传数据发送给对应的服务端设备,以使对应的服务端设备接收该待上传数据并将接收的数据存储到对应的存储位置生成待校验数据。客户端设备自动生成的待上传数据的具体方法本申请实施例不做具体限制。
步骤202,对客户端设备中的待上传数据进行校验,获得第一校验结果。
当数据校验系统顺利完成待上传数据的发送后,会在客户端设备中对该待上传数据进行校验,获得第一校验结果。
步骤203,控制服务端设备对待校验数据进行校验,获得第二校验结果。
数据校验系统同时还会控制服务端设备,在服务端设备中对服务端设备中接收待上传数据后生成的待校验数据进行校验,获得第二检验结果。数据校验系统控制服务端设备的具体实现方式本申请实施例不做限制,可以是任意一个既有的可以远程控制服务端设备的方式。例如,通过远程控制应用程序控制服务端设备。
步骤204,根据第一校验结果以及第二校验结果,确定待上传数据与待校验数据的一致性。
数据校验系统分别在客户端设备以及服务端设备上校验待上传数据以及待校验数据之后,会分别得到第一校验结果与第二校验结果。数据校验系统会比对第一校验结果与第二校验结果,以确定待上传数据与待校验数据是否一致。本申请实施例对具体比对方式不做限定,可以自行设置,例如,可以是比对第一校验结果与第二校验结果是否一致。
综上所述,
当在监测到待上传数据时,就将待上传数据发送给服务端设备,以在服务端设备中生成待校验数据。从而对客户端设备中的待上传数据进行校验,获得第一校验结果;还控制服务端设备自动对其中的待校验数据进行校验,获得第二校验结果。根据第一校验结果以及第二校验结果,确定待上传数据与待校验数据的一致性。实现分别在客户端设备对源数据进行校验,在服务端设备对接收到的数据进行校验。进而根据两方设备各自的校验结果,确定客户端设备向服务端设备发送的源数据与服务端设备接收的数据之间的一致性。自动完成客户端设备将本地源数据上传给服务端设备的过程中,数据的一致性校验,还实现了自动将数据发送给服务端设备,减少人工参与,进一步提高了数据一致性校验效率。
图3是根据本申请实施例示出的一种数据一致性校验方法的流程示意图,该方法应用于客户端设备中的数据校验系统,该数据校验系统可以是上述的数据校验系统。如图3所示,该数据一致性校验方法包括如下步骤:
步骤301,获取系统配置文件。
其中,系统配置文件包括至少一个服务端设备地址以及服务端设备认证方式;
数据校验系统启动时会先读取系统配置文件以获取到各个服务端设备的地址以及认证方式。服务端设备认证方式为任意一个可以远程登录服务端设备以实现控制服务端设备的方式,例如,可以为登录服务端设备的用户账号(用户名和密码)。
步骤302,当监测到待上传数据时,在系统配置文件中查找与待上传数据对应的上传路径相关联的目标服务端设备地址以及目标服务端设备认证方式。
数据校验系统在客户端设备中监测到待上传数据时,会根据待上传数据的类型在系统配置文件中查找该类型数据对应的上传路径;进而找出该上传路径关联的目标服务端设备地址和目标服务端设备认证方式。
步骤303根据目标服务端设备认证方式,登录目标服务端设备地址对应的服务端设备。
然后数据校验系统通过目标服务端设备认证方式远程登录目标服务端设备地址对应的服务端设备。
步骤304,将待上传数据通过断点续传发送给服务端设备,以在服务端设备中生成待校验数据。
进而通过断点续传将待上传数据发送给已经登录的服务端设备,以使服务端设备中生成待校验数据。通过断电续传避免因为偶然的中断而导致数据上传失败的情况,并基于待上传数据在系统配置文件中对应的目标服务端设备地址以及目标服务端设备认证方式,自动登录目标服务端设备地址对应的服务端设备,并将待上传数据自动发送给服务端设备,减少人工参与,提高数据上传效率。
可选的,为了降低服务端设备的压力,将待上传数据通过断点续传发送给服务端设备,以在服务端设备中生成待校验数据,还可以包括:
监测将待上传数据通过断点续传发送给服务端设备的过程中,尝试断点续传的次数是否大于断点续传阈值;监测将待上传数据通过断点续传发送给服务端设备的过程中,尝试连接所述服务端设备的次数是否大于预设阈值;当尝试断点续传的次数大于断点续传阈值或尝试连接服务端设备的次数大于预设阈值时,结束将待上传数据通过断点续传发送给服务端设备,以在服务端设备中生成待校验数据的流程;将第二信息分别发送至待上传数据对应目标用户地址、目标管理员地址以及目标用户邮箱;第二信息用于指示待上传数据上传失败。
断点续传阈值以及预设阈值可以自行设置,本申请实施例不做具体限制。数据校验系统在通过断电续传将数据发送给服务端设备时,还会并行监测发送过程中失败后尝试断点续传的次数是否大于断点续传阈值以及尝试远程连接服务端设备的次数是否大于预设阈值。当尝试断点续传的次数大于断点续传阈值或尝试连接服务端设备的次数大于预设阈值时,意味着本次上传出现异常情况,数据校验系统就会结束将待上传数据通过断点续传发送给服务端设备的流程。并在系统配置文件中查找该待上传数据对应的目标用户地址以及目标管理员地址,进而将用于指示待上传数据上传失败的第二信息发送给待上传数据对应目标用户地址以及目标管理员地址,以对相关人员完成异常提醒的操作。
需要说明的是,用户地址以及管理员地址可以是邮箱地址、短信号码以及社交账号等任意一种通讯地址;用户地址所指示的用户可以是待上传数据对应的项目负责人;在将第二信息发送给待上传数据对应的目标用户地址以及目标管理员地址时,还可以将第二信息发送给待上传数据对应的申请人地址;申请人地址为申请将待上传数据上传至服务端设备的用户的通讯地址。待上传数据对应的申请人地址记录在待上传数据对应标识文件的用户信息中,数据校验系统在读取标识文件后即可获得用户信息中待上传数据对应的申请人地址。
对尝试断点续传的次数大于断点续传阈值或尝试远程连接服务端设备的次数大于预设阈值时,就结束待上传数据通过断点续传发送给服务端设备的流程并向目标用户地址以及目标管理员地址发送用于指示待上传数据上传失败的第二信息。避免无限尝试连接服务端设备二对服务端设备造成过大的压力。同时利用断电续传给服务端设备发送待上传数据还可以避免因为偶然的中断而导致数据上传失败的情况。并将异常情况通过第二信息发送给目标管理员地址和目标用户地址,以使管理员和用户可以及时介入处理。
可选的,当数据校验系统在监测到待上传数据时,还会向待上传数据对应的目标申请人地址以及目标用户地址发送用于指示数据上传流程开始的第三信息,以对相关人员完成数据上传的进度提醒。通过实时将用于指示数据上传流程开始的第三信息发送给用户邮箱以及用户地址,提醒用户以及申请人数据上传进展状态,使用户和申请人可以第一时间了解当前进度。
在一种应用场景中,以服务端设备为FTP服务器、用户地址为用户邮箱、管理员地址为管理员邮箱为例,如图4所示,数据一致性校验流程可以包括步骤1至步骤5,先介绍步骤1至步骤3。
步骤1,配置设置:管理员预先通过系统配置文件对数据一致性校验系统进行配置,需要配置的信息包括:各类数据存储在客户端设备中的目录路径、远程FTP服务器地址、登录远程FTP服务器认证方式(如用户名和密码)、各类数据的上传路径、用户地址、管理员地址、上传和下载数据时失败后尝试断点续传的最大次数也即断点续传阈值、设置检验算法信息、设置校验等级。其中校验等级分为3个等级,当设置为0时,系统对上传的数据不做任何校验;设置为1时,数据一致性校验系统在数据上传完成后,只做大小比对校验;设置为2时,数据一致性校验系统会对通过特定校验算法对上传后的数据进行一致性校验。
步骤2,系统启动:系统配置完成后,就可以启动数据校验系统。数据校验系统启动时读取配置信息,并依据配置信息进行后续处理流程。
步骤3,待上传数据监测:数据校验系统启动后,数据校验系统实时监测待上传数据目录下是否有新的标识文件生成以确定是否有新的待上传数据生成,若有则上传该数据到FTP服务器,若无则进行下一轮的监测。
当监测到有待上传数据时,数据校验系统会给系统配置文件里配置的用户邮箱发送一个进度提醒邮件,提醒用户将开始上传流程,进行进度提醒1。然后删除标识文件,并根据系统配置信息自动登录FTP服务器开始上传待上传数据。如果在上传过程中出现异常,数据校验系统会将异常信息通过邮件发送给管理员邮箱以及用户邮箱,进行异常提醒,本次上传流程结束。其中,当尝试远程连接FTP服务器的次数大于预设阈值或尝试数据断点续传的次数大于的断点续传阈值时判定为异常。
步骤305,对客户端设备中的待上传数据进行校验,获得第一校验结果。
详细请参见图2所示实施例的步骤202,在此不再赘述。
步骤306,控制服务端设备基于目标校验方法对待校验数据进行校验,获得第二校验结果。
详细请参见图2所示实施例的步骤203,在此不再赘述。
步骤307,根据第一校验结果以及第二校验结果,确定待上传数据与待校验数据的一致性。
详细请参见图2所示实施例的步骤204,在此不再赘述。
可选的,为了使数据校验系统可灵活应用于对数据一致性有不同程度要求的场景,在基于目标校验方法,对客户端设备中的所述待上传数据进行校验,获得第一校验结果之前,所述数据一致性方法还包括:
获取系统配置文件;系统配置文件包括各类数据对应的校验等级;
根据待上传数据对应的校验等级,确定目标校验方法;
基于目标校验方法,对客户端设备中的待上传数据进行校验,获得第一校验结果;
控制服务端设备基于目标校验方法,对待校验数据进行校验,获得第二校验结果;
根据第一校验结果以及第二校验结果,确定待上传数据与待校验数据的一致性。
校验等级可以包括但不限于第一等级、第二等级以及第三等级;第一等级用于指示根据同一种校验算法校验待上传数据与待校验数据;第二等级用于指示对待上传数据以及待校验数据的大小进行一致性验证;第三等级用于指示不对待上传数据与待校验数据进行一致性校验。数据校验系统会根据不同的校验等级选择不同的目标校验方法,并基于相同的目标校验方法分别在客户端设备以及服务端设备上对待上传数据和待校验数据进行一致性校验,满足了对数据一致性有不同程度要求的场景。
可选的,当待上传数据对应的校验等级为第一等级时,为了缩短校验时间,在对所述客户端设备中的所述待上传数据进行校验,获得第一校验结果之前,还可以包括:
向服务端设备发送查询校验算法的指令,以使服务端设备执行指令返回第一校验算法列表。
其中,第一等级用于指示利用校验算法对待上传数据以及待校验数据进行一致性校验。第一校验算法列表中包括服务端设备支持的各个校验算法的标识信息;服务端设备通过配置后,可以实现在客户端设备通过远程命令获取服务端设备支持的校验算法。具体的,数据校验系统会向服务端设备发送查询其支持的校验算法的指令,以使服务端设备执行该指令并返回第一校验算法列表。各个校验算法的标识信息可以是校验算法的名称也可以是校验算法对应的序号,还可以是人为设置的其他可以标识不同校验算法的信息。本申请实施例以标识信息为校验算法的名称为例。
获取客户端设备的第二校验算法列表。
其中,第二校验算法列表中包括客户端设备支持的各个校验算法的标识信息;数据校验系统可以通过查询命令获取客户端设备的第二校验算法列表。
根据第一校验算法列表的标识信息与第二校验算法列表中的标识信息,得到服务端设备与客户端设备均支持的目标校验算法。
数据校验系统可以按顺序比对第一校验算法列表中的标识信息(例如,校验算法的名称)与第二校验算法列表中的标识信息是否一致,来确定第一校验算法列表与第二校验算法列表是否存在相同的校验算法。如果存在相同的校验算法,就将该相同的校验算法作为服务端设备与客户端设备均支持的校验算法。并根据预设顺序选择一个服务端设备与客户端设备均支持的校验算法作为目标校验算法。预设顺序为人为预先设置的顺序,本申请实施例不做具体限制,可以是按照服务端设备与客户端设备均支持的所有校验算法的排列顺序依次选择;也可以是通过既有的随机算法对服务端设备与客户端设备均支持的所有校验算法进行随机选择。
对客户端设备中的待上传数据进行校验,获得第一校验结果,可以包括:
在客户端设备中基于目标校验算法校验待上传数据,得到第一校验码。
数据校验系统会在客户端设备中使用目标校验算法对待上传数据进行校验,得到第一校验码。
控制服务端设备对待校验数据进行校验,获得第二校验结果,可以包括:
控制服务端设备基于目标校验算法校验待校验数据,得到第二校验码。
数据校验系统会控制服务端设备在服务端设备中使用目标校验算法对待校验数据进行校验,得到第二校验码。
根据第一校验结果以及第二校验结果,确定待上传数据与待校验数据的一致性,可以包括:
根据第一校验码与第二校验码是否一致,确定待上传数据与待校验数据的一致性。
数据校验系统会比对第一校验码与第二校验码是否一致,当第一校验码与第二校验码一致时,待上传数据与待校验数据一致;当第一校验码与第二校验码不一致时,待上传数据与待校验数据不一致。当校验等级为第一等级时,数据校验系统向服务端设备发送查询校验算法的指令以得到服务端设备支持的各个校验算法的标识信息;获取客户端设备支持的各个校验算法的标识信息,以确定服务端设备与客户端设备均支持的至少一个校验算法。通过校验算法协商,优先选择客户端设备和服务端设备双方都支持的校验算法进行校验,以优先使用服务端设备上的校验算法资源在服务端设备上对待校验数据以及待上传数据进行校验,尽量避免将待校验数据下载到客户端设备进行校验,减少对网络带宽的占用,同时缩短校验时间。
可选的,当服务端设备与客户端设备不存在均支持的校验算法,且待上传数据对应的校验等级为第一等级时,所述数据一致性校验方法还包括:
将待校验数据从服务端设备下载至客户端设备,得到下载数据;
基于预设校验算法对客户端设备中的下载数据进行校验,得到第三校验码;
基于预设校验算法对客户端设备中的待上传数据进行校验,得到第四校验码;
根据第三校验码与第四校验码是否一致,确定下载数据与待上传数据的一致性校,并将下载数据与待上传数据的一致性确定为待上传数据与待校验数据的一致性。
预设校验算法为客户端设备支持的任意一个校验算法。数据校验系统在依据第一校验算法列表中的标识信息与第二校验算法列表中的标识信息没有找到服务端设备与客户端设备均支持的校验算法,但待上传数据对应的校验等级为第一等级时,数据校验系统会先将服务端设备上的待校验数据下载到客户端设备中,得到下载数据。再在客户端设备中,基于预设校验算法分别校验下载数据与待上传数据,得到第三校验码以及第四校验码。进而根据第三校验码与第四校验码是否一致,确定下载数据与待上传数据的一致性,并将下载数据与待上传数据的一致性确定为待上传数据与待校验数据的一致性。保证在校验等级为第一等级时,即使没有客户端设备以及服务端设备均支持的校验算法,也能够对待上传数据与待校验数据的一致性进行校验,使数据校验系统可以适用不同的场景,提高了数据校验系统的适用性。
可选的,当待上传数据对应的校验等级为第二等级时,对客户端设备中的待上传数据进行校验,获得第一校验结果,可以包括:
在客户端设备中获取待上传数据的大小,得到第一数值。
第二等级用于指示对待上传数据以及待校验数据的大小进行一致性验证。当待上传数据对应的校验等级为第二等级时,数据校验系统会在客户端设备中基于既有方法计算或直接读取待上传数据的大小,得到第一数值。
控制服务端设备对待校验数据进行校验,获得第二校验结果,可以包括:
控制服务端设备获取待校验数据的大小,得到第二数值。
数据校验系统会控制服务端设备在服务端设备中通过既有的方法计算或读取待校验数据的大小,得到第二数值。
根据第一校验结果以及第二校验结果,确定待上传数据与待校验数据的一致性,可以包括:
根据第一数值与第二数值是否一致,确定待上传数据与待校验数据的一致性。
数据校验系统会比对第一数值与第二数值是否一致,当第一数值与第二数值一致时,待上传数据与待校验数据一致;当第一数值与第二数值不一致时,待上传数据与待校验数据不一致。当校验等级为第二等级时,数据校验系统仅对待上传数据与待校验数据的大小进行一致性校验;不必使用其他复杂的校验方法,满足将待上传数据上传给服务端设备时,对上传数据进行一致性校验的同时还提高了数据一致性校验效率。
可选的,当待上传数据对应的校验等级为第三等级时,数据校验系统不对待上传数据与待校验数据进行数据一致性校验,转而在待上传数据上传至服务端设备时,将用于指示数据上传已完成的提醒信息发送给待上传数据对应的目标申请人地址以及目标用户地址,并结束本次流程。使用户和申请人能够第一时间了解待上传数据的当前进度。
步骤308,当待上传数据与待校验数据的一致性为不一致时,根据待上传数据对应的上传路径,在系统配置文件中查找待上述数据对应的目标用户地址以及目标管理员地址。
数据校验系统在待上传数据与待校验数据不一致时,依据待上传数据对应的上传路径,在系统配置文件中查找该上传路径关联的目标用户地址以及目标管理员地址。
步骤309,将第一信息分别发送至目标用户地址、管理员地址以及待上传数据对应的用户邮箱。
进而将用于指示待上传数据已上传至服务器端设备且待上传数据与待校验数据不一致的第一信息发送给目标用户地址以及管理员地址。及时通知相关用户与管理员,使相关人员可以及时介入以提高工作效率。需要说明的是,在将第一信息发送给待上传数据对应的目标用户地址以及目标管理员地址时,还可以将第一信息发送给待上传数据对应的目标申请人地址。
可选的,为了使用户以及申请人可以第一时间了解数据上传进度;当待上传数据与待校验数据的一致性为一致时,所述数据一致性校验方法还可以包括:
根据待上传数据对应的上传路径,在系统配置文件中查找待上传数据对应的目标用户地址;根据待上传数据的标识文件,获取待上传数据对应的目标申请人地址;将第四信息分别发送至目标用户地址以及目标申请人地址;第四信息用于指示待上传数据已上传至服务器端设备且待上传数据与待校验数据一致。
基于上述应用场景,结合图4,以数字0为第三等级、数字1为第二等级以及数字2为第一等级为例,接着介绍步骤4至步骤5。
步骤4,数据校验:当顺利完成待上传数据的上传后,数字校验系统将依据预设的校验等级对已上传的数据进行校验。其中:
a)当校验等级设为0时,不做数据校验,此时数字校验系统会给系统配置文件里配置的用户邮箱发送一个进度提醒邮件,完成进度提醒1,提醒用户数据上传已完成,本次流程结束。
b)当校验等级设置为1时,数字校验系统获取已上传到远程FTP服务器上数据(也即待校验数据)的大小,然后和本地源数据(也即客户端设备上的待上传数据)的大小进行比对,若大小相同,数字校验系统会给系统配置文件里配置的用户邮箱发送一个进度提醒邮件,完成进度提醒2,提醒用户数据上传已完成并通过数据大小一致性校验,本次流程结束;若大小不同,系统会给配置文件里配置的用户邮箱和管理员地址发送一个进度提醒邮件,完成进度提醒2,提醒用户数据上传已完成但未通过一致性校验,本次流程结束。
c)当设置校验等级为2时,数据校验系统将会先获取FTP服务器支持的校验算法,然后和本地(也即客户端设备)支持的检验算法进行比对。若有相同的校验算法,则从相同的校验算法中按预设顺利选择一种校验算法,然后使用该校验算法分别在FTP服务器上对已上传的数据和在本地对源数据进行校验,对比两处的校验码是否相同,若相同,数据校验系统会给用户地址以及待上传数据对应的用户邮箱发送一个进度提醒邮件,完成进度提醒3,提醒用户数据上传已完成并通过数据一致性校验,本次流程结束;若不同,数据校验系统会给系统配置文件里配置的用户地址以及待上传数据对应的用户邮箱和管理员地址发送一个进度提醒邮件,完成进度提醒2,提醒用户数据上传已完成但未通过一致性校验,本次流程结束。
若没有相同的校验算法,数据校验系统将已上传到远程FTP服务器的数据重新下载至本地缓存目录,从预设校验算法中选择一个校验算法,然后使用该校验算法在本地分别对新下载的数据和源数据进行校验,对比校验码是否相同,若相同,数据校验系统会系统配置文件里配置的用户地址以及待上传数据对应的用户邮箱发送一个进度提醒邮件,完成进度提醒3,本次流程结束;若不同,数据校验系统会给系统配置文件里配置的用户邮箱和管理员邮箱发送一个进度提醒邮件,完成进度提醒2,提醒用户数据上传已完成但未通过一致性校验,本次流程结束。如果在数据下载过程中出现异常,数据校验系统会将异常信息通过邮件发送给配置的管理员邮箱和用户邮箱,完成异常提醒,本次上传流程结束。其中当尝试连接远程服务器的次数大于预设阈值或尝试数据断点续传的次数大于设定的阈值判定为异常。
步骤5,重复步骤3-4。
综上所述,通过断电续传避免因为偶然的中断而导致数据上传失败的情况,并基于待上传数据在系统配置文件中对应的目标服务端设备地址以及目标服务端设备认证方式,自动登录目标服务端设备地址对应的服务端设备,并将待上传数据自动发送给服务端设备,减少人工参与,提高数据上传效率。在待上传数据与待校验数据的一致性为不一致时,将用于指示待上传数据已上传至服务器端设备且待上传数据与待校验数据不一致的第一信息发送给目标用户地址以及管理员地址。及时通知相关用户与管理员,使相关人员可以及时介入以提高工作效率。
图4中的数据一致性校验方法,具有以下技术效果:
1、全自动化实现数据的上传和校验流程,减少人工参与,提高效率。
2、通过邮件实时提醒进展状态,用户可以第一时间了解当前进度;当有异常发生时或校验失败时,邮件通知管理员和用户,管理员可及时介入处理。
3、设置3级校验等级,并通过配置文件灵活配置,系统可灵活应用于对数据一致性有不同程度要求的场景。
4、当设置校验等级为2时,系统优先尝试使用FTP服务器资源对已上传数据进行校验,尽量避免再下载数据,减少对网络带宽的占用,同时缩短校验时间。
5、校验算法协商,优先选择本地和服务器双方都支持的检验算法进行校验。
6、设置重连和尝试断点续传的最大次数,超过阈值判定为异常,避免无限重连对FTP服务器造成过大的压力,同时也不能因为偶然的中断而导致数据上传失败。
7、使用标识文件标识已经准备好待上传数据,避免在准备数据中就开始上传数据,而导致上传数据出错。
8、数据开始上传时,移除对应的标识文件,避免重复上传。
图5是本申请实施例示出的一种数据一致性校验装置,该装置用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。如图5所示,该数据校验装置包括:
发送模块501,用于当监测到待上传数据时,将待上传数据发送给服务端设备,以在服务端设备中生成待校验数据;
第一校验模块502,用于对客户端设备中的待上传数据进行校验,获得第一校验结果;
第二校验模块503,用于控制服务端设备对待校验数据进行校验,获得第二校验结果;
确定模块504,用于根据第一校验结果以及第二校验结果,确定待上传数据与待校验数据的一致性。
在一些可选的实施方式中,当待上传数据对应的校验等级为第一等级时,该数据校验装置还可以包括:
获取模块,用于获取系统配置文件;系统配置文件包括各类数据对应的校验等级;
第一校验模块,还用于:
向服务端设备发送查询校验算法的指令,以使服务端设备执行指令返回第一校验算法列表;第一校验算法列表中包括服务端设备支持的各个校验算法的标识信息;
获取客户端设备的第二校验算法列表;第二校验算法列表中包括客户端设备支持的各个校验算法的标识信息;
根据第一校验算法列表中的标识信息与第二校验算法列表中的标识信息,得到服务端设备与客户端设备均支持的目标校验算法。
在一些可选的实施方式中,第一校验模块还用于在客户端设备中基于目标校验算法校验待上传数据,得到第一校验码;
第二校验模块,还用于控制服务端设备基于目标校验算法校验待校验数据,得到第二校验码;
确定模块,还用于根据第一校验码与第二校验码是否一致,确定待上传数据与待校验数据的一致性。
在一些可选的实施方式中,该数据校验装置还可以包括:
下载模块,用于将待校验数据从服务端设备下载至客户端设备,得到下载数据;
第三校验模块,用于基于预设校验算法对客户端设备中的下载数据进行校验,得到第三校验码;
第三校验模块,还用于基于预设校验算法对客户端设备中的待上传数据进行校验,得到第四校验码;
确定模块,还用于根据第三校验码与第四校验码是否一致,确定下载数据与待上传数据的一致性,并将下载数据与待上传数据的一致性确定为待上传数据与待校验数据的一致性。
在一些可选的实施方式中,当待上传数据对应的校验等级为第二等级时,
第一校验模块,还用于在客户端设备中获取待上传数据的大小,得到第一数值;
第二校验模块,还用于控制服务端设备获取待校验数据的大小,得到第二数值;
确定模块,还用于根据第一数值与第二数值是否一致,确定待上传数据与待校验数据的一致性。
在一些可选的实施方式中,该数据一致性校验装置还可以包括:
信息发送模块,用于当待上传数据与待校验数据的一致性为不一致时,执行以下步骤:
根据待上传数据对应的上传路径,在系统配置文件中查找待上述数据对应的目标用户地址以及目标管理员地址;
将第一信息分别发送至目标用户地址以及目标管理员地址;第一信息用于指示待上传数据已上传至服务器端设备且待上传数据与待校验数据不一致。
在一些可选的实施方式中,该数据一致性校验装置还可以包括:
获取模块,还用于获取系统配置文件,系统配置文件包括至少一个服务端设备地址以及服务端设备认证方式;
查找模块,用于当监测到待上传数据时,在系统配置文件中查找与待上传数据对应的上传路径相关联的目标服务端设备地址以及目标服务端设备认证方式;
登录模块,用于根据目标服务端设备认证方式,登录目标服务端设备地址对应的服务端设备;
发送模块,还用于将待上传数据通过断点续传发送给服务端设备,以在服务端设备中生成待校验数据。
在一些可选的实施方式中,发送模块,还用于:
监测将待上传数据通过断点续传发送给服务端设备的过程中,尝试断点续传的次数是否大于断点续传阈值;
监测将待上传数据通过断点续传发送给服务端设备的过程中,尝试连接服务端设备的次数是否大于预设阈值;
当尝试断点续传的次数大于断点续传阈值或尝试连接服务端设备的次数大于预设阈值时,结束将待上传数据通过断点续传发送给服务端设备,以在服务端设备中生成待校验数据的流程;
将第二信息分别发送至待上传数据对应目标用户地址以及目标管理员地址;第二信息用于指示待上传数据上传失败。
本实施例中数据一致性校验装置是以功能单元的形式来呈现,这里的单元是指ASIC电路,执行一个或多个软件或固定程序的处理器和存储器,和/或其他可以提供上述功能的器件。
上述各个模块和单元的更进一步的功能描述与上述对应实施例相同,在此不再赘述。
本申请实施例还提供一种计算机设备,具有上述图5所示的数据一致性校验装置。
请参阅图6,图6是本申请可选实施例提供的一种计算机设备的结构示意图,如图6所示,该计算机设备包括:一个或多个处理器10、存储器20,以及用于连接各部件的接口,包括高速接口和低速接口。各个部件利用不同的总线互相通信连接,并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在计算机设备内执行的指令进行处理,包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如,耦合至接口的显示设备)上显示GUI的图形信息的指令。在一些可选的实施方式中,若需要,可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样,可以连接多个计算机设备,各个设备提供部分必要的操作(例如,作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图6中以一个处理器10为例。
处理器10可以是中央处理器,网络处理器或其组合。其中,处理器10还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路,可编程逻辑器件或其组合。上述可编程逻辑器件可以是复杂可编程逻辑器件,现场可编程逻辑门阵列,通用阵列逻辑或其任意组合。
其中,所述存储器20存储有可由至少一个处理器10执行的指令,以使所述至少一个处理器10执行实现上述实施例示出的方法。
存储器20可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储根据一种小程序落地页的展现的计算机设备的使用所创建的数据等。此外,存储器20可以包括高速随机存取存储器,还可以包括非瞬时存储器,例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些可选的实施方式中,存储器20可选包括相对于处理器10远程设置的存储器,这些远程存储器可以通过网络连接至该计算机设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
存储器20可以包括易失性存储器,例如,随机存取存储器;存储器也可以包括非易失性存储器,例如,快闪存储器,硬盘或固态硬盘;存储器20还可以包括上述种类的存储器的组合。
该计算机设备还包括通信接口30,用于该计算机设备与其他设备或通信网络通信。
本申请实施例还提供了一种计算机可读存储介质,上述根据本申请实施例的方法可在硬件、固件中实现,或者被实现为可记录在存储介质,或者被实现通过网络下载的原始存储在远程存储介质或非暂时机器可读存储介质中并将被存储在本地存储介质中的计算机代码,从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件的存储介质上的这样的软件处理。其中,存储介质可为磁碟、光盘、只读存储记忆体、随机存储记忆体、快闪存储器、硬盘或固态硬盘等;进一步地,存储介质还可以包括上述种类的存储器的组合。可以理解,计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件,当软件或计算机代码被计算机、处理器或硬件访问且执行时,实现上述实施例示出的方法。
虽然结合附图描述了本申请的实施例,但是本领域技术人员可以在不脱离本申请的精神和范围的情况下做出各种修改和变型,这样的修改和变型均落入由所附权利要求所限定的范围之内。
Claims (9)
1.一种数据一致性校验方法,其特征在于,应用于客户端设备,所述客户端设备与服务端设备通信连接;
所述方法包括:
获取系统配置文件;所述系统配置文件包括各类数据对应的校验等级;
当监测到待上传数据时,将所述待上传数据发送给服务端设备,以在所述服务端设备中生成待校验数据;
对所述客户端设备中的所述待上传数据进行校验,获得第一校验结果;
控制所述服务端设备对所述待校验数据进行校验,获得第二校验结果;
根据所述第一校验结果以及第二校验结果,确定所述待上传数据与待校验数据的一致性;
当所述待上传数据对应的校验等级为第一等级时,在对所述客户端设备中的所述待上传数据进行校验,获得第一校验结果之前,所述方法还包括:
向所述服务端设备发送查询校验算法的指令,以使所述服务端设备执行所述指令返回第一校验算法列表;所述第一校验算法列表中包括所述服务端设备支持的各个校验算法的标识信息;
获取所述客户端设备的第二校验算法列表;所述第二校验算法列表中包括所述客户端设备支持的各个校验算法的标识信息;
根据所述第一校验算法列表中的标识信息与所述第二校验算法列表中的标识信息,得到所述服务端设备与所述客户端设备均支持的目标校验算法。
2.根据权利要求1所述的方法,其特征在于,当所述待上传数据对应的校验等级为第一等级时,所述对所述客户端设备中的所述待上传数据进行校验,获得第一校验结果,包括:
在客户端设备中基于所述目标校验算法校验所述待上传数据,得到第一校验码;
所述控制所述服务端设备对所述待校验数据进行校验,获得第二校验结果,包括:
控制所述服务端设备基于所述目标校验算法校验所述待校验数据,得到第二校验码;
所述根据所述第一校验结果以及第二校验结果,确定所述待上传数据与待校验数据的一致性,包括:
根据所述第一校验码与所述第二校验码是否一致,确定所述待上传数据与待校验数据的一致性。
3.根据权利要求1所述的方法,其特征在于,当所述服务端设备与所述客户端设备不存在均支持的校验算法,且所述待上传数据对应的校验等级为第一等级时,所述方法还包括:
将所述待校验数据从所述服务端设备下载至所述客户端设备,得到下载数据;
基于预设校验算法对客户端设备中的所述下载数据进行校验,得到第三校验码;
基于预设校验算法对客户端设备中的所述待上传数据进行校验,得到第四校验码;
根据所述第三校验码与所述第四校验码是否一致,确定所述下载数据与所述待上传数据的一致性,并将所述下载数据与所述待上传数据的一致性确定为所述待上传数据与所述待校验数据的一致性。
4.根据权利要求2所述的方法,其特征在于,当所述待上传数据对应的校验等级为第二等级时,所述对所述客户端设备中的所述待上传数据进行校验,获得第一校验结果,包括:
在所述客户端设备中获取所述待上传数据的大小,得到第一数值;
所述控制所述服务端设备对所述待校验数据进行校验,获得第二校验结果,包括:
控制所述服务端设备获取所述待校验数据的大小,得到第二数值;
所述根据所述第一校验结果以及第二校验结果,确定所述待上传数据与待校验数据的一致性,包括:
根据所述第一数值与所述第二数值是否一致,确定所述待上传数据与待校验数据的一致性。
5.根据权利要求1至4任意一项所述的方法,其特征在于,所述系统配置文件还包括各类数据对应的上传路径、至少一个用户地址以及管理员地址;在确定所述待上传数据与待校验数据的一致性之后,所述方法还包括:
当所述待上传数据与所述待校验数据的一致性为不一致时,执行以下步骤:
根据所述待上传数据对应的上传路径,在所述系统配置文件中查找所述待上传数据对应的目标用户地址以及目标管理员地址;
将第一信息分别发送至所述目标用户地址以及目标管理员地址;所述第一信息用于指示所述待上传数据已上传至服务器端设备且所述待上传数据与所述待校验数据不一致。
6.根据权利要求1所述的方法,其特征在于,所述当监测到待上传数据时,将所述待上传数据发送给服务端设备,以在所述服务端设备中生成待校验数据,包括:
获取系统配置文件,所述系统配置文件包括至少一个服务端设备地址以及服务端设备认证方式;
当监测到待上传数据时,在所述系统配置文件中查找与所述待上传数据对应的上传路径相关联的目标服务端设备地址以及目标服务端设备认证方式;
根据所述目标服务端设备认证方式,登录所述目标服务端设备地址对应的服务端设备;
将所述待上传数据通过断点续传发送给所述服务端设备,以在所述服务端设备中生成待校验数据。
7.根据权利要求6所述的方法,其特征在于,所述系统配置文件还包括断点续传阈值;所述将所述待上传数据通过断点续传发送给所述服务端设备,以在所述服务端设备中生成待校验数据,包括:
监测将所述待上传数据通过断点续传发送给所述服务端设备的过程中,尝试断点续传的次数是否大于所述断点续传阈值;
监测将所述待上传数据通过断点续传发送给所述服务端设备的过程中,尝试连接所述服务端设备的次数是否大于预设阈值;
当所述尝试断点续传的次数大于所述断点续传阈值或尝试连接所述服务端设备的次数大于预设阈值时,结束将所述待上传数据通过断点续传发送给所述服务端设备,以在所述服务端设备中生成待校验数据的流程;
将第二信息分别发送至所述待上传数据对应目标用户地址以及目标管理员地址;所述第二信息用于指示所述待上传数据上传失败。
8.一种数据一致性校验装置,其特征在于,应用于客户端设备,所述客户端设备与服务端设备通信连接;所述装置包括:
获取模块,用于获取系统配置文件;所述系统配置文件包括各类数据对应的校验等级;发送模块,用于当监测到待上传数据时,将所述待上传数据发送给服务端设备,以在所述服务端设备中生成待校验数据;
第一校验模块,用于对所述客户端设备中的所述待上传数据进行校验,获得第一校验结果;
第二校验模块,用于控制所述服务端设备对所述待校验数据进行校验,获得第二校验结果;
确定模块,用于根据所述第一校验结果以及第二校验结果,确定所述待上传数据与待校验数据的一致性;
当所述待上传数据对应的校验等级为第一等级时,第一校验模块,还用于:向所述服务端设备发送查询校验算法的指令,以使所述服务端设备执行所述指令返回第一校验算法列表;所述第一校验算法列表中包括所述服务端设备支持的各个校验算法的标识信息;
获取所述客户端设备的第二校验算法列表;所述第二校验算法列表中包括所述客户端设备支持的各个校验算法的标识信息;
根据所述第一校验算法列表中的标识信息与所述第二校验算法列表中的标识信息,得到所述服务端设备与所述客户端设备均支持的目标校验算法。
9.一种计算机设备,其特征在于,包括:
存储器和处理器,所述存储器和所述处理器之间互相通信连接,所述存储器中存储有计算机指令,所述处理器通过执行所述计算机指令,从而执行权利要求1至7中任一项所述的数据一致性校验方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310544569.3A CN116527539B (zh) | 2023-05-15 | 2023-05-15 | 数据一致性校验方法、装置及计算机设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310544569.3A CN116527539B (zh) | 2023-05-15 | 2023-05-15 | 数据一致性校验方法、装置及计算机设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116527539A CN116527539A (zh) | 2023-08-01 |
CN116527539B true CN116527539B (zh) | 2023-11-28 |
Family
ID=87395776
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310544569.3A Active CN116527539B (zh) | 2023-05-15 | 2023-05-15 | 数据一致性校验方法、装置及计算机设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116527539B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104410692A (zh) * | 2014-11-28 | 2015-03-11 | 上海爱数软件有限公司 | 一种用于重复文件上传的方法和系统 |
CN109492436A (zh) * | 2018-11-29 | 2019-03-19 | 深圳市网心科技有限公司 | 一种文件校验方法及相关装置 |
CN110300151A (zh) * | 2019-05-22 | 2019-10-01 | 深圳壹账通智能科技有限公司 | 数据文件上传方法及系统 |
WO2021174828A1 (zh) * | 2020-07-29 | 2021-09-10 | 平安科技(深圳)有限公司 | 数据处理方法、装置、计算机系统及可读存储介质 |
WO2021237467A1 (zh) * | 2020-05-26 | 2021-12-02 | 深圳元戎启行科技有限公司 | 文件上传方法、文件下载方法和文件管理装置 |
-
2023
- 2023-05-15 CN CN202310544569.3A patent/CN116527539B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104410692A (zh) * | 2014-11-28 | 2015-03-11 | 上海爱数软件有限公司 | 一种用于重复文件上传的方法和系统 |
CN109492436A (zh) * | 2018-11-29 | 2019-03-19 | 深圳市网心科技有限公司 | 一种文件校验方法及相关装置 |
CN110300151A (zh) * | 2019-05-22 | 2019-10-01 | 深圳壹账通智能科技有限公司 | 数据文件上传方法及系统 |
WO2021237467A1 (zh) * | 2020-05-26 | 2021-12-02 | 深圳元戎启行科技有限公司 | 文件上传方法、文件下载方法和文件管理装置 |
WO2021174828A1 (zh) * | 2020-07-29 | 2021-09-10 | 平安科技(深圳)有限公司 | 数据处理方法、装置、计算机系统及可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN116527539A (zh) | 2023-08-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110928774B (zh) | 一种基于节点式的自动化测试系统 | |
CN108683679B (zh) | Web APP的多账号登录方法、装置、设备及存储介质 | |
CN111522264A (zh) | 设备的控制方法及装置、存储介质、电子装置 | |
CN107453953B (zh) | 一种基于httpclient的数据更新系统及方法 | |
CN112751716B (zh) | 一种控制文件服务器响应的测试方法、系统以及电子设备 | |
CN109218407B (zh) | 基于日志监控技术的代码管控方法及终端设备 | |
CN109561054B (zh) | 一种数据传输方法、控制器及接入设备 | |
CN109617726A (zh) | 错误日志采集方法及服务器 | |
CN110659202A (zh) | 客户端自动化测试方法及装置 | |
CN113824760B (zh) | 文件并发分块上传方法、装置、电子设备及存储介质 | |
US9178860B2 (en) | Out-of-path, content-addressed writes with untrusted clients | |
CN111611021A (zh) | 日志数据传输方法、装置、计算机设备和存储介质 | |
CN115422048A (zh) | 链路稳定性测试方法、装置、计算机设备和存储介质 | |
CN111651482A (zh) | 一种数据采集方法和装置 | |
CN116527539B (zh) | 数据一致性校验方法、装置及计算机设备 | |
WO2017185631A1 (zh) | 一种数据下载方法及设备 | |
CN112445507A (zh) | 一种设备的升级方法和装置 | |
CN114050901B (zh) | 终端的认证方法、装置、电子设备及可读存储介质 | |
CN112636465A (zh) | 一种输电线路故障智能处理方法、系统、终端及存储介质 | |
CN114490746B (zh) | 一种设备测试方法、装置、待测试设备及存储介质 | |
CN112416648A (zh) | 数据校验方法及装置 | |
CN116095064A (zh) | 一种文件下载方法、计算机设备及存储介质 | |
CN116366629A (zh) | 一种文件上传、获取方法、计算机设备及存储介质 | |
CN114356673A (zh) | 主板测试方法、装置 | |
CN113691520A (zh) | 获取流媒体信息的方法、装置、存储介质及电子装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |