CN110716895B - 目标数据归档方法、装置、计算机设备及介质 - Google Patents

目标数据归档方法、装置、计算机设备及介质 Download PDF

Info

Publication number
CN110716895B
CN110716895B CN201910878006.1A CN201910878006A CN110716895B CN 110716895 B CN110716895 B CN 110716895B CN 201910878006 A CN201910878006 A CN 201910878006A CN 110716895 B CN110716895 B CN 110716895B
Authority
CN
China
Prior art keywords
target data
archive file
filing
server
archiving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910878006.1A
Other languages
English (en)
Other versions
CN110716895A (zh
Inventor
张旭明
宫林涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201910878006.1A priority Critical patent/CN110716895B/zh
Priority to PCT/CN2019/117673 priority patent/WO2021051563A1/zh
Publication of CN110716895A publication Critical patent/CN110716895A/zh
Application granted granted Critical
Publication of CN110716895B publication Critical patent/CN110716895B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/11File system administration, e.g. details of archiving or snapshots
    • G06F16/113Details of archiving
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本申请的实施例提供了一种目标数据归档方法、装置、计算机设备及介质。本申请实施例的目标数据归档方法包括:从源服务器获取归档文件,归档文件包含需要归档的目标数据;对归档文件进行一致性校验;当归档文件通过一致性校验时,将归档文件中包含的目标数据存储至归档服务器的存储空间,并向源服务器发送删除通知,删除通知指示源服务器删除归档文件包含的目标数据。本申请实施例的技术方案由于通过归档服务器对归档文件进行一致性校验后,再将归档文件中包含的目标数据存储至归档服务器的存储空间,并删除源服务器中归档文件包含的目标数据,提高了数据归档的可靠性。

Description

目标数据归档方法、装置、计算机设备及介质
技术领域
本申请涉及计算机及通信技术领域,具体而言,涉及一种目标数据归档方法、装置、计算机设备及介质。
背景技术
服务器在运行过程中会产生需要存储至服务器本地磁盘空间的数据,由于服务器的本地磁盘空间是有限的,因此服务器在存储数据的过程中可能会出现本地磁盘空间不足的情况,导致服务器无法正常运行。为了解决上述问题,可以定期将服务器中旧的数据进行归档,以使服务器可以腾出空间保存新的数据。
然而,在实践中发现,执行上述定期将服务器中旧的数据进行归档的方法,可能在将服务器上旧的数据进行转移的过程中,由于网络抖动或者网卡丢包等原因导致转移中的数据损坏,从而导致数据归档失败,数据归档的可靠性较低。
发明内容
本申请的实施例提供了一种目标数据归档方法、装置、计算机设备及介质,进而至少在一定程度上可以提高数据归档的可靠性。
根据本申请实施例的一个方面,提供了一种目标数据归档方法,包括:从源服务器获取归档文件,所述归档文件包含需要归档的目标数据;对所述归档文件进行一致性校验;当所述归档文件通过一致性校验时,将所述归档文件中包含的目标数据存储至归档服务器的存储空间,并向源服务器发送删除通知,所述删除通知指示所述源服务器删除所述归档文件包含的目标数据。
根据本申请实施例的一个方面,提供了一种目标数据归档装置,包括:获取模块,用于从源服务器获取归档文件,所述归档文件包含需要归档的目标数据;校验模块,用于对所述归档文件进行一致性校验;存储模块,用于当所述归档文件通过一致性校验时,将所述归档文件中包含的目标数据存储至归档服务器的存储空间;通知模块,用于向源服务器发送删除通知,所述删除通知指示所述源服务器删除所述归档文件包含的目标数据。
在本申请的一些实施例中,基于前述方案,所述获取模块配置为:获取所述源服务器中需要归档的目标数据,将所述目标数据通过散列算法计算得到第一散列值;将所述目标数据和所述第一散列值对应存储后压缩作为所述归档文件。
在本申请的一些实施例中,基于前述方案,所述校验模块配置为:对所述归档文件进行解压缩操作,得到所述归档文件中包含的所述目标数据和所述第一散列值;将所述目标数据通过所述散列算法计算得到第二散列值;判断所述第二散列值是否与所述第一散列值相同;若所述第二散列值与所述第一散列值相同,则确定所述归档文件通过一致性校验。
在本申请的一些实施例中,基于前述方案,所述校验模块配置为:若所述第二散列值与所述第一散列值不同,则获取所述归档文件的归档次数,比较所述归档次数与预设归档次数;若所述归档次数大于所述预设归档次数,向所述源服务器发送停止自动归档命令,并向所述源服务器发送管理员手动归档提示。
在本申请的一些实施例中,基于前述方案,所述校验模块配置为:获取所述归档文件中包含的所述目标数据的数量;对于每个目标数据,确定该目标数据的数据类型,根据所述数据类型查找预设的所述数据类型与最大归档次数对照表,获得所述数据类型的最大容忍归档次数;获得所述目标数据中所有目标数据的最大容忍归档次数的和与所述目标数据的数量的比值;将该比值进行取整运算得到所述归档文件的预设归档次数。
在本申请的一些实施例中,基于前述方案,所述校验模块还配置为:检测源服务器与归档服务器的当前网络通信状态;查找预设的所述源服务器与归档服务器的当前网络通信状态与所述预设归档次数对照表,获得与该当前网络通信状态匹配的预设归档次数。
在本申请的一些实施例中,基于前述方案,所述校验模块还配置为:在所述检测源服务器与归档服务器的当前网络通信状态后,若所述当前网络通信状态为通信断开,向源服务器发送管理员手动归档提示。
根据本申请实施例的一个方面,提供了一种计算机设备,包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如上述实施例中所述的目标数据归档方法。
根据本申请实施例的一个方面,提供了一种计算机可读介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上述实施例中所述的目标数据归档方法。
在本申请的一些实施例所提供的技术方案中,通过从源服务器获取归档文件,归档文件包含需要归档的目标数据;对归档文件进行一致性校验;当归档文件通过一致性校验时,将归档文件中包含的目标数据存储至归档服务器的存储空间,并向源服务器发送删除通知,删除通知指示源服务器删除归档文件包含的目标数据。由于该方案会对归档文件进行一致性校验,在确认归档文件是完整的情况下才会清理源服务器上的目标数据,从而保证了目标数据归档的可靠性。
本申请的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本申请的实践而习得。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。在附图中:
图1示出了可以应用本申请实施例的技术方案的示例性系统架构的示意图;
图2示意性示出了根据本申请的一个实施例的目标数据归档方法的流程图;
图3示意性示出了根据本申请的一个实施例的从源服务器获取归档文件的流程图;
图4示意性示出了根据本申请的一个实施例的归档服务器对归档文件进行一致性校验过程的流程图;
图5示意性示出了根据本申请的一个实施例的获得预设归档次数方法的流程图;
图6示意性示出了根据本申请的一个实施例的获得预计归档次数方法的流程图;
图7示意性示出了根据本申请的一个实施例的获得预计归档次数方法的流程图;
图8示意性示出了根据本申请的一个实施例的目标数据归档装置的框图;
图9示意性示出了根据本申请的一个实施例的计算机设备的硬件图;
图10示意性示出了根据本申请的一个实施例的用于实现上述目标数据归档方法的计算机可读存储介质。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本申请将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。
此外,所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中,提供许多具体细节从而给出对本申请的实施例的充分理解。然而,本领域技术人员将意识到,可以实践本申请的技术方案而没有特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知方法、装置、实现或者操作以避免模糊本申请的各方面。
附图中所示的方框图仅仅是功能实体,不一定必须与物理上独立的实体相对应。即,可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明,不是必须包括所有的内容和操作/步骤,也不是必须按所描述的顺序执行。例如,有的操作/步骤还可以分解,而有的操作/步骤可以合并或部分合并,因此实际执行的顺序有可能根据实际情况改变。
图1示出了可以应用本申请实施例的技术方案的示例性系统架构的示意图。
如图1所示,系统架构可以包括终端设备(如图1中所示智能手机101、平板电脑102和便携式计算机103中的一种或多种,当然也可以是台式计算机等等)、网络104、源服务器105和归档服务器106。网络104用以在终端设备、源服务器105和归档服务器106之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线通信链路、无线通信链路等等。
应该理解,图1中的终端设备、网络104、源服务器105和归档服务器106的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络104、源服务器105和归档服务器106。比如源服务器105可以是多个源服务器105组成的源服务器集群等。
在本申请的一个实施例中,源服务器105可以收集通过终端设备(如图1中所示的智能手机101、平板电脑102或便携式计算机103等)发送的目标数据,目标数据可以是语音、文本、图片等需要归档的数据。当源服务器105收集到终端设备发送的目标数据之后,源服务器105可以根据目标数据生成归档文件,归档服务器106从源服务器105中获取归档文件;或者源服务器105自身产生目标数据后将自身产生的目标数据生成归档文件。归档服务器106对归档文件进行一致性校验;当归档文件通过一致性校验时,将归档文件中包含的目标数据存储至归档服务器106的存储空间,并删除源服务器105中归档文件包含的目标数据。可见,由于本申请实施例的技术方案在归档完成后删除源服务器105中归档文件包含的目标数据,释放了源服务器105中存储目标数据的空间,并且在存储归档文件中的目标数据时对目标数据进行了一致性校验,从而保证了归档文件的可靠性。
需要说明的是,本申请实施例所提供的目标数据归档方法一般由归档服务器106执行,相应地,目标数据归档装置一般设置于归档服务器106中。源服务器105和归档服务器106可以同时存在与一个服务器中,或者服务器集群中包括源服务器105和归档服务器106。但是,在本申请的其它实施例中,终端设备也可以与源服务器105具有相似的功能,或者设备终端具有归档服务器106的功能,从而执行本申请实施例所提供的目标数据归档方法。
以下对本申请实施例的技术方案的实现细节进行详细阐述:
图2示意性示出了根据本申请的一个实施例的目标数据归档方法的流程图;
参照图2所示,该目标数据归档方法至少包括步骤S210至步骤S230,详细介绍如下:
在步骤S210中,从源服务器获取归档文件,归档文件包含需要归档的目标数据。
在本申请的一个实施例中,源服务器可以理解为具体实现若干功能的服务器,源服务器中可以在运行过程中产生数据,或者接收移动终端产生的数据,并将产生的数据存储至源服务器当前的存储空间中。
在本申请的一个实施例中,目标数据为需要归档的数据,可以是用户资料、用户协议等文本文件或者是这些文本文件中的一部分,目标数据也可以是用户面部图像、指纹图像等图片文件或者是这些图片文件的一部分,或者是用户语音等语音文件或者是语音文件的一部分。
在本申请的一个实施例中,归档服务器可以理解为具体实现若干功能的服务器,或者归档服务器可以理解为只用于存储数据的服务器,或者归档服务器可以理解为在源服务器中具有存储功能的元件。
在本申请的一个实施例中,源服务器生成归档文件的频率可以是固定的,归档服务器也可以根据源服务器生成归档文件的频率从源服务器中获取归档文件,使目标数据及时归档,或者当一个或多个目标数据占用的内存总量达到设定值时,源服务器将达到占用内存总量的一个或多个目标数据生成一个或多个归档文件,归档服务器可以按照生成目标数据的顺序获取归档文件,方便对目标数据进一步处理。
在本申请的其他实施例中,源服务器生成归档文件的频率与目标数据的大小有关,源服务器将大小达到设定值的目标数据生成归档文件,而对于未达到设定值的目标数据暂不归档,可以在及时清理源服务器空间的同时减小对源服务器中数据的干扰。
在本申请的一个实施例中,一个归档服务器中可以从多个源服务器中获取归档文件,使得多个源服务器发送的目标数据都能存储到一个归档服务器中,方便对目标数据进行汇总处理。
在本申请的其他实施例中,一个归档服务器可以只从一个源服务器中获取归档文件,归档服务器与源服务器一一对应,使目标数据能够更准确的归档。也可以用多个归档服务器获取一个源服务器的不同归档文件,每个归档服务器用来获取源服务器中的不同目标数据形成的归档文件,不同数据与归档服务器提前预设对应关系,从而使源服务器中的数据分类归档;或者多个归档服务器用来获取多个源服务器的归档文件,每个归档服务器从多个源服务器中获取相同类型的数据,将不同源服务器中的相同类型数据存储到一个归档服务器中,使相同类型的数据汇总到一起,方便进行下一步处理。
在本申请的一个实施例中,如图3所示,在步骤S210中从源服务器获取归档文件的过程,可以包括如下步骤:
步骤S310,获取源服务器中需要归档的目标数据,将目标数据通过散列算法计算得到第一散列值;
散列算法中包含多种算法,在本申请的一个实施例中,目标数据通过MD5(MessageDigest Algorithm 5,消息摘要算法第五版)计算得到第一散列值,MD5将整个文件当作一个大文本信息,通过其不可逆的字符串变换算法,产生了唯一的MD5值作为第一散列值。
步骤S320,将目标数据和第一散列值对应存储后压缩作为归档文件。
将目标数据和第一散列值对应存储后一起传递到归档服务器中,归档服务器可以根据第一散列值对目标数据进行校验,在本申请的一个实施例中,可以将第一散列值与归档服务器中预先存储的由相同目标数据生成的预存散列值进行比较,若第一散列值与预存散列值一致,则可以认为目标数据是正确的需要归档的目标数据,避免将不正确的目标数据归档。同时由于散列值比目标数据小,比较散列值比直接比较目标数据更加快速,提高了目标数据归档的效率。
将归档文件压缩之后发送,加快了源服务器和归档服务器传递文件的速度,加快了目标数据的处理进程,也提高了归档文件在传输过程中的安全性。
在本申请的一个实施例中,归档服务器可以直接存储归档压缩包,使归档文件在存储时占用更少的空间。
在本申请的一个实施例中,归档服务器可以直接将压缩包解压后再进行存储。可以对解压后的内容进行特征提取等进一步加工后存储。
在本申请的一个实施例中,归档压缩包可以用公钥进行加密,当归档服务器收到该归档压缩包后,根据归档压缩包的标记特征,使用预存的与该归档压缩包的标记特征对应的私钥进行解密,防止将归档文件传递到错误的归档服务器中时目标数据的错误归档,也防止在归档服务器从源服务器中获取归档文件的过程中归档文件被窃取,进一步增加了归档文件传输过程中的安全性。
继续参照图2所示,在步骤S220中,对归档文件进行一致性校验。
在本申请的一个实施例中,一致性校验可以理解为校验归档文件中包含的目标数据是否完整未被损坏。可以将需要校验的归档文件与预设的生成该归档文件的目标数据生成的完整归档文件进行比较,可以比较需要校验的归档文件与预设归档文件的大小,或者比较需要校验的归档文件与预设归档文件的其他参数,或者提取需要校验的归档文件与预设归档文件的关键字,比较关键字是否一致。
在本申请的一个实施例中,一致性校验可以理解为校验归档文件中包含的关键目标数据是否完整未被损坏。在校验之前,先识别归档文件中的关键目标数据生成的关键归档文件,可以根据需要预设条件识别归档文件中的关键归档文件,再将关键归档文件和预先存储的关键目标数据生成的预设关键归档文件进行比较,可以比较关键归档文件与预设关键归档文件的大小,或者比较关键归档文件与预设关键归档文件的其他参数,或者提取关键归档文件与预设关键归档文件的关键字,比较关键字是否一致。
在本申请的一个实施例中,一致性校验可以理解为校验归档文件中包含的目标数据的完整程度是否达到设定值,归档文件包含的目标数据的完整程度达到设定值即可认为符合一致性校验。完整程度的标准可以根据需要设定。可以比较需要校验的归档文件与预设归档文件的多个参数或多个关键字,当需要校验的归档文件与预设归档文件的多个参数或多个关键字中一致的参数或关键字达到设定数量,即可认为需要校验的归档文件符合一致性校验。
在本申请的一个实施例中,如图4所示,步骤S220中归档服务器对归档文件进行一致性校验的过程,可以包括如下步骤:
步骤S410,对归档文件进行解压缩操作,得到归档文件中包含的目标数据和第一散列值;
步骤S420,将目标数据通过散列算法计算得到第二散列值;
步骤S430,判断第二散列值是否与第一散列值相同;
步骤S440,若第二散列值与第一散列值相同,则确定归档文件通过一致性校验。
在上述步骤中,由于第二散列值是由归档服务器从源服务器中获取的目标数据生成的,第二散列值与第一散列值的生成方式相同,都是通过MD5计算得到的,比较第二散列值是否与第一散列值相同,就可以校验出在源服务器中生成第一散列值的目标数据与发送成功后的目标数据是否相同,保证了通过一致性校验的归档文件的准确性。
同时,由于比较散列值比比较目标数据更加快速,并且每个目标数据对应唯一的散列值,比较散列值使提高校验效率的同时也使比较结果十分可靠。
在本申请的一个实施例中,继续参照图4,步骤S430中判断第二散列值是否与第一散列值相同后,若第二散列值与第一散列值不同,执行以下步骤:
在步骤S450中,获取归档文件的归档次数,比较归档次数与预设归档次数。
在本申请的一个实施例中,获取归档文件的归档次数具体为,归档文件每进行一次归档操作,归档文件的归档次数增加一次。其中,对于不同的归档文件分别计算归档次数,从而对于重要的归档文件可以设置更多的预设归档次数,从而保证归档的可靠性。
在步骤S460中,若归档次数大于预设归档次数,向源服务器发送停止自动归档命令,并向源服务器发送管理员手动归档提示。
在归档操作中可以在检测到归档次数大于预设归档次数后,目标数据还没有归档成功时,通知源服务器不要再次执行归档的操作,通知用户手动归档,节省了源服务器和归档服务器的运算量。
在本申请的一个实施例中,如图5所示,步骤S450中预设归档次数可以通过以下步骤获得:
步骤S510,获取归档文件中包含的目标数据的数量;
步骤S520,对于每个目标数据,确定该目标数据的数据类型,根据数据类型查找预设的数据类型与最大归档次数对照表,获得数据类型的最大容忍归档次数;
步骤S530,获得目标数据中所有目标数据的最大容忍归档次数的和与目标数据的数量的比值;
步骤S540,将该比值进行取整运算得到归档文件的预设归档次数。
目标数据的每一种类型,都对应一个最大容忍归档次数的,每种目标数据类型的最大容忍归档次数根据需要设定。例如,用户身份信息非常重要,可能需要尝试多次(如10次)后失败才放弃;但文档中的格式段非常不重要,传送较少次(如2次)失败后就可以放弃。但归档文件中的目标数据往往是不能分开传的,这时就需要根据归档文件中每个部分的重要性,看其对应的最大容纳归档次数,最后计算出作为一个整体,平均能够忍耐的归档次数作为预设归档次数。
在本申请的一个实施例中,每种数据类型的最大容忍归档次数可以根据以往的目标数据的归档的平均次数确定,考虑历史归档操作中的平均归档次数更加贴合使用实际,提高了目标数据归档操作的效率。
在本申请的一个实施例中,预设归档次数的计算中,需要考虑每种数据类型的最大容忍归档次数的权重,权重可以根据需要设定,权重也可以根据历史数据确定。
在本申请的一个实施例中,如图6所示,步骤S450中预设归档次数可以通过以下步骤获得:
步骤S610,检测源服务器与归档服务器的当前网络通信状态;
步骤S620,查找预设的源服务器与归档服务器的当前网络通信状态与预设归档次数对照表,获得与该当前网络通信状态匹配的预设归档次数。
在本申请的一个实施例中,可以根据源服务器与归档服务器的当前网络通信状态确定适合的预设归档次数,确定方式可以为当前网络通信状态越好,预设归档次数越小;当前网络通信状态越差,预设归档次数越大。减小了网络因素对目标数据归档的干扰,使目标数据归档更加可靠。
在本申请的一个实施例中,如图7所示,步骤S450中预设归档次数可以通过以下步骤获得:
步骤S710,检测源服务器与归档服务器的当前网络通信状态;
步骤S720,若当前网络通信状态为通信断开,向源服务器发送管理员手动归档提示。
当前网络通信状态为通信断开时,归档服务器不能从源服务器中获得归档文件,此时直接提示用户手动归档,节省了源服务器和归档服务器的运算量。
继续参照图2所示,在步骤S230中,当归档文件通过一致性校验时,将归档文件中包含的目标数据存储至归档服务器的存储空间,并向源服务器发送删除通知,删除通知指示源服务器删除归档文件包含的目标数据。
在本申请的一个实施例中,归档文件中的目标数据按照设定的优先级依次进行存储,优先级可以与目标数据的类型有关。目标数据可以进行加密后再存储,提高目标数据归档的安全性。目标数据可以进行特征提取后将特征进行存储,或者目标数据可以压缩后存储,减少目标数据占用的归档服务器的空间。
在本申请的一个实施例中,归档文件中的目标数据按照设定类型分类存档,方便对目标数据进行再处理。
在本申请的一个实施例中,将归档文件中包含的目标数据存储至归档服务器的存储空间后,查找源服务器中要删除的目标数据,查找要删除的目标数据的使用情况,当确认目标数据不被占用时,向源服务器发送删除通知,从而避免了将用户需要使用的目标数据误删。
在本申请的一个实施例中,在将目标数据生成归档文件之前,向源服务器发送归档提示和删除通知,减少用户的操作步骤。
在本申请的一些实施例所提供的技术方案中,通过从源服务器获取归档文件,归档文件包含需要归档的目标数据;对归档文件进行一致性校验;当归档文件通过一致性校验时,将归档文件中包含的目标数据存储至归档服务器的存储空间,并向源服务器发送删除通知,删除通知指示源服务器删除归档文件包含的目标数据。由于该方案会对归档文件进行一致性校验,在确认归档文件是完整的情况下才会清理源服务器上的目标数据,从而保证了目标数据归档的可靠性。
以下介绍本申请的装置实施例,可以用于执行本申请上述实施例中的目标数据归档方法。对于本申请装置实施例中未披露的细节,请参照本申请上述的目标数据归档方法的实施例。
图8示意性示出了根据本申请的一个实施例的目标数据归档装置的框图。
参照图8所示,根据本申请的一个实施例的目标数据归档装置800,包括:获取模块801、校验模块802、存储模块803和通知模块804。
其中,获取模块801用于从源服务器获取归档文件,归档文件包含需要归档的目标数据;校验模块802用于对归档文件进行一致性校验;存储模块803用于当归档文件通过一致性校验时,将归档文件中包含的目标数据存储至归档服务器的存储空间;通知模块804用于向源服务器发送删除通知,删除通知指示源服务器删除归档文件包含的目标数据。
在本申请的一些实施例中,基于前述方案,获取模块801配置为:获取源服务器中需要归档的目标数据,将目标数据通过散列算法计算得到第一散列值;将目标数据和第一散列值对应存储后压缩作为归档文件。
在本申请的一些实施例中,基于前述方案,校验模块802配置为:对归档文件进行解压缩操作,得到归档文件中包含的目标数据和第一散列值;将目标数据通过散列算法计算得到第二散列值;判断第二散列值是否与第一散列值相同;若第二散列值与第一散列值相同,则确定归档文件通过一致性校验。
在本申请的一些实施例中,基于前述方案,校验模块802配置为:若第二散列值与第一散列值不同,则获取归档文件的归档次数,比较归档次数与预设归档次数;若归档次数大于预设归档次数,向源服务器发送停止自动归档命令,并向源服务器发送管理员手动归档提示。
在本申请的一些实施例中,基于前述方案,校验模块802配置为:获取归档文件中包含的目标数据的数量;对于每个目标数据,确定该目标数据的数据类型,根据数据类型查找预设的数据类型与最大归档次数对照表,获得数据类型的最大容忍归档次数;获得目标数据中所有目标数据的最大容忍归档次数的和与目标数据的数量的比值;将该比值进行取整运算得到归档文件的预设归档次数。
在本申请的一些实施例中,基于前述方案,校验模块802还配置为:检测源服务器与归档服务器的当前网络通信状态;查找预设的源服务器与归档服务器的当前网络通信状态与预设归档次数对照表,获得与该当前网络通信状态匹配的预设归档次数。
在本申请的一些实施例中,基于前述方案,校验模块802还配置为:在检测源服务器与归档服务器的当前网络通信状态后,若当前网络通信状态为通信断开,向源服务器发送管理员手动归档提示。
所属技术领域的技术人员能够理解,本发明的各个方面可以实现为系统、方法或程序产品。因此,本发明的各个方面可以具体实现为以下形式,即:完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等),或硬件和软件方面结合的实施方式,这里可以统称为“电路”、“模块”或“系统”。
下面参照图9来描述根据本发明的这种实施方式的计算机设备90。图9显示的计算机设备90仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图9所示,计算机设备90以通用计算设备的形式表现。计算机设备90的组件可以包括但不限于:上述至少一个处理单元91、上述至少一个存储单元92、连接不同系统组件(包括存储单元92和处理单元91)的总线93、显示单元94。
其中,所述存储单元存储有程序代码,所述程序代码可以被所述处理单元91执行,使得所述处理单元91执行本说明书上述“实施例方法”部分中描述的根据本发明各种示例性实施方式的步骤。
存储单元92可以包括易失性存储单元形式的可读介质,例如随机存取存储单元(RAM)921和/或高速缓存存储单元922,还可以进一步包括只读存储单元(ROM)923。
存储单元92还可以包括具有一组(至少一个)程序模块925的程序/实用工具924,这样的程序模块925包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线93可以为表示几类总线结构中的一种或多种,包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
计算机设备90也可以与一个或多个外部设备(例如键盘、指向设备、蓝牙设备等)通信,还可与一个或者多个使得用户能与该计算机设备90交互的设备通信,和/或与使得该计算机设备90能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口95进行。并且,计算机设备90还可以通过网络适配器96与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器96通过总线93与计算机设备90的其它模块通信。应当明白,尽管图中未示出,可以结合计算机设备90使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本公开实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。
根据本公开一个实施例,还提供了一种计算机可读存储介质,其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中,本发明的各个方面还可以实现为一种程序产品的形式,其包括程序代码,当所述程序产品在终端设备上运行时,所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。
参考图10所示,描述了根据本发明的实施方式的用于实现上述方法的程序产品100,其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码,并可以在终端设备,例如个人电脑上运行。然而,本发明的程序产品不限于此,在本文件中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
本领域技术人员在考虑说明书及实践这里申请的发明后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未申请的本技术领域中的公知常识或惯用技术手段。
应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (8)

1.一种目标数据归档方法,其特征在于,包括:
从源服务器获取归档文件,所述归档文件包含需要归档的目标数据;
对所述归档文件进行一致性校验;
获取所述归档文件中包含的所述目标数据的数量;
对于每个目标数据,确定该目标数据的数据类型,根据所述数据类型查找预设的所述数据类型与最大归档次数对照表,获得所述数据类型的最大容忍归档次数;
获得所述目标数据中所有目标数据的最大容忍归档次数的和与所述目标数据的数量的比值;
将该比值进行取整运算得到所述归档文件的预设归档次数;
获取所述归档文件的归档次数,比较所述归档次数与所述预设归档次数;
若所述归档次数大于所述预设归档次数,向所述源服务器发送停止自动归档命令,并向所述源服务器发送管理员手动归档提示;
当所述归档文件通过一致性校验时,将所述归档文件中包含的目标数据存储至归档服务器的存储空间,并向源服务器发送删除通知,所述删除通知指示所述源服务器删除所述归档文件包含的目标数据。
2.根据权利要求1所述的目标数据归档方法,其特征在于,所述从源服务器获取归档文件包括:
获取所述源服务器中需要归档的目标数据,将所述目标数据通过散列算法计算得到第一散列值;
将所述目标数据和所述第一散列值对应存储后压缩作为所述归档文件。
3.根据权利要求2所述的目标数据归档方法,其特征在于,所述对所述归档文件进行一致性校验包括:
对所述归档文件进行解压缩操作,得到所述归档文件中包含的所述目标数据和所述第一散列值;
将所述目标数据通过所述散列算法计算得到第二散列值;
判断所述第二散列值是否与所述第一散列值相同;
若所述第二散列值与所述第一散列值相同,则确定所述归档文件通过一致性校验。
4.根据权利要求1所述的目标数据归档方法,其特征在于,在比较所述归档次数与预设归档次数之前,所述方法还包括:
检测源服务器与归档服务器的当前网络通信状态;
查找预设的所述源服务器与归档服务器的当前网络通信状态与预设归档次数对照表,获得与该当前网络通信状态匹配的预设归档次数。
5.根据权利要求4所述的目标数据归档方法,其特征在于,在所述检测源服务器与归档服务器的当前网络通信状态后,
若所述当前网络通信状态为通信断开,向源服务器发送管理员手动归档提示。
6.一种目标数据归档装置,其特征在于,包括:
获取模块,用于从源服务器获取归档文件,所述归档文件包含需要归档的目标数据;
校验模块,用于对所述归档文件进行一致性校验;获取所述归档文件中包含的所述目标数据的数量;对于每个目标数据,确定该目标数据的数据类型,根据所述数据类型查找预设的所述数据类型与最大归档次数对照表,获得所述数据类型的最大容忍归档次数;获得所述目标数据中所有目标数据的最大容忍归档次数的和与所述目标数据的数量的比值;将该比值进行取整运算得到所述归档文件的预设归档次数;获取所述归档文件的归档次数,比较所述归档次数与所述预设归档次数;若所述归档次数大于所述预设归档次数,向所述源服务器发送停止自动归档命令,并向所述源服务器发送管理员手动归档提示;
存储模块,用于当所述归档文件通过一致性校验时,将所述归档文件中包含的目标数据存储至归档服务器的存储空间;
通知模块,用于向源服务器发送删除通知,所述删除通知指示所述源服务器删除所述归档文件包含的目标数据。
7.一种计算机设备,其特征在于,包括:
存储器,存储有计算机可读指令;
处理器,读取存储器存储的计算机可读指令,以执行权利要求1-5中的任一项所述的目标数据归档方法。
8.一种计算机程序介质,其上存储有计算机可读指令,当所述计算机可读指令被计算机的处理器执行时,使计算机执行权利要求1-5中的任一项所述的目标数据归档方法。
CN201910878006.1A 2019-09-17 2019-09-17 目标数据归档方法、装置、计算机设备及介质 Active CN110716895B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910878006.1A CN110716895B (zh) 2019-09-17 2019-09-17 目标数据归档方法、装置、计算机设备及介质
PCT/CN2019/117673 WO2021051563A1 (zh) 2019-09-17 2019-11-12 目标数据归档方法、装置、电子设备及计算机非易失性可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910878006.1A CN110716895B (zh) 2019-09-17 2019-09-17 目标数据归档方法、装置、计算机设备及介质

Publications (2)

Publication Number Publication Date
CN110716895A CN110716895A (zh) 2020-01-21
CN110716895B true CN110716895B (zh) 2023-05-26

Family

ID=69209904

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910878006.1A Active CN110716895B (zh) 2019-09-17 2019-09-17 目标数据归档方法、装置、计算机设备及介质

Country Status (2)

Country Link
CN (1) CN110716895B (zh)
WO (1) WO2021051563A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111538699A (zh) * 2020-03-31 2020-08-14 首钢京唐钢铁联合有限责任公司 一种数据归档方法及装置
CN111611211A (zh) * 2020-04-27 2020-09-01 深圳壹账通智能科技有限公司 文件导入归档方法、电子设备及存储介质
CN113742786B (zh) * 2020-05-29 2024-02-20 北京金山云网络技术有限公司 区块链中归档数据校验方法及装置
CN111784115A (zh) * 2020-06-09 2020-10-16 岭东核电有限公司 核电站化学品信息管理方法、系统、设备及存储介质
CN112148687A (zh) * 2020-09-27 2020-12-29 上海七牛信息技术有限公司 一种对象存储中文件删除或归档的方法以及系统
CN112181945B (zh) * 2020-09-28 2023-11-21 中国平安人寿保险股份有限公司 数据归档处理方法、装置、计算机设备及存储介质
CN112540733A (zh) * 2020-12-23 2021-03-23 华录光存储研究院(大连)有限公司 一种数据管理方法、装置、电子设备及存储介质
CN112632009A (zh) * 2020-12-29 2021-04-09 航天信息股份有限公司 电子档案的处理方法、装置、存储介质及电子设备
CN113296699A (zh) * 2021-03-30 2021-08-24 阿里巴巴新加坡控股有限公司 数据处理方法及装置
CN113194026A (zh) * 2021-04-20 2021-07-30 北京异乡旅行网络科技有限公司 消息处理方法及装置
CN113220635B (zh) * 2021-05-11 2022-02-15 深圳市星火数控技术有限公司 文件归档方法、装置、设备与计算机可读存储介质
CN113703863B (zh) * 2021-07-30 2023-12-22 济南浪潮数据技术有限公司 一种集群信息归档方法、系统、存储介质及设备
CN113360456B (zh) * 2021-08-11 2021-10-29 腾讯科技(深圳)有限公司 数据归档方法、装置、设备以及存储介质
CN113778956A (zh) * 2021-09-15 2021-12-10 京东科技信息技术有限公司 资源处理方法、装置、电子设备和计算机可读介质
CN116257488B (zh) * 2023-02-21 2023-08-25 深圳市勘察测绘院(集团)有限公司 岩土工程勘察大数据归档方法、装置、电子设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007235771A (ja) * 2006-03-03 2007-09-13 Murata Mach Ltd 通信端末装置と通信方法及び通信プログラム
CN101271471A (zh) * 2003-09-15 2008-09-24 Ab开元软件公司 数据处理方法、软件和数据处理系统
CN107423436A (zh) * 2017-08-04 2017-12-01 郑州云海信息技术有限公司 一种用于不同类型数据库间在线数据迁移的方法
CN109634912A (zh) * 2018-12-10 2019-04-16 苏州思必驰信息科技有限公司 数据迁移方法及系统
CN109710614A (zh) * 2018-12-28 2019-05-03 深圳市同行者科技有限公司 一种实时数据存储与查询的方法及装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7082447B2 (en) * 2004-06-16 2006-07-25 Hitachi, Ltd. Method and apparatus for archive data validation in an archive system
CN102034049B (zh) * 2010-12-30 2013-05-01 华中科技大学 海量数据压缩加密存储及检索系统及其使用方法
CN107423426B (zh) * 2017-08-02 2020-06-02 众安信息技术服务有限公司 一种区块链块数据的数据归档方法及电子设备
CN109857723B (zh) * 2019-01-31 2021-11-05 深圳市迷你玩科技有限公司 基于可扩容数据库集群的动态数据迁移方法及相关设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101271471A (zh) * 2003-09-15 2008-09-24 Ab开元软件公司 数据处理方法、软件和数据处理系统
JP2007235771A (ja) * 2006-03-03 2007-09-13 Murata Mach Ltd 通信端末装置と通信方法及び通信プログラム
CN107423436A (zh) * 2017-08-04 2017-12-01 郑州云海信息技术有限公司 一种用于不同类型数据库间在线数据迁移的方法
CN109634912A (zh) * 2018-12-10 2019-04-16 苏州思必驰信息科技有限公司 数据迁移方法及系统
CN109710614A (zh) * 2018-12-28 2019-05-03 深圳市同行者科技有限公司 一种实时数据存储与查询的方法及装置

Also Published As

Publication number Publication date
WO2021051563A1 (zh) 2021-03-25
CN110716895A (zh) 2020-01-21

Similar Documents

Publication Publication Date Title
CN110716895B (zh) 目标数据归档方法、装置、计算机设备及介质
CN111414334B (zh) 基于云技术的文件分片上传方法、装置、设备及存储介质
US8108536B1 (en) Systems and methods for determining the trustworthiness of a server in a streaming environment
CN109756568B (zh) 文件的处理方法、设备及计算机可读存储介质
CN108874825B (zh) 一种异常数据的校验方法和装置
US20160352811A1 (en) Streaming zip
US9002798B1 (en) Systems and methods for remedying corrupt backup images of host devices
CN110554930A (zh) 一种数据存储方法及相关设备
CN112948340A (zh) 数据同步方法、装置、电子设备及可读存储介质
CN111262822A (zh) 文件存储方法、装置、区块链节点和系统
CN109254956B (zh) 一种数据下载的方法、装置及电子设备
CN112131041A (zh) 用于管理数据放置的方法、设备和计算机程序产品
CN109325002B (zh) 文本文件处理方法、装置、系统、电子设备、存储介质
CN111045856A (zh) 用于管理应用系统的方法、设备和计算机程序产品
CN112882743A (zh) 一种软件升级的方法
CN110134419B (zh) 一种双面柜的系统升级方法、装置、设备及存储介质
CN109800579B (zh) 一种软件的完整性校验方法、装置及电子设备
CN115297104B (zh) 文件上传方法、装置、电子设备和存储介质
CN112866195B (zh) 敏捷数据传输方法、装置、计算机设备及存储介质
CN114172894A (zh) 数据传输方法、装置、服务器和计算机设备
CN114327969A (zh) 信息采集方法、装置、计算机设备及计算机存储介质
CN110620800A (zh) 电力二次系统跨安全区的配置数据同步处理方法和装置
CN113986296A (zh) 一种固件升级方法、装置、电子设备和存储介质
CN109600722B (zh) 短信接收验证方法及装置、电子设备、存储介质
CN108063693B (zh) 一种信息上传方法及终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant