CN112084535A - 文件完整性的校验方法及系统 - Google Patents

文件完整性的校验方法及系统 Download PDF

Info

Publication number
CN112084535A
CN112084535A CN202010864237.XA CN202010864237A CN112084535A CN 112084535 A CN112084535 A CN 112084535A CN 202010864237 A CN202010864237 A CN 202010864237A CN 112084535 A CN112084535 A CN 112084535A
Authority
CN
China
Prior art keywords
file list
transmission
zookeeper
transmission file
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010864237.XA
Other languages
English (en)
Other versions
CN112084535B (zh
Inventor
王亚林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Minglue Zhaohui Technology Co Ltd
Original Assignee
Beijing Minglue Zhaohui Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Minglue Zhaohui Technology Co Ltd filed Critical Beijing Minglue Zhaohui Technology Co Ltd
Priority to CN202010864237.XA priority Critical patent/CN112084535B/zh
Publication of CN112084535A publication Critical patent/CN112084535A/zh
Application granted granted Critical
Publication of CN112084535B publication Critical patent/CN112084535B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/64—Protecting data integrity, e.g. using checksums, certificates or signatures

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种文件完整性的校验方法及系统，所述校验方法包括：步骤S1：在多个zookeeper集群中的每一zookeeper上创建传输文件列表并对传输文件列表设置传输完成标记；步骤S2：依次获取每一zookeeper上任意一时刻的传输文件列表；步骤S3：对传输文件列表进行检验后获得该时刻尚未传输完成的文件集合。本发明实现了在使用zookeeper的树形结构进行文件完整性校验时，能够同时通过多个zookeeper进行文件完整性的校验。

Description

文件完整性的校验方法及系统
技术领域
本发明涉及一种文件完整性的校验方法及系统，具体地说，尤其涉及一种在文件传输中使用多个树形结构进行文件完整性校验的校验方法及系统。
背景技术
随着互联网的飞速发展，在流式日志文件收集与传输的场景中，日志文件应满足如下特征：
每台服务器上都会生产日志文件，且文件名各不相同，称为规则。
每台服务器每分钟都会生产日志文件，并用分钟级时间戳(yyyymmddHHMM)作为文件名的一部分。
文件收集程序负责保障传输文件满足以上特征，而文件持久化程序应负责检验其接收到的文件确实满足以上特征，即对每分钟接收到的所有文件进行校验。
ZooKeeper是一种分布式协调服务，用于管理大型主机。在分布式环境中协调和管理服务是一个复杂的过程。ZooKeeper通过其简单的架构和API解决了这个问题。ZooKeeper的优点在于，简单的分布式协调过程；同步-服务器进程之间的相互排斥和协作。此过程有助于Apache HBase进行配置管理；有序的消息；序列化-根据特定规则对数据进行编码。确保应用程序运行一致。这种方法可以在MapReduce中用来协调队列以执行运行的线程；可靠性及原子性-数据转移完全成功或完全失败，但没有事务是部分的。
ZooKeeper允许开发人员专注于核心应用程序逻辑，而不必担心应用程序的分布式特性。目前现有技术是通过在单个zookeeper上创建树形的文件列表来进行校验，ZooKeeper是通过Zab协议来保证分布式事务的最终一致性。Zab(ZooKeeper AtomicBroadcast，ZooKeeper原子广播协议)支持崩溃恢复，基于该协议，ZooKeeper实现了一种主备模式的系统架构来保持集群中各个副本之间数据一致性。但是这种方式，对于zookeeper集群的可用性依赖较高，一旦zookeeper集群出现故障，整个文件校验服务都将不可用。
树形结构是一层次的嵌套结构，一个树形结构的外层和内层有相似的结构，所以这种结构多可以递归的表示。因此，经过发明人潜心研究，开发了一种克服上述缺陷的在文件传输中使用多个树形结构进行文件完整性校验的校验方法及系统。
发明内容
针对上述问题，本发明提供一种文件完整性的校验方法，其中，所述校验方法包括：
步骤S1：在多个zookeeper集群中的每一zookeeper上创建传输文件列表并对传输文件列表设置传输完成标记；
步骤S2：依次获取每一zookeeper上任意一时刻的传输文件列表；
步骤S3：对传输文件列表进行检验后获得该时刻尚未传输完成的文件集合。
上述的校验方法，其中，所述步骤S1中包括：
步骤S11：在每一zookeeper上，将所有的规则存储于一个固定的路径下形成第一传输文件列表；
步骤S12：根据预设时间创建一个代表当前时间的时间路径并将规则拷贝至时间路径下形成第二传输文件列表；
步骤S13：从传输文件列表中提取出时间路径下的时间戳与规则，当该时间路径下所有的规则都被删除后，设置传输完成标记形成最终传输文件列表。
上述的校验方法，其中，所述步骤S2中获取最终传输文件列表。
上述的校验方法，其中，所述步骤S3中包括：
步骤S31：从每一zookeeper上的传输文件列表中提取出时间路径下的时间戳与规则形成集合；
步骤S32：排除无效集合；
步骤S33：将排除无效集合后的多个集合进行处理获得当前时刻尚未传输完成的文件集合。
上述的校验方法，其中，将排除无效集合后的多个集合通过取交集处理获得当前时刻尚未传输完成的文件集合。
本发明还提供一种文件完整性的校验系统，其中，所述校验系统包括：
标记单元，在多个zookeeper集群中的每一zookeeper上创建传输文件列表并对传输文件列表设置传输完成标记；
获取单元，依次获取每一zookeeper上任意一时刻的传输文件列表；
检验单元，对传输文件列表进行检验后获得该时刻尚未传输完成的文件集合。
上述的校验系统，其中，所述标记单元包括：
第一传输文件列表获得模块，在每一zookeeper上，将所有的规则存储于一个固定的路径下形成第一传输文件列表；
第二传输文件列表获得模块，根据预设时间创建一个代表当前时间的时间路径并将规则拷贝至时间路径下形成第二传输文件列表；
最终传输文件列表获得模块，从传输文件列表中提取出时间路径下的时间戳与规则，当该时间路径下所有的规则都被删除后，设置传输完成标记形成最终传输文件列表。
上述的校验系统，其中，所述获取单元获取最终传输文件列表。
上述的校验系统，其中，所述检验单元包括：
提取模块：从每一zookeeper上的传输文件列表中提取出时间路径下的时间戳与规则形成集合；
无效集合排除模块：排除无效集合；
结果输出模块：将排除无效集合后的多个集合进行处理获得当前时刻尚未传输完成的文件集合。
上述的校验系统，其中，结果输出模块将排除无效集合后的多个集合通过取交集处理获得当前时刻尚未传输完成的文件集合。
综上所述，本发明相对于现有技术其功效在于：本发明突破了校验服务对于单个zookeeper(简称zk)的限制，允许程序在多个zookeeper集群上标记文件，当文件传输时，在任意一个zookeeper上标记文件传输完成即可。当进行文件完整性校验时，通过整合全部zookeeper集群上的数据来进行校验。由于在任一zookeeper上标记文件完成均可以达到校验的目的，因此该方案摆脱了对于单个zookeeper集群的依赖。当某一个zookeeper出现故障导致不可用时，程序可以无缝地切换到另一个zookeeper集群标记文件，整个系统不需要停止。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所指出的结构来实现和获得。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的校验方法的流程图；
图2为图1中步骤S1的分步骤流程图；
图3为图1中步骤S3的分步骤流程图；
图4为本发明的校验系统的结构示意图。
其中，附图标记为：
标记单元：11；
第一传输文件列表获得模块：111；
第二传输文件列表获得模块：112；
最终传输文件列表获得模块：113；
获取单元：12；
检验单元：13；
提取模块：131；
无效集合排除模块：132；
结果输出模块：133。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地说明，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。另外，在附图及实施方式中所使用相同或类似标号的元件/构件是用来代表相同或类似部分。
关于本文中所使用的“第一”、“第二”、“S1”、“S2”、…等，并非特别指称次序或顺位的意思，也非用以限定本发明，其仅为了区别以相同技术用语描述的元件或操作。
关于本文中所使用的方向用语，例如：上、下、左、右、前或后等，仅是参考附图的方向。因此，使用的方向用语是用来说明并非用来限制本创作。
关于本文中所使用的“包含”、“包括”、“具有”、“含有”等等，均为开放性的用语，即意指包含但不限于。
关于本文中所使用的“及/或”，包括所述事物的任一或全部组合。
关于本文中的“多个”包括“两个”及“两个以上”；关于本文中的“多组”包括“两组”及“两组以上”。
关于本文中所使用的用语“大致”、“约”等，用以修饰任何可以微变化的数量或误差，但这些微变化或误差并不会改变其本质。一般而言，此类用语所修饰的微变化或误差的范围在部分实施例中可为20％，在部分实施例中可为10％，在部分实施例中可为5％或是其他数值。本领域技术人员应当了解，前述提及的数值可依实际需求而调整，并不以此为限。
某些用以描述本申请的用词将于下或在此说明书的别处讨论，以提供本领域技术人员在有关本申请的描述上额外的引导。
ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。
ZooKeeper的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户。
ZooKeeper包含一个简单的原语集，提供Java和C的接口。
ZooKeeper代码版本中，提供了分布式独享锁、选举、队列的接口，代码在$zookeeper_home\src\recipes。其中分布锁和队列有Java和C两个版本，选举只有Java版本。
本发明实现了在使用zookeeper的树形结构进行文件完整性校验时，能够同时通过多个zookeeper进行文件校验的技术。
ZooKeeper是以Fast Paxos算法为基础的，Paxos算法存在活锁的问题，即当有多个proposer交错提交时，有可能互相排斥导致没有一个proposer能提交成功，而FastPaxos做了一些优化，通过选举产生一个leader(领导者)，只有leader才能提交proposer，具体算法可见Fast Paxos。
ZooKeeper的基本运转流程：
1、选举Leader。
2、同步数据。
3、选举Leader过程中算法有很多，但要达到的选举标准是一致的。
4、Leader要具有最高的执行ID，类似root权限。
5、集群中大多数的机器得到响应并接受选出的leader。
请参照图1，图1为本发明的校验方法的流程图。如图1所示，本发明的文件完整性的校验方法包括：
步骤S1：在多个zookeeper集群中的每一zookeeper上创建传输文件列表并对传输文件列表设置传输完成标记。
请参照图2，图2为图1中步骤S1的分步骤流程图。如图2所示，
步骤S11：在每一zookeeper上，将所有的规则存储于一个固定的路径下形成第一传输文件列表；
步骤S12：根据预设时间创建一个代表当前时间的时间路径并将规则拷贝至时间路径下形成第二传输文件列表；
步骤S13：从传输文件列表中提取出时间路径下的时间戳与规则，当该时间路径下所有的规则都被删除后，设置传输完成标记形成最终传输文件列表。
其中，需要说明的是，在步骤S13，只有当所有某时间路径下所有的规则都被删除后才会标记完成标记，即实施例中的Done。换言之，设置完成标记就代表该时刻文件列表已经是空集了。
具体地说，系统进行校验分为两个部分：文件传输程序与文件检验程序。文件传输程序负责接收文件并将其进行持久化，例如写入磁盘。在每一zookeeper上，所有的规则存储与一个固定的路径下，形成第一传输文件列表如下：例如/terrans，其中Rule为规则。
Figure BDA0002649205620000071
每分钟会创建一个代表当前时间的路径，例如/20200607/19/23，并将/terrans下所有的规则拷贝一份到该路径下作为叶子节点，因此在/20200607/19/23路径初始化之后，会包含所有的规则，形成第二传输文件列表。此时zookeeper上的第二传输文件列表形式如下:
Figure BDA0002649205620000081
其中，需要说明的是，本发明的预设时间为分钟，即每分钟会创建一个代表当前时间的路径，仅为本发明的一较佳的实施方式，但本发明并不以此为限。
每当程序接收到一个新的文件时，程序检查文件名，从中提取出分钟级时间戳(例如202006071923与202006071924)与规则，在文件持久化完成之后，将对应时间对应规则删除，以此来标识该文件该分钟已经传输完成。例如程序接收到文件：202006071923Rule1,202006071923Rule2,202006071923Rule3202006071924Rule2,则将这四个文件对应的节点：/20200607/19/23/Rule1,/20200607/19/23/Rule2,/20200607/19/23/Rule3,/20200607/19/24/Rule2删除。
需要说明的是，上文所举例的分钟级时间戳仅为本发明的一较佳实时方式，本发明并不以此为限，在其他实施例中，设计人员可根据实际需求进行调整。
由于/19/23下所有的规则均已删除，代表该时刻所有文件都已传输完毕，因此写入传输完成标记DONE作为完成的标记，形成最终传输文件列表。此时zookeeper上的最终传输文件列表形式如下:
Figure BDA0002649205620000091
步骤S2：依次获取每一zookeeper上任意一时刻的传输文件列表，其中，所述步骤S2中获取最终传输文件列表。
步骤S3：对传输文件列表进行检验后获得该时刻尚未传输完成的文件集合。
请参照图3，图3为图1中步骤S3的分步骤流程图。如图3所示，所述步骤S3中包括：
步骤S31：从每一zookeeper上的传输文件列表中提取出时间路径下的时间戳与规则形成集合；
步骤S32：排除无效集合；
步骤S33：将排除无效集合后的多个集合进行处理获得当前时刻尚未传输完成的文件集合，其中，在本实施例中，将排除无效集合后的多个集合通过取交集处理获得当前时刻尚未传输完成的文件集合。
具体地说，文件检验负责检查zookeeper上的数据，并报告当前尚未接收到的文件。在上例中，/20200607/19/23已经设置完成标记DONE，/20200607/19/24下有Rule1,Rule3两个规则，因此在当前时刻，传输完成的文件为：202006071923Rule1,202006071923Rule2，202006071923Rule3，202006071924Rule2；尚未传输的文件为：202006071924Rule1,202006071924Rule3。
当使用多个zookeeper进行校验时，每个zookeeper上都会有一个/terrans路径，且包含的规则列表完全相同。文件传输程序每分钟会尝试在每个zookeeper集群上初始化/yyyymmdd/HH/MM路径并将/terrans下的规则拷贝一份至该路径下。当其中一个zookeeper不可用时，该zookeeper初始化失败，不会生成/yyyymmdd/HH/MM路径。假设有两个zookeeper集群，初始化之后的zookeeper数据如下:
Figure BDA0002649205620000101
Figure BDA0002649205620000111
Figure BDA0002649205620000121
文件传输程序接收到文件：202006071923Rule1,202006071923Rule3，202006071924Rule1,会尝试在两个zk上分别删除对应的节点。为了保证完整性信息不丢失，传输程序应至少在一个zk上删除对应的节点。如果一切顺利，两个zk上的节点都会被删除。假如删除202006071923Rule1时zk2不可用，删除202006071923Rule3时zk1不可用，则对应节点删除失败，此时zk的数据应该如下:
Figure BDA0002649205620000122
Figure BDA0002649205620000131
此时文件校验程序进行校验，观察zk上的数据，发现：/20200607/19/23时刻在zk1上有Rule2,Rule3,在zk2上有Rule1,Rule2，此时其应该对两个集合取交集，得出当前尚未传输的文件列表Rule2。因此在当前时刻，传输完成的文件为：202006071923Rule1,202006071923Rule3,202006071924Rule1；尚未传输的文件为：202006071924Rule2,202006071924Rule3。
其中，需要说明的是，考虑到在某时刻路径初始化期间zk也可能会出现故障，最终造成只有/yyyymmdd/HH/MM路径，而没有所有规则节点的情况，将这类数据称为空路径。空路径与完成的路径都没有子节点，唯一的不同点在于完成的路径会有DONE标记。如果在对所有zk上的集合取交集时，其中包含了空路径，则最终结果一定为空集合，程序将得出该时刻全部文件传输完毕的错误结论。因此在合并各zk的集合时，应将空路径排除。
因此，在步骤S32中认定某个集合是无效集合的条件有两个，一是没有设置done标记，二是集合是空集。因为对于非空的集合，说明其初始化是成功的，但没有收到所有的规则，此时肯定不会设置done标记的。
由此，本发明在校验多个zk上的文件完整性时，应遵循如下规则:
1.依次取各个zk上某时刻的文件列表F1,F2...Fn；
2.对于Fi为空集合时，检查其zk节点上是否有DONE标识，如果没有，则认定Fi为无效集合，将其排除；
3.依次将排除了无效集合的各个集合取交集:F1交F2...交Fn,所得的结果即为当前时刻尚未传输完成的文件的集合。
请参照图4，图4为本发明的校验系统的结构示意图。如图4所示，本发明的一种文件完整性的校验系统包括：标记单元11、获取单元12及检验单元13；标记单元11在多个zookeeper集群中的每一zookeeper上创建传输文件列表并对传输文件列表设置传输完成标记；获取单元12依次获取每一zookeeper上任意一时刻的传输文件列表；检验单元13对传输文件列表进行检验后获得该时刻尚未传输完成的文件集合。
进一步地，所述标记单元11包括：第一传输文件列表获得模块111、第二传输文件列表获得模块112及最终传输文件列表获得模块113；第一传输文件列表获得模块111在每一zookeeper上，将所有的规则存储于一个固定的路径下形成第一传输文件列表；第二传输文件列表获得模块112根据预设时间创建一个代表当前时间的时间路径并将规则拷贝至时间路径下形成第二传输文件列表；最终传输文件列表获得模块113从传输文件列表中提取出时间路径下的时间戳与规则，当该时间路径下所有的规则都被删除后，设置传输完成标记形成最终传输文件列表。
其中，所述获取单元12获取每一zookeeper上任意一时刻的最终传输文件列表。
更进一步地，所述检验单元13包括：提取模块131、无效集合排除模块132及结果输出模块133；提取模块131从每一zookeeper上的传输文件列表中提取出时间路径下的时间戳与规则形成集合；无效集合排除模块132排除无效集合；结果输出模块133将排除无效集合后的多个集合进行处理获得当前时刻尚未传输完成的文件集合。
其中，结果输出模块133将排除无效集合后的多个集合通过取交集处理获得当前时刻尚未传输完成的文件集合。
具体地说，提取模块131依次取各个zk上某时刻的最终传输文件列表F1,F2...Fn；对于Fi为空集合时，无效集合排除模块132检查其zk节点上是否有DONE标识，如果没有，则认定Fi为无效集合，将其排除；结果输出模块133依次将排除了无效集合的各个集合取交集:F1交F2...交Fn,所得的结果即为当前时刻尚未传输完成的文件的集合。
综上所述，本发明允许程序在多个zookeeper集群上标记文件，当文件传输时，在任意一个zookeeper上标记文件传输完成即可。当通过本发明进行文件完整性校验时，通过整合全部zookeeper集群上的数据来进行校验。由于在任一zookeeper上标记文件完成均可以达到校验的目的，因此该方案摆脱了对于单个zookeeper集群的依赖。当某一个zookeeper出现故障导致不可用时，程序可以无缝地切换到另一个zookeeper集群标记文件，整个系统不需要停止。
尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种文件完整性的校验方法，其特征在于，所述校验方法包括：
步骤S1：在多个zookeeper集群中的每一zookeeper上创建传输文件列表并对传输文件列表设置传输完成标记；
步骤S2：依次获取每一zookeeper上任意一时刻的传输文件列表；
步骤S3：对传输文件列表进行检验后获得该时刻尚未传输完成的文件集合。
2.如权利要求1所述的校验方法，其特征在于，所述步骤S1中包括：
步骤S11：在每一zookeeper上，将所有的规则存储于一个固定的路径下形成第一传输文件列表；
步骤S12：根据预设时间创建一个代表当前时间的时间路径并将规则拷贝至时间路径下形成第二传输文件列表；
步骤S13：从传输文件列表中提取出时间路径下的时间戳与规则，当该时间路径下所有的规则都被删除后，设置传输完成标记形成最终传输文件列表。
3.如权利要求2所述的校验方法，其特征在于，所述步骤S2中获取最终传输文件列表。
4.如权利要求3所述的校验方法，其特征在于，所述步骤S3中包括：
步骤S31：从每一zookeeper上的传输文件列表中提取出时间路径下的时间戳与规则形成集合；
步骤S32：排除无效集合；
步骤S33：将排除无效集合后的多个集合进行处理获得当前时刻尚未传输完成的文件集合。
5.如权利要求4所述的校验方法，其特征在于，将排除无效集合后的多个集合通过取交集处理获得当前时刻尚未传输完成的文件集合。
6.一种文件完整性的校验系统，其特征在于，所述校验系统包括：
标记单元，在多个zookeeper集群中的每一zookeeper上创建传输文件列表并对传输文件列表设置传输完成标记；
获取单元，依次获取每一zookeeper上任意一时刻的传输文件列表；
检验单元，对传输文件列表进行检验后获得该时刻尚未传输完成的文件集合。
7.如权利要求6所述的校验系统，其特征在于，所述标记单元包括：
第一传输文件列表获得模块，在每一zookeeper上，将所有的规则存储于一个固定的路径下形成第一传输文件列表；
第二传输文件列表获得模块，根据预设时间创建一个代表当前时间的时间路径并将规则拷贝至时间路径下形成第二传输文件列表；
最终传输文件列表获得模块，从传输文件列表中提取出时间路径下的时间戳与规则，当该时间路径下所有的规则都被删除后，设置传输完成标记形成最终传输文件列表。
8.如权利要求7所述的校验系统，其特征在于，所述获取单元获取最终传输文件列表。
9.如权利要求8所述的校验系统，其特征在于，所述检验单元包括：
提取模块：从每一zookeeper上的传输文件列表中提取出时间路径下的时间戳与规则形成集合；
无效集合排除模块：排除无效集合；
结果输出模块：将排除无效集合后的多个集合进行处理获得当前时刻尚未传输完成的文件集合。
10.如权利要求9所述的校验系统，其特征在于，结果输出模块将排除无效集合后的多个集合通过取交集处理获得当前时刻尚未传输完成的文件集合。
CN202010864237.XA 2020-08-25 2020-08-25 文件完整性的校验方法及系统 Active CN112084535B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010864237.XA CN112084535B (zh) 2020-08-25 2020-08-25 文件完整性的校验方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010864237.XA CN112084535B (zh) 2020-08-25 2020-08-25 文件完整性的校验方法及系统

Publications (2)

Publication Number Publication Date
CN112084535A true CN112084535A (zh) 2020-12-15
CN112084535B CN112084535B (zh) 2023-12-12

Family

ID=73728596

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010864237.XA Active CN112084535B (zh) 2020-08-25 2020-08-25 文件完整性的校验方法及系统

Country Status (1)

Country Link
CN (1) CN112084535B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106547859A (zh) * 2016-10-21 2017-03-29 杭州朗和科技有限公司 一种多租户数据存储系统下的数据文件的存储方法及装置
CN109561145A (zh) * 2018-11-27 2019-04-02 泰康保险集团股份有限公司 文件处理方法、装置、电子设备及存储介质
CN109614403A (zh) * 2018-10-24 2019-04-12 北京三快在线科技有限公司 集群服务节点的数据一致性校验方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106547859A (zh) * 2016-10-21 2017-03-29 杭州朗和科技有限公司 一种多租户数据存储系统下的数据文件的存储方法及装置
CN109614403A (zh) * 2018-10-24 2019-04-12 北京三快在线科技有限公司 集群服务节点的数据一致性校验方法及装置
CN109561145A (zh) * 2018-11-27 2019-04-02 泰康保险集团股份有限公司 文件处理方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN112084535B (zh) 2023-12-12

Similar Documents

Publication Publication Date Title
US11388043B2 (en) System and method for data replication using a single master failover protocol
US11899684B2 (en) System and method for maintaining a master replica for reads and writes in a data store
US10929240B2 (en) System and method for adjusting membership of a data replication group
US10116766B2 (en) Asynchronous and idempotent distributed lock interfaces
US9411873B2 (en) System and method for splitting a replicated data partition
US10248704B2 (en) System and method for log conflict detection and resolution in a data store
US9489434B1 (en) System and method for replication log branching avoidance using post-failover rejoin
WO2019217481A1 (en) Conflict resolution for multi-master distributed databases
US10630566B1 (en) Tightly-coupled external cluster monitoring
US9553951B1 (en) Semaphores in distributed computing environments
EP4189914B1 (en) Using multiple blockchains for applying transactions to a set of persistent data objects in persistent storage systems
US11030220B2 (en) Global table management operations for multi-region replicated tables
CN114157550A (zh) 一种基于无冲突事务合并的联盟区块链系统
EP3794458B1 (en) System and method for a distributed database
US10191959B1 (en) Versioned read-only snapshots of shared state in distributed computing environments
CN112084535B (zh) 文件完整性的校验方法及系统
US10754710B1 (en) Transactional watch mechanism
Kobyliński et al. Helenos: A realistic benchmark for distributed transactional memory
Poveda SDKV: A Smart and Distributed Key-Value Store for the Edge-Cloud Continuum

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant