CN106874270B - 一种数据一致性认证的方法和装置 - Google Patents
一种数据一致性认证的方法和装置 Download PDFInfo
- Publication number
- CN106874270B CN106874270B CN201510915428.3A CN201510915428A CN106874270B CN 106874270 B CN106874270 B CN 106874270B CN 201510915428 A CN201510915428 A CN 201510915428A CN 106874270 B CN106874270 B CN 106874270B
- Authority
- CN
- China
- Prior art keywords
- data
- distributed system
- verification code
- keyword
- data set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
- G06F16/273—Asynchronous replication or reconciliation
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Storage Device Security (AREA)
Abstract
本发明公开了一种数据一致性认证的方法,采用加密算法分别加密所述第一分布式系统和所述第二分布式系统中所述认证数据对象的所有数据集合,获取生成的第一验证码和第二验证码;对比所述第一验证码和所述第二验证码,确定所述认证数据对象的一致性。本发明还公开了一种数据一致性认证的装置。
Description
技术领域
本发明涉及信息安全技术领域,尤其涉及一种数据一致性认证的方法和装置。
背景技术
目前,分布式系统间数据认证的方法是:本系统通过接口调用方式获取其他分布式系统全部数据,在本系统侧进行双侧数据对比;由于每条数据有可能是一个数据集合,包含多个参数,每个参数的类型及值不一样,比对过程需要对每条数据中的每个参数分别进行比对;如果存在不一致参数,则认为该条数据在双侧存在不一致性。
由于分布式系统间存在大量数据,数据认证比对过程会严重影响事务并发程度,不能满足大量并发验证的需求;如果采用两阶段提交(2PC,Two-phase commit)协议或三阶段提交(3PC,Three-phase commit)协议,会引起网络上的通信量增大,受网络带宽限制,会使用户陷入长时间的不可忍受的等待状态;或遇到频繁的事务失败,重新启动事务太多,造成应用程序运行效率低下。并且,由于各分布式系统可能存在底层数据模型不同,导致数据存储方式不同。另外,每条数据集合包含的数据类型繁多、数据量大,分布式系统间需要对所有数据集合中的数据进行稽核,往往会由于数据格式兼容性、解析出错等问题使得系统面临性能瓶颈。
显然,现有的数据一致性认证方法采用全量数据集合比对、比对时间长、比对工作复杂、应用程序运行效率低下,是亟待解决的问题。
发明内容
有鉴于此,本发明实施例期望提供一种数据一致性认证的方法和装置,能提高数据一致性认证的效率,缩短认证时间。
为达到上述目的,本发明的技术方案是这样实现的:
本发明实施例提供了一种数据一致性认证的方法,所述方法包括:
采用加密算法分别加密第一分布式系统和第二分布式系统中需要进行一致性认证的数据对象对应的数据集合,获取生成的第一验证码和第二验证码;
对比所述第一验证码和所述第二验证码,确定所述数据对象的一致性。
上述方案中,所述方法还包括:
记录所述数据对象最后一次认证一致的时间戳;
记录所述数据对象对应的数据集合进行维护的时间戳;
所述加密算法包括:消息摘要算法5(MD5,Message Digest Algorithm 5)、三重数据加密算法(3DES,Triple Data Encryption Algorithm)。
上述方案中,所述对比所述第一验证码和所述第二验证码,确定所述认证数据对象的一致性,包括:
对比所述第一验证码和所述第二验证码是否相等;
如果所述第一验证码和所述第二验证码相等,则确定所述数据对象认证一致,并记录本次认证一致的时间戳;
如果所述第一验证码和所述第二验证码不相等,则将所述数据对象最后一次认证一致的时间戳作为过滤基准点,分别在所述第一分布式系统和所述第二分布式系统中,过滤出所述基准点及之后维护的各数据集合,并列出差异数据。
上述方案中,所述分别在所述第一分布式系统和所述第二分布式系统中,过滤出所述基准点及之后维护的各数据集合,并列出差异数据;包括:
对比所述数据对象对应的各数据集合进行维护的时间戳和所述基准点,获取所述维护时间戳在基准点及之后的所有变更数据集合;
比较所述第一分布式系统中的各所述变更数据集合的第一关键字和所述第二分布式系统中的各所述变更数据集合的第二关键字;
如果所述第一关键字和所述第二关键字不相等,则列出所述第一关键字对应的变更数据集合和所述第二关键字对应的变更数据集合,并标注新增;
如果所述第一关键字和所述第二关键字相等,则逐条对比第一分布式系统中的所述变更数据集合和第二分布式系统中的所述变更数据集合的维护时间戳,并列出维护时间戳不同的变更数据集合之间的差异数据,并标注更新;
所述关键字,包括:字段名、参数。
上述方案中,所述方法还包括:将第一分布式系统和第二分布式系统中所述对象数据最后一次认证一致的时间戳更新为所述本次认证一致的时间戳;
所述记录所述数据对象对应的数据集合进行维护的时间戳,包括:记录对所述数据对象对应的各数据集合进行新增、修改、删除的时间戳。
本发明实施例还提供了一种数据一致性认证的装置,所述装置包括:加密模块、认证模块,其中,
所述加密模块,用于采用加密算法分别加密第一分布式系统和第二分布式系统中需要进行一致性认证的数据对象对应的数据集合,获取生成的第一验证码和第二验证码;
所述认证模块,用于对比所述第一验证码和所述第二验证码,确定所述数据对象的一致性。
上述方案中,所述装置还包括:记录模块,用于记录所述数据对象最后一次认证一致的时间戳;记录所述数据对象对应的数据集合进行维护的时间戳;
所述加密算法,包括:MD5、3DES。
上述方案中,所述认证模块,具体用于:
对比所述第一验证码和所述第二验证码是否相等;
如果所述第一验证码和所述第二验证码相等,则确定所述数据对象认证一致,并记录本次认证一致的时间戳;
如果所述第一验证码和所述第二验证码不相等,则将所述数据对象最后一次认证一致的时间戳作为过滤基准点,分别在所述第一分布式系统和所述第二分布式系统中,过滤出所述基准点及之后维护的各数据集合,并列出差异数据。
上述方案中,所述认证模块分别在所述第一分布式系统和所述第二分布式系统中,过滤出所述基准点及之后维护的各数据集合,并列出差异数据;包括:
对比所述数据对象对应的各数据集合进行维护的时间戳和所述基准点,获取所述维护时间戳在基准点及之后的所有变更数据集合;
比较所述第一分布式系统中的各所述变更数据集合的第一关键字和所述第二分布式系统中的各所述变更数据集合的第二关键字;
如果所述第一关键字和所述第二关键字不相等,则列出所述第一关键字对应的变更数据集合和所述第二关键字对应的变更数据集合,并标注新增;
如果所述第一关键字和所述第二关键字相等,则逐条对比第一分布式系统中的所述变更数据集合和第二分布式系统中的所述变更数据集合的维护时间戳,并列出维护时间戳不同的变更数据集合之间的差异数据,并标注更新;
所述关键字,包括:字段名、参数。
上述方案中,所述记录模块,还用于将第一分布式系统和第二分布式系统中所述对象数据最后一次认证一致的时间戳更新为所述本次认证一致的时间戳;
所述记录所述数据对象对应的数据集合进行维护的时间戳,包括:记录对所述数据对象对应的各数据集合进行新增、修改、删除的时间戳。
本发明实施例所提供的数据一致性认证的方法和装置,采用加密算法分别加密第一分布式系统和第二分布式系统中需要进行一致性认证的数据对象对应的数据集合,获取生成的第一验证码和第二验证码;对比所述第一验证码和所述第二验证码,确定所述数据对象的一致性。进一步的,记录所述数据对象最后一次认证一致的时间戳;列出最后一次认证一致的时间戳同时和之后进行维护的数据集合的差异数据。如此,将数据集合加密生成校验码,仅通过比较时间戳和校验码的方式代替繁重的比对工作,最终使得数据一致性认证更具高效性,不仅比对操作简单方便、能缩短认证时间,并且更具安全性。
附图说明
图1为本发明实施例一致性认证的方法的流程示意图;
图2为本发明实施例分布式系统间数据一致性稽核整体流程的示意图;
图3为本发明实施例针对数据集合生成校验码的步骤的流程示意图;
图4为本发明实施例双方系统比对校验码的流程示意图;
图5为本发明实施例在数据集合中过滤出变更数据的流程示意图;
图6为本发明实施例在A系统中分析展现变更数据的流程示意图;
图7为本发明实施例一致性认证的装置的组成结构示意图。
具体实施方式
本发明实施例中,采用加密算法分别加密第一分布式系统和第二分布式系统中需要进行一致性认证的数据对象对应的数据集合,获取生成的第一验证码和第二验证码;对比所述第一验证码和所述第二验证码,确定所述数据对象的一致性;
进一步的,记录所述数据对象最后一次认证一致的时间戳;列出最后一次认证一致的时间戳同时和之后进行维护的的数据集合的差异数据。
下面结合实施例对本发明再作进一步详细的说明。
本发明实施例提供的数据一致性认证的方法,如图1所示,包括:
步骤101:采用加密算法分别加密第一分布式系统和第二分布式系统中需要进行一致性认证的数据对象对应的数据集合,获取生成的第一验证码和第二验证码;
通常,分布式系统中有多个数据对象,一个数据对象会对应多个数据集合,数据认证通常是对某一个数据对象进行认证,认证两个分布式系统中某个数据对象对应的全部数据集合是否一致。这里,第一分布式系统和所述第二分布式系统使用加密算法,分别对自身系统中需要进行认证的数据对象的全部数据集合进行加密,分别生成唯一的验证码:第一验证码、第二验证码;所述加密算法包括:MD5、3DES;这里可以采用32位MD5加密算法进行加密;
实际应用中,所述第一分布式系统可以是应用系统,所述第二分布式系统可以是认证系统;可以由所述第一分布式系统发起分布式系统间数据一致性稽核任务;第一分布式系统和所述第二分布式系统约定需要进行一致性认证的数据对象,两个系统分别对自身系统中需要进行认证的数据对象的全部数据集合进行加密,分别生成唯一的验证码:第一验证码和第二验证码;所述第二验证码可以由所述第二分布式系统发送到所述第一分布式系统进行下一步处理。
本发明实施例提供的方法还包括:记录所述数据对象最后一次认证一致的时间戳;记录所述数据对象对应的数据集合进行维护的时间戳。对分布式系统的所有数据集合做维护时都需要记录维护时间,所述数据集合的维护,包括:对数据集合进行新增、修改、删除等操作。同时,记录第一分布式系统和第二分布式系统中所述数据对象最后一次认证一致的时间戳。其中,所述第一分布式系统和第二分布式系统可以包括多个数据对象,所述数据对象可以包括多个数据集合。
步骤102:对比所述第一验证码和所述第二验证码,确定所述数据对象的一致性;
这里,对比所述第一验证码和所述第二验证码是否相等;如果所述第一验证码和所述第二验证码相等,则表明所述第一分布式系统中进行认证的数据对象的全部数据集合和所述第二分布式系统中进行认证的数据对象的全部数据集合一致,如此,确定所述数据对象的一致性认证结果为数据一致,同时,记录本次数据认证一致时间戳;并将第一分布式系统和第二分布式系统中所述数据对象最后一次认证一致的时间戳更新为所述本次数据认证一致的时间戳;
如果所述第一验证码和所述第二验证码不相等,将所述数据对象最后一次认证一致的时间戳作为过滤基准点,分别在所述第一分布式系统和所述第二分布式系统中,过滤出所述基准点及之后维护的各数据集合,并列出差异数据;
具体的,首先,检索出双方系统在进行数据一致性稽核任务中所述数据对象最后一次认证一致的时间戳;然后,所述第一分布式系统和第二分布式系统遍历自身系统中所述数据对象对应的每条数据集合最后一次变更的时间戳;最后,将所述数据对象最后一次认证一致的时间戳作为过滤基准点,对比所述数据对象对应的各数据集合进行维护的时间戳和所述基准点,获取所述维护时间戳在基准点及之后的所有变更数据集合;
实际应用中,所述对比验证码可以在所述第一分布式系统中进行,所述第一分布式系统过滤出所述第一分布式系统中维护时间在所述基准点及之后的数据集合;并由所述第一分布式系统将所述数据对象最后一次认证一致的时间戳发送给所述第二分布式系统,由所述第二分布式系统过滤出所述第二分布式系统中维护时间在所述基准点及之后的数据集合;由于在各个时间点均有可能进行数据集合维护,因此,会滤出各个维护时间点的多组变更数据集合。
更进一步的,所述列出差异数据为列出所述第一分布式系统和所述第二分布式系统中变更数据集合的差异数据,包括:比较所述第一分布式系统中的各所述变更数据集合的第一关键字和所述第二分布式系统中的各所述变更数据集合的第二关键字;如果所述第一关键字和所述第二关键字不相等,则列出所述第一关键字对应的变更数据集合和所述第二关键字对应的变更数据集合,并标注新增;如果所述第一关键字和所述第二关键字相等,则逐条对比第一分布式系统中的所述变更数据集合和第二分布式系统中的所述变更数据集合的维护时间,并列出维护时间不同的变更数据集合中的数据差异,并标注更新;所述关键字,包括:字段名、参数;
实际应用中,可以遍历所述第一分布式系统中的所述变更数据集合,提取每条变更数据集合的第一关键字;遍历所述第二分布式系统中的所述变更数据集合,提取每条变更数据集合的第二关键字;这里,关键字可以是字段名、参数,比如:所述变更数据集合是一张表格,那么,关键字就可以是每栏的字段名。对比第一关键字和第二关键字,如果所述第一关键字和第二关键字不同,则在数据一致性稽核任务的执行结果列表中分别展现所述第一关键字和第二关键字对应的两条数据集合,并标注为新增。如果所述第一关键字和第二关键字相同,则对比两条变更数据集合的维护时间,如果维护时间不同,则比对的所述两条变更数据集合中数据差异项,并标注为更新。对于所述第一关键字和第二关键字相同,维护时间也相同的变更数据集合不做其他处理。
所述列出的差异数据结合和差异数据可以由维护人员来做进一步处理。
下面结合具体示例对本发明产生的积极效果作进一步详细的描述。
本发明示例采用MD5加密算法对分布式系统中的全体数据集合进行加密,分布式系统中创建、删除、变更的数据集合均要记录时间,分布式系统通过接口调用方式获取到针对全体数据集合生成的MD5码;并且,在生成MD5码时记录一个时间戳,分布式系统对双方的MD5码进行比对,对MD5码不一致的数据集合通过时间戳过滤出变化的数据,并通过调用接口获取变化的数据保存于本地系统,保证分布式系统间数据一致性,结合附图具体说明如下。
分布式系统间数据一致性稽核整体流程,如图2所示,包括:
步骤201:开始分布式系统间数据一致性稽核任务;
步骤202:针对数据集合A系统和B系统分别生成各自的校验码;
本步骤中,当A系统向B系统发起数据一致性稽核信号时,A系统和B系统针对约定的数据对象,如:某种业务部门的组织机构,分别对各自系统中该数据对象的所有数据集合进行加密;每个数据集合包括多个参数,如:一个业务部门的组织机构是一个数据集合,该数据集合包括:标识(ID,Identity)、父级ID、及名称。本发明示例使用32位MD5加密算法对全部数据集合进行加密,各自生成唯一的验证码;A系统生成校验码为a,B系统生成校验码为b;
步骤203:B系统将生成的MD5校验码b发送给A系统,A系统对校验码a和校验b进行比对;
步骤204:A系统将步骤203中校验码比对的结果返回给B系统,B系统根据校验码的比对结果自动过滤出变更数据并发送至A系统;
步骤205:A系统将步骤204中B系统发送来的变更数据进行解析,A系统对每个数据集合进行拆分,根据每条数据集合记录的时间戳进行A、B系统间的数据比对,并以列表形式区分展现A系统和B系统的差异项;
步骤206:结束分布式系统间数据一致性稽核任务。
图3为针对上述分布式系统间数据一致性稽核整体流程中步骤202的详细描述,如图3所示,生成校验码的过程包括:
步骤301:A系统向B系统发送双侧数据进行一致性稽核的请求;
步骤302:A系统针对约定的数据对象的所有数据集合进行加密,所述约定的数据对象可以是某种业务部门的组织机构;每个数据集合包括多个参数,如一个业务部门的组织机构是一个数据集合,该数据集合包括:ID、父级ID、及名称;
本发明实施例使用32位MD5加密算法对全部数据集合进行加密,生成唯一的验证码,假设A系统生成校验码为a;
步骤303:A系统在对全部数据集合加密生成校验码a时记录时间戳timA1;
步骤304:B系统接收到数据一致性稽核通知;
步骤305:B系统针对约定的数据对象的所有数据集合进行加密,所述约定的数据对象可以是某种业务部门的组织机构;每个数据集合包括多个参数,如:一个业务部门的组织机构是一个数据集合,该数据集合包括ID、父级ID、及名称;
本发明实施例使用32位MD5加密算法对全部数据集合进行加密,生成唯一的验证码,假设B系统生成校验码为b;
步骤306:B系统在对全部数据集合加密生成校验码b时记录时间戳timB1;
步骤307:B系统将生成的校验码b发送至A系统。
这里,步骤301和步骤304为并发进行,A系统和B系统可以同时进行加密,生成校验码和记录时间戳。
图4为针对上述分布式系统间数据一致性稽核整体流程中步骤203的详细描述,如图4所示,双方系统比对校验码的流程包括:
步骤401:A系统接收到从B系统发送来的校验码b;
步骤402:A系统针对A系统生成的校验码a和B系统发送来的校验码b进行比对;
步骤403:比对校验码a和b的值,如果a=b,也即双方通过MD5算法对各自系统中的全部数据集合生成的校验码相同,则转到步骤404;如果a≠b,也即双方生成的校验码不相同,则转到步骤406;
步骤404:A系统记录本次比对结果为“数据一致”;
步骤405:A系统针对数据比对一致记录时间戳SameTim;结束本次处理流程;
步骤406:A系统记录本次比对结果为“数据不一致”;
步骤407:A系统针对数据比对不一致记录时间戳DiffTim;
步骤408:A系统检索出双方系统在进行数据一致性稽核任务中最后一次比对结果为“数据一致”的时间戳SameTim;
步骤409:A系统遍历自身系统中每条数据集合最后一次变更的时间戳timA;
步骤410:比对每条数据集合最后一次变更时间戳timA和SameTim。如果SameTim<=timA,则转到步骤411,如果SameTim>timA,则转到步骤409;
步骤411:将SameTim<=timA的数据集合加入到数据变更表TableA中;结束本次处理流程;
步骤412:A系统将最后一次比对结果为“数据一致”的时间戳SameTim发送至B系统。
这里,步骤409和步骤412可以并发进行,如此,A系统和B系统可以同步进行数据集合的过滤。
图5为针对上述分布式系统间数据一致性稽核整体流程中步骤204的详细描述,如图5所示,数据集合中过滤出变更数据的流程包括:
步骤501:B系统接收到从A系统发送来的时间戳SameTim;
步骤502:B系统遍历自身系统中每条数据集合最后一次变更的时间戳timB;
步骤503:比对每条数据集合最后一次变更时间戳timB和SameTim,如果SameTim<=timB,则转到步骤504,如果Sametim>timB,则转到步骤502;
步骤504:将SameTim<=timB的数据集合加入到数据变更表TableB中;
步骤505:B系统对本系统中所有数据集合比对完成后生成的数据变更表TableB发送给A系统。
图6为针对上述分布式系统间数据一致性稽核整体流程中步骤205的详细描述,如图6所示,A系统中分析展现变更数据的流程包括:
步骤601:A系统接收到B系统发送的数据变更表TableB;
步骤602:A系统解析数据变更表TableB,获取到每条变更数据的关键字KeyB;
步骤603:A系统遍历自身系统生成的数据变更表TableA,获取到每条变更数据的关键字KeyA;
步骤604:比对数据变更表TableA和数据变更表TableB中的关键字KeyA和KeyB。如果KeyA≠KeyB,则转到步骤605,如果KeyA=KeyB,则转到步骤606;
步骤605:在数据一致性稽核任务的执行结果列表中分别展现关键字为KeyA和KeyB的两条数据,并标注为新增;结束本次处理流程;
步骤606:比对KeyA对应数据集合的变更时间timA和KeyB对应数据集合的变更时间timB。如果timA≠timB,则转步骤607,如果timA=timB,则转到步骤608;
步骤607:比对关键字为KeyA和KeyB的两条数据集合中参数差异项,并标注为更新;结束本次处理流程;
步骤608:不作处理。
本发明实施例提供的数据一致性认证的装置,如图7所示,包括:加密模块11、认证模块12,其中,
所述加密模块11,用于采用MD5分别加密第一分布式系统和第二分布式系统中需要进行一致性认证的数据对象对应的数据集合,获取生成的第一验证码和第二验证码;
通常,分布式系统中有多个数据对象,一个数据对象会对应多个数据集合,数据认证通常是对某一盒数据对象进行认证,认证两个分布式系统中某个数据对象对应的全部数据集合是否一致。这里,所述加密模块11使用加密算法,对第一分布式系统和所述第二分布式系统中需要进行认证的数据对象的全部数据集合进行加密,分别生成唯一的验证码:第一验证码、第二验证码;所述加密算法包括:MD5、3DES;这里可以采用32位MD5加密算法进行加密;
实际应用中,所述第一分布式系统可以是应用系统,所述第二分布式系统可以是认证系统;可以由所述第一分布式系统发起分布式系统间数据一致性稽核任务;第一分布式系统和所述第二分布式系统约定需要进行一致性认证的数据对象,两个系统分别对自身系统中需要进行认证的数据对象的全部数据集合进行加密,分别生成唯一的验证码:第一验证码和第二验证码;所述第二验证码可以由所述第二分布式系统发送到所述第一分布式系统进行下一步处理。
本发明实施例提供的装置,还包括:记录模块13,用于记录所述数据对象最后一次认证一致的时间戳;记录所述数据对象对应的数据集合进行维护的时间戳。对分布式系统的所有数据集合做维护时都需要记录维护时间,所述数据集合的维护,包括:对数据集合进行新增、修改、删除等操作。同时,记录第一分布式系统和第二分布式系统中所述数据对象最后一次认证一致的时间戳。其中,所述第一分布式系统和第二分布式系统可以包括多个数据对象,所述数据对象可以包括多个数据集合。
所述认证模块12,用于对比所述第一验证码和所述第二验证码,确定所述数据对象的一致性。
这里,对比所述第一验证码和所述第二验证码是否相等;如果所述第一验证码和所述第二验证码相等,则表明所述第一分布式系统中进行认证的数据对象的全部数据集合和所述第二分布式系统中进行认证的数据对象的全部数据集合一致,如此,确定所述数据对象的一致性认证结果为数据一致,同时,所述记录模块13记录本次数据认证一致时间戳;并将第一分布式系统和第二分布式系统中所述数据对象最后一次认证一致的时间戳更新为所述本次数据认证一致的时间戳;
如果所述第一验证码和所述第二验证码不相等,将所述数据对象最后一次认证一致的时间戳作为过滤基准点,分别在所述第一分布式系统和所述第二分布式系统中,过滤出所述基准点及之后维护的各数据集合,并列出差异数据;
具体的,首先,检索出双方系统在进行数据一致性稽核任务中所述数据对象最后一次认证一致的时间戳;然后,所述第一分布式系统和第二分布式系统遍历自身系统中所述数据对象对应的每条数据集合最后一次变更的时间戳;最后,将所述数据对象最后一次认证一致的时间戳作为过滤基准点,对比所述数据对象对应的各数据集合进行维护的时间戳和所述基准点,获取所述维护时间戳在基准点及之后的所有变更数据集合;
实际应用中,所述对比验证码可以在所述第一分布式系统中进行,所述第一分布式系统过滤出所述第一分布式系统中维护时间在所述基准点及之后的数据集合;并由所述第一分布式系统将所述数据对象最后一次认证一致的时间戳发送给所述第二分布式系统,由所述第二分布式系统过滤出所述第二分布式系统中维护时间在所述基准点及之后的数据集合;由于在各个时间点均有可能进行数据集合维护,因此,会滤出各个维护时间点的多组变更数据集合。
更进一步的,所述列出差异数据为列出所述第一分布式系统和所述第二分布式系统中变更数据集合的差异数据,包括:比较所述第一分布式系统中的各所述变更数据集合的第一关键字和所述第二分布式系统中的各所述变更数据集合的第二关键字;如果所述第一关键字和所述第二关键字不相等,则列出所述第一关键字对应的变更数据集合和所述第二关键字对应的变更数据集合,并标注新增;如果所述第一关键字和所述第二关键字相等,则逐条对比第一分布式系统中的所述变更数据集合和第二分布式系统中的所述变更数据集合的维护时间,并列出维护时间不同的变更数据集合中的数据差异,并标注更新;所述关键字,包括:字段名、参数;
实际应用中,可以遍历所述第一分布式系统中的所述变更数据集合,提取每条变更数据集合的第一关键字;遍历所述第二分布式系统中的所述变更数据集合,提取每条变更数据集合的第二关键字;这里,关键字可以是字段名、参数,比如:所述变更数据集合是一张表格,那么,关键字就可以是每栏的字段名。对比第一关键字和第二关键字,如果所述第一关键字和第二关键字不同,则在数据一致性稽核任务的执行结果列表中分别展现所述第一关键字和第二关键字对应的两条数据集合,并标注为新增。如果所述第一关键字和第二关键字相同,则对比两条变更数据集合的维护时间,如果维护时间不同,则比对的所述两条变更数据集合中数据差异项,并标注为更新。对于所述第一关键字和第二关键字相同,维护时间也相同的变更数据集合不做其他处理。
所述列出的差异数据结合和差异数据可以由维护人员来做进一步处理。
在实际应用中,所述加密模块11、认证模块12、记录模块13均可由分布式系统中的中央处理器(CPU)、微处理器(MPU)、数字信号处理器(DSP)、或现场可编程门阵列(FPGA)等实现。
以上所述,仅为本发明的佳实施例而已,并非用于限定本发明的保护范围,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (8)
1.一种数据一致性认证的方法,其特征在于,所述方法包括:
采用加密算法分别加密第一分布式系统和第二分布式系统中需要进行一致性认证的数据对象对应的全部数据集合,获取生成的第一验证码和第二验证码;
对比所述第一验证码和所述第二验证码是否相等;
如果所述第一验证码和所述第二验证码相等,则确定所述数据对象认证一致,并记录本次认证一致的时间戳;
如果所述第一验证码和所述第二验证码不相等,则将所述数据对象最后一次认证一致的时间戳作为过滤基准点,分别在所述第一分布式系统和所述第二分布式系统中,过滤出所述基准点及之后维护的各数据集合,并列出差异数据。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
记录所述数据对象最后一次认证一致的时间戳;
记录所述数据对象对应的数据集合进行维护的时间戳;
所述加密算法包括:消息摘要算法5MD5、三重数据加密算法3DES。
3.根据权利要求1所述的方法,其特征在于,所述分别在所述第一分布式系统和所述第二分布式系统中,过滤出所述基准点及之后维护的各数据集合,并列出差异数据;包括:
对比所述数据对象对应的各数据集合进行维护的时间戳和所述基准点,获取所述维护时间戳在基准点及之后的所有变更数据集合;
比较所述第一分布式系统中的各所述变更数据集合的第一关键字和所述第二分布式系统中的各所述变更数据集合的第二关键字;
如果所述第一关键字和所述第二关键字不相等,则列出所述第一关键字对应的变更数据集合和所述第二关键字对应的变更数据集合,并标注新增;
如果所述第一关键字和所述第二关键字相等,则逐条对比第一分布式系统中的所述变更数据集合和第二分布式系统中的所述变更数据集合的维护时间戳,并列出维护时间戳不同的变更数据集合之间的差异数据,并标注更新;
所述关键字,包括:字段名、参数。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:将第一分布式系统和第二分布式系统中所述对象数据最后一次认证一致的时间戳更新为所述本次认证一致的时间戳;
所述记录所述数据对象对应的数据集合进行维护的时间戳,包括:记录对所述数据对象对应的各数据集合进行新增、修改、删除的时间戳。
5.一种数据一致性认证的装置,其特征在于,所述装置包括:加密模块、认证模块,其中,
所述加密模块,用于采用加密算法分别加密第一分布式系统和第二分布式系统中需要进行一致性认证的数据对象对应的全部数据集合,获取生成的第一验证码和第二验证码;
所述认证模块,用于对比所述第一验证码和所述第二验证码是否相等;如果所述第一验证码和所述第二验证码相等,则确定所述数据对象认证一致,并记录本次认证一致的时间戳;如果所述第一验证码和所述第二验证码不相等,则将所述数据对象最后一次认证一致的时间戳作为过滤基准点,分别在所述第一分布式系统和所述第二分布式系统中,过滤出所述基准点及之后维护的各数据集合,并列出差异数据。
6.根据权利要求5所述的装置,其特征在于,所述装置还包括:记录模块,用于记录所述数据对象最后一次认证一致的时间戳;记录所述数据对象对应的数据集合进行维护的时间戳;
所述加密算法,包括:MD5、3DES。
7.根据权利要求5所述的装置,其特征在于,所述认证模块分别在所述第一分布式系统和所述第二分布式系统中,过滤出所述基准点及之后维护的各数据集合,并列出差异数据;包括:
对比所述数据对象对应的各数据集合进行维护的时间戳和所述基准点,获取所述维护时间戳在基准点及之后的所有变更数据集合;
比较所述第一分布式系统中的各所述变更数据集合的第一关键字和所述第二分布式系统中的各所述变更数据集合的第二关键字;
如果所述第一关键字和所述第二关键字不相等,则列出所述第一关键字对应的变更数据集合和所述第二关键字对应的变更数据集合,并标注新增;
如果所述第一关键字和所述第二关键字相等,则逐条对比第一分布式系统中的所述变更数据集合和第二分布式系统中的所述变更数据集合的维护时间戳,并列出维护时间戳不同的变更数据集合之间的差异数据,并标注更新;
所述关键字,包括:字段名、参数。
8.根据权利要求5所述的装置,其特征在于,所述记录模块,还用于将第一分布式系统和第二分布式系统中所述对象数据最后一次认证一致的时间戳更新为所述本次认证一致的时间戳;
所述记录所述数据对象对应的数据集合进行维护的时间戳,包括:记录对所述数据对象对应的各数据集合进行新增、修改、删除的时间戳。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510915428.3A CN106874270B (zh) | 2015-12-10 | 2015-12-10 | 一种数据一致性认证的方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510915428.3A CN106874270B (zh) | 2015-12-10 | 2015-12-10 | 一种数据一致性认证的方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106874270A CN106874270A (zh) | 2017-06-20 |
CN106874270B true CN106874270B (zh) | 2020-10-16 |
Family
ID=59177110
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510915428.3A Active CN106874270B (zh) | 2015-12-10 | 2015-12-10 | 一种数据一致性认证的方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106874270B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108965310A (zh) * | 2018-07-27 | 2018-12-07 | 广东讯飞启明科技发展有限公司 | 一种批量数据上传中防篡改加密实现方法和装置 |
CN114331135B (zh) * | 2021-12-29 | 2023-02-03 | 上海赛美特软件科技有限公司 | 一种工艺流程管理方法、装置、设备及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104021132A (zh) * | 2013-12-08 | 2014-09-03 | 郑州正信科技发展股份有限公司 | 主备数据库数据一致性核查备份方法及其系统 |
CN104077373A (zh) * | 2014-06-24 | 2014-10-01 | 北京京东尚科信息技术有限公司 | 一种数据一致性校验方法 |
CN104731792A (zh) * | 2013-12-19 | 2015-06-24 | 中国银联股份有限公司 | 数据库一致性校验方法及系统、定位数据库差异的方法及系统 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080140734A1 (en) * | 2006-12-07 | 2008-06-12 | Robert Edward Wagner | Method for identifying logical data discrepancies between database replicas in a database cluster |
-
2015
- 2015-12-10 CN CN201510915428.3A patent/CN106874270B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104021132A (zh) * | 2013-12-08 | 2014-09-03 | 郑州正信科技发展股份有限公司 | 主备数据库数据一致性核查备份方法及其系统 |
CN104731792A (zh) * | 2013-12-19 | 2015-06-24 | 中国银联股份有限公司 | 数据库一致性校验方法及系统、定位数据库差异的方法及系统 |
CN104077373A (zh) * | 2014-06-24 | 2014-10-01 | 北京京东尚科信息技术有限公司 | 一种数据一致性校验方法 |
Also Published As
Publication number | Publication date |
---|---|
CN106874270A (zh) | 2017-06-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110263585B (zh) | 测试监管方法、装置、设备及存储介质 | |
CN109791542B (zh) | 查询优化的分布式分类账系统 | |
US9565260B2 (en) | Account state simulation service for cloud computing environments | |
US8805971B1 (en) | Client-specified schema extensions in cloud computing environments | |
US8856077B1 (en) | Account cloning service for cloud computing environments | |
CN113287112B (zh) | 利用区块链技术审计云服务的数据保护遵从性 | |
US10469330B1 (en) | Client account versioning metadata manager for cloud computing environments | |
US20140258226A1 (en) | Asynchronous transaction management, systems and methods | |
US20110302277A1 (en) | Methods and apparatus for web-based migration of data in a multi-tenant database system | |
KR102207072B1 (ko) | 블록체인 기반의 데이터 접근 감사 시스템 및 그 방법 | |
US11803461B2 (en) | Validation of log files using blockchain system | |
EP2778953A1 (en) | Encoded-search database device, method for adding and deleting data for encoded search, and addition/deletion program | |
CN115176241A (zh) | 用于使用分布式账本跟踪数据沿袭和记录生命周期的系统和方法 | |
CN106874270B (zh) | 一种数据一致性认证的方法和装置 | |
US11210423B2 (en) | User action collection for sensitive customer data | |
CN106471510B (zh) | 复合文档访问 | |
CN116800535A (zh) | 多台服务器之间相互免密方法及装置 | |
CN111600926A (zh) | 一种数据处理方法、装置及电子设备 | |
CN113225368B (zh) | 一种区块链交易方法、装置、电子设备及存储介质 | |
CN108959309B (zh) | 数据分析的方法和装置 | |
TWI411929B (zh) | 文檔管理系統及方法 | |
CN111191261A (zh) | 一种大数据安全保护方法、系统、介质及设备 | |
TWM591647U (zh) | 能夠安全地存取及刪除資料的資料管理系統 | |
JPWO2019176011A1 (ja) | 検索文活用装置および検索文活用方法 | |
RU2791954C1 (ru) | Способ, система и машиночитаемый носитель для подачи анонимных корпоративных жалоб |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |