CN111339100B - 数据核对方法及装置 - Google Patents
数据核对方法及装置 Download PDFInfo
- Publication number
- CN111339100B CN111339100B CN202010129012.XA CN202010129012A CN111339100B CN 111339100 B CN111339100 B CN 111339100B CN 202010129012 A CN202010129012 A CN 202010129012A CN 111339100 B CN111339100 B CN 111339100B
- Authority
- CN
- China
- Prior art keywords
- index field
- field
- host
- record
- platform
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2228—Indexing structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3684—Test management for test design, e.g. generating new test cases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3688—Test management for test execution, e.g. scheduling of test suites
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2308—Concurrency control
- G06F16/2315—Optimistic concurrency control
- G06F16/2322—Optimistic concurrency control using timestamps
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Quality & Reliability (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明提供一种数据核对方法及装置,方法包括:获取主机的表和表中更新的字段;对更新的所述字段进行排列,对排列后的字段进行赋值得到更新的记录值;基于所述记录值的索引字段分别查询主机的表中该索引字段对应的记录值和平台的表中该索引字段对应的记录值;根据所述主机的表中该索引字段对应的记录值和所述平台的表中该索引字段对应的记录值进行核对。本发明能够实现准实时核对,降低核对的复杂程度并且核对结果准确性高。
Description
技术领域
本发明涉及自动化测试领域,具体涉及一种数据核对方法及装置。
背景技术
在主机与平台数据同步的过程中,通常会运用复制技术向KAFKA消息队列发送消息,然后解析消息并发送到分布式数据库,实现主机数据到平台数据的同步。测试人员需要验证同步到平台数据库表中每个字段与主机表中每个字段完全一致。主机与平台数据同步后,平台一般采用分布式数据库存储,通常会根据业务数据情况重新设计表结构,主机一张表在平台侧可能会拆成多张表,并且分布在不同数据库分区,平台表名、字段名、字段类型也有可能和主机表也不一致,核对复杂。
通常采用的验证方法是对主机表进行增删改触发复制,待数据同步后将主机表和平台表中记录导出进行每个字段的比对测试,但是存在如下难点:
1、自动化案例若采用insert操作,重复新增同一笔记录会报主键冲突,不适合回归测试,需要测试人员频繁修改造数。即使脚本设计数据清理后执行,仍然不能充分利用主机表中实际产生的业务数据来测试到数据字段值的多样性。
2、自动化案例若采用update多条记录或全表记录操作,如果数据量太大,由于复制到KAFKA后消费需要一定时间,需要等待完全同步后才能开展核对,不便于开展数据的准实时核对,如果此时有业务交易把主机表中一些记录进行了更新,会造成大量核对结果不一致。
3、自动化案例若采用update单条记录,由于触发复制的前提条件是主机表中记录发生实际变化,如果update表字段的更新值和原主机表里字段值一致,也不会触发复制。如果继续开展核对,也会造成大量核对结果不一致,同样需要测试人员频繁修改案例数据。并且,由于主机表名和平台表名、主机字段名和平台字段名都不一致,平台采用分布式存储,核对难度进一步加大,对测试技术要求高。
综上,现有的主机数据与平台数据验证的方法存在核对复杂度高,准确度低的问题。
发明内容
针对现有技术中的问题,本发明提供一种数据核对方法及装置,能够实现准实时核对,降低核对的复杂程度并且核对结果准确性高。
为解决上述技术问题,本发明提供以下技术方案:
第一方面,本发明提供一种数据核对方法,包括:
获取主机的表和表中更新的字段;
对更新的所述字段进行排列,对排列后的字段进行赋值得到更新的记录值;
基于所述记录值的索引字段分别查询主机的表中该索引字段对应的记录值和平台的表中该索引字段对应的记录值;
根据所述主机的表中该索引字段对应的记录值和所述平台的表中该索引字段对应的记录值进行核对。
进一步的,在所述基于所述记录值的索引字段分别查询主机的表中该索引字段对应的记录值和平台的表中该索引字段对应的记录值之后,还包括:
查询所述索引字段在平台的表的记录中对应字段的时间戳,若所述时间戳与主机当前时间戳的差值大于预设值,则对KAFKA消息队列进行检查。
进一步的,在所述基于所述记录值的索引字段分别查询主机的表中该索引字段对应的记录值和平台的表中该索引字段对应的记录值之后,还包括:
查询所述索引字段在平台的表的记录中对应字段的时间戳,若查询不到索引字段在平台的表的记录中对应字段的时间戳,则对KAFKA消息队列进行检查。
其中,所述根据所述主机的表中该索引字段对应的记录值和所述平台的表中该索引字段对应的记录值进行核对,包括:
将所述主机表中的记录值的字段类型和所述平台表中的记录值的字段类型进行转换;
将转换后的所述主机表中的记录值的字段与所述平台表中的记录值的字段进行比对,并存储比对结果。
其中,更新的所述字段的类型为时间戳类型或字符型。
其中,所述排列为升序排列。
其中,所述索引字段为单一索引字段或多列索引字段。
第二方面,本发明提供一种数据核对装置,包括:
自定义单元,用于获取主机的表和表中更新的字段;
解析执行单元,用于对更新的所述字段进行排列,对排列后的字段进行赋值得到更新的记录值;
解析查询单元,用于基于所述记录值的索引字段分别查询主机的表中该索引字段对应的记录值和平台的表中该索引字段对应的记录值;
对比核对单元,用于根据所述主机的表中该索引字段对应的记录值和所述平台的表中该索引字段对应的记录值进行核对。
进一步的,还包括:
第一环境处理单元,用于查询所述索引字段在平台的表的记录中对应字段的时间戳,若所述时间戳与主机当前时间戳的差值大于预设值,则对KAFKA消息队列进行检查。
进一步的,还包括:
第二环境处理单元,用于查询所述索引字段在平台的表的记录中对应字段的时间戳,若查询不到索引字段在平台的表的记录中对应字段的时间戳,则对KAFKA消息队列进行检查。
其中,所述对比核对单元包括:
转换子单元,用于将所述主机表中的记录值的字段类型和所述平台表中的记录值的字段类型进行转换;
比对子单元,用于将转换后的所述主机表中的记录值的字段与所述平台表中的记录值的字段进行比对,并存储比对结果。
其中,更新的所述字段的类型为时间戳类型或字符型。
其中,所述排列为升序排列。
其中,所述索引字段为单一索引字段或多列索引字段。
第三方面,本发明提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现所述的数据核对方法的步骤。
第四方面,本发明提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现所述的数据核对方法的步骤。
由上述技术方案可知,本发明提供一种数据核对方法及装置,通过获取主机的表和表中更新的字段;对更新的所述字段进行排列,对排列后的字段进行赋值得到更新的记录值;基于所述记录值的索引字段分别查询主机的表中该索引字段对应的记录值和平台的表中该索引字段对应的记录值;根据所述主机的表中该索引字段对应的记录值和所述平台的表中该索引字段对应的记录值进行核对,能够实现准实时核对,降低核对的复杂程度并且核对结果准确性高,而且对于平台分布式部署这类复杂的核对,只需要简单配置输入表及对照关系即可实现全自动核对,且实现准实时核对,输出的对比结果有效性高。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例中的数据核对方法的第一种流程示意图。
图2为本发明实施例中的数据核对方法的第二种流程示意图。
图3为本发明实施例中的数据核对方法的第三种流程示意图。
图4为本发明实施例中的数据核对方法中步骤S104的流程示意图。
图5为本发明实施例中的数据核对装置的结构示意图。
图6为本发明实施例中的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整的描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明提供一种数据核对方法的实施例,参见图1,数据核对方法具体包含有如下内容:
S101:获取主机的表和表中更新的字段;
在本步骤中,获取的主机的表和表中更行的字段是用户定义或配置的主机表和需要更新的字段。其中,该更新的字段的类型为时间戳类型或字符型,在具体实施时优选为时间戳类型,这样可以使用主机的当前时间戳给字段赋值,保证更新的字段对应的字段值和未更新之前的字段值不同,进而确保触发复制主机数据。
需要说明的是,若该更新的字段的类型中无时间戳类型,采用字符型来进行赋值。选用字符型(备用字段类型)时如该字段长度小于26位,应将主机当前时间戳截位后进行赋值。
S102:对更新的所述字段进行排列,对排列后的字段进行赋值得到更新的记录值;
在本步骤中,获取更新的字段后,对更新的字段进行排列,使用主机的时间戳并按照排列顺序对字段进行赋值,在本实施例中,对字段进行排列时,要更新的字段进行升序排列,确保将主机当前时间戳之前的记录都逐一循环更新完成。对排列后的字段进行赋值得到更新的记录值。
可以理解的是,将排列后的第一笔记录字段值更新成为主机当前时间戳,即可触发复制。
S103:基于所述记录值的索引字段分别查询主机的表中该索引字段对应的记录值和平台的表中该索引字段对应的记录值;
在本步骤中,将更新的记录值的索引字段取出,基于记录值的索引字段来分别查询主机的表中和平台的表中该索引字段的对应记录值,根据主机的表中和平台的表中该索引字段的对应记录值能够继续数据的核对。
需要说明的是,索引字段为单一索引字段或多列索引字段,索引字段的作用就是用于查询主机侧和平台侧的记录。在具体实施时,基于索引字段,调用主机表与平台表所在环境分区、主机表与平台表表名对照关系、主机表与平台表字段对照关系和主机表与平台表字段类型对照关系,即可获取该索引字段在主机侧和平台侧的记录值。
S104:根据所述主机的表中该索引字段对应的记录值和所述平台的表中该索引字段对应的记录值进行核对。
在本步骤中,分别确定在主机侧和平台侧查询到的记录值,将主机侧和平台侧查询到的记录值分别对应的字段类型进行转化后进行对比,并将比对结果保存于结果文件中提供给测试人员查看及分析。对比完成后循环操作,继续进入解析执行装置进行处理,直至全表记录更新核对完成。
从上述描述可知,本发明实施例提供的数据核对方法,通过获取主机的表和表中更新的字段;对更新的所述字段进行排列,对排列后的字段进行赋值得到更新的记录值;基于所述记录值的索引字段分别查询主机的表中该索引字段对应的记录值和平台的表中该索引字段对应的记录值;根据所述主机的表中该索引字段对应的记录值和所述平台的表中该索引字段对应的记录值进行核对,能够实现准实时核对,降低核对的复杂程度并且核对结果准确性高,而且对于平台分布式部署这类复杂的核对,只需要简单配置输入表及对照关系即可实现全自动核对,且实现准实时核对,输出的对比结果有效性高;
利用时间戳字段的不重复性实现单笔记录更新后的准实时循环核对,同时能自动检测环境问题减少环境中断的干扰,确保主机表每笔业务数据都能同步到平台表,充分利用现有环境数据验证复制逻辑功能。
在本发明的一实施例中,参见图2,所述数据核对方法的步骤S103之后还包含有步骤S105,具体包含有如下内容:
S105:查询所述索引字段在平台的表的记录中对应字段的时间戳,若所述时间戳与主机当前时间戳的差值大于预设值,则对KAFKA消息队列进行检查。
需要说明的是,若所述时间戳与主机当前时间戳的差值大于预设值,则有可能为环境问题。连接KAFKA服务器查询对应表的消息队列是否正常产生偏移量即产生增量记录,如果没有则连接环境重启尝试解决。如果KAFKA服务器对应消息队列中产生偏移量正常,则查询消费者群组订阅消费记录,如果订阅的群组ID及消费者IP等异常为空,则说明消费者服务存在异常未订阅成功,环境处理装置则连接消费者服务器,进行重启尝试解决。需要说明的是,其中一者在重启尝试后仍未恢复正常,则发送邮件通知测试人员人工介入。
在本发明的一实施例中,参见图3,所述数据核对方法的步骤S103之后还包含有步骤S106,具体包含有如下内容:
S106:查询所述索引字段在平台的表的记录中对应字段的时间戳,若查询不到索引字段在平台的表的记录中对应字段的时间戳,则对KAFKA消息队列进行检查。
需要说明的是若查询不到索引字段在平台的表的记录中对应字段的时间戳,则有可能为环境问题。连接KAFKA服务器查询对应表的消息队列是否正常产生偏移量即产生增量记录,如果没有则连接环境重启尝试解决。如果KAFKA服务器对应消息队列中产生偏移量正常,则查询消费者群组订阅消费记录,如果订阅的群组ID及消费者IP等异常为空,则说明消费者服务存在异常未订阅成功,环境处理装置则连接消费者服务器,进行重启尝试解决。需要说明的是,其中一者在重启尝试后仍未恢复正常,则发送邮件通知测试人员人工介入。
从上述描述可知,本发明实施例提供的数据核对方法,能够减少环境中断问题对自动核对的影响,能实时检测KAFKA服务器上消息状态及消费订阅状态进行服务重启解决基础环境问题。
在本发明的一实施例中,参见图4,所述数据核对方法中的步骤S104具体包含有如下内容:
S1041:将所述主机表中的记录值的字段类型和所述平台表中的记录值的字段类型进行转换;
在本步骤中,将主机表中的记录值的字段类型和平台表中的记录值的字段类型进行转换后比较,例如主机表某一字段是CHAR类型,平台表该字段为NUMBER类型,则需要将字段值转化为同一类型后再进行比对。
S1042:将转换后的所述主机表中的记录值的字段与所述平台表中的记录值的字段进行比对,并存储比对结果。
在本步骤中,经过类型转换处理后,进行字段值的比对,由于主机表有些字段复制到平台后是舍弃处理,因此以平台表字段为基准进行一一比对。
记录比对的结果,如果日志级别为DEBUG,则将比对相同及不相同的都输出;如果日志级别是ERROR,则只将比对不相同的输出。
本发明实施例提供一种能够实现所述数据核对方法中全部内容的数据核对装置的具体实施方式,参见图5,所述数据核对装置具体包括如下内容:
自定义单元10,用于获取主机的表和表中更新的字段;
解析执行单元20,用于对更新的所述字段进行排列,对排列后的字段进行赋值得到更新的记录值;
解析查询单元30,用于基于所述记录值的索引字段分别查询主机的表中该索引字段对应的记录值和平台的表中该索引字段对应的记录值;
对比核对单元40,用于根据所述主机的表中该索引字段对应的记录值和所述平台的表中该索引字段对应的记录值进行核对。
进一步的,还包括:
第一环境处理单元,用于查询所述索引字段在平台的表的记录中对应字段的时间戳,若所述时间戳与主机当前时间戳的差值大于预设值,则对KAFKA消息队列进行检查。
进一步的,还包括:
第二环境处理单元,用于查询所述索引字段在平台的表的记录中对应字段的时间戳,若查询不到索引字段在平台的表的记录中对应字段的时间戳,则对KAFKA消息队列进行检查。
其中,所述对比核对单元包括:
转换子单元,用于将所述主机表中的记录值的字段类型和所述平台表中的记录值的字段类型进行转换;
比对子单元,用于将转换后的所述主机表中的记录值的字段与所述平台表中的记录值的字段进行比对,并存储比对结果。
其中,更新的所述字段的类型为时间戳类型或字符型。
其中,所述排列为升序排列。
其中,所述索引字段为单一索引字段或多列索引字段。
本发明提供的数据核对装置的实施例具体可以用于执行上述实施例中的数据核对方法的实施例的处理流程,其功能在此不再赘述,可以参照上述方法实施例的详细描述。
从上述描述可知,本发明实施例提供的数据核对装置,通过获取主机的表和表中更新的字段;对更新的所述字段进行排列,对排列后的字段进行赋值得到更新的记录值;基于所述记录值的索引字段分别查询主机的表中该索引字段对应的记录值和平台的表中该索引字段对应的记录值;根据所述主机的表中该索引字段对应的记录值和所述平台的表中该索引字段对应的记录值进行核对,能够实现准实时核对,降低核对的复杂程度并且核对结果准确性高,而且对于平台分布式部署这类复杂的核对,只需要简单配置输入表及对照关系即可实现全自动核对,且实现准实时核对,输出的对比结果有效性高。
本申请提供一种用于实现所述数据核对方法中的全部或部分内容的电子设备的实施例所述电子设备具体包含有如下内容:
处理器(processor)、存储器(memory)、通信接口(Communications Interface)和总线;其中,所述处理器、存储器、通信接口通过所述总线完成相互间的通信;所述通信接口用于实现相关设备之间的信息传输;该电子设备可以是台式计算机、平板电脑及移动终端等,本实施例不限于此。在本实施例中,该电子设备可以参照实施例用于实现所述数据核对方法的实施例及用于实现所述数据核对装置的实施例进行实施,其内容被合并于此,重复之处不再赘述。
图6为本申请实施例的电子设备9600的系统构成的示意框图。如图6所示,该电子设备9600可以包括中央处理器9100和存储器9140;存储器9140耦合到中央处理器9100。值得注意的是,该图6是示例性的;还可以使用其他类型的结构,来补充或代替该结构,以实现电信功能或其他功能。
一实施例中,数据核对功能可以被集成到中央处理器9100中。其中,中央处理器9100可以被配置为进行如下控制:
获取主机的表和表中更新的字段;
对更新的所述字段进行排列,对排列后的字段进行赋值得到更新的记录值;
基于所述记录值的索引字段分别查询主机的表中该索引字段对应的记录值和平台的表中该索引字段对应的记录值;
根据所述主机的表中该索引字段对应的记录值和所述平台的表中该索引字段对应的记录值进行核对。
从上述描述可知,本申请的实施例提供的电子设备,通过获取主机的表和表中更新的字段;对更新的所述字段进行排列,对排列后的字段进行赋值得到更新的记录值;基于所述记录值的索引字段分别查询主机的表中该索引字段对应的记录值和平台的表中该索引字段对应的记录值;根据所述主机的表中该索引字段对应的记录值和所述平台的表中该索引字段对应的记录值进行核对,能够实现准实时核对,降低核对的复杂程度并且核对结果准确性高,而且对于平台分布式部署这类复杂的核对,只需要简单配置输入表及对照关系即可实现全自动核对,且实现准实时核对,输出的对比结果有效性高;
在另一个实施方式中,数据核对装置可以与中央处理器9100分开配置,例如可以将数据核对配置为与中央处理器9100连接的芯片,通过中央处理器的控制来实现数据核对功能。
如图6所示,该电子设备9600还可以包括:通信模块9110、输入单元9120、音频处理器9130、显示器9160、电源9170。值得注意的是,电子设备9600也并不是必须要包括图6中所示的所有部件;此外,电子设备9600还可以包括图6中没有示出的部件,可以参考现有技术。
如图6所示,中央处理器9100有时也称为控制器或操作控件,可以包括微处理器或其他处理器装置和/或逻辑装置,该中央处理器9100接收输入并控制电子设备9600的各个部件的操作。
其中,存储器9140,例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种。可储存上述与失败有关的信息,此外还可存储执行有关信息的程序。并且中央处理器9100可执行该存储器9140存储的该程序,以实现信息存储或处理等。
输入单元9120向中央处理器9100提供输入。该输入单元9120例如为按键或触摸输入装置。电源9170用于向电子设备9600提供电力。显示器9160用于进行图像和文字等显示对象的显示。该显示器例如可为LCD显示器,但并不限于此。
该存储器9140可以是固态存储器,例如,只读存储器(ROM)、随机存取存储器(RAM)、SIM卡等。还可以是这样的存储器,其即使在断电时也保存信息,可被选择性地擦除且设有更多数据,该存储器的示例有时被称为EPROM等。存储器9140还可以是某种其它类型的装置。存储器9140包括缓冲存储器9141(有时被称为缓冲器)。存储器9140可以包括应用/功能存储部9142,该应用/功能存储部9142用于存储应用程序和功能程序或用于通过中央处理器9100执行电子设备9600的操作的流程。
存储器9140还可以包括数据存储部9143,该数据存储部9143用于存储数据,例如联系人、数字数据、图片、声音和/或任何其他由电子设备使用的数据。存储器9140的驱动程序存储部9144可以包括电子设备的用于通信功能和/或用于执行电子设备的其他功能(如消息传送应用、通讯录应用等)的各种驱动程序。
通信模块9110即为经由天线9111发送和接收信号的发送机/接收机9110。通信模块(发送机/接收机)9110耦合到中央处理器9100,以提供输入信号和接收输出信号,这可以和常规移动通信终端的情况相同。
基于不同的通信技术,在同一电子设备中,可以设置有多个通信模块9110,如蜂窝网络模块、蓝牙模块和/或无线局域网模块等。通信模块(发送机/接收机)9110还经由音频处理器9130耦合到扬声器9131和麦克风9132,以经由扬声器9131提供音频输出,并接收来自麦克风9132的音频输入,从而实现通常的电信功能。音频处理器9130可以包括任何合适的缓冲器、解码器、放大器等。另外,音频处理器9130还耦合到中央处理器9100,从而使得可以通过麦克风9132能够在本机上录音,且使得可以通过扬声器9131来播放本机上存储的声音。
本发明的实施例还提供能够实现上述实施例中的数据核对方法中全部步骤的一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述实施例中的数据核对方法的全部步骤,例如,所述处理器执行所述计算机程序时实现下述步骤:
获取主机的表和表中更新的字段;
对更新的所述字段进行排列,对排列后的字段进行赋值得到更新的记录值;
基于所述记录值的索引字段分别查询主机的表中该索引字段对应的记录值和平台的表中该索引字段对应的记录值;
根据所述主机的表中该索引字段对应的记录值和所述平台的表中该索引字段对应的记录值进行核对。
从上述描述可知,本发明实施例提供的计算机可读存储介质,通过获取主机的表和表中更新的字段;对更新的所述字段进行排列,对排列后的字段进行赋值得到更新的记录值;基于所述记录值的索引字段分别查询主机的表中该索引字段对应的记录值和平台的表中该索引字段对应的记录值;根据所述主机的表中该索引字段对应的记录值和所述平台的表中该索引字段对应的记录值进行核对,能够实现准实时核对,降低核对的复杂程度并且核对结果准确性高,而且对于平台分布式部署这类复杂的核对,只需要简单配置输入表及对照关系即可实现全自动核对,且实现准实时核对,输出的对比结果有效性高;
虽然本发明提供了如实施例或流程图所述的方法操作步骤,但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式,不代表唯一的执行顺序。在实际中的装置或客户端产品执行时,可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。
本领域技术人员应明白,本说明书的实施例可提供为方法、装置(系统)或计算机程序产品。因此,本说明书实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。需要说明的是,在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。本发明并不局限于任何单一的方面,也不局限于任何单一的实施例,也不局限于这些方面和/或实施例的任意组合和/或置换。而且,可以单独使用本发明的每个方面和/或实施例或者与一个或更多其他方面和/或其实施例结合使用。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围,其均应涵盖在本发明的权利要求和说明书的范围当中。
Claims (16)
1.一种数据核对方法,其特征在于,包括:
获取主机的表和表中更新的字段;
对更新的所述字段进行排列,对排列后的字段进行赋值得到更新的记录值;使用主机的时间戳并按照排列顺序对字段进行赋值;
基于所述记录值的索引字段分别查询主机的表中该索引字段对应的记录值和平台的表中该索引字段对应的记录值;
根据所述主机的表中该索引字段对应的记录值和所述平台的表中该索引字段对应的记录值进行核对。
2.根据权利要求1所述的数据核对方法,其特征在于,在所述基于所述记录值的索引字段分别查询主机的表中该索引字段对应的记录值和平台的表中该索引字段对应的记录值之后,还包括:
查询所述索引字段在平台的表的记录中对应字段的时间戳,若所述时间戳与主机当前时间戳的差值大于预设值,则对KAFKA消息队列进行检查。
3.根据权利要求2所述的数据核对方法,其特征在于,在所述基于所述记录值的索引字段分别查询主机的表中该索引字段对应的记录值和平台的表中该索引字段对应的记录值之后,还包括:
查询所述索引字段在平台的表的记录中对应字段的时间戳,若查询不到索引字段在平台的表的记录中对应字段的时间戳,则对KAFKA消息队列进行检查。
4.根据权利要求1所述的数据核对方法,其特征在于,所述根据所述主机的表中该索引字段对应的记录值和所述平台的表中该索引字段对应的记录值进行核对,包括:
将所述主机表中的记录值的字段类型和所述平台表中的记录值的字段类型进行转换;
将转换后的所述主机表中的记录值的字段与所述平台表中的记录值的字段进行比对,并存储比对结果。
5.根据权利要求1所述的数据核对方法,其特征在于,更新的所述字段的类型为时间戳类型或字符型。
6.根据权利要求1所述的数据核对方法,其特征在于,所述排列为升序排列。
7.根据权利要求1所述的数据核对方法,其特征在于,所述索引字段为单一索引字段或多列索引字段。
8.一种数据核对装置,其特征在于,包括:
自定义单元,用于获取主机的表和表中更新的字段;
解析执行单元,用于对更新的所述字段进行排列,对排列后的字段进行赋值得到更新的记录值;使用主机的时间戳并按照排列顺序对字段进行赋值;
解析查询单元,用于基于所述记录值的索引字段分别查询主机的表中该索引字段对应的记录值和平台的表中该索引字段对应的记录值;
对比核对单元,用于根据所述主机的表中该索引字段对应的记录值和所述平台的表中该索引字段对应的记录值进行核对。
9.根据权利要求8所述的数据核对装置,其特征在于,还包括:
第一环境处理单元,用于查询所述索引字段在平台的表的记录中对应字段的时间戳,若所述时间戳与主机当前时间戳的差值大于预设值,则对KAFKA消息队列进行检查。
10.根据权利要求9所述的数据核对装置,其特征在于,还包括:
第二环境处理单元,用于查询所述索引字段在平台的表的记录中对应字段的时间戳,若查询不到索引字段在平台的表的记录中对应字段的时间戳,则对KAFKA消息队列进行检查。
11.根据权利要求8所述的数据核对装置,其特征在于,所述对比核对单元包括:
转换子单元,用于将所述主机表中的记录值的字段类型和所述平台表中的记录值的字段类型进行转换;
比对子单元,用于将转换后的所述主机表中的记录值的字段与所述平台表中的记录值的字段进行比对,并存储比对结果。
12.根据权利要求8所述的数据核对装置,其特征在于,更新的所述字段的类型为时间戳类型或字符型。
13.根据权利要求8所述的数据核对装置,其特征在于,所述排列为升序排列。
14.根据权利要求8所述的数据核对装置,其特征在于,所述索引字段为单一索引字段或多列索引字段。
15.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现权利要求1至7任一项所述的数据核对方法的步骤。
16.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至7任一项所述的数据核对方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010129012.XA CN111339100B (zh) | 2020-02-28 | 2020-02-28 | 数据核对方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010129012.XA CN111339100B (zh) | 2020-02-28 | 2020-02-28 | 数据核对方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111339100A CN111339100A (zh) | 2020-06-26 |
CN111339100B true CN111339100B (zh) | 2023-05-26 |
Family
ID=71184029
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010129012.XA Active CN111339100B (zh) | 2020-02-28 | 2020-02-28 | 数据核对方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111339100B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113760911A (zh) * | 2021-09-01 | 2021-12-07 | 上海哔哩哔哩科技有限公司 | 索引差异测试方法及系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105989059A (zh) * | 2015-02-09 | 2016-10-05 | 阿里巴巴集团控股有限公司 | 数据记录核对方法及装置 |
CN108228817A (zh) * | 2017-12-29 | 2018-06-29 | 华为技术有限公司 | 数据处理方法、装置和系统 |
CN108876491A (zh) * | 2017-05-11 | 2018-11-23 | 艾玛迪斯公司 | 用于处理和核对发票数据文件的系统和方法 |
CN110020550A (zh) * | 2019-02-21 | 2019-07-16 | 阿里巴巴集团控股有限公司 | 核对平台的评估方法、装置及设备 |
-
2020
- 2020-02-28 CN CN202010129012.XA patent/CN111339100B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105989059A (zh) * | 2015-02-09 | 2016-10-05 | 阿里巴巴集团控股有限公司 | 数据记录核对方法及装置 |
CN108876491A (zh) * | 2017-05-11 | 2018-11-23 | 艾玛迪斯公司 | 用于处理和核对发票数据文件的系统和方法 |
CN108228817A (zh) * | 2017-12-29 | 2018-06-29 | 华为技术有限公司 | 数据处理方法、装置和系统 |
CN110020550A (zh) * | 2019-02-21 | 2019-07-16 | 阿里巴巴集团控股有限公司 | 核对平台的评估方法、装置及设备 |
Also Published As
Publication number | Publication date |
---|---|
CN111339100A (zh) | 2020-06-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11086825B2 (en) | Telemetry system for a cloud synchronization system | |
CN109308227B (zh) | 故障检测控制方法及相关设备 | |
CN108874409B (zh) | 一种信息更新方法、装置、服务器及系统 | |
CN104053051A (zh) | 一种实现手机音频、视频兼容性的自动化测试方法及装置 | |
CN112364049B (zh) | 数据同步脚本生成方法、系统、终端及存储介质 | |
CN110198327B (zh) | 一种数据传输方法及相关设备 | |
CN111984239A (zh) | 一种页面配置方法、装置、服务器及存储介质 | |
CN111339100B (zh) | 数据核对方法及装置 | |
CN111930625A (zh) | 基于云服务平台的日志获取方法、装置及系统 | |
CN109684611B (zh) | 一种字典转码方法、装置、存储介质及终端 | |
CN112069082A (zh) | 一种自动化测试方法及系统 | |
CN111639478B (zh) | 一种基于excel文档的数据自动稽核方法及系统 | |
WO2016180174A1 (zh) | 语音文件同步的方法和装置 | |
CN114650211A (zh) | 故障修复方法、装置、电子设备和计算机可读存储介质 | |
CN111880996B (zh) | 一种裸机数据采集方法、装置、设备及可读存储介质 | |
CN103716350A (zh) | 一种对资源进行同步控制的方法、设备和系统 | |
CN113505125A (zh) | 数据上链的方法及上链代理装置 | |
CN114371866A (zh) | 业务系统的版本重构测试方法、装置和设备 | |
CN111859041A (zh) | 数据报送方法及装置 | |
CN114092252B (zh) | 一种区块链交易执行方法、装置、设备及可读存储介质 | |
CN113868059B (zh) | 一种业务系统启动检测方法、装置、电子设备及存储介质 | |
CN111522783B (zh) | 数据同步方法、装置、电子设备及计算机可读存储介质 | |
CN113051176B (zh) | 自动化测试数据的处理方法、装置、电子设备及存储介质 | |
CN110955451B (zh) | 联机接口的变更方法及装置 | |
CN111897710A (zh) | 定时任务诊断方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |