CN111143406A - 数据库数据比对方法和比对系统 - Google Patents

数据库数据比对方法和比对系统 Download PDF

Info

Publication number
CN111143406A
CN111143406A CN201811314245.6A CN201811314245A CN111143406A CN 111143406 A CN111143406 A CN 111143406A CN 201811314245 A CN201811314245 A CN 201811314245A CN 111143406 A CN111143406 A CN 111143406A
Authority
CN
China
Prior art keywords
query
data
database
comparison
result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811314245.6A
Other languages
English (en)
Inventor
刘爱慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Jingdong Shangke Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN201811314245.6A priority Critical patent/CN111143406A/zh
Publication of CN111143406A publication Critical patent/CN111143406A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例提供一种数据库数据比对方法和比对系统,该数据库数据比对方法包括:调用查询服务对数据库的指定数据进行第一次查询,并生成第一次查询结果;将所述第一次查询结果进行缓存;调用同一查询服务对所述指定数据进行第二次查询,并生成第二次查询结果;以及将所述第一次查询结果与所述第二次查询结果进行比对,分析出差异数据。该方法通过查询服务多次查询数据库的指定数据,将多次的查询结果缓存并进行比对,从而降低比对的工作量,简化对比步骤,并且提供差异数据分析,直观的展示数据表的变化。

Description

数据库数据比对方法和比对系统
技术领域
本发明涉及计算机技术领域,具体涉及一种数据库数据比对方法和比对系统。
背景技术
目前,在开发调试或测试过程中,常需要对数据库的数据进行前后比对,以检查在代码/程序运行过程中数据发生了什么变化。这就需要分字段比对,目前有两种常用的比对数据库的方式。一是用户记录下操作前后的数据表各字段数值,然后人工进行逐字逐句的比对,即可查询出本次操作对数据产生的影响,这种比对常见于修改字段较少或者要查询的表较少的情况,倘若数据字段过多则不适宜人工比对;另一种是读取canal日志消息,系统在对配置了canal消息得到数据库进行操作时,可以通过查看canal日志来确定数据库操作前后的更新变化情况,这种方式能看出数据库的变化,但相对不直观,还需要用户自行进行人工比对和筛选。而关于比对技术,常用的有3类,一种是利用数据库本身的差异化工具或者直接利用SQL语句进行比对,比如mysqldiff工具,outer join技术等;一种是将数据库的数据进行抽取,形成集合或者海量数据,提取关键字,简化海量数据的比对过程,适于频繁访问数据库的情况,比如专利CN 103176989A,专利CN107291908A等;还有一种是制定某种规则,来规范化数据的比较。对于已存在的比对技术,目标比对是较为复杂的数据库或者大量数据表时,除将数据提取出来做成集合后比对之外,其余技术本质上仍然是对数据表操作的比对,仍然需要人为参与且不直观,并且对于做成集合比对或者制定规则来说,又相比对较复杂,对于常用的简单数据库比对,耗费的效率可能会更高。
因此,发明人认为,上述的数据比对方法有很大的局限性,一定程度上是可以解决查询数据库字段前后变化的问题,但不管是技术或者工具,人为参与所占的比重非常大,在数据量少且比对的字段不多的情况下,采用上述几种方式均不会有太大的负担,但如果数据量庞大或者字段众多,或者工作中频繁需要比对数据库,手工比对或者查询canal日志,都会是一个非常大的工作量,并且有可能遗漏,比对结果可能不够直观;对于单条数据的对比,已有的海量数据的对比并不是最高效的处理方式。
发明内容
有鉴于此,本发明实施例提供一种数据库数据比对方法和比对系统,将数据的比对过程自动化,并且提供一个差异报告,从而降低比对的工作量,并且直观的展示数据表的变化。
根据本发明第一方面,提供一种数据库数据比对方法,包括:调用查询服务对数据库的指定数据进行第一次查询,并生成第一次查询结果;将所述第一次查询结果进行缓存;调用同一查询服务对所述指定数据进行第二次查询,并生成第二次查询结果;以及将所述第一次查询结果与所述第二次查询结果进行比对,分析出差异数据。
优选地,所述数据库数据比对方法还包括:将所述差异数据写入差异报告,并将所述差异报告反馈给用户端。
优选地,所述差异报告包括所述第一次查询结果和所述第二次查询结果的差异位置的展示和所述差异位置处的精准字段的比对数据。
优选地,调用查询服务对数据库的指定数据进行第一次查询,并生成第一次查询结果包括:提供至少一个查询服务,每个所述查询服务对应一个查询语句;调用一个所述查询语句,对由所述查询语句指定的数据库的指定数据进行第一次查询;以及提取所述指定数据的详细字段信息生成第一次查询结果。
优选地,所述查询语句用于选择所述数据库中需要进行比对的数据,并将其作为指定数据,不同的所述查询语句对应不同的所述指定数据。
优选地,所述查询语句可以自定义,使所述比对仅限于对系统操作前后的数据库中的所述指定数据的内容的差异分析。
优选地,所述查询语句包括采用SQL语言编写的程序。
优选地,由不同终端发起的查询服务的调用,其查询过程及比对结果将进行会话隔离,互不影响。
优选地,所述数据库数据比对方法还包括:将每一次调用所述查询服务对所述数据库进行查询的查询结果和对应的所述查询服务作为历史记录进行保存,以供系统操作前后多次的比对和快速查询。
优选地,所述数据库数据比对方法还包括:将多次所述查询服务的查询过程、查询结果和比对结果进行分类的发布与共享。
优选地,所述数据库的类型包括mysql、oracle和sqlserver。
根据本发明第二方面,提供一种数据库数据比对系统,包括:第一调用单元,用于调用查询服务对数据库的指定数据进行第一次查询,生成第一次查询结果;缓存单元,用于将所述第一次查询结果进行缓存;第二调用单元,用于调用同一查询服务对所述指定数据进行第二次查询,并生成第二次查询结果;以及比对单元,用于将所述第一次查询结果与所述第二次查询结果进行比对,分析出差异数据。
优选地,所述比对系统还包括:显示单元,用于将所述差异数据写入差异报告,并将所述差异报告反馈给用户端,所述差异报告包括所述第一次查询结果和所述第二次查询结果的差异位置的展示和所述差异位置处的精准字段的比对数据。
优选地,所述第一调用单元包括:配置单元,用于提供至少一个查询服务,每个所述查询服务对应一个查询语句;查询单元,用于调用一个所述查询语句,对由所述查询语句指定的数据库的指定数据进行第一次查询;以及生成单元,用于提取所述指定数据的详细字段信息生成第一次查询结果。
优选地,所述查询语句用于选择所述数据库中需要进行比对的数据,并将其作为指定数据,不同的所述查询语句对应不同的所述指定数据;所述查询语句可以自定义,使所述比对仅限于对系统操作前后的数据库中的所述指定数据的内容的差异分析;所述查询语句包括采用SQL语言编写的程序。
优选地,所述缓存单元用于将每一次调用所述查询服务对所述数据库进行查询的查询结果和对应的所述查询服务作为历史记录进行保存。
根据本发明第三方面,提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,所述计算机指令被执行时实现如上述所述的数据库数据比对方法。
根据本发明第四方面,提供一种凑单商品选择装置,包括:存储器,用于存储计算机指令;处理器,耦合到所述存储器,所述处理器被配置为基于所述存储器存储的计算机指令执行实现如上述所述的数据库数据比对方法。
本发明的实施例具有以下优点或有益效果:通过调用查询服务对数据库的指定数据进行第一次查询以生成第一次的查询结果并进行缓存,再调用同一查询服务对指定数据进行第二次查询并生成第二次的查询结果,将第一次查询结果与第二次查询结果进行比对,分析出差异数据。通过该方法对系统操作前后的数据进行比对,不需要人工逐一对数据表进行比对,也不用直接操作整个数据库,通过后端的查询服务和前端的查询请求,直接查询操作前后的指定数据并进行比对,操作简单,降低了数据比对的难度;而且对查询数据进行缓存,以免被覆盖,便与后续的比对;另外,只对指定数据进行比对,简化比对过程,提高效率。
本发明的另一优选实施例具有以下优点或有益效果:分析两次查询结果的差异,提供给用户端详细的差异报告,直观的展示数据表的变化,提供了可视化的差异对比。
本发明的另一优选实施例具有以下优点或有益效果:查询服务具体地是查询语句,可以自定义,自定义的查询语句只对指定数据进行查询以及后续进行差异分析,而不是对整个数据库进行差异分析或者整个数据库更改内容的分析,仅需要编写不同的查询语句,即可查询多种情况下的数据库前后变化,使比对过程简化。
本发明的另一优选实施例具有以下优点或有益效果:将所有的查询语句、查询过程及查询结果作为历史记录进行保存,以供系统操作前后多次的比对和快速查询。
附图说明
通过参照以下附图对本发明实施例的描述,本发明的上述以及其它目的、特征和优点将更为清楚,在附图中:
图1示出了本发明实施例中的数据库数据比对方法的流程图;
图2示出了本发明实施例中汇总的数据库数据比对方法的流程图;
图3示出了图1所示的步骤S101的具体流程图;
图4示出了根据本发明实施例的数据库数据比对方法的数据交互关系图;
图5示出了本发明实施例中的数据库数据比对系统的结构图;
图6示出了本发明实施例中汇总的数据库数据比对系统的结构图;
图7示出了本发明实施例的数据库数据比对系统中的第一调用单元501的具体结构图;
图8示出了本发明实施例中的数据库数据比对系统的各单元之间的关系结构图;
图9示出了根据本发明实施例的数据库数据比对装置的结构图。
具体实施方式
以下基于实施例对本发明进行描述,但是本发明并不仅仅限于这些实施例。在下文对本发明的细节描述中,详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。为了避免混淆本发明的实质,公知的方法、过程、流程没有详细叙述。另外附图不一定是按比例绘制的。
图1示出了本发明实施例中的数据库数据比对方法的流程图,具体步骤包括S101-S104。
在步骤S101中,调用查询服务对数据库的指定数据进行第一次查询,并生成第一次查询结果。
在步骤S102中,将第一次查询结果进行缓存。
在步骤S103中,调用同一查询服务对指定数据进行第二次查询,并生成第二次查询结果。
在步骤S104中,将第一次查询结果与第二次查询结果进行比对,分析出差异数据。
如背景技术中所述,现有的数据比对方法是基于一些工具进行数据提取,并人工进行的操作前后的表数据的对比,比对需要的过程繁琐,工作量大,而且对比结果不直观,因而在本实施例中,用户先调用一次查询服务,根据查询服务选择指定的数据库,并对指定的数据进行查询,将查询到的数据进行统计生成第一次的查询结果并将其缓存,即是缓存操作之前的数据库表结果,后续用作于比对的目标;然后对产品进行一些操作,比如调用了某个接口使得该数据库产生变化(操作是在产品层面的,不在本系统的范围内);之后用户再次进行调用同一个查询服务,在定位到指定的数据库,将指定的数据提取,生成第二次查询结构;系统自动将第二次查询出的结果与上一次查询的结果进行比对,分析出第一次查询的数据和第二次查询数据的差异,即可知道数据在操作时发生了怎样的变化。
通过该方法对操作前后查询到的数据库的指定数据进行比对,不需要人工参与,也不用直接操作数据库,对每一种可能会对数据库进行更改的canal消息,不需要逐条读取筛选,降低了比对的工作量;而且只对指定数据进行比对分析,是一种有目的的针对指定数据的分析,而不是整个数据库的差异分析;将第一次或多次的查询结果进行缓存,使之能随时更新而不被覆盖,便于后续的比对。本实施例的对比方法通过后端的查询服务和前端的查询请求,直接查询前后数据对比,操作简单,降低了数据比对的难度。
图2示出了本发明实施例中汇总的数据库数据比对方法的流程图,具体包括以下步骤。
在步骤S201中,调用查询服务对数据库的指定数据进行第一次查询,并生成第一次查询结果。
在步骤S202中,将第一次查询结果进行缓存。
在步骤S203中,调用同一查询服务对指定数据进行第二次查询,并生成第二次查询结果。
在步骤S204中,将第一次查询结果与第二次查询结果进行比对,分析出差异数据。
在步骤S205中,将差异数据写入差异报告,并将差异报告反馈给用户端。
在步骤S206中,将多次查询服务的查询过程、查询结果和比对结果进行分类的发布与共享。
本实施例是比前述实施例更加完善的数据库数据比对方法。其中,步骤S201-S204和图1的步骤S101-S104相同,这里就不再赘述。
在步骤S205中,将差异数据写入差异报告,并将差异报告反馈给用户端。差异报告包括第一次查询结果和第二次查询结果的差异位置的展示和差异位置处的精准字段的比对数据。将差异数据写入差异报告并返回给用户端,从而用户可以快速定位到差异项,可以更加直观地看到操作前后数据的变化,提升效率。
步骤S206涉及到了查询结果的共享,用户端可以发起多次查询,调用不同的查询服务,进行多次不同数据的比对。每次进行查询和比对之后,都将查询服务的查询过程和查询结果发布与共享,并将所有的共享结果分类共享。这样,用户端的其他人员也可以随时查询每次操作前后数据比对的相应结果,便于沟通交流。
在一个可选的实施例中,由不同终端发起的查询服务的调用,其查询过程及比对结果将进行会话隔离,互不影响。例如,不同的用户端发起的查询服务互不冲突,每个用户发起的查询和比对过程都是相互隔离,独立进行的,避免数据的串扰。
在一个实施例中,将每一次调用查询服务对数据库进行查询的查询结果和对应的查询服务均作为历史记录进行保存,以供系统操作前后多次的比对和快速查询。具体地,每一次调用查询服务后,都将查询结果缓存,便于再一次操作后的数据比对,也不用担心数据丢失的问题;另外,对每一次查询之后的查询结果和调用的查询服务都作为历史数据存储,便于后续的整理分析,统计归纳以及检验;不仅可以将其共享,也可以进行缓存,使比对流程更加完善。
优选地,本发明实施例的数据库数据比对方法不与特定的数据库绑定,支持所有的数据库类型的比对,支持的数据库例如mysql、oracle和sqlserver等。
图3示出了图1所示的步骤S101的具体流程图。具体包括以下步骤。
在步骤S301中,提供至少一个查询服务,每个查询服务对应一个查询语句。在查询前,先设置多个查询语句,每个查询语句作为一个查询服务,存储在系统里。每个查询语句对应不同数据库中的不同字段数据,例如数据库表的某一行或某一列的数据,用户调用查询语句,就会定位到指定的数据库的指定数据。
在步骤S302中,调用一个查询语句,对由查询语句指定的数据库的指定数据进行第一次查询。用户从多个查询语句中选择某一个查询语句,即对应于数据表中某一行或某一列的数据,对其进行查询调用,根据选定的查询语句定位到指定的数据表中的指定数据的位置,进行第一次查询。
在步骤S303中,提取指定数据的详细字段信息生成第一次查询结果。基于步骤S301查询到的指定的数据,将其详细信息进行提取并统计,生成第一次的查询结果。
优选地,每一次的查询都重复本实施例的S301-S303的步骤。
在一个可选的实施例中,查询语句用于选择数据库中需要进行比对的数据,并将其作为指定数据,不同的查询语句对应不同的指定数据。查询语句可以自定义,使比对仅限于对系统操作前后的数据库中的指定数据的内容的差异分析。查询语句例如包括采用SQL语言编写的程序。
本实施例提供了一种数据的调取方式,只需要提供数据库查询语句用于过滤数据,就可以对系统操作前后的数据库指定数据的变化内容进行查询,便于后续的自动对比分析。本方法是基于数据库查询的过滤结果(即指定数据)进行的分析,而不是全量的数据库或表的分析,也不是对数据库更改操作的展示和回放。这是一种有目的的针对指定数据库数据(一般是指数据库表的某一行记录)进行自动对比分析的方法,简化了比对步骤,更加简洁直观。
采用本实施例的查询方法,无论多复杂的数据表或字段,都可以统一进行查询,不需要维护环境即可得到所需要的对比数据,使用简单,并且很大程度上提升了工作效率。
下面结合图4对本发明实施例的比对方法的数据流程进行简要说明。
图4示出了根据本发明实施例的数据库数据比对方法的数据交互关系图。如图4所示,用户首先发起首次查询,系统根据调用的SQL查询语句定位到指定的数据库进行查询,再将查询结果返回到系统,并进行本地缓存;之后进行一些操作,使数据发生变化;用户再次进行第二次的查询服务,系统根据同一SQL查询语句进行指定数据库的查询,将查询结果再次返回到系统中,将本次查询的结果与之前本地缓存的查询结果进行比对;再将生成的结果存储为差异报告返回至用户,至此完成一次查询比对。
应该指出的是,本发明不仅限于上述实施例提供的查询服务,其他查询服务,也可以实践本发明实施例提供的数据库数据比对方法。
图5示出了本发明实施例中的数据库数据比对系统的结构图。
该数据库数据比对系统500包括第一调用单元501、缓存单元502、第二调用单元503和比对单元504。
第一调用单元501用于调用查询服务对数据库的指定数据进行第一次查询,生成第一次查询结果。
缓存单元502用于将第一次查询结果进行缓存。
第二调用单元503用于调用同一查询服务对指定数据进行第二次查询,并生成第二次查询结果。
比对单元504用于将第一次查询结果与第二次查询结果进行比对,分析出差异数据。
在本实施例中,调用查询服务对操作前后的数据库中指定的数据进行查询,并将操作前后的查询结果进行自动对比,生成差异数据。用户只需要指定查询服务,并在对比前后在本发明的实现系统上各发起一次查询调用,将数据库单条或多条需要对比的数据对比的过程自动化,即可展示出差异数据。这样一方面不需要人工逐一对数据表进行比对,也不用直接操作整个数据库,操作简单,降低了对比的工作量和难度;而且对查询数据进行缓存,以免被覆盖,便与后续的比对,提高效率;另一方面利用差异数据可以直观地展示数据表的前后变化。
图6示出了汇总的数据库数据比对系统的结构图。图6所示的实施例在图5的实施例的基础上增加了显示单元601。
显示单元601用于将差异数据写入差异报告,并将差异报告反馈给用户端,差异报告包括第一次查询结果和第二次查询结果的差异位置的展示和差异位置处的精准字段的比对数据。通过差异报告可以直观地看出操作前后数据库中数据发生的变化。
在一个实施例中,数据库数据比对系统还包括:共享单元(图中未示出),用于将多次查询服务的查询过程、查询结果和比对结果进行分类的发布与共享。在每次查询比对后都将查询过程和结果通过共享单元上传至共享系统中,并进行分类,便于查询。
在一个实施例中,缓存单元502用于将每一次调用查询服务对数据库进行查询的查询结果和对应的查询服务作为历史记录进行保存。每一次操作后的数据都进行缓存,方便数据库数据的多次查询比对。
应该理解,本发明实施例的系统和方法是对应的,因此,在系统的描述中以相对简略的方式进行。
图7示出了本发明实施例的数据库数据比对系统中的第一调用单元501的具体结构图。
该数据库数据比对系统的第一调用单元501包括配置单元5011、查询单元5012和生成单元5013。配置单元5011用于提供至少一个查询服务,每个查询服务对应一个查询语句;查询单元5012用于调用一个查询语句,对由查询语句指定的数据库的指定数据进行第一次查询;以及生成单元5013用于提取指定数据的详细字段信息生成第一次查询结果。
优选地,查询语句用于选择数据库中需要进行比对的数据,并将其作为指定数据,不同的查询语句对应不同的指定数据;查询语句可以自定义,使比对仅限于对系统操作前后的数据库中的指定数据的内容的差异分析;查询语句例如包括采用SQL语言编写的程序。
图8示出了本发明实施例中的数据库数据比对系统的各单元之间的关系结构图。
首先用户端对操作前的数据库发起一次查询服务,服务端的配置单元5011接收到查询指令,用户从配置单元5011中挑选一个查询语句,查询单元5012调用挑选好的查询语句,从N个数据库中由查询语句指定的数据库中找到指定数据进行查询,生成单元5013提取指定数据的详细字段信息生成第一次查询结果,将第一次查询结果缓存在缓存单元502中;系统进行操作后,用户端发起第二次查询服务,配置单元5011接收到查询指令,指示查询单元5012调用用户上一次挑选的查询语句,从N个数据库中由查询语句指定的数据库中找到指定数据进行查询,生成单元5013提取指定数据的详细字段信息生成第二次查询结果,将第一次查询结果缓存在缓存单元502中或直接传送给比对单元504;缓存单元502将缓存的查询结果传送给比对单元504,比对单元504对两次查询结果进行比较,生成差异报告,返回给用户端,由此完成由此对比。其他的数据比对与此类似。
图9示出了本发明实施例的数据库数据比对装置的结构图。图9示出的设备仅仅是一个示例,不应对本发明实施例的功能和使用范围构成任何限制。
参考图9,该效率评估装置包括通过总线连接的处理器901、存储器902和输入输出设备903。存储器902包括只读存储器(ROM)和随机访问存储器(RAM),存储器902内存储有执行系统功能所需的各种计算机指令和数据,处理器901从存储器902中读取各种计算机指令以执行各种适当的动作和处理。输入输出设备包括键盘、鼠标等的输入部分;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分;包括硬盘等的存储部分;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分。存储器902还存储有以下的计算机指令以完成本发明实施例的数据库数据比对方法规定的操作:调用查询服务对数据库的指定数据进行第一次查询,并生成第一次查询结果;将第一次查询结果进行缓存;调用同一查询服务对指定数据进行第二次查询,并生成第二次查询结果;以及将第一次查询结果与第二次查询结果进行比对,分析出差异数据。
相应地,本发明实施例提供一种计算机可读存储介质,该计算机可读存储介质存储有计算机指令,所述计算机指令被执行时实现上述数据库数据比对方法所规定的操作。
附图中的流程图、框图图示了本发明实施例的系统、方法、装置的可能的体系框架、功能和操作,流程图和框图上的方框可以代表一个模块、程序段或仅仅是一段代码,所述模块、程序段和代码都是用来实现规定逻辑功能的可执行指令。也应当注意,所述实现规定逻辑功能的可执行指令可以重新组合,从而生成新的模块和程序段。因此附图的方框以及方框顺序只是用来更好的图示实施例的过程和步骤,而不应以此作为对发明本身的限制。
系统的各个模块或单元可以通过硬件、固件或软件实现。软件例如包括采用JAVA、C/C++/C#、SQL等各种编程语言形成的编码程序。虽然在方法以及方法图例中给出本发明实施例的步骤以及步骤的顺序,但是所述步骤实现规定的逻辑功能的可执行指令可以重新组合,从而生成新的步骤。所述步骤的顺序也不应该仅仅局限于所述方法以及方法图例中的步骤顺序,可以根据功能的需要随时进行调整。例如将其中的某些步骤并行或按照相反顺序执行。
根据本发明的系统和方法可以部署在单个或多个服务器上。例如,可以将不同的模块分别部署在不同的服务器上,形成专用服务器。或者,可以在多个服务器上分布式部署相同的功能单元、模块或系统,以减轻负载压力。所述服务器包括但不限于在同一个局域网以及通过Internet连接的多个PC机、PC服务器、刀片机、超级计算机等。
以上所述仅为本发明的优选实施例,并不用于限制本发明,对于本领域技术人员而言,本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (18)

1.一种数据库数据比对方法,其特征在于,包括:
调用查询服务对数据库的指定数据进行第一次查询,并生成第一次查询结果;
将所述第一次查询结果进行缓存;
调用同一查询服务对所述指定数据进行第二次查询,并生成第二次查询结果;以及
将所述第一次查询结果与所述第二次查询结果进行比对,分析出差异数据。
2.根据权利要求1所述的数据库数据比对方法,其特征在于,还包括:将所述差异数据写入差异报告,并将所述差异报告反馈给用户端。
3.根据权利要求2所述的数据库数据比对方法,其特征在于,所述差异报告包括所述第一次查询结果和所述第二次查询结果的差异位置的展示和所述差异位置处的精准字段的比对数据。
4.根据权利要求1所述的数据库数据比对方法,其特征在于,调用查询服务对数据库的指定数据进行第一次查询,并生成第一次查询结果包括:
提供至少一个查询服务,每个所述查询服务对应一个查询语句;
调用一个所述查询语句,对由所述查询语句指定的数据库的指定数据进行第一次查询;以及
提取所述指定数据的详细字段信息生成第一次查询结果。
5.根据权利要求4所述的数据库数据比对方法,其特征在于,所述查询语句用于选择所述数据库中需要进行比对的数据,并将其作为指定数据,不同的所述查询语句对应不同的所述指定数据。
6.根据权利要求5所述的数据库数据比对方法,其特征在于,所述查询语句可以自定义,使所述比对仅限于对系统操作前后的数据库中的所述指定数据的内容的差异分析。
7.根据权利要求4所述的数据库数据比对方法,其特征在于,所述查询语句包括采用SQL语言编写的程序。
8.根据权利要求1所述的数据库数据比对方法,其特征在于,由不同终端发起的查询服务的调用,其查询过程及比对结果将进行会话隔离,互不影响。
9.根据权利要求1所述的数据库数据比对方法,其特征在于,还包括:将每一次调用所述查询服务对所述数据库进行查询的查询结果和对应的所述查询服务作为历史记录进行保存,以供系统操作前后多次的比对和快速查询。
10.根据权利要求1所述的数据库数据比对方法,其特征在于,还包括:将多次所述查询服务的查询过程、查询结果和比对结果进行分类的发布与共享。
11.根据权利要求1所述的数据库数据比对方法,其特征在于,所述数据库的类型包括mysql、oracle和sqlserver。
12.一种数据库数据比对系统,其特征在于,包括:
第一调用单元,用于调用查询服务对数据库的指定数据进行第一次查询,生成第一次查询结果;
缓存单元,用于将所述第一次查询结果进行缓存;
第二调用单元,用于调用同一查询服务对所述指定数据进行第二次查询,并生成第二次查询结果;以及
比对单元,用于将所述第一次查询结果与所述第二次查询结果进行比对,分析出差异数据。
13.根据权利要求12所述的比对系统,其特征在于,还包括:
显示单元,用于将所述差异数据写入差异报告,并将所述差异报告反馈给用户端,所述差异报告包括所述第一次查询结果和所述第二次查询结果的差异位置的展示和所述差异位置处的精准字段的比对数据。
14.根据权利要求12所述的比对系统,其特征在于,所述第一调用单元包括:
配置单元,用于提供至少一个查询服务,每个所述查询服务对应一个查询语句;
查询单元,用于调用一个所述查询语句,对由所述查询语句指定的数据库的指定数据进行第一次查询;以及
生成单元,用于提取所述指定数据的详细字段信息生成第一次查询结果。
15.根据权利要求14所述的比对系统,其特征在于,所述查询语句用于选择所述数据库中需要进行比对的数据,并将其作为指定数据,不同的所述查询语句对应不同的所述指定数据;所述查询语句可以自定义,使所述比对仅限于对系统操作前后的数据库中的所述指定数据的内容的差异分析;所述查询语句包括采用SQL语言编写的程序。
16.根据权利要求12所述的比对系统,其特征在于,所述缓存单元用于将每一次调用所述查询服务对所述数据库进行查询的查询结果和对应的所述查询服务作为历史记录进行保存。
17.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令被执行时实现如权利要求1至11中任一项所述的数据库数据比对方法。
18.一种数据库数据比对装置,其特征在于,包括:
存储器,用于存储计算机指令;
处理器,耦合到所述存储器,所述处理器被配置为基于所述存储器存储的计算机指令执行实现如权利要求1至11中任一项所述的数据库数据比对方法。
CN201811314245.6A 2018-11-06 2018-11-06 数据库数据比对方法和比对系统 Pending CN111143406A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811314245.6A CN111143406A (zh) 2018-11-06 2018-11-06 数据库数据比对方法和比对系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811314245.6A CN111143406A (zh) 2018-11-06 2018-11-06 数据库数据比对方法和比对系统

Publications (1)

Publication Number Publication Date
CN111143406A true CN111143406A (zh) 2020-05-12

Family

ID=70515913

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811314245.6A Pending CN111143406A (zh) 2018-11-06 2018-11-06 数据库数据比对方法和比对系统

Country Status (1)

Country Link
CN (1) CN111143406A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112905602A (zh) * 2021-03-26 2021-06-04 掌阅科技股份有限公司 数据比对方法、计算设备及计算机存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102622361A (zh) * 2011-01-28 2012-08-01 天脉聚源(北京)传媒科技有限公司 一种数据库查询方法
US20180060392A1 (en) * 2015-05-06 2018-03-01 Huawei Technologies Co., Ltd. Batch data query method and apparatus
CN107784102A (zh) * 2017-10-27 2018-03-09 中国电子科技集团公司第二十八研究所 一种基于Oracle数据库的数据差异比较方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102622361A (zh) * 2011-01-28 2012-08-01 天脉聚源(北京)传媒科技有限公司 一种数据库查询方法
US20180060392A1 (en) * 2015-05-06 2018-03-01 Huawei Technologies Co., Ltd. Batch data query method and apparatus
CN107784102A (zh) * 2017-10-27 2018-03-09 中国电子科技集团公司第二十八研究所 一种基于Oracle数据库的数据差异比较方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112905602A (zh) * 2021-03-26 2021-06-04 掌阅科技股份有限公司 数据比对方法、计算设备及计算机存储介质
CN112905602B (zh) * 2021-03-26 2022-09-30 掌阅科技股份有限公司 数据比对方法、计算设备及计算机存储介质

Similar Documents

Publication Publication Date Title
AU2009238294B2 (en) Data transformation based on a technical design document
CN111339171B (zh) 数据查询的方法、装置及设备
US20120216104A1 (en) System and method for preparing excel(tm)-based analysis reports
CN111177788A (zh) Hive的动态脱敏方法及动态脱敏系统
US20060129609A1 (en) Database synchronization using change log
EP3547145A2 (en) Systems and methods for reducing storage required for code coverage results
CN109376153B (zh) 一种基于NiFi的数据写入图数据库的系统及方法
CN109947804B (zh) 数据集合查询的优化方法、装置、服务器和存储介质
CN110990420A (zh) 数据查询方法、装置
CN110489441B (zh) 一种基于大数据的即席查询方法及设备
CN108280082A (zh) 一种统计数据的即席查询方法及系统
CN115438087B (zh) 基于缓存库的数据查询方法、装置、存储介质和设备
US7509334B2 (en) Methods, systems and computer program products for segmented presentation of service order status information
CN110737634A (zh) 日志搜索方法、客户端、服务端与计算机可读存储介质
CN112286957A (zh) 基于结构化查询语言的bi系统的api应用方法及系统
CN111767574A (zh) 用户权限确定方法、装置、电子设备及可读存储介质
US11514480B2 (en) System and method for identifying members of a dynamic target segment
CN111143406A (zh) 数据库数据比对方法和比对系统
CN105630997A (zh) 一种数据并行处理方法、装置及设备
CN113010208B (zh) 一种版本信息的生成方法、装置、设备及存储介质
CN114064786A (zh) 一种数据显示方法、数据显示装置及服务器
CN114153438A (zh) 一种api自动生成系统
CN113885970A (zh) 一种基于脚本生成报表数据的方法、系统及介质
CN111125045B (zh) 一种轻量级etl处理平台
US10635573B2 (en) Auto-generated multiple input variants

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination