CN113761053A - 一种数据查询方法、装置、电子设备及存储介质 - Google Patents

一种数据查询方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113761053A
CN113761053A CN202110061444.6A CN202110061444A CN113761053A CN 113761053 A CN113761053 A CN 113761053A CN 202110061444 A CN202110061444 A CN 202110061444A CN 113761053 A CN113761053 A CN 113761053A
Authority
CN
China
Prior art keywords
data
database
message queue
query
service
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110061444.6A
Other languages
English (en)
Inventor
龙建勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Tuoxian Technology Co Ltd
Original Assignee
Beijing Jingdong Tuoxian Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Tuoxian Technology Co Ltd filed Critical Beijing Jingdong Tuoxian Technology Co Ltd
Priority to CN202110061444.6A priority Critical patent/CN113761053A/zh
Publication of CN113761053A publication Critical patent/CN113761053A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2455Query execution
    • G06F16/24553Query execution of query operations
    • G06F16/24554Unary operations; Data partitioning operations
    • G06F16/24556Aggregation; Duplicate elimination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2457Query processing with adaptation to user needs
    • G06F16/24578Query processing with adaptation to user needs using ranking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例适用于数据库技术领域,提供了一种数据查询方法、装置、电子设备及存储介质,其中,数据查询方法包括:将至少一个第一数据库中的每个第一数据库的业务数据同步到消息队列中;基于所述消息队列中的业务数据创建第二数据库;在所述第二数据库创建完成的情况下,获取对所述至少一个第一数据库的查询请求,基于所述查询请求在所述第二数据库中得到查询结果。

Description

一种数据查询方法、装置、电子设备及存储介质
技术领域
本发明涉及数据库技术领域,尤其涉及一种数据查询方法、装置、电子设备及存储介质。
背景技术
相关技术中,分布式系统在进行数据查询时,当查询结果涉及到多个业务系统的情况下往往需要进行聚合查询。例如,在药品监管审计时,需要查询订单数据库、商品数据库和库存数据库等相关数据库,对各个数据库的查询结果进行组装。相关技术中,数据查询服务与业务系统的耦合性高,增加了业务系统复杂度和可维护性。
发明内容
为了解决上述问题,本发明实施例提供了一种数据查询方法、装置、电子设备及存储介质,以至少解决相关技术中数据查询服务与业务系统的耦合性高的问题。
本发明的技术方案是这样实现的:
第一方面,本发明实施例提供了一种数据查询方法,该方法包括:
将至少一个第一数据库中的每个第一数据库的业务数据同步到消息队列中;
基于所述消息队列中的业务数据创建第二数据库;
在所述第二数据库创建完成的情况下,获取对所述至少一个第一数据库的查询请求,基于所述查询请求在所述第二数据库中得到查询结果。
上述方案中,所述基于所述消息队列中的业务数据创建第二数据库,包括:
从所述消息队列中获取与设定查询条件相匹配的至少一个第一数据;
将所述至少一个第一数据写入第二数据库中。
上述方案中,所述将所述至少一个第一数据写入第二数据库中,包括:
基于设定数据结构,对所述至少一个第一数据进行组装;
将组装后的所述至少一个第一数据写入所述第二数据库中。
上述方案中,所述方法还包括:
当所述至少一个第一数据库中的任意一个第一数据库的业务数据发生变化时,将第三数据发送至所述消息队列;所述第三数据表征所述至少一个第一数据库中发生变化的业务数据;
在所述第三数据与设定查询条件相匹配的情况下,从所述消息队列中获取所述第三数据;
基于从所述消息队列中获取到的所述第三数据更新所述第二数据库。
上述方案中,所述将至少一个第一数据库中的每个第一数据库的业务数据同步到消息队列中,包括:
基于所述至少一个第一数据库中的每个第一数据库对应的设定字段,从每个第一数据库中提取出与对应的设定字段相匹配的第一数据;
将所述与对应的设定字段相匹配的第一数据写入所述消息队列中。
上述方案中,所述方法还包括:
所述设定数据结构表征组装后的所述至少一个第一数据中的每个第一数据在查询结果中的先后顺序。
上述方案中,所述第二数据库为全文搜索引擎ES数据库;
所述基于所述消息队列中的业务数据创建第二数据库时,所述方法包括:
基于所述业务数据中的所有字段创建所述第二数据库的索引。
第二方面,本发明实施例提供了一种数据查询装置,该装置包括:
同步模块,用于将至少一个第一数据库中的每个第一数据库的业务数据同步到消息队列中;
创建模块,用于基于所述消息队列中的业务数据创建第二数据库;
查询模块,用于在所述第二数据库创建完成的情况下,获取对所述至少一个第一数据库的查询请求,基于所述查询请求在所述第二数据库中得到查询结果。
第三方面,本发明实施例提供了一种电子设备,包括处理器和存储器,所述处理器和存储器相互连接,其中,所述存储器用于存储计算机程序,所述计算机程序包括程序指令,所述处理器被配置用于调用所述程序指令,执行本发明实施例第一方面提供的数据查询方法的步骤。
第四方面,本发明实施例提供了一种计算机可读存储介质,包括:所述计算机可读存储介质存储有计算机程序。所述计算机程序被处理器执行时实现如本发明实施例第一方面提供的数据查询方法的步骤。
本发明实施例通过将至少一个第一数据库中的每个第一数据库的业务数据同步到消息队列中,基于消息队列中的业务数据创建第二数据库。在第二数据库创建完成的情况下,获取对至少一个第一数据库的查询请求,基于查询请求在所述第二数据库中得到查询结果。本发明实施例通过消息队列从至少一个第一数据库获取业务数据同步到第二数据库中,实现了业务系统与数据查询代码和数据存储代码的完全解耦合,提高了业务系统的可维护性。
附图说明
图1是本发明实施例提供的一种审计数据查询流程的流程示意图;
图2是本发明实施例提供的另一种审计数据查询流程的流程示意图;
图3是本发明实施例提供的一种数据查询方法的实现流程示意图;
图4是本发明实施例提供的另一种数据查询方法的实现流程示意图;
图5是本发明实施例提供的另一种数据查询方法的实现流程示意图;
图6是本发明实施例提供的另一种数据查询方法的实现流程示意图;
图7是本发明实施例提供的另一种数据查询方法的实现流程示意图;
图8是本发明实施例提供的一种审计数据查询流程的示意图;
图9是本发明应用实施例提供的一种业务数据查询流程的示意图;
图10是本发明实施例提供的一种数据查询装置的示意图;
图11是本发明一实施例提供的电子设备的示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在分布式系统中经常需要使用到聚合查询,聚合查询即从分布式系统的多个数据库中查询数据。例如,国家在对药品销售进行监管审计时,需要从各个数据库中获取药品的审计数据,审计数据即分布式系统中各个业务系统的业务数据,业务数据包括药品的订单信息和库存信息等信息。
参考图1,图1是本发明实施例提供的一种审计数据查询流程的流程示意图。用户在调用层输入关于审计数据的查询请求,基于查询请求调用服务层的各个微服务,例如订单服务、商品服务和库存服务等,各个微服务从数据层中对应的业务数据库中查询相关业务数据,例如订单数据库、商品数据库和库存数据库。最后将从各个业务数据库查询到的业务数据进行组装,即得到了最终需要展示给用户的审计数据。直接查询业务数据库会涉及到多表、跨库、跨服务的数据组合查询,每次查询都需要重复一样的逻辑,同时还需要过滤一些无用状态的数据,因此查询效率较低。而且数据查询与业务系统的耦合性高,在业务数据库时故障将导致查询服务不可用。
参考图2,图2是本发明实施例提供的另一种审计数据查询流程的流程示意图。在数据层单独创建一个审计数据库,将各个业务数据库中的业务数据进行组装后生成审计数据,将审计数据存储在审计数据库中。在获取到审计数据的查询请求时,直接查询审计数据库,从而可以避免查询各个业务数据库。该方法需要在各个业务系统中增加审计数据存储代码逻辑,审计数据存储代码与业务系统的耦合性高,各个业务系统都需要进行审计数据存储代码改造,增加了业务系统的复杂度和可维护性。
针对上述相关技术的缺点,本发明实施例提供了一种数据查询方法,至少能够实现与业务系统解耦合。为了说明本发明所述的技术方案,下面通过具体实施例来进行说明。
图3是本发明实施例提供的一种数据查询方法的实现流程示意图,所述数据查询方法的执行主体为电子设备,电子设备包括台式电脑、笔记本电脑和服务器等。参考图3,数据查询方法包括:
S301,将至少一个第一数据库中的每个第一数据库的业务数据同步到消息队列中。
这里,至少一个第一数据库是与业务数据查询服务相关的数据库,查询结果需要从至少一个第一数据库中获取。例如在药品监管审计中,至少一个第一数据库包括订单数据库、商品数据库和库存数据库。
消息队列(MQ,Message Queue)是一种异步的服务间通信方式,将至少一个第一数据库中的每个第一数据库的业务数据同步到消息队列中。
这里,可以对每个第一数据库设置对应的数据同步规则,基于数据同步规则将第一数据库中的业务数据同步到消息队列中,数据同步规则可以是指定需要的数据字段或过滤规则等。
参考图4,在一实施例中,所述将至少一个第一数据库中的每个第一数据库的业务数据同步到消息队列中,包括:
S401,基于所述至少一个第一数据库中的每个第一数据库对应的设定字段,从每个第一数据库中提取出与对应的设定字段相匹配的第一数据。
S402,将所述与对应的设定字段相匹配的第一数据写入所述消息队列中。
在本发明实施例中,每个第一数据库都设置有对应的设定字段,例如在订单数据库中,设定字段可以为订单编号和订单金额。在将订单数据库的业务数据同步到消息队列时,只提取订单数据库中与订单编号和订单金额想匹配的数据,第一数据库中其他数据都不同步到消息队列,比如客户编号、付款方式等数据。
这样,只将第一数据库中与设定字段相匹配的第一数据同步到消息队列,可以排除掉与业务数据查询不相关的数据,减少了消息队列的数据量,在查询时也可以提高查询效率。而且使用消息队列进行异步消费,可以避免业务数据激增,减小业务系统的负荷。
S302,基于所述消息队列中的业务数据创建第二数据库。
消息队列使用发布-订阅模式工作,消息发送者(生产者)发布消息,消息接受者(消费者)订阅消息。这里,至少一个第一数据库可以看做是生产者,第二数据库可以看做是消费者。
在一实施例中,可以将消息队列中的所有业务数据都写入第二数据库,也可以从消息队列中选择一部分业务数据写入第二数据库。
参考图5,在另一实施例中,所述基于所述消息队列中的业务数据创建第二数据库,包括:
S501,从所述消息队列中获取与设定查询条件相匹配的至少一个第一数据。
这里,设定查询条件是预先设定好的,例如,在订单数据库中有已支付订单数据和未支付订单数据,用户最终需要的是已支付订单数据,则设定查询条件则是获取已支付订单数据。
S502,将所述至少一个第一数据写入第二数据库中。
将与设定查询条件相匹配的至少一个第一数据写入第二数据库,这样第二数据库中不存在无用的数据,提高了检索的精确度,可以避免查询结果中包含与查询请求不相关的业务数据。
参考图6,在一实施例中,所述将所述至少一个第一数据写入第二数据库中,包括:
S601,基于设定数据结构,对所述至少一个第一数据进行组装。
S602,将组装后的所述至少一个第一数据写入所述第二数据库中。
在相关技术中,在从多个数据库进行数据查询时,需要将各个数据库返回的查询结果进行组装,从而得到最终的查询结果。
这里,所述设定数据结构表征组装后的所述至少一个第一数据中的每个第一数据在查询结果中的先后顺序。
在本发明实施例中,在将至少一个第一数据写入第二数据库时,基于设定数据结构对至少一个第一数据进行组装。例如,在药品审计业务场景下,设定结构为:订单编号+商品名称+商品金额,将至少一个第一数据中的第一数据按照上述设定结构进行组装,将组装好的至少一个第一数据写入第二数据库中。
在一实施例中,在获取到对所述至少一个第一数据库的查询请求的情况下,基于查询请求从第二数据库中得到查询结果,这里,所述查询结果表征所述第二数据库中与所述查询请求相匹配的组装后的所述至少一个第一数据。
在药品审计场景下,按照设定结构组装好的至少一个第一数据就是用户所需的审计数据,这样实现了业务数据的异构存储,只需要在至少一个第一数据写入第二数据库时组装一次数据,不需要每次查询时都进行组装数据。用户在进行数据查询时,可以直接从第二数据库得到用户所需的审计数据,无需在查询过程中对数据进行组装,提高了数据查询效率。
S303,在所述第二数据库创建完成的情况下,获取对所述至少一个第一数据库的查询请求,基于所述查询请求在所述第二数据库中得到查询结果。
在第二数据库创建完成后,第二数据库就可以提供业务数据的查询服务了,实现了数据查询接口的独立部署。获取用户输入的查询请求,基于查询请求在第二数据库中得到查询结果。
本发明实施例通过将至少一个第一数据库中的每个第一数据库的业务数据同步到消息队列中,基于消息队列中的业务数据创建第二数据库。在第二数据库创建完成的情况下,获取对至少一个第一数据库的查询请求,基于查询请求在所述第二数据库中得到查询结果。本发明实施例通过消息队列从至少一个第一数据库获取业务数据同步到第二数据库中,实现了业务系统与数据查询代码和数据存储代码的完全解耦合,提高了业务系统的可维护性。
参考图7,在一实施例中,所述方法还包括:
S701,当所述至少一个第一数据库中的任意一个第一数据库的业务数据发生变化时,将第三数据发送至所述消息队列;所述第三数据表征所述至少一个第一数据库中发生变化的业务数据。
这里,第一数据库的业务数据发生变化,可以是在第一数据库中新增业务数据,也可以是删除第一数据库中的业务数据,也可以是对第一数据库中的业务数据进行修改。
S702,在所述第三数据与设定查询条件相匹配的情况下,从所述消息队列中获取所述第三数据。
S703,基于从所述消息队列中获取到的所述第三数据更新所述第二数据库。
这里,设定查询条件与上述实施例中的设定查询条件相同。如果第三数据与设定查询条件相匹配,则从消息队列中获取第三数据,并基于从消息队列中获取到的第三数据更新第二数据库。例如,如果是第三数据是新增的业务数据,则将第三数据写入第二数据库。如果是第三数据是删除的业务数据,则将第三数据也从第二数据库中删除。如果第三数据是修改后的业务数据,则基于第三数据对第二数据库中对应的数据进行更新。
在一实施例中,所述第二数据库为全文搜索引擎ES数据库。
所述基于所述消息队列中的业务数据创建第二数据库时,所述方法包括:
基于所述业务数据中的所有字段创建所述第二数据库的索引。
这里,第二数据库是ES(Elasticsearch)数据库,ES是一个全文搜索引擎。索引(index)是ES的一个逻辑存储,可以理解为关系型数据库中的数据库,ES可以把索引数据存放到一台服务器上,也可以存到多台服务器上,防止数据丢失。
在本发明实施例中,在基于消息队列中的业务数据创建第二数据库时,基于业务数据中的所有字段创建第二数据库的索引。这里,将业务数据的每一个字段都编入第二数据库的索引,使其可以被搜索。这样,可以提高数据查询效率。
参考图8,图8是本发明实施例提供的一种审计数据查询流程的示意图。服务层的各个微服务在将业务数据写入对应业务数据库中后,将各个业务数据库中的业务数据基于主从同步的方法同步到消息队列中。这里,在药品审计场景下,微服务包括订单服务、商品服务和库存服务等,分别对应订单数据库、商品数据库和库存数据库。审计服务从消息队列中获取业务数据写入审计数据库中。调用层在获取到审计数据的查询请求时,直接从审计数据库中获取与查询请求对应的审计数据。本发明实施例实现了业务系统与数据查询代码和数据存储代码的完全解耦合,提高了业务系统的可维护性。而且合规服务进行单独部署维护,提高了数据查询效率。
参考图9,图9是本发明应用实施例提供的一种业务数据查询流程的示意图,业务数据查询流程包括:
S901,建立各业务数据库的数据同步规则。
这里,数据同步规则可以是指定需要的数据字段或过滤规则等。
S902,将各业务数据库中的业务数据同步到消息队列中。
基于每个业务数据库对应的设定字段,从每个业务数据库中提取出与对应的设定字段相匹配的业务数据;将与对应的设定字段相匹配的业务数据写入消息队列中。
S903,从消息队列中获取业务数据。
从所述消息队列中获取与设定查询条件相匹配的至少一个业务数据。
S904,将从消息队列中获取业务数据进行组装,并写入第二数据库。
基于设定数据结构,对从消息队列中获取的业务数据进行组装,组装后写入第二数据库中。第二数据库为ES数据库。
S905,获取查询请求,基于第二数据库得到查询结果。
在第二数据库创建完成的情况下,获取对各业务数据库的查询请求,基于所述查询请求在第二数据库中得到查询结果。
本发明应用实施例实现了业务系统与数据查询代码和数据存储代码的完全解耦合,提高了业务系统的可维护性。而且只从消息队列获取与设定查询条件相匹配的业务数据,提高了数据查询效率。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
应当理解,当在本说明书和所附权利要求书中使用时,术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
需要说明的是,本发明实施例所记载的技术方案之间,在不冲突的情况下,可以任意组合。
另外,在本发明实施例中,“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。
参考图10,图10是本发明实施例提供的一种电子设备的控制装置的示意图,如图10所示,该装置包括:同步模块、创建模块和查询模块。
同步模块,用于将至少一个第一数据库中的每个第一数据库的业务数据同步到消息队列中;
创建模块,用于基于所述消息队列中的业务数据创建第二数据库;
查询模块,用于在所述第二数据库创建完成的情况下,获取对所述至少一个第一数据库的查询请求,基于所述查询请求在所述第二数据库中得到查询结果。
创建模块具体用于:
从所述消息队列中获取与设定查询条件相匹配的至少一个第一数据;
将所述至少一个第一数据写入第二数据库中。
所述装置还包括:
组装模块,用于基于设定数据结构,对所述至少一个第一数据进行组装;
写入模块,用于将组装后的所述至少一个第一数据写入所述第二数据库中。
所述装置还包括:
发送模块,用于当所述至少一个第一数据库中的任意一个第一数据库的业务数据发生变化时,将第三数据发送至所述消息队列;所述第三数据表征所述至少一个第一数据库中发生变化的业务数据;
获取模块,用于在所述第三数据与设定查询条件相匹配的情况下,从所述消息队列中获取所述第三数据;
更新模块,用于基于从所述消息队列中获取到的所述第三数据更新所述第二数据库。
同步模块具体用于:
基于所述至少一个第一数据库中的每个第一数据库对应的设定字段,从每个第一数据库中提取出与对应的设定字段相匹配的第一数据;
将所述与对应的设定字段相匹配的第一数据写入所述消息队列中。
所述设定数据结构表征组装后的所述至少一个第一数据中的每个第一数据在查询结果中的先后顺序。
所述第二数据库为全文搜索引擎ES数据库;
所述创建模块具体用于:基于所述业务数据中的所有字段创建所述第二数据库的索引。
实际应用时,所述同步模块、创建模块和查询模块可通过电子设备中的处理器,比如中央处理器(CPU,Central Processing Unit)、数字信号处理器(DSP,Digital SignalProcessor)、微控制单元(MCU,Microcontroller Unit)或可编程门阵列(FPGA,Field-Programmable Gate Array)等实现。
需要说明的是:上述实施例提供的电子设备的控制装置在进行电子设备的控制时,仅以上述各模块的划分进行举例说明,实际应用中,可以根据需要而将上述处理分配由不同的模块完成,即将装置的内部结构划分成不同的模块,以完成以上描述的全部或者部分处理。另外,上述实施例提供的电子设备的控制装置与电子设备的控制方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
基于上述程序模块的硬件实现,且为了实现本申请实施例的方法,本申请实施例还提供了一种电子设备。图11为本申请实施例电子设备的硬件组成结构示意图,如图11所示,电子设备包括:
通信接口,能够与其它设备比如网络设备等进行信息交互;
处理器,与所述通信接口连接,以实现与其它设备进行信息交互,用于运行计算机程序时,执行上述电子设备侧一个或多个技术方案提供的方法。而所述计算机程序存储在存储器上。
当然,实际应用时,电子设备中的各个组件通过总线系统耦合在一起。可理解,总线系统用于实现这些组件之间的连接通信。总线系统除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见,在图11中将各种总线都标为总线系统。
本申请实施例中的存储器用于存储各种类型的数据以支持电子设备的操作。这些数据的示例包括:用于在电子设备上操作的任何计算机程序。
可以理解,存储器可以是易失性存储器或非易失性存储器,也可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(ROM,Read Only Memory)、可编程只读存储器(PROM,Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM,Erasable Programmable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM,Electrically Erasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM,ferromagnetic random access memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM,Compact Disc Read-Only Memory);磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM,Random AccessMemory),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(SRAM,Static Random Access Memory)、同步静态随机存取存储器(SSRAM,Synchronous Static Random Access Memory)、动态随机存取存储器(DRAM,Dynamic Random Access Memory)、同步动态随机存取存储器(SDRAM,SynchronousDynamic Random Access Memory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM,Double Data Rate Synchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM,Enhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM,SyncLink Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM,Direct Rambus Random Access Memory)。本申请实施例描述的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
上述本申请实施例揭示的方法可以应用于处理器中,或者由处理器实现。处理器可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、DSP,或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤,可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中,该存储介质位于存储器,处理器读取存储器中的程序,结合其硬件完成前述方法的步骤。
可选地,所述处理器执行所述程序时实现本申请实施例的各个方法中由电子设备实现的相应流程,为了简洁,在此不再赘述。
在示例性实施例中,本申请实施例还提供了一种存储介质,即计算机存储介质,具体为计算机可读存储介质,例如包括存储计算机程序的第一存储器,上述计算机程序可由电子设备的处理器执行,以完成前述方法所述步骤。计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、Flash Memory、磁表面存储器、光盘、或CD-ROM等存储器。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置、电子设备和方法,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元,即可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本申请各实施例中的各功能单元可以全部集成在一个处理单元中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
或者,本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括:移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是,本申请实施例所记载的技术方案之间,在不冲突的情况下,可以任意组合。
另外,在本申请实例中,“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种数据查询方法,其特征在于,所述方法包括:
将至少一个第一数据库中的每个第一数据库的业务数据同步到消息队列中;
基于所述消息队列中的业务数据创建第二数据库;
在所述第二数据库创建完成的情况下,获取对所述至少一个第一数据库的查询请求,基于所述查询请求在所述第二数据库中得到查询结果。
2.根据权利要求1所述的方法,其特征在于,所述基于所述消息队列中的业务数据创建第二数据库,包括:
从所述消息队列中获取与设定查询条件相匹配的至少一个第一数据;
将所述至少一个第一数据写入第二数据库中。
3.根据权利要求2所述的方法,其特征在于,所述将所述至少一个第一数据写入第二数据库中,包括:
基于设定数据结构,对所述至少一个第一数据进行组装;
将组装后的所述至少一个第一数据写入所述第二数据库中。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
当所述至少一个第一数据库中的任意一个第一数据库的业务数据发生变化时,将第三数据发送至所述消息队列;所述第三数据表征所述至少一个第一数据库中发生变化的业务数据;
在所述第三数据与设定查询条件相匹配的情况下,从所述消息队列中获取所述第三数据;
基于从所述消息队列中获取到的所述第三数据更新所述第二数据库。
5.根据权利要求1所述的方法,其特征在于,所述将至少一个第一数据库中的每个第一数据库的业务数据同步到消息队列中,包括:
基于所述至少一个第一数据库中的每个第一数据库对应的设定字段,从每个第一数据库中提取出与对应的设定字段相匹配的第一数据;
将所述与对应的设定字段相匹配的第一数据写入所述消息队列中。
6.根据权利要求3所述的方法,其特征在于,所述方法还包括:
所述设定数据结构表征组装后的所述至少一个第一数据中的每个第一数据在查询结果中的先后顺序。
7.根据权利要求1所述的方法,其特征在于,所述第二数据库为全文搜索引擎ES数据库;
所述基于所述消息队列中的业务数据创建第二数据库时,所述方法包括:
基于所述业务数据中的所有字段创建所述第二数据库的索引。
8.一种数据处理装置,其特征在于,包括:
同步模块,用于将至少一个第一数据库中的每个第一数据库的业务数据同步到消息队列中;
创建模块,用于基于所述消息队列中的业务数据创建第二数据库;
查询模块,用于在所述第二数据库创建完成的情况下,获取对所述至少一个第一数据库的查询请求,基于所述查询请求在所述第二数据库中得到查询结果。
9.一种电子设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的数据处理方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时使所述处理器执行如权利要求1至7任一项所述的数据处理方法。
CN202110061444.6A 2021-01-18 2021-01-18 一种数据查询方法、装置、电子设备及存储介质 Pending CN113761053A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110061444.6A CN113761053A (zh) 2021-01-18 2021-01-18 一种数据查询方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110061444.6A CN113761053A (zh) 2021-01-18 2021-01-18 一种数据查询方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN113761053A true CN113761053A (zh) 2021-12-07

Family

ID=78786411

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110061444.6A Pending CN113761053A (zh) 2021-01-18 2021-01-18 一种数据查询方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113761053A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113961580A (zh) * 2021-12-22 2022-01-21 联通智网科技股份有限公司 数据查询方法、业务系统以及电子设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113961580A (zh) * 2021-12-22 2022-01-21 联通智网科技股份有限公司 数据查询方法、业务系统以及电子设备

Similar Documents

Publication Publication Date Title
US8645349B2 (en) Indexing structures using synthetic document summaries
CN107977396B (zh) 一种KeyValue数据库的数据表的更新方法与表数据更新装置
CN111414403B (zh) 数据访问方法和装置、数据存储方法和装置
US11216516B2 (en) Method and system for scalable search using microservice and cloud based search with records indexes
CN110162512B (zh) 一种日志检索方法、装置及存储介质
US10855637B2 (en) Architecture for large data management in communication applications through multiple mailboxes
US7908243B2 (en) Considering transient data also in reports generated based on data eventually stored in a data-warehouse
CN113761053A (zh) 一种数据查询方法、装置、电子设备及存储介质
US10200320B2 (en) Import content items from email
CN111753141A (zh) 一种数据管理方法及相关设备
CN116049142A (zh) 数据处理方法、装置、电子设备及存储介质
CN114218013A (zh) 搜索方法、装置、电子设备存储介质
CN112464049B (zh) 号码详单下载方法、装置和设备
CN110046172B (zh) 在线计算数据处理方法及系统
CN113672640A (zh) 数据查询方法、装置、计算机设备和存储介质
US11327802B2 (en) System and method for exporting logical object metadata
CN111221817B (zh) 业务信息数据存储方法、装置、计算机设备及存储介质
US8224808B2 (en) Tracking modifications to values of various fields in a database server
CN117234562A (zh) 配置参数更新方法、装置和计算机设备
CN116860131A (zh) 文件处理方法、装置、服务器及计算机存储介质
CN116226274A (zh) 元数据同步方法、分布式数据库系统和存储介质
CN117520442A (zh) 数据同步方法、装置、计算机程序产品、设备及存储介质
CN115686876A (zh) 消息处理位置回拨的方法、装置、电子设备及存储介质
CN116628037A (zh) 数据处理方法、装置、电子设备及计算机可读存储介质
CN116595033A (zh) 数据存储方法、装置、计算机设备、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination