CN113515541A - 数据库的数据查询方法、装置和系统 - Google Patents

数据库的数据查询方法、装置和系统 Download PDF

Info

Publication number
CN113515541A
CN113515541A CN202010272760.3A CN202010272760A CN113515541A CN 113515541 A CN113515541 A CN 113515541A CN 202010272760 A CN202010272760 A CN 202010272760A CN 113515541 A CN113515541 A CN 113515541A
Authority
CN
China
Prior art keywords
data
statistical result
database
data statistical
query
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010272760.3A
Other languages
English (en)
Inventor
刘科麟
赖来基
胡文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qianxin Technology Group Co Ltd
Qianxin Safety Technology Zhuhai Co Ltd
Original Assignee
Qianxin Technology Group Co Ltd
Qianxin Safety Technology Zhuhai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qianxin Technology Group Co Ltd, Qianxin Safety Technology Zhuhai Co Ltd filed Critical Qianxin Technology Group Co Ltd
Priority to CN202010272760.3A priority Critical patent/CN113515541A/zh
Publication of CN113515541A publication Critical patent/CN113515541A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2455Query execution
    • G06F16/24552Database cache management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2458Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2462Approximate or statistical queries

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种数据库的数据查询方法、装置及系统,涉及数据库技术领域。其中方法包括:接收数据查询请求;在缓存数据库中查询数据查询请求命中的第一数据统计结果,并对第一数据统计结果未涵盖的待查询数据进行实时统计,得到第二数据统计结果,其中,缓存数据库中保存有周期性的数据统计结果;将第一数据统计结果和第二数据统计结果进行合并下发。上述方法可以有效的缩短数据查询的时间,提高数据查询的效率,使得系统能够快速应对大规模网络环境下的数据查询的需求,且不会加剧系统性能的消耗。

Description

数据库的数据查询方法、装置和系统
技术领域
本发明涉及数据库技术领域,尤其是涉及一种数据库的数据查询方法、装置和系统。
背景技术
随着大型企事业、机关单位对局域网规模需求的不断增长,局域网中的终端数量越来越多,在一个大型的局域网系统中,终端数量通常可以达到几十万、甚至百万级别,在这种百万终端的场景下,大量终端同时发起数据上报操作,以及控制台发起对数据报表的实时查看的操作都是很普遍的需求。在不经过任何处理情况下,数据库的查询速度会随着数据量的增加而递减。如果控制台是web服务器,那么巨大的数据量就会造成web服务器响应超时,从而导致整个web服务器崩溃。
在这种情形下,如何对数据库系统进行有效维护,使其能够快速应对大规模网络环境下的数据查询的需求,且不会加剧系统性能的消耗成为了摆在技术人员眼前的一道难题。
发明内容
有鉴于此,本发明提供了一种数据库的数据查询方法、装置及系统,主要目的在于解决数据库的数据查询的效率低以及系统的性能消耗大的技术问题。
根据本发明的第一个方面,提供一种数据库的数据查询方法,所述方法包括:
接收数据查询请求;
在缓存数据库中查询数据查询请求命中的第一数据统计结果,并对第一数据统计结果未涵盖的待查询数据进行实时统计,得到第二数据统计结果,其中,缓存数据库中保存有周期性的数据统计结果;
将第一数据统计结果和第二数据统计结果进行合并下发。
在一个实施方式中,所述方法还包括:周期性遍历目标数据库中的数据,并将目标数据库中当前周期内更新的数据进行统计,得到周期性的数据统计结果;将周期性的数据统计结果保存在缓存数据库中。
在一个实施方式中,在缓存数据库中查询出数据查询请求命中的第一数据统计结果,包括:在数据查询请求中提取出待查询数据的名称和查询的时间范围;在缓存数据库中查询出与待查询数据的名称相同的携带了第一时间信息的第一数据统计结果,其中,第一时间信息在查询的时间范围内。
在一个实施方式中,对第一数据统计结果未涵盖的待查询数据进行实时统计,得到第二数据统计结果,包括:在查询的时间范围内筛选出第一时间信息未涵盖的第二时间信息;在目标数据库中查询携带了第二时间信息且与待查询数据的名称相同的数据;针对所述数据进行实时统计,得到第二数据统计结果。
在一个实施方式中,所述方法还包括:将第二数据统计结果保存在缓存数据库中。
在一个实施方式中,将第一数据统计结果和第二数据统计结果进行合并下发,包括:将第一数据统计结果和第二数据统计结果按照时间的顺序整合在报表中;将整合后的报表进行下发。
根据本发明的第二个方面,提供一种数据库的数据查询装置,所述装置包括:
查询请求接收模块,用于接收数据查询请求;
查询结果生成模块,用于在缓存数据库中查询出数据查询请求命中的第一数据统计结果,并对第一数据统计结果未涵盖的待查询数据进行实时统计,得到第二数据统计结果,其中,缓存数据库中保存有周期性的数据统计结果;
查询结果下发模块,用于将第一数据统计结果和第二数据统计结果进行合并下发。
在一个实施方式中,所述装置还包括:
数据周期统计模块,用于周期性遍历目标数据库中的数据,并将目标数据库中当前周期内更新的数据进行统计,得到周期性的数据统计结果;
统计结果缓存模块,用于将周期性的数据统计结果保存在缓存数据库中。
在一个实施方式中,所述查询结果生成模块,具体用于在数据查询请求中提取出待查询数据的名称和查询的时间范围;在缓存数据库中查询出与待查询数据的名称相同的携带了第一时间信息的第一数据统计结果,其中,第一时间信息在查询的时间范围内。
在一个实施方式中,所述查询结果生成模块,具体还用于在查询的时间范围内筛选出第一时间信息未涵盖的第二时间信息;在目标数据库中查询出携带了第二时间信息且与待查询数据的名称相同的数据;针对所述数据进行实时统计,得到第二数据统计结果。
在一个实施方式中,所述统计结果缓存模块,还用于将第二数据统计结果保存在缓存数据库中。
在一个实施方式中,所述查询结果下发模块,具体用于将第一数据统计结果和第二数据统计结果按照时间的顺序整合在报表中;将整合后的报表进行下发。
根据本发明的第三个方面,提供一种存储介质,其上存储有计算机程序,所述程序被处理器执行时实现上述数据库的数据查询方法。
根据本发明的第四个方面,提供一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述数据库的数据查询方法。
根据本发明的第五个方面,提供一种数据库的数据查询系统,所述系统包括终端和数据库服务器;数据库服务器执行上述实施方式的数据库的数据查询方法,其中:
所述终端,用于上报数据查询请求;
所述数据库服务器,用于接收数据查询请求,并在缓存数据库中查询出数据查询请求命中的第一数据统计结果,并对第一数据统计结果未涵盖的待查询数据进行实时统计,得到第二数据统计结果,其中,缓存数据库中保存有周期性的数据统计结果;
所述数据库服务器,还用于将第一数据统计结果和第二数据统计结果进行合并下发。
根据本发明的第六个方面,提供一种计算机程序产品,包括存储在非暂态计算机可读存储介质上的计算程序,该计算机程序包括程序指令,当该程序指令被计算机执行时,使该计算机执行上述数据库的数据查询方法的步骤。
本发明提供的一种数据库的数据查询方法、装置和系统,首先依据接收到的数据查询请求,在缓存数据库中查询数据查询请求命中的第一数据统计结果,然后对第一数据统计结果未涵盖的待查询数据进行实时统计,得到第二数据统计结果,最后将第一数据统计结果和第二数据统计结果进行合并和下发,通过这种方式,可以有效的缩短数据查询的时间,提高数据查询的效率,使得系统能够快速应对大规模网络环境下的数据查询的需求,且不会加剧系统性能的消耗。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本发明的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1示出了本发明实施例提供的一种数据库的数据查询方法的流程示意图;
图2示出了本发明实施例提供的另一种数据库的数据查询方法的流程示意图;
图3示出了本发明实施例提供的一种数据库的数据查询装置的结构示意图;
图4示出了本发明实施例提供的另一种数据库的数据查询装置的结构示意图;
图5示出了本发明实施例提供的一种数据库的数据查询系统的结构示意图;
图6示出了本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到:除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
同时,应当明白,为了便于描述,附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为说明书的一部分。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
本发明实施例可以应用于计算机系统/服务器,其可与众多其它通用或专用计算系统环境或配置一起操作。适于与计算机系统/服务器一起使用的众所周知的计算系统、环境和/或配置的例子包括但不限于:个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统、大型计算机系统和包括上述任何系统的分布式云计算技术环境,等等。
计算机系统/服务器可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常,程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等,它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施,分布式云计算环境中,任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中,程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是,在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。
在一个实施例中,如图1所示,提供了一种数据库的数据查询方法,包括以下步骤:
101、接收数据查询请求。
其中,本实施例所提出的方法可以应用在数据库服务器上,其操作对象为目标数据库和缓存数据库,可以理解的是,目标数据库和缓存数据库可以为同一个存储空间中人为划分出的不同存储区域,目的在于分类存储和管理数据库中的数据,在本实施例中,目标数据库中可以随时接受终端上报的数据,因而,用户可以随时对已上报数据进行新增、查询、更新、删除等操作。
具体的,数据库服务器可以直接接收终端发送的数据查询请求,也可以接收通过控制台转发的数据查询请求。
102、在缓存数据库中查询出数据查询请求命中的第一数据统计结果,并对第一数据统计结果未涵盖的待查询数据进行实时统计,得到第二数据统计结果。
具体的,数据库服务器在接收到数据查询请求后,首先会在数据查询请求中提取出待查询数据的名称和查询的时间范围,然后在缓存数据库中查询与待查询数据的名称相同的携带了第一时间信息的第一数据统计结果,其中,第一时间信息在待查询数据的查询的时间范围内,最后,数据库服务器可以将查询到的若干个数据统计结果合并,得到第一数据统计结果。
需要说明的是,缓存数据库中存储有周期性的数据统计结果,该周期性的数据统计结果是数据库服务器周期性遍历目标数据库中的数据,并将目标数据库中当前周期内更新的数据进行数据统计得到的。其中,遍历周期可以根据目标数据库中数据的更新速度进行自动设定,如果数据更新较快或数据量较多,可以在每一天的同一个时间对目标服务器进行一次遍历,如果数据更新较慢或数据量较少,则可以每隔3天、5天或一周对目标服务器进行一次遍历,例如,假设遍历周期为1天,则目标数据库中当前周期内更新的数据是遍历时刻当前24小时内更新的数据,周期性的数据统计结果是每一个遍历时刻当前24小时内更新的数据的数据统计结果,其中,该周期性的数据统计结果可以以报表形式存储在缓存数据库中。
进一步的,数据库服务器可以根据从数据查询请求中提取出的待查询数据的名称和查询的时间范围对目标数据库中的待查询数据进行实时的数据统计,统计的数据的时间范围可以是整个查询的时间范围内所有与待查询数据的名称相同的数据,也可以是排除了第一时间信息的查询的时间范围内与待查询数据的名称相同的数据。另外,数据库服务器还可以将实时统计的第二数据统计结果保存在缓存数据库中,以使数据库服务器在之后的时间内再次接收到针对同一数据名称的数据查询请求后,可以直接在缓存数据库中提取出该数据统计结果,可以理解的是,再次被提取出的该数据的数据统计结果应为第一数据统计结果。
103、将第一数据统计结果和第二数据统计结果进行合并下发。
具体的,数据库服务器可以将缓存在缓存数据库中的第一数据统计结果和实时统计的第二数据统计结果按照时间的先后顺序整合在报表中,然后再将整合后报表下发给控制台和终端。
本实施例提供的数据库的数据查询方法,首先依据接收到的数据查询请求,在缓存数据库中查询数据查询请求命中的第一数据统计结果,然后对第一数据统计结果未涵盖的待查询数据进行实时统计,得到第二数据统计结果,最后将第一数据统计结果和第二数据统计结果进行合并和下发,通过这种方式,可以有效的缩短数据查询的时间,提高数据查询的效率,使得系统能够快速应对大规模网络环境下的数据查询的需求,且不会加剧系统性能的消耗。
进一步的,作为上述实施例具体实施方式的细化和扩展,为了完整说明本实施例的实施过程,提供了数据库的数据查询方法,如图2所示,该方法包括以下步骤:
201、周期性遍历目标数据库中的数据,并将目标数据库中当前周期内更新的数据进行统计,得到周期性的数据统计结果。
具体的,数据库服务器可以周期性遍历目标数据库中的所有数据,并将目标数据库中当前周期内更新的数据进行数据统计,得到周期性的数据统计结果,其中,遍历周期可以根据目标数据库中数据的更新速度进行自动设定,如果数据更新较快或数据量较多,可以在每一天的同一个时间对目标服务器进行一次遍历,如果数据更新较慢或数据量较少,则可以每隔3天、5天或一周对目标服务器进行一次遍历。例如,假设遍历周期为1天,则目标数据库中当前周期内更新的数据是遍历时刻当前24小时内更新的数据,周期性的数据统计结果就是每一个遍历时刻当前24小时内更新的数据的数据统计结果。
202、将周期性的数据统计结果保存在缓存数据库中。
具体的,可以将周期性的数据统计结果以报表形式存储在缓存数据库中,以使数据库服务器在之后的时间内接收到针对某一数据的数据查询请求时,可以直接在缓存数据库中提取出该数据统计结果,
203、接收数据查询请求。
具体的,数据库服务器可以直接接收终端发送的数据查询请求,也可以接收通过控制台转发的数据查询请求,在接收到数据查询请求后,数据库服务器会在数据查询请求中提取出待查询数据的名称和查询的时间范围。
204、在缓存数据库中查询出数据查询请求命中的第一数据统计结果。
具体的,数据库服务器可以依据数据查询请求中待查询数据的名称和查询的时间范围,在缓存数据库中查询与待查询数据的名称相同的携带了第一时间信息的第一数据统计结果,其中,第一时间信息在查询的时间范围内,继而,数据库服务器可以将查询到的若干个数据统计结果合并,得到第一数据统计结果。例如,某终端发送一条数据查询请求,请求查询某数据当前五天内的数据统计结果,其中,缓存数据库中存储有前四天的该数据的数据统计结果,则第一时间信息为前四天的日期和时刻,第一数据统计结果为前四天的该数据的数据统计结果的集合,进一步的,该第一数据统计结果可以以报表形式返回给数据库服务器。
205、针对第一数据统计结果未涵盖的待查询数据进行实时统计,得到第二数据统计结果。
具体的,数据库服务器可以根据第一时间信息和查询的时间范围之间的差值,筛选出第一时间信息未涵盖的第二时间信息。例如,某终端发送一条数据查询请求,请求查询某数据当前五天内的数据统计结果,其中,缓存数据库中存储有前四天的该数据的数据统计结果,第一时间信息为前四天的日期和时刻,则第二时间信息为第五天的日期和时刻。
进一步的,数据库服务器可以在目标数据库中查询携带了第二时间信息的与待查询数据的名称相同的数据,然后针对查询出的数据进行实时的数据统计,得到第二数据统计结果。例如,某终端发送一条数据查询请求,请求查询某数据当前五天内的数据统计结果,其中,缓存数据库中存储有前四天的该数据的数据统计结果,第二时间信息为第五天的日期和时刻,则第二数据统计结果为第五天的该数据的各时刻的数据统计结果的集合,进一步的,该第二数据统计结果也可以以报表形式返回给数据库服务器。
206、将第二数据统计结果保存在缓存数据库中。
具体的,数据库服务器可以将实时统计的第二数据统计结果保存在缓存数据库中,以使数据库服务器在之后的时间内再次接收到针对同一数据名称的数据查询请求后,可以直接在缓存数据库中提取出该数据统计结果,可以理解的是,再次被提取出的该数据的数据统计结果应为第一数据统计结果。
207、将第一数据统计结果和第二数据统计结果进行合并下发。
具体的,数据库服务器可以将缓存在缓存数据库中的第一数据统计结果和实时统计的第二数据统计结果按照时间的先后顺序整合在报表中,然后再将整合后报表下发给控制台和终端。
本实施例提供的数据库的数据查询方法,通过将缓存数据库中的第一数据统计结果和目标数据库中实时统计的第二数据统计结果相结合,充分的利用两个数据统计结果之间的互补性,节约了数据库的性能损耗,提高了数据查询的速度和效率,使得系统能够快速应对大规模网络环境下的数据查询的需求。
进一步的,作为图1、图2所示方法的具体实现,本实施例提供了一种数据库的数据查询装置,如图3所示,该装置包括查询请求接收模块31、查询结果生成模块32、查询结果下发模块33,其中,
查询请求接收模块31,可用于接收数据查询请求;
查询结果生成模块32,可用于在缓存数据库中查询数据查询请求命中的第一数据统计结果,并对第一数据统计结果未涵盖的待查询数据进行实时统计,得到第二数据统计结果,其中,缓存数据库中保存有周期性的数据统计结果;
查询结果下发模块33,可用于将第一数据统计结果和第二数据统计结果进行合并下发。
在具体的应用场景中,如图4所示,所述装置还包括:
数据周期统计模块34,可用于周期性遍历目标数据库中的数据,并将目标数据库中当前周期内更新的数据进行统计,得到周期性的数据统计结果;
统计结果缓存模块35,可用于将周期性的数据统计结果保存在缓存数据库中。
在具体的应用场景中,所述查询结果生成模块32,具体可用于在数据查询请求中提取出待查询数据的名称和查询的时间范围;在缓存数据库中查询出与待查询数据的名称相同的携带了第一时间信息的第一数据统计结果,其中,第一时间信息在查询的时间范围内。
在具体的应用场景中,所述查询结果生成模块32,具体还可用于在查询的时间范围内筛选出第一时间信息未涵盖的第二时间信息;在目标数据库中查询出携带了第二时间信息且与待查询数据的名称相同的数据;针对所述数据进行实时统计,得到第二数据统计结果。
在具体的应用场景中,如图4所示,所述统计结果缓存模块35,还可用于将第二数据统计结果保存在缓存数据库中。
在具体的应用场景中,所述查询结果下发模块33,具体可用于将第一数据统计结果和第二数据统计结果按照时间的顺序整合在报表中;将整合后的报表进行下发。
需要说明的是,本实施例提供的一种数据库的数据查询装置所涉及各功能单元的其它相应描述,可以参考图1、图2中的对应描述,在此不再赘述。
基于上述如图1、图2所示方法,相应的,本实施例还提供了一种数据库的数据查询系统,如图5所示,该系统包括终端、数据库服务器、目标数据库和缓存数据库,其中,数据库服务器可以执行上述任一项实施例所述的数据库的数据查询方法,具体的,
终端,可用于上报数据查询请求给数据库服务器;
数据库服务器,可用于接收数据查询请求,并在缓存数据库中查询出数据查询请求命中的第一数据统计结果,并对目标数据库中第一数据统计结果未涵盖的待查询数据进行实时统计,得到第二数据统计结果,其中,缓存数据库中保存有周期性的数据统计结果,目标数据库中保存有待查询数据;
数据库服务器,还可用于将第一数据统计结果和第二数据统计结果进行合并下发,并将查询结果返回给终端。
基于这样的理解,本申请的技术方案可以以软件产品的形式体现出来,该待识别软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施场景所述的方法。
基于上述如图1、图2所示的方法,图3和图4所示的数据库的数据查询装置和图5所示的数据库的数据查询系统的实施例,为了实现上述目的,本实施例还提供了一种数据库的数据查询的实体电子设备,如图6所示,该电子设备具体可以为个人计算机、服务器、智能手机、平板电脑、智能手表、或者其它网络设备等,该实体设备包括存储介质和处理器;存储介质,用于存储计算机程序;处理器,用于执行计算机程序以实现上述如图1、图2所示的方法。
可选的,该实体设备还可以包括用户接口、网络接口、摄像头、射频(RadioFrequency,RF)电路,传感器、音频电路、WI-FI模块等等。用户接口可以包括显示屏(Display)、输入单元比如键盘(Keyboard)等,可选用户接口还可以包括USB接口、读卡器接口等。网络接口可选的可以包括标准的有线接口、无线接口(如WI-FI接口)等。
本领域技术人员可以理解,本实施例提供的一种数据库的数据查询的实体设备结构并不构成对该实体设备的限定,可以包括更多或更少的部件,或者组合某些部件,或者不同的部件布置。
存储介质中还可以包括操作系统、网络通信模块。操作系统是管理上述实体设备硬件和待识别软件资源的程序,支持信息处理程序以及其它待识别软件和/或程序的运行。网络通信模块用于实现存储介质内部各组件之间的通信,以及与信息处理实体设备中其它硬件和软件之间通信。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到本申请可以借助软件加必要的通用硬件平台的方式来实现,也可以通过硬件实现。通过应用本申请的技术方案,可以有效的缩短数据查询的时间,提高数据查询的效率,使得系统能够快速应对大规模网络环境下的数据查询的需求,且不会加剧系统性能的消耗。
本说明书中各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言,由于其与方法实施例基本对应,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
可能以许多方式来实现本发明的方法和系统。例如,可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本发明的方法和系统。用于所述方法的步骤的上述顺序仅是为了进行说明,本发明的方法的步骤不限于以上具体描述的顺序,除非以其它方式特别说明。此外,在一些实施例中,还可将本发明实施为记录在记录介质中的程序,这些程序包括用于实现根据本发明的方法的机器可读指令。因而,本发明还覆盖存储用于执行根据本发明的方法的程序的记录介质。
本发明的描述是为了示例和描述起见而给出的,而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本发明的原理和实际应用,并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。

Claims (10)

1.一种数据库的数据查询方法,其特征在于,所述方法包括:
接收数据查询请求;
在缓存数据库中查询出所述数据查询请求命中的第一数据统计结果,并对所述第一数据统计结果未涵盖的待查询数据进行实时统计,得到第二数据统计结果,其中,所述缓存数据库中保存有周期性的数据统计结果;
将所述第一数据统计结果和所述第二数据统计结果进行合并下发。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
周期性遍历目标数据库中的数据,并将所述目标数据库中当前周期内更新的数据进行统计,得到周期性的数据统计结果;
将所述周期性的数据统计结果保存在所述缓存数据库中。
3.根据权利要求2所述的方法,其特征在于,所述在缓存数据库中查询出所述数据查询请求命中的第一数据统计结果,包括:
在所述数据查询请求中提取出待查询数据的名称和查询的时间范围;
在所述缓存数据库中查询出与所述待查询数据的名称相同的携带了第一时间信息的第一数据统计结果,其中,所述第一时间信息在所述查询的时间范围内。
4.根据权利要求3所述的方法,其特征在于,所述对所述第一数据统计结果未涵盖的待查询数据进行实时统计,得到第二数据统计结果,包括:
在所述查询的时间范围内筛选出所述第一时间信息未涵盖的第二时间信息;
在目标数据库中查询出携带了第二时间信息且与所述待查询数据的名称相同的数据;
针对所述数据进行实时统计,得到第二数据统计结果。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
将所述第二数据统计结果保存在所述缓存数据库中。
6.根据权利要求5所述的方法,其特征在于,所述将所述第一数据统计结果和所述第二数据统计结果进行合并下发,包括:
将所述第一数据统计结果和所述第二数据统计结果按照时间的顺序整合在报表中;
将所述整合后的报表进行下发。
7.一种数据库的数据查询装置,其特征在于,所述装置包括:
查询请求接收模块,用于接收数据查询请求;
查询结果生成模块,用于在缓存数据库中查询出所述数据查询请求命中的第一数据统计结果,并对所述第一数据统计结果未涵盖的待查询数据进行实时统计,得到第二数据统计结果,其中,所述缓存数据库中保存有周期性的数据统计结果;
查询结果下发模块,用于将所述第一数据统计结果和所述第二数据统计结果进行合并下发。
8.一种存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
9.一种数据库的数据查询系统,其特征在于,所述系统包括终端和数据库服务器;所述数据库服务器执行权利要求1至6中任一项所述的数据库的数据查询方法,其中:
所述终端,用于上报数据查询请求;
所述数据库服务器,用于接收所述数据查询请求,并在缓存数据库中查询出所述数据查询请求命中的第一数据统计结果,并对所述第一数据统计结果未涵盖的待查询数据进行实时统计,得到第二数据统计结果,其中,所述缓存数据库中保存有周期性的数据统计结果;
所述数据库服务器,还用于将所述第一数据统计结果和所述第二数据统计结果进行合并下发。
10.一种计算机程序产品,包括存储在非暂态计算机可读存储介质上的计算程序,该计算机程序包括程序指令,其特征在于,当该程序指令被计算机执行时,使该计算机执行前述任一权利要求1至6中任一项所述的方法的步骤。
CN202010272760.3A 2020-04-09 2020-04-09 数据库的数据查询方法、装置和系统 Pending CN113515541A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010272760.3A CN113515541A (zh) 2020-04-09 2020-04-09 数据库的数据查询方法、装置和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010272760.3A CN113515541A (zh) 2020-04-09 2020-04-09 数据库的数据查询方法、装置和系统

Publications (1)

Publication Number Publication Date
CN113515541A true CN113515541A (zh) 2021-10-19

Family

ID=78060125

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010272760.3A Pending CN113515541A (zh) 2020-04-09 2020-04-09 数据库的数据查询方法、装置和系统

Country Status (1)

Country Link
CN (1) CN113515541A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114138798A (zh) * 2022-01-29 2022-03-04 阿里巴巴达摩院(杭州)科技有限公司 查询结果命中概率估计系统、方法、电子设备及介质
CN114416817A (zh) * 2021-12-21 2022-04-29 北京镁伽科技有限公司 用于处理数据的方法、装置、设备、系统及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040236726A1 (en) * 2003-05-19 2004-11-25 Teracruz, Inc. System and method for query result caching
CN101090401A (zh) * 2007-05-25 2007-12-19 金蝶软件(中国)有限公司 一种群集环境下的数据缓存方法及系统
CN101110074A (zh) * 2007-01-30 2008-01-23 浪潮乐金信息系统有限公司 基于文件系统缓存的数据加速查询方法
US20100223227A1 (en) * 2007-11-09 2010-09-02 Alibaba Group Holding Limited Statistical Applications in OLTP Environment
CN107590275A (zh) * 2017-09-27 2018-01-16 北京奇虎科技有限公司 一种数据查询方法和装置
CN110222073A (zh) * 2019-06-10 2019-09-10 腾讯科技(深圳)有限公司 一种数据查询的方法以及相关装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040236726A1 (en) * 2003-05-19 2004-11-25 Teracruz, Inc. System and method for query result caching
CN101110074A (zh) * 2007-01-30 2008-01-23 浪潮乐金信息系统有限公司 基于文件系统缓存的数据加速查询方法
CN101090401A (zh) * 2007-05-25 2007-12-19 金蝶软件(中国)有限公司 一种群集环境下的数据缓存方法及系统
US20100223227A1 (en) * 2007-11-09 2010-09-02 Alibaba Group Holding Limited Statistical Applications in OLTP Environment
CN107590275A (zh) * 2017-09-27 2018-01-16 北京奇虎科技有限公司 一种数据查询方法和装置
CN110222073A (zh) * 2019-06-10 2019-09-10 腾讯科技(深圳)有限公司 一种数据查询的方法以及相关装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
易俗: "分布式环境下的频繁数据缓存策略", 《计算机应用与软件》, pages 12 - 17 *
王东宇: "面向数据空间的倒排列表并行化查询方法研究", 《信息科技》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114416817A (zh) * 2021-12-21 2022-04-29 北京镁伽科技有限公司 用于处理数据的方法、装置、设备、系统及存储介质
CN114138798A (zh) * 2022-01-29 2022-03-04 阿里巴巴达摩院(杭州)科技有限公司 查询结果命中概率估计系统、方法、电子设备及介质

Similar Documents

Publication Publication Date Title
CN107391538B (zh) 点击数据采集、处理和展示方法、装置、设备及存储介质
CN110727727B (zh) 一种数据库的统计方法及装置
CN112035531B (zh) 敏感数据处理方法、装置、设备及介质
CN106909495B (zh) 一种数据的窗口统计方法、装置及系统
CN105512320A (zh) 一种用户排名获得方法、装置及服务器
US20190370800A1 (en) Method, System, and Computer Program Product for Aggregating Data from a Plurality of Sources
CN108415964A (zh) 数据表查询方法、装置、终端设备及存储介质
CN107798135B (zh) 分页查询方法及装置和电子设备
CN111046237A (zh) 用户行为数据处理方法、装置、电子设备及可读介质
CN113515541A (zh) 数据库的数据查询方法、装置和系统
CN109947729A (zh) 一种实时数据分析方法及装置
CN114398520A (zh) 数据检索方法、系统、装置、电子设备及存储介质
WO2019143370A1 (en) Method, system, and computer program product for real-time data aggregation
CN109560940B (zh) 一种内容分发网络cdn服务的计费方法及装置
CN112328658B (zh) 用户档案数据处理方法、装置、设备及存储介质
CN110704486A (zh) 数据处理方法、装置、系统、存储介质和服务器
CN110619006A (zh) 基于物联网的统计数据管理方法、装置、平台和存储介质
CN113515497A (zh) 数据库的数据处理方法、装置及系统
CN112559838A (zh) 一种无人仓运行情况分析方法和装置
CN115481026A (zh) 测试案例的生成方法、装置、计算机设备、存储介质
CN114239510A (zh) 业务信息的处理方法、装置、存储介质和电子设备
US10019248B2 (en) System and method for service matching of instant message software
US20190392498A1 (en) Recommendation engine and system
CN112799863A (zh) 用于输出信息的方法和装置
CN110019352B (zh) 用于存储数据的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination