CN113177068A - 一种聚合数据查询方法、设备及介质 - Google Patents

一种聚合数据查询方法、设备及介质 Download PDF

Info

Publication number
CN113177068A
CN113177068A CN202110278063.3A CN202110278063A CN113177068A CN 113177068 A CN113177068 A CN 113177068A CN 202110278063 A CN202110278063 A CN 202110278063A CN 113177068 A CN113177068 A CN 113177068A
Authority
CN
China
Prior art keywords
natural
time
query
data
time range
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110278063.3A
Other languages
English (en)
Inventor
张青松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
New H3C Security Technologies Co Ltd
Original Assignee
New H3C Security Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by New H3C Security Technologies Co Ltd filed Critical New H3C Security Technologies Co Ltd
Priority to CN202110278063.3A priority Critical patent/CN113177068A/zh
Publication of CN113177068A publication Critical patent/CN113177068A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24552—Database cache management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24553—Query execution of query operations
    • G06F16/24554—Unary operations; Data partitioning operations
    • G06F16/24556—Aggregation; Duplicate elimination

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请提供了一种聚合数据查询方法、设备及介质。方法包括：接收包含查询条件以及查询时间范围的数据查询请求；将查询时间范围划分为起始时间范围、截止时间范围、每个中间时间块；按照最长时间块到最短时间块的顺序，根据查询条件查询每个中间时间块内的缓存数据，获取一个以上中间自然时间聚合结果；根据查询条件实时聚合查询起始时间范围内的未缓存数据，获取起始时间聚合结果；根据查询条件实时聚合查询截止时间范围内的未缓存数据，获取截止时间聚合结果；将一个以上中间自然时间聚合结果、起始时间聚合结果以及截止时间聚合结果聚合合成为数据查询结果。

Description

一种聚合数据查询方法、设备及介质
技术领域
本申请涉及数据库技术，特别涉及一种聚合数据查询方法、设备及介质。
背景技术
随着物联网、社交网络、云计算等技术不断融入我们的生活，并伴随着计算能力、存储空间、网络带宽的高速发展，大量生活、工作等事务产生的数据都已经信息化，人类产生的数据量相比以前有了爆炸式的增长，不同领域、不同行业产生并累积了大量的数据。与此同时，传统的数据存储及查询技术已经无法胜任新的环境，由此催生了许多新型的支持大数据量存储及查询的数据库。但是，即便有了新型的开源数据库，在服务器配置(内存)有限的情况下，对于大数据量的聚合查询仍是十分缓慢。
用户在执行聚合查询操作时，输入查询条件，聚合查询系统判断是否有相同条件的有效缓存数据。当系统确定有相同条件的有效缓存数据，直接返回查询到的数据。当系统未查询到相同条件的有效缓存数据时，则执行全量实时查询，全量时间范围的聚合查询非常缓慢。
发明内容
本申请的目的提供一种聚合数据查询方法、设备及介质，根据不同时间范围条件的聚合查询，快速的获取聚合结果。
本申请提供一种聚合数据查询方法包括：接收包含查询条件以及查询时间范围的数据查询请求；将查询时间范围划分为起始时间范围、截止时间范围、每个中间时间块；按照最长时间块到最短时间块的顺序，根据查询条件查询每个中间时间块内的缓存数据，获取一个以上中间自然时间聚合结果；根据查询条件实时聚合查询起始时间范围内的未缓存数据，获取起始时间聚合结果；根据查询条件实时聚合查询截止时间范围内的未缓存数据，获取截止时间聚合结果；将一个以上中间自然时间聚合结果、起始时间聚合结果以及截止时间聚合结果聚合合成为数据查询结果。
本申请还提供了一种聚合数据查询设备，用以执行实现上述方法的处理。
本申请还提供了一种计算机可读存储介质，存储有计算机可读指令，这些指令被处理器执行时使得处理器执行上述方法的处理。
本申请的有益效果在于，可通过查询缓存体数据获取中间时间段数据，并实时聚合查询余下小部分时间段数据，从而快速的获取聚合结果，及时的对业务进行判断和处理。
附图说明
图1为本申请实施例提供的聚合数据查询的流程图；
图2为本申请实施例提供的存储聚合数据的流程图；
图3为本申请实施例提供的聚合数据查询时间范围的示意图。
具体实施方式
将以多个附图所示的多个例子进行详细说明。在以下详细描述中，多个具体细节用于提供对本申请的全面理解。实例中没有详细地描述已知的方法、步骤、组件以及电路，以免使这些例子的难于理解。
使用的术语中，术语“包括”表示包括但不限于；术语“含有”表示包括但不限于；术语“以上”、“以内”以及“以下”包含本数；术语“大于”、“小于”表示不包含本数。术语“基于”表示至少基于其中一部分。
图1所示为一种聚合数据查询方法实施例的流程图，该方法包括：
步骤101，接收包含查询条件以及查询时间范围的数据查询请求。
步骤102，将查询时间范围划分为起始时间范围、截止时间范围、每个中间时间块。
本步骤中，起始时间范围是指查询时间范围的查询起始时间到最近下一个整点时间；截止时间范围是指查询时间范围的查询截止时间到最近的上一个整点时间。
步骤103，按照最长时间块到最短时间块的顺序，根据查询条件查询每个中间时间块内的缓存数据，获取一个以上中间自然时间聚合结果。
步骤104，根据查询条件实时聚合查询起始时间范围内的未缓存数据，获取起始时间聚合结果。
步骤105，根据查询条件实时聚合查询截止时间范围内的未缓存数据，获取截止时间聚合结果。
步骤106，将一个以上中间自然时间聚合结果、起始时间聚合结果以及截止时间聚合结果聚合合成为数据查询结果。
图1所示方法的有益效果在于，可通过查询缓存体数据获取中间时间段数据，并实时聚合查询余下小部分时间段数据，从而快速的获取聚合结果，及时的对业务进行判断和处理。
图2为本申请实施例提供的存储聚合数据的流程图。图2所示的方法可以用应用于缓存体的中不同的数据类型，根据不同的业务场景，用户可自定义缓存任务的聚合字段，即缓存任务中需要聚合查询的字段，聚合字段可以是可多字段组合。在系统中配置缓存任务在每个小时到达时执行。图2方法包括以下几个步骤：
步骤201，一个自然小时是否开始计时；若是，则执行步骤202，若否，则返回。
本申请中，中间时间块按照自然时间划分，是指不是用户自定义的时间。时间块按照时间长短的顺序分为：自然小时、自然日、自然月、自然年。每个小时开始时，缓存任务开始执行。
步骤202，将迁移将前一小时内未缓存数据缓存为一个中间自然时聚合数据。
假如，当第一个缓存任务在一月一日的凌晨0点到达后执行，则将前一日的晚上23点到00点之间的未缓存数据缓存为一个中间自然时聚合数据。
假如，当第二个缓存任务在一月一日的凌晨1点到达后执行，则将当天凌晨0点到1点之间的未缓存数据缓存为一个中间自然时聚合数据。
步骤203，判断当前小时是否是自然日的第一个小时，若是，执行步骤204，若否，返回步骤201。
第一个缓存任务判断当前小时是自然日的第一个小时，则继续执行步骤204。
第二个缓存任务判断当前小时不是自然日的第一个小时，则返回步骤201。
步骤204，将前一自然日的所有中间自然时聚合数据缓存为一个中间自然日聚合数据。
第一个缓存任务将前一天(即前一年的12月31日)的24个小时分别聚合缓存的24个中间自然时聚合数据缓存为一个中间自然日聚合数据。
步骤205，判断当前小时是否是自然月的第一个小时，若是，则执行步骤206，若否，则返回步骤201。
第一个缓存任务判断当前小时是自然月的第一个小时，则执行步骤206。
假如，第三个缓存任务是在四月七日凌晨的0点到达后执行，先将前一小时的未缓存数据聚合一个中间自然时聚合数据(参见步骤202)；然后判断当前小时是自然日的第一个小时(参见步骤203)，将前一日(即3月31日)的所有中间数据聚合为一个中间自然日聚合数据(参见步骤204)；但是判断当前小时不是自然月的第一个小时，则返回步骤201。
步骤206，将前一月的所有中间自然日聚合数据缓存为一个中间自然月聚合数据。
第一个缓存任务将前一月(即前一年的12月)的所有中间自然日聚合数据缓存为一个中间自然月聚合数据之后。
步骤207，判断当前小时是否自然年的第一个小时，若是，执行步骤208，若否，返回步骤201。
第一个缓存任务判断当前小时是自然年的第一个小时，则执行步骤208。
假如，第四个缓存任务是在五月一日凌晨的0点到达后执行，先将前一小时的未缓存数据聚合为一个中间自然时聚合数据(参见步骤202)，然后判断当前小时是自然日的第一个小时(参见步骤203)，然后将前一日(即4月30日)的所有中间自然时数据聚合为一个中间自然日聚合数据(参见步骤204)；判断当前小时是自然月的第一个小时，将前一个月(即，4月)的所有中间自然日聚合数据聚合为一个中间自然月聚合数据(参见步骤206)；但是判断当前小时不是自然年的第一个小时，则返回步骤201。
步骤208，将前一自然年的所有中间自然月聚合数据缓存为一个中间自然年聚合数据。
第一个缓存任务在时间块的时间从短到长的顺序，依次完成了步骤202、204、206的处理后，前一年的所有自然月聚合数据缓存为一个中间自然年聚合数据。
图3为本申请实施例提供的聚合数据查询时间范围的示意图。图3中，当聚合数据系统的数据查询请求包含查询条件以及查询时间范围2017年7月10日14点42分23秒-2020年5月24日9点12分30秒。
聚合数据系统将将查询时间范围划分为起始时间范围R1、截止时间范围R2以及中间时间块。其中，中间时间块包括：中间自然时H1和H2、中间自然日D1和D2、中间自然月M1和M2、中间自然年Y。
起始时间范围R1是用户查询的起始时间到最近的下一个整点时间，即2017年7月10日14点42分23秒-2017年7月10日15点。
截止时间范围R2：用户查询的结束时间到最近的上一个整点时间，即-2020年5月24日9点-2020年5月24日9点12分30秒。
中间自然时H1：起始时间范围R1到其次日前的每个小时(即2017年7月10日15点-2017年7月10日24点/2017年7月11日0点)；中间自然时H2：截止时间范围R1在其当日之前的每个小时(即，2020年5月24日9点24点-2020年5月24日0点)。
中间自然日D1：起始时间范围R1的次日到其当前自然月最后一天的每个自然日(2017年7月11日0点0分-2017年7月31)。
中间自然日D2：截止时间范围R1当日在其当月之前的每个自然日的(即2020年5月1日0点-2020年5月23日24点。
中间自然月M1：起始时间范围R的次月到其当年最后一月的每个自然月(2017年8月-2017年12月的每个自然月)。
中间自然月M2：截止时间范围的当年的第一月到其前一月的每个自然月(即2020年1月-2020年4月的每个自然月)。
中间自然年Y：起始时间范围R1的次年与截止时间范围R2的前一年的每个自然年(即2018年、2019年)。
聚合数据系统按照最长时间块到最短时间块的顺序，根据查询条件查询中间自然年Y、中间自然日D1和D2、中间自然时H1和H2的聚合缓存数据，获取这些中间时间块对应的中间自然时间聚合结果。
聚合数据系统根据查询条件实时聚合查询起始时间范围R1内的未缓存数据，获取起始时间聚合结果；根据查询条件实时聚合查询截止时间范围内R的未缓存数据，获取截止时间聚合结果。
聚合数据系统将根据查询条件查询中间自然年Y、中间自然日D1和D2、中间自然时H1和H2的聚合缓存数据，以及实时查聚合询未缓存的少部分时间范围R1和R2的未聚合缓存数据，聚合合成数据查询结果。
通过图3所示的方法，可通过查询缓存体数据获取中间时间段数据，并实时聚合查询余下小部分时间段数据，从而快速的获取聚合结果，及时的对业务进行判断和处理。
本申请还提供了一种电子设备，该设备包括：处理器以及存储器。该设备的存储器存储有计算机可读指令，该指令被处理器执行时使得处理器执行图1-图3的实施例。
以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (8)

1.一种聚合数据查询方法，其特征在于，所述方法包括：
接收包含查询条件以及查询时间范围的数据查询请求；
将所述查询时间范围划分为起始时间范围、截止时间范围、每个中间时间块；其中；所述查询时间范围的查询起始时间到最近下一个整点时间是所述起始时间范围；所述查询时间范围的查询截止时间到最近的上一个整点时间是所述截止时间范围；
按照最长时间块到最短时间块的顺序，根据所述查询条件查询所述每个中间时间块内的缓存数据，获取一个以上中间自然时间聚合结果；
根据所述查询条件实时聚合查询所述起始时间范围内的未缓存数据，获取起始时间聚合结果；
根据所述查询条件实时聚合查询所述截止时间范围内的未缓存数据，获取截止时间聚合结果；
将所述一个以上中间自然时间聚合结果、所述起始时间聚合结果以及截止时间聚合结果聚合合成为数据查询结果。
2.根据权利要求1所述的方法，其特征在于，所述中间时间块包括：中间自然时、中间自然日、中间自然月、中间自然年；
所述中间自然时包括：所述起始时间范围到其次日前的每个小时、所述截止时间范围在其当日之前的每个小时；
所述中间自然日包括：所述起始时间范围的次日到其当前自然月最后一天的每个自然日、所述截止时间范围的当月之前的每个自然日；
所述中间自然月包括：所述起始时间范围的次月到其当年最后一月的每个自然月、所述截止时间范围的当年的第一月到其前一月的每个自然月；
所述中间自然年包括：所述起始时间范围的次年与所述截止时间范围的前一年的每个自然年。
3.根据权利要求1所述的方法，其特征在，接收包含查询条件以及查询时间范围的数据查询请求之前，所述方法还包括：
每个小时开始时，将前一小时内未缓存数据缓存为一个中间自然时聚合数据。
4.根据权利要求3所述的方法，其特征在于，所述方法还进一步包括：
判断当前小时是否自然日的第一个小时，若是，将前一自然日的所有中间自然时聚合数据缓存为一个中间自然日聚合数据。
5.根据权利要求4所述的方法，其特征在于，所述方法还进一步包括：
判断当前小时是否自然月的第一个小时，若是，将前一自然月的所有中间自然日聚合数据缓存为一个中间自然月聚合数据。
6.根据权利要求5所述的方法，其特征在于，所述方法还进一步包括：
判断当前小时是否自然年的第一个小时，若是，将前一自然年的所有中间自然月聚合数据缓存为一个中间自然年聚合数据。
7.一种电子设备，其特征在于，所述电子设备包括包括：处理器以及存储器，其上存储有计算机可读指令，所述指令被处理器执行时使得处理器执行权利要求1～6中任意一项所述的方法。
8.一种计算机可读存储介质，其特征在于，所述介质存储有计算机可读指令，所述指令被处理器执行时使得处理器执行权利要求1～6中任意一项所述的方法。
CN202110278063.3A 2021-03-15 2021-03-15 一种聚合数据查询方法、设备及介质 Pending CN113177068A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110278063.3A CN113177068A (zh) 2021-03-15 2021-03-15 一种聚合数据查询方法、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110278063.3A CN113177068A (zh) 2021-03-15 2021-03-15 一种聚合数据查询方法、设备及介质

Publications (1)

Publication Number Publication Date
CN113177068A true CN113177068A (zh) 2021-07-27

Family

ID=76922039

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110278063.3A Pending CN113177068A (zh) 2021-03-15 2021-03-15 一种聚合数据查询方法、设备及介质

Country Status (1)

Country Link
CN (1) CN113177068A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140310232A1 (en) * 2013-04-11 2014-10-16 Hasso-Plattner-Institut für Softwaresystemtechnik GmbH Aggregate query-caching in databases architectures with a differential buffer and a main store
CN109241178A (zh) * 2018-07-20 2019-01-18 华为技术有限公司 管理存储空间的方法和装置
CN109766394A (zh) * 2018-12-19 2019-05-17 上海前隆信息科技有限公司 度量平台数据查询方法及装置、可读存储介质及终端
CN110046183A (zh) * 2019-04-16 2019-07-23 北京易沃特科技有限公司 一种时序数据聚合检索方法、设备及介质
CN112099977A (zh) * 2020-09-30 2020-12-18 浙江工商大学 一种分布式跟踪系统的实时数据分析引擎

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140310232A1 (en) * 2013-04-11 2014-10-16 Hasso-Plattner-Institut für Softwaresystemtechnik GmbH Aggregate query-caching in databases architectures with a differential buffer and a main store
CN109241178A (zh) * 2018-07-20 2019-01-18 华为技术有限公司 管理存储空间的方法和装置
CN109766394A (zh) * 2018-12-19 2019-05-17 上海前隆信息科技有限公司 度量平台数据查询方法及装置、可读存储介质及终端
CN110046183A (zh) * 2019-04-16 2019-07-23 北京易沃特科技有限公司 一种时序数据聚合检索方法、设备及介质
CN112099977A (zh) * 2020-09-30 2020-12-18 浙江工商大学 一种分布式跟踪系统的实时数据分析引擎

Similar Documents

Publication Publication Date Title
CN109313642B (zh) 账单信息缓存方法、账单信息查询方法和终端设备
CN104636500A (zh) 一种查询热数据的方法及装置
CN102984286A (zh) 一种dns服务器的缓存更新方法、装置及系统
CN111639965B (zh) 积分更新方法及装置
CN111046041B (zh) 数据处理方法和装置、存储介质及处理器
CN103326958A (zh) 监控数据缓存方法及系统
CN112579898A (zh) 企业信息的管理方法、装置及服务器
CN114398520A (zh) 数据检索方法、系统、装置、电子设备及存储介质
CA2540947A1 (en) Tracking space usage in a database
CN111046106A (zh) 缓存数据同步方法、装置、设备及介质
CN113177068A (zh) 一种聚合数据查询方法、设备及介质
CN110334118B (zh) 数据查询方法及装置
CN117131138A (zh) 基于数据湖的数据处理方法、装置、设备和介质
CN110750566A (zh) 数据处理方法、装置、缓存系统及缓存管理平台
CN112579556A (zh) 日切数据卸载方法、装置、设备及介质
CN116304079A (zh) 基于时序的图谱数据管理方法、设备和可读存储介质
CN110851477B (zh) 流数据处理方法、装置、计算机设备和存储介质
CN115455042A (zh) 数据处理方法、设备以及计算机可读存储介质
CN114706890A (zh) 一种数据的多级查询方法、装置、电子设备及存储介质
CN114238823A (zh) 访问网站的方法、装置、计算机设备和存储介质
CN117472967B (zh) 一种基于数据使用热度的数据生命周期管理方法及系统
JP2001236362A (ja) 情報検索出力装置及び方法
CN109918387A (zh) 一种国内机票数据更新方法
CN116719859A (zh) 数据调动方法和装置、存储介质及电子装置
CN108846112B (zh) 绘制数据地图的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination