CN117033468A - 数据查询方法、装置、电子设备和计算机可读存储介质 - Google Patents
数据查询方法、装置、电子设备和计算机可读存储介质 Download PDFInfo
- Publication number
- CN117033468A CN117033468A CN202311175012.3A CN202311175012A CN117033468A CN 117033468 A CN117033468 A CN 117033468A CN 202311175012 A CN202311175012 A CN 202311175012A CN 117033468 A CN117033468 A CN 117033468A
- Authority
- CN
- China
- Prior art keywords
- data
- partition
- time
- time period
- parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000005192 partition Methods 0.000 claims abstract description 184
- 230000003203 everyday effect Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000013500 data storage Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2474—Sequence data queries, e.g. querying versioned data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
- G06F16/278—Data partitioning, e.g. horizontal or vertical partitioning
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Fuzzy Systems (AREA)
- Computing Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请提供一种数据查询方法、装置、电子设备和计算机可读存储介质,可用于大数据领域。该方法包括:根据查询任务获取待查询数据的第一数据标识、第一时间参数以及第一属性参数,第一时间参数用于指示待查询数据的产生时间;确定第一属性参数对应的第一哈希值以及第一时间参数对应的第一时间段关联的第一存储分区,并对第一哈希值进行预设数值的取模得到第一取模值;在第一存储分区中确定第一取模值关联的第一子分区,并在第一子分区中获取第一数据标识对应的待查询数据。本申请中,通过待查询数据的时间参数以及属性参数能够在存储设备定位到待查询数据所在的子分区,无需在存储设备中所存储的所有数据中查找待查询数据,提高了数据查询效率。
Description
技术领域
本申请涉及大数据领域,尤其涉及一种数据查询方法、装置、电子设备和计算机可读存储介质。
背景技术
随着网络的便捷化,人们越来越倾向于在网上购买商品,使得电商平台每天会产生大量的数据。这些数据会存储至存储设备中,以便于后续查询。
在进行数据查询时,需要在存储设备的所有数据中查找所需查询的数据。
但由于每天产生的数据较多,使得存储设备所存储的数据量庞大,在存储设备的所有数据中查询所需的数据,需要耗费大量的时间,导致数据查询的时间较长,也即数据查询效率较低。
发明内容
本申请提供一种数据查询方法、装置、电子设备和计算机可读存储介质,用以解决数据查询效率较低的问题。
第一方面,本申请提供一种数据查询方法,包括:
获取查询任务,并根据所述查询任务获取待查询数据的第一数据标识、第一时间参数以及第一属性参数,所述第一时间参数用于指示所述待查询数据的产生时间;
确定所述第一属性参数对应的第一哈希值以及所述第一时间参数对应的第一时间段关联的第一存储分区,并对所述第一哈希值进行预设数值的取模得到第一取模值;
在所述第一存储分区中确定所述第一取模值关联的第一子分区,并在所述第一子分区中获取所述第一数据标识对应的所述待查询数据。
第二方面,本申请提供一种数据查询装置,包括:
第一获取模块,用于获取查询任务,并根据所述查询任务获取待查询数据的第一数据标识、第一时间参数以及第一属性参数,所述第一时间参数用于指示所述待查询数据的产生时间;
确定模块,用于确定所述第一属性参数对应的第一哈希值以及所述第一时间参数对应的第一时间段关联的第一存储分区,并对所述第一哈希值进行预设数值的取模得到第一取模值;
第二获取模块,用于在所述第一存储分区中确定所述第一取模值关联的第一子分区,并在所述第一子分区中获取所述第一数据标识对应的所述待查询数据。
第三方面,本申请提供一种电子设备,包括:处理器,以及与所述处理器通信连接的存储器;
所述存储器存储计算机执行指令;
所述处理器执行所述存储器存储的计算机执行指令,以实现如上所述的方法。
第四方面,本申请提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如上所述的方法。
本申请提供的数据查询方法、装置、电子设备和计算机可读存储介质,获取查询任务,并基于查询任务获取待查询数据的数据标识、时间参数以及属性参数,确定属性参数对应的哈希值以及时间参数对应的时间段所关联的存储分区,并对哈希值进行预设数值的取模得到取模值,从而在存储分区中确定取模值所关联的子分区,再从子分区中获取第一数据标识对应的待查询数据。本申请中,通过待查询数据的时间参数确定存储待查询数据的存储分区,再基于待查询数据的属性参数的哈希值在存储分区中确定存储待查询数据所在的子分区,也即通过待查询数据的时间参数以及属性参数能够在存储设备定位到待查询数据所在的子分区,无需在存储设备中所存储的所有数据中查找待查询数据,缩短了数据查询的时长,提高了数据查询效率。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
图1为本申请涉及的数据查询方法的场景示意图;
图2为本申请提供的数据查询方法的第一实施例的流程示意图;
图3为本申请提供的数据查询方法的第二实施例的流程示意图;
图4为本申请提供的数据查询方法的第三实施例的流程示意图;
图5为本申请提供的数据查询方法的第四实施例的流程示意图;
图6为本申请数据查询装置的模块示意图;
图7为本申请电子设备的结构示意图。
通过上述附图,已示出本申请明确的实施例,后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围,而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,并且相关数据的收集、使用和处理需要遵守相关法律法规和标准,并提供有相应的操作入口,供用户选择授权或者拒绝。
需要说明的是,本申请数据查询方法、装置、电子设备和计算机可读存储介质可用于大数据领域,也可用于除大数据领域之外的任意领域,本申请数据查询方法、装置、电子设备和计算机可读存储介质的应用领域不做限定。
随着网络的便捷化,人们越来越倾向于在网上购买商品,使得每天会产生大量的数据。这些数据会存储至存储设备中,以便于后续查询。在进行数据查询时,需要在存储设备的所有数据中查找所需查询的数据。
本申请发明人发现,由于每天产生的数据较多,使得电商平台存储设所存储的数据量庞大,在存储设备的所有数据中查询所需的数据,需要耗费大量的时间,导致数据查询的时间较长,也即数据查询效率较低。
本申请发明人因此想到,通过待查询数据的时间参数确定存储待查询数据的存储分区,再基于待查询数据的属性参数的哈希值在存储分区中确定存储待查询数据所在的子分区,也即通过待查询数据的时间参数以及属性参数能够在存储设备定位到待查询数据所在的子分区,无需在存储设备中所存储的所有数据中查找待查询数据,缩短了数据查询的时长,提高了数据查询效率。
参照图1,图1为本申请数据查询方法的场景示意图。数据查询装置100的存储区域划分为多个存储分区,存储分区设置多个子分区。每个存储分区存储关联的一个时间段,数据存储于产生时间所处时间段所关联的存储分区。存储分区中的每个子分区关联取模值,数据的属性的哈希值取模后得到取模值,在确定数据所存储的存储分区后,将数据存储至该存储分区中取模值所关联的子分区。终端设备200向数据查询装置100发送查询指令后,数据查询装置100从查询指令中获取待查询数据的数据标识、时间参数以及属性参数,通过时间参数确定待查询数据在数据查询装置100中的存储分区,再通过属性参数计算哈希值,数据查询装置100再对该哈希值进行取模得到取模值,并存储分区中确定取模值所关联的子分区,即可从该子分区获取数据标识所对应的待查询数据。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图,对本申请的实施例进行描述。
参照图2,图2为本申请数据查询方法第一实施例的流程示意图,数据查询方法包括以下步骤:
步骤S201,获取查询任务,并根据查询任务获取待查询数据的第一数据标识、第一时间参数以及第一属性参数,第一时间参数用于指示待查询数据的产生时间。
在本实施例中,执行主体为数据查询装置,为了便于描述,以下采用装置指代数据查询装置。装置可以是任意具备数据存储能力的终端设备。
装置接收外部设备发送的查询指令,并解析查询指令得到查询任务,通过查询任务获取查询语句,查询语句中包括有待查询数据的数据标识、时间参数以及属性参数,将数据标识定义为第一数据标识、时间参数定义为第一时间参数以及将属性参数定义为第一属性参数。第一时间参数用于指示待查询数据的产生时间。第一属性参数指的是待查询数据的特定属性,该特定属性可以是待查询数据的name属性或者其他属性。第一数据标识表征待查询数据的唯一身份,可以是待查询数据的名称、编号等。待查询数据可以是电商数据,电商数据即为电商平台所产生的数据。当然,待查询数据可也是其他类型的数据。
示例性的,装置获取查询任务对应的查询语句,查询语句可以是SQL(StructuredQuery Language,结构化查询语言)语句。装置从查询语句中获取预设位置的字段,该字段为待查询数据的第一数据标识、第一时间参数以及第一属性参数,也即可以通过字段获取待查询数据的第一数据标识、第一时间参数以及第一属性参数。
步骤S202,确定第一属性参数对应的第一哈希值以及第一时间参数对应的第一时间段关联的第一存储分区,并对第一哈希值进行预设数值的取模得到第一取模值。
装置的存储区域分为了多个存储分区,每个存储分区关联有对应的时间段,且各个存储分区所关联的时间段不同。存储分区所关联的时间段可以是一天当中的某个具体的时间,例如,可以是早上所对应的时间段、中午所对应的时间段、下午所对应的时间段、晚上所对应的时间段或凌晨所对应的时间段;存储分区所关联的时间段可以是以天为单位的时间段,例如,存储分区A关联的时间段是7月8日、存储分区B关联的时间段是7月9日。存储分区分为多个子分区,每个子分区关联有对应的取模值,取模值是基于数据的特定属性的哈希值取模得到,例如,数据的特定属性的哈希值进行对三取模,取模结果有三个,分别为0、1、2,则包括有0、1、2三个取模值,也即存储分区分为三个子分区,每个子分区关联一个取模值。
装置在获取第一数据标识、第一时间参数以及第一属性参数后,装置计算第一属性参数的哈希值,该哈希值定义为第一哈希值。装置再确定第一时间参数所处的时间段,该时间段定义为第一时间段。装置在各个存储分区中,将第一时间段所关联的存储分区确定为第一存储分区。装置对第一哈希值进行预设数值的取模得到第一取模值,预设数值例如为3,也即对第一哈希值进行对三取模。
步骤S203,在第一存储分区中确定第一取模值关联的第一子分区,并在第一子分区中获取第一数据标识对应的待查询数据。
装置在确定第一时间段所关联的第一存储分区后,再从第一存储分区中确定第一取模值所关联的子分区作为第一子分区,第一子分区是存储待查询数据的子分区。装置在第一子分区中获取第一数据标识对应的待查询数据,再将待查询数据反馈给外部设备。
在本实施例中,获取查询任务,并基于查询任务获取待查询数据的数据标识、时间参数以及属性参数,确定属性参数对应的哈希值以及时间参数对应的时间段所关联的存储分区,并对哈希值进行预设数值的取模得到取模值,从而在存储分区中确定取模值所关联的子分区,再从子分区中获取第一数据标识对应的待查询数据。本申请,通过待查询数据的时间参数确定存储待查询数据的存储分区,再基于待查询数据的属性参数的哈希值在存储分区中确定存储待查询数据所在的子分区,也即通过待查询数据的时间参数以及属性参数能够在存储设备定位到待查询数据所在的子分区,无需在存储设备中所存储的所有数据中查找待查询数据,缩短了数据查询的时长,提高了数据查询效率。
参照图3,图3为本申请数据查询方法第二实施例,基于第一实施例,步骤S201之前,还包括:
步骤S301,获取待存储数据的第二数据标识、第二属性参数以及第二时间参数,并确定第二属性参数对应的第二哈希值。
在本实施例中,装置会涉及到数据的存储。装置获取待存储数据的第二数据标识、第二属性参数以及第二时间参数。第二时间参数是待存储数据的产生时间,第二属性参数是待存储数据的特定属性,特定属性例如为name属性。第二数据标识则为待存储数据的唯一身份标识,例如为数据名称。装置计算第二属性参数的哈希值,该哈希值定义为第二哈希值。
步骤S302,确定第二时间参数对应的第二时间段关联的第二存储分区,并对第二哈希值进行预设数值的取模得到第二取模值。
步骤S303,在第二时间段关联的第二存储分区中确定第二取模值关联的第二子分区,并将第二数据标识以及待存储数据关联的存储于第二子分区。
装置确定第二时间参数所处的时间段,该时间段定义为第二时间段,并确定第二时间段所关联的存储分区作为第二存储分区,第二存储分区是待存储数据即将存储的区域。第二存储分区包括多个子分区,装置对第二哈希值进行预设数值的取模得到第二取模值,在第二存储分区确定第二取模值所关联的子分区作为第二子分区,装置再将第二数据标识以及待存储数据关联的存储于第二子分区中,第二数据标识存储至第二子分区可便于后续的数据查询。
在本实施例中,装置获取待存储数据的数据标识、时间参数以及属性参数,从而基于上述数据准确的确定待存储数据所对应的子分区,进而将数据标识以及待存储数据存储至该子分区,以便于后续数据的快速查找。
参照图4,图4为本申请数据查询方法第三实施例,基于第二实施例,步骤S301之前,还包括:
步骤S401,将存储区域划分为多个第二存储分区,并对每个第二存储分区关联对应的第二时间段,各个第二存储分区关联的第二时间段不同。
在本实施例中,装置将存储区域划分为多个存储分区,各个存储分区均定义为第二存储分区。第二存储分区的数量基于时间段的数量确定。例如,装置仅需存储一周的数据,且存储粒度为一天,则分为7个时间段,也即过去一周中的每一天均作为一个时间段,因而将存储区域分为7个第二存储分区。装置对每个第二存储分区关联对应的第二时间段,且各个第二存储分区所关联的第二时间段不同,也即第二存储分区与第二时间段是一一对应的。
步骤S402,将每个第二存储分区划分为多个第二子分区,并对第二存储分区的各个第二子分区关联对应的第二取模值,第二存储分区的各个第二子分区关联的第二取模值不同。
第二存储分区关联一个第二时间段,而第二时间段内产生的数据可能较多,因而可以对第二时间段内产生的数据进行更小粒度的关联。对此,装置将每个第二存储分区划分为多个第二子分区,并为每个第二子分区关联对应的第二取模值,且各个第二子分区所关联的第二取模值不同、第二存储分区所包括的第二子分区的数量与第二取模值的数量相同,例如,第二取模值的数量为3个,则第二存储分区划分为3个第二子分区,如果第二取模值的数量为5个,则第二存储分区划分为3个子分区、第二取模值基于装置的取模运行确定,例如,装置对数据的属性的哈希值进行对三取模,则第二取模值的数量为3个,若对数据的属性的哈希值进行对5取模,则第二取模值的数量为5个。
在完成对存储区域的存储分区的划分以及对存储分区的子分区的划分后,将存储分区与时间段的关联关系,存储分区、子分区以及取模值的关联关系进行存储,以便于后续的数据存储以及数据查询。
进一步的,装置中的第二存储分区的数量是固定的,因而只能保持固定数量时间段的数据,例如,第二存储分区有7个,则只能保留过去一周内的数据,超过这个时限则需要进行数据删除。也即在任一个第二存储分区关联的第二时间段与当前时间段之间的第一间隔时长大于第一预设时长,则确定该第二时间段所关联的第二存储分区内的数据过期需要进行删除,装置则对第一间隔时长对应的第二存储分区内的数据进行删除,并将第一间隔时长对应的第二存储分区关联的第二时间段更新为当前时间段,以存储当前时间段所产生的数据。示例性的,假设第二存储分区包括7个,每个第二存储分区存储一天的数据,第一预设时长为一周,若当前时间段为周三,上周三与当前的周三的第一间隔时长是大于一周,则上周三的数据过期,则将上周三的日期所关联的第二存储分区内的数据进行删除,且将该第二存储分区关联的上周三的日期更改为当前周三所在的日期。
在本实施例中,装置对存储区域进行划分得到多个第二存储分区,并对每个第二存储分区进行划分得到多个子分区,并为第二存储分区关联时间段,且为子分区关联取模值,从而便于后续数据的存储以及数据的快速查询。
参照图5,图5为本申请数据查询方法第四实施例,基于第一至第三中任一实施例,步骤S202包括:
步骤S501,确定第一时间参数所处的第一时间段。
步骤S502,在第一时间段与当前时间段之间的第二间隔时长小于第二预设时长时,获取第一时间段关联的第一存储分区。
在本实施例中,装置中仅保存一段时间内所产生的数据,其他时间段内的数据被删除。对此,装置在获得第一时间参数后,先确定时间参数所处的第一时间段,并计算第一时间段与当前时间段之间的第二间隔时长。装置可以通过第一时间段的最早时间点与当前时间段的时间点得到第二间隔时长。装置再判断第二间隔时长是否小于第二预设时长。第二预设时长例如为一周,也即装置中存储的数据是最近一周内所产生的数据。
在当第二间隔时长小于第二预设时长,则可确定所需查询的数据并未被装置删除,装置则获取第一时间段所关联的第一存储分区,从而在第一存储分区中确定第一子分区进行待查询数据的获取,具体参照上述说明,在此不再进行赘述。
在当第二间隔时长大于或等于第二预设时长,则确定所需查询的数据被装置删除,装置则输出提示信息,提示信息用于提示待查询数据已删除。
在本实施例中,装置确定第一时间参数所处的第一时间段,并在第一时间段与当前时间段之间的第二间隔时长小于第二预设时长时,确定待查询数据并未被装置删除,装置则进行待查询数据的获取,也即装置仅在确定待查询数据并未被删除再进行数据查询。
本申请还提供一种数据查询装置,参照图6,数据查询装置600包括:
第一获取模块610,用于获取查询任务,并根据查询任务获取待查询数据的第一数据标识、第一时间参数以及第一属性参数,第一时间参数用于指示待查询数据的产生时间;
确定模块620,用于确定第一属性参数对应的第一哈希值以及第一时间参数对应的第一时间段关联的第一存储分区,并对第一哈希值进行预设数值的取模得到第一取模值;
第二获取模块630,用于在第一存储分区中确定第一取模值关联的第一子分区,并在第一子分区中获取第一数据标识对应的待查询数据。
在一实施例中,数据查询装置还包括:
第三获取模块,用于获取待存储数据的第二数据标识、第二属性参数以及第二时间参数,并确定第二属性参数对应的第二哈希值;
确定模块620,还用于确定第二时间参数对应的第二时间段关联的第二存储分区,并对第二哈希值进行预设数值的取模得到第二取模值;
确定模块620,还用于在第二时间段关联的第二存储分区中确定第二取模值关联的第二子分区,并将第二数据标识以及待存储数据关联的存储于第二子分区。
在一实施例中,数据查询装置还包括:
处理模块,用于将存储区域划分为多个第二存储分区,并对每个第二存储分区关联对应的第二时间段,各个第二存储分区关联的第二时间段不同;
处理模块,还用于将每个第二存储分区划分为多个第二子分区,并对第二存储分区的各个第二子分区关联对应的第二取模值,第二存储分区的各个第二子分区关联的第二取模值不同。
在一实施例中,数据查询装置还包括:
删除模块,用于在任一个第二存储分区关联的第二时间段与当前时间段之间的第一间隔时长大于第一预设时长时,对第一间隔时长对应的第二存储分区内的数据进行删除;
将第一间隔时长对应的第二存储分区关联的第二时间段更新为当前时间段,以用于存储当前时间段产生的数据。
在一实施例中,第一获取模块610还包括:
第一获取单元,包括获取查询任务对应的查询语句;
第二获取单元,用于从查询语句中获取预设位置的字段,以获得待查询数据的第一数据标识、第一时间参数以及第一属性参数。
在一实施例中,确定模块620包括:
确定单元,用于确定第一时间参数所处的第一时间段;
获取单元,用于在第一时间段与当前时间段之间的第二间隔时长小于第二预设时长时,获取第一时间段关联的第一存储分区。
在一实施例中,确定模块620包括:
输出单元,用于在第一时间段与当前时间段之间的第二间隔时长大于或等于第二预设时长时,输出提示信息,提示信息用于提示待查询数据已删除。
图7是根据一示例性实施例示出的一种电子设备的硬件结构图。
电子设备700可以包括:处理器71,例如CPU,存储器72,收发器73。本领域技术人员可以理解,图7中示出的结构并不构成对电子设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。存储器72可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
处理器71可以调用存储器72内存储的计算机程序或计算机执行执行指令,以完成上述的数据查询方法的全部或部分步骤。
收发器73用于接收外部设备发送的信息以及向外部设备发送信息。
一种电子设备,包括:处理器,以及与处理器通信连接的存储器;
存储器存储计算机执行指令;
处理器执行存储器存储的计算机执行指令,以实现如上任一实施例的数据查询方法。
一种非临时性计算机可读存储介质,当该存储介质中的指令(计算机执行指令)由电子设备的处理器执行时,使得电子设备能够执行上述数据查询方法。
一种计算机程序产品,包括计算机程序,当该计算机程序由电子设备的处理器执行时,使得电子设备能够执行上述数据查询方法。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由下面的权利要求书指出。
应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求书来限制。
Claims (10)
1.一种数据查询方法,其特征在于,包括:
获取查询任务,并根据所述查询任务获取待查询数据的第一数据标识、第一时间参数以及第一属性参数,所述第一时间参数用于指示所述待查询数据的产生时间;
确定所述第一属性参数对应的第一哈希值以及所述第一时间参数对应的第一时间段关联的第一存储分区,并对所述第一哈希值进行预设数值的取模得到第一取模值;
在所述第一存储分区中确定所述第一取模值关联的第一子分区,并在所述第一子分区中获取所述第一数据标识对应的所述待查询数据。
2.根据权利要求1所述的数据查询方法,其特征在于,所述获取查询任务之前,还包括:
获取待存储数据的第二数据标识、第二属性参数以及第二时间参数,并确定所述第二属性参数对应的第二哈希值;
确定所述第二时间参数对应的第二时间段关联的第二存储分区,并对所述第二哈希值进行预设数值的取模得到第二取模值;
在所述第二时间段关联的第二存储分区中确定所述第二取模值关联的第二子分区,并将所述第二数据标识以及所述待存储数据关联的存储于所述第二子分区。
3.根据权利要求2所述的数据查询方法,其特征在于,所述获取待存储数据的第二数据标识、第二属性参数以及第二时间参数的步骤之前,还包括:
将存储区域划分为多个第二存储分区,并对每个所述第二存储分区关联对应的第二时间段,各个所述第二存储分区关联的第二时间段不同;
将每个所述第二存储分区划分为多个第二子分区,并对所述第二存储分区的各个所述第二子分区关联对应的第二取模值,所述第二存储分区的各个所述第二子分区关联的第二取模值不同。
4.根据权利要求3所述的数据查询方法,其特征在于,还包括:
在任一个所述第二存储分区关联的第二时间段与当前时间段之间的第一间隔时长大于第一预设时长时,对所述第一间隔时长对应的第二存储分区内的数据进行删除;
将所述第一间隔时长对应的第二存储分区关联的第二时间段更新为所述当前时间段,以用于存储所述当前时间段产生的数据。
5.根据权利要求1所述的数据查询方法,其特征在于,所述根据所述查询任务获取待查询数据的第一数据标识、第一时间参数以及第一属性参数的步骤包括:
获取所述查询任务对应的查询语句;
从所述查询语句中获取预设位置的字段,以获得所述待查询数据的第一数据标识、第一时间参数以及第一属性参数。
6.根据权利要求1所述的数据查询方法,其特征在于,所述确定所述第一时间参数对应的第一时间段关联的第一存储分区的步骤包括:
确定所述第一时间参数所处的第一时间段;
在所述第一时间段与当前时间段之间的第二间隔时长小于第二预设时长时,获取所述第一时间段关联的第一存储分区。
7.根据权利要求6所述的数据查询方法,其特征在于,所述确定所述第一时间参数所处的第一时间段的步骤之后,还包括:
在所述第一时间段与当前时间段之间的第二间隔时长大于或等于第二预设时长时,输出提示信息,所述提示信息用于提示所述待查询数据已删除。
8.一种数据查询装置,其特征在于,包括:
第一获取模块,用于获取查询任务,并根据所述查询任务获取待查询数据的第一数据标识、第一时间参数以及第一属性参数,所述第一时间参数用于指示所述待查询数据的产生时间;
确定模块,用于确定所述第一属性参数对应的第一哈希值以及所述第一时间参数对应的第一时间段关联的第一存储分区,并对所述第一哈希值进行预设数值的取模得到第一取模值;
第二获取模块,用于在所述第一存储分区中确定所述第一取模值关联的第一子分区,并在所述第一子分区中获取所述第一数据标识对应的所述待查询数据。
9.一种电子设备,其特征在于,包括:处理器,以及与所述处理器通信连接的存储器;
所述存储器存储计算机执行指令;
所述处理器执行所述存储器存储的计算机执行指令,以实现如权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如权利要求1至7任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311175012.3A CN117033468A (zh) | 2023-09-12 | 2023-09-12 | 数据查询方法、装置、电子设备和计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311175012.3A CN117033468A (zh) | 2023-09-12 | 2023-09-12 | 数据查询方法、装置、电子设备和计算机可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117033468A true CN117033468A (zh) | 2023-11-10 |
Family
ID=88602546
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311175012.3A Pending CN117033468A (zh) | 2023-09-12 | 2023-09-12 | 数据查询方法、装置、电子设备和计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117033468A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117555968A (zh) * | 2024-01-12 | 2024-02-13 | 浙江智臾科技有限公司 | 数据处理方法、装置、设备及存储介质 |
-
2023
- 2023-09-12 CN CN202311175012.3A patent/CN117033468A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117555968A (zh) * | 2024-01-12 | 2024-02-13 | 浙江智臾科技有限公司 | 数据处理方法、装置、设备及存储介质 |
CN117555968B (zh) * | 2024-01-12 | 2024-04-19 | 浙江智臾科技有限公司 | 数据处理方法、装置、设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108573371B (zh) | 数据审批方法、装置、计算机设备和存储介质 | |
US11985251B2 (en) | Data synchronization method and apparatus, computer device, and readable storage medium | |
CN108460041B (zh) | 数据的处理方法和装置 | |
CN111190901B (zh) | 业务数据存储方法、装置、计算机设备和存储介质 | |
CN111800459A (zh) | 下载任务异步处理方法、装置、系统和存储介质 | |
CN117033468A (zh) | 数据查询方法、装置、电子设备和计算机可读存储介质 | |
US10474185B2 (en) | Timestamp alignment across a plurality of computing devices | |
CN108415998B (zh) | 应用依赖关系更新方法、终端、设备及存储介质 | |
CN111125174A (zh) | 数据导出方法、装置、存储介质、电子设备 | |
CN104834660A (zh) | 基于区间的模糊数据库搜索 | |
CN110855477A (zh) | 链路日志监控方法、装置、计算机设备和存储介质 | |
WO2020024446A1 (zh) | 数据的存储方法及装置、存储介质、计算机设备 | |
CN108512948B (zh) | 通讯录更新方法、装置、计算机设备和存储介质 | |
CN111177121A (zh) | 订单数据反馈方法、装置、计算机设备及存储介质 | |
CN110941623A (zh) | 数据的同步方法及装置 | |
CN114448972A (zh) | 分布式存储日志压缩下载方法、系统、终端及存储介质 | |
CN113377789A (zh) | 数据库变更数据的处理方法、装置、计算机设备和介质 | |
CN112527479A (zh) | 任务执行方法、装置、计算机设备和存储介质 | |
CN110188081B (zh) | 基于cassandra数据库的日志数据存储方法、装置和计算机设备 | |
CN110955460A (zh) | 一种服务进程启动方法、装置、电子设备和存储介质 | |
CN115982279A (zh) | 数据同步方法、装置、系统和计算机设备 | |
CN110162542B (zh) | 基于cassandra的数据翻页方法、装置、计算机设备和存储介质 | |
CN111090670B (zh) | 一种数据预聚合的方法、系统、计算设备及存储介质 | |
WO2020215693A1 (zh) | 软件测试方法、装置、计算机设备和可读存储介质 | |
CN114780536A (zh) | 一种SQL Server数据库索引创建的方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |