CN113434518A - 时序数据库查询方法、系统、设备及存储介质 - Google Patents
时序数据库查询方法、系统、设备及存储介质 Download PDFInfo
- Publication number
- CN113434518A CN113434518A CN202110990241.5A CN202110990241A CN113434518A CN 113434518 A CN113434518 A CN 113434518A CN 202110990241 A CN202110990241 A CN 202110990241A CN 113434518 A CN113434518 A CN 113434518A
- Authority
- CN
- China
- Prior art keywords
- data
- time sequence
- query
- time
- data fragment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000003860 storage Methods 0.000 title claims description 13
- 239000012634 fragment Substances 0.000 claims abstract description 121
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 23
- 238000013507 mapping Methods 0.000 claims abstract description 12
- 238000004590 computer program Methods 0.000 claims description 24
- 238000013467 fragmentation Methods 0.000 claims description 21
- 238000006062 fragmentation reaction Methods 0.000 claims description 21
- 238000005259 measurement Methods 0.000 claims description 9
- 230000006835 compression Effects 0.000 claims description 4
- 238000007906 compression Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000009776 industrial production Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000003203 everyday effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000002354 daily effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2228—Indexing structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2474—Sequence data queries, e.g. querying versioned data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/248—Presentation of query results
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种时序数据库查询方法、系统、设备及介质,方法包括,利用一致性哈希算法,计算下位机每个测点的时序ID的分片号,并将相同分片号的测点的时序数据存放在同一数据分片中,得到若干数据分片文件;获取查询请求,根据查询请求通过二维索引方式,得到待查询时序数据所在的数据分片文件;将待查询时序数据所在的数据分片文件解压后,映射至内存中,并在内存中查找待查询时序数据,得到所述的时序数据库查询结果;本发明利用一致性哈希算法,将时序数据分散到若干数据分片文件中;利用二维索引方式对数据分片文件进行查询,有效降低了内存开销,查询速度较高,避免查询过程数据量较大出现的卡顿现象,查询效率较高,精准度较高。
Description
技术领域
本发明属于分散控制系统技术领域,特别涉及一种时序数据库查询方法、系统、设备及存储介质。
背景技术
分散控制系统(Distributed Control System,DCS)是利用计算机技术对工业生产过程进行集中监视、操作、管理和分散控制的一种新型控制设备,其广泛的应用于电力等工业生产领域;随着电力系统的规模越来越大,结构越来越复杂,对电力设备的管理也日趋重要。
在电厂的生产现场包含大量生产设备,其运行过程中能够产生大量的时序数据;时序数据具有产生频率块、严重依赖于采集时间及测点多信息量大的特点,通过对历史的时序数据进行分析和处理,即可获取电厂或化工厂的运行情况,对工业生产起到了至关重要的指导作用。
分散控制系统的上位机时序数据库保存了下位机所有测点的时序数据;分散控制系统中下位机的测点数目众多,测点的时序数据大多以时间为单位进行存储,且由于采样间隔较短,导致上位机时序数据库的数据量较大;目前,查询速度较慢,效率较低,且常常无法快速准确获取目标数据。
发明内容
针对现有技术中存在的技术问题,本发明提供了一种时序数据库查询方法、系统、设备及存储介质,以解决现有对于上位机时序数据库的查询大多采用人工查询,查询效率低且无法快速获取目标数据的技术问题。
为达到上述目的,本发明采用的技术方案为:
本发明公开了一种时序数据库查询方法,所述查询方法用于电厂的分散控制系统的时序数据库查询过程;所述时序数据库用于对下位机测点的时序数据,以预设时间周期为单位进行保存;所述查询方法包括以下步骤:
利用一致性哈希算法,将每个测点的时序ID对预设的数据分片个数取余,计算得到每个测点的时序ID的分片号;并将相同分片号的测点的时序数据存放在同一数据分片中,得到若干数据分片文件;
获取查询请求,根据查询请求通过二维索引方式对若干数据分片文件进行查询,得到待查询时序数据所在的数据分片文件;
将待查询时序数据所在的数据分片文件解压后,映射至内存中,并在内存中查找待查询时序数据,得到所述的时序数据库查询结果。
进一步的,利用一致性哈希算法,计算下位机每个测点的时序ID的分片号,具体按照以下公式计算得到:
h(k)=k%m
其中,k为测点的时序ID,m为预设的数据分片个数,h(k)为测点的时序ID为k的数据分片号。
进一步的,若干数据分片文件保存在同一路径下。
进一步的,所述查询请求的内容为待查询时序数据的时间范围值及下位机测点的时序ID。
进一步的,获取查询请求,根据查询请求通过二维索引方式,得到待查询时序数据所在数据分片文件的过程,具体如下:
获取查询请求后,将查询请求发送至线程池中的空闲线程,形成查询线程;利用查询线程,根据查询请求,通过二维索引方式对若干数据分片文件进行查询,得到待查询时序数据所在数据分片文件;
其中,通过二维索引方式对若干数据分片文件进行查询的过程,具体如下:
根据待查询时序数据的时间范围值,确定对应时间范围值内的所有数据分片文件;
根据下位机测点的时序ID,从确定的对应时间范围值内的所有数据分片文件中,获取待查询时序数据所在的数据分片文件。
进一步的,通过哈夫曼压缩算法,对待查询时序数据所在的数据分片文件进行解压,得到解压后的原始时序数据文件,并将解压后的原始时序数据文件映射至内存中。
进一步的,在内存中查找待查询时序数据的过程,具体如下:
以待查询时序数据对应的下位机测点的时序ID及查询时间范围值,作为索引KEY,在内存中的解压后原始时序数据文件中进行检索,得到所述的待查询时序数据。
本发明还提供了一种时序数据库查询系统,包括:
数据分片模块,用于利用一致性哈希算法,计算下位机每个测点的时序ID的分片号,并将相同分片号的测点的时序数据存放在同一数据分片中,得到若干数据分片文件;
查询模块,用于获取查询请求,根据查询请求通过二维索引方式,得到待查询时序数据所在的数据分片文件;
结果输出模块,用于将待查询时序数据所在的数据分片文件解压后,映射至内存中,并在内存中查找待查询时序数据,得到所述的时序数据库查询结果。
本发明还提供了一种时序数据库查询设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现所述一种时序数据库查询方法的步骤。
本发明还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现所述一种时序数据库查询方法的步骤。
与现有技术相比,本发明的有益效果为:
本发明所述的一种时序数据库查询方法,利用一致性哈希算法,将时序数据分散到若干数据分片文件中;利用二维索引方式对数据分片文件进行查询,有效降低了内存开销和CPU资源,查询速度较高,避免了查询过程数据量较大出现的卡顿现象,查询效率较高,精准度较高。
进一步的,采用一致性哈希算法对时序数据进行分片划分,确保了每个数据分片文件中,时序数据的数目的均匀性,确保索引过程的均衡性。
附图说明
图1为本发明所述的时序数据库查询方法的流程图;
图2为本发明所述的时序数据库查询系统的结构框图;
图3为本发明所述的时序数据库查询设备的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
如附图1所示,本发明提供了一种时序数据库二维索引查询方法,所述查询方法用于电厂的分散控制系统的时序数据库查询过程;所述时序数据库用于对下位机测点的时序数据,以预设时间周期为单位进行保存;包括以下步骤:
步骤1、利用一致性哈希算法,计算下位机每个测点的时序ID的分片号,并将相同分片号的测点的时序数据存放在同一数据分片中,得到若干数据分片文件。其中,将每个测点的时序ID对预设的数据分片个数取余,计算得到每个测点的时序ID的分片号;利用一致性哈希算法,计算下位机每个测点的时序ID的分片号时,采用以下公式计算得到:
h(k)=k%m
其中,k为测点的时序ID,m为预设的数据分片个数,h(k)为测点的时序ID为k的数据分片号。
本发明中,所有数据分片文件保存在同一路径下;其中,数据分片文件的路径为:/users/data/slicex/数据分片文件。
步骤2、获取查询请求,根据查询请求通过二维索引方式,得到待查询时序数据所在的数据分片文件。其中,查询请求的内容包括待查询时序数据的时间范围值及对应的下位机测点的时序ID;获取查询请求后,将查询请求发送至线程池中的空闲线程,形成查询线程;利用查询线程,根据查询请求,通过二维索引方式对若干数据分片文件进行查询,得到待查询时序数据所在数据分片文件;其中,通过二维索引方式,对若干数据分片文件进行查询的过程,具体如下:
根据待查询时序数据的时间范围值,确定对应时间范围值内的所有数据分片文件;
根据下位机测点的时序ID,从确定的对应时间范围值内的所有数据分片文件中,获取待查询时序数据所在的数据分片文件。
步骤3、将待查询时序数据所在的数据分片文件解压后,映射至内存中,并在内存中查找待查询时序数据,得到所述的时序数据库查询结果。
具体的,通过哈夫曼压缩算法,对步骤2中获取的待查询时序数据所在的数据分片文件进行解压,得到解压后的原始时序数据文件;并将解压后的原始时序数据文件映射至内存中,之后在内存中查找待查询时序数据,得到所述的时序数据库查询结果。
其中,在内存中查找待查询时序数据的过程,具体方式如下:
以待查询时序数据对应的下位机测点的时序ID及查询时间范围值,作为索引KEY,对内存中解压后原始时序数据文件进行检索,得到所述的待查询时序数据。
如附图2所示,本发明还提供了一种时序数据库查询系统,包括数据分片模块、查询模块及结果输出模块;
数据分片模块,用于利用一致性哈希算法,计算下位机每个测点的时序ID的分片号,并将相同分片号的测点的时序数据存放在同一数据分片中,得到若干数据分片文件。
查询模块,用于获取查询请求,根据查询请求通过二维索引方式,得到待查询时序数据所在的数据分片文件。
结果输出模块,用于将待查询时序数据所在的数据分片文件解压后,映射至内存中,并在内存中查找待查询时序数据,得到所述的时序数据库查询结果。
如附图3所示,本发明还提供了一种时序数据库查询设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现所述一种时序数据库查询方法的步骤;其中,附图3中的通讯接口,用于接入外部设备,以获取数据。
所述处理器执行所述计算机程序时实现上述时序数据库查询方法的步骤,例如:将每个测点的时序ID对预设的数据分片个数取余,计算得到每个测点的时序ID的分片号;并将相同分片号的测点的时序数据存放在同一数据分片中,得到若干数据分片文件;获取查询请求,根据查询请求通过二维索引方式对若干数据分片文件进行查询,得到待查询时序数据所在的数据分片文件;将待查询时序数据所在的数据分片文件解压后,映射至内存中,并在内存中查找待查询时序数据,得到所述的时序数据库查询结果。
或者,所述处理器执行所述计算机程序时实现上述时序数据库查询系统中各模块的功能,例如:数据分片模块,用于利用一致性哈希算法,将每个测点的时序ID对预设的数据分片个数取余,计算得到每个测点的时序ID的分片号;并将相同分片号的测点的时序数据存放在同一数据分片中,得到若干数据分片文件;查询模块,用于获取查询请求,根据查询请求通过二维索引方式对若干数据分片文件进行查询,得到待查询时序数据所在的数据分片文件;结果输出模块,用于将待查询时序数据所在的数据分片文件解压后,映射至内存中,并在内存中查找待查询时序数据,得到所述的时序数据库查询结果。
示例性的,所述计算机程序可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在所述存储器中,并由所述处理器执行,以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,所述指令段用于描述所述计算机程序在所述时序数据库查询设备中的执行过程。
所述时序数据库查询设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述时序数据库查询设备可包括,但不仅限于,处理器、存储器。本领域技术人员可以理解,所述附图3的示意图仅仅是时序数据库查询设备的示例,并不构成对时序数据库查询设备的限定。
所称处理器可以是中央处理单元(CentralProcessingUnit,CPU),还可以是其他通用处理器、数字信号处理器(DigitalSignalProcessor,DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit,ASIC)、现成可编程门阵列(Field-ProgrammableGateArray,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者所述处理器也可以是任何常规的处理器等,所述处理器是所述时序数据库查询设备的控制中心,利用各种接口和线路连接整个时序数据库查询设备的各个部分。
所述存储器可用于存储所述计算机程序和/或模块,所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块,以及调用存储在存储器内的数据,实现所述时序数据库查询设备的各种功能。
本发明还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现所述一种时序数据库查询方法的步骤。
所述时序数据库查询设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。
基于这样的理解,本发明实现上述时序数据库查询方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,所述计算机程序在被处理器执行时,可实现上述时序数据库查询方法的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或预设中间形式等。
所述计算机可读存储介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,RandomAccessMemory)、电载波信号、电信信号以及软件分发介质等。
需要说明的是,所述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读存储介质不包括电载波信号和电信信号。
本发明所述的时序数据库查询方法,利用一致性哈希算法,将时序数据分散到若干数据分片文件中;利用二维索引方式对数据分片文件进行查询,有效降低了内存开销和CPU资源,查询速度较高,避免了查询过程数据量较大出现的卡顿现象,查询效率较高,精准度较高。
实施例
以某电厂的分散控制系统的时序数据库查询过程为例;其中,所述时序数据库用于对下位机的测点的时序数据进行保存,以天为单位进行保存;本实施例提供了一种时序数据库二维索引查询方法,具体包括以下步骤:
步骤1、采用一致性哈希算法,计算下位机每个测点的时序ID的分片号,并将相同片号的测点的时序数据存放在同一数据分片中,得到若干数据分片文件;其中,利用一致性哈希算法,计算下位机每个测点的时序ID的分片号时,采用以下公式计算得到:
h(k)=k%m
其中,k为测点的时序ID,m为预设的数据分片个数,h(k)为测点的时序ID为k的数据分片号。
本实施例中,所述电厂每天的时序数据以测点的分片号,划分为多个数据分片,数据分片的分片数与下位机的测点数相适应,可以根据测点的个数进行适应性调整;假设预设N个数据分片,采用每个测点的时序ID对数据分片的个数N取余,取余的结果为0~N-1;按照取余结果0~N-1,将测点的时序数据对应存放在第1~N个数据分片中。
例如,假设当前由4个下位机测点,且四个测点的时序ID分别为1、2、3及4;将上述四个测点的时序数据分别存放在四个数据分片中时:首先,分别对上述四个测点的时序ID除以4取余,得到每个测点的数据分片号;其中,上述四个测点的时序ID除以4取余的结果依次为1、2、3及0;因此,第一个数据分片slice1中存放时序ID为1的测点产生的时序数据,第为个数据分片slice2中存放时序ID为2的测点产生的时序数据,第三个数据分片slice3中存放时序ID为4的测点产生的时序数据,第四个数据分片slice4中存放时序ID为4的测点产生的时序数据。
通过一致性哈希算法,计算每个测点的时序ID的分片号,能够确保每个数据分片存放的时序数据均衡,数据分片的文件大小基本相等,确保了索引过程的均衡性;所有的数据分片文件保存在同一路径下;其中,数据分片文件的路径为/users/data/slicex/数据分片文件。
步骤2、通过上位机的上层应用生成查询请求,并发送查询请求至时序数据库;时序数据库获取查询请求后,将查询请求发送至线程池中的空闲线程,形成查询线程;利用查询线程,根据查询请求,通过二维索引方式对若干数据分片文件进行查询,得到待查询时序数据所在数据分片文件;其中,查询请求的内容包括待查询时序数据的时间范围值及对应的下位机测点的时序ID。
本实施例中,通过二维索引方式,对若干数据分片文件进行查询的过程,具体如下:
根据待查询时序数据的时间范围值,确定对应时间范围值内的所有数据分片文件,即获取/users/data/路径下的所有数据分片文件;
根据下位机测点的时序ID,从确定的对应时间范围值内的所有数据分片文件中,获取待查询时序数据所在的数据分片文件,即获取/users/data/slicex/路径下对应时间段的数据分片文件。
步骤3、通过哈夫曼压缩算法,对步骤2中获取的待查询时序数据所在的数据分片文件进行解压,得到解压后的原始时序数据文件;并将解压后的原始时序数据文件映射至内存中,之后在内存中查找待查询时序数据,得到所述的时序数据库查询结果。
其中,在内存中查找待查询时序数据的过程,具体方式如下:
以待查询时序数据对应的下位机测点的时序ID及查询时间范围值,作为索引KEY,对内存中解压后原始时序数据文件进行检索,得到所述的待查询时序数据;查询完成后返回查询结果。
本实施例所述时序数据库查询方法,通过一致性哈希算法,将一天的时序数据分散到多个数据分片中,相当于将原始的时序数据等分到多个分片数据文件中;查询时解压数据分片文件,加载数据分片文件所需要的内存和CPU资源会相较于以前更少;在查询的过程中,少量的数据量中查询会获得更高的速度。相较于查询大文件,通过二维索引找到较小的分片文件的过程所需要的开销可以忽略不计,获得的查询速度会得到大幅提升;查询数据量较大时则不会出现卡顿现象,获得更好的业务体验。
本实施例提供的时序数据库查询系统、设备及计算机可读存储介质中相关部分的说明可以参见本实施例所述的一种时序数据库查询方法中对应部分的详细说明,在此不再赘述。
本发明所述的时序数据库查询方法,将每天的时序数据的数据分片存在同一个路径下,每天的时序数据以实际测点点数可以分为多个数据分片,数据分片数根据实际的测点点数进行调整,每个数据分片保存的时序数据个数均衡,确保数据分片文件大小基本相等;利用二维索引方式对数据分片文件进行查询,有效降低了内存开销和CPU资源,查询速度较高,避免了查询过程数据量较大出现的卡顿现象,查询效率较高,精准度较高。
最后应当说明的是:以上实施例仅用以说明本发明的技术方案而非对其限制,尽管参照上述实施例对本发明进行了详细的说明,所属领域的普通技术人员应当理解:依然可以对本发明的具体实施方式进行修改或者等同替换,而未脱离本发明精神和范围的任何修改或者等同替换,其均应涵盖在本发明的权利要求保护范围之内。
Claims (10)
1.一种时序数据库查询方法,其特征在于,所述查询方法用于电厂的分散控制系统的时序数据库查询过程;所述时序数据库用于对下位机测点的时序数据,以预设时间周期为单位进行保存;
所述查询方法包括以下步骤:
利用一致性哈希算法,将每个测点的时序ID对预设的数据分片个数取余,计算得到每个测点的时序ID的分片号;并将相同分片号的测点的时序数据存放在同一数据分片中,得到若干数据分片文件;
获取查询请求,根据查询请求通过二维索引方式对若干数据分片文件进行查询,得到待查询时序数据所在的数据分片文件;
将待查询时序数据所在的数据分片文件解压后,映射至内存中,并在内存中查找待查询时序数据,得到所述的时序数据库查询结果。
2.根据权利要求1所述的一种时序数据库查询方法,其特征在于,利用一致性哈希算法,计算得到下位机每个测点的时序ID的分片号,具体按照以下公式计算得到:
h(k)=k%m
其中,k为测点的时序ID,m为预设的数据分片个数,h(k)为测点的时序ID为k的数据分片号。
3.根据权利要求1所述的一种时序数据库查询方法,其特征在于,若干数据分片文件保存在同一路径下。
4.根据权利要求1所述的一种时序数据库查询方法,其特征在于,所述查询请求的内容包括待查询时序数据的时间范围值及下位机测点的时序ID。
5.根据权利要求4所述的一种时序数据库查询方法,其特征在于,所述获取查询请求,根据查询请求通过二维索引方式对若干数据分片文件进行查询,得到待查询时序数据所在数据分片文件的过程,具体如下:
获取查询请求,将查询请求发送至线程池中的空闲线程,形成查询线程;利用查询线程,根据查询请求,通过二维索引方式对若干数据分片文件进行查询,得到待查询时序数据所在数据分片文件;
其中,通过二维索引方式对若干数据分片文件进行查询的过程,具体如下:
根据待查询时序数据的时间范围值,确定对应时间范围值内的所有数据分片文件;
根据下位机测点的时序ID,从确定的对应时间范围值内的所有数据分片文件中,获取待查询时序数据所在的数据分片文件。
6.根据权利要求1所述的一种时序数据库查询方法,其特征在于,通过哈夫曼压缩算法,对待查询时序数据所在的数据分片文件进行解压,得到解压后的原始时序数据文件,并将解压后的原始时序数据文件映射至内存中。
7.根据权利要求6所述的一种时序数据库查询方法,其特征在于,在内存中查找待查询时序数据的过程,具体如下:
以待查询时序数据对应的下位机测点的时序ID及查询时间范围值,作为索引KEY,对内存中的解压后原始时序数据文件中进行检索,得到所述的待查询时序数据。
8.一种时序数据库查询系统,其特征在于,包括:
数据分片模块,用于利用一致性哈希算法,将每个测点的时序ID对预设的数据分片个数取余,计算得到每个测点的时序ID的分片号;并将相同分片号的测点的时序数据存放在同一数据分片中,得到若干数据分片文件;
查询模块,用于获取查询请求,根据查询请求通过二维索引方式对若干数据分片文件进行查询,得到待查询时序数据所在的数据分片文件;
结果输出模块,用于将待查询时序数据所在的数据分片文件解压后,映射至内存中,并在内存中查找待查询时序数据,得到所述的时序数据库查询结果。
9.一种时序数据库查询设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述一种时序数据库查询方法的步骤。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述一种时序数据库查询方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110990241.5A CN113434518B (zh) | 2021-08-26 | 2021-08-26 | 时序数据库查询方法、系统、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110990241.5A CN113434518B (zh) | 2021-08-26 | 2021-08-26 | 时序数据库查询方法、系统、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113434518A true CN113434518A (zh) | 2021-09-24 |
CN113434518B CN113434518B (zh) | 2021-12-03 |
Family
ID=77798087
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110990241.5A Active CN113434518B (zh) | 2021-08-26 | 2021-08-26 | 时序数据库查询方法、系统、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113434518B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113641841A (zh) * | 2021-10-15 | 2021-11-12 | 支付宝(杭州)信息技术有限公司 | 数据编码方法、图数据存储方法、图数据查询方法及装置 |
CN113961573A (zh) * | 2021-12-23 | 2022-01-21 | 北京力控元通科技有限公司 | 一种时序数据库查询方法和查询系统 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100179954A1 (en) * | 2009-01-09 | 2010-07-15 | Linkage Technology Group Co., Ltd. | Quick Mass Data Manipulation Method Based on Two-Dimension Hash |
CN104731516A (zh) * | 2013-12-18 | 2015-06-24 | 腾讯科技(深圳)有限公司 | 一种存取文件的方法、装置及分布式存储系统 |
CN109299100A (zh) * | 2018-10-12 | 2019-02-01 | 第四范式(北京)技术有限公司 | 管理内存数据及在内存中维护数据的方法和系统 |
CN110704453A (zh) * | 2019-10-15 | 2020-01-17 | 腾讯音乐娱乐科技(深圳)有限公司 | 一种数据查询方法、装置、存储介质及电子设备 |
CN110990400A (zh) * | 2019-11-20 | 2020-04-10 | 浙江大搜车软件技术有限公司 | 数据库查询方法、装置、计算机设备和存储介质 |
CN112131242A (zh) * | 2020-08-03 | 2020-12-25 | 福建威盾科技集团有限公司 | 一种基于redis的数据快速查询方法及装置 |
CN112328842A (zh) * | 2021-01-05 | 2021-02-05 | 北京谷数科技股份有限公司 | 一种数据处理方法、装置、电子设备及存储介质 |
-
2021
- 2021-08-26 CN CN202110990241.5A patent/CN113434518B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100179954A1 (en) * | 2009-01-09 | 2010-07-15 | Linkage Technology Group Co., Ltd. | Quick Mass Data Manipulation Method Based on Two-Dimension Hash |
CN104731516A (zh) * | 2013-12-18 | 2015-06-24 | 腾讯科技(深圳)有限公司 | 一种存取文件的方法、装置及分布式存储系统 |
CN109299100A (zh) * | 2018-10-12 | 2019-02-01 | 第四范式(北京)技术有限公司 | 管理内存数据及在内存中维护数据的方法和系统 |
CN110704453A (zh) * | 2019-10-15 | 2020-01-17 | 腾讯音乐娱乐科技(深圳)有限公司 | 一种数据查询方法、装置、存储介质及电子设备 |
CN110990400A (zh) * | 2019-11-20 | 2020-04-10 | 浙江大搜车软件技术有限公司 | 数据库查询方法、装置、计算机设备和存储介质 |
CN112131242A (zh) * | 2020-08-03 | 2020-12-25 | 福建威盾科技集团有限公司 | 一种基于redis的数据快速查询方法及装置 |
CN112328842A (zh) * | 2021-01-05 | 2021-02-05 | 北京谷数科技股份有限公司 | 一种数据处理方法、装置、电子设备及存储介质 |
Non-Patent Citations (2)
Title |
---|
MUHAMMAD N. KABIR ET AL.: ""Efficient search of a sequence of words in a large text file"", 《WORLD SYMPOSIUM ON COMPUTER APPLICATIONS & RESEARCH》 * |
王佳英 等: ""一种空间高效多核并行近似子串匹配方法"", 《计算机研究与发展》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113641841A (zh) * | 2021-10-15 | 2021-11-12 | 支付宝(杭州)信息技术有限公司 | 数据编码方法、图数据存储方法、图数据查询方法及装置 |
CN113961573A (zh) * | 2021-12-23 | 2022-01-21 | 北京力控元通科技有限公司 | 一种时序数据库查询方法和查询系统 |
CN113961573B (zh) * | 2021-12-23 | 2022-03-04 | 北京力控元通科技有限公司 | 一种时序数据库查询方法和查询系统 |
Also Published As
Publication number | Publication date |
---|---|
CN113434518B (zh) | 2021-12-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113434518B (zh) | 时序数据库查询方法、系统、设备及存储介质 | |
CN110460656B (zh) | 一种工业环保物联网远程监测云平台 | |
US10176208B2 (en) | Processing time series data from multiple sensors | |
US10015272B2 (en) | Method and apparatus for compaction of data received over a network | |
US20230097797A1 (en) | Method and apparatus for storing and querying time series data, and server and storage medium thereof | |
US11627207B2 (en) | Systems and methods for data deduplication by generating similarity metrics using sketch computation | |
CA3038018C (en) | Performing cache update adaptation | |
JP2022551011A (ja) | データを格納するための方法および装置、並びにそれらのコンピュータデバイスおよび記憶媒体 | |
CN102054000A (zh) | 数据查询方法、装置及系统 | |
CN108628898A (zh) | 数据入库的方法、装置和设备 | |
CN110542474A (zh) | 器件的振动信号检测方法、系统、介质及装置 | |
US11119995B2 (en) | Systems and methods for sketch computation | |
WO2021127245A1 (en) | Systems and methods for sketch computation | |
CN110851419B (zh) | 一种数据迁移的方法和装置 | |
CN114443658A (zh) | 数据处理方法及装置、计算机存储介质、电子设备 | |
WO2021096429A1 (en) | Method for processing irradiation forecast, method for training stacked generalization model, and apparatuses thereof | |
CN103902614A (zh) | 一种数据处理方法、设备和系统 | |
CN115357609A (zh) | 物联网数据的处理方法、装置、设备和介质 | |
CN112883064A (zh) | 一种自适应采样与查询方法及系统 | |
CN112036607A (zh) | 基于出力水平的风电出力波动预测方法、装置及存储介质 | |
CN111327721B (zh) | Ip地址定位方法及装置、存储介质及电子装置 | |
CN113157629A (zh) | 数据处理方法、装置、电子设备及存储介质 | |
Hurst et al. | Direct analytics of generalized deduplication compressed IoT data | |
CN106776598B (zh) | 一种信息处理方法及装置 | |
US20230297572A1 (en) | Cache update adaptation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |