CN110297832A - 一种时序数据存储方法及装置、时序数据查询方法及装置 - Google Patents
一种时序数据存储方法及装置、时序数据查询方法及装置 Download PDFInfo
- Publication number
- CN110297832A CN110297832A CN201910585843.5A CN201910585843A CN110297832A CN 110297832 A CN110297832 A CN 110297832A CN 201910585843 A CN201910585843 A CN 201910585843A CN 110297832 A CN110297832 A CN 110297832A
- Authority
- CN
- China
- Prior art keywords
- data
- index value
- time series
- index
- mapping relations
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000013500 data storage Methods 0.000 title claims abstract description 18
- 238000013507 mapping Methods 0.000 claims abstract description 53
- 238000003860 storage Methods 0.000 claims description 28
- 238000004590 computer program Methods 0.000 claims description 6
- 238000013506 data mapping Methods 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 description 18
- 241001269238 Data Species 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2228—Indexing structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2474—Sequence data queries, e.g. querying versioned data
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例提供一种时序数据存储方法及装置、时序数据查询方法及装置,所述时序数据存储方法包括,时序数据包括第一数据、第二数据和第三数据,且所述第一数据、第二数据和第三数据分别表征不同的数据属性,所述方法包括,将时序数据的第一数据建立第一索引,得到第一索引值;将所述第一索引值建立第二索引,得到第二索引值,所述第二索引值的存储空间占用量小于第一索引值;存储第一数据和第三数据的映射关系、第二索引值、第二数据和第三数据。通过使用本发明提供的时序数据存储方法及装置可以使得在存储时序数据时占用更少的存储空间,通过使用本发明提供的时序数据查询方法及装置,可以更快速的查找到所需的数据,提高查询效率。
Description
技术领域
本发明属于数据存储和查询领域,具体涉及一种时序数据存储方法及装置、时序数据查询方法及装置。
背景技术
基于Hbase的时序数据的存储方法,是将每个时序数据的指标和标签数据进行第一索引得到第一索引值,而第一索引值会和小时时间戳(4个字节)作为rowkey,采集的与所述指标和标签数据对应的数值数据(每个数值数据的存储空间为4个字节)每小时存储一行。
当时序比较稀疏时,大量的rowkey可能会占用比数值数据还要多的存储空间。例如,当某一时序数据具有3组标签数据,10分钟采集一个点,即便是该时序数据的指标和标签数据已经进行了第一索引,若按照指标和标签数据的第一索引值占用3个字节进行计算,rowkey依然会占用3*(1+2*3)+4=25个字节,而此时时序数据的数值数据每小时占用存储为4*6=24个字节,可见rowkey占用的存储空间比数值数据占用的存储空间还要大,也就是说,第一索引值占用的存储空间还是比较大,因此,如何进一步降低第一索引值的存储空间,成为亟需解决的技术问题。
发明内容
本发明提供了一种时序数据存储方法及装置、时序数据查询方法及装置。
为了解决上述技术问题,本发明实施例提供了如下的技术方案:
本发明第一方面提供一种时序数据存储方法,所述时序数据包括第一数据、第二数据和第三数据,且所述第一数据、第二数据和第三数据分别表征不同的数据属性,所述方法包括,
将时序数据的第一数据建立第一索引,得到第一索引值;
将所述第一索引值建立第二索引,得到第二索引值,所述第二索引值的存储空间占用量小于第一索引值;
存储第一数据和第三数据的映射关系、第二索引值、第二数据和第三数据。
作为优选,所述第一数据包括第一子数据和第二子数据,所述将时序数据的第一数据建立第一索引,得到第一索引值,包括,
将所述第一子数据和第二子数据分别建立索引,将分别建立的索引合并得到所述第一索引值。
作为优选,所述存储第一数据和第三数据的映射关系,包括,
存储所述第一数据与所述第一索引值的第一映射关系;
存储所述第一索引值和所述第二索引值的第二映射关系;
存储所述第二索引值和所述第三数据的第三映射关系。
作为优选,所述第一数据为指标和标签数据;
第二数据为时间戳数据;
第三数据为与所述第一数据对应的数值数据。
本发明第二方面提供一种时序数据查询方法,所述时序数据包括第一数据、第二数据和第三数据,且所述第一数据、第二数据和第三数据分别表征不同的数据属性,所述方法包括,
获得第一数据;
基于第一数据和第三数据的映射关系,由所述第一数据获得所述第三数据。
作为优选,所述方法包括,所述基于第一数据和第三数据的映射关系,由所述第一数据获得所述第三数据,包括,
基于所述第一数据和第一映射关系得到第一索引值;
基于所述第一索引值和第二映射关系得到所述第二索引值;
基于所述第二索引值和第三映射关系得到第三数据。
本发明第三方面提供一种时序数据存储装置,所述时序数据包括第一数据、第二数据和第三数据,且所述第一数据、第二数据和第三数据分别表征不同的数据属性,所述装置至少包括第一存储器、第一处理器,所述第一存储器上存储有计算机程序,所述第一处理器执行如下步骤:
将时序数据的第一数据建立第一索引,得到第一索引值;
将所述第一索引值建立第二索引,得到第二索引值,所述第二索引值的存储空间占用量小于第一索引值;
存储第一数据和第三数据的映射关系、第二索引值、第二数据和第三数据。
作为优选,所述第一数据包括第一子数据和第二子数据,所述第一处理器还执行如下步骤:
将所述第一子数据和第二子数据分别建立索引,将分别建立的索引合并得到所述第一索引值。
作为优选,所述第一处理器还执行如下步骤:
存储所述第一数据与所述第一索引值的第一映射关系;
存储所述第一索引值和所述第二索引值的第二映射关系;
存储所述第二索引值和所述第三数据的第三映射关系。
本发明第四方面提供一种时序数据查询装置,所述时序数据包括第一数据、第二数据和第三数据,且所述第一数据、第二数据和第三数据分别表征不同的数据属性,所述装置至少包括第二存储器、第二处理器,所述第二存储器上存储有计算机程序,所述第二处理器执行如下步骤:
获得第一数据;
基于第一数据和第三数据的映射关系,由所述第一数据获得所述第三数据。
基于上述实施例的公开可以获知,本发明实施例具备如下的有益效果:
通过使用本发明提供的时序数据存储方法及装置可以使得在存储时序数据时占用更少的存储空间,通过使用本发明提供的时序数据查询方法及装置,可以更快速的查找到所需的数据,提高查询效率。
附图说明
图1为本发明实施例提供的时序数据存储方法流程示意图;
图2为本发明实施例提供的时序数据查询方法流程示意图;
图3为本发明实施例提供的时序数据存储装置结构示意图;
图4为本发明实施例提供的时序数据查询装置结构示意图。
具体实施方式
下面,结合附图对本发明的具体实施例进行详细的描述,但不作为本发明的限定。
应理解的是,可以对此处公开的实施例做出各种修改。因此,上述说明书不应该视为限制,而仅是作为实施例的范例。本领域的技术人员将想到在本公开的范围和精神内的其他修改。
包含在说明书中并构成说明书的一部分的附图示出了本公开的实施例,并且与上面给出的对本公开的大致描述以及下面给出的对实施例的详细描述一起用于解释本公开的原理。
通过下面参照附图对给定为非限制性实例的实施例的优选形式的描述,本发明的这些和其它特性将会变得显而易见。
还应当理解,尽管已经参照一些具体实例对本发明进行了描述,但本领域技术人员能够确定地实现本发明的很多其它等效形式,它们具有如权利要求所述的特征并因此都位于借此所限定的保护范围内。
当结合附图时,鉴于以下详细说明,本公开的上述和其他方面、特征和优势将变得更为显而易见。
此后参照附图描述本公开的具体实施例;然而,应当理解,所公开的实施例仅仅是本公开的实例,其可采用多种方式实施。熟知和/或重复的功能和结构并未详细描述以避免不必要或多余的细节使得本公开模糊不清。因此,本文所公开的具体的结构性和功能性细节并非意在限定,而是仅仅作为权利要求的基础和代表性基础用于教导本领域技术人员以实质上任意合适的详细结构多样地使用本公开。
本说明书可使用词组“在一种实施例中”、“在另一个实施例中”、“在又一实施例中”或“在其他实施例中”,其均可指代根据本公开的相同或不同实施例中的一个或多个。
下面,结合附图详细的说明本发明实施例,
如图1所示,本发明第一个实施例提供一种时序数据存储方法,所述时序数据包括第一数据、第二数据和第三数据,且所述第一数据、第二数据和第三数据分别表征不同的数据属性,所述方法包括,
将时序数据的第一数据建立第一索引,得到第一索引值;
将所述第一索引值建立第二索引,得到第二索引值,所述第二索引值的存储空间占用量小于第一索引值;
存储第一数据和第三数据的映射关系、第二索引值、第二数据和第三数据。
在本发明实施例中,所述时序数据包括第一数据、第二数据和第三数据,且所述第一数据、第二数据和第三数据分别表征不同的数据属性,例如,在一个具体实施例中,所述第一数据包括第一子数据和第二子数据,更具体地,所述第一子数据和第二子数据可以分别为指标和标签数据。
在一个具体实施例中,如果要表征某一特定目标的某一特定指标,例如,若表示第一车间的第一生产线上的第一设备的温度值,采用时序数据进行记录时通常会记录成如下字符串“温度值,车间=1,生产线=1,设备=1,时间戳数据,若干温度值”,其中,上述字符串中的“温度值”就为时序数据中的指标,上述字符串中的“车间=1,生产线=1,设备=1”为时序数据中的标签数据,指标和标签数据统称为所述时序数据的第一数据;且在本具体实施例中,表示该时序数据具有3个标签数据,所述时序数据中对于标签数据的具体个数没有具体限定,其只要能清楚地表示某一具体特定目标即可,例如,所述标签数据的数量可以为1个,2个或4个等等。时间戳数据为时序数据的第二数据,其通常为小时时间戳数据,表示采集的数据每小时存储一行;所述若干温度值为所述时序数据的第三数据,其温度值的具体存储个数与存储数据的时间间隔有关,例如,当所述时序数据的第二数据为小时时间戳数据时,当存储数据的时间间隔为10分钟时,也就是说,每小时能够存储6个温度值,即温度值的个数为6个。
由上述实施例可以看出上述字符串非常繁琐,不但不方便记录,存储时还会占用较大的存储空间,尤其是所述时序数据的第一数据会占用较大的存储空间,因此在本发明提供的实施例中,需要对所述时序数据的第一数据建立第一索引,以得到第一索引值。在一个具体实施例中,当所述时序数据的第一数据为“温度值,车间=1,生产线=1,设备=1”这一个字符串时,对该第一数据建立第一索引,并使每个索引占用3个字节,则得到的第一索引值为“001,002=1,003=1,004=1”,也就是说,在建立第一索引值的过程中,对“温度值,车间,生产线,设备”分别建立索引值,使得温度值可以用001表示,车间可以用002表示,生产线可以用003表示,设备可以用004表示。还需说明的是,本领域技术人员应当理解,本发明提供的上述实施例中,使每个索引占用3个字节只是示例性的描述,其并不能构成对于本发明的限定。在实际应用中,对于每个索引占用的具体字节数没有任何限定,其可以使每个索引占用2个字节,也可以使每个索引占用3个字节。
在将该时序数据的第一数据“温度值,车间=1,生产线=1,设备=1”建立第一索引,得到的第一索引值为“001,002=1,003=1,004=1”,由所得到的具体第一索引值可以看出,其依然为一个很长的字符串,虽然与所述时序数据的第一数据相比,存储时占用的存储空间变小,但是该所述第一索引值在存储时依然会占用比较大的存储空间。例如,上述第一索引值占用的存储空间为3+2*3+2*3+2*3=21个字节,通常地,所述第一索引值和第二数据,也就是所述第一索引值和所述时间戳数据作为rowkey存储,时间戳数据的存储占用空间为4个字节,那么一个rowkey存储时占用的空间为21+4=25个字节;当存储数据的时间间隔为10分钟时,每个小时能够存储的所述时序数据的第三数据的个数为6个,已知每个第三数据占用的存储空间为4个字节,那么每一个小时存储的第三数据占用的存储空间为4*6=24个字节,由上面的具体实施例可以看出,在一个小时中一个rowkey占用的存储空间为25个字节,在一个小时中存储的第三数据占用的存储空间为24个字节,可见在一个小时中,rowkey占用的存储空间比第三数据占用的存储空间还要大,而且越是稀疏的时序数据,这种差距就越明显;再例如,当每个小时仅存储两次数据时,在一个小时中,一个rowkey占用的存储空间还是25个字节,而在一个小时中,第三数据占用的存储空间为4*2=8个字节;当每个小时仅存储一次数据时,在一个小时中,一个rowkey占用的存储空间依然为25个字节,而在一个小时中,第三数据占用的存储空间就仅为4个字节,可见,对于存储稀疏的时序数据而言,一般地,rowkey占用的存储空间要比第三数据占用的存储空间大,而且越是稀疏的时序数据,rowkey占用的存储空间就越是比第三数据占用的存储空间大的多。因此可以将上述得到的第一索引值进一步建立第二索引,以得到第二索引值,且所述第二索引值的存储空间占用量小于第一索引值。
具体地,在另一个具体实施例中,将所述第一索引值“001,002=1,003=1,004=1”建立第二索引,并使索引占用2个字节,得到所述第二索引值为“01”,也就是说,在建立第二索引的过程中,是使用“01”这个字符来替代上面的长字符“001,002=1,003=1,004=1”,从而使得所述第一索引值被所述第二索引值替代后,存储占用空间更小的第二索引值即可,达到进一步降低存储空间的目的。还需说明的是,本领域技术人员应当理解,本发明提供的上述实施例中,在建立第二索引的过程中,使索引占用2个字节只是示例性的描述,其并不能构成对于本发明的限定。在实际应用中,对于索引占用的具体字节数没有任何限定,其可以使索引占用2个字节,当使得第二索引值占用2个字节时,由于每个字节有8为,所以对于第二索引值占用2个字节的情况,其最多可以支持216=65536个时序数据,这本身已经可以覆盖大部分的工业场景;其还可以使索引占用3个字节,当使得第二索引值占用3个字节时,由于每个字节有8为,所以对于第二索引值占用3个字节的情况,其最多可以支持224=16777216个时序数据,这比对于第二索引值占用2个字节时,具有更多的应用场景,因此,当第二索引值占用2个字节时,所覆盖的应用场景不够用时,可以调整所述第二索引值占用字节数的情况,例如,可以使所述第二索引值占用更多的字节,例如,可以使所述第二索引值占用3个字节。
为方便描述,本实施例及以下实施例以所述第二索引值占用2个字节为例进行说明,当并不能构成对于本发明的限定。上述第一索引值占用的存储空间为3+2*3+2*3+2*3=21个字节,通常地,所述第一索引值和第二数据,也就是所述第一索引值和所述时间戳数据作为rowkey存储,时间戳数据的存储占用空间为4个字节,那么当所述第一索引值和所述时间戳数据作为rowkey存储时,一个rowkey存储时占用的空间为21+4=25个字节;当把所述第一索引值建立第二索引,并得到所述第二索引值后,第二索引值占用的存储空间为2个字节,同样地,所述第二索引值和所述时间戳数据作为rowkey存储,时间戳数据的存储占用空间依然为4个字节,那么当所述第二索引值和所述时间戳数据作为rowkey存储时,一个rowkey存储时占用的空间为2+4=6个字节;由此可以看出,通过将所述第一索引值建立第二索引得到第二索引值,且通过存储第二索引值来替代存储第一索引值可以大大减低存储时所占用的空间。例如,在一个具体实施例中,当存储数据的时间间隔为10分钟时,每个小时能够存储的所述时序数据的第三数据的个数为6个,已知每个第三数据占用的存储空间为4个字节,那么每一个小时存储的第三数据占用的存储空间为4*6=24个字节,由上面的具体实施例可以看出,在一个小时中基于所述第二索引值和所述时间戳数据的一个rowkey占用的存储空间为6个字节,在一个小时中存储的第三数据占用的存储空间为24个字节,可见在一个小时中,基于所述第二索引值和所述时间戳数据的rowkey占用的存储空间已经小于第三数据占用的存储空间。即使是对于更加稀疏的时序数据而言,基于所述第二索引值和所述时间戳数据的rowkey占用的存储空间还是小于或者接近于第三数据占用的存储空间;例如,当每个小时仅存储两次数据时,在一个小时中,基于所述第二索引值和所述时间戳数据的rowkey占用的存储空间还是6个字节,而在一个小时中,第三数据占用的存储空间为4*2=8个字节;可见,基于所述第二索引值和所述时间戳数据的rowkey占用的存储空间还是小于第三数据占用的存储空间。当每个小时仅存储一次数据时,在一个小时中,基于所述第二索引值和所述时间戳数据的rowkey占用的存储空间依然为6个字节,而在一个小时中,第三数据占用的存储空间就仅为4个字节,可见,虽然基于所述第二索引值和所述时间戳数据的rowkey占用的存储空间比第三数据占用的存储空间大,但实质上两者已经非常接近,进一步说明了,通过采用将所述第一索引值进一步建立第二索引,从而存储得到的第二索引值的方式,可以进一步降低存储空间占用量。因此,在本发明提供的实施例中,通过存储第一数据和第三数据的映射关系、第二索引值、第二数据和第三数据就可以存储一个完整的时序数据,且通过本发明提供的时序数据的存储方法可以达到降低存储占用空间的目的。
在本发明提供的另一个实施例中,所述第一数据和第三数据的映射关系是指,基于所述第一数据能够查询到所述第三数据的映射关系,例如,所述第一数据描述的是某一特定目标的某一特定指标,例如其可以是,第一车间的第一生产线上的第一设备的温度值,或者也可以是第二车间的第三生产线上的第四设备的压力值等等。而第三数据指的是这一特定指标的具体数值,例如,第一车间的第一生产线上的第一设备的温度值为45℃,则这个具体的“45℃”数值就为第三数据;再例如,第二车间的第三生产线上的第四设备的压力值为2000pa,则这个具体的“2000pa”数值就为第三数据。由此可见,所述第一数据和第三数据是相互对应的关系,其描述的是“第一数据”的具体数值为“第三数据”。
在本发明提供的另一个实施例中,所述第一数据包括第一子数据和第二子数据,所述将时序数据的第一数据建立第一索引,得到第一索引值,包括,
将所述第一子数据和第二子数据分别建立索引,将分别建立的索引合并得到所述第一索引值。
在本实施例中,将时序数据的第一数据建立第一索引,得到第一索引值,就是将所述第一子数据和第二子数据分别建立索引,将分别建立的索引合并得到所述第一索引值。例如,在一个具体实施例中,若表示第一车间的第一生产线上的第一设备的温度值,采用时序数据进行记录时通常会记录成如下字符串“温度值,车间=1,生产线=1,设备=1,时间戳数据,若干温度值”,其中,“温度值,车间=1,生产线=1,设备=1”为所述时序数据的第一数据,上述字符串中的“温度值”就为第一数据的第一子数据,上述字符串中的“车间=1,生产线=1,设备=1”为时序数据中的第二子数据,对该第一数据建立第一索引,并使每个索引占用3个字节,就是对第一子数据“温度值”建立索引,得到第一子数据的索引值“001”,然后再对第二子数据“车间=1,生产线=1,设备=1”建立索引,得到第二子数据的索引值“002=1,003=1,004=1”,则所述第一索引值“001,002=1,003=1,004=1”就是由上述两个索引值合并得到的。
在本发明提供的其他实施例中,所述存储第一数据和第三数据的映射关系,包括,
存储所述第一数据与所述第一索引值的第一映射关系;
存储所述第一索引值和所述第二索引值的第二映射关系;
存储所述第二索引值和所述第三数据的第三映射关系。
例如,在一个具体实施例中,需要存储“温度值,车间=1,生产线=1,设备=1”和“001,002=1,003=1,004=1”的映射关系,需要存储“001,002=1,003=1,004=1”和“01”的映射关系,还需要存储“01”和第三数据的映射关系。
在本发明提供的一个实施例中,所述第一数据为指标和标签数据;
第二数据为时间戳数据;
第三数据为与所述第一数据对应的数值数据。
在本实施例中,所述第一数据包括第一子数据和第二子数据,例如,所述第一子数据为指标,所述第二子数据为标签数据。
如图2所示,本发明第二个实施例提供一种时序数据查询方法,所述时序数据包括第一数据、第二数据和第三数据,且所述第一数据、第二数据和第三数据分别表征不同的数据属性,所述方法包括,
获得第一数据;
基于第一数据和第三数据的映射关系,由所述第一数据获得所述第三数据。
在本实施例中,能够基于第一数据和映射关系查询到第三数据,例如当某一个时序数据已经按照上述的时序数据的存储方法存储进入存储空间后,若再想要调取该时序数据时,输入该时序数据的第一数据就可以得到该时序数据的第三数据。例如,若想要查询第一车间的第一生产线上的第一设备的温度值,需要输入的第一数据为“温度值,车间=1,生产线=1,设备=1”,则得到的第三数据为45℃。
在本发明提供的另一个实施例中,所述方法包括,所述基于第一数据和第三数据的映射关系,由所述第一数据获得所述第三数据,包括,
基于所述第一数据和第一映射关系得到第一索引值;
基于所述第一索引值和第二映射关系得到所述第二索引值;
基于所述第二索引值和第三映射关系得到第三数据。
例如,在一个具体实施例中,基于“温度值,车间=1,生产线=1,设备=1”和第一映射关系得到“001,002=1,003=1,004=1”,再基于“001,002=1,003=1,004=1”和第二映射关系得到“01”,最后再基于“01”和第三映射关系就能得到第三数据。
基于与所述时序数据存储方法相同的发明构思,如图3所示,本发明第三个实施例提供一种时序数据存储装置,所述时序数据包括第一数据、第二数据和第三数据,且所述第一数据、第二数据和第三数据分别表征不同的数据属性,所述装置至少包括第一存储器、第一处理器,所述第一存储器上存储有计算机程序,所述第一处理器执行如下步骤:
将时序数据的第一数据建立第一索引,得到第一索引值;
将所述第一索引值建立第二索引,得到第二索引值,所述第二索引值的存储空间占用量小于第一索引值;
存储第一数据和第三数据的映射关系、第二索引值、第二数据和第三数据。
在一个实施例中,所述第一数据包括第一子数据和第二子数据,所述第一处理器还执行如下步骤:
将所述第一子数据和第二子数据分别建立索引,将分别建立的索引合并得到所述第一索引值。
在另一个实施例中,所述第一处理器还执行如下步骤:
存储所述第一数据与所述第一索引值的第一映射关系;
存储所述第一索引值和所述第二索引值的第二映射关系;
存储所述第二索引值和所述第三数据的第三映射关系。
基于与所述时序数据查询方法相同的发明构思,如图4所示,本发明第四个实施例提供一种时序数据查询装置,所述时序数据包括第一数据、第二数据和第三数据,且所述第一数据、第二数据和第三数据分别表征不同的数据属性,所述装置至少包括第二存储器、第二处理器,所述第二存储器上存储有计算机程序,所述第二处理器执行如下步骤:
获得第一数据;
基于第一数据和第三数据的映射关系,由所述第一数据获得所述第三数据。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的数据处理方法所应用于的电子设备,可以参考前述产品实施例中的对应描述,在此不再赘述。
以上实施例仅为本发明的示例性实施例,不用于限制本发明,本发明的保护范围由权利要求书限定。本领域技术人员可以在本发明的实质和保护范围内,对本发明做出各种修改或等同替换,这种修改或等同替换也应视为落在本发明的保护范围内。
Claims (10)
1.一种时序数据存储方法,所述时序数据包括第一数据、第二数据和第三数据,且所述第一数据、第二数据和第三数据分别表征不同的数据属性,所述方法包括,
将时序数据的第一数据建立第一索引,得到第一索引值;
将所述第一索引值建立第二索引,得到第二索引值,所述第二索引值的存储空间占用量小于第一索引值;
存储第一数据和第三数据的映射关系、第二索引值、第二数据和第三数据。
2.根据权利要求1所述的方法,所述第一数据包括第一子数据和第二子数据,所述将时序数据的第一数据建立第一索引,得到第一索引值,包括,
将所述第一子数据和第二子数据分别建立索引,将分别建立的索引合并得到所述第一索引值。
3.根据权利要求1所述的方法,所述存储第一数据和第三数据的映射关系,包括,
存储所述第一数据与所述第一索引值的第一映射关系;
存储所述第一索引值和所述第二索引值的第二映射关系;
存储所述第二索引值和所述第三数据的第三映射关系。
4.根据权利要求1所述的方法,所述第一数据为指标和标签数据;
第二数据为时间戳数据;
第三数据为与所述第一数据对应的数值数据。
5.一种时序数据查询方法,所述时序数据包括第一数据、第二数据和第三数据,且所述第一数据、第二数据和第三数据分别表征不同的数据属性,所述方法包括,
获得第一数据;
基于第一数据和第三数据的映射关系,由所述第一数据获得所述第三数据。
6.根据权利要求5所述的方法,所述方法包括,所述基于第一数据和第三数据的映射关系,由所述第一数据获得所述第三数据,包括,
基于所述第一数据和第一映射关系得到第一索引值;
基于所述第一索引值和第二映射关系得到所述第二索引值;
基于所述第二索引值和第三映射关系得到第三数据。
7.一种时序数据存储装置,所述时序数据包括第一数据、第二数据和第三数据,且所述第一数据、第二数据和第三数据分别表征不同的数据属性,所述装置至少包括第一存储器、第一处理器,所述第一存储器上存储有计算机程序,所述第一处理器执行如下步骤:
将时序数据的第一数据建立第一索引,得到第一索引值;
将所述第一索引值建立第二索引,得到第二索引值,所述第二索引值的存储空间占用量小于第一索引值;
存储第一数据和第三数据的映射关系、第二索引值、第二数据和第三数据。
8.根据权利要求7所述的装置,所述第一数据包括第一子数据和第二子数据,所述第一处理器还执行如下步骤:
将所述第一子数据和第二子数据分别建立索引,将分别建立的索引合并得到所述第一索引值。
9.根据权利要求7所述的装置,所述第一处理器还执行如下步骤:
存储所述第一数据与所述第一索引值的第一映射关系;
存储所述第一索引值和所述第二索引值的第二映射关系;
存储所述第二索引值和所述第三数据的第三映射关系。
10.一种时序数据查询装置,所述时序数据包括第一数据、第二数据和第三数据,且所述第一数据、第二数据和第三数据分别表征不同的数据属性,所述装置至少包括第二存储器、第二处理器,所述第二存储器上存储有计算机程序,所述第二处理器执行如下步骤:
获得第一数据;
基于第一数据和第三数据的映射关系,由所述第一数据获得所述第三数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910585843.5A CN110297832B (zh) | 2019-07-01 | 2019-07-01 | 一种时序数据存储方法及装置、时序数据查询方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910585843.5A CN110297832B (zh) | 2019-07-01 | 2019-07-01 | 一种时序数据存储方法及装置、时序数据查询方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110297832A true CN110297832A (zh) | 2019-10-01 |
CN110297832B CN110297832B (zh) | 2021-12-24 |
Family
ID=68029721
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910585843.5A Active CN110297832B (zh) | 2019-07-01 | 2019-07-01 | 一种时序数据存储方法及装置、时序数据查询方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110297832B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110750536A (zh) * | 2019-10-11 | 2020-02-04 | 清华大学 | 姿态时间序列数据的振动噪声平滑处理方法及系统 |
CN111552687A (zh) * | 2020-03-10 | 2020-08-18 | 远景智能国际私人投资有限公司 | 时序数据的存储方法、查询方法、装置、设备及存储介质 |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101667255A (zh) * | 2008-09-04 | 2010-03-10 | 华为技术有限公司 | 一种射频识别的安全认证方法、装置及系统 |
CN101833986A (zh) * | 2010-05-20 | 2010-09-15 | 哈尔滨工业大学 | 一种三级音频索引的创建方法及音频检索方法 |
CN103703467A (zh) * | 2013-08-29 | 2014-04-02 | 华为技术有限公司 | 存储数据的方法和装置 |
CN104102710A (zh) * | 2014-07-15 | 2014-10-15 | 浪潮(北京)电子信息产业有限公司 | 一种海量数据查询方法 |
CN104112013A (zh) * | 2014-07-17 | 2014-10-22 | 浪潮(北京)电子信息产业有限公司 | HBase二级索引方法及装置 |
US20160012086A1 (en) * | 2014-07-08 | 2016-01-14 | Gordon GAUMNITZ | Linear run length encoding: compressing the index vector |
CN106776823A (zh) * | 2016-11-25 | 2017-05-31 | 华为技术有限公司 | 一种时序数据管理方法、设备和装置 |
CN106777111A (zh) * | 2016-12-15 | 2017-05-31 | 华南师范大学 | 一种超大规模数据的时序检索索引系统及方法 |
CN107273471A (zh) * | 2017-06-07 | 2017-10-20 | 国网上海市电力公司 | 一种基于Geohash的二元电力时序数据索引构建方法 |
CN107515882A (zh) * | 2016-06-17 | 2017-12-26 | 阿里巴巴集团控股有限公司 | 数据查询方法及装置 |
CN108470068A (zh) * | 2018-03-29 | 2018-08-31 | 重庆大学 | 一种时序键值型工业过程数据的摘要索引生成方法 |
US20180276262A1 (en) * | 2016-01-29 | 2018-09-27 | Huawei Technologies Co., Ltd. | Data Storage Method and Apparatus |
CN109086456A (zh) * | 2018-08-31 | 2018-12-25 | 中国联合网络通信集团有限公司 | 数据索引方法及装置 |
-
2019
- 2019-07-01 CN CN201910585843.5A patent/CN110297832B/zh active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101667255A (zh) * | 2008-09-04 | 2010-03-10 | 华为技术有限公司 | 一种射频识别的安全认证方法、装置及系统 |
CN101833986A (zh) * | 2010-05-20 | 2010-09-15 | 哈尔滨工业大学 | 一种三级音频索引的创建方法及音频检索方法 |
CN103703467A (zh) * | 2013-08-29 | 2014-04-02 | 华为技术有限公司 | 存储数据的方法和装置 |
US20160012086A1 (en) * | 2014-07-08 | 2016-01-14 | Gordon GAUMNITZ | Linear run length encoding: compressing the index vector |
CN104102710A (zh) * | 2014-07-15 | 2014-10-15 | 浪潮(北京)电子信息产业有限公司 | 一种海量数据查询方法 |
CN104112013A (zh) * | 2014-07-17 | 2014-10-22 | 浪潮(北京)电子信息产业有限公司 | HBase二级索引方法及装置 |
US20180276262A1 (en) * | 2016-01-29 | 2018-09-27 | Huawei Technologies Co., Ltd. | Data Storage Method and Apparatus |
CN107515882A (zh) * | 2016-06-17 | 2017-12-26 | 阿里巴巴集团控股有限公司 | 数据查询方法及装置 |
CN106776823A (zh) * | 2016-11-25 | 2017-05-31 | 华为技术有限公司 | 一种时序数据管理方法、设备和装置 |
CN106777111A (zh) * | 2016-12-15 | 2017-05-31 | 华南师范大学 | 一种超大规模数据的时序检索索引系统及方法 |
CN107273471A (zh) * | 2017-06-07 | 2017-10-20 | 国网上海市电力公司 | 一种基于Geohash的二元电力时序数据索引构建方法 |
CN108470068A (zh) * | 2018-03-29 | 2018-08-31 | 重庆大学 | 一种时序键值型工业过程数据的摘要索引生成方法 |
CN109086456A (zh) * | 2018-08-31 | 2018-12-25 | 中国联合网络通信集团有限公司 | 数据索引方法及装置 |
Non-Patent Citations (2)
Title |
---|
JONATHAN WOODBRIDGE 等: "Aggregated Indexing of Biomedical Time Series Data", 《2012 IEEE SECOND INTERNATIONAL CONFERENCE ON HEALTHCARE INFORMATICS, IMAGING AND SYSTEMS BIOLOGY》 * |
戚雪冰: "风电监控系统中时序数据管理系统的设计与实现", 《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110750536A (zh) * | 2019-10-11 | 2020-02-04 | 清华大学 | 姿态时间序列数据的振动噪声平滑处理方法及系统 |
CN110750536B (zh) * | 2019-10-11 | 2020-06-23 | 清华大学 | 姿态时间序列数据的振动噪声平滑处理方法及系统 |
CN111552687A (zh) * | 2020-03-10 | 2020-08-18 | 远景智能国际私人投资有限公司 | 时序数据的存储方法、查询方法、装置、设备及存储介质 |
CN111552687B (zh) * | 2020-03-10 | 2023-08-04 | 远景智能国际私人投资有限公司 | 时序数据的存储方法、查询方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN110297832B (zh) | 2021-12-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105320775B (zh) | 数据的存取方法和装置 | |
CN108205577B (zh) | 一种数组构建、数组查询的方法、装置及电子设备 | |
CN105447174B (zh) | 一种报表生成方法及装置 | |
CN103902698B (zh) | 一种数据存储系统和存储方法 | |
CN107918612B (zh) | 键值存储系统数据结构的实现方法和装置 | |
CN108256088A (zh) | 一种基于键值数据库的时序数据的存储方法及系统 | |
CN103995855B (zh) | 存储数据的方法和装置 | |
CN108932236A (zh) | 一种文件管理方法、过期文件删除方法及装置 | |
CN109918341A (zh) | 日志处理方法及装置 | |
CN103488727B (zh) | 基于周期对数的二维时序数据存储和查询方法 | |
CN105574054B (zh) | 一种分布式缓存范围查询方法、装置及系统 | |
CN104504116B (zh) | 一种实时数据库的存储方法 | |
KR101475335B1 (ko) | 데이터베이스 검색에 있어 조회 향상 | |
CN107918642A (zh) | 数据查询方法、服务器及计算机可读存储介质 | |
CN106156070B (zh) | 一种查询方法、文件合并方法与相关装置 | |
CN110297832A (zh) | 一种时序数据存储方法及装置、时序数据查询方法及装置 | |
CN108628894A (zh) | 数据仓库中的数据指标查询方法及装置 | |
CN107526733A (zh) | 一种拉链表数据存储方法和装置 | |
CN108021702A (zh) | 基于LSM-tree的分级存储方法、装置、OLAP数据库系统及介质 | |
CN110008246A (zh) | 元数据管理方法及装置 | |
CN108009296A (zh) | 一种基于Hbase的SQL查询方法、系统及相关装置 | |
CN103714086A (zh) | 用于生成非关系数据库的模式的方法和设备 | |
CN102169491A (zh) | 一种多数据集中重复记录动态检测方法 | |
CN110222074A (zh) | 索引查找方法、查找装置、电子设备及存储介质 | |
CN104156385B (zh) | 一种处理时间序列数据的方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |