CN112241410A - 数据存储方法、数据索引的构建方法、装置、计算机设备 - Google Patents
数据存储方法、数据索引的构建方法、装置、计算机设备 Download PDFInfo
- Publication number
- CN112241410A CN112241410A CN202011136081.XA CN202011136081A CN112241410A CN 112241410 A CN112241410 A CN 112241410A CN 202011136081 A CN202011136081 A CN 202011136081A CN 112241410 A CN112241410 A CN 112241410A
- Authority
- CN
- China
- Prior art keywords
- index data
- index
- storage
- data
- type
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000013500 data storage Methods 0.000 title claims abstract description 47
- 238000010276 construction Methods 0.000 title abstract description 6
- 238000004590 computer program Methods 0.000 claims description 22
- 238000012163 sequencing technique Methods 0.000 claims description 4
- 230000002411 adverse Effects 0.000 abstract description 10
- 230000000694 effects Effects 0.000 abstract description 10
- 230000010354 integration Effects 0.000 description 25
- 238000010586 diagram Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 3
- 239000012634 fragment Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2228—Indexing structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请涉及一种数据存储方法、数据索引的构建方法、装置、计算机设备和存储介质。该方法包括:获取计算节点的指标数据;根据指标数据的类型对指标数据进行分类,得到不同类型的指标数据;将各类型的指标数据存储至第一存储空间中与类型对应的存储区域中,得到各类型的指标数据在对应的存储区域中所形成的指标数据片;当存储区域中存储的指标数据片的体量达到体量阈值时,将存储区域中存储的指标数据片发送至第二存储空间中进行存储。采用本方法,可以减少指标数据写入第二存储空间的次数,降低了因第二存储空间的读写性能所带来的不利影响,提高了指标数据的存储效率。
Description
技术领域
本申请涉及数据存储技术领域,特别是涉及一种数据存储方法、数据索引的构建方法、装置、计算机设备和存储介质。
背景技术
随着计算机技术的发展,出现了计算机集群技术。计算机集群的作用是为了改进单个计算机的计算速度和/或可靠性。计算机集群中的单个计算机称为节点,通常通过局域网连接。计算机集群一般由成千上万个计算节点组成,为了保证计算机集群整体运行状态的稳定,需要实时监控计算机集群中各计算节点的各项指标。
由于计算节点众多,且需要频繁地采集计算机集群中所有计算节点的指标数据,因此指标数据的体量很大。在对如此庞大的指标数据进行统一存储时,受限于存储空间的读写性能例如每秒读写次数,导致存储效率较低。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高存储效率的数据存储方法、数据索引的构建方法、装置、计算机设备和存储介质。
一种数据存储方法,所述方法包括:
获取计算节点的指标数据;
根据所述指标数据的类型对所述指标数据进行分类,得到不同类型的指标数据;
将各所述类型的指标数据存储至第一存储空间中与所述类型对应的存储区域中,得到各所述类型的指标数据在对应的存储区域中所形成的指标数据片;
当所述存储区域中存储的指标数据片的体量达到体量阈值时,将所述存储区域中存储的指标数据片发送至第二存储空间中进行存储。
上述数据存储方法中,首先将计算节点的指标数据按照指标数据的类型存储至第一存储空间对应的存储区域中,得到各类型的指标数据在对应的存储区域中所形成的指标数据片,并在对应的存储区域中存储的指标数据片的体量达到体量阈值时,将该存储区域中存储的指标数据片发送至第二存储空间中进行存储。采用该方法可以减少指标数据写入第二存储空间的次数,降低了因第二存储空间的读写性能所带来的不利影响,提高了指标数据的存储效率。
在其中一个实施例中,所述当所述存储区域中存储的指标数据片的体量达到体量阈值时,将所述存储区域中存储的指标数据片发送至第二存储空间中进行存储,包括:
当所述存储区域中存储的指标数据片的体量达到体量阈值时,将所述存储区域中存储的指标数据片,以及所述指标数据片关联的属性信息发送至第二存储空间中进行存储,以使所述第二存储空间根据所述指标数据片关联的属性信息构建所述指标数据片的索引信息;
其中,所述指标数据片关联的属性信息包括所述指标数据片对应的类型、所述指标数据片在对应存储区域中达到体量阈值的次序、所述指标数据片中的指标数据对应的计算节点的标识或所述指标数据片中的指标数据的采集时间中的至少一种。
本实施例中,将指标数据对应的分片属性信息发送至第二存储空间存储,有利于对指标数据的区分及搜索。
在其中一个实施例中,所述将各所述类型的指标数据存储至第一存储空间中与所述类型对应的存储区域中,得到各所述类型的指标数据在对应的存储区域中所形成的指标数据片,包括:
根据与各所述类型的指标数据关联的属性信息对各所述类型的指标数据进行排序,得到各所述类型排序后的指标数据,其中,所述指标数据关联的属性信息包括所述指标数据对应的计算节点的标识或所述指标数据的采集时间中的至少一种;
将各所述类型排序后的指标数据存储至第一存储空间中与所述类型相匹配的存储区域中,得到各所述类型的指标数据在对应的存储区域中所形成的指标数据片。
本实施例中,对指标数据分类并排序存储在存储区域中,增强指标数据的有序性,便于后续对指标数据的调用和处理。
在其中一个实施例中,所述第一存储空间包括第一服务器的内存;所述第二存储空间包括第二服务器的硬盘。
本实施例中,可以减少内存中的指标数据写入硬盘的次数,降低了因硬盘的读写性能所带来的不利影响,提高了指标数据的存储效率。
一种数据索引的构建方法,所述方法包括:
接收第一存储空间发送的指标数据片以及所述指标数据片关联的属性信息并存储,其中,所述指标数据片是在所述第一存储空间存储的指标数据片的体量达到体量阈值时发送的;
获取所述指标数据片的存储路径,根据所述指标数据片关联的属性信息和所述存储路径,构建所述指标数据片的索引信息,其中,所述索引信息用于在第二存储空间中搜索到所述指标数据片。
上述数据索引的构建方法中,采用指标数据片的属性信息和指标数据片的存储路径来构建指标数据片的索引信息,可提高指标数据索引的准确性,提高指标数据的查询速率。
在其中一个实施例中,所述指标数据片关联的属性信息包括所述指标数据片对应的类型、所述指标数据片在对应存储区域中达到体量阈值的次序、所述指标数据片中的指标数据对应的计算节点的标识或所述指标数据片中的指标数据的采集时间中的至少一种。
本实施例中,选取不同的指标数据片关联的属性信息来构建指标数据片的索引信息,可增加索引功能的多样性。
在其中一个实施例中,所述指标数据片关联的属性信息包括所述指标数据片对应的类型、所述指标数据片中的指标数据对应的计算节点的标识和所述指标数据片中的指标数据的采集时间;
所述根据所述指标数据片关联的属性信息和所述存储路径,构建所述指标数据片的索引信息,包括:
根据所述指标数据片对应的类型、所述指标数据片中的指标数据对应的计算节点的标识、所述指标数据片中的指标数据的采集时间和所述存储路径,构建所述指标数据片的初始的索引信息;
根据所述指标数据片对应的类型,所述指标数据片中的指标数据对应的计算节点的标识,所述指标数据片中的指标数据的采集时间,以及所述指标数据片对应的类型、所述指标数据片中的指标数据对应的计算节点的标识和所述指标数据片中的指标数据的采集时间在所述初始的索引信息中所处位置的先后顺序,对所述初始的索引信息进行排序,得到所述指标数据片的索引信息。
本实施例中,将索引信息按照指标数据的类型、指标数据对应的计算节点的标识和指标数据的采集时间进行排序,在体量较大的指标数据中,更容易区分符合不同条件的指标数据,有利于提高数据查询的多样性和查询速度。
一种数据存储装置,其特征在于,所述装置包括:
数据获取模块,用于获取计算节点的指标数据;
数据分类模块,用于根据所述指标数据的类型对所述指标数据进行分类,得到不同类型的指标数据;
数据存储模块,用于将各所述类型的指标数据存储至第一存储空间中与所述类型对应的存储区域中,得到各所述类型的指标数据在对应的存储区域中所形成的指标数据片;
数据发送模块,用于当所述存储区域中存储的指标数据片的体量达到体量阈值时,将所述存储区域中存储的指标数据片发送至第二存储空间中进行存储。
上述数据存储装置中,首先将计算节点的指标数据按照指标数据的类型存储至第一存储空间对应的存储区域中,得到各类型的指标数据在对应的存储区域中所形成的指标数据片,并在对应的存储区域中存储的指标数据片的体量达到体量阈值时,将该存储区域中存储的指标数据片发送至第二存储空间中进行存储。采用该方法可以减少指标数据写入第二存储空间的次数,降低了因第二存储空间的读写性能所带来的不利影响,提高了指标数据的存储效率。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取计算节点的指标数据;
根据所述指标数据的类型对所述指标数据进行分类,得到不同类型的指标数据;
将各所述类型的指标数据存储至第一存储空间中与所述类型对应的存储区域中,得到各所述类型的指标数据在对应的存储区域中所形成的指标数据片;
当所述存储区域中存储的指标数据片的体量达到体量阈值时,将所述存储区域中存储的指标数据片发送至第二存储空间中进行存储。
上述计算机设备中,首先将计算节点的指标数据按照指标数据的类型存储至第一存储空间对应的存储区域中,得到各类型的指标数据在对应的存储区域中所形成的指标数据片,并在对应的存储区域中存储的指标数据片的体量达到体量阈值时,将该存储区域中存储的指标数据片发送至第二存储空间中进行存储。采用该方法可以减少指标数据写入第二存储空间的次数,降低了因第二存储空间的读写性能所带来的不利影响,提高了指标数据的存储效率。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取计算节点的指标数据;
根据所述指标数据的类型对所述指标数据进行分类,得到不同类型的指标数据;
将各所述类型的指标数据存储至第一存储空间中与所述类型对应的存储区域中,得到各所述类型的指标数据在对应的存储区域中所形成的指标数据片;
当所述存储区域中存储的指标数据片的体量达到体量阈值时,将所述存储区域中存储的指标数据片发送至第二存储空间中进行存储。
上述计算机可读存储介质中,首先将计算节点的指标数据按照指标数据的类型存储至第一存储空间对应的存储区域中,得到各类型的指标数据在对应的存储区域中所形成的指标数据片,并在对应的存储区域中存储的指标数据片的体量达到体量阈值时,将该存储区域中存储的指标数据片发送至第二存储空间中进行存储。采用该方法可以减少指标数据写入第二存储空间的次数,降低了因第二存储空间的读写性能所带来的不利影响,提高了指标数据的存储效率。
附图说明
图1为一个实施例中数据存储方法的应用环境图;
图2为一个实施例中数据存储方法的流程示意图;
图3为一个实施例中数据存储方法的应用架构图;
图4为一个实施例中数据存储方法的数据流向图;
图5为一个实施例中将各类型的指标数据按照指标数据的类型存储至第一存储空间对应的存储区域中的补充方案的流程示意图;
图6为一个实施例中数据索引的构建方法的流程示意图;
图7为一个实施例中对索引信息进行排序的流程示意图;
图8为一个实施例中数据存储装置的结构框图;
图9为一个实施例中数据索引的构建装置的结构框图;
图10为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请提供的数据存储方法,可以应用于如图1所示的应用环境中。其中,各计算节点102通过网络与数据整合服务器104进行通信,数据整合服务器104通过网络与数据存储服务器106进行通信。具体地,数据整合服务器104获取至少一个计算节点的指标数据,将指标数据按照指标数据的类型进行分类并存储至数据整合服务器104的第一存储空间中对应的存储区域中,得到各类型的指标数据在对应的存储区域中所形成的指标数据片,当存储区域中存储的指标数据片的体量达到体量阈值时,将该存储区域中的指标数据片发送至数据存储服务器106的第二存储空间中进行存储。其中,数据整合服务器104和数据存储服务器106可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中,如图2所示,提供了一种数据存储方法,以该方法应用于图1中的数据整合服务器为例进行说明,包括以下步骤:
步骤S202,获取计算节点的指标数据。
其中,计算节点是指计算集群中具有计算功能的装置。在一个实施例中,计算器件为处理器。在另一个实施例中,计算器件为计算机设备。在一应用场景中,以高性能计算机群(High Performance Computing)为例,计算节点为机群中的各服务器。
具体地,请一并参阅图3,在计算节点运行过程中,会生成各种类型的指标数据。例如处理器的温度、处理器的主频、缓存等等。计算节点以预设的时间间隔(例如1分钟、5分钟等)将指标数据发送至数据整合服务器。数据整合服务器不断地接收计算节点发送的指标数据并存储。
步骤S204,根据指标数据的类型对指标数据进行分类,得到不同类型的指标数据。
其中,指标数据的类型用于区分各指标数据,便于对指标数据的整合。在一个实施例中,指标数据的类型可以是指标数据的标识,例如ID。在另一个实施例中,指标数据的类型可以是指标名称。
具体地,数据整合服务器根据指标数据的类型对指标数据进行分类,从所有的指标数据中划分出类型相同的指标数据。在所有的指标数据分类完成后,得到不同类型的指标数据。
步骤S206,将各类型的指标数据存储至第一存储空间中与类型对应的存储区域中,得到各类型的指标数据在对应的存储区域中所形成的指标数据片。
具体地,数据整合服务器将指标数据按照指标数据的类型存储至第一存储空间对应的存储区域中,得到各类型的指标数据在对应的存储区域中所形成的指标数据片。其中,指标数据片是指在对应存储区域中存储的指标数据的集合。指标数据片的体量会随着指标数据的不断存入而增大。
可选地,第一存储空间为数据整合服务器中的存储空间。当指标数据的类型为多个时,存储区域对应有多个。可选地,每种类型的指标数据存储在一个存储区域中,或者每种类型的指标数据也可以存储在多个存储区域中。在一个实施例中,以指标数据的类型为指标名称为例,数据整合服务器根据指标数据的指标名称,将指标名称相同的指标数据存储在同一个存储区域中。
可选地,第一存储空间可以是内存。当然,第一存储空间也可以是其他存储介质。
步骤S208,当存储区域中存储的指标数据片的体量达到体量阈值时,将存储区域中存储的指标数据片发送至第二存储空间中进行存储。
其中,体量阈值可以是预先设定的阈值,也可以是数据整合服务器根据指标数据的总体量、类型的数量和第一存储空间的大小确定的。可选地,体量阈值可以为8~256MB中的任一值。可选地,体量阈值设定为64MB。
具体地,数据整合服务器判断存储区域中存储的指标数据的体量是否达到体量阈值,当存储区域中存储的指标数据的体量达到体量阈值时,将存储区域中的指标数据发送至第二存储空间进行存储。例如,当存储区域A中存储的指标数据片a达到64MB时,将存储区域A中存储的指标数据片a迁出并移入第二存储空间存储。
可选地,第二存储空间为数据存储服务器中的存储空间。第二存储空间可以是硬盘。当然,第二存储空间也可以是其他存储介质。
上述数据存储方法中,首先将计算节点的指标数据按照指标数据的类型存储至第一存储空间对应的存储区域中,得到各类型的指标数据在对应的存储区域中所形成的指标数据片,并在对应的存储区域中存储的指标数据片的体量达到体量阈值时,将该存储区域中存储的指标数据片发送至第二存储空间中进行存储。采用该方法可以减少指标数据写入第二存储空间的次数,降低了因第二存储空间的读写性能所带来的不利影响,提高了指标数据的存储效率。
在一个实施例中,如图5所示,在上述实施例的基础上,步骤S206包括以下步骤:
步骤S2062,根据与各类型的指标数据关联的属性信息对各类型的指标数据进行排序,得到各类型排序后的指标数据;
步骤S2064,将各类型排序后的指标数据存储至第一存储空间中与类型相匹配的存储区域中,得到各类型的指标数据在对应的存储区域中所形成的指标数据片。
具体地,请一并参阅图4,数据整合服务器获取指标数据关联的属性信息。可选地,该指标数据关联的属性信息包括指标数据对应的计算节点的标识或指标数据的采集时间中的至少一种。其中,指标数据对应的计算节点的标识是指生成该指标数据的计算节点的标识。可选地,指标数据对应的计算节点的标识包括节点名称。指标数据的采集时间是指从各计算节点采集各指标数据的时间。
然后,数据整合服务器针对每种类型的指标数据,根据其对应的属性信息对各类型中的指标数据进行排序,得到各类型排序后的指标数据。在一个实施例中,首先,数据整合服务器根据各类型的指标数据对应的计算节点的名称,获取该名称对应的字母例如可以是首字母,根据该名称对应的字母对各类型中的指标数据进行排序,这样排序后,标识相同的指标数据集中在一起,而标识不同的指标数据则按照字母进行排序。然后,数据整合服务器再根据各类型的指标数据的采集时间,按照采集时间的先后顺序对之前排序后的指标数据再次进行排序,这样在二次排序后,将集中在一起的标识相同的指标数据按照采集时间的先后进行排序,得到各类型排序后的指标数据。
举例而言,假设没有进行排序的多个指标数据A及其属性信息如表1所示,那么,根据节点名称对应的字母对多个指标数据A进行排序,可得到表2,可见,在表2中,节点名称相同的指标数据集中在一起进行放置。然后,按照采集时间的先后顺序对之前排序后的指标数据再次进行排序,可得到表3,可见,在表3中,由于“指标数据A-节点名称z-采集时间(20190226-20190227)”的采集时间比“指标数据A-节点名称z-采集时间(20190227-20190228)”的采集时间要早,因此,将“指标数据A-节点名称z-采集时间(20190226-20190227)”排在“指标数据A-节点名称z-采集时间(20190227-20190228)”之前。
指标数据A-节点名称x-采集时间(20190225-20190226) |
指标数据A-节点名称y-采集时间(20190226-20190227) |
指标数据A-节点名称x-采集时间(20190227-20190228) |
指标数据A-节点名称z-采集时间(20190227-20190228) |
指标数据A-节点名称z-采集时间(20190226-20190227) |
表1
指标数据A-节点名称x-采集时间(20190225-20190226) |
指标数据A-节点名称x-采集时间(20190227-20190228) |
指标数据A-节点名称y-采集时间(20190226-20190227) |
指标数据A-节点名称z-采集时间(20190227-20190228) |
指标数据A-节点名称z-采集时间(20190226-20190227) |
表2
指标数据A-节点名称x-采集时间(20190225-20190226) |
指标数据A-节点名称x-采集时间(20190227-20190228) |
指标数据A-节点名称y-采集时间(20190226-20190227) |
指标数据A-节点名称z-采集时间(20190226-20190227) |
指标数据A-节点名称z-采集时间(20190227-20190228) |
表3
最后,数据整合服务器将各类型排序后的指标数据存储至第一存储空间中与类型相匹配的存储区域中,得到各类型的指标数据在对应的存储区域中所形成的指标数据片。在一个实施例中,若第一存储空间中包含与指标数据的类型相同的存储区域,则数据整合服务器将该类型的排序后的指标数据存储至该存储区域。在另一个实施例中,若第一存储空间中没有与指标数据的类型相同的存储区域,则新建一个与该指标数据的类型相同的存储区域,并将该类型的指标数据存储于该存储区域中。
本申请实施例中,对指标数据分类并排序存储在存储区域中,增强指标数据的有序性,便于后续对指标数据的调用和处理。
在一个实施例中,涉及当存储区域中存储的指标数据片的体量达到体量阈值时,将存储区域中存储的指标数据片发送至第二存储空间中进行存储的一种可能的实现方式。在上述实施例的基础上,步骤S208包括以下步骤:
步骤S2082,当存储区域中存储的指标数据片的体量达到体量阈值时,将存储区域中存储的指标数据片,以及指标数据片关联的属性信息发送至第二存储空间中进行存储,以使第二存储空间根据指标数据片关联的属性信息构建指标数据片的索引信息。
具体地,数据整合服务器在指标数据片的体量达到体量阈值时,一并将指标数据片及其关联的属性信息发送至第二存储空间中进行存储。可选地,指标数据片关联的属性信息包括指标数据片对应的类型、指标数据片在对应存储区域中达到体量阈值的次序、指标数据片中的指标数据对应的计算节点的标识或指标数据片中的指标数据的采集时间中的至少一种。对于指标数据片在对应存储区域中达到体量阈值的次序,可以理解为随着指标数据的不断存入,某一存储区域中的指标数据片的体量在第一次达到体量阈值时,该初次形成的指标数据片在对应存储区域中达到体量阈值的次序为1,与此同时,数据整合服务器第一次向第二存储空间发送该指标数据片。之后,在该存储区域中的指标数据片的体量再次达到体量阈值时,该再次形成的指标数据片在对应存储区域中达到体量阈值的次序为2,且数据整合服务器再次向第二存储空间发送该指标数据片,以此类推。
可选地,在一个实施例中,第一存储空间包括第一服务器的内存,可选地,第一服务器为数据整合服务器。第二存储空间包括第二服务器的硬盘,可选地,第二服务器为数据存储服务器。
本申请实施例中,将指标数据对应的分片属性信息发送至第二存储空间存储,有利于对指标数据的区分及搜索。
在一个实施例中,如图6所示,提供了一种数据索引的构建方法,以该方法应用于图1中的数据存储服务器为例进行说明,包括以下步骤:
步骤S302,接收第一存储空间发送的指标数据片以及指标数据片关联的属性信息并存储。
其中,指标数据片是在第一存储空间存储的指标数据片的体量达到体量阈值时发送的。
具体地,在第一存储空间存储的指标数据片的体量达到体量阈值时,数据整合服务器将第一存储空间存储的指标数据片及其关联的属性信息发送至数据存储服务器。数据存储服务器接收到该指标数据及其关联的属性信息,将该指标数据及其关联的属性信息存储于数据存储服务器的第二存储空间中。
步骤S304,获取指标数据片的存储路径,根据指标数据片关联的属性信息和存储路径,构建指标数据片的索引信息,其中,索引信息用于在第二存储空间中搜索到指标数据片。
其中,索引信息用于在第二存储空间中搜索到指标数据片。
具体地,数据存储服务器根据指标数据片关联的属性信息和指标数据片的存储路径构建指标数据片的索引信息,可以理解,该索引信息中包含指标数据片关联的属性信息和存储路径,这样,在后续的数据索引中,通过匹配索引信息中的指标数据片关联的属性信息,可确定存储路径,进而获得该路径下的指标数据。
本申请实施例中,采用指标数据片的属性信息和指标数据片的存储路径来构建指标数据片的索引信息,可提高指标数据索引的准确性,提高指标数据的查询速率。
在一个实施例中,指标数据片关联的属性信息包括指标数据片对应的类型、指标数据片在对应存储区域中达到体量阈值的次序、指标数据片中的指标数据对应的计算节点的标识或指标数据片中的指标数据的采集时间中的至少一种。
在一个实施例中,指标数据片关联的属性信息包括指标数据片对应的类型、指标数据片中的指标数据对应的计算节点的标识和指标数据片中的指标数据的采集时间。基于此,步骤S304具体可以通过以下步骤实现:
步骤S3042,根据指标数据片对应的类型、指标数据片中的指标数据对应的计算节点的标识、指标数据片中的指标数据的采集时间和存储路径,构建指标数据片的初始的索引信息;
步骤S3044,根据指标数据片对应的类型,指标数据片中的指标数据对应的计算节点的标识,指标数据片中的指标数据的采集时间,以及指标数据片对应的类型、指标数据片中的指标数据对应的计算节点的标识和指标数据片中的指标数据的采集时间在初始的索引信息中所处位置的先后顺序,对初始的索引信息进行排序,得到指标数据片的索引信息。
具体地,数据存储服务器根据指标数据片对应的类型、指标数据片中的指标数据对应的计算节点的标识、指标数据片中的指标数据的采集时间和存储路径,构建指标数据片的初始的索引信息。在一个实施例中,索引信息可以表示为“指标数据片类型-计算节点的标识-采集时间-存储路径”。在另一个实施例中,索引信息可以表示为“计算节点的标识-指标数据片类型-采集时间-存储路径”。当然,索引信息也可以采用其他表示方式。
然后,数据存储服务器根据指标数据片对应的类型、指标数据片中的指标数据对应的计算节点的标识和指标数据片中的指标数据的采集时间在初始的索引信息中所处位置的先后顺序,分别根据指标数据片对应的类型、指标数据片中的指标数据对应的计算节点的标识和指标数据片中的指标数据的采集时间对初始的索引信息进行排序,得到指标数据片的索引信息。在一个实施例中,数据存储服务器根据指标数据片对应的类型、指标数据片中的指标数据对应的计算节点的标识和指标数据片中的指标数据的采集时间在初始的索引信息中所处位置的先后顺序,分别获取指标数据片对应的类型、指标数据片中的指标数据对应的计算节点的标识和指标数据片中的指标数据的采集时间的关键字,并分别根据各关键字对初始的索引信息进行排序,得到指标数据片的索引信息。其中,关键字包括字母、文字或编号中的至少一种。
举例而言,以关键字为首字母为例,假设指标数据片对应的类型包括指标名称,例如温度、湿度、主频,那么对应的首字母为W、S、Z,此时,数据存储服务器即可按照首字母的排序顺序对索引信息进行排序,得到的指标数据片的索引信息为:S-W-Z。
本申请实施例中,采用属性信息的关键字对索引信息进行排序,排序方式更为简便。
进一步地,在一个实施例中,步骤S3044具体可以通过以下步骤实现:
步骤S304a,根据类型对应的字母对索引信息进行排序,得到初次排序后的索引信息,其中,初次排序后的索引信息为包含相同的类型的索引信息进行整合;
步骤S304b,根据计算节点的标识对应的字母对初次排序后的索引信息进行排序,得到再次排序后的索引信息,其中,再次排序后的索引信息为包含相同的类型和标识的索引信息进行整合;
步骤S304c,根据指标数据的采集时间对再次排序后的索引信息进行排序,得到指标数据片的索引信息,其中,排序后的索引信息为包含相同的类型和标识的索引信息按照采集时间排列并整合。
具体地,数据存储服务器首先根据指标数据片对应的类型,获取该类型对应的字母例如可以是首字母,根据该类型对应的字母对索引信息进行排序,这样排序后,类型相同的索引信息集中在一起,类型不同的索引信息则按照类型对应的字母进行排序,得到初次排序后的索引信息。之后,数据存储服务器再根据指标数据片中指标数据对应的计算节点的标识,获取该标识对应的字母,根据该标识对应的字母对初次排序后的索引信息再次进行排序,这样在二次排序后,将集中在一起的类型相同的索引信息中,标识相同的索引信息集中在一起,标识不同的索引信息则按照标识对应的字母进行排序,得到再次排序后的索引信息。最后,数据存储服务器根据指标数据片中的指标数据的采集时间,按照采集时间的先后顺序对再次排序后的索引信息进行排序,这样在三次排序后,集中在一起的类型和标识都相同的指标数据片按照采集时间的先后进行排序,得到指标数据片的索引信息。
举例而言,假设没有进行排序的多个索引信息包括指标数据片的不同的类型、计算节点的标识和采集时间,如表4所示,那么,根据指标数据片对应的类型对应的字母A、B和C对多个索引信息进行排序,可得到表5,可见,在表5中,指标数据片的类型相同的索引信息集中在一起进行放置,例如指标数据片的类型为A的索引信息放在一起,指标数据片的类型为C的索引信息也放在一起,而类型不同的索引信息则按照类型对应的字母进行排序,即A-B-C的次序进行排序。然后,以节点标识为节点名称为例,根据节点名称对应的字母对多个索引信息再次进行排序,可得到表6,可见,在表6中,类型相同但节点名称不同的索引信息根据节点名称对应的字母进行排序。最后,由于表6中的采集时间是按时间先后顺序排列的,因此根据指标数据片中的指标数据的采集时间,按照采集时间的先后顺序对再次排序后的索引信息进行排序,得到的结果依旧是表6。
指标数据片A-节点名称z-采集时间(20190227-20190228) |
指标数据片C-节点名称y-采集时间(20190226-20190227) |
指标数据片B-节点名称x-采集时间(20190227-20190228) |
指标数据片A-节点名称x-采集时间(20190225-20190226) |
指标数据片C-节点名称z-采集时间(20190226-20190227) |
表4
指标数据片A-节点名称z-采集时间(20190227-20190228) |
指标数据片A-节点名称x-采集时间(20190225-20190226) |
指标数据片B-节点名称x-采集时间(20190227-20190228) |
指标数据片C-节点名称y-采集时间(20190226-20190227) |
指标数据片C-节点名称z-采集时间(20190226-20190227) |
表5
指标数据片A-节点名称x-采集时间(20190225-20190226) |
指标数据片A-节点名称z-采集时间(20190227-20190228) |
指标数据片B-节点名称x-采集时间(20190227-20190228) |
指标数据片C-节点名称y-采集时间(20190226-20190227) |
指标数据片C-节点名称z-采集时间(20190226-20190227) |
表6
本申请实施例中,将索引信息按照指标数据的类型对应的字母、指标数据对应的计算节点的标识对应的字母和指标数据的采集时间进行排序,在体量较大的指标数据中,更容易区分不同条件的指标数据,有利于提高数据查询的多样性和查询速度。
应该理解的是,虽然图2-7的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2-7中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图8所示,提供了一种数据存储装置,包括:数据获取模块402、数据分类模块403、数据存储模块404和数据发送模块406,其中:
该数据获取模块402,用于获取计算节点的指标数据;
该数据分类模块403,用于根据所述指标数据的类型对所述指标数据进行分类,得到不同类型的指标数据;
该数据存储模块404,用于将所述各类型的指标数据按照所述类型存储至第一存储空间的存储区域,其中,所述存储区域与所述类型相对应;
该数据发送模块406,用于当存储区域中存储的指标数据的体量达到体量阈值时,将存储区域中的指标数据发送至第二存储空间进行存储。
上述数据存储装置中,首先将计算节点的指标数据按照指标数据的类型存储至第一存储空间对应的存储区域中,得到各类型的指标数据在对应的存储区域中所形成的指标数据片,并在对应的存储区域中存储的指标数据片的体量达到体量阈值时,将该存储区域中存储的指标数据片发送至第二存储空间中进行存储。采用该装置可以减少指标数据写入第二存储空间的次数,降低了因第二存储空间的读写性能所带来的不利影响,提高了指标数据的存储效率。
关于数据存储装置的具体限定可以参见上文中对于数据存储方法的限定,在此不再赘述。上述数据存储装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,如图9所示,提供了一种数据索引的构建装置,包括:数据接收模块502和索引构建模块504,其中:
该数据接收模块502,用于接收第一存储空间发送的指标数据片以及指标数据片关联的属性信息并存储,其中,指标数据片是在第一存储空间存储的指标数据片的体量达到体量阈值时发送的;
该索引构建模块504,用于获取指标数据片的存储路径,根据指标数据片关联的属性信息和存储路径,构建指标数据片的索引信息,其中,索引信息用于在第二存储空间中搜索到指标数据片。
上述数据索引的构建装置中,采用指标数据片的属性信息和指标数据片的存储路径来构建指标数据片的索引信息,可提高指标数据索引的准确性,提高指标数据的查询速率。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图10所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种数据存储方法或数据索引的构建方法。
本领域技术人员可以理解,图10中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
获取计算节点的指标数据;
根据指标数据的类型对指标数据进行分类,得到不同类型的指标数据;
将各类型的指标数据存储至第一存储空间中与类型对应的存储区域中,得到各类型的指标数据在对应的存储区域中所形成的指标数据片;
当存储区域中存储的指标数据片的体量达到体量阈值时,将存储区域中存储的指标数据片发送至第二存储空间中进行存储。
上述计算机设备中,首先将计算节点的指标数据按照指标数据的类型存储至第一存储空间对应的存储区域中,得到各类型的指标数据在对应的存储区域中所形成的指标数据片,并在对应的存储区域中存储的指标数据片的体量达到体量阈值时,将该存储区域中存储的指标数据片发送至第二存储空间中进行存储。采用该计算机设备可以减少指标数据写入第二存储空间的次数,降低了因第二存储空间的读写性能所带来的不利影响,提高了指标数据的存储效率。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:当存储区域中存储的指标数据片的体量达到体量阈值时,将存储区域中存储的指标数据片,以及指标数据片关联的属性信息发送至第二存储空间中进行存储,以使第二存储空间根据指标数据片关联的属性信息构建指标数据片的索引信息;其中,指标数据片关联的属性信息包括指标数据片对应的类型、指标数据片在对应存储区域中达到体量阈值的次序、指标数据片中的指标数据对应的计算节点的标识或指标数据片中的指标数据的采集时间中的至少一种。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:根据与各类型的指标数据关联的属性信息对各类型的指标数据进行排序,得到各类型排序后的指标数据,其中,指标数据关联的属性信息包括指标数据对应的计算节点的标识或指标数据的采集时间中的至少一种;将各类型排序后的指标数据存储至第一存储空间中与类型相匹配的存储区域中,得到各类型的指标数据在对应的存储区域中所形成的指标数据片。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
接收第一存储空间发送的指标数据片以及指标数据片关联的属性信息并存储,其中,指标数据片是在第一存储空间存储的指标数据片的体量达到体量阈值时发送的;
获取指标数据片的存储路径,根据指标数据片关联的属性信息和存储路径,构建指标数据片的索引信息,其中,索引信息用于在第二存储空间中搜索到指标数据片。
上述计算机设备中,采用指标数据片的属性信息和指标数据片的存储路径来构建指标数据片的索引信息,可提高指标数据索引的准确性,提高指标数据的查询速率。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:根据指标数据片对应的类型、指标数据片中的指标数据对应的计算节点的标识、指标数据片中的指标数据的采集时间和存储路径,构建指标数据片的初始的索引信息;根据指标数据片对应的类型,指标数据片中的指标数据对应的计算节点的标识,指标数据片中的指标数据的采集时间,以及指标数据片对应的类型、指标数据片中的指标数据对应的计算节点的标识和指标数据片中的指标数据的采集时间在初始的索引信息中所处位置的先后顺序,对初始的索引信息进行排序,得到指标数据片的索引信息。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
获取计算节点的指标数据;
根据指标数据的类型对指标数据进行分类,得到不同类型的指标数据;
将各类型的指标数据存储至第一存储空间中与类型对应的存储区域中,得到各类型的指标数据在对应的存储区域中所形成的指标数据片;
当存储区域中存储的指标数据片的体量达到体量阈值时,将存储区域中存储的指标数据片发送至第二存储空间中进行存储。
上述计算机可读存储介质中,首先将计算节点的指标数据按照指标数据的类型存储至第一存储空间对应的存储区域中,得到各类型的指标数据在对应的存储区域中所形成的指标数据片,并在对应的存储区域中存储的指标数据片的体量达到体量阈值时,将该存储区域中存储的指标数据片发送至第二存储空间中进行存储。采用该计算机可读存储介质可以减少指标数据写入第二存储空间的次数,降低了因第二存储空间的读写性能所带来的不利影响,提高了指标数据的存储效率。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:当存储区域中存储的指标数据片的体量达到体量阈值时,将存储区域中存储的指标数据片,以及指标数据片关联的属性信息发送至第二存储空间中进行存储,以使第二存储空间根据指标数据片关联的属性信息构建指标数据片的索引信息;其中,指标数据片关联的属性信息包括指标数据片对应的类型、指标数据片在对应存储区域中达到体量阈值的次序、指标数据片中的指标数据对应的计算节点的标识或指标数据片中的指标数据的采集时间中的至少一种。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:根据与各类型的指标数据关联的属性信息对各类型的指标数据进行排序,得到各类型排序后的指标数据,其中,指标数据关联的属性信息包括指标数据对应的计算节点的标识或指标数据的采集时间中的至少一种;将各类型排序后的指标数据存储至第一存储空间中与类型相匹配的存储区域中,得到各类型的指标数据在对应的存储区域中所形成的指标数据片。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
接收第一存储空间发送的指标数据片以及指标数据片关联的属性信息并存储,其中,指标数据片是在第一存储空间存储的指标数据片的体量达到体量阈值时发送的;
获取指标数据片的存储路径,根据指标数据片关联的属性信息和存储路径,构建指标数据片的索引信息,其中,索引信息用于在第二存储空间中搜索到指标数据片。
上述计算机可读存储介质中,采用指标数据片的属性信息和指标数据片的存储路径来构建指标数据片的索引信息,可提高指标数据索引的准确性,提高指标数据的查询速率。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:根据指标数据片对应的类型、指标数据片中的指标数据对应的计算节点的标识、指标数据片中的指标数据的采集时间和存储路径,构建指标数据片的初始的索引信息;根据指标数据片对应的类型,指标数据片中的指标数据对应的计算节点的标识,指标数据片中的指标数据的采集时间,以及指标数据片对应的类型、指标数据片中的指标数据对应的计算节点的标识和指标数据片中的指标数据的采集时间在初始的索引信息中所处位置的先后顺序,对初始的索引信息进行排序,得到指标数据片的索引信息。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种数据存储方法,其特征在于,所述方法包括:
获取计算节点的指标数据;
根据所述指标数据的类型对所述指标数据进行分类,得到不同类型的指标数据;
将各所述类型的指标数据存储至第一存储空间中与所述类型对应的存储区域中,得到各所述类型的指标数据在对应的存储区域中所形成的指标数据片;
当所述存储区域中存储的指标数据片的体量达到体量阈值时,将所述存储区域中存储的指标数据片发送至第二存储空间中进行存储。
2.根据权利要求1所述的方法,其特征在于,所述当所述存储区域中存储的指标数据片的体量达到体量阈值时,将所述存储区域中存储的指标数据片发送至第二存储空间中进行存储,包括:
当所述存储区域中存储的指标数据片的体量达到体量阈值时,将所述存储区域中存储的指标数据片,以及所述指标数据片关联的属性信息发送至第二存储空间中进行存储,以使所述第二存储空间根据所述指标数据片关联的属性信息构建所述指标数据片的索引信息;
其中,所述指标数据片关联的属性信息包括所述指标数据片对应的类型、所述指标数据片在对应存储区域中达到体量阈值的次序、所述指标数据片中的指标数据对应的计算节点的标识或所述指标数据片中的指标数据的采集时间中的至少一种。
3.根据权利要求1所述的方法,其特征在于,所述将各所述类型的指标数据存储至第一存储空间中与所述类型对应的存储区域中,得到各所述类型的指标数据在对应的存储区域中所形成的指标数据片,包括:
根据与各所述类型的指标数据关联的属性信息对各所述类型的指标数据进行排序,得到各所述类型排序后的指标数据,其中,所述指标数据关联的属性信息包括所述指标数据对应的计算节点的标识或所述指标数据的采集时间中的至少一种;
将各所述类型排序后的指标数据存储至第一存储空间中与所述类型相匹配的存储区域中,得到各所述类型的指标数据在对应的存储区域中所形成的指标数据片。
4.根据权利要求1-3任一所述的方法,其特征在于,所述第一存储空间包括第一服务器的内存;所述第二存储空间包括第二服务器的硬盘。
5.一种数据索引的构建方法,其特征在于,所述方法包括:
接收第一存储空间发送的指标数据片以及所述指标数据片关联的属性信息并存储,其中,所述指标数据片是在所述第一存储空间存储的指标数据片的体量达到体量阈值时发送的;
获取所述指标数据片的存储路径,根据所述指标数据片关联的属性信息和所述存储路径,构建所述指标数据片的索引信息,其中,所述索引信息用于在第二存储空间中搜索到所述指标数据片。
6.根据权利要求5所述的方法,其特征在于,所述指标数据片关联的属性信息包括所述指标数据片对应的类型、所述指标数据片在对应存储区域中达到体量阈值的次序、所述指标数据片中的指标数据对应的计算节点的标识或所述指标数据片中的指标数据的采集时间中的至少一种。
7.根据权利要求5所述的方法,其特征在于,所述指标数据片关联的属性信息包括所述指标数据片对应的类型、所述指标数据片中的指标数据对应的计算节点的标识和所述指标数据片中的指标数据的采集时间;
所述根据所述指标数据片关联的属性信息和所述存储路径,构建所述指标数据片的索引信息,包括:
根据所述指标数据片对应的类型、所述指标数据片中的指标数据对应的计算节点的标识、所述指标数据片中的指标数据的采集时间和所述存储路径,构建所述指标数据片的初始的索引信息;
根据所述指标数据片对应的类型,所述指标数据片中的指标数据对应的计算节点的标识,所述指标数据片中的指标数据的采集时间,以及所述指标数据片对应的类型、所述指标数据片中的指标数据对应的计算节点的标识和所述指标数据片中的指标数据的采集时间在所述初始的索引信息中所处位置的先后顺序,对所述初始的索引信息进行排序,得到所述指标数据片的索引信息。
8.一种数据存储装置,其特征在于,所述装置包括:
数据获取模块,用于获取计算节点的指标数据;
数据分类模块,用于根据所述指标数据的类型对所述指标数据进行分类,得到不同类型的指标数据;
数据存储模块,用于将各所述类型的指标数据存储至第一存储空间中与所述类型对应的存储区域中,得到各所述类型的指标数据在对应的存储区域中所形成的指标数据片;
数据发送模块,用于当所述存储区域中存储的指标数据片的体量达到体量阈值时,将所述存储区域中存储的指标数据片发送至第二存储空间中进行存储。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011136081.XA CN112241410A (zh) | 2020-10-22 | 2020-10-22 | 数据存储方法、数据索引的构建方法、装置、计算机设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011136081.XA CN112241410A (zh) | 2020-10-22 | 2020-10-22 | 数据存储方法、数据索引的构建方法、装置、计算机设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112241410A true CN112241410A (zh) | 2021-01-19 |
Family
ID=74168194
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011136081.XA Pending CN112241410A (zh) | 2020-10-22 | 2020-10-22 | 数据存储方法、数据索引的构建方法、装置、计算机设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112241410A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112883036A (zh) * | 2021-03-05 | 2021-06-01 | 鹏城实验室 | 索引创建方法、装置、存储服务器以及存储介质 |
CN113449036A (zh) * | 2021-06-29 | 2021-09-28 | 未鲲(上海)科技服务有限公司 | 数据智能存储方法、装置、计算机设备及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109710681A (zh) * | 2018-12-29 | 2019-05-03 | 亚信科技(南京)有限公司 | 数据输出方法、装置、计算机设备和存储介质 |
CN111061758A (zh) * | 2018-10-16 | 2020-04-24 | 杭州海康威视数字技术股份有限公司 | 数据存储方法、装置及存储介质 |
CN111208941A (zh) * | 2019-12-24 | 2020-05-29 | 京信通信系统(中国)有限公司 | 文件管理方法、装置、计算机设备和计算机可读存储介质 |
-
2020
- 2020-10-22 CN CN202011136081.XA patent/CN112241410A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111061758A (zh) * | 2018-10-16 | 2020-04-24 | 杭州海康威视数字技术股份有限公司 | 数据存储方法、装置及存储介质 |
CN109710681A (zh) * | 2018-12-29 | 2019-05-03 | 亚信科技(南京)有限公司 | 数据输出方法、装置、计算机设备和存储介质 |
CN111208941A (zh) * | 2019-12-24 | 2020-05-29 | 京信通信系统(中国)有限公司 | 文件管理方法、装置、计算机设备和计算机可读存储介质 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112883036A (zh) * | 2021-03-05 | 2021-06-01 | 鹏城实验室 | 索引创建方法、装置、存储服务器以及存储介质 |
CN112883036B (zh) * | 2021-03-05 | 2024-05-28 | 鹏城实验室 | 索引创建方法、装置、存储服务器以及存储介质 |
CN113449036A (zh) * | 2021-06-29 | 2021-09-28 | 未鲲(上海)科技服务有限公司 | 数据智能存储方法、装置、计算机设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11423053B2 (en) | Log event cluster analytics management | |
Kryszkiewicz et al. | TI-DBSCAN: Clustering with DBSCAN by Means of the Triangle Inequality | |
CN112287182B (zh) | 图数据存储、处理方法、装置及计算机存储介质 | |
US20160232254A1 (en) | Efficient calculation of all-pair path-based distance measures | |
US9477772B2 (en) | Storing and retrieving objects on a computer network in a distributed database | |
CN108549696B (zh) | 一种基于内存计算的时间序列数据相似性查询方法 | |
CN112241410A (zh) | 数据存储方法、数据索引的构建方法、装置、计算机设备 | |
CN110888981B (zh) | 基于标题的文档聚类方法、装置、终端设备及介质 | |
CN110955704A (zh) | 一种数据管理方法、装置、设备及存储介质 | |
CN114265927A (zh) | 数据查询方法及装置、存储介质及电子装置 | |
CN110222074A (zh) | 索引查找方法、查找装置、电子设备及存储介质 | |
US20110179013A1 (en) | Search Log Online Analytic Processing | |
Bluis et al. | Nodal distance algorithm: Calculating a phylogenetic tree comparison metric | |
CN117221078A (zh) | 关联规则确定方法、装置及存储介质 | |
US20220222233A1 (en) | Clustering of structured and semi-structured data | |
CN106649385B (zh) | 基于HBase数据库的数据排序方法和装置 | |
CN115470236A (zh) | 一种多子图匹配方法、装置及设备 | |
CN112527824B (zh) | 分页查询方法、装置、电子设备和计算机可读存储介质 | |
CN109101595B (zh) | 一种信息查询方法、装置、设备及计算机可读存储介质 | |
Chen et al. | Indexing metric uncertain data for range queries | |
CN116126864A (zh) | 索引构建方法、数据查询方法及相关设备 | |
CN113448747B (zh) | 数据传输方法、装置、计算机设备和存储介质 | |
US11106703B1 (en) | Clustering of structured and semi-structured data | |
Wu et al. | Neist: a neural-enhanced index for spatio-temporal queries | |
US11704315B1 (en) | Trimming blackhole clusters |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210119 |