CN103412916A - 一种监控系统的多维度数据存储、检索方法及装置 - Google Patents

一种监控系统的多维度数据存储、检索方法及装置 Download PDF

Info

Publication number
CN103412916A
CN103412916A CN2013103408605A CN201310340860A CN103412916A CN 103412916 A CN103412916 A CN 103412916A CN 2013103408605 A CN2013103408605 A CN 2013103408605A CN 201310340860 A CN201310340860 A CN 201310340860A CN 103412916 A CN103412916 A CN 103412916A
Authority
CN
China
Prior art keywords
key word
monitoring
retrieved
mapping value
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2013103408605A
Other languages
English (en)
Other versions
CN103412916B (zh
Inventor
文星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Shangke Information Technology Co Ltd
Original Assignee
Beijing Jingdong Shangke Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Shangke Information Technology Co Ltd filed Critical Beijing Jingdong Shangke Information Technology Co Ltd
Priority to CN201310340860.5A priority Critical patent/CN103412916B/zh
Publication of CN103412916A publication Critical patent/CN103412916A/zh
Priority to US14/910,273 priority patent/US10089341B2/en
Priority to PCT/CN2014/078641 priority patent/WO2015018224A1/zh
Application granted granted Critical
Publication of CN103412916B publication Critical patent/CN103412916B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/258—Data format conversion from or to a database
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及数据监控相关技术领域，特别是一种监控系统的多维度数据存储、检索方法及装置，存储方法包括：获取与每个监控业务关联的多个监控维度，以及至少一对包括指标名称和指标值的监控指标数据；将多个监控维度分别转换为具有相同长度的多个行关键字映射值；将监控时间与多个行关键字映射值结合作为行关键字，且所述监控时间设置在行关键字中的固定的时间位置；以所述行关键字为索引在分布式数据库中存储监控指标。本发明实现根据不同的监控业务动态调整监控系统数据存储的监控维度，从而解决了现有技术修改监控维度只能通过修改程序代码的方式来实现的技术问题，减少了维护成本，提高了可扩展性。

Description

一种监控系统的多维度数据存储、检索方法及装置
技术领域
本发明涉及数据监控相关技术领域，特别是一种监控系统的多维度数据存储、检索方法及装置。
背景技术
监控数据的存储与展示一直是监控系统的关键，对于需要监控的系统进行数据采集的频率越大，采集的数据量就越大，随着采集的时间增长，会造成数据存储慢，检索慢的问题，如果采集的频率过小，那么采集的数据量是降低了，但是不利于系统的实时健康状况的有效监控，对于重要的IT系统（7*24小时不能中断的系统），后台监控的重要性是不言而喻的，所以对于监控数据的存储，检索（用于报表展示，历史统计，对比）的可靠方案设计是要求很高的。
对于监控数据的存储、检索，现有的技术方案通常利用普通的数据库存储，大致采用以下方法：
（1）SQL数据库存储检索：主要由数据存储模块、数据查询模块组成、过期数据删除模块。
A、数据存储模块：后台采集异步批量存储来提高数据存储速度。
B、数据查询模块：采用标准sql来进行数据查询。
C、过期数据删除模块：为了避免数据量过大导致查询速度慢，必须定期删除某一时间点之前的数据，比如一个月之前的数据。
然而，现有技术监控的监控维度通常会受设计的表结构限制(根据业务设计表结构)，新增加的监控数据往往只能通过修改程序代码的方式来实现，增加了维护的成本,限制了可扩展性。
发明内容
基于此，有必要针对现有监控系统数据存储的监控维度固定，不能根据不同的监控业务动态调整的技术问题，提出一种监控系统的多维度数据存储、检索方法及装置。
一种监控系统的多维度数据存储方法，包括：
获取与每个监控业务关联的多个监控维度，以及至少一对包括指标名称和指标值的监控指标数据；
将多个监控维度分别转换为具有相同长度的多个行关键字映射值；
将监控时间与多个行关键字映射值结合作为行关键字，且所述监控时间设置在行关键字中的固定的时间位置；
以所述行关键字为索引在分布式数据库中存储监控指标。
一种监控系统的多维度数据存储装置，包括：
指标获取模块，用于获取与每个监控业务关联的多个监控维度，以及至少一对包括指标名称和指标值的监控指标数据；
映射值获取模块，用于将多个监控维度分别转换为具有相同长度的多个行关键字映射值；
行关键字生成模块，用于将监控时间与多个行关键字映射值结合作为行关键字，且所述监控时间设置在行关键字中的固定的时间位置；
存储模块，用于以所述行关键字为索引在分布式数据库中存储监控指标。
一种监控系统的多维度数据检索方法，包括：
响应检索请求，所述检索请求包括多个待检索监控维度以及待检索时间范围，将多个待检索监控维度转换为具有相同长度的多个待检索映射值；
检索符合检索请求的行关键字，所述行关键字包括多个具有相同长度的行关键字映射值，以及设置在行关键字固定的时间位置的监控时间，所述符合检索请求的行关键字具体包括：
从行关键字固定的时间位置拆分出的监控时间，且拆分出的监控时间在所述待检索时间范围内，且
从行关键字中拆分出的多个行关键字映射值，且拆分出的行关键字包括所述多个待检索映射值；
获取以符合检索请求的行关键字为索引存储的至少一对包括指标名称和指标值的监控指标数据。
一种监控系统的多维度数据检索装置，包括：
检索请求响应模块，用于响应检索请求，所述检索请求包括多个待检索监控维度以及待检索时间范围，将多个待检索监控维度转换为具有相同长度的多个待检索映射值；
行关键字检索模块，用于检索符合检索请求的行关键字，所述行关键字包括多个具有相同长度的行关键字映射值，以及设置在行关键字固定的时间位置的监控时间，所述符合检索请求的行关键字具体包括：
从行关键字固定的时间位置拆分出的监控时间，且拆分出的监控时间在所述待检索时间范围内，且
从行关键字中拆分出的多个行关键字映射值，且拆分出的行关键字包括所述多个待检索映射值；
指标数据获取模块，用于获取以符合检索请求的行关键字为索引存储的至少一对包括指标名称和指标值的监控指标数据。
本发明的一种监控系统的多维度数据存储、检索方法及装置，将监控维度转换为固定长度的映射值，将监控时间与多个行关键字映射值结合作为行关键字，且所述监控时间设置在行关键字中的固定的时间位置。由于行关键字映射值长度固定，而监控时间在行关键字中的位置也固定，因此无论监控业务的监控维度为多少个，均可以形成对应的行关键字，且在检索时也能非常容易地对行关键字进行拆分得到监控维度的行关键字映射值以及监控时间，从而实现动态修改监控维度。通过以行关键字为索引在分布式数据库中存储监控指标，则能实现根据不同的监控业务动态调整监控系统数据存储的监控维度，从而解决了现有技术修改监控维度只能通过修改程序代码的方式来实现的技术问题，减少了维护成本，提高了可扩展性。
附图说明
图1为本发明一种监控系统的多维度数据存储方法的工作流程图；
图2为本发明一种监控系统的多维度数据检索方法的工作流程图；
图3为本发明的一个例子的模块结构图；
图4为本发明一种监控系统的多维度数据存储装置的模块结构图；
图5为本发明一种监控系统的多维度数据检索装置的模块结构图。
具体实施方式
下面结合附图和具体实施例对本发明做进一步详细的说明。
如图1所示为本发明一种监控系统的多维度数据存储方法的工作流程图，包括：
步骤S101，获取与每个监控业务关联的多个监控维度，以及至少一对包括指标名称和指标值的监控指标数据；
步骤S102，将多个监控维度分别转换为具有相同长度的多个行关键字映射值；
步骤S103，将监控时间与多个行关键字映射值结合作为行关键字，且所述监控时间设置在行关键字中的固定的时间位置；
步骤S104，以所述行关键字为索引在分布式数据库中存储监控指标。
监控维度用于对监控指标进行标识，通过监控维度，能对指标数据进行非常细致的划分汇总。例如，对北京市A街B楼C层的电脑HOST-001的CPU使用率、内存使用率和硬盘使用率进行监控，则监控维度包括：监控维度1：北京市，监控维度2：A街，监控维度3：B楼，监控维度4：C层，监控维度5：HOST-001。通过划分监控维度，则可以将具有相同监控维度的各种指标数据进行汇总分类。
现有的监控系统在实施监控前，需要先对设计表结构，即确定行关键字和列关键字。然而，在监控系统中，需要对不同的监控业务，采用不同的监控维度，但现有的监控系统，只能在实施监控前，预先确定每个监控业务的监控维度，在监控过程中，则无法修改监控维度。
而本发明实施例采用的是动态修改监控维度的方式，在实施监控的过程中，通过步骤S101获取当前监控业务的监控维度，包括监控维度的名称及个数，然后在步骤S103中，将多个监控维度与监控时间结合作为行关键字，并以此为索引存放对应的监控指标。由于在步骤S102中，将监控维度转换为具有相同长度的行关键字映射值，同时，在步骤S103中，监控时间设置在行关键字中的固定的时间位置，因此，当进行检索时能够根据固定的时间位置拆分出监控时间，也能根据固定的长度拆分出多个监控维度的行关键字映射值，从而实现了将多个监控维度和监控时间结合为行关键字，并将结合后的行关键字作为指标数据的存储索引。而如果不采用固定的时间位置设置监控时间，也不采用固定的长度设定监控维度的行关键字映射值，则无法在多个监控维度和监控时间结合后重新拆分出多个监控维度和监控时间，从而无法实现将多个监控维度和监控时间结合的行关键字，以作为指标数据的存储索引。
每一个维度标识为一个字符串的标识，行关键字映射值可以采用多种方式转换，在其中一个实施例中，所述行关键字映射值为监控维度的哈希值。采用哈希值能减少长度，从而节省存储空间。当行关键字映射值采用哈希值后，每一个监控维度的行关键字映射值占用4个字节的长度，即整型（int）的占用长度。
时间位置可以设定在行关键字的任意地方，例如设定在第一个行关键字映射值之后，或者在最后一个行关键字映射值之前。在其中一个实施例中，所述时间位置为行关键字的首部或者尾部。由于在监控系统中，监控时间的格式都是固定，因此其数据长度也是固定的，因此设置在时间位置为行关键字的首部或者尾部，则可以简单地从行关键字的首部或者尾部截取固定长度的数据作为监控时间。
如图2所述为本发明一种监控系统的多维度数据检索方法的工作流程图，包括：
步骤S201，响应检索请求，所述检索请求包括多个待检索监控维度以及待检索时间范围，将多个待检索监控维度转换为具有相同长度的多个待检索映射值；
步骤S202，检索符合检索请求的行关键字，所述行关键字包括多个具有相同长度的行关键字映射值，以及设置在行关键字固定的时间位置的监控时间，所述符合检索请求的行关键字具体包括：
从行关键字固定的时间位置拆分出的监控时间，且拆分出的监控时间在所述待检索时间范围内，且
从行关键字中拆分出的多个行关键字映射值，且拆分出的行关键字包括所述多个待检索映射值；
步骤S203，获取以符合检索请求的行关键字为索引存储的至少一对包括指标名称和指标值的监控指标数据。
在其中一个实施例中，所述步骤S202，具体包括：
对每个行关键字从固定的时间位置中拆分出监控时间，将拆分出监控时间后的行关键字按照相同长度拆分出多个具有相同长度的行关键字映射值；
如果检索拆分出的监控时间在所述待检索时间范围内，且拆分出的多个行关键字映射值包括所述多个待检索映射值，则行关键字符合检索请求。
在其中一个实施例中，所述待检索映射值为待检索监控维度的哈希值。
在其中一个实施例中，所述监控时间设置在行关键字的首部或者尾部。
如图3所示为本发明的一个例子的模块结构图，包括：
数据存储接口31、NoSQL存储数据库32、数据查询接口33和数据汇总接口34。其中，数据存储接口31采用本发明实施例一种监控系统的多维度数据存储方法将将监控数据存储进NoSQL存储数据库32中，NoSQL存储数据库32采用基于Hadoop文件系统的hbase存储。而数据查询接口33则采用本发明实施例一种监控系统的多维度数据检索方法对存储在NoSQL存储数据库32的监控数据进行检索。汇总模块34通过数据查询接口33获取所需要的监控数据，根据监控数据的监控维度实现不同监控维度下分钟，小时，天，周的数据汇总计算，以求得平均值，最大值，最小值等统计值存储至NoSQL存储数据库32。具体监控维度的需求由监控系统根据需要设计并提供，通过定时任务调用汇总模块34获得相应的数据。
作为一个例子，如表1所示组合行关键字：
Figure BDA00003631976500071
表1行关键字组合例子
其中每个行关键字映射值为4个字节（即整型数据），而监控时间采用8个字节。
如表2所示为对应存储的指标数据：
Figure BDA00003631976500072
表2指标数据存储例子
指标数据包括指标名称和指标值，指标值可以采用double的字节(占用8个字节)存储，以此来解少存储占用空间。
采用上面的设计可以有效减少海量数据存储占用的存储空间，并且能有效地提高查询速度,监控维度、监控指标可以动态扩展来适应业务的变化。
同时，现有的监控系统将数据存储在关系型数据库中，因此，存在：
1、存储速度与数据量的大小成正比，并且会随着数据量的上升而导致存储速度的变慢（需要仔细分析保存的监控数据的时间范围，比如一个月，一周）。
2、检索速度与数据量的大小成正比，与检索的并发数相关，数据量越大，同时检索的人越多，检索速度越慢。
3、存储容量有限，由于普通的关系型数据库数据存储的容量越多，会影响查询速度，通常会定时删除过期的数据，只保留固定范围的数据，这也导致不能很好地跟踪历史数据进行统计对比。
而本发明实施例将指标数据存储进分布式数据库中，因此能充分利用分布式数据库进行数据扩展，例如，可以采用基于Hadoop文件系统的hbase存储，以此来解决海量数据的存储与检索，可以设定数据存储区间（基于时间范围），自动清理过期数据。数据存储与查询可以充分利用hbase的分布式特性进行接口设计与实现，海量的数据的存储与检索效率可以通过增加存储硬件来横向扩展，并且不会降低存储与检索速度。
如图4所示为本发明一种监控系统的多维度数据存储装置的模块结构图，包括：
指标获取模块41，用于获取与每个监控业务关联的多个监控维度，以及至少一对包括指标名称和指标值的监控指标数据；
映射值获取模块42，用于将多个监控维度分别转换为具有相同长度的多个行关键字映射值；
行关键字生成模块43，用于将监控时间与多个行关键字映射值结合作为行关键字，且所述监控时间设置在行关键字中的固定的时间位置；
存储模块44，用于以所述行关键字为索引在分布式数据库中存储监控指标。
在其中一个实施例中，所述行关键字映射值为监控维度的哈希值。
在其中一个实施例中，所述时间位置为行关键字的首部或者尾部。
如图5所示为本发明一种监控系统的多维度数据检索装置的模块结构图，包括：
检索请求响应模块51，用于响应检索请求，所述检索请求包括多个待检索监控维度以及待检索时间范围，将多个待检索监控维度转换为具有相同长度的多个待检索映射值；
行关键字检索模块52，用于检索符合检索请求的行关键字，所述行关键字包括多个具有相同长度的行关键字映射值，以及设置在行关键字固定的时间位置的监控时间，所述符合检索请求的行关键字具体包括：
从行关键字固定的时间位置拆分出的监控时间，且拆分出的监控时间在所述待检索时间范围内，且
从行关键字中拆分出的多个行关键字映射值，且拆分出的行关键字包括所述多个待检索映射值；
指标数据获取模块53，用于获取以符合检索请求的行关键字为索引存储的至少一对包括指标名称和指标值的监控指标数据。
在其中一个实施例中，所述行关键字检索模块52，具体用于：
对每个行关键字从固定的时间位置中拆分出监控时间，将拆分出监控时间后的行关键字按照相同长度拆分出多个具有相同长度的行关键字映射值；
如果检索拆分出的监控时间在所述待检索时间范围内，且拆分出的多个行关键字映射值包括所述多个待检索映射值，则行关键字符合检索请求。
在其中一个实施例中，所述待检索映射值为待检索监控维度的哈希值。
在其中一个实施例中，所述监控时间设置在行关键字的首部或者尾部。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (14)

1.一种监控系统的多维度数据存储方法，其特征在于，包括：
获取与每个监控业务关联的多个监控维度，以及至少一对包括指标名称和指标值的监控指标数据；
将多个监控维度分别转换为具有相同长度的多个行关键字映射值；
将监控时间与多个行关键字映射值结合作为行关键字，且所述监控时间设置在行关键字中的固定的时间位置；
以所述行关键字为索引在分布式数据库中存储监控指标。
2.根据权利要求1所述的监控系统的多维度数据存储方法，其特征在于，所述行关键字映射值为监控维度的哈希值。
3.根据权利要求1所述的监控系统的多维度数据存储方法，其特征在于，所述时间位置为行关键字的首部或者尾部。
4.一种监控系统的多维度数据存储装置，其特征在于，包括：
指标获取模块，用于获取与每个监控业务关联的多个监控维度，以及至少一对包括指标名称和指标值的监控指标数据；
映射值获取模块，用于将多个监控维度分别转换为具有相同长度的多个行关键字映射值；
行关键字生成模块，用于将监控时间与多个行关键字映射值结合作为行关键字，且所述监控时间设置在行关键字中的固定的时间位置；
存储模块，用于以所述行关键字为索引在分布式数据库中存储监控指标。
5.根据权利要求4所述的监控系统的多维度数据存储装置，其特征在于，所述行关键字映射值为监控维度的哈希值。
6.根据权利要求4所述的监控系统的多维度数据存储装置，其特征在于，所述时间位置为行关键字的首部或者尾部。
7.一种监控系统的多维度数据检索方法，其特征在于，包括：
响应检索请求，所述检索请求包括多个待检索监控维度以及待检索时间范围，将多个待检索监控维度转换为具有相同长度的多个待检索映射值；
检索符合检索请求的行关键字，所述行关键字包括多个具有相同长度的行关键字映射值，以及设置在行关键字固定的时间位置的监控时间，所述符合检索请求的行关键字具体包括：
从行关键字固定的时间位置拆分出的监控时间，且拆分出的监控时间在所述待检索时间范围内，且
从行关键字中拆分出的多个行关键字映射值，且拆分出的行关键字包括所述多个待检索映射值；
获取以符合检索请求的行关键字为索引存储的至少一对包括指标名称和指标值的监控指标数据。
8.根据权利要求7所述的监控系统的多维度数据检索方法，其特征在于，所述检索符合检索请求的行关键字的步骤，具体包括：
对每个行关键字从固定的时间位置中拆分出监控时间，将拆分出监控时间后的行关键字按照相同长度拆分出多个具有相同长度的行关键字映射值；
如果检索拆分出的监控时间在所述待检索时间范围内，且拆分出的多个行关键字映射值包括所述多个待检索映射值，则行关键字符合检索请求。
9.根据权利要求7所述的监控系统的多维度数据检索方法，其特征在于，所述待检索映射值为待检索监控维度的哈希值。
10.根据权利要求7所述的监控系统的多维度数据检索方法，其特征在于，所述监控时间设置在行关键字的首部或者尾部。
11.一种监控系统的多维度数据检索装置，其特征在于，包括：
检索请求响应模块，用于响应检索请求，所述检索请求包括多个待检索监控维度以及待检索时间范围，将多个待检索监控维度转换为具有相同长度的多个待检索映射值；
行关键字检索模块，用于检索符合检索请求的行关键字，所述行关键字包括多个具有相同长度的行关键字映射值，以及设置在行关键字固定的时间位置的监控时间，所述符合检索请求的行关键字具体包括：
从行关键字固定的时间位置拆分出的监控时间，且拆分出的监控时间在所述待检索时间范围内，且
从行关键字中拆分出的多个行关键字映射值，且拆分出的行关键字包括所述多个待检索映射值；
指标数据获取模块，用于获取以符合检索请求的行关键字为索引存储的至少一对包括指标名称和指标值的监控指标数据。
12.根据权利要求11所述的监控系统的多维度数据检索装置，其特征在于，所述行关键字检索模块，具体用于：
对每个行关键字从固定的时间位置中拆分出监控时间，将拆分出监控时间后的行关键字按照相同长度拆分出多个具有相同长度的行关键字映射值；
如果检索拆分出的监控时间在所述待检索时间范围内，且拆分出的多个行关键字映射值包括所述多个待检索映射值，则行关键字符合检索请求。
13.根据权利要求11所述的监控系统的多维度数据检索装置，其特征在于，所述待检索映射值为待检索监控维度的哈希值。
14.根据权利要求11所述的监控系统的多维度数据检索装置，其特征在于，所述监控时间设置在行关键字的首部或者尾部。
CN201310340860.5A 2013-08-07 2013-08-07 一种监控系统的多维度数据存储、检索方法及装置 Active CN103412916B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201310340860.5A CN103412916B (zh) 2013-08-07 2013-08-07 一种监控系统的多维度数据存储、检索方法及装置
US14/910,273 US10089341B2 (en) 2013-08-07 2014-05-28 Multidimensional data storage and retrieval method for monitoring system
PCT/CN2014/078641 WO2015018224A1 (zh) 2013-08-07 2014-05-28 一种监控系统的多维度数据存储、检索方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310340860.5A CN103412916B (zh) 2013-08-07 2013-08-07 一种监控系统的多维度数据存储、检索方法及装置

Publications (2)

Publication Number Publication Date
CN103412916A true CN103412916A (zh) 2013-11-27
CN103412916B CN103412916B (zh) 2016-08-10

Family

ID=49605928

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310340860.5A Active CN103412916B (zh) 2013-08-07 2013-08-07 一种监控系统的多维度数据存储、检索方法及装置

Country Status (3)

Country Link
US (1) US10089341B2 (zh)
CN (1) CN103412916B (zh)
WO (1) WO2015018224A1 (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015018224A1 (zh) * 2013-08-07 2015-02-12 北京京东尚科信息技术有限公司 一种监控系统的多维度数据存储、检索方法及装置
CN105653568A (zh) * 2014-12-04 2016-06-08 中兴通讯股份有限公司 一种分析用户行为的方法及装置
CN105743721A (zh) * 2014-12-09 2016-07-06 博雅网络游戏开发（深圳）有限公司 数据上报方法、对上报数据进行处理的方法和装置
CN106407453A (zh) * 2016-09-30 2017-02-15 郑州云海信息技术有限公司 一种性能数据管理方法及系统
CN107943677A (zh) * 2017-10-13 2018-04-20 东软集团股份有限公司 应用性能监控方法、装置、可读存储介质及电子设备
CN108494622A (zh) * 2018-03-13 2018-09-04 新华三云计算技术有限公司 监控规则配置方法、装置及服务器
CN110309152A (zh) * 2019-06-26 2019-10-08 广州探迹科技有限公司 一种基于HBase的数据存储方法及装置
CN110704454A (zh) * 2019-10-15 2020-01-17 重庆远见信息产业集团有限公司 报表数据采集系统及方法
CN111459980A (zh) * 2019-01-21 2020-07-28 北京京东尚科信息技术有限公司 监控数据的存储和查询方法及装置
CN112486983A (zh) * 2020-11-23 2021-03-12 广州经传多赢投资咨询有限公司 排行榜生成方法、系统、装置及存储介质
WO2023125630A1 (zh) * 2021-12-31 2023-07-06 华为技术有限公司 一种数据管理方法及相关装置

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107741955B (zh) * 2017-09-15 2020-06-23 平安科技（深圳）有限公司 业务数据监控方法、装置、终端设备及存储介质
WO2020077563A1 (zh) * 2018-10-17 2020-04-23 北京比特大陆科技有限公司 数据存储方法、装置、电子设备及计算机可读存储介质
CN109522193A (zh) * 2018-10-22 2019-03-26 网宿科技股份有限公司 一种运维数据的处理方法、系统及装置
CN110704432A (zh) * 2019-09-20 2020-01-17 贝壳技术有限公司 数据索引的建立方法和装置、可读存储介质、电子设备
CN111475624B (zh) * 2020-04-13 2023-08-04 杭州海康威视系统技术有限公司 一种监控数据检索方法、装置及设备
CN112395345B (zh) * 2020-12-04 2024-09-20 江苏苏宁云计算有限公司 HBase的全量数据导入方法、装置、计算机设备及存储介质
CN117272082B (zh) * 2023-11-17 2024-03-19 深圳市联特微电脑信息技术开发有限公司 基于工业物联网的数据处理方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1260546A (zh) * 1999-01-08 2000-07-19 国际商业机器公司 在手持装置中存储和检索数据的方法及装置
CN101894119A (zh) * 2008-10-20 2010-11-24 亚马逊技术股份有限公司 用于监控的海量数据的储存
WO2012015959A1 (en) * 2010-07-27 2012-02-02 Oracle International Corporation Enterprise-based searching of new and updated data
CN102523131A (zh) * 2011-12-07 2012-06-27 上海海高通信发展有限公司 用户上网行为收集方法、分析方法和系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5218700A (en) * 1990-01-30 1993-06-08 Allen Beechick Apparatus and method for sorting a list of items
US20020029207A1 (en) * 2000-02-28 2002-03-07 Hyperroll, Inc. Data aggregation server for managing a multi-dimensional database and database management system having data aggregation server integrated therein
CN103412916B (zh) 2013-08-07 2016-08-10 北京京东尚科信息技术有限公司 一种监控系统的多维度数据存储、检索方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1260546A (zh) * 1999-01-08 2000-07-19 国际商业机器公司 在手持装置中存储和检索数据的方法及装置
CN101894119A (zh) * 2008-10-20 2010-11-24 亚马逊技术股份有限公司 用于监控的海量数据的储存
WO2012015959A1 (en) * 2010-07-27 2012-02-02 Oracle International Corporation Enterprise-based searching of new and updated data
CN102523131A (zh) * 2011-12-07 2012-06-27 上海海高通信发展有限公司 用户上网行为收集方法、分析方法和系统

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10089341B2 (en) 2013-08-07 2018-10-02 Beijing Jingdong Shangke Information Technology Co., Ltd. Multidimensional data storage and retrieval method for monitoring system
WO2015018224A1 (zh) * 2013-08-07 2015-02-12 北京京东尚科信息技术有限公司 一种监控系统的多维度数据存储、检索方法及装置
CN105653568A (zh) * 2014-12-04 2016-06-08 中兴通讯股份有限公司 一种分析用户行为的方法及装置
CN105743721A (zh) * 2014-12-09 2016-07-06 博雅网络游戏开发（深圳）有限公司 数据上报方法、对上报数据进行处理的方法和装置
CN105743721B (zh) * 2014-12-09 2019-02-15 博雅网络游戏开发（深圳）有限公司 数据上报方法、对上报数据进行处理的方法和装置
CN106407453A (zh) * 2016-09-30 2017-02-15 郑州云海信息技术有限公司 一种性能数据管理方法及系统
CN107943677A (zh) * 2017-10-13 2018-04-20 东软集团股份有限公司 应用性能监控方法、装置、可读存储介质及电子设备
CN107943677B (zh) * 2017-10-13 2021-09-17 东软集团股份有限公司 应用性能监控方法、装置、可读存储介质及电子设备
CN108494622A (zh) * 2018-03-13 2018-09-04 新华三云计算技术有限公司 监控规则配置方法、装置及服务器
CN111459980A (zh) * 2019-01-21 2020-07-28 北京京东尚科信息技术有限公司 监控数据的存储和查询方法及装置
CN110309152A (zh) * 2019-06-26 2019-10-08 广州探迹科技有限公司 一种基于HBase的数据存储方法及装置
CN110704454A (zh) * 2019-10-15 2020-01-17 重庆远见信息产业集团有限公司 报表数据采集系统及方法
CN110704454B (zh) * 2019-10-15 2023-03-31 重庆远见信息产业集团股份有限公司 报表数据采集系统及方法
CN112486983A (zh) * 2020-11-23 2021-03-12 广州经传多赢投资咨询有限公司 排行榜生成方法、系统、装置及存储介质
WO2023125630A1 (zh) * 2021-12-31 2023-07-06 华为技术有限公司 一种数据管理方法及相关装置

Also Published As

Publication number Publication date
CN103412916B (zh) 2016-08-10
US10089341B2 (en) 2018-10-02
US20160162523A1 (en) 2016-06-09
WO2015018224A1 (zh) 2015-02-12

Similar Documents

Publication Publication Date Title
CN103412916A (zh) 一种监控系统的多维度数据存储、检索方法及装置
US11514014B2 (en) Staggered merging in log-structured merge forests
CN102906751B (zh) 一种数据存储、数据查询的方法及装置
EP3812915B1 (en) Big data statistics at data-block level
US20100257181A1 (en) Dynamic Hash Table for Efficient Data Access In A Relational Database System
CN107423422B (zh) 基于网格的空间数据分布式存储及检索方法和系统
JP5589837B2 (ja) 情報再構成システム、情報再構成方法及び情報再構成用プログラム
US20150169658A1 (en) Static sorted index replication
US20100114843A1 (en) Index Compression In Databases
CN104317800A (zh) 一种海量智能用电数据混合存储系统及方法
CN110781184B (zh) 数据表的构建方法、装置、设备及存储介质
US12056128B2 (en) Workflow driven database partitioning
CN101937474A (zh) 海量数据查询方法及设备
CN103399945A (zh) 一种基于云计算数据库系统的数据结构
CN103020078A (zh) 分布式实时数据库数据层次索引方法
CN103744913A (zh) 一种基于搜索引擎技术的数据库检索方法
CN107741947B (zh) 基于hdfs文件系统的随机数密钥的存储与获取方法
WO2018214936A1 (zh) 数据热度统计
CN103198150A (zh) 一种大数据索引方法及系统
Zhang et al. The hv-tree: a memory hierarchy aware version index
CN102779138A (zh) 实时数据的硬盘存取方法
CN102291269A (zh) 一种数据归并处理方法
KR20180077830A (ko) 비공유 아키텍처 기반의 분산 스트림 처리 엔진에서 관계형 질의를 처리하는 방법, 이를 수행하기 위한 기록 매체 및 장치
CN104331460A (zh) 一种基于Hbase的数据读写操作方法及系统
CN104112024A (zh) 数据库的高性能查询方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant