CN112579390A - 一种基于实时内存tsdb报警的监控数据存储方法和系统 - Google Patents
一种基于实时内存tsdb报警的监控数据存储方法和系统 Download PDFInfo
- Publication number
- CN112579390A CN112579390A CN202011405187.5A CN202011405187A CN112579390A CN 112579390 A CN112579390 A CN 112579390A CN 202011405187 A CN202011405187 A CN 202011405187A CN 112579390 A CN112579390 A CN 112579390A
- Authority
- CN
- China
- Prior art keywords
- data storage
- real
- tsdb
- time
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013500 data storage Methods 0.000 title claims abstract description 144
- 238000012544 monitoring process Methods 0.000 title claims abstract description 126
- 238000000034 method Methods 0.000 title claims abstract description 31
- 241000282575 Gorilla Species 0.000 claims abstract description 24
- 238000004891 communication Methods 0.000 claims description 17
- 230000006835 compression Effects 0.000 claims description 13
- 238000007906 compression Methods 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 10
- 238000004806 packaging method and process Methods 0.000 claims description 8
- 230000003044 adaptive effect Effects 0.000 claims description 6
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000004807 localization Effects 0.000 description 3
- 229910002056 binary alloy Inorganic materials 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000008140 language development Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3089—Monitoring arrangements determined by the means or processing involved in sensing the monitored data, e.g. interfaces, connectors, sensors, probes, agents
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
- G06F11/3072—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting
- G06F11/3082—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting the data filtering being achieved by aggregating or compressing the monitored data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
- G06F11/324—Display of status information
- G06F11/327—Alarm or error message display
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请公开了一种基于实时内存TSDB报警的监控数据存储方法和系统，采用Gorilla实现方式对监控数据进行压缩后再存储在实时数据存储模块中，且实时数据存储模块只存储最近预置时长内的监控数据，对于超过预置时长的监控数据，采用基于RRDTOOL对监控数据进行处理后存储在历史数据存储模块的RRD文件中，极大地节省了存储空间，且基于monitor‑tsdb服务的目标程序可以应对国产平台上特定的操作系统大规模监控数据存储，由于监控的数据大部分从内存总读取和写入，同时提高了监控报警的预警能力，大规模监控数据下的读写性能得到了极大提高，因此，解决了现有的监控数据存储方法监控数据读写性能不高，且浪费大量存储空间的技术问题。
Description
技术领域
本申请涉及计算机技术领域，尤其涉及一种基于实时内存TSDB报警的监控数据存储方法和系统。
背景技术
随着计算机行业国产化发展成为新的发展趋势，基于国产芯片、操作系统的各类软件也需实现国产化兼容。在监控系统中，存储部分是整个监控系统软件的核心，用于对监控系统的各种数据存储和查询；运维部分从各种不同服务节点手机各种监控数据，包括硬件、软件系统、服务、网络、存储、数据库、中间件、日志服务、云服务、web状态、业务监控、应用程序状态等，并需要对这些监控的数据进行存储、展示以及报警来跟踪问题。由于存储的数据量巨大，并且监控的数据存储写入数据量和并发量都很大，典型的写多读少应用场景，传统的关系型数据库难以应付，读写性能不高，并且写入的数据永久存入磁盘对监控系统并没有多大的用处，占用存储空间。而现有的采用将收集的数据直接存储在InfluxDB里面的监控数据存储方法和将收集的数据直接存储在hbase里面的数据库构造方法，都存在浪费大量存储空间的问题。
本申请中涉及的术语解释：
TSDB：时序数据库（time-series database），主要用于指处理带时间标签（按照时间的顺序变化，即时间序列化）的数据，带时间标签的数据也称为时间序列数据。
RRDTOOL：指Round Robin Database工具，即环状数据库，从功能上说，RRDtool可用于数据存储+数据展示。
Gorilla：一种带压缩高压缩比内存时序数据库实现方案。
国产平台：采用arm64架构的飞腾2000+处理器，以及银河麒麟云的服务器。
发明内容
本申请提供了一种基于实时内存TSDB报警的监控数据存储方法和系统，用于解决现有的监控数据存储方法监控数据读写定能不高，且浪费大量存储空间的技术问题。
有鉴于此，本申请第一方面提供了一种基于实时内存TSDB报警的监控数据存储方法，包括：
构建基于Gorilla TSDB的实时数据存储模块、基于RRDTOOL的历史数据存储模块和TSDB写入数据模块；
将所述实时数据存储模块、所述历史数据存储模块和所述TSDB写入数据模块对应的源程序编译打包成适配国产平台的二进制包，生成monitor-tsdb服务目标程序；
其中，所述基于Gorilla TSDB的实时数据存储模块只存储最近预置时长内的监控数据，超过所述最近预置时长的监控数据存储在所述历史数据存储模块中，所述TSDB写入数据模块包括中间件rpc通信模块和中间件http服务模块，所述中间件rpc通信模块用于接收传入的监控数据，所述中间件http服务模块用于查询用户查询具体的值，且根据参数来确定数据值是在所述实时数据存储模块中，还是在所述历史数据存储模块中。
可选地，还包括：
实时检测是否接收到用户查询监控数据请求，若是，则响应于所述用户查询监控数据请求，调用所述monitor-tsdb服务目标程序，在所述实时数据存储模块和所述历史数据存储模块中查询数据，并返回数据查询结果。
可选地，所述预置时长为2小时。
可选地，所述基于Gorilla TSDB的实时数据存储模块的时间压缩方式采用dod编码压缩timestamp。
可选地，所述基于Gorilla TSDB的实时数据存储模块的数值压缩方式采用XOR编码压缩value。
本申请第二方面提供了一种基于实时内存TSDB报警的监控数据存储系统，包括：实时数据存储模块、基于RRDTOOL的历史数据存储模块、TSDB写入数据模块和编译模块；
所述实时数据存储模块，用于基于Gorilla TSDB对监控数据进行数据处理，且只存储最近预置时长内的监控数据；
所述历史数据存储模块，用于基于RRDTOOL对监控数据进行数据处理，且存储超过所述最近预置时长的监控数据；
所述TSDB写入数据模块包括中间件rpc通信模块和中间件http服务模块；
所述中间件rpc通信模块用于接收传入的监控数据；
所述中间件http服务模块用于查询用户查询具体的值，且根据参数来确定数据值是在所述实时数据存储模块中，还是在所述历史数据存储模块中；
所述编译模块，用于将所述实时数据存储模块、所述历史数据存储模块和所述TSDB写入数据模块对应的源程序编译打包成适配国产平台的二进制包，生成monitor-tsdb服务目标程序
可选地，还包括查询模块；
所述查询模块，用于实时检测是否接收到用户查询监控数据请求，若是，则响应于所述用户查询监控数据请求，调用所述monitor-tsdb服务目标程序，在所述实时数据存储模块和所述历史数据存储模块中查询数据，并返回数据查询结果。
可选地，所述预置时长为2小时。
可选地，所述实时数据存储模块的时间压缩方式采用dod编码压缩timestamp。
可选地，所述实时数据存储模块的数值压缩方式采用XOR编码压缩value。
从以上技术方案可以看出，本申请实施例具有以下优点：
本申请中提供了一种基于实时内存TSDB报警的监控数据存储方法，包括：构建基于Gorilla TSDB的实时数据存储模块、基于RRDTOOL的历史数据存储模块和TSDB写入数据模块；将实时数据存储模块、历史数据存储模块和TSDB写入数据模块对应的源程序编译打包成适配国产平台的二进制包，生成monitor-tsdb服务目标程序；其中，基于Gorilla TSDB的实时数据存储模块只存储最近预置时长内的监控数据，超过最近预置时长的监控数据存储在历史数据存储模块中，TSDB写入数据模块包括中间件rpc通信模块和中间件http服务模块，中间件rpc通信模块用于接收传入的监控数据，中间件http服务模块用于查询用户查询具体的值，且根据参数来确定数据值是在实时数据存储模块中，还是在历史数据存储模块中。
本申请中提供的基于实时内存TSDB报警的监控数据存储方法，采用Gorilla实现方式对监控数据进行压缩后再存储在实时数据存储模块中，且实时数据存储模块只存储最近预置时长内的监控数据，对于超过预置时长的监控数据，采用基于RRDTOOL对监控数据进行处理后存储在历史数据存储模块的RRD文件中，极大地节省了存储空间，且基于monitor-tsdb服务的目标程序可以应对国产平台上特定的操作系统大规模监控数据存储，由于监控的数据大部分从内存总读取和写入，同时提高了监控报警的预警能力，大规模监控数据下的读写性能得到了极大提高，因此，解决了现有的监控数据存储方法监控数据读写性能不高，且浪费大量存储空间的技术问题。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1为本申请实施例中提供的一种基于实时内存TSDB报警的监控数据存储方法的一个流程示意图；
图2为本申请实施例中提供的一种基于实时内存TSDB报警的监控数据存储方法的另一个流程示意图；
图3为本申请实施例中提供的一种基于实时内存TSDB报警的监控数据存储系统的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
实施例1
为了便于理解，请参阅图1，本申请提供了一种基于实时内存TSDB报警的监控数据存储方法的实施例，包括：
步骤101、 构建基于Gorilla TSDB的实时数据存储模块、基于RRDTOOL的历史数据存储模块和TSDB写入数据模块。
需要说明的是，基于Gorilla TSDB的实时数据存储模块只存储最近预置时长内的监控数据，超过最近预置时长的监控数据存储在历史数据存储模块中，TSDB写入数据模块包括中间件rpc通信模块和中间件http服务模块，中间件rpc通信模块用于接收传入的监控数据，中间件http服务模块用于查询用户查询具体的值，且根据参数来确定数据值是在实时数据存储模块中，还是在历史数据存储模块中。
在一个实施例中，预置时长为2小时，即实时数据存储模块只存储最近2个小时的(时间, 数值)类型的监控数据。本申请实施例中，时间序列数据库的构造方法采用基于Gorilla TSDB的实现方案，作为时序数据库的基本组成，(时间, 数值) 代表最基本的一个点。在内存中一般占用固定存储大小16 bytes，Gorilla TSDB方案能压缩到很小的1.37bytes，其原理主要如下:
时间压缩，使用 dod（delta of delta）编码，压缩 timestamp。1551532883,1551532890, 1551532900, 1551532910，编码后只需要存储 1551532883, 7, 3, 0即可，这样就可以进行编码压缩，压缩实验显示 96% 的时间戳都可以压缩到 1 bit 即 0，所以dod 算法的压缩效果非常好。
数值压缩，使用 XOR 编码，压缩 value。其依据是一条监控数据，在相邻时间戳的value在大部分时候变化不大。XOR 编码，如果相邻时间戳的两个 value相同，那么存储‘0’，只占用 1 bit，在编码前则要占用 2 个float64的空间。
步骤102、将实时数据存储模块、历史数据存储模块和TSDB写入数据模块对应的源程序编译打包成适配国产平台的二进制包，生成monitor-tsdb服务目标程序。
需要说明的是， 本申请实施例中采用go语言开发，基于go build命令编译生成适配国产平台的二进制包来搭建monitor-tsdb服务实现监控数据存储，不依赖于其他外部服务。
本申请实施例中提供的基于实时内存TSDB报警的监控数据存储方法，采用Gorilla实现方式对监控数据进行压缩后再存储在实时数据存储模块中，且实时数据存储模块只存储最近预置时长内的监控数据，对于超过预置时长的监控数据，采用基于RRDTOOL对监控数据进行处理后存储在历史数据存储模块的RRD文件中，极大地节省了存储空间，且基于monitor-tsdb服务的目标程序可以应对国产平台上特定的操作系统大规模监控数据存储，由于监控的数据大部分从内存总读取和写入，同时提高了监控报警的预警能力，大规模监控数据下的读写性能得到了极大提高，因此，解决了现有的监控数据存储方法监控数据读写性能不高，且浪费大量存储空间的技术问题。
实施例2
为了便于理解，请参阅图2，本申请中提供了一种基于实时内存TSDB报警的监控数据存储方法的另一个实施例，包括：
步骤201、构建基于Gorilla TSDB的实时数据存储模块、基于RRDTOOL的历史数据存储模块和TSDB写入数据模块。
步骤202、将实时数据存储模块、历史数据存储模块和TSDB写入数据模块对应的源程序编译打包成适配国产平台的二进制包，生成monitor-tsdb服务目标程序。
步骤203、实时检测是否接收到用户查询监控数据请求，若是，则响应于用户查询监控数据请求，调用monitor-tsdb服务目标程序，在实时数据存储模块和历史数据存储模块中查询数据，并返回数据查询结果。
需要说明的是，本申请实施例中，步骤201-步骤202与实施例1中的步骤101-步骤102一致，在此不再进行赘述。中间件rpc通信模块接收传入的监控数据，将监控数据传输到实时数据存储模块进行处理，在实时数据存储模块处理后的监控数据在实时数据存储模块中超过预置时长（可选2小时）之后，将超过预置时长的监控数据传给历史数据存储模块进行处理，在步骤202之后，还可以实时检测是否接收到用户查询监控数据请求，若是，则响应于用户查询监控数据请求，调用monitor-tsdb服务目标程序，通过中间件http服务模块根据参数来确定数据值是在实时数据存储模块中还是在历史数据存储模块中，进而在实时数据存储模块或历史数据存储模块中查询用户查询具体的值，并向请求用户返回数据查询结果。
本申请实施例提供基于实时内存TSDB报警的监控数据存储方法，解决了国产云平台上监控系统数据存储问题和性能问题，在全内存中读写速度超级快，性能高，报警跟踪监控数据及时，同时历史数据用RRDTOOL定时保存在磁盘中RRD文件中，RRDTOOL首先会进行采样，然后对这些采样数据进行真正的存储，所以RRD文件中存储的历史数据实际上是采样之后的数据，来解决大量监控数据的展示问题，做到了节省了存储空间。
实施例3
为了便于理解，请参阅图3，本申请提供了一种基于实时内存TSDB报警的监控数据存储系统的实施例，包括：实时数据存储模块、基于RRDTOOL的历史数据存储模块、TSDB写入数据模块和编译模块；
实时数据存储模块，用于基于Gorilla TSDB对监控数据进行数据处理，且只存储最近预置时长内的监控数据；
历史数据存储模块，用于基于RRDTOOL对监控数据进行数据处理，且存储超过最近预置时长的监控数据；
TSDB写入数据模块包括中间件rpc通信模块和中间件http服务模块；
中间件rpc通信模块用于接收传入的监控数据；
中间件http服务模块用于查询用户查询具体的值，且根据参数来确定数据值是在实时数据存储模块中，还是在历史数据存储模块中；
编译模块，用于将实时数据存储模块、历史数据存储模块和TSDB写入数据模块对应的源程序编译打包成适配国产平台的二进制包，生成monitor-tsdb服务目标程序。
本申请实施例中提供的基于实时内存TSDB报警的监控数据存储系统，采用Gorilla实现方式对监控数据进行压缩后再存储在实时数据存储模块中，且实时数据存储模块只存储最近预置时长内的监控数据，对于超过预置时长的监控数据，采用基于RRDTOOL对监控数据进行处理后存储在历史数据存储模块的RRD文件中，极大地节省了存储空间，且基于monitor-tsdb服务的目标程序可以应对国产平台上特定的操作系统大规模监控数据存储，由于监控的数据大部分从内存总读取和写入，同时提高了监控报警的预警能力，大规模监控数据下的读写性能得到了极大提高，因此，解决了现有的监控数据存储方法监控数据读写性能不高，且浪费大量存储空间的技术问题。
进一步地，还包括查询模块；
查询模块，用于实时检测是否接收到用户查询监控数据请求，若是，则响应于用户查询监控数据请求，调用monitor-tsdb服务目标程序，在实时数据存储模块和历史数据存储模块中查询数据，并返回数据查询结果。
进一步地，预置时长为2小时。
进一步地，实时数据存储模块的时间压缩方式采用dod编码压缩timestamp。
进一步地，实时数据存储模块的数值压缩方式采用XOR编码压缩value。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（英文全称：Read-OnlyMemory，英文缩写：ROM）、随机存取存储器（英文全称：Random Access Memory，英文缩写：RAM）、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (10)
1.一种基于实时内存TSDB报警的监控数据存储方法，其特征在于，包括：
构建基于Gorilla TSDB的实时数据存储模块、基于RRDTOOL的历史数据存储模块和TSDB写入数据模块；
将所述实时数据存储模块、所述历史数据存储模块和所述TSDB写入数据模块对应的源程序编译打包成适配国产平台的二进制包，生成monitor-tsdb服务目标程序；
其中，所述基于Gorilla TSDB的实时数据存储模块只存储最近预置时长内的监控数据，超过所述最近预置时长的监控数据存储在所述历史数据存储模块中，所述TSDB写入数据模块包括中间件rpc通信模块和中间件http服务模块，所述中间件rpc通信模块用于接收传入的监控数据，所述中间件http服务模块用于查询用户查询具体的值，且根据参数来确定数据值是在所述实时数据存储模块中，还是在所述历史数据存储模块中。
2.根据权利要求1所述的基于实时内存TSDB报警的监控数据存储方法，其特征在于，还包括：
实时检测是否接收到用户查询监控数据请求，若是，则响应于所述用户查询监控数据请求，调用所述monitor-tsdb服务目标程序，在所述实时数据存储模块和所述历史数据存储模块中查询数据，并返回数据查询结果。
3.根据权利要求1所述的基于实时内存TSDB报警的监控数据存储方法，其特征在于，所述预置时长为2小时。
4.根据权利要求1所述的基于实时内存TSDB报警的监控数据存储方法，其特征在于，所述基于Gorilla TSDB的实时数据存储模块的时间压缩方式采用dod编码压缩timestamp。
5.根据权利要求1-4中任一项所述的基于实时内存TSDB报警的监控数据存储方法，其特征在于，所述基于Gorilla TSDB的实时数据存储模块的数值压缩方式采用XOR编码压缩value。
6.一种基于实时内存TSDB报警的监控数据存储系统，其特征在于，包括：实时数据存储模块、基于RRDTOOL的历史数据存储模块、TSDB写入数据模块和编译模块；
所述实时数据存储模块，用于基于Gorilla TSDB对监控数据进行数据处理，且只存储最近预置时长内的监控数据；
所述历史数据存储模块，用于基于RRDTOOL对监控数据进行数据处理，且存储超过所述最近预置时长的监控数据；
所述TSDB写入数据模块包括中间件rpc通信模块和中间件http服务模块；
所述中间件rpc通信模块用于接收传入的监控数据；
所述中间件http服务模块用于查询用户查询具体的值，且根据参数来确定数据值是在所述实时数据存储模块中，还是在所述历史数据存储模块中；
所述编译模块，用于将所述实时数据存储模块、所述历史数据存储模块和所述TSDB写入数据模块对应的源程序编译打包成适配国产平台的二进制包，生成monitor-tsdb服务目标程序。
7.根据权利要求6所述的基于实时内存TSDB报警的监控数据存储系统，其特征在于，还包括查询模块；
所述查询模块，用于实时检测是否接收到用户查询监控数据请求，若是，则响应于所述用户查询监控数据请求，调用所述monitor-tsdb服务目标程序，在所述实时数据存储模块和所述历史数据存储模块中查询数据，并返回数据查询结果。
8.根据权利要求6所述的基于实时内存TSDB报警的监控数据存储系统，其特征在于，所述预置时长为2小时。
9.根据权利要求6所述的基于实时内存TSDB报警的监控数据存储系统，其特征在于，所述实时数据存储模块的时间压缩方式采用dod编码压缩timestamp。
10.根据权利要求6-9中任一项所述的基于实时内存TSDB报警的监控数据存储系统，其特征在于，所述实时数据存储模块的数值压缩方式采用XOR编码压缩value。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011405187.5A CN112579390A (zh) | 2020-12-04 | 2020-12-04 | 一种基于实时内存tsdb报警的监控数据存储方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011405187.5A CN112579390A (zh) | 2020-12-04 | 2020-12-04 | 一种基于实时内存tsdb报警的监控数据存储方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112579390A true CN112579390A (zh) | 2021-03-30 |
Family
ID=75127421
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011405187.5A Pending CN112579390A (zh) | 2020-12-04 | 2020-12-04 | 一种基于实时内存tsdb报警的监控数据存储方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112579390A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113688149A (zh) * | 2021-07-20 | 2021-11-23 | 青岛海尔科技有限公司 | 监控方法和装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105912703A (zh) * | 2016-04-26 | 2016-08-31 | 北京百度网讯科技有限公司 | 数据存储方法、查询方法及装置 |
| CN106547888A (zh) * | 2016-11-04 | 2017-03-29 | 北京集奥聚合科技有限公司 | 一种时间序列数据库的构造方法及系统 |
| US20170177636A1 (en) * | 2015-12-18 | 2017-06-22 | Cisco Technology, Inc. | Fast circular database |
| CN110737712A (zh) * | 2019-10-19 | 2020-01-31 | 南京凯盛国际工程有限公司 | 一种InfluxDB时序数据存储系统 |
-
2020
- 2020-12-04 CN CN202011405187.5A patent/CN112579390A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170177636A1 (en) * | 2015-12-18 | 2017-06-22 | Cisco Technology, Inc. | Fast circular database |
| CN105912703A (zh) * | 2016-04-26 | 2016-08-31 | 北京百度网讯科技有限公司 | 数据存储方法、查询方法及装置 |
| CN106547888A (zh) * | 2016-11-04 | 2017-03-29 | 北京集奥聚合科技有限公司 | 一种时间序列数据库的构造方法及系统 |
| CN110737712A (zh) * | 2019-10-19 | 2020-01-31 | 南京凯盛国际工程有限公司 | 一种InfluxDB时序数据存储系统 |
Non-Patent Citations (3)
| Title |
|---|
| WENXI ZENG等: "Monitoring Data Management Services on the Edge Using Enhanced TSDBs", 《 2019 IEEE 12TH CONFERENCE ON SERVICE-ORIENTED COMPUTING AND APPLICATIONS (SOCA)》 * |
| 刘焓: "云平台下服务分布式监控系统的研究与实现", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑(月刊)》 * |
| 荣雪琴等: "基于时序数据库的电力运维系统关键技术研究", 《电测与仪表》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113688149A (zh) * | 2021-07-20 | 2021-11-23 | 青岛海尔科技有限公司 | 监控方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107145489B (zh) | 一种基于云平台的客户端应用的信息统计方法和装置 | |
| CN113297166B (zh) | 数据处理系统、方法以及装置 | |
| KR101792582B1 (ko) | 칼럼형 데이터베이스의 히스토그램을 이용한 효율적인 질의 처리 | |
| TWI662426B (zh) | 分布式流式資料處理的方法和裝置 | |
| CN108228322B (zh) | 一种分布式链路跟踪、分析方法及服务器、全局调度器 | |
| CN111464336A (zh) | 一种基于电力通信机房高并发数据处理方法及系统 | |
| CN107302569B (zh) | 一种面向云平台的安全监控数据采集与存储方法 | |
| CN108900619B (zh) | 一种独立访客统计方法及装置 | |
| CN104657435A (zh) | 一种应用数据的存储管理方法和网络管理系统 | |
| CN111083008A (zh) | 一种基于nginx的流量采集分析方法 | |
| CN108228432A (zh) | 一种分布式链路跟踪、分析方法及服务器、全局调度器 | |
| CN115827780A (zh) | 一种基于隔离装置使用调度算法实现跨网区数据同步方法、系统及存储介质 | |
| CN112579390A (zh) | 一种基于实时内存tsdb报警的监控数据存储方法和系统 | |
| CN111339466A (zh) | 接口管理方法、装置、电子设备及可读存储介质 | |
| CN110851758B (zh) | 一种网页访客数量统计方法及装置 | |
| CN114387124B (zh) | 一种核电工业互联网平台的时序数据存储方法 | |
| CN113297245A (zh) | 获取执行信息的方法及装置 | |
| CN116431429A (zh) | 一种中间件的统一监控平台及监控方法 | |
| CN113157628B (zh) | 存储系统、数据处理方法、装置、存储系统及电子设备 | |
| CN115080563A (zh) | 数据捕获方法、装置、系统、电子设备及存储介质 | |
| CN111427872A (zh) | 一种数据写入方法、装置及计算机可读存储介质 | |
| CN112416699A (zh) | 指标数据收集方法及系统 | |
| CN117997958B (zh) | 一种充电站物联数据推送的方法与系统 | |
| CN111654410B (zh) | 网关请求监控方法、装置、设备及介质 | |
| CN117827586A (zh) | 一种行协议结构及存储库的指标监控方法、系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210330 |