CN112306407B - 一种监控数据存储方法 - Google Patents
一种监控数据存储方法 Download PDFInfo
- Publication number
- CN112306407B CN112306407B CN202011149726.3A CN202011149726A CN112306407B CN 112306407 B CN112306407 B CN 112306407B CN 202011149726 A CN202011149726 A CN 202011149726A CN 112306407 B CN112306407 B CN 112306407B
- Authority
- CN
- China
- Prior art keywords
- data
- token
- storage
- determining
- transmission
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 99
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000013500 data storage Methods 0.000 title claims abstract description 26
- 230000005540 biological transmission Effects 0.000 claims abstract description 75
- 230000002159 abnormal effect Effects 0.000 claims abstract description 46
- 238000012360 testing method Methods 0.000 claims abstract description 11
- 238000012545 processing Methods 0.000 claims abstract description 7
- 239000000126 substance Substances 0.000 claims description 29
- 238000009826 distribution Methods 0.000 claims description 26
- 238000011084 recovery Methods 0.000 claims description 19
- 238000001914 filtration Methods 0.000 claims description 15
- 238000009827 uniform distribution Methods 0.000 claims description 5
- 230000009286 beneficial effect Effects 0.000 abstract description 12
- 238000012423 maintenance Methods 0.000 abstract description 7
- 230000010485 coping Effects 0.000 abstract description 5
- 238000007726 management method Methods 0.000 description 14
- 230000002085 persistent effect Effects 0.000 description 9
- 230000001960 triggered effect Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 5
- 238000002955 isolation Methods 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 230000001066 destructive effect Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 239000002699 waste material Substances 0.000 description 3
- 230000002688 persistence Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0604—Improving or facilitating administration, e.g. storage management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0614—Improving the reliability of storage systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0653—Monitoring storage devices or systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
Abstract
本发明提供了一种监控数据存储方法，包括：获取监控数据，并传输至预设有令牌规则的存储网关中间件，确定传输结果；其中，所述传输结果包括令牌数据和异常数据；存储所述令牌数据至存储服务器的存储数据库中，并将所述异常数据按照存储磁盘预设的备份机制，生成备份数据；基于预设的数据统计规则和告警阈值，统计所述传输结果，生成统计数据，并确定预警触发事件；判断所述统计数据是否超过告警阈值，生成告警信息，并发送至用户前端。本发明的有益效果在于：对输入数据做了限流处理，提高存储数据库对高数据量的应对能力，实现了对存储数据库的过载限流，降低了繁杂的手动测试，提高系统稳定性，方便方案扩展和后期运维，有效提高用户体验。
Description
技术领域
本发明涉及数据系统设计技术领域，特别涉及一种监控数据存储方法。
背景技术
本发明公开了适用于多架构云平台监控领域中的一种监控数据存储方法，随着多架构云平台中系统业务规模的扩大升级，监控数据的采集量是越来越大，对数据存储的压力是越来越大，如何实现对监控数据的存储要求是越来越高，传统的监控存储方法是不能完全满足当前需求。
本发明公开了一种监控数据存储方法，实现了一种基于令牌桶限流的存储网关中间件设计，将数据输入与存储服务做了管道过滤隔离，提高了存储数据库对高数据量的应对能力，不会因导致存储崩溃，继而导致整个系统不可用的问题，保障了采集数据的完整性，不会导致采集数据部分丢失，为后续数据导入到存储服务做好前提准备。实现了对监控数据流量的管控和存储服务的性能的统筹管理，降低了繁杂的手动测试，提高系统稳定性，方便方案扩展，有效提高用户体验。同时该方法适用于多种云平台基础架构的数据存储方案，例如X86、ARM以及MIPS平台均可适用。
发明内容
本发明提供一种监控数据存储方法，用以解决数据流量低的情况下，会带来资源的浪费，系统复杂度过高的情况。
一种监控数据存储方法，包括：
获取监控数据，传输至设有令牌规则的存储网关中间件，确定异常数据，并生成令牌数据；
存储所述令牌数据至存储数据库中，并将所述异常数据备份，生成备份数据；
基于所述预设的数据统计规则和预警事件，生成统计信息，并将所述统计信息发送至用户前端。
作为本发明的一种实施例，优选地，所述获取监控数据，传输至设有令牌规则的存储网关中间件，确定异常数据，并生成令牌数据，包括：
获取监控数据，传输至存储网关中间件，确定传输数据；其中，
所述存储网关中间件用于获取并传输所述监控数据，生成传输数据；
基于所述存储网关中间件内预设的令牌规则，接收所述传输数据；其中，
所述令牌规则包括令牌容器和令牌容器均速分发限流机制；其中，
所述令牌容器用于生成令牌；
所述令牌容器均速分发限流机制用于限制所述传输数据的数据流量；
根据令牌容器均速分发限流机制，向所述传输数据均速分发令牌，确定分发数据；其中，
所述分发数据包括生成令牌数据和未生成令牌数据；其中，
所述令牌数据由接收到令牌的监控数据组成；
所述非令牌数据由未接到令牌的监控数据组成；
根据所述非令牌数据，确定异常数据。
作为本发明的一种实施例，优选地，所述基于所述存储网关中间件内预设的令牌规则，接收所述传输数据，包括：
根据存储网关中间件，确定对应的存储服务器；
测试所述存储服务器的最大并发支撑量，获取所述存储服务器的每秒访问量；
根据所述每秒访问量，获取令牌总数值N；
根据所述令牌总数值N，生成令牌集合容器，并将所述令牌存储到所述令牌集合容器中，生成令牌容器；其中，
所述令牌总数值N按照1/N的时间间隔顺序生成令牌，并存储到令牌容器中，并生成令牌容器；
基于所述令牌容器预设的令牌规则，接收所述传输数据，生成接收结果；
根据所述接收结果，确定传输数据。
作为本发明的一种实施例，优选地，所述根据令牌容器均速分发限流机制，向所述传输数据均速分发令牌，确定分发数据，包括：
基于所述令牌容器预设的令牌规则，根据所述传输数据和令牌，构建令牌容器均速分发限流机制；其中，
所述令牌容器均速分发限流机制包括所述令牌总数值N和均速限流机制；
所述令牌总数值N，用于确定所述监控数据的分发时间间隔；
所述均速限流机制，用于根据1比1的比例，根据1/N的时间间隔向所述传输数据均速分发令牌；
根据所述均速限流机制，向所述传输数据均速分发令牌，确定分数据。
作为本发明的一种实施例，优选地，所述存储所述令牌数据至存储数据库中，并将所述异常数据备份，生成备份数据，包括：
根据所述分发数据，确定令牌数据和非令牌数据；
基于所述存储数据库内设的前哨入口的令牌识别系统，识别所述令牌数据，生成识别通路；其中，
所述令牌识别系统用于识别所述监控数据是否是令牌数据；
根据所述识别通路，存储所述令牌数据至所述存储数据库中；
根据所述非令牌数据，确定所述异常数据；
将所述异常数据备份，生成备份数据；
作为本发明的一种实施例，优选地，所述将所述异常数据备份，生成备份数据，包括：
根据所述异常数据，确定对应的存储硬盘；其中，
所述存储硬盘包括设有存储周期的定时器；
基于所述存储硬盘预设的保密机制，对所述异常数据进行密钥加密，并确定密钥数据；
将所述密钥数据备份至所述存储硬盘，并确定备份数据。
作为本发明的一种实施例，优选地，将所述密钥数据备份至所述存储硬盘，并确定备份数据，包括：
根据所述存储硬盘的定时器，设置所述存储硬盘的查询周期；
根据所述查询周期，所述存储硬盘定期查询所述备份数据，生成查询结果；
获取所述密钥数据的时间，并生成存储周期；
根据所述存储周期，确定超限数据；
根据所述查询结果和所述超限数据，所述存储硬盘定时删除超过存储周期的备份数据。
作为本发明的一种实施例，优选地，所述基于所述预设的数据统计规则和预警事件，生成统计信息，并将所述统计信息发送至用户前端，包括：
基于存储网关中间件预设的数据规则，根据所述监控数据，统计并生成监控数据总量；
根据所述令牌数据，统计并生成令牌数据总量；
根据所述非令牌数据，统计并生成异常数据总量；
统计所述监控数据总量、令牌数据总量和异常数据总量总量，并生成统计结果。
根据所述统计结果，生成统计信息，并将所述统计信息发送至用户前端。
作为本发明的一种实施例，优选地，所述基于所述预设的数据统计规则和预警事件，生成统计信息，并将所述统计信息发送至用户前端，包括：
根据所述统计数据，确定令牌数据总量；
根据所述令牌数据总量，确定数据流量；
根据所述预警事件，设有流量阈值；
根据所述流量阈值，设有告警过滤规则通道；
将所述数据流量传输至所述告警过滤规则通道，若所述数据流量大于流量阈值，则触发所述预警触发事件，生成告警信息；
根据所述统计结果和告警信息，生成统计信息；
将所述统计信息和告警信息发送至用户前端。
一种监控数据存储装置，包括：
第一确定模块：获取监控数据，并传输至预设有令牌规则的存储网关中间件，确定传输结果；其中，
所述传输结果包括令牌数据和异常数据；
备份模块：存储所述令牌数据至存储服务器的存储数据库中，并将所述异常数据按照存储磁盘预设的备份机制，生成备份数据；
第二确定模块：基于预设的数据统计规则和告警阈值，统计所述传输结果，生成统计数据，并确定预警触发事件；
判断模块：用于判断所述统计数据是否超过告警阈值，生成告警信息，并发送至用户前端。
本发明的有益效果在于：本发明通过将元数据分别储存在不同的储存节点上，使得元数据可以分别储存在不同的储存节点，通过不同的储存节点可以使得元数据分类清晰且清楚。便于规划管理和划分。通过在储存节点设置负载均衡策略，可以使得数据得到优化。通过目录重定向表格构建了储存节点和元数据的传输路径，通过集群式的分布式储存系统，对元数据进行管理。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明实施例中一种监控数据存储方法的方法流程图；
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
如附图1所示，本发明的一种监控数据存储方法的方法流程图，本发明包括以下步骤：
步骤100：本发明通过获取监控数据，并传输至预设有令牌规则的存储网关中间件，确定传输结果；其中，
所述传输结果包括令牌数据和异常数据；存储网关中间件将数据输入与存储服务隔离，隔离方式为管道过滤隔离，对输入数据做了限流处理，将过滤通过的输入数据输入到存储服务，未过滤通过的输入数据存储持久化在本地。还会基于令牌桶限流方法对超出存储数据库负载能力的数据进行限流，从而保证数据不会对存储服务造成破坏性过载压力。
步骤101：存储所述令牌数据至存储服务器的存储数据库中，并将所述异常数据按照存储磁盘预设的备份机制，生成备份数据；本发明具有超限数据的备份恢复机制，会将接收的没有令牌的数据进行加密，并将加密后的数据按天持久化存储在本地硬盘，也会会定期查询持久化的数据总量，一旦超过设置的存储总量（例如：1G），将会按日期正序排序按天删除备份，直到当前存储量低于设置允许的存储总量。
步骤102：基于预设的数据统计规则和告警阈值，统计所述传输结果，生成统计数据，并确定预警触发事件；本发明的备份机制存在，一旦超过存储周期，则删除超期数据。存储模块提供备份恢复方法，一旦触发执行，将会将加载备份数据并解密，让后将数据推送到发送模块，再次执行存储操作。通过这种备份恢复机制，则将可以多被限流无法发送到存储服务的数据备份保存起来，一旦需要则可以根据用户需要触发数据恢复功能，保障了采集数据的不丢失。本发明的用户前端与网关中间件通过websocket通讯协议（WebSocket协议是基于TCP的一种新的网络协议。它实现了浏览器与服务器全双工(full-duplex)通信--允许服务器主动发送信息给客户端。）建立实时通讯机制。用户可以在前端界面上设置流量过载规则。网关中间件中的统计模块会记录监控数据到网关的输入数据总量、接收到令牌的有效输出数据量、丢弃数据量。
步骤103：判断所述统计数据是否超过告警阈值，生成告警信息，并发送至用户前端。本发明的统计模块会将上述统计信息出入到告警过滤规则通道生成告警信息，并将统计信息和告警信息实时推送到前端展示。
上述发明的技术有益效果在于：方便使用者可以通过可视化的方式看到实时的流量输入统计信息，方便进行环境管理，预警实时通知用来提醒使用者监控数据量已经超出当前存储服务的支持量，并执行数据限流操作，实现了对监控数据流量的管控和存储服务的性能的统筹管理，降低了繁杂的手动测试，解决了传统监控存储方法中采用单点存储数据库无法主动管控、分布式数据存储易造成资源浪费、系统复杂度增大、后期维护成本过高等问题，实现了一种存储网关中间件设计、一种基于令牌桶均速限流存储机制、一种超限数据的备份恢复机制和流量统计预警实时可视化通知，可以更灵活、更方便地操作管理一次需求测试中的接口列表关系，将监控数据流量信息与存储服务的性能的统筹管理，提高系统稳定性，方便后期运维，有效提高用户体验。同时该方法适用于多种云平台基础架构的数据存储限流方案，例如X86、ARM以及MIPS平台均可适用。
本发明的一种实施例在于，如附图1所示，所述获取监控数据，传输至设有令牌规则的存储网关中间件，确定异常数据，并生成令牌数据，包括：
获取监控数据，传输至存储网关中间件，确定传输数据；其中，
所述存储网关中间件用于获取并传输所述监控数据，生成传输数据；
基于所述存储网关中间件内预设的令牌规则，接收所述传输数据；其中，
所述令牌规则包括令牌容器和令牌容器均速分发限流机制；其中，
所述令牌容器用于生成令牌；
所述令牌容器均速分发限流机制用于限制所述传输数据的数据流量；
根据令牌容器均速分发限流机制，向所述传输数据均速分发令牌，确定分发数据；其中，
所述分发数据包括生成令牌数据和未生成令牌数据；其中，
所述令牌数据由接收到令牌的监控数据组成；
所述非令牌数据由未接到令牌的监控数据组成；
根据所述非令牌数据，确定异常数据。
上述发明的技术原理在于：令牌容器主要负责令牌的均速生成，并向监控数据发放令牌，其中，令牌容器均速分发限流机制，向所述传输数据均速分发令牌，确定分发数据负责接收监控数据的输入并按规定发配令牌给监控数据，有且只有令牌的监控数据才会发送到存储数据库，没有令牌的数据将会被主动推送给备份模块。
上述发明的技术有益效果在于：接收监控数据的输入，并从令牌容器里取出令牌按1比1的比例按照1/N的时间间隔发放给数据，并将得到令牌的数据输出到存储数据库，得不到令牌的数据将会被发送到备份模块。通过这种均速令牌桶限流方法对超出存储数据库负载能力的数据进行限流，从而保证数据不会对存储服务造成破坏性过载压力，提高了存储数据库对高数据量的应对能力，不会因为洪水监控数据的输入导致存储崩溃。
本发明的一种实施例在于，如附图1所示，所述基于所述存储网关中间件内预设的令牌规则，接收所述传输数据，包括：
根据存储网关中间件，确定对应的存储服务器；
测试所述存储服务器的最大并发支撑量，获取所述存储服务器的每秒访问量；
根据所述每秒访问量，获取令牌总数值N；
根据所述令牌总数值N，生成令牌集合容器，并将所述令牌存储到所述令牌集合容器中，生成令牌容器；其中，
所述令牌总数值N按照1/N的时间间隔顺序生成令牌，并存储到令牌容器中，并生成令牌容器；
基于所述令牌容器预设的令牌规则，接收所述传输数据，生成接收结果；
根据所述接收结果，确定传输数据。
上述发明的技术原理在于：读取令牌总数值并按照1/N的时间间隔顺序生成令牌到令牌容器里，保持令牌容器的令牌量为N。令牌发放模块负责接收监控数据的输入，并从令牌容器里取出令牌按1比1的比例按照1/N的时间间隔发放给数据，并将得到令牌的数据输出到存储数据库，得不到令牌的数据将会被送至存储磁盘备份，按规定发配令牌给监控数据，有且只有令牌的监控数据才会发送到存储数据库，没有令牌的数据将会被主动推送给备份模块。
上述发明的技术有益效果在于：将数据输入与存储服务做了管道过滤隔离，对输入数据做了限流处理,提高了存储数据库对高数据量的应对能力，不会导致存储崩溃，继而导致整个系统不可用的问题。实，方便对当前数据流量规模和有效存储流量进行统筹管理，可以更快速地主动式应对大数据量。这就实现了对监控数据流量的管控和存储服务的性能的统筹管理，降低了繁杂的手动测试，提高系统稳定性，方便方案扩展，有效提高用户体验。
本发明的一种实施例在于，如附图1所示，所述根据令牌容器均速分发限流机制，向所述传输数据均速分发令牌，确定分发数据，包括：
基于所述令牌容器预设的令牌规则，根据所述传输数据和令牌，构建令牌容器均速分发限流机制；其中，
所述令牌容器均速分发限流机制包括所述令牌总数值N和均速限流机制；
所述令牌总数值N，用于确定所述监控数据的分发时间间隔；
所述均速限流机制，用于根据1比1的比例，根据1/N的时间间隔向所述传输数据均速分发令牌；
根据所述均速限流机制，向所述传输数据均速分发令牌，确定分数据。
上述发明的技术原理在于：将数据输入与存储服务做了管道过滤隔离，对输入数据做了限流处理，并将得到令牌的数据输出到存储数据库。
上述发明的技术有益效果在于：提高了存储数据库对高数据量的应对能力，方便对当前数据流量规模和有效存储流量进行统筹管理，可以更快速地主动式应对大数据量，降低了繁杂的手动测试，提高系统稳定性，方便方案扩展，有效提高用户体验。
本发明的一种实施例在于，所述存储所述令牌数据至存储数据库中，并将所述异常数据备份，生成备份数据，包括：
根据所述分发数据，确定令牌数据和非令牌数据；
基于所述存储数据库内设的前哨入口的令牌识别系统，识别所述令牌数据，生成识别通路；其中，
所述令牌识别系统用于识别所述监控数据是否是令牌数据；
根据所述识别通路，存储所述令牌数据至所述存储数据库中；
根据所述非令牌数据，确定所述异常数据；
将所述异常数据备份，生成备份数据。
上述发明的技术原理在于：储所述令牌数据至存储数据库中，并将所述异常数据备份，生成备份数据，建立备份恢复机制，区分令牌数据和备份数据。
上述发明的技术有益效果在于：通过这种备份恢复机制，则将可以多被限流无法发送到存储服务的数据备份保存起来，一旦需要则可以根据用户需要触发数据恢复功能，保障了采集数据的不丢失。
本发明的一种实施例在于，如附图1所示，所述将所述异常数据备份，生成备份数据，包括：
根据所述异常数据，确定对应的存储硬盘；其中，
所述存储硬盘包括设有存储周期的定时器；
基于所述存储硬盘预设的保密机制，对所述异常数据进行密钥加密，并确定密钥数据；
将所述密钥数据备份至所述存储硬盘，并确定备份数据。
上述发明的技术原理在于：备份没有令牌的数据并进行加密，并将加密后的数据按天持久化本地硬盘。定期查询持久化的数据总量，一旦超过设置的存储总量，将会按日期正序排序按天删除备份，直到当前存储量低于设置允许的存储总量。备份模块会定期查询持久化的数据日期，一旦超过存储周期，则删除超期数据。存储模块提供备份恢复方法，一旦执行，将会将加载备份数据并解密，让后将数据按1/N的时间间隔推送到令牌发放模块，再次执行存储操作（通常此操作适用于令牌总数的富裕状态，否则会跟采集数据进行竞争）。
上述发明的技术有益效果在于：备份可以超限数据持久化备份在本地硬盘，并具备将备份数据进行恢复的功能，并可以通过前端界面主动触发备份模块进行数据恢复工作，以作其他统筹安排。
本发明的一种实施例在于，如附图1所示，将所述密钥数据备份至所述存储硬盘，并确定备份数据，包括：
根据所述存储硬盘的定时器，设置所述存储硬盘的查询周期；
根据所述查询周期，所述存储硬盘定期查询所述备份数据，生成查询结果；
获取所述密钥数据的时间，并生成存储周期；
根据所述存储周期，确定超限数据；
根据所述查询结果和所述超限数据，所述存储硬盘定时删除超过存储周期的备份数据。
上述发明的技术原理在于：备份没有令牌的数据进行加密，并将加密后的数据按天持久化本地硬盘。备份模块会定期查询持久化的数据总量，一旦超过设置的存储总量（默认1G），将会按日期正序排序按天删除备份，直到当前存储量低于设置允许的存储总量。备份模块会定期查询持久化的数据日期，一旦超过存储周期（默认1月），则删除超期数据。存储模块提供备份恢复方法，一旦触发执行，将会将加载备份数据并解密，让后将数据推送到发送模块，再次执行存储操作。通过这种备份恢复机制，则将可以多被限流无法发送到存储服务的数据备份保存起来，一旦需要则可以根据用户需要触发数据恢复功能，保障了采集数据的不丢失
上述发明的技术有益效果在于：种监控数据存储方法解决了传统监控存储方法中采用单点存储数据库无法主动管控、分布式数据存储易造成资源浪费、系统复杂度增大、后期维护成本过高等问题，单个时间序列数据库通常就已经具备较高的数据吞吐能力。
本发明的一种实施例在于，所述基于所述预设的数据统计规则和预警事件，生成统计信息，并将所述统计信息发送至用户前端，包括：
基于存储网关中间件预设的数据规则，根据所述监控数据，统计并生成监控数据总量；
根据所述令牌数据，统计并生成令牌数据总量；
根据所述非令牌数据，统计并生成异常数据总量；
统计所述监控数据总量、令牌数据总量和异常数据总量总量，并生成统计结果。
根据所述统计结果，生成统计信息，并将所述统计信息发送至用户前端。
上述发明的技术原理在于：统计监控数据到网关的输入数据总量、接收到令牌的有效输出数据量、备份数据量。告警模块会读取前端设定的流量过载规则。统计模块会将上述统计信息 出入到告警过滤规则通道生成告警信息。
上述发明的技术有益效果在于：将监控数据流量信息与存储服务的性能的统筹管理，降低了繁杂的手动测试，提高系统稳定性，方便方案扩展和后期运维，有效提高用户体验。将监控数据流量信息与存储服务的性能的统筹管理，提高系统稳定性，方便后期运维，有效提高用户体验。
本发明的一种实施例在于，如附图1所示，所述基于所述预设的数据统计规则和预警事件，生成统计信息，并将所述统计信息发送至用户前端，包括：
根据所述统计数据，确定令牌数据总量；
根据所述令牌数据总量，确定数据流量；
根据所述预警事件，设有流量阈值；
根据所述流量阈值，设有告警过滤规则通道；
将所述数据流量传输至所述告警过滤规则通道，若所述数据流量大于流量阈值，则触发所述预警触发事件，生成告警信息；
根据所述统计结果和告警信息，生成统计信息；
将所述统计信息和告警信息发送至用户前端。
上述发明的技术原理在于：流量统计预警实时可视化通知告警系统会读取前端设定的流量过载规则。统计规则会将上述统计信息 出入到告警过滤规则通道生成告警信息，并将统计信息和告警信息实时推送到前端展示。这就使使用者可以通过可视化的方式看到实时的流量输入统计信息，预警实时通知用来提醒使用者监控数据量已经超出当前存储服务的支持量，并执行数据限流操作。
上述发明的技术有益效果在于：通过这种均速令牌桶限流方法对超出存储数据库负载能力的数据进行限流，并通过流量统计预警技术报警，使使用者及时运维，做其他安排，从而保证数据不会对存储服务造成破坏性过载压力。
本发明的原理在于：本发明一种监控数据存储方法解决了传统监控存储方法中采用单点存储数据库无法主动管控、分布式数据存储易造成资源浪费、系统复杂度增大、后期维护成本过高等问题，实现了一种存储网关中间件设计、一种基于令牌桶限流存储机制、一种超限数据备份存储方法和流量统计预警实时可视化通知，操作管理一次需求测试中的接口列表关系，将监控数据流量信息与存储服务的性能的统筹管理。
本发明的有益效果在于：本发明通过对输入数据做了限流处理，将过滤通过的输入数据输入到存储服务，未过滤通过的输入数据存储持久化在本地，从而一方面提高了存储数据库对高数据量的应对能力，不会因为洪水监控数据的输入导致存储崩溃持久化的方案，保障了采集数据的完整性，不会导致采集数据部分丢失，为后续数据导入到存储服务做好前提准备。
一种监控数据存储装置，包括：
第一确定模块：获取监控数据，并传输至预设有令牌规则的存储网关中间件，确定传输结果；其中，
所述传输结果包括令牌数据和异常数据；
存储网关中间件将数据输入与存储服务隔离，隔离方式为管道过滤隔离，对输入数据做了限流处理，将过滤通过的输入数据输入到存储服务，未过滤通过的输入数据存储持久化在本地。还会基于令牌桶限流方法对超出存储数据库负载能力的数据进行限流，从而保证数据不会对存储服务造成破坏性过载压力。
备份模块：存储所述令牌数据至存储服务器的存储数据库中，并将所述异常数据按照存储磁盘预设的备份机制，生成备份数据；本发明具有超限数据的备份恢复机制，会将接收的没有令牌的数据进行加密，并将加密后的数据按天持久化存储在本地硬盘，也会会定期查询持久化的数据总量，一旦超过设置的存储总量（例如：1G），将会按日期正序排序按天删除备份，直到当前存储量低于设置允许的存储总量。
第二确定模块：基于预设的数据统计规则和告警阈值，统计所述传输结果，生成统计数据，并确定预警触发事件；本发明的备份机制存在，一旦超过存储周期，则删除超期数据。存储模块提供备份恢复方法，一旦触发执行，将会将加载备份数据并解密，让后将数据推送到发送模块，再次执行存储操作。通过这种备份恢复机制，则将可以多被限流无法发送到存储服务的数据备份保存起来，一旦需要则可以根据用户需要触发数据恢复功能，保障了采集数据的不丢失。本发明的用户前端与网关中间件通过websocket通讯协议建立实时通讯机制。用户可以在前端界面上设置流量过载规则。网关中间件中的统计模块会记录监控数据到网关的输入数据总量、接收到令牌的有效输出数据量、丢弃数据量。
判断模块：用于判断所述统计数据是否超过告警阈值，生成告警信息，并发送至用户前端。本发明的统计模块会将上述统计信息出入到告警过滤规则通道生成告警信息，并将统计信息和告警信息实时推送到前端展示。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (9)
1.一种监控数据存储方法，其特征在于，包括：
获取监控数据，并传输至预设有令牌规则的存储网关中间件，确定传输结果；其中，
所述传输结果包括令牌数据和异常数据；
存储所述令牌数据至存储服务器的存储数据库中，并将所述异常数据按照存储磁盘预设的备份机制，生成备份数据；
基于预设的数据统计规则和告警阈值，统计所述传输结果，生成统计数据，并确定预警触发事件；
判断所述统计数据是否超过告警阈值，生成告警信息，并发送至用户前端；所述获取监控数据，并传输至预设有令牌规则的存储网关中间件，确定传输结果，其中，所述传输结果包括令牌数据和异常数据包括：
获取监控数据，传输至存储网关中间件，并确定传输数据；其中，
所述存储网关中间件用于获取并传输所述监控数据，生成传输数据；
基于所述存储网关中间件内预设的令牌规则，接收所述传输数据；其中，
所述令牌规则包括令牌容器和令牌容器均速分发限流机制；其中，
所述令牌容器用于生成令牌；
所述令牌容器均速分发限流机制用于限制所述传输数据的数据流量；
根据令牌容器均速分发限流机制，向所述传输数据均速分发令牌，确定传输结果；其中，
所述传输结果包括生成令牌数据和未生成令牌数据；其中，
所述令牌数据由接收到令牌的监控数据组成；
非令牌数据由未接到令牌的监控数据组成；
根据非令牌数据，确定异常数据。
2.根据所述权利要求1所述的一种监控数据存储方法，其特征在于，所述基于所述存储网关中间件内预设的令牌规则，接收所述传输数据，包括：
根据存储网关中间件，确定对应的存储服务器；
测试所述存储服务器的最大并发支撑量，获取所述存储服务器的每秒访问量；
根据所述每秒访问量，获取令牌总数值N；
根据所述令牌总数值N，生成令牌集合容器，并将所述令牌存储到所述令牌集合容器中，生成令牌容器；其中，
所述令牌总数值N按照1/N的时间间隔顺序生成令牌，并存储到令牌容器中，并生成令牌容器；
基于所述令牌容器预设的令牌规则，接收所述传输数据，生成接收结果；
根据所述接收结果，确定传输数据。
3.根据所述权利要求2所述的一种监控数据存储方法，其特征在于，所述根据令牌容器均速分发限流机制，向所述传输数据均速分发令牌，确定传输结果，包括：
基于所述令牌容器预设的令牌规则，根据所述传输数据和令牌，构建令牌容器均速分发限流机制；其中，
所述令牌容器均速分发限流机制包括所述令牌总数值N和均速限流机制；
所述令牌总数值N，用于确定所述监控数据的分发时间间隔；
所述均速限流机制，用于根据1比1的比例，根据1/N的时间间隔向所述传输数据均速分发令牌；
根据所述均速限流机制，向所述传输数据均速分发令牌，确定传输结果。
4.根据所述权利要求1所述的一种监控数据存储方法，其特征在于，所述存储所述令牌数据至存储服务器的存储数据库中，并将所述异常数据按照存储磁盘预设的备份机制，生成备份数据，包括：
根据所述传输结果，确定令牌数据和非令牌数据；
基于所述存储数据库内设的前哨入口的令牌识别系统，识别所述令牌数据，生成识别通路；其中，
所述令牌识别系统用于识别所述监控数据是否是所述令牌数据；
所述前哨入口用于传输所述令牌数据，并生成识别通路；
通过所述识别通路，将所述令牌数据存储至所述存储数据库中；
根据所述非令牌数据，确定所述异常数据；
将所述异常数据按照存储磁盘预设的备份机制，生成备份数据。
5.根据所述权利要求4所述的一种监控数据存储方法，其特征在于，所述将所述异常数据按照存储磁盘预设的备份机制，生成备份数据，包括：
根据所述异常数据，确定对应的存储硬盘；其中，
所述存储硬盘包括设有备份机制和定时器；其中，
所述备份机制包括密钥系统和恢复系统；其中，
所述密钥系统用于对所述异常数据进行密钥加密，确定密钥数据；
所诉恢复系统用于将备份数据解密，并推送所述备份数据至存储网关中间件，再次执行存储操作；
将所述密钥数据备份至所述存储硬盘，确定备份数据。
6.根据所述权利要求5所述的一种监控数据存储方法，其特征在于，所述存储硬盘包括设有备份机制和定时器，包括：
根据所述存储硬盘的定时器，设置所述存储硬盘的查询周期；
根据所述查询周期，所述存储硬盘定期查询所述备份数据，生成查询结果；
获取所述密钥数据的时间，并生成存储周期；
根据所述存储周期，确定超限数据；
根据所述查询结果和所述超限数据，所述存储硬盘定时删除超过存储周期的备份数据。
7.根据所述权利要求5所述的一种监控数据存储方法，其特征在于，所述基于预设的数据统计规则和告警阈值，统计所述传输结果，生成统计数据，并确定预警触发事件，包括：
基于存储网关中间件预设的数据统计规则，根据所述监控数据，统计并计算监控数据总量；
根据所述令牌数据，统计并计算令牌数据总量；
根据所述非令牌数据，统计并计算异常数据总量；
根据所述监控数据总量、令牌数据总量和异常数据总量，生成统计数据；
根据所述统计数据和所述告警阈值，确定预警触发事件。
8.根据所述权利要求7所述的一种监控数据存储方法，其特征在于，所述判断所述统计数据是否超过告警阈值，生成告警信息，并发送至用户前端，包括：
根据所述统计数据，确定令牌数据总量；
根据所述令牌数据总量，确定数据流量；
根据预警触发事件，对所述数据流量进行判断；其中，
所述预警触发事件设有告警过滤规则通道，用于自动接收并计算统计结果；
将所述数据流量传输至所述告警过滤规则通道，若所述数据流量大于流量阈值，则触发所述预警触发事件，生成告警信息；
根据所述统计结果和告警信息，生成统计信息；
将所述统计信息和告警信息发送至用户前端。
9.一种监控数据存储装置，其特征在于，包括：
第一确定模块：获取监控数据，并传输至预设有令牌规则的存储网关中间件，确定传输结果；其中，
所述传输结果包括令牌数据和异常数据；
备份模块：存储所述令牌数据至存储服务器的存储数据库中，并将所述异常数据按照存储磁盘预设的备份机制，生成备份数据；
第二确定模块：基于预设的数据统计规则和告警阈值，统计所述传输结果，生成统计数据，并确定预警触发事件；
判断模块：用于判断所述统计数据是否超过告警阈值，生成告警信息，并发送至用户前端；
所述获取监控数据，并传输至预设有令牌规则的存储网关中间件，确定传输结果，其中，所述传输结果包括令牌数据和异常数据包括：
获取监控数据，传输至存储网关中间件，并确定传输数据；其中，
所述存储网关中间件用于获取并传输所述监控数据，生成传输数据；
基于所述存储网关中间件内预设的令牌规则，接收所述传输数据；其中，
所述令牌规则包括令牌容器和令牌容器均速分发限流机制；其中，
所述令牌容器用于生成令牌；
所述令牌容器均速分发限流机制用于限制所述传输数据的数据流量；
根据令牌容器均速分发限流机制，向所述传输数据均速分发令牌，确定传输结果；其中，
所述传输结果包括生成令牌数据和未生成令牌数据；其中，
所述令牌数据由接收到令牌的监控数据组成；
非令牌数据由未接到令牌的监控数据组成；
根据非令牌数据，确定异常数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011149726.3A CN112306407B (zh) | 2020-10-23 | 2020-10-23 | 一种监控数据存储方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011149726.3A CN112306407B (zh) | 2020-10-23 | 2020-10-23 | 一种监控数据存储方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112306407A CN112306407A (zh) | 2021-02-02 |
| CN112306407B true CN112306407B (zh) | 2022-10-25 |
Family
ID=74327546
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011149726.3A Active CN112306407B (zh) | 2020-10-23 | 2020-10-23 | 一种监控数据存储方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112306407B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113704054A (zh) * | 2021-07-29 | 2021-11-26 | 济南浪潮数据技术有限公司 | 一种监控数据分流传输的方法、系统、设备和存储介质 |
| CN117131036B (zh) * | 2023-10-26 | 2023-12-22 | 环球数科集团有限公司 | 一种基于大数据和人工智能的数据维护系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1770711A (zh) * | 2005-11-18 | 2006-05-10 | 史文勇 | 一种瓶颈带宽和剩余带宽的测量方法和系统 |
| CN101964758A (zh) * | 2010-11-05 | 2011-02-02 | 南京邮电大学 | 一种基于区分服务的队列调度方法 |
| CN111787073A (zh) * | 2020-06-18 | 2020-10-16 | 多加网络科技(北京)有限公司 | 一种统一服务的限流熔断平台及其方法 |
-
2020
- 2020-10-23 CN CN202011149726.3A patent/CN112306407B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1770711A (zh) * | 2005-11-18 | 2006-05-10 | 史文勇 | 一种瓶颈带宽和剩余带宽的测量方法和系统 |
| CN101964758A (zh) * | 2010-11-05 | 2011-02-02 | 南京邮电大学 | 一种基于区分服务的队列调度方法 |
| CN111787073A (zh) * | 2020-06-18 | 2020-10-16 | 多加网络科技(北京)有限公司 | 一种统一服务的限流熔断平台及其方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112306407A (zh) | 2021-02-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109408347B (zh) | 一种指标实时分析系统及指标实时计算方法 | |
| US9438470B2 (en) | Network event capture and retention system | |
| CN110716832B (zh) | 业务运行的监控告警方法、系统、电子设备及存储介质 | |
| EP0961439B1 (en) | Network management event storage and manipulation using relational database technology | |
| JP3778652B2 (ja) | ログデータ収集管理方法及びその装置 | |
| CN112306407B (zh) | 一种监控数据存储方法 | |
| CN109542733A (zh) | 一种高可靠的实时日志收集及可视化检索方法 | |
| CN111752795A (zh) | 一种全流程监控报警平台及其方法 | |
| EP2204010B1 (en) | Method and apparatus for accelerated propagation of events in a network management system | |
| TWI434190B (zh) | 在支持查詢時有效地儲存記錄資料以協助電腦網路安全 | |
| CN104584524B (zh) | 聚合中介系统中的数据 | |
| CN106487574A (zh) | 自动化运行维护监测系统 | |
| JPH0764663A (ja) | 課金データの制御システムおよび方法 | |
| AU2013302297A1 (en) | Analysis of time series data | |
| CN109871392B (zh) | 一种分布式应用系统下的慢sql实时数据采集方法 | |
| CN112199394A (zh) | 告警信息推送方法、系统、智能终端及存储介质 | |
| CN112632129B (zh) | 一种码流数据管理方法、装置及存储介质 | |
| CN106992886A (zh) | 一种基于分布式存储的日志分析方法及装置 | |
| JP4485112B2 (ja) | ログデータの収集管理方法および装置 | |
| CN111221890B (zh) | 通用指标类自动监控预警方法及装置 | |
| CN113505260A (zh) | 人脸识别方法、装置、计算机可读介质及电子设备 | |
| CN111352746B (zh) | 消息限流方法、存储介质 | |
| CN109120434A (zh) | 一种存储集群告警方法、装置和计算机可读存储介质 | |
| CN113037549A (zh) | 一种运维环境告警方法 | |
| CN110798660A (zh) | 基于云联邦音视频融合平台的一体化运维系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |