CN113157521B - 用于区块链全生命周期的监控方法和监控系统 - Google Patents

Abstract

本发明公开了用于区块链全生命周期的监控方法和监控系统，包括：数据采集器通过代理模式采集监控数据，包括从物理机到区块链应用系统上的监控指标和所产生的日志数据；由数据处理模块的数据采集层进行监控数据格式解析；数据处理模块将解析后的监控数据进行格式化，形成统计指标；数据存储模块整理并统计格式化后的监控数据，并对统计指标和监控数据进行存储；将所述统计指标和监控数据分别存储于时序数据库和搜索数据库中；根据所述统计指标情况，将告警信息发布到监控展示界面进行展示。本发明能够监控交易的全链路数据，为运维人员提供有针对性的告警排查手段和解决方法。

Description

用于区块链全生命周期的监控方法和监控系统

技术领域

本发明属于区块链技术领域，具体涉及一种用于区块链全生命周期的监控方法和监控系统。

背景技术

目前区块链上应用的监控方法主要采用传统手段进行监控，主要包括：计算资源监控、网络监控、虚拟化、容器云监控和应用APM方案等。所采用的技术，主要通过埋点采集方式获取数据，通过数据统计，最终将统计结果展现给系统运维人员，这种方式在传统应用场景中非常实用，并且能够较为全面地呈现系统运行情况。

但在区块链应用的场景下，采用区块链网络存储可信数据，并保证其数据可溯源，区别于传统数据库技术，数据在链上流转并进行共识和验证，所以数据上链过程相较与传统数据库技术而言，其处理流程和逻辑更为复杂，区块链应用具备全链路监控的能力尤为重要。如何从区块链应用的视角监控区块链网络上的交易，并形成监控指标及告警流程的闭环处理，是优化区块链上应用全生命周期监控的重要课题，也是传统监控手段无法覆盖的内容。

发明内容

本发明基于上述背景，针对性优化此项内容，拟设计用于区块链的全生命周期监控方法和监控系统，监控交易的全链路数据。统计各种监控指标数据，设定监控告警规则并建立运维知识库。将系统告警信息进行分类、去除无效告警、减少告警风暴产生，提供运维人员有针对性的告警排查手段和解决方法。

第一方面，为了实现本发明的这些目的和其它优点，提供了一种用于区块链的全生命周期监控方法，通过代理模式进行监控数据采集，所述代理模式是指采集器作为代理将监控数据采集到数据采集层，收集包括从物理机到区块链应用系统上的监控指标和所产生的日志数据，通过采集器将数据收集到数据采集层，由数据采集层进行数据格式解析，并将数据进行格式化和整理，形成统计指标；最终将统计指标数据存储于时序数据库中，与此同时将原始数据存储于搜索数据库中。具体步骤如下：

1)区块链网络和区块链应用服务器上部署数据采集器，将监控数据采集到数据采集层，数据采集器依据设定的采集规则，准实时获取交易生产的日志信息，日志信息中包括：系统跟踪号、交易类型码、发生时间、交易状态标识、关联跟踪号和交易动作描述信息。

2)数据采集器将获取的数据采集到数据采集层，通过消息队列方式，异步传输至数据处理模块。数据处理模块负责将采集的数据进行格式化，形成统计指标，并清洗部分无效数据，例如：心跳数据、程序调试数据等。于此同时对于数据进行流式指标累计计算，并将关联跟踪号的数据进行图关联存储，最终将处理后的数据提交数据存储模块。所述图关联即采用神经网络进行搭建的图关联，用于为跟踪号(关键系统跟踪号，包括应用端系统跟踪号和区块链网络交易跟踪号等)和监控数据建立关联。

3)数据存储模块整理并统计格式化后的监控数据，建立关键系统跟踪号，并关联所述跟踪号形成关联跟踪号并对统计指标和监控数据进行存储，分别存储于时序数据库和搜索数据库中，进行索引优化。数据存储模块依据预先设定的数据索引信息，对于监控数据进行存储和索引标记，以时序方式对所述监控数据进行存储。监控系统在业务服务节点存活的运行状态下，形成的两种统计指标：

(a)账本或交易指标，包括：账本交易数、区块高度差值、背书提案请求、背书提案成功数量、请求CouchDB调用函数花费时间、提交区块花费时间、改变世界状态花费时间。

(b)性能指标：服务TPS、告警信息增长率、业务接口增长率、业务接口响应性能指标、APDEX性能指标。

4)查询、告警及展示引擎对于统计数据进行可视化展示，展示形式包括：直方图、饼图、热力图、数据表格等多种形式。同时提供对于统计指标的告警规则设定，告警规则将定期进行数据抽取和规则执行，实现告警数据排重，一旦触发规则后产生告警信号进行告警通知，通知形式不仅限于邮件、短信、钉钉和微信等。

5)根据所述统计指标情况，将告警信息发布到监控展示界面进行展示。

运维人员收到告警信息后，将通过监控展示界面获得告警内容、级别和关联操作，通过与运维知识库的关联，可提示运维人员错误发生源头，并提供逐一排查手段。

另一方面，本发明提出了一种用于区块链全生命周期的监控系统，包括数据采集器、数据处理模块、数据存储模块、时序数据库、搜索数据库、监控展示界面和运维知识库，具体组成包括：

数据采集层：由数据采集器采集监控数据，采集到数据采集层将监控数据传输至数据处理模块的数据采集层；

数据处理模块：将数据采集器采集到数据采集层的解析后的数据进行格式化，形成统计指标，并清洗无效数据；对所有监控数据进行流式指标累计计算，并最终将处理后的监控数据提交至数据存储模块。

数据存储模块：将关联跟踪号的监控数据进行图关联存储；依据预先设定的数据索引信息，进行索引优化；建立关键系统跟踪号，并关联所述跟踪号形成关联跟踪号，以时序方式对监控数据进行存储和索引标记进行存储；整理并统计数据处理模块中监控数据进行格式化处理后的数据。包括时序数据库和存储数据库两种存储方式，其中时序数据库用于存储统计指标，搜索数据库用于存储原始数据；

监控展示界面：展示告警信息，包括告警内容、级别和关联操作，同时关联运维知识库；

监控告警模块：根据监控展示界面进行监控指标统计，发布告警通知；

运维知识库：与监控展示界面关联，提示错误源头，并提供逐一排查设置。

本发明的其它优点、目标和特征将部分通过下面的说明体现，部分还将通过对本发明的研究和实践而为本领域的技术人员所理解。本发明至少包括以下有益效果：

1、本发明的提出了监控交易的全链路数据的监控方法和监控系统，通过数据采集层的数据采集器、数据处理模块、数据存储模块实现监控数据的全链路处理，通过监控告警模块和运维知识库可视化展示告警信息，提示错误源头，方便运维人员管理，减少成本和资源浪费。

2、统计各种监控指标数据，设定监控告警规则并建立运维知识库。

3、将系统告警信息进行分类、去除无效告警、减少告警风暴产生，提供运维人员有针对性的告警排查手段和解决方法。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，图中显而易见可以的具体实现流程作为本发明进一步的具体实施例，落入本发明的保护范围。

图1为本发明用于区块链的全生命周期的监控系统架构图；

图2为本发明区块链上应用全生命周期监控的核心处理流程图；

图3为本发明实施过程中的相关指标。

具体实施方式

为了清晰地阐述本发明，使本发明实施例的目的、技术方案和优点更加清楚，下面结合了本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，以令本领域技术人员参照说明书文字能够据以实施。下面将附图结合具体实施方式对本发明的技术加以详细说明。

区块链上应用全生命周期监控采用一套完成的监控告警系统，提供从物理机、虚拟机、容器云、区块链网络、区块链业务应用和中间件软件的全面监控能力，并提供关键指标的告警规则设置。

具体实施例1：

图1示出了根据本发明的一种实现形式，示出了本发明用于区块链的全生命周期的监控系统架构图，图中示出了实现本发明统一监控告警平台，本发明的平台(系统)提供系统运维人员排障工具，系统发生异常，将准实时发出告警信息，并指引运维人员进行问题排查，结合运维知识库，有效定位问题并进行解决。

本发明通过代理模式进行监控数据采集，收集包括从物理机到区块链应用系统上的监控指标和所产生的日志数据，通过采集器将数据收集到数据采集层，由数据采集层进行数据格式解析，并将数据进行格式化和整理，形成统计指标；最终将统计指标数据存储于时序数据库中，与此同时将原始数据存储于搜索数据库中。图2为本发明区块链上应用全生命周期监控的核心处理流程图，具体实现步骤包括：

Step1：区块链网络和区块链应用服务器上部署数据采集器，设定采集规则，数据采集器通过代理模式依据设定的采集规则，采集监控数据，将监控数据采集到数据采集层，所述代理模式是指采集器作为代理将监控数据采集到数据采集层，由数据采集层进行监控数据格式解析，实时获取交易生产的日志信息，所述监控数据包括从物理机到区块链应用系统上的监控指标和所产生的日志信息，所述日志信息包括：系统跟踪号、交易类型码、发生时间、交易状态标识、关联跟踪号和交易动作描述信息。

Step2：数据采集器将获取的数据采集到数据采集层，通过消息队列方式，异步传输至数据处理模块，所述数据采集器将监控数据采集后传输至数据处理模块；数据处理模块负责将采集的数据进行格式化，形成统计指标，并清洗部分无效数据，例如：心跳数据、程序调试数据等。于此同时对于数据进行流式指标累计计算，并将关联跟踪号的数据进行图关联存储，所述图关联即采用神经网络进行搭建的图关联，用于为跟踪号和监控数据建立关联，最终将处理后的数据提交数据存储模块；

Step3：数据存储模块将所述解析后的监控数据进行格式化，并整理统计数据；数据存储模块依据预先设定的数据索引信息，对于数据进行存储和索引标记，以时序方式对所述监控数据进行存储；数据存储模块整理并统计格式化后的监控数据，建立关键系统跟踪号，并关联所述跟踪号(关键系统跟踪号，包括应用端系统跟踪号和区块链网络交易跟踪号等)形成关联跟踪号对统计指标和监控数据进行存储；

Step4：将所述统计指标的数据存储于时序数据库中，同时将监控数据存储于搜索数据库中，进行索引优化；

将所述统计指标的数据存储于时序数据库中，同时将原始数据存储于搜索数据库中；

图3示出了本发明实施过程中的相关指标，示出了本发明监控系统在业务服务节点存活的运行状态下，形成的两种统计指标：

(1)账本或交易指标，包括：账本交易数、区块高度差值、背书提案请求、背书提案成功数量、请求CouchDB调用函数花费时间、提交区块花费时间、改变世界状态花费时间。

(2)性能指标：服务TPS、告警信息增长率、业务接口增长率、业务接口响应性能指标、APDEX性能指标。

Step5：根据所述统计指标情况，生成告警信息，将告警信息发布到监控展示界面进行展示。

对所述统计数据进行查询情况、告警情况、展示引擎进行可视化展示，所述展示形式包括直方图、饼图、热力图、数据表格等多种形式，同时提供所述统计指标的告警规则设置，根据所述告警规则定期进行数据抽取和规则执行，实现告警数据排重，所述告警规则部署于告警智能合约内，触发告警智能合约后将进行告警通知，即告警规则将定期进行数据抽取和规则执行，一旦触发规则后产生告警信号将进行告警通知，通知形式包括但不限于邮件、短信、钉钉和微信等。

所述监控展示界面获取告警内容、级别和关联操作，同时将监控展示界面与运维知识库关联，提示错误发生源头，提供逐一排查设置。当运维人员收到告警信息后，将通过监控展示界面获得告警内容、级别和关联操作，通过与运维知识库的关联，可提示运维人员错误发生源头，并提供逐一排查手段。

实施例2：

本发明提出了一种用于区块链全生命周期的监控系统，具体组成包括：

数据采集层：由部署于区块链网络和区块链应用服务器上的数据采集器采集监控数据，将监控数据采集到数据采集层，由数据采集层进行监控数据格式解析，并将监控数据通过消息队列异步传输传输至数据处理模块的数据采集层；依据设定的采集规则，实时获取交易生产的日志信息；

数据处理模块：将数据采集器采集到数据采集层的监控数据格式解析后进行格式化，形成统计指标，并清洗无效监控数据；对所有监控数据进行流式指标累计计算，最终将处理后的监控数据提交至数据存储模块；

数据存储模块：将关联跟踪号的监控数据进行图关联存储；依据预先设定的数据索引信息，进行索引优化；建立关键系统跟踪号，并关联所述跟踪号形成关联跟踪号，以时序方式对监控数据和索引标记进行存储；整理并统计数据处理模块中监控数据进行格式化处理后的数据；包括时序数据库和存储数据库两种存储方式，其中时序数据库用于存储统计指标，搜索数据库用于存储原始数据；

监控展示界面：进行监控指标统计；展示告警信息，包括告警内容、级别和关联操作，同时关联运维知识库；对所述统计数据进行查询、告警及展示引擎进行可视化展示，所述展示形式包括直方图、饼图、热力图、数据表格等多种形式；

监控告警模块：同时提供所述监控展示界面的监控指标统计的告警规则设置，根据所述告警规则定期进行数据抽取和规则执行，实现告警数据排重，所述告警规则部署于告警智能合约内，触发告警智能合约后产生告警信号将进行告警通知，通知形式包括邮件、短信、钉钉和微信等。

运维知识库：与监控展示界面关联，提示错误源头，并提供逐一排查设置。

这里说明的模块数量和处理规模是用来简化本发明的说明的。对本发明的监控系统的应用、修改和变化对本领域的技术人员来说是显而易见的。

上述对实施例的描述是为便于本技术领域的普通技术人员能理解和应用本发明。熟悉本领域技术的人员显然可以容易地对上述实施例做出各种修改，并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此，本发明不限于上述实施例，本领域技术人员根据本发明的揭示，对于本发明做出的改进和修改都应该在本发明的保护范围之内。

Claims (7)

1.一种用于区块链全生命周期的监控方法，其特征在于，具体实现步骤包括：

数据采集器通过代理模式采集监控数据，所述代理模式是指采集器作为代理将监控数据采集到数据采集层，所述监控数据包括从物理机到区块链应用系统上的监控指标和所产生的日志数据；

所述数据采集层将监控数据格式解析后传输至数据处理模块，数据处理模块将解析后的监控数据进行格式化，形成统计指标；

数据存储模块整理并统计格式化后的监控数据，建立关键系统跟踪号，并形成关联跟踪号，对统计指标和监控数据进行存储；由所述数据处理模块接收所述监控数据，将采集的监控数据进行格式化，并清洗无效监控数据，所述无效监控数据包括心跳数据、程序调式数据其中的一种或几种；同时对于所有监控数据进行流式指标累计计算，并将关联跟踪号的监控数据进行图关联存储，最终将处理后的监控数据提交至数据存储模块；所述图关联采用神经网络进行搭建的图关联，用于为跟踪号和监控数据建立关联；所述格式化具体包括：数据存储模块依据预先设定的数据索引信息，对监控数据进行存储和索引标记，以时序方式对所述监控数据进行存储；

将所述统计指标的数据存储于时序数据库中，同时将所述监控数据存储于搜索数据库中，进行索引优化；

根据所述统计指标情况，生成告警信息，将生成的告警信息发布到监控展示界面进行展示，监控展示界面进行监控指标统计，监控告警模块发布告警通知。

2.根据权利要求1所述的用于区块链全生命周期的监控方法，其特征在于，所述数据采集器部署于区块链网络和区块链应用服务器上，依据设定的采集规则，实时获取交易生产的日志信息，所述日志信息形成日志数据；所述日志信息包括：系统跟踪号、交易类型码、发生时间、交易状态标识、关联跟踪号和交易动作描述信息其中的一种或几种。

3.根据权利要求1所述的用于区块链全生命周期的监控方法，其特征在于，所述数据采集器将获取的监控数据采集到数据采集层，通过消息队列异步传输至数据处理模块。

4.根据权利要求1所述的用于区块链全生命周期的监控方法，其特征在于，所述统计指标有两种，包括账本或交易指标和性能指标，包括：

账本或交易指标：账本交易数、区块高度差值、背书提案请求、背书提案成功数量、请求CouchDB调用函数花费时间、提交区块花费时间、改变世界状态花费时间；

性能指标：服务TPS、告警信息增长率、业务接口增长率、业务接口响应性能指标、APDEX性能指标。

5.根据权利要求1所述的用于区块链全生命周期的监控方法，其特征在于，对统计指标的查询、告警情况及展示引擎进行可视化展示，所述展示形式包括直方图、饼图、热力图、数据表格其中的一种或多种形式；所述监控展示界面获取告警内容、级别和关联操作，同时将监控展示界面与运维知识库关联，提示错误发生源头，提供逐一排查设置。

6.根据权利要求1所述的用于区块链全生命周期的监控方法，其特征在于，所述监控告警模块同时提供所述统计指标的告警规则设置，根据所述告警规则定期进行数据抽取和规则执行，实现告警数据排重，所述告警规则部署于告警智能合约内，触发告警智能合约后产生告警信号进行告警通知，通知形式包括邮件、短信、钉钉和微信其中的一种或几种。

7.一种用于区块链全生命周期的监控系统，其特征在于，具体组成包括：

数据采集层：由部署于区块链网络和区块链应用服务器上的数据采集器采集监控数据，将监控数据采集到数据采集层，由数据采集层进行监控数据格式解析，并将监控数据通过消息队列异步传输传输至数据处理模块的数据采集层；依据设定的采集规则，实时获取交易生产的日志信息；

数据处理模块：将数据采集器采集到数据采集层的监控数据格式解析后进行格式化，形成统计指标，并清洗无效监控数据；对所有监控数据进行流式指标累计计算，最终将处理后的监控数据提交至数据存储模块；

数据存储模块：用于将关联跟踪号的监控数据进行图关联存储；依据预先设定的数据索引信息，进行索引优化；建立关键系统跟踪号，并形成关联跟踪号，以时序方式对监控数据和索引标记进行存储；整理并统计数据处理模块中监控数据进行格式化处理后的数据；包括时序数据库和存储数据库两种存储方式，其中时序数据库用于存储统计指标，搜索数据库用于存储原始数据；

监控展示界面：进行监控指标统计；展示告警信息，包括告警内容、级别和关联操作，同时关联运维知识库；对所述统计数据的查询、告警及展示引擎进行可视化展示，所述展示形式包括直方图、饼图、热力图、数据表格其中的一种或多种形式；

监控告警模块：提供所述统计指标的告警规则设置，根据所述告警规则定期进行数据抽取和规则执行，实现告警数据排重，所述告警规则部署于告警智能合约内，触发告警智能合约后产生告警信号将进行告警通知，通知形式包括邮件、短信、钉钉和微信其中的一种或多种形式；

运维知识库：与监控展示界面关联，提示错误源头，并提供逐一排查设置。

Images