CN109547271A - 一种基于大数据的网络状态实时监控警报系统 - Google Patents

Abstract

本发明涉及一种基于大数据的网络状态实时监控警报系统，所述系统包括：节点组件、节点状态监控组件、网络探测组件、第三方数据组件、日志群集组件。本发明通过对监控节点实时追踪，一旦节点本身存在问题，无响应或者网络质量变差，将快速剔除该节点，并用备用节点替代，有效避免因故障导致监控误判和数据丢失；通过对自有监控节点、多家CDN厂商节点、第三方监控平台节点来源网络数据实时收集和整合，同时基于大数据智能分析，避免单一厂商自身网络故障导致误报，有效提高预警准确率。

Description

一种基于大数据的网络状态实时监控警报系统

【技术领域】

本发明属于网络数据处理领域，尤其涉及一种基于大数据的网络状态实时监控警报系统。

【背景技术】

互联网已经逐渐成为我们日常生活的一部分，我们每天需要使用各种APP，通过互联网与家人进行聊天、观看在线视频、玩电子游戏，如果网络线路不稳定，会严重影响各种APP使用体验。因此互联网商家、第三方监控平台纷纷推出网络质量监控工具，这些工具实时收集全国各地骨干网状态信息，在网络出现波动时进行故障展示、故障警报，网络工程师第一时间收到警报并进行高效率的网络故障处理、恢复，对互联网生态健康发展有极大促进作用。通过分析，我们发现现有网络质量监控技术存在以下明显问题：网络状态数据源单一，可能因厂商本身网络问题导致误报或者报障不全面。有问题、失效的监控节点更新不及时，导致该节点负责的监控区域的网络状态数据收集失败。本发明通过对监控节点实时追踪，一旦节点本身存在问题，无响应或者网络质量变差，将快速剔除该节点，并用备用节点替代，有效避免因故障故障导致监控误判和数据丢失；通过对自有监控节点、多家CDN厂商节点、第三方监控平台节点(爬虫抓取)等来源网络数据实时收集和整合，同时基于大数据智能分析，避免单一厂商自身网络故障导致误报，有效提高预警准确率。

【发明内容】

为了解决现有技术中的上述问题，本发明提出了一种基于大数据的网络状态实时监控警报系统，所述系统包含：节点组件、节点状态监控组件、网络探测组件、第三方数据组件、日志群集组件；

节点组件为网络上的数据接收和发送节点；

节点状态监控组件用于对一个或者多个节点组件及其备用节点进行监控和维护；

网络探测组件用于向节点组件发出网络探测包，接收反馈数据，并把反馈数据传到日志群集组件；

第三方数据组件用于从第三方平台抓取网络数据，并向网络探测组件提供数据；

日志群集组件用于接收网络探测组件的反馈数据，并基于所述反馈数据进行智能数据分析。

进一步的，节点状态监控组件维护备用节点，同时监控节点组件的响应状态，如果节点组件无响应或者响应质量差，将用备用节点替换。

进一步的，所述监控节点组件的响应状态，具体为：所述监控节点定期的给节点组件发送轻数据包，并接收来自节点组件的响应；所述轻数据包为不包含数据内容而只包含数据包类型的数据包。

进一步的，所述节点状态监控组件中保存节点组件及其备用节点之间的对应关系表；每个节点组件对应一个或多个备用节点；对应的多个备用节点按照优先级从大到小排列；在进行备用节点替换时，获取备用节点的优先级，选择优先级最大的备用节点进行替换。

进一步的，所述获取备用节点的优先级，具体为：获取待替换的节点组件的所有直接通信节点集合{Ni}；获取备用节点到所述每个直接通信节点的通信时间Ti；Ti为备用节点到第i个直接通信节点的通信时间；基于所述通信时间计算优先级，使得通信时间越短的备用节点的备用优先级越高。

进一步的，可替换的，所述获取备用节点的优先级，具体为：获取待替换的节点组件的所有直接通信节点集合{Ni}；获取所有直接通信节点在最近的第一时间间隔内的通信次数{TSi}；选择通信次数超过次数阈值的频繁直接通信节点集合{FNi}，获取备用节点到所述每个频繁直接通信节点的通信时间FTi；FTi为备用节点到第i个直接通信节点的通信时间；基于所述通信时间FTi之和计算优先级，使得通信时间之和越小的备用节点的优先级越高。

进一步的，所述网络探测组件用第三方平台数据来补充所述反馈数据；所述补充，具体为：当反馈数据空缺时，用第三方平台数据填充所述空缺的反馈数据；当反馈数据和第三方平台数据矛盾时，确定可信数据并采用可信数据。

进一步的，所述确定可信数据，具体为：将不矛盾的所有反馈数据和第三方平台数据均视为可信的，并基于可信数据进行所述矛盾数据的预测，选择和预测结果最相似的矛盾数据作为可信数据。

进一步的，通过从第三方平台直接抓取数据能够进行自身反馈数据的有效补充。

进一步的，所述系统还包括终端组件，终端组件用于从日志群集组件中获取反馈数据和智能数据分析结果，基于所述反馈数据和智能数据分析结果通过地图显示全国网络质量实时状态，并进行网络质量的预警。

本发明的有益效果包括：通过对监控节点实时追踪，一旦节点本身存在问题，无响应或者网络质量变差，将快速剔除该节点，并用备用节点替代，有效避免因故障导致监控误判和数据丢失；通过基于优先级的备用节点选择，使得经过替换对其他节点透明；通过对自有监控节点、多家CDN厂商节点、第三方监控平台节点(爬虫抓取)等来源网络数据实时收集和整合，同时基于大数据智能分析，避免单一厂商自身网络故障导致误报，有效提高预警准确率；通过基于策略化的可信数据补充，降低了对自身数据获取的压力，还能够随时吸收第三方数据，提高了数据的可信和准确率。

【附图说明】

此处所说明的附图是用来提供对本发明的进一步理解，构成本申请的一部分，但并不构成对本发明的不当限定，在附图中：

图1为本发明的基于大数据的网络状态实时监控警报系统示意图。

图2为本发明的节点组件发出网络探测包并接收反馈数据示意图。

图3为本发明的节点状态监控示意图。

图4为本发明的网络数据收集示意图。

图5为本发明的终端反馈系统示意图。

【具体实施方式】

下面将结合附图以及具体实施例来详细说明本发明，其中的示意性实施例以及说明仅用来解释本发明，但并不作为对本发明的限定。

对本发明所应用的一种基于大数据的网络状态实时监控警报系统进行详细说明，如附图1所示，所述系统包含：节点组件、节点状态监控组件、网络探测组件、第三方数据组件、日志群集组件、终端组件；

节点组件为网络上的数据接收和发送节点；优选的：所述节点组件为自有机房服务器和CDN节点；优选的：所述节点组件运行在个人移动设备的操作系统上，例如：Androip/IOS，也可以运行在个人PC、平板电脑、服务器上；

节点状态监控组件用于对一个或者多个节点组件及其备用节点进行监控和维护；具体的：节点状态监控组件维护备用节点，同时监控节点组件的响应状态，如果节点组件无响应或者响应质量差，将用备用节点替换；

所述监控节点组件的响应状态，具体为：所述监控节点定期的给节点组件发送轻数据包，并接收来自节点组件的响应；所述轻数据包为不包含数据内容而只包含数据包类型的数据包；可替换的：节点组件定期的主动发送响应给节点状态监控组件；

优选的：所述节点状态监控组件中保存节点组件及其备用节点之间的对应关系表；每个节点组件对应一个或多个备用节点；对应的多个备用节点按照优先级从大到小排列；在进行备用节点替换时，获取备用节点的优先级，选择备用优先级最大的备用节点进行替换；

所述获取备用节点的优先级，具体为：获取待替换的节点组件的所有直接通信节点集合{Ni}；获取备用节点到所述每个直接通信节点的通信时间Ti；Ti为备用节点到第i个直接通信节点的通信时间；基于所述通信时间计算优先级，使得通信时间越短的备用节点的备用优先级越高；

可替换的，所述获取备用节点的优先级，具体为：获取待替换的节点组件的所有直接通信节点集合{Ni}；获取所有直接通信节点在最近的第一时间间隔内的通信次数{TSi}；选择通信次数超过次数阈值的频繁直接通信节点集合{FNi}，获取备用节点到所述每个频繁直接通信节点的通信时间FTi；FTi为备用节点到第i个直接通信节点的通信时间；基于所述通信时间FTi之和计算优先级，使得通信时间之和越小的备用节点的优先级越高；通过这样的方式能够避免来自非频繁通信节点的计算干扰来进行备用节点的选择；所述第一时间间隔为预设值；例如：24H；

网络探测组件用于向节点组件发出网络探测包，接收反馈数据，并把反馈数据传到日志群集组件；还用于定时从第三方数据组件获取第三方平台数据，并把第三方平台数据传到日志群集组件；

优选的：所述网络探测组件用第三方平台数据来补充所述反馈数据；所述补充，具体为：当反馈数据空缺时，用第三方平台数据填充所述空缺的反馈数据；当反馈数据和第三方平台数据矛盾时，确定可信数据并采用可信数据；

所述确定可信数据，具体为：将不矛盾的所有反馈数据和第三方平台数据均视为可信的，并基于可信数据进行所述矛盾数据(也就是矛盾的反馈数据和第三方平台数据)的预测，选择和预测结果最相似的矛盾数据作为可信数据；预测方法可以采用数据点拟合等方式；

第三方数据组件用于从第三方平台抓取网络数据，并向网络探测组件提供数据；通常第三方平台为得到认可的第三方评测平台，通过从第三方平台直接抓取数据能够进行自身反馈数据的有效补充；

优选的：所述网络探测组件直接将第三方平台数据发送给日志群集组件；

日志群集组件用于接收网络探测组件的反馈数据，并基于所述反馈数据进行智能数据分析；

优选的：当网络探测组件直接将第三方平台数据发送给日志群集组件时，日志群集组件将所述第三方平台数据和所述反馈数据进行基于可信方的聚类融合；

所述基于可信方的聚类融合，具体为：评估第三方平台数据和反馈数据的可信度，基于可信度确定可信度高一方为可信方，另一方为不可信方；基于所述可信方的数据进行数据聚类，获取聚类中心；当可信方的数据出现缺失时，计算不可信方对应的数据和聚类中心的距离，当所述距离小于预设距离时，采用所述不可信方对应的数据对所述可信方的缺失数据进行填充；所述不可信方对应的数据是基于时间、空间参数对应的数据；

优选的：所述预设距离为预设值；

优选的：根据数据量来确定可信度，数据缺失量少的可信度高，反之亦然；还可以基于历史数据可信程度来确定可信度，历史数据可信程度高的一方可信度高，反之亦然；

所述智能数据分析；具体为：采用大数据智能分析方法进行数据分析，从分析需求文件中获取分析参数，并基于所述分析参数对数据进行聚类，基于聚类结果进行数据分析；分析需求文件中的分析参数为用户期待的分析角度，例如：从时间角度分析、从地域角度分析等；

终端组件用于从日志群集组件中获取反馈数据和智能数据分析结果，基于所述反馈数据和智能数据分析结果通过地图显示全国网络质量实时状态，并进行网络质量的预警；

请参阅图2，向节点组件发出网络探测包，接收反馈数据，具体包括如下步骤：

S101，网络探测组件向节点组件下发反馈任务；

优选的：所述反馈任务单次任务或者定时任务；

S102，节点组件接受反馈任务，获取基站、路由器、游戏服务器等信息。

S103，如果节点组件网络为移动网络，则节点组件获取基站信号、基站网络延时等信息；

S104，如果节点组件网络为wifi网络，节点组件获取路由器延时等信息。

S105，节点组件获取游戏服务器网络质量信息；

请参阅图3，是本发明节点监控组件的监控示意图；

S201，节点组件，定时向节点监控组件主动报告自身状态。

优选的：所述节点组件为分布式组件，分布在全国各地；

S202，节点监控组件维护节点组件、备用节点信息；还对接收到的节点组件的状态做判断；

S203，如果节点组件状态为不健康状态，该节点组件将被剔除并启用备用节点，备用节点作为节点组件仍然需要定时向节点监控组件主动报告自身状态，重新回到S201步骤；

S204，如果节点状态为健康状态，节点监控组件将标记这些健康节点，并向网络探测组件返回健康节点信息；

请参阅图4，是网络数据收集示意图。

S301，节点组件接收到网络检测请求后，向网络探测组件返回自身网络数据；

S302，第三方网络监测平台通过爬虫定时获取第三方网络数据并发往网络探测组件；

S303，网络探测组件收到网络数据后，进行数据智能分析后，将智能分析的结果发往日志存储群集进行持久化存储；

请参阅图5，是本发明终端组件进行异常预警的示意图；

S401，日志群集组件保存历史网络数据，同时也从网络探测组件接收实时数据；

S402，终端组件从日志集群组件获取实时网络数据。

S403，终端组件对实时数据进行判断以发现数据异常；

S404，如果数据正常，则无动作或从异常状态恢复到正常状态；

S405，如果数据异常，则触发警报动作；

以上所述仅是本发明的较佳实施方式，故凡依本发明专利申请范围所述的构造、特征及原理所做的等效变化或修饰，均包括于本发明专利申请范围内。

Claims (10)

1.一种基于大数据的网络状态实时监控警报系统，其特征在于，所述系统包含：节点组件、节点状态监控组件、网络探测组件、第三方数据组件、日志群集组件；

节点组件为网络上的数据接收和发送节点；

节点状态监控组件用于对一个或者多个节点组件及其备用节点进行监控和维护；

网络探测组件用于向节点组件发出网络探测包，接收反馈数据，并把反馈数据传到日志群集组件；

第三方数据组件用于从第三方平台抓取网络数据，并向网络探测组件提供数据；

日志群集组件用于接收网络探测组件的反馈数据，并基于所述反馈数据进行智能数据分析。

2.根据权利要求1所述的基于大数据的网络状态实时监控警报系统，其特征在于，节点状态监控组件维护备用节点，同时监控节点组件的响应状态，如果节点组件无响应或者响应质量差，将用备用节点替换。

3.根据权利要求2所述的基于大数据的网络状态实时监控警报系统，其特征在于，所述监控节点组件的响应状态，具体为：所述监控节点定期的给节点组件发送轻数据包，并接收来自节点组件的响应；所述轻数据包为不包含数据内容而只包含数据包类型的数据包。

4.根据权利要求3所述的基于大数据的网络状态实时监控警报系统，其特征在于，所述节点状态监控组件中保存节点组件及其备用节点之间的对应关系表；每个节点组件对应一个或多个备用节点；对应的多个备用节点按照优先级从大到小排列；在进行备用节点替换时，获取备用节点的优先级，选择优先级最大的备用节点进行替换。

5.根据权利要求4所述的基于大数据的网络状态实时监控警报系统，其特征在于，所述获取备用节点的优先级，具体为：获取待替换的节点组件的所有直接通信节点集合{Ni}；获取备用节点到所述每个直接通信节点的通信时间Ti；Ti为备用节点到第i个直接通信节点的通信时间；基于所述通信时间计算优先级，使得通信时间越短的备用节点的备用优先级越高。

6.根据权利要求5所述的基于大数据的网络状态实时监控警报系统，其特征在于，可替换的，所述获取备用节点的优先级，具体为：获取待替换的节点组件的所有直接通信节点集合{Ni}；获取所有直接通信节点在最近的第一时间间隔内的通信次数{TSi}；选择通信次数超过次数阈值的频繁直接通信节点集合{FNi}，获取备用节点到所述每个频繁直接通信节点的通信时间FTi；FTi为备用节点到第i个直接通信节点的通信时间；基于所述通信时间FTi之和计算优先级，使得通信时间之和越小的备用节点的优先级越高。

7.根据权利要求6所述的基于大数据的网络状态实时监控警报系统，其特征在于，所述网络探测组件用第三方平台数据来补充所述反馈数据；所述补充，具体为：当反馈数据空缺时，用第三方平台数据填充所述空缺的反馈数据；当反馈数据和第三方平台数据矛盾时，确定可信数据并采用可信数据。

8.根据权利要求7所述的基于大数据的网络状态实时监控警报系统，其特征在于，所述确定可信数据，具体为：将不矛盾的所有反馈数据和第三方平台数据均视为可信的，并基于可信数据进行所述矛盾数据的预测，选择和预测结果最相似的矛盾数据作为可信数据。

9.根据权利要求8所述的基于大数据的网络状态实时监控警报系统，其特征在于，通过从第三方平台直接抓取数据能够进行自身反馈数据的有效补充。

10.根据权利要求9所述的基于大数据的网络状态实时监控警报系统，其特征在于，所述系统还包括终端组件，终端组件用于从日志群集组件中获取反馈数据和智能数据分析结果，基于所述反馈数据和智能数据分析结果通过地图显示全国网络质量实时状态，并进行网络质量的预警。