CN114143171A - 一种基于tr069协议的告警根源定位方法及系统 - Google Patents

Abstract

本发明公开了一种基于TR069协议的告警根源定位方法，包括如下步骤：对支持TR069协议的网络设备及服务器硬件资源分配过的IP地址为查询条件；日志关联集合放入关联标识Associated ID，从而完成从CPE到关联服务及应用的全生命周期的根源数据集合；当监测模块的监测信息有故障发生时，访问关联分析数据库获取包括日志关联集合的Associated ID，分析Associated ID每一段通过符号间隔的数值所映射的指标含义，与配置文件中Inform的监测指标综合分析，获取分析结果；将分析结果进行分类，快速定位告警根源。本发明精准的提取了告警根源定位相关数据，从而避免了配置文件过大，数据全部读取分析造成的告警根源定位时间过长的影响，提高了告警根源定位的发现效率，大大缩短了故障排查及恢复时间。

Description

一种基于TR069协议的告警根源定位方法及系统

技术领域

本发明的一种基于TR069协议的告警根源定位的方法及系统属于告警根源定位领域。

背景技术

随着数字化发展的逐渐深入，各单位的在运设备逐渐增加，相较于十年前设备增长10～100倍，即便运维已经在从手工运维向工具运维和平台运维发展，但仍然没有实现智能运维即AIOps。在运维领域最重要的核心即故障报警。运维场景下对线上故障排查的时间要求非常严苛，核心业务要求在分钟级能找到问题的原因，而应用数目和服务器数目又非常庞大，以某大型机房为例，单个应用的实例数就有上千之多，应用的数量也是有几千个。海量IPv6地址也给当下机房运维环境增加了更多的运维压力和技术问题。如此大的规模下，靠人工经验、自动化运维去排查问题很难达到时效性要求，所以引入了更智能化的方法来进行根源告警定位，快速找到告警根源，大大缩短了故障排查及恢复时间。同时，软件系统正变得越来越大和复杂，它们通常包含部署在数千台甚至数十万台服务器上的数百项服务，并支持大量的并发用户。大型软件系统面临的一个特别挑战是异常诊断。也就是说，当问题发生时，如何快速诊断问题，以及管理员如何快速识别根本原因。日志是问题诊断的常见信息来源。然而，在今天的大规模系统中，日志可能是非常大的。例如，在一些提供全球服务的大型系统中，每日日志数据的量可以达到数十tB(TBs)。微软的在线服务系统甚至每天生成超过1pbe(PB)的日志。日志不需要检测系统运行时，更改应用程序代码，或利用更高级的监控技术的优势以及直观反映服务的执行情况的特点。文献1(CN202010467262)。1.一种故障根源定位方法、系统、装置及存储介质，所述故障根源定位方法包括：获取告警信息，根据所述告警信息确定故障场景；根据所述故障场景匹配对应的定位方法；获取与所述故障场景对应的分析码，根据所述定位方法分析所述分析码获取直接根源对象；根据所述直接根源对象获取最终根源对象。采用本公开提供的技术方案可以自动计算故障原因，实现快速故障定位，帮助运维人员迅速完成根因排查和故障处置。同时无需人工参与，在减少人力成本的同时提高了准确率。文献2(CN201980002870)。1.用于在包括多个架构的数据中心中生成架构范围的IPv6地址的计算设备和方法。配置文件存储在计算设备的存储器中。配置文件包括互联网协议版本6(IPv6)基本前缀和架构标识符。计算设备的处理单元确定主机标识符。处理单元通过组合存储在配置文件中的IPv6基本前缀和存储在配置文件中的架构标识符来生成IPv6前缀。处理单元通过组合IPv6前缀和主机标识符来生成IPv6地址。处理单元还通告所生成的IPv6地址。与文献1和文献2相比，与本发明保护点不一致，本发明由于分析结果以AssociateID各段数值为提取条件，访问配置文件中对应的监测数据，精准的提取了告警根源定位相关数据，从而避免了配置文件过大，数据全部读取分析造成的告警根源定位时间过长的影响，提高了告警根源定位的发现效率，大大缩短了故障排查及恢复时间。

发明内容

本发明针对机房运维场景下业务规模大，应用关系复杂，依赖层次多，排查问题困难的问题，海量IPv6地址资源监测资源消耗巨大的实际情况，提供一种基于TR069协议的告警根源定位的方法及系统。

为实现上述目的，本发明采用以下技术方案：

一种基于TR069协议的告警根源定位方法，包括如下步骤：

步骤一、对支持TR069协议的网络设备及服务器硬件资源分配过的IP地址为查询条件与基础数据库、网络拓扑关系数据库、IPv4和IPv6地址关系库、历史告警数据库的数据关联关系分析结果抽象为关联标识AssociatedID预置到关联分析数据库；

步骤二、网管服务器ACS与用户终端设备CPE之间通过TR069协议中的RPC方法进行互操作，ACS向目标监测网络设备发送符合TR069协议RPC格式的请求报文的配置文件；

步骤三、将被监测的服务器、数据库、中间件等对象自带的日志数据定时向与服务器关联的日志服务器发送，日志服务器将收到的日志数据分为两层分析；

第一层，通过日志服务应用数据库中被监测的数据库、中间件、服务器等对象的基础监控指标的关联关系来挖掘生成应用服务标识，应用服务标识记录了不同的服务器之间三类指标之间的关系，服务器的基础监控指标包括服务器CPU、内存、磁盘、进程；

第二层，从每个服务的日志中挖掘一个基于第一层应用服务标识的数据集合，称为日志关联集合，记录不同时间维度，服务器与数据库、中间件、服务器CPU、内存、磁盘、进程之间的监测数据及运行健康状况；

步骤四：日志关联集合放入关联标识AssociatedID，从而完成从CPE到关联服务及应用的全生命周期的根源数据集合；

步骤五、当监测模块的监测信息有故障发生时，通过配置文件里Inform部分存放的IP地址为查询条件，访问关联分析数据库获取步骤四中包括日志关联集合的AssociatedID，分析AssociatedID每一段通过符号间隔的数值所映射的指标含义，与配置文件中Inform的监测指标综合分析，获取分析结果；

步骤六、将分析结果进行分类，快速定位告警根源。

进一步地，步骤三中，IP地址存放于配置文件里Inform部分的ParameterValueStruct包含的ExternalIPAddress标签中，监测指标放置于inform部分。

进一步地，符合TR069协议的RPC格式的配置文件中存储监测巡检时间、监测策略、监测指标信息。

进一步地，监测巡检时间为请求用户终端设备CPE每次测试的时间单位秒，取值范围为1秒～4294967秒，所述监测策略包括告警阈值，所述监测指标包括CPE中的CPU内存占用率，网络丢包及网络延迟。

进一步地，关联标识包括7个字符串，第一字符串匹配基础数据库，第二字符串含义匹配网络拓扑关系数据库，第三字符串匹配IPv4和IPv6地址关系库，第四字符串匹配历史告警数据库，第五个字符匹配数据库，第六个字符串匹配中间件，第七个字符串匹配被监测服务器，用###间隔多个数据库或服务器，每个字符串中的多个字符用@符号间隔。

进一步地，将监测指标信息里的IP为查询条件获取数据库查询结果与监测指标的关联关系抽象为关联标识

关联标识第一字符串中第一个字符表示有无关联设备，第二个字符表示上下架状态，第三个字符表示有无所属部门；

关联标识第二字符串中第一个字符表示IPv6地址是否有对应的应用层设备，第二个字符表示IPv6地址是否有对应的物理层设备，第三个字符表示IPv6地址是否有对应的网络层设备；

关联标识第三字符串中的字符表示IPv6地址是否有对应的IPv4地址；

关联标识第四字符串中的第一个字符表示IPv6地址是否曾经发生故障，第二个字符表示IPv6地址是否曾经故障内容出现过，第三个字符表示IPv6地址是否曾经故障发生位置有变化；

关联标识第五字符串中的字符表示数据库连接数用户连接数指标；

关联标识第六字符串中的字符表示中间件存活状态指标；

关联标识第七字符串中的第一个字符表示被监测服务器CPU占用率，第二个字符表示内存占用率，第三个字符表示磁盘占用率，第四个字符表示进程占用率指标。

一种基于TR069协议的告警根源定位系统，该系统包括数据库模块、监测模块；数据库模块包括：基础数据库、网络拓扑关系数据库、IPv4和IPv6地址关系库、历史告警数据库及关联分析数据库；监测模块包括监测配置文件和采集信息；基础数据库存储IPv6地址相关的关联设备、所在机房、机柜、所述部门信息，网络拓扑关系数据库存储IPv6地址相关的所在应用层、物理层、网络层的信息，IPv4和IPv6地址关系库存储IPv6地址对应的IPv4地址，历史告警数据库：存储IPv6地址相关的曾经发生故障的等级、内容、发生时间、持续时间、所在位置等故障信息；关联标识包括4个字符串，分别对应匹配基础数据库、网络拓扑关系数据库、IPv4和IPv6地址关系库、历史告警数据库；关联标识放入关联分析数据库或作为监测配置项，被监测服务器、数据库、中间件自带的日志数据定时向与服务器关联的日志服务器发送日志数据，当检测到告警发生时，调用监测配置项里的包括日志关联集合的AssociatedID,分析关联标识各段数值获取分析结果。

有益效果：本发明的创造性的将支持TR069协议的网络设备及服务器等硬件资源分配过的IP地址为查询条件与基础数据库、网络拓扑关系数据库、IPv4和IPv6地址关系库、历史告警数据库的数据关联关系分析结果抽象为AssociatedID预置到关联分析数据库。同时利用ACS与CPE之间通过TR069协议特有的RPC方法进行互操作的特点。ACS向目标监测网络设备发送符合TR069协议RPC格式的请求报文的配置文件，包含请求获取目标(CPE)每次测试的时间单位：秒、告警阈值、监测指标等信息，完成秒级监测设置。

日志服务器为了防止在一些提供全球服务的大型系统中，每日日志数据的量可能达到数十tB(TBs)的情况。将收到的数据分为二层分析。

第一层，我们利用日志服务应用数据库中(数据库、中间件、服务器基础监控指标)的关联关系来挖掘生成[应用服务标识]。应用服务标识记录了不同的服务器之间，(数据库类、中间件类、服务器基础监控指标包括：服务器CPU、内存、磁盘、进程)三类指标之间的关系。

第二层，我们从每个服务的日志中挖掘一个基于第一层应用服务标识的数据集合，称为日志关联集合。这些标识记录了不同时间维度，服务器与数据库、中间件、服务器与CPU、内存、磁盘、进程之间的监测数据及运行健康状况。

监测模块的监测信息有故障发生时，通过配置文件里Inform部分的ParameterValueStruct包含的ExternalIPAddress标签存放的IP地址为查询条件，访问关联分析数据库获取Associated ID，分析AssociatedID每一段@符号间隔的数值映射的指标含义，与配置文件中Inform的监测指标综合分析，获取分析结果。由于分析结果以AssociateID各段数值为提取条件，访问配置文件中对应的监测数据，精准的提取了告警根源定位相关数据，从而避免了配置文件过大，数据全部读取分析造成的告警根源定位时间过长的影响，提高了告警根源定位的发现效率，大大缩短了故障排查及恢复时间。

附图说明

图1为一种基于TR069协议的告警根源定位的方法流程图；

图2为关联标识的生成过程整体流程图；

图3为关联标识的结构组成。

具体实施方式

现在结合附图对本发明作进一步详细的说明。

本发明的一种基于TR069协议的告警根源定位的方法，TR069，全称“TechnicalReport069”是由DSLForum(一个非盈利性的全球行业联盟,致力于发展宽带网络范，其成员包括通讯、设备、计算机、网络和服务提供商等行业的领先厂商，现已更名为“BroadbandForum”)修订一份技术规范，该规范是应用层的管理协议，命名为“CPE广域网管理协议(CPEWAN ManagementProtocol)”。TR069定义了一套全新的网管体系结构，包括管理模型，交互接口及基本的管理参数，能够有效地实施对家庭网络设备的管理。TR-069中，网管服务器被称为ACS(AutoConfigurationServer自动配置服务器)有专门的IP地址和URL；被管理设备通过DHCP服务器获取ACS的URL，被管理设备获得网管IP后，就开始根据ACS的URL建立HTTP会话。建立会话后需要进行初始化，其目的是进行身份验证，ACS要确保被管理设备的合法性。初始化完成后，网管服务器就可以向CPE获取各种监控信息。优点一：在被管理设备上不需要配置SNMP功能，被管理设备如果超过3000台或者更多，将节省大量被监测设备的配置时间。优点二：TR069采集信息之所以快，是因为采用HTTP协议，本身可以传递结构化的数据信息。因此，一次采集所有所需信息，一次全部返回，而SNMP本身不能传递消息是逐条采集，逐一返回。重传数据库存储ACS与CPE之间网络异常时的异常网络流量，采集时间。

本发明的一种基于TR069协议的告警根源定位的方法，包括如下步骤：

步骤一、首先，对支持TR069协议的网络设备及服务器等硬件资源分配过的IP地址为查询条件与与基础数据库、网络拓扑关系数据库、IPv4和IPv6地址关系库、历史告警数据库的数据关联关系分析结果抽象为AssociatedID预置到关联分析数据库。符合TR069协议的RPC格式的配置文件主要存储监测巡检时间、监测策略、监测指标等信息。

步骤二、其次，利用ACS与CPE之间通过TR069协议特有的RPC方法进行互操作的特点。ACS向目标监测网络设备发送符合TR069协议RPC格式的请求报文的配置文件，包含请求获取目标(CPE)每次测试的时间单位：秒、告警阈值、监测指标等信息，完成秒级监测设置。

步骤三、将被监测的服务器、数据库、中间件等对象自带的日志数据定时向与服务器关联的日志服务器发送，日志服务器将收到的日志数据分为两层分析；

第一层，通过日志服务应用数据库中被监测的数据库、中间件、服务器等对象的基础监控指标的关联关系来挖掘生成应用服务标识，应用服务标识记录了不同的服务器之间三类指标之间的关系，服务器的基础监控指标包括服务器CPU、内存、磁盘、进程；

第二层，从每个服务的日志中挖掘一个基于第一层应用服务标识的数据集合，称为日志关联集合，记录不同时间维度，服务器与数据库、中间件、服务器CPU、内存、磁盘、进程之间的监测数据及运行健康状况；

步骤四：日志关联集合放入关联标识AssociatedID，从而完成从CPE到关联服务及应用的全生命周期的根源数据集合；

步骤五、当监测模块的监测信息有故障发生时，通过配置文件里Inform部分存放的IP地址为查询条件，访问关联分析数据库获取步骤四中包括日志关联集合的AssociatedID，分析AssociatedID每一段通过符号间隔的数值所映射的指标含义，与配置文件中Inform的监测指标综合分析，获取分析结果；

步骤六、将分析结果进行分类，快速定位告警根源。

当监测模块的监测信息有故障发生时，通过配置文件里Inform部分的ParameterValueStruct包含的ExternalIPAddress标签存放的IP地址为查询条件，访问关联分析数据库获取AssociatedID，分析AssociatedID每一段@符号间隔的数值映射的指标含义，与配置文件中Inform的监测指标综合分析，获取分析结果。由于分析结果以AssociateID各段数值为提取条件，访问配置文件中对应的监测数据，精准的提取了告警根源定位相关数据，从而避免了符合TR069协议的RPC格式的配置文件数据全部读取分析造成的告警根源定位时间上的影响，减少了告警发生时，告警信息直接与数据库交互产生大量无关联必要关系的数据分析与计算时间。提高了告警根源定位的发现效率，大大缩短了故障排查及恢复时间。

日志不需要检测系统运行时、更改应用程序代码，或利用更高级的监控技术的优势以及直观反映服务的执行情况的特点。

关联标识第一字符串含义：匹配基础数据库，多个标识用@符号间隔，###间隔多个数据库

1、关联设备：0表示无关联设备、1表示有关联设备；

2、上下架状态：0表示上架设备、1表示未上架设备；

3、所属部门：0表示无所属部门、1表示有所属部门；

标识格式1：0或1@0或1@0或1。

关联标识第二字符串含义：匹配网络拓扑关系数据库，多个标识用@符号间隔，###间隔多个数据库

1、IPv6地址是否有对应的应用层设备：0表示无、1表示有；

2、IPv6地址是否有对应的物理层设备：0表示无、1表示有；

3、IPv6地址是否有对应的网络层设备：0表示无、1表示有；

标识格式2：0或1@0或1@0或1。

关联标识第三字符串含义：匹配IPv4和IPv6地址关系库，多个标识用@符号间隔，###间隔多个数据库

1、IPv6地址是否有对应的IPv4地址：0表示无、1表示有；

标识格式3：0或1；

关联标识第四字符串含义：匹配历史告警数据库，多个标识用@符号间隔，###间隔多个数据库；

1、IPv6地址是否曾经发生故障：0表示无、1表示有；

2、IPv6地址是否曾经故障内容出现过：0表示无、1表示有；

3、IPv6地址是否曾经故障发生位置有变化：0表示无、1表示有；

4、标识格式4：0或1@0或1@0或1。

5、关联标识5：IPv6地址关联的数据库服务的数据库用户连接数指标；0表示无、N表示有N个。

6、关联标识6：IPv6地址关联的中间件(软件)存活状态指标；0表示存活、1表示不存活

7、关联标识7：IPv6地址关联的服务器CPU的占用率，第二个字符表示内存占用率，第三个字符表示磁盘占用率，第四个字符表示进程占用率指标；0或N1@0或N2@0或N3@0或N4，N1～N4的取值范围均为0～100。

需要注意的是，发明中所引用的如“上”、“下”、“左”、“右”、“前”、“后”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。

以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (7)

1.一种基于TR069协议的告警根源定位方法，其特征在于，包括如下步骤：

步骤一、对支持TR069协议的网络设备及服务器硬件资源分配过的IP地址为查询条件与基础数据库、网络拓扑关系数据库、IPv4和IPv6地址关系库、历史告警数据库的数据关联关系分析结果抽象为关联标识Associated ID预置到关联分析数据库；

步骤二、网管服务器ACS与用户终端设备CPE之间通过TR069协议中的RPC方法进行互操作，ACS向目标监测网络设备发送符合TR069协议RPC格式的请求报文的配置文件；

步骤三、将被监测的服务器、数据库、中间件等对象自带的日志数据定时向与服务器关联的日志服务器发送，日志服务器将收到的日志数据分为两层分析；

第一层，通过日志服务应用数据库中被监测的数据库、中间件、服务器等对象的基础监控指标的关联关系来挖掘生成应用服务标识，应用服务标识记录了不同的服务器之间三类指标之间的关系，服务器的基础监控指标包括服务器CPU、内存、磁盘、进程；

第二层，从每个服务的日志中挖掘一个基于第一层应用服务标识的数据集合，称为日志关联集合，记录不同时间维度，服务器与数据库、中间件、服务器CPU、内存、磁盘、进程之间的监测数据及运行健康状况；

步骤四：日志关联集合放入关联标识Associated ID，从而完成从CPE到关联服务及应用的全生命周期的根源数据集合；

步骤五、当监测模块的监测信息有故障发生时，通过配置文件里Inform部分存放的IP地址为查询条件，访问关联分析数据库获取步骤四中包括日志关联集合的Associated ID，分析AssociatedID每一段通过符号间隔的数值所映射的指标含义，与配置文件中Inform的监测指标综合分析，获取分析结果；

步骤六、将分析结果进行分类，快速定位告警根源。

2.根据权利要求1所述的一种基于TR069协议的告警根源定位方法，其特征在于，步骤三中，IP地址存放于配置文件里Inform部分的ParameterValueStruct包含的ExternalIPAddress标签中，监测指标放置于inform部分。

3.一种根据权利要求1所述的基于TR069协议的告警根源定位方法，其特征在于，符合TR069协议的RPC格式的配置文件中存储监测巡检时间、监测策略、监测指标信息。

4.一种根据权利要求2所述的基于TR069协议的告警根源定位方法，其特征在于，监测巡检时间为请求用户终端设备CPE每次测试的时间单位秒，取值范围为1秒～4294967秒，所述监测策略包括告警阈值，所述监测指标包括CPE中的CPU内存占用率，网络丢包及网络延迟。

5.一种根据权利要求1所述的基于TR069协议的告警根源定位方法，其特征在于，关联标识包括7个字符串，第一字符串匹配基础数据库，第二字符串含义匹配网络拓扑关系数据库，第三字符串匹配IPv4和IPv6地址关系库，第四字符串匹配历史告警数据库，第五个字符匹配数据库，第六个字符串匹配中间件，第七个字符串匹配被监测服务器，用###间隔多个数据库或服务器，每个字符串中的多个字符用@符号间隔。

6.一种根据权利要求1所述的基于TR069协议的告警根源定位方法，其特征在于，将监测指标信息里的IP为查询条件获取数据库查询结果与监测指标的关联关系抽象为关联标识

关联标识第一字符串中第一个字符表示有无关联设备，第二个字符表示上下架状态，第三个字符表示有无所属部门；

关联标识第二字符串中第一个字符表示IPv6地址是否有对应的应用层设备，第二个字符表示IPv6地址是否有对应的物理层设备，第三个字符表示IPv6地址是否有对应的网络层设备；

关联标识第三字符串中的字符表示IPv6地址是否有对应的IPv4地址；

关联标识第四字符串中的第一个字符表示IPv6地址是否曾经发生故障，第二个字符表示IPv6地址是否曾经故障内容出现过，第三个字符表示IPv6地址是否曾经故障发生位置有变化；

关联标识第五字符串中的字符表示数据库连接数用户连接数指标；

关联标识第六字符串中的字符表示中间件存活状态指标；

关联标识第七字符串中的第一个字符表示被监测服务器CPU占用率，第二个字符表示内存占用率，第三个字符表示磁盘占用率，第四个字符表示进程占用率指标。

7.一种基于TR069协议的告警根源定位系统，其特征在于，该系统包括数据库模块、监测模块；数据库模块包括：基础数据库、网络拓扑关系数据库、IPv4和IPv6地址关系库、历史告警数据库及关联分析数据库；监测模块包括监测配置文件和采集信息；基础数据库存储IPv6地址相关的关联设备、所在机房、机柜、所述部门信息，网络拓扑关系数据库存储IPv6地址相关的所在应用层、物理层、网络层的信息，IPv4和IPv6地址关系库存储IPv6地址对应的IPv4地址，历史告警数据库：存储IPv6地址相关的曾经发生故障的等级、内容、发生时间、持续时间、所在位置等故障信息；关联标识包括4个字符串，分别对应匹配基础数据库、网络拓扑关系数据库、IPv4和IPv6地址关系库、历史告警数据库；关联标识放入关联分析数据库或作为监测配置项，被监测服务器、数据库、中间件自带的日志数据定时向与服务器关联的日志服务器发送日志数据，当检测到告警发生时，调用监测配置项里的包括日志关联集合的Associated ID,分析关联标识各段数值获取分析结果。

Images