CN114338103B - 一种基于tr069协议结合日志分析的异常流量处方法及系统 - Google Patents

Abstract

本发明公开了一种基于TR069协议结合日志分析的异常流量处方法及系统，方法步骤一、基于TR069协议对服务器和网络设备进行通讯认证，若通讯认证成功，则进入步骤二；步骤二、通过ACS监测CPE端口流量，当发生异常流量时，定位异常流量并屏蔽对应的报文流量；步骤三、对所屏蔽的报文流量进行日志分析，判断是否为异常报文，若是，则进行异常标识，否则正常下发流量。本发明解决了现有组网当中异常流量发生时分析及过滤缺乏时效性、灵活性、准确率不高的复杂问题。

Description

一种基于TR069协议结合日志分析的异常流量处方法及系统

技术领域

本发明属于网络异常分析技术领域，具体涉及一种基于TR069协议结合日志分析的异常流量处方法及系统。

背景技术

随着数字化组网技术的发展与应用，组网的在运设备逐渐增加，相较于十年前设备增长了10～100倍，即便运维已经在从手工运维向工具运维和平台运维发展，但仍然无法满足当前超大型组网、服务器、应用对运维监测要求。

同时，软件系统正变得越来越大和复杂，其通常包含部署在数千台甚至数十万台服务器上的数百项服务，并支持大量的并发用户。大型软件系统面临的一个特别挑战是异常诊断。也就是说，当问题发生时，如何快速诊断问题，以及管理员如何快速识别根本原因。

日志是问题诊断的常见信息来源。然而，在大规模系统中，日志可能是数量非常庞大。例如，在一些提供全球服务的大型系统中，每日日志数据的量可以达到数十tB(TBs)。微软的在线服务系统甚至每天生成超过1pbe(PB)的日志。如此大的规模下，靠人工经验、自动化运维去监测网络设备就成为了制约运维工作的技术瓶颈。

现有技术很难达到在组网中，突发异常流量对网络设备、服务器、应用流量起的各种问题，从而造成无法快速了解组网流量异常的综合情况。

发明内容

本发明所要解决的技术问题是针对上述现有技术的不足，提供一种基于TR069协议结合日志分析的异常流量处方法及系统，解决了现有组网当中异常流量发生时分析及过滤缺乏时效性、灵活性、准确率不高的复杂问题。

为实现上述技术目的，本发明采取的技术方案为：

种基于TR069协议结合日志分析的异常流量处方法，包括：

步骤一、基于TR069协议对服务器和网络设备进行通讯认证，若通讯认证成功，则进入步骤二；

步骤二、通过ACS监测CPE端口流量，当发生异常流量时，定位异常流量并屏蔽对应的报文流量；

步骤三、对所屏蔽的报文流量进行日志分析，判断是否为异常报文，若是，则进行异常标识，否则正常下发流量。

为优化上述技术方案，采取的具体措施还包括：

上述的步骤一具体为：

基于TR069协议对支持TR069协议的网络设备进行管理和监控；

TR069协议中的网管服务器ACS对CPE进行通讯认证配置，如果通讯认证成功，进入步骤二。

上述的步骤二具体包括：

步骤21：ACS向目标CPE端口发送符合TR069协议RPC格式的请求报文；

步骤22：CPE解析请求报文后将采集的流量数据放入请求报文再次向ACS发送请求报文；

步骤23：ACS解析请求报文获取流量数据；

步骤24：当ACS收到请求报文中流量大于请求报文中流量阈值则表示发生异常流量，进行异常告警；

步骤25：通过执行部署在ACS的流量分析程序对CPE收到的请求报文进行流量拆分获取五元组信息，并通过五元组信息中的源地址定位异常流量并暂时禁止该流量下发。

上述的步骤21所述请求报文包含请求获取目标CPE每次测试的流量数据和设置的流量阈值；

上述的步骤25所述流量分析程序为python程序，根据目的端口使用sniff()函数进行有目的性的报文嗅探抓包filter进行过滤报文，具体的：对调度过来的网络流量进行数据嗅探抓包，针对嗅探到的报文分析出报文五元组然后加上时间戳进行分类；

所述报文五元组包括源地址、目的地址、源端口、目的端口和协议。

上述的步骤三具体包括：

步骤31：通过分流器将屏蔽的流量引入到流量分析服务器；

步骤32：通过部署在流量分析服务器的流量分析程序解析异常流量报文分析出报文五元组(源地址、目的地址、源端口、目的端口、协议)；

步骤33：执行日志分析程序计算得出日志分析结果并存入日志数据库；

步骤34：以五元组的协议和源地址为查询条件，从日志数据库查询日志分析程序的分析结果：

如果查询结果大于0，则判定本次报文为异常报文，状态标识status设置为1；

反之判定为非异常报文，无异常流量，状态标识status设置为0，将本次流量通过流量分析服务器路由表发送给CPE进行流量正常下发。

上述的步骤33所述日志分析程序，通过部署在本地日志服务器程序执行linux系统自带tail命令，结合参数–f，查阅正在改变的日志文件。

所述日志分析程序采集组网内本地和异地各个网络节点管理的服务器上系统自带的Error log文件的日志，获取相关服务的告警日志数据；

将日志数据按网络协议分类作为第一个参数值，IP设置为第二个参数值，服务对象设置为第三个参数值，并提取错误特征关键字并将其作为第四个参数值；

通过特殊符号#间隔参数，并通过@符号分割同一个参数下的多个数值，将各参数值连接成一个字符串存储到日志数据库。

基于TR069协议结合日志分析的异常流量处系统，包括：

设备验证模块，用于基于TR069协议对服务器和网络设备进行通讯认证，若通讯认证成功，则进入流量采集及屏蔽模块；

流量采集及屏蔽模块，用于通过ACS监测CPE端口流量，当发生异常流量时，定位异常流量并屏蔽对应的报文流量；

日志分析及流量下发模块，用于对所屏蔽的报文流量进行日志分析，判断是否为异常报文，若是，则进行异常标识，否则正常下发流量。

本发明具有以下有益效果：

本发明引入了日志异常分析，及时效性更好的TR069协议监测，结合五元组报文分析，利用日志收集告警信息不需要更改应用程序代码，或利用更高级的监控技术的优势以及直观反映服务的执行情况的特点，综合提高了管理网络设备、线路以及相关服务应用的运维保障能力，解决了机房运维场景下业务规模大，应用关系复杂，依赖层次多，排查问题困难的问题。

附图说明

图1为本发明方法流程图。

具体实施方式

以下结合附图对本发明的实施例作进一步详细描述。

参见图1，本发明一种基于TR069协议结合日志分析的异常流量处方法，包括：

步骤一、设备验证模块，基于TR069协议对服务器和网络设备进行通讯认证，若通讯认证成功，则进入步骤二，具体为：

基于TR069协议对支持TR069协议的网络设备进行管理和监控；

TR069协议中的网管服务器ACS部署的程序主动执行，完成对CPE进行通讯认证配置的操作，如果通讯认证成功，进入步骤二。

TR-069中，网管服务器被称为ACS(Auto Configuration Server自动配置服务器)。

步骤二、流量采集及屏蔽模块，通过ACS监测CPE端口流量，当发生异常流量时，定位异常流量并屏蔽对应的报文流量，具体包括：

步骤21：通过部署在ACS上的程序，向路由器之间的监测目标CPE端口发送符合TR069协议RPC格式的请求报文；

所述请求报文包含请求获取目标CPE每次测试的流量数据和设置的流量阈值；

步骤22：CPE解析请求报文后将采集的流量数据放入请求报文再次向ACS发送请求报文；

步骤23：ACS解析请求报文获取流量数据；

步骤24：当ACS收到请求报文中流量大于请求报文中流量阈值则表示发生异常流量，进行异常告警；

步骤25：通过执行部署在ACS的流量分析程序对CPE收到的请求报文进行流量拆分获取五元组信息，并通过五元组信息中的源地址定位异常流量并暂时禁止该流量下发。

步骤25所述流量分析程序为python程序，根据目的端口使用sniff()函数进行有目的性的报文嗅探抓包filter进行过滤报文；

对调度过来的网络流量进行数据嗅探抓包，针对嗅探到的报文分析出报文五元组(源地址、目的地址、源端口、目的端口、协议)然后加上时间戳进行分类。

步骤三、日志分析及流量下发模块，对所屏蔽的报文流量进行日志分析，判断是否为异常报文，若是，则进行异常标识，否则正常下发流量，具体包括：

步骤31：通过分流器将屏蔽的流量引入到流量分析服务器；即通过将组网异常流量通过分流器复制一份到流量分析服务器。

【分流器】网络分流器是用于网络入侵检测系统(IDS)，网络探测器和分析器。具有端口镜像，分流模式，其将被监控的UTP链路(非屏蔽链路)用TAP分流设备一分为二，分流出来的数据接入采集接口，为互联网信息安全监控系统采集数据。

步骤32：通过部署在流量分析服务器的流量分析程序解析异常流量报文分析出报文五元组(源地址、目的地址、源端口、目的端口、协议)；

步骤33：执行日志分析程序计算得出日志分析结果并存入日志数据库；

步骤34：以五元组的协议和源地址2个参数为查询条件，从日志数据库查询日志分析程序的分析结果：

如果查询结果大于0，即可查询到数据时，则判定本次报文为异常报文，状态标识status设置为1；

反之判定为非异常报文，无异常流量，状态标识status设置为0，如果status设置为0则将本次流量通过流量分析服务器路由表发送给CPE进行流量正常下发。

实施例中，步骤33所述日志分析程序，通过部署在本地日志服务器程序执行linux系统自带tail命令，结合参数–f，查阅正在改变的日志文件。

所述本地日志服务器负责存储日志拓扑标识和数据采集模块，tr069监测数据采集发送的SRv6组网告警路由与其关联本地及异地目的路由之间所有途经网络节点IP集合。

所述日志分析程序采集组网内本地和异地各个网络节点管理的服务器上系统自带的Error log文件的日志，获取相关(数据库、中间件、服务器CPU、内存、磁盘、进程)等服务的告警日志数据；

将日志数据按网络协议分类作为第一个参数值，IP设置为第二个参数值，服务对象设置为第三个参数值，并提取错误特征关键字并将其作为第四个参数值；

通过特殊符号#间隔参数，并通过@符号分割同一个参数下的多个数值，将各参数值连接成一个字符串存储到日志数据库。

例如：Http#127.0.0.1#mysql#down@connection error

含义：Http协议的127.0.0.1服务器mysql数据库宕机并连接失败。

【tail-f filename】会把filename文件里的最尾部的内容显示在屏幕上，并且不断刷新，只要filename更新就可以看到最新的文件内容。

本发明的基于TR069协议结合日志分析的异常流量处系统，包括：

设备验证模块，用于基于TR069协议对服务器和网络设备进行通讯认证，若通讯认证成功，则进入流量采集及屏蔽模块；

流量采集及屏蔽模块，用于通过ACS监测CPE端口流量，当发生异常流量时，定位异常流量并屏蔽对应的报文流量；

日志分析及流量下发模块，用于对所屏蔽的报文流量进行日志分析，判断是否为异常报文，若是，则进行异常标识，否则正常下发流量。

本发明所用到的缩略语和关键术语定义或详细功能介绍如下：

【分流器】

网络分流器是用于网络入侵检测系统(IDS)，网络探测器和分析器。端口镜像，分流模式，是将被监控的UTP链路(非屏蔽链路)用TAP分流设备一分为二，分流出来的数据接入采集接口，为互联网信息安全监控系统采集数据。

作用：

1、协议转换

由于ISP采用的主流互联网数据通讯接口有40G POS、10G POS/WAN/LAN、2.5GPOS、GE等，而应用服务器通常采用的数据接收接口为GE和10GE LAN接口，所以通常大家在互联网通信接口上提到的协议转换主要是指40G POS、10G POS和2.5G POS到10GE LAN或者GE之间的转换，10GE WAN到10GE LAN、GE的双向协转。

2、数据采集、分流

多数的数据采集应用，基本都只是提取所关心的流量，丢弃不关心的流量。对于关心的流量通过五元组(源地址、目的IP、源端口、目的端口、协议)收敛的方式来提取特定IP、特定协议、特定端口的数据流量。输出时，根据特定的HASH算法，确保同源同宿、负载均衡输出。

3、特征码过滤

对于P2P流量的采集，应用系统很可能只关注其中特定的某些流量，比如：流媒体PPStream、BT、迅雷、以及http上常见的关键字GET和POST等特征码等，均可采用特征码匹配的方式进行提取和收敛。分流器支持固定位置特征码过滤、浮动特征码过滤。浮动特征码即在固定位置特征码实现的基础上指定的偏移量，适用于明确需要过滤的特征码，但不明确特征码具体位置的应用。

4、会话管理

对会话连接进行流量识别，并可灵活配置会话转发N值(N＝1～1024)。即将每条会话的前N个报文提取转发给后端的应用分析系统，丢弃N值之后的报文，为下游的应用分析平台节约了资源开销。通常在用IDS监测事件的时候，就不需要处理整条会话所有包，仅需要转提取每条会话的前N个包即可完成事件的分析和监测。

5、数据镜像、复制

分流器可实现对输出接口上数据的镜像和复制，保证了多套应用系统的数据接入。

【pyton语言】

Python本身被设计为可扩充的。并非所有的特性和功能都集成到语言核心。Python提供了丰富的API和工具，以便程序员能够轻松地使用C语言、C++、Cython来编写扩充模块。Python编译器本身也可以被集成到其它需要脚本语言的程序内。

可嵌入性：可以把Python嵌入C/C++程序，从而向程序用户提供脚本功能。

丰富的库：Python标准库确实很庞大。它可以帮助处理各种工作，包括正则表达式、文档生成、单元测试、线程、数据库、网页浏览器、CGI、FTP、电子邮件、XML、XML-RPC、HTML、WAV文件、密码系统、GUI(图形用户界面)、Tk和其他与系统有关的操作。这被称作Python的“功能齐全”理念。除了标准库以外，还有许多其他高质量的库，如wxPython、Twisted和Python图像库等等。

【pyton->scapy函数库】

Scapy是一个Python程序，使用户能够发送，嗅探和剖析并伪造网络数据包。此功能允许构建可以探测，扫描或攻击网络的工具。换句话说，Scapy是一个功能强大的交互式数据包操作程序。它能够伪造或解码大量协议的数据包，通过线路发送，捕获它们，匹配请求和回复等等。Scapy可以轻松处理大多数经典任务，如扫描，跟踪路由，探测，单元测试，攻击或网络发现。它可以取代hping，arpspoof，arp-sk，arping，p0f甚至是Nmap，tcpdump和tshark的某些部分。

【pyton->sr1模块】

Scapy是一个由Python编写的强大工具，目前很多优秀的网络扫描攻击工具都使用了这个模块。也可以在自己的程序中使用这个模块来实现对网络数据包的发送、监听和解析。这个模块相对于Nmap来说，更为底层。可以更直观的了解网络中的各类扫描攻击行为。

例如，当你去医院检查身体时，医院会给你一份关于身体各项指标的检查结果，而医生也会告诉你得了什么病或者没有任何病。那么Nmap就像是一-个医生，它会替你搞定-切，按照它的经验提供给你结果。而Scapy则像是一个体检的设备，它只会告诉你各种检查的结果，如果你自己就是-一个经验丰富的医生，显然检查的结果要比同行的建议更值得参考。

【pyton->sendp模块】

(sendp:发送二层数据包，Inter:数据包发送间隔(秒数)，loop:设置程序是否一直发送，设置该项为1.否则设置0)。

【TR069】,全称“Technical Report 069”是由DSL Forum(一个非盈利性的全球行业联盟,致力于发展宽带网络范，其成员包括通讯、设备、计算机、网络和服务提供商等行业的领先厂商，现已更名为“Broadband Forum”)修订一份技术规范，该规范是应用层的管理协议，命名为“CPE广域网管理协议(CPE WAN Management Protocol)”。

TR069定义了一套全新的网管体系结构，包括管理模型，交互接口及基本的管理参数，能够有效地实施对家庭网络设备的管理。

TR-069中，网管服务器被称为ACS(Auto Configuration Server自动配置服务器)有专门的IP地址和URL；被管理设备通过DHCP服务器获取ACS的URL，被管理设备获得网管IP后，就开始根据ACS的URL建立HTTP会话。建立会话后需要进行初始化，其目的是进行身份验证，ACS要确保被管理设备的合法性。初始化完成后，网管服务器就可以向CPE获取各种监控信息。

优点一：在被管理设备上不需要配置SNMP功能，被管理设备如果超过3000台或者更多，将节省大量被监测设备的配置时间。

优点二：TR069采集信息之所以快，是因为采用HTTP协议，本身可以传递结构化的数据信息。因此，一次采集所有所需信息，一次全部返回，而SNMP本身不能传递消息是逐条采集，逐一返回。

以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (6)

1.一种基于TR069协议结合日志分析的异常流量处方法，其特征在于，包括：

步骤一、基于TR069协议对服务器和网络设备进行通讯认证，若通讯认证成功，则进入步骤二；

步骤二、通过ACS监测CPE端口流量，当发生异常流量时，定位异常流量并屏蔽对应的报文流量；

步骤三、对所屏蔽的报文流量进行日志分析，判断是否为异常报文，若是，则进行异常标识，否则正常下发流量；

所述步骤二具体包括：

步骤21：ACS向目标CPE端口发送符合TR069协议RPC格式的请求报文；

步骤22：CPE解析请求报文后将采集的流量数据放入请求报文再次向ACS发送请求报文；

步骤23：ACS解析请求报文获取流量数据；

步骤24：当ACS收到请求报文中流量大于请求报文中流量阈值则表示发生异常流量，进行异常告警；

步骤25：通过执行部署在ACS的流量分析程序对CPE收到的请求报文进行流量拆分获取五元组信息，并通过五元组信息中的源地址定位异常流量并暂时禁止该流量下发；

所述步骤三具体包括：

步骤31：通过分流器将屏蔽的流量引入到流量分析服务器；

步骤32：通过部署在流量分析服务器的流量分析程序解析异常流量报文分析出报文五元组，包括源地址、目的地址、源端口、目的端口和协议；

步骤33：执行日志分析程序计算得出日志分析结果并存入日志数据库；

步骤34：以五元组的协议和源地址为查询条件，从日志数据库查询日志分析程序的分析结果：

如果查询结果大于0，则判定本次报文为异常报文，状态标识status设置为1；

反之判定为非异常报文，无异常流量，状态标识status设置为0，将本次流量通过流量分析服务器路由表发送给CPE进行流量正常下发。

2.根据权利要求1所述的一种基于TR069协议结合日志分析的异常流量处方法，其特征在于，所述步骤一具体为：

基于TR069协议对支持TR069协议的网络设备进行管理和监控；

TR069协议中的网管服务器ACS对CPE进行通讯认证配置，如果通讯认证成功，进入步骤二。

3.根据权利要求1所述的一种基于TR069协议结合日志分析的异常流量处方法，其特征在于，步骤21所述请求报文包含请求获取目标CPE每次测试的流量数据和设置的流量阈值。

4.根据权利要求1所述的一种基于TR069协议结合日志分析的异常流量处方法，其特征在于，步骤25所述流量分析程序为python程序，根据目的端口使用sniff()函数进行有目的性的报文嗅探抓包，具体的：对调度过来的网络流量进行报文嗅探抓包，针对嗅探到的报文分析出报文五元组然后加上时间戳进行分类；

所述报文五元组包括源地址、目的地址、源端口、目的端口和协议。

5.根据权利要求1所述的一种基于TR069协议结合日志分析的异常流量处方法，其特征在于，步骤33所述日志分析程序，通过部署在本地日志服务器程序执行linux系统自带tail命令，结合参数–f，查阅正在改变的日志文件；

所述日志分析程序采集组网内本地和异地各个网络节点管理的服务器上系统自带的Error log文件的日志，获取相关服务的告警日志数据；

将日志数据按网络协议分类作为第一个参数值，IP设置为第二个参数值，服务对象设置为第三个参数值，并提取错误特征关键字并将其作为第四个参数值；

通过特殊符号#间隔参数，并通过@符号分割同一个参数下的多个数值，将各参数值连接成一个字符串存储到日志数据库。

6.实现权利要求1-5任一所述基于TR069协议结合日志分析的异常流量处方法的基于TR069协议结合日志分析的异常流量处系统，其特征在于，包括：

设备验证模块，用于基于TR069协议对服务器和网络设备进行通讯认证，若通讯认证成功，则进入流量采集及屏蔽模块；

流量采集及屏蔽模块，用于通过ACS监测CPE端口流量，当发生异常流量时，定位异常流量并屏蔽对应的报文流量；

日志分析及流量下发模块，用于对所屏蔽的报文流量进行日志分析，判断是否为异常报文，若是，则进行异常标识，否则正常下发流量。