CN108989289B - 一种保障流量采集完整性的方法及装置 - Google Patents

一种保障流量采集完整性的方法及装置 Download PDF

Info

Publication number
CN108989289B
CN108989289B CN201810638775.XA CN201810638775A CN108989289B CN 108989289 B CN108989289 B CN 108989289B CN 201810638775 A CN201810638775 A CN 201810638775A CN 108989289 B CN108989289 B CN 108989289B
Authority
CN
China
Prior art keywords
state
port
content
flow
network access
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810638775.XA
Other languages
English (en)
Other versions
CN108989289A (zh
Inventor
林飞
易永波
王娜
古元
毛华阳
华仲峰
曾文杰
彭蔚喆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Act Technology Development Co ltd
Original Assignee
Beijing Act Technology Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Act Technology Development Co ltd filed Critical Beijing Act Technology Development Co ltd
Priority to CN201810638775.XA priority Critical patent/CN108989289B/zh
Publication of CN108989289A publication Critical patent/CN108989289A/zh
Application granted granted Critical
Publication of CN108989289B publication Critical patent/CN108989289B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/26—Special purpose or proprietary protocols or architectures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/22—Parsing or analysis of headers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

一种保障流量采集完整性的装置涉及信息技术领域，本发明由前端网络接入设备的前端网络接入设备新增组件、流量分配端口、通信端口和后端流量采集设备的后端流量采集设备新增组件、流量接收端口、上报端口组成；前端网络接入设备新增组件包括：指令模块、解析模块、调度模块；后端流量采集设备新增组件包括：硬件状态采集模块、进程状态采集模块、上报模块。实现本发明解决了以下两个问题：1、由于流量采集设备自身硬件故障引起的流量无法采集完整的问题，2、由于流量采集设备软件故障引起的流量无法采集完整的问题。使用本发明使得信息安全、网络安全等监管系统采集的流量更全了，为监管系统提供了更丰富的数据，避免了丢失数据而造成的影响。

Description

一种保障流量采集完整性的方法及装置
技术领域
本发明涉及信息技术领域，尤其是流量采集技术领域中保证流量采集完整性提高采集数据处理效率的技术领域。
背景技术
随着网络安全法的发布，国家对信息安全、网络安全越来越重视，工信部等部委制定了很多的制度、法规、标准要求各省基础运营商在网络出口部署信息安全、网络安全等监管系统，这些监管系统都需要从网络出口部署采集设备，采集现网流量。
目前行业中的监管系统由两部分组成，一部分是前端网络接入设备，一部分是后端流量采集设备，两部分设备之间是独立工作状态。前端网络接入设备完成流量接入功能，将后端流量采集设备需要的原始流量复制一份出来给后端流量采集设备。对前端网络接入设备来说，流量复制出来，不管后端设备是否正常工作，流量都是持续送到后端设备上；对后端流量采集设备来说，不管自己的系统是否正常，都不会通知前端网络接入设备。在实际工作中，由于环境因素和故障率因素，往往后端流量采集设备会出现短暂故障，以目前的工作方式，会造成信息安全、网络安全监管系统运行过程中流量不全，丢失数据现象，从而影响信息安全、网络安全等监管系统的实战效果。
针对现有技术的不足本发明提出了一种保障流量采集完整性的方法及装置，目的是为了解决安全监管系统在流量采集过程中，由于后端流量采集设备故障或者设备上程序异常导致流量采集不全的问题，从而保证影响信息安全、网络安全等监管系统的实战效果。
发明内容
本发明的一种保障流量采集完整性的装置，由前端网络接入设备的前端网络接入设备新增组件、流量分配端口、通信端口和后端流量采集设备的后端流量采集设备新增组件、流量接收端口、上报端口组成；前端网络接入设备新增组件包括：指令模块、解析模块、调度模块；后端流量采集设备新增组件包括：硬件状态采集模块、进程状态采集模块、上报模块。
本发明的工作原理：后端流量采集设备与前端网络接入设备之间建立专用通讯协议，前端网络接入设备作为服务端，后端流量采集设备作为客户端，客户端上报状态到服务端，服务端根据状态进行判断进行保障操作；服务端启动监听程序，等待客户端的连接；
解析模块作为监听程序启动，监听端口号由流量分配端口进行配置；解析模块监听后端流量采集设备的上报端口上报的信息并判断所接收的信息是否符合协议标准，符合协议标准的信息进行解析，不符合协议标准的信息丢弃，协议标准是：
DMAC共6字节内容，SMAC共6字节内容，Type共2字节内容，IP共20字节内容，UDP共8字节内容，标识符共4字节内容，消息类型共1字节内容，消息编码共1字节内容，消息序列共1字节内容，消息长度共2字节内容，机箱号共1字节内容，槽位号共1字节内容，子卡号共1字节内容，端口号共1字节内容，进程工作状态共1字节内容，硬件工作状态共1字节内容；
协议标准的解释是：
DMAC(6Byte) 目的MAC地址，
SMAC(6Byte) 源MAC地址，
Type(2Byte) 以太类型，
IP(20Byte) IP数据包包头，
UDP(8Byte) UDP头部，指定端口号与配置文件中一致，
标识符(4Byte) 固定填写0x53454d50，
消息类型(1Byte) 固定填写0x48，
消息编码(1Byte) 固定填写0x6f，
消息序列(1Byte) 随机生成0-100，
消息长度(2Byte) 0x6，
机箱号(1Byte) 前端网络接入设备所在的机箱号，
槽位号(1Byte) 前端网络接入设备的板卡槽位号，
子卡号(1Byte) 前端网络接入设备上的板卡槽上的子卡号，
端口号(1Byte) 前端网络接入设备上的板卡槽上的子卡下面的端口号，该端口号就是分流端口，
进程工作状态(1 Byte) 后端流量采集设备软件工作状态，
硬件工作状态(1 Byte) 后端流量采集设备硬件自身工作状态；
解析模块对符合协议标准的后端流量采集设备的上报端口上报的信息进行解析，并判断其中的进程工作状态和硬件工作状态，当进程工作状态和硬件工作状态有任何一项解析结果为异常状态时，解析模块通知指令模块该后端流量采集设备异常；指令模块收到该后端流量采集设备异常的信息，发送关闭该后端流量采集设备对应的前端网络接入设备的物理端口的指令给调度模块；调度模块收到关闭该后端流量采集设备对应的前端网络接入设备的物理端口的指令后关闭该后端流量采集设备对应的前端网络接入设备的物理端口；
解析模块对符合协议标准的后端流量采集设备的上报端口上报的信息进行解析，并判断其中的进程工作状态和硬件工作状态，当进程工作状态和硬件工作状态全部正常时，解析模块通知指令模块该后端流量采集设备正常；指令模块收到该后端流量采集设备正常的信息，发送启用该后端流量采集设备对应的前端网络接入设备的物理端口的指令给调度模块；调度模块收到启用该后端流量采集设备对应的前端网络接入设备的物理端口的指令后启用该后端流量采集设备对应的前端网络接入设备的物理端口。
前端网络接入设备的流量分配端口负责配置前端网络接入设备的物理端口与后端流量采集设备的流量接收端口的物理端口的对应关系；流量分配端口将配置完成的物理端口的流量复制给对应的流量接收端口的物理端口，流量复制的方式包括分光方式和镜像方式；流量分配端口配置的信息包括：监听服务端口号，前端网络接入设备机框号、前端网络接入设备板卡号、前端网络接入设备的物理端口编号、后端流量采集设备编号，后端流量采集设备的流量接收端口的物理端口编号。
前端网络接入设备的通信端口负责接收后端流量采集设备的上报端口上报的信息，并将上报的信息发送给解析模块。
后端流量采集设备的流量接收端口负责配置后端流量采集设备的流量接收端口的物理端口与前端网络接入设备的物理端口的对应关系；流量接收端口配置的信息包括：前端网络接入设备机框号、前端网络接入设备板卡号、前端网络接入设备物理端口编号、后端流量采集设备编号，后端流量采集设备的流量接收端口的物理端口编号。
后端流量采集设备的后端流量采集设备新增组件的硬件状态采集模块负责采集后端流量采集设备的硬件状态信息，硬件状态信息包括网卡状态信息、CPU状态信息、内存状态信息、硬盘状态信息；硬件状态采集模块负责配置硬件状态判定条件，硬件状态判定条件包括：网卡持续无流量时长，超过该时长定为网卡状态异常；网卡持续错数据包时长，超过该时长定为网卡状态异常；CPU利用率和CPU利用率持续时长，超过该CPU利用率和CPU利用率持续时长定为CPU状态异常；内存利用率和内存利用率持续时长，超过该内存利用率和内存利用率持续时长定为内存状态异常；硬盘利用率，超过该硬盘利用率定为硬盘异常；硬件工作状态包括硬件工作状态正常信息和硬件工作状态异常信息，硬件状态采集模块根据硬件状态判定条件实时判断后端流量采集设备的网卡状态、后端流量采集设备的CPU状态、后端流量采集设备的内存状态、后端流量采集设备的硬盘状态，当网卡状态、CPU状态、内存状态、硬盘状态中任何一种状态异常，硬件状态采集模块将硬件工作状态异常信息发送给上报模块；当网卡状态、CPU状态、内存状态、硬盘状态全部正常时，硬件状态采集模块将硬件工作状态正常信息发送给上报模块。
后端流量采集设备的后端流量采集设备新增组件的进程状态采集模块负责采集报文进程状态、工作线程状态、输出日志状态，进程工作状态包括进程工作状态正常信息和进程工作状态异常信息，当报文进程、工作线程、输出日志全部正常时，进程状态采集模块将进程工作状态正常信息发送给上报模块；当报文进程、工作线程、输出日志有任意一种异常时，进程状态采集模块将进程工作状态异常信息发送给上报模块。
上报模块将后端流量采集设备的机箱号，槽位号，子卡号，端口号，硬件工作状态，软件进程状态按照约定的协议标准发送给上报端口，上报端口通过UDP传送通道，每隔一段时间上报给前端网络接入设备的通信端口，协议标准是：
DMAC共6字节内容，SMAC共6字节内容，Type共2字节内容，IP共20字节内容，UDP共8字节内容，标识符共4字节内容，消息类型共1字节内容，消息编码共1字节内容，消息序列共1字节内容，消息长度共2字节内容，机箱号共1字节内容，槽位号共1字节内容，子卡号共1字节内容，端口号共1字节内容，进程工作状态共1字节内容，硬件工作状态共1字节内容；
协议标准的解释是：
DMAC(6Byte) 目的MAC地址，
SMAC(6Byte) 源MAC地址，
Type(2Byte) 以太类型，
IP(20Byte) IP数据包包头，
UDP(8Byte) UDP头部，指定端口号与配置文件中一致，
标识符(4Byte) 固定填写0x53454d50，
消息类型(1Byte) 固定填写0x48，
消息编码(1Byte) 固定填写0x6f，
消息序列(1Byte) 随机生成0-100，
消息长度(2Byte) 0x6，
机箱号(1Byte) 前端网络接入设备所在的机箱号，
槽位号(1Byte) 前端网络接入设备的板卡槽位号，
子卡号(1Byte) 前端网络接入设备上的板卡槽上的子卡号，
端口号(1Byte) 前端网络接入设备上的板卡槽上的子卡下面的端口号，该端口号就是分流端口，
进程工作状态(1 Byte) 后端流量采集设备软件工作状态，
硬件工作状态(1 Byte) 后端流量采集设备硬件自身工作状态。
有益效果，实现本发明解决了以下两个问题：1、由于流量采集设备自身硬件故障引起的流量无法采集完整的问题，2、由于流量采集设备软件故障引起的流量无法采集完整的问题。使用本发明使得信息安全、网络安全等监管系统采集的流量更全了，为监管系统提供了更丰富的数据，避免了丢失数据而造成的影响。
附图说明
图1是本发明的系统结构图；
图2是本发明的工作流程图。
具体实施方式
实施例一
如图1所示，本发明的一种保障流量采集完整性的装置，由前端网络接入设备A的前端网络接入设备新增组件1、流量分配端口2、通信端口3和后端流量采集设备B的后端流量采集设备新增组件4、流量接收端口5、上报端口6组成；前端网络接入设备新增组件1包括：指令模块11、解析模块12、调度模块13；后端流量采集设备新增组件4包括：硬件状态采集模块41、进程状态采集模块42、上报模块43。
解析模块12作为监听程序启动，监听端口号由流量分配端口2进行配置；解析模块12监听后端流量采集设备B的上报端口6上报的信息并判断所接收的信息是否符合协议标准，符合协议标准的信息进行解析，不符合协议标准的信息丢弃，协议标准是：
DMAC共6字节内容， SMAC共6字节内容，Type共2字节内容，IP共20字节内容，UDP共8字节内容，标识符共4字节内容，消息类型共1字节内容，消息编码共1字节内容，消息序列共1字节内容，消息长度共2字节内容，机箱号共1字节内容，槽位号共1字节内容，子卡号共1字节内容，端口号共1字节内容，进程工作状态共1字节内容，硬件工作状态共1字节内容；
协议标准的解释是：
DMAC(6Byte) 目的MAC地址，
SMAC(6Byte) 源MAC地址，
Type(2Byte) 以太类型，
IP(20Byte) IP数据包包头，
UDP(8Byte) UDP头部，指定端口号与配置文件中一致，
标识符(4Byte) 固定填写0x53454d50，
消息类型(1Byte) 固定填写0x48，
消息编码(1Byte) 固定填写0x6f，
消息序列(1Byte) 随机生成0-100，
消息长度(2Byte) 0x6，
机箱号(1Byte) 前端网络接入设备所在的机箱号，
槽位号(1Byte) 前端网络接入设备的板卡槽位号，
子卡号(1Byte) 前端网络接入设备上的板卡槽上的子卡号，
端口号(1Byte) 前端网络接入设备上的板卡槽上的子卡下面的端口号，该端口号就是分流端口，
进程工作状态(1 Byte) 后端流量采集设备软件工作状态，
硬件工作状态(1 Byte) 后端流量采集设备硬件自身工作状态；
解析模块12对符合协议标准的后端流量采集设备B的上报端口6上报的信息进行解析，并判断其中的进程工作状态和硬件工作状态，当进程工作状态和硬件工作状态有任何一项解析结果为异常状态时，解析模块12通知指令模块11该后端流量采集设备B异常；指令模块11收到该后端流量采集设备B异常的信息，发送关闭该后端流量采集设备B对应的前端网络接入设备A的物理端口的指令给调度模块13；调度模块13收到关闭该后端流量采集设备B对应的前端网络接入设备A的物理端口的指令后关闭该后端流量采集设备B对应的前端网络接入设备A的物理端口；
解析模块12对符合协议标准的后端流量采集设备B的上报端口6上报的信息进行解析，并判断其中的进程工作状态和硬件工作状态，当进程工作状态和硬件工作状态全部正常时，解析模块12通知指令模块11该后端流量采集设备B正常；指令模块11收到该后端流量采集设备B正常的信息，发送启用该后端流量采集设备B对应的前端网络接入设备A的物理端口的指令给调度模块13；调度模块13收到启用该后端流量采集设备B对应的前端网络接入设备A的物理端口的指令后启用该后端流量采集设备B对应的前端网络接入设备A的物理端口。
前端网络接入设备A的流量分配端口2负责配置前端网络接入设备A的物理端口与后端流量采集设备B的流量接收端口5的物理端口的对应关系；流量分配端口2将配置完成的物理端口的流量复制给对应的流量接收端口5的物理端口，流量复制的方式包括分光方式和镜像方式；流量分配端口2配置的信息包括：监听服务端口号，前端网络接入设备机框号、前端网络接入设备板卡号、前端网络接入设备的物理端口编号、后端流量采集设备编号，后端流量采集设备的流量接收端口的物理端口编号。
前端网络接入设备A的通信端口3负责接收后端流量采集设备B的上报端口6上报的信息，并将上报的信息发送给解析模块12。
后端流量采集设备B的流量接收端口5负责配置后端流量采集设备B的流量接收端口5的物理端口与前端网络接入设备A的物理端口的对应关系；流量接收端口5配置的信息包括：前端网络接入设备机框号、前端网络接入设备板卡号、前端网络接入设备物理端口编号、后端流量采集设备编号，后端流量采集设备的流量接收端口的物理端口编号。
后端流量采集设备B的后端流量采集设备新增组件4的硬件状态采集模块41负责采集后端流量采集设备B的硬件状态信息，硬件状态信息包括网卡状态信息、CPU状态信息、内存状态信息、硬盘状态信息；硬件状态采集模块41负责配置硬件状态判定条件，硬件状态判定条件包括：网卡持续无流量时长，超过该时长定为网卡状态异常；网卡持续错数据包时长，超过该时长定为网卡状态异常；CPU利用率和CPU利用率持续时长，超过该CPU利用率和CPU利用率持续时长定为CPU状态异常；内存利用率和内存利用率持续时长，超过该内存利用率和内存利用率持续时长定为内存状态异常；硬盘利用率，超过该硬盘利用率定为硬盘异常；硬件工作状态包括硬件工作状态正常信息和硬件工作状态异常信息，硬件状态采集模块41根据硬件状态判定条件实时判断后端流量采集设备的网卡状态、后端流量采集设备的CPU状态、后端流量采集设备的内存状态、后端流量采集设备的硬盘状态，当网卡状态、CPU状态、内存状态、硬盘状态中任何一种状态异常，硬件状态采集模块41将硬件工作状态异常信息发送给上报模块43；当网卡状态、CPU状态、内存状态、硬盘状态全部正常时，硬件状态采集模块41将硬件工作状态正常信息发送给上报模块43。
后端流量采集设备B的后端流量采集设备新增组件4的进程状态采集模块42负责采集报文进程状态、工作线程状态、输出日志状态，进程工作状态包括进程工作状态正常信息和进程工作状态异常信息，当报文进程、工作线程、输出日志全部正常时，进程状态采集模块42将进程工作状态正常信息发送给上报模块43；当报文进程、工作线程、输出日志有任意一种异常时，进程状态采集模块42将进程工作状态异常信息发送给上报模块43。
上报模块43将后端流量采集设备的机箱号，槽位号，子卡号，端口号，硬件工作状态，软件进程状态按照约定的协议标准发送给上报端口6，上报端口6通过UDP传送通道，每隔一段时间上报给前端网络接入设备A的通信端口3，协议标准是：
DMAC共6字节内容，SMAC共6字节内容，Type共2字节内容，IP共20字节内容，UDP共8字节内容，标识符共4字节内容，消息类型共1字节内容，消息编码共1字节内容，消息序列共1字节内容，消息长度共2字节内容，机箱号共1字节内容，槽位号共1字节内容，子卡号共1字节内容，端口号共1字节内容，进程工作状态共1字节内容，硬件工作状态共1字节内容；
协议标准的解释是：
DMAC(6Byte) 目的MAC地址，
SMAC(6Byte) 源MAC地址，
Type(2Byte) 以太类型，
IP(20Byte) IP数据包包头，
UDP(8Byte) UDP头部，指定端口号与配置文件中一致，
标识符(4Byte) 固定填写0x53454d50，
消息类型(1Byte) 固定填写0x48，
消息编码(1Byte) 固定填写0x6f，
消息序列(1Byte) 随机生成0-100，
消息长度(2Byte) 0x6，
机箱号(1Byte) 前端网络接入设备所在的机箱号，
槽位号(1Byte) 前端网络接入设备的板卡槽位号，
子卡号(1Byte) 前端网络接入设备上的板卡槽上的子卡号，
端口号(1Byte) 前端网络接入设备上的板卡槽上的子卡下面的端口号，该端口号就是分流端口，
进程工作状态(1 Byte) 后端流量采集设备软件工作状态，
硬件工作状态(1 Byte) 后端流量采集设备硬件自身工作状态。
实施例二
参考图2，实现本发明的一种保障流量采集完整性的方法，包括如下步骤：
步骤S1、建立专用通信协议：后端流量采集设备与前端网络接入设备之间建立专用通讯协议，前端网络接入设备作为服务端，后端流量采集设备作为客户端，客户端上报状态到服务端，服务端根据状态进行判断进行保障操作。
步骤S2、服务端启动监听程序：监听程序是属于解析模块12的一部分功能，等待客户端的连接。
步骤S3、完成物理端口的对应关系配置：后端流量采集设备与前端网络接入设备都需要配置物理端口的对应关系。
1)前端网络接入设备配置内容如下：
监听服务端口号，前端网络接入设备机框号、前端网络接入设备板卡号、前端网络接入设备物理端口编号、后端流量采集设备编号，后端流量采集设备物理端口编号。
2)后端流量采集设备配置内容如下：
前端网络接入设备机框号、前端网络接入设备板卡号、前端网络接入设备物理端口编号、后端流量采集设备编号，物理端口编号。
步骤S4、后端流量采集设备采集硬件状态信息和进程状态信息：
1）后端流量采集设备的硬件采集模块提取网卡信息、CPU信息、内存信息、硬盘信息；后端流量采集设备的进程状态采集模块获取核心nsdpf进程状态；
2）后端流量采集设备对状态进行判断，网卡一段时间（可配置）无流量或者有错包属于异常情况，置硬件工作状态为异常状态；CPU一段时间（可配置）利用率超过85%（可配置），属于异常情况，硬件工作状态为异常状态；内存一段时间（可配置）利用率超过90%（可配置），属于异常情况，硬件工作状态为异常状态；硬盘利用率超过90%（可配置），属于异常情况，硬件工作状态为异常状态；nsdpf核心进程采集了3个状态，采集报文是否正常、工作线程是否正常、输出日志是否正常，3个状态，任何一个存在异常，都是异常状态，都需要置进程工作状态为异常状态。
步骤S5、后端流量采集设备上报信息：后端流量采集设备的上报模块将机箱号，槽位号，子卡号，端口号，硬件工作状态，软件进程状态等信息按照约定的专用通讯协议通过UDP传送通道，每隔一段时间上报给前端网络接入设备，通讯格式如下：
DMAC(6Byte) 目的MAC地址；
SMAC(6Byte) 源MAC地址；
Type(2Byte) 以太类型；
IP(20Byte) IP数据包包头；
UDP(8Byte) UDP头部，指定端口号与配置文件中一致；
标识符(4Byte) 固定填写0x53454d50；
消息类型(1Byte) 固定填写0x48；
消息编码(1Byte) 固定填写0x6f；
消息序列(1Byte) 随机生成0-100；
消息长度(2Byte) 0x6；
机箱号(1Byte) 前端网络接入设备所在的机箱号；
槽位号(1Byte) 前端网络接入设备的板卡槽位号；
子卡号(1Byte) 前端网络接入设备上的板卡槽上的子卡号；
端口号(1Byte) 前端网络接入设备上的板卡槽上的子卡下面的端口号，该端口号就是分流端口；
进程工作状态(1 Byte) 后端流量采集设备软件工作状态；
硬件工作状态(1 Byte) 后端流量采集设备硬件自身工作状态。
步骤S6、前端网络接入设备解析后端网络接入设备上报的信息：前端网络接入设备的解析模块收到后端流量采集设备上报的数据，并对数据进行解析，并判断数据格式正确性，非正确的消息丢弃。对正确的格式数据进行进程工作状态、硬件工作状态判断。
步骤S7、异常状态的处理：解析模块读取后端流量采集设备上报的信息，当进程工作状态、硬件工作状态两个状态中，任何一个状态异常，则前端网络接入设备会启用调度模块，将对应的物理端口进行关闭，使前端网络接入设备对应的物理端口的流量不再复制给后端流量采集设备。
步骤S8、正常状态的处理：解析模块读取后端流量采集设备上报的信息，当前端网络接入设备的解析模块判断后端流量采集设备上报的状态是正常状态时，会发送启用指令给前端网络接入设备的指令模块，指令模块通知调度模块执行启用对应的后端流量采集设备的前端网络接入设备的物理端口复制流量操作。

Claims (1)

1.一种保障流量采集完整性的装置，其特征在于由前端网络接入设备的前端网络接入设备新增组件、流量分配端口、通信端口和后端流量采集设备的后端流量采集设备新增组件、流量接收端口、上报端口组成；前端网络接入设备新增组件包括：指令模块、解析模块、调度模块；后端流量采集设备新增组件包括：硬件状态采集模块、进程状态采集模块、上报模块；
解析模块作为监听程序启动，监听端口号由流量分配端口进行配置；解析模块监听后端流量采集设备的上报端口上报的信息并判断所接收的信息是否符合协议标准，符合协议标准的信息进行解析，不符合协议标准的信息丢弃，协议标准是：
DMAC共6字节内容，SMAC共6字节内容，Type共2字节内容，IP共20字节内容，UDP共8字节内容，标识符共4字节内容，消息类型共1字节内容，消息编码共1字节内容，消息序列共1字节内容，消息长度共2字节内容，机箱号共1字节内容，槽位号共1字节内容，子卡号共1字节内容，端口号共1字节内容，进程工作状态共1字节内容，硬件工作状态共1字节内容；
解析模块对符合协议标准的后端流量采集设备的上报端口上报的信息进行解析，并判断其中的进程工作状态和硬件工作状态，当进程工作状态和硬件工作状态有任何一项解析结果为异常状态时，解析模块通知指令模块该后端流量采集设备异常；指令模块收到该后端流量采集设备异常的信息，发送关闭该后端流量采集设备对应的前端网络接入设备的物理端口的指令给调度模块；调度模块收到关闭该后端流量采集设备对应的前端网络接入设备的物理端口的指令后关闭该后端流量采集设备对应的前端网络接入设备的物理端口；
解析模块对符合协议标准的后端流量采集设备的上报端口上报的信息进行解析，并判断其中的进程工作状态和硬件工作状态，当进程工作状态和硬件工作状态全部正常时，解析模块通知指令模块该后端流量采集设备正常；指令模块收到该后端流量采集设备正常的信息，发送启用该后端流量采集设备对应的前端网络接入设备的物理端口的指令给调度模块；调度模块收到启用该后端流量采集设备对应的前端网络接入设备的物理端口的指令后启用该后端流量采集设备对应的前端网络接入设备的物理端口；
前端网络接入设备的流量分配端口负责配置前端网络接入设备的物理端口与后端流量采集设备的流量接收端口的物理端口的对应关系；流量分配端口将配置完成的物理端口的流量复制给对应的流量接收端口的物理端口，流量复制的方式包括分光方式和镜像方式；流量分配端口配置的信息包括：监听服务端口号，前端网络接入设备机框号、前端网络接入设备板卡号、前端网络接入设备的物理端口编号、后端流量采集设备编号，后端流量采集设备的流量接收端口的物理端口编号；
前端网络接入设备的通信端口负责接收后端流量采集设备的上报端口上报的信息，并将上报的信息发送给解析模块；
后端流量采集设备的流量接收端口负责配置后端流量采集设备的流量接收端口的物理端口与前端网络接入设备的物理端口的对应关系；流量接收端口配置的信息包括：前端网络接入设备机框号、前端网络接入设备板卡号、前端网络接入设备物理端口编号、后端流量采集设备编号，后端流量采集设备的流量接收端口的物理端口编号；
后端流量采集设备的后端流量采集设备新增组件的硬件状态采集模块负责采集后端流量采集设备的硬件状态信息，硬件状态信息包括网卡状态信息、CPU状态信息、内存状态信息、硬盘状态信息；硬件状态采集模块负责配置硬件状态判定条件，硬件状态判定条件包括：网卡持续无流量时长，超过该时长定为网卡状态异常；网卡持续错数据包时长，超过该时长定为网卡状态异常；CPU利用率和CPU利用率持续时长，超过该CPU利用率和CPU利用率持续时长定为CPU状态异常；内存利用率和内存利用率持续时长，超过该内存利用率和内存利用率持续时长定为内存状态异常；硬盘利用率，超过该硬盘利用率定为硬盘异常；硬件工作状态包括硬件工作状态正常信息和硬件工作状态异常信息，硬件状态采集模块根据硬件状态判定条件实时判断后端流量采集设备的网卡状态、后端流量采集设备的CPU状态、后端流量采集设备的内存状态、后端流量采集设备的硬盘状态，当网卡状态、CPU状态、内存状态、硬盘状态中任何一种状态异常，硬件状态采集模块将硬件工作状态异常信息发送给上报模块；当网卡状态、CPU状态、内存状态、硬盘状态全部正常时，硬件状态采集模块将硬件工作状态正常信息发送给上报模块；
后端流量采集设备的后端流量采集设备新增组件的进程状态采集模块负责采集报文进程状态、工作线程状态、输出日志状态，进程工作状态包括进程工作状态正常信息和进程工作状态异常信息，当报文进程、工作线程、输出日志全部正常时，进程状态采集模块将进程工作状态正常信息发送给上报模块；当报文进程、工作线程、输出日志有任意一种异常时，进程状态采集模块将进程工作状态异常信息发送给上报模块；
上报模块将后端流量采集设备的机箱号，槽位号，子卡号，端口号，硬件工作状态，软件进程状态按照约定的协议标准发送给上报端口，上报端口通过UDP传送通道，每隔一段时间上报给前端网络接入设备的通信端口，协议标准是：
DMAC共6字节内容，SMAC共6字节内容，Type共2字节内容，IP共20字节内容，UDP共8字节内容，标识符共4字节内容，消息类型共1字节内容，消息编码共1字节内容，消息序列共1字节内容，消息长度共2字节内容，机箱号共1字节内容，槽位号共1字节内容，子卡号共1字节内容，端口号共1字节内容，进程工作状态共1字节内容，硬件工作状态共1字节内容。
CN201810638775.XA 2018-06-21 2018-06-21 一种保障流量采集完整性的方法及装置 Active CN108989289B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810638775.XA CN108989289B (zh) 2018-06-21 2018-06-21 一种保障流量采集完整性的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810638775.XA CN108989289B (zh) 2018-06-21 2018-06-21 一种保障流量采集完整性的方法及装置

Publications (2)

Publication Number Publication Date
CN108989289A CN108989289A (zh) 2018-12-11
CN108989289B true CN108989289B (zh) 2020-10-13

Family

ID=64541561

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810638775.XA Active CN108989289B (zh) 2018-06-21 2018-06-21 一种保障流量采集完整性的方法及装置

Country Status (1)

Country Link
CN (1) CN108989289B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6601234B1 (en) * 1999-08-31 2003-07-29 Accenture Llp Attribute dictionary in a business logic services environment
US6650640B1 (en) * 1999-03-01 2003-11-18 Sun Microsystems, Inc. Method and apparatus for managing a network flow in a high performance network interface
CN101170587A (zh) * 2007-11-19 2008-04-30 中兴通讯股份有限公司 一种个人计算机系统及其动态切换通讯端口的方法
CN101540727A (zh) * 2009-05-05 2009-09-23 曙光信息产业(北京)有限公司 一种ip报文的硬件分流方法
CN101562534A (zh) * 2009-05-26 2009-10-21 中山大学 一种网络行为分析系统
CN102209028A (zh) * 2011-05-06 2011-10-05 北京傲天动联技术有限公司 控制cpu流量的装置和方法
CN103117879A (zh) * 2013-01-30 2013-05-22 昆明理工大学 一种计算机硬件运行参数网络监测系统
CN103731316A (zh) * 2013-07-30 2014-04-16 天津金栅科技有限公司 一种流量监控装置及方法
CN105491055A (zh) * 2015-12-24 2016-04-13 中国船舶重工集团公司第七〇九研究所 一种基于移动代理的网络主机异常事件检测方法
US9354955B1 (en) * 2014-03-19 2016-05-31 Western Digital Technologies, Inc. Partial garbage collection for fast error handling and optimized garbage collection for the invisible band
CN107888401A (zh) * 2016-09-30 2018-04-06 北京视联动力国际信息技术有限公司 一种实时监控视联网终端cpu利用率的方法和系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10091023B2 (en) * 2015-12-21 2018-10-02 Ciena Corporation Systems and methods to detect and recover from a loop in an Ethernet ring protected network

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6650640B1 (en) * 1999-03-01 2003-11-18 Sun Microsystems, Inc. Method and apparatus for managing a network flow in a high performance network interface
US6601234B1 (en) * 1999-08-31 2003-07-29 Accenture Llp Attribute dictionary in a business logic services environment
CN101170587A (zh) * 2007-11-19 2008-04-30 中兴通讯股份有限公司 一种个人计算机系统及其动态切换通讯端口的方法
CN101540727A (zh) * 2009-05-05 2009-09-23 曙光信息产业(北京)有限公司 一种ip报文的硬件分流方法
CN101562534A (zh) * 2009-05-26 2009-10-21 中山大学 一种网络行为分析系统
CN102209028A (zh) * 2011-05-06 2011-10-05 北京傲天动联技术有限公司 控制cpu流量的装置和方法
CN103117879A (zh) * 2013-01-30 2013-05-22 昆明理工大学 一种计算机硬件运行参数网络监测系统
CN103731316A (zh) * 2013-07-30 2014-04-16 天津金栅科技有限公司 一种流量监控装置及方法
US9354955B1 (en) * 2014-03-19 2016-05-31 Western Digital Technologies, Inc. Partial garbage collection for fast error handling and optimized garbage collection for the invisible band
CN105491055A (zh) * 2015-12-24 2016-04-13 中国船舶重工集团公司第七〇九研究所 一种基于移动代理的网络主机异常事件检测方法
CN107888401A (zh) * 2016-09-30 2018-04-06 北京视联动力国际信息技术有限公司 一种实时监控视联网终端cpu利用率的方法和系统

Also Published As

Publication number Publication date
CN108989289A (zh) 2018-12-11

Similar Documents

Publication Publication Date Title
EP3739814A1 (en) Indirect testing using impairment rules
CN103609068A (zh) 用于数据包冗余清除的系统和方法
CN111490903B (zh) 一种网络数据采集处理方法和装置
US11489759B2 (en) Method for determining route flapping information and related device
CN103138988A (zh) 网络故障的定位处理方法及装置
CN103078791A (zh) Oam报文处理方法、设备及系统
CN110620685A (zh) 一种上报设备异常的方法及装置
CN108894915B (zh) 一种风力发电远程监控系统及其工作方法
CN115484047A (zh) 云平台中的泛洪攻击的识别方法、装置、设备及存储介质
CN110597226A (zh) 一种车载以太网的异常预警方法及装置
CN103841143A (zh) 文件发送方法、接收方法、系统及设备
CN108989289B (zh) 一种保障流量采集完整性的方法及装置
CN112787843B (zh) 故障节点的检测方法和存储介质及电子装置
CN110896368A (zh) 网络质量监控方法及装置
CN106911590B (zh) 报文处理方法、装置及分布式设备
CN109728957A (zh) 一种交互式运维的方法及装置
US20180254969A1 (en) Methods, systems and computer readable media for providing receive port resiliency in a network equipment test device
CN106301832B (zh) 一种处理系统日志报文的方法和装置
CN114765633A (zh) 基于列车实时以太网协议的网络报文解析方法及装置
CN107241240B (zh) 游戏服务器状态监测方法、装置及系统
KR101831165B1 (ko) Ntp 서버와 ntp 클라이언트 간 시각 동기 상태의 실시간 모니터링 및 분석 장치
CN111865822A (zh) 一种基于智能变电站交换机的业务流告警方法及装置
CN115174244B (zh) 一种安全检测方法及系统
CN112654059B (zh) 一种基站传输通信异常的原因确定方法及装置
CN117857525B (zh) 一种基于高效传输协议的工业数据系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A method and device for ensuring the integrity of flow collection

Effective date of registration: 20210818

Granted publication date: 20201013

Pledgee: Zhongguancun Branch of Bank of Beijing Co., Ltd

Pledgor: BEIJING ACT TECHNOLOGY DEVELOPMENT Co.,Ltd.

Registration number: Y2021990000722