CN103580959B - 一种分布式统计上报的实现方法 - Google Patents

一种分布式统计上报的实现方法 Download PDF

Info

Publication number
CN103580959B
CN103580959B CN201310577803.9A CN201310577803A CN103580959B CN 103580959 B CN103580959 B CN 103580959B CN 201310577803 A CN201310577803 A CN 201310577803A CN 103580959 B CN103580959 B CN 103580959B
Authority
CN
China
Prior art keywords
message
information
node
statistical
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201310577803.9A
Other languages
English (en)
Other versions
CN103580959A (zh
Inventor
朱志军
李胜海
彭博
魏长城
栾慎亭
路婧
张聪颖
张邵华
陈杰
王军
单丽娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
DALIAN TNET NETWORK TECHNOLOGY Co Ltd
Original Assignee
DALIAN TNET NETWORK TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DALIAN TNET NETWORK TECHNOLOGY Co Ltd filed Critical DALIAN TNET NETWORK TECHNOLOGY Co Ltd
Priority to CN201310577803.9A priority Critical patent/CN103580959B/zh
Publication of CN103580959A publication Critical patent/CN103580959A/zh
Application granted granted Critical
Publication of CN103580959B publication Critical patent/CN103580959B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明公开了一种分布式统计上报的实现方法，本方法首先在服务器与各个节点的连接架设完毕后，通过服务器预先对各个节点待统计报文类别进行配置，所述配置是对报文数据的统计模式及参数进行设置；其次各个节点接收报文通过请求，并对通过各个节点的报文进行分析判断，若当前通过节点的报文为预设的统计类报文时，依照预先配置的报文数据的统计模式及参数对报文的相关信息进行提取统计；最后将提取统计完成后的信息统一封装并上报至服务器，服务器根据各节点封装上报的信息进行综合处理及统一展示。本发明能够在大流量数据报文处理的情况下，根据管理员配置的报文统计类型信息，迅速的识别报文，达到分布式统计上报的目的。

Description

一种分布式统计上报的实现方法
技术领域
本发明涉及一种统计上报的实现方法，更具体地说，涉及一种分布式统计上报的实现方法。
背景技术
随着网络速度的日益发展，网络数据量、用户数量也呈现爆炸式的增长，对网络的各类数据使用情况统计需求更是有增无减，进一步地，网络管理员还希望能够对用户的网络使用情况进行分类统计：即既能单一的展示某一项参数统计情况，又能展示多种参数综合运算后的统计情况。而要实现大网络数据量、大用户数量情况下的报文统计，现有软件的处理速度及精度远远达不到用户的实际需求，便迫切的需要一种基于硬件的分布式统计上报的实现方法。
发明内容
鉴于已有技术存在的缺陷，本发明的目的是提供一种新型的分布式统计上报的实现方法，该方法能够在保证网络流量统计的速度和精度的情况下，实现分布式统计的上报，适用于应对各种大量数据监控统计的需求。
为了实现上述目的，本发明的技术方案：
一种分布式统计上报的实现方法，其特征在于：首先，在服务器与各个节点的连接架设完毕后，通过服务器预先对各个节点待统计报文类别进行配置，所述配置是对报文数据的统计模式及参数进行设置；其次，各个节点接收报文通过请求，并对通过各个节点的报文进行分析判断，若当前通过节点的报文为预设的统计类报文时，依照预先配置的报文数据的统计模式及参数对报文的相关信息进行提取统计；最后，将提取统计完成后的信息统一封装上报至服务器，服务器根据各节点封装上报的信息进行综合处理及统一展示。
所述的分布式统计上报方法，具体包括如下步骤：
S1、通过服务器预先对各个节点待统计报文类别进行配置，所述配置的实现方法是依据用户所需统计的报文类别，对各个节点的报文数据的统计模式及参数进行设置；各个节点接收报文通过请求，并对通过各个节点的报文进行分析判断；
S2、各个节点中的报文信息统计单元根据预设统计报文类别的配置，判断当前通过的报文是否需要统计，当判断属于预设的统计类别的报文时，对该条报文进行统计，执行步骤S3；
S3、各个节点中的报文信息统计单元根据预设的统计报文类别的配置，获取该条报文相应的统计信息，并将所述统计信息发送至报文重构单元；
S4、各个节点中的端口信息统计单元根据服务器所配置的统计模式及参数，对通过的报文分别进行输入报文个数、输入报文字节数、输出报文个数、输出报文字节数的相关信息的统计，并将统计后的信息发送至报文重构单元；
S5、各个节点中的报文重构单元接收所述报文信息统计单元及所述端口信息统计单元发送来的信息，将接收到的信息分别填入上报报文的负载中，随后根据整个报文的情况，计算出报文头及报文尾的CRC校验数据并将上述报文头及报文尾的CRC校验数据分别添加至上报报文的报文头及报文尾位置后，将重构完成后的上报报文发送至各个节点中的报文发送单元；
S6、各个节点中的报文发送单元接收到报文重构单元的报文后，根据预设的报文发送端口，将该上报报文发送至指定端口；
S7、服务器端接收到各个节点的上报报文后，对报文进行解析，提取出相关信息后，对信息进行组合及运算，最终以UI形式展现给用户。
所述的统计模式包括按照接口流量统计模式以及按照用户流量统计模式中的至少一种统计模式。
所述的配置参数包括报文数据的类型、长度、源目IP、源目端口、源目MAC、VLANID、会话ID。
本发明具有以下有益效果：通过服务器远程对分布在各处的节点进行统一的配置设定，能够在大网络数据量、大用户数量情况下，根据管理员配置的报文统计类型信息，迅速的识别报文并进行报文信息的精确统计，达到分布式统计上报的目的。
附图说明
图1为本发明的分布式统计上报的实现方法的整体架构图；
图2为本发明的分布式统计上报的实现方法的节点处理流程图；
图3为本发明分布式统计上报的实现方法的统计上报实现过程流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进行进一步详细说明。
本发明的整体架构如图1所示，将需要统计报文数据信息流量的用户连接在各个节点之后，通过互联网，将各个节点与远端服务器连接，在服务器与各个节点的连接架设完毕后，通过服务器预先对各个节点待统计报文类别进行配置，所述配置是对报文数据的统计模式及参数进行设置，这样就保证了后续的报文统计及上报工作仅针对用户预先配置的报文类别需求，提高了报文统计的效率以及精确度；一个服务器应对多个节点，并且所述服务器能够对每个节点按照统计报文数据信息需求进行配置设置；而多个节点的分布形式能够实现对分布在不同地点的用户的报文数据信息流量进行统计上报，最终上报的数据交由服务器对报文进行解析，提取出相关信息后，对信息进行组合及运算并以UI形式展现给用户，服务器可以单独或者整体展示各节点上报报文的原始或者统计运算后信息内容。
本方法所述的节点包括报文信息统计单元、端口信息统计单元、报文重构单元以及报文发送单元，如图2、图3所示，当用户发生数据流量行为时，报文信息统计单元根据预设的统计报文类别的配置，判断当前通过的报文是否需要统计，当判断属于预设的统计类报文时，对该条报文进行统计，获取该条报文相应的统计信息（所述的统计信息包括用户的ID、报文类型、报文长短、报文的源目IP、报文的源目端口以及输入节点的接口编号），将所述统计信息发送至报文重构单元；端口信息统计单元对通过的报文分别进行输入报文个数、输入报文字节数、输出报文个数、输出报文字节数信息的统计，并将统计后的信息发送至报文重构单元；报文重构单元，将报文信息提取出得数据组合为预定的报文格式，其接收所述报文信息统计单元及所述端口信息统计单元发送来的信息，将接收到的信息分别填入上报报文的负载中，随后根据整个报文的情况，计算出报文头及报文尾的CRC校验数据并将上述报文头及报文尾的CRC校验数据分别添加至上报报文的报文头及报文尾处位置后，将重构完成后的上报报文发送至各个节点中的报文发送单元；报文发送单元接收到报文重构单元的报文后，根据预设的报文发送端口，将该上报报文发送至指定端口。
优选地，在报文信息获取过程中，可以通过在报文中提取及计算的方法获取相关报文信息。
优选地，端口信息统计单元能够累加、寄存一秒钟的报文统计信息，从而实现每秒上报一次的频率，降低服务器端的处理负担。
优选地，报文信息统计单元及端口信息统计单元统计信息的精确度为1Byte。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (3)

1.一种分布式统计上报的实现方法，其特征在于：首先，在服务器与各个节点的连接架设完毕后，通过服务器预先对各个节点待统计报文类别进行配置，所述配置是对报文数据的统计模式及参数进行设置；其次，各个节点接收报文通过请求，并对通过各个节点的报文进行分析判断，若当前通过节点的报文为预设的统计类报文时，依照预先配置的报文数据的统计模式及参数对报文的相关信息进行提取统计；最后，将提取统计完成后的信息统一封装上报至服务器，服务器根据各节点封装上报的信息进行综合处理及统一展示；其中所述方法的具体步骤为S1、通过服务器预先对各个节点待统计报文类别进行配置，所述配置的实现方法是依据用户所需统计的报文类别，对各个节点的报文数据的统计模式及参数进行设置；各个节点接收报文通过请求，并对通过各个节点的报文进行分析判断；S2、各个节点中的报文信息统计单元根据预设统计报文类别的配置，判断当前通过的报文是否需要统计，当判断属于预设的统计类别的报文时，对该条报文进行统计，执行步骤S3；S3、各个节点中的报文信息统计单元根据预设的统计报文类别的配置，获取该条报文相应的统计信息，并将所述统计信息发送至报文重构单元；S4、各个节点中的端口信息统计单元根据服务器所配置的统计模式及参数，对通过的报文分别进行输入报文个数、输入报文字节数、输出报文个数、输出报文字节数的相关信息的统计，并将统计后的信息发送至报文重构单元；S5、各个节点中的报文重构单元接收所述报文信息统计单元及所述端口信息统计单元发送来的信息，将接收到的信息分别填入上报报文的负载中，随后根据整个报文的情况，计算出报文头及报文尾的CRC校验数据并将上述报文头及报文尾的CRC校验数据分别添加至上报报文的报文头及报文尾位置后，将重构完成后的上报报文发送至各个节点中的报文发送单元；S6、各个节点中的报文发送单元接收到报文重构单元的报文后，根据预设的报文发送端口，将该上报报文发送至指定端口；S7、服务器端接收到各个节点的上报报文后，对报文进行解析，提取出相关信息后，对信息进行组合及运算，最终以UI形式展现给用户。
2.根据权利要求1所述的分布式统计上报的实现方法，其特征在于：所述的统计模式包括按照接口流量统计模式以及按照用户流量统计模式中的至少一种统计模式。
3.根据权利要求1所述的分布式统计上报的实现方法，其特征在于：所述的配置参数包括报文数据的类型、长度、源目IP、源目端口、源目MAC、VLAN ID、会话ID。
CN201310577803.9A 2013-11-15 2013-11-15 一种分布式统计上报的实现方法 Expired - Fee Related CN103580959B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310577803.9A CN103580959B (zh) 2013-11-15 2013-11-15 一种分布式统计上报的实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310577803.9A CN103580959B (zh) 2013-11-15 2013-11-15 一种分布式统计上报的实现方法

Publications (2)

Publication Number Publication Date
CN103580959A CN103580959A (zh) 2014-02-12
CN103580959B true CN103580959B (zh) 2017-04-26

Family

ID=50051936

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310577803.9A Expired - Fee Related CN103580959B (zh) 2013-11-15 2013-11-15 一种分布式统计上报的实现方法

Country Status (1)

Country Link
CN (1) CN103580959B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104320802B (zh) * 2014-10-31 2018-01-09 北京思特奇信息技术股份有限公司 一种批量管理无线设备的方法及系统
CN105743726A (zh) * 2014-12-10 2016-07-06 中兴通讯股份有限公司 一种特征数据报文的流量统计和分析方法及相应设备
CN104734990B (zh) * 2015-03-19 2018-10-30 华为技术有限公司 一种确定大流量报文类的方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1725708A (zh) * 2005-06-24 2006-01-25 杭州华为三康技术有限公司 数据流量的统计方法
CN1941716A (zh) * 2005-09-30 2007-04-04 杭州华为三康技术有限公司 应用流量统计方法及装置和应用流量统计系统
CN101626323A (zh) * 2009-07-23 2010-01-13 中兴通讯股份有限公司 一种网络数据流量监测方法和装置
CN101902758A (zh) * 2010-05-25 2010-12-01 中国科学技术大学 基于协议测试的无线网络中的数据处理方法和装置
CN102752792A (zh) * 2011-12-26 2012-10-24 华为技术有限公司 监测移动终端上网业务质量的方法、设备及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101114938B (zh) * 2007-08-10 2010-06-23 杭州华三通信技术有限公司 分布式系统减少统计所需控制报文量的方法、系统和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1725708A (zh) * 2005-06-24 2006-01-25 杭州华为三康技术有限公司 数据流量的统计方法
CN1941716A (zh) * 2005-09-30 2007-04-04 杭州华为三康技术有限公司 应用流量统计方法及装置和应用流量统计系统
CN101626323A (zh) * 2009-07-23 2010-01-13 中兴通讯股份有限公司 一种网络数据流量监测方法和装置
CN101902758A (zh) * 2010-05-25 2010-12-01 中国科学技术大学 基于协议测试的无线网络中的数据处理方法和装置
CN102752792A (zh) * 2011-12-26 2012-10-24 华为技术有限公司 监测移动终端上网业务质量的方法、设备及系统

Also Published As

Publication number Publication date
CN103580959A (zh) 2014-02-12

Similar Documents

Publication Publication Date Title
US9531620B2 (en) Control plane packet traffic statistics
CN106790050B (zh) 一种异常流量检测方法及检测系统
CN104243240B (zh) 一种基于OpenFlow的SDN流量测量方法
US8730819B2 (en) Flexible network measurement
CN104378264B (zh) 一种基于sFlow的虚拟机进程流量监控方法
CN106100999A (zh) 一种虚拟化网络环境中镜像网络流量控制协议
US8429270B2 (en) Network usage collection system
CN104349298B (zh) 一种网络计费方法、控制器、数据中心及系统
CN104301161B (zh) 业务质量指标的计算方法、计算装置以及通信系统
CN107147535A (zh) 一种分布式的网络测量数据统计分析方法
CN103580959B (zh) 一种分布式统计上报的实现方法
CN104202328B (zh) 一种订阅goose/smv报文的方法、配置模块及订阅端
WO2016101446A1 (zh) 数据分析方法、装置、系统及终端和服务器
CN106341339A (zh) 一种端到端网络流量控制方法
WO2019144803A1 (zh) 流量统计方法、装置、存储介质及电子装置
CN106572103A (zh) 一种基于sdn网络架构的隐藏端口检测方法
CN101447934A (zh) 一种业务流识别方法和系统以及业务流计费方法和系统
CN103716211A (zh) 网络终端的数据流量测量方法及系统
CN103999396B (zh) 总线系统的用户站和用于在总线系统的用户站之间传输数据的方法
CN105162780B (zh) 一种url过滤地址设置方法及系统
CN107241359A (zh) 一种面向软件定义网络的轻量级网络流量异常检测方法
CN103279816A (zh) 基于活动窗口统计终端工作效率的方法和系统
WO2017070965A1 (zh) 一种基于软件定义网络的数据处理方法及相关设备
CN106059887A (zh) 一种vpn流量监控方法及装置
CN104243226B (zh) 流量统计方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170426

Termination date: 20191115

CF01 Termination of patent right due to non-payment of annual fee