CN108183892B - 报文处理方法及装置 - Google Patents
报文处理方法及装置 Download PDFInfo
- Publication number
- CN108183892B CN108183892B CN201711409130.0A CN201711409130A CN108183892B CN 108183892 B CN108183892 B CN 108183892B CN 201711409130 A CN201711409130 A CN 201711409130A CN 108183892 B CN108183892 B CN 108183892B
- Authority
- CN
- China
- Prior art keywords
- server
- message
- template
- stored
- load balancing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/22—Parsing or analysis of headers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
- H04L67/1004—Server selection for load balancing
- H04L67/1008—Server selection for load balancing based on parameters of servers, e.g. available memory or workload
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computer And Data Communications (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明涉及数据采集技术领域,具体涉及一种报文处理方法及装置,该报文处理方法及装置应用于包括至少一个解析服务器和一个负载均衡服务器的网络中。该报文处理方法包括该解析服务器接收负载均衡服务器根据负载均衡策略发送的报文,该报文包括模板报文和数据报文,并将接收的模板报文存储于指定服务器中,对接收的数据报文根据指定服务器中存储的模板报文进行解析。通过本方案实现减少服务器压力,提高报文解析速度。
Description
技术领域
本发明涉及数据采集技术领域,具体而言,涉及一种报文处理方法及装置。
背景技术
随着Internet的高速发展,为用户提供了更高的带宽和可预测的QoS,同时用户也需要对网络进行更细致的管理和计费,为此就需要支持这种需求的技术。NetStream技术就是这样一种基于网络流信息的统计与发布技术,它可以对网络中的通信量和资源使用情况进行分类统计,以实现管理或收费。
在现有技术中,通常有两种运用NetStream技术对网络资源进行收集的方式,一种方式为集中式的收集方式,即所有的网络设备均将报文发送至一台服务器,并由该台服务器对报文进行接收和解析,使得该台服务器的压力过大,导致出错率增加;另一种方式为分组式的收集方式,即对所有网络设备进行分组,每组网络设备将报文对应发送至一台服务器,并由该服务器对报文进行解析,若某个服务器连接的网络设备过多,则可能导致单个的服务器的压力过大。因此,提供一种高效的资源收集方式是十分有必要的。
发明内容
本发明的目的在于提供一种报文处理方法,以减少解析服务器的压力,提高报文解析的速度。
本发明的另一目的在于提供一种报文处理装置,以减少原有的解析服务器的压力,提高报文解析速度。
为了实现上述目的,本发明实施例采用的技术方案如下:
第一方面,本发明实施例提供了一种报文处理方法,该方法应用于包括至少一个解析服务器和一个负载均衡服务器的网络中,对于任一所述解析服务器,所述方法包括:所述解析服务器接收所述负载均衡服务器根据负载均衡策略发送的报文,所述报文包括模板报文和数据报文;将接收的模板报文存储于指定服务器中;将接收的数据报文根据指定服务器中存储的模板报文进行解析。
第二方面,本发明实施例还提供了一种报文处理装置,所述装置应用于包括至少一个解析服务器和一个负载均衡服务器的网络中,对于任一所述解析服务器,所述装置包括:接收模块,用于接收所述负载均衡服务器根据负载均衡策略发送的报文,所述报文包括模板报文和数据报文;存储模块,用于将接收的模板报文存储于指定服务器中;解析模块,用于将接收的数据报文根据指定服务器中存储的模板报文进行解析。
本发明实施例提供的一种报文处理方法及装置,该报文处理方法及装置应用于包括至少一个解析服务器和一个负载均衡服务器的网络中。该报文处理方法包括该解析服务器接收负载均衡服务器根据负载均衡策略发送的报文,该报文包括模板报文和数据报文,并将接收的模板报文存储于指定服务器中,对接收的数据报文根据指定服务器中存储的模板报文进行解析。
在本方案中,负载均衡服务器统一接收多个网络设备发送的报文,并根据多个解析服务器的压力发送至对应的解析服务器中,一方面多个网络设备可做同一的地址配置,减少了工作量,另一方面,负载均衡服务器根据解析服务器的压力分发报文,减少了解析服务器的压力。此外,本方案中,至少一个解析服务器将接收的模板报文存储于指定服务器中,使得不同的解析服务器均能获取模板报文对自身接收的数据报文进行解析,若分开存储模板报文,则可能出现部分解析服务器由于不能获取存储于其他解析服务器上的模板报文导致对自身接收的数据报文不能解析的情况,由此可见,本方案中,解析服务器将报文存储于同一位置能有效地提高报文解析速度。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本发明实施例提供的一种报文处理系统的结构示意图。
图2示出了本发明实施例提供的一种模板报文和数据报文的示意图。
图3示出了本发明实施例提供的另一种报文处理系统的结构示意图。
图4示出了本发明实施例提供的一种解析服务器的结构示意图。
图5示出了本发明实施例提供的一种报文处理方法的流程示意图。
图6示出了本发明实施例提供的一种报文处理装置的功能模块示意图。
图示:30-报文处理系统;310-网络设备;320-负载均衡服务器;330-解析服务器;40-报文处理系统;410-网络设备;420-负载均衡服务器;430-解析服务器;440-缓存服务器;50-解析服务器;51-存储器;52-处理器;53-通信单元;54-报文处理装置;541-接收模块;542-存储模块;543-解析模块。
具体实施方式
下面将结合本发明实施例中附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本发明的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
随着互联网的发展,使得用户能通过较高的带宽享受网络服务,但同时网络提供商也需对用户的使用行为进行检测和管理,以便于进行收取费用、攻击检测等。为了便于统计网络资源数据,通常采用NetStream技术对网络资源数据进行统计。该NetStream技术是一种基于网络流的统计技术,并通过对网络流进行采集与分析以实现对网络中的通信量和资源使用情况进行分类和统计。其中,网络流为IP报文,该IP报文可以为TCP(TransmissionControl Protocol,传输控制协议)报文、UDP(User Datagram Protocol,用户数据报协议)、ICMP(Internet Control Message Protocol,控制报文协议)报文等,具有相同的标识的IP报文为同一条网络流,该相同的标识通常为五元组,其五元组为相同的子接口、相同的源IP地址和目的IP地址、相同的协议类型、相同的源协议端口号和目的协议端口号和相同的ToS报文。
该NetStream技术的网络流数据主要有三种格式,分别为V5、V8、V9,V5为根据五元组产生原始的数据流,其报文格式固定,不易扩展;V8支持数据流聚合输出格式,其报文格式固定,不易扩展;V9基于模板方式,用户可自定义模板,使统计信息的输出更为灵活,可灵活输出各种组合格式的数据。因此,在本发明实施例中,以V9格式的网络流进行举例说明,但类似的,本发明实施例提供的方法也应用于NetStream技术的其他格式的网络流数据。需要说明的是,V9格式的网络流,即V9格式的报文包括两种类型,分别为模板报文和数据报文。
运用NetStream技术进行网络流统计主要包括两个部分,分别为网络流的采集和网络流的解析。在现有技术中,采用的网络流的采集和解析方式提高了服务器的压力且报文的解析速度较慢。鉴于此,本发明实施例提供了一种报文处理系统,该报文处理系统通过协调各个解析服务器的压力,以实现减少解析服务器压力,提高报文解析速度的目的。
第一实施例
请参照图1,是本发明实施例提供的一种报文接收系统30的结构示意图。
该报文接收系统30包括多个网络设备310、一个负载均衡服务器320以及多个解析服务器330。
该多个网络设备310将接收的报文均发送至负载均衡服务器320,该网络设备310为交换机或路由器。该负载均衡服务器320将根据多个解析服务器330的压力将接收的报文发送至解析服务器330中,该多个解析服务器330的压力由该解析服务器330内的CPU资源的使用率、内存消耗等决定,即该负载均衡服务器320将接收的报文优先发送至压力小的解析服务器330,由该解析服务器330进行解析。该解析服务器330的压力确定方式为负载均衡服务器320实时获取解析服务器330的CPU资源的使用情况、内存消耗等参数,并根据获取的CPU资源的使用率、内存消耗等参数按照预定算法进行计算得到解析服务器330的压力值,进而将各个解析服务器330的压力值进行比较,确定各个解析服务器330的压力情况。
该报文包括模板报文和数据报文,请参照图2,是本发明实施例提供的一种模板报文和数据报文的示意图,该模板报文里包含了多个模板,每个模板均有唯一的标识符。如图2中所示的模板报文,V9Header为模板报文的头信息,该头信息中记录了该模板报文的版本号、序列号、时间戳等信息;FlowSet ID=0为模板报文的标识,表征该报文为模板报文而非数据报文;length为模板报文的长度;Template ID=256为该模板报文包含的模板的标识符;Num为对应标识符为Template ID=256的模板包含的字段数;type+length为每个字段的编号类型和长度;Template ID=257为该模板报文包含的另一个模板的标识符。由此可见,在图2中所示的模板报文共包括两个模板,其标识符分别为Template ID=256和Template ID=257。
如图2中所示的数据报文,其中,V9Header为数据报文的头信息,该头信息中记录了该数据报文的版本号、序列号、时间戳等信息;FlowSet ID=256为该数据报文的标识符;Length为该数据报文的长度;Value为该数据报文的具体内容,该数据报文的具体内容通过二进制的形式进行表示,容易理解的,也可以为其他进制形式,如八进制、十六进制等。
该解析服务器330将接收的模板报文存储于同一位置,该存储的位置可以是多个解析服务器330中的其中一个解析服务器330,也可以是单独的一个服务器中。在本实施例中,所有解析服务器330将接收的模板报文存储于一个解析服务器330中,即当任意一个解析服务器330识别出接收的报文为模板报文后,即通过判别接收的报文中是否有FlowSetID=0,若有,则该接收的报文为模板报文,若没有,则该接收的报文为数据报文,进一步将该模板报文发送至一台解析服务器330中,该解析服务器330将对接收的模板报文进行拆分,得到该模板报文中的多个模板,并对每个模板进行存储。需要说明的是,集中存储模板报文的解析服务器330由事先确定,即事先将确定存储模板报文的解析服务器330的地址配置到其他解析服务器330中,以便于其他解析服务器330能在识别出模板报文后将模板报文集中发送至设定的解析服务器330中。
此外,该解析服务器330将根据存储的模板对接收的数据报文进行解析,如图2所示,每个数据报文也均有一个唯一的标识符FlowSet ID=256。任意一台解析服务器330接收到数据报文后,将该数据报文的标识符FlowSet ID=256与存储模板报文的解析服务器330中的模板的标识符Template ID进行匹配,以获取匹配一致的模板对该数据报文进行解析。如当该数据报文的标识符为FlowSet ID=256时,模板的标识符为Template ID=256时,则数据报文的标识符与模板的标识符匹配一致,则获取该匹配一致的模板对该数据报文进行解析。通过对数据报文的解析将得到该数据报文的源IP地址和目的IP地址、源协议端口号和目的协议端口号等信息,以便于对用户进行费用管理、攻击检测等。
需要说明的是,由于网络设备310按一定周期分别发送数据报文和模板报文,通常为间隔20S发送一次模板报文,间隔1S发送一次数据报文,容易理解的,数据报文发送的周期短,次数多,模板报文发送的周期较长,次数较少,则在最开始的时段内,解析服务器330在没有接收到模板报文前无法对接收的数据报文进行解析,则将这段时间内收到的数据报文进行丢弃,待接收到模板报文后再对数据报文进行解析。
由此可见,在本方案中,负载均衡服务器320统一收集各个网络设备310发送的报文并根据各个解析服务器330的压力进行报文分发,以较好地减少了各个解析服务器330的压力。同时,当解析服务器330识别出接收到的报文为模板报文后,将模板报文存储于同一位置,以便于其他解析服务器330能快速查找到模板报文对接收的数据报文进行解析,进而提高了报文解析的速度。
第二实施例
除了将模板报文存储于其中一台解析服务器中,还可以将模板报文存储于一个单独的服务器中。
请参照图3,是本发明实施例提供的另一种报文处理系统40的结构示意图。
该报文处理系统40包括多个网络设备410、一个负载均衡服务器420、多个解析服务器430以及一个缓存服务器440。
该多个网络设备410将接收的报文均发送至负载均衡服务器420,该负载均衡服务器420根据多个解析服务器430的压力将接收的报文发送至解析服务器430中,由该解析服务器430进行解析。该报文包括模板报文和数据报文。
当任意一个解析服务器430识别出接收的报文为模板报文后,将该模板报文均发送至缓存服务器440中,由缓存服务器440对模板报文进行统一存储。由于该模板报文中包含多个模板,且每个模板均有唯一的标识符,则该缓存服务器440还将对接收到的模板报文进行拆分得到多个模板,并对多个模板进行分别存储。
当解析服务器430接收到数据报文后,该解析服务器430将数据报文的标识符与存储于缓存服务器440中的模板的标识符进行匹配,并获取匹配一致的模板对接收的数据报文进行解析。
需要强调的是,无论是第一实施例还是第二实施例中,当解析服务器再次接收到的模板报文中模板的标识符与之前存储的模板的标识符一致,则说明用户对相同标识符的模板做了修改,则需用后收到的模板报文中的模板替换之前存储的相同标识符的模板,以保持数据及时更新。
请参照图4,是本发明实施例提供的一种解析服务器50的结构示意图。该解析服务器50与第一实施例中的解析服务器330和第二实施例中的解析服务器430的实质均相同,其不同之处仅在于标号不同,该标号仅起区分作用。
该解析服务器50包括存储器51、处理器52以及通信单元53以及报文处理装置54。
该存储器51、处理器52、通信单元53以及报文处理装置54各元件相互之间直接或间接地电性连接,以实现数据的传输或交互。例如,这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。该存储器51用于存储计算机程序代码,处理器52用于执行存储器51中存储的计算机程序代码,如报文处理装置54。
其中,存储器51可以是,但不限于,随机存取存储器(Random Access Memory,RAM),只读存储器(Read Only Memory,ROM),可编程只读存储器(Programmable Read-OnlyMemory,PROM),可擦除只读存储器(Erasable Programmable Read-Only Memory,EPROM),电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory,EEPROM)等。
其中,存储器51用于存储程序,处理器52在接收到执行指令后,执行所述程序。通信单元53用于通过网络建立解析服务器50与负载均衡服务器之间的通信连接,并用于通过所述网络收发数据。
应用于该解析服务器50上的报文处理方法如图5所示,该报文接收方法包括:
步骤S110,接收所述负载均衡服务器根据负载均衡策略发送的报文,所述报文包括模板报文和数据报文。
该负载均衡服务器接收多个网络设备发送的报文,并根据负载均衡策略将报文发送至解析服务器中。其中,该负载均衡策略指负载均衡服务器将根据多个解析服务器的压力将接收的报文发送至解析服务器中,具体的,该负载均衡服务器将实时获取多个解析服务器的CPU资源的使用情况、内存消耗等参数,并根据获取的CPU资源的使用情况、内存消耗等参数按照预定算法进行计算得到各个解析服务器的压力值,并优先将接收的报文发送至压力值较小的解析服务器中。
该报文包括模板报文和数据报文,请参照图2,是本发明实施例提供的一种模板报文和数据报文的示意图,该模板报文里包含了多个模板,每个模板均有唯一的标识符。如图2中所示的模板报文,V9Header为模板报文的头信息,该头信息中记录了该模板报文的版本号、序列号、时间戳等信息;FlowSet ID=0为模板报文的标识,表征该报文为模板报文而非数据报文;length为模板报文的长度;Template ID=256为该模板报文包含的模板的标识符;Num为对应标识符为Template ID=256的模板包含的字段数;type+length为每个字段的编号类型和长度;Template ID=257为该模板报文包含的另一个模板的标识符。由此可见,在图2中所示的模板报文共包括两个模板,其标识符分别为Template ID=256和Template ID=257。
如图2中所示的数据报文,其中,V9Header为数据报文的头信息,该头信息中记录了该数据报文的版本号、序列号、时间戳等信息;FlowSet ID=256为该数据报文的标识符;Length为该数据报文的长度;Value为该数据报文的具体内容,该数据报文的具体内容通过二进制的形式进行表示,容易理解的,也可以为其他进制形式,如八进制、十六进制等。
步骤S120,将接收的模板报文存储于指定服务器中。
需要说明的是,该指定服务器既可以为至少一个解析服务器中事先选定的一个解析服务器,也可以为与至少一个解析服务器均通信连接的缓存服务器,由于模板报文中包括多个模板,则该指定服务器接收到模板报文后,需将该模板报文拆分成多个模板,对多个模板分别进行存储。需要说明的是,若接收的模板报文中的模板的标识符与指定服务器中的模板的标识符一致,则表明用户对模板报文中的模板进行了更改,则需用接收的模板替换已存储的模板。
若该指定服务器为至少一个解析服务器中事先确定的一个解析服务器,则需事先将确定存储模板报文的解析服务器的地址配置到其他解析服务器中,以便于其他解析服务器能在识别出模板报文后将模板报文发送至设定的解析服务器中。具体的,该解析服务器接收的报文后,通过判别接收的报文中是否有FlowSet ID=0,若有,则该接收的报文为模板报文,若没有,则该接收的报文为数据报文,进而将模板报文存储至事先确定存储模板报文的解析服务器中。
若该指定服务器为与至少一个解析服务器均通信连接的缓存服务器,则至少一个解析服务器判定接收到的报文为模板报文后,将该模板报文发送至缓存服务器进行存储。
步骤S130,将接收的数据报文根据指定服务器中存储的模板报文进行解析。
如图2所示,每个数据报文也均有一个唯一的标识符FlowSet ID=256。任意一台解析服务器接收到数据报文后,将该数据报文的标识符FlowSet ID=256与指定服务器中的模板的标识符Template ID进行匹配,以获取匹配一致的模板对该数据报文进行解析。如当该数据报文的标识符为FlowSet ID=256时,模板的标识符为Template ID=256时,则数据报文的标识符与模板的标识符匹配一致,则获取该匹配一致的模板对该数据报文进行解析。
应用于该解析服务器50上的报文处理装置54如图6所示,该报文接收装置54包括接收模块541、存储模块542以及解析模块543。
接收模块541,用于接收所述负载均衡服务器根据负载均衡策略发送的报文,所述报文包括模板报文和数据报文。
该接收模块541用于接收负载均衡服务器根据至少一个解析服务器的压力发送的报文,具体为,该负载均衡服务器将实时获取多个解析服务器的CPU资源的使用情况、内存消耗等参数,并根据获取的CPU资源的使用情况、内存消耗等参数按照预定算法进行计算得到各个解析服务器的压力值,并优先将接收的报文发送至压力值较小的解析服务器中。
存储模块542,用于将接收的模板报文存储于指定服务器中。
该存储模块542用于对判定为模板报文的报文存储于指定服务器中,该指定服务器可以为至少一个解析服务器中事先指定的一个,也可以为与至少一个解析服务器通信连接的缓存服务器。该指定服务器将模板报文拆分为多个模板进行存储。需要说明的是,若新接收的模板报文中的模板的标识符与已存储的模板的标识符一致,则表明用户对模板报文进行了修改,需用接收的模板替换已存储的模板。
解析模块543,用于将接收的数据报文根据指定服务器中存储的模板报文进行解析。
该解析模块543用于将接收的数据报文的标识符与指定服务器中模板的标识符进行匹配,若匹配一致,则获取匹配一致的模板对数据报文进行解析。
综上所述,本发明实施例提供的一种报文处理方法及装置,该报文处理方法及装置应用于包括至少一个解析服务器和一个负载均衡服务器的网络中。该报文处理方法包括该解析服务器接收负载均衡服务器根据负载均衡策略发送的报文,该报文包括模板报文和数据报文,并将接收的模板报文存储于指定服务器中,对接收的数据报文根据指定服务器中存储的模板报文进行解析。
在本方案中,负载均衡服务器统一接收多个网络设备发送的报文,并根据多个解析服务器的压力发送至对应的解析服务器中,一方面多个网络设备可做同一的地址配置,减少了工作量,另一方面,负载均衡服务器根据解析服务器的压力分发报文,减少了解析服务器的压力。此外,本方案中,至少一个解析服务器将接收的模板报文存储于指定服务器中,使得不同的解析服务器均能获取模板报文对自身接收的数据报文进行解析,若分开存储模板报文,则可能出现部分解析服务器由于不能获取存储于其他解析服务器上的模板报文导致对自身接收的数据报文不能解析的情况,由此可见,本方案中,解析服务器将报文存储于同一位置能有效地提高报文解析速度。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。
Claims (6)
1.一种报文处理方法,其特征在于,该方法应用于包括至少一个解析服务器和一个负载均衡服务器的网络中,所述负载均衡服务器接收多个网络设备发送的报文,对于任一所述解析服务器,所述方法包括:
所述解析服务器接收所述负载均衡服务器根据负载均衡策略发送的报文,所述报文包括模板报文和数据报文;其中,所述负载均衡服务器实时获取各解析服务器的CPU资源使用率、内存消耗,并根据获取的所述CPU资源使用率和所述内存消耗计算各解析服务器的压力值,根据各解析服务器的压力值进行报文分发;
将接收的模板报文拆分为多个模板,将所述多个模板存储在指定服务器中;若待存储的模板的标识符与指定服务器中已存储的模板的标识符一致,则将所述待存储的模板替换所述已存储的模板;
将接收的数据报文根据指定服务器中存储的模板报文进行解析。
2.如权利要求1所述的报文处理方法,其特征在于,所述指定服务器为从所述至少一个解析服务器中选定的解析服务器。
3.如权利要求1所述的报文处理方法,其特征在于,所述指定服务器为缓存服务器。
4.如权利要求1所述的报文处理方法,其特征在于,所述将接收的数据报文根据指定服务器中存储的模板报文进行解析的步骤包括:
将接收的数据报文的标识符与存储于所述指定服务器中的模板的标识符进行匹配,若匹配一致,则根据相匹配的模板解析接收的数据报文。
5.一种报文处理装置,其特征在于,所述装置应用于包括至少一个解析服务器和一个负载均衡服务器的网络中,所述负载均衡服务器接收多个网络设备发送的报文,对于任一所述解析服务器,所述装置包括:
接收模块,用于接收所述负载均衡服务器根据负载均衡策略发送的报文,所述报文包括模板报文和数据报文;其中,所述负载均衡服务器实时获取各解析服务器的CPU资源使用率、内存消耗,并根据获取的所述CPU资源使用率和所述内存消耗计算各解析服务器的压力值,根据各解析服务器的压力值进行报文分发;
存储模块,用于将接收的模板报文拆分为多个模板,将所述多个模板存储在指定服务器中;若待存储的模板的标识符与指定服务器中已存储的模板的标识符一致,则将所述待存储的模板替换所述已存储的模板;
解析模块,用于将接收的数据报文根据指定服务器中存储的模板报文进行解析。
6.如权利要求5所述的报文处理装置,其特征在于,所述解析模块还用于将接收的数据报文的标识符与存储于所述指定服务器中的模板的标识符进行匹配,若匹配一致,则根据相匹配的模板解析接收的数据报文。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711409130.0A CN108183892B (zh) | 2017-12-22 | 2017-12-22 | 报文处理方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711409130.0A CN108183892B (zh) | 2017-12-22 | 2017-12-22 | 报文处理方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108183892A CN108183892A (zh) | 2018-06-19 |
CN108183892B true CN108183892B (zh) | 2021-08-06 |
Family
ID=62546745
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711409130.0A Active CN108183892B (zh) | 2017-12-22 | 2017-12-22 | 报文处理方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108183892B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115514712B (zh) * | 2021-06-22 | 2023-09-05 | 中移物联网有限公司 | 一种数据处理方法、装置、终端和网络侧设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101605069A (zh) * | 2009-06-30 | 2009-12-16 | 杭州华三通信技术有限公司 | 一种采集流量信息的方法和装置 |
CN102124698A (zh) * | 2009-05-14 | 2011-07-13 | 思科技术公司 | 用于在网络管理环境中导出结构化数据的系统和方法 |
US9065767B2 (en) * | 2012-04-03 | 2015-06-23 | Cisco Technology, Inc. | System and method for reducing netflow traffic in a network environment |
CN104904160A (zh) * | 2012-11-09 | 2015-09-09 | 思杰系统有限公司 | 用于数据流的应用流的系统和方法 |
-
2017
- 2017-12-22 CN CN201711409130.0A patent/CN108183892B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102124698A (zh) * | 2009-05-14 | 2011-07-13 | 思科技术公司 | 用于在网络管理环境中导出结构化数据的系统和方法 |
CN101605069A (zh) * | 2009-06-30 | 2009-12-16 | 杭州华三通信技术有限公司 | 一种采集流量信息的方法和装置 |
US9065767B2 (en) * | 2012-04-03 | 2015-06-23 | Cisco Technology, Inc. | System and method for reducing netflow traffic in a network environment |
CN104904160A (zh) * | 2012-11-09 | 2015-09-09 | 思杰系统有限公司 | 用于数据流的应用流的系统和方法 |
Non-Patent Citations (1)
Title |
---|
基于NETSTREAM的流量统计系统研究;杨国衡;《中国优秀硕士学位论文全文数据库信息科技辑》;20140615;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN108183892A (zh) | 2018-06-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3407562B1 (en) | Coflow recognition method and system, and server using method | |
US10332005B1 (en) | System and method for extracting signatures from controlled execution of applications and using them on traffic traces | |
US8843627B1 (en) | System and method for extracting signatures from seeded flow groups to classify network traffic | |
US7623466B2 (en) | Symmetric connection detection | |
CN110708215B (zh) | 深度包检测规则库生成方法、装置、网络设备及存储介质 | |
RU2014124009A (ru) | Метод и система потоковой передачи данных для обработки сетевых метаданных | |
CN106972985B (zh) | 加速dpi设备数据处理与转发的方法和dpi设备 | |
JP2007336512A (ja) | 統計情報収集システム及び統計情報収集装置 | |
US20170295193A1 (en) | Adaptive anomaly context description | |
CN108900374A (zh) | 一种应用于dpi设备的数据处理方法和装置 | |
US11650994B2 (en) | Monitoring network traffic to determine similar content | |
CN108206788B (zh) | 一种流量的业务识别方法及相关设备 | |
US20130326049A1 (en) | System and method for sequencing per-hop data in performance-monitored network environments | |
US10419351B1 (en) | System and method for extracting signatures from controlled execution of applications and application codes retrieved from an application source | |
CN108183892B (zh) | 报文处理方法及装置 | |
CN114020734A (zh) | 一种流量统计去重方法及装置 | |
EP3596884B1 (en) | Communications network performance | |
KR20130022506A (ko) | 실시간 대용량 트래픽 분석 분산시스템 및 분산시스템에서 트래픽을 실시간으로 분석하는 방법 | |
CN108460044B (zh) | 数据的处理方法和装置 | |
CN105100246A (zh) | 一种基于下载资源名称的网络流量管控方法 | |
CN111224891A (zh) | 一种基于动态学习三元组的流量应用识别系统及方法 | |
JP6662812B2 (ja) | 計算装置及び計算方法 | |
CN111988271B (zh) | 一种通信流处理方法及装置 | |
JP4871775B2 (ja) | 統計情報収集装置 | |
CN112769923A (zh) | 一种大数据场景下监控网络设备性能指标的方法、装置及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |