CN104052679A - 网络流量的负载均衡方法和装置 - Google Patents

网络流量的负载均衡方法和装置 Download PDF

Info

Publication number
CN104052679A
CN104052679A CN201410243343.0A CN201410243343A CN104052679A CN 104052679 A CN104052679 A CN 104052679A CN 201410243343 A CN201410243343 A CN 201410243343A CN 104052679 A CN104052679 A CN 104052679A
Authority
CN
China
Prior art keywords
packet
analysis
analysis type
distributing equipment
characteristics information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410243343.0A
Other languages
English (en)
Other versions
CN104052679B (zh
Inventor
白惊涛
刘剑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Tencent Cloud Computing Beijing Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201410243343.0A priority Critical patent/CN104052679B/zh
Publication of CN104052679A publication Critical patent/CN104052679A/zh
Application granted granted Critical
Publication of CN104052679B publication Critical patent/CN104052679B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种网络流量的负载均衡方法和装置,属于互联网技术领域。所述方法包括:分配设备获取网络数据和当前的第一分析类型;分配设备根据存储的分析类型与数据特征信息的对应关系,确定第一分析类型对应的第一数据特征信息,第一数据特征信息包括目标匹配字段和基准信息;分配设备在网络数据的各数据包中,获取目标匹配字段的内容信息与基准信息相匹配的数据包;分配设备将获取到的各数据包发送给分析服务器;分析服务器根据第一分析类型,对各数据包的网络数据进行统计分析。采用本发明,可以提高对网络数据进行统计分析的准确性。

Description

网络流量的负载均衡方法和装置
技术领域
本发明涉及互联网技术领域,特别涉及一种网络流量的负载均衡方法和装置。
背景技术
随着网络技术的发展,互联网业务的种类和形式越来越丰富。网络运营商为了达到某些目的,经常会对众多互联网业务的网络数据进行统计分析,分析类型可以多种多样,例如,统计各网站在各时间段内的访问量,或者统计不同区域内的用户在网络中发表的信息中某指定信息(如某关键词)的出现频率(某时间段内的出现次数)等。
在对网络数据进行统计分析时,一般可以在网络运营商设置的核心交换机处,通过分光器复制流经核心交换机的网络数据,然后将复制的网络数据发送给分析服务器,分析服务器对得到的网络数据进行统计分析。通常分析服务器有很多台,在分光器与各分析服务器之间设置有分配设备(可以为负载分担设备),用于为各分析服务器分配不同的分析任务,例如,分配设备可以将对A网站的访问量进行统计分析的任务分配给第一分析服务器,将对B网站的访问量进行统计分析的任务分配给第二分析服务器。由于分析服务器的数量一般较多,为了方便网络连接,在分配设备与分析服务器之间还设置有交换机,该交换机的各输出端口分别与各分析服务器连接。
在实现本发明的过程中,发明人发现现有技术至少存在以下问题:
由于交换机的带宽一般有限(如80GB/s),而随着网络技术的发展,网络数据的流量越来越大,往往会超过交换机的带宽,这样会导致网络数据丢包,从而影响对网络数据进行统计分析的准确性。
发明内容
为了解决现有技术的问题,本发明实施例提供了一种网络流量的负载均衡方法和装置。所述技术方案如下:
第一方面,提供了一种网络流量的负载均衡方法,所述方法包括:
分配设备获取网络数据和当前的第一分析类型;
所述分配设备根据存储的分析类型与数据特征信息的对应关系,确定所述第一分析类型对应的第一数据特征信息,所述第一数据特征信息包括目标匹配字段和基准信息;
所述分配设备在所述网络数据的各数据包中,获取所述目标匹配字段的内容信息与所述基准信息相匹配的数据包;
所述分配设备将获取到的各数据包发送给分析服务器;
所述分析服务器根据所述第一分析类型,对所述各数据包的网络数据进行统计分析。
第二方面,提供了一种网络流量的负载均衡方法,所述方法包括:
获取网络数据和当前的第一分析类型;
根据存储的分析类型与数据特征信息的对应关系,确定所述第一分析类型对应的第一数据特征信息,所述第一数据特征信息包括目标匹配字段和基准信息;
在所述网络数据的各数据包中,获取所述目标匹配字段的内容信息与所述基准信息相匹配的数据包;
发送获取到的各数据包。
第三方面,提供了一种网络流量的负载均衡系统,所述系统包括:分配设备和分析服务器,其中:
所述分配设备,用于获取网络数据和当前的第一分析类型;根据存储的分析类型与数据特征信息的对应关系,确定所述第一分析类型对应的第一数据特征信息,所述第一数据特征信息包括目标匹配字段和基准信息;在所述网络数据的各数据包中,获取所述目标匹配字段的内容信息与所述基准信息相匹配的数据包;将获取到的各数据包发送给所述分析服务器;
所述分析服务器,用于根据所述第一分析类型,对所述各数据包的网络数据进行统计分析。
第四方面,提供了一种网络流量的负载均衡装置,所述装置包括:
第一获取模块,用于获取网络数据和当前的第一分析类型;
确定模块,用于根据存储的分析类型与数据特征信息的对应关系,确定所述第一分析类型对应的第一数据特征信息,所述第一数据特征信息包括目标匹配字段和基准信息;
第二获取模块,用于在所述网络数据的各数据包中,获取所述目标匹配字段的内容信息与所述基准信息相匹配的数据包;
发送模块,用于发送获取到的各数据包。
本发明实施例提供的技术方案带来的有益效果是:
本发明实施例中,分配设备获取网络数据和当前的第一分析类型,分配设备根据存储的分析类型与数据特征信息的对应关系,确定第一分析类型对应的第一数据特征信息,第一数据特征信息包括目标匹配字段和基准信息,分配设备在网络数据的各数据包中,获取目标匹配字段的内容信息与基准信息相匹配的数据包,分配设备将获取到的各数据包发送给分析服务器,分析服务器根据第一分析类型,对各数据包的网络数据进行统计分析,这样可以过滤掉不符合第一数据特征信息的网络数据,可以将网络数据的流量进行缩减,减小发生网络数据丢包的可能性,从而可以提高对网络数据进行统计分析的准确性。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种网络流量的负载均衡方法流程图;
图2是本发明实施例提供的一种网络流量的负载均衡方法流程图;
图3是本发明实施例提供的一种网络框架示意图;
图4是本发明实施例提供的一种网络流量的负载均衡方法流程图;
图5是本发明实施例提供的一种网络框架示意图;
图6是本发明实施例提供的一种网络流量的负载均衡系统结构示意图;
图7是本发明实施例提供的一种网络流量的负载均衡装置结构示意图;
图8是本发明实施例提供的一种分配设备结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。
实施例一
本发明实施例提供了一种网络流量的负载均衡方法,如图1所示,该方法的处理流程可以包括如下的步骤:
步骤101,分配设备获取网络数据和当前的第一分析类型。
步骤102,分配设备根据存储的分析类型与数据特征信息的对应关系,确定第一分析类型对应的第一数据特征信息,第一数据特征信息包括目标匹配字段和基准信息。
步骤103,分配设备在网络数据的各数据包中,获取目标匹配字段的内容信息与基准信息相匹配的数据包。
步骤104,分配设备将获取到的各数据包发送给分析服务器。
步骤105,分析服务器根据第一分析类型,对各数据包的网络数据进行统计分析。
如图2所示,该方法中分配设备的处理流程可以包括如下的步骤:
步骤201,获取网络数据和当前的第一分析类型。
步骤202,根据存储的分析类型与数据特征信息的对应关系,确定第一分析类型对应的第一数据特征信息,第一数据特征信息包括目标匹配字段和基准信息。
步骤203,在网络数据的各数据包中,获取目标匹配字段的内容信息与基准信息相匹配的数据包。
步骤204,发送获取到的各数据包。
本发明实施例中,分配设备获取网络数据和当前的第一分析类型,分配设备根据存储的分析类型与数据特征信息的对应关系,确定第一分析类型对应的第一数据特征信息,第一数据特征信息包括目标匹配字段和基准信息,分配设备在网络数据的各数据包中,获取目标匹配字段的内容信息与基准信息相匹配的数据包,分配设备将获取到的各数据包发送给分析服务器,分析服务器根据第一分析类型,对各数据包的网络数据进行统计分析,这样可以过滤掉不符合第一数据特征信息的网络数据,可以将网络数据的流量进行缩减,减小发生网络数据丢包的可能性,从而可以提高对网络数据进行统计分析的准确性。
实施例二
本发明实施例提供了一种网络流量的负载均衡方法,该方法可以由分配设备和分析服务器共同实现,该分配设备可以是用于为多个分析服务器分配网络数据的设备。
本发明实施例中,可以在分配设备中预先设置分析类型与数据特征信息的对应关系。
其中,数据特征信息可以是用于对网络数据中数据包进行筛选的信息。数据特征信息可以包括目标匹配字段和基准信息,目标匹配字段可以是数据包中的任意指定的字段,如目的端口字段、目的地址字段、源地址字段、命令字段等。基准信息可以为预先设定的要求数据包的目标匹配字段中的内容信息满足的条件信息,例如,目标匹配字段为目的端口字段时,基准信息可以为某指定的目的端口号(如80)。
在实施中,设置并存储分析类型与数据特征信息的对应关系的处理方式可以多种多样,以下提供了一种可选的处理方式,具体可以包括以下步骤:
步骤一,分配设备接收分析类型设置指令,该分析类型设置指令中携带有第二分析类型的标识和第二数据特征信息。
其中,第二分析类型是为了达到某分析目的而选择的一种分析类别,例如,第二分析类型可以是统计各网站在各时间段内的访问量,或者统计多个区域内的用户在网络中发表的信息中某指定信息(如某关键词)的出现频率等。
在实施中,技术人员可以对每种分析类型对应的数据特征信息进行设置,技术人员可以通过某管理终端,输入某分析类型(即第二分析类型)及对应的数据特征信息(第二数据特征信息),并操作管理终端向分配设备发送携带有第二分析类型的标识和第二数据特征信息的分析类型设置指令,分配设备接收分析类型设置指令。
步骤二,分配设备将第二分析类型和第二数据特征信息,存储到分析类型与数据特征信息的对应关系中。
在实施中,分配设备中可以设置有分析类型与数据特征信息的对应关系表,该对应关系表中可以具体存储分析类型的标识与对应的数据特征信息。分配设备在接收到分析类型设置指令后,可以提取分析类型设置指令中的第二分析类型的标识和第二数据特征信息,并存储到此对应关系表中。
下面将结合具体实施方式,对图1所示的处理流程进行详细的说明,内容可以如下:
步骤101,分配设备获取网络数据和当前的第一分析类型。
其中,第一分析类型可以是分析服务器当前正在进行的网络数据统计分析的类型,第一分析类型可以是与上述第二分析类型相同,也可以是与第二分析类型不同。
在实施中,如图3所示,在核心交换机的各条线路上设置有分光器,分配设备可以与一个或多个分光器连接。各分光器分别复制对应线路中的网络数据,并将复制的网络数据发送给分配设备,分配设备接收分光器发送的网络数据。同时,可以在分配设备中设置分析服务器当前的分析类型(即第一分析类型),在执行该步骤时,分配设备可以获取当前的第一分析类型。
可选地,分配设备可以有多台,每台分配设备分别与一个或多个分光器连接,为了减小分配设备的处理压力,可以在分光器与分配设备之间设置负载均衡设备,用于将网络数据均衡的分配给多台分配设备,具体可以为:负载均衡设备根据预设的负载均衡分配机制为多个分配设备分配网络数据,并分别发送给各分配设备
在实施中,负载均衡分配机制可以根据实际需求任意设置,例如,负载均衡设备接收到分光器发送的网络数据时,可以根据网络数据中各数据包的接收顺序,将各数据包轮流分配给各分配设备,或者,负载均衡设备可以根据当前各分配设备的负载情况,将数据包发送给负载较低的分配设备。
相应地,分配设备获取网络数据的过程可以为:分配设备接收负载均衡设备发送的网络数据。
步骤102,分配设备根据存储的分析类型与数据特征信息的对应关系,确定第一分析类型对应的第一数据特征信息,第一数据特征信息包括目标匹配字段和基准信息。
在实施中,可以使用获取到的第一分析类型,在存储的分析类型与数据特征信息的对应关系中进行查询,得到第一分析类型对应的第一数据特征信息。不同的分析类型可以对应不同的数据特征信息,例如,分析类型为统计各网站在各时间段内的访问量时,与该分析类型对应的数据特征信息的目标匹配字段可以为目的端口字段,此数据特征信息的基准信息可以为某指定的目的端口号。分析类型为统计多个区域内的用户在网络中发表的信息中某指定关键词的出现频率时,与该分析类型对应的数据特征信息可以如下:目标匹配字段1的内容信息满足基准信息1,或目标匹配字段2的内容信息满足基准信息2等,其中,目标匹配字段1可以为目的端口字段,基准信息1可以为80,目标匹配字段2可以为命令字段,基准信息2可以为某指定的命令标识,其中,命令标识可以是在发送信息时,客户端等生成的一种网络传输命令的关键词。
步骤103,分配设备在网络数据的各数据包中,获取目标匹配字段的内容信息与基准信息相匹配的数据包。
其中,网络数据中的各数据包中可以包含有多个字段,目标匹配字段是指定的其中的一个字段。
在实施中,对网络数据中的各数据包进行解析,提取各数据包的目标匹配字段的内容信息,将该内容信息与第一数据特征信息中的基准信息进行对比,确定目标匹配字段的内容信息与基准信息匹配的数据包。
以目标匹配字段为目的端口字段为例,基准信息为某指定的目的端口号,如80,分配设备提取各数据包的目的端口字段中的内容信息,将内容信息为80的数据包,作为与基准信息相匹配的数据包,并将内容信息不是80的数据包舍弃。
以目标匹配字段为命令字段为例,基准信息为某指定的命令标识,如A,分配设备提取各数据包的命令字段中的内容信息,将内容信息中包含A的数据包,作为与基准信息相匹配的数据包,并将内容信息中不包含A的数据包舍弃。
步骤104,分配设备将获取到的各数据包发送给分析服务器。
该步骤的处理方式可以多种多样,以下提供了一种可选的处理方式,具体可以包括以下步骤:
步骤一,分配设备根据预设分配算法,第一分析类型,以及获取到的网络数据中各数据包的传输参数,分别为各数据包确定对其进行统计分析的分析服务器对应的交换机端口标识。
其中,预设分配算法可以是用于为不同分析任务对应的数据包分配相应的分析服务器的算法。传输参数可以是用于数据包传输的参数,例如源地址、目的地址、源端口号、目的端口号等。
在实施中,基于当前分析服务器的分析类型(即第一分析类型),可以确定该分析类型所需的传输参数,例如,第一分析类型可以为统计各网站在各时间段内的访问量,则第一分析类型的传输参数可以为目的地址。以传输参数为目的地址为例,对步骤103获取到的网络数据中的各数据包进行解析,获取各数据包的目的地址,并计算各数据包的目的地址对应的特征值(如HASH(散列)值或CRC(Cyclical Redundancy Check,循环冗余校验)值等),将各数据包对应的特征值与分配设备总数相除得到余数,该余数可以作为各数据包对应的交换机端口标识,在这里,对交换机的各端口设置标识时,可以按照0、1、2、3…N-1的顺序进行编号,N为分配设备总数。例如,如果得到的特征值为181,且分配设备总数为90,利用181除以90得到的余数为1,则将余数1作为此数据包对应的交换机端口标识。
步骤二,分配设备将各数据包和各数据包对应的交换机端口标识发送给交换机。
步骤三,交换机根据各数据包对应的交换机端口标识,确定各数据包对应的转发端口,并将各数据包分别通过对应的转发端口发送给各分析服务器。
在实施中,如图3所示,多个分配设备和多个分析服务器可以分别与交换机连接。
步骤105,分析服务器根据第一分析类型,对各数据包的网络数据进行统计分析。
在实施中,分析服务器根据各数据包的数据内容,进行第一分析类型的统计分析。以统计各网站在各时间段内的访问量为例,分析服务器中可以预先设置有各网站的目的地址,分析服务器获取各数据包的目的地址,并对与预先设置的目的地址相同的目的地址对应的数据包进行统计分析,得到各网站在各时间段内的访问量。以第一分析类型为统计多个区域内的用户在网络中发表的信息中某指定关键词的出现频率为例,分析服务器中可以预先设置有多个区域的源地址,以及一个或多个关键词,分析服务器获取接收到的各数据包中的源地址,将各数据包中的源地址与预先设置的源地址进行比较,得到与预先设置的源地址相同的源地址对应的数据包,此时,分析服务器获取得到的数据包中用户发表的信息,并记录该信息中上述关键词的出现次数,进而计算出关键词的出现频率。
本发明实施例中,分配设备获取网络数据和当前的第一分析类型,分配设备根据存储的分析类型与数据特征信息的对应关系,确定第一分析类型对应的第一数据特征信息,第一数据特征信息包括目标匹配字段和基准信息,分配设备在网络数据的各数据包中,获取目标匹配字段的内容信息与基准信息相匹配的数据包,分配设备将获取到的各数据包发送给分析服务器,分析服务器根据第一分析类型,对各数据包的网络数据进行统计分析,这样可以过滤掉不符合第一数据特征信息的网络数据,可以将网络数据的流量进行缩减,减小发生网络数据丢包的可能性,从而可以提高对网络数据进行统计分析的准确性。
实施例三
本发明实施例提供了一种网络流量的负载均衡方法,该方法的执行主体可以是分配设备,该分配设备可以是用于为多个分析服务器分配网络数据的设备。
本发明实施例中,可以在分配设备中预先设置分析类型与数据特征信息的对应关系。
在实施中,设置并存储分析类型与数据特征信息的对应关系的处理方式可以多种多样,以下提供了一种可选的处理方式,具体可以包括以下步骤:
步骤一,接收分析类型设置指令,该分析类型设置指令中携带有第二分析类型的标识和第二数据特征信息。
步骤二,将第二分析类型和第二数据特征信息,存储到分析类型与数据特征信息的对应关系中。
上述步骤一和步骤二的具体实施过程可以参见实施例二中的相关内容执行,在此不再赘述。
下面将结合具体实施方式,对图2所示的处理流程进行详细的说明,内容可以如下:
步骤201,获取网络数据和当前的第一分析类型。
上述步骤201的具体实施过程可以参见实施例二中的相关内容执行,在此不再赘述。
可选地,分配设备可以有多台,可以在分光器与分配设备之间设置负载均衡设备,用于将网络数据均衡的分配给多台分配设备,则分配设备获取的网络数据的过程可以包括:接收通过预设的负载均衡分配机制为本端分配并发送给本端的网络数据。该过程的具体实施方式可以参见实施例二中的相关内容执行,在此不再赘述。
步骤202,根据存储的分析类型与数据特征信息的对应关系,确定第一分析类型对应的第一数据特征信息,第一数据特征信息包括目标匹配字段和基准信息。
步骤203,在网络数据的各数据包中,获取目标匹配字段的内容信息与基准信息相匹配的数据包。
步骤204,发送获取到的各数据包。
该步骤的处理方式可以多种多样,以下提供了一种可选的处理方式,具体可以包括以下步骤:
步骤一,根据预设分配算法,第一分析类型,以及获取到的各数据包的传输参数,分别为各数据包确定对应的交换机端口标识。
上述步骤一的具体实施过程可以参见实施例二中的相关内容执行,在此不再赘述。
步骤二,将各数据包和各数据包对应的交换机端口标识发送给交换机。
在实施中,如图3所示,多个分配设备和多个分析服务器可以分别与交换机连接,交换机在接收到分配设备发送的数据包和各数据包对应的交换机端口标识后,可以根据各数据包对应的交换机端口标识,确定各数据包对应的转发端口,将各数据包通过其对应的转发端口转发给相应的分析服务器。分析服务器根据各数据包的数据内容,进行第一分析类型的统计分析。
本发明实施例中,分配设备获取网络数据和当前的第一分析类型,分配设备根据存储的分析类型与数据特征信息的对应关系,确定第一分析类型对应的第一数据特征信息,第一数据特征信息包括目标匹配字段和基准信息,分配设备在网络数据的各数据包中,获取目标匹配字段的内容信息与基准信息相匹配的数据包,分配设备将获取到的各数据包发送给分析服务器,分析服务器根据第一分析类型,对各数据包的网络数据进行统计分析,这样可以过滤掉不符合第一数据特征信息的网络数据,可以将网络数据的流量进行缩减,减小发生网络数据丢包的可能性,从而可以提高对网络数据进行统计分析的准确性。
实施例四
本发明实施例提供了一种网络流量的负载均衡方法,该方法可以由分配设备、交换机和分析服务器共同实现,该分配设备可以是用于为多个分析服务器分配网络数据的设备。
本发明实施例中,可以在分配设备中预先设置分析类型与数据特征信息的对应关系,该实施过程可以参见实施例二中的相关内容,在此不再赘述。
下面将结合具体实施方式,对图4所示的处理流程进行详细的说明,内容可以如下:
步骤401,分配设备获取网络数据和当前的第一分析类型。
在实施中,如图5所示,在核心交换机的各条线路上设置有分光器,第一交换机可以与一个或多个分光器连接。各分光器分别复制对应线路中的网络数据,并将复制的网络数据发送给第一交换机,第一交换机将得到的网络数据转发给分配设备,分配设备接收第一交换机发送的网络数据。同时,可以在分配设备中设置分析服务器当前的分析类型(即第一分析类型),在执行该步骤时,分配设备可以获取当前的第一分析类型。
步骤402,分配设备根据存储的分析类型与数据特征信息的对应关系,确定第一分析类型对应的第一数据特征信息,第一数据特征信息包括目标匹配字段和基准信息。
步骤403,分配设备在网络数据的各数据包中,获取目标匹配字段的内容信息与基准信息相匹配的数据包。
步骤404,分配设备根据预设分配算法,第一分析类型,以及获取到的网络数据中各数据包的传输参数,分别为各数据包确定对其进行统计分析的分析服务器对应的交换机端口标识。
步骤405,分配设备将各数据包和各数据包对应的交换机端口标识发送给第二交换机。
步骤406,第二交换机根据各数据包对应的交换机端口标识,确定各数据包对应的转发端口,并将各数据包分别通过对应的转发端口发送给各分析服务器。
在实施中,如图5所示,多个分配设备和多个分析服务器可以分别与第二交换机连接。
步骤407,分析服务器根据第一分析类型,对各数据包的网络数据进行统计分析。
上述步骤402~407的具体实施过程可以参见实施例二中的相关内容,在此不再赘述。
本发明实施例中,分配设备获取网络数据和当前的第一分析类型,分配设备根据存储的分析类型与数据特征信息的对应关系,确定第一分析类型对应的第一数据特征信息,第一数据特征信息包括目标匹配字段和基准信息,分配设备在网络数据的各数据包中,获取目标匹配字段的内容信息与基准信息相匹配的数据包,分配设备将获取到的各数据包发送给分析服务器,分析服务器根据第一分析类型,对各数据包的网络数据进行统计分析,这样可以过滤掉不符合第一数据特征信息的网络数据,可以将网络数据的流量进行缩减,减小发生网络数据丢包的可能性,从而可以提高对网络数据进行统计分析的准确性。
实施例五
基于相同的技术构思,本发明实施例还提供了一种网络流量的负载均衡系统,如图6所示,该系统包括:分配设备610和分析服务器620,其中:
分配设备610,用于获取网络数据和当前的第一分析类型;根据存储的分析类型与数据特征信息的对应关系,确定第一分析类型对应的第一数据特征信息,第一数据特征信息包括目标匹配字段和基准信息;在网络数据的各数据包中,获取目标匹配字段的内容信息与基准信息相匹配的数据包;将获取到的各数据包发送给分析服务器;
分析服务器620,用于根据第一分析类型,对各数据包的网络数据进行统计分析。
可选地,该系统还包括:
负载均衡设备,用于根据预设的负载均衡分配机制为多个分配设备分配网络数据,并分别发送给各分配设备;
分配设备610,用于:
接收负载均衡设备发送的网络数据。
可选地,该系统还包括交换机;
分配设备610,用于根据预设分配算法,第一分析类型,以及获取到的各数据包的传输参数,分别为各数据包确定对其进行统计分析的分析服务器对应的交换机端口标识;将各数据包和各数据包对应的交换机端口标识发送给交换机;
交换机,用于根据各数据包对应的交换机端口标识,确定各数据包对应的转发端口,并将各数据包分别通过对应的转发端口发送给各分析服务器。
可选地,分配设备610还用于:
接收分析类型设置指令,分析类型设置指令中携带有第二分析类型的标识和第二数据特征信息;
将第二分析类型和第二数据特征信息,存储到分析类型与数据特征信息的对应关系中。
本发明实施例中,分配设备获取网络数据和当前的第一分析类型,分配设备根据存储的分析类型与数据特征信息的对应关系,确定第一分析类型对应的第一数据特征信息,第一数据特征信息包括目标匹配字段和基准信息,分配设备在网络数据的各数据包中,获取目标匹配字段的内容信息与基准信息相匹配的数据包,分配设备将获取到的各数据包发送给分析服务器,分析服务器根据第一分析类型,对各数据包的网络数据进行统计分析,这样可以过滤掉不符合第一数据特征信息的网络数据,可以将网络数据的流量进行缩减,减小发生网络数据丢包的可能性,从而可以提高对网络数据进行统计分析的准确性。
实施例六
基于相同的技术构思,本发明实施例还提供了一种网络流量的负载均衡装置,如图7所示,该装置包括:
第一获取模块710,用于获取网络数据和当前的第一分析类型;
确定模块720,用于根据存储的分析类型与数据特征信息的对应关系,确定第一分析类型对应的第一数据特征信息,第一数据特征信息包括目标匹配字段和基准信息;
第二获取模块730,用于在网络数据的各数据包中,获取目标匹配字段的内容信息与基准信息相匹配的数据包;
发送模块740,用于发送获取到的各数据包。
可选地,发送模块740,用于:
根据预设分配算法,第一分析类型,以及获取到的各数据包的传输参数,分别为各数据包确定对应的交换机端口标识;
将各数据包和各数据包对应的交换机端口标识发送给交换机。
可选地,该装置还包括:
接收模块,用于接收分析类型设置指令,分析类型设置指令中携带有第二分析类型的标识和第二数据特征信息;
存储模块,用于将第二分析类型和第二数据特征信息,存储到分析类型与数据特征信息的对应关系中。
可选地,第一获取模块710,用于:
接收通过预设的负载均衡分配机制为本端分配并发送给本端的网络数据。
本发明实施例中,分配设备获取网络数据和当前的第一分析类型,分配设备根据存储的分析类型与数据特征信息的对应关系,确定第一分析类型对应的第一数据特征信息,第一数据特征信息包括目标匹配字段和基准信息,分配设备在网络数据的各数据包中,获取目标匹配字段的内容信息与基准信息相匹配的数据包,分配设备将获取到的各数据包发送给分析服务器,分析服务器根据第一分析类型,对各数据包的网络数据进行统计分析,这样可以过滤掉不符合第一数据特征信息的网络数据,可以将网络数据的流量进行缩减,减小发生网络数据丢包的可能性,从而可以提高对网络数据进行统计分析的准确性。
需要说明的是:上述实施例提供的网络流量的负载均衡装置在进行网络流量的负载均衡时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将分配设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的网络流量的负载均衡装置与网络流量的负载均衡方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
实施例四
请参考图8,其示出了本发明实施例所涉及的分配设备结构示意图,该分配设备可以用于实施上述实施例中提供的网络流量的负载均衡方法。具体来讲:
分配设备800可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上中央处理器(Central Processing Units,CPU)822(例如,一个或一个以上处理器)和存储器832,一个或一个以上存储应用程序842或数据844的存储介质830(例如一个或一个以上海量存储设备)。其中,存储器832和存储介质830可以是短暂存储或持久存储。存储在存储介质830的程序可以包括一个或一个以上模块(图示未示出),每个模块可以包括对分配设备中的一系列指令操作。更进一步地,中央处理器822可以设置为与存储介质830通信,在分配设备800上执行存储介质830中的一系列指令操作。分配设备800还可以包括一个或一个以上电源826,一个或一个以上有线或无线网络接口850,一个或一个以上输入输出接口858,一个或一个以上键盘856,和/或,一个或一个以上操作系统841,例如Windows ServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM等等。具体在本实施例中,分配设备包括有存储器,以及一个或一个以上的程序,其中一个或者一个以上程序存储于存储器中,且一个或者一个以上程序可以包括一个或一个以上模块,且每个模块可以包括对分配设备中的一系列指令操作,且经配置以由一个或者一个以上处理器执行该一个或者一个以上程序包含用于进行以下操作的指令:
获取网络数据和当前的第一分析类型;
根据存储的分析类型与数据特征信息的对应关系,确定第一分析类型对应的第一数据特征信息,第一数据特征信息包括目标匹配字段和基准信息;
在网络数据的各数据包中,获取目标匹配字段的内容信息与基准信息相匹配的数据包;
发送获取到的各数据包。
可选地,发送获取到的各数据包,包括:
根据预设分配算法,第一分析类型,以及获取到的各数据包的传输参数,分别为各数据包确定对应的交换机端口标识;
将各数据包和各数据包对应的交换机端口标识发送给交换机。
可选地,该方法还包括:
接收分析类型设置指令,分析类型设置指令中携带有第二分析类型的标识和第二数据特征信息;
将第二分析类型和第二数据特征信息,存储到分析类型与数据特征信息的对应关系中。
可选地,获取网络数据,包括:
接收通过预设的负载均衡分配机制为本端分配并发送给本端的网络数据。
本发明实施例中,分配设备获取网络数据和当前的第一分析类型,分配设备根据存储的分析类型与数据特征信息的对应关系,确定第一分析类型对应的第一数据特征信息,第一数据特征信息包括目标匹配字段和基准信息,分配设备在网络数据的各数据包中,获取目标匹配字段的内容信息与基准信息相匹配的数据包,分配设备将获取到的各数据包发送给分析服务器,分析服务器根据第一分析类型,对各数据包的网络数据进行统计分析,这样可以过滤掉不符合第一数据特征信息的网络数据,可以将网络数据的流量进行缩减,减小发生网络数据丢包的可能性,从而可以提高对网络数据进行统计分析的准确性。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (16)

1.一种网络流量的负载均衡方法,其特征在于,所述方法包括:
分配设备获取网络数据和当前的第一分析类型;
所述分配设备根据存储的分析类型与数据特征信息的对应关系,确定所述第一分析类型对应的第一数据特征信息,所述第一数据特征信息包括目标匹配字段和基准信息;
所述分配设备在所述网络数据的各数据包中,获取所述目标匹配字段的内容信息与所述基准信息相匹配的数据包;
所述分配设备将获取到的各数据包发送给分析服务器;
所述分析服务器根据所述第一分析类型,对所述各数据包的网络数据进行统计分析。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
负载均衡设备根据预设的负载均衡分配机制为多个分配设备分配网络数据,并分别发送给各分配设备;
所述分配设备获取网络数据,包括:
所述分配设备接收所述负载均衡设备发送的网络数据。
3.根据权利要求1所述的方法,其特征在于,所述分配设备将获取到的各数据包发送给分析服务器,包括:
所述分配设备根据预设分配算法,所述第一分析类型,以及获取到的各数据包的传输参数,分别为所述各数据包确定对其进行统计分析的分析服务器对应的交换机端口标识;
所述分配设备将所述各数据包和所述各数据包对应的交换机端口标识发送给交换机;
所述交换机根据所述各数据包对应的交换机端口标识,确定所述各数据包对应的转发端口,并将所述各数据包分别通过对应的转发端口发送给各分析服务器。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
所述分配设备接收分析类型设置指令,所述分析类型设置指令中携带有第二分析类型的标识和第二数据特征信息;
所述分配设备将所述第二分析类型和所述第二数据特征信息,存储到所述分析类型与数据特征信息的对应关系中。
5.一种网络流量的负载均衡方法,其特征在于,所述方法包括:
获取网络数据和当前的第一分析类型;
根据存储的分析类型与数据特征信息的对应关系,确定所述第一分析类型对应的第一数据特征信息,所述第一数据特征信息包括目标匹配字段和基准信息;
在所述网络数据的各数据包中,获取所述目标匹配字段的内容信息与所述基准信息相匹配的数据包;
发送获取到的各数据包。
6.根据权利要求5所述的方法,其特征在于,所述发送获取到的各数据包,包括:
根据预设分配算法,所述第一分析类型,以及获取到的各数据包的传输参数,分别为所述各数据包确定对应的交换机端口标识;
将所述各数据包和所述各数据包对应的交换机端口标识发送给交换机。
7.根据权利要求5所述的方法,其特征在于,所述方法还包括:
接收分析类型设置指令,所述分析类型设置指令中携带有第二分析类型的标识和第二数据特征信息;
将所述第二分析类型和所述第二数据特征信息,存储到所述分析类型与数据特征信息的对应关系中。
8.根据权利要求5所述的方法,其特征在于,所述获取网络数据,包括:
接收通过预设的负载均衡分配机制为本端分配并发送给本端的网络数据。
9.一种网络流量的负载均衡系统,其特征在于,所述系统包括:分配设备和分析服务器,其中:
所述分配设备,用于获取网络数据和当前的第一分析类型;根据存储的分析类型与数据特征信息的对应关系,确定所述第一分析类型对应的第一数据特征信息,所述第一数据特征信息包括目标匹配字段和基准信息;在所述网络数据的各数据包中,获取所述目标匹配字段的内容信息与所述基准信息相匹配的数据包;将获取到的各数据包发送给所述分析服务器;
所述分析服务器,用于根据所述第一分析类型,对所述各数据包的网络数据进行统计分析。
10.根据权利要求9所述的系统,其特征在于,所述系统还包括:
负载均衡设备,用于根据预设的负载均衡分配机制为多个分配设备分配网络数据,并分别发送给各分配设备;
所述分配设备,用于:
接收所述负载均衡设备发送的网络数据。
11.根据权利要求9所述的系统,其特征在于,所述系统还包括交换机;
所述分配设备,用于根据预设分配算法,所述第一分析类型,以及获取到的各数据包的传输参数,分别为所述各数据包确定对其进行统计分析的分析服务器对应的交换机端口标识;将所述各数据包和所述各数据包对应的交换机端口标识发送给所述交换机;
所述交换机,用于根据所述各数据包对应的交换机端口标识,确定所述各数据包对应的转发端口,并将所述各数据包分别通过对应的转发端口发送给各分析服务器。
12.根据权利要求9所述的系统,其特征在于,所述分配设备还用于:
接收分析类型设置指令,所述分析类型设置指令中携带有第二分析类型的标识和第二数据特征信息;
将所述第二分析类型和所述第二数据特征信息,存储到所述分析类型与数据特征信息的对应关系中。
13.一种网络流量的负载均衡装置,其特征在于,所述装置包括:
第一获取模块,用于获取网络数据和当前的第一分析类型;
确定模块,用于根据存储的分析类型与数据特征信息的对应关系,确定所述第一分析类型对应的第一数据特征信息,所述第一数据特征信息包括目标匹配字段和基准信息;
第二获取模块,用于在所述网络数据的各数据包中,获取所述目标匹配字段的内容信息与所述基准信息相匹配的数据包;
发送模块,用于发送获取到的各数据包。
14.根据权利要求13所述的装置,其特征在于,所述发送模块,用于:
根据预设分配算法,所述第一分析类型,以及获取到的各数据包的传输参数,分别为所述各数据包确定对应的交换机端口标识;
将所述各数据包和所述各数据包对应的交换机端口标识发送给交换机。
15.根据权利要求13所述的装置,其特征在于,所述装置还包括:
接收模块,用于接收分析类型设置指令,所述分析类型设置指令中携带有第二分析类型的标识和第二数据特征信息;
存储模块,用于将所述第二分析类型和所述第二数据特征信息,存储到所述分析类型与数据特征信息的对应关系中。
16.根据权利要求13所述的装置,其特征在于,所述第一获取模块,用于:
接收通过预设的负载均衡分配机制为本端分配并发送给本端的网络数据。
CN201410243343.0A 2014-06-03 2014-06-03 网络流量的负载均衡方法和装置 Active CN104052679B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410243343.0A CN104052679B (zh) 2014-06-03 2014-06-03 网络流量的负载均衡方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410243343.0A CN104052679B (zh) 2014-06-03 2014-06-03 网络流量的负载均衡方法和装置

Publications (2)

Publication Number Publication Date
CN104052679A true CN104052679A (zh) 2014-09-17
CN104052679B CN104052679B (zh) 2016-05-11

Family

ID=51505061

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410243343.0A Active CN104052679B (zh) 2014-06-03 2014-06-03 网络流量的负载均衡方法和装置

Country Status (1)

Country Link
CN (1) CN104052679B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106209672A (zh) * 2016-07-21 2016-12-07 湖南智卓创新金融电子有限公司 一种网络负载均衡的方法及系统
CN106850349A (zh) * 2017-02-08 2017-06-13 杭州迪普科技股份有限公司 一种特征信息的提取方法及装置
CN108322403A (zh) * 2018-01-31 2018-07-24 杭州迪普科技股份有限公司 一种Netflow流量分流方法及装置
CN110768916A (zh) * 2019-10-22 2020-02-07 新华三信息安全技术有限公司 一种端口统计参数通告方法以及设备
CN110798402A (zh) * 2019-10-30 2020-02-14 腾讯科技(深圳)有限公司 业务消息处理方法、装置、设备及存储介质
CN111181799A (zh) * 2019-10-14 2020-05-19 腾讯科技(深圳)有限公司 一种网络流量监控方法及设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102932269A (zh) * 2012-11-21 2013-02-13 无锡城市云计算中心有限公司 负载均衡的实现方法和装置
EP2658176A1 (en) * 2012-04-23 2013-10-30 Huawei Technologies Co., Ltd Method, apparatus and system for flow measurment

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2658176A1 (en) * 2012-04-23 2013-10-30 Huawei Technologies Co., Ltd Method, apparatus and system for flow measurment
CN102932269A (zh) * 2012-11-21 2013-02-13 无锡城市云计算中心有限公司 负载均衡的实现方法和装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106209672A (zh) * 2016-07-21 2016-12-07 湖南智卓创新金融电子有限公司 一种网络负载均衡的方法及系统
CN106209672B (zh) * 2016-07-21 2019-04-09 湖南智卓创新金融电子有限公司 一种网络负载均衡的方法及系统
CN106850349A (zh) * 2017-02-08 2017-06-13 杭州迪普科技股份有限公司 一种特征信息的提取方法及装置
CN106850349B (zh) * 2017-02-08 2020-01-03 杭州迪普科技股份有限公司 一种特征信息的提取方法及装置
CN108322403A (zh) * 2018-01-31 2018-07-24 杭州迪普科技股份有限公司 一种Netflow流量分流方法及装置
CN108322403B (zh) * 2018-01-31 2022-03-25 杭州迪普科技股份有限公司 一种Netflow流量分流方法及装置
CN111181799A (zh) * 2019-10-14 2020-05-19 腾讯科技(深圳)有限公司 一种网络流量监控方法及设备
CN110768916A (zh) * 2019-10-22 2020-02-07 新华三信息安全技术有限公司 一种端口统计参数通告方法以及设备
CN110768916B (zh) * 2019-10-22 2021-11-02 新华三信息安全技术有限公司 一种端口统计参数通告方法以及设备
CN110798402A (zh) * 2019-10-30 2020-02-14 腾讯科技(深圳)有限公司 业务消息处理方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN104052679B (zh) 2016-05-11

Similar Documents

Publication Publication Date Title
CN104346433B (zh) 用于数据库查询操作的可缩放加速的方法和系统
CN104052679A (zh) 网络流量的负载均衡方法和装置
US8578393B1 (en) Log message collection employing on-demand loading of message translation libraries
US20160373407A1 (en) Regional firewall clustering in a networked computing environment
US8595839B2 (en) Selecting one of a plurality of scanner nodes to perform scan operations for an interface node receiving a file request
US9331915B1 (en) Dynamic network traffic mirroring
CN108183975A (zh) 一种域名解析的方法和系统
US9888338B2 (en) Cloud based emergency wireless link
US10747763B2 (en) Efficient multiple aggregation distinct processing
CN109151025B (zh) 基于url的负载均衡方法、装置、计算机存储介质及设备
Lockwood et al. Implementing ultra low latency data center services with programmable logic
CN106797384B (zh) 以不同的协议将请求路由到集群中的相同端点
CN109981745A (zh) 一种日志文件处理方法及服务器
CN110620722B (zh) 一种订单处理的方法和装置
CN112445700A (zh) 测试方法和装置
CN109753424B (zh) Ab测试的方法和装置
US20160028628A1 (en) Communication system, control apparatus, address allocation method, and program
CN110545230B (zh) 用于转发vxlan报文的方法和装置
US9767128B2 (en) Adaptive query processor for query systems with limited capabilities
CN113179295B (zh) 报文处理方法及装置
CN108494700B (zh) 跨链路数据传输方法、装置、计算机设备及存储介质
CN112436951A (zh) 一种预知流量路径的方法和装置
US10560527B2 (en) Network service chains using hardware logic devices in an information handling system
CN115514771A (zh) 数据传输方法、装置、电子设备及计算机可读存储介质
US11003512B2 (en) System and method for optimizing bulk data operation

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20190729

Address after: Shenzhen Futian District City, Guangdong province 518000 Zhenxing Road, SEG Science Park 2 East Room 403

Co-patentee after: Tencent cloud computing (Beijing) limited liability company

Patentee after: Tencent Technology (Shenzhen) Co., Ltd.

Address before: Shenzhen Futian District City, Guangdong province 518000 Zhenxing Road, SEG Science Park 2 East Room 403

Patentee before: Tencent Technology (Shenzhen) Co., Ltd.