CN105515884B

CN105515884B - 一种统计流量的方法和装置

Info

Publication number: CN105515884B
Application number: CN201410494053.3A
Authority: CN
Inventors: 余子军; 刘贤彬
Original assignee: Tencent Technology Shenzhen Co Ltd
Current assignee: Tencent Technology Shenzhen Co Ltd; Tencent Cloud Computing Beijing Co Ltd
Priority date: 2014-09-24
Filing date: 2014-09-24
Publication date: 2019-01-22
Anticipated expiration: 2034-09-24
Also published as: CN105515884A

Abstract

本发明公开了一种统计流量的方法和装置，属于互联网技术领域。所述方法包括：获取各业务服务器在目标时间段的流量，获取预先设置的不同业务服务器为相同子区域分担数据包的比例关系信息，根据预先存储的业务服务器与子区域的对应关系、所述比例关系信息、以及所述各业务服务器在目标时间段的流量，进行计算确定各子区域在所述目标时间段的流量。采用本发明，可以节约业务服务器的处理资源。

Description

一种统计流量的方法和装置

技术领域

本发明涉及互联网技术领域，特别涉及一种流量统计的方法和装置。

背景技术

随着互联网技术的发展，互联网的覆盖区域越来越广，网站可以提供网络服务的区域也越来越大。网站可以将自身的服务区域划分为多个子区域，并设置有多个业务服务器，每个业务服务器可以为多个子区域提供网络服务，每个子区域可以有多台业务服务器为其提供网络服务。

在网络侧，网站的运营商为了达到合理调配业务服务器资源的目的，可以对用户访问的流量进行统计，流量即为服务器传输的数据量。用户通过终端访问业务服务器时，业务服务器可以获取终端的IP(Internet Protocol，网络之间互连的协议)地址，进而确定各IP地址对应的子区域。业务服务器可以统计自身的流量中各子区域的流量，这样，可以得到每个业务服务器的流量中各子区域的流量，然后，对于任一子区域，将该子区域在各业务服务器中对应的流量相加，便得到该子区域对应的总流量。

在实现本发明的过程中，发明人发现现有技术至少存在以下问题：

在获取每个子区域的总流量的过程中，业务服务器需要根据每个消息对应的终端IP，确定相应的子区域，以统计该业务服务器的流量中对应各子区域的流量，这样会占用业务服务器大量的处理资源。

发明内容

为了解决现有技术的问题，本发明实施例提供了一种统计流量的方法和装置。所述技术方案如下：

第一方面，提供了一种统计流量的方法，所述方法包括：

获取各业务服务器在目标时间段的流量；

获取预先设置的不同业务服务器为相同子区域分担数据包的比例关系信息；

根据预先存储的业务服务器与子区域的对应关系、所述比例关系信息、以及所述各业务服务器在目标时间段的流量，进行计算确定各子区域在所述目标时间段的流量。

第二方面，提供了一种统计流量的装置，所述装置包括：

获取模块，用于获取各服务器在目标时间段的流量；获取预先设置的不同服务器为相同子区域分担数据包的比例关系信息；

确定模块，用于根据预先存储的服务器与子区域的对应关系、所述比例关系信息、以及所述各服务器在目标时间段的流量，进行计算确定各子区域在所述目标时间段的流量。

本发明实施例提供的技术方案带来的有益效果是：

本发明实施例中，获取各业务服务器在目标时间段的流量，获取预先设置的不同业务服务器为相同子区域分担数据包的比例关系信息，根据预先存储的业务服务器与子区域的对应关系、所述比例关系信息、以及所述各业务服务器在目标时间段的流量，进行计算确定各子区域在所述目标时间段的流量。这样，在确定各子区域在所述目标时间段的流量的过程中，业务服务器只需要记录自身在目标时间段的流量，无需根据每个消息对应的终端IP，确定相应的子区域，从而，可以节约业务服务器的处理资源。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种统计流量的方法流程图；

图2是本发明实施例提供的一种系统框架图；

图3是本发明实施例提供的一种统计流量的装置结构示意图；

图4是本发明实施例提供的一种统计服务器的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

实施例一

本发明实施例提供了一种统计流量的方法，如图1所示，该方法的处理流程可以包括如下的步骤：

步骤101，获取各业务服务器在目标时间段的流量。

步骤102，获取预先设置的不同业务服务器为相同子区域分担数据包的比例关系信息。

步骤103，根据预先存储的业务服务器与子区域的对应关系、比例关系信息、以及各业务服务器在目标时间段的流量，进行计算确定各子区域在目标时间段的流量。

本发明实施例中，获取各业务服务器在目标时间段的流量，获取预先设置的不同业务服务器为相同子区域分担数据包的比例关系信息，根据预先存储的业务服务器与子区域的对应关系、比例关系信息、以及各业务服务器在目标时间段的流量，进行计算确定各子区域在目标时间段的流量，这样，在确定各子区域在目标时间段的流量的过程中，业务服务器只需要记录自身在目标时间段的流量，从而，可以节约业务服务器的处理资源。

实施例二

本发明实施例提供了一种统计流量的方法，该方法的执行主体可以为某个业务服务器，还可以为独立的统计服务器。其中，统计服务器可以是用于统计各子区域在目标时间段的流量的服务器。如图2所示，为本发明实施例的系统框架图，其中包括统计服务器和业务服务器。

下面将结合具体实施方式，对图1所示的处理流程进行详细的说明，内容可以如下：

步骤101，获取各业务服务器在目标时间段的流量。

其中，业务服务器可以是用于向用户提供业务功能的服务器。目标时间段可以是进行流量统计的单位时长的时间段，如5分钟。

在实施中，当用户需要在终端浏览某网站中的信息时，可以在终端访问该网站的首页，然后可以在首页中点击想要浏览的信息对应的链接，终端则会检测到对应该图标的点击指令，此时可以触发终端向业务服务器发送数据请求消息，业务服务器可以接收该数据请求消息，并将相应的数据返回给终端，终端可以接收该数据，并进行相应的显示。业务服务器在接收数据请求消息，并将相应的数据返回给终端的过程中，会进行数据传输，传输的数据量即为流量，业务服务器可以对传输的数据量进行记录。

业务服务器在接收用户的各种数据请求消息或反馈数据的过程中，都会进行数据传输，业务服务器可以统计自身在某个时间段(即目标时间段)内传输的数据量，并将统计结果发送给统计服务器。该网站的任一业务服务器都可以进行上述统计处理，并将统计结果发送给统计服务器。统计服务器可以接收各业务服务器发送的统计结果，并进行记录。

可选的，可以设置流量监测周期，相应的，步骤101的处理过程可以如下：当达到预设的流量监测周期时，获取各业务服务器在目标时间段的流量。

在实施中，统计服务器可以预先设置流量监测周期，流量监测周期的时长可以为目标时间段的时长。例如，统计服务器可以预先设置流量监测周期为5分钟，并通知给各业务服务器，则各业务服务器可以统计5分钟内产生的流量，并将统计结果发送给统计服务器，之后可以重新开始统计，每达到5分钟时，各业务服务器将5分钟内的流量统计结果发送给统计服务器。

其中，比例关系信息是用于反映不同业务服务器为同一子区域分担数据包的比例的信息，如比例关系信息可以是具体的比例值，或者也可以是数据包的分配机制的信息。

在实施中，不同业务服务器的处理能力可能存在不同，因此，当多个业务服务器为同一子区域提供服务时，可以预先设置业务服务器分担的数据包的比例关系。网络中可以设置有分配服务器，用于向终端提供业务服务器的服务器地址。当终端向分配服务器发送数据请求消息时，分配服务器可以根据数据请求消息所属的区域，按照上述比例关系，给数据请求消息分配相应的业务服务器，并向终端发送该业务服务器的服务器地址。

例如，有3个业务服务器为同一子区域(如北京)提供服务，且根据业务服务器的处理能力，设置这3个业务服务器分担数据包的比例关系为1∶2∶1，分配服务器可以给接收到的第一个数据请求消息分配第一业务服务器的服务器地址，并向第一个数据请求消息对应的终端发送第一业务服务器的服务器地址，给接收到的第二个数据请求消息和第三个数据请求消息分配第二业务服务器的服务器地址，并向第二个数据请求消息和第三个数据请求消息对应的终端分别发送第二业务服务器的服务器地址，给接收到的第四个数据请求消息分配第三业务服务器的服务器地址，并向第四个数据请求消息对应的终端发送第三业务服务器的服务器地址，以此类推。

终端接收到服务器地址后，可以访问服务器地址对应的业务服务器。因为每个业务服务器接收到的数据包的数量也非常大，这种情况下，可以近似认为多个业务服务器为某子区域分担数据包的比例关系，即为这些业务服务器为该子区域分担流量的比例关系。分配服务器可以将自身存储的比例关系信息发送给统计服务器，统计服务器可以接收该比例关系信息，并将比例关系信息进行存储，以便后续使用。

可选的，可以设置不同业务服务器为相同子区域分担数据包的比例关系信息为等比例分配。

在实施中，可以将业务服务器设置为相同型号的服务器，则这些业务服务器的处理能力相同，相应的，可以将这些业务服务器分担数据包的比例关系设置为等比例分配，分配服务器可以采用轮询的方法，向终端发送服务器地址。例如，有3个业务服务器为某个子区域(如北京)提供服务，且设置这3个业务服务器为北京分担数据包的比例关系为1∶1∶1，分配服务器可以给接收到的第一个数据请求消息分配第一业务服务器的服务器地址，并向第一个数据请求消息对应的终端发送第一业务服务器的服务器地址，给接收到的第二个数据请求消息分配第二业务服务器的服务器地址，并向第二个数据请求消息对应的终端发送第二业务服务器的服务器地址，给接收到的第三个数据请求消息分配第三业务服务器的服务器地址，并向第三个数据请求消息对应的终端发送第三业务服务器的服务器地址，以此类推。

在实施中，统计服务器可以预先设置各子区域的标识，并确定为每个子区域提供服务的业务服务器，然后对于任一子区域，将该子区域的标识与为该子区域提供服务的业务服务器的服务器标识进行对应的存储。从而，建立起业务服务器与子区域的对应关系，在该对应关系中，每个业务服务器可以对应一个或多个子区域，每个子区域可以对应一个或多个业务服务器。

可选的，可以通过建立方程组来计算各子区域在目标时间段的流量，相应的，步骤103的处理过程可以如下：根据预先存储的业务服务器与子区域的对应关系，确定每个业务服务器对应的一个或多个子区域；根据比例关系信息、每个业务服务器对应的一个或多个子区域、以及每个业务服务器在目标时间段的流量，以每个子区域在目标时间段的流量为未知参数，建立对应每个业务服务器的方程，组成方程组；求解该方程组，确定各子区域在目标时间段的流量。

在实施中，统计服务器可以在存储的对应关系中，确定各业务服务器地址对应的子区域的标识，从而对于每个业务服务器可以确定其对应的一个或多个子区域，同时，对于每个子区域可以确定其对应的一个或多个业务服务器。将每个子区域在目标时间段的流量作为未知参数，如x_i。对于某个子区域，获取其对应的所有业务服务器，如果该子区域只对应有一个业务服务器，则该业务服务器的流量中属于该子区域的流量为x_i，如果该子区域对应有多个业务服务器，则通过上述的比例关系信息获取这些服务器的为同一子区域分配流量的比例，进而可以确定此多个业务服务器中每个业务服务器的流量中属于该子区域的流量的表达式，例如，某子区域对应有三个业务服务器，相应的比例关系为1∶2∶3，那么，三个业务服务器的流量中属于该子区域的流量的表达式可以分别为x_i/6、x_i/3、x_i/2。通过上述方式，对于每个业务服务器，可以确定其流量中属于其服务的每个子区域的流量的表达式，将该业务服务器对应的各子区域的流量表达式相加即等于该业务服务器的流量，这样，便可以得出该业务服务器对应的方程，也即，可以得出每个业务服务器对应的方程，这些方程可以组成方程组。求解该方程组即可得到各子区域在目标时间段的流量。

下面以比例关系信息为等比例分配为例，对建立方程组和求解的过程进行详细的说明。

假设某网站设置有P个业务服务器，分别记为：m₁，m₂，…，m_p。该网站服务的区域中可以划分为n个子区域，分别记为：e₁，e₂，…，e_n。

则统计服务器可以建立业务服务器与子区域的对应关系，可以对应每个子区域设置一个集合G(e_i)，G(e_i)中记录为子区域e_i提供服务的所有业务服务器，即：m_i1、m_i2、…m_ik，则可以得到以下关系式：

G(e_i)＝{m_i1，m_i2，…，m_ik}

其中，统计服务器可以将业务服务器m_i在目标时间段的流量记为：F(m_i)

统计服务器可以确定业务服务器m_i对应的子区域，如：e₁，e₂，…，e_n，进而可以确定e₁，e₂，…，e_n中，各子区域对应的业务服务器的数量(即|G(e_i)|)。由于不同业务服务器为相同子区域分担数据包的比例关系为等比例分配，则业务服务器m_i为子区域e₁服务的流量为该子区域流量的1/|G(e₁)|，为子区域e₂服务的流量为该子区域流量的1/|G(e₂)|，以此类推。

统计服务器可以将业务服务器m_j为子区域服务的流量占子区域流量的比例记为流量贡献参数，并表示为：

设各子区域在目标时间段的流量为x₁，x₂，…，x_n，则业务服务器m_i为子区域e₁服务的流量为x₁/|G(e₁)|，为子区域e₂服务的流量为x₂/|G(e₂)|，以此类推。

该业务服务器在目标时间段的流量为该业务服务器为其对应的各子区域服务的流量之和，即可以得到如下方程：

x₁*C(e₁，m₁)+x₂*C(e_i，m_j)+…+x_n*C(e_n，m_n)＝F(m_i)

此时可以分别设置向量x和c_i如下：

则上述方程可以表示为：

在目标时间段内，对于业务服务器m₁，m₂，…，m_p，都可以列出上述方程，进而可以得到第一方程组。此时可以分别设置矩阵C和向量f如下：

则第一方程组可以表示为：

f＝Cx

对该方程组进行求解，即可得到各子区域在目标时间段的流量。

可选的，可以基于最小二乘法，求解该方程组，确定各子区域在目标时间段的流量。

其中，最小二乘法是最小化误差的平方和确定数据的最佳函数匹配的方法，通过最小二乘法可以确定与实际数据之间误差的平方和为最小的数据。

在实施中，统计服务器可以预先存储最小二乘法的算法，确定第一方程组之后，可以基于最小二乘法来求解各子区域在目标时间段的流量，进而得到各子区域在目标时间段的流量的表达式：

可选的，可以结合前一时间段的流量数据，对上述方程进行求解，以使各子区域在不同时间段中的流量变化比较平滑，相应的处理过程可以如下：根据预先存储的各子区域在目标时间段的前一时间段的流量，并基于最小二乘法，求解该方程组，确定各子区域在目标时间段的流量。

在实施中，每当达到预设的流量统计周期时，统计服务器可以对当前周期(即目标时间段)内各子区域的流量进行计算并记录，在进行计算时，可以获取记录的上个周期(即目标时间段的前一时间段)内各子区域的流量，加入到第一方程组中，得到第二方程组，然后基于最小二乘法对第二方程组进行求解，得到各子区域在目标时间段的流量。

可选的，可以对各子区域在目标时间段的流量进行归一化处理，得到各子区域对应的流量在所有子区域的总流量中所占的比例。

在实施中，统计服务器可以通过上述计算过程得到各子区域的流量数值，流量数值通常比较大，为了便于对各子区域的流量进行对比，可以对各子区域的流量进行归一化处理，即可以用各子区域对应的流量，除以所有子区域的总流量，得到各子区域对应的流量在所有子区域的总流量中所占的百分比。

本发明实施例中，获取各业务服务器在目标时间段的流量，获取预先设置的不同业务服务器为相同子区域分担数据包的比例关系信息，根据预先存储的业务服务器与子区域的对应关系、比例关系信息、以及各业务服务器在目标时间段的流量，进行计算确定各子区域在目标时间段的流量，这样，在确定各子区域在目标时间段的流量的过程中，业务服务器只需要记录自身在目标时间段的流量，无需根据每个消息对应的终端IP，确定相应的子区域，从而，可以节约业务服务器的处理资源。

实施例三

基于相同的技术构思，本发明实施例还提供了一种统计流量的装置，如图3所示，该装置包括：

获取模块310，用于获取各服务器在目标时间段的流量；获取预先设置的不同服务器为相同子区域分担数据包的比例关系信息；

确定模块320，用于根据预先存储的服务器与子区域的对应关系、所述比例关系信息、以及所述各服务器在目标时间段的流量，进行计算确定各子区域在所述目标时间段的流量。

可选的，所述获取模块310，用于：

当达到预设的流量监测周期时，获取各服务器在目标时间段的流量。

可选的，所述确定模块320，用于：

根据预先存储的服务器与子区域的对应关系，确定每个服务器对应的一个或多个子区域；

根据所述比例关系信息、所述每个服务器对应的一个或多个子区域、以及每个服务器在目标时间段的流量，以每个子区域在所述目标时间段的流量为未知参数，建立对应每个服务器的方程，组成方程组；

求解所述方程组，确定各子区域在所述目标时间段的流量。

可选的，所述确定模块320，用于：

基于最小二乘法，求解所述方程组，确定各子区域在所述目标时间段的流量。

可选的，所述确定模块320，用于：

根据预先存储的各子区域在所述目标时间段的前一时间段的流量，并基于最小二乘法，求解所述方程组，确定各子区域在所述目标时间段的流量。

可选的，所述比例关系信息为等比例分配。

可选的，所述确定模块320，还用于：

对所述各子区域在所述目标时间段的流量进行归一化处理，得到各子区域对应的流量在所有子区域的总流量中所占的比例。

实施例四

图4是本发明实施例提供的统计服务器的结构示意图。该统计服务器1900可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(centralprocessing units，CPU)1922(例如，一个或一个以上处理器)和存储器1932，一个或一个以上存储应用程序1942或数据1944的存储介质1930(例如一个或一个以上海量存储设备)。其中，存储器1932和存储介质1930可以是短暂存储或持久存储。存储在存储介质1930的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对统计服务器中的一系列指令操作。更进一步地，中央处理器1922可以设置为与存储介质1930通信，在统计服务器1900上执行存储介质1930中的一系列指令操作。

统计服务器1900还可以包括一个或一个以上电源1926，一个或一个以上有线或无线网络接口1950，一个或一个以上输入输出接口1958，一个或一个以上键盘1956，和/或，一个或一个以上操作系统1941，例如Windows ServerTM，Mac OS XTM，UnixTM，LinuxTM，FreeBSDTM等等。

统计服务器1900可以包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：

获取各业务服务器在目标时间段的流量；

可选的，所述获取各业务服务器在目标时间段的流量，包括：

当达到预设的流量监测周期时，获取各业务服务器在目标时间段的流量。

可选的，所述根据预先存储的业务服务器与子区域的对应关系、所述比例关系信息、以及所述各业务服务器在目标时间段的流量，进行计算确定各子区域在所述目标时间段的流量，包括：

根据预先存储的业务服务器与子区域的对应关系，确定每个业务服务器对应的一个或多个子区域；

根据所述比例关系信息、所述每个业务服务器对应的一个或多个子区域、以及每个业务服务器在目标时间段的流量，以每个子区域在所述目标时间段的流量为未知参数，建立对应每个业务服务器的方程，组成方程组；

求解所述方程组，确定各子区域在所述目标时间段的流量。

可选的，所述求解所述方程组，确定各子区域在所述目标时间段的流量，包括：

可选的，所述基于最小二乘法，求解所述方程组，确定各子区域在所述目标时间段的流量，包括：

可选的，所述比例关系信息为等比例分配。

可选的，所述方法还包括：

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种统计流量的方法，其特征在于，所述方法包括：

获取各业务服务器在目标时间段的流量；

2.根据权利要求1所述的方法，其特征在于，所述获取各业务服务器在目标时间段的流量，包括：

3.根据权利要求1所述的方法，其特征在于，所述基于最小二乘法，求解所述方程组，确定各子区域在所述目标时间段的流量，包括：

4.根据权利要求1所述的方法，其特征在于，所述比例关系信息为等比例分配。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

6.一种统计流量的装置，其特征在于，所述装置包括：

确定模块，用于根据预先存储的服务器与子区域的对应关系，确定每个服务器对应的一个或多个子区域；

7.根据权利要求6所述的装置，其特征在于，所述获取模块，用于：

8.根据权利要求6所述的装置，其特征在于，所述确定模块，用于：

9.根据权利要求6所述的装置，其特征在于，所述比例关系信息为等比例分配。

10.根据权利要求6所述的装置，其特征在于，所述确定模块，还用于：

11.一种计算机可读存储介质，所述存储介质存储有一个或一个以上的计算机程序，所述一个或者一个以上的计算机程序被配置由处理器执行如权利要求1至5任一所述的统计流量的方法。