CN111404783B - 一种网络状态数据采集方法及其系统 - Google Patents

Abstract

本发明公开了一种网络状态数据采集方法及其系统。采集方法包括如下步骤：(1)实时探测记录用户的RTT数据；(2)利用阻塞式带宽探测方法实时探测记录用户的带宽数据，并且记录用户消耗的网络流量；在带宽探测过程中，若没有产生网络拥塞，则在原来发送数据量的基础上增大发送数据量，根据网络阻塞状态判断用户下行带宽；(3)记录用户的IP地址与地理定位；(4)根据用户的IP地址与地理定位对用户进行分类，将记录的RTT数据与带宽数据按照用户分类进行归类；(5)将归类得到的数据进行处理，生成实际可用的数据集。本发明的方法与系统提高了网络状态测量的精准度及效率，减少了对于用户流量的消耗。

Description

一种网络状态数据采集方法及其系统

技术领域

本发明涉及网络检测技术，具体涉及一种网络状况的数据采集方法及其系统。

背景技术

随着互联网的逐渐普及，网络通信技术不断提高，用户对于优质网络的需求日益提高，许多日常互联网应用依赖于网络的稳定性。为了提高用户的实际体验，需要获知服务器与客户端之间的网络状况并做出相应的调整策略。例如，当用户观看直播视频时，由于用户带宽波动，缓冲区内视频数据不足以支持流畅播放，而视频码率过大产生网络拥塞，服务器通常采用的做法是用ABR技术(Adaptative-Bitrate)来测量、估计用户带宽，动态调整视频码率，降低带宽需求，达到流畅播放视频的目的。另外，当用户在玩网络游戏时，由于用户RTT(Round-Trip-Time)较大，或RTT变化较大，导致游戏延迟高，操作不连贯，用户体验差。通常开发者为了提升用户体验，会根据用户到服务器的RTT切换节点，选择一条RTT较小的路由路径。

为了研究和优化调整网络的策略，需要大量的网络状况数据，且采集的数据需要达到一定精度与密度。网络状态采集包括RTT探测和带宽探测。目前主流的带宽测量方法包括单包算法(One-Packet)、包对算法(Packet-Pair)、UDP发包算法。单包算法的原理是发送不同大小、不同TTL(Time-To-Live)的Ping包，并根据包的大小、TTL以及包发送到接收的时间差求近似的发送速率。单包算法偶然性较大，需要依靠大量的发包统计过滤掉不正确的测量样本。并且有些路由器不支持及时地确认包、有些网桥并不对TTL进行操作。因此利用单包算法测出来的带宽值不准确。包对算法的原理是发送两个相差较大的包，并根据包的大小差、接收时间差得到近似的发送速率，并采用过滤技术过滤掉不正常的测量样本。包对算法测得的是交换机与网卡之间的最大带宽，不是当前带宽。UDP发包算法的原理是服务器向客户端大量发送数据流，客户端根据接收到的数据流大小计算每秒接收到的数据流大小推算出带宽值。UDP发包算法能够精确地测量用户的带宽，但是大量发送数据流会造成网络阻塞，影响用户体验。对于现有的RTT测量方法，由于CPU处理能力有限，数据流的优先级等多方面因素限制，无法在低测量间隔的前提下实现服务器高并发处理。

因此，目前的网络状态采集系统普遍有着流量大、采集耗时高、低并发等缺陷。

发明内容

针对上述现有技术的缺陷，本发明的目的是提供一种高效准确的网络状态采集系统与方法。

为了实现上述发明目的，本发明方法采用的技术方案如下：

一种网络状态数据采集方法，包括如下步骤：

步骤1，实时探测记录用户的RTT数据；

步骤2，利用阻塞式带宽探测方法实时探测记录用户的带宽数据，并且记录用户消耗的网络流量；在带宽探测过程中，若没有产生网络拥塞，则在原来发送数据量的基础上增大发送数据量，根据网络阻塞状态判断用户下行带宽；

步骤3，记录用户的IP地址与地理定位；

步骤4，根据用户的IP地址与地理定位对用户进行分类，将记录的RTT数据与带宽数据按照用户分类进行归类；

步骤5，将归类得到的数据进行处理，生成实际可用的数据集。

另一方面，本发明的一种网络状态数据采集系统，包括RTT探测模块、带宽探测模块、地理定位模块、用户分类模块和数据处理模块，其特征在于，RTT探测模块、带宽探测模块和地理定位模块分别连接到用户分类模块，用户分类模块与数据处理模块连接；所述RTT探测模块，用于探测记录用户的RTT数据；所述带宽探测模块，用于探测记录用户的带宽数据；所述地理定位模块，用于获取用户的地理定位；所述用户分类模块，用于根据用户的IP地址和地理定位对用户进行分类；所述数据处理模块，用于处理分类后的数据，生成实际可用的数据集。

本发明能够在实际网络中动态探测用户的实际带宽大小以及RTT大小，尽量减小对于用户体验的影响的同时，高速有效地收集网络状态数据。相比现有技术，具有以下有益效果：

(1)本发明采用阻塞式带宽探测方法，能够得到用户准确的下行带宽，相比于单包、多包等技术，探测流程计算消耗小，精度更高。同时，加入用户流量统计，限制用户探测流量消耗，减少了用户体验的损失。

(2)本发明采用用户分类的方法整合数据，在同一互联网服务提供商，且地理距离接近的用户视为同一用户分类，增大了数据密度，提高了有效数据的收集速率。

附图说明

图1是本发明网络状态测量系统的结构图；

图2是RTT测量模块的服务器与客户端的处理流程图；

图3是地理定位模块的服务器与客户端的处理流程图；

图4是带宽探测模块的服务器与客户端的处理流程图；

图5是本发明实施例中用户分类模块的流程图；

图6是本发明实施例中数据处理模块的流程图。

具体实施方式

下面结合实例对本发明作进一步的详细说明，有必要指出的是，以下的实例只用于对本发明做进一步的说明，不能理解为对本发明保护范围的限制，所属领域技术人员根据上述发明内容，对本发明做出一些非本质的改进和调整进行具体实施，应仍属于本发明的保护范围。

图1展示了本实施例的网络状态采集系统结构，该系统包括安装有RTT探测模块101、地理定位模块102、带宽探测模块103的客户端，以及安装有用户分类模块104、数据处理模块105的服务器。RTT探测模块101用于探测客户端与服务器之间的RTT并记录下来，将用户IP、记录时间、测量RTT值发送给服务器；地理定位模块102用于定位客户端的位置，将用户IP、经纬度发送给服务器。带宽探测模块103用于探测客户端到服务器的下行带宽，将用户IP、记录时间、测量带宽值发送给服务器。将RTT探测模块、带宽探测模块、地理定位模块得到的输出存入数据库，得到用户分类模块的输入数据，用户分类模块104根据用户IP、地理经纬度，将用户进行用户组分类，对每个用户分类新建两个数据表，用于保存RTT数据以及带宽数据。将分类中各用户的RTT探测模块、带宽探测模块得到的数据分别存入用户分类的两个数据表，对每个数据表中的数据按照时间进行排列。用户分类模块104输出的数据作为数据处理模块105的输入，数据处理模块105将同一用户组的所有用户的数据记录进行数据整合、数据分类、数据采样、数据清洗，最终形成可用的数据。

其中，带宽探测模块包括流量统计模块、UDP发包模块、阻塞检测模块和信息交互模块。流量统计模块，用于统计单用户消耗的流量并调整UDP发包策略；UDP发包模块，用于根据流量统计模块统计的流量向不同用户发送带宽探测数据流；阻塞检测模块，基于数据报文时间差判断网络是否产生阻塞，若数据报文发送-接收时间差相比于历史数据报文发送-接收时间差明显增大，则认为网络产生阻塞；信息交互模块主要是用于阻塞检测模块以及UDP发包模块之间的信息交互，控制数据流的发送。数据处理模块包括数据整理模块、数据分类模块、数据采样模块和数据清洗模块，数据整理模块，用于去除数据的上限值或下限值对原始数据的影响；数据分类模块，用于按照用户分类的结果对数据进行分类；数据采样模块，用于将数据按照不同时间间隔采样；数据清洗模块，用于去除数据中的异常值和无效值。

参照图1，由于RTT探测并发量较大而带宽探测并发量较小，并且考虑到只能同时探测一个用户的带宽。本实施例中，服务器有一个基本的RTT探测列表以及一个带宽探测队列。用户刚连接上时，客户端会经过四个流程完成初始化：

①开始地理定位，地理定位成功后会将数据发送至客户端。

②开启RTT探测包接收端口，等待接收来自服务器的RTT探测包。

③开启带宽测量数据流接收端口，等待接收来自服务器的带宽探测数据流。

④开启信息交互端口。

有必要指出，以上四个流程不是固定顺序，任何初始化顺序都应属于本发明的保护范围。参照图2，RTT探测模块101按照所示流程进行RTT探测，包括定时RTT发包、回显、信息交互三个流程：在定时RTT发包流程中，服务器定时向客户端发送RTT探测包；在回显流程中，客户端收到RTT探测包，向服务器回显RTT探测包；在信息交互流程中，客户端与服务器进行信令与数据交互，三个流程由客户端与服务器协调完成。客户端连接上服务器之后，服务器将客户端加入客户端列表，然后按照流程201开始RTT探测，本实施例中流程201的具体步骤是：

①服务器每隔一段时间向客户端发送RTT探测包，RTT探测包内记录发送时间。

②客户端接收到RTT探测包之后将RTT探测包原样发送给服务器。

③服务器接收到RTT探测包之后，将当前时间与RTT探测包中记录时间相减，得到服务器与客户端之间的RTT，将客户端IP、采样时间和RTT写入硬盘。

值得一提的是，RTT探测流程不局限于所述流程，流程201可以替换为任意RTT探测方法。

参照图3，地理定位模块102按照所示流程进行地理定位。客户端在连接服务器成功之后获取客户端的经纬度，并将经纬度发送给服务器，服务器将经纬度换算为CGCS2000的高斯投影坐标，将IP与坐标存储下来。获取经纬度的方法包括任何定位方法，如百度地图定位、高德地图定位等。坐标转换的模型不只CGCS2000，应包括任意大地坐标系。可以用任意坐标转换后的坐标、经纬度来替换存储的CGCS2000的高斯投影坐标。在本实施例中，定位方法301采用的是百度地图API，值得一提的是定位方法301可以替换为任意地理定位方法，应包括高德地图API，腾讯地图API等。

参照图4，带宽探测模块103按照所示流程进行带宽探测，在探测过程中，根据用户已消耗流量、用户测得的带宽调整优先级及探测策略。具体地，调整优先级的方法即每次向用户发送探测数据时记录已经探测该用户带宽的次数，并将所有用户的带宽探测次数进行排序，当服务器的探测队列已经填满时，丢弃掉探测次数少的用户，保留探测次数较多的用户，并优先探测探测次数较多的用户。调整探测策略的方法即每次向用户发送探测数据产生流量消耗时记录已经消耗的流量，若当日用户消耗的流量已经超过设定的流量限制，则不再对该用户进行带宽探测。

在客户端与服务器初始化完成之后，本实施例中带宽探测流程401的具体步骤如下：

①服务器绑定IP和端口，读取本地配置信息，并发送配置信息给客户端，配置信息包括但不局限于初始探测吞吐量等信息。值得注意的是，配置信息可以来自于本地配置，服务器程序设置等，也可以来自于客户端设置，任何类似于发送带宽探测请求的做法应在本发明保护范围之内。

②客户端接收到配置之后，设置带宽采样间隔、初次探测的数据吞吐量，向服务器发送带宽探测请求，带宽探测请求包括了探测吞吐量等信息。

③服务器接收到带宽探测请求之后，查询客户端在某段时间内使用带宽探测消耗的流量，若流量超过一定阈值，则将带宽探测请求丢弃，否则将带宽请求放入带宽探测请求的队列。本实施例要求每日消耗流量小于200MB且所测带宽小于100Mb/s。

④服务器将带宽探测请求队列中的队首请求弹出，按照请求中的数据吞吐量向客户端发送数据。

⑤客户端接收到带宽探测数据流之后，计算实际接收到的数据量大小与服务器发送的数据量大小之比，若实际接收到的数据量与发送数据量的比值小于一定数目，则认为网络产生拥塞，停止带宽探测。并将该发送数据量转换为测量带宽，发送给服务器。此处所述拥塞判断方法应包括任何可以判断网络拥塞的方法，包括通过接收时间判断网络拥塞等，实际算得测量带宽之后不发给服务器存储的情况也应考虑到。如果客户端判定已经产生拥塞，则将吞吐量换算为带宽，转发给服务器。换算测量带宽的公式为：B＝αT。其中B为实际测量带宽，α为一个根据实际需求设定的常数，默认为1.2，T为吞吐量。如果客户端判定没有产生拥塞，则提高发送吞吐量为之前吞吐量的1.2倍。

⑥服务器收到测量带宽之后将数据存储下来；将客户端IP、采样时间和测量带宽记录交由用户分类模块处理。

带宽探测方法并不局限于上述带宽探测方法一种，流程401可以替换为任意的带宽探测方法，包括单包法，包队法等，皆应在本发明保护范围之内。

参照图5，用户分类模块104按照所示流程进行用户分类，包括地理分类、运营商分类两个流程。地理分类的具体流程是：

①已知用户经转换过后的投影坐标X,Y以及分类的投影坐标X0,Y0。

②求分类与用户之间的欧式距离

若d满足精度要求d≤σ,则认为用户属于同一地理分类。

运营商分类的具体流程是：

①已知用户的IP地址以及运营商的IP网段。

②如果用户的IP属于运营商的IP网段，则认为该用户的ISP(Internet-Service-Provider)是该运营商。

服务器获取用户的IP、带宽、RTT以及经纬度数据之后，按照流程501进行用户分类。本实施例中流程501主要包括：

①获得用户IP以及地理坐标之后，读取已经存在的用户组信息。

②遍历所有用户组，判断用户的地理信息、运营商信息是否分别与用户组成员属于同一个区域、同一个运营商。若用户与用户组成员同时属于同一个地理分类、同一个运营商则将用户加入该用户组。

③若用户不属于任何一个用户组，则新建一个用户组，并将该用户加入该用户组。

判断用户与用户组是否为同一区域，即地理分类的方法核心思想是根据用户与用户组成员的地理定位，判断用户与用户组成员的距离是否足够小。如果足够接近则认为用户与用户组成员属于同一区域。用户组与用户组成员的距离计算方法包括任何计算空间距离的方法，判断是否足够接近应根据需求采取不同的量度。本实施例采用的分类依据是用户之间的地理位置相距不超过σ公里且为同一个运营商，σ为一个常数，默认为1。

判断用户的运营商的方法并不局限于用户IP根据网段分类一种方法，应包括任何通过用户网络状态获知运营商的方法。

值得一提的是，流程501可以替换为任意用户分组的方法，所有利用用户IP、地理定位对用户分类的方法应在本发明保护范围之内。

参照图6，数据处理模块105按照流程对网络状态数据、用户分类数据进行操作，本实施例中操作主要包括以下步骤：

①数据整合流程601：将数据转换为同一公平量度的数据，去除数据的上限值或下限值对原始数据的影响。例如由于用户办理的带宽套餐不同，需要推测用户办理的带宽套餐，并将记录中的带宽除以理论最大带宽，得到带宽有效利用率；由于用户分类的区域过大，需要将单用户的RTT减去单用户的最小RTT，得到RTT抖动。具体流程是：根据单用户记录中的最大带宽，推测用户的最大下行带宽；然后将单用户记录中的每个记录转换为有效带宽利用率；当地理分类精度较大时，每条记录减去单用户记录中的最小RTT，转换为RTT变化值。

②数据分类流程602：将经过数据整理的数据按照用户所在的用户组聚集起来，将归类后的数据按照数据记录时间排序。

③数据采样流程603：将数据分类之后的数据按照需求采样，得到固定时间间隔的网络状态数据。本实施例中带宽采样间隔为5分组，RTT采样间隔为8秒钟。

④数据清洗流程604：清洗采样之后的数据。数据清洗方法包括中值滤波消除异常值、判别数据无效点、移动平滑消除随机抖动等一系列方法，去除突变的数据。

图6中所有流程601、602、603、604原则上可按任意顺序排列，流程均可替换但期望达到的效果应与流程描述一致。所有符合流程描述的方法应在本发明保护范围之内。

Claims (8)

1.一种网络状态数据采集方法，其特征在于，该方法包括如下步骤：

步骤1，实时探测记录用户的RTT数据；

步骤2，利用阻塞式带宽探测方法实时探测记录用户的带宽数据，并且记录用户消耗的网络流量；在带宽探测过程中，若没有产生网络拥塞，则在原来发送数据量的基础上增大发送数据量，根据网络阻塞状态判断用户下行带宽；

步骤3，记录用户的IP地址与地理定位；

步骤4，根据用户的IP地址与地理定位对用户进行分类，将记录的RTT数据与带宽数据按照用户分类进行归类；

步骤5，将归类得到的数据进行处理，生成实际可用的数据集；其中，数据处理包括数据整理、数据分类、数据采样和数据清洗四个过程；在数据整理过程中，去除数据的上限值或下限值对原始数据的影响；在数据分类过程中，按照用户分类的结果对数据进行分类，以增加不同时间尺度的数据密度；在数据采样过程中，根据需求将数据按照不同时间间隔采样；在数据清洗过程中，去除数据的异常值和无效值。

2.根据权利要求1所述的一种网络状态数据采集方法，其特征在于，所述步骤2中，若用户消耗的网络流量超过每日限制，则不再探测用户的下行带宽。

3.根据权利要求1所述的一种网络状态数据采集方法，其特征在于，所述步骤2中，增大发送数据量直到网络阻塞，将阻塞时的数据吞吐量换算为测量带宽：B＝αT，其中B为实际测量带宽，α为设定的常数，T为吞吐量。

4.根据权利要求1所述的一种网络状态数据采集方法，其特征在于，所述步骤2在带宽探测过程中，每次向用户发送探测数据时记录已经探测该用户带宽的次数，并将所有用户的带宽探测次数进行排序。

5.根据权利要求1所述的一种网络状态数据采集方法，其特征在于，所述步骤4中，根据用户IP推断用户的网络运营商，根据地理定位划分地理网格，将相同网络运营商且位于同一地理网格的用户归为同一类。

6.根据权利要求5所述的一种网络状态数据采集方法，其特征在于，所述地理网格根据用户之间的地理位置间距来划分。

7.一种网络状态数据采集系统，包括RTT探测模块、带宽探测模块、地理定位模块、用户分类模块和数据处理模块，其特征在于，RTT探测模块、带宽探测模块和地理定位模块分别连接到用户分类模块，用户分类模块与数据处理模块连接；所述RTT探测模块，用于探测记录用户的RTT数据；所述带宽探测模块，用于探测记录用户的带宽数据；所述地理定位模块，用于获取用户的地理定位；所述用户分类模块，用于根据用户的IP地址和地理定位对用户进行分类；所述数据处理模块，用于处理分类后的数据，生成实际可用的数据集；所述数据处理模块包括数据整理模块、数据分类模块、数据采样模块和数据清洗模块，所述数据整理模块，用于去除数据的上限值或下限值对原始数据的影响；所述数据分类模块，用于按照用户分类的结果对数据进行分类；所述数据采样模块，用于将数据按照不同时间间隔采样；所述数据清洗模块，用于去除数据中的异常值和无效值。

8.根据权利要求7所述的一种网络状态数据采集系统，其特征在于，所述带宽探测模块包括流量统计模块、UDP发包模块、阻塞检测模块和信息交互模块；

所述流量统计模块，用于统计单用户消耗的流量并调整UDP发包策略；

所述UDP发包模块，用于根据流量统计模块统计的流量向不同用户发送带宽探测数据流；

所述阻塞检测模块，用于判断网络是否产生阻塞；

所述信息交互模块，用于阻塞检测模块以及UDP发包模块之间的信息交互，控制数据流的发送。

Images