CN107896160B - 一种基于分布式系统的数据中心网络流量建模方法 - Google Patents

Abstract

本发明公开了一种基于分布式系统的数据中心网络流量建模方法，特征是通过在单节点上抓取、过滤和解析真实网络中的数据，建立分布式参数流量模型，节点间根据建模结果通过数据包的收发对网络中的流量进行重现、模拟和仿真。由于本发明在单节点上进行分布式建模，针对数据量庞大的网络分析能够有效地提升计算速度，从局部和总体上把握网络流量特征，有效的实现了对当前时刻采样网络流量的重现及其余时刻网络流量的模拟与仿真。

Description

一种基于分布式系统的数据中心网络流量建模方法

技术领域

本发明属于数字信息的传输技术领域，具体涉及数据交换网络的分布式网络流量建模方法。

背景技术

数据中心(Data Center，DC)是全球协作的特定设备网络，用来在互联网基础设施上传递、加速、展示、计算、存储数据信息。近年来，数据中心改变了传统的计算方式，随之而来的是越来越多互联网公司将海量的数据集中合并，云计算服务商如亚马逊、微软、谷歌等大规模涌现。早在2007年USENIX收录的“On designing and deploying Internet-scaleservices[C]”一文中便指出如何设计可持续的、高计算性能的、使用低成本存储结构的数据中心是永恒的主题。美国思科在“Cisco Global Cloud Index:Forecast andMethodology,2015–2020”白皮书中，预计到2020年全球云流量将增长3.7倍，超大规模数据中心流量将会翻五倍。因此探究数据的流动模式、准确刻画其固有规律以及详细描述分布式运行环境下的复杂流量模型是优化数据中心网络结构设计、部署、升级的关键问题，对实现有效的网络监视分析和数据中心的可持续发展具有重要意义，是数据中心维护者最关心的问题。

数据流(Data Flow)在通信领域概念中代表传输中所使用信息的数字编码信号序列，在实际数据中心网络中，数量较少但占据总流量大小80％以上的数据流被称为大象流，其余流量被称为老鼠流。数据中心里的应用业务数据主要分为语音数据、视频数据和普通数据三大类，其中普通数据基本都采用了传输控制协议(Transmission ControlProtocol，TCP)处理方式，其包含的应用种类繁多，不同应用具有一种或多种不同流量特征，如平滑性、突发性、周期性等。据ACM SIGCOMM 2010年收录的文章“Data Center TCP[J]”调查显示，数据中心中的TCP数据流高达99.91％，其中大象流和老鼠流并存，从数量上看老鼠流居多，从流量字节上看大象流为主要贡献者。从上述调研结果可以看出，针对TCP数据流建模是刻画数据中心网络流量的关键。目前针对获取数据中心流量模型及流量特性结果的方式，主要通过数据采集和实验观察总结出具有规律性的结论，然后根据某个流量瓶颈提出解决方案，考虑到数据来源由某个特定的数据中心在一定时间段内采集获取，随着在数据中心网络业务复杂度的增加和未来网络流量的激增，时间的流逝将使其不再具有代表性；此外针对不同的数据中心考虑到其规模差异及主营业务的不同，实验方法获得的规律也不具有普适性和代表性，更无法细粒度的对不同数据中心的流量特征进行描述与复现。例如ACM Conference on Special Interest Group on Data Communication在2015年收录的文章“Inside the Social Network’s(Datacenter)Network[J]”中，针对Facebook数据中心的三种不同类型集群将流量强度、局域性、稳定性做出量化，描述了在各种不同的网络服务下表现出的几种流量模式，指明了新型的网络结构、流量管理及交换机的设计所带来的流量差异，但其中的结论对于其他不同类型的数据中心并没有实际的利用价值。

发明内容

本发明的目的是提出一种基于分布式系统的数据中心网络流量建模方法，通过分布式流量提取、分布式流量建模、发包器模拟网络流量三大过程，实现对当前时刻采样网络流量的重现及其余时刻网络流量的模拟与仿真。

本发明基于分布式系统的数据中心网络流量建模方法，针对数据中心内网络流量的建模，其特征在于：通过在单节点上抓取、过滤和解析真实网络中的数据，建立分布式参数流量模型，节点间根据建模结果通过数据包的收发对网络中的流量进行重现、模拟和仿真；具体操作步骤为：

首先执行分布式流量提取，在主节点上进行整体文件的配置，并把文件分割成多个配置文件块将其发送给不同的子节点，主节点与子节点之间通过套接字(socket)通信，子节点接收到配置文件后根据配置要求执行抓包，当任务结束后进入套接字阻塞模式，等待配置文件更新执行下一次任务；然后执行分布式流量建模，在每个子节点上对抓取的数据包文件进行处理，依次实现针对传输控制协议(Transmission Control Protocol，TCP)的协议解析和参数建模过程，将建模结果保存并上传至主节点；最后执行发包器模拟网络流量，根据保存的建模结果，通过概率分布模型产生对应的数据包形成模拟传输控制协议TCP流；

在分布式流量提取的抓包阶段，只抓取带有TCP流的建立和释放信息的数据包，并在此基础上形成以单节点流量建模为核心的分布式系统网络流量建模方法；其中单节点流量建模具体包括以下步骤：

首先执行数据流文件解析步骤，将带有同步(Synchronous，SYN)标志位的数据包作为TCP流的建立信息，带有结束(Finish，FIN)标志位的数据包作为TCP流的释放信息，根据TCP协议三次握手原理对数据流进行过滤及参数解析，解析结果包括每条TCP流的源地址、目的地址、发送端口、开始时间、持续时长、流大小和与上一条流的间隔时间，解析结果以文本形式保存在子节点，并将该解析结果直接用于对当前采样时段网络流量的完全复制，实现网络流量的重现，同时进一步对样本数据的特征进行提取建模；

然后执行TCP参数建模步骤，提取TCP流解析文件中三个特征参数：TCP流大小、TCP流间隔以及目的网际协议(Internet Protocol，IP)地址，把TCP流大小、TCP流间隔作为连续参数，采用累积分布函数(Cumulative Distribution Function，CDF)建立概率模型，把目的IP地址作为离散参数，采用离散分布概率密度函数(Probability Density Function，PDF)建立概率模型，其中累积分布函数曲线建模依次执行局部分段点选择、全局分段点选择、分段多项式建模和建模结果输出步骤；

在所述局部分段点选择步骤中，提出一种拐点定义：该拐点在设定门限(例如本发明中可以将门限设定为5个数据点)范围内前后线性模型发生变化，且与相邻拐点之间距离大于设定间隔阈值(例如本发明中可以将间隔阈值设定为10个数据点)；遍历函数曲线上的所有数据点，把满足上述拐点定义的数据点标定为局部分段点；

在所述全局分段点选择步骤中，将每一段局部分段点结果分别利用多项式模型中的一次模型和二次模型拟合，以拟合偏差小的结果作为衡量标准，将拟合偏差超过门限值的数据点作为全局分段点，同时将拟合曲线存在下降趋势的分段中点作为全局分段点，进一步将序列分段化，在局部分段点的基础上进行全局拐点更新；

在所述分段多项式建模步骤中，根据更新后的分段结果，在每一段中分别采用一次多项式模型和二次多项式模型对原始结果进行拟合，若段内数据点个数小于设定阈值(例如在本发明中可以设定为4个)，则作为离散点处理，若为非离散点段落则选择拟合误差最小的多项式模型作为代表该段模型的最优结果，所有模型的总和作为一个单节点上网络流量模型的最终结果；

在所述建模结果输出步骤中，输出内容包括目的IP地址、目的IP地址分布、每段模型多项式系数、每段模型分段范围、每段模型概率分布以及每段模型段内采样点数，以文本形式分别将TCP流大小、TCP流间隔和目的IP地址的建模结果保存在子节点中；

最后通过其交互目的地址的离散分布映射相应的比例关系产生每条TCP流的目的IP，再根据流大小及流间隔的TCP参数模型结果产生相应的TCP流，最终实现网络流量的模拟与仿真。

上述发明基于分布式系统的数据中心网络流量建模方法的技术方案所带来的有益效果是：

1、本发明提出的基于分布式系统的网络流量建模方法，由于采取在单节点上进行分布式建模，针对数据量庞大的网络分析能够有效地提升计算速度，将子节点的建模结果上传到主节点，可以进一步实现统一的结果分析，从局部和总体上把握网络流量特征，构建网络模拟环境。

2、本发明中提出了一种TCP数据流解析方法，由于通过抓取TCP流的建立和释放信息解析TCP流，大大降低了对数据采集工具以及数据存储系统的要求，极大提高了运行速率，在不考虑网络拥塞导致的网络重传、丢包的情况下具有良好的性能；此外该解析结果可直接对原始数据进行重现，实现对采样时段网络的完全复制，同时也可进一步对样本数据的特征进行提取建模，更细粒度的描述TCP流参数所处的范围以及在该范围内的变化规律。

3、本发明中提出了一种TCP参数建模方法，针对TCP流大小、流间隔和目的地址的概率分布进行建模具有一定的扩展性、延伸性以及可分析性，其中针对CDF曲线进行分段多项式建模方法具有独创性。

4、本发明中提出了一种全新的拐点定义，传统上采用极值点判断函数单调性变化，极值点定义在导数为0或者导数不存在的地方，该方法不适用于存在大量噪声不光滑的函数曲线上，而本发明中提出的拐点定义对于分段点的选择以及复杂曲线的拟合并无局限性，其结果根据实际需要可以推广应用于一般的曲线拟合。

由于本发明基于分布式系统的数据中心网络流量建模方法在单节点上进行分布式建模，针对数据量庞大的网络分析能够有效地提升计算速度，从局部和总体上把握网络流量特征，有效的实现了对当前时刻采样网络流量的重现及其余时刻网络流量的模拟与仿真。

附图说明

图1是本发明实施例1和实施例2中基于分布式系统的数据中心网络流量建模方法示意图；

图2是本发明实施例1和实施例2中分布式流量提取过程的示意图；

图3是本发明实施例1中分布式流量建模过程的示意图；

图4是本发明实施例1中TCP流参数建模的具体流程示意图；

图5是本发明实施例1和实施例2中分布式发包器的构成与网络流量模拟过程的示意图；

图6是本发明实施例2中分布式TCP数据流解析过程的示意图。

具体实施方式

下面结合附图和实施例对本发明基于分布式系统的数据中心网络流量建模方法作进一步具体详细的说明。

实施例1：

本实施例基于分布式系统的数据中心网络流量建模方法，涉及到分布式流量提取、分布式流量建模及发包模拟TCP数据流过程，最终实现对当前及其余时刻采样网络流量的模拟与仿真，其中分布式流量模型包括TCP流大小CDF模型、TCP流间隔CDF模型及目的IP地址离散分布模型。

图1给出了本发明的一种基于分布式系统的数据中心网络流量建模方法示意图，其中主节点A1将不同配置文件分发到子节点A2上，每个子节点A2按照配置文件进行流量提取并产生数据包文件A3，子节点进一步读取数据包文件A3并依次执行流量建模、产生建模文件A4、建模文件A4上传步骤，服务器集群A5按照最终建模结果在每个节点间通过收发数据包，产生相应的模拟数据流。

图2给出了分布式流量提取过程的示意图，首先主节点进行整体文件配置B1，将配置文件块分割并发送给不同的子节点B2，主节点与子节点之间通过socket通信，子节点接收配置文件B4并根据配置要求进行过滤抓包，当抓包结束后进入socket阻塞模式等待配置文件更新B3。其中单节点抓包B5具体流程为，扫描查看当前所有网卡信息B6，同时进行配置参数提取B7，打开需要抓包的网卡B8，根据设定的时间等待定时启动B9，每个网卡启动一个线程B10并按照要求进行抓包B11，在抓包过程中判断是否满足停止条件B12，等所有的网卡都满足设定要求后，线程结束终止抓包B13，最终在本地产生符合配置文件要求的数据包文件。

图3给出了分布式流量建模过程的示意图，在每个子节点上对抓取的数据包文件进行处理，并实现单节点TCP参数建模过程C1，每个子节点服务器1到服务器n将产生的建模结果保存在本地C9，并等待上传文件至主节点C10，其中单节点TCP参数建模C1包括TCP流解析、特征提取及建立数学概率模型三个过程。首先获取本地所有的数据包文件C2，统计需要建模的网卡C3执行TCP数据流解析步骤C4，根据TCP/IP协议抓取数据包头部信息并提取相应的特征参数，将特征参数作为输入数据执行TCP流参数建模过程C5，判断是否所有网卡均完成建模过程C6，若满足条件则将TCP建模结果上传至主节点C7，然后将本地文件删除C8。

图4给出了TCP流参数建模C5产生概率模型的具体流程示意图，将TCP数据流解析步骤C4中产生的包括从TCP流解析结果1到TCP流解析结果n在内的所有解析结果D1作为统一化建模的输入数据，从中提取TCP流大小、TCP流间隔以及目的IP地址作为特征参数D2，并将特征参数对数化D3，分别统计三个参数的分布特征，其中目的IP地址为离散变量，直接对其数据点做PDF统计，将统计结果作为模型保存；TCP流大小、流间隔作为连续变量，利用CDF曲线图表征其分布特征，相应函数表达式为：

y_CDF＝f(x)(x＝ln(data))，

其中f(x)表示累积分布函数，x为经过对数化的特征参数，y为最终的模型表达函数，CDF曲线建模过程依次进行以下步骤：局部分段点选择D4、全局分段点选择D5、分段多项式建模D6。

首先执行局部分段点选择D4，寻找合理的“拐点”，根据本发明提出拐点的定义，将在设定门限范围内前后线性模型发生变化，且与相邻拐点之间距离大于设定间隔阈值的拐点视为局部分段点。具体操作为计算判决点之前3个点确定的直线斜率k₁以及判决点之后3个点确定的直线斜率k₂，当或时说明判决点前后发生了模型变化，此时将判决点确定为拐点，将数据点遍历，对所有满足上述变化的拐点进行标记，当某个分段附近出现大量拐点，将一点范围内的拐点合并，保留一个拐点表征该分段特性。

然后执行全局分段点选择D5，在局部分段的结果上，考虑多项式模型中的一次模型、二次模型，通过模型拟合的结果进一步将序列分段化。每一分段选择误差较小的模型作为最优结果，误差定义为：

其中J示该段内所有的样本点数，p_j表示第j个点的CDF值，e_j表示第j个点的拟合误差。若该分段误差超过门限值，则将允许误差范围内的最大点标记为全局分段点，同时若该分段拟合结果存在下降趋势，则将该段的中点标记为全局分段点。

最后执行分段多项式建模D6，按照最终分段结果对每一段数据采用多项式建模，在每个分段中分别采用一次、二次函数拟合，比较拟合误差选择最优的函数作为该段模型，若数据点个数少于4则将该分段视为离散点处理，将每一段模型的总和作为单节点网络流量模型的最终结果。

输出建模参数D7将最终建模结果以文本形式保存在子节点中，文件内容包括目的IP地址、目的IP地址分布、每一段模型多项式系数、每段模型分段范围、每段模型概率分布以及每段模型段内采样点数。每个子节点分别将TCP流大小、TCP流间隔和目的IP地址的建模结果上传至主节点。

图5给出了分布式发包器的构成与网络流量模拟过程的示意图，服务器集群E3中的每个节点通过建立socket连接实现双向的数据交换，主节点E1将建模文件按照目的IP地址的概率分布模型发送到对应的子节点E2中，服务器集群E3中每个节点建立相应的发送接收流程，根据TCP流大小、TCP流间隔概率模型形成模拟TCP流发送，同时对其余节点的TCP流接收，节点间通过数据包收发形成模拟数据流E4，发包器的开发使用了输入输出(input/output，I/O)复用技术，在此技术的基础上同时利用多线程实现集群节点之间的高并发连接交互。

本发明实施例1构建了基于分布式系统的数据中心网络流量建模方法，通过抓取TCP流建立和释放信息解析TCP流的方法，极大的降低了数据采集工具以及数据存储系统的要求，提高了运行速率，在不考虑网络拥塞导致的网络重传、丢包的情况下具有良好的性能；TCP参数建模方法能够较好的实现对任意CDF曲线的拟合，通过对流大小、流间隔以及目的IP地址三个核心特征参数概率分布模型的准确描述，较好的实现了对整体网络流量模型的构建，并且具有一定的扩展性、延伸性以及可分析性；另外本发明实施例1采用一种全新的拐点定义，该定义对于分段点的选择以及复杂曲线的拟合无局限性，其结果根据实际需要可以推广应用于一般的曲线拟合；在单节点上进行分布式建模针对数据量庞大的网络分析有效地提升了计算速度，将子节点的建模结果上传到主机可以进一步进行统一结果分析，从局部和总体上把握网络流量特征；该建模结果最终实现分布式系统下网络流量精确的模拟与仿真，对于网络性能评估以及网络环境的测试验证等具体应用场景具有非常重要的实际意义。

实施例2：

本实施例2基于分布式系统的数据中心网络流量建模方法，通过更细粒度的TCP数据流解析过程实现对当前时刻采样网络流量重现。

图6给出了分布式TCP数据流解析过程的示意图，本实施例2与实施例1在分布式流量提取过程、分布式发包器的构成以及网络流量模拟过程相同，与实施例1的不同之处在于本实施例2中不执行图3中TCP流参数建模C5步骤，同时将图3中的TCP流解析C4步骤细化为数据包解析F4和TCP数据流解析F5两部分。具体而言，如图6中所示，在每个子节点上对抓取的数据包文件进行处理，并实现单节点TCP流解析过程F1，每个子节点服务器1到服务器n将产生的解析结果保存在本地F10，并等待上传文件至主节点F11，其中单节点TCP流解析过程F1包括数据包解析、TCP数据流解析两个部分。首先获取本地所有的数据包文件F2；统计需要建模的网卡F3执行数据包解析步骤F4，数据包作为数据流的基本单元，其解析结果将直接应用于TCP流解析，根据TCP/IP协议经过计算可获取数据包的时间戳、源IP地址、目的IP地址、源端口、目的端口、数据包负载以及数据包上行下行信息。然后执行TCP数据流解析步骤F5，将带有SYN标识的数据包作为流开始的标记，带有FIN标识的数据包作为流结束的标记，将所有检测到的完整数据流保存并计算相关信息，根据TCP协议中三次握手四次挥手原理，经过计算可以获取每条TCP流的源地址、目的地址、发送端口、接收端口、开始时间、持续时长、流大小、与上一条流的间隔时间信息，将TCP流解析结果输出F6，判断是否所有网卡均完成建模过程F7，若满足条件则将TCP解析结果上传至主节点F8，然后将本地文件删除F9。最后每个子节点按照解析文件对当前时刻采样网络流量完全复制，通过产生相同的TCP流实现网络流量的重现。

本发明实施例2相较于实施例1最大的不同之处在于不执行TCP流参数建模C5步骤，直接将每个样本的TCP流解析结果F6输出保留作为独立的网络仿真模型，每条TCP数据流通过更细粒度的特征提取准确的将网络流量复制，从而实现对当前时刻采样网络流量的重现；将网络流量中存在的异常、突发等特殊情况以及无法用一般性的数学模型准确描述的流量特征实现了较好的保留，对于研究网络流量中的异常检测以及不具有普遍性的流量模型具有重要的实际意义。

由此可见，本发明基于分布式系统的数据中心网络流量建模方法，不仅可以针对具有特殊流量特性的节点实现对当前时刻采样网络流量的复制与重现，还能通过提取特征参数对整个分布式网络系统建立统一的TCP参数模型，较好的实现对其余时刻网络流量的模拟与仿真。

Claims (1)

1.一种基于分布式系统的数据中心网络流量建模方法，针对数据中心内网络流量的建模，其特征在于：通过在单节点上抓取、过滤和解析真实网络中的数据，建立分布式参数流量模型，节点间根据建模结果通过数据包的收发对网络中的流量进行重现、模拟和仿真；具体操作步骤为：

首先执行分布式流量提取，在主节点上进行整体文件的配置，并把文件分割成多个配置文件块将其发送给不同的子节点，主节点与子节点之间通过套接字(socket)通信，子节点接收到配置文件后根据配置要求执行抓包，当任务结束后进入套接字阻塞模式，等待配置文件更新执行下一次任务；然后执行分布式流量建模，在每个子节点上对抓取的数据包文件进行处理，依次实现了针对传输控制协议的协议解析和参数建模过程，将建模结果保存并上传至主节点；最后执行发包器模拟网络流量，根据保存的建模结果，通过概率分布模型产生对应的数据包形成模拟TCP流；

在分布式流量提取的抓包阶段，只抓取带有TCP流的建立和释放信息的数据包，并在此基础上形成以单节点流量建模为核心的分布式系统网络流量建模方法；其中单节点流量建模具体包括以下步骤：

首先执行数据流文件解析步骤，将带有同步标志位的数据包作为TCP流的建立信息，带有结束标志位的数据包作为TCP流的释放信息，根据TCP协议三次握手原理对数据流进行过滤及参数解析，解析结果包括每条TCP流的源地址、目的地址、发送端口、开始时间、持续时长、流大小和与上一条流的间隔时间，解析结果以文本形式保存在子节点，并将该解析结果直接用于对当前采样时段网络流量的完全复制，实现网络流量的重现，同时进一步对样本数据的特征进行提取建模；

然后执行TCP参数建模步骤，提取TCP流解析文件中三个特征参数：TCP流大小、TCP流间隔以及目的网际协议地址，把TCP流大小、TCP流间隔作为连续参数，采用累积分布函数建立概率模型，把目的IP地址作为离散参数，采用离散分布概率密度函数建立概率模型，其中累积分布函数曲线建模依次执行局部分段点选择、全局分段点选择、分段多项式建模和建模结果输出步骤；

在所述局部分段点选择步骤中，提出一种拐点定义：该拐点在设定门限范围内前后线性模型发生变化，且与相邻拐点之间距离大于设定间隔阈值；遍历函数曲线上的所有数据点，把满足上述拐点定义的数据点标定为局部分段点；

在所述全局分段点选择步骤中，将每一段局部分段点结果分别利用多项式模型中的一次模型、二次模型拟合，以拟合偏差小的结果作为衡量标准，将拟合偏差超过门限值的数据点作为全局分段点，同时将拟合曲线存在下降趋势的分段中点作为全局分段点，进一步将序列分段化，在局部分段点的基础上进行全局拐点更新；

在所述分段多项式建模步骤中，根据更新后的分段结果，在每一段中分别采用一次、二次多项式模型对原始结果进行拟合，若段内数据点个数小于设定阈值，则作为离散点处理，若为非离散点段落则选择拟合误差最小的多项式模型作为代表该段模型的最优结果，所有模型的总和作为一个单节点上网络流量模型的最终结果；

在所述建模结果输出步骤中，输出内容包括目的IP地址、目的IP地址分布、每段模型多项式系数、每段模型分段范围、每段模型概率分布以及每段模型段内采样点数，以文本形式分别将TCP流大小、TCP流间隔和目的IP地址的建模结果保存在子节点中；

最后通过其交互目的地址的离散分布映射相应的比例关系产生每条TCP流的目的IP，再根据流大小及流间隔的TCP参数模型结果产生相应的TCP流，最终实现网络流量的模拟与仿真。