CN106961366B - 面向车联网环境的网络性能综合测试评价分析方法 - Google Patents

Abstract

本发明公开了一种面向车联网环境的网络性能综合测试评价分析方法，步骤一、搭建测试平台：测试平台包括第一测试板、第二测试板和后台服务器，第一测试板和第二测试板分别用于负责网络性能测试以及车辆行驶信息采集，所述后台服务器用于数据存储、分析及处理；步骤二、在不同的测试场景下，采用主动测量方法和网络断层扫描技术对网络性能指标进行测试；步骤三、对测试数据采用三西格玛原则处理异常数据，并使用Bootstrap估计和最大似然估计得到测试结果；步骤四、使用车联网性能综合指标评价方法对测试结果进行评价对比分析。本发明能够实现车联网的综合网络性能测量，能够更直观有效地反映出网络的性能与变化。

Description

面向车联网环境的网络性能综合测试评价分析方法

技术领域

本发明涉及车联网，具体是一种面向车联网环境的网络性能综合测试评价分析方法。

背景技术

与传统的无线通信网络相比，车联网应用环境更加复杂。车辆在行驶过程中高速运动，通信干扰、多径衰落问题都给车联网的无线通信带来了考验。因此，如何对车联网通信的性能进行测试和评估己经成为一个亟待解决的问题。

IEEE 802.11p被认为是专门为车联网而设计的标准，但它存在可靠性差、隐藏节点、无限延迟和间歇性V2I连通性等明显的缺点。从工业的角度来看，IEEE 802.11p的广泛部署需要对网络基础设施进行巨额投资。由于IEEE 802.11p的这些缺点，并且随着LTE网络的全球部署和商业化，LTE已经作为潜在的无线接入技术来支持车载应用投入使用[1]。然而，当前还不知道LTE能否有效支撑车载环境中的各种应用，其主要问题在于信息交互总是需要经过基站节点。

目前，车联网性能和功能的研究基本可以分为两类，一类是用软件进行仿真分析。研究人员利用NS-2和NCTUns软件对网络性能进行仿真研究。但网络仿真对实际环境的考虑不充分，无法真实全面获知网络心梗。另一类就是搭建系统平台进行测试。密歇根大学开展车辆测试802.11p性能，研究有效范围和环境因素对网络性能的影响。清华大学负责的国家863计划项目“智能车路协同关键技术研究”和同济大学道路与交通工程教育部重点实验室分别开展了车联网的测试与开发工作。这些大规模的场地测试能够得到全面有效的结果，但一般的研究机构很难有相应的基础开展研究。

发明内容

本发明的目的是提供一种面向车联网环境的网络性能综合测试评价分析方法，能实现车联网的综合网络性能测量，能更直观有效反映出网络的性能与变化。

本发明所述的面向车联网环境的网络性能综合测试评价分析方法，包括以下步骤：

步骤一、搭建测试平台：测试平台包括第一测试板、第二测试板和后台服务器，第一测试板和第二测试板分别用于负责网络性能测试以及车辆行驶信息采集，所述后台服务器用于数据存储、分析及处理；

步骤二、将第一测试板作为客户端，第二测试板作为服务器端，并保持第一测试板和第二测试板之间的网络畅通，在不同的测试场景下，采用主动测量方法和网络断层扫描技术对网络性能指标进行测试；

步骤三、后台服务器对所述步骤二所得的测试数据采用三西格玛原则处理异常数据，并使用Bootstrap估计和最大似然估计得到测试结果；

步骤四、后台服务器使用车联网性能综合指标评价方法对测试结果进行评价对比分析；

其中，所述网络性能指标包括网络延时、时延抖动、试验均值估计与箱型图反映时延分布情况以及丢包率。

进一步，网络时延的测试与计算：

网络时延的测量需借助往返时延，即一个数据包自源节点到目的节点间往返所需的时间间隔，给每个数据包添加时间戳来计算往返时延；在收集到需要的车辆消息之后，发送消息之前，在客户端发送的每条消息上添加时间戳，记录为TS1；同时，服务器端接收到客户端的消息时，添加第二个时间戳，记录为TS2；然后回复一个ACK消息并打上第三个时间戳，记录为TS3；客户端收到ACK消息时，添加第四个时间戳，记录为TS4；所以网络时延的计算公式为：T＝TS4-TS1-TS3+TS2。

进一步，时延均值估计与箱型图反映时延分布情况：

采用Bootstrap自助估计方法推断待测目标网络平均往返时延，X₁,X₂,…X_n是测试过程中采集到的样本，总体分布函数为F(x)。θ是时延和时延抖动，θ的估计为

θ的标准偏差为：

标准偏差的Bootstrap估计就是用

替代F，在此处

是F的最大似然估计，即有：

运用样本均值

估计总体均值μ，均值区间估计的Bootstrap方法如下：

(1)确定F的极大似然估计

(2)从

中抽取样本

(3)重复步骤(2)B次，可得到

j＝1,…,B，将

的累积分布函数记作CDF_μ(t)，有

其中#{·}表示累计数；对于给定α，α和1-α分位点分别是在(1-2α)置信水平下的统计量x的置信区间的上下限，定义

置信水平1-2α下的μ的置信区间为：

首先使用三西格玛原则剔除异常值，再用Bootstrap自助估计方法估计时延和时延抖动均值；并做出时延箱型图，直观地表现时延的主要分布区间。

进一步，丢包率的计算与估计：

假设一个测试时间窗口接收探测数据包a个，未接收探测数据包b个，则一次丢包测试表示为D＝(a,b)，设丢包率为ρ，对其使用最大似然估计的方法似然函数L(D,ρ)为：

L(D,ρ)＝(1-ρ)^aρ^b (2)；

对式(2)两边取对数得：

lnL(D,ρ)＝aln(1-ρ)+βlnρ (3)；

式(3)两边对ρ求导并令导数为0得:

解得丢包率ρ的最大似然估计为:

得到总体丢包的估计值。

进一步，所述步骤四具体为：

将指标值分别转化为功效分数，再用加权平均方法计算功效分数得到网络性能评价值，表示网络的性能状况，计算方法如下：

其中：

式中：P_L是综合性能评价指标，k是选取测量指标总个数，l是选取测量指标中正指标个数，ω_i是第i项指标权值，x_i是第i项测量指标值，

第i项测量指标的满意值，

第i项测量指标的不允许值，d_i是第i项正指标的功效分数，d_i′第i项逆指标的功效分数，某项指标的不允许值是指该项指标在路径测量中不应该出现的最坏值，满意值即该项指标在测量中可能达到的最好值，得出的性能评价越高，表明综合性能越好，反之则差。

进一步，对于时延和时延抖动分别将满意值取为40ms、0ms，不允许值分别取为200ms、40ms；当丢包率小于1％时，完全满足车联网各种应用场景下的要求；当丢包率小于4％，可以满足车联网应用的最低要求；当丢包率大于4％则完全无法达到车联网通信要求；因此丢包率归一化公式需要调整如式(7)：

进一步，所述第一测试板和第二测试板均包括树莓派控制器，以及分别与树莓派控制器连接的MiFi模块、GPS模块、OpenXC-vi模块，所述树莓派控制器作为控制计算核心，并选择Linux平台作为操作系统；所述MiFi模块用于负责网络性能的测试；所述GPS模块用于获取位置信息；所述OpenXC-vi模块用于采集车辆行驶状态信息。

进一步，所述主动测量方法为：向网络中发送特定的探测包，通过对探测数据包所受网络影响而发生特性变化的分析，得到网络状态和性能参数；

所述网络断层扫描技术为：根据网络边界的测量信息来分析和推断网络内部性能，在网络边界上主动发送探测数据包，然后记录在网络边界上接收到的数据包的数量和延迟，并利用统计分析模型推断内部链路数据包的丢失率和延迟。

进一步，所述测试场景分为城市中心、普通城镇、郊区和农村。

本发明的有益效果：首先使用树莓派作为控制核心，基于Linux系统设计了一种面向车联网环境的网络性能测试平台。其次网络性能测试采用主动测量方法，结合网络断层扫描技术，通过在两个平台之间传输加有时间戳的消息获得精确的往返时延和丢包率以及时延抖动等车联网主要性能指标。此外分场景进行测试。测试场景可分为城市中心、普通城市、郊区、农村四种主要场景。然后使用三西格玛原则剔除异常数据，使用Bootstrap自助估计和最大似然估计对采集到的数据进行处理得到测试结果，并作出箱型图观察时延分布区间。最后参考3GPP发布的车联网性能要求参考设计了一种用于分析评价车联网无线网络性能的综合性能指标评价方法，反映网络整体的性能状况，并进行横向和纵向的比较，得到全面综合的测试分析结果。本发明通过模块化的软硬件设计，实现车联网的综合网络性能测量。此外通过参考3GPP发布的车联网性能要求将测试指标转换为功效分数，然后使用综合指标评价法表征网络性能，使之能够更直观有效地反映出网络的性能与变化。

附图说明

图1为本发明的原理图；

图2为本发明的测试平台体系结构框图；

图3为本发明的V2V测试场景说明图；

图4为本发明的V2I测试场景说明图；

图5为本发明的时延测试方法示意图；

图6为本发明的测试流程图；

图7为本发明的性能测试配置文档；

图8为本发明的V2V时延分布箱图；

图9为本发明的V2I时延分布箱图；

图10为本发明的测试结果；

图11为本发明的车联网综合性能指标评价分析结果。

具体实施方式

下面结合附图和实施例对本发明作进一步的描述。

如图1所示，本发明所述的面向车联网环境的网络性能综合测试评价分析方法，包括以下步骤：

步骤一、搭建测试平台：测试平台包括第一测试板、第二测试板和后台服务器，第一测试板和第二测试板分别用于负责网络性能测试以及车辆行驶信息采集，所述后台服务器用于数据存储、分析及处理。

步骤二、将第一测试板作为客户端，第二测试板作为服务器端，并保持第一测试板和第二测试板之间的网络畅通，在不同的测试场景下，采用主动测量方法和网络断层扫描技术对网络性能指标进行测试。

步骤三、后台服务器对所述步骤二所得的测试数据采用三西格玛原则处理异常数据，并使用Bootstrap估计和最大似然估计得到测试结果。

步骤四、后台服务器使用车联网性能综合指标评价方法对测试结果进行评价对比分析。

其中，所述网络性能指标包括网络延时、时延抖动、试验均值估计与箱型图反映时延分布情况以及丢包率。

以下对本发明所述的面向车联网环境的网络性能综合测试评价分析方法进行详细的说明：

如图2所示，所述第一测试板和第二测试板均包括树莓派控制器，以及分别与树莓派控制器连接的MiFi模块、GPS模块、OpenXC-vi模块，所述树莓派控制器作为控制计算核心，并选择Linux平台作为操作系统；所述MiFi模块用于负责网络性能的测试；所述GPS模块用于获取位置信息；所述OpenXC-vi模块用于采集车辆行驶状态信息。DSRC模块用来产生802.11p车联网网络的性能测试，测试方法参考本文的LTE网络性能测试。后台服务器通过MiFi模块与树莓派控制器进行数据交互。选择Linux平台作为操作系统，使得平台具有二次开发的能力。测试程序采用socket网络编程，通过C/S模式(客户机/服务器模式)，使用TCP/IP协议族中的UDP协议实现网络性能测试程序，支持对往返延时、丢包率和时延抖动等车联网关键网络性能指标的测量。测试平台能够适应不同条件下的网络性能的测量，还具有广泛的适用性和良好的扩展性，适应多种车联网网络的测试。第一测试板和第二测试板采用模块化设计，通过预留的接口与车联网通信模块相连，更改网络性能测试设置文本以方便进行多种不同类型的车联网环境的测试。

测量方式采用主动测量，主动测量是向网络中发送特定的探测包，通过对探测数据包所受网络影响而发生特性的变化的分析，得到网络状态和性能参数。结合网络断层扫描技术实现对车联网网络性能的测量。网络断层扫描技术根据网络边界的测量信息来分析和推断网络内部性能，网络性能测量的基本方法是在网络边界上主动发送探测数据包，然后记录在网络边界上接收到的数据包的数量和延迟，并利用统计分析模型推断内部链路的数据包丢失率和延迟。

如图3和图4所示，测试可大体分为V2V(车与车)与V2I(车与基础设施)。图3车辆之间通过LTE网络，通过基站及核心网进行车与车(V2V)之间的通信，从而可以实现碰撞报警、碰撞避免等应用。图4通过在实验室部署后台服务器模拟车辆与基础设施通信(V2I)，车辆通过LTE基站与核心网与后台服务器进行消息的传输。

本发明中，所述测试场景可分为网络覆盖优秀但业务繁忙，建筑物、树木等遮挡物非常多的城市中心；覆盖优秀，车流量一般，建筑物、树木等遮挡物数量较多的普通城镇；覆盖良好但用户数较少的郊区；覆盖一般，用户较少且分散的农村。

本发明中进行车联网网络性能综合测试分析评价，测试流程图如图6所示，图7为本发明的性能测试配置文档。其过程如下：

(一)时延的测试与计算

网络时延的测量通常需要借助往返时延(RTT)，即一个数据包自源节点到目的节点间往返所需的时间间隔，这样可以避开时钟同步的问题。给每个包添加时间戳来计算往返时延。两车分别载有作为客户端和服务器端的测试板，在收集到需要的车辆消息之后，发送消息之前，在客户端发送的每条消息上添加时间戳，记录为TS1；同时，服务器端接收到客户端的消息时，我们添加第二个时间戳，记录为TS2；然后回复一个ACK消息并打上第三个时间戳，记录为TS3；客户端收到ACK消息时打上第四个时间戳，记录为TS4。所以我们可以使用(TS4-TS1-TS3+TS2)来计算时延，减去(TS3-TS2)接收端的消息处理等待时间时测量值更为精确。之所以要这样计算是因为两个平台的Unix时间不一定同步，为了精确所以通过算出从发送到接受一个往返的时间。测试方法说明图如图5。

(二)时延抖动的测试与计算

考虑到车联网必然会承载多媒体和语音视频业务，因此分析时延抖动对分析网络性能就变得非常有意义。时延抖动代表的是传输时延值的浮动情况，能够表征网络性能的稳定程度。

(三)时延均值、时延抖动均值估计与箱型图反映时延分布情况

随着网络覆盖范围越来越大，拓扑结构越来越复杂，造价越来越高，受试验周期和经费等因素的影响，需要开展小子样试验鉴定技术的研究。采用Bootstrap自助估计方法推断待测目标网络平均往返时延。X₁,X₂,…X_n是测试过程中采集到的时延及时延抖动指标，总体分布函数为F(x)。θ是时延和时延抖动，θ的估计为

θ的标准偏差为：

标准偏差的Bootstrap估计就是用

替代F，在此处

是F的最大似然估计，即有：

运用样本均值

估计总体均值μ，均值区间估计的Bootstrap方法如下：

(1)确定F的极大似然估计

(2)从

中抽取样本

(3)重复步骤(2)B次，可得到

j＝1,…,B，将

的累积分布函数记作CDF_μ(t)，有

其中#{·}表示累计数。对于给定α，α和1-α分位点分别是在(1-2α)置信水平下的统计量x的置信区间的上下限，定义：

置信水平1-2α下的μ的置信区间为：

首先使用三西格玛原则剔除异常值，再用Bootstrap自助估计方法估计时延和时延抖动均值。并且做出时延箱型图，直观地表现时延的主要分布区间。V2V和V2I时延分布箱图如图8、图9所示。

(四)丢包率的计算与估计

丢包率定义为传输中丢失的数据包与所有数据包的比值。丢包率主要与网络的流量有关，数据包丢失一般是由网络拥塞引起的。假设一个测试时间窗口接收探测数据包a个，未接收探测数据包b个，则一次丢包测试表示为D＝(a,b)，设丢包率为ρ，对其使用最大似然估计的方法似然函数L(D,ρ)为：

L(D,ρ)＝(1-ρ)^aρ^b (2)；

对式(2)两边取对数得：

lnL(D,ρ)＝aln(1-ρ)+βlnρ (3)；

式(3)两边对ρ求导并令导数为0得:

解得丢包率ρ的最大似然估计为:

从而得到总体丢包的估计值。

测试结果如图10所示，各场景下的综合分析评价结果如图11所示。

(五)面向车联网的网络性能综合评价分析：

本文发明在网络性能评价方面引入了多指标综合评价方法，即把反映网络性能的多个指标信息综合起来，得到一个综合指标，由此来反映网络整体的性能状况，并进行横向和纵向的比较，既有全面性，又有综合性。不同的测量指标具有不同的量纲，因此，需要对每个测量指标进行归一化处理。这种去掉指标量纲的过程称为数据的无量纲化，它是指标综合的前提。由于综合评价值是多个测量指标的综合结果，这就克服了单一指标评价法片面的缺点。综合指标法首先将不同的测量指标归一化，然后加权计算归一化后的测量指标，最终得到综合评价值。测量指标有2种类型，一种指标值越大表明性能越好，称为正指标；而另一种指标值越大表明性能越差，称为逆指标。本文将设计一种通用的测量指标归一化公式。首先将指标值分别转化为功效分数，再用加权平均方法计算功效分数得到网络性能评价值，表示网络的性能状况，计算方法如下：

其中：

式中：P_L是综合性能评价指标，k是选取测量指标总个数，l是选取测量指标中正指标个数，ω_i是第i项指标权值，x_i是第i项测量指标值，

第i项测量指标的满意值，

第i项测量指标的不允许值，d_i是第i项正指标的功效分数，d_i′第i项逆指标的功效分数，某项指标的不允许值是指该项指标在路径测量中不应该出现的最坏值，满意值即该项指标在测量中可能达到的最好值。得出的性能评价越高，表明综合性能越好，反之则差。

2015年2月，LG公司在3GPPSA1#69次会议立项牵头“基于LTE的V2X业务需求”研究课题，并在2015年11月完成。2015年8月，LG公司又牵头立项“基于LTE的V2X业务需求”的标准项目，并在2016年2月SA1#73次会议完成该项目。SA1研究课题中共定义了包含车车、车路、车人以及车与后台通信的27个用例。在标准项目中，基于研究课题的27个用例，SA1定义了LTEV2X支持的最大移动速度、时延、消息发送频率、数据包大小、安全等通用的业务要求。参考SA1给出的性能指标要求，对于时延和时延抖动，满意值都取为0ms，不允许值分别取为200ms、40ms。当丢包率小于1％时，完全满足车联网各种应用场景下的要求；当丢包率小于4％，可以满足车联网应用的最低要求；当丢包率大于4％则完全无法达到车联网通信要求。因此丢包率归一化公式需要调整如式(7)：

参考车联网性能要求，我们可以将式(6)中的时延均值权重ω₁赋值为2，往返时延小于200毫秒的概率ω₂赋值为2，丢包率权重ω₃赋2，时延抖动均值权重ω₄赋值0.5。通过综合指标法计算得到的网络性能评价值。从传输时延、往返时延小于200ms的概率、丢包率和时延抖动个方面综合评价了网络的性能。这样的综合评价值，不仅可以从整体上反映网络路径的运行状态，更加有利于网络性能之间的比较，从而对网络进行分析。各场景下的综合分析评价结果如图11所示。

Claims (5)

1.一种面向车联网环境的网络性能综合测试评价分析方法，其特征在于，包括以下步骤：

步骤一、搭建测试平台：测试平台包括第一测试板、第二测试板和后台服务器，第一测试板和第二测试板分别用于负责网络性能测试以及车辆行驶信息采集，所述后台服务器用于数据存储、分析及处理；

步骤二、将第一测试板作为客户端，第二测试板作为服务器端，并保持第一测试板和第二测试板之间的网络畅通，在不同的测试场景下，采用主动测量方法和网络断层扫描技术对网络性能指标进行测试；

步骤三、后台服务器对所述步骤二所得的测试数据采用三西格玛原则处理异常数据，并使用Bootstrap估计和最大似然估计得到测试结果；

步骤四、后台服务器使用车联网性能综合指标评价方法对测试结果进行评价对比分析；

其中，所述网络性能指标包括网络延时、时延抖动、时延均值估计与箱型图反映时延分布情况以及丢包率；

其中：网络时延的测试与计算：

网络时延的测量需借助往返时延，即一个数据包自源节点到目的节点间往返所需的时间间隔，给每个数据包添加时间戳来计算往返时延；在收集到需要的车辆消息之后，发送消息之前，在客户端发送的每条消息上添加时间戳，记录为TS1；同时，服务器端接收到客户端的消息时，添加第二个时间戳，记录为TS2；然后回复一个ACK消息并打上第三个时间戳，记录为TS3；客户端收到ACK消息时，添加第四个时间戳，记录为TS4；所以网络时延的计算公式为：T＝TS4-TS1-TS3+TS2；

时延均值估计与箱型图反映时延分布情况：

采用Bootstrap自助估计方法推断待测目标网络平均往返时延，X₁,X₂,…X_n是测试过程中采集到的样本，总体分布函数为F(x)，θ是时延和时延抖动，θ的估计为

θ的标准偏差为：

标准偏差的Bootstrap估计就是用

替代F，在此处

是F的最大似然估计，即有：

运用样本均值

估计总体均值μ，均值区间估计的Bootstrap方法如下：

(1)确定F的极大似然估计

(2)从

中抽取样本

(3)重复步骤(2)B次，可得到

j＝1,…,B，将

的累积分布函数记作CDF_μ(t)，有

其中#{·}表示累计数；对于给定的α，α和1-α分位点分别是在(1-2α)置信水平下的统计量x的置信区间的上下限，定义：

置信水平1-2α下的μ的置信区间为：

首先使用三西格玛原则剔除异常值，再用Bootstrap自助估计方法估计时延和时延抖动均值；并做出时延箱型图，直观地表现时延的主要分布区间；

丢包率的计算与估计：

假设一个测试时间窗口接收探测数据包a个，未接收探测数据包b个，则一次丢包测试表示为D＝(a,b)，设丢包率为ρ，对其使用最大似然估计的方法似然函数L(D,ρ)为：

L(D,ρ)＝(1-ρ)^aρ^b (2)；

对式(2)两边取对数得：

lnL(D,ρ)＝aln(1-ρ)+βlnρ (3)；

式(3)两边对ρ求导并令导数为0得:

解得丢包率ρ的最大似然估计为:

得到总体丢包的估计值；

所述主动测量方法为：向网络中发送特定的探测包，通过对探测数据包所受网络影响而发生特性变化的分析，得到网络状态和性能参数；

所述网络断层扫描技术为：根据网络边界的测量信息来分析和推断网络内部性能，在网络边界上主动发送探测数据包，然后记录在网络边界上接收到的数据包的数量和延迟，并利用统计分析模型推断内部链路数据包的丢失率和延迟；

所述后台服务器使用车联网性能综合指标评价方法对测试结果进行评价对比分析为：

将指标值分别转化为功效分数，再用加权平均方法计算功效分数得到网络性能评价值，表示网络的性能状况，计算方法如下：

其中：

式中：P_L是综合性能评价指标，k是选取测量指标总个数，l是选取测量指标中正指标个数，ω_i是第i项指标权值，x_i是第i项测量指标值，

第i项测量指标的满意值，

第i项测量指标的不允许值，d_i是第i项正指标的功效分数，d_i′第i项逆指标的功效分数，某项指标的不允许值是指该项指标在路径测量中不应该出现的最坏值，满意值即该项指标在测量中可能达到的最好值，得出的性能评价越高，表明综合性能越好，反之则差。

2.根据权利要求1所述的面向车联网环境的网络性能综合测试评价分析方法，其特征在于：对于时延和时延抖动分别将满意值取为40ms、0ms，不允许值分别取为200ms、40ms；当丢包率小于1％时，完全满足车联网各种应用场景下的要求；当丢包率小于4％，可以满足车联网应用的最低要求；当丢包率大于4％则完全无法达到车联网通信要求；因此丢包率归一化公式需要调整如式(7)：

3.根据权利要求1或2所述的面向车联网环境的网络性能综合测试评价分析方法，其特征在于：所述第一测试板和第二测试板均包括树莓派控制器，以及分别与树莓派控制器连接的MiFi模块、GPS模块、OpenXC-vi模块，所述树莓派控制器作为控制计算核心，并选择Linux平台作为操作系统；所述MiFi模块用于负责网络性能的测试；所述GPS模块用于获取位置信息；所述OpenXC-vi模块用于采集车辆行驶状态信息。

4.根据权利要求3所述的面向车联网环境的网络性能综合测试评价分析方法，其特征在于：所述测试场景分为城市中心、普通城镇、郊区和农村。

5.根据权利要求1或2或4所述的面向车联网环境的网络性能综合测试评价分析方法，其特征在于：所述测试场景分为城市中心、普通城镇、郊区和农村。

Images