CN107888909A

CN107888909A - 一种ip视频净切换系统的测量方法

Info

Publication number: CN107888909A
Application number: CN201711225934.5A
Authority: CN
Inventors: 颜金尧; 蔡洋
Original assignee: Communication University of China
Current assignee: Communication University of China
Priority date: 2017-11-29
Filing date: 2017-11-29
Publication date: 2018-04-06
Anticipated expiration: 2037-11-29
Also published as: CN107888909B

Abstract

一种IP视频净切换系统的测量方法涉及媒体视频制作IP化过程中的精准视频实时切换(净切换)和调度系统，我们发明一种可以通过IP信号来检测IP视频净切换系统评价指标的方法。IP视频净切换系统评价指标具体包括单次切换是否达到视频净切换：切换丢包数；净切换交换机交换时延和净切换成功率；IP视频净切换系统的整体性评价指标：端到端时延。该方法适用于使用SMPTE ST 2022‑6或SMPTE ST 2110‑20的以上三种IP视频净切换系统。

Description

一种IP视频净切换系统的测量方法

技术领域：

本发明主要涉及媒体视频制作IP化过程中的精准视频实时切换(净切换)和调度系统，主要考虑视频流精准切换(净切换)和调度系统的性能评价指标及其测量方法问题。

背景技术：

IP基带视频净切换技术是视频制作全IP化一项关键技术，目前国内外尚无相应的评估和测试方法。现有传统测量视频净切换采用主观层面观看效果或者采用SDI视频信号记录设备来逐帧观看，来进行检测是否实现净切换。在视频制作全IP化的环境中，视频质量的损伤可能来自网络，切换和调度等系统的各个环节。视频质量的损伤可以是视频帧层面的损伤，也可以是更细微的数据包层面的损伤。传统SDI信号检测的方法无法在时间精度上和数据内容精细程度上有效检测IP基带视频净切换系统。SMPTE ST 2022和SMPTE ST 2110系列协议的标准，不仅规范了专业视频封装成IP数据包格式，还提供了通过IP方式传输高质量视频信号方法。其中SMPTE ST 2022-6定义了SDI格式的封装，基于实时传输协议(RTP)和高比特率媒体传输协议(HBRMT)。HBRMT是高比特率传输流的缩写，这里的高比特率是为了跟其他的传输压缩信号区分开来。每一个IP数据包含有1376字节的SDI数据，为了使每一帧的IP包排列整齐，每帧的最后一个包用零字节填充。该标准使得在现有广播电视基础上，通过IP网络传输未压缩的视频信号成为可能。

电视台制作网络中的实时IP视频特别是IP基带视频净切换(视频精准切换)系统要求视频切换发生在消隐信号期间，没有视频画面损伤。目前主要有三种可能的技术方案，分别是基于源端的视频切换技术、基于交换机的视频切换技术和基于目的端的视频切换技术，三种技术形式各有优缺点。我们研究团队设计研发了一套具有自主知识产权的基于交换机定时的视频净切换系统。下面将提出IP视频净切换的评估指标并且以我们的系统为例提出实际测试方法。

发明内容

本发明目的在于提供一种新的测量方法，以解决IP视频净切换系统的性能指标测量的技术问题。

在视频制作全IP化的环境中，视频质量的损伤可能来自网络，切换和调度等系统的各个环节。视频质量的损伤可以是视频帧层面的损伤，也可以是更细微的数据包层面的损伤。IP视频净切换系统评价指标具体包括单次切换是否达到视频净切换：切换丢包数；净切换交换机交换时延和净切换成功率；IP视频净切换系统的整体性评价指标：端到端时延。现一一列举如下。

对于IP视频净切换系统而言主要有三种，分别是基于源端的视频切换技术系统、基于交换机的视频切换技术系统和基于目的端的视频切换技术系统。就视频SDI信号转换成IP的标准而言，目前主要有两种，分别是SMPTE ST 2022-6和SMPTE ST 2110-20。我们发明一种可以通过IP信号来检测IP视频净切换系统评价指标的方法。该方法适用于使用SMPTE ST 2022-6或SMPTE ST 2110-20的以上三种IP视频净切换系统。该方法具体实施如下。

当IP视频净切换系统执行切换时，会一直有IP数据包捕获工具捕获IP视频净切换系统链路中IP数据包。我们建议IP数据包捕获工具使用Wireshark软件和针对SMPTE ST2022-6/SMPTE ST 2110-20视频流开发的插件，软件安装在高性能计算机上以保证实时抓包性能，并且高性能计算机包含如下功能：万兆网卡支持PTP和硬件时间戳，抓包的时间戳精确到纳秒级，实时抓包链路流量达到6Gbps时也不会出现丢包现象。

为了测量IP视频净切换系统的切换成功率，我们需要测量单次切换是否为净切换。为了测量单次切换是否为净切换，我们需要在Wireshark软件中找到所有记录视频切换点位置。

1.找到Wireshark软件中记录视频切换点方法

切换点就是Wireshark软件记录中连续规律出现的IP层的数据包源地址和目的地址突然发生变化的地方。我们建议这样连续规律出现的IP层的数据包源地址和目的地址的次数不少于当前记录的一个视频帧应该包含的IP视频数据包数，以SMPTE ST 2022-6为例，1080p@50视频源IP化后为5397包/帧。也就是说，在1080p@50视频源的情况下，连续规律出现的IP层的数据包源地址和目的地址的次数不少于5397次。

当可以找到Wireshark软件中记录视频切换点的位置后，接下来我们要检验发生在这次切换点位置的切换是否是净切换。

2.检验发生在这次切换点位置的切换是否为净切换的方法

发生净切换，应满足切换丢包数为0的限制。不满足的话，则本次切换不是净切换。因此检验发生在这次切换点位置的切换是否为净切换的方法等价于检验此次切换丢包数是否为0。

3.测量发生在切换点的切换丢包数的方法

我们建议测量中有从信号源A切换到信号源B和从信号源B切换到信号源A的数据，两者切换次数一样。现在假设从信号源A切换到信号源B，那么测量方法如下。

1)检验紧邻切换点处信号源A的IP视频帧数据包是否为帧尾。如果是帧尾，则信号源A在切换点没有丢包，并且信号源A在切换点丢包数记为N_A＝0。如果不是帧尾，计算出还差多少个数据包到达此帧帧尾，记为N₁，则信号源A在切换点丢包数记为N_A＝N₁。

2)检验紧邻切换点处信号源B的IP视频帧数据包是否为帧首。如果是帧首，则信号源B在切换点没有丢包。并且信号源B在切换点丢包数记为N_B＝0。如果不是帧首，计算出此帧帧首处还差多少个数据包到达紧邻切换点处信号源B的IP视频帧数据包，记为N₂，则信号源B在切换点丢包数为N_B＝N₂。

3)本次切换总的丢包数N_Packetloss＝N_A+N_B。

当能检验出发生在切换点位置的切换是否为净切换时，就可以测量出IP视频净切换系统的净切换成功率：视频切换成功的样本数占视频切换总样本数的比例。

4.测量IP视频净切换系统的切换成功率的方法

如果在m个样本中有a个样本发生错误，则错误率E＝a/m；相应的，(1-a/m)×100％称为“精度”(accuracy)，这里的精度也就是所说的净切换成功率。在实际测量IP视频净切换系统的切换成功率实验中，我们建议100次切换为一组实验样本，相同条件下多次实验取平均值，实验样本数为10-30个。建议采用的切换速度范围为4到10次每秒。

当要测量净切换交换机交换时延，IP视频净切换系统不执行切换，并且一直有IP数据包捕获工具捕获IP视频净切换系统链路中IP数据包。我们建议IP数据包捕获工具使用Wireshark软件，软件安装在高性能计算机上以保证实时抓包性能，并且高性能计算机包含如下功能：万兆网卡支持PTP和硬件时间戳，抓包的时间戳精确到纳秒级，实时抓包链路流量达到6Gbps时也不会出现丢包现象。

为了测量IP视频净切换系统的净切换交换机交换时延：数据包经过交换机被处理的时延，我们需要计算数据包进入交换机时间和切换输出时间之差。

5.测量净切换交换机交换时延的方法

测试方法原理见图2：

1)搭建如图2所示的拓扑图，SMPTE ST 2022-6网关不断发送视频流IP数据包，其中某个数据包A经过交换机泛洪给Wireshark高性能计算机和净切换交换机。

2)净切换交换机让泛洪来的数据包A再按原路转发出去变成数据包A'，数据包A'再次经过交换机泛洪给Wireshark高性能计算机，从而记录了t_A和t_A'。其中交换机交换时延T_SF可依据RFC-2544测得，线路传输时延T_WL＝线路长度÷线路传输速度。

3)净切换交换机交换时延近似表示为T_SF净＝t_A'-t_A-T_SF-T_WL。

4)我们建议同样条件实验的次数为100次一组，进行10-20组实验，然后取记录时间的平均值为净切换交换机交换时延。

6.测量IP视频净切换系统的端到端时延的方法

测量IP视频净切换系统的端到端时延的方法有两种。方法一是测量同一帧图像分别出现在源端和终端显示器上的时间差。方法二是采用结合IP数据包的时间信息，来计算端到端时延。

方法一：端到端时延表述为测量同一帧图像分别出现在源端和终端显示器上的时间差，包括交换机处理时延、网络传输时延等。当要测量IP视频净切换系统的端到端时延，IP视频净切换系统不执行切换，视频源端播放带时间码的视频源，显示终端呈现视频源。取一台高速摄像机，其可以每秒拍摄x帧，我们建议x大于视频源的帧频，也就是说，视频源每秒50帧，则x应该大于50。记录视频源端和显示终端对应同一个时间码的视频帧所差的时间。我们建议同样条件实验的次数为20次一组，进行10-20组实验，然后取记录时间的平均值为端到端时延。

方法二：端到端时延表述测量同一数据包经过源端视频网关(SDI→IP)输出后的数据包到最终输入到终端网关(IP→SDI)的时间间隔，包括交换机处理时延、网络传输时延等。视频源，视频网关(SDI→IP和IP→SDI)和Wireshark高性能计算机采用PTP同步，Wireshark捕获到在源端视频网关(SDI→IP)输出后的数据包B，Wireshark时间记为t_B1，然后Wireshark又捕获到此数据包B在终端视频网关(IP→SDI)输入前的记录时间t_B2，利用数据包B里面的RTP层Timestamp，Timestamp是记录数据包在视频网关(SDI→IP)封装时间，记为t_B3，Timestamp和真实的Wireshark记录显示的数据包时间有换算公式。最后端到端时间表示为t_B2-t_B3。

附图说明：

附图给出本IP视频净切换系统指标测量方法的示意图。

图1：本IP视频净切换系统指标测量方法的Wireshark软件捕获IP数据包分析示意图

图2：本IP视频净切换系统指标测量方法的净切换交换机交换时延测量示意图

图3：IP视频净切换系统中基于“交换机定时”或“源定时”的净切换系统数据包捕获位置示意图

图4：IP视频净切换系统中基于“目的端定时”的净切换系统数据包捕获位置示意图

图5：实验测试拓扑

图6：交换机交换时延的Wireshark捕获情况

图7：交换机交换时延情况

示意图中标号说明：

1→包序号(No.)

2→每个数据包到达相对时间(Time)

3→IP层的数据包源地址(Source)

4→IP层的数据包目的地址(Destination)

5→RTP层Sequence number

6→RTP层Mark标志位

7→RTP层Timestamp

8→SMPTE层的Frame Count

具体实施方式：

下面结合附图，对IP视频净切换系统中指标测量方法做进一步说明。

一、高性能计算机提供足够时间精确程度来记录每个数据包到达时间。

二、IP层的数据包源地址和目的地址用来区分不同视频流。

三、RTP层Sequence number用来区分IP视频帧数据包是否完整和切换是否是净切换等。

四、RTP层Mark标志位是IP视频帧帧尾的标志。

五、RTP层Timestamp记录数据包在视频网关(SDI→IP)封装时间

六、SMPTE层的Frame Count可用来辅助区分不同IP视频帧。

具体测量方法如下：

本部分中以我们自主设计研发的基于交换机定时的IP视频净切换系统为例，介绍视频净切换实际测试方法并给出测试结果。测试中两路SDI视频源A、B需要经过SMPTE ST2022-6网关转换成IP化的视频流传输。由于SDI信号转变后变成IP信号，所以可以通过以太网实时捕获链路中IP数据包，存储后再分析。实际分析使用Wireshark软件和针对SMPTE ST2022-6视频流开发的插件，软件安装在高性能计算机上保证实时抓包性能(其中Intel82599ES万兆网卡支持PTP和硬件时间戳，实测抓包的时间戳精确到纳秒级，实时抓包6Gbps流量也不丢包)。它的好处可以更细微地观测实际切换发生的过程。实验测试拓扑见图5。

测试流程：输入两路同步SDI信号源A、B，经过SMPTE ST 2022-6网关IP化后，得到两路IP视频流。交换机是为了方便高性能计算机捕获数据包。净切换交换机用来执行交换机定时的视频净切换，切换控制器上有视频切换应用，可以下发视频切换命令，从而控制净切换交换机进行相应视频切换。两路IP视频流经净切换交换机输出一路IP视频流，再经过SMPTE ST 2022-6网关将IP视频流还原成原始SDI信号经过测试，我们系统达到了视频净切换，切换丢包数为0，交换机交换时延平均小于3微秒，1000次切换成功率100％。

接下来介绍，在我们实际搭建的基于交换机定时的IP视频净切换系统中，如何测量切换丢包数，净切换成功率，净切换交换机交换时延和端到端时延。

我们搭建实验测试拓扑图5，设置信号源A与信号源B同步，相位差为0ms。信号源A的源地址是192.168.1.8，目的地址是组播地址225.10.10.14，信号源B的源地址192.168.1.8，目的地址是组播地址225.10.10.10。

1.找到Wireshark软件中记录视频切换点方法

切换点就是Wireshark软件记录中连续规律出现的IP层的数据包源地址和目的地址突然发生变化的地方。在图1中黑色部分就是切换点，是从信号源A(源地址192.168.1.8&组播地址225.10.10.14)切换到信号源B(源地址192.168.1.8&组播地址225.10.10.10)。

2.测量发生在切换点的切换丢包数的方法

在图1中，是信号源A切换到信号源B。

1)检验紧邻切换点处信号源A的IP视频帧数据包是否为帧尾。在图1中，切换点处信号源A的IP视频帧数据包是帧尾，因为依据SMPTE ST 2022-6，IP视频帧帧尾会有Mark标志，在图1中标记6的地方就是IP视频帧帧尾Mark，则信号源A在切换点没有丢包，并且信号源A在切换点丢包数记为N_A＝0。

2)检验紧邻切换点处信号源B的IP视频帧数据包是否为帧首。可在Wireshark中记录的切换点的地方，往后一个IP视频帧，寻找IP视频帧帧尾或一帧的开始(SMPTE层的FrameCount会在原有基础上加1)，依据SMPTE ST 2022-6，可以推算出切换点应该出现的视频帧帧首的序号(RTP层Sequence number)。我们通过检验是帧首，则信号源B在切换点没有丢包。并且信号源B在切换点丢包数记为N_B＝0。

3)因此本次切换总的丢包数N_Packetloss＝N_A+N_B＝0。

3.测量IP视频净切换系统的切换成功率的方法

我们采用了100次切换为一组实验样本，相同条件下取了10组实验样本，采用的切换速度为4次每秒。在1000次的切换中，检验得到每次切换都是净切换，因此我们切换成功次数为1000次，IP视频净切换系统的切换成功率为100％。

4.测量净切换交换机交换时延的方法

我们搭建实验测试拓扑图2，得到Wireshark捕获IP数据包的记录如图6所示。

1)SMPTE ST 2022-6网关不断发送视频流IP数据包，其中某个数据包A(Wireshark中显示的信息为：No.＝10，Seq＝10124)经过交换机泛洪给Wireshark高性能计算机和净切换交换机。

2)净切换交换机让泛洪来的数据包A再按原路转发出去变成数据包A'(Wireshark中显示的信息为：No.＝13，Seq＝10124)，数据包A'再次经过交换机泛洪给Wireshark高性能计算机，从而记录了t_A＝2017-10-1217:03:30.409259s和t_A'＝2017-10-12 17:03:30.409261s。其中交换机交换时延T_SF可依据RFC-2544测得，线路传输时延T_WL＝线路长度÷线路传输速度。

3)净切换交换机交换时延近似表示为T_SF净＝t_A'-t_A-T_SF-T_WL。

最后，图7是我们得到的一组数据中60个数据包的经过交换机时延的分布图，范围为1-3微秒。

5.测量IP视频净切换系统的端到端时延的方法

方法一：我们测量IP视频净切换系统的端到端时延时，IP视频净切换系统不执行切换，视频源端播放带时间码的视频源，显示终端呈现视频源。取一台高速摄像机，其可以每秒拍摄120帧，视频源每秒50帧，记录视频源端和显示终端对应同一个时间码的视频帧所差的时间，在同样条件实验的次数为20次一组，进行10组实验，然后取记录时间的平均值为端到端时延，得到我们的系统端到端时延范围为5-6帧，就是100-120ms之间，平均值为112ms。

6.关于IP视频净切换系统中数据包捕获位置的处理方法。

对于IP视频净切换系统中基于“交换机定时”或“源定时”的净切换系统数据包捕获位置处理问题，我们建议数据包捕获位置放在净切换交换机输出后面的交换机上，如图3所示，这样既方便捕获数据包，又可以实时观看切换效果。

对于IP视频净切换系统中基于“目的端定时”的净切换系统数据包捕获位置处理问题，我们建议数据包捕获位置放在交换机输出后面的网关3(IP→SDI)上，如图4所示，这样既方便捕获数据包，又可以实时观看切换效果。

Claims

1.一种IP视频净切换系统的测量方法，其特征在于：

测试中两路SDI视频源A、B需要经过网关转换成IP化的视频流传输；两路IP视频流经净切换交换机或源端切换或目的端切换输出一路IP视频流，再经过网关将IP视频流还原成原始SDI信号经过测试，

当IP视频净切换系统执行切换时，会一直有IP数据包捕获工具捕获IP视频净切换系统链路中IP数据包；IP数据包捕获工具使用Wireshark软件和针对视频流开发的插件，软件安装在高性能计算机上以保证实时抓包性能，并且高性能计算机包含如下功能：万兆网卡支持PTP和硬件时间戳，抓包的时间戳精确到纳秒级，实时抓包链路流量达到6Gbps时也不会出现丢包现象；

(1).找到Wireshark软件中记录视频切换点切换点就是Wireshark软件记录中连续规律出现的IP层的数据包源地址和目的地址突然发生变化的地方；这样连续规律出现的IP层的数据包源地址和目的地址的次数不少于当前记录的一个视频帧应该包含的IP视频数据包数，当找到Wireshark软件中记录视频切换点的位置后，接下来要检验发生在这次切换点位置的切换是否是净切换；

(2).检验发生在这次切换点位置的切换是否为净切换发生净切换，应满足切换丢包数为0的限制；不满足的话，则本次切换不是净切换；

(3).测量发生在切换点的切换丢包数的方法

测量中有从信号源A切换到信号源B和从信号源B切换到信号源A的数据，两者切换次数一样；现在假设从信号源A切换到信号源B，

测量方法如下；

1)检验紧邻切换点处信号源A的IP视频帧数据包是否为帧尾；如果是帧尾，则信号源A在切换点没有丢包，并且信号源A在切换点丢包数记为N_A＝0；如果不是帧尾，计算出还差多少个数据包到达此帧帧尾，记为N₁，则信号源A在切换点丢包数记为N_A＝N₁；

2)检验紧邻切换点处信号源B的IP视频帧数据包是否为帧首；如果是帧首，则信号源B在切换点没有丢包；并且信号源B在切换点丢包数记为N_B＝0；如果不是帧首，计算出此帧帧首处还差多少个数据包到达紧邻切换点处信号源B的IP视频帧数据包，记为N₂，则信号源B在切换点丢包数为N_B＝N₂；

3)本次切换总的丢包数N_Packetloss＝N_A+N_B；

当能检验出发生在切换点位置的切换是否为净切换时，就可以测量出IP视频净切换系统的净切换成功率：视频切换成功的样本数占视频切换总样本数的比例；

(4)测量IP视频净切换系统的切换成功率的方法

如果在m个样本中有a个样本发生错误，则错误率E＝a/m；相应的，(1-a/m)×100％称为“精度”，这里的精度也就是所说的净切换成功率；采用的切换速度范围为4到10次每秒；

当要测量净切换交换机交换时延，IP视频净切换系统不执行切换，并且一直有IP数据包捕获工具捕获IP视频净切换系统链路中IP数据包；

(5).测量净切换交换机交换时延的方法

1)网关不断发送视频流IP数据包，其中某个数据包A经过交换机泛洪给Wireshark高性能计算机和净切换交换机；

2)净切换交换机让泛洪来的数据包A再按原路转发出去变成数据包A'，数据包A'再次经过交换机泛洪给Wireshark高性能计算机，从而记录了t_A和t_A'；其中交换机交换时延T_SF可测得，线路传输时延T_WL＝线路长度÷线路传输速度；

3)净切换交换机交换时延表示为T_SF净＝t_A'-t_A-T_SF-T_WL

4)同样条件实验多次，然后取记录时间的平均值为净切换交换机交换时延；

(6).测量IP视频净切换系统的端到端时延的方法

当要测量IP视频净切换系统的端到端时延，IP视频净切换系统不执行切换，视频源端播放带时间码的视频源，显示终端呈现视频源；取一台摄像机，每秒拍摄x帧，x大于视频源的帧频，记录视频源端和显示终端对应同一个时间码的视频帧所差的时间为端到端时延。

2.根据权利要求1所述方法，其特征在于，步骤(6).测量IP视频净切换系统的端到端时延的方法采用另外一种方法：是让视频源，视频网关和Wireshark高性能计算机采用PTP同步，Wireshark捕获到在源端视频网关输出后的数据包B，Wireshark时间记为t_B1，然后Wireshark又捕获到此数据包B在终端视频网关输入前的记录时间t_B2，利用数据包B里面的RTP层Timestamp，Timestamp是记录数据包在视频网关封装时间，记为t_B3，Timestamp和真实的Wireshark记录显示的数据包时间有换算公式。最后端到端时间表示为t_B2-t_B3。