CN101742548B - 基于h.324m协议的3g视频电话的音视频同步测试装置及方法 - Google Patents

Abstract

本发明涉及一种基于H.324M协议的视频电话的音视频同步测试装置及方法，利用H.324M协议栈的适配层AL2层能够携带帧编号及H.324M协议栈所基于的电路交换域能保证音视频帧传输的有序性来完成发送端和接收端的帧匹配，利用H.324M协议栈的skew延时调整参数保证了发送端的语音视频同步，基于H.324M协议自主控制视频帧发送时间点将视频流和音频流按时间轴划分为多个音视频同步评估单元，将视频帧和音频帧的收发端匹配，精确测量3G视频通话中的的视频帧和音频帧延时，提出音视频同步偏离程度的计算公式，并给出丢帧情况下的音视频同步度量方法，将音视频同步的偏离程度与信道信号强度相关联并以波形图方式对比显示，利用平均绝对偏离公式将音视频同步客观评估与主观评估相关联。

Description

基于H.324M协议的3G视频电话的音视频同步测试装置及方法

技术领域

本发明涉及的是应用于3G移动无线网络路测系统中的基于H.324M协议的视频电话的音视频同步测试装置及方法。

背景技术

移动无线网络路测系统是利用测试软件、测试手机、扫频仪、电子地图、GPS及测试车辆等工具对移动无线网络进行规划和优化的系统。主要满足网络的小区站址选择、网络日常优化、射频质量评估等需要。

视频电话是3G无线网络的一个主要功能，对视频电话的音视频质量评估，是路测优化的一项重要测试指标。音视频质量评估主要分三大类：1、音频质量评估；2、视频质量评估；3、音频视频同步评估。目前对于3G视频电话的音频质量评估使用的是国际标准PESQ算法，视频质量评估目前尚无统一的国际标准，但实际中使用的比较多的是PEVQ算法，而对于音频和视频同步程度的评估既无国际标准，也没有实际使用较多的成熟算法。

传统的语音视频同步控制策略通常是在每个音频帧和视频帧中加入额外时间戳数据，依靠时间戳进行同步，但在3G网路中的传输带宽是十分有限的，特别是对于TD-SCDMA和WCDMA这两种3G网络，其视频电话都是基于64K的电路交换物理信道来实现的，对传输的数据包的大小有极其严格的要求，如果在每一个音视频数据包上都额外加入用于同步的时间戳信息，将影响固有的视频质量和音频质量，而且H.324M协议所含的H.223复用子协议也没有提供编入时间戳的帧格式。所以除了采用用户主观评价方法以外，需要提出一种切实可行的适用于低比特率高误码率的3G移动网络视频电话的客观评估方法，以便能够将音视频的同步程度进行量化，满足3G网络路测优化的需要。

发明内容

针对工程实践的需求，本发明基于TD-SCDMA和WCDMA这两种3G网络所使用的视频电话协议H.324M，开发出一种适用于TD-SCDMA和WCDMA移动网络视频电话的语音视频同步的评估装置及方法。

本发明针对的是3G网络性能的测试与优化，语音视频同步在此发明中将作如下定义和假设：

1、假定媒体编解码器的编码与解码处理不会造成语音视频的不同步情况(事实上目前商用编解码器都能保证语音视频的同步)，语音视频的同步仅仅受到H.324M协议栈和网络传输延时的影响。

2、H.324M协议没有规定每次提交给协议栈处理的视频帧是否完整，但要求每次都发送一个完整的音频帧，为了进行音视频同步评估，本发明约定发送端每次向H.324M协议栈提交完整的视频帧进行发送，接收端由协议栈机制保证以完整的一个视频帧为单位从协议栈获取视频帧。

3、视频帧发送时间点，定义为将一个已经经过视频编码器编码后的视频帧，提交给H.324M协议栈进行处理的时刻。

4、视频帧接收时间点，定义为从H.324M协议栈获取到一个完整的、可以交给视频解码器解码的视频帧的时刻。

5、视频帧延时，定义为视频帧的接收时间点减去视频帧的发送时间点，他是一个编码后的视频帧经过H.324M协议栈进行复用组帧发送到物理信道上所花的时间、网络传输所花费的时间、H.324M协议栈从物理信道上接收数据包进行解复用还原视频帧所花的时间之和。

6、音频帧发送时间点，定义为将一个已经经过音频编码器编码后的音频帧，提交给H.324M协议栈进行处理的时刻。

7、音频帧接收时间点，定义为从H.324M协议栈获取到一个完整的、可以交给音频解码器解码的音频帧的时刻。

8、音频帧延时，定义为音频帧的接收时间点减去音频帧的发送时间点，他是一个编码后的音频帧经过H.324M协议栈进行复用组帧发送到物理信道上所花的时间、网络传输所花费的时间、H.324M协议栈从物理信道上接收数据包进行解复用还原音频帧所花的时间之和。

9、视频帧时长，定义为该视频帧的发送时间点到下一个视频帧的发送时间点之间的时间段。H.324M协议所定义视频帧格式为H.263，该格式的每帧大小是可变的，所以视频帧时长也是变化的，为了进行音视频同步测试，本发明需要按整帧方式收发视频，则何时发送视频帧需要给定一个计算公式：设H.324M协议栈所预设的视频逻辑通道速率为每秒S字节，当前视频帧的大小为K字节，发送当前帧的时间点为Tc，则下一帧发送的时间点为Tn＝Tc+K/S，当前视频帧的时长为K/S。

10、音频帧时长，定义为该音频帧的发送时间点到下一个音频帧的发送时间点之间的时间段。H.324M协议所定义音频帧格式为AMR，每个AMR帧包含20ms的语音数据，而且协议规定必须每20ms发送一个音频帧，所以音频帧时长固定为20ms。

11、视频帧延时，定义为同一个视频帧接收时间点减去视频帧发送时间点。

12、音频帧延时，定义为同一个音频帧接收时间点减去音频帧发送时间点。

13、视频帧对应的音频帧，定义为在一个视频帧时长内发送端发送的所有音频帧，即那些发送时间点在该视频帧时长内的音频帧。

14、音视频同步评估单元，定义为一个视频帧和该帧对应的所有音频帧的一对多的组合。

15、语音视频不同步，在此将根据“ATSC Implementation SubcommitteeFinding：Relative Timing of Sound and Vision for BroadcastOperations，”(Doc.IS-191，26 June，2003)，2003.中所提出的人类对音视频同步感知的标准，定义如果音频领先于视频超过15毫秒，或者音频落后于视频超过45毫秒都认为是音频视频不同步。

16、语音视频同步的偏离(SD)，定义为视频帧的延时与该视频帧对应的所有音频帧延时的差值，用公式表示为：SD＝∑At-V，其中V表示视频帧延时，At表示第t个音频帧的延时，∑At表示该视频帧所对应的音频帧的延时之和。根据该公式就可以针对每个视频帧度量音视频同步的情况，SD＜-15毫秒，则表示语音领先视频超过了15毫秒判断为不同步，SD＞45毫秒，则表示语音落后视频超过了45毫秒也判断为不同步。使用SD还可以把音视频的同步偏离程度和3G网络信号的强弱关联起来，分析信号强弱对音视频同步所产生的影响。

17、语音视频同步的绝对偏离(ASD)，定义为语音视频同步的偏离的绝对值，ASD＝|SD|＝|∑At-V|。

18、平均语音视频同步绝对偏离(MASD)，定义为多个视频帧的语音视频同步绝对偏离的算术平均值，MASD＝∑ASD/N＝∑|∑At-Vn|/N，其中Vn表示第n个视频帧的延时，n＝1，2，...N，N表示视频帧数量，∑|∑At-Vn|表示N个视频帧的语音视频同步绝对偏离值之和。使用MASD可以把音视频的同步程度和主观视觉听觉评估相关联。

在以上定义和假设的基础上，为了测量音视频的同步情况，需要在发送端每次发送样本都保证向H.324M协议栈提交一个完整的视频帧，接收端由协议栈的适配层协议单元保证上层处理模块能够从协议栈接收到完整的视频帧，因为视频帧大小是可变的，而逻辑信道传输速率是不变的，每次发送视频帧的时间点必须由自己计算，本发明按照定义9中给出的递推公式计算每个视频帧的发送时间点，设H.324M协议栈所预设的视频逻辑通道速率为每秒S字节，当前视频帧的大小为K字节，发送当前帧的时间点为Tc，则下一帧发送的时间点为Tn＝Tc+K/S，当前视频帧的时长为K/S。

基于H.324M协议的视频电话的音视频同步测试装置，由一台PC机和两部测试手机组成，其特征在于：PC机通过usb接口连接两部测试手机，两部测试手机能使用3G的sim卡接入WCDMA或TD-SCDMA网络，H.324M协议栈配置在PC机上，同时启动两个协议栈实例，每个实例对应一部测试手机，一个实例负责发送数据，另一个实例负责接收数据，测试手机将被作为modem使用，负责3G网络通信信道的建立；音视频样本文件由发送端的协议栈实例经由测试手机发送到3G网络，接收端的协议栈实例通过测试手机从3G网络接收到降级后的样本数据。

所述的PC机包括测试控制模块、媒体编码模块、视频电话通信模块、音视频同步测试模块、测试结果显示模块、路测软件接口模块、数据表维护模块，测试控制模块分别与媒体编码模块、视频电话通信模块、音视频同步测试模块、测试结果显示模块相连，音视频同步测试模块分别与路测软件接口模块、数据表维护模块相连。

图2中的各软件模块部署在图1所示的PC机上，由测试控制模块201发起测试，媒体编码模块202将样本文件进行编码，编码后的码流由视频电话通信模块203通过测试手机102发送到3G无线网络，测试手机103从无线网络上接收测试手机102所发送的数据，并将接收到数据上报给视频电话通信模块203处理，音视频同步测试模块204对发送和接收的语音视频数据进行评估，在评估过程中将调用路测软件接口模块206和数据表维护模块207作为辅助，评估结果通过测试结果显示模块205在PC机101上显示。

基于H.324M协议的视频电话的音视频同步测试方法，其特征在于：本方法设计两个二维关系型主从表如表1所示，用于记录上述各项数据和关联；主表为视频帧信息表，包括的字段有视频帧编号、视频帧发送时间点、视频帧接收时间点、视频帧延时，其中视频帧编号为主关键字；从表为音频帧信息表，包括音频帧编号、音频帧发送时间点、音频帧接收时间点、音频帧延时、该音频帧所对应的视频帧编号，其中音频帧编号是主关键字，而对应的视频帧编号则是外键，用于关联到主表；由于一个视频帧对应多个音频帧，所有主表中的一条记录将对应从表中的多条记录；设计一个语音视频同步偏离表如表2所示，来计算每个视频帧的音视频同步偏离情况，语音视频同步偏离表是一个二维关系表，包含的字段有视频帧编号、视频帧接收完成标识、对应的音频帧接收完成标识、音视频同步偏离值、音视频是否同步、网络信号平均强度；具体按以下步骤进行：

(1)、无线网络优化人员首先需要通过测试控制模块201进行H.324M协议栈参数配置，根据媒体信道打开的时间间隔为协议栈的音视频同步参数skew设置一个经验值，参数配置包括视频信道速率、音频信道速率、音视频发送初始延时skew、音视频压缩格式、样本媒体文件路径、适配层选择AL2；

(2)、测试控制模块201读取媒体样本文件；

(3)、媒体编解码模块202解码媒体样本文件的音视频数据成为原始的视频流和语音流，然后再将原始的视频流按用户指定的参数编码成为H.324M协议规定的视频格式而得到视频编码帧，同时也将原始的音频流按指定参数编码成为H.324M协议规定的音频格式而得到音频编码帧；

(4)、视频电话通信模块203从编码器中获取一个视频编码帧和音频编码帧；

(5)、当视频电话通信模块203在发送端提交一个完整视频帧给H.324M协议栈时，音视频同步测试模块204记录下该视频帧的编号和时间点，发送第一个视频帧的编号为0，后续每发一个视频帧编号加1；发送第一个视频帧的时间点取值为精确到毫秒级的当前系统时间，发送第二个视频帧的时间点按T₁＝T₀+K₀/S计算得到，T₁是发送第二个视频帧的时间点，T₀是发送第一个视频帧的时间点，第一个视频帧大小为K₀字节，视频逻辑通道速率为每秒S字节，后续各帧的发送时间点依此类推；发送当前帧的时间点为Tc，则下一帧发送的时间点为Tn＝Tc+K/S，视频逻辑通道速率为每秒S字节，当前视频帧的大小为K字节；同时将在视频信息表中增加一条记录，记录当前发送的视频帧的编号和发送时间点；

(6)、当视频电话通信模块203在发送端提交一个音频帧给H.324M协议栈时，音视频同步测试模块204记录下该音频帧的编号和时间点，发送第一个音频帧的编号为0，后续每发一个音频帧的编号加1；发送第一个音频帧的时间点取值为精确到毫秒级的当前系统时间，每隔20ms的固定间隔发送下一个音频帧，则发送第二个音频帧的时间点为，t₁＝t₀+20，t₀是第一个音频帧发送时间点；

(7)、当视频电话通信模块203在接收端从H.324M协议栈获取到一个视频帧时，音视频同步测试模块204要从H.324M协议栈中的AL2适配单元中提取出当前帧的编号，该编号从0开始，如果有掉帧情况发生，按AL2协议将出现编号不连续情况，记录下帧号的同时也记录精确到毫秒级的当前系统时间作为接收视频帧的时间点；

(8)、当视频电话通信模块203在接收端从H.324M协议栈获取到一个音频帧时，音视频同步测试模块204要从H.324M协议栈中的AL2适配单元中提取出当前帧的编号，该编号从0开始，如果有掉帧情况发生，按AL2协议将出现编号不连续情况，记录下帧号的同时也记录精确到毫秒级的当前系统时间作为接收音频帧的时间点；

(9)、当视频电话通信模块203发送一个视频帧时，音视频同步测试模块204记录了该视频帧的发送时间点和编号，在视频电话通信模块203接收该编号的视频帧时，音视频同步测试模块204也记录了接收时间点，那么从发送时间点到接收时间点这段时间就是视频帧延时，对于所有发送时间点在视频帧延时的时间段内的音频帧都是与该视频帧对应的音频帧，音视频同步测试模块204将记录下音频帧与视频帧之间的对应关系，这种对应关系可以用对应的音频帧编号关联该视频帧编号来实现；

(10)、在视频电话通信模块203发送一个视频帧时，音视频同步测试模块204将通过数据表维护模块207向视频帧信息表301新增一条记录，在该记录中填写该视频帧的编号、发送时间点；当视频电话通信模块203接收到一个视频帧的时候，音视频同步测试模块204利用从H.324M协议栈的AL2适配单元中取得的帧编号，通过数据表维护模块207查找视频帧信息表301，定位到该编号的记录项，并填入接收时间点，同时使用接收时间点减去发送时间点得到视频帧延时填入该记录中；

(11)、在视频电话通信模块203发送一个音频帧时，音视频同步测试模块204将通过数据表维护模块207向音频帧信息表302新增一条记录，在该记录中填写该音频帧的编号、发送时间点；同时使用音频发送时间点查询视频帧信息表302中的对应记录，查询方法为：用当前音频帧发送时间点减去每一个视频帧发送时间点所得的差值中的最小正值所对应的视频帧记录，即在当前音频帧发送时间点之前最近的那一个时间点的视频帧，将查询到的视频帧记录的视频帧编号填入音频帧信息表302中该音频帧记录的“所对应的视频帧编号”字段；当视频电话通信模块203接收到一个音频帧的时候，音视频同步测试模块204利用从H.324M协议栈的AL2适配帧中取得的帧编号，通过数据表维护模块207查找音频帧信息表302，定位到该编号的记录项，并填入接收时间点，同时使用接收时间点减去发送时间点得到音频帧延时填入记录中；

(12)、当视频电话通信模块203接收到一个视频帧时，由于H.324M是基于稳定有序的电路交换域的，那么上一个视频帧要么顺利接收完成，要么传输中发生掉帧现象，这两种情况我们都认为是上一个视频帧已经接收完成了；设上一个视频帧编号为n，音视频同步测试模块204将通过数据表维护模块207用视频帧编号n查询语音视频同步偏离表303，如果不存在该编号的记录则新增一条记录，此时表明第n帧视频帧所对应的音频帧还没有全部接收完成，如果语音视频同步偏离表303中存在该记录就定位到该记录，此时表明第n帧视频帧所对应的音频帧已经全部接收完成，那么将该记录的“视频帧接收完成标识”字段置为完成状态；然后检查“对应的音频帧接收完成标识”是否被置为完成状态，如果视频和音频的接收完成标识都记录为“完成”状态，则开始计算音频视频同步偏离值；

(13)、当视频电话通信模块203接收到一个音频帧时，音视频同步测试模块204将通过数据表维护模块207用接收的音频帧编号定位到音频帧信息表302中的音频帧记录，然后找到该记录的上一条记录，如果上一条记录的“所对应的视频帧编号”为n与当前接收的音频帧记录的“所对应的视频帧编号”不同，则说明接收端已经完成第n个视频帧所对应的所有音频帧的接收，此时会用上一个音频帧所对应的视频帧编号n来查询语音视频同步偏离表303，如果不存在该编号的记录则新增一条记录，这种情况表明第n帧视频帧还没有接收完成；如果存在就定位到该记录，这种情况表明第n帧视频帧已经接收到，将该记录的“对应的音频帧接收完成标识”字段置为完成状态；然后检查“视频帧接收完成标识”是否被置为完成状态，如果视频和音频的接收完成标识都记录为“完成”状态，则开始计算音频视频同步偏离值；

(14)、计算音频视频同步偏离值：在(12)或(13)中如果发现音视频接收完成标志都被置为了“完成”，音视频同步测试模块204就开始计算音视频同步偏离值；首先使用语音视频同步偏离表303中的视频帧编号查询视频帧信息表301，设视频帧编号为n，定位到视频帧信息表301的对应记录，取出视频帧延时V，如果该字段没有被赋值，则表示该视频帧在传输过程中丢失，此时肯定出现音频超前的不同步状态，直接给音视频同步偏离值SD赋值为-20ms；如果视频延时值存在则再使用视频帧编号n查询音频帧信息表302，找出所有“所对应的视频帧编号”为n的音频帧记录，对这些音频帧的延时进行累加求和∑At，如果有音频帧的延时没有赋值，则表明该音频帧丢失，音频滞后的不同步状态发生，直接给音视频同步偏离值SD赋值为50ms；如果音视频的延时值都存在则利用语音视频同步的偏离(SD)定义的公式SD＝∑At-V计算出同步偏离值；如果SD＜-15ms，或SD＞45ms，表明不同步状态发生，置“音视频是否同步”字段为“不同步”，否则为“同步”；利用路测软件接口模块206求出发送第n个视频帧到第n+1个视频帧这段时间内的网络信号强度的算术平均值填入“网络信号平均强度”字段，如此就将信号强度与同步偏离关联起来；

(15)、发送端的样本文件在测试过程中会循环发送，当完成一次样本文件的收发后，音视频同步测试模块204将计算平均语音视频同步绝对偏离(MASD)，用平均语音视频同步绝对偏离(MASD)定义的公式，MASD＝∑ASD/N＝∑|∑At-Vn|/N，其中Vn表示第n个视频帧的延时，n＝1，2，...N，N表示视频帧数量，∑|∑At-Vn|表示N个视频帧的语音视频同步绝对偏离值之和，ASD为语音视频同步的绝对偏离；对语音视频同步偏离表303中本次发送的样本文件的每一帧的同步偏离值的绝对值进行算术平均；事后对接收的降级后的样本文件进行主观MOS(平均意见得分)评估，也就组织不同年龄段的人员组直接观看接收的音视频并给出其同步情况的主观听视觉评分，再将MASD值使用线性回归方法映射到该主观评分上，就可以得出语音视频同步的客观评估MOS值；

(16)、测试结果显示模块205在用户界面上将实时地绘制出每个视频帧的音视频同步偏离值SD的波形图，同时将绘制网络信号强度值的波形图，让用户直观地看出信号强度变化对语音视频同步的影响；并且实时给出不同步的帧与总帧数的百分比。

表1                                表2

本发明涉利用H.324M协议栈的适配层AL2层能够携带帧编号及H.324M协议栈所基于的电路交换域能保证音视频帧传输的有序性来完成发送端和接收端的帧匹配，利用H.324M协议栈的skew延时调整参数保证了发送端的语音视频同步，基于H.324M协议自主控制视频帧发送时间点将视频流和音频流按时间轴划分为多个音视频同步评估单元，将视频帧和音频帧的收发端匹配，精确测量3G视频通话中的的视频帧和音频帧延时，提出音视频同步偏离程度的计算公式，并给出丢帧情况下的音视频同步度量方法，将音视频同步的偏离程度与信道信号强度相关联并以波形图方式对比显示，利用平均绝对偏离公式将音视频同步客观评估与主观评估相关联。

附图说明

图1为本发明的系统硬件架构图。

图2为本发明的系统模块结构图。

图3为音视频同步测试流程图。

具体实施方式

以下结合附图对本发明如何测试语音视频同步进行详细说明。

图1是本发明的系统硬件架构图。笔记本101通过USB连线连接测试手机102和测试手机103，两个测试手机之间通过TD-SCDMA或WCDMA无线网络的CS电路交换域相互连接。

如图2所示，所述的PC机包括测试控制模块201、媒体编码模块202、视频电话通信模块203、音视频同步测试模块204、测试结果显示模块205、路测软件接口模块206、数据表维护模块207，测试控制模块201分别与媒体编码模块202、视频电话通信模块203、音视频同步测试模块204、测试结果显示模块205相连，音视频同步测试模块204分别与路测软件接口模块206、数据表维护模块207相连。

测试控制模块201负责整个测试流程的总控和其他各模块的协调功能，它提供给用户一个操作接口，让用户指定媒体样本文件、测试时间、H.324M协议栈初始参数等各种测试配置，能按用户的需要发起和终止测试。测试控制模块201将调用媒体编解码模块202在发送端对样本文件进行解码并按照指定的音视频格式重新编码，在接收端对音视频流进行解码。测试控制模块201将调用视频电话通信模块203来利用H.324M协议栈实际完成视频电话的通信，视频电话通信模块203对H.324M协议栈进行了封装。测试控制模块201还将调用音视频同步测试模块204在视频通话的过程中完成对音视频同步程度的测试。测试控制模块201调用测试结果显示模块205以图形化的方式来显示测试结果并实现报表输出。音视频同步测试模块204在测试过程中将调用路测软件接口模块206来获得3G网络的信号强度，同时还调用数据表维护模块207来完成对视频帧信息表、音频帧信息表和音视频同步偏离表的增、删、改、查。

图2中的各软件模块部署在图1所示的PC机101上，由测试控制模块201发起测试，媒体编码模块202将样本文件进行编码，编码后的码流由视频电话通信模块203通过测试手机102发送到3G无线网络，测试手机103从无线网络上接收测试手机102所发送的数据，并将接收到数据上报给视频电话通信模块203处理，音视频同步测试模块204对发送和接收的语音视频数据进行评估，在评估过程中将调用路测软件接口模块206和数据表维护模块207作为辅助，评估结果通过测试结果显示模块205在PC机101上显示。

图3是音视频同步测试流程图：

步骤401，无线网络优化人员通过测试控制模块201设置H.324M协议栈的初始参数，例如视频信道速率，音频信道速率，音视频发送初始延时skew，音视频压缩格式，样本媒体文件、适配层选择(这里音视频都需要选择AL2)等初始配置参数。步骤402，测试控制模块201读取媒体样本文件。步骤403，媒体编解码模块202解码媒体文件成为原始的视频流和语音流。步骤404，媒体编解码模块202将原始视频按指定参数编码成为H.324M协议规定的视频格式的视频帧。步骤405，视频电话通信模块203从编码器中获取一个编码完成的视频帧。步骤406，音视频同步测试模块204当视频发送时间点到达的时候，获取当前系统时间做为视频帧的发送时间点。步骤407，音视频同步测试模块204将发送的视频帧数加一做为当前视频帧的编号。步骤408，音视频同步测试模块204按照定义9给出的公式计算下一帧视频帧的发送时间点，预设的视频逻辑通道速率为每秒S字节，当前视频帧的大小为K字节，发送当前帧的时间点为Tc，则下一帧发送的时间点为Tn＝Tc+K/S。步骤409，音视频同步测试模块204将通过数据表维护模块207在视频信息表301中增加一条记录记录当前发送的视频帧的编号和发送时间点。步骤410，视频电话通信模块203将完整的视频帧提交给H.324M协议栈分包成帧复用在视频逻辑信道上发送。步骤411，媒体编解码模块202将音频流编码为协议栈指定格式的音频帧。步骤412，视频电话通信模块203每隔20毫秒就从编码器中取出一个编码后的音频帧。步骤413，音视频同步测试模块204当音频发送时间点到达的时候，取系统时间做为当前音频帧的发送时间点。步骤414，音视频同步测试模块204将发送的音频帧计数加一作为当前音频帧编号。步骤415，音视频同步测试模块204按照评估策略12中的查询条件：(音频帧发送时间点-视频帧发送时间点)＞0并且MIN(音频帧发送时间点-视频帧发送时间点)，其中MIN表示求最小值，通过将通过数据表维护模块207在视频帧信息表301中查询所属的视频帧编号。步骤416，音视频同步测试模块204通过将通过数据表维护模块207在音频帧信息表302中增加一条记录，填入音频帧编号、发送时间点，所属的视频帧编号信息。步骤417，视频电话通信模块203将完整的音频帧提交给H.324M协议栈成帧复用在音频频逻辑信道上发送。步骤418，测试手机102将音视频数据包通过TD-SCDMA或WCDMA网络的CS域64k电路交换信道发送。步骤419，测试手机102将从TD-SCDMA或WCDMA网络的CS域64k电路交换信道获取音视频数据包。步骤420，视频电话通信模块203用H.324M协议栈按照AL2适配层协议对从视频逻辑信道接收到的视频数据包进行解复用组成一个完整的视频帧。步骤421，音视频同步测试模块204从AL2层的帧中取出接收到的视频帧编号。步骤422，音视频同步测试模块204获取系统时间点作为当前的视频接收时间。步骤423，音视频同步测试模块204通过数据表维护模块207用帧编号查询视频帧信息表301用接收时间减去发送时间得到视频帧的延时。步骤424，音视频同步测试模块204通过数据表维护模块207将视频帧延时填入视频帧信息表301。步骤425，音视频同步测试模块204通过数据表维护模块207置音视频同步偏离表303中该帧的上一个视频帧记录的“视频接收完成标志”为“完成”状态。步骤432，音视频同步测试模块204通过数据表维护模块207先执行评估策略14的检查看“对应的音频帧接收完成标识”是否被置为完成状态，如果是，则开始执行评估策略16，计算音频视频同步偏离值：在音频信息表302中找出该视频帧上一帧所有对应的音频帧记录，对这些音频帧的延时进行累加求和得到∑At，如果有音频帧的延时没有赋值，则表明该音频帧丢失，音频滞后的不同步状态发生，直接给音视频同步偏离值SD赋值为50ms。如果音视频的延时值都存在则利用定义15的公式SD＝∑At-V计算出同步偏离值，V为上一帧视频帧延时。步骤426，视频电话通信模块203用H.324M协议栈按照AL2适配层协议对从音频逻辑信道接收到的音频数据包进行解复用得到音频帧。步骤427，音视频同步测试模块204从AL2层的帧中取出接收到的音频帧编号。步骤428，音视频同步测试模块204获取系统时间点作为当前的音频接收时间。步骤429，音视频同步测试模块204通过数据表维护模块207用帧编号查询音频帧信息表302用接收时间减去发送时间得到音频帧的延时。步骤430，音视频同步测试模块204通过数据表维护模块207将音频帧延时填入音频帧信息表302。步骤431，音视频同步测试模块204通过数据表维护模块207根据评估策略15查询音频帧信息表302当前记录的上一条记录，如果上一条记录的“所对应的视频帧编号”为n与当前接收的音频帧记录的“所对应的视频帧编号”不同，则定位音视频同步偏离表303中的编号为n的记录，置“音频帧接收完成标志”为“完成”状态。步骤432，音视频同步测试模块204通过数据表维护模块207先执行评估策略14的检查看编号为n的视频帧的“视频帧接收完成标识”是否被置为完成状态，如果是则，则开始执行评估策略16，计算音频视频同步偏离值：定位到视频帧信息表301的编号为n的记录，取出视频帧延时V，如果该字段没有被赋值，则表示该视频帧在传输过程中丢失，此时肯定出现音频超前的不同步状态，直接给音视频同步偏离值SD赋值为-20ms，如果视频延时值存在则再使用视频帧编号n查询音频帧信息表302，找出所有“所对应的视频帧编号”为n的音频帧记录，对这些音频帧的延时进行累加求和得到∑At，利用定义15的公式SD＝∑At-V计算出同步偏离值。步骤433，音视频同步测试模块204通过路测软件接口模块206取得从编号为n的视频帧发送时间点到当前视频帧(第n+1帧)的发送时间点这段时间内，路测软件接口所提供的所有信道信号强度值进行算术平均，从而得到平均信号强度。步骤434，音视频同步测试模块204在样本文件完成一次传输后计算平均语音视频同步绝对偏离(MASD)，该值可以使用定义17中的公式，对语音视频同步偏离表中303本次发送的样本文件的每一帧的同步偏离值的绝对值进行算术平均。步骤435，测试结果显示模块205以图形方式显示同步偏离波形图，信道强度变化波形图，以及不同步帧数与总帧数的百分比。步骤436，媒体编解码模块202解码视频帧。步骤437，媒体编解码模块202解码音频帧。步骤438，测试结果显示模块205播放解码后的音视频帧让用户观看进行主观视觉听觉评估。

以上结合实例对本发明作了说明，应指出，本领域技术人员可以做出各种形式的和细节上的改变，而不偏离由所附权利要求所确定的本发明的精神和范围。

Claims (1)

1.基于H.324M协议的视频电话的音视频同步测试方法，其特征在于：本方法设计两个二维关系型主从表，用于记录各项数据和关联；主表为视频帧信息表，包括的字段有视频帧编号、视频帧发送时间点、视频帧接收时间点、视频帧延时，其中视频帧编号为主关键字；从表为音频帧信息表，包括音频帧编号、音频帧发送时间点、音频帧接收时间点、音频帧延时、该音频帧所对应的视频帧编号，其中音频帧编号是主关键字，而对应的视频帧编号则是外键，用于关联到主表；由于一个视频帧对应多个音频帧，所有主表中的一条记录将对应从表中的多条记录；设计一个语音视频同步偏离表，来计算每个视频帧的音视频同步偏离情况，语音视频同步偏离表是一个二维关系表，包含的字段有视频帧编号、视频帧接收完成标识、对应的音频帧接收完成标识、音视频同步偏离值、音视频是否同步、网络信号平均强度；具体按以下步骤进行：

(1)、无线网络优化人员首先需要通过测试控制模块进行H.324M协议栈参数配置，根据媒体信道打开的时间间隔为协议栈的音视频同步参数skew设置一个经验值，参数配置包括视频信道速率、音频信道速率、音视频发送初始延时skew、音视频压缩格式、样本媒体文件路径、适配层选择AL2；

(2)、测试控制模块读取媒体样本文件；

(3)、媒体编解码模块解码媒体样本文件的音视频数据成为原始的视频流和语音流，然后再将原始的视频流按用户指定的参数编码成为H.324M协议规定的视频格式而得到视频编码帧，同时也将原始的音频流按指定参数编码成为H.324M协议规定的音频格式而得到音频编码帧；

(4)、视频电话通信模块从编码器中获取一个视频编码帧和音频编码帧；

(5)、当视频电话通信模块在发送端提交一个完整视频帧给H.324M协议栈时，音视频同步测试模块记录下该视频帧的编号和时间点，发送第一个视频帧的编号为0，后续每发一个视频帧编号加1；发送第一个视频帧的时间点取值为精确到毫秒级的当前系统时间，发送第二个视频帧的时间点按T₁＝T₀+K₀/S计算得到，T₁是发送第二个视频帧的时间点，T₀是发送第一个视频帧的时间点，第一个视频帧大小为K₀字节，视频逻辑通道速率为每秒S字节，后续各帧的发送时间点依此类推；发送当前帧的时间点为Tc，则下一帧发送的时间点为Tn＝Tc+K/S，视频逻辑通道速率为每秒S字节，当前视频帧的大小为K字节；同时将在视频信息表中增加一条记录，记录当前发送的视频帧的编号和发送时间点；

(6)、当视频电话通信模块在发送端提交一个音频帧给H.324M协议栈时，音视频同步测试模块记录下该音频帧的编号和时间点，发送第一个音频帧的编号为0，后续每发一个音频帧的编号加1；发送第一个音频帧的时间点取值为精确到毫秒级的当前系统时间，每隔20ms的固定间隔发送下一个音频帧，则发送第二个音频帧的时间点为，t₁＝t₀+20，t₀是第一个音频帧发送时间点；

(7)、当视频电话通信模块在接收端从H.324M协议栈获取到一个视频帧时，音视频同步测试模块要从H.324M协议栈中的AL2适配单元中提取出当前帧的编号，该编号从0开始，如果有掉帧情况发生，按AL2协议将出现编号不连续情况，记录下帧号的同时也记录精确到毫秒级的当前系统时间作为接收视频帧的时间点；

(8)、当视频电话通信模块在接收端从H.324M协议栈获取到一个音频帧时，音视频同步测试模块要从H.324M协议栈中的AL2适配单元中提取出当前帧的编号，该编号从0开始，如果有掉帧情况发生，按AL2协议将出现编号不连续情况，记录下帧号的同时也记录精确到毫秒级的当前系统时间作为接收音频帧的时间点；

(9)、当视频电话通信模块发送一个视频帧时，音视频同步测试模块记录了该视频帧的发送时间点和编号，在视频电话通信模块接收该编号的视频帧时，音视频同步测试模块也记录了接收时间点，那么从发送时间点到接收时间点这段时间就是视频帧延时，对于所有发送时间点在视频帧延时的时间段内的音频帧都是与该视频帧对应的音频帧，音视频同步测试模块204将记录下音频帧与视频帧之间的对应关系，这种对应关系可以用对应的音频帧编号关联该视频帧编号来实现；

(10)、在视频电话通信模块发送一个视频帧时，音视频同步测试模块204将通过数据表维护模块向视频帧信息表新增一条记录，在该记录中填写该视频帧的编号、发送时间点；当视频电话通信模块接收到一个视频帧的时候，音视频同步测试模块利用从H.324M协议栈的AL2适配单元中取得的帧编号，通过数据表维护模块207查找视频帧信息表，定位到该编号的记录项，并填入接收时间点，同时使用接收时间点减去发送时间点得到视频帧延时填入该记录中；

(11)、在视频电话通信模块发送一个音频帧时，音视频同步测试模块将通过数据表维护模块向音频帧信息表新增一条记录，在该记录中填写该音频帧的编号、发送时间点；同时使用音频发送时间点查询视频帧信息表中的对应记录，查询方法为：用当前音频帧发送时间点减去每一个视频帧发送时间点所得的差值中的最小正值所对应的视频帧记录，即在当前音频帧发送时间点之前最近的那一个时间点的视频帧，将查询到的视频帧记录的视频帧编号填入音频帧信息表中该音频帧记录的“所对应的视频帧编号”字段；当视频电话通信模块接收到一个音频帧的时候，音视频同步测试模块利用从H.324M协议栈的AL2适配帧中取得的帧编号，通过数据表维护模块查找音频帧信息表，定位到该编号的记录项，并填入接收时间点，同时使用接收时间点减去发送时间点得到音频帧延时填入记录中；

(12)、当视频电话通信模块接收到一个视频帧时，由于H.324M是基于稳定有序的电路交换域的，那么上一个视频帧要么顺利接收完成，要么传输中发生掉帧现象，这两种情况我们都认为是上一个视频帧已经接收完成了；设上一个视频帧编号为n，音视频同步测试模块将通过数据表维护模块用视频帧编号n查询语音视频同步偏离表，如果不存在该编号的记录则新增一条记录，此时表明第n帧视频帧所对应的音频帧还没有全部接收完成，如果语音视频同步偏离表中存在该记录就定位到该记录，此时表明第n帧视频帧所对应的音频帧已经全部接收完成，那么将该记录的“视频帧接收完成标识”字段置为完成状态；然后检查“对应的音频帧接收完成标识”是否被置为完成状态，如果视频和音频的接收完成标识都记录为“完成”状态，则开始计算音频视频同步偏离值；

(13)、当视频电话通信模块接收到一个音频帧时，音视频同步测试模块将通过数据表维护模块用接收的音频帧编号定位到音频帧信息表中的音频帧记录，然后找到该记录的上一条记录，如果上一条记录的“所对应的视频帧编号”为n与当前接收的音频帧记录的“所对应的视频帧编号”不同，则说明接收端已经完成第n个视频帧所对应的所有音频帧的接收，此时会用上一个音频帧所对应的视频帧编号n来查询语音视频同步偏离表，如果不存在该编号的记录则新增一条记录，这种情况表明第n帧视频帧还没有接收完成；如果存在就定位到该记录，这种情况表明第n帧视频帧已经接收到，将该记录的“对应的音频帧接收完成标识”字段置为完成状态；然后检查“视频帧接收完成标识”是否被置为完成状态，如果视频和音频的接收完成标识都记录为“完成”状态，则开始计算音频视频同步偏离值；

(14)、计算音频视频同步偏离值：在(12)或(13)中如果发现音视频接收完成标志都被置为了“完成”，音视频同步测试模块就开始计算音视频同步偏离值；首先使用语音视频同步偏离表中的视频帧编号查询视频帧信息表，设视频帧编号为n，定位到视频帧信息表的对应记录，取出视频帧延时V，如果该字段没有被赋值，则表示该视频帧在传输过程中丢失，此时肯定出现音频超前的不同步状态，直接给音视频同步偏离值SD赋值为-20ms；如果视频延时值存在则再使用视频帧编号n查询音频帧信息表，找出所有“所对应的视频帧编号”为n的音频帧记录，对这些音频帧的延时进行累加求和∑At，如果有音频帧的延时没有赋值，则表明该音频帧丢失，音频滞后的不同步状态发生，直接给音视频同步偏离值SD赋值为50ms；如果音视频的延时值都存在则利用语音视频同步的偏离(SD)定义的公式SD＝∑At-V计算出同步偏离值；如果SD＜-15ms，或SD＞45ms，表明不同步状态发生，置“音视频是否同步”字段为“不同步”，否则为“同步”；利用路测软件接口模块求出发送第n个视频帧到第n+1个视频帧这段时间内的网络信号强度的算术平均值填入“网络信号平均强度”字段，如此就将信号强度与同步偏离关联起来；

(15)、发送端的样本文件在测试过程中会循环发送，当完成一次样本文件的收发后，音视频同步测试模块将计算平均语音视频同步绝对偏离(MASD)，用平均语音视频同步绝对偏离(MASD)定义的公式，MASD＝∑ASD/N＝∑|∑At-Vn|/N，其中Vn表示第n个视频帧的延时，n＝1，2，...N，N表示视频帧数量，∑|∑At-Vn|表示N个视频帧的语音视频同步绝对偏离值之和，ASD为语音视频同步的绝对偏离；对语音视频同步偏离表中本次发送的样本文件的每一帧的同步偏离值的绝对值进行算术平均；事后对接收的降级后的样本文件进行主观平均意见得分(MOS)评估，也就组织不同年龄段的人员组直接观看接收的音视频并给出其同步情况的主观听视觉评分，再将MASD值使用线性回归方法映射到该主观评分上，就可以得出语音视频同步的客观评估MOS值；

(16)、测试结果显示模块在用户界面上将实时地绘制出每个视频帧的音视频同步偏离值SD的波形图，同时将绘制网络信号强度值的波形图，让用户直观地看出信号强度变化对语音视频同步的影响；并且实时给出不同步的帧与总帧数的百分比。

Images