CN102158881B - 一种全面评估3g视频电话质量的方法和装置 - Google Patents

Abstract

本发明利用了H.324M协议栈的适配层AL2层能够携带帧编号的特性，提出一种根据编号连续性检测是否掉帧以及统计掉帧个数的方法，给出了视频补帧和音频补帧以及对错帧的处理方法，对发送帧序列和接收帧序列的对齐，替换PEVQ(视频质量感知评估)和PESQ算法(音频质量感知评估)的非精确地对齐，使用对齐后的收发音视频帧序列进行评估，这样能大大提高原有算法的处理速度和准确性。利用H.324M协议栈发送速率可以提前设定和发送时间可以动态调整的特性，发送固定大小的音视频数据来精确计算相关参数并合成精确非对齐音视频AVI文件，利用AVET（高级视频质量评估）算法精确地进行音视频同步评估和视频电话整体质量评估。

Description

一种全面评估3G视频电话质量的方法和装置

技术领域

本发明涉及的是应用于3G移动无线网络路测产品中的基于H.324M协议全面评估视频电话质量的一种方法和装置。

背景技术

移动无线网络路测系统是利用测试软件、测试手机、扫频仪、电子地图、GPS及测试车辆等工具对移动无线网络进行规划和优化的系统。主要满足网络的小区站址选择、网络日常优化、射频质量评估等需要。

视频电话是3G无线网络的一个主要业务，对视频电话质量评估是路测优化的一项重要测试指标。视频电话质量评估主要包括三大类：1、音频质量评估；2、视频质量评估；3、音频视频同步评估。从评估方式来说分为主观评估和客观评，主观评估就是通过对视频通话过程中的接收和发送的音视频作对比回放，由测试人员主观评价其感官感受，客观评估目前工程上使用得比较普遍的音频质量评估是ITU-T P.862标准介绍的PESQ（音频质量感知评估）算法，视频质量评估使用ITU-T J.247标准介绍的PEVQ（视频质量感知评估）算法，音频和视频同步程度的评估尚无国际标准，中国移动设计院在PEVQ和PESQ的基础上自行研发了一种AVET（高级视频评估）算法用于评估音视频的同步评分和整体评分，当前该算法已经成为TD网络路测仪表的必备功能。

用于客观评估的PESQ、PEVQ和AVET这三种算法都是独立于具体应用环境的，应用环境不同，这些算法的有效性和处理的耗时程度是存在差异的，在3G视频电话质量评估这个领域，影响这些算法有效性的一个主要因素是它们无法准确的获知音视频信号在传输过程中产生的错帧、掉帧和延时的情况。这三种算法都是将发送的样本音视频帧序列与接收的降级后的帧序列逐帧比较来做评估的，因此都会采用的一定的对齐方法将发送和接收的帧一一匹配，并且匹配的方法都是利用信号本身的特征进行一种模糊的估计，并不能精确的将发送的每一帧和接收的每一帧对应起来，而且接收的帧序列的错帧和掉帧越多、延时越大对齐越困难，这就造成了评估的准确性降低和处理时间的增加。同时3G网络的视频电话本身就是一种低比特率高误码率的传输信道，掉帧和错帧率是比较高的，视频电话的延时也比普通的语音电话高很多，如果直接使用这些评估算法，得出的MOS（平均意向评分）分值往往偏低，评估耗时很长，无法真实、迅速地反映网络的通信质量。主观评估所采用的事后对比回放音视频方式，更是需要做精确地补帧处理，这样才能够保证回放的过程能完全再现视频通话过程中用户所看到和听到的音视频实际情况。所以在3G网络的建网优化过程中需要提出一种切实有效的方法对发送和接收的音视频帧精确而快速地进行匹配，然后合理的组合使用以上三种客观评估算法和对比回放才能客观有效地对3G视频电话的质量作出全面测量。

发明内容

针对工程实践的需求，本发明基于TD-SCDMA和WCDMA这两种3G网络所使用的视频电话协议H.324M，开发出一种适用于TD-SCDMA和WCDMA移动网络的视频电话质量全面评估的方法和装置，该方法包括：步骤301：设置H.324M协议栈的初始参数；步骤302：读取视频样本文件，取出一帧RGB24格式的视频帧；步骤303：将取得的RGB24格式的视频帧添加到发送视频帧队列的末尾；步骤304：将RGB24格式的视频帧编码成H.263格式的视频帧；步骤305：记录下编码得到的H.263格式的视频帧的大小，并且计算从第一帧到当前帧的总大小，将这个总大小保存到一个数组中，数组的索引是该帧的编号，数组元素值就是第一帧到该帧的总大小；步骤306：将编码的视频帧送入视频发送缓冲区；步骤307：根据设置的视频发送速率定时从视频发送缓冲区中获取固定大小的数据块，将数据块送入H.324M协议栈的视频发送逻辑信道，由协议栈进行复用、组帧、编号发送；步骤308：使用从视频发送缓冲区中取出的数据块的总大小查找步骤305中的数组，取得正在发送的数据块所属的视频帧的帧编号；步骤309：判断当前是否在发送第一帧的第一个数据块，如果是则记录下发送的时间点；步骤310：判断当前是否在发送最后一帧的最后一个数据块，如果是则记录下发送时间点，用该时间减去第一帧开始发送的时间得到总发送时间，并记录下最后一帧的编号作为总帧数；步骤311：读取音频样本文件，每次取出20毫秒的PCM格式的音频帧；步骤312：将PCM格式的音频帧添加到发送音频帧队列的末尾；步骤313：将PCM格式的音频帧编码为AMR-NB格式；步骤314：将编码后的音频帧送入音频发送缓冲区：步骤315：每隔20毫秒从缓冲区中取一帧音频帧送入H.324M协议栈的音频发送逻辑信道，由协议栈进行复用、组帧、编号发送；步骤316：记录发送的音频帧帧数；步骤317：将音视频数据包通过电路交换信道发送；步骤318：从电路交换信道获取音视频数据包；步骤319：用H.324M协议栈按照AL2适配层协议对从视频逻辑信道接收到的视频数据包进行解复用组成一个完整的视频帧；步骤320：从AL2层的帧中取出接收到的视频帧编号；步骤321：检测是否是接收到的第一个视频帧，如果是就记录下时间点。步骤322：检测是否是接收到的最后一个视频帧，如果是就记录下时间点，并用该时间点减去接收第一个视频帧的时间点获得总接收时间；步骤323：检测当前收到的帧编号与上一次接收的帧编号相差是否大于1，如果大于1说明发生了掉帧，进行补帧处理；步骤324：使用H.263解码器对视频帧进行解码；步骤325：判断解码器是否能解码成功，如果解码失败则表示这是一个错帧，进行补帧处理，将上次收到的正确的视频帧作为缺失的帧添加到视频帧接收队列的末尾；步骤326：将解码正确的视频帧分别添加到视频帧接收队列末尾和非对齐视频帧接收队列末尾；步骤327：将正确接收的视频帧数加一；步骤328：调用视频质量感知评估PEVQ算法模块对发送的视频帧队列和接收的精确对齐视频帧队列进行视频质量平均意向分数MOS分值计算；步骤329：用H.324M协议栈按照AL2适配层协议对从音频逻辑信道接收到的音频数据包进行解复用得到音频帧；步骤330：从AL2层的帧中取出接收到的音频帧编号；步骤331：检测当前收到的帧编号与上一次接收的帧编号相差是否大于1，如果大于1说明发生了掉帧，进行补帧处理；步骤332解码一个音频帧；步骤333：检测音频解码是否正确，如果有错帧则进行补帧，添加一个静音帧到音频接收队列的末尾；步骤334：将解码正确的音频帧分别添加到音频帧接收队列末尾和非对齐视音频帧接收队列末尾；步骤335：调用音频质量感知评估PESQ算法模块对发送的音频帧队列和接收的对齐音频帧队列进行音频质量平均意向分数MOS分值计算；步骤336：合成收发音视频混合avi文件；步骤337分别为发送和接收的未做过补帧处理的非对齐音频序列加上wav文件头以生成wav文件；步骤338：使用收发音视频混合avi文件和wav文件调用AVET（高级视频评估工具）算法的音视频同步评估模块计算同步得分；步骤339：用对齐的视频帧队列的帧数减去非对齐的视频帧队列的帧数得到跳帧数，用跳帧数和总帧数计算出跳帧百分比，以此代替PEVQ算法中的跳帧百分比的模糊计算方法；步骤340：使用视频MOS值、音频MOS值、同步分值、跳帧百分比调用AVET算法的整体评估模块计算视频电话的整体客观评估分值。其装置包括：测试控制模块201，用于负责整个评估流程的总控和其他各模块的协调功能；媒体编解码模块202，用于在发送端将RGB24格式的视频样本文件编码为H.263格式的视频帧，将PCM格式的音频文件编码为AMR-NB格式的音频帧，在接收端对音视频流进行解码；视频电话通信模块203，用于利用H.324M协议栈实际完成视频电话的通信；帧序列对齐模块204，用于在视频通话的过程中完成对接收的音视频的补帧处理，生成对齐后的收发视频帧队列、对齐后的收发音频帧队列、收发的非对齐音视频混合avi文件和视频的跳帧百分比；视频电话质量评估模块205，用于进行全面的视频电话质量评估；视频质量感知评估PEVQ算法模块208，模块205使用模块204生成的对齐后的收发视频帧队列调用PEVQ算法模块208得到视频平均意向分数MOS评分；音频质量感知评估PESQ算法模块207，模块205使用模块204生成的对齐后的收发音频帧队列调用PESQ算法模块207得到音频的平均意向分数MOS评分；高级视频质量评估AVET算法模块209，模块205使用模块204生成的收发非对齐音视频混合avi文件，调用AVET算法模块209得到音视频同步评分，模块205最后使用视频MOS值、音频MOS值、音视频同步评分和跳帧百分比调用AVET算法模块209得到视频电话整体评分；测试结果显示模块206，用于显示模块205所得到的各种客观质量评分，同时使用经过模块204进行了补帧处理的接收的音视频队列进行回放，供测试人员主观评估视频电话质量。

附图说明

图1是本发明的系统硬件架构图；

图2是本发明的系统模块结构图；

图3是本发明的全面评估视频电话质量流程图。

具体实施方式

以下结合附图对本发明如何测试语音视频同步进行详细说明。

图1是本发明的系统硬件架构图。笔记本101通过USB连线连接测试手机102和测试手机103，两个测试手机之间通过TD-SCDMA或WCDMA无线网络的CS电路交换域相互连接。评估系统的架构采用回环测试方式，由一台PC机通过usb接口连接两部测试手机，测试手机能使用3G的sim卡接入WCDMA或TD-SCDMA网络，H.324M协议栈配置在PC机上，同时启动两个协议栈实例，每个实例对应一部测试手机，一个实例负责发送数据，另一个实例负责接收数据，测试手机将被作为modem使用，负责3G网络通信信道的建立。音视频样本文件由发送端的协议栈实例经由测试手机发送到3G网络，接收端的协议栈实例通过测试手机从3G网络接收到降级后的样本数据。

图2是本发明的系统模块结构图。测试控制模块201负责整个评估流程的总控和其他各模块的协调功能，它提供给用户一个操作接口，让用户指定媒体样本文件、测试次数、H.324M协议栈初始参数等各种测试配置，能按用户的需要发起和终止测试。模块201将调用媒体编解码模块202在发送端将RGB24格式的视频样本文件编码为H.263格式的视频帧，将PCM格式的音频文件编码为AMR-NB格式的音频帧，在接收端对音视频流进行解码。模块201将调用视频电话通信模块203来利用H.324M协议栈实际完成视频电话的通信，模块203对H.324M协议栈进行了封装。模块201将调用视帧序列对齐模块204在视频通话的过程中完成对接收的音视频的补帧处理，生成对齐后的收发视频帧队列、对齐后的收发音频帧队列、收发的非对齐音视频混合avi文件和视频的跳帧百分比。模块201调用视频电话质量评估模块205进行全面的视频电话质量评估，模块205使用模块204生成的对齐后的收发视频帧队列调用PEVQ算法模块208得到视频MOS评分，模块205使用模块204生成的对齐后的收发音频帧队列调用PESQ算法模块207得到音频的MOS评分，模块205使用模块204生成收发非对齐音视频混合avi文件调用AVET算法模块得到音视频同步评分，模块205最后使用视频MOS值、音频MOS值、音视频同步评分和跳帧百分比调用AVET算法得到视频电话整体评分。201调用测试结果显示模块206来显示模块205所得到的各种客观质量评分，同时使用经过模块204进行了补帧处理的接收的音视频队列进行回放，供测试人员主观评估视频电话质量。

图3是视频电话质量全面评估流程图。步骤301设置H.324M协议栈的初始参数，例如视频信道速率，音频信道速率，音视频发送初始延时skew，音视频压缩格式，样本媒体文件路径、适配层选择（这里音视频都需要选择AL2）等初始配置参数。步骤302读取视频样本文件，取出一帧RGB24格式的视频帧。步骤303将取得的RGB24格式的视频帧添加到发送视频帧队列的末尾。步骤304将RGB24格式的视频帧编码成H.263格式的视频帧。步骤305记录下编码得到的H.263格式的视频帧的大小，并且计算从第一帧到当前帧的总大小，将这个总大小保存到一个数组中，数组的索引是该帧的编号，数组元素值就是第一帧到该帧的总大小。步骤306将编码的视频帧送入视频发送缓冲区。步骤307根据设置的视频发送速率定时从视频发送缓冲区中获取固定大小的数据块，将数据块送入H.324M协议栈的视频发送逻辑信道，由协议栈进行复用、组帧、编号发送。步骤308使用从视频发送缓冲区中取出的数据块的总大小查找步骤305中的数组取得正在发送的帧编号。步骤309判断当前是否在发送第一帧的第一个数据块，如果是则记录下发送的时间点。步骤310判断当前是否在发送最后一帧的最后一个数据块，如果是则记录下发送时间点，用该时间减去第一帧开始发送的时间得到总发送时间，并记录下最后一帧的编号作为总帧数。步骤311读取音频样本文件，取出20毫秒的PCM格式的音频帧。步骤312将PCM格式的音频帧添加到发送音频帧队列的末尾。步骤313将PCM格式的音频帧编码为AMR-NB格式。步骤314将编码后的音频帧送入音频发送缓冲区。步骤315每隔20毫秒从缓冲区中取一帧音频帧送入H.324M协议栈的音频发送逻辑信道，由协议栈进行复用、组帧、编号发送。步骤316记录发送的音频帧帧数。步骤317将音视频数据包通过TD-SCDMA或WCDMA网络的CS域64k电路交换信道发送。步骤318将从TD-SCDMA或WCDMA网络的CS域64k电路交换信道获取音视频数据包。步骤319用H.324M协议栈按照AL2适配层协议对从视频逻辑信道接收到的视频数据包进行解复用组成一个完整的视频帧。步骤320从AL2层的帧中取出接收到的视频帧编号。步骤321检测是否是接收到的第一个视频帧，如果是就记录下时间点。步骤322检测是否是接收到的最后一个视频帧，如果是就记录下时间点，并用该时间点减去接收第一个视频帧的时间点获得总接收时间。步骤323检测当前收到的帧编号与上一次接收的帧编号相差是否大于1，如果大于1说明发生了掉帧，进行补帧处理，所补的帧数为：当前视频帧编号–上一次接收的视频帧编号–1，所补的帧的内容就是将上一次收到的正确的视频帧作为缺失的帧，所补的帧添加到视频帧接收队列的末尾。步骤324使用H.263解码器对视频帧进行解码。步骤325判断解码器是否能解码成功，如果解码失败则表示这是一个错帧，进行补帧处理，将上次收到的正确的视频帧作为缺失的帧添加到视频帧接收队列的末尾。步骤326将解码正确的视频帧分别添加到视频帧接收队列末尾和非对齐视频帧接收队列末尾。步骤327将正确接收的视频帧数加一。步骤328调用修改后的PEVQ算法模块，去掉参考帧序列与降级后的测试帧序列的模糊对齐步骤，直接对发送的视频帧队列和接收的对齐视频帧队列进行视频质量MOS分值计算。步骤329用H.324M协议栈按照AL2适配层协议对从音频逻辑信道接收到的音频数据包进行解复用得到音频帧。步骤330从AL2层的帧中取出接收到的音频帧编号。步骤331检测当前收到的帧编号与上一次接收的帧编号相差是否大于1，如果大于1说明发生了掉帧，进行补帧处理，所补的帧数为：当前视频帧编号–上一次接收的视频帧编号–1，所补的帧的内容为静音帧，所补的帧添加到音频帧接收队列的末尾。步骤332解码一个音频帧。步骤333检测音频解码是否正确，如果有错帧则进行补帧，添加一个静音帧到音频接收队列的末尾。步骤334将解码正确的音频帧分别添加到音频帧接收队列末尾和非对齐视音频帧接收队列末尾。步骤335调用修改后的PESQ算法模块，去掉参考帧序列与降级后的测试帧序列的模糊对齐步骤，直接对发送的音频帧队列和接收的对齐音频帧队列进行音频质量MOS分值计算。步骤336使用记录下的视频发送总时间，填充avi文件头的视频流信息的dwScale字段，用总帧数填充dwRate字段，将发送的视频帧队列和音频帧队列合成发送的原始avi文件，以接收视频帧的总时间填充avi文件头的视频流信息的dwScale字段，用实际接收的正确帧数填充dwRate字段，将接收的未做补帧处理的非对齐视频帧队列和非对齐音频帧队列合成降级后的avi文件。步骤337分别为发送和接收的未做过补帧处理的非对齐音频序列加上wav文件头以生成wav文件。步骤338使用收发的avi文件和wav文件调用AVET算法的音视频同步评估模块计算同步得分。步骤339用对齐的视频帧队列的帧数减去非对齐的视频帧队列的帧数得到跳帧数，用跳帧数和总帧数计算出跳帧百分比，以此代替PEVQ算法中的跳帧百分比的模糊计算方法。步骤340使用视频MOS值、音频MOS值、同步分值、跳帧百分比调用AVET算法的整体评估模块计算视频电话的整体客观评估分值。步骤341使用接收的补帧后的视频帧序列和发送的视频帧序列进行视频对比回放，使用接收的补帧后的音频帧序列进行音视频同步回放，让测试人员进行主观质量评估。

H.324M协议没有规定每次提交给协议栈处理的视频帧是否完整，但要求每次都发送一个完整的音频帧，本发明在发送端根据设定的速率以及协议信道的拥塞情况动态判断视频发送时间点，每次发送一个固定大小的视频数据块，而每隔20毫秒发送一个完整的音频数据帧，每次接收端由协议栈的适配层协议单元保证上层处理模块能够从协议栈接收到完整的视频帧和音频帧。

配置H.324M协议栈参数时，保证视频信道使用AL2协议单元，该协议单元中将为每个视频帧带上帧编号。

由于H.324M协议栈的音频逻辑信道打开会早于视频逻辑信道的打开，所以预先需要根据媒体信道打开的时间间隔为协议栈的音视频同步参数skew设置一个经验值，确保发送端的音频帧和视频帧在发送时是同步的。

当接收端从H.324M协议栈获取到一个视频帧时，要从协议栈中的AL2适配单元中提取出当前帧的编号，该编号从0开始，如果有掉帧情况发生，AL2协议将出现编号不连续情况，需要进行补帧处理。

发送端每次取一帧RGB24格式的样本图像，使用H.263编码器对其编码，记录下编码后的H.263帧大小，并计算第一帧到当前帧的总大小，将这个总大小保存到一个数组中（视频帧尺寸累加数组），数组的索引是该帧的编号，数组元素值就是第一帧到该帧的总大小。同时设立一个发送视频帧队列，将RGB24格式的样本图像加到发送队列的末尾。

将编码后的帧送到一个发送缓冲区，每次根据指定的视频发送速率结合协议信道的拥塞情况确定视频发送时间点，从缓冲区取得固定大小的数据块，将之送到H.324M协议栈的视频逻辑信道进行发送。每次发送数据块时要计算已经发送的数据块的总大小，用该大小查找视频帧尺寸累加数组，取得正在发送的数据块所属的视频帧的帧编号，如果是第一帧就记下发送第一帧的开始时间，如果是最后一帧则记下发送最后一帧完成的时间。

接收端用当前接收的视频帧编号减去上一个接收到的视频帧编号，如果差值大于1就进行补帧，所补的帧数为：当前视频帧编号–上一次接收的视频帧编号–1，所补的帧的内容就是将上一次收到的正确的视频帧作为缺失的帧，之所以选择这种策略而不是填充全黑或全白的空白帧是因为PEVQ算法是一种客观评估算法，其MOS评分是模拟人眼睛所看到的主观感受给出的结果，所以客观评估应该尽量接近人的主观感受，当发生掉帧的时候，连续播放的画面将出现停止现象，画面会停在上一次正确接收的那一帧上，直到再次收到一个正确的视频帧时，画面才会恢复，所以为了模拟这种主观观测的情况，本发明的补帧策略就是使用上次正确收到的帧来填充丢失的帧。

接收端设立一个接收视频帧的队列，当收到一个完整的视频帧的时候，将该帧进行解码，如果解码正确就将其加入到视频帧队列的末尾；如果解码失败就表示接收到一个错帧，将视频帧队列末尾的最后一帧复制一次增加到队列末尾；如果当前收到的帧解码正确，并且编号与上次收到的帧编号相差N，N>1，按7中的策略进行补帧处理，将队列末尾的帧复制N-1次增加到队列末尾，然后再在队列末尾增加当前接收的视频帧；如果当前收到的帧解码失败，并且编号与上次收到的帧编号相差N，N>1，按7中的策略进行补帧处理，将队列末尾的帧复制N次增加到队列末尾。

发送端每次取一帧20毫秒的PCM单声道格式的样本语音，使用AMR-NB编码器对其编码，将编码后的帧送到H.324M协议栈进行发送，同时设立一个发送音频帧队列，将AMR-NB格式的样本语音加到发送队列的末尾。

接收端用当前接收的音频帧编号减去上一个接收到的音频帧编号，如果差值大于1就进行补帧，所补的帧数为：当前音频帧编号–上一次接收的音频帧编号–1，所补的帧的内容是一个20毫秒的静音帧，之所以选择这种策略是因为PESQ算法是一种客观评估算法，其MOS评分是模拟人耳朵所听到到的主观感受给出的结果，所以客观评估应该尽量接近人的主观感受，当发生掉帧的时候，连续播放的语音将出现静音现象，直到再次收到一个正确的音频帧时，声音才会恢复，所以为了模拟这种主观观测的情况，本发明的补帧策略就是使用静音帧。

接收端设立一个接收音频帧的队列，当收到一个完整的音频帧的时候，将该帧进行解码，如果解码正确就将其加入到音频帧队列的末尾；如果解码失败就表示接收到一个错帧，向音频帧队列末尾增加一个20毫秒的静音帧；如果当前收到的帧解码正确，并且编号与上次收到的帧编号相差N，N>1，按前述策略进行补帧处理，向队列末尾增加N-1个20毫秒静音帧，然后再在队列末尾增加当前接收的音频帧；如果当前收到的帧解码失败，并且编号与上次收到的帧编号相差N，N>1，按前述策略进行补帧处理，向队列末尾增加N个20毫秒静音帧。

视频样本接收完毕后，由于做了补帧处理，发送视频帧队列和接收视频帧队列此时已经是对齐状态了，那么以发送队列作为参考信号，接收队列作为降级后的信号，使用ITU-T Rec.J.247中推荐的PEVQ算法计算视频的MOS分值，具体计算方法参见ITU-T Rec.J.247文档的附录B，由于在质量评估之前发送帧序列和接收帧序列已经进行了精确地对齐，所以在使用PEVQ算法的时候直接跳过初级时间对齐、初级亮度对齐、高级时间对齐、高级空间对齐和高级颜色对齐这几步对齐操作，仅仅进行空间失真分析和时间失真分析，计算出一系列失真指示参数，将这些参数使用B.1.11.2节的MOS计算公式得到MOS评分，同时也不必使用跳帧估计算法，直接由所补的视频帧的数量作为精确地跳帧数，这样既提高了PEVQ评估算法的准确度又大大加快了算法的处理时间。

音频样本接收完毕后，由于做了补帧处理，发送音频帧队列和接收音频帧队列此时已经是对齐状态了，那么以发送队列作为参考信号，接收队列作为降级后的信号，使用ITU-T Rec.P.862中推荐的PESQ算法计算音频的MOS分值，具体计算方法参见ITU-T Rec. P.862文档的10小节，由于在质量评估之前发送帧序列和接收帧序列已经进行了精确地对齐，所以在使用PESQ算法的时候直接跳过10.1节中描述的等级和时间对齐预处理步骤，仅仅计算10.2节中描述的PESQ评分的各个参数，然后对各个参数进行一个线性平均，从而得到PESQ评分，最后将PESQ评分映射到0至5的MOS分值。这样既提高了PESQ评估算法的准确度又大大加快了算法的处理时间。

在发送视频样本的完成后，使用记录下的发送最后一帧的完成后时间减去发送第一帧的开始时间得到总时间，根据发送最后一帧的编号作为总帧数，以总时间填充avi文件头的视频流信息的dwScale字段，用总帧数填充dwRate字段，将发送的视频帧队列和音频帧队列合成发送的原始avi文件，在接收视频帧的时候记录下接收整个帧序列所用的时间和实际正确接收到的帧数，同时也保存一个没有做过补帧处理的视频帧序列和音频帧序列，以接收视频帧的总时间填充avi文件头的视频流信息的dwScale字段，用实际接收的正确帧数填充dwRate字段，将接收的未做补帧处理的视频帧队列和音频帧队列合成降级后的avi文件，分别为发送和未做过补帧处理的接收的音频序列加上WAV文件头，将这四个文件输入到移动集团设计院提供的AVET算法模块的CalculateSyncScore接口中，从而得到音视频的同步得分值，再以PESQ、PEVQ的MOS分值，同步分值，视频跳帧百分比输入到AVET算法模块的CalculateTotalScore接口中就可以得到一个视频电话的整体质量评分。

在音视频样本文件接收完成后，使用接收的补帧后的视频帧序列和发送的视频帧序列进行视频对比回放，使用接收的补帧后的音频帧序列进行音视频同步回放，让测试人员进行主观质量评估。

以上结合实例对本发明作了说明，应指出，本领域技术人员可以做出各种形式的和细节上的改变，而不偏离由所附权利要求所确定的本发明的精神和范围。

Claims (9)

1.一种全面评估3G视频电话质量的方法，其特征在于：

步骤（301）：设置H.324M协议栈的初始参数；

步骤（302）：读取视频样本文件，取出一帧RGB24格式的视频帧；

步骤（303）：将取得的RGB24格式的视频帧添加到发送视频帧队列的末尾；

步骤（304）：将RGB24格式的视频帧编码成H.263格式的视频帧；

步骤（305）：记录下编码得到的H.263格式的视频帧的大小，并且计算从第一帧到当前帧的总大小，将这个总大小保存到一个数组中，数组的索引是该帧的编号，数组元素值就是第一帧到该帧的总大小；

步骤（306）：将编码的视频帧送入视频发送缓冲区；

步骤（307）：根据设置的视频发送速率定时从视频发送缓冲区中获取固定大小的数据块，将数据块送入H.324M协议栈的视频发送逻辑信道，由协议栈进行复用、组帧、编号发送；

步骤（308）：使用从视频发送缓冲区中取出的数据块的总大小查找步骤（305）中的数组，取得正在发送的数据块所属的视频帧的帧编号；

步骤（309）：判断当前是否在发送第一帧的第一个数据块，如果是则记录下发送的时间点；

步骤（310）：判断当前是否在发送最后一帧的最后一个数据块，如果是则记录下发送时间点，用该时间减去第一帧开始发送的时间得到总发送时间，并记录下最后一帧的编号作为总帧数；

步骤（311）：读取音频样本文件，每次取出20毫秒的PCM格式的音频帧；

步骤（312）：将PCM格式的音频帧添加到发送音频帧队列的末尾；

步骤（313）：将PCM格式的音频帧编码为AMR-NB格式；

步骤（314）：将编码后的音频帧送入音频发送缓冲区：

步骤（315）：每隔20毫秒从缓冲区中取一帧音频帧送入H.324M协议栈的音频发送逻辑信道，由协议栈进行复用、组帧、编号发送；

步骤（316）：记录发送的音频帧帧数；

步骤（317）：将音视频数据包通过电路交换信道发送；

步骤（318）：从电路交换信道获取音视频数据包；

步骤（319）：用H.324M协议栈按照AL2适配层协议对从视频逻辑信道接收到的视频数据包进行解复用组成一个完整的视频帧；

步骤（320）：从AL2层的帧中取出接收到的视频帧编号；

步骤（321）：检测是否是接收到的第一个视频帧，如果是就记录下时间点；

步骤（322）：检测是否是接收到的最后一个视频帧，如果是就记录下时间点，并用该时间点减去接收第一个视频帧的时间点获得总接收时间；

步骤（323）：检测当前收到的帧编号与上一次接收的帧编号相差是否大于1，如果大于1说明发生了掉帧，进行补帧处理；

步骤（324）：使用H.263解码器对视频帧进行解码；

步骤（325）：判断解码器是否能解码成功，如果解码失败则表示这是一个错帧，进行补帧处理，将上次收到的正确的视频帧作为缺失的帧添加到视频帧接收队列的末尾；

步骤（326）：将解码正确的视频帧分别添加到视频帧接收队列末尾和非对齐视频帧接收队列末尾；

步骤（327）：将正确接收的视频帧数加一；

步骤（328）：调用视频质量感知评估PEVQ算法模块对发送的视频帧队列和接收的精确对齐视频帧队列进行视频质量平均意向分数MOS分值计算；

步骤（329）：用H.324M协议栈按照AL2适配层协议对从音频逻辑信道接收到的音频数据包进行解复用得到音频帧；

步骤（330）：从AL2层的帧中取出接收到的音频帧编号；

步骤（331）：检测当前收到的帧编号与上一次接收的帧编号相差是否大于1，如果大于1说明发生了掉帧，进行补帧处理；

步骤（332）：解码一个音频帧；

步骤（333）：检测音频解码是否正确，如果有错帧则进行补帧，添加一个静音帧到音频接收队列的末尾；

步骤（334）：将解码正确的音频帧分别添加到音频帧接收队列末尾和非对齐视音频帧接收队列末尾；

步骤（335）：调用音频质量感知评估PESQ算法模块对发送的音频帧队列和接收的对齐音频帧队列进行音频质量平均意向分数MOS分值计算；

步骤（336）：合成收发音视频混合avi文件；

步骤（337）：分别为发送和接收的未做过补帧处理的非对齐音频序列加上wav文件头以生成wav文件；

步骤（338）：使用收发音视频混合avi文件和wav文件调用AVET高级视频评估工具算法的音视频同步评估模块计算同步得分；

步骤（339）：用对齐的视频帧队列的帧数减去非对齐的视频帧队列的帧数得到跳帧数，用跳帧数和总帧数计算出跳帧百分比，以此代替PEVQ算法中的跳帧百分比的模糊计算方法；

步骤（340）：使用视频MOS值、音频MOS值、同步分值、跳帧百分比调用AVET算法的整体评估模块计算视频电话的整体客观评估分值。

2.根据权利要求1所述的方法，其特征在于：

步骤（301）中所述初始参数为视频信道速率，音频信道速率，音视频发送初始延时skew，音视频压缩格式，样本媒体文件路径，适配层选择。

3.根据权利要求1所述的方法，其特征在于：

在步骤（323）中所述的补帧处理进一步包括：所补的帧数为：当前视频帧编号–上一次接收的视频帧编号–1，所补的帧的内容就是将上一次收到的正确的视频帧作为缺失的帧，所补的帧添加到视频帧接收队列的末尾。

4.根据权利要求1所述的方法，其特征在于：

步骤（331）中所述的补帧处理进一步包括：所补的帧数为：当前视频帧编号–上一次接收的视频帧编号–1，所补的帧的内容为静音帧，所补的帧添加到音频帧接收队列的末尾。

5.根据权利要求1所述的方法，其特征在于：

步骤（328）中所描述的对视频质量感知评估PEVQ算法调用进一步包括：去掉PEVQ算法中的参考视频帧序列与降级后的测试视频帧序列的模糊对齐处理步骤，直接使用视频发送帧队列作为参考视频帧序列，使用补帧处理后的视频接收帧队列作为降级后的测试视频帧序列，不使用PEVQ的跳帧百分比的模糊估计计算方法，直接使用步骤（339）计算精确的跳帧百分比。

6.根据权利要求1所述的方法，其特征在于：

步骤（335）中所描述的对音频质量感知评估PESQ算法调用进一步包括：去掉PESQ算法中的参考音频帧序列与降级后的测试音频帧序列的模糊对齐处理步骤，直接使用音频发送帧队列作为参考音频帧序列，使用补帧处理后的音频接收帧队列作为降级后的测试音频帧序列，代替模糊对齐步骤。

7.根据权利要求1所述的方法，其特征在于：

步骤（336）进一步包括：使用记录下的视频发送总时间，填充avi文件头的视频流信息的dwScale字段，用总帧数填充dwRate字段，将发送的视频帧队列和音频帧队列合成发送的原始avi文件，以接收视频帧的总时间填充avi文件头的视频流信息的dwScale字段，用实际接收的正确帧数填充dwRate字段，将接收的未做补帧处理的非对齐视频帧队列和非对齐音频帧队列合成降级后的avi文件。

8.根据权利要求1所述的方法，其特征在于：

进一步包括步骤（341）：使用接收的补帧后的视频帧序列和发送的视频帧序列进行视频对比回放，使用接收的补帧后的音频帧序列进行音视频同步回放，让测试人员进行主观质量评估。

9.一种全面评估3G视频电话质量的装置，其特征在于，该装置包括以下模块：

测试控制模块（201），用于负责整个评估流程的总控和其他各模块的协调功能；

媒体编解码模块（202），用于在发送端将RGB24格式的视频样本文件编码为H.263格式的视频帧，将PCM格式的音频文件编码为AMR-NB格式的音频帧，在接收端对音视频流进行解码；

视频电话通信模块（203），用于利用H.324M协议栈实际完成视频电话的通信；

帧序列对齐模块（204），用于在视频通话的过程中完成对接收的音视频的补帧处理，生成对齐后的收发视频帧队列、对齐后的收发音频帧队列、收发的非对齐音视频混合avi文件和视频的跳帧百分比；

视频电话质量评估模块（205），用于进行全面的视频电话质量评估；

视频质量感知评估PEVQ算法模块（208），视频电话质量评估模块（205）使用帧序列对齐模块（204）生成的对齐后的收发视频帧队列调用PEVQ算法模块（208）得到视频平均意向分数MOS评分；

音频质量感知评估PESQ算法模块（207），视频电话质量评估模块（205）使用帧序列对齐模块（204）生成的对齐后的收发音频帧队列调用PESQ算法模块（207）得到音频的平均意向分数MOS评分；

高级视频质量评估AVET算法模块（209），视频电话质量评估模块（205）使用帧序列对齐模块（204）生成的收发非对齐音视频混合avi文件，调用AVET算法模块（209）得到音视频同步评分，视频电话质量评估模块（205）最后使用视频MOS值、音频MOS值、音视频同步评分和跳帧百分比调用AVET算法模块（209）得到视频电话整体评分；

测试结果显示模块（206），用于显示视频电话质量评估模块（205）所得到的各种客观质量评分，同时使用经过帧序列对齐模块（204）进行了补帧处理的接收的音视频队列进行回放，供测试人员主观评估视频电话质量。

Images