CN101404778B - 综合的无参考视频质量评价方法 - Google Patents

Abstract

本发明涉及一种综合的无参考视频质量评价方法。本方法利用内嵌于解码器中的质量评价模块来完成。本方法的具体步骤如下：(1)独立评测模块的输入信号选自下述中的一种以上的信号：a、解码器中各阶段输出的中间结果；b、解码器的输入信号；c、解码器的输出信号。(2)各独立评测模块分别完成各自的估测结果并将各自的估测结果输入到综合调整模块中。(3)在综合调整模块中完成视频质量评价。本发明的有益效果是能够使最终评价能适合不同的应用场景和服务类型，更快速的得到基本准确的评价，并且此评价与人的主观感受更加接近。

Description

综合的无参考视频质量评价方法

技术领域

本发明涉及一种综合的无参考视频质量评价方法。

背景技术

在视频服务/视频信号传输这个领域中，客观质量评价的研究提出了很多算法和方法，其中包括提供完全原始视频作为参考对比的全参考质量评价；提供部分参考内容的部分参考质量评价；完全没有原始内容信息的无参考质量评价。作为应用最广泛和价值最大的无参考视频质量评价，其难度最大。现在的研究相对成熟的也限于某些单项缺陷的发现和侦测，综合的缺陷侦测文献报道和研究并不多，国外的专利技术与此相关的有：在World Intellectual Property OrganizationInternational Bureau搜索到的International Publication Number为WO02089344A2，发表于7 November 2002(07.11.2002)的专利“COMPOSITE OBJECTIVE VIDEO QUALITY MEASUREMENT”，它的International Application Number是PCT/US02/13774。

上述专利提出一种方法或设备(见图9)，对数字信息中的视频(和/或音频)实现客观的质量测量。上述专利挑选了一些客观质量评测模块(如图9中的Metric1，Metric2，Metric3，Metric4，Metric5，Metric6模块)，这些模块对信号质量的某一侧面或某一角度给出了独立的客观评测结果。模块的挑选依据了统计结果。经过对每个模块的独立结果加权、求和(图9中114，124模块)，最终得到综合评价结果。其权重系数是，根据主观观看者观看同样的视频序列，得到的MOS(Mean Opinion Score，平均意见得分)评价值，与客观模块评测结果进行皮尔森相关分析或者更多的是斯皮尔曼秩相关分析，得到的相关系数(图9中112，122模块)，作为权重系数。

上述专利所依据的独立评测模块是基于公开的评测方法实现，会因为不同的应用和技术进步而调整。

在上述专利提供的实施例中，选择噪音测量、对比度测量、块效应边缘测量，其中每一测量结果都是一个独立数值，按照主观MOS打分与每个模块的测量结果的相关度进行线性组合，得到的求和结果即为最终客观质量评价结果。上述专利同时指出，它选择的独立测量模块是示例实现，将根据实际应用和技术发展调整。

上述专利的不足如下：(1)它的质量评价所使用的信号是已解码完成的信号(图9中左上输入信号)，没有更进一步在接收和解码过程中利用中间计算结果进行更迅速的侦测。(2)没有对作为评价标准的观看者的主观评价进行研究，没有发现其中存在的人类心理的非理性因素，没有在客观评价时对人的感受特征进行考虑。

发明内容

本发明所要解决的技术问题是提供一种使最终评价能适合不同的应用场景和服务类型，更快速的得到基本准确的评价，并且此评价与人的主观感受更加接近的综合的无参考视频质量评价方法。

本发明解决其技术问题所采用的技术方案：

本方法利用内嵌于解码器中的质量评价模块来完成，所述质量评价模块由基于公开的视频质量评测方法实现的独立评测模块和综合调整模块组成；所述公开的视频质量评测方法是指经过对每个质量评测模块的独立结果加权、求和，最终得到综合评价结果；

本方法的具体步骤如下：

(1)独立评测模块的信号输入步骤：

独立评测模块的输入信号选自下述中的一种以上的信号：

a、解码器中各阶段输出的中间结果；

b、解码器的输入信号，即原始受损视频信号；

c、解码器的输出信号，即解码器解码优化完成的视频信号；

(2)各独立评测模块分别完成各自的估测结果并将各自的估测结果输入到综合调整模块中；

(3)在综合调整模块中按下式完成视频质量评价：

式中：

QA：无参考视频质量客观评价结果；

QA_t：t时刻的视频质量评价结果；

QA_t-1：t-1时刻的视频质量评价结果；

A_i：：独立评测模块M_i的估测结果；

ω_i：独立评测模块M_i的估测结果的权重，在不同应用场合中，不同因素的重要性是不同的，从所应用的服务统计中得到这个权重；

τ：关于前差因素的系数，从调查统计得到这个系数；

A1：第一独立评测模块M1的估测结果；

A2：第二独立评测模块M2的估测结果；

p₁：第一独立评测模块M1的最低质量阈值；

p₂：第二独立评测模块M2的最低质量阈值；

BAD：质量评价结果为差；

第一独立评测模块M1的输入信号为原始受损视频信号；第二独立评测模块M2的输入信号为解码器中熵解码器输出的中间结果即运动向量信号；

当第一独立评测模块M₁输出评测值A₁高于阈值p₁，第二独立评测模块M₂输出评测值A₂高于阈值p₂，则质量评价QA用上述公式(1)计算；而当A₁低于p₁，或者A₁虽高于p₁但A₂低于p₂时，则质量评价极低，不能满足服务要求。

所述解码器中各阶段输出的中间结果包括有：

(1)第二独立评测模块M2从熵解码器获取的运动向量信号；

(2)第三独立评测模块M3从逆量化矩阵运算和逆DCT矩阵运算获取的输出信号；

(3)第四独立评测模块M4从译码器中的加法器“+”中获取的本帧完整解码数据。

所述各独立评测模块的估测结果分别如下：

第一独立评测模块M1获取传输信道的原始受损视频信号后，从数据包的包头信号知道I帧即关键帧丢包率，丢包率大于p₁，得到评价质量为差；并向服务提供方反馈，要求重发；

第二独立评测模块M2从熵解码器获取运动向量后，和上一时刻参考视频数据比较，进行运动估计分析，当运动估计的时间空间变化结果大于p₂，得到质量评价结果为差；并与服务提供方联系，要求增加码率或增大带宽；

第三独立评测模块M3从逆量化矩阵运算和逆DCT矩阵运算得到数据后，使用算法简单的相对峰值信噪比(rPSNR)，得到解码数据的质量并反应为红黄绿信号；对M3设下级子模块，对感兴趣区域(ROI)进行重点监测，重点区域的质量对于用户而言反应了视频整体，重点区域模糊或块化严重可以以黄色预警，并反馈给服务方；

第四独立评测模块M4从解码器得到本帧完整解码数据后，进行受损特征侦测评价，选择噪音、环效应进行侦测评价；

第五独立评测模块M5从解码器的最终输出信号获取与用户观看到的视频同样的数据进行侦测评价，相对第四独立评测模块M4，此数据流在解码器中经过了优化处理，针对优化后的视频，选择模糊侦测评价和噪点侦测评价。

所述前差因素的系数τ的确定原则如下：

(1)对于观看者主观感受的特征：

通过使用与客观评价相同的视频序列进行主观试验，选择对视频评价技术基本无知的大于等于50名的受试者观看与客观质量评价选用的相同的受损视频序列，把观看到的质量感受标注为0-5之间的一个数值，其平均意见得分(MOS)为对客观质量评价的参考；

(2)对于经常出现的质量缺失因素即人类心理的非理性因素的考虑：

最经常出现的质量缺失因素最易被忽略，观看者对经常性质量缺失的习以为常，使得对这类缺失的评价缺乏一致性，因此在客观评价时将此类服务中最经常出现的质量缺失因素的单项评价值给与较低权重，以适应常态缺失因素在人类视频感受中的较高宽容度；

观看者对前一视频的质量记忆会影响后一视频质量评价，将不同视频片断的前后质量差异作为考虑因素，按照统计结果，在最终综合评价时予以调节，因为人类的感受会因记忆因素而产生误差，前一片断质量较好时，对后一片断的打分相应偏低；而前一片断质量较差，对后一片断的打分相应偏高。

本发明的有益效果如下：

(1)将独立评测模块嵌入解码器中，使得视频质量评价更迅速的得到较为粗略的评价，对较差的服务质量将有更为及时地反馈，可以以不可接受的质量为红色警报反馈，对用户和服务提供商都将有积极意义，用户会在红色的提示中有较为宽容的心态。

(2)使得客观评价结果与主观评价结果更为拟合，得到更为贴近残差更小的拟合图(见图6-7)。

附图说明

图1为本发明的原理框图。

图2为实施例1的原理框图。

图3为实施例2的原理框图。

图4为实施例3的原理框图。

图5为实施例4的原理框图。

图6为控制前差之前的块效应侦测结果与主观评价的回归分析图。

图7为控制前差之后的回归图(有更少的残差，更好的拟合)。

图8为最终的综合评价和主观评价之间的相关图。

图9为相关美国专利WO 02089344A2的原理框图。

在图1中各标号的含义如下：

①：接收的原始受损视频；

②：解码器中解码得到的运动向量；

③：逆量化得到的中间结果；

④：逆DCT后得到的本次传输视频数据；

⑤：经运动补偿后解码器解码t时刻视频；

⑥：t-1时刻存储的参考帧(前一帧视频解码结果)；

⑦：解码器解码优化完成的视频信号；

⑧：最终得到的综合无参考视频评价；

A1：经过第一独立评测模块M1估测的结果，从接收信道的通讯质量参数给出最粗粒度的阈值估计；

A2：经过第二独立评测模块M2估测的结果，通过前一时刻的参考视频帧和本帧运动向量给出时间空间估计；

A3：经过第三独立评测模块M3估测的结果，经初步解码的受损视频的较快速、重要区域评估；

A4：经过第四独立评测模块M4估测的结果，经完整解码的受损视频的重要特征评价；

A5：经过第五独立评测模块M5估测的结果，经解码器优化后用户观看到的视频质量精细评估。

在图6中，纵坐标是综合评价结果，横坐标是块效应因素大小；

在图7中，纵坐标是综合评价结果，横坐标是块效应因素大小；

在图8中，纵坐标是主观评分(MOS)，横坐标是综合评价结果。

具体实施方式

实施例1(本发明用于移动手持终端，见图2)：

在无线视频服务中，接收终端的手持设备可以在解码同时侦测所接收内容的质量，根据预先统计和研究的模型得到某些阈值，比如丢包率大于某个临界值，则可以在手持设备上显示服务质量评价等级为红色，观看者因此会对服务有较多耐心和较宽容心态。丢包率只是根据信道服务统计得到的初步信息，可以从第一独立评测模块M1中非常及时得到，因此评价结果基本是实时的。从第二独立评测模块M2中使用音视频信号最大延迟差阈值和最差PSNR(峰值信噪比)评价，进行基本质量评价。在综合调整模块，对M1，M2独立侦测结果进行加权调整，得到最后评价。在手机等无线视频传输领域，高移动性，低终端计算能力，只要回放质量达到用户基本满意程度即可，不需要后面部分模块的评测，因此本方法可以提供更为迅速的、运算代价更小的质量评价。

实施例2(本发明用于IPTV服务中，见图3)：

在IPTV领域，终端运算能力较强，可以进行较为复杂精细的评价，可以根据服务内容和受众群体进行统计，得到重要程度较高的质量缺失因素，作为综合评价中权重较高的评价模块。比如新闻内容的评价中，文字信号和声音信号的清晰度和实时性要求较高；体育视频中，重要物体的清晰度要求较高，这些要求可以作为独立评价模块在模型中予以考虑。在本实施例中，在M1中，侦测分组丢失率和时延抖动，IPTV对于高质量的视频传输服务，通常要求分组丢失率在10-4到10-7之间，甚至更小；可以容忍的分组时延在数百毫秒数量级，时延抖动在数十毫秒数量级；在M3中，对新闻中的文字信号缺失进行侦测，体育视频中的重要物体清晰度进行侦测；在M5中，对视频的模糊度和颜色清晰度进行侦测；在综合调整模块，对M1，M3，M5独立侦测结果进行加权调整，得到最后评价。

实施例3(本发明用于数据相机中，见图4)：

在数码相机的编码解码器(CODEC)中，压缩的图像信号通常也需要回放观看，使用第三独立评测模块M3，侦测峰值信噪比，将解码中反应的质量过差信息及时反应给拍摄者。

实施例4(本发明用于数据摄像机中，见图5)：

在数码摄像机的编码解码器(CODEC)中，同样需要解码回放，根据数码拍摄特征设置第二独立评测模块M2进行数据侦测，可以侦测拍摄中的过快移动或抖动等产生的视频质量不佳，因此可以当过快移动或抖动产生质量过差时及时提示拍摄者；在第三独立评测模块M3，侦测画面大致清晰程度，将质量过差信息及时反应给拍摄者。在综合调整模块，对M2，M3独立侦测结果进行加权调整，得到最后评价。

最后需要说明的一点是：

在解码中各个阶段都有许多可以进行简单阈值比较的运算，比如音视频信号最大延迟差，最差PSNR，感兴趣内容的关键区域信号缺失等等，可以根据不同的应用和不同的服务需要把相应算法加入独立的评测模块。这些模块的选择将随着应用和实现技术的进步而调整。

Claims (4)

1.综合的无参考视频质量评价方法，其特征在于本方法利用内嵌于解码器中的质量评价模块来完成，所述质量评价模块由基于公开的视频质量评测方法实现的独立评测模块和综合调整模块组成；所述公开的视频质量评测方法是指经过对每个质量评测模块的独立结果加权、求和，最终得到综合评价结果；

本方法的具体步骤如下：

(1)独立评测模块的信号输入步骤：

独立评测模块的输入信号选自下述中的一种以上的信号：

a、解码器中各阶段输出的中间结果；

b、解码器的输入信号，即原始受损视频信号；

c、解码器的输出信号，即解码器解码优化完成的视频信号；

(2)各独立评测模块分别完成各自的估测结果并将各自的估测结果输入到综合调整模块中；

(3)在综合调整模块中按下式完成视频质量评价：

式中：

QA：无参考视频质量客观评价结果；

QA_t：t时刻的视频质量评价结果；

QA_t-1：t-1时刻的视频质量评价结果；

A_i：：独立评测模块M_i的估测结果；

ω_i：独立评测模块M_i的估测结果的权重，在不同应用场合中，不同因素的重要性是不同的，从所应用的服务统计中得到这个权重；

τ：关于前差因素的系数，可以从调查统计得到这个系数；

A1：第一独立评测模块M1的估测结果；

A2：第二独立评测模块M2的估测结果；

p₁：第一独立评测模块M1的最低质量阈值； 

p₂：第二独立评测模块M2的最低质量阈值；

BAD：质量评价结果为差；

第一独立评测模块M1的输入信号为原始受损视频信号；第二独立评测模块M2的输入信号为解码器中熵解码器输出的中间结果即运动向量信号；

当第一独立评测模块M1输出评测值A1高于阈值p₁，第二独立评测模块M2输出评测值A2高于阈值p₂，则质量评价QA用上述公式(1)计算；而当A1低于p₁，或者A1虽高于p₁但A2低于p₂时，则质量评价极低，不能满足服务要求。

2.根据权利要求1所述的综合的无参考视频质量评价方法，其特征在于所述解码器中各阶段输出的中间结果包括有：

(1)第二独立评测模块M2从熵解码器获取的运动向量信号；

(2)第三独立评测模块M3从逆量化矩阵运算和逆DCT矩阵运算获取的输出信号；

(3)第四独立评测模块M4从解码器中的加法器“+”中获取的本帧完整解码数据。

3.根据权利要求2所述的综合的无参考视频质量评价方法，其特征在于所述各独立评测模块的估测结果分别如下：

第一独立评测模块M1获取传输信道的原始受损视频信号后，从数据包的包头信号知道I帧即关键帧丢包率，丢包率大于p₁，得到评价质量为差；并向服务提供方反馈，要求重发；

第二独立评测模块M2从熵解码器获取运动向量后，和上一时刻参考视频数据比较，进行运动估计分析，当运动估计的时间空间变化结果大于p₂，得到质量评价结果为差；并与服务提供方联系，要求增加码率或增大带宽；

第三独立评测模块M3从逆量化矩阵运算和逆DCT矩阵运算得到数据后，使用算法简单的相对峰值信噪比(rPSNR)，得到解码数据的质量并反应为红黄绿信号；对M3设下级子模块，对感兴趣区域(ROI)进行重点监测，重点区域的质量对于用户而言反应了视频整体，重点区域模糊或块化严重可以以黄色预警，并反馈给服务方； 

第四独立评测模块M4从解码器得到本帧完整解码数据后，进行受损特征侦测评价，选择噪音、环效应进行侦测评价；

第五独立评测模块M5从解码器的最终输出信号获取与用户观看到的视频同样的数据进行侦测评价，相对第四独立评测模块M4，此数据流在解码器中经过了优化处理，针对优化后的视频，选择模糊侦测评价和噪点侦测评价。

4.根据权利要求3所述的综合的无参考视频质量评价方法，其特征在于所述前差因素的系数τ的确定原则如下：

(1)对于观看者主观感受的特征：

通过使用与客观评价相同的视频序列进行主观试验，选择对视频评价技术基本无知的大于等于50名的受试者观看与客观质量评价选用的相同的受损视频序列，把观看到的质量感受标注为0-5之间的一个数值，其平均意见得分(MOS)为对客观质量评价的参考；

(2)对于经常出现的质量缺失因素即人类心理的非理性因素的考虑：

最经常出现的质量缺失因素最易被忽略，观看者对经常性质量缺失的习以为常，使得对这类缺失的评价缺乏一致性，因此在客观评价时将此类服务中最经常出现的质量缺失因素的单项评价值给与较低权重，以适应常态缺失因素在人类视频感受中的较高宽容度；

观看者对前一视频的质量记忆会影响后一视频质量评价，将不同视频片断的前后质量差异作为考虑因素，按照统计结果，在最终综合评价时予以调节，因为人类的感受会因记忆因素而产生误差，前一片断质量较好时，对后一片断的打分相应偏低；而前一片断质量较差，对后一片断的打分相应偏高。 

Images