CN107040776B - 一种基于高动态范围的视频质量评估方法 - Google Patents

Abstract

本发明公开了一种基于高动态范围的视频质量评估方法，主要步骤为：对输入视频图像的原始帧和失真帧进行预处理；将预处理后的视频图像，利用色貌模型对改进后的高动态范围特征来提取明度、饱和度以及色度特征；将明度、饱和度以及色度特征输入到显著性模型中，并给出当前帧的显著性图，利用显著性图计算误差时的权重；采用对比敏感度作为权重来计算失真帧与原始帧的子带误差度，所述对比敏感度采用JND对比敏感度模型计算所得；利用显著性图作为权重，对子带误差度进行空间金字塔池化，通过不同大小的池化窗口，得到不同维度的特征，再通过把特征连接起来统一维度，得到全局误差。本发明具有运行速度快、准确率高、受单一特征影响小等优点。

Description

一种基于高动态范围的视频质量评估方法

技术领域

本发明涉及计算机视觉处理技术领域，尤其涉及一种基于高动态范围的视频质量评估方法。

背景技术

随着科技的进步和人们的需要，人们对于信息的需求越来越趋于多元化，人们希望无论何时何地都能方便、快捷、灵活地通过语音、数据、图像以及视频等多种方式进行通信。由于视觉信息能够呈现给人们直观、生动的形象，因此数字视频成为了目前媒体通信中最主要的媒体形式，视频直播、视频会议、可视电话等都是基于视频的多媒体应用，由于视频通信使用者和视频服务消费者对于视频的主观感受取决于所谓的视频质量，因此对于视频质量评估的研究显得十分重要。

视频质量评估在视频压缩、处理以及通信领域中起着十分重要的作用，实时和非实时视频系统的性能和各种视频传输信道的服务质量最终也可通过视频质量得分反映出来，传输系统可以通过评估得分给出的反馈信息去调节编解码器或者信道参数，从而保证系统的服务质量；同时，视频质量评估还有助于设计、优化符合人类视觉特性的图像视频显示系统。当然，视频质量评估对于视频通信制造商和运营商也有着非常重要的意义，视频质量评估的结果直接影响着他们的决定。

动态范围(DynamicRange)是指一个场景的最亮和最暗部分之间的相对比值。众所周知，人眼可以自我调节去适应不同的亮度和色彩环境去捕捉真实世界的场景，传统的低动态范围(LDR)图像、视频由于只能记录有限范围的亮度信息，并不能真实的反映现实世界的亮度范围差别。例如要表现一帧同时包含太阳和极暗环境的图，由于受到亮度范围限制，LDR并不能良好的反映出真实的场景，往往会导致曝光不足或者过度曝光。而高动态范围(HDR)由于可以呈现更高的亮度和对比度，能够更好地模拟真实的场景。因此在现实生活中，高动态范围图像和视频得到了越来越多的应用。

对于标准动态范围的图像和视频，传统评估方法一般是测量信号幅度、信噪比等物理参数，这些方法已经有了相关标准。随着视频压缩技术的引入，越来越多的高动态范围(HDR)图像和视频出现在我们的日常生活中，一方面由于人眼存在视觉特性，另一方面由于传统信道带宽的限制，我们需要不断改进视频质量评估的方法去更好的适应新的需求。

发明内容

为了克服现有技术存在的缺点与不足，本发明提供一种基于高动态范围的视频质量评估方法，具有运行速度快、准确率高、受单一特征影响小等优点。

为解决上述技术问题，本发明提供如下技术方案：一种基于高动态范围的视频质量评估方法，包括如下步骤：

S1、对输入视频图像的原始帧和失真帧根据显示器设备的亮度阈值进行预处理，使视频图像得到适应性的匹配；

S2、将预处理后的视频图像，利用色貌模型对改进后的高动态范围特征来提取明度、饱和度以及色度特征；

S3、将明度、饱和度以及色度特征输入到显著性模型中，并给出当前帧的显著性图，利用显著性图计算误差时的权重；

S4、采用对比敏感度作为权重来计算失真帧与原始帧的子带误差度；所述对比敏感度为视觉系统能觉察的对比度阈值的倒数，所述对比敏感度采用JND对比敏感度模型计算所得；

S5、利用显著性图作为权重，对子带误差度进行空间金字塔池化，通过不同大小的池化窗口，得到不同维度的特征，再通过把所有特征连接起来统一维度，得到全局误差。

进一步地，所述步骤S1中预处理，其具体为：根据设备的亮度阈限，调整原始帧的亮度范围直至被显示器设备表达。

进一步地，所述步骤S2，具体为：

S21、对预处理后的视频图像通过锥响应得到三个原始元组L、M、S；其中原始元组L、M、S分别代表短波、中波和长波；和适应场的三刺激值、环境的绝对亮度等参数。

S22、对视频图像的原始元组L、M、S，在给定的参数下进行色适应变换得到标准后的结果，所述给定的参数包括适应场的三刺激值和环境的绝对亮度；对标准后的结果进行希尔伯特变换，分别得出消色信号A和两个色度信号a、b，具体公式如下：

A＝(40L'+20M'+1S')/61

S23、通过消色信号A和两个色度信号a、b，计算图像的明度Q、饱和度s以及色度h三个特征，具体公式如下：

J＝100·[E·(J'-1)+1]

其中J表示通过亮度响应得到的双曲线函数的逆。

进一步地，所述步骤S3，具体为：

S31、将明度特征信号经过小波变换，并得到基于最初视频帧的图像信号响应值；同时饱和度和色度特征；

S32、对明度、饱和度以及色度特征，给定每帧的特征最大值M，并对全帧进行标准化，得出每一个特征的特征图；所述特征图的特征范围值在0到M之间；

S33、整合明度、饱和度以及色度特征的特征图；对于特征图的规模进行调整，根据实际需要而保留所需的特征图；

S34、对保留下来的特征图，采用WTA策略决定最终的显著性图。

进一步地，所述步骤S4中计算子带误差度，具体为：

首先将明度特征信号经过长小波变换到频率域，得到变换后的频率值；根据当前原始帧得出基于人眼视觉亮度特征的对比敏感度；对于饱和度和色度特征，利用对比敏感度进行加权取平均值，最终得出原始帧与失真帧的子带误差度。

进一步地，所述步骤S5，具体为：

S51、将对比敏感度作为权重值，对子带误差度进行分块；

S52、对于分块后的子带误差度，计算每一块的加权时空误差；

S53、对加权时空误差通过短期池化得出当前帧的误差结果；

S54、利用显著性图作为权重值，将短期池化后的误差结果进行长期池化，得出加权全局误差。

采用上述技术方案后，本发明至少具有如下有益效果：

1、本发明具有运行速度快、准确率高、同时适用于高动态范围和标准动态范围视频等特点；

2、本发明方法采用了色貌模型，通过多个特征通道输出最终结果，进一步降低了由单一特征引起的误差；此外，该方法还在色貌模型进一步计算，为特征的选取提供更多可能；同时多特征的选取也保证了本模型的通用性，使之适应各种具有特殊场景的视频；

3、本发明方法在传统的池化作用上，通过利用显著性图加权，剔除不必要计算的部分，有助于更好地进行长期池化，使结果更具有可靠性，同时能够在大规模计算时提高计算速度。

附图说明

图1为本发明一种基于高动态范围的视频质量评估方法的步骤流程图；

图2为本发明一种基于高动态范围的视频质量评估方法中提取特征的步骤流程示意图；

图3为本发明一种基于高动态范围的视频质量评估方法中计算显著性图的步骤流程示意图；

图4为本发明一种基于高动态范围的视频质量评估方法的池化作用示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本申请作进一步详细说明。

本发明采用MATLAB进行实施但不限于此，MATLAB是美国MathWorks公司出品的商业数学软件，用于算法开发、数据可视化、数据分析以及数值计算的高级技术计算语言和交互式环境，主要包括MATLAB和Simulink两大部分。它将数值分析、矩阵计算、科学数据可视化以及非线性动态系统的建模和仿真等诸多强大功能集成在一个易于使用的视窗环境中，为科学研究、工程设计以及必须进行有效数值计算的众多科学领域提供了一种全面的解决方案。建议实施过程采用每帧像素在1920*1080及以上的高动态范围视频。

实施例1

如图1所示，本发明提供了一种基于高动态范围的视频质量评估方法，包括以下步骤：

1)对输入视频图像的原始帧和失真帧根据显示器设备的亮度阈值进行预处理，使得视频图像得到适应性的匹配；

2)如图2为色貌模型的基本步骤，本发明采用色貌模型提取高动态范围特征，得到三个特征L、a、b，分别为明度、饱和度以及色度特征；

201)首先通过锥响应得到三个原始元组L、M、S，以及标准化后的白平衡元组；其中原始元组L、M、S分别代表短波、中波和长波；

202)对三个原始元组进行标准化处理和HPE变换，分别得出消色信号A和两个色度信号a、b；

203)通过这三个信号可以计算图像许多特征，A可直接作为亮度特征，a可作为红-绿特征，b可作为黄-蓝特征；

204)同时，可利用三个信号计算出例如色度、明度、饱和度、灰度等等特征，本方法选取明度，饱和度和色相正交作为最终三个特征；

3)如图3所示，计算显著性图，利用三种特征给出当前帧的显著性图：

301)将明度特征信号经过小波变换，并得到基于最初信号的响应值；同时保留另外两个特征值；

302)对于每一特征，给定每帧的特征最大值M，并对全帧进行标准化，得出一个范围在0到M之间的特征图；

303)整合基于三个特征的特征图；对于特征图的规模进行规范化，根据实际需要范围保留所需的特征范围；

304)采用WTA策略决定最终的显著性图；

4)利用对比敏感度作为权重计算所述失真帧与原始帧的子带误差度，将明度特征信号经过长小波变换到频率域，得到变换后的频率值；根据每一帧得出基于人眼视觉亮度特征的对比敏感度；对于饱和度和色相正交特征，利用对比敏感度进行加权取平均值，再计算原始帧与失真帧的误差；

5)如图4所示，对子带误差利用显著性图进行池化，得出全局误差：

501)根据对比敏感度给出的权重值，对于子带误差进行分块；

502)通过分块结果，计算每一块的加权时空误差；

503)通过短期池化得出当前帧的误差结果；

504)利用显著性图作为权重值，将短期误差结果进行长期池化，得出加权全局误差。

本领域普通技术人员可以理解实现上述各实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，相应的程序可以存储于计算机可读取存储介质中，所述的存储介质，如ROM/RAM、磁盘或光盘等。

综上所述，本发明方法及系统分别计算原始帧和失真帧的亮度与色度。通过对两组帧的预处理得出三个原始特征，并将这三个特征通道作为CIECAT02色貌模型的刺激值，通过色貌模型的处理后得到模拟人眼观测到的标准化的刺激值。标准化的刺激值经过HPE变换后通过锥响应得到的三个比值，即为三个特征的输出结果。计算子带误差时，基于每一帧所得到三个特征对原始帧和失真帧利用对比对模型得出子带误差；同时，为了在池化作用中得到更加准确的全局误差结果，将原始帧的三个特征输入显著性图模型中，得到当前帧的显著性图，并将显著性图作为权重，将子带误差进行长期池化，得出最终的误差结果。本发明具有运行速度快、准确率高、受单一特征影响小等优点。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解的是，在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种等效的变化、修改、替换和变型，本发明的范围由所附权利要求及其等同范围限定。

Claims (6)

1.一种基于高动态范围的视频质量评估方法，其特征在于，包括如下步骤：

S1、对输入视频图像的原始帧和失真帧根据显示器设备的亮度阈值进行预处理，使视频图像得到适应性的匹配；

S2、将预处理后的视频图像，利用色貌模型对改进后的高动态范围特征来提取明度、饱和度以及色度特征；

S3、将明度、饱和度以及色度特征输入到显著性模型中，并给出当前帧的显著性图，利用显著性图计算误差时的权重；

S4、采用对比敏感度作为权重来计算失真帧与原始帧的子带误差度；所述对比敏感度为视觉系统能觉察的对比度阈值的倒数，所述对比敏感度采用JND对比敏感度模型计算所得；

S5、利用显著性图作为权重，对子带误差度进行空间金字塔池化，通过不同大小的池化窗口，得到不同维度的特征，再通过把所有特征连接起来统一维度，得到全局误差。

2.根据权利要求1所述的一种基于高动态范围的视频质量评估方法，其特征在于，所述步骤S1中预处理，其具体为：根据设备的亮度阈限，调整原始帧的亮度范围直至被显示器设备表达。

3.根据权利要求1所述的一种基于高动态范围的视频质量评估方法，其特征在于，所述步骤S2，具体为：

S21、对预处理后的视频图像通过锥响应得到三个原始元组L、M、S；其中原始元组L、M、S分别代表短波、中波和长波；

S22、对视频图像的原始元组L、M、S，在给定的参数下进行色适应变换得到标准后的结果L′、M′、S′，所述给定的参数包括适应场的三刺激值和环境的绝对亮度；对标准后的结果进行希尔伯特变换，分别得出消色信号A和两个色度信号a、b，具体公式如下：

A＝(40L'+20M'+1S')/61

S23、通过消色信号A和两个色度信号a、b，计算图像的明度Q、饱和度s以及色度h三个特征，具体公式如下：

J＝100·[E·(J'-1)+1]

其中J表示通过亮度响应得到的双曲线函数的逆。

4.根据权利要求1所述的一种基于高动态范围的视频质量评估方法，其特征在于，所述步骤S3，具体为：

S31、将明度特征信号经过小波变换，并得到基于最初视频帧的图像信号响应值；同时计算饱和度和色度特征；

S32、对明度、饱和度以及色度特征，给定每帧的特征最大值M，并对全帧进行标准化，得出每一个特征的特征图；所述特征图的特征范围值在0到M之间；

S33、整合明度、饱和度以及色度特征的特征图；对于特征图的规模进行调整，根据实际需要而保留所需的特征图；

S34、对保留下来的特征图，采用WTA策略决定最终的显著性图。

5.根据权利要求1所述的一种基于高动态范围的视频质量评估方法，其特征在于，所述步骤S4中计算子带误差度，具体为：

首先将明度特征信号经过长小波变换到频率域，得到变换后的频率值；根据当前原始帧得出基于人眼视觉亮度特征的对比敏感度；对于饱和度和色度特征，利用对比敏感度进行加权取平均值，最终得出原始帧与失真帧的子带误差度。

6.根据权利要求1所述的一种基于高动态范围的视频质量评估方法，其特征在于，所述步骤S5，具体为：

S51、将对比敏感度作为权重值，对子带误差度进行分块；

S52、对于分块后的子带误差度，计算每一块的加权时空误差；

S53、对加权时空误差通过短期池化得出当前帧的误差结果；

S54、利用显著性图作为权重值，将短期池化后的误差结果进行长期池化，得出加权全局误差。