CN105245890B - 一种基于视觉关注度优先级的高效视频编码方法 - Google Patents

Abstract

本发明公开了一种基于视觉关注度优先级的高效视频编码方法，本方法围绕基于运动‑纹理特征的视觉关注优先级标注和基于视觉关注优先级的高质量编码优化两部分内容展开。首先，以编码对象的运动分级作为主导视觉关注特征、以编码对象的纹理信息作为辅助视觉关注特征，对编码单元进行关注度标注及优先级判别；然后，进行自适应编码变换系数调控，实现针对关注程度不同区域的差异性编码，在相同码率下，保证更优的主观视觉质量。

Description

一种基于视觉关注度优先级的高效视频编码方法

技术领域

本发明属于视频处理技术领域，涉及一种基于视觉关注度优先级的高效视频编码方法。

背景技术

在科技全球化日益深入的今天，视频信息的加速普及引发了视频数据的爆炸式增长，同时也推动了以高效为标志的视频编码技术的不断完善。在这一背景下，基于人眼视觉感知特征的视频编码技术应运而生。

人类视觉系统(Human Visual System，HVS)能够充分感知视频场景中存在的亮度、颜色、运动、纹理等多种视觉信息，是人眼获取和处理外部信息的重要手段之一。同时，由于人眼作为视频数据的主要接收端，因此适当的将人眼视觉系统与视频编码技术相结合，可以在相同编码码率下保证更优的主观视觉体验。但现有的国际视频编码标准，如：H.265/HEVC，在对视频数据进行压缩时，并不区分图像中不同区域或对象在视觉意义上的重要性差异，因而，在码率分配或计算资源分配过程中采用统一的分配标准，缺乏“因人而异”的考虑。然而，由于人眼视觉系统自身所特有的视觉选择性注意机制(VisualSelective Attention，VSA)，使得人眼对于图像中不同区域具有不同敏感程度。同时，研究表明：在视觉选择性注意机制的作用下，运动/纹理因素相对更加吸引人眼视觉注意。因此，利用上述特性，可以有效地指导编码器进行高效的码率分配和运算资源分配，以在相同编码开销下，完成主观视觉质量更优的视频编码过程。

另一方面，在实际应用领域，视频编码算法的复杂度也是衡量其优异性的重要标准之一，利用人眼视觉系统进行视觉感知分析而引入的额外计算量，同样值得重点关注。因此，如何充分利用视频编码框架中的已有编码信息设计更简洁、更快速的视觉关注区域获取方法，对于展开基于人眼视觉感知特征的高效视频编码研究具有重要意义。

发明内容

本发明的目的是提供一种基于视觉关注度优先级的高效视频编码方法，即从人眼视觉感知特征的敏感性与编解码器的主观视觉质量之间的关联性出发，充分利用编码单元自身特性和已有编码信息，加速人眼视觉优先关注区域的获取过程，并为其设计高质量的编码方案，同时不引入额外的编码码率增加。

为实现上述目的，本发明采用的技术方案是，一种基于视觉关注度优先级的高效视频编码方法，发明内容分为以下两个方面：

第一、基于运动-纹理特征的视觉关注优先级标注

视频中不同区域存在的视觉重要性差异为基于人眼视觉感知特征的高效视频编码提出了应用需求。因此，在较低运算量下，完成对人眼关注区域的有效获取是提高编码效率的重要途径之一。在这一基础上，本方法首先以编码对象的运动形态作为主导视觉关注特征。利用人眼对于运动目标移动速度的关注程度差异将运动形态分为三类：“平稳运动”(产生于低速运动目标)、“虚影运动”(产生于高速移动目标)和“滞留运动”(产生于移动后停止的目标)，并使用由帧间编码信息所构成的运动形态参数V对其重要性进行描述。

其中，表示该编码单元的运动矢量，表示该编码单元的参考索引，采用当前POC与其参考POC差的绝对值进行描述。

其次，以编码对象的纹理信息作为辅助视觉关注特征。纹理关注程度差异主要体现在图像内部像素信息或内容信息的变化程度，对其使用由帧内编码信息和帧间编码信息联合组成的纹理密度参数T进行描述。

至此，构建基于运动形态参数V和纹理密度参数T的运动-纹理特征的视觉关注度优先级标注策略。

第二、基于视觉关注优先级的高质量编码优化

在基于“预测加变换”混合编码框架的视频编码标准中，对预测残差进行变换编码时，为避免由固定离散余弦变换(Discrete Cosine Transform，DCT)或离散正弦变换(Discrete Sine Transform，DST)系数所造成的严重块效应，减轻去方块滤波器、采样点自适应补偿滤波器的运算负担，可以根据视觉关注优先级对变换后的高频系数进行自适应调控，以保证视觉重点关注区域的局部主观视觉质量。首先，本方法将视觉关注优先级L描述为L＝V&&T，作为后续视觉关注优先程度的判别标准；将视觉关注度调控参数F描述为F＝V+T，作为后续调控变换系数的矩阵参数。其次，采用具有自适应特性的动态频率均衡矩阵Ω对变换系数进行调控：

其中，动态频率均衡矩阵元素m_nn根据视觉关注优先级L和视觉关注调控参数F定义为：

动态频率均衡矩阵Ω对变换系数调控过程描述为：

其中，表示调控后的变换系数，H表示由H.265/HEVC标准所采用的固定变换系数。至此，完成基于视觉关注优先级的高质量编码优化过程。

附图说明

图1基于视觉关注度优先级的高效视频编码方法流程示意图。

图2是本发明的视频编码方法流程图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明：

图1为基于视觉关注度优先级的高效视频编码方法流程示意图；为了将人眼视觉特征合理地融入到视频编码过程，精确地获取人眼视觉关注区域是一项重要前提。但传统的感兴趣区域获取方案在使用HVS机制时，往往需要建立复杂的视觉模型，不利于其在低运算量开销、高实时性的实际应用环境中使用。因此，为了加速人眼视觉关注区域获取、关注度优先级标注过程，实现编码变换系数的精细控制，在同等码率下，提升重建视频的主观视觉体验，本发明公开了一种基于视觉关注度优先级的高效视频编码方法，流程如图2所示，具体步骤如下：

第一、基于运动-纹理特征的视觉关注优先级标注：

第一步：输入视频序列，读取配置文件，进入帧间、帧内预测过程；

第二步：记录帧间预测过程中，预测单元的运动矢量和参考索引信息，以及采用Inter Merge的预测单元，并利用公式(1)计算运动形态参数V；

第三步：记录帧内预测过程中，预测单元的亮度预测模式信息：Intra DC、IntraPlaner或Inter Angular，并利用公式(2)计算纹理密度参数T；

第四步：利用运动形态参数V和纹理密度参数T，分别计算视觉关注优先级L＝V&&T，作为后续视觉关注优先程度的判别标准和视觉关注度调控参数F＝V+T，作为后续调控变换系数的矩阵参数；

第二、基于视觉关注优先级的高质量编码优化：

第五步：将计算所得视觉关注优先级L和视觉关注度调控参数F代入公式(4)，得到动态频率均衡矩阵元素m_nn；

第六步：根据动态频率均衡矩阵元素m_nn和公式(3)，计算动态频率均衡矩阵Ω；

第七步：利用计算所得动态频率均衡矩阵Ω和公式(5)，对变换系数进行自适应调控，得到新的变换系数矩阵输入H.265/HEVC编码器，完成变换编码过程；

第八步：进入后续常规编码步骤，包括：量化、滤波和熵编码，输出编码码流。

将人眼视觉感知特征应用于视频编码中，主要利用了以下特征：

1.人眼的视觉选择性注意机制：研究表明，人眼的视觉注意力或视觉关注区域受到众多感知因素控制，其中，运动目标和纹理复杂区域更易吸引人眼注意。

2.已知编码信息与人眼视觉感知特征的关联性：如前所述，人眼视觉的选择性注意机制对于视频中时间域和空间域的视觉信息具有相同的视觉重要性，因此，需要同时考虑时/空域的视觉感知特征，才能完整有效地提取出视觉关注区域。同时，视觉关注重点区域的获取和分级标注过程应以运算简便、快捷为出发点，充分利用编码过程中生成的编码信息，在不引入过多附加计算量的同时，完成编码优化。

根据上述特征，本发明提出的视觉关注度优先级标注策略能够根据已有帧间/帧内编码信息，构建以空域运动形态为主要视觉关注特征，以时域纹理分布为辅助视觉特征的运动-纹理视觉关注度模型，为后续优化编码过程奠定基础。同时，利用视觉关注度优先级，完成对于变换系数的自适应精细调控，在同等码率开销下，实现了更优的主观视觉质量提升。

本发明基于下一代视频编码标准H.265/HEVC进行，由于其高质量优势，可应用于互联网电视、远程医疗、视频监控等高清化趋势日益明显的实际应用领域。

Claims (1)

1.一种基于视觉关注度优先级的高效视频编码方法，其特征在于：本方法的内容分为以下两个方面，

第一、基于运动-纹理特征的视觉关注优先级标注

视频中不同区域存在的视觉重要性差异为基于人眼视觉感知特征的高效视频编码提出了应用需求；因此，在较低运算量下，完成对人眼关注区域的有效获取是提高编码效率的重要途径之一；在这一基础上，本方法首先以编码对象的运动形态作为主导视觉关注特征；利用人眼对于运动目标移动速度的关注程度差异将运动形态分为三类：“平稳运动”即产生于低速运动目标、“虚影运动”即产生于高速移动目标和“滞留运动”即产生于移动后停止的目标，并使用由帧间编码信息所构成的运动形态参数V对其重要性进行描述；

其中，表示该编码单元的运动矢量，表示该编码单元的参考索引，采用当前POC与其参考POC差的绝对值进行描述；

其次，以编码对象的纹理信息作为辅助视觉关注特征；纹理关注程度差异主要体现在图像内部像素信息或内容信息的变化程度，对其使用由帧内编码信息和帧间编码信息联合组成的纹理密度参数T进行描述；

至此，构建基于运动形态参数V和纹理密度参数T的运动-纹理特征的视觉关注度优先级标注策略；

第二、基于视觉关注优先级的高质量编码优化

在基于“预测加变换”混合编码框架的视频编码标准中，对预测残差进行变换编码时，为避免由固定离散余弦变换或离散正弦变换系数所造成的严重块效应，减轻去方块滤波器、采样点自适应补偿滤波器的运算负担，可以根据视觉关注优先级对变换后的高频系数进行自适应调控，以保证视觉重点关注区域的局部主观视觉质量；首先，本方法将视觉关注优先级L描述为L＝V&&T，作为后续视觉关注优先程度的判别标准；将视觉关注度调控参数F描述为F＝V+T，作为后续调控变换系数的矩阵参数；其次，采用具有自适应特性的动态频率均衡矩阵Ω对变换系数进行调控：

其中，动态频率均衡矩阵元素m_nn根据视觉关注优先级L和视觉关注调控参数F定义为：

动态频率均衡矩阵Ω对变换系数调控过程描述为：

其中，表示调控后的变换系数，H表示由H.265/HEVC标准所采用的固定变换系数；至此，完成基于视觉关注优先级的高质量编码优化过程；

本方法的具体步骤如下，

第一、基于运动-纹理特征的视觉关注优先级标注：

第一步：输入视频序列，读取配置文件，进入帧间、帧内预测过程；

第二步：记录帧间预测过程中，预测单元的运动矢量和参考索引信息，以及采用Inter Merge的预测单元，并利用公式(1)计算运动形态参数V；

第三步：记录帧内预测过程中，预测单元的亮度预测模式信息：Intra DC、IntraPlaner或Inter Angular，并利用公式(2)计算纹理密度参数T；

第四步：利用运动形态参数V和纹理密度参数T，分别计算视觉关注优先级L＝V&&T，作为后续视觉关注优先程度的判别标准和视觉关注度调控参数F＝V+T，作为后续调控变换系数的矩阵参数；

第二、基于视觉关注优先级的高质量编码优化：

第五步：将计算所得视觉关注优先级L和视觉关注度调控参数F代入公式(4)，得到动态频率均衡矩阵元素m_nn；

第六步：根据动态频率均衡矩阵元素m_nn和公式(3)，计算动态频率均衡矩阵Ω；

第七步：利用计算所得动态频率均衡矩阵Ω和公式(5)，对变换系数进行自适应调控，得到新的变换系数矩阵输入H.265/HEVC编码器，完成变换编码过程；

第八步：进入后续常规编码步骤，包括：量化、滤波和熵编码，输出编码码流。