CN103379326A - 基于roi和jnd的视频编码方法及装置 - Google Patents

Abstract

本发明公开基于ROI和JND的视频编码方法及装置，该方法包括以下步骤：判断帧图像处理的当前宏块是否属于ROI区域；若不属于感兴趣区域ROI区域，则建立当前宏块的变换域最小可察觉失真JND模型，并基于所述变换域JND模型对所述当前宏块进行预测残差自适应调整。本发明通过将帧图像中的ROI区域与非ROI区域进行分开处理，对于属于ROI区域的宏块采用常规编码处理，而属于非ROI区域的宏块则采用变换域JND进行预测残差自适应调整的编码方式进行编码处理，从而既保证了编码的主观质量，又降低了编码码率。

Description

基于ROI和JND的视频编码方法及装置

技术领域

本发明涉及视频编解码领域，尤其涉及一种基于ROI和JND的视频编码方法及装置。

背景技术

随着各种压缩编码技术的日趋完善和成熟，压缩效率已达到较高水平，压缩比很难有较大的提高。视频编码中单纯依靠增大量化参数来降低码率的方法，必然会影响编码的主观质量。如何在保证编码主观效果的前提下，尽可能的节省码率，这是目前国内外研究的热点。

近年来，国内外学者逐渐将人眼视觉特性应用到视频编码算法中，将最小可察觉失真(Just-noticeable difference，JND)模型引入到视频编码框架中，利用人眼感知存在视觉冗余的原理，直接舍弃JND阈值内的残差，从而达到节省码率的目的。虽然采用JND模型进行残差滤波能够降低码率，但是其没有考虑编码图像的ROI(Region Of Interest，感兴趣区域)属性，ROI区域内JND值较大的部分比如眼睛，鼻子，嘴巴等恰恰是视频的重要细节信息，如果直接舍弃该重要细节的信息，将会在一定程度上降低编码的主观质量。

发明内容

本发明的主要目的是提供一种基于ROI和JND的视频编码方法，旨在保证编码的主观质量的同时降低编码码率。

本发明提供了一种基于ROI和JND的视频编码方法，包括以下步骤：

判断帧图像处理的当前宏块是否属于ROI区域；

若不属于ROI区域，则建立当前宏块的变换域JND模型，并基于所述变换域JND模型对所述当前宏块进行预测残差自适应调整。

优选地，所述判断帧图像处理的当前宏块是否属于ROI区域的步骤具体为：

根据肤色条件及高斯模型，再结合轮廓判断，对当前宏块进行ROI检测。

优选地，所述建立当前宏块的变换域JND模型，并基于所述变换域JND模型对所述当前宏块进行预测残差自适应调整的步骤之前还包括：

建立当前宏块的像素域JND模型，基于所述像素域JND模型对当前宏块进行预测残差自适应调整。

优选地，所述建立当前宏块的像素域JND模型，并基于所述像素域JND模型对当前宏块进行初步预测残差自适应调整的步骤具体为：

计算当前宏块的像素域JND值，将所述像素域JND值与像素残差进行比较后，舍弃小于所述像素域JND值的像素残差，将大于或等于所述像素域JND值的像素残差的绝对值减去所述像素域JND值。

优选地，所述建立当前宏块的像素域JND模型，并基于所述像素域JND模型对当前宏块进行初步预测残差自适应调整的步骤具体为：

计算经过DCT变换后的当前宏块的变换域JND值，将所述变换域JND值与DCT变换系数进行比较后，舍弃小于所述变换域JND值的DCT变换系数，将大于或等于所述变换JND值的DCT变换系数的绝对值减去所述变换域JND值。

本发明还提供了一种基于ROI和JND的视频编码装置，包括：

ROI区域判断模块，用于判断帧图像处理的当前宏块是否属于ROI区域；

残差自适应调整模块，用于在当前宏块不属于ROI区域时，建立当前宏块的变换域JND模型，并基于所述变换域JND模型对所述当前宏块进行预测残差自适应调整。

优选地，所述ROI区域判断模块具体用于：根据肤色条件及高斯模型，再结合轮廓判断，对当前宏块进行ROI检测。

优选地，所述残差自适应调整模块还用于：

建立当前宏块的像素域JND模型，基于所述像素域JND模型对当前宏块进行预测残差自适应调整。

优选地，所述残差自适应调整模块具体用于：

计算当前宏块的像素域JND值，将所述像素域JND值与像素残差进行比较后，舍弃小于所述像素域JND值的像素残差，将大于或等于所述像素域JND值的像素残差的绝对值减去所述像素域JND值。

优选地，所述残差自适应调整模块具体用于：

计算经过DCT变换后的当前宏块的变换域JND值，将所述变换域JND值与DCT变换系数进行比较后，舍弃小于所述变换域JND值的DCT变换系数，将大于或等于所述变换JND值的DCT变换系数的绝对值减去所述变换域JND值。

本发明通过将帧图像中的ROI区域与非ROI区域进行分开处理，对于属于ROI区域的宏块采用常规编码处理，而属于非ROI区域的宏块则采用变换域JND进行预测残差自适应调整的编码方式进行编码处理，从而既保证了编码的主观质量，又降低了编码码率。

本发明还通过像素域JND对当前宏块进行第一次预测残差自适应调整，然后再通过变换域JND对当前宏块进行第二次预测残差自适应调整，进一步降低了编码码率。

附图说明

图1是本发明基于ROI和JND的视频编码方法一实施例的流程示意图；

图2是本发明基于ROI和JND的视频编码方法另一实施例的流程示意图；

图3是采用H.264编码后和本发明采用像素域JND与变换域JND结合进行预测残差调整的方式编码后图片的主观质量对比示意图；

图4是本发明基于ROI和JND的视频编码装置一实施例的结构示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

以下结合说明书附图及具体实施例进一步说明本发明的技术方案。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

图1是本发明基于ROI和JND的视频编码方法一实施例的流程示意图。参照图1，该基于ROI和JND的视频编码方法包括以下步骤：

步骤S101、判断帧图像处理的当前宏块是否属于ROI区域；是则执行步骤S102；否则执行步骤S103；

由于图像中存在ROI(Region Of Interest，感兴趣区域)，例如，以桌面视频、视频通话等应用场景为例，其中的图像中ROI主要为人脸区域。本发明一实施方式中，可以先计算当前宏块中的ROI属性，再根据计算结果判断该当前宏块是否属于ROI区域。本发明另一实施方式中，可以提取整个图像中的ROI属性，再对每个宏块进行ROI属性的匹配，若匹配成功，则判断该宏块属于ROI区域。在这里需要说明的是，只要当前宏块存在ROI属性，就判断该宏块属于ROI区域。

步骤S102、进行DCT变换，并对当前宏块进行量化；

若当前宏块属于ROI区域，则对当前宏块进行DCT变换，并对其进行量化等后续程序。

步骤S103、建立当前宏块的变换域JND模型，并基于所述变换域JND模型对所述当前宏块进行预测残差自适应调整。

若当前宏块不属于ROI区域，则对使用变换域JND对当前宏块进行预测残差自适应调整。

本发明基于ROI和JND的视频编码方法通过将帧图像中的ROI区域与非ROI区域进行分开处理，对于属于ROI区域的宏块采用常规编码处理，而属于非ROI区域的宏块则采用变换域JND进行预测残差自适应调整的编码方式进行编码处理，从而既保证了编码的主观质量，又降低了编码码率。

上述步骤S101具体为：根据肤色条件及高斯模型，再结合轮廓判断，对当前宏块进行ROI检测。

以桌面视频、视频通话等应用场景为例，该ROI区域主要是人脸区域。所以可以根据肤色条件及高斯模型，并且结合轮廓判断对当前宏块进行检测，并对其进行标记。而且，标记后可以再进行后处理(例如，滤波)，以修正检测结果。当然也可以通过别的检测方法实现ROI区域的检测。

上述步骤S103具体为：对当前宏块进行DCT变换，并建立当前宏块的变换域JND模型，基于所述变化域JND模型对当前宏块进行预测残差自适应调整。

具体地，首先对当前宏块进行DCT变换，然后再建立经典的时/空DCT域JND模型，该模型由空域对比敏感度(CSF)模型、背景亮度模型、对比度掩膜因子，以及时域调制因子四部分组成，表达式如下：

JND_s＝T_basic(n，i，j)×F_lum(n)×F_contrast(n，i，j)×F_T(n，i，j)    (a)

其中，T_basic代表基本阈值，F_lum代表亮度敏感性因子，F_contrast代表纹理敏感性因子，F_T代表时域调制因子。

其次，基于DCT域JND模型，将经典DCT域JND转换为整数变换域JND。由于上述建立的DCT域JND模型中JND值只适用于经典的DCT域，所以需要将JND模型引入含有整数变换模块的混合编码体系结构中，即将DCT域转换为整数变换域。本发明实施例以H.264为例对其转换过程具体说明，其他编码标准可以参照实施。在当前的H.264标准中4x4DCT正变换所用的整数变换矩阵为：

$T_4=\left[\begin{array}{cccc}1& 1& 1& 1\\ 2& 1& -1& -2\\ 1& -1& -1& 1\\ 1& -2& 2& -1\end{array}\right]$

H.264标准所规定的正变换的过程为：

$T_N\·X\·T_N^T=Z---\left(b\right)$

其中N＝4，X为残差矩阵，Z为整数变换系数矩阵。

经典DCT变换的过程为：

${\mathrm{DCT}}_N\·X\·{\mathrm{DCT}}_N^T=Y---\left(c\right)$

其中N＝4，X为残差矩阵，Y为DCT变换系数矩阵。

整数变换和经典DCT变换的关系可表示为：

${\mathrm{DCT}}_N\·X\·{\mathrm{DCT}}_N^T=Y=T_N\·X\·T_N^T\⊗S---\left(d\right)$

其中S为缩放矩阵，

代表矩阵之间的对应元素相乘，其余符号与上文所述内容一致。因此只要找出整数变换和经典DCT变换的缩放关系矩阵S，就能进一步的将JND模型引入H.264编码体系中。经计算，我们得到最终的用于4x4变换的缩放矩阵为：

$S_4=\left[\begin{array}{cccc}0.2500& 0.1585& 0.2500& 0.1585\\ 0.1585& 0.1005& 0.1585& 0.1005\\ 0.2500& 0.1585& 0.2500& 0.1585\\ 0.1585& 0.1005& 0.1585& 0.1005\end{array}\right]$

因此，经典DCT域的JND矩阵和H.264整数变换域的JND矩阵之间的转换关系为：

${\mathrm{JND}}_{\mathrm{DCT}}={\mathrm{JND}}_{H.264}\⊗S---\left(e\right)$

于是，最终的整数变换域JND的整体表达式为：

JND_ICT＝T_basic(n，i，j)×F_lum(n)×F_contrast(n，i，j)×F_T(n，i，j)/S(i，j)    (f)

最后，将所述变换域JND值与DCT变换系数进行比较，若DCT变换系数的绝对值小于变换域JND值，则直接舍弃相应的DCT变换系数；若DCT变换系数的绝对值大于或等于变换域JND值时，则将DCT变换系数的绝对值减去变换域JND值。

图2是本发明基于ROI和JND的视频编码方法另一实施例的流程示意图。参照图2，与上述实施例的区别在于，在上述步骤S103之前还包括步骤S104：建立当前宏块的像素域JND模型，基于所述像素域JND模型对当前宏块进行预测残差自适应调整。

本发明实施例先通过像素域JND对当前宏块进行第一次预测残差自适应调整，然后再通过变换域JND对当前宏块进行第二次预测残差自适应调整，进一步降低了编码码率。

具体地，首先建立当前宏块的像素域JND模型，计算当前宏块的像素域JND值。本发明实施例采用经典的基于Weber原则的背景亮度模型和空间掩膜模型计算JND，总表达式如下：

JND(x，y)＝max{fbg(x，y)，f₁(bg(x，y)，mg(x，y))}                           (g)

其中bg(x，y)为背景平均亮度，mg(x，y)为背景亮度变化方向最大的加权平均值，背景亮度bg(n，x，y)和人眼敏感度fbg(n，x，y)的函数关系，空间掩膜f₁(bg(x，y)，mg(x，y))和背景亮度、背景亮度变化关系分别如公式(h)(i)所示：

f₁(bg(x，y)，mg(x，y))＝mg(x，y)×α(bg(x，y))+β(bg(x，y))                 (i)

其次，将所述像素域JND值与像素残差进行比较。因为像素域JND值代表人眼容忍的失真限度，在该限度内的残差可认为是不可见的，所以我们将像素JND值和像素残差对比，若像素残差小于JND值，则直接舍弃像素残差；若像素残差的绝对值大于像素域JND值，则将像素残差的绝对值减去像素域JND值，从而可以达到降低码率的目的。

以H.264编码框架为例，将采用H.264的编码方式、采用像素域JND或采用变换域JND进行预测残差调整的编码方式、采用像素域JND与变换域JND的结合进行预测残差调整的编码方式进行比较，并做了一系列对比实验。对不同测试序列，分别取不同QP，比较编码码率和主观效果。

测试条件为：基于H.264的视频编码参考框架，固定参数QP，其他编码参数使用默认值。实验选取的序列为：标准测试序列：Foreman(CIF)序列200帧、Silent(CIF)序列200帧、Paris(CIF)序列200帧，通过摄像头采集的序列：Little_Boy(VGA)序列200帧。如表1所示，表1是H.264、采用像素域JND进行预测残差调整、采用变换域JND进行预测残差调整以及采用像素域JND与变换域JND的结合进行预测残差调整的编码码率对比结果。由表1可知，QP参数一定时，采用变换域JND进行预测残差调整的编码码率比采用H.264的编码码率要少；QP参数一定时，采用像素域JND进行预测残差调整的编码码率比采用H.264的编码码率要少；QP参数一定时，采用像素域JND与变换域JND的结合进行预测残差调整的编码码率比采用H.264的编码码率少很多。在这里需要说明的是，表1中采用像素域JND进行预测残差调整、采用变换域JND进行预测残差调整以及采用像素域JND与变换域JND的结合进行预测残差调整均为上述方法中判断宏块是否属于ROI区域后，对属于ROI区域的宏块进行调整。

表1

参照图3，图3是采用H.264编码后和采用像素域JND与变换域JND结合进行预测残差调整后的图片的主观质量对比示意图。图3的(a)，(c)，(e)，(g)分别是Foreman，Paris，Silent，Little_Boy序列在QP＝28的条件下采用H.264编码后的主观效果，图2的(b)，(d)，(f)，(h)分别是Foreman，Paris，Silent，Little_Boy序列在QP＝28的条件下采用本发明编码方法后的主观效果。

通过对比表1的码率大小和图3所示的主观质量，我们可以看出，固定QP(分别选取16，20，24，28)时，采用本发明的结合ROI属性，考虑整数变换域特性求解JND，同时使用像素域JND和变换域JND进行预测残差自适应调整的编码方式，和现有技术的H.264编码方案相比，在保留ROI区域重要信息的前提下，可以节省5％到28％不等的码率，且其视频整体主观质量和原始的H.264进行编码后的视频整体主观质量几乎没有差别。

图4是本发明基于ROI和JND的视频编码装置一实施例的结构示意图。参照图4，该基于ROI和JND的视频编码装置包括：

ROI区域判断模块10，用于判断帧图像处理的当前宏块是否属于ROI区域；

残差自适应调整模块20，用于在当前宏块不属于ROI区域时，建立当前宏块的变换域JND模型，并基于所述变换域JND模型对所述当前宏块进行预测残差自适应调整。

由于图像中存在ROI，以桌面视频、视频通话等应用场景为例，其中的图像中ROI主要为人脸区域。本发明一实施方式中，可以先计算当前宏块中的ROI属性，再根据计算结果判断该当前宏块是否属于ROI区域。本发明另一实施方式中，可以提取整个图像中的ROI属性，再对每个宏块进行ROI属性的匹配，若匹配成功，则判断该宏块属于ROI区域。在这里需要说明的是，只要当前宏块存在ROI属性，就判断该宏块属于ROI区域。

若当前宏块不属于ROI区域，则残差自适应调整模块20使用变换域JND对当前宏块进行预测残差自适应调整。

本发明基于ROI和JND的视频编码方法通过将帧图像中的ROI区域与非ROI区域进行分开处理，从而既保证了编码的主观质量，又降低了编码码率。

上述ROI区域判断模块10具体用于：根据肤色条件及高斯模型，再结合轮廓判断，对当前宏块进行ROI检测。

以桌面视频、视频通话等应用场景为例，该ROI区域主要是人脸区域。所以可以根据肤色条件及高斯模型，并且结合轮廓判断对当前宏块进行检测，并对其进行标记。而且，标记后可以再进行后处理(例如，滤波)，以修正检测结果。当然也可以通过别的检测方法实现ROI区域的检测。

上述残差自适应调整模块20具体用于：计算经过DCT变换后的当前宏块的变换域JND值，将所述变换域JND值与DCT变换系数进行比较，若DCT变换系数的绝对值小于变换域JND值，则直接舍弃相应的DCT变换系数；若DCT变换系数的绝对值大于或等于变换域JND值时，则将DCT变换系数的绝对值减去变换域JND值。使用变换域JND进行残差调整的具体过程可参照前面方法实施例所述，在此就不再赘述。

上述残差自适应调整模块20还用于：

建立当前宏块的像素域JND模型，基于所述像素域JND模型对当前宏块进行预测残差自适应调整。

具体地，残差自适应调整模块20计算当前宏块的像素域JND值，将像素JND值和像素残差对比，若像素残差小于JND值，则直接舍弃像素残差；若像素残差的绝对值大于像素域JND值，则将像素残差的绝对值减去像素域JND值。使用像素域JND进行残差调整的过具体程可参照前面方法实施例所述，在此就不再赘述。

本发明实施例先通过像素域JND对当前宏块进行第一次预测残差自适应调整，然后再通过变换域JND对当前宏块进行第二次预测残差自适应调整，进一步降低了编码码率。

以上所述仅为本发明的优选实施例，并非因此限制其专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种基于ROI和JND的视频编码方法，其特征在于，包括以下步骤：

判断帧图像处理的当前宏块是否属于ROI区域；

若不属于感兴趣区域ROI区域，则建立当前宏块的变换域最小可察觉失真JND模型，并基于所述变换域JND模型对所述当前宏块进行预测残差自适应调整。

2.根据权利要求1所述的基于ROI和JND的视频编码方法，其特征在于，所述判断帧图像处理的当前宏块是否属于ROI区域的步骤具体为：

根据肤色条件及高斯模型，再结合轮廓判断，对当前宏块进行ROI检测。

3.根据权利要求1所述的基于ROI和JND的视频编码方法，其特征在于，所述建立当前宏块的变换域JND模型，并基于所述变换域JND模型对所述当前宏块进行预测残差自适应调整的步骤之前还包括：

建立当前宏块的像素域JND模型，基于所述像素域JND模型对当前宏块进行预测残差自适应调整。

4.根据权利要求3所述的基于ROI和JND的视频编码方法，其特征在于，所述建立当前宏块的像素域JND模型，并基于所述像素域JND模型对当前宏块进行初步预测残差自适应调整的步骤具体为：

计算当前宏块的像素域JND值，将所述像素域JND值与像素残差进行比较后，舍弃小于所述像素域JND值的像素残差，将大于或等于所述像素域JND值的像素残差的绝对值减去所述像素域JND值。

5.根据权利要求1所述的基于ROI和JND的视频编码方法，其特征在于，所述建立当前宏块的像素域JND模型，并基于所述像素域JND模型对当前宏块进行初步预测残差自适应调整的步骤具体为：

计算经过DCT变换后的当前宏块的变换域JND值，将所述变换域JND值与DCT变换系数进行比较后，舍弃小于所述变换域JND值的DCT变换系数，将大于或等于所述变换JND值的DCT变换系数的绝对值减去所述变换域JND值。

6.一种基于ROI和JND的视频编码装置，其特征在于，包括：

ROI区域判断模块，用于判断帧图像处理的当前宏块是否属于ROI区域；

残差自适应调整模块，用于在当前宏块不属于ROI区域时，建立当前宏块的变换域JND模型，并基于所述变换域JND模型对所述当前宏块进行预测残差自适应调整。

7.根据权利要求6所述的基于ROI和JND的视频编码装置，其特征在于，所述ROI区域判断模块具体用于：根据肤色条件及高斯模型，再结合轮廓判断，对当前宏块进行ROI检测。

8.根据权利要求6所述的基于ROI和JND的视频编码装置，其特征在于，所述残差自适应调整模块还用于：

建立当前宏块的像素域JND模型，基于所述像素域JND模型对当前宏块进行预测残差自适应调整。

9.根据权利要求8所述的基于ROI和JND的视频编码装置，其特征在于，所述残差自适应调整模块具体用于：

计算当前宏块的像素域JND值，将所述像素域JND值与像素残差进行比较后，舍弃小于所述像素域JND值的像素残差，将大于或等于所述像素域JND值的像素残差的绝对值减去所述像素域JND值。

10.根据权利要求6所述的基于ROI和JND的视频编码装置，其特征在于，所述残差自适应调整模块具体用于：

计算经过DCT变换后的当前宏块的变换域JND值，将所述变换域JND值与DCT变换系数进行比较后，舍弃小于所述变换域JND值的DCT变换系数，将大于或等于所述变换JND值的DCT变换系数的绝对值减去所述变换域JND值。

Images