CN102685491B - 一种实现视频编码的方法和系统 - Google Patents

Abstract

本发明公开了一种实现视频编码的方法和系统，可对ROI进行分级量化；根据JND值，对属于ROI的宏块再进行分级量化，并根据JND和ROI相结合的分级量化结果进行视频编码。本发明方法和系统将基于JND的编码与基于ROI的编码相结合，因而在相同甚至降低码率的情况下，大幅提升视频编码的主观质量，即提升ROI的主观质量，得到更好的视觉感知效果。

Description

一种实现视频编码的方法和系统

技术领域

本发明涉及数据处理技术，具体涉及一种实现视频编码的方法和系统。

背景技术

近年来，视频会议系统、移动广播、可视电话等数字视频通信的需求日益增加，用户体验的需求不断上升，更高分辨率、更高清晰度的视频已成为必然趋势。

现有视频压缩标准在信道带宽受限条件下的编码质量难以令人满意。因此，如何在现有条件下提供高质量视频，满足用户体验需求，仍然是一个很大的挑战。

发明内容

有鉴于此，本发明的主要目的在于提供一种实现视频编码的方法和系统，以在相同甚至降低码率的情况下，提升视频编码的主观质量。

为达到上述目的，本发明的技术方案是这样实现的：

一种实现视频编码的方法，该方法包括：

对感兴趣区域ROI进行分级量化；根据最小可察觉失真JND值，对属于ROI的宏块再进行分级量化，根据JND和ROI相结合的分级量化结果进行视频编码。

所述对ROI进行分级量化的过程包括：

根据ROI属性，将当前帧划分为包括背景、边界、ROI在内的不同等级，据此进行对应的多级量化。

每个所述的等级对应不同的感兴趣因子P。

所述根据JND值对属于ROI的宏块再进行分级量化的过程包括：

根据JND值对属于ROI的宏块再进行分级，根据划分出的等级进行相应的多级量化。

该方法还包括：

在对ROI进行分级量化之前，进行ROI检测，建立JND模型，以及前向量化；和/或，

在根据JND值对属于ROI的宏块再进行分级量化之后，进行自适应量化参数QP调整。

一种实现视频编码的系统，该系统包括ROI分级量化单元、二次分级量化单元、视频编码单元；其中，

所述ROI分级量化单元，用于对ROI进行分级量化；

所述二次分级量化单元，用于根据JND值，对属于ROI的宏块再进行分级量化；

所述视频编码单元，用于根据JND和ROI相结合的分级量化结果进行视频编码。

所述ROI分级量化单元在对ROI进行分级量化时，用于：

根据ROI属性，将当前帧划分为包括背景、边界、ROI在内的不同等级，据此进行对应的多级量化。

每个所述的等级对应不同的感兴趣因子P。

所述二次分级量化单元在根据JND值对属于ROI的宏块再进行分级量化时，用于：

根据JND值对属于ROI的宏块再进行分级，根据划分出的等级进行相应的多级量化。

所述ROI分级量化单元在对ROI进行分级量化之前，还用于进行ROI检测，建立JND模型，以及前向量化；和/或，

在所述二次分级量化单元根据JND值对属于ROI的宏块再进行分级量化之后，所述视频编码单元用于进行自适应QP调整。

本发明方法和系统将基于JND的编码与基于ROI的编码相结合，因而在相同甚至降低码率的情况下，大幅提升视频编码的主观质量，即提升ROI的主观质量，得到更好的视觉感知效果。

附图说明

图1为本发明实施例将JND与ROI结合视频编码方法的流程图；

图2为本发明实施例实现视频编码的流程简图；

图3为本发明实施例实现视频编码的系统图。

具体实施方式

目前，总体可以应用两种编码方法：一种是采用基于感兴趣区域(Region ofInterest，ROI)的编码方法；另一种是利用基于最小可察觉失真(Just-noticeabledifference，JND)的编码方法。

其中，JND是指人眼所不能感知到的图像最大失真，其在一定程度上定量描述了人眼感受图像的特性。根据人眼的视觉特性，人眼视觉可以容忍小于JND值以内的失真，可以利用这个特性减小残差，即指导残差量化；另外，还可以利用JND值控制QP(量化参数)调整，其主要原理是根据JND值设定一个权值，然后利用这个权值来调整QP。

ROI是指通常更加关注的感兴趣区域，针对人眼感兴趣区域和非感兴趣区域使用不同的量化参数：对ROI使用较小的QP，可以保留更多的细节信息；对非ROI使用较大的QP，可以忽略部分不感兴趣的背景细节信息，从而在同等码率下提升视频的主观质量。

研究发现，虽然单独采用JND控制前向量化和调整QP能够大幅降低编码码率，然而编码后的主观效果并不能令人满意。根据JND模型的基本原理，边界区域相对平滑区域能够隐藏更多的失真，即边界区域的JND值较大，人眼对其失真不敏感。然而，基于人脸检测的ROI中的关键部位(如眼睛，嘴巴等)属于边界区域，如果单纯利用JND控制QP，QP应该比较大，量化会粗糙，细节将会被剔除，这和人眼感兴趣程度(人眼对眼睛、嘴巴等区域较为感兴趣)是背离的。虽然基于ROI的编码能够在一定程度上提升视频的主观质量，然而其主要是减少人眼不感兴趣区域的编码比特并将之转移到人眼感兴趣区域，借此来获取ROI的编码质量的提升，故而其对降低编码码率的贡献有限，即单独采用基于JND或者单独基于ROI的编码，并不能在较低的码率条件下达到较好的编码效果。

基于此，在实际应用中，可以将JND和ROI结合以进行分级量化并最终实现视频编码，总体可以执行如下步骤：

第一步：ROI检测；

输入一帧图像，根据肤色条件及高斯模型再结合轮廓判断来实现ROI检测，以判断每个宏块是否属于ROI，并存储检测的结果；

第二步：建立JND模型；

根据空间掩膜效应及背景亮度特点建立像素域JND模型，根据建立的模型计算当前帧的每个宏块的JND值并保存；

第三步：前向量化；

进入宏块层编码，根据计算出来的JND值对残差数据进行前向量化；

第四步：ROI的分级量化，如：三级量化；

根据ROI属性，将当前帧划分为背景、边界、ROI等不同等级，人眼对不同等级的感兴趣度依次增强，由此可将量化分为三级，每个等级对应不同的感兴趣因子P；

第五步：ROI与JND结合的分级量化，如：四级量化；

根据JND值再对属于ROI的宏块进行分级，即进一步将当前帧划分为四级以进行更加精细的量化；

第六步：自适应QP调整；

根据QP调整模型以及每个宏块所属等级，对每个宏块采用相应的QP调整策略；

第七步：循环执行步骤三至步骤六，直到一帧的所有宏块都编码完成；

第八步：进入下一帧图像，重复上述步骤一至步骤七，直至所有帧都编码完毕。

可以将本发明的结合JND和ROI的视频编码方法与单独使用JND控制前向量化或单独使用感兴趣区域的视频编码方法进行比较，如，将本发明所述方法应用于H.264编码框架，并做了一系列对比实验。测试条件为：对于CIF格式的序列，固定码率为80kbps，帧率20f/s；对于VGA格式的序列，固定码率为150kbps，帧率25f/s。实验选取的序列为标准测试序列foreman_cif，以及通过摄像头采集的序列boy_little(VGA)。从以上对比可以看出，在H.264原始框架上使用基于JND编码与基于ROI编码得到的编码图像的主观质量要优于原始H.264编码得到的图像的主观质量；而使用本发明提出JND和ROI结合的编码方法得到的编码图像的主观质量要明显好于单独使用基于JND编码或单独使用感兴趣区域的编码得到的编码图像的主观质量。相对于H.264编码，本发明提出的将基于JND的编码与基于ROI的编码相结合的视频编码方法在保证较低的输出码率的同时，能够消除方块、处理面部模糊问题，所以能够明显提高感兴趣区域的主观质量。

下面结合附图给出实施例，对本技术方案作进一步的详细描述。

如图1所示，本发明实现视频编码的具体实施步骤如下：

(1)进入一帧图像，判断当前帧的每个宏块是否属于感兴趣区域。当主要针对桌面视频、视频通话等应用场景时，实时性要求很高，故ROI检测采用肤色条件判断并建立高斯肤色模型，再结合轮廓判断来实现，然后进行标记。之后再进行一些后处理(如滤波)，以修正判断的结果，提高检测的精确度。实验表明，该方法不仅复杂度很低而且检测到的感兴趣区域的准确度很高；

(2)建立JND模型，计算当前帧的每个宏块JND值，计算JND值时可以采用像素域模型，分别建立基于Weber原则(Weber’s Law)的背景亮度模型和经典空间掩膜模型，然后计算JND值，以下为具体实现方法：

背景亮度bg(n，x，y)和人眼敏感度fbg(n，x，y)的函数关系表示为式(I)：

其中T、k1、γ和k2均为依据经验值设定的参数。

空间掩膜f₁(bg(x，y)，mg(x，y))和背景亮度、背景亮度变化关系如下式(II)：

f₁(bg(x，y)，mg(x，y))＝mg(x，y)×α(bg(x，y))+β(bg(x，y))    (II)

其中bg(x，y)为背景平均亮度，mg(x，y)为背景亮度变化方向最大的加权平均值，α(bg(x，y))和β(bg(x，y))根据背景亮度与视觉阈值呈线性关系得出。

JND值的计算见式(III)：

JND(x，y)＝max{fbg(x，y)，f₁(bg(x，y)，mg(x，y))}    (III)

(3)由于JND值代表人眼容忍的失真限度，在该限度内的残差可认为是不可见的，所以我们将所得像素的JND值和像素残差对比，若残差小于JND值，则舍弃残差；若残差大于JND值，则在残差系数上减去JND值的大小(绝对值)；

(4)根据前面检测出来的宏块的ROI属性，可以对当前帧分级，如将当前帧划分为背景、边界、ROI，人眼对其感兴趣度依次增强，据此可将量化分为三级，每个等级对应不同的感兴趣因子P。又由人眼视觉特性可知：ROI越大，人眼视觉对其的感兴趣程度越低，相应感兴趣因子P值越小；相反，ROI面积越小，感兴趣程度越高，具体感兴趣因子P的公式如下式(IV)-(VI)：

P_BG＝1                      (IV)

P_grad(i)＝P-(P-1)/2         (V)

$P=\frac{\mathrm{\α}\·S_{\mathrm{picture}}}{k\·S_{\mathrm{ROI}}+S_{\mathrm{picture}}}---\left(\mathrm{VI}\right)$

其中，α是感兴趣常数，S_picture是当前帧的面积，S_ROI是感兴趣区域总面积，k是常数，具体的取值可以为1.2；

(5)根据JND对属于ROI的宏块再进行分级，根据感兴趣因子P来获取每个等级的QP值，算法如下：

如果当前宏块属于ROI，当宏块的JND值大于阈值时，则

$\mathrm{QP}=\frac{\mathrm{\λ}\·Q{P}^{\mathrm{init}}}{P}-\mathrm{\Δ}---\left(\mathrm{VII}\right)$

当宏块的JND值小于等于阈值时，则

$\mathrm{QP}=\frac{\mathrm{\λ}\·Q{P}^{\mathrm{init}}}{P}$ 其中 $\mathrm{\λ}=\sqrt{\frac{\underset{i=1}{\overset{X}{\mathrm{\Σ}}}\underset{j=1}{\overset{Y}{\mathrm{\Σ}}}{P}_{(i,j)}^2}{X\·Y}}---\left(\mathrm{VIII}\right)$

如果，当前宏块不属于ROI，则

QP＝λ·QP^init                (IX)

其中QP^init代表帧级QP，Δ＞0，P是感兴趣因子。Δ是根据ROI内JND值的特点调整QP的常数因子。故此，眼睛，嘴等人眼特别感兴趣区域会得到进一步的精细量化；

(6)根据前面计算出来的JND值和ROI属性采用相应的QP调整模型来选择相应的量化参数；

(7)循环处理每一个宏块，直至当前帧的所有宏块编码完成；

(8)进入到下一帧图像，循环进行上述的步骤，直到所有帧都编码完毕。

结合以上描述可知，本发明实现视频编码的操作思路可以表示如图2所示的流程，该流程包括以下步骤：

步骤210：对ROI进行分级量化；根据JND值，对属于ROI的宏块再进行分级量化。

步骤220：根据JND和ROI相结合的分级量化结果进行视频编码。

为了保证上述技术描述以及操作能够顺利实现，可以进行如图3所示的设置。参见图3，图3为本发明实施例实现视频编码的系统图，该系统包括可以两两相连的ROI分级量化单元、二次分级量化单元、视频编码单元。

在实际应用时，ROI分级量化单元能够对ROI进行分级量化；二次分级量化单元能够根据JND值，对属于ROI的宏块再进行分级量化；视频编码单元则能够根据JND和ROI相结合的分级量化结果进行视频编码。上述各单元所能实现的功能已在前述内容中具体描述，在此不再赘述。

综上所述可见，无论是方法还是系统，本发明实现视频编码的技术将基于JND的编码与基于ROI的编码相结合。其中，JND控制前向量化时能够节省大量的比特。在码率控制阶段可以拥有更多的比特数来进行不同区域的比特分配。并且，结合ROI属性和JND模型控制QP调整的基本原理是：边界区域相对平滑区域能够隐藏更多的失真，即边界区域的JND值较大，基于人脸检测的ROI中的关键部位(如眼睛，嘴巴等)属于边界区域，故而JND值较大。可以利用这个特点进行进一步分级以得到一个多级(如四级)量化模型以进行更精细的量化，以在相同甚至降低码率的情况下，大幅提升视频编码的主观质量，即提升ROI的主观质量，得到更好的视觉感知效果。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (6)

1.一种实现视频编码的方法，其特征在于，该方法包括：

对感兴趣区域ROI进行分级量化；根据最小可察觉失真JND值，对属于ROI的宏块再进行分级量化，根据JND和ROI相结合的分级量化结果进行视频编码；

其中，所述对ROI进行分级量化的过程包括：根据ROI属性，将当前帧划分为包括背景﹑边界﹑ROI在内的不同等级，据此进行对应的多级量化；

所述根据JND值对属于ROI的宏块再进行分级量化的过程包括：根据JND值对属于ROI的宏块再进行分级，根据划分出的等级进行相应的多级量化。

2.根据权利要求1所述的方法，其特征在于，每个所述的等级对应不同的感兴趣因子P。

3.根据权利要求1或2所述的方法，其特征在于，该方法还包括：

在对ROI进行分级量化之前，进行ROI检测，建立JND模型，以及前向量化；和/或，

在根据JND值对属于ROI的宏块再进行分级量化之后，进行自适应量化参数QP调整。

4.一种实现视频编码的系统，其特征在于，该系统包括ROI分级量化单元、二次分级量化单元、视频编码单元；其中，

所述ROI分级量化单元，用于对ROI进行分级量化；

所述二次分级量化单元，用于根据JND值，对属于ROI的宏块再进行分级量化；

所述视频编码单元，用于根据JND和ROI相结合的分级量化结果进行视频编码；

其中，所述ROI分级量化单元在对ROI进行分级量化时，用于根据ROI属性，将当前帧划分为包括背景﹑边界﹑ROI在内的不同等级，据此进行对应的多级量化；

所述二次分级量化单元在根据JND值对属于ROI的宏块再进行分级量化时，用于根据JND值对属于ROI的宏块再进行分级，根据划分出的等级进行相应的多级量化。

5.根据权利要求4所述的系统，其特征在于，每个所述的等级对应不同的感兴趣因子P。

6.根据权利要求4或5所述的系统，其特征在于，

所述ROI分级量化单元在对ROI进行分级量化之前，还用于进行ROI检测，建立JND模型，以及前向量化；和/或，

在所述二次分级量化单元根据JND值对属于ROI的宏块再进行分级量化之后，所述视频编码单元用于进行自适应QP调整。