CN104093034B - 一种相似性约束人脸区域的h.264视频流自适应错误隐藏方法 - Google Patents

Abstract

一种相似性约束人脸区域的H.264视频流自适应错误隐藏方法，首先利用自适应方向插值空域错误隐藏算法对错误块中每个像素点根据其纹理方向进行自适应方向插值运算并恢复，实现第一次错误隐藏，然后提取错误块视频图像的前景目标，采用肤色分割的方法定位出可能的人脸区域，再基于相似性约束方法确定用于覆盖错误块人脸区域的目标人脸区域，通过仿射变换后，将目标人脸区域的梯度信息覆盖错误块的人脸区域，实现第二次错误隐藏。本发明能够更加精确的确定插值方向且更好的恢复人脸区域，重建后的视频平滑性有一定的改善，与现有基于人脸五官特征的空域差错掩盖算法相比，视频图像错误隐藏效果在主观视觉上也有一定改善，同时峰值信噪比(PSNR)提高了1.21dB。

Description

一种相似性约束人脸区域的H.264视频流自适应错误隐藏 方法

技术领域

本发明属于视频图像处理领域，涉及到一种H.264解码视频图像中对错误信息块的近似恢复或错误隐藏方法。

背景技术

随着网络与通信技术的发展，可视电话、远程教育、视频点播业务及视频监控等视频通信应用越来越广泛。为了降低对信道带宽的要求，图像、视频等多媒体信息在传输前必须进行高效压缩编码，以减少视频图像序列间的时间冗余和空间冗余，但容易造成压缩码流对信道误码更加敏感。任何一个比特的错误或丢失，都可能导致错误信息在时域和空域上扩散，严重影响接收到的视频图像质量。为了提高压缩视频流的抗误码性能和鲁棒性，新一代视频压缩编码标准H.264在解码器端采用了错误隐藏技术。错误隐藏技术出发点是利用数字视频信号空域或时域的平滑性和相关性，通过预测寻找与之最为相似的数据代替出错数据，使发生的差错在视觉上尽量不被察觉，从而达到隐藏错误的目的。该类技术的优点非常明显，不需要增加额外的码率，也不需要改变编码器，实时性和可操作性强。

发明内容

本发明的目的是提供一种相似性约束人脸区域的H.264视频流自适应错误隐藏方法。

本发明是对错误块进行两次错误隐藏。首先利用自适应方向插值空域错误隐藏算法对错误块中每个像素点根据其插值方向自适应的进行方向插值运算来恢复错误块，实现第一次错误隐藏。然后提取错误块视频图像的前景目标，采用肤色分割的方法对前景目标中的皮肤区域和非皮肤区域进行分割定位，从中分割出可能的人脸区域，再基于相似性约束方法依次计算邻近帧之间的视频图像相似性和块相似性，确定用于覆盖错误块人脸区域的目标人脸区域，通过仿射变换，将目标块的人脸区域的灰度信息覆盖错误块的人脸区域，实现第二次错误隐藏。它能够更好地重建错误块的人脸区域，保证了恢复后视频图像的平滑性。

本发明是通过以下技术方案实现的。

(S1)Canny算子对相邻块进行边缘检测

Canny算子采用2×2邻域一阶偏导的有限差分，计算平滑后图像f(i,j)(i,j为像素点的坐标)的梯度幅值和方向为：

x方向的偏导数P_x(i,j)：

P_x(i,j)＝((f(i,j+1)-f(i,j)+f(i+1,j+1)-f(i+1,j))/2 (1)

y方向的偏导数P_y(i,j)：

P_y(i,j)＝((f(i,j)-f(i+1,j)+f(i,j+1)-f(i+1,j+1))/2 (2)

图像中每个像素点(i,j)的梯度幅值和梯度方向分别为G(i,j)和θ(i,j)为：

(S2)确定相邻块的边缘方向

错误块的上、下、左、右四个相邻块进行Canny算子边缘检测后，每个相邻块的边缘像素点都有梯度幅值G(i,j)和梯度方向θ(i,j)，依据幅值梯度准则确定相邻块的边缘方向，具体步骤如下：

步骤(1)：将边缘划分为八个方向，即θ₁～θ₈。其中：θ₁＝(0°,22.5°]，θ₂＝(22.5°,45°]，θ₃＝(45°,67.5°]，θ₄＝(67.5°,90°]，θ₅＝(90°,112.5°]，θ₆＝(112.5°,135°]，θ₇＝(135°,157.5°]，θ₈＝(157.5°,180°]。梯度方向θ(i,j)的值在哪个范围，该边缘像素点的方向就对应该方向。

步骤(2)：根据公式(5)计算相邻块中边缘像素点在步骤(1)中的8个边缘方向的幅值总和：

记上、下、左、右相邻块在8个边缘方向的幅值总和分别为D_T(k)、D_B(k)、D_L(k)、 D_R(k)，其中k＝1～8分别代表θ₁～θ₈这8个边缘方向。

步骤(3)：分别取步骤(2)中D_T(k)、D_B(k)、D_L(k)、D_R(k)4个相邻块幅值总和中的最大值，记为D_TM(dir_T)、D_BM(dir_B)、D_LM(dir_L)、D_RM(dir_R)。其中上、下、左、右4 个相邻块幅值总和最大值对应的方向依次为dir_T、dir_B、dir_L、dir_R，其分别表示各相邻块中可能的边缘方向。

(S3)确定错误块中每个像素点的插值方向

依据边界像素差值越小，边界像素间的相关性越大的原理，本发明提出了边界像素差值成本函数cost(i,j)，然后根据(S2)节中分别得到的错误块上、下、左、右4 个相邻块中的可能的边缘方向，自适应地确定错误块中每个像素点的插值方向。根据公式(6)分别计算出沿着(S2)节中dir_T、dir_B、dir_L、dir_R方向的边界像素差值，取 4个计算值中的最小值所对应的相邻块的边缘方向为错误块中像素点(i,j)的插值方向 dir：

其中：f(i,j)为错误块中的像素点灰度值，f'(i,j)为经过错误块的像素点沿着可能的边缘方向与相邻块交点的像素点灰度值，P_N为经过错误块的像素点沿着可能的边缘方向与相邻块交点的集合。

(S4)基于错误块中每个像素点的方向插值

求出的错误块中每个像素点(i,j)的插值方向dir进行方向插值来恢复该错误像素点，设P_dir(i,j)为当前待恢复像素点灰度值，方向插值如公式(7)所示：

其中：P_1dir,P_2dir分别为像素点(i,j)沿着其插值方向与相邻块交点的像素点灰度值，d₁,d₂分别为相应的距离。

(S5)视频图像相似性的计算

设图像大小为M×N，图像之间相似程度取决于形似程度和值的相似程度，分别通过相似系数和距离系数来描述，则相似程度的计算如公式(8)所示：

其中：α和β分别为相似系数和相对欧式距离系数的权重，且α+β＝1。p_a(i,j),p_b(i,j) 分别为a帧、b帧视频图像像素点灰度值(i,j为像素点的坐标)，p(i,j)_min,p(i,j)_max分别代表灰度值的最小值和最大值。S_ab表示相似程度，其值域为[0,1]，且S_ab值越大代表相似程度越大。

由于视频图像邻近帧之间存在很强的相关性，取错误块所在帧的邻近L帧作为参考帧图像，同时对这L帧图像分别与错误块所在帧图像进行相似程度计算，取这L个 S_ab值中最大的前Q个值所对应的帧作为候选目标参考帧图像。

(S6)块相似性的计算

为了提高人脸区域分割的精确性，本发明人脸区域采用4×4子块的模式，设错误块中人脸区域子块的左上角像素坐标为(i,j)，候选目标参考帧中相应块左上角像素坐标为(i',j')。根据公式(9)计算出错误块中人脸区域子块与候选目标参考帧图像中人脸区域子块之间的块匹配差值：

其中：m,n分别表示距离左上角像素的行数和列数。P_C,P分别表示错误块人脸区域子块和候选目标参考帧图像中人脸区域子块的灰度值。

(S7)确定目标人脸区域

对人脸区域划分出的几个4×4子块分别按照(S6)中计算出匹配块的差值，然后计算这些差值的总和记为TSAD_BM。同时对(S5)中确定的Q个候选目标参考帧图像进行计算，分别表示为取这Q个值中的最小值所对应的参考帧为目标参考帧，此目标参考帧对应的人脸区域为最相似的目标人脸区域。

(S8)重建错误块的人脸区域

对于错误块的人脸区域，由于大多已丢失了人脸关键信息，通过确定人脸五官特征来进行插值运算恢复人脸区域的效果并不明显，特别是复杂背景中存在与皮肤色度一致的脸部区域。本发明提出的新方法是利用最相似目标人脸区域来覆盖错误块人脸区域以达到重建目的。

(S7)节中得到的目标人脸区域，与错误块的人脸区域相比可能存在一定程度的位移，同时，由于不同帧间视频图像具有不同的纹理特征，将人脸区域直接覆盖会产生明显的接缝，影响重建效果。因此，需要先进行仿射变换，仿射变换后，脸部倾斜角度缩小，更接近于错误块中人脸区域的方位。又因为人脸对于灰度的变化比较不敏感，故将目标人脸区域的灰度信息覆盖错误块的人脸区域，重建后的视频图像更加自然。

本发明所述的相似性约束人脸区域的H.264视频流自适应错误隐藏算法流程如图1所示。主要步骤如下：

步骤(1)：判断接收端收到的视频图像的宏块是否发生错误，如果是，则转到步骤(2)；否则转到步骤(9)；

步骤(2)：利用Canny算子对错误块的上、下、左、右四个相邻块进行边缘检测，依次确定各个相邻块边缘方向；

步骤(3)：根据边缘像素差值成本函数自适应确定错误块中每个像素点的插值方向；

步骤(4)：对错误块中的每个像素点依据其插值方向计算方向插值，并恢复错误块，实现第一次错误隐藏；

步骤(5)：提取经过第一次错误隐藏的错误块所在视频图像的前景目标，同时分割出其人脸区域；

步骤(6)：通过视频图像相似性计算及块相似性计算后，确定用于覆盖错误块人脸区域的目标人脸区域；

步骤(7)：将目标人脸区域仿射变换后，将其灰度信息覆盖错误块的人脸区域，实现第二次错误隐藏；

步骤(8)：判断错误块是否全部进行了两次错误隐藏，如果是，则转到步骤(9)；否则转到步骤(2)；

步骤(9)：输出接收到的视频图像。

本发明利用自适应方向插值空域错误隐藏算法对错误块中每个像素点根据其插值方向自适应的进行方向插值运算来恢复错误块，实现第一次错误隐藏。然后提取错误块视频图像的前景目标，采用肤色分割的方法对前景目标中的皮肤区域和非皮肤区域进行分割定位，从中分割出可能的人脸区域，再基于相似性约束方法依次计算邻近帧之间的视频图像相似性和块相似性，确定用于覆盖错误块人脸区域的目标人脸区域，通过仿射变换，将目标块的人脸区域的灰度信息覆盖错误块的人脸区域，实现第二次错误隐藏。实验结果表明相似性约束人脸区域的自适应错误隐藏算法其视频图像错误隐藏效果在主观视觉判断和客观数值计算上都有一定的提高，重建错误块的效果较好，保证了恢复后视频图像的平滑性，具有实际应用价值。

附图说明

图1为本发明算法流程图。

图2为本发明不同视频序列错误隐藏的效果对比(2个片组)。其中，从左至右为原始正确图像、错误丢包图像、标准算法解码图像、基于人脸五官特征的空域差错掩盖算法解码图像和本发明算法解码图像；从上至下视频仿真测试序列分别为foreman、 mother-daughter、akiyo、carphone、suzie等QCIF格式的5个标准序列。

图3为本发明不同视频序列错误隐藏的效果对比(4个片组)。其中，从左至右为原始正确图像、错误丢包图像、标准算法解码图像、基于人脸五官特征的空域差错掩盖算法解码图像和本发明算法解码图像；从上至下视频仿真测试序列分别为foreman、 mother-daughter、akiyo、carphone、suzie等QCIF格式的5个标准序列。

具体实施方式

本发明将通过以下实施例作进一步说明。

1、实验仿真平台与环境

本发明基于JM8.6平台进行仿真实验，标准测试序列为foreman、mother-daughter、 akiyo、carphone、suzie等QCIF格式，其规格均为176×144，使用灵活宏块排列方式 (FMO)中的分散模式。编码采用全I帧格式，编码长度为100帧，码率为30fps，量化参数QP＝28，输出包流格式为RTP。同时使用MobileIP模拟信道丢包程序来模拟网络丢包，MobileIP使用错误模式18681.3，丢失率约为30％～40％。

2、测试结果比较

本发明算法与基于人脸五官特征的空域差错掩盖算法(FFSEC算法)及H.264标准错误隐藏算法进行实验对比，为了降低算法的复杂度，本发明只对亮度信号Y运用改进的算法，因此只对这几种算法错误隐藏后的亮度信号Y的PSNR值进行效果比较，其中PSNR(PeakSignal to Noise Rate)表示峰值信噪比，单位为dB。为了减少实验计算量，l取10，k取3，同时经过多次仿真实验，确定了权值α和β，它们分别取0.21 和0.79。同时设置灵活宏块排列方式(FMO)片组数目为1和3，其分别代表2个片组和4个片组，其测试结果分别见表1和表2所示。

表1本发明算法与其他算法的PSNR仿真结果对比(2个片组)

表2本发明算法与其他算法的PSNR仿真结果对比(4个片组)

为验证本发明算法的有效性，分别选取foreman、mother-daughter、akiyo、carphone 和suzie标准序列中的第1帧进行错误隐藏，同时灵活宏块排列方式(FMO)片组数目分别为1和3时，正确图像、错误图像、标准算法、FFSEC算法及本发明算法解码重建视频图像效果分别如图2和图3所示。

3、实验结果分析

(1)从表1、表2可以看出，当灵活宏块排列方式(FMO)设置为2个片组时，标准算法、基于人脸五官特征的空域差错掩盖算法和本发明算法综合5个标准测试序列，其平均亮度信号Y的PSNR值分别为24.71dB、25.33dB和26.54dB。当灵活宏块排列方式(FMO)设置为4个片组时，其平均亮度信号Y的PSNR值分别为27.15dB、 27.88dB和29.07dB。因此本发明算法与FFSEC算法和标准算法相比，都有一定的提高，且与FFSEC算法相比PSNR分别提高了1.21dB和1.19dB，这说明本发明算法与其他算法相比有较好的重建效果及鲁棒性。

(2)从图2、图3重建效果可以看出，H.264标准错误隐藏算法只能以相邻的像素进行线性插值，无法估计错误块的边缘方向，对纹理复杂的视频图像恢复效果不理想，特别是人脸区域容易产生虚假边缘，导致重建后的人脸区域出现模糊现象。

(3)FFSEC算法和本发明算法对人脸区域的恢复都有一定的效果，但是基于人脸五官特征的空域差错掩盖算法在处理背景颜色与人脸肤色相近的序列图像时，重建后视频图像平滑性较差，且人脸区域恢复效果不好，如mother-daughter、suzie序列中的人脸区域。本发明算法实现了两次错误隐藏，第一次采用自适应方向插值空域错误隐藏算法对错误块进行了错误隐藏，第二次基于相似性约束对人脸区域进行了错误隐藏，恢复后的视频图像平滑性更好且从主观视觉效果上来看更加自然。

(4)为了进一步验证本发明算法错误隐藏的效果，选取了其他标准测试序列，并进行了10次仿真实验，都取得了类似预期的实验结果。同时，使用灵活宏块排列方式 (FMO)中的其他几种模式进行仿真实验，如交织模式、前景模式等，仿真结果表明分散模式下视频图像恢复效果更好。为了验证不同丢包率下的实验效果，分别使用MobileIP错误模式18681.4和wcdma_64kb_3kpb_5e_04.bin模拟网络丢包，其丢包率分别为10％～20％和5％左右，实验结果表明丢包率越大，视频图像的重建效果更好。

本发明算法通过自适应方向插值重建错误块和相似性约束重建错误块人脸区域，有效解决了区域划分不准确插值造成的虚假边缘问题，同时一定程度上提高了复杂背景中存在与皮肤色度一致的脸部区域的重建效果。实验结果表明基于相似性约束人脸区域的自适应错误隐藏算法其视频图像错误隐藏效果在主观视觉判断和客观数值计算上都有一定的提高，重建错误块的效果较好，保证了恢复后视频图像的平滑性，具有实际应用价值。

Claims (3)

1.一种相似性约束人脸区域的H.264视频流自适应错误隐藏方法，其特征是包括以下步骤：

步骤(1)：判断接收端收到的视频图像的宏块是否发生错误，如果是，则转到步骤(2)；否则转到步骤(9)；

步骤(2)：利用Canny算子对错误块的上、下、左、右四个相邻块进行边缘检测，依次确定各个相邻块边缘方向；

(S1)Canny算子对相邻块进行边缘检测

Canny算子采用2×2邻域一阶偏导的有限差分，计算平滑后图像f(i,j)(i、j为像素点的坐标)的梯度幅值和方向为：

x方向的偏导数P_x(i,j)：

P_x(i,j)＝((f(i,j+1)-f(i,j)+f(i+1,j+1)-f(i+1,j))/2

y方向的偏导数P_y(i,j)：

P_y(i,j)＝((f(i,j)-f(i+1,j)+f(i,j+1)-f(i+1,j+1))/2

图像中每个像素点(i,j)的梯度幅值和梯度方向分别为G(i,j)和θ(i,j)为：

(S2)确定相邻块的边缘方向

错误块的上、下、左、右四个相邻块进行Canny算子边缘检测后，每个相邻块的边缘像素点都有梯度幅值G(i,j)和梯度方向θ(i,j)，依据幅值梯度准则确定相邻块的边缘方向，具体步骤如下：

1)：将边缘划分为八个方向，即θ₁～θ₈；其中：θ₁＝(0°,22.5°]，θ₂＝(22.5°,45°]，θ₃＝(45°,67.5°]，θ₄＝(67.5°,90°]，θ₅＝(90°,112.5°]，θ₆＝(112.5°,135°]，θ₇＝(135°,157.5°]，θ₈＝(157.5°,180°]；梯度方向θ(i,j)的值在哪个范围，该边缘像素点的方向就对应该方向；

2)：根据下式计算相邻块中边缘像素点在1)中的8个边缘方向的幅值总和：

记上、下、左、右相邻块在8个边缘方向的幅值总和分别为D_T(k)、D_B(k)、D_L(k)、D_R(k)，其中k＝1～8分别代表θ₁～θ₈这8个边缘方向；

3)：分别取2)中D_T(k)、D_B(k)、D_L(k)、D_R(k)4个相邻块幅值总和中的最大值，记为D_TM(dir_T)、D_BM(dir_B)、D_LM(dir_L)、D_RM(dir_R)；其中上、下、左、右4个相邻块幅值总和最大值对应的方向依次为dir_T、dir_B、dir_L、dir_R，其分别表示各相邻块中可能的边缘方向；

步骤(3)：根据边界像素差值成本函数自适应确定错误块中每个像素点的插值方向；

1)所述的边界像素差值成本函数cost(i,j)为：

其中：f(i,j)为错误块中的像素点灰度值，f'(i,j)为经过错误块的像素点沿着可能的边缘方向与相邻块交点的像素点灰度值，P_N为经过错误块的像素点沿着可能的边缘方向与相邻块交点的集合；

2)根据边界像素差值成本函数cost(i,j)分别计算出沿着步骤(2)中得到的错误块上、下、左、右4个相邻块中的可能的边缘方向dir_T、dir_B、dir_L、dir_R方向的边界像素差值，取4个计算值中的最小值所对应的相邻块的边缘方向为错误块中像素点(i,j)的插值方向dir：

步骤(4)：对错误块中的每个像素点依据其插值方向计算方向插值，并恢复错误块，实现第一次错误隐藏；

步骤(5)：提取经过第一次错误隐藏的错误块所在视频图像的前景目标，同时分割出其人脸区域；

步骤(6)：通过视频图像相似性计算及块相似性计算后，确定用于覆盖错误块人脸区域的目标人脸区域；

步骤(7)：将目标人脸区域仿射变换后，将其灰度信息覆盖错误块的人脸区域，实现第二次错误隐藏；

步骤(8)：判断错误块是否全部进行了两次错误隐藏，如果是，则转到步骤(9)；否则转到步骤(2)；

步骤(9)：输出接收到的视频图像。

2.根据权利要求1所述的相似性约束人脸区域的H.264视频流自适应错误隐藏方法，其特征是所述的步骤(4)是：

根据步骤(3)求出的错误宏中像素点(i,j)的插值方向dir进行方向插值来恢复出错误块中的每个像素点，设P_dir(i,j)为当前待恢复像素点灰度值，方向插值如公式下式所示：

其中：P_1dir、P_2dir分别为像素点(i,j)沿着其插值方向与相邻块交点的像素点灰度值，d₁、d₂分别为相应的距离。

3.根据权利要求1所述的相似性约束人脸区域的H.264视频流自适应错误隐藏方法，其特征是所述的步骤(6)是：

(S1)视频图像相似性的计算

设图像大小为M×N，图像之间相似程度取决于形似程度和值的相似程度，分别通过相似系数和距离系数来描述，则相似程度的计算如公式下式所示：

其中：α和β分别为相似系数和相对欧式距离系数的权重，且α+β＝1；p_a(i,j)、p_b(i,j)分别为a帧、b帧视频图像像素点灰度值(i、j为像素点的坐标)，p(i,j)_min、p(i,j)_max分别代表灰度值的最小值和最大值；S_ab表示相似程度，其值域为[0，1]，且S_ab值越大代表相似程度越大；

由于视频图像邻近帧之间存在很强的相关性，取错误块所在帧的邻近L帧作为参考帧图像，同时对这L帧图像分别与错误块所在帧图像进行相似程度计算，取这L个S_ab值中最大的前Q个值所对应的帧作为候选目标参考帧图像；

(S2)块相似性的计算

脸区域采用4×4子块的模式，设错误块中人脸区域子块的左上角像素坐标为(i,j)，候选目标参考帧中相应块左上角像素坐标为(i',j')；根据下式计算出错误块中人脸区域子块与候选目标参考帧图像中人脸区域子块之间的块匹配差值：

其中：m、n分别表示距离左上角像素的行数和列数；P_C、P分别表示错误块人脸区域子块和候选目标参考帧图像中人脸区域子块的灰度值；

(S3)确定目标人脸区域

对人脸区域划分出的几个4×4子块分别按照(S2)中计算出匹配块的差值，然后计算这些差值的总和记为TSAD_BM；同时对(S1)中确定的Q个候选目标参考帧图像进行计算，分别表示为取这Q个值中的最小值所对应的参考帧为目标参考帧，此目标参考帧对应的人脸区域为最相似的目标人脸区域。