CN103856781A - 一种自适应阈值的视频流多纹理方向错误隐藏方法 - Google Patents

Abstract

一种自适应阈值的视频流多纹理方向错误隐藏方法，其特征是基于改进的自适应阈值的Sobel边缘检测算法，通过检测出错误宏块的相邻块可能的边缘方向，结合边界像素差值成本函数自适应地确定错误宏块中每个像素点的插值方向，然后对错误宏块中的每个像素点进行方向插值来恢复错误宏块，能够更精确的提取出边缘信息及自适应的恢复丢失宏块，保证了恢复后视频图像的平滑性。本发明与H.264标准的错误隐藏算法相比，其视频图像隐藏效果在主观视觉判断和客观数值计算上都有一定的提高。

Description

一种自适应阈值的视频流多纹理方向错误隐藏方法

技术领域

本发明属于视频图像处理领域，涉及到一种H.264解码视频图像中对错误信息块的近似恢复或错误隐藏方法。

背景技术

H.264视频压缩编码标准是由国际电信联盟（ITU-T）的视频编码专家组（VCEG）和国际标准化组织（ISO/IEC）的运动专家组（MPEG）共同制定的新一代视频压缩编码标准。H.264带来高压缩比和良好网络亲和性的同时，由于接收端接收到的信息量变少，图像序列间的冗余度降低，使得编码后的码流对错误更加敏感，从而使得任何一个比特的丢失或错误，都可能导致误码扩散，容易降低接收到的视频图像质量。

错误隐藏技术即是一个图像采样或一块采样在传输中由于错误而丢失，解码器仍能基于周围的已经收到的采样点，利用空间和时间相邻的采样点的内在相关性进行估计，从而实现错误隐藏，用估算数据恢复。该技术并不追求将原始数据完整还原，而是利用已经接收到的数据来尽量增强视频图像质量，因此，它无需增加额外的码率，也不需要改变编码器。

常见的错误隐藏算法分两种：时域错误隐藏和空域错误隐藏。时域错误隐藏主要是利用视频序列的相邻帧之间的较强时间相关性，通过相邻帧经过运动补偿后的正确图形数据来对错误宏块内容进行恢复。这种方法只适合于运动不太复杂的视频信号，对于场景变换的情况则往往不太适用。空域错误隐藏主要是使用同一帧图像中的空间相关性对丢失的内容进行修复，因此对于场景变换的情况可以利用帧内信息对错误宏块进行掩盖。

现有技术中，使用的普遍的是H.264双线性内插算法。双线性内插算法是H.264标准的空域错误隐藏算法。通过上下左右4个相邻像素块的边缘像素进行线性插值来恢复错误数据。这种算法是根据像素距离越近，其相关性越大的原理，因此权值设定为丢失像素与相邻像素的反向距离，图1为双线性内插算法示意图。

现有的Sobel边缘检测算法：

（1）计算梯度的幅值和方向

Sobel算子是在图像空间利用x和y两个方向模板与图像中的每个像素点进行邻域卷积来完成的。对于f(i,j)为图像中像素点灰度值（i,j为像素点的坐标），x和y方向的模板见图2。

水平梯度G_x(i,j)为：

G_x(i,j)＝f(i-1,j-1)+2f(i-1,j)+f(i-1,j+1)-f(i+1,j-1)-2f(i+1,j)-f(i+1,j+1)

垂直梯度G_y(i,j)为：

G_y(i,j)＝f(i-1,j+1)+2f(i,j+1)+f(i+1,j+1)-f(i-1,j-1)-2f(i,j-1)-f(i+1,j-1)

令图像中每个像素点的梯度幅值和方向分别为G(i,j)和θ(i,j)，则：

$G(i,j)=\sqrt{{G_x}^2(i,j)+{G_y}^2(i,j)}$

$\mathrm{\θ}(i,j)=\arctan \frac{G_y(i,j)}{G_x(i,j)}$

（2）边缘检测阈值设定

边缘检测是通过检测图像灰度变化确定图像边缘的过程，图像边缘是图像灰度变化最显著的区域或边界，因此梯度幅值较大的一些像素点才能体现真正的边缘信息。

Sobel边缘检测算法中的阈值取决于整个图像像素灰度级信息，阈值设置过小，易产生伪边缘；阈值设置过大，易使边缘间断。设待进行边缘检测视频图像的尺寸大小为M×N，所以进行边缘检测的视频图像需要剔除边界点，因此其尺寸大小为(M-2）×（N-2)。Sobel算子常规设定阈值Th的方法通常是通过待测像素点的梯度幅值G(i,j)与整个M×N视频图像的平均梯度幅值MG₁和梯度标准差SD₁的比较，来判定该待测像素点是否为边缘像素点，并通过多次实验测试经验来进行判断：其中：

${\mathrm{MG}}_1=\frac{\underset{i=2}{\overset{M-1}{\mathrm{\Σ}}}\underset{j=2}{\overset{N-1}{\mathrm{\Σ}}}{G}^{*}(i,j)}{(M-2)(N-2)}$

${\mathrm{SD}}_1=\sqrt{\frac{\underset{i=2}{\overset{M-1}{\mathrm{\Σ}}}\underset{j=2}{\overset{N-1}{\mathrm{\Σ}}}{(G^{*}(i,j)-{\mathrm{MG}}_1)}^2}{(M-2)(N-2)}}$

令Th＝MG₁+SD₁，如果G(i,j)＞Th，则判定该像素点为图像边缘点，否则，不是图像边缘点。

发明内容

本发明基于改进的自适应阈值的Sobel边缘检测算法，通过检测出错误宏块的相邻块可能的边缘方向，结合边界像素差值成本函数自适应地确定错误宏块中每个像素点的插值方向，然后对错误宏块中的每个像素点进行方向插值来恢复错误宏块，能够更精确的提取出边缘信息及自适应的恢复丢失宏块，保证了恢复后视频图像的平滑性。

本发明是通过以下技术方案实现的。

（S1）用改进的Sobel算法对错误宏块的相邻块进行边缘检测

用改进的Sobel算法分别对B_T、B_B、B_L、B_R中的像素点进行边缘检测。经边缘检测后，上、下、左、右4个相邻块中的每个候选边缘像素点(i,j)都有梯度幅值G^*(i,j)和梯度方向θ^*(i,j)。

（S2）对错误宏块的相邻块的边缘方向分类

将边缘划分为8个方向，即θ₁～θ₈。其中：θ₁＝(0°,22.5°]，θ₂＝(22.5°,45°]，θ₃＝(45°,67.5°]，θ₄＝(67.5°,90°]，θ₅＝(90°,112.5°]，θ₆＝(112.5°,135°]，θ₇＝(135°,157.5°]，θ₈＝(157.5°,180°]。梯度方向θ^*(i,j)的值在哪个范围之内，该候选边缘像素点的方向就对应该方向。

（S3）确定错误宏块的相邻块边缘方向

错误宏块的边缘信息取决于相邻块的边缘方向，确定相邻块边缘方向的具体步骤如下：

步骤（1）：根据改进的Sobel边缘检测算法判定出来的候选边缘像素点，可能有一部分像素点在其梯度方向上延伸后不能通过错误宏块，因此这一部分边缘像素点是伪边缘点。通过此步骤可以进一步剔除一些非边缘点或噪声点。

设错误宏块大小为N×N，则可通过相邻块中的候选边缘像素点在其梯度方向上延伸后与错误宏块边缘的交点坐标值的取值范围0～（N-1)来进行判断，如果交点坐标值在0～（N-1)范围内，则可判定为边缘像素点。

比如：假设错误宏块大小为16×16，则可通过相邻块中的候选边缘像素点在其梯度方向上延伸后与错误宏块边缘的交点坐标值的取值范围0～15来进行判断，如果交点坐标值在0～15范围内，则可判定为边缘像素点。

步骤（2）：根据公式（1）计算相邻块中边缘像素点在（S2）的8个边缘方向的幅值总和：

$D\left(k\right)=\underset{{\mathrm{\θ}}^{*}(i,j)\∈{\mathrm{\θ}}_K}{\mathrm{\Σ}}{G}^{*}(i,j)---\left(1\right)$

记上、下、左、右相邻块在8个边缘方向的幅值总和分别为D_T(k)、D_B(k)、D_L(k)、D_R(k)，其中k＝1～8分别代表θ₁～θ₈这8个边缘方向。

步骤（3）：分别取步骤（2）中D_T(k)、D_B(k)、D_L(k)、D_R(k)4个相邻块幅值总和中的最大值，记为D_TM(dir_T)、D_BM(dir_B)、D_LM(dir_L)、D_RM(dir_R)。其中上、下、左、右4个相邻块幅值总和最大值对应的方向依次为dir_T、dir_B、dir_L、dir_R，其分别表示各相邻块中可能的边缘方向。

（S4）确定错误宏块中每个像素点的插值方向

依据边界像素差值越小，边界像素间的相关性越大的原理，本发明提出了边界像素差值成本函数Cost(i,j)，然后根据（S3）中分别得到的错误宏块上、下、左、右4个相邻块中的可能的边缘方向，自适应地确定错误宏块中每个像素点的插值方向。具体步骤如下：

1）：根据公式（2）分别计算出沿着4个可能的边缘方向的边界像素差值：

$\mathrm{Cost}(i,j)=\underset{f^{\′}(i,j)\∈P_N}{\mathrm{\Σ}}|f(i,j)-f^{\′}(i,j)|---\left(2\right)$

其中：f(i,j)为错误宏块中的像素点灰度值，f'(i,j)为经过错误宏块的像素点沿着可能的边缘方向与相邻块交点的像素点灰度值，P_N为经过错误宏块的像素点沿着可能的边缘方向与相邻块交点的集合。记上、下、左、右相邻块的边界像素差值分别为Cost_T(i,j)、Cost_B(i,j)、Cost_L(i,j)、Cost_R(i,j)。

2）：取Cost_T(i,j)、Cost_B(i,j)、Cost_L(i,j)、Cost_R(i,j)4个值中的最小值所对应相邻块的边缘方向为错误宏块中像素点(i,j)的插值方向dir。

（S5）基于错误宏块中每个像素点的方向插值

根据（S4）求出的错误宏块中像素点(i,j)的插值方向dir进行方向插值来恢复出错误宏块中的每个像素点，设P_dir(i,j)为当前待恢复像素点灰度值，方向插值如公式（3）所示：

$p_{\mathrm{dir}}(i,j)=\frac{p_{1\mathrm{dir}}\×d_2+p_{2\mathrm{dir}}\×d_1}{d_1+d_2}---\left(3\right)$

其中：P_1dir、P_2dir分别为像素点(i,j)沿着其插值方向与相邻块交点的像素点灰度值，d₁、d₂分别为相应的距离。

自适应方向插值过程如图3所示。自适应方向插值的关键是对错误宏块中的每个像素点根据其插值方向进行方向插值，可以更加准确的恢复错误宏块。

本发明所述的对现有的Sobel边缘检测算法的改进如下。

（1）计算梯度的幅值和方向

水平梯度J_x(i,j)为：

J_x(i,j)＝G_x ²(i,j)+G_y ²(i,j)   （4）

垂直梯度J_y(i,j)为：

J_y(i,j)＝2G_x(i,j)G_y(i,j)   （5）

令图像中每个像素点的梯度幅值和方向分别为G^*(i,j)和θ^*(i,j)，则：

$G^{*}(i,j)=\sqrt[4]{{J_x}^2(i,j)+{J_y}^2(i,j)}---\left(6\right)$

${\mathrm{\θ}}^{*}(i,j)=\frac{1}{2}\arctan \frac{J_y(i,j)}{J_x(i,j)}---\left(7\right)$

（2）自适应阈值设定

本发明提出的阈值设定新方法是两个阈值设定策略，第一个是在常规的阈值设定方法基础上通过改进的方程初步剔除一部分非边缘点和噪声点；第二个是以可能的边缘像素点为中心的3×3邻域窗为对象，通过计算中央像素点的梯度幅值G^*(i,j)，以及3×3邻域窗对象的平均梯度幅值和梯度标准差的比较，通过相应的公式计算来最终判定该待测像素点是否为边缘像素点。

设待进行边缘检测视频图像的尺寸大小为M×N，进行边缘检测的图像需要剔除边界点，因此其尺寸大小为(M-2）×（N-2)；基于自适应阈值进行边缘检测的步骤如下：

1）：分别根据公式（8）和公式（9）计算待进行边缘检测图像的平均梯度幅值MG₁和梯度标准差SD₁：

${\mathrm{MG}}_1=\frac{\underset{i=2}{\overset{M-1}{\mathrm{\Σ}}}\underset{j=2}{\overset{N-1}{\mathrm{\Σ}}}{G}^{*}(i,j)}{(M-2)(N-2)}---\left(8\right)$

${\mathrm{SD}}_1=\sqrt{\frac{\underset{i=2}{\overset{M-1}{\mathrm{\Σ}}}\underset{j=2}{\overset{N-1}{\mathrm{\Σ}}}{(G^{*}(i,j)-{\mathrm{MG}}_1)}^2}{(M-2)(N-2)}}---\left(9\right)$

2）：令自适应阈值Ath₁＝MG₁+k₁×SD₁，其中k₁为阈值因子。如果G^*(i,j)＞Ath₁，则初步判定该像素点为待定边缘点。此过程可剔除一部分非边缘点及噪声点。

3）：分别根据公式（10）和公式（11）计算以待测像素点为中心的3×3邻域窗中像素的平均梯度幅值MG₂和梯度标准差SD₂：

${\mathrm{MG}}_2=\frac{1}{9}\underset{x=-1}{\overset{1}{\mathrm{\Σ}}}\underset{y=-1}{\overset{1}{\mathrm{\Σ}}}{G}^{*}(i+x,j+y)---\left(10\right)$

${\mathrm{SD}}_2=\sqrt{\frac{1}{9}\underset{x=-1}{\overset{1}{\mathrm{\Σ}}}\underset{y=-1}{\overset{1}{\mathrm{\Σ}}}}{(G^{*}(i+x,j+y)-{\mathrm{MG}}_2)}^2---\left(11\right)$

4）：令自适应阈值Ath₂＝MG₂+k₂×SD₂，其中k₂为阈值因子。如果G^*(i,j)＞Ath₂，则可判定该像素点为边缘点。

本发明所述的自适应阈值的多纹理方向错误隐藏算法流程如图4所示。主要步骤如下：

步骤（1）：判断接收端收到的视频图像的宏块是否发生错误，比如数据包出错或丢失。如果是，则转到步骤（2）；否则转到步骤（6）；

步骤（2）：对错误宏块的相邻块进行改进的Sobel边缘检测算法，依次确定各个相邻块的边缘方向；

步骤（3）：根据边缘像素差值成本函数自适应确定错误宏块中每个像素点的插值方向；

步骤（4）：对错误宏块中的每个像素点依据其插值方向计算方向插值，并恢复错误宏块；

步骤（5）：判断错误宏块是否全部被错误隐藏。如果是，则转到步骤（6）；否则转到步骤（2）；

步骤（6）：输出接收到的视频图像。

本发明基于改进的自适应阈值的Sobel边缘检测算法，通过检测出错误宏块的相邻块可能的边缘方向，结合边界像素差值成本函数自适应地确定错误宏块中每个像素点的插值方向，然后对错误宏块中的每个像素点进行方向插值来恢复错误宏块。本发明从主观视觉判断和客观数值计算上均对视频图像错误隐藏效果有一定的提高，具有一定的实际应用价值。

附图说明

图1为双线性内插算法示意图。

图2为Sobel算子模板。其中，(a)为x方向模板，(b)为y方向模板。

图3为本发明自适应方向插值示意图。

图4为本发明算法流程图。

图5为本发明视频序列错误隐藏的效果对比图。其中，（a）为原始正确图像，（b）为错误丢包图像，（c）为标准算法解码图像，（d）为本发明算法解码图像；从上至下视频仿真测试序列分别为foreman、highway、carphone和coastguard等QCIF格式的4个标准序列。

具体实施方式

本发明将通过以下实施例作进一步说明。

1、实验仿真平台与环境

视频仿真测试序列采用foreman、highway、carphone和coastguard等QCIF格式的4个标准序列，其规格均为176×144，使用灵活宏块排列方式（FMO）中的分散模式，由于本发明只研究空域错误隐藏算法，因此编码序列采用全I帧编码，编码长度为50帧，码率为30fps，量化参数QP＝28，输出包流格式为RTP。同时使用MobileIP模拟信道丢包程序来模拟网络丢包，MobileIP使用其自带的错误模式18681.3，丢失率约为30%～40%。本发明实验结果和实验数据是在Intel Core、CPU T6500@2.1GHz、2GB的内存以及Windows7的环境下，采用JM8.6视频软件平台进行仿真。

2、测试结果比较

为降低算法复杂度，本发明只对亮度信号Y运用改进的算法，对色度信号U和V仍运用H.264标准算法。本发明与H.264标准的空域错误隐藏算法进行实验对比，通过多次仿真实验测试，阈值因子k₁和k₂分别设置为1.1和1。测试结果见表1，其中PSNR（Peak Signal to Noise Rate）表示峰值信噪比：

表1本发明算法与标准算法的仿真结果对比

从客观数值计算上看，表1数据表明本发明算法与H.264标准的空域错误隐藏算法相比，其亮度信号PSNR值分别为26.59dB和25.01dB，色度信号PSNR值无变化。因此对于亮度信号PSNR值本发明算法有一定的提高，这充分说明本发明算法与标准算法相比有较好的鲁棒性。

为验证本发明算法的有效性，选取foreman、highway、carphone和coastguard标准序列中的第10帧进行错误隐藏，其中原始正确图像，错误丢包图像，标准算法及本发明算法重建图像效果如图5所示：

3、实验结果分析

（1）从主观视觉效果上看，H.264标准的空域错误隐藏算法无法估计丢失宏块内的边缘方向，只能以相邻的像素进行线性内插，产生了大量横竖条纹，造成了主观视觉效果下降。本发明算法则较为精确的估计出丢失宏块中每个像素点的边缘方向，利用相关性最大的相邻像素进行方向内插来恢复丢失宏块，在一定程度上改善了图像的视觉效果。

（2）为进一步验证本发明算法的有效性，选取了规格尺寸大小各异的其他视频流标准测试序列，同时进行了10次仿真实验，实验都取得了类似预期的实验结果。

（3）本发明算法运用了平方梯度法和自适应阈值的方法对Sobel边缘检测算法进行改进，牺牲了较小的时间代价，但能更加准确的检测出视频图像的边缘像素点。

（4）为了突出本发明算法效果，分别使用MobileIP错误模式18681.4和wcdma_64kb_3kpb_5e_04.bin模拟网络丢包，其丢包率分别为10%～20%和5%，实验结果表明丢包率越小，视频图像的错误隐藏效果更好。

（5）影响本实验算法的不确定参数是阈值因子k₁和k₂，多次实验结果表明当k₁和k₂取值范围为0.8～1.2时，实验都能取得预期结果，错误隐藏效果较好。

H.264压缩码流中错误隐藏是一项非常重要的不可忽视的技术，本发明提出的自适应阈值的多纹理方向错误隐藏方案是基于改进的自适应阈值的Sobel边缘检测算法，通过检测出错误宏块的相邻块可能的边缘方向，结合边界像素差值成本函数自适应地确定错误宏块中每个像素点的插值方向，然后对错误宏块中的每个像素点进行方向插值来恢复错误宏块。实验结果表明本发明算法从主观视觉判断和客观数值计算上均对视频图像错误隐藏效果有较大的提高，具有实际应用价值。

Claims (4)

1.一种自适应阈值的视频流多纹理方向错误隐藏方法，其特征是包括以下步骤： 

步骤（1）：判断接收端收到的视频图像的宏块是否发生错误，如果是，则转到步骤（2）；否则转到步骤（6）； 

步骤（2）：对错误宏块的相邻块进行改进的Sobel边缘检测算法，依次确定各个相邻块的边缘方向； 

步骤（3）：根据边缘像素差值成本函数自适应确定错误宏块中每个像素点的插值方向； 

步骤（4）：对错误宏块中的每个像素点依据其插值方向计算方向插值，并恢复错误宏块； 

步骤（5）：判断错误宏块是否全部被错误隐藏，如果是，则转到步骤（6）；否则转到步骤（2）； 

步骤（6）：输出接收到的视频图像； 

所述的改进的Sobel边缘检测算法如下： 

（1）计算梯度的幅值和方向 

水平梯度J_x(i,j)为： 

J_x(i,j)＝G_x ²(i,j)+G_y ²(i,j) 

垂直梯度J_y(i,j)为： 

J_y(i,j)＝2G_x(i,j)G_y(i,j) 

令图像中每个像素点的梯度幅值和方向分别为G^*(i,j)和θ^*(i,j)，则： 

（2）自适应阈值设定 

设待进行边缘检测视频图像的尺寸大小为M×N，进行边缘检测的图像需要剔除边界点，因此其尺寸大小为(M-2）×（N-2)；基于自适应阈值进行边缘检测的步骤如下： 

1）：分别根据以下两个公式计算待进行边缘检测图像的平均梯度幅值MG₁和梯度标准差SD₁： 

2）：令自适应阈值Ath₁＝MG₁+k₁×SD₁，其中k₁为阈值因子；如果G^*(i,j)＞Ath₁，则 初步判定该像素点为待定边缘点； 

3）：分别根据以下两个公式计算以待测像素点为中心的3×3邻域窗中像素的平均梯度幅值MG₂和梯度标准差SD₂： 

4）：令自适应阈值Ath₂＝MG₂+k₂×SD₂，其中k₂为阈值因子；如果G^*(i,j)＞Ath₂，则可判定该像素点为边缘点。 

2.根据权利要求1所述的自适应阈值的视频流多纹理方向错误隐藏方法，其特征是所述的步骤（2）按以下步骤： 

（S1）用改进的Sobel算法对错误宏块的相邻块进行边缘检测 

用改进的Sobel算法分别对B_T、B_B、B_L、B_R中的像素点进行边缘检测；经边缘检测后，上、下、左、右4个相邻块中的每个候选边缘像素点(i,j)都有梯度幅值G^*(i,j)和梯度方向θ^*(i,j)； 

（S2）对错误宏块的相邻块的边缘方向分类 

将边缘划分为8个方向，即θ₁～θ₈，其中：θ₁＝(0°,22.5°]，θ₂＝(22.5°,45°]，θ₃＝(45°,67.5°]，θ₄＝(67.5°,90°]，θ₅＝(90°,112.5°]，θ₆＝(112.5°,135°]，θ₇＝(135°,157.5°]，θ₈＝(157.5°,180°]；梯度方向θ^*(i,j)的值在哪个范围之内，该候选边缘像素点的方向就对应该方向； 

（S3）确定错误宏块的相邻块边缘方向 

错误宏块的边缘信息取决于相邻块的边缘方向，确定相邻块边缘方向的具体步骤如下： 

1）：根据改进的Sobel边缘检测算法判定出来的候选边缘像素点 

设错误宏块大小为N×N，则可通过相邻块中的候选边缘像素点在其梯度方向上延伸后与错误宏块边缘的交点坐标值的取值范围0～（N-1)来进行判断，如果交点坐标值在0～（N-1)范围内，则可判定为边缘像素点； 

2）：根据下式计算相邻块中边缘像素点在（S2）的8个边缘方向的幅值总和： 

记上、下、左、右相邻块在8个边缘方向的幅值总和分别为D_T(k)、D_B(k)、D_L(k)、D_R(k)，其中k＝1～8分别代表θ₁～θ₈这8个边缘方向； 

3）：分别取2）中D_T(k)、D_B(k)、D_L(k)、D_R(k)4个相邻块幅值总和中的最大值，记为D_TM(dir_T)、D_BM(dir_B)、D_LM(dir_L)、D_RM(dir_R)，其中上、下、左、右4个相邻块幅值总和最大值对应的方向依次为dir_T、dir_B、dir_L、dir_R，其分别表示各相邻块中可能的边缘方向。 

3.根据权利要求1所述的自适应阈值的视频流多纹理方向错误隐藏方法，其特征是所述的步骤（3）按以下步骤： 

将步骤（2）中分别得到的错误宏块上、下、左、右4个相邻块中的可能的边缘方向，再根据边界像素差值成本函数Cost(i,j)，自适应地确定错误宏块中每个像素点的插值方向，具体步骤如下： 

1）：根据下式分别计算出沿着4个可能的边缘方向的边界像素差值： 

其中：f(i,j)为错误宏块中的像素点灰度值，f'(i,j)为经过错误宏块的像素点沿着可能的边缘方向与相邻块交点的像素点灰度值，P_N为经过错误宏块的像素点沿着可能的边缘方向与相邻块交点的集合；记上、下、左、右相邻块的边界像素差值分别为Cost_T(i,j)、Cost_B(i,j)、Cost_L(i,j)、Cost_R(i,j)； 

2）：取Cost_T(i,j)、Cost_B(i,j)、Cost_L(i,j)、Cost_R(i,j)4个值中的最小值所对应相邻块的边缘方向为错误宏块中像素点(i,j)的插值方向dir。

4.根据权利要求1所述的自适应阈值的视频流多纹理方向错误隐藏方法，其特征是所述的步骤（4）是： 

根据步骤（3）求出的错误宏块中像素点(i,j)的插值方向dir进行方向插值来恢复出错误宏块中的每个像素点，设P_dir(i,j)为当前待恢复像素点灰度值，方向插值如公式下式所示： 

其中：P_1dir、P_2dir分别为像素点(i,j)沿着其插值方向与相邻块交点的像素点灰度值，d₁、d₂分别为相应的距离。 

Images