CN103124356A - 基于方向信息的自适应空域差错掩盖方法 - Google Patents

Abstract

本发明涉及一种基于方向信息的自适应空域差错掩盖方法，包括：对方向信息的提取，对丢失宏块相邻的区域进行边缘检测，得到相邻区域像素的梯度幅值与方向，并把边缘方向划分成16个方向；对方向信息进行统计，统计出每个方向所属像素的数量；对丢失宏块进行类型划分，由方向统计结果估计有效边缘数，根据有效边缘的数量将丢失块划分为平滑块、单边缘块、多边缘块以及复杂纹理块；如果为平滑块，采用双线性插值法进行修补，如果为单边缘块，采用方向插值法进行修补，如果为多边缘块，采用多方向插值加权平均法进行修补，如果为复杂纹理块，采用图像修描法进行修补。

Description

基于方向信息的自适应空域差错掩盖方法

技术领域

本发明是一种对出现误码的视频解码端视频或图像进行修复的技术，涉及视频通信领域，特别涉及一种基于方向信息的自适应空域差错掩盖方法。 

背景技术

由于在无线信道传输，网络拥塞等原因，压缩视频数据的丢失是视频业务中一个难以避免的重要问题。H.264视频编码技术框架中，采用了帧内、帧间预测等技术，具有较高的编码效率，然而解码错误也会在空域和时域上扩散，影响当前帧和后续帧解码效果。因此，一个解码端的差错掩盖技术是十分必要的，它成为了保证视频质量的最后一道防线。 

空域差错掩盖是利用丢失块周围的空间信息来推测丢失块丢失内容。已被JM采用的是比较经典的双线性插值法，该方法简单且计算量小，适合平滑区域恢复。在此基础上改进的方向插值可以判断出丢失块的一条边缘方向，然后沿着此方向进行插值恢复，适合方向单一的区域。然而实际中丢失的宏块类型往往是多种多样的，根据不同宏块类型选择合适的空域差错掩盖方法要优于只用一种固定的掩盖方法。 

本发明的任务是充分地利用丢失块周围每个可用像素的方向信 息，用一种统计的方式精细地把丢失宏块划分为平滑块，单边缘块，多边缘块，复杂纹理块，并分别选取合适的差错掩盖方法。 

发明内容

本发明所要解决的技术问题是：提供一种基于方向信息的自适应空域差错掩盖方法，对宏块精确分类，增强差错掩盖方法对不同宏块的适应能力，从而提升对误码视频或图像的恢复效果。 

本发明解决技术问题采用的技术方案是： 

(1)检测方向信息：首先用Sobel算子对丢失块上下左右四个相邻块作边缘检测，计算得到邻域像素的梯度幅值与方向，用阈值Th_edge对这些像素作第一步的筛选。设置阈值Th_edge=60，只有幅值大于Th_edge的像素，才能参与下一步方向统计；若所有像素都小于Th_edge，则丢失块即被判断为平滑块，直接采用双线性插值法进行差错掩盖；然后把边缘划分成0～180度之间16个方向的边缘分布，每个方向依次编号为：k=1～16,像素方向值在哪个范围之内，该像素的方向即用对应的k值表示； 

(2)统计方向信息：实际操作中，为使方向统计更加准确，只选择最靠近丢失块的8行或8列的像素进行统计；对参与此步骤的所有像素进行方向记录，设置方向数初始值num[k]=0，其中k=1,2,…16，接下来判断选出的像素属于哪个方向k，判断之后则这个方向的方向数num[k]的值加1，每个像素遍历结束后，num[k]就表示丢失块周围所选像素里，方向为k的像素个数；然后通过比较，选出方向数最大的那个方向的num[k]值，记为D_max； 

(3)对丢失的宏块进行分类：对宏块划分类型的依据是边缘数Edge；对每个方向的方向数num[k]作进一步判断，设置阈值Th_num=5；比较D_max与Th_num大小，若D_max≤Th_num，则说明只有个别像素是边缘像素，整个丢失块还是属于平滑块，记边缘数Edge=0；若D_max>Th_num，则丢失块为边缘块，然后比较每个方向的方向数num[k]与0.65D_max大小，当num[k]>0.65D_max，就说明方向k为有效边缘方向，边缘数Edge加1；每个方向遍历结束后，就可以得到边缘数Edge，用它来估计丢失块类型：当Edge=0的时候，判断它为平滑块；当Edge=1的时候，判断它为单边缘块；当1<Edge<5的时候，判断它为多边缘块；当Edge≥5的时候，判断它为复杂纹理块; 

(4)对分类后的丢失块进行处理： 

a.对于平滑块，采用最简单的双线性加权平均法。对于当前受损块内任一待恢复像素Y，其像素值可以用公式(1)表示： 

$Y=\frac{Y_1\&times;D_2+Y_2\&times;D_1+Y_3\&times;D_4+Y_4\&times;D_3}{D_1+D_2+D_3+D_4}---\left(1\right)$

其中，Y1，Y2，Y3，Y4分别为丢失像素上下左右4个相邻块的临近像素，它们到Y的距离分别为：D1,D2，D3，D4； 

b.对于单边缘块，采用方向插值法。假设判断出的丢失块边缘方向为

对于当前受损块内任一待恢复像素Y，其像素值可用公式(2)表示： 

$Y=\frac{Y_1\&times;D_2+Y_2\&times;D_1}{D_1+D_2}---\left(2\right)$

其中，Y1，Y1分别为沿方向

与相邻块最先相交的像素， 他们到Y的距离分别为D1，D2； 

c.对于多边缘块，采用多方向插值法；假设判断出的多个强边缘方向为K_i（1≤i≤16），这里K_i至少有两种可能值，至多有4种可能值；对于某一方向K_i，方向插值的结果为

则为对于丢失块内任一像素(x,y)，其像素值为可用公式(3)表示： 

$P(x,y=)\frac{\underset{K_i}{\mathrm{\&Sigma;}}{P_K}_i(x,y)\&times;\mathrm{num}\left[K_i\right]}{\underset{K_i}{\mathrm{\&Sigma;}}\mathrm{num}\left[K_i\right]}---\left(3\right)$

d．对于复杂纹理块，采用图像修描法；首先计算所有填充边缘上待修补窗口的优先权，根据结构信息和可信度选出优先权最大的待修补窗口Ψ_p；然后从源区域Φ选出与待修补窗口最匹配的窗口Ψ_q对Ψ_p进行填充，用于匹配的函数如公式(4)所示： 

${\mathrm{\&Psi;}}_q=\arg \underset{{\mathrm{\&Psi;}}_{\hat{q}}\&Element;\mathrm{\&phi;}}{\min }d({\mathrm{\&Psi;}}_p,{\mathrm{\&Psi;}}_{\hat{q}})---\left(4\right)$

这里的d(·)是两个窗口的距离函数，定义为两个窗口里可用像素的绝对误差和（SAD），选出匹配窗口Ψ_q对窗口Ψ_p进行填充完毕后，更新窗口Ψ_p的可信度；接着重新选出优先权最大的待修补窗口迭代上述步骤，直到所有的丢失像素都被填充，修补结束。 

本发明的有益效果表现在：充分利用了每个邻域像素的方向信息，更加全面清晰地对丢失宏块进行分类，根据各自特点自适应地选择合适的差错掩盖方法，获得了更好的恢复效果。 

附图说明

图1是本发明方法的原理说明图； 

图2是实例的测试序列“Foreman”的第13帧在错误率为22%下， DI算法和本发明方法掩盖效果的比较图。其中图(a)为原始图像，图(b)为受损图像，图(c)为用DI算法掩盖效果，图(d)为用本发明方法掩盖效果； 

图3是本发明实例实施的流程图。 

具体实施方式

(1)检测方向信息：首先用Sobel算子对丢失块上下左右四个相邻块作边缘检测，计算得到邻域像素的梯度幅值与方向，用阈值Th_edge对这些像素作第一步的筛选。设置阈值Th_edge=60，只有幅值大于Th_edge的像素，才能参与下一步方向统计；若所有像素都小于Th_edge，则丢失块即被判断为平滑块，直接采用双线性插值法进行差错掩盖；然后把边缘划分成0～180度之间16个方向的边缘分布，每个方向依次编号为：k=1～16,像素方向值在哪个范围之内，该像素的方向即用对应的k值表示； 

(2)统计方向信息：实际操作中，为使方向统计更加准确，只选择最靠近丢失块的8行或8列的像素进行统计；对参与此步骤的所有像素进行方向记录，设置方向数初始值num[k]=0，其中k=1,2,…16，接下来判断选出的像素属于哪个方向k，判断之后则这个方向的方向数num[k]的值加1，每个像素遍历结束后，num[k]就表示丢失块周围所选像素里，方向为k的像素个数；然后通过比较，选出方向数最大的那个方向的num[k]值，记为D_max； 

(3)对丢失的宏块进行分类：对宏块划分类型的依据是边缘数Edge；对每个方向的方向数num[k]作进一步判断，设置阈值Th_num=5； 比较D_max与Th_num大小，若D_max≤Th_num，则说明只有个别像素是边缘像素，整个丢失块还是属于平滑块，记边缘数Edge=0；若D_max>Th_num，则丢失块为边缘块，然后比较每个方向的方向数num[k]与0.65D_max大小，当num[k]>0.65D_max，就说明方向k为有效边缘方向，边缘数Edge加1；每个方向遍历结束后，就可以得到边缘数Edge，用它来估计丢失块类型：当Edge=0的时候，判断它为平滑块；当Edge=1的时候，判断它为单边缘块；当1<Edge<5的时候，判断它为多边缘块；当Edge≥5的时候，判断它为复杂纹理块; 

(4)对分类后的丢失块进行处理： 

a.对于平滑块，采用最简单的双线性加权平均法。对于当前受损块内任一待恢复像素Y，其像素值可以用公式(1)表示： 

$Y=\frac{Y_1\&times;D_2+Y_2\&times;D_1+Y_3\&times;D_4+Y_4\&times;D_3}{D_1+D_2+D_3+D_4}---\left(1\right)$

其中，Y1，Y2，Y3，Y4分别为丢失像素上下左右4个相邻块的临近像素，它们到Y的距离分别为：D1,D2，D3，D4； 

b.对于单边缘块，采用方向插值法。假设判断出的丢失块边缘方向为对于当前受损块内任一待恢复像素Y，其像素值可用公式(2)表示： 

$Y=\frac{Y_1\&times;D_2+Y_2\&times;D_1}{D_1+D_2}---\left(2\right)$

其中，Y1，Y1分别为沿方向

与相邻块最先相交的像素，他们到Y的距离分别为D1，D2； 

c.对于多边缘块，采用多方向插值法；假设判断出的多个强边 缘方向为K_i（1≤i≤16），这里K_i至少有两种可能值，至多有4种可能值；对于某一方向K_i，方向插值的结果为则为对于丢失块内任一像素(x,y)，其像素值为可用公式(3)表示： 

$P(x,y=)\frac{\underset{K_i}{\mathrm{\&Sigma;}}{P_K}_i(x,y)\&times;\mathrm{num}\left[K_i\right]}{\underset{K_i}{\mathrm{\&Sigma;}}\mathrm{num}\left[K_i\right]}---\left(3\right)$

d．对于复杂纹理块，采用图像修描法；首先计算所有填充边缘上待修补窗口的优先权，根据结构信息和可信度选出优先权最大的待修补窗口Ψ_p；然后从源区域Φ选出与待修补窗口最匹配的窗口Ψ_q对Ψ_p进行填充，用于匹配的函数如公式(4)所示： 

${\mathrm{\&Psi;}}_q=\arg \underset{{\mathrm{\&Psi;}}_{\hat{q}}\&Element;\mathrm{\&phi;}}{\min }d({\mathrm{\&Psi;}}_p,{\mathrm{\&Psi;}}_{\hat{q}})---\left(4\right)$

这里的d(·)是两个窗口的距离函数，定义为两个窗口里可用像素的绝对误差和（SAD），选出匹配窗口Ψ_q对窗口Ψ_p进行填充完毕后，更新窗口Ψ_p的可信度；接着重新选出优先权最大的待修补窗口迭代上述步骤，直到所有的丢失像素都被填充，修补结束。 

Claims (1)

1.基于方向信息的自适应空域差错掩盖方法，包括以下步骤：

(1)检测方向信息：首先用Sobel算子对丢失块上下左右四个相邻块作边缘检测，计算得到邻域像素的梯度幅值与方向，用阈值Th_edge对这些像素作第一步的筛选。设置阈值Th_edge=60，只有幅值大于Th_edge的像素，才能参与下一步方向统计；若所有像素都小于Th_edge，则丢失块即被判断为平滑块，直接采用双线性插值法进行差错掩盖；然后把边缘划分成0~180度之间16个方向的边缘分布，每个方向依次编号为：k=1~16,像素方向值在哪个范围之内，该像素的方向即用对应的k值表示；

(2)统计方向信息：实际操作中，为使方向统计更加准确，只选择最靠近丢失块的8行或8列的像素进行统计；对参与此步骤的所有像素进行方向记录，设置方向数初始值num[k]＝0，其中k=1,2,…16，接下来判断选出的像素属于哪个方向k，判断之后则这个方向的方向数num[k]的值加1，每个像素遍历结束后，num[k]就表示丢失块周围所选像素里，方向为k的像素个数；然后通过比较，选出方向数最大的那个方向的num[k]值，记为D_max；

(3)对丢失的宏块进行分类：对宏块划分类型的依据是边缘数Edge；对每个方向的方向数num[k]作进一步判断，设置阈值Th_num=5；比较D_max与Th_num大小，若D_max≤Th_num，则说明只有个别像素是边缘像素，整个丢失块还是属于平滑块，记边缘数Edge=0；若D_max>Th_num，则丢失块为边缘块，然后比较每个方向的方向数num[k]与0.65D_max大小，当num[k]>0.65D_max，就说明方向k为有效边缘方向，边缘数Edge加1；每个方向遍历结束后，就可以得到边缘数Edge，用它来估计丢失块类型：当Edge=0的时候，判断它为平滑块；当Edge=1的时候，判断它为单边缘块；当1<Edge<5的时候，判断它为多边缘块；当Edge≥5的时候，判断它为复杂纹理块;

(4)对分类后的丢失块进行处理：

a.对于平滑块，采用最简单的双线性加权平均法。对于当前受损块内任一待恢复像素Y，其像素值可以用公式(1)表示：

$Y=\frac{Y_1\&times;D_2+Y_2\&times;D_1+Y_3\&times;D_4+Y_4\&times;D_3}{D_1+D_2+D_3+D_4}---\left(1\right)$

其中，Y1，Y2，Y3，Y4分别为丢失像素上下左右4个相邻块的临近像素，它们到Y的距离分别为：D1,D2，D3，D4；

b.对于单边缘块，采用方向插值法。假设判断出的丢失块边缘方

向为

对于当

前受损块内任一待恢复像素Y，其像素值可用公式(2)表示：

$Y=\frac{Y_1\&times;D_2+Y_2\&times;D_1}{D_1+D_2}---\left(2\right)$

其中，Y1，Y1分别为沿方向

与相邻块最先相交的像素，他们到Y的距离分别为D1，D2；

c.对于多边缘块，采用多方向插值法；假设判断出的多个强边缘方向为K_i（1≤i≤16），这里K_i至少有两种可能值，至多有4种可能值；对于某一方向K_i，方向插值的结果为则为对于丢失块内任一像素(x,y)，其像素值为可用公式(3)表示：

$P(x,y=)\frac{\underset{K_i}{\mathrm{\&Sigma;}}{P}_{K_i}(x,y)\&times;\mathrm{num}\left[K_i\right]}{\underset{K_i}{\mathrm{\&Sigma;}}\mathrm{num}\left[K_i\right]}---\left(3\right)$

d．对于复杂纹理块，采用图像修描法；首先计算所有填充边缘上待修补窗口的优先权，根据结构信息和可信度选出优先权最大的待修补窗口Ψ_p；然后从源区域Φ选出与待修补窗口最匹配的窗口Ψ_q对Ψ_p进行填充，用于匹配的函数如公式(4)所示：

${\mathrm{\&Psi;}}_q=\arg \underset{{\mathrm{\&Psi;}}_{\hat{q}}\&Element;\mathrm{\&phi;}}{\min }d({\mathrm{\&Psi;}}_p,{\mathrm{\&Psi;}}_{\hat{q}})---\left(4\right)$

这里的d(·)是两个窗口的距离函数，定义为两个窗口里可用像素的绝对误差和（SAD），选出匹配窗口Ψ_q对窗口Ψ_p进行填充完毕后，更新窗口Ψ_p的可信度；接着重新选出优先权最大的待修补窗口迭代上述步骤，直到所有的丢失像素都被填充，修补结束。

Images