CN101571950B - 基于各向同性扩散和稀疏表示的图像修复方法 - Google Patents

Abstract

本发明公开了一种基于各向同性扩散和稀疏表示的图像修复方法。它包括以下步骤：根据缺损区域周围图像的信息，将图像缺损区域分为均匀区域和复杂区域两类；对均匀区域采用各向同性扩散方法进行修复；对复杂区域采用稀疏表示方法进行修复；将均匀修复区域和复杂修复区域修复结果相融合，得到缺损区域的修复结果，将缺损区域的修复结果替换源图像的缺损部分，得到最终的修复结果图像。本发明的修复结果图像优于当前同类修复方法所产生的结果，且修复速度更快，适合应用于具有复杂纹理和结构特征的真实照片或合成图像的修复。此外，也适用于艺术品的数字修复和影视节目的后期制作。

Description

基于各向同性扩散和稀疏表示的图像修复方法

技术领域

本发明涉及一种图像修复方法，特别涉及一种基于各向同性扩散和稀疏表示的图像修复方法。

背景技术

图像修复是对图像上信息缺损区域进行填充的过程，其目的是恢复有信息缺损的图像，并使观察者无法察觉图像曾经缺损并且已被修复。随着数字图像处理技术的发展，越来越多的领域期望能够对图像进行一定的修改，并且达到人眼觉察不出来的效果。因此，数字图像修复技术成为当前计算机图形学和计算机视觉中的一个研究热点，在文物保护、影视特技制作、多余目标物体剔除(如视频图像中删除字幕、台标等)、图像缩放、图像有损压缩、视频通信的错误隐匿等方面有着广泛的应用前景。

目前，数字图像修复技术主要分为两类：基于结构的图像修复和基于纹理的图像修复。基于结构的图像修复的代表性方法有全变分方法、曲率驱动扩散方法、快速修复方法。全变分方法通过建立图像的先验模型，将图像修复问题转化为求解全变分(Total Variation，TV)泛函极值的问题，其主要不足在于破坏了视觉理论中的连通原理。曲率驱动扩散(Curvature Driven Diffusions，CDD)方法改进了全变分方法中的传导系数，成为了一种比较可靠的修复技术；快速修复法是一种使用去心高斯函数平滑卷积模板对小面积区域进行快速修复的技术。基于结构的修复方法在小面积缺损的图像修复中取得了良好的效果，但无法修复细节，因此在复杂图像的修复效果无法令人满意。

基于纹理的图像修复技术的代表性方法是基于取样合成(exemplar-based synthesis)的纹理生成法，其主要思想是先从缺损区域的边界上选取一个像素点，同时以该点为中心，根据图像的纹理特征，选取大小适合的纹理块，然后在缺损区域的周围寻找与之最相近的纹理匹配块来代替该纹理块。此类技术的缺点在于处理时间较长，在搜索平滑区域候选填充块时容易产生误匹配。

发明内容

为了解决现有基于结构的图像修复技术和基于纹理结构的图像修复技术存在的技术问题，本发明提供一种基于各向同性扩散和稀疏表示相结合的图像修复方法，提高修复结果图像的质量，达到理想的实用效果。

本发明解决上述技术问题的技术方案包括以下步骤：

计算待修复图像缺损区域内每个像素点的纹理分布值，利用自适应门限法产生一个缺损区域二值化阈值，将每个像素点的纹理分布值与阈值进行比较，将纹理分布值高于阈值的像素判定为复杂缺损区域，将纹理分布值低于阈值的像素判定为均匀缺损区域；

对均匀缺损区域进行修复，从均匀缺损区域的边缘开始按由外到内，逆时针的顺序对区域内的每个点使用3×3的各向同性平滑扩散模板进行卷积，按照均匀缺损区域面积，重复卷积过程直至完成均匀区域修复；

对复杂缺损区域进行修复：第一步，产生源图像稀疏表示过完备原子库；第二步，计算复杂缺损区域边缘上所有像素点的优先级，将优先级最高的像素点确定为本次迭代将填充的图像块的中心点；第三步，采用稀疏表示，填充图像块的缺失信息；第四步，更新本次迭代处理的源图像块，回到第二步直到所有的复杂缺损区域完成修复；

将均匀修复区域和复杂修复区域修复结果相融合，得到缺损区域的修复结果，将缺损区域的修复结果替换源图像的缺损部分。

上述的基于各向同性扩散和稀疏表示的图像修复方法中，所述像素点的纹理分布值计算公式如下：

$V\left(j\right)=\sqrt{\frac{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{(G_i-\stackrel{\‾}{G})}^2}{n}}$

其中N是以所述像素点为中心，一定范围内不属于缺损区域的像素点的个数，G_i是这N个像素点中的第i个点的像素值，

是这N个点的像素平均值，j代表缺损区域内的第j个点。

本发明的技术效果在于：本发明对图像缺损区域进行局部纹理分布分析，将图像缺损区域按其复杂程度进行区分，在均匀区域使用各向同性扩散的方法进行修复，不但可以保证均匀区域的平滑特性，还能加快总体的修复速度；在复杂区域使用稀疏表示方法则可以在修复过程中尽可能多的恢复出图像的结构和纹理特征，最后将两部分相融合得到修复结果图像。本发明基于各向同性扩散和稀疏表示的图像修复方法能够充分提高图像修复的性能，对于各种应用系统的后续处理和图像应用具有重要的意义和实用价值。

下面结合附图对本发明作进一步的说明。

附图说明

图1为本发明的流程图。

图2为源图像和缺损区域进行局部纹理分布分析后得到缺损区域分类图。图2中(a)、(b)为源图像，(c)为源图像(a)的缺损区域分类图，(d)为源图像(b)的缺损区域分类图，其中白色部分表示复杂区域，灰色部分表示均匀区域。

图3为本发明实施例的修复结果与其它不同修复方法产生结果的对照。图3中(a)为待修复的源图像，(b)-(d)分别采用快速修复方法、曲率驱动扩散方法和基于取样合成的纹理生成修复方法得到的图像，(e)为采用本发明修复方法得到的图像。

图4为本发明实施例的修复结果与其它不同修复方法产生结果的细节放大对照。图4中(a)、(e)是图3(b)的局部放大图，(b)、(f)是图3(c)的局部放大图，(c)、(g)是图3(d)的局部放大图，(d)、(h)是图3(e)的局部放大图。

具体实施方式

本发明的实施例中，采用基于各向同性扩散和稀疏表示的图像修复方法对图3(a)进行修复，此方法按图1所示流程进行，各部分具体实施细节如下：

1.根据缺损区域周围的图像信息，将缺损区域分类

图像修复技术本质上是根据缺损区域周围的图像信息经过一定处理后进行填充的过程，因此缺损区域周围的图像信息对图像修复有着决定性作用，本发明采用局部纹理分布分析得到缺损区域周围的纹理分布特性，根据缺损区域的不同性质选取不同的方法进行修复。本发明的局部纹理分布分析是以缺损区域内像素点为中心，根据式(1)计算半径6像素的圆形区域内所含纹理信息的过程。

$V\left(j\right)=\sqrt{\frac{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{(G_i-\stackrel{\‾}{G})}^2}{n}}---\left(1\right)$

其中N是圆形区域内不属于缺损区域的像素点的个数，G_i是这N个像素点中的第i个点的像素值，

是这N个点的像素平均值，j代表缺损区域内的第j个点。

完成缺损区域的纹理分布值计算后，本发明使用OTSU自适应门限方法产生二值化阈值对缺损区域进行分类，OTSU假设缺损区域以t为阈值根据各个像素点的纹理分布值划分为两部分I₀、I₁，w₀为I₀所占缺损区域的比例，w₁为I₁所占缺损区域的比例，其计算公式如下：

$T=\arg \underset{t}{\max }g\left(t\right)=w_0{(u_0-u)}^2+w_1{(u_1-u)}^2$

(2)

u＝w₀·u₀+w₁·u₁

式(2)中u₀为I₀的纹理分布值的平均值，u₁为I₁的纹理分布值的平均值，当g(t)取最大值时，其t值即为自适应二值化阈值T。利用T值将源图像(图2(a)、(b))的缺损区域分为两部分，高于阈值的像素点属于复杂区域——图2(c)、(d)的白色部分，低于阈值的像素点属于均匀区域——图2(c)、(d)的灰色部分。

2.采用各向同性扩散的平滑方法对缺损区域的均匀部分进行修复

定义一个3×3大小的高斯去心平滑模板，即中心为零的平滑卷积模板，对均匀缺损区域进行处理。本发明采用的卷积模板w定义如下：

0.0073	0.1768	0.0073
			0.1768	0	0.1768
0.0073	0.1768	0.0073

从均匀缺损区域的边缘像素点开始按照由外到内，逆时针的顺序对每一个像素点使用3×3的各向同性平滑扩散模板w进行卷积，过程如式(3)所示：

$g(x,y)=\underset{i=1}{\overset{3}{\mathrm{\Σ}}}\underset{j=1}{\overset{3}{\mathrm{\Σ}}}w(i,j)f(x+i-2,y+j-2)\{x,y|m(x,y)=1\}---\left(3\right)$

其中w为扩散卷积模板，f(x，y)为源图像，m(x，y)标识缺损区域的二值图像，1为缺损部分，0为完整部分。根据均匀缺损区域的大小重复上述各项同性平滑扩散过程若干次直至修复完成。

3.采用稀疏表示方法对缺损区域的复杂部分进行修复

首先建立源图像稀疏表示过完备原子库，在源图像中选取一块包含缺损区域的矩形区域，其面积为缺损区域的5-9倍，本发明选其大小为n×n的滑动窗口对此矩形区域进行交叠采样，将此矩形区域采样多个n×n大小的图像块，然后去除其中含有缺损区域的图像快，将余下的M个图像块按公式(4)按列展开为n²×1的列向量d，其中n的取值范围是17-31像素，n与待修复图像的大小成正比。然后依照式(5)将列向量组成源图像过完备原子库D。

d＝[m₁₁，m₂₁，L，m_n1，m₂₁，m₂₂，L，m_n2，L，m_n1，m_n2，L m_nn]′(4)

D＝[d₁，d₂，L，d_M]                                           (5)

修复顺序对图像修复结果具有非常大的影响，本发明结合缺损区域置信度与图像的结构特征来确定图像修复顺序。对每一个缺损区域的边界线上的点，计算优先权值以确定修复的先后顺序，这一优先权值由两方面决定，一是像素点周围结构线的强度和方向，二是周围未缺损像素点的数量，其计算公式如下：

P(p)＝D(p)×C(p)                                              (6)

$D\left(p\right)=\frac{\left|{\▿I}_p^{\⊥}\mathrm{gn}\left(p\right)\right|}{\mathrm{\α}}---\left(7\right)$

$C\left(p\right)=\frac{{\mathrm{\Σ}}_{q\∈{\mathrm{\Ψ}}_p\∩\mathrm{\Φ}}r\left(q\right)}{\mathrm{size}\left({\mathrm{\Ψ}}_p\right)}---\left(8\right)$

其中Φ表示图像完整区域，Ω表示缺损区域，p为缺损区域的边界线上一点。D(p)描述前边界线点p周围的结构信息，其中表示过p点的等照度线，它与p点的梯度

垂直，n(p)表示边界线

在p点的法线强度，α为归一化因子(一般取255)。C(p)表示当前边界线点p周围一定区域内未缺损像素所占的比值，这个区域的面积一般与前文提到的滑动窗口相同，其中

代表未缺损像素的总数，size(Ψ_p)表示当前边界线上点p周围区域的面积。

优先级计算完成后，得到优先级最高的像素点，选取以此点为中心大小为n×n的图像块，将其按列展开成为n²×1的列向量y，由于含有缺损像素，因此列向量y中的若干行为空，去除列向量y和过完备原子库D中的这些行得到

和然后依照式(9)求解

在上的稀疏表示系数x，

其中||g||₀表示零范数。式(9)是一个NP-hard问题，一般采用Mallat和Zhang提出的正交匹配寻踪(Orthogonal Matching Pursuit，OMP)求解。求得图像块在源图像过完备原子库的稀疏表示系数x后将源图像过完备原子库左乘此系数即D·x可得到经修复的列向量

最后将列向量

还原为n×n的图像块。更新源图像重新计算修复优先级并修复下一个优先级最高的图像块，直到复杂缺损区域修复完成。

4.生成最终修复结果图像

将均匀修复区域和复杂修复区域的修复结果相融合，得到缺损区域的完整修复结果，将完整修复结果替换源图像的缺损部分得到最终的修复结果。

将本发明所提供的方法所得到的修复结果与其他修复方法所得到的修复结果进行比较。图3和图4给出了实验结果，图3中(a)为待修复的源图像，(b)为快速修复方法得到的结果，(c)为曲率驱动扩散方法得到的结果，(d)为基于取样合成的纹理生成修复方法得到的图像，(e)为本发明修复方法得到的图像。图4是图3的细节放大对照，其中(a)、(e)是图3(b)的细节放大图，(b)、(f)是图3(c)的细节放大图，(c)、(g)是图3(d)的细节放大图，(d)、(h)是图3(e)的细节放大图。

结果表明本发明对图像的结构和纹理缺损的修复都取得了较好的结果，优于其他同类图像修复方法。

Claims (2)

1.一种基于各向同性扩散和稀疏表示的图像修复方法，包括以下步骤：

计算待修复图像缺损区域内每个像素点的纹理分布值，利用自适应门限法产生一个缺损区域二值化阈值，将每个像素点的纹理分布值与阈值进行比较，将纹理分布值高于阈值的像素判定为复杂缺损区域，将纹理分布值低于阈值的像素判定为均匀缺损区域；

对均匀缺损区域进行修复，从均匀缺损区域的边缘开始按由外到内，逆时针的顺序对区域内的每个点使用3×3的各向同性平滑扩散模板进行卷积，按照均匀缺损区域面积，重复卷积过程直至完成均匀区域修复；

对复杂缺损区域进行修复：第一步，产生源图像稀疏表示过完备原子库；第二步，计算复杂缺损区域边缘上所有像素点的优先级，将优先级最高的像素点确定为本次迭代将填充的图像块的中心点；第三步，采用稀疏表示，填充图像块的缺失信息；第四步，更新本次迭代处理的源图像块，回到第二步直到所有的复杂缺损区域完成修复；

将均匀修复区域和复杂修复区域修复结果相融合，得到缺损区域的修复结果，将缺损区域的修复结果替换源图像的缺损部分。

2.根据权利要求1所述的基于各向同性扩散和稀疏表示的图像修复方法，所述像素点的纹理分布值计算公式如下：

$V\left(j\right)=\sqrt{\frac{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{(G_i-\stackrel{\‾}{G})}^2}{n}}$

其中N是以所述像素点为中心，一定范围内不属于缺损区域的像素点的个数，G_i是这N个像素点中的第i个点的像素值，

是这N个点的像素平均值，j代表缺损区域内的第j个点。

Images