CN102142132A - 基于模块的图像修复方法 - Google Patents

Abstract

本发明涉及一种基于模块的图像修复方法，该方法包括：选择待修复目标区域；计算待修复目标区域内各像素点对应的具有预定大小的待修复模块的纹理特征统计值，根据计算得到的纹理特征统计值调整各待修复模块的大小；利用置信度约束和数据项约束计算各待修复模块的优先级；在图像已知区域内寻找与具有最高优先级的待修复模块最相似的模块，将其中全部像素点填充入该待修复模块中，同时更新本次填充的待修复模块内被填充像素的置信度约束；采用散度约束下的重叠区域图像融合减弱本次填充的待修复模块填充后的模块接缝效应；对填充后待修复目标区域重复上述步骤，直至待修复目标区域内所有像素被填满。

Description

基于模块的图像修复方法

技术领域

本发明属于图像处理和计算机视觉领域，涉及一种图像修复方法，具体地说，涉及一种基于模块的能够同时有效保持图像中几何特征和纹理信息的图像修复方法。

背景技术

随着数字图像处理技术的发展，填充图像中某些区域的缺失信息，或移除图像中某些区域仅保留需要的信息，使图像满足人眼视觉系统要求的工作成为研究热点。这种修补缺失信息或移除目标区域的图像处理技术称为图像修复。图像中信息缺失的区域或待移除的区域统称为图像中的待修复目标区域，图像中的其它区域称为信息已知区域。

Bertalmio提出一种基于信息传播的图像修复模型(参考Bertalmio M.2000.Imageinpainting，ACM SIGGRAPH’00，pp.417-424，July 2000)。模型利用偏微分方程(PartialDifferential Equation，PDE)的各向异性扩散特性沿边缘方向进行不同强度的扩散以修复待修复目标区域，Chan等在此研究基础上提出了总体变分(Total Variation，TV)修复模型(参考Chan T.2001.The digital TV filter and nonlinear denoising，IEEE Trans.Image Process.，10(2)：231-241，2001)以及CDD(Curvature Driven Diffusion)模型(参考Chan T.2001.Non-textureinpainting by curvature-driven diffusions(CDD)，J.Visual Comm.Image Representation，12(4)：4736-449.)。PDE修复模型基于图像几何特征通过计算像素间灰度差值各向异性将信息已知区域的信息向待修复的目标区域内扩散，从而实现图像修复。PDE修复模型的处理是基于图像中的已知几何特征进行的，因此PDE修复模型具有很好的几何特征保持性能。但PDE修复模型仅基于局部的像素值计算扩散方向及扩散强度，因此PDE修复模型不能保持图像中的纹理特征；PDE修复模型只适合修复包含较小目标区域的图像，当待修复的目标区域较大时，区域中心的信息很难由已知区域的信息推测，因此PDE修复模型的修复结果会产生很大的失真。

Efros提出一类基于模块的纹理分析模型(参考Efros A.1999.Texture Synthesis byNon-parametric Sampling，IEEE Int.Conf.Computer Vision)，与PDE修复模型相比，基于模块的纹理分析模型通过将模块中的已知信息复制到待修复目标区域，复原待修复的图像。这种处理方法以“模块”为基本处理单元，可以保持图像中的基本纹理特征，同时可以修复包含较大缺失信息区域的图像。Bornard等首先将基于模块的方法应用于自然场景图像修复(参考BornardR.2002.Missing data correction in still images and image sequences，ACM Int.Conf.Multimedia)，并证明基于模块的模型对自然场景图像的修复效果优于PDE模型。基于模块的模型的修复过程为：

1.确定目标区域：手动选择待修复目标区域，区域内全部像素点的值视为未知；

2.修复优先级：按照从左至右、从上到下的顺序处理待修复目标区域内的各模块；

3.确定模块：将待修复目标区域左上角的第一个像素点对应的固定大小的模块(例如模块大小设为3x3)确定为当前的待修复模块。待修复目标区域边界位置的像素点对应的模块中，包含部分图像已知信息，而待修复目标区域内部的模块在未修复时不包含任何已知信息；

4.模块匹配：在图像信息已知区域内搜索与当前待修复模块中包含的已知信息最为匹配的模块；

5.模块填充：将最为匹配的模块填充入待修复目标区域的当前待修复模块的位置，完成对该模块的修复，此时更新待修复目标区域内的像素值；

6.循环执行步骤3-5，至待修复目标区域内全部像素点值为已知时，修复过程结束。

基于模块的模型在模块的搜索、匹配以及填充过程中，根据像素值进行操作并不受图像已知几何特征的约束，因此其处理结果并不能很好的保持图像中的几何特征。

为了解决基于模块的模型无法保持图像中的几何特征的问题，Criminisi等提出通过约束模块修复优先级的方式将信息已知区域中的几何特征扩展入待修复目标区域(参考CriminisiA.2004.Region filling and object removal by exemplar-based image inpainting.IEEE Trans.Image Process.13(9)：1200-1212)。Criminisi的方法执行的修复步骤与传统的基于模块模型相同，只是在步骤2中，不再按照从左至右、从上到下的顺序处理待修复模块，而是对各个待修复模块赋予了不同的修复优先级，根据优先级确定待修复模块的修复顺序。优先级由待修复模块中包含的已知信息量(称为置信度约束)和包含的几何特征强度(称为数据项约束)决定。Criminisi的方法改进了基于模块模型的修复效果，但是由于优先级的计算方式较简单；数据项约束的计算方式仅考虑信息已知区域内像素沿等照度线方向的几何特征，导致沿等照度线方向的待修复模块都具有很高的优先级，因此，在处理复杂几何图像时修复结果并不理想。

此外，虽然相比PDE模型，基于模块的模型能较好的保持图像中的纹理特征，但由于待修复模块的大小固定，并不能完整的复原不同类型的纹理特征：例如当纹理特征的重复周期较大时，较小的模块并不能真实复原图像信息。

另外，由于图像的修复是通过填充模块实现的，修复后的图像中模块间的接缝是可见的，修复结果并不真实自然。

发明内容

为克服以上已有技术的不足之处，本发明提出一种基于模块的能够有效保持图像中几何特征和纹理信息的修复方法。该方法根据待修复目标区域的纹理特征自适应调整待修复模块的大小，在亚像素级精度下利用PDE的几何特性约束待修复模块的修复优先级，同时采用散度约束下的重叠区域图像融合技术对填充的模块进行减弱接缝效应的处理，使得对包含纹理信息和几何特征的图像修复结果更加真实自然。

本发明提供一种基于模块的图像修复方法，该方法包括以下步骤：

步骤1：选择待修复目标区域；

步骤2：计算待修复目标区域内各像素点对应的具有预定大小的待修复模块的纹理特征统计值，根据计算得到的纹理特征统计值调整各待修复模块的大小；

步骤3：利用置信度约束和数据项约束计算各待修复模块的优先级；

步骤4：在图像已知区域内寻找与具有最高优先级的待修复模块最相似的模块，将其中全部像素点填充入该待修复模块中，同时更新本次填充的待修复模块内被填充像素的置信度约束；

步骤5：采用散度约束下的重叠区域图像融合减弱本次填充的待修复模块填充后的模块接缝效应；

对填充后待修复目标区域重复步骤2至步骤5，直至待修复目标区域内所有像素被填满。

优选地，所述纹理特征统计值计算公式如下：

$T\left(\mathrm{\ξ}\right)=\underset{\mathrm{\ξ}\∈{\mathrm{\Ψ}}_{\mathrm{\ξ}}}{\mathrm{\Σ}}g(\mathrm{\ξ}-u_0)f(u\left(\mathrm{\ξ}\right)-\mathrm{\μ})/\left|\mathrm{\Ξ}\right|$

其中，Ψ_ξ为像素点ξ对应的待修复模块，f表示像素点ξ的灰度值与待修复模块Ψ_ξ全部像素灰度值平均值之间的光度差异，高斯函数g衡量ξ与u₀的空间位置关系，

表示待修复模块内像素数目。

优选地，所述根据计算得到的纹理特征统计值调整各待修复模块的大小的步骤包括：

预先设定n个不同大小的纹理特征统计阈值：λ₁＜......＜λ_n，以及与该n个阈值大小相应的n+1个模块大小：

将每个待修复模块的纹理特征统计值与阈值进行比较，根据比较结果将待修复模块大小调整为相应的模块大小。

优选地，所述数据项约束是通过在亚像素级精度内计算待修复模块边缘位置像素4邻域的半点差分平均梯度值得到的。

优选地，所述在图像已知区域内寻找与具有最高优先级的待修复模块最相似的模块进一步包括，使用相似度函数进行模块间的相似度匹配，该相似度函数为：

${\mathrm{\Ψ}}_{\stackrel{\‾}{q}}=\arg \underset{{\mathrm{\Ψ}}_q\∈\mathrm{\Φ}}{\min }d({\mathrm{\Ψ}}_{\mathrm{\ξ}},{\mathrm{\Ψ}}_q)$

其中Ψ_q为图像已知区域内的图像模块，Ψ_ξ为待修复模块，d(Ψ_ξ，Ψ_q)表示模块间的欧式距离，模块间的欧式距离为对应像素点间欧式距离的总和，像素点间欧式距离表示为：

$d(x,y)=L_2^2={|x_1-x_2|}^2+{|y_1-y_2|}^2$

其中(x₁，y₁)，(x₂，y₂)分别对应于待修复模块Ψ_ξ和图像已知区域内的图像模块Ψ_q中的已知像素点。

优选地，所述采用散度约束下的重叠区域图像融合减弱本次填充的待修复模块填充后的模块接缝效应进一步包括，对已填充完毕的待修复模块在已知信息约束下进行插值操作，其计算公式为：

$\underset{u}{\min }{\∫\∫}_{\mathrm{\Ω}}|\▿u|$ s.t.u|_Ω′＝u^*-W|_Ω′

其中Ω′为已填充完毕的待修复模块与图像已知区域重叠的部分，W为图像已知区域内的图像信息，u^*为已填充完毕的待修复模块

内包含的信息，u为插值控制参数。

本发明的有益效果：

本发明充分考虑到“保持图像中的纹理信息”、“保持图像中几何特征”和“减弱模块间的接缝效应”。

(1)本发明通过计算待修复目标区域内的纹理特征统计值，判断不同的纹理类型，自适应确定待修复模块的大小，从而合理修复图像内不同类型的纹理特征；

(2)本发明通过计算目标区域内待修复模块亚像素级精度内边缘位置像素的平均梯度值和其包含的已知信息像素点的数量，来确定待修复模块的修复优先级，平均梯度值较大的待修复模块，表明其包含较多的边缘等几何特征，具有较高的修复优先级，从而保持修复图像中的几何特征；

(3)本发明采用散度约束下的重叠区域图像融合技术减弱模块填充带来的接缝效应，在总体变分空间内实现融合，可以在平滑图像的同时保持图像中的几何特征；

(4)本发明既可用于填充图像缺失信息的区域，也可用于去除图像中的目标物，适用于大尺寸待修复目标区域的处理。本发明通过调整待修复模块的大小和修复顺序实现对自然场景图像的修复，修复过程简单，处理速度很快，从而保证模型具有很好的实用性。

附图说明

图1示出本发明所涉及到的符号定义；

图2示出根据本发明实施例的基于模块的图像修复方法流程图；

图3示出根据现有技术与根据本发明实施例的图像修复实验结果对比图；

图4示出像素级精度9邻域梯度差分图和亚像素级精度平均梯度差分图；

图5示出根据现有技术和根据本发明实施例的图像修复过程对比图；

图6示出根据现有技术和根据本发明实施例的图像修复实验结果对比图；

图7示出根据本发明实施例的图像修复实验结果；

具体实施方式

下面结合附图和具体实施方式对本发明作进一步描述。

首先定义一些符号。如图1所示：对于待修复图像I，定义待修复目标区域为Ω，也称为未知区域。待修复目标区域Ω的边界表示为

已知区域为Φ，Φ＝I-Ω，是填充待修复目标区域Ω的采样空间。另外定义ξ为待修复目标区域内的任意一像素点，Ψ_ξ是像素点ξ对应的待修复模块，|Ψ_ξ|为待修复模块的大小。显然，随着修复的进行，已知区域Φ不断地扩大，而待修复目标区域Ω将变小，边界也随之改变。

如图2所示，本实施例包括以下步骤：

步骤1：选定图像中待修复目标区域，优选为人工选定。

步骤2：为待修复目标区域内各像素点分别对应初始大小为

的待修复模块，计算各待修复模块的纹理特征统计值，并根据该值调整各待修复模块的大小，具体过程如下：

第一步，计算待修复目标区域内各待修复模块的纹理特征统计值，表示为：

$T\left(\mathrm{\ξ}\right)=\underset{\mathrm{\ξ}\∈{\mathrm{\Ψ}}_{\mathrm{\ξ}}}{\mathrm{\Σ}}g(\mathrm{\ξ}-u_0)f(u\left(\mathrm{\ξ}\right)-\mathrm{\μ})/\left|\mathrm{\Ξ}\right|---\left(1\right)$

其中，ξ为待修复目标区域内的任意像素点，Ψ_ξ为像素点ξ对应的待修复模块，u(ξ)为像素点ξ的灰度值，μ为像素点ξ对应的待修复模块包含的全部像素的灰度平均值，f表示像素点ξ的灰度值与像素点ξ对应的待修复模块全部像素灰度平均值之间的光度差异，u₀为像素点ξ对应的待修复模块中心位置像素，g为高斯函数，它的作用是衡量ξ与u₀的空间位置关系；

表示像素点ξ对应的待修复模块内的像素数目。平滑区域像素间差异很小，T(ξ)较小；纹理区域像素间差异大，T(ξ)大。因此，可以使用统计值T(ξ)表征待修复模块的纹理强度。

第二步，根据式(1)得到的纹理特征统计值动态调整各待修复模块大小。

以像素点ξ对应的待修复模块Ψ_ξ为例，根据其纹理特征统计值T(ξ)的大小，调整待修复模块Ψ_ξ的大小|Ψ_ξ|的计算过程为：

λ₁，λ₂为根据经验值预先设定的纹理特征统计的阈值，为了简化过程加快计算速度，本实施例优选选用两个阈值，根据纹理特征统计值的大小，将待修复模块自动调整为合适的大小，

即为本算法动态采用的待修复模块大小。

图3示出根据现有技术与根据本发明实施例的图像修复实验结果；其中图3(a)为待修复图像，图3(b)为选定了待修复目标区域的待修复图像，图3(c)与图3(d)分别采用了传统算法和采用了本实施例所述的根据阈值动态调整待修复模块大小的图像修复方法。由图3(d)的实验结果可以看出，根据阈值动态调整待修复模块大小的图像修复方法的处理效果很好，目标区域被合理的填充为草地的纹理特征。

步骤3：计算各调整后待修复模块的修复优先级：

像素点ξ对应的调整后待修复模块Ψ_ξ的修复优先级由下式确定：

P(ξ)＝C(ξ)D(ξ)                                                (2)

C(ξ)为Ψ_ξ的置信度约束，表示Ψ_ξ中包含的已知像素的数量：

$C\left(\mathrm{\ξ}\right)={\mathrm{\Σ}}_{q\∈{\mathrm{\Ψ}}_{\mathrm{\ξ}}\∩(I-\mathrm{\Ω})}C\left(q\right)/\left|{\mathrm{\Ψ}}_{\mathrm{\ξ}}\right|---\left(3\right)$

其中|Ψ_ξ|为像素点ξ对应的调整后待修复模块Ψ_ξ的大小，q为调整后待修复模块Ψ_ξ中的像素。由式(3)，包含较多已知像素的待修复模块具有较高修复优先级，即待修复目标区域边缘位置的像素点对应的待修复模块具有较高的修复优先级。

D(ξ)为数据项约束，表示调整后待修复模块Ψ_ξ中是否包含几何特征。图像中边缘等特征位置的像素具有较大梯度值，因此本发明使用调整后待修复模块边缘位置像素的平均梯度值表示D(ξ)。

计算中心像素点的梯度值应参照其9邻域内的像素值，在图像修复模型中，待修复目标区域边缘位置像素9邻域内的像素值大部分为未知，因此本发明在亚像素级精度内计算像素4邻域的半点差分平均梯度值：

图4示出像素级精度9邻域梯度差分图和亚像素级精度平均梯度差分图，其中实线标记的为9领域像素点，虚线标记的为4领域像素点。根据图4(b)计算半点差分，以e点方向为例：

图5示出根据现有技术和根据本发明实施例的图像修复实验过程对比图。其中，图5(a)为理想修复结果，图5(b)为选定了待修复目标区域的待修复图像，图5(c1)至(c5)示出未约束修复优先级的图像处理过程；图5(d1)至(d5)示出采用传统算法约束修复优先级的图像处理过程；图5(e1)至(e5)示出采用本实施例所述的基于亚像素级精度约束修复优先级的图像处理过程。由图5的实验结果可以看出，本发明提出的方法与传统算法相比，能够更好的保持图像中的几何特征，修复效果优于其他模型。

步骤4：根据P(ξ)值确定的各调整后待修复模块的修复优先级，将优先级最高的模块作为当前处理的待修复模块，对其进行修复，过程如下：

第一步，在图像已知区域内寻找与当前处理的待修复模块最相似的模块使用相似度函数进行模块间的相似度匹配，相似度函数为：

${\mathrm{\Ψ}}_{\stackrel{\‾}{q}}=\arg \underset{{\mathrm{\Ψ}}_q\∈\mathrm{\Φ}}{\min }d({\mathrm{\Ψ}}_{\mathrm{\ξ}},{\mathrm{\Ψ}}_q)---\left(6\right)$

其中Ψ_q为图像已知区域内的图像模块，Ψ_ξ为包含部分已知信息的调整后待修复模块，d(Ψ_ξ，Ψ_q)表示模块间的欧式距离，模块间的欧式距离为对应像素点间欧式距离的总和，像素点间欧式距离表示为：

$d(x,y)=L_2^2={|x_1-x_2|}^2+{|y_1-y_2|}^2---\left(7\right)$

其中(x₁，y₁)，(x₂，y₂)分别对应于当前处理的待修复模块Ψ_ξ和图像已知区域内的图像模块Ψ_q中的已知像素点。

第二步，确定已知区域内与当前处理的待修复模块最相似的模块后，依次拷贝最相似的模块

的像素灰度值到Ψ_ξ相应位置中，最相似的模块

中的线性结构和纹理信息同时拷贝，可以保持图像的纹理特征。一次修复过程结束后，当前处理的待修复模块变为已知，当前处理的待修复模块Ψ_ξ更新为已填充完毕的待修复模块

同时更新置信度函数：

$C\left(\mathrm{\ξ}\right)=C\left(\stackrel{\‾}{\mathrm{\ξ}}\right),$ $\∀\mathrm{\ξ}\∈{\mathrm{\Ψ}}_{\stackrel{\‾}{\mathrm{\ξ}}}\∩\mathrm{\Ω}$

步骤5：对已填充完毕的待修复模块

进行减弱接缝效应的处理，即对已填充完毕的待修复模块在已知信息约束下进行插值操作，计算公式为：

$\underset{u}{\min }{\∫\∫}_{\mathrm{\Ω}}|\▿u|$ s.t.u|_Ω′＝u^*-W|_Ω′                                        (9)

其中Ω′为已填充完毕的待修复模块

与图像已知区域重叠的部分，W为图像已知区域内的图像信息，u^*为已填充完毕的待修复模块内包含的信息，u为插值控制参数。式(9)的操作目的是使重叠区域内，填充入的信息与原始的已知信息间插值的散度算子结果最小。式(9)的操作在总体变分空间内实现，因此在平滑图像的同时可以有效保持边缘特征。

每执行一次模块填充都要对重叠区域进行散度约束的总体变分插值以保证重叠区域与相邻像素的融合。减弱接缝效应的处理后，修复图像中颜色强度变化及纹理特征间的接缝不可见。

步骤6：重复执行步骤2至步骤5，直到Ω内全部像素值更新为已知，修复过程完毕。

图7示出采用上述步骤的根据本发明实施例的图像修复实验结果，待修复图像中的目标物被移除，修复结果自然真实。

以上借助实施例对本发明进行了具体说明。应当理解，本发明的上述描述是示例性的而非限制性的。本领域技术人员通过阅读本说明书，在不偏离本发明精神的情况下可以对本发明进行修改和变型。本发明的保护范围仅由所附权利要求限定。

Claims (6)

1.一种基于模块的图像修复方法，其特征在于，包括以下步骤：

步骤1：选择待修复目标区域；

步骤2：计算待修复目标区域内各像素点对应的具有预定大小的待修复模块的纹理特征统计值，根据计算得到的纹理特征统计值调整各待修复模块的大小；

步骤3：利用置信度约束和数据项约束计算各待修复模块的优先级；

步骤4：在图像已知区域内寻找与具有最高优先级的待修复模块最相似的模块，将其中全部像素点填充入该待修复模块中，同时更新本次填充的待修复模块内被填充像素的置信度约束；

步骤5：采用散度约束下的重叠区域图像融合减弱本次填充的待修复模块填充后的模块接缝效应；

对填充后待修复目标区域重复步骤2至步骤5，直至待修复目标区域内所有像素被填满。

2.根据权利要求1所述的基于模块的图像修复方法，其特征在于，所述纹理特征统计值计算公式如下：

$T\left(\mathrm{\ξ}\right)=\underset{\mathrm{\ξ}\∈{\mathrm{\Ψ}}_{\mathrm{\ξ}}}{\mathrm{\Σ}}g(\mathrm{\ξ}-u_0)f(u\left(\mathrm{\ξ}\right)-\mathrm{\μ})/\left|\mathrm{\Ξ}\right|$

其中，Ψ_ξ为像素点ξ对应的待修复模块，f表示像素点ξ的灰度值与待修复模块Ψ_ξ全部像素灰度值平均值之间的光度差异，高斯函数g衡量ξ与u₀的空间位置关系，

表示待修复模块内像素数目。

3.根据权利要求1所述的基于模块的图像修复方法，其特征在于，所述根据计算得到的纹理特征统计值调整各待修复模块的大小的步骤包括：

预先设定n个不同大小的纹理特征统计阈值：λ₁＜......＜λ_n，以及与该n个阈值大小相应的n+1个模块大小：

将每个待修复模块的纹理特征统计值与阈值进行比较，根据比较结果将待修复模块大小调整为相应的模块大小。

4.根据权利要求1所述的基于模块的图像修复方法，其特征在于，所述数据项约束是通过在亚像素级精度内计算待修复模块边缘位置像素4邻域的半点差分平均梯度值得到的。

5.根据权利要求1所述的基于模块的图像修复方法，其特征在于，所述在图像已知区域内寻找与具有最高优先级的待修复模块最相似的模块进一步包括，使用相似度函数进行模块间的相似度匹配，该相似度函数为：

${\mathrm{\Ψ}}_{\stackrel{\‾}{q}}=\arg \underset{{\mathrm{\Ψ}}_q\∈\mathrm{\Φ}}{\min }d({\mathrm{\Ψ}}_{\mathrm{\ξ}},{\mathrm{\Ψ}}_q)$

其中Ψ_q为图像已知区域内的图像模块，Ψ_ξ为待修复模块，d(Ψ_ξ，Ψ_q)表示模块间的欧式距离，模块间的欧式距离为对应像素点间欧式距离的总和，像素点间欧式距离表示为：

$d(x,y)=L_2^2={|x_1-x_2|}^2+{|y_1-y_2|}^2$

其中(x₁，y₁)，(x₂，y₂)分别对应于待修复模块Ψ_ξ和图像已知区域内的图像模块Ψ_q中的已知像素点。

6.根据权利要求1所述的基于模块的图像修复方法，其特征在于，所述采用散度约束下的重叠区域图像融合减弱本次填充的待修复模块填充后的模块接缝效应进一步包括，对已填充完毕的待修复模块

在已知信息约束下进行插值操作，其计算公式为：

$\underset{u}{\min }{\∫\∫}_{\mathrm{\Ω}}|\▿u|$ s.t.u|_Ω′＝u^*-W|_Ω′

其中Ω′为已填充完毕的待修复模块与图像已知区域重叠的部分，W为图像已知区域内的图像信息，u^*为已填充完毕的待修复模块

内包含的信息，u为插值控制参数。

Images