CN107358581A

CN107358581A - 快速图像修复方法

Info

Publication number: CN107358581A
Application number: CN201710462742.XA
Authority: CN
Inventors: 黄杰; 闵溪青; 曹山山; 卫锦; 朱仟; 万弃寒; 张云龙
Original assignee: Southeast University
Current assignee: Southeast University
Priority date: 2017-06-19
Filing date: 2017-06-19
Publication date: 2017-11-17

Abstract

本发明公开了一种快速图像修复方法，包括如下步骤：1、确定图像损坏部分的像素值范围U，将图像中的像素点分为已知点和未知点，所述未知点为图像中像素值在U内的像素点，已知点为像素值在U外的像素点；图像中所有未知点组成集合Ω；2、从图像左上角的像素点开始，依次遍历每一个像素，如果该像素属于集合Ω且满足修复条件，则对该像素进行修复，并将所述像素从集合Ω中移除；3、检查集合Ω是否为空，如果为空，修复完成；如果不为空，继续执行步骤2直至集合Ω为空，即所有像素点得到修复。该方法能够在保持修复效果的同时提高修复效率。

Description

快速图像修复方法

技术领域

本发明属于图像处理领域，具体涉及一种针对小尺度损坏图像的修复方法。

背景技术

数字图像修复是图像处理领域的重要分支之一，这一概念由Bertalmio等人于2000年明确提出，是指利用已知信息对图像中缺损区域进行填充的一种技术。数字图像修复技术是对计算机图形学、模式识别、人工智能、机器学习等多门学科的综合应用，其研究具有重要的理论和现实意义。目前该技术已经在修复破损的画作、照片，去除图像或视频中的特定目标等方面得到了应用。典型的图像修复技术按照图像的缺损程度主要分为两类：适用于大尺度缺损的图像修复方法和适用于小尺度缺损的图像修复方法。

对于大尺度缺损图像，一般使用基于纹理合成(Texture Synthesis)的修复方法，该方法基于图像的纹理体征，将已知区域中与待修复区域纹理较为相似的图像块复制到待修复区域。纹理合成的过程是根据已知图像生成一个新的纹理图像，新生成的纹理图像不能是已知图像纹理的简单复制，但要与样本纹理在视觉上保持相似的效果。其关键问题是纹理块的填充次序问题和最佳匹配块的搜索问题，一般使用SSD(sum of squareddifferences)匹配准则。目前纹理合成修复技术中代表性的成果是Criminisi等人提出的算法，在修复大尺度缺损图像时可以取得较为满意的效果，但在优先权计算方面还存在一定的不足，容易造成偏差的延续。总的来说，基于纹理合成的修复算法简单、速度较快，能够修复大面积的图像区域，对图像纹理细节信息修复效果较好，但对复杂结构修复的效果比较差。

对于小尺度缺损图像，传统修复方法一般基于图像结构，即基于变分方程，包括BSCB(Bertalmio-Sapiro-Caselles-Bellester，BSCB)模型、整体变分(Total Variation，TV)模型、基于曲率的扩散(Curvature-Driven Diffusions，CDD)模型等。这类算法一般以偏微分方程(Partial Differential Equation，PDE)为基础，基于偏微分方程的图像处理方法具有良好的数学基础，算法稳定性较高。其求解过程需要进行大量较为复杂的迭代计算，导致修复速度很慢，适合于修复小尺度的裂纹、划痕等，但对大尺度纹理缺损或结构较复杂的待修复区域，会产生一定的模糊效果，修复效果不好。

由于基于变分方程的修复算法耗时较长，研究者又提出了一些快速修复方法。2001年Oliveira提出了一种快速修复算法，其中心思想是通过高斯卷积核对待修复区域进行重复卷积，将待修复区域的边缘信息扩散到区域内部，这个方法几乎没有保持边缘的能力。在此基础上，Telea于2004年提出了基于快速行进法(Fast Matching Method，FMM)的修复方法，该算法对待修复点邻域中所有已知像素点进行加权平均获得的像素值。在加权平均过程中定义了距离、水平集和方向3个权重因子，距离因子使距离待修复点较近的像素点对待修复点像素值做出更大贡献，水平集因子使与待修复点的初始待修复边界距离越近的像素点具有更大的权重，方向因子保证了与待修复点等照度方向夹角越小的像素点具有更大权值。与基于变分方程的修复方法相比，基于快速行进法的修复方法实现相对简单、修复速度较快。

与基于变分方程的修复方法相比，快速行进法实现相对简单、修复速度较快。对于待修复点q邻域N_ε(p)中所有已知像素点i，定义一个权重函数w(q,i)，则对邻域中所有已知像素点进行加权平均获得点q的像素值：

Telea等人将权重函数w(q,i)定义为距离因子dst、水平集因子lev和方向因子dir共同作用的结果：

w(q,i)＝dst(q,i)·lev(q,i)·dir(q,i)

其中

距离因子dst使距离点q较近的像素点对点q的像素值I(q)做出更大贡献，水平集因子lev使与点q的初始待修复边界距离越近的像素点具有更大的权重，方向因子dir保证了与点q等照度方向夹角越小的像素点具有更大权值。

以上内容说明了修复一个缺损点的方法，为修复整个Ω区域，快速行进法中定义一个距离T，根据待修复区域边界内所有像素点的T值，按照从小到大的顺序选择像素点进行修复，直至修复整个区域。其中T值可由Eikonal方程得到：

T值表示Ω区域中像素点到初始边界距离。使用逆向差分法求解：

max(D^-xT，-D^+xT，0)²+max(D^-yT，-D^+yT，0)²＝1

上式中D^-xT(i,j)＝T(i,j)-T(i-1,j)，D^+xT(i,j)＝T(i+1,j)-T(i,j)，D^-yT(i,j)＝T(i,j)-T(i,j-1)，D^+yT(i,j)＝T(i,j+1)-T(i,j)，其中T(i,j)由一个solve函数获得。该算法通过更新T值，确保始终先修复距离已知像素区域最近的点。

针对小尺度缺损图像修复中去除图像中字符、修复划痕的应用，在这一类应用中单个待修复区域面积很小，一般只有几十个像素且存在多个离散待修复点。实验过程中发现，在这种场景下快速行进算法的修复过程存在大量冗余计算，消耗修复时间。

发明内容

发明目的：针对现有技术中存在的问题，本发明公开了一种快速图像修复方法，该方法能够在保持修复效果的同时提高修复效率。

技术方案：本发明采用如下技术方案：一种快速图像修复方法，包括如下步骤：

(1)确定图像损坏部分的像素值范围U，将图像中的像素点分为已知点和未知点，所述未知点为图像中像素值在U内的像素点，已知点为像素值在U外的像素点；图像中所有未知点组成集合Ω；

(2)从图像左上角的像素点开始，依次遍历每一个像素，如果该像素属于集合Ω且满足修复条件，则对该像素进行修复，并将所述像素从集合Ω中移除；

(3)检查集合Ω是否为空，如果为空，修复完成；如果不为空，继续执行步骤(2)直至集合Ω为空，即所有像素点得到修复。

优选地，步骤(2)包括如下步骤：

(2.1)设损坏图像的大小为W×H，当前像素点为p(i,j)，0≤i<W，0≤j<H；初始化令i＝0，j＝0；

(2.2)如果p(i,j)为未知点，且p(i,j)的邻域N_ε(p)内中有一个点为已知点，则对p(i,j)进行修复，并将p(i,j)设置为已知点，从集合Ω中移除；p(i,j)的像素值I(p)为：

其中N_ε(p)为以p为中心、ε为半径的邻域；n为N_ε(p)内已知点的个数；

(2.3)令i＝i+1，如果i<W，跳转到步骤(2.2)，否则令i＝0，j＝j+1，跳转到步骤(2.2)；直到j＝H，完成一次遍历。

作为另一种优选，步骤(2)包括如下步骤：

(4.1)设损坏图像的大小为W×H，当前像素点为p(i,j)，0≤i<W，0≤j<H；初始化令i＝0，j＝0；

(4.2)如果p(i,j)为未知点，查看p(i,j)偏移θ(α,β)处的像素点p′(i+α,j+β)是否为已知点，如果p′为已知点，则对p(i,j)进行修复，并将p(i,j)设置为已知点，从集合Ω中移除；p(i,j)的像素值I(p)为：I(p)＝I(p′)；

(4.3)令i＝i+1，如果i<W，跳转到步骤(4.2)，否则令i＝0，j＝j+1，跳转到步骤(4.2)；直到j＝H，完成一次遍历。

偏移向量θ(α,β)为向量数组Θ＝{(0,-1),(1,0),(0,1),(-1,0)}中的元素。

为了消除偏移向量引起的方向性，每一次遍历后改变偏移向量，具体地，对图像进行第一次遍历修复时偏移向量θ(α,β)为向量数组中的第一个元素Θ[0]；Θ[1]；下一次遍历选取向量数组中的第二个元素Θ[1]；即：θ(α,β)|_l＝Θ[(l-1)％4]；

其中l为当前遍历次数；％为取余运算符。

有益效果：针对小尺度缺损图像修复中去除图像中字符、修复划痕的应用，在这一类应用中单个待修复区域面积很小，一般只有几十个像素且存在多个离散待修复点。与现有技术相比本发明公开的快速图像修复方法具有以下优点：1、充分利用了图像像素间的空间相关性，用待修复像素点邻域内的已知点像素值来计算待修复像素点的像素值，可以获得很好的修复效果；2、整个修复过程没有复杂的计算，计算量小，方法可以快速执行。

附图说明

图1是本发明公开的方法流程示意图；

图2是快速图像修复方法的像素分类说明图；

图3是快速图像修复方法与基于快速行进的修复方法对airplane图像在修复效果方面的对比图；

图4是快速图像修复方法与基于快速行进的修复方法对peppers图像在修复效果方面的对比图；

图5是快速图像修复方法与基于快速行进的修复方法对airplane图像及peppers图像进行修复所耗时间T、修复后图像与原始图像的均方误差MSE和峰值信噪比PSNR的对比结果,其中T由系统时间得到，MSE和PSNR使用MATLAB根据公式计算得到。

具体实施方式

下面结合附图和具体实施方式，进一步阐明本发明。

如图1所示，为本发明公开的快速图像修复方法的流程图，包括如下步骤：

图2所示为像素分类说明图，所有未知点组成集合Ω。

实施例1：

本实施例中，对未知点采用其4邻域内已知点像素值的均值来进行修复；步骤(2)具体为：

其中N_ε(p)为以p为中心、ε为半径的邻域；n为N_ε(p)内已知点的个数；本实施例中N_ε(p)为p(i,j)的4邻域，即ε为1。

如图3所示，为本实施例的方法与基于快速行进的修复方法对airplane图像在修复效果方面的对比图。

实施例2：

本实施例中，对未知点采用其4邻域内某个已知点像素值来进行修复；步骤(2)具体为：

如果在每次遍历中偏移向量θ(α,β)的值不变，修复后的图像会有方向性，为了消除偏移向量引起的方向性，每一次遍历后改变偏移向量，具体地，对图像进行第一次遍历修复时偏移向量θ(α,β)为向量数组中的第一个元素Θ[0]；Θ[1]；下一次遍历选取向量数组中的第二个元素Θ[1]；即：θ(α,β)|_l＝Θ[(l-1)％4]；其中l为当前遍历次数；％为取余运算符。

如图4所示，为本实施例的方法与基于快速行进的修复方法对peppers图像在修复效果方面的对比图。

由图3、图4可知：本发明的快速图像修复算法和基于快速行进的修复方法修复后的图像均符合人眼主观要求，在视觉方面是完整及合理的。图5给出了本发明的快速图像修复算法和基于快速行进的修复方法对airplane图像及peppers图像进行修复的时间T、均方误差MSE和峰值信噪比PSNR的结果,其中T由系统时间得到，MSE和PSNR使用MATLAB根据公式计算得到。表中T表示修复算法完成整个修复过程花费的时间，MSE表示快速行进法和简化算法修复后的图像与原始图像间的均方误差；PSNR表示快速行进法和简化算法修复后的图像与原始图像间的峰值信噪比。从表中可以发现简化算法与快速行进法相比，在修复效率上有着较为明显的优势，同时保持一定的修复效果。

Claims

1.一种快速图像修复方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的快速图像修复方法，其特征在于，步骤(2)包括如下步骤：

<mrow> <mi>I</mi> <mrow> <mo>(</mo> <mi>p</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mrow> <msub> <mo>&Sigma;</mo> <mrow> <mi>k</mi> <mo>&Element;</mo> <msub> <mi>N</mi> <mi>&epsiv;</mi> </msub> <mrow> <mo>(</mo> <mi>p</mi> <mo>)</mo> </mrow> <mo>,</mo> <mi>k</mi> <mo>&NotElement;</mo> <mi>&Omega;</mi> </mrow> </msub> <mi>I</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> </mrow> <mi>n</mi> </mfrac> </mrow>

3.根据权利要求2所述的快速图像修复方法，其特征在于，N_ε(p)为p(i,j)的4邻域，即ε为1。

4.根据权利要求1所述的快速图像修复方法，其特征在于，步骤(2)包括如下步骤：

5.根据权利要求4所述的快速图像修复方法，其特征在于，偏移向量θ(α,β)为向量数组Θ＝{(0,-1),(1,0),(0,1),(-1,0)}中的元素。

6.根据权利要求5所述的快速图像修复方法，其特征在于，对图像进行第一次遍历修复时偏移向量θ(α,β)为向量数组中的第一个元素Θ[0]；Θ[1]；下一次遍历选取向量数组中的第二个元素Θ[1]；即：θ(α,β)|_l＝Θ[(l-1)％4]；

其中l为当前遍历次数；％为取余运算符。