CN107945120B - 基于样本块的旋转及缩放图像修复方法 - Google Patents

Abstract

本发明公开了一种基于样本块的旋转及缩放图像修复方法：利用局部特征向量的特性，对图像中未破损区域进行关键点的计算；计算破损区域中像素点的优先权，选出具有最高优先权的像素点，以此像素点为中心，根据确定的破损块的尺寸，定义出破损块；对破损块进行关键点的计算，对破损块和未破损区域进行关键点匹配，搜寻最优匹配块；利用匹配到的关键点坐标值确定最优匹配块的边缘轮廓；对最优匹配块进行空间拓展变换；利用拓展后的最优匹配块对破损块进行信息填充；重复上述步骤，直到所有破损块都被修复，输出修复后的图像。对于具有旋转和尺度缩放图像，本发明能够快速准确地获得相关破损块的最优匹配块，获得良好的修复效果。

Description

基于样本块的旋转及缩放图像修复方法

技术领域

本发明涉及计算机图像处理领域，更具体的说，是涉及一种基于样本块的旋转及缩放图像修复方法。

背景技术

图像修复是图像处理和计算机视觉领域研究的重点之一。图像修复是对受损图像进行修复重建，或者去除图像中的多余物体，同时保证图像原有的视觉效果。目前该技术大体上可以分为两类，一类是针对小区域破损区域的修复方法，另一类是针对大区域破损区域的修复方法。

小区域破损区域的修复通常是基于偏微分方程的图像修复算法，主要是利用热扩散方程建立图像的偏微分方程，并按照一定的规则向待修复区域扩散。大区域破损区域的修复主要是基于纹理合成的修复方法，也是目前图像修复的重点，主要是利用图像破损区域附近完好的纹理信息，对待修复区域进行块匹配和复制，从而达到图像修复的目的。最常见的大区域破损区域的修复算法主要是基于样本块的方法。

传统基于样本块的修复算法在搜索最优匹配块时，大多是通过平移的方式来进行搜索，这种方式可用于处理平移图像，但是当图像存在旋转和尺度变换时，仅通过平移无法获得最优的匹配块。而在信息填充阶段，由于得到的匹配块与待修复块并不是平移关系，此时需要对获得的最优匹配块进行旋转或者尺度缩放的变换，之后才能进行信息的填充。鉴于此，需要找到一种针对旋转和尺度缩放图像最优匹配块搜索方法，以及对图像块进行空间变换的方法。

发明内容

本发明的目的是为了克服现有技术中的不足，提供了一种基于样本块的旋转及缩放图像修复方法，利用局部特征向量的不变性来对破损块的最优匹配块进行搜索，利用改进后的空间能量函数对搜索到的最优匹配块进行变换，使其与破损块的像素信息相一致，从而使信息填充顺利进行，完成图像修复过程。

本发明的目的是通过以下技术方案实现的。

一种基于样本块的旋转及缩放图像修复方法，包括以下步骤：

1)利用局部特征向量的特性，对图像中未破损区域进行关键点的计算、检测和筛选；

2)计算破损区域中像素点的优先权，选出具有最高优先权的像素点，以此像素点为中心，根据确定的破损块的尺寸大小，定义出破损块；

3)对破损块进行关键点的计算、检测和筛选，然后对破损块和未破损区域进行关键点的匹配，搜寻最优匹配块；

4)利用匹配到的关键点的坐标值确定最优匹配块的边缘轮廓；

5)对最优匹配块的空间能量函数进行空间拓展变换：

式中，i_p是像素的相对索引值，

表示顺时针旋转θ_n角度，α_n是尺度变换系数，取值为α_n＝0.5，

表示顺时针旋转θ_n角度后的像素相对索引值，n是破损区域的像素点，x是未破损区域的像素点，M(x)是以x为中心的经过拓展变换后的最优匹配块，T代表破损区域，MMSE是最小均方差，B_n是以n为中心的破损块，

代表水平和垂直方向的梯度信息，λ是权重因子，取值为λ＝0.2；

6)利用拓展后的最优匹配块对破损块进行信息填充；

7)重复步骤2)至6)，直到所有的破损块都被修复，输出修复后的图像。

对步骤1)中的未破损区域和步骤3)中破损块均按以下公式进行关键点的计算、检测和筛选具体过程如下：

首先，极值点通过高斯差分(DOG)函数产生：

F(x,y,σ)＝(G(x,y,kσ)-G(x,y,σ))*I(x,y)

式中，F(x,y,σ)是经过尺度变换之后的图像空间，G(x,y,σ)是多尺度的高斯函数，I(x,y)代表了图像像素值，k是一个固定的乘数因子，*代表了卷积运算；

然后，通过数据采样产生图像金字塔，在每一层图像层中计算像素的最大值和最小值点；在计算出极值点后，根据高斯差分函数的泰勒展开式，对极值点进行筛选，去除对噪声敏感以及位于边缘的那些点，将最后得到的极值点设为关键点；

最后，根据计算关键点的梯度信息来确定其方向特性；图像梯度的幅值和方向由以下的式子计算：

式中，m(x,y)是梯度的幅值，θ(x,y)是梯度的方向值。

步骤4)中确定最优匹配块的边缘轮廓的关系式为：

式中，x_min表示关键点横坐标的最小值，x_max表示关键点横坐标的最大值，y_min表示关键点纵坐标的最小值，y_max表示关键点纵坐标的最大值，y_j表示横坐标最小值对应的另一半坐标值，y_i表示横坐标最大值对应的另一半坐标值，x_k表示纵坐标最小值对应的另一半坐标值，x_l表示纵坐标最大值对应的另一半坐标值。

步骤5)中对最优匹配块的空间能量函数进行空间拓展变换的函数为：

式中，i_p是像素的相对索引值，

表示经过θ_n角度的旋转，α_n是尺度变换系数，取值为α_n＝0.5，

表示顺时针经过θ_n角度旋转后的像素相对索引值，n是破损区域的像素点，x是未破损区域的像素点，M(x)是以x为中心的经过拓展变换后的最优匹配块，T代表破损区域，MMSE是最小均方差，B_n是以n为中心的破损块，

代表水平和垂直方向的梯度信息，λ是权重因子，取值为λ＝0.2。

与现有技术相比，本发明的技术方案所带来的有益效果是：

(1)本发明针对的是旋转和尺度缩放图像的修复算法，传统的图像修复算法只能够在平移空间中进行最优匹配块的搜索，而当图像中存在旋转或者尺度缩放时，无法获取准确的匹配块，由此造成后面用此匹配块进行填充时无法得到很好的修复效果。针对这一不足，本发明利用了局部特征向量具有平移、缩放、旋转不变性的特性对最优匹配块进行搜索，提高了搜索的准确性，缩短了搜索时间，提高了最优匹配块的搜索效率。

(2)本发明对传统的空间能量函数进行改进，增加了旋转和尺度缩放因子，使其能够适应图像块的旋转和尺度缩放。利用改进后的空间函数对最优匹配块进行空间拓展变换，使其与破损块之间的像素信息相对应，从而保证了信息填充过程的顺利进行。

(3)本发明较好的解决了关于旋转和尺度缩放图像的修复问题，与已有的方法相比，鲁棒性更强，搜索过程的效率更高，有着广泛的应用前景。

附图说明

图1是本发明基于样本块的旋转及缩放图像修复方法的流程图；

图2是利用关键点的坐标值确定最优匹配块的边缘轮廓的过程图；

图3是利用本发明方法和一般的方法找到的匹配块的结果对比图；

图4是实施例中第一幅图像(旋转图像)实验效果图；

图5是实施例中第二幅图像(旋转图像)实验效果图；

图6是实施例中第三幅图像(尺度缩放图像)实验效果图；

图7是实施例中第四幅图像(尺度缩放图像)实验效果图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。

本发明的基于样本块的旋转及缩放图像修复方法，如图1所示，具体步骤和原理如下：

1)利用局部特征向量的特性，对图像中未破损区域进行关键点的计算、检测和筛选。

局部特征向量是根据图像配准算法产生的。首先，带有方向信息的图像的局部极值点，即图像的关键点被检测，特征向量则由这些关键点产生。极值点通过高斯差分(DOG)函数产生：

F(x,y,σ)＝(G(x,y,kσ)-G(x,y,σ))*I(x,y) (1)

式中，F(x,y,σ)是经过尺度变换之后的图像空间，G(x,y,σ)是多尺度的高斯函数，I(x,y)代表了图像像素值，k是一个固定的乘数因子，*代表了卷积运算。

然后，通过数据采样产生图像金字塔，在每一层图像层中计算像素的最大值和最小值点。由于高斯差分函数自身具有的良好属性，这些极值点具有尺度不变特性。为了提高准确性，在计算出极值点后，本发明根据高斯差分函数的泰勒展开式，对极值点进行筛选，去除对噪声敏感以及位于边缘的那些点，将最后得到的极值点设为关键点。

最后，为了让计算出的关键点具有旋转不变性，根据计算关键点的梯度信息来确定其方向特性。图像梯度的幅值和方向由以下的式子计算：

式中，m(x,y)是梯度的幅值，θ(x,y)是梯度的方向值。

根据具有旋转和尺度不变性的关键点产生的特征向量，可以被用来对两个图像块进行匹配。本发明中利用了k-d树算法来进行最优搜索(参考文献：Beis JS,Lowe DG(1993)Shape Indexing Using Approximate Nearest-Neighbour Search in High-DimensionalSpaces.IEEE COMPUTER SOCIETY CONFERENCE ON COMPUTER VISION AND PATTERNRECOGNITION.pp 1000-1006.)。

2)计算破损区域中像素点的优先权，选出具有最高优先权的像素点，以此像素点为中心，根据确定的破损块的尺寸大小，定义出破损块。

3)利用公式(1)-(3)对破损块进行关键点的计算、检测和筛选，然后对破损块和未破损区域当中的关键点进行搜索匹配，从而找到破损块的最优匹配块。

4)利用匹配到的关键点的坐标值确定最优匹配块的边缘轮廓。

假设N个关键点的水平和垂直坐标集合分别是X＝{x₁,x₂,...,x_N}和Y＝{y₁,y₂,...,y_N}。通过搜索坐标的最大和最小值，然后利用这4个坐标值来确定最优匹配块的边缘轮廓：

式中，x_min表示关键点横坐标的最小值，x_max表示关键点横坐标的最大值，y_min表示关键点纵坐标的最小值，y_max表示关键点纵坐标的最大值，y_j表示横坐标最小值对应的另一半坐标值，y_i表示横坐标最大值对应的另一半坐标值，x_k表示纵坐标最小值对应的另一半坐标值，x_l表示纵坐标最大值对应的另一半坐标值。

5)对搜索到的最优匹配块的空间能量函数进行空间拓展变换，加入梯度项、旋转和尺度缩放因子，使最优匹配块与破损块的像素相对应。

考虑到最优匹配块和破损块之间具有旋转或者尺度缩放的关系，所以首先要对最优匹配块进行变换来保证信息填充过程的顺利进行。能量函数能被用来表示空间的状态，然而传统的能量函数只能用于平移的图像空间，表达式如下：

式中，T表示破损区域，S表示未破损区域，n是破损区域的像素点，x_n是未破损区域的像素点，t_n表示以n为中心的破损块，

是以x_n为中心的信息块，D是最小均方值。

本发明对传统的能量函数进行改进，增加了旋转和尺度变换因子，以确保信息填充的顺利进行。最优匹配块的空间拓展函数定义为：

式中，i_p是像素的相对索引值，

表示顺时针旋转θ_n角度，α_n是尺度变换系数，取值为α_n＝0.5，

表示顺时针旋转θ_n角度后的像素相对索引值，n是破损区域的像素点，x是未破损区域的像素点，M(x)是以x为中心的经过拓展(旋转和尺度变化)变换后的最优匹配块。

利用上述的空间拓展函数，本发明对传统能量函数进行改进，同时，为了减少匹配的误差，本发明将梯度项添加到能量函数中。改进后的空间能量函数如下所示：

式中，T代表破损区域，MMSE是最小均方差，B_n是以n为中心的破损块，

代表水平和垂直方向的梯度信息，λ是权重因子，来控制梯度项的影响程度，取值为λ＝0.2。

6)利用拓展后的最优匹配块对破损块进行信息填充。

7)重复步骤2)至6)，直到所有的破损块都被修复，输出修复后的图像。

实施例：

利用关键点坐标值确定最优匹配块的边缘轮廓的过程如图2所示。其中，S表示的是未破损区域区域，T表示的是破损区域，B表示的是破损块。图中的黑点表示的是关键点，矩形表示的是由关键点坐标确定的破损块的最优匹配块。公式(1)中取值为k＝10。

本发明选取了2幅图像进行验证匹配块搜索结果，其中第一幅图像是旋转图像，第二幅图像是尺度缩放图像，如图3所示。在图(a)中左侧矩形标记的图像块和图(b)中中间矩形标记的图像块均表示破损块，在图(a)中右侧矩形标记的图像块和图(b)中右侧矩形标记的图像块均表示用本发明所示的方法获得的匹配块，在图(a)中顶部矩形标记的图像块和图(b)中左侧矩形标记的图像块表示用一般的基于样本块的方法(参考文献：Criminisi A,Pérez P,Toyama K(2004)Region filling and object removal by exemplar-basedimage inapinting.IEEE Transactions on image processing 13(9):1200-1212.)获得的匹配块。在图3(a)中，破损块和顶部矩形标记的图像块是完全不同的，但是和右侧矩形标记的图像块直接存在着旋转的关系。同理可见，在图3(b)中，破损块和右侧矩形标记的图像块之间存在着缩放的关系，但是和左侧矩形标记的图像块之间却是不同的。由此可见，由本发明所示的方法获得的匹配块是准确的。

本发明选取了4幅图像进行验证算法修复结果。图4是旋转图像，其中，图(a)代表原始图像；图(b)黑色区域代表破损区域；图(c)为NN修复算法的修复效果；图(d)为E-PLE修复算法的修复效果；图(e)为non-local修复算法的修复效果；图(f)为本发明方法的修复效果。图5是旋转图像，其中，图(a)代表原始图像；图(b)黑色区域代表破损区域；图(c)为NN修复算法的修复效果；图(d)为E-PLE修复算法的修复效果；图(e)为non-local修复算法的修复效果；图(f)为本发明方法的修复效果。图6是尺度缩放图像，其中，图(a)代表原始图像；图(b)黑色区域代表破损区域；图(c)为E-PLE修复算法的修复效果；图(d)为NN修复算法的修复效果；图(e)为本发明方法的修复效果。图7是尺度缩放图像，其中，图(a)代表原始图像；图(b)黑色区域代表破损区域；图(c)为NN修复算法的修复效果；图(d)为E-PLE修复算法的修复效果；图(e)为本发明方法的修复效果。

从图4和图5中可以看出，由于缺少旋转不变性，利用NN算法、E-PLE算法和non-local算法的修复结果不能令人满意；而利用本发明方法得到的修复结果取得了令人满意的结果，在视觉上更加合理，并且修复部分与整体图像更加一致。

从图6和图7中可以看出，由于缺少尺度变换，利用E-PLE算法和NN算法得到的修复结果不能令人满意；而本发明方法的搜索过程具有尺度不变性，因此得到的修复结果准确合理。

尽管上面结合附图对本发明的功能及工作过程进行了描述，但本发明并不局限于上述的具体功能和工作过程，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (3)

1.一种基于样本块的旋转及缩放图像修复方法，其特征在于，包括以下步骤：

1)利用局部特征向量的特性，对图像中未破损区域进行关键点的计算、检测和筛选；

2)计算破损区域中像素点的优先权，选出具有最高优先权的像素点，以此像素点为中心，根据确定的破损块的尺寸大小，定义出破损块；

3)对破损块进行关键点的计算、检测和筛选，然后对破损块和未破损区域进行关键点的匹配，搜寻最优匹配块；

4)利用匹配到的关键点的坐标值确定最优匹配块的边缘轮廓；

5)对最优匹配块的空间能量函数进行空间拓展变换：

式中，i_p是空间变换前像素相对索引值，α_n是尺度变换系数，取值为

表示顺时针旋转θ_n角度后的像素相对索引值，n是破损区域的像素点，x是未破损区域的像素点，M(x)是以x为中心的经过拓展变换后的最优匹配块，T代表破损区域，MMSE是最小均方差，B_n是以n为中心的破损块，

代表水平和垂直方向的梯度信息，λ是权重因子，取值为λ＝0.2；

6)利用拓展后的最优匹配块对破损块进行信息填充；

7)重复步骤2)至6)，直到所有的破损块都被修复，输出修复后的图像。

2.根据权利要求1所述的基于样本块的旋转及缩放图像修复方法，其特征在于，对步骤1)中的未破损区域和步骤3)中破损块均按以下公式进行关键点的计算、检测和筛选具体过程如下：

首先，极值点通过高斯差分(DOG)函数产生：

F(x,y,σ)＝(G(x,y,kσ)-G(x,y,σ))*I(x,y)

式中，F(x,y,σ)是经过尺度变换之后的图像空间，G(x,y,σ)是多尺度的高斯函数，I(x,y)代表了图像像素值，k是一个固定的乘数因子，*代表了卷积运算；

然后，通过数据采样产生图像金字塔，在每一层图像层中计算像素的最大值和最小值点；在计算出极值点后，根据高斯差分函数的泰勒展开式，对极值点进行筛选，去除对噪声敏感以及位于边缘的那些点，将最后得到的极值点设为关键点；

最后，根据计算关键点的梯度信息来确定其方向特性；图像梯度的幅值和方向由以下的式子计算：

式中，m(x,y)是梯度的幅值，θ(x,y)是梯度的方向值。

3.根据权利要求1所述的基于样本块的旋转及缩放图像修复方法，其特征在于，步骤4)中确定最优匹配块的边缘轮廓的关系式为：

式中，x_min表示关键点横坐标的最小值，x_max表示关键点横坐标的最大值，y_min表示关键点纵坐标的最小值，y_max表示关键点纵坐标的最大值，y_j表示横坐标最小值对应的另一半坐标值，y_i表示横坐标最大值对应的另一半坐标值，x_k表示纵坐标最小值对应的另一半坐标值，x_l表示纵坐标最大值对应的另一半坐标值。

Images