CN107833191A

CN107833191A - 基于图像局部信息的改进Criminisi算法

Info

Publication number: CN107833191A
Application number: CN201711068054.1A
Authority: CN
Inventors: 何凯; 卢雯霞; 沈成南; 黄婉蓉
Original assignee: Tianjin University
Current assignee: Tianjin University
Priority date: 2017-11-03
Filing date: 2017-11-03
Publication date: 2018-03-23

Abstract

本发明公开了一种基于图像局部信息的改进Criminisi算法：输入破损图像；提取破损区域的边界，判断边界是否为空；若是，结束修复，输出修复图像；否则，根据改进的优先权函数算法，计算边界内各像素点的优先权值，找出优先权值最大的像素点所在的破损块；在未破损区域内搜寻破损块的最优匹配块；计算破损块和最优匹配块之间的SSD，若SSD为最小，继续下一步；否则，返回上一步；利用最优匹配块对破损块进行修复；更新修复后的破损块内各像素点的置信度值；更新破损区域，返回第二步。本发明能够较好地克服传统Criminisi算法修复顺序不合理的问题，同时可以有效解决图像信息由高纹理区域向低纹理区域过度扩散的问题。

Description

基于图像局部信息的改进Criminisi算法

技术领域

本发明涉及计算机图像处理领域，是一种改进的图像修复算法，更具体的说，是涉及一种基于图像局部信息的改进Criminisi算法。

背景技术

图像修复是多媒体图像处理和计算机视觉领域的研究热点，其目的是对图像破损或丢失的部分进行自动修复，以保证图像整体一致性。根据破损区域的大小，图像修复技术可分为两大类：针对小区域破损的修复方法和针对大区域破损的修复方法。

小破损区域通常是利用热扩散方程来进行修复；而大区域的修复方法则通常采用基于样本块的方法，该方法在纹理综合和结构修复上具有良好的效果，在实际工程中被广泛采用。其中，Criminisi算法是目前最为经典的基于样本块图像修复算法，被广大学者所接受。然而，传统Criminisi算法在计算目标图像块优先权函数时，偏向于注重垂直于梯度方向的信息，有可能会导致像素点修复顺序的不合理。

发明内容

本发明的目的是为了克服现有技术中的不足，提供了一种基于图像局部信息的改进Criminisi算法，能够较好地克服传统Criminisi算法修复顺序不合理的问题，同时可以有效解决图像信息由高纹理区域向低纹理区域过度扩散的问题。

本发明的目的是通过以下技术方案实现的。

一种基于图像局部信息的改进Criminisi算法，包括以下步骤：

1)输入破损图像；

2)提取破损区域的边界，判断边界是否为空；若是，跳到步骤9)；否则，继续下一步；

3)根据改进的优先权函数算法，计算边界内各像素点的优先权值，找出优先权值最大的像素点所在的破损块；

4)在未破损区域内搜寻破损块的最优匹配块；

5)计算破损块和最优匹配块之间的SSD，若SSD为最小，继续下一步；否则，返回步骤4)；

6)利用最优匹配块对破损块进行修复；

7)更新修复后的破损块内各像素点的置信度值；

8)更新破损区域，返回步骤2)；

9)结束修复，输出修复图像。

步骤3)中改进的优先权函数表达式为：

式中，P(p)为优先权函数，C(p)表示置信度项，p表示破损块的中心像素点，表示在像素点p处的梯度值，κ(p)表示像素点p的曲率；

梯度项按以下公式计算：

式中，分别表示距离位置坐标为(i,j)的像素点上下左右四个方向的半个像素位置处像素的梯度值；

曲率项κ(p)按以下公式计算：

式中，u_x表示图像对与像素点p在x方向上求导数,u_y表示图像对与像素点p在y方向上求导数,u_xx表示图像对与像素点p在x方向上求二阶导数,u_yy表示图像对与像素点p在y方向上求二阶导数，u_xy表示图像对与像素点p在x方向上求导数后再对y方向求导数。

与现有技术相比，本发明的技术方案所带来的有益效果是：

经典的Criminisi算法在计算目标图像块的优先权函数时，偏向于注重垂直于梯度方向的信息，有可能会导致像素点修复顺序的不合理。针对这一问题，本发明利用图像的局部特征信息—曲率和梯度，对曲率公式和梯度公式进行扩展，把曲率项和梯度项引入到优先权函数的计算中，对优先权函数进行改进，使得图像修复时的顺序更加合理。本发明能够比较好的克服Criminisi算法在修复时顺序不够合理的问题，并且解决了在修复时图像信息由高纹理区域向低纹理区域过度扩散的问题，修复效果更加的合理自然。

附图说明

图1是本发明基于图像局部信息的改进Criminisi算法的流程图；

图2是半点离散求解梯度的示意图；

图3是本发明是实施例中第一幅图像的实验效果图；

图4是本发明是实施例中第二幅图像的实验效果图；

图5是本发明是实施例中第三幅图像的实验效果图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。

传统Criminisi算法在计算优先权函数时，偏向于注重目标图像块与梯度垂直方向的信息，有时会导致像素点修复顺序的不合理。本发明的基于图像局部信息的改进Criminisi算法，利用图像的局部特征信息—曲率和梯度，对曲率公式和梯度公式进行扩展，把曲率项和梯度项引入到优先权函数的计算中，对优先权函数进行改进，使得图像修复时的顺序更加合理。如图1所示，具体过程如下：

1)输入破损图像。

2)提取破损区域的边界，判断边界是否为空；若是，跳到步骤9)；否则，继续执行下一步。

3)根据改进的优先权函数算法，计算边界内各像素点的优先权值，找出优先权值最大的像素点所在的破损块。

改进的优先权函数表达式为：

式中，P(p)为优先权函数，C(p)表示置信度项，这两个函数计算方法参考文献：Criminisi A,Perez P,Toyama K.Region filling and object removal by exemplar-based image inpainting[J].IEEE Transactions on Image Processing,2004,13(9):1200～1212.。p表示破损块的中心像素点，表示在像素点p处的梯度值，κ(p)表示像素点p的曲率。

梯度项采用半点离散的方法。半点离散法求解梯度的示意图如图2所示。图2中，up、down、left、right分别代表像素点a₁₂、a₃₂、a₂₁、a₂₃到像素点p的中点，也就是up、down、left、right这四个点到像素点p的距离为1/2个像素距离，这4个中点的梯度值分别为：

式中，分别表示上、下、左、右4个方向的像素点的中点的梯度值，h为相邻两个像素点之间的距离，本发明中取h＝1。

将半点离散法计算梯度应用到本发明的算法中，则改进后梯度项定义为：

式中，“|·|”表示绝对值，分别表示距离位置坐标为(i,j)的像素点上下左右四个方向的半个像素位置处像素的梯度值。以为例，计算方法可表示为：

式中，分别表示为像素点p在各个位置坐标上对x方向和对y方向的偏导数。

曲率项κ(p)定义为：

式中，p表示破损块的中心像素点，κ(p)表示像素点p的曲率，I表示破损图像，I_p表示破损块，表示求导数运算，表示对破损图像I求导数。

本发明中曲率项κ(p)的具体计算方法为：

4)在未破损区域内搜寻破损块的最优匹配块。

5)计算破损块和最优匹配块之间的SSD(最小均方差之和)，若SSD为最小，继续下一步；否则，返回步骤4)。

6)利用最优匹配块对破损块进行信息填充修复。

7)更新修复后的破损块内各像素点的置信度值。

8)更新破损区域，返回至步骤2)。

9)结束修复，输出修复图像。

实施例：

为了验证本发明的有效性，下面结合具体的实例对本发明的技术方案做进一步详细描述。选取了三幅图像进行验证算法修复结果，分别如图3-5所示。

图3是本发明是实施例中第一幅图像的实验效果图，其中，图(a)代表原始图像；图(b)灰色区域代表破损区域，图(c)为Criminisi算法的修复效果，图(d)为本发明方法的修复效果。从图3中可以看出，图片左侧山峰上的树木经Criminisi算法修复后，有部分树叶被填充至低纹理区域的天空背景，这便是Criminisi算法具有的在修复时高纹理区域向低纹理区域过度填充的问题。山峰上的树木枝叶纹理复杂，细节繁多，属于高纹理区域；而旁边的天空纹理单一，没有细节，属于低纹理区域。Criminisi算法在修复时，将树木的枝叶的纹理填充到了纹理单一的天空中。而本章算法优先保证了结构信息的合理填充，图3(d)中并未出现像图3(c)当中树叶被填充至天空部分的问题，因而获得的结果较Criminisi算法的较优，更好地克服了高纹理区域向低纹理区域过度填充这个问题。

图4是本发明是实施例中第二幅图像的实验效果图，图5是本发明是实施例中第三幅图像的实验效果图，其中，图(a)代表原始图像，图(b)灰色区域代表破损区域，图(c)为Criminisi算法的修复效果，图(d)为本发明方法的修复效果。在图4和图5中，金字塔的顶部和棋盘的边角信息缺失，采用Criminisi算法进行修复后，边角的结构信息和纹理信息没能得到完整的修复，图4(c)中金字塔的塔尖缺失了，而图5(c)中棋盘的边角也没能得到完整的修复，大部分的纹理信息修复错误。与此相反，由于本章算法引入了曲率项，使得这些部分在修复时保证了合理的优先级顺序，从而获得了较完整的结构，取得较好的修复效果。图4(d)中金字塔的塔尖的修复效果较Criminisi算法得到的结果更完整，图5(d)中棋盘的边角的修复结果虽然在纹理上存在着部分的错误，但是从整体的结构和纹理修复效果相比于5(c)也更加完整，Criminisi算法的修复效果无法保证轮廓边缘结构的完整性，获得的修复效果出现了一些错误。对比实验表明，本章算法较好的保持了修复边界的完整性。

尽管上面结合附图对本发明进行了描述，但本发明并不局限于上述，上述的具体实施方式仅仅是示意性的，本领域的普通技术人员在本发明的启示下，还可以做出很多形式，这些均属于本发明的保护之内。

Claims

1.一种基于图像局部信息的改进Criminisi算法，其特征在于，包括以下步骤：

1)输入破损图像；

4)在未破损区域内搜寻破损块的最优匹配块；

6)利用最优匹配块对破损块进行修复；

7)更新修复后的破损块内各像素点的置信度值；

8)更新破损区域，返回步骤2)；

9)结束修复，输出修复图像。

2.根据权利要求1所述的基于图像局部信息的改进Criminisi算法，其特征在于，步骤3)中改进的优先权函数表达式为：

P(p)＝C(p)·|κ(p)|·|▽(u_p)|

式中，P(p)为优先权函数，C(p)表示置信度项，p表示破损块的中心像素点，▽(u_p)表示在像素点p处的梯度值，κ(p)表示像素点p的曲率；

梯度项|▽(u_p)|按以下公式计算：

曲率项κ(p)按以下公式计算：

<mrow> <mi>&kappa;</mi> <mrow> <mo>(</mo> <mi>p</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mrow> <msub> <mi>u</mi> <mrow> <mi>x</mi> <mi>x</mi> </mrow> </msub> <msubsup> <mi>u</mi> <mi>y</mi> <mn>2</mn> </msubsup> <mo>-</mo> <mn>2</mn> <msub> <mi>u</mi> <mi>x</mi> </msub> <msub> <mi>u</mi> <mi>y</mi> </msub> <msub> <mi>u</mi> <mi>n</mi> </msub> <mo>+</mo> <msub> <mi>u</mi> <mrow> <mi>x</mi> <mi>x</mi> </mrow> </msub> <msubsup> <mi>u</mi> <mi>x</mi> <mn>2</mn> </msubsup> </mrow> <msup> <mrow> <mo>(</mo> <msubsup> <mi>u</mi> <mi>x</mi> <mn>2</mn> </msubsup> <mo>+</mo> <msubsup> <mi>u</mi> <mi>y</mi> <mn>2</mn> </msubsup> <mo>)</mo> </mrow> <mrow> <mn>3</mn> <mo>/</mo> <mn>2</mn> </mrow> </msup> </mfrac> </mrow>