CN103218785A - 图像修复方法和装置 - Google Patents

Abstract

本发明提供了一种图像修复方法和装置。所述方法包括：处理初始配准的图像块得到图像块之间的连接曲线；通过所述连接曲线构造待修复图像的环绕场；通过极小化连接曲线在环绕场中的能量对图像块进行配准；对所述配准后的图像块进行图像填充得到修复后的图像。所述装置包括：处理模块，用于处理初始配准的图像块得到图像块之间的连接曲线；环绕场构造模块，用于通过所述连接曲线构造待修复图像的环绕场；配准模块，用于通过极小化连接曲线在环绕场中的能量对图像块进行配准；填充模块，用于对所述配准后的图像块进行图像填充得到修复后的图像。采用本发明能够适用于任意一个损坏的图像的修复，且提高精确性。

Description

图像修复方法和装置

技术领域

本发明涉及图像处理技术，特别是涉及一种图像修复方法和装置。

背景技术

图像修复指的是对受到损坏的图像进行修复重建，使观察者看不出修复重建所得到的图像曾被修复过。传统的图像修复方法主要包括两类，一类是基于扩散的修复技术，利用传播机制将信息从未受损区域传播到待修复的区域；另一类是基于纹理合成的方法，在受损区域的周围寻找与受损区域边界像素较接近的像素块，然后将寻找得到的像素块在一定的结构约束下复制并抹去像素块之间的缝隙。

传统的图像修复方法均是假设待修复的图像中各个图像块之间错位，即各个图像块之间存在着重叠区域。然而，在实际的图像修复过程中，图像块之间没有重叠区域的情况时有发生，因此，采用上述两种图像将无法适用于任意一个损坏的图像的修复。

基于此，又提出了一种图像修复方法，在该方法中，首先将没有重叠的图像块向外插值，使得这些图像块在外插区域重叠，然后对外插之后的图像块进行配准，实现没有重叠区域的图像修复。

但是，对图像块向外插值是一种极其不精确的手段，通过外插区域进行配准将进一步地扩大了误差，并且，这一图像修复方法仅允许图像块的形状是方形的，因此，虽然能够实现没有重叠区域的图像修复，但是，也限制了该方法的应用，也不无保证图像修复的精确性。

发明内容

基于此，有必要针对传统的图像修复方法无法适用于任意一个损坏的图像的修复，且精确性不高的问题，提供一种能够适用于任意一个损坏的图像的修复，且提高精确性的图像修复方法。

此外，还有必要提供一种能够适用于任意一个损坏的图像的修复，且提高精确性的图像修复系统。

一种图像修复方法，包括如下步骤：

处理初始配准的图像块得到图像块之间的连接曲线；

通过所述连接曲线构造待修复图像的环绕场；

通过极小化连接曲线在环绕场中的能量对图像块进行配准；

对所述配准后的图像块进行图像填充得到修复后的图像。

在其中一个实施例中，所述对所述初始配准的图像块进行处理得到图像块之间的连接曲线的步骤为：

获取初始配准的图像块，所述图像块来自待修复的图像；

沿所述初始配准的图像块边缘向里获取得到所述图像块中的突出曲线；

根据所述突出曲线得到相互关联的突出曲线，并得到介于所述相互关联的突出曲线之间的连接曲线。

在其中一个实施例中，所述通过所述连接曲线构造待修复图像的环绕场的步骤为：

从待修复图像的曲线整体中提取第一最长曲线整体，为所述第一最长曲线整体赋予方向；

以已有方向的曲线整体作为狄利克雷边界条件进行调和向量场的求解；

逐一对无方向的曲线整体提取第二最长曲线整体，根据所述已有方向的曲线整体的调和向量场确定所述第二最长曲线整体的方向，直至无方向的曲线整体均被赋予方向；

通过求解所有曲线整体的调和向量场得到环绕场的方向部分，并根据相互关联的突出曲线数量以及突出曲线的投影计算得到环绕场的大小部分。

在其中一个实施例中，所述通过极小化连接曲线在环绕场中的能量对图像块进行配准的步骤为：

通过极小化连接曲线在环绕场中的能量求解得到图像块所对应的变换，根据所述图像块对应的变换得到连接曲线的变换位置和角度，按照所述连接曲线的变换位置和角度配准图像块。

在其中一个实施例中，所述对所述配准后的图像块进行图像填充得到修复后的图像的步骤为：

通过连接曲线对配准后的图像块进行结构填充；

对结构填充之后的图像块进行纹理合成得到修复后的图像。

在其中一个实施例中，所述通过连接曲线对配准后的图像块进行结构填充的步骤为：

将连接曲线离散化得到有序点集；

从所述有序点集中提取第一子集，所述第一子集包括所有位于图像块之间的间隙上的点；

从所述有序点集中提取与所述第一子集的颜色差最小的第二子集，所述第二子集的长度与所述第一子集的长度相当；

将所述第二子集的像素带变形并复制到第一子集中，并将第一子集的像素与周围像素融合。

一种图像修复装置，包括：

处理模块，用于处理初始配准的图像块得到图像块之间的连接曲线；

环绕场构造模块，用于通过所述连接曲线构造待修复图像的环绕场；

配准模块，用于通过极小化连接曲线在环绕场中的能量对图像块进行配准；

填充模块，用于对所述配准后的图像块进行图像填充得到修复后的图像。

在其中一个实施例中，所述处理模块包括：

图像块获取单元，用于获取初始配准的图像块，所述图像块来自待修复的图像；

突出曲线获取单元，用于沿所述初始配准的图像块边缘向里获取得到所述图像块的突出曲线；

连接曲线获取单元，用于根据所述突出曲线得到相互关联的突出曲线，并得到介于所述相互关联的突出曲线之间的连接曲线。

在其中一个实施例中，所述环绕场构造模块包括：

第一提取单元，用于从待修复图像的曲线整体中提取第一最长曲线整体，为所述第一最长曲线整体赋予方向；

向量场求解单元，用于以已有方向的曲线整体作为狄利克雷边界条件进行调和向量场的求解；

循环单元，用于逐一对无方向的曲线整体提取第二最长曲线整体，根据所述已有方向的曲线整体的调和向量场确定所述第二最长曲线整体的方向，直至无方向的曲线整体均被赋予方向；

环绕场形成单元，用于通过求解所有曲线整体的调和向量场得到环绕场的方向部分，并根据相互关联的突出曲线数量以及突出曲线的投影计算得到环绕场的大小部分。

在其中一个实施例中，所述配准模块还用于通过极小化连接曲线在环绕场中的能量求解得到图像块所对应的变换，根据所述图像块对应的变换得到连接曲线的变换位置和角度，按照所述连接曲线的变换位置和角度配准图像块。

在其中一个实施例中，所述填充模块包括：

结构填充单元，用于通过连接曲线对配准后的图像块进行结构填充；

纹理合成单元，用于对结构填充之后的图像块进行纹理合成得到修复后的图像。

在其中一个实施例中，所述结构填充单元包括：

离散化单元，用于将连接曲线离散化得到有序点集；

第一子集提取单元，用于从所述有序点集中提取第一子集，所述第一子集包括所有位于图像块之间的间隙上的点；

第二子集提取单元，用于从所述有序点集中提取与所述第一子集的颜色差最小的第二子集，所述第二子集的长度与第一子集的长度相当；

融合单元，用于将所述第二子集的像素带变形并复制到第一子集中，并将第一子集的像素与周围像素融合。

上述图像修复方法和装置，对初始配准的图像块进行处理得到图像块之间的连接线，通过连接线构造得到待修复图像的环绕场，通过极小化连接曲线在环绕场中的能量对图像块进行配准，进而对配准后的图像块进行图像填充得到修复后的图像，由于图像块的配准不需要图像块之间存在重叠区域，并且通过极小化连接曲线在环绕场的能量的方式在数值优化的基础上实现了精确配准，所以能够适用于任意一个损坏的图像的修复，且提高了修复的精确性。

附图说明

图1为一个实施例中图像修复方法的流程图；

图2为图1中处理初始配准的图像块得到图像块之间的连接曲线的方法流程图；

图3a为一个实施例中初始配准的图像块的示意图；

图3b为图3a中提取的突出曲线示意图；

图3c为图3b中连接曲线的示意图；

图3d为通过图3c构造的环绕场示意图；

图3e为配准的图像块示意图；

图3f为填充后的图像块示意图；

图4为图2中沿初始配准的图像块边缘向里获取得到图像块中的突出曲线的方法流程图；

图5a为一个实施例中相互关联的突出曲线示意图；

图5b为图5a中进行的距离计算示意图；

图5c为图5b中形成的关联集合示意图；

图5d为通过图5c的关联集合进行筛选所得到的相互关联的突出曲线示意图；

图6为一个实施例中通过鲁棒算法找出突出曲线中起始点的对应关系的方法流程图；

图7为图1中通过连接曲线构造待修复图像的环绕场的方法流程图；

图8a为一个实施例中配准之间的图像块示意图；

图8b为与图8a对应的配准后的图像块示意图；

图9为图1中对配准后的图像块进行图像填充得到修复后的图像的方法流程图；

图10为图9中通过连接曲线对配准后的图像块进行结构填充的方法流程图；

图11为图10中结构填充示意图；

图12为一个实施例中图像修复装置的结构示意图；

图13为图12中处理模块的结构示意图；

图14为图13中突出曲线获取单元的结构示意图；

图15为图13中连接曲线获取模块的结构示意图；

图16为图12中环绕场构造模块的结构示意图；

图17为图12中填充模块的结构示意图；

图18为图17中结构填充单元的结构示意图。

具体实施方式

如图1所示，在一个实施例中，一种图像修复方法，包括如下步骤：

步骤S110，处理初始配准的图像块得到图像块之间的连接曲线。

本实施例中，初始配准的图像块是来自于待修复图像的图像碎片，这些初始配准的图像块即形成了待修复的图像。具体的，初始配准的图像块是用户对图像块所进行的大致摆布。对初始配准的图像块进行处理所得到的连接曲线介于图像块之间所存在的间隙中，用于相联关系处于破碎状态的图像块。

步骤S130，通过连接曲线构造待修复图像的环绕场。

本实施例中，环绕场包括大小部分和方向部分，可用于标记待修复图像中曲线的能量大小及其方向。

步骤S150，通过极小化连接曲线在环绕场中的能量对图像块进行配准。

本实施例中，对一定的优化算法来极小化连接曲线在环绕场中的能量，进而在这一数值优化的基础上得以保证连接曲线在环绕场中的能量至少收敛到局部最优结果，通过极小化后的连接曲线实现图像块的配准，进而使得图像块的配准不会发生偏离，提高待修复图像中配准的精确性。

配准图像块所应用的优化算法可以是最速下降法、牛顿法以及BFGS算法，在此，不一一进行列举。

例如，最速下降法又称为梯度法，是在求解极小化连接曲线在环绕场中的能量这一无约束化问题时，简单沿着梯度的负方向来搜索最优值；牛顿法是利用目标函数的梯度和海塞矩阵所构成的二次函数来寻找极值，每一步之后还将再次计算新的二次函数来进行寻优。

步骤S170，对配准后的图像块进行图像填充得到修复后的图像。

本实施例中，对配准后的图像块之间存在的间隙进行填充，以使得若干个图像块形成完整的图像。

上述图像修复方法，可对二维的破碎图像进行修复，也可对三维的破碎图像进行修复，在此不再赘述。

如图2所示，在一个实施例中，上述步骤S110包括：

步骤S111，获取初始配准的图像块，该图像块来自待修复的图像。

本实施例中，破碎的图像中的若干个图像块通过用户触发的操作进行粗糙的初始配准，以得到初始配准的图像块，如图3a所示。

步骤S113，沿初始配准的图像块边缘向里获取得到图像块中的突出曲线。

本实施例中，通过一定的算法或交互的手段进行图像块中线段，即突出曲线的提取，例如，由用户交互输入的智能剪刀方法或者计算图像块中突出曲线的方法。其中，智能剪刀法是获取用户在图像上点集的一系列种子点，通过在相邻的种子点之间求取能量最小路径来自动连接种子点，以最终得到相应的曲线，该曲线即为突出曲线，如图3b所示。

此外，在优选的实施例中，将通过保边滤波、求偏导、边界提取以及对边界的处理等算法计算得到突出曲线。

如图4所示，在一个实施例中，上述步骤S113包括：

步骤S1131，对初始配准的图像块进行保边滤波，并求偏导得到每一图像块对应的梯度图。

本实施例中，用以实现保边滤波的算法可以是加权最小二乘滤波、各向异性扩散、鲁棒光滑和双边滤波等，在此不一一进行列举。

通过上述任一算法对经过初始配准的每一个图像块进行保边滤波，并通过保边滤波后的图像块求偏异得到各个图像块所对应的梯度图。

步骤S1133，标记图像块的边界，根据图像块对应的梯度图得到标记的边界上的梯度峰值点。

本实施例中，对每一图像块进行边界提取，并标记所提取的边界。具体的，将假设经过初始配准的图像块是处于白色背景之下的，此时，通过应用一定的边界提取算法即可实现图像块边界的提取。例如，所应用的边界提取算法可以是较为简单的二值分割法或者动态轮廓法。

步骤S1135，以边界上的梯度峰值点为起点进行曲线探测得到相应的曲线，该曲线形成待修复图像的曲线集合。

本实施例中，沿着图像块的边界找出梯度的峰值点，进而以这些峰值点作为起点，沿着梯度值最大的方向向图像块内部探测若干步得到相应的曲线，此时，所得到的曲线为多个，以形成待修复图像所对应的曲线集合。

步骤S1137，从曲线集合中提取突出曲线。

本实施例中，计算曲线集合中每一曲线所对应的评分，即score(s)=len(s)+grad(s)+orth(s)-curv(s)，其中，len(s)表示曲线长度，grad(s)表示曲线上的所有像素点的梯度值之和，orth(s)表示曲线在其起始点出与边界切线的夹角的正弦值，curv(s)表示曲线上的平均曲率，并且上述四项都要除以相应的最大值以保证取值自己的取值范围为[0,1]

通过计算得到的评分对曲线集合中的曲线进行过滤，以得到突出曲线。

具体的，在计算得到曲线集合中每一曲线所对应的评分之后，将判断计算得到的评分是否大于阈值，若否，则舍弃相应的曲线，若是则保留相应的曲线，而最终保留的曲线即为突出曲线。一实施例中，该阈值可设置为1.0。

步骤S115，根据突出曲线得到相互关联的突出曲线，并得到介于相互关联的突出曲线之间的连接曲线。

本实施例中，相互关联的突出曲线是处于不同图像块上起始点之间存在着对应关系的突出曲线，用于连接两条相互关联的突出曲线的曲线即为连接曲线，并且，连接曲线也是连接两个图像块的曲线，处于图像块之间的间隙上，如图3c所示。

此时，通过上述步骤S130所构造得到的待修复图像的环绕场如图3d所示，通过上述步骤S150极小化连接曲线在环绕场中的能量以配准得到的图像块如图3e所示，进而通过相应的填充即可得到如图3f所示的完整图像，实现了无重叠区域也能够真实地恢复破碎的图像，提高了图像修复的精确性。

在一个实施例中，上述步骤S115包括：

通过鲁棒算法找出突出曲线中起始点的对应关系，存在对应关系的起始点位于不同突出曲线上，存在对应关系的起始点所在的突出曲线分别位于不同的图像块上。

本实施例中，上述存在对应关系的起始点所在的突出曲线即为相互关联的突出曲线，介于相互关联的突出曲线之间的曲线即为连接曲线。在优选的实施例中，连接曲线为埃米尔特曲线，如图5a所框选的突出曲线即为相互关联的突出曲线。

对待修复图像的若干个突出曲线进行配对，以得到存在着对应关系的起始点，而存在着对应关系的起始点所在的突出曲线即为相互关联的突出曲线，进而通过光滑的埃米尔特曲线连接两条相互关联的突出曲线，该埃米尔特曲线即为连接曲线，连接曲线穿过图像块之间的间隙连接两个图像块。

如图6所示，在一个实施例中，上述通过鲁棒算法找出突出曲线中起始点的对应关系的步骤包括：

步骤S1151，根据突出曲线构建待修复图像的标量场。

本实施例中，待修复图像的标量场可通过如下公式构建：

$l\left(r\right)=\frac{1}{n}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}\exp (-\frac{{|r-a_j|}^2}{{{\mathrm{\σ}}_1}^2})\exp (-\frac{{|r-e_j|}^2}{{{\mathrm{\σ}}_1}^2})$

其中，n为突出曲线的数量，r为空间的任一点，e_j为曲线j的起始点,a_j为r在曲线j在起点处的向外密切圆弧的投影，σ₁为控制参数，默认取0.05。

步骤S1153，对任意突出曲线的起始点，将任意起始点与其它起始点通过连接曲线相互连接，求标量场在连接曲线上的积分作为距离，以最小距离所对应的起始点作为元素形成关联集合，根据元素所对应的周围像素与任意起始点周围像素的差异得到任意突出曲线中起始点的对应关系。

本实施例中，突出曲线包括了分别位于线段两端的起始点，对于任意一起始点，将其与周围的其它起始点相连接，连接两个起始点的线段为连接曲线，此时，相互之间距离最小的两个起始点即为存在着对应关系的起始点。

进一步的，为保证对应关系的准确获取，对于任一起始点，首先通过光滑的埃米尔特曲线连接该起始点与其它的起始点，其它的起始点是与该起始点处于不同突出曲线，且所在的突出曲线与该起始点所在的突出曲线是处于不同图像块的起始点，进而求取标量场在这一埃米特曲线上的积分作为这两个起始点之间的距离，而不简单地应用两点之间的距离。

如图5b所示，在标量场中连接任一起始点与到它距离最小的另一起始点以进行距离的计算。

此时，将提取最小距离所对应的起始点作为元素形成关联集合，其中，如图5c所示，所形成的关联集合包含的元素为若干个，因此，还需要进一步进行元素的提取。

具体的，关联集合中每一元素所对应的周围像素，比对周围像素与该起始点周围像素的差异，进而保留差异最小的元素，将其余的元素从关联集合中删除，此时，所保留的元素，即起始点是与该起始点存在着对应关系的，如图5d所示，被连接曲线所连接的两个框选的突出曲线即为经关联的突出曲线。

如7所示，在一个实施例中，上述步骤S130包括：

步骤S131，从待修复图像的曲线整体中提取第一最长曲线整体，为第一最长曲线整体赋予方向。

本实施例中，待修复图像的曲线整体是相互关联的突出曲线和连接相互关联的突出曲线的连接曲线所形成的。从多个曲线整体中提取最长的曲线整体，该提取的曲线整体即为第一最长曲线整体，并为这一第一最长曲线整体赋予一个随机方向。

步骤S133，以已有方向的曲线整体作为狄利克雷边界条件进行调和向量场的求解。

本实施例中，将提取的第一最长曲线整体为作狄利克雷边界条件求解调和向量场。

步骤S135，逐一对无方向的曲线整体提取第二最长曲线整体，根据已有方向的曲线整体的调和向量场确定第二最长曲线整体的方向，直至无方向的曲线整体均被赋予方向。

本实施例中，在对提取的第一最长曲线整体赋予了方向并相应求解了调和向量场的大小部分，此时，余下的曲线整体均是无方向的，因此，将逐一对余下的曲线整体确定方向。

具体的，从无方向的曲线整体中提取最长的曲线整体，该提取的曲线整体即为第二最长曲线整体，根据已有方向的曲线整体的调和向量场来确定第二最长曲线整体的方向，并再次进行曲线整体的提取，以及方向的确定，直至所有的曲线整体均被赋予方向为止，每次所提取的最长的曲线整体即为第二最长曲线整体。

进一步的，根据已有方向的曲线整体的调和向量场确定第二最长曲线整体的方向的具体过程为：测试第二最长曲线整体在延伸方向上对应的正反两种方向上与已有方向的曲线整体的调和向量场的一致程度，取一致程度最高的方向作为第二最长曲线整体的方向，并计算已有方向的曲线整体的调和向量场，以此类推，直至所有的曲线整体均被赋予方向。

步骤S137，通过求解所有曲线整体的调和向量场得到环绕场的方向部分，并根据相互关联的突出曲线数量以及突出曲线的投影计算得到环绕场的大小部分。

本实施例中，以所有曲线整体作为狄利克雷边界条件，求解所有曲线整体的调和向量场，以构成环绕场的方向部分，并通过如下公式计算得到环绕场的大小部分，即：

$d\left(r\right)=\frac{1}{k}\underset{j=1}{\overset{k}{\mathrm{\Σ}}}\exp (-\frac{{|r-a_j|}^2}{{{\mathrm{\σ}}_2}^2})\exp (-\frac{{|r-a_{m\left(j\right)}|}^2}{{{\mathrm{\σ}}_2}^2})$

其中，k为相关联的突出曲线对的数量，m(j)表示与连接曲线j相关联的曲线索引，a_j为r在连接曲线j在起点处的向外密切圆弧的投影，σ₂为控制参数，默认取0.01。

在一个实施例中，上述步骤S150的具体过程为：

通过极小化连接曲线在环绕场中的能量求解得到图像块所对应的变换，根据图像块对应的变换得到连接曲线的变换位置和角度，按照连接曲线的变换位置和角度配准图像块。

本实施例中，在环绕场的指示下进行图像块的配准，即求对图像块的变换T，进而使得所有的连接曲线对应的方向与环绕场的方向尽可能一致。由于图像块的变换将会影响连接曲线所在位置和角度，进而决定着连接曲线的参数，因此，用于连接突出曲线的连接曲线本质上是与图像块的变换T相关的函数，即H(T)，此时，可得到相关的优化公式：

T＝argmin_TE(H(T))

$E\left(H\left(T\right)\right)=\underset{i=1}{\overset{k}{\mathrm{\Σ}}}{\∫}_{\mathrm{hl}\left(T\right)}f\left(r\right)\mathrm{dr}$

f(r)＝1-t(r)^Tv(r)+λ(1-d(r))

其中，h_i为H的第i个元素，t(r)为h_i在点r处的切线方向。λ为调节两项权重的参数，默认取0.1，ν(r)为点r处的向量方向，d(r)为点r处的向量大小。

在优选的实施例中，选用BFGS优化算法来求解上述优化公式，以得到连接曲线的变换位置和角度，进而按照连接曲线的变换位置和角度对图像块进行位置调整，得到图像块的变换，变换后的图像块即为配准了的图像块。

如图8a所示，通过优化算法所求解得到的变换对图像块进行配准之后，即可得到如图8b所示的配准的图像块。

如图9所示，在一个实施例中，上述步骤S170包括：

步骤S171，通过连接曲线对配准后的图像块进行结构填充。

本实施例中，配准后的图像块之间存在着间隙，需要对配准后的图像块进行填充方可得到完整的图像。具体的，应用图像块之间的连接线进行结构填充，以依据图像结构还原待修复的图像，进而使图像结构能最大可能的保持，不会如传统的图像填充方法一样导致填充区域的图像结构模糊的问题。

如图10所示，在一个实施例中，上述步骤S171包括：

步骤S1711，将连接曲线离散化得到有序点集。

本实施例中，对图像块之间的连接曲线进行离散化，以得到有序点集P={P1,P2,...,Pn}。

步骤S1713，从有序点集中提取第一子集，第一子集包括所有位于图像块之间的间隙上的点。

本实施例中，在有序点集中选取子集，以得到第一子集P’={Pi,Pi+1,Pi+2...,Pi+m}，第一子集包括了有序点集中所有位于间隙上的点，如图11所示。

步骤S1715，从有序点集中提取与第一子集的颜色差最小的第二子集，第二子集的长度与第一子集的长度相当。

本实施例中，再次在有序点集中提取子集，以得到与第一子集的颜色差最小的第二子集，即如图11所示的P’’={Pk,Pk+1,...,Pk+m}。

从有序点集中提取第二子集的过程实际上是沿着曲线整体搜索与第一子集所在的间隙相似的像素块的过程。

具体的，在包含了连接曲线的曲线整体中提取一条像素带，以第一子集为目标点集合，对提取的像素带进行变形，以得到变形后的像素带，该像素带是与第一子集周围像素，即第一子集中处于图像块中的像素之间的颜色差最小的，以便于对图像块进行无缝拼接。

其中，对提取的像素带，即第二子集所进行的变换可以是移动最小二乘变形，也可以采用其它算法替代，例如，薄板样条函数法和径向基函数法等。

薄板样条函数法是一种插值方法，用于寻找一个通过所有的控制点的弯曲最小的光滑曲面，作为薄铁板，通过所给定的几个“样条”使得薄铁板的表面是光滑的，而弯曲最小的程度也是由能量函数定义的。

具体的，通过薄板样条函数法对第二子集所进行的变形是将整个待修复的图像看作一个三维空间中的xoy平面，控制点的位移沿着z方向，并应用薄板样函数插值计算出其它点的位移，从而计算出所有第二子集中所有像素的位移，以实现图像变形。

径向基函数法主要用于解决插值问题，由于径向基函数只与到某个点的距离有关，因此称为径向，而又因为径向基函数是函数空间中用来逼近函数的基，所以称为径向基。

在应用径向基函数法对第二子集变形时，把待修复图像视为三维空间的xoy平面，控制点的位移沿着z方向，此时，其它点的位移变可以用径向基函数插值计算出来，从而计算得到所有像素的位移，实现图像变形。

步骤S1717，将第二子集的像素带变形并复制到第一子集中，并将第一子集的像素与周围像素融合。

本实施例中，将第二子集所对应的像素带进行变形之后无缝克隆到第一子集所在的间隙上，在优选的实施例中，将采用泊松融合法，以使得填充更为逼真、自然。

步骤S173，对结构填充之后的图像块进行纹理合成得到修复后的图像。

本实施例中，对完成了结构填充的图像块进行纹理合成，以实现待修复图像中其它部分的填充。

具体的，可采用内容感知的填充方法实现待修复图像的纹理合成，以得到修复后的图像。通过内容感知的填充方法实现图像块的纹理合成主要是为丢失像素计算恢复值时计算所有包含它的图像块的最相近已知块，并通过组合这些已知块所对应的颜色值求和得到这一个丢失像素的最佳值。

在优选的实施例中，还将在内容感知的填充过程中引入加速操作，以通过邻居推荐和随机搜索组合来实现最相近已知块的快速搜索。

如图12所示，在一个实施例中，一种图像修复装置，包括处理模块110、环绕场构造模块130、配准模块150和填充模块170。

处理模块110，用于处理初始配准的图像块得到图像块之间的连接曲线。

本实施例中，初始配准的图像块是来自于待修复图像的图像碎片，这些初始配准的图像块即形成了待修复的图像。具体的，初始配准的图像块是用户对图像块所进行的大致摆布。对初始配准的图像块进行处理所得到的连接曲线介于图像块之间所存在的间隙中，用于相联关系处于破碎状态的图像块。

环绕场构造模块130，用于通过连接曲线构造得到待修复图像的环绕场。

本实施例中，环绕场包括大小部分和方向部分，可用于标记待修复图像中曲线的能量大小及其方向。

配准模块150，用于通过极小化连接曲线在环绕场中的能量对图像块进行配准。

本实施例中，配准模块150对一定的优化算法来极小化连接曲线在环绕场中的能量，进而在这一数值优化的基础上得以保证连接曲线在环绕场中的能量至少收敛到局部最优结果，通过极小化后的连接曲线实现图像块的配准，进而使得图像块的配准不会发生偏离，提高待修复图像中配准的精确性。

配准模块150配准图像块所应用的优化算法可以是最速下降法、牛顿法以及BFGS算法，在此，不一一进行列举。

例如，最速下降法又称为梯度法，是在求解极小化连接曲线在环绕场中的能量这一无约束化问题时，简单沿着梯度的负方向来搜索最优值；牛顿法是利用目标函数的梯度和海塞矩阵所构成的二次函数来寻找极值，每一步之后还将再次计算新的二次函数来进行寻优。

填充模块170，用于对配准后的图像块进行图像填充得到修复后的图像。

本实施例中，填充模块170对配准后的图像块之间存在的间隙进行填充，以使得若干个图像块形成完整的图像。

上述图像修复装置，可对二维的破碎图像进行修复，也可对三维的破碎图像进行修复，在此不再赘述。

如图13所示，在一个实施例中，上述处理模块110包括：图像块获取单元111、突出曲线获取单元113和连接曲线获取模块115。

图像块获取单元111，用于获取初始配准的图像块，该图像块来自待修复的图像。

本实施例中，破碎的图像中的若干个图像块通过用户触发的操作进行粗糙的初始配准，以得到初始配准的图像块。

突出曲线获取单元113，用于沿初始配准的图像块边缘向里获取得到图像块的突出曲线。

本实施例中，突出曲线获取单元113通过一定的算法或交互的手段进行图像块中线段，即突出曲线的提取，例如，由用户交互输入的智能剪刀方法或者计算图像块中突出曲线的方法。其中，智能剪刀法是获取用户在图像上点集的一系列种子点，通过在相邻的种子点之间求取能量最小路径来自动连接种子点，以最终得到相应的曲线，该曲线即为突出曲线。

此外，在优选的实施例中，突出曲线获取单元113将通过保边滤波、求偏导、边界提取以及对边界的处理等算法计算得到突出曲线。

如图14所示，在一个实施例中，上述突出曲线获取单元113包括滤波求偏导单元1131、边界处理单元1133、曲线探测单元1135和曲线提取单元1137。

滤波求偏导单元1131，用于对初始配准的图像块进行保边滤波，并求偏导得到每一图像块的梯度图。

本实施例中，滤波求偏导单元1131用以实现保边滤波的算法可以是加权最小二乘滤波、各向异性扩散、鲁棒光滑和双边滤波等，在此不一一进行列举。

滤波求偏导单元1131通过上述任一算法对经过初始配准的每一个图像块进行保边滤波，并通过保边滤波后的图像块求偏异得到各个图像块所对应的梯度图。

边界处理单元1133，用于标记图像块的边界，根据图像块对应的梯度图得到标记的边界上的梯度峰值点。

本实施例中，边界处理单元1133对每一图像块进行边界提取，并标记所提取的边界。具体的，边界处理单元1133将假设经过初始配准的图像块是处于白色背景之下的，此时，通过应用一定的边界提取算法即可实现图像块边界的提取。例如，边界处理单元1133所应用的边界提取算法可以是较为简单的二值分割法或者动态轮廓法。

曲线探测单元1135，用于以边界上的梯度峰值点为起点进行曲线探测得到相应的曲线，该曲线形成待修复图像的曲线集合。

本实施例中，曲线探测单元1135沿着图像块的边界找出梯度的峰值点，进而以这些峰值点作为起点，沿着梯度值最大的方向向图像块内部探测若干步得到相应的曲线，此时，所得到的曲线为多个，以形成待修复图像所对应的曲线集合。

曲线提取单元1137，用于从曲线集合中提取突出曲线。

本实施例中，曲线提取单元1137计算曲线集合中每一曲线所对应的评分，即score(s)=len(s)+grad(s)+orth(s)-curv(s)，其中，len(s)表示曲线长度，grad(s)表示曲线上的所有像素点的梯度值之和，orth(s)表示曲线在其起始点出与边界切线的夹角的正弦值，curv(s)表示曲线上的平均曲率，并且上述四项都要除以相应的最大值以保证取值自己的取值范围为[0,1]

曲线提取单元1137通过计算得到的评分对曲线集合中的曲线进行过滤，以得到突出曲线。

具体的，在计算得到曲线集合中每一曲线所对应的评分之后，曲线提取单元1137将判断计算得到的评分是否大于阈值，若否，则舍弃相应的曲线，若是则保留相应的曲线，而最终保留的曲线即为突出曲线。一实施例中，该阈值可设置为1.0。

连接曲线获取模块115，用于根据突出曲线得到相互关联的突出曲线，并得到介于相互关联的突出曲线之间的连接曲线。

本实施例中，相互关联的突出曲线是处于不同图像块上起始点之间存在着对应关系的突出曲线，用于连接两条相互关联的突出曲线的曲线即为连接曲线，并且，连接曲线也是连接两个图像块的曲线，处于图像块之间的间隙上。

在一个实施例中，上述连接曲线获取模块115还用于通过鲁棒算法找出突出曲线中起始点的对应关系，存在对应关系的起始点位于不同突出曲线上，存在对应关系的起始点所在的突出曲线分别位于不同的图像块上。

本实施例中，上述存在对应关系的起始点所在的突出曲线即为相互关联的突出曲线，介于相互关联的突出曲线之间的曲线即为连接曲线。

在优选的实施例中，上述连接曲线为埃米尔特曲线。

连接曲线获取模块115对待修复图像的若干个突出曲线进行配对，以得到存在着对应关系的起始点，而存在着对应关系的起始点所在的突出曲线即为相互关联的突出曲线，进而通过光滑的埃米尔特曲线连接两条相互关联的突出曲线，该埃米尔特曲线即为连接曲线，连接曲线穿过图像块之间的间隙连接两个图像块。

如图15所示，在一个实施例中，上述连接曲线获取模块115包括标量场构建单元1151和起始点对应单元1153。

标量场构建单元1151，用于根据突出曲线构建待修复图像的标量场。

本实施例中，标量场构建单元1151可通过如下公式构建待修复图像的标量场：

$l\left(r\right)=\frac{1}{n}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}\exp (-\frac{{|r-a_j|}^2}{{{\mathrm{\σ}}_1}^2})\exp (-\frac{{|r-e_j|}^2}{{{\mathrm{\σ}}_1}^2})$

其中，n为突出曲线的数量，r为空间的任一点，e_j为曲线j的起始点,a_j为r在曲线j在起点处的向外密切圆弧的投影，σ₁为控制参数，默认取0.05。

起始点对应单元1153，用于对任意突出曲线的起始点，将任意起始点与其它起始点通过连接曲线相互连接，求标量场在连接曲线上的积分作为距离，以最小距离所对应的起始点作为元素形成关联集合，根据元素所对应的周围像素与任意起始点周围像素的差异作为元素形成关联集合，根据元素所对应的周围像素与任意起始点周围像素的差异得到任意突出曲线中起始点的对应关系。

本实施例中，突出曲线包括了分别位于线段两端的起始点，对于任意一起始点，起始点对应单元1153将其与周围的其它起始点相连接，连接两个起始点的线段为连接曲线，此时，相互之间距离最小的两个起始点即为存在着对应关系的起始点。

进一步的，为保证对应关系的准确获取，对于任一起始点，起始点对应单元1153首先通过光滑的埃米尔特曲线连接该起始点与其它的起始点，其它的起始点是与该起始点处于不同突出曲线，且所在的突出曲线与该起始点所在的突出曲线是处于不同图像块的起始点，进而求取标量场在这一埃米特曲线上的积分作为这两个起始点之间的距离，而不简单地应用两点之间的距离。

此时，起始点对应单元1153将提取最小距离所对应的起始点作为元素形成关联集合，其中，所形成的关联集合包含的元素为若干个，因此，还需要进一步进行元素的提取。

具体的，关联集合中每一元素所对应的周围像素，起始点对应单元1153比对周围像素与该起始点周围像素的差异，进而保留差异最小的元素，将其余的元素从关联集合中删除，此时，所保留的元素，即起始点是与该起始点存在着对应关系的，被连接曲线所连接的两个框选的突出曲线即为经关联的突出曲线。如图16所示，在一个实施例中，上述环绕构造模块130包括：第一提取单元131、向量场求解单元133、循环单元135和环绕场形成单元137。

第一提取单元131，用于从待修复图像的曲线整体中提取第一最长曲线整体，为第一最长曲线整体赋予方向。

本实施例中，待修复图像的曲线整体是相互关联的突出曲线和连接相互关联的突出曲线的连接曲线所形成的。第一提取单元131从多个曲线整体中提取最长的曲线整体，该提取的曲线整体即为第一最长曲线整体，并为这一第一最长曲线整体赋予一个随机方向。

向量场求解单元133，用于以已有方向的曲线整体作为狄利克雷边界条件进行调和向量场的求解。

本实施例中，向量场求解单元133将提取的第一最长曲线整体为作狄利克雷边界条件求解调和向量场。

循环单元135，用于逐一对无方向的曲线整体提取第二最长曲线整体，根据已有方向的曲线整体的调和向量场确定第二最长曲线整体的方向，直至无方向的曲线整体均被赋予方向。

本实施例中，在对提取的第一最长曲线整体赋予了方向并相应求解了调和向量场的大小部分，此时，余下的曲线整体均是无方向的，因此，循环单元135将逐一对余下的曲线整体确定方向。

具体的，循环单元135从无方向的曲线整体中提取最长的曲线整体，该提取的曲线整体即为第二最长曲线整体，根据已有方向的曲线整体的调和向量场来确定第二最长曲线整体的方向，并再次进行曲线整体的提取，以及方向的确定，直至所有的曲线整体均被赋予方向为止，每次所提取的最长的曲线整体即为第二最长曲线整体。

进一步的，循环单元135测试第二最长曲线整体在延伸方向上对应的正反两种方向上与已有方向的曲线整体的调和向量场的一致程度，取一致程度最高的方向作为第二最长曲线整体的方向，并计算已有方向的曲线整体的调和向量场，以此类推，直至所有的曲线整体均被赋予方向。

环绕场形成单元137，用于通过求解所有曲线整体的调和向量场得到环绕场所的方向部分，并根据相互关联的突出曲线数量以及突出曲线的投影计算得到环绕场的大小部分。

本实施例中，环绕场形成单元137以所有曲线整体作为狄利克雷边界条件，求解所有曲线整体的调和向量场，以构成环绕场的方向部分，并通过如下公式计算得到环绕场的大小部分，即：

$d\left(r\right)=\frac{1}{k}\underset{j=1}{\overset{k}{\mathrm{\Σ}}}\exp (-\frac{{|r-a_j|}^2}{{{\mathrm{\σ}}_2}^2})\exp (-\frac{{|r-a_{m\left(j\right)}|}^2}{{{\mathrm{\σ}}_2}^2})$

其中，k为相关联的突出曲线对的数量，m(j)表示与连接曲线j相关联的曲线索引，a_j为r在连接曲线j在起点处的向外密切圆弧的投影，σ₂为控制参数，默认取0.01。

在一个实施例中，上述配准模块150还用于通过极小化连接曲线在环绕场中的能量求解得到图像块所对应的变换，根据图像块对应的变换得到连接曲线的变换位置和角度，按照连接曲线的变换位置和角度配准图像块。

本实施例中，配准模块150在环绕场的指示下进行图像块的配准，即求对图像块的变换T，进而使得所有的连接曲线对应的方向与环绕场的方向尽可能一致。由于图像块的变换将会影响连接曲线所在位置和角度，进而决定着连接曲线的参数，因此，用于连接突出曲线的连接曲线本质上是与图像块的变换T相关的函数，即H(T)，此时，可得到相关的优化公式：

T＝argmin_TE(H(T))

$E\left(H\left(T\right)\right)=\underset{i=1}{\overset{k}{\mathrm{\Σ}}}{\∫}_{\mathrm{hl}\left(T\right)}f\left(r\right)\mathrm{dr}$

f(r)＝1-t(r)^Tv(r)+λ(1-d(r))

其中，h_i为H的第i个元素，L(r)为h_i在点r处的切线方向。λ为调节两项权重的参数，默认取0.1，ν(r)为点r处的向量方向。

在优选的实施例中，配准模块150选用BFGS优化算法来求解上述优化公式，以得到连接曲线的变换位置和角度，进而按照连接曲线的变换位置和角度对图像块进行位置调整，得到图像块的变换，变换后的图像块即为配准了的图像块。

如图17所示，在一个实施例中，上述填充模块170包括结构填充单元171和纹理合成单元173。

结构填充单元171，用于通过连接曲线对配准后的图像块进行结构填充。

本实施例中，配准后的图像块之间存在着间隙，需要结构填充单元171对配准后的图像块进行填充方可得到完整的图像。具体的，结构填充单元171应用图像块之间的连接线进行结构填充，以依据图像结构还原待修复的图像，进而使图像结构能最大可能的保持，不会如传统的图像填充方法一样导致填充区域的图像结构模糊的问题。

如图18所示，在一个实施例中，上述结构填充单元171包括离散化单元1711、第一子集提取单元1713、第二子集提取单元1715和融合单元1717。

离散化单元1711，用于将连接曲线离散化得到有序点集。

本实施例中，离散化单元1711对图像块之间的连接曲线进行离散化，以得到有序点集P={P1,P2,...,Pn}。

第一子集提取单元1713，用于从有序点集中提取第一子集，所述第一子集包括所有位于图像块之间的间隙上的点。

本实施例中，第一子集提取单元1713在有序点集中选取子集，以得到第一子集P’={Pi,Pi+1,Pi+2..,Pi+m}，第一子集包括了有序点集中所有位于间隙上的点。

第二子集提取单元1715，用于从有序点集中提取与第一子集的颜色差最小的第二子集，所述第二子集的长度与第一子集的长度相当。

本实施例中，第二子集提取单元1715再次在有序点集中提取子集，以得到与第一子集的颜色差最小的第二子集，即如图10所示的P’’={Pk,Pk+1,...,Pk+m}。

第二子集提取单元1715从有序点集中提取第二子集的过程实际上是沿着曲线整体搜索与第一子集所在的间隙相似的像素块的过程。

具体的，第二子集提取单元1715在包含了连接曲线的曲线整体中提取一条像素带，以第一子集为目标点集合，对提取的像素带进行变形，以得到变形后的像素带，该像素带是与第一子集周围像素，即第一子集中处于图像块中的像素之间的颜色差最小的，以便于对图像块进行无缝拼接。

其中，第二子集提取单元1715对提取的像素带，即第二子集所进行的变换可以是移动最小二乘变形，也可以采用其它算法替代，例如，薄板样条函数法和径向基函数法等。

薄板样条函数法是一种插值方法，用于寻找一个通过所有的控制点的弯曲最小的光滑曲面，作为薄铁板，通过所给定的几个“样条”使得薄铁板的表面是光滑的，而弯曲最小的程度也是由能量函数定义的。

具体的，第二子集提取单元1715通过薄板样条函数法对第二子集所进行的变形是将整个待修复的图像看作一个三维空间中的xoy平面，控制点的位移沿着z方向，并应用薄板样函数插值计算出其它点的位移，从而计算出所有第二子集中所有像素的位移，以实现图像变形。

径向基函数法主要用于解决插值问题，由于径向基函数只与到某个点的距离有关，因此称为径向，而又因为径向基函数是函数空间中用来逼近函数的基，所以称为径向基。

在应用径向基函数法对第二子集变形时，第二子集提取单元1715把待修复图像视为三维空间的xoy平面，控制点的位移沿差z方向，此时，其它点的位移变可以用径向基函数插值计算出来，从而计算得到所有像素的位移，实现图像变形。

融合单元1717，用于将第二子集的像素带变形并复制到第一子集中，并将第一子集的像素与周围像素融合。

本实施例中，融合单元1717将第二子集所对应的像素带进行变形之后无缝克隆到第一子集所在的间隙上，在优选的实施例中，融合单元1717将采用泊松融合法，以使得填充更为逼真、自然。

纹理合成单元173，用于对结构填充之后的图像块进行纹理合成得到修复后的图像。

本实施例中，纹理合成单元173对完成了结构填充的图像块进行纹理合成，以实现待修复图像中其它部分的填充。

具体的，纹理合成单元173可采用内容感知的填充方法实现待修复图像的纹理合成，以得到修复后的图像。通过内容感知的填充方法实现图像块的纹理合成主要是为丢失像素计算恢复值时计算所有包含它的图像块的最相近已知块，并通过组合这些已知块所对应的颜色值求和得到这一个丢失像素的最佳值。

在优选的实施例中，纹理合成单元173还将在内容感知的填充过程中引入加速操作，以通过邻居推荐和随机搜索组合来实现最相近已知块的快速搜索。

上述图像修复方法和装置，对初始配准的图像块进行处理得到图像块之间的连接线，通过连接线构造得到待修复图像的环绕场，通过极小化连接曲线在环绕场中的能量对图像块进行配准，进而对配准后的图像块进行图像填充得到修复后的图像，由于图像块的配准不需要图像块之间存在重叠区域，并且通过极小化连接曲线在环绕场的能量的方式在数值优化的基础上实现了精确配准，所以能够适用于任意一个损坏的图像的修复，且提高了修复的精确性。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体（Read-Only Memory，ROM）或随机存储记忆体（Random Access Memory，RAM）等。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (12)

1.一种图像修复方法，包括如下步骤：

处理初始配准的图像块得到图像块之间的连接曲线；

通过所述连接曲线构造待修复图像的环绕场；

通过极小化连接曲线在环绕场中的能量对图像块进行配准；

对所述配准后的图像块进行图像填充得到修复后的图像。

2.根据权利要求1所述的方法，其特征在于，所述对所述初始配准的图像块进行处理得到图像块之间的连接曲线的步骤为：

获取初始配准的图像块，所述图像块来自待修复的图像；

沿所述初始配准的图像块边缘向里获取得到所述图像块中的突出曲线；

根据所述突出曲线得到相互关联的突出曲线，并得到介于所述相互关联的突出曲线之间的连接曲线。

3.根据权利要求1所述的方法，其特征在于，所述通过所述连接曲线构造待修复图像的环绕场的步骤为：

从待修复图像的曲线整体中提取第一最长曲线整体，为所述第一最长曲线整体赋予方向；

以已有方向的曲线整体作为狄利克雷边界条件进行调和向量场的求解；

逐一对无方向的曲线整体提取第二最长曲线整体，根据所述已有方向的曲线整体的调和向量场确定所述第二最长曲线整体的方向，直至无方向的曲线整体均被赋予方向；

通过求解所有曲线整体的调和向量场得到环绕场的方向部分，并根据相互关联的突出曲线数量以及突出曲线的投影计算得到环绕场的大小部分。

4.根据权利要求1所述的方法，其特征在于，所述通过极小化连接曲线在环绕场中的能量对图像块进行配准的步骤为：

通过极小化连接曲线在环绕场中的能量求解得到图像块所对应的变换，根据所述图像块对应的变换得到连接曲线的变换位置和角度，按照所述连接曲线的变换位置和角度配准图像块。

5.根据权利要求1所述的方法，其特征在于，所述对所述配准后的图像块进行图像填充得到修复后的图像的步骤为：

通过连接曲线对配准后的图像块进行结构填充；

对结构填充之后的图像块进行纹理合成得到修复后的图像。

6.根据权利要求5所述的方法，其特征在于，所述通过连接曲线对配准后的图像块进行结构填充的步骤为：

将连接曲线离散化得到有序点集；

从所述有序点集中提取第一子集，所述第一子集包括所有位于图像块之间的间隙上的点；

从所述有序点集中提取与所述第一子集的颜色差最小的第二子集，所述第二子集的长度与所述第一子集的长度相当；

将所述第二子集的像素带变形并复制到第一子集中，并将第一子集的像素与周围像素融合。

7.一种图像修复装置，其特征在于，包括：

处理模块，用于处理初始配准的图像块得到图像块之间的连接曲线；

环绕场构造模块，用于通过所述连接曲线构造待修复图像的环绕场；

配准模块，用于通过极小化连接曲线在环绕场中的能量对图像块进行配准；

填充模块，用于对所述配准后的图像块进行图像填充得到修复后的图像。

8.根据权利要求7所述的装置，其特征在于，所述处理模块包括：

图像块获取单元，用于获取初始配准的图像块，所述图像块来自待修复的图像；

突出曲线获取单元，用于沿所述初始配准的图像块边缘向里获取得到所述图像块的突出曲线；

连接曲线获取单元，用于根据所述突出曲线得到相互关联的突出曲线，并得到介于所述相互关联的突出曲线之间的连接曲线。

9.根据权利要求7所述的装置，其特征在于，所述环绕场构造模块包括：

第一提取单元，用于从待修复图像的曲线整体中提取第一最长曲线整体，为所述第一最长曲线整体赋予方向；

向量场求解单元，用于以已有方向的曲线整体作为狄利克雷边界条件进行调和向量场的求解；

循环单元，用于逐一对无方向的曲线整体提取第二最长曲线整体，根据所述已有方向的曲线整体的调和向量场确定所述第二最长曲线整体的方向，直至无方向的曲线整体均被赋予方向；

环绕场形成单元，用于通过求解所有曲线整体的调和向量场得到环绕场的方向部分，并根据相互关联的突出曲线数量以及突出曲线的投影计算得到环绕场的大小部分。

10.根据权利要求7所述的装置，其特征在于，所述配准模块还用于通过极小化连接曲线在环绕场中的能量求解得到图像块所对应的变换，根据所述图像块对应的变换得到连接曲线的变换位置和角度，按照所述连接曲线的变换位置和角度配准图像块。

11.根据权利要求7所述的装置，其特征在于，所述填充模块包括：

结构填充单元，用于通过连接曲线对配准后的图像块进行结构填充；

纹理合成单元，用于对结构填充之后的图像块进行纹理合成得到修复后的图像。

12.根据权利要求11所述的装置，其特征在于，所述结构填充单元包括：

离散化单元，用于将连接曲线离散化得到有序点集；

第一子集提取单元，用于从所述有序点集中提取第一子集，所述第一子集包括所有位于图像块之间的间隙上的点；

第二子集提取单元，用于从所述有序点集中提取与所述第一子集的颜色差最小的第二子集，所述第二子集的长度与第一子集的长度相当；

融合单元，用于将所述第二子集的像素带变形并复制到第一子集中，并将第一子集的像素与周围像素融合。

Images