CN102096915A

CN102096915A - 一种基于精准图像拼接的摄像机镜头去污方法

Info

Publication number: CN102096915A
Application number: CN2011100350340A
Authority: CN
Inventors: 百晓; 郑肖
Original assignee: Beihang University
Current assignee: Beihang University
Priority date: 2011-02-09
Filing date: 2011-02-09
Publication date: 2011-06-15
Anticipated expiration: 2031-02-09
Also published as: CN102096915B

Abstract

一种基于精准图像拼接的摄像机镜头去污方法。摄像机镜头存在污迹会对拍摄图像质量造成很大影响，且摄像机如：视频监控设备等很容易在镜头表面附着污渍。手动方法去除这些污渍有可能比较的费力，而且也无法改变已经拍摄好的视频和图像。本发明提出了一种利用精准全景图像拼接的方法去除污迹的方法。对于一个镜头有污迹的摄像机，和用该镜头拍摄的一段视频(连续图像)。为了去除拍摄视频或图像中的污渍，本方法首先利用图像累加的方法找出污迹范围，然后用高精度匹配方法利用污渍图像前后帧的相关信息填补污渍区域，从而得到没有污迹的图像。通过本方法得到的复原图像或视频和真实图像无污染原始图像有最大的相似度，实验效果表现优异，算法耗时不高。

Description

一种基于精准图像拼接的摄像机镜头去污方法

技术领域

本发明涉及数字图像与视频的修复和图像匹配与拼接，属于数字图像处理领域。

背景技术

在拍摄数字视频或图像时，机头表面存在的污迹会对拍摄图像质量造成较大的影响。尤其是在户外拍摄时，更容易出现这种状况。在得到有污迹的数字视频或图像后，解决问题的一个有效的方法是利用图像复原技术对有损的图像区域进行复原。然而照相设备镜头污迹引起的图像噪音和一般的图像噪音有很大的不同。首先，其噪音分布无规律，不同污迹对图像造成的影响也不同，无法用简单的数学方法描述。其次，由污迹引起的噪音一般较集中，经常集中在一个或几个范围内。

鉴于以上原因，现今的图像去污方法主要有两种：一种方法是利用图像修描、纹理合成等技术，对图像的污迹范围进行填充。这种方法最大的问题就是还原的图像与真实图像有较大偏差。另一种方法是通过建立污迹引起图像噪音的数学模型，模拟噪声，进一步去除噪音。这种方法的相比前一种方法，效果和效率较差，但是保证了和真实图像的相近性。

近年来，在图像修描、纹理合成等技术方面：

在“CRIMINISI，A.，PEREZ，P.，AND TOYAMA，K.2003.Object removal byexemplar-based inpainting.In In IEEE Conference on Computer Vision and PatternRecognition”中，Criminisi等人公开了一种基于纹理模型的图像复原方法。该方法结合了纹理合成与图像修描的技术。该方法可以填补图像中一定区域，但是填补区域需要事先指定，而且复原图像不能保证与真实图像完全一致。因此无法很好的解决因摄像头污迹引起的图像受损问题。

在“LIU，Y.，BELKINA，T.，HAYS，J.H.，AND LUBLINERMAN，R.2008.Imagede-fencing.In IEEE Conference on Computer Vision and Pattern Recognition(CVPR).”中，LIU等人公开了一种自动寻找并修描结构化物体的方法。该方法通过图像统计和聚类的方法，自动找出图像中成结构化的物体，之后通过纹理合成的方法进行去除。但是此方法要求被去除物体有较强的结构上的重复性，如类似栅栏的物体。因此该方法无法实用于去除形状随机的物体的情况。

在“SUN，J.，YUAN，L.，JIA，J.，AND SHUM，H.-Y.2005.Image completion withstructure propagation.ACM Transactions on Graphics(SIGGRAPH)24，3，861-868.”中，SUN等人公开了一种利用结构传播修描图像的方法。该方法利用修描区域周围的物体的结构信息修复图像。该方法对修描区域周围的图像信息有一定的要求，要求修描区域周围对修描区域内部提供一定的结构信息。因此在要求修描区域周围无结构信息的情况下，不能很好的填充被修描区域。

在模型化污迹图像方面：

在“TALVALA，E.-V.，ADAMS，A.，HOROWITZ，M.，AND LEVOY，M.2007.Veilingglare in high dynamic range imaging.ACM Transactions on Graphics(SIGGRAPH)26，3，37：1-37：10.”中，TALVALA等人公开了一种模型化的方法，用于解决强光引起的图像对比度不足。但是该方法无法给不确定区域的摄像头污迹引起的图像受损建立模型。

在“J Gu，R Ramamoorthi，P Belhumeur，S Nayar.2009.Removing Image ArtifactsDue to Dirty Camera Lenses and Thin Occluders-ACM Transactions on Graphics(SIGGRAPH).”中，Gu等人对照相机镜头污迹引起的图像伪影做了模型化处理。该方法利用图像统计方法，计算模型的参数。但该方法在进行图像统计时需要极大量的图像，因此比较耗时，而且每次利用模型修复图像时需要人工指定一些参数来优化效果。

发明内容

本发明解决的技术问题是：克服现有技术的不足，提供一种基于精准图像拼接的摄像机镜头去污方法，该方法可以自动发现需要修复的区域，并且去污过程的耗时要远小于利用图像统计建立模型的方法，最终所得的复原图像的与真实图像的吻合度相比其他方法要高。

本发明的技术解决方案：一种基于精准图像拼接的摄像机镜头去污方法，包括以下步骤：

(1)对于一个镜头表面存在污迹的照相设备，采用此镜头表面存在污迹的照相设备拍摄的一组图像或一段视频；

(2)该有污渍的一组图像或视频中的每一帧组成的输入图像序列为I₁，I₂，...，I_n，其中I_k(1＜k＜n)为上述有污渍的一组图像中的一幅图像或视频中的一帧图像，n为图像序列中的图像总数。对于输入图像序列，分RGB三通道逐像素点计算输入图像序列的方差，得到方差矩阵D(x，y，p)，其中x，y为坐标位置，p为通道数(1≤p≤3)；

(3)采用步骤(2)求得的RGB三通道的输入图像序列的方差为每一个图像坐标位置P_x，y建立一个三维的描述向量。对所有的坐标位置进行聚类，找出污迹范围R₀。其中污迹范围R₀用与输入图像等大的二值矩阵表示，用1表示不存在污迹，0表示存在污迹；

(4)对步骤(3)求得的污迹范围R₀进行放大，确保R₀大于真实污迹范围；

(5)提取输入图像序列I₁，I₂，...，I_n的特征，然后对提取的输入图像序列的特征进行匹配，之后建立输入图像间的匹配关系，即任意两幅图像是否匹配；

(6)根据步骤(5)所得的输入图像间的匹配关系，计算每两幅图像间的3x3透视变换矩阵(单应性矩阵)；

(7)利用步骤(4)得到的放大后的污迹范围R₀，剔除掉图像序列中的污迹部分，得到新的图像序列I′₁，I′₂，...，I′_n共n幅图像，其中图像I′_k(1＜k＜n)为图像I_k根据污迹范围将有污迹区域剪裁掉所得；

(8)对步骤(7)得到的一幅图像I′_k(1＜k＜n)，根据步骤(5)所得的输入图像间的匹配关系，可以找到与图像I_k匹配的图像所有图像，共m幅。将这些图像记为I_k1，I_k2，I_k3，......I_km，其中(1＜ki＜n，1＜i＜m)。将I_k1，I_k2，I_k3，......I_km所对应的利用步骤(7)所得到的图像记为I′_k1，I′_k2，I′_k3，......I′_km。利用步骤(6)得到的I_k与I_k1，I_k2，I_k3，......I_km间的变换矩阵将图像I′_k1，I′_k2，I′_k3，......I′_km变换到I′_k所在平面，然后利用图像I′_k1，I′_k2，I′_k3，......I′_km中的图像区域填补I′_k的被剔除部分，即可得到图像I_k的复原图像；

(9)对每幅要进行去污工作的图像执行步骤(8)，即可得到相应的复原图像。

所述的步骤(2)的逐点计算图像序列的方差D(x，y，p)的过程为：

对图像序列的某一坐标点(x₁，y₁)，分别计算其三通道的图像序列方差D(x₁，y₁，p)(1≤p≤3)。其中

为图像序列的像素平均值，1≤k≤n，对图像序列逐点求取方差，可以得到三通道的方差矩阵D。

所述步骤(3)中聚类方法实现过程为：根据步骤(2)所计算的方差，为图像序列的每个位置P_x，y建立一个3维描述向量(D(x，y，1)，D(x，y，2)，D(x，y，3))。之后使用k-means方法，对输入图像序列中的位置进行聚类，其中k-means的中心点个数取2，最终将输入图像序列中的位置分为两类。比较两类位置点的中心点的方差值，其中方差值较小的一组位置为有污迹位置。以得到的污迹位置范围建立一个污迹分布的二值图R₀，用1表示不存在污迹，0表示存在污迹。

所述步骤(4)的实现过程为：对步骤(3)得到二值图R₀进行图像膨胀操作。

所述步骤(5)提取输入图像序列的特征，进行匹配，之后建立图像间的匹配关系的实现过程程如下：首先提取输入图像序列的尺度不变特征(the Scale Invariant FeatureTransform)，该方法由David G.Lowe提出。之后利用多维检索树型结构kd-tree对每两幅图像间的特征进行拼配，可得到特征间的匹配关系。根据两幅图像特征之间的匹配关系可以确定图像之间匹配关系的有无。

所述的步骤(6)的每两幅图像间的3x3透视变换矩阵(单应性矩阵)的计算公式如下；记两幅图像I_j，I_k之间的透视变换矩阵为H_jk。

其中

H_{jk} = (\begin{matrix} m_{1} & m_{2} & m_{3} \\ m_{4} & m_{5} & m_{6} \\ m_{7} & m_{8} & 1 \end{matrix})

则图像I_j上一点(x，y)和I_k上一点

的关系用H可以表示为：

\tilde{y} = \frac{m_{4} \cdot x + m_{5} \cdot y + m_{6}}{m_{7} \cdot x + m_{8} \cdot y + 1}

\tilde{x} = \frac{m_{1} \cdot x + m_{2} \cdot y + m_{3}}{m_{7} \cdot x + m_{8} \cdot y + 1}

根据两幅图像间的特征匹配关系，将4对匹配位置代入上式即可计算出m₁～m₈。之后通过随即抽样的方法RANSAC(random sample consensus)，重复计算变换矩阵，提高单应矩阵的精确性。

所述的步骤(8)的修补污迹图像中的填补过程为：利用变换到图像I′_k平面的图像块，填补图像I′_k中的被剔除区域，优先以和I′_k匹配程度高的图像中的图像块填补图像I′_k。在利用图像

(

是与I′_k匹配的图像变换到I′_k所在平面后所得的图像)修补图像I′_k时，在图像

中找出处于图像I′_k被剔除区域里的图像块，用之填补图像I′_k，图像I′_k的被剔除范围缩小。重复以上步骤，直到图像I′_k的被剔除范围全部被填充，得到复原图像I′_k的图像。

本发明与现有技术相比的优点在于：首先，本发明由于利用了发明内容中步骤(2)(3)(4)所述的方法，可以自动确定图像需要修复的受损范围，不需要人工标记；其次，相比于利用图像统计建立污迹模型的去污迹噪音方法，本发明由于利用步骤(5)至步骤(8)的拼接技术，不需要利用统计信息建立模型，因此本发明所利用的图像量要远远小于前者，而且省去了图像统计所花费的时间。因此去污过程的耗时要远小于前者。另一方面，本发明由于利用了步骤(5)(6)(7)(8)所述的方法，利用与待修复图像有透视变换关系的图像修复待修复图像，所以所得的复原图像的与真实图像的吻合度相比其他方法要高。

附图说明

图1为本发明的方法流程图；

图2为输入的图像序列示意图，其中的四幅小图是从输入序列中选取的四幅图像，每幅图像中央部分的污迹是由于摄像头污迹所引起的；

图3为计算所得的污迹范围示意图；

图4-图7为生成的复原图像，其分别是图2中由上至下四幅图像的复原图像；

图8为一些有污迹图像和复原图像的对比，其中第一列和第三列是受损图像，第二列和第四列是其左面图像的复原图像。

具体实施方式

如图1所示，本发明具体实现如下：

步骤1：对于一个镜头表面存在污迹的照相设备，获取用其拍摄的可进行透视变换的一组图像或一段视频。由图2所示，给出了一组输入图像的示意图，输入图像的数量约有20张，图2所显示的是其中的四张。

步骤2：输入的一组图像或视频中的每一帧组成输入图像序列I₁，I₂，...，I_n，其中I_k(1＜k＜n)为上述有污渍的一组图像中的一幅图像或视频中的一帧图像，n为图像序列中的图像总数。对于输入图像序列，分RGB三通道逐像素点计算输入图像序列的方差矩阵D(x，y，p)。对图像序列的某一坐标点(x₁，y₁)，分别计算其三通道的图像序列方差D(x₁，y₁，p)(1≤p≤3)。

D (x_{1}, y_{1}, p) = \underset{k}{Σ} {(\overset{&OverBar;}{I} (x_{1}, y_{1}, p) - I_{k} (x_{1}, y_{1}, p))}^{2}

其中

为图像序列的平均值，1≤k≤n。

对图像序列的RGB三通道逐点求取方差，可以得到三通道的方差矩阵D。

步骤3：利用方差矩阵D为每点建立一个3维的描述向量。为图像序列的每个位置P_x，y建立一个3维描述向量(D(x，y，1)，D(x，y，2)，D(x，y，3))。之后使用k-means方法，对输入图像序列中的位置进行聚类，其中k-means的中心点个数取2。最终将输入图像序列中的位置分为两类，比较两类位置点的中心点的方差值，其中方差值较小的一组位置为有污迹位置。以得到的污迹位置范围建立一个污迹分布的二值图R₀，用1表示不存在污迹，0表示存在污迹。

步骤4：对R₀进行图像膨胀操作，确保R₀大于真实污迹范围。由图3所示，给出了计算所得的污迹范围示意图。

步骤5：依次提取每幅输入图像序列的尺度不变特征(the Scale Invariant FeatureTransform)，简称SIFT特征。SIFT特征方法由David G.Lowe提出，通过检测图像尺度空间的高斯差函数的极值点确定特征的位置，之后用特征点周围的梯度信息描述特征。SIFT特征对于图像的尺度、旋转、光照变换有较强的不变性。本方法首先对特征进行匹配，之后建立图像间的匹配关系。对输入序列中的每张图像，检测它的尺度空间，提取图像中的所有SIFT特征，此特征用128维的向量描述。提取出的每个特征记录了它在图像中的位置和描述自身的向量。之后将每幅图像提取出的特征分别组成一个特征集。为了对确定图像之间的匹配关系，首先要确定特征间的匹配关系。在特征匹配时，本方法使用了一种利用多维检索树型结构--kd-tree。用一个特征集可以建立一棵kd-tree，其他特征集之中的特征可以在树中找到与之匹配的特征。根据两幅图像间匹配的特征的数量和位置关系可以确定图像之间匹配关系的有无。两幅图像具体是否匹配需要在下一步中确定，此时先假设图像间有特征匹配的两幅图像是匹配的。

步骤6：根据步骤5所得的图像间的匹配关系，计算每两幅图像间的3x3透视变换矩阵H。

H = (\begin{matrix} m_{1} & m_{2} & m_{3} \\ m_{4} & m_{5} & m_{6} \\ m_{7} & m_{8} & 1 \end{matrix})

图像的单应性映射关系可以用一个3＊3的矩阵表示。对于两幅图像I_j，I_k，如果两者间的变换矩阵为H。则I_j上点(x，y)和I_k上点

的关系用H可以表示为：

\tilde{y} = \frac{m_{4} \cdot x + m_{5} \cdot y + m_{6}}{m_{7} \cdot x + m_{8} \cdot y + 1}

\tilde{x} = \frac{m_{1} \cdot x + m_{2} \cdot y + m_{3}}{m_{7} \cdot x + m_{8} \cdot y + 1}

为了对图像进行变换操作，需要求出单应性矩阵中的各个参数。图像间每一对匹配的特征可以提供一对匹配点位置。通过四组匹配点就可以计算一个单应性矩阵。但是由于特征的匹配存在误差，因此这种计算往往是不精确的。利用M.Fischler等人在“M.Fischler and R.Bolles.Random sample consensus：A paradigm for model fitting with application to imageanalysis and automated cartography.Communications of the ACM，24：381-395，1981.”提出的方法，通过RANSAC(random sample consensus)随即抽样的方法，提高单应矩阵的精确性。RANSAC是一种重复抽样的过程，每对特征集抽样一次，可以计算出一个单应性矩阵。利用两幅图像间匹配的特征集可以对每次计算出单应性矩阵进行验证。经过多次重复抽样，选出验证结果最好的单应性矩阵，可以提高单应性矩阵的正确性。

利用RANSAC方法，可以为每对匹配的图像求出单应性矩阵。使用匹配特征集对这个单应性矩阵进行验证。将一对匹配的特征位置中的一个通过单应性矩阵变换到另一个位置所在的图像空间，如果变换后位置与另一位置的距离小于一个阈值，则认定这对匹配位置点符合单应性矩阵。将符合单应性矩阵的点对称为内点，反之为外点。根据公式n_i＞α+β·n_f，其中n_i为内点数n_f为外点数，界定图像间是否存在匹配关系。若上述公式为真则认定两幅图像匹配，其中的参数α和β在本发明中分别取8和0.2，这样可以保证找到更多的匹配的图像对。

步骤7：利用步骤4得到的污迹范围R₀，剔除掉图像序列中的污迹部分，得到图像序列I′₁，I′₂，...，I′_n。

步骤8：对步骤(7)得到的一幅图像I′_k(1＜k＜n)，根据步骤(5)所得的输入图像间的匹配关系，可以找到与图像I_k匹配的图像所有图像，共m幅。将这些图像记为I_k1，I_k2，I_k3，......I_km，其中(1＜ki＜n，1＜i＜m)。将I_k1，I_k2，I_k3，......I_km所对应的利用步骤(7)所得到的图像记为I′_k1，I′_k2，I′_k3，......I′_km。之后利用步骤(6)得到的I_k与I_k1，I_k2，I_k3，......I_km间的变换矩阵将图像I′_k1，I′_k2，I′_k3，......I′_km变换到I′_k所在平面，得到

对于待变换图像中的一点p(x，y)，其变换到I′_k所在平面后坐标为

其中，

\tilde{x} = \frac{m_{1} \cdot x + m_{2} \cdot y + m_{3}}{m_{7} \cdot x + m_{8} \cdot y + m_{9}}

\tilde{y} = \frac{m_{4} \cdot x + m_{5} \cdot y + m_{6}}{m_{7} \cdot x + m_{8} \cdot y + m_{9}}

最后利用变换到图像I′_k平面的图像块，填补图像I′_k中的被剔除区域，优先以和I′_k匹配程度高的图像中的图像块填补图像I′_k。在利用图像

(是与I′_k匹配的图像变换到I′_k所在平面后所得的图像)修补图像I′_k时，在图像

中找出处于图像I′_k被剔除区域里的图像块，用之填补图像I′_k，图像I′_k的被剔除范围缩小。重复以上步骤，直到图像I′_k的被剔除范围全部被填充，得到复原图像I′_k的图像。由图4～图7所示，给出了一些复原图像的结果，其分别是图2中由上至下四幅图像的复原图像。从结果可以明显看出，复原图像修复了原始图像中的大片污迹，复原图像的复原效果很好，不能明显的看出复原的痕迹，体现了本发明复原效果真实的优点。

图8所示是一些受损图像与它们的复原图像的对比，第二列和第四列的复原图像皆是根据本发明所生成的。可以看出由本发明所生成的复原图像效果较好。

本发明未详细阐述部分属于本领域技术人员的公知技术。

Claims

1.一种基于精准图像拼接的摄像机镜头去污方法，其特征在于实现步骤如下：

(2)该有污渍的一组图像或视频中的每一帧组成的输入图像序列为I₁，I₂，...，I_n，其中I_k(1＜k＜n)为上述有污渍的一组图像中的一幅图像或视频中的一帧图像，n为图像序列中的图像总数；对于输入图像序列，分RGB三通道逐像素点计算输入图像序列的方差，得到方差矩阵D(x，y，p)，其中x，y为坐标位置，p为通道数，1≤p≤3；

(3)采用步骤(2)求得的RGB三通道的输入图像序列的方差矩阵为每一个图像坐标位置P_x，y建立一个三维的描述向量；对所有的坐标位置进行聚类，找出污迹范围R₀；

(6)根据步骤(4)所得的输入图像间的匹配关系，计算每两幅图像间的3×3透视变换矩阵，即单应性矩阵；

(8)对步骤(6)得到的一幅图像I′_k(1＜k＜n)，根据步骤(5)所得的输入图像间的匹配关系，找到与图像I_k匹配的图像所有图像，共m幅，将这些图像记为I_k1，I_k2，I_k3，......I_km，其中(1＜ki＜n，1＜i＜m)；将I_k1，I_k2，I_k3，......I_km所对应的利用步骤(7)所得到的图像记为I′_k1，I′_k2，I′_k3，......I′_km，利用步骤(6)得到的I_k与I_k1，I_k2，I_k3，......I_km间的变换矩阵将图像I′_k1，I′_k2，I′_k3，......I′_km变换到I′_k所在平面，然后利用图像I′_k1，I′_k2，I′_k3，......I′_km中的图像区域填补I′_k的被剔除部分，即可得到图像I_k的复原图像；

(9)对每幅要进行去污工作的图像执行步骤(7)，即可得到相应的复原图像。

2.根据权利要求1所述的一种基于精准图像拼接的摄像机镜头去污方法，其特征在于：所述步骤(2)的逐点计算图像序列的方差D(x，y，p)的过程为：

对图像序列的某一坐标点(x₁，y₁)，分别计算其三通道的图像序列方差D(x₁，y₁，p)，1≤p≤3，其中

3.根据权利要求1所述的一种基于精准图像拼接的摄像机镜头去污方法，其特征在于：所述步骤(3)的聚类实现过程为：根据步骤(2)所计算的方差，为图像序列的每个位置P_x，y建立一个三维描述向量(D(x，y，1)，D(x，y，2)，D(x，y，3))，然后使用k-means方法，对输入图像序列中的位置进行聚类，其中k-means的中心点个数取2，最终将输入图像序列中的位置分为两类，比较两类位置点的中心点的方差值，其中方差值较小的一组位置为有污迹位置，以得到的污迹位置范围建立一个污迹分布的二值图R₀，用1表示不存在污迹，0表示存在污迹。

4.根据权利要求1所述的一种基于精准图像拼接的摄像机镜头去污方法，其特征在于：所述步骤(4)中对污迹范围R₀进行图像膨胀操作即可实现放大。

5.根据权利要求1所述的一种基于精准图像拼接的摄像机镜头去污方法，其特征在于：所述步骤(5)提取输入图像序列的特征，进行匹配，之后建立图像间的匹配关系的实现过程如下：首先提取输入图像序列的尺度不变特征，然后利用多维检索树型结构kd-tree对每两幅图像间的特征进行拼配，可得到特征间的匹配关系，根据两幅图像特征之间的匹配关系以确定图像之间匹配关系的有无。

6.根据权利要求1所述的一种基于精准图像拼接的摄像机镜头去污方法，其特征在于：所述的步骤(6)的每两幅图像间的3×3透视变换矩阵的计算公式如下；记两幅图像I_j，I_k之间的透视变换矩阵为H_jk：

其中

H_{jk} = (\begin{matrix} m_{1} & m_{2} & m_{3} \\ m_{4} & m_{5} & m_{6} \\ m_{7} & m_{8} & 1 \end{matrix})

则图像I_j上一点(x，y)和I_k上一点的关系用H可以表示为：

\tilde{y} = \frac{m_{4} \cdot x + m_{5} \cdot y + m_{6}}{m_{7} \cdot x + m_{8} \cdot y + 1}

\tilde{x} = \frac{m_{1} \cdot x + m_{2} \cdot y + m_{3}}{m_{7} \cdot x + m_{8} \cdot y + 1}

根据两幅图像间的特征匹配关系，将4对匹配位置代入上式即可计算出m₁～m₈，之后通过随即抽样的方法RANSAC(random sample consensus)，重复计算变换矩阵，提高单应矩阵的精确性。

7.根据权利要求1所述的一种基于精准图像拼接的摄像机镜头去污方法，其特征在于：所述的步骤(8)的修补污迹图像中的填补过程为：利用变换到图像I′_k平面的图像块，填补图像I′_k中的被剔除区域，优先以和I′_k匹配程度高的图像中的图像块填补图像I′_k，在利用图像

修补图像I′_k时，在图像

中找出处于图像I′_k被剔除区域里的图像块，用之填补图像I′_k，图像I′_k的被剔除范围缩小，

是与I′_k匹配的图像变换到I′_k所在平面后所得的图像；重复以上步骤，直到图像I′_k的被剔除范围全部被填充，得到复原图像I′_k的图像。