CN101482968B - 图像处理方法和设备 - Google Patents

Abstract

公开了一种图像处理方法和设备，用于去除目标图像中的去除对象，并且对目标图像进行修复。该图像处理方法包括步骤：在目标图像中定义包含去除对象的目标区域；从与目标图像相关联的其他图像中提取至少一个子区域作为图像栈，所述其他图像中均包含了与所述目标图像的拍摄视点不同的去除对象；基于最优化方法逐个像素地从所述图像栈中选择相应子区域的相同位置的像素来替换所述目标区域中的像素。利用本发明的图像处理方法和设备，用户可以在按照自己的意愿将拍摄的图像中去除对象去除的同时，对图像进行修补，从而形成理想的全景图像。

Description

图像处理方法和设备

技术领域

本发明涉及计算机图像处理，具体涉及一种图像处理方法和设备，能够自动地将拍摄的图像中诸如遮挡物之类去除对象去除，并且根据与其相关的其他图像中的信息对目标图像进行修补。

背景技术

目前，数码相机日益流行，用户可以在日常生活中用数码相机记录下大量的照片。

例如，很多旅行者在一次旅行过程中会从不同的视角对某一景点拍摄很多照片，以便给这次旅行留下美好的回忆。但是，在拍摄的照片中经常会出现一些不想保留的对象。例如一张非常漂亮的风景图像中出现了不想保留的人像。用户很难将目标区域(包含去除对象的图像子区域)从图像中去除，而不留下明显的痕迹。

另外，因特网上的照片共享社区变得非常流行，其中网民从网络上将相同景点的不同图像收集起来，以产生一些著名景点的全景图像，也就是将这些不同视角的照片缝合起来，来产生全景图像。但是在这些图像中同样会出现一些去除对象，影响了形成的全景图像的质量，给人们带来了遗憾。

去除图像中的对象并且对图像进行修补的一种现有的方法是通过借助于像Photoshop这样的专业图像处理软件来手动地进行，而无法自动地进行。另外，一方面这些软件比较昂贵，另一方面用户需要经过大量的训练才能够掌握这些软件的功能。因此，用户需要一种能够自动去除对象并且对图像进行修补的技术。

发明内容

鉴于上述问题，完成了本发明。本发明的目的是提供一种图像处理方法和设备，能够自动地将拍摄的图像中诸如遮挡之类去除对象去除，并且根据相关的其他图像中的信息对目标图像进行修补。

在本发明的一个方面，提出了一种图像处理方法，包括步骤：在目标图像中定义包含去除对象的目标区域；从与目标图像相关联的其他图像中提取至少一个子区域作为图像栈，所述其他图像中均包含了与所述目标图像的拍摄视点不同的去除对象；基于最优化方法逐个像素地从所述图像栈中选择相应子区域的相同位置的像素来替换所述目标区域中的像素。

在本发明的另一方面，提出了种图像处理设备，包括：对象定义装置，在目标图像中定义包含去除对象的目标区域；子区域提取装置，从与目标图像相关联的其他图像中提取至少一个子区域作为图像栈，所述其他图像中包含了与所述目标图像的拍摄视点不同的去除对象；像素替换装置，基于最优化方法逐个像素地从所述图像栈中选择相应子区域的相同位置的像素来替换所述目标区域中的像素。

利用本发明的图像处理方法和设备，用户可以在按照自己的意愿将拍摄的图像中去除对象去除的同时，对图像进行修补，从而形成理想的全景图像。

附图说明

从下面结合附图的详细描述中，本发明的上述特征和优点将更明显，其中：

图1示出了根据本发明实施例的图像处理设备的结构框图；

图2是说明如图1所示的图像处理设备中图像集确定单元所执行的操作过程的流程图；

图3是说明如图1所示的图像处理设备中子区域选择单元所执行的操作的示意图；以及

图4是说明如图1所示的图像处理设备中像素替换单元所执行的操作的示意图。

具体实施方式

下面，参考附图详细说明本发明的优选实施方式。

图1示出了根据本发明实施例的图像处理设备的结构框图。如图1所示，根据本发明实施例的图像处理设备包括：对象定义单元110，定义作为全景图像一部分的目标图像中的去除对象，例如手动选择目标图像中包括去除对象的目标区域；图像集确定单元120，从所拍摄的若干图像中确定一个特定的相关图像集，其中的每幅图像都与目标图像相关(所述的若干图像可以是多幅照片或者是摄制的视频中的多个图像)，并包含有所述对象定义单元10所定义的去除对象上的至少一部分；子区域选择单元130，从确定的所述相关图像集的每幅图像中选择包含去除对象的子区域；子区域提取单元140，将子区域选择单元130所选择的子区域中与目标图像最接近的那个子区域与目标区域对准，然后将其余的子区域与该最接近的子区域对准，并且提取这些子区域形成图像栈；像素替换单元150，利用基于最优化的方法从图像栈的子区域中逐个像素地替换目标图像中的去除对象的像素，在本实施例中，所述的最优化的方法可为能量最小技术；纹理对准及融合单元160，将目标图像中替换过像素的那部分图像与该区域周围的图像进行纹理对准，并且将其与周围的图像相融合，输出最终的处理后想得到的目标图像，该目标图像可以用于全景图像的制作或者作为其他的素材。

下面对照附图2～4详细说明如图1所示的各个单元的详细处理过程。

本发明所述的对象定义单元110在使用过程中，用户可以在该单元中利用工具软件手动地定义目标图像I_dest中的目标区域R_dest。这里目标区域I_dest可以是要作为全景图像一部分的单幅图像的一部分，而目标区域包含去除对象。

为了能自动实现对象的定义，在本实施例中，对象定义单元110也可以采用事先创建的检测模型来检测图像中的去除对象，这对于批处理非常有利，因为能够提高处理速度。例如，如果用户要去除图像中所有的人像，则对象定义单元110可以利用事先训练的人像检测模型来自动地定义该图像中的去除对象。同样，用户也可以事先训练其他的对象模型来定义图像中的去除对象。

如上所述，图像集确定单元120从用户旅行中所拍摄的所有图像中获得与去除对象相关的图像，作为相关图像集。图2是说明如图1所示的图像处理设备中图像集确定单元所执行的处理过程的流程图。

如图2所示，在步骤S11，从用户一次旅行所拍摄的图像的相册I{1，N}＝{I_i|i＝1，...，N}中输入一幅图像。用户一次旅行中通常要从各个角度对某个景物进行拍摄，以留作纪念。虽然这些图像的拍摄视点并不是连续的，但是通常在一个视点所拍摄的图像中包含了在其他视点拍摄的部分景物，因此可以将其用于目标图像的修补。

在步骤S12，检测该幅图像和目标图像I_dest的特征并且进行特征匹配，从而找出匹配的特征对。例如这里可以采用SIFT特征。有关SIFT特征的描述可以参见非专利文献1(P. Pérez，M.Gangnet，and A.Blake.Poisson image editing.ACM Transactions on Graphics(SIGGRAPH′03)，2(3)：313-318)。该非专利文献1通过引用被合并与此。但是，也可以采用其他的特征，例如边缘特征等等。

接下来，在步骤S13，基于这些匹配的特征对，一些鲁棒性的计算机视觉技术，例如RANSAN估计可以被用来判断两幅图像中是否存在重叠区域，并且借此滤除那些与摄像机视点变换矩阵T_i不一致的匹配者。然后，基于剩余的这些匹配者，进一步精确地估计图像之间的视点变换。

在步骤S14，根据计算的视点变换，验证目标图像和输入的图像之间是否存在重叠区域。

如果在步骤S14的判断是肯定的，则在步骤S15，进一步判断该输入的图像中是否包含目标区。否则，流程转到步骤S17。

如果在步骤S15的判断是肯定的，也就是输入的图像中包含有目标区，则在步骤S16将该输入的图像添加到相关图像集中，否则，流程转到步骤S17。

接下来，在步骤S17，判断该输入的图像是否是相册中的最后一幅图像。如果是，则流程结束，否则在步骤S18，从相册中输入下一幅图像，然后进行与上述相同的处理过程。

这样，针对相册中的每幅图像进行上述的处理之后，图像集确定单元120就确定了与目标图像相关的相关图像集，用于修改目标图像。

图3是说明如图1所示的图像处理设备中子区域选择单元130所执行的操作的示意图。

如上所述子区域选择单元130用于从相关图像集中选择包含去除对象的子区域。如图3所示，假设目标图像I_dest的图像区域A中包含有去除对象，子区域选择单元130进一步定义该区域A的周围区域B，作为感兴趣区(ROI)C。这里，可以将相关图像集表示为I’_i{m，n}＝{I_i|i＝m，...，n}，它是I{1，N}的子集。这些对应的区域可以通过前面计算的视点变换来粗略地确定。

视点变换矩阵T_i通常提供图像中被遮挡的区域之间大致的对应关系，因此只能将其用作搜索的起点。在子区域提取单元140中，通过特征检测和匹配来进一步精确地对准目标图像中的目标区域和相关图像集中的子区域。通常，目标图像I_dest中的区域C是最可能被遮挡的背景区域，因此建立该区域C和其他相关子区域之间的对应关系是非常困难的。这里，首先检测图像I_dest和每一幅相关图像之间的特征并且进行匹配。设可靠的匹配特征表示为{(x_p，y_p)|p＝1，...，S}，则匹配的可靠性可以由匹配特征的数目F_r和特征的几何结构的组合来度量：

$\mathrm{St}(I_i,I_j)=F_r+\underset{p,q\∈\{1,...,S\},p\≠q}{\mathrm{\Σ}}|x_p-x_q|\·|y_p-y_q|\·\·\·\·\·\·\left(1\right)$

通过评估目标图像I_dest和图像I_i之间的匹配图像的可靠程度，可以从相关图像集中找到最可靠的相关图像I_max，将该图像作为参考图像，也就是上述的St(I_i，I_j)最大的图像。

然后，在子区域提取单元140，首先将I_dest与I_max对准，然后将剩余的I_i与I_max对准，从而精确地将与去除对象相对应的所有区域进行了精确的对准。在对准之后，从这些图像中提取相应的子区域，形成图像栈{R_i|i＝m，...，n}。图像栈中的图像将被用于修补目标图像中的去除对象。

在全景图像的形成中，主缝合表面和去除对象通常并不共享相同的深度平面。由于全景图像的形成是基于主缝合表面的，当视点发生变化时，去除对象通常与主缝合表面不一致。在像素替换单元150中，考虑到已经对准的图像栈R_i，对于每个像素位置(x，y)，可以得到一个像素值数组{p(x，y，l)|l＝m，...，n}，其中记录了对准的图像栈中同一像素位置的像素值的变化。l是表示像素值来自哪个图像的标记，而l(p)表示像素p的标记。通常，背景像素相比于属于去除对象的像素更容易出现。这里，将数组的中值作为创建的MRF模型的数据能量参数：

e_d＝K₁·(p(x，y，i)-median{p(x，y，i)|i＝m，...n})    ……(2)

其中median()表示中值算子。

对于诸如MRF之类基于最优化的技术，还需要定义后验参数：

$e\_s=\left\{\begin{array}{cc}{K}_2& \mathrm{if}|x_u-x_v|+|y_u-y_v|=1\mathrm{andl}\left(p(x_u,y_u)\right)\≠l\left(p(x_v,y_v)\right)\\ 0& \mathrm{otherwise}\end{array}\right.\·\·\·\·\·\·\left(3\right)$

通过将二维网格中每个像素位置作为图形节点，而将相邻像素之间的平滑加权作为图形边缘，则可以创建一个四邻MRF。然后，利用诸如非专利文献2(Patwardhan，K.A.Sapiro，G.Bertalmio，M.Video inpainting of occluding and occluded objects，IEEE InternationalConference on Image Processing，vol.2，pp.：II-69-72，2005)所描述的能量最优化技术来最小化该函数的能量，以获得后验参数。输出的结果就是二维网格中每个像素位置的标记，该标记指出了所选的像素值来自图像栈中的哪个图像，因此，将图像栈中的该图像的相应位置的像素替换目标图像中的目标区域的相应像素。针对每个像素进行这样的操作，就同时完成了对象的去除和图像的修补过程。从图4中可以看出，借助于对准的图像栈，基于最优化结果，来自于去除对象的原始图像像素值被来自其他图像片的像素值所替换。因此，本实施例将去除对象的去除和图像的填补在相同的计算框架下完成。

在修补图像之后，还可以通过进一步的对准和图像融合技术来将修补过程中由于最优化过程所带来的空间偏移消除掉。在纹理对准和融合单元160中，首先检测并匹配修补产生的纹理图像和目标图像，以便补偿小的偏移，因为通常是从区域B中选择出相应的像素来替换去除对象的像素。然后，采用如非专利文献3(Leibe，A.Leonardis，and B.Schiele.Combined object categorization and segmentation with animplicit shape model.In ECCV04 Workshop on Statistical Learning inCV)所述的梯度域融合方法来消除修补的部分与其他部分之间图像色调的不一致。

上面的描述仅用于实现本发明的实施方式，本领域的技术人员应该理解，在不脱离本发明的范围的任何修改或局部替换，均应该属于本发明的权利要求来限定的范围，因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (17)

1.一种图像处理方法，包括步骤：

在目标图像中定义包含去除对象的目标区域；

从与目标图像相关联的其他图像中提取至少一个子区域作为图像栈，所述其他图像中均包含了与所述目标图像的拍摄视点不同的去除对象；

基于利用能量最小技术的最优化方法逐个像素地从所述图像栈中选择相应子区域的相同位置的像素来替换所述目标区域中的像素。

2.如权利要求1所述的图像处理方法，所述与目标图像关联的其他图像是通过特征检测和匹配来从拍摄的一系列图像中确定的图像集。

3.如权利要求1所述的图像处理方法，在对所述去除对象上的像素进行替换后，还包括步骤：

通过梯度域融合来消除目标图像中被替换的像素与未替换的像素之间的色调不一致。

4.如权利要求3所述的图像处理方法，还包括步骤：

通过特征检测和匹配来对准被替换了像素的区域的纹理和未替换像素的区域的纹理。

5.如权利要求2所述的图像处理方法，所提取的子区域是通过在所述相关图像集中的图像和所述目标图像之间进行特征检测和匹配来从所述相关图像集中选择的。

6.如权利要求5所述的图像处理方法，还包括步骤：

将所述子区域中与所述目标图像最匹配的子区域与目标图像对准；以及

将除最匹配的子区域之外的子区域与最匹配的子区域对准。

7.如权利要求6所述的图像处理方法，其中所述子区域由包含去除对象的区域和该目标区域的部分周围区域组成。

8.如权利要求1所述的图像处理方法，在目标图像中定义目标区域的步骤是指手动地定义目标图像中的去除对象。

9.如权利要求1所述的图像处理方法，在目标图像中定义去除对象的步骤是指通过事先创建的检测模型来在目标图像中定义去除对象。

10.一种图像处理设备，包括：

对象定义装置，在目标图像中定义包含去除对象的目标区域；

子区域提取装置，从与目标图像相关联的其他图像中提取至少一个子区域作为图像栈，所述其他图像中包含了与所述目标图像的拍摄视点不同的去除对象；

像素替换装置，基于利用能量最小技术的最优化方法逐个像素地从所述图像栈中选择相应子区域的相同位置的像素来替换所述目标区域中的像素。

11.如权利要求10所述的图像处理设备，还包括：

图像集确定装置，通过特征检测和匹配来从拍摄的一系列图像中确定与目标图像相关的图像集，作为所述其他图像。

12.如权利要求10所述的图像处理设备，还包括：

纹理对准和融合装置，通过特征检测和匹配来对准所述像素替换装置中被替换了像素的区域的纹理和未替换像素的区域的纹理，以及通过梯度域融合来消除目标图像中被替换的像素与未替换的像素之间的色调不一致。

13.如权利要求11所述的图像处理设备，还包括：

子区域选择装置，通过在所述相关图像集中的图像和所述目标图像之间进行特征检测和匹配来从所述相关图像集中选择相应的子区域。

14.如权利要求13所述的图像处理设备，所述子区域提取装置将所述子区域中与所述目标图像最匹配的子区域与目标图像对准，以及将除最匹配的子区域之外的子区域与最匹配的子区域对准。

15.如权利要求14所述的图像处理设备，其中所述子区域由包含去除对象的目标区域和该区域的周围区域组成。

16.如权利要求10所述的图像处理设备，其中所述对象定义装置允许用户手动地定义目标图像中去除对象。

17.如权利要求10所述的图像处理设备，其中所述对象定义装置通过事先创建的检测模型来在目标图像中定义去除对象。

Images