CN101833668A

CN101833668A - 一种基于轮廓带图的相似单元的检测方法

Info

Publication number: CN101833668A
Application number: CN201010159931A
Authority: CN
Inventors: 胡事民; 程明明; 张方略
Original assignee: Tsinghua University
Current assignee: Tsinghua University
Priority date: 2010-04-23
Filing date: 2010-04-23
Publication date: 2010-09-15
Anticipated expiration: 2030-04-23
Also published as: WO2011131029A1; CN101833668B

Abstract

本发明公开了一种基于轮廓带图的相似单元的检测方法，其步骤为：S1：使用简单笔画标定被检测图像中相似单元中的其中一个，以及标定被检测图像的背景区域；S2：对所标定的被检测图像进行分割，提取出相似单元的样例，并去除被检测图像的背景区域，保留由相似单元组成的前景区域；S3：从所述前景区域中获取轮廓图，得到图像中潜在的物体轮廓边界；S4：由所述轮廓图中轮廓点附近区域的范围构建轮廓带图；S5：将所述相似单元的样例和所述轮廓带图进行匹配，确定被检测图像中相似单元的位置。本发明能够根据用户输入的简单提示，寻找图像中的相似单元并对其定位，检测结果可以应用于如图像重排、编辑传播、同步变形等基于图像中场景物体级别的编辑操作。

Description

一种基于轮廓带图的相似单元的检测方法

技术领域

本发明属于图像处理技术领域，涉及一种目标的检测方法，更具体地，涉及一种基于轮廓带图的相似单元的检测方法。

背景技术

相似单元不论是在自然场景或是在人工场景中都大量存在。由于受到遮挡、部分缺失、相似单元间形状差异、光照变化等因素的影响，在编辑这些重复图像元素的过程中，要保持它们之间协调一致的编辑难度非常大。现有的图像编辑方法大多直接操作底层图像元素，编辑对象过于底层，用户操作不便。人们迫切希望能够通过更加感性的简单操作来实现对图像的高效编辑，并对图像中的语义单元进行直接操作。

重复物体检测在很长的一段时间都受到了很多研究者的关注。Leung和Malik于1996年提出了“Detecting，localizing and groupingrepeated scene elements from an image”，该方法通过对每个独立的图像单元建立一个节点，把它们之间的仿射变换作为边，并通过图的方式寻找图像中的重复元素；Liu等人于2003年提出了“A computationalmodel for periodic pattern perception based on frieze and wallpapergroups”，用于发现周期性纹理，虽然上述两种方法都能找出图像中的重复单元，但是所针对的重复单元仍然局限于小区域，处理对象本身不具备语义性，而且不能处理有着明显遮挡关系、形状变化等复杂情况。Ahuja和Todorovic于2007年提出了“Extracting texels in 2.1Dnatural textures”，该方法虽然能够从图像中检测具有一定语义性的相似单元，并处理遮挡的情况，但是该方法需要数十秒的计算时间。

虽然现有的用于图像中相似单元检测的计算机视觉方法离应用还有很大距离，但一些最近的图形学交互手段为我们简化这一问题提供了技术支持。

发明内容

(一)要解决的技术问题

本发明要解决的技术问题是：如何从含有相似单元的图像中寻找出相似单元及其精确位置。通过检测这些相似单元，可以使得一系列高层次的图像编辑应用变成可能。

(二)技术方案

为了解决上述技术问题，本发明提出了一种用于检测图像中相似单元的方法，利用简单的用户交互手段提供初始信息，并从图像中检测出相似单元。这些检测结果可以用于一系列场景物体级别的图像编辑应用。

本发明提供的基于轮廓带图的相似单元的检测方法，包括以下步骤：

S1：使用简单笔画标定被检测图像中多个相似单元中的其中一个，并标定被检测图像的背景区域；

S2：对所标定的被检测图像进行分割，提取出所标定的相似单元的样例，并去除被检测图像的背景区域，保留由所述多个相似单元组成的前景区域；

S3：从所述前景区域中获取轮廓图，得到被检测图像中潜在的物体轮廓边界；

S4：由所述轮廓图中轮廓点附近区域的范围构建轮廓带图，所述轮廓图中轮廓点附近区域的范围为轮廓带；

S5：将所标定的相似单元的样例和所述轮廓带图进行匹配，确定被检测图像中所述多个相似单元的位置。

其中，所述步骤S3中获取轮廓图的方法为：对所述前景区域进行层次化的均值漂移分割。

其中，所述步骤S4中构建轮廓带图的方法为：对轮廓图引入其局部几何信息以构建轮廓带图。

其中，所述步骤S4中构建的轮廓带图为二维向量组成的数组：M＝{m_p}_H×W，其中，m_P为被检测图像中的每个像素P对应的二维向量，H×W为被检测图像的大小。

其中，所述步骤S5中将所标定的相似单元的样例和所述轮廓带图进行匹配时，将所标定的相似单元的样例的轮廓构建成二维向量组成的数组：T＝{t_p}_h×w，其中，t_p为相似单元的样例中每个像素P对应的二维向量，h×w为相似单元的样例的大小。

其中，所述步骤S5中将所标定的相似单元的样例和所述轮廓带图进行匹配时的匹配程度的计算方法为：

D_{(u, v)} (T, M) = Σ_{j = 0}^{h} Σ_{i = 0}^{w} {(t_{(i, j)} \cdot m_{(i + u, j + v)})}^{2}

其中，(u，v)为轮廓带图中被匹配点的坐标；根据匹配程度确定被检测图像中所述多个相似单元的位置。

其中，确定被检测图像中所述多个相似单元的位置的方法为：对匹配程度值进行非极大值抑制，选取匹配程度值中的极大值点，得到相似单元的位置。

(三)有益效果

上述技术方案具有如下优点：本发明所提出的用于检测图像中相似单元的方法利用简单的用户交互手段提供初始信息，并从图像中检测出相似单元并对其定位，检测方法快速、精确，检测结果还可以应用于如图像重排、编辑传播、同步变形等基于图像中场景物体级别的编辑操作。

附图说明

图1为本发明基于轮廓带图的相似单元检测方法的一个实施例的处理流程图；

图2为本发明基于轮廓带图的相似单元检测方法的一个实施例的输入原始图；

图3为本发明基于轮廓带图的相似单元检测方法的一个实施例的检测结果。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

本发明公开了一种通过简单用户交互方式检测图像中相似单元的方法，通过该方法检测出图像中相似单元之后可以进行一系列的物体级别的图像编辑，包括：图像重排、同步变形、编辑传播等。

如图1所示，为本发明基于轮廓带图的相似单元检测方法的一个实施例的处理流程图，图中表示的步骤包括：

a：用户输入简单的笔画粗略标定被检测图像中相似单元中的一个，同时标定图像的背景区域。输入图像中的相似单元可以有一定程度的遮挡，形状差异，色彩差异等。用户只需要大致进行标定就可以满足处理需要。

b：获取轮廓图和样例：首先利用分割方法分别得到相似单元中的一个样例和由相似单元组成的前景区域。从前景区域中获取轮廓图。这里所指的轮廓图是指从图像中计算出的潜在的物体轮廓边界得到轮廓图。一个可能的获取轮廓图具体方案是对前景区域采用层次化的均值漂移分割。这里所指的层次化均值飘移分割在Paris和Durand在2007年的工作“A topological approach to hierarchical segmentationusing mean shift”中有详细介绍。其它获取轮廓图的方法也可以用于此步骤。轮廓图(如图1的b步骤左图所示)中每一个像素点的亮度值和该点的物体边缘的概率相对应。此图中越暗的点是边缘点的概率越大。用户所选取的样例边界(如图1的b步骤右图所示)是进行进一步检测的重要中间数据。

c：构建轮廓带图：轮廓图中轮廓点附近一定区域的范围为轮廓带。本实施例中的轮廓带图是一个二维向量组成的数组，记为M＝{m_p}_H×W。数组大小H×W和输入的被检测图像一致。输入图像中的每个像素P对应一个二维向量m_P。在轮廓带范围以外的向量值为0，轮廓带范围之内的向量大小为附近区域轮廓点可信度值的平均(图1的c步骤图为了打印清晰，越暗的点代表作为边缘的可信度越大)。向量的方向为该点处的边缘梯度方向。梯度方向的获取可参考常见的边缘检测方法，这些方法中都有梯度估计的步骤。

d：利用轮廓带图进行匹配，寻找相似单元：对样例的轮廓处的每一点也和轮廓带图类似的赋予一个二维向量，得到模板图T＝{t_p}_h×w(通常数组大小h×w远远小于图像大小H×W)。轮廓点处的二维向量幅值为1，方向为梯度方向。其余点处的二维向量为0。图像中每一点处存在待检测相似单元的概率可以通过以下方法计算。采用轮廓带图进行计算某一点(u，v)处的匹配程度为：

D_{(u, v)} (T, M) = Σ_{j = 0}^{h} Σ_{i = 0}^{w} {(t_{(i, j)} \cdot m_{(i + u, j + v)})}^{2}

这样可以计算出每一点处的匹配程度。由于该方法实质上是求解一些卷积值，可以采用快速傅里叶变换方法加速求解，进一步对这些匹配值进行非极大值抑制，即选取匹配值中的极大值点，就可以得到相似单元的位置。

如图2所示，为本发明基于轮廓带图的相似单元检测方法的一个实施例的输入原始图。用户标定输入图片中的一条鱼为样例，同时简单的标出背景区域。其中对鱼的标定用暗色显示，对背景的标定用亮色显示。

如图3所示，为本发明基于轮廓带图的相似单元检测方法的一个实施例的检测结果。中心的圆圈内部的亮度代表检测结果的可信度，即该位置处的匹配程度。可以对模板进行一定的旋转和缩放来检测含有多个尺度和旋转方向的相似单元的情况。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和替换，这些改进和替换也应视为本发明的保护范围。

Claims

1.一种基于轮廓带图的相似单元的检测方法，其特征在于，包括以下步骤：

2.如权利要求1所述的基于轮廓带图的相似单元的检测方法，其特征在于，所述步骤S3中获取轮廓图的方法为：对所述前景区域进行层次化的均值漂移分割。

3.如权利要求1所述的基于轮廓带图的相似单元的检测方法，其特征在于，所述步骤S4中构建轮廓带图的方法为：对轮廓图引入其局部几何信息以构建轮廓带图。

4.如权利要求1所述的基于轮廓带图的相似单元的检测方法，其特征在于，所述步骤S4中构建的轮廓带图为二维向量组成的数组：M＝{m_p}_H×W，其中，m_P为被检测图像中的每个像素P对应的二维向量，H×W为被检测图像的大小。

5.如权利要求1所述的基于轮廓带图的相似单元的检测方法，其特征在于，所述步骤S5中将所标定的相似单元的样例和所述轮廓带图进行匹配时，将所标定的相似单元的样例的轮廓构建成二维向量组成的数组：T＝{t_p}_h×w，其中，t_p为相似单元的样例中每个像素P对应的二维向量，h×w为相似单元的样例的大小。

6.如权利要求1所述的基于轮廓带图的相似单元的检测方法，其特征在于，所述步骤S5中将所标定的相似单元的样例和所述轮廓带图进行匹配时的匹配程度的计算方法为：

D_{(u, v)} (T, M) = Σ_{j = 0}^{h} Σ_{i = 0}^{w} {(t_{(i, j)} \cdot m_{(i + u, j + v)})}^{2}

7.如权利要求6所述的基于轮廓带图的相似单元的检测方法，其特征在于，确定被检测图像中所述多个相似单元的位置的方法为：对匹配程度值进行非极大值抑制，选取匹配程度值中的极大值点，得到相似单元的位置。