CN101727452B - 图像处理方法和设备 - Google Patents

Abstract

本发明提供了一种用于从第一图像中检测第二图像的图像处理方法和设备。该图像处理方法包括：针对所述第一图像和所述第二图像中的每个图像，为所述图像中的每个基元构建局部邻域结构，并且提取所述局部邻域结构的特征；根据所提取的局部邻域结构的特征，针对所述第二图像中的每个局部邻域结构，从所述第一图像中查找与其最相似的一个或多个局部邻域结构作为其候选匹配，并且针对每个候选匹配对，估计所述第二图像在所述第一图像中出现的变换参数；以及，以所估计出的变换参数作为参数空间中的向量，寻找所述参数空间中的密集区域，并且据此确定最终的变换参数。根据上述技术方案，可以以较低的计算复杂度和较高的检测准确度进行目标图像检测。

Description

图像处理方法和设备

技术领域

本发明涉及图像处理领域，特别涉及一种用于从第一图像中检测第二图像的图像处理方法和设备。

背景技术

随着信息技术的发展和社会生活数字化程度的日益提高，近年来，工程图纸的管理和检索已成为一个亟待解决的研究课题。据统计，截止到上个世纪90年代初，仅仅美国和加拿大地区的各种工程图纸就已经达到35亿张，并以每年超过两千六百万张的速率不断递增；为了汇集整理这些工程图纸，如归档、复制以及查找，平均每年花费的费用高达10亿美元。为提高工作效率并降低维护成本，近些年来，一些学者开始致力于研究工程图纸的电子化管理，主要包括：工程图纸理解，即从硬拷贝的工程图纸自动生成CAD电子文件；基于内容的匹配和检索，即：以一幅图纸或图纸中某一部件的形状为索引，自动从图纸库中查找与其相似的设计图。

基于内容的工程图纸匹配具有极高的应用价值。当工程技术人员设计一个新产品时，往往要参照或修改以前的设计图，为此，就必须逐一浏览这些文档以查找相关的图纸，然而，这个过程将耗费很多的时间和精力。为解决这一问题，人们提出了用文本辅助检索的策略，即为每一幅工程图标注注释文字，并利用这些注释文本进行关键字检索。然而，为成千上万的设计图进行人工标注同样要耗费巨大的精力，而且，仅仅利用文本往往不能很好的表达工程图中的内容，从而降低检索的精度。如果能根据工程图的内容进行自动的检索和匹配，将大大提高设计人员的工作效率并降低开发和维护成本。

作为现有的一种方法，[专利文档-1]中的方法将文本和图形结构信息结合起来从数据库中查找包含某一部件的工程图。该方法以文本作为检索条件，由这些文本信息从模型库中匹配几何模型，最后根据文本及模型的形状检索工程图。因此，该方法从本质上来说并没有脱离对基于文本的检索方式的依赖，而且，该方法主要适用于装配工程图中。[专利文档-2]提出了一种从工程设计图中检测特定目标的方法。该方法首先从工程图中提取直线段和平滑的曲线，并以此作为后续处理的基元；之后，根据这些基元的空间分布利用Delaunay三角技术构建属性图(attributed graph)，即用属性图的形式来描述工程图的内容；最后，采用属性图匹配策略计算目标图像和待检测图像的相似度，从而完成目标检测的任务。该方法的最大缺点是运行速度较慢，事实上，属性图匹配的计算复杂度与目标图像和待检测图像的复杂度成指数关系，因此，对于较为复杂的目标图像和待检测图像，该方法很难实用化。

作为另一种现有方法，在[非专利文档-1]中，S.Tabbone提出了利用F-Signature对工程图图元进行匹配的策略。该方法利用一种特殊的直方图，即F-Signature，来匹配工程图中的图元。然而，该方法只能匹配和查找工程图中的独立图元，不能进行部分检测和匹配，因此，限制了其应用范围。

[非专利文档-2]指出，相比于点阵表达方式，采用直线基元来表述图像的内容具有很多优点，例如：表述的简洁性；认知上的合理性；此外，这种表述方法提供了一些中间层次的信息来描述工程图的内容，如基元的平行或相交关系等。因此，[非专利文档-2]采用直线作为基本描述子，并通过定义直线间的相对关系属性来描述图像的结构信息。通过上述过程，目标检测被转化成描述子集合间的对应问题，该问题可以通过一个二次优化的过程来实现。究其本质，[非专利文档-2]的方法仍属于属性图匹配的范畴，因此，计算速度就成为该方法的一个重要瓶颈，这也限制了该方法的实用性。

从视觉的角度合理组合边缘轮廓，并以此为基础进行目标检测已经成为计算机视觉领域的一个重要课题。[非专利文档-3]提出了边缘轮廓网络(contour segment network)的规则，并据此将边缘轮廓组合成局部结构的形式；之后，利用聚类方法对训练样本中的边缘轮廓结构进行处理，生成一个边缘轮廓码本，并利用该码本得到一个支持向量机分类器(SVM)；检测时，利用光栅扫描策略，验证待检测图像中的各个位置是否包含目标图像。该方法声称可以有效的从自然场景图像中检测特定的对象。然而，[非专利文档-3]的方法并不适合于从工程图中检测对象的实际需求：首先，该方法需要对每一类的对象进行训练来生成边缘轮廓码本；其次，该方法采用光栅扫描策略进行检测，因此，速度较慢，而且不能很好的应对比例缩放尺度变化的情况。

综合来看，现有的目标检测方法的主要问题包括：(1)利用属性图匹配完成检测的过程，例如[专利文档-2]和[非专利文档-2]的方法，该策略的主要问题是匹配速度较慢，对于较为复杂的图像，完成一次匹配往往需要几秒甚至几十秒的时间；(2)基于训练的检测方法，例如[非专利文档-3]和[非专利文档-4]的方法，这些方法往往在检测性能上能达到较好的效果，然而，这些方需要对每一类特定的对象进行训练，因此，很难实用化；此外，检测的速度往往不能满足实用的需求；(3)基于全局匹配的方法，例如[非专利文档-1]中的方法，这些方法首先将待检测图像中分割成独立的单元，之后，对目标图像和这些单元进行匹配，很显然，这种方法只适用于某些特定类型的图像。

[专利文档-1]美国专利No.US5,845,288.

[专利文档-2]美国专利No.US7,106,330B2.

[非专利文档-1]S.Tabbone，L.Wendling，K.Tombre，“Matching ofgraphical symbols in line-drawing images using angular signatureinformation”，International Journal of Document Analysis and Recognition，volume 6，issue 1，June 2003.

[非专利文档-2]Xiaofeng Ren，“Learning and matching line aspectsfor articulated object”，in Proceedings of the IEEE conference of computervision and pattern recognition，1-8，2007.

[非专利文档-3]Vittorio Ferrari，Loic Fevrier，Frederic Jurie，CordeliaSchmid，“Groups of adjacent contour segments for object detection”，IEEEtransactions on pattern analysis and machine intelligence，vol.30，no.1，36-51，2008.

[非专利文档-4]Jamie Shotton，Andrew Blake，Roberto Cipolla，“Contour-based learning for object detection”，in Proceedings of the IEEEinternational conference on computer vision，503-510，2005.

[非专利文档-5]Yossi Rubner，Carlo Tomasi，Leonidas J.Guibas，“Theearth mover’s distance as a metric for image retrieval”，International journalof computer vision，volume 40，no.2，page 99-121，2000.

[非专利文档-6]Bogdan Georgescu，Ilan Shimshoni，Peter Meer，“Mean shift based clustering in high dimensions：a texture classificationexample”，in Proceedings of the IEEE international conference oncomputer vision，456-463，2003.

发明内容

在下文中给出了关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。但是，应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图用来确定本发明的关键性部分或重要部分，也不是意图用来限定本发明的范围。其目的仅仅是以简化的形式给出关于本发明的某些概念，以此作为稍后给出的更详细描述的前序。

鉴于现有技术的上述情形，本发明的目的是提供一种新颖的用于从第一图像中检测第二图像的图像处理方法和设备，其能够解决上述现有技术问题中的一个或多个。在本文中，第一图像对应于待检测图像，而第二图像对应于目标图像。

为了实现上述目的，根据本发明的一个方面，提供了一种图像处理方法，用于从第一图像中检测第二图像，所述图像处理方法包括以下步骤：局部邻域结构构建步骤，针对所述第一图像和所述第二图像中的每个图像，为所述图像中的每个基元构建局部邻域结构，并且提取所述局部邻域结构的特征；局部邻域结构匹配步骤，根据所提取的局部邻域结构的特征，针对所述第二图像中的每个局部邻域结构，从所述第一图像中查找与其最相似的一个或多个局部邻域结构作为其候选匹配，并且针对每个候选匹配对，估计所述第二图像在所述第一图像中出现的变换参数；以及检测步骤，以所估计出的变换参数作为参数空间中的向量，寻找所述参数空间中的密集区域，并且据此确定最终的变换参数。

根据本发明的另一个方面，还提供了一种图像处理设备，用于从第一图像中检测第二图像，所述图像处理设备包括：局部邻域结构构建装置，用于针对所述第一图像和所述第二图像中的每个图像，为所述图像中的每个基元构建局部邻域结构，并且提取所述局部邻域结构的特征；局部邻域结构匹配装置，用于根据所提取的局部邻域结构的特征，针对所述第二图像中的每个局部邻域结构，从所述第一图像中查找与其最相似的一个或多个局部邻域结构作为其候选匹配，并且针对每个候选匹配对，估计所述第二图像在所述第一图像中出现的变换参数；以及检测装置，用于以由所述局部邻域结构匹配装置估计出的变换参数作为参数空间中的向量，寻找所述参数空间中的密集区域，并且据此确定最终的变换参数。

根据本发明的另一个方面，还提供了用于实现上述图像处理方法的计算机程序产品。

根据本发明的另一个方面，还提供了计算机可读介质，其上记录有用于实现上述图像处理方法的计算机程序代码。

根据本发明的上述技术方案，可以以较低的计算复杂度和较高的检测准确度进行目标图像检测。

附图说明

本发明可以通过参考下文中结合附图所给出的详细描述而得到更好的理解，其中在所有附图中使用了相同或相似的附图标记来表示相同或者相似的部件。所述附图连同下面的详细说明一起包含在本说明书中并形成说明书的一部分，用来进一步举例说明本发明的优选实施例和解释本发明的原理和优点。在附图中：

图1是示出根据本发明实施例的用于从待检测图像中检测目标图像的图像处理方法的总体流程图；

图2是具体示出图1所示的步骤S110的局部邻域结构构建处理的流程图；

图3是示出局部邻域结构构建处理中根据k近邻法构建的一个局部邻域结构的示意图；

图4是示出局部邻域结构构建处理中根据EMD距离计算基元间夹角的示例图；

图5是具体示出图1所示的步骤S120的局部邻域结构匹配处理的流程图；

图6是具体示出图5所示的步骤S510的局部邻域结构距离计算处理的流程图；

图7(a)示出了局部邻域结构距离计算处理的示例中目标图像的一个局部邻域结构，而图7(b)示出了局部邻域结构距离计算处理的示例中待检测图像的一个局部邻域结构；

图8是具体示出图5所示的步骤S530的参数估计处理的流程图；

图9是示出参数估计处理的示例中利用窗口搜索策略确定参数的结果的示意图；

图10是示出参数估计处理的示例中根据目标图像的一个局部邻域结构估计出的中心位置的示意图；

图11是示出参数估计处理的示例中根据目标图像的所有局部邻域结构估计出的中心位置的示意图；

图12是具体示出图1所示的步骤S130的检测处理的流程图；

图13是示出检测处理的示例中检测结果的示意图；以及

图14是示出根据本发明实施例的用于从待检测图像中检测目标图像的图像处理设备的框图。

本领域技术人员应当理解，附图中的元件仅仅是为了简单和清楚起见而示出的，而且不一定是按比例绘制的。例如，附图中某些元件的尺寸可能相对于其它元件放大了，以便有助于提高对本发明实施例的理解。

具体实施方式

在下文中将结合附图对本发明的示范性实施例进行描述。为了清楚和简明起见，在说明书中并未描述实际实施方式的所有特征。然而，应该了解，在开发任何这种实际实施例的过程中必须做出很多特定于实施方式的决定，以便实现开发人员的具体目标，例如，符合与系统及业务相关的那些限制条件，并且这些限制条件可能会随着实施方式的不同而有所改变。此外，还应该了解，虽然开发工作有可能是非常复杂和费时的，但对得益于本公开内容的本领域技术人员来说，这种开发工作仅仅是例行的任务。

在此，还需要说明的一点是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的装置结构和/或处理步骤，而省略了与本发明关系不大的其它细节。

本领域的技术人员应当清楚，虽然根据本发明的图像处理方法和设备优选地以工程设计图为处理对象，但是本发明也适用于一般图像，只要预先通过例如边缘轮廓提取处理将其转化为线条图即可。

下面参照附图详细描述根据本发明实施例的用于从待检测图像中检测目标图像的图像处理方法。

图1示出了根据本发明实施例的用于从待检测图像中检测目标图像的图像处理方法的总体流程图。

如图1所示，在步骤S110，针对待检测图像和目标图像中的每个图像，为所述图像中的每个基元构建局部邻域结构，并且提取所述局部邻域结构的特征。

接下来，在步骤S120，根据所提取的局部邻域结构的特征，针对目标图像中的每个局部邻域结构，从待检测图像中查找与其最相似的一个或多个局部邻域结构作为其候选匹配，并且针对每个候选匹配对，估计目标图像在待检测图像中出现的变换参数。

最后，在步骤S130，以所估计出的变换参数作为参数空间中的向量，寻找参数空间中的密集区域，并且据此确定最终的变换参数。

在此，待检测图像或目标图像可以是工程设计图的点阵图像，如BMP、JIF、JPG(JPEG)等标准图像格式，该图像可以通过扫描装置或照相装置从硬拷贝的工程设计图纸获得，也可以直接由工程设计图CAD文件转换而来。此外，待检测图像或目标图像还可以是矢量化的CAD电子文件。对于点阵图像，需要采取矢量化装置或者具有类似功能的装置从该工程设计图中提取出其中的直线和曲线段；对于CAD电子文件，需要从中解析出组成该工程设计图的直线和曲线。总之，需要先将工程设计图分解为直线和曲线段的集合。这些直线和曲线段统称为基元。

除了部件自身的轮廓信息外，一幅工程设计图往往包含着其它的一些辅助信息，例如用以说明部件尺寸、工艺流程等的标注线和标注文本，用以对部件进行辅助说明的点化线、虚线等。然而，根据本发明的图像处理方法并不依赖于这些辅助信息，相反，这些辅助信息有可能会降低性能。因此，在对输入进行处理时，如果能去除或者部分去除这些辅助信息，将有利于提高根据本发明的图像处理方法的性能。

下面结合附图对根据本发明实施例的图像处理方法的各个步骤的具体实施方式进行详细描述。但是，本领域的技术人员应当清楚，本发明不局限于下述具体实施方式。

1.局部邻域结构构建处理

图2是具体示出图1所示的步骤S110的局部邻域结构构建处理的流程图，其中的处理针对待检测图像和目标图像中的每个图像。

如图2所示，首先在步骤S210，以图像中的每个基元为参考基元，根据图像中基元的空间分布关系查找其近邻基元，并将所述参考基元与所述近邻基元组合在一起形成局部邻域结构。

接下来，在步骤S220，提取参考基元和近邻基元的形状特征以及参考基元和近邻基元之间的空间结构关系特征作为所述局部邻域结构的特征。

在此，需要说明的是，对于图像中的较小的基元，即尺寸小于预定阈值的基元，由于它们所承载的信息较少，而且，大多是由噪声引起的，因此，优选地，在实际应用中可以将其先过滤掉，即这些基元不参与构建局部邻域结构的操作。

对于步骤S210中的局部邻域结构构建处理，例如存在以下几种实施方式：

构建局部邻域结构-1

为描述方便，首先定义两个基元(直线、曲线段)间的最小距离。

定义：两个基元P和Q间的最小距离为组成基元P的像素与组成基元Q的像素的最小欧式空间距离。

假设组成两个基元的像素分别为P_i＝(x_i，y_i)，i＝1...M，Q_j＝(x_j，y_j)，j＝1...N，那么，基元P和Q的最小距离为：min_i，j((x_i-x_j)²+(y_i-y_j)²)^1/2，i＝1...M，j＝1...N。

为了构建局部邻域结构，首先需要计算任意两个基元间的最小距离。

接下来，对每一个基元，查找其近邻基元。可以采用两种方式来确定一个基元的近邻基元：

(1)k近邻法。给定一个基元作为参考基元，找出与该参考基元的最小距离最小的前k个基元，并以这k个基元作为其近邻基元。k为实现本装置的一个参数，可以根据经验确定，取值一般为5-15间的一个整数。

图3为根据k近邻法构建的一个局部邻域结构示意图。该示意图中，k的值为5，黑色实线表示局部邻域结构的参考基元，灰色实线表示局部邻域结构的近邻基元，灰色虚线表示工程图中的其它基元，图中的数字用以标示各个近邻基元。

(2)距离门限法。给定一个基元作为参考基元，如果一个基元到该参考基元的最小距离小于某个门限d，就将该基元作为其近邻基元。d为实现本装置的一个参数，一般根据被处理的工程图和目标图像来确定。d可以为固定的值，也可以为各个基元设置不同的值，例如，依据各个基元的大小确定d的值。

构建局部邻域结构-2

此方式类似于[专利文档-2]中的属性图构建处理，主要包含以下步骤：

(1)基元采样。利用均匀采样的方法，对组成基元的像素点进行采样，并用这些采样点来表示一个基元，同时，记录每一个取样点的来源基元。

(2)构建Delaunay图。以所有这些取样点为输入，利用Delaunay三角划分构建属性图的结构。在这个图中，每一个取样点都对应一个图节点，基元之间的连接关系被表达为图的边。

(3)图简化。简化由步骤(2)得到的图，将来自于同一基元的取样点合并为一个节点，同时，合并与之对应的边。

经上述操作，每一个基元被表示成属性图的一个节点，而属性图的边描述了基元之间的相邻关系。给定一个基元(属性图节点)作为参考基元，在属性图中有边与其直接相连的那些基元就是该参考基元的近邻基元。

对于步骤S220中的特征提取处理，优选地，基元的形状特征由基元的方向直方图来描述。具体地说，首先，计算基元上各像素点的切线方向(一个基元事实上是一个直线或者曲线段，因此，可以很容易的得到各个像素点的切线方向)；然后，依据这些方向值构建直方图，直方图的大小可以依据经验确定，例如32个bin的直方图，或者16个bin的直方图，等等。最后，对方向直方图进行傅立叶变换，并以变换后的系数的幅值作为基元的形状特征。通过傅立叶变换，可以使该形状特征具有仿射不变性，即与方向、大小的变化无关。

此外，优选地，局部邻域结构中基元间的空间结构关系由下列属性中的一个或多个来描述：

相对长度，即近邻基元的长度除以参考基元的长度；

相对中心距离，即从近邻基元的中心到参考基元的中心的连线的长度，再除以参考基元的长度；

相对最小距离，即近邻基元到参考基元的最小距离，再除以参考基元的长度；

夹角，即近邻基元和参考基元间的夹角。

本发明中，每一个基元都表示工程图中的一条直线或者曲线。如果近邻基元和参考基元都为直线的话，可以很容易的计算其夹角；然而，当近邻基元或参考基元为曲线的时候，需要设计某种策略来度量其夹角。为了实现这一目的，本发明提出利用EMD距离(Earth Mover’s Distance，陆地移动距离)来计算基元间的夹角。关于EMD距离的详细介绍，请参阅[非专利文档-5]。

具体地说，给定参考基元和一个近邻基元，计算其夹角的步骤如下：

(1)首先，计算基元上各像素点的切线方向，并将方向值转换到区间0到pi之间；

(2)根据像素点的切线方向，分别为参考基元和近邻基元构建方向直方图；然后将直方图归一化，使直方图中各分量的总和为1；

(3)计算参考基元和近邻基元的直方图的EMD距离，并以该距离作为这两个基元的夹角。

由于角度具有循环周期性，因而，0和2pi事实上属于同一个方向。在计算EMD距离时，为防止由于循环周期性所引起的偏差，本发明提出如下的测度来度量两个方向间的距离：

$d(s_1,s_2)=\left\{\begin{array}{cc}|s_1-s_2|,& \mathrm{if}|s_1-s_2|\≤\mathrm{\π}/2\\ \mathrm{\π}-|s_1-s_2|,& \mathrm{if}|s_1-s_2|>\mathrm{\π}/2\end{array}\right.$

其中，s1和s2表示0到pi之间的两个方向值。

图4中给出了4个利用EMD距离计算基元间夹角的实例，其中每一个实例中均包含两个基元(直线或曲线)，并且对于实例(a)算出的夹角为0.34pi，对于实例(b)算出的夹角为0.15pi，对于实例(c)算出的夹角为0.05pi，以及对于实例(d)算出的夹角为0.39pi。在实例(a)中，一条直线段和一个椭圆的长轴近乎垂直，因此，直线基元和椭圆基元的夹角较大，即接近pi/2；在实例(b)中，一条直线段和一个椭圆的长轴近乎平行，因此，直线基元和椭圆基元的夹角较小，即趋向0。由此可见，本发明提出的基于EMD距离的基元夹角的计算方法是合理的。

本发明提出的基于EMD距离的基元夹角的计算方法提供了一种统一的夹角计算方案，因而，在计算时不必区分基元为直线段或者曲线段，而是直接根据基元的方向直方图进行计算。

此外，也可以采用一些现有的方法来计算基元间的夹角，例如：

[方法一]首先利用最小均方误差(MSE)的策略，将基元近以为一条直线，即不论基元为直线或者曲线，都统一表示为直线；然后将近似后的两条直线间的夹角作为基元间的夹角。

[方法二]利用主成分分析技术，计算基元的主方向。主方向是一个角度方向，可以近似的理解为基元上像素的主要方向。两个基元的主方向的差即为这两个基元间的夹角。

此外，优选地，在步骤S220的特征提取处理中，还可以提取中心位置(即参考基元的中心坐标)、从参考基元的中心指向图像中心的向量(对于目标图像的局部邻域结构)等特征以供后续处理使用。

2.局部邻域结构匹配处理

图5是具体示出图1所示的步骤S120的局部邻域结构匹配处理的流程图。

如图5所示，在步骤S510，根据所提取的局部邻域结构的特征，计算待检测图像中的每个局部邻域结构和目标图像中的每个局部邻域结构之间的距离。接下来，在步骤S520，针对目标图像中的每个局部邻域结构，从待检测图像中查找与其距离最小的一个或多个局部邻域结构作为其候选匹配。最后，在步骤S530，针对每一个候选匹配对，估计所述目标图像在所述待检测图像中出现的变换参数。下面分别对这些步骤的具体实施方式进行更详细的说明。但是，本领域的技术人员应当清楚，本发明不局限于下述具体实施方式。

为了便于描述，首先作如下的符号约定：一个局部邻域结构的第i个近邻基元记为N_i，该基元的形状特征(即方向直方图的傅立叶变换)记为T_i，该基元与参考基元的空间结构关系(包括相对长度、相对中心距离、相对最小距离、夹角)记为E_i；该局部邻域结构的参考基元的形状特征记为S。此外，分别用上标M和上标G表示与目标图像和待检测图像对应的局部邻域结构，例如：表示目标图像中的一个局部邻域结构的第i个近邻基元，

表示待检测图像中的一个局部邻域结构的第j个近邻基元，等等。

目标图像中的一个局部邻域结构记为 $P^M=\{S^M,N_i^M=(T_i^M,E_i^M),$ $i=1...u\},$ 待检测图像中的一个局部邻域结构记为 $P^G=\{S^G,N_j^G=(T_j^G,E_j^G),$ $j=1...v\},$ 这两个局部邻域结构中分别包含u和v个近邻基元。

本发明定义如下的距离测度来度量局部邻域结构的特征间的距离：

基元形状特征的距离测度d₁：基元的形状特征为一个向量，因此，采用欧式距离作为测度，即： $d_1(S^M,S^G)={\left|\right|S^M-S^G\left|\right|}^2,d_1(T_i^M,$ $T_j^G={\left|\right|T_i^M-T_j^G\left|\right|}^2.$

基元的空间结构关系特征的相对长度的距离测度d₂：

设

中相对长度的值为

中相对长度的值为

则：

$d_2(E_i^M,E_j^G)=\frac{1}{2}\·\frac{\exp (2r-2)-\exp (-2r+2)}{\exp (2r-2)+\exp (-2r+2)}+0.5$

其中， $r=|l_i^M-l_j^G|\·\max (l_i^M/l_j^G,l_j^G/l_i^M)$

基元的空间结构关系特征的相对中心距离的距离测度d₃，其定义类似于d₂。

基元的空间结构关系特征的相对最小距离的距离测度d₄，其定义类似于d₂。

基元的空间结构关系特征的夹角的距离测度d₅：

设

中夹角的值为

中夹角的值为

则：

$d_5(E_i^M,E_j^G)=|a_i^M-a_j^G|/\frac{\mathrm{\π}}{2}$

基于上述的距离测度，局部邻域结构P^M和P^G的参考基元的形状特征S^M和S^G的距离定义为：

D(S^M，S^G)＝d₁(S^M，S^G)

基于上述的距离测度，局部邻域结构P^M的第i个近邻基元

和P^G的第j个近邻基元

的距离定义为：

$D(N_i^M,N_j^G)=\mathrm{\α}{d}_1(T_i^M,T_j^G)+\mathrm{\β}(d_2+d_3+d_4+d_5)(E_i^M,E_j^G)$

其中，α，β为两个预定参数，其取值范围为0到1。

图6是具体示出图5所示的步骤S510的局部邻域结构距离计算处理的流程图，其中的处理针对目标图像中和待检测图像中的局部邻域结构P^M和P^G。

首先，在步骤S610，计算P^M和P^G的参考基元的形状特征S^M和S^G的距离D(S^M，S^G)；

接下来，在步骤S620，计算P^M的近邻基元到P^G的近邻基元的距离。由此，得到一个大小为u＊v的距离矩阵[D]_uxv，该矩阵的第i行、第j列的元素的值为 $D(D_i^M,M_j^G).$

接下来，在步骤S630，根据距离矩阵[D]_uxv，利用贪心搜索策略确定近邻基元匹配的最小距离，步骤如下：

a.将[D]_uxv中的元素标记为未处理；

b.从[D]_uxv的未处理元素中查找最小值，记其位置为第x行、第y列，并将第x行和第y列上的所有元素标记为已处理；

c.重复步骤b，直到[D]_uxv中所有的元素均变为已处理；

d.将步骤b和c中得到的最小值相加，得到的值记为D_N；

e.如果P^M的近邻基元的个数u大于P^G的近邻基元的个数v，按如下方式修正D_N：

D_N＝D_N+(u-v)＊cost

其中，cost被称为惩罚因子，是一个预定参数，一般取0到1之间的数值。

最后，在步骤S640，例如按如下方式计算局部邻域结构P^M和P^G的距离：

$D(P^M,P^G)=\frac{D_N+D(S^M,S^G)}{(2*u+1)}$

即根据目标图像局部邻域结构P^M中近邻基元的个数进行归一化。

下面通过一个具体示例来进一步说明局部邻域结构距离计算处理。

图7(a)为目标图像的一个局部邻域结构，该局部邻域结构包含3个近邻基元，即u＝3。图中，黑色实线表示局部邻域结构的参考基元，灰色实线表示局部邻域结构的近邻基元，灰色虚线表示工程图中的其它基元。

该示例中，基元的形状特征以16个bin的直方图表示。由于傅立叶变换的对称性，只采用变换后第1到第8个系数作为基元的形状特征。结果如下：

 

基元	形状特征的值
		参考基元	1.00 0.98 0.97 0.95 0.94 0.94 0.93 0.93

 

近邻基元N1 M	0.99 0.96 0.93 0.91 0.90 0.91 0.92 0.92
		近邻基元N2 M	0.99 0.98 0.96 0.95 0.94 0.94 0.95 0.95
近邻基元N3 M	1.00 1.00 1.00 1.00 1.00 1.00 1.00 1.00

近邻基元和参考基元的空间结构关系特征为：

 

基元	相对长度	相对中心距离	相对最小距离	夹角
					N1 M和参考基元	0.87	0.67	0.02	1.52
N2 M和参考基元	0.66	0.60	0.01	1.54
					N3 M和参考基元	0.65	0.49	0.02	1.55

图7(b)为待检测图像的一个局部邻域结构，该局部邻域结构包含8个近邻基元，即v＝8。与图7(a)一样，黑色实线表示局部邻域结构的参考基元，灰色实线表示局部邻域结构的近邻基元，灰色虚线表示工程图中的其它基元。

同样，基元的形状特征以16个bin的直方图表示。经傅立叶变换后，采用第1到第8个系数作为基元的形状特征。结果如下：

 

基元	形状特征的值
		参考基元	1.00 0.99 0.98 0.97 0.96 0.96 0.96 0.96
近邻基元N1 G	0.99 0.97 0.94 0.91 0.90 0.90 0.91 0.91
		近邻基元N2 G	0.99 0.97 0.95 0.93 0.93 0.93 0.94 0.94
近邻基元N3 G	0.99 0.96 0.93 0.91 0.89 0.89 0.89 0.89
		近邻基元N4 G	1.00 0.98 0.97 0.96 0.95 0.95 0.96 0.96
近邻基元N5 G	0.01 0.00 0.05 0.05 0.06 0.03 0.03 0.09

 

近邻基元N6 G	1.00 1.00 1.00 1.00 1.00 1.00 1.00 1.00
		近邻基元N7 G	1.00 1.00 1.00 1.00 1.00 1.00 1.00 1.00
近邻基元N8 G	1.00 1.00 1.00 1.00 1.00 1.00 1.00 1.00

近邻基元和参考基元的空间结构关系特征为：

 

基元	相对长度	相对中心距离	相对最小距离	夹角
					N1 G和参考基元	0.29	0.39	0.14	0.02
N2 G和参考基元	0.89	0.59	0.01	1.53
					N3 G和参考基元	0.59	0.59	0.01	1.52
N4 G和参考基元	0.58	0.37	0.02	1.54
					N5 G和参考基元	0.80	0.35	0.17	0.77
N6 G和参考基元	0.58	0.33	0.01	1.56
					N7 G和参考基元	0.58	0.40	0.01	1.56
N8 G和参考基元	0.58	0.46	0.01	1.56

依据上述局部邻域结构的特征，计算局部邻域结构的距离的步骤如下：

(1)计算参考基元的形状特征的距离，得到D(S^M，S^G)＝0.03；

(2)参数α和β的值分别设为0.5和0.25，计算目标图像局部邻域结构中近邻基元到待检测图像局部邻域结构中近邻基元的距离，得到一个大小为3x8的矩阵，如下：

(3)贪心搜索。

(1)首先得到最小值0.03，位置为第3行、第7列；

(2)接下来，在未处理元素中搜索，得到最小值0.06，位置为第1行、第2列；

(3)继续在未处理元素中搜索，得到最小值0.07，位置为第2行、第4列；

(4)因此，D_N＝0.03+0.06+0.07＝0.16。

(4)该示例中，两个局部邻域结构的距离为：(0.16+0.03)/7＝0.027。

图8是具体示出图5所示的步骤S530的参数估计处理的流程图，其中假设待检测图像中的局部邻域结构P^G为目标图像中局部邻域结构P^M的候选匹配，并且根据P^M和P^G估计目标图像在待检测图像中可能出现的变换参数，其中变换参数例如包括中心位置、比例缩放尺度和旋转角度。

在前面的操作中，假设待检测图像中的局部邻域结构P^G被选择为目标图像中的局部邻域结构P^M的候选匹配，这说明P^M和P^G可能是一对真正的匹配对，因此，可以根据它们估计出待检测图像中与目标图像相似的部分的信息。然而，前面的操作并没有精确的确定P^M和P^G中的基元的对应关系。因而，本发明提出依据可信的基元匹配对进行参数估计的方法。

如图8所示，首先，在步骤S810，从P^M和P^G中选择可信的基元匹配对，其中根据图5中的步骤S510得到的距离矩阵[D]_uxv，选择距离较小的基元对作为可信的基元匹配对；接下来，在步骤S820，根据可信的基元匹配对，通过仿射变换来估算变换参数，从而得到参数值序列，进一步讲，就是任选两对可信的参考基元匹配对，并估算变换参数；最后，在步骤S830，在参数值序列中利用窗口搜索策略确定变换参数。

具体地说，在步骤S810选择可信的基元匹配对的操作如下：

(1)P^M的参考基元和P^G的参考基元被选择为可信的基元匹配对；

(2)对P^M的每一个近邻基元

从P^G的近邻基元中选择可信的基元，并与组成可信的基元匹配对。选择过程通过门限法实现，具体如下：

(a)从[D]_uxv的第i行元素中(即与

对应的距离元素)查找最小值；

(b)如果第i行中的某个元素j的值符合如下的条件，则认为是

的可信基元，并将它们组合成一个可信的基元匹配对：

元素j的值与上述最小值的差值小于t₁，t₁为一个预定参数，通常设为0到0.5间的一个较小的数。

元素j的值与上述最小值的比值小于t₂，t₂为一个预定参数，通常设为1到2.5间的一个数。

此外，可以根据具体的应用设置其它的距离门限；也可以通过参数约定可信基元的最大数目，等等。

该方法事实上就是根据P^M和P^G的基元间的距离来选择可信的基元。如果P^M的近邻基元和P^G的近邻基元的距离越小，那么，这两个基元形成匹配对的可信度就越高；反之亦然。

具体地说，在步骤S820任选两对可信的基元匹配对，按如下方式进行参数估计。假设与P^M中基元N₁ ^M和N₂ ^M对应的P^G中的可信基元分别为N₁ ^G和N₂ ^G，而且，从N₁ ^M和N₂ ^M的中心到目标图像中心的向量为

和

N₁ ^G和N₂ ^G的中心坐标为O₁和O₂，那么，可以通过求解如下的方程得到变化的参数：

$\left[\begin{array}{c}{O}_1\left(x\right)\\ O_1\left(y\right)\end{array}\right]+s\left[\begin{array}{cc}\cos \mathrm{\θ}& -\sin \mathrm{\θ}\\ \sin \mathrm{\θ}& \cos \mathrm{\θ}\end{array}\right]\·\left[\begin{array}{c}{\stackrel{\→}{V}}_1\left(x\right)\\ {\stackrel{\→}{V}}_1\left(y\right)\end{array}\right]=\left[\begin{array}{c}{O}_2\left(x\right)\\ O_2\left(y\right)\end{array}\right]+s\left[\begin{array}{cc}\cos \mathrm{\θ}& -\sin \mathrm{\θ}\\ \sin \mathrm{\θ}& \cos \mathrm{\θ}\end{array}\right]\·\left[\begin{array}{c}{\stackrel{\→}{V}}_2\left(x\right)\\ {\stackrel{\→}{V}}_2\left(y\right)\end{array}\right]$

上式中，O₁(x)、O₁(y)分别表示O₁的x坐标和y坐标，O₂(x)、O₂(y)的意义与此类似；同样，

和

分别表示向量的x分量和y分量，

和

的意义与此类似；s表示变换的比例缩放尺度参数，θ表示变换的旋转角度参数。

通过求解上述方程，我们可以得到参数s和θ的值。待检测图像中目标图像出现的中心位置为 $\left[\begin{array}{c}{O}_1\left(x\right)\\ O_1\left(y\right)\end{array}\right]+s\left[\begin{array}{cc}\cos \mathrm{\θ}& -\sin \mathrm{\θ}\\ \sin \mathrm{\θ}& \cos \mathrm{\θ}\end{array}\right]\·\left[\begin{array}{c}{\stackrel{\→}{V}}_1\left(x\right)\\ {\stackrel{\→}{V}}_1\left(y\right)\end{array}\right]$ (或者 $\left[\begin{array}{c}{O}_2\left(x\right)\\ O_2\left(y\right)\end{array}\right]+s\left[\begin{array}{cc}\cos \mathrm{\θ}& -\sin \mathrm{\θ}\\ \sin \mathrm{\θ}& \cos \mathrm{\θ}\end{array}\right]\·\left[\begin{array}{c}{\stackrel{\→}{V}}_2\left(x\right)\\ {\stackrel{\→}{V}}_2\left(y\right)\end{array}\right]$ )。

在具体实施中，本发明选择所有可能的两对可信基元匹配对，并基于它们估计参数，由此得到一个参数值序列。将这个参数值序列记为(x_i，y_i，s_i，θ_i)，i＝1…K，其中，x_i、y_i表示估算出的待检测图像中目标图像出现的中心位置坐标，K为参数的数目(即：任选两对可信基元匹配对的次数)。

具体地说，在步骤S830按如下方式确定变换参数值：

(1)参数序列中所有s_i的均值为最终的比例缩放尺度参数的值；

(2)确定待检测图像中目标图像出现的中心位置坐标，如下：

(a)以每一个(x_i，y_i)为中心，构建一个矩形窗口，窗口的大小可根据被处理图像的尺寸由经验决定；

(b)计算落入每一个窗口中的中心位置坐标(x_i，y_i)的个数；

(c)选择个数最多的那个窗口，并以落入该窗口中的中心位置坐标(x_i，y_i)的均值作为最终的中心位置坐标。

(3)计算从P^G的参考基元中心到步骤(2)得到的中心位置的向量，同时，计算从P^M的参考基元中心到目标图像中心的向量。这两个向量的角度差即为最终的旋转角度参数。

下面通过一个示例来进一步说明参数估计处理。该示例采用的局部邻域结构同上述局部邻域结构距离计算处理的示例中采用的局部邻域结构相同，即图7(a)和7(b)所示的局部邻域结构。

首先，从近邻基元中选择可信的基元匹配对。本实施例中，t₁的值设为0.1，t₂的值设为1.5；除此之外，本实施例限定每个基元的可信基元的数目最多为2。

在上述局部邻域结构距离计算处理中得到的距离矩阵[D]为：

因此，N₁ ^M的可信基元为N₂ ^G和N₃ ^G；N₂ ^M的可信基元为N₂ ^G和N₄ ^G；N₃ ^M的可信基元为N₇ ^G和N₈ ^G。

从这些可信基元中选择所有可能的两对可信基元匹配对，得到17种组合，即K＝17；基于这些组合估计参数，得到待检测图像中目标图像出现的中心位置坐标，如下所示：

 

基元匹配对-1	基元匹配对-2	中心位置坐标(x，y)
			(N3 M，N8 G)	(N1 M，N2 G)	132，73
(N3 M，N8 G)	(N1 M，N3 G)	187，25
			(N3 M，N7 G)	(N1 M，N2 G)	72，94
(N3 M，N7 G)	(N1 M，N3 G)	127，46
			(N3 M，N8 G)	(N2 M，N2 G)	507，-173
(N3 M，N8 G)	(N2 M，N4 G)	261，-157
			(N3 M，N7 G)	(N2 M，N2 G)	196，-210
(N3 M，N7 G)	(N2 M，N4 G)	-50，-193
			(N3 M，N8 G)	(PM参考基元，PG参考基元)	135，18
(N3 M，N7 G)	(PM参考基元，PG参考基元)	73，90

 

(N1 M，N2 G)	(N2 M，N4 G)	135，137
			(N1 M，N3 G)	(N2 M，N2G)	146，107
(N1 M，N3 G)	(N2 M，N4 G)	195，72
			(N1 M，N2 G)	(PM参考基元，PG参考基元)	68，94
(N1 M，N3 G)	(PM参考基元，PG参考基元)	203，87
			(N2 M，N2 G)	(PM参考基元，PG参考基元)	160，161
(N2 M，N4 G)	(PM参考基元，PG参考基元)	180，78

上述参数序列的中心位置坐标中，有些值是负数，这就意味着目标图像出现在待检测图像之外，因此，是不合理的。在下面的确定参数的过程中，包含负坐标值的参数将不再参与计算。

本示例中，按如下方式确定方形窗口的大小：(1)从P^M中任选两个基元，计算这两个基元中心的距离；(2)将所有这些距离进行平均，再乘上一个系数0.3即为窗口的大小。图9为利用窗口搜索确定参数的结果示意图。该图中，用细框表示包含中心位置坐标最多的那个窗口。该窗口中包含3个中心位置坐标，分别为(72，94)、(73，90)、(68，94)。对这些值求平均，得到最终的中心位置坐标(71，93)。

最后，计算旋转角度参数。P^G的参考基元中心的坐标为(136，91)，从该位置到上面得到的中心位置坐标(71，93)的向量为(-65，2)，因此，方向为0.99pi；类似的，计算从P^M的参考基元中心到目标图像中心的向量所形成的角度，得到的值为-0.97pi。因此，得到的旋转角度参数为-0.02pi。

经过上述过程，根据目标图像中的局部邻域结构P^M和待检测图像中的局部邻域结构P^G得到的变换参数如下：

待检测图像中目标图像出现的中心位置坐标为(71，93)；

旋转角度为-0.02pi；

比例缩放尺度为1.27。

依据上述过程，利用图7(a)中的局部邻域结构P^M在图7(b)所示的待检测图像中查找距离最近的前6个局部邻域结构，并依据这6个候选匹配估计目标图像在待检测图像中可能出现的位置以及其它变换参数。图10为从这6个候选匹配估计出的待检测图像中目标图像出现的中心位置的示意图，该图中，每一个实心矩形表示一个估计结果。参数的具体值如下表：

 

候选匹配	PM与候选匹配的距离	中心位置坐标(x，y)	比例缩放尺度	角度
					1	0.017	176，67	1.02	-0.02pi
2	0.027	71，93	1.27	-0.02pi
					3	0.034	73，104	1.28	0.89pi
4	0.039	73，104	1.28	0.99pi
					5	0.047	77，107	1.48	0.42pi
6	0.069	195，115	0.77	0.72pi

类似的，对于图7(a)所示的目标图像中的每一个局部邻域结构，在图7(b)所示的待检测图像中查找距离最近的前6个候选匹配，并进行参数估计。图11为所有估计出的目标图像在待检测图像中出现的中心位置的示意图。

3.检测处理

图12是具体示出图2所示的步骤S130的检测处理的流程图。如图12所示，首先在步骤S1210，以所估计出的变换参数作为所述参数空间中的向量，利用模态检测策略来寻找所述参数空间中的密集区域。接下来，在步骤S1220，对检测出的模态进行验证，并根据置信度高的模态来确定所述最终的变换参数。下面分别对这些步骤的具体实施方式进行详细说明。但是，本领域的技术人员应当清楚，本发明不局限于下述具体实施方式。

具体地说，通过上述局部邻域结构匹配处理，根据目标图像的局部邻域结构和它的候选匹配估计出了目标图像在待检测图像中出现的中心位置以及其它变换参数。然而，这些估计结果往往是不准确的。如果目标图像的局部邻域结构和它的一个候选匹配事实上是相互对应的话(它们在外形上是相似的，而且都对应于目标的同一个区域)，由此得到的估计结果是正确的；相反，如果这两个局部邻域结构事实上并非相互对应的话，得到的估计结果就可能是错误的。如果将局部邻域结构匹配模块中输出的每一个估计结果都看成是参数空间中的一个向量，那么，从那些相互对应的局部邻域结构对得到的估计结果将密集的聚集在一起，而从那些事实上并非相互对应的局部邻域结构对得到的估计结果则散乱的分布在参数空间中。因此，通过查找参数空间中的密集区域，就能得到正确的参数值。

在步骤S1210从参数空间中查找密集区域的过程可以通过诸如MeanShift模态检测方法的模态检测策略实现。关于Mean Shift方法的详细信息，可参照[非专利文档-5]。

模态检测过程的输入为从局部邻域结构匹配模块输出的估算参数，每一组参数(对应于目标图像的一个局部邻域结构和它的一个候选匹配)都是参数空间中的一个向量，包含中心位置坐标、比例缩放尺度、角度共4个分量。Mean Shift模态检测过程的输出是检测到的模态，一个模态对应于参数空间中向量比较密集的一个区域，模态的值为该区域的中心位置，即与该模态对应的参数值(中心位置坐标、比例缩放尺度、角度共4个分量)。同时，在模态检测过程中，每一组输入参数都被划分到不同的模态中。

接下来，在步骤S1220，对检测出的模态进行验证，并将置信度较高的模态作为目标图像在待检测图像中出现的变换参数。给定某一个模态C，与该模态对应的参数值为f，隶属于该模态的输入参数为

n＝1...N，其中，表示目标图像的第i个局部邻域结构，

表示待检测图像的第j个局部邻域结构(

为

的候选匹配)，D(

)表示由局部邻域结构匹配模块输出的和

的距离，f_ij表示由局部邻域结构匹配模块输出的根据和估算出的参数。

根据本发明的一个实施例，对模态C进行验证的过程如下：

(1)对隶属于该模态的每一个输入参数，按下列方式计算置信度：

$Z_n={(1-D(P_i^M,P_j^G))}^2\·\exp (-\mathrm{\α}{\left|\right|f_{\mathrm{ij}}-f\left|\right|}^2)$

其中，α为一个预定参数；

(2)利用贪心搜索策略计算最大的置信度，步骤如下：

(a)将隶属于该模态的输入参数标记为未处理；

(b)从隶属于该模态的标记为未处理的输入参数中，查找置信度

最大的参数，与该参数对应的局部邻域结构为P_x ^M，P_y ^G；

(c)将隶属于该模态的输入参数中包含P_x ^M或者P_y ^G的参数标记为已处理；

(d)重复步骤(b)-(c)，直到所有的参数都被标记为已处理为止。

(e)将步骤(b)-(c)中得到的最大值相加，得到的值记为Z。

(3)按下列方式计算模态C的置信度：

如果模态的置信度大于某个阈值，则认为该模态对应于待检测图像中目标图像的一个样例。依据与该模态对应的参数值，可以很容易地从待检测图像中将这个样例检测出来：(1)参数中的中心坐标位置分量即为这个样例的中心位置；(2)根据参数中的比例缩放尺度分量，可以得到样例的大小；(3)根据参数中的旋转角度分量，可以得到样例的方向。

图13为检测结果的一个实例。该实例中，被处理对象分别为图7(a)所示的目标图像和图7(b)所示的待检测图像。经局部邻域结构匹配处理，得到一组估算参数(参数中的中心坐标位置分量如图11所示)。以这些参数为输入进行Mean Shift模态检测，得到的模态参数值如下：

 

模态	中心坐标位置	比例缩放尺度	角度
				1	68，103	1.12	0
2	171，81	1.08	-0.06pi
				3	98，99	1.15	0.94pi
4	99，100	1.14	0.51pi
				5	125，55	1.18	-0.62pi

之后对这些模态进行验证，得到各模态的置信度分别为0.86、0.51、0.48、0.47、0.33。如果将阈值设置为0.6，那么只有第一个模态对应于目标图像的一个样例。根据该模态的参数值，得到目标图像在待检测图像中出现的位置，以及大小、角度信息。图13为对应于该模态的检测结果。该图中，用灰色方框表示检测结果，即待检测图像中与目标图像相似的部分。

上面结合附图详细描述了根据本发明实施例的用于从待检测图像中检测目标图像的图像处理方法，下面将结合附图描述根据本发明实施例的用于从待检测图像中检测目标图像的图像处理设备。

图14示出了根据本发明实施例的用于从待检测图像中检测目标图像的图像处理设备1400的框图，其中，为了简明起见仅仅示出了与本发明密切相关的部分。在图像处理设备1400中，能够执行以上参考图1所描述的图像处理方法。

如图14所示，图像处理设备1400可以包括：局部邻域结构构建装置1410，用于针对待检测图像和目标图像中的每个图像，为所述图像中的每个基元构建局部邻域结构，并且提取所述局部邻域结构的特征；局部邻域结构匹配装置1420，用于根据由局部邻域结构构建装置1410提取的局部邻域结构的特征，针对所述目标图像中的每个局部邻域结构，从所述待检测图像中查找与其最相似的一个或多个局部邻域结构作为其候选匹配，并且针对每个候选匹配对，估计所述目标图像在所述待检测图像中出现的变换参数；以及检测装置1430，用于以由局部邻域结构匹配装置1420估计出的变换参数作为参数空间中的向量，寻找所述参数空间中的密集区域，并且据此确定最终的变换参数。

通过阅读上面给出的相应处理的描述，图像处理设备1400的各个组成部件的功能如何实现就变得很清楚了，所以在此就不再赘述了。

此外，显然，根据本发明的上述方法的各个操作过程也可以以存储在各种机器可读的存储介质中的计算机可执行程序的方式实现。

而且，本发明的目的也可以通过下述方式实现：将存储有上述可执行程序代码的存储介质直接或者间接地提供给系统或设备，并且该系统或设备中的计算机或者中央处理单元(CPU)读出并执行上述程序代码。此时，只要该系统或者设备具有执行程序的功能，则本发明的实施方式不局限于程序，并且该程序也可以是任意的形式，例如，目标程序、解释器执行的程序或者提供给操作系统的脚本程序等。

上述这些机器可读存储介质包括但不限于：各种存储器和存储单元，半导体设备，磁盘单元例如光、磁和磁光盘，以及其它适于存储信息的介质等。

另外，计算机通过连接到因特网上的相应网站，并且将依据本发明的计算机程序代码下载和安装到计算机中然后执行该程序，也可以实现本发明。

在本发明的装置和方法中，显然，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行。某些步骤可以并行或彼此独立地执行。

以上虽然结合附图详细描述了本发明的实施例，但是应当明白，上面所描述的实施方式只是用于说明本发明，而并不构成对本发明的限制。对于本领域的技术人员来说，可以对上述实施方式作出各种修改和变更而没有背离本发明的实质和范围。因此，本发明的范围仅由所附的权利要求及其等效含义来限定。

Claims (18)

1.一种图像处理方法，用于从第一图像中检测第二图像，所述图像处理方法包括以下步骤：

局部邻域结构构建步骤，针对所述第一图像和所述第二图像中的每个图像，为所述图像中的每个基元构建局部邻域结构，并且提取所述局部邻域结构的特征；

局部邻域结构匹配步骤，根据所提取的局部邻域结构的特征，针对所述第二图像中的每个局部邻域结构，从所述第一图像中查找与其最相似的一个或多个局部邻域结构作为其候选匹配，并且针对每个候选匹配对，估计所述第二图像在所述第一图像中出现的变换参数；以及

检测步骤，以所估计出的变换参数作为参数空间中的向量，寻找所述参数空间中的密集区域，并且据此确定最终的变换参数，

其中所述局部邻域结构构建步骤进一步包括：

针对所述第一图像和所述第二图像中的每个图像，以所述图像中的每个基元为参考基元，根据所述图像中基元的空间分布关系查找其近邻基元，并将所述参考基元与所述近邻基元组合在一起形成所述局部邻域结构；以及

提取所述参考基元和所述近邻基元的形状特征以及所述参考基元和所述近邻基元之间的空间结构关系特征作为所述局部邻域结构的所述特征。

2.根据权利要求1所述的图像处理方法，其中所述参考基元和所述近邻基元的形状特征是利用基元的方向直方图的傅立叶变换来计算的。

3.根据权利要求1所述的图像处理方法，其中所述参考基元和所述近邻基元之间的空间结构关系特征包括相对长度、相对中心距离、相对最小距离、夹角中的至少一个。

4.根据权利要求3所述的图像处理方法，其中所述夹角是利用基元的方向直方图之间的陆地移动距离EMD来计算的。

5.根据权利要求1所述的图像处理方法，其中所述局部邻域结构匹配步骤进一步包括：

距离计算步骤，根据所提取的局部邻域结构的特征，计算所述第一图像中的每个局部邻域结构和所述第二图像中的每个局部邻域结构之间的距离；

候选匹配查找步骤，针对所述第二图像中的每个局部邻域结构，从所述第一图像中查找与其距离最小的一个或多个局部邻域结构作为其候选匹配；以及

参数估计步骤，针对每一个候选匹配对，估计所述第二图像在所述第一图像中出现的变换参数。

6.根据权利要求5所述的图像处理方法，其中对于所述第一图像中的第一局部邻域结构和所述第二图像中的第二局部邻域结构，所述距离计算步骤进一步包括：

计算所述第一局部邻域结构和所述第二局部邻域结构的参考基元的形状特征之间的距离；

计算所述第一局部邻域结构的每个近邻基元与所述第二局部邻域结构的每个近邻基元之间的距离，从而得到距离矩阵；

在所述距离矩阵中利用贪心搜索策略确定所述第一局部邻域结构和所述第二局部邻域结构的近邻基元之间的最小距离；以及

根据上述步骤得到的距离值，确定所述第一局部邻域结构和所述第二局部邻域结构之间的距离。

7.根据权利要求5所述的图像处理方法，其中对于所述第一图像中的第一局部邻域结构和所述第二图像中的第二局部邻域结构，所述参数估计步骤进一步包括：

从所述第一局部邻域结构和所述第二局部邻域结构中选择可信的基元匹配对；

根据可信的基元匹配对，通过仿射变换来估算所述变换参数，从而得到参数值序列；以及

在所述参数值序列中利用窗口搜索策略来确定所述变换参数。

8.根据权利要求1所述的图像处理方法，其中所述检测步骤进一步包括：

以所估计出的变换参数作为所述参数空间中的向量，利用模态检测策略来寻找所述参数空间中的密集区域；以及

对检测出的模态进行验证，并根据置信度高的模态来确定所述最终的变换参数。

9.根据权利要求1到8中的任一项所述的图像处理方法，其中所述变换参数包括中心位置、比例缩放尺度和旋转角度。

10.一种图像处理设备，用于从第一图像中检测第二图像，所述图像处理设备包括：

局部邻域结构构建装置，用于针对所述第一图像和所述第二图像中的每个图像，为所述图像中的每个基元构建局部邻域结构，并且提取所述局部邻域结构的特征；

局部邻域结构匹配装置，用于根据由所述局部邻域结构构建装置提取的局部邻域结构的特征，针对所述第二图像中的每个局部邻域结构，从所述第一图像中查找与其最相似的一个或多个局部邻域结构作为其候选匹配，并且针对每个候选匹配对，估计所述第二图像在所述第一图像中出现的变换参数；以及

检测装置，用于以由所述局部邻域结构匹配装置估计出的变换参数作为参数空间中的向量，寻找所述参数空间中的密集区域，并且据此确定最终的变换参数，

其中所述局部邻域结构构建装置进一步包括：

局部邻域结构形成装置，用于针对所述第一图像和所述第二图像中的每个图像，以所述图像中的每个基元为参考基元，根据所述图像中基元的空间分布关系查找其近邻基元，并将所述参考基元与所述近邻基元组合在一起形成所述局部邻域结构；以及

特征提取装置，用于提取所述参考基元和所述近邻基元的形状特征以及所述参考基元和所述近邻基元之间的空间结构关系特征作为所述局部邻域结构的所述特征。

11.根据权利要求10所述的图像处理设备，其中所述参考基元和所述近邻基元的形状特征是利用基元的方向直方图的傅立叶变换来计算的。

12.根据权利要求10所述的图像处理设备，其中所述参考基元和所述近邻基元之间的空间结构关系特征包括相对长度、相对中心距离、相对最小距离、夹角中的至少一个。

13.根据权利要求12所述的图像处理设备，其中所述夹角是利用基元的方向直方图之间的陆地移动距离EMD来计算的。

14.根据权利要求10所述的图像处理设备，其中所述局部邻域结构匹配装置进一步包括：

距离计算装置，用于根据所提取的局部邻域结构的特征，计算所述第一图像中的每个局部邻域结构和所述第二图像中的每个局部邻域结构之间的距离；

候选匹配查找装置，用于针对所述第二图像中的每个局部邻域结构，从所述第一图像中查找与其距离最小的一个或多个局部邻域结构作为其候选匹配；以及

参数估计装置，用于针对每一个候选匹配对，估计所述第二图像在所述第一图像中出现的变换参数。

15.根据权利要求14所述的图像处理设备，其中对于所述第一图像中的第一局部邻域结构和所述第二图像中的第二局部邻域结构，所述距离计算装置进一步包括：

用于计算所述第一局部邻域结构和所述第二局部邻域结构的参考基元的形状特征之间的距离的装置；

用于计算所述第一局部邻域结构的每个近邻基元与所述第二局部邻域结构的每个近邻基元之间的距离，从而得到距离矩阵的装置；

用于在所述距离矩阵中利用贪心搜索策略确定所述第一局部邻域结构和所述第二局部邻域结构的近邻基元之间的最小距离的装置；以及

用于根据由上述装置得到的距离值来确定所述第一局部邻域结构和所述第二局部邻域结构的距离的装置。

16.根据权利要求14所述的图像处理设备，其中对于所述第一图像中的第一局部邻域结构和所述第二图像中的第二局部邻域结构，所述参数估计装置进一步包括：

用于从所述第一局部邻域结构和所述第二局部邻域结构中选择可信的基元匹配对的装置；

用于根据可信的基元匹配对，通过仿射变换来估算所述变换参数，从而得到参数值序列的装置；以及

用于在所述参数值序列中利用窗口搜索策略来确定所述变换参数的装置。

17.根据权利要求10所述的图像处理设备，其中所述检测装置进一步包括：

用于以所估计出的变换参数作为所述参数空间中的向量，利用模态检测策略来寻找所述参数空间中的密集区域的装置；以及

用于对检测出的模态进行验证，并根据置信度高的模态来确定所述最终的变换参数的装置。

18.根据权利要求10到17中的任一项所述的图像处理设备，其中所述变换参数包括中心位置、比例缩放尺度和旋转角度。

Images