CN103064857A - 图像查询方法及图像查询设备 - Google Patents

Abstract

提供一种图像查询方法，从图像库中查询与输入图像相似的库图像，包括：关键点及轮廓提取步骤，针对图像库中的多个库图像及输入图像，分别提取关键点和轮廓；特征提取步骤，针对多个库图像及输入图像，分别基于关键点提取点特征，基于轮廓提取轮廓特征；联合特征确定步骤，针对多个库图像及输入图像，分别基于关键点的点特征及轮廓，确定轮廓的联合特征；图像相似度确定步骤，根据输入图像的轮廓的轮廓特征、联合特征及关键点位置与多个库图像的轮廓的轮廓特征、联合特征及关键点位置，来确定输入图像与多个库图像分别的图像相似度；排序步骤，根据多个库图像与输入图像的图像相似度大小来对多个库图像排序。还相应地提供一种图像查询设备。

Description

图像查询方法及图像查询设备

技术领域

本发明涉及一种图像查询方法及图像查询设备。

背景技术

随着数字图像技术的发展和普及，已经产生了大量的视觉媒体文件，包括图像和视频。大量视觉媒体文件的出现为人们生动地记录和保存各种信息带来了便利。但是，随着这种媒体文件的大量产生，用户如何迅速地从这些大量的媒体文件中找到自己所需的文件成为一个问题，从而图像查询及检索的技术和发展在近十几年来成为广泛受人关注的研究热点。

在视觉媒体文件相关的研究领域，诸如SIFT(Scale-invariant featuretransform，变换尺度不变特征)的点特征是相对鲁棒和有效的特征描述手段。然而，因为图像中经常存在有大量关键点，导致传统的点特征的计算量很大。除此之外，传统的点特征忽略了关键点的几何位置关系，造成关键点误匹配的现象比较常见。

为了解决关键点误匹配的现象，当前大部分的研究工作可以利用非专利文件1(Martin A.Fischler and Robert C.Bolles，″Random Sample Consensus：AParadigm for Model Fitting with Applications to Image Analysis and AutomatedCartography″，Comm.of the ACM 24(6)：381-395，June 1981.)提出的RANSAC(RANdom SAmple Consensus，随机抽样一致)算法。

例如，专利文件1(US 20090175538 A1)提出一种视频内容的表征和匹配方法，其中视频序列的时空匹配方法利用了上述RANSAC算法。RANSAC算法的输入是一组观测数据，输出一个可以解释或者适应于观测数据的参数化模型，包括一些可信的参数。RANSAC算法通过反复选择观测数据中的一组随机子集来达成目标。所选取的子集称之为局内点，并通过下述步骤进行验证：

步骤1，估计一个模型以适应于假设的局内点，即所有的未知参数都能从假设的局内点计算得出；

步骤2，用在步骤1估计的模型去测试所有的其它数据，如果某个点适用于估计的模型，则认为该点也是局内点；

步骤3，如果有足够多的点被归类为假设的局内点，则认为估计的模型足够合理；

步骤4，因为该模型仅仅通过初始的假设局内点估计得出，因此在此用所有假设的局内点去重新估计模型；

步骤5，最后，通过估计局内点与模型的错误率来评估模型。

上述过程重复执行固定的次数，每次产生的模型或者由于局内点太少而被舍弃，或者由于比现有的模型更好而被选用。

RANSAC手段的优点是能鲁棒地估计模型参数。例如，RANSAC手段能从包含大量局外点的数据集估计出高精度的参数；然而，RANSAC的缺点是其计算参数的迭代次数没有上限，此外，RANSAC手段的另一个缺点是其要求设置与实际应用相关的阈值。

RANSAC算法尽管结果比较有效，但是其计算参数的迭代次数没有上限。如果设置迭代次数的上限，则得到的结果可能不是最优的结果，甚至可能得到错误的结果。RANSAC手段只有一定的概率可以得到可信的模型，该概率与迭代次数成正比。因此，如果迭代次数的上限设置得很高，并且图像关键点数目众多，则计算复杂度就会很大，实际很难针对大规模的图像集使用，另一方面，RANSAC算法往往都作为后处理步骤，以致于忽略了与图像查询应用的关联性。

为了能在大规模的数据集上使用，非专利文件2(HervéJégou，MatthijsDouze and Cordelia Schmid，″Hamming Embedding and Weak Geometricconsistency for large-scale image search″，Proc.ECCV′08，October，2008)提出了一种嵌入Hamming和弱几何一致性方法。这种方法的主要思路是检查感兴趣区域之间的量化角度和尺度差别，从而过滤在角度和尺度方面不一致的误匹配。这种方法能够大大提高RANSAC的效率，但是也需要同时使用所有的关键点。也就是说所有匹配的关键点都需要两两检查和确认，最小的差别作为最终的角度和尺度差别，因此仍然存在运算量过大，处理任务重等等的问题。

发明内容

鉴于现有技术中存在的上述问题而做出本发明，本发明提出了一种利用点特征、轮廓特征、及联合特征的图像查询方法及图像查询设备，以从图像数据库中搜索与给定查询示例图像相似的图像。

按照本发明实施例的图像查询方法及图像查询设备主要可以解决点特征的传统上存在的问题，包括大量关键点导致高计算复杂度，以及忽略了轮廓对关键点的约束关系等等。

按照本发明实施例的图像查询手段可以首先提取作为查询示例图像的输入图像和数据库中每幅库图像的关键点和轮廓，图像关键点在图像特征描述的过程中已经被研究证实为有效。总体上，图像的关键点通常清晰，且在数学上能够很完备得定义。在关键点附近的图像局部内容丰富，从而利用关键点描述图像内容在视觉信息系统中能够广泛应用。图像轮廓同样也是在包括图像分割、物体识别、目标跟踪等等的图像相关应用中比较基础的信息。

基于关键点和轮廓，分别提取查询图像(输入图像)和数据库图像的点特征和轮廓特征，在提取点特征和轮廓特征以后，利用图像轮廓约束点特征，来构成联合特征。联合特征可以认为是一种综合描述图像区域和关键点的描述子，其基本思想是利用图像轮廓对图像关键点进行分组。

通过灵活运用点特征、轮廓特征、及联合特征，计算查询图像和多个数据库图像分别的相似度。

最后，根据相似度对数据库中的库图像进行排序。

根据本发明实施例的一个方面，提出了一种图像查询方法，用于从图像库中查询与输入图像相似的库图像，所述图像查询方法包括：关键点及轮廓提取步骤，针对图像库中的多个库图像及输入图像，分别提取其中的关键点和轮廓；特征提取步骤，针对图像库中的多个库图像及输入图像，分别基于关键点提取点特征，基于轮廓提取轮廓特征；联合特征确定步骤，针对图像库中的多个库图像及输入图像，分别基于关键点的点特征及轮廓，确定轮廓的联合特征；图像相似度确定步骤，根据输入图像的轮廓的轮廓特征、联合特征及关键点位置与图像库中的多个库图像的轮廓的轮廓特征、联合特征及关键点位置，来确定输入图像与图像库中的多个库图像分别的图像相似度；排序步骤，根据图像库中的多个库图像与输入图像的图像相似度大小来对图像库中的多个库图像排序。

根据本发明实施例的另一个方面，提出了一种图像查询设备，用于从图像库中查询与输入图像相似的库图像，所述图像查询设备包括：关键点及轮廓提取装置，针对图像库中的多个库图像及输入图像，分别提取其中的关键点和轮廓；特征提取装置，针对图像库中的多个库图像及输入图像，分别基于关键点提取点特征，基于轮廓提取轮廓特征；联合特征确定装置，针对图像库中的多个库图像及输入图像，分别基于关键点的点特征及轮廓，确定轮廓的联合特征；图像相似度确定装置，根据输入图像的轮廓的轮廓特征、联合特征及关键点位置与图像库中的多个库图像的轮廓的轮廓特征、联合特征及关键点位置，来确定输入图像与图像库中的多个库图像分别的图像相似度；排序装置，根据图像库中的多个库图像与输入图像的图像相似度大小来对图像库中的多个库图像排序。

通过阅读结合附图考虑的以下本发明的优选实施例的详细描述，将更好地理解本发明的以上和其他目标、特征、优点和技术及工业重要性。

附图说明

图1示意性地示出按照本发明实施例的图像查询方法及实施该图像查询方法的图像查询设备的应用环境及功能。

图2示出按照本发明实施例的图像查询方法的总体流程图。

图3示意性地表示特征提取步骤对图像关键点的点特征的提取。

图4示意性地表示特征提取步骤对图像轮廓的轮廓特征的提取。

图5包括图5A至图5D，示意性地示出特征提取步骤提取图像轮廓的轮廓特征的过程。

图6示意性地表示根据轮廓对点特征进行分配以获得联合特征。

图7示出按照本发明实施例的图像相似度确定步骤的流程图。

图8示出按照本发明实施例的轮廓相似度计算步骤的流程图。

图9包括图9A至图9C，分别示意性地示出检测相对应的两点组之间的位置一致性的情况。

图10包括图10A和图10B，分别示意性地示出检测相对应的三点组之间的比例一致性的情况。

图11示出按照本发明实施例的图像查询设备的总体框图。

图12是示出按照本发明实施例的图像查询系统的总体框图。

具体实施方式

下面结合附图描述本发明实施例。

图1示意性地示出按照本发明实施例的图像查询方法及实施该图像查询方法的图像查询设备的应用环境及功能。

如图1所示，按照本发明实施例的图像查询方法可以用来执行图像查询过程10，实施该图像查询方法的图像查询设备也可以用来执行该图像查询过程10。对于输入的查询图像20，即输入图像20，通过执行该图像查询过程10，从图像数据库的库图像40中，查询与输入图像20相似的图像，将该库图像40按照与输入图像20的图像相似度由高到低的顺序排序，得到排序结果60，排序结果60可以以任意手段输出。

图2示出按照本发明实施例的图像查询方法的总体流程图，该图像查询方法用于从图像库中查询与输入图像相似的库图像。如图2所示，按照本发明实施例的图像查询方法可以包括：关键点及轮廓提取步骤S100，可以针对图像库中的多个库图像及输入图像，分别提取其中的关键点和轮廓；特征提取步骤S200，可以针对图像库中的多个库图像及输入图像，分别基于关键点提取点特征，基于轮廓提取轮廓特征；联合特征确定步骤S300，可以针对图像库中的多个库图像及输入图像，分别基于关键点的点特征及轮廓，确定轮廓的联合特征；图像相似度确定步骤S400，可以根据输入图像的轮廓的轮廓特征、联合特征及关键点位置与图像库中的多个库图像的轮廓的轮廓特征、联合特征及关键点位置，来确定输入图像与图像库中的多个库图像分别的图像相似度；排序步骤S500，可以根据图像库中的多个库图像与输入图像的图像相似度大小来对图像库中的多个库图像排序。

关键点及轮廓提取步骤S100针对输入图像和图像数据库中的各个库图像来进行，针对每幅图像分别提取图像关键点和轮廓。提取的关键点可以是在不同尺度空间的图像中具有方向信息的局部极值点。可以通过构建尺度空间和关键点检测来提取关键点。

图像的尺度有多种表示方法，例如金字塔、八叉树等等，可以根据非专利文件3(Lowe，D.，“Distinctive Image Features from Scale-Invariant Keypoints”，International Journal of Computer Vision，60，2，pp.91-110，2004.)提出的手段，其采用尺度空间理论，主要通过对原始图像进行尺度变换，获得图像多尺度下的尺度空间表示序列，检测这个序列中的关键点。这样，图像可以映射为多个尺度上的关键点信息，即使假定两幅图像处于不同的尺度，但是，仍然可以提取出在尺度变换中没有改变的关键点，从而允许此后可能进行的关键点匹配，进而识别出物体。

实际上，在尺度空间理论中，通过对图像进行模糊来模拟多尺度下的图像。高斯核是唯一可以产生多尺度空间的核(其它核会对图像造成模糊之外的其它影响)。一个图像的尺度空间定义为原始图像与一个可变尺度的二维高斯函数的卷积运算。图像关键点检测采用高斯差分算子(DoG，Difference ofGaussians)，DoG算子在计算上只需相邻尺度高斯平滑后将图像相减。关键点由DoG空间的局部极值点组成。为了寻找DoG函数的极值点，每一个像素点和它所有的相邻点比较，判断其是否比它的图像域和尺度域的相邻点大或者小。具体来说，中间的检测点与和该点同尺度的8个相邻点及和上下相邻尺度相对应的9×2个点，即共26个点相比较，以确保在尺度空间和二维图像空间都能够检测到极值点。由此，可以检测出图像中尺度不变的关键点。

另一方面，检测图像轮廓并对其进行标识可以使数字图像中区域亮度变化明显，且能闭合成一个整体的点集。作为一个示例，可以采用非专利文件4(Osher S，Sethian J.，“Fronts propagating with curvature dependent speed：algorithms based on the hamilton-Jacobi formulation”，Journal of ComputationalPhysics，79(1)：12-49，1988.)提出的水平集(Level Set)方法来检测图像中的轮廓。

然后，在特征提取步骤S200，关于输入图像和库图像中的每幅图像，分别针对关键点及轮廓提取步骤S100提取出的关键点，提取与各个关键点相对应的点特征。图3示意性地表示特征提取步骤S200对图像关键点的点特征的提取。在图3的图像中，标识出多个关键点，其中作为示例标注出点KP，可以通过利用上述非专利文件3提出的处理技术，先将关键点周围区域提取出来，例如关键点KP的周围区域Rkp，然后每个关键点可以产生一个128维的点特征向量，在此的点特征例如可以是SIFT特征、PCA-SIFT特征、或SURF特征，本发明可以采用的点特征不限于此，而是可以采用任何能够通过向量表示的点特征。图3中各个关键点周围区域的尺度大小不同，示意性地体现出图像原始尺度的大小对提取关键点周围区域的尺度大小的影响，然而，不论图像原始尺度如何，由各个关键点提取的诸如上述SIFT特征、PCA-SIFT特征、SURF特征等等的点特征均不受图像原始尺度的影响。

在特征提取步骤S200，可以在提取关键点的点特征之前或之后，或者与提取点特征同时并行地，关于输入图像和库图像中的每幅图像，分别针对关键点及轮廓提取步骤S100提取出的轮廓，提取与各个轮廓相对应的轮廓特征。

图4示意性地表示特征提取步骤S200对图像轮廓的轮廓特征的提取。图4中标识出多个轮廓，其中作为示例标注出轮廓CTR，针对诸如CTR所示的轮廓来提取轮廓特征，本发明实施例可以采用的轮廓特征诸如FD(FourierDescription，傅里叶描述)特征，也可以是各种形状矩特征，例如Zernike矩、Hu矩等。

图5包括图5A至图5D，示意性地示出特征提取步骤S200提取图像轮廓的轮廓特征的过程。下面具体地，借助图5说明提取图像轮廓的轮廓特征的过程。

图5A示意性地示出一个原始图像的示例，在此，为了说明方便，仅仅示出一个物体，本领域技术人员可以认识到，如果图像中存在多个物体，则分别提取图像轮廓及其相应的轮廓特征，在此仅仅以一个物体为例进行说明。

图5B示意性地示出所述关键点及轮廓提取步骤S100对图5A所示原始图像提取轮廓的结果。然后，在特征提取步骤S200，针对图5B所示的轮廓提取其诸如FD、Zernike矩、Hu矩等的轮廓特征，本发明实施例可以采用任何能够通过向量描述的轮廓特征。

在此，首先对轮廓执行归一化操作。具体来说，将轮廓变换到一个固定的尺度中，例如128*128。图5C示意性地示出对图5B所示轮廓执行归一化操作的结果。

作为一个示例，如提取的轮廓特征是Hu矩，可利用下述处理求出轮廓的Hu矩特征：

步骤1：通过以下公式(1)和公式(2)分别计算固定尺度的轮廓的(p，q)普通矩m_p，q和中心矩μ_p，q：

$m_{p,q}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}{x}^p{y}^q\mathrm{ctr}\_\mathrm{gra}(x,y)---\left(1\right)$

${\mathrm{\μ}}_{p,q}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}{(x-x_0)}^p{\left({y-y}_0\right)}^q\mathrm{ctr}\_\mathrm{gra}(x,y)---\left(2\right)$

其中，p对应X维度上的矩，q对应Y维度上的矩。如果p和q都等于0，则m_0，0实际上对应轮廓边界上点的数目。x₀＝m_1，0/m_0，0，y₀＝m_0，1/m_0，0。ctr_gra(x，y)表示轮廓图像在(x，y)点处的灰度值，x和y分别为X坐标和Y坐标，p，q＝0，1，2，3...。

步骤2：计算固定尺度的轮廓的归一化的中心矩：

当轮廓发生变化时，m_p，q也发生变化，而μ_p，q则具有平移不变性，但对旋转依然敏感。归一化中心矩η_p，q可用下述公式(3)计算：

${\mathrm{\η}}_{p,q}=\frac{{\mathrm{\μ}}_{p,q}}{{{\mathrm{\μ}}_{\mathrm{0,0}}}^r}---\left(3\right)$

其中，

μ_0，0表示在p＝0且q＝0的情况下的归一化中心矩。

直接用普通矩或中心矩进行轮廓特征表示，不能使轮廓特征同时具有平移、旋转和比例不变性。如果利用归一化中心矩，则特征不仅具有平移不变性，而且还具有比例不变性。

步骤3：计算固定尺度的轮廓的Hu矩：

Hu矩是归一化中心矩的线性组合，以获取代表图像某个特征的矩函数，这些函数对某些变化，如缩放、旋转和镜像映射(除了以下的H₁)等等具有不变性，具体定义7阶Hu矩如下，H_i表示i阶Hu矩：

H₁＝η_2，0+η_0，2

$H_2={({\mathrm{\η}}_{\mathrm{2,0}}-{\mathrm{\η}}_{\mathrm{0,2}})}^2+{4\mathrm{\η}}_{\mathrm{1,1}}^2$

H₃＝(η_3，0-3η_1，2)²+(3η_2，1-η_0，3)²

H₄＝(η_3，0+η_1，2)²+(η_2，1+η_0，3)²

H₅＝(η_3，0-3η_1，2)(η_3，0+η_1，2)[(η_3，0+η_1，2)²-3(η_2，1-η_0，3)²]+(3η_2，1-η_0，3)(η_2，1+η_0，3)[3(3η_2，1+η_0，3)²-(η_2，1+η_0，3)²]

H₆＝(η_2，0-η_0，2)[(η_3，0+η_1，2)²-(η_2，1+η_0，3)²]+4η_1，1(η_3，0+η_1，2)(η_2，1+η_0，3)

H₇＝(3η_2，1-η_0，3)(η_2，1+η_0，3)[3(η_3，0+η_2，2)²-(η_2，1+η_0，3)²]-(η_3，0-η_2，1)(η_2，1+η_0，3)[3(η_3，0+η_1，2)²-(η_2，1+η_0，3)²]

这7个Hu矩构成一个特征向量。

为了提高计算速度，可对归一化轮廓按照预定点数均匀采样。图5D示意性地示出对图5C所示归一化轮廓进行点采样的结果。

作为另一个示例，假定在提取傅里叶描述特征来作为轮廓特征的情况下，为了此后傅里叶变换处理的方便，在对归一化轮廓按照预定点数均匀采样时，可以采用2ⁿ，n为自然数，作为采样点数。

然后，对图5D所示的采样点进行傅里叶变换以提取其轮廓特征。具体地，通过计算轮廓的签名(signature)来获得其傅里叶描述特征。轮廓的签名u(t)＝{x(t)，y(t)}可以是任意一个能够表示图像2维区域边界轮廓的一维函数，图像轮廓可以看成是时间离散的周期信号，t可以视为时域中的序列号，在此的2维区域轮廓采样点的X坐标和Y坐标分别用x(t)和y(t)表示。不同的签名的使用将产生不同的轮廓特征。

作为一个示例，可以复变函数作为签名，例如u(t)＝[x(t)-x_c]+i[y(t)-y_c]，其中，(x_c，y_c)是2维图像区域的质心点，可以用采样点的坐标的平均值来计算，而i²＝-1。

作为另一个示例，可以将图像区域的边界采样点与其质心点的距离作为签名，即u(t)＝([x(t)-x_c]²+[y(t)-y_c]²)^1/2。

也就是说，在轮廓归一化以后，图像轮廓可以看成是时间离散的周期信号，z＝(z₀，...，z_N-1)，其中，z_l＝u(l)，u(l)是签名的第l(l＝0，...，N-1)个采样点，N为采样点数目。然后，信号z通过如公式(4)的傅里叶变换(DFT)映射到频域，即

$Z_m=\underset{l=0}{\overset{N-1}{\mathrm{\Σ}}}{z}_l{e}^{-i\frac{2\mathrm{\πlm}}{N}}=R_m{e}^{{\mathrm{i\θ}}_m}---\left(4\right)$

其中，m＝-N/2，...，-1，0，1，...，N/2-1，R_m和θ_m分别是第m个DFT系数的模和相位。

从而，在频域得到N个傅里叶系数，考虑到低频系数相对稳定且区分度比较大，可以取低频系数作为FD特征描述子。因为最低频的DFT系数Z₀描述的是轮廓的相对位置，不是轮廓形状，因此去除Z₀，提取M个DFT系数[Z₁，......，Z_M]，作为对应于该轮廓的FD特征。

然后，在联合特征确定步骤S300，可以针对图像库中的多个库图像及输入图像，将位于轮廓内部及轮廓上的关键点与该轮廓相关联，同一轮廓的关键点的点特征构成该轮廓的联合特征，排除不位于任何轮廓内部也不位于任何轮廓上的关键点。

图6示意性地表示根据轮廓对点特征进行分配以获得联合特征。在联合特征确定步骤S300，分别针对各个图像中的各个轮廓，确定其联合特征，因而一个轮廓对应于一个联合特征。

联合特征可以理解为图像关键点的点特征通过图像轮廓进行分组，如图6所示，位于轮廓CTR1之内或之上的诸如KP1的关键点的点特征构成轮廓CTR1的联合特征；位于轮廓CTR2之内或之上的诸如KP2的关键点的点特征构成轮廓CTR2的联合特征；而不包含在任何图像轮廓内、也不在任何轮廓上的关键点被排除，在此后的处理中不再考虑。

例如，可以可以通过以下公式(5)来表述联合特征的确定：

sf_i＝{pf_j|p_j∈ctr_i}            (5)

其中，pf_j表示对应于关键点p_j的点特征，ctr_i表示轮廓，sf_i表示与轮廓ctr_i相对应的联合特征，i，j均为索引值，p_j∈ctr_i表示关键点p_j位于轮廓ctr_i内部或其上。从而，某个轮廓内或之上的关键点的点特征构成该轮廓的联合特征，由于点特征为向量形式，因此联合特征可以构成为矩阵形式。

下面，在图像相似度确定步骤S400，根据之前处理过程准备的关键点、轮廓、点特征、轮廓特征、联合特征等等，在输入图像和各个库图像之间进行比较，查询出与输入图像相似的库图像，并量化出图像之间的相似度。

图7示出按照本发明实施例的图像相似度确定步骤S400的流程图。如图7所示，图像相似度确定步骤S400可以包括：轮廓匹配步骤S420，可以针对输入图像与图像库中的多个库图像中的各个库图像，分别地根据输入图像的轮廓的轮廓特征与该库图像的轮廓的轮廓特征，来匹配输入图像的轮廓和该库图像的轮廓；轮廓相似度计算步骤S440，可以根据输入图像的轮廓的联合特征及关键点位置与库图像的相匹配的轮廓的联合特征及关键点位置，计算该输入图像的轮廓与该库图像的轮廓之间的轮廓相似度；图像相似度计算步骤S460，可以根据输入图像与库图像之间所有相匹配的轮廓之间的轮廓相似度，来计算输入图像与该库图像之间的图像相似度。

在此图像相似度确定步骤S400中，在输入图像和一个库图像之间进行计算，在存在多个库图像的情况下，输入图像可以按照依次或同时并行等等的任何顺序与库图像分别地进行计算。

首先，在轮廓匹配步骤S420，在输入图像和某个库图像的轮廓之间进行匹配。

在所述轮廓匹配步骤S420中，可以执行以下轮廓匹配过程：计算输入图像的轮廓的轮廓特征分别与该库图像的各个轮廓的轮廓特征之间的轮廓特征相似度，将其中的最大轮廓特征相似度与预定阈值相比较，如果该最大轮廓特征相似度大于该预定阈值，则输入图像的该轮廓与该库图像的获得最大轮廓特征相似度的该轮廓相匹配，在该最大轮廓特征相似度不大于该预定阈值的情况下，排除输入图像的该轮廓。

该轮廓匹配步骤S420中所执行所述轮廓匹配过程还可以包括：在该最大轮廓特征相似度不大于该预定阈值的情况下，排除库图像中与输入图像的该轮廓获得最大轮廓特征相似度的轮廓。

不论所述轮廓匹配步骤S420采用上面何种方式进行处理，均可以还包括：在未获得匹配并且也未被排除的输入图像的轮廓与该库图像的轮廓之间执行所述轮廓匹配过程，至输入图像与该库图像中至少一方没有轮廓未获得匹配并且也未被排除为止。

换句话说，首先，在轮廓特征空间中，计算数据库中每幅图像分别和作为输入图像的查询示例图像的轮廓之间的相似度，并得出两幅图像的最佳轮廓匹配方式。其中，轮廓特征可以采用前述的FD特征，或者也可以是诸如Zernike矩、Hu矩等的任何能够通过向量描述的轮廓特征。

作为一个示例，可采用如下的轮廓匹配过程，此轮廓匹配过程可以命名为“贪婪算法”。

假设输入图像中的轮廓集合为{ctr1_i}，某一个库图像中的轮廓集合为{ctr2_j}，其中i，j为索引值。输入图像的轮廓集合{ctr1_i}中的各个轮廓ctr1_i构成一个序列，依次在该库图像的轮廓集合{ctr2_j}中寻找最匹配的轮廓ctr2_j。

假设两个轮廓ctr_i和ctr_j的轮廓特征分别为向量cf_i和cf_j，在此的轮廓特征可以采用诸如FD特征、Zernike矩、Hu矩等等的任何能够通过向量描述的轮廓特征。可以通过以下方式来计算两个轮廓之间的轮廓特征相似度。

作为一个示例，轮廓特征空间的相似度可以利用以下公式(6)，根据距离和高斯函数来计算：

$\mathrm{sim}({\mathrm{cf}}_i,{\mathrm{cf}}_j)=\frac{1}{2\mathrm{\π}}{e}^{\frac{d({\mathrm{cf}}_i,{\mathrm{cf}}_j)}{-2h}}---\left(6\right)$

或者，作为另一示例，还可基于余弦函数，通过如下公式(7)获取两个轮廓在轮廓特征空间的相似度：

$\mathrm{sim}({\mathrm{cf}}_i,{\mathrm{cf}}_j)=\frac{\mathrm{\π}}{4}\cos \left(\frac{\mathrm{\π}\×d({\mathrm{cf}}_i,{\mathrm{cf}}_j)}{2h}\right)---\left(7\right)$

其中，sim(cf_i，cf_j)，d(·)和h的含义可以与上述关于公式(6)的说明相同。

其中，sim(cf_i，cf_j)是轮廓特征向量cf_i和cf_j之间的轮廓特征相似度，h是平滑参数，也可以称为带宽，可以由本领域技术人员根据经验确定，或者根据d(·)的统计分布来决定。d(·)是两个轮廓特征向量之间的距离，可以采用本领域技术人员熟知的任意一种计算两个向量的距离的方法来计算。

作为一个示例，两个轮廓特征向量之间的距离可以是欧几里得(欧氏)距离，通过如下公式(8)计算轮廓向量cf_i和cf_j的欧氏距离：

$d({\mathrm{cf}}_i,{\mathrm{cf}}_j)=\sqrt{\underset{m=1}{\overset{M}{\mathrm{\Σ}}}{({\mathrm{cf}}_{\mathrm{im}}-{\mathrm{cf}}_{\mathrm{jm}})}^2}---\left(8\right)$

其中，cf_im和cf_jm分别表示点轮廓向量cf_i和cf_j的第m维特征，M表示轮廓特征空间维度。

作为另一示例，两个轮廓特征向量之间的距离也可以采用p规范(p-norm)距离来度量，可以通过如下公式(9)计算：

$d({\mathrm{cf}}_i,{\mathrm{cf}}_j)={\left(\underset{m=1}{\overset{M}{\mathrm{\Σ}}}{({\mathrm{cf}}_{\mathrm{im}}-{\mathrm{cf}}_{\mathrm{jm}})}^p\right)}^{1/p}---\left(9\right)$

其中p为一实数，其它参数定义与上述公式(8)中相同。该实数p在实践中可根据需要设为任意恒定值，例如，如果实际应用中实时性要求很高，则可将p设为较小值，如果图像库中大部分库图像轮廓比较相似，需要扩大轮廓之间的差异性，则可将p适当扩大。然而，不论p取何值，只要是恒定值，则可以保证需要比较的轮廓特征相似度的可比性，能够满足相比较的要求。

作为又一示例，两个轮廓特征向量之间的距离还可采用Kullback-Leibler距离来度量，可以通过如下公式(10)计算：

$d({\mathrm{cf}}_i,{\mathrm{cf}}_j)=\underset{m=1}{\overset{M}{\mathrm{\Σ}}}\{\mathrm{Pr}\left({\mathrm{cf}}_{\mathrm{im}}\right)\log \frac{\mathrm{Pr}\left({\mathrm{cf}}_{\mathrm{im}}\right)}{\mathrm{Pr}\left({\mathrm{cf}}_{\mathrm{jm}}\right)}+\mathrm{Pr}\left({\mathrm{cf}}_{\mathrm{jm}}\right)\log \frac{\mathrm{Pr}\left({\mathrm{cf}}_{\mathrm{jm}}\right)}{\mathrm{Pr}\left({\mathrm{cf}}_{\mathrm{im}}\right)}\}---\left(10\right)$

其中，Pr(·)表示轮廓特征向量的概率分布，本领域技术人员可根据成熟的技术手段，根据该轮廓在轮廓特征空间的位置估计该概率分布值，其它参数定义与上述公式(8)中相同。

假设将输入图像的第一个轮廓ctr1_l与库图像的{ctr2_j}中的全部轮廓均进行轮廓特征相似度计算比较之后，在ctr1_l与库图像的{ctr2_j}中的全部轮廓所得的轮廓特征相似度之中，与库图像的轮廓ctr2_k所得的轮廓特征相似度最大，即与轮廓ctr2_k最为匹配，则此时将与轮廓ctr2_k所得的轮廓特征相似度和一预定阈值相比较，该预定阈值可以通过对大量样本图像进行训练所总结的经验而得来。

如果该最大的轮廓特征相似度与预定阈值的比较结果为轮廓特征相似度大于预定阈值，则认为输入图像的ctr1_l与库图像的轮廓ctr2_k相匹配，或者说二者均获得匹配，在此情况下，ctr1_l与ctr2_k均不再参与该轮廓匹配过程此后的计算。

另一方面，如果该最大的轮廓特征相似度与预定阈值的比较结果为轮廓特征相似度小于预定阈值，则无法认为输入图像的ctr1_l与库图像的轮廓ctr2_k相匹配，或者说二者均未获得匹配，在此情况下，至少ctr1_l被排除而不再参与该轮廓匹配过程此后的计算，而对于ctr2_k可以有两种处理方式：既可以参与该轮廓匹配过程此后的计算，也就是与输入图像的其它轮廓计算轮廓特征相似度；也可以像ctr1_l一样被排除而不再考虑。

以上的轮廓匹配过程计算到输入图像的轮廓集合{ctr1_i}和该库图像的轮廓集合{ctr2_j}中的任意一个不再有轮廓以供轮廓匹配计算为止，也就是，其中的轮廓都已经获得匹配或者被排除了。

然后，在轮廓相似度计算步骤S440，在轮廓匹配步骤S420确定匹配的轮廓之间进行轮廓相似度的计算。

图8示出按照本发明实施例的轮廓相似度计算步骤S440的流程图。如图8所示，所述轮廓相似度计算步骤S440可以包括：数值相似度计算步骤S442，可以根据输入图像的轮廓中包含的位于库图像的相匹配的轮廓的关键点的邻域的关键点数目，确定输入图像的该轮廓与该库图像的相匹配的轮廓的数值相似度；关键点匹配步骤S444，可以根据输入图像的该轮廓的关键点的点特征与该库图像的相匹配的轮廓的关键点的点特征的点特征相似度，将输入图像的该轮廓的关键点与该库图像的相匹配的轮廓的关键点相匹配；空间相似度计算步骤S446，可以在输入图像的该轮廓的关键点与该库图像的相匹配的轮廓的相匹配的关键点之间，分别建立相对应的点组，并计算输入图像的该轮廓的关键点的点组和该库图像的相匹配的轮廓的相匹配的关键点的相对应的点组之间的空间相似度；轮廓相似度综合步骤S448，可以根据输入图像的轮廓和该库图像的相匹配的轮廓之间的数值相似度及相对应的点组之间的空间相似度，综合计算输入图像的轮廓和该库图像的相匹配的轮廓之间的轮廓相似度。

在数值相似度计算步骤S442，可以通过以下公式(11)和(12)计算输入图像的某个轮廓与库图像中的相匹配的轮廓之间的数值相似度VS(valuescore)：

VS＝|P|        (11)

P＝{p_i|p_i∈ctr1_m，p_j∈ctr2_n，p_i∈k-NN(p_j)}            (12)

其中，ctr1_m和ctr2_n分别为输入图像的某个轮廓和库图像的某个轮廓，二者通过上述轮廓匹配步骤S420而认定为相匹配，p_i和p_j分别为ctr1_m和ctr2_n中的关键点，k-NN(p_j)表示关键点p_j的邻域，在此，k表示邻域大小，例如k＝1，4，10分别表示一邻域、四邻域、十邻域，邻域大小k可以根据输入图像的关键点数目来确定，如果输入图像的关键点数目很大，k可适当取较大值，反之取较小值。例如，可以根据对样本的训练得到k与关键点数目的关系，从而在自动统计出关键点数目时可以自动得到适当的k值。|P|表示集合P中元素的个数。

在关键点匹配步骤S444，在输入图像和库图像的相匹配的轮廓之间进行关键点的匹配。

在所述关键点匹配步骤S444中，可以执行以下关键点匹配过程：计算输入图像的轮廓的关键点的点特征分别与该库图像的相匹配的轮廓的关键点的点特征之间的点特征相似度，输入图像的该轮廓的关键点与该库图像的相匹配的轮廓的获得最大点特征相似度的关键点相匹配。

并且，所述关键点匹配步骤S444还可以包括：在输入图像的该轮廓的未获得匹配的关键点与该库图像的相匹配的轮廓的未获得匹配的关键点之间进行所述关键点匹配过程，至输入图像的该轮廓与该库图像的相匹配的轮廓中至少一方没有关键点未获得匹配为止。

换句话说，在点特征空间中，计算输入图像的某个轮廓的关键点与库图像的相匹配轮廓的关键点之间的点特征相似度，得出两个相匹配的轮廓的最佳关键点匹配方式。其中，本发明实施例采用的点特征可以是前述的SIFT特征、PCA-SIFT特征、SURF特征、或者任何其它能够通过向量表示的点特征，由于点特征经过分配到轮廓而构成联合特征，因此在此也可以认为是通过联合特征获得关键点的匹配方式。

作为一个示例，可采用如下的关键点匹配过程，此关键点匹配过程也可以归类为“贪婪算法”，然而具体处理方式可以与前述用于匹配轮廓的“贪婪算法”有所区别。

假设输入图像的轮廓的关键点集合为{p1_i}，某个库图像中的相匹配轮廓的关键点集合为{p2_j}，其中i，j为索引值。输入图像的轮廓的关键点集合{p1_i}中的各个关键点p1_i构成一个序列，依次在该库图像的相匹配轮廓的关键点集合{p2_j}中寻找最匹配的关键点ctr2_j。

假设两个关键点p_i和p_j的点特征分别为pf_i和pf_j，在点特征为SIFT特征、PCA-SIFT特征或SURF特征、或者任何其它能够通过向量表示的点特征的情况下，可以通过类似于轮廓相似度的计算方式来计算两个关键点之间的点特征相似度。

作为一个示例，基于高斯函数，两个关键点之间的点特征相似度可用下述公式(13)计算：

$\mathrm{sim}({\mathrm{pf}}_i,{\mathrm{pf}}_j)=\frac{1}{2\mathrm{\π}}{e}^{\frac{d({\mathrm{pf}}_i,{\mathrm{pf}}_j)}{-2h}}---\left(13\right)$

或者，作为另一示例，可以基于余弦函数，两个关键点之间的点特征相似度可用下述公式(14)计算：

$\mathrm{sim}({\mathrm{pf}}_i,{\mathrm{pf}}_j)=\frac{\mathrm{\π}}{4}\cos \left(\frac{\mathrm{\π}\×d({\mathrm{pf}}_i,{\mathrm{pf}}_j)}{2h}\right)---\left(14\right)$

公式(13)和公式(14)中，sim(pf_i，pf_j)是点特征向量pf_i和pf_j之间的点特征相似度，h是平滑参数，也可以称为带宽，可以由本领域技术人员根据经验确定，或者根据d(·)的统计分布来决定。d(·)是两个点特征向量之间的距离，可以采用本领域技术人员熟知的任意一种计算两个向量的距离的方法来计算。

作为一个示例，两个点特征向量之间的距离可以采用欧几里得(欧氏)距离来度量，可以通过以下公式(15)计算：

$d({\mathrm{pf}}_i,{\mathrm{pf}}_j)=\sqrt{\underset{m=1}{\overset{M}{\mathrm{\Σ}}}{({\mathrm{pf}}_{\mathrm{im}}-{\mathrm{pf}}_{\mathrm{jm}})}^2}---\left(15\right)$

其中，pf_im和pf_jm分别表示点特征向量pf_i和pf_j的第m维特征，N表示点特征空间维度。

作为另一示例，两个点特征向量之间的距离可以采用p规范(p-norm)距离来度量，可以通过以下公式(16)计算：

$d({\mathrm{pf}}_i,{\mathrm{pf}}_j)={\left(\underset{m=1}{\overset{M}{\mathrm{\Σ}}}{({\mathrm{pf}}_{\mathrm{im}}-{\mathrm{pf}}_{\mathrm{jm}})}^p\right)}^{1/p}---\left(16\right)$

其中p为一实数，其它参数定义与上述公式(15)中相同。该实数p在实践中可根据需要设为任意恒定值，例如，如果实际应用中实时性要求很高，则可将p设为较小值，如果图像库中大部分库图像关键点特征比较相似，需要扩大关键点之间的差异性，则可将p适当扩大。然而，不论p取何值，只要是恒定值，则可以保证需要比较的点特征相似度的可比性，能够满足相比较的要求。

作为又一示例，两个点特征向量之间的距离可以采用Kullback-Leibler距离来度量，可以通过以下公式(17)计算：

$d({\mathrm{pf}}_i,{\mathrm{pf}}_j)=\underset{m=1}{\overset{M}{\mathrm{\Σ}}}\{\mathrm{Pr}\left({\mathrm{pf}}_{\mathrm{im}}\right)\log \frac{\mathrm{Pr}\left({\mathrm{pf}}_{\mathrm{im}}\right)}{\mathrm{Pr}\left({\mathrm{pf}}_{\mathrm{jm}}\right)}+\mathrm{Pr}\left({\mathrm{pf}}_{\mathrm{jm}}\right)\log \frac{\mathrm{Pr}\left({\mathrm{pf}}_{\mathrm{jm}}\right)}{\mathrm{Pr}\left({\mathrm{pf}}_{\mathrm{im}}\right)}\}---\left(17\right)$

其中，Pr(·)表示轮廓特征向量的概率分布，本领域技术人员可根据成熟的技术手段，根据该轮廓在轮廓特征空间的位置估计该概率分布值，其它参数定义与上述公式(15)中相同。

假设将输入图像轮廓的关键点集合{p1_i}中的第一个关键点p1_l与库图像相匹配轮廓的关键点集合{p2_j}中的全部关键点均进行点特征相似度计算比较之后，在p1_l与{p2_j}中的全部关键点所得的点特征相似度之中，与其中关键点p2_k所得的点特征相似度最大，即与关键点p2_k最为匹配，则认为输入图像的该轮廓的关键点p1_l与库图像的相匹配轮廓中的关键点p2_k相匹配，或者说二者均获得匹配，在此情况下，p1_l与p2_k均不再参与该关键点匹配过程此后的计算。

以上的关键点匹配过程计算到输入图像的轮廓的关键点集合{p1_i}和该库图像的相匹配轮廓的关键点集合{p2_j}中的任意一个不再有关键点以供关键点匹配计算为止，也就是，其中的关键点都已经获得匹配了。

然后，在空间相似度计算步骤S446中，在输入图像的该轮廓的关键点与该库图像的相匹配的轮廓的相匹配的关键点之间，分别建立相对应的两点组，根据相对应的两点组之间的两点相对位置的一致性，确定相对应的两点组之间的两点组匹配度，并且分别建立相对应的三点组，根据相对应的三点组之间的三点相对比例的比例一致性，确定相对应的三点组之间的三点组匹配度，根据在输入图像的该轮廓的关键点与该库图像的相匹配的轮廓的相匹配的关键点之间相对应的两点组之间的两点组匹配度及相对应的三点组之间的三点组匹配度，计算输入图像的该轮廓的关键点的点组和该库图像的相匹配的轮廓的相匹配的关键点的点组之间的空间相似度。

在空间相似度计算步骤S446，基于在关键点匹配步骤S444确定的最佳关键点匹配方式，利用空间几何约束的特征匹配方法，计算空间相似度得分SS(space score)。

在计算空间相似度得分的过程中，以输入图像和库图像双方相匹配的轮廓的相匹配的关键点为对象。

可以在输入图像和库图像双方相对应地将单个的关键点构成的单点集(point set)组合成两点组，也可以称为点对集(pair set)。作为一个示例，输入图像一方的单点集{p₁，p₂，p₃}可以组合为点对集{pd_i}＝{<p₁，p₂>，<p₂，p₃>，<p₂，p₃>}，其中关键点p₁，p₂，及p₃均具有X-Y坐标；在库图像一方，可以将与关键点p₁，p₂，p₃相匹配的关键点p₁’，p₂’，p₃’组合为相对应的点对集{pd_i’}＝{<p₁’，p₂’>，<p₂’，p₃’>，<p₂’，p₃’>}，其中关键点p₁’，p₂’，及p₃’均具有X-Y坐标。

然后，根据位置一致性原则，基于点对集计算两点组匹配度的匹配得分。可以通过以下公式(18)分别在X轴和Y轴方向逐一检查这些点对的位置一致性，获得两点组匹配度ms1：

ms1＝∑_iδ_pd(pd_i，pd_i′)        (18)

其中，pd_i为输入图像中的一个两点组，pd_i’为库图像中的相匹配的关键点构成的相对应的两点组，如果pd_i包含的两关键点为(x_r，y_r)，(x_s，y_s)，pd_i’包含的分别与(x_r，y_r)，(x_s，y_s)相匹配的关键点为(x_r′，y_r′)，(x_s′，y_s′)，则如果满足(x_r-x_s)(x_r′-x_s′)＞0且(y_r-y_s)(y_r′-y_s′)＞0，则认为双方的该两点组位置一致，δ_pd是位置一致性检测函数，如果pd_i和pd_i′在X-Y坐标中位置是一致分布的，则δ_pd(pd_i，pd_i′)赋值为1，否则赋值为0。

图9包括图9A至图9C，分别示意性地示出检测相对应的两点组之间的位置一致性的情况，其中，关键点p₁，p₂，p₃分别与关键点p₁’，p₂’，p₃’相匹配，一方图像组合为点对集{<p₁，p₂>，<p₂，p₃>，<p₂，p₃>}，另一方则组合为点对集{<p₁’，p₂’>，<p₂’，p₃’>，<p₂’，p₃’>}。

根据以上的公式(18)，可以计算出图9A至图9C分别的两点组匹配度ms1。在图9A所示的情况下，ms1＝3；在图9B所示的情况下，ms1＝1；在图9C所示的情况下，ms1＝0。

可以在进行上述关于两点组的处理过程之前之后或同时，进行关于以下三点组的处理过程，将关键点的单点集(point set)转换成三点组(triplet set)。作为一个示例，输入图像一方的单点集{p₁，p₂，p₃，p₄}可以组合为三点组{pt_i}＝{<p₁，p₂，p₃>，<p₂，p₃，p₄>，<p₁，p₂，p₄>，<p₁，p₃，p₄>}，其中关键点p₁，p₂，p₃及p₄均具有X-Y坐标；在库图像一方，可以将与关键点p₁，p₂，p₃，p₄相匹配的关键点p₁’，p₂’，p₃’，p₄’组合为相对应的三点组{pt_i’}＝{<p₁’，p₂’，p₃’>，<p₂’，p₃’，p₄’>，<p₁’，p₂’，p₄’>，<p₁’，p₃’，p₄’>}，其中关键点p₁’，p₂’，p₃’，及p₄’均具有X-Y坐标。

然后根据比例一致性原则，计算基于三点组的匹配得分。

例如，任意相对应的两个三点组pt_i＝{(x_u，y_u)，(x_v，y_v)，(x_w，y_w)}和pt_i’＝{(x_u′，y_u′)，(x_v′，y_v′)，(x_w′，y_w′)}，其中一方图像的关键点(x_u，y_u)，(x_v，y_v)，(x_w，y_w)分别与另一方图像的关键点(x_u′，y_u′)，(x_v′，y_v′)，(x_w′，y_w′)相匹配，则可以通过以下的公式(19)和(20)计算该相对应的两个三点组之间的三点组匹配度ms2：

$\mathrm{diff}({\mathrm{pt}}_i,{{\mathrm{pt}}_i}^{\&prime;})=\left|(\frac{x_u-x_v}{x_u-x_w}-\frac{{x_u}^{\&prime;}-{x_v}^{\&prime;}}{{x_u}^{\&prime;}-{x_w}^{\&prime;}})(\frac{y_u-y_v}{y_u-y_w}-\frac{{y_u}^{\&prime;}-{y_v}^{\&prime;}}{{y_u}^{\&prime;}-{y_w}^{\&prime;}})\right|---\left(19\right)$

ms2＝∑_iδ_pt(pt_i，pt_i′)         (20)

其中，δ_pt是比例一致性检测函数，如果diff(pt_i，pt_i′)的值比一个预定阈值低，则δ_pt(pt_i，pt_i′)被赋值为1，否则赋值为0，此预定阈值也可以通过对大量样本图像进行训练所总结的经验而得来。

图10包括图10A和图10B，分别示意性地示出检测相对应的三点组之间的比例一致性的情况，其中，关键点p₁，p₂，p₃分别与关键点p₁’，p₂’，p₃’相匹配，一方组合为三点组<p₁，p₂，p₃>，另一方则组合为三点组<p₁’，p₂’，p₃’>。

根据以上的公式(19)和(20)，可以计算出图10A和图10B分别的三点组匹配度ms2。取决于此处预定阈值的设置，ms2得分可能会有所不同，然而，在此处相同预定阈值的情况下，图10A所示情况下所得的三点组匹配度ms2会大于图10B所示情况下所得的三点组匹配度ms2。

然后，根据两点组匹配度和三点组匹配度，通过例如线性加权法等等的本领域惯用手段，来计算两个相匹配的轮廓之间的空间相似度，例如通过如下公式(21)计算空间相似度SS，

SS＝ms1+λ₁ms2        (21)

其中，λ₁是权值，表示ms2相对于ms1的重要程度。例如，在图像不存在旋转匹配的情况下，可以将λ₁设为0，即只考虑两点组的匹配情况。

本领域技术人员可以理解，尽管上文中先陈述数值相似度计算步骤S442，再陈述关键点匹配步骤S444-S446，然而步骤S442及步骤S444-S446两者可以以任意先后顺序或并行同时进行。

然后，在轮廓相似度综合步骤S448，把之前计算得到的相匹配的轮廓之间的数值相似度和空间相似度相综合，通过例如线性加权法等等的本领域惯用手段，计算得到轮廓相似度，例如利用如下公式(22)，计算轮廓相似度S：

S＝VS+λ₂SS              (22)

其中，λ₂是权值，表示空间相似度SS相对于数值相似度VS的重要程度。例如，如果点特征描述子很强，可以适量降低λ₂；或者如果为了提高速度，则可以只计算数值相似度，即设λ₂为0。

在空间相似度计算步骤S446中进行的两点组匹配度和三点组匹配度的综合获得空间相似度的过程中以及在轮廓相似度综合步骤S448中进行的数值相似度和空间相似度综合获得轮廓相似度的过程中，涉及到不同种类的得分相加的处理，在此情况下，可以考虑在线性加权相加之前将不同种类的得分归一化。在此例如可以采用高斯归一化的手段，以将各个得分的分布调整为零均值和单位方差。

具体是，可以分别针对各类得分，计算某一类得分的统计均值μ和方差σ。设va_i(i＝1，2，...，N)，i为索引值，i和N显然均为自然数，是一组为归一化而收集的通过对样本进行训练而得到的得分，则可以通过以下公式(23)得到均值μ，通过以下公式(24)得到方差σ：

$\mathrm{\&mu;}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{\mathrm{va}}_i---\left(23\right)$

$\mathrm{\&sigma;}=\sqrt{\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{({\mathrm{va}}_i-\mathrm{\&mu;})}^2}---\left(24\right).$

如果通过该类的计算得到分值va，则可以通过公式(25)将其归一化为va’：

${\mathrm{va}}^{\&prime;}=\frac{(\mathrm{va}-\mathrm{\&mu;})}{\mathrm{\&sigma;}}---\left(25\right)$

不同种类的得分经过归一化以便于线性加权相加。本领域技术人员可以理解，归一化的手段不限于高斯归一化，而是任意归一化方法均可以用于本发明实施例中的不同种类的得分相加。

在得到输入图像和某个库图像的所有相匹配轮廓的轮廓相似度之后，可以在图像相似度计算步骤S460得到输入图像和该库图像的图像相似度。在图像相似度计算步骤S460，把之前计算得到的输入图像与库图像之间的所有相匹配的轮廓之间的轮廓相似度相综合，通过例如线性加权法等等的本领域惯用手段，计算得到图像相似度。在此例如可以简单地设定所有轮廓权重相等，即将图像中所有轮廓的轮廓相似度直接相加，作为该库图像与输入图像之间的图像相似度；或者，也可以根据对样本图像的训练，预先设置取决于轮廓在图像中的位置以及轮廓所围面积等等的权重，通过线性加权来相加，以根据轮廓相似度得到图像相似度。

排序步骤S500，数据库中的多个库图像根据与输入图像的图像相似度进行排序，可以是按照图像相似度由高到低的顺序，即越是与输入图像相似，则排位越靠前。

可以在排序后的数据库的库图像中，提取一定数目的排位靠前的库图像，或者也可以不提取而将全部库图像，以各种已知惯用的手段提供，例如呈现，给外部，例如用户。

本发明还可以实施为一种图像查询设备，用来执行上述按照本发明实施例的图像查询方法，以从图像库中查询与输入图像相似的库图像。图11示出按照本发明实施例的图像查询设备的总体框图。如图11所示，按照本发明实施例的图像查询设备可以包括：关键点及轮廓提取装置100，可以用来执行前述的关键点及轮廓提取步骤S100，以针对图像库中的多个库图像及输入图像，分别提取其中的关键点和轮廓；特征提取装置200，可以用来执行前述的特征提取步骤S200，以针对图像库中的多个库图像及输入图像，分别基于关键点提取点特征，基于轮廓提取轮廓特征；联合特征确定装置300，可以用来执行前述的联合特征确定步骤S300，以针对图像库中的多个库图像及输入图像，分别基于关键点的点特征及轮廓，确定轮廓的联合特征；图像相似度确定装置400，可以用来执行前述的图像相似度确定步骤S400，以根据输入图像的轮廓的轮廓特征、联合特征及关键点位置与图像库中的多个库图像的轮廓的轮廓特征、联合特征及关键点位置，来确定输入图像与图像库中的多个库图像分别的图像相似度；排序装置500，可以用来执行前述的排序步骤S500，以根据图像库中的多个库图像与输入图像的图像相似度大小来对图像库中的多个库图像排序。

其中，联合特征确定装置300可以针对图像库中的多个库图像及输入图像，将位于轮廓内部及轮廓上的关键点与该轮廓相关联，同一轮廓的关键点的点特征构成该轮廓的联合特征，排除不位于任何轮廓内部也不位于任何轮廓上的关键点。

其中，图像相似度确定装置400可以包括：轮廓匹配装置，可以用来执行前述的轮廓匹配步骤S420，以针对输入图像与图像库中的多个库图像中的各个库图像，分别地根据输入图像的轮廓的轮廓特征与该库图像的轮廓的轮廓特征，来匹配输入图像的轮廓和该库图像的轮廓；轮廓相似度计算装置，可以用来执行前述的轮廓相似度计算步骤S440，以根据输入图像的轮廓的联合特征及关键点位置与库图像的相匹配的轮廓的联合特征及关键点位置，计算该输入图像的轮廓与该库图像的轮廓之间的轮廓相似度；图像相似度计算装置，可以用来执行前述的图像相似度计算步骤S460，以根据输入图像与库图像之间所有相匹配的轮廓之间的轮廓相似度，来计算输入图像与该库图像之间的图像相似度。

其中，轮廓匹配装置可以执行以下轮廓匹配过程：计算输入图像的轮廓的轮廓特征分别与该库图像的各个轮廓的轮廓特征之间的轮廓特征相似度，将其中的最大轮廓特征相似度与预定阈值相比较，如果该最大轮廓特征相似度大于该预定阈值，则输入图像的该轮廓与该库图像的获得最大轮廓特征相似度的该轮廓相匹配，在该最大轮廓特征相似度不大于该预定阈值的情况下，排除输入图像的该轮廓。

该轮廓匹配装置执行的所述轮廓匹配过程还可以进一步包括：在该最大轮廓特征相似度不大于该预定阈值的情况下，排除库图像中与输入图像的该轮廓获得最大轮廓特征相似度的轮廓。

不论所述轮廓匹配装置在该最大轮廓特征相似度不大于该预定阈值的情况下，是否排除库图像中与输入图像的该轮廓获得最大轮廓特征相似度的轮廓，该轮廓匹配装置均可以进一步在未获得匹配并且也未被排除的输入图像的轮廓与该库图像的轮廓之间执行所述轮廓匹配过程，至输入图像与该库图像中至少一方没有轮廓未获得匹配并且也未被排除为止。

其中，轮廓相似度计算装置可以包括：数值相似度计算装置，可以用来执行前述的数值相似度计算步骤S442，以根据输入图像的轮廓中包含的位于库图像的相匹配的轮廓的关键点的邻域的关键点数目，确定输入图像的该轮廓与该库图像的相匹配的轮廓的数值相似度；关键点匹配装置，可以用来执行前述的关键点匹配步骤S444，以根据输入图像的该轮廓的关键点的点特征与该库图像的相匹配的轮廓的关键点的点特征的点特征相似度，将输入图像的该轮廓的关键点与该库图像的相匹配的轮廓的关键点相匹配；空间相似度计算装置，可以用来执行前述的空间相似度计算步骤S446，以在输入图像的该轮廓的关键点与该库图像的相匹配的轮廓的相匹配的关键点之间，分别建立相对应的点组，并计算输入图像的该轮廓的关键点的点组和该库图像的相匹配的轮廓的相匹配的关键点的相对应的点组之间的空间相似度；轮廓相似度综合装置，可以用来执行前述的轮廓相似度综合步骤S448，以根据输入图像的轮廓和该库图像的相匹配的轮廓之间的数值相似度及相对应的点组之间的空间相似度，综合计算输入图像的轮廓和该库图像的相匹配的轮廓之间的轮廓相似度。

其中，关键点匹配装置可以执行以下关键点匹配过程：计算输入图像的轮廓的关键点的点特征分别与该库图像的相匹配的轮廓的关键点的点特征之间的点特征相似度，输入图像的该轮廓的关键点与该库图像的相匹配的轮廓的获得最大点特征相似度的关键点相匹配。

并且，该关键点匹配装置还可以进一步在输入图像的该轮廓的未获得匹配的关键点与该库图像的相匹配的轮廓的未获得匹配的关键点之间进行所述关键点匹配过程，至输入图像的该轮廓与该库图像的相匹配的轮廓中至少一方没有关键点未获得匹配为止。

空间相似度计算装置可以在输入图像的该轮廓的关键点与该库图像的相匹配的轮廓的相匹配的关键点之间，分别建立相对应的两点组，根据相对应的两点组之间的两点相对位置的一致性，确定相对应的两点组之间的两点组匹配度，并且分别建立相对应的三点组，根据相对应的三点组之间的三点相对比例的比例一致性，确定相对应的三点组之间的三点组匹配度，根据在输入图像的该轮廓的关键点与该库图像的相匹配的轮廓的相匹配的关键点之间相对应的两点组之间的两点组匹配度及相对应的三点组之间的三点组匹配度，计算输入图像的该轮廓的关键点的点组和该库图像的相匹配的轮廓的相匹配的关键点的点组之间的空间相似度。

本发明还可以通过一种图像查询系统来实施。图12是示出按照本发明实施例的图像查询系统1000的总体框图，如图12所示，图像查询系统1000可以包括：输入设备1100，用于从外部输入将要查询的输入图像，例如可以包括键盘、鼠标器、扫描仪、以及通信网络及其所连接的远程输入设备等等；处理设备1200，用于实施上述的按照本发明实施例的图像查询方法，或者实施为上述的按照本发明实施例的图像查询设备，例如可以包括计算机的中央处理器或其它的具有处理能力的芯片如DSP等等；输出设备1300，用于向外部输出实施上述图像查询过程所得的结果，例如可以包括显示器、打印机、以及通信网络及其所连接的远程输出设备等等；存储设备1400，用于以易失或非易失的方式存储上述图像查询过程所涉及的图像、所得的结果、命令、中间数据等等，例如可以包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘、或半导体存储器等等的各种易失或非易失性存储器；以及图像数据库1500，用于存储供执行上述图像查询过程的库图像，例如可以包括任何能够存储图像的数据库，既可以是本地数据库，也可以是网络数据库。

按照本发明实施例的图像查询方法、图像查询设备、及图像查询系统，可以利用图像轮廓对图像关键点进行分组，通过先利用轮廓特征匹配查询图像和库图像的轮廓，去除现有技术中大部分的不必要的利用点特征所进行的关键点匹配；在利用点特征进行关键点匹配时，利用关键点的特征及其空间几何关系得出匹配得分，不需要任何迭代的操作，从而必比现有技术方法更有效且更简便，降低处理复杂度。另一方面，本发明的实施例考虑了关键点的空间几何关系，首先确定最佳的关键点匹配方式，然后确认点对(两点组)和/或三点组的空间几何关系，旨在更有效地滤除误匹配，从而可以获得更鲁棒的匹配结果。

在说明书中说明的一系列操作能够通过硬件、软件、或者硬件与软件的组合来执行。当由软件执行该一系列操作时，可以把其中的计算机程序安装到内置于专用硬件的计算机中的存储器中，使得计算机执行该计算机程序。或者，可以把计算机程序安装到能够执行各种类型的处理的通用计算机中，使得计算机执行该计算机程序。

例如，可以把计算机程序预先存储到作为记录介质的硬盘或者ROM(只读存储器)中。或者，可以临时或者永久地存储(记录)计算机程序到可移动记录介质中，诸如软盘、CD-ROM(光盘只读存储器)、MO(磁光)盘、DVD(数字多功能盘)、磁盘、或半导体存储器。可以把这样的可移动记录介质作为封装软件提供。

本发明已经参考具体实施例进行了详细说明。然而，很明显，在不背离本发明的精神的情况下，本领域技术人员能够对实施例执行更改和替换。换句话说，本发明用说明的形式公开，而不是被限制地解释。要判断本发明的要旨，应该考虑所附的权利要求。

Claims (10)

1.一种图像查询方法，用于从图像库中查询与输入图像相似的库图像，所述图像查询方法包括：

关键点及轮廓提取步骤，针对图像库中的多个库图像及输入图像，分别提取其中的关键点和轮廓；

特征提取步骤，针对图像库中的多个库图像及输入图像，分别基于关键点提取点特征，基于轮廓提取轮廓特征；

联合特征确定步骤，针对图像库中的多个库图像及输入图像，分别基于关键点的点特征及轮廓，确定轮廓的联合特征；

图像相似度确定步骤，根据输入图像的轮廓的轮廓特征、联合特征及关键点位置与图像库中的多个库图像的轮廓的轮廓特征、联合特征及关键点位置，来确定输入图像与图像库中的多个库图像分别的图像相似度；

排序步骤，根据图像库中的多个库图像与输入图像的图像相似度大小来对图像库中的多个库图像排序。

2.按照权利要求1所述的图像查询方法，其中，在所述联合特征确定步骤中，针对图像库中的多个库图像及输入图像，将位于轮廓内部及轮廓上的关键点与该轮廓相关联，同一轮廓的关键点的点特征构成该轮廓的联合特征，排除不位于任何轮廓内部也不位于任何轮廓上的关键点。

3.按照权利要求1所述的图像查询方法，其中，所述图像相似度确定步骤包括：

轮廓匹配步骤，针对输入图像与图像库中的多个库图像中的各个库图像，分别地根据输入图像的轮廓的轮廓特征与该库图像的轮廓的轮廓特征，来匹配输入图像的轮廓和该库图像的轮廓；

轮廓相似度计算步骤，根据输入图像的轮廓的联合特征及关键点位置与库图像的相匹配的轮廓的联合特征及关键点位置，计算该输入图像的轮廓与该库图像的轮廓之间的轮廓相似度；

图像相似度计算步骤，根据输入图像与库图像之间所有相匹配的轮廓之间的轮廓相似度，来计算输入图像与该库图像之间的图像相似度。

4.按照权利要求3所述的图像查询方法，其中，在所述轮廓匹配步骤中，执行以下轮廓匹配过程：计算输入图像的轮廓的轮廓特征分别与该库图像的各个轮廓的轮廓特征之间的轮廓特征相似度，将其中的最大轮廓特征相似度与预定阈值相比较，如果该最大轮廓特征相似度大于该预定阈值，则输入图像的该轮廓与该库图像的获得最大轮廓特征相似度的该轮廓相匹配，在该最大轮廓特征相似度不大于该预定阈值的情况下，排除输入图像的该轮廓。

5.按照权利要求4所述的图像查询方法，其中，在所述轮廓匹配步骤中，执行所述轮廓匹配过程还包括：在该最大轮廓特征相似度不大于该预定阈值的情况下，排除库图像中与输入图像的该轮廓获得最大轮廓特征相似度的轮廓。

6.按照权利要求4或5所述的图像查询方法，其中，所述轮廓匹配步骤还包括：在未获得匹配并且也未被排除的输入图像的轮廓与该库图像的轮廓之间执行所述轮廓匹配过程，至输入图像与该库图像中至少一方没有轮廓未获得匹配并且也未被排除为止。

7.按照权利要求3所述的图像查询方法，其中，所述轮廓相似度计算步骤包括：

数值相似度计算步骤，根据输入图像的轮廓中包含的位于库图像的相匹配的轮廓的关键点的邻域的关键点数目，确定输入图像的该轮廓与该库图像的相匹配的轮廓的数值相似度；

关键点匹配步骤，根据输入图像的该轮廓的关键点的点特征与该库图像的相匹配的轮廓的关键点的点特征的点特征相似度，将输入图像的该轮廓的关键点与该库图像的相匹配的轮廓的关键点相匹配；

空间相似度计算步骤，在输入图像的该轮廓的关键点与该库图像的相匹配的轮廓的相匹配的关键点之间，分别建立相对应的点组，并计算输入图像的该轮廓的关键点的点组和该库图像的相匹配的轮廓的相匹配的关键点的相对应的点组之间的空间相似度；

轮廓相似度综合步骤，根据输入图像的轮廓和该库图像的相匹配的轮廓之间的数值相似度及相对应的点组之间的空间相似度，综合计算输入图像的轮廓和该库图像的相匹配的轮廓之间的轮廓相似度。

8.按照权利要求7所述的图像查询方法，

其中，在所述关键点匹配步骤中，执行以下关键点匹配过程：计算输入图像的轮廓的关键点的点特征分别与该库图像的相匹配的轮廓的关键点的点特征之间的点特征相似度，输入图像的该轮廓的关键点与该库图像的相匹配的轮廓的获得最大点特征相似度的关键点相匹配；

并且其中，所述关键点匹配步骤还包括：在输入图像的该轮廓的未获得匹配的关键点与该库图像的相匹配的轮廓的未获得匹配的关键点之间进行所述关键点匹配过程，至输入图像的该轮廓与该库图像的相匹配的轮廓中至少一方没有关键点未获得匹配为止。

9.按照权利要求7所述的图像查询方法，其中，在所述空间相似度计算步骤中，在输入图像的该轮廓的关键点与该库图像的相匹配的轮廓的相匹配的关键点之间，分别建立相对应的两点组，根据相对应的两点组之间的两点相对位置的一致性，确定相对应的两点组之间的两点组匹配度，并且分别建立相对应的三点组，根据相对应的三点组之间的三点相对比例的比例一致性，确定相对应的三点组之间的三点组匹配度，根据在输入图像的该轮廓的关键点与该库图像的相匹配的轮廓的相匹配的关键点之间相对应的两点组之间的两点组匹配度及相对应的三点组之间的三点组匹配度，计算输入图像的该轮廓的关键点的点组和该库图像的相匹配的轮廓的相匹配的关键点的点组之间的空间相似度。

10.一种图像查询设备，用于从图像库中查询与输入图像相似的库图像，所述图像查询设备包括：

关键点及轮廓提取装置，针对图像库中的多个库图像及输入图像，分别提取其中的关键点和轮廓；

特征提取装置，针对图像库中的多个库图像及输入图像，分别基于关键点提取点特征，基于轮廓提取轮廓特征；

联合特征确定装置，针对图像库中的多个库图像及输入图像，分别基于关键点的点特征及轮廓，确定轮廓的联合特征；

图像相似度确定装置，根据输入图像的轮廓的轮廓特征、联合特征及关键点位置与图像库中的多个库图像的轮廓的轮廓特征、联合特征及关键点位置，来确定输入图像与图像库中的多个库图像分别的图像相似度；

排序装置，根据图像库中的多个库图像与输入图像的图像相似度大小来对图像库中的多个库图像排序。

Images