CN101859326A - 一种图像检索方法 - Google Patents

Abstract

本发明公开了一种图像检索方法，包括训练和检索两个部分；所述训练部分包括以下步骤：特征点的提取；特征点的补充和匹配关系的确定；同类点集的生成；特征点集聚类；图像数据库中每幅图像特征矢量的生成；所述检索部分包括以下步骤：提取待检索图片的特征点，生成特征点集；计算各个特征点描述子向量到各个聚类中心的距离，以最小距离确定当前特征点所属聚类；计算待检索图片的特征点所属各个聚类的频数n_i；基于待检索图片的特征点所属聚类的频数n_i和所述的各聚类的概率对数w_i生成一个特征矢量并单位化；计算待检索图片的特征矢量到图片库各图像特征矢量的欧拉距离，选取距离最小的图像输出为检索结果。

Description

一种图像检索方法

技术领域

本发明涉及一种图像检索方法，特别涉及一种在图像数据库中基于特征点提取的无指导图像检索方法。

背景技术

随着计算机技术和多媒体技术等的飞速发展，人们获取数字图像的途径越来越多，获取数字图像的能力也越来越强。大量图片的获取和存储，使得对图片库进行有效的管理成为难题。其中，在给定待检索图片的情况下，如何快速、准确地从图像库中找到用户想要的图片是最基本却最常用的问题之一。解决这个问题的有效手段便是图像检索技术。常用的图像检索技术是主要可分为基于文本的和基于内容的二种。其中，基于文本的图像检索技术通常通过在对比图像库中各图像的特征描述与待检索图片特征描述来查找符合要求的图像。这种技术存在二个明显不足：首先，图像特征描述的复杂性使得对大量图片进行特征描述成为一种异常繁琐的工作。其次，图像特征描述的主观性使得描述与图片内容具有一定的不一致性，必然导致检索结果中存在大量不相关的结果。基于内容的图像检索技术主要是对图像本身的各种特征进行分析和检索的技术。目前常用的图像特征有：颜色、纹理和形状等。但基于颜色直方图的检索方法过于依赖图像的颜色，使得检索结果的精度不高。而基于纹理或形状的检索方法存在分析和描述困难的问题，使得检索的精度和效率也都不够好。还有些图像检索方法采用了半监督的反馈技术，通过与用户的交互来改善检索的结果，直到用户满意。这种方法通常会给用户带来较大的负担和时间开销。

发明内容

发明目的：本发明所要解决的技术问题是针对现有技术的不足，提供一种图像检索方法。

技术方案：本发明公开了一种图像检索方法，包括训练和检索两个部分；

所述训练部分包括以下步骤：

步骤1，特征点的提取：对待检索的图像数据库中的每一幅图像进行特征点的检测和描述，得到一组特征点集；特征点集中每一个特征点包含：点在图像中的位置坐标和一个128维的描述子矢量；

步骤2，特征点的补充和匹配关系的确定：对基于同一场景的各图像的特征点集进行补充，并找到同一场景中不同图像特征点间的匹配关系，具有匹配关系的点对应不同图像中的同一物理点；

步骤3，同类点集的生成：将所述在不同图像中且对应同一场景的同一物理点的特征点放入一个同类特征点集中；

步骤4，特征点集聚类：对同类特征点集的描述子矢量进行聚类，并确定各个聚类中心；

步骤5，图像数据库中每幅图像特征矢量的生成：确定每幅图像特征点集的描述子矢量所属的聚类，统计各个聚类的频数，根据所述频数生成一个长度为聚类数的特征矢量；

所述步骤2具体包括以下步骤：

步骤21，在同一场景的所有图像点集中，对于N个属于同一场景的图像点集，选取一个特征点最多的图像点集作为基准特征点集N_a；

步骤22，对基准特征点集N_a之外的每个图像特征点集N_i中的每个特征点F_i，在基准特征点集N_a中求取该特征点F_i基于描述子矢量欧拉距离的最近邻特征点F_i’和次近邻特征点F_i”；将特征点F_i和基准特征点集N_a中的最近邻特征点F_i’的对应关系(F_i，F_i’)作为新的匹配关系加入特征点集N_i和基准特征点集N_a的匹配关系集中；再用特征点F_i与基准特征点点集N_a中的最近邻特征点F_i’及次近邻特征点F_i”的描述子矢量欧拉距离的比值阈值(本发明中一般设定比值阈值＜0.8，当然也可以根据精度需求选取其他数值，一般范围在＜0.8±0.2)过滤超出阈值范围的匹配关系；

步骤23，对步骤22中得到的特征点集N_i和基准特征点集N_a的匹配关系集中各匹配特征点对所对应的各坐标对，确定准确的匹配坐标子集和变换对应的线性映射关系矩阵，其中，准确的匹配坐标是指匹配的坐标点所指示的不同图像上的位置对应物理上同一物体或同一场景上的同一点；

步骤24，对所述图像点集N_i中未匹配到的特征点G_i，使用所述线性映射矩阵计算其在基准特征点集N_a对应图像中的匹配坐标点。如果该匹配坐标超出图像大小，则表示在基准特征点集N_a对应的图像中找不到特征点G_i对应的匹配，否则计算匹配坐标的特征点描述子矢量，形成新的特征点G_i’；如果求得的描述子矢量与当前图像点集N_i中的特征点G_i的描述子矢量的欧拉距离小于设定的阈值(本发明中一般设定该阈值＜350.当然也可以根据精度需求选取其他数值，一般范围在＜350±10)，则将所述新生成特征点Gi’点加入基准特征点集Na中并将已知的图像点集Ni中的特征点G_i和新生成的特征点G_i’的对应关系(G_i，G_i’)作为新的匹配关系放入图像点集N_i和基准特征点集N_a的匹配关系集中，否则特征点G_i的匹配特征点在基准特征点集N_a对应的图像中不存在，舍弃新的特征点G_i’；

步骤25，对每个所述图像点集N_i中所有未匹配特征点返回执行步骤24，最后得到基准特征点集N_a基于特征点N_i补充后的特征点集N_ai和更新的匹配关系集；

步骤26，将所述基准特征点集N_a基于特征点集N₁至特征点集N_i补充后的特征点集N_a1至特征点集N_ai合并为最终基准特征点集N_a’，并且使相似的特征点只保留一个在最终基准特征点集N_a’中；相似特征点通过二个条件来判定：其一是两个特征点的沿x或y方向的坐标差均不超过2个像素，其二是它们的描述子矢量距离小于指定的阈值(本发明中一般设定该阈值＜50，当然也可以根据精度需求选取其他数值，一般范围在＜50±10)；将步骤22至步骤25中得到的所述各图像特征点集N_i与原基准特征点集N_a的匹配关系集更新为各图像点集N_i与新的基准特征点集N_a’的匹配关系集；

步骤27，对在每个所述图像点集N_i中未找到匹配点的最终基准特征点集N_a’中的特征点M_i，返回步骤24求得其在图像点集N_i对应图像中的对应坐标和相应的特征点描述子矢量，生成新的特征点M_i’；将该特征点M_i’加入图像点集N_i并将它和新基准特征点集N_a’中的特征点M_i的对应关系(M_i’，M_i)保存到图像点集N_i和基准特征点集N_a’的匹配关系集中；

步骤28，基于步骤23至步骤27得到的匹配关系集，找到同一场景的几幅图像中对应同一物理点的特征点，即同类点；如果经过步骤23至步骤27，最终基准特征点集N_a’中的特征点m_a分别同图像点集N_i中的特征点m_i匹配，即得到的匹配关系为(m₁，m_a)，…，(m_a-1，m_a)，(m_a+1，m_a)…，则m₁，…，m_a-1，m_a，m_a+1，…为同类点，否则m₁，…，m_a-1，m_a，m_a+1，…不为同类点；

所述步骤4具体包括以下步骤：

步骤41，计算各个同类点集的描述子矢量的质心向量c_i和其包含的点的个数m_i；

步骤42，对集合(c_i，m_i)用加权的聚类方法进行聚类，确定各聚类的聚类中心；

步骤43，设定质心为向量c_i的同类特征点所属聚类为质心向量c_i所属聚类；

步骤44，对图像数据库中的每幅图像计算其特征点所属各聚类的频数n_i；

步骤45，计算每个聚类在图像数据库中出现的概率对数w_i，w_i＝ln(N/N_i)，其中N为图像总数，Ni为当前聚类所出现的图像的个数；

步骤46，对图像数据库中每幅图像，基于特征点所属聚类的频数n_i和各聚类的概率对数w_i生成一个特征矢量并单位化；

所述检索部分包括以下步骤：

步骤6，提取待检索图片的特征点，生成特征点集；

步骤7，计算各个特征点描述子向量到各个聚类中心的距离，以最小距离确定当前特征点所属聚类；

步骤8，计算待检索图片的特征点所属各个聚类的频数n_i；

步骤9，基于待检索图片的特征点所属聚类的频数n_i和所述的各聚类的概率对数w_i生成一个特征矢量并单位化；

步骤10，计算待检索图片的特征矢量到图片库各图像特征矢量的欧拉距离，选取距离最小的图像输出为检索结果。

本发明步骤1中，使用SIFT算法对图像进行特征点的检测和描述，得到图像的所有特征点位置和描述子矢量。SIFT算法的具体内容可参见维基百科关于尺度不变特征转换的阐述或作者David Lowe的原论文。

本发明步骤23中利用随机采样一致性算法鲁棒地确定准确的匹配坐标子集和变换对应的线性映射关系矩阵，具体步骤是：首先随机地选取坐标对中选取的四对坐标点((x₁，y₁)，(x₁’，y₁’))，((x₂，y₂)，(x₂’，y₂’))，((x₃，y₃)，(x₃’，y₃’))，((x₄，y₄)，(x₄’，y₄’))，四对坐标在各自图像中的任三点都不处在同一条直线上。假设四对坐标点满足映射关系H*[x_i，y_i，1]^T＝[x_i’，y_i’，1]^T，其中H是3×3的系数矩阵，为待求解的线性映射矩阵；将上述四对匹配坐标代入映射关系求解出矩阵H；再将除上述四对坐标外的其他匹配坐标对一一代入映射关系，确定是否符合当前矩阵H的映射关系；如果符合，标记为正确匹配；否则，标记为错误匹配；重新选取四对坐标点，执行上述过程，得到一个新的线性映射矩阵H和对应的匹配关系。如此循环n(n＝10)次，选出正确匹配对数目最多的线性映射矩阵H并保存对应的正确的匹配关系。

本发明步骤4中，使用加权k-means的聚类方法把同类特征点集的描述子矢量聚成k类，其具体步骤是：

步骤42a，在所有的初始同类特征点集描述子质心矢量c_i的集合中随机选取一个矢量作为第一个聚类中心C₁；

步骤42b，在选取第i个聚类中心C_i时，首先在初始质心矢量集合中随机抽取m(本发明中可以选取m＝10，当然，也可以根据需求选择其他任意数量)个矢量x₁，x₂，…，x_m，分别计算各个矢量到已选取聚类中心集合{C₁，C₂，…，C_i-1}的最小欧拉距离，再选择该最小距离中的最大值对应的抽取矢量为新的聚类中心C_i；即：

其中C_i为最后确定的第i个聚类中心，x₁，x₂，…，x_m为当前随机抽取的m个初始同类特征点集描述子的质心矢量，C₁，C₂，…，C_i-1为已选取的聚类中心；min_{j＝1，…，i-1}dist(x_k，C_j)求取了随机抽取的质心矢量x_k到各已选出的聚类中心的最小距离，

选出质心矢量x₁，x₂，…，x_m中到聚类中心C₁，C₂，…，C_i-1最小距离的最大者；

步骤42c，重复步骤42b选取k个聚类中心；

步骤42d，计算各初始同类特征点集描述子质心矢量到聚类中心的欧拉距离，以最小距离确定当前质心矢量所属聚类；

步骤42e，计算新生成的各聚类的质心矢量，假设当前的第i个聚类是矢量集{(c_i1，w_i1)，(c_i2，w_i2)，…，(c_ij，w_ij)，…}，则其质心计算公式为

其中c_ij是初始同类特征点集质心矢量，w_ij是对应同类特征点集所包含特征点的个数；

步骤42f，循环执行步骤42e直到计算出所有聚类的质心矢量C_i’，再将每个聚类计算所得的质心矢量C_i’同对应聚类的中心C_i做比较，如果全部k个聚类的比较结果均相等或聚类过程超过最大迭代次数，则聚类过程结束，否则以计算所得各聚类的质心矢量作为对应聚类的中心重新执行步骤42d。

有益效果：本发明的显著优点是检索方法具有很好的效率并且检索结果具有很高的精度。具体而言，本发明将分别从算法的精度和效率方面来阐述：(1)算法的精度保证：尺度不变特征变换(Scale-invirant Feature Transform，SIFT)是一种图像局部特征的检测和描述算法，其生成的描述子对图像的平移、旋转、缩放、亮度变化及噪声等都具有良好的不变性，对视角的变换和仿射变换也具有一定程度的稳定性。一幅图像的SIFT特征点描述子集合是对图像本质内容的缩略描述。不同内容的图像的SIFT特征描述子集合具有很好的区分性。因此，SIFT被广泛应用于物体的识别、图像的匹配等实际应用中。本发明的主要思想是将SIFT特征点提取方法应用到图像检索中，用以提高检索算法的精度。其基本思想是先用SIFT算子对图像中的图像进行特征提取和描述，再对所有提取的特征点集进行聚类，并基于得到的聚类为每幅图像和待检索图像计算一个特征矢量。最后比较待检索图像和库中各图像的特征矢量，选出最后结果。在此基础上，为进一步提高精度，还着重解决了二个问题：1)由于需对大量的图片做统一的特征检测，SIFT算法的各项参数需统一取值，因此在检测过程中各图像必然存在不同程度的特征点缺失。2)对于同一场景的不同图像的特征点集合，必存在一些物理上属于同一点的同类点。由于受到特征描述和聚类算法等误差的影响，这些同类点在聚类完成后，可能属于不同的聚类。以上二点都必然对检索结果的正确性产生影响。本发明的解决办法是：1)在对图像数据库的特征点提取完成后，本发明用随机采样一致性(RANdom SAmple Consensus，RANSAC)算法找出了同一场景不同图像之间的变换关系。基于该变换关系，对各图像的特征点集进行了补充，并找出了属于物理上同一点的同类点。2)本发明采用了基于点集的聚类方法，保证了所有的同类点在聚类之后都属于同一个聚类。(2)算法的效率保证：本发明包括二个阶段：训练和检索。训练阶段主要是对图像数据库中的图片作一次性的预处理。这一阶段可作为离线操作而不增加真正的检索时间。真正的检索只发生在检索阶段。在此阶段，本发明将只对待检索图片(结合训练阶段的结果)作处理。因此，本发明能更好地保证检索的效率，满足实时响应的需求。

附图说明

下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述和/或其他方面的优点将会变得更加清楚。

图1为本发明方法的基本流程图。

图2为本发明所述SIFT特征点的补充和同类点集的生成流程图。

图3为图像数据库各图像特征矢量生成流程图。

具体实施方式：

如图1所示，在训练阶段，首先对给定的图像数据库中的每一幅图像用实现的SIFT算法进行特征点的检测和描述，得到一组特征点集。每一个特征点将包含以下信息：点在图像中的位置坐标、所描述区域的尺度、所描述区域的主梯度方向和描述子矢量。对每一张图像，基于其相同场景的其他图像补充特征点并生成同类点集，如图2所示。再基于同类点集进行聚类并确定所有特征点所属聚类，统计每幅图像所属各聚类的频数进而形成图像的特征矢量，如图3的流程。在检索阶段，首先对待检索图片用SIFT算法提取特征点，得到一组特征点集。对每个特征点求取其描述子向量与训练阶段生成的各聚类中的欧拉距离，选取距离最小的聚类作为当前特征点所属聚类。统计每个聚类包含的特征点的个数n_i，结合训练阶段得到的各聚类的概率对数w_i，生成待检索图像的特征矢量，具体为[n₁w₁，…，n_iw_i，…]。为了保证检索结果不受各图像具体特征点个数的影响，需对特征矢量进行单位化。即最后的特征矢量为：[n₁w₁/∑n_iw_i，…，n_iw_i/∑n_iw_i，…]。最后计算该特征矢量与图像数据库各图像特征矢量的欧拉距离，选取其中最小的一幅或几幅作为检索结果。

具体地说，如图1所示，本发明公开了一种图像检索方法，包括训练和检索两个部分；

所述训练部分包括以下步骤：

步骤1，特征点的提取：对图像数据库中的每一幅图像进行特征点的检测和描述，得到一组特征点集；特征点集中每一个特征点包含：点在图像中的位置坐标和一个128维的描述子矢量；

步骤2，特征点的补充和匹配关系的确定：对基于同一场景的各图像的特征点集进行补充，并找到同一场景中不同图像特征点间的匹配关系，具有匹配关系的点对应不同图像中的同一物理点；

步骤3，同类点集的生成：将所述在不同图像中且对应同一场景的同一物理点的特征点放入一个同类特征点集中；

步骤4，特征点集聚类：对同类特征点集的描述子矢量进行聚类，并确定各个聚类中心；

步骤5，图像数据库中每幅图像特征矢量的生成：确定每幅图像特征点集的描述子矢量所属的聚类，统计各个聚类的频数，根据所述频数生成一个长度为聚类数的特征矢量；

如图2所示，所述步骤2具体包括以下步骤：

步骤21，在同一场景的所有图像点集中，对于N个属于同一场景的图像点集，选取一个特征点最多的图像点集作为基准特征点集N_a；

步骤22，对基准特征点集N_a之外的每个图像特征点集N_i中的每个特征点F_i，在基准特征点集N_a中求取该特征点F_i基于描述子矢量欧拉距离的最近邻特征点F_i’和次近邻特征点F_i”；将特征点F_i和基准特征点集N_a中的最近邻特征点F_i’的对应关系(F_i，F_i’)作为新的匹配关系加入特征点集N_i和基准特征点集N_a的匹配关系集中；再用该特征点F_i与基准特征点点集N_a中的最近邻特征点F_i’和次近邻特征点F_i”的描述子矢量欧拉距离的比值阈值过滤超出阈值范围的匹配关系；

步骤23，对步骤22中得到的特征点集N_i和基准特征点集N_a的匹配关系集中各匹配特征点对所对应的各坐标对，确定准确的匹配坐标子集和变换对应的线性映射关系矩阵，其中，准确的匹配坐标是指匹配的坐标点所指示的不同图像上的位置对应物理上同一物体或同一场景上的同一点；

步骤24，对所述图像点集N_i中每一个未匹配到的特征点G_i，使用所述线性映射矩阵计算其在基准特征点集N_a对应图像中的匹配坐标点。如果该匹配坐标超出图像大小，则表示在基准特征点集N_a对应的图像中找不到特征点G_i对应的匹配，否则计算匹配坐标的特征点描述子矢量，形成新的特征点G_i’；如果求得的描述子矢量与当前图像点集N_i中的特征点G_i的描述子矢量的欧拉距离小于设定的阈值，则将所述新生成特征点G_i’点加入基准特征点集N_a中并将已知的图像点集N_i中的特征点G_i和新生成的特征点G_i’的对应关系(G_i，G_i’)作为新的匹配关系放入图像点集N_i和基准特征点集N_a的匹配关系集中，否则特征点G_i的匹配特征点在基准特征点集N_a对应的图像中不存在，舍弃新的特征点G_i’；

步骤25，对每个所述图像点集N_i中所有未匹配特征点返回执行步骤24，最后得到基准特征点集N_a基于特征点N_i补充后的特征点集N_ai和更新的匹配关系集；

步骤26，将所述基准特征点集N_a基于特征点集N₁至特征点集N_i补充后的特征点集N_a1至特征点集N_ai合并为最终基准特征点集N_a’，并且使相似的特征点只保留一个在最终基准特征点集N_a’中；相似特征点通过特征点的坐标差阈值和描述子矢量的距离小于设定的阈值来判定；将步骤22～步骤25中得到的所述各图像特征点集N_i与原基准特征点集N_a的匹配关系集更新为各图像点集N_i与新的基准特征点集N_a’的匹配关系集；

步骤27，对在每个所述图像点集N_i中未找到匹配点的最终基准特征点集N_a’中的特征点M_i，返回步骤24求得其在图像点集N_i对应图像中的对应坐标和相应的特征点描述子矢量，生成新的特征点M_i’；将该特征点M_i’加入图像点集N_i并将它和新基准特征点集N_a’中的特征点M_i的对应关系(M_i，M_i’)保存到图像点集N_i和基准特征点集N_a’的匹配关系集中；

步骤28，基于步骤23～步骤27得到的匹配关系集，找到同一场景的几幅图像中对应同一物理点的特征点，即同类点；如果经过步骤23～步骤27，最终基准特征点集N_a’中的特征点m_a分别同图像点集N_i中的特征点m_i匹配，即得到的匹配关系为(m₁，m_a)，…，(m_a-1，m_a)，(m_a+1，m_a)…，则m₁，…，m_a-1，m_a，m_a+1，…为同类点，否则m₁，…，m_a-1，m_a，m_a+1，…不为同类点；

如图3所示，所述步骤4具体包括以下步骤：

步骤41，计算各个同类点集的描述子矢量的质心向量c_i和其包含的点的个数m_i；

步骤42，对集合(c_i，m_i)用加权的聚类方法进行聚类，确定各聚类的聚类中心；

步骤43，设定质心为向量c_i的同类特征点所属聚类为质心向量c_i所属聚类；

步骤44，对图像数据库中的每幅图像计算其特征点所属各聚类的频数n_i；

步骤45，计算每个聚类在图像数据库中出现的概率对数w_i，w_i＝ln(N/N_i)，其中N为图像总数，Ni为当前聚类所出现的图像的个数；

步骤46，对图像数据库中每幅图像，基于特征点所属聚类的频数n_i和各聚类的概率对数w_i生成一个特征矢量并单位化；

所述检索部分包括以下步骤：

步骤6，提取待检索图片的特征点，生成特征点集；

步骤7，计算各个特征点描述子向量到各个聚类中心的距离，以最小距离确定当前特征点所属聚类；

步骤8，计算待检索图片的特征点所属各个聚类的频数n_i

步骤9，基于待检索图片的特征点所属聚类的频数n_i和所述的各聚类的概率对数w_i生成一个特征矢量并单位化；

步骤10，计算待检索图片的特征矢量到图片库各图像特征矢量的欧拉距离，选取距离最小的图像输出为检索结果。

本发明步骤1中，使用SIFT算法对图像进行特征点的检测和描述，得到图像的所有特征点位置和描述子矢量。

本发明步骤23中利用随机采样一致性算法鲁棒地确定准确的匹配坐标子集和变换对应的线性映射关系矩阵，具体步骤是：首先随机地选取坐标对中选取的四对坐标点((x₁，y₁)，(x₁’，y₁’))，((x₂，y₂)，(x₂’，y₂’))，((x₃，y₃)，(x₃’，y₃’))，((x₄，y₄)，(x₄’，y₄’))，四对坐标在各自图像中的任三点都不处在同一条直线上。假设四对坐标点满足映射关系H*[x_i，y_i，1]^T＝[x_i’，y_i’，1]^T，其中H是3×3的系数矩阵，为待求解的线性映射矩阵；将上述四对匹配坐标代入映射关系求解出矩阵H；再将除上述四对坐标外的其他匹配坐标对一一代入映射关系，确定是否符合当前矩阵H的映射关系；如果符合，标记为正确匹配；否则，标记为错误匹配；重新选取四对坐标点，执行上述过程，得到一个新的线性映射矩阵H和对应的匹配关系。如此循环n(n＝10)次，选出正确匹配对数目最多的线性映射矩阵H并保存对应的正确的匹配关系。

本发明步骤4中，使用加权k-means的聚类方法把同类特征点集的描述子矢量聚成k类，其具体步骤是：

步骤42a，在所有的初始同类特征点集描述子质心矢量c_i的集合中随机选取一个矢量作为第一个聚类中心C₁；

步骤42b，在选取第i个聚类中心C_i时，首先在初始质心矢量集合中随机抽取m个矢量x₁，x₂，…，x_m，分别计算各个矢量到已选取聚类中心集合{C₁，C₂，…，C_i-1}的最小欧拉距离，再选择该最小距离中的最大值对应的抽取矢量为新的聚类中心C_i；即：

其中C_i为最后确定的第i个聚类中心，x₁，x₂，…，x_m为当前随机抽取的m个初始同类特征点集描述子的质心矢量，C₁，C₂，…，C_i-1为已选取的聚类中心；min_{j＝1，…，i-1} dist(x_k，C_j)求取了随机抽取的质心矢量x_k到各已选出的聚类中心的最小距离，选出质心矢量x₁，x₂，…，x_m中到聚类中心C₁，C₂，…，C_i-1最小距离的最大者；

步骤42c，重复步骤42b选取k个聚类中心；

步骤42d，计算各初始同类特征点集描述子质心矢量到聚类中心的欧拉距离，以最小距离确定当前质心矢量所属聚类；

步骤42e，计算新生成的各聚类的质心矢量，假设当前的第i个聚类是矢量集{(c_i1，w_i1)，(c_i2，w_i2)，…，(c_ij，w_ij)，…}，则其质心计算公式为C_i’＝∑_jc_ij*w_ij/∑_jw_ij，其中c_ij是初始同类特征点集质心矢量，w_ij是对应同类特征点集所包含特征点的个数；

步骤42f，循环执行步骤42e直到计算出所有聚类的质心矢量C_i’，再将每个聚类计算所得的质心矢量C_i’同对应聚类的中心C_i做比较，如果全部k个聚类的比较结果均相等或聚类过程超过最大迭代次数，则聚类过程结束，否则以计算所得各聚类的质心矢量作为对应聚类的中心重新执行步骤42d。

实施例：

图2以三幅同一场景的不同图像为例，给出了对图像数据库中各图像初始特征点集进行补充以及生成同类点集的流程。步骤20是初始动作。步骤21选取了特征点最多的点集C作为匹配的基准特征点集。步骤22对特征点集A中的每一个特征点求其在基准特征点集C中基于描述子矢量欧拉距离的最近邻匹配，得到初始匹配集，并用最近邻和次紧邻的比率阈值(0.8)过滤掉大于阈值的匹配关系。步骤23对经22的得到的匹配点集的所有坐标对，利用RANSAC算法鲁棒地确定其准确的坐标匹配子集和变换对应的线性映射关系矩阵。RANSAC的执行过程是：每次随机地在初始匹配对中选取4对坐标点，要求这4对坐标在特征点集A和C对应的图像中的点都不在同一条直线上。求解出符合这4个匹配关系的线性映射矩阵。将其它坐标匹配对代入并查看其是否具有当前的线性映射矩阵的映射关系。如果有，标记为正确匹配。否则，标记为错误匹配。循环地执行上述过程多次，选出正确匹配对最多的线性映射矩阵M_Ac并保存正确的匹配关系。步骤24a首先选取一个特征点集A中未正确匹配的特征点，用M_AC计算其在基准特征点集C对应图像中的坐标点。如果该坐标超出了特征点集C对应图像的范围，则表示该失配特征点在特征点集C对应的图像中没有匹配点，在特征点集A中选取下一个未处理的失配特征点返回步骤24a进行处理。否则，在求得的匹配坐标处用SIFT求得对应的描述子矢量并判断该描述子矢量与当前A中的特征点描述子矢量的欧拉距离是否小于设定的阈值350。如果是，则进行步骤24b将该新生成的特征点加入特征点集C中并将当前匹配关系放入匹配集。否则同样表示该失配特征点在特征点集C对应的图像中不存在匹配点。处理完当前失配特征点后，继续在特征点集A中选取下一个未处理的失配特征点返回步骤24a处理。当对特征点集A中所有失配特征点进行完上述过程后，步骤24b中得到了补充后的基准特征点集C’_A和新的匹配集。同样的方法，步骤25a～25e获得了补充后的特征点集C’_B和对应的匹配集。步骤2f将特征点C’_A和特征点集C’_B合并为最终基准特征点集C’，并保证相似的特征点只保留一个在最终基准特征点C’中。相似特征点通过二个条件来判定：其一是两个特征点的沿x或y方向的坐标差均不超过2，其二是它们的描述子矢量距离小于指定的阈值50。步骤27a，27b分别对基准特征点集C’中尚未在特征点集A、B中找到匹配的点，生成新的匹配点用于补充A和B，方法同步骤24。步骤28基于以上得到的所有的匹配关系找到同一场景的几幅图像中对应同一物理点的特征点，并把它们放入一个同类特征点集中。具体地，假设a、b、c分别是特征点集A、B、C中的三个特征点。现确定他们的匹配关系为：a与c匹配，b与c也匹配。那么，可将a、b、c视为同类点并放入一个同类点集中。步骤29是图2的结束步骤。

图3给出了图像数据库中各图像的特征矢量的生成流程图。步骤40为初始动作。步骤41计算了各个同类点集的描述子矢量的质心向量c_i和其包含的点的个数m_i；步骤42对集合(c_i，m_i)用加权k-means的聚类方法进行聚类。所述加权k-平均聚类方法的具体过程是：(42a)在所有的初始矢量c_i的集合中随机选取一个矢量作为第一个聚类中心C₁；(42b)在选取第i个聚类中心C_i时，首先在初始矢量c_i集合中随机抽取m(m＝10)个矢量x₁，x₂，…，x_m，分别计算它们到集合{C₁，C₂，…，C_i-1}的最小欧拉距离，再选择该最小距离中的最大值对应的抽取矢量为新的聚类中心C_i。即：

(42c)重复(42b)选取k个聚类中心；(42d)计算各初始矢量到聚类中心的欧拉距离，以最小距离确定当前质心矢量所属聚类；(42e)计算新生成的各聚类的质心矢量作为新的聚类中心。由于初始矢量c_i是有权值的，因此质心的计算需将权值考虑在内。假设当前的第i个聚类是矢量集{(c_i1，w_i1)，(c_i2，w_i2)，…，(c_ij，w_ij)，…}，则其质心计算公式为C_i’＝∑_jc_ij*w_ij/∑_jw_ij。(42f)循环执行步骤(42e)直到计算出所有聚类的质心矢量C_i’，再将每个聚类计算所得的质心矢量C_i’同对应聚类的中心C_i做比较，如果全部k个聚类的比较结果均相等或聚类过程超过最大迭代次数，则聚类过程结束，执行步骤42g，否则以计算所得各聚类的质心矢量作为对应聚类的中心重新执行步骤42d；(42g)聚类结束；步骤43设定质心为C_i的同类特征点所属聚类为C_i所属聚类；步骤44对图像数据库中的每幅图像计算其特征点所属各聚类的频数n_i；步骤45计算每个聚类在图像数据库中出现的概率对数w_i＝ln(N/N_i)，其中N为图像总数，N_i为当前聚类所出现的图像的个数；步骤46对计算图像数据库中每幅图像，基于其特征点所属聚类的频数和各聚类的概率对数生成一个特征矢量并单位化，具体为[n₁w₁/∑n_iw_i，…，n_iw_i/∑n_iw_i，…]；步骤47是流程的结束步骤。

表1给出了用本发明的方法进行相关测试的结果。用于测试的硬件环境是：Intel-Core2Duo 2.93GHz 3G内存。软件环境是Visual Studio2005和Window XP。本发明用C++语言实现了本发明提出的方法。测试图像来源于University of Kentucky的视觉与虚拟环境研究中心(Center for Visualization and Virtual Environments)的RecognitionBenchmark Images。本发明从中抽取了2组数据进行了测试，分别包含400张和1112张图片。各组数据中，每4张图片是关于同一场景的。本发明分别选取其中3张用于形成图像数据库的训练，另外1张用于检索测试。因此每组数据均分为训练和检索二部分，数据量比率为3∶1。在进行检索测试时，每幅图像最多有3幅相同场景的正确检索结果。本发明通过返回结果的正确率来判断算法的好坏。表中“第一返回正确率”指的是第一张检索结果图像的正确率。“第一、二返回正确率”表示头二张返回结果均正确的概率。“第一、二、三返回正确率”表示头三张返回结果均正确的概率。将本发明的方法同只用k-平均聚类的方法(即没有特征点补充和加权k-平均)进行了对比。由图可见，本发明的方法具有很高的检索精度。在检索效率方面，当给定一幅待检索图像后，本发明的方法能在1秒内给出结果，保证了搜索的实时性。

表1：

本发明提供了一种图像检索方法的思路及方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (4)

1.一种图像检索方法，其特征在于，包括训练和检索两个部分；

所述训练部分包括以下步骤：

步骤1，特征点的提取：对图像数据库中的每一幅图像进行特征点的检测和描述，得到一组特征点集；特征点集中每一个特征点包含：点在图像中的位置坐标和一个128维的描述子矢量；

步骤2，特征点的补充和匹配关系的确定：对基于同一场景的各图像的特征点集进行补充，并找到同一场景中不同图像特征点间的匹配关系，具有匹配关系的点对应不同图像中的同一物理点；

步骤3，同类点集的生成：将所述在不同图像中且对应同一场景的同一物理点的特征点放入一个同类特征点集中；

步骤4，特征点集聚类：对同类特征点集的描述子矢量进行聚类，并确定各个聚类中心；

步骤5，图像数据库中每幅图像特征矢量的生成：确定每幅图像特征点集的描述子矢量所属的聚类，统计各个聚类的频数，根据所述频数生成一个长度为聚类数的特征矢量；

所述步骤2具体包括以下步骤：

步骤21，在同一场景的所有图像点集中，对于N个属于同一场景的图像点集，选取一个特征点最多的图像点集作为基准特征点集N_a；

步骤22，对基准特征点集N_a之外的每个图像特征点集N_i中的每个特征点F_i，在基准特征点集N_a中求取该特征点F_i基于描述子矢量欧拉距离的最近邻特征点F_i’和次近邻特征点F_i”；将特征点F_i和基准特征点集N_a中的最近邻特征点F_i’的对应关系(F_i，F_i’)作为新的匹配关系加入特征点集N_i和基准特征点集N_a的匹配关系集中；并用特征点F_i与基准特征点点集N_a中的最近邻特征点F_i’及次近邻特征点F_i”的描述子矢量欧拉距离的比值阈值过滤超出阈值范围的匹配关系；

步骤23，对步骤22中得到的特征点集N_i和基准特征点集N_a的匹配关系集中各匹配特征点对所对应的各坐标对，确定匹配坐标子集和对应的线性映射关系矩阵，匹配坐标指匹配的坐标点所指示的不同图像上的位置对应物理上同一物体或同一场景上的同一点；

步骤24，对所述图像点集N_i中每一个未匹配到的特征点G_i，使用所述线性映射矩阵计算其在基准特征点集N_a对应图像中的匹配坐标点，如果该匹配坐标超出图像大小，则表示在基准特征点集N_a对应的图像中找不到特征点G_i对应的匹配，否则计算匹配坐标的特征点描述子矢量，形成新的特征点G_i’；如果所述新的特征点G_i’的描述子矢量与特征点G_i的描述子矢量的欧拉距离小于设定的阈值，则将所述新的特征点G_i’点加入基准特征点集N_a中并将已知的图像点集N_i中的特征点G_i和新的特征点G_i’的对应关系(G_i，G_i’)作为新的匹配关系放入图像点集N_i和基准特征点集N_a的匹配关系集中，否则特征点G_i的匹配特征点在基准特征点集N_a对应的图像中不存在，舍弃新的特征点G_i’；

步骤25，对每个所述图像点集N_i中所有未匹配特征点返回执行步骤24，得到基准特征点集N_a基于特征点N_i补充后的特征点集N_ai和更新的匹配关系集；

步骤26，将所述基准特征点集N_a基于特征点集N₁至特征点集N_i补充后的特征点集N_a1至特征点集N_ai合并为最终基准特征点集N_a’，并且使相似的特征点只保留一个在最终基准特征点集N_a’中；相似特征点通过特征点的坐标差阈值和描述子矢量的距离小于设定的阈值来判定；将步骤22至步骤25中得到的所述各图像特征点集N_i与原基准特征点集N_a的匹配关系集更新为各图像点集N_i与新的基准特征点集N_a’的匹配关系集；

步骤27，对在每个所述图像点集N_i中未找到匹配点的最终基准特征点集N_a’中的特征点M_i，返回步骤24求得其在图像点集N_i对应图像中的对应坐标和相应的特征点描述子矢量，生成新的特征点M_i’；将该特征点M_i’加入图像点集N_i并将它和新基准特征点集N_a’中的特征点M_i的对应关系(M_i’，M_i)保存到图像点集N_i和基准特征点集N_a’的匹配关系集中；

步骤28，基于步骤23至步骤27得到的匹配关系集，找到同一场景的几幅图像中对应同一物理点的特征点，即同类点；如果经过步骤23至步骤27，基准特征点集N_a’中的特征点m_a分别同图像点集N_i中的特征点m_i匹配，即得到的匹配关系为(m₁，m_a)，…，(m_a-1，m_a)，(m_a+1，m_a)…，则m₁，…，m_a-1，m_a，m_a+1，…为同类点，否则m₁，…，m_a-1，m_a，m_a+1，…不为同类点；

所述步骤4具体包括以下步骤：

步骤41，计算各个同类点集的描述子矢量的质心向量c_i和其包含的点的个数m_i；

步骤42，对集合(c_i，m_i)用加权的聚类方法进行聚类，确定各聚类的聚类中心；

步骤43，设定质心为向量c_i的同类特征点所属聚类为质心向量c_i所属聚类；

步骤44，对图像数据库中的每幅图像计算其特征点所属各聚类的频数n_i；

步骤45，计算每个聚类在图像数据库中出现的概率对数w_i，w_i＝ln(N/N_i)，其中N为图像总数，N_i为当前聚类所出现的图像的个数；

步骤46，对图像数据库中每幅图像，基于特征点所属聚类的频数n_i和各聚类的概率对数w_i生成一个特征矢量并单位化；

所述检索部分包括以下步骤：

步骤6，提取待检索图片的特征点，生成特征点集；

步骤7，计算各个特征点描述子向量到各个聚类中心的距离，以最小距离确定当前特征点所属聚类；

步骤8，计算待检索图片的特征点所属各个聚类的频数n_i；

步骤9，基于待检索图片的特征点所属聚类的频数n_i和所述的各聚类的概率对数w_i生成一个特征矢量并单位化；

步骤10，计算待检索图片的特征矢量到图片库各图像特征矢量的欧拉距离，选取距离最小的图像输出为检索结果。

2.根据权利要求1所述的一种图像检索方法，其特征在于，步骤1中，使用SIFT算法对图像进行特征点的检测和描述，得到图像的所有特征点位置和描述子矢量。

3.根据权利要求1所述的一种图像检索方法，其特征在于，步骤23中利用随机采样一致性算法确定匹配坐标子集和对应的线性映射关系矩阵，包括以下步骤：首先随机地选取坐标对中选取的四对坐标点，四对坐标在各自图像中的任三点都不处在同一条直线上；如果四对坐标点满足线性映射关系，则求出对应的线性映射矩阵H；再将除上述四对坐标外的其他匹配坐标对一一代入线性映射关系，确定是否符合当前矩阵的线性映射关系；如果符合，则标记为正确匹配；否则，标记为错误匹配；不断重新选取四对坐标点，执行上述过程，求出每个新的线性映射矩阵和对应的匹配关系；选出正确匹配对数目最多的线性映射矩阵H，并保存该线性映射矩阵对应的匹配关系。

4.根据权利要求1所述的一种图像检索方法，其特征在于，步骤4中，使用加权k-means的聚类方法把同类特征点集的描述子矢量聚成k类，其具体步骤是：

步骤42a，在所有的初始同类特征点集描述子质心矢量c_i的集合中随机选取一个矢量作为第一个聚类中心C₁；

步骤42b，在选取第i个聚类中心C_i时，首先在初始质心矢量集合中随机抽取m个矢量x₁，x₂，…，x_m，分别计算各个矢量到已选取聚类中心集合{C₁，C₂，…，C_i-1}的最小欧拉距离，再选择该最小距离中的最大值对应的抽取矢量为新的聚类中心C_i；即：

其中C_i为最后确定的第i个聚类中心，x₁，x₂，…，x_m为当前随机抽取的m个初始同类特征点集描述子的质心矢量，C₁，C₂，…，C_i-1为已选取的聚类中心；min_{j＝1，…，i-1}dist(x_k，C_j)求取了随机抽取的质心矢量x_k到各已选出的聚类中心的最小距离，min_{j＝1，…，i-1}dist(x_k，C_j)选出质心矢量x₁，x₂，…，x_m中到聚类中心C₁，C₂，…，C_i-1最小距离的最大者；

步骤42c，重复步骤42b选取k个聚类中心；

步骤42d，计算各初始同类特征点集描述子质心矢量到聚类中心的欧拉距离，以最小距离确定当前质心矢量所属聚类；

步骤42e，计算新生成的各聚类的质心矢量，假设当前的第i个聚类是矢量集{(c_i1，w_i1)，(c_i2，w_i2)，…，(c_ij，w_ij)，…}，则其质心计算公式为C_i’＝∑_jc_ij*w_ij/∑_jw_ij，其中c_ij是初始同类特征点集质心矢量，w_ij是对应同类特征点集所包含特征点的个数；

步骤42f，循环执行步骤42e直到计算出所有聚类的质心矢量C_i’，再将每个聚类计算所得的质心矢量C_i’同对应聚类的中心C_i做比较，如果全部k个聚类的比较结果均相等或聚类过程超过最大迭代次数，则聚类过程结束，否则以计算所得各聚类的质心矢量作为对应聚类的中心重新执行步骤42d。

Images