CN107577687A - 图像检索方法及装置 - Google Patents

Abstract

本申请公开了一种图像检索方法及装置，该方法包括：提取查询图像的图像特征以及图像库中候选图像的图像特征，通过图像特征计算查询图像与候选图像的相似度；按照所述相似度从大到小的顺序，获取与所述查询图像相似的第一预定数量的匹配图像；针对每一个匹配图像中的每一个特征点，获取所述查询图像中与所述特征点最匹配的特征点，构成待校验点对；利用几何约束模型，对每一个匹配图像对应的待校验点对进行几何校验，获得所述匹配图像对应的满足几何约束关系的匹配点对；按照每一个匹配图像对应的匹配点对数目由大到小的顺序，将各个匹配图像进行排序，获得第一检索结果。本发明实施例提高了图像检索的准确度。

Description

图像检索方法及装置

技术领域

本申请属于图像技术领域，具体地说，涉及一种图像检索方法及装置。

背景技术

随着移动互联网的快速增长，相较于传统的基于文字等关键词搜索方法，由于图像能够包含更为丰富和客观的信息，因此图像检索或成为互联网行业新的增长点，得到了广泛的应用。

目前的图像检索方法是基于特征匹配实现的，具体是通过提取查询图像以及图像库中的候选图像的图像特征，基于图像特征，计算查询图像与候选图像的相似度，通常是利用欧式距离或余弦距离表示；然后从候选图像中查找与图像相似的匹配图像，并按照相似度由大到小的顺序排列，作为检索结果输出，检索结果中相似度较大的匹配图像排在前面。

但是，目前的这种图像检索方法，当查询图像的背景比较复杂时，在提取图像特征时，会从查询图像中提取到很多图像背景的特征；而这些图像背景中的特征与用户需要查询的目标物体的特征无关，但是却会与目标物体的特征一起，作为查询图像的图像特征，参与到图像库中候选图像的特征匹配，从而造成检索结果的不准确。

发明内容

有鉴于此，本申请所要解决的技术问题是现有图像检索技术中背景特征对图像检索结果的干扰问题。

为了解决上述技术问题，本申请公开了一种图像检索方法：

提取查询图像的图像特征以及图像库中候选图像的图像特征；

基于所述查询图像的图像特征以及所述候选图像的图像特征，计算查询图像与候选图像的相似度；

按照所述相似度从大到小的顺序，获取与所述查询图像相似的第一预定数量的匹配图像；

针对每一个匹配图像中的每一个特征点，获取所述查询图像中与所述特征点最匹配的特征点，构成待校验点对；

利用几何约束模型，对每一个匹配图像对应的待校验点对进行几何校验，获得所述匹配图像对应的满足几何约束关系的匹配点对；

按照每一个匹配图像对应的匹配点对数目由大到小的顺序，将各个匹配图像进行排序，获得第一检索结果。

优选地，所述按照每一个匹配图像对应的匹配点对数目由大到小的顺序，将各个匹配图像进行排序，获得第一检索结果之后，所述方法还包括：

按照每一个匹配图像对应的匹配点对数目由大到小的顺序，选择第二预定数量的匹配图像；

利用所述第二预定数量的匹配图像的文本信息，从所述图像库中查找与所述文本信息匹配的检索图像，获得第二检索结果。

优选地，所述图像特征包括局部特征以及深度学习特征；

所述基于所述查询图像的图像特征以及所述候选图像的图像特征，计算查询图像与候选图像的相似度包括：

基于所述查询图像的局部特征以及所述候选图像的局部特征，计算所述查询图像与候选图像的第一子相似度；

基于所述查询图像的深度学习特征以及所述候选图像的深度学习特征，计算查询图像与候选图像的第二子相似度；

将所述第一子相似度与所述第二子相似度进行比例加权计算，得到查询图像与候选图像的相似度。

优选地，所述利用几何约束模型，对每一个匹配图像对应的待校验点对进行几何校验，获得所述匹配图像对应的满足几何约束关系的匹配点对包括：

针对每一个匹配图像对应的每一个待校验点对，利用几何约束模型，所述待校验点对中属于所述查询图像的特征点映射到所述匹配图像，得到映射点；

计算所述映射点与所述待校验点对中属于所述匹配图像的特征点的欧式距离；

当所述欧式距离小于第一阈值时，确定所述待校验点对为满足几何约束关系的匹配点对。

优选地，所述按照每一个匹配图像对应的匹配点对数目由大到小的顺序，将各个匹配图像进行排序，获得第一检索结果之后，所述方法还包括：

按照每一个匹配图像对应的匹配点对数目由大到小的顺序，选择第三预定数量的匹配图像；

计算所述图像库中的每一个候选图像与所述第三预定数量的匹配图像的第一匹配分数；

计算所述查询图像与所述图像库中每一个候选图像的第二匹配分数；

将所述图像库中每一个候选图像对应的第一匹配分数以及第二匹配分数相加，获得每一个匹配图像的融合分数；

按照所述融合分数从大到小的顺序，从图像库中选择第四预定数量的检索图像，作为第三检索结果。

本申请公开了一种图像检索装置，该装置包括：

第一提取模块，用于提取查询图像的图像特征以及图像库中候选图像的图像特征；

第一计算模块，用于基于所述查询图像的图像特征以及所述候选图像的图像特征，计算查询图像与候选图像的相似度；

第一获取模块，用于按照所述相似度从大到小的顺序，获取与所述查询图像相似的第一预定数量的匹配图像；

第一构成模块，用于针对每一个匹配图像中的每一个特征点，获取所述查询图像中与所述特征点最匹配的特征点，构成待校验点对；

第二获取模块，用于利用几何约束模型，对每一个匹配图像对应的待校验点对进行几何校验，获得所述匹配图像对应的满足几何约束关系的匹配点对；

第一确定模块，用于按照每一个匹配图像对应的匹配点对数目由大到小的顺序，将各个匹配图像进行排序，获得第一检索结果。

优选地，所述第一确定模块之后，所述装置还包括：

第一选择模块，用于按照每一个匹配图像对应的匹配点对数目由大到小的顺序，选择第二预定数量的匹配图像；

第二确定模块，用于利用所述第二预定数量的匹配图像的文本信息，从所述图像库中查找与所述文本信息匹配的检索图像，获得第二检索结果。

优选地，所述图像特征包括局部特征以及深度学习特征；

所述第一计算模块包括：

第一计算单元，用于基于所述查询图像的局部特征以及所述候选图像的局部特征，计算所述查询图像与候选图像的第一子相似度；

第二计算单元，用于基于所述查询图像的深度学习特征以及所述候选图像的深度学习特征，计算查询图像与候选图像的第二子相似度；

第三计算单元，用于将所述第一子相似度与所述第二子相似度进行比例加权计算，得到查询图像与候选图像的相似度。

优选地，所述第二获取模块包括：

第一映射单元，用于利用几何约束模型，将每一个匹配图像对应的每一个待校验点对中属于所述查询图像的特征点映射到所述匹配图像，得到映射点；

第四计算单元，用于计算所述映射点与所述待校验点对中属于所述匹配图像的特征点的距离；

第一确定单元，用于当所述距离小于第一预定阈值时，确定所述待校验点对为满足几何约束关系的匹配点对。

优选地，所述第一确定模块之后，所述装置还包括：

第二选择模块，用于按照每一个匹配图像对应的匹配点对数目由大到小的顺序，选择第三预定数量的匹配图像；

第二计算模块，用于计算所述图像库中的每一个候选图像与所述第三预定数量的匹配图像的第一匹配分数；

第三计算模块，用于计算所述查询图像与所述图像库中每一个候选图像的第二匹配分数；

第一融合模块，用于将所述图像库中每一个候选图像对应的第一匹配分数以及第二匹配分数相加，获得每一个候选图像的融合分数；

第三确定模块，用于按照所述融合分数从大到小的顺序，从图像库中选择第四预定数量的检索图像，作为第三检索结果。

与现有技术相比，本申请可以获得包括以下技术效果：

本申请的技术方案，在进行图像匹配时，采用图像特征的相似度，获得与查询图像匹配的匹配图像，并结合位置信息，对匹配图像进行重新排序，获得第一检索结果。在考虑了图像匹配程度的同时结合位置信息去除了图像中的背景信息，有效提升了在复杂背景下进行图像检索的准确度和精确度。

当然，实施本申请的任一产品必不一定需要同时达到以上所述的所有技术效果。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是本申请图像检索方法的一个实施例的流程图；

图2是本申请实施例中待校验点对的效果图；

图3是本申请实施例中满足几何约束关系的匹配点对的效果图；

图4是本申请图像检索方法的又一个实施例的流程图；

图5是本申请图像检索方法的又一个实施例的流程图；

图6是本申请图像检索装置的一个实施例的结构示意图。

具体实施方式

以下将配合附图及实施例来详细说明本申请的实施方式，藉此对本申请如何应用技术手段来解决技术问题并达成技术功效的实现过程能充分理解并据以实施。

本发明实施例主要应用于图像检索，用以从图像库中检索包含查询图像中目标物体的检索图像，由于图像相较于文字包含更为丰富和客观的信息，使用图像进行检索，可以获得更精确的检索结果。传统的图像检索方式，通常是获取查询图像以及图像库中候选图像的特征，基于图像的图像特征，计算查询图像与候选图像的相似度。通过比较查询图像与候选图像的相似度的大小，以确认所述候选图像是否为正确的检索结果。现有的这种采用图像特征进行图像检索的方式，由于查询图像或候选图像中包含有大量的背景信息、噪声信息等，提取的所述查询图像或候选图像的图像特征中，会包括大量的背景信息和/或噪声信息。这些背景信息和/或噪声信息与需要检索的目标物体并无直接关联，容易造成检索结果不准确。

为了解决这一技术问题，发明人经过一系列的研究，提出了本发明实施例的技术方案。在本发明的实施例中，首先提取查询图像与候选库中候选图像的图像特征，并根据图像特征计算查询图像与候选图像的相似度，以根据所述相似度，获取候选图像中与查询图像的相似度排名较高的匹配图像；之后针对匹配图像的每一个特征点，获取查询图像中与其最匹配的特征点，构成待校验点对；利用几何约束模型，对待校验点对进行几何校验，以获得满足几何约束关系的待校验点对，作为匹配点对；按照每一张匹配图像与查询图像的匹配点对数目的大小进行排序，根据排序结果，即可以获得检索结果。

本发明实施例中，不仅利用图像相似度进行图像检索，并对匹配图像进行重新排序，由于满足几何约束关系的匹配点对标识了图像位置信息，通过结合图像位置信息对检索出的匹配图像进行重新排序获得第一检索结果，以用于输出给用户查看，提高了查询图像与图像库中候选图像的精确匹配，使得第一检索结果更加精确，从而提高了图像检索的精确度，且用户可以快速从第一检索结果更加精确，提高了用户体验。

下面结合附图对本发明的技术方案进行详细说明。

如图1所示，为本发明提供的一种图像检索方法的一个实施例流程图，该方法可以包括以下几个步骤：

101：提取查询图像的图像特征以及图像库中候选图像的图像特征。

图像特征可以为全局特征、局部特征和/或深度学习特征等，或者由两个特征进行融合获得的融合特征。

其中，局部特征可以为SIFT(Scale-invariant feature transform，尺度不变特征变换)特征，通过使用SIFT算法进行SIFT特征提取获得。当然，所述局部特征还可以为SURF(Speeded Up Robust Features，加速鲁棒特征)特征、HOG(Histogram of OrientedGradient，方向梯度直方图)特征等。

所述图像的深度学习特征是多层次结构特征，可以使用深度学习算法进行提取。例如，本发明实施例中可以使用提前训练好的CNN(Convolutional Neural Network，卷积神经网络)模型提取查询图像以及候选图像的深度学习特征。

102：基于所述查询图像的图像特征以及所述候选图像的图像特征，计算查询图像与候选图像的相似度。

其中，相似度可以利用查询图像的图像特征以及候选图像的图像特征之间的欧式距离或余弦距离等进行表示。

作为一种可能的实现方式，所述图像特征可以包括局部特征以及深度学习特征。

则所述基于所述查询图像的图像特征以及所述候选图像的图像特征，计算查询图像与候选图像的相似度可以包括：

基于所述查询图像的局部特征以及所述候选图像的局部特征，计算所述查询图像与候选图像的第一子相似度；

基于所述查询图像的深度学习特征以及所述候选图像的深度学习特征，计算查询图像与候选图像的第二子相似度；

将所述第一子相似度与所述第二子相似度进行比例加权计算，得到查询图像与候选图像的相似度。

其中，计算查询图像与候选图像的第一子相似度，可以首先对局部特征进行编码，将局部特征投影到一个固定长度的向量，从而可以使一幅图像用一个固定长度的向量来表示；然后利用向量之间的欧式距离或余弦距离等来表示查询图像与候选图像的第一子相似度。例如，对局部特征进行编码可以使用VLAD编码方式进行编码。

同样，第二子相似度可以是利用查询图像的深度学习特征以及候选图像的深度学习特征的欧式距离或余弦距离等来表示。

其中，将所述第一子相似度与所述第二子相似度进行比例加权计算，可以是分别为第一子相似度和第二子相似度赋予不同的比例系数，例如，第一子相似度假设为X，第二子相似度假设为Y，则相似度Z＝aX+bY，a和b即为比例系数，可以根据实际情况设定，其中，a<1，b<1，a+b＝1。

103：按照所述相似度从大到小的顺序，获取与所述查询图像相似的第一预定数量的匹配图像。

候选图像与查询图像的相似度越高，表明查询图像与候选图像越相似。

其中，第一预设数量可以是预先设定的数值，因此可以按照相似度从大到小的顺序，选择前X个候选图像作为匹配图像，X即为第一预设数量。

当然，作为又一种可能的实现方式，所述按照所述相似度从大到小的顺序，获取与所述查询图像相似的第一预定数量的匹配图像可以为：

按照所述相似度从大到小的顺序，获取相似度大于第一阈值的候选图像作为匹配图像，其中，第一预定数量即为相似度大于第一阈值的候选图像的数量；第一阈值是某一预定数值，用以衡量所述候选图像是否可以作为匹配图像的标准。

104：针对每一个匹配图像中的每一个特征点，获取所述查询图像中与所述特征点最匹配的特征点，构成待校验点对。

其中，匹配图像与查询图像的待校验点对可以利用局部特征进行匹配获得。

作为一种可能的实现方式，针对每一个匹配图像，可以将查询图像中的任一个特征点A，遍历计算与该匹配图像中的每一个特征点的第一特征相似度，第一特征相似度可以用欧式距离表示，从而可以获得匹配图像中，与特征点A的距离最短的特征点A’；之后，针对所述特征点A’，遍历计算与该查询图像中的每一个特征点的第二特征相似度，如果特征点A’与特征点A的第二欧式距离也最短时，则特征点A与特征点A’最匹配，构成一对待校验点对。

其中，获得的待校验点对的效果图可以如图2所示，图2中，每一个待校验点对中分别属于查询图像与匹配图像的特征点通过不同的直线连接。

105：利用几何约束模型，对每一个匹配图像对应的待校验点对进行几何校验，获得所述匹配图像对应的满足几何约束关系的匹配点对。

所述几何约束关系的校验，用于对图像中的物体进行几何划定并进行几何关系计算，也即，获取图像中的特征点之间的位置关系，利用位置关系判断匹配图像与查询图像的特征点是否是相对位置相同的特征点。

其中，所述几何约束关系可以是指：对于检验点对中属于查询图像的特征点B，以及属于匹配图像的特征点C，利用几何约束模型，将特征点B映射到匹配图像中获得映射点B’；如果映射点B’与特征点C的欧式距离小于第二阈值，则特征点B与特征点C即满足几何约束关系。

因此，作为又一个实施例，所述利用几何约束模型，对每一个匹配图像对应的待校验点对进行几何校验，获得所述匹配图像对应的满足几何约束关系的匹配点对可以包括：

针对每一个匹配图像对应的每一个待校验点对，利用几何约束模型，所述待校验点对中属于所述查询图像的特征点映射到所述匹配图像，得到映射点；

计算所述映射点与所述待校验点对中属于所述匹配图像的特征点的欧式距离；

当所述欧式距离小于第一阈值时，确定所述待校验点对为满足几何约束关系的匹配点对。

其中，几何约束模型可以是利用RANSAC(RANdom Sample Consensus，随机抽样一致性算法)待校验点对，通过训练获得。即相当于每两幅图像做几何校验时，均会利用RANSAC得到相应的几何约束模型，并进行点对几何位置校验。

所述RANSAC算法采用迭代的方式从一组包含离群的被观测数据中估算出数学模型的参数。该算法的输入是一组观测数据(往往含有较大的噪声点或无效点)，一个用于解释观测数据的参数化模型以及一些可信的参数。RANSAC算法通过反复选择数据中的一组随机子集来达成目标，以得到最终的几何约束模型。被选取的随机子集被假设为局内点，并用以下方法进行模型训练：

1)假设有一个适应于模型的局内点，通过假设的局内点计算得出所述模型的所有未知参数，得到假设模型；

2)用1)中得到的假设模型去测试所有的观测数据中除去局内点的其他数据，如果某个点适用于假设模型，判断该点为局内点；

3)当被归类为局内点的观测数据的数量满足预设阈值时，则当前所有局内点估计的假设模型足够合理，用得到的所有满足假设模型的局内点去重新估计假设模型(譬如使用最小二乘法)得到训练模型；

当被归类为假设的局内点数量不满足预设阈值时，当前假设模型被舍弃，重新选取假设适用于模型的局内点去训练新的假设模型；

5)通过估计局内点与模型的错误率来评估训练模型；

6)重复执行固定次数的1)～5)步骤，在执行过程中，每次产生的训练模型作为新的假设模型，最终选用最优的训练模型作为几何约束模型。

满足几何约束关系的匹配点对的效果图可以如图3所示。图3中，查询图像与匹配图像的匹配点对也通过不同的直线连接。

106：按照每一个匹配图像对应的匹配点对数目由大到小的顺序，将各个匹配图像进行排序，获得第一检索结果。

匹配点对是满足几何约束关系的待校验点对。这种匹配点对的获取方法结合了位置关系，可以筛除背景特征点；因此，查询图像与匹配图像的匹配点对数目越多，说明查询图像与匹配图像越相似，可以将查询图像与匹配图像进行精确匹配，据此获得第一检索结果。

作为一种可能的实现方式，第一检索结果可以包括第一预定数量的匹配图像，且所述第一预定数量的匹配图像按照所述匹配点对数目由大到小的顺序进行排列，从而使得第一检索结果更准确。在输出第一检索结果时，可以是将匹配图像按照所述匹配点对数目由大到小的顺序依次输出，将与查询图像最相似的匹配图像优先显示，使得用户可以优先查看与查询图像最相似的匹配图像，从而可以提高检索准确度。

作为又一种可能的实现方式，第一检索结果可以包括第五预定数量的匹配图像，因此所述按照每一个匹配图像对应的匹配点对数目由大到小的顺序，将各个匹配图像进行排序，获得第一检索结果可以包括：

按照每一个匹配图像对应的匹配点对数目按照由大到小的顺序，将各个匹配图像进行排序；

从排序结果中，按照所述顺序选择第五预定数量的匹配图像，作为第一检索结果。其中，第五预定数量可以小于第一预定数量。

由于匹配点对数目越多，表明查询图像与匹配图像越相似，因此可以从重新排序的匹配图像中选择第五预定数量的匹配图像，作为第一检索结果，使得第一检索结果更加准确。其中，第一检索结果中，第五预定数量的匹配图像可以按照匹配点对数目由大到小的顺序进行排序，因此，输出第一检索结果时，可以是按照匹配点对数目由大到小的顺序依次排序输出，将与查询图像最相似的匹配图像优先显示。

在本发明实施例中，采用图像特征的相似度，获得与查询图像匹配的匹配图像，并结合位置信息，对匹配图像进行重新排序，获得第一检索结果，第一检索结果作为输出信息输出，通过结合位置信息，提高了查询图像与匹配图像的精确匹配程度，可以减少背景特征信息对图像检索的干扰，提高了图像检索的精确度。

作为又一个实施例，为了进一步提高检索精度，如图4所示，步骤101～步骤106的操作与图1所示实施例相同，其中，与图1所示实施例的不同之处在于，步骤106按照每一个匹配图像对应的匹配点对数目由大到小的顺序，将各个匹配图像进行排序，获得第一检索结果之后，该方法还可以包括以下几个步骤：

107：按照每一个匹配图像对应的匹配点对数目由大到小的顺序，选择第二预定数量的匹配图像。

所述第二预定数量可以与第一预定数量或第五预定数量相同，也可以不同。

108：利用所述第二预定数量的匹配图像的文本信息，从所述图像库中查找与所述文本信息匹配的检索图像，获得第二检索结果。

第二检索结果与第一检索结果可以均作为查询结果输出给用户。第二检索结果作为扩展查询的检索结果，使得可以为用户提供更多的与查询图像匹配的图像。

由于图像库中不仅存储了候选图像，还可能存储用于描述候选图像中目标物体的关键文本信息。

因此，第二检索结果可以利用第一检索结果中的第二预定数量的匹配图像的文本信息从图像库中进行扩展查询获得。

其中，可以针对所述第二预定数量的匹配图像中每一个匹配图像的文本信息，计算图像库中候选图像与匹配图像的文本信息的匹配程度，从而根据匹配程度的大小，选取检索图像，获得第二检索结果；其中，所述匹配程度，例如，可以是根据两个文本信息中包括相同的关键词的个数而确定等等。

在本发明实施例中，不仅可以获得精确的第一检索结果，还可以利用第一检索结果中第二预定数量的匹配图像的文本信息，从图像库中进一步查询与所述第二预定数量匹配图像的文本信息匹配程度较高的检索图像，获得第二检索结果，实现了图像扩展查询，从而可以获得精确且数量较多的与查询图像匹配的图像。

作为又一个实施例，为了进一步提高检索精度，如图5所示，步骤101～步骤106的操作与图1所示实施例相同，其中，与图1所示实施例的不同之处在于，步骤106按照每一个匹配图像对应的匹配点对数目由大到小的顺序，将各个匹配图像进行排序，获得第一检索结果之后，该方法还可以包括以下几个步骤：

109：按照每一个匹配图像对应的匹配点对数目由大到小的顺序，选择第三预定数量的匹配图像；

所述第三预定数量可以与所述第一预定数量相同或不同。

110：计算所述图像库中的每一个候选图像与所述第三预定数量的匹配图像的第一匹配分数；

其中，每一个候选图像与所述第三预定数量的匹配图像的第一匹配分数可以是通过每一个候选图像与所述第三预定数量的匹配图像的每一个匹配图像的匹配子分数进行加权平均获得的。

作为一种可能的实现方式，可以是计算每一个候选图像与第三预定数量的匹配图像中每一个匹配图像的相似度；对每一个相似度进行打分，赋予相应分值，得到候选图像与匹配图像的匹配子分数；其中，相似度越大，表明候选图像与匹配图像越接近，匹配子分数也越高。

作为另一种可能的实现方式，可以是根据每一个候选图像与第三预定数量的匹配图像中的每一个匹配图像的匹配点对数目，对每一个匹配点对数目进行打分，得到候选图像与匹配图像的匹配子分数；其中，匹配点对数目越多，表明候选图像与匹配图像越接近，匹配子分数也越高。

其中，对于每一个候选图像，所述候选图像与第三预定数量的匹配图像中的每一个匹配图像的匹配点对数目可以按照如下方式获得：

针对每一个匹配图像中的每一个特征点，获取所述候选图像中与所述特征点最匹配的特征点，构成待校验点对；利用几何约束模型，对每一个匹配图像对应的待校验点对进行几何校验，获得所述匹配图像对应的满足几何约束关系的匹配点对，得到所述候选图像与所述匹配图像的匹配点对数目。

从而即可以获得每一个候选图像与第三预定数量的匹配图像中每一个匹配图像的匹配点对数目。

作为又一种可能的实现方式，可以是根据每一个匹配图像与所述候选图像的文本信息的匹配程度，对每一个匹配程度进行打分，得到匹配子分数；其中，匹配程度越大，表明候选图像与匹配图像越接近，匹配子分数也越高。

其中，将每一个候选图像与所述第三预定数量的匹配图像的每一个匹配图像的匹配子分数进行加权平均获得的第一匹配分数，具体可以按照下述计算获得：

其中，Q表示查询图像，R为获得的匹配图像，G为候选图像；R_i为匹配图像中的第i幅图像(按照排序结果获得)；S(R_i,G)为获得的匹配图像R_i与图像库中候选图像G的匹配子分数；1/(i+1),i＝1…..T，为匹配子分数的权重，T为第三预定数量的值。

111：计算所述查询图像与所述图像库中每一个候选图像的第二匹配分数；

作为一种可能的实现方式，可以是计算所述查询图像与候选图像的相似度，对每一个相似度进行打分，赋予相应的分值，得到查询图像与候选图像的第二匹配分数；其中，相似度越大，表明查询图像与候选图像越接近，所述第二匹配分数也越高。

作为又一种可能的实现方式，还可以是根据所述查询图像与每一个候选图像的匹配点对的数目，对每一个匹配点对数目进行打分，得到查询图像与候选图像的第二匹配分数；其中，匹配点对数目越多，表明候选图像与匹配图像越接近，所述第二匹配分数也越高。

其中，对于每一个候选图像，所述查询图像与所述候选图像的匹配点对数目可以按照以下方式获得：

针对每一个候选图像中的每一个特征点，获取所述查询图像中与所述特征点最匹配的特征点，构成待校验点对；利用几何约束模型，对每一个候选图像对应的待校验点对进行几何校验，获得所述候选图像对应的满足几何约束关系的匹配点对，得到查询图像与每一个候选图像的匹配点对数目；

所述第二匹配分数具体可以表示为：S(Q,G)_sec。

其中，Q表示查询图像，R表示匹配图像。

112：将所述图像库中每一个候选图像对应的第一匹配分数以及第二匹配分数相加，获得每一个候选图像的融合分数；

作为一种可能的实现方式，所述融合分数可以表示为：

其中，S(Q,G)_final为融合分数，S(Q,G)_first为第一匹配分数，S(Q,G)_sec为第二匹配分数。

113：按照所述融合分数从大到小的顺序，从图像库中选择第四预定数量的检索图像，作为第三检索结果。

作为一种可能的实现方式，可以是按照所述融合分数从大到小的顺序，从候选图像中选择第四预定数量的检索图像，作为第三检索结果。

本发明实施例中，通过计算与查询图像匹配程度较高的匹配图像与候选候选图像的匹配分数，将匹配分数亦作为衡量所述查询图像与候选图像的匹配程度。利用排序结果的前几名的图像本身，作为新的查询图像再次进行匹配。完成了基于匹配图像的查询图像的扩展查询，从而获得结果精准的匹配图像。

如图6所示，为本发明一种图像检索装置的一个实施例结构示意图，该装置可以包括以下几个模块：

第一提取模块601，用于提取查询图像的图像特征以及图像库中候选图像的图像特征；

所述第一提取模块可以包括：

第一提取单元，可以用于提取局部特征。可以使用SIFT算法进行SIFT特征提取获得。当然，所述局部特征还可以为SURF(Speeded Up Robust Features，加速鲁棒特征)特征、HOG(Histogram of Oriented Gradient，方向梯度直方图)特征等。

第二提取单元，用于提取所述图像的深度学习特征，可以使用深度学习算法进行特征提取。例如，本发明实施例中可以使用提前训练好的CNN(Convolutional NeuralNetwork，卷积神经网络)网络模型进行深度学习特征的提取工作，得到深度学习特征。

第一计算模块602：用于基于所述查询图像的图像特征以及所述候选图像的图像特征，计算查询图像与候选图像的相似度；

当图像特征包括局部特征和深度学习特征时，所述第一计算模块可以包括：

第一计算单元，用于基于所述查询图像的局部特征以及所述候选图像的局部特征，计算所述查询图像与候选图像的第一子相似度；

第二计算单元，用于基于所述查询图像的深度学习特征以及所述候选图像的深度学习特征，计算查询图像与候选图像的第二子相似度；

第三计算单元，用于将所述相似度与所述第二子相似度进行比例加权计算，得到查询图像与候选图像的相似度。

所述第一计算单元之后，所述第一计算模块还可以包括：

第一编码单元，用于对局部特征进行编码，将局部特征投影到一个固定长度的向量，从而可以使一幅图像用一个固定长度的向量来表示；然后利用向量之间的欧式距离或余弦距离等来表示查询图像与候选图像的第一子相似度。例如，对局部特征进行编码可以使用VLAD编码方式进行编码。

所述第三计算单元可以包括：

第一加权子单元，用于将所述第一子相似度与所述第二子相似度进行比例加权计算，可以是分别为第一子相似度和第二子相似度赋予不同的比例系数，例如，第一子相似度假设为X，第二子相似度假设为Y，则相似度Z＝aX+bY，a和b即为比例系数，可以根据实际情况设定，其中，a<1，b<1，a+b＝1。

第一获取模块603：用于按照所述相似度从大到小的顺序，获取与所述查询图像相似的第一预定数量的匹配图像；

第一构成模块604：用于针对每一个匹配图像中的每一个特征点，获取所述查询图像中与所述特征点最匹配的特征点，构成待校验点对；

所述第一构成模块可以包括：

匹配单元，用于通过计算获得每一个匹配特图像中每一个特征点与查询图像最匹配的特征点。针对每一个匹配图像，可以将查询图像中的任一个特征点A，遍历计算与该匹配图像中的每一个特征点的第一特征相似度，第一特征相似度可以用欧式距离表示，从而可以获得匹配图像中，与特征点A的距离最短的特征点A’；之后，针对所述特征点A’，遍历计算与该查询图像中的每一个特征点的第二特征相似度，如果特征点A’与特征点A的第二欧式距离也最短时，则特征点A与特征点A’最匹配，构成一对待校验点对。

第二获取模块605：用于利用几何约束模型，对每一个匹配图像对应的待校验点对进行几何校验，获得所述匹配图像对应的满足几何约束关系的匹配点对；

优选地，所述第二获取模块可以包括：

第一映射单元，用于利用几何约束模型，将每一个匹配图像对应的每一个待校验点对中属于所述查询图像的特征点映射到所述匹配图像，得到映射点；

第四计算单元，用于计算所述映射点与所述待校验点对中属于所述匹配图像的特征点的距离；

第一确定单元，用于当所述距离小于第一预定阈值时，确定所述待校验点对为满足几何约束关系的匹配点对。

第一确定模块606，用于按照每一个匹配图像对应的匹配点对数目由大到小的顺序，将各个匹配图像进行排序，获得第一检索结果。

所述第一确定模块可以包括：

第一排序单元，用于按照每一个匹配图像对应的匹配点对数目按照有大到小的顺序，将各个匹配图像进行排序；

第一输出单元，用于将第一预定数量的匹配图像按照所述匹配点对数目由大到小的顺序依次输出，并依次排序，将与查询图像最相似的匹配图像优先显示，使得用户可以优先查找与查询图像最相似的匹配图像，从而可以提高检索准确度。

第一选择单元，用于从排序结果中，按照所述顺序选择第五预定数量的匹配图像，作为第一检索结果。

第二输出单元，用于将第五预定数量的匹配图像可以按照匹配点对数目由大到小的顺序依次输出，并依次排序。将与查询图像最相似的匹配图像优先显示。

在本发明实施例中，采用图像特征的相似度，获得与查询图像匹配的匹配图像，并结合位置信息，对匹配图像进行重新排序，获得第一检索结果，第一检索结果作为输出信息输出，通过结合位置信息，提高了查询图像与匹配图像的精确匹配，可以减少背景特征信息对图像检索的干扰，提高了图像检索的精确度。

作为又一个实施例，为了进一步提高检索精度，第一确定模块之后，该装置还可以包括：

第一选择模块：用于按照每一个匹配图像对应的匹配点对数目由大到小的顺序，可以选择第二预定数量的匹配图像；

第二确定模块：用于利用所述第二预定数量的匹配图像的文本信息，从所述图像库中查找与所述文本信息匹配的检索图像，获得第二检索结果。

在本实施例中，将利用匹配图像存储的文本信息，从图像库中进一步查询与所述匹配图像存储的文本信息相似的检索图像，进行了基于文本信息的图像的扩展查询，从而获取了结果更多的精准的图像。

作为又一个实施例，为了进一步提高检索精度，第一确定模块之后，该装置还可以包括：

第二选择模块：用于按照每一个匹配图像对应的匹配点对数目由大到小的顺序，选择第三预定数量的匹配图像；

第二计算模块：用于计算所述图像库中的每一个候选图像与所述第三预定数量的匹配图像的第一匹配分数；

其中，所述第二计算模块具体可以用于计算每一个候选图像与所述第三预定数量的匹配图像的第一匹配分数；所述第一匹配分数是通过每一个候选图像与所述第三预定数量的匹配图像的每一个匹配图像的匹配子分数进行加权平均获得的。

作为一种可能的实现方式，可以是计算每一个候选图像与第三预定数量的匹配图像中每一个匹配图像的相似度；对每一个相似度进行打分，赋予相应分值，得到候选图像与匹配图像的匹配子分数；其中，相似度越大，表明候选图像与匹配图像越接近，匹配子分数也越高。

作为另一种可能的实现方式，可以是根据每一个候选图像与第三预定数量的匹配图像中的每一个匹配图像的匹配点对数目，对每一个匹配点对数目进行打分，得到候选图像与匹配图像的匹配子分数；其中，匹配点对数目越多，表明候选图像与匹配图像越接近，匹配子分数也越高。

其中，对于每一个候选图像，所述候选图像与第三预定数量的匹配图像中的每一个匹配图像的匹配点对数目可以按照如下方式获得：

针对每一个匹配图像中的每一个特征点，获取所述候选图像中与所述特征点最匹配的特征点，构成待校验点对；利用几何约束模型，对每一个匹配图像对应的待校验点对进行几何校验，获得所述匹配图像对应的满足几何约束关系的匹配点对，得到所述候选图像与所述匹配图像的匹配点对数目。

从而即可以获得每一个候选图像与第三预定数量的匹配图像中每一个匹配图像的匹配点对数目。

作为又一种可能的实现方式，可以是根据每一个匹配图像与所述候选图像的文本信息的匹配程度，对每一个匹配程度进行打分，得到匹配子分数；其中，匹配程度越大，表明候选图像与匹配图像越接近，匹配子分数也越高。

其中，将每一个候选图像与所述第三预定数量的匹配图像的每一个匹配图像的匹配子分数进行加权平均获得的第一匹配分数，具体可以按照下述计算获得：

其中，Q表示查询图像，R为获得的匹配图像，G为候选图像；R_i为匹配图像中的第i幅图像(按照排序结果获得)；S(R_i,G)为获得的匹配图像R_i与图像库中候选图像G的匹配子分数；1/(i+1),i＝1…..T，为匹配子分数的权重，T为第三预定数量的值。

第三计算模块，用于计算所述查询图像与所述图像库中每一个候选图像的第二匹配分数；

其中，所述第三计算模块具体可以用于，计算所述查询图像与候选图像的相似度，对每一个相似度进行打分，赋予相应的分值，得到查询图像与候选图像的第二匹配分数；其中，相似度越大，表明查询图像与候选图像越接近，所述第二匹配分数也越高。

所述第三计算模块具体还可以用于，根据所述查询图像与每一个候选图像的匹配点对的数目，对每一个匹配点对数目进行打分，得到查询图像与候选图像的第二匹配分数；其中，匹配点对数目越多，表明候选图像与匹配图像越接近，所述第二匹配分数也越高。

其中，对于每一个候选图像，所述查询图像与所述候选图像的匹配点对数目可以按照以下方式获得：

针对每一个候选图像中的每一个特征点，获取所述查询图像中与所述特征点最匹配的特征点，构成待校验点对；利用几何约束模型，对每一个候选图像对应的待校验点对进行几何校验，获得所述候选图像对应的满足几何约束关系的匹配点对，得到查询图像与每一个候选图像的匹配点对数目；

所述第二匹配分数具体可以表示为：S(Q,G)_sec表示。其中，Q表示查询图像，R表示匹配图像。

第一融合模块：用于将所述图像库中每一个候选图像对应的第一匹配分数以及第二匹配分数相加，获得每一个候选图像的融合分数；

所述第一融合模块具体可以用于计算融合分数：

其中，S(Q,G)_final为融合分数，S(Q,G)_first为第一匹配分数，S(Q,G)_sec为第二匹配分数。

第三确定模块：按照所述融合分数从大到小的顺序，从图像库中选择第四预定数量的检索图像，作为第三检索结果。

作为一种可能的实现方式，所述第三确定模块具体可以用于按照所述融合分数得分的大小顺序，从候选图像中选择第四预定数量的检索图像。

本发明实施例中，通过计算与查询图像匹配程度较高的匹配图像与候选候选图像的匹配分数，将匹配分数亦作为衡量所述查询图像与候选图像的匹配程度。利用排序结果的前几名的图像本身，作为新的查询图像再次进行匹配。完成了基于匹配图像的查询图像的扩展查询，从而获得结果精准的匹配图像。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

如在说明书及权利要求当中使用了某些词汇来指称特定组件。本领域技术人员应可理解，硬件制造商可能会用不同名词来称呼同一个组件。本说明书及权利要求并不以名称的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的准则。如在通篇说明书及权利要求当中所提及的“包含”为一开放式用语，故应解释成“包含但不限定于”。“大致”是指在可接收的误差范围内，本领域技术人员能够在一定误差范围内解决所述技术问题，基本达到所述技术效果。此外，“耦接”一词在此包含任何直接及间接的电性耦接手段。因此，若文中描述一第一装置耦接于一第二装置，则代表所述第一装置可直接电性耦接于所述第二装置，或通过其他装置或耦接手段间接地电性耦接至所述第二装置。说明书后续描述为实施本申请的较佳实施方式，然所述描述乃以说明本申请的一般原则为目的，并非用以限定本申请的范围。本申请的保护范围当视所附权利要求所界定者为准。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。

上述说明示出并描述了本申请的若干优选实施例，但如前所述，应当理解本申请并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述申请构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本申请的精神和范围，则都应在本申请所附权利要求的保护范围内。

Claims (10)

1.一种图像检索方法，其特征在于，包括：

提取查询图像的图像特征以及图像库中候选图像的图像特征；

基于所述查询图像的图像特征以及所述候选图像的图像特征，计算查询图像与候选图像的相似度；

按照所述相似度从大到小的顺序，获取与所述查询图像相似的第一预定数量的匹配图像；

针对每一个匹配图像中的每一个特征点，获取所述查询图像中与所述特征点最匹配的特征点，构成待校验点对；

利用几何约束模型，对每一个匹配图像对应的待校验点对进行几何校验，获得所述匹配图像对应的满足几何约束关系的匹配点对；

按照每一个匹配图像对应的匹配点对数目由大到小的顺序，将各个匹配图像进行排序，获得第一检索结果。

2.根据权利要求1所述的方法，其特征在于，所述按照每一个匹配图像对应的匹配点对数目由大到小的顺序，将各个匹配图像进行排序，获得第一检索结果之后，所述方法还包括：

按照每一个匹配图像对应的匹配点对数目由大到小的顺序，选择第二预定数量的匹配图像；

利用所述第二预定数量的匹配图像的文本信息，从所述图像库中查找与所述文本信息匹配的检索图像，获得第二检索结果。

3.根据权利要求1所述的方法，其特征在于，所述图像特征包括局部特征以及深度学习特征；

所述基于所述查询图像的图像特征以及所述候选图像的图像特征，计算查询图像与候选图像的相似度包括：

基于所述查询图像的局部特征以及所述候选图像的局部特征，计算所述查询图像与候选图像的第一子相似度；

基于所述查询图像的深度学习特征以及所述候选图像的深度学习特征，计算查询图像与候选图像的第二子相似度；

将所述第一子相似度与所述第二子相似度进行比例加权计算，得到查询图像与候选图像的相似度。

4.根据权利要求1所述的方法，其特征在于，所述利用几何约束模型，对每一个匹配图像对应的待校验点对进行几何校验，获得所述匹配图像对应的满足几何约束关系的匹配点对包括：

针对每一个匹配图像对应的每一个待校验点对，利用几何约束模型，所述待校验点对中属于所述查询图像的特征点映射到所述匹配图像，得到映射点；

计算所述映射点与所述待校验点对中属于所述匹配图像的特征点的欧式距离；

当所述欧式距离小于第一阈值时，确定所述待校验点对为满足几何约束关系的匹配点对。

5.根据权利要求1所述的方法，其特征在于，所述按照每一个匹配图像对应的匹配点对数目由大到小的顺序，将各个匹配图像进行排序，获得第一检索结果之后，所述方法还包括：

按照每一个匹配图像对应的匹配点对数目由大到小的顺序，选择第三预定数量的匹配图像；

计算所述图像库中的每一个候选图像与所述第三预定数量的匹配图像的第一匹配分数；

计算所述查询图像与所述图像库中每一个候选图像的第二匹配分数；

将所述图像库中每一个候选图像对应的第一匹配分数以及第二匹配分数相加，获得每一个匹配图像的融合分数；

按照所述融合分数从大到小的顺序，从图像库中选择第四预定数量的检索图像，作为第三检索结果。

6.一种图像检索装置，其特征在于，包括：

第一提取模块，用于提取查询图像的图像特征以及图像库中候选图像的图像特征；

第一计算模块，用于基于所述查询图像的图像特征以及所述候选图像的图像特征，计算查询图像与候选图像的相似度；

第一获取模块，用于按照所述相似度从大到小的顺序，获取与所述查询图像相似的第一预定数量的匹配图像；

第一构成模块，用于针对每一个匹配图像中的每一个特征点，获取所述查询图像中与所述特征点最匹配的特征点，构成待校验点对；

第二获取模块，用于利用几何约束模型，对每一个匹配图像对应的待校验点对进行几何校验，获得所述匹配图像对应的满足几何约束关系的匹配点对；

第一确定模块，用于按照每一个匹配图像对应的匹配点对数目由大到小的顺序，将各个匹配图像进行排序，获得第一检索结果。

7.根据权利要求6所述的装置，其特征在于，所述第一确定模块之后，所述装置还包括：

第一选择模块，用于按照每一个匹配图像对应的匹配点对数目由大到小的顺序，选择第二预定数量的匹配图像；

第二确定模块，用于利用所述第二预定数量的匹配图像的文本信息，从所述图像库中查找与所述文本信息匹配的检索图像，获得第二检索结果。

8.根据权利要求6所述的装置，其特征在于，所述图像特征包括局部特征以及深度学习特征；

所述第一计算模块包括：

第一计算单元，用于基于所述查询图像的局部特征以及所述候选图像的局部特征，计算所述查询图像与候选图像的第一子相似度；

第二计算单元，用于基于所述查询图像的深度学习特征以及所述候选图像的深度学习特征，计算查询图像与候选图像的第二子相似度；

第三计算单元，用于将所述第一子相似度与所述第二子相似度进行比例加权计算，得到查询图像与候选图像的相似度。

9.根据权利要求6所述的装置，其特征在于，所述第二获取模块包括：

第一映射单元，用于利用几何约束模型，将每一个匹配图像对应的每一个待校验点对中属于所述查询图像的特征点映射到所述匹配图像，得到映射点；

第四计算单元，用于计算所述映射点与所述待校验点对中属于所述匹配图像的特征点的距离；

第一确定单元，用于当所述距离小于第一预定阈值时，确定所述待校验点对为满足几何约束关系的匹配点对。

10.根据权利要求6所述的装置，其特征在于，所述第一确定模块之后，所述装置还包括：

第二选择模块，用于按照每一个匹配图像对应的匹配点对数目由大到小的顺序，选择第三预定数量的匹配图像；

第二计算模块，用于计算所述图像库中的每一个候选图像与所述第三预定数量的匹配图像的第一匹配分数；

第三计算模块，用于计算所述查询图像与所述图像库中每一个候选图像的第二匹配分数；

第一融合模块，用于将所述图像库中每一个候选图像对应的第一匹配分数以及第二匹配分数相加，获得每一个候选图像的融合分数；

第三确定模块，用于按照所述融合分数从大到小的顺序，从图像库中选择第四预定数量的检索图像，作为第三检索结果。