CN105354228B - 相似图搜索方法及装置 - Google Patents

Abstract

本公开揭示了一种相似图搜索方法及装置，属于图像匹配领域。所述相似图搜索方法包括：在为第一图像搜索相似图像时，将第一图像输入至图像分类模型Alexnet中，控制Alexnet输出第一图像的预定维特征；从预定图库中获取第二图像，将第二图像输入至Alexnet中，控制Alexnet输出第二图像的预定维特征；计算第一图像的预定维特征和第二图像的预定维特征之间的匹配度；当计算得到的匹配度小于预定阈值时，判定第二图像为第一图像的相似图像。解决了较平滑的图像无法成功提取出局部特征点，而导致无法实现相似图搜索的问题；达到了成功提取出较平滑图像局部特征点，提高相似图搜索率的效果。

Description

相似图搜索方法及装置

技术领域

本公开涉及图像匹配领域，特别涉及一种相似图搜索方法及装置。

背景技术

由于相似图搜索技术可以从海量的图像中自动识别出相似的图像，因此使很多基于相似图像搜索的应用成为可能。

相关技术中在进行相似图像搜索时，首先，对需要搜索相似图的图像，提取该图像中的局部特征点，对提取出的局部特征点进行特征描述，得到特征描述文档，将这些特征描述文档组成文档倒排索引树；然后，从图库中获取一张图像，基于类似方式，获取该图像的文档倒排索引树，在匹配两张图像是否为相似图像时，根据这两张图像的文档倒排索引树，筛选出匹配的特征文档，根据筛选出的匹配的特征文档来判定这两张图像是否相似。

由于很多较平滑的图像无法成功提取出局部特征点，因此无法实现这些图像的相似图搜索。

发明内容

为了解决相关技术中由于很多较平滑的图像无法成功提取出局部特征点，因此无法实现这些图像的相似图搜索的问题，本公开提供一种相似图搜索方法及装置。所述技术方案如下：

根据本公开实施例的第一方面，提供一种相似图搜索方法，所述方法包括：

在为第一图像搜索相似图像时，将所述第一图像输入至图像分类模型Alexnet中，控制所述Alexnet输出所述第一图像的预定维特征；

从预定图库中获取第二图像，将所述第二图像输入至所述Alexnet中，控制所述Alexnet输出所述第二图像的预定维特征；

计算所述第一图像的预定维特征和所述第二图像的预定维特征之间的匹配度；

当计算得到的匹配度小于预定阈值时，判定所述第二图像为所述第一图像的相似图像。

本公开提供的上述相似图搜索方法能够达到的有益效果为：通过将第一图像和预定图库中获取的第二图像均输入至Alexnet中，控制Alexnet输出该第一图像的预定维特征和第二图像的预定维特征，当该第一图像的预定维特征和第二图像的预定维特征之间的匹配度小于预定阈值时，则判定该第二图像为该第一图像的相似图像；由于图像在输入Alexnet后，Alexnet所输出的该图像的预定维特征针对该图像具有较强的特征代表性，若两张图像的预定维特征的匹配度相近，通常可以表明这两张图像相似，且Alexnet模型针对平滑的图像也可以成功提取出预定维特征，因此解决了较平滑的图像无法成功提取出局部特征点，而导致无法实现相似图搜索的问题；达到了成功提取出较平滑图像局部特征点，提高相似图搜索率的效果。

可选的，所述将所述第一图像输入至图像分类模型Alexnet中，控制所述Alexnet输出所述第一图像的预定维特征，包括：

去除所述Alexnet中的最后一层分类器；将所述第一图像输入至去除最后一层分类器的所述Alexnet中，控制所述Alexnet输出所述第一图像的所述预定维特征；或者，

将所述第一图像输入至图像分类模型Alexnet中，向所述Alexnet下发特征输出指令，所述特征输出指令用于指示所述Alexnet在所述第一图像输入后，在将所述第一图像的预定维特征输入至最后一层分类器前，将得到的所述预定维特征输出。

本公开提供的上述可选的相似图搜索方法能够达到的有益效果为：去掉Alexnet中的最后一层分类器或者向Alexnet下发特征输出指令，以控制Alexnet输出第一图像的预定维特征，从而使得直接利用Alexnet所具有的特性，为图像搜索提供更优化的服务，提高了相似图像搜索的准确率和效率。

可选的，所述将所述第二图像输入至所述Alexnet中，控制所述Alexnet输出所述第二图像的预定维特征，包括：

将所述第二图像输入至已经去除最后一层分类器的所述Alexnet中，控制所述Alexnet输出所述第二图像的所述预定维特征；或者，

将所述第二图像输入至图像分类模型Alexnet中，向所述Alexnet下发特征输出指令，所述特征输出指令用于指示所述Alexnet在所述第二图像输入后，在将所述第二图像的预定维特征输入至最后二层分类器前，将得到的所述预定维特征输出。

本公开提供的上述相似图搜索方法能够达到的有益效果为：去掉Alexnet中的最后一层分类器或者向Alexnet下发特征输出指令，以控制Alexnet输出第二图像的预定维特征，从而使得直接利用Alexnet所具有的特性，为图像搜索提供更优化的服务，提高了相似图像搜索的准确率和效率。

可选的，所述计算所述第一图像的预定维特征和所述第二图像的预定维特征之间的匹配度，包括：

对所述第一图像的预定维特征进行量化，得到第一量化值；

对所述第二图像的预定维特征进行量化，得到第二量化值；

计算所述第一量化值和所述第二量化值之间的匹配度。

本公开提供的上述可选的相似图搜索方法能够达到的有益效果为：利用量化后的量化值来计算匹配度，降低了计算维度，提高了计算的效率。

可选的，所述对所述第一图像的预定维特征进行量化，得到第一量化值，包括：

按照预定哈希算法对所述第一图像的预定维特征进行哈希映射，将得到的哈希值确定为所述第一量化值。

可选的，所述对所述第二图像的预定维特征进行量化，得到第二量化值，包括：

按照所述预定哈希算法对所述第二图像的预定维特征进行哈希映射，将得到的哈希值确定为所述第二量化值。

本公开提供的上述相似图搜索方法能够达到的有益效果为：通过利用哈希映射对第一图像的预定维特征和第二图像的预定维特征进行量化；解决了对提取到的图像特征的描述复杂而导致图像匹配度计算效率低的问题；提高了图像特征的可描述性和图像匹配度计算效率。

根据本公开实施例的第二方面，提供了一种相似图搜索装置，所述装置包括：

第一输出模块，被配置为在为第一图像搜索相似图像时，将所述第一图像输入至图像分类模型Alexnet中，控制所述Alexnet输出所述第一图像的预定维特征；

第二输出模块，被配置为从预定图库中获取第二图像，将所述第二图像输入至所述Alexnet中，控制所述Alexnet输出所述第二图像的预定维特征；

计算模块，被配置为计算所述第一输出模块输出的第一图像的预定维特征和所述第二输出模块输出的第二图像的预定维特征之间的匹配度；

判断模块，被配置为当计算得到的匹配度小于预定阈值时，判定所述第二图像为所述第一图像的相似图像。

本公开提供的上述相似图搜索装置能够达到的有益效果为：通过将第一图像和预定图库中获取的第二图像均输入至Alexnet中，控制Alexnet输出该第一图像的预定维特征和第二图像的预定维特征，当该第一图像的预定维特征和第二图像的预定维特征之间的匹配度小于预定阈值时，则判定该第二图像为该第一图像的相似图像；由于图像在输入Alexnet后，Alexnet所输出的该图像的预定维特征针对该图像具有较强的特征代表性，若两张图像的预定维特征的匹配度相近，通常可以表明这两张图像相似，且Alexnet模型针对平滑的图像也可以成功提取出预定维特征，因此解决了较平滑的图像无法成功提取出局部特征点，而导致无法实现相似图搜索的问题；达到了成功提取出较平滑图像局部特征点，提高相似图搜索率的效果。

可选的，所述第一输出模块，包括：

第一去除子模块，被配置为去除所述Alexnet中的最后一层分类器；将所述第一图像输入至去除最后一层分类器的所述Alexnet中，第一输出子模块，被配置为控制所述Alexnet输出所述第一图像的所述预定维特征；或者，

第二输出子模块，被配置为将所述第一图像输入至图像分类模型Alexnet中，向所述Alexnet下发特征输出指令，所述特征输出指令用于指示所述Alexnet在所述第一图像输入后，在将所述第一图像的预定维特征输入至最后一层分类器前，将得到的所述预定维特征输出。

本公开提供的上述相似图搜索装置能够达到的有益效果为：去掉Alexnet中的最后一层分类器或者向Alexnet下发特征输出指令，以控制Alexnet输出第一图像的预定维特征，从而使得直接利用Alexnet所具有的特性，为图像搜索提供更优化的服务，保证了可以成功提取较平滑的图像的特征，进而提高了相似图像搜索的准确率和效率。

可选的，所述第二输出模块，包括：

第三输出子模块，被配置为将所述第二图像输入至已经去除最后一层分类器的所述Alexnet中，控制所述Alexnet输出所述第二图像的所述预定维特征；或者，

第四输出子模块，被配置为将所述第二图像输入至图像分类模型Alexnet中，向所述Alexnet下发特征输出指令，所述特征输出指令用于指示所述Alexnet在所述第二图像输入后，在将所述第二图像的预定维特征输入至最后二层分类器前，将得到的所述预定维特征输出。

本公开提供的上述相似图搜索装置能够达到的有益效果为：去掉Alexnet中的最后一层分类器或者向Alexnet下发特征输出指令，以控制Alexnet输出第二图像的预定维特征，从而使得直接利用Alexnet所具有的特性，为图像搜索提供更优化的服务，保证了可以成功提取较平滑的图像的特征，进而提高了相似图像搜索的准确率和效率。

可选的，所述计算模块，包括：

第一量化子模块，被配置为对所述第一输出模块输出的第一图像的预定维特征进行量化，得到第一量化值；

第二量化子模块，被配置为对所述第二输出模块输出的第二图像的预定维特征进行量化，得到第二量化值；

计算子模块，被配置为计算所述第一量化子模块输出的第一量化值和所述第一量化子模块输出的第二量化值之间的匹配度。

本公开提供的上述相似图搜索方法能够达到的有益效果为：利用量化后的量化值来计算匹配度，降低了计算维度，提高了计算的效率。

可选的，所述第一量化子模块，还被配置为：

按照预定哈希算法对所述第一图像的预定维特征进行哈希映射，将得到的哈希值确定为所述第一量化值。

可选的，所述第二量化子模块，还被配置为：

按照所述预定哈希算法对所述第二图像的预定维特征进行哈希映射，将得到的哈希值确定为所述第二量化值。

本公开提供的上述相似图搜索装置能够达到的有益效果为：通过利用哈希映射对第一图像的预定维特征和第二图像的预定维特征进行量化；解决了对提取到的图像特征的描述复杂而导致图像匹配度计算效率低的问题；提高了图像特征的可描述性和图像匹配度计算效率。

根据本公开实施例的第三方面，提供了一种相似图搜索装置，所述装置包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为：

在为第一图像搜索相似图像时，将所述第一图像输入至图像分类模型Alexnet中，控制所述Alexnet输出所述第一图像的预定维特征；

从预定图库中获取第二图像，将所述第二图像输入至所述Alexnet中，控制所述Alexnet输出所述第二图像的预定维特征；

计算所述第一图像的预定维特征和所述第二图像的预定维特征之间的匹配度；

当计算得到的匹配度小于预定阈值时，判定所述第二图像为所述第一图像的相似图像。

本公开提供的上述相似图搜索装置能够达到的有益效果为：通过将第一图像和预定图库中获取的第二图像均输入至Alexnet中，控制Alexnet输出该第一图像的预定维特征和第二图像的预定维特征，当该第一图像的预定维特征和第二图像的预定维特征之间的匹配度小于预定阈值时，则判定该第二图像为该第一图像的相似图像；由于图像在输入Alexnet后，Alexnet所输出的该图像的预定维特征针对该图像具有较强的特征代表性，若两张图像的预定维特征的匹配度相近，通常可以表明这两张图像相似，且Alexnet模型针对平滑的图像也可以成功提取出预定维特征，因此解决了较平滑的图像无法成功提取出局部特征点，而导致无法实现相似图搜索的问题；达到了成功提取出较平滑图像局部特征点，提高相似图搜索率的效果。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并于说明书一起用于解释本公开的原理。

图1是根据一示例性实施例示出的一种相似图搜索方法的方法流程图；

图2A是根据另一示例性实施例示出的一种相似图搜索方法的方法流程图；

图2B是根据一示例性实施例示出的一种Alexnet的结构示意图；

图2C是根据一示例性实施例示出的一种输出该第一图像的预定维特征方法的方法流程图；

图2D其是根据一示例性实施例示出的一种输出该第二图像的预定维特征方法的方法流程图；

图3是根据一示例性实施例示出的一种相似图搜索装置的结构方框图；

图4是根据另一示例性实施例示出的一种相似图搜索装置的结构方框图；

图5是根据另一示例性实施例示出的一种用于相似图搜索装置的结构方框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

图1是根据一示例性实施例示出的一种相似图搜索方法的方法流程图，如图1所示，该相似图搜索方法可以应用于提供图像搜索的搜索设备中，这里所讲的提供图像搜索的搜索设备可以为终端或服务器，该相似图搜索方法包括以下步骤。

在步骤110中，在为第一图像搜索相似图像时，将该第一图像输入至图像分类模型Alexnet中，控制该Alexnet输出该第一图像的预定维特征。

在步骤120中，从预定图库中获取第二图像，将该第二图像输入至该Alexnet中，控制该Alexnet输出该第二图像的预定维特征。

在步骤130中，计算该第一图像的预定维特征和该第二图像的预定维特征之间的匹配度。

在步骤140中，当计算得到的匹配度小于预定阈值时，判定该第二图像为该第一图像的相似图像。

综上所述，本公开实施例提供的相似图搜索方法，通过将第一图像和预定图库中获取的第二图像均输入至Alexnet中，控制Alexnet输出该第一图像的预定维特征和第二图像的预定维特征，当该第一图像的预定维特征和第二图像的预定维特征之间的匹配度小于预定阈值时，则判定该第二图像为该第一图像的相似图像；由于图像在输入Alexnet后，Alexnet所输出的该图像的预定维特征针对该图像具有较强的特征代表性，若两张图像的预定维特征的匹配度相近，通常可以表明这两张图像相似，且Alexnet模型针对平滑的图像也可以成功提取出预定维特征，因此解决了较平滑的图像无法成功提取出局部特征点，而导致无法实现相似图搜索的问题；达到了成功提取出较平滑图像局部特征点，提高相似图搜索率的效果。

图2A是根据另一示例性实施例示出的一种相似图搜索方法的方法流程图，如图2A所示，该相似图搜索方法可以应用于提供图像搜索的搜索设备中，这里所讲的提供图像搜索的搜索设备可以为终端或服务器，该相似图搜索方法包括以下步骤。

在步骤210中，在为第一图像搜索相似图像时，将该第一图像输入至图像分类模型Alexnet中，控制该Alexnet输出该第一图像的预定维特征。

这里所讲的Alexnet是一种图像分类模型，其对图像的分类的准确度非常高。为了便于理解Alexnet，下面结合图2B对Alexnet进行简要描述：

在图2B中可以看出，Alexnet是一种包括8个层次的图像分类模型，其中第一层至第五层(也即Layer1-Layer5)均为卷积层，其中的第一层、第二层和第五层均包括卷积过程(convolution)和降采样过程(pooling)，第三次和第四层包括卷积过程；第六层至第八层(也即Layer6-Layer8)均为全连接层，其中的第六层和第八层均包括全连接过程(Full)。

一般的，每个图像被输入至Alexnet时，均会被缩放成227*227大小、分红(R)、绿(G)、蓝(B)三个颜色维度输入。以第一层为例，卷积滤波器的大小是11*11，卷积步幅为4，本层共有96个卷积滤波器，本层的输出则是96个55*55大小的图片。在第一层，卷积滤波后，还接有降采样max-pooling操作。第六层至第八层是全连接层，相当于在五层卷积层的基础上再加上一个三层的全连接神经网络分类器。以第六层为例，本层的神经元个数为4096个。第八层的神经元个数为1000个，相当于训练目标的1000个图片类别。

Alexnet的结构以及具体对图像的处理和分类过程属于本领域的普通技术人员均可以得知的技术，在此不再进行详述。

由Alexnet的结构可知，在第五层输出后，一张图像会被转换为两组6*6*128的像素层，共6*6*256的像素层。后续第六层至第八层即为Alexnet的最后一层分类器，也即根据图像的6*6*256的像素层的特征对该图像进行类别的分类。

在第五层输出的6*6*256的像素层的特征具有较强的特征代表性，且由Alexnet的第一层至第五层的算法可知，即使是平滑的图像也可以得到6*6*256的像素层的特征，因此本实施例中利用Alexnet模型的这种特征，来实现对图像的搜索。

在一种可能的实现方式中，请参见图2C所示，其是根据一示例性实施例示出的一种输出该第一图像的预定维特征方法的方法流程图，如图2C所示，步骤210通过如下两种方式实现：

在方式211中，去除该Alexnet中的最后一层分类器；将该第一图像输入至去除最后一层分类器的该Alexnet中，控制该Alexnet输出该第一图像的该预定维特征。

这里所讲的Alexnet中的最后一层分类器即为图2B中第六层至第八层所形成的全连接层神经网络分类器。由图2B可知，在去除该Alexnet中的最后一层分类器后，将第一图像输入至该去除最后一层分类器的该Alexnet后，该处理后的Alexnet的输出即为第五层输出的内容，也即该第一图像的预定维特征即为在第五层输出的6*6*256的像素层的特征。

也就是说在进行相似图像搜索时，先对去除Alexnet中的第六层至第八层所形成的全连接层神经网络分类器，然后利用被处理过的ALexnet来输出图像的6*6*256的像素层的特征。

在方式212中，将该第一图像输入至图像分类模型Alexnet中，向该Alexnet下发特征输出指令，该特征输出指令用于指示该Alexnet在该第一图像输入后，在将该第一图像的预定维特征输入至最后一层分类器前，将得到的该预定维特征输出。

可以向Alexnet下发特征输出指令，该特征输出指令可以出发Alexnet模型在该第一图像被输入后，在第五层输出该第一图像的预定维特征，也即在第五层输出该第一图像的6*6*256的像素层的特征。

也即，避免Alexnet模型在最后一层分类器后输出该第一图像的类别，而在分类器进行分类之前输出处理得到的特征。

在步骤220中，从预定图库中获取第二图像，将该第二图像输入至该Alexnet中，控制该Alexnet输出该第二图像的预定维特征。

在一种可选的方式中，请参见图2D所示，其是根据一示例性实施例示出的一种输出该第二图像的预定维特征方法的方法流程图，如图2D所示，步骤220通过如下两种方式实现：

在方式221中，将该第二图像输入至已经去除最后一层分类器的该Alexnet中，控制该Alexnet输出该第二图像的该预定维特征。

类似的，去除最后一层分类器的Alexnet即为去除了由第六层至第八层形成的全连接神经网络分类器。被去除分类器的Alexne所输出该第二图像的该预定维特征即为第五层输出的该第二图像的6*6*256的像素层的特征。

在方式222中，将该第二图像输入至图像分类模型Alexnet中，向该Alexnet下发特征输出指令，该特征输出指令用于指示该Alexnet在该第二图像输入后，在将该第二图像的预定维特征输入至最后一层分类器前，将得到的该预定维特征输出。

类似的，可以向Alexnet下发特征输出指令，该特征输出指令可以出发Alexnet模型在该第二图像被输入后，在第五层输出该第二图像的预定维特征，也即在第五层输出该第二图像的6*6*256的像素层的特征。

也即，避免Alexnet模型在最后一层分类器后输出该第二图像的类别，而在分类器进行分类之前输出处理得到的特征。

根据Alexnet模型的特征可知，在第五层输出的图像的6*6*256的像素层的特征可以代表该图像的显著性特征，因此搜索设备可以根据第一图像的预定维特征和第二图像的预定维特征之间的匹配度来确定第一图像和第二图像是否相似，具体可以参见下述步骤230至步骤250中的描述。

在步骤230中，对该第一图像的预定维特征进行量化，得到第一量化值。

在步骤240中，对该第二图像的预定维特征进行量化，得到第二量化值。

由于预定维特征所对应的维度通常比较大，因此为了降低匹配度计算时的复杂度，可以经过步骤230对第一图像的预定维特征量化，并在步骤240中利用同样的方式对第二图像的预定维特征进行量化。量化后的第一量化值和第二量化值的维度相同。

在一种可能的实现方式中，为了简化量化过程，搜索设备可以按照预定哈希算法对该第一图像的预定维特征进行哈希映射，将得到的哈希值确定为该第一量化值。比如，可以利用将第一图像的预定维特征哈希映射为具有预定个字符的第一字符串。

类似的，搜索设备还可以按照同样的预定哈希算法对该第二图像的预定维特征进行哈希映射，将得到的哈希值确定为该第二量化值。比如，可以利用将第二图像的预定维特征哈希映射为具有预定个字符的第二字符串。

这里所讲的第一字符串和第二字符串的字符数量可以相同。

在另一种可能的实现方式中，为了降低匹配度计算的运算量，还可以通过预定量化算法对第一图像的预定维特征进行量化，得到的量化后的第一量化值为一个数值，将该数值记为第一数值。

类似的，还可以通过该预定量化算法对第一图像的预定维特征进行量化，得到的量化后的第二量化值为一个数值，将该数值记为第二数值。

在步骤250中，计算该第一量化值和该第二量化值之间的匹配度。

在步骤260中，当计算得到的匹配度小于预定阈值时，判定该第二图像为该第一图像的相似图像。

以第一量化值为上述的第一字符串、第二量化值为上述的第二字符串为例，依次对比第一字符串和第二字符串，对比第一字符串中的第i个字符和第二字符串中的第i个字符，若相同，则将用于指示相同字符的计数值加1，然后继续对比第一字符串中的第i+1个字符和第二字符串中的第i+1个字符，直至对比完字符串中的所有字符。将对比后得到的计数值除以第一字符串中字符串的总数量，在得到的商值大于预定比例阈值时，可以判定该第二图像为该第一图像的相似图像，这里所讲的预定个记为第一字符串的字符数量。

以第一量化值为上述的第一数值、第二量化值为上述的第二数值为例，计算第一数值与第二数值之间差值的绝对值，在该绝对值小于预定阈值时，可以判定该第二图像为该第一图像的相似图像。这里所讲的预定阈值可以根据实际图像相似度的要求进行设定，本实施例不对预定阈值的具体取值进行限定。

很显然，在实际应用中，还可以通过其他的量化方式对该第一图像的预定维特征和第二图像的预定维特征进行量化，根据量化方式得到的量化值进行匹配度的计算。本实施所提出的对预定维特征进行量化，并根据量化后的值进行匹配度计算，可以有效的降低匹配度计算的运算量，因此其他量化方式以及对应的匹配度计算的方式均应当落入本实施例的保护范围。

综上所述，本公开实施例提供的相似图搜索方法，通过将第一图像和预定图库中获取的第二图像均输入至Alexnet中，控制Alexnet输出该第一图像的预定维特征和第二图像的预定维特征，当该第一图像的预定维特征和第二图像的预定维特征之间的匹配度小于预定阈值时，则判定该第二图像为该第一图像的相似图像；由于图像在输入Alexnet后，Alexnet所输出的该图像的预定维特征针对该图像具有较强的特征代表性，若两张图像的预定维特征的匹配度相近，通常可以表明这两张图像相似，且Alexnet模型针对平滑的图像也可以成功提取出预定维特征，因此解决了较平滑的图像无法成功提取出局部特征点，而导致无法实现相似图搜索的问题；达到了成功提取出较平滑图像局部特征点，提高相似图搜索率的效果。

本公开实施例提供的相似图搜索方法，还通过去掉Alexnet中的最后一层分类器或者向Alexnet下发特征输出指令，以控制Alexnet输出第一图像的预定维特征，从而使得直接利用Alexnet所具有的特性，为图像搜索提供更优化的服务，提高了相似图像搜索的准确率和效率。

本公开实施例提供的相似图搜索方法，还通过去掉Alexnet中的最后一层分类器或者向Alexnet下发特征输出指令，以控制Alexnet输出第二图像的预定维特征，从而使得直接利用Alexnet所具有的特性，为图像搜索提供更优化的服务，提高了相似图像搜索的准确率和效率。

本公开实施例提供的相似图搜索方法，还通过利用量化后的量化值来计算匹配度，降低了计算维度，提高了计算的效率。

本公开实施例提供的相似图搜索方法，还通过利用哈希映射对第一图像的预定维特征和第二图像的预定维特征进行量化；解决了对提取到的图像特征的描述复杂而导致图像匹配度计算效率低的问题；提高了图像特征的可描述性和图像匹配度计算效率。

下述为本公开装置实施例，可以用于执行本公开方法实施例。对于本公开装置实施例中未披露的细节，请参照本公开方法实施例。

图3是根据一示例性实施例示出的一种相似图搜索装置的结构方框图。如图3所示，该相似图搜索装置可以应用于提供图像搜索的设备中，这里所讲的提供图像搜索的设备可以为终端或服务器，该相似图搜索装置包括：第一输出模块310、第二输出模块320、计算模块330和判断模块340。

第一输出模块310，被配置为在为第一图像搜索相似图像时，将该第一图像输入至图像分类模型Alexnet中，控制该Alexnet输出该第一图像的预定维特征。

第二输出模块320，被配置为从预定图库中获取第二图像，将该第二图像输入至该Alexnet中，控制该Alexnet输出该第二图像的预定维特征。

计算模块330，被配置为计算该第一输出模块310输出的第一图像的预定维特征和该第二输出模块320输出的第二图像的预定维特征之间的匹配度；

判断模块340，被配置为当计算得到的匹配度小于预定阈值时，判定该第二图像为该第一图像的相似图像。

综上所述，本公开实施例提供的相似图搜索装置，通过将第一图像和预定图库中获取的第二图像均输入至Alexnet中，控制Alexnet输出该第一图像的预定维特征和第二图像的预定维特征，当该第一图像的预定维特征和第二图像的预定维特征之间的匹配度小于预定阈值时，则判定该第二图像为该第一图像的相似图像；由于图像在输入Alexnet后，Alexnet所输出的该图像的预定维特征针对该图像具有较强的特征代表性，若两张图像的预定维特征的匹配度相近，通常可以表明这两张图像相似，且Alexnet模型针对平滑的图像也可以成功提取出预定维特征，因此解决了较平滑的图像无法成功提取出局部特征点，而导致无法实现相似图搜索的问题；达到了成功提取出较平滑图像局部特征点，提高相似图搜索率的效果。

图4是根据另一示例性实施例示出的一种相似图搜索装置的结构方框图。如图4所示，该相似图搜索装置可以应用于提供图像搜索的设备中，这里所讲的提供图像搜索的设备可以为终端或服务器，该相似图搜索装置包括：第一输出模块410、第二输出模块420、计算模块430和判断模块440。

第一输出模块410，被配置为在为第一图像搜索相似图像时，将该第一图像输入至图像分类模型Alexnet中，控制该Alexnet输出该第一图像的预定维特征。

这里所讲的Alexnet是一种图像分类模型，其对图像的分类的准确度非常高。为了便于理解Alexnet，仍旧结合图2B对Alexnet进行简要描述：

在图2B中可以看出，Alexnet是一种包括8个层次的图像分类模型，其中第一层至第五层均为卷积层，其中的第一层、第二层和第五层均包括卷积过程和降采样过程，第三次和第四层包括卷积过程；第六层至第八层均为全连接层，其中的第六层和第八层均包括全连接过程。

一般的，每个图像被输入至Alexnet时，均会被缩放成227*227大小、分红(R)、绿(G)、蓝(B)三个颜色维度输入。以第一层为例，卷积滤波器的大小是11*11，卷积步幅为4，本层共有96个卷积滤波器，本层的输出则是96个55*55大小的图片。在第一层，卷积滤波后，还接有降采样max-pooling操作。第六层至第八层是全连接层，相当于在五层卷积层的基础上再加上一个三层的全连接神经网络分类器。以第六层为例，本层的神经元个数为4096个。第八层的神经元个数为1000个，相当于训练目标的1000个图片类别。

Alexnet的结构以及具体对图像的处理和分类过程属于本领域的普通技术人员均可以得知的技术，在此不再进行详述。

由Alexnet的结构可知，在第五层输出后，一张图像会被转换为两个6*6*128的像素层，共6*6*256的像素层。后续第六层至第八层即为Alexnet的最后一层分类器，也即根据图像的6*6*256的像素层的特征对该图像进行类别的分类。

在第五层输出的图像的6*6*256的像素层的特征具有较强的特征代表性，且由Alexnet的第一层至第五层的算法可知，即使是平滑的图像也可以得到6*6*256的像素层的特征，因此本实施例中利用Alexnet模型的这种特征，来实现对图像的搜索。

在一种可能的实现方式中，该第一输出模块410可以包括：第一去除子模块411和第一输出子模块412，或者，第二输出子模块413。

第一去除子模块411，被配置为去除该Alexnet中的最后一层分类器；将该第一图像输入至去除最后一层分类器的该Alexnet中，第一输出子模块412，被配置为控制该Alexnet输出该第一图像的该预定维特征。

这里所讲的Alexnet中的最后一层分类器即为图2B中第六层至第八层所形成的全连接层神经网络分类器。由图2B可知，在去除该Alexnet中的最后一层分类器后，将第一图像输入至该去除最后一层分类器的该Alexnet后，该处理后的Alexnet的输出即为第五层输出的内容，也即该第一图像的预定维特征即为在第五层输出的6*6*256的像素层的特征。也就是说在进行相似图像搜索时，先对去除Alexnet中的第六层至第八层所形成的全连接层神经网络分类器，然后利用被处理过的ALexnet来输出图像的6*6*256的像素层的特征。

第二输出子模块413，被配置为将该第一图像输入至图像分类模型Alexnet中，向该Alexnet下发特征输出指令，该特征输出指令用于指示该Alexnet在该第一图像输入后，在将该第一图像的预定维特征输入至最后一层分类器前，将得到的该预定维特征输出。

第二输出子模块413，被配置为可以向Alexnet下发特征输出指令，该特征输出指令可以出发Alexnet模型在该第一图像被输入后，在第五层输出该第一图像的预定维特征，也即在第五层输出该第一图像的6*6*256的像素层的特征。

也即，避免Alexnet模型在最后一层分类器后输出该第一图像的类别，而在分类器进行分类之前输出处理得到的特征。

第二输出模块420，被配置为从预定图库中获取第二图像，将该第二图像输入至该Alexnet中，控制该Alexnet输出该第二图像的预定维特征。

在一种可能的实现方式中，该第二输出模块420可以包括：第三输出子模块421，或者，第四输出子模块422。

第三输出子模块421，被配置为将该第二图像输入至已经去除最后一层分类器的该Alexnet中，控制该Alexnet输出该第二图像的该预定维特征。

类似的，去除最后一层分类器的Alexnet即为去除了由第六层至第八层形成的全连接神经网络分类器。被去除分类器的Alexne所输出该第二图像的该预定维特征即为第五层输出的该第二图像的6*6*256的像素层的特征。

第四输出子模块422，被配置为将该第二图像输入至图像分类模型Alexnet中，向该Alexnet下发特征输出指令，该特征输出指令用于指示该Alexnet在该第二图像输入后，在将该第二图像的预定维特征输入至最后一层分类器前，将得到的该预定维特征输出。

类似的，第四输出子模块422，被配置可以向Alexnet下发特征输出指令，该特征输出指令可以出发Alexnet模型在该第二图像被输入后，在第五层输出该第二图像的预定维特征，也即在第五层输出该第二图像的6*6*256的像素层的特征。

也即，避免Alexnet模型在最后一层分类器后输出该第二图像的类别，而在分类器进行分类之前输出处理得到的特征。

计算模块430，被配置为计算该第一输出模块410输出的第一图像的预定维特征和该第二输出模块420输出的第二图像的预定维特征之间的匹配度。

根据Alexnet模型的特征可知，在第五层输出的图像的6*6*256的像素层的特征可以代表该图像的显著性特征，因此搜索设备的计算模块430可以根据第一图像的预定维特征和第二图像的预定维特征之间的匹配度来确定第一图像和第二图像是否相似。

在一种可能的实现方式中，该计算模块430，包括：第一量化子模块431、第二量化子模块432和计算子模块433。

第一量化子模块431，被配置为对该第一输出模块410输出的第一图像的预定维特征进行量化，得到第一量化值。

第二量化子模块432，被配置为对该第二输出模块420输出的第二图像的预定维特征进行量化，得到第二量化值。

由于预定维特征所对应的维度通常比较大因此为了降低匹配度计算时的复杂度，可以经过第一量化子模块431对第一图像的预定维特征量化，第二量化子模块432利用同样的方式对第二图像的预定维特征进行量化。量化后的第一量化值和第二量化值的维度相同。

在一种可能的实现方式中，为了简化量化过程，搜索设备可以按照预定哈希算法对该第一图像的预定维特征进行哈希映射，将得到的哈希值确定为该第一量化值。比如，可以利用将第一图像的预定维特征哈希映射为具有预定个字符的第一字符串。

类似的，搜索设备还可以按照同样的预定哈希算法对该第二图像的预定维特征进行哈希映射，将得到的哈希值确定为该第二量化值。比如，可以利用将第二图像的预定维特征哈希映射为具有预定个字符的第二字符串。

这里所讲的第一字符串和第二字符串的字符数量可以相同。

在另一种可能的实现方式中，为了降低匹配度计算的运算量，搜索设备还可以通过预定量化算法对第一图像的预定维特征进行量化，得到的量化后的第一量化值为一个数值，将该数值记为第一数值。

类似的，搜索设备还可以通过该预定量化算法对第一图像的预定维特征进行量化，得到的量化后的第二量化值为一个数值，将该数值记为第二数值。

计算子模块433，被配置为计算该第一量化子模块431输出的第一量化值和该第二量化模块432输出的第二量化值之间的匹配度。

在一种可能的实现方式中，该第一量化子模块431还被配置为：按照预定哈希算法对该第一图像的预定维特征进行哈希映射，将得到的哈希值确定为该第一量化值。

在一种可能的实现方式中，该第二量化子模块432还被配置为：按照该预定哈希算法对该第二图像的预定维特征进行哈希映射，将得到的哈希值确定为该第二量化值。

判断模块440，被配置为当计算得到的匹配度小于预定阈值时，判定该第二图像为该第一图像的相似图像。

以第一量化值为上述的第一字符串、第二量化值为上述的第二字符串为例，计算子模块433被配置为依次对比第一字符串和第二字符串，对比第一字符串中的第i个字符和第二字符串中的第i个字符，若相同，则将用于指示相同字符的计数值加1，然后继续对比第一字符串中的第i+1个字符和第二字符串中的第i+1个字符，直至对比完字符串中的所有字符。计算子模块433还被配置为将对比后得到的计数值除以第一字符串中字符串的总数量，判断模块440被配置为在计算子模块433得到的商值大于预定比例阈值时，可以判定该第二图像为该第一图像的相似图像，这里所讲的预定个记为第一字符串的字符数量。

以第一量化值为上述的第一数值、第二量化值为上述的第二数值为例，计算子模块433被配置为计算第一数值与第二数值之间差值的绝对值，判断模块440还被配置为在计算子模块433得到的该绝对值小于预定阈值时，可以判定该第二图像为该第一图像的相似图像。这里所讲的预定阈值可以根据实际图像相似度的要求进行设定，本实施例不对预定阈值的具体取值进行限定。

很显然，在实际应用中，还可以通过其他的量化方式对该第一图像的预定维特征和第二图像的预定维特征进行量化，根据量化方式得到的量化值进行匹配度的计算。本实施所提出的对预定维特征进行量化，并根据量化后的值进行匹配度计算，可以有效的降低匹配度计算的运算量，因此其他量化方式以及对应的匹配度计算的方式均应当落入本实施例的保护范围。

综上所述，本公开实施例提供的相似图搜索装置，通过将第一图像和预定图库中获取的第二图像均输入至Alexnet中，控制Alexnet输出该第一图像的预定维特征和第二图像的预定维特征，当该第一图像的预定维特征和第二图像的预定维特征之间的匹配度小于预定阈值时，则判定该第二图像为该第一图像的相似图像；由于图像在输入Alexnet后，Alexnet所输出的该图像的预定维特征针对该图像具有较强的特征代表性，若两张图像的预定维特征的匹配度相近，通常可以表明这两张图像相似，且Alexnet模型针对平滑的图像也可以成功提取出预定维特征，因此解决了较平滑的图像无法成功提取出局部特征点，而导致无法实现相似图搜索的问题；达到了成功提取出较平滑图像局部特征点，提高相似图搜索率的效果。

本公开实施例提供的相似图搜索装置，还通过去掉Alexnet中的最后一层分类器或者向Alexnet下发特征输出指令，以控制Alexnet输出第一图像的预定维特征，从而使得直接利用Alexnet所具有的特性，为图像搜索提供更优化的服务，提高了相似图像搜索的准确率和效率。

本公开实施例提供的相似图搜索装置，还通过去掉Alexnet中的最后一层分类器或者向Alexnet下发特征输出指令，以控制Alexnet输出第二图像的预定维特征，从而使得直接利用Alexnet所具有的特性，为图像搜索提供更优化的服务，提高了相似图像搜索的准确率和效率。

本公开实施例提供的相似图搜索装置，还通过利用量化后的量化值来计算匹配度，降低了计算维度，提高了计算的效率。

本公开实施例提供的相似图搜索装置，还通过利用哈希映射对第一图像的预定维特征和第二图像的预定维特征进行量化；解决了对提取到的图像特征的描述复杂而导致图像匹配度计算效率低的问题；提高了图像特征的可描述性和图像匹配度计算效率。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

本公开一示例性实施例提供了一种相似图搜索装置，能够实现本公开提供的相似图搜索方法，该相似图搜索装置包括：处理器、用于存储处理器可执行指令的存储器；

其中，处理器被配置为：

在为第一图像搜索相似图像时，将该第一图像输入至图像分类模型Alexnet中，控制该Alexnet输出该第一图像的预定维特征；

从预定图库中获取第二图像，将该第二图像输入至该Alexnet中，控制该Alexnet输出该第二图像的预定维特征；

计算该第一图像的预定维特征和该第二图像的预定维特征之间的匹配度；

当计算得到的匹配度小于预定阈值时，判定该第二图像为该第一图像的相似图像。

图5是根据另一示例性实施例示出的一种用于相似图搜索装置的结构方框图。例如，装置500可以被提供为一用于提供搜索功能的功能设备，比如服务器、路由器或终端等。参照图5，装置500包括处理组件502，其进一步包括一个或多个处理器，以及由存储器504所代表的存储器资源，用于存储可由处理组件502的执行的指令，例如应用程序。存储器504中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。该存储器504中还存储有Alexnet，处理组件502还可以对该Alexnet进行预处理，以去除Alexnet中的最后一层分类器，或控制Alexnet输出图像的预定维特征。此外，处理组件502被配置为执行指令，以执行上述相似图搜索方法。

装置500还可以包括一个电源组件506被配置为执行装置500的电源管理，一个有线或无线网络接口508被配置为将装置500连接到网络，和一个输入输出(I/O)接口510。装置500可以操作基于存储在存储器504的操作系统，例如Windows ServerTM，Mac OS XTM，UnixTM，LinuxTM，FreeBSDTM或类似。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (11)

1.一种相似图搜索方法，其特征在于，所述方法包括：

在为第一图像搜索相似图像时，将所述第一图像输入至图像分类模型Alexnet中，控制所述Alexnet在所述Alexnet的第五层输出所述第一图像的预定维特征；

从预定图库中获取第二图像，将所述第二图像输入至所述Alexnet中，控制所述Alexnet在所述Alexnet的第五层输出所述第二图像的预定维特征；

计算所述第一图像的预定维特征和所述第二图像的预定维特征之间的匹配度；

当计算得到的匹配度小于预定阈值时，判定所述第二图像为所述第一图像的相似图像；

其中，所述将所述第一图像输入至图像分类模型Alexnet中，控制所述Alexnet在所述Alexnet的第五层输出所述第一图像的预定维特征，包括：

去除所述Alexnet中的最后一层分类器；将所述第一图像输入至去除最后一层分类器的所述Alexnet中，控制所述Alexnet输出所述第一图像的所述预定维特征；或者，

将所述第一图像输入至图像分类模型Alexnet中，向所述Alexnet下发特征输出指令，所述特征输出指令用于指示所述Alexnet在所述第一图像输入后，在将所述第一图像的预定维特征输入至最后一层分类器前，将得到的所述预定维特征输出。

2.根据权利要求1所述的方法，其特征在于，所述将所述第二图像输入至所述Alexnet中，控制所述Alexnet在所述Alexnet的第五层输出所述第二图像的预定维特征，包括：

将所述第二图像输入至已经去除最后一层分类器的所述Alexnet中，控制所述Alexnet输出所述第二图像的所述预定维特征；或者，

将所述第二图像输入至图像分类模型Alexnet中，向所述Alexnet下发特征输出指令，所述特征输出指令用于指示所述Alexnet在所述第二图像输入后，在将所述第二图像的预定维特征输入至最后一层分类器前，将得到的所述预定维特征输出。

3.根据权利要求1至2中任一所述的方法，其特征在于，所述计算所述第一图像的预定维特征和所述第二图像的预定维特征之间的匹配度，包括：

对所述第一图像的预定维特征进行量化，得到第一量化值；

对所述第二图像的预定维特征进行量化，得到第二量化值；

计算所述第一量化值和所述第二量化值之间的匹配度。

4.根据权利要求3所述的方法，其特征在于，所述对所述第一图像的预定维特征进行量化，得到第一量化值，包括：

按照预定哈希算法对所述第一图像的预定维特征进行哈希映射，将得到的哈希值确定为所述第一量化值。

5.根据权利要求3所述的方法，其特征在于，所述对所述第二图像的预定维特征进行量化，得到第二量化值，包括：

按照所述预定哈希算法对所述第二图像的预定维特征进行哈希映射，将得到的哈希值确定为所述第二量化值。

6.一种相似图搜索装置，其特征在于，所述装置包括：

第一输出模块，被配置为在为第一图像搜索相似图像时，将所述第一图像输入至图像分类模型Alexnet中，控制所述Alexnet在所述Alexnet的第五层输出所述第一图像的预定维特征；

第二输出模块，被配置为从预定图库中获取第二图像，将所述第二图像输入至所述Alexnet中，控制所述Alexnet在所述Alexnet的第五层输出所述第二图像的预定维特征；

计算模块，被配置为计算所述第一输出模块输出的第一图像的预定维特征和所述第二输出模块输出的第二图像的预定维特征之间的匹配度；

判断模块，被配置为当计算得到的匹配度小于预定阈值时，判定所述第二图像为所述第一图像的相似图像；

所述第一输出模块，包括：

第一去除子模块，被配置为去除所述Alexnet中的最后一层分类器；将所述第一图像输入至去除最后一层分类器的所述Alexnet中，第一输出子模块，被配置为控制所述Alexnet输出所述第一图像的所述预定维特征；或者，

第二输出子模块，被配置为将所述第一图像输入至图像分类模型Alexnet中，向所述Alexnet下发特征输出指令，所述特征输出指令用于指示所述Alexnet在所述第一图像输入后，在将所述第一图像的预定维特征输入至最后一层分类器前，将得到的所述预定维特征输出。

7.根据权利要求6所述的装置，其特征在于，所述第二输出模块，包括：

第三输出子模块，被配置为将所述第二图像输入至已经去除最后一层分类器的所述Alexnet中，控制所述Alexnet输出所述第二图像的所述预定维特征；或者，

第四输出子模块，被配置为将所述第二图像输入至图像分类模型Alexnet中，向所述Alexnet下发特征输出指令，所述特征输出指令用于指示所述Alexnet在所述第二图像输入后，在将所述第二图像的预定维特征输入至最后一层分类器前，将得到的所述预定维特征输出。

8.根据权利要求6至7中任一所述的装置，其特征在于，所述计算模块，包括：

第一量化子模块，被配置为对所述第一输出模块输出的第一图像的预定维特征进行量化，得到第一量化值；

第二量化子模块，被配置为对所述第二输出模块输出的第二图像的预定维特征进行量化，得到第二量化值；

计算子模块，被配置为计算所述第一量化子模块输出的第一量化值和所述第二量化子模块输出的第二量化值之间的匹配度。

9.根据权利要求8所述的装置，其特征在于，所述第一量化子模块，还被配置为：

按照预定哈希算法对所述第一图像的预定维特征进行哈希映射，将得到的哈希值确定为所述第一量化值。

10.根据权利要求8所述的装置，其特征在于，所述第二量化子模块，还被配置为：

按照所述预定哈希算法对所述第二图像的预定维特征进行哈希映射，将得到的哈希值确定为所述第二量化值。

11.一种相似图搜索装置，其特征在于，所述装置包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为：

在为第一图像搜索相似图像时，将所述第一图像输入至图像分类模型Alexnet中，控制所述Alexnet在所述Alexnet的第五层输出所述第一图像的预定维特征；

从预定图库中获取第二图像，将所述第二图像输入至所述Alexnet中，控制所述Alexnet在所述Alexnet的第五层输出所述第二图像的预定维特征；

计算所述第一图像的预定维特征和所述第二图像的预定维特征之间的匹配度；

当计算得到的匹配度小于预定阈值时，判定所述第二图像为所述第一图像的相似图像；

其中，所述将所述第一图像输入至图像分类模型Alexnet中，控制所述Alexnet在所述Alexnet的第五层输出所述第一图像的预定维特征，包括：

去除所述Alexnet中的最后一层分类器；将所述第一图像输入至去除最后一层分类器的所述Alexnet中，控制所述Alexnet输出所述第一图像的所述预定维特征；或者，

将所述第一图像输入至图像分类模型Alexnet中，向所述Alexnet下发特征输出指令，所述特征输出指令用于指示所述Alexnet在所述第一图像输入后，在将所述第一图像的预定维特征输入至最后一层分类器前，将得到的所述预定维特征输出。