CN113849679A - 图像检索方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请实施例提供一种图像检索方法、装置、电子设备及存储介质，通过获取待检索图像；利用预设的多个样本图像，对待检索图像进行全局特征检索，获得符合预设相似度参数的多个备选图像，其中，备选图像的数量小于样本图像的数量；利用多个备选图像，对待检索图像进行局部特征检索，确定与待检索图像相似度最高的目标图像，由于先对样本图像进行了全局特征检索，得到了与待检索图像相似度较高且数量较少的备选图像，实现了对样本图像的筛选，之后再对备选图像进一步进行局部特征对比，可以有效降低局部特征对比的计算量，在保证检索准确性的同时，提高了图像检索效率，缩短了图像检索时长。

Description

图像检索方法、装置、电子设备及存储介质

技术领域

本申请实施例涉及图像检索技术领域，尤其涉及一种图像检索方法、装置、电子设备及存储介质。

背景技术

本部分旨在为权利要求书中陈述的本申请的实施方式提供背景或上下文。此处的描述不因为包括在本部分中而被认为是现有技术。

随着互联网的迅速发展和移动摄影设备的广泛普及，人们的生活逐渐和丰富多样的图像数据息息相关。图像作为一种直接的数据表示形式，包含异常丰富的信息内容，这种强大的信息优势使图像在社会的各个行业中发挥着极其重要的作用。

目前，基于视觉特征进行图像检索的技术已经得到了广泛应用，例如电商平台中的“以图搜图”的应用，能够帮助用户快速实现基于图像的搜索功能。但是随着移动摄影设备和多媒体技术的飞速发展，互联网上的图像数量正在迅速膨胀，同时图像包含的视觉信息也更加的复杂和多样化。

因此，现有技术中，在对海量的图像数据进行检索时，随着待检索图像数量的增加，会造成检索时间过长，或者检索准确性不足的问题。

发明内容

本申请实施例提供一种图像检索方法、装置、电子设备及存储介质，用以解决在对海量的图像数据进行检索时，检索时间过长，或者检索准确性不足的问题。

第一方面，本申请实施例提供了一种图像检索方法，包括：

获取待检索图像；

利用预设的多个样本图像，对所述待检索图像进行全局特征检索，获得符合预设相似度参数的多个备选图像，其中，所述备选图像的数量小于所述样本图像的数量；

利用所述多个备选图像，对所述待检索图像进行局部特征检索，确定与所述待检索图像相似度最高的目标图像。

在可能的设计中，利用预设的多个样本图像，对所述待检索图像进行全局特征检索，获得符合预设相似度参数的多个备选图像，包括：

通过训练至收敛的神经网络对所述待检索图像和所述样本图像分别进行全局特征提取，得到与所述待检索图像对应的第一全局特征和与所述样本图像对应的第二全局特征；

将所述多个第二全局特征分别与所述第一全局特征进行相似度比较，得到多个全局相似值，其中，多个全局相似值与多个样本图像一一对应；

根据所述多个全局相似值，将所述多个样本图像中匹配所述相似度参数的部分图像确定为所述备选图像。

在可能的设计中，所述相似度参数包括权重阈值，根据所述多个全局相似值，将所述多个样本图像中匹配所述相似度参数的部分图像确定为所述备选图像，包括：

对所述多个全局相似值进行归一化处理，获得多个权重值，其中，所述多个权重值与所述多个样本图像一一对应；

将大于所述权重阈值的权重值对应的样本图像，确定为所述备选图像。

在可能的设计中，通过训练至收敛神经网络对所述待检索图像和所述样本图像分别进行全局特征提取，得到与所述待检索图像对应的第一全局特征和与所述样本图像对应的第二全局特征，包括：

将所述待检索图像和所述样本图像分别输入经过迁移训练的AlexNet神经网络，进行特征提取，得到检索图像特征和样本图像特征；

对所述检索图像特征和所述样本图像特征进行特征降维和归一化处理，得到所述第一全局特征和所述第二全局特征。

在可能的设计中，利用所述多个备选图像，对所述待检索图像进行局部特征检索，确定与所述待检索图像相似度最高的目标图像，包括：

通过尺度不变特征变换算法对所述待检索图像和所述多个备选图像分别进行局部特征提取，得到与所述待检索图像对应的多个第一局部特征和与所述样本图像对应的多个第二局部特征；

将所述多个第一局部特征分别与各所述备选图像的多个第二局部特征进行相似度比较，得到多个局部相似值，其中，多个局部相似值与所述备选图像一一对应；

根据所述多个局部相似值，或所述多个局部相似值和所述多个全局相似值，确定所述目标图像。

在可能的设计中，将所述多个第一局部特征分别与各所述备选图像的多个第二局部特征进行相似度比较，得到多个局部相似值，包括：

根据预设的权重参数，确定所述多个第一局部特征中的第一关键局部特征；

将所述第一关键局部特征分别与各备选图像对应的第二局部特征进行相似度比较，得到各备选图像对应的局部相似值。

在可能的设计中，将所述第一关键局部特征分别与各备选图像对应的第二局部特征进行相似度比较，得到各备选图像对应的局部相似值，包括：

基于词袋模型确定所述各第二局部特征中与所述第一关键局部特征相匹配的第二关键局部特征；

根据词频逆文档频率算法计算所述第一关键局部特征与所述第二关键局部特征的相似值，得到各备选图像对应的局部相似值。

在可能的设计中，根据所述多个局部相似值，确定所述目标图像，包括：

将最大的所述局部相似值对应的备选图像，确定为所述目标图像。

在可能的设计中，根据所述多个局部相似值和所述多个全局相似值，确定所述目标图像，包括：

将所述多个局部相似值和所述多个全局相似值进行特征融合，得到多个目标相似值，其中，所述多个目标相似值与所述多个样本图像一一对应；

将最大的所述目标相似值对应的样本图像，确定为所述目标图像。

在可能的设计中，在利用预设的多个样本图像，对所述待检索图像进行全局特征检索之前，还包括：

获取预设的检索参数，所述检索参数用于表征对所述待检索图像进行检索的准确度要求；

根据所述检索参数，确定所述预设的样本图像。

第二方面，本申请实施例提供了一种图像检索装置，包括：

获取模块，用于获取待检索图像；

全局检索模块，利用预设的多个样本图像，对所述待检索图像进行全局特征检索，获得符合预设相似度参数的多个备选图像，其中，所述备选图像的数量小于所述样本图像的数量；

局部检索模块，利用所述多个备选图像，对所述待检索图像进行局部特征检索，确定与所述待检索图像相似度最高的目标图像。

在可能的设计中，所述全局检索模块，具体用于：

通过训练至收敛的神经网络对所述待检索图像和所述样本图像分别进行全局特征提取，得到与所述待检索图像对应的第一全局特征和与所述样本图像对应的第二全局特征；

将所述多个第二全局特征分别与所述第一全局特征进行相似度比较，得到多个全局相似值，其中，多个全局相似值与多个样本图像一一对应；

根据所述多个全局相似值，将所述多个样本图像中匹配所述相似度参数的部分图像确定为所述备选图像。

在可能的设计中，所述相似度参数包括权重阈值，所述全局检索模块在根据所述多个全局相似值，将所述多个样本图像中匹配所述相似度参数的部分图像确定为所述备选图像时，具体用于：

对所述多个全局相似值进行归一化处理，获得多个权重值，其中，所述多个权重值与所述多个样本图像一一对应；

将大于所述权重阈值的权重值对应的样本图像，确定为所述备选图像。

在可能的设计中，所述全局检索模块，在通过训练至收敛神经网络对所述待检索图像和所述样本图像分别进行全局特征提取，得到与所述待检索图像对应的第一全局特征和与所述样本图像对应的第二全局特征时，具体用于：

将所述待检索图像和所述样本图像分别输入经过迁移训练的AlexNet神经网络，进行特征提取，得到检索图像特征和样本图像特征；

对所述检索图像特征和所述样本图像特征进行特征降维和归一化处理，得到所述第一全局特征和所述第二全局特征。

在可能的设计中，所述局部检索模块，具体用于：

通过尺度不变特征变换算法对所述待检索图像和所述多个备选图像分别进行局部特征提取，得到与所述待检索图像对应的多个第一局部特征和与所述样本图像对应的多个第二局部特征；

将所述多个第一局部特征分别与各所述备选图像的多个第二局部特征进行相似度比较，得到多个局部相似值，其中，多个局部相似值与所述备选图像一一对应；

根据所述多个局部相似值，或所述多个局部相似值和所述多个全局相似值，确定所述目标图像。

在可能的设计中，所述局部检索模块，在将所述多个第一局部特征分别与各所述备选图像的多个第二局部特征进行相似度比较，得到多个局部相似值时，具体用于：

根据预设的权重参数，确定所述多个第一局部特征中的第一关键局部特征；

将所述第一关键局部特征分别与各备选图像对应的第二局部特征进行相似度比较，得到各备选图像对应的局部相似值。

在可能的设计中，所述局部检索模块，在将所述第一关键局部特征分别与各备选图像对应的第二局部特征进行相似度比较，得到各备选图像对应的局部相似值时，具体用于：

基于词袋模型确定所述各第二局部特征中与所述第一关键局部特征相匹配的第二关键局部特征；

根据词频逆文档频率算法计算所述第一关键局部特征与所述第二关键局部特征的相似值，得到各备选图像对应的局部相似值。

在可能的设计中，所述局部检索模块，在根据所述多个局部相似值，确定所述目标图像时，具体用于：

将最大的所述局部相似值对应的备选图像，确定为所述目标图像。

在可能的设计中，所述局部检索模块，在根据所述多个局部相似值和所述多个全局相似值，确定所述目标图像时，具体用于：

将所述多个局部相似值和所述多个全局相似值进行特征融合，得到多个目标相似值，其中，所述多个目标相似值与所述多个样本图像一一对应；

将最大的所述目标相似值对应的样本图像，确定为所述目标图像。

在可能的设计中，所述获取模块，在利用预设的多个样本图像，对所述待检索图像进行全局特征检索之前，还用于：

获取预设的检索参数，所述检索参数用于表征对所述待检索图像进行检索的准确度要求；

根据所述检索参数，确定所述预设的样本图像。

第三方面，本申请实施例提供一种电子设备，包括：存储器和处理器，存储器中存储有所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行第一方面中任一项所述的图像检索方法。

第四方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面中任一项所述的图像检索方法。

本申请实施例提供一种图像检索方法、装置、电子设备及存储介质，通过获取待检索图像；利用预设的多个样本图像，对所述待检索图像进行全局特征检索，获得符合预设相似度参数的多个备选图像，其中，所述备选图像的数量小于所述样本图像的数量；利用所述多个备选图像，对所述待检索图像进行局部特征检索，确定与所述待检索图像相似度最高的目标图像，由于先对样本图像进行了全局特征检索，得到了与待检索图像相似度较高且数量较少的备选图像，实现了对样本图像的筛选，之后再对备选图像进一步进行局部特征对比，可以有效降低局部特征对比的计算量，在保证检索准确性的同时，提高了图像检索效率，缩短了图像检索时长。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一个具体的应用场景图；

图2为本申请一个实施例提供的图像检索方法的流程图；

图3为本实施例提供的一种对待检索图像进行检索的过程示意图；

图4为本申请另一个实施例提供的图像检索方法的流程图；

图5为图4所示实施例中步骤S202的流程图；

图6为图4所示实施例中步骤S204的流程图；

图7为图4所示实施例中步骤S206的流程图；

图8为本实施例提供的一种根据局部相似值确定目标图像的示意图；

图9为本实施例提供的一种根据局部相似值和全局相似值确定目标图像的示意图；

图10为本申请实施例提供的图像检索装置的结构示意图；

图11为本申请实施例提供的电子设备的结构示意图。

通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

首先对本申请实施例所涉及的名词进行解释：

全局特征：全局特征是指图像的整体属性，常见的全局特征包括颜色特征、纹理特征和形状特征，比如强度直方图等。由于是像素级的低层可视特征，因此，全局特征具有良好的不变性、计算简单、表示直观等特点。

局部特征：局部特征则是从图像局部区域中抽取的特征，包括边缘、角点、线、曲线和特别属性的区域等，局部图像特征具有在图像中蕴含数量丰富，特征间相关度小，遮挡情况下不会因为部分特征的消失而影响其他特征的检测和匹配等特点。

图1为本申请实施例提供的一个具体的应用场景图。如图1所示，在本实施例提供的应用场景中，本实施例提供的图像检索方法可以应用于一种电子设备，例如为服务器，服务器能够访问存储有海量样本图像的样本图像库，当服务器接收到客户端发送的检索指令后，将在样本数据库中，针对检索指令携带的待检索图像进行检索，检索完成后，从样本数据库中确定相似度最高的一个或多个样本图像作为图像检索的结果输出给客户端，完成图像检索过程。

现有技术中，在对图像进行检索的过程中，会从全局特征和局部特征两个方面进行特征判断，其中，全局特征从整体描述图像包含的信息，如形状、纹理等，因此在图像内容相对复杂的情况下，全局特征的可区分能力受到一定的局限性。相反，局部特征是在图像的兴趣区域内使用一些显著特征点来表示图像信息。基于局部特征的图像描述子能够从更细微的角度来描述图像信息，但是一张图像往往能够检测出大量的特征点，如何有效地组织这些特征点并建立合适的索引策略在面向大规模的图像检索中成为一个难题。

针对上述技术问题，本发明提供一种图像检索方法，通过先对图像进行全局特征检索，确定满足要求的备选图像，再对备选图像进行局部特征检索，使图像检索的过程能够在满足检索准确性的前提下，提高检索效率，降低检索时长。

下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。

图2为本申请一个实施例提供的图像检索方法的流程图，示例性地，本实施例提供的图像检索方法可以在例如为服务器的电子设备上执行，如图2所示，本实施例提供的图像检索方法可以包括：

S101、获取待检索图像。

示例性地，待检索图像为包含像素信息的图像数据，该图像数据中包含能够表达特定信息的图像特征，例如，待检索图像为商品、物体的照片。获取待检索图像的方式有多种，例如，接收与服务器通信的客户端发送的图像数据，该图像数据即为待检索图像；再例如，接收与服务器通信的客户端发送的访问地址，通过访问第三方服务器，获取该访问地址对应的图像数据，该图像数据即为待检索图像，此处不对获取待检索图像的具体方式进行限定。

S102、利用预设的多个样本图像，对待检索图像进行全局特征检索，获得符合预设相似度参数的多个备选图像，其中，备选图像的数量小于样本图像的数量。

具体地，样本图像为预先获得并存储在特定位置的图像数据，例如存储在互联网服务器中的海量图像数据，或者存储在电商平台的服务器中的产品图像数据。执行本实施例提供的方法的服务器，可以通过网络访问上述多个样本数据，或者，上述多个样本数据存储在服务器内部的存储介质中，服务器可以通过总线等方式进行内部访问上述多个样本数据。

将待检索图像与多个样本数据依次进行特征全局特征的对比，其中，示例性地，全局特征包括颜色、形状轮廓、纹理等，将多个样本图像中与该待检索图像在全局特征层面上具有一定相似度的样本图像，确定为备选图像。示例性地，待检索图像中包括一个球形物体，全局特征为物体的轮廓特征，则根据待检索图像中包括的球形物体这一特征，依次检索样本图像，将样本图像中轮廓特征为球形的样本图像筛选处理，确定为备选图像。其中，示例性地，确定样本图像和待检索图像的全局特征的方法，可以通过现有的图像特征提取技术实现，此处不再进行赘述。

需要说明的是，上述示例中，物体的轮廓特征仅是全局特征中的一种示例，全局特征还可以是其他通过人工设计，或者通过自学习的方式确定的，可解释或不可解释的特征，此处，不对全局特征的实现方式进行具体限定。

S103、利用多个备选图像，对待检索图像进行局部特征检索，确定与待检索图像相似度最高的目标图像。

具体地，备选图像为样本图像中的一部分，其本身图像特性不发生改变，例如，样本图像为p1-p10，其中的p1、p3和p7在S102的步骤中，被确认为备选图像。在经过步骤S102中对样本图像进行全局特征检索之后，得到的在全局特征层面较为相似的备选图像，其数量会少于原始的样本图像的数量。进一步地，对备选图像进行局部特征比对，确定备选图像中，在局部特征层面与待检索图像相似的图像。

示例性地，局部特征比对的方法有多种，需要首先在备选图像和待检索图像中，进行局部特征提取，具体方法例如尺度不变特征变换(Scale-invariant featuretransform，SIFT)，加速稳健特征(SpeededUpRobustFeatures，SURF)等方法实现，具体参数可以根据需要进行人工或者自学习的方式确定，此处不对此进行具体限定。在确定各自的局部特征后，分别对特征进行相似度的计算，可以确定其中与待检索图像相似度最高的图像，即目标图像。其中，相似度计算的具体方式有多种，例如计算曼哈顿距离、欧几里得距离、余弦相似度等，可以根据需要进行设置，此处不进行具体限定。

图3为本实施例提供的一种对待检索图像进行检索的过程示意图，如图3所示，通过获取待检索图像；利用预设的多个样本图像，对待检索图像进行全局特征检索，获得符合预设相似度参数的多个备选图像，其中，备选图像的数量小于样本图像的数量；并利用多个备选图像，对待检索图像进行局部特征检索，确定与待检索图像相似度最高的目标图像，由于先对样本图像进行了全局特征检索，得到了与待检索图像相似度较高且数量较少的备选图像，实现了对样本图像的筛选，之后再对备选图像进一步进行局部特征对比，可以有效降低局部特征对比的计算量，在保证检索准确性的同时，提高了图像检索效率，缩短了图像检索时长。

图4为本申请另一个实施例提供的图像检索方法的流程图，如图4所示，本实施例提供的图像检索方法在图2所示实施例提供的图像检索方法的基础上，对步骤S102和步骤S103进一步细化，则本实施例提供的图像检索方法可以包括：

S201、获取待检索图像。

S202、通过训练至收敛的神经网络对待检索图像和样本图像分别进行全局特征提取，得到与待检索图像对应的第一全局特征和与样本图像对应的第二全局特征。

示例性地，神经网络可以是卷积神经网络(ConvolutionalNeuralNetwork，CNN)，也可以是其他基于卷积神经网络进行改进的神经网络。其中，该训练至收敛的卷积神经网络可以是与特定类别的待检索图像对应的，即，不同的待检索图像对应不同的卷积神经网络。由于卷积神经网络模型中的参数是从大量的训练数据中学习得到的，这些参数值并不是一成不变的，而是会随着数据库和用户实际反馈做出相应调整。因此，通过卷积神经网络提取的全局特征，可以看作是通过大量的非线性变换从图像中提取到的信息，其中，CNN模型每一层的中间数据都能够表达图像某一维度的信息，因此其具有更好的表达能力。通过卷积神经网络提取的全局特征相比人工特征能更好的适应复杂图像的特征提取和检索。

在一种可能的设计中，如图5所示，S202可以包括S2021、S2022两个具体的实现步骤：

S2021、将待检索图像和样本图像分别输入经过迁移训练的AlexNet神经网络，进行特征提取，得到检索图像特征和样本图像特征。

AlexNet神经网络是卷积神经网络的一种，能够较好的解决梯度消失和过拟合问题，同时具有较好的模型泛化能力。将AlexNet神经网络进行迁移学习后，将待检索图像和样本图像分别输入AlexNet神经网络，实现对待检索图像和样本图像的全局特征提取，其中，具体的实现过程为本领域现有技术，此处不再赘述。

S2022、对检索图像特征和样本图像特征进行特征降维和归一化处理，得到第一全局特征和第二全局特征。

对于一般的全局特征提取，获得的全局特征是非常丰富的，因此会造成计算效率的降低，在本实施例提供的步骤中，全局特征提取的意义在于对所有的样本图像进行筛选，而不是直接获得最终的检索结果，因此可以在特征提取的过程中，对神经网络模型输出的特征进行降维，降低数据量，提高计算效率。同时，为了消除全局特征中突发性分量对检索性能的影响，可以对第一全局特征和第二全局特征进行归一化处理，提高第一全局特征和第二全局特征的稳定性，进而提高图像检索的准确性。

S203、将多个第二全局特征分别与第一全局特征进行相似度比较，得到多个全局相似值，其中，多个全局相似值与多个样本图像一一对应。

具体地，每个第二全局特征分别对应一个样本图像，第二全局特征可以视为样本图像的全局特征表达，而第一全局特征可以视为待检索图像的全局特征表达，因此，将每个第二全局特征依次与第一全局特征进行相似度计算，每个第二全局特征可以对应得到一个相似度评估结果，即全局相似值，全局相似值是表征样本图像与待检索图像在全局特征层面的相似度，每个样本图像对应一个全局相似值。

S204、根据多个全局相似值，将多个样本图像中匹配相似度参数的部分图像确定为备选图像。

具体地，全局特征是评估不同图像之间是否相似或相同的一个维度，因此，一般来说，全局特征对应的全局相似值越高，则对应的样本图像与待检索图像之间的相似度越高。因此，根据全局相似值的大小，可以表征样本图像与待检索图像的相似度。示例性地，例如，相似度参数为(0.8,1)，即大于0.8小于1。当样本图像对应的全局相似值满足即大于0.8小于1时，即与相似度参数匹配，则可以将该样本图像确定为备选图像。

在一种可能的设计中，相似度参数包括权重阈值，如图6所示，S204可以包括S2041、S2042两个具体的实现步骤：

S2041，对多个全局相似值进行归一化处理，获得多个权重值，其中，多个权重值与多个样本图像一一对应。

对多个全局相似值进行归一化处理，使所有的相似值位于一个固定的区间内，例如(0,1)。之后根据不同的全局相似值在所有全局相似值中的比例，计算对应的权重，得到与样本图像一一对应的权重值。具体的实现步骤为本领域现有技术，此处不再赘述。

S2042，将大于权重阈值的权重值对应的样本图像，确定为备选图像。

示例性地，权重阈值的取值区间位于(0,1)之间，可以用于表征样本图像中确定为备选图像的比例，例如权重阈值为0.5，则权重值大于0.5的样本图像确定为备选图像。

本实施例步骤中，由于对待检索图像的检索目的在不同应用场景下不同，因此，对应检索的精度也不同，权重阈值越大，则备选图像的数量越少，计算效率越高，相应的，检索精度会下降；反之，则备选图像的数量越多，检索精度会上升。通过预设的权重系数，可以根据具体地使用场景进行调节，提高本方法的使用灵活性和适用场景。

S205、通过尺度不变特征变换算法对待检索图像和多个备选图像分别进行局部特征提取，得到与待检索图像对应的多个第一局部特征和与样本图像对应的多个第二局部特征。

示例性地，尺度不变特征变换算法是用于图像处理领域的一种描述。这种描述具有尺度不变性，可在图像中检测出关键点，是一种局部特征描述子，具有较好的稳定性和不变性。通过尺度不变特征变换算法可以将待检索图像和备选图像中的局部特征检测并提取出来，对应生成第一局部特征和第二局部特征。其具体地实现过程为现有技术，此处不再赘述。

S206、将多个第一局部特征分别与各备选图像的多个第二局部特征进行相似度比较，得到多个局部相似值，其中，多个局部相似值与备选图像一一对应。

示例性地，待检索图像在进行局部特征提取后，会生成多个第一局部特征；同样的，备选图像在进行局部特征提取后，也会对应每个备选图像，生成多个第二局部特征，第一局部特征用于表现待检索图像的局部特征层面的特征信息，第二局部特征用于表现备选图像的局部特征层面的特征信息。对第一局部特征和第二局部特征进行相似度计算，可以对应每个备选图像得到一个局部相似值。

在一种可能的设计中，如图7所示，S206可以包括S2061、S2062和S2063三个具体的实现步骤：

S2061、根据预设的权重参数，确定多个第一局部特征中的第一关键局部特征。

具体地，对于不同的待检索图像，其具有不同的图像特征，相应的，其第一局部特征也不同，为了加快检索效率，可以根据预设的权重参数，对多个第一局部特征进行重要性加权排序，例如，待检索图像具有B1-B5共5个第一局部特征，根据预设的权重参数，对其中的第一局部特征B1、B3、B5的重要性权重设置为0，即不对第一局部特征B1、B3、B5进行检索，而将B2、B4的重要性权重设置为1，将其作为关键特征。即B2、B4为第一关键局部特征。当然，也可以通过权重信息，对B1-B5分别设置权重值，将权重最大的前N项作为第一关键局部特征。权重系数的获得方法，可以根据具体的使用场景或需要人为设置的，也可以是基于神经网络等自学习的方式确定的，此处不对此进行限定。

S2062、基于词袋(Bag-of-words，BoW)模型确定各第二局部特征中与第一关键局部特征相匹配的第二关键局部特征。

S2063、根据词频逆文档频率算法(term frequency–inverse documentfrequency，IF-IDF)计算第一关键局部特征与第二关键局部特征的相似值，得到各备选图像对应的局部相似值。

通过基于尺度不变特征变换的第一关键局部特征，和第二局部特征，通过词袋模型对备选图像进行精确查询，确定第二局部特征中的有效特征，即第二关键局部特征，并根据词频逆文档频率算法计算基于第一关键局部特征和第二关键局部特征的相似度，即局部相似值。其中，每个局部相似值对应一个备选图像，用于表征该对应的备选图像与待检索图像在局部特征层面的相似度。

其中，基于尺度不变特征变换的词袋模型计算方法以及词频逆文档频率算法为现有技术，此处不对其实现过程进行赘述。

S207、根据多个局部相似值，或多个局部相似值和多个全局相似值，确定目标图像。

在一种可能的设计中，根据多个局部相似值，确定目标图像，包括：将最大的局部相似值对应的备选图像，确定为目标图像。

图8为本实施例提供的一种根据局部相似值确定目标图像的示意图，如图8所示，样本图像A1-A8的全局相似值为P1-P8；根据全局相似值为P1-P8，将全局相似值大于0.6的样本图像确定为备选图像，即A1、A4、A6、A7为备选图像，在确定备选图像对应的局部相似值W1-W4后，较大的局部相似值意味着该备选图像在局部特征层面，与待检索图像有着较高的一致性，而同时，由于在之前的全局特征检索阶段，已经对备选图像进行了筛选，能够保证备选图像与待检索图像在全局特征层面本身具有一定的相似性，因此，根据局部相似值的最大值，可以直接确定对应备选图像为目标图像，即图8中所示的A4为目标图像。由于不需要与全局相似值进行融合计算，减少计算步骤，提高计算效率。

在一种可能的设计中，根据多个局部相似值和多个全局相似值，确定目标图像，包括：将多个局部相似值和多个全局相似值进行特征融合，得到多个目标相似值，其中，多个目标相似值与多个样本图像一一对应；将最大的目标相似值对应的样本图像，确定为目标图像。

图9为本实施例提供的一种根据局部相似值和全局相似值确定目标图像的示意图，如图9所示，样本图像A1-A8的全局相似值为P1-P8；根据全局相似值为P1-P8，将全局相似值大于0.6的样本图像确定为备选图像，即A1、A4、A6、A7为备选图像，在确定备选图像对应的局部相似值W1-W4后，备选图像对应的局部相似值以样本图像的样本序列进行排序，并在空缺位置补0，以形成一个与全局相似值数组长度相同的局部相似值数组。之后，将全局相似值数组P1、P4、P6、P7与局部相似值数组W1-W4进行点乘运算，对应得到一个与全局相似值数组和局部相似值数组长度相同的目标相似值数组C1、C2、C3、C4，其中，最大的目标相似值C2对应的样本图像，即为目标图像。

本实施例步骤中，通过对全局相似值和局部相似值进行融合，得到能够同时体现图像的全局特征和局部特征的目标相似值，利用目标相似值判断目标图像，能够进一步地提高图像检索的准确性。

在一种可能的设计中，在步骤S201之前，还包括：

S200a、获取预设的检索参数，检索参数用于表征对待检索图像进行检索的准确度要求。

S200b、根据检索参数，确定预设的样本图像。

示例性地，检索参数可以为具体地业务标识，该业务标识对应不同的检索范围，例如，业务标识为A01，则仅对a1数据库内存储的样本图像进行后续的检索。

示例性地，检索参数还可以为具体地数量，例如为10万，即对所有样本图像中的10万张图像进行后续的检索。

通过获取检索参数，可以进一步地控制样本图像的规模和数量，使本实施例提供的方法能够更好的兼顾检索时长和检索准确度，提高使用灵活性。

图10为本申请实施例提供的图像检索装置的结构示意图，如图10所示，本实施例提供的图像检索装置3包括：

获取模块31，用于获取待检索图像。

全局检索模块32，利用预设的多个样本图像，对待检索图像进行全局特征检索，获得符合预设相似度参数的多个备选图像，其中，备选图像的数量小于样本图像的数量。

局部检索模块33，利用多个备选图像，对待检索图像进行局部特征检索，确定与待检索图像相似度最高的目标图像。

在可能的设计中，全局检索模块32，具体用于：

通过训练至收敛的神经网络对待检索图像和样本图像分别进行全局特征提取，得到与待检索图像对应的第一全局特征和与样本图像对应的第二全局特征。

将多个第二全局特征分别与第一全局特征进行相似度比较，得到多个全局相似值，其中，多个全局相似值与多个样本图像一一对应。

根据多个全局相似值，将多个样本图像中匹配相似度参数的部分图像确定为备选图像。

在可能的设计中，相似度参数包括权重阈值，全局检索模块32在根据多个全局相似值，将多个样本图像中匹配相似度参数的部分图像确定为备选图像时，具体用于：

对多个全局相似值进行归一化处理，获得多个权重值，其中，多个权重值与多个样本图像一一对应。

将大于权重阈值的权重值对应的样本图像，确定为备选图像。

在可能的设计中，全局检索模块32，在通过训练至收敛神经网络对待检索图像和样本图像分别进行全局特征提取，得到与待检索图像对应的第一全局特征和与样本图像对应的第二全局特征时，具体用于：

将待检索图像和样本图像分别输入经过迁移训练的AlexNet神经网络，进行特征提取，得到检索图像特征和样本图像特征。

对检索图像特征和样本图像特征进行特征降维和归一化处理，得到第一全局特征和第二全局特征。

在可能的设计中，局部检索模块33，具体用于：

通过尺度不变特征变换算法对待检索图像和多个备选图像分别进行局部特征提取，得到与待检索图像对应的多个第一局部特征和与样本图像对应的多个第二局部特征。

将多个第一局部特征分别与各备选图像的多个第二局部特征进行相似度比较，得到多个局部相似值，其中，多个局部相似值与备选图像一一对应；

根据多个局部相似值，或多个局部相似值和多个全局相似值，确定目标图像。

在可能的设计中，局部检索模块33，在将多个第一局部特征分别与各备选图像的多个第二局部特征进行相似度比较，得到多个局部相似值时，具体用于：

根据预设的权重参数，确定多个第一局部特征中的第一关键局部特征。

将第一关键局部特征分别与各备选图像对应的第二局部特征进行相似度比较，得到各备选图像对应的局部相似值。

在可能的设计中，局部检索模块33，在将第一关键局部特征分别与各备选图像对应的第二局部特征进行相似度比较，得到各备选图像对应的局部相似值时，具体用于：

基于词袋模型确定各第二局部特征中与第一关键局部特征相匹配的第二关键局部特征。

根据词频逆文档频率算法计算第一关键局部特征与第二关键局部特征的相似值，得到各备选图像对应的局部相似值。

在可能的设计中，局部检索模块33，在根据多个局部相似值，确定目标图像时，具体用于：

将最大的局部相似值对应的备选图像，确定为目标图像。

在可能的设计中，局部检索模块33，在根据多个局部相似值和多个全局相似值，确定目标图像时，具体用于：

将多个局部相似值和多个全局相似值进行特征融合，得到多个目标相似值，其中，多个目标相似值与多个样本图像一一对应。

将最大的目标相似值对应的样本图像，确定为目标图像。

在可能的设计中，获取模块31，在利用预设的多个样本图像，对待检索图像进行全局特征检索之前，还用于：

获取预设的检索参数，检索参数用于表征对待检索图像进行检索的准确度要求。

根据检索参数，确定预设的样本图像。

其中，获取模块31、全局检索模块32和局部检索模块33依次连接。本实施例提供的图像检索装置3可以执行如图2-图9任一所示的方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

图11为本申请实施例提供的电子设备的结构示意图，如图11所示，本实施例的电子设备4可以包括：处理器41和存储器42。

存储器42，用于存储程序；存储器42，可以包括易失性存储器(英文：volatilememory)，例如随机存取存储器(英文：random-access memory，缩写：RAM)，如静态随机存取存储器(英文：static random-access memory，缩写：SRAM)，双倍数据率同步动态随机存取存储器(英文：Double Data Rate Synchronous Dynamic Random Access Memory，缩写：DDR SDRAM)等；存储器也可以包括非易失性存储器(英文：non-volatile memory)，例如快闪存储器(英文：flash memory)。存储器42用于存储计算机程序(如实现上述方法的应用程序、功能模块等)、计算机指令等，上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器42中。并且上述的计算机程序、计算机指令、数据等可以被处理器41调用。

上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器42中。并且上述的计算机程序、计算机指令、数据等可以被处理器41调用。

处理器41，用于执行存储器42存储的计算机程序，以实现上述实施例涉及的方法中的各个步骤。

具体可以参见前面方法实施例中的相关描述。

处理器41和存储器42可以是独立结构，也可以是集成在一起的集成结构。当处理器41和存储器42是独立结构时，存储器42、处理器41可以通过总线43耦合连接。

本实施例的电子设备可以执行如图2-图9任一所示的方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

本申请一个实施例提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行以实现本发明图2-图9所对应的实施例中任一实施例提供的方法。

其中，计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求书指出。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求书来限制。

Claims (13)

1.一种图像检索方法，其特征在于，包括：

获取待检索图像；

利用预设的多个样本图像，对所述待检索图像进行全局特征检索，获得符合预设相似度参数的多个备选图像，其中，所述备选图像的数量小于所述样本图像的数量；

利用所述多个备选图像，对所述待检索图像进行局部特征检索，确定与所述待检索图像相似度最高的目标图像。

2.根据权利要求1所述的方法，其特征在于，利用预设的多个样本图像，对所述待检索图像进行全局特征检索，获得符合预设相似度参数的多个备选图像，包括：

通过训练至收敛的神经网络对所述待检索图像和所述样本图像分别进行全局特征提取，得到与所述待检索图像对应的第一全局特征和与所述样本图像对应的第二全局特征；

将所述多个第二全局特征分别与所述第一全局特征进行相似度比较，得到多个全局相似值，其中，多个全局相似值与多个样本图像一一对应；

根据所述多个全局相似值，将所述多个样本图像中匹配所述相似度参数的部分图像确定为所述备选图像。

3.根据权利要求2所述的方法，其特征在于，所述相似度参数包括权重阈值，根据所述多个全局相似值，将所述多个样本图像中匹配所述相似度参数的部分图像确定为所述备选图像，包括：

对所述多个全局相似值进行归一化处理，获得多个权重值，其中，所述多个权重值与所述多个样本图像一一对应；

将大于所述权重阈值的权重值对应的样本图像，确定为所述备选图像。

4.根据权利要求2所述的方法，其特征在于，通过训练至收敛神经网络对所述待检索图像和所述样本图像分别进行全局特征提取，得到与所述待检索图像对应的第一全局特征和与所述样本图像对应的第二全局特征，包括：

将所述待检索图像和所述样本图像分别输入经过迁移训练的AlexNet神经网络，进行特征提取，得到检索图像特征和样本图像特征；

对所述检索图像特征和所述样本图像特征进行特征降维和归一化处理，得到所述第一全局特征和所述第二全局特征。

5.根据权利要求1所述的方法，其特征在于，利用所述多个备选图像，对所述待检索图像进行局部特征检索，确定与所述待检索图像相似度最高的目标图像，包括：

通过尺度不变特征变换算法对所述待检索图像和所述多个备选图像分别进行局部特征提取，得到与所述待检索图像对应的多个第一局部特征和与所述样本图像对应的多个第二局部特征；

将所述多个第一局部特征分别与各所述备选图像的多个第二局部特征进行相似度比较，得到多个局部相似值，其中，多个局部相似值与所述备选图像一一对应；

根据所述多个局部相似值，或所述多个局部相似值和所述多个全局相似值，确定所述目标图像。

6.根据权利要求5所述的方法，其特征在于，将所述多个第一局部特征分别与各所述备选图像的多个第二局部特征进行相似度比较，得到多个局部相似值，包括：

根据预设的权重参数，确定所述多个第一局部特征中的第一关键局部特征；

将所述第一关键局部特征分别与各备选图像对应的第二局部特征进行相似度比较，得到各备选图像对应的局部相似值。

7.根据权利要求6所述的方法，其特征在于，将所述第一关键局部特征分别与各备选图像对应的第二局部特征进行相似度比较，得到各备选图像对应的局部相似值，包括：

基于词袋模型确定所述各第二局部特征中与所述第一关键局部特征相匹配的第二关键局部特征；

根据词频逆文档频率算法计算所述第一关键局部特征与所述第二关键局部特征的相似值，得到各备选图像对应的局部相似值。

8.根据权利要求5所述的方法，其特征在于，根据所述多个局部相似值，确定所述目标图像，包括：

将最大的所述局部相似值对应的备选图像，确定为所述目标图像。

9.根据权利要求5所述的方法，其特征在于，根据所述多个局部相似值和所述多个全局相似值，确定所述目标图像，包括：

将所述多个局部相似值和所述多个全局相似值进行特征融合，得到多个目标相似值，其中，所述多个目标相似值与所述多个样本图像一一对应；

将最大的所述目标相似值对应的样本图像，确定为所述目标图像。

10.根据权利要求1-9任一项所述的方法，其特征在于，在利用预设的多个样本图像，对所述待检索图像进行全局特征检索之前，还包括：

获取预设的检索参数，所述检索参数用于表征对所述待检索图像进行检索的准确度要求；

根据所述检索参数，确定所述预设的样本图像。

11.一种图像检索装置，其特征在于，包括：

获取模块，用于获取待检索图像；

全局检索模块，利用预设的多个样本图像，对所述待检索图像进行全局特征检索，获得符合预设相似度参数的多个备选图像，其中，所述备选图像的数量小于所述样本图像的数量；

局部检索模块，利用所述多个备选图像，对所述待检索图像进行局部特征检索，确定与所述待检索图像相似度最高的目标图像。

12.一种电子设备，其特征在于，包括：存储器，处理器以及计算机程序；

其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如权利要求1-10中任一项所述的图像检索方法。

13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-10所述的图像检索方法。

Images