CN117788842B - 图像检索方法及相关装置 - Google Patents

Abstract

本申请涉及图像处理技术领域，提供一种图像检索方法及相关装置，用以提高图像检索效率，该方法包括：基于各参考图像各自的多尺寸特征，结合待检索图像的待检索特征，对待检索图像和各参考图像进行图像匹配，获得图像检索结果；其中，每个多尺寸特征包括相应参考图像在多个图像分辨率各自对应的图像特征。本申请实施例可应用于云技术、人工智能、智慧交通、辅助驾驶等各种场景。通过多尺寸特征与待检索特征进行不对称的单轮遍历检索，在保证图像检索精度的同时，提高了图像检索效率。

Description

图像检索方法及相关装置

技术领域

本申请涉及图像处理技术领域，提供一种图像检索方法及相关装置。

背景技术

图像检索是人工智能的重要应用，使用机器学习模型提取图像特征，然后将提取的特征与底库中的各参考图像的特征进行匹配，来判断两张图像是否相近，目前依然是图像检索任务最基础的算法方案。

相关技术中，图像检索通常包含粗排和精排两个阶段。在粗排阶段中，利用待检索图像的特征和各参考图像的特征在全局内容上的匹配度，从各参考图像中筛选出各候选图像。在精排阶段，利用筛选出的各候选图像的特征和待检索图像的特征在局部内容上的匹配度，从各候选图像中筛选出至少一个目标图像。

然而，首先，粗排阶段容易忽略可能的正确结果，例如，检索图和正确的参考图像只有局部内容匹配，粗排时可能直接忽略该参考图像，从而导致错误图像检索错误；其次，精排阶段依赖于粗排结果，如果粗排结果中忽略了正确的参考图像，那么精排阶段必然会图像检索错误；最后，精排阶段通常需要使用局部匹配算法，局部匹配算法往往较为复杂，严重影响图像检索效率。

发明内容

本申请实施例提供一种图像检索方法及相关装置，用以提高图像检索效率，同时提高图像检索精度。

第一方面，本申请实施例提供一种图像检索方法，包括：

当获取到针对待检索图像的图像检索指示时，对所述待检索图像进行特征提取，获得待检索特征；

基于各参考图像各自的多尺寸特征，结合所述待检索特征，对所述待检索图像和所述各参考图像进行图像匹配，获得图像检索结果；其中，每个多尺寸特征包括：相应参考图像在多个图像分辨率各自对应的图像特征。

第二方面，本申请实施例提供一种图像检索装置，包括：

指示检索单元，用于当获取到针对待检索图像的图像检索指示时，对所述待检索图像进行特征提取，获得待检索特征；

图像匹配单元，用于基于各参考图像各自的多尺寸特征，结合所述待检索特征，对所述待检索图像和所述各参考图像进行图像匹配，获得图像检索结果；其中，每个多尺寸特征包括：相应参考图像在多个图像分辨率各自对应的图像特征。

一种可能的实现方式中，所述基于各参考图像各自的多尺寸特征，结合所述待检索特征，对所述待检索图像和所述各参考图像进行图像匹配，获得图像检索结果时，图像匹配单元具体用于：

基于所述各参考图像各自的多尺寸特征与所述待检索特征，对所述待检索图像与所述各参考图像进行匹配，获得图像检索结果；

基于所述各参考图像各自的增强特征与所述待检索特征，对所述待检索图像与所述各参考图像进行匹配，获得图像检索结果；其中，每个增强特征是根据相应参考图像关联的各相似参考图像的多尺寸特征得到的。

一种可能的实现方式中，图像匹配单元还用于通过以下方式获得一个参考图像的增强特征：

基于所述各参考图像的多尺寸特征，从所述各参考图像中的除所述一个参考图像之外的各其他参考图像中，选取满足设定图像相似条件的其他参考图像，作为所述一个参考图像的相似参考图像；

基于选取的各相似参考图像各自的多尺寸特征，对所述一个参考图像进行特征增强，获得所述一个参考图像的增强特征。

一种可能的实现方式中，所述基于选取的各相似参考图像各自的多尺寸特征，对所述一个参考图像进行特征增强，获得所述一个参考图像的增强特征时，图像匹配单元具体用于：

将所述各相似参考图像各自与所述一个参考图像之间的图像相似度，作为所述各相似参考图像各自对应的权重系数；其中，每个图像相似度是根据相应相似参考图像和所述一个参考图像的多尺寸特征确定的；

基于所述各相似参考图像各自对应的权重系数，对所述各相似参考图像各自的多尺寸平均特征进行加权求和，获得所述一个参考图像的增强特征。

一种可能的实现方式中，所述基于所述各参考图像的多尺寸特征，从所述各参考图像中的除所述一个参考图像之外的各其他参考图像中，选取满足设定图像相似条件的其他参考图像，作为所述一个参考图像的相似参考图像时，图像匹配单元具体用于：

获取所述各参考图像各自的多尺寸平均特征；其中，每个其他参考图像的多尺寸平均特征是对相应的多尺寸特征中的多个图像特征进行平均后得到的；

基于所述各参考图像中，除所述一个参考图像之外的各其他参考图像各自的多尺寸平均特征，获得所述各其他参考图像分别与所述一个参考图像之间的图像相似度；

基于获得的各图像相似度，从所述各其他参考图像中，选取满足设定图像相似条件的其他参考图像，作为所述一个参考图像的相似参考图像。

一种可能的实现方式中，基于所述各参考图像各自的多尺寸特征与所述待检索特征，对所述待检索图像与所述各参考图像进行匹配，获得图像检索结果时，图像匹配单元具体用于：

针对所述各参考图像中的每个参考图像，分别执行以下操作：按照设定特征选取方式，从一个参考图像的多尺寸特征中的多个图像特征各自与所述待检索特征的特征相似度中，选取目标特征相似度；

基于各参考图像各自对应的目标特征相似度，获得图像检索结果。

一种可能的实现方式中，所述基于所述各参考图像各自的增强特征与所述待检索特征，对所述待检索图像与所述各参考图像进行匹配，获得图像检索结果时，图像匹配单元具体用于：

基于所述各参考图像各自的增强特征与所述待检索特征，获得所述各参考图像各自的增强特征相似度，以及，基于所述各参考图像各自的多尺寸特征与所述待检索特征，获得所述各参考图像各自的多尺寸特征相似度；

分别对所述各参考图像各自的增强特征相似度和多尺寸特征相似度进行汇总，获得所述各参考图像各自的综合相似度，并基于获得的各综合相似度，获得图像检索结果。

一种可能的实现方式中，所述基于各参考图像各自的多尺寸特征，结合所述待检索特征，对所述待检索图像和所述各参考图像进行图像匹配，获得图像检索结果时，图像匹配单元具体用于：

基于所述各参考图像各自的多尺寸特征，结合所述待检索特征，获得所述各参考图像各自对应的全局特征相似度；

基于所述各参考图像各自包含的各图像块的图像块特征，结合所述待检索特征，获得所述各参考图像各自对应的局部特征相似度；

基于所述各参考图像各自对应的全局特征相似度和局部特征相似度，对所述待检索图像和所述各参考图像进行图像匹配，获得图像检索结果。

一种可能的实现方式中，所述基于所述各参考图像各自包含的各图像块的图像块特征，结合所述待检索特征，获得所述各参考图像各自对应的局部特征相似度时，图像匹配单元具体用于：

针对所述各参考图像中的每个参考图像，分别执行以下操作：

按照设定图像分割方式，对一个参考图像进行分块，获得各图像块，并分别对所述各图像块进行特征提取，获得所述各图像块各自对应的图像块特征；

基于获得的各图像块特征与所述待检索特征之间的图像块相似度，获得所述一个参考图像对应的局部特征相似度。

第三方面，本申请实施例提供一种电子设备，包括处理器和存储器，其中，所述存储器存储有计算机程序，当所述计算机程序被所述处理器执行时，使得所述处理器执行上述方法的步骤。

第四方面，本申请实施例提供一种计算机可读存储介质，其包括计算机程序，当所述计算机程序在电子设备上运行时，所述计算机程序用于使所述电子设备执行上述任一方面方法的步骤。

第五方面，本申请实施例提供一种计算机程序产品，所述程序产品包括计算机程序，所述计算机程序存储在计算机可读存储介质中，电子设备的处理器从所述计算机可读存储介质中读取并执行所述计算机程序，使得电子设备执行上述任一方面方法的步骤。

本申请实施例中，针对待检索图像提取出待检索特征，而针对参考图像，提取出多个图像特征，特征提取方式上的不同，形成了不对称的图像特征，而这种不对称的图像特征设计，在后续匹配阶段中，待检索图像的一个特征，将和底库中每张参考图像的多个特征进行特征匹配，由相对于粗排+精排的两阶段方案，只需要一个阶段就可以实现图像匹配，从而避免了后一阶段对前一阶段的匹配结果的依赖，从而提高匹配速度，进而提高图像检索效率，达到高效的计算和检索性能。

此外，多尺寸特征包括参考图像在多个图像分辨率各自对应的图像特征，不同图像分辨率下参考图像的感受野不同，而不同的感受野则有利于参考图像中的不同尺寸物体的表达，从而可以保障图像检索精度。

本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请实施例中提供的一种应用场景示意图；

图2为本申请实施例中提供的一种图像检索方法的流程示意图；

图3为本申请实施例中提供的第一种匹配方式的逻辑示意图；

图4为本申请实施例中提供的一种目标特征相似度选取过程的逻辑示意图；

图5为本申请实施例中提供的一种图像检索结果获得过程的逻辑示意图；

图6为本申请实施例中提供的一种相似参考图像选取过程的逻辑示意图；

图7为本申请实施例中提供的另一种相似参考图像选取过程的逻辑示意图；

图8为本申请实施例中提供的第二种匹配方式的逻辑示意图；

图9为本申请实施例中提供的第三种匹配方式的逻辑示意图；

图10为本申请实施例中提供的一种图像检索过程的逻辑示意图；

图11为本申请实施例中提供的一种图像检索装置的结构示意图；

图12为本申请实施例中提供的一种电子设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请技术方案的一部分实施例，而不是全部的实施例。基于本申请文件中记载的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请技术方案保护的范围。

本申请实施例中，术语“模块”或“单元”是指有预定功能的计算机程序或计算机程序的一部分，并与其他相关部分一起工作以实现预定目标，并且可以通过使用软件、硬件（如处理电路或存储器）或其组合来全部或部分实现。同样的，一个处理器（或多个处理器或存储器）可以用来实现一个或多个模块或单元。此外，每个模块或单元都可以是包含该模块或单元功能的整体模块或单元的一部分。

可以理解的是，当本申请的各实施例运用到具体产品或技术中时，需要获得相关许可或者同意，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。

相关技术中，图像检索通常包含粗排和精排两个阶段。粗排阶段中，利用待检索图像的特征和各参考图像的特征在全局内容上的匹配度，从各参考图像中筛选出各候选图像。在精排阶段，利用筛选出的各候选图像的特征和待检索图像的特征在局部内容上的匹配度，从各候选图像中筛选出至少一个目标图像。

然而，首先，粗排阶段容易忽略可能的正确结果，例如，检索图和正确的参考图像只有局部内容匹配，粗排时可能直接忽略该参考图像，从而导致错误图像检索错误；其次，精排阶段依赖于粗排结果，如果粗排结果中忽略了正确的参考图像，那么精排阶段必然会图像检索错误；最后，精排阶段通常需要使用局部匹配算法，局部匹配算法往往较为复杂，严重影响图像检索效率。

本申请实施例中，针对待检索图像提取出待检索特征，而针对参考图像，提取出多个图像特征，特征提取方式上的不同，形成了不对称的图像特征，而这种不对称的图像特征设计，在后续匹配阶段中，待检索图像的一个特征，将和底库中每张参考图像的多个特征进行特征匹配，由相对于粗排+精排的两阶段方案，只需要一个阶段就可以实现图像匹配，从而避免了后一阶段对前一阶段的匹配结果的依赖，从而提高匹配速度，进而提高图像检索效率，达到高效的计算和检索性能。此外，多尺寸特征包括参考图像在多个图像分辨率各自对应的图像特征，不同图像分辨率下参考图像的感受野不同，而不同的感受野则有利于参考图像中的不同尺寸物体的表达，从而可以保障图像检索精度。

人工智能（Artificial Intelligence，AI）是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、预训练模型技术、操作/交互系统、机电一体化等。其中，预训练模型又称大模型、基础模型，经过微调后可以广泛应用于人工智能各大方向下游任务。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

自然语言处理（Nature Language processing，NLP）是计算机科学领域与人工智能领域中的重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理涉及自然语言，即人们日常使用的语言，与语言学研究密切；同时涉及计算机科学和数学。人工智能领域模型训练的重要技术，预训练模型，即是从NLP领域的大语言模型（Large Language Model）发展而来。经过微调，大语言模型可以广泛应用于下游任务。自然语言处理技术通常包括文本处理、语义理解、机器翻译、机器人问答、知识图谱等技术。

机器学习（Machine Learning，ML）是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。预训练模型是深度学习的最新发展成果，融合了以上技术。

随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、数字孪生、虚拟人、机器人、人工智能生成内容、对话式交互、智能医疗、智能客服、游戏AI等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。

本申请实施例提供的方案涉及人工智能的机器学习技术，主要涉及利用全局特征模型对待检索图像进行特征提取，获得待检索特征，以及利用全局特征模型对同一参考图像在多个图像分辨率下的调整图像进行特征提取，获得多个图像分辨率各自对应的图像特征，作为多尺寸特征。需要说明的是，本申请实施例中，对全局特征模型的模型结构不作限定，对全局特征模型的训练过程也不做限定，在此不再赘述。

下面对本申请实施例的技术方案能够适用的应用场景做一些简单介绍，需要说明的是，以下介绍的应用场景仅用于说明本申请实施例而非限定。在具体实施过程中，可以根据实际需要灵活地应用本申请实施例提供的技术方案。

本申请实施例提供的方案可以适用于各类图像检索场景，比如，浏览器、社交平台、视频平台等涉及图像处理的平台中，进行相似图像召回或者异常图像识别。该方案可以作为基础技术被应用于各种场景，包括但不限于云技术、人工智能、智慧交通、辅助驾驶等场景中。

参阅图1所示，其为本申请实施例中提供的一种应用场景的示意图。该应用场景中包括终端设备110和服务器120。终端设备110的数量可以是一个或多个。服务器120的数量也可以是一个或多个。本申请对终端设备110和服务器120的数量不做具体限定。

本申请实施例中，终端设备110可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表、物联网设备、智能语音交互设备、智能家电、车载终端、飞行器等，但并不局限于此。终端设备110中安装有进行相应的图像处理功能（比如图像上传）的客户端，客户端可以是应用程序、小程序、网页等形态，但不局限于此。

服务器120则是客户端相对应的后台服务器。服务器120可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络（Content Delivery Network，CDN）、以及大数据和人工智能平台等基础云计算服务的云服务器。

终端设备110与服务器120可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。

本申请实施例中提及的图像检索方法可以由服务器或者终端设备执行，也可以由服务器和终端设备联合执行，对此不作限制。比如，当服务器获取到针对待检索图像的图像检索指示时，对待检索图像进行特征提取，获得待检索特征，然后基于各参考图像各自的多尺寸特征，结合待检索特征，对待检索图像和各参考图像进行图像匹配，获得图像检索结果。又比如，当终端设备获取到针对待检索图像的图像检索指示时，对待检索图像进行特征提取，获得待检索特征，然后基于各参考图像各自的多尺寸特征，结合待检索特征，对待检索图像和各参考图像进行图像匹配，获得图像检索结果。再比如，终端设备接收到目标对象输入的待检索图像时，向服务器发送针对待检索图像的图像检索指示，服务器接收到图像检索指示后，对待检索图像进行特征提取，获得待检索特征，然后基于各参考图像各自的多尺寸特征，结合待检索特征，对待检索图像和各参考图像进行图像匹配，获得图像检索结果。

参阅图2所示，其为本申请实施例中提供的一种图像检索方法的流程示意图，该方法可以应用于终端设备或者服务器，具体流程如下：

S201、当获取到针对待检索图像的图像检索指示时，对待检索图像进行特征提取，获得待检索特征。

本申请实施例中，待检索特征可以是待检索图像的全局特征。由于局部特征的匹配较为复杂，全局特征的特征匹配速度相较于局部特征的特征匹配速度有很大优势，因此，本申请实施例中，提取全局特征进行后续的图像匹配，可以保证匹配速度， 即便底库中特征规模增大了数倍，相对于粗排+精排的两阶段方案，仍具有明显的性能优势。

示例性的，可以采用特征提取模型对待检索图像进行特征提取，获得待检索特征。其中，特征提取模型是用于提取全局特征的神经网络模型，本申请实施例中，对特征提取模型的结构不作限定，对此不再赘述。

S202、基于各参考图像各自的多尺寸特征，结合待检索特征，对待检索图像和各参考图像进行图像匹配，获得图像检索结果；其中，每个多尺寸特征包括：相应参考图像在多个图像分辨率各自对应的图像特征。

在一些实施方式中，参考图像的多尺寸特征可以通过但不限于以下方式获得，为例便于描述，下面仅以参考图像x为例进行说明，参考图像x可以是各参考图像中的任意一个参考图像：

首先，按照设定分辨率调整方式，对参考图像x的图像分辨率进行调整，获得参考图像x对应的多个调整图像；

其次，分别对参考图像x对应的多个调整图像进行特征提取，获得参考图像x在多个图像分辨率各自对应的图像特征。

其中，设定分辨率调整方式可以是按照设定的多个图像分辨率，对参考图像x的图像分辨率进行调整，也可以是按照设定的多个图像缩放倍数，对参考图像x的图像分辨率进行调整，但不局限于此。其中，图像分辨率和图像缩放倍数均可按照实际需要设定，对此不作限定。

本申请实施例中，对参考图像x的图像分辨率进行调整时，可以采用最近邻插值、双线性插值、双三次插值等插值方式实现，但不局限于此。

通常情况下，图像的分辨率越高，所提取的特征越丰富，基于提取的特征进行特征匹配后得到的图像检索结果越精确，但与此同时，特征提取和提取匹配的计算量就越大，进而导致图像检索效率就越低，故在实际应用中，需权衡图像检索结果的准确性和效率，来确定图像分辨率的调整幅度。

以按照设定的多个图像缩放倍数，对参考图像x的图像分辨率进行调整为例，假设，图像缩放倍数包括0.7、1.0和1.4，其中，图像缩放倍数为0.7倍时，将参考图像x缩放至0.7倍，图像缩放倍数为1倍时可以理解为不对参考图像x进行缩放，图像缩放倍数为1倍时可以理解为不对参考图像x进行缩放，图像缩放倍数为1.4倍时，将参考图像x缩放至1.4倍。如果参考图像x的图像分辨率为200*200，那么，按照图像缩放倍数0.7，获得的参考图像x对应的调整图像的图像分辨率为140*140，按照图像缩放倍数1，获得的参考图像x对应的调整图像的图像分辨率为200*200，以及按照图像缩放倍数1.4，获得的参考图像x对应的调整图像的图像分辨率为280*280。

通过上述实现方式，对参考图像x的图像分辨率进行调整后，可以得到参考图像x在不同图像分辨率下的调整图像，缩放后的图像会带来整体模型分辨率的缩放。以图像缩放倍数为2倍为例，缩放后特征提取模型产生的最终特征图（即图像特征），也会是缩放前特征提取模型产生的最终特征图的两倍，这意味着可以获得更加小的原图感受野，从而可以捕捉到小尺寸粒度的底库图像上的物体特征，也就是说，可以捕捉到更小尺寸物体。以图像缩放倍数为0.5倍为例，在缩放后特征提取模型产生的最终特征图（即图像特征），也会是缩放前特征提取模型产生的最终特征图的0.5倍，这意味着可以获得更加大的原图感受野，从而可以捕捉到较大尺寸力粒度的底库图像上的物体特征，也就是说，可以捕捉到更大尺寸物体。通过不同图像分辨率下的调整图像进行后续特征提取和图像匹配，能够在提高图像检索精确度的同时，保证较高的图像检索效率。

本申请实施例中，图像特征可以是调整图像的全局特征。一种可能的实现方式中，对调整图像进行特征提取时，可以采用特征提取模型进行提取。特征提取模型也可以称为全局特征模型。

参阅图3所示，针对各参考图像中的每个参考图像，均可以按照图像缩放倍数0.7，对参考图像的图像分辨率进行调整，获得参考图像在图像缩放倍数0.7下的调整图像，并将图像缩放倍数0.7下的调整图像，输入至全局特征模型中，获得第一种图像分辨率对应的图像特征；按照图像缩放倍数1，对一个参考图像的图像分辨率进行调整，获得参考图像在图像缩放倍数1下的调整图像，并将图像缩放倍数1下的调整图像，输入至全局特征模型中，获得第二种图像分辨率对应的图像特征；以及，按照图像缩放倍数1.4，对一个参考图像的图像分辨率进行调整，获得参考图像在图像缩放倍数1.4下的调整图像，并将图像缩放倍数1.4下的调整图像，输入至全局特征模型中，获得第三种图像分辨率对应的图像特征。然后，获得的三种图像分辨率对应的图像特征，构成参考图像的多尺寸特征。此外，针对待检索图像，利用全局特征模型对待检索图像进行特征提取，可以获得待检索图像的待检索特征。进一步的，基于各参考图像各自的多尺寸特征的，结合待检索图像的待检索特征，可以进行各参考图像与待检索图像之间的图像匹配，从而获得图像检索结果。

本申请实施例中，图像匹配可以采用但不限于以下两种匹配方式：

匹配方式1：基于各参考图像各自的多尺寸特征与待检索特征，对待检索图像与各参考图像进行匹配，获得图像检索结果。

也就是说，本申请实施例中，直接将待检索图像的待检索特征，分别与各参考图像的多尺寸特征进行特征匹配，从而获得相应的图像检索结果。由于多尺寸特征和待检索特征之间的相似度计算较为简便，且直接进行特征匹配，可以从底库中的各参考图像中，快速确定与待检索图像匹配的参考图像，从而提高图像检索效率。此外，利用多尺寸特征，可以充分挖掘一个参考图像中不同粒度尺寸的物体的特征，从而避免出现图像漏检，保证图像检索的准确性。

具体的，首先，针对各参考图像中的每个参考图像，分别执行以下操作：按照设定特征选取方式，从一个参考图像的多尺寸特征中的多个图像特征各自与待检索特征的特征相似度中，选取目标特征相似度；其次，基于各参考图像各自对应的目标特征相似度，获得图像检索结果。

其中，设定特征选取方式可以但不限于是：选取特征相似度最高的特征相似度作为目标特征相似度。

基于各参考图像各自对应的目标特征相似度，获得图像检索结果时，作为一种可能的实现方式，可以将各目标特征相似度中，对应的目标特征相似度超过设定相似度阈值的参考图像，作为与待检索图像匹配成功的参考图像。作为另一种可能的实现方式，也可以按照相似度从高到低的顺序，对各参考图像进行排序，并按照排序结果，从各参考图像中，依次选取一定数目的参考图像，作为与待检索图像匹配成功的参考图像。需要说明的是，本文仅是以相似度从高到低的排序为例进行说明，实际应用过程中，不局限于此。

图像特征与待检索特征之间的特征相似度可以采用但不限于余弦相似度。

例如，参阅图4所示，假设，底库中包含N个参考图像，每个多尺寸特征包括相应参考图像在3个图像分辨率各自对应的图像特征，3个图像特征分别表示为图像特征a、图像特征b和图像特征c。针对参考图像1，计算参考图像1的图像特征a、图像特征b、图像特征c各自与待检索特征之间的特征相似度，假设，计算出的三个特征相似度中，参考图像1的图像特征b与待检索特征之间的特征相似度的最高，那么，将参考图像1的图像特征b与待检索特征之间的特征相似度，作为参考图像1与待检索图像之间的目标特征相似度，图4中，目标特征相似度采用阴影表示。

针对参考图像2，计算参考图像2的图像特征a、图像特征b、图像特征c各自与待检索特征之间的特征相似度，假设，计算出的三个特征相似度中，参考图像2的图像特征a与待检索特征之间的特征相似度的最高，那么，将参考图像2的图像特征a与待检索特征之间的特征相似度，作为参考图像2与待检索图像之间的目标特征相似度。

类似的，针对参考图像3、参考图像4、……、参考图像N，均可以计算参考图像的图像特征a、图像特征b、图像特征c各自与待检索特征之间的特征相似度，然后，将计算出的三个特征相似度中，特征相似度最高的特征相似度，作为参考图像与待检索图像之间的目标特征相似度。

参阅图5所示，在获得N个参考图像各自与待检索图像之间的目标特征相似度（比如参考图像1的图像特征b与待检索特征之间的特征相似度，参考图像2的图像特征a与待检索特征之间的特征相似度，参考图像3的图像特征b与待检索特征之间的特征相似度，……，参考图像N的图像特征c与待检索特征之间的特征相似度）之后，按照特征相似度从高到低的顺序，对N个参考图像进行排序，然后按照排序结果，从N个参考图像中，选取前3个参考图像，作为与待检索图像匹配成功的参考图像。

当然，也可以先从N个目标特征相似度中，筛选出超过特征相似度阈值的目标特征相似度，再按照相似度从高到低的顺序，对筛选出的目标特征相似度对应的参考图像进行排序，然后按照排序结果，从筛选出的目标特征相似度对应的参考图像中，选取前10个参考图像，作为与待检索图像匹配成功的参考图像。

上述实现方式中，将待检索特征和参考图像对应的多个图像特征进行相似度计算，然后从参考图像对应的多个特征相似度中，选取目标特征相似度，由目标特征相似度代表待检索图像与参考图像之间的特征相似性，这样，在后续利用特征相似度对待检索图像与参考图像进行匹配时，可以减少匹配过程中的数据处理量，从而提高图像检索效率。

本申请实施例中，也可以针对各参考图像中的每个参考图像，计算出参考图像中的多个图像特征各自与待检索图像之间的特征相似度，然后，利用各参考图像各自对应的多个特征相似度，从各参考图像中，筛选出符合设定条件的参考图像，作为与待检索图像匹配成功的参考图像。

其中，利用各参考图像各自对应的多个特征相似度进行筛选时，作为一种可能的实现方式，可以按照特征相似度从高到低的顺序，对获得的各参考图像进行排序，并按照排序结果，从各参考图像中，依次选取一定数目的参考图像，作为与待检索图像匹配成功的参考图像。由于每个参考图像对应的多个特征相似度，排序结果中可能存在参考图像重复出现的情况，因此，在对各参考图像进行排序后，还可以对排序结果进行去重。示例性的，在去重时，针对排序结果中的多个重复的参考图像，保留靠前位置的参考图像，比如，排序结果中存在3个参考图像，3个参考图像1分别位于第10位、第11位、第14位，那么，在排序结果中，保留位于第10位的参考图像1，删除位于第11位和第14位的参考图像1，类似的，针对排序结果中的所有参考图像进行去重后，利用去重后的排序结果，从各参考图像中，依次选取一定数目的参考图像，作为与待检索图像匹配成功的参考图像。

匹配方式2：基于各参考图像各自的增强特征与待检索特征的特征相似度，对待检索图像与各参考图像进行匹配，获得图像检索结果；其中，每个增强特征是根据相应参考图像关联的各相似参考图像的多尺寸特征得到的。

在匹配方式1中，虽然可以充分挖掘一个参考图像中不同粒度尺寸的物体的特征，从而避免漏检，但是，多尺寸特征会导致特征的数量增加，更多的图像特征进行匹配，可能会造成误检。匹配方式2中，利用参考图像的增强特征进行图像匹配，可以有效减少进行匹配的图像特征的数量，从而避免误检，进而提高图像检索的准确性。

一种实施方式中，仍以参考图像x为例，参考图像x的增强特征是通过以下方式获得的：

首先，基于各参考图像的多尺寸特征，从各参考图像中的除参考图像x之外的各其他参考图像中，选取满足设定图像相似条件的其他参考图像，作为参考图像x的相似参考图像；

其次，基于选取的各相似参考图像各自的多尺寸特征，对参考图像x的多尺寸特征进行特征增强，获得参考图像x的增强特征。

其中，参考图像x的特征增强可以是在对待检索图像与各参考图像进行匹配的过程中实现的，也可以是预先实现的，比如，在计算资源空闲时或者参考图像x存储至底库中时。

一种可能的实现方式中，参考图像x的相似参考图像可以但不限于是采用以下方式选取的：

获取各参考图像各自的多尺寸平均特征；其中，每个其他参考图像的多尺寸平均特征是对相应的多尺寸特征中的多个图像特征进行平均后得到的；

基于各参考图像中，除参考图像x之外的各其他参考图像各自的多尺寸平均特征，获得各其他参考图像分别与参考图像x之间的图像相似度；

基于获得的各图像相似度，从各其他参考图像中，选取满足设定图像相似条件的其他参考图像，作为参考图像x的相似参考图像。

其中，设定图像相似条件包括但不限于是：各其他参考图像中，图像相似度最高的前K个其他参考图像。K的取值为正整数，比如，K=9。本文中，增强特征也可以称为K近邻增强特征。

示例性的，多尺寸平均特征可以采用公式（1）计算得到：

公式（1）

其中，表示多尺寸平均特征，m表示多尺寸特征中包含的图像特征的个数，比如3个或5个，x_j表示m 个图像特征中的第j个图像特征。多尺寸平均特征与图像特征维度相同。

需要说明的是，本申请实施例中，各参考图像各自的多尺寸平均特征可以是预先根据计算得到的，也可以是进行相似参考图像选取时计算得到的，对此不作限定。比如，可以在将一个参考图像存储至底库中后，计算该参考图像的多尺寸平均特征。又比如，

参阅图6所示，针对N个参考图像中的每个参考图像，对参考图像1的多尺寸特征中的3个图像特征进行算术平均，获得参考图像1的多尺寸平均特征，类似的，分别针对参考图像2、参考图像3、……、参考图像N各自的多尺寸特征中的3个图像特征进行算术平均，可以获得相应的多尺寸平均特征。

以参考图像1为例，各参考图像中，除参考图像x之外的各其他参考图像包括：参考图像2、参考图像3、……、参考图像N，基于参考图像2、参考图像3、……、参考图像N各自的多尺寸平均特征，获得参考图像2、参考图像3、……、参考图像N分别与参考图像1之间的图像相似度。

参阅图7，基于获得的N-1个图像相似度，对参考图像2、参考图像3、……、参考图像N进行排序，然后，根据排序结果，从参考图像2、参考图像3、……、参考图像N中，选取图像相似度最高的前9个其他参考图像，作为参考图像1的相似参考图像，其中，图像相似度最高的前9个其他参考图像包括参考图像10、参考图像6等。

上述实现方式中，对于底库中的每个参考图像，均基于多尺寸平均特征在底库中寻找K个最相邻的底库图像，这样，可以充分利用底库中各参考图像之间的关联性，在多尺寸特征的基础上，获得参考图像的K近邻增强特征，从而提高K近邻增强特征的表示准确性，进而提高检索效果。

一些实施方式中，基于选取的各相似参考图像各自的多尺寸特征，对参考图像x的多尺寸特征进行特征增强，获得参考图像x的增强特征，可以对选取的各相似参考图像各自的多尺寸特征进行特征融合，获得参考图像x的增强特征。具体的，可以采用但不限于以下特征融合方式：

首先，将各相似参考图像各自与待参考图像x之间的图像相似度，作为各相似参考图像各自对应的权重系数；其中，每个图像相似度是根据相应相似参考图像和参考图像x的多尺寸特征确定的；

其次，基于各相似参考图像各自对应的权重系数，对各相似参考图像各自的多尺寸平均特征进行加权求和，获得参考图像x的增强特征。

其中，一个相似参考图像与参考图像x之间的图像相似度可以是：对该相似参考图像的多尺寸平均特征，和参考图像x的多尺寸平均特征进行特征相似度计算后获得的。

示例性的，增强特征可以采用公式（2）计算得到：

公式（2）

其中，x_knn表示参考图像x的融合特征，表示K个相似参考图像中第i个相似参考图像的多尺寸平均特征，sim_i表示第i个相似参考图像与参考图像x之间的图像相似度。

例如，参考图像1的相似参考图像包括：参考图像10、参考图像3、参考图像15、参考图像4、参考图像5、参考图像6、参考图像7、参考图像8、参考图像9，9个相似参考图像的多尺寸平均特征分别为：，9个相似参考图像各自与参考图像1之间的图像相似度表示为：sim₁、sim₂、……、sim₉，那么，利用公式（2），可以获得。

上述实现方式中，将相似参考图像与参考图像x之间的图像相似度作为权重系数，通过对多尺寸平均特征加权求和的方式，获得参考图像x的增强特征，这样，图像相似度越高的相似参考图像，其权重系数也越大，从而使得增强特征可以更精确的反应出相似参考图像与参考图像x之间的关联性，进而提高图像检索的可靠性。

作为另一种可能的特征融合方式，也可以直接对各相似参考图像的多尺寸平均特征进行算术平均，获得参考图像x的增强特征。

一些实施方式中，匹配方式2具体可以采用但不限于以下方式实现：

首先，基于各参考图像各自的增强特征与待检索特征，获得各参考图像各自的增强特征相似度；

其次，基于各参考图像各自的多尺寸特征与待检索特征，获得各参考图像各自的多尺寸特征相似度；

接着，分别对各参考图像各自的增强特征相似度和多尺寸特征相似度进行汇总，获得各参考图像各自的综合相似度；

最后，基于获得的各综合相似度，获得图像检索结果。

其中，一个参考图像的增强特征相似度用于表征：该参考图像的增强特征与待检索特征之间的特征相似度。本文中，增强特征相似度也可以称为第二相似度。

一个参考图像的多尺寸特征相似度用于表征：该参考图像的多尺寸特征与待检索特征之间的特征相似度。本文中，多尺寸特征相似度也可以称为第一相似度。示例性的，可以按照设定特征选取方式，从一个参考图像的多尺寸特征中的多个图像特征各自与所述待检索特征的特征相似度中，选取目标特征相似度，作为该参考图像的多尺寸特征相似度。

一个参考图像的综合相似度可以是通过对该参考图像的增强特征相似度和多尺寸特征相似度进行加权求和获得的。

示例性的，综合相似度可以采用公式（3）计算得到：

公式（3）

其中，sim_final表示参考图像的综合相似度, sim_s表示参考图像的多尺寸特征相似度, sim_knn表示参考图像的增强特征相似度，α表示权重，示例性的，α的取值可以为0.35。

例如，参阅图8所示，针对N个参考图像中的每个参考图像，以参考图像1为例，计算参考图像1的图像特征a、图像特征b、图像特征c各自与待检索特征之间的特征相似度，假设，计算出的三个特征相似度中，参考图像1的图像特征b与待检索特征之间的特征相似度的最高，那么，将参考图像1的图像特征b与待检索特征之间的特征相似度，作为参考图像1对应的多尺寸特征相似度（即第一相似度）。以及，计算参考图像1的增强特征与待检索特征之间的特征相似度，作为参考图像1对应的增强特征相似度（即第二相似度）。然后，根据参考图像1对应的增强特征相似度和多尺寸特征相似度，采用公式（3）计算，获得参考图像1的综合相似度。类似的，可以获得参考图像2、……、参考图像N各自的综合相似度，比如，参考图像1、参考图像2、……、参考图像N各自的综合相似度分别为50%、90%、……、91%。

一种可能的实现方式中，基于获得的各综合相似度，获得图像检索结果时，可以将各参考图像中，综合相似度最高的一定数目的参考图像，作为与待检索图像匹配成功的参考图像，也可以将各参考图像中，综合相似度超过设定相似度阈值的参考图像，作为与待检索图像匹配成功的参考图像，但不局限于此。

例如，按照综合相似度从高到低的顺序，对N个参考图像进行排序，排序结果中，N个参考图像的排序依次为：参考图像10、参考图像12、……、参考图像2，根据排序结果，选取综合相似度最高的前20个参考图像，作为与待检索图像匹配成功的参考图像。

上述实现方式中，综合考虑参考图像的增强特征相似度和多尺寸特征相似度进行特征匹配，相对于直接利用多尺寸特征进行特征匹配而言，如果某一参考图像因部分内容与待检索图像误检，这个参考图像的相似参考图像具有相同误检内容的可能性比较小，其相似参考图像与待检索图像相似度会比较低，那么，利用增强特征相似度可以修正多尺寸特征，从而降低参考图像与待检索图像之间的综合相似度，进而避免误检；如果参考图像和待检索图包含同样的物体，高度相似，那么，这个参考图像的相似参考图像与检索图的相似度也会比较高，利用增强特征相似度修正多尺寸特征，可以提高参考图像与待检索图像之间的综合相似度，进而避免误检。显然，无论从上述正反哪个方面，相邻特征增强后的相似度（即增强特征相似度），都可以修正原有的参考图像与检索图像的多尺寸特征相似度，从而起到类似于精排的作用，但是无需进行两阶段计算，进而提高图像检索精度，且保证图像检索效率。

在一些实施方式中，基于各参考图像各自的多尺寸特征，结合待检索特征，对待检索图像和各参考图像进行图像匹配，获得图像检索结果时，还可以采用以下图像匹配方式：

基于各参考图像各自的多尺寸特征，结合待检索特征，获得各参考图像各自对应的全局特征相似度；

基于各参考图像各自包含的各图像块的图像块特征，结合待检索特征，获得各参考图像各自对应的局部特征相似度；

基于各参考图像各自对应的全局特征相似度和局部特征相似度，对待检索图像和各参考图像进行图像匹配，获得图像检索结果。

其中，全局特征相似度可以采用但不限于以下两种方式获得。在方式一中，对各参考图像中的每个参考图像，分别执行以下操作：按照设定特征选取方式，从一参考图像的多尺寸特征中的多个图像特征各自与待检索特征的特征相似度中，选取目标特征相似度，然后，将目标特征相似度作为该参考图像的全局特征相似度，目标特征相似度的获取方式具体参见匹配方式1，在此不再赘述。在方式二中，将一个参考图像的综合相似度，作为该参考图像的全局特征相似度，综合相似度的获取方式具体参见匹配方式2，在此不再赘述。

一种可能的实现方式中，仍以参考图像x为例，一个参考图像的局部特征相似度可以采用但不限于以下方式获得：

按照设定图像分割方式，对参考图像x进行分块，获得各图像块，并分别对各图像块进行特征提取，获得各图像块各自对应的图像块特征；

基于获得的各图像块特征与待检索特征之间的图像块相似度，获得参考图像x对应的局部特征相似度。

其中，图像分割方式包括但不限于是：按照设定图像分辨率对参考图像x进行分块，或者，按照设定的图像块数目对参考图像x进行分块，但不局限于此。

各图像块进行特征提取可以采用特征提取模型实现，特征提取模型可以提取图像块的全局特征。

一种可能的实现方式中，可以对各图像块特征各自与待检索特征之间的图像块相似度进行加权求和，获得参考图像x对应的局部特征相似度。

一种可能的实现方式中，可以基于各参考图像各自对应的全局特征相似度和局部特征相似度，结合针对全局特征相似度和局部特征相似度分别设置的权重，获得各参考图像各自对应的相似度，并基于获得的相似度，对待检索图像和各参考图像进行图像匹配，获得图像检索结果。

参阅图9所示，针对N个参考图像中的每个参考图像，以参考图像1为例，一方面，根据参考图像1的多尺寸特征，获得参考图像1对应的多尺寸特征相似度（即第一相似度），根据参考图像1的增强特征，获得参考图像1对应的增强特征相似度（即第二相似度），并将基于第一相似度和第二相似度获得的综合相似度，作为全局特征相似度；另一方面，对参考图像1进行分块，获得4个图像块，并分别对4个图像块进行特征提取，获得4个图像块各自对应的图像块特征，以及计算4个图像块各自与待检索特征之间的图像块相似度，然后，然后，对获得的4个图像块相似度进行算术平均，获得参考图像1的局部特征相似度。进一步的，对参考图像1的局部特征相似度和全局特征相似度进行加权求和，获得最终的目标相似度。类似的，可以获得N个参考图像各自对应的目标相似度，进而根据N个参考图像各自对应的目标相似度进行排序，从而根据综合相似度，选取一定数目的参考图像，作为与待检索图像匹配成功的参考图像。

上述实施方式中，对参考图像进行切分分块，按照图像块和待检索图像进行匹配，从而进一步挖掘不同力度的图像内容，降低匹配误检的概率。

下面，结合几个具体应用场景，对本申请进行说明。

应用场景一：图像内容审核。

在图像内容审核场景中，需要对目标对象上传的图像，和底库中多样化图像进行匹配，底库中存储有各类型的包含敏感内容的参考图像，通过匹配，可以对目标对象上传的图像进行识别并拦截。

目标对象通过手机在社交平台中发布视频或者图文等内容时，手机将发布的内容传输给后台服务器，后台服务器接收到发布的内容时，确定获取到针对待检索图像的图像检索指示，其中，待检索图像可以包括视频中各帧图像或者图文中的各张图像，后续针对每个待检索图像，均采用本申请实施例中提及的图像检索方法，获得图像检索结果，如果一个待检索图像的图像检索结果表征底库中的各参考图像中，存在与待检索图像匹配成功的至少一个参考图像时，向目标对象推送异常告警信息，以提示目标对象内容上传异常。

示例性的，首先，针对一个待检索图像，采用全局特征模型进行特征提取，获得待检索图像的待检索特征。

接着，分别利用全局特征模型对底库中的各参考图像进行特征提取，获得相应的多尺寸特征。以一个参考图像为例，可以分别按照图像缩放倍数0.5、0.7、1.0、1.4、2.0，对该参考图像的图像分辨率进行调整，获得相应大小的调整图像，进而将五个调整图像输入至全局特征模型中，获得五个图像特征，也就是说，参考图像的多尺寸特征包括五个图像分辨率各自对应的图像特征。

接着，针对底库中的各参考图像，利用其各自对应的多尺寸特征，可以获得各参考图像各自与待检索图像之间的综合相似度。

以一个图像特征为例，针对基于各参考图像的多尺寸平均特征，计算各其他参考图像分别与该参考图像之间的图像相似度，并基于获得的各图像相似度，从各其他参考图像中，选取满足图像相似度最高的五个参考图像，作为该参考图像的相似参考图像，进而将各相似参考图像各自与该参考图像之间的图像相似度，作为各相似参考图像各自对应的权重系数，基于各相似参考图像各自对应的权重系数，对各相似参考图像各自的多尺寸平均特征进行加权求和，获得该参考图像的增强特征。接着，根据该参考图像各自对应的增强特征，结合待检索图像的待检索特征，可以获得该参考图像与待检索特征之间的增强特征相似度。此外，基于该参考图像对应的多尺寸特征，可以计算该参考图像的多尺寸特征中的五个图像特征，分别与待检索特征之间的图像相似度，并从计算出的五个图像相似度中，选取取值最高的图像相似度，作为该参考图像与待检索特征之间的多尺寸特征相似度。最后，对该参考图像各自的增强特征相似度和多尺寸特征相似度进行汇总，获得相应的综合相似度。

最后，基于底库中的各参考图像各自对应的综合相似度，对各参考图像进行排序，并基于排序结合，结合预设的相似度阈值，获得图像检索结果。

图像内容审核系统所面对的检索数据和底库数据量都非常庞大，而且图像内容审核对于性能敏感，希望在保证效果不降低情况下尽可能提升运行速度，通过本申请实施例中提供的图像检索方法，可以在不使用两阶段的粗排加精排的情况下，只基于全局特征进行匹配，从而达到高效的计算和检索性能，并且有效提升算法效果，能够和延迟大消耗资源多的两阶段方案媲美，从而帮助图像内容审核系统更容易地部署在各类环境中，实现对各类型敏感内容的图像匹配与拦截。

应用场景二：图像召回。

在数据检索过程中，需要对目标对象上传的图像，和底库中多样化图像进行匹配，通过匹配，获得与目标对象上传的图像相似的图像。比如，在购物场景中，底库中存储有各类商品的参考图像，可以针对目标对象上传的图像，识别出同款商品。又比如，在视频平台中，底库中存储有各类视频或者图文的封面，针对目标对象上传的图像，可以识别出相应的视频或者图文。

例如，参阅图10所示，目标对象通过手机在视频软件的图像搜索功能中上传一张照片时，待上传的照片作为待检索图像，手机向后台服务器发送针对待检索图像的图像检索指示。后台服务器接收到针对待检索图像的图像检索指示，后，首先，针对待检索图像，采用全局特征模型进行特征提取，获得待检索图像的待检索特征。

接着，利用底库中的各参考图像各自对应的多尺寸特征和增强特征，分别与待检索特征进行特征匹配。其中，每个参考图像的多尺寸特征包括五个图像分辨率各自对应的图像特征。每个参考图像的增强特征是根据相应的参考图像关联的各相似参考图像与其之间的图像相似度，对各相似参考图像各自的多尺寸平均特征进行加权求和后获得的。参考图像的多尺寸特征和增强特征可以是参考图像存储至底库后生成的，其中，增强特征还可以按照一定的时间间隔进行更新。

以一次特征匹配为例，根据参考图像各自对应的增强特征和待检索特征，获得参考图像与待检索特征之间的增强特征相似度。基于参考图像对应的多尺寸特征，计算参考图像的多尺寸特征中的五个图像特征分别与待检索特征之间的图像相似度，计算出的五个图像相似度分别为90%、92%、93%、85%、90%，那么从计算出的五个图像相似度中，选取取值最高的图像相似度93%，作为该参考图像与待检索特征之间的多尺寸特征相似度，以及，对该参考图像各自的增强特征相似度和多尺寸特征相似度进行汇总，获得相应的综合相似度。

最后，基于底库中的各参考图像各自对应的综合相似度，对各参考图像进行排序，并基于排序结合，结合预设的相似度阈值，获得图像检索结果。

此外，参阅表1所示，其为本申请实施例中提供的一种实验数据，实验过程中，特征提取模型采用CVNet实现，具体而言，特征提取模型输出的特征为CVNet中第一阶段全局特征，当然，实际应用过程中，也可以使用不同的全局特征，对此不做限制。

实验使用的数据集为公开数据集Roxford和Rparis，在每个数据集上均进行五组实验，五组实验包括：采用粗排+精排的基线方案、3组尺寸选择最大值（即m=3时采用匹配方式1）、5组尺寸选择最大值（即m=5时采用匹配方式1）、K=5最近邻增强（即K=5时采用匹配方式2）、K=10最近邻增强（即K=10时采用匹配方式2）。

显然，无论是Roxford数据集还是Rparis数据集，相对于基线方案而言，其他方案的图像检索效果均得到明显提升，且相对于匹配方式1，匹配方式2的图像检索效果，效果提升在5-7%。

基于相同的发明构思，本申请实施例提供一种图像检索装置。如图11所示，其为图像检索装置1100的结构示意图，可以包括：

指示检索单元1101，用于当获取到针对待检索图像的图像检索指示时，对所述待检索图像进行特征提取，获得待检索特征；

图像匹配单元1102，用于基于各参考图像各自的多尺寸特征，结合所述待检索特征，对所述待检索图像和所述各参考图像进行图像匹配，获得图像检索结果；其中，每个多尺寸特征包括：相应参考图像在多个图像分辨率各自对应的图像特征。

一种可能的实现方式中，所述基于各参考图像各自的多尺寸特征，结合所述待检索特征，对所述待检索图像和所述各参考图像进行图像匹配，获得图像检索结果时，图像匹配单元1102具体用于：

基于所述各参考图像各自的多尺寸特征与所述待检索特征，对所述待检索图像与所述各参考图像进行匹配，获得图像检索结果；

基于所述各参考图像各自的增强特征与所述待检索特征，对所述待检索图像与所述各参考图像进行匹配，获得图像检索结果；其中，每个增强特征是根据相应参考图像关联的各相似参考图像的多尺寸特征得到的。

一种可能的实现方式中，图像匹配单元1102还用于通过以下方式获得一个参考图像的增强特征：

基于所述各参考图像的多尺寸特征，从所述各参考图像中的除所述一个参考图像之外的各其他参考图像中，选取满足设定图像相似条件的其他参考图像，作为所述一个参考图像的相似参考图像；

基于选取的各相似参考图像各自的多尺寸特征，对所述一个参考图像进行特征增强，获得所述一个参考图像的增强特征。

一种可能的实现方式中，所述基于选取的各相似参考图像各自的多尺寸特征，对所述一个参考图像进行特征增强，获得所述一个参考图像的增强特征时，图像匹配单元1102具体用于：

将所述各相似参考图像各自与所述一个参考图像之间的图像相似度，作为所述各相似参考图像各自对应的权重系数；其中，每个图像相似度是根据相应相似参考图像和所述一个参考图像的多尺寸特征确定的；

基于所述各相似参考图像各自对应的权重系数，对所述各相似参考图像各自的多尺寸平均特征进行加权求和，获得所述一个参考图像的增强特征。

一种可能的实现方式中，所述基于所述各参考图像的多尺寸特征，从所述各参考图像中的除所述一个参考图像之外的各其他参考图像中，选取满足设定图像相似条件的其他参考图像，作为所述一个参考图像的相似参考图像时，图像匹配单元1102具体用于：

获取所述各参考图像各自的多尺寸平均特征；其中，每个其他参考图像的多尺寸平均特征是对相应的多尺寸特征中的多个图像特征进行平均后得到的；

基于所述各参考图像中，除所述一个参考图像之外的各其他参考图像各自的多尺寸平均特征，获得所述各其他参考图像分别与所述一个参考图像之间的图像相似度；

基于获得的各图像相似度，从所述各其他参考图像中，选取满足设定图像相似条件的其他参考图像，作为所述一个参考图像的相似参考图像。

一种可能的实现方式中，基于所述各参考图像各自的多尺寸特征与所述待检索特征，对所述待检索图像与所述各参考图像进行匹配，获得图像检索结果时，图像匹配单元1102具体用于：

针对所述各参考图像中的每个参考图像，分别执行以下操作：按照设定特征选取方式，从一个参考图像的多尺寸特征中的多个图像特征各自与所述待检索特征的特征相似度中，选取目标特征相似度；

基于各参考图像各自对应的目标特征相似度，获得图像检索结果。

一种可能的实现方式中，所述基于所述各参考图像各自的增强特征与所述待检索特征，对所述待检索图像与所述各参考图像进行匹配，获得图像检索结果时，图像匹配单元1102具体用于：

基于所述各参考图像各自的增强特征与所述待检索特征，获得所述各参考图像各自的增强特征相似度，以及，基于所述各参考图像各自的多尺寸特征与所述待检索特征，获得所述各参考图像各自的多尺寸特征相似度；

分别对所述各参考图像各自的增强特征相似度和多尺寸特征相似度进行汇总，获得所述各参考图像各自的综合相似度，并基于获得的各综合相似度，获得图像检索结果。

一种可能的实现方式中，所述基于各参考图像各自的多尺寸特征，结合所述待检索特征，对所述待检索图像和所述各参考图像进行图像匹配，获得图像检索结果时，图像匹配单元1102具体用于：

基于所述各参考图像各自的多尺寸特征，结合所述待检索特征，获得所述各参考图像各自对应的全局特征相似度；

基于所述各参考图像各自包含的各图像块的图像块特征，结合所述待检索特征，获得所述各参考图像各自对应的局部特征相似度；

基于所述各参考图像各自对应的全局特征相似度和局部特征相似度，对所述待检索图像和所述各参考图像进行图像匹配，获得图像检索结果。

一种可能的实现方式中，所述基于所述各参考图像各自包含的各图像块的图像块特征，结合所述待检索特征，获得所述各参考图像各自对应的局部特征相似度时，图像匹配单元1102具体用于：

针对所述各参考图像中的每个参考图像，分别执行以下操作：

按照设定图像分割方式，对一个参考图像进行分块，获得各图像块，并分别对所述各图像块进行特征提取，获得所述各图像块各自对应的图像块特征；

基于获得的各图像块特征与所述待检索特征之间的图像块相似度，获得所述一个参考图像对应的局部特征相似度。

为了描述的方便，以上各部分按照功能划分为各模块（或单元）分别描述。当然，在实施本申请时可以把各模块（或单元）的功能在同一个或多个软件或硬件中实现。

关于上述实施例中的装置，其中各个单元执行请求的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

所属技术领域的技术人员能够理解，本申请的各个方面可以实现为系统、方法或程序产品。因此，本申请的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式（包括固件、微代码等），或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

基于相同的发明构思，本申请实施例还提供一种电子设备。在一种实施例中，该电子设备可以是服务器，也可以是终端设备。参阅图12所示，其为本申请实施例中提供的一种可能的电子设备的结构示意图，图12中，电子设备1200包括：处理器1210和存储器1220。

其中，存储器1220存储有可被处理器1210执行的计算机程序，处理器1210通过执行存储器1220存储的指令，可以执行上述图像检索方法的步骤。

存储器1220可以是易失性存储器（volatile memory），例如随机存取存储器（random-access memory，RAM）；存储器1220也可以是非易失性存储器（non-volatilememory），例如只读存储器（Read-Only Memory，ROM），快闪存储器（flash memory），硬盘（hard disk drive，HDD）或固态硬盘（solid-state drive，SSD）；或者存储器1220是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器1220也可以是上述存储器的组合。

处理器1210可以包括一个或多个中央处理单元（central processing unit，CPU）或者为数字处理单元等等。处理器1210，用于执行存储器1220中存储的计算机程序时实现上述图像检索方法。

在一些实施例中，处理器1210和存储器1220可以在同一芯片上实现，在一些实施例中，它们也可以在独立的芯片上分别实现。

本申请实施例中不限定上述处理器1210和存储器1220之间的具体连接介质。本申请实施例中以处理器1210和存储器1220之间通过总线连接为例，总线在图12中以粗线描述，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。总线可以分为地址总线、数据总线、控制总线等。为便于描述，图12中仅用一条粗线描述，但并不描述仅有一根总线或一种类型的总线。

基于同一发明构思，本申请实施例提供了一种计算机可读存储介质，其包括计算机程序，当计算机程序在电子设备上运行时，计算机程序用于使电子设备执行上述图像检索方法的步骤。在一些可能的实施方式中，本申请提供的图像检索方法的各个方面还可以实现为一种程序产品的形式，其包括计算机程序，当程序产品在电子设备上运行时，计算机程序用于使电子设备执行上述图像检索方法中的步骤，例如，电子设备可以执行如图2中所示的步骤。

程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式盘、硬盘、RAM、ROM、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑盘只读存储器（Compact Disk Read Only Memory，CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。

本申请的实施方式的程序产品可以采用CD-ROM并包括计算机程序，并可以在电子设备上运行。然而，本申请的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储计算机程序的有形介质，该计算机程序可以被命令执行系统、装置或者器件使用或者与其结合使用。

可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读计算机程序。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由命令执行系统、装置或者器件使用或者与其结合使用的计算机程序。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (11)

1.一种图像检索方法，其特征在于，包括：

当获取到针对待检索图像的图像检索指示时，对所述待检索图像进行特征提取，获得待检索特征；

基于各参考图像各自的多尺寸特征，结合所述待检索特征，对所述待检索图像和所述各参考图像进行图像匹配，获得图像检索结果；其中，每个多尺寸特征包括：相应参考图像在多个图像分辨率各自对应的图像特征，参考图像在多个图像分辨率各自对应的图像特征是多个调整图像的图像特征，多个调整图像是通过对参考图像的分辨率进行调整得到的；

其中，所述基于各参考图像各自的多尺寸特征，结合所述待检索特征，对所述待检索图像和所述各参考图像进行图像匹配，获得图像检索结果，包括：

基于所述各参考图像各自的增强特征与所述待检索特征，获得所述各参考图像各自的增强特征相似度，每个增强特征是根据相应参考图像关联的各相似参考图像的多尺寸特征得到的；

基于所述各参考图像各自的多尺寸特征与所述待检索特征，获得所述各参考图像各自的多尺寸特征相似度；

分别对所述各参考图像各自的增强特征相似度和多尺寸特征相似度进行汇总，获得所述各参考图像各自的综合相似度，并基于获得的各综合相似度，获得图像检索结果。

2.如权利要求1所述的方法，其特征在于，一个参考图像的增强特征是通过以下方式获得的：

基于所述各参考图像的多尺寸特征，从所述各参考图像中的除所述一个参考图像之外的各其他参考图像中，选取满足设定图像相似条件的其他参考图像，作为所述一个参考图像的相似参考图像；

基于选取的各相似参考图像各自的多尺寸特征，对所述一个参考图像进行特征增强，获得所述一个参考图像的增强特征。

3.如权利要求2所述的方法，其特征在于，所述基于选取的各相似参考图像各自的多尺寸特征，对所述一个参考图像进行特征增强，获得所述一个参考图像的增强特征，包括：

将所述各相似参考图像各自与所述一个参考图像之间的图像相似度，作为所述各相似参考图像各自对应的权重系数；其中，每个图像相似度是根据相应相似参考图像和所述一个参考图像的多尺寸特征确定的；

基于所述各相似参考图像各自对应的权重系数，对所述各相似参考图像各自的多尺寸平均特征进行加权求和，获得所述一个参考图像的增强特征。

4.如权利要求2或3所述的方法，其特征在于，所述基于所述各参考图像的多尺寸特征，从所述各参考图像中的除所述一个参考图像之外的各其他参考图像中，选取满足设定图像相似条件的其他参考图像，作为所述一个参考图像的相似参考图像，包括：

获取所述各参考图像各自的多尺寸平均特征；其中，每个其他参考图像的多尺寸平均特征是对相应的多尺寸特征中的多个图像特征进行平均后得到的；

基于所述各参考图像中，除所述一个参考图像之外的各其他参考图像各自的多尺寸平均特征，获得所述各其他参考图像分别与所述一个参考图像之间的图像相似度；

基于获得的各图像相似度，从所述各其他参考图像中，选取满足设定图像相似条件的其他参考图像，作为所述一个参考图像的相似参考图像。

5.如权利要求1所述的方法，其特征在于，所述基于所述各参考图像各自的多尺寸特征与所述待检索特征，对所述待检索图像与所述各参考图像进行匹配，获得图像检索结果，包括：

针对所述各参考图像中的每个参考图像，分别执行以下操作：按照设定特征选取方式，从一个参考图像的多尺寸特征中的多个图像特征各自与所述待检索特征的特征相似度中，选取目标特征相似度；

基于各参考图像各自对应的目标特征相似度，获得图像检索结果。

6.如权利要求1、2、3或5所述的方法，其特征在于，所述基于各参考图像各自的多尺寸特征，结合所述待检索特征，对所述待检索图像和所述各参考图像进行图像匹配，获得图像检索结果，包括：

基于所述各参考图像各自的多尺寸特征，结合所述待检索特征，获得所述各参考图像各自对应的全局特征相似度；

基于所述各参考图像各自包含的各图像块的图像块特征，结合所述待检索特征，获得所述各参考图像各自对应的局部特征相似度；

基于所述各参考图像各自对应的全局特征相似度和局部特征相似度，对所述待检索图像和所述各参考图像进行图像匹配，获得图像检索结果。

7.如权利要求6所述的方法，其特征在于，所述基于所述各参考图像各自包含的各图像块的图像块特征，结合所述待检索特征，获得所述各参考图像各自对应的局部特征相似度，包括：

针对所述各参考图像中的每个参考图像，分别执行以下操作：

按照设定图像分割方式，对一个参考图像进行分块，获得各图像块，并分别对所述各图像块进行特征提取，获得所述各图像块各自对应的图像块特征；

基于获得的各图像块特征与所述待检索特征之间的图像块相似度，获得所述一个参考图像对应的局部特征相似度。

8.一种图像检索装置，其特征在于，包括：

指示检索单元，用于当获取到针对待检索图像的图像检索指示时，对所述待检索图像进行特征提取，获得待检索特征；

图像匹配单元，用于基于各参考图像各自的多尺寸特征，结合所述待检索特征，对所述待检索图像和所述各参考图像进行图像匹配，获得图像检索结果；其中，每个多尺寸特征包括：相应参考图像在多个图像分辨率各自对应的图像特征，参考图像在多个图像分辨率各自对应的图像特征是多个调整图像的图像特征，多个调整图像是通过对参考图像的分辨率进行调整得到的；

其中，所述基于各参考图像各自的多尺寸特征，结合所述待检索特征，对所述待检索图像和所述各参考图像进行图像匹配，获得图像检索结果时，所述图像匹配单元具体用于：

基于所述各参考图像各自的增强特征与所述待检索特征，获得所述各参考图像各自的增强特征相似度，每个增强特征是根据相应参考图像关联的各相似参考图像的多尺寸特征得到的；

基于所述各参考图像各自的多尺寸特征与所述待检索特征，获得所述各参考图像各自的多尺寸特征相似度；

分别对所述各参考图像各自的增强特征相似度和多尺寸特征相似度进行汇总，获得所述各参考图像各自的综合相似度，并基于获得的各综合相似度，获得图像检索结果。

9.一种电子设备，其特征在于，其包括处理器和存储器，其中，所述存储器存储有计算机程序，当所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1~7中任一项所述方法的步骤。

10.一种计算机可读存储介质，其特征在于，其包括计算机程序，当所述计算机程序在电子设备上运行时，所述计算机程序用于使所述电子设备实现如权利要求1~7中任一项所述方法的步骤。

11.一种计算机程序产品，其特征在于，其包括计算机程序，所述计算机程序存储在计算机可读存储介质中，电子设备的处理器从所述计算机可读存储介质读取并执行所述计算机程序，使得所述电子设备实现如权利要求1~7中任一项所述方法的步骤。