CN110263196A - 图像检索方法、装置、电子设备及存储介质 - Google Patents

图像检索方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN110263196A
CN110263196A CN201910390657.6A CN201910390657A CN110263196A CN 110263196 A CN110263196 A CN 110263196A CN 201910390657 A CN201910390657 A CN 201910390657A CN 110263196 A CN110263196 A CN 110263196A
Authority
CN
China
Prior art keywords
feature vector
candidate image
image
weight
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910390657.6A
Other languages
English (en)
Other versions
CN110263196B (zh
Inventor
胡本翼
崔权
宋仁杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xuzhou Kuang Shi Data Technology Co Ltd
Nanjing Kuanyun Technology Co Ltd
Beijing Megvii Technology Co Ltd
Original Assignee
Xuzhou Kuang Shi Data Technology Co Ltd
Nanjing Kuanyun Technology Co Ltd
Beijing Megvii Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xuzhou Kuang Shi Data Technology Co Ltd, Nanjing Kuanyun Technology Co Ltd, Beijing Megvii Technology Co Ltd filed Critical Xuzhou Kuang Shi Data Technology Co Ltd
Priority to CN201910390657.6A priority Critical patent/CN110263196B/zh
Publication of CN110263196A publication Critical patent/CN110263196A/zh
Application granted granted Critical
Publication of CN110263196B publication Critical patent/CN110263196B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开一种图像检索方法、装置、电子设备及存储介质，该方法包括：获取目标图像，提取目标图像的图像特征得到第一特征向量；获取各候选图像的权重融合特征向量，权重融合特征向量是通过候选图像的特征向量对应的权重对该候选图像的特征向量进行调整得到，一个候选图像的特征向量对应一个权重；根据第一特征向量和各候选图像的权重融合特征向量，确定与目标图像匹配的候选图像。本发明实施例中，在现有各候选图像的特征向量的基础上，为每个候选图像的特征向量配置一个对应的权重，通过权重对各候选图像的特征向量进行调整，基于调整后的特征向量进行图像检索，可以降低部分细节相似但物体种类不同的图像的干扰，从而提高图像检索的精准度。

Description

图像检索方法、装置、电子设备及存储介质
技术领域
本发明涉及计算机视觉技术领域，特别是涉及一种图像检索方法、装置、电子设备及存储介质。
背景技术
图像检索是计算机视觉领域中一项极具落地前景的研究课题，在真实场景(例如智慧金融、智慧城市等)下具有广泛的应用价值。近年来，大多数学者的研究中多采用基于深度学习的图像检索方法解决此类问题。
现有技术中，主要通过改进深度学习中卷积神经网络的结构，采用改进的网络结构提取更具辨识度的图像特征，来保证图像检索结果的精准度。然而，对于一些特殊视角，不同物体之间差异较小，受限于图像特征的辨识度，仅依赖提取更具辨识度的图像特征并不能保证图像检索的精准度。因此，如何利用已提取的图像特征来提高图像检索的精准度，已成为本领域技术人员亟待解决的技术问题。
发明内容
本发明实施例提供了一种图像检索方法、装置、电子设备及存储介质，以解决现有技术中存在的无法保证图像检索精准度的技术问题。
根据本发明的第一方面，公开了一种图像检索方法，所述方法包括：
获取目标图像，提取所述目标图像的图像特征，得到第一特征向量；
获取各候选图像的权重融合特征向量，其中，所述权重融合特征向量是通过候选图像的特征向量对应的权重对该候选图像的特征向量进行调整得到的，其中，一个候选图像的特征向量对应一个权重；
根据所述第一特征向量和所述各候选图像的权重融合特征向量，确定与所述目标图像匹配的候选图像。
可选地，作为一个实施例，所述获取各候选图像的权重融合特征向量，包括：
获取预设特征库，其中，所述预设特征库中包括多个候选图像的权重融合特征向量。
可选地，作为一个实施例，所述获取各候选图像的权重融合特征向量，包括：
获取各候选图像的特征向量；
获取所述各候选图像的特征向量对应的权重；
针对每个候选图像，通过候选图像的特征向量对应的权重对该候选图像的特征向量进行调整，得到各候选图像的权重融合特征向量。
可选地，作为一个实施例，所述候选图像的特征向量对应的权重是采用余弦相似度相关算法对该候选图像的特征向量进行处理得到的；
或者所述候选图像的特征向量对应的权重是采用欧式距离相关算法对该候选图像的特征向量进行处理得到的。
可选地，作为一个实施例，所述候选图像的特征向量对应的权重是采用余弦相似度相关算法对该候选图像的特征向量进行处理得到的；
所述权重融合特征向量是通过对候选图像的特征向量的L2标准化处理结果与该候选图像的特征向量对应的权重进行乘积运算得到的。
可选地，作为一个实施例，所述方法还包括：预先生成所述各候选图像的特征向量对应的权重，其中，生成过程包括：
按照候选图像中对象的类别，针对每个类别下的候选图像的特征向量均进行以下处理，得到各特征向量对应的权重：
对第i个类别下的每个候选图像的特征向量进行L2标准化处理，得到标准化的各特征向量其中，所述fij为第i个类别下的第j个候选图像的特征向量，1≤j≤N，N为第i个类别下候选图像的个数；
计算第i个类别的聚类中心向量
对所述聚类中心向量进行L2标准化处理，得到标准化的聚类中心向量
计算第i个类别的卷积特征到所述标准化的聚类中心向量的余弦相似度矩阵其中，所述第i个类别的卷积特征为
基于所述余弦相似度矩阵，确定第i个类别下各候选图像的特征向量对应的权重。
可选地，作为一个实施例，所述基于所述余弦相似度矩阵，确定第i个类别下各候选图像的特征向量对应的权重，包括：
对所述余弦相似度矩阵与预设尺度变换参数进行乘积运算，得到调整后的余弦相似度矩阵Sms＝s·Sm，s为预设尺度变换参数；
对所述调整后的余弦相似度矩阵进行softmax归一化处理，得到fij对应的初始权重Sms(j)为Sms中的第j个相似度值；
对所述初始权重与所述N进行乘积运算，得到fij对应的最终权重W(j)＝N·Winit(j)。
可选地，作为一个实施例，所述根据所述第一特征向量和所述各候选图像的权重融合特征向量，确定与所述目标图像匹配的候选图像，包括：
对所述第一特征向量进行L2标准化处理，得到第二特征向量；
分别计算所述第二特征向量到各候选图像的权重融合特征向量的距离值；
将排在前Q位的距离值对应的候选图像，确定为与所述目标图像匹配的候选图像，其中，Q为大于或等于1的整数。
根据本发明的第二方面，公开了一种图像检索装置，所述装置包括：
第一获取模块，用于获取目标图像，提取所述目标图像的图像特征，得到第一特征向量；
第二获取模块，用于获取各候选图像的权重融合特征向量，其中，所述权重融合特征向量是通过候选图像的特征向量对应的权重对该候选图像的特征向量进行调整得到的，其中，一个候选图像的特征向量对应一个权重；
确定模块，用于根据所述第一特征向量和所述各候选图像的权重融合特征向量，确定与所述目标图像匹配的候选图像。
可选地，作为一个实施例，所述第二获取模块包括：
第一获取子模块，用于获取预设特征库，其中，所述预设特征库中包括多个候选图像的权重融合特征向量。
可选地，作为一个实施例，所述第二获取模块包括：
第二获取子模块，用于获取各候选图像的特征向量；
第三获取子模块，用于获取所述各候选图像的特征向量对应的权重；
调整子模块，用于针对每个候选图像，通过候选图像的特征向量对应的权重对该候选图像的特征向量进行调整，得到各候选图像的权重融合特征向量。
可选地，作为一个实施例，所述候选图像的特征向量对应的权重是采用余弦相似度相关算法对该候选图像的特征向量进行处理得到的；
或者所述候选图像的特征向量对应的权重是采用欧式距离相关算法对该候选图像的特征向量进行处理得到的。
可选地，作为一个实施例，所述候选图像的特征向量对应的权重是采用余弦相似度相关算法对该候选图像的特征向量进行处理得到的；
所述权重融合特征向量是通过对候选图像的特征向量的L2标准化处理结果与该候选图像的特征向量对应的权重进行乘积运算得到的。
可选地，作为一个实施例，所述装置还包括：权重生成模块，其中，所述权重生成模块包括：
第一处理子模块，用于按照候选图像中对象的类别，针对每个类别下的候选图像的特征向量均进行以下处理，得到各特征向量对应的权重：
对第i个类别下的每个候选图像的特征向量进行L2标准化处理，得到标准化的各特征向量其中，所述fij为第i个类别下的第j个候选图像的特征向量，1≤j≤N，N为第i个类别下候选图像的个数；
计算第i个类别的聚类中心向量
对所述聚类中心向量进行L2标准化处理，得到标准化的聚类中心向量
计算第i个类别的卷积特征到所述标准化的聚类中心向量的余弦相似度矩阵其中，所述第i个类别的卷积特征为
第二处理子模块，用于基于所述余弦相似度矩阵，确定第i个类别下各候选图像的特征向量对应的权重。
可选地，作为一个实施例，所述第二处理子模块包括：
第一处理单元，用于对所述余弦相似度矩阵与预设尺度变换参数进行乘积运算，得到调整后的余弦相似度矩阵Sms＝s·Sm，s为预设尺度变换参数；
第二处理单元，用于对所述调整后的余弦相似度矩阵进行softmax归一化处理，得到fij对应的初始权重Sms(j)为Sms中的第j个相似度值；
第三处理单元，用于对所述初始权重与所述N进行乘积运算，得到fij对应的最终权重W(j)＝N·Winit(j)。
可选地，作为一个实施例，所述确定模块包括：
第三处理子模块，用于对所述第一特征向量进行L2标准化处理，得到第二特征向量；
计算子模块，用于分别计算所述第二特征向量到各候选图像的权重融合特征向量的距离值；
确定子模块，用于将排在前Q位的距离值对应的候选图像，确定为与所述目标图像匹配的候选图像，其中，Q为大于或等于1的整数。
根据本发明的第三方面，公开了一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述的图像检索方法中的步骤。
根据本发明的第四方面，公开了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的图像检索方法中的步骤。
本发明实施例中，在现有各候选图像的特征向量的基础上，为每个候选图像的特征向量配置一个对应的权重，通过权重对各候选图像的特征向量进行调整，基于调整后的特征向量进行图像检索，可以降低部分细节相似但物体种类不同的图像的干扰，从而提高图像检索的精准度。
附图说明
图1是本发明的一个实施例的图像检索方法的流程图；
图2是本发明的一个实施例的步骤103的一种实施方式的流程图；
图3是本发明的一个实施例的图像检索装置的结构示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
本发明实施例提供了一种图像检索方法、装置、电子设备及存储介质。
下面首先对本发明实施例提供的一种图像检索方法进行介绍。
图1是本发明的一个实施例的图像检索方法的流程图，该方法由电子设备执行，在实际应用中，该电子设备可以包括：服务器、电脑和桌面机等计算机设备，也可以包括：智能手机、平板电脑和个人数字助理等移动终端，如图1所示，该方法可以包括以下步骤：步骤101、步骤102和步骤103，其中，
在步骤101中，获取目标图像，提取目标图像的图像特征，得到第一特征向量。
本发明实施例中，可以采用卷积神经网络提取目标图像的图像特征，其中，在实际应用中，该卷积神经网络可以包括DenseNet、inception_resnet_v2、Inception-v3、Nasnet、ResNet-50、Vgg16_bn和GoogLeNet中的任意一种，也可以包括相关技术中的其他卷积神经网络。
本发明实施例中，第一特征向量的表现形式可以为一个d维行向量，例如，第一特征向量为(x1,x2,…,xd)，xi为第一特征向量中第i个通道的特征值，d为第一特征向量中通道的个数。
在步骤102中，获取各候选图像的权重融合特征向量，其中，权重融合特征向量是通过候选图像的特征向量对应的权重对该候选图像的特征向量进行调整得到的，其中，一个候选图像的特征向量对应一个权重。
本发明实施例中，候选图像的特征向量是采用与目标图像相同的特征提取方式对候选图像进行图像特征提取得到的，候选图像的特征向量的表现形式，与第一特征向量的表现形式相同，也可以为一个d维行向量。
本发明实施例中，可以通过多种方式，获取各候选图像的权重融合特征向量。
在本发明提供的一个实施例中，可以通过直接获取包含多个权重融合特征向量的特征库的方式，来获取各候选图像的权重融合特征向量，此时，上述步骤102具体可以包括以下步骤：
获取预设特征库，其中，该预设特征库中包括多个候选图像的权重融合特征向量。
在本发明提供的另一个实施例中，可以通过自行生成多个权重融合特征向量的方式，来获取各候选图像的权重融合特征向量，此时，上述步骤102具体可以包括以下步骤：
获取各候选图像的特征向量；
获取各候选图像的特征向量对应的权重；
针对每个候选图像，通过候选图像的特征向量对应的权重对该候选图像的特征向量进行调整，得到各候选图像的权重融合特征向量。
本发明实施例中，可以获取大量候选图像，采用与步骤101中相同的特征提取方式对每个候选图像进行图像特征提取，得到各候选图像的特征向量。
本发明实施例中，候选图像的特征向量对应的权重可以是采用余弦相似度相关算法对该候选图像的特征向量进行处理得到的，也可以是采用欧式距离相关算法对该候选图像的特征向量进行处理得到的。
本发明实施例中，可以预先生成各候选图像的特征向量对应的权重，并存储至电子设备本地，当需要时，直接从电子设备本地获取各候选图像的特征向量对应的权重，而不必在每次需要时都生成一次。
在本发明提供的一个实施例中，当候选图像的特征向量对应的权重可以是采用余弦相似度相关算法对该候选图像的特征向量进行处理得到的时，权重融合特征向量是通过对候选图像的特征向量的L2标准化处理结果与该候选图像的特征向量对应的权重进行乘积运算得到的。具体的，各候选图像的权重融合特征向量的生成过程可以包括：
对各候选图像的特征向量均进行L2标准化处理，得到各候选图像的标准化特征向量；对各候选图像的标准化特征向量与对应的权重进行乘积运算，得到各候选图像的权重融合特征向量。
本发明实施例中，针对每个候选图像，将该候选图像的标准化特征向量与该候选图像的特征向量对应的权重进行乘积运算，得到该候选图像的权重融合特征向量。
在本发明提供的一个实施例中，当权重融合特征向量是通过对候选图像的特征向量的L2标准化处理结果与该候选图像的特征向量对应的权重进行乘积运算得到的时，在图1所示实施例的基础上，还可以增加以下步骤：预先生成所述各候选图像的特征向量对应的权重，其中，生成过程包括：
按照候选图像中对象的类别，针对每个类别下的候选图像的特征向量均进行以下步骤1021至步骤1025(图中未示出)的处理操作，得到各特征向量对应的权重；
本发明实施例中，以细粒度图像为例，“类别”指的是同一大类下的不同子类别，例如，“鸽子”大类下的雪鸽、雀鸽和斑鸽等子类别。每个“类别”下有一定数量的候选图像，例如，“雪鸽类别”下有一定数量的候选图像，“雀鸽类别”下有一定数量的候选图像，“斑鸽类别”下有一定数量的候选图像。
在步骤1021中，对第i个类别下的每个候选图像的特征向量进行L2标准化处理，得到标准化的各特征向量其中，fij为第i个类别下的第j个候选图像的特征向量，1≤j≤N，N为第i个类别下候选图像的个数；
在一个例子中，“雪鸽类别”下有3张雪鸽的(仅为示例，在实际应用中可为很多张)候选图像，以第i个类别为“雪鸽类别”为例，此时，N＝3，j＝1,2,3，这个类别下的候选图像的特征向量分别为：fi1＝(y1,y2,…,yd)、fi2＝(z1,z2,…,zd)和fi3＝(p1,p2,…,pd)。对fi1进行L2标准化处理得到对fi2进行标准化处理得到对fi3进行L2标准化处理得到
在步骤1022中，计算第i个类别的聚类中心向量
接上一步骤中的例子，第i个类别的聚类中心向量
在步骤1023中，对聚类中心向量进行L2标准化处理，得到标准化的聚类中心向量
在步骤1024中，计算第i个类别的卷积特征到标准化的聚类中心向量的余弦相似度矩阵其中，第i个类别的卷积特征为
接上一步骤中的例子，
在步骤1025中，基于余弦相似度矩阵，确定第i个类别下各候选图像的特征向量对应的权重。
在一个具体实施方式中，上述步骤1025具体可以包括以下步骤：
对余弦相似度矩阵与预设尺度变换参数进行乘积运算，得到调整后的余弦相似度矩阵Sms＝s·Sm，s为预设尺度变换参数；
接上一步骤中的例子，
对调整后的余弦相似度矩阵进行softmax归一化处理，得到fij的初始权重Sms(j)为Sms中的第j个相似度值；
接上一步骤中的例子，fi1的初始权重为fi2的初始权重为fi3的初始权重为
对初始权重与N进行乘积运算，得到fij的最终权重W(j)＝N·Winit(j)。
接上一步骤中的例子，fi1的最终权重为W(1)＝N·Winit(1)，fi2的初始权重为W(2)＝N·Winit(2)，fi3的初始权重为W(3)＝N·Winit(3)。
同理，可以得到“雀鸽类别”下各候选图像的特征向量对应的权重，以及“斑鸽类别”下各候选图像的特征向量对应的权重。
在步骤103中，根据第一特征向量和各候选图像的权重融合特征向量，确定与目标图像匹配的候选图像。
在本发明提供的一个实施例中，当权重融合特征向量是通过对候选图像的特征向量的L2标准化处理结果与该候选图像的特征向量对应的权重进行乘积运算得到的时，上述步骤103具体可以包括以下步骤：步骤201、步骤202和步骤203，其中，
在步骤201中，对第一特征向量进行L2标准化处理，得到第二特征向量。
在步骤202中，分别计算第二特征向量到各候选图像的权重融合特征向量的距离值。
本发明实施例中，计算得到的距离值越大，表明候选图像与目标图像的相似度越高。
在步骤203中，将排在前Q位的距离值对应的候选图像，确定为与目标图像匹配的候选图像，其中，Q为大于或等于1的整数。
本发明实施例中，将相似度排在前Q位的候选图像，确定为与目标图像匹配的候选图像。在实际应用中，Q可以为10。
由上述实施例可见，该实施例中，在现有各候选图像的特征向量的基础上，为每个候选图像的特征向量配置一个对应的权重，通过权重对各候选图像的特征向量进行调整，基于调整后的特征向量进行图像检索，可以降低部分细节相似但物体种类不同的图像的干扰，从而提高图像检索的精准度。
需要说明的是，本发明实施例提供的图像检索方法适用于传统图像检索场景，也适用于细粒度图像检索场景，当应用于细粒度图像检索场景时，上述目标图像和候选图像均为细粒度图像。
图3是本发明的一个实施例的图像检索装置的结构示意图，如图3所示，图像检索装置300，可以包括：第一获取模块301、第二获取模块302和确定模块303，其中，
第一获取模块301，用于获取目标图像，提取所述目标图像的图像特征，得到第一特征向量；
第二获取模块302，用于获取各候选图像的权重融合特征向量，其中，所述权重融合特征向量是通过候选图像的特征向量对应的权重对该候选图像的特征向量进行调整得到的，其中，一个候选图像的特征向量对应一个权重；
确定模块303，用于根据所述第一特征向量和所述各候选图像的权重融合特征向量，确定与所述目标图像匹配的候选图像。
由上述实施例可见，该实施例中，在现有各候选图像的特征向量的基础上，为每个候选图像的特征向量配置一个对应的权重，通过权重对各候选图像的特征向量进行调整，基于调整后的特征向量进行图像检索，可以降低部分细节相似但物体种类不同的图像的干扰，从而提高图像检索的精准度。
可选地，作为一个实施例，所述第二获取模块302，可以包括：
第一获取子模块，用于获取预设特征库，其中，所述预设特征库中包括多个候选图像的权重融合特征向量。
可选地，作为一个实施例，所述第二获取模块302，可以包括：
第二获取子模块，用于获取各候选图像的特征向量；
第三获取子模块，用于获取所述各候选图像的特征向量对应的权重；
调整子模块，用于针对每个候选图像，通过候选图像的特征向量对应的权重对该候选图像的特征向量进行调整，得到各候选图像的权重融合特征向量。
可选地，作为一个实施例，所述候选图像的特征向量对应的权重是采用余弦相似度相关算法对该候选图像的特征向量进行处理得到的；
或者所述候选图像的特征向量对应的权重是采用欧式距离相关算法对该候选图像的特征向量进行处理得到的。
可选地，作为一个实施例，所述候选图像的特征向量对应的权重是采用余弦相似度相关算法对该候选图像的特征向量进行处理得到的；
所述权重融合特征向量是通过对候选图像的特征向量的L2标准化处理结果与该候选图像的特征向量对应的权重进行乘积运算得到的。
可选地，作为一个实施例，所述图像检索装置300，还可以包括：权重生成模块，其中，所述权重生成模块包括：
第一处理子模块，用于按照候选图像中对象的类别，针对每个类别下的候选图像的特征向量均进行以下处理，得到各特征向量对应的权重：
对第i个类别下的每个候选图像的特征向量进行L2标准化处理，得到标准化的各特征向量其中，所述fij为第i个类别下的第j个候选图像的特征向量，1≤j≤N，N为第i个类别下候选图像的个数；
计算第i个类别的聚类中心向量
对所述聚类中心向量进行L2标准化处理，得到标准化的聚类中心向量
计算第i个类别的卷积特征到所述标准化的聚类中心向量的余弦相似度矩阵其中，所述第i个类别的卷积特征为
第二处理子模块，用于基于所述余弦相似度矩阵，确定第i个类别下各候选图像的特征向量对应的权重。
可选地，作为一个实施例，所述第二处理子模块，可以包括：
第一处理单元，用于对所述余弦相似度矩阵与预设尺度变换参数进行乘积运算，得到调整后的余弦相似度矩阵Sms＝s·Sm，s为预设尺度变换参数；
第二处理单元，用于对所述调整后的余弦相似度矩阵进行softmax归一化处理，得到fij对应的初始权重Sms(j)为Sms中的第j个相似度值；
第三处理单元，用于对所述初始权重与所述N进行乘积运算，得到fij对应的最终权重W(j)＝N·Winit(j)。
可选地，作为一个实施例，所述确定模块303，可以包括：
第三处理子模块，用于对所述第一特征向量进行L2标准化处理，得到第二特征向量；
计算子模块，用于分别计算所述第二特征向量到各候选图像的权重融合特征向量的距离值；
确定子模块，用于将排在前Q位的距离值对应的候选图像，确定为与所述目标图像匹配的候选图像，其中，Q为大于或等于1的整数。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
根据本发明的又一个实施例，本发明还提供了一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上述任意一个实施例所述的图像检索方法中的步骤。
根据本发明的再一个实施例，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任意一个实施例所述的图像检索方法中的步骤。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本发明所提供的一种图像检索方法、装置、电子设备及存储介质，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (11)

1.一种图像检索方法，其特征在于，所述方法包括：
获取目标图像，提取所述目标图像的图像特征，得到第一特征向量；
获取各候选图像的权重融合特征向量，其中，所述权重融合特征向量是通过候选图像的特征向量对应的权重对该候选图像的特征向量进行调整得到的，其中，一个候选图像的特征向量对应一个权重；
根据所述第一特征向量和所述各候选图像的权重融合特征向量，确定与所述目标图像匹配的候选图像。
2.根据权利要求1所述的方法，其特征在于，所述获取各候选图像的权重融合特征向量，包括：
获取预设特征库，其中，所述预设特征库中包括多个候选图像的权重融合特征向量。
3.根据权利要求1所述的方法，其特征在于，所述获取各候选图像的权重融合特征向量，包括：
获取各候选图像的特征向量；
获取所述各候选图像的特征向量对应的权重；
针对每个候选图像，通过候选图像的特征向量对应的权重对该候选图像的特征向量进行调整，得到各候选图像的权重融合特征向量。
4.根据权利要求1至3任一项所述的方法，其特征在于，所述候选图像的特征向量对应的权重是采用余弦相似度相关算法对该候选图像的特征向量进行处理得到的；
或者所述候选图像的特征向量对应的权重是采用欧式距离相关算法对该候选图像的特征向量进行处理得到的。
5.根据权利要求4所述的方法，其特征在于，所述候选图像的特征向量对应的权重是采用余弦相似度相关算法对该候选图像的特征向量进行处理得到的；
所述权重融合特征向量是通过对候选图像的特征向量的L2标准化处理结果与该候选图像的特征向量对应的权重进行乘积运算得到的。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：预先生成所述各候选图像的特征向量对应的权重，其中，生成过程包括：
按照候选图像中对象的类别，针对每个类别下的候选图像的特征向量均进行以下处理，得到各特征向量对应的权重：
对第i个类别下的每个候选图像的特征向量进行L2标准化处理，得到标准化的各特征向量其中，所述fij为第i个类别下的第j个候选图像的特征向量，1≤j≤N，N为第i个类别下候选图像的个数；
计算第i个类别的聚类中心向量
对所述聚类中心向量进行L2标准化处理，得到标准化的聚类中心向量
计算第i个类别的卷积特征到所述标准化的聚类中心向量的余弦相似度矩阵其中，所述第i个类别的卷积特征为
基于所述余弦相似度矩阵，确定第i个类别下各候选图像的特征向量对应的权重。
7.根据权利要求6所述的方法，其特征在于，所述基于所述余弦相似度矩阵，确定第i个类别下各候选图像的特征向量对应的权重，包括：
对所述余弦相似度矩阵与预设尺度变换参数进行乘积运算，得到调整后的余弦相似度矩阵Sms＝s·Sm，s为预设尺度变换参数；
对所述调整后的余弦相似度矩阵进行softmax归一化处理，得到fij对应的初始权重Sms(j)为Sms中的第j个相似度值；
对所述初始权重与所述N进行乘积运算，得到fij对应的最终权重W(j)＝N·Winit(j)。
8.根据权利要求5所述的方法，其特征在于，所述根据所述第一特征向量和所述各候选图像的权重融合特征向量，确定与所述目标图像匹配的候选图像，包括：
对所述第一特征向量进行L2标准化处理，得到第二特征向量；
分别计算所述第二特征向量到各候选图像的权重融合特征向量的距离值；
将排在前Q位的距离值对应的候选图像，确定为与所述目标图像匹配的候选图像，其中，Q为大于或等于1的整数。
9.一种图像检索装置，其特征在于，所述装置包括：
第一获取模块，用于获取目标图像，提取所述目标图像的图像特征，得到第一特征向量；
第二获取模块，用于获取各候选图像的权重融合特征向量，其中，所述权重融合特征向量是通过候选图像的特征向量对应的权重对该候选图像的特征向量进行调整得到的，其中，一个候选图像的特征向量对应一个权重；
确定模块，用于根据所述第一特征向量和所述各候选图像的权重融合特征向量，确定与所述目标图像匹配的候选图像。
10.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至8中任一项所述的图像检索方法中的步骤。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的图像检索方法中的步骤。
CN201910390657.6A 2019-05-10 2019-05-10 图像检索方法、装置、电子设备及存储介质 Active CN110263196B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910390657.6A CN110263196B (zh) 2019-05-10 2019-05-10 图像检索方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910390657.6A CN110263196B (zh) 2019-05-10 2019-05-10 图像检索方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN110263196A true CN110263196A (zh) 2019-09-20
CN110263196B CN110263196B (zh) 2022-05-06

Family

ID=67913016

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910390657.6A Active CN110263196B (zh) 2019-05-10 2019-05-10 图像检索方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN110263196B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110825904A (zh) * 2019-10-24 2020-02-21 腾讯科技（深圳）有限公司 一种图像匹配方法、装置、电子设备和存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103049446A (zh) * 2011-10-13 2013-04-17 中国移动通信集团公司 一种图像检索方法及装置
CN104298758A (zh) * 2014-10-22 2015-01-21 天津大学 一种多视角目标检索的方法
US20150086086A1 (en) * 2005-09-28 2015-03-26 Facedouble Incorporated Image Classification And Information Retrieval Over Wireless Digital Networks And The Internet
CN105430504A (zh) * 2015-11-27 2016-03-23 中国科学院深圳先进技术研究院 基于电视观看日志挖掘的家庭成员结构识别方法与系统
CN107240107A (zh) * 2017-06-30 2017-10-10 福州大学 一种基于图像检索的显著性检测元评估方法
CN107392129A (zh) * 2017-07-13 2017-11-24 浙江捷尚视觉科技股份有限公司 基于Softmax的人脸检索方法和系统
CN108415937A (zh) * 2018-01-24 2018-08-17 博云视觉（北京）科技有限公司 一种图像检索的方法和装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150086086A1 (en) * 2005-09-28 2015-03-26 Facedouble Incorporated Image Classification And Information Retrieval Over Wireless Digital Networks And The Internet
CN103049446A (zh) * 2011-10-13 2013-04-17 中国移动通信集团公司 一种图像检索方法及装置
CN104298758A (zh) * 2014-10-22 2015-01-21 天津大学 一种多视角目标检索的方法
CN105430504A (zh) * 2015-11-27 2016-03-23 中国科学院深圳先进技术研究院 基于电视观看日志挖掘的家庭成员结构识别方法与系统
CN107240107A (zh) * 2017-06-30 2017-10-10 福州大学 一种基于图像检索的显著性检测元评估方法
CN107392129A (zh) * 2017-07-13 2017-11-24 浙江捷尚视觉科技股份有限公司 基于Softmax的人脸检索方法和系统
CN108415937A (zh) * 2018-01-24 2018-08-17 博云视觉（北京）科技有限公司 一种图像检索的方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KEUNDONG LEE，等: "Multi-stage image retrieval based on feature augmentation with truncated polynomial weight", 《2018 INTERNATIONAL CONFERENCE ON INFORMATION AND COMMUNICATION TECHNOLOGY CONVERGENCE (ICTC)》 *
朱凌云: "融合多种内容特征和相关反馈技术的图像检索系统研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110825904A (zh) * 2019-10-24 2020-02-21 腾讯科技（深圳）有限公司 一种图像匹配方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
CN110263196B (zh) 2022-05-06

Similar Documents

Publication Publication Date Title
Wang et al. SaliencyGAN: Deep learning semisupervised salient object detection in the fog of IoT
CN108694225B (zh) 一种图像搜索方法、特征向量的生成方法、装置及电子设备
CN111324774B (zh) 一种视频去重方法和装置
CN109711228B (zh) 一种实现图像识别的图像处理方法及装置、电子设备
CN109936525A (zh) 一种基于图结构模型的异常账号防控方法、装置以及设备
CN112395390B (zh) 意图识别模型的训练语料生成方法及其相关设备
CN112989212B (zh) 媒体内容推荐方法、装置和设备及计算机存储介质
CN112818995B (zh) 图像分类方法、装置、电子设备及存储介质
CN112434533B (zh) 实体消歧方法、装置、电子设备及计算机可读存储介质
CN116580257A (zh) 特征融合模型训练及样本检索方法、装置和计算机设备
CN112528029A (zh) 文本分类模型处理方法、装置、计算机设备及存储介质
CN112000822A (zh) 多媒体资源排序方法、装置、电子设备及存储介质
JP2021515321A (ja) メディア処理方法、その関連装置及びコンピュータプログラム
CN110427915A (zh) 用于输出信息的方法和装置
CN113033507B (zh) 场景识别方法、装置、计算机设备和存储介质
CN114359582A (zh) 一种基于神经网络的小样本特征提取方法及相关设备
CN107426610A (zh) 视频信息同步方法及装置
CN110263196A (zh) 图像检索方法、装置、电子设备及存储介质
CN112101154A (zh) 视频分类方法、装置、计算机设备和存储介质
CN113824989B (zh) 一种视频处理方法、装置和计算机可读存储介质
CN110019096A (zh) 索引文件的生成方法及装置
CN111259701B (zh) 行人再识别方法、装置及电子设备
CN113822291A (zh) 一种图像处理方法、装置、设备及存储介质
CN112101437B (zh) 基于图像检测的细粒度分类模型处理方法、及其相关设备
Chen et al. A Robust Visual Loop-Closure Detection Method of VSLAM for Ambiguous Environment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant