CN117648455A - 图像搜索方法、装置、电子设备及存储介质 - Google Patents
图像搜索方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN117648455A CN117648455A CN202311555942.1A CN202311555942A CN117648455A CN 117648455 A CN117648455 A CN 117648455A CN 202311555942 A CN202311555942 A CN 202311555942A CN 117648455 A CN117648455 A CN 117648455A
- Authority
- CN
- China
- Prior art keywords
- image
- feature vector
- feature
- global
- global feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 239000013598 vector Substances 0.000 claims abstract description 305
- 238000000605 extraction Methods 0.000 claims description 53
- 230000006870 function Effects 0.000 claims description 20
- 238000004891 communication Methods 0.000 claims description 18
- 238000011176 pooling Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000009432 framing Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Library & Information Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请提供了一种图像搜索方法、装置、电子设备及存储介质。包括：获取第一图像及所述第一图像对应的第二图像；基于所述第一图像提取多个第一全局特征向量，并基于多个所述第一全局特征向量确定对应的第一加权特征向量；基于所述第二图像提取与每个第一全局特征向量对应的第二全局特征向量，并基于多个所述第二全局特征向量确定对应的第二加权特征向量；基于所述第一加权特征向量和所述第二加权特征向量，确定所述第一图像和所述第二图像的相似结果；在所述相似结果为相似的情况下，确定所述第二图像为所述第一图像对应的目标图像。由此提高图像相似结果的准确性，从而提高图像搜索的精度。
Description
技术领域
本申请涉及图像搜索技术领域，尤其涉及一种图像搜索方法、装置、电子设备及存储介质。
背景技术
相似图像搜索技术，主要是指两张或者多张图像之间的相似性度量，根据度量结果判断两张图像之间是否相似。在长视频领域中，往往需要对视频解帧的图片进行一系列的后续处理，此时就需要相似图搜索算法作为前置模块，将大量相似的解帧图像聚合在一起，而对每个聚类簇只需要选择一张作为代表图像即可。该方法可大大减少后续算法的处理压力，提升算法整体运行效率。目前的相似图搜索算法，大多是基于单一的图像特征来确定两张图像是否相似，从而实现相似图像的搜索。
然而，这种基于单一图像特征实现相似图像搜索的方案，图像相似结果的准确性较低，导致搜索精度较低。
发明内容
本申请实施例的目的在于提供一种图像搜索方法、装置、电子设备及存储介质，以解决基于单一图像特征实现相似图像搜索的方案，搜索精度较低的问题。具体技术方案如下：
第一方面，本申请提供了一种图像搜索方法，包括：
获取第一图像及所述第一图像对应的第二图像；
基于所述第一图像提取多个第一全局特征向量，并基于多个所述第一全局特征向量确定对应的第一加权特征向量；
基于所述第二图像提取与每个第一全局特征向量对应的第二全局特征向量，并基于多个所述第二全局特征向量确定对应的第二加权特征向量；
基于所述第一加权特征向量和所述第二加权特征向量，确定所述第一图像和所述第二图像的相似结果；
在所述相似结果为相似的情况下，确定所述第二图像为所述第一图像对应的目标图像。
在一个可能的实施方式中，所述基于所述第一图像提取多个第一全局特征向量，包括：
将所述第一图像输入至特征提取模型，以由所述特征提取模型输出多个第一全局特征向量。
在一个可能的实施方式中，所述特征提取模型包括基础网络和多个特征向量生成网络，每个特征向量生成网络基于对应的损失函数训练得到，且，每个特征向量生成网络对应的损失函数不同，
所述将所述第一图像输入至特征提取模型，以由所述特征提取模型输出多个第一全局特征向量，包括：
将所述第一图像输入至所述基础网络，以由所述基础网络输出对应的第一全局特征图；
将所述第一全局特征图分别输入至多个所述特征向量生成网络，以由每个所述特征向量生成网络输出对应的第一全局特征向量。
在一个可能的实施方式中，每个所述特征向量生成网络通过以下步骤对所述第一全局特征图进行处理：
对所述第一全局特征图进行平均池化处理，得到第一特征图；
对所述第一全局特征图进行最大池化处理，得到第二特征图；
将所述第一特征图和所述第二特征图相加后的结果输入至全连接层，得到所述第一全局特征向量。
在一个可能的实施方式中，所述基于所述第二图像提取与每个第一全局特征向量对应的第二全局特征向量，包括：
将所述第二图像输入至所述基础网络，以由所述基础网络输出对应的第二全局特征图；
将所述第二全局特征图分别输入至多个所述特征向量生成网络，以由每个所述特征向量生成网络输出对应的第二全局特征向量，其中，由同一个特征向量生成网络输出的第一全局特征向量和第二全局特征向量为一组对应的特征向量。
在一个可能的实施方式中，所述特征提取模型包括权重确定网络，所述基于多个所述第一全局特征向量确定对应的第一加权特征向量，包括：
将所述第一全局特征图输入至所述权重确定网络，以由所述权重确定网络输出每个第一全局特征向量对应的第一加权特征向量；
基于对应第一加权特征向量对所有第一全局特征向量进行加权求和计算，得到对应的第一加权特征向量。
在一个可能的实施方式中，所述基于所述第一加权特征向量和所述第二加权特征向量，确定所述第一图像和所述第二图像的相似结果，包括：
确定所述第一加权特征向量和所述第二加权特征向量之间的向量距离；
在所述向量距离小于预设距离阈值的情况下，确定所述第一图像和所述第二图像的相似结果为相似；
在所述向量距离大于或等于预设距离阈值的情况下，确定所述第一图像和所述第二图像的相似结果为不相似。
第二方面，本申请提供了一种图像搜索装置，包括：
获取模块，用于获取第一图像及所述第一图像对应的第二图像；
第一提取模块，用于基于所述第一图像提取多个第一全局特征向量，并基于多个所述第一全局特征向量确定对应的第一加权特征向量；
第二提取模块，用于基于所述第二图像提取与每个第一全局特征向量对应的第二全局特征向量，并基于多个所述第二全局特征向量确定对应的第二加权特征向量；
第一确定模块，用于基于所述第一加权特征向量和所述第二加权特征向量，确定所述第一图像和所述第二图像的相似结果；
第二确定模块，用于在所述相似结果为相似的情况下，确定所述第二图像为所述第一图像对应的目标图像。
在一个可能的实施方式中，所述第一提取模块，具体用于：
将所述第一图像输入至特征提取模型，以由所述特征提取模型输出多个第一全局特征向量。
在一个可能的实施方式中，所述特征提取模型包括基础网络和多个特征向量生成网络，每个特征向量生成网络基于对应的损失函数训练得到，且，每个特征向量生成网络对应的损失函数不同，
所述第一提取模块，还用于：
将所述第一图像输入至所述基础网络，以由所述基础网络输出对应的第一全局特征图；
将所述第一全局特征图分别输入至多个所述特征向量生成网络，以由每个所述特征向量生成网络输出对应的第一全局特征向量。
在一个可能的实施方式中，所述第一提取模块，还用于：
对所述第一全局特征图进行平均池化处理，得到第一特征图；
对所述第一全局特征图进行最大池化处理，得到第二特征图；
将所述第一特征图和所述第二特征图相加后的结果输入至全连接层，得到所述第一全局特征向量。
在一个可能的实施方式中，所述第二提取模块，具体用于：
将所述第二图像输入至所述基础网络，以由所述基础网络输出对应的第二全局特征图；
将所述第二全局特征图分别输入至多个所述特征向量生成网络，以由每个所述特征向量生成网络输出对应的第二全局特征向量，其中，由同一个特征向量生成网络输出的第一全局特征向量和第二全局特征向量为一组对应的特征向量。
在一个可能的实施方式中，所述特征提取模型包括权重确定网络，所述第一提取模块，还用于：
将所述第一全局特征图输入至所述权重确定网络，以由所述权重确定网络输出每个第一全局特征向量对应的第一加权特征向量；
基于对应第一加权特征向量对所有第一全局特征向量进行加权求和计算，得到对应的第一加权特征向量。
在一个可能的实施方式中，所述第一确定模块，具体用于：
确定所述第一加权特征向量和所述第二加权特征向量之间的向量距离；
在所述向量距离小于预设距离阈值的情况下，确定所述第一图像和所述第二图像的相似结果为相似；
在所述向量距离大于或等于预设距离阈值的情况下，确定所述第一图像和所述第二图像的相似结果为不相似。
第三方面，提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现第一方面任一所述的方法步骤。
第四方面，提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现第一方面任一所述的方法步骤。
第五方面，提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一所述的图像搜索方法。
本申请实施例有益效果：
本申请实施例提供了一种图像搜索方法、装置、电子设备及存储介质，本申请实施例中，首先，获取第一图像及第一图像对应的第二图像，然后，基于第一图像提取多个第一全局特征向量，并基于多个第一全局特征向量确定对应的第一加权特征向量，以及，基于第二图像提取与每个第一全局特征向量对应的第二全局特征向量，并基于多个第二全局特征向量确定对应的第二加权特征向量，最后，基于第一加权特征向量和第二加权特征向量，确定第一图像和第二图像的相似结果，在相似结果为相似的情况下，确定第二图像为第一图像对应的目标图像。通过本申请，可以基于多个全局特征向量的加权结果，实现对两张图像相似结果的确定，由此提高图像相似结果的准确性，从而提高图像搜索的精度。
当然，实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
图1为本申请实施例提供的一种图像搜索方法的流程图；
图2为本申请实施例提供的特征提取模型处理过程示意图；
图3为本申请实施例提供的特征向量生成网络处理过程示意图；
图4为本申请实施例提供的一种图像搜索装置的结构示意图；
图5为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
下文的公开提供了许多不同的实施例或例子用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。当然，它们仅仅为示例，并且目的不在于限制本发明。此外，本发明可以在不同例子中重复参考数字和/或字母。这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施例和/或设置之间的关系。
图1为本申请实施例提供的一种图像搜索方法的流程示意图。本方法可以应用于智能手机、笔记本电脑、台式电脑、便携式计算机、服务器等一个或多个电子设备上。此外，本方法的执行主体可以是硬件，也可以是软件。当上述执行主体为硬件时，该执行主体可以为上述电子设备中的一个或多个。例如，单个电子设备可以执行本方法，或者，多个电子设备可以彼此配合来执行本方法。当上述执行主体为软件时，本方法可以实现成多个软件或软件模块，也可以实现成单个软件或软件模块。在此不作具体限定。
如图1所示，该方法具体包括：
S101，获取第一图像及所述第一图像对应的第二图像。
本申请实施例提供的一种图像搜索方法，用于搜索与参照图像(即，第一图像)相似的目标图像。应用中，第一图像可以由用户输入或指定。
第二图像，指与第一图像进行相似性判断的图像。
在一实施例中，获取第一图像对应的第二图像的具体实现可包括以下步骤：接收用户输入的图像，将所述图像确定为所述第二图像。如此，可以根据用户需求灵活指定进行搜索的第二图像。
在另一实施例中，获取第一图像对应的第二图像的具体实现可包括以下步骤：确定所述第一图像的图像类型，在预设的图像集合中查找与所述图像类型对应的候选图像，将每个所述候选图像确定为一个第二图像。
图像类型，指图像包含内容的类型，例如，包含人物的图像所对应的图像类型为人物图像，包含风景的图像所对应的图像类型为风景图像，包含动物的图像所对应的图像类型为动物图像，等等。
该实施例中，可以先在图像集合中确定与第一图像的图像类型相同的候选图像，进而，将每个候选图像确定为一个第二图像，由此减少后续进行图像搜索的工作量。
S102，基于所述第一图像提取多个第一全局特征向量，并基于多个所述第一全局特征向量确定对应的第一加权特征向量。
S103，基于所述第二图像提取与每个第一全局特征向量对应的第二全局特征向量，并基于多个所述第二全局特征向量确定对应的第二加权特征向量。
以下对S102和S103进行统一说明：
上述多个第一全局特征向量，是基于不同的特征空间对第一图像所提取的全局特征向量。相应的，上述多个第二全局特征向量，也是基于不同的特征空间对第二图像所提取的全局特征向量。其中，基于同一特征空间所提取的第一全局特征向量和第二全局特征向量是一组对应的特征向量。
上述第一加权特征向量，为基于每个第一全局特征向量对应权重进行加权求和运算得到的向量。
上述第二加权特征向量，为基于每个第二全局特征向量对应权重进行加权求和运算得到的向量。
至于具体如何提取第一全局特征向量和第二全局特征向量，以及，如何确定第一加权特征向量和第二加权特征向量，将通过后文实施例进行详细的解释说明，这里先不详述。
S104，基于所述第一加权特征向量和所述第二加权特征向量，确定所述第一图像和所述第二图像的相似结果。
具体的，S104可以包括以下步骤：
确定所述第一加权特征向量和所述第二加权特征向量之间的向量距离，在所述向量距离小于预设距离阈值的情况下，确定所述第一图像和所述第二图像的相似结果为相似，在所述向量距离大于或等于预设距离阈值的情况下，确定所述第一图像和所述第二图像的相似结果为不相似。
该实施例中，第一加权特征向量G-final11和第二加权特征向量G-final2之间的距离为distance，预设距离阈值为th，若距离distance小于th，则判定第一图像和第二图像的相似结果为相似，否则，判定第一图像和第二图像的相似结果为不相似。
应用中，上述特征向量之间的距离可以是欧氏距离，其中，欧式距离的计算公式具体如下：
S105，在所述相似结果为相似的情况下，确定所述第二图像为所述第一图像对应的目标图像。
本申请实施例中，在相似结果为相似的情况下，则可以确定该第二图像为与第一图像相似的目标图像，在相似结果为不相似的情况下，则可以确定该第二图像不是与第一图像相似的目标图像。由此，实现对第一图像相似图像的搜索。
本申请实施例中，首先，获取第一图像及第一图像对应的第二图像，然后，基于第一图像提取多个第一全局特征向量，并基于多个第一全局特征向量确定对应的第一加权特征向量，以及，基于第二图像提取与每个第一全局特征向量对应的第二全局特征向量，并基于多个第二全局特征向量确定对应的第二加权特征向量，最后，基于第一加权特征向量和第二加权特征向量，确定第一图像和第二图像的相似结果，在相似结果为相似的情况下，确定第二图像为第一图像对应的目标图像。通过本申请，可以基于多个全局特征向量的加权结果，实现对两张图像相似结果的确定，由此提高图像相似结果的准确性，从而提高图像搜索的精度。
在本申请又一实施例中，S103具体可包括以下步骤：
将所述第一图像输入至特征提取模型，以由所述特征提取模型输出多个第一全局特征向量。
其中，特征提取模型可以是CNN(Convolutional Neural Network，卷积神经网络)模型。
本申请实施例中，用同一个模型(即，特征提取模型)同时提取多个全局特征向量，以进行后续的图像搜索，如此，可以在不增加过多额外模型运算量的同时，保证多个特征空间具有区分性。
在一实施例中，特征提取模型包括基础网络和多个特征向量生成网络，其中，每个特征向量生成网络基于对应的损失函数训练得到，且，每个特征向量生成网络对应的损失函数不同。
假设，特征提取模型中包括特征向量生成网络1、特征向量生成网络2、特征向量生成网络3，其中，特征向量生成网络1可以是基于损失函数1约束进行训练得到，特征向量生成网络2可以是基于损失函数2约束进行训练得到，特征向量生成网络3可以是基于损失函数3约束进行训练得到，并且，损失函数1、2、3为不同的函数。
特征提取模型在训练过程中，往往需要损失函数来衡量模型预测的结果与真值结果之间的差距，从而依据该差距来反向更新模型参数。在本申请实施例中，损失函数衡量的是相似图像之间的特征向量的相似度，常用的损失函数有余弦相似、欧氏距离、ArcFace、Multi-Similarity、Proxy anchor等，每个损失函数可看作是一种特征空间，损失越小，意味着，在该特征空间上越具有可区分性。本申请实施例中，在基础网络之后连接n个分支(即，特征向量生成网络)，每个分支使用1种损失函数来约束特征向量，这样只需要一个基础网络，就可以得到n个在不同特征空间上具有可区分性的特征向量。同时使用它们去做相似搜索，从而可以显著提高搜索精度。
基于此，将所述第一图像输入至特征提取模型，以由所述特征提取模型输出多个第一全局特征向量的具体实现可以包括以下步骤：
将所述第一图像输入至所述基础网络，以由所述基础网络输出对应的第一全局特征图，将所述第一全局特征图分别输入至多个所述特征向量生成网络，以由每个所述特征向量生成网络输出对应的第一全局特征向量。
具体的，如图2所示，在特征提取模型中，首先，将第一图像输入至基础网络，由基础网络输出对应的第一全局特征图，该特征图的维度为(B，H，W，C)。其中，B表示图片数量(为方便理解可以假定为1张图像，即B＝1)，H和W表示图像长宽，C表示特征图的维度。Gmap分别经过n个特征向量生成网络(即，图3中的特征向量生成模块E)，由各个特征向量生成网络输出对应的第一全局特征向量G1，G2，…，Gn。由此，得到在不同特征空间上具有可区分性的特征向量。
进一步的，每个所述特征向量生成网络通过以下步骤对所述第一全局特征图进行处理：
对所述第一全局特征图进行平均池化处理，得到第一特征图，对所述第一全局特征图进行最大池化处理，得到第二特征图，将所述第一特征图和所述第二特征图相加后的结果输入至全连接层，得到所述第一全局特征向量。
具体的，如图3所示，将维度为(B，H，W，C)的第一全局特征图输入至特征向量生成网络后，首先，经过平均池化和最大池化，分别得到第一特征图AVG(B，1，C)和第二特征图MAX(B，1，C)，然后，将得到的第一特征图和第二特征图相加，并将相加的结果输入全连接层，得到输出特征向量(即，第一全局特征向量)。其中，输出为指定维度的特征向量(B，1，D)，D表示特征向量的维度，常见的128，256，512和1024，其中128维的效果略差，但后续的相似性计算会更快，具有更高的效率。相反1024维的区分精度会更高，但相似性计算会更耗时。用户可以根据实际需要具体设置输出维度。
在本申请又一实施例中，特征提取模型还包括权重确定网络，基于多个所述第一全局特征向量确定对应的第一加权特征向量的具体实现可包括以下步骤：
将所述第一全局特征图输入至所述权重确定网络，以由所述权重确定网络输出每个第一全局特征向量对应的第一加权特征向量，基于对应第一加权特征向量对所有第一全局特征向量进行加权求和计算，得到对应的第一加权特征向量。
该实施例中，如图2所示，Gmap再额外经过权重分支(即权重确定网络)，得到权重参数W。其中，权重分支整体结构与特征向量生成模块E基本一致，但输出参数维度不同。权重参数W的维度与特征向量分支个数有关，比如，生成的特征向量分支个数为n，则权重参数W的维度为n，且该参数是归一化的参数，即所有元素之和等于1。其中第i个值可以表示为Wi。则第一加权特征向量G-final可以基于以下公式计算得到：
本申请实施例中，可以通过特征提取模型自动预测加权权重参数，对所有特征向量做加权求和，最终得到一个包含所有特征空间信息的特征向量去做图像搜索，从而在保证搜索精度的情况下，大大节约计算耗时。
在本申请又一实施例中，基于第二图像提取第二全局特征向量以及确定第二加权特征向量的过程，与上述基于第一图像提取第一全局特征向量以及确定第一加权特征向量的过程实质相同。可包括以下步骤：将所述第二图像输入至特征提取模型，以由所述特征提取模型输出多个第二全局特征向量。
特征提取模型的执行过程具体如下：将所述第二图像输入至所述基础网络，以由所述基础网络输出对应的第二全局特征图，将所述第二全局特征图分别输入至多个所述特征向量生成网络，以由每个所述特征向量生成网络输出对应的第二全局特征向量，其中，由同一个特征向量生成网络输出的第一全局特征向量和第二全局特征向量为一组对应的特征向量。
以及，将所述第二全局特征图输入至所述权重确定网络，以由所述权重确定网络输出每个第二全局特征向量对应的第二加权特征向量；基于对应第二加权特征向量对所有第二全局特征向量进行加权求和计算，得到对应的第二加权特征向量。
该实施例中，特征提取模型对于第二图像的特征向量提取过程以及确定第二加权特征向量的过程，与对于第一图像的特征向量提取过程以及确定第一加权特征向量的过程实质相同，这里不再赘述。
基于相同的技术构思，本申请实施例还提供了一种图像搜索装置，如图4所示，该装置包括：
获取模块401，用于获取第一图像及所述第一图像对应的第二图像；
第一提取模块402，用于基于所述第一图像提取多个第一全局特征向量，并基于多个所述第一全局特征向量确定对应的第一加权特征向量；
第二提取模块403，用于基于所述第二图像提取与每个第一全局特征向量对应的第二全局特征向量，并基于多个所述第二全局特征向量确定对应的第二加权特征向量；
第一确定模块404，用于基于所述第一加权特征向量和所述第二加权特征向量，确定所述第一图像和所述第二图像的相似结果；
第二确定模块405，用于在所述相似结果为相似的情况下，确定所述第二图像为所述第一图像对应的目标图像。
在一个可能的实施方式中，所述第一提取模块，具体用于：
将所述第一图像输入至特征提取模型，以由所述特征提取模型输出多个第一全局特征向量。
在一个可能的实施方式中，所述特征提取模型包括基础网络和多个特征向量生成网络，每个特征向量生成网络基于对应的损失函数训练得到，且，每个特征向量生成网络对应的损失函数不同，
所述第一提取模块，还用于：
将所述第一图像输入至所述基础网络，以由所述基础网络输出对应的第一全局特征图；
将所述第一全局特征图分别输入至多个所述特征向量生成网络，以由每个所述特征向量生成网络输出对应的第一全局特征向量。
在一个可能的实施方式中，所述第一提取模块，还用于：
对所述第一全局特征图进行平均池化处理，得到第一特征图；
对所述第一全局特征图进行最大池化处理，得到第二特征图；
将所述第一特征图和所述第二特征图相加后的结果输入至全连接层，得到所述第一全局特征向量。
在一个可能的实施方式中，所述第二提取模块，具体用于：
将所述第二图像输入至所述基础网络，以由所述基础网络输出对应的第二全局特征图；
将所述第二全局特征图分别输入至多个所述特征向量生成网络，以由每个所述特征向量生成网络输出对应的第二全局特征向量，其中，由同一个特征向量生成网络输出的第一全局特征向量和第二全局特征向量为一组对应的特征向量。
在一个可能的实施方式中，所述特征提取模型包括权重确定网络，所述第一提取模块，还用于：
将所述第一全局特征图输入至所述权重确定网络，以由所述权重确定网络输出每个第一全局特征向量对应的第一加权特征向量；
基于对应第一加权特征向量对所有第一全局特征向量进行加权求和计算，得到对应的第一加权特征向量。
在一个可能的实施方式中，所述第一确定模块，具体用于：
确定所述第一加权特征向量和所述第二加权特征向量之间的向量距离；
在所述向量距离小于预设距离阈值的情况下，确定所述第一图像和所述第二图像的相似结果为相似；
在所述向量距离大于或等于预设距离阈值的情况下，确定所述第一图像和所述第二图像的相似结果为不相似。
本申请实施例中，首先，获取第一图像及第一图像对应的第二图像，然后，基于第一图像提取多个第一全局特征向量，并基于多个第一全局特征向量确定对应的第一加权特征向量，以及，基于第二图像提取与每个第一全局特征向量对应的第二全局特征向量，并基于多个第二全局特征向量确定对应的第二加权特征向量，最后，基于第一加权特征向量和第二加权特征向量，确定第一图像和第二图像的相似结果，在相似结果为相似的情况下，确定第二图像为第一图像对应的目标图像。通过本申请，可以基于多个全局特征向量的加权结果，实现对两张图像相似结果的确定，由此提高图像相似结果的准确性，从而提高图像搜索的精度。
基于相同的技术构思，本申请实施例还提供了一种电子设备，如图5所示，包括处理器111、通信接口112、存储器113和通信总线114，其中，处理器111，通信接口112，存储器113通过通信总线114完成相互间的通信，
存储器113，用于存放计算机程序；
处理器111，用于执行存储器113上所存放的程序时，实现如下步骤：
获取第一图像及所述第一图像对应的第二图像；
基于所述第一图像提取多个第一全局特征向量，并基于多个所述第一全局特征向量确定对应的第一加权特征向量；
基于所述第二图像提取与每个第一全局特征向量对应的第二全局特征向量，并基于多个所述第二全局特征向量确定对应的第二加权特征向量；
基于所述第一加权特征向量和所述第二加权特征向量，确定所述第一图像和所述第二图像的相似结果；
在所述相似结果为相似的情况下，确定所述第二图像为所述第一图像对应的目标图像。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本申请提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一图像搜索方法的步骤。
在本申请提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一图像搜索方法。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
应理解的是，文中使用的术语仅出于描述特定示例实施方式的目的，而无意于进行限制。除非上下文另外明确地指出，否则如文中使用的单数形式“一”、“一个”以及“所述”也可以表示包括复数形式。术语“包括”、“包含”、“含有”以及“具有”是包含性的，并且因此指明所陈述的特征、步骤、操作、元件和/或部件的存在，但并不排除存在或者添加一个或多个其它特征、步骤、操作、元件、部件、和/或它们的组合。文中描述的方法步骤、过程、以及操作不解释为必须要求它们以所描述或说明的特定顺序执行，除非明确指出执行顺序。还应当理解，可以使用另外或者替代的步骤。
以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种图像搜索方法，其特征在于，所述方法包括：
获取第一图像及所述第一图像对应的第二图像；
基于所述第一图像提取多个第一全局特征向量，并基于多个所述第一全局特征向量确定对应的第一加权特征向量；
基于所述第二图像提取与每个第一全局特征向量对应的第二全局特征向量，并基于多个所述第二全局特征向量确定对应的第二加权特征向量；
基于所述第一加权特征向量和所述第二加权特征向量，确定所述第一图像和所述第二图像的相似结果；
在所述相似结果为相似的情况下，确定所述第二图像为所述第一图像对应的目标图像。
2.根据权利要求1所述的方法，其特征在于，所述基于所述第一图像提取多个第一全局特征向量，包括：
将所述第一图像输入至特征提取模型，以由所述特征提取模型输出多个第一全局特征向量。
3.根据权利要求2所述的方法，其特征在于，所述特征提取模型包括基础网络和多个特征向量生成网络，每个特征向量生成网络基于对应的损失函数训练得到，且，每个特征向量生成网络对应的损失函数不同，
所述将所述第一图像输入至特征提取模型，以由所述特征提取模型输出多个第一全局特征向量，包括：
将所述第一图像输入至所述基础网络，以由所述基础网络输出对应的第一全局特征图；
将所述第一全局特征图分别输入至多个所述特征向量生成网络，以由每个所述特征向量生成网络输出对应的第一全局特征向量。
4.根据权利要求3所述的方法，其特征在于，每个所述特征向量生成网络通过以下步骤对所述第一全局特征图进行处理：
对所述第一全局特征图进行平均池化处理，得到第一特征图；
对所述第一全局特征图进行最大池化处理，得到第二特征图；
将所述第一特征图和所述第二特征图相加后的结果输入至全连接层，得到所述第一全局特征向量。
5.根据权利要求3所述的方法，其特征在于，所述基于所述第二图像提取与每个第一全局特征向量对应的第二全局特征向量，包括：
将所述第二图像输入至所述基础网络，以由所述基础网络输出对应的第二全局特征图；
将所述第二全局特征图分别输入至多个所述特征向量生成网络，以由每个所述特征向量生成网络输出对应的第二全局特征向量，其中，由同一个特征向量生成网络输出的第一全局特征向量和第二全局特征向量为一组对应的特征向量。
6.根据权利要求3所述的方法，其特征在于，所述特征提取模型包括权重确定网络，所述基于多个所述第一全局特征向量确定对应的第一加权特征向量，包括：
将所述第一全局特征图输入至所述权重确定网络，以由所述权重确定网络输出每个第一全局特征向量对应的第一加权特征向量；
基于对应第一加权特征向量对所有第一全局特征向量进行加权求和计算，得到对应的第一加权特征向量。
7.根据权利要求1所述的方法，其特征在于，所述基于所述第一加权特征向量和所述第二加权特征向量，确定所述第一图像和所述第二图像的相似结果，包括：
确定所述第一加权特征向量和所述第二加权特征向量之间的向量距离；
在所述向量距离小于预设距离阈值的情况下，确定所述第一图像和所述第二图像的相似结果为相似；
在所述向量距离大于或等于预设距离阈值的情况下，确定所述第一图像和所述第二图像的相似结果为不相似。
8.一种图像搜索装置，其特征在于，所述装置包括：
获取模块，用于获取第一图像及所述第一图像对应的第二图像；
第一提取模块，用于基于所述第一图像提取多个第一全局特征向量，并基于多个所述第一全局特征向量确定对应的第一加权特征向量；
第二提取模块，用于基于所述第二图像提取与每个第一全局特征向量对应的第二全局特征向量，并基于多个所述第二全局特征向量确定对应的第二加权特征向量；
第一确定模块，用于基于所述第一加权特征向量和所述第二加权特征向量，确定所述第一图像和所述第二图像的相似结果；
第二确定模块，用于在所述相似结果为相似的情况下，确定所述第二图像为所述第一图像对应的目标图像。
9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-7任一所述的方法步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-7任一所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311555942.1A CN117648455A (zh) | 2023-11-21 | 2023-11-21 | 图像搜索方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311555942.1A CN117648455A (zh) | 2023-11-21 | 2023-11-21 | 图像搜索方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117648455A true CN117648455A (zh) | 2024-03-05 |
Family
ID=90045887
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311555942.1A Pending CN117648455A (zh) | 2023-11-21 | 2023-11-21 | 图像搜索方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117648455A (zh) |
-
2023
- 2023-11-21 CN CN202311555942.1A patent/CN117648455A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2019528502A (ja) | パターン認識に適用可能なモデルを最適化するための方法および装置ならびに端末デバイス | |
| CN110910422A (zh) | 目标跟踪方法、装置、电子设备和可读存储介质 | |
| US11714921B2 (en) | Image processing method with ash code on local feature vectors, image processing device and storage medium | |
| CN111914908B (zh) | 一种图像识别模型训练方法、图像识别方法及相关设备 | |
| CN112580668B (zh) | 一种背景欺诈检测方法、装置及电子设备 | |
| CN103295022A (zh) | 图像相似度计算系统及方法 | |
| CN110765286A (zh) | 跨媒体检索方法、装置、计算机设备和存储介质 | |
| US9058541B2 (en) | Object detection method, object detector and object detection computer program | |
| CN111222558B (zh) | 图像处理方法及存储介质 | |
| CN114155388B (zh) | 一种图像识别方法、装置、计算机设备和存储介质 | |
| CN113971224A (zh) | 图像检索系统、方法和相关设备 | |
| CN111008589B (zh) | 人脸关键点检测方法、介质、装置和计算设备 | |
| CN113849679A (zh) | 图像检索方法、装置、电子设备及存储介质 | |
| CN113239218B (zh) | 在具有npu的设备上并发执行人脸搜索的方法 | |
| CN117315310A (zh) | 一种图像识别方法、图像识别模型训练方法及装置 | |
| CN117648455A (zh) | 图像搜索方法、装置、电子设备及存储介质 | |
| CN113821689B (zh) | 基于视频序列的行人检索方法、装置和电子设备 | |
| CN117648457A (zh) | 图像搜索方法、装置、电子设备及存储介质 | |
| CN117648456A (zh) | 图像搜索方法、装置、电子设备及存储介质 | |
| CN113962221A (zh) | 一种文本摘要的提取方法、装置、终端设备和存储介质 | |
| CN112819079A (zh) | 模型的采样算法匹配方法、装置和电子设备 | |
| CN113486918B (zh) | 基于动态调整特征向量分布趋势的图像识别方法及其设备 | |
| CN113095211B (zh) | 一种图像处理方法、系统及电子设备 | |
| CN112395859B (zh) | 一种文本处理方法及相关装置 | |
| CN117351257B (zh) | 一种基于多模态信息的航运数据抽取方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |