CN110197213B - 基于神经网络的图像匹配方法、装置和设备 - Google Patents

基于神经网络的图像匹配方法、装置和设备 Download PDF

Info

Publication number
CN110197213B
CN110197213B CN201910424840.3A CN201910424840A CN110197213B CN 110197213 B CN110197213 B CN 110197213B CN 201910424840 A CN201910424840 A CN 201910424840A CN 110197213 B CN110197213 B CN 110197213B
Authority
CN
China
Prior art keywords
image
matched
matching
neural network
group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910424840.3A
Other languages
English (en)
Other versions
CN110197213A (zh
Inventor
李甲
付程晗
赵一凡
赵沁平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN201910424840.3A priority Critical patent/CN110197213B/zh
Publication of CN110197213A publication Critical patent/CN110197213A/zh
Application granted granted Critical
Publication of CN110197213B publication Critical patent/CN110197213B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于神经网络的图像匹配方法、装置和设备。该基于神经网络的图像匹配方法包括：将待匹配图像组输入神经网络模型，得到该待匹配图像组对应的特征向量；其中，该待匹配图像组包括至少两个待匹配图像；将该待匹配图像组对应的特征向量输入到神经网络模型全连接层的权重矩阵，得到图像匹配模型；将目标图像输入至该图像匹配模型，在该待匹配图像组中除该目标图像之外的其它待匹配图像中，确定与该目标图像匹配的至少一个匹配图像；其中，该目标图像为该待匹配图像组中的任一图像。该方法可以提高图像匹配的准确度。

Description

基于神经网络的图像匹配方法、装置和设备
技术领域
本发明涉及计算机技术，尤其涉及一种基于神经网络的图像匹配方法、装置和设备。
背景技术
图像语义的研究是计算机视觉领域的重要内容之一，在很多应用中都需要找到图像集中语义相近的图像，例如图像共分割任务。
现有的基于神经网络的图像共分割算法，通过输入一组共分割图像组，对图像两两之间进行一次共分割，把这些分割结果融合得到最后的共分割结果，然而这样所有图像两两计算的方式是复杂冗余的。如果能找到共分割图像组里面最适合共分割的图像对，即语义最相似的图像对，则不需要把所有的图像都进行两两共分割，而是把这些语义最相似的图像对进行共分割然后进行融合，这样可以提高图像共分割的处理效率。
在确定语义相似的图相对时，图像之间的语义相似度，即匹配度，通过度量图像之间的距离获得。现有的度量图像之间距离的方法有很多，例如：使用欧氏距离、余弦距离等等传统的度量学习方法，但是这些方法得到的结果准确度较低，使得图像匹配结果不准确。
发明内容
本发明提供一种基于神经网络的图像匹配方法、装置和设备，以提高图像匹配的准确度。
本发明提供一种基于神经网络的图像匹配方法，包括：
将待匹配图像组输入神经网络模型，得到待匹配图像组对应的特征向量；其中，待匹配图像组包括至少两个待匹配图像；
将待匹配图像组对应的特征向量输入到神经网络模型全连接层的权重矩阵，得到图像匹配模型；
将目标图像输入至该图像匹配模型，在待匹配图像组中除该目标图像之外的其它待匹配图像中，确定与该目标图像匹配的至少一个匹配图像；
其中，该目标图像为待匹配图像组中的任一图像。
可选的，该将目标图像输入至该图像匹配模型，在待匹配图像组中除该目标图像之外的其它待匹配图像中，确定与该目标图像匹配的至少一个匹配图像，包括：
将该目标图像输入至该图像匹配模型，获得该目标图像的特征向量；
根据该目标图像的特征向量和该图像匹配模型全连接层的权重矩阵，确定该目标图像与待匹配图像组中除该目标图像之外的每张待匹配图像之间的相似度；
根据各相似度，在待匹配图像组中除该目标图像之外的其它待匹配图像中，确定与该目标图像匹配的至少一个匹配图像。
可选的，该神经网络模型包括第一神经网络模型和第二神经网络模型，该将待匹配图像组输入神经网络模型，得到待匹配图像组对应的特征向量，包括：
将待匹配图像组分别输入至第一神经网络模型和第二神经网络模型，得到待匹配图像组对应的第一特征向量和对应的第二特征向量；
对应地：
该将待匹配图像组对应的特征向量输入到神经网络模型全连接层的权重矩阵，得到图像匹配模型，包括：
将待匹配图像组对应的第一特征向量输入到该第一神经网络模型全连接层的权重矩阵，得到第一图像匹配模型；
将待匹配图像组对应的第二特征向量输入到该第二神经网络模型全连接层的权重矩阵，得到第二图像匹配模型；
对应地：
该将目标图像输入至该图像匹配模型，在待匹配图像组中除该目标图像之外的其它待匹配图像中，确定与该目标图像匹配的至少一个匹配图像，包括：
将该目标图像分别输入至该第一图像匹配模型和该第二图像匹配模型，分别得到第一图像组和该第二图像组；
在该第一图像组和该第二图像组中，确定与该目标图像匹配的至少一个匹配图像。
可选的，该在该第一图像组和该第二图像组中，确定与该目标图像匹配的至少一个匹配图像，包括：
将该第一图像组和该二图像组中相同的图像，确定为与该目标图像匹配的图像。
可选的，该在该第一图像组和该第二图像组中，确定与该目标图像匹配的至少一个匹配图像，包括：
将该目标图像与该第一图像组和该第二图像组中各待匹配图像之间的相似度由大到小进行排序；
将前M个相似度对应的待匹配图像确定为与该目标图像匹配的图像。
可选的，将待匹配图像组输入神经网络模型之前，还包括：
构建并训练该神经网络模型；其中，该神经网络模型的全局损失由度量损失和分类损失确定。
本发明提供一种基于神经网络的图像匹配装置，包括：
第一处理模块，用于将待匹配图像组输入神经网络模型，得到待匹配图像组对应的特征向量；其中，待匹配图像组包括至少两个待匹配图像；
第二处理模块，用于将待匹配图像组对应的特征向量输入到神经网络模型全连接层的权重矩阵，得到图像匹配模型；
匹配模块，用于将目标图像输入至该图像匹配模型，在待匹配图像组中除该目标图像之外的其它待匹配图像中，确定与该目标图像匹配的至少一个匹配图像；
其中，该目标图像为待匹配图像组中的任一图像。
可选的，该匹配模块具体用于：
将该目标图像输入至该图像匹配模型，获得该目标图像的特征向量；
根据该目标图像的特征向量和该图像匹配模型全连接层的权重矩阵，确定该目标图像与待匹配图像组中除该目标图像之外的每张待匹配图像之间的相似度；
根据各相似度，在待匹配图像组中除该目标图像之外的其它待匹配图像中，确定与该目标图像匹配的至少一个匹配图像。
可选的，该神经网络模型包括第一神经网络模型和第二神经网络模型，第一处理模块具体用于：
将待匹配图像组分别输入至第一神经网络模型和第二神经网络模型，得到待匹配图像组对应的第一特征向量和对应的第二特征向量；
对应地，第二处理模块具体用于：
将待匹配图像组对应的第一特征向量输入到该第一神经网络模型全连接层的权重矩阵，得到第一图像匹配模型；
将待匹配图像组对应的第二特征向量输入到该第二神经网络模型全连接层的权重矩阵，得到第二图像匹配模型；
对应地，匹配模块具体用于：
将该目标图像分别输入至该第一图像匹配模型和该第二图像匹配模型，分别得到第一图像组和该第二图像组；
在该第一图像组和该第二图像组中，确定与该目标图像匹配的至少一个匹配图像。
可选的，匹配模块具体用于：
将该第一图像组和该二图像组中相同的图像，确定为与该目标图像匹配的图像。
可选的，匹配模块具体用于：
将该目标图像与该第一图像组和该第二图像组中各待匹配图像之间的相似度由大到小进行排序；
将前M个相似度对应的待匹配图像确定为与该目标图像匹配的图像。
可选的，该装置还包括：
训练模块，用于构建并训练该神经网络模型；其中，该神经网络模型的全局损失由度量损失和分类损失确定。
本发明提供一种基于神经网络的图像匹配设备，包括存储器和处理器；该存储器和该处理器连接；
该存储器，用于存储计算机程序；
该处理器，用于在计算机程序被执行时，实现如上述的基于神经网络的图像匹配方法。
本发明提供一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现如上述的基于神经网络的图像匹配方法。
本发明提供一种基于神经网络的图像匹配方法、装置和设备，通过将待匹配图像组输入神经网络模型，得到待匹配图像组对应的特征向量；其中，待匹配图像组包括至少两个待匹配图像；再将待匹配图像组对应的特征向量输入到神经网络模型全连接层的权重矩阵，得到图像匹配模型；进一步将目标图像输入至该图像匹配模型，在待匹配图像组中除该目标图像之外的其它待匹配图像中，确定与该目标图像匹配的至少一个匹配图像。本发明提供的基于神经网络的图像匹配方法、装置和设备，通过以神经网络模型为基础的图像匹配模型进行图像匹配，提高了图像匹配的准确度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的一种基于神经网络的图像匹配方法的流程示意图一；
图2为本发明提供的一种基于神经网络的图像匹配方法的流程示意图二；
图3为本发明提供的一种神经网络模型的结构示意图；
图4为本发明提供的一种图像匹配模型的结构示意图；
图5为本发明提供的一种基于神经网络的图像匹配装置的结构示意图；
图6为本发明提供的一种基于神经网络的图像匹配设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的实施例中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况，其中A，B可以是单数或者复数。在本发明的文字描述中，字符“/”一般表示前后关联对象是一种“或”的关系。
图1为本发明提供的一种基于神经网络的图像匹配方法的流程示意图一。该方法的执行主体为基于神经网络的图像匹配装置，该装置可通过软件和/或硬件的方式实现。如图1所示，本实施例的方法可以包括：
S101、将待匹配图像组输入神经网络模型，得到待匹配图像组对应的特征向量。
其中，待匹配图像组包括至少两个待匹配图像。
S102、将待匹配图像组对应的特征向量输入到神经网络模型全连接层的权重矩阵，得到图像匹配模型。
本实施例中，待匹配图像组中包括至少两个待匹配图像，图像匹配的目的是，对于任一待匹配图像，在待匹配图像组中确定与其相匹配的图像，即语义相近的图像。
首先将待匹配图像组输入神经网络模型中提取待匹配图像组对应的特征向量，该神经网络模型可用于将图像正确聚类；将得到的待匹配图像组对应的特征向量输入神经网络模型的全连接层的权重矩阵，从而将该神经网络模型转换为了图像匹配模型，也可称为检索库模型。即，该图像匹配图像模型的全连接层的权重矩阵由待匹配图像组对应的特征向量构成，示例地，若待匹配图像组中有n张待匹配图像，神经网络模型输出的图像特征向量为2048维，则全连接层的权重矩阵的维度为n*2048。
S103、将目标图像输入至图像匹配模型，在待匹配图像组中除目标图像之外的其它待匹配图像中，确定与目标图像匹配的至少一个匹配图像。
其中，目标图像为待匹配图像组中的任一图像。
利用该图像匹配模型可以对待匹配图像组中的任一图像进行图像匹配，示例地，将待匹配图像组中任一待匹配图像，即目标图像，输入图像匹配模型中，该图像匹配模型即可根据该目标图像以及全连接层的权重矩阵确定与目标图像匹配的至少一个匹配图像，该匹配图像为待匹配图像组中除目标图像之外的其它待匹配图像。
本实施例提供的基于神经网络的图像匹配方法包括将待匹配图像组输入神经网络模型，得到该待匹配图像组对应的特征向量；其中，该待匹配图像组包括至少两个待匹配图像；再将该待匹配图像组对应的特征向量输入到神经网络模型全连接层的权重矩阵，得到图像匹配模型；进一步将目标图像输入至该图像匹配模型，在该待匹配图像组中除该目标图像之外的其它待匹配图像中，确定与该目标图像匹配的至少一个匹配图像。该方法中采用以神经网络模型为基础的图像匹配模型进行图像匹配，提高了图像匹配的准确度。
此外，本实施例提供的图像匹配方法，可以针对性的应用于图像共分割，能够获得更准确的共分割图相对，从而使图像共分割的结果更为准确。
在上述实施例的基础上，对利用图像匹配模型对目标图像进行匹配的具体过程进行示例说明。图2为本发明提供的一种基于神经网络的图像匹配方法的流程示意图二。如图2所示，S103中将目标图像输入至图像匹配模型，在待匹配图像组中除目标图像之外的其它待匹配图像中，确定与目标图像匹配的至少一个匹配图像，包括：
S201、将目标图像输入至图像匹配模型，获得目标图像的特征向量；
S202、根据目标图像的特征向量和图像匹配模型全连接层的权重矩阵，确定目标图像与待匹配图像组中除目标图像之外的每张待匹配图像之间的相似度。
S203、根据各相似度，在待匹配图像组中除目标图像之外的其它待匹配图像中，确定与目标图像匹配的至少一个匹配图像。
将目标图像输入至图像匹配模型后，首先可以获得目标图像的特征向量，将该目标图像的特征向量与全连接层的权重矩阵进行运算，即可确定目标图像分别与待匹配图像组中其他图像之间的相似度。
具体的，图像匹配模型的全连接层将待匹配图像的特征向量映射为n个实数，再通过归一化指数函数softmax函数将这n个实数映射为概率值。其中，n为待匹配图像组中待匹配图像的数量，概率值表示目标图像与待匹配图像组中每个图像的相似度，与目标图像匹配的至少一个匹配图像可以为待匹配图像组中与目标图像相似度较高的至少一个图像，其中不包括目标图像，即，与目标图像匹配的至少一个匹配图像为待匹配图像组中除目标图像之外的其它待匹配图像中与目标图像相似度较高的至少一个图像。概率值或相似度具体可以通过以下公式(1)确定：
px＝softmax(WT·x+b) 公式(1)
其中，px为n维，其中的每一维表示目标图像与待匹配图像组中一个待匹配图像的相似度，WT为权重矩阵的转置，x为目标图像的特征向量，b为偏移量。
本实施提供的神经网络的图像匹配方法，在图1所示实施例的基础上，具体通过对目标图像的特征向量与全连接层的权重矩阵进行运算从而获得目标图像与待匹配图像组中各图像的相似度，从而获得更为准确的图像匹配结果。
在上述实施例的基础上，为了获得更为准确的匹配结果，可以采用两种具有不同主网络的神经网络模型分别进行图像的匹配，即，神经网络模型包括第一神经网络模型和第二神经网络模型，通过两种模型获得的匹配结果来共同确定与目标图像匹配的图像。则S101中将待匹配图像组输入神经网络模型，得到待匹配图像组对应的特征向量，包括：
将待匹配图像组分别输入至第一神经网络模型和第二神经网络模型，得到待匹配图像组对应的第一特征向量和对应的第二特征向量。
对应地：
S102中将待匹配图像组对应的特征向量输入到神经网络模型全连接层的权重矩阵，得到图像匹配模型，包括：
将待匹配图像组对应的第一特征向量输入到第一神经网络模型全连接层的权重矩阵，得到第一图像匹配模型；
将待匹配图像组对应的第二特征向量输入到第二神经网络模型全连接层的权重矩阵，得到第二图像匹配模型；
对应地：
S103中将目标图像输入至图像匹配模型，在待匹配图像组中除目标图像之外的其它待匹配图像中，确定与目标图像匹配的至少一个匹配图像，包括：
将目标图像分别输入至第一图像匹配模型和第二图像匹配模型，分别得到第一图像组和第二图像组；
在第一图像组和第二图像组中，确定与目标图像匹配的至少一个匹配图像。
上述分别利用第一神经网络模型和第二神经网络模型获取第一图像组和第二图像组的过程与S101-S103的原理相同，此处不再赘述。
其中，第一图像组为通过第一神经网络模型获得的在待匹配图像组中除目标图像之外的其它待匹配图像中与目标图像匹配的至少一个图像，第二图像组为通过第而神经网络模型获得的在待匹配图像组中除目标图像之外的其它待匹配图像中与目标图像匹配的至少一个图像。
在此基础上，在第一图像组和第二图像组中，确定与目标图像匹配的至少一个匹配图像，包括两种可行的实现方式。
在一种实现方式中，将第一图像组和二图像组中相同的图像，确定为与目标图像匹配的图像。
在另一种实现方式中，将目标与第一图像组和第二图像组中各待匹配图像之间的相似度由大到小进行排序；将前M个相似度对应的待匹配图像确定为与目标图像匹配的图像。
此外，以上两种实现方式还可以结合应用，即，将第一图像组和二图像组中相同的图像，确定为与目标图像匹配的图像之后，还可继续将第一图像组和二图像组中其他不相同的图像按照相似度进行排序，将相似度高的图像确定为与目标图像匹配的图像。
示例地，本发明中可以设置图像匹配模型输出与目标图像匹配的6张图像，即第一图像组和第二图像组分别输出6张图像，假设第一图像组和第二图像组中有3张图像相同，则将该3张相同的图像作为与目标图像匹配的图像，同时将其他不相同的图像按照相似度进行排序，再选取相似度高的3张图像作为与目标图像匹配的图像。
以上实施例是在已知神经网络模型的情况下，利用神经网络模型进行图像的匹配，在实际应用中，在利用神经网络模型实现上述方法之前，还包括：
构建并训练神经网络模型；其中，该神经网络模型的全局损失由度量损失和分类损失确定。
图3为本发明提供的一种神经网络模型的结构示意图。在构建神经网络模型时，模型的主网络可以根据具体情况进行选择，例如，本实施例中，第一神经网络模型的主网络为Resnet152，第二神经网络模型的主网络为dpn107。本发明对神经网络模型的主网络不作具体限定。以下通过神经网络模型的主网络为Resnet152对模型的构建和训练进行示例说明。
在进行模型训练之前，首先需要确定训练图像和测试图像，其中，测试图像的类别为训练图像中所包含的类别。例如，可以选择ImageNet作为模型的训练集，将MSCOCO数据集中与ImageNet标签一致的20类作为测试集。训练集可以在ImageNet的这20个大类中分别选择10个小类作为细分类别，例如在狗的类别下选择日本狗、小猎犬、美洲赤狗等小类。
可选的，本实施例中还可包括对测试集的预处理，以测试集为MSCOCO数据集为例，由于MSCOCO数据集标注程度和粒度差异性较大，即一张图像有多个类别标签，因此需要把选取出来的20个类，把图像中数据这些类别的物体按照最小包围盒剪裁出来，作为最终的测试集。
训练数据的三元组图像的选取：把训练图像按照类别存储为一个字典，图片类别作为字典的键值key，图片名作为对应key的值value。首先在字典里面随机选取一个key，即选定一个类别，在这个类别里随机选择一张图像作为原始图像，即anchor图像xa；然后再在这个类别里面选择除anchor图像之外的任意图像作为正样本图像，即positive图像xp；接着随机选取除当前key之外的任意key，在这个key对应的类别里面选择任意一张图像作为负样本图像，即negative图像xn，至此，三元组(xa，xp，xn)选择完毕。
利用主干网络正向传播提取三元组图像的特征，选取最后一个池化层之前的2048*7*7的特征图，归一化得到三元组中三个图像分别对应的2048维向量f(xa)，f(xp)，f(xn)。然后再计算f(xa)和f(xp)之间的距离dap，以及f(xa)和f(xn)之间的距离dan，示例的，本实施例中采用欧式距离确定特征向量之间的距离，具体通过以下公式(2)和公式(3)分别计算：
Figure BDA0002067154890000101
Figure BDA0002067154890000102
由于对神经网络模型进行训练的目的是使得同一类别的图像距离dap很近，不同类别的图像距离dan很远。因此，需要设定一个阈值(margin)来限定dap以及dan，具体可通过以下公式(4)确定：
dan-dap>m 公式(4)
其中，m为设定的阈值。
并根据公式(4)将度量损失(triplet loss)定义为以下公式(5)：
Figure BDA0002067154890000111
其中，Tloss为度量损失，N表示所有的类别数，i表示任意一个类别。
在保证类内距离最小以及类间距离最大的同时，还需要保证图像分类的准确性，因此还需要用一个分类损失来约束，将2048*7*7的特征图池化后经过全连接得到分类向量，结合图像的实际标签计算分类损失，具体通过以下公式(6)确定：
Figure BDA0002067154890000112
其中，Clsloss为分类损失，x为目标图像，y为目标图像的实际类别标签，yp为目标图像的预测类别标签，n为训练图像的数量。
度量损失用于限定同类图像距离和不同类图像距离之间的差异关系，分类损失用于限定图像最终类别的交叉熵，将度量损失和分类损失进行加权求和得到正向传播的全局损失Loss，示例地，可以将度量损失和分类损失的权值均设置为0.5，则全局损失Loss通过以下公式(7)确定：
Loss＝0.5*Tloss+0.5*Clsloss 公式(7)
在获得全局损失后，将全局损失反向传播，修改每一层的权重，反复迭代得到最终的模型。其中，模型训练时的margin可以设置为5，批大小(batch size)设置为选择8个类，每个类选择8张图进行训练，把20类都遍历一遍，为完成一次训练，即一个epoch完成，本实施例中可以设定一共训练8000次得到最终的模型。上述训练过程中的参数均可根据实际情况进行设置，本发明对此不作限定。训练完成的神经网络模型也可称为距离度量模型，由上述神经网络模型通过图1或图2所示的方法所获得的图像匹配模型也可称为距离度量编码器。图4为本发明提供的一种图像匹配模型的结构示意图。
神经网络模型的主网络为dpn107时，训练过程和上述类似。其中，选取最后一个池化层之前的2688*7*7的特征图，归一化之后得到一个2688维的特征向量。通过以上模型构建和训练过程获得神经网络模型后，还可利用测试集对模型进行测试，确定模型的准确性。
图5为本发明提供的一种基于神经网络的图像匹配装置的结构示意图。如图5所示，本实施例的基于神经网络的图像匹配装置50可以包括：
第一处理模块501，用于将待匹配图像组输入神经网络模型，得到该待匹配图像组对应的特征向量；其中，该待匹配图像组包括至少两个待匹配图像。
第二处理模块502，用于将该待匹配图像组对应的特征向量输入到神经网络模型全连接层的权重矩阵，得到图像匹配模型。
匹配模块503，用于将目标图像输入至该图像匹配模型，在该待匹配图像组中除该目标图像之外的其它待匹配图像中，确定与该目标图像匹配的至少一个匹配图像。
其中，该目标图像为该待匹配图像组中的任一图像。
可选的，匹配模块503具体用于：
将该目标图像输入至该图像匹配模型，获得该目标图像的特征向量；
根据该目标图像的特征向量和该图像匹配模型全连接层的权重矩阵，确定该目标图像与该待匹配图像组中除该目标图像之外的每张待匹配图像之间的相似度；
根据各相似度，在该待匹配图像组中除该目标图像之外的其它待匹配图像中，确定与该目标图像匹配的至少一个匹配图像。
该神经网络模型包括第一神经网络模型和第二神经网络模型，第一处理模块501具体用于：
将该待匹配图像组分别输入至第一神经网络模型和第二神经网络模型，得到该待匹配图像组对应的第一特征向量和对应的第二特征向量；
对应地，第二处理模块502具体用于：
将该待匹配图像组对应的第一特征向量输入到该第一神经网络模型全连接层的权重矩阵，得到第一图像匹配模型；
将该待匹配图像组对应的第二特征向量输入到该第二神经网络模型全连接层的权重矩阵，得到第二图像匹配模型；
对应地，匹配模块503具体用于：
将该目标图像分别输入至该第一图像匹配模型和该第二图像匹配模型，分别得到第一图像组和该第二图像组；
在该第一图像组和该第二图像组中，确定与该目标图像匹配的至少一个匹配图像。
可选的，匹配模块503具体用于：
将该第一图像组和该二图像组中相同的图像，确定为与该目标图像匹配的图像。
可选的，匹配模块503具体用于：
将该目标图像与该第一图像组和该第二图像组中各待匹配图像之间的相似度由大到小进行排序；
将前M个相似度对应的待匹配图像确定为与该目标图像匹配的图像。
可选的，该装置50还包括：
训练模块504，用于构建并训练该神经网络模型；其中，该神经网络模型的全局损失由度量损失和分类损失确定。
本实施例的装置，可以用于执行图1或图2所示实施例的基于神经网络的图像匹配方法，其实现原理和技术效果类似，此处不再赘述。
图6为本发明提供的一种基于神经网络的图像匹配设备的结构示意图。如图6所示，该基于神经网络的图像匹配设备60包括存储器601和处理器602；存储器601和处理器602连接。
存储器601，用于存储计算机程序；处理器602，用于在计算机程序被执行时，实现以上实施例中的基于神经网络的图像匹配方法。
本发明提供一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现以上实施例中的基于神经网络的图像匹配方法。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (6)

1.一种基于神经网络的图像匹配方法，其特征在于，包括：
将待匹配图像组输入神经网络模型，得到所述待匹配图像组对应的特征向量；其中，所述待匹配图像组包括至少两个待匹配图像；
将所述待匹配图像组对应的特征向量输入到神经网络模型全连接层的权重矩阵，得到图像匹配模型；
将目标图像输入至所述图像匹配模型，在所述待匹配图像组中除所述目标图像之外的其它待匹配图像中，确定与所述目标图像匹配的至少一个匹配图像；
其中，所述目标图像为所述待匹配图像组中的任一图像；
所述将目标图像输入至所述图像匹配模型，在所述待匹配图像组中除所述目标图像之外的其它待匹配图像中，确定与所述目标图像匹配的至少一个匹配图像，包括：
将所述目标图像输入至所述图像匹配模型，获得所述目标图像的特征向量；
根据所述目标图像的特征向量和所述图像匹配模型全连接层的权重矩阵，确定所述目标图像与所述待匹配图像组中除所述目标图像之外的每张待匹配图像之间的相似度；
根据各相似度，在所述待匹配图像组中除所述目标图像之外的其它待匹配图像中，确定与所述目标图像匹配的至少一个匹配图像；
所述神经网络模型包括第一神经网络模型和第二神经网络模型，所述将待匹配图像组输入神经网络模型，得到所述待匹配图像组对应的特征向量，包括：
将所述待匹配图像组分别输入至第一神经网络模型和第二神经网络模型，得到所述待匹配图像组对应的第一特征向量和对应的第二特征向量；
对应地：
所述将所述待匹配图像组对应的特征向量输入到神经网络模型全连接层的权重矩阵，得到图像匹配模型，包括：
将所述待匹配图像组对应的第一特征向量输入到所述第一神经网络模型全连接层的权重矩阵，得到第一图像匹配模型；
将所述待匹配图像组对应的第二特征向量输入到所述第二神经网络模型全连接层的权重矩阵，得到第二图像匹配模型；
对应地：
所述将目标图像输入至所述图像匹配模型，在所述待匹配图像组中除所述目标图像之外的其它待匹配图像中，确定与所述目标图像匹配的至少一个匹配图像，包括：
将所述目标图像分别输入至所述第一图像匹配模型和所述第二图像匹配模型，分别得到第一图像组和所述第二图像组；
在所述第一图像组和所述第二图像组中，确定与所述目标图像匹配的至少一个匹配图像。
2.根据权利要求1所述的方法，其特征在于，所述在所述第一图像组和所述第二图像组中，确定与所述目标图像匹配的至少一个匹配图像，包括：
将所述第一图像组和所述第二图像组中相同的图像，确定为与所述目标图像匹配的图像。
3.根据权利要求1所述的方法，其特征在于，所述在所述第一图像组和所述第二图像组中，确定与所述目标图像匹配的至少一个匹配图像，包括：
将所述目标图像与所述第一图像组和所述第二图像组中各待匹配图像之间的相似度由大到小进行排序；
将前M个相似度对应的待匹配图像确定为与所述目标图像匹配的图像。
4.根据权利要求1-3任一项所述的方法，其特征在于，将待匹配图像组输入神经网络模型之前，还包括：
构建并训练所述神经网络模型；其中，所述神经网络模型的全局损失由度量损失和分类损失确定。
5.一种基于神经网络的图像匹配装置，其特征在于，包括：
第一处理模块，用于将待匹配图像组输入神经网络模型，得到所述待匹配图像组对应的特征向量；其中，所述待匹配图像组包括至少两个待匹配图像；
第二处理模块，用于将所述待匹配图像组对应的特征向量输入到神经网络模型全连接层的权重矩阵，得到图像匹配模型；
匹配模块，用于将目标图像输入至所述图像匹配模型，在所述待匹配图像组中除所述目标图像之外的其它待匹配图像中，确定与所述目标图像匹配的至少一个匹配图像；
其中，所述目标图像为所述待匹配图像组中的任一图像；
所述匹配模块具体用于：
将所述目标图像输入至所述图像匹配模型，获得所述目标图像的特征向量；
根据所述目标图像的特征向量和所述图像匹配模型全连接层的权重矩阵，确定所述目标图像与所述待匹配图像组中除所述目标图像之外的每张待匹配图像之间的相似度；
根据各相似度，在所述待匹配图像组中除所述目标图像之外的其它待匹配图像中，确定与所述目标图像匹配的至少一个匹配图像；
所述神经网络模型包括第一神经网络模型和第二神经网络模型，第一处理模块具体用于：
将所述待匹配图像组分别输入至第一神经网络模型和第二神经网络模型，得到所述待匹配图像组对应的第一特征向量和对应的第二特征向量；
对应地，第二处理模块具体用于：
将所述待匹配图像组对应的第一特征向量输入到所述第一神经网络模型全连接层的权重矩阵，得到第一图像匹配模型；
将所述待匹配图像组对应的第二特征向量输入到所述第二神经网络模型全连接层的权重矩阵，得到第二图像匹配模型；
对应地，匹配模块具体用于：
将所述目标图像分别输入至所述第一图像匹配模型和所述第二图像匹配模型，分别得到第一图像组和所述第二图像组；
在所述第一图像组和所述第二图像组中，确定与所述目标图像匹配的至少一个匹配图像。
6.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如上述权利要求1-4中任一项所述的基于神经网络的图像匹配方法。
CN201910424840.3A 2019-05-21 2019-05-21 基于神经网络的图像匹配方法、装置和设备 Active CN110197213B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910424840.3A CN110197213B (zh) 2019-05-21 2019-05-21 基于神经网络的图像匹配方法、装置和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910424840.3A CN110197213B (zh) 2019-05-21 2019-05-21 基于神经网络的图像匹配方法、装置和设备

Publications (2)

Publication Number Publication Date
CN110197213A CN110197213A (zh) 2019-09-03
CN110197213B true CN110197213B (zh) 2021-06-04

Family

ID=67752999

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910424840.3A Active CN110197213B (zh) 2019-05-21 2019-05-21 基于神经网络的图像匹配方法、装置和设备

Country Status (1)

Country Link
CN (1) CN110197213B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111179270A (zh) * 2019-11-21 2020-05-19 北京航空航天大学 基于注意力机制的图像共分割方法和装置
CN111612063A (zh) * 2020-05-20 2020-09-01 济南浪潮高新科技投资发展有限公司 一种图像匹配方法、装置、设备及计算机可读存储介质
CN114168468B (zh) * 2021-12-07 2022-07-15 广州掌动智能科技有限公司 软件测试系统及其控制方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105631430A (zh) * 2015-12-30 2016-06-01 浙江宇视科技有限公司 一种人脸图像的匹配方法和装置
CN106407891A (zh) * 2016-08-26 2017-02-15 东方网力科技股份有限公司 基于卷积神经网络的目标匹配方法及装置
CN108710904A (zh) * 2018-05-10 2018-10-26 上海交通大学 基于递归神经网络的图像匹配方法及系统
CN109670591A (zh) * 2018-12-14 2019-04-23 深圳市商汤科技有限公司 一种神经网络的训练方法及图像匹配方法、装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109426831B (zh) * 2017-08-30 2022-12-13 腾讯科技（深圳）有限公司 图片相似匹配及模型训练的方法、装置及计算机设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105631430A (zh) * 2015-12-30 2016-06-01 浙江宇视科技有限公司 一种人脸图像的匹配方法和装置
CN106407891A (zh) * 2016-08-26 2017-02-15 东方网力科技股份有限公司 基于卷积神经网络的目标匹配方法及装置
CN108710904A (zh) * 2018-05-10 2018-10-26 上海交通大学 基于递归神经网络的图像匹配方法及系统
CN109670591A (zh) * 2018-12-14 2019-04-23 深圳市商汤科技有限公司 一种神经网络的训练方法及图像匹配方法、装置

Also Published As

Publication number Publication date
CN110197213A (zh) 2019-09-03

Similar Documents

Publication Publication Date Title
CN106570464B (zh) 一种快速处理人脸遮挡的人脸识别方法及装置
CN111291183B (zh) 利用文本分类模型进行分类预测的方法及装置
US10713298B2 (en) Video retrieval methods and apparatuses
CN102236675B (zh) 图像特征点匹配对处理、图像检索方法及设备
CN112100529B (zh) 搜索内容排序方法、装置、存储介质和电子设备
CN110197213B (zh) 基于神经网络的图像匹配方法、装置和设备
CN111382868A (zh) 神经网络结构搜索方法和神经网络结构搜索装置
CN111127364B (zh) 图像数据增强策略选择方法及人脸识别图像数据增强方法
CN110046706B (zh) 模型生成方法、装置及服务器
CN111026544B (zh) 图网络模型的节点分类方法、装置及终端设备
CN113360701B (zh) 一种基于知识蒸馏的素描图处理方法及其系统
CN110135505B (zh) 图像分类方法、装置、计算机设备及计算机可读存储介质
CN116775922A (zh) 基于语言与视觉细节特征融合的遥感图像跨模态检索方法
CN113222068B (zh) 基于邻接矩阵指导标签嵌入的遥感图像多标签分类方法
CN113065525B (zh) 年龄识别模型训练方法、人脸年龄识别方法及相关装置
CN115170449B (zh) 一种多模态融合场景图生成方法、系统、设备和介质
CN114241505A (zh) 化学结构图像的提取方法、装置、存储介质及电子设备
CN111179270A (zh) 基于注意力机制的图像共分割方法和装置
CN116912796A (zh) 一种基于新型动态级联YOLOv8的自动驾驶目标识别方法及装置
CN111241258A (zh) 数据清洗方法、装置、计算机设备及可读存储介质
CN109101984B (zh) 一种基于卷积神经网络的图像识别方法及装置
CN113420117A (zh) 一种基于多元特征融合的突发事件分类方法
CN112380861A (zh) 模型训练方法、装置及意图识别方法、装置
CN111782805A (zh) 一种文本标签分类方法及系统
CN111611796A (zh) 下位词的上位词确定方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant