CN109740659B - 一种图像匹配方法及装置、电子设备、存储介质 - Google Patents

Abstract

本公开实施例公开了一种图像匹配方法，该方法包括：从不同视角的不同图像中获取至少两个匹配对象，以及至少两个匹配对象对应的至少两个二维姿态；基于预设外观识别网络确定至少两个匹配对象的外观相似性结果；根据至少两个二维姿态确定至少两个匹配对象的几何相似性结果；根据外观相似性结果和几何相似性结果确定目标相似性结果；基于预设约束条件对目标相似性结果进行全局一致性匹配求解，获得至少两个匹配对象的对应关系。本公开实施例的技术方案，结合外观和几何约束的方法衡量不同图像中人与人之间的相似性，并进一步基于约束条件进行匹配计算以获取不同图像中人物图像的对应关系，提高了匹配结果的准确性。

Description

一种图像匹配方法及装置、电子设备、存储介质

技术领域

本公开涉及计算机视觉技术领域，尤其涉及一种图像匹配方法及装置、电子设备、存储介质。

背景技术

目前，多视角下多人的三维姿态估计是计算机视觉领域的重要问题。多视角下多人的三维姿态估计可以应用到很多领域，例如，人机交互、视频交互，以及运动视频分析等。多视角图像中进行多人匹配是进行多视角下多人的三维姿态估计的基础，即根据不同视角图像的各个二维姿态，匹配出不同视角图像中同一个人。

在现有技术中，通常采用极几何约束和图形结构模型来匹配不同视角图像中的同一个人，然而，由于多视角图像中多人交互往往会存在严重的遮挡，同时，每个图像中获取的场景也是有限的，场景中的人数也是无法预测的，不同视角中的人也存在很大差异，因此，匹配结果的准确性较低。

发明内容

本公开实施例期望提供一种图像匹配方法及装置、电子设备、存储介质，结合外观和几何约束的方法衡量不同图像中人与人之间的相似性，并进一步基于约束条件进行匹配计算以获取不同图像中人物图像的对应关系，提高了匹配结果的准确性。

本公开实施例的技术方案是这样实现的：

本公开实施例提供了一种图像匹配方法，所述方法包括：

从不同视角的不同图像中获取至少两个匹配对象，以及所述至少两个匹配对象对应的至少两个二维姿态；

基于预设外观识别网络确定所述至少两个匹配对象的外观相似性结果；

根据所述至少两个二维姿态确定所述至少两个匹配对象的几何相似性结果；

根据所述外观相似性结果和所述几何相似性结果确定目标相似性结果；

基于预设约束条件对所述目标相似性结果进行全局一致性匹配求解，获得所述至少两个匹配对象的对应关系。

在上述方案中，所述基于预设外观识别网络确定所述至少两个匹配对象的外观相似性结果，包括：

将所述至少两个匹配对象中每一个匹配对象分别输入所述预设外观识别网络，获得所述至少两个匹配对象中每一个匹配对象对应的外观特征；

分别计算所述至少两个匹配对象中每一个匹配对象对应的外观特征，与所述至少两个匹配对象中不属于同一图像的每一个其它匹配对象对应的外观特征之间的欧式距离，获得至少一个距离结果；

按照第一预设映射方式对所述至少一个距离结果进行映射，获得所述外观相似性结果。

在上述方案中，所述根据所述至少两个二维姿态确定所述至少两个匹配对象的几何相似性结果，包括：

获取所述至少两个二维姿态中每一个二维姿态对应的子相似性结果；

根据所述子相似性结果组成所述几何相似性结果。

在上述方案中，所述获取所述至少两个二维姿态中每一个二维姿态对应的子相似性结果，包括：

获取第一二维姿态在所述不同图像包括的第一图像中对应的第一极线；其中，所述第一二维姿态为所述至少两个二维姿态中的任意一个二维姿态，且不属于所述第一图像；

计算所述至少两个二维姿态中属于所述第一图像的每一个第二二维姿态与所述第一极线的距离，获得至少一个极线距离；

按照第二预设映射方式对所述至少一个极线距离进行映射，获得所述第一二维姿态对应的子相似性结果。

在上述方案中，所述根据所述外观相似性结果和所述几何相似性结果确定目标相似性结果，包括：

计算所述外观相似性结果和所述几何相似性结果的几何平均，获得所述目标相似性结果。

在上述方案中，所述基于预设约束条件对所述目标相似性结果进行全局一致性匹配求解，获得所述至少两个匹配对象的对应关系，包括：

按照预设匹配求解算法，结合回路一致性约束条件和双随机约束条件，对所述目标相似性结果进行全局一致性匹配求解，获得所述至少两个匹配对象的对应关系。

在上述方案中，所述获得所述至少两个匹配对象的对应关系之后，所述方法还包括：

根据所述对应关系，从所述至少两个匹配对象中确定是否存在至少两个目标匹配对象对应同一实体对象。

在上述方案中，所述从所述至少两个匹配对象中确定是否存在至少两个目标匹配对象对应同一实体对象之后，所述方法还包括：

若所述至少两个匹配对象中存在所述至少两个目标匹配对象，从所述至少两个二维姿态中获取所述至少两个目标匹配对象对应的至少两个目标二维姿态；

根据所述至少两个目标匹配对象和所述至少两个目标二维姿态构建目标三维姿态。

本公开实施例提供了一种图像匹配装置，所述图像匹配装置包括：

信息获取模块，用于从不同视角的不同图像中获取至少两个匹配对象，以及所述至少两个匹配对象中每一个匹配对象对应的二维姿态；

第一确定模块，用于基于预设外观识别网络确定所述至少两个匹配对象的外观相似性结果；

第二确定模块，用于根据所述二维姿态确定所述至少两个匹配对象的几何相似性结果；

第三确定模块，用于根据所述外观相似性结果和所述几何相似性结果确定目标相似性结果；

匹配计算模块，用于基于预设约束条件对所述目标相似性结果进行全局一致性匹配求解，获得所述至少两个匹配对象的对应关系。

在上述图像匹配装置中，所述第一确定模块，具体用于将所述至少两个匹配对象中每一个匹配对象分别输入所述预设外观识别网络，获得所述至少两个匹配对象中每一个匹配对象对应的外观特征；分别计算所述至少两个匹配对象中每一个匹配对象对应的外观特征，与所述至少两个匹配对象中不属于同一图像的每一个其它匹配对象对应的外观特征之间的欧式距离，获得至少一个距离结果；按照第一预设映射方式对所述至少一个距离结果进行映射，获得所述外观相似性结果。

在上述图像匹配装置中，所述第二确定模块，具体用于获取所述至少两个二维姿态中每一个二维姿态对应的子相似性结果；根据所述子相似性结果组成所述几何相似性结果。

在上述图像匹配装置中，所述第二确定模块，具体用于获取第一二维姿态在所述不同图像中包括的第一图像中对应的第一极线；其中，所述第一二维姿态为所述至少两个二维姿态中的任意一个二维姿态，且不属于所述第一图像；计算所述至少两个二维姿态中属于所述第一图像的每一个第二二维姿态与所述第一极线的距离，获得至少一个极线距离；按照第二预设映射方式对所述至少一个极线距离进行映射，获得所述第一二维姿态对应的子相似性结果。

在上述图像匹配装置中，所述第三确定模块，具体用于计算所述外观相似性结果和所述几何相似性结果的几何平均，获得所述目标相似性结果。

在上述图像匹配装置中，所述匹配计算模块，具体用于按照预设匹配求解算法，结合回路一致性约束条件和双随机约束条件，对所述目标相似性结果进行全局一致性匹配求解，获得所述至少两个匹配对象的对应关系。

在上述图像匹配装置中，所述匹配计算模块，还用于根据所述对应关系，从所述至少两个匹配对象中确定是否存在至少两个目标匹配对象对应同一实体对象。

在上述图像匹配装置中，还包括：三维构建模块；

所述三维构建模块，用于若所述至少两个匹配对象中存在所述至少两个目标匹配对象，从所述至少两个二维姿态中获取所述至少两个目标匹配对象对应的至少两个目标二维姿态；根据所述至少两个目标匹配对象和所述至少两个目标二维姿态构建目标三维姿态。

本公开实施例提供了一种电子设备，所述电子设备包括：处理器、存储器和通信总线；其中，

所述通信总线，用于实现所述处理器和所述存储器之间的连接通信；

所述处理器，用于执行所述存储器中存储的图像匹配程序，以实现上述图像匹配方法。

所述电子设备为手机或平板电脑。

本公开实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可以被一个或者多个处理器执行，以实现上述图像匹配方法。

由此可见，本公开实施例提供的图像匹配方法，从不同视角的不同图像中获取至少两个匹配对象，以及至少两个匹配对象对应的至少两个二维姿态；基于预设外观识别网络确定至少两个匹配对象的外观相似性结果；根据至少两个二维姿态确定至少两个匹配对象的几何相似性结果；根据外观相似性结果和几何相似性结果确定目标相似性结果；基于预设约束条件对目标相似性结果进行全局一致性匹配求解，获得至少两个匹配对象的对应关系。也就是说，本公开实施例提供的技术方案，结合外观和几何约束的方法衡量不同图像中人与人之间的相似性，并进一步基于约束条件进行匹配计算以获取不同图像中人物图像的对应关系，提高了匹配结果的准确性。

附图说明

图1为本公开实施例提供的一种图像匹配方法的流程示意图；

图2为本公开实施例提供的一种示例性的匹配对象和二维姿态的示意图；

图3为本公开实施例提供的一种示例性的目标相似性结果的示意图；

图4为本公开实施例提供的一种示例性的匹配对象的对应关系的示意图一；

图5为本公开实施例提供的一种示例性的匹配对象的对应关系的示意图二；

图6为本公开实施例提供的一种图像匹配装置的结构示意图；

图7为本公开实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述。

实施例一

本公开实施例提供了一种图像匹配方法。图1为本公开实施例提供的一种图像匹配方法的流程示意图。如图1所示，主要包括以下步骤：

S101、从不同视角的不同图像中获取至少两个匹配对象，以及至少两个匹配对象对应的至少两个二维姿态。

在本公开的实施例中，图像匹配装置可以从不同视角的不同图像中获取至少两个匹配对象，以及至少两个匹配对象对应的至少两个二维姿态。

需要说明的是，在本公开的实施例中，匹配对象可以为不同视角的不同图像中的人物图像，即对于不同视角的不同图像，图像匹配装置均从中获取到每一个人物图像，最终的目的是在于匹配出不同图像中属于同一个人物的人物图像，也就是确定不同图像中，人物图像的对应关系。当然，匹配对象也可以为其它类型的图像区域，例如，植物或者动物，具体的匹配对象本公开实施例不作限定。

需要说明的是，在本公开的实施例中，图像匹配装置是从不同视角的不同图像中获取匹配对象，例如，人物图像，其中，一个图像中包括的人物图像可以为多个，具体的匹配对象数量、图像数量，图像成像视角本公开实施例不作限定。

需要说明的是，在本公开的实施例中，至少两个匹配对象对应至少两个二维姿态，实际上也就是一个匹配对象对应一个二维姿态。

示例性的，在本公开的实施例中，图像匹配装置是从视角1对应的图像1、视角2对应的图像2、视角3对应的图像3、视角4对应的图像4和视角5下对应的图像5中获取人物图像，具体的，从图像1中获取到人物图像1和人物图像2，从图像2中获取到人物图像3和人物图像4，从图像3中获取到人物图像5和人物图像6，从图像4中获取到人物图像7和人物图像8，从图像，5中获取到人物图像9和人物图像10，这10个人物图像均为匹配对象，而每一个人物图像具有对应的二维姿态，也就是10个人物图像对应10个二维姿态。

需要说明的是，在本公开的实施例中，图像匹配装置可以通过预设一个卷积神经网络来实现，将不同图像中每一个图像分别输入卷积神经网络，即可检测出每一个图像中的人物图像，从而分割出来，这些人物图像均为匹配对象。具体的获取方法本公开实施例不作限定。

需要说明的是，在本公开的实施例中，匹配对象为不同视角下形成的不同图像中的人物图像，每一个匹配对象对应的二维姿态，也就是人物图像的二维姿态。图像匹配装置可以从每一个人物图像中选取一定数量的姿态点，这些姿态点按照一定的顺序连接，实际上就体现了人物图像的姿态。具体的二维姿态本公开实施例不作限定。

图2为本公开实施例提供的一种示例性的匹配对象和二维姿态的示意图。如图2所示，共有5视角对应的5个不同图像，即图像1、图像2、图像3、图像4和图像5，图像匹配装置可以获取每一个图像中的人物图像，并从每一个人物图像中提取人物的鼻子和肩膀等多个姿态点进行连接，,组成了人物图像对应的二维姿态。

可以理解的是，在本公开的实施例中，图像匹配装置获取匹配对象，以及匹配对象对应的二维姿态，目的在于对匹配对象之间进行相似性的判断，确定匹配对象之间的对应关系。

S102、基于预设外观识别网络确定至少两个匹配对象的外观相似性结果。

在本公开的实施例中，图像匹配装置在获取至少两个匹配对象之后，即可基于预设外观识别网络确定至少两个匹配对象的外观相似性结果。

需要说明的是，在本公开的实施例中，图像匹配装置基于预设外观识别网络确定至少两个匹配对象的外观相似性结果，实际上就是衡量不同匹配对象之间的外观相似度。

具体的，在本公开的实施例中，图像匹配装置基于预设外观识别网络确定至少两个匹配对象的外观相似性结果，包括：将至少两个匹配对象中每一个匹配对象分别输入预设外观识别网络，获得至少两个匹配对象中每一个匹配对象对应的外观特征；分别计算至少两个匹配对象中每一个匹配对象对应的外观特征，与至少两个匹配对象中不属于同一图像的每一个其它匹配对象对应的外观特征之间的欧式距离，获得至少一个距离结果；按照第一预设映射方式对至少一个距离结果进行映射，获得外观相似性结果。

需要说明的是，在本公开的实施例中，预设外观识别网络可以为行人重识别网络，图像匹配装置将每一个匹配对象，即每一个人物图像分别输入行人重识别网络，通过行人重识别网络即可提取每一个人物图像的外观特征，其中，该外观特征实际上可以是人物图像中人物的特征向量，因此，图像匹配装置可以计算每一个人物图像的特征向量与不属于同一图像的其它人物图像之间的欧式距离，获得不同的距离结果，该距离结果表征了进行欧式距离计算的两个特征向量各自对应的人物图像之间的外观相似性。具体的外观识别网络本公开实施例不作限定。

示例性的，在本公开的实施例中，图像匹配装置从两个不同视角对应的不同图像，即图像1和图像2中获取人物图像，其中，从图像1中获取到人物图像1和人物图像2，从图像2中获取到人物图像3、人物图像4和人物图像5。图像匹配装置可以将人物图像1、人物图像2、人物图像3、人物图像4和人物图像5分别输入行人重识别网络，从而获得人物图像1对应的外观特征1、人物图像2对应的外观特征2、人物图像3对应的外观特征3、人物图像4对应的外观特征4，以及人物图像5对应的外观特征5，之后，对于外观特征1，图像匹配装置可以分别计算与图像2中的每一个人物图像对应的外观特征之间的欧式距离，得到外观特征1和外观特征3之间的欧式距离为L1，外观特征1和外观特征4之间的欧式距离为L2，外观特征1和外观特征5之间的欧式距离为L3，同样的，对于外观特征2，计算外观特征2和外观特征3之间的欧式距离为L4，外观特征2和外观特征4之间的欧式距离为L5，外观特征2和外观特征5之间的欧式距离为L6，以此类推，图像匹配装置对于每一个外观特征均执行上述计算操作，获得多个距离结果，之后，图像匹配装置可以将这些距离结果按照第一预设映射方式进行映射，映射成为0到1之间的实数，以表征外观特征对应的人物图像的外观相似性。

可以理解的是，在本公开的实施例中，图像匹配装置计算出的距离结果为一个具体的距离数值，例如，计算出人物图像1对应的外观特征1和人物图像3对应的外观特征3之间的距离结果为3.2，但是，无法直接的表征出两个人物图像的外观相似性，因此，可以将该数据按照第一预设映射方式进行映射，映射为0到1之间的实数，值越大则表示两个人物图像外观越相似，值越小则表示两个人物图像的外观差异越大，例如，映射出的实数为0.2，则表示人物图像1和人物图像2外观差异较大，两者可能并不存在对应关系，即并不是同一个人的图像。

可以理解的是，在本公开的实施例中，由于获得的距离结果实际上也可以为多个，图像匹配装置按照第一映射方式将距离结果进行映射之后，获得的外观相似性结果包括了属于不同图像的两两匹配对象之间的外观相似情况，具体的外观相似性结果可以以矩阵的方式呈现，即获得的为外观相似性矩阵，本公开实施例不作限定。

S103、根据至少两个二维姿态确定至少两个匹配对象的几何相似性结果。

在本公开的实施例中，图像匹配装置在获取到至少两个匹配对象对应的至少两个二维姿态之后，还可以根据至少两个二维姿态确定至少两个匹配对象的几何相似性结果。

需要说明的是，在本公开的实施例中，图像匹配装置根据至少两个二维姿态确定至少两个匹配对象的几何相似性结果，实际上就是衡量不同匹配对象之间的姿态相似度。

具体的，在本公开的实施例中，图像匹配装置根据至少两个二维姿态确定至少两个匹配对象的几何相似性结果，包括：获取至少两个二维姿态中每一个二维姿态对应的子相似性结果；根据子相似性结果组成几何相似性结果。

具体的，在本公开的实施例中，图像匹配装置获取至少两个二维姿态中每一个二维姿态对应的子相似性结果，包括：获取第一二维姿态在不同图像中包括的第一图像中对应的第一极线；其中，第一二维姿态为至少两个二维姿态中的任意一个二维姿态，且不属于第一图像；计算至少两个二维姿态中属于第一图像的每一个第二二维姿态与第一极线的距离，获得至少一个极线距离；按照第二预设映射方式对至少一个极线距离进行映射，获得第一二维姿态对应的子相似性结果。

需要说明的是，在本公开的实施例中，每一个二维姿态在非自身所在的图像中均对应有一条极线，图像匹配装置具体是利用极几何约束获取至少两个二维姿态中每一个二维姿态在其它图像中对应的极线。

示例性的，在本公开的实施例中，图像匹配装置从两个不同视角对应的不同图像，即图像1和图像2中获取人物图像，其中，图像1为视角1对应的图像，图像2为视角2对应的图像，从图像1中获取到人物图像1和人物图像2，从图像2中获取到人物图像3、人物图像4和人物图像5。人物图像1对应二维姿态1，人物图像2对应二维姿态2，人物图像3对应二维姿态3，人物图像4对应二维姿态4，人物图像5对应二维姿态5，对于二维姿态1，即为上述第一二维姿态，不属于图像2，图像匹配装置可以获取其在图像2中对应的极线，具体为极线1，图像2也就是上述第一图像，极线1也就是上述第一极线，之后，分别计算属于图像2的二维姿态3、二维姿态4和二维姿态5与极线1之间的距离，获得3个极线距离。图像匹配装置对于每一个二维姿态均执行相同的计算极线距离的步骤，将获得的极线距离按照第二预设方式进行映射，从而获得几何相似性结果。

可以理解的是，在本公开的实施例中，图像匹配装置计算出的极线结果为一个具体的距离数值，例如，获取到人物图像1对应的二维姿态1在其它图像中对应的极线为A，计算出其它图像中人物图像2对应的二维姿态2与极线A之间的极线距离为1.2，但是，无法直接的表征出两个二维姿态的姿态相似性，即无法明确体现两个二维姿态之间的几何相似性，因此，可以将该数据按照第二预设映射方式进行映射，映射为0到1之间的实数，值越大则表示两个二维姿态越相似，值越小则表示两个二维姿态差异越大，例如，映射出的实数为0.8，则表示二维姿态1和二维姿态2非常相似，相应的，也就是人物图像1和人物图像2两者极有可能存在对应关系，即为同一个人的图像，几何相似性结果也可以以矩阵的形式呈现，本公开的实施例不作限定。

S104、根据外观相似性结果和几何相似性结果确定目标相似性结果。

在本公开的实施例中，图像匹配装置在确定了外观相似性结果和几何相似性结果之后，即可根据外观相似性结果和几何相似性结果确定目标相似性结果。

具体的，在本公开的实施例中，图像匹配装置根据外观相似性结果和几何相似性结果确定目标相似性结果，包括：计算外观相似性结果和几何相似性结果的几何平均，获得目标相似性结果。

可以理解的是，在本公开的实施例中，外观相似性结果为匹配对象，即人物图像之间的外观的相似程度的体现，而几何相似性结果为人物图像之间的二维姿态的相似程度的体现，两者均为关于人物图像之间一种类型的相似程度的比较，为了更为准确的体现出人物图像之间整体的相似程度，因此，计算外观相似性结果和几何相似性结果的几何平均，从而获得较为全面准确的衡量人物图像之间相似程度的结果，即目标相似性结果。

需要说明的是，在本公开的实施例中，外观相似性结果和几何相似性结果实际上均包含了多个结果，其中，外观相似性结果中的一个结果可以表征某两个匹配对象外观相似度，相应的，在几何相似性结果中的一个结果也可以表征这两个匹配对象的姿态相似度，也就是说，外观相似性结果和几何相似性结果中分别包括了某两个匹配对象的外观相似度和姿态相似度。

具体的，在本公开的实施例中，图像匹配装置计算外观相似性结果和几何相似性结果的几何平均，即将外观相似性结果中的每一个结果与几何相似性结果中对应的结果相乘之后开方，从而获得目标相似性结果。

示例性的，在本公开的实施例中，图像匹配装置从图像1中获取到匹配对象1，从图像2中获取到匹配对象2，从图像3中获取到匹配对象3，外观相似性结果中包括：外观相似性结果A1、A2和A3，其中，A1表征了匹配对象1和匹配对象2之间的外观相似度，A2表征了匹配对象1和匹配对象3之间的外观相似度，A3表征了匹配对象2和匹配对象3之间的外观相似度，几何相似性结果中包括：几何相似性结果B1、B2和B3，其中，B1表征了匹配对象1和匹配对象2之间的姿态相似度，B2表征了匹配对象1和匹配对象3之间的姿态相似度，B3表征了匹配对象2和匹配对象3之间的姿态相似度。图像匹配装置计算

获得结果C1，计算

获得结果C2，计算

获得结果C3，C1、C2和C3即组成了目标相似性结果。

图3为本公开实施例提供的一种示例性的目标相似性结果的示意图。如图3所示，该矩阵实际上就是外观相似性结果和几何相似性结果进行几何平均之后的目标相似性结果的矩阵呈现形式，在该矩阵中每一个小格子表示某两个匹配对象之间的相似度，体现在具体格子的灰度，当然，也可以根据不同的相似度匹配不同的颜色，具体的目标相似性结果本公开实施例不作限定。

可以理解的是，在本公开的实施例中，目标相似性结果即图像匹配装置基于外观和姿态两个维度去衡量不同图像中的匹配对象之间的相似性结果，更准确的体现了不同图像中的匹配对象之间的相似度。

S105、基于预设约束条件对目标相似性结果进行全局一致性匹配求解，获得至少两个匹配对象的对应关系。

在本公开的实施例中，图像匹配装置在获得目标相似性结果之后，可以基于预设约束条件对目标相似性结果进行全局一致性匹配求解，获得至少两个匹配对象的对应关系。

可以理解的是，在本公开的实施例中，目标相似性结果仅表征了匹配对象之间的相似度，并未确定出最终的匹配结果，即不同图像中的匹配对象的对应关系，因此，图像匹配装置还需要进行最终的匹配求解。

具体的，在本公开的实施例中，图像匹配装置基于预设约束条件对目标相似性结果进行全局一致性匹配求解，获得至少两个匹配对象的对应关系，包括：按照预设匹配求解算法，结合回路一致性约束条件和双随机约束条件，对目标相似性结果进行全局一致性匹配求解，获得至少两个匹配对象的对应关系。

图4为本公开实施例提供的一种示例性的匹配对象的对应关系的示意图一。如图4所示，匹配对象的对应关系以矩阵的形式呈现，其中，每一个小格子表征某两个匹配对象是否对应，因此，在该矩阵中小格子的颜色非黑即白，也就是某两个匹配对象要么是对应的，要么是非对应的，即小格子实际上表示的数为0或1，0代表两个匹配对象是相对应的，即为同一个人的人物图像，1代表两个匹配对象非对应，即为不同人的人物图像。

需要说明的是，在本公开的实施例中，图像匹配装置如果仅按照预设匹配求解算法对目标相似性进行全局一致性匹配求解，那么得到的对应关系中可能出现两个图像中一一对应的两个匹配对象，在另一个图像中分别对应的是不同的匹配对象。图5为本公开实施例提供的一种示例性的匹配对象的对应关系的示意图二。如图5所示，正常情况下，匹配对象的对应关系应该按照灰色虚线所示，黑色虚线所示的情况，实际上并未准确的确定出匹配对象的对应关系，即虽然图像1和图像2中的匹配对象已经确定了对应关系，但两者在图像3中又分别与不同的匹配对象为对应关系，即并未准确的确定出一个人在不同图像中对应的唯一图像，为了解决这一问题，就需要回路一致性约束，即限定最终的对应关系均构成回路。

需要说明的是，在本公开的实施例中，图像匹配装置如果仅按照预设匹配求解算法对目标相似性进行全局一致性匹配求解，那么得到的对应关系可能出现一个图像中的一个匹配对象对应另一个图像中的两个匹配对象，为了解决这一问题，就需要双随机约束，即限定一个图像中的一个匹配对象最多只与另一个图像中的一个匹配对象对应。

需要说明的是，在本公开的实施例中，预设匹配求解算法可以为匈牙利算法等现有匹配求解算法，图像匹配装置按照预设匹配求解算法对目标相似性结果进行求解的过程为现有技术，而本公开是在求解过程中加入了约束条件，以提高获得对应关系的准确性，具体的预设匹配求解算法本公开实施例不作限定。

需要说明的是，在本公开的实施例中，图像匹配装置获得至少两个匹配对象的对应关系之后，还包括以下步骤：

S106、根据对应关系，从至少两个匹配对象中确定是否存在至少两个目标匹配对象对应同一实体对象。

在本公开的实施例中，图像匹配装置在获得至少两个匹配对象的对应关系之后，即可根据该对应关系，从至少两个匹配对象中确定是否存在至少两个目标匹配对象对应同一实体对象。

需要说明的是，在本公开的实施例中，实体对象即为实际空间中的人、动物、植物或物体，具体的实体对象本公开实施例不作限定。

需要说明的是，在本公开的实施例中，至少两个匹配对象的对应关系中，如果存在分别两两对应的多个匹配对象，则说明这多个匹配对象对应同一实体对象，即为同一实体对象在不同图像中的图像，将这多个匹配对象中的每一个匹配对象均确定为目标匹配对象。

示例性的，在本公开的实施例中，图像匹配装置从图像1中获取到人物图像1和人物图像2，从图像2中获取到人物图像3，人物图像1、人物图像2和人物图像3均为匹配对象，图像匹配装置获得了3个人物图像的对应关系，具体为：人物图像1与人物图像3对应，人物图像2不存在任何对应的图像，因此，图像匹配装置即可确定出人物图像1与人物图像3对应同一个人，人物图像1与人物图像3均为目标匹配对象。

需要说明的是，在本公开的实施例中，图像匹配装置根据至少两个匹配对象的对应关系，从至少两个匹配对象中确定是否存在至少两个目标匹配对象对应同一实体对象之后，还可以包括步骤S107和S108，具体步骤如下：

S107、若至少两个匹配对象中存在至少两个目标匹配对象，从至少两个二维姿态中获取至少两个目标匹配对象对应的至少两个目标二维姿态。

在本公开的实施例中，若存在至少两个目标匹配对象，图像匹配装置即从至少两个二维姿态中获取至少两个目标匹配对象对应的至少两个目标二维姿态。

可以理解的是，在本公开的实施例中，至少两个匹配对象对应至少两个二维姿态，其中，一个匹配对象对应一个二维姿态，而至少两个匹配对象包括至少两个目标匹配对象，因此，至少两个二维姿态中也包括至少两个目标匹配对象对应的至少两个目标二维姿态，图像匹配装置可以根据至少两个匹配对象，直接从至少两个二维姿态中获取到至少两个目标二维姿态。

示例性的，在本公开的实施例中，图像匹配装置从图像1中获取到人物图像1和人物图像2，从图像2中获取到人物图像3，人物图像1、人物图像2和人物图像3均为匹配对象，人物图像1对应二维姿态1，人物图像2对应二维姿态2，人物图像3对应二维姿态3。图像匹配装置根据获得的对应关系确定出人物图像1和人物图像3对应同一个人，即人物图像1和人物图像3为同一个在不同视角下的图像，人物图像1和人物图像3均为目标匹配对象，因此，图像匹配装置获取二维姿态1和二维姿态3，将二维姿态1和二维姿态3均确定为目标二维姿态。

可以理解的是，在本公开的实施例中，由于至少两个目标匹配对象对应同一实体对象，而至少两个目标二维姿态与至少两个目标匹配对象对应，因此，至少两个目标匹配对象实际也与至少两个匹配对象对应的实体对象所对应，其实质就是该实体对象在不同视角下的二维姿态。

S108、根据至少两个目标匹配对象和至少两个目标二维姿态构建目标三维姿态。

在本公开的实施例中，图像匹配装置在获得至少两个目标匹配对象和至少两个目标二维姿态之后，即可根据至少两个目标匹配对象和至少两个目标二维姿态构建目标三维姿态。

具体的，在本公开的实施例中，图像匹配装置可以按照预设计算方法，根据至少两个目标匹配对象和至少两个目标二维姿态计算出对应实体对象在三维空间中各关节点的空间坐标，将这些空间坐标按照一定的顺序连接起来，即为实体对象的目标三维姿态。具体的计算方法本公开实施例不作限定。

可以理解的是，在本公开的实施例中，至少两个目标匹配对象和至少两个目标二维姿态实际上对应的是同一实体对象，至少两个目标匹配对象即为该实体对象在不同视角的不同图像中的图像，至少两个目标二维姿态即为该实体对象在不同视角的不同图像中的二维姿态，因此，图像匹配装置根据至少两个目标匹配对象和至少两个目标二维姿态构建目标三维姿态，该目标三维姿态即该实体对象在三维空间中的姿态，也与该实体对象对应。

本公开实施例提供了一种图像匹配方法，从不同视角的不同图像中获取至少两个匹配对象，以及至少两个匹配对象对应的至少两个二维姿态；基于预设外观识别网络确定至少两个匹配对象的外观相似性结果；根据至少两个二维姿态确定至少两个匹配对象的几何相似性结果；根据外观相似性结果和几何相似性结果确定目标相似性结果；基于预设约束条件对目标相似性结果进行全局一致性匹配求解，获得至少两个匹配对象的对应关系。也就是说，本公开实施例提供的技术方案，结合外观和几何约束的方法衡量不同图像中人与人之间的相似性，并进一步基于约束条件进行匹配计算以获取不同图像中人物图像的对应关系，提高了匹配结果的准确性。

实施例二

本公开实施例提供了一种图像匹配装置。图6为本公开实施例提供的一种图像匹配装置的结构示意图。如图6所示，图像匹配装置主要包括：

信息获取模块601，用于从不同视角的不同图像中获取至少两个匹配对象，以及所述至少两个匹配对象中每一个匹配对象对应的二维姿态；

第一确定模块602，用于基于预设外观识别网络确定所述至少两个匹配对象的外观相似性结果；

第二确定模块603，用于根据所述二维姿态确定所述至少两个匹配对象的几何相似性结果；

第三确定模块604，用于根据所述外观相似性结果和所述几何相似性结果确定目标相似性结果；

匹配计算模块605，用于基于预设约束条件对所述目标相似性结果进行全局一致性匹配求解，获得所述至少两个匹配对象的对应关系。

可选的，所述第一确定模块602，具体用于将所述至少两个匹配对象中每一个匹配对象分别输入所述预设外观识别网络，获得所述至少两个匹配对象中每一个匹配对象对应的外观特征；分别计算所述至少两个匹配对象中每一个匹配对象对应的外观特征，与所述至少两个匹配对象中不属于同一图像的每一个其它匹配对象对应的外观特征之间的欧式距离，获得至少一个距离结果；按照第一预设映射方式对所述至少一个距离结果进行映射，获得所述外观相似性结果。

可选的，所述第二确定模块603，具体用于获取所述至少两个二维姿态中每一个二维姿态对应的子相似性结果；根据所述子相似性结果组成所述几何相似性结果。

可选的，所述第二确定模块603，具体用于获取第一二维姿态在所述不同图像中包括的第一图像中对应的第一极线；其中，所述第一二维姿态为所述至少两个二维姿态中的任意一个二维姿态，且不属于所述第一图像；计算所述至少两个二维姿态中属于所述第一图像的每一个第二二维姿态与所述第一极线的距离，获得至少一个极线距离；按照第二预设映射方式对所述至少一个极线距离进行映射，获得所述第一二维姿态对应的子相似性结果。

可选的，所述第三确定模块604，具体用于计算所述外观相似性结果和所述几何相似性结果的几何平均，获得所述目标相似性结果。

可选的，所述匹配计算模块605，具体用于按照预设匹配求解算法，结合回路一致性约束条件和双随机约束条件，对所述目标相似性结果进行全局一致性匹配求解，获得所述至少两个匹配对象的对应关系。

可选的，所述匹配计算模块605，还用于根据所述对应关系，从所述至少两个匹配对象中确定是否存在至少两个目标匹配对象对应同一实体对象。

可选的，所述图像匹配装置还包括：三维构建模块606；

所述三维构建模块606，用于若所述至少两个匹配对象中存在所述至少两个目标匹配对象，从所述至少两个二维姿态中获取所述至少两个目标匹配对象对应的至少两个目标二维姿态；根据所述至少两个目标匹配对象和所述至少两个目标二维姿态构建目标三维姿态。

本公开实施例提供了一种图像匹配装置，从不同视角的不同图像中获取至少两个匹配对象，以及至少两个匹配对象对应的至少两个二维姿态；基于预设外观识别网络确定至少两个匹配对象的外观相似性结果；根据至少两个二维姿态确定至少两个匹配对象的几何相似性结果；根据外观相似性结果和几何相似性结果确定目标相似性结果；基于预设约束条件对目标相似性结果进行全局一致性匹配求解，获得至少两个匹配对象的对应关系。也就是说，本公开实施例提供的图像匹配装置，结合外观和几何约束的方法衡量不同图像中人与人之间的相似性，并进一步基于约束条件进行匹配计算以获取不同图像中人物图像的对应关系，提高了匹配结果的准确性。

本公开实施例提供了一种电子设备。图7为本公开实施例提供的一种电子设备的结构示意图。如图7所示，电子设备包括：处理器701、存储器702和通信总线703；其中，

所述通信总线703，用于实现所述处理器701和所述存储器702之间的连接通信；

所述处理器701，用于执行所述存储器702中存储的图像匹配程序，以实现上述图像匹配方法。

可选的，所述电子设备为手机或平板电脑。

本公开实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可以被一个或者多个处理器执行，以实现上述图像匹配方法。计算机可读存储介质可以是是易失性存储器(volatile memory)，例如随机存取存储器(Random-Access Memory，RAM)；或者非易失性存储器(non-volatilememory)，例如只读存储器(Read-Only Memory，ROM)，快闪存储器(flash memory)，硬盘(Hard Disk Drive，HDD)或固态硬盘(Solid-State Drive，SSD)；也可以是包括上述存储器之一或任意组合的各自设备，如移动电话、计算机、平板设备、个人数字助理等。

本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程信号处理设备的处理器以产生一个机器，使得通过计算机或其他可编程信号处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程信号处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程信号处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述，仅为本公开的较佳实施例而已，并非用于限定本公开的保护范围。

Claims (17)

1.一种图像匹配方法，其特征在于，所述方法包括：

从不同视角的不同图像中获取至少两个匹配对象，以及所述至少两个匹配对象对应的至少两个二维姿态；

基于预设外观识别网络确定所述至少两个匹配对象的外观相似性结果；

根据所述至少两个二维姿态确定所述至少两个匹配对象的几何相似性结果；

根据所述外观相似性结果和所述几何相似性结果确定目标相似性结果；

基于预设约束条件对所述目标相似性结果进行全局一致性匹配求解，获得所述至少两个匹配对象的对应关系；

所述基于预设约束条件对所述目标相似性结果进行全局一致性匹配求解，获得所述至少两个匹配对象的对应关系，包括：

按照预设匹配求解算法，结合回路一致性约束条件和双随机约束条件，对所述目标相似性结果进行全局一致性匹配求解，获得所述至少两个匹配对象的对应关系；所述回路一致性约束条件用于限定所述对应关系构成回路，所述双随机约束条件用于限定一个图像中的一个匹配对象最多与另一个图像中的一个匹配对象对应。

2.根据权利要求1所述的图像匹配方法，其特征在于，所述基于预设外观识别网络确定所述至少两个匹配对象的外观相似性结果，包括：

将所述至少两个匹配对象中每一个匹配对象分别输入所述预设外观识别网络，获得所述至少两个匹配对象中每一个匹配对象对应的外观特征；

分别计算所述至少两个匹配对象中每一个匹配对象对应的外观特征，与所述至少两个匹配对象中不属于同一图像的每一个其它匹配对象对应的外观特征之间的欧式距离，获得至少一个距离结果；

按照第一预设映射方式对所述至少一个距离结果进行映射，获得所述外观相似性结果。

3.根据权利要求1所述的图像匹配方法，其特征在于，所述根据所述至少两个二维姿态确定所述至少两个匹配对象的几何相似性结果，包括：

获取所述至少两个二维姿态中每一个二维姿态对应的子相似性结果；

根据所述子相似性结果组成所述几何相似性结果。

4.根据权利要求3所述的图像匹配方法，其特征在于，所述获取所述至少两个二维姿态中每一个二维姿态对应的子相似性结果，包括：

获取第一二维姿态在所述不同图像包括的第一图像中对应的第一极线；其中，所述第一二维姿态为所述至少两个二维姿态中的任意一个二维姿态，且不属于所述第一图像；

计算所述至少两个二维姿态中属于所述第一图像的每一个第二二维姿态与所述第一极线的距离，获得至少一个极线距离；

按照第二预设映射方式对所述至少一个极线距离进行映射，获得所述第一二维姿态对应的子相似性结果。

5.根据权利要求1所述的图像匹配方法，其特征在于，所述根据所述外观相似性结果和所述几何相似性结果确定目标相似性结果，包括：

计算所述外观相似性结果和所述几何相似性结果的几何平均，获得所述目标相似性结果。

6.根据权利要求1所述的图像匹配方法，其特征在于，所述获得所述至少两个匹配对象的对应关系之后，所述方法还包括：

根据所述对应关系，从所述至少两个匹配对象中确定是否存在至少两个目标匹配对象对应同一实体对象。

7.根据权利要求6所述的图像匹配方法，其特征在于，所述从所述至少两个匹配对象中确定是否存在至少两个目标匹配对象对应同一实体对象之后，所述方法还包括：

若所述至少两个匹配对象中存在所述至少两个目标匹配对象，从所述至少两个二维姿态中获取所述至少两个目标匹配对象对应的至少两个目标二维姿态；

根据所述至少两个目标匹配对象和所述至少两个目标二维姿态构建目标三维姿态。

8.一种图像匹配装置，其特征在于，所述图像匹配装置包括：

信息获取模块，用于从不同视角的不同图像中获取至少两个匹配对象，以及所述至少两个匹配对象中每一个匹配对象对应的二维姿态；

第一确定模块，用于基于预设外观识别网络确定所述至少两个匹配对象的外观相似性结果；

第二确定模块，用于根据所述二维姿态确定所述至少两个匹配对象的几何相似性结果；

第三确定模块，用于根据所述外观相似性结果和所述几何相似性结果确定目标相似性结果；

匹配计算模块，用于基于预设约束条件对所述目标相似性结果进行全局一致性匹配求解，获得所述至少两个匹配对象的对应关系；

所述匹配计算模块，具体用于按照预设匹配求解算法，结合回路一致性约束条件和双随机约束条件，对所述目标相似性结果进行全局一致性匹配求解，获得所述至少两个匹配对象的对应关系；所述回路一致性约束条件用于限定所述对应关系构成回路，所述双随机约束条件用于限定一个图像中的一个匹配对象最多与另一个图像中的一个匹配对象对应。

9.根据权利要求8所述的图像匹配装置，其特征在于，

所述第一确定模块，具体用于将所述至少两个匹配对象中每一个匹配对象分别输入所述预设外观识别网络，获得所述至少两个匹配对象中每一个匹配对象对应的外观特征；分别计算所述至少两个匹配对象中每一个匹配对象对应的外观特征，与所述至少两个匹配对象中不属于同一图像的每一个其它匹配对象对应的外观特征之间的欧式距离，获得至少一个距离结果；按照第一预设映射方式对所述至少一个距离结果进行映射，获得所述外观相似性结果。

10.根据权利要求8所述的图像匹配装置，其特征在于，

所述第二确定模块，具体用于获取所述至少两个二维姿态中每一个二维姿态对应的子相似性结果；根据所述子相似性结果组成所述几何相似性结果。

11.根据权利要求10所述的图像匹配装置，其特征在于，

所述第二确定模块，具体用于获取第一二维姿态在所述不同图像中包括的第一图像中对应的第一极线；其中，所述第一二维姿态为所述至少两个二维姿态中的任意一个二维姿态，且不属于所述第一图像；计算所述至少两个二维姿态中属于所述第一图像的每一个第二二维姿态与所述第一极线的距离，获得至少一个极线距离；按照第二预设映射方式对所述至少一个极线距离进行映射，获得所述第一二维姿态对应的子相似性结果。

12.根据权利要求8所述的图像匹配装置，其特征在于，

所述第三确定模块，具体用于计算所述外观相似性结果和所述几何相似性结果的几何平均，获得所述目标相似性结果。

13.根据权利要求8所述的图像匹配装置，其特征在于，

所述匹配计算模块，还用于根据所述对应关系，从所述至少两个匹配对象中确定是否存在至少两个目标匹配对象对应同一实体对象。

14.根据权利要求13所述的图像匹配装置，其特征在于，所述图像匹配装置还包括：三维构建模块；

所述三维构建模块，用于若所述至少两个匹配对象中存在所述至少两个目标匹配对象，从所述至少两个二维姿态中获取所述至少两个目标匹配对象对应的至少两个目标二维姿态；根据所述至少两个目标匹配对象和所述至少两个目标二维姿态构建目标三维姿态。

15.一种电子设备，其特征在于，所述电子设备包括：处理器、存储器和通信总线；其中，

所述通信总线，用于实现所述处理器和所述存储器之间的连接通信；

所述处理器，用于执行所述存储器中存储的图像匹配程序，以实现权利要求1-7任一项所述的图像匹配方法。

16.根据权利要求15所述的电子设备，其特征在于，所述电子设备为手机或平板电脑。

17.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可以被一个或者多个处理器执行，以实现权利要求1-7任一项所述的图像匹配方法。

Images