CN114140825A

CN114140825A - 行人匹配方法、装置、电子设备及计算机可读存储介质

Info

Publication number: CN114140825A
Application number: CN202111453596.7A
Authority: CN
Inventors: 祁晓婷; 蒋召; 杨战波; 黄泽元
Original assignee: Shenzhen Jizhi Digital Technology Co Ltd
Current assignee: Shenzhen Xumi Yuntu Space Technology Co Ltd
Priority date: 2021-12-01
Filing date: 2021-12-01
Publication date: 2022-03-04
Also published as: WO2023097858A1

Abstract

本公开提供了一种行人匹配方法、装置、电子设备及计算机可读存储介质，该方法包括：获取第一图像、第二图像；对第一图像、第二图像分别进行特征提取，得到第一局部特征、第二局部特征、第一高阶特征和第二高阶特征；第一局部特征和第二局部特征分别包括人体各关键点对应的局部特征向量；对第一局部特征、第二局部特征进行特征对齐，得到第一融合特征、第二融合特征；对第一高阶特征和第二高阶特征进行特征对齐，得到第一高阶融合特征和第二高阶融合特征；基于第一融合特征、第二融合特征、第一高阶融合特征和第二高阶融合特征，确定第一图像和第二图像中是否包含同一行人。本公开可减少图像中异常点对行人匹配的影响，匹配结果更准确。

Description

行人匹配方法、装置、电子设备及计算机可读存储介质

技术领域

本公开涉及图像处理技术领域，尤其涉及一种行人匹配方法、装置、电子设备及计算机可读存储介质。

背景技术

图像匹配是指通过对图像内容、特征、结构、关系、纹理及灰度等的对应关系，进行相似性和一致性的分析，寻求相似图像目标的方法。图像匹配方法可以用于进行行人匹配；行人匹配可以通过比对不同图像之间出现的行人是否是同一行人。

传统的行人匹配的方式多为直接利用人体的全局特征匹配，或根据人体的局部特征匹配，然而实际情况中，大多数图像通常质量参差不齐，例如，图像中人体被遮挡、人体姿态不一、图像亮度不一，即存在一些异常点或离群点，在进行行人匹配时容易出现特征对齐不匹配的情况，从而导致行人匹配结果不够准确的问题。

发明内容

有鉴于此，本公开实施例提供了一种行人匹配方法、装置、电子设备及计算机可读存储介质，以解决现有技术中图像存在一些异常点或离群点导致的行人匹配结果不够准确的问题。

本公开实施例的第一方面，提供了一种行人匹配方法，包括：

获取第一图像、第二图像；

对所述第一图像、所述第二图像分别进行特征提取，得到第一局部特征、第二局部特征、第一高阶特征和第二高阶特征；所述第一局部特征和所述第二局部特征分别包括人体各关键点对应的局部特征向量；

对所述第一局部特征、所述第二局部特征进行特征对齐，得到第一融合特征、第二融合特征；

对所述第一高阶特征和所述第二高阶特征进行特征对齐，得到第一高阶融合特征和第二高阶融合特征；

基于所述第一融合特征、第二融合特征、第一高阶融合特征和第二高阶融合特征，确定所述第一图像和所述第二图像中是否包含同一个行人。

本公开实施例的第二方面，提供了一种行人匹配装置，包括：

获取模块，用于获取第一图像、第二图像；

特征提取模块，用于对所述第一图像、所述第二图像分别进行特征提取，得到第一局部特征、第二局部特征、第一高阶特征和第二高阶特征；所述第一局部特征和所述第二局部特征分别包括人体各关键点对应的局部特征向量；

第一特征对齐模块，用于对所述第一局部特征、所述第二局部特征进行特征对齐，得到第一融合特征、第二融合特征；

第二特征对齐模块，用于对所述第一高阶特征和所述第二高阶特征进行特征对齐，得到第一高阶融合特征和第二高阶融合特征；

匹配模块，用于基于所述第一融合特征、第二融合特征、第一高阶融合特征和第二高阶融合特征，确定所述第一图像和所述第二图像中是否包含同一个行人。

本公开实施例的第三方面，提供了一种电子设备，包括存储器、处理器以及存储在存储器中并且可在处理器上运行的计算机程序，该处理器执行计算机程序时实现上述方法的步骤。

本公开实施例的第四方面，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。

本公开实施例与现有技术相比存在的有益效果是：通过分别对获取的第一图像和第二图像进行特征提取，得到两张图像中人体关键点对应的局部特征和高阶特征，分别记为第一局部特征、第二局部特征、第一高阶特征和第二高阶特征，对第一局部特征、第二局部特征进行特征对齐得到第一融合特征和第二融合特征，对第一高阶特征、第二高阶特征进行特征对齐得到第一高阶融合特征和第二高阶融合特征，并基于第一融合特征、第二融合特征、第一高阶融合特征以及第二高阶融合特征确定两张图像中是否包含同一行人。通过提取图像中的人体局部特征和高阶特征，采用不同的特征对齐策略对局部特征和高阶特征分别进行特征对齐，将特征彼此之间的关系融入进来，综合利用特征相互之间的信息，得到更有效的特征，减少图像中异常点或离群点对行人匹配的影响，得到更加准确的匹配结果。

附图说明

为了更清楚地说明本公开实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本公开实施例提供的一种行人匹配方法的流程示意图；

图2是本公开实施例提供的基于第一融合特征、第二融合特征、第一高阶融合特征和第二高阶融合特征，确定第一图像和第二图像中是否包含同一个行人的流程示意图；

图3是本公开实施例提供的对局部特征进行特征聚合，得到高阶特征的流程示意图；

图4是本公开实施例提供的人体关键点编号的示意图；

图5是本公开实施例提供的对第一局部特征、第二局部特征进行特征对齐，得到第一融合特征、第二融合特征的流程示意图；

图6是本公开实施例提供的对第一局部特征、第二局部特征分别进行特征对齐的流程示意图；

图7是本公开实施例提供的对第一高阶特征和第二高阶特征进行特征对齐，得到第一高阶融合特征和第二高阶融合特征的流程示意图；

图8是本公开实施例提供的对第一高阶特征、第二高阶特征分别进行特征对齐的流程示意图；

图9是本公开实施例提供的另一种行人匹配方法的流程示意图；

图10是本公开实施例提供的一种行人匹配装置的结构示意图；

图11是本公开实施例提供的另一种行人匹配装置的结构示意图；

图12是本公开实施例提供的一种电子设备的结构示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本公开实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本公开。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本公开的描述。

下面将结合附图详细说明根据本公开实施例的一种行人匹配方法和装置。

图1是本公开实施例提供的一种行人匹配方法的流程示意图。如图1所示，该行人匹配方法包括步骤S101至步骤S105：

S101，获取第一图像、第二图像。

其中，第一图像和第二图像即用于进行行人匹配的图像，本实施例中，通过比对第一图像和第二图像，确定其中是否包含同一行人。

具体地，第一图像和第二图像可以是从数据库中获取，也可以是实时从监控设备采集的图像中抽取得到。在一个实施例中，当将行人匹配方法应用于人员逗留的场景中，第一图像和第二图像均可以是从监控设备采集的图像中抽取的，每隔预设时间从监控设备采集的图像中抽取两张图像进行比对，确认是否包含同一行人，进而确定是否有人员在同一处长时间逗留。进一步地，在一个实施例中，可以在监控设备采集的图像中检测到人员时，触发行人匹配方法，相隔预设时间抽取两张图像，通过行人匹配，判断人员是否在同一位置长时间逗留。在其他实施例中，行人匹配方法也可以应用于其他场景中。

需要说明的是，在本申请公开的实施例中，所提及的“第一”、“第二”等概念仅用于区分不同的命名，并不表示任何实际含义。

S102，对第一图像、第二图像分别进行特征提取，得到第一局部特征、第二局部特征、第一高阶特征和第二高阶特征。

为了使计算机能够“理解”图像，通常会从图像中提取有用的数据或信息，得到图像的“非图像”的表示或描述，如数值、向量和符号等。这一过程就是特征提取，而提取出来的这些“非图像”的表示或描述就是特征。对于图像而言，每一幅图像都具有能够区别于其他类图像的自身特征，有些是可以直观地感受到的自然特征，如亮度、边缘、纹理和色彩等；有些则是需要通过变换或处理才能得到的，如矩、直方图以及主成份等。

在一些实施例中，对图像进行特征提取可以采用神经网络实现。在本实施例中，目的是为了进行行人匹配，因此在提取特征时，需要提取图像中所包含人体的特征，因此可以采用人体检测模型、人体关键点估计模型进行特征提取。

局部特征包括人体各关键点对应的局部特征向量局部特征，在本实施例中，为了区分，将对第一图像提取的特征记为第一局部特征、第一高阶特征，对第二图像提取的特征记为第二局部特征和第二高阶特征。

在一些实施例中，对第一图像、第二图像分别进行特征提取，得到第一局部特征、第二局部特征、第一高阶特征和第二高阶特征，包括：对第一图像和第二图像分别进行人体局部特征提取，得到第一局部特征、第二局部特征；对第一局部特征进行特征聚合，得到第一高阶特征，对第二局部特征进行特征聚合，得到第二高阶特征。

在一个具体实施例中，对第一图像进行特征提取得到第一局部特征包括：将第一图像输入人体检测模型，对第一图像进行人体检测，得到第一图像中的人体检测框；将人体检测框输入人体关键点估计模型，得到人体检测框对应的各人体关键点的特征，即第一局部特征；可以理解地，对第二图像进行特征提取得到第二局部特征与第一图像提取局部特征的过程类型，在此不再赘述。其中，可以采用任意一种人体检测模型、人体关键点估计模型对图像进行特征提取。

进一步地，在一个具体实施例中，在通过人体检测模型对图像进行特征提取得到人体检测框以后，将人体检测框输入到人体关键点估计模型，其中，人体关键点估计模型对输入的人体检测框进行处理的具体过程包括：首先将每个特征图经过1*1卷积将通道统一转为1024，然后经过ROIAlign(校准)将特征图的长宽统一池化为[16，8]，此刻，得到每个人体特征图G1的维度为[1024,16,8]。将G1经过三个卷积block(conv(3,3),BN,relu)，依次得到特征图[1024,16,8],[512,16,8],[256,16,8]。最后经过conv(1,1)，BN，relu得到所有人体关键点的热力图，人体关键点位14个时，热力图可以表示为[14,16,8]。其中，BN(BatchNormalization，批标准化)，对每层的输入做Normalization。relu(Rectified LinearUnit,线性整流函数)，又称修正线性单元，是一种人工神经网络中常用的激活函数(activation function)，通常指代以斜坡函数及其变种为代表的非线性函数。

每个关键点的热力图维度就是[1,16,8]，然后进行repeat堆叠，使其维度变为[1024,16,8]，与人体的特征图G1[1024,16,8]相乘，得到该关键点的特征图[2048,16,8]，最后经过全局平均池化，得到关键点的特征向量[1024]。同理，通过上述方法可以得到人体每个关键点的特征向量，第一图像中人体每个关键点即为第一局部特征，第二图像中人体每个关键点即为第二局部特征。

在一些实施例中，在得到局部特征之后，通过分别对局部特征进行特征聚合，可以得到高阶特征；同样地，在本实施例中，将对第一局部特征进行聚合得到的高阶特征记为第一高阶特征，将对第二局部特征进行特征聚合得到的高阶特征记为第二高阶特征。具体地，对局部特征进行特征聚合得到高阶特征的具体过程将在后续实施例中详细描述，在此不再赘述。

S103，对第一局部特征、第二局部特征进行特征对齐，得到第一融合特征、第二融合特征。

行人不同时刻在不同图像中出现的姿态不一，在对不同图像进行行人匹配时，可以通过对图像特征进行对齐，查找两张图像中的同名点，从而寻找其中是否包含相同的行人。本实施例中，对于从两张图像中分别提取的人体局部特征进行特征对齐，将对齐得到的特征记为第一融合特征、第二融合特征。具体地，对第一局部特征、第二局部特征进行特征对齐得到第一融合特征、第二融合特征的具体步骤将在后续实施例中详细描述。

S104，对第一高阶特征和第二高阶特征进行特征对齐，得到第一高阶融合特征和第二高阶融合特征。

在本实施例中，进行特征提取时，提取了低阶的人体局部特征，以及通过低阶的人体局部特征得到了图像的高阶特征，因此在进行特征对齐时，对于低阶的局部特征进行低阶特征对齐，对于高阶特征采用高阶特征对齐策略，充分利用采集得到的图像特征，使提取的特征做的更好。进一步地，在本实施例中，将对高阶特征进行对齐后得到的特征记为第一高阶融合特征、第二高阶融合特征。

S105，基于第一融合特征、第二融合特征、第一高阶融合特征和第二高阶融合特征，确定第一图像和第二图像中是否包含同一个行人。

在一个实施例，如图2所示，基于第一融合特征、第二融合特征、第一高阶融合特征和第二高阶融合特征，确定第一图像和第二图像中是否包含同一个行人，包括步骤S201至步骤S203：

S201，对第一融合特征、第一高阶融合特征进行拼接，得到第一拼接特征。

S202，对第二融合特征、第二高阶融合特征进行拼接，得到第二拼接特征。

在一些实施例中，特征拼接可以通过concat函数完成，concat函数用于连接两个或多个数组。在本实施例中，对第一融合特征、第一高阶融合特征进行拼接得到的特征记为第一拼接特征，对第二融合特征、第二高阶融合特征进行拼接得到的特征记为第二拼接特征。在其他实施例中，特征拼接也可以通过其他方式实现。

S203，计算第一拼接特征和第二拼接特征之间的对比损失值，根据对比损失值确定第一图像和第二图像中是否包含同一个行人。

在一些实施例中，通过对比损失函数计算第一拼接特征和第二拼接特征之间的对比损失值；其中，对比损失函数可以很好的表达成对样本的匹配程度，本实施例中，利用对比损失函数对第一拼接特征和第二拼接特征计算对比损失值，可以用于描述第一图像和第二图像之间的匹配程度。具体地，本实施例中可以采用任意一种对比损失函数计算两个拼接特征之间的对比损失值。

在得到对比损失值之后，根据对比损失值可以确定第一图像和第二图像中是否包含同一行人。在一个实施例中，根据对比损失值确定第一图像和第二图像中是否包含同一个行人，可以通过设置预设条件，当对比损失值满足预设条件时，即可判定第一图像和第二图像中包含同一个行人；其中，预设条件可以根据实际情况进行设置，当根据对比损失值确定第一图像和第二图像之间匹配程度越高，表示第一图形和第二图像越有可能包含同一行人。

在其他实施例中，在得到第一拼接特征、第二拼接特征之后，也可以根据第一拼接特征、第二拼接特征通过其他方式确定第一图像、第二图像之后是否包含同一行人；例如通过计算第一拼接特征和第二拼接特征之间的相似度，并根据相似度确定第一图像、第二图像中是否包含同一行人。

根据本公开实施例提供的技术方案，通过分别对获取的第一图像和第二图像进行特征提取，得到两张图像中人体关键点对应的局部特征和高阶特征，分别记为第一局部特征、第二局部特征、第一高阶特征和第二高阶特征，对第一局部特征、第二局部特征进行特征对齐得到第一融合特征和第二融合特征，对第一高阶特征、第二高阶特征进行特征对齐得到第一高阶融合特征和第二高阶融合特征，并基于第一融合特征、第二融合特征、第一高阶融合特征以及第二高阶融合特征确定两张图像中是否包含同一行人。通过提取图像中的人体局部特征和高阶特征，采用不同的特征对齐策略对局部特征和高阶特征分别进行特征对齐，将特征彼此之间的关系融入进来，综合利用特征相互之间的信息，得到更有效的特征，减少图像中异常点或离群点对行人匹配的影响，得到更加准确的匹配结果。

在一些实施例中，人体关键点包括两个以上；在本实施例中，如图3所示，对局部特征进行特征聚合，得到高阶特征，包括步骤S301至步骤S306，其中，局部特征包括第一局部特征和第二局部特征，高阶特征包括第一高阶特征和第二高阶特征。

S301，根据各人体关键点对应的局部特征向量，学习确定局部特征对应的第一参数、第二参数和第三参数。

人体关键点通常包括两个以上，在进行人体局部特征提取时，可以得到每一个人体关键点对应的局部特征向量，局部特征中包括的局部特征向量数量与人体关键点的数量对应。本实施例中的局部特征包括了分别对第一图像和第二图像提取的第一局部特征和第二局部特征。

具体地，根据各人体关键点对应的局部特征向量学习局部特征对应的第一参数、第二参数和第三参数，可以通过任意一种方式实现，例如可以通过神经网络实现；在一个具体实施例中，可以通过Transformer网络(AshishVaswani提出)实现。在一些实施例中，局部向量对应的第一参数、第二参数和第三参数的范围均为R^1024×256。

S302，根据第一参数、第二参数和第三参数，生成各局部特征向量对应的查询、键和值。

其中，查询、键和值是Transformer网络中的概念。根据第一参数、第二参数和第三参数，生成各局部特征向量对应的查询query、键key和值value可以表示为：

query：Q_i＝f_i*W_q，其中，W_q表示第一参数；

key：K_i＝f_i*W_k，其中，W_k表示第二参数；

value：V_i＝f_i*W_v，其中，W_v表示第三参数。

S303，基于查询、和键，确定两两局部特征向量之间的权重系数。

在一些实施例中，基于查询、和键，确定两两局部特征向量之间的权重系数，包括：选择两个局部特征向量作为第一目标局部特征向量、第二目标局部特征向量，以第一目标局部特征向量的查询和第二目标局部特征向量的键，计算第一目标局部特征向量和第二目标局部特征向量之间的权重系数。

进一步地，在一个具体实施例中，以第一目标局部特征向量的查询和第二目标局部特征向量的键，计算第一目标局部特征向量和第二目标局部特征向量之间的权重系数，可以表示为：

其中，a_ij表示编号为i和编号为j的局部特征向量之间的权重系数；i，j分别表示人体关键点对应的编号，其中，可以预先对人体关键点进行编号；Q_i表示第一目标局部特征向量对应的查询，K_j表示第二目标局部特征向量的键，

表示对K_j进行转置，256为Q_i、K_j的维度，softmax()表示逻辑回归算法，a_ij表示第一目标局部特征向量和第二目标局部特征向量之间的权重系数。其中，转置的定义为：将A的所有元素绕着一条从第1行第1列元素出发的右下方45度的射线作镜面反转，即得到A的转置。

通过上述方法，可以计算每两个人体关键点对应的局部特征向量之间的权重系数。

S304，针对任一局部特征向量，根据局部特征向量与其他各局部特征向量之间的关系，确定调节系数。

其中，局部特征向量与其他局部特征向量之间的关系可以通过预先对人体关键点设置的编号确定。在一个具体实施例中，每一个人体关键点我们设一个编号，如图4所示：人头＝1；脖子＝2；左肩＝右肩＝3；左肘＝右肘＝4；左手＝右手＝5；左髋＝右髋＝6；左膝＝右膝＝7；左脚＝右脚＝8。由于在进行行人匹配时，位置越相近的人体关键点之间影响越大，因此本实施例中通过设置调节系数，以根据关键点之间的影响程度来聚合得到高阶特征。

在一个具体实施例中，根据局部特征向量与其他局部特征向量之间的关系，确定调节系数可以表示为：

其中，p表示调节系数，r为超参数，超参数的数值可以根据实际情况进行定义，i，j分别表示关键点的编号。

S305，根据权重系数、调节系数和值，得到局部特征对应的聚合特征。

在一些实施例中，根据权重系数、调节系数和值，得到局部特征对应的聚合特征可以表示为：

其中，f_i ^at表示编号为i的局部特征向量对应的聚合特征，a_ij表示编号为i和编号为j的局部特征向量之间的权重系数，p表示调节系数，V_j表示编号为j的局部特征向量对应的值，i，j分别表示关键点的编号，14表示局部特征向量(人体关键点)的数量。

S306，由各局部特征对应的聚合特征，确定高阶特征。

在步骤S305中，可以得到每一个人体关键点(局部特征向量)对应的聚合特征，将每一个聚合特征合并到一起，即得到对应的高阶特征。在本实施例中，根据第一局部特征聚合得到的即为第一高阶特征，根据第二局部特征聚合得到的即为第二高阶特征。

进一步地，上述根据局部特征聚合得到高阶特征的过程可以通过transformer模型实现。

根据本公开实施例提供的技术方案，通过transformer模型对输入的第一局部特征和第二局部特征，分别学习对应的第一参数、第二参数和第三参数，根据第一参数、第二参数和第三参数计算各局部特征向量的查询、键和值，再根据各局部特征向量对应的查询、键计算两两局部特征向量之间的权重系数，以及根据两两局部特征向量之间的关系确定调节系数，最后根据权重系数、局部特征向量对应的值以及调节系数，聚合得到新的局部特征，最后得到局部特征聚合得到的融合特征。本实施例基于局部特征向量之间的关系，即人体关键点的先验拓扑结构关系，设计调节系数，通过调节系数将局部特征向量之间的影响程度加入特征聚合中，使聚合得到的高阶特征更好。

在一些实施例中，如图5所示，对第一局部特征、第二局部特征进行特征对齐，得到第一融合特征、第二融合特征，包括步骤S501至步骤S504：

S501，计算第一局部特征和第二局部特征之间的局部特征相似度。

计算局部特征之间的相似度，可以通过任意一种方式实现。在一个实施例中，通过将第一局部特征和第二局部特征映射到同一特征空间，并计算两个局部特征之间的余弦距离，作为两个局部特征之间的特征相似度。进一步地，将第一局部特征和第二局部特征映射到同一特征空间，可以通过将第一局部特征和第二局部特征分布进行归一化处理来实现。在一个具体实施例中，将第一局部特征和第二局部特征映射到同一特征空间，并计算两个局部特征之间的余弦距离，作为两个局部特征之间的特征相似度可以表示为：

M1＝normalize(F_p)*[normalize(F_g)]^T

其中，Fp表示第一局部特征，Fg表示第二局部特征，normalize()表示对局部特征进行归一化处理，M1表示第一局部特征Fp和第二局部特征Fg之间的相似度。

在其他实施例中，计算第一局部特征和第二局部特征之间的局部特征相似度也可以通过其他方式实现。

S502，根据第二局部特征、局部特征相似度确定第二局部特征在第一局部特征中的第一匹配特征。

在一些实施例中，根据第二局部特征、局部特征相似度确定第二局部特征在第一局部特征中的第一匹配特征，包括：计算局部特征相似度与第二局部特征的第一乘积；将第一乘积与第一局部特征的和值确定为第一匹配特征。

其中，计算局部特征相似度与第二局部特征的第一乘积，表示在第一局部特征中包含的与第二局部特征匹配的点，根据匹配点可以确定第一局部特征中哪些点是要重点利用的，从而排出离群点或者遮挡点。

计算第一乘积与第一局部特征之间和值中及包含有第一局部特征中原来的特征，也包含与第二局部特征之间的关系，在本实施例中，将该和值记为第一匹配特征，根据第一匹配特征可以确定在第一图像中哪些点需要与第二图像之间进行匹配。

在一个具体实施例中，计算局部特征相似度与第二局部特征的第一乘积，可以表示为：

其中，

表示第一乘积，M1表示局部特征相似度，Fg表示第二局部特征。

将第一乘积与第一局部特征的和值确定为第一匹配特征，表示为：

其中，

表示第一匹配特征，Fp表示第一局部特征。

S503，根据第一局部特征、局部特征相似度确定第一局部特征在第二局部特征中的第二匹配特征。

与确定第一匹配特征相类似地，根据第一局部特征、局部特征相似度可以确定第二匹配特征。不同的是，本实施例中先对局部特征相似度进行转置，利用转置后的局部特征相似度确定第二匹配特征。

在一些实施例中，根据第一局部特征、局部特征相似度确定第一局部特征在第二局部特征中的第二匹配特征，包括：将局部特征相似度进行转置得到转置后局部特征相似度；计算转置后局部特征相似度与第一局部特征的第二乘积；将第二乘积与第二局部特征的和值确定为第二匹配特征。

计算转置后局部特征相似度与第一局部特征的第二乘积，表示在第二局部特征中包含的与第一局部特征匹配的点，根据匹配点可以确定第二局部特征中哪些点是要重点利用的，从而排出离群点或者遮挡点。

计算第二乘积与第二局部特征之间和值中及包含有第一局部特征中原来的特征，也包含与第二局部特征之间的关系，在本实施例中，将该和值记为第二匹配特征，根据第二匹配特征可以确定在第二图像中哪些点需要与第一图像之间进行匹配，哪些点不匹配。

在一个具体实施例中，计算转置后局部特征相似度与第一局部特征的第二乘积，可以表示为：

其中，

表示第二乘积，

表示转置后局部特征相似度，Fp表示第一局部特征。

将第二乘积与第二局部特征的和值确定为第二匹配特征，表示为：

其中，

表示第二匹配特征，Fg表示第二局部特征。

S504，对第一匹配特征进行特征提取，得到第一融合特征，对第二匹配特征进行特征提取，得到第二融合特征。

在得到第一匹配特征和第二匹配特征之后，分别进行特征提取，得到经过低阶特征对齐后融合的新特征，即第一融合特征、第二融合特征。

在一些实施例中，对输入的匹配特征分别进行特征提取，可以通过fc+relu实现。其中，fc层为全连接层，全连接层的每一个结点都与上一层的所有结点相连，用来把前边提取到的特征综合起来。Relu层通常由激活函数组成。其中，匹配特征包括第一匹配特征和第二匹配特征。

在一个具体实施例中，如图6所示为对第一局部特征、第二局部特征分别进行特征对齐的步骤流程图，其中，Fp表示第一局部特征，Fg表示第二局部特征；

表示第一融合特征，

表示第二融合特征。

根据本公开实施例提供的技术方案，通过计算局部特征之间的局部特征相似度，并根据局部特征相似度计算第一匹配特征和第二匹配特征，最后分别对第一匹配特征和第二匹配特征进行特征提取，得到经过低阶特征对齐的新特征，即第一融合特征和第二融合特征。后续基于对齐后的局部特征进行行人匹配，可以得到更准确的匹配结果。

在另一些实施例中，如图7所示，对第一高阶特征和第二高阶特征进行特征对齐，得到第一高阶融合特征和第二高阶融合特征，包括步骤S701至步骤S704：

S701，计算第一高阶特征和第二高阶特征之间的高阶特征相似度。

计算高阶特征之间的相似度，可以通过任意一种方式实现。在一个实施例中，可以通过网络学习确定高阶特征之间的相似度，可以表示为：

其中，M2表示高阶特征相似度，

表示第一高阶特征，

表示第二高阶特征，

表示对

进行转置，A表示网络参数矩阵。其中，网络参数矩阵A的维度为[1024,1024]。

在其他实施例中，计算第一高阶特征和第二高阶特征之间的相似度也可以通过其他任意一种方式实现。

S702，根据第二高阶特征、高阶特征相似度确定第二高阶特征在第一高阶特征中的第一高阶匹配特征。

在一些实施例中，根据第二高阶特征、高阶特征相似度确定第二高阶特征在第一高阶特征中的第一高阶匹配特征，包括：计算高阶特征相似度与第二高阶特征的第三乘积；将第三乘积与第一高阶特征的和值确定为第一高阶匹配特征。

在一个具体实施例中，计算高阶特征相似度与第二高阶特征的第三乘积，可以表示为：

其中，

表示第三乘积，M2表示高阶特征相似度，

表示第二高阶特征。

将第三乘积与第一高阶特征的和值确定为第一高阶匹配特征，表示为：

其中，

表示第一高阶匹配特征，

表示第一高阶特征。

S703，根据第一高阶特征、高阶特征相似度确定第一高阶特征在第二高阶特征中的第二高阶匹配特征。

与确定第一高阶匹配特征相类似地，根据第一高阶特征、高阶特征相似度可以确定第二高阶匹配特征。不同的是，本实施例中先对高阶特征相似度进行转置，利用转置后的高阶特征相似度确定第二高阶匹配特征。

在一些实施例中，根据第一高阶特征、高阶特征相似度确定第一高阶特征在第二高阶特征中的第二匹配特征，包括：将高阶特征相似度进行转置得到转置后高阶特征相似度；计算转置后高阶特征相似度与第一高阶特征的第四乘积；将第四乘积与第二高阶特征的和值确定为第二高阶匹配特征。

在一个具体实施例中，计算转置后高阶特征相似度与第一高阶特征的第四乘积，可以表示为：

其中，

表示第四乘积，

表示转置后高阶特征相似度，

表示第一高阶特征。

将第四乘积与第二高阶特征的和值确定为第二高阶匹配特征，表示为：

其中，

表示第二高阶匹配特征，

表示第二高阶特征。

S704，对第一高阶匹配特征进行特征提取，得到第一高阶融合特征，对第二高阶匹配特征进行特征提取，得到第二高阶融合特征。

在得到第一高阶匹配特征和第二高阶匹配特征之后，分别进行特征提取，得到经过高阶特征对齐后融合的新特征，即第一高阶融合特征、第二高阶融合特征。

在一些实施例中，对输入的高阶匹配特征分别进行特征提取，可以通过fc+relu实现。其中，fc层为全连接层，全连接层的每一个结点都与上一层的所有结点相连，用来把前边提取到的特征综合起来。Relu层通常由激活函数组成。其中，高阶匹配特征包括第一高阶匹配特征和第二高阶匹配特征。

在一个具体实施例中，如图8所示，为对第一高阶特征、第二高阶特征分别进行特征对齐的步骤流程图，其中，

表示第一高阶特征，

表示第二高阶特征；

表示第一高阶融合特征，

表示第二高阶融合特征。

根据本公开实施例提供的技术方案，通过计算高阶特征之间的高阶特征相似度，并根据高阶特征相似度计算第一高阶匹配特征和第二高阶匹配特征，最后分别对第一高阶匹配特征和第二高阶匹配特征进行特征提取，得到经过高阶特征对齐的新特征，即第一高阶融合特征和第二高阶融合特征。后续基于对齐后的高阶特征进行行人匹配，可以得到更准确的匹配结果。

在一个具体实施例中，如图9所示为一个具体实施例中行人匹配方法的具体流程示意图

(1)输入两张图片probe和gallery：

分别经过人体检测模型，得到人体检测框bbox，送入到人体关键点估计模块。

(2)输入第(1)步得到的人体检测框：

首先，将每个人体检测框对应的特征图经过1*1卷积将通道统一转为1024，然后经过ROIAlign将特征图的长宽统一池化为[16,8]，此刻，得到每个人体特征图G1的维度为[1024,16,8]。

将G1经过三个卷积block(conv(3,3),BN,relu)，依次得到特征图[1024,16,8],[512,16,8],[256,16,8]。最后经过conv(1,1),BN,relu得到所有关键点的热力图[14,16,8]。(其中，对于人体关键点设置为14个，包括头部，脖子，左手，左肘，左肩，左胯，左膝，左脚，右手，右肘，右肩，右胯，右膝，右脚)。

每个关键点的热力图维度为[1,16,8]，对各关键点的热力图进行重复，使其维度变为[1024,16,8]，并与人体的特征图G1[1024,16,8]相乘，得到该关键点的特征图[2048,16,8]，最后经过全局平均池化，得到关键点的特征向量[1024]。同理，可以得到每个关键点的特征向量。即得到第一局部特征F_p和第二局部特征F_g，F_p和F_g的维度均为[14,1024]。

(3)将F_p和F_g送入到transformer编码模块，获得第一高阶特征

和第二高阶特征

其中，具体如何聚合得到高阶特征，请参见图3所示实施例的描述。

(4)同时将F_p和F_g送入低阶特征对齐策略模块，得到

和

其维度均为[14,1024]。其中，具体如何进行低阶特征对齐，请参见图5所示实施例的描述。

(5)根据第(3)步，得到高阶特征

和

其维度均为[14,1024]。送入到高阶特征匹配策略模块，得到

和

其维度均为[14,1024]。其中，具体如何进行高阶特征对齐，请参见图7所示实施例的描述。

(6)将第(4)步得到的

和

和第(5)步得到的

和

相对应的进行concat,做向量的拼接：

(7)将第一拼接特征

和第二拼接特征

送入对比损失函数，计算

和

之间的对比损失值，最后根据对比损失值判断图片probe和gallery中是否包含同一行人。

根据本公开实施例中的行人匹配方法，设计了特征对齐模块，通过低阶特征对齐策略和高阶特征对齐策略，将特征彼此之间的关系融入进来，综合利用特征相互之间的信息，从而将提取的特征做到更好。其中，低阶特征对齐策略是通过人体关键点局部特征的相似度进行匹配，而两个点之间是否匹配，不仅取决于两个点之间的相似度，还要考虑这两个点匹配的话对其他匹配的影响，从而选取一种匹配使得总体能量最大。为此，本公开实施例的行人匹配方法还加入了高阶特征匹配策略(可以将高阶特征理解为边的特征信息)，具体通过transformer编码模块将前期提取到的人体关键点的局部特征，来聚合成高阶特征信息，然后让网络学习这些高阶特征该如何匹配，鲁棒性更高。另外，在通过transformer编码来聚合高阶特征时，根据人体关键点的先验拓扑结构关系，计算一个调节系数p来根据关键点彼此之间的影响程度来聚合高阶语义信息。

本申请还提供一种应用场景，该应用场景应用上述的行人匹配方法。具体地，该行人匹配方法在该应用场景的应用如下：

在本实施例中，将行人匹配方法应用于视频监控中人员逗留检测的应用场景，在该应用场景中，需要对人员长期逗留或徘徊的可疑现象进行检测和报警。可以通过对连续多帧检测的人体特征进行比对，判断是否是一个人，从而确定人员是否在同一处长时间逗留。

在本应用场景中，可以检测到监控图像中出现人员时触发行人匹配方法。每隔预设时间从监控设备中获取两张图像，并对两张图像进行行人匹配检测。进一步地，当连续多次检测到间隔预设时间的两张图像中包含同一行人时，表示监控图像中出现的人员在此逗留较长时间，可以对此情况进行报警。其中，预设时间可以根据实际情况进行设置，例如可以设置为1分钟、3分钟、5分钟等等。也可以根据实际情况设置当连续检测到同一行人出现在监控图像中的次数达到预设次数时，触发报警。

上述所有可选技术方案，可以采用任意结合形成本申请的可选实施例，在此不再一一赘述。

下述为本公开装置实施例，可以用于执行本公开方法实施例。对于本公开装置实施例中未披露的细节，请参照本公开方法实施例。

图10是本公开实施例提供的一种行人匹配装置的示意图。如图10所示，该行人匹配装置包括：

获取模块1001，用于获取第一图像、第二图像；

特征提取模块1002，用于对第一图像、第二图像分别进行特征提取，得到第一局部特征、第二局部特征、第一高阶特征和第二高阶特征；第一局部特征和第二局部特征分别包括人体各关键点对应的局部特征向量；

第一特征对齐模块1003，用于对第一局部特征、第二局部特征进行特征对齐，得到第一融合特征、第二融合特征；

第二特征对齐模块1004，用于对第一高阶特征和第二高阶特征进行特征对齐，得到第一高阶融合特征和第二高阶融合特征；

匹配模块1005，用于基于第一融合特征、第二融合特征、第一高阶融合特征和第二高阶融合特征，确定第一图像和第二图像中是否包含同一个行人。

在一些实施例中，上述行人匹配装置的特征提取模块，包括：

局部特征提取子模块，用于对第一图像和第二图像分别进行人体局部特征提取，得到第一局部特征、第二局部特征；

聚合子模块，用于对第一局部特征进行特征聚合，得到第一高阶特征，对第二局部特征进行特征聚合，得到第二高阶特征。

在一些实施例中，人体关键点包括两个以上；如图11所示，在本实施例中，上述装置的特征提取模块，包括：

参数学习子模块1101，用于根据各人体关键点对应的局部特征向量，学习确定局部特征对应的第一参数、第二参数和第三参数；

参数确定子模块1102，用于根据第一参数、第二参数和第三参数，生成各局部特征向量对应的查询、键和值；

权重系数确定子模块1103，用于基于查询、和键，确定两两局部特征向量之间的权重系数；

调节系数确定子模块1104，用于针对任一局部特征向量，根据局部特征向量与其他各局部特征向量之间的关系，确定调节系数；

聚合子模块1105，用于根据权重系数、调节系数和值，得到局部特征对应的聚合特征；

高阶特征确定子模块1106，用于由各局部特征对应的聚合特征，确定高阶特征；其中，局部特征包括第一局部特征和第二局部特征，高阶特征包括第一高阶特征和第二高阶特征。

在一些实施例中，请继续参照图11，上述装置的第一特征对齐模块，包括：

局部特征计算子模块1107，用于计算第一局部特征和第二局部特征之间的局部特征相似度；

第一匹配特征确定子模块1108，用于根据第二局部特征、局部特征相似度确定第二局部特征在第一局部特征中的第一匹配特征；

第二匹配特征确定子模块1109，用于根据第一局部特征、局部特征相似度确定第一局部特征在第二局部特征中的第二匹配特征；

特征提取子模块1110，用于对第一匹配特征进行特征提取，得到第一融合特征，对第二匹配特征进行特征提取，得到第二融合特征。

在一些实施例中，上述装置的第一匹配特征确定子模块包括：乘法运算单元，用于计算局部特征相似度与第二局部特征的第一乘积；加法运算单元，用于将第一乘积与第一局部特征的和值确定为第一匹配特征。

在一些实施例中，上述装置的第二匹配特征确定子模块包括：转置单元，用于将局部特征相似度进行转置得到转置后局部特征相似度；乘法运算单元，用于计算转置后局部特征相似度与第一局部特征的第二乘积；加法运算单元，用于将第二乘积与第二局部特征的和值确定为第二匹配特征。

在一些实施例中，请继续参照图11，上述装置的第二特征对齐模块，包括：

高阶特征相似度计算子模块1111，用于计算第一高阶特征和第二高阶特征之间的高阶特征相似度；

第一高阶匹配确定子模块1112，用于根据第二高阶特征、高阶特征相似度确定第二高阶特征在第一高阶特征中的第一高阶匹配特征；

第二高阶匹配确定子模块1113，用于根据第一高阶特征、高阶特征相似度确定第一高阶特征在第二高阶特征中的第二高阶匹配特征；

特征提取子模块1114，用于对第一高阶匹配特征进行特征提取，得到第一高阶融合特征，对第二高阶匹配特征进行特征提取，得到第二高阶融合特征。

在一些实施例中，请继续参照图11上述装置的匹配模块，包括：

第一拼接子模块1115，用于对第一融合特征、第一高阶融合特征进行拼接，得到第一拼接特征；

第二拼接子模块1116，用于对第二融合特征、第二高阶融合特征进行拼接，得到第二拼接特征；

对比损失计算子模块1117，用于计算第一拼接特征和第二拼接特征之间的对比损失值，根据对比损失值确定第一图像和第二图像中是否包含同一个行人。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本公开实施例的实施过程构成任何限定。

图12是本公开实施例提供的电子设备12的示意图。如图12所示，该实施例的电子设备12包括：处理器1201、存储器1202以及存储在该存储器1202中并且可在处理器1201上运行的计算机程序1203。处理器1201执行计算机程序1203时实现上述各个方法实施例中的步骤。或者，处理器1201执行计算机程序1203时实现上述各装置实施例中各模块/单元的功能。

示例性地，计算机程序1203可以被分割成一个或多个模块/单元，一个或多个模块/单元被存储在存储器1202中，并由处理器1201执行，以完成本公开。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序1203在电子设备12中的执行过程。

电子设备12可以是桌上型计算机、笔记本、掌上电脑及云端服务器等电子设备。电子设备12可以包括但不仅限于处理器1201和存储器1202。本领域技术人员可以理解，图12仅仅是电子设备12的示例，并不构成对电子设备12的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如，电子设备还可以包括输入输出设备、网络接入设备、总线等。

处理器1201可以是中央处理单元(Central Processing Unit，CPU)，也可以是其它通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器1202可以是电子设备12的内部存储单元，例如，电子设备12的硬盘或内存。存储器1202也可以是电子设备12的外部存储设备，例如，电子设备12上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(FlashCard)等。进一步地，存储器1202还可以既包括电子设备12的内部存储单元也包括外部存储设备。存储器1202用于存储计算机程序以及电子设备所需的其它程序和数据。存储器1202还可以用于暂时地存储已经输出或者将要输出的数据。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本公开的范围。

在本公开所提供的实施例中，应该理解到，所揭露的装置/电子设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/电子设备实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本公开实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可以存储在计算机可读存储介质中，该计算机程序在被处理器执行时，可以实现上述各个方法实施例的步骤。计算机程序可以包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如，在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

以上实施例仅用以说明本公开的技术方案，而非对其限制；尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本公开各实施例技术方案的精神和范围，均应包含在本公开的保护范围之内。

Claims

1.一种行人匹配方法，其特征在于，包括：

获取第一图像、第二图像；

2.根据权利要求1所述的方法，其特征在于，对所述第一图像、所述第二图像分别进行特征提取，得到第一局部特征、第二局部特征、第一高阶特征和第二高阶特征，包括：

对所述第一图像和所述第二图像分别进行人体局部特征提取，得到所述第一局部特征、第二局部特征；

对所述第一局部特征进行特征聚合，得到第一高阶特征，对所述第二局部特征进行特征聚合，得到所述第二高阶特征。

3.根据权利要求2所述的方法，其特征在于，所述人体关键点包括两个以上；

对局部特征进行特征聚合，得到高阶特征，包括：

根据各所述人体关键点对应的局部特征向量，学习确定所述局部特征对应的第一参数、第二参数和第三参数；

根据所述第一参数、第二参数和第三参数，生成各所述局部特征向量对应的查询、键和值；

基于所述查询、和所述键，确定两两所述局部特征向量之间的权重系数；

针对任一所述局部特征向量，根据所述局部特征向量与其他各所述局部特征向量之间的关系，确定调节系数；

根据所述权重系数、调节系数和所述值，得到所述局部特征对应的聚合特征；

由各所述局部特征对应的聚合特征，确定所述高阶特征；

其中，所述局部特征包括所述第一局部特征和所述第二局部特征，所述高阶特征包括所述第一高阶特征和所述第二高阶特征。

4.根据权利要求1所述的方法，其特征在于，对所述第一局部特征、所述第二局部特征进行特征对齐，得到第一融合特征、第二融合特征，包括：

计算所述第一局部特征和所述第二局部特征之间的局部特征相似度；

根据所述第二局部特征、所述局部特征相似度确定所述第二局部特征在所述第一局部特征中的第一匹配特征；

根据所述第一局部特征、所述局部特征相似度确定所述第一局部特征在所述第二局部特征中的第二匹配特征；

对所述第一匹配特征进行特征提取，得到所述第一融合特征，对所述第二匹配特征进行特征提取，得到所述第二融合特征。

5.根据权利要求4所述的方法，其特征在于，根据所述第二局部特征、所述局部特征相似度确定所述第二局部特征在所述第一局部特征中的第一匹配特征，包括：计算所述局部特征相似度与所述第二局部特征的第一乘积；将所述第一乘积与所述第一局部特征的和值确定为所述第一匹配特征；

根据所述第一局部特征、所述局部特征相似度确定所述第一局部特征在所述第二局部特征中的第二匹配特征，包括：将所述局部特征相似度进行转置得到转置后局部特征相似度；计算所述转置后局部特征相似度与所述第一局部特征的第二乘积；将所述第二乘积与所述第二局部特征的和值确定为所述第二匹配特征。

6.根据权利要求1所述的方法，其特征在于，对所述第一高阶特征和所述第二高阶特征进行特征对齐，得到第一高阶融合特征和第二高阶融合特征，包括：

计算所述第一高阶特征和所述第二高阶特征之间的高阶特征相似度；

根据所述第二高阶特征、所述高阶特征相似度确定所述第二高阶特征在所述第一高阶特征中的第一高阶匹配特征；

根据所述第一高阶特征、所述高阶特征相似度确定所述第一高阶特征在所述第二高阶特征中的第二高阶匹配特征；

对所述第一高阶匹配特征进行特征提取，得到所述第一高阶融合特征，对所述第二高阶匹配特征进行特征提取，得到所述第二高阶融合特征。

7.根据权利要求1至6中任一项所述的方法，其特征在于，基于所述第一融合特征、第二融合特征、第一高阶融合特征和第二高阶融合特征，确定所述第一图像和所述第二图像中是否包含同一个行人，包括：

对所述第一融合特征、所述第一高阶融合特征进行拼接，得到第一拼接特征；

对所述第二融合特征、所述第二高阶融合特征进行拼接，得到第二拼接特征；

计算所述第一拼接特征和所述第二拼接特征之间的对比损失值，根据所述对比损失值确定所述第一图像和所述第二图像中是否包含同一个行人。

8.一种行人匹配装置，其特征在于，包括：

获取模块，用于获取第一图像、第二图像；

9.一种电子设备，包括存储器、处理器以及存储在所述存储器中并且可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述方法的步骤。