CN113469095B - 一种基于步态的人物二次核验方法及装置 - Google Patents

Abstract

本申请实施例提供一种基于步态的人物二次核验方法及装置，用以解决现有技术中仅采用人脸识别技术进行人物核验所存在的误报和漏报的问题。该方法包括：将待核验人物的人脸图像与目标人物的人脸图像进行比较，得到第一相似度。若第一相似度位于二次核验区间内，根据待核验人物的人脸图像关联的轮廓序列和目标人物的人脸图像关联的轮廓序列，确定第二相似度。将第二相似度与设定的步态相似度阈值比较，判断待核验人物与目标人物是否为同一个人。

Description

一种基于步态的人物二次核验方法及装置

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种基于步态的人物二次核验方法及装置。

背景技术

现有技术中，人脸识别通常采用单一的相似度阈值进行判断。在实际应用场景中，往往难以确定合适的相似度阈值，如果相似度阈值设置较低，则可能出现较多误报，而如果相似度阈值设置较高，则可能出现较多漏报。在大底库人脸布控场景下，受光照、口罩遮挡、人脸相似等因素的影响误报或漏报的情况还会进一步加重，从而导致人脸识别精度较差，大大浪费警力资源。

另外，人脸识别技术根据人脸特征进行判断，对图像要求较高，在人脸相似或人脸质量较差情况下，无法对目标进行准确识别。

发明内容

本申请实施例提供一种基于步态的人物二次核验方法及装置，用以解决现有技术中仅采用人脸识别技术进行人物核验所存在的误报和漏报的问题。

第一方面，本申请实施例提供一种基于步态的人物二次核验方法，该方法包括：

确定待核验人物的人脸图像与目标人物的人脸图像的第一相似度；

若所述第一相似度位于二次核验区间内，则根据所述待核验人物的人脸图像关联的轮廓序列和所述目标人物的人脸图像关联的轮廓序列，确定第二相似度，所述待核验人物的人脸图像关联的轮廓序列用于表征所述待核验人物的步态特征，所述目标人物的人脸图像关联的轮廓序列用于表征所述目标人物的步态特征；

基于所述第二相似度和设定的步态相似度阈值，确定所述待核验人物与所述目标人物是否为同一个人。

通过上述方式，对待核验人物和目标人物进行了两次核验，第一次核验采用人脸识别技术进行初筛，可以减少后续二次核验所需比对次数；当通过人脸识别技术无法准确判断待核验人物与目标人物是否是同一个人时，可进一步通过步态识别技术进行第二次核验，从而有效减少误报或漏报；同时步态相比静脉、指纹等其他生物识别距离更远，对图像质量要求较低，且无需待核验人物主动配合，能够应用在人脸很相似或人脸质量较差等情况下。

一种可能的设计中，所述方法还包括：

若所述第一相似度大于第一人脸相似度阈值，且小于第二人脸相似度阈值，则确定所述第一人脸相似度处于所述二次核验区间内，所述第一人脸相似度阈值小于所述第二人脸相似度阈值。

一种可能的设计中，所述方法还包括：

若所述第一相似度大于第三人脸相似度阈值时，则确定所述第一相似度处于所述二次核验区间内。

一种可能的设计中，所述根据所述待核验人物的人脸图像关联的轮廓序列和所述目标人物的人脸图像关联的轮廓序列，确定第二相似度，包括：

将所述待核验人物的人脸图像关联的轮廓序列输入到步态核验模型中，得到第一特征向量；

将所述目标人物的人脸图像关联的轮廓序列输入到所述步态核验模型中，得到第二特征向量；

根据所述第一特征向量和所述第二特征向量，确定所述第二相似度。

一种可能的设计中，所述待核验人物的人脸图像和所述待核验人物的人脸图像关联的轮廓序列根据包含所述待核验人物的一段视频得到。

一种可能的设计中，所述步态核验模型通过如下方式训练得到：

将样本轮廓序列输入帧级特征提取骨干网络提取多帧图片特征，得到多帧特征向量M；

将所述多帧特征向量M输入基于Transformer的步态自注意力模块进行时序提取，得到单帧特征向量N；

使用三元组损失结合分类损失对所述单帧特征向量N进行训练。

一种可能的设计中，所述帧级特征提取骨干网络包括三个卷积模块和池化模块；

所述利用帧级特征提取骨干网络提取多帧图片特征，包括：

将所述样本轮廓序列输入，通过所述三个卷积模块，得到多帧特征向量M1；

对所述多帧特征向量M1通过所述池化模块进行全局平均池化，得到所述特征向量M。

一种可能的设计中，所述基于transformer的步态自注意力模块进行时序提取，包括：

将初始化的分类头N1与所述多帧特征向量M拼接，得到特征向量N2；

将初始化的时间编码变量N3与所述特征向量N2相加，得到特征向量N4；

将所述特征向量N4输入Transformer编码模块，通过自注意力学习机制学习步态运动信息，得到特征向量N5；

将所述特征向量N5池化，得到所述单帧特征向量N。

一种可能的设计中，所述将所述特征向量N5池化，包括：

将所述特征向量N5的t+1帧使用最大值或平均值进行池化生成所述单帧特征向量N；或者，将所述特征向量N5中的所述初始化分类头N1作为所述单帧特征向量N。

本申请实施例提供一种新的步态核验模型训练方法，可以更好地提取轮廓序列的时序信息，增强步态特征的分类能力，提高识别精度。

第二方面，本申请实施例提供一种基于步态的人物二次核验装置，包括：

第一核验模块，用于确定待核验人物的人脸图像与目标人物的人脸图像的第一相似度；

第二核验模块，用于若所述第一相似度位于二次核验区间内，则根据所述待核验人物的人脸图像关联的轮廓序列和所述目标人物的人脸图像关联的轮廓序列，确定第二相似度，所述待核验人物的人脸图像关联的轮廓序列用于表征所述待核验人物的步态特征，所述目标人物的人脸图像关联的轮廓序列用于表征所述目标人物的步态特征；

所述第二核验模块，还用于基于所述第二相似度和设定的步态相似度阈值，确定所述待核验人物与所述目标人物是否为同一个人。

一种可能的设计中，所述第一核验模块还用于：

若所述第一相似度大于第一人脸相似度阈值，且小于第二人脸相似度阈值，则确定所述第一人脸相似度处于所述二次核验区间内，所述第一人脸相似度阈值小于所述第二人脸相似度阈值。

一种可能的设计中，所述第一核验模块还用于：

若所述第一相似度大于第三人脸相似度阈值时，则确定所述第一相似度处于所述二次核验区间内。

一种可能的设计中，所述第二核验模块具体用于：

将所述待核验人物的人脸图像关联的轮廓序列输入到步态核验模型中，得到第一特征向量；

将所述目标人物的人脸图像关联的轮廓序列输入到所述步态核验模型中，得到第二特征向量；

根据所述第一特征向量和所述第二特征向量，确定所述第二相似度。

一种可能的设计中，所述待核验人物的人脸图像和所述待核验人物的人脸图像关联的轮廓序列根据包含所述待核验人物的一段视频得到。

一种可能的设计中，所述装置还包括模型训练模块，所述模型训练模块用于通过如下方式训练所述步态核验模型：

将样本轮廓序列输入帧级特征提取骨干网络提取多帧图片特征，得到多帧特征向量M；

将所述多帧特征向量M输入基于Transformer的步态自注意力模块进行时序提取，得到单帧特征向量N；

使用三元组损失结合分类损失对所述单帧特征向量N进行训练。

一种可能的设计中，所述帧级特征提取骨干网络包括三个卷积模块和池化模块；

所述模型训练模块具体用于：

将所述样本轮廓序列输入，通过所述三个卷积模块，得到多帧特征向量M1；

对所述多帧特征向量M1通过所述池化模块进行全局平均池化，得到所述特征向量M。

一种可能的设计中，所述模型训练模块还具体用于：

将初始化的分类头N1与所述多帧特征向量M拼接，得到特征向量N2；

将初始化的时间编码变量N3与所述特征向量N2相加，得到特征向量N4；

将所述特征向量N4输入Transformer编码模块，通过自注意力学习机制学习步态运动信息，得到特征向量N5；

将所述特征向量N5池化，得到所述单帧特征向量N。

一种可能的设计中，所述模型训练模块还具体用于：

将所述特征向量N5的t+1帧使用最大值或平均值进行池化生成所述单帧特征向量N；或者，将所述特征向量N5中的所述初始化分类头N1作为所述单帧特征向量N。

第三方面，本发明实施例还提供一种计算设备，包括：存储器，用于存储程序指令；处理器，用于调用所述存储器中存储的程序指令，按照获得的程序指令执行如第一方面的各种可能的设计中所述的方法。

第四方面，本发明实施例还提供一种计算机可读存储介质，包括计算机可读指令，当计算机读取并执行所述计算机可读指令时，使得计算机执行如第一方面的各种可能的设计中所述的方法。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种基于步态的人物二次核验方法；

图2为本申请实施例提供的一种基于步态的人物二次核验方法的具体流程；

图3为本申请实施例提供的一种步态核验模型的训练过程；

图4为本申请实施例提供的一种基于步态的人物二次核验装置。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部份实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

本申请实施例提供一种基于步态识别的人脸二次核验方法，如图1所示，该方法包括如下步骤：

步骤S101、确定待核验人物的人脸图像与目标人物的人脸图像的第一相似度。

作为一种实施例，本申请实施例中涉及的目标人物可以但不局限于为待抓捕人物，待核验人物为视频监控中拍摄到的人物，需要将待核验人物和目标人物比对，确认二者是不是同一个人。待核验人物的人脸图像可以但不局限于是从监控中拍摄到的一段包含待核验人物的视频中，筛选出的一张人脸质量较好的图像。

本申请实施例中的第一相似度用于表征待核验人物的人脸图像与目标人物的人脸图像之间的相似程度，第一相似度越大表示待核验人物与目标人物越有可能是同一个人。

示例性地，可将待核验人物的人脸图像和目标人物的人脸图像一起输入到人脸核验模型中，得到上述第一相似度。

作为一种实施例，人脸核验过程可采用第一人脸相似度阈值和第二人脸相似度阈值进行判断，其中，第一人脸相似度阈值小于第二人脸相似度阈值。具体的，如果第一相似度小于第一人脸相似度阈值，则可确定待核验人物与目标人物不是同一个人。如果第一相似度大于第二人脸相似度阈值，则可确定待核验人物与目标人物是同一个人。如果第一相似度大于第一人脸相似度阈值，且小于第二人脸相似度阈值，则可认为无法明确待核验人物与目标人物是不是同一个人，因此，需要进一步通过步态识别进行二次核验。在该情形下，可称第一人脸相似度阈值至第二人脸相似度阈值的区间为二次核验区间。即，如果第一相似度大于第一人脸相似度阈值，且小于第二人脸相似度阈值，则确定第一相似度位于二次核验区间内，否则位于二次核验区间之外。

作为一种实施例，人脸核验过程可采用单一人脸相似度阈值进行判断，该单一人脸相似度阈值可以是第三人脸相似度阈值。具体的，如果第一相似度小于第三相似度阈值，则可确定待核验人物与目标人物不是同一个人。如果第一相似度大于第三相似度阈值，则认为无法明确待核验人物与目标人物是不是同一个人。在该情形下，可称第三相似度阈值至正无穷大的区间为二次核验区间。即，如果第一相似度大于第三相似度阈值，则确定第一相似度位于二次核验区间内，否则位于二次核验区间之外。

换言之，本申请实施例中，若第一相似度处于二次核验区间之外，则可明确确定待核验人物与目标人物是同一个人或者不是同一个人。而若第一相似度处于二次核验区间之内，则不确定待核验人物与目标人物是不是同一个人，因此需要基于步态识别对上一步人脸识别的结果进行二次核验。

步骤S102、若第一相似度位于二次核验区间内，则根据待核验人物的人脸图像关联的轮廓序列和目标人物的人脸图像关联的轮廓序列，确定第二相似度。

本申请实施例中，待核验人物的人脸图像关联的轮廓序列用于表征待核验人物的步态特征，目标人物的人脸图像关联的轮廓序列用于表征目标人物的步态特征，第二相似度用于表征待核验人物的步态特征与目标人物的步态特征之间的相似程度，第二相似度越大也表示待核验人物与目标人物越可能是同一个人。其中，待核验人物的人脸图像和其关联的轮廓序列根据包含待核验人物的一段视频得到。

作为一种实施例，根据待核验人物的人脸图像关联的轮廓序列和目标人物的人脸图像关联的轮廓序列，确定第二相似度可包括：将待核验人的人脸图像关联的轮廓序列输入到步态核验模型中，得到第一特征向量；将目标人物的人脸图像关联的轮廓序列输入到步态核验模型中，得到第二特征向量；进而，根据第一特征向量和第二特征向量确定第二相似度，例如可以对两组特征向量计算余弦相似度。

步骤S103，基于第二相似度和设定的步态相似度阈值，判断待核验人物与目标人物是否为同一个人。

作为一种实施例，当第二相似度大于设定步态相似度阈值时，可以认为两段序列为同一人，即两张人脸也为同一个人。

由此可知，本申请实施例中，先通过人脸识别进行初筛，减少后续二次核验所需对比次数；提出两种可选的步态核验介入时机，对人脸相似度处于二次核验区间内的目标人物，进入步态二次核验，减少单一人脸阈值导致的漏报和误报。

示例性地，一种基于步态的人物二次核验方法的具体流程如图2所示。

待核验人物的人脸图像和其关联的轮廓序列可通过如下步骤获取：

步骤S201、采集监控中的一段视频。

步骤S202、从视频中优选出一张待核验人物的人脸图像和N张连续的步态图像。

步骤S203、提取待核验人物的N张连续的步态图像的轮廓序列，并将其与待核验人物的人脸图像关联。

待核验人物的人脸图像和其轮廓序列关联完成后进入人脸核验流程：

步骤S204、将待核验人物的人脸图像与目标人物的人脸图像进行比较，得到第一相似度。

步骤S205、将第一相似度和人脸相似度阈值进行比较。

如果第一相似度小于第一人脸相似度阈值，则可确定待核验人物与目标人物不是同一个人。如果第一相似度大于第二人脸相似度阈值，则可确定待核验人物与目标人物是同一个人，需要触发报警。如果第一相似度大于第一人脸相似度阈值，且小于第二人脸相似度阈值，则可认为无法明确待核验人物与目标人物是不是同一个人，因此，需要进一步通过步态识别进行二次核验。

步骤S206、通过调用步态核验模型，得到第一特征向量和第二特征向量，通过第一特征向量和第二特征向量确定第二相似度，若第二相似度大于设定的步态相似度阈值，则可确定待核验人物和目标人物是同一个人，需要触发警报；若第二相似度小于设定的步态相似度阈值，则可确定待核验人物和目标人物不是同一个人。

示例性地，如图2所示，对步态核验模型进行训练和优化之前还需做以下准备工作：

步骤S207、采集步态训练数据集。

步骤S208、生成行人步态序列。

步骤S209、对行人步态轮廓序列进行提取。

上述步态核验模型可通过如图3所示的训练过程训练得到：

步骤S301、将样本轮廓序列输入，通过三个卷积模块，得到多帧特征向量M1。

具体的，输入的样本轮廓序列尺寸为(b，c1，t，h1，w1)，其中b代表batchsize批量大小，c1代表通道，t代表帧数，h1代表高，w1代表宽，先通过三个卷积模块生成多帧特征向量M1(b，c2，t，h2，w2)。

步骤S302、对多帧特征向量M1通过池化模块进行全局平均池化，得到特征向量M。

具体的，对M1(b，c2，t，h2，w2)通过池化模块进行全局平均池化，得到特征向量M(b，t，c2)。

步骤S303、将初始化的一个可学习的分类头N1，与所述多帧特征向量M拼接，得到特征向量N2。

具体的，首先初始化一个可学习的分类头N1(b，1，c2)，与特征M(b，t，c2)进行拼接，得到特征向量N2(b，t+1，c2)。

步骤S304、将引入一个可学习初始化的时间编码变量N3，与所述特征向量N2相加，得到特征向量N4。

具体的，引入一个可学习的时间编码变量N3(b，t+1，c2)来增加特帧的时序信息，与前述输出特征向量N2(b，t+1，c2)进行相加，通过网络不断学习时间编码参数，得到具有时序信息的特征向量N4(b，t+1，c2)。

步骤S305、将特征向量N4输入Transformer编码模块，通过自注意力学习机制学习步态运动信息，得到特征向量N5。

具体的，将特征向量N4(b，t+1，c2)输入transformer编码模块，通过自注意力机制学习步态运动信息，输出特征向量N5(b，t+1，c2)。

步骤S306、将特征向量N5池化，得到单帧特征向量N。

步骤S306中将所述特征向量N5池化，包括：

将所述特征向量N5的t+1帧使用最大值或平均值进行池化生成所述单帧特征向量N；或者，将所述特征向量N5池化还包括：取出将所述特征向量N5中的所述初始化分类头N1作为所述单帧特征向量N。

具体的，将N5(b，t+1，c2)的t+1帧使用最大值或平均值池化，得到特征向量N(b，t+1)。或者取出分类头，即拼接的初始化分类头特征作为最终特征向量N(b，0，c2)。

步骤S307、使用三元组损失结合分类损失对单帧特征向量N进行训练。

具体的，进行三元组损失训练的同时，先将生成的特征向量进行BN批量数据标准化处理，再使用分类损失进行训练，减小类内距离，增大类间距离。

本申请实施例中的步态核验模型训练方法，能更好地提取步态轮廓序列的时序信息，增强步态特征的分类能力，提升识别精度。

基于相同构思，本申请实施例提出一种基于步态识别的人脸二次核验方法，提出先通过人脸识别进行初筛，减少后续二次核验所需对比次数；提出两种可选但不唯一的步态核验介入时机，对人脸相似度处于二次核验区间的目标人物，进行步态二次核验，减少单一人脸阈值导致的漏报和误报；针对步态识别，提出一种新颖的步态核验模型与训练方法，能更好地提取步态轮廓序列的时序信息，增强步态特征的分类能力，提升识别精度；并且步态相比于静脉、指纹等其他生物识别距离更远，对图像要求质量更低，且无需主动配合。

本申请实施例提供一种基于步态的人物二次核验装置，如图4所示，装置包括：

第一核验模块401，用于确定待核验人物的人脸图像与目标人物的人脸图像的第一相似度；

第二核验模块402，用于若第一相似度位于二次核验区间内，则根据待核验人物的人脸图像关联的轮廓序列和目标人物的人脸图像关联的轮廓序列，确定第二相似度，待核验人物的人脸图像关联的轮廓序列用于表征待核验人物的步态特征，目标人物的人脸图像关联的轮廓序列用于表征目标人物的步态特征；

第二核验模块，还用于基于第二相似度和设定的步态相似度阈值，确定待核验人物与目标人物是否为同一个人。

一种可能的设计中，第一核验模块还用于：

若第一相似度大于第一人脸相似度阈值，且小于第二人脸相似度阈值，则确定第一人脸相似度处于二次核验区间内，第一人脸相似度阈值小于第二人脸相似度阈值。

一种可能的设计中，第一核验模块还用于：

若第一相似度大于第三人脸相似度阈值时，则确定第一相似度处于二次核验区间内。

一种可能的设计中，第二核验模块具体用于：

将待核验人物的人脸图像关联的轮廓序列输入到步态核验模型中，得到第一特征向量；

将目标人物的人脸图像关联的轮廓序列输入到步态核验模型中，得到第二特征向量；

根据第一特征向量和第二特征向量，确定第二相似度。

一种可能的设计中，待核验人物的人脸图像和待核验人物的人脸图像关联的轮廓序列根据包含待核验人物的一段视频得到。

一种可能的设计中，装置还包括模型训练模块403，模型训练模块用于通过如下方式训练步态核验模型：

将样本轮廓序列输入帧级特征提取骨干网络提取多帧图片特征，得到多帧特征向量M；

将多帧特征向量M输入基于Transformer的步态自注意力模块进行时序提取，得到单帧特征向量N；

使用三元组损失结合分类损失对单帧特征向量N进行训练。

一种可能的设计中，帧级特征提取骨干网络包括三个卷积模块和池化模块；

模型训练模块具体用于：

将样本轮廓序列输入，通过三个卷积模块，得到多帧特征向量M1；

对多帧特征向量M1通过池化模块进行全局平均池化，得到特征向量M。

一种可能的设计中，模型训练模块还具体用于：

将初始化的分类头N1与多帧特征向量M拼接，得到特征向量N2；

将初始化的时间编码变量N3与特征向量N2相加，得到特征向量N4；

将所述特征向量N4输入Transformer编码模块，通过自注意力学习机制学习步态运动信息，得到特征向量N5；

将特征向量N5池化，得到单帧特征向量N。

一种可能的设计中，模型训练模块还具体用于：

将特征向量N5的t+1帧使用最大值或平均值进行池化生成单帧特征向量N；或者，将特征向量N5中的初始化分类头N1作为单帧特征向量N。

基于相同构思，本发明实施例还提供一种计算设备，包括：

存储器，用于存储程序指令；

处理器，用于调用所述存储器中存储的程序指令，按照获得的程序指令执行上述基于步态的人物二次核验方法。

基于相同构思，本发明实施例还提供一种计算机可读存储介质，包括计算机可读指令，当计算机读取并执行所述计算机可读指令时，使得计算机执行上述基于步态的人物二次核验方法。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (14)

1.一种基于步态的人物二次核验方法，其特征在于，包括：

确定待核验人物的人脸图像与目标人物的人脸图像的第一相似度；

若所述第一相似度位于二次核验区间内，则根据所述待核验人物的人脸图像关联的轮廓序列和所述目标人物的人脸图像关联的轮廓序列，通过步态核验模型确定第二相似度，所述待核验人物的人脸图像关联的轮廓序列用于表征所述待核验人物的步态特征，所述目标人物的人脸图像关联的轮廓序列用于表征所述目标人物的步态特征；所述待核验人物的人脸图像和所述待核验人物的人脸图像关联的轮廓序列是根据包含待核验人物的视频得到；

基于所述第二相似度和设定的步态相似度阈值，确定所述待核验人物与所述目标人物是否为同一个人；

所述步态核验模型通过如下方式训练得到：将样本轮廓序列输入帧级特征提取骨干网络提取多帧图片特征，得到多帧特征向量M；将初始化的分类头N1与所述多帧特征向量M拼接，得到特征向量N2；将初始化的时间编码变量N3与所述特征向量N2相加，得到特征向量N4；将所述特征向量N4输入Transformer编码模块，通过自注意力学习机制学习步态运动信息，得到特征向量N5；将所述特征向量N5池化，得到单帧特征向量N；使用三元组损失结合分类损失对所述单帧特征向量N进行训练。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

若所述第一相似度大于第一人脸相似度阈值，且小于第二人脸相似度阈值，则确定所述第一人脸相似度处于所述二次核验区间内，所述第一人脸相似度阈值小于所述第二人脸相似度阈值。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

若所述第一相似度大于第三人脸相似度阈值时，则确定所述第一相似度处于所述二次核验区间内。

4.根据权利要求1所述的方法，其特征在于，所述根据所述待核验人物的人脸图像关联的轮廓序列和所述目标人物的人脸图像关联的轮廓序列，确定第二相似度，包括：

将所述待核验人物的人脸图像关联的轮廓序列输入到步态核验模型中，得到第一特征向量；

将所述目标人物的人脸图像关联的轮廓序列输入到所述步态核验模型中，得到第二特征向量；

根据所述第一特征向量和所述第二特征向量，确定所述第二相似度。

5.根据权利要求1所述的方法，其特征在于，所述帧级特征提取骨干网络包括三个卷积模块和池化模块；

所述将样本轮廓序列输入帧级特征提取骨干网络提取多帧图片特征，得到多帧特征向量M，包括：

将所述样本轮廓序列输入，通过所述三个卷积模块，得到多帧特征向量M1；

对所述多帧特征向量M1通过所述池化模块进行全局平均池化，得到所述特征向量M。

6.根据权利要求1所述的方法，其特征在于，所述将所述特征向量N5池化，包括：

将所述特征向量N5的t+1帧使用最大值或平均值进行池化生成所述单帧特征向量N；或者，将所述特征向量N5中的所述初始化分类头N1作为所述单帧特征向量N。

7.一种基于步态的人物二次核验装置，其特征在于，包括：

第一核验模块，用于确定待核验人物的人脸图像与目标人物的人脸图像的第一相似度；

第二核验模块，用于若所述第一相似度位于二次核验区间内，则根据所述待核验人物的人脸图像关联的轮廓序列和所述目标人物的人脸图像关联的轮廓序列，通过步态核验模型确定第二相似度，所述待核验人物的人脸图像关联的轮廓序列用于表征所述待核验人物的步态特征，所述目标人物的人脸图像关联的轮廓序列用于表征所述目标人物的步态特征；所述待核验人物的人脸图像和所述待核验人物的人脸图像关联的轮廓序列是根据包含待核验人物的视频得到；

所述第二核验模块，还用于基于所述第二相似度和设定的步态相似度阈值，确定所述待核验人物与所述目标人物是否为同一个人；

模型训练模块，用于通过如下方式训练所述步态核验模型：将样本轮廓序列输入帧级特征提取骨干网络提取多帧图片特征，得到多帧特征向量M；将初始化的分类头N1与所述多帧特征向量M拼接，得到特征向量N2；将初始化的时间编码变量N3与所述特征向量N2相加，得到特征向量N4；将所述特征向量N4输入Transformer编码模块，通过自注意力学习机制学习步态运动信息，得到特征向量N5；将所述特征向量N5池化，得到单帧特征向量N；使用三元组损失结合分类损失对所述单帧特征向量N进行训练。

8.根据权利要求7所述的装置，其特征在于，所述第一核验模块还用于：

若所述第一相似度大于第一人脸相似度阈值，且小于第二人脸相似度阈值，则确定所述第一人脸相似度处于所述二次核验区间内，所述第一人脸相似度阈值小于所述第二人脸相似度阈值。

9.根据权利要求7所述的装置，其特征在于，所述第一核验模块还用于：

若所述第一相似度大于第三人脸相似度阈值时，则确定所述第一相似度处于所述二次核验区间内。

10.根据权利要求7所述的装置，其特征在于，所述第二核验模块具体用于：

将所述待核验人物的人脸图像关联的轮廓序列输入到步态核验模型中，得到第一特征向量；

将所述目标人物的人脸图像关联的轮廓序列输入到所述步态核验模型中，得到第二特征向量；

根据所述第一特征向量和所述第二特征向量，确定所述第二相似度。

11.根据权利要求7所述的装置，其特征在于，所述帧级特征提取骨干网络包括三个卷积模块和池化模块；

所述模型训练模块具体用于：

将所述样本轮廓序列输入，通过所述三个卷积模块，得到多帧特征向量M1；

对所述多帧特征向量M1通过所述池化模块进行全局平均池化，得到所述特征向量M。

12.根据权利要求7所述的装置，其特征在于，所述模型训练模块还具体用于：

将所述特征向量N5的t+1帧使用最大值或平均值进行池化生成所述单帧特征向量N；或者，将所述特征向量N5中的所述初始化分类头N1作为所述单帧特征向量N。

13.一种计算设备，其特征在于，包括：

存储器，用于存储程序指令；

处理器，用于调用所述存储器中存储的程序指令，按照获得的程序指令执行权利要求1至6任一项所述的方法。

14.一种计算机可读存储介质，其特征在于，包括计算机可读指令，当计算机读取并执行所述计算机可读指令时，使得计算机执行如权利要求1至6任一项所述的方法。

Images