CN112668475B - 一种人员身份识别方法、装置、设备及可读存储介质 - Google Patents

Abstract

本发明公开了一种人员身份识别方法、装置、设备及可读存储介质，该方法包括：获取监控视频；对监控视频的图像帧进行人员检测，并确定出待识别人员；从监控视频中提取待识别人员的区域特征；对区域特征进行配准和时序建模，得到外观动作特征；利用外观动作特征，识别待识别人员的身份信息。该方法基于人员外观动作特征来实现人员身份识别，即可不再受限于是否存在便于识别的人脸面部，能够适应更多人员识别场景的需求。

Description

一种人员身份识别方法、装置、设备及可读存储介质

技术领域

本发明涉及监控技术领域，特别是涉及一种人员身份识别方法、装置、设备及可读存储介质。

背景技术

在智能视频监控系统中，可以使用先进的计算机视觉技术和人工智能技术，让计算机模仿人类的视觉认知原理，对监控视频中的图像进行目标物检测。这种智能视频监控系统在交通管制应用中，对监控视频中的违规车辆进行检测，能够有效降低执法人员的工作量。

目前，智能视频监控系统中，大多数是基于人脸面部识别进行分析和处理的。但是，当人脸面部有遮挡物时(如佩戴口罩、面纱)，便无法有效对人脸面部进行识别，从而无法对监控视频中的人物进行检测和跟踪。

综上所述，如何有效地解决识别监控视频中人员身份等问题，是目前本领域技术人员急需解决的技术问题。

发明内容

本发明的目的是提供一种人员身份识别方法、装置、设备及可读存储介质，通过提取待识别人员的区域特征，并对所述区域特征进行配准和时序建模，得到外观动作特征，最终基于所述外观动作特征识别所述待识别人员的身份信息，能够基于待识别人员的外观行为特征实现人员身份识别。

为解决上述技术问题，本发明提供如下技术方案：

一种人员身份识别方法，包括：

获取监控视频；

对所述监控视频的图像帧进行人员检测，并确定出待识别人员；

从所述监控视频中提取所述待识别人员的区域特征；

对所述区域特征进行配准和时序建模，得到外观动作特征；

利用所述外观动作特征，识别所述待识别人员的身份信息。

优选地，所述对所述监控视频的图像帧进行人员检测，并确定出待识别人员，包括：

利用车辆分类检测模型，对所述图像帧进行车辆检测；

在检测到骑行类车辆的情况下，检测所述骑行类车辆对应的骑行人员是否佩戴头盔；

如果否，则将所述骑行人员确定为所述待识别人员。

优选地，训练所述车辆分类检测模型的过程，包括：

获取车辆样本图像；

利用Yolo-V4检测系统提取所述车辆样本图像的浅层特征，并利用特征增强模块对所述浅层特征进行增强，将增强后的特征图输入到卷积神经网络中，得到所述车辆分类模型；

其中，所述Yolo-V4检测系统包括：Mask Yolo-V4，关键点掩膜、人掩膜、残差网络、特征向量、Hadmard乘积、级联和损失函数。

优选地，所述检测所述骑行类车辆对应的骑行人员是否佩戴头盔，包括：

利用注意力机制，定位所述骑行人员的头部区域；

利用头盔识别模型，检测所述头部区域是否有头盔；

如果是，则确定所述骑行人员已佩戴头盔；

如果否，则确定所述骑行人员未佩戴头盔。

优选地，所述从所述监控视频中提取所述待识别人员的区域特征，包括：

从所述监控视频中提取所述待识别人员的掩码覆盖图像；

利用所述掩码覆盖图像，从所述监控视频内对应原图中提取人员图像，并生成人员关键点掩码；

利用所述人员关键点掩码，对所述人员图像进行分割，得到局部区域图；

对所述局部区域图进行特征提取，得到所述区域特征。

优选地，所述局部区域图包括：头部区域图、上半身区域图和下半身区域图，所述区域特征包括：头部特征、上半身特征和下半身特征；利用所述人员关键点掩码，对所述人员图像进行分割，得到局部区域图，包括：

对左右相邻的所述人员关键点掩码进行连接，以将所述人员图像分割为所述头部区域图、所述上半身区域图和所述下半身区域图；

相应地，所述对所述局部区域图进行特征提取，得到所述区域特征，包括：

分别对所述头部区域图、所述上半身区域图和所述下半身区域图进行特征提取，得到所述头部特征、所述上半身特征和所述下半身特征。

优选地，所述对所述区域特征进行配准和时序建模，得到外观动作特征，包括：

将所述监控视频中与所述区域特征对应的特征图确定为中心帧；

计算所述中心帧与所述监控视频中对应的近邻帧之间交叉像素的余弦相似性；

利用所述余弦相似性，定位所述中心帧中每一个点在对应近邻帧中的位置，以进行配准；

按照时序对配准后的特征进行建模，得到所述外观动作特征。

一种人员身份识别装置，包括：

监控视频获取模块，用于获取监控视频；

目标确定模块，用于对所述监控视频的图像帧进行人员检测，并确定出待识别人员；

区域特征提取模块，用于从所述监控视频中提取所述待识别人员的区域特征；

外观动作特征获取模块，用于对所述区域特征进行配准和时序建模，得到外观动作特征；

身份信息识别模块，用于利用所述外观动作特征，识别所述待识别人员的身份信息。

一种电子设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现上述人员身份识别方法的步骤。

一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述人员身份识别方法的步骤。

应用本发明实施例所提供的方法，获取监控视频；对监控视频的图像帧进行人员检测，并确定出待识别人员；从监控视频中提取待识别人员的区域特征；对区域特征进行配准和时序建模，得到外观动作特征；利用外观动作特征，识别待识别人员的身份信息。

在该方法中，首先获取监控视频并对监控视频的图像帧进行人员检测，确定出待识别人员。然后，从监控识别中提取该待识别人员的区域特征，并对区域特征进行配准以及时序建模，即可结合时序以及区域特征之间的相对位置关系，将空间和时间上离散的区域特征进行融合，得到外观动作特征。基于外观动作特征，便可识别出待识别人员的身份信息。可见，该方法基于待识别人员的外观动作特征来实现人员身份识别，即可不再受限于是否存在便于识别的人脸面部，能够适应更多人员识别场景的需求。

相应地，本发明实施例还提供了与上述人员身份识别方法相对应的人员身份识别装置、设备和可读存储介质，具有上述技术效果，在此不再赘述。

附图说明

为了更清楚地说明本发明实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中一种人员身份识别方法的实施流程图；

图2为本发明实施例中一种3D卷积神经网络的前向传播过程示意图；

图3为本发明实施例中一种保留外观模块示意图；

图4为本发明实施例中另一种人员身份识别方法的流程图；

图5为本发明实施例中一种人员身份识别方法的具体流程图；

图6为本发明实施例中的一种Yolo-V4的示意图；

图7为本发明实施例中头部区域定位示意图；

图8为本发明实施例中一种区域特征提取示意图；

图9为本发明实施例中一种车牌特征提取示意图；

图10为本发明实施例中一种人员身份识别装置的结构示意图；

图11为本发明实施例中一种电子设备的结构示意图；

图12为本发明实施例中一种电子设备的具体结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参考图1，图1为本发明实施例中一种人员身份识别方法的流程图，该方法包括以下步骤：

S100、获取监控视频。

监控视频即利用视频采集设备所获得的对需要进行监控的场景所拍摄的视频。该监控视频的场景可以具体为交通道路，居民小区，银行，车库，学校，医院，商场等任意一个需要进行监控的场景。在本实施例中，对于监控视频的具体场景并不做限定。

在本实施例中，该监控视频可以具体为实时监控视频，也可以为预先采集并通过传输等方式得到的视频。

S101、对监控视频的图像帧进行人员检测，并确定出待识别人员。

其中，待识别人员即为需要进行识别的人员。

具体的，可以通过对监控视频的图像帧进行人员检测，将出现在图像帧中人员均视为待识别人员。具体的，可对图像帧进行特征提取，并检测得到的特征是否与人员特征匹配，如果是，则确定存在人员，并将该人员确定为待识别人员。

也可以为根据需要，将监控视频的图像帧中满足预设条件的人员，确定为待识别人员。例如，利用交通违规检测技术对监控视频中的图像帧进行违规检测，将检测到的交通违规人员，特定时间出现的异常人员确定为待识别人员。

S102、从监控视频中提取待识别人员的区域特征。

其中，区域特征，即指待识别人员不同身体区域对应的特征，例如，头部区域的特征对应为头部特征，上半身区域对应的特征为上半身特征，下半身区域对应的特征为下半身特征。当然，区域特征也可以对应人脸区域的特征，即人脸特征。

确定出待识别人员之后，便可从监控视频中提取出待识别人员的区域特征。具体的，即从监控视频中找出具有该待识别人员的视频帧，即图像(下文称之为原图)，然后对图像中的待识别人员进行区域划分，然后对划分好的各个区域进行特征提取，最终得到区域特征。

需要注意的是，在本实施例中，区域特征可以对应一个区域的特征也可以对应多个区域的特征，且由于监控视频的连续性特定，对应一个区域的特征，可基于所提取的视频帧的先后顺序，呈现出时间顺序的特点。也就是说，在实际应用中，若从一帧图像中仅提取出一个区域特征，但是由于待识别人员在N 帧图像中均有出现，则该区域特征的数量也可以为N，当然，在提取区域特征时，也可以结合抽样检测，进行特征提取，即对应提取的区域特征的数量也可以小于N，如N/2。

在本发明的一种具体实施方式中，步骤S102从监控视频中提取待识别人员的区域特征，可以具体包括：

步骤一、从监控视频中提取待识别人员的掩码覆盖图像。

具体的，可以将监控视频中包括有待识别人员的图像进行掩码处理，从而得到掩码覆盖图像。例如，可对包括了待识别人员的图像进行二值化处理，将二值化得到的图像即为掩码覆盖图像。当然，还可采用灰度图，等其他掩码处理方式，来得到掩码覆盖图像。

步骤二、利用掩码覆盖图像，从监控视频内对应原图中提取人员图像，并生成人员关键点掩码。

得到掩码覆盖图像之后，便可基于该掩码覆盖图像从监控视频内对应原图中提取出人员图像。也就是说，基于掩码覆盖图像将对应原图的前景和背景进行分离，从而获得人员图像。具体的，对于如何基于掩码覆盖图像对前景和背景进行分离可具体参见相关前景背景分离技术，在此不再一一赘述。

与此同时，还可以基于关键点掩码生成技术，基于掩码覆盖图像，生成人员关键点掩码。

步骤三、利用人员关键点掩码，对人员图像进行分割，得到局部区域图。

得到人员关键点掩码以及人员图像之后，便可利用人员关键点掩码对人员图像进行分割，进而得到局部区域图。

步骤四、对局部区域图进行特征提取，得到区域特征。

得到局域区域图之后，便可针对各个局部区域图进行特征提取，最终得到区域特征。

进一步地，为了便于提高识别准确率，在本发明的一种具体实施方式中，局部区域图包括：头部区域图、上半身区域图和下半身区域图，区域特征包括：头部特征、上半身特征和下半身特征；上述步骤三利用人员关键点掩码，对人员图像进行分割，得到局部区域图，可以具体包括：对左右相邻的人员关键点掩码进行连接，以将人员图像分割为头部区域图、上半身区域图和下半身区域图；相应地，上述步骤四对局部区域图进行特征提取，得到区域特征，可以具体包括：分别对头部区域图、上半身区域图和下半身区域图进行特征提取，得到头部特征、上半身特征和下半身特征。

举例说明：可利用掩码引导的区域注意力网络(Mask-Guided Region AttentionNetwork)，首先利用掩码覆盖图像中的待识别人员，然后从监控视频中对应原图中得到人员图像，再生成车主关键点掩码并连接左右相邻的关键点掩码将人员图像划分成头部、上半身、下半身三块局部区域，最后分别提取车主的局部区域和电动车区域的特征。

S103、对区域特征进行配准和时序建模，得到外观动作特征。

其中，配准，即从空间上将各个区域特征进行对应关联，进行时序建模即从时间上，将特征进行连贯，以呈现动作这一动态特性。

得到区域特征之后，便可对区域特征进行配准，并进行时序建模，使得时间和空间相互独立的区域特征融合为一个整体，即外观动作特征。

在本发明的一种具体实施方式中，步骤S103对区域特征进行配准和时序建模，得到外观动作特征，包括：

步骤一、将监控视频中与区域特征对应的特征图确定为中心帧；

步骤二、计算所述中心帧与所述监控视频中对应的近邻帧之间交叉像素的余弦相似性；

步骤三、利用余弦相似性，定位中心帧中每一个点在对应近邻帧中的位置，以进行配准；

步骤四、按照时序对配准后的特征进行建模，得到外观动作特征。

为便于描述，下面将上述四个步骤结合起来进行说明。

具体的，请参考图2、图3，图2为本发明实施例中一种3D卷积神经网络的前向传播过程示意图；图3为本发明实施例中一种保留外观模块示意图。

可采用行人重识别技术对应的具有保留外观模块(Appearance-PreservingModule，APM)的3D卷积神经网络(Appearance-Preserving 3D Convolution Network)对特征进行处理。因为在行人重识别中起主导作用的是外观特征，所以利用3D卷积神经网络中的保留外观模块，根据监控视频中中间帧的特征图重建其前后帧的特征图以实现监控视频中所有帧的特征图的外观对齐。

具体的，3D卷积神经网络可将输入特征图(即区域特征)作为中心帧，然后采集相应的近邻帧之后，用保留外观模块做特征图配准。其中，保留外观模块可以利用图像匹配的方法来完成中心帧和近邻帧之间外观的配准。具体的，该方法通过计算中心帧与近邻帧之间交叉像素的余弦相似性来定位中心帧每一个点在近邻帧中的位置。

在完成配准之后，便可按照时序对配置后的特征进行建模。例如，将配置后的特征按照时间顺序进行排列，得到特征序列，该特征序列即外观特征。具体的，可将整合配准后的特征图和原始输入的特征图一并进行3D卷积，最终输出外观动作特征。

S104、利用外观动作特征，识别待识别人员的身份信息。

得到外观动作特征之后，便可基于该外观动作特征识别得到待识别人员的身份信息。

具体的，将该外观动作特征与预设的外观动作特征库中已标注了人员身份信息的已有外观动作特征进行匹配查询，将与该外观动作特征匹配的已有外观动作特征对应的人员身份信息，确定为待识别人员的身份信息。

当然，也可以将外观动作特征输入到训练好的识别模型中，将模型输出的人员身份信息确定为待识别人员的身份信息。该识别模型可以具体为预先利用有标签的外观动作特征训练好的模型。

得到待识别人员的身份信息之后，便可直接输出，以便明确待识别人员的身份；当然也对该身份信息进行存储，如此，便可在需要查看该待识别人员的身份信息时进行输出。

应用本发明实施例所提供的方法，获取监控视频；对监控视频的图像帧进行人员检测，并确定出待识别人员；从监控视频中提取待识别人员的区域特征；对区域特征进行配准和时序建模，得到外观动作特征；利用外观动作特征，识别待识别人员的身份信息。

在该方法中，首先获取监控视频，并对监控视频中的图像帧进行人员检测，确定出待识别人员。然后，从监控识别中提取该待识别人员的区域特征，并对区域特征进行配准以及时序建模，即可结合时序以及区域特征之间的相对位置关系，将空间和时间上离散的区域特征进行融合，得到外观动作特征。基于外观动作特征，便可识别出待识别人员的身份信息。可见，该方法基于待识别人员的外观动作特征来实现人员身份识别，即可不再受限于是否存在便于识别的人脸面部，能够适应更多人员识别场景的需求。

需要说明的是，基于上述实施例，本发明实施例还提供了相应的改进方案。在优选/改进实施例中涉及与上述实施例中相同步骤或相应步骤之间可相互参考，相应的有益效果也可相互参照，在本文的优选/改进实施例中不再一一赘述。

请参考图4，图4为本发明实施例中另一种人员身份识别方法的流程图。该方法包括以下步骤：

S201、利用车辆分类检测模型，对监控视频进行车辆检测。

在本实施例中，可以预先训练出车辆分类检测模型，然后便可对监控视频进行车辆检测。在实际应用中，对监控视频进行车辆检测，即对监控视频中的各个图像帧进行车辆检测。考虑到车辆出现对应的图像帧有连续性，因此，还可每间隔一定数量的图像帧对监控视频中的图像帧进行监控。例如，每隔30 帧检测一次。

在本发明的一种具体实施方式中，训练所述车辆分类检测模型的过程，包括：

步骤一、获取车辆样本图像；

步骤二、利用Yolo-V4检测系统提取所述车辆样本图像的浅层特征，并利用特征增强模块对所述浅层特征进行增强，将增强后的特征图输入到卷积神经网络中，得到所述车辆分类模型；

其中，所述Yolo-V4检测系统包括：Mask Yolo-V4，关键点掩膜、人掩膜、残差网络、特征向量、Hadmard乘积、级联和损失函数。

为便于描述，下面将上述两个步骤结合起来进行说明。

请参考图5，图5为本发明实施例中一种人员身份识别方法的具体流程图。从图5中可见，在实际应用中，可以使用有标签车辆图像对分类模型进行训练，进而得到一个能够对车辆进行分类检测的车辆类别分类器，如图示中的分辨出是否有电动车。

考虑到，在确定待识别人员时，可以将未佩戴头盔的骑行人员确定为待识别人员，即后续还会检测骑行人员身份佩戴头盔，即可具体采用头盔识别模型进行识别，因此在训练模型时，还可一并训练车辆分类检测模型和头盔识别模型。

请参考图6，图6为本发明实施例中的一种Yolo-V4检测系统的示意图，其中，Lbox：该损失函数主要负责定位预测框的位置，Lmask：该损失函数负责掩膜(与掩码对应)的置信度，LReID：该损失函数最终确定待识别人员的重识别。可见，在本发明实施例中，改进了Yolo-V4检测系统，即设计Mask Yolo-V4，使其具有掩膜的功能，主要产生两种掩膜：骑车人员的关键点掩膜，和骑车人员掩膜。前者可用于分割骑车人的四个关键点，并最终将人分割成头部、胸上半身和下半身三个局部区域；后者用于区分人和背景。Lbox用于定位人的预测框(利用Yolo-V4可产生预测框的良好性质)，在此基础之上本发明提出Lmask用于实现人的整体和局部掩膜。经过上半部分掩膜引导的区域注意力网络，骑车人的特征很容易被分为局部和整体，下半部分的整体局部特征级联网络将人的特征进行归一化和级联，从而最后设计损失函数LReID，将其训练成可以重识别骑车人员的扩展改进的Yolo-V4网络。该网络并不依赖于车的类型，且与任何复杂背景无关，重识别出的骑车人员若有非安全行车记录，则可以在之后的含有该骑车人的图片中识别出该人，即依赖的是骑行人员的局部和整体特征的级联之后共同具备的良好性质，即人本身的行为动作特征，如：行走习惯、甩臂动作、头部偏移习惯、遮挡等等特征。

具体的，可以提取COCO数据集中包含行人的图像数据，然后使用Yolo-V4 检测系统训练该数据集并输出行人检测模型。随后在行人检测模型上使用 Yolo-V4检测系统训练经过预处理后的骑行类车辆图像和头盔图像。训练过程主要包括提取图像中的浅层特征，利用特征增强模块对浅层特征进行增强，将增强后的特征图输入到卷积神经网络中，最终输出车辆分类检测模型和头盔识别模型。

S202、在检测到骑行类车辆的情况下，检测骑行类车辆对应的骑行人员是否佩戴头盔。

其中，骑行类车辆，具体为如摩托车、电动车、自行车等需要骑行驾驶的车。对于骑行类车辆，大多的国家和地区为了安全考虑等因素，都会安全骑行人员佩戴头盔。因此，在检测到骑行类车辆的时候，对其进行违规检测，可具体检测对应的骑行人员身份佩戴头盔。

具体的，由于佩戴头盔后，在拍摄到骑行车辆的情况下，通常也会拍摄到头盔对应的头部位置。因此，可以通过对图像中是否存在头盔进行识别，便可确定出骑行人员身份佩戴了头盔。

当然，在实际用于中，可能会存在头盔出现在了监控视频中，但该头盔并非是被骑行人员所佩戴，而是放置在其他部位，或者车辆上有两人，但是仅有一人佩戴头盔。因此，在本发明的一种具体实施方式中，步骤S202检测骑行类车辆对应的骑行人员是否佩戴头盔，可以具体包括：

步骤一、利用注意力机制，定位骑行人员的头部区域；

步骤二、利用头盔识别模型，检测头部区域是否有头盔；

步骤三、如果是，则确定骑行人员已佩戴头盔；

步骤四、如果否，则确定骑行人员未佩戴头盔。

为便于描述，下面将上述四个步骤结合起来进行说明。

首先，采用注意力机制，定位出骑行人员的头部区域。具体的，请参考图7，图7为本发明实施例中头部区域定位示意图。其中，原图即指监控视频中的图像帧，头部注意力图即指采用注意力机制定位头部区域的效果示意。

然后在利用训练好的头盔识别模型对头部区域是否有头盔进行检测。如果检测到了头盔，则确定骑行人员已佩戴了头盔，如果未检测到头盔，则确定骑行人员未佩戴头盔。

可见，首先对头部区域进行定位，然后重点针对头部区域进行头盔识别检测，便可降低携带头盔但未正确佩戴，以及当不止有一人的情况下，检测是否所有人员均已佩戴头盔。

如果确定骑行人员佩戴了头盔，则可返回步骤S201；如果确定骑行人员未佩戴头盔，则执行步骤S203。

S203、将骑行人员确定为待识别人员。

当确定骑行人员没有佩戴头盔，则可将骑行人员确定为待识别人员。

需要说明的是，相对应同一个骑行车辆，若骑行人员不止人员，则待识别人员可以具体为其中未佩戴头盔的一人，或多人。

S204、从监控视频中提取待识别人员的区域特征。

请参考图8，图8为本发明实施例中一种区域特征提取示意图。即首先中监控视频中待识别人员对应的视频帧(即图中所示的原图)，然后提取出车主 (骑行人员)对应的车主掩码，并进行关键点检测，确定出车主区域及人员关键点掩码(如图中的黑圆点)，然后根据关键点划分局部区域图，并分别提取各个局部区域图的区域特征。

S205、对区域特征进行配准和时序建模，得到外观动作特征。

具体的，对于如何对区域特征进行配准和时序建模，得到外观动作特征可具体参见上述S103步骤，在此不再一一赘述。

S206、利用外观动作特征，识别待识别人员的身份信息。

得到待识别人员的身份信息之后，由于该待识别人员为未佩戴头盔的违规骑行人员，还可以将该身份信息反馈到交通管理系统或交通执法人员，以便对违规骑行人员进行警示教育等。

在本发明的一种具体实施方式中，请参考图5在将未佩戴头盔的骑行人员确定为待识别人员之后，还可以提取骑行类车辆的车辆特征；对车辆特征进行识别，得到车辆信息。具体来说，在实际应用中可以选择针对人员进行跟踪，如方案一，也可以对车辆进行跟踪，如方案二。当然方案一和方案二可以共用。对于方案一可参照上述实施例的描述，下面对方案二进行详细说明：

具体的，可以使用基于视频流的车辆重识别技术对违规的骑行类车辆进行跨区域追踪。车辆重识别将采用由粗到细的方法进行搜索，例如，首先利用卷积神经网络提取骑行类车辆的外观特征，如车的外形，颜色、车牌号等信息。其中，请参考图9，图9为本发明实施例中一种车牌特征提取示意图。即可从监控视频中确定出骑行类车辆的原图(即车辆对应的视频帧)，然后提取出车辆掩码，如图示的电动车掩码。然后，在提取出电动车区域，根据车牌长款比和背景色定位车牌区域，将车牌区域提取出来，进一步便可针对车牌区域的特征提取，得到车牌特征。即，该车牌特征提取过程起到粗过滤的作用。然后利用车牌识别技术识别车牌信息(对应车辆信息)。最后将车牌信息保存到数据库中。

应用本发明实施例所提供的人员身份识别方法，在监控视频中，先使用车辆分类检测模型初步筛选出包含骑行类车辆的图像，减少其他类别车辆的干扰。再利用注意力机制定位骑行人员的头部区域，然后使用头盔识别模型判断以上图像中是否存在头盔。最终使用行人重识别和车辆重识别方案对不佩戴头盔的骑行人员和骑行类车辆进行跨区域追踪，进而将追踪结果，即人员身份信息和车辆信息应用到实际的交通监控领域，如对违规行为进行批评教育。

相应于上面的方法实施例，本发明实施例还提供了一种人员身份识别装置，下文描述的人员身份识别装置与上文描述的人员身份识别方法可相互对应参照。

参见图10所示，该装置包括以下模块：

监控视频获取模块100，用于获取监控视频；

目标确定模块101，用于对监控视频的图像帧进行人员检测，并确定出待识别人员；

区域特征提取模块102，用于从监控视频中提取待识别人员的区域特征；

外观动作特征获取模块103，用于对区域特征进行配准和时序建模，得到外观动作特征；

身份信息识别模块104，用于利用外观动作特征，识别待识别人员的身份信息。

应用本发明实施例所提供的装置，获取监控视频；对监控视频进行人员检测，并确定出待识别人员；从监控视频中提取待识别人员的区域特征；对区域特征进行配准和时序建模，得到外观动作特征；利用外观动作特征，识别待识别人员的身份信息。

在该装置中，首先获取监控视频，并对监控视频的图像帧进行人员检测，确定出待识别人员。然后，从监控识别中提取该待识别人员的区域特征，并对区域特征进行配准以及时序建模，即可结合时序以及区域特征之间的相对位置关系，将空间和时间上离散的区域特征进行融合，得到外观动作特征。基于外观动作特征，便可识别出待识别人员的身份信息。可见，该装置基于待识别人员的外观动作特征来实现人员身份识别，即可不再受限于是否存在便于识别的人脸面部，能够适应更多人员识别场景的需求。

在本发明的一种具体实施方式中，目标确定模块101，具体用于利用车辆分类检测模型，对图像帧进行车辆检测；在检测到骑行类车辆的情况下，检测骑行类车辆对应的骑行人员是否佩戴头盔；如果否，则将骑行人员确定为待识别人员。

在本发明的一种具体实施方式中，还包括：车辆识别模块，用于提取骑行类车辆的车辆特征；对车辆特征进行识别，得到车辆信息。

在本发明的一种具体实施方式中，还包括：

模型训练模块，用于获取车辆样本图像；利用Yolo-V4检测系统提取所述车辆样本图像的浅层特征，并利用特征增强模块对所述浅层特征进行增强，将增强后的特征图输入到卷积神经网络中，得到所述车辆分类模型；其中，所述 Yolo-V4检测系统包括：MaskYolo-V4，关键点掩膜、人掩膜、残差网络、特征向量、Hadmard乘积、级联和损失函数。

在本发明的一种具体实施方式中，目标确定模块101，具体用于利用注意力机制，定位骑行人员的头部区域；利用头盔识别模型，检测头部区域是否有头盔；如果是，则确定骑行人员已佩戴头盔；如果否，则确定骑行人员未佩戴头盔。

在本发明的一种具体实施方式中，区域特征提取模块102，具体用于从监控视频中提取待识别人员的掩码覆盖图像；利用掩码覆盖图像，从监控视频内对应原图中提取人员图像，并生成人员关键点掩码；利用人员关键点掩码，对人员图像进行分割，得到局部区域图；对局部区域图进行特征提取，得到区域特征。

在本发明的一种具体实施方式中，局部区域图包括：头部区域图、上半身区域图和下半身区域图，区域特征包括：头部特征、上半身特征和下半身特征；区域特征提取模块102，具体用于利用人员关键点掩码，对人员图像进行分割，得到局部区域图，包括：对左右相邻的人员关键点掩码进行连接，以将人员图像分割为头部区域图、上半身区域图和下半身区域图；相应地，对局部区域图进行特征提取，得到区域特征，包括：分别对头部区域图、上半身区域图和下半身区域图进行特征提取，得到头部特征、上半身特征和下半身特征。

在本发明的一种具体实施方式中，外观动作特征获取模块103，具体用于将监控视频中与区域特征对应的特征图确定为中心帧；计算所述中心帧与所述监控视频中对应的近邻帧之间交叉像素的余弦相似性；利用余弦相似性，定位中心帧中每一个点在对应近邻帧中的位置，以进行配准；按照时序对配准后的特征进行建模，得到外观动作特征。

相应于上面的方法实施例，本发明实施例还提供了一种电子设备，下文描述的一种电子设备与上文描述的一种人员身份识别方法可相互对应参照。

参见图11所示，该电子设备包括：

存储器332，用于存储计算机程序；

处理器322，用于执行计算机程序时实现上述方法实施例的人员身份识别方法的步骤。

具体的，请参考图12，图12为本实施例提供的一种电子设备的具体结构示意图，该电子设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)322(例如，一个或一个以上处理器)和存储器332，存储器332存储有一个或一个以上的计算机程序342 或数据344。其中，存储器332可以是短暂存储或持久存储。存储在存储器332 的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对数据处理设备中的一系列指令操作。更进一步地，处理器322可以设置为与存储器332通信，在电子设备301上执行存储器332中的一系列指令操作。

电子设备301还可以包括一个或一个以上电源326，一个或一个以上有线或无线网络接口350，一个或一个以上输入输出接口358，和/或，一个或一个以上操作系统341。

上文所描述的人员身份识别方法中的步骤可以由电子设备的结构实现。

相应于上面的方法实施例，本发明实施例还提供了一种可读存储介质，下文描述的一种可读存储介质与上文描述的一种人员身份识别方法可相互对应参照。

一种可读存储介质，可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例的人员身份识别方法的步骤。

该可读存储介质具体可以为U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可存储程序代码的可读存储介质。

本领域技术人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

Claims (9)

1.一种人员身份识别方法，其特征在于，包括：

获取监控视频；

对所述监控视频的图像帧进行人员检测，并确定出待识别人员；

从所述监控视频中提取所述待识别人员的区域特征；

对所述区域特征进行配准和时序建模，得到外观动作特征；

利用所述外观动作特征，识别所述待识别人员的身份信息；

所述对所述区域特征进行配准和时序建模，得到外观动作特征，包括：

将所述监控视频中与所述区域特征对应的特征图确定为中心帧；

计算所述中心帧与所述监控视频中对应的近邻帧之间交叉像素的余弦相似性；

利用所述余弦相似性，定位所述中心帧中每一个点在对应近邻帧中的位置，以进行配准；

按照时序对配准后的特征进行建模，得到所述外观动作特征。

2.根据权利要求1所述的人员身份识别方法，其特征在于，所述对所述监控视频的图像帧进行人员检测，并确定出待识别人员，包括：

利用车辆分类检测模型，对所述图像帧进行车辆检测；

在检测到骑行类车辆的情况下，检测所述骑行类车辆对应的骑行人员是否佩戴头盔；

如果否，则将所述骑行人员确定为所述待识别人员。

3.根据权利要求2所述的人员身份识别方法，其特征在于，训练所述车辆分类检测模型的过程，包括：

获取车辆样本图像；

利用Yolo-V4检测系统提取所述车辆样本图像的浅层特征，并利用特征增强模块对所述浅层特征进行增强，将增强后的特征图输入到卷积神经网络中，得到所述车辆分类模型；

其中，所述Yolo-V4检测系统包括：Mask Yolo-V4，关键点掩膜、人掩膜、残差网络、特征向量、Hadmard乘积、级联和损失函数。

4.根据权利要求2所述的人员身份识别方法，其特征在于，所述检测所述骑行类车辆对应的骑行人员是否佩戴头盔，包括：

利用注意力机制，定位所述骑行人员的头部区域；

利用头盔识别模型，检测所述头部区域是否有头盔；

如果是，则确定所述骑行人员已佩戴头盔；

如果否，则确定所述骑行人员未佩戴头盔。

5.根据权利要求1所述的人员身份识别方法，其特征在于，所述从所述监控视频中提取所述待识别人员的区域特征，包括：

从所述监控视频中提取所述待识别人员的掩码覆盖图像；

利用所述掩码覆盖图像，从所述监控视频内对应原图中提取人员图像，并生成人员关键点掩码；

利用所述人员关键点掩码，对所述人员图像进行分割，得到局部区域图；

对所述局部区域图进行特征提取，得到所述区域特征。

6.根据权利要求5所述的人员身份识别方法，其特征在于，所述局部区域图包括：头部区域图、上半身区域图和下半身区域图，所述区域特征包括：头部特征、上半身特征和下半身特征；利用所述人员关键点掩码，对所述人员图像进行分割，得到局部区域图，包括：

对左右相邻的所述人员关键点掩码进行连接，以将所述人员图像分割为所述头部区域图、所述上半身区域图和所述下半身区域图；

相应地，所述对所述局部区域图进行特征提取，得到所述区域特征，包括：

分别对所述头部区域图、所述上半身区域图和所述下半身区域图进行特征提取，得到所述头部特征、所述上半身特征和所述下半身特征。

7.一种人员身份识别装置，其特征在于，包括：

监控视频获取模块，用于获取监控视频；

目标确定模块，用于对所述监控视频的图像帧进行人员检测，并确定出待识别人员；

区域特征提取模块，用于从所述监控视频中提取所述待识别人员的区域特征；

外观动作特征获取模块，用于对所述区域特征进行配准和时序建模，得到外观动作特征；所述对所述区域特征进行配准和时序建模，得到外观动作特征，包括：将所述监控视频中与所述区域特征对应的特征图确定为中心帧；计算所述中心帧与所述监控视频中对应的近邻帧之间交叉像素的余弦相似性；利用所述余弦相似性，定位所述中心帧中每一个点在对应近邻帧中的位置，以进行配准；按照时序对配准后的特征进行建模，得到所述外观动作特征

身份信息识别模块，用于利用所述外观动作特征，识别所述待识别人员的身份信息。

8.一种电子设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至6任一项所述人员身份识别方法的步骤。

9.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述人员身份识别方法的步骤。

Images