CN115359542A - 基于人脸识别和行人重识别的人员身份确定方法及系统 - Google Patents

Abstract

本申请公开了一种基于人脸识别和行人重识别的人员身份确定方法及系统。本方法首先获取当前摄像头所捕捉的图片，通过检测算法得到行人框及人脸判断结果；当图片中存在有可识别人脸图像时，则将人脸图像发送至融合网络进行处理得到人脸特征；当不存在有可识别人脸图像时，则将行人框发送至融合网络进行处理得到行人身体特征；将目标人脸特征或行人身体特征与预设的已知身份图像库中的图片进行特征比对得到相近图片序列；并基于每一张图片拍摄时的摄像头位置及拍摄时间信息进行序列优化，确定出图片中行人的身份。本申请通过人脸识别和行人重识别融合网络，并充分利用区域内摄像头的位置关系和人员活动的时间联系进行人员身份确定。

Description

基于人脸识别和行人重识别的人员身份确定方法及系统

技术领域

本发明涉及图像识别领域，特别涉及一种基于人脸识别和行人重识别的人员身份确定方法及系统。

背景技术

随着生物识别技术的发展，人脸识别获得人员身份信息得到了大面积、多场景应用。深度神经网络现在被广泛用于人脸识别这一长期研究课题中。人脸识别一般可以分为三个步骤。人脸检测、人对齐和人脸表示。人脸对齐是人脸检测和人脸表示之间的一个中间步骤，用于校准检测到的人脸并提高接下来人脸表示步骤的性能。其目的是获得面部坐标，主要将人脸中的眼睛,嘴巴,鼻子和下巴等检测出来，用特征点标记出来。

通常在进行人脸识别时需要结合行人重识别，行人重识别主要是根据图像获取的人体特征进行人体轮廓分析，行人图片特征学习可分为全局特征和局部特征。行人重识别还包括重排序优化，重排序通常作为行人再识别任务的一种后处理手段,通过发掘候选集的上下文信息和相似度信息对检索结果进行优化,从而进一步提升检索精度。

现在的人脸特征和行人特征往往使用两个神经网络分别提取，这会加大设备的存储成本，特别对一些嵌入式和边缘设备。同时两个神经网络分别处理人脸和行人图片会加大推理时间成本。现有技术为解决资源占用大和处理时间长的问题，往往单方面针对人脸或者行人识别优化网络，进行神经网络剪枝优化，模型蒸馏等。考虑到智能视频监控人员活动管理体系最少需要人脸和行人检测、人脸识别、行人重识别三个神经网络。并且现有的行人重识别优化方法并没有充分利用摄像头之间的空间关系和行人活动的时间关系。

发明内容

基于此，本申请实施例提供了一种基于人脸识别和行人重识别的人员身份确定方法及系统，本发明综合考虑楼层监控场景的实际情况，提出人脸和行人识别一体化网络，融合人脸和行人识别网络为一个网络，并使用多头自注意力机制实现人脸识别和行人重识别两个功能的统一，减少设备存储压力和推理时间，并且，提出了一种重排序方法，充分利用建筑内摄像头的位置关系和人员活动的时间联系。

第一方面，提供了一种基于人脸识别和行人重识别的人员身份确定方法，该方法包括：

获取当前摄像头所捕捉的目标图片，对所述目标图片通过目标检测算法进行处理得到行人框及人脸判断结果；其中，所述目标图片中至少存在一个行人；

当判断结果为所述目标图片中存在有可识别人脸图像时，则将目标图片所识别出的目标人脸图像发送至人脸识别和行人重识别融合网络进行处理得到目标人脸特征；其中，当判断结果为所述目标图片中不存在有可识别人脸图像时，则将行人框发送至人脸识别和行人重识别融合网络进行处理；

将所述目标人脸特征与预设的已知身份人脸图像库中的图片进行特征比对得到相近人脸序列；其中，所述相近人脸序列中包括多组人脸序列，每组人脸序列对应一个相近行人身份，人脸序列中的每张人脸照片包括有对应的摄像头位置信息及拍摄时间信息；

对于相近人脸序列中的每组人脸序列，基于人脸序列中每一张图片拍摄时的摄像头位置及拍摄时间信息进行序列优化，确定出相近人脸序列中的目标人脸序列，并将目标人脸序列所对应的相近行人身份作为目标图片中行人的身份。

可选地，所述当判断结果为所述目标图片中不存在有可识别人脸图像时，包括：

将行人框发送至人脸识别和行人重识别融合网络进行处理得到目标行人身体特征；

将所述目标行人身体特征与预设的已知身份行人图像库中的图片进行特征比对得到相近行人序列；其中，所述相近行人序列中包括多组行人序列，每组行人序列对应一个相近行人身份，行人序列中的每张行人照片包括有对应的摄像头位置信息及拍摄时间信息；

对于相近行人序列中的每组行人序列，基于行人序列中每一张图片拍摄时的摄像头位置及拍摄时间信息进行序列优化，确定出相近行人序列中的目标行人序列，并将目标行人序列所对应的相近行人身份作为目标图片中行人的身份。

可选地，方法还包括：

通过多个预设位置的多个摄像头获取行人图像，所述行人图像可以包括人脸图像、行人身份、摄像头位置信息及拍摄时间信息；

根据人脸图像、行人身份、摄像头位置信息及拍摄时间信息建立已知身份人脸图像库。

可选地，方法还包括：

通过多个预设位置的多个摄像头获取行人图像，所述行人图像可以包括行人框、行人身份、摄像头位置信息及拍摄时间信息；

根据行人框、行人身份、摄像头位置信息及拍摄时间信息建立已知身份行人图像库。

可选地，基于人脸序列中每一张图片拍摄时的摄像头位置及拍摄时间信息进行序列优化，确定出相近人脸序列中的目标人脸序列，包括：

对于具有同一行人身份的人脸序列，判断人脸序列中的每一张图片拍摄时的摄像头位置及拍摄时间信息是否存在未被记录的摄像头拍摄信息；

当不存在未被记录的摄像头拍摄信息时，则确定该人脸序列为优化后的人脸序列；并将优化后可能性身份最高的人脸序列作为目标人脸序列。

可选地，目标检测算法为yolov3。

第二方面，提供了一种基于人脸识别和行人重识别的人员身份确定系统，该系统包括：

获取模块，用于获取当前摄像头所捕捉的目标图片，对所述目标图片通过目标检测算法进行处理得到行人框及人脸判断结果；其中，所述目标图片中至少存在一个行人；

判断模块，用于当判断结果为所述目标图片中存在有可识别人脸图像时，则将目标图片所识别出的目标人脸图像发送至人脸识别和行人重识别融合网络进行处理得到目标人脸特征；其中，当判断结果为所述目标图片中不存在有可识别人脸图像时，则将行人框发送至人脸识别和行人重识别融合网络进行处理；

第一比对模块，用于将所述目标人脸特征与预设的已知身份人脸图像库中的图片进行特征比对得到相近人脸序列；其中，所述相近人脸序列中包括多组人脸序列，每组人脸序列对应一个相近行人身份，人脸序列中的每张人脸照片包括有对应的摄像头位置信息及拍摄时间信息；

第一确定模块，对于相近人脸序列中的每组人脸序列，基于人脸序列中每一张图片拍摄时的摄像头位置及拍摄时间信息进行序列优化，确定出相近人脸序列中的目标人脸序列，并将目标人脸序列所对应的相近行人身份作为目标图片中行人的身份。

可选地，系统包括：

判断模块，还用于将行人框发送至人脸识别和行人重识别融合网络进行处理得到目标行人身体特征；

第二比对模块，用于将所述目标行人身体特征与预设的已知身份行人图像库中的图片进行特征比对得到相近行人序列；其中，所述相近行人序列中包括多组行人序列，每组行人序列对应一个相近行人身份，行人序列中的每张行人照片包括有对应的摄像头位置信息及拍摄时间信息；

第二处理模块，用于对于相近行人序列中的每组行人序列，基于行人序列中每一张图片拍摄时的摄像头位置及拍摄时间信息进行序列优化，确定出相近行人序列中的目标行人序列，并将目标行人序列所对应的相近行人身份作为目标图片中行人的身份。

可选地，所述系统还包括：

第一建立模块，用于通过多个预设位置的多个摄像头获取行人图像，所述行人图像可以包括人脸图像、行人身份、摄像头位置信息及拍摄时间信息；根据人脸图像、行人身份、摄像头位置信息及拍摄时间信息建立已知身份人脸图像库。

可选地，所述系统还包括：

第二建立模块，通过多个预设位置的多个摄像头获取行人图像，所述行人图像可以包括行人框、行人身份、摄像头位置信息及拍摄时间信息；根据行人框、行人身份、摄像头位置信息及拍摄时间信息建立已知身份行人图像库。

本申请实施例提供的技术方案中首先获取当前摄像头所捕捉的目标图片，对目标图片通过目标检测算法进行处理得到行人框及人脸判断结果；当判断结果为目标图片中存在有可识别人脸图像时，则将目标图片所识别出的目标人脸图像发送至人脸识别和行人重识别融合网络进行处理得到目标人脸特征；当判断结果为目标图片中不存在有可识别人脸图像时，则将行人框发送至人脸识别和行人重识别融合网络进行处理得到行人身体特征；将目标人脸特征或行人身体特征与预设的已知身份图像库中的图片进行特征比对得到相近图片序列；并基于每一张图片拍摄时的摄像头位置及拍摄时间信息进行序列优化，确定出目标人脸序列或目标人体序列，并以相近行人身份作为目标图片中行人的身份。

可以看出，本发明的有益效果在于：

(1)效率提高：与现有技术中使用人脸和行人重识别两个模型相比，使用人脸和行人重识别融合网络减少设备存储压力和推理时间；

(2)成本降低：由于使用了单一网络，对服务器的算力要求降低，降低部署成本；

(3)精度更高：利用摄像头空间位置关系和行人活动时间联系优化结果，提高了识别精度。

附图说明

为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引申获得其它的实施附图。

图1为本申请实施例提供的一种基于人脸识别和行人重识别的人员身份确定整体流程图；

图2为本申请实施例提供的一种基于人脸识别和行人重识别的人员身份确定步骤流程图；

图3为本申请实施例提供的一种基于人脸识别和行人重识别的人员身份确定步骤流程图；

图4为本申请实施例提供的重排序优化示意图；

图5为本申请实施例提供的人脸识别和行人重识别融合网络。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在本发明的描述中，术语“包括”、“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包括了一系列步骤或单元的过程、方法、系统、产品或设备不必限于已明确列出的那些步骤或单元，而是还可包含虽然并未明确列出的但对于这些过程、方法、产品或设备固有的其它步骤或单元，或者基于本发明构思进一步的优化方案所增加的步骤或单元。

现在的人脸特征和行人特征往往使用两个神经网络分别提取，这会加大设备的存储成本，特别对一些嵌入式和边缘设备。同时两个神经网络分别处理人脸和行人图片会加大推理时间成本。现有技术为解决资源占用大和处理时间长的问题，往往单方面针对人脸或者行人识别优化网络，进行神经网络剪枝优化，模型蒸馏等。考虑到智能视频监控人员活动管理体系最少需要人脸和行人检测、人脸识别、行人重识别三个神经网络，本发明综合考虑楼层监控场景的实际情况，提出人脸和行人识别一体化网络，融合人脸和行人识别网络为一个网络，并使用多头自注意力机制实现人脸识别和行人重识别两个功能的统一，减少设备存储压力和推理时间。

现有的行人重识别优化方法并没有充分利用摄像头之间的空间关系和行人活动的时间关系，本发明针对此提出了一种重排序方法，充分利用建筑内摄像头的位置关系和人员活动的时间联系。

具体地，请参考图1，其示出了本申请实施例提供的一种基于人脸识别和行人重识别的人员身份确定方法的流程图，如图2该方法可以包括以下步骤：

步骤101，获取当前摄像头所捕捉的目标图片，对目标图片通过目标检测算法进行处理得到行人框及人脸判断结果。

其中，本申请中摄像头的位置一般设置于办公楼、图书馆等多层建筑内出入口、楼道等位置监控摄像头，通过人脸和人体特征分析实现建筑物内进出人员活动管理，所拍摄的目标图片中至少存在一个行人，目标检测算法可以为yolov3。

步骤102，当判断结果为目标图片中存在有可识别人脸图像时，则将目标图片所识别出的目标人脸图像发送至人脸识别和行人重识别融合网络进行处理得到目标人脸特征。

其中，当判断结果为目标图片中不存在有可识别人脸图像时，则将行人框发送至人脸识别和行人重识别融合网络进行处理。

步骤103，将目标人脸特征与预设的已知身份人脸图像库中的图片进行特征比对得到相近人脸序列。

其中，相近人脸序列中包括多组人脸序列，每组人脸序列对应一个相近行人身份，人脸序列中的每张人脸照片包括有对应的摄像头位置信息及拍摄时间信息。

在本申请实施例中，还包括通过多个预设位置的多个摄像头获取行人图像，行人图像可以包括人脸图像、行人身份、摄像头位置信息及拍摄时间信息；根据人脸图像、行人身份、摄像头位置信息及拍摄时间信息建立已知身份人脸图像库。

还包括通过多个预设位置的多个摄像头获取行人图像，行人图像可以包括行人框、行人身份、摄像头位置信息及拍摄时间信息；根据行人框、行人身份、摄像头位置信息及拍摄时间信息建立已知身份行人图像库。

步骤104，对于相近人脸序列中的每组人脸序列，基于人脸序列中每一张图片拍摄时的摄像头位置及拍摄时间信息进行序列优化，确定出相近人脸序列中的目标人脸序列，并将目标人脸序列所对应的相近行人身份作为目标图片中行人的身份。

具体地，对于具有同一行人身份的人脸序列，判断人脸序列中的每一张图片拍摄时的摄像头位置(例如摄像头的编号对应所在位置，摄像头编号可以为c_x1)及拍摄时间信息(例如T_x1)是否存在未被记录的摄像头拍摄信息；当不存在未被记录的摄像头拍摄信息时，则确定该人脸序列为优化后的人脸序列；并将优化后可能性身份最高的人脸序列作为目标人脸序列。

在本申请一个可选的实施例中，当判断结果为目标图片中不存在有可识别人脸图像时，则将行人框发送至人脸识别和行人重识别融合网络进行处理。即在步骤101之后，如图3还包括：

步骤201，将行人框发送至人脸识别和行人重识别融合网络进行处理得到目标行人身体特征。

步骤202，将目标行人身体特征与预设的已知身份行人图像库中的图片进行特征比对得到相近行人序列。

其中，相近行人序列中包括多组行人序列，每组行人序列对应一个相近行人身份，行人序列中的每张行人照片包括有对应的摄像头位置信息及拍摄时间信息。

步骤203，对于相近行人序列中的每组行人序列，基于行人序列中每一张图片拍摄时的摄像头位置及拍摄时间信息进行序列优化，确定出相近行人序列中的目标行人序列，并将目标行人序列所对应的相近行人身份作为目标图片中行人的身份。

以下给出本申请另一个具体的实施过程，如图4给出了本申请实施例提供的重排序优化示意图：

本实施例首先通过视频流活动监控摄像头捕捉的原始图片，如果通过目标检测算法yolov3得到了行人框，则通过目标检测算法判断是否含有人脸，如果有，那么把人脸裁剪下来送入人脸识别和行人重识别融合网络获得人脸特征，和已知身份人脸图片库中的图片进行特征距离度量，获得最相近的人脸序列，然后比对序列中每一身份上次出现的摄像头位置和时间，按照摄像头位置关系和时间联系对序列进行优化，如果当前摄像头位置和出现时间和上一次该行人出现位置和时间有未被记录的摄像头间隔，则该身份不可靠，剔除。最终获得优化后的人脸序列，排名第一的为最可能身份，记录到行人位置记录表。同时把行人图片以排名第一的身份记录到已知身份行人图片库。如果没有人脸，则把行人送入人脸识别和行人重识别融合网络获得行人身体特征，和已知身份行人图片库中的图片进行特征距离度量，获得最相近的行人序列，然后比对序列中每一身份上次出现的摄像头位置和时间，按照摄像头位置关系和时间联系对序列进行优化，如果当前摄像头位置和出现时间和上一次该行人出现位置和时间有未被记录的摄像头间隔，则该身份不可靠，剔除。最终获得优化后的行人序列，排名第一的为最可能身份，记录到行人位置记录表。

如图5，给出了本实施例人脸识别和行人重识别融合网络的示意图，人脸识别和行人重识别融合网络以resnet50为骨干，行人图片缩放到128x256宽高，为了统一形状，训练时把同一身份人脸图片缩放到128x128宽高并上下拼接。在全连接层之前获得的2048维向量上使用三元组损失函数。全连接层之后获得训练集身份数目维度的特征，并使用交叉熵损失函数，通过两个损失函数训练，最终得到可区分人脸和行人的神经网络。实际应用时，把裁剪获得的人脸复制一份并和原图上下拼接，获得128x256宽高的输入图片输入骨干网络获得特征向量。而行人图片可直接缩放到128x256宽高输入骨干网络获得特征向量。

可选地，人脸识别和行人重识别融合网络可以使用人脸识别网络和行人重识别网络结合代替；行人重识别结果筛选和重排序优化可以使用对排序序列中的每个结果再进行行人重识别，此时检索库中纳入原来的查询图片，某一结果的排序序列中包含查询图片往往证明该结果在查询图片的行人识别序列中是个较优结果。

综上可以看出，本申请提出一个卷积神经网络和训练方法可以同时获得有区分度的人脸特征和人体特征，解决分别使用不同模型进行人脸识别和行人重识别对资源消耗大和处理时间长的问题。具体来说，得到的人脸特征和行人特征用多维向量表示，二者属于不同域。对于同一特征域，比如人脸特征域，不同人员身份的人脸特征向量有较大的距离,通过度量学习，拉近同一身份人员特征的向量距离。

本申请同时提出一种利用楼道监控的空间位置和行人时间位置记录对行人重识别结果进行重新选择，解决精度提升问题。同一楼层摄像头监控画面有重叠可能，但同一个人不会同时出现在不同的楼层，利用建筑内摄像头的空间位置和已记录得到的行人出现与消失时间对结果进行重筛。

即公开了人脸识别和行人重识别融合网络，依托多层建筑监控的空间位置和时间顺序的行人重识别结果筛选和重排序优化。

本申请实施例还提供的一种基于人脸识别和行人重识别的人员身份确定系统。系统包括：

获取模块，用于获取当前摄像头所捕捉的目标图片，对目标图片通过目标检测算法进行处理得到行人框及人脸判断结果；其中，目标图片中至少存在一个行人；

判断模块，用于当判断结果为目标图片中存在有可识别人脸图像时，则将目标图片所识别出的目标人脸图像发送至人脸识别和行人重识别融合网络进行处理得到目标人脸特征；其中，当判断结果为目标图片中不存在有可识别人脸图像时，则将行人框发送至人脸识别和行人重识别融合网络进行处理；

第一比对模块，用于将目标人脸特征与预设的已知身份人脸图像库中的图片进行特征比对得到相近人脸序列；其中，相近人脸序列中包括多组人脸序列，每组人脸序列对应一个相近行人身份，人脸序列中的每张人脸照片包括有对应的摄像头位置信息及拍摄时间信息；

第一确定模块，对于相近人脸序列中的每组人脸序列，基于人脸序列中每一张图片拍摄时的摄像头位置及拍摄时间信息进行序列优化，确定出相近人脸序列中的目标人脸序列，并将目标人脸序列所对应的相近行人身份作为目标图片中行人的身份。

在本申请一个可选的实施例中，系统包括：

判断模块，还用于将行人框发送至人脸识别和行人重识别融合网络进行处理得到目标行人身体特征；

第二比对模块，用于将目标行人身体特征与预设的已知身份行人图像库中的图片进行特征比对得到相近行人序列；其中，相近行人序列中包括多组行人序列，每组行人序列对应一个相近行人身份，行人序列中的每张行人照片包括有对应的摄像头位置信息及拍摄时间信息；

第二处理模块，用于对于相近行人序列中的每组行人序列，基于行人序列中每一张图片拍摄时的摄像头位置及拍摄时间信息进行序列优化，确定出相近行人序列中的目标行人序列，并将目标行人序列所对应的相近行人身份作为目标图片中行人的身份。

在本申请一个可选的实施例中，系统还包括第一建立模块，用于通过多个预设位置的多个摄像头获取行人图像，行人图像可以包括人脸图像、行人身份、摄像头位置信息及拍摄时间信息；根据人脸图像、行人身份、摄像头位置信息及拍摄时间信息建立已知身份人脸图像库。

在本申请一个可选的实施例中，系统还包括第二建立模块，通过多个预设位置的多个摄像头获取行人图像，行人图像可以包括行人框、行人身份、摄像头位置信息及拍摄时间信息；根据行人框、行人身份、摄像头位置信息及拍摄时间信息建立已知身份行人图像库。

本申请实施例提供的基于人脸识别和行人重识别的人员身份确定系统用于实现上述基于人脸识别和行人重识别的人员身份确定方法，关于基于人脸识别和行人重识别的人员身份确定系统的具体限定可以参见上文中对于基于人脸识别和行人重识别的人员身份确定方法的限定，在此不再赘述。上述基于人脸识别和行人重识别的人员身份确定系统中的各个部分可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于设备中的处理器中，也可以以软件形式存储于设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于人脸识别和行人重识别的人员身份确定方法，其特征在于，所述方法包括：

获取当前摄像头所捕捉的目标图片，对所述目标图片通过目标检测算法进行处理得到行人框及人脸判断结果；其中，所述目标图片中至少存在一个行人；

当判断结果为所述目标图片中存在有可识别人脸图像时，则将目标图片所识别出的目标人脸图像发送至人脸识别和行人重识别融合网络进行处理得到目标人脸特征；其中，当判断结果为所述目标图片中不存在有可识别人脸图像时，则将行人框发送至人脸识别和行人重识别融合网络进行处理；

将所述目标人脸特征与预设的已知身份人脸图像库中的图片进行特征比对得到相近人脸序列；其中，所述相近人脸序列中包括多组人脸序列，每组人脸序列对应一个相近行人身份，人脸序列中的每张人脸照片包括有对应的摄像头位置信息及拍摄时间信息；

对于相近人脸序列中的每组人脸序列，基于人脸序列中每一张图片拍摄时的摄像头位置及拍摄时间信息进行序列优化，确定出相近人脸序列中的目标人脸序列，并将目标人脸序列所对应的相近行人身份作为目标图片中行人的身份。

2.根据权利要求1所述的方法，其特征在于，所述当判断结果为所述目标图片中不存在有可识别人脸图像时，包括：

将行人框发送至人脸识别和行人重识别融合网络进行处理得到目标行人身体特征；

将所述目标行人身体特征与预设的已知身份行人图像库中的图片进行特征比对得到相近行人序列；其中，所述相近行人序列中包括多组行人序列，每组行人序列对应一个相近行人身份，行人序列中的每张行人照片包括有对应的摄像头位置信息及拍摄时间信息；

对于相近行人序列中的每组行人序列，基于行人序列中每一张图片拍摄时的摄像头位置及拍摄时间信息进行序列优化，确定出相近行人序列中的目标行人序列，并将目标行人序列所对应的相近行人身份作为目标图片中行人的身份。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

通过多个预设位置的多个摄像头获取行人图像，所述行人图像可以包括人脸图像、行人身份、摄像头位置信息及拍摄时间信息；

根据人脸图像、行人身份、摄像头位置信息及拍摄时间信息建立已知身份人脸图像库。

4.根据权利要求2所述的方法，其特征在于，所述方法还包括：

通过多个预设位置的多个摄像头获取行人图像，所述行人图像可以包括行人框、行人身份、摄像头位置信息及拍摄时间信息；

根据行人框、行人身份、摄像头位置信息及拍摄时间信息建立已知身份行人图像库。

5.根据权利要求1所述的方法，其特征在于，所述基于人脸序列中每一张图片拍摄时的摄像头位置及拍摄时间信息进行序列优化，确定出相近人脸序列中的目标人脸序列，包括：

对于具有同一行人身份的人脸序列，判断人脸序列中的每一张图片拍摄时的摄像头位置及拍摄时间信息是否存在未被记录的摄像头拍摄信息；

当不存在未被记录的摄像头拍摄信息时，则确定该人脸序列为优化后的人脸序列；并将优化后可能性身份最高的人脸序列作为目标人脸序列。

6.根据权利要求1所述的方法，其特征在于，所述目标检测算法为yolov3。

7.一种基于人脸识别和行人重识别的人员身份确定系统，其特征在于，所述系统包括：

获取模块，用于获取当前摄像头所捕捉的目标图片，对所述目标图片通过目标检测算法进行处理得到行人框及人脸判断结果；其中，所述目标图片中至少存在一个行人；

判断模块，用于当判断结果为所述目标图片中存在有可识别人脸图像时，则将目标图片所识别出的目标人脸图像发送至人脸识别和行人重识别融合网络进行处理得到目标人脸特征；其中，当判断结果为所述目标图片中不存在有可识别人脸图像时，则将行人框发送至人脸识别和行人重识别融合网络进行处理；

第一比对模块，用于将所述目标人脸特征与预设的已知身份人脸图像库中的图片进行特征比对得到相近人脸序列；其中，所述相近人脸序列中包括多组人脸序列，每组人脸序列对应一个相近行人身份，人脸序列中的每张人脸照片包括有对应的摄像头位置信息及拍摄时间信息；

第一确定模块，对于相近人脸序列中的每组人脸序列，基于人脸序列中每一张图片拍摄时的摄像头位置及拍摄时间信息进行序列优化，确定出相近人脸序列中的目标人脸序列，并将目标人脸序列所对应的相近行人身份作为目标图片中行人的身份。

8.根据权利要求7所述的系统，其特征在于，所述系统包括：

判断模块，还用于将行人框发送至人脸识别和行人重识别融合网络进行处理得到目标行人身体特征；

第二比对模块，用于将所述目标行人身体特征与预设的已知身份行人图像库中的图片进行特征比对得到相近行人序列；其中，所述相近行人序列中包括多组行人序列，每组行人序列对应一个相近行人身份，行人序列中的每张行人照片包括有对应的摄像头位置信息及拍摄时间信息；

第二处理模块，用于对于相近行人序列中的每组行人序列，基于行人序列中每一张图片拍摄时的摄像头位置及拍摄时间信息进行序列优化，确定出相近行人序列中的目标行人序列，并将目标行人序列所对应的相近行人身份作为目标图片中行人的身份。

9.根据权利要求7所述的系统，其特征在于，所述系统还包括：

第一建立模块，用于通过多个预设位置的多个摄像头获取行人图像，所述行人图像可以包括人脸图像、行人身份、摄像头位置信息及拍摄时间信息；根据人脸图像、行人身份、摄像头位置信息及拍摄时间信息建立已知身份人脸图像库。

10.根据权利要求7所述的系统，其特征在于，所述系统还包括：

第二建立模块，通过多个预设位置的多个摄像头获取行人图像，所述行人图像可以包括行人框、行人身份、摄像头位置信息及拍摄时间信息；根据行人框、行人身份、摄像头位置信息及拍摄时间信息建立已知身份行人图像库。

Images