CN110348348A - 一种参建人员进场身份快速识别方法及预警系统 - Google Patents

Abstract

本发明属于建筑工程信息化领域，公开了一种参建人员进场身份快速识别方法及预警系统。该方法包括：获取参建人员进场画面实时视频流，对视频流中ROI监控区域内的进场人员进行行人检测、人脸检测、人脸识别，通过建立进场人员图像序列并进行图像序列与人员信息的匹配与跟踪，保证进场人员走出ROI监控区域时，能够对人员身份进行判定，输出最优的判断结果。本发明的快速识别方法及预警系统，满足了在气候多变、日照不均匀、环境干扰、遮挡多等工程泛场景环境中多人快速进场的识别需求，保障了工地现场安全性和人员进出的可通过性，具有极高的工程实用价值。

Description

一种参建人员进场身份快速识别方法及预警系统

技术领域

本发明属于建筑工程信息化领域，涉及一种参建人员进场身份快速识别方法及预警系统，更具体地，涉及一种泛场景多人人脸识别的参建人员进场身份快速识别方法及预警系统。

背景技术

长期以来，施工现场人员管理面临工种复杂、人员众多、流动性高等诸多难题。在项目建设过程中，非作业许可人员的进场将对工地现场安全管理带来极大的威胁。为保障施工作业区域的安全可靠，目前采取的是物理门禁的方式进行人员出入的管理，这样的方式虽然起到了一定的防护效果，但是当面临多人同时进场的高峰作业时段时，往往效率低下，且更不利于施工作业过程中人员的安全疏散。人脸识别是进行人员身份判定的最新技术，目前该技术已经广泛应用于机场安保、办公出入等环境稳定的室内场景，一般适用于单人、有序的人员进场情况。显然在气候多变、日照不均匀、环境干扰、遮挡多等复杂工程泛场景条件下，目前的技术还无法满足多人进场同时、快速地识别需求。

因此，为提高参建人员进场的可通过性，同时保障进场人员的可靠性，亟需提供一种泛场景多人人脸识别的参建人员进场身份快速识别方法及预警系统，以保障有作业资格的人员进入施工区域，从而提高工地现场安全管理效率。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种参建人员进场身份快速识别方法及预警系统，其目的在于，通过读取规划监控范围内的人员位置、人脸信息确定人员身份信息，并建立人员时间序列与每一帧识别的人员身份信息进行匹配，直至人员走出监控范围，实现人员在监控范围内的持续性监控并保证监控过程中人员信息的准确性，从而准确判断人员身份和进出场行为，有利于监控和保障有作业资格的人员进入施工区域，提高工地现场安全管理效率。

为实现上述目的，按照本发明的一个方面，提供了一种参建人员进场身份快速识别的方法，包括如下步骤：

S1、获取摄像头画面的实时流；对摄像头画面内预先划定的ROI监控区域进行人员检测，判断是否有人员进入ROI监控区域，并获得进场人员的位置信息；

S2、当有人员进入ROI监控区域内，则对进入的人员进行人脸检测及提取；

S3、对提取的人脸图片进行人脸识别；所述的人脸识别是将提取的人脸图片与预存的参建人员照片信息进行对比，识别该人员是否为系统中录入的参建人员，从而获取人员身份信息；

S4、根据步骤S1～S3的检测结果构建人员图像序列并跟踪，将构建的人员时间序列与当前帧内识别出的人员信息相匹配，以使同一人员在每一帧图像内的身份信息一致，并最终识别出该人员离开ROI监控区域的方向；

S5、判定人员身份，所述的判定人员身份是结合S4和S5的结果，在行人走出ROI监控区域时，将判定的最优结果输出；判定的最优结果包括进入ROI监控区域内的人员是否为参建人员，以及是否存在入场行为。

进一步地，步骤S1中，以人员序列首尾图像帧中的头部相对位置作为进出ROI监控区域的标志，并增加头部位置的相对差距约束，以增加行人检测位置的准确度；同时，增加人员序列长度的约束限制，以防止将人影误识别为行人进行抓拍。

进一步地，步骤S2中的人脸检测包括提取人脸图像，还包括如下优化方法中的至少一种：

进行人脸特征点检测，并利用检测到的人脸特征点进行人脸对齐，以消除人脸拍摄角度的影响；

通过增大人脸检测的概率阈值，以及调大最小待检测人脸大小，防止将安全帽误抓拍为人脸；

通过对ROI监控区域进行补光，降低环境光线对抓拍照片质量的影响，提高泛场景中人脸识别的可靠度。

进一步地，步骤4中获取两类信息，一类是由步骤S1、S2、S3获取信息后构建的人员图像序列；其中，步骤S1获取人员位置信息，步骤S2获取人脸特征点信息，步骤S3获取人员身份信息；

另一类是当前帧人员信息，包括人员位置信息和人脸特征点信息；

在人员走出ROI监控区域前，将两类信息不断更新匹配，直到人员走出ROI监控区域，人员序列跟踪结束，输出两类信息匹配的结果。

进一步地，步骤S4中，在ROI监控区域内具有多个人员时，对每个人员按照如下多行人跟踪策略进行多行人跟踪检测：

S41，获取两类信息，一类是由步骤S1、S2、S3获取信息后构建的人员图像序列；其中，步骤S1获取人员位置信息，步骤S2获取人脸特征点信息，步骤S3获取人员身份信息；

另一类是当前帧人员信息，包括人员位置信息和人脸特征点信息；

S42，在人员走出ROI监控区域前，将两类信息不断更新匹配，若匹配成功，则在人员走出ROI监控区域后，输出最优的多行人跟踪结果，若匹配失败，则判断图像序列重连是否结束，若结束，则在人员走出ROI监控区域后输出跟踪结果，若序列的重连状态未结束，则返回重新进行匹配；所述图像序列重连是指，在当前帧对应的两类信息匹配失败时，下一帧重新进行匹配，若匹配成功则重连成功，否则在下一帧继续匹配，直至人员走出ROI监控区域；

S43，直到人员走出ROI监控区域，再判断人员进出场状态，人员时间序列的建立和跟踪过程完成，输出结果；或者，根据图像序列得到跟踪位置变化的趋势，预测人员下一步的走向，如果预测是进场方向，则在人员走出ROI监控区域时马上输出匹配结果。

进一步地，步骤S42中，所述的图像序列重连状态的判断，包括图像序列长度、人员是否进场以及重连是否失败；

所述的图像序列长度是指当图像序列的长度大于预设的可独立成为序列的数目时，结束重连，得到匹配结果并在人员走出ROI监控区域时输出；

所述的人员是否进场，是指如果人员离开ROI监控区域的位置不是进场位置，说明该人员不是要进场的人员，不输出匹配结果，结束重连；

所述的重连失败是指，当某个人员一开始能够根据人脸特征识别出身份信息，而从某一帧开始一直无法提取到人脸特征，只能根据头部的位置信息判断是否为同一个人，则当他走出ROI监控区域时重连失败。

为了实现上述目的，本发明还提供了一种参建人员进场身份识别及预警系统，包括摄像头、数据获取模块、后台识别模块和反馈处理模块；

所述摄像头用于实时拍摄ROI监控区域；

所述数据获取模块用于对摄像头拍摄的画面执行如前任意一项所述的步骤S1～S2；

所述后台识别模块用于执行如前任意一项所述的步骤S3～S5；

所述反馈处理模块用于在所述后台识别模块的识别结果为非参建人员入场时，发出警报。

总体而言，本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

(1)本发明在复杂的施工环境中，对于进入摄像区域内的参建人员动态捕捉和检测，以防出现漏识别的情况，然后通过图像序列与身份信息的匹配，保证监控过程中人员身份识别的一致性和连续性，确保可以对单人进行连续监控，同时也可以防止多人同时出现时误识别的情况，保证在复杂的泛场景工程施工环境下单人及多人人脸识别的准确率和速率，满足工程项目对人脸识别的技术要求。

(2)通过人脸特征点对齐，可以避免拍摄角度的影响，实现全方位准确监控；

(3)通过图像序列与身份信息的匹配及重连，可以在对任意单人进行准确的连续监控的同时，避免多人同时出现在ROI监控区域内时因位置可能偶然出现重合或遮挡造成的身份误识别，进一步提升多人识别时的准确性；

(4)本发明可以实现长时间连续自动化的无人监控，满足在气候多变、日照不均匀、环境干扰、遮挡多等工程泛场景环境中多人快速进场的识别需求，保障工地现场安全性和人员进出的可通过性，具有极高的工程实用价值。

附图说明

图1为本发明实施例一提供的参建人员进场身份快速识别方法流程图；

图2为本发明实施例一提供的参建人员进场身份快速识别方法的步骤S5的方法流程图；

图3为本发明实施例二提供的参建人员进场身份快速识别及报警系统示意图；

图4为本发明的一个ROI监控区域的简化示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

如图1所示，为本发明实施例一提供的一种基于泛场景多人人脸识别的参建人员进场身份快速识别方法的流程示意图，包括：

S1，根据施工场地随机绘制ROI(Region of Interest，感兴趣区域)监控区域，如图2所示，根据摄像头获取的画面实时流，对画面的ROI监控区域进行行人检测，所述的对画面ROI监控区域进行的行人检测采用Yolo V3算法对Mega face训练集进行训练。由于摄像头拍摄的图像为二维信息，不能通过行人框精确地进行行人检测、确定行人的相对位置，因此本实施例以人员序列首尾图像帧中的头部相对位置作为进出ROI监控区域的标志。

以图4为例，D朝向进场通道，人员可从A、B、C三个不同的方向进入ROI监控区域，但只能从D的方向走出ROI监控区域，代表人员进场，通过增加相对差距约束，增加行人检测位置的准确度。同时，增加人员序列长度方面的约束限制，可以过滤室外环境下人影对行人抓拍的影响，防止将人影误识别为行人进行抓拍干扰判断；

S2，在ROI监控区域内进行人脸检测，所述的ROI监控区域内进行的人脸检测采用MTCNN(Multi-task convolutional neural network，多任务卷积神经网络)算法，该算法可同时进行人脸检测和人脸特征点检测，通过人脸特征点检测可进行人脸对齐。所述的MTCNN算法，具有人脸区域检测和人脸特征点检测同时进行的优点，识别速度快，通过P-Net(Proposal Network)、R-Net(Refine Network)、O-Net(Output Network)三步，输出五个人脸面部特征点。

所述的人脸对齐，是指当有进场人员侧脸但依旧能检测到特征点时，可以将侧脸的特征点位置还原为正脸的位置，从而保证下一步的识别准确度。通过增大人脸检测的概率阈值，以及调大最小待检测人脸大小，防止将安全帽误抓拍为人脸。同时，通过增加人工光源和反光板的方式，可解决环境对抓拍照片质量的影响，提高泛场景中人脸识别的可靠度；

S3，根据人脸特征点进行人员身份信息识别，所述的人员身份识别目的是将视频流中截取到的人脸图片上的特征点与系统数据库中原有的人员照片信息进行对比，识别该人员是否为系统中录入的参建人员，确认该人员身份信息；

S4，通过多行人跟踪策略构建人员时间序列并跟踪，将构建的人员时间序列与当前帧人员信息相匹配，保证在多人识别时每个人都有所区分，不会在多个人行进过程中，把行人A误认成行人B，从而保证在识别过程中，图像序列中的人员位置、身份具有一致性；

其中，S4所述的多行人跟踪策略具体步骤如下:

S41，获取两类信息，一类是由S1、S2、S3获取信息后构建的图像序列，另一类是当前帧人员信息。

所述的S1,S2,S3获取的信息，包括以下三类：

1)由S1可获取人员的位置信息；

2)由S2可获取人员的人脸特征点信息；

3)由S3可获取人员的身份信息，包括姓名、特征等，若S3人脸识别未成功，则不可获取人员的身份信息，此时人员的身份信息未知。

所述的当前帧人员信息，包括两类信息，即人员的位置信息和人脸特征点信息。

S42，在人员走出ROI监控区域前，将两类信息不断更新匹配，所述的信息匹配是指图像序列和当前帧人员信息相互匹配，若匹配成功，则在人员走出ROI监控区域后，输出最优的多行人跟踪结果，若匹配失败，则判断图像序列重连是否结束，若结束，则在人员走出ROI监控区域后输出跟踪结果，若序列的重连状态未结束，则返回重新进行匹配。所述的图像序列重连状态的判断，包括三个方面：图像序列长度、人员是否进场以及重连是否失败。

所述的图像序列长度是指当图像序列的长度大于可独立成为序列的数目时，可以结束重连，得到匹配结果并在人员走出ROI监控区域时输出。所述的人员是否进场，是指如果是出场人员，即人员不是从D边离开ROI监控区域的，那么说明该人员不是要进场的人员，对于此类人员可以不做结果输出，重连状态结束。所述的重连失败是指，当一个人刚进场的时候抬着头，而且已经识别到了他的身份信息，但是后来直到走出ROI监控区域都是低着头，没有再次抬起头识别人脸，只是根据位置信息判断是同一个人，当他走出ROI监控区域时重连失败。

S43，直到人员走出ROI监控区域，再判断人员进出场状态，人员时间序列的建立和跟踪过程完成，输出结果。也可根据图像序列得到跟踪位置变化的趋势，预测人员下一步的走向，如果预测是进场方向，则可以在人员走出ROI监控区域时马上输出结果。

S5，判定人员身份，所述的判定人员身份，是考虑到人员面部特征可能较为相近的问题，为了避免误识别，采取了人脸特征点与数据库信息对比的人脸识别识别，以及不同帧之间人员位置、身份的匹配，保证在行人走出ROI监控区域时，仅输出对进场人员判定的最优结果，若S3和S4的结果都是成功，则在屏幕上显示该行人身份信息并允许通过，若S3和S4中至少一项匹配不成功，则说明该行人没有资格入场，则启动报警装置，鸣笛提示有非授权人员误闯工地。

图3为本发明提供的基于上述方法的，参建人员进场身份快速识别及报警系统示意图。本实施例提供的参建人员进场身份快速识别及报警系统，包括：

数据获取模块10，后台识别模块20，反馈处理模块30；

数据获取模块10，用于摄像头对图像实时流的获取，并对图像中行人进行检测，框选出在ROI监控区域中的行人，再对ROI监控区域框中的行人进行人脸检测，并通过人脸对齐自动进行人脸特征点检测；

后台识别模块20，接收到数据获取模块10传输到的数据后，后台识别模块20开始进行人脸识别，依据逐帧人框的IOU相对关系和人脸相似度双重匹配的方法进行人脸识别。该过程中通过不断更新图像序列以及矩阵与阈值相比进行人脸识别判断，直到行人离开ROI监控区域，识别结束；

反馈处理模块30，后台识别模块20识别结束后，将该行人身份信息判断结果传输至反馈处理模块30，当接收到的信息为该行人有资格入场，则在屏幕上显示该行人身份信息，若该行人没有资格入场，则启动报警装置，报警装置包括屏幕报警与声光报警，屏幕报警指在显示屏上直接用红框标记出非授权人员，同时启动声光报警，鸣笛提示有非授权人员误闯工地，从而保证施工区域中没有未授权入场的闲杂人员，提高参建人员安全管理的效率。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种参建人员进场身份快速识别的方法，其特征在于，包括如下步骤：

S1、获取摄像头画面的实时流；对摄像头画面内预先划定的ROI监控区域进行人员检测，判断是否有人员进入ROI监控区域，并获得进场人员的位置信息；

S2、当有人员进入ROI监控区域内，则对进入的人员进行人脸检测及提取；

S3、对提取的人脸图片进行人脸识别；所述的人脸识别是将提取的人脸图片与预存的参建人员照片信息进行对比，识别该人员是否为系统中录入的参建人员，从而获取人员身份信息；

S4、根据步骤S1～S3的检测结果构建人员图像序列并跟踪，将构建的人员时间序列与当前帧内识别出的人员信息相匹配，以使同一人员在每一帧图像内的身份信息一致，并最终识别出该人员离开ROI监控区域的方向；

S5、判定人员身份，所述的判定人员身份是结合S4和S5的结果，在行人走出ROI监控区域时，将判定的最优结果输出；判定的最优结果包括进入ROI监控区域内的人员是否为参建人员，以及是否存在入场行为。

2.根据权利要求1所述的一种参建人员进场身份快速识别的方法，其特征在于，步骤S1中，以人员序列首尾图像帧中的头部相对位置作为进出ROI监控区域的标志，并增加头部位置的相对差距约束，以增加行人检测位置的准确度；同时，增加人员序列长度的约束限制，以防止将人影误识别为行人进行抓拍。

3.根据权利要求1或2所述的一种参建人员进场身份快速识别的方法，其特征在于，步骤S2中的人脸检测包括提取人脸图像，还包括如下优化方法中的至少一种：

进行人脸特征点检测，并利用检测到的人脸特征点进行人脸对齐，以消除人脸拍摄角度的影响；

通过增大人脸检测的概率阈值，以及调大最小待检测人脸大小，防止将安全帽误抓拍为人脸；

通过对ROI监控区域进行补光，降低环境光线对抓拍照片质量的影响，提高泛场景中人脸识别的可靠度。

4.根据权利要求3所述的一种参建人员进场身份快速识别的方法，其特征在于，步骤4中获取两类信息，一类是由步骤S1、S2、S3获取信息后构建的人员图像序列；其中，步骤S1获取人员位置信息，步骤S2获取人脸特征点信息，步骤S3获取人员身份信息；

另一类是当前帧人员信息，包括人员位置信息和人脸特征点信息；

在人员走出ROI监控区域前，将两类信息不断更新匹配，直到人员走出ROI监控区域，人员序列跟踪结束，输出两类信息匹配的结果。

5.根据权利要求3所述的一种参建人员进场身份快速识别的方法，其特征在于，步骤S4中，在ROI监控区域内具有多个人员时，对每个人员按照如下多行人跟踪策略进行多行人跟踪检测：

S41，获取两类信息，一类是由步骤S1、S2、S3获取信息后构建的人员图像序列；其中，步骤S1获取人员位置信息，步骤S2获取人脸特征点信息，步骤S3获取人员身份信息；

另一类是当前帧人员信息，包括人员位置信息和人脸特征点信息；

S42，在人员走出ROI监控区域前，将两类信息不断更新匹配，若匹配成功，则在人员走出ROI监控区域后，输出最优的多行人跟踪结果，若匹配失败，则判断图像序列重连是否结束，若结束，则在人员走出ROI监控区域后输出跟踪结果，若序列的重连状态未结束，则返回重新进行匹配；所述图像序列重连是指，在当前帧对应的两类信息匹配失败时，下一帧重新进行匹配，若匹配成功则重连成功，否则在下一帧继续匹配，直至人员走出ROI监控区域；

S43，直到人员走出ROI监控区域，再判断人员进出场状态，人员时间序列的建立和跟踪过程完成，输出结果；或者，根据图像序列得到跟踪位置变化的趋势，预测人员下一步的走向，如果预测是进场方向，则在人员走出ROI监控区域时马上输出匹配结果。

6.根据权利要求5所述的一种参建人员进场身份快速识别的方法，其特征在于，步骤S42中，所述的图像序列重连状态的判断，包括图像序列长度、人员是否进场以及重连是否失败；

所述的图像序列长度是指当图像序列的长度大于预设的可独立成为序列的数目时，结束重连，得到匹配结果并在人员走出ROI监控区域时输出；

所述的人员是否进场，是指如果人员离开ROI监控区域的位置不是进场位置，说明该人员不是要进场的人员，不输出匹配结果，结束重连；

所述的重连失败是指，当某个人员一开始能够根据人脸特征识别出身份信息，而从某一帧开始一直无法提取到人脸特征，只能根据头部的位置信息判断是否为同一个人，则当他走出ROI监控区域时重连失败。

7.一种参建人员进场身份识别及预警系统，其特征在于，包括摄像头、数据获取模块、后台识别模块和反馈处理模块；

所述摄像头用于实时拍摄ROI监控区域；

所述数据获取模块用于对摄像头拍摄的画面执行如权利要求1～6任意一项所述的步骤S1～S2；

所述后台识别模块用于执行如权利要求1～6任意一项所述的步骤S3～S5；

所述反馈处理模块用于在所述后台识别模块的识别结果为非参建人员入场时，发出警报。