CN114332712A - 基于人脸识别的隧道工作人员监测系统及方法 - Google Patents

Abstract

本发明公开了基于人脸识别的隧道工作人员监测系统及方法，属于图像识别技术领域。本发明建立标准姿态数据库，音视频采集模块采集司机室的音视频信号，所述音视频采集模块采集车控室和站台音频信号，通过语音检测获得工作人员的语言数量，计算各个岗位工作人员的平均语速和瞬时语速，从而直观的衡量各个岗位工作人员的工作量，进一步获得各个岗位工作人员的基于语音的疲劳程度，面部检测模块输出人眼宽度进一步计算司机的人眼疲劳程度，本系统全面的监控了驾驶室、车控室和站台的工作人员的工作状态，发现工作人员疲劳状态和疲劳程度，及时的采取合理的措施，全面的监控有效的避免因为疲劳而出现一个岗位的错漏带来的巨大的事故与损失。

Description

基于人脸识别的隧道工作人员监测系统及方法

技术领域

本发明涉及图像识别技术领域，具体为基于人脸识别的隧道工作人员监测系统及方法。

背景技术

地铁是城市中隧道交通的一种，列车在全封闭的线路上运行，设在城市的地下隧道内，是高质量的城市交通的一部分，随着地铁交通工程的普及，便捷城市的人员生活与工作，缓解城市交通拥堵；运营一个地铁是一个繁芜的工作，人员庞大同时极其需要各个部门配合才能保证地铁顺利的运行，繁芜的工作导致事故频发，各个岗位的工作人员因为疲劳导致各种的违规操作和不安全行为，进一步的安全事故越来越频繁，比如：驾驶员疲劳导致脱轨、车控室值班人员违规操作导致列车运行不正常、站台工作人员错误的引导导致乘客出现拥挤踩踏等事故；现有的仅仅针对司机疲劳驾驶进行是不能完全的覆盖整个地铁运营的安全防控的。

发明内容

本发明的目的在于提供基于人脸识别的隧道工作人员监测系统及方法，以解决上述背景技术中提出的问题。

为了解决上述技术问题，本发明提供如下技术方案：基于人脸识别的隧道工作人员监测系统，该系统包括音视频采集模块、标准姿态数据库、语音检测模块、姿态匹配模块、面部检测模块、疲劳检测模块和疲劳警告模块；

所述音视频采集模块采集驾驶室视频信号至面部检测模块，所述音视频采集模块采集驾驶室、车控室和站台音频信号至语音检测模块，所述语音检测模块基于语音识别计算单个工作人员的语速后输入疲劳检测模块，所述疲劳检测模块根据不同的工作人员的岗位采取不同的标准判断工作人员的工作量和语音疲劳程度，所述面部检测模块基于人脸识别检测人员到岗情况，所述面部检测模块基于人脸识别提取人眼的位置，基于坐标计算人眼的宽度后将人眼宽度输入疲劳检测模块计算司机人眼疲劳程度，所述标准姿态数据库提前录入人脸信息、岗位信息、司机口呼指令的标准姿态和口呼指令的对应语音，所述标准姿态数据库基于图像识别计算人眼宽度，所述语音检测模块基于语音识别识别到司机口呼指令的对应语音，将司机的口呼指令输入姿态匹配模块，所述姿态识别模块抓取语音对应的时间段的视频帧，所述姿态识别模块将检测到的司机口呼指令的姿态与标准姿态数据进行匹配，根据匹配结果输出不同的提示，所述疲劳检测模块判断工作人员的疲劳程度后将工作人员的疲劳程度输入疲劳警告模块，所述疲劳警告模块基于工作人员的疲劳程度输出对应的警告措施。

本系统通过输出人眼宽度计算司机的疲劳程度，本系统通过语音检测获得工作人员的语言数量，计算各个岗位工作人员的平均语速和瞬时语速，从而直观的衡量各个岗位工作人员的工作量，进一步获得各个岗位工作人员的基于语音的疲劳程度，通过本系统可以直观的展示出各个工作岗位的人员的精神状态，发现工作人员疲劳状态和疲劳程度，及时的采取合理的措施；

本系统全面的监控了驾驶室、车控室和站台的工作人员，地铁工作是需要各个部门配合的工作，全面的监控有效的避免因为疲劳而出现一个岗位的错漏带来的巨大的事故与损失。

所述语音检测模块基于语音识别识别司机口呼指令，同时基于语音识别计算工作人员的语言数量、平均语速和瞬时语速，所述语言数量用音节数量W表示，所述平均语速Q的计算公式为：

其中，W表示音节数量，T表示工作人员所有的说话时间，Q表示工作人员的平均语速；所述瞬时语速的计算公式为：

其中，W_t表示工作人员单位时间音节数量，Δt表示单位时间，Q_t表示工作人员的瞬时语速。

地铁工作是需要各个部门配合的工作，尤其车控室和站台之间需要大量的语音交流保证工作完美的完成，通过语音检测就可直观的展现车控室和站台的工作人员的工作量，通过工作人员交流时的语速分析，可以直观的展现工作人员的疲劳程度。

通过音节计算语速，极大程度的减少了不必要的计算，不需要系统识别大量的语音文字。

所述疲劳检测模块根据不同的工作人员的岗位采取不同的标准判断工作人员的工作量和疲劳程度，所述不同的工作人员的岗位包括司机、站台人员和车控室值班人员，所述疲劳检测模块包括语音疲劳程度P和人眼疲劳程度L，所述语音疲劳程度P存在最大值P_max，所述人眼疲劳程度的默认值为0，站台人员和车控室值班人员工作量计算公式为：

G＝W*T

其中，G表示站台人员和车控室值班人员工作量；

根据站台人员和车控室值班人员岗位不同设置不同的工作量阈值G_y，站台人员和车控室值班人员语音疲劳程度计算方法为：

当G≤G_y且Q_t≥Q时，判断站台人员和车控室值班人员不疲劳，输出语音疲劳程度P为零；

当G>G_y且Q_t≥Q时，计算站台人员和车控室值班人员语音疲劳程度P计算公式为：

其中，T_p表示站台人员和车控室值班人员工作量超出阈值之后的工作时间；

当Q_t<Q时，以n个单位时间为一组，删除n个单位时间的中的最大值与最小值，计算一组时间内的平均语速Q_z：

其中，W_n表示n个单位时间内删除最大值和最小值的音节数量的和；

当工作人员的瞬时语速小于平均语速时考虑数据采集的误差导致数据波动，以一组时间为维度剔除波动比较大的数据，重新计算一组时间内的平均语速，以较小的计算量，获得准确的语速数据。

设置平均语速阈值Q_p，当Q_z<Q_p时，判断站台人员和车控室值班人员严重疲劳，输出站台人员和车控室值班人员语音疲劳程度为语音疲劳程度最大值P_max；

当Q_z≥Q时，按照Q_t≥Q的计算方法，用Q_z等价替换Q_t进行计算；

当Q_p<Q_z<Q时，如果G>G_y，判断站台人员和车控室值班人员严重疲劳，输出站台人员和车控室值班人员语音疲劳程度为语音疲劳程度最大值P_max；

如果G≤G_y，计算站台人员和车控室值班人员语音疲劳程度P计算公式为：

其中，T_p表示站台人员和车控室值班人员工作量超出阈值之后的工作时间。

综合考量工作量与语速之间的关系，根据不同的情况采用更适合的计算方法计算工作的语音疲劳程度

所述疲劳检测模块计算司机单位时间的瞬时语速Q_t＝{Q₁，Q₂，...，Q_n}，司机语音疲劳程度计算公式为：

司机的要求与其他岗位的工作人员是不一样的，司机的职业要求司机稳定的语速更高效的交流，当司机出现与平常的语速不一致的情况，即可判断误差越大司机越疲劳。

所述疲劳检测模块获取面部检测模块输出的人眼宽度，所述面部检测模块输出司机单位时间的人眼宽度D＝{D₁，D₂，...，D_m}，所述疲劳检测模块以m个单位时间为一个计算组，计算司机一个计算组人眼宽度的有效值计算公式为：

其中，D_m表示面部检测模块输出的第m个单位时间的人眼宽度，D_b表示标准姿态数据库对应人员的人眼宽度，D_y表示一个计算组人眼宽度的有效值；

司机人眼疲劳程度的具体计算公式为：

其中，L表示司机人眼疲劳程度,L_m表示

能够使司机人眼疲劳程度达到最大值的阈值；

所述疲劳检测模块累加人眼疲劳程度和语音疲劳程度获得工作人员的疲劳程度R，输出工作人员的疲劳程度至疲劳警告模块。

由于人的眼睛需要不同的眨动，但是数据采集往往是单位时间，所以在司机正常状态下也会很大程度上会采集到人眼睁开到闭上的各个状态，单纯地的检测人眼的宽度是不够的，需要一段时间内连续的检测到人眼的宽度是小于阈值才能准确的判断司机处于疲劳状态。

所述疲劳警告模块根据工作人员的疲劳值设置不同疲劳程度的警告等级：一级疲劳警告范围为[0，R₁]，所述疲劳警告模块增加自动语音播报频率；二级疲劳警告范围为[R₁，R₂]，所述疲劳警告模块上报记录，对于工作人员进行提示，并减少系统监测的单位时间；三级疲劳警告范围为[R₃，L_max+P_max]，所述疲劳警告模块上报记录，同时向管理人员发出休息警告，提示管理人员增加工作人员的休息时间。

通过前面的两个数据对于工作人员疲劳程度的衡量，及时的采取合适的措施，避免工作出现问题，进一步产生事故；同时也能帮助管理人员直观的了解到工作人员的工作量，帮助管理人员采用更合理的管理方法。

基于人脸识别的隧道工作人员监测方法，该方法的具体步骤包括：

步骤一：录入工作人员的信息建立标准姿态数据库，所述标准姿态数据库包括员工个人信息、员工人脸信息、员工岗位信息、司机口呼指令的标准姿态和口呼指令的对应语音；

步骤二：所述标准姿态数据库根据不同的岗位位置设置人员分组，所述标准姿态数据库基于图像识别计算标准姿态数据库人员的人眼宽度；

步骤三：音视频采集模块采集司机室的音视频信号，所述音视频采集模块采集车控室和站台音频信号；

步骤四：所述音视频采集模块基于语音识别计算工作人员的语言数量、平均语速和瞬时语速；

步骤五：面部检测模块基于人脸识别判断人员到岗情况，所述面部检测模块优先调用同一人员分组的员工人脸信息进行匹配识别，当人员人脸信息与岗位不匹配，所述面部检测模块输出人员与岗位不匹配警告；

步骤六：所述面部检测模块基于图像识别实时检测司机人眼的位置，并输出司机人眼的预测框与预测框的坐标，根据预测框的坐标计算司机单位时间的人眼宽度；

步骤七：疲劳检测模块接收工作人员的语言数量、平均语速和瞬时语速计算语音疲劳程度P，所述疲劳检测模块接收司机单位时间的人眼宽度计算人眼疲劳程度L，从而获得工作人员疲劳程度输入疲劳警告模块；

步骤八：所述疲劳警告模块根据疲劳程度做出不同的警告措施。

所述步骤二与步骤六中计算人眼宽度的具体步骤为：

步骤二一：基于YOLOv5算法搭建目标检测模型；

步骤二二：标注标准姿态数据库中的司机口呼指令的标准姿态名称为对应的指令，标注标准姿态数据库中人脸图像中的人眼位置，通过已标注的文件训练模型；

步骤二三：输出mAP最高的模型为最终的目标检测模型；

步骤二四：输入采集到的人脸信息，在人脸检测的基础上输出人脸分割图；

步骤二五：将人脸检测模型输入目标检测模型，输出人眼预测框的坐标位置；

步骤二六：按照人眼预测框长度与标准姿态数据库中对应人员的眼部比例缩放人眼预测框的宽度，获得人眼宽度D_m。

基于识别算法检测人眼的状态，仅仅通过人眼的预测框获得人眼宽度，不需要精准检测眼部的轮廓，极大程度的减小了计算量。

该方法的具体步骤还包括：

步骤九：所述语音检测模块基于语音识别识别到口呼指令的对应语音，输出口呼指令和口呼指令的对应语音的时间段；

步骤十：所述姿态识别模块抓取对应语音的时间段的视频帧，所述姿态识别模块调用目标检测模型识别司机的口呼指令的姿态；

步骤十一：当司机的口呼指令的姿态与标准姿态数据匹配，发出成功匹配安全出发提示；当司机的口呼指令的姿态与标准姿态数据不匹配，发出错误匹配提示；当匹配错误超过三次，所述姿态识别模块上报警告数据。

与现有技术相比，本发明所达到的有益效果是：本系统通过输出人眼宽度计算司机的疲劳程度，本系统通过语音检测获得工作人员的语言数量，计算各个岗位工作人员的平均语速和瞬时语速，从而直观的衡量各个岗位工作人员的工作量，进一步获得各个岗位工作人员的基于语音的疲劳程度，通过本系统可以直观的展示出各个工作岗位的人员的精神状态，发现工作人员疲劳状态和疲劳程度，及时的采取合理的措施；

本系统全面的监控了驾驶室、车控室和站台的工作人员的工作状态，地铁工作是需要各个部门配合的工作，全面的监控有效的避免因为疲劳而出现一个岗位的错漏带来的巨大的事故与损失。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1是本发明基于人脸识别的隧道工作人员监测系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，本发明提供技术方案：基于人脸识别的隧道工作人员监测系统，该系统包括音视频采集模块、标准姿态数据库、语音检测模块、姿态匹配模块、面部检测模块、疲劳检测模块和疲劳警告模块；

音视频采集模块采集驾驶室视频信号至面部检测模块，音视频采集模块采集驾驶室、车控室和站台音频信号至语音检测模块，语音检测模块基于语音识别计算单个工作人员的语速后输入疲劳检测模块，疲劳检测模块根据不同的工作人员的岗位采取不同的标准判断工作人员的工作量和语音疲劳程度，面部检测模块基于人脸识别检测人员到岗情况，面部检测模块基于人脸识别提取人眼的位置，基于坐标计算人眼的宽度后将人眼宽度输入疲劳检测模块计算司机人眼疲劳程度，标准姿态数据库提前录入人脸信息、岗位信息、司机口呼指令的标准姿态和口呼指令的对应语音，标准姿态数据库基于图像识别计算人眼宽度，语音检测模块基于语音识别识别到司机口呼指令的对应语音，将司机的口呼指令输入姿态匹配模块，姿态识别模块抓取语音对应的时间段的视频帧，姿态识别模块将检测到的司机口呼指令的姿态与标准姿态数据进行匹配，根据匹配结果输出不同的提示，疲劳检测模块判断工作人员的疲劳程度后将工作人员的疲劳程度输入疲劳警告模块，疲劳警告模块基于工作人员的疲劳程度输出对应的警告措施。

本系统通过输出人眼宽度计算司机的疲劳程度，本系统通过语音检测获得工作人员的语言数量，计算各个岗位工作人员的平均语速和瞬时语速，从而直观的衡量各个岗位工作人员的工作量，进一步获得各个岗位工作人员的基于语音的疲劳程度，通过本系统可以直观的展示出各个工作岗位的人员的精神状态，发现工作人员疲劳状态和疲劳程度，及时的采取合理的措施；

本系统全面的监控了驾驶室、车控室和站台的工作人员，地铁工作是需要各个部门配合的工作，全面的监控有效的避免因为疲劳而出现一个岗位的错漏带来的巨大的事故与损失。

语音检测模块基于语音识别识别司机口呼指令，同时基于语音识别计算工作人员的语言数量、平均语速和瞬时语速，语言数量用音节数量W表示，平均语速Q的计算公式为：

其中，W表示音节数量，T表示工作人员所有的说话时间，Q表示工作人员的平均语速；瞬时语速的计算公式为：

其中，W_t表示工作人员单位时间音节数量，Δt表示单位时间，Q_t表示工作人员的瞬时语速。

地铁工作是需要各个部门配合的工作，尤其车控室和站台之间需要大量的语音交流保证工作完美的完成，通过语音检测就可直观的展现车控室和站台的工作人员的工作量，通过工作人员交流时的语速分析，可以直观的展现工作人员的疲劳程度。

通过音节计算语速，极大程度的减少了不必要的计算，不需要系统识别大量的语音文字。

疲劳检测模块根据不同的工作人员的岗位采取不同的标准判断工作人员的工作量和疲劳程度，不同的工作人员的岗位包括司机、站台人员和车控室值班人员，疲劳检测模块包括语音疲劳程度P和人眼疲劳程度L，语音疲劳程度P存在最大值P_max，人眼疲劳程度的默认值为0，站台人员和车控室值班人员工作量计算公式为：

G＝W*T

其中，G表示站台人员和车控室值班人员工作量；

根据站台人员和车控室值班人员岗位不同设置不同的工作量阈值G_y，站台人员和车控室值班人员语音疲劳程度计算方法为：

当G≤G_y且Q_t≥Q时，判断站台人员和车控室值班人员不疲劳，输出语音疲劳程度P为零；

当G>G_y且Q_t≥Q时，计算站台人员和车控室值班人员语音疲劳程度P计算公式为：

其中，T_p表示站台人员和车控室值班人员工作量超出阈值之后的工作时间；

当Q_t<Q时，以n个单位时间为一组，删除n个单位时间的中的最大值与最小值，计算一组时间内的平均语速Q_z：

其中，W_n表示n个单位时间内删除最大值和最小值的音节数量的和；

当工作人员的瞬时语速小于平均语速时考虑数据采集的误差导致数据波动，以一组时间为维度剔除波动比较大的数据，重新计算一组时间内的平均语速，以较小的计算量，获得准确的语速数据。

设置平均语速阈值Q_p，当Q_z<Q_p时，判断站台人员和车控室值班人员严重疲劳，输出站台人员和车控室值班人员语音疲劳程度为语音疲劳程度最大值P_max；

当Q_z≥Q时，按照Q_t≥Q的计算方法，用Q_z等价替换Q_t进行计算；

当Q_p<Q_z<Q时，如果G>G_y，判断站台人员和车控室值班人员严重疲劳，输出站台人员和车控室值班人员语音疲劳程度为语音疲劳程度最大值P_max；

如果G≤G_y，计算站台人员和车控室值班人员语音疲劳程度P计算公式为：

其中，T_p表示站台人员和车控室值班人员工作量超出阈值之后的工作时间。

综合考量工作量与语速之间的关系，根据不同的情况采用更适合的计算方法计算工作的语音疲劳程度

疲劳检测模块计算司机单位时间的瞬时语速Q_t＝{Q₁，Q₂，...，Q_n}，司机语音疲劳程度计算公式为：

司机的要求与其他岗位的工作人员是不一样的，司机的职业要求司机稳定的语速更高效的交流，当司机出现与平常的语速不一致的情况，即可判断误差越大司机越疲劳。

疲劳检测模块获取面部检测模块输出的人眼宽度，面部检测模块输出司机单位时间的人眼宽度D＝{D₁，D₂，...，D_m}，疲劳检测模块以m个单位时间为一个计算组，计算司机一个计算组人眼宽度的有效值计算公式为：

其中，D_m表示面部检测模块输出的第m个单位时间的人眼宽度，D_b表示标准姿态数据库对应人员的人眼宽度，D_y表示一个计算组人眼宽度的有效值；

司机人眼疲劳程度的具体计算公式为：

其中，L表示司机人眼疲劳程度,L_m表示

能够使司机人眼疲劳程度达到最大值的阈值；

疲劳检测模块累加人眼疲劳程度和语音疲劳程度获得工作人员的疲劳程度R，输出工作人员的疲劳程度至疲劳警告模块。

由于人的眼睛需要不同的眨动，但是数据采集往往是单位时间，所以在司机正常状态下也会很大程度上会采集到人眼睁开到闭上的各个状态，单纯地的检测人眼的宽度是不够的，需要一段时间内连续的检测到人眼的宽度是小于阈值才能准确的判断司机处于疲劳状态。

疲劳警告模块根据工作人员的疲劳值设置不同疲劳程度的警告等级：一级疲劳警告范围为[0，R₁]，疲劳警告模块增加自动语音播报频率；二级疲劳警告范围为[R₁，R₂]，疲劳警告模块上报记录，对于工作人员进行提示，并减少系统监测的单位时间；三级疲劳警告范围为[R₃，L_max+P_max]，疲劳警告模块上报记录，同时向管理人员发出休息警告，提示管理人员增加工作人员的休息时间。

通过前面的两个数据对于工作人员疲劳程度的衡量，及时的采取合适的措施，避免工作出现问题，进一步产生事故；同时也能帮助管理人员直观的了解到工作人员的工作量，帮助管理人员采用更合理的管理方法。

基于人脸识别的隧道工作人员监测方法，该方法的具体步骤包括：

步骤一：录入工作人员的信息建立标准姿态数据库，标准姿态数据库包括员工个人信息、员工人脸信息、员工岗位信息、司机口呼指令的标准姿态和口呼指令的对应语音；

步骤二：标准姿态数据库根据不同的岗位位置设置人员分组，标准姿态数据库基于图像识别计算标准姿态数据库人员的人眼宽度；

步骤三：音视频采集模块采集司机室的音视频信号，音视频采集模块采集车控室和站台音频信号；

步骤四：音视频采集模块基于语音识别计算工作人员的语言数量、平均语速和瞬时语速；

步骤五：面部检测模块基于人脸识别判断人员到岗情况，面部检测模块优先调用同一人员分组的员工人脸信息进行匹配识别，当人员人脸信息与岗位不匹配，面部检测模块输出人员与岗位不匹配警告；

步骤六：面部检测模块基于图像识别实时检测司机人眼的位置，并输出司机人眼的预测框与预测框的坐标，根据预测框的坐标计算司机单位时间的人眼宽度；

步骤七：疲劳检测模块接收工作人员的语言数量、平均语速和瞬时语速计算语音疲劳程度P，疲劳检测模块接收司机单位时间的人眼宽度计算人眼疲劳程度L，从而获得工作人员疲劳程度输入疲劳警告模块；

步骤八：疲劳警告模块根据疲劳程度做出不同的警告措施。

步骤二与步骤六中计算人眼宽度的具体步骤为：

步骤二一：基于YOLOv5算法搭建目标检测模型；

步骤二二：标注标准姿态数据库中的司机口呼指令的标准姿态名称为对应的指令，标注标准姿态数据库中人脸图像中的人眼位置，通过已标注的文件训练模型；

步骤二三：输出mAP最高的模型为最终的目标检测模型；

步骤二四：输入采集到的人脸信息，在人脸检测的基础上输出人脸分割图；

步骤二五：将人脸检测模型输入目标检测模型，输出人眼预测框的坐标位置；

步骤二六：按照人眼预测框长度与标准姿态数据库中对应人员的眼部比例缩放人眼预测框的宽度，获得人眼宽度D_m。

基于识别算法检测人眼的状态，仅仅通过人眼的预测框获得人眼宽度，不需要精准检测眼部的轮廓，极大程度的减小了计算量。

该方法的具体步骤还包括：

步骤九：语音检测模块基于语音识别识别到口呼指令的对应语音，输出口呼指令和口呼指令的对应语音的时间段；

步骤十：姿态识别模块抓取对应语音的时间段的视频帧，姿态识别模块调用目标检测模型识别司机的口呼指令的姿态；

步骤十一：当司机的口呼指令的姿态与标准姿态数据匹配，发出成功匹配安全出发提示；当司机的口呼指令的姿态与标准姿态数据不匹配，发出错误匹配提示；当匹配错误超过三次，姿态识别模块上报警告数据。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.基于人脸识别的隧道工作人员监测系统，其特征在于：该系统包括音视频采集模块、标准姿态数据库、语音检测模块、姿态匹配模块、面部检测模块、疲劳检测模块和疲劳警告模块；

所述音视频采集模块采集驾驶室视频信号至面部检测模块，所述音视频采集模块采集驾驶室、车控室和站台音频信号至语音检测模块，所述语音检测模块基于语音识别计算单个工作人员的语速后输入疲劳检测模块，所述疲劳检测模块根据不同的工作人员的岗位采取不同的标准判断工作人员的工作量和语音疲劳程度，所述面部检测模块基于人脸识别检测人员到岗情况，所述面部检测模块基于人脸识别提取人眼的位置，基于坐标计算人眼的宽度后将人眼宽度输入疲劳检测模块计算司机人眼疲劳程度，所述标准姿态数据库提前录入人脸信息、岗位信息、司机口呼指令的标准姿态和口呼指令的对应语音，所述标准姿态数据库基于图像识别计算人眼宽度，所述语音检测模块基于语音识别识别到司机口呼指令的对应语音，将司机的口呼指令输入姿态匹配模块，所述姿态识别模块抓取语音对应的时间段的视频帧，所述姿态识别模块将检测到的司机口呼指令的姿态与标准姿态数据进行匹配，根据匹配结果输出不同的提示，所述疲劳检测模块判断工作人员的疲劳程度后将工作人员的疲劳程度输入疲劳警告模块，所述疲劳警告模块基于工作人员的疲劳程度输出对应的警告措施。

2.根据权利要求1所述的基于人脸识别的隧道工作人员监测系统，其特征在于：所述语音检测模块基于语音识别识别司机口呼指令，同时基于语音识别计算工作人员的语言数量、平均语速和瞬时语速，所述语言数量用音节数量W表示，所述平均语速Q的计算公式为：

其中，W表示音节数量，T表示工作人员所有的说话时间，Q表示工作人员的平均语速；

所述瞬时语速的计算公式为：

其中，W_t表示工作人员单位时间音节数量，Δt表示单位时间，Q_t表示工作人员的瞬时语速。

3.根据权利要求2所述的基于人脸识别的隧道工作人员监测系统，其特征在于：所述疲劳检测模块根据不同的工作人员的岗位采取不同的标准判断工作人员的工作量和疲劳程度，所述不同的工作人员的岗位包括司机、站台人员和车控室值班人员，所述疲劳检测模块包括语音疲劳程度P和人眼疲劳程度L，所述语音疲劳程度P存在最大值P_max，所述人眼疲劳程度的默认值为0，站台人员和车控室值班人员工作量计算公式为：

G＝W*T

其中，G表示站台人员和车控室值班人员工作量；

根据站台人员和车控室值班人员岗位不同设置不同的工作量阈值G_y，站台人员和车控室值班人员语音疲劳程度计算方法为：

当G≤G_y且Q_t≥Q时，判断站台人员和车控室值班人员不疲劳，输出语音疲劳程度P为零；

当G>G_y且Q_t≥Q时，计算站台人员和车控室值班人员语音疲劳程度P计算公式为：

其中，T_p表示站台人员和车控室值班人员工作量超出阈值之后的工作时间；

当Q_t<Q时，以n个单位时间为一组，删除n个单位时间的中的最大值与最小值，计算一组时间内的平均语速Q_z：

其中，W_n表示n个单位时间内删除最大值和最小值的音节数量的和；

设置平均语速阈值Q_p，当Q_z<Q_p时，判断站台人员和车控室值班人员严重疲劳，输出站台人员和车控室值班人员语音疲劳程度为语音疲劳程度最大值P_max；

当Q_z≥Q时，按照Q_t≥Q的计算方法，用Q_z等价替换Q_t进行计算；

当Q_p<Q_z<Q时，如果G>G_y，判断站台人员和车控室值班人员严重疲劳，输出站台人员和车控室值班人员语音疲劳程度为语音疲劳程度最大值P_max；

如果G≤G_y，计算站台人员和车控室值班人员语音疲劳程度P计算公式为：

P＝ln[(Q-Q_z)^Tp+1]

其中，T_p表示站台人员和车控室值班人员工作量超出阈值之后的工作时间。

4.根据权利要求3所述的基于人脸识别的隧道工作人员监测系统，其特征在于：所述疲劳检测模块计算司机单位时间的瞬时语速Q_t＝{Q₁，Q₂，...，Q_n}，司机语音疲劳程度计算公式为：

5.根据权利要求4所述的基于人脸识别的隧道工作人员监测系统，其特征在于：所述疲劳检测模块获取面部检测模块输出的人眼宽度，所述面部检测模块输出司机单位时间的人眼宽度D＝{D₁，D₂，...，D_m}，所述疲劳检测模块以m个单位时间为一个计算组，计算司机一个计算组人眼宽度的有效值计算公式为：

其中，D_m表示面部检测模块输出的第m个单位时间的人眼宽度，D_b表示标准姿态数据库对应人员的人眼宽度，D_y表示一个计算组人眼宽度的有效值；

司机人眼疲劳程度的具体计算公式为：

其中，L表示司机人眼疲劳程度,L_m表示

能够使司机人眼疲劳程度达到最大值的阈值；

所述疲劳检测模块累加人眼疲劳程度和语音疲劳程度获得工作人员的疲劳程度R，输出工作人员的疲劳程度至疲劳警告模块。

6.根据权利要求5所述的基于人脸识别的隧道工作人员监测系统，其特征在于：所述疲劳警告模块根据工作人员的疲劳值设置不同疲劳程度的警告等级：一级疲劳警告范围为[0，R₁]，所述疲劳警告模块增加自动语音播报频率；二级疲劳警告范围为[R₁，R₂]，所述疲劳警告模块上报记录，对于工作人员进行提示，并减少系统监测的单位时间；三级疲劳警告范围为[R₃，L_max+P_max]，所述疲劳警告模块上报记录，同时向管理人员发出休息警告，提示管理人员增加工作人员的休息时间。

7.基于人脸识别的隧道工作人员监测方法，其特征在于：该方法的具体步骤包括：

步骤一：录入工作人员的信息建立标准姿态数据库，所述标准姿态数据库包括员工个人信息、员工人脸信息、员工岗位信息、司机口呼指令的标准姿态和口呼指令的对应语音；

步骤二：所述标准姿态数据库根据不同的岗位位置设置人员分组，所述标准姿态数据库基于图像识别计算标准姿态数据库人员的人眼宽度；

步骤三：音视频采集模块采集司机室的音视频信号，所述音视频采集模块采集车控室和站台音频信号；

步骤四：所述音视频采集模块基于语音识别计算工作人员的语言数量、平均语速和瞬时语速；

步骤五：面部检测模块基于人脸识别判断人员到岗情况，所述面部检测模块优先调用同一人员分组的员工人脸信息进行匹配识别，当人员人脸信息与岗位不匹配，所述面部检测模块输出人员与岗位不匹配警告；

步骤六：所述面部检测模块基于图像识别实时检测司机人眼的位置，并输出司机人眼的预测框与预测框的坐标，根据预测框的坐标计算司机单位时间的人眼宽度；

步骤七：疲劳检测模块接收工作人员的语言数量、平均语速和瞬时语速计算语音疲劳程度P，所述疲劳检测模块接收司机单位时间的人眼宽度计算人眼疲劳程度L，从而获得工作人员疲劳程度输入疲劳警告模块；

步骤八：所述疲劳警告模块根据疲劳程度做出不同的警告措施。

8.根据权利要求7所述的基于人脸识别的隧道工作人员监测方法，其特征在于：所述步骤二与步骤六中计算人眼宽度的具体步骤为：

步骤二一：基于YOLOv5算法搭建目标检测模型；

步骤二二：标注标准姿态数据库中的司机口呼指令的标准姿态名称为对应的指令，标注标准姿态数据库中人脸图像中的人眼位置，通过已标注的文件训练模型；

步骤二三：输出mAP最高的模型为最终的目标检测模型；

步骤二四：输入采集到的人脸信息，在人脸检测的基础上输出人脸分割图；

步骤二五：将人脸检测模型输入目标检测模型，输出人眼预测框的坐标位置；

步骤二六：按照人眼预测框长度与标准姿态数据库中对应人员的眼部比例缩放人眼预测框的宽度，获得人眼宽度D_m。

9.根据权利要求8所述的基于人脸识别的隧道工作人员监测方法，其特征在于：该方法的具体步骤还包括：

步骤九：所述语音检测模块基于语音识别识别到口呼指令的对应语音，输出口呼指令和口呼指令的对应语音的时间段；

步骤十：所述姿态识别模块抓取对应语音的时间段的视频帧，所述姿态识别模块调用目标检测模型识别司机的口呼指令的姿态；

步骤十一：当司机的口呼指令的姿态与标准姿态数据匹配，发出成功匹配安全出发提示；当司机的口呼指令的姿态与标准姿态数据不匹配，发出错误匹配提示；当匹配错误超过三次，所述姿态识别模块上报警告数据。

Images