CN114758326A - 一种交通岗位工作行为状态实时检测系统 - Google Patents

Abstract

本发明适用于车辆驾驶安全技术领域，提供了一种交通岗位工作行为状态实时检测系统，包括：获取单元：用于获取驾驶过程中驾驶员的多个初始图像；人脸识别单元：图像识别模块和检测模块，图像识别模块利用YOLO算法检测多个初始图像的人眼图像，检测模块对多个人眼图像进行疲劳判断；肢体动作识别单元：利用YOLO算法和姿态估计算法提取的人体运动数据以3D骨架序列呈现，以获取人体动作信息并对动作危险程度进行判断；输出单元：将人脸识别单元的检测结果和肢体动作识别单元判断结果输出，以实时提醒驾驶员及时矫正行为状态；不仅能对面部进行疲劳识别，还能对驾驶位中驾驶员的肢体动作进行分析，能够做到对更多驾驶员的不合规的驾驶动作进行分类分析。

Description

一种交通岗位工作行为状态实时检测系统

技术领域

本发明属于车辆驾驶安全技术领域，具体涉及到一种交通岗位工作行为状态实时检测系统。

背景技术

随着我国汽车人均占有率的增加，交通事故已成为威胁人类生命的又一大突出问题。驾驶员疲劳驾驶或者主动不规范驾驶，例如注意力不集中、玩手机等均有可能造成危险驾驶，进而引起重特大道路交通事故的发生。目前车辆等交通岗位中均会配备检测系统，对驾驶人行驶状态的检测目前有较多研究的方法，现有的技术大部分只能做到对驾驶员的疲劳检测，这对于提高乘车安全性可以说是远远不够的，且检测手段不够全面，现有技术只能根据人脸的特征检测出驾驶员的疲劳状态，应用场景有限很多违规驾驶行为都没有纳入检测的范畴。另一方面，检测的仪器过多，成本高，效率低，现有技术常加入红外等多传感器进行检测，既增加成本又占用驾驶室空间。导致整个检测系统落地价值太低，不是一个完整的工程化系统，难以应用到实际中。

发明内容

本发明的目的在于克服上述现有技术的不足，提供了一种交通岗位工作行为状态实时检测系统。

本发明是这样实现的：一种交通岗位工作行为状态实时检测系统，其特征在于：包括：

获取单元：用于获取驾驶过程中驾驶员的多个初始图像，多个所述初始图像包括驾驶员的人脸变化图像和身体动态骨骼变化图像；

人脸识别单元：用于对多个所述初始图像中的人脸变化图像进行处理，包括图像识别模块和检测模块，所述图像识别模块利用YOLO算法检测多个所述初始图像的人眼图像，所述检测模块对多个人眼图像进行疲劳判断；

肢体动作识别单元：用于对多个所述初始图像中的身体动态骨骼变化图像进行处理，利用YOLO算法和姿态估计算法提取的人体运动数据以3D骨架序列呈现，以获取人体动作信息并对动作危险程度进行判断；

输出单元：将所述人脸识别单元的检测结果和所述肢体动作识别单元判断结果输出，当驾驶员出现不同危险级别的危险驾驶行为时，将以不同的警告方式提醒驾驶员，以实时提醒驾驶员及时矫正行为状态。

进一步的，所述获取单元为设置于交通岗位上的摄像头，通过摄像头录像的方式获取驾驶员在驾驶过程中的多个所述初始图像。

进一步的，所述图像识别模块利用YOLO算法，将每一所述初始图像再分解为若干个识别网格，每一所述初始图像均设有一个标签边框(x，y，w，h)，若所述标签边框落入至某个所述识别网格中，那么该所述识别网格整合到卷积神经网络中处理，并由特征向量表示，完成人眼图像识别检测。

进一步的，所述识别网格为归一化网格，即所述图像识别模块将每一所述初始图像分成S×S的归一化网格。

进一步的，所述标签边框(x，y，w，h)，x与y分别表示所述标签边框中心位置的横左边与纵坐标，w与h分别表示所述标签边框中心位置到所述标签边框左边与上边的距离。

进一步的，所述特征向量包含目标的类别、边框位置以及图像特征值。

进一步的，所述检测模块进行疲劳判断的方法包括结合多个人眼图像的睁闭眼频率识别，所述检测模块上预设有睁眼时长、闭眼时长以及睁闭眼时间间隔，将多个人眼图像的时间间隔与预设时长作比较。

进一步的，所述肢体动作识别单元呈现的3D骨架序列由数个人体关节点连接组成，每个关节点包含人体关节的空间坐标数据，连续多帧的3D骨架序列可以简单高效的表征人体运动特征。

进一步的，所述输出单元以不同级别的危险驾驶行为采取不同的警告方式，包括：当驾驶员一级危险驾驶行为的时候，进行警报声提醒，出现二级或者更低级别的不良驾驶行为的时候，进行片段的记录截取。

进一步的，还包括有UI页面单元，所述UI页面单元为设于交通岗位上的显示屏幕，所述输出单元与所述UI页面单元连接，以实时将驾驶员的不同驾驶行为按分配权重对驾驶员的驾驶情况评分，并将所记录的片段以及判定结果反馈给驾驶员。

本发明提供的一种交通岗位工作行为状态实时检测系统，不仅仅能对面部进行疲劳识别，还能对驾驶位中驾驶员的肢体动作进行分析，能够做到对更多驾驶员的不合规的驾驶动作进行分类分析并按照驾驶行为的危险级别进行不同级别的处理，更加细化驾驶中的危险行为判断，以此改进驾驶员的危险驾驶习惯。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

以下附图仅旨在于对本发明做示意性说明和解释，并不限定本发明的范围。

图1是本发明提供的系统框架图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

请参阅图1，为实用新型公开的一种交通岗位工作行为状态实时检测系统，其特征在于：包括：

获取单元：用于获取驾驶过程中驾驶员的多个初始图像，多个所述初始图像包括驾驶员的人脸变化图像和身体动态骨骼变化图像；具体的，所述获取单元为设置于交通岗位上的摄像头，通过摄像头录像的方式获取驾驶员在驾驶过程中的多个所述初始图像，能连续不断的记录驾驶员在驾驶过程中的行为状态，并快速获取多个所述初始图像。

人脸识别单元：用于对多个所述初始图像中的人脸变化图像进行处理，包括图像识别模块和检测模块，所述图像识别模块利用YOLO算法检测多个所述初始图像的人眼图像，所述检测模块对多个人眼图像进行疲劳判断；具体的，所述图像识别模块利用YOLO算法，将每一所述初始图像再分解为若干个识别网格，所述识别网格为归一化网格，即所述图像识别模块将每一所述初始图像分成S×S的归一化网格，即YOLO算法将检测识别视为回归问题，不需要传统神经网络诸如R-CNN的复杂流程，使得所述图像识别模块识别人眼图像的速度非常快。每一所述初始图像均设有一个标签边框(x，y，w，h)，(x，y，w，h) 为所述标签边框的具体位置坐标，若所述标签边框落入至某个所述识别网格中，那么该所述识别网格整合到卷积神经网络中处理，并由特征向量表示，完成人眼图像识别检测。具体的，所述标签边框(x，y，w，h)，x与y分别表示所述标签边框中心位置的横左边与纵坐标，w与h分别表示所述标签边框中心位置到所述标签边框左边与上边的距离。所述特征向量包含目标的类别、边框位置以及图像特征值，能马上识别到由所述获取单元收录的多个所述初始图像中，迅速检测识别到驾驶员的人眼图像作为检测目标，另一方面，能避免除了驾驶位上的其他图像被识别，进一步提高检测识别的效率。当所述人脸识别单元快速识别到人眼图像后，所述检测模块则对人眼图像进行疲劳判断，进行疲劳判断的方法包括结合多个人眼图像的睁闭眼频率识别，所述检测模块上预设有睁眼时长、闭眼时长以及睁闭眼时间间隔，所述检测模块在检测判断时，将多个人眼图像的时间间隔与预设时长作比较，若驾驶员的睁眼时间远低于预设的睁眼时长，或者驾驶员的闭眼时间远高于预设的闭眼时长，或者驾驶员的睁闭眼的时间间隔远低于预设的睁闭眼时间间隔，即过于频繁的睁闭眼睛，均会被所述检测模块判断为疲劳驾驶。

肢体动作识别单元：用于对多个所述初始图像中的身体动态骨骼变化图像进行处理，利用YOLO算法和姿态估计算法提取的人体运动数据以3D骨架序列呈现，同理的，所述肢体动作识别单元利用YOLO算法提取出由所述获取单元记录的属于驾驶员的肢体图像，再通过姿态估计算法有效对肢体动作进行高精度的动作识别，以获取人体动作信息并对动作危险程度进行判断；进一步的，所述肢体动作识别单元呈现的3D骨架序列由数个人体关节点连接组成，每个关节点包含人体关节的空间坐标数据，连续多帧的3D骨架序列可以简单高效的表征人体运动特征，也就是驾驶员的动作信息。

更进一步的，所述人脸识别单元和所述肢体动作识别单元均能以置信度的分数来预测最终预测的目标对应的类别，即人眼图像的识别准确度和肢体行为的识别准确度。具体的，经过YOLO算法识别的目标将会由不同网格单元预测多个边界框和所述多个边界框置信度分数。在形式上,将置信度定义为

如果一个网格单元中不存在目标，理论上该网格单元边界框的置信度分数应为零，否则，期望的置信度分数等于预测框(predict box) 与真实标签框(ground truth)之间联合部分的交集(IOU)。预测框即是经过 YOLO神经网络传播后，YOLO算法基于网络权重特征对多个所述初始图像中可能存在的目标进行标识的边界框，而真实标签边框即是最终识别到的人眼图像或者肢体图像的标签所标识的边界框，其对应IOU值即预测框与真实标签边框的重叠部分和预测框与真实标签边框总的部分的衡量。而Pr(Object)值为0或1，便是预测的多个边界框是否与标签预先打上的框有重合，有重合便取1，无重合便取0。每个边界框都包含5个预测：x，y，w，h和置信度。(x，y)坐标表示边界框的中心相对于网格单元的边界的值，而宽度和高度则是相对于整个所述初始图像来预测的。置信度预测表示预测框与任意实际边界框之间的IOU。

每个网格单元还预测多个条件类别概率Pr(Class|Object)，这些概率以包含目标的网格单元为条件，此概率是根据前面的网络结构中从图像提取的类别特征值进行归一化获得的，多个类别即该YOLO网络训练时期望识别的类别数量，例如，若在驾驶位置中只识别火焰与抽烟行为，则类别数量为2。在评估时，把条件类概率和每个边界框的预测的置信度值相乘，为：

给出每个边界框特定类别的置信度分数。最后，用非极大值抑制法，对所有该类别框的置信度分数进行筛选处理，最终存留下该类别对应的置信度分数最高的值，提供了高准确度的人眼图像和肢体行为图像。

输出单元：将所述人脸识别单元的检测结果和所述肢体动作识别单元判断结果输出，当驾驶员出现不同危险级别的危险驾驶行为时，将以不同的警告方式提醒驾驶员，以实时提醒驾驶员及时矫正行为状态。所述输出单元以不同级别的危险驾驶行为采取不同的警告方式，包括：当驾驶员一级危险驾驶行为的时候，进行警报声提醒，出现二级或者更低级别的不良驾驶行为的时候，进行片段的记录截取。进一步的，本系统还包括有UI页面单元，所述UI页面单元为设于交通岗位上的显示屏幕，所述输出单元与所述UI页面单元连接，以实时将驾驶员的不同驾驶行为按分配权重对驾驶员的驾驶情况评分，并将所记录的片段以及判定结果反馈给驾驶员。不仅仅能对面部进行疲劳识别，还能对驾驶位中驾驶员的肢体动作进行分析，能够做到对更多驾驶员的不合规的驾驶动作进行分类分析并按照驾驶行为的危险级别进行不同级别的处理，更加细化驾驶中的危险行为判断，以此改进驾驶员的危险驾驶习惯。

以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换或改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种交通岗位工作行为状态实时检测系统，其特征在于：包括：

获取单元：用于获取驾驶过程中驾驶员的多个初始图像，多个所述初始图像包括驾驶员的人脸变化图像和身体动态骨骼变化图像；

人脸识别单元：用于对多个所述初始图像中的人脸变化图像进行处理，包括图像识别模块和检测模块，所述图像识别模块利用YOLO算法检测多个所述初始图像的人眼图像，所述检测模块对多个人眼图像进行疲劳判断；

肢体动作识别单元：用于对多个所述初始图像中的身体动态骨骼变化图像进行处理，利用YOLO算法和姿态估计算法提取的人体运动数据以3D骨架序列呈现，以获取人体动作信息并对动作危险程度进行判断；

输出单元：将所述人脸识别单元的检测结果和所述肢体动作识别单元判断结果输出，当驾驶员出现不同危险级别的危险驾驶行为时，将以不同的警告方式提醒驾驶员，以实时提醒驾驶员及时矫正行为状态。

2.根据权利要求1所述的一种交通岗位工作行为状态实时检测系统，其特征在于：所述获取单元为设置于交通岗位上的摄像头，通过摄像头录像的方式获取驾驶员在驾驶过程中的多个所述初始图像。

3.根据权利要求1所述的一种交通岗位工作行为状态实时检测系统，其特征在于：所述图像识别模块利用YOLO算法，将每一所述初始图像再分解为若干个识别网格，每一所述初始图像均设有一个标签边框(x，y，w，h)，若所述标签边框落入至某个所述识别网格中，那么该所述识别网格整合到卷积神经网络中处理，并由特征向量表示，完成人眼图像识别检测。

4.根据权利要求3所述的一种交通岗位工作行为状态实时检测系统，其特征在于：所述识别网格为归一化网格，即所述图像识别模块将每一所述初始图像分成S×S的归一化网格。

5.根据权利要求3所述的一种交通岗位工作行为状态实时检测系统，其特征在于：所述标签边框(x，y，w，h)，x与y分别表示所述标签边框中心位置的横左边与纵坐标，w与h分别表示所述标签边框中心位置到所述标签边框左边与上边的距离。

6.根据权利要求3所述的一种交通岗位工作行为状态实时检测系统，其特征在于：所述特征向量包含目标的类别、边框位置以及图像特征值。

7.根据权利要求1所述的一种交通岗位工作行为状态实时检测系统，其特征在于：所述检测模块进行疲劳判断的方法包括结合多个人眼图像的睁闭眼频率识别，所述检测模块上预设有睁眼时长、闭眼时长以及睁闭眼时间间隔，将多个人眼图像的时间间隔与预设时长作比较。

8.根据权利要求1所述的一种交通岗位工作行为状态实时检测系统，其特征在于：所述肢体动作识别单元呈现的3D骨架序列由数个人体关节点连接组成，每个关节点包含人体关节的空间坐标数据，连续多帧的3D骨架序列可以简单高效的表征人体运动特征。

9.根据权利要求1所述的一种交通岗位工作行为状态实时检测系统，其特征在于：所述输出单元以不同级别的危险驾驶行为采取不同的警告方式，包括：当驾驶员一级危险驾驶行为的时候，进行警报声提醒，出现二级或者更低级别的不良驾驶行为的时候，进行片段的记录截取。

10.根据权利要求9所述的一种交通岗位工作行为状态实时检测系统，其特征在于：还包括有UI页面单元，所述UI页面单元为设于交通岗位上的显示屏幕，所述输出单元与所述UI页面单元连接，以实时将驾驶员的不同驾驶行为按分配权重对驾驶员的驾驶情况评分，并将所记录的片段以及判定结果反馈给驾驶员。

Images