CN115661800A - 基于视线方向时间关系学习的危险驾驶行为检测方法 - Google Patents
基于视线方向时间关系学习的危险驾驶行为检测方法 Download PDFInfo
- Publication number
- CN115661800A CN115661800A CN202211366926.3A CN202211366926A CN115661800A CN 115661800 A CN115661800 A CN 115661800A CN 202211366926 A CN202211366926 A CN 202211366926A CN 115661800 A CN115661800 A CN 115661800A
- Authority
- CN
- China
- Prior art keywords
- sight
- head
- time
- driver
- eye
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于视线方向时间关系学习的危险驾驶行为检测方法。本发明设计卷积神经网络分别估计驾驶员头部朝向和双眼朝向。针对可能出现的头部朝向和双眼朝向不一致的情况,设计头部朝向和双眼朝向联合网络,估计驾驶员视线方向。并针对在驾驶过程中,视线方向随着时间多变,而难以准确危险视线方向状态的问题,设计基于高斯时间权重来学习视线方向的时间关系,构建视线方向的时间定位网络,实现可靠的危险视线方向的时间定位。当危险视线方向的持续时间超过阈值时,对驾驶员进行安全警告。本发明能够处理头部和双眼朝向不一致的情况,也能够鲁棒处理不同的视线方向时间变化过程,可以有效实现危险驾驶行为检测。
Description
技术领域
本发明涉及驾驶员视线方向检测及时间定位技术领域,尤其涉及一种基于视线方向时间关系学习的危险驾驶行为检测方法。
背景技术
为了保证良好的交通秩序,保证人民生命财产安全,需要对正在驾驶中的驾驶员进行危险驾驶行为监测。随着深度学习和计算机视觉的快速发展,基于视频信息检测危险驾驶行为的方法正逐步引起该行业的重视。
中国专利申请公布号CN114005093A《基于视频分析的驾驶行为告警方法、装置、设备及介质》,提出了一种基于视频分析的驾驶行为告警方法,根据物体特征标注图像中目标车辆与其他车辆的位置信息、车速信息、行车轨迹信息及预先获取的多个危险驾驶特征识别出目标车辆出现危险驾驶行为的图像,当预设单位时间内,出现危险驾驶行为的图像数量大于预设阈值时,对目标车辆的驾驶员进行告警。但是只是利用车的外部信息进行检测,没有结合驾驶员的驾驶状态,无法做到提前预警。中国专利申请公布号CN113942450A《车载智能驾驶预警系统和车辆》,提出了一种车载智能驾驶预警系统和车辆,其中视线检测模块用于获取驾驶员的视线状态对预警执行模块进行控制,但对于驾驶员的视线状态预测没有结合时间信息,在驾驶员视线状态变化较大的时候,该方法得到的信息会有所损失,从而引起误判产生。
Kellnhofer等人在《Gaze360:Physically Unconstrained Gaze Estimation inthe Wild》中提出了一个基于时序的视线估计模型和一种误差估计损失函数,提取了较为可靠的视线方向。Eunji Chong等人在《Detecting Attended Visual Targets in Video》中解决了在视频中检测注意目标的问题,识别视频中每一帧中的每个人都在看哪里,并正确地处理注视目标在帧外的情况。
然而,如图8所示,上述方法并未考虑,在视线方向上,可能出现的头部朝向和双眼朝向不一致的情况;在驾驶过程中,视线方向随着时间变化较大而难以准确定位危险视线方向状态的问题。因此,我们提出了一种基于视线方向时间关系学习的安全驾驶行为检测方法。该方法设计了头部朝向和双眼朝向联合网络,来估计驾驶员视线方向,设计了基于高斯时间权重来学习视线方向的时间关系,构建视线方向的时间定位网络,实现可靠的危险视线方向的时间定位。
发明内容
本发明目的就是为了弥补已有技术的缺陷,提供一种基于视线方向时间关系学习的危险驾驶行为检测方法。
本发明是通过以下技术方案实现的:
一种基于视线方向时间关系学习的危险驾驶行为检测方法,在驾驶员的驾驶过程中,持续检测驾驶员的视线状态以及该状态的时间定位,当视线状态处于危险视线状态且持续时长大于安全时长,则对驾驶员发出提醒,具体包括如下步骤:
步骤1、输入安全驾驶数据集,进行头部朝向估计网络训练,获得头部朝向估计网络参数模型;
步骤2、输入安全驾驶数据集,进行双眼视线方向估计网络训练,获得双眼视线方向估计网络参数模型;
步骤3、输入安全驾驶数据集,进行头部与双眼联合视线方向估计网络训练,获得头部与双眼联合视线方向估计网络参数模型;
步骤4、输入安全驾驶数据集,进行视线状态时间定位网络训练,获得视线状态时间定位网络参数模型;
步骤5、在驾驶员的驾驶过程,估计驾驶员的视线状态时间定位,对驾驶员的危险驾驶行为进行检测。
步骤1所述的输入安全驾驶数据集,进行头部朝向估计网络训练,获得头部朝向估计网络参数模型,具体包括以下步骤:
步骤1-1:输入头部检测数据集,训练基于Yolov5的头部检测网络模型;
步骤1-2:输入安全驾驶训练集,使用步骤1-1中训练好的头部检测网络模型对输入的图像进行头部区域检测,裁剪后获得头部区域图像;
步骤1-3:对步骤1-2获得的头部区域图像进行归一化处理,使其尺寸统一,并获得图像中心点Ohead,用图像中心点Ohead表示头部中心点,以头部中心点为坐标原点,水平方向为x轴,垂直方向为y轴,建立直角坐标系;
步骤1-6:使用步骤1-5的损失函数,对步骤1-4中的头部朝向估计网络进行训练,获得头部朝向估计网络参数模型。
步骤2所述的输入安全驾驶数据集,进行双眼视线方向估计网络训练,获得双眼视线方向估计网络参数模型,具体包括以下步骤:
步骤2-1:输入人眼检测数据集,训练基于Yolov5的左眼检测网络模型;
步骤2-2:输入安全驾驶训练集,使用步骤1-2的方法获得头部区域头像,然后使用步骤2-1训练好的左眼检测网络模型,在头部区域图像中,进行左眼区域检测,裁剪后获得左眼区域图像;
步骤2-3:对步骤2-2中获得的左眼区域图像分别进行归一化处理,使其尺寸统一,并获得图像中心点Oleft_eye,用图像中心点Oleft_eye表示左眼中心点,以头部中心点为坐标原点,水平方向为x轴,垂直方向为y轴,建立直角坐标系;
步骤2-5:输入人眼检测数据集,训练基于Yolov5的右眼检测网络模型;
步骤2-6:输入安全驾驶训练集,使用步骤1-2的方法获得头部区域头像,然后使用步骤2-5训练好的右眼检测网络模型,在头部区域图像中进行右眼区域检测,裁剪后获得右眼区域图像;
步骤2-7:对步骤2-6中获得的右眼区域图像分别进行归一化处理,使其尺寸统一,并获得图像中心点Oright_eye,用图像中心点Oright_eye表示右眼中心点,以头部中心点为坐标原点,水平方向为x轴,垂直方向为y轴,建立直角坐标系;
αbin_eye=φeye(αleft_eye,αright_eye)
步骤2-11:使用步骤2-10中的损失函数,对步骤2-4、步骤2-8和步骤2-9组成的双眼视线方向估计网络进行训练,获得双眼视线方向估计网络参数模型。
步骤3所述的输入安全驾驶数据集,进行头部与双眼联合视线方向估计网络训练,获得头部与双眼联合视线方向估计网络参数模型,具体包括以下步骤:
步骤3-1:输入安全驾驶训练集,使用步骤1-1中训练好的头部检测网络模型对输入图像进行头部区域检测,裁剪后获得头部区域图像;
步骤3-4:将步骤3-2中获得的头部朝向向量αhead与步骤3-3中获得的双眼视线方向向量αbin_eye通过一个含有一个隐藏层的多层感知器φ(·),输出结果表示为归一化的头部与双眼联合视线方向向量 分别表示横坐标与纵坐标:
αunion=φ(αhead,αbin_eye)
步骤3-6:使用步骤3-5中的损失函数,对头部与双眼联合视线方向估计网络进行训练,获得头部与双眼联合视线方向估计网络参数模型。
步骤4所述的输入安全驾驶数据集,进行视线状态时间定位网络训练,获得视线状态时间定位网络参数模型,具体包括以下步骤:
步骤4-1:输入安全驾驶数据集,对包含驾驶员头部的原始视频连续采样,得到视频帧序列;
步骤4-6:对于t时刻的视线角度特征θ′t,利用一个高斯核Gt来表示θ′t的时间尺度,t∈{1,2,...,T};
步骤4-6-1:将步骤4-5中得到的视线角度特征序列Θ′,通过一个一维卷积层,得到所有视线角度特征的高斯核Gt的标准差序列并通过sigmoid操作将每个标准差限制在(0,1),σt表示高斯核Gt的标准差;
步骤4-6-2:T为时间长度,定义Z为归一化常数,i∈{1,2,...,T},t∈{1,2,...,T},μt表示高斯核Gt中的数学期望,pi为高斯核Gt的参数,则利用步骤4-6-1中学习到的标准差序列将t时刻的视线角度特征θ′t的高斯核的权值表示为:
步骤4-6-3:将时间位置为t的视线角度特征θ′t的中心位置表示为:
步骤4-7:对于步骤4-6中得到的所有高斯核,使用高斯核融合算法,对相邻且重叠度较大的两个高斯核进行融合,获得融合结束后的高斯核集合以及融合结束后的高斯核的时间位置集合;
步骤4-7-3:输入原始的高斯核集合Gstart,初始化Gend为空集,定义q∈{1,2,...,T},z∈{1,2,...,T},q,z均表示时间位置;
步骤4-7-4:使q指向Gstart中的第一个高斯核,z指向Gstart中的第二个高斯核,即初始化q=1,z=2;
步骤4-7-5-1:计算和两个高斯核的时间交集的长度Hq,z,计算公式如下,centerq表示时间位置为q的视线角度特征的中心位置,centerz表示时间位置为z的视线角度特征的中心位置,widthq表示时间位置为q的视线角度特征的时间宽度,widthz表示时间位置为z的视线角度特征的时间宽度,:
Hq,z=length((centerq-widthq,centerq+widthq)∩(centerz-widthz,centerz+widthz))
Lq,z=length((centerq-widthq,centerq+widthq)∪(centerz-widthz,centerz+widthz))
IoUq,z=Hq,z/Lq,z
步骤4-7-6:根据步骤4-7-5-3中得到的IoUq,z,比较IoUq,z与0.7的大小;
步骤4-7-6-1:若IoUq,z≥0.7,根据如下的融合公式:
步骤4-7-7:将z指向Gstart中的下一个高斯核,即z=z+1;
步骤4-7-8:比较q与T的大小;
步骤4-7-8-1:当q≤T时,遍历还未结束,则重复执行步骤4-7-5到步骤4-7-8;
步骤4-7-8-2:当q>T时,遍历结束,则执行步骤4-7-9;
步骤4-7-9:执行完步骤4-7-8后,获得融合过程结束后的高斯核集合Gend以及融合结束后的高斯核的时间位置集合T′;
步骤4-8:利用步骤4-7中得到的融合高斯核集合Gend中的每个高斯核,根据融合高斯曲线中的权值计算特征序列中的每个特征的加权和,得到视线角度融合特征序列Θ″={θ″t},θ″t为t时刻的视线角度融合特征,t∈{1,2,...,T},i∈{1,2,...,T},t′∈T′,Wt′[i]为t′时刻的融合高斯曲线的权重,视线角度融合特征计算公式如下:
其中,β1为安全视线角度的下边界,β2为安全视线角度的上边界;
步骤4-12:遍历步骤4-9中得到的分类结果序列Y、步骤4-10中得到的中心位置值序列以及步骤4-11中得到的宽度值序列得到各段视线状态的起始位置与结束位置j为视线状态的段号,j∈A,A是各段视线状态段号的集合;
步骤4-14:使用步骤4-13中的损失函数,对视线状态时间定位网络进行训练,获得视线状态时间定位网络模型参数。
步骤5所述的在驾驶员的驾驶过程,估计驾驶员的视线状态时间定位,对驾驶员的危险驾驶行为进行检测,具体包括以下步骤:
步骤5-1:在驾驶员的驾驶过程中,摄像头持续拍摄包含驾驶员头部的视频;
步骤5-2:对拍摄的视频连续采帧;
步骤5-3:对步骤5-2中采集的所有视频帧,使用步骤4-2到步骤4-3的方法,获得所有视频帧中的驾驶员的视线角度特征,组成视线角度特征序列;
步骤5-4:将步骤5-3中得到的视线角度特征序列作为输入,送入视线状态时间定位网络模型,进行检测,获得各段视线状态的起始位置和结束位置;
步骤5-5:根据步骤5-4中得到的各段视线状态的起始位置和结束位置,获得各段视线状态的持续时长;
步骤5-6:对步骤5-5中得到的各段视线状态的持续时间进行检测,当视线状态处于危险视线状态,且持续时长大于安全时长,则认定为危险驾驶行为,系统对驾驶员发出提醒。
本发明的优点是:本发明能够处理头部和双眼朝向不一致的情况,也能够鲁棒处理不同的视线方向时间变化过程,可以有效实现危险驾驶行为检测。
附图说明
图1为基于视线方向时间关系学习的危险驾驶行为检测方法流程图;
图2为视线状态划分示意图(图2(a)为根据角度划分的视线状态图;图2(b)为两种视线状态的示意图);
图3为头部朝向向量提取示意图;
图4为双眼视线方向向量提取示意图;
图5为头部与双眼联合视线方向提取示意图;
图6为高斯核学习流程图;
图7为视线状态时间定位示意图;
图8为使用时间关系学习与不使用时间关系学习对比图。
具体实施方式
如图1所示,一种基于视线方向时间关系学习的危险驾驶行为检测方法,在驾驶员的驾驶过程中,摄像头持续拍摄包含驾驶员头部的视频,对视频连续采帧,每4帧采一帧,共采32帧。根据视频帧序列,估计驾驶员的视线状态时间定位(视线状态划分如图2所示),对驾驶员的危险驾驶行为进行检测,具体包括如下步骤:
步骤1、输入安全驾驶数据集,进行头部朝向估计网络训练,获得头部朝向估计网络参数模型;
步骤1-1:输入头部检测数据集,训练基于Yolov5的头部检测网络模型;
步骤1-2:输入安全驾驶训练集,使用步骤1-1中训练好的头部检测网络模型对输入的图像进行头部区域检测,裁剪后获得头部区域图像;
步骤1-3:对步骤1-2获得的头部区域图像进行归一化处理,使其尺寸统一,并获得图像中心点Ohead,用图像中心点Ohead表示头部中心点,以头部中心点为坐标原点,水平方向为x轴,垂直方向为y轴,建立直角坐标系;
步骤1-6:使用步骤1-5的损失函数,对步骤1-4中的头部朝向估计网络进行训练,获得头部朝向估计网络参数模型。
步骤2、输入安全驾驶数据集,进行双眼视线方向估计网络训练,获得双眼视线方向估计网络参数模型;
步骤2-1:输入人眼检测数据集,训练基于Yolov5的左眼检测网络模型;
步骤2-2:输入安全驾驶训练集,使用步骤1-2的方法获得头部区域头像,然后使用步骤2-1训练好的左眼检测网络模型,在头部区域图像中,进行左眼区域检测,裁剪后获得左眼区域图像;
步骤2-3:对步骤2-2中获得的左眼区域图像分别进行归一化处理,使其尺寸统一,并获得图像中心点Oleft_eye,用图像中心点Oleft_eye表示左眼中心点,以头部中心点为坐标原点,水平方向为x轴,垂直方向为y轴,建立直角坐标系;
步骤2-5:输入人眼检测数据集,训练基于Yolov5的右眼检测网络模型;
步骤2-6:输入安全驾驶训练集,使用步骤1-2的方法获得头部区域头像,然后使用步骤2-5训练好的右眼检测网络模型,在头部区域图像中进行右眼区域检测,裁剪后获得右眼区域图像;
步骤2-7:对步骤2-6中获得的右眼区域图像分别进行归一化处理,使其尺寸统一,并获得图像中心点Oright_eye,用图像中心点Oright_eye表示右眼中心点,以头部中心点为坐标原点,水平方向为x轴,垂直方向为y轴,建立直角坐标系;
αbin_eye=φeye(αleft_eye,αright_eye)
步骤2-11:使用步骤2-10中的损失函数,对步骤2-4、步骤2-8和步骤2-9组成的双眼视线方向估计网络进行训练,获得双眼视线方向估计网络参数模型。
步骤3、输入安全驾驶数据集,进行头部与双眼联合视线方向估计网络训练,获得头部与双眼联合视线方向估计网络参数模型;
步骤3-1:输入安全驾驶训练集,使用步骤1-1中训练好的头部检测网络模型对输入图像进行头部区域检测,裁剪后获得头部区域图像;
步骤3-4:将步骤3-2中获得的头部朝向向量αhead与步骤3-3中获得的双眼视线方向向量αbin_eye通过一个含有一个隐藏层的多层感知器φ(·),输出结果表示为归一化的头部与双眼联合视线方向向量 分别表示横坐标与纵坐标:
αunion=φ(αhead,αbin_eye)
步骤3-6:使用步骤3-5中的损失函数,对头部与双眼联合视线方向估计网络进行训练,获得头部与双眼联合视线方向估计网络参数模型。
步骤4、输入安全驾驶数据集,进行视线状态时间定位网络训练,获得视线状态时间定位网络参数模型;
步骤4-1:输入安全驾驶数据集,对包含驾驶员头部的原始视频连续采样,得到视频帧序列;
步骤4-6:对于t时刻的视线角度特征θ′t,利用一个高斯核Gt来表示θ′t的时间尺度,t∈{1,2,...,T};
步骤4-6-1:将步骤4-5中得到的视线角度特征序列Θ′,通过一个一维卷积层,得到所有视线角度特征的高斯核Gt的标准差序列并通过sigmoid操作将每个标准差限制在(0,1),σt表示高斯核Gt的标准差;
步骤4-6-2:T为时间长度,定义Z为归一化常数,i∈{1,2,...,T},t∈{1,2,...,T},μt表示高斯核Gt中的数学期望,pi为高斯核Gt的参数,则利用步骤4-6-1中学习到的标准差序列将t时刻的视线角度特征θ′t的高斯核的权值表示为:
步骤4-6-3:将时间位置为t的视线角度特征θ′t的中心位置表示为:
步骤4-7:对于步骤4-6中得到的所有高斯核,使用高斯核融合算法,对相邻且重叠度较大的两个高斯核进行融合,获得融合结束后的高斯核集合以及融合结束后的高斯核的时间位置集合;
步骤4-7-3:输入原始的高斯核集合Gstart,初始化Gend为空集,定义q∈{1,2,...,T},z∈{1,2,...,T},q,z均表示时间位置;
步骤4-7-4:使q指向Gstart中的第一个高斯核,z指向Gstart中的第二个高斯核,即初始化q=1,z=2;
步骤4-7-5-1:计算和两个高斯核的时间交集的长度Hq,z,计算公式如下,centerq表示时间位置为q的视线角度特征的中心位置,centerz表示时间位置为z的视线角度特征的中心位置,widthq表示时间位置为q的视线角度特征的时间宽度,widthz表示时间位置为z的视线角度特征的时间宽度,:
Hq,z=length((centerq-widthq,centerq+widthq)∩(centerz-widthz,centerz+widthz))
Lq,z=length((centerq-widthq,centerq+widthq)∪(centerz-widthz,centerz+widthz))
IoUq,z=Hq,z/Lq,z
步骤4-7-6:根据步骤4-7-5-3中得到的IoUq,z,比较IoUq,z与0.7的大小;
步骤4-7-6-1:若IoUq,z≥0.7,根据如下的融合公式:
步骤4-7-7:将z指向Gstart中的下一个高斯核,即z=z+1;
步骤4-7-8:比较q与T的大小;
步骤4-7-8-1:当q≤T时,遍历还未结束,则重复执行步骤4-7-5到步骤4-7-8;
步骤4-7-8-2:当q>T时,遍历结束,则执行步骤4-7-9;
步骤4-7-9:执行完步骤4-7-8后,获得融合过程结束后的高斯核集合Gend以及融合结束后的高斯核的时间位置集合T′;
步骤4-8:利用步骤4-7中得到的融合高斯核集合Gend中的每个高斯核,根据融合高斯曲线中的权值计算特征序列中的每个特征的加权和,得到视线角度融合特征序列Θ″={θ″t},θ″t为t时刻的视线角度融合特征,t∈{1,2,...,T},i∈{1,2,...,T},t′∈T′,Wt′[i]为t′时刻的融合高斯曲线的权重,视线角度融合特征计算公式如下:
其中,β1为安全视线角度的下边界,β2为安全视线角度的上边界;
步骤4-12:遍历步骤4-9中得到的分类结果序列Y、步骤4-10中得到的中心位置值序列以及步骤4-11中得到的宽度值序列得到各段视线状态的起始位置与结束位置j为视线状态的段号,j∈A,A是各段视线状态段号的集合;
步骤4-14:使用步骤4-13中的损失函数,对视线状态时间定位网络进行训练,获得视线状态时间定位网络模型参数。
步骤5、在驾驶员的驾驶过程,估计驾驶员的视线状态时间定位,对驾驶员的危险驾驶行为进行检测;
步骤5-1:在驾驶员的驾驶过程中,摄像头持续拍摄包含驾驶员头部的视频;
步骤5-2:对拍摄的视频连续采帧;
步骤5-3:对步骤5-2中采集的所有视频帧,使用步骤4-2到步骤4-3的方法,获得所有视频帧中的驾驶员的视线角度特征,组成视线角度特征序列;
步骤5-4:将步骤5-3中得到的视线角度特征序列作为输入,送入视线状态时间定位网络模型,进行检测,获得各段视线状态的起始位置和结束位置;
步骤5-5:根据步骤5-4中得到的各段视线状态的起始位置和结束位置,获得各段视线状态的持续时长;
步骤5-6:对步骤5-5中得到的各段视线状态的持续时间进行检测,当视线状态处于危险视线状态,且持续时长大于安全时长,则认定为危险驾驶行为,系统对驾驶员发出提醒。
Claims (6)
1.一种基于视线方向时间关系学习的危险驾驶行为检测方法,其特征在于:在驾驶员的驾驶过程中,摄像头持续拍摄包含驾驶员头部的视频,对视频连续采帧;根据视频帧序列,估计驾驶员的视线状态时间定位,对驾驶员的危险驾驶行为进行检测,具体包括如下步骤:
步骤1、输入安全驾驶数据集,进行头部朝向估计网络训练,获得头部朝向估计网络参数模型;
步骤2、输入安全驾驶数据集,进行双眼视线方向估计网络训练,获得双眼视线方向估计网络参数模型;
步骤3、输入安全驾驶数据集,进行头部与双眼联合视线方向估计网络训练,获得头部与双眼联合视线方向估计网络参数模型;
步骤4、输入安全驾驶数据集,进行视线状态时间定位网络训练,获得视线状态时间定位网络参数模型;
步骤5、在驾驶员的驾驶过程,估计驾驶员的视线状态时间定位,对驾驶员的危险驾驶行为进行检测。
2.根据权利要求1所述的一种基于视线方向时间关系学习的危险驾驶行为检测方法,其特征在于:步骤1所述的输入安全驾驶数据集,进行头部朝向估计网络训练,获得头部朝向估计网络参数模型,具体包括以下步骤:
步骤1-1:输入头部检测数据集,训练基于Yolov5的头部检测网络模型;
步骤1-2:输入安全驾驶训练集,使用步骤1-1中训练好的头部检测网络模型对输入的图像进行头部区域检测,裁剪后获得头部区域图像;
步骤1-3:对步骤1-2获得的头部区域图像进行归一化处理,使其尺寸统一,并获得图像中心点Ohead,用图像中心点Ohead表示头部中心点,以头部中心点为坐标原点,水平方向为x轴,垂直方向为y轴,建立直角坐标系;
步骤1-6:使用步骤1-5的损失函数,对步骤1-4中的头部朝向估计网络进行训练,获得头部朝向估计网络参数模型。
3.根据权利要求2所述的一种基于视线方向时间关系学习的危险驾驶行为检测方法,其特征在于,步骤2中所述的输入安全驾驶数据集,进行双眼视线方向估计网络训练,获得双眼视线方向估计网络参数模型,具体包括以下步骤:
步骤2-1:输入人眼检测数据集,训练基于Yolov5的左眼检测网络模型;
步骤2-2:输入安全驾驶训练集,使用步骤1-2的方法获得头部区域头像,然后使用步骤2-1训练好的左眼检测网络模型,在头部区域图像中,进行左眼区域检测,裁剪后获得左眼区域图像;
步骤2-3:对步骤2-2中获得的左眼区域图像分别进行归一化处理,使其尺寸统一,并获得图像中心点Oleft_eye,用图像中心点Oleft_eye表示左眼中心点,以头部中心点为坐标原点,水平方向为x轴,垂直方向为y轴,建立直角坐标系;
步骤2-5:输入人眼检测数据集,训练基于Yolov5的右眼检测网络模型;
步骤2-6:输入安全驾驶训练集,使用步骤1-2的方法获得头部区域头像,然后使用步骤2-5训练好的右眼检测网络模型,在头部区域图像中进行右眼区域检测,裁剪后获得右眼区域图像;
步骤2-7:对步骤2-6中获得的右眼区域图像分别进行归一化处理,使其尺寸统一,并获得图像中心点Oright_eye,用图像中心点Oright_eye表示右眼中心点,以头部中心点为坐标原点,水平方向为x轴,垂直方向为y轴,建立直角坐标系;
αbin_eye=φeye(αleft_eye,αright_eye)
步骤2-11:使用步骤2-10中的损失函数,对步骤2-4、步骤2-8和步骤2-9组成的双眼视线方向估计网络进行训练,获得双眼视线方向估计网络参数模型。
4.根据权利要求3所述的一种基于视线方向时间关系学习的危险驾驶行为检测方法,其特征在于,步骤3中所述的输入安全驾驶数据集,进行头部与双眼联合视线方向估计网络训练,获得头部与双眼联合视线方向估计网络参数模型,具体包括以下步骤:
步骤3-1:输入安全驾驶训练集,使用步骤1-1中训练好的头部检测网络模型对输入图像进行头部区域检测,裁剪后获得头部区域图像;
步骤3-4:将步骤3-2中获得的头部朝向向量αhead与步骤3-3中获得的双眼视线方向向量αbin_eye通过一个含有一个隐藏层的多层感知器φ(·),输出结果表示为归一化的头部与双眼联合视线方向向量 分别表示横坐标与纵坐标:
αunion=φ(αhead,αbin_eye)
步骤3-6:使用步骤3-5中的损失函数,对头部与双眼联合视线方向估计网络进行训练,获得头部与双眼联合视线方向估计网络参数模型。
5.根据权利要求4所述的一种基于视线方向时间关系学习的危险驾驶行为检测方法,其特征在于:步骤4中所述的输入安全驾驶数据集,进行视线状态时间定位网络训练,获得视线状态时间定位网络参数模型,具体包括以下步骤:
步骤4-1:输入安全驾驶数据集,对包含驾驶员头部的原始视频连续采样,得到视频帧序列;
步骤4-6:对于t时刻的视线角度特征θ′t,利用一个高斯核Gt来表示θ′t的时间尺度,t∈{1,2,...,T};
步骤4-6-1:将步骤4-5中得到的视线角度特征序列Θ′,通过一个一维卷积层,得到所有视线角度特征的高斯核Gt的标准差序列并通过sigmoid操作将每个标准差限制在(0,1),σt表示高斯核Gt的标准差;
步骤4-6-2:T为时间长度,定义Z为归一化常数,i∈{1,2,...,T},t∈{1,2,...,T},μt表示高斯核Gt中的数学期望,pi为高斯核Gt的参数,则利用步骤4-6-1中学习到的标准差序列将t时刻的视线角度特征θt′的高斯核的权值表示为:
步骤4-6-3:将时间位置为t的视线角度特征θt′的中心位置表示为:
步骤4-7:对于步骤4-6中得到的所有高斯核,使用高斯核融合算法,对相邻且重叠度较大的两个高斯核进行融合,获得融合结束后的高斯核集合以及融合结束后的高斯核的时间位置集合;
步骤4-7-3:输入原始的高斯核集合Gstart,初始化Gend为空集,定义q∈{1,2,...,T},z∈{1,2,...,T},q,z均表示时间位置;
步骤4-7-4:使q指向Gstart中的第一个高斯核,z指向Gstart中的第二个高斯核,即初始化q=1,z=2;
步骤4-7-5-1:计算和两个高斯核的时间交集的长度Hq,z,计算公式如下,centerq表示时间位置为q的视线角度特征的中心位置,centerz表示时间位置为z的视线角度特征的中心位置,widthq表示时间位置为q的视线角度特征的时间宽度,widthz表示时间位置为z的视线角度特征的时间宽度,:
Hq,z=length((centerq-widthq,centerq+widthq)∩(centerz-widthz,centerz+widthz))
Lq,z=length((centerq-widthq,centerq+widthq)∪(centerz-widthz,centerz+widthz))
IoUq,z=Hq,z/Lq,z
步骤4-7-6:根据步骤4-7-5-3中得到的IoUq,z,比较IoUq,z与0.7的大小;
步骤4-7-6-1:若IoUq,z≥0.7,根据如下的融合公式:
步骤4-7-7:将z指向Gstart中的下一个高斯核,即z=z+1;
步骤4-7-8:比较q与T的大小;
步骤4-7-8-1:当q≤T时,遍历还未结束,则重复执行步骤4-7-5到步骤4-7-8;
步骤4-7-8-2:当q>T时,遍历结束,则执行步骤4-7-9;
步骤4-7-9:执行完步骤4-7-8后,获得融合过程结束后的高斯核集合Gend以及融合结束后的高斯核的时间位置集合T′;
步骤4-8:利用步骤4-7中得到的融合高斯核集合Gend中的每个高斯核,根据融合高斯曲线中的权值计算特征序列中的每个特征的加权和,得到视线角度融合特征序列Θ″={θ″t},θ″t为t时刻的视线角度融合特征,t∈{1,2,...,T},i∈{1,2,...,T},t′∈T′,Wt′[i]为t′时刻的融合高斯曲线的权重,视线角度融合特征计算公式如下:
其中,β1为安全视线角度的下边界,β2为安全视线角度的上边界;
步骤4-12:遍历步骤4-9中得到的分类结果序列Y、步骤4-10中得到的中心位置值序列以及步骤4-11中得到的宽度值序列得到各段视线状态的起始位置与结束位置j为视线状态的段号,j∈A,A是各段视线状态段号的集合;
步骤4-14:使用步骤4-13中的损失函数,对视线状态时间定位网络进行训练,获得视线状态时间定位网络模型参数。
6.根据权利要求5所述的一种基于视线方向时间关系学习的危险驾驶行为检测方法,其特征在于:步骤5中所述的在驾驶员的驾驶过程,估计驾驶员的视线状态时间定位,对驾驶员的危险驾驶行为进行检测,具体包括以下步骤:
步骤5-1:在驾驶员的驾驶过程中,摄像头持续拍摄包含驾驶员头部的视频;
步骤5-2:对拍摄的视频连续采帧;
步骤5-3:对步骤5-2中采集的所有视频帧,使用步骤4-2到步骤4-3的方法,获得所有视频帧中的驾驶员的视线角度特征,组成视线角度特征序列;
步骤5-4:将步骤5-3中得到的视线角度特征序列作为输入,送入视线状态时间定位网络模型,进行检测,获得各段视线状态的起始位置和结束位置;
步骤5-5:根据步骤5-4中得到的各段视线状态的起始位置和结束位置,获得各段视线状态的持续时长;
步骤5-6:对步骤5-5中得到的各段视线状态的持续时间进行检测,当视线状态处于危险视线状态,且持续时长大于安全时长,则认定为危险驾驶行为,系统对驾驶员发出提醒。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211366926.3A CN115661800A (zh) | 2022-11-01 | 2022-11-01 | 基于视线方向时间关系学习的危险驾驶行为检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211366926.3A CN115661800A (zh) | 2022-11-01 | 2022-11-01 | 基于视线方向时间关系学习的危险驾驶行为检测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115661800A true CN115661800A (zh) | 2023-01-31 |
Family
ID=84994613
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211366926.3A Pending CN115661800A (zh) | 2022-11-01 | 2022-11-01 | 基于视线方向时间关系学习的危险驾驶行为检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115661800A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116597425A (zh) * | 2023-05-24 | 2023-08-15 | 无锡车联天下信息技术有限公司 | 一种驾驶员的样本标签数据的确定方法、装置及电子设备 |
-
2022
- 2022-11-01 CN CN202211366926.3A patent/CN115661800A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116597425A (zh) * | 2023-05-24 | 2023-08-15 | 无锡车联天下信息技术有限公司 | 一种驾驶员的样本标签数据的确定方法、装置及电子设备 |
CN116597425B (zh) * | 2023-05-24 | 2024-04-05 | 无锡车联天下信息技术有限公司 | 一种驾驶员的样本标签数据的确定方法、装置及电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108537197B (zh) | 一种基于深度学习的车道线检测预警装置及预警方法 | |
US12051199B2 (en) | Image processing method and apparatus, server, medical image processing device and storage medium | |
CN109460699B (zh) | 一种基于深度学习的驾驶员安全带佩戴识别方法 | |
EP2888718B1 (en) | Methods and systems for automatic location of optic structures in an image of an eye, and for automatic retina cup-to-disc ratio computation | |
Yuen et al. | Looking at faces in a vehicle: A deep CNN based approach and evaluation | |
CN108596087B (zh) | 一种基于双网络结果的驾驶疲劳程度检测回归模型 | |
Wang et al. | Detecting semantic parts on partially occluded objects | |
CN111401188B (zh) | 一种基于人体关键点特征的交警手势识别方法 | |
CN107832721B (zh) | 用于输出信息的方法和装置 | |
CN109063686A (zh) | 一种汽车驾驶员疲劳检测方法及系统 | |
CN113361452B (zh) | 一种基于深度学习的驾驶员疲劳驾驶实时检测方法及系统 | |
Dipu et al. | Real-time driver drowsiness detection using deep learning | |
CN115331205A (zh) | 一种云边协同的驾驶员疲劳检测系统 | |
CN115661800A (zh) | 基于视线方向时间关系学习的危险驾驶行为检测方法 | |
CN114360041A (zh) | 基于关键点检测和头部姿态的疲劳状态检测方法及系统 | |
CN115346197A (zh) | 一种基于双向视频流的驾驶员分心行为识别方法 | |
CN115861981A (zh) | 基于视频姿态不变性的驾驶员疲劳行为检测方法及系统 | |
CN114170686A (zh) | 一种基于人体关键点的屈肘行为检测方法 | |
CN113780125A (zh) | 一种驾驶员多特征融合的疲劳状态检测方法及装置 | |
CN116229570B (zh) | 一种基于机器视觉的高空作业人员行为态势识别方法 | |
CN112926364A (zh) | 头部姿态的识别方法及系统、行车记录仪和智能座舱 | |
CN111553217A (zh) | 一种驾驶员打电话监测方法与系统 | |
CN109145684B (zh) | 基于区域最匹配特征点的头部状态监测方法 | |
WO2022247527A1 (zh) | 驾驶员头部动作的确定方法、存储介质、电子装置 | |
CN115171189A (zh) | 一种疲劳检测方法、装置、设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |