CN111626221A - 一种基于人眼信息增强的驾驶员注视区域估计方法 - Google Patents

Abstract

本发明针对现有方法存在的不足，在深度学习的基础上，提出了一种基于人眼信息增强的驾驶员注视区域估计方法。在对驾驶员的注视区域进行划分后，采集大量的驾驶员图像数据构建数据集，并构造一个基于眼部信息增强的注视区域估计模型，在收集到的数据集上面进行训练，最后将训练完毕的模型部署在车辆上监测驾驶员的注视区域。与现有技术相比，本发明所构造的模型具有泛化能力更强，在头部姿态相近区域准确率更高的优点，能够更有效地监控驾驶员的注视区域，保障驾驶员的安全。

Description

一种基于人眼信息增强的驾驶员注视区域估计方法

技术领域

本发明涉及驾驶安全和驾驶员监测领域，尤其涉及驾驶员注视区域估计领域，具体来说是一种基于人眼信息增强的驾驶员注视区域估计方法。

背景技术

随着我国汽车保有量以及机动车驾驶人数的不断上升，交通事故的死亡人数也在直线上升.通过获取驾驶员的注视区域，可以掌握驾驶员的注意力，适时给予提醒，提升驾驶安全性，进而减少交通事故，降低经济损失。

目前主流的驾驶员注视区域估计方法有基于特征的方法和基于深度学习的方法。基于特征的方法由于采用手工选择的特征，可能丢失图像中某些有用的信息，而基于深度学习的方法直接采用驾驶员的图像作为输入，一定程度上避免了基于特征学习的方法可能丢失特征的缺点。

人类的注视行为是由头部和眼球的转动共同协调完成的，仅靠头部姿态无法取得精确的结果。在注视区域相近时，驾驶员的头部姿态相近，图像的主要差异集中在人眼部分，想要准确地区分这些区域，就必须充分利用人眼图像所包含的注视信息。但是此前基于深度学习的方法仅将人脸图像作为输入，并且由于人眼图像占人脸图像的比例较小，导致此前的方法并未能充分利用人眼部分的信息，使其在头部姿态相近区域间的混淆率仍然较高，整体准确率偏低。

发明内容

本发明的目的就是为了解决上述缺陷，提供一种准确度高、处理速度块的驾驶员注视区域估计系统。

为了视线上述发明目的，本发明基于深度学习，通过为模型额外添加一个人眼特征提取模块，提出一种基于人眼信息增强的驾驶员注视区域估计方法，其特征在于，包括以下步骤：

（1）驾驶员注视区域划分：将驾驶员的注视区域划分为6个区域，分别是左后视镜、右后视镜、后视镜、前方、仪表盘和中控台；

（2）训练样本采集：通过放置在驾驶员前方的摄像头，采集大量驾驶员的驾驶图像，对每幅图像中驾驶员的注视区域进行手工标注，形成一个用于模型训练的数据集；

（3）模型构建：基于深度学习中的卷积神经网络，构造一个基于眼部信息增强的驾驶员注视区域估计模型，该模型包含两部分：驾驶员脸部特征提取模块和驾驶员眼部特征提取模块，其中驾驶员眼部特征提取模块用于增强模型对眼部注视信息的感知，提升模型在相近区域的预测精度。并且驾驶员眼部特征提取模块中包含一个基于通道注意力机制的双眼权重模块，用于在双眼信息不对称的情况下为不同的人眼提供相应的权重值来增强或者抑制某只人眼的信息，提升预测精度；

（4）数据集预处理：主要是获取人眼图像用于对步骤（3）中模型进行训练，其主要步骤如下：

a. 使用人脸关键点检测器获取驾驶员的人脸关键点;

b. 从步骤a中获得的关键点集合中挑选出人眼的左角点坐标(x _l ,y _l )，右角点坐标(x _r , y _r );

c. 计算人眼区域的宽度width，求取公式如下：

d. 计算人眼区域的高度height，求取公式如下：

e. 计算人眼的中点坐标(C _x , C _y )，求取公式如下：

f. 计算裁剪区域的左上角坐标(LT _x , LT _y )，求取公式如下：

g. 计算裁剪区域的右下角坐标(RB _x , RB _y )，求取公式如下：

h. 根据左上角和右下角坐标裁剪人眼图像。

（5）模型训练：将步骤（2）中获得训练样本集合依次送入模型获得相应的损失值，使用模型优化算法对注视区域估计模型进行反复的迭代优化，从而使模型具有注视区域估计的能力；

（6）模型部署：将具有区域分类能力的模型部署到驾驶舱中，通过摄像头所获取到的驾驶员图像分析驾驶员当前的注视区域，在驾驶员分心时给予提醒和警告。

附图说明

图1是本发明的流程图；

图2是本实施例的整体神经网络结构图；

图3是本实施例的双眼权重模块结构图。

具体实施方式

基于本发明的技术方案，下面结合附图给出本发明的详细实施例。一种基于人眼信息增强的驾驶员注视区域估计方法，包括以下步骤：

（1）驾驶员注视区域划分：将驾驶员的注视区域划分为6个区域，分别是左后视镜、右后视镜、后视镜、前方、仪表盘和中控台；

（2）训练样本采集：通过放置在驾驶员前方的摄像头，采集大量驾驶员的驾驶图像，对每幅图像中驾驶员的注视区域进行手工标注，形成一个用于模型训练的数据集；

（3）模型构建：基于深度学习中的卷积神经网络，构造一个基于眼部信息增强的驾驶员注视区域估计模型，该模型包含两部分：驾驶员脸部特征提取模块和驾驶员眼部特征提取模块，其中驾驶员眼部特征提取模块用于增强模型对眼部注视信息的感知，提升模型在相近区域的预测精度，并且驾驶员眼部特征提取模块中包含一个基于通道注意力机制的双眼权重模块，如图2所示，用于在双眼信息不对称的情况下为不同的人眼提供相应的权重值来增强或者抑制某只人眼的信息，提升预测精度，本模型的整体网络结构如图3所示；

（4）数据集预处理：主要是获取人眼图像用于对步骤（3）中模型进行训练，其主要步骤如下：

a. 使用人脸关键点检测器获取驾驶员的人脸关键点;

b. 从步骤a中获得的关键点集合中挑选出人眼的左角点坐标(x _l ,y _l )，右角点坐标(x _r , y _r );

c. 计算人眼区域的宽度width，求取公式如下：

d. 计算人眼区域的高度height，求取公式如下：

e. 计算人眼的中点坐标(C _x , C _y )，求取公式如下：

f. 计算裁剪区域的左上角坐标(LT _x , LT _y )，求取公式如下：

g. 计算裁剪区域的右下角坐标(RB _x , RB _y )，求取公式如下：

h. 根据左上角和右下角坐标裁剪人眼图像。

（5）模型训练：将步骤2中获得训练样本集合依次送入模型获得相应的损失值，使用随机梯度下降优化算法对注视区域估计模型进行反复的迭代优化，从而使模型具有注视区域估计的能力，在本实施例中，模型的训练批次大小为32，训练了100个周期；

（6）模型部署：将具有区域分类能力的模型部署到驾驶舱中，通过摄像头所获取到的驾驶员图像分析驾驶员当前的注视区域，在驾驶员分心时给予提醒和警告。

Claims (2)

1.一种基于眼部信息增强的驾驶员注视区域估计方法，其特征在于，所述方法包括以下步骤：

（1）驾驶员注视区域划分：将驾驶员的注视区域划分为6个区域，分别是左后视镜、右后视镜、后视镜、前方、仪表盘和中控台；

（2）训练样本采集：通过放置在驾驶员前方的摄像头，采集大量驾驶员的驾驶图像，对每幅图像中驾驶员的注视区域进行手工标注，形成一个用于模型训练的数据集；

（3）模型构建：基于深度学习中的卷积神经网络，构造一个基于眼部信息增强的驾驶员注视区域估计模型,模型包括两个模块：驾驶员脸部特征提取模块和驾驶员眼部特征提取模块，其中驾驶员眼部特征提取模块用于增强模型对眼部注视信息的感知，提升模型在相近区域的预测精度;

（4）数据集预处理：主要是获取驾驶员的人眼图像，用于对步骤（3）中模型进行训练，其主要步骤如下：

a. 使用人脸关键点检测器获取驾驶员的人脸关键点;

b. 从步骤a中获得的关键点集合中挑选出人眼的左角点坐标(x _l ,y _l )，右角点坐标(x _r , y _r );

c. 计算人眼区域的宽度width，求取公式如下：

d. 计算人眼区域的高度height，求取公式如下：

e. 计算人眼的中点坐标(C _x , C _y )，求取公式如下：

f. 计算裁剪区域的左上角坐标(LT _x , LT _y )，求取公式如下：

g. 计算裁剪区域的右下角坐标(RB _x , RB _y )，求取公式如下：

h. 根据左上角和右下角坐标裁剪人眼图像;

（5）模型训练：将步骤（2）中获得训练样本集合依次送入模型获得相应的损失值，使用模型优化算法对注视区域估计模型进行反复的迭代优化，从而使模型具有注视区域估计的能力;

（6）模型部署：将具有区域分类能力的模型部署到驾驶舱中，通过摄像头所获取到的驾驶员图像分析驾驶员当前的注视区域，在驾驶员分心时给予提醒和警告。

2.根据权利要求1所述的方法，其特征在于，步骤（3）所构建的驾驶员眼部特征提取模块中包含一个基于通道注意力机制的双眼权重模块，用于在双眼信息不对称的情况下为不同的人眼提供相应的权重值来增强或者抑制某只人眼的信息，提升预测精度。

Images