CN109501807B - 自动驾驶注意力检测系统及方法 - Google Patents

Abstract

本发明涉及智能驾驶领域，特别涉及关注驾驶员注意力的智能驾驶系统；本发明提供了一种智能驾驶系统，包括中央控制单元、信息采集单元等。所述中央控制单元还包括安全单元，所述安全单元，在智能驾驶模式中，通过实时检测人眼视线关注的位置坐标，来确保行驶安全。为了保证视线位置检测的准确，采用的自制的训练用数据采集架可以高效收集人脸各角度图像；采用的神经网络将人眼图像与人头部姿势图像融合在一起输入到神经网络中，让神经网络学习眼睛和头部姿态叠加的图像数据，即专门针对收集的高质量训练用图像数据集，设计与其配套的神经网络模型。

Description

自动驾驶注意力检测系统及方法

技术领域

本发明涉及智能驾驶领域，特别是涉及关注驾驶员注意力的智能驾驶系统。

背景技术

目前，现有技术中对于智能驾驶中驾驶员注意力的监控多采用设置在驾驶位置的各种监控传感器以及图像采集装置完成。如图1所示，现有智能驾驶系统包括图像采集装置和各类传感器；例如检测驾驶员是否将手握在方向盘位置并持续较长的时间，方向盘是否有转动，车辆是否感应到了驾驶员加速或刹车信号等。这些传统的传感装置因太灵敏，使车辆做出过激反应，虽然此时驾驶员并没有注意力不集中。此外，虽然传感器感应到驾驶员在控制方向盘，但此时驾驶员注意力放在其他位置，例如在玩手机，接打电话，这种情况下现有技术并没有给出注意力的提醒。因此现有的驾驶员注意力监控并不能胜任驾驶复杂的局面。

然而目前现有技术中对于图像采集却有诸多亟待解决的问题。例如，1）无法做到高效采集人脸图像：因为需要采集人脸某时刻各个角度的多幅照片，采用相机拍摄时需要相机做二维的往返运动，浪费大量时间。此外，在拍摄时需要做到被试者保持静止，而往往被试者在相机做二维往返运动时，无法长时间保持静止，因此很多采集的图像存在误差；2）现有技术使用的是显示器以及显示器上的相机，让被试者观看屏幕上的某一点，然后照相记录人脸图像。因为采用的是屏幕，屏幕将会把背景光挡住。此时拍摄的图像并不能真实反映实际的环境。因为实际环境，例如驾驶时，自然光会透过车前挡玻璃，照射到人脸。而采用屏幕上的相机屏蔽掉这部分光线，没有还原真实场景，这样会造成机器学习后的输出误差，影响使用效果；3）不易采集人脸侧面图像（或大角度图像），如果采集侧面图像需要人转头将近90度，首先体验感不好，其次人眼注视点需要在人的侧面较远地方，会导致承载注视点的装置长度非常大。4）智能驾驶过程中，由于技术的限制，如摄像头的盲区以及传感器的有限距离，使得存在安全隐患。

发明内容

鉴于现有技术中存在的问题，本发明的目的之一在于智能驾驶过程中，通过额外的检测人眼视线关注的位置坐标来确保行驶安全。

为达此目的，根据本发明的一个方面，本发明采用以下技术方案：

一种智能驾驶系统，包括中央控制单元、信息采集单元；

所述中央控制单元还包括安全单元，所述安全单元在智能驾驶模式中，通过驾驶员人眼视线方向确定其人眼关注点的位置，从而保证驾驶安全。

所述信息采集单元包括分类器，所述分类器用于根据获取到的驾驶员人脸图像判断驾驶员视线方向；

所述分类器的训练方法包括：将包括人眼与人头部位姿的一个整体图像输入到单个神经网络中，训练该神经网络使得其根据图像上人眼信息及头部位姿信息判断所述人眼视线方向；

其中所述整体图像为采用多台相机从不同的角度在同一时间拍摄人脸图像。

其中该神经网络包含5个卷积模块，每个卷积模块采用ShuffleNet结构。

优选的，以所述拍摄的人脸图像为输入层，将输入图像标准化为224*224的尺寸，然后使用3*3的卷积核以2个像素为步长进行卷积，使用ReLu激活函数，得到特征图的尺寸为112*112，再使用最大值池化，以2个像素为步长进行降采样，得到尺寸为56*56的特征图；再输入到所述的5个卷积模块。

优选的，所述系统还包括GNSS及无线通信单元以及执行单元；所述中央控制单元接受来自所述GNSS及无线通信单元以及信息采集单元的信号，可对所述执行单元进行控制；

优选的，在所述智能驾驶模式中，当车辆向前行驶时，如果所述位置坐标位于前挡风玻璃上，则判定驾驶员在关注车辆驾驶；如果位置坐标没有位于前挡风玻璃上，则需要提醒所述驾驶员，并且使车辆从自动驾驶状态转为驾驶员自主驾驶状态；或者当车辆向后行驶时，如果所述位置坐标位于后视镜或倒车影像显示屏上，则判定驾驶员在关注车辆驾驶；如果位置坐标没有位于后视镜上，则需要提醒所述驾驶员，并且使车辆从自动驾驶状态转为驾驶员自主驾驶状态。

优选的，在判定驾驶员的过程中，需要设定时间阈值，当所述位置坐标没有位于前挡风玻璃上或后视镜上，并且超过该阈值时，才提醒所述驾驶员。

优选的，训练所述分类器所使用的样本集包括人眼注视的位置在车辆前挡风玻璃的各个位置以及左、中、右后视镜。

根据本发明的另一个方面，提供一种使用智能驾驶系统进行驾驶员注意力检测的方法；其特征在于：所述方法包括以下步骤：在智能驾驶模式中，通过采集实时检测人眼视线关注的位置坐标，来确保行驶安全。

优选的，在所述智能驾驶模式中，当车辆向前行驶时，如果所述位置坐标位于前挡风玻璃上，则判定驾驶员在关注车辆驾驶；如果位置坐标没有位于前挡风玻璃上，则需要提醒所述驾驶员；或者当车辆向后行驶时，如果所述位置坐标位于后视镜或倒车影像显示屏上，则判定驾驶员在关注车辆驾驶；如果位置坐标没有位于后视镜上，则需要提醒所述驾驶员。

优选的，其中训练所述分类器单元具体为：采用多台相机从不同的角度在同一时间拍摄人脸图像，其中获得人脸图像的相机测试架包括多个支架，该多个支架包括多个横向支架和多个纵向支架；多个相机固定在多个所述横向支架和纵向支架的交叉位置；一轨道结构，其包括横向轨道和纵向轨道，该轨道结构能够在支架上沿水平方向和竖直方向自由移动；一可见光光源固定在横向轨道和纵向轨道的交叉位置；一相机与该可见光光源固定，使相机能随可见光光源移动而移动。

优选的，所述神经网络在第一个shuffle unit模块的分支中，以56*56的特征图先进行逐点组卷积，然后进行通道混洗（channel shuffle），再用3*3的卷积核以2个像素为步长进行深度卷积（depthwise convolution），然后进行逐点组卷积。

本公开的实施例提供的技术方案可以包括以下有益效果:

（1）本发明在训练分类器时，由于图像采集装置采取了多台相机从不同角度在同一时候进行拍照，所得同一时候图像集作为样本集中的一个样本来训练分类器，提高了精度，最终使得系统可高效的检测驾驶员的注意力；并且采集的大量高质量数据有效地抑制过拟合现象。这是本申请的发明点之一。

（2）在视线方向的计算问题中，因为有高质量的神经网络训练用数据的保障，因此可以不需要将头部图像和人眼图像分别进行通过两个神经网络进行处理，而是将头部图像与人眼图像采用一张图像的形式输入到神经网络之中，采用构造的网络模型，包括5个卷积模块使用了shuffle unit的网络结构进行处理即可。采用这一方式，降低了神经网络运算的复杂程度。再辅以其中参数例如3*3的卷积核以2个像素为步长进行深度卷积，56*56的特征图使用3*3的卷积核，以2个像素为步长进行平均池化、用7*7的卷积核进行平均池化，得到一系列1*1的特征图，即一个向量等这些参数及步骤，达到高效且精确的训练目的。这是本发明的发明点之一。而传统使用两个神经网络进行处理，训练速度慢，且最终得到的模型视线检测准确性较差。该神经网络模型是专门针对收集的高质量训练用图像数据集，设计的与其配套的神经网络模型。关于网络结构的相关内容可以参见具体实施例。

（3）在智能驾驶过程中，通过额外的检测人眼视线关注的位置坐标来确保行驶安全。需要注意的是，因为预先对分类器神经网络的训练用数据采用了上述全新的方式，保障了该数据的全面性和真实性，可以真实的还原实际驾驶过程中的各种天气条件，因此通过分类器输出的位置坐标精确较高，远远超过现有技术中对人眼视线位置的精度，这是实现本发明注意力精确检测的基础。这是本申请的发明点之一。

附图说明

图1是现有技术中智能驾驶系统的结构图；

图2是本发明中智能驾驶系统的结构图；

图3是本发明固定相机用测试架的示意图；

图4是本发明用神经网络结构图。

图中：1-纵向支架、2-横向支架、3-基座、4-螺纹杆、5-相机、6-红外光源、10-固定相机用测试架。

下面对本发明进一步详细说明。但下述的实例仅仅是本发明的简易例子，并不代表或限制本发明的权利保护范围，本发明的保护范围以权利要求书为准。

具体实施方式

下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。

为更好地说明本发明，便于理解本发明的技术方案，本发明的典型但非限制性的实施例如下：

本发明采用人工智能的人眼位置监控技术，通过人眼注视位置的监控，实时得到驾驶员的人眼注视位置，通过该位置与预先储存的各种环境中的人眼应该注视位置进行比较，以对此时驾驶员是否处于驾驶注意力集中阶段进行判断。

本发明的人眼视线实时监测单元包括：DMS(实时人脸)图像采集单元，用于采集驾驶员实时人脸图像；分类器单元，DMS图像采集单元将采集的人脸图像输入到已经训练好的分类器单元，该分类器单元输出此时人眼注视的位置坐标。

本申请在训练分类器单元的过程中，图像采集系统包括有多个相机，并且相机摆放在特定的位置以满足同一时刻拍摄图像的需要。

该相机可以以阵列的方式排列在被试者的面前，以方便在同一时刻拍摄多张照片；该机相的拍摄角度选择是特定的，每一相机都是以特定的角度对准人脸，以保证同一时刻拍摄得到不同角度的人脸图像。

当上述的排成阵列的相机在同一时刻拍摄人脸时，至少平行方向排列的两个相机在对准人脸的方向，即该相机的光轴方向间夹角为90度设置。当然，该光轴方向间夹角可大于90度，以方便得到更多的人脸照片信息。

如图3所示，本申请在训练分类器单元的过程中，图像采集系统还包括：固定相机用测试架10，固定相机用测试架10包括多个支架，该多个支架包括多个横向支架2和多个纵向支架1；多个相机5固定在多个所述横向支架2和纵向支架1的交叉位置；一轨道结构，其包括横向轨道和纵向轨道，该轨道结构能够在支架上沿水平方向和竖直方向自由移动；一可见光光源固定在横向轨道和纵向轨道的交叉位置；一相机与该可见光光源固定，使相机能随可见光光源移动而移动。

优选的，所述固定的工业相机在对准人脸的方向，即该相机的光轴方向各不相同。

优选的，该支架为滑轨形式，即各支架间的相互距离可以调整，通过支架间相互距离的调整从而可以改变相机间的相对位置，以适应不同测试场合的需要。

实施例1

如图2所示，本发明的智能驾驶系统包括中央控制单元、GNSS及无线通信单元、信息采集单元以及执行单元等四部分构成。

中央控制单元可以包括：中央处理器、存储器；以及存储在储存器中的手动驾驶模式、多种自动驾驶模式以及安全单元；

GNSS及无线通信单元为车辆提供全球定位系统，如GPS、北斗等，并且还可为车辆提供无线网络连接服务器；

信息采集系统包括多个摄像单元，各类传感器、车辆自身状况信息采集单元；多个摄像单元包括车外景象的获取单元，为智能驾驶提供支持，如前方是否有车辆刹车、前方是否有红绿灯、前方是否有行人、斑马线等；以及驾驶员人眼监控摄像单元即DMS图像采集单元，用于监控驾驶员的视线聚焦点；各类传感器包括：车外传感器，用于泊车等情景中探测车辆与外部之间的距离，车内传感器，用于感知驾驶员的某些行为，如手是否在操作方向盘和档位等用于检测驾驶员是否在驾驶，以保障安全；车辆自身状况信息采集单元包括胎压，车速、油料等情况。

执行单元包括：刹车踏板、油门踏板、车灯开关以及档位等。

车辆在智能驾驶的情景下，由于现有科技条件的约束，还是会有危险隐患，比如摄像头的盲区，传感器的有线范围等等，所以在此情景下，依然需要驾驶员集中注意力；中央控制单元中的安全单元采用单独运作的方式，根据驾驶员的选择，可以和其他智能驾驶模式同时运作；在智能驾驶模式中，可根据需要开启安全单元，安全单元通过驾驶员人眼监控摄像单元（即DMS图像采集单元）采集人脸图像，并将人脸图像输入到已经训练好的分类器单元，该分类器单元输出此时人眼注视的位置坐标，如果位置坐标位于前挡风玻璃上，则判定驾驶员在关注车辆驾驶；如果位置坐标没有位于前挡风玻璃上，则判定驾驶员没有关注驾驶，此时需要通过提醒或警报等措施来提醒驾驶员。

由于所述人眼监控摄像单元（即DMS图像采集单元）采集人脸图像是实时的，而在智能驾驶模式中驾驶员偶尔也需要关注后视镜等其他地方，或是驾驶员短时间不关注驾驶也没关系，因此，有必要为安全单元设置时间阈值，即判定驾驶员注视的位置坐标没有位于前挡风玻璃上的时间达到或超过阈值时，系统才提醒驾驶员，而未达到该时间阈值时，不做处理。

实施例2

该实施例与上述实施例中相同的步骤和/或结构就不再重复，本实施例仅仅介绍某些变化或更加具体的步骤和/或结构。

本发明的智能驾驶系统包括中央控制单元、GNSS及无线通信单元、信息采集单元以及执行单元等四部分构成。

在本实施例中，需要强调的是，预先训练好的分类器不光包括人眼注视的位置坐标位于前挡风玻璃的样本，还包括左、中、右后视镜的样本。

在智能泊车的情景中，同样需要驾驶员关注驾驶状况，而在该模式下，安全单元通过驾驶员人眼监控摄像单元（即DMS图像采集单元）采集人脸图像，并将人脸图像输入到已经训练好的分类器单元，该分类器单元输出此时人眼注视的位置坐标，如果位置坐标位于左、中、右后视镜上，则判定驾驶员在关注车辆驾驶；如果位置坐标没有位于左、中、右后视镜上，则判定驾驶员没有关注驾驶，此时需要通过提醒或警报等措施来提醒驾驶员；当然，安全单元还是可以设置时间阈值，以避免没有必要的误判。这一情况可以应用于处于自动驾驶状态的车辆，当车辆已经处于自动驾驶状态时，发现驾驶员有上述需要提醒或警报情况时，车辆终止自动驾驶状态，转而由驾驶员自主驾驶车辆。

该注意力检测需要对视线位置坐标的精确测量，为了保证该测量精度。本申请主要采用两个方面来保障：

1. 在视线方向的计算问题中，现有数据集数量过小，质量不佳，当使用包含人眼区域的头部图片训练神经网络，直接获取用户的视线凝视位置时，会造成很强的过拟合。这种过拟合在网络的实际使用过程中体现为：网络会以头部姿态作为最终输出，而不是人眼的视线方向。为了解决以上问题，本专利专门采集了大量包含人眼区域的头部图像和相应的精确视线方向数据。本专利采集的大量高质量数据有效地抑制了上述过拟合现象。

为了获得高质量数据，对神经网络训练用数据集采集采用了测试架10。采用该测试架10采集图像带来了大量可靠的训练用数据集。这是因为采用该测试架10，自然光完全可以从支架后透射进来，这使得本申请中相机采集的图像数据更加逼近室外环境，使得在驾驶领域人脸图像识别以及人眼视场识别提供了真实的训练数据。每个相机都具有特定的角度，现有技术中对于人脸图像的采集少有采集到人脸侧面照片。但采用具有特定角度对准人脸的相机，配合本发明的采集方法可高效的采集到当人眼注视某位置时各个角度包括最大90度侧面的图像，方便后续的神经网络深度学习。具体的测试架及相关采集图像的方式在说明书具体实施例中已有说明。

2. 为了得到适合汽车驾驶舱环境内的驾驶员视线方向检测，除了需要有上述高质量的数据外，还必须根据上述采集的图片针对性地设计神经网络结构，从而使得上述图片数据被训练后，能够得到一个最佳的模型。

对于上述高质量数据的训练，采用了图4所示预估人眼视线方向的卷积神经网络的结构图。head_picture为输入层，将输入图像标准化为224*224的尺寸，然后使用3*3的卷积核以2个像素为步长进行卷积，使用ReLu激活函数，得到特征图的尺寸为112*112，再使用最大值池化，以2个像素为步长进行降采样，得到尺寸为56*56的特征图。接下来的5个卷积模块使用了shuffle unit的网络结构，因此仅以前两个模块进行详细说明。在第一个shuffle unit模块的右分支中，56*56的特征图先进行逐点组卷积，然后进行通道混洗（channel shuffle），再用3*3的卷积核以2个像素为步长进行深度卷积（depthwiseconvolution），然后进行逐点组卷积。在第一个shuffle unit的左分支中，56*56的特征图使用3*3的卷积核，以2个像素为步长进行平均池化。第1个shuffle unit的左右分支得到的特征图进行通道级联，得到一系列28*28的特征图。在第二个shuffle unit的右分支中，28*28的特征图先进行逐点组卷积，然后通道混洗，再用3*3的卷积核以1个像素为步长进行深度卷积（depthwise convolution），然后进行逐点组卷积。在第一个shuffle unit的左分支中，28*28的特征图不进行任何处理。第2个shuffle unit的左右分支得到的特征图对应元素相加，然后使用ReLu激活函数，输出特征图尺寸仍然为28*28 。第3个shuffle unit的结构与第1个shuffle unit的结构相同，第3个shuffle unit输出14*14的特征图。第4个shuffle unit的结构与第2个shuffle unit的结构相同，第4个shuffle unit的输出为14*14的特征图。第5个shuffle unit的结构与第1个shuffle unit的结构相同，输出为7*7的特征图。对于第5个shuffle unit输出的7*7的特征图，用7*7的卷积核进行平均池化，得到一系列1*1的特征图，即一个向量。对这个向量中的各个分量进行组合，即可输出angle_size的两个角度。也就是说，根据上述专门设计的训练模型/训练方法，才能够保证用上述方法采集到的图片数据能够被更好地充分利用，从而实现在驾驶舱环境中准确的视线检测。而现有技术的训练模型并没有针对驾驶舱环境进行有针对性的设计，其神经网络结构及其参数均是通用的，难以得到准确的视线检测。

申请人声明，本发明通过上述实施例来说明本发明的详细结构特征，但本发明并不局限于上述详细结构特征，即不意味着本发明必须依赖上述详细结构特征才能实施。所属技术领域的技术人员应该明了，对本发明的任何改进，对本发明所选用部件的等效替换以及辅助部件的增加、具体方式的选择等，均落在本发明的保护范围和公开范围之内。

以上详细描述了本发明的优选实施方式，但是，本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种简单变型，这些简单变型均属于本发明的保护范围。

另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本发明对各种可能的组合方式不再另行说明。

此外，本发明的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明的思想，其同样应当视为本发明所公开的内容。

Claims (10)

1.一种智能驾驶系统，包括中央控制单元、信息采集单元；

所述中央控制单元包括安全单元，所述安全单元在智能驾驶模式中，通过驾驶员人眼视线方向确定其人眼关注点的位置，从而保证驾驶安全；

所述信息采集单元包括分类器，所述分类器用于根据获取到的驾驶员人脸图像判断驾驶员视线方向；

所述分类器的训练方法包括：将包括人眼与人头部位姿的一个整体图像输入到单个神经网络中，训练该神经网络使得其根据图像上人眼信息及头部位姿信息判断所述人眼视线方向；

其中所述整体图像为采用多台相机从不同的特定的角度在同一时间拍摄人脸图像；

其中该神经网络包含5个卷积模块，每个卷积模块采用ShuffleNet结构。

2.根据权利要求1所述的系统，其特征在于：以所述拍摄的人脸图像为输入层，将输入图像标准化为224*224的尺寸，然后使用3*3的卷积核以2个像素为步长进行卷积，使用ReLu激活函数，得到特征图的尺寸为112*112，再使用最大值池化，以2个像素为步长进行降采样，得到尺寸为56*56的特征图；再输入到所述的5个卷积模块。

3.根据权利要求1所述的系统，其特征在于：所述系统还包括GNSS及无线通信单元以及执行单元；所述中央控制单元接收来自所述GNSS及无线通信单元以及信息采集单元的信号，可对所述执行单元进行控制；

所述中央控制单元在智能驾驶模式时，通过采集实时检测人眼视线关注的位置坐标，来确保行驶安全。

4.根据权利要求3所述的系统，其特征在于：在所述智能驾驶模式中，当车辆向前行驶时，如果所述位置坐标位于前挡风玻璃上，则判定驾驶员在关注车辆驾驶；如果位置坐标没有位于前挡风玻璃上，则需要提醒所述驾驶员，并且使车辆从自动驾驶状态转为驾驶员自主驾驶状态；或者当车辆向后行驶时，如果所述位置坐标位于后视镜或倒车影像显示屏上，则判定驾驶员在关注车辆驾驶；如果位置坐标没有位于后视镜上，则需要提醒所述驾驶员，并且使车辆从自动驾驶状态转为驾驶员自主驾驶状态。

5.根据权利要求3所述的系统，其特征在于：在判定驾驶员的过程中，需要设定时间阈值，当所述位置坐标没有位于前挡风玻璃上或后视镜上，并且超过该阈值时，才提醒所述驾驶员。

6.根据权利要求5所述的系统，其特征在于：训练所述分类器所使用的样本集包括人眼注视的位置在车辆前挡风玻璃的各个位置以及左、中、右后视镜。

7.使用权利要求1-6任一权利要求所述的智能驾驶系统进行驾驶员注意力检测的方法；其特征在于：所述方法包括以下步骤：在智能驾驶模式中，通过采集实时检测人眼视线关注的位置坐标，来确保行驶安全。

8.根据权利要求7所述的方法，其特征在于：在所述智能驾驶模式中，当车辆向前行驶时，如果所述位置坐标位于前挡风玻璃上，则判定驾驶员在关注车辆驾驶；如果位置坐标没有位于前挡风玻璃上，则需要提醒所述驾驶员；或者当车辆向后行驶时，如果所述位置坐标位于后视镜或倒车影像显示屏上，则判定驾驶员在关注车辆驾驶；如果位置坐标没有位于后视镜上，则需要提醒所述驾驶员。

9.根据权利要求7所述的方法，其中训练所述分类器单元具体为：采用多台相机从不同的角度在同一时间拍摄人脸图像，其中获得人脸图像的相机测试架包括多个支架，该多个支架包括多个横向支架和多个纵向支架；多个相机固定在多个所述横向支架和纵向支架的交叉位置；一轨道结构，其包括横向轨道和纵向轨道，该轨道结构能够在支架上沿水平方向和竖直方向自由移动；一可见光光源固定在横向轨道和纵向轨道的交叉位置；一相机与该可见光光源固定，使相机能随可见光光源移动而移动。

10.根据权利要求7所述的方法，所述神经网络在第一shuffle unit模块的分支中，以56*56的特征图先进行逐点组卷积，然后进行通道混洗(channel shuffle)，再用3*3的卷积核以2个像素为步长进行深度卷积(depthwise convolution)，然后进行逐点组卷积。

Images