CN113978366A - 一种基于人眼注意力的智能电子后视镜系统及实现方法 - Google Patents

Abstract

本发明请求保护一种基于人眼注意力的智能电子后视镜系统及实现方法，涉及智能驾驶、辅助驾驶、深度学习、智能座舱技术等领域。该方法通过单目相机获取驾驶人员的脸部图像；通过人眼注意力检测网络检测人脸，得到驾驶员的头部姿态、视线方向及注意力方向；驾驶员视线向左或向右时，左边或右边电子后视镜屏幕调整画面显示，中控LCD显示屏显示左边或右边车道场景，视线回正后中控LCD保持显示；同时使用目标检测网络对车辆周围环境进行目标检测，当驾驶员进行变道、转向等操作，或周围出现危险目标靠近，左右电子后视镜屏幕显示后方区域的检测对象，中控LCD显示车辆周围的危险对象；本发明提高了驾驶的安全性。

Description

一种基于人眼注意力的智能电子后视镜系统及实现方法

技术领域

本发明属于智能驾驶、辅助驾驶、深度学习、智能座舱技术等领域，具体属于基于人眼注意力的智能电子后视镜系统及实现方法。

背景技术

传统车辆驾驶主要依靠车身侧面突出的光学后视镜来观察车辆周围的情况，借此来调整车辆的姿态，完成变道、超车、倒车等操作。在传统的光学后视镜上，反射镜面的曲率、形状和大小均为固定不变的，至多只是在外侧边缘的部分增加镜片曲率，通过牺牲画面的完整性来换取更大的视野，这也就是我们常说的双曲率后视镜。不正确的人为调整光学后视镜方向容易产生很大的视觉盲区，影响驾驶安全。同时光学后视镜安装在汽车外部，所以会受下雨天或夏天地面潮湿等环境影响，在恶劣天气，驾驶员很难通过汽车外部的后视镜清楚地了解到汽车左侧、右侧以及后方的情况，影响了驾驶安全。光学后视镜突出车身，风阻很大，高速行驶产生噪音。同时传统的光学后视镜无法为驾驶员提供危险警示，当驾驶员进行变道、转向等操作，或周围出现危险目标靠近时，如果驾驶员未及时注意后视镜，容易发生危险。

经过检索，对比文件1，申请公开号为CN111645521A，一种用于智能后视镜的控制方法、装置、电子设备和存储介质，涉及车联网技术领域。具体实现方案为：获取智能后视镜的界面显示信息；向与智能后视镜通信连接的至少一个外部设备发送界面显示信息；响应于来自至少一个外部设备的用户操作信息，控制智能后视镜执行相应的操作，用户操作信息用于描述用户对至少一个外部设备的操作。本申请公开的技术方案中可以实现用户在投屏的外部设备上对智能后视镜投屏的界面进行控制，操作方便，且能够保证用户的驾驶安全。该发明实现了外部设备显示智能后视镜信息，以及通过外部显示设备对智能后视镜进行设置，但是仍需驾驶员进行手动操作，未增强驾驶安全性，本发明采用注意力检测单元获得驾驶员注意力方向，直接进行左后电子后视镜及中控LCD显示画面的调节，降低了驾驶员的操作量，保障了驾驶安全。

对比文件2，申请公开号为CN111625094A，一种智能后视镜的交互方法、装置、电子设备和存储介质，涉及人工智能领域。本申请中可以依据智能后视镜上的前置摄像头实现与用户的动作交互，在增加了与用户的交互方式的前提下，还能够解决现有的语音交互在特定场景下无法识别用户的语音的问题。本申请中还能够根据智能后视镜的当前使用状态，控制所述智能后视镜与用户进行交互，使得智能后视镜可以根据智能后视镜的当前使用状态，采用便捷的交互方式与用户交互，提高了交互成功率，进而提高了用户体验。该专利实现了智能后视镜与驾驶员的动作及声音交互，能满足驾驶员导航、电话等多媒体需求，提高了用户的驾驶体验，但该专利未更多的关注驾驶员驾驶时的安全需求，本专利通过人眼注意力检测单元，目标检测单元等实现不同注意力下的显示调整，使得驾驶员可以观察到更大的区域，同时提供了危险对象检测功能，当驾驶员处于变道、转向等操作时，中控LCD与左右电子后视镜屏幕能够显示周围危险对象，提醒驾驶员注意，提高了驾驶安全性。

发明内容

本发明旨在解决以上现有技术的问题。提出了一种基于人眼注意力的智能电子后视镜系统及实现方法。本发明的技术方案如下：

一种基于人眼注意力的智能电子后视镜系统，其包括：

目标检测单元，用于对车辆周围对象进行类型和位置检测，以获得车辆行驶状况；

显示单元，使用电子后视镜屏幕和中控LCD作为显示设备，将摄像机采集图像显示到电子后视镜屏幕和中控LCD上；当驾驶员进行变道、转向在内的操作，或周围出现危险目标靠近，左右电子后视镜屏幕显示后方区域的检测对象，中控LCD显示车辆周围的危险对象；

人眼注意力检测单元，使用单目相机作为检测设备，检测驾驶员头部姿态，视线方向及注意力方向；所述人眼注意力检测单元，通过利用MTCNN进行精准的人脸检测，并通过头部姿态网络得到驾驶员头部姿态，使用视线检测网络得到驾驶员视线方向，最后结合头部姿态和视线方向得到驾驶员注意力方向；

调整单元，用于调整中控LCD显示和电子后视镜屏幕的视野范围，保证中控LCD显示和电子后视镜屏幕显示范围与人眼视线一致。

进一步的，所述的目标检测单元采用目标检测网络对周围对象进行检测并分类，目标检测网络具体包括以下子步骤：

构建基于YOLOv3的目标检测网络，结合KITTI公开数据集与自采样数据集，将汽车运行时环境目标分为person、bike、car、truck、bus、五种情况，进行训练得到目标检测网络。

进一步的，所述显示单元，将摄像机采集图像显示到电子后视镜屏幕和中控LCD上；同时对车辆周围环境进行目标检测，当驾驶员进行变道、转向在内的操作，或周围出现危险目标靠近，左右电子后视镜屏幕显示后方区域的检测对象，中控LCD显示车辆周围的危险对象。

进一步的，所述人眼注意力检测单元，通过利用MTCNN进行精准的人脸检测，并通过头部姿态网络得到驾驶员头部姿态，使用视线检测网络得到驾驶员视线方向，最后结合头部姿态和视线方向得到驾驶员注意力方向；具体包括：

人眼注意力检测网络以单目相机采集的驾驶员图像为输入，输出驾驶员的注意力方向；

人眼注意力检测网络首先使用MTCNN多任务卷积神经网络对单目相机采集的驾驶员图像进行人脸提取得到人脸区域；

然后使用头部姿态估计算法对人脸区域进行检测，得到头部姿态的欧拉角(偏航角、俯仰角、翻滚角)。同时将人脸区域输入视线检测神经网络，得到驾驶员视线方向；

最后将驾驶员视线方向转换为欧拉角，与头部姿态的欧拉角结合进行校准，最终得到驾驶员注意力方向。

进一步的，所述调整单元，使用人眼注意力检测单元得到的驾驶员头部姿态与视线方向，根据驾驶员的注意力方向，不断调整对应侧电子后视镜屏幕画面显示内容；同时根据驾驶员的注意力方向，在中控LCD显示屏上显示不同侧的车道信息。

一种基于任一项所述系统的实现方法，其包括以下步骤：

步骤1，构建人眼注意力检测网络，单目相机放置于驾驶员前方，拍摄驾驶员人脸照片，输入网络获得驾驶员的头部姿态与视线方向；

步骤2，当驾驶员视线向左时，安装在左侧A柱位置的显示屏显示左后视镜上的摄像头采集到的汽车左侧画面及后方画面并调整显示角度，从角度a调整到角度a₁以增大汽车左侧画面及后部画面的显示范围。中控LCD显示屏显示左边车道场景，视线回正后中控LCD保持显示；

步骤3，当驾驶员视线向右时，安装在右侧A柱位置的显示屏显示右后视镜上的摄像头采集到的汽车右侧画面及后方画面并调整显示角度，从角度b调整到角度b₁以增大汽车右侧画面及后部画面的显示范围，中控LCD显示屏显示右边车道场景，视线回正后中控LCD保持显示；

步骤4，构建目标检测网络，对车辆周围环境进行目标检测，当驾驶员进行变道、转向在内的操作，或周围出现危险目标靠近，左右电子后视镜屏幕显示后方区域的检测对象，中控LCD显示车辆周围的危险对象。

进一步的，所述步骤1的人眼注意力检测网络以单目相机采集的驾驶员图像为输入，输出驾驶员的注意力方向；

人眼注意力检测网络首先使用MTCNN多任务卷积神经网络对单目相机采集的驾驶员图像进行人脸提取得到人脸区域；

然后使用头部姿态估计算法对人脸区域进行检测，得到头部姿态的欧拉角(偏航角、俯仰角、翻滚角)。同时将人脸区域输入视线检测神经网络，得到驾驶员视线方向；

最后将驾驶员视线方向转换为欧拉角，与头部姿态的欧拉角结合进行校准，最终得到驾驶员注意力方向。

进一步的，所述目标检测网络具体包括以下子步骤：

构建基于YOLOv3的目标检测网络，结合KITTI公开数据集与自采样数据集，将汽车运行时环境目标分为person、bike、car、truck、bus、五种情况，进行训练得到目标检测网络。

一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现任一项所述的实现方法。

本发明的优点及有益效果如下：

本发明的目的就是为了克服传统光学后视镜所存在的缺陷而提供一种基于人眼注意力的智能电子后视镜系统，根据驾驶员视线自动调节双侧电子后视镜屏幕显示范围，减少驾驶员因后视镜安装角度及恶劣天气导致后视镜模糊而造成的安全问题，提高驾驶安全性，同时基于目标检测网络提供目标检测功能，当驾驶员进行变道、转向等操作，或周围出现危险目标靠近，左右电子后视镜屏幕显示后方区域的检测对象，中控LCD显示车辆周围的危险对象。

具体表现在以下几点：

(1)本发明在智能驾驶、汽车智能座舱技术下，使用单目相机实现对驾驶员头部姿态及视线方向的测量，当驾驶员进入驾驶室坐好后，人眼注意力检测网络检测得到驾驶员头部高度与视线方向，当驾驶员注意力出现偏转时，显示屏画面自动调节显示范围，使得驾驶员可清楚的了解到汽车周围更大范围的路况，提高驾驶的安全性。

(3)本发明由于显示屏安装在汽车内部，所以不受下雨天或夏天地面潮湿等环境影响，驾驶员通过汽车内部的显示屏即可清楚地了解到汽车左侧、右侧以及后方的情况，提高驾驶的安全性。

(4)本发明基于目标检测网络提供危险目标检测功能，当检测到周围危险目标靠近时，左右电子后视镜屏幕，中控LCD同时显示被标记的危险对象，提高了驾驶的安全性。

(5)本发明独创的使用了人眼注意力检测网络检测驾驶员注意力方向，从而进行左右电子后视镜屏幕及中控LCD的画面调节，实现了电子后视镜的自动调节而不需要驾驶员进行额外的动作及指令输出，最大化的降低了驾驶员操作量，增强了驾驶安全性。

附图说明

图1是本发明提供优选实施例基于人眼注意力的智能电子后视镜系统的流程示意图。

图2是本发明中人眼注意力检测示意图；

图3是本发明中人眼注意力检测网络检测驾驶员人脸角度示意图；

图4是本发明中基于人眼注意力智能电子后视镜系统调整汽车右侧画面角度的效果示意图；

图5是本发明中基于人眼注意力智能电子后视镜系统调整汽车右侧画面角度的效果示意图；

图6是本发明中基于人眼注意力智能电子后视镜系统汽车变道的效果示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。

本发明解决上述技术问题的技术方案是：

本发明的目的是提供一种基于人眼注意力的智能电子后视镜系统，用于汽车智能驾驶和智能座舱技术领域。通过单目相机测量驾驶员头部姿态与视线方向，完成基于人眼注意力的电子后视镜目标检测与显示，提出此技术方案，如图1所示，包括如下步骤：

步骤1，如图2所示，构建人眼注意力检测网络检测驾驶员视线方向。在驾驶员前方安装单目相机，使相机能获得驾驶员人脸图像，采集驾驶员不同头部姿态，不同视线数据，结合网络数据集，通过利用MTCNN进行精准的人脸检测，并通过头部姿态网络得到驾驶员头部姿态，使用视线检测网络得到驾驶员视线方向，最后结合头部姿态和视线方向得到驾驶员注意力方向。

步骤2，当驾驶员视线向左时，安装在左侧A柱位置的显示屏显示左后视镜上的摄像头采集到的汽车左侧画面及后方画面并调整显示角度，从角度a调整到角度a₁以增大汽车左侧画面及后部画面的显示范围。中控LCD显示屏显示左边车道场景，视线回正后中控LCD保持显示。

步骤3，当驾驶员视线向右时，安装在右侧A柱位置的显示屏显示右后视镜上的摄像头采集到的汽车右侧画面及后方画面并调整显示角度，从角度b调整到角度b₁以增大汽车右侧画面及后部画面的显示范围。中控LCD显示屏显示右边车道场景，视线回正后中控LCD保持显示。

步骤4，如图6所示，构建目标检测网络，使用网络数据集和实际道路采集数据，进行数据标注，训练得到目标检测网络。使用该目标检测网络对车辆周围环境进行目标检测，当驾驶员进行变道、转向等操作，或检测到危险靠近时，如周围车辆贴近等，左右电子后视镜屏幕显示后方区域的检测对象，中控LCD显示车辆周围的危险对象。

该系统还包括：

目标检测单元，用于对车辆周围对象进行的类型和位置检测，以获得车辆行驶状况；

显示单元，使用电子后视镜屏幕和中控LCD作为显示设备，将摄像机采集图像显示到电子后视镜屏幕和中控LCD上。当驾驶员进行变道、转向等操作，或周围出现危险目标靠近，左右电子后视镜屏幕显示后方区域的检测对象，中控LCD显示车辆周围的危险对象；

人眼注意力检测单元，使用单目相机作为检测设备，检测驾驶员头部姿态，视线方向及注意力方向。

调整单元，用于调整中控LCD显示和电子后视镜屏幕的视野范围，保证中控LCD显示和电子后视镜屏幕显示范围与人眼视线一致。

进一步的，所述的目标检测单元采用目标检测网络对周围对象进行检测并分类。

进一步的，所述的显示单元，将摄像机采集图像显示到电子后视镜屏幕和中控LCD上。同时对车辆周围环境进行目标检测，当驾驶员进行变道、转向等操作，或周围出现危险目标靠近，左右电子后视镜屏幕显示后方区域的检测对象，中控LCD显示车辆周围的危险对象。

进一步的，所述的人眼注意力检测单元，在驾驶员前方安装单目相机，使相机能获得驾驶员人脸图像，采集驾驶员不同头部姿态，不同视线数据，结合网络数据集，通过利用MTCNN进行精准的人脸检测，并通过头部姿态网络得到驾驶员头部姿态，使用视线检测网络得到驾驶员视线方向，最后结合头部姿态和视线方向得到驾驶员注意力方向。

进一步的，所述的调整单元，使用前述人眼注意力检测单元得到的驾驶员头部姿态与视线方向，根据驾驶员视线的移动，不断调整画面显示内容。同时根据驾驶员的注意力方向，在中控LCD显示屏上显示不同侧的车道信息。

进一步的，所示的智能电子后视镜系统，还包括：

单目相机：单目相机安装于驾驶员前方，在正常的驾驶观测行为中，相机都能有效观测到驾驶员的左右眼。

车身外置摄像头：身外置摄像头的数量为两个，即两个摄像头分别为左摄像头和右摄像头，左摄像头设置在汽车左后视镜的位置处，右摄像头设置在汽车右后视镜的位置处。

显示屏：车内电子后视镜显示屏的数量也为两个，分别为左显示屏和右显示屏，左右显示屏分别放置在车辆左右A柱处，左显示镜与左摄像头匹配，右显示镜于右摄像头匹配。

中控LCD：中控LCD显示屏为汽车中控台自带LCD屏。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (9)

1.一种基于人眼注意力的智能电子后视镜系统，其特征在于，包括：

目标检测单元，用于对车辆周围对象进行类型和位置检测，以获得车辆行驶状况；

显示单元，使用电子后视镜屏幕和中控LCD作为显示设备，将摄像机采集图像显示到电子后视镜屏幕和中控LCD上；当驾驶员进行变道、转向在内的操作，或周围出现危险目标靠近，左右电子后视镜屏幕显示后方区域的检测对象，中控LCD显示车辆周围的危险对象；

人眼注意力检测单元，使用单目相机作为检测设备，检测驾驶员头部姿态，视线方向及注意力方向；所述人眼注意力检测单元，通过利用MTCNN进行精准的人脸检测，并通过头部姿态网络得到驾驶员头部姿态，使用视线检测网络得到驾驶员视线方向，最后结合头部姿态和视线方向得到驾驶员注意力方向；

调整单元，用于调整中控LCD显示和电子后视镜屏幕的视野范围，保证中控LCD显示和电子后视镜屏幕显示范围与人眼视线一致。

2.根据权利要求1所述的一种基于人眼注意力的智能电子后视镜系统，其特征在于，所述的目标检测单元采用目标检测网络对周围对象进行检测并分类，目标检测网络具体包括以下子步骤：

构建基于YOLOv3的目标检测网络，结合KITTI公开数据集与自采样数据集，将汽车运行时环境目标分为person、bike、car、truck、bus、五种情况，进行训练得到目标检测网络。

3.根据权利要求1所述的一种基于人眼注意力的智能电子后视镜系统，其特征在于，所述显示单元，将摄像机采集图像显示到电子后视镜屏幕和中控LCD上；同时对车辆周围环境进行目标检测，当驾驶员进行变道、转向在内的操作，或周围出现危险目标靠近，左右电子后视镜屏幕显示后方区域的检测对象，中控LCD显示车辆周围的危险对象。

4.根据权利要求1所述的一种基于人眼注意力的智能电子后视镜系统，其特征在于，所述人眼注意力检测单元，通过利用MTCNN进行精准的人脸检测，并通过头部姿态网络得到驾驶员头部姿态，使用视线检测网络得到驾驶员视线方向，最后结合头部姿态和视线方向得到驾驶员注意力方向；具体包括：

人眼注意力检测网络以单目相机采集的驾驶员图像为输入，输出驾驶员的注意力方向；

人眼注意力检测网络首先使用MTCNN多任务卷积神经网络对单目相机采集的驾驶员图像进行人脸提取得到人脸区域；

然后使用头部姿态估计算法对人脸区域进行检测，得到头部姿态的欧拉角(偏航角、俯仰角、翻滚角)，同时将人脸区域输入视线检测神经网络，得到驾驶员视线方向；

最后将驾驶员视线方向转换为欧拉角，与头部姿态的欧拉角结合进行校准，最终得到驾驶员注意力方向。

5.根据权利要求4所述的一种基于人眼注意力的智能电子后视镜系统，其特征在于，所述调整单元，使用人眼注意力检测单元得到的驾驶员头部姿态与视线方向，根据驾驶员的注意力方向，不断调整对应侧电子后视镜屏幕画面显示内容；同时根据驾驶员的注意力方向，在中控LCD显示屏上显示不同侧的车道信息。

6.一种基于权利要求1-5任一项所述系统的实现方法，其特征在于，包括以下步骤：

步骤1，构建人眼注意力检测网络，单目相机放置于驾驶员前方，拍摄驾驶员人脸照片，输入网络获得驾驶员的头部姿态与视线方向；

步骤2，当驾驶员视线向左时，安装在左侧A柱位置的显示屏显示左后视镜上的摄像头采集到的汽车左侧画面及后方画面并调整显示角度，从角度a调整到角度a₁以增大汽车左侧画面及后部画面的显示范围。中控LCD显示屏显示左边车道场景，视线回正后中控LCD保持显示；

步骤3，当驾驶员视线向右时，安装在右侧A柱位置的显示屏显示右后视镜上的摄像头采集到的汽车右侧画面及后方画面并调整显示角度，从角度b调整到角度b₁以增大汽车右侧画面及后部画面的显示范围，中控LCD显示屏显示右边车道场景，视线回正后中控LCD保持显示；

步骤4，构建目标检测网络，对车辆周围环境进行目标检测，当驾驶员进行变道、转向在内的操作，或周围出现危险目标靠近，左右电子后视镜屏幕显示后方区域的检测对象，中控LCD显示车辆周围的危险对象。

7.根据权利要求6所述的实现方法，其特征在于，所述步骤1的人眼注意力检测网络以单目相机采集的驾驶员图像为输入，输出驾驶员的注意力方向；

人眼注意力检测网络首先使用MTCNN多任务卷积神经网络对单目相机采集的驾驶员图像进行人脸提取得到人脸区域；

然后使用头部姿态估计算法对人脸区域进行检测，得到头部姿态的欧拉角(偏航角、俯仰角、翻滚角)。同时将人脸区域输入视线检测神经网络，得到驾驶员视线方向；

最后将驾驶员视线方向转换为欧拉角，与头部姿态的欧拉角结合进行校准，最终得到驾驶员注意力方向。

8.根据权利要求6所述的实现方法，其特征在于，所述目标检测网络具体包括以下子步骤：

构建基于YOLOv3的目标检测网络，结合KITTI公开数据集与自采样数据集，将汽车运行时环境目标分为person、bike、car、truck、bus、五种情况，进行训练得到目标检测网络。

9.一种存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求6至8任一项所述的实现方法。

Images