CN113525402A - 高级辅助驾驶及无人驾驶视场智能响应方法及系统 - Google Patents

Abstract

高级辅助驾驶及无人驾驶视场智能响应方法及系统，应用在高级辅助驾驶及无人驾驶领域，解决高级辅助驾驶中驾驶者观测反光镜场景时的低效问题，解决无人驾驶中安全员察看反光镜画面时的低效问题。本发明设计了高级辅助驾驶及无人驾驶视场智能响应方法及系统，首先基于驾驶者的面部角度与眼部瞳孔位置计算视线投射点及区域，或通过机器学习方法结合历史数据及实时的面部角度与瞳孔位置预测视线投射区域及操控行为；其次，基于驾驶者视线投射区域，触发汽车计算机系统相应程序，并通过操控台前面板屏幕及音响予以提示。

Description

高级辅助驾驶及无人驾驶视场智能响应方法及系统

技术领域

高级辅助驾驶及无人驾驶视场智能响应方法及系统，应用在高级辅助驾驶及无人驾驶领域，解决高级辅助驾驶中驾驶者观测反光镜场景时的低效问题，解决无人驾驶中安全员察看反光镜画面时的低效率问题；同时，适用于智慧城市应急指挥屏幕多窗口场景切换控制领域，解决智慧城市应急指挥中心屏幕多窗口场景手动切换操作时的繁琐问题。

背景技术

目前，当汽车在驾驶中驾驶者通过反光镜或显示器观看后方情况，或通过直视方式观察侧面情况，通过显示器观察时需要提前设置显示的固定场景；同样，对于无人驾驶，驾驶座的安全员也采用上述方式观察道路情况并采取应急措施。显然，现有汽车驾驶中观察周围车辆情况的方式效率低下，并存在行驶安全隐患。

发明内容

为解决上述问题，本发明设计了高级辅助驾驶及无人驾驶视场智能响应方法及系统，首先基于驾驶者的面部角度与眼部瞳孔位置计算视线投射点及区域，或通过机器学习方法结合历史数据及实时的面部角度与瞳孔位置预测视线投射区域及操控行为；其次，基于驾驶者视线投射区域，触发汽车计算机系统相应程序，并通过操控台前面板屏幕及音响予以提示。

系统包括软件、硬件，其中硬件由摄像头(分为判断视角投射区域的摄像头、采集车身周围环境的外置摄像头)、计算机、屏幕、音响组成(支持计算机、屏幕、摄像头、音响中的任意两个为一体，或三个以上为一体；同时支持计算机、屏幕、摄像头、音响相互分离)。方法分为视角投射区域判断方法、基于视角投射区域的响应方法。基于摄像头及屏幕前方(左前方、正前方、右前方)观看者的视角判断对焦区域，摄像头采集观看者的面部、眼部图像，计算机软件基于图像中的面部及眼部特征判断观看者在屏幕中的视角投射区域，进而触发计算机软件中的控件，控件实现视角投射区域的图像显示、切换以及大小调整操作，同时实现对应视角投射区域图像的音响播放。具体方法为：

一、视角投射区域判断方法，分为角度模型判断方法、机器学习判断方法，其中：

1、角度模型判断方法

第一步，计算观看者与摄像头的距离。根据摄像头焦距、观看者面部图像的大小计算距离，即

D是观看者与摄像头的距离，W是观看者面部的宽度，P是观看者面部的像素宽度，F是摄像头焦距，W、P、F为已知。

设定屏幕中心点坐标、摄像头(镜头中心点)坐标、反光镜(镜面中心点)坐标，设观看者面部坐标U(X₀，Y₀，Z₀)，基于观看者面部在摄像头拍摄画面中的左右(相对于画面中心点的左右距离C_rl)、上下(相对于画面中心点的上下距离C_ud)位置、摄像头角度(摄像头感光元件所在平面与观看者的角度W，即将观看者面部正面看作平面R，平面R与感光元件所在平面的角度即为W，平面R与基准平面B平行)计算X₀、Y₀，观看者面部到基准面的距离即

基于d₀及设定已知的基准面Z轴坐标(假设基准面Z轴坐标全部为0)计算Z₀。假设摄像头感光元件也在基准面上，即感光元件与基准面平行且与基准面重叠。若感光元件与基准面不平行，则上述计算需要参考感光元件与基准面的夹角。基准面是虚拟的平面，例如在高级辅助驾驶领域，取车厢内驾驶与副驾驶前部的面板区域为基准面；在智慧城市应急指挥中心应用领域，取屏幕所在平面为基准面。

第二步，基于摄像头感光元件相对基准面的位置、摄像头的感光元件所在平面(假设感光元件在镜头后端，且镜头中心线与感光元件垂直，垂点是感光元件的中心点)相对于屏幕所在平面的夹角、摄像头镜头畸变、观看者在摄像头成像画面中的位置判断观看者面部在基准面上的投影位置即投影点坐标M(X₁，Y₁)。

第三步，计算观看者面部(设面部为一平面)相对于基准面的倾斜角α以及观看者眼部瞳孔距离眼眶中心点的相对位置。

第四步，结合第一步、第二步、第三步计算观看者在基准面上的视角投射区域的中心点坐标A(X₂，Y₂)。基于线段UM、AM的距离以及线段UA与UM的夹角计算UA距离，根据两点坐标距离公式，进而计算A点坐标。

第五步，确定视角投射区域。将基准面分为多个虚拟窗口，A点坐标所在的虚拟窗口区域即为视角投射区域窗口；采用模糊靠近(误差宽松)原则，A点坐标最靠近的虚拟窗口为视角投射区域虚拟窗口。

2、机器学习判断方法

第一步，建立特征学习数据库。摄像头采集车辆驾驶座操控者的面部及眼部图像数据、车道变化数据，计算机分析学习面部、眼部图像数据，具体过程：1)采集驾驶者面部特征，识别驾驶者。人脸识别驾驶者的面部骨骼轮廓、皱纹线以及眼睛、鼻子、眉毛、嘴巴、眼镜的大小与形状，唯一确定驾驶者身份面部信息，并与乘坐者区分，计算机默认驾驶者为唯一观看者。2)采集驾驶者视角信息，建立模拟数据。驾驶者模拟真实驾驶车辆时的观察反光镜习惯，包括面部倾斜角度以及眼部看向反光镜时的状态。计算机通过摄像头采集驾驶者(即观看者)看向反光镜时的图像数据，并记录面部倾斜图像信息、瞳孔在眼眶中的相对位置图像信息。3)在真实驾驶环境中，计算机采集学习驾驶者视角信息。计算机、摄像头实时记录驾驶者的面部角度及瞳孔位置特征，同时计算机通过外置摄像头采集车身前后车道线及周围车辆图像数据，通过车道线及追踪周围车辆相对于本车的位置变化识别变道超车、归位(返回行驶车道)行为，计算机提取并学习变道超车、归位前的驾驶者面部角度、眼部瞳孔位置变化数据，该变化数据假设为驾驶者观看左、右反光镜时的面部及眼部特征，该特征数据对上述2)中的模拟数据进行纠正。除上述变道超车、归位行为外，也包括减速、加速、刹车行为，在此统称为变道、变速行为。

与此同时，并基于变道、变速前的驾驶者面部角度、眼部瞳孔位置变化数据，查询行车过程中无变道、变速行为但驾驶者有相似(设定相似度)或相同的面部角度、眼部瞳孔位置的图像数据。将面部角度、眼部瞳孔位置、持续时间(保持相同面部角度、眼部瞳孔位置的连续时间)数据分类，计算相同面部角度与眼部瞳孔位置以及相同持续时间特征时的变道、变速细分行为概率。如表1所示，机器学习输入输出对应表。

表1

第二步，分析预测，基于驾驶者面部及眼部特征数据预测观看行为。基于机器学习判断方法第一步中的特征学习数据库以及当前驾驶环境中的驾驶者面部角度、瞳孔位置(眼部虹膜瞳孔与眼眶中心点的距离)、持续时间实时数据计算当前驾驶者查看车身侧面及后面的具体行为概率。表2是机器学习预测模型输入输出对应表，输入设定概率、面部角度与眼部瞳孔位置、持续时间特征组合决定输出结果，表2中输入数据中面部角度、瞳孔位置、持续时间为实时数据，概率P₀为预先设定值。

表2

二、基于视角投射区域的响应方法

第一种方法，基于上述1、角度模型判断方法，假设车辆反光镜也在基准面内，当视角投射中心点坐标位于车辆反光镜所在的虚拟网格内时，判断结果为视角投射区域是反光镜，并区分左、右反光镜。通过设定观看者的坐标(X₀，Y₀，Z₀)范围确定驾驶者，基于驾驶者的视角投射区域及持续时间响应相关触发事件，触发事件包括图像显示与音响播放。例如，当视角投射区域为右侧反光镜且大于设定持续时间时，则计算机通过屏幕显示外置摄像头采集到的车身右侧尾部周围道路及车辆图像信息，该图像信息模拟仿真右反光镜图像信息。与此同时，与图像显示关联对应，计算机通过音响播放车身右侧尾部周围的车辆情况(如：右后方5米处有车辆行驶，或不同频率、幅度、长度的鸣笛声代替危险警示级别)。同样原理，当视角投射区域为左反光镜时，显示器将模拟显示左后方的图像信息；当视角投射区域为中反光镜(正后方的镜像)时，显示器模拟显示正后方的图像信息。支持右反光镜、左反光镜、中反光镜虚拟存在，假设其均位于基准面上的某一虚拟窗口，以投射区域所属的具体虚拟窗口作为事件响应触发点，事件响应包括显示器显示内容、音响播放音频。

第二种方法，基于上述2、机器学习判断方法，当驾驶者观察反光镜时，基于表2中的输入值输出(预测)结果O_u，根据超车、归位、减速、加速中的具体一个输出结果，响应对应的触发事件，具体为：当判断结果为超车时，显示器显示车辆左后方(或右后方，根据交通法则)超车道的视频(或模拟动画)画面，同时音响播放特定频率及幅度音频信号；当判断结果为归位时，显示器显示车辆右后方(或左后方，根据交通法则)行驶车道的视频(或模拟动画)画面，同时音响播放特定频率及幅度音频信号；当判断结果为减速(非变道)时，显示器显示车辆正后方车道的视频(或模拟动画)画面，同时音响播放特定频率及幅度音频信号；当判断结果为行驶车道加速(非超车)时，显示器显示车辆左侧(或右侧，根据交通法则)超车道的视频(或模拟动画)画面，同时音响播放特定频率及幅度音频信号。

附图说明

图1是高级辅助驾驶及无人驾驶视场智能响应方法及系统实施示意图，符号释义如下：

abcd：基准面(显示器、音响包含于基准面内)；

ageo：虚拟窗口1，对应图1中的数字1；

cheo：虚拟窗口2，对应图1中的数字2；

gobf：虚拟窗口3，对应图1中的数字3；

ohfd：虚拟窗口4，对应图1中的数字4；

U：观看者的面部及眼部；

M：驾驶者(观看者)在基准面的视角投影点；

A：驾驶者(观看者)在基准面的视角投射区域中心点；

V：摄像头；

5：计算机。

虚线为观看者的面部及眼部U、观看者在基准面的视角投影点M、观看者在基准面的视角投射区域中心点A的连接线，U、M、A三点组成直角三角形ΔUMA，UM⊥AM。

图2是高级辅助驾驶及无人驾驶车辆超车示意图，图中的两个V代表车辆V在两个时刻的不同位置，示意车辆V完成一次超车，V₂是被超越车辆；黑线B1、B2是道路两侧边界线，虚线L1、L2是车道分界线，B1与L1之间是超车道，L1与L2之间是行车道，L2与B2之间是应急停车道。

具体实施方式

如图1所示，假设左反光镜所在区域为虚拟窗口1，摄像头V采集观看者的面部及眼部U的图像信息并将数据传向计算机5，计算机5控制显示器的显示内容及音响的播放内容，具体基于观看者的面部及眼部U在基准面的视角投射区域中心点A坐标及持续时间，当A点坐标位于虚拟窗口1时，则计算机5通过显示器及音响提示车辆左后方车道车辆信息。

如图2所示，车辆V在超车过程中，通过机器学习算法学习驾驶者(或驾驶位乘客)的面部角度、瞳孔位置、持续时间与变道、变速具体行为之间的联系，进而基于行驶中驾驶者的面部角度、瞳孔位置、持续时间数据预测具体行为，并通过显示器、音响智能提示与驾驶者行为相关联的必要信息。具体机器学习算法为：

应用机器学习方法中的感知机学习算法，即：

输入：训练数据集T＝{(x₁，y₁)，(x₂，y₂)，(x₃，y₃)，...，(x_N，y_N)}，其中x_i∈X＝Rⁿ，y∈Y＝{-1，+1}，i＝1，2，...，N；学习率η(0＜η≤1)；

输出：w，b；感知机模型f(x)＝sign(w.x+b)。

①选取初值w₀，b₀

②在训练集中选取数据(x_i，y_i)

③如果y_i(w.x_i+b)≤0

w←w+ηy_ix_i

b←b+ηy_i

④转至②，直至训练集中没有误分类点。

通过学习历史数据构建最优化问题，即：min L(w，b)＝-∑y_i(w.x_i+b)

按照上述感知机学习算法求解w、b，η＝1。y_i是输出分类值，即确定驾驶者看向哪个区域(虚拟窗口)及驾驶者的操控行为，x_i是输入指标的值，有两种方法确定x_i，其一：x_i是系数倍的面部角度与系数倍的瞳孔位置的和，即x_i＝ω_iH_i+β_iE_i；其二：x_i是面部角度，b是系数倍的瞳孔位置即b＝β_iE_i。基于已知的面部角度与瞳孔位置数据、驾驶者视线投射区域及操控行为，最终确定w、b、ω_i、β_i的最优值。视线投射区域持续时间作为限定指标，即大于某一值有效，小于某一值则无效，学习过程中持续时间T_S与预测时的触发持续时间T_R关系为T_R＝μT_S。μ是配置系数，0＜μ＜1。

基于上述学习模型及实时的面部角度与瞳孔位置数据，预测驾驶者看向区域及操控行为，并基于看向区域及操控行为执行计算机对应程序，最终通过显示器、音响提示，以帮助驾驶者安全高效驾驶。

对于公交车及出租车等公共用车，基于多个驾驶者操控习惯与面部及眼部特征之间的对应关系概率，预测当前驾驶者视线聚焦点。

Claims (6)

1.高级辅助驾驶及无人驾驶视场智能响应方法及系统，首先基于驾驶者的面部角度与眼部瞳孔位置计算视线投射点及区域，或通过机器学习方法结合历史数据及实时的面部角度与瞳孔位置预测视线投射区域及操控行为；其次，基于驾驶者视线投射区域，触发汽车计算机系统相应程序，并通过操控台前面板屏幕及音响予以提示。

2.根据权利要求1，高级辅助驾驶及无人驾驶视场智能响应方法及系统其特征在于，系统包括软件、硬件，其中硬件由摄像头、计算机、屏幕、音响组成。

3.根据权利要求1，高级辅助驾驶及无人驾驶视场智能响应方法及系统其特征在于，方法分为视角投射区域判断方法、基于视角投射区域的响应方法。基于摄像头及屏幕前方观看者的视角判断对焦区域，摄像头采集观看者的面部、眼部图像，计算机软件基于图像中的面部及眼部特征判断观看者在屏幕中的视角投射区域，进而触发计算机软件中的控件，控件实现视角投射区域的图像显示、切换以及大小调整操作，同时实现对应视角投射区域图像的音响播放。

4.根据权利要求3，高级辅助驾驶及无人驾驶视场智能响应方法及系统其方法特征在于，视角投射区域判断方法分为角度模型判断方法、机器学习判断方法；基于视角投射区域的响应方法分为两种，其一基于角度模型判断方法，假设车辆反光镜也在基准面内，当视角投射中心点坐标位于车辆反光镜所在的虚拟网格内时，判断结果为视角投射区域是反光镜，并区分左、右反光镜，通过设定观看者的坐标范围确定驾驶者，基于驾驶者的视角投射区域及持续时间响应相关触发事件，触发事件包括图像显示与音响播放，当视角投射区域为左反光镜时，显示器将模拟显示左后方的图像信息，当视角投射区域为中反光镜时，显示器模拟显示正后方的图像信息，支持右反光镜、左反光镜、中反光镜虚拟存在，假设其均位于基准面上的某一虚拟窗口，以投射区域所属的具体虚拟窗口作为事件响应触发点，事件响应包括显示器显示内容、音响播放音频；其二基于机器学习判断方法，当驾驶者观察反光镜时，基于输入值输出结果，根据超车、归位、减速、加速中的具体一个输出结果，响应对应的触发事件，当判断结果为超车时，显示器显示车辆左后方超车道的视频画面，同时音响播放特定频率及幅度音频信号，当判断结果为归位时，显示器显示车辆右后方行驶车道的视频画面，同时音响播放特定频率及幅度音频信号，当判断结果为减速时，显示器显示车辆正后方车道的视频画面，同时音响播放特定频率及幅度音频信号，当判断结果为行驶车道加速时，显示器显示车辆左侧超车道的视频画面，同时音响播放特定频率及幅度音频信号。

5.根据权利要求3，高级辅助驾驶及无人驾驶视场智能响应方法及系统其方法特征在于，其角度模型判断方法步骤，第一步，计算观看者与摄像头的距离。根据摄像头焦距、观看者面部图像的大小计算距离，即

D是观看者与摄像头的距离，W是观看者面部的宽度，P是观看者面部的像素宽度，F是摄像头焦距，W、P、F为已知，设定屏幕中心点坐标、摄像头坐标、反光镜坐标，设观看者面部坐标，基于观看者面部在摄像头拍摄画面中的左右、上下位置、摄像头角度计算X₀、Y₀，观看者面部到基准面的距离即

基于d₀及设定已知的基准面Z轴坐标计算Z₀，假设摄像头感光元件也在基准面上，即感光元件与基准面平行且与基准面重叠，若感光元件与基准面不平行，则上述计算需要参考感光元件与基准面的夹角，基准面是虚拟的平面，例如在高级辅助驾驶领域，取车厢内驾驶与副驾驶前部的面板区域为基准面，在智慧城市应急指挥中心应用领域，取屏幕所在平面为基准面；第二步，基于摄像头感光元件相对基准面的位置、摄像头的感光元件所在平面相对于屏幕所在平面的夹角、摄像头镜头畸变、观看者在摄像头成像画面中的位置判断观看者面部在基准面上的投影位置即投影点坐标；第三步，计算观看者面部相对于基准面的倾斜角α以及观看者眼部瞳孔距离眼眶中心点的相对位置；第四步，结合第一步、第二步、第三步计算观看者在基准面上的视角投射区域的中心点坐标A，基于线段UM、AM的距离以及线段UA与UM的夹角计算UA距离，根据两点坐标距离公式，进而计算A点坐标；第五步，确定视角投射区域，将基准面分为多个虚拟窗口，A点坐标所在的虚拟窗口区域即为视角投射区域窗口；采用模糊靠近原则，A点坐标最靠近的虚拟窗口为视角投射区域虚拟窗口。

6.根据权利要求3，高级辅助驾驶及无人驾驶视场智能响应方法及系统其方法特征在于，其机器学习判断方法，第一步，建立特征学习数据库，摄像头采集车辆驾驶座操控者的面部及眼部图像数据、车道变化数据，计算机分析学习面部、眼部图像数据，具体过程：1)采集驾驶者面部特征，识别驾驶者，人脸识别驾驶者的面部骨骼轮廓、皱纹线以及眼睛、鼻子、眉毛、嘴巴、眼镜的大小与形状，唯一确定驾驶者身份面部信息，并与乘坐者区分，计算机默认驾驶者为唯一观看者；2)采集驾驶者视角信息，建立模拟数据，驾驶者模拟真实驾驶车辆时的观察反光镜习惯，包括面部倾斜角度以及眼部看向反光镜时的状态，计算机通过摄像头采集驾驶者看向反光镜时的图像数据，并记录面部倾斜图像信息、瞳孔在眼眶中的相对位置图像信息；3)在真实驾驶环境中，计算机采集学习驾驶者视角信息，计算机、摄像头实时记录驾驶者的面部角度及瞳孔位置特征，同时计算机通过外置摄像头采集车身前后车道线及周围车辆图像数据，通过车道线及追踪周围车辆相对于本车的位置变化识别变道超车、归位行为，计算机提取并学习变道超车、归位前的驾驶者面部角度、眼部瞳孔位置变化数据，查询行车过程中无变道、变速行为但驾驶者有相似或相同的面部角度、眼部瞳孔位置的图像数据，将面部角度、眼部瞳孔位置、持续时间数据分类，计算相同面部角度与眼部瞳孔位置以及相同持续时间特征时的变道、变速细分行为概率，第二步，分析预测，基于驾驶者面部及眼部特征数据预测观看行为，基于机器学习判断方法第一步中的特征学习数据库以及当前驾驶环驶环境中的驾驶者面部角度、瞳孔位置、持续时间实时数据计算当前驾驶者查看车身侧面及后面的具体行为概率；对于公共用车，基于多个驾驶者操控习惯与面部及眼部特征之间的对应关系概率，预测当前驾驶者视线聚焦点。

Images