CN111797809B - 一种面向自动驾驶轨迹跟踪的驾驶员视觉融合方法 - Google Patents

Abstract

本发明公开了一种面向自动驾驶轨迹跟踪的驾驶员视觉融合方法，包括：步骤一、获取驾驶员视角的前视图像及眼动数据；步骤二、从驾驶员视角的前视图像中分离出驾驶员注视点；步骤三、将驾驶员注视点定位到固定坐标系下后，得到驾驶员有效注视点的固定坐标；步骤四、确定驾驶员有效注视点的固定坐标的正态分布特性，并且根据注视点正态分布的拟合参数确定驾驶员预瞄点；步骤五、将驾驶员预瞄点变换到地面坐标系，得到预瞄点的地面坐标；根据预瞄点的地面坐标计算预瞄点对应的前视预瞄时间，并且根据车速、预瞄点的概率密度及预瞄点对应的前视预瞄时间得到前视预瞄时间概率密度图；步骤六、根据前视预瞄时间概率密度图对预测控制驾驶员模型进行修正。

Description

一种面向自动驾驶轨迹跟踪的驾驶员视觉融合方法

技术领域

本发明属于自动驾驶技术领域，特别涉及一种面向自动驾驶轨迹跟踪的驾驶员视觉融合方法。

背景技术

作为人-车-路闭环系统中核心的决策控制单元，驾驶员的研究对于了解人车路之间相互作用方式、整体优化系统具有重要意义。其中，一种有效的研究方法是建立驾驶员模型，建立驾驶员模型就是将实际驾驶员操纵汽车的过程将其抽象为数学表达的过程。

驾驶员模型相关研究已经开展了半个多世纪，在很多方面均有应用。在车辆设计过程中，引入驾驶员模型可以客观、准确、全面、深入地评价整体人-车-路闭环系统控制性能；同时随着低级别自动驾驶系统也就是辅助驾驶系统的广泛应用，辅助系统的安全性也逐渐受到重视，利用驾驶员模型模拟驾驶员经验和技能可以在设计阶段就有效提升辅助系统的安全性。考虑预瞄行为的驾驶员模型在闭环控制研究领域具有重大的意义，因为不考虑驾驶员在线的控制器会把驾驶员的输入视作一项干扰，会对驾驶员的输入产生抑制作用，因此必须把驾驶员在环的设计考虑在内。而驾驶员在驾驶车辆时的预瞄作用，可根据未来时刻汽车实际位置与预估位置的偏差进行决策，从而实现对车辆的控制。期望的预瞄轨迹上的分布轨迹点称为预瞄点，到预瞄点的距离(前视预瞄距离)与速度的比值称为预瞄时间，通常根据预瞄时间来优化驾驶员模型的控制参数，实现驾驶员在环设计。

驾驶员驾车时，所接收的信息几乎全部来自于视觉，交通信号、道路标识、前后车辆等均可以看作是环境对驾驶员的视觉通讯语言。

视觉信息能否正确、实时地处理直接关系到智能车运动速度、路径跟踪以及对障碍物的避碰，对系统的实时性和鲁棒性具有决定性的作用。驾驶员主要通过视觉信息识别前方障碍物以及可靠路径，因此，在模仿人类特性的驾驶员模型中，人性化的视觉特性是非常重要的考虑因素。视觉在人类控制运动方面起着主导作用，驾驶员和车辆之间的交互取决于驾驶员如何处理来自前方道路和周围环境的信息，这些正是驾驶员最重要的信息来源。

现有的驾驶员模型更多的是从车辆动力学的角度出发，将驾驶员模型作为单纯的控制单位，关注的重点是如何控制车辆，这些研究往往会忽视驾驶员与环境的交互方式、视觉认知的过程。虽然这些研究可以获得控制精度接近甚至优于真实驾驶员的模型，但它们在进一步研究人-车-路交互、获得更人性化的控制效果时有所欠缺，因此，有必要考虑视觉认知特性。

发明内容

本发明的目的是提供一种面向自动驾驶轨迹跟踪的驾驶员视觉融合方法，通过在实车驾驶过程中对驾驶员前视预瞄时间的分布特征进行计算，并将预瞄时间分布特征融入到驾驶员模型中，对驾驶员模型进行修正，从而提高驾驶员模型的真实性与实用性。

本发明提供的技术方案为：

一种面向自动驾驶轨迹跟踪的驾驶员视觉融合方法，包括如下步骤：

包括如下步骤：

步骤一、在车辆行驶过程中，获取驾驶员视角的前视图像及眼动数据；

步骤二、从所述驾驶员视角的前视图像中分离出驾驶员注视点；

步骤三、将所述驾驶员注视点定位到固定坐标系下后，得到驾驶员有效注视点的固定坐标；

步骤四、确定驾驶员有效注视点的固定坐标的正态分布特性，并且根据注视点正态分布的拟合参数确定驾驶员预瞄点；

步骤五、将所述驾驶员预瞄点变换到地面坐标系，得到预瞄点的地面坐标；根据所述预瞄点的地面坐标计算预瞄点对应的前视预瞄时间，并且根据车速、预瞄点的概率密度及所述预瞄点对应的前视预瞄时间得到前视预瞄时间概率密度图；

步骤六、根据所述前视预瞄时间概率密度图对预测控制驾驶员模型进行修正。

优选的是，在所述步骤三中，得到驾驶员有效注视点的固定坐标包括如下步骤：

步骤1、将通过眼动仪获取的驾驶员前视图像与行车记录仪采集的图像进行图像匹配，将所述驾驶员注视点定位到固定坐标系下，得到注视点固定坐标；

步骤2、舍弃位于固定坐标系中灭点以上的注视点固定坐标，得到驾驶员有效注视点的固定坐标。

优选的是，在所述步骤四中，在直线行驶工况时，有效注视点的固定坐标的分布函数为：

其中，w＝r₁+r₂v，y′₀＝r₃+r₄v；

式中，r₁，r₂，r₃，r₄分别为线性拟合系数，v为当前车速，w表示注视点在纵向分布的标准差，y′₀为有效注视点分布中心的纵坐标，y′是驾驶员注视点纵向固定坐标，u为y′的概率密度。

优选的是，在所述步骤四中，在弯道行驶工况时，有效注视点的分布函数为：

其中，w＝r₅+r₆v，y′₀＝r₇+r₈ln(R)；

式中，r₅，r₆，r₇，r₈分别为线性拟合系数，v为当前车速，R为道路曲率半径，w表示注视点在纵向分布的标准差，y′₀为有效注视点分布中心的纵坐标，y′是驾驶员注视点纵向固定坐标，u为y′的概率密度。

优选的是，在所述步骤四中，有效注视点的分布中心所在的空间位置为对应工况下的驾驶员预瞄点。

优选的是，在所述步骤五中，通过如下变换得到预瞄点的地面坐标：

其中，

式中，(x′₀,y′₀)为驾驶员预瞄点坐标，(x_g0,y_g0)为预瞄点的地面坐标，

为透视矩阵；f为行车记录仪相机焦距，

为行车记录仪相机位置的正交旋转矩阵，

为行车记录仪相机位置的平移矩阵，(x₀,y₀)为行车记录仪采集的图像中心坐标。

优选的是，在所述步骤五中，预瞄点对应的前视预瞄时间为：

式中，h′₂₂、h′₃₂、h′₂₄、h′₃₄分别为透视矩阵中的元素；v为当前车速，y′₀为预瞄点纵坐标。

优选的是，在所述步骤六中，对预测控制驾驶员模型进行修正，包括如下步骤：

步骤a、根据前视预瞄时间概率密度图对预瞄时间权重函数离散采样，获得对应预瞄时间的权重值；

步骤b、对预瞄时间的权重值进行标准化，得到驾驶员模型中的加权矩阵Q的修正系数

步骤c、根据所述修正系数对所述加权矩阵Q进行修正，得到修正后的加权系数Q'；其中，

优选的是，在所述步骤一之前还包括确定驾驶路线；

所述驾驶路线包括：直线路段、第一曲率弯道和第二曲率弯道；

其中，所述第一曲率弯道的曲率半径为800～1500m，所述第二曲率弯道的曲率半径为100～200m。

本发明的有益效果是：

本发明提供的面向自动驾驶轨迹跟踪的驾驶员视觉融合方法，通过实车实验，设计不同的工况采集并预处理驾驶员的视觉行为数据，获得驾驶员的注视点分布，提取驾驶员视觉认知特性，建立了预瞄时间的权重分布函数，确定驾驶员模型的加权矩阵，并与模型预测控制驾驶员模型进行融合，使轨迹跟踪更加精确与人性化；克服了传统模拟器的拟真度限制，同时也考虑复杂的行车环境下的驾驶员视觉行为，更具真实性；同时将驾驶员的视觉认知融合到驾驶员模型中，使驾驶员模型更加具备系统性的整体行为，这对于未来驾驶员模型的系统控制规划具有一定的贡献价值。

附图说明

图1为本发明所述的面向自动驾驶轨迹跟踪的驾驶员视觉融合方法的流程图。

图2为本发明所述的直线工况下的预瞄时间概率密度图。

图3为本发明所述的弯道工况下的预瞄时间概率密度图。

图4为本发明所述的预瞄时间权重值离散取样的示意图。

具体实施方式

下面结合附图对本发明做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。

如图1所示，本发明提供了一种面向自动驾驶轨迹跟踪的驾驶员视觉融合方法，包括以下实施过程：

步骤一，实验方案设计及数据采集。

实验设备：眼镜式眼动仪，获取驾驶员注视点(图像坐标系)及驾驶员视角的图像信息；行车记录仪，用来消除图像抖动；具有开放CAN底层协议的实验车，可实时采集驾驶员操纵行为信息、车辆的运动学与动力学信息；CAN线信号收集器，可记录CAN信号，收集实验监测数据。

由于眼镜式眼动仪会随驾驶员头部转动，会导致其所拍摄的视频图像也是动态的。因此，使用固定视角行车记录仪同步采集行车前方道路视频图像，后期用于驾驶员视角图像的匹配与校正。安装该行车记录仪时，需要预先测量该行车记录仪距离车辆后轴中点位置。该行车记录仪装在前风挡玻璃，后视镜正下方，所拍摄视角为行车正前方。

实验样本：考虑本发明采用头戴式眼动仪设备，参与实验的驾驶员需符合以下要求：

①视力正常或习惯不佩戴眼睛驾驶；

②至少有1年实际车辆驾驶经验；

③已取得C1或以上驾驶执照。

同时，需要考虑受试者性别、年龄以及驾龄，总体平均水平应接近理论驾驶员平均水平。

实验工况设计：

实验环境要求直线与弯道两种道路工况，同时，在两种工况下还需设计不同的行驶车速。具体要求如下：

①环境要求：路面附着正常，车道线标识清晰，纵向坡度<5％，侧向风速<2m/s，路线包含直线路段，小曲率弯道(曲率半径为800—1500m)，大曲率弯道(曲率半径100—200m)。

②车速要求：低速工况下，驾驶员驾驶负荷较低，会给注视点的定位带来很大误差，因此不设定低速工况，只设置中高速分档速度工况(如50km/h，70km/h，90km/h)。

步骤二，眼动数据同步及视频图像校正处理。

首先，对多套设备采集到的驾驶员视觉图像，以Unix时间作为同步基准，进行数据同步，即在实验过程中对于每一组设备的数据采集都需要额外记录每一帧数据的Unix时间戳(Unix timestamp)。

接下来，要对采集到的图像进行预处理，主要是畸变图像的校正。在图像数据处理阶段，利用如下公式进行图像矫正：

式中，(x₀，y₀)为畸变中心坐标，r_d为所述像素点距离畸变中心的距离，λ为畸变系数，(x_u，y_u)是矫正后得到的像素点坐标，(x_d，y_d)为所述像素点当前坐标。

参数λ仅与摄像机镜头参数有关，需要在测试之前进行摄像机参数标定，具体方法如下：

1.使用待测摄像机拍摄标定用图，一般为直线组成的图形，并且尽量在各个方向均有直线(标定板上的几何直线)；

2.识别圆弧，一般可以通过角点检测或者边缘检测的方式估算各圆弧(直线畸变形成的圆弧)的几何参数(圆心及半径)；

获取的直线表示为如下形式(即求解式中A、B、C)：

3.将各直线段畸变后的圆弧的几个重要特征点，获取实际点，畸变点，畸变中心的坐标。具体计算公式如下，其中求解x₀，y₀：

(A₁-A₂)x₀+(B₁-B₂)y₀+(C₁-C₂)＝0；

(A₁-A₃)x₀+(B₁-B₃)y₀+(C₁-C₃)＝0；

4.通过畸变中心参数匹配并估算式中的系数λ(畸变系数一般为普通镜头尺寸的1/20；

5.使用上式进行逐像素点的变换获得矫正后的图像。

步骤三，获取注视点并进行图像匹配处理。

眼动设备采集到的原始眼动数据包含了注视点和扫视点，其中的扫视点记录了驾驶员视点切换的过程，驾驶员扫视点更多时候是由于视线移动造成，对于道路环境认知，更为关注的是驾驶员的注视信息。采用离差阈值法(I-DT)来分离扫视点，获得注视点。

离差阈值法(I-DT)利用注视点对应的眼动速度低且趋向于紧密地聚集在一起的特性分类注视和扫视。离差阈值法通过计算某一个窗口内的离差来判断是否为注视点，具体离差的计算为：

D＝(max(x)-min(x))+(max(y)-min(y))；

其中，max(x)为窗口内视点x坐标最大值，max(y)为窗口内视点y坐标最大值；min(x)为窗口内视点x坐标最小值，min(y)为窗口内视点y坐标最小值。

如果离差低于离差阈值，该窗口是注视点，并且该窗口会进一步展开(向右扩展)直到窗口的离散度高于阈值。如果初始窗口的离差值就高于阈值，则直接移动窗口。用这种方法遍历整段数据后，所有剩下的数据是扫视点。

在本实施例中，具体过程如下：

1)初始化，时间窗口初值设定为0.2s，视点偏离阈值这里设定为50；

2)计算时间窗口内的视点偏离D，如果低于视点偏离阈值，则认为该时间窗口是注视点，执行第3步；否则如果高于或等于视点偏离阈值，执行第4步；

3)进入下一时刻，更新时间窗口，将下一时刻数据划入该动态时间窗口数据集，执行第2步；

4)滑动时间窗口，新时间窗口起始从上一个窗口的末尾时刻T+1接入，窗口大小0.2S，执行第2步。

采用这种方法遍历时间序列，进而获得所有行车过程注视点。

获得注视点后，还需要对注视点进行定位处理，要把眼动仪记录的图像与固定坐标系(行车记录仪)下的图像进行匹配，得到固定像素坐标系下的注视点坐标。

采用SURF特征提取方法匹配眼动仪与行车记录仪的图像。SURF算法能够对图像进行快速匹配，而且精度也比较高。SURF算法使用了Hessian矩阵计算每一个像素点的特征值，进而通过判别式识别出图像稳定的边缘点(突变点)，这些边缘点实际也就是Hessian矩阵的判别式取得局部极大值的点。具体匹配步骤如下：

(1)对每一个像素点，构建Hessian矩阵。假设函数L＝f(x,y)为某一像素点(x,y)的灰度值，则对应像素点(x,y)的Hessian矩阵构建如下：

根据Hessian矩阵的判别式

选取满足极大值的像素点，对于筛选出的极大值点，确定为SURF特征提取的特征点；

(2)以特征点为中心，张角为π/3的扇形滑动，计算窗口内的Harr小波响应值dx、dy的累加：

m_w＝∑_w dx+∑_w dy；

θ_w＝arctan(∑_wdx/∑_wdy)；

最大累加值所对应的方向，即为特征点主方向；

(3)在特征点周围取一个正方形框，框的边长为20s(s为所检测到该特征点所在的尺度)，然后把该框分为16个子区域，每个子区域统计25个像素的水平方向和垂直方向的Haar小波特征，该Haar小波特征为水平方向值之和、水平方向绝对值之和和垂直方向之和、垂直方向绝对值之和。即以特征点为中心，沿主方向将20(s)*20(s)的图像划分为4*4个子块，每个子块用尺寸2s的Harr模块进行响应值计算，并统计每个子块∑dx,∑|dx|,∑dy,∑|dy|的特征数据。

(4)应用透视变换，尽可能地使更多地特征点和特征矢量相匹配。

首先，随机选择4个特征点作为初始值，然后用这些点计算一个Homography矩阵，该计算结果唯一：

式中，(x₂₀,y₂₀)为待匹配图像中选择的初始特征点的坐标，(x₁₀,y₁₀)为基准图像上选择的初始特征点的坐标，

表示Homography矩阵。

使用该Homography矩阵变换其他所有特征点：

式中，(x₂,y₂)为驾驶员视角像素坐标系下的特征点坐标，(x′₁,y₁′)表示使用该Homography矩阵变换将(x₂,y₂)的投影变换结果。

将(x′₁,y₁′)与对应基准图像的匹配的特征点(x₁,y₁)进行误差分析，如果满足下式则直接输出该Homography矩阵。此时误差S足够小，n为特征点总数：

如果本次匹配的特征点误差分析结果S大于之前一次，则直接舍弃本次计算结果，否则保留本次Homography矩阵，并继续进行下一次迭代计算，直到筛选出误差分析结果S最小，即匹配程度最高的Homography矩阵，作为变换矩阵。

根据求得的Homography变换矩阵，可将移动视角下的图像坐标系中的注视点变换为固定图像坐标系下的修正注视点坐标：

式中，

为变换矩阵，(x,y)为移动视角下图像坐标系中的注视点坐标，(x′,y′)为匹配处理后的固定图像坐标系下修正注视点坐标。

步骤四，确定注视点分布特征。

首先对定位的注视点进行有效性检验。在直线工况中，驾驶员被要求按照固定速度行驶，为尽量消除实验影响，不需要驾驶员时刻关注速度，确保车速完全准确。对于每一组实验的注视点数据，都会先判断车速的分布状况，如果在分布上有95％的采样点车辆速度误差小于±10％，则可以认为该组数据有效，进一步的分析其眼动信息。

可通过灭点来判断注视点的有效性。灭点是在存在于空间中延申向无穷远处的一组平行线(直线车道的左右车道线)在透视投影到二维图像也就是摄像机(行车记录仪)记录的图像内相交的交点，即视野内道路的终点。受试者的注视点绝大部分应该分布在灭点以下，灭点以上的点可以作为无效数据舍弃。

以10像素为统计间隔，获得受试者在某一工况下的注视点分布统计图，通过本发明的实车数据统计分析，注视点的分布理论上接近正态分布。采用Jarque-Bera检验来进行正态验证。JB检验是基于偏度和峰度计算的统计量，通过构造JB统计量检验实验数据的正态性：

其中，偏度W为

峰度K为K＝μ₄/μ₂ ²；

对于

j阶中心矩为

一阶中心矩即样本均值

N为样本总量；x_i为待检验样本；JB服从χ²分布。

若注视点分布的JB统计量小于显著性水平0.05时的临界值，接受注视点分布符合正态分布的原假设。

步骤五，拟合注视点正态分布参数，获得预瞄点。

在确定注视点分布符合正态分布后，通过正态分布拟合公式来拟合原始数据，获得其分布均值和分布方差：

其中，u为该分布中对应自变量y′的概率密度，y′是驾驶员注视点纵向图像坐标，w表示注视点在纵向分布的标准差，y′₀为注视点分布中心在图像坐标系(固定坐标系)下的纵坐标，二者均为待拟合参数。其中y′₀代表整个注视区域的中心点的纵向位置，因此该中心点(x′₀,y′₀)为驾驶员在此工控下的预瞄点。通过观察分布图估算拟合公式内参数w与y′₀的大概值，提供合理的初始解，避免陷入其他局部小值点。

分直线与弯道两种工况来拟合注视点正态分布参数：

1.直线工况

统计不同类型驾驶员在直线工况下的注视点分布正态拟合数据，

通过绘制受试者在直线工况下不同车速注视点纵坐标的统计分布图，拟合出参数y′₀与w。理想情况下，拟合参数y′₀与w均与车速呈明显的线性相关特性，则分布函数为：

w＝r₁+r₂v；

y′₀＝r₃+r₄v；

其中，r₁，r₂，r₃，r₄为线性拟合系数，v为当前车速。

2.弯道工况

弯道工况的统计分析方法与直线工况相同，需要注意的是，弯道工况需要考虑不同曲率半径对拟合参数y′₀与w的影响，即在不同的弯道曲率下，拟合参数y′₀与w，并考虑曲率半径R的影响。理想情况下，拟合参数w与车速呈明显线性关系，曲率半径对该参数没有明显影响；拟合参数y′₀与曲率半径对数的相关性很高，车速对该参数没有明显影响，分布函数为：

w＝r₅+r₆v；

y′₀＝r₇+r₈ln(R)；

其中，r₅，r₆，r₇，r₈为线性拟合系数，v为当前车速，R为道路曲率半径。

步骤六，对预瞄点进行图像-地面坐标系下的转换，确定预瞄时间权重分布。

得到注视点的分布函数后，还需要构建预瞄时间与预瞄点位置之间的转化函数。在步骤五中，通过拟合得到的分布中心的纵向位置y′₀，即为预瞄点在图像坐标系(固定坐标系)下的纵向位置。要计算前视预瞄距离与预瞄时间，还需要把图像坐标系下的预瞄点变换到地面坐标系下。为了简化计算，忽略路面的倾斜，同样可以用一个二维坐标表示驾驶员在路面的预瞄位置，考虑到从驾驶员视角图像变换到二维的路面平面也属于一种透视变换，我们只需要通过行车记录仪摄像头的空间位置、焦距等参数求解透视矩阵

并表示为Homography矩阵的一般形式：

式中，(x₀,y₀)为固定坐标系(行车记录仪采集的)图像中心坐标，f为行车记录仪相机焦距，

为行车记录仪相机位置的正交旋转矩阵，可表示为：

为相机位置的平移矩阵，可表示为：

基于此可将固定图像坐标系中的预瞄点投影变换到地面坐标系中。具体方法为，通过如下变换将预瞄点坐标投影变换到地面坐标系上：

其中，(x′₀,y′₀)为图像坐标系(固定坐标系)下的预瞄点坐标，(x_g0,y_g0)为投射到鸟瞰视角的地面坐标系中的预瞄点坐标(预瞄点地面坐标)。

得到预瞄点坐标后，需计算前视预瞄距离与预瞄时间，直线工况与弯道工况的计算方法相同，具体包括以下步骤：

求前视预瞄距离。根据前面的投影变换关系，可确定预瞄点在地面坐标系下的位置坐标(x_g0,y_g0),其纵坐标y_g0即为预瞄点的纵向距离，即前视预瞄距离，计算公式为：

①由于固定位置相机的安装平行于车辆中轴线，在进行鸟瞰投影时没有横摆方向的旋转，所以上式中的参数h′₂₁，h′₃₁均为0，则可改写为：

②根据前视预瞄距离与车速，确定驾驶员预瞄时间权重分布函数，计算公式为：

③通过上述步骤，求得了驾驶员在不同速度与道路曲率半径下的预瞄时间，以每位受试驾驶员的车速、预瞄时间以及求得预瞄点的概率密度为坐标轴，绘制预瞄时间概率密度图，在弯道工况下，还需额外考虑弯道曲率半径，所出概率密度图如图2-3所示。

步骤七，把考虑视觉的预瞄时间分布与驾驶员模型相融合。得到前视预瞄时间的概率密度图后，可作为视觉特性的权重参考与驾驶员模型相结合，过程如下：

在驾驶员模型上，本发明应用自动驾驶轨迹跟踪系统常用的模型预测控制驾驶员模型。模型预测控制系统地考虑未来预测和系统运行的约束，其预测过程涉及预测时域内的所有离散时刻。在时刻k对于给定参考信号序列，模型预测控制系统的目标是使预测输出接近参考信号。定义目标函数J来描述控制目标：

其中，

是预测模型的状态，

是预测模型的输入，

是输出增量矩阵，

是加权矩阵，形式为对角矩阵，如下式所示：

前述步骤中确定了驾驶员在不同车速与不同道路曲率下的预瞄时间分布概率，即前方道路上的预瞄点对驾驶员决策的影响程度。以该数值为基础，可以修改驾驶员模型中的加权矩阵

以此达到更精准、更加拟人化的控制策略。

首先根据相应工况的预瞄时间-权重(概率密度)图，对预瞄时间权重函数离散采样，可以获得对应预瞄时间的权重值，离散采样示意图如图4所示。由于离散采样的原因，权重值的和一般不为1，需要利用下式对权重标准化：

据此对加权矩阵进行修正：

把融入预瞄时间分布权重的加权矩阵(修正后的加权矩阵)加入到模型预测控制驾驶员模型的目标函数J中，达到视觉特性的融合。

至此，完成了自动驾驶领域，驾驶员前视预瞄视觉行为特性与驾驶员模型的结合，可提升自动驾驶轨迹跟踪的精确度与人性化设计。

尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里示出与描述的图例。

Claims (6)

1.一种面向自动驾驶轨迹跟踪的驾驶员视觉融合方法，其特征在于，包括如下步骤：

步骤一、在车辆行驶过程中，获取驾驶员视角的前视图像及眼动数据；

步骤二、从所述驾驶员视角的前视图像中分离出驾驶员注视点；

步骤三、将所述驾驶员注视点定位到固定坐标系下后，得到驾驶员有效注视点的固定坐标；

步骤四、确定驾驶员有效注视点的固定坐标的正态分布特性，并且根据注视点正态分布的拟合参数确定驾驶员预瞄点；

步骤五、将所述驾驶员预瞄点变换到地面坐标系，得到预瞄点的地面坐标；根据所述预瞄点的地面坐标计算预瞄点对应的前视预瞄时间，并且根据车速、预瞄点的概率密度及所述预瞄点对应的前视预瞄时间得到前视预瞄时间概率密度图；

其中，通过如下变换得到预瞄点的地面坐标：

其中，

式中，(x′₀,y′₀)为驾驶员预瞄点坐标，(x_g0,y_g0)为预瞄点的地面坐标，

为透视矩阵；f为行车记录仪相机焦距，

为行车记录仪相机位置的正交旋转矩阵，

为行车记录仪相机位置的平移矩阵，(x₀,y₀)为行车记录仪采集的图像中心坐标；

预瞄点对应的前视预瞄时间为：

式中，h′₂₂、h′₃₂、h′₂₄、h′₃₄分别为透视矩阵中的元素；v为当前车速，y′₀为预瞄点纵坐标；

步骤六、根据所述前视预瞄时间概率密度图对预测控制驾驶员模型进行修正，包括如下步骤：

步骤a、根据前视预瞄时间概率密度图对预瞄时间权重函数离散采样，获得对应预瞄时间的权重值；

步骤b、对预瞄时间的权重值进行标准化，得到驾驶员模型中的加权矩阵Q的修正系数

步骤c、根据所述修正系数对所述加权矩阵Q进行修正，得到修正后的加权系数Q'；其中，

2.根据权利要求1所述的面向自动驾驶轨迹跟踪的驾驶员视觉融合方法，其特征在于，在所述步骤三中，得到驾驶员有效注视点的固定坐标包括如下步骤：

步骤1、将通过眼动仪获取的驾驶员前视图像与行车记录仪采集的图像进行图像匹配，将所述驾驶员注视点定位到固定坐标系下，得到注视点固定坐标；

步骤2、舍弃位于固定坐标系中灭点以上的注视点固定坐标，得到驾驶员有效注视点的固定坐标。

3.根据权利要求2所述的面向自动驾驶轨迹跟踪的驾驶员视觉融合方法，其特征在于，在所述步骤四中，在直线行驶工况时，有效注视点的固定坐标的分布函数为：

其中，w＝r₁+r₂v，y′₀＝r₃+r₄v；

式中，r₁，r₂，r₃，r₄分别为线性拟合系数，v为当前车速，w表示注视点在纵向分布的标准差，y′₀为有效注视点分布中心的纵坐标，y′是驾驶员注视点纵向固定坐标，u为y′的概率密度。

4.根据权利要求3所述的面向自动驾驶轨迹跟踪的驾驶员视觉融合方法，其特征在于，在所述步骤四中，在弯道行驶工况时，有效注视点的分布函数为：

其中，w＝r₅+r₆v，y′₀＝r₇+r₈ln(R)；

式中，r₅，r₆，r₇，r₈分别为线性拟合系数，v为当前车速，R为道路曲率半径，w表示注视点在纵向分布的标准差，y′₀为有效注视点分布中心的纵坐标，y′是驾驶员注视点纵向固定坐标，u为y′的概率密度。

5.根据权利要求3或4所述的面向自动驾驶轨迹跟踪的驾驶员视觉融合方法，其特征在于，在所述步骤四中，有效注视点的分布中心所在的空间位置为对应工况下的驾驶员预瞄点。

6.根据权利要求5所述的面向自动驾驶轨迹跟踪的驾驶员视觉融合方法，其特征在于，在所述步骤一之前还包括确定驾驶路线；

所述驾驶路线包括：直线路段、第一曲率弯道和第二曲率弯道；

其中，所述第一曲率弯道的曲率半径为800～1500m，所述第二曲率弯道的曲率半径为100～200m。

Images