CN110852281A - 基于高斯混合隐马尔科夫模型的驾驶员换道意图识别方法 - Google Patents

Abstract

本发明属于驾驶员意图模式识别及机器学习技术领域，具体涉及基于高斯混合隐马尔科夫模型的驾驶员换道意图识别方法；是一种基于车载传感器实测数据的换道驾驶意图识别方法，该方法通过对驾驶员观察后视镜的动作以及其操控方向盘的状态判断其是否有换道意图，同时通过监测当前路况状态，判断当前是否有换道需求。本发明方法基于高斯混合隐马尔科夫模型推测当前驾驶员最可能产生的驾驶意图，可以在保证安全的前提下减轻驾驶员负担，提高其舒适度，若有危险情况发生，可更早地进行处理以避免事故发生。

Description

基于高斯混合隐马尔科夫模型的驾驶员换道意图识别方法

技术领域

本发明属于驾驶员意图模式识别及机器学习技术领域，具体涉及基于高斯混合隐马尔科夫模型的驾驶员换道意图识别方法。

背景技术

近年来汽车智能化水平在不断提高，在智能化进程中，驾驶人和智能控制系统共同驾驶汽车依然是当前研究的热点。而驾驶人作为人-车-路闭环系统中相对最不稳定的主体因素，在驾驶过程中往往会表现出不同的驾驶特性。目前以高级驾驶辅助系统为代表的汽车主动安全辅助系统在对交通安全态势进行评估时，往往通过雷达或视觉感知周围环境信息和本车状态，忽略了驾驶人的行为动机和驾驶意图。忽略驾驶意图使得系统可能发出与驾驶员意愿相悖的警告或措施，从而使驾驶员变得紧张或注意力分散。

发明内容

为了克服上述问题，本发明提供基于高斯混合隐马尔科夫模型的驾驶员换道意图识别方法，是一种基于车载传感器实测数据的换道驾驶意图识别方法，该方法通过对驾驶员观察后视镜的动作以及其操控方向盘的状态判断其是否有换道意图，同时通过监测当前路况状态，判断当前是否有换道需求。本发明方法基于高斯混合隐马尔科夫模型推测当前驾驶员最可能产生的驾驶意图，可以在保证安全的前提下减轻驾驶员负担，提高其舒适度，若有危险情况发生，可更早地进行处理以避免事故发生。

基于高斯混合隐马尔科夫模型的驾驶员换道意图识别方法，包括如下步骤：

步骤一，确定通过行车记录仪获得的图像中驾驶员人脸区域所在边框及该边框左右边界对应水平方向的坐标，基于YCbCr颜色空间进行肤色提取的方法对驾驶员脸部区域进行提取，得出人脸粗定位图；

所述的坐标是指以图像左下角的像素点为原点的坐标系；

步骤二，基于ASEF滤波器进行人眼定位，首先需要使用图片对该滤波器进行训练，将通过行车记录仪获得的驾驶员视频数据拆解成序列图片作为训练样本，对每张图片手动指定左眼和右眼的中心位置作为输出，这样每张序列图片和输出为一对训练对，将训练对输入ASEF滤波器中进行训练，求训练样本中的人眼定位滤波器的平均值得到人眼定位最终滤波器；

步骤三，分别将驾驶员的头部转动、眼部转动和转动方向盘定量化为驾驶员头部偏转角度p、驾驶员的视线方向q和方向盘转角熵值Hp；

步骤四，基于隐马尔科夫模型HMM的换道驾驶意图识别模型建立：

采用隐马尔科夫模型HMM中的高斯混合隐马尔科夫模型作为换道驾驶意图识别模型，该模型的隐含状态即驾驶意图与观测值之间的概率关系，训练换道驾驶意图识别模型来进行驾驶意图识别：

将三种换道驾驶意图，即左换道意图，右换道意图和道路保持意图，分别作为三个换道驾驶意图识别模型的隐含状态，分别使用能够表征相应驾驶意图的观测数据训练这三个换道驾驶意图识别模型，得到训练好的左换道意图识别模型，右换道意图识别模型以及道路保持意图识别模型；

步骤五，根据驾驶员当前的外部观测数据，对步骤四中训练好的左换道意图识别模型，右换道意图识别模型以及道路保持意图识别模型通过模型评估的方法得到驾驶员当前的驾驶意图；

步骤六，将车辆驾驶模式的需求换道状态下产生的步骤五所述的驾驶员当前的驾驶意图定义为有效。

所述的步骤一中取人脸区域水平方向坐标的最小值和最大值作为人脸区域所在边框的左右边界，首先基于YCbCr颜色空间进行肤色提取的方法对驾驶员脸部区域进行提取，具体如下：

将经高斯滤波处理的人脸图像上任意一个像素点的纯色度值的浓度偏移量定义为pi＝[Cb,Cr]^T，计算该点属于皮肤区域的概率，计算公式如下所示：

PR(pi＝[Cb,Cr]^T)＝exp[-0.5(pi-u)^TC^-1(pi-u)]

根据文献中现有的测定值为基础，再用3000张图像样本进行参数调整，参数调整初始使用的参数值为u＝[112.1987 151.3993]，C＝[89.3255 32.2867；32.2867252.9236]，参数调整就是不断用3000张图片中各像素点的Cb,Cr值代入到公式1中，同时不断调整u和C的值，直到找到将所有图像样本的肤色区域准确提取的值，此时得到确定的均值及方差矩阵为u＝[117.4316 148.5599]，C＝[260.130 12.1430；12.1430 150.4574]；

Cb为图像各像素的蓝色色彩分量，Cr为图像各像素的红色色彩分量，T表示对矩阵取转置，u为Cb，Cr对应的均值向量，C为Cb，Cr对应的协方差矩阵，PR为每个像素点与肤色的似然度；

给定一幅人脸图像中的任意一个像素点的纯色度值，即每个像素点的Cb和Cr值，代入上式，以横纵坐标分别为图像中像素位置坐标，z轴为PR，绘制肤色相似度图；

其中将PR值大于0.6的部分视为肤色区域，把PR值大于0.6的像素点的值设为1，其它像素点的值设为0，即可得到人脸区域的二值图；

对于得到的二值图进行开闭运算，去除每块区域面积与最大区域面积的比值小于0.3的区域，连通域降噪操作，最后通过连通域提取，以脸部长宽比及区域填充率分别处于区间[0.8,2]和[0.6,1]的部分作为脸部区域，得出人脸粗定位图。

所述的步骤二中手动定义经ASEF滤波器处理后的训练样本中各图片对应的输出图像，输出图像各像素点坐标记为(x,y)，(x,y)的二维高斯分布函数为g_i(x,y)，如公式(2)所示：

(x,y)服从二维高斯分布，二维高斯分布的均值(x_i,y_i)就是眼部的中心

坐标，

其中x_i、y_i分别为训练样本中第i张图片中驾驶员人眼的左眼中心和右眼中心的横纵坐标，σ为二维高斯分布的半径，又由于人眼定位是在一确定图片的基础上通过手动的方式寻找人眼的位置，因此g_i(x,y)又可表示为：

其中(w，z)是指将(x，y)变换到傅里叶空间中的对应坐标，F_i为第i张图片通过傅里叶变换得到的傅里叶空间中的图像表示，h_i为将f_i变为g_i的滤波器，f_i表示第i幅图片，F_i为f_i的傅立叶变换；h_i表示第i幅图片与驾驶员左眼中心或右眼中心位置的关系，即人眼定位滤波器，H_i为h_i的傅立叶变换；F^-1为f_i的傅立叶逆变换，对于f_i中每个像素点的值，可通过h_i变换为输出g_i中的值，基于公式(3)可得到训练样本中每张图片对应的人眼定位滤波器：

其中G_i为g_i的傅立叶变换，H_i ^*为傅里叶空间中的H_i的共轭

求训练样本中的人眼定位滤波器的平均值：

这里N为训练样本中的图片个数，H_u和h_u都是求平均之后的人眼定位最终滤波器，H_u ^*和h_u ^*分别是傅里叶空间中的H_u和h_u的共轭。

所述的步骤三中：

1.驾驶员头部转动

在识别驾驶员是否有换道驾驶意图时，用驾驶员注视后视镜的动作表征其驾驶意图，显然，随着驾驶员的头部转动，行车记录仪拍摄录像中其双眼相对于脸部识别边框的位置会改变，则有

其中，x_1i，x_2i分别为驾驶员左眼中心和右眼中心的水平方向坐标，x_1max，x_2max为驾驶员脸部识别边框的左右两个竖直边对应的水平方向坐标，p为驾驶员头部偏转角度，p值越大，说明驾驶员头部越向左偏转，p值越接近1则说明驾驶员头部越不偏转，p值越小则说明驾驶员头部越向右偏转；坐标是指以图像左下角的像素点为原点的坐标系；

2.驾驶员眼部转动

通过步骤二中得到的求平均之后的人眼定位最终滤波器得到驾驶员任意一只眼睛的中心位置，提取驾驶员眼睛整体部分，具体为：取任意一只眼睛中心位置水平方向左右各20个像素点，及该只眼睛中心位置垂直方向上下各取10个像素点，确定为眼睛部分，该任意一只眼睛的中心位置到该只眼睛的眼眶左边缘的距离与该同一眼睛中心位置到对应眼睛的眼眶右边缘距离的比值记为q，q即为驾驶员任意一只眼睛中心的相对位置，即驾驶员的视线方向；

其中x_L为眼睛中心位置到对应眼睛的眼眶左边缘的距离，x_R为眼睛中心位置到对应眼睛的眼眶右边缘的距离，q值越大表明驾驶员视线方向为越向左看，反之为越向右看；

3.方向盘转角熵值

方向盘转角熵值是根据驾驶员对方向盘转角的预测偏差出现的概率来计算的，设在相同时刻n的连续几个采样点n-3、n-2、n-1对应的方向盘转角实际值分别为θ(n-3),θ(n-2),θ(n-1)，则在采样时刻n的方向盘转角预测值θp(n)为

θp(n)＝θ(n-1)+(θ(n-1)-θ(n-2))+0.5(θ(n-1)-θ(n-2))-(θ(n-2)-θ(n-3)))

若在采样时刻n的方向盘转角实际值为θ(n)，则预测偏差值e(n)为

e(n)＝θ(n)-θp(n)

设定预测偏差e(n)的绝对值小于α的概率为90％，通过实际观测数据的计算，满足此设定的α值为1°，在此基础上将预测偏差值e(n)划分9个对应区间：

(-∞,5α],(-5α,-2.5α],(-2.5α,-α],(-α,-0.5α),[-0.5α,0.5α),[0.5α,α),[α,2.5α),[2.5α,5α),[5α,∞)

当前样本的方向盘转角熵值Hp表达式为：

其中：i表示第i个区间，p_i表示在区间i内的预测偏差值的数量占预测偏差值总体数量的比值，Hp为方向盘转角熵值。

所述的步骤四中

采用隐马尔科夫模型HMM中的高斯混合隐马尔科夫模型作为左换道意图识别模型、右换道意图识别模型和道路保持意图识别模型，并在每个模型中定义三个隐含状态j，其中定义隐含状态j＝1时表示轻度意图状态S1，隐含状态j＝2时表示中度意图状态S2，隐含状态j＝3时表示强烈意图状态S3，将外部观测数据根据其值大小定义为三个外部观测数据区间，并将三个外部观测数据区间记为OL、OR和OS；

其中左换道意图下的外部观测数据区间为OL，OL为驾驶员头部偏转角度p大于1.2，驾驶员任意一只眼睛中心的相对位置，即驾驶员的视线方向q大于1.5，方向盘转角熵值Hp大于0.4，在左换道意图模型内，系统自动根据数值大小将OL分为三个区间：OL1,OL2,OL3；

右换道意图下的外部观测数据区间为OR，OR为驾驶员头部偏转角度p小于0.8，驾驶员任意一只眼睛中心的相对位置，即驾驶员的视线方向q小于0.6，方向盘转角熵值Hp大于0.4，在右换道意图模型内，系统自动根据数值大小将OR分为三个区间：OR1,OR2,OR3；

道路保持意图下的外部观测数据区间为OS，OS为驾驶员头部偏转角度p在0.8到1.2之间，驾驶员任意一只眼睛中心的相对位置，即驾驶员的视线方向q在0.6到1.5之间，方向盘转角熵值Hp小于0.4，在道路保持意图模型内，系统自动根据数值大小将OS分为三个区间：OS1,OS2,OS3；

采用的高斯混合隐马尔科夫模型为：

其中观测值概率集合B＝{b_j(O)}，表示模型中的隐含状态j和外部观测数据的联系，即为隐含状态j对应的高斯混合模型；m为组成高斯混合模型的高斯函数个数，具体是指外部观测数据区间，m＝1时，取外部观测数据区间(OL1,OR1,OS1)，m＝2时，取外部观测数据区间(OL2,OR2,OS2)，m＝3时，取外部观测数据区间(OL3,OR3,OS3)；M＝3；O为观测值序列，其中o₁,o₂,...,o_t,...,o_T都是一个三维的列向量，每个列向量均包含三种数据，分别为驾驶员头部偏转角度p、驾驶员的视线方向q和方向盘转角熵值Hp；

高斯函数为

其中权值c_jm为每个高斯函数在总体中所占的比重，即某个观测数据区间在当前隐含状态j下占总体的比重，需要满足所有权值之和为1；μ_jm为均值向量，Σ_jm为协方差矩阵；

使用能够表征左换道驾驶意图的观测数据即处于左换道意图识别模型中的外部观测数据区间OL内的数据训练左换道意图识别模型，得到训练好的左换道意图识别模型；

使用能够表征右换道驾驶意图的观测数据即处于右换道意图识别模型中的外部观测数据区间OR内的数据训练右换道意图识别模型，得到训练好的右换道意图识别模型；

使用能够表征道路保持意图的观测数据即处于道路保持意图识别模型中的外部观测数据区间OS内的数据训练道路保持意图识别模型，得到训练好的道路保持意图识别模型。

所述的步骤五中通过模型评估的方法分别计算三个换道驾驶意图识别模型下的观测序列概率P(O|λ)，并比较，概率最大的视为当前驾驶员的意图：

模型评估是一个概率值估算问题，即在给定己知模型，观测值序列的条件下，计算出观测值序列O＝{o₁,o₂,...,o_t,...,o_T}在模型λ下的概率P(O|λ)；

序列长度为T为序列中每一行元素的个数，对应的是各个时刻；

计算概率P(O|λ)，就是计算长度为T的观测值序列O产生所有隐含状态的概率；首先定义一个固定的状态序列V，

V＝{v₁,v₂,...,v_T}

其中q₁是初始状态，即某个意图识别模型中定义的三个隐含状态之一，v_T是T时刻的某个意图识别模型中定义的三个隐含状态之一，

根据训练的初始状态概率矢量π来确定；状态序列V中的每一个v对应某时刻的状态，即为三个隐含状态中的一种，某个意图识别模型下观测值序列O产生对应的状态序列Q的概率，即各时刻隐含状态对应观测值的概率之和，可由高斯混合模型各分量表示，为

其中O为观测值序列，O＝{o₁,o₂,...,o_T}，o_t为其中第t个参数，V为状态序列，V＝{v₁,v₂,...,v_T}，v_T是其中第T个参数，λ为给定模型，即给定的三种训练好的左换道意图识别模型，右换道意图识别模型以及道路保持意图识别模型中的一种，等号左边的P是给定模型λ和状态序列V产生这段观测值序列O的概率，等号右边的P是给定模型λ，状态序列V中第T个状态v_T对应观测值序列O中第T个观测值o_T的概率；

给定模型λ下产生这段状态序列V的概率为

P(Q|λ)为O与V的联合概率，其中π为给定模型λ初始状态的概率，为训练各个模型之后得到的定值，

ɑ为上一个状态转移到下个状态的概率；a_v1v2就是指v1状态转移到v2状态的概率，V_T就是序列最后时刻的状态；

通过全概率公式，求和所有可能产生状态序列V的联合概率得到观测值序列O在给定模型λ的输出概率为

P(O|λ)＝∑P(O|V,λ)P(V|λ)

分别计算三个意图识别模型的概率，选择概率值最大的模型对应的驾驶意图视为驾驶员当前最可能发生的驾驶意图。

所述的步骤六中：

将车辆驾驶模式分为自由直行状态和跟车状态，其中自由直行状态为跟车时距大于3s的状态，反之则为跟车状态，其中跟车时距＝相对距离/本车速度；

对于跟车状态，定义其中两种车辆行驶状态为需求换道状态，分别为碰撞时间小于3s的状态以及两车快速接近的状态，其中碰撞时间＝相对距离/相对速度；

其中两车快速接近的状态，根据跟车时距的变化率来确定，跟车时距的变化率为跟车时距对时间求导，将跟车时距的变化率小于-0.1的状态视为两车快速接近的状态；

跟车时距的变化率：计算得到的跟车时距中每个时间点都对应一个跟车时距值，将时间点作为横坐标，则跟车时距可以视为一个时间的函数，得到跟车时距对时间的一阶导数。

本发明的有益效果：

1、本发明所述的方法在应用于智能车辆主动换道规划技术时相比传统驾驶辅助系统可在保证安全性地前提下降低驾驶员的压力于心理负荷，提高驾驶员舒适度；

2、本发明所述的方法仅需要通过车载传感器及行车记录仪所测数据，不需要更精密的仪器设备，从而降低了成本；

3、本发明所建立的模型精确度较高，并具有一定的快速性，同时可通过换道需求分析进一步提高识别准确度。

附图说明

图1为本发明在进行人脸识别中使用肤色提取得到的各像素肤色相似度图；

图2为本发明进行肤色提取后得到的驾驶员人脸二值图；

图3为本发明对驾驶员人脸定位的结果图；

图4为本发明使用ASEF相关滤波器法进行驾驶员右眼定位的结果图；

图5为本发明对于驾驶员直视前方和左视情况的人脸人眼定位对比图；

图6为本发明提取的驾驶员眼部区域灰度图与二值图；

图7为本发明使用隐马尔科夫模型进行驾驶意图识别的流程框图；

图8为本发明所进行驾驶实验所测得的一段实验车实时位置经纬度图；

图9为本发明对上述实验轨迹对应的实验录像进行驾驶员视线方向识别结果图；

图10为本发明对上述实验轨迹计算出实时方向盘转角熵值图；

图11为本发明对于上述实验轨迹进行驾驶意图识别结果图；

图12为本发明在加入了换道需求分析后对于连续情况驾驶意图识别结果图。

具体实施方式

基于高斯混合隐马尔科夫模型的驾驶员换道意图识别方法，包括如下步骤：

步骤一，确定人脸区域所在边框及该边框左右边界对应水平方向的坐标，基于YCbCr颜色空间进行肤色提取的方法对驾驶员脸部区域进行提取，得出人脸粗定位图；

步骤二，基于ASEF(Average of Synthetic Exact Filters)滤波器进行人眼定位，首先需要使用图片对该滤波器进行训练，将通过行车记录仪获得的驾驶员视频数据拆解成序列图片作为训练样本，对每张图片手动指定左眼和右眼的中心位置作为输出，这样每张序列图片和输出为一对训练对，将训练对输入ASEF滤波器中进行训练，求训练样本中的人眼定位滤波器的平均值得到人眼定位最终滤波器；

步骤三，分别将驾驶员的头部转动、眼部转动和转动方向盘定量化为驾驶员头部偏转角度p、驾驶员的视线方向q和方向盘转角熵值Hp；

步骤四，基于隐马尔科夫模型HMM的换道驾驶意图识别模型建立：

由于驾驶员意图不可观测以及隐马尔科夫模型能够通过外部可观测数据表征不可观测状态的特性，本发明选用了隐马尔科夫模型来作为换道驾驶意图识别模型。而因为隐马尔科夫模型通常是针对离散数据的，而本发明的外部观测数据是连续的，所以本发明

采用隐马尔科夫模型HMM中的高斯混合隐马尔科夫模型作为换道驾驶意图识别模型，该模型的隐含状态即驾驶意图与观测值之间的概率关系，训练换道驾驶意图识别模型来进行驾驶意图识别：

将三种换道驾驶意图，即左换道意图，右换道意图和道路保持意图，分别作为三个换道驾驶意图识别模型的隐含状态，分别使用能够表征相应驾驶意图的观测数据(驾驶员头部偏转角度p，驾驶员任意一只眼睛中心的相对位置q，方向盘转角熵值Hp)训练这三个换道驾驶意图识别模型，得到训练好的左换道意图识别模型，右换道意图识别模型以及道路保持意图识别模型；

步骤五，根据驾驶员当前的外部观测数据，对步骤四中训练好的左换道意图识别模型，右换道意图识别模型以及道路保持意图识别模型通过模型评估的方法得到最有可能发生的模型，即驾驶员当前的驾驶意图；

步骤六，将车辆驾驶模式的需求换道状态下产生的步骤五所述的驾驶员当前的驾驶意图定义为有效。

以下所述的坐标是指以图像左下角的像素点为原点的坐标系；

所述的步骤一中取人脸区域水平方向坐标的最小值和最大值作为人脸区域所在边框的左右边界，首先基于YCbCr颜色空间进行肤色提取的方法对驾驶员脸部区域进行提取，具体如下：

使用Matlab软件将初步经高斯滤波处理的人脸图像上任意一个像素点的纯色度值的浓度偏移量定义为pi＝[Cb,Cr]^T，计算该点属于皮肤区域的概率，即每个像素点与肤色的似然度，计算公示如下所示：

PR(pi＝[Cb,Cr]^T)＝exp[-0.5(pi-u)^TC^-1(pi-u)] (1)

根据文献中现有的测定值为基础，再用3000张图像样本进行参数调整，参数调整初始使用的参数值为u＝[112.1987 151.3993]，C＝[89.3255 32.2867；32.2867252.9236]，参数调整就是不断用3000张图片中各像素点的Cb,Cr值代入到公式1中，同时不断调整u和C的值，直到找到将所有图像样本的肤色区域准确提取的值，即输出效果最好的值，此时得到确定的均值及方差矩阵为u＝[117.4316 148.5599]，C＝[260.130 12.1430；12.1430 150.4574]；

Cb为图像各像素的蓝色色彩分量，Cr为图像各像素的红色色彩分量，T表示对矩阵取转置，u为Cb，Cr对应的均值向量，C为Cb，Cr对应的协方差矩阵，PR为每个像素点与肤色的似然度；

给定一幅人脸图像中的任意一个像素点的纯色度值，即每个像素点的Cb和Cr值，代入上式，以横纵坐标分别为图像中像素位置坐标，z轴为PR，绘制肤色相似度图，如图1所示；

其中将PR值大于0.6的部分视为肤色区域，用matlab软件里的函数im2bw，把PR值大于0.6的像素点的值设为1，其它像素点的值设为0，即可得到人脸区域的二值图，如图2所示；

对于得到的二值图进行开闭运算，去除每块区域面积与最大区域面积的比值小于0.3的区域，连通域降噪操作，最后通过连通域提取，以脸部长宽比及区域填充率分别处于区间[0.8,2]和[0.6,1]的部分作为脸部区域，得出人脸粗定位图，如图3。

所述的步骤二中用眼睛中心坐标和定义的半径构造出一个高斯分布，即手动定义经ASEF滤波器处理后的训练样本中各图片对应的输出图像，输出图像各像素点坐标记为(x,y)，(x,y)的二维高斯分布函数为g_i(x,y)，如公式(2)所示：

(x,y)服从二维高斯分布，二维高斯分布的均值(x_i,y_i)就是眼部的中心坐标；

其中x_i、y_i分别为训练样本中第i张图片中驾驶员人眼的左眼中心和右眼中心的横纵坐标，σ为二维高斯分布的半径，作用是平衡对峰值锐度的噪声容限，这里设置高斯分布的半径的作用是将我们定义的高斯分布在空间坐标系的表示更接近一个锥形而不是点，便于计算，又由于人眼定位是在一确定图片的基础上通过手动的方式寻找人眼的位置，因此g_i(x,y)又可表示为：

其中(w，z)是指将(x，y)变换到傅里叶空间中的对应坐标，F_i为第i张图片通过傅里叶变换得到的傅里叶空间中的图像表示，h_i为将f_i变为g_i的滤波器，f_i表示第i幅图片，F_i为f_i的傅立叶变换；h_i表示第i幅图片与驾驶员左眼中心或右眼中心位置的关系，即人眼定位滤波器，H_i为h_i的傅立叶变换；F^-1为f_i的傅立叶逆变换，对于f_i中每个像素点的值，可通过h_i变换为输出g_i中的值，基于公式(3)可得到训练样本中每张图片对应的人眼定位滤波器：

其中G_i为g_i的傅立叶变换，H_i ^*为傅里叶空间中的H_i的共轭，Gi为输出在傅里叶空间中的表示；

在线仿真时需要处理视频跟踪问题，若要处理视频跟踪问题，则在初始化上述通过行车记录仪获得的驾驶员视频数据拆解成的图片中的第一帧后需要不断根据当前帧调整滤波器，即在线更新：

其中η＝0.15，通过傅立叶逆变换可得h_i ^*(w，z)，

求训练样本中的人眼定位滤波器的平均值：单个滤波器仅为相应的那一张图片有效果，为了得到对所有图片均有效果的滤波器需要计算均值

将训练样本中的每个精确滤波器集合起来就成为一个对应所有图片的滤波器，因为傅立叶变换是一个线性操作所以求平均过程既可以在傅氏空间又可在空间域进行，即

这里N为训练样本中的图片个数，H_u和h_u都是求平均之后的人眼定位最终滤波器，H_u ^*和h_u ^*分别是傅里叶空间中的H_u和h_u的共轭，图4即为使用ASEF滤波器对驾驶员右眼定位的结果示例。

所述的步骤三中：

1.驾驶员头部转动

在识别驾驶员是否有换道驾驶意图时，用驾驶员注视后视镜的动作表征其驾驶意图，显然，随着驾驶员的头部转动，行车记录仪拍摄录像中其双眼相对于脸部识别边框的位置会改变，如图5，则有

其中，x_1i，x_2i分别为驾驶员左眼中心和右眼中心的水平方向坐标，x_1max，x_2max为驾驶员脸部识别边框的左右两个竖直边对应的水平方向坐标，p为驾驶员头部偏转角度，p值越大，说明驾驶员头部越向左偏转，p值越接近1则说明驾驶员头部越不偏转，p值越小则说明驾驶员头部越向右偏转；坐标是指以图像左下角的像素点为原点的坐标系；

2.驾驶员眼部转动

通过步骤二中得到的求平均之后的人眼定位最终滤波器得到驾驶员任意一只眼睛的中心位置，提取驾驶员眼睛整体部分，具体为：取任意一只眼睛中心位置水平方向左右各20个像素点，取同一只眼睛中心位置垂直方向上下各取10个像素点，确定为该只眼睛的眼睛部分，并由于在二值图中眼眶部分为黑色，皮肤部分为白色，因此可确定人眼位置，如图6所示；该任意一只眼睛的中心位置到该只眼睛的眼眶左边缘的距离与该同一眼睛中心位置到对应眼睛的眼眶右边缘距离的比值记为q，q即为驾驶员任意一只眼睛中心的相对位置，即驾驶员的视线方向；

其中x_L为眼睛中心位置到对应眼睛的眼眶左边缘的距离，x_R为眼睛中心位置到对应眼睛的眼眶右边缘的距离，q值越大表明驾驶员视线方向为越向左看，反之为越向右看；

3.方向盘转角熵值

方向盘转角熵值(Steering Entropy)由Nakayama首次提出，常用于评估驾驶员对方向盘操控的稳定性，也可表征驾驶员工作压力的大小。熵值越大，表明操作稳定性越差，驾驶员的压力越大。

方向盘转角熵值是根据驾驶员对方向盘转角的预测偏差出现的概率来计算的，设在相同时刻n的连续几个采样点n-3、n-2、n-1对应的方向盘转角实际值分别为θ(n-3),θ(n-2),θ(n-1)，则在采样时刻n的方向盘转角预测值θp(n)为

若在采样时刻n的方向盘转角实际值为θ(n)，则预测偏差值e(n)为

e(n)＝θ(n)-θp(n) (12)

设定预测偏差e(n)的绝对值小于α的概率为90％，通过实际观测数据的计算，满足此设定：P{|e(n)|＜α}＝90％的α值为1°，在此基础上将预测偏差值e(n)划分9个对应区间：

(-∞,5α],(-5α,-2.5α],(-2.5α,-α],(-α,-0.5α),[-0.5α,0.5α),[0.5α,α),[α,2.5α),[2.5α,5α),[5α,∞) (13)

当前样本的方向盘转角熵值Hp表达式为：

其中：i表示第i个区间，p_i表示在区间i内的预测偏差值的数量占预测偏差值总体数量的比值，Hp为方向盘转角熵值，即为方向盘转角值离散度(如果预测偏差值在上述的9个区间内均有分布，那么就认为其较为分散，离散度大；如果值分布在一个区间(一般为[-0.5α,0.5α])那么就认为其较为集中，离散度小)。

与正常跟车时相比，出现换道意图时驾驶员往往会面对更大的压力，因此操纵方向盘动作的稳定性降低。这主要是因为出现换道意图时驾驶员通常会增大其视觉搜索范围，而且还要综合考虑车辆的纵向和横向运动，导致其受到更重的负担以及面临更难的驾驶任务，进而造成方向盘转角熵值H_p增大，反之H_p减小。

所述的步骤四中

隐马尔科夫模型HMM(Hidden Markov Model)λ＝(π,A,B)是一种基于贝叶斯理论的统计模型。HMM中的状态是隐藏的不能直接观测到，隐藏状态服从马尔科夫链。隐藏状态虽然不能直接观测，但可通过可观测输出描述。

驾驶意图通常具有随机时变的特性，虽然无法观测，但驾驶意图会显著影响驾驶行为，而驾驶行为是可观测的，因此驾驶意图可通过时序驾驶行为特征进行反推。由于HMM能够表征不可见不可测状态，且具有严谨结构，计算结果可靠的优点，通过对HMM原理和驾驶行为对比分析可知，利用HMM进行驾驶意图识别是可行的。将驾驶意图建模为不可观测的隐藏状态，驾驶行为建模为可观测输出。驾驶行为(头动\眼动\转动方向盘)的范围是连续的信号，因此需要选取连续隐马尔科夫模型来建模。由于高斯混合模型理论上可逼近任意曲线，采用高斯混合模型来近似观察序列的真实概率分布，这样不仅能加强隐马尔科夫模型的建模能力且可以提高模型的精度。

采用隐马尔科夫模型HMM中的高斯混合隐马尔科夫模型作为左换道意图识别模型、右换道意图识别模型和道路保持意图识别模型，并在每个模型中定义三个隐含状态j，其中定义隐含状态j＝1时表示轻度意图状态S1，隐含状态j＝2时表示中度意图状态S2，隐含状态j＝3时表示强烈意图状态S3，将外部观测数据根据其值大小定义为三个外部观测数据区间，并将三个观测数据区间记为OL、OR和OS；

其中左换道意图下的外部观测数据区间为OL，OL为驾驶员头部偏转角度p大于1.2，驾驶员任意一只眼睛中心的相对位置，即驾驶员的视线方向q大于1.5，方向盘转角熵值Hp大于0.4，在左换道意图模型内，系统自动根据数值大小将OL分为三个区间：OL1,OL2,OL3；

右换道意图下的外部观测数据区间为OR，OR为驾驶员头部偏转角度p小于0.8，驾驶员任意一只眼睛中心的相对位置，即驾驶员的视线方向q小于0.6，方向盘转角熵值Hp大于0.4，在右换道意图模型内，系统自动根据数值大小将OR分为三个区间：OR1,OR2,OR3；

道路保持意图下的外部观测数据区间为OS，OS为驾驶员头部偏转角度p在0.8到1.2之间，驾驶员任意一只眼睛中心的相对位置，即驾驶员的视线方向q在0.6到1.5之间，方向盘转角熵值Hp小于0.4，在道路保持意图模型内，系统自动根据数值大小将OS分为三个区间：OS1,OS2,OS3；

采用的高斯混合隐马尔科夫模型为：

其中观测值概率集合B＝{b_j(O)}，表示模型中的隐含状态j和外部观测数据的联系，即为隐含状态j对应的高斯混合模型；m为组成高斯混合模型的高斯函数个数，具体是指外部观测数据区间，m＝1时，取外部观测数据区间(OL1,OR1,OS1)，m＝2时，取外部观测数据区间(OL2,OR2,OS2)，m＝3时，取外部观测数据区间(OL3,OR3,OS3)；O为观测值序列，本发明中的观测值序列就是训练模型使用的观测数据的序列，分三行表示，每一行包含一类数据，分别为驾驶员头部偏转角度p、驾驶员的视线方向q和方向盘转角熵值Hp，O＝{o₁,o₂,...,o_t,...,o_T}，其中T为序列长度，即序列中每一行元素的个数，对应的是各个时刻，观测值序列中的每列o₁,o₂,...,o_t,...,o_T都是一个三维的列向量，每个列向量均包含三种数据，分别为驾驶员头部偏转角度p、驾驶员的视线方向q和方向盘转角熵值Hp；

高斯函数为

其中的模型参数包括：权值c_jm为每个高斯函数在总体中所占的比重，即某个外部观测数据区间在当前隐含状态j下占总体的比重(o₁对应的高斯函数是G1，o₂对应G2，o₃对应G3，那对于隐含状态j：b_j(O)＝c_j1*G1(o₁，μ_j1,Σ_j1)+c_j2*G2(o₂,μ_j2,Σ_j2)+c_j3*G1(o₃,μ_j3,Σ_j3)，那么c_j1，c_j2和c_j3都分别是三个高斯函数占总体b_j(O)的比重，则可以说是在隐含状态j下，某个外部观测数据区间如OL占总体观测值序列O的比重)，需要满足所有权值之和为1，就是对于一个隐含状态j，满足c_j1+c_j2+c_j3＝1；μ_jm为均值向量，Σ_jm为协方差矩阵；均值向量和协方差矩阵都是高斯函数里的固有参数；

b_j(O)，(m＝1，j＝1时b_j(O)表示的就是隐含状态为S1时对应外部观测数据区间为OL时的概率)

使用能够表征左换道驾驶意图的观测数据即处于左换道意图识别模型中的外部观测数据区间OL内的数据训练左换道意图识别模型，得到训练好的左换道意图识别模型；

使用能够表征右换道驾驶意图的观测数据即处于右换道意图识别模型中的外部观测数据区间OR内的数据训练右换道意图识别模型，得到训练好的右换道意图识别模型；

使用能够表征道路保持意图的观测数据即处于道路保持意图识别模型中的外部观测数据区间OS内的数据训练道路保持意图识别模型，得到训练好的道路保持意图识别模型。

所述的步骤五中

在已知高斯混合隐马尔科夫模型的基础上，通过模型评估的方法分别计算三个换道驾驶意图识别模型下的观测序列概率P(O|λ)，并比较，概率最大的视为当前驾驶员的意图：

模型评估是一个概率值估算问题，即在给定己知模型，观测值序列的条件下，计算出观测值序列O＝{o₁,o₂,...,o_t,...,o_T}在模型λ下的概率P(O|λ)；λ为给定模型，即给定的三种训练好的左换道意图识别模型、右换道意图识别模型以及道路保持意图识别模型中的一种；如果已知有多个模型，模型评估的结果一定是选择概率值最大的模型。

计算概率P(O|λ)，最直接的方法就是计算序列长度为T的观测值序列O产生所有可能隐含状态的概率；每种意图识别模型中均定义三个隐含状态，即为轻度意图状态S1，中度意图状态S2和强烈意图状态S3，在式3.1中，每一个v都有可能是S1、S2或者S3中的一种。

首先定义一个固定的状态序列V，

V＝{v₁,v₂,...,v_T}

其中q₁是初始状态，即某个意图识别模型中定义的三个隐含状态(轻度意图状态S1，中度意图状态S2和强烈意图状态S3)之一，v_T是第T个参数，即T时刻的某个意图识别模型中定义的三个隐含状态之一，根据训练的初始状态概率矢量π来确定；状态序列V中的每一个v对应某时刻的状态，即为三个隐含状态中的一种，某个意图识别模型下观测值序列O产生对应的状态序列V的概率，即各时刻隐含状态对应观测值的概率之和，可由高斯混合模型各分量表示，为

其中o_t为其中第t个参数，P(O|Q，λ)是给定模型λ和状态序列V产生这段观测值序列O的概率，等号右边的是给定模型λ，状态序列V中第T个状态v_T对应观测值序列O中第T个观测值o_T的概率；

给定模型λ下产生这段状态序列V的概率为

P(Q|λ)为O与V的联合概率，其中π为给定模型λ初始状态的概率，为训练各个模型之后得到的定值，ɑ为上一个状态转移到下个状态的概率，按照观测值序列O中三种参数(眼部运动，头部运动，方向盘转角熵值)的间隔给定，即每个数据点对应的时间点，比如序列的长度为5，则时间点为1，2，3，4，5；a_v1v2是指v₁状态转移到v₂状态的概率，以此类推，V_T就是序列最后时刻的状态；

通过全概率公式，求和所有可能产生状态序列V的联合概率得到观测值序列O在给定模型λ的输出概率为

P(O|λ)＝∑P(O|V,λ)P(V|λ)

分别计算三个意图识别模型的概率，选择概率值最大的模型对应的驾驶意图视为驾驶员当前最可能发生的驾驶意图。

所述的步骤六中：

由于本发明中的驾驶意图识别是为车辆主动换道规划方法服务的，所以在使用车辆和驾驶员信息来识别的基础上，需进一步分析换道需求，以提高识别准确率。

将车辆驾驶模式分为自由直行状态和跟车状态，其中自由直行状态为跟车时距(相对距离/本车速度)大于3s的状态，反之则为跟车状态；

对于跟车状态，定义其中两种车辆行驶状态为需求换道状态，分别为碰撞时间(相对距离/相对速度)小于3s的状态以及两车快速接近的状态；

其中两车快速接近的状态，根据跟车时距的变化率来确定，跟车时距的变化率为跟车时距对时间求导，将跟车时距的变化率小于-0.1的状态视为两车快速接近的状态。

跟车时距的变化率：计算得到的跟车时距中每个时间点(间隔约0.01秒)都对应一个跟车时距值，将时间点作为横坐标，则跟车时距可以视为一个时间的函数，使用matlab曲线拟合工具箱可以直接得到跟车时距对时间的一阶导数。

步骤四具体流程：

所使用的外部观测数据(p，q，Hp)包括两部分，训练模型的数据占80％，模型评估的数据占20％，分别使用能够体现对应意图的训练数据(p大于1.4，q大于1.7为向左，p小于0.77，q小于0.6为向右，在之间为直视Hp大于0.4为可能换道(左换道右换道)小于为不换道)训练三个HMM模型(左换道意图，右换道意图，道路保持意图)，根据计算每个模型对于一段观测测试数据的输出概率，选择概率最大的模型得到这一段观测数据对应的驾驶意图；

训练过程(以左换道意图模型为例)：

每个模型训练后的参数均包括初始状态概率矢量π＝{π_S1，π_S2，π_S3}，括号内的参数分别表示S1、S2和S3在对应模型的初始概率值；就是在使用模型时，由于模型内部状态是随时间不断变化的，即下一个时间点的状态仅由上一个时间点的状态影响，初始概率值就是用来确定模型状态的初始值，每个模型的参数(π，A，B)均可任意给定一个初始值，根据参数训练公式(已知)不断迭代计算，找到最优的参数就是训练后参数；

状态转移矩阵A＝{aij}，i和j的值均可取1，2，3，对应S1、S2和S3中的一种，aij即为状态从i转移到j的概率；

隐含状态为轻度意图S1中度意图S2强烈意图S3

需要训练的模型参数包括

初始状态概率矢量π＝{πS1，πS2，πS3}，括号内的参数分别表示S1、S2和S3在应用模型的初始概率值；

状态转移矩阵A＝{aij}，i和j的值均可取1，2，3，对应S1、S2和S3中的一种，aij即为状态从i转移到j的概率；

以及观测值概率集合B＝{bj(O)}，表示模型内部隐含状态(S1 S2 S3)和观测数据值的联系，由高斯混合模型表示，B中需要训练的模型参数包括权值cjm，均值向量μjm，协方差矩阵Σjm

高斯混合模型可表示为

其中m为组成高斯混合模型的高斯函数个数，b_j(O)为状态j对应的高斯混合模型。(m＝1，j＝1时b表示的就是隐含状态为S1时对应观测数据为区间O1(根据观测值大小均分的三个区间O1O2O3，可以用matlab工具箱自动划分)时的概率)状态j是指模型的隐含状态。

训练步骤：

1.给定π，A，cjm，μjm，Σjm的初始值(可以任意给定，这里使用了matlab工具箱进行初始化)；

2.根据各个参数的重估公式(已知)不断重复计算各个参数，每计算一次需要计算当前模型参数对于训练观测数据的输出概率，即步骤五的模型评估过程，评估模型参数对于训练数据的匹配度，说明当前的模型参数是否能够表征出训练数据中的特征(左换道意图)，输出概率越大表明模型参数越匹配；

3.当模型参数对于训练观测数据的输出概率几乎不再变化时，停止计算，将最后一次计算得到的参数作为最优模型参数。

为实现本发明进行了实车驾驶实验，所采用实验车为东风风神，型号为AX7，对69名不同年龄性别以及职业的驾驶员分别进行了跟车工况、超车工况等实验，采集了本车速度、加速度，方向盘转角和转矩、本车位置、与前车相对距离、相对速度数据，并通过车载摄像头采集了驾驶员在行车过程中的脸部数据。通过驾驶员的人脸区域、双眼坐标和方向盘转角熵值分别建立左换道意图、右换道意图和不变道意图的高斯混合隐马尔科夫驾驶意图识别模型。对于建立的每个驾驶意图识别模型进行测试，并选取了驾驶实验中一段140s的连续实验数据进行测试得出了驾驶意图识别结果。

驾驶意图识别仿真分析：

通过将能够显示出各种驾驶意图的测试样本分别代入到左换道，右换道以及不变道模型中进行测试，得出每个模型基于当前测试样本的对数似然度，似然度越大则表明当前对应驾驶意图产生的可能性越大，如下表所示：

对各测试样本的驾驶意图识别结果表

	LHMM	SHMM	RHMM
				左换道样本1	-179.91	-269.01	-353.29
左换道样本2	-163.59	-287.33	-364.86
				左换道样本3	-181.25	-245.67	-313.55
右换道样本1	-405.71	-313.26	-227.38
				右换道样本2	-388.44	-345.57	-215.35
右换道样本3	-411.7	-335.82	-207.48
				不变道样本1	-287.29	-135.07	-303.19
不变道样本2	-263.57	-144.86	-255.35
				不变道样本3	-197.88	-109.95	-218.69

这里我们选择了一段超车实验中的车辆轨迹，由车辆位置的经纬度值表示，如图8所示。图中可清楚看到驾驶员进行了三次换道操作。同时根据这段实验轨迹对应的录像，对每1秒内的60帧图像判断了驾驶员视线状态，如图9所示。同时计算了相对应的方向盘转角熵值如图10所示。对每1秒所测数据进行驾驶意图识别，得到结果如图11所示。

图中可看到在驾驶员进行换道操作时可以准确地判断其驾驶意图，但在驾驶员未进行换道操作时出现了一些错误识别，通过对比实验录像发现这是驾驶员产生了观察后视镜或操控方向盘失稳等动作却未产生换道动作导致的，这里可通过换道需求分析的方式消除一些识别错误。加入换道需求分析后的识别结果如图12所示，可见换道需求分析的确可以消除一些错误识别，从而提高识别准确率。对10名不同类型的驾驶员进行相同的驾驶意图识别，得到模型识别准确率在90％以上。但由于在驾驶实验中驾驶员往往会高度集中注意力，所以通常很少产生引起错误识别驾驶意图的动作，使得测试数据的准确率相对较高。而在实际驾驶过程中，驾驶员可能产生更多动作使得驾驶意图识别准确率降低。

Claims (7)

1.基于高斯混合隐马尔科夫模型的驾驶员换道意图识别方法，其特征在于包括如下步骤：

步骤一，确定通过行车记录仪获得的图像中驾驶员人脸区域所在边框及该边框左右边界对应水平方向的坐标，基于YCbCr颜色空间进行肤色提取的方法对驾驶员脸部区域进行提取，得出人脸粗定位图；

所述的坐标是指以图像左下角的像素点为原点的坐标系；

步骤二，基于ASEF滤波器进行人眼定位，首先需要使用图片对该滤波器进行训练，将通过行车记录仪获得的驾驶员视频数据拆解成序列图片作为训练样本，对每张图片手动指定左眼和右眼的中心位置作为输出，这样每张序列图片和输出为一对训练对，将训练对输入ASEF滤波器中进行训练，求训练样本中的人眼定位滤波器的平均值得到人眼定位最终滤波器；

步骤三，分别将驾驶员的头部转动、眼部转动和转动方向盘定量化为驾驶员头部偏转角度p、驾驶员的视线方向q和方向盘转角熵值Hp；

步骤四，基于隐马尔科夫模型HMM的换道驾驶意图识别模型建立：

采用隐马尔科夫模型HMM中的高斯混合隐马尔科夫模型作为换道驾驶意图识别模型，该模型的隐含状态即驾驶意图与观测值之间的概率关系，训练换道驾驶意图识别模型来进行驾驶意图识别：

将三种换道驾驶意图，即左换道意图，右换道意图和道路保持意图，分别作为三个换道驾驶意图识别模型的隐含状态，分别使用能够表征相应驾驶意图的观测数据训练这三个换道驾驶意图识别模型，得到训练好的左换道意图识别模型，右换道意图识别模型以及道路保持意图识别模型；

步骤五，根据驾驶员当前的外部观测数据，对步骤四中训练好的左换道意图识别模型，右换道意图识别模型以及道路保持意图识别模型通过模型评估的方法得到驾驶员当前的驾驶意图；

步骤六，将车辆驾驶模式的需求换道状态下产生的步骤五所述的驾驶员当前的驾驶意图定义为有效。

2.根据权利要求1所述的基于高斯混合隐马尔科夫模型的驾驶员换道意图识别方法，其特征在于所述的步骤一中取驾驶员人脸区域水平方向坐标的最小值和最大值作为人脸区域所在边框的左右边界，首先基于YCbCr颜色空间进行肤色提取的方法对驾驶员脸部区域进行提取，具体如下：

将经高斯滤波处理的人脸图像上任意一个像素点的纯色度值的浓度偏移量定义为pi＝[Cb,Cr]^T，计算该点属于皮肤区域的概率，计算公式如下所示：

PR(pi＝[Cb,Cr]^T)＝exp[-0.5(pi-u)^TC^-1(pi-u)]

根据文献中现有的测定值为基础，再用3000张图像样本进行参数调整，参数调整初始使用的参数值为u＝[112.1987 151.3993]，C＝[89.3255 32.2867；32.2867 252.9236]，参数调整就是不断用3000张图片中各像素点的Cb,Cr值代入到公式1中，同时不断调整u和C的值，直到找到将所有图像样本的肤色区域准确提取的值，此时得到确定的均值及方差矩阵为u＝[117.4316 148.5599]，C＝[260.130 12.1430；12.1430 150.4574]；

Cb为图像各像素的蓝色色彩分量，Cr为图像各像素的红色色彩分量，T表示对矩阵取转置，u为Cb，Cr对应的均值向量，C为Cb，Cr对应的协方差矩阵，PR为每个像素点与肤色的似然度；

给定一幅人脸图像中的任意一个像素点的纯色度值，即每个像素点的Cb和Cr值，代入上式，以横纵坐标分别为图像中像素位置坐标，z轴为PR，绘制肤色相似度图；

其中将PR值大于0.6的部分视为肤色区域，把PR值大于0.6的像素点的值设为1，其它像素点的值设为0，即可得到人脸区域的二值图；

对于得到的二值图进行开闭运算，去除每块区域面积与最大区域面积的比值小于0.3的区域，连通域降噪操作，最后通过连通域提取，以脸部长宽比及区域填充率分别处于区间[0.8,2]和[0.6,1]的部分作为脸部区域，得出人脸粗定位图。

3.根据权利要求2所述的基于高斯混合隐马尔科夫模型的驾驶员换道意图识别方法，其特征在于所述的步骤二中手动定义经ASEF滤波器处理后的训练样本中各图片对应的输出图像，输出图像各像素点坐标记为(x,y)，(x,y)的二维高斯分布函数为g_i(x,y)，如公式(2)所示：

(x,y)服从二维高斯分布，二维高斯分布的均值(x_i,y_i)就是眼部的中心坐标，

其中x_i、y_i分别为训练样本中第i张图片中驾驶员人眼的左眼中心和右眼中心的横纵坐标，σ为二维高斯分布的半径，又由于人眼定位是在一确定图片的基础上通过手动的方式寻找人眼的位置，因此g_i(x,y)又可表示为：

其中(w，z)是指将(x，y)变换到傅里叶空间中的对应坐标，F_i为第i张图片通过傅里叶变换得到的傅里叶空间中的图像表示，h_i为将f_i变为g_i的滤波器，f_i表示第i幅图片，F_i为f_i的傅立叶变换；h_i表示第i幅图片与驾驶员左眼中心或右眼中心位置的关系，即人眼定位滤波器，H_i为h_i的傅立叶变换；F^-1为f_i的傅立叶逆变换，对于f_i中每个像素点的值，可通过h_i变换为输出g_i中的值，基于公式(3)可得到训练样本中每张图片对应的人眼定位滤波器：

其中G_i为g_i的傅立叶变换，H_i ^*为傅里叶空间中的H_i的共轭

求训练样本中的人眼定位滤波器的平均值：

这里N为训练样本中的图片个数，H_u和h_u都是求平均之后的人眼定位最终滤波器，H_u ^*和h_u ^*分别是傅里叶空间中的H_u和h_u的共轭。

4.根据权利要求3所述的基于高斯混合隐马尔科夫模型的驾驶员换道意图识别方法，其特征在于所述的步骤三中：

1.驾驶员头部转动

在识别驾驶员是否有换道驾驶意图时，用驾驶员注视后视镜的动作表征其驾驶意图，显然，随着驾驶员的头部转动，行车记录仪拍摄录像中其双眼相对于脸部识别边框的位置会改变，则有

其中，x_1i，x_2i分别为驾驶员左眼中心和右眼中心的水平方向坐标，x_1max，x_2max为驾驶员脸部识别边框的左右两个竖直边对应的水平方向坐标，p为驾驶员头部偏转角度，p值越大，说明驾驶员头部越向左偏转，p值越接近1则说明驾驶员头部越不偏转，p值越小则说明驾驶员头部越向右偏转；坐标是指以图像左下角的像素点为原点的坐标系；

2.驾驶员眼部转动

通过步骤二中得到的求平均之后的人眼定位最终滤波器得到驾驶员任意一只眼睛的中心位置，提取驾驶员眼睛整体部分，具体为：取任意一只眼睛中心位置水平方向左右各20个像素点，及该只眼睛中心位置垂直方向上下各取10个像素点，确定为眼睛部分，该任意一只眼睛的中心位置到该只眼睛的眼眶左边缘的距离与该同一眼睛中心位置到对应眼睛的眼眶右边缘距离的比值记为q，q即为驾驶员任意一只眼睛中心的相对位置，即驾驶员的视线方向；

其中x_L为眼睛中心位置到对应眼睛的眼眶左边缘的距离，x_R为眼睛中心位置到对应眼睛的眼眶右边缘的距离，q值越大表明驾驶员视线方向为越向左看，反之为越向右看；

3.方向盘转角熵值

方向盘转角熵值是根据驾驶员对方向盘转角的预测偏差出现的概率来计算的，设在相同时刻n的连续几个采样点n-3、n-2、n-1对应的方向盘转角实际值分别为θ(n-3),θ(n-2),θ(n-1)，则在采样时刻n的方向盘转角预测值θp(n)为

θp(n)＝θ(n-1)+(θ(n-1)-θ(n-2))+0.5(θ(n-1)-θ(n-2))-(θ(n-2)-θ(n-3)))

若在采样时刻n的方向盘转角实际值为θ(n)，则预测偏差值e(n)为

e(n)＝θ(n)-θp(n)

设定预测偏差e(n)的绝对值小于α的概率为90％，通过实际观测数据的计算，满足此设定的α值为1o，在此基础上将预测偏差值e(n)划分9个对应区间：

(-∞,5α],(-5α,-2.5α],(-2.5α,-α],(-α,-0.5α),[-0.5α,0.5α),[0.5α,α),[α,2.5α),[2.5α,5α),[5α,∞)

当前样本的方向盘转角熵值Hp表达式为：

其中：i表示第i个区间，p_i表示在区间i内的预测偏差值的数量占预测偏差值总体数量的比值，Hp为方向盘转角熵值。

5.根据权利要求4所述的基于高斯混合隐马尔科夫模型的驾驶员换道意图识别方法，其特征在于所述的步骤四中

采用隐马尔科夫模型HMM中的高斯混合隐马尔科夫模型作为左换道意图识别模型、右换道意图识别模型和道路保持意图识别模型，并在每个模型中定义三个隐含状态j，其中定义隐含状态j＝1时表示轻度意图状态S1，隐含状态j＝2时表示中度意图状态S2，隐含状态j＝3时表示强烈意图状态S3，将外部观测数据根据其值大小定义为三个外部观测数据区间，并将三个外部观测数据区间记为OL、OR和OS；

其中左换道意图下的外部观测数据区间为OL，OL为驾驶员头部偏转角度p大于1.2，驾驶员任意一只眼睛中心的相对位置，即驾驶员的视线方向q大于1.5，方向盘转角熵值Hp大于0.4，在左换道意图模型内，系统自动根据数值大小将OL分为三个区间：OL1,OL2,OL3；

右换道意图下的外部观测数据区间为OR，OR为驾驶员头部偏转角度p小于0.8，驾驶员任意一只眼睛中心的相对位置，即驾驶员的视线方向q小于0.6，方向盘转角熵值Hp大于0.4，在右换道意图模型内，系统自动根据数值大小将OR分为三个区间：OR1,OR2,OR3；

道路保持意图下的外部观测数据区间为OS，OS为驾驶员头部偏转角度p在0.8到1.2之间，驾驶员任意一只眼睛中心的相对位置，即驾驶员的视线方向q在0.6到1.5之间，方向盘转角熵值Hp小于0.4，在道路保持意图模型内，系统自动根据数值大小将OS分为三个区间：OS1,OS2,OS3；

采用的高斯混合隐马尔科夫模型为：

其中观测值概率集合B＝{b_j(O)}，表示模型中的隐含状态j和外部观测数据的联系，即为隐含状态j对应的高斯混合模型；m为组成高斯混合模型的高斯函数个数，具体是指外部观测数据区间，m＝1时，取外部观测数据区间(OL1,OR1,OS1)，m＝2时，取外部观测数据区间(OL2,OR2,OS2)，m＝3时，取外部观测数据区间(OL3,OR3,OS3)；M＝3；O为观测值序列，其中o₁,o₂,...,o_t,...,o_T都是一个三维的列向量，每个列向量均包含三种数据，分别为驾驶员头部偏转角度p、驾驶员的视线方向q和方向盘转角熵值Hp；

高斯函数为

其中权值c_jm为每个高斯函数在总体中所占的比重，即某个观测数据区间在当前隐含状态j下占总体的比重，需要满足所有权值之和为1；μ_jm为均值向量，Σ_jm为协方差矩阵；

使用能够表征左换道驾驶意图的观测数据即处于左换道意图识别模型中的外部观测数据区间OL内的数据训练左换道意图识别模型，得到训练好的左换道意图识别模型；

使用能够表征右换道驾驶意图的观测数据即处于右换道意图识别模型中的外部观测数据区间OR内的数据训练右换道意图识别模型，得到训练好的右换道意图识别模型；

使用能够表征道路保持意图的观测数据即处于道路保持意图识别模型中的外部观测数据区间OS内的数据训练道路保持意图识别模型，得到训练好的道路保持意图识别模型。

6.根据权利要求5所述的基于高斯混合隐马尔科夫模型的驾驶员换道意图识别方法，其特征在于所述的步骤五中通过模型评估的方法分别计算三个换道驾驶意图识别模型下的观测序列概率P(O|λ)，并比较，概率最大的视为当前驾驶员的意图：

模型评估是一个概率值估算问题，即在给定己知模型，观测值序列的条件下，计算出观测值序列O＝{o₁,o₂,...,o_t,...,o_T}在模型λ下的概率P(O|λ)；

序列长度为T为序列中每一行元素的个数，对应的是各个时刻；

计算概率P(O|λ)，就是计算长度为T的观测值序列O产生所有隐含状态的概率；首先定义一个固定的状态序列V，

V＝{v₁,v₂,...,v_T}

其中q₁是初始状态，即某个意图识别模型中定义的三个隐含状态之一，v_T是T时刻的某个意图识别模型中定义的三个隐含状态之一，

根据训练的初始状态概率矢量π来确定；状态序列V中的每一个v对应某时刻的状态，即为三个隐含状态中的一种，某个意图识别模型下观测值序列O产生对应的状态序列Q的概率，即各时刻隐含状态对应观测值的概率之和，可由高斯混合模型各分量表示，为

其中O为观测值序列，O＝{o₁,o₂,...,o_T}，o_t为其中第t个参数，V为状态序列，V＝{v₁,v₂,...,v_T}，v_T是其中第T个参数，λ为给定模型，即给定的三种训练好的左换道意图识别模型，右换道意图识别模型以及道路保持意图识别模型中的一种，等号左边的P是给定模型λ和状态序列V产生这段观测值序列O的概率，等号右边的P是给定模型λ，状态序列V中第T个状态v_T对应观测值序列O中第T个观测值o_T的概率；

给定模型λ下产生这段状态序列V的概率为

P(Q|λ)为O与V的联合概率，其中π为给定模型λ初始状态的概率，为训练各个模型之后得到的定值，

ɑ为上一个状态转移到下个状态的概率；a_v1v2就是指v1状态转移到v2状态的概率，V_T就是序列最后时刻的状态；

通过全概率公式，求和所有可能产生状态序列V的联合概率得到观测值序列O在给定模型λ的输出概率为

P(O|λ)＝∑P(O|V,λ)P(V|λ)

分别计算三个意图识别模型的概率，选择概率值最大的模型对应的驾驶意图视为驾驶员当前最可能发生的驾驶意图。

7.根据权利要求6所述的基于高斯混合隐马尔科夫模型的驾驶员换道意图识别方法，其特征在于所述的步骤六中：

将车辆驾驶模式分为自由直行状态和跟车状态，其中自由直行状态为跟车时距大于3s的状态，反之则为跟车状态，其中跟车时距＝相对距离/本车速度；

对于跟车状态，定义其中两种车辆行驶状态为需求换道状态，分别为碰撞时间小于3s的状态以及两车快速接近的状态，其中碰撞时间＝相对距离/相对速度；

其中两车快速接近的状态，根据跟车时距的变化率来确定，跟车时距的变化率为跟车时距对时间求导，将跟车时距的变化率小于-0.1的状态视为两车快速接近的状态；

跟车时距的变化率：计算得到的跟车时距中每个时间点都对应一个跟车时距值，将时间点作为横坐标，则跟车时距可以视为一个时间的函数，得到跟车时距对时间的一阶导数。

Images