CN101746269B - 基于软计算的疲劳驾驶融合检测方法 - Google Patents

Abstract

本发明公开了一种用于检测驾驶员疲劳驾驶的基于软计算的疲劳驾驶融合检测方法，其特征是从直接反映驾驶员疲劳的两个面部特征和间接反映驾驶员疲劳的两个车辆行为特征两个方面对疲劳驾驶进行融合检测，两个面部特征分别为频繁眨眼和打呵欠，两个车辆行为特征分别为车辆异常偏离车道和方向盘转动异常；该方法运用TS模糊神经网络来识别疲劳驾驶，采用减法聚类对网络结构进行优化辨识，确定模糊神经网络的模糊规则个数以及相关网络参数的初始值；运用遗传算法对网络参数进行训练和优化，确定最佳网络参数；根据最佳网络参数和上述四个疲劳特征参数利用TS模糊神经网络对驾驶员疲劳驾驶进行实时检测。

Description

基于软计算的疲劳驾驶融合检测方法

技术领域

本发明涉及一种驾驶员疲劳驾驶融合检测方法，尤其涉及一种基于软计算的疲劳驾驶融合检测方法，它是利用TS模糊神经网络融合两个面部疲劳特征和两个车辆行为特征，并运用减法聚类和遗传算法对网络进行优化和训练，进而对驾驶员疲劳驾驶进行融合检测的方法，属于驾驶员疲劳驾驶检测技术领域。

背景技术

疲劳驾驶检测和预警已成为汽车主动安全领域中的研究热点。其中，基于物理传感器的非接触式疲劳驾驶检测方法在理论研究和应用领域近年来引起广泛重视。但现有的疲劳驾驶检测方法大都只针对驾驶员某一方面的单一疲劳特征，如频繁的眨眼和打呵欠，头部转动异常，或车辆行驶状态异常等。随着信息融合技术的发展，不少检测方法虽然已开始考虑融合多个疲劳特征，但它们大多只融合驾驶员面部的几个疲劳特征，而对于间接反应驾驶员是否疲劳的车辆行为特征，如因疲劳驾驶而产生的车辆异常偏离车道，方向盘转动和车速变化异常等却被忽略，导致目前这些方法的检测效果不够理想，容易造成误检，漏检等。同时，疲劳驾驶是一个非常复杂的生理现象，存在诱发原因多，症状复杂，难以检测和识别等问题，这些都给传统的疲劳驾驶检测方法带来了极大地挑战。

发明内容

本发明的目的是克服现有基于单一特征疲劳驾驶检测方法的不足，提供一种可靠性高的基于软计算的疲劳驾驶融合检测方法。

本发明采用如下技术方案：

一种基于软计算的疲劳驾驶融合检测方法，该方法的主要步骤如下：

步骤1被测驾驶员疲劳特征参数x_i的计算：对被测驾驶员的疲劳特征参数x_i进行采集，i＝1、2、3或4，所采集的疲劳特征参数包括：驾驶员面部图像特征信号、车辆前方车道标志线信号、方向盘转动信号，其中，驾驶员面部图像特征信号包括驾驶员眨眼信号及打哈欠信号，并根据所采集的数据，计算眨眼频率x₁、打哈欠频率x₂、车辆异常偏离车道的频率x₃及方向盘转动异常频率x₄，其中，x₁＝n₁/N₁，N₁为Δt₁时间内采集的图片帧数，n₁为其中眼睛闭合的图片帧数，x₂＝n₂/N₂，N₂为Δt₂时间内采集的图片帧数，n₂为其中打呵欠的图片帧数，x₃＝n₃/N₃，N₃为Δt₃时间内采集的图片帧数，n₃为其中异常偏离车道的图片帧数，x₄＝t/10，t为每10秒内方向盘持续不动的时间，单位为秒；

步骤2将眨眼频率x₁、打哈欠频率x₂、车辆异常偏离车道频率x₃及方向盘转动异常频率x₄代入TS模糊神经网络的高斯隶属函数μ_i ^j中， ${\mathrm{\μ}}_i^j=\exp [-{(x_i-{\mathrm{\ω}}_{\mathrm{ij}})}^2/{\mathrm{\σ}}_{\mathrm{ij}}^2],$ i＝1，2，3或4，j为正整数，j＝1，2，3，…，(c_R-1)或c_R，c_R为模糊规则个数，式中，ω_ij、σ_ij和μ_i ^j分别表示疲劳特征参数x_i的第j个模糊规则的隶属函数的中心、宽度和隶属度；

步骤3利用步骤2得到的隶属度μ_i ^j计算激励强度α_j，即： ${\mathrm{\α}}_j=\mathrm{\Π}{\mathrm{\μ}}_i^j,$ i＝1，2，3或4，再计算归一化激励强度

即： ${\stackrel{\‾}{\mathrm{\α}}}_j={\mathrm{\α}}_j/\underset{j=1}{\overset{C_R}{\mathrm{\Σ}}}{\mathrm{\α}}_j,$ 然后计算第j个模糊规则的后件加权值y_i，即：其中ρ_d ^j为权值系数，d＝0，1，2，3或4，再计算归一化后件加权值

即： ${\stackrel{\‾}{y}}_j={\stackrel{\‾}{\mathrm{\α}}}_j\·y_j,$ 最后计算疲劳度检测值

即： $\hat{Y}=\underset{j=1}{\overset{C_R}{\mathrm{\Σ}}}{\stackrel{\‾}{y}}_j,$

得到所述c_R、ω_ij、σ_ij和ρ_d ^j的方法是：首先对6名男性和4名女性共10名驾驶员进行疲劳度量化实验，选择200组包含疲劳特征参数x₁，x₂，x₃，x₄及相应的疲劳度量化值Y的数据作为实验样本，为保证样本的时效性和完备性，疲劳度量化值Y的量化实验应在疲劳特征参数采集之后1分钟内开始，同时样本应尽量全面地包含驾驶员的各种疲劳程度，如不疲劳、轻微疲劳、中等疲劳，重度疲劳，其中，x₁＝n₁/N₁，N₁为Δt₁时间内采集的图片帧数，n₁为其中眼睛闭合的图片帧数，x₂＝n₂/N₂，N₂为Δt₂时间内采集的图片帧数，n₂为其中打呵欠的图片帧数，x₃＝n₃/N₃，N₃为Δt₃时间内采集的图片帧数，n₃为其中异常偏离车道的图片帧数，x₄＝t/10，t为每10秒内方向盘持续不动的时间，单位为秒，疲劳度量化值 $Y=\frac{\underset{b=1}{\overset{100}{\mathrm{\Σ}}}1\·{\mathrm{\δ}}_b}{100},$ δ_b为对第b次弹出的交通标志图片识别错误的当量系数，

t_b为疲劳度量化时对第b次弹出的交通标识图片进行识别和响应所用的时间，单位为秒，上述疲劳度量化值Y的量化采用编制的测试程序进行计算，实验前先让驾驶员对4张配有文字说明的交通标志图片进行学习，编程时每张图片被用一个图片标识符进行定义，与其相对应的文字说明按钮也被定义一个跟图片标识符相同的文字说明按钮标识符；实验时，程序界面每隔2秒随机弹出4张交通标志图片中的任一张，此时驾驶员须在限定的1秒时间内对图片所代表的含义进行识别和响应，并用鼠标迅速点击相应的文字说明按钮，根据每次出现的图片的图片标识符跟鼠标点击的文字说明按钮标识符是否相同来判断每次识别是否正确，当出现的图片的图片标识符跟鼠标点击的文字说明按钮标识相同时，此次识别正确，否则识别错误，同时计算从图片出现到鼠标击中文字说明按钮之间的响应时间，用t_b表示，根据识别结果是否正确以及响应时间的长短确定每次识别错误的当量系数δ_b；每次实验图片共随机出现100次，实验结束时程序会自动计算本次实验图片识别的错误率并将其作为疲劳程度的量化值在程序界面上进行显示；

然后利用减法聚类确定模糊规则个数c_R，以及ω_ij和σ_ij的初始值，减法聚类的步骤为：

(1)计算第k个样本X_k中x_i和Y的归一化值

和

(j′＝1，2，3或4)， ${\stackrel{\‾}{Y}}_k=\frac{(Y_k-Y_{\min })}{(Y_{\max }-Y_{\min })},$ 其中，对每一个样本值X_k，X_k＝{x_k，1，x_k，2，x_k，3，x_k，4，Y_k}，k＝1，2，…，200，前4项为第k个样本对应的四个疲劳特征参数值x₁，x₂，x₃和x₄，第5项为相应的疲劳度量化值Y，归一化样本值

经比较确定： $x_{\max ,j^{\′}}=\underset{1\≤k\≤200}{\max }\left(x_{{k,j}^{\′}}\right),$ $x_{\min ,j^{\′}}=\underset{1\≤k\≤200}{\min }\left(x_{{k,j}^{\′}}\right),$ $Y_{\min }=\underset{1\≤k\≤200}{\min }\left(Y_k\right),$ $Y_{\max }=\underset{1\≤k\≤200}{\max }\left(Y_k\right);$

(2)计算每一个对应的密度值P_k，

P_a＝0.4，然后经统计比较得到具有最大密度值P_k ^max的数据点

定义 $\tilde{P}=P_k^{\max },$ 并初始化聚类个数c_N＝0；

(3)令 $R_p=\frac{P_k^{\max }}{\tilde{P}};$

(4)如果R_p＞ε_A，执行(6)，其中，接收率ε_A＝0.8；

(5)如果R_p＜ε_R，输出聚类中心C_i″及聚类个数c_N，并将聚类个数作为模糊规则个数c_R的值，即c_R＝c_N，程序结束，其中，拒绝率ε_R＝0.15；否则，统计计算

跟已求得的聚类中心C_i″之间的最小距离d_min， $d_{\min }=\min \left|\right|{\stackrel{\‾}{X}}_k^{*}-C_{i^{\′\′}}\left|\right|,$ i″为正整数，1≤i″≤c_N，C表示由聚类中心组成的聚类中心集合，C＝{C_i″}，C_i″表示第i″个聚类中心，如果 $\frac{d_{\min }}{0.8}+R_p\≤1,$ 拒绝

成为聚类中心，并令其密度值P_k＝0，重新进行统计比较，选择具有最大密度值P_k ^max的数据点作为新的

转至(3)，否则转至(6)；

(6)令 $C_{i^{\′\′}}={\stackrel{\‾}{X}}_k^{*},$ 将

作为新的聚类中心依次添加到集合C中，并令c_N＝c_N+1，接着根据对其余未聚类的的密度值P_k进行更新，即

其中，R_b＝1.5R_a，以避免出现距离相近的聚类中心；

(7)统计并找到新的具有最高密度值P_k ^max的返回步骤(3)继续运行程序；

减法聚类完成后，将聚类中心集合C中的c_R个聚类中心C_j进行转换求得归一化前的聚类中心C_j′，其中，

再将x_i，j ^*作为隶属函数μ_i ^j中相应ω_ij的初始值

即 ${\widetilde{\mathrm{\ω}}}_{\mathrm{ij}}=x_{i,j}^{*},$ 在集合C中统计计算跟第一个聚类中心C₁′的欧氏距离最近的另一个聚类中心C_s′，s＝2，3，…，(c_R-1)或c_R，σ_ij的初始值

被确定为： ${\widetilde{\mathrm{\σ}}}_{\mathrm{ij}}=\frac{1}{2}|x_{i,1}^{*}-x_{i,s}^{*}|,$ 其中，

根据遗传算法，将TS模糊神经网络需要优化的ω_ij、σ_ij和ρ_d ^j按实数编码格式连接起来构成一条染色体，共随机产生100条染色体，组成群体Z，Z＝{z₁，z₂，…，z₁₀₀}，其中，每条染色体的基因值由ω_ij′、σ_ij′和ρ_d′^j组成，第h条染色体z_h可表示为：

h为正整数，且h＝1，2，…，或100，其中，

${\mathrm{\ρ}}_d^{\′j}=\mathrm{rand}\left(\mathrm{0,1}\right);$ 计算网络在训练集上产生的均方误差f_err(Z)，

式中，

为代入第k个样本的疲劳特征参数x_i和染色体中的ω_ij′，σ_ij′和ρ_d′^j后TS模糊神经网络计算出的网络实际输出值，并根据f_err(Z)构造适应度函数，计算每条染色体的适应度f_fit(Z)， $f_{\mathrm{fit}}\left(Z\right)=\frac{1}{1+f_{\mathrm{err}}\left(Z\right)},$ 通过遗传算法的选择，交叉，变异操作对染色体中的ω_ij′，σ_ij′和ρ_d′^j进行优化，将在最大进化代数范围内满足最小均方误差

的染色体z^*作为最佳染色体，

根据最佳染色体z^*，令 ${\mathrm{\ω}}_{\mathrm{ij}}={\mathrm{\ω}}_{\mathrm{ij}}^{*},$ ${\mathrm{\σ}}_{\mathrm{ij}}={\mathrm{\σ}}_{\mathrm{ij}}^{*},$ ${\mathrm{\ρ}}_d^j={\mathrm{\ρ}}_d^{*j},$ 并将ω_ij，σ_ij和ρ_d ^j作为最佳网络参数，其中，遗传算法中设定的最小均方误差 ${\hat{f}}_{\mathrm{err}}\left(Z\right)=0.001,$ 最大进化代数为N_e＝1000次；

选择操作采用轮盘赌法选择优质个体，交叉运算时利用公式(1)以线性交叉的方式产生子代Z_A ^e+1，Z_B ^e+1，

Z_A ^e、Z_B ^e为待交叉的两个染色体，η为(0，1)区间产生的随机数，e为交叉运算的代数，

变异操作采用非均匀变异，根据公式(2)和(3)，对原有的基因值做一随机扰动，以扰动后的结果做为变异后的新基因值d′(Z_m)，

式中κ＝g_c/g_m，γ为随机数，γ＝rand(0，1)，g为形状参数，g＝3，a_l和a_r分别为染色体中各基因位取值区域的左右边界、g_c为当前进化代数、g_m为最大进化代数，sign为随机数，取值为0或1，Z_m为第m个染色体，

在交叉和变异操作过程中，交叉率p_c和变异率p_m采用一种自适应的方法获得，其表达式为：

式中f_max、f_avg分别表示群体中的最大适应度和平均适应度，f′表示两个待交叉个体中较大的适应度，p_c1、p_c2、p_m1、p_m2为小于1的常数，其中，交叉率p_c1＝0.9，p_c2＝0.6，变异率p_m1＝0.1，p_m2＝0.001；

步骤4将最佳网络参数ω_ij、σ_ij和ρ_d ^j以及实时计算的疲劳特征参数x_i代入到TS模糊神经网络中计算疲劳度检测值依据疲劳度检测值

的大小，将驾驶员的驾驶行为划分为四种状态：

最后根据

的大小检测驾驶员是否疲劳并对疲劳的严重程度进行有效分类。

与现有技术相比，本发明具有如下优点：

(1)本发明综合考虑反映疲劳驾驶的两个直接特征和两个间接特征，其中，两个直接特征包括频繁眨眼和打呵欠，两个间接特征包括车辆异常偏离车道和方向盘转动异常。上述四个疲劳特征能够全面、客观、准确的衡量驾驶员的疲劳驾驶行为。

(2)运用TS模糊神经网络融合上述四个疲劳疲劳特征参数对驾驶员疲劳驾驶进行实时检测，克服基于单一特征疲劳驾驶检测方法的局限性，降低其误检率和漏检率，提高疲劳驾驶检测的可靠性和准确率，适合于实时性强的驾驶疲劳精确检测场合。

(3)利用减法聚类确定TS模糊神经网络的结构和初始网络参数，包括TS模糊神经网络的模糊规则个数以及隶属函数的中心和宽度的初始值，从而优化了TS模糊神经网络的结构，简化了计算过程。

(4)采用遗传算法训练TS模糊神经网络的初始网络参数，进而确定网络参数的最佳值。避免了传统方法训练TS模糊神经网络参数时容易陷入局部极小值的弊端，使得TS模糊神经网络的收敛性和检测精度均得到显著提高。

附图说明

图1是本发明方法的检测流程图；

图2是疲劳度的量化流程图；

图3是基于TS模糊神经网络的结构图；

图4是减法聚类的流程图；

图5是遗传算法的流程图；

图6是基于软计算的模糊神经网络训练效果图；

图7是疲劳特征参数计算及驾驶行为分类输出框图。

具体实施方式

下面参照说明书附图，对本发明的具体实施方式做出更为详细地说明：

本发明基于软计算的疲劳驾驶融合检测方法可通过两个阶段来实现，一是离线训练阶段，二是在线检测阶段。该方法的检测流程图如图1所示。

1、通过对数据样本进行离线训练确定最佳网络结构及网络参数

最佳网络结构及网络参数可通过六步完成：

(1)数据采集

在实验车上安装两个CCD摄像头C1和C2，C1负责驾驶员面部图像特征信号的采集，C2负责车辆前方车道标志线信号的采集，另外在方向盘上安装光电式转角传感器负责对方向盘转动信号的采集。

(2)特征参数计算

对被测驾驶员的疲劳特征参数x_i进行采集，i＝1、2、3或4，所采集的疲劳特征参数包括：驾驶员面部图像特征信号、车辆前方车道标志线信号、方向盘转动信号，其中，驾驶员面部图像特征信号包括驾驶员眨眼信号及打哈欠信号，并根据所采集的数据，计算眨眼频率x₁、打哈欠频率x₂、车辆异常偏离车道的频率x₃及方向盘转动异常频率x₄，其中，x₁＝n₁/N₁，N₁为Δt₁时间内采集的图片帧数，n₁为其中眼睛闭合的图片帧数，x₂＝n₂/N₂，N₂为Δt₂时间内采集的图片帧数，n₂为其中打呵欠的图片帧数，x₃＝n₃/N₃，N₃为Δt₃时间内采集的图片帧数，n₃为其中异常偏离车道的图片帧数，x₄＝t/10，t为每10秒内方向盘持续不动的时间，单位为秒；

(3)疲劳度的量化

首先对6名男性和4名女性共10名驾驶员进行疲劳度量化实验，选择200组包含疲劳特征参数x₁，x₂，x₃，x₄及相应的疲劳度量化值Y的数据作为实验样本，为保证样本的时效性和完备性，疲劳度量化值Y的量化实验应在疲劳特征参数采集之后1分钟内开始，同时样本应尽量全面地包含驾驶员的各种疲劳程度，如不疲劳、轻微疲劳、中等疲劳，重度疲劳，其中，x₁＝n₁/N₁，N₁为Δt₁时间内采集的图片帧数，n₁为其中眼睛闭合的图片帧数，x₂＝n₂/N₂，N₂为Δt₂时间内采集的图片帧数，n₂为其中打呵欠的图片帧数，x₃＝n₃/N₃，N₃为Δt₃时间内采集的图片帧数，n₃为其中异常偏离车道的图片帧数，x₄＝t/10，t为每10秒内方向盘持续不动的时间，单位为秒，疲劳度量化值 $Y=\frac{\underset{b=1}{\overset{100}{\mathrm{\Σ}}}1\·{\mathrm{\δ}}_b}{100},$ δ_b为对第b次弹出的交通标志图片识别错误的当量系数，

t_b为疲劳度量化时对第b次弹出的交通标识图片进行识别和响应所用的时间，单位为秒，上述疲劳度量化值Y的量化采用编制的测试程序进行计算，实验前先让驾驶员对4张配有文字说明的交通标志图片进行学习，编程时每张图片被用一个图片标识符进行定义，与其相对应的文字说明按钮也被定义一个跟图片标识符相同的文字说明按钮标识符；实验时，程序界面每隔2秒随机弹出4张交通标志图片中的任一张，此时驾驶员须在限定的1秒时间内对图片所代表的含义进行识别和响应，并用鼠标迅速点击相应的文字说明按钮，根据每次出现的图片的图片标识符跟鼠标点击的文字说明按钮标识符是否相同来判断每次识别是否正确，当出现的图片的图片标识符跟鼠标点击的文字说明按钮标识相同时，此次识别正确，否则识别错误，同时计算从图片出现到鼠标击中文字说明按钮之间的响应时间，用t_b表示，根据识别结果是否正确以及响应时间的长短确定每次识别错误的当量系数δ_b；每次实验图片共随机出现100次，实验结束时程序会自动计算本次实验图片识别的错误率并将其作为疲劳程度的量化值在程序界面上进行显示，疲劳度的量化流程如图2所示。

(4)构建TS模糊神经网络模型

本文采用TS模糊神经网络模型对疲劳特征进行融合检测，该模型由前件网络和后件网络组成，具有收敛速度快，样本需要量少的优点，其网络结构图如图3所示。

前件网络由四层组成，各层的功能及运算如下：

1)输入层：节点数为4，对应4个输入疲劳特征参数x₁、x₂、x₃和x₄；

2)模糊化层：对每一个节点利用高斯隶属函数计算其隶属度μ_i ^j，其运算为： ${\mathrm{\μ}}_i^j=\exp [-{(x_i-{\mathrm{\ω}}_{\mathrm{ij}})}^2/{\mathrm{\σ}}_{\mathrm{ij}}^2],$ i＝1，2，3或4，j为正整数，j＝1，2，3，…，(c_R-1)

或c_R，c_R为模糊规则个数，式中，ω_ij、σ_ij分别表示疲劳特征参数x_i的第j个模糊规则的隶属函数的中心、宽度；

3)规则层：该层用来计算每条规则的激励强度α_j， ${\mathrm{\α}}_j=\mathrm{\Π}{\mathrm{\μ}}_i^j;$

4)归一化层：该层用来计算规则的归一化激励强度

${\stackrel{\‾}{\mathrm{\α}}}_j={\mathrm{\α}}_j/\underset{j=1}{\overset{C_R}{\mathrm{\Σ}}}{\mathrm{\α}}_j;$

以下是后件网络各层的功能与计算：

1)输入层：比前件网络的输入层多一个节点输入x₀＝1，用来补偿模糊规则后件中的常数项；

2)函数层：计算每一条规则的后件加权值y_j，节点间的权值系数为后件参数。该层的输出为输入的线性组合，即：

其中ρ_d ^j为权值系数，d＝0，1，2，3或4；

3)结合层：用来归一化后件加权值

${\stackrel{\‾}{y}}_j={\stackrel{\‾}{\mathrm{\α}}}_j\·y_j;$

4)输出层：该层有唯一节点，它将输入信号求和，计算疲劳度检测值

即： $\hat{Y}=\underset{j=1}{\overset{C_R}{\mathrm{\Σ}}}{\stackrel{\‾}{y}}_j.$

(5)减法聚类确定网络结构

利用减法聚类确定模糊规则个数c_R，以及ω_ij和σ_ij的初始值，减法聚类的步骤为：

(1)计算第k个样本X_k中x_i和Y的归一化值

和

(j′＝1，2，3或4)， ${\stackrel{\‾}{Y}}_k=\frac{(Y_k-Y_{\min })}{(Y_{\max }-Y_{\min })},$ 其中，对每一个样本值X_k，X_k＝{x_k，1，x_k，2，x_k，3，x_k，4，Y_k}，k＝1，2，…，200，前4项为第k个样本对应的四个疲劳特征参数值x₁，x₂，x₃和x₄，第5项为相应的疲劳度量化值Y，归一化样本值

经比较确定： $x_{\max ,j^{\′}}=\underset{1\≤k\≤200}{\max }\left(x_{{k,j}^{\′}}\right),$ $x_{\min ,j^{\′}}=\underset{1\≤k\≤200}{\min }\left(x_{{k,j}^{\′}}\right),$ $Y_{\min }=\underset{1\≤k\≤200}{\min }\left(Y_k\right),$ $Y_{\max }=\underset{1\≤k\≤200}{\max }\left(Y_k\right);$

2)计算每一个

对应的密度值P_k，

R_a＝0.4，然后经统计比较得到具有最大密度值P_k ^max的数据点定义 $\tilde{P}=P_k^{\max },$ 并初始化聚类个数c_N＝0；

3)令 $R_p=\frac{P_k^{\max }}{\tilde{P}};$

4)如果R_p＞ε_A，执行6)，其中，接收率ε_A＝0.8；

5)如果R_p＜ε_R，输出聚类中心C_i″及聚类个数c_N，并将聚类个数作为模糊规则个数c_R的值，即c_R＝c_N，程序结束，其中，拒绝率ε_R＝0.15；否则，统计计算

跟已求得的聚类中心C_i″之间的最小距离d_min， $d_{\min }=\min \left|\right|{\stackrel{\‾}{X}}_k^{*}-C_{i^{\′\′}}\left|\right|,$ i″为正整数，1≤i″≤c_N，C表示由聚类中心组成的聚类中心集合，C＝{C_i″}，C_i″表示第i″个聚类中心，如果 $\frac{d_{\min }}{0.8}+R_p\≤1,$ 拒绝成为聚类中心，并令其密度值P_k＝0，

重新进行统计比较，选择具有最大密度值P_k ^max的数据点作为新的

转至3)，否则转至6)；

6)令 $C_{i^{\′\′}}={\stackrel{\‾}{X}}_k^{*},$ 将

作为新的聚类中心依次添加到集合C中，并令c_N＝c_N+1，接着根据

对其余未聚类的

的密度值P_k进行更新，即

其中，R_b＝1.5R_a，以避免出现距离相近的聚类中心；

7)统计并找到新的具有最高密度值P_k ^max的

返回步骤3)继续运行程序；减法聚类的流程如图4所示，减法聚类完成后，将聚类中心集合C中的c_R个聚类中心C_j进行转换求得归一化前的聚类中心C_j′，其中，

再将x_i，j ^*作为隶属函数μ_i ^j中相应ω_ij的初始值即 ${\widetilde{\mathrm{\ω}}}_{\mathrm{ij}}=x_{i,j}^{*},$ 在集合C中统计计算跟第一个聚类中心C₁′的欧氏距离最近的另一个聚类中心C_s′，s＝2，3，…，(c_R-1)或c_R，σ_ij的初始值

被确定为： ${\widetilde{\mathrm{\σ}}}_{\mathrm{ij}}=\frac{1}{2}|x_{i,1}^{*}-x_{i,s}^{*}|,$ 其中，

(6)遗传算法优化网络参数

根据遗传算法，将TS模糊神经网络需要优化的ω_ij、σ_ij和ρ_d ^j按实数编码格式连接起来构成一条染色体，共随机产生100条染色体，组成群体Z，Z＝{z₁，z₂，…，z₁₀₀}，其中，每条染色体的基因值由ω_ij′、σ_ij′和ρ_d′^j组成，第h条染色体z_h可表示为：

h为正整数，且h＝1，2，…，或100，其中，

${\mathrm{\ρ}}_d^{\′j}=\mathrm{rand}\left(\mathrm{0,1}\right);$

按如图5所示的遗传算法计算流程计算网络在训练集上产生的均方误差f_err(Z)，

式中，

为代入第k个样本的疲劳特征参数x_i和染色体中的ω_ij′，σ_ij′和ρ_d′^j后TS模糊神经网络计算出的网络实际输出值，并根据f_err(Z)构造适应度函数，计算每条染色体的适应度f_fit(Z)， $f_{\mathrm{fit}}\left(Z\right)=\frac{1}{1+f_{\mathrm{err}}\left(Z\right)},$ 通过遗传算法的选择，交叉，变异操作对染色体中的ω_ij′，σ_ij′和ρ_d′^j进行优化，将在最大进化代数范围内满足最小均方误差

的染色体z^*作为最佳染色体，

根据最佳染色体z^*，令 ${\mathrm{\ω}}_{\mathrm{ij}}={\mathrm{\ω}}_{\mathrm{ij}}^{*},$ ${\mathrm{\σ}}_{\mathrm{ij}}={\mathrm{\σ}}_{\mathrm{ij}}^{*},$ ${\mathrm{\ρ}}_d^j={\mathrm{\ρ}}_d^{*j},$ 从而确定ω_ij，σ_ij和ρ_d ^j并将其作为最佳网络参数；

选择操作采用轮盘赌法选择优质个体，交叉运算时利用公式(1)以线性交叉的方式产生子代Z_A ^e+1，Z_B ^e+1，

Z_A ^e、Z_B ^e为待交叉的两个染色体，η为(0，1)区间产生的随机数，e为交叉运算的代数，

变异操作采用非均匀变异，根据公式(2)和(3)，对原有的基因值做一随机扰动，以扰动后的结果做为变异后的新基因值d′(Z_m)，

式中κ＝g_c/g_m，γ为随机数，γ＝rand(0，1)，g为形状参数，g＝3，a_l和a_r分别为染色体中各基因位取值区域的左右边界、g_c为当前进化代数、g_m为最大进化代数，sign为随机数，取值为0或1，Z_m为第m个染色体，

在交叉和变异操作过程中，交叉率p_c和变异率p_m采用一种自适应的方法获得，其表达式为：

式中f_max、f_avg分别表示群体中的最大适应度和平均适应度，f′表示两个待交叉个体中较大的适应度，p_c1、p_c2、p_m1、p_m2为小于1的常数，其中，交叉率p_c1＝0.9，p_c2＝0.6，变异率p_m1＝0.1，p_m2＝0.001；

选择200个实验样本，利用减法聚类算法对其进行聚类，最终确定的模糊规则个数c_R＝5，遗传算法中设定的最小均方误差 ${\hat{f}}_{\mathrm{err}}\left(Z\right)=0.001,$ 最大进化代数N_e＝1000次，网络训练过程中获得的均方误差曲线如图6所示；

2、将离线训练阶段获得的最佳网络参数ω_ij，σ_ij和ρ_d ^j代入TS模糊神经网络中，根据实时采集和计算的疲劳特征参数对驾驶员是否疲劳驾驶进行在线检测。

(1)将离线训练阶段获得的最佳网络参数ω_ij，σ_ij和ρ_d ^j代入TS模糊神经网络中；

(2)数据采集

在线检测阶段的数据采集跟离线训练阶段的数据采集方式相同；

(3)特征参数计算

在线检测阶段的特征参数计算跟离线训练阶段的特征参数计算方法相同；

(4)疲劳度分类输出

将最佳网络参数ω_ij、σ_ij和ρ_d ^j以及实时计算的疲劳特征参数x_i代入到TS模糊神经网络中计算疲劳度检测值

依据疲劳度检测值

的大小，将驾驶员的驾驶行为划分为四种状态：

最后根据

的大小检测驾驶员是否疲劳并对疲劳的严重程度进行有效分类，疲劳特征参数计算及驾驶行为分类输出框图如图7所示。

Claims (1)

1.一种基于软计算的疲劳驾驶融合检测方法，其特征在于，包括如下步骤：

步骤1被测驾驶员疲劳特征参数x_i的计算：对被测驾驶员的疲劳特征参数x_i进行采集，i＝1、2、3或4，所采集的疲劳特征参数包括：驾驶员面部图像特征信号、车辆前方车道标志线信号、方向盘转动信号，其中，驾驶员面部图像特征信号包括驾驶员眨眼信号及打哈欠信号，并根据所采集的数据，计算眨眼频率x₁、打哈欠频率x₂、车辆异常偏离车道的频率x₃及方向盘转动异常频率x₄；

步骤2将眨眼频率x₁、打哈欠频率x₂、车辆异常偏离车道频率x₃及方向盘转动异常频率x₄代入高斯隶属函数

i＝1，2，3或4，j为正整数，j＝1，2，3，…，(c_R-1)或c_R，c_R为模糊规则个数，式中，ω_ij、σ_ij和

分别表示疲劳特征参数x_i的第j个模糊规则的隶属函数的中心、宽度和隶属度；

步骤3利用步骤2得到的隶属度

计算激励强度α_j，即：

i＝1，2，3或4，再计算归一化激励强度

即：

然后计算第j个模糊规则的后件加权值y_j，即：其中

为权值系数，d＝0，1，2，3或4，再计算归一化后件加权值

即：

最后计算疲劳度检测值

即：

得到所述c_R、ω_ij、σ_ij和

的方法是：首先对6名男性和4名女性共10名驾驶员进行疲劳度量化实验，选择200组包含疲劳特征参数x₁，x₂，x₃，x₄及相应的疲劳度量化值Y的数据作为实验样本，为保证样本的时效性和完备性，疲劳度量化值Y的量化实验应在疲劳特征参数采集之后1分钟内开始，同时样本应尽量全面地包含驾驶员的各种疲劳程度，所述疲劳程度为不疲劳、轻微疲劳、中等疲劳或重度疲劳，其中，x₁＝n₁/N₁，N₁为Δt₁时间内采集的图片帧数，n₁为其中眼睛闭合的图片帧数，x₂＝n₂/N₂，N₂为Δt₂时间内采集的图片帧数，n₂为其中打呵欠的图片帧数，x₃＝n₃/N₃，N₃为Δt₃时间内采集的图片帧数，n₃为其中异常偏离车道的图片帧数，x₄＝t/10，t为每10秒内方向盘持续不动的时间，单位为秒，疲劳度量化值

δ_b为对第b次弹出的交通标志图片识别错误的当量系数，

t_b为疲劳度量化时对第b次弹出的交通标识图片进行识别和响应所用的时间，单位为秒，上述疲劳度量化值Y的量化采用编制的测试程序进行计算，实验前先让驾驶员对4张配有文字说明的交通标志图片进行学习，编程时每张图片被用一个图片标识符进行定义，与其相对应的文字说明按钮也被定义一个跟图片标识符相同的文字说明按钮标识符；实验时，程序界面每隔2秒随机弹出4张交通标志图片中的任一张，此时驾驶员须在限定的1秒时间内对图片所代表的含义进行识别和响应，并用鼠标迅速点击相应的文字说明按钮，根据每次出现的图片的图片标识符跟鼠标点击的文字说明按钮标识符是否相同来判断每次识别是否正确，当出现的图片的图片标识符跟鼠标点击的文字说明按钮标识相同时，此次识别正确，否则识别错误，同时计算从图片出现到鼠标击中文字说明按钮之间的响应时间，用t_b表示，根据识别结果是否正确以及响应时间的长短确定每次识别错误的当量系数δ_b；每次实验图片共随机出现100次，实验结束时程序会自动计算本次实验图片识别的错误率并将其作为疲劳程度的量化值在程序界面上进行显示；

然后利用减法聚类确定模糊规则个数c_R，以及ω_ij和σ_ij的初始值，减法聚类的步骤为：

(1)计算第k个样本X_k中x_i和Y的归一化值

和

(j′＝1，2，3或4)，

其中，对每一个样本值X_k，X_k＝{x_k，1，x_k，2，x_k，3，x_k，4，Y_k}，k＝1，2，…，200，前4项为第k个样本对应的四个疲劳特征参数值x₁，x₂，x₃和x₄，第5项为相应的疲劳度量化值Y，归一化样本值 ${\stackrel{\‾}{X}}_k=\{{\stackrel{\‾}{x}}_{k,1},{\stackrel{\‾}{x}}_{k,2},{\stackrel{\‾}{x}}_{k,3},{\stackrel{\‾}{x}}_{k,4},{\stackrel{\‾}{Y}}_k\},$ 经比较确定： $x_{{\max ,j}^{\′}}=\underset{1\≤k\≤200}{\max }\left(x_{{k,j}^{\′}}\right),$ $x_{{\min ,j}^{\′}}=\underset{1\≤k\≤200}{\min }\left(x_{{k,j}^{\′}}\right),$ $Y_{\min }=\underset{1\≤k\≤200}{\min }\left(Y_k\right),$ $Y_{\max }=\underset{1\≤k\≤200}{\max }\left(Y_k\right),$

(2)计算每一个

对应的密度值P_k， $P_k=\underset{j^{\′\′}=1}{\overset{200}{\mathrm{\Σ}}}\exp (-\frac{{\left|\right|{\stackrel{\‾}{X}}_k-{\stackrel{\‾}{X}}_{j^{\′\′}}\left|\right|}^2}{{(R_a/2)}^2}),$ R_a＝0.4，然后经统计比较得到具有最大密度值

的数据点

定义

并初始化聚类个数c_N＝0，

(3)令 $R_p=\frac{P_k^{\max }}{\tilde{P}},$

(4)如果R_p＞ε_A，执行(6)，其中，接收率ε_A＝0.8，

(5)如果R_p＜ε_R，输出聚类中心C_i″及聚类个数c_N，并将聚类个数作为模糊规则个数c_R的值，即c_R＝c_N，程序结束，其中，拒绝率ε_R＝0.15，否则，统计计算

跟已求得的聚类中心C_i″之间的最小距离d_min，i″为正整数，1≤i″≤c_N，C表示由聚类中心组成的聚类中心集合，C＝{C_i″}，C_i″表示第i″个聚类中心，如果

拒绝

成为聚类中心，并令其密度值P_k＝0，重新进行统计比较，选择具有最大密度值

的数据点作为新的

转至(3)，否则转至(6)，

(6)令

将

作为新的聚类中心依次添加到集合C中，并令c_N＝c_N+1，接着根据

对其余未聚类的

的密度值P_k进行更新，即

其中，R_b＝1.5R_a，以避免出现距离相近的聚类中心，

(7)统计并找到新的具有最高密度值

的

返回步骤(3)继续运行程序，

减法聚类完成后，将聚类中心集合C中的c_R个聚类中心C_j进行转换求得归一化前的聚类中心C′_j，其中， $C_j=\{{\stackrel{\‾}{x}}_{1,j}^{*},{\stackrel{\‾}{x}}_{2,j}^{*},{\stackrel{\‾}{x}}_{3,j}^{*},{\stackrel{\‾}{x}}_{4,j}^{*},{\stackrel{\‾}{Y}}_j^{*}\},$ $C_j^{\′}=\{x_{1,j}^{*},x_{2,j}^{*},$ $x_{3,j}^{*},x_{4,j}^{*},Y_j^{*}\},$ $x_{i,j}^{*}={\stackrel{\‾}{x}}_{i,j}^{*}\·(x_{{\max ,j}^{\′}}-x_{{\min ,j}^{\′}})+x_{{\min ,j}^{\′}},$ 再将

作为隶属函数

中相应ω_ij的初始值

即

在集合C中统计计算跟第一个聚类中心C′₁的欧氏距离最近的另一个聚类中心C′_s，s＝2，3，…，(c_R-1)或c_R，σ_ij的初始值

被确定为： ${\widetilde{\mathrm{\σ}}}_{\mathrm{ij}}=\frac{1}{2}|x_{i,1}^{*}-x_{i,s}^{*}|,$ 其中， $C_1^{\′}=\{x_{\mathrm{1,1}}^{*},x_{\mathrm{2,1}}^{*},x_{\mathrm{3,1}}^{*},x_{\mathrm{4,1}}^{*},Y_1^{*}\},$ $C_s^{\′}=\{x_{1,s}^{*},x_{2,s}^{*},$ $x_{3,s}^{*},x_{4,s}^{*},Y_s^{*}\},$

为归一化前的聚类中心C′_j中的前4个元素，

为聚类中心C_j中的前4个元素，

为距第一个聚类中心C′₁的欧氏距离最近的另一个聚类中心C′_s中的前4个元素；

根据遗传算法，将TS模糊神经网络需要优化的ω_ij、σ_ij和

按实数编码格式连接起来构成一条染色体，共随机产生100条染色体，组成群体Z，Z＝{z₁，z₂，…，z₁₀₀}，其中，每条染色体的基因值由ω′_ij、σ′_ij和

组成，第h条染色体z_h可表示为：

$z_h=[{\mathrm{\ω}}_{11}^{\′},{\mathrm{\ω}}_{21}^{\′},{\mathrm{\ω}}_{31}^{\′},{\mathrm{\ω}}_{41}^{\′},{\mathrm{\σ}}_{11}^{\′},{\mathrm{\σ}}_{21}^{\′},{\mathrm{\σ}}_{31}^{\′},{\mathrm{\σ}}_{41}^{\′},{\mathrm{\ρ}}_0^{\′1},{\mathrm{\ρ}}_1^{\′1},{\mathrm{\ρ}}_2^{\′1},{\mathrm{\ρ}}_3^{\′1},{\mathrm{\ρ}}_4^{\′1},{\mathrm{\ω}}_{12}^{\′},{\mathrm{\ω}}_{22}^{\′}{,\mathrm{\ω}}_{32}^{\′},{\mathrm{\ω}}_{42}^{\′},{\mathrm{\σ}}_{12}^{\′},{\mathrm{\σ}}_{22}^{\′}$ $,{\mathrm{\σ}}_{32}^{\′},{\mathrm{\σ}}_{42}^{\′},{\mathrm{\ρ}}_0^{\′2},{\mathrm{\ρ}}_1^{\′2},{\mathrm{\ρ}}_2^{\′2},{\mathrm{\ρ}}_3^{\′2},{\mathrm{\ρ}}_4^{\′2},\·\·\·,{\mathrm{\ω}}_{1(c_R-1)}^{\′},{\mathrm{\ω}}_{2(c_R-1)}^{\′},{\mathrm{\ω}}_{3(c_R-1)}^{\′},{\mathrm{\ω}}_{4(c_R-1)}^{\′},{\mathrm{\σ}}_{1(c_R-1)}^{\′},{\mathrm{\σ}}_{2(c_R-1)}^{\′},$ ${\text{\σ}}_{3(c_R-1)}^{\′},{\mathrm{\σ}}_{4(c_R-1)}^{\′},{\mathrm{\ρ}}_0^{\′c_R-1},{\mathrm{\ρ}}_1^{\′c_R-1},{\mathrm{\ρ}}_2^{\′c_R-1},{\mathrm{\ρ}}_3^{\′c_R-1},{\mathrm{\ρ}}_4^{\′c_R-1},{\mathrm{\ω}}_{{1c}_R}^{\′},{\mathrm{\ω}}_{{2c}_R}^{\′},{\mathrm{\ω}}_{{3c}_R}^{\′}\σ{\mathrm{\ω}}_{{4c}_R}^{\′},{\mathrm{\σ}}_{{1c}_R}^{\′},{\mathrm{\σ}}_{{2c}_R}^{\′},{\mathrm{\σ}}_{{3c}_R}^{\′},$ ${\mathrm{\σ}}_{{4c}_R}^{\′},{\mathrm{\ρ}}_0^{{\′c}_R},{\mathrm{\ρ}}_1^{{\′c}_R},{\mathrm{\ρ}}_2^{{\′c}_R},{\mathrm{\ρ}}_3^{{\′c}_R},{\mathrm{\ρ}}_4^{{\′c}_R}],$ h为正整数，且h＝1，2，…，或100，其中，ω′_ij、σ′_ij和

为组成每条染色体基因值的元素，

${\mathrm{\σ}}_{\mathrm{ij}}^{\′}=\mathrm{rand}$ $({\widetilde{\mathrm{\σ}}}_{\mathrm{ij}}-0.5,{\widetilde{\mathrm{\σ}}}_{i,j}+0.5),$ ${\mathrm{\ρ}}_d^{\′j}=\mathrm{rand}\left(\mathrm{0,1}\right),$

计算网络在训练集上产生的均方误差f_err(Z)，式中，

为代入第k个样本的疲劳特征参数x_i和染色体中的ω′_ij，σ′_ij和

后TS模糊神经网络计算出的网络实际输出值，并根据f_err(Z)构造适应度函数，计算每条染色体的适应度f_fit(Z)，

通过遗传算法的选择，交叉，变异操作对染色体中的ω′_ij，σ′_ij和

进行优化，将在最大进化代数范围内满足最小均方误差

的染色体z^*作为最佳染色体， $z^{*}=[{\mathrm{\ω}}_{11}^{*},{\mathrm{\ω}}_{21}^{*},{\mathrm{\ω}}_{31}^{*},{\mathrm{\ω}}_{41}^{*},{\mathrm{\σ}}_{11}^{*},{\mathrm{\σ}}_{21}^{*},{\mathrm{\σ}}_{31}^{*},{\mathrm{\σ}}_{41}^{*},{\mathrm{\ρ}}_0^{*1},{\mathrm{\ρ}}_1^{*1},{\mathrm{\ρ}}_2^{*1},{\mathrm{\ρ}}_3^{*1},{\mathrm{\ρ}}_4^{*1},{\mathrm{\ω}}_{12}^{*},{\mathrm{\ω}}_{22}^{*}{,\mathrm{\ω}}_{32}^{*},{\mathrm{\ω}}_{42}^{*},{\mathrm{\σ}}_{12}^{*},$ ${\mathrm{\σ}}_{22}^{*},{\mathrm{\σ}}_{32}^{*},{\mathrm{\σ}}_{42}^{*},{\mathrm{\ρ}}_0^{*2},{\mathrm{\ρ}}_1^{*2},{\mathrm{\ρ}}_2^{*2},{\mathrm{\ρ}}_3^{*2},{\mathrm{\ρ}}_4^{*2},\·\·\·,{\mathrm{\ω}}_{1(c_R-1)}^{*},{\mathrm{\ω}}_{2(c_R-1)}^{*},{\mathrm{\ω}}_{3(c_R-1)}^{*},{\mathrm{\ω}}_{4(c_R-1)}^{*},{\mathrm{\σ}}_{1(c_R-1)}^{*},{\mathrm{\σ}}_{2(c_R-1)}^{*},$ ${\mathrm{\σ}}_{3(c_R-1)}^{*},{\mathrm{\σ}}_{4(c_R-1)}^{*},{\mathrm{\ρ}}_0^{*(c_R-1)},{\mathrm{\ρ}}_1^{*(c_R-1)},{\mathrm{\ρ}}_2^{*(c_R-1)},{\mathrm{\ρ}}_3^{*(c_R-1)},{\mathrm{\ρ}}_4^{*(c_R-1)},{\mathrm{\ω}}_{{1c}_R}^{*},{\mathrm{\ω}}_{{2c}_R}^{*},{\mathrm{\ω}}_{{3c}_R}^{*},{\mathrm{\ω}}_{{4c}_R}^{*},{\mathrm{\σ}}_{{1c}_R}^{*},{\mathrm{\σ}}_{{2c}_R}^{*},$ ${\mathrm{\σ}}_{{3c}_R}^{*},{\mathrm{\σ}}_{{4c}_R}^{*},{\mathrm{\ρ}}_0^{{*c}_R},{\mathrm{\ρ}}_1^{{*c}_R},{\mathrm{\ρ}}_2^{{*c}_R},{\mathrm{\ρ}}_3^{{*c}_R},{\mathrm{\ρ}}_4^{{*c}_R}],$ 根据最佳染色体z^*，令

并将ω_ij，σ_ij和

作为最佳网络参数，其中，遗传算法中设定的最小均方误差最大进化代数为N_e＝1000次，

选择操作采用轮盘赌法选择优质个体，交叉运算时利用公式(1)以线性交叉的方式产生子代

$\left\{\begin{array}{c}{Z}_A^{e+1}={\mathrm{\ηZ}}_A^e+(1-\mathrm{\η})Z_B^e\\ Z_B^{e+1}=(1-\mathrm{\η})Z_A^e+{\mathrm{\ηZ}}_B^e\end{array}\right.---\left(1\right)$

为待交叉的两个染色体，η为(0，1)区间产生的随机数，e为交叉运算的代数，

变异操作采用非均匀变异，根据公式(2)和(3)，对原有的基因值做一随机扰动，以扰动后的结果做为变异后的新基因值d′(Z_m)，

式中κ＝g_c/g_m，γ为随机数，γ＝rand(0，1)，g为形状参数，g＝3，a_l和a_r分别为染色体中各基因位取值区域的左右边界、g_c为当前进化代数、g_m为最大进化代数，sign为随机数，取值为0或1，Z_m为第m个染色体，

在交叉和变异操作过程中，交叉率p_c和变异率p_m采用一种自适应的方法获得，其表达式为：

$p_c=\left\{\begin{array}{cc}{p}_{c1}-\frac{(p_{c1}-p_{c2})(f^{\&prime;}-f_{\mathrm{avg}})}{f_{\max }-f_{\mathrm{avg}}}& (f^{\&prime;}\&GreaterEqual;\mathrm{favg})\\ p_{c1}& (f^{\&prime;}<\mathrm{favg})\end{array}\right.---\left(4\right)$

$p_m=\left\{\begin{array}{cc}{p}_{m1}-\frac{(p_{m1}-p_{m2})(f^{\&prime;}-f_{\mathrm{avg}})}{f_{\max }-f_{\mathrm{avg}}}& (f^{\&prime;}\&GreaterEqual;f_{\mathrm{avg}})\\ p_{m1}& (f^{\&prime;}<f_{\mathrm{avg}})\end{array}\right.---\left(5\right)$

式中f_max、f_avg分别表示群体中的最大适应度和平均适应度，f′表示两个待交叉个体中较大的适应度，p_c1、p_c2、p_m1、p_m2为小于1的常数，其中，交叉率p_c1＝0.9，p_c2＝0.6，变异率p_m1＝0.1，p_m2＝0.001；

步骤4将最佳网络参数ω_ij、σ_ij和

以及实时计算的疲劳特征参数x_i代入到TS模糊神经网络中计算疲劳度检测值

依据疲劳度检测值

的大小，将驾驶员的驾驶行为划分为四种状态：

最后根据

的大小检测驾驶员是否疲劳并对疲劳的严重程度进行有效分类。

Images