CN114782935A - 基于视觉-WiFi信号联合检测的驾驶接管险态感知方法 - Google Patents

Abstract

一种基于视觉‑WiFi信号联合检测的驾驶接管险态感知方法，通过车载WiFi信号提取CSI，通过多个摄像头提取驾驶人复合视角行为特征，将这两个特征融合构建驾驶人的接管险态感知系统，通过融合图像和WiFi信号特征来实现两者的优势互补，提高驾驶人接管危险状态的判别精度。

Description

基于视觉-WiFi信号联合检测的驾驶接管险态感知方法

技术领域

本发明涉及驾驶识别技术领域，具体涉及一种基于视觉-WiFi信号联合检测的驾驶接管险态感知方法。

背景技术

随着世界各国城市化进程的加快和科学技术在交通运输领域中的应用，机动车已在全球范围内迅速普及，并已成为人类社会经济生活中不可缺少的工具，交通的进步与发展给人类创造增添了财富，但随着机动车保有量的不断增加和机动车驾驶员队伍的日益扩大，交通安全已经成为现代社会面临的严峻问题。多种多样的智能电子设备使得驾驶人注意力分散的概率大大提升，极易产生安全隐患引发交通事故，在使用交通工具的过程中，由于驾驶员人为过失导致交通事故的频繁发生也给人类带来了灾难，特别是高速公路和城市快速路事故已经出现逐年递增的趋势，极大地威胁着社会公众生命和财产，造成越来越大的经济损失和人员伤亡，引起了政府部门、汽车企业以及研究机构的广泛关注，也成为智能交通系统研究领域的重要研究内容。

对于驾驶员监控系统来说，需要解决驾驶员疲劳测量和分心检测两个问题。通常，驾驶疲劳或困倦可能与眼动、面部表情、心率和呼吸频率、大脑活动等症状有关。要检测司机是否困倦，视觉特征如眼球运动和面部表情是非常重要的。打哈欠也是判断司机是否困倦的良好指标。心率变异性(HRV)、皮肤电反应(GSR)、电导率、方向盘握力、体温等作为非视觉特征，可以间接判断驾驶员的疲劳程度。脑电图(EEG)和眼电图(EOG)提供了关于困倦或情绪反应的额外心理生理学信息。驾驶行为信息如方向盘运动、车道保持、加速踏板运动、刹车等也应被考虑到驾驶员困倦的检测。

基于驾驶操作的驾驶人状态识别方法主要利用驾驶人操作方向盘、油门和制动踏板的参数信息，分析其在不同状态下的驾驶行为，推测其是否处于危险驾驶状态。但是驾驶操作信号的采集需要驾驶人操作车辆，而车辆自动行驶时驾驶人的手脚往往脱离了方向盘和脚踏板，此时驾驶操作行为无法反映驾驶人的行为状态。基于视觉信息的方法主要通过提取面部和身体图像中的特征判别驾驶人的行为状态，可以识别驾驶人疲劳，视觉分散和非驾驶行为等多种状态。相比其他手段，视觉感知能够以较低成本非侵入的获得丰富的驾驶员面部和身体的行为信息。但是基于图像信息的检测技术，容易受到振动，环境光、温度、灰尘等外界因素的干扰。

随着无线通讯的发展，基于WiFi信号的行为感知技术越来越受到关注。近年来，有研究人员采用WiFi信道状态信息(CSI)对驾驶人的行为感知方法开展了初步研究。但是基于WiFi CSI的行为感知技术易受电磁信号和他人行为的干扰，而大部分研究和设计均基于理想情况，没有考虑车内电磁信号和乘客行为等对信号特征提取的干扰，这就影响了WiFi在驾驶人行为感知场景下的进一步应用。

发明内容

本发明为了克服以上技术的不足，提供了一种提高驾驶人接管危险状态的判别精度的基于视觉-WiFi信号联合检测的驾驶接管险态感知方法。

本发明克服其技术问题所采用的技术方案是：

一种基于视觉-WiFi信号联合检测的驾驶接管险态感知方法，包括如下步骤：

a)在驾驶人正前方和右上方车顶的位置安装摄像头，通过正前方的摄像头获取驾驶人面部的实时图像，通过右上方车顶的摄像头获取驾驶人侧部的实时图像；

b)建立多模态学习门控循环单元网络模型MM-GRU；

c)在驾驶室内安装WiFi信号发射装置和WiFi信号接收装置，在WiFi信号接收装置中提取WiFi-CSI信息，得到无线宽带信号的功率延迟分布SPDP；

d)采用DCNN构建基于WiFi的驾驶人行为特征提取模型W-DCNN；

e)将多模态学习门控循环单元网络模型MM-GRU与基于WiFi的驾驶人行为特征提取模型W-DCNN进入融合，得到多模态融合网络层结构；

f)构建联合代价函数F，通过代价函数F确立多模态融合网络层结构的最优参数，获得优化的多模态融合网络层结构，将获取的驾驶人面部的实时图像、获取驾驶人侧部的实时图像输入到优化的多模态融合网络层结构中的多模态学习门控循环单元网络模型MM-GRU中，构建SPDP曲线的频谱图，将SPDP曲线的频谱图输入到优化的多模态融合网络层结构中的基于WiFi的驾驶人行为特征提取模型W-DCNN，在多模态融合网络层结构的顶层构建分类器，输出驾驶人行为类别。

通过车载WiFi信号提取CSI，通过多个摄像头提取驾驶人复合视角行为特征，将这两个特征融合构建驾驶人的接管险态感知系统，通过融合图像和WiFi信号特征来实现两者的优势互补，提高驾驶人接管危险状态的判别精度。

进一步的，步骤b)中多模态学习门控循环单元网络模型MM-GRU依次由多模态学习网络模型MDNN和门控循环单元GRU构成，其中多模态学习网络模型MDNN依次由多模态特征输入层、2个隐藏层、特征输出层构成，门控循环单元GRU依次由重置门和更新门构成。

进一步的，步骤c)中利用快速傅里叶变换通过公式SPDP＝aδ(t-t₁),

计算得到宽带信号的功率延迟分布SPDP，式中a为角频率，δ(·)为狄拉克δ函数，t为当前时间，t₁为信号的传播延迟时间，F为系数，c₀为全信道CSI数据。

进一步的，步骤d)中的基于WiFi的驾驶人行为特征提取模型W-DCNN依次由第一卷积层、第一汇聚层、第二卷积层、第二汇聚层、第三卷积层、第四卷积层、第五卷积层、第三汇聚层、第一全连接层、第二全连接层及第三全连接层构成。

进一步的，步骤e)中根据公式J(θ)＝L(θ)+λφ(θ)计算得到多模态融合网络层结构的融合层的正则项J(θ)，式中L(θ)为损失函数，λ为正则化系数，φ(θ)为正则化函数。

第一卷积层使用两个大小为11×11×3×48的卷积核，步长S＝4，零填充P＝3，第一汇聚层使用大小为3×3的最大汇聚操作，步长S＝2，第二卷积层使用两个大小为5×5×48×128的卷积核，步长S＝1，零填充P＝2，第二汇聚层使用大小为3×3的最大汇聚操作，步长S＝2，第三卷积层使用一个大小为3×3×256×384的卷积核，步长S＝1，零填充P＝2，第四卷积层使用两个大小为3×3×192×192的卷积核，步长S＝1，零填充P＝1，第五卷积层使用两个大小为3×3×192×128的卷积核，步长S＝1，零填充P＝1，第三汇聚层使用大小为3×3的最大汇聚操作，步长S＝2，第一全连接层的神经元数量为4096，第二全连接层的神经元数量为4096，第三全连接层的神经元数量为1000。

进一步的，步骤f)中通过公式

构建SPDP曲线的频谱图，式中n与m均为时间，ω为时间长度为m的窗口函数，R为阶越大小，e为自然常数，j为虚数单位。

步骤f)中构建联合代价函数F的步骤为：

f-1)通过公式

计算得到多模态学习门控循环单元网络模型MM-GRU行为特征代价函数Fb₁，式中x₁为多模态学习门控循环单元网络模型MM-GRU的行为特征，n为行为特征总数，y₁为多模态学习门控循环单元网络模型MM-GRU的实际值，a₁为多模态学习门控循环单元网络模型MM-GRU的输出值；

f-2)通过公式

计算得到基于WiFi的驾驶人行为特征提取模型W-DCNN行为特征代价函数Fb₂，式中x₂为基于WiFi的驾驶人行为特征提取模型W-DCNN的行为特征，n为行为特征总数，y₂为基于WiFi的驾驶人行为特征提取模型W-DCNN的实际值，a₂为基于WiFi的驾驶人行为特征提取模型W-DCNN的输出值；

f-3)通过公式

计算得到多模态融合网络层结构行为特征代价函数Fb₀，式中x₀为多模态融合网络层结构的行为特征，n为行为特征总数，y₀为多模态融合网络层结构的实际值，a₀为多模态融合网络层结构的输出值；

f-4)通过公式F＝αFb₀+βFb₁+γFb₂计算得到联合代价函数F，式中α、β、γ均为权重系数。

本发明的有益效果是：通过车载WiFi信号提取CSI，通过多个摄像头提取驾驶人复合视角行为特征，将这两个特征融合构建驾驶人的接管险态感知系统，通过融合图像和WiFi信号特征来实现两者的优势互补，提高驾驶人接管危险状态的判别精度。

附图说明

图1为本发明的方法流程图

图2为本发明的WiFi信号发射装置和接收装置的安装结构图。

具体实施方式

下面结合附图1、附图2对本发明做进一步说明。

一种基于视觉-WiFi信号联合检测的驾驶接管险态感知方法，包括如下步骤：

a)在驾驶人正前方和右上方车顶的位置安装摄像头，通过正前方的摄像头获取驾驶人面部的实时图像，通过右上方车顶的摄像头获取驾驶人侧部的实时图像。

b)建立多模态学习门控循环单元网络模型MM-GRU。

c)在驾驶室内安装WiFi信号发射装置和WiFi信号接收装置，在WiFi信号接收装置中提取WiFi-CSI信息，得到无线宽带信号的功率延迟分布SPDP。

d)采用DCNN构建基于WiFi的驾驶人行为特征提取模型W-DCNN。

e)将多模态学习门控循环单元网络模型MM-GRU与基于WiFi的驾驶人行为特征提取模型W-DCNN进入融合，得到多模态融合网络层结构。

f)构建联合代价函数F，通过代价函数F确立多模态融合网络层结构的最优参数，获得优化的多模态融合网络层结构，将获取的驾驶人面部的实时图像、获取驾驶人侧部的实时图像输入到优化的多模态融合网络层结构中的多模态学习门控循环单元网络模型MM-GRU中，构建SPDP曲线的频谱图，将SPDP曲线的频谱图输入到优化的多模态融合网络层结构中的基于WiFi的驾驶人行为特征提取模型W-DCNN，在多模态融合网络层结构的顶层构建分类器，输出驾驶人行为类别。通过车载WiFi信号提取CSI，通过多个摄像头提取驾驶人复合视角行为特征，将这两个特征融合构建驾驶人的接管险态感知系统，通过融合图像和WiFi信号特征来实现两者的优势互补，提高驾驶人接管危险状态的判别精度。

实施例1：

步骤b)中多模态学习门控循环单元网络模型MM-GRU依次由多模态学习网络模型MDNN和门控循环单元GRU构成，其中多模态学习网络模型MDNN依次由多模态特征输入层、2个隐藏层、特征输出层构成，门控循环单元GRU依次由重置门和更新门构成。

实施例2：

步骤c)中利用快速傅里叶变换通过公式SPDP＝aδ(t-t₁),

计算得到宽带信号的功率延迟分布SPDP，式中a为角频率，δ(·)为狄拉克δ函数，t为当前时间，t₁为信号的传播延迟时间，F为系数，c₀为全信道CSI数据。

实施例3：

步骤d)中的基于WiFi的驾驶人行为特征提取模型W-DCNN依次由第一卷积层、第一汇聚层、第二卷积层、第二汇聚层、第三卷积层、第四卷积层、第五卷积层、第三汇聚层、第一全连接层、第二全连接层及第三全连接层构成。

实施例4：

步骤e)中根据公式J(θ)＝L(θ)+λφ(θ)计算得到多模态融合网络层结构的融合层的正则项J(θ)，式中L(θ)为损失函数，λ为正则化系数，φ(θ)为正则化函数。

实施例5：

第一卷积层使用两个大小为11×11×3×48的卷积核，步长S＝4，零填充P＝3，得到两个55×55×48的特征映射组，第一汇聚层使用大小为3×3的最大汇聚操作，步长S＝2，得到两个27×27×48的特征映射组，第二卷积层使用两个大小为5×5×48×128的卷积核，步长S＝1，零填充P＝2，得到两个27×27×128的特征映射组，第二汇聚层使用大小为3×3的最大汇聚操作，步长S＝2，得到两个13×13×128的特征映射组，第三卷积层使用一个大小为3×3×256×384的卷积核，步长S＝1，零填充P＝2，得到两个13×13×192的特征映射组，第四卷积层使用两个大小为3×3×192×192的卷积核，步长S＝1，零填充P＝1，得到两个13×13×192的特征映射组，第五卷积层使用两个大小为3×3×192×128的卷积核，步长S＝1，零填充P＝1，得到两个13×13×128的特征映射组，第三汇聚层使用大小为3×3的最大汇聚操作，步长S＝2，得到两个6×6×128的特征映射组，第一全连接层的神经元数量为4096，第二全连接层的神经元数量为4096，第三全连接层的神经元数量为1000。

实施例6：

步骤f)中通过公式

构建SPDP曲线的频谱图，式中n与m均为时间，ω为时间长度为m的窗口函数，R为阶越大小，e为自然常数，j为虚数单位。

实施例7：

步骤f)中构建联合代价函数F的步骤为：

f-1)通过公式

计算得到多模态学习门控循环单元网络模型MM-GRU行为特征代价函数Fb₁，式中x₁为多模态学习门控循环单元网络模型MM-GRU的行为特征，n为行为特征总数，y₁为多模态学习门控循环单元网络模型MM-GRU的实际值，a₁为多模态学习门控循环单元网络模型MM-GRU的输出值；

f-2)通过公式

计算得到基于WiFi的驾驶人行为特征提取模型W-DCNN行为特征代价函数Fb₂，式中x₂为基于WiFi的驾驶人行为特征提取模型W-DCNN的行为特征，n为行为特征总数，y₂为基于WiFi的驾驶人行为特征提取模型W-DCNN的实际值，a₂为基于WiFi的驾驶人行为特征提取模型W-DCNN的输出值；

f-3)通过公式

计算得到多模态融合网络层结构行为特征代价函数Fb₀，式中x₀为多模态融合网络层结构的行为特征，n为行为特征总数，y₀为多模态融合网络层结构的实际值，a₀为多模态融合网络层结构的输出值；

f-4)通过公式F＝αFb₀+βFb₁+γFb₂计算得到联合代价函数F，式中α、β、γ均为权重系数。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于视觉-WiFi信号联合检测的驾驶接管险态感知方法，其特征在于，包括如下步骤：

a)在驾驶人正前方和右上方车顶的位置安装摄像头，通过正前方的摄像头获取驾驶人面部的实时图像，通过右上方车顶的摄像头获取驾驶人侧部的实时图像；

b)建立多模态学习门控循环单元网络模型MM-GRU；

c)在驾驶室内安装WiFi信号发射装置和WiFi信号接收装置，在WiFi信号接收装置中提取WiFi-CSI信息，得到无线宽带信号的功率延迟分布SPDP；

d)采用DCNN构建基于WiFi的驾驶人行为特征提取模型W-DCNN；

e)将多模态学习门控循环单元网络模型MM-GRU与基于WiFi的驾驶人行为特征提取模型W-DCNN进入融合，得到多模态融合网络层结构；

f)构建联合代价函数F，通过代价函数F确立多模态融合网络层结构的最优参数，获得优化的多模态融合网络层结构，将获取的驾驶人面部的实时图像、获取驾驶人侧部的实时图像输入到优化的多模态融合网络层结构中的多模态学习门控循环单元网络模型MM-GRU中，构建SPDP曲线的频谱图，将SPDP曲线的频谱图输入到优化的多模态融合网络层结构中的基于WiFi的驾驶人行为特征提取模型W-DCNN，在多模态融合网络层结构的顶层构建分类器，输出驾驶人行为类别。

2.根据权利要求1所述的基于视觉-WiFi信号联合检测的驾驶接管险态感知方法，其特征在于：步骤b)中多模态学习门控循环单元网络模型MM-GRU依次由多模态学习网络模型MDNN和门控循环单元GRU构成，其中多模态学习网络模型MDNN依次由多模态特征输入层、2个隐藏层、特征输出层构成，门控循环单元GRU依次由重置门和更新门构成。

3.根据权利要求1所述的基于视觉-WiFi信号联合检测的驾驶接管险态感知方法，其特征在于：步骤c)中利用快速傅里叶变换通过公式

计算得到宽带信号的功率延迟分布SPDP，式中a为角频率，δ(·)为狄拉克δ函数，t为当前时间，t₁为信号的传播延迟时间，F为系数，c₀为全信道CSI数据。

4.根据权利要求1所述的基于视觉-WiFi信号联合检测的驾驶接管险态感知方法，其特征在于：步骤d)中的基于WiFi的驾驶人行为特征提取模型W-DCNN依次由第一卷积层、第一汇聚层、第二卷积层、第二汇聚层、第三卷积层、第四卷积层、第五卷积层、第三汇聚层、第一全连接层、第二全连接层及第三全连接层构成。

5.根据权利要求1所述的基于视觉-WiFi信号联合检测的驾驶接管险态感知方法，其特征在于：步骤e)中根据公式J(θ)＝L(θ)+λφ(θ)计算得到多模态融合网络层结构的融合层的正则项J(θ)，式中L(θ)为损失函数，λ为正则化系数，φ(θ)为正则化函数。

6.根据权利要求4所述的基于视觉-WiFi信号联合检测的驾驶接管险态感知方法，其特征在于：第一卷积层使用两个大小为11×11×3×48的卷积核，步长S＝4，零填充P＝3，第一汇聚层使用大小为3×3的最大汇聚操作，步长S＝2，第二卷积层使用两个大小为5×5×48×128的卷积核，步长S＝1，零填充P＝2，第二汇聚层使用大小为3×3的最大汇聚操作，步长S＝2，第三卷积层使用一个大小为3×3×256×384的卷积核，步长S＝1，零填充P＝2，第四卷积层使用两个大小为3×3×192×192的卷积核，步长S＝1，零填充P＝1，第五卷积层使用两个大小为3×3×192×128的卷积核，步长S＝1，零填充P＝1，第三汇聚层使用大小为3×3的最大汇聚操作，步长S＝2，第一全连接层的神经元数量为4096，第二全连接层的神经元数量为4096，第三全连接层的神经元数量为1000。

7.根据权利要求1所述的基于视觉-WiFi信号联合检测的驾驶接管险态感知方法，其特征在于：步骤f)中通过公式

构建SPDP曲线的频谱图，式中n与m均为时间，ω为时间长度为m的窗口函数，R为阶越大小，e为自然常数，j为虚数单位。

8.根据权利要求1所述的基于视觉-WiFi信号联合检测的驾驶接管险态感知方法，其特征在于，步骤f)中构建联合代价函数F的步骤为：

f-1)通过公式

计算得到多模态学习门控循环单元网络模型MM-GRU行为特征代价函数Fb₁，式中x₁为多模态学习门控循环单元网络模型MM-GRU的行为特征，n为行为特征总数，y₁为多模态学习门控循环单元网络模型MM-GRU的实际值，a₁为多模态学习门控循环单元网络模型MM-GRU的输出值；

f-2)通过公式

计算得到基于WiFi的驾驶人行为特征提取模型W-DCNN行为特征代价函数Fb₂，式中x₂为基于WiFi的驾驶人行为特征提取模型W-DCNN的行为特征，n为行为特征总数，y₂为基于WiFi的驾驶人行为特征提取模型W-DCNN的实际值，a₂为基于WiFi的驾驶人行为特征提取模型W-DCNN的输出值；

f-3)通过公式

计算得到多模态融合网络层结构行为特征代价函数Fb₀，式中x₀为多模态融合网络层结构的行为特征，n为行为特征总数，y₀为多模态融合网络层结构的实际值，a₀为多模态融合网络层结构的输出值；

f-4)通过公式F＝αFb₀+βFb₁+γFb₂计算得到联合代价函数F，式中α、β、γ均为权重系数。

Images