CN110682914A

CN110682914A - 基于无线感知的驾驶行为识别系统及方法

Info

Publication number: CN110682914A
Application number: CN201910933291.2A
Authority: CN
Inventors: 李祖松; 何富贵; 范祥林; 李石荣; 符茂胜
Original assignee: West Anhui University
Current assignee: West Anhui University
Priority date: 2019-09-29
Filing date: 2019-09-29
Publication date: 2020-01-14

Abstract

本发明涉及一种基于无线感知的驾驶行为识别系统及方法，系统包括多个无线WIFI接入点AP、与AP无线WIFI连接获取终端、内置有加速度传感器、重力传感器、陀螺仪、GPS的手机，所有AP布设于驾驶仓的周围，手机与获取终端通信连接，获取终端连接车辆制动控制系统；获取终端上装载有智能辅助驾驶软件系统，智能辅助驾驶软件系统包括驾驶行为动作识别模块、车辆行驶状态识别模块、危险驾驶状态预警模块、辅助驾驶干预控制模块，驾驶行为动作识别模块和车辆行驶状态识别模块均连接危险驾驶状态预警模块和辅助驾驶干预控制模块。利用该系统进行驾驶行为识别方法操作简单，通过对人—车—路信息进行数据融合处理，实现危险驾驶状态预警以及对车辆的辅助驾驶控制。

Description

基于无线感知的驾驶行为识别系统及方法

技术领域

本发明涉及汽车辅助驾驶技术领域，尤其涉及一种基于无线感知的驾驶行为识别系统及方法。

背景技术

随着汽车的普及化，道路交通压力越来越大，交通事故频发。交通事故中 80%～90%是人为的因素造成的，其中大约85%的交通事故与驾驶员有关，交通事故中很大一部分原因是驾驶员的不文明驾驶导致的。不文明驾驶包括疲劳驾驶、醉酒饮酒驾驶、随意变道驾驶、恶性超速超车行为、闯红灯抢黄灯行为等。随着技术的进步和发展，辅助性的智能驾驶系统和无人驾驶技术研究备受人们的关注，但其稳定性和可靠性不稳定，将其普及应用到每辆汽车上还待时间的检验。

近年，很多研究关于车辆驾驶，其中包括车辆的轨迹检测、定位系统、和驾驶员行为状态检测。从事计算机视觉和图像处理领域，通过摄像头来采集车辆周围环境来辅助驾驶；信号处理领域，基于生理信号等来检测驾驶员行为状态。但视频、图像的采集对光线、天气和设备要求较高，处理速度较慢；获取人体的生理信号需要佩戴相关的传感设备，正确地佩戴给使用者带来不便。这成为图像处理和信号处理在此领域发展的瓶颈，迫切需要一个新的方法和手段来获取车辆状态和驾驶员行为信息，达到辅助驾驶的效果。

在移动计算领域，研究发现无线电信号不仅可用于传输数据，还可以用来感知环境。特别在室内环境下，信号发射机产生的无线电波经由直射、反射、散射等多条路径传播，在信号接收机处形成的多径叠加信号携带反映环境特征的信息。采用无线电信号进行手势、动作和运动状态捕捉，为人体行为识别提供一种新的途径和方法。利用WiFi信号来无线感知驾驶员行为动作，结合手机上的陀螺仪、加速度和重力传感器来感知车辆状态，实现驾驶员疲劳驾驶和危险情景的提早预警有着重要的研究意义。

发明内容

本发明的目的在于提供一种基于无线感知的驾驶行为识别系统及方法，一方面基于CSI（Channel State Informatio，信道状态信息）的驾驶行为动作识别，获取人（即驾驶员）的信息，另一方面基于手机无线感知的车辆行驶状态识别，获取车—路的信息；并对人—车—路信息进行数据融合处理，实现危险驾驶状态预警以及对车辆的辅助驾驶控制。

为了实现上述目的，本发明采用的技术方案为，一种基于无线感知的驾驶行为识别系统，包括多个无线WIFI接入点AP、带有无线WIFI网卡的获取CSI信息的获取终端、内置于手机中的加速度传感器、重力传感器、陀螺仪传感器、GPS传感器，所有无线WIFI接入点AP布设于车辆驾驶仓的周围，获取终端和手机均设置在车辆中控台处，所有无线WIFI接入点AP与获取终端通过无线WIFI网卡进行通信，手机与获取终端采用蓝牙或USB数据线进行通信连接，获取终端通过CAN总线连接车辆制动控制系统；获取终端上装载有智能辅助驾驶软件系统，智能辅助驾驶软件系统包括驾驶行为动作识别模块、车辆行驶状态识别模块、危险驾驶状态预警模块、辅助驾驶干预控制模块，驾驶行为动作识别模块和车辆行驶状态识别模块均连接危险驾驶状态预警模块和辅助驾驶干预控制模块。

作为本发明的一种改进，所述驾驶行为动作识别模块包括依次相连的CSI信息收集单元、信号预处理单元、特征提取单元、驾驶行为识别单元，所述车辆行驶状态识别模块包括依次相连的手机传感数据收集单元、信号预处理单元、车辆行驶状态识别单元。

作为本发明的一种改进，所述无线WIFI接入点AP采用商用802.11ac WiFi接入点，所述无线WIFI网卡采用支持IEEE802.11ac协议的无线网卡。

利用上述系统进行驾驶行为识别的方法，利用所有无线WIFI接入点AP连续向获取终端发送无线WIFI信号，获取终端定时捕获驾驶员活动对无线WIFI信号的扰动的CSI信号，同时利用手机传感器实时获取手机传感数据并传输至获取终端中，智能辅助驾驶软件系统一方面通过驾驶行为动作识别模块读取并识别CSI信号中包含的驾驶员的驾驶行为数据，另一方面通过车辆行驶状态识别模块读取并识别手机传感数据中包含的车辆行驶状态数据，并对驾驶行为数据和车辆行驶状态数据进行融合计算，融合计算所得数据分别送入危险驾驶状态预警模块和辅助驾驶干预控制模块中进行反馈，以实现危险驾驶状态预警以及对车辆的辅助驾驶控制。

作为本发明的一种改进，所述的“通过驾驶行为动作识别模块读取并识别CSI信号中包含的驾驶员的驾驶行为数据”具体是，由CSI信息收集单元读取CSI信号，并输入信号预处理单元中进行滤除高频噪声和去除信号中的异常值得到平滑数据，平滑数据送入特征提取单元中进行提取若干特征以构成各驾驶状态对应的特征元组，将特征元组送入驾驶行为识别单元，先将特征元组进行SVM（Support Vector Machine，支持向量机）训练以构建训练数据库，并通过计算得到训练数据的EMD（Earth Mover's distance，土方移动距离）上限阈值与实测数据的EMD值来对实测数据进行驾驶状态分类，以完成驾驶员的驾驶行为识别。

作为本发明的一种改进，所述的“通过车辆行驶状态识别模块读取并识别手机传感数据中包含的车辆行驶状态数据”具体是，由手机传感数据收集单元实时读取手机传感数据，并将手机传感数据送入信号预处理单元中进行数据融合及平滑处理，并将处理后的数据送入车辆行驶状态识别单元中进行车辆行驶状态的分类。

作为本发明的一种改进，信号预处理单元对CSI信号采用Butterworth滤波器滤除其中的高频噪声，并采用主成分分析法进一步对滤波后的数据信息去除信号中的异常值，以获得平滑数据，完成对CSI信号幅度的预处理，特征提取单元采用时频结合的离散小波变换算法来提取构成各驾驶状态对应的特征元组。

作为本发明的一种改进，信号预处理单元对手机传感数据通过卡尔曼滤波算法进行滤波融合及误差补充处理，车辆行驶状态识别单元采用DTW（动态时间规整）算法对融合及误差补充处理后的数据进行行驶状态判别。

相对于现有技术，本发明的系统整体结构设计巧妙，易于实现及使用，本发明将基于WiFi感知技术和手机传感器感知技术应用到驾驶行为识别，包括人、车和路的状态信息，这将突破传统的视频、图像监控和生理信号检测技术，不依赖于环境和正确佩戴设备的要求，提供一种高效、隐蔽、低成本的驾驶行为实时监控手段。

附图说明

图1为本发明所提出的基于无线感知的驾驶行为识别系统的结构示意图。

具体实施方式

为了加深对本发明的理解和认识，下面结合附图对本发明作进一步描述和介绍。

驾驶行为是信息感知、判断决策和动作组成的一个不断往复的信息处理过程，首先是道路上来往车辆、行人、道路交通标志、路面状况以及汽车的运行工况等外界信息，通过驾驶员的视觉、听觉和触觉等感觉器官传入驾驶员的大脑，驾驶员依据其驾驶经验予以加工后，作出相应的判断和决策，然后再通过手、脚等运动器官发出调整等指令，从而改变汽车运动状态和操纵目的。

驾驶员的驾驶行为受其驾驶意图的支配，驾驶行为是否可靠直接决定了道路交通的安全性。驾驶意图辨识及行为预测是通过实时采集驾驶员操作行为和车辆运行状态参数，来辨识驾驶意图和预测下一阶段的驾驶行为。驾驶行为及驾驶意图的研究对交通系统的安全性具有积极的作用。

WiFi信号不仅可用于传输数据，还可以用来感知环境，WiFi环境感知技术应用广泛。如被动式人员检测可以实时检测涉密区域、贵重物品保护区域，及时发现入侵者在敏感区域的出现和活动，同样可以提供基于用户位置的服务：旅游景点和博物馆的参观者在接近某个景点或展品时自动介绍景点和播放展品说明，商场最受关注的商品和区域等。除此之外，WiFi环境感知技术还可应用于检测人体姿势、手势、呼吸等细粒度的姿态或者微小的运动。

WiFi环境感知技术在人体行为识别的基本原理是利用WiFi信号的波动变化来推断环境变化。基于接收信号强度指示(Received Signal Strength Indicator, RSSI)的行为识别是粗粒度上低准确率的方法。基于RSSI的人体行为识别利用RSSI的强度变化识别7种不同手势，其准确率在56%，能辨别四种不同行为，其精度为72%。由于RSSI反映的是数据包层面上的信号多径传播叠加强度效果，不能逐一区分多条信号传播路径，制约RSSI稳定性和可靠性。为了细粒度地刻画无线信号多径传播，可用物理层上的信道状态信息(Channel State Information, CSI)来表述。在正交频分复用(OFDM)系统中，CSI参数表征了一个传输信道中每个子载波信道从发送端到接收端的信道状态，利用多径效应引起的子载波衰落不同来检测和感知环境变化。

因此，利用基于WiFi的环境感知理论与技术，在普通商用WiFi设备上实现高精度的人体行为识别，将给获取驾驶员行为信息提供一种新的方法。相对于传统的视频、图像监控和生理信号检测系统来说，基于WiFi的行为感知，将是一种高效、隐蔽、低成本的实时监控手段。

现有的手机已经集成了陀螺仪、加速度、重力传感器和摄像头等，利用手机上已有的传感器，实时检测车辆的运动状态和道路状况，为车—路监控提供一种新的手段。相对于传统的基于视频、图像监控车辆道路检测系统来说，将是一种高效、便捷、低成本的实时监控手段。

如图1所示，本发明提出了一种基于无线感知的驾驶行为识别系统，包括2-5个无线WIFI接入点AP、带有无线WIFI网卡的获取CSI信息的获取终端、内置于手机中的加速度传感器、重力传感器、陀螺仪传感器、GPS（用于测速、地图、导航等）传感器，所有无线WIFI接入点AP布设于车辆驾驶仓的周围，获取终端和手机均设置在车辆中控台处。所有无线WIFI接入点AP与获取终端通过无线WIFI网卡进行通信，手机与获取终端采用蓝牙或USB数据线进行通信连接，获取终端通过CAN总线连接车辆制动控制系统。获取终端上装载有智能辅助驾驶软件系统，智能辅助驾驶软件系统包括驾驶行为动作识别模块、车辆行驶状态识别模块、危险驾驶状态预警模块、辅助驾驶干预控制模块，驾驶行为动作识别模块和车辆行驶状态识别模块均连接危险驾驶状态预警模块和辅助驾驶干预控制模块。

其中，所述驾驶行为动作识别模块包括依次相连的CSI信息收集单元、信号预处理单元、特征提取单元、驾驶行为识别单元，所述车辆行驶状态识别模块包括依次相连的手机传感数据收集单元、信号预处理单元、车辆行驶状态识别单元。

所述无线WIFI接入点AP采用商用802.11ac WiFi接入点，所述无线WIFI网卡采用支持IEEE802.11ac协议的无线网卡，优选采用Intel 5300无线网卡。在获取终端中配套使用Halperin提出的Linux 802.11 CSITOOL开源软件包，用于收集CSI信号，并采用matlab软件对采集到的数据进行处理分析。利用Intel 5300无线网卡可从每个时刻接收到的无线信号数据包中获取一组CSI，每组CSI是以子载波频差为频率采样间隔。802.11ac的信道带宽为20MHz，信道内部所有子载波之间相差的频率为312.5KHz。接收到的CSI是由不同子载波与不同收发天线对应的无线数据流得到的CSI值的组合簇，不同子载波对应了不同的无线频率的信道，彼此之间中心频率相差312.5KHz，不同数据流是指收发端多根天线相互组合得到的数据流，所有数据流组合成的CSI可表示为：

H=[h1,h2,h3,....,h30]m*n，其中h1.....h30表示的是CSI信息，m和n分别表示接收端与发送端的天线数目。

驾驶员在驾驶车辆时，其正常动作有脚踩油门、脚踩刹车、旋转方向盘（左转、右转）、左右转动颈部（看左右倒车镜）、扳动方向杆及其他调节车辆环境动作（若是手动档车辆，还包括左脚踩离合器和手动换挡动作）。要识别的驾驶动作主要分为：旋转方向盘、转动颈部、扳动转向灯杆、其他调节车辆环境动作和非正常动作（即危险驾驶行为），其难点是识别正常动作与非正常动作区别。

具体的，所述的“通过驾驶行为动作识别模块读取并识别CSI信号中包含的驾驶员的驾驶行为数据”具体是，由CSI信息收集单元读取CSI信号，并输入信号预处理单元中进行滤除高频噪声和去除信号中的异常值得到平滑数据，平滑数据送入特征提取单元中进行提取若干特征以构成各驾驶状态对应的特征元组，将特征元组送入驾驶行为识别单元，先将特征元组进行SVM训练以构建训练数据库，并通过计算得到训练数据的EMD上限阈值与实测数据的EMD值来对实测数据进行驾驶状态分类，以完成驾驶员的驾驶行为识别。

借助AP与获取终端完成数据包的发送与接收，从数据包中提取动作对应的CSI信号，然后对收集到的信号的幅度进行预处理，使用巴特沃斯滤波器滤除无关信息，同时借助主成分分析法滤除曲线上的异常点（通过多数据降维，只提取信号中较为主要的成分，将次要的无关成分去除），接着使用离散小波变换算法从时域和频域角度提取动作对应的CSI信号特征值，并进行了特征归一化与特征筛选，最后将每种动作的特征数据集整理后分为训练数据库（用来训练特征数据得到分类模板）与测试数据库（使用训练好的分类模板预测新的动作数据，用来评估分类模型对于没有识别过的新动作的判别能力）两部分，送入LIBSVM中进行训练与测试，实现行为的识别。

进一步地，信号预处理单元对CSI信号采用Butterworth滤波器滤除其中的高频噪声（与行为动作无关的随机噪声），并采用主成分分析法进一步对滤波后的数据信息去除信号中的异常值，以获得平滑数据，完成对CSI信号幅度的预处理，进行突变数据滤除，除尖峰毛刺的平滑处理，使行为信号变得更加平滑。特征提取单元采用时频结合的离散小波变换算法来提取构成27种充分反映信号特性的各驾驶状态对应的特征元组。

采用LIBSVM软件对于特征元组进行训练与测试，根据EMD的定义式分别计算得到训练数据的EMD上限阈值与实测数据的EMD值，并在当计算出的实测数据的EMD值大于训练数据的EMD上限阈值时，则判断当前实测数据所对应的驾驶行为为危险驾驶行为，并进一步采用KNN（k-Nearest Neighbor，K最近邻）分类算法实现危险驾驶行为的分类，以完成驾驶员的驾驶行为识别。并且可根据在危险驾驶状态预警模块中预先设定的预警阈值对驾驶行为分类结果进行预警，如果判断当前处理危险驾驶行为状态，通过危险驾驶状态预警模块向驾驶员发送警报，如果此状态持续存在，则进一步通过辅助驾驶干预控制模块发送信号至车辆制动控制系统对车辆进行制动控制以避免潜在的事故。

另外，车辆正常行驶状态主要有正向匀（加、减）速行驶、左转、右转、匀（加、减）倒车、停车组成。如换道超车行为是由车辆左转、前行、右转（不合理超车方式：右转、前行、左转）等一系列状态组成。

所述的“通过车辆行驶状态识别模块读取并识别手机传感数据中包含的车辆行驶状态数据”具体是，由手机传感数据收集单元实时读取手机传感数据，并将手机传感数据送入信号预处理单元中进行数据融合及平滑处理，并将处理后的数据送入车辆行驶状态识别单元中进行车辆行驶状态的分类。

信号预处理单元对手机传感数据通过卡尔曼滤波算法进行滤波融合及误差补充处理，车辆行驶状态识别单元采用DTW算法对融合及误差补充处理后的数据进行行驶状态判别。

在车辆行驶时，在手机与车辆保持相对静止的状态下获取相对应的手机传感数据，手机传感数据包括从手机加速度传感器获取的基于手机三轴的加速度数据、从手机陀螺仪获取的角速度数据、从手机重力传感器获取重力加速度在手机三轴上的分量、从手机GPS传感器中获取的经纬度及高度数据。先采用卡尔曼滤波算法进行传感数据融合，以得到相对于车辆的姿态角数据，先将加速度数据和姿态角数据进行差分运算以求出各自的变化曲线，然后针对各自的差分序列进行自底向上的由最小二乘法拟合确定的最小归并代价的合并，接着将所得时序序列分为多个加速度序列段和姿态角序列段，并通过阈值判断去除其中的无效段，以保留包含有具体行驶状态的序列段，利用该数据可进行车辆转弯、变道、倒车及停车等动作的判断。

采用DTW算法完成对行驶状态的判别具体是对得到的加速度序列段以及姿态角序列段中提取部分当做模板，并用处理后的序列段与模板中的系列段分别计算DTW的规整路径距离，针对不同的驾驶行为对DTW结果给予不同的权重，最后将所有距离的加权和进行比较，得出针对某一时序段最为近似的行驶状态。

本发明以驾驶行为识别为研究对象，以实时预测和预警疲劳驾驶和危险驾驶情景为目标，研究基于无线感知如何识别驾驶动作和车辆行驶状态，给出基于CSI的行为动作识别方法和基于手机传感器的车辆行驶状态识别技术，获取行驶车辆中(人，车，路)三元组的状态信息，以达到辅助驾驶和交通事故主动预防功能。对于路况信息的获取主要是根据手机获得车辆的行驶状态，综合考虑车辆的行驶速度，上下波动性、车辆上下幅度和左右转的频率等，对路况进行评估。再结合GPS导航系统，给出路况的等级指标。

本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims

1.一种基于无线感知的驾驶行为识别系统，其特征在于：包括多个无线WIFI接入点AP、带有无线WIFI网卡的获取CSI信息的获取终端、内置于手机中的加速度传感器、重力传感器、陀螺仪传感器、GPS传感器，所有无线WIFI接入点AP布设于车辆驾驶仓的周围，获取终端和手机均设置在车辆中控台处，所有无线WIFI接入点AP与获取终端通过无线WIFI网卡进行通信，手机与获取终端采用蓝牙或USB数据线进行通信连接，获取终端通过CAN总线连接车辆制动控制系统；获取终端上装载有智能辅助驾驶软件系统，智能辅助驾驶软件系统包括驾驶行为动作识别模块、车辆行驶状态识别模块、危险驾驶状态预警模块、辅助驾驶干预控制模块，驾驶行为动作识别模块和车辆行驶状态识别模块均连接危险驾驶状态预警模块和辅助驾驶干预控制模块。

2.如权利要求1所述的基于无线感知的驾驶行为识别系统，其特征在于，所述驾驶行为动作识别模块包括依次相连的CSI信息收集单元、信号预处理单元、特征提取单元、驾驶行为识别单元，所述车辆行驶状态识别模块包括依次相连的手机传感数据收集单元、信号预处理单元、车辆行驶状态识别单元。

3.如权利要求2所述的基于无线感知的驾驶行为识别系统，其特征在于，所述无线WIFI接入点AP采用商用802.11ac WiFi接入点，所述无线WIFI网卡采用支持IEEE802.11ac协议的无线网卡。

4.利用权利要求1-3任一项所述的基于无线感知的驾驶行为识别系统进行驾驶行为识别的方法，其特征在于，利用所有无线WIFI接入点AP连续向获取终端发送无线WIFI信号，获取终端定时捕获驾驶员活动对无线WIFI信号的扰动的CSI信号，同时利用手机传感器实时获取手机传感数据并传输至获取终端中，智能辅助驾驶软件系统一方面通过驾驶行为动作识别模块读取并识别CSI信号中包含的驾驶员的驾驶行为数据，另一方面通过车辆行驶状态识别模块读取并识别手机传感数据中包含的车辆行驶状态数据，并对驾驶行为数据和车辆行驶状态数据进行融合计算，融合计算所得数据分别送入危险驾驶状态预警模块和辅助驾驶干预控制模块中进行反馈，以实现危险驾驶状态预警以及对车辆的辅助驾驶控制。

5.如权利要求4所述的基于无线感知的驾驶行为识别系统，其特征在于，所述的“通过驾驶行为动作识别模块读取并识别CSI信号中包含的驾驶员的驾驶行为数据”具体是，由CSI信息收集单元读取CSI信号，并输入信号预处理单元中进行滤除高频噪声和去除信号中的异常值得到平滑数据，平滑数据送入特征提取单元中进行提取若干特征以构成各驾驶状态对应的特征元组，将特征元组送入驾驶行为识别单元，先将特征元组进行SVM训练以构建训练数据库，并通过计算得到训练数据的EMD上限阈值与实测数据的EMD值来对实测数据进行驾驶状态分类，以完成驾驶员的驾驶行为识别。

6.如权利要求5所述的驾驶行为识别方法，其特征在于，所述的“通过车辆行驶状态识别模块读取并识别手机传感数据中包含的车辆行驶状态数据”具体是，由手机传感数据收集单元实时读取手机传感数据，并将手机传感数据送入信号预处理单元中进行数据融合及平滑处理，并将处理后的数据送入车辆行驶状态识别单元中进行车辆行驶状态的分类。

7.如权利要求6所述的驾驶行为识别方法，其特征在于，信号预处理单元对CSI信号采用Butterworth滤波器滤除其中的高频噪声，并采用主成分分析法进一步对滤波后的数据信息去除信号中的异常值，以获得平滑数据，完成对CSI信号幅度的预处理，特征提取单元采用时频结合的离散小波变换算法来提取构成各驾驶状态对应的特征元组。

8.如权利要求7所述的驾驶行为识别方法，其特征在于，信号预处理单元对手机传感数据通过卡尔曼滤波算法进行滤波融合及误差补充处理，车辆行驶状态识别单元采用DTW算法对融合及误差补充处理后的数据进行行驶状态判别。