CN114120634B - 基于WiFi的危险驾驶行为识别方法、装置、设备及存储介质 - Google Patents

基于WiFi的危险驾驶行为识别方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN114120634B
CN114120634B CN202111291690.7A CN202111291690A CN114120634B CN 114120634 B CN114120634 B CN 114120634B CN 202111291690 A CN202111291690 A CN 202111291690A CN 114120634 B CN114120634 B CN 114120634B
Authority
CN
China
Prior art keywords
csi
dangerous driving
cloud
vehicle
driver
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111291690.7A
Other languages
English (en)
Other versions
CN114120634A (zh
Inventor
蔡洽凯
谢志聪
林坚涛
李雄杰
尹智剑
刘畅
刘艺姝
杨光华
施政
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinan University
Original Assignee
Jinan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jinan University filed Critical Jinan University
Priority to CN202111291690.7A priority Critical patent/CN114120634B/zh
Publication of CN114120634A publication Critical patent/CN114120634A/zh
Application granted granted Critical
Publication of CN114120634B publication Critical patent/CN114120634B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Analytical Chemistry (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Chemical & Material Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于深度学习与WiFi感知相结合的端云协同危险驾驶行为识别方法、装置、计算机设备及存储介质，本发明采用深度学习方法，一方面摒弃数据预处理中小波变换、动态时间规整、主成分分析等冗杂的步骤，简化预处理步骤；另一方面提出多子载波多链路融合方法，采用全部收集到的CSI共同生成CSI‑Image，并送入深层卷积神经网络中进行训练。完成训练的分类识别模型分别部署在车机端和云端上，由车机端和云端协同识别出相应的危险驾驶行为，并警告驾驶员。本发明充分结合云端高性能和车机端近距离的特性，使该危险驾驶行为识别方法兼顾了高性能与低时延的特性，显著提高危险驾驶行为识别的准确性和鲁棒性。

Description

基于WiFi的危险驾驶行为识别方法、装置、设备及存储介质
技术领域
本发明涉及无线通信与感知技术领域，主要关于安全驾驶监控的应用，具体涉及一种基于深度学习与WiFi感知相结合的端云协同危险驾驶行为识别方法、装置、计算机设备及存储介质。
背景技术
近年来随着汽车数量的增加，交通事故频发，而驾驶员的分心驾驶和疲劳驾驶行为是诱发交通事故的重要因素，因此对驾驶员活动的监测十分重要。有效地识别驾驶员的危险驾驶行为并予以警告可以显著地减少交通事故。
以往的驾驶监控系统存在短板。基于视觉的驾驶监控系统通过安装在某些特定点位的摄像机来捕捉图像或视频序列，从而进行活动识别，这种识别对天气、光线、设备的要求较高。基于红外线LED和深度摄像机的识别技术，虽然可以在黑暗环境中正常工作，但仍然存在隐私泄露的风险。基于可穿戴设备的驾驶员动作识别系统需要驾驶员在驾驶过程中佩戴或携带设备，而佩戴设备往往存在不舒适的体验，反而增加了行车的风险。
WiFi感知技术不依赖于可见光，有效避免隐私泄露，无需额外部署设备，具有较高的性价比，近几年在安全驾驶领域成为了研究的热点。在物理空间中，WiFi信号往往没办法沿直线传播，无线信号受到目标对象和环境中静态或动态物体的反射、衍射、散射，经由多条路径叠加，从发射端传送到接收端，这个过程中，WiFi信号的信道状态信息发生变化，通过将这些信号的变化与人的不同行为之间建立映射关系，实现利用WiFi对人类活动进行感知。目前，绝大多数的基于WiFi感知的驾驶监控均是采用传统机器学习方法，往往需要进行复杂的预处理阶段以及数据降维处理，导致CSI丢失部分动作信息，使得最终系统的准确率一般，鲁棒性不强，实用性不高。
发明内容
本发明的目的是为了解决现有技术中的上述缺陷，提供一种基于深度学习与WiFi感知相结合的端云协同危险驾驶行为识别方法、装置、计算机设备及存储介质。本发明基于IEEE802.11的无线传输(WiFi)网络技术与动作识别分类技术进行结合，通过车机端和云端协同对驾驶员当前驾驶行为进行识别分类，可实现对8种危险驾驶行为(单手快速转动方向盘、长时间不目视前方、双手离开方向盘、手长时间处于档把上、玩手机、弯腰拾取东西、连续快速点头和打哈欠)的正确识别，并依据分类结果对驾驶员进行提醒。同时，结合云端服务器高性能和车机端近距离的特性，使该危险驾驶行为识别方法兼顾了高性能与低时延的特性，有效解决了驾驶行为需要快速识别响应、车机硬件性能不够等问题。
本发明的第一个目的在于提供一种基于深度学习与WiFi感知相结合的端云协同危险驾驶行为识别方法。
本发明的第二个目的在于提供一种基于深度学习与WiFi感知相结合的端云协同危险驾驶行为识别装置。
本发明的第三个目的在于提供一种计算机设备。
本发明的第四个目的在于提供一种存储介质。
本发明的第一个目的可以通过采取如下技术方案达到：
一种基于深度学习与WiFi感知相结合的端云协同危险驾驶行为识别方法，所述端云协同危险驾驶行为识别方法包括以下步骤：
S1、收集车内驾驶员危险驾驶行为的信道状态信息(Channel StateInformation，以下简称CSI)；
S2、将步骤S1获取到的CSI进行数据预处理；
S3、对步骤S2预处理后的CSI，以链路为单位，生成时间-幅度图(以下称作CSI-Image)；
S4、将步骤S3中得到的CSI-Image送入深层卷积神经网络，训练分类识别模型；
S5、将步骤S4中经过训练的分类识别模型同时部署于车机端和云端，协同对实时收集的CSI信号进行识别；
S6、如果步骤S5中的最终识别结果显示驾驶员出现危险驾驶行为，则通过车内音响、座椅震动警告驾驶员。
进一步地，所述步骤S1中收集车内驾驶员危险驾驶行为的CSI过程如下：在车内放置多对收发天线，使驾驶员的身体和车辆的方向盘挡位都在发射天线和接收天线的连线区域内，收集驾驶员危险驾驶行为的多链路多子载波CSI数据。
进一步地，所述步骤S2中对获取到的CSI进行数据预处理过程如下：
S21、对原始CSI复数矩阵进行计算，取幅值特征；
S22、对经过步骤S21处理后的数据传入低通巴特沃斯滤波器，滤除中高频噪声；
S23、使用滑动窗口进行连续检测，利用方差从CSI幅值特征数据流中截取驾驶员做出危险驾驶行为的CSI片段。
进一步地，所述步骤S3中以单个子载波和链路为单位，生成CSI-Image过程如下：将步骤S2预处理后的CSI以链路为单位，生成纵轴为幅度，横轴为时间，同一链路30个子载波共同画于一图的CSI-Image。融合多个子载波CSI，可以让多子载波中的信息更好的融合，有利于突出每个动作的特征。在深度学习领域，对图像的处理更为成熟，生成CSI-Image可以完成CSI从数据矩阵到图像的转换。
进一步地，所述步骤S4中将CSI-Image送入深层卷积神经网络训练过程如下：
将全部CSI-Image分为测试集和验证集，输入深层卷积神经网络中进行训练。首先，在随机初始化的参数下，深层卷积神经网络通过多层神经网络向前传播生成预测的动作标签。其次，通过实际标签和预测标签计算损失函数，然后利用损失函数进一步计算向后传播的梯度。深层卷积神经网络的网络参数在每次正向迭代和逆向迭代中都进行更新，直到收敛和训练完成，输出分类识别模型。
进一步地，所述步骤S5中车机端和云端协同对实时收集的CSI信号进行识别过程如下：
将分类识别模型分别部署到车机端和云端，车机端将预处理后的CSI封装并发送至云端，端云协同共同对实时收集的CSI进行分类，利用车机端和云端返回的结果，使用裁决规则，若最终判断结果认为驾驶员出现危险驾驶行为，则通过控制车内播放音乐、座椅振动等方式警告驾驶员；
目前而言，大多数车机的硬件性能一般，且还是车上信息显示、信息处理、服务提供的终端，所以只能够搭载较为简单的、轻量的神经网络模型。而云端则能够运行更加复杂的神经网络，充分发挥云端高性能以及车机端低延时的优点能够共同提高系统的识别效率。
进一步地，所述分类结果显示驾驶员出现了危险驾驶行为，则通过车内音响、座椅震动提醒驾驶员，具体为：
利用车机端和服务器端返回的结果，使用裁决规则，若最终判断结果认为驾驶员出现危险驾驶行为，则通过控制车内播放音乐、座椅振动等方式提醒驾驶员。可以让驾驶员意识到自己的危险驾驶行为，并及时改正，提高道路行车安全性。
其中，所述裁决规则如下：若云端识别结果未返回，则以车机端识别结果为危险驾驶行为识别方法的最终识别结果。这种裁决方式是为了应对车机端与云端失联，或者通信时延太大的情况，及时的响应能更好的发挥危险驾驶行为识别的作用。若云端识别结果返回，则以云端识别结果为危险驾驶行为识别方法的最终识别结果。这种裁决方式是为了解决车机端因为算力不够而采用轻量化神经网络模型会带来识别性能不高的问题，可以发挥云端服务器高性能的优势。
本发明的第二个目的可以通过采取如下技术方案达到：
一种基于深度学习与WiFi感知相结合的端云协同危险驾驶行为识别装置，所述危险驾驶行为识别装置包括：
CSI数据获取模块，用于收集车内驾驶员危险驾驶行为的信道状态信息，以下信道状态信息简称CSI；
数据预处理模块，用于对CSI数据获取模块获取到的CSI进行数据预处理；
CSI-Image生成模块，用于对数据预处理模块预处理后的CSI以单个子载波和链路为单位，生成时间-幅度图，以下简称CSI-Image；
深度学习模块，用于将CSI-Image生成模块得到的CSI-Image送入深层卷积神经网络，训练分类识别模型；
端云协同模块，用于将经深度学习模块训练得到的分类识别模型同时部署于车机端和云端，协同对实时收集的CSI信号进行识别；该端云协同模块使用裁决规则，充分利用车机端和云端各自的优势提高系统识别效率；
告警提示模块，用于根据端云协同模块的最终识别结果进行告警提示，当识别结果显示驾驶员出现危险驾驶行为，则通过车内音响、座椅震动警告驾驶员，其中，所述危险驾驶行为包括单手快速转动方向盘、长时间不目视前方、双手离开方向盘、手长时间处于档把上、玩手机、弯腰拾取东西、连续快速点头和打哈欠中的一种或者多种。
本发明的第三个目的可以通过采取如下技术方案达到：
一种计算机设备，包括处理器以及用于存储处理器可执行程序的存储器，所述处理器执行存储器存储的程序时，实现上述的基于深度学习与WiFi感知相结合的端云协同危险驾驶行为识别方法。
本发明的第四个目的可以通过采取如下技术方案达到：
一种存储介质，存储有程序，所述程序被处理器执行时，实现上述的基于深度学习与WiFi感知相结合的端云协同危险驾驶行为识别方法。
本发明相对于现有技术具有如下的优点及效果：
(1)本发明提出一种基于WiFi的端云协同危险驾驶行为识别方法，采用了深度学习与WiFi感知相结合的方法来实现。区别于传统机器学习方法，该方法舍弃子载波选择和PCA等降维步骤，提出多子载波多链路融合方法，采用收集到的CSI生成CSI-Image，再送入到神经网络中进行识别分类。通过多层次的判定裁决能够正确识别分类驾驶行为。
(2)本发明提出一种基于WiFi的端云协同危险驾驶行为识别方法，创新性地将端云协同算法融入到危险驾驶行为识别装置中，结合车机端近距离响应快低延时和云端高性能高算力的优点，使用边缘计算提高计算效率，使得模型既能够在瞬息万变的道路中实现危险驾驶行为的低延时识别，又能够运用云端服务器强大的算力对微小动作进行更准确的识别，使得装置兼顾实时性和性能，让装置的适用性和鲁棒性大大增强。同时，使更多的车辆能够通过简单的改装就可以使用危险驾驶行为识别服务。
(3)本发明提出一种基于WiFi的端云协同危险驾驶行为识别方法，充分利用了WiFi较低成本、应用范围广、部署简单的优势，使该方法适用范围更广。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1是本发明实施例1中基于深度学习与WiFi感知相结合的危险驾驶行为识别方法流程图；
图2是本发明实施例1中基于深度学习与WiFi感知相结合的危险驾驶行为识别方法原理图；
图3是本发明实施例1中基于深度学习与WiFi感知相结合的危险驾驶行为识别方法的实际场景示意图；
图4是本发明实施例1中CSI-Image示意图；
图5是本发明实施例1中深度神经网络结构图；
图6是本发明实施例1中实验结果对比图；
图7是本发明实施例2中基于深度学习与WiFi感知相结合的危险驾驶行为识别装置的结构框图；
图8是本发明实施例3中计算机设备的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1：
如图1所示本发明的基于深度学习与WiFi感知相结合的危险驾驶行为识别方法的基本过程为：首先，在车内搭载WiFi信号发射与接收天线，并使用装有Intel 5300网卡的电脑收集驾驶员行为的CSI数据。其次，对这些数据进行预处理，并转换成图像，以这些图像和对应的标签为训练样本，利用深度学习方法训练分类识别模型。再将分类识别模型移植到车机端和云端服务器上，并结合车机端和云端服务器的算力，对驾驶员的驾驶行为做出实时检测。当系统识别发现驾驶员做出危险驾驶行为时，通过车内音响、座椅震动警告驾驶员，敦促其改正。下面具体分析各个步骤：
S1、收集车内驾驶员危险驾驶行为的CSI原始数据。
具体应用中，该步骤S1具体为：
许多IEEE 802.11标准使用OFDM调制信号，将其通过多个正交子载波进行传送，每个子载波上传送的信号都有不同的信号强度和相位。一些普通的IEEE 802.11n标准的商用无线网卡(如Intel 5300)能以CSI的形式提供不同子载波详细的幅度和相位信息。接收端接收到的WiFi信号不仅受原始信号影响，也受环境的影响。WiFi信号在传播过程中，会受到环境中静态和动态的物体反射、衍射和散射等影响，并经由多条传播路径，才从发射端传播到接收端。若能通过将这些信号的变化与人的不同行为之间建立映射关系，就能通过CSI数据反推出对应的危险驾驶动作。
收集模型训练数据：发射WiFi信号的路由器和接收WiFi信号的电脑(装有intel5300网卡和接收天线)均配备3根天线，并使驾驶员用手握住方向盘的位置尽量和收发天线保持在一条直线上。系统需要识别8个危险驾驶行为，其中包含6个分心驾驶行为(单手快速转动方向盘、长时间不目视前方、双手离开方向盘、手长时间处于档位、玩手机、弯腰拾取东西)和2个疲劳驾驶行为(连续快速点头、打哈欠)。志愿者将在确保安全的情况下，轮流驾驶车辆在不同驾驶场景下(车辆静止状态和封闭路段)进行每个行为的100个数据包收集。最终将得到每个动作500个数据包，共4000个数据包的训练数据。实验场景示意图如图3。
S2、将步骤S1获取的CSI进行数据预处理。
具体应用中，该步骤S2具体为：
S201、幅值计算
收集到的原始CSI数据是一个复数矩阵，其中包含幅度信息和相位信息。如式(1)所示，f表示每个子载波的中心频率，t表示时间，n表示传播路径的数目，|ai(f,t)|和
Figure GDA0004054382450000081
分别表示振幅和相位值。本发明采用幅值进行后续操作，相比于相位，幅值更加稳定，且不需要冗杂的去噪步骤。
Figure GDA0004054382450000091
S202、噪声消除
CSI在传播过程中会受到环境的影响，产生了影响数据分析的噪声。与高频随机噪声相比，驾驶员的动作一般由低频成分组成。因此可以在子载波级采用低通二阶巴特沃斯滤波器来滤除高频噪声，以消除高频噪声的影响。
S203、活动提取
使用滑动窗口进行连续检测从原始CSI数据流中截取驾驶员做出危险驾驶行为的CSI片段。其算法步骤：
S2031、在窗口大小为ω的滑动窗口中迭代计算P个子载波的CSI数据的平均绝对偏差，如式(2)所示。
Figure GDA0004054382450000092
其中Ni表示第J个窗口中第i个CSI波形的幅值，
Figure GDA0004054382450000095
表示第j个窗口中第i个CSI波形振幅的平均值,Zj代表第j个滑动窗口中第i个CSI数据段的平均绝对误差,
Figure GDA0004054382450000093
代表整个波形中所有滑动窗口的平均绝对误差的平均值。
S2032、计算第j个滑动窗口的平均绝对偏差与整体平均绝对偏差的差值Wcj，如式(3)所示。
Figure GDA0004054382450000094
S2033、对于Wc中大于0的数据，从第(n-1)个数据中减去第n个数据，得到一个新的数据列M，根据M计算出起始点和结束点，当第一个Mi大于0的时，起始点为s＝i，最后一个小于0时，终点为e＝j+ω-1，其中j表示最后一个小于0的Mi所对应的滑动窗口。
S3、对步骤S2预处理后的数据生成CSI-Image。
具体应用中，该步骤S3具体为：
经上述步骤S1和步骤S2处理后得到的每个收发链路的CSI数据为N*P的矩阵，其中N表示子载波数量，P表示每个子载波对应的数据包packet数量，矩阵上的每个点代表的就是相应子载波和数据包packet下的幅值。本发明提出多子载波多链路融合方法，采用全部处理后的CSI共同生成CSI-Image。其中，多子载波融合方法用于将每个链路上对应的30个子载波共同生成CSI-Image，使得生成的图像更加具有代表性，鲁棒性更强；多链路融合方法用于生成更多的CSI-Image，使得后续神经网络训练效果更好。CSI-Image示例如图4所示。
S4、将步骤S3得到的CSI-Image送入深层卷积神经网络，训练分类识别模型。
具体应用中，该步骤S4具体为：
深层卷积神经网络可以自主在训练数据中寻找特征，无需人工预先设定。所以它能够发现更多人类无法察觉到的图像数据特征，进而更准确地完成识别任务。本发明采用LeNet网络对从CSI数据转化而来的图像进行处理。其网络结构包括：第一卷积层—>第一池化层—>第二卷积层—>第二池化层—>第一全连接层—>第二全连接层(Output层)，如图5所示。
第一卷积层和第二卷积层：由若干卷积单元组成，每个卷积单元的参数都是通过反向传播算法优化得到的。卷积运算的目的是提取输入的不同特征，多层次的卷积可以提取数据更深层次的特征，其计算过程可表示为：
Figure GDA0004054382450000101
其中Ni示输入图片数量，Cin表示输入通道数，Coutj表示输出通道数，weight(Coutj+k)表示卷积层中卷积核的权重值，bias(Coutj)表示偏置项，input(Ni,k)表示输入图像数据，out(Ni,Coutj)表示该卷积层输出。
激活函数：为缓解神经网络方向传播过程中出现的梯度消失问题，本发明在基于原LeNet网络结构的基础上，将sigmoid激活函数替换为ReLU激活函数。
第一池化层和第二池化层：本网络采用最大池化层，在尽可能保留图片空间信息的前提下，降低图片的尺寸，增大卷积核感受野，提取高层特征，同时减少网络参数量，预防过拟合。
第一全连接层和第二全连接层：全连接层中的每个神经元与其前一层的所有神经元进行全连接，可以整合卷积层或者池化层中具有类别区分性的局部信息，最后一层全连接层的输出值被传递给softmax层，采用softmax逻辑回归进行分类，同时采用交叉熵计算分类损失。
S5、将步骤S4中训练好的模型同时部署于车机端和云端，协同对实时收集的CSI信号进行识别。
具体应用中，该步骤S5具体为：
将分类识别模型分别部署到车机端和云端，车机端将预处理后的CSI封装并发送至云端，端云协同共同对实时收集的CSI进行分类。结合云端服务器高性能和车机端近距离的特性，使该危险驾驶行为识别方法兼顾了高性能与低时延的特性，有效解决了驾驶行为需要快速识别响应、车机硬件性能不够等问题。
S6、如果步骤S5中的最终识别结果显示驾驶员出现危险驾驶行为，则通过车内音响、座椅震动警告驾驶员。
具体应用中，该步骤S6具体为：
利用车机端和服务器端返回的结果，使用裁决规则，若最终判断结果认为驾驶员出现危险驾驶行为，则通过控制车内播放音乐、座椅振动等方式提醒驾驶员。
如图6所示为本具体实施例提供的实验结果对比图，其中前两个结果均采用了深度学习的方法，区别为是否有采用本发明提出的多子载波多链路融合方法。后两者分别采用了KNN和SVM作为分类方法，属于传统机器学习方法。四种方法的危险驾驶行为识别准确率分别为86.11％，75.05％，48.6％，50.9％。首先，本发明采用多子载波多链路融合方法下的危险驾驶行为识别系统能够以较高的准确率识别出危险驾驶行为，通过与方法二得到的准确率进行对比可以发现，本发明提出的多子载波多链路融合方法确实能够提高系统识别的准确率，增加系统的鲁棒性。而采用传统机器学习的KNN和SVM分类方法实现的系统识别准确率相对较低，为50％左右。因此，通过本具体实施例提供的实验结果对比图可以发现，本发明提出的基于WiFi的端云协同危险驾驶行为识别方法和系统，由于采用了深度学习以及多子载波多链路融合方法，使得准确率和鲁棒性都得到了大幅提升，更加适合应用于实际场景中。
实施例2：
如图7所示，本实施例提供了一种基于深度学习与WiFi感知相结合的危险驾驶行为识别装置，该装置包括CSI数据获取模块701、数据预处理模块702、CSI-Image生成模块703、深度学习模块704、端云协同模块705和告警提示模块706，各个模块的具体功能如下：
CSI数据获取模块701，用于收集车内驾驶员危险驾驶行为的信道状态信息，以下信道状态信息简称CSI；
数据预处理模块702，用于对CSI数据获取模块获取到的CSI进行数据预处理；
CSI-Image生成模块703，用于对数据预处理模块预处理后的CSI以单个子载波和链路为单位，生成时间-幅度图，以下简称CSI-Image；
深度学习模块704，用于将CSI-Image生成模块得到的CSI-Image送入深层卷积神经网络，训练分类识别模型；
端云协同模块705，用于将经深度学习模块训练得到的分类识别模型同时部署于车机端和云端，协同对实时收集的CSI信号进行识别；该端云协同模块使用裁决规则，充分利用车机端和云端各自的优势提高系统识别效率；
告警提示模块706，用于根据端云协同模块的最终识别结果进行告警提示，当识别结果显示驾驶员出现危险驾驶行为，则通过车内音响、座椅震动警告驾驶员，其中，所述危险驾驶行为包括单手快速转动方向盘、长时间不目视前方、双手离开方向盘、手长时间处于档把上、玩手机、弯腰拾取东西、连续快速点头和打哈欠中的一种或者多种。
本实施例中各个模块的具体实现可以参见上述实施例1，在此不再一一赘述；需要说明的是，本实施例提供的装置仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
实施例3：
本实施例提供了一种计算机设备，该计算机设备可以为计算机，如图8所示，其通过系统总线801连接的处理器802、存储器、输入装置803、显示器804和网络接口805，该处理器用于提供计算和控制能力，该存储器包括非易失性存储介质806和内存储器807，该非易失性存储介质806存储有操作系统、计算机程序和数据库，该内存储器807为非易失性存储介质中的操作系统和计算机程序的运行提供环境，处理器802执行存储器存储的计算机程序时，实现上述实施例1的基于深度学习与WiFi感知相结合的危险驾驶行为识别方法，如下：
收集车内驾驶员危险驾驶行为的信道状态信息(Channel State Information，以下简称CSI)；
将获取到的CSI进行数据预处理；
对预处理后的CSI，以链路为单位，生成时间-幅度图(以下称作CSI-Image)；
将得到的CSI-Image送入深层卷积神经网络，训练分类识别模型；
将经过训练的分类识别模型同时部署于车机端和云端，协同对实时收集的CSI信号进行识别；
如果最终识别结果显示驾驶员出现危险驾驶行为，则通过车内音响、座椅震动警告驾驶员。
实施例4：
本实施例提供了一种存储介质，该存储介质为计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时，实现上述实施例1的基于深度学习与WiFi感知相结合的危险驾驶行为识别方法，如下：
收集车内驾驶员危险驾驶行为的信道状态信息(Channel State Information，以下简称CSI)；
将获取到的CSI进行数据预处理；
对预处理后的CSI，以链路为单位，生成时间-幅度图(以下称作CSI-Image)；
将得到的CSI-Image送入深层卷积神经网络，训练分类识别模型；
将经过训练的分类识别模型同时部署于车机端和云端，协同对实时收集的CSI信号进行识别；
如果最终识别结果显示驾驶员出现危险驾驶行为，则通过车内音响、座椅震动警告驾驶员。
本实施例中所述的存储介质可以是磁盘、光盘、计算机存储器、随机存取存储器(RAM，Random Access Memory)、U盘、移动硬盘等介质。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (8)

1.一种基于深度学习与WiFi感知相结合的端云协同危险驾驶行为识别方法，其特征在于，所述危险驾驶行为识别方法包括以下步骤：
S1、收集车内驾驶员危险驾驶行为的信道状态信息，以下信道状态信息简称CSI；
S2、将步骤S1获取到的CSI进行数据预处理；
S3、将步骤S2预处理后的CSI以链路为单位，生成纵轴为幅度，横轴为时间，同一链路30个子载波共同画于一图的CSI-Image；
S4、将步骤S3中得到的CSI-Image送入深层卷积神经网络，训练分类识别模型；
S5、将步骤S4中经过训练的分类识别模型同时部署于车机端和云端，协同对实时收集的CSI信号进行识别，过程如下：
将分类识别模型分别部署到车机端和云端，车机端将预处理后的CSI封装并发送至云端，端云协同共同对实时收集的CSI进行分类，利用车机端和云端返回的结果，使用裁决规则进行最终判断；
其中，所述裁决规则如下：若云端识别结果未返回，则以车机端识别结果为危险驾驶行为识别方法的最终识别结果；若云端识别结果返回，则以云端识别结果为危险驾驶行为识别方法的最终识别结果；
S6、如果步骤S5中的最终识别结果显示驾驶员出现危险驾驶行为，则通过车内音响、座椅震动警告驾驶员，其中，所述危险驾驶行为包括单手快速转动方向盘、长时间不目视前方、双手离开方向盘、手长时间处于档把上、玩手机、弯腰拾取东西、连续快速点头和打哈欠中的一种或者多种。
2.根据权利要求1所述的危险驾驶行为识别方法，其特征在于，所述步骤S1中收集车内驾驶员危险驾驶行为的CSI过程如下:
在车内放置多对收发天线，收发采用支持IEEE 802.11n标准的OFDM调制信号，使驾驶员的身体和车辆的方向盘挡位都在发射天线和接收天线的连线区域内，收集驾驶员危险驾驶行为的多链路多子载波CSI数据。
3.根据权利要求1所述的危险驾驶行为识别方法，其特征在于，所述步骤S2中对获取到的CSI进行数据预处理过程如下：
S21、对原始CSI复数矩阵进行计算，取幅值特征；
S22、对经过步骤S21处理后的数据传入低通巴特沃斯滤波器，滤除中高频噪声；
S23、使用滑动窗口进行连续检测，利用方差从CSI幅值特征数据流中截取驾驶员做出危险驾驶行为的CSI片段。
4.根据权利要求1所述的危险驾驶行为识别方法，其特征在于，所述步骤S4中将CSI-Image送入深层卷积神经网络训练过程如下：
将全部CSI-Image分为测试集和验证集，输入事先设置参数的深层卷积神经网络中，经过训练，输出分类识别模型。
5.根据权利要求1所述的危险驾驶行为识别方法，其特征在于，所述步骤S4中深层卷积神经网络采用LeNet网络，LeNet网络的网络结构包括依次顺序连接的第一卷积层、第一池化层、第二卷积层、第二池化层、第一全连接层和第二全连接层，其中，
所述第一卷积层和第二卷积层均由若干卷积单元组成，每个卷积单元的参数都是通过反向传播算法优化得到的，其计算过程表示为：
Figure FDA0004054382440000021
其中Ni示输入图片数量，Cin表示输入通道数，Coutj表示输出通道数，weight(Coutj+k)表示卷积层中卷积核的权重值，bias(Coutj)表示偏置项，input(Ni，k)表示输入图像数据，out(Ni，Coutj)表示该卷积层输出，每个卷积单元采用sigmoid激活函数；
所述第一池化层和第二池化层均采用最大池化层；
所述第一全连接层和第二全连接层中的每个神经元与其前一层的所有神经元进行全连接，所述第二全连接层的输出值被传递给softmax层，采用softmax逻辑回归进行分类，同时采用交叉熵计算分类损失。
6.一种根据权利要求1-5任一项所述的基于深度学习与WiFi感知相结合的端云协同危险驾驶行为识别方法的危险驾驶行为识别装置，其特征在于，所述危险驾驶行为识别装置包括：
CSI数据获取模块，用于收集车内驾驶员危险驾驶行为的信道状态信息，以下信道状态信息简称CSI；
数据预处理模块，用于对CSI数据获取模块获取到的CSI进行数据预处理；
CSI-Image生成模块，用于对数据预处理模块预处理后的CSI以单个子载波和链路为单位，生成时间-幅度图，以下简称CSI-Image；
深度学习模块，用于将CSI-Image生成模块得到的CSI-Image送入深层卷积神经网络，训练分类识别模型；
端云协同模块，用于将经深度学习模块训练得到的分类识别模型同时部署于车机端和云端，协同对实时收集的CSI信号进行识别；
告警提示模块，用于根据端云协同模块的最终识别结果进行告警提示，当识别结果显示驾驶员出现危险驾驶行为，则通过车内音响、座椅震动警告驾驶员，其中，所述危险驾驶行为包括单手快速转动方向盘、长时间不目视前方、双手离开方向盘、手长时间处于档把上、玩手机、弯腰拾取东西、连续快速点头和打哈欠中的一种或者多种。
7.一种计算机设备，包括处理器以及用于存储处理器可执行程序的存储器，其特征在于，所述处理器执行存储器存储的程序时，实现权利要求1-5任一项所述的基于深度学习与WiFi感知相结合的端云协同危险驾驶行为识别方法。
8.一种存储介质，存储有程序，其特征在于，所述程序被处理器执行时，实现权利要求1-5任一项所述的基于深度学习与WiFi感知相结合的端云协同危险驾驶行为识别方法。
CN202111291690.7A 2021-11-03 2021-11-03 基于WiFi的危险驾驶行为识别方法、装置、设备及存储介质 Active CN114120634B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111291690.7A CN114120634B (zh) 2021-11-03 2021-11-03 基于WiFi的危险驾驶行为识别方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111291690.7A CN114120634B (zh) 2021-11-03 2021-11-03 基于WiFi的危险驾驶行为识别方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN114120634A CN114120634A (zh) 2022-03-01
CN114120634B true CN114120634B (zh) 2023-04-07

Family

ID=80380464

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111291690.7A Active CN114120634B (zh) 2021-11-03 2021-11-03 基于WiFi的危险驾驶行为识别方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114120634B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114782931B (zh) * 2022-04-22 2023-09-29 电子科技大学 改进MobileNetv2网络的驾驶行为分类方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110447214A (zh) * 2018-03-01 2019-11-12 北京嘀嘀无限科技发展有限公司 一种识别驾驶行为的系统、方法、装置和存储介质
CN110667593A (zh) * 2019-09-06 2020-01-10 中国平安财产保险股份有限公司 基于深度学习的驾驶提醒方法、装置、设备及存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3028630C (en) * 2018-03-01 2023-10-17 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for identifying risky driving behavior
CN110113116B (zh) * 2019-05-14 2021-06-04 山东科技大学 基于wifi信道信息的人体行为识别方法
CN110287880A (zh) * 2019-06-26 2019-09-27 西安电子科技大学 一种基于深度学习的姿态鲁棒性人脸识别方法
CN110682914A (zh) * 2019-09-29 2020-01-14 皖西学院 基于无线感知的驾驶行为识别系统及方法
CN113116294A (zh) * 2019-12-30 2021-07-16 上海际链网络科技有限公司 人员身体状况的监测方法及装置
CN111797804A (zh) * 2020-07-16 2020-10-20 西安交通大学 一种基于深度学习的信道状态信息人类活动识别方法及系统
CN111968338A (zh) * 2020-07-23 2020-11-20 南京邮电大学 基于深度学习的驾驶行为分析识别警示系统及其识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110447214A (zh) * 2018-03-01 2019-11-12 北京嘀嘀无限科技发展有限公司 一种识别驾驶行为的系统、方法、装置和存储介质
CN110667593A (zh) * 2019-09-06 2020-01-10 中国平安财产保险股份有限公司 基于深度学习的驾驶提醒方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN114120634A (zh) 2022-03-01

Similar Documents

Publication Publication Date Title
Alkinani et al. Detecting human driver inattentive and aggressive driving behavior using deep learning: Recent advances, requirements and open challenges
CN111428699B (zh) 伪3d卷积神经网络与注意力机制结合的驾驶疲劳检测方法及系统
JP7460044B2 (ja) 自律車両、ならびに自律車両システムに係る装置、プログラム、およびコンピュータ可読媒体
US11503057B2 (en) Intrusion detection method and system for internet of vehicles based on spark and combined deep learning
Omerustaoglu et al. Distracted driver detection by combining in-vehicle and image data using deep learning
Bila et al. Vehicles of the future: A survey of research on safety issues
US9664779B2 (en) Object classification for vehicle radar systems
JP6742554B1 (ja) 情報処理装置およびそれを備えた電子機器
CN111860274B (zh) 基于头部朝向与上半身骨架特征的交警指挥手势识别方法
US20220277558A1 (en) Cascaded Neural Network-Based Attention Detection Method, Computer Device, And Computer-Readable Storage Medium
Yan et al. Driving posture recognition by joint application of motion history image and pyramid histogram of oriented gradients
Ou et al. Enhancing driver distraction recognition using generative adversarial networks
US20240062558A1 (en) Systems and methods for detecting symptoms of occupant illness
Ragab et al. A visual-based driver distraction recognition and detection using random forest
Park et al. Real-time signal light detection
CN109902624A (zh) 用于呈现信息的方法和装置
CN114120634B (zh) 基于WiFi的危险驾驶行为识别方法、装置、设备及存储介质
Zhao et al. Deep convolutional neural network for drowsy student state detection
Assefa et al. Bio-mechanical distracted driver recognition based on stacked autoencoder and convolutional neural network
Sharma et al. Distracted driver detection using learning representations
Zhou et al. Development of a camera-based driver state monitoring system for cost-effective embedded solution
CN115937828A (zh) 一种疲劳驾驶检测方法、装置及车辆
WO2021241261A1 (ja) 情報処理装置、情報処理方法、プログラム、及び、学習方法
WO2021262166A1 (en) Operator evaluation and vehicle control based on eyewear data
Chougule Artificial intelligence enabled vehicular vision and service provisioning for advanced driver assistance systems (ADAS)

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant