CN116311181A - 一种异常驾驶的快速检测方法及系统 - Google Patents

一种异常驾驶的快速检测方法及系统 Download PDF

Info

Publication number
CN116311181A
CN116311181A CN202310278591.8A CN202310278591A CN116311181A CN 116311181 A CN116311181 A CN 116311181A CN 202310278591 A CN202310278591 A CN 202310278591A CN 116311181 A CN116311181 A CN 116311181A
Authority
CN
China
Prior art keywords
driver
driving
network
detection
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310278591.8A
Other languages
English (en)
Other versions
CN116311181B (zh
Inventor
朱智勤
徐鹏
周锋
帅林宏
曹龙汉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Lilong Zhongbao Intelligent Technology Co ltd
Original Assignee
Chongqing Lilong Zhongbao Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Lilong Zhongbao Intelligent Technology Co ltd filed Critical Chongqing Lilong Zhongbao Intelligent Technology Co ltd
Priority to CN202310278591.8A priority Critical patent/CN116311181B/zh
Publication of CN116311181A publication Critical patent/CN116311181A/zh
Application granted granted Critical
Publication of CN116311181B publication Critical patent/CN116311181B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0872—Driver physiology

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供一种异常驾驶的快速检测方法及系统，包括：步骤S1、驾驶状态信息采集；步骤S2、分心驾驶判别；步骤S3、危险驾驶判别；步骤S4、疲劳驾驶判别。该检测方法可直接部署在低算力的边缘设备上实时监测驾驶的异常，避免基于云端监测方法弊端的同时保证了检测速度；同时，该检测方法针对不同特征进行驾驶者各种异常驾驶的判断，有效避免行车过程中，各种异常驾驶在图像和毫米波雷达上呈现不同特征的影响，从而实现精准的驾驶情况识别，确保能够及时、准确地传送报警信息，保证驾驶安全。

Description

一种异常驾驶的快速检测方法及系统
技术领域
本发明涉及主动安全驾驶技术领域，具体涉及一种异常驾驶的快速检测方法及系统。
背景技术
在道路交通安全法中，明文规定不得在驾驶车辆过程中出现打电话等分心驾驶动作及疲劳驾驶等活动；此外，在《道路运输车辆动态监督管理办法》中，规定一些具有重大安全隐患的车辆必须安装具有记录驾驶状态信息的行驶记录仪，以防止疲劳驾驶、车辆超速等交通违法行为。然而，安装的北斗记录仪通常基于云端服务器检测方法，存在掉线、检测精度低、反馈速率慢等问题，同时，交通法规的问责总是滞后的，通过问责无法从根本上解决问题。因此，有必要在车内安装离线检测系统，进行驾驶者的驾驶状态实时监测，并及时给与驾驶者必要反馈，从而从源头上降低交通事故的发生概率，提高道路安全性。
发明内容
针对以上现有技术存在的问题，本发明的目的在于提供一种异常驾驶的快速检测方法及系统，用于对驾驶者的驾驶状态进行快速、准确检测，并实时完成对驾驶者的提醒，从而避免现有技术存在的检测滞后、反馈滞后、检测误差和掉线等问题。
本发明的目的通过以下技术方案实现：
一种异常驾驶的快速检测方法，其特征在于：
包括：
步骤S1、驾驶状态信息采集：通过设置在驾驶舱内的单目红外摄像头与毫米波雷达完成无接触式信息采集，其中单目红外摄像头采集驾驶者图像信息，毫米波雷达采集驾驶者鼻子移动距离与胸腔振幅信号；
步骤S2、分心驾驶行为判别：通过驾驶者图像信息对驾驶者是否存在分心驾驶行为进行判别；
步骤S3、危险驾驶行为判别：若未检测到分心驾驶行为，则通过毫米波雷达采集的驾驶者鼻子移动距离与驾驶者图像进行危险驾驶行为判别；
步骤S4、疲劳驾驶行为判别：若未检测到疲劳驾驶行为，则通过多模态特征融合网络提取毫米波雷达采集的胸腔振幅信号与驾驶者图像特征，输出驾驶者疲劳等级，判断驾驶者疲劳驾驶状态。
作进一步优化，所述步骤S2具体为：首先对单目红外摄像头实时采集的单帧驾驶图像进行缩放、归一化处理后，送入目标检测网络；然后通过目标检测网络对驾驶者手持物、头部、嘴部和眼部进行检测定位，判断驾驶者是否存在分心驾驶；
若驾驶者存在分心驾驶，则退出当前帧检测并输出分心驾驶结果；若驾驶者未存在分心驾驶，则进行危险驾驶判别。
作进一步优化，所述目标检测网络包括主干网络、辅助网络与检测头；
主干网络采用改进的跨阶段局部网络(Cross Stage Partial Dark Network，CSPDarkNet)，其包含160×160、80×80、40×40、20×20四个特征层，用于从驾驶者图像中提取重要特征元素；
辅助网络用于创建特征金字塔，其采用改进的路径融合网络(Path AggregationNetwork，PANet)作为特征金字塔模块；
检测头通过将预测的特征图与一组预定义的锚框进行匹配，从而生成最终的预测结果；对于每个锚框，检测头会预测一个向量，其中包括对象类别的概率、对象置信度与边界框坐标，具体为：
Figure SMS_1
yi＝[obj·classi,b·d]；
式中：i表示锚框的索引，classi表示预测的对象类别的概率向量，Pi表示网络的输出向量；obj表示置信度，Po表示预测置信度的向量；b表示预测的边界框坐标，Pb表示预测边界框坐标的向量，c表示锚框的中心坐标；bx、by、bw、bh分别表示预测的边界框的水平中心位置、垂直中心位置、宽度与高度，d表示边界框的坐标向量；yi表示最终输出的向量。
优选的，所述改进的路径融合网络具体为：首先，路径融合网络从建造的特征金字塔的底部开始，从下至上增加一条特征再融合支线，进而重建了一个加强空间信息的金字塔；然后，对金字塔的每一层进行特征区域对齐，通过取最大值融合对齐的特征层；最后，在融合的特征图上进行检测，确保每个对象的预测充分利用所有特征层的信息。
作进一步优化，所述步骤S3具体为：首先，预设鼻子安全移动距离阈值SD-N；
当毫米波雷达采集到的当前帧的驾驶者鼻子移动距离D-N小于阈值SD-N、即D-N＜SD-N时，驾驶者不存在危险驾驶行为，则进行疲劳驾驶行为判别；
当毫米波雷达采集到的当前帧的驾驶者鼻子移动距离D-N不小于阈值SD-N、即D-N≥SD-N时：首先，对驾驶者图像进行缩放、对比度自适应直方图均衡化、归一化预处理；然后，使用预先训练完成的图像分类网络对头部图像特征进行提取、并输出驾驶者头部状态类型；
若分类结果显示驾驶者存在偏头或低头等危险驾驶行为，则退出当前帧检测并输出危险驾驶结果；若分类结果显示驾驶者未存在偏头或低头等危险驾驶行为，则进行疲劳驾驶行为判别。
优选的，所述图像分类网络采用轻量级图像分类网络，包括前端网络层、特征提取层与末端网络层；首先，前端网络层利用普通卷积(Convolution)与逐点卷积(Point-wiseConvolution，PC)进行浅层特征提取，保证初始特征的丰富性；然后跟随一系列通道逐渐增加的多尺度轻量化模块(Multi-scale Lightweight Module，MSLM)作为轻量级深度特征提取层；最后利用一个全局平均池化(Global Average Pooling，GAP)与两个逐点卷积(Point-wise Convolution，PC)作为末端网络层，将特征映射转换为一维特征向量进行最终分类，输出结果。
作进一步优化，所述步骤S4中多模态特征融合网络采用一种双流并行特征结构，前端特征提取阶段利用堆叠的卷积池化层同时提取驾驶者面部图像特征与毫米波雷达采集的胸腔振幅信号特征；之后，将提取的特征在通道维度叠加后使用卷积池化层融合提取驾驶者的多模态疲劳特征；然后，使用一个全局平均池化与两个逐点卷积进行特征映射，从而得到两种模式交互的注意力特征向量；最终，输出驾驶者的疲劳等级。
作进一步优化，所述步骤S4中预设疲劳等级阈值；
若驾驶者疲劳等级高于疲劳等级阈值，则退出当前帧检测并输出疲劳驾驶结果；若驾驶者疲劳等级不高于疲劳等级阈值，则判断驾驶者为正常驾驶，直接退出当前帧检测。
通过上述步骤后，可以判定当前帧下驾驶者的驾驶状态，但异常驾驶是一种长时间持续性行为，仅通过单帧图像与当前帧下的毫米波雷达判定结果无法可靠的确定驾驶者的真实驾驶状态；作进一步优化，所述驾驶舱内还包括状态存储器，状态存储器用于存储一定时间段内驾驶者的每帧状态；
同时，状态存储器内设定异常驾驶状态频率阈值，当某一异常驾驶状态(即分心驾驶行为、危险驾驶行为、疲劳驾驶行为)的出现频率超过异常驾驶状态频率阈值时，设置于驾驶舱内的报警器进行报警，提醒驾驶者进行规范驾驶；否则，驾驶者处于正常驾驶状态，报警器不工作。
实际过程中驾驶者大多数情况下均是处于正常驾驶状态，上述检测方法在驾驶者处于正常驾驶状态时，需要经过所有级联网络才能输出最终的检测结果，极易浪费过多的计算资源；作进一步优化，所述状态存储器中设置比例自动调节模块：当状态队列中存储的全是正常驾驶状态时，进行跳帧检测，直至检测到异常驾驶状态时，再进行逐帧检测。
本发明具有如下技术效果：
本申请通过在车内设置近红外摄像头和毫米雷达波采集驾驶者行车过程中的状态信息，并利用神经网络对信息的检测和识别能力实时监控驾驶者的驾驶状态；通常涉及较大计算开销的图像处理任务被部署在云端，以便加快检测速度，但基于云端的检测方法往往涉及用户隐私、并存在掉线等问题，本申请检测方法可直接部署在低算力的边缘设备上实时监测驾驶员状态，避免了基于云端监测方法弊端的同时保证了检测速度。同时，本申请通过级联的神经网络针对不同特征进行驾驶者各种异常驾驶行为的判断，有效避免行车过程中，各种异常驾驶行为在图像和毫米波雷达上呈现不同特征的影响，从而实现精准的驾驶状态识别，确保能够及时、准确地传送报警信息，保证驾驶安全。
具体来讲，本申请通过手持物检测结果判断驾驶者是否存在打电话或抽烟等分心驾驶行为；进一步利用毫米雷达波采集的鼻子移动距离预判断驾驶者是否存在偏头或低头等危险驾驶行为，以减少后续计算量，为了验证预判断结果又设计了轻量级卷积神经网络用于对驾驶者头部进行快速状态分类，根据头部状态分类结果判断驾驶者是否真实存在低头或是偏头等危险驾驶行为；对于驾驶者疲劳状态的检测，本申请搭建一个多模态特征融合网络可以融合提取驾驶者呼吸频率特征和面部信息特征，从而精确判断驾驶者疲劳等级。同时，为了提高检测系统的容错率，增强系统鲁棒性，本申请设计了一个状态存储器用于存储驾驶者短时间内的驾驶状态，检测过程中当存储器中某一危险驾驶状态出现频率超过预定阈值，则会输出最终的报警信息提醒驾驶者规范驾驶，同时状态存储器内能够根据正常驾驶状态的频率决定是否进行跳帧检测，提高了检测效率，节省了计算资源。
附图说明
图1为本发明实施例中异常驾驶检测的流程图。
图2为本发明实施例中异常驾驶检测的目标检测网络的结构图。
图3为本发明实施例中异常驾驶检测的轻量级图像分类网络的结构图。
图4为本发明实施例中异常驾驶检测的多模态特征融合网络的结构图。
具体实施方式
下面将结合具体实施方式及附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1：
如图1～4所示：一种异常驾驶的快速检测方法，其特征在于：包括：
步骤S1、驾驶状态信息采集：通过设置在驾驶舱内的单目红外摄像头与毫米波雷达完成无接触式信息采集；其中单目红外摄像头采集驾驶者图像信息，毫米波雷达采集驾驶者鼻子移动距离与胸腔振幅信号；
其中，毫米波雷达包含接收和发射射频组件、时钟模拟组件、模数转换器(analog-digital converter，ADC)、微控制器(microcontroller unit，MCU)与数字信号处理器(digital signal processor，DSP)等元件；例如：采用德州仪器公司Texas Instrumen的毫米波雷达。
步骤S2、分心驾驶行为判别：通过驾驶者图像信息对驾驶者是否存在分心驾驶行为进行判别；
具体为：首先对单目红外摄像头实时采集的单帧驾驶图像进行缩放、归一化处理(对图像的缩放、归一化处理均采用本领域常规手段即可，本实施例中不做过多论述)后，送入目标检测网络；然后通过目标检测网络对驾驶者手持物、头部、嘴部、眼部进行检测定位，判断驾驶者是否存在分心驾驶；
若驾驶者存在分心驾驶，则退出当前帧检测并输出分心驾驶结果；若驾驶者未存在分心驾驶，则进行危险驾驶判别。
其中，目标检测网络包括主干网络、辅助网络与检测头；
主干网络采用改进的跨阶段局部网络(Cross Stage Partial Dark Network，CSPDarkNet)，其包含160×160、80×80、40×40、20×20四个特征层，用于从驾驶者图像中提取重要特征元素。
跨阶段局部网络是YOLOv5网络特征提取的主要部件、即主干网络，它能够在减少计算量的同时提取出图像中信息最丰富的细节特征；在对640×640输入图像的检测中，YOLOv5的三个特征层的网格尺寸分别为80×80、40×40和20×20。卷积神经网络越深，特征图的感受域越大，这也意味着每个神经元包含更多的全局和高级语义特征，但局部特征和详细特征会丢失；相反，当卷积神经网络较浅时，特征图中神经元中包含的特征往往更局部且更详细。为了更好地识别小目标，与YOLOv5的检测层相比，本申请的主干网络中增加一个检测层、即用于检测4×4像素对象的新检测层。改进后的主干网络包含四个特征层，其大小分别为160×160、80×80、40×40和20×20。
辅助网络用于创建特征金字塔，其采用改进的路径融合网络(Path AggregationNetwork，PANet)作为特征金字塔模块；特征金字塔可帮助模型在对象缩放方面增强泛化，有助于识别不同比例和尺寸的相同物品。
如图2所示，改进的路径融合网络具体为：首先，路径融合网络(PANet)从建造的特征金字塔的底部开始，从下至上增加一条特征再融合支线，进而重建了一个加强空间信息的金字塔；然后，对金字塔的每一层进行特征区域对齐，通过取最大值融合对齐的特征层；最后，在融合的特征图上进行检测，确保每个对象的预测充分利用所有特征层的信息。
检测头通过将预测的特征图与一组预定义的锚框进行匹配，从而生成最终的预测结果；对于每个锚框，检测头会预测一个向量，其中包括对象类别的概率、对象置信度与边界框坐标，具体为：
Figure SMS_2
yi＝[obj·classi,b·d]；
式中：i表示锚框的索引，classi表示预测的对象类别的概率向量，Pi表示网络的输出向量；obj表示置信度，Po表示预测置信度的向量；b表示预测的边界框坐标，Pb表示预测边界框坐标的向量，c表示锚框的中心坐标；bx、by、bw、bh分别表示预测的边界框的水平中心位置、垂直中心位置、宽度与高度，d表示边界框的坐标向量；yi表示最终输出的向量。
具体而言：classi是通过对Pi进行归一化指数函数softmax的操作来计算的，以确保对象类别概率向量的总和为1；obj为一个0到1之间的值，它表示该锚框中是否包含一个对象，这个值是通过Po获得；b是通过将预测的边界框坐标Pb应用S型函数sigmoid、并添加锚框中心坐标c来计算得到，这样可以将相对坐标转换为绝对坐标；最后，通过将对象类别概率向量和边界框坐标向量拼接在一起、获得最终输出的向量yi。
本申请实施例中通过对主干网络和辅助网络进行改进，在特征提取时保留更多浅层特征并将其与后续辅助网络中高层特征进行融合，从而提高小目标检测的性能。
步骤S3、危险驾驶行为判别：若未检测到分心驾驶行为，则通过毫米波雷达采集的驾驶者鼻子移动距离与驾驶者图像进行危险驾驶行为判别；
具体为：首先，预设鼻子安全移动距离阈值SD-N；
当毫米波雷达采集到的当前帧的驾驶者鼻子移动距离D-N小于阈值SD-N、即D-N＜SD-N时，驾驶者不存在危险驾驶行为，则进行疲劳驾驶行为判别；
当毫米波雷达采集到的当前帧的驾驶者鼻子移动距离D-N不小于阈值SD-N、即D-N≥SD-N时：首先，对驾驶者图像进行缩放、对比度自适应直方图均衡化、归一化预处理；然后，使用预先训练完成的图像分类网络对头部图像特征进行提取、并输出驾驶者头部状态类型；
若分类结果显示驾驶者存在偏头或低头等危险驾驶行为，则退出当前帧检测并输出危险驾驶结果；若分类结果显示驾驶者未存在偏头或低头等危险驾驶行为，则进行疲劳驾驶行为判别。
图像分类网络采用轻量级图像分类网络，如图3所示：包括前端网络层、特征提取层与末端网络层；首先，前端网络层利用普通卷积(Convolution)与逐点卷积(Point-wiseConvolution，PC)进行浅层特征提取，保证初始特征的丰富性；然后跟随一系列通道逐渐增加的多尺度轻量化模块(Multi-scale Lightweight Module，MSLM)作为轻量级深度特征提取层；最后利用一个全局平均池化(Global Average Pooling，GAP)与两个逐点卷积(Point-wise Convolution，PC)作为末端网络层，将特征映射转换为一维特征向量进行最终分类，输出结果。
多数手工轻量级模块忽略了多尺度特征对减少特征表达瓶颈的显著影响，本申请实施例中设计了一个基于深度可分离卷积的多尺度轻量化模块来有效地提取多尺度信息，并在该模块的基础上搭建了轻量级的分类网络用于对驾驶者头部状态进行分类，有效避免多尺度特征对特征表达瓶颈的影响，丰富特征信息，提高检测准确度与精度。
步骤S4、疲劳驾驶行为判别：若未检测到疲劳驾驶行为，则通过多模态特征融合网络提取毫米波雷达采集的胸腔振幅信号与驾驶者图像特征，输出驾驶者疲劳等级，判断驾驶者疲劳驾驶状态。
其中，多模态特征融合网络采用一种双流并行特征结构，前端特征提取阶段利用堆叠的卷积池化层(Conv&Pool)同时提取驾驶者面部图像特征与毫米波雷达采集的胸腔振幅信号特征；之后，将提取的特征在通道维度叠加后使用卷积池化层(Conv&Pool)融合提取驾驶者的多模态疲劳特征；然后，使用一个全局平均池化(Global Average Pooling，GAP)与两个逐点卷积(Point-wise Convolution，PC)进行特征映射，从而得到两种模式交互的注意力特征向量；最终，输出驾驶者的疲劳等级。
预设疲劳等级阈值；
若驾驶者疲劳等级高于疲劳等级阈值，则退出当前帧检测并输出疲劳驾驶结果；若驾驶者疲劳等级不高于疲劳等级阈值，则判断驾驶者为正常驾驶，直接退出当前帧检测。
实施例2：
作为对本申请方案的进一步优化，在实施例1方案的基础上，通过上述实施例1后，可以判定当前帧下驾驶者的驾驶状态，但异常驾驶是一种长时间持续性行为，仅通过单帧图像与当前帧下的毫米波雷达判定结果无法可靠的确定驾驶者的真实驾驶状态；
驾驶舱内还包括状态存储器，状态存储器用于存储一定时间段(改时间段根据实际情况进行设置，本实施例中设置为T)内驾驶者的每帧状态；同时，状态存储器内设定异常驾驶状态频率阈值Md，当某一异常驾驶状态(即分心驾驶行为、危险驾驶行为、疲劳驾驶行为)的出现频率超过异常驾驶状态频率阈值时，设置于驾驶舱内的报警器进行报警，提醒驾驶者进行规范驾驶；否则，驾驶者处于正常驾驶状态，报警器不工作。
例如：T时间段内存在M帧的驾驶状态，其中，分心驾驶行为出现的概率为
Figure SMS_3
危险驾驶行为出现的概率为/>
Figure SMS_4
疲劳驾驶行为出现的概率为/>
Figure SMS_5
且m1+m2+m3＝M；若
Figure SMS_6
则输出分心驾驶行为预警；同理，可输出危险驾驶行为预警与疲劳驾驶行为预警。
实际过程中驾驶者大多数情况下均是处于正常驾驶状态，上述检测方法在驾驶者处于正常驾驶状态时、需要经过所有级联网络才能输出最终的检测结果，极易浪费过多的计算资源；状态存储器中设置比例自动调节模块：当状态队列中存储的全是正常驾驶状态时，进行跳帧检测，直至检测到异常驾驶状态时，再进行逐帧检测。
对比例1：
一种异常驾驶检测方法，其特征在于：
基本检测的方法、步骤等均与实施例1中的方法一致，不同点在于：采用YOLOv5作为目标检测网络进行目标检测、采用MobilieNetv3作为图像分类网络进行头部状态分类，同时，疲劳检测未使用多模态特征融合网络，仅使用原生网络对人脸进行疲劳分类。
对比例2：
一种异常驾驶检测方法，其特征在于：
基本检测的方法、步骤等均与实施例1中的方法一致，不同点在于：采用MobilieNetv3作为图像分类网络进行头部状态分类，同时，疲劳检测未使用多模态特征融合网络，仅使用原生网络对人脸进行疲劳分类。
对比例3：
一种异常驾驶检测方法，其特征在于：
基本检测的方法、步骤等均与实施例1中的方法一致，不同点在于：疲劳检测未使用多模态特征融合网络，仅使用原生网络对人脸进行疲劳分类。
对实施例1、对比例1～3进行整体检测精度与单帧检测时间进行比对，结果如下表1：
表1：
Figure SMS_7
Figure SMS_8
由上表可以看出：在对目标检测网络进行改进后目标检测阶段小目标识别精度得到提升、整体精度提升了2.3％；使用基于深度可分离卷积的多尺度轻量化模块代替MobileNetv3后，头部状态分类精度得到提高、整体检测精度提升了1.3％，同时单帧检测时间明显提升、提升了7.4ms；使用多模态信息融合后疲劳检测精度得到提高、整体检测精度提升了7.4％。总体来讲，本申请多模态特征融合下的非侵入性快速异常驾驶检测方法在检测精度上提升了8.0％、超过96％，检测精度高，检测速度上提升了13.4％，能够证明本申请方法在保证实时性的同时取得了更高的检测精度。
以上显示描述了本发明的基本原理和主要特征及本发明的优点。本行业的技术人者应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (7)

1.一种异常驾驶的快速检测方法，其特征在于：
包括：
步骤S1、驾驶状态信息采集：通过设置在驾驶舱内的单目红外摄像头与毫米波雷达完成无接触式信息采集；其中单目红外摄像头采集驾驶者图像信息，毫米波雷达采集驾驶者鼻子移动距离与胸腔振幅信号；
步骤S2、分心驾驶行为判别：通过驾驶者图像信息对驾驶者是否存在分心驾驶行为进行判别；
步骤S3、危险驾驶行为判别：若未检测到分心驾驶行为，则通过毫米波雷达采集的驾驶者鼻子移动距离与驾驶者图像进行危险驾驶行为判别；
步骤S4、疲劳驾驶行为判别：若未检测到疲劳驾驶行为，则通过多模态特征融合网络提取毫米波雷达采集的胸腔振幅信号与驾驶者图像特征，输出驾驶者疲劳等级，判断驾驶者疲劳驾驶状态。
2.根据权利要求1所述的一种异常驾驶的快速检测方法，其特征在于：
所述步骤S2具体为：首先对单目红外摄像头实时采集的单帧驾驶图像进行缩放、归一化处理后，送入目标检测网络；然后通过目标检测网络对驾驶者手持物、头部、嘴部、眼部进行检测定位，判断驾驶者是否存在分心驾驶；
若驾驶者存在分心驾驶，则退出当前帧检测并输出分心驾驶结果；若驾驶者未存在分心驾驶，则进行危险驾驶判别。
3.根据权利要求1或2所述的一种异常驾驶的快速检测方法，其特征在于：
所述目标检测网络包括主干网络、辅助网络与检测头；
主干网络采用改进的跨阶段局部网络，其包含160×160、80×80、40×40、20×20四个特征层，用于从驾驶者图像中提取重要特征元素；
辅助网络用于创建特征金字塔，其采用改进的路径融合网络作为特征金字塔模块；
检测头通过将预测的特征图与一组预定义的锚框进行匹配，从而生成最终的预测结果；对于每个锚框，检测头会预测一个向量，其中包括对象类别的概率、对象置信度与边界框坐标，具体为：
Figure FDA0004137272710000021
yi＝[obj·classi,b·d]；
式中：i表示锚框的索引，classi表示预测的对象类别的概率向量，Pi表示网络的输出向量；obj表示置信度，Po表示预测置信度的向量；b表示预测的边界框坐标，Pb表示预测边界框坐标的向量，c表示锚框的中心坐标；bx、by、bw、bh分别表示预测的边界框的水平中心位置、垂直中心位置、宽度与高度，d表示边界框的坐标向量；yi表示最终输出的向量。
4.根据权利要求1所述的一种异常驾驶的快速检测方法，其特征在于：
所述步骤S3具体为：首先，预设鼻子安全移动距离阈值SD-N；
当毫米波雷达采集到的当前帧的驾驶者鼻子移动距离D-N小于阈值SD-N、即D-N＜SD-N时，驾驶者不存在危险驾驶行为，则进行疲劳驾驶行为判别；
当毫米波雷达采集到的当前帧的驾驶者鼻子移动距离D-N不小于阈值SD-N、即D-N≥SD-N时：首先，对驾驶者图像进行缩放、对比度自适应直方图均衡化、归一化预处理；然后，使用预先训练完成的图像分类网络对头部图像特征进行提取、并输出驾驶者头部状态类型；
若分类结果显示驾驶者存在偏头或低头等危险驾驶行为，则退出当前帧检测并输出危险驾驶结果；若分类结果显示驾驶者未存在偏头或低头等危险驾驶行为，则进行疲劳驾驶行为判别。
5.根据权利要求1或4所述的一种异常驾驶的快速检测方法，其特征在于：
所述图像分类网络采用轻量级图像分类网络，包括前端网络层、特征提取层与末端网络层；首先，前端网络层利用普通卷积与逐点卷积进行浅层特征提取，保证初始特征的丰富性；然后跟随一系列通道逐渐增加的多尺度轻量化模块作为轻量级深度特征提取层；最后利用一个全局平均池化与两个逐点卷积作为末端网络层，将特征映射转换为一维特征向量进行最终分类，输出结果。
6.根据权利要求1所述的一种异常驾驶的快速检测方法，其特征在于：所述步骤S4中多模态特征融合网络采用一种双流并行特征结构，前端特征提取阶段利用堆叠的卷积池化层同时提取驾驶者面部图像特征与毫米波雷达采集的胸腔振幅信号特征；之后，将提取的特征在通道维度叠加后使用卷积池化层融合提取驾驶者的多模态疲劳特征；然后，使用一个全局平均池化与两个逐点卷积进行特征映射，从而得到两种模式交互的注意力特征向量；最终，输出驾驶者的疲劳等级。
7.根据权利要求1或6所述的一种异常驾驶的快速检测方法，其特征在于：所述步骤S4中预设疲劳等级阈值；
若驾驶者疲劳等级高于疲劳等级阈值，则退出当前帧检测并输出疲劳驾驶结果；若驾驶者疲劳等级不高于疲劳等级阈值，则判断驾驶者为正常驾驶、直接退出当前帧检测。
CN202310278591.8A 2023-03-21 2023-03-21 一种异常驾驶的快速检测方法及系统 Active CN116311181B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310278591.8A CN116311181B (zh) 2023-03-21 2023-03-21 一种异常驾驶的快速检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310278591.8A CN116311181B (zh) 2023-03-21 2023-03-21 一种异常驾驶的快速检测方法及系统

Publications (2)

Publication Number Publication Date
CN116311181A true CN116311181A (zh) 2023-06-23
CN116311181B CN116311181B (zh) 2023-09-12

Family

ID=86792214

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310278591.8A Active CN116311181B (zh) 2023-03-21 2023-03-21 一种异常驾驶的快速检测方法及系统

Country Status (1)

Country Link
CN (1) CN116311181B (zh)

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102982316A (zh) * 2012-11-05 2013-03-20 安维思电子科技（广州）有限公司 一种对驾驶员非正常驾驶行为的识别装置和方法
CN105719431A (zh) * 2016-03-09 2016-06-29 深圳市中天安驰有限责任公司 一种疲劳驾驶检测系统
US20190065873A1 (en) * 2017-08-10 2019-02-28 Beijing Sensetime Technology Development Co., Ltd. Driving state monitoring methods and apparatuses, driver monitoring systems, and vehicles
CN109409331A (zh) * 2018-11-27 2019-03-01 惠州华阳通用电子有限公司 一种基于雷达的防疲劳驾驶方法
CN109584507A (zh) * 2018-11-12 2019-04-05 深圳佑驾创新科技有限公司 驾驶行为监测方法、装置、系统、交通工具和存储介质
CN110147738A (zh) * 2019-04-29 2019-08-20 中国人民解放军海军特色医学中心 一种驾驶员疲劳监测预警方法及系统
US20190279009A1 (en) * 2018-03-12 2019-09-12 Microsoft Technology Licensing, Llc Systems and methods for monitoring driver state
CN110427830A (zh) * 2019-07-08 2019-11-08 太航常青汽车安全系统（苏州）股份有限公司 驾驶员异常驾驶状态实时检测系统及方法
CN110766912A (zh) * 2018-07-27 2020-02-07 长沙智能驾驶研究院有限公司 驾驶预警方法、设备及计算机可读存储介质
CN110765807A (zh) * 2018-07-25 2020-02-07 阿里巴巴集团控股有限公司 驾驶行为分析、处理方法、装置、设备和存储介质
US20210004619A1 (en) * 2018-10-19 2021-01-07 Shanghai Sensetime Intelligent Technology Co., Ltd. Driving state analysis method and apparatus, driver monitoring system and vehicle
CN113033503A (zh) * 2021-05-14 2021-06-25 哈尔滨理工大学 一种多特征融合的危险驾驶行为检测方法及系统
CN113239754A (zh) * 2021-04-23 2021-08-10 泰山学院 一种应用于车联网的危险驾驶行为检测定位方法及系统
CN114872713A (zh) * 2021-10-19 2022-08-09 长安大学 一种驾驶员异常驾驶状态监测装置和方法
CN115690750A (zh) * 2022-10-21 2023-02-03 浙江大学 一种驾驶员分心检测方法和装置

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102982316A (zh) * 2012-11-05 2013-03-20 安维思电子科技（广州）有限公司 一种对驾驶员非正常驾驶行为的识别装置和方法
CN105719431A (zh) * 2016-03-09 2016-06-29 深圳市中天安驰有限责任公司 一种疲劳驾驶检测系统
US20190065873A1 (en) * 2017-08-10 2019-02-28 Beijing Sensetime Technology Development Co., Ltd. Driving state monitoring methods and apparatuses, driver monitoring systems, and vehicles
US20190279009A1 (en) * 2018-03-12 2019-09-12 Microsoft Technology Licensing, Llc Systems and methods for monitoring driver state
CN110765807A (zh) * 2018-07-25 2020-02-07 阿里巴巴集团控股有限公司 驾驶行为分析、处理方法、装置、设备和存储介质
CN110766912A (zh) * 2018-07-27 2020-02-07 长沙智能驾驶研究院有限公司 驾驶预警方法、设备及计算机可读存储介质
US20210004619A1 (en) * 2018-10-19 2021-01-07 Shanghai Sensetime Intelligent Technology Co., Ltd. Driving state analysis method and apparatus, driver monitoring system and vehicle
CN109584507A (zh) * 2018-11-12 2019-04-05 深圳佑驾创新科技有限公司 驾驶行为监测方法、装置、系统、交通工具和存储介质
CN109409331A (zh) * 2018-11-27 2019-03-01 惠州华阳通用电子有限公司 一种基于雷达的防疲劳驾驶方法
CN110147738A (zh) * 2019-04-29 2019-08-20 中国人民解放军海军特色医学中心 一种驾驶员疲劳监测预警方法及系统
CN110427830A (zh) * 2019-07-08 2019-11-08 太航常青汽车安全系统（苏州）股份有限公司 驾驶员异常驾驶状态实时检测系统及方法
CN113239754A (zh) * 2021-04-23 2021-08-10 泰山学院 一种应用于车联网的危险驾驶行为检测定位方法及系统
CN113033503A (zh) * 2021-05-14 2021-06-25 哈尔滨理工大学 一种多特征融合的危险驾驶行为检测方法及系统
CN114872713A (zh) * 2021-10-19 2022-08-09 长安大学 一种驾驶员异常驾驶状态监测装置和方法
CN115690750A (zh) * 2022-10-21 2023-02-03 浙江大学 一种驾驶员分心检测方法和装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
HONGBO JIANG等: "DriverSonar: Fine-Grained Dangerous Driving Detection Using Active Sonar", PROCEEDINGS OF THE ACM ON INTERACTIVE, MOBILE, WEARABLE AND UBIQUITOUS TECHNOLOGIES, vol. 5, no. 3, pages 1 *
JUAN GUERRERO-IBÁÑEZ 等: "Sensor Technologies for Intelligent Transportation Systems", SENSORS, vol. 18, no. 4, pages 1 - 24 *
刘希凤: "基于SSD的多因素融合的驾驶疲劳检测研究", 中国优秀硕士学位论文全文数据库工程科技Ⅱ辑, pages 035 - 719 *
张馨滢: "基于深度学习的驾驶状态和意图的决策分析", 中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑, pages 035 - 504 *

Also Published As

Publication number Publication date
CN116311181B (zh) 2023-09-12

Similar Documents

Publication Publication Date Title
Wang et al. A survey on driver behavior analysis from in-vehicle cameras
WO2020042984A1 (zh) 一种车辆行为检测方法及装置
US10776642B2 (en) Sampling training data for in-cabin human detection from raw video
Ragab et al. A visual-based driver distraction recognition and detection using random forest
CN111353451A (zh) 电瓶车检测方法、装置、计算机设备及存储介质
CN111027370A (zh) 一种多目标跟踪及行为分析检测方法
Saif et al. Robust drowsiness detection for vehicle driver using deep convolutional neural network
US20120189161A1 (en) Visual attention apparatus and control method based on mind awareness and display apparatus using the visual attention apparatus
CN116311181B (zh) 一种异常驾驶的快速检测方法及系统
Yu et al. Drowsydet: a mobile application for real-time driver drowsiness detection
Bekka et al. Distraction detection to predict vehicle crashes: a deep learning approach
Zhou et al. Towards comprehensive understanding of pedestrians for autonomous driving: Efficient multi-task-learning-based pedestrian detection, tracking and attribute recognition
WO2022159214A2 (en) Fusion-based sensing intelligence and reporting
CN116615666A (zh) 针对具有丢帧的数据集的序列处理
KR20220067271A (ko) 영상취득장치 및 영상취득방법
Pan et al. Video Surveillance Vehicle Detection Method Incorporating Attention Mechanism and YOLOv5
Zhang et al. Detection of Dangerous Driving Behavior Based on CG-YOLOv5
TWI749870B (zh) 處理視訊內容分析的裝置
US20220207363A1 (en) Method for training neural network for drone based object detection
WO2022217551A1 (zh) 目标检测方法和装置
US20230360402A1 (en) Video-based public safety incident prediction system and method therefor
Evstafev et al. Controlling driver behaviour in ADAS with emotions recognition system
Dixit et al. Utilizing Deep Learning For Dynamic Video Analysis In Traffic Control, Safety, And Security
Mridha et al. Implementing an Alarm Based Driver Drowsiness Detection System for Traffic Safety Using Neural Network
Huang et al. Self-Supervised Multi-Granularity Graph Attention Network for Vision-Based Driver Fatigue Detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant