CN117351648A - 一种驾驶员疲劳监测预警方法及系统 - Google Patents
一种驾驶员疲劳监测预警方法及系统 Download PDFInfo
- Publication number
- CN117351648A CN117351648A CN202311298870.7A CN202311298870A CN117351648A CN 117351648 A CN117351648 A CN 117351648A CN 202311298870 A CN202311298870 A CN 202311298870A CN 117351648 A CN117351648 A CN 117351648A
- Authority
- CN
- China
- Prior art keywords
- eyelid
- state information
- coordinates
- image
- driver
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000012544 monitoring process Methods 0.000 title claims abstract description 25
- 210000000744 eyelid Anatomy 0.000 claims abstract description 90
- 210000005252 bulbus oculi Anatomy 0.000 claims abstract description 82
- 210000001508 eye Anatomy 0.000 claims abstract description 76
- 238000012545 processing Methods 0.000 claims abstract description 58
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 45
- 238000007781 pre-processing Methods 0.000 claims abstract description 38
- 210000003128 head Anatomy 0.000 claims abstract description 32
- 230000004927 fusion Effects 0.000 claims abstract description 24
- 238000001514 detection method Methods 0.000 claims abstract description 22
- 230000007246 mechanism Effects 0.000 claims description 16
- 238000011176 pooling Methods 0.000 claims description 14
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 6
- 230000003044 adaptive effect Effects 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 2
- 230000005764 inhibitory process Effects 0.000 claims description 2
- 230000009466 transformation Effects 0.000 claims description 2
- 230000004424 eye movement Effects 0.000 abstract description 4
- 206010016256 fatigue Diseases 0.000 description 35
- 238000000605 extraction Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 6
- 230000002708 enhancing effect Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 206010039203 Road traffic accident Diseases 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000007670 refining Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 241001282135 Poromitra oscitans Species 0.000 description 1
- 206010048232 Yawning Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Emergency Management (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- Human Computer Interaction (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种驾驶员疲劳监测预警方法，通过预处理模块对每帧图像进行处理，得到对应的高分辨率图像；将所述高分辨率图像输入改进后的YOLOV7算法中检测出的眼球和眼皮边缘对应的多个目标框，以及中的眼球和眼皮边缘的真实坐标；基于眼部的眼皮边缘的坐标确定眼皮边缘运动轨迹，基于眼部的眼球的坐标确定眼球大小；基于眼动仪获得眼球的运动轨迹，将的眼部状态信息，头部状态信息和车辆状态信息融合后传入多信息融合检测模块，综合判段驾驶员的驾驶状态。通过设计预处理模块，快速准确地解决了图像噪声较大，光线不足，画质分辨率较低的问题。通过改进的YOLOV7算法，提高了算法在图片分类的精确度及运行速度。
Description
技术领域
本发明涉及智能车辆及目标识别技术领域，特别涉及一种驾驶员疲劳监测预警方法及系统。
背景技术
随着社会经济的迅速发展,汽车数量的增长带来了一系列交通安全问题。交通事故的起因多样,据统计,大约20％的交通事故的起因是疲劳驾驶，疲劳驾驶会对驾驶员的安全驾驶造成极大隐患.因此疲劳驾驶检测对于预防交通事故具有重要意义。当前疲劳检测主要基于以下几个方面1)基于驾驶员的生理信号2)基于驾驶员的面部特征信号3)基于车辆的行为信号等。疲劳驾驶检测领域已经开展很多研究,目前也取得了很大进展,但仍存在尚待解决的问题。
对于基于面部信息的疲劳检测技术,其主要通过比较明显的疲劳特征,如眼睛闭合时间占特定时长百分比、哈欠检测等。但意外事故的发生与这些明显的疲劳特征的出现之间的时间间隔往往很短,一方面，大多数现有方法忽略了疲劳特征与时间之间的关系，侧重处理某一时刻的疲劳特征,而忽略了随时间的流逝其特征的变化，这些疲劳检测技术无法很好的对早期疲劳进行进检测；另一方面，疲劳检测对实时性要求较高，眼部信息特征较为具体，YOLOV7算法在图片分类方面的精确度可以继续提高。除此之外，驾驶员行驶过程中,会受到颠簸，光照因素的影响。在白天可能会出现光照不均匀，在夜间驾驶环境下,会受到光线不足的影响，一定程度上，会影响算法的识别精度。
发明内容
为了解决现有技术所存在的问题，本发明提供一种驾驶员疲劳监测预警方法，结合改进的YOLOV7算法，通过对视频序列中眼皮边缘的运动轨迹和眼球的特征进行分析提取，并融合多元信息，有效检测驾驶员的疲劳状态，减少交通事故发生概率，提高驾驶员的安全。
本发明提供一种驾驶员疲劳监测预警方法，包括：
步骤1，获取包含驾驶员面部图像的原始视频，按序从视频中读取出每帧图像，通过预处理模块对读取的每帧图像进行依次处理，得到对应的高分辨率图像；
步骤2，对于每张高分辨率图像，将所述高分辨率图像输入改进后的YOLOV7算法中检测出的眼球和眼皮边缘对应的多个目标框，以及目标框中的眼球和眼皮边缘的真实坐标；
步骤3，将每个目标框通过目标框解码的方法得到目标框的真实坐标，根据所述目标框的真实坐标将所述眼球和眼皮边缘的真实坐标进行坐标转换，得到基于眼部的眼球和眼皮边缘的坐标，根据基于眼部的眼皮边缘的坐标确定眼皮边缘运动轨迹，根据基于眼部的眼球的坐标确定眼球大小；
步骤4，将眼动仪收集的信息结合对应的时间戳，传入LSTM模型中获得眼球的运动轨迹；
步骤5，对驾驶员进行头部检测得到头部状态信息，通过车辆自身传感器和车载系统获得车辆状态信息；
步骤6，根据眼皮边缘运动轨迹、眼球大小、眼球的运动轨迹融合得到眼部状态信息，将的眼部状态信息，头部状态信息和车辆状态信息融合后传入多信息融合检测模块，综合判段驾驶员的驾驶状态。
进一步地，所述方法还包括：
步骤7，若检测出驾驶员为疲劳状态时，则启动人机共驾模块。
进一步地，步骤1包括：
步骤1.1，对所述读取出的每帧图像分别进行尺寸归一化处理得到初级预处理图片；
步骤1.2，根据上述获取的初级预处理图片，分别进行多轮无噪声局部特征和非局部特征提取，并基于提取的特征进行对齐特征处理和基于参考的特征增强处理，得到对应的多张二级预处理图片；
步骤1.3，对初级预处理图片进行对齐特征后，再进行连拍特征注意力机制处理，获得三级预处理图片；
步骤1.4，将多个二级预处理图片和三级预处理图片进行相加，并进行对齐特征和连拍特征注意力机制处理，然后依次进行自适应突发池化和一维平均池化处理，获得四级预处理图片；
步骤1.5，对于所述四级预处理图片，沿着特征维度，基于关键帧算法得到突发帧，从而以Z字形方式收集突发相邻帧，将收集的突发相邻帧通过突发特征融合单元进行融合，并基于无参考的特征增强方法整合所述突发相邻帧中可用的信息，得到五级预处理图片；
步骤1.6，将所述五级预处理图片进行上采样，输出最终的高分辨率图像，每帧图像对应一张高分辨率图像。
进一步地，将YOLOV7算法中CBS模块替换为CBS-SR模块得到改进后的YOLOV7算法。
进一步地，步骤3包括：将基于眼部的眼皮边缘的坐标结合对应的时间戳，传入LSTM模型中，确定眼皮边缘运动轨迹。
进一步地，步骤3包括：
3.5.1将高分辨率图像转换为灰度图像；
3.5.2.对灰度图像应用高斯滤波器进行滤波；
3.5.3.使用Sobel算子计算滤波后的图像的梯度，以获取图像中每个像素的梯度幅值和方向，同时对梯度图像进行非最大抑制，以保留边缘的细节；
3.5.4.根据设定的阈值，使用OpenCV中的边缘跟踪算法进行边缘跟踪；
3.5.5.在检测到的眼皮边缘上，使用Hough变换算法来检测眼皮边缘的关键点；
3.5.6.用眼皮边缘的关键点的坐标减去基于眼部的眼皮边缘的坐标，计算出眼皮边缘关键点相对于眼睛的相对位置；
3.5.7对每一帧识别出眼皮的图像重复进行步骤3.5.1-3.5.6，将时间戳和基于眼部的眼皮边缘的坐标一一对应，得到眼皮边缘的运动轨迹。
第二方面，本发明实施例还提供了一种驾驶员疲劳监测预警系统，包括：第一处理模块，用于获取包含驾驶员面部图像的原始视频，按序从视频中读取出每帧图像，通过预处理模块对读取的每帧图像进行依次处理，得到对应的高分辨率图像；
第二处理模块，用于对于每张高分辨率图像，将所述高分辨率图像输入改进后的YOLOV7算法中检测出的眼球和眼皮边缘对应的多个目标框，以及目标框中的眼球和眼皮边缘的真实坐标；
第三处理模块，用于将每个目标框通过目标框解码的方法得到目标框的真实坐标，根据所述目标框的真实坐标，根据所述目标框的真实坐标将所述眼球和眼皮边缘的真实坐标进行坐标转换，得到基于眼部的眼球和眼皮边缘的坐标，根据基于眼部的眼皮边缘的坐标确定眼皮边缘运动轨迹，根据基于眼部的眼球的坐标确定眼球大小；
第四处理模块，用于将眼动仪收集的信息结合对应的时间戳，传入LSTM模型中获得眼球的运动轨迹；
第五处理模块，用于对驾驶员进行头部检测得到头部状态信息，通过车辆自身传感器和车载系统获得车辆状态信息；
第六处理模块，用于，根据眼皮边缘运动轨迹、眼球大小、眼球的运动轨迹融合得到眼部状态信息，将的眼部状态信息，头部状态信息和车辆状态信息融合后传入多信息融合检测模块，综合判段驾驶员的驾驶状态。
第三方面，本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所述驾驶员疲劳监测预警方法的步骤。
第四方面，本发明实施例还提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所述驾驶员疲劳监测预警方法的步骤。
第五方面，本发明实施例还提供了一种计算机程序产品，其上存储有可执行指令，该指令被处理器执行时使处理器实现第一方面所述驾驶员疲劳监测预警方法的步骤。
本发明达到的有益效果是：
1、通过设计预处理模块，快速准确地解决了图像噪声较大，光线不足，画质分辨率较低的问题。
2、通过改进的YOLOV7算法，提高了算法在图片分类的精确度及运行速度。
附图说明
图1是根据本发明提供的驾驶员疲劳监测预警方法的一个总体流程的示意图；
图2是预处理模块流程的示意图；
图3是CBS-SR模块的示意图；
图4是SPPCSPC-SR模块的示意图；
图5是Backbone-SR模块的示意图。
具体实施方式
下面结合附图对本发明的技术方案进行更详细的说明，本发明包括但不仅限于下述实施例。
请参阅图1，如图1所示，驾驶员疲劳监测预警方法包括以下步骤：
步骤1，获取包含驾驶员面部图像的原始视频，按序从视频中读取出每帧图像，通过预处理模块对读取的每帧图像进行依次处理，得到对应的高分辨率图像。
在行车过程中，由于车辆抖动，相机与驾驶员之间的相对运动，会造成难以避免的未对准问题，这些问题负面地影响算法检测的整体性能，所以需要通过预处理模块，快速准确地解决了图像噪声较大，光线不足，画质分辨率较低的问题。因此，在一些实施例中，通过预处理模块对对读取出的每帧图像进行处理，包括：
步骤1.1，对所述读取出的每帧图像分别进行尺寸归一化处理得到初级预处理图片。具体的，在获取包含驾驶员面部图像的原始视频，按序从视频中读取出每帧图像信息后，将读取出的每帧图像传入预处理模块，进行3x3简单卷积处理得到初级预处理图片。
步骤1.2，根据上述获取的初级预处理图片，分别进行多轮无噪声局部特征和非局部特征提取，并基于提取的特征进行对齐特征处理和基于参考的特征增强处理，得到对应的多张二级预处理图片(二级预处理图片中的特征信息比初级预处理图片中的特征信息更明显)。具体的，对获得的初级预处理图片进行多次(至少三次)连拍特征注意力机制(BurstFeature Attention)处理提取图片中局部无噪声特征和非局部无噪声特征之后，再进行对齐特征处理(Featurealignment)，并基于参考的特征增强(Reference Based FeatureEnrichment)方法来细化和巩固特征，得到多张二级预处理图片。
其中，对齐特征处理具体操作为：将经过连拍特征注意力机制(Burst FeatureAttention)的图片进行特征提取，然后采用RANSAC等算法将所提取的特征与专家库中原有的特征进行匹配，估计出单位型矩阵，并从中提取出对应的偏移量，根据偏移量对经过连拍特征注意力机制(Burst Feature Attention)的图片进行对齐特征处理。其中，连拍特征注意力机制是通过对序列中的每一帧应用注意力机制，计算相邻帧之间的权重分配，提取更准确的特征。
其中，基于参考的特征增强过程为：首先通过特征提取器提取目标图像和参考图像(参考图像是指与目标任务相关的其他图像)的特征。然后，通过计算目标图像和参考图像之间的相似性或关联性，确定参考图像对于目标图像的重要性。最后，将参考图像的特征与目标图像的特征进行融合，生成丰富的特征表示。根据上述获取的初级预处理图片，分别进行三轮无噪声局部特征和非局部特征提取，并基于提取的特征进行对齐特征处理和基于参考的特征增强处理，得到对应的多张二级预处理图片为例：
对获得的初级预处理图片进行三次连拍特征注意力机制(Burst FeatureAttention)处理提取初级预处理图片中的局部无噪声特征和非局部无噪声特征之后，再进行对齐特征处理(Featurealignment)，并基于参考的特征增强(Reference Based FeatureEnrichment)方法来细化和巩固特征，得到第三张二级预处理图片；
对获得的初级预处理图片进行两次连拍特征注意力机制(BurstFeatureAttention)处理提取图片中局部无噪声特征和非局部无噪声特征之后，再进行对齐特征处理(Featurealignment)，并基于参考的特征增强(Reference Based Feature Enrichment)方法来细化和巩固特征，得到第二张二级预处理图片；
对获得的初级预处理图片进行一次连拍特征注意力机制(Burst FeatureAttention)处理提取图片中局部无噪声特征和非局部无噪声特征之后，再进行对齐特征处理(Featurealignment)，并基于参考的特征增强(Reference Based Feature Enrichment)方法来细化和巩固特征，得到第一张二级预处理图片。
步骤1.3，对初级预处理图片进行对齐特征(Feature alignment)后，再进行连拍特征注意力机制(Burst Feature Attention)处理，获得三级预处理图片。步骤1.4，将多个二级预处理图片和三级预处理图片进行相加(图片的像素点一对一相加后得到一张图片)，并进行对齐特征和连拍特征注意力机制处理，然后依次进行自适应突发池化和一维平均池化处理，获得四级预处理图片。具体的，将步骤1.2和1.3处理后的图片进行相加，再进行对齐特征(Feature alignment)和连拍特征注意力机制(Burst Feature Attention)处理，巩固细化特征，然后，进行自适应突发池化(Adaptive Burst pooling)和一维平均池化(1Daverage pool)处理，将输入的突发帧数量变换为恒定数量，获得四级预处理图片。
步骤1.5，对于所述四级预处理图片，沿着特征维度，基于关键帧算法得到突发帧，从而以Z字形方式收集突发相邻帧，将收集的突发相邻帧通过突发特征融合单元进行融合，并基于无参考的特征增强方法整合所述突发相邻帧中可用的信息，得到五级预处理图片。突发相邻帧指相邻的两个突发帧之间的帧，突发帧是最具有重要信息或内容的帧。
其中，对于基于无参考的特征增强(No Reference Feature Enrichment)处理：直接相邻帧沿着特征维度和融合它们使用的突发特征融合单元(burst feature fusionunit)，进行特征融合。
其中，突发特征融合单元(burst feature fusion unit)的具体步骤有：
1)在突发特征融合单元中，首先结合给定当前帧和参考帧 其中，f是特征通道的数量，H×W是空间大小，对齐特征图/> 为参考帧的突发特征，获得特征映射连接关系图。
2)然后通过连拍特征注意力机制(Burst Feature Attention)对局部非局部上下文进行编码，其融合特征为：
其中，表示先前的状态特征向量；/>是扩展特征，表示先前的错误特征向量；/>表示突发特征的输入特征向量；W表示权重矩阵；
即通过将先前的错误特征向量和突发特征的输入特征向量进行线性组合，使用权重矩阵W进行加权融合，再加上先前的状态特征向量，最终得到突发特征融合单元的输出特征向量。
步骤1.6，将五级预处理图片进行上采样，输出最终的高分辨率图像，每帧图像对应一张高分辨率图像。
步骤2，对于每张高分辨率图像，将所述高分辨率图像输入改进后的YOLOV7算法中检测出的眼球和眼皮边缘对应的多个目标框，以及目标框中的眼球和眼皮边缘的真实坐标。眼球和眼皮边缘的真实坐标是相对于输入改进后的YOLOV7算法的高分辨率图像而言的。YOLOV7算法中包括Backbone模块和Head模块。其中Head模块包块SPPCSPC模块，SPPCSPC模块由多个CBS模块和最大池化层构成。CBS模块由一个卷积层，一个BN层(也就是Batchnormalization层)，还有一个Silu层，一个激活函数组成。Backbone模块包括多个CBS模块(多个CBS模块在Backbone模块的前端)。YOLOV7中有三种CBS模块，三种CBS模块他们的卷积核和步长互不相同。
由于YOLOV7算法主要用于对眼球和眼皮进行识别定位，均属于小目标对象，所以，将YOLOV7算法中的CBS模块改进为CBS-SR模块，得到改进的YOLOV7算法，具体的：(1)将SPPCSPC模块中，卷积核大小为1×1，步长为1的CBS模块优化成CBS-SR模块，并且添加多个CBS-SR模块，有利于增强特征表示；(2)对于Backbone模块的前端(即多个CBS模块)，在卷积核大小为3×3，步长为1的用来特征提取的CBS模块之后加入CBS-SR模块增强特征表示。另外，改进的YOLOV7算法中的对于SPPCSPC模块中的三个最大池化层Maxpooling5，Maxpooling9，Maxpooling13，改为两个：Maxpooling5，Maxpooling9。
参考图3,，CBS-SR模块组成分为两个支路：
一条支路为5层：卷积层，Batch normalization层，Silu层，Scale层，Add层；
一条支路为10层：卷积层，Batch normalization层，Silu层，global pooling层，Fully Connected(FC)层，ReLU层，Fully Connected层，Sigmoid层，Scale层，Add层。
用CBS-SR模块替换原来的CBS模块，简化了SPPCSPC模块,提高算法在图片分类的精确度及运行速度。
参考图4，改进后的SPPCSPC-SR模块分为两个支路，其中第一条支路为五层，第二条支路为九层：
第一条支路：
第一层为1x1的卷积的CBS，k＝1,s＝1，用来改变通道数；
第二层为3x3的卷积的CBS，k＝3,s＝1，用来特征提取；
第三层为CBS-SR，用来增强提取特征；
第四层为相加层，将第二条支路第八层输出和第一条支路第三层输出相加；
第五层将为1x1的卷积的CBS，k＝1,s＝1，用来改变相加结果后的通道数；
第二条支路：
第一层为1x1的卷积的CBS，k＝1,s＝1，用来改变通道数；
第二层为3x3的卷积的CBS，k＝3,s＝1，用来特征提取；
第三层为CBS-SR，用来增强提取特征；
第四层为池化层，由于本发明检测的目标均为小目标，所以将池化层数量进行删减，分别进行Maxpool5和Maxpool9两次操作即可；
第五层将第三层与第四层两次最大池化操作的结果相结合；
第六层为1x1的卷积的CBS，k＝1,s＝1，用来改变通道数；
第七层为3x3的卷积的CBS，k＝3,s＝1，用来特征提取；
第八层为CBS-SR，用来增强提取特征；
第九层为相加层，将第二条支路第八层输出和第一条支路第三层输出相加；
第十层将为1x1的卷积的CBS，k＝1,s＝1，用来改变相加结果后的通道数。
参考图5，改进后的YOLOV7算法的Backbone-SR模块结构为14层：
第一层为图片输入层；
第二层为3x3的卷积的CBS，k＝3,s＝1，用来特征提取；
第三层为3x3的卷积的CBS，k＝3,s＝2，用来下采样；
第四层为CBS-SR，用来增强提取特征；
第五层为3x3的卷积的CBS，k＝3,s＝1，用来特征提取；
第六层为3x3的卷积的CBS，k＝3,s＝2，用来下采样；
第七层为CBS-SR，用来增强提取特征；
第八层为ELAN模块，过控制最短和最长的梯度路径，使网络能够学习到更多的特征，并且具有更强的鲁棒性；
第九层为MP-1模块，作用是进行下采样，降低数据的复杂性，同时保留数据的关键特征；
第十层为ELAN模块，过控制最短和最长的梯度路径，使网络能够学习到更多的特征，并且具有更强的鲁棒性；
第十一层为MP-1模块，作用是进行下采样，降低数据的复杂性，同时保留数据的关键特征；
第十二层为ELAN模块，过控制最短和最长的梯度路径，使网络能够学习到更多的特征，并且具有更强的鲁棒性；
第十三层为MP-1模块，作用是进行下采样，降低数据的复杂性，同时保留数据的关键特征；
第十四层为ELAN模块，过控制最短和最长的梯度路径，使网络能够学习到更多的特征，并且具有更强的鲁棒性。
步骤3，将每个目标框通过目标框解码的方法得到目标框的真实坐标，根据所述目标框的真实坐标将所述眼球和眼皮边缘的真实坐标进行坐标转换，得到基于眼部的眼球和眼皮边缘的坐标，根据基于眼部的眼皮边缘的坐标确定眼皮边缘运动轨迹，根据基于眼部的眼球的坐标确定眼球大小。目标框的真实坐标是相对于输入改进后的YOLOV7算法的高分辨率图像而言的。
3.1对于每个目标框，判断目标框中是否存在目标，若存在，则计算其目标的类别置信度，类别置信度用来判断目标框中目标属于某个类别的置信度，若为所需检测目标才会将对应的目标框的坐标转换成真实坐标，否则不会。
判断目标框中是否存在目标的计算公式为：
式中，Pr(object)代表网格中包含某个检测目标的概率，表示预测框与真实标注框之间的比值。
类别置信度的公式为：
式中，i代表检测的类别数；Pr(object)表示网格中包含某个检测目标的概率，表示预测框与真实标注框之间的比值；Pr(Classi|object)表示该检测对象属于某个类别的概率。
3.2，若目标框中目标属于某个类别的置信度，且目标框中目标为所需检测的目标，则通过各个目标框的下方补充的网格单元(grid cell)的左上点坐标(cx,cy)和相对于目标框(prior,anchor)的offsets(tx,ty,tw,th)，计算目标框的中心坐标(x,y)和宽高(w,h)，下方补充的网格单元(grid cell)是检测对象符合要检测的种类的锚框中心点所在的网格单元。
根据相对于锚框中心点所在网格单元(grid cell)的左上角坐标(cx,cy)的偏移量(tx,ty)计算而来；(tx,ty,tw,th)表示预测框相对于锚框的偏移量。
x＝σ(tx)+cx
y＝σ(ty)+cy
tx,ty,tw,th表示预测的真实物体相对于锚框的偏移量；bw,bh表示预测框的宽高；pw,ph表示锚框的宽高；tw,th表示锚框的偏移量；σ(x)表示Sigmoid函数；
3.3，将目标框的中心坐标(x,y)和宽高(w,h)转换为左上角(xmin,xmax)和右下角(ymin,ymax)的坐标形式。
3.4，将目标框框的坐标从特征图空间转换为原始图像空间(xmin,xmax)和(ymin,ymax)，(xmin,xmax)和(ymin,ymax)是每个目标框的真实坐标。
xmin＝xmin*W xmax＝xmax*W
ymin＝ymin*H ymax＝ymax*H
式中，W，H表示原图与归一化之后的图片的比例。
3.5，根据所述目标框的真实坐标，将所述眼皮边缘的真实坐标进行坐标转换，得到基于眼部的眼皮边缘的坐标，将基于眼部的眼皮边缘的坐标结合对应的时间戳，传入LSTM模型中，确定眼皮边缘运动轨迹。
由于驾驶员疲劳驾驶时，眼皮会逐渐下移，所以将眼皮边缘作为特征序列，可以辅助判断驾驶员的驾驶状态。
在一些实施例中，改进后的YOLOV7识别出眼皮后，采用Canny边缘检测算法检测眼皮边缘关键点，根据关键点计算出眼皮的运动轨迹，包括：
3.5.1.将高分辨率图像转换为灰度图像。在不影响检测的情况下，减少参数量。
3.5.2.对灰度图像应用高斯滤波器，以平滑图像并减少噪声。
3.5.3.使用Sobel算子计算图像的梯度，以获取图像中每个像素的梯度幅值和方向。同时对梯度图像进行非最大抑制，以保留边缘的细节。
3.5.4.根据设定的阈值，然后通过使用OpenCV中的边缘跟踪算法(如HysteresisThresholding)来实现边缘跟踪。
3.5.5.在检测到的眼皮边缘上，使用适当的算法(如Hough变换)来检测眼皮边缘的关键点。
3.5.6.用眼皮边缘的关键点的坐标减去眼球的实际位置信息，计算出眼皮边缘关键点相对于眼睛的相对位置。
3.57对每一帧识别出眼皮的图像重复进行步骤3.5.1-3.5.6，将时间戳和基于眼部的眼皮边缘的坐标一一对应，得到眼皮边缘的运动轨迹。
3.6，根据所述目标框的真实坐标将所述眼球和眼皮边缘的真实坐标进行坐标转换，得到基于眼部的眼球的坐标，根据基于眼部的眼球的坐标确定眼球大小。
在一些实施例中，根据基于眼部的眼球的坐标确定眼球大小，包括：
(1)对改进后的YOLOV7算法识别出的眼球的图片(高分辨率图像)进行灰度处理，根据圆变化初步检测出眼球的圆形大小坐标为(x0,y0,r0)，即目标框中的眼球的真实坐标，再根据所述目标框的真实坐标将所述眼球和眼皮边缘的真实坐标进行坐标转换，得到基于眼部的眼球的坐标。
(2)改进后的YOLOV7算法识别出眼球后，基于轮廓匹配技术的Hough-Contour算法计算眼球中心位置和半径(基于眼部的眼球的坐标)，最终确定眼球的大小(x,y,r)。
(3)根据点遍历的结果，选出最优值，确定最终眼球的大小(x,y,r)。
步骤4，将眼动仪收集的信息结合对应的时间戳，传入LSTM模型中获得眼球的运动轨迹。直接使用眼动仪检测记录，获得相关眼动数据，例如：眼球位置，眼球运动速度，注视频率等参数，驾驶员疲劳驾驶时，这些参数也会发生明显变化，例如眼球位置逐渐下移，眼球长时间不动，注视频率加长等。
在一些实施例中，眼部状态信息包括眼球大小特征、眼球和眼皮边缘的运动轨迹(特征)。可以将眼部状态信息传入多变量时间序列模型中进行训练学习，来判断驾驶员的疲劳状态，其中，每帧对应的眼球的大小特征信息，眼皮边缘的运动信息特征和眼球的运动信息特征融合为眼部状态信息，传入多变量时间序列模型中进行训练学习，来判断驾驶员的疲劳状态。
步骤5，对驾驶员进行头部检测得到头部状态信息，通过车辆自身传感器和车载系统获得车辆状态信息；
其中，基于dlib开源库，使用Head Pose Estimation算法，通过对驾驶员进行头部检测，来检测驾驶员的点头程度，转头程度，摇头程度，得到头部状态信息，判断驾驶员的疲劳状态。
其中，通过车辆自身传感器和车载系统获得车辆偏离道路中心线角度，车辆晃动角度等行车参数，得到车辆状态信息，判断驾驶员的疲劳状态。
步骤6，根据眼皮边缘运动轨迹、眼球大小、眼球的运动轨迹融合得到眼部状态信息，将的眼部状态信息，头部状态信息和车辆状态信息融合后传入多信息融合检测模块，综合判段驾驶员的驾驶状态。
步骤7，若检测出驾驶员为疲劳状态时，则启动人机共驾模块，人机共驾模块用于：
1)播放警示提示音，询问车主是否处于疲劳状态并设置温馨提醒。
2)启动驾驶座振动提醒模式，振动系统安装在驾驶座的背部和坐垫下，使用一定的振动幅度对驾驶员起到提醒作用。
3)在车载显示屏上显示红色警示标志，并询问是否需要接管请求。
本发明还提供了一种驾驶员疲劳监测预警系统的一些实施例，这些系统实施例与图1所示的一些方法的实施例相对应，且该系统可以应用于各种电子设备中。
驾驶员疲劳监测预警系统，包括：
第一处理模块，用于获取包含驾驶员面部图像的原始视频，按序从视频中读取出每帧图像，通过预处理模块对读取的每帧图像进行依次处理，得到对应的高分辨率图像；
第二处理模块，用于对于每张高分辨率图像，将所述高分辨率图像输入改进后的YOLOV7算法中检测出的眼球和眼皮边缘对应的多个目标框，以及目标框中的眼球和眼皮边缘的真实坐标；
第三处理模块，用于将每个目标框通过目标框解码的方法得到目标框的真实坐标，根据所述目标框的真实坐标将所述眼球和眼皮边缘的真实坐标进行坐标转换，得到基于眼部的眼球和眼皮边缘的坐标，根据基于眼部的眼皮边缘的坐标确定眼皮边缘运动轨迹，根据基于眼部的眼球的坐标确定眼球大小；
第四处理模块，用于将眼动仪收集的信息结合对应的时间戳，传入LSTM模型中获得眼球的运动轨迹；
第五处理模块，用于对驾驶员进行头部检测得到头部状态信息，通过车辆自身传感器和车载系统获得车辆状态信息；
第六处理模块，用于，根据眼皮边缘运动轨迹、眼球大小、眼球的运动轨迹融合得到眼部状态信息，将的眼部状态信息，头部状态信息和车辆状态信息融合后传入多信息融合检测模块，综合判段驾驶员的驾驶状态。
可以理解的是，该系统中记载的各模块与参考图1描述的方法中的各个步骤相对应。由此，上文针对方法描述的操作、特征以及产生的有益效果同样适用于系统及其中包含的模块、单元，在此不再赘述。
另一方面，本发明还提供一种计算机程序产品，上述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，上述计算机程序包括程序指令，当上述程序指令被计算机执行时，计算机能够执行上述各方法所提供的驾驶员疲劳监测预警方法。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的驾驶员疲劳监测预警方法。
以上所描述的系统实施例仅仅是示意性的，其中上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分上述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (9)
1.一种驾驶员疲劳监测预警方法，其特征在于，所述方法包括：
步骤1，获取包含驾驶员面部图像的原始视频，按序从视频中读取出每帧图像，通过预处理模块对读取的每帧图像进行依次处理，得到对应的高分辨率图像；
步骤2，对于每张高分辨率图像，将所述高分辨率图像输入改进后的YOLOV7算法中检测出的眼球和眼皮边缘对应的多个目标框，以及目标框中的眼球和眼皮边缘的真实坐标；
步骤3，将每个目标框通过目标框解码的方法得到目标框的真实坐标，根据所述目标框的真实坐标将所述眼球和眼皮边缘的真实坐标进行坐标转换，得到基于眼部的眼球和眼皮边缘的坐标，根据基于眼部的眼皮边缘的坐标确定眼皮边缘运动轨迹，根据基于眼部的眼球的坐标确定眼球大小；
步骤4，将眼动仪收集的信息结合对应的时间戳，传入LSTM模型中获得眼球的运动轨迹；
步骤5，对驾驶员进行头部检测得到头部状态信息，通过车辆自身传感器和车载系统获得车辆状态信息；
步骤6，根据眼皮边缘运动轨迹、眼球大小、眼球的运动轨迹融合得到眼部状态信息，将的眼部状态信息，头部状态信息和车辆状态信息融合后传入多信息融合检测模块，综合判段驾驶员的驾驶状态。
2.根据权利要求1所述驾驶员疲劳监测预警方法，其特征在于，所述方法还包括：
步骤7，若检测出驾驶员为疲劳状态时，则启动人机共驾模块。
3.根据权利要求1所述驾驶员疲劳监测预警方法，其特征在于，步骤1包括：
步骤1.1，对所述读取出的每帧图像分别进行尺寸归一化处理得到初级预处理图片；
步骤1.2，根据上述获取的初级预处理图片，分别进行多轮无噪声局部特征和非局部特征提取，并基于提取的特征进行对齐特征处理和基于参考的特征增强处理，得到对应的多张二级预处理图片；
步骤1.3，对初级预处理图片进行对齐特征后，再进行连拍特征注意力机制处理，获得三级预处理图片；
步骤1.4，将多个二级预处理图片和三级预处理图片进行相加，并进行对齐特征和连拍特征注意力机制处理，然后依次进行自适应突发池化和一维平均池化处理，获得四级预处理图片；
步骤1.5，对于所述四级预处理图片，沿着特征维度，基于关键帧算法得到突发帧，从而以Z字形方式收集突发相邻帧，将收集的突发相邻帧通过突发特征融合单元进行融合，并基于无参考的特征增强方法整合所述突发相邻帧中可用的信息，得到五级预处理图片；
步骤1.6，将所述五级预处理图片进行上采样，输出最终的高分辨率图像，每帧图像对应一张高分辨率图像。
4.根据权利要求2所述驾驶员疲劳监测预警方法，其特征在于，将YOLOV7算法中CBS模块替换为CBS-SR模块得到改进后的YOLOV7算法。
5.一种根据权利要求4中所述驾驶员疲劳监测预警方法，其特征在于，步骤3包括：将基于眼部的眼皮边缘的坐标结合对应的时间戳，传入LSTM模型中，确定眼皮边缘运动轨迹。
6.一种根据权利要求4中所述驾驶员疲劳监测预警方法，其特征在于，步骤3包括：
3.5.1将高分辨率图像转换为灰度图像；
3.5.2.对灰度图像应用高斯滤波器进行滤波；
3.5.3.使用Sobel算子计算滤波后的图像的梯度，以获取图像中每个像素的梯度幅值和方向，同时对梯度图像进行非最大抑制，以保留边缘的细节；
3.5.4.根据设定的阈值，使用OpenCV中的边缘跟踪算法进行边缘跟踪；
3.5.5.在检测到的眼皮边缘上，使用Hough变换算法来检测眼皮边缘的关键点；
3.5.6.用眼皮边缘的关键点的坐标减去基于眼部的眼皮边缘的坐标，计算出眼皮边缘关键点相对于眼睛的相对位置；
3.5.7对每一帧识别出眼皮的图像重复进行步骤3.5.1-3.5.6，将时间戳和基于眼部的眼皮边缘的坐标一一对应，得到眼皮边缘的运动轨迹。
7.根据权利要求2所述驾驶员疲劳监测预警方法，其特征在于，步骤5包括：
基于dlib开源库，使用Head Pose Estimation算法，通过对驾驶员进行头部检测，得到头部状态信息；
通过车辆自身传感器和车载系统获得车辆偏离道路中心线角度，车辆晃动角度等行车参数，得到车辆状态信息。
8.一种驾驶员疲劳监测预警系统，其特征在于，包括：
第一处理模块，用于获取包含驾驶员面部图像的原始视频，按序从视频中读取出每帧图像，通过预处理模块对读取的每帧图像进行依次处理，得到对应的高分辨率图像；
第二处理模块，用于对于每张高分辨率图像，将所述高分辨率图像输入改进后的YOLOV7算法中检测出的眼球和眼皮边缘对应的多个目标框，以及目标框中的眼球和眼皮边缘的真实坐标；
第三处理模块，用于将每个目标框通过目标框解码的方法得到目标框的真实坐标，根据所述目标框的真实坐标，根据所述目标框的真实坐标将所述眼球和眼皮边缘的真实坐标进行坐标转换，得到基于眼部的眼球和眼皮边缘的坐标，根据基于眼部的眼皮边缘的坐标确定眼皮边缘运动轨迹，根据基于眼部的眼球的坐标确定眼球大小；
第四处理模块，用于将眼动仪收集的信息结合对应的时间戳，传入LSTM模型中获得眼球的运动轨迹；
第五处理模块，用于对驾驶员进行头部检测得到头部状态信息，通过车辆自身传感器和车载系统获得车辆状态信息；
第六处理模块，用于根据眼皮边缘运动轨迹、眼球大小、眼球的运动轨迹融合得到眼部状态信息，将的眼部状态信息，头部状态信息和车辆状态信息融合后传入多信息融合检测模块，综合判段驾驶员的驾驶状态。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述驾驶员疲劳监测预警方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311298870.7A CN117351648B (zh) | 2023-10-08 | 2023-10-08 | 一种驾驶员疲劳监测预警方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311298870.7A CN117351648B (zh) | 2023-10-08 | 2023-10-08 | 一种驾驶员疲劳监测预警方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117351648A true CN117351648A (zh) | 2024-01-05 |
| CN117351648B CN117351648B (zh) | 2024-06-25 |
Family
ID=89368536
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311298870.7A Active CN117351648B (zh) | 2023-10-08 | 2023-10-08 | 一种驾驶员疲劳监测预警方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117351648B (zh) |
Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101872171A (zh) * | 2009-04-24 | 2010-10-27 | 中国农业大学 | 基于信息融合的驾驶员疲劳状态识别方法和系统 |
| CN102509418A (zh) * | 2011-10-11 | 2012-06-20 | 东华大学 | 一种多传感信息融合的疲劳驾驶评估预警方法及装置 |
| CN105151049A (zh) * | 2015-08-27 | 2015-12-16 | 嘉兴艾特远信息技术有限公司 | 基于驾驶员脸部特征和车道偏离检测的预警系统 |
| KR20170035035A (ko) * | 2015-09-22 | 2017-03-30 | 홍정표 | 졸음운전 방지 장치 및 방법 |
| CN109886241A (zh) * | 2019-03-05 | 2019-06-14 | 天津工业大学 | 基于长短期记忆网络的驾驶员疲劳检测 |
| KR20200018838A (ko) * | 2018-08-13 | 2020-02-21 | 한국자동차연구원 | 위험 운전 방지 시스템 및 그 방법 |
| CN111105594A (zh) * | 2018-10-29 | 2020-05-05 | 长城汽车股份有限公司 | 车辆及驾驶员疲劳驾驶的识别方法、装置 |
| CN113313913A (zh) * | 2021-05-21 | 2021-08-27 | 合肥师范学院 | 一种汽车安全预警系统、加权预警方法 |
| US20210397861A1 (en) * | 2020-06-17 | 2021-12-23 | Fotonation Limited | Object detection for event cameras |
| CN114715033A (zh) * | 2022-04-18 | 2022-07-08 | 深圳市天赋新能源科技有限公司 | 一种基于人工智能的新能源电动车安全驾驶监控系统及方法 |
| CN115050012A (zh) * | 2022-06-13 | 2022-09-13 | 中山大学 | 基于轻量化模型的戴口罩驾驶员疲劳驾驶检测方法 |
| CN115346197A (zh) * | 2022-04-27 | 2022-11-15 | 重庆邮电大学 | 一种基于双向视频流的驾驶员分心行为识别方法 |
| CN115909400A (zh) * | 2022-11-14 | 2023-04-04 | 北京计算机技术及应用研究所 | 一种用于低分辨率监控场景中使用手机行为的识别方法 |
| CN116168508A (zh) * | 2022-05-20 | 2023-05-26 | 海南大学 | 一种人机共驾的驾驶疲劳检测及预警控制方法及装置 |
| CN116189269A (zh) * | 2023-03-15 | 2023-05-30 | 华南师范大学 | 一种多任务人脸检测方法、装置、电子设备及存储介质 |
| CN116385810A (zh) * | 2023-06-05 | 2023-07-04 | 江西农业大学 | 一种基于YOLOv7的小目标检测方法及系统 |
| CN116543433A (zh) * | 2023-04-17 | 2023-08-04 | 北京信息科技大学 | 一种基于改进YOLOv7模型的口罩佩戴检测方法和装置 |
| CN116704574A (zh) * | 2023-05-10 | 2023-09-05 | 南斗六星系统集成有限公司 | 基于yolov7的端到端多任务学习的疲劳驾驶检测方法和系统 |
-
2023
- 2023-10-08 CN CN202311298870.7A patent/CN117351648B/zh active Active
Patent Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101872171A (zh) * | 2009-04-24 | 2010-10-27 | 中国农业大学 | 基于信息融合的驾驶员疲劳状态识别方法和系统 |
| CN102509418A (zh) * | 2011-10-11 | 2012-06-20 | 东华大学 | 一种多传感信息融合的疲劳驾驶评估预警方法及装置 |
| CN105151049A (zh) * | 2015-08-27 | 2015-12-16 | 嘉兴艾特远信息技术有限公司 | 基于驾驶员脸部特征和车道偏离检测的预警系统 |
| KR20170035035A (ko) * | 2015-09-22 | 2017-03-30 | 홍정표 | 졸음운전 방지 장치 및 방법 |
| KR20200018838A (ko) * | 2018-08-13 | 2020-02-21 | 한국자동차연구원 | 위험 운전 방지 시스템 및 그 방법 |
| CN111105594A (zh) * | 2018-10-29 | 2020-05-05 | 长城汽车股份有限公司 | 车辆及驾驶员疲劳驾驶的识别方法、装置 |
| CN109886241A (zh) * | 2019-03-05 | 2019-06-14 | 天津工业大学 | 基于长短期记忆网络的驾驶员疲劳检测 |
| US20210397861A1 (en) * | 2020-06-17 | 2021-12-23 | Fotonation Limited | Object detection for event cameras |
| CN113313913A (zh) * | 2021-05-21 | 2021-08-27 | 合肥师范学院 | 一种汽车安全预警系统、加权预警方法 |
| CN114715033A (zh) * | 2022-04-18 | 2022-07-08 | 深圳市天赋新能源科技有限公司 | 一种基于人工智能的新能源电动车安全驾驶监控系统及方法 |
| CN115346197A (zh) * | 2022-04-27 | 2022-11-15 | 重庆邮电大学 | 一种基于双向视频流的驾驶员分心行为识别方法 |
| CN116168508A (zh) * | 2022-05-20 | 2023-05-26 | 海南大学 | 一种人机共驾的驾驶疲劳检测及预警控制方法及装置 |
| CN115050012A (zh) * | 2022-06-13 | 2022-09-13 | 中山大学 | 基于轻量化模型的戴口罩驾驶员疲劳驾驶检测方法 |
| CN115909400A (zh) * | 2022-11-14 | 2023-04-04 | 北京计算机技术及应用研究所 | 一种用于低分辨率监控场景中使用手机行为的识别方法 |
| CN116189269A (zh) * | 2023-03-15 | 2023-05-30 | 华南师范大学 | 一种多任务人脸检测方法、装置、电子设备及存储介质 |
| CN116543433A (zh) * | 2023-04-17 | 2023-08-04 | 北京信息科技大学 | 一种基于改进YOLOv7模型的口罩佩戴检测方法和装置 |
| CN116704574A (zh) * | 2023-05-10 | 2023-09-05 | 南斗六星系统集成有限公司 | 基于yolov7的端到端多任务学习的疲劳驾驶检测方法和系统 |
| CN116385810A (zh) * | 2023-06-05 | 2023-07-04 | 江西农业大学 | 一种基于YOLOv7的小目标检测方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| CHEN LIANG等: "Research on Railway Dispatcher Fatigue Detection Method Based on Deep Learning with Multi-Feature Fusion", 《ELECTRONICS》, vol. 12, no. 10, 19 May 2023 (2023-05-19) * |
| MA YUHUA等: "Driver identification and fatigue detection algorithm based on deep learning", 《MATHEMATICAL BIOSCIENCES AND ENGINEERING》, vol. 20, no. 5, 5 April 2023 (2023-04-05) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117351648B (zh) | 2024-06-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112132156B (zh) | 多深度特征融合的图像显著性目标检测方法及系统 | |
| CN111837156A (zh) | 利用神经网络进行图像分析、视点感知模式识别以及生成多视图车辆表示的车辆重识别技术 | |
| KR101845769B1 (ko) | Cnn을 이용한 자동차 후면 검출 시스템 및 그 방법 | |
| CN111274980B (zh) | 基于yolov3和非对称卷积的小尺寸交通标志识别方法 | |
| CN113255659B (zh) | 一种基于MSAFF-Yolov3的车牌校正检测识别方法 | |
| CN112990065B (zh) | 一种基于优化的YOLOv5模型的车辆分类检测方法 | |
| CN114418895A (zh) | 驾驶辅助方法及装置、车载设备及存储介质 | |
| CN113065645A (zh) | 孪生注意力网络、图像处理方法和装置 | |
| CN115861981A (zh) | 基于视频姿态不变性的驾驶员疲劳行为检测方法及系统 | |
| CN112613434A (zh) | 道路目标检测方法、装置及存储介质 | |
| CN115376108A (zh) | 一种复杂天气下障碍物检测方法及装置 | |
| CN116935361A (zh) | 一种基于深度学习的驾驶员分心行为检测方法 | |
| CN115880658A (zh) | 一种夜间场景下汽车车道偏离预警方法及系统 | |
| Zhang et al. | Attention-based neural network for driving environment complexity perception | |
| Liu et al. | SETR-YOLOv5n: A lightweight low-light lane curvature detection method based on fractional-order fusion model | |
| CN114596548A (zh) | 目标检测方法、装置、计算机设备及计算机可读存储介质 | |
| Zhang et al. | A quality index metric and method for online self-assessment of autonomous vehicles sensory perception | |
| CN115588188A (zh) | 一种机车、车载终端和驾驶员行为识别方法 | |
| CN117351648B (zh) | 一种驾驶员疲劳监测预警方法及系统 | |
| CN115953744A (zh) | 一种基于深度学习的车辆识别追踪方法 | |
| CN113255549B (zh) | 一种狼群围猎行为状态智能识别方法及系统 | |
| CN112446292B (zh) | 一种2d图像显著目标检测方法及系统 | |
| CN112633089A (zh) | 一种视频行人重识别方法、智能终端及存储介质 | |
| CN111985403B (zh) | 一种基于人脸姿态估计和视线偏离的分心驾驶检测方法 | |
| US20220012506A1 (en) | System and method of segmenting free space based on electromagnetic waves |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |