CN113491520A - 一种驾驶疲劳检测方法及装置 - Google Patents
一种驾驶疲劳检测方法及装置 Download PDFInfo
- Publication number
- CN113491520A CN113491520A CN202010263671.2A CN202010263671A CN113491520A CN 113491520 A CN113491520 A CN 113491520A CN 202010263671 A CN202010263671 A CN 202010263671A CN 113491520 A CN113491520 A CN 113491520A
- Authority
- CN
- China
- Prior art keywords
- driver
- passenger
- information
- heart rate
- facial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
- A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0062—Arrangements for scanning
- A61B5/0064—Body surface scanning
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/02405—Determining heart rate variability
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
- A61B5/0816—Measuring devices for examining respiratory frequency
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/168—Evaluating attention deficit, hyperactivity
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
- A61B5/6893—Cars
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Surgery (AREA)
- Molecular Biology (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Physiology (AREA)
- Cardiology (AREA)
- Psychiatry (AREA)
- Developmental Disabilities (AREA)
- Pulmonology (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Artificial Intelligence (AREA)
- Hospice & Palliative Care (AREA)
- Child & Adolescent Psychology (AREA)
- Educational Technology (AREA)
- Psychology (AREA)
- Social Psychology (AREA)
- Signal Processing (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明公开一种驾驶疲劳检测方法及装置，其中，驾驶疲劳检测方法包括：步骤S1，通过摄像头采集驾乘人员面部图像，通过毫米波雷达采集驾乘人员背部振动信息；步骤S2，对摄像头采集的驾乘人员面部图像进行图像处理，得到驾乘人员面部特征点信息；对毫米波雷达采集的驾乘人员背部振动信息进行信号处理，得到驾乘人员心率呼吸信息；步骤S3，将驾乘人员面部特征点信息和心率呼吸信息融合输入至训练好的LSTM神经网络模型中，得到驾驶疲劳检测结果。本发明分别利用摄像头采集驾乘人员面部信息，利用毫米波雷达采集驾乘人员心率呼吸信息，避免了仅使用摄像头时无法应对遮挡、光照变化和对环境变化敏感等问题，具有全天候工作能力。
Description
技术领域
本发明属于汽车技术领域，具体涉及一种驾驶疲劳检测方法及装置。
背景技术
驾驶疲劳是疲劳的一种特例，也是一种复杂的生理心理表现。驾驶疲劳分为生理疲劳和心理疲劳两个方面。生理疲劳是指驾乘人员长时间处于驾驶室固定位置导致血液流通不畅，进而引起肢体麻木，操作迟钝。心理疲劳则主要是指驾乘人员时刻观察车内外情况使得精神高度紧张，心理负荷加大，驾车时间过长后导致驾乘人员精神难以集中，思维反应变慢。如果驾乘人员在疲劳后仍然继续驾驶，这时由于驾乘人员注意力不集中、四肢乏力、判断力下降甚至是操作停顿，极易发生交通事故。由此看来，驾驶疲劳研究对提高驾驶安全性非常重要。
此外，对于当前迅速发展的智能驾驶来说，驾驶疲劳研究同样意义重大。在智能驾驶的发展阶段中，L3级别以下的辅助驾驶阶段和L3级别的人机共驾阶段都需要准确的驾乘人员状态检测来辅助驾驶权限的切换和驾驶意图的判别，疲劳检测是其中重要一环。准确判断驾乘人员疲劳状态，一方面可在由疲劳驾驶造成误操作时，辅助预测驾乘人员真实意图；另一方面可在检测到驾乘人员疲劳时，由机器介入执行驾驶控制，维持安全驾驶。
目前在驾乘人员疲劳检测中，常用的方法有基于主观评价的检测方法、基于生理信号的检测方法、基于生理反应特征的检测方法、基于操作行为及其车辆状态的检测方法和基于生物化学的检测方法等，这些驾乘人员疲劳检测方法都有其各自的优点和局限性。其中，基于生理反应特征的检测方法具有非接触，对驾乘人员干扰小(即侵入性低)的优点，并且随着近年来人工智能、机器视觉及相关硬件的发展和智能驾驶中驾乘人员状态检测的提出，依靠摄像头采集驾乘人员面部或眼部信息来进行疲劳检测的方法成为主流，但目前仍然存在以下问题：第一是其对外界环境变化敏感，例如光照变化、面部或眼部被遮挡、眼镜墨镜和驾乘人员脸部不在检测区域等；第二是其无法及时预警，驾乘人员面部或眼部特征变化明显的时候已经是驾驶疲劳相当晚的阶段，此时的车辆行驶状态也已到了很危险的状态。
发明内容
本发明实施例所要解决的技术问题在于，提供一种驾驶疲劳检测方法及装置，减小外界环境变化的影响，提高驾驶疲劳检测的准确性、鲁棒性和及时性。
为解决上述技术问题，本发明提供一种驾驶疲劳检测方法，包括：
步骤S1，通过摄像头采集驾乘人员面部图像，通过毫米波雷达采集驾乘人员背部振动信息；
步骤S2，对摄像头采集的驾乘人员面部图像进行图像处理，得到驾乘人员面部特征点信息；对毫米波雷达采集的驾乘人员背部振动信息进行信号处理，得到驾乘人员心率呼吸信息；
步骤S3，将驾乘人员面部特征点信息和心率呼吸信息融合输入至训练好的LSTM神经网络模型中，得到驾驶疲劳检测结果。
进一步地，所述步骤S2对摄像头采集的驾乘人员面部图像进行图像处理，得到的驾乘人员面部特征点信息包括眼部特征、嘴部特征、面部轮廓特征的68个人体面部特征点的信息，其数据形式为时间戳及其对应的面部图片、特征序号及其对应的在图像上的像素位置。
进一步地，所述步骤S2对毫米波雷达采集的驾乘人员背部振动信息进行信号处理，得到的驾乘人员心率及呼吸信息中，心率信息包括心率时间戳、心率均值以及由心率时间戳和心率均值转化成的心率变异性参数，呼吸信息包括呼吸时间戳、呼吸频率均值。
进一步地，所述LSTM神经网络模型的训练过程是：
通过摄像头采集驾乘人员面部图像，通过毫米波雷达采集驾乘人员背部振动信息；
对摄像头采集的驾乘人员面部图像进行图像处理，得到驾乘人员面部特征点信息；对毫米波雷达采集的驾乘人员背部振动信息进行信号处理，得到驾乘人员心率呼吸信息；
收集在采集驾乘人员面部图像和驾乘人员背部振动信息的对应时间段内的驾乘人员疲劳等级；
将驾乘人员面部特征点信息和驾乘人员心率呼吸信息作为输入数据，以对应时间段内的疲劳等级作为输出，训练得到所述LSTM神经网络模型。
进一步地，得出驾驶疲劳检测结果后，通过视觉和/或听觉的方式对驾乘人员进行提醒。
本发明还提供一种驾驶疲劳检测装置，包括：
摄像头，安装在车辆内部并位于驾乘人员前方，用于采集驾乘人员面部图像；
毫米波雷达，安装在驾乘人员座椅的椅背内部，用于采集驾乘人员背部振动信息；
计算平台，安装在车辆内部，与所述摄像头和毫米波雷达电连接，用于对摄像头采集的驾乘人员面部图像进行图像处理，得到驾乘人员面部特征点信息；对毫米波雷达采集的驾乘人员背部振动信息进行信号处理，得到驾乘人员心率呼吸信息；还将驾乘人员面部特征点信息和心率呼吸信息融合输入至训练好的LSTM神经网络模型中，得到驾驶疲劳检测结果。
进一步地，所述计算平台对摄像头采集的驾乘人员面部图像进行图像处理，得到的驾乘人员面部特征点信息包括眼部特征、嘴部特征、面部轮廓特征的68个人体面部特征点的信息，其数据形式为时间戳及其对应的面部图片、特征序号及其对应的在图像上的像素位置。
进一步地，所述计算平台对毫米波雷达采集的驾乘人员背部振动信息进行信号处理，得到的驾乘人员心率及呼吸信息中，心率信息包括心率时间戳、心率均值以及由心率时间戳和心率均值转化成的心率变异性参数，呼吸信息包括呼吸时间戳、呼吸频率均值。
进一步地，所述LSTM神经网络模型的训练过程是：
通过摄像头采集驾乘人员面部图像，通过毫米波雷达采集驾乘人员背部振动信息；
对摄像头采集的驾乘人员面部图像进行图像处理，得到驾乘人员面部特征点信息；对毫米波雷达采集的驾乘人员背部振动信息进行信号处理，得到驾乘人员心率呼吸信息；
收集在采集驾乘人员面部图像和驾乘人员背部振动信息的对应时间段内的驾乘人员疲劳等级；
将驾乘人员面部特征点信息和驾乘人员心率呼吸信息作为输入数据，以对应时间段内的疲劳等级作为输出，训练得到所述LSTM神经网络模型。
进一步地，所述驾驶疲劳检测装置，还包括显示屏，与所述计算平台电连接，用于根据驾驶疲劳检测结果，显示对驾乘人员进行提醒的信息。
实施本发明实施例，具有如下有益效果：分别利用摄像头采集驾乘人员面部信息，利用毫米波雷达采集驾乘人员心率呼吸信息，避免了仅使用摄像头时无法应对遮挡、光照变化和对环境变化敏感等问题，具有全天候工作能力；
采用基于毫米波雷达的方法采集驾乘人员心率及呼吸信息，具有非侵入性，车规级器材可量产和成本可控的优点；
融合了驾乘人员面部信息和身体生理信息，在提高驾驶疲劳检测的准确性、鲁棒性和及时性的同时，保留着低成本、低侵入性、高接受度的优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例一一种驾驶疲劳检测方法的流程示意图。
图2为本发明实施例一一种驾驶疲劳检测方法的具体流程示意图。
图3为本发明实施例实施驾驶疲劳检测的元件相互作用关系示意图。
具体实施方式
以下各实施例的说明是参考附图，用以示例本发明可以用以实施的特定实施例。
人体生理信息具有能真实反映身体疲劳状态和对早期疲劳敏感度高的优点，并随着毫米波雷达技术的发展，采集人体生理信息不再依赖于接触式的专业设备，更加便捷与高效。本发明实施例利用毫米波雷达采集的心率信息可与摄像头采集的面部信息进行融合，完成多源多特征信息融合的驾乘人员疲劳检测。
请参照图1所示，本发明实施例一提供一种驾驶疲劳检测方法，包括：
步骤S1，通过摄像头采集驾乘人员面部图像，通过毫米波雷达采集驾乘人员背部振动信息；
步骤S2，对摄像头采集的驾乘人员面部图像进行图像处理，得到驾乘人员面部特征点信息；对毫米波雷达采集的驾乘人员背部振动信息进行信号处理，得到驾乘人员心率呼吸信息；
步骤S3，将驾乘人员面部特征点信息和心率呼吸信息融合输入至训练好的LSTM神经网络模型中，得到驾驶疲劳检测结果。
具体地，请结合图2-图3所示，摄像头安装于驾乘人员前方合适位置，用于采集驾乘人员面部图像；毫米波雷达安装于驾乘人员座椅的椅背内部，用于采集驾乘人员的背部振动信息；计算平台安装于汽车内部合适位置；显示屏安装于汽车内部合适位置，用于实时显示驾驶疲劳检测结果。摄像头、毫米波雷达和显示屏通过相应数据线连接至计算平台上，计算平台对摄像头采集的驾乘人员面部图像进行图像处理，得到驾乘人员面部特征点信息；对毫米波雷达采集的驾乘人员背部振动信息进行信号处理，得到驾乘人员心率呼吸信息；再将驾乘人员面部特征点信息和心率呼吸信息融合输入至训练好的LSTM神经网络模型中，得到驾驶疲劳检测结果，输出至显示屏显示。
步骤S2对摄像头采集的驾乘人员面部图像进行图像处理，得到的驾乘人员面部特征点信息包括眼部特征、嘴部特征、面部轮廓特征等在内的68个人体面部特征点的信息，这些信息的数据形式为时间戳及其对应的面部图片、特征序号及其对应的在图像上的像素位置。对毫米波雷达采集的驾乘人员背部振动信息进行信号处理，得到的驾乘人员心率及呼吸信息中，心率信息包括心率时间戳、心率均值(Mean)以及由这些心率数据转化成的心率变异性参数(SDNN、RMSSD、SDSD、Total Power、VLF、LF、LF norm、HF、HF norm、LF/HF)，呼吸信息包括呼吸时间戳、呼吸频率均值。
步骤S3采用的LSTM(Long Short-Term Memory，长短期记忆)神经网络模型经过事先训练得到。作为一种示例，其具体训练过程如下：
首先设计疲劳实验，如步骤S1一样通过摄像头采集驾乘人员面部图像，通过毫米波雷达采集驾乘人员背部振动信息；再如步骤S2一样对摄像头采集的驾乘人员面部图像进行图像处理，得到驾乘人员面部特征点信息；对毫米波雷达采集的驾乘人员背部振动信息进行信号处理，得到驾乘人员心率呼吸信息；同时收集对应时间段内的驾乘人员疲劳等级(本实施例将疲劳等级分为三级：清醒、轻度疲劳、重度疲劳)。然后以这些驾乘人员面部特征点信息和驾乘人员心率呼吸信息作为输入数据，以对应时间的疲劳等级作为输出(label)训练LSTM网络，即可得到该LSTM神经网络模型。需要说明的是，遗忘门在LSTM网络中主要控制的是上一个时刻中的单元状态有多少保留到当前时刻，本实施例中单元状态是由输入门输入的数据——驾乘人员面部特征点信息和驾乘人员心率呼吸信息，保留的特征由LSTM网络内部决定。
本实施例采用LSTM神经网络模型的主要原因在于，LSTM神经网络具有长短时间记忆的能力，而人的疲劳状态并不能根据当前状态进行判断，人应该根据一段时间的数据趋势才能检测得出。相比于现有方案采用的模糊神经网络方法，本发明采用的LSTM神经网络模型能更好地利用时序性信息对驾驶疲劳做出更精确地检测。
得出驾驶疲劳检测结果后，可以通过视觉和/或听觉的方式对驾乘人员进行提醒。以视觉方式为例，将驾驶疲劳检测结果通过数据传输线输出到显示屏上，提醒驾乘人员安全驾驶。例如，当驾驶疲劳检测结果为重度疲劳的时候，显示屏将显示“请停车休息”；当驾驶疲劳检测结果为轻度疲劳的时候，显示屏将显示“请小心驾驶！”；当驾驶疲劳检测结果为清醒的时候，显示屏将显示“祝驾驶愉快！”。可以理解的是，提醒信息可以是文字，也可以是符号或图像，由厂商自由设计。目前大部分车辆均安装有中控显示屏，上述提醒信息可以在中控显示屏上实现。对于仪表盘也应用了液晶显示屏的车辆，上述提醒信息也可以在液晶仪表盘上实现，这样使得提醒更加直接。而听觉方式的提醒，可以是触发录制好的语音，或者以蜂鸣器的报警音实现。视觉和听觉的方式的提醒还可以同步实施，尤其对于驾驶疲劳检测结果为重度疲劳或轻度疲劳的情况，更能实时、直接地进行提醒。此外，为避免不必要的对驾驶过程的干扰，当驾驶疲劳检测结果为清醒的时候，也可以不做提醒。
相应于本发明实施例一的驾驶疲劳检测方法，本发明实施例二提供一种驾驶疲劳检测装置，包括：
摄像头，安装在车辆内部并位于驾乘人员前方，用于采集驾乘人员面部图像；
毫米波雷达，安装在驾乘人员座椅的椅背内部，用于采集驾乘人员背部振动信息；
计算平台，安装在车辆内部，与所述摄像头和毫米波雷达电连接，用于对摄像头采集的驾乘人员面部图像进行图像处理，得到驾乘人员面部特征点信息；对毫米波雷达采集的驾乘人员背部振动信息进行信号处理，得到驾乘人员心率呼吸信息；还将驾乘人员面部特征点信息和心率呼吸信息融合输入至训练好的LSTM神经网络模型中，得到驾驶疲劳检测结果。
进一步地，所述计算平台对摄像头采集的驾乘人员面部图像进行图像处理，得到的驾乘人员面部特征点信息包括眼部特征、嘴部特征、面部轮廓特征的68个人体面部特征点的信息，其数据形式为时间戳及其对应的面部图片、特征序号及其对应的在图像上的像素位置。
进一步地，所述计算平台对毫米波雷达采集的驾乘人员背部振动信息进行信号处理，得到的驾乘人员心率及呼吸信息中，心率信息包括心率时间戳、心率均值以及由心率时间戳和心率均值转化成的心率变异性参数，呼吸信息包括呼吸时间戳、呼吸频率均值。
进一步地，所述LSTM神经网络模型的训练过程是：
通过摄像头采集驾乘人员面部图像，通过毫米波雷达采集驾乘人员背部振动信息；
对摄像头采集的驾乘人员面部图像进行图像处理，得到驾乘人员面部特征点信息；对毫米波雷达采集的驾乘人员背部振动信息进行信号处理，得到驾乘人员心率呼吸信息；
收集在采集驾乘人员面部图像和驾乘人员背部振动信息的对应时间段内的驾乘人员疲劳等级；
将驾乘人员面部特征点信息和驾乘人员心率呼吸信息作为输入数据，以对应时间段内的疲劳等级作为输出，训练得到所述LSTM神经网络模型。
进一步地，所述驾驶疲劳检测装置，还包括显示屏，与所述计算平台电连接，用于根据驾驶疲劳检测结果，显示对驾乘人员进行提醒的信息。
有关本实施例的工作原理及过程，请参照本发明实施例一的说明，此处不再赘述。
实施本发明实施例，具有如下有益效果：
分别利用摄像头采集驾乘人员面部信息，利用毫米波雷达采集驾乘人员心率呼吸信息，避免了仅使用摄像头时无法应对遮挡、光照变化和对环境变化敏感等问题，具有全天候工作能力；
采用基于毫米波雷达的方法采集驾乘人员心率及呼吸信息，具有非侵入性，车规级器材可量产和成本可控的优点；
融合了驾乘人员面部信息和身体生理信息，在提高驾驶疲劳检测的准确性、鲁棒性和及时性的同时，保留着低成本、低侵入性、高接受度的优点。
以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。
Claims (10)
1.一种驾驶疲劳检测方法，其特征在于，包括：
步骤S1，通过摄像头采集驾乘人员面部图像，通过毫米波雷达采集驾乘人员背部振动信息；
步骤S2，对摄像头采集的驾乘人员面部图像进行图像处理，得到驾乘人员面部特征点信息；对毫米波雷达采集的驾乘人员背部振动信息进行信号处理，得到驾乘人员心率呼吸信息；
步骤S3，将驾乘人员面部特征点信息和心率呼吸信息融合输入至训练好的LSTM神经网络模型中，得到驾驶疲劳检测结果。
2.根据权利要求1所述的驾驶疲劳检测方法，其特征在于，所述步骤S2对摄像头采集的驾乘人员面部图像进行图像处理，得到的驾乘人员面部特征点信息包括眼部特征、嘴部特征、面部轮廓特征的68个人体面部特征点的信息，其数据形式为时间戳及其对应的面部图片、特征序号及其对应的在图像上的像素位置。
3.根据权利要求1所述的驾驶疲劳检测方法，其特征在于，所述步骤S2对毫米波雷达采集的驾乘人员背部振动信息进行信号处理，得到的驾乘人员心率及呼吸信息，心率信息包括心率时间戳、心率均值以及由心率时间戳和心率均值转化成的心率变异性参数，呼吸信息包括呼吸时间戳、呼吸频率均值。
4.根据权利要求1所述的驾驶疲劳检测方法，其特征在于，所述LSTM神经网络模型的训练过程是：
通过摄像头采集驾乘人员面部图像，通过毫米波雷达采集驾乘人员背部振动信息；
对摄像头采集的驾乘人员面部图像进行图像处理，得到驾乘人员面部特征点信息；对毫米波雷达采集的驾乘人员背部振动信息进行信号处理，得到驾乘人员心率呼吸信息；
收集在采集驾乘人员面部图像和驾乘人员背部振动信息的对应时间段内的驾乘人员疲劳等级；
将驾乘人员面部特征点信息和驾乘人员心率呼吸信息作为输入数据，以对应时间段内的疲劳等级作为输出，训练得到所述LSTM神经网络模型。
5.根据权利要求1-4任一项所述的驾驶疲劳检测方法，其特征在于，得出驾驶疲劳检测结果后，通过视觉和/或听觉的方式对驾乘人员进行提醒。
6.一种驾驶疲劳检测装置，其特征在于，包括：
摄像头，安装在车辆内部并位于驾乘人员前方，用于采集驾乘人员面部图像；
毫米波雷达，安装在驾乘人员座椅的椅背内部，用于采集驾乘人员背部振动信息；
计算平台，安装在车辆内部，与所述摄像头和毫米波雷达电连接，用于对摄像头采集的驾乘人员面部图像进行图像处理，得到驾乘人员面部特征点信息；对毫米波雷达采集的驾乘人员背部振动信息进行信号处理，得到驾乘人员心率呼吸信息；还将驾乘人员面部特征点信息和心率呼吸信息融合输入至训练好的LSTM神经网络模型中，得到驾驶疲劳检测结果。
7.根据权利要求6所述的驾驶疲劳检测装置，其特征在于，所述计算平台对摄像头采集的驾乘人员面部图像进行图像处理，得到的驾乘人员面部特征点信息包括眼部特征、嘴部特征、面部轮廓特征的68个人体面部特征点的信息，其数据形式为时间戳及其对应的面部图片、特征序号及其对应的在图像上的像素位置。
8.根据权利要求6所述的驾驶疲劳检测装置，其特征在于，所述计算平台对毫米波雷达采集的驾乘人员背部振动信息进行信号处理，得到的驾乘人员心率及呼吸信息中，心率信息包括心率时间戳、心率均值以及由心率时间戳和心率均值转化成的心率变异性参数，呼吸信息包括呼吸时间戳、呼吸频率均值。
9.根据权利要求6所述的驾驶疲劳检测装置，其特征在于，所述LSTM神经网络模型的训练过程是：
通过摄像头采集驾乘人员面部图像，通过毫米波雷达采集驾乘人员背部振动信息；
对摄像头采集的驾乘人员面部图像进行图像处理，得到驾乘人员面部特征点信息；对毫米波雷达采集的驾乘人员背部振动信息进行信号处理，得到驾乘人员心率呼吸信息；
收集在采集驾乘人员面部图像和驾乘人员背部振动信息的对应时间段内的驾乘人员疲劳等级；
将驾乘人员面部特征点信息和驾乘人员心率呼吸信息作为输入数据，以对应时间段内的疲劳等级作为输出，训练得到所述LSTM神经网络模型。
10.根据权利要求6-9任一项所述的驾驶疲劳检测装置，其特征在于，还包括显示屏，与所述计算平台电连接，用于根据驾驶疲劳检测结果，显示对驾乘人员进行提醒的信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010263671.2A CN113491520A (zh) | 2020-04-07 | 2020-04-07 | 一种驾驶疲劳检测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010263671.2A CN113491520A (zh) | 2020-04-07 | 2020-04-07 | 一种驾驶疲劳检测方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113491520A true CN113491520A (zh) | 2021-10-12 |
Family
ID=77995424
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010263671.2A Pending CN113491520A (zh) | 2020-04-07 | 2020-04-07 | 一种驾驶疲劳检测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113491520A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115294730A (zh) * | 2022-08-11 | 2022-11-04 | 深圳市锐驰曼科技发展有限公司 | 一种基于ai视频与毫米波雷达融合技术的疲劳驾驶监测系统 |
| WO2023241139A1 (zh) * | 2022-06-13 | 2023-12-21 | 中兴通讯股份有限公司 | 智能座舱控制方法、控制器、智能座舱以及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN204926416U (zh) * | 2015-08-14 | 2015-12-30 | 龙泉千成电子科技有限公司 | 防疲劳方向盘套 |
| CN206239402U (zh) * | 2016-07-29 | 2017-06-13 | 哈尔滨理工大学 | 一种基于dsp的汽车疲劳驾驶实时检测系统 |
| CN107697069A (zh) * | 2017-10-31 | 2018-02-16 | 上海汽车集团股份有限公司 | 汽车驾驶员疲劳驾驶智能控制方法 |
| CN109381220A (zh) * | 2017-08-11 | 2019-02-26 | 沈玮 | 车载非接触式心跳及呼吸感测系统 |
| CN109726771A (zh) * | 2019-02-27 | 2019-05-07 | 深圳市赛梅斯凯科技有限公司 | 异常驾驶检测模型建立方法、装置及存储介质 |
| CN109976726A (zh) * | 2019-03-20 | 2019-07-05 | 深圳市赛梅斯凯科技有限公司 | 车载边缘智能计算架构、方法、系统及存储介质 |
| CN110859609A (zh) * | 2019-11-26 | 2020-03-06 | 郑州迈拓信息技术有限公司 | 基于语音分析的多特征融合疲劳驾驶检测方法 |
-
2020
- 2020-04-07 CN CN202010263671.2A patent/CN113491520A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN204926416U (zh) * | 2015-08-14 | 2015-12-30 | 龙泉千成电子科技有限公司 | 防疲劳方向盘套 |
| CN206239402U (zh) * | 2016-07-29 | 2017-06-13 | 哈尔滨理工大学 | 一种基于dsp的汽车疲劳驾驶实时检测系统 |
| CN109381220A (zh) * | 2017-08-11 | 2019-02-26 | 沈玮 | 车载非接触式心跳及呼吸感测系统 |
| CN107697069A (zh) * | 2017-10-31 | 2018-02-16 | 上海汽车集团股份有限公司 | 汽车驾驶员疲劳驾驶智能控制方法 |
| CN109726771A (zh) * | 2019-02-27 | 2019-05-07 | 深圳市赛梅斯凯科技有限公司 | 异常驾驶检测模型建立方法、装置及存储介质 |
| CN109976726A (zh) * | 2019-03-20 | 2019-07-05 | 深圳市赛梅斯凯科技有限公司 | 车载边缘智能计算架构、方法、系统及存储介质 |
| CN110859609A (zh) * | 2019-11-26 | 2020-03-06 | 郑州迈拓信息技术有限公司 | 基于语音分析的多特征融合疲劳驾驶检测方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023241139A1 (zh) * | 2022-06-13 | 2023-12-21 | 中兴通讯股份有限公司 | 智能座舱控制方法、控制器、智能座舱以及存储介质 |
| CN115294730A (zh) * | 2022-08-11 | 2022-11-04 | 深圳市锐驰曼科技发展有限公司 | 一种基于ai视频与毫米波雷达融合技术的疲劳驾驶监测系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110276273B (zh) | 融合面部特征与图像脉搏心率估计的驾驶员疲劳检测方法 | |
| CN101574260B (zh) | 车载疲劳预警装置及方法 | |
| CN104013414B (zh) | 一种基于移动智能手机的驾驶员疲劳检测系统 | |
| Bergasa et al. | Real-time system for monitoring driver vigilance | |
| CN103927848A (zh) | 一种基于生物识别技术的安全驾驶辅助系统 | |
| CN102930693B (zh) | 安全驾驶预警方法 | |
| CN202142160U (zh) | 一种疲劳驾驶预警系统 | |
| Costa et al. | Detecting driver’s fatigue, distraction and activity using a non-intrusive ai-based monitoring system | |
| CN102881116A (zh) | 一种疲劳驾驶预警系统及方法 | |
| CN101593425A (zh) | 一种基于机器视觉的疲劳驾驶监控方法及系统 | |
| CN104318237A (zh) | 基于人脸识别的疲劳驾驶预警方法 | |
| CN209063895U (zh) | 多传感器信息融合的司机疲劳驾驶预警与主动干预系统 | |
| CN102098955A (zh) | 检测微入睡事件的方法和设备 | |
| CN113378771A (zh) | 驾驶员状态确定方法、装置、驾驶员监控系统、车辆 | |
| CN208126407U (zh) | 基于软硬件协同图像处理的防疲劳驾驶系统 | |
| CN113491520A (zh) | 一种驾驶疲劳检测方法及装置 | |
| Sankar et al. | Machine learning system for indolence perception | |
| CN112220480A (zh) | 基于毫米波雷达和相机融合的驾驶员状态检测系统及车辆 | |
| CN109953763A (zh) | 一种基于深度学习的车载驾驶行为检测预警系统及方法 | |
| CN101551934A (zh) | 驾驶员疲劳驾驶的监测装置及监测方法 | |
| CN108573210A (zh) | 一种疲劳驾驶报警方法及装置 | |
| Ma et al. | Real time drowsiness detection based on lateral distance using wavelet transform and neural network | |
| CN114652532B (zh) | 基于ssvep与注意力检测的多功能脑控轮椅系统 | |
| Li et al. | Fatigue driving detection system based on face feature | |
| Hyder et al. | The smart automobile (SAM): an application based on drowsiness detection, alcohol detection, vital sign monitoring and lane based auto drive to avoid accidents |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |