CN115439836B - 一种基于计算机的健康驾驶辅助方法及系统 - Google Patents
一种基于计算机的健康驾驶辅助方法及系统 Download PDFInfo
- Publication number
- CN115439836B CN115439836B CN202211397208.2A CN202211397208A CN115439836B CN 115439836 B CN115439836 B CN 115439836B CN 202211397208 A CN202211397208 A CN 202211397208A CN 115439836 B CN115439836 B CN 115439836B
- Authority
- CN
- China
- Prior art keywords
- driver
- state
- image
- emotional
- emotion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 22
- 230000002996 emotional effect Effects 0.000 claims abstract description 113
- 230000008451 emotion Effects 0.000 claims abstract description 51
- 230000001815 facial effect Effects 0.000 claims abstract description 48
- 238000001514 detection method Methods 0.000 claims abstract description 12
- 238000012545 processing Methods 0.000 claims description 15
- 238000000354 decomposition reaction Methods 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 6
- 210000001217 buttock Anatomy 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000001228 spectrum Methods 0.000 claims description 4
- 210000000689 upper leg Anatomy 0.000 claims description 4
- 238000012795 verification Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000035807 sensation Effects 0.000 claims description 3
- 206010039203 Road traffic accident Diseases 0.000 abstract description 5
- 230000006870 function Effects 0.000 description 11
- 230000002040 relaxant effect Effects 0.000 description 5
- 238000011161 development Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 241000023320 Luma <angiosperm> Species 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 241001282135 Poromitra oscitans Species 0.000 description 1
- 206010048232 Yawning Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/52—Scale-space analysis, e.g. wavelet analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Traffic Control Systems (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明涉及一种基于计算机的健康驾驶辅助方法及系统，包括以下步骤：实时采集驾驶员图像，并根据采集的驾驶员图像对驾驶员进行人脸检测，以得到驾驶员的面部特征；建立情绪表情库，将驾驶员的面部特征与情绪表情库进行比对，以识别当前驾驶员的情绪状态；若驾驶员的情绪状态为积极状态，则对驾驶员进行情绪舒缓，若驾驶员的情绪状态为消极状态，则对驾驶员进行疲劳检测，并进行情绪舒缓。本发明可以有效的帮助驾驶员调整情绪状态，且可以对驾驶员的不良驾驶状态进行预警，能够在一定程度上降低交通事故发生的几率，能够合理的辅助驾驶员进行健康驾驶。
Description
技术领域
本发明涉及大数据技术领域，尤其涉及一种基于计算机的健康驾驶辅助方法及系统。
背景技术
随着大数据技术的成熟，将大数据平台应用于各行各业已经成为了发展趋势，在智能交通系统的发展中，大数据技术同样不可或缺，合理的利用大数据处理平台，可以有效的解决海量交通流数据的分析和处理难题。
目前，随着社会经济的发展，车辆逐渐增多，交通事故也频繁发生，而驾驶员的因素时引发交通事故的主要原因，其中，驾驶员的状态可能会直接影响到驾驶员开车时的注意力。
但在现有技术中，对驾驶员的状态进行检测的方法，在复杂环境下往往无法准确对驾驶员的状态进行识别，且无法帮助驾驶员舒缓不良情绪，实用性不高。
发明内容
为了现有技术存在的上述技术缺陷，本发明提供了一种基于计算机的健康驾驶辅助方法及系统，可以有效解决背景技术中的问题。
为了解决上述技术问题，本发明提供的技术方案具体如下：
本发明实施例公开了一种基于计算机的健康驾驶辅助方法，包括以下步骤：
实时采集驾驶员图像，并根据采集的驾驶员图像对驾驶员进行人脸检测，以得到驾驶员的面部特征；
建立情绪表情库，将驾驶员的面部特征与情绪表情库进行比对，以识别当前驾驶员的情绪状态；
若驾驶员的情绪状态为积极状态，则对驾驶员进行情绪舒缓，若驾驶员的情绪状态为消极状态，则对驾驶员进行疲劳检测，并进行情绪舒缓。
在上述任一方案中优选的是，在车辆内设置图像采集装置，并通过所述图像采集装置实时采集驾驶员图像，通过以下步骤对采集的驾驶员图像进行人脸定位：
将采集的驾驶员图像进行色彩转换，使图像肤色点分布于YCrCb空间内；
通过函数
对图像肤色
点进行判别，并提取S(i,j)=1的肤色点，以生成驾驶员的面部图像；其中，S(i,j)为图像中
的肤色点。
在上述任一方案中优选的是，对驾驶员的面部图像进行处理，以得到驾驶员的眼部与嘴部区域；
眼部区域的筛选条件为
；xf与yf分别为驾驶员面部矩形框
的左上方原点坐标值；Wf与Hf分别为面部区域的宽与高；（x0,y0）为双眼矩形区域的左上角
坐标，We与He分别为眼部区域的宽与高；
嘴部区域的筛选条件为 
；xf与yf分别为驾驶员面部矩
形框的左上方原点坐标值；Wf与Hf分别为面部区域的宽与高；(x1，y1)为嘴部区域的左上角
坐标 ；Wm与Hm分别表示嘴部区域的宽与高。
在上述任一方案中优选的是，通过对驾驶员的眼部和嘴部进行特征识别，以判断驾驶员的当前情绪状态；驾驶员的情绪状态包括积极状态、消极状态和平稳状态，积极状态包括兴奋情绪和喜悦情绪，消极状态包括呆滞情绪、悲伤情绪和愤怒情绪。
在上述任一方案中优选的是，根据驾驶员的情绪状态预先对不同情绪状态下的人脸面部图像进行汇总，以建立情绪表情库，情绪表情库内存储有兴奋情绪面部图像集、喜悦情绪面部图像集、呆滞情绪面部图像集、悲伤情绪面部图像集、愤怒情绪面部图像集和平稳状态人脸图像集。
在上述任一方案中优选的是，通过以下步骤对驾驶员的情绪状态进行识别：
将情绪表情库内的图像进行处理，以得到图像的眼部与嘴部区域；
对驾驶员的面部图像预处理，进行一级小波变换分解，提取包含图像特征的子带图像，以去除图像中无关信息；
对子带图像频谱特征进行处理，去除低相应特征点，保留高辨识度的特征点，得到候选特征点集；
建立尺度空间，筛选候选特征点集中具有尺度不变性且精准稳定的ORB特征点；
通过Hamming距离将驾驶员的面部图像与情绪表情库内的图像进行特征匹配；
以匹配度最高的情绪表情库的图像情绪类别确定驾驶员的面部图像的情绪状态。
在上述任一方案中优选的是，设置识别周期，并以当前周期内驾驶员的面部图像的情绪状态确定驾驶员的情绪状态，当驾驶员的情绪状态为非平稳状态时，通过所述车载声音输出装置输出大数据音乐库内与驾驶员情绪状态相对应的曲目，直至驾驶员的情绪状态为平稳状态时，停止输出曲目。
在上述任一方案中优选的是，当驾驶员的情绪状态为消极状态时，根据驾驶员的嘴部区域图像进行可能疲劳驾驶状态判断，若判定驾驶员为可能疲劳驾驶状态，则对驾驶员进行可能疲劳驾驶验证，若验证为可能疲劳驾驶状态，则判定驾驶员为疲劳驾驶状态，若验证为非可能疲劳驾驶状态，则判定驾驶员为非疲劳驾驶状态；若判定为疲劳驾驶状态，则对驾驶员进行光感或语音提醒。
在上述任一方案中优选的是，通过以下步骤对驾驶员进行可能疲劳驾驶验证：
在驾驶员座椅上均匀设置若干压力传感器，对驾驶员大腿及臀部左右取对称采集
点，通过公式
计算压力分布不对称系数C(u)；式中，N为压力采集
点的总个数，PL为左侧压力传感器采集点的压力值，PR为右侧压力传感器采集点的压力值；
设置时间阈值T，若在T内，C(u)恒大于0.5，则表示驾驶员为可能疲劳驾驶状态，反之则表示驾驶员为非可能疲劳驾驶状态。
第二方面，一种基于计算机的健康驾驶辅助系统，所述系统包括：
采集模块，用于实时采集驾驶员图像，并根据采集的驾驶员图像对驾驶员进行人脸检测，以得到驾驶员的面部特征；
识别模块，用于建立情绪表情库，将驾驶员的面部特征与情绪表情库进行比对，以识别当前驾驶员的情绪状态；
判断模块，用于若驾驶员的情绪状态为积极状态，则对驾驶员进行情绪舒缓，若驾驶员的情绪状态为消极状态，则对驾驶员进行疲劳检测，并进行情绪舒缓。
与现有技术相比，本发明的有益效果：
本发明通过实时采集驾驶员图像，并根据采集的驾驶员图像对驾驶员进行人脸检测，以得到驾驶员的面部特征；建立情绪表情库，将驾驶员的面部特征与情绪表情库进行比对，以识别当前驾驶员的情绪状态；若驾驶员的情绪状态为积极状态，则对驾驶员进行情绪舒缓，若驾驶员的情绪状态为消极状态，则对驾驶员进行疲劳检测，并进行情绪舒缓；可以有效的帮助驾驶员调整情绪状态，且可以对驾驶员的不良驾驶状态进行预警，能够在一定程度上降低交通事故发生的几率，能够合理的辅助驾驶员进行健康驾驶。
附图说明
附图用于对本发明的进一步理解，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
图1是本发明基于计算机的健康驾驶辅助方法的流程图；
图2是本发明基于计算机的健康驾驶辅助系统的模块示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
需要说明的是，当元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件，它可以是直接连接到另一个元件或间接连接至该另一个元件上。
在本发明的描述中，需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
为了更好地理解上述技术方案，下面将结合说明书附图及具体实施方式对本发明技术方案进行详细说明。
如图1所示，本发明提供了一种基于计算机的健康驾驶辅助方法，所述方法包括以下步骤：
步骤1，实时采集驾驶员图像，并根据采集的驾驶员图像对驾驶员进行人脸检测，以得到驾驶员的面部特征。
具体的，在车辆内设置图像采集装置，并通过所述图像采集装置实时采集驾驶员图像，为消除所述图像采集装置在采集图像时可见光的影响，在本实施例中，通过中心波长为850nm的红外滤波摄像头和红外黑白摄像机获取驾驶员的图像。
进一步的，由于亚洲人群的肤色在YCrCb空间内的Cr和Cb值的范围为108≤Cb≤123和135≤Cr≤156，则通过以下步骤对采集的驾驶员图像进行人脸定位，其中YCrCb即YUV，主要用于优化彩色视频信号的传输，使其向后相容老式黑白电视，与RGB视频信号传输相比，它最大的优点在于只需占用极少的频宽(RGB要求三个独立的视频信号同时传输)，其中"Y"表示明亮度(Luminance或Luma)，也就是灰阶值;而"U"和"V" 表示的则是色度(Chrominance或Chroma)，作用是描述影像色彩及饱和度，用于指定像素的颜色，"亮度"是透过RGB输入信号来建立的，方法是将RGB信号的特定部分叠加到一起，"色度"则定义了颜色的两个方面─色调与饱和度，分别用Cr和Cb来表示，其中，Cr反映了RGB输入信号红色部分与RGB信号亮度值之间的差异，而Cb反映的是RGB输入信号蓝色部分与RGB信号亮度值之间的差异：
将采集的驾驶员图像进行色彩转换，使图像肤色点分布于YCrCb空间内；
通过函数
对图像肤色点进
行判别，并提取S(i,j)=1的肤色点，以生成驾驶员的面部图像；其中，S(i,j)为图像中的肤
色点。
进一步的，对驾驶员的面部图像进行处理，以得到驾驶员的眼部与嘴部区域；
眼部区域的筛选条件为
；xf与yf分别为驾驶员面部矩形框
的左上方原点坐标值；Wf与Hf分别为面部区域的宽与高；（x0,y0）为双眼矩形区域的左上角
坐标，We与He分别为眼部区域的宽与高；
嘴部区域的筛选条件为
；xf与yf分别为驾驶员面部矩形
框的左上方原点坐标值；Wf与Hf分别为面部区域的宽与高；(x1，y1)为嘴部区域的左上角坐
标 ；Wm与Hm分别表示嘴部区域的宽与高。
步骤2，建立情绪表情库，将驾驶员的面部特征与情绪表情库进行比对，以识别当前驾驶员的情绪状态。
具体的，由于在不同的情绪状态下，驾驶员的面部特征区别较大，通过对驾驶员的眼部和嘴部进行特征识别，以判断驾驶员的当前情绪状态；驾驶员的情绪状态包括积极状态、消极状态和平稳状态，其中，积极状态包括兴奋情绪和喜悦情绪，消极状态包括呆滞情绪、悲伤情绪和愤怒情绪。
进一步的，根据驾驶员的情绪状态预先对不同情绪状态下的人脸面部图像进行汇总，以建立情绪表情库，其中，情绪表情库内存储有兴奋情绪面部图像集、喜悦情绪面部图像集、呆滞情绪面部图像集、悲伤情绪面部图像集、愤怒情绪面部图像集和平稳状态人脸图像集。
进一步的，通过以下步骤对驾驶员的情绪状态进行识别：
将情绪表情库内的图像进行处理，以得到图像的眼部与嘴部区域；
对驾驶员的面部图像预处理，进行一级小波变换分解，提取包含图像特征的子带图像，以去除图像中无关信息；
对子带图像频谱特征进行处理，去除低相应特征点，保留高辨识度的特征点，得到候选特征点集；
建立尺度空间，筛选候选特征点集中具有尺度不变性且精准稳定的ORB特征点；
通过Hamming距离将驾驶员的面部图像与情绪表情库内的图像进行特征匹配；
以匹配度最高的情绪表情库的图像情绪类别确定驾驶员的面部图像的情绪状态。
进一步的，通过Haar小波函数对驾驶员的面部图像进行分解预处理，其中，Haar小
波为紧支集正交小波基函数，其定义式为：
；尺度函数为：
，其中，x均指代面部图像中的源频率信号；进而，通过Haar小波函数
分别对驾驶员的面部图像的行与列进行一级小波变换分解，得到面部图像的4个子带图像
LL，HL，LH，HH；将HL和LH叠加，得到面部图像的水平和垂直方向上的频谱特征。
进一步的，通过以下步骤对子带图像频谱特征进行处理：
根据公式
，对其变量求导得到尺度k下的小波母函数，由
小波母函数与图像函数的卷积运算得到图像在尺度k下的水平及垂直方向上的小波变换系
数；
由水平方向和垂直方向上的小波系数求得小波梯度向量，向量的模为该点的灰度强度；
通过小波分解后选取的子带图像上的任一点与其周围领域的梯度模值比较进行非极大值抑制，保留极大值点作为待定特征点；
设置固定灰度阈值，判断待定特征点的灰度值是否大于固定灰度阈值，若大于固定灰度阈值，则记为候选特征点，若小于固定灰度阈值，则将该点剔除。
进一步的，通过以下步骤建立尺度空间并筛选候选特征点集中具有尺度不变性且精准稳定的ORB特征点：
通过高斯核G(x,y,δ)对原图像S(x,y)进行尺度变换，得到不同尺度下的图像尺度
函数L(x,y,δ)=G(x,y,δ)×S(x,y)，通过公式
建立高斯金字塔和高斯
差分金字塔DOG，DOG为相邻两尺度空间函数之差，公式为：
，式中，k为同届金字塔中相邻两层的尺度
因子比例系数，δ为尺度因子，x、y分别指代原图像S（x,y）中的横坐标与纵坐标；
对图像进行小波变换处理后得到候选特征点集，在DOG金字塔空间内进行极值点检测，寻找局部极值点，对得到的极值点进行检验，去除不稳定的边缘相应，得到精准极值点的位置和尺度，其中，去除边缘极值点的方法为计算检测极值点的主曲率比值，将主曲率比值大于8的极值点剔除；
得到具有精确特征点后，利用灰度质心法求得特征点的主方向，通过BRIEF算子对特征点描述得到二值码串特征描述子，生成旋转不变性和尺度不变性的特征点。
步骤3，若驾驶员的情绪状态为积极状态，则对驾驶员进行情绪舒缓，若驾驶员的情绪状态为消极状态，则对驾驶员进行疲劳检测，并进行情绪舒缓。
具体的，由于音乐对人体心理可以产生导向作用，可以通过不同风格的音乐曲目对驾驶员的情绪状态进行引导，以实现舒缓驾驶员的情绪状态，使其情绪状态归为平稳状态。
进一步的，通过大数据汇总不同风格的曲目，以建立大数据音乐库，并通过车载声音输出装置输出大数据音乐库中的曲目；其中，大数据音乐库内存储有舒缓兴奋曲库、舒缓喜悦曲库、舒缓呆滞曲库、舒缓悲伤曲库和舒缓愤怒曲库。
进一步的，设置识别周期，并以当前周期内驾驶员的面部图像的情绪状态确定驾驶员的情绪状态，当驾驶员的情绪状态为非平稳状态时，通过所述车载声音输出装置输出大数据音乐库内与驾驶员情绪状态相对应的曲目，直至驾驶员的情绪状态为平稳状态时，停止输出曲目。
进一步的，由于当驾驶员的情绪状态为消极状态时，可能出现疲劳驾驶的情况，则当驾驶员的情绪状态为消极状态时，对驾驶员进行疲劳驾驶判定，若判定为疲劳驾驶状态，则对驾驶员进行光感或语音提醒。
进一步的，根据驾驶员的嘴部区域图像进行可能疲劳驾驶状态判断，若判定驾驶员为可能疲劳驾驶状态，则对驾驶员进行可能疲劳驾驶验证，若验证为可能疲劳驾驶状态，则判定驾驶员为疲劳驾驶状态，若验证为非可能疲劳驾驶状态，则判定驾驶员为非疲劳驾驶状态。
进一步的，根据驾驶员的嘴部区域图像进行可能疲劳驾驶状态判断包括以下步骤：
对嘴部区域图像通过二值化处理，将图像转换为灰度图像，优选的二值化阈值为0.4，得到嘴部二值化图像，并利用腐蚀处理，减少图像中非嘴部区域对检测的干扰。
对二值图进行连通区域标记，比较各区域的面积大小，选择面积最大区域为嘴部连通域，该面积由区域内的白色像素个数表示；采用sobel边缘检测算法提取连通域边缘，计算对应边缘的周长，即边缘像素点个数。
通过公式 
计算嘴部二值区域的圆形度e，判断嘴部的张开或闭合；其
中 e∈[0，1]，A为面积；P为周长；当 e<0.5时，嘴部处于闭合状态；当0.5<e<0.8时，嘴部处
于正常张开状态(如说话等情况)；当e>0.8时，嘴部处于打哈欠状态。
通过公式
，优选的T为10s，当F≥0.2，则判定驾
驶员为可能疲劳驾驶状态。
进一步的，通过以下步骤对驾驶员进行可能疲劳驾驶验证：
在驾驶员座椅上均匀设置若干压力传感器，对驾驶员大腿及臀部左右取对称采集
点，通过公式 
计算压力分布不对称系数C(u)；其中，N为压力采
集点的总个数，PL为左侧压力传感器采集点的压力值，PR为右侧压力传感器采集点的压力
值；
设置时间阈值T，若在T内，C(u)恒大于0.5，则表示驾驶员为可能疲劳驾驶状态，反之则表示驾驶员为非可能疲劳驾驶状态。
如图2所示，本发明还提供了一种基于计算机的健康驾驶辅助系统，所述系统包括：
采集模块，用于实时采集驾驶员图像，并根据采集的驾驶员图像对驾驶员进行人脸检测，以得到驾驶员的面部特征；
识别模块，用于建立情绪表情库，将驾驶员的面部特征与情绪表情库进行比对，以识别当前驾驶员的情绪状态；
判断模块，用于若驾驶员的情绪状态为积极状态，则对驾驶员进行情绪舒缓，若驾驶员的情绪状态为消极状态，则对驾驶员进行疲劳检测，并进行情绪舒缓。
与现有技术相比，本发明的有益效果是：
本发明通过实时采集驾驶员图像，并根据采集的驾驶员图像对驾驶员进行人脸检测，以得到驾驶员的面部特征；建立情绪表情库，将驾驶员的面部特征与情绪表情库进行比对，以识别当前驾驶员的情绪状态；若驾驶员的情绪状态为积极状态，则对驾驶员进行情绪舒缓，若驾驶员的情绪状态为消极状态，则对驾驶员进行疲劳检测，并进行情绪舒缓；可以有效的帮助驾驶员调整情绪状态，且可以对驾驶员的不良驾驶状态进行预警，能够在一定程度上降低交通事故发生的几率，能够合理的辅助驾驶员进行健康驾驶。
以上仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (6)
1.一种基于大数据的健康驾驶辅助方法，其特征在于：包括以下步骤：
实时采集驾驶员图像，并根据采集的驾驶员图像对驾驶员进行人脸检测，以得到驾驶员的面部特征；包括对驾驶员的面部图像进行处理，以得到驾驶员的眼部与嘴部区域；
眼部区域的筛选条件为
；xf与yf分别为驾驶员面部矩形框的左上方原点坐标值；Wf与Hf分别为面部区域的宽与高；（x0,y0）为双眼矩形区域的左上角坐标，We与He分别为眼部区域的宽与高；
嘴部区域的筛选条件为
；xf与yf分别为驾驶员面部矩形框的左上方原点坐标值；Wf与Hf分别为面部区域的宽与高；(x1，y1)为嘴部区域的左上角坐标 ；Wm与Hm分别表示嘴部区域的宽与高；
建立情绪表情库，将驾驶员的面部特征与情绪表情库进行比对，以识别当前驾驶员的情绪状态，包括通过对驾驶员的眼部和嘴部进行特征识别，以判断驾驶员的当前情绪状态；驾驶员的情绪状态包括积极状态、消极状态和平稳状态，积极状态包括兴奋情绪和喜悦情绪，消极状态包括呆滞情绪、悲伤情绪和愤怒情绪；
若驾驶员的情绪状态为积极状态，则对驾驶员进行情绪舒缓，若驾驶员的情绪状态为消极状态，则对驾驶员进行疲劳检测，并进行情绪舒缓；包括当驾驶员的情绪状态为消极状态时，根据驾驶员的嘴部区域图像进行可能疲劳驾驶状态判断，若判定驾驶员为可能疲劳驾驶状态，则对驾驶员进行可能疲劳驾驶验证，若验证为可能疲劳驾驶状态，则判定驾驶员为疲劳驾驶状态，若验证为非可能疲劳驾驶状态，则判定驾驶员为非疲劳驾驶状态；若判定为疲劳驾驶状态，则对驾驶员进行光感或语音提醒；
通过以下步骤对驾驶员进行可能疲劳驾驶验证：
在驾驶员座椅上均匀设置若干压力传感器，对驾驶员大腿及臀部左右取对称采集点，通过公式
计算压力分布不对称系数C(u)；式中，N为压力采集点的总个数，PL为左侧压力传感器采集点的压力值，PR为右侧压力传感器采集点的压力值；
设置时间阈值T，若在T内，C(u)恒大于0.5，则表示驾驶员为可能疲劳驾驶状态，反之则表示驾驶员为非可能疲劳驾驶状态。
2.根据权利要求1所述的基于大数据的健康驾驶辅助方法，其特征在于：在车辆内设置图像采集装置，并通过所述图像采集装置实时采集驾驶员图像，通过以下步骤对采集的驾驶员图像进行人脸定位：
将采集的驾驶员图像进行色彩转换，使图像肤色点分布于YCrCb空间内；
通过函数
对图像肤色点进行判别，并提取S(i,j)=1的肤色点，以生成驾驶员的面部图像；其中，S(i,j)为图像中的肤色点。
3.根据权利要求2所述的基于大数据的健康驾驶辅助方法，其特征在于：根据驾驶员的情绪状态预先对不同情绪状态下的人脸面部图像进行汇总，以建立情绪表情库，情绪表情库内存储有兴奋情绪面部图像集、喜悦情绪面部图像集、呆滞情绪面部图像集、悲伤情绪面部图像集、愤怒情绪面部图像集和平稳状态人脸图像集。
4.根据权利要求3所述的基于大数据的健康驾驶辅助方法，其特征在于：通过以下步骤对驾驶员的情绪状态进行识别：
将情绪表情库内的图像进行处理，以得到图像的眼部与嘴部区域；
对驾驶员的面部图像预处理，进行一级小波变换分解，提取包含图像特征的子带图像，以去除图像中无关信息；
对子带图像频谱特征进行处理，去除低相应特征点，保留高辨识度的特征点，得到候选特征点集；
建立尺度空间，筛选候选特征点集中具有尺度不变性且精准稳定的ORB特征点；
通过Hamming距离将驾驶员的面部图像与情绪表情库内的图像进行特征匹配；
以匹配度最高的情绪表情库的图像情绪类别确定驾驶员的面部图像的情绪状态。
5.根据权利要求4所述的基于大数据的健康驾驶辅助方法，其特征在于：设置识别周期，并以当前周期内驾驶员的面部图像的情绪状态确定驾驶员的情绪状态，当驾驶员的情绪状态为非平稳状态时，通过车载声音输出装置输出大数据音乐库内与驾驶员情绪状态相对应的曲目，直至驾驶员的情绪状态为平稳状态时，停止输出曲目。
6.一种基于大数据的健康驾驶辅助系统，其特征在于：所述系统包括：
采集模块，用于实时采集驾驶员图像，并根据采集的驾驶员图像对驾驶员进行人脸检测，以得到驾驶员的面部特征；包括对驾驶员的面部图像进行处理，以得到驾驶员的眼部与嘴部区域；
眼部区域的筛选条件为
；xf与yf分别为驾驶员面部矩形框的左上方原点坐标值；Wf与Hf分别为面部区域的宽与高；（x0,y0）为双眼矩形区域的左上角坐标，We与He分别为眼部区域的宽与高；
嘴部区域的筛选条件为
；xf与yf分别为驾驶员面部矩形框的左上方原点坐标值；Wf与Hf分别为面部区域的宽与高；(x1，y1)为嘴部区域的左上角坐标 ；Wm与Hm分别表示嘴部区域的宽与高；
识别模块，用于建立情绪表情库，将驾驶员的面部特征与情绪表情库进行比对，以识别当前驾驶员的情绪状态，包括通过对驾驶员的眼部和嘴部进行特征识别，以判断驾驶员的当前情绪状态；驾驶员的情绪状态包括积极状态、消极状态和平稳状态，积极状态包括兴奋情绪和喜悦情绪，消极状态包括呆滞情绪、悲伤情绪和愤怒情绪；
判断模块，用于若驾驶员的情绪状态为积极状态，则对驾驶员进行情绪舒缓，若驾驶员的情绪状态为消极状态，则对驾驶员进行疲劳检测，并进行情绪舒缓；包括当驾驶员的情绪状态为消极状态时，根据驾驶员的嘴部区域图像进行可能疲劳驾驶状态判断，若判定驾驶员为可能疲劳驾驶状态，则对驾驶员进行可能疲劳驾驶验证，若验证为可能疲劳驾驶状态，则判定驾驶员为疲劳驾驶状态，若验证为非可能疲劳驾驶状态，则判定驾驶员为非疲劳驾驶状态；若判定为疲劳驾驶状态，则对驾驶员进行光感或语音提醒；
通过以下步骤对驾驶员进行可能疲劳驾驶验证：
在驾驶员座椅上均匀设置若干压力传感器，对驾驶员大腿及臀部左右取对称采集点，通过公式
计算压力分布不对称系数C(u)；式中，N为压力采集点的总个数，PL为左侧压力传感器采集点的压力值，PR为右侧压力传感器采集点的压力值；
设置时间阈值T，若在T内，C(u)恒大于0.5，则表示驾驶员为可能疲劳驾驶状态，反之则表示驾驶员为非可能疲劳驾驶状态。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211397208.2A CN115439836B (zh) | 2022-11-09 | 2022-11-09 | 一种基于计算机的健康驾驶辅助方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211397208.2A CN115439836B (zh) | 2022-11-09 | 2022-11-09 | 一种基于计算机的健康驾驶辅助方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115439836A CN115439836A (zh) | 2022-12-06 |
| CN115439836B true CN115439836B (zh) | 2023-02-07 |
Family
ID=84253114
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211397208.2A Active CN115439836B (zh) | 2022-11-09 | 2022-11-09 | 一种基于计算机的健康驾驶辅助方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115439836B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115713754B (zh) * | 2022-12-16 | 2023-10-03 | 吉林大学 | 基于驾驶员恐惧情绪识别的分阶段分级干预的方法及系统 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106627589A (zh) * | 2016-12-27 | 2017-05-10 | 科世达（上海）管理有限公司 | 一种车辆行驶安全辅助方法、系统及车辆 |
| CN108053615A (zh) * | 2018-01-10 | 2018-05-18 | 山东大学 | 基于微表情的驾驶员疲劳驾驶状态检测方法 |
| CN110472511A (zh) * | 2019-07-19 | 2019-11-19 | 河海大学 | 一种基于计算机视觉的驾驶员状态监测装置 |
| CN111310552A (zh) * | 2018-12-11 | 2020-06-19 | 通用电气航空系统有限公司 | 评估飞行员情绪状态的方法 |
| CN111460950A (zh) * | 2020-03-25 | 2020-07-28 | 西安工业大学 | 自然驾驶通话行为中基于头-眼证据融合的认知分心方法 |
| WO2020226696A1 (en) * | 2019-12-05 | 2020-11-12 | Huawei Technologies Co. Ltd. | System and method of generating a video dataset with varying fatigue levels by transfer learning |
| CN112562267A (zh) * | 2020-11-27 | 2021-03-26 | 深圳腾视科技有限公司 | 车载安全机器人和安全驾驶辅助方法 |
| CN113033503A (zh) * | 2021-05-14 | 2021-06-25 | 哈尔滨理工大学 | 一种多特征融合的危险驾驶行为检测方法及系统 |
| CN114092922A (zh) * | 2021-11-16 | 2022-02-25 | 金陵科技学院 | 一种基于特异性的驾驶员情绪识别及行为干预方法 |
| CN114255568A (zh) * | 2020-09-22 | 2022-03-29 | 深圳市鑫鸿源业科技有限公司 | 一种驾驶员疲劳检测系统 |
| CN114701504A (zh) * | 2022-03-29 | 2022-07-05 | 重庆长安汽车股份有限公司 | 一种驾驶员疲劳驾驶检测装置及方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109829409A (zh) * | 2019-01-23 | 2019-05-31 | 深兰科技（上海）有限公司 | 驾驶员情绪状态检测方法及系统 |
| CN115376508A (zh) * | 2022-06-22 | 2022-11-22 | 上海爱乐克智能科技有限公司 | 一种根据驾驶员情绪状态切换的车载语音交互系统及方法 |
-
2022
- 2022-11-09 CN CN202211397208.2A patent/CN115439836B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106627589A (zh) * | 2016-12-27 | 2017-05-10 | 科世达（上海）管理有限公司 | 一种车辆行驶安全辅助方法、系统及车辆 |
| CN108053615A (zh) * | 2018-01-10 | 2018-05-18 | 山东大学 | 基于微表情的驾驶员疲劳驾驶状态检测方法 |
| CN111310552A (zh) * | 2018-12-11 | 2020-06-19 | 通用电气航空系统有限公司 | 评估飞行员情绪状态的方法 |
| CN110472511A (zh) * | 2019-07-19 | 2019-11-19 | 河海大学 | 一种基于计算机视觉的驾驶员状态监测装置 |
| WO2020226696A1 (en) * | 2019-12-05 | 2020-11-12 | Huawei Technologies Co. Ltd. | System and method of generating a video dataset with varying fatigue levels by transfer learning |
| CN111460950A (zh) * | 2020-03-25 | 2020-07-28 | 西安工业大学 | 自然驾驶通话行为中基于头-眼证据融合的认知分心方法 |
| CN114255568A (zh) * | 2020-09-22 | 2022-03-29 | 深圳市鑫鸿源业科技有限公司 | 一种驾驶员疲劳检测系统 |
| CN112562267A (zh) * | 2020-11-27 | 2021-03-26 | 深圳腾视科技有限公司 | 车载安全机器人和安全驾驶辅助方法 |
| CN113033503A (zh) * | 2021-05-14 | 2021-06-25 | 哈尔滨理工大学 | 一种多特征融合的危险驾驶行为检测方法及系统 |
| CN114092922A (zh) * | 2021-11-16 | 2022-02-25 | 金陵科技学院 | 一种基于特异性的驾驶员情绪识别及行为干预方法 |
| CN114701504A (zh) * | 2022-03-29 | 2022-07-05 | 重庆长安汽车股份有限公司 | 一种驾驶员疲劳驾驶检测装置及方法 |
Non-Patent Citations (6)
| Title |
|---|
| Driver Fatigue Expression Recognition Research Based on Convolutional Neural Network;Mengtao Huang等;《2018 International Symposium on Computer, Consumer and Control (IS3C)》;20190221;第6-9页 * |
| 人脸检测系统的SoPC设计;孙莹涛等;《电子设计应用》;20061115(第11期);第95-96页 * |
| 基于人脸关键点检测的车载疲劳驾驶系统研究;王小荣等;《无线互联科技》;20220910;第19卷(第17期);第82-84页 * |
| 基于危机干预模式的交通事故案件调解的结果评估;李慧;《国际公关》;20210415(第4期);第70-71页 * |
| 用于驾驶疲劳检测研究的座椅压力分布采集系统研发;刘斌;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》;20180115(第1期);第C035-224页 * |
| 结合人脸监测和压力测量的驾驶员疲劳状态检测;张正本等;《电脑知识与技术》;20180705;第14卷(第19期);第288-289页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115439836A (zh) | 2022-12-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109740478B (zh) | 车辆检测及识别方法、装置、计算机设备及可读存储介质 | |
| EP2575077B1 (en) | Road sign detecting method and road sign detecting apparatus | |
| CN112381775B (zh) | 一种图像篡改检测方法、终端设备及存储介质 | |
| US6961466B2 (en) | Method and apparatus for object recognition | |
| WO2018216629A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
| US9721173B2 (en) | Machine learning approach for detecting mobile phone usage by a driver | |
| US10445602B2 (en) | Apparatus and method for recognizing traffic signs | |
| CN111553214B (zh) | 一种驾驶员吸烟行为检测方法及系统 | |
| Shopa et al. | Traffic sign detection and recognition using OpenCV | |
| CN107315990B (zh) | 一种基于xcs-lbp特征的行人检测算法 | |
| CN115439836B (zh) | 一种基于计算机的健康驾驶辅助方法及系统 | |
| CN109255326A (zh) | 一种基于多维信息特征融合的交通场景烟雾智能检测方法 | |
| Babbar et al. | A new approach for vehicle number plate detection | |
| CN115984550A (zh) | 一种眼睛虹膜色素斑纹理自动分割方法 | |
| Reddy et al. | A Deep Learning Model for Traffic Sign Detection and Recognition using Convolution Neural Network | |
| CN115690887A (zh) | 一种基于多模态网络的驾驶员情绪智能识别的方法 | |
| KR101620425B1 (ko) | 주변 환경 정보를 이용한 차선 인식 시스템 및 그 방법 | |
| Yusuf et al. | Human face detection using skin color segmentation and watershed algorithm | |
| CN117409396A (zh) | 一种多模态情绪识别方法、系统、设备及介质 | |
| CN116935278A (zh) | 基于同步信号的车型识别方法、装置、电子设备及介质 | |
| CN108647679B (zh) | 一种基于车窗粗定位的车标识别方法 | |
| Phu et al. | Traffic sign recognition system using feature points | |
| CN112418085B (zh) | 一种部分遮挡工况下的面部表情识别方法 | |
| CN114170431A (zh) | 一种基于边缘特征的复杂场景车架号识别方法及设备 | |
| Ghimire et al. | A lighting insensitive face detection method on color images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240620 Address after: 230000 floor 1, building 2, phase I, e-commerce Park, Jinggang Road, Shushan Economic Development Zone, Hefei City, Anhui Province Patentee after: Dragon totem Technology (Hefei) Co.,Ltd. Country or region after: China Address before: No. 818, Da'an Road, Zhengxing Town, Tianfu New District, Chengdu, Sichuan 610218 Patentee before: CHENGDU VOCATIONAL & TECHNICAL College OF INDUSTRY Country or region before: China |
|
| TR01 | Transfer of patent right |