CN101593352A - 基于面部朝向和视觉焦点的驾驶安全监测系统 - Google Patents

基于面部朝向和视觉焦点的驾驶安全监测系统 Download PDF

Info

Publication number
CN101593352A
CN101593352A CNA2009100997832A CN200910099783A CN101593352A CN 101593352 A CN101593352 A CN 101593352A CN A2009100997832 A CNA2009100997832 A CN A2009100997832A CN 200910099783 A CN200910099783 A CN 200910099783A CN 101593352 A CN101593352 A CN 101593352A
Authority
CN
China
Prior art keywords
face
image
circle
people
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2009100997832A
Other languages
English (en)
Inventor
史册
李阳
郑华兵
冯煜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CNA2009100997832A priority Critical patent/CN101593352A/zh
Publication of CN101593352A publication Critical patent/CN101593352A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

一种基于面部朝向和视觉焦点的驾驶安全监测系统,包括视觉传感器和智能处理器,智能处理器包括图像采集模块,肤色区域检测模块,用以将RGB彩色空间转换为YCrCb彩色空间并检测肤色区域;边缘提取模块,用于采用Canny算子进行边缘提取,得到头部图像轮廓;眼睛检测模块,用于对边缘化的人脸进行Hough变换,定位眼睛;人脸朝向分析模块,用于确定嘴部区域,定位嘴巴,并以眼睛和嘴巴为基准,分别计算人脸左右面积,并计算人脸左右面积比;驾驶员安全驾驶判定模块,用于根据预设的人脸左右面积比区间,如计算得到的当前人脸左右面积比处于预设区间外,判定处于非安全驾驶状态,发出告警指令。本发明抗干扰能力强、准确性高。

Description

基于面部朝向和视觉焦点的驾驶安全监测系统
技术领域
本发明涉及一种驾驶安全检测系统。
背景技术
现代社会,人们生活水平有了大幅提高,汽车的拥有率逐年上升,随之而来的安全隐患也越来越严重。交通隐患很大程度上是由驾驶疲劳引起的,而对疲劳状况监测有利用生理特征或利用驾驶员驾驶行为监测的,但它们会对驾驶员的身体产生不适并且易受路况等环境因素的影响。近几年一种基于人脸或人眼特征的方法被用来监测驾驶员疲劳或注意力分散,由于其简捷性、干扰性少以及实时性等优点,逐渐成为研究的热点。
在人脸和人眼检测方面,目前已有多项研究,但都存在很多不足之处。
有的研究只限于单一特征,不可靠。例如作者为张明恒,2007年公开的名称为基于面部朝向的驾驶员精神分散监测方法研究的吉林大学交通学院学位论文,采用面部轮廓相似于椭圆的事实,在面部边缘点检测基础上利用边缘链码组对面部轮廓线进行拟合,以面部特征区域(眼睛、嘴巴等)相对于轮廓线的位置变化作为特征量,利用BP神经网络对面部朝向估计问题进行了深入研究。但其未对疲劳状况最重要的特征——眼睛作出分析。再例如作者为徐璐,2008公开的名称为基于眼睛检测与视线估计的驾驶员疲劳检测的南京理工大学学位论论,采用虹膜、角点、眼睑等特征定位并建模判断视线方向,但需要面部的精确定位,并且头部只能轻微摆动,跟踪效果也不好,还可能受反射光的影响。而对眼睛这一单一特征进行监测,也有失准确。
有的研究虽然基于多特征,如专利申请号为CN03148524.3的中国发明专利,发明名称为基于多特征融合的困倦驾驶检测方法,采用眼睑闭合速度、闭眼持续时间和面部方向三个特征的困倦驾驶检测方法,但其有两点不足:1、头部偏转判断过于粗糙,其采用0-1判断,即要么偏转要么不偏转;2、眼睛检测采用传统perclos法判断,但perclos法不能判断出视线偏转状况下的驾驶员注意力分散,比如驾驶员实现偏转30度时,虽然perclos法检测出人眼仍然是睁开的,但其已经不再正视前方,属于注意力分散状况。
发明内容
为了克服已有驾驶安全检测系统的抗干扰能力弱、准确性差的不足,本发明提供一种抗干扰能力强、准确性高的基于面部朝向和视觉焦点的驾驶安全监测系统。
本发明解决其技术问题所采用的技术方案是:
一种基于面部朝向和视觉焦点的驾驶安全监测系统,包括用于采集驾驶员头部图像的视觉传感器和用以根据头部图像进行安全检测的智能处理器,所述智能处理器包括:
图像采集模块,用于采集视觉传感器发送过来的驾驶员头部图像;
肤色区域检测模块,用以将RGB彩色空间转换为YCrCb彩色空间,得到整幅图像的Cr、Cb情况并判断出肤色区域;
边缘提取模块,用于采用Canny算子进行边缘提取,得到头部图像轮廓;
眼睛检测模块,用于对边缘化的人脸进行Hough变换,定位眼睛;
人脸朝向分析模块,用于确定嘴部区域,定位嘴巴,并以眼睛和嘴巴为基准,分别计算人脸左右面积,并计算人脸左右面积比;驾驶员安全驾驶判定模块,用于根据预设的人脸左右面积比区间,如计算得到的当前人脸左右面积比处于预设区间外,判定处于非安全驾驶状态,发出告警指令。
作为优选的一种方案:所述智能处理器还包括:视觉焦点判断模块:在所得人脸图像中,根据定位的眼睛,同眼睛角点位置作比较,计算瞳孔中心偏移量,并将此偏移量占眼部总长度的比例,得到瞳偏距系数;在所述驾驶员安全驾驶判定模块中,预设瞳偏距系数的阈值范围,当判定计算得到的当前人脸左右面积比处于所述区间后,再判断当前的瞳偏距系数是否落入所述阈值范围,如果位于所述域值范围外,则判定驾驶员处于非安全驾驶状态,发出告警指令。
进一步,所述边缘提取模块中,通过查找图像梯度的局部最大值的方法来得到边缘信息,具体有:
(1)首先用2D高斯滤波模板对整个图像进行卷积以消除噪声。
(2)利用微分算子(比如,Prewitt算子、Kirsch算子等)得到各像素灰度的梯度值:
| G | = G 2 x + G 2 y - - - ( 2 )
其中,Gx表示X方向梯度,Gy表示Y方向梯度,G表示梯度;
(3)计算出梯度方向:
θ = tan - 1 G x G y - - - ( 3 )
其中,θ表示梯度方向;
(4)根据梯度方向将边缘大致地分为四种:水平、竖直、45°方向和135°方向。也就是把0-180°分为五个部分:0-22.5°以及157.5°-180°算作是水平方向,22.5°-67.5°算作是45°方向,67.5°-112.5°算作竖直方向,112.5°-15.750°记为135°方向。需要注意的是:这些方向是梯度的方向,也就是可能的边缘方向的正交方向(法向量方向)。通过梯度的方向,就可以找到这个像素沿梯度方向的邻接像素。
(5)非极大值抑制:遍历图像,若某个像素的灰度值与其梯度方向上前后两个相邻像素的灰度值相比不是最大的,那么将这个像素的值置为0,即不是边缘点。
(6)利用直方图计算出两个阈值并判定:凡是大于高阈值的一定是边缘点;凡是小于低阈值的一定不是边缘点。对于介于两个阈值之间的像素,那就要看它的邻接像素中有没有超过高阈值的边缘点,如果有那么它也是边缘点;否则它就不是边缘点。
最后,在所述的人眼检测模块中,通过Hough变换检测瞳孔位置,其原理是将图像空间的点经圆变换到参数空间上,圆上的一点对应于参数空间中一个三维锥面;圆的所有边界点对应参数空间中一个锥面族圆,若所变换的点在同一个圆周上,则圆锥族相交于一点,该点即对应于图像空间的圆心和半径;
(1)圆方程为:
(x-a)2+(y-b)2=r2                (4)
其中,x表示圆心横坐标,y表示圆心纵坐标,r表示圆半径;
(2)对参数空间进行适当量化,得到一个三维累加器B(a,b,r);累加器阵列中每一个立体小方格对应参数离散值;
(3)设图像大小为m×n,图像中像素点坐标为(a,b),其中0≤a≤m,0≤b≤n;对图像空间中的圆进行检测时,计算与边缘上的每一点像素距离为r的所有点(a,b),其中,0≤r≤min[m,n],同时将对应(a,b,r)的立方体小格的累加器加1;改变r值再重复上述过程;当对全部边缘点变换完成后,对三维阵列的所有累加器的值进行检验,其峰值小格的坐标就对应着图像空间中圆形边界的圆心;
(4)降维处理:根据人眼特征,确定r的先验值或者其范围,将三维降为二维。
本发明的技术构思为:基于人脸和人眼特征检测,使用色彩空间转换提取人脸区域;采用Canny算子提取边缘特征,根据Hough变换提取瞳孔位置并判断嘴巴位置;根据通过数学建模得到人脸左右面积比与人脸朝向关系、瞳孔位置与视线方系的关系,并由此得到注意力分散阈值;通过大量实验证明了该方法对注意力分散监测的实时性和有效性。进一步提出驾驶员面部朝向与视觉焦点结合的方法,来监测驾驶员的注意力分散状况,实现便捷性与准确性的统一。
本发明的有益效果主要表现在:抗干扰能力强、准确性高。
附图说明
图1是基于面部朝向和视觉焦点的驾驶安全监测系统的主流程图。
图2是肤色的Cb、Cr分布图。
图3是驾驶员头部的原始图像。
图4是图3所示的肤色中Cb分量分布图。
图5是图3所示的整幅图像提取肤色区域后的检测效果图
图6是面部图像。
图7是图6的边缘检测效果图。
图8是Hough变换检测理想圆的示意图。
图9是Hough变换检测残缺圆的示意图。
图10是Hough变换检测瞳孔位置的示意图。
图11是驾驶员头部的正面图像。
图12是视线偏转度为30°的示意图。
图13是头部偏转20°的示意图。
图14是图11的分割图.
图15是图12的分割图。
图16是图13的分割图。
图17是计算面积比示意图。
图18是面部朝向分布图。
图19是人脸左右面积比与偏转角度的关系示意图。
图20是眼部参数分布图。
图21是瞳孔位置与视线方向关系示意图。
图22是视线模型示意图。
具体实施方式
下面结合附图对本发明作进一步描述。
参照图1~图22,一种基于面部朝向和视觉焦点的驾驶安全监测系统,包括用于采集驾驶员头部图像的视觉传感器和用以根据头部图像进行安全检测的智能处理器,所述智能处理器包括:图像采集模块,用于采集视觉传感器发送过来的驾驶员头部图像;肤色区域检测模块,用以将RGB彩色空间转换为YCrCb彩色空间,得到整幅图像的Cr、Cb情况并进一步判断出肤色区域;边缘提取模块,用于采用Canny算子进行边缘提取,得到头部图像轮廓;眼睛检测模块,用于对边缘化的人脸进行Hough变换,定位眼睛;人脸朝向分析模块,用于确定嘴部区域,定位嘴巴,并以眼睛和嘴巴为基准,分别计算人脸左右面积,并计算人脸左右面积比;驾驶员安全驾驶判定模块,用于根据预设的人脸左右面积比区间,如计算得到的当前人脸左右面积比处于预设区间外,判定处于非安全驾驶状态,发出告警指令。
所述智能处理器还包括:视觉焦点判断模块:在所得人脸图像中,根据定位的眼睛,同眼睛角点位置作比较,计算瞳孔中心偏移量,并将此偏移量占眼部总长度的比例,得到瞳偏距系数;在所述驾驶员安全驾驶判定模块中,预设瞳偏距系数的阈值范围,当判定计算得到的当前人脸左右面积比处于所述区间后,再判断当前的瞳偏距系数是否落入所述阈值范围,如果位于所述域值范围外,则判定驾驶员处于非安全驾驶状态,发出告警指令。
肤色区域检测:虽然不同人种有不同的肤色,但同一人种之间,不同个体的肤色差异较小,多数情况下与周围环境的颜色有较明显的差异。据此可以建立相应的模型,以此来区分图像中皮肤与周围背景的区域。
基于不同的彩色空间,可以有不同的肤色模型。对于亚裔(黄种人)而言,在合适的彩色空间中,肤色能聚合在一起,并且与周围其他区域区分开来。在RGB彩色空间中,RGB模型会受亮度的影响;而在YCrCb彩色空间中,Cr、Cb不受光照影响,而且在CrCb子空间上,人的肤色能很好的聚集在一起,Cr、Cb分量分布比较集中,且均呈高斯分布,如图2所示——也就是说人脸肤色同环境的不同主要体现为色调和饱和度的不同。所以通常选择亮度分量和色度分量分离的YCbCr色彩空间进行肤色建模。
如果一个像素点的Cr和Cb值满足:123≤Cr≤175,并且93≤Cb≤133,则该像素点被认为具有皮肤色。对于RGB与YCbCr之间的转换如公式(1):
Y Cb Cr = 0.299 0.587 0.114 0.500 - 0.4187 - 0.0813 - 0.1687 - 0.3313 0.5000 R G B + 0 128 128 - - - ( 1 )
如图2,对样本图像采用颜色空间转换后,得到肤色区域以及整幅图片的Cb分布图(Cr分量类似)。可以看出,采用YCbCr颜色空间转换后,脸部区域的Cb分量呈现非常好的聚类特性,同环境因素强烈区分开来,所以可以很好的检测出肤色区域。
图3为原始的彩色图像(RGB),图4为从图3的Cb分布图,图5为根据中图的肤色模型提取出的肤色区域(二值图)。
边缘轮廓提取:通过色彩空间转换,可以得到肤色区域。在彩色图片中进行肤色提取有助于快速排除大量的多余信息,得到面部头像。由于在驾驶环境中,头部信息比较简单,不存在多人脸以及手臂等其他肤色区域,所以可以判断肤色区域为人脸,并直接进行眼睛检测。在算法上,采用Canny算子进行边缘提取,然后用Hough变换检测瞳孔,下面详述它们的优点和核心算法。
1986年John Canny提出了三条边缘检测的准则,并在此基础上得到了一个较好的实用算法,通常被称为Canny算子。本方法采用Canny算子,主要因为它在图像去噪和边缘细节保留上取得了相对较好的平衡,而且实现简单、处理速度快。
Canny算子的基本原理是通过查找图像梯度的局部最大值的方法来得到边缘点信息。算法核心有以下几步:
(1)首先用2D高斯滤波模板对整个图像进行卷积以消除噪声;
(2)利用微分算子得到各像素灰度的梯度值:
| G | = G 2 x + G 2 y - - - ( 2 )
其中,Gx表示X方向梯度,Gy表示Y方向梯度,G表示梯度;
(3)计算出梯度方向:
θ = tan - 1 G x G y - - - ( 3 )
其中,θ表示梯度方向;
(4)根据梯度方向将边缘大致地分为四种:水平、竖直、45°方向和135°方向;也就是把0-180°区域分为五个部分:0-22.5°以及157.5°-180°作为水平方向,22.5°-67.5°作为45°方向,67.5°-112.5°作为竖直方向,112.5°-15.750°作为135°方向;通过梯度的方向找到这个像素沿梯度方向的邻接像素;
(5)非极大值抑制:遍历图像,若某个像素的灰度值与其梯度方向上前后两个相邻像素的灰度值相比不是最大的,那么将这个像素的值置为O,即不是边缘点;
(6)利用直方图计算出两个阈值并判定:凡是大于高阈值的一定是边缘点;凡是小于低阈值的一定不是边缘点;对于介于两个阈值之间的像素,那就要看它的邻接像素中有没有超过高阈值的边缘点,如果有那么它也是边缘点;否则它就不是边缘点;
对面部图像进行Canny算子边缘检测后如图6和图7所示:
精确定位眼睛:Hough变换是图像处理中从图像中识别几何形状的基本方法之一,应用很广泛,在人脸检测领域中的瞳孔定位有重要的应用。用Hough变换检测圆,可靠性高,对噪声、变形、部分区域残缺、边缘不连续等有较好的适应性。从图7可以看出,经过边缘检测后,眼部瞳孔圆的特性比较突出,可以利用这一点采用Hough变换来检测瞳孔。
Hough变换的基本原理是,在图像空间和参数空间进行变换。Hough变换的基础是直线变换,它利用点——线的对偶性,即图像空间共线的点对应在参数空间里相交的线;反过来,在参数空间中相交于同一个点的所有直线在图像空间里都有共线的点与之对应。
利用直线变换可以进一步推广到圆变换。Hough圆变换的原理是:将图像空间的点经圆变换到参数空间上,圆上的一点对应于参数空间中一个三维锥面;圆的所有边界点对应参数空间中一个锥面族圆,若所变换的点在同一个圆周上,则圆锥族相交于一点,该点即对应于图像空间的圆心和半径;
(1)圆方程为:
(x-a)2+(y-b)2=r2                    (4)
其中,x表示圆心横坐标,y表示圆心纵坐标,r表示圆半径;
(2)对参数空间进行适当量化,得到一个三维累加器B(a,b,r);累加器阵列中每一个立体小方格对应参数离散值;
(3)设图像大小为m×n,图像中像素点坐标为(a,b),其中0≤a≤m,0≤b≤n;对图像空间中的圆进行检测时,计算与边缘上的每一点像素距离为r的所有点(a,b),其中,0≤r≤min[m,n],同时将对应(a,b,r)的立方体小格的累加器加1;改变r值再重复上述过程;当对全部边缘点变换完成后,对三维阵列的所有累加器的值进行检验,其峰值小格的坐标就对应着图像空间中圆形边界的圆心;
(4)降维处理:根据人眼特征,确定r的先验值或者其范围,将三维降为二维。
人脸朝向分析:精确定位出眼睛之后,特征提取的工作就完成了。接下来,要分析出人脸朝向和视觉焦点。对于人脸朝向,为了避免脖子和头发的干扰,取眼睛以下,嘴部以上区域进行分析。通过前面分析可以知道,人脸属于肤色区域,但眼睛、嘴巴等特殊区域不符合肤色的CbCr分布范围,可以将其筛选出来。在图2中人脸的检测图中,非肤色区域除去眼部区域,剩下主要为嘴部区域。
定位眼睛和嘴巴以后,以眼睛和嘴巴为基准,将面部分为两部分,分别计算各自面积,以此来计算左右面积比。图11、12、13和图14、15、16分别为原始图和分割效果图。
人脸朝向阈值分析:经过大量数据测试,得到了面部朝向与偏转角度的关系图。图17为计算面积比示意图(可以参照图14、15、16的处理结果),采用的是正面头像作参考。下面具体分析说明。图18是面部朝向分布图,横坐标代表偏转角度,方向定义为左偏为负,右偏为正;纵坐标代表面部左右面积比。
(1)曲线基本反映了实际情况。例如,在左偏20°和右偏20°附近,在左偏30°和右偏30°附近都呈现倒数关系;在面部偏转为0°的时候,面积比在1附近波动。
(2)曲线在30°附近达到最大值,在30°和-30°之外趋于零。这是由于人脸偏转已经超过了监测阈值,导致系统无法检测到人脸的左半部分或右半部分。
(3)由于所采集的人脸各有不同,所以具体数值会有差异,但总体趋势相同。总的来说,由于面部图像的参数分布呈现一定规律性,这使得进行人脸朝向的阈值分析以及建立模型成为可能。
人脸朝向模型建立:采用OriginLab对图18的数据进行拟合得图19。
(1)从拟合的数据参数看,卡方分布自由度Chi^2/DoF=0.00743,相关系数R^2=0.99533,拟合曲线的拟合程度很好,拟合数据能够很好的反映数据的真实情况。
(2)处理掉非常小的影响因子,并在误差范围内对函数进行优化,得到面部朝向参数分布公式四:
r = 8 1 + exp ( ( 40 - α ) / 20 ) × ( 1 - 1 1 + exp ( ( 40 - α ) / 0.1 ) ) - - - ( 5 )
实际应用中,可以事先采集驾驶员头像,根据先验值修改函数参数。在监测过程中,通过实时采集驾驶员头部图像,并计算后可以得到驾驶员头部偏向值。
视觉焦点分析:同样,以类似手段得到眼部状况分布图。差别在于,横坐标代表偏转角度,方向定义为左偏为负,右偏为正;而纵坐标代表瞳孔以左部分长度占整个眼部的比例,定义为瞳偏距系数。曲线图如图20。
(1)由于左眼和右眼分布情况基本相同,只用左眼来举例说明。
(2)数据中眼部朝向处于0°时数据大约在0.55附近,这是由于眼部为非对称区域,眼睛正视前方时,瞳孔所在位置并非眼睛中央,而是偏向内侧,因而此时的数据大于0.5。
(3)实验发现,人眼在面部不偏转的情况下,视线不会超过60°,一般最大为45°,所以数据显示大约偏转50°以外是监测不出来的,这也是和实际相吻合的。
视觉焦点模型建立:采用OriginLab对图20中的数据进行拟合得到图21。
(1)从拟合的数据参数看,卡方分布自由度Chi^2/DoF=0.00195,相关系数R^2=0.98077,拟合曲线的拟合程度很好,拟合数据能够很好的反映数据的真实情况。
(2)同样,忽略较小的影响因子,并考虑到误差估计,得出曲线的近似公式表示:
ρ = 1 10000 × ( 5694 + 8.4 × β + 0.3 × β 2 ) - - - ( 5 )
(3)根据作者为徐璐,名称为基于眼睛检测与视线估计的驾驶员疲劳检测的南京理工大学学位论文,公开了计算视线方向所采用的视线模型(图22),当视线偏转角度较小时,瞳孔中心的偏移量与偏转角度近似呈线性关系;当偏转角度较大时,瞳孔位置的变化量则是按照视线角度偏转量的正切函数的变化趋势而变化。通过观察看出,得到的拟合曲线的走势与以上分析吻合,验证了所建立的模型的真实性与可靠性。在监测过程中,通过实时采集驾驶员眼部图像,并计算后可以得到驾驶员视线偏向值。
驾驶员疲劳状况判断:根据前述面部朝向以及视觉焦点参数图得出:
(1)驾驶员在面部偏转30°后,系统监测出错,在正负30°之外参数值趋于零。在正负15°以内,面部基本朝向前方,比值在1附近波动,可视为正常情况。所以,阈值可设为正负15°,超出此范围报警。根据之前得到的数据分析,将α=15°和α=-15°带入公式四,分别得到r=1.74和r=0.45,此阈值范围大约为[0.45,1.74]。
(2)如果驾驶员面部朝向在安全范围内,也就是正负15°以内,则视线一般不受面部偏转影响,需要进一步监控视觉朝向。
(3)通过对拟合曲线分析发现,人眼视线正常情况下在正负20°以内可以看到前方,此时曲线趋于水平,所以将其阈值设为正负20°。将β=20°和β=-20°带入公式五,分别得到ρ=0.60和ρ=0.53,此阈值范围大约为[0.53,0.60]。
本实施例采用人脸检测、特征提取的方法,对驾驶员注意力分散状况进行了研究。在人脸检测方面,采用了颜色空间转化的方法,主要优点有:容易与周围环境区分,抗干扰能力比较强;采用色差作为主要检验参数,能够区分视觉相近的颜色特征,避免了光照等对检测的影响。在特征提取方面,本发明采用了Canny算子和Hough变换及几何特征进行了特征提取,得到了很好的效果。
本发明的重点在于驾驶员的面部朝向和视觉焦点的分析。通过大量数据的研究以及函数图像拟合,得出了人脸左右面积比与人脸朝向的关系,人眼瞳偏距系数与人眼视觉焦点的关系,并由此得到注意力分散的阈值,当超出此范围时检测系统报警,并且在程序运用中取得了较好的效果。通过对10名不同志愿者的100组模拟驾驶状态视频检测,其中成功报警91组,成功率为91%。

Claims (4)

1、一种基于面部朝向和视觉焦点的驾驶安全监测系统,其特征在于:所述驾驶安全监测系统包括用于采集驾驶员头部图像的视觉传感器和用以根据头部图像进行安全检测的智能处理器,所述智能处理器包括:
图像采集模块,用于采集视觉传感器发送过来的驾驶员头部图像;
肤色区域检测模块,用与将RGB彩色空间转换为YCrCb彩色空间,得到整幅图像的Cr、Cb情况并判断出肤色区域;
边缘提取模块,用于采用Canny算子进行边缘提取,得到头部图像轮廓;
眼睛检测模块,用于对边缘化的人脸进行Hough变换,定位眼睛;
人脸朝向分析模块,用于确定嘴部区域,定位嘴巴,并以眼睛和嘴巴为基准,分别计算人脸左右面积,并计算人脸左右面积比;
驾驶员安全驾驶判定模块,用于根据预设的人脸左右面积比区间,如计算得到的当前人脸左右面积比处于预设区间外,判定处于非安全驾驶状态,发出告警指令。
2、如权利要求1所述的基于面部朝向和视觉焦点的驾驶安全监测系统,其特征在于:所述智能处理器还包括:
视觉焦点判断模块:在所得人脸图像中,根据定位的眼睛,同眼睛角点位置作比较,计算瞳孔中心偏移量,并计算此偏移量占眼部总长度的比例,得到瞳偏距系数;在所述驾驶员安全驾驶判定模块中,预设瞳偏距系数的阈值范围,当判定计算得到的当前人脸左右面积比处于所述区间后,再判断当前的瞳偏距系数是否落入所述阈值范围,如果位于所述域值范围外,则判定驾驶员处于非安全驾驶状态,发出告警指令。
3、如权利要求1或2所述的基于面部朝向和视觉焦点的驾驶安全监测系统,其特征在于:所述边缘提取模块中,通过查找图像梯度的局部最大值的方法来得到边缘信息,具体有:
(1)首先用2D高斯滤波模板对整个图像进行卷积以消除噪声;
(2)利用微分算子得到各像素灰度的梯度值:
| G | = G 2 x + G 2 y - - - ( 2 )
其中,Gx表示X方向梯度,Gy表示Y方向梯度,G表示梯度;
(3)计算出梯度方向:
θ = tan - 1 G x G y - - - ( 3 )
其中,θ表示梯度方向;
(4)根据梯度方向将边缘大致地分为四种:水平、竖直、45°方向和135°方向;也就是把0-180°区域分为五个部分:0-22.5°以及157.5°-180°作为水平方向,22.5°-67.5°作为45°方向,67.5°-112.5°作为竖直方向,112.5°-15.750°作为135°方向;通过梯度的方向找到这个像素沿梯度方向的邻接像素;
(5)非极大值抑制:遍历图像,若某个像素的灰度值与其梯度方向上前后两个相邻像素的灰度值相比不是最大的,那么将这个像素的值置为O,即不是边缘点;
(6)利用直方图计算出两个阈值并判定:凡是大于高阈值的一定是边缘点;凡是小于低阈值的一定不是边缘点;对于介于两个阈值之间的像素,那就要看它的邻接像素中有没有超过高阈值的边缘点,如果有那么它也是边缘点;否则它就不是边缘点。
4、如权利要求1或2所述的基于面部朝向和视觉焦点的驾驶安全监测系统,其特征还在于:在所述眼睛检测模块中,通过Hough变换检测瞳孔位置,将图像空间的点经圆变换到参数空间上,圆上的一点对应于参数空间中一个三维锥面;圆的所有边界点对应参数空间中一个锥面族圆,若所变换的点在同一个圆周上,则圆锥族相交于一点,该点即对应于图像空间的圆心和半径;具体有:
(1)圆方程为:
(x-a)2+(y-b)2=r2    (4)
其中,x表示圆心横坐标,y表示圆心纵坐标,r表示圆半径;
(2)对参数空间进行适当量化,得到一个三维累加器B(a,b,r);累加器阵列中每一个立体小方格对应参数离散值;
(3)设图像大小为m×n,图像中像素点坐标为(a,b),其中0≤a≤m,0≤b≤n;对图像空间中的圆进行检测时,计算与边缘上的每一点像素距离为r的所有点(a,b),其中,0≤r≤min[m,n],同时将对应(a,b,r)的立方体小格的累加器加1;改变r值再重复上述过程;当对全部边缘点变换完成后,对三维阵列的所有累加器的值进行检验,其峰值小格的坐标就对应着图像空间中圆形边界的圆心;
(4)降维处理:根据人眼特征,确定r的先验值或者其范围,将三维降为二维。
CNA2009100997832A 2009-06-12 2009-06-12 基于面部朝向和视觉焦点的驾驶安全监测系统 Pending CN101593352A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CNA2009100997832A CN101593352A (zh) 2009-06-12 2009-06-12 基于面部朝向和视觉焦点的驾驶安全监测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CNA2009100997832A CN101593352A (zh) 2009-06-12 2009-06-12 基于面部朝向和视觉焦点的驾驶安全监测系统

Publications (1)

Publication Number Publication Date
CN101593352A true CN101593352A (zh) 2009-12-02

Family

ID=41407994

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2009100997832A Pending CN101593352A (zh) 2009-06-12 2009-06-12 基于面部朝向和视觉焦点的驾驶安全监测系统

Country Status (1)

Country Link
CN (1) CN101593352A (zh)

Cited By (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101789077A (zh) * 2010-02-10 2010-07-28 北京理工大学 一种激光引导的视频客流检测方法及设备
CN102087703A (zh) * 2009-12-07 2011-06-08 三星电子株式会社 确定正面的脸部姿态的方法
CN102647580A (zh) * 2012-04-27 2012-08-22 浙江晨鹰科技有限公司 一种视频监控方法及系统
CN102855754A (zh) * 2011-06-30 2013-01-02 由田新技股份有限公司 车辆管理监控系统及其方法
CN103198616A (zh) * 2013-03-20 2013-07-10 重庆大学 基于驾驶员头颈移动特征识别的疲劳驾驶检测方法与系统
US20130207805A1 (en) * 2012-02-09 2013-08-15 Denso Corporation Inattentive state determination apparatus and method of determining inattentive state
CN103369212A (zh) * 2012-03-28 2013-10-23 联想(北京)有限公司 一种图像采集方法及设备
CN103839379A (zh) * 2014-02-27 2014-06-04 长城汽车股份有限公司 汽车及用于其的驾驶员疲劳预警检测方法和系统
CN103885461A (zh) * 2012-12-21 2014-06-25 宗经投资股份有限公司 自动彩妆机的彩妆工具的移动方法
WO2015007132A1 (en) * 2013-07-18 2015-01-22 Leung Spencer Yucheong Monitor system and method for smart device
CN104345883A (zh) * 2014-01-28 2015-02-11 陈英时 一种利用视线凝视操作手机相机的方法
CN104599517A (zh) * 2015-01-29 2015-05-06 柳州市二和汽车零部件有限公司 智能车辆安全辅助控制系统
CN104715234A (zh) * 2014-12-31 2015-06-17 湘潭大学 一种侧视检测方法及系统
CN105700676A (zh) * 2014-12-11 2016-06-22 现代自动车株式会社 可佩戴眼镜及其控制方法、以及车辆控制系统
CN105812652A (zh) * 2015-07-29 2016-07-27 维沃移动通信有限公司 一种终端的对焦方法及终端
CN106297213A (zh) * 2016-08-15 2017-01-04 欧普照明股份有限公司 检测方法、检测装置及照明灯具
CN106355838A (zh) * 2016-10-28 2017-01-25 深圳市美通视讯科技有限公司 一种疲劳驾驶检测方法和系统
CN106406526A (zh) * 2016-09-07 2017-02-15 长安大学 一种能够预判驾驶员转向意图的辅助车灯控制方法
CN104282027B (zh) * 2014-10-29 2017-05-10 福州大学 一种基于Hough变换的圆检测方法
CN106650635A (zh) * 2016-11-30 2017-05-10 厦门理工学院 一种驾驶员后视镜查看行为检测方法及系统
CN106781282A (zh) * 2016-12-29 2017-05-31 天津中科智能识别产业技术研究院有限公司 一种智能行车驾驶员疲劳预警系统
CN107122789A (zh) * 2017-03-14 2017-09-01 华南理工大学 基于深度摄像头的多模态信息融合的学习专注度分析方法
CN107392120A (zh) * 2017-07-06 2017-11-24 电子科技大学 一种基于视线估计的注意力智能监督方法
CN107506691A (zh) * 2017-10-19 2017-12-22 深圳市梦网百科信息技术有限公司 一种基于肤色检测的唇部定位方法和系统
CN107729860A (zh) * 2017-10-30 2018-02-23 广东欧珀移动通信有限公司 人脸识别计算方法及相关产品
CN108509923A (zh) * 2018-03-30 2018-09-07 百度在线网络技术(北京)有限公司 课堂注意力检测方法、装置、设备及计算机可读介质
CN109033923A (zh) * 2017-06-08 2018-12-18 北京君正集成电路股份有限公司 一种检测图片中人体朝向的方法及装置
CN109033960A (zh) * 2018-06-20 2018-12-18 同济大学 一种基于随机森林的视线估计方法
CN109102505A (zh) * 2018-08-17 2018-12-28 湖南超能机器人技术有限公司 基于图像的非接触式手掌疱疹检测系统及其检测方法
WO2019011124A1 (en) * 2017-07-12 2019-01-17 Huawei Technologies Co., Ltd. INTEGRATED SYSTEM FOR DETECTING THE STATUS OF A DRIVER
CN109874054A (zh) * 2019-02-14 2019-06-11 深兰科技(上海)有限公司 一种广告推荐方法及装置
CN110286753A (zh) * 2019-06-11 2019-09-27 福建天泉教育科技有限公司 视频关注度判断方法、存储介质
CN110598635A (zh) * 2019-09-12 2019-12-20 北京大学第一医院 一种针对连续视频帧中的人脸检测与瞳孔定位方法及系统
CN110751009A (zh) * 2018-12-20 2020-02-04 北京嘀嘀无限科技发展有限公司 人脸识别方法、目标识别方法、装置和电子设备
CN110751810A (zh) * 2019-10-29 2020-02-04 深圳联安通达科技有限公司 一种疲劳驾驶检测方法和装置
CN111710190A (zh) * 2014-06-23 2020-09-25 株式会社电装 驾驶员的驾驶不能状态检测装置
CN112414552A (zh) * 2020-11-24 2021-02-26 西南交通大学 用于电梯上的体温检测装置及其体温计算方法
CN112711982A (zh) * 2020-12-04 2021-04-27 科大讯飞股份有限公司 视觉检测方法、设备、系统以及存储装置
CN113033459A (zh) * 2021-04-09 2021-06-25 平安国际智慧城市科技股份有限公司 图像识别方法、装置、计算机设备及存储介质
CN113052064A (zh) * 2021-03-23 2021-06-29 北京思图场景数据科技服务有限公司 基于面部朝向、面部表情及瞳孔追踪的注意力检测方法
CN113168758A (zh) * 2018-12-13 2021-07-23 法国大陆汽车公司 确定车辆驾驶者的困倦水平的方法
CN113925512A (zh) * 2021-10-14 2022-01-14 东风汽车集团股份有限公司 基于视野焦点的疲劳检测方法及装置

Cited By (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8811744B2 (en) 2009-12-07 2014-08-19 Samsung Electronics Co., Ltd Method for determining frontal face pose
CN102087703A (zh) * 2009-12-07 2011-06-08 三星电子株式会社 确定正面的脸部姿态的方法
CN102087703B (zh) * 2009-12-07 2016-08-10 三星电子株式会社 确定正面的脸部姿态的方法
CN101789077B (zh) * 2010-02-10 2012-07-18 北京理工大学 一种激光引导的视频客流检测方法及设备
CN101789077A (zh) * 2010-02-10 2010-07-28 北京理工大学 一种激光引导的视频客流检测方法及设备
CN102855754A (zh) * 2011-06-30 2013-01-02 由田新技股份有限公司 车辆管理监控系统及其方法
US20130207805A1 (en) * 2012-02-09 2013-08-15 Denso Corporation Inattentive state determination apparatus and method of determining inattentive state
US9041543B2 (en) * 2012-02-09 2015-05-26 Denso Corporation Inattentive state determination apparatus and method of determining inattentive state
CN103369212A (zh) * 2012-03-28 2013-10-23 联想(北京)有限公司 一种图像采集方法及设备
CN103369212B (zh) * 2012-03-28 2018-06-05 联想(北京)有限公司 一种图像采集方法及设备
CN102647580A (zh) * 2012-04-27 2012-08-22 浙江晨鹰科技有限公司 一种视频监控方法及系统
CN103885461B (zh) * 2012-12-21 2017-03-01 宗经投资股份有限公司 自动彩妆机的彩妆工具的移动方法
CN103885461A (zh) * 2012-12-21 2014-06-25 宗经投资股份有限公司 自动彩妆机的彩妆工具的移动方法
CN103198616A (zh) * 2013-03-20 2013-07-10 重庆大学 基于驾驶员头颈移动特征识别的疲劳驾驶检测方法与系统
CN103198616B (zh) * 2013-03-20 2015-10-28 重庆大学 基于驾驶员头颈移动特征识别的疲劳驾驶检测方法与系统
WO2015007132A1 (en) * 2013-07-18 2015-01-22 Leung Spencer Yucheong Monitor system and method for smart device
CN104345883A (zh) * 2014-01-28 2015-02-11 陈英时 一种利用视线凝视操作手机相机的方法
CN103839379B (zh) * 2014-02-27 2017-05-10 长城汽车股份有限公司 汽车及用于其的驾驶员疲劳预警检测方法和系统
CN103839379A (zh) * 2014-02-27 2014-06-04 长城汽车股份有限公司 汽车及用于其的驾驶员疲劳预警检测方法和系统
CN111710190A (zh) * 2014-06-23 2020-09-25 株式会社电装 驾驶员的驾驶不能状态检测装置
CN104282027B (zh) * 2014-10-29 2017-05-10 福州大学 一种基于Hough变换的圆检测方法
CN105700676A (zh) * 2014-12-11 2016-06-22 现代自动车株式会社 可佩戴眼镜及其控制方法、以及车辆控制系统
CN104715234A (zh) * 2014-12-31 2015-06-17 湘潭大学 一种侧视检测方法及系统
CN104599517A (zh) * 2015-01-29 2015-05-06 柳州市二和汽车零部件有限公司 智能车辆安全辅助控制系统
CN105812652A (zh) * 2015-07-29 2016-07-27 维沃移动通信有限公司 一种终端的对焦方法及终端
CN105812652B (zh) * 2015-07-29 2019-11-26 维沃移动通信有限公司 一种终端的对焦方法及终端
CN106297213A (zh) * 2016-08-15 2017-01-04 欧普照明股份有限公司 检测方法、检测装置及照明灯具
CN106406526A (zh) * 2016-09-07 2017-02-15 长安大学 一种能够预判驾驶员转向意图的辅助车灯控制方法
CN106406526B (zh) * 2016-09-07 2019-07-26 长安大学 一种能够预判驾驶员转向意图的辅助车灯控制方法
CN106355838A (zh) * 2016-10-28 2017-01-25 深圳市美通视讯科技有限公司 一种疲劳驾驶检测方法和系统
CN106650635A (zh) * 2016-11-30 2017-05-10 厦门理工学院 一种驾驶员后视镜查看行为检测方法及系统
CN106781282A (zh) * 2016-12-29 2017-05-31 天津中科智能识别产业技术研究院有限公司 一种智能行车驾驶员疲劳预警系统
CN107122789B (zh) * 2017-03-14 2021-10-26 华南理工大学 基于深度摄像头的多模态信息融合的学习专注度分析方法
CN107122789A (zh) * 2017-03-14 2017-09-01 华南理工大学 基于深度摄像头的多模态信息融合的学习专注度分析方法
CN109033923A (zh) * 2017-06-08 2018-12-18 北京君正集成电路股份有限公司 一种检测图片中人体朝向的方法及装置
CN107392120A (zh) * 2017-07-06 2017-11-24 电子科技大学 一种基于视线估计的注意力智能监督方法
CN107392120B (zh) * 2017-07-06 2020-04-14 电子科技大学 一种基于视线估计的注意力智能监督方法
US10592785B2 (en) 2017-07-12 2020-03-17 Futurewei Technologies, Inc. Integrated system for detection of driver condition
WO2019011124A1 (en) * 2017-07-12 2019-01-17 Huawei Technologies Co., Ltd. INTEGRATED SYSTEM FOR DETECTING THE STATUS OF A DRIVER
CN107506691A (zh) * 2017-10-19 2017-12-22 深圳市梦网百科信息技术有限公司 一种基于肤色检测的唇部定位方法和系统
CN107506691B (zh) * 2017-10-19 2020-03-17 深圳市梦网百科信息技术有限公司 一种基于肤色检测的唇部定位方法和系统
CN107729860B (zh) * 2017-10-30 2019-06-14 Oppo广东移动通信有限公司 人脸识别计算方法及相关产品
CN107729860A (zh) * 2017-10-30 2018-02-23 广东欧珀移动通信有限公司 人脸识别计算方法及相关产品
CN108509923A (zh) * 2018-03-30 2018-09-07 百度在线网络技术(北京)有限公司 课堂注意力检测方法、装置、设备及计算机可读介质
CN109033960A (zh) * 2018-06-20 2018-12-18 同济大学 一种基于随机森林的视线估计方法
CN109102505A (zh) * 2018-08-17 2018-12-28 湖南超能机器人技术有限公司 基于图像的非接触式手掌疱疹检测系统及其检测方法
CN113168758A (zh) * 2018-12-13 2021-07-23 法国大陆汽车公司 确定车辆驾驶者的困倦水平的方法
CN113168758B (zh) * 2018-12-13 2023-01-31 法国大陆汽车公司 确定车辆驾驶者的困倦水平的方法
CN110751009A (zh) * 2018-12-20 2020-02-04 北京嘀嘀无限科技发展有限公司 人脸识别方法、目标识别方法、装置和电子设备
CN109874054A (zh) * 2019-02-14 2019-06-11 深兰科技(上海)有限公司 一种广告推荐方法及装置
CN110286753B (zh) * 2019-06-11 2022-06-07 福建天泉教育科技有限公司 视频关注度判断方法、存储介质
CN110286753A (zh) * 2019-06-11 2019-09-27 福建天泉教育科技有限公司 视频关注度判断方法、存储介质
CN110598635A (zh) * 2019-09-12 2019-12-20 北京大学第一医院 一种针对连续视频帧中的人脸检测与瞳孔定位方法及系统
CN110598635B (zh) * 2019-09-12 2022-05-27 北京大学第一医院 一种针对连续视频帧中的人脸检测与瞳孔定位方法及系统
CN110751810A (zh) * 2019-10-29 2020-02-04 深圳联安通达科技有限公司 一种疲劳驾驶检测方法和装置
CN112414552A (zh) * 2020-11-24 2021-02-26 西南交通大学 用于电梯上的体温检测装置及其体温计算方法
CN112711982A (zh) * 2020-12-04 2021-04-27 科大讯飞股份有限公司 视觉检测方法、设备、系统以及存储装置
CN112711982B (zh) * 2020-12-04 2024-07-09 科大讯飞股份有限公司 视觉检测方法、设备、系统以及存储装置
CN113052064A (zh) * 2021-03-23 2021-06-29 北京思图场景数据科技服务有限公司 基于面部朝向、面部表情及瞳孔追踪的注意力检测方法
CN113052064B (zh) * 2021-03-23 2024-04-02 北京思图场景数据科技服务有限公司 基于面部朝向、面部表情及瞳孔追踪的注意力检测方法
CN113033459A (zh) * 2021-04-09 2021-06-25 平安国际智慧城市科技股份有限公司 图像识别方法、装置、计算机设备及存储介质
CN113925512A (zh) * 2021-10-14 2022-01-14 东风汽车集团股份有限公司 基于视野焦点的疲劳检测方法及装置
CN113925512B (zh) * 2021-10-14 2023-10-20 东风汽车集团股份有限公司 基于视野焦点的疲劳检测方法及装置

Similar Documents

Publication Publication Date Title
CN101593352A (zh) 基于面部朝向和视觉焦点的驾驶安全监测系统
CN107292251B (zh) 一种基于人眼状态的驾驶员疲劳检测方法及系统
CN108053615B (zh) 基于微表情的驾驶员疲劳驾驶状态检测方法
CN112241658B (zh) 一种基于深度相机的疲劳驾驶预警方法
CN106846734B (zh) 一种疲劳驾驶检测装置及方法
CN104809445B (zh) 基于眼部和嘴部状态的疲劳驾驶检测方法
CN102289660B (zh) 一种基于手部姿态跟踪的违规驾驶行为检测方法
EP1991946B1 (en) Approaches and apparatus for eye detection in a digital image
Batista A drowsiness and point of attention monitoring system for driver vigilance
CN101593425B (zh) 一种基于机器视觉的疲劳驾驶监控方法及系统
CN104751600B (zh) 基于虹膜识别的防疲劳驾驶安全设备及其使用方法
CN102054163B (zh) 基于单目视觉的驾驶员疲劳检测方法
CN105354985B (zh) 疲劳驾驶监控装置及方法
CN106250801A (zh) 基于人脸检测和人眼状态识别的疲劳检测方法
CN1225375C (zh) 基于多特征融合的困倦驾驶检测方法
CN104200192A (zh) 驾驶员注视检测系统
CN103714660A (zh) 基于图像处理融合心率特征与表情特征实现疲劳驾驶判别的系统
CN103455820A (zh) 基于机器视觉技术的车辆检测和跟踪方法及系统
CN104091155A (zh) 光照鲁棒的虹膜快速定位方法
CN101615241B (zh) 一种证件照片的筛选方法
CN112381870B (zh) 一种基于双目视觉的船舶识别与航速测量系统及方法
CN104008399A (zh) 一种仪表检测中基于支持向量机的仪表指针抖动的识别方法
CN106446849A (zh) 一种疲劳驾驶检测方法
CN106214166A (zh) 一种戴眼镜驾驶员疲劳检测方法
CN103927509A (zh) 眼睛定位方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Open date: 20091202