CN108108651A - 基于视频人脸分析的驾驶员非专心驾驶检测方法及系统 - Google Patents
基于视频人脸分析的驾驶员非专心驾驶检测方法及系统 Download PDFInfo
- Publication number
- CN108108651A CN108108651A CN201611075604.8A CN201611075604A CN108108651A CN 108108651 A CN108108651 A CN 108108651A CN 201611075604 A CN201611075604 A CN 201611075604A CN 108108651 A CN108108651 A CN 108108651A
- Authority
- CN
- China
- Prior art keywords
- face
- driver
- wholwe
- human face
- hearted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开一种基于视频人脸分析的驾驶员非专心驾驶检测方法及系统,该方法包括如下步骤:在驾驶的过程中,获取驾驶员头部的视频序列;对视频序列进行人脸检测,得到人脸图像;对人脸图像进行特征定位;将定位的人脸特征映射到三维模型上,得到驾驶员的人脸姿态数据;以及从定位的人脸特征中,提取嘴巴特征点信息,得到驾驶员的口型数据;根据驾驶员的人脸姿态数据及口型数据,判断驾驶员是否为非专心驾驶。本发明的技术方案在黑夜、光照不均匀或戴墨镜等各种复杂场景下,提高判断驾驶员非疲劳驾驶的可靠性和准确性。
Description
技术领域
本发明涉及视频处理技术领域,尤其涉及一种基于视频人脸分析的驾驶员非专心驾驶检测方法及系统。
背景技术
疲劳驾驶曾被认为是导致道路交通事故最重要的原因,但统计数据表明,不专心驾驶(例如开车玩手机、长时间交谈)引发的事故比例高过疲劳驾驶。另一方面来说,疲劳驾驶也可以归类为不专心驾驶里面。如此,开发高性能的驾驶员非专心驾驶的检测系统,通过对驾驶员实时监测并适当预警,能够大大降低因不专心驾驶而造成的交通事故。现有基于视频的驾驶员疲劳驾驶检测的方法及系统,都是基于人脸检测和眼睛瞳孔判定,通过对瞳孔状态及眼睛闭合的程度来判定是否为驾驶员疲劳驾驶。基于驾驶员眼睛闭合程度判定的疲劳驾驶检测方法在理想化环境的一定程度上可以起到提醒驾驶员不要疲劳驾驶的目的。但这类方法的效果极其有限,还不足以应付各类驾驶场合,例如对于佩戴墨镜时系统不能检测到眼睛瞳孔、夜间摄像头捕捉不到正常人脸图像、或光照变化特别大无法捕捉特征而失去作用。对于驾驶员并不处于疲劳驾驶,但处于不专心驾驶的情形,目前的方法及系统并未涉及,未能起到有效提醒的作用。
发明内容
为解决上述至少一技术问题,本发明的主要目的是提供一种基于视频人脸分析的驾驶员非专心驾驶检测方法。
为实现上述目的,本发明采用的一个技术方案为:提供一种基于视频人脸分析的驾驶员非专心驾驶检测方法,包括如下步骤:
在驾驶的过程中,获取驾驶员头部的视频序列;
对视频序列进行人脸检测,得到人脸图像;
对人脸图像进行特征定位;
将定位的人脸特征映射到三维模型上,得到驾驶员的人脸姿态数据;以及
从定位的人脸特征中,提取嘴巴特征点信息,得到驾驶员的口型数据;
根据驾驶员的人脸姿态数据及口型数据,判断驾驶员是否为非专心驾驶。
优选地,所述对人脸图像进行特征定位的步骤,具体包括:
归一化人脸图像,使人脸图像的尺寸统一;
计算归一化人脸图像的均值人脸,并将均值人脸作为估计人脸,并放在人脸图像上,使均值中心和真实人脸形状中心对齐;
计算基于每一个均值人脸的标记点的非灰度值特征,并将所有标记点的非灰度值特征组合形成样本特征,记作矩阵I;
计算估计人脸和真实人脸之间的偏移量,并形成矩阵R;
根据样本特征矩阵I及估计人脸和真实人脸之间的偏移量矩阵R计算出估计人脸与真实人脸偏移量的映射矩阵。
优选地,所述将定位的人脸特征根据映射矩阵映射到三维模型上,得到驾驶员的人脸姿态数据的步骤,具体包括:
对3D人脸模型渲染的相关人脸图像提取面部特征;
建立人脸图像2D-3D的对应关系,将提取的人脸图像的面部特征映射到给定的3D人脸模型;以及
根据旋转向量及3D人脸模型初始方向向量,计算出表达人脸姿态的向量。
优选地,所述从定位的人脸特征中,提取嘴巴特征点信息,得到驾驶员的口型数据的步骤,具体包括:
分别计算每一帧嘴巴第n个特征点与前i帧对应特征点、以及第n个特征点与后i帧对应特征点的横坐标与纵坐标的距离偏移度,得到偏移度坐标;
根据正态加权累积m帧嘴巴偏移度;
根据大量说话与不说话时的口型样本,聚类得到偏移度坐标的阈值范围,并将阈值范围拟合成闭合域;
在第n个特征点的偏移度坐标落入闭合域时,判断为说话口型。
优选地,所述根据驾驶员的人脸姿态数据及口型数据,判断驾驶员是否为非专心驾驶的步骤,具体包括:
根据专心驾驶和非专心驾驶图像样本,聚类分析得到专心驾驶的人脸姿态范围,在人脸姿态偏侧角度序列超过既定专心驾驶姿态范围时,认定为非专心驾驶;
根据每帧嘴巴的特征点进行运动描述,聚类分析得到嘴巴运动时间窗范围,在嘴巴运动时间窗超过既定专心驾驶时嘴巴运动时间窗范围时,认定为非专心驾驶。
为实现上述目的,本发明采用的一个技术方案为:提供一种基于视频人脸分析的驾驶员非专心驾驶检测系统,包括:
获取模块,用于在驾驶的过程中,获取驾驶员头部的视频序列;
检测模块,用于对视频序列进行人脸检测,得到人脸图像;
定位模块,用于对人脸图像进行特征定位;
第一计算模块,用于将定位的人脸特征映射到三维模型上,得到驾驶员的人脸姿态数据;以及
第二计算模块,用于从定位的人脸特征中,提取嘴巴特征点信息,得到驾驶员的口型数据;
认定模块,用于根据驾驶员的人脸姿态数据及口型数据,判断驾驶员是否为非专心驾驶。
优选地,所述定位模块,具体用于:
归一化人脸图像,使人脸图像的尺寸统一;
计算归一化人脸图像的均值人脸,并将均值人脸作为估计人脸,并放在人脸图像上,使均值中心和真实人脸形状中心对齐;
计算基于每一个均值人脸的标记点的非灰度值特征,并将所有标记点的非灰度值特征组合形成样本特征,记作矩阵I;
计算估计人脸和真实人脸之间的偏移量,并形成矩阵R;
根据样本特征矩阵I及估计人脸和真实人脸之间的偏移量矩阵R计算出估计人脸与真实人脸偏移量的映射矩阵。
优选地,所述第一计算模块,具体用于:
对3D人脸模型渲染的相关人脸图像提取面部特征;
建立人脸图像2D-3D的对应关系,将提取的人脸图像的面部特征映射到给定的3D人脸模型;以及
根据旋转向量及3D人脸模型初始方向向量,计算出表达人脸姿态的向量。
优选地,所述第二计算模块,具体用于:
分别计算每一帧嘴巴第n个特征点与前i帧对应特征点、以及第n个特征点与后i帧对应特征点的横坐标与纵坐标的距离偏移度,得到偏移度坐标;
根据正态加权累积m帧嘴巴偏移度;
根据大量说话与不说话时的口型样本,聚类得到偏移度坐标的阈值范围,并将阈值范围拟合成闭合域;
在第n个特征点的偏移度坐标落入闭合域时,判断为说话口型。
优选地,所述认定模块,具体用于:
根据专心驾驶和非专心驾驶图像样本,聚类分析得到专心驾驶的人脸姿态范围,在人脸姿态偏侧角度序列超过既定专心驾驶姿态范围时,认定为非专心驾驶;
根据每帧嘴巴的特征点进行运动描述,聚类分析得到嘴巴运动时间窗范围,在嘴巴运动时间窗超过既定专心驾驶时嘴巴运动时间窗范围时,认定为非专心驾驶。
本发明的技术方案通过将定位的人脸特征映射到三维模型上,得到驾驶员的人脸姿态数据;以及从定位的人脸特征中,提取嘴巴特征点信息,得到驾驶员的口型数据;根据驾驶员的人脸姿态数据及口型数据,判断驾驶员是否为非专心驾驶,能够在黑夜、光照不均匀或戴墨镜等各种复杂场景下,提高认定驾驶员非专心驾驶的可靠性和准确性;及时提醒驾驶员,增加行车的安全性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图示出的结构获得其他的附图。
图1为本发明一实施例基于视频人脸分析的驾驶员非专心驾驶检测方法的流程图;
图2为本发明一实施例基于视频人脸分析的驾驶员非专心驾驶检测系统的方框图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明,本发明中涉及“第一”、“第二”等的描述仅用于描述目的,而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外,各个实施例之间的技术方案可以相互结合,但是必须是以本领域普通技术人员能够实现为基础,当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在,也不在本发明要求的保护范围之内。
请参照图1,在本发明实施例中,该基于视频人脸分析的驾驶员非专心驾驶检测方法,包括如下步骤:
步骤S10、在驾驶的过程中,获取驾驶员头部的视频序列;
本步骤中,可以通过红外摄像头获取驾驶员头部的视频序列,优选地,该红外摄像头拍摄的是驾驶员头部正前方的头部视频。
步骤S20、对视频序列进行人脸检测,得到人脸图像;
本步骤中,可以根据Adaboost算法对视频序列进行人脸检测,
步骤S20,具体包括:通过大量的人脸及非人脸图像分别训练Adaboost分类器,然后将待检测的图像通过Adaboost分类器(即分层级联筛选器,一系列弱的筛选器串联的结合),最终通过所有筛选器的图像就是人脸图像。
步骤S30、对人脸图像进行特征定位;
本步骤,可以通过SDM(Supervised Descent Method,监督下降法)方法对检测到的人脸进行特征定位,采用SDM算法来求非线性的最小平方差进行特征定位,SDM人脸对齐的核心内容就是特征到偏移量的映射,其中I是特征,x是映射矩阵,R是偏移量,SDM人脸对齐方法训练的目的就是得到映射矩阵x,具体的步骤请参照下述的实施例。
步骤S40、将定位的人脸特征映射到三维模型上,得到驾驶员的人脸姿态数据;
步骤S50、从定位的人脸特征中,提取嘴巴特征点信息,得到驾驶员的口型数据;
步骤S60、根据驾驶员的人脸姿态数据及口型数据,判断驾驶员是否为非专心驾驶。
本实施例中,通过步骤S40能够得到人脸姿态数据,通过步骤S50能够得到口型数据,在步骤S60中能够利用人脸姿态数据及口型数据为基础,判断驾驶员是否处于非专心驾驶状态。应该指出的是,本方法还可以在驾驶员处于非专心驾驶状态时,增加警告或提醒步骤,以提高驾驶员行车的安全性,能够大大减少交通事故的发生。
本发明的技术方案通过将定位的人脸特征映射到三维模型上,得到驾驶员的人脸姿态数据;以及从定位的人脸特征中,提取嘴巴特征点信息,得到驾驶员的口型数据;根据驾驶员的人脸姿态数据及口型数据,判断驾驶员是否为非专心驾驶,能够在黑夜、光照不均匀或戴墨镜等各种复杂场景下,提高认定驾驶员非专心驾驶的可靠性和准确性;及时提醒驾驶员,增加行车的安全性。
在一具体的实施例中,所述对人脸图像进行特征定位的步骤S30,具体包括:
步骤S31、归一化人脸图像,使人脸图像的尺寸统一;
步骤S32、计算归一化人脸图像的均值人脸,并将均值人脸作为估计人脸,并放在人脸图像上,使均值中心和真实人脸形状中心对齐;
步骤S33、计算基于每一个均值人脸的标记点的非灰度值特征,并将所有标记点的非灰度值特征组合形成样本特征,记作矩阵I;该非灰度值特征可以为SIFT特征、SURF特征或者HOG特征等。
步骤S34、计算估计人脸和真实人脸之间的偏移量,并形成矩阵R;
步骤S35、根据样本特征矩阵I及估计人脸和真实人脸之间的偏移量矩阵R计算出估计人脸与真实人脸偏移量的映射矩阵。
通过本实施例,可以得出线性方程Ix=R,其中,I是特征,x是映射矩阵,R是偏移量,估计形状加上预测偏移量就可以得到对齐结果。
在一具体的实施例中,所述将定位的人脸特征根据映射矩阵映射到三维模型上,得到驾驶员的人脸姿态数据的步骤S40,具体包括:
步骤S41、对3D人脸模型渲染的相关人脸图像提取面部特征;
步骤S42、建立人脸图像2D-3D的对应关系,将提取的人脸图像的面部特征映射到给定的3D人脸模型;以及
步骤S43、根据旋转向量及3D人脸模型初始方向向量,计算出表达人脸姿态的向量。
本实施例中,可求其映射的旋转及平移矩阵CM=AM[RMtM],其中,AM是内参矩阵,RM表示旋转向量,tM表示平移向量,在检测面部特征点可表示为:pi=(xi,yi)T,对于每个2D特征点pi与3D坐标P=(X,Y,Z)T,存在p~CMP。并且,根据旋转向量RM及3D模型初始方向向量Os,可以求取表达人脸姿态的向量Ot,有Ot T=RMOs T。
在一具体的实施例中,所述从定位的人脸特征中,提取嘴巴特征点信息,得到驾驶员的口型数据的步骤S50,具体包括:
步骤S51、分别计算每一帧嘴巴第n个特征点pn=(xn,yn)与前i帧对应特征点pn(t-i)、以及第n个特征点与后i帧对应特征点pn(t+i)的横坐标与纵坐标的距离偏移度Δpx,n(t)和Δpy,n(t),得到偏移度坐标;
Δpn(t)=Δpn(t-i)+Δpn(t+i),
步骤S52、根据正态加权累积m帧嘴巴偏移度;
该偏移度为:
步骤S53、根据大量说话与不说话时的口型样本,聚类得到偏移度坐标的阈值范围,并将阈值范围拟合成闭合域;
步骤S54、在第n个特征点的偏移度坐标Δp=(Δpx,Δpy)落入闭合域时,判断为说话口型。
本实施例中,可计算出口型数据。
在一具体的实施例中,所述根据驾驶员的人脸姿态数据及口型数据,判断驾驶员是否为非专心驾驶的步骤S60,具体包括:
步骤S61、根据专心驾驶和非专心驾驶图像样本,聚类分析得到专心驾驶的人脸姿态范围,在人脸姿态偏侧角度序列超过既定专心驾驶姿态范围时,认定为非专心驾驶;
本步骤中,得到每帧面部姿态坐标的规范化表达(α,β,γ),可把偏头交谈、低头玩手机或抬头打盹认定为非专心驾驶。根据上述的专心驾驶和非专心驾驶图像样本,聚类分析得到专心驾驶的人脸姿态范围。
步骤S62、根据每帧嘴巴的特征点进行运动描述,聚类分析得到嘴巴运动时间窗范围,在嘴巴运动时间窗超过既定专心驾驶时嘴巴运动时间窗范围时,认定为非专心驾驶。
本步骤中,还可以把嘴巴运动时间窗作为认定非专心驾驶的依据。
请参照图2,在本发明的实施例中,该基于视频人脸分析的驾驶员非专心驾驶检测系统,包括:
获取模块10,用于在驾驶的过程中,获取驾驶员头部的视频序列;
该获取模块10可以是安装于驾驶员正前方的红外摄像机,该红外摄像机能捕获到驾驶员完整头部的视频序列。
检测模块20,用于对视频序列进行人脸检测,得到人脸图像;
该检测模块20,可以根据Adaboost算法对视频序列进行人脸检测。该检测模块20具体用于:通过大量的人脸及非人脸图像分别训练Adaboost分类器,然后将待检测的图像通过Adaboost分类器(即分层级联筛选器,一系列弱的筛选器串联的结合),最终通过所有筛选器的图像就是人脸图像。
定位模块30,用于对人脸图像进行特征定位;
该定位模块30,可以通过SDM(Supervised Descent Method,监督下降法)方法对检测到的人脸进行特征定位,采用SDM算法来求非线性的最小平方差进行特征定位,SDM人脸对齐的核心内容就是特征到偏移量的映射,其中I是特征,x是映射矩阵,R是偏移量,SDM人脸对齐方法训练的目的就是得到映射矩阵x,具体的步骤请参照下述的实施例。
第一计算模块40,用于将定位的人脸特征映射到三维模型上,得到驾驶员的人脸姿态数据;以及
第二计算模块50,用于从定位的人脸特征中,提取嘴巴特征点信息,得到驾驶员的口型数据;
认定模块60,用于根据驾驶员的人脸姿态数据及口型数据,判断驾驶员是否为非专心驾驶。
本实施例中,通过第一计算模块40能够得到人脸姿态数据,通过第二计算模块50能够得到口型数据,该认定模块60能够利用人脸姿态数据及口型数据为基础,判断驾驶员是否处于非专心驾驶状态。应该指出的是,本方法还可以在驾驶员处于非专心驾驶状态时,增加警告或提醒步骤,以提高驾驶员行车的安全性,能够大大减少交通事故的发生。
在一具体的实施例中,所述定位模块30,具体用于:
归一化人脸图像,使人脸图像的尺寸统一;
计算归一化人脸图像的均值人脸,并将均值人脸作为估计人脸,并放在人脸图像上,使均值中心和真实人脸形状中心对齐;
计算基于每一个均值人脸的标记点的非灰度值特征,并将所有标记点的非灰度值特征组合形成样本特征,记作矩阵I;该非灰度值特征可以为SIFT特征、SURF特征或者HOG特征等。
计算估计人脸和真实人脸之间的偏移量,并形成矩阵R;
根据样本特征矩阵I及估计人脸和真实人脸之间的偏移量矩阵R计算出估计人脸与真实人脸偏移量的映射矩阵。
通过本实施例,利用定位模块30得出线性方程Ix=R,其中,I是特征,x是映射矩阵,R是偏移量,估计形状加上预测偏移量就可以得到对齐结果。
在一具体的实施例中,所述第一计算模块40,具体用于:
对3D人脸模型渲染的相关人脸图像提取面部特征;
建立人脸图像2D-3D的对应关系,将提取的人脸图像的面部特征映射到给定的3D人脸模型;以及
根据旋转向量及3D人脸模型初始方向向量,计算出表达人脸姿态的向量。
本实施例中,通过第一计算模块40可求其映射的旋转及平移矩阵CM=AM[RMtM],其中,AM是内参矩阵,RM表示旋转向量,tM表示平移向量,在检测面部特征点可表示为:pi=(xi,yi)T,对于每个2D特征点pi与3D坐标P=(X,Y,Z)T,存在p~CMP。并且,根据旋转向量RM及3D模型初始方向向量Os,可以求取表达人脸姿态的向量Ot,有Ot T=RMOs T。
在一具体的实施例中,所述第二计算模块50,具体用于:
分别计算每一帧嘴巴第n个特征点pn=(xn,yn)与前i帧对应特征点pn(t-i)、以及第n个特征点与后i帧对应特征点pn(t+i)的横坐标与纵坐标的距离偏移度Δpx,n(t)和Δpy,n(t),得到偏移度坐标;
Δpn(t)=Δpn(t-i)+Δpn(t+i),
根据正态加权累积m帧嘴巴偏移度;
该偏移度为:
根据大量说话与不说话时的口型样本,聚类得到偏移度坐标的阈值范围,并将阈值范围拟合成闭合域;
在第n个特征点的偏移度坐标Δp=(Δpx,Δpy)落入闭合域时,判断为说话口型。
本实施例,通过第二计算模块50可计算口型数据。
在一具体的实施例中,所述认定模块60,具体用于:
根据专心驾驶和非专心驾驶图像样本,聚类分析得到专心驾驶的人脸姿态范围,在人脸姿态偏侧角度序列超过既定专心驾驶姿态范围时,认定为非专心驾驶;
本实施例中,得到每帧面部姿态坐标的规范化表达(α,β,γ),可把偏头交谈、低头玩手机或抬头打盹认定为非专心驾驶。根据上述的专心驾驶和非专心驾驶图像样本,聚类分析得到专心驾驶的人脸姿态范围。
根据每帧嘴巴的特征点进行运动描述,聚类分析得到嘴巴运动时间窗范围,在嘴巴运动时间窗超过既定专心驾驶时嘴巴运动时间窗范围时,认定为非专心驾驶。
本实施例中,还可以把嘴巴运动时间窗作为认定非专心驾驶的依据。
以上所述仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是在本发明的发明构思下,利用本发明说明书及附图内容所作的等效结构变换,或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。
Claims (10)
1.一种基于视频人脸分析的驾驶员非专心驾驶检测方法,其特征在于,所述基于视频人脸分析的驾驶员非专心驾驶检测方法包括如下步骤:
在驾驶的过程中,获取驾驶员头部的视频序列;
对视频序列进行人脸检测,得到人脸图像;
对人脸图像进行特征定位;
将定位的人脸特征映射到三维模型上,得到驾驶员的人脸姿态数据;以及
从定位的人脸特征中,提取嘴巴特征点信息,得到驾驶员的口型数据;
根据驾驶员的人脸姿态数据及口型数据,判断驾驶员是否为非专心驾驶。
2.如权利要求1所述的基于视频人脸分析的驾驶员非专心驾驶检测方法,其特征在于,所述对人脸图像进行特征定位的步骤,具体包括:
归一化人脸图像,使人脸图像的尺寸统一;
计算归一化人脸图像的均值人脸,并将均值人脸作为估计人脸,并放在人脸图像上,使均值中心和真实人脸形状中心对齐;
计算基于每一个均值人脸的标记点的非灰度值特征,并将所有标记点的非灰度值特征组合形成样本特征,记作矩阵I;
计算估计人脸和真实人脸之间的偏移量,并形成矩阵R;
根据样本特征矩阵I及估计人脸和真实人脸之间的偏移量矩阵R计算出估计人脸与真实人脸偏移量的映射矩阵。
3.如权利要求2所述的基于视频人脸分析的驾驶员非专心驾驶检测方法,其特征在于,所述将定位的人脸特征根据映射矩阵映射到三维模型上,得到驾驶员的人脸姿态数据的步骤,具体包括:
对3D人脸模型渲染的相关人脸图像提取面部特征;
建立人脸图像2D-3D的对应关系,将提取的人脸图像的面部特征映射到给定的3D人脸模型;以及
根据旋转向量及3D人脸模型初始方向向量,计算出表达人脸姿态的向量。
4.如权利要求3所述的基于视频人脸分析的驾驶员非专心驾驶检测方法,其特征在于,所述从定位的人脸特征中,提取嘴巴特征点信息,得到驾驶员的口型数据的步骤,具体包括:
分别计算每一帧嘴巴第n个特征点与前i帧对应特征点、以及第n个特征点与后i帧对应特征点的横坐标与纵坐标的距离偏移度,得到偏移度坐标;
根据正态加权累积m帧嘴巴偏移度;
根据大量说话与不说话时的口型样本,聚类得到偏移度坐标的阈值范围,并将阈值范围拟合成闭合域;
在第n个特征点的偏移度坐标落入闭合域时,判断为说话口型。
5.如权利要求4所述的基于视频人脸分析的驾驶员非专心驾驶检测方法,其特征在于,所述根据驾驶员的人脸姿态数据及口型数据,判断驾驶员是否为非专心驾驶的步骤,具体包括:
根据专心驾驶和非专心驾驶图像样本,聚类分析得到专心驾驶的人脸姿态范围,在人脸姿态偏侧角度序列超过既定专心驾驶姿态范围时,认定为非专心驾驶;
根据每帧嘴巴的特征点进行运动描述,聚类分析得到嘴巴运动时间窗范围,在嘴巴运动时间窗超过既定专心驾驶时嘴巴运动时间窗范围时,认定为非专心驾驶。
6.一种基于视频人脸分析的驾驶员非专心驾驶检测系统,其特征在于,所述基于视频人脸分析的驾驶员非专心驾驶检测系统包括:
获取模块,用于在驾驶的过程中,获取驾驶员头部的视频序列;
检测模块,用于对视频序列进行人脸检测,得到人脸图像;
定位模块,用于对人脸图像进行特征定位;
第一计算模块,用于将定位的人脸特征映射到三维模型上,得到驾驶员的人脸姿态数据;以及
第二计算模块,用于从定位的人脸特征中,提取嘴巴特征点信息,得到驾驶员的口型数据;
认定模块,用于根据驾驶员的人脸姿态数据及口型数据,判断驾驶员是否为非专心驾驶。
7.如权利要求6所述的基于视频人脸分析的驾驶员非专心驾驶检测系统,其特征在于,所述定位模块,具体用于:
归一化人脸图像,使人脸图像的尺寸统一;
计算归一化人脸图像的均值人脸,并将均值人脸作为估计人脸,并放在人脸图像上,使均值中心和真实人脸形状中心对齐;
计算基于每一个均值人脸的标记点的非灰度值特征,并将所有标记点的非灰度值特征组合形成样本特征,记作矩阵I;
计算估计人脸和真实人脸之间的偏移量,并形成矩阵R;
根据样本特征矩阵I及估计人脸和真实人脸之间的偏移量矩阵R计算出估计人脸与真实人脸偏移量的映射矩阵。
8.如权利要求7所述的基于视频人脸分析的驾驶员非专心驾驶检测系统,其特征在于,所述第一计算模块,具体用于:
对3D人脸模型渲染的相关人脸图像提取面部特征;
建立人脸图像2D-3D的对应关系,将提取的人脸图像的面部特征映射到给定的3D人脸模型;以及
根据旋转向量及3D人脸模型初始方向向量,计算出表达人脸姿态的向量。
9.如权利要求8所述的基于视频人脸分析的驾驶员非专心驾驶检测系统,其特征在于,所述第二计算模块,具体用于:
分别计算每一帧嘴巴第n个特征点与前i帧对应特征点、以及第n个特征点与后i帧对应特征点的横坐标与纵坐标的距离偏移度,得到偏移度坐标;
根据正态加权累积m帧嘴巴偏移度;
根据大量说话与不说话时的口型样本,聚类得到偏移度坐标的阈值范围,并将阈值范围拟合成闭合域;
在第n个特征点的偏移度坐标落入闭合域时,判断为说话口型。
10.如权利要求9所述的基于视频人脸分析的驾驶员非专心驾驶检测系统,其特征在于,所述认定模块,具体用于:
根据专心驾驶和非专心驾驶图像样本,聚类分析得到专心驾驶的人脸姿态范围,在人脸姿态偏侧角度序列超过既定专心驾驶姿态范围时,认定为非专心驾驶;
根据每帧嘴巴的特征点进行运动描述,聚类分析得到嘴巴运动时间窗范围,在嘴巴运动时间窗超过既定专心驾驶时嘴巴运动时间窗范围时,认定为非专心驾驶。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611075604.8A CN108108651B (zh) | 2016-11-25 | 2016-11-25 | 基于视频人脸分析的驾驶员非专心驾驶检测方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611075604.8A CN108108651B (zh) | 2016-11-25 | 2016-11-25 | 基于视频人脸分析的驾驶员非专心驾驶检测方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108108651A true CN108108651A (zh) | 2018-06-01 |
CN108108651B CN108108651B (zh) | 2022-02-11 |
Family
ID=62207020
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201611075604.8A Active CN108108651B (zh) | 2016-11-25 | 2016-11-25 | 基于视频人脸分析的驾驶员非专心驾驶检测方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108108651B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109657550A (zh) * | 2018-11-15 | 2019-04-19 | 中科院微电子研究所昆山分所 | 一种疲劳度检测方法及装置 |
CN110532887A (zh) * | 2019-07-31 | 2019-12-03 | 郑州大学 | 一种基于面部特征融合的疲劳驾驶检测方法及系统 |
CN111985307A (zh) * | 2020-07-07 | 2020-11-24 | 深圳市自行科技有限公司 | 驾驶员特定动作检测方法、系统和装置 |
CN113657146A (zh) * | 2021-06-30 | 2021-11-16 | 北京惠朗时代科技有限公司 | 一种基于单幅图像的学生非专注学习低耗识别方法及装置 |
CN114596687A (zh) * | 2020-12-01 | 2022-06-07 | 咸瑞科技股份有限公司 | 车内驾驶监测系统 |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5625704A (en) * | 1994-11-10 | 1997-04-29 | Ricoh Corporation | Speaker recognition using spatiotemporal cues |
US6927694B1 (en) * | 2001-08-20 | 2005-08-09 | Research Foundation Of The University Of Central Florida | Algorithm for monitoring head/eye motion for driver alertness with one camera |
CN101032405A (zh) * | 2007-03-21 | 2007-09-12 | 汤一平 | 基于全方位计算机视觉的安全驾驶辅助装置 |
US20080212828A1 (en) * | 2007-02-16 | 2008-09-04 | Denso Corporation | Device, program, and method for determining sleepiness |
CN101763636A (zh) * | 2009-09-23 | 2010-06-30 | 中国科学院自动化研究所 | 视频序列中的三维人脸位置和姿态跟踪的方法 |
CN101777116A (zh) * | 2009-12-23 | 2010-07-14 | 中国科学院自动化研究所 | 一种基于动作跟踪的脸部表情分析方法 |
CN101908149A (zh) * | 2010-07-06 | 2010-12-08 | 北京理工大学 | 一种从人脸图像序列中识别脸部表情的方法 |
US20110115786A1 (en) * | 2009-11-16 | 2011-05-19 | Sony Corporation | Image processing apparatus, image processing method, and program |
CN103092329A (zh) * | 2011-10-31 | 2013-05-08 | 南开大学 | 一种基于唇读技术的唇语输入方法 |
CN103400471A (zh) * | 2013-08-12 | 2013-11-20 | 电子科技大学 | 一种驾驶员疲劳驾驶检测系统及检测方法 |
CN104574819A (zh) * | 2015-01-09 | 2015-04-29 | 安徽清新互联信息科技有限公司 | 一种基于嘴巴特征的疲劳驾驶检测方法 |
CN104688251A (zh) * | 2015-03-02 | 2015-06-10 | 西安邦威电子科技有限公司 | 一种多姿态下的疲劳及非正常姿态驾驶检测方法 |
CN105354987A (zh) * | 2015-11-26 | 2016-02-24 | 南京工程学院 | 车载型疲劳驾驶检测与身份认证装置及其检测方法 |
CN105975935A (zh) * | 2016-05-04 | 2016-09-28 | 腾讯科技(深圳)有限公司 | 一种人脸图像处理方法和装置 |
-
2016
- 2016-11-25 CN CN201611075604.8A patent/CN108108651B/zh active Active
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5625704A (en) * | 1994-11-10 | 1997-04-29 | Ricoh Corporation | Speaker recognition using spatiotemporal cues |
US6927694B1 (en) * | 2001-08-20 | 2005-08-09 | Research Foundation Of The University Of Central Florida | Algorithm for monitoring head/eye motion for driver alertness with one camera |
US20080212828A1 (en) * | 2007-02-16 | 2008-09-04 | Denso Corporation | Device, program, and method for determining sleepiness |
CN101032405A (zh) * | 2007-03-21 | 2007-09-12 | 汤一平 | 基于全方位计算机视觉的安全驾驶辅助装置 |
CN101763636A (zh) * | 2009-09-23 | 2010-06-30 | 中国科学院自动化研究所 | 视频序列中的三维人脸位置和姿态跟踪的方法 |
US20110115786A1 (en) * | 2009-11-16 | 2011-05-19 | Sony Corporation | Image processing apparatus, image processing method, and program |
CN101777116A (zh) * | 2009-12-23 | 2010-07-14 | 中国科学院自动化研究所 | 一种基于动作跟踪的脸部表情分析方法 |
CN101908149A (zh) * | 2010-07-06 | 2010-12-08 | 北京理工大学 | 一种从人脸图像序列中识别脸部表情的方法 |
CN103092329A (zh) * | 2011-10-31 | 2013-05-08 | 南开大学 | 一种基于唇读技术的唇语输入方法 |
CN103400471A (zh) * | 2013-08-12 | 2013-11-20 | 电子科技大学 | 一种驾驶员疲劳驾驶检测系统及检测方法 |
CN104574819A (zh) * | 2015-01-09 | 2015-04-29 | 安徽清新互联信息科技有限公司 | 一种基于嘴巴特征的疲劳驾驶检测方法 |
CN104688251A (zh) * | 2015-03-02 | 2015-06-10 | 西安邦威电子科技有限公司 | 一种多姿态下的疲劳及非正常姿态驾驶检测方法 |
CN105354987A (zh) * | 2015-11-26 | 2016-02-24 | 南京工程学院 | 车载型疲劳驾驶检测与身份认证装置及其检测方法 |
CN105975935A (zh) * | 2016-05-04 | 2016-09-28 | 腾讯科技(深圳)有限公司 | 一种人脸图像处理方法和装置 |
Non-Patent Citations (11)
Title |
---|
CHU JIANGWEI等: "A monitoring method of driver mouth behavior based on machine vision", 《2004 IEEE INTELLIGENT VEHICLES SYMPOSIUM》 * |
FANGWEN ZHAI等: "A detection model for driver"s unsafe states based on real-time face-vision", 《2010 INTERNATIONAL CONFERENCE ON IMAGE ANALYSIS AND SIGNAL PROCESSING》 * |
M. OMIDYEGANEH等: "Intelligent driver drowsiness detection through fusion of yawning and eye closure", 《2011 IEEE INTERNATIONAL CONFERENCE ON VIRTUAL ENVIRONMENTS, HUMAN-COMPUTER INTERFACES AND MEASUREMENT SYSTEMS PROCEEDINGS》 * |
YINGEN XIONG等: "Detection of Mouth Movements and its Applications to Cross-Modal Analysis of Planning Meetings", 《2009 INTERNATIONAL CONFERENCE ON MULTIMEDIA INFORMATION NETWORKING AND SECURITY》 * |
刘军等著: "《基因芯片制备及数据分析技术》", 31 May 2015, 西安电子科技大学出版社 * |
刘露: "图像中的唇部区域分割和特征提取研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
孙奇飞: "人脸疲劳状态的识别与研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
张丽雯等: "基于面部特征的疲劳驾驶检测", 《合肥工业大学学报(自然科学版)》 * |
程文冬等: "非约束条件下的驾驶人嘴唇检测方法", 《长安大学学报(自然科学版)》 * |
覃正著: "《距离管理》", 30 April 2005, 西安交通大学出版社 * |
邬敏杰: "基于眼睛和嘴巴状态的驾驶员疲劳检测算法", 《计算机应用与软件》 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109657550A (zh) * | 2018-11-15 | 2019-04-19 | 中科院微电子研究所昆山分所 | 一种疲劳度检测方法及装置 |
CN110532887A (zh) * | 2019-07-31 | 2019-12-03 | 郑州大学 | 一种基于面部特征融合的疲劳驾驶检测方法及系统 |
CN111985307A (zh) * | 2020-07-07 | 2020-11-24 | 深圳市自行科技有限公司 | 驾驶员特定动作检测方法、系统和装置 |
CN114596687A (zh) * | 2020-12-01 | 2022-06-07 | 咸瑞科技股份有限公司 | 车内驾驶监测系统 |
CN113657146A (zh) * | 2021-06-30 | 2021-11-16 | 北京惠朗时代科技有限公司 | 一种基于单幅图像的学生非专注学习低耗识别方法及装置 |
CN113657146B (zh) * | 2021-06-30 | 2024-02-06 | 北京惠朗时代科技有限公司 | 一种基于单幅图像的学生非专注学习低耗识别方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN108108651B (zh) | 2022-02-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108108651A (zh) | 基于视频人脸分析的驾驶员非专心驾驶检测方法及系统 | |
CN106530623B (zh) | 一种疲劳驾驶检测装置及检测方法 | |
Hassner et al. | Effective face frontalization in unconstrained images | |
CN105354988B (zh) | 一种基于机器视觉的驾驶员疲劳驾驶检测系统及检测方法 | |
CN108446645B (zh) | 基于深度学习的车载人脸识别方法 | |
CN101464944B (zh) | 一种基于统计特征的人群密度分析方法 | |
CN113034397B (zh) | 一种实时多环境自适应轨迹自动溯源的高空抛物检测方法 | |
CN107491769A (zh) | 基于AdaBoost算法的疲劳驾驶检测方法及系统 | |
CN104574820B (zh) | 一种基于眼睛特征的疲劳驾驶检测方法 | |
CN110334600A (zh) | 一种多特征融合驾驶员异常表情识别方法 | |
CN105205455A (zh) | 一种移动平台上人脸识别的活体检测方法及系统 | |
CN105117681A (zh) | 基于安卓的多特征疲劳实时检测方法 | |
CN108596041A (zh) | 一种基于视频的人脸活体检测方法 | |
CN111626272A (zh) | 一种基于深度学习的驾驶员疲劳监测系统 | |
CN111062292A (zh) | 一种疲劳驾驶检测装置与方法 | |
CN113298059A (zh) | 受电弓异物入侵检测方法、装置、计算机设备、系统及存储介质 | |
CN115082825A (zh) | 一种基于视频实时人体跌倒检测及报警的方法和装置 | |
CN103544478A (zh) | 一种全方位人脸检测的方法及系统 | |
CN106611165B (zh) | 一种基于相关滤波和颜色匹配的汽车车窗检测方法及装置 | |
CN113536967A (zh) | 基于驾驶员头部运动姿态与人眼开合度的驾驶员状态辨识方法、装置、电子设备 | |
CN106981169A (zh) | 一种低头族骑车安全监测与警告方法 | |
CN104077571B (zh) | 一种采用单类序列化模型的人群异常行为检测方法 | |
CN104143195B (zh) | 一种手势跟踪过程中手形变化导致跟踪偏移的修正方法 | |
CN115841651A (zh) | 基于计算机视觉与深度学习的施工人员智能监测系统 | |
CN107480629A (zh) | 一种基于深度信息的疲劳驾驶检测方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |