CN107818310A - 一种基于视线的驾驶员注意力检测方法 - Google Patents
一种基于视线的驾驶员注意力检测方法 Download PDFInfo
- Publication number
- CN107818310A CN107818310A CN201711070372.1A CN201711070372A CN107818310A CN 107818310 A CN107818310 A CN 107818310A CN 201711070372 A CN201711070372 A CN 201711070372A CN 107818310 A CN107818310 A CN 107818310A
- Authority
- CN
- China
- Prior art keywords
- driver
- key point
- attention
- face
- face key
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Geometry (AREA)
- Human Computer Interaction (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于视线的驾驶员注意力检测方法,其包含了人脸2D关键点检测、3D人脸特征提取、墨镜检测、视线估计和注意力区域检测5个部分;视线是表达驾驶员注意力状态的最好方式,但当驾驶员穿戴墨镜时,无法进行视线估计,因此本发明通过计算机视觉相关算法检测驾驶员是否穿戴墨镜;在驾驶员穿戴墨镜情景下,使用驾驶员头部朝向替代视线作为注意力方向。本发明通过自动化监测系统检测驾驶员的注意力状态,能够有效地减少由于分心驾驶,从而减少交通事故的发生;对于不同的光照条件以及驾驶员特征都具有良好的鲁棒性,且实时性良好,危险时刻能够及时地发出提醒。
Description
技术领域
本发明属于计算机视觉技术领域,具体是一种基于视线的驾驶员注意力检测方法,应用于驾驶员注意力检测场景当中。
背景技术
目前,驾驶员分心驾驶是导致交通事故发生的主要因素。根据国家公路交通安全管理局(NHTSA)以及VTTI的研究表明,70%的交通事故中都存在着驾驶员注意力分散的因素。驾驶员分心驾驶是指将驾驶员的注意力从专注于驾驶转移到其他任何活动上的行为。比如,发短信、打电话、吃东西、操作GPS等常见行为都会导致分心驾驶。有研究表明,在驾驶同时进行其他任务时(发短信、打电话等)会加重驾驶员的认知负荷,而目前这种现象愈加频繁,也就导致了分心驾驶出现的频率越来越高。当驾驶员认知负荷增加时会体现在驾驶员的视觉行为和驾驶行为上。因此通过监视驾驶员的视觉行为能够有效的对驾驶员注意力进行监视。避免分心驾驶导致的危险。
基于视觉实时监测真实驾驶环境下的驾驶员注意力状态是相当具有挑战性的。难点主要包括:(1)存在白天,黑夜等不同的光照条件;(2)驾驶员的表情和头部姿态具有多样性;(3)驾驶员存在人种,性别以及年龄等差异;(4)驾驶员穿戴眼镜影响检测效果。驾驶员注意力检测算法主要包含两个方向,基于硬件或者软件的方法。基于软件的方法又分为基于头部姿态和头部姿态与视线相结合两类。FaceLAB是一个商用的监测系统,使用基于立体视觉的眼动仪监测视线,头部姿态,眼睑以及瞳孔大小。这套系统已经应用于多个实际的辅助驾驶员场景中,但基于立体视觉的系统需要繁杂的初始化程序和昂贵的费用导致了其难以量产和推广。类似的,Smart Eye使用一个多摄像头系统生成驾驶员的3D头部模型,用于计算驾驶员的视线,头部姿态和眼睑状态。然而这种系统在商业汽车上进行推广的代价非常的高昂并且对于必须的硬件依赖非常的高,需要在车上额外安装硬件设施,极大的约束了系统的可移植性。因此,这类系统都很难在普通汽车上安装使用。
发明内容
本发明所要解决的技术问题是提供一种基于视线的驾驶员注意力检测方法,基于视线估计算法以及头部姿态估计算法检测驾驶员状态,具备搭建简单,对不同年龄、性别和人种的人以及实际驾驶环境的不同光照条件具有良好的鲁棒性,实时性好等优势。
为解决上述技术问题,本发明采用的技术方案是:
一种基于视线的驾驶员注意力检测方法,包括以下步骤:
步骤1:获取人脸位置并定位2D人脸关键点坐标;
步骤2:根据步骤1求取的2D人脸关键点坐标,构建3D头部模型,提取驾驶员当前状态下的3D人脸特征,即3D人脸关键点坐标以及头部姿态;
步骤3:在眼部区域计算尺度不变特征变换(Scale-invariant featuretransform,SIFT)特征,使用支持向量机(Support Vector Machine,SVM)训练模型,检测驾驶员是否穿戴墨镜,若穿戴墨镜则用步骤2获取的驾驶员头部姿态表示注意力方向;
步骤4:若没有穿戴墨镜,则构建简化的眼球模型,根据步骤1和步骤2求的2D以及3D人脸关键点坐标,获取其中的人眼关键点的2D以及3D坐标,并结合眼部空间结构关系计算3D坐标系下的视线方向,将视线方向作为注意力方向,所述人眼关键点包括上下眼睑和内外眼角点;
步骤5:根据步骤3和步骤4获取的注意力方向,结合划分的车内区域,确定驾驶员的注意力状态。
进一步的,在所述步骤1中,采用监督下降方法(Supervised Descent Method,SDM)提取2D人脸关键点坐标,具体为:
给定一张展开为m个像素的图片 表示n个2D人脸关键点坐标在图像中的位置;设h是尺度不变特征变换特征提取方程,在训练阶段已知真实的2D人脸关键点坐标为x*,xk表示第k次迭代后2D人脸关键点的坐标值;然后通过迭代更新xk,最小化方程的值,实现2D人脸关键点坐标的求解;其中φ*=h(d(x*)),表示在人工标记的2D人脸关键点所对应的尺度不变特征变换特征;在训练过程中,φ*是已知量;
迭代更新xk的方程为:其中φk-1=h(d(xk-1))是上一组2D人脸关键点提取出的特征向量,H、Jh分别是xk-1的海森矩阵和雅可比矩阵;使用梯度下降向量{Rk}和重缩放因子{bk}更新坐标值:xk=xk-1+Rk-1φk-1+bk-1,最终最小化f(xk)的值,使得xk成功收敛为x*,即当前图像中准确的2D人脸关键点坐标。
进一步的,在所述步骤2中,是通过解耦刚性与非刚性的头部运动来计算驾驶员当前状态下的3D人脸特征,具体包括3D人脸关键点坐标与头部姿态,即:
头部模型由形状向量表示,该形状向量将x,y,z坐标展开为一维列向量,其中n为步骤1中2D人脸关键点个数;通过Facewarehouse人脸数据集训练,构建出能变形的面部模型,形状向量q通过特征向量vi和平均形状向量表示:
根据步骤1中2D人脸关键点坐标将2D人脸关键点坐标与形状向量投影到2D的结果进行比较,最小化2D人脸关键点坐标与形状向量的投影距离,最终获取驾驶员真实的形状向量以及头部姿态参数:其中,k是第k个人脸关键点坐标的索引,是投影矩阵,是选择矩阵,用于选取与第k个人脸关键点对应的顶点,是通过头部姿态角度定义的旋转矩阵,是驾驶员头部在3D坐标系下的坐标,s是用于近似透视图像形成的比例因子;E表示2D人脸关键点坐标与形状向量投影的距离,在方程E中使用最优化方法,迭代更新姿态参数以及形状系数β,最小化偏差总和E的值,最终驾驶员的头部姿态由姿态参数表示,3D人脸关键点坐标由q表示。
进一步的,在所述步骤3中,检测驾驶员是否穿戴墨镜具体为:
首先提取驾驶员眼部区域的尺度不变特征变换特征h1,...,hn,再将所有尺度不变特征变换特征组合成特征向量Ψ,使用支持向量机在卡耐基梅隆(CMU)大学的Multi-PIE人脸数据库上进行训练模型,最后提取实时采集的眼部图像数据的尺度不变特征变换特征输入模型,判断是否穿戴墨镜。
进一步的,在所述步骤4中,采用基于3D眼球模型的视线估计方法来计算视线方向,具体为:
假设眼球是一个球形,瞳孔为与眼球镶嵌在一起的小球,则眼球中心相对于头部而言是一个固定点;
瞳孔中心检测:首先使用直方图均衡化、图像平滑、二值化方法,预处理眼部区域图像,再使用霍夫圆拟合算法检测瞳孔区域,取圆心作为瞳孔中心2D坐标;
检测出瞳孔中心2D坐标后,将其转化在3D坐标系下;根据步骤1和步骤2求得的2D以及3D人脸关键点,提取出其中的2D、3D人眼关键点,包括上下眼睑以及内外眼角点;首先三角化2D人眼关键点,确定瞳孔中心在哪个三角区域中,然后在该三角区域中,使用人眼关键点的3D坐标,通过三角区域顶点坐标计算三角区域的重心位置,重心位置坐标即作为瞳孔中心3D坐标;
通过眼球中心与瞳孔中心3D坐标组成的方向向量,作为驾驶员视线方向。
进一步的,所述步骤5具体为:
根据驾驶员穿戴墨镜情况,监测出驾驶员注意力方向后,计算注意力方向与车辆前挡风玻璃的交点,如果该交点不在驾驶前方区域内,则表示驾驶员当前处于注意力不集中的状态。
与现有技术相比,本发明的有益效果是:在真实驾驶的多种复杂环境条件下,实时准确的检测驾驶员当前的注意力方向。其配置简单,实时性好,同时适用于白天黑夜等不同光照条件,对不同特征的驾驶员具有良好的鲁棒性。
附图说明
图1是本发明检测方法的流程示意图。
图2是本发明中瞳孔中心检测过程及效果示意图;其中,从左至右分别是原始图像、直方图均衡化后图像、中值滤波后图像、二值化后图像及最终检测结果。
图3是本发明中眼部2D示意图。
图4是本发明中3D眼球模型示意图。
图5是本发明中驾驶员的注意力方向示意图。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步的说明。
本发明中,使用CCD相机和近红外相机分别获取白天与夜晚的图像,使用面部表观以及形状信息进行训练,获取面部特征;然后解耦刚性与非刚性的头部运动使用最优化方法获取驾驶员的头部姿态;接着,使用SIFT特征训练SVM模型检测驾驶员是否穿戴墨镜,若穿戴墨镜,则使用头部姿态代表驾驶员注意力方向,否则使用驾驶员视线方向作为驾驶员注意力方向,其中驾驶员视线方向通过简化的三维眼球模型中固有的几何关系求解;最后结合驾驶员注意力方向和车内的区域划分位置,确定驾驶员注意力状态。本发明方法流程如图1所示,详述如下:
一:获取驾驶员面部特征,检测人脸关键点
常用的面部特征提取算法采用参数化表观模型(PAMs)表达面部特征,该方法在人为标定数据集上使用主成分分析(PCA)方法建立目标模型。但这种方法需要优化许多参数(50-60个),这也就导致其很容易收敛到局部最优解,无法得到准确的结果,而且PAMs仅仅对于训练样本中的特殊对象具有良好的效果,推广到一般性的对象时,检测鲁棒性不佳。最后,由于大多数据集包含的样本的局限性,PAMs只能对对称模型进行建模,无法解决非对称表情状态下的问题(如睁一只眼,闭一只眼)。
基于以上的限制,本发明使用监督下降方法(SDM)方法,该方法使用非参数形状模型,对非训练样本的情形具有较好的泛化能力。具体计算过程如下:
给定一张展开为m个像素的图片 表示n个2D人脸关键点坐标在图像中的位置,h是尺度不变特征变换(SIFT)特征提取方程,由于SIFT特征具有128维,因此在训练阶段已知真实的2D人脸关键点坐标已知为x*,将算法检测的2D人脸关键点坐标设置为xk,xk表示第k次迭代后2D人脸关键点的坐标值;然后通过迭代更新xk。然后最小化下述方程:
实现2D人脸关键点坐标的求解。
其中φ*=h(d(x*))表示在人工标记的人脸关键点所对应的SIFT特征,在训练过程中,φ*是已知的。具体的,使用牛顿法对方程进行迭代求解,牛顿法假设方程是连续平滑函数,对于二次方程来说能够很好的收敛于最小值邻域内。如果海森矩阵是正定的,那么最小值可以通过求解线性等式获取,方程为:
其中φk-1=h(d(xk-1))是上一组2D人脸关键点提取出的特征向量,H、Jh分别是xk-1的海森矩阵和雅可比矩阵,由于SIFT特征并不是可微的,因此海森矩阵和雅可比矩阵的求解需要使用数值近似的方式进行求解。考虑到数值近似方式的计算代价非常大,并且φ*在测试过程中是未知的,SDM使用一系列的梯度下降向量{Rk}和重缩放因子{bk}更新坐标值:
xk=xk-1+Rk-1φk-1+bk-1
最终xk成功收敛为x*,即当前图像中准确的2D人脸关键点坐标。
二:计算驾驶员头部姿态朝向
由于在实际驾驶环境下,驾驶员经常会改变其表情以及头部姿态。在这个场景下精确的检测头部姿态是一个非常具有挑战性的问题,本发明通过解耦刚性与非刚性的头部运动进行头部姿态估计。
头部模型由形状向量表示,该形状向量将x,y,z坐标展开为一维列向量,其中n为步骤一求解的2D人脸关键点个数。通过Facewarehouse人脸数据集训练,构建出可变形的面部模型,该模型包含了许多类型的人的不同表情的3D面部形状。一个新的3D形状向量q可以通过特征向量vi,形状系数β和和平均形状形状向量表示:
根据求解的人脸关键点坐标将2D人脸关键点坐标与形状向量投影到2D的结果进行比较,最小化2D人脸关键点坐标与形状向量的投影距离,最终获取驾驶员真实的形状向量以及头部姿态参数:
其中,k是第k个人脸关键点坐标的索引,是投影矩阵,是选择矩阵,用于选取与第k个人脸关键点对应的顶点,是通过头部姿态角度定义的旋转矩阵,是驾驶员头部在3D坐标系下的坐标,s是用于近似透视图像形成的比例因子;E表示2D人脸关键点坐标与形状向量投影的距离,在方程E中使用最优化方法,迭代更新姿态参数以及形状系数β,最小化偏差总和E的值,最终驾驶员的头部姿态由姿态参数表示,3D人脸关键点坐标由q表示。
步骤三:检测驾驶员是否穿戴墨镜
本发明对于驾驶员穿戴各类眼镜都具有良好的鲁棒性,但由于驾驶员穿戴墨镜时不可能准确的检测出驾驶员的眼部状态和视线,因此在穿戴墨镜时采用头部姿态表示驾驶员的注意力状态,针对这一特殊情况,特别进行了驾驶员墨镜穿戴检测。
墨镜检测首先提取驾驶员眼部区域的SIFT特征h1,...,hn,然后将所有SIFT特征组合成特征向量Ψ,使用支持向量机(SVM)在CMU Multi-PIE人脸数据库上进行训练模型,最后将实时采集的眼部图像数据SIFT特征输入模型判断是否穿戴墨镜。
步骤四:检测驾驶员视线方向
视线是包含驾驶员注意力方向的关键信息。本发明采用了基于3D眼球模型的视线估计方法,该模型假设:眼球是一个球形,瞳孔为与眼球镶嵌在一起的小球,因此眼球中心相对于头部而言是一个固定点。瞳孔中心检测首先使用直方图均衡化、图像平滑、二值化预处理眼部区域图像,然后使用霍夫圆拟合算法检测瞳孔区域,取圆心作为瞳孔中心2D坐标,具体检测效果如图2所示。
检测出瞳孔中心2D坐标后,将其转化在3D坐标系下;根据步骤1和步骤2求得的2D以及3D人脸关键点,提取出其中的2D、3D人眼关键点,包括上下眼睑以及内外眼角点;首先三角化2D人眼关键点,确定瞳孔中心在哪个三角区域中,然后在该三角区域中,使用人眼关键点的3D坐标,通过三角区域顶点坐标计算三角区域的重心位置,重心位置坐标即作为瞳孔中心3D坐标。
本发明采用的3D眼球模型如图4所示,该模型已知左,右眼球中心Oe与内眼角Pc之间的向量分别是vl,vr。根据步骤二求得的人脸关键点坐标包含了内眼角Pc的坐标,因此可以反向求解得到眼球中心的相机坐标,最终通过眼球中心与瞳孔中心3D坐标组成的方向向量,作为驾驶员视线方向。
步骤五:检测驾驶员注意力
根据驾驶员穿戴墨镜情况,监测出的驾驶员注意力方向后,计算其与车辆前挡风玻璃的交点,如果该交点不在驾驶前方区域内,则表示驾驶员当前处于注意力不集中的状态。注意本发明在未穿戴墨镜时仅使用左眼的视线作为注意力方向。
驾驶员注意力方向的空间位置关系如图5所示。O,O'分别为世界坐标系和相机坐标系的原点,(x',y',z')表示世界坐标系,(x,y,z)表示相机坐标系,两个坐标系原点位置相同,为摄像头位置。坐标系转换关系如下:P=Rc/wP',其中P是相机坐标系下的点,P'是世界坐标系下的点,Rc/w是从相机坐标系到世界坐标系的旋转矩阵。
需要注意的是之前步骤中计算的3D坐标值均是相机坐标系下的值,因此需要将其统一转化到世界坐标系下,首先将注意力方向转化为三维向量ugaze:
将其转化到世界坐标系下:
vgaze=Rc/w(tgaze+ugaze)
最后,根据在世界坐标系下的vgaze与前挡风玻璃区域的交点所处区域位置,确定驾驶员当前的注意力状态。
Claims (6)
1.一种基于视线的驾驶员注意力检测方法,其特征在于,包括以下步骤:
步骤1:获取人脸位置并定位2D人脸关键点坐标;
步骤2:根据步骤1求取的2D人脸关键点坐标,构建3D头部模型,提取驾驶员当前状态下的3D人脸特征,即3D人脸关键点坐标以及头部姿态;
步骤3:在眼部区域计算尺度不变特征变换特征,使用支持向量机训练模型,检测驾驶员是否穿戴墨镜,若穿戴墨镜则用步骤2获取的驾驶员头部姿态表示注意力方向;
步骤4:若没有穿戴墨镜,则构建简化的眼球模型,根据步骤1和步骤2求的2D以及3D人脸关键点坐标,获取其中的人眼关键点的2D以及3D坐标,并结合眼部空间结构关系计算3D坐标系下的视线方向,将视线方向作为注意力方向,所述人眼关键点包括上下眼睑和内外眼角点;
步骤5:根据步骤3和步骤4获取的注意力方向,结合划分的车内区域,确定驾驶员的注意力状态。
2.如权利要求1所述的一种基于视线的驾驶员注意力检测方法,其特征在于,在所述步骤1中,采用监督下降方法提取2D人脸关键点坐标,具体为:
给定一张展开为m个像素的图片表示n个2D人脸关键点坐标在图像中的位置;设h是尺度不变特征变换特征提取方程,在训练阶段已知真实的2D人脸关键点坐标为x*,xk表示第k次迭代后检测的2D人脸关键点的坐标值;然后通过迭代更新xk,最小化方程的值,实现2D人脸关键点坐标的求解;其中φ*=h(d(x*)),表示在人工标记的2D人脸关键点所对应的尺度不变特征变换特征;在训练过程中,φ*是已知量;
迭代更新xk的方程为:其中φk-1=h(d(xk-1))是上一组2D人脸关键点提取出的特征向量,H、Jh分别是xk-1的海森矩阵和雅可比矩阵;使用梯度下降向量{Rk}和重缩放因子{bk}更新坐标值:xk=xk-1+Rk-1φk-1+bk-1,最终最小化f(xk)的值,使得xk成功收敛为x*,即当前图像中准确的2D人脸关键点坐标。
3.如权利要求1所述的一种基于视线的驾驶员注意力检测方法,其特征在于,在所述步骤2中,是通过解耦刚性与非刚性的头部运动来计算驾驶员当前状态下的3D人脸特征,具体包括3D人脸关键点坐标与头部姿态,即:
头部模型由形状向量表示,该形状向量将x,y,z坐标展开为一维列向量,其中n为步骤1中2D人脸关键点个数;通过Facewarehouse人脸数据集训练,构建出能变形的面部模型,形状向量q通过特征向量vi,形状系数β和平均形状向量表示:
根据步骤1中2D人脸关键点坐标将2D人脸关键点坐标与形状向量投影到2D的结果进行比较,最小化2D人脸关键点坐标与形状向量的投影距离,最终获取驾驶员真实的形状向量以及头部姿态参数:其中,k是第k个人脸关键点坐标的索引,是投影矩阵,是选择矩阵,用于选取与第k个人脸关键点对应的顶点,是通过头部姿态角度定义的旋转矩阵,是驾驶员头部在3D坐标系下的坐标,s是用于近似透视图像形成的比例因子;E表示2D人脸关键点坐标与形状向量投影的距离,在方程E中使用最优化方法,迭代更新姿态参数以及形状系数β,最小化偏差总和E的值,最终驾驶员的头部姿态由姿态参数表示,3D人脸关键点坐标由q表示。
4.如权利要求1所述的一种基于视线的驾驶员注意力检测方法,其特征在于,在所述步骤3中,检测驾驶员是否穿戴墨镜具体为:
首先提取驾驶员眼部区域的尺度不变特征变换特征h1,...,hn,再将所有尺度不变特征变换特征组合成特征向量Ψ,使用支持向量机在卡耐基梅隆大学的Multi-PIE人脸数据库上进行训练模型,最后提取实时采集的眼部图像数据的尺度不变特征变换特征输入模型,判断是否穿戴墨镜。
5.如权利要求1所述的一种基于视线的驾驶员注意力检测方法,其特征在于,在所述步骤4中,采用基于3D眼球模型的视线估计方法来计算视线方向,具体为:
假设眼球是一个球形,瞳孔为与眼球镶嵌在一起的小球,则眼球中心相对于头部而言是一个固定点;
瞳孔中心检测:首先使用直方图均衡化、图像平滑、二值化方法,预处理眼部区域图像,再使用霍夫圆拟合算法检测瞳孔区域,取圆心作为瞳孔中心2D坐标;
检测出瞳孔中心2D坐标后,将其转化在3D坐标系下;根据步骤1和步骤2求得的2D以及3D人脸关键点,提取出其中的2D、3D人眼关键点,包括上下眼睑以及内外眼角点;首先三角化2D人眼关键点,确定瞳孔中心在哪个三角区域中,然后在该三角区域中,使用人眼关键点的3D坐标,通过三角区域顶点坐标计算三角区域的重心位置,重心位置坐标即作为瞳孔中心3D坐标;
通过眼球中心与瞳孔中心3D坐标组成的方向向量,作为驾驶员视线方向。
6.如权利要求1所述的一种基于视线的驾驶员注意力检测方法,其特征在于,所述步骤5具体为:
根据驾驶员穿戴墨镜情况,监测出驾驶员注意力方向后,计算注意力方向与车辆前挡风玻璃的交点,如果该交点不在驾驶前方区域内,则表示驾驶员当前处于注意力不集中的状态。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711070372.1A CN107818310B (zh) | 2017-11-03 | 2017-11-03 | 一种基于视线的驾驶员注意力检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711070372.1A CN107818310B (zh) | 2017-11-03 | 2017-11-03 | 一种基于视线的驾驶员注意力检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107818310A true CN107818310A (zh) | 2018-03-20 |
CN107818310B CN107818310B (zh) | 2021-08-06 |
Family
ID=61604098
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711070372.1A Active CN107818310B (zh) | 2017-11-03 | 2017-11-03 | 一种基于视线的驾驶员注意力检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107818310B (zh) |
Cited By (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109145864A (zh) * | 2018-09-07 | 2019-01-04 | 百度在线网络技术(北京)有限公司 | 确定视线区域的方法、装置、存储介质和终端设备 |
CN109446892A (zh) * | 2018-09-14 | 2019-03-08 | 杭州宇泛智能科技有限公司 | 基于深度神经网络的人眼注意力定位方法及系统 |
CN109493305A (zh) * | 2018-08-28 | 2019-03-19 | 初速度(苏州)科技有限公司 | 一种人眼视线与前景图像叠加的方法及系统 |
CN109508679A (zh) * | 2018-11-19 | 2019-03-22 | 广东工业大学 | 实现眼球三维视线跟踪的方法、装置、设备及存储介质 |
CN109711239A (zh) * | 2018-09-11 | 2019-05-03 | 重庆邮电大学 | 基于改进混合增量动态贝叶斯网络的视觉注意力检测方法 |
CN109840486A (zh) * | 2019-01-23 | 2019-06-04 | 深圳先进技术研究院 | 专注度的检测方法、计算机存储介质和计算机设备 |
CN109886246A (zh) * | 2019-03-04 | 2019-06-14 | 上海像我信息科技有限公司 | 一种人物注意力判断方法、装置、系统、设备和存储介质 |
CN110045834A (zh) * | 2019-05-21 | 2019-07-23 | 广东工业大学 | 用于视线锁定的检测方法、装置、系统、设备和存储介质 |
CN110334697A (zh) * | 2018-08-11 | 2019-10-15 | 昆山美卓智能科技有限公司 | 具有状态监控功能的智能桌、监控系统服务器及监控方法 |
CN110781718A (zh) * | 2019-08-28 | 2020-02-11 | 浙江零跑科技有限公司 | 一种驾驶室红外视觉系统及驾驶员注意力分析方法 |
WO2020029444A1 (zh) * | 2018-08-10 | 2020-02-13 | 初速度(苏州)科技有限公司 | 一种驾驶员驾驶时注意力检测方法和系统 |
CN110853073A (zh) * | 2018-07-25 | 2020-02-28 | 北京三星通信技术研究有限公司 | 确定关注点的方法、装置、设备、系统及信息处理方法 |
CN111507592A (zh) * | 2020-04-08 | 2020-08-07 | 山东大学 | 一种面向服刑人员的主动改造行为的评估方法 |
CN111539333A (zh) * | 2020-04-24 | 2020-08-14 | 湖北亿咖通科技有限公司 | 驾驶员的注视区域识别及分心检测方法 |
CN111626221A (zh) * | 2020-05-28 | 2020-09-04 | 四川大学 | 一种基于人眼信息增强的驾驶员注视区域估计方法 |
CN111680546A (zh) * | 2020-04-26 | 2020-09-18 | 北京三快在线科技有限公司 | 注意力检测方法、装置、电子设备及存储介质 |
CN111985403A (zh) * | 2020-08-20 | 2020-11-24 | 中再云图技术有限公司 | 一种基于人脸姿态估计和视线偏离的分心驾驶检测方法 |
CN113298041A (zh) * | 2021-06-21 | 2021-08-24 | 黑芝麻智能科技(上海)有限公司 | 用于标定驾驶员分心参考方向的方法及系统 |
CN113569785A (zh) * | 2021-08-04 | 2021-10-29 | 上海汽车集团股份有限公司 | 驾驶状态感知方法及装置 |
CN113780125A (zh) * | 2021-08-30 | 2021-12-10 | 武汉理工大学 | 一种驾驶员多特征融合的疲劳状态检测方法及装置 |
CN114081496A (zh) * | 2021-11-09 | 2022-02-25 | 中国第一汽车股份有限公司 | 一种驾驶员状态监测装置的测试系统、方法、设备及介质 |
CN116052136A (zh) * | 2023-03-27 | 2023-05-02 | 中国科学技术大学 | 分心检测方法、车载控制器和计算机存储介质 |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101499128A (zh) * | 2008-01-30 | 2009-08-05 | 中国科学院自动化研究所 | 基于视频流的三维人脸动作检测和跟踪方法 |
CN102982316A (zh) * | 2012-11-05 | 2013-03-20 | 安维思电子科技(广州)有限公司 | 一种对驾驶员非正常驾驶行为的识别装置和方法 |
CN103677270A (zh) * | 2013-12-13 | 2014-03-26 | 电子科技大学 | 一种基于眼动跟踪的人机交互方法 |
CN103839046A (zh) * | 2013-12-26 | 2014-06-04 | 苏州清研微视电子科技有限公司 | 驾驶人注意力自动识别系统及其识别方法 |
CN104951808A (zh) * | 2015-07-10 | 2015-09-30 | 电子科技大学 | 一种用于机器人交互对象检测的3d视线方向估计方法 |
US20160148425A1 (en) * | 2014-11-25 | 2016-05-26 | Samsung Electronics Co., Ltd. | Method and apparatus for generating personalized 3d face model |
CN105759973A (zh) * | 2016-03-09 | 2016-07-13 | 电子科技大学 | 一种基于3d视线估计的远近距离人机交互系统与方法 |
CN106295600A (zh) * | 2016-08-18 | 2017-01-04 | 宁波傲视智绘光电科技有限公司 | 驾驶员状态实时检测方法和装置 |
CN106327801A (zh) * | 2015-07-07 | 2017-01-11 | 北京易车互联信息技术有限公司 | 疲劳驾驶检测方法和装置 |
CN106598221A (zh) * | 2016-11-17 | 2017-04-26 | 电子科技大学 | 基于眼部关键点检测的3d视线方向估计方法 |
CN106781286A (zh) * | 2017-02-10 | 2017-05-31 | 开易(深圳)科技有限公司 | 一种疲劳驾驶检测方法及系统 |
CN106909879A (zh) * | 2017-01-11 | 2017-06-30 | 开易(北京)科技有限公司 | 一种疲劳驾驶检测方法及系统 |
CN106991388A (zh) * | 2017-03-27 | 2017-07-28 | 中国科学院自动化研究所 | 关键点定位方法 |
-
2017
- 2017-11-03 CN CN201711070372.1A patent/CN107818310B/zh active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101499128A (zh) * | 2008-01-30 | 2009-08-05 | 中国科学院自动化研究所 | 基于视频流的三维人脸动作检测和跟踪方法 |
CN102982316A (zh) * | 2012-11-05 | 2013-03-20 | 安维思电子科技(广州)有限公司 | 一种对驾驶员非正常驾驶行为的识别装置和方法 |
CN103677270A (zh) * | 2013-12-13 | 2014-03-26 | 电子科技大学 | 一种基于眼动跟踪的人机交互方法 |
CN103839046A (zh) * | 2013-12-26 | 2014-06-04 | 苏州清研微视电子科技有限公司 | 驾驶人注意力自动识别系统及其识别方法 |
US20160148425A1 (en) * | 2014-11-25 | 2016-05-26 | Samsung Electronics Co., Ltd. | Method and apparatus for generating personalized 3d face model |
CN106327801A (zh) * | 2015-07-07 | 2017-01-11 | 北京易车互联信息技术有限公司 | 疲劳驾驶检测方法和装置 |
CN104951808A (zh) * | 2015-07-10 | 2015-09-30 | 电子科技大学 | 一种用于机器人交互对象检测的3d视线方向估计方法 |
CN105759973A (zh) * | 2016-03-09 | 2016-07-13 | 电子科技大学 | 一种基于3d视线估计的远近距离人机交互系统与方法 |
CN106295600A (zh) * | 2016-08-18 | 2017-01-04 | 宁波傲视智绘光电科技有限公司 | 驾驶员状态实时检测方法和装置 |
CN106598221A (zh) * | 2016-11-17 | 2017-04-26 | 电子科技大学 | 基于眼部关键点检测的3d视线方向估计方法 |
CN106909879A (zh) * | 2017-01-11 | 2017-06-30 | 开易(北京)科技有限公司 | 一种疲劳驾驶检测方法及系统 |
CN106781286A (zh) * | 2017-02-10 | 2017-05-31 | 开易(深圳)科技有限公司 | 一种疲劳驾驶检测方法及系统 |
CN106991388A (zh) * | 2017-03-27 | 2017-07-28 | 中国科学院自动化研究所 | 关键点定位方法 |
Cited By (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110853073A (zh) * | 2018-07-25 | 2020-02-28 | 北京三星通信技术研究有限公司 | 确定关注点的方法、装置、设备、系统及信息处理方法 |
WO2020029444A1 (zh) * | 2018-08-10 | 2020-02-13 | 初速度(苏州)科技有限公司 | 一种驾驶员驾驶时注意力检测方法和系统 |
US11836631B2 (en) * | 2018-08-11 | 2023-12-05 | Kunshan Meizhuo Intelligent Technology Co., Ltd. | Smart desk having status monitoring function, monitoring system server, and monitoring method |
CN110334697A (zh) * | 2018-08-11 | 2019-10-15 | 昆山美卓智能科技有限公司 | 具有状态监控功能的智能桌、监控系统服务器及监控方法 |
US20210326585A1 (en) * | 2018-08-11 | 2021-10-21 | Kunshan Meizhuo Intelligent Technology Co., Ltd. | Smart desk having status monitoring function, monitoring system server, and monitoring method |
CN109493305A (zh) * | 2018-08-28 | 2019-03-19 | 初速度(苏州)科技有限公司 | 一种人眼视线与前景图像叠加的方法及系统 |
CN109145864A (zh) * | 2018-09-07 | 2019-01-04 | 百度在线网络技术(北京)有限公司 | 确定视线区域的方法、装置、存储介质和终端设备 |
CN109711239A (zh) * | 2018-09-11 | 2019-05-03 | 重庆邮电大学 | 基于改进混合增量动态贝叶斯网络的视觉注意力检测方法 |
CN109711239B (zh) * | 2018-09-11 | 2023-04-07 | 重庆邮电大学 | 基于改进混合增量动态贝叶斯网络的视觉注意力检测方法 |
CN109446892A (zh) * | 2018-09-14 | 2019-03-08 | 杭州宇泛智能科技有限公司 | 基于深度神经网络的人眼注意力定位方法及系统 |
CN109446892B (zh) * | 2018-09-14 | 2023-03-24 | 杭州宇泛智能科技有限公司 | 基于深度神经网络的人眼注意力定位方法及系统 |
CN109508679B (zh) * | 2018-11-19 | 2023-02-10 | 广东工业大学 | 实现眼球三维视线跟踪的方法、装置、设备及存储介质 |
CN109508679A (zh) * | 2018-11-19 | 2019-03-22 | 广东工业大学 | 实现眼球三维视线跟踪的方法、装置、设备及存储介质 |
CN109840486A (zh) * | 2019-01-23 | 2019-06-04 | 深圳先进技术研究院 | 专注度的检测方法、计算机存储介质和计算机设备 |
CN109886246B (zh) * | 2019-03-04 | 2023-05-23 | 上海像我信息科技有限公司 | 一种人物注意力判断方法、装置、系统、设备和存储介质 |
CN109886246A (zh) * | 2019-03-04 | 2019-06-14 | 上海像我信息科技有限公司 | 一种人物注意力判断方法、装置、系统、设备和存储介质 |
CN110045834A (zh) * | 2019-05-21 | 2019-07-23 | 广东工业大学 | 用于视线锁定的检测方法、装置、系统、设备和存储介质 |
CN110781718B (zh) * | 2019-08-28 | 2023-10-10 | 浙江零跑科技股份有限公司 | 一种驾驶室红外视觉系统及驾驶员注意力分析方法 |
CN110781718A (zh) * | 2019-08-28 | 2020-02-11 | 浙江零跑科技有限公司 | 一种驾驶室红外视觉系统及驾驶员注意力分析方法 |
CN111507592A (zh) * | 2020-04-08 | 2020-08-07 | 山东大学 | 一种面向服刑人员的主动改造行为的评估方法 |
CN111507592B (zh) * | 2020-04-08 | 2022-03-15 | 山东大学 | 一种面向服刑人员的主动改造行为的评估方法 |
CN111539333B (zh) * | 2020-04-24 | 2021-06-29 | 湖北亿咖通科技有限公司 | 驾驶员的注视区域识别及分心检测方法 |
CN111539333A (zh) * | 2020-04-24 | 2020-08-14 | 湖北亿咖通科技有限公司 | 驾驶员的注视区域识别及分心检测方法 |
CN111680546A (zh) * | 2020-04-26 | 2020-09-18 | 北京三快在线科技有限公司 | 注意力检测方法、装置、电子设备及存储介质 |
CN111626221A (zh) * | 2020-05-28 | 2020-09-04 | 四川大学 | 一种基于人眼信息增强的驾驶员注视区域估计方法 |
CN111985403A (zh) * | 2020-08-20 | 2020-11-24 | 中再云图技术有限公司 | 一种基于人脸姿态估计和视线偏离的分心驾驶检测方法 |
CN113298041A (zh) * | 2021-06-21 | 2021-08-24 | 黑芝麻智能科技(上海)有限公司 | 用于标定驾驶员分心参考方向的方法及系统 |
CN113569785A (zh) * | 2021-08-04 | 2021-10-29 | 上海汽车集团股份有限公司 | 驾驶状态感知方法及装置 |
CN113780125A (zh) * | 2021-08-30 | 2021-12-10 | 武汉理工大学 | 一种驾驶员多特征融合的疲劳状态检测方法及装置 |
CN114081496A (zh) * | 2021-11-09 | 2022-02-25 | 中国第一汽车股份有限公司 | 一种驾驶员状态监测装置的测试系统、方法、设备及介质 |
CN116052136B (zh) * | 2023-03-27 | 2023-09-05 | 中国科学技术大学 | 分心检测方法、车载控制器和计算机存储介质 |
CN116052136A (zh) * | 2023-03-27 | 2023-05-02 | 中国科学技术大学 | 分心检测方法、车载控制器和计算机存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN107818310B (zh) | 2021-08-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107818310A (zh) | 一种基于视线的驾驶员注意力检测方法 | |
EP3711024B1 (en) | Event camera-based deformable object tracking | |
CN110858295B (zh) | 一种交警手势识别方法、装置、整车控制器及存储介质 | |
Mbouna et al. | Visual analysis of eye state and head pose for driver alertness monitoring | |
CN108460345A (zh) | 一种基于人脸关键点定位的面部疲劳检测方法 | |
CN104751600B (zh) | 基于虹膜识别的防疲劳驾驶安全设备及其使用方法 | |
CN108875603A (zh) | 基于车道线的智能驾驶控制方法和装置、电子设备 | |
CN111439170B (zh) | 儿童状态检测方法及装置、电子设备、存储介质 | |
CN102982341B (zh) | 一种可跨摄像机的自适应人群密度估计方法 | |
CN110852182B (zh) | 一种基于三维空间时序建模的深度视频人体行为识别方法 | |
CN111033512A (zh) | 用于基于简单的二维平面摄像装置与自主行驶车辆通信的动作控制装置 | |
CN109583338A (zh) | 基于深度融合神经网络的驾驶员视觉分散检测方法 | |
CN110852190B (zh) | 一种融合目标检测与手势识别的驾驶行为识别方法及系统 | |
CN104766059A (zh) | 快速精确的人眼定位方法及基于人眼定位的视线估计方法 | |
CN105335696A (zh) | 一种基于3d异常步态行为检测识别的智能助老机器人及实现方法 | |
CN101261677A (zh) | 人脸和虹膜混合识别的新方法——特征提取层融合 | |
CN105868690A (zh) | 识别驾驶员打手机行为的方法和装置 | |
CN108447303A (zh) | 基于人眼视觉与机器视觉耦合的外周视野危险识别方法 | |
CN105260705A (zh) | 一种适用于多姿态下的驾驶人员接打电话行为检测方法 | |
CN109740477A (zh) | 驾驶员疲劳检测系统及其疲劳检测方法 | |
CN105117681A (zh) | 基于安卓的多特征疲劳实时检测方法 | |
CN104268932A (zh) | 3d脸型自动变化方法及系统 | |
CN103544478A (zh) | 一种全方位人脸检测的方法及系统 | |
CN111079675A (zh) | 基于目标检测与目标跟踪的行驶行为分析方法 | |
CN108345835A (zh) | 一种基于仿复眼感知的目标识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |