CN107315997A - 一种基于快速特征点定位的视线朝向判断方法及系统 - Google Patents

一种基于快速特征点定位的视线朝向判断方法及系统 Download PDF

Info

Publication number
CN107315997A
CN107315997A CN201710390315.5A CN201710390315A CN107315997A CN 107315997 A CN107315997 A CN 107315997A CN 201710390315 A CN201710390315 A CN 201710390315A CN 107315997 A CN107315997 A CN 107315997A
Authority
CN
China
Prior art keywords
sight
driver
face area
line
result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710390315.5A
Other languages
English (en)
Other versions
CN107315997B (zh
Inventor
徐文平
韩守东
刘文龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Daye Xinye Special Steel Co.,Ltd.
Original Assignee
Hubei Tianye Cloud Business Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei Tianye Cloud Business Network Technology Co Ltd filed Critical Hubei Tianye Cloud Business Network Technology Co Ltd
Priority to CN201710390315.5A priority Critical patent/CN107315997B/zh
Publication of CN107315997A publication Critical patent/CN107315997A/zh
Application granted granted Critical
Publication of CN107315997B publication Critical patent/CN107315997B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于快速特征点定位的视线朝向判断方法及系统，其中方法包括：利用Adaboost算法识别出驾驶员脸部区域；利用基于局部二值特征的形状回归算法获取部分特征点位置信息；定义视线参数并初始化视线参数；计算前设定帧数之后的每帧脸部区域的视线参数与视线参数初始化值的比值，依据比值获取单帧视线偏转结果；根据视线偏转结果出现的频率获取多帧脸部区域图像的视线偏转结果。有益效果：基于局部二值特征的形状回归算法，相比全局特征，噪声、计算量更少，实时性高；对视线参数进行了初始化，所以视线偏转判断不会受限于图像采集装置的安装位置，且可以检测不同驾驶者的视线偏转，适应性强；视线偏转的判断采用多帧判断，准确率更高。

Description

一种基于快速特征点定位的视线朝向判断方法及系统
技术领域
本发明涉及图像处理技术领域，尤其是涉及一种基于快速特征点定位的视线朝向判断方法及系统。
背景技术
现代社会，人们生活水平有了大幅提高，对于汽车的保有量也是得到快速增长。因此，人们对安全驾驶越来越重视，对安全驾驶技术的研究也越来越深入。据不完全估计，全世界交通事故中几乎有一半左右是由于驾驶员处于非正常驾驶状态所引起的，比如，疲劳驾驶，注意力分散，左顾右盼等。因此，实时对驾驶员状态监测具有重要意义，而一个实时性快，准确性高，判断角度大的驾驶员视线朝向检测方法显得尤为重要。
一种车载型疲劳驾驶检测与身份认证装置及其检测方法，通过基于三维面部图像建立欧拉旋转角坐标系，每种不同的角度分别用平动角、旋转角以及滚动角表示，通过根据欧拉旋转角坐标分析判断左右摆头姿势；该方法通过对头部姿态进行三维立体建模，该方法相对其他方法来说也是稳定性较为可靠的一种方法，但是采用该方法的缺点就是在实时性方面较差，没有考虑到对驾驶员状态监测的实时性要求。
一种眼睛视线判断的方法，通过摄像头采集图像，利用轮廓比对的方式从图像中分析出眼睛区域，分析眼睛区域中的眼部特征，计算瞳孔和眼眶相对距离并依据瞳孔半径算出差异值，根据相对距离与差异值计算出特征比例，根据特征比例判断瞳孔位于眼眶的位置，依据瞳孔所在眼眶的位置，以判定视线朝向，该方法相对来说比较简单，实时性快，能快速检测驾驶员视线朝向，但是却严重依赖于眼睛检测的精度，眼睛检测稍微出现点偏差就会导致误检，因此在稳定性和可靠性上亟待提高。
当前判断驾驶员视线的方法在准确性、实时性以及稳定性等方面存在许多不足之处。
发明内容
本发明的目的在于克服上述技术不足，提出一种基于快速特征点定位的视线朝向判断方法及系统，解决现有技术中的上述技术问题。
为达到上述技术目的，本发明的技术方案提供一种基于快速特征点定位的视线朝向判断方法，包括：
S1、利用具有红外补光功能的图像采集装置采集驾驶员头部图像并对采集的驾驶员头部图像进行预处理，利用Adaboost算法训练出识别脸部区域的分类器，利用训练出的所述分类器对预处理后的驾驶员头部图像进行识别从而识别出驾驶员脸部区域图像；
S2、利用基于局部二值特征的形状回归算法训练定位脸部特征点的模型，利用训练出的所述模型定位驾驶员脸部区域图像的特征点，根据定位的驾驶员脸部区域特征点获取所有眼部轮廓特征点位置信息以及特定的耳部特征点位置信息，眼部轮廓特征点位置信息包括左眼轮廓特征点位置信息和右眼轮廓特征点位置信息，特定的耳部特征点位置信息包括一特定的左耳特征点位置信息和一特定的右耳特征点位置信息；
S3、定义视线参数并将前设定帧数的驾驶员脸部区域图像用以初始化视线参数，其中l1表示左眼轮廓特征点的质心到特定的左耳特征点的距离，l2表示右眼轮廓特征点的质心到特定的右耳特征点的距离；
S4、获取前设定帧数之后的驾驶员脸部区域图像后，计算每张驾驶员脸部区域图像的视线参数与视线参数初始化值的比值，并根据比值获取该张驾驶员脸部区域图像的视线偏转结果；
S5、获取设定时长内识别出的驾驶员脸部区域图像的视线偏转结果并统计各视线偏转结果出现的频率，以出现频率最高的一视线偏转结果作为该设定时长的驾驶员视线偏转结果，在偏转角度较大无法识别出驾驶员脸部区域图像时，以上一时长的视线偏转结果作为实时的视线偏转结果。
本发明还提供一种基于快速特征点定位的视线朝向判断系统，包括：
脸部识别模块：利用具有红外补光功能的图像采集装置采集驾驶员头部图像并对采集的驾驶员头部图像进行预处理，利用Adaboost算法训练出识别脸部区域的分类器，利用训练出的所述分类器对预处理后的驾驶员头部图像进行识别从而识别出驾驶员脸部区域图像；
特征点定位模块：利用基于局部二值特征的形状回归算法训练定位脸部特征点的模型，利用训练出的所述模型定位驾驶员脸部区域图像的特征点，根据定位的驾驶员脸部区域特征点获取所有眼部轮廓特征点位置信息以及特定的耳部特征点位置信息，眼部轮廓特征点位置信息包括左眼轮廓特征点位置信息和右眼轮廓特征点位置信息，特定的耳部特征点位置信息包括一特定的左耳特征点位置信息和一特定的右耳特征点位置信息；
视线参数初始化模块：定义视线参数并将前设定帧数的驾驶员脸部区域图像用以初始化视线参数，其中l1表示左眼轮廓特征点的质心到特定的左耳特征点的距离，l2表示右眼轮廓特征点的质心到特定的右耳特征点的距离；
单帧视线偏转结果获取模块：获取前设定帧数之后的驾驶员脸部区域图像后，计算每张驾驶员脸部区域图像的视线参数与视线参数初始化值的比值，并根据比值获取该张驾驶员脸部区域图像的视线偏转结果；
多帧视线偏转结果获取模块：获取设定时长内识别出的驾驶员脸部区域图像的视线偏转结果并统计各视线偏转结果出现的频率，以出现频率最高的一视线偏转结果作为该设定时长的驾驶员视线偏转结果，在偏转角度较大无法识别出驾驶员脸部区域图像时，以上一时长的视线偏转结果作为实时的视线偏转结果。
与现有技术相比，本发明的有益效果包括：使用了基于局部二值特征的形状回归算法，相比全局特征而言，噪声更少，减少了计算量，可以快速地进行脸部特征点定位,实时性高；建立视线判别模型快速判断视线偏转，由于对视线参数进行了初始化，所以视线偏转判断不会受限于图像采集装置的安装位置(但是安装位置需要能够检测到脸部)，且通过初始化过程可以学习个人脸部视线参数，使得可以检测不同驾驶者的视线偏转，适应性强；借助具有红外补光功能的图像采集装置，不同光照强度下，均可采集清晰驾驶员头部图像，准确定位驾驶员脸部区域的特征点，且由于视线偏转的判断只采用了部分特征点，因此受表情变化影响和部分遮挡的影响较小，适应性强；视线偏转的判断采用多帧判断，以出现频率最高的一视线偏转结果作为该设定时长的驾驶员视线偏转结果，准确率更高，并且，在视线偏转角度较大时仍然能输出一个视线偏转结果，适用性更广。
附图说明
图1是本发明提供的一种基于快速特征点定位的视线朝向判断方法流程图；
图2是本发明提供的一种基于快速特征点定位的视线朝向判断系统结构框图；
图3是本发明的Adaboost算法流程图；
图4是本发明的局部二值特征的形状回归算法流程图；
图5是步骤S2中定位的特征点标号示意图。
附图中：1、基于快速特征点定位的视线朝向判断系统，11、脸部识别模块，12、特征点定位模块，13、视线参数初始化模块，14、单帧视线偏转结果获取模块，15、多帧视线偏转结果获取模块。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明提供了一种基于快速特征点定位的视线朝向判断方法，包括：
S1、利用具有红外补光功能的图像采集装置采集驾驶员头部图像并对采集的驾驶员头部图像进行预处理，利用Adaboost算法训练出识别脸部区域的分类器，利用训练出的所述分类器对预处理后的驾驶员头部图像进行识别从而识别出驾驶员脸部区域图像；
S2、利用基于局部二值特征的形状回归算法训练定位脸部特征点的模型，利用训练出的所述模型定位驾驶员脸部区域图像的特征点，根据定位的驾驶员脸部区域特征点获取所有眼部轮廓特征点位置信息以及特定的耳部特征点位置信息，眼部轮廓特征点位置信息包括左眼轮廓特征点位置信息和右眼轮廓特征点位置信息，特定的耳部特征点位置信息包括一特定的左耳特征点位置信息和一特定的右耳特征点位置信息；
S3、定义视线参数并将前设定帧数的驾驶员脸部区域图像用以初始化视线参数，其中l1表示左眼轮廓特征点(如图5，编号为36-41)的质心到特定的左耳特征点(如图5，编号为0)的距离，l2表示右眼轮廓特征点(如图5，编号为42-47)的质心到特定的右耳特征点(如图5，编号为16)的距离，优选的，前设定帧数为前300帧；
S4、获取前设定帧数之后的驾驶员脸部区域图像后，计算每张驾驶员脸部区域图像的视线参数与视线参数初始化值的比值，并根据比值获取该张驾驶员脸部区域图像的视线偏转结果，优选的，前设定帧数为前300帧；
S5、获取设定时长内识别出的驾驶员脸部区域图像的视线偏转结果并统计各视线偏转结果出现的频率，以出现频率最高的一视线偏转结果作为该设定时长的驾驶员视线偏转结果，在偏转角度较大无法识别出驾驶员脸部区域图像时，以上一时长的视线偏转结果作为实时的视线偏转结果。
本发明所述的基于快速特征点定位的视线朝向判断方法，步骤S1中对采集的驾驶员头部图像进行预处理的步骤为：灰度化，图像增强，图像去燥等。
本发明所述的基于快速特征点定位的视线朝向判断方法，步骤S1中利用Adaboost算法训练出识别脸部区域的分类器的步骤包括：
S11、准备训练样本：设Adaboost训练过程中样本集合为：{(x1,y1),(x2,y2),(x3,y3),…(xn,yn)}其中，yi＝0或1，分别表示该训练样本为负样本(非人脸样本)或正样本(人脸样本)；
S12、初始化样本权重：根据yi设置初始化权值，当yi＝0时，w1,i＝1/2m，当yi＝1，w1,i＝1/2l，其中m和l分别表示正负样本的个数，若总样本数为n，则n＝m+l；
S13、归一化样本权重系数，计算每个样本特征点分类误差，选取分类误差最小的弱分类器，然后重新计算并分配训练样本的权值，具体为：
首先，根据归一化样本权重系数，表示在第t次迭代中的第j个训练样本的权值等于该样本的训练参数除以该次训练迭代中的所有的样本的权值的总和；
然后，在输入的样本中，根据每一个Haar-Like特征fj，可训练出一个仅仅依赖于单一特征的弱分类器hj，该弱分类器的分类误差为：
选择使得当前分类错误率最小的弱分类器ht；
使用公式重新计算并分配训练样本的权值，其中，j为样本序号，若在本次迭代过程中样本j被正确分类，则ej＝0；反之则ej＝1。βt＝εt/(1-εt)；
S14、判断训练迭代总次数是否达到预设次数，如果没有达到预设次数，则循环执行步骤S13继续训练分类器，如果达到预设次数，则进行步骤S15；
S15、结束训练，获取强分类器，最终得到的强分类器h(x)的表达式为：
其中
本发明所述的基于快速特征点定位的视线朝向判断方法，步骤S2中利用基于局部二值特征的形状回归算法训练定位脸部特征点的模型的步骤包括：
S21、准备训练样本：样本包括人脸样本库以及对应的人脸样本库标注文件groundTruth；
S22、预处理训练样本：对样本图像进行预处理操作，其中包括(灰度化，图像增强，人脸检测)，图像裁剪(加快训练速度)；
S23、对样本进行坐标变换，构建平均形状模型：考虑到样本图片之间人脸是各式各样的，受到光照、姿势等各方面的影响，因此在获取平均形状时，应该在一个相对统一的框架下求取，对训练样本进行坐标变换之后，对所有特征点求取平均值获得平均形状模型；
S24、设置训练模型参数，包括提取局部二值特征的随机森林参数(随机树个数，随机树深度等)和用于形状的全局线性回归相关参数(回归阶段次数，形状残差等)；
S25、训练随机森林，获得特征映射函数，提取局部二值特征，对形状进行全局线性回归，并对形状进行更新，具体为：
首先，训练随机森林，获得特征映射函数Φt(I,St-1)，提取局部二值特征；
然后采用ΔSt＝WtΦt(I,St-1)对形状进行全局线性回归，对形状进行更新，其中，ΔSt＝Sgt-St为第t个阶段的残差，W为线性回归矩阵，I为样本图像；
S26、判断回归次数是否达到预设次数，如果没有达到预设次数，则循环执行步骤S25，如果达到预设次数，则保存模型。
本发明所述的基于快速特征点定位的视线朝向判断方法，步骤S3中将前设定帧数的驾驶员脸部区域图像用以初始化视线参数的步骤为：
计算前300帧的驾驶员脸部区域图像的初始化参数的平均值，以该平均值作为视线参数的初始化值。
本发明所述的基于快速特征点定位的视线朝向判断方法，步骤S4中根据视线参数比值获取该张驾驶员脸部区域图像的视线偏转结果的步骤为：
前300帧之后的驾驶员脸部区域图像的视线参数与视线参数初始化值的比值如果大于2.0，则视线偏转结果为视线向右偏转，如果比值小于0.5，则视线偏转结果为视线向左偏转，如果比值大于或等于0.5并且小于或等于2.0，则视线偏转结果为视线不发生偏转。
本发明所述的基于快速特征点定位的视线朝向判断方法，步骤S5中：
特征点定位对于姿态偏转的容忍度有限，偏转角度有一定范围的限制，在驾驶员脸部小角度偏转时，可以识别到驾驶员脸部区域图像，获取视线偏转结果，此时，以出现频率最高的一视线偏转结果作为该设定时长的驾驶员视线偏转结果，但是当驾驶员脸部偏转角度较大，无法识别出驾驶员脸部区域图像时，以上一时长的视线偏转结果作为实时的视线偏转结果。
本发明还提供一种基于快速特征点定位的视线朝向判断系统1，包括：
脸部识别模块11：利用具有红外补光功能的图像采集装置采集驾驶员头部图像并对采集的驾驶员头部图像进行预处理，利用Adaboost算法训练出识别脸部区域的分类器，利用训练出的所述分类器对预处理后的驾驶员头部图像进行识别从而识别出驾驶员脸部区域图像；
特征点定位模块12：利用基于局部二值特征的形状回归算法训练定位脸部特征点的模型，利用训练出的所述模型定位驾驶员脸部区域图像的特征点，根据定位的驾驶员脸部区域特征点获取所有眼部轮廓特征点位置信息以及特定的耳部特征点位置信息，眼部轮廓特征点位置信息包括左眼轮廓特征点位置信息和右眼轮廓特征点位置信息，特定的耳部特征点位置信息包括一特定的左耳特征点位置信息和一特定的右耳特征点位置信息；
视线参数初始化模块13：定义视线参数并将前设定帧数的驾驶员脸部区域图像用以初始化视线参数，其中l1表示左眼轮廓特征点的质心到特定的左耳特征点的距离，l2表示右眼轮廓特征点的质心到特定的右耳特征点的距离；
单帧视线偏转结果获取模块14：获取前设定帧数之后的驾驶员脸部区域图像后，计算每张驾驶员脸部区域图像的视线参数与视线参数初始化值的比值，并根据比值获取该张驾驶员脸部区域图像的视线偏转结果；
多帧视线偏转结果获取模块15：获取设定时长内识别出的驾驶员脸部区域图像的视线偏转结果并统计各视线偏转结果出现的频率，以出现频率最高的一视线偏转结果作为该设定时长的驾驶员视线偏转结果，在偏转角度较大无法识别出驾驶员脸部区域图像时，以上一时长的视线偏转结果作为实时的视线偏转结果。
本发明所述的基于快速特征点定位的视线朝向判断系统1，脸部识别模块11包括：
第一样本准备单元：准备训练样本；
初始化单元：初始化样本权重；
第一训练单元：归一化样本权重系数，计算每个样本特征点分类误差，选取分类误差最小的弱分类器，然后重新计算并分配训练样本的权值；
第一判断单元：判断训练迭代总次数是否达到预设次数，如果没有达到预设次数，则循环执行第一训练单元，如果达到预设次数，则执行强分类器获取单元的操作；
强分类器获取单元：获取强分类器。
本发明所述的基于快速特征点定位的视线朝向判断系统1，特征点定位模块12包括：
第二样本准备单元：准备训练样本；
预处理单元：预处理训练样本；
坐标变换单元：对样本进行坐标变换，构建平均形状模型；
参数设置单元：设置训练模型参数；
第二训练单元：训练随机森林，获得特征映射函数，提取局部二值特征，对形状进行全局线性回归，并对形状进行更新；
第二判断单元：判断回归次数是否达到预设次数，如果没有达到预设次数，则循环执行第二训练单元，如果达到预设次数，则保存模型。
本发明所述的基于快速特征点定位的视线朝向判断系统1，视线参数初始化模块13中：
计算前设定帧数的驾驶员脸部区域图像的初始化参数的平均值，以该平均值作为视线参数的初始化值。
本发明所述的基于快速特征点定位的视线朝向判断系统1，单帧视线偏转结果获取模块14中：
设定帧数之后的驾驶员脸部区域图像的视线参数与视线参数初始化值的比值如果大于2.0，则视线偏转结果为视线向右偏转，如果比值小于0.5，则视线偏转结果为视线向左偏转，如果比值大于或等于0.5并且小于或等于2.0，则视线偏转结果为视线不发生偏转。
与现有技术相比，本发明的有益效果包括：使用了基于局部二值特征的形状回归算法，相比全局特征而言，噪声更少，减少了计算量，可以快速地进行脸部特征点定位,实时性高；建立视线判别模型快速判断视线偏转，由于对视线参数进行了初始化，所以视线偏转判断不会受限于图像采集装置的安装位置(但是安装位置需要能够检测到脸部)，且通过初始化过程可以学习个人脸部视线参数，使得可以检测不同驾驶者的视线偏转，适应性强；借助具有红外补光功能的图像采集装置，不同光照强度下，均可采集清晰驾驶员头部图像，准确定位驾驶员脸部区域的特征点，且由于视线偏转的判断只采用了部分特征点，因此受表情变化影响和部分遮挡的影响较小，适应性强；视线偏转的判断采用多帧判断，以出现频率最高的一视线偏转结果作为该设定时长的驾驶员视线偏转结果，准确率更高，并且，在视线偏转角度较大时仍然能输出一个视线偏转结果，适用性更广。
以上所述本发明的具体实施方式，并不构成对本发明保护范围的限定。任何根据本发明的技术构思所做出的各种其他相应的改变与变形，均应包含在本发明权利要求的保护范围内。

Claims (10)

1.一种基于快速特征点定位的视线朝向判断方法，其特征在于，包括步骤：
S1、利用具有红外补光功能的图像采集装置采集驾驶员头部图像并对采集的驾驶员头部图像进行预处理，利用Adaboost算法训练出识别脸部区域的分类器，利用训练出的所述分类器对预处理后的驾驶员头部图像进行识别从而识别出驾驶员脸部区域图像；
S2、利用基于局部二值特征的形状回归算法训练定位脸部特征点的模型，利用训练出的所述模型定位所述驾驶员脸部区域图像的特征点，根据定位的驾驶员脸部区域特征点获取所有眼部轮廓特征点位置信息以及特定的耳部特征点位置信息，所述眼部轮廓特征点位置信息包括左眼轮廓特征点位置信息和右眼轮廓特征点位置信息，所述特定的耳部特征点位置信息包括一特定的左耳特征点位置信息和一特定的右耳特征点位置信息；
S3、定义视线参数并将前设定帧数的所述驾驶员脸部区域图像用以初始化视线参数，其中l1表示左眼轮廓特征点的质心到特定的左耳特征点的距离，l2表示右眼轮廓特征点的质心到特定的右耳特征点的距离；
S4、获取前设定帧数之后的所述驾驶员脸部区域图像后，计算每张所述驾驶员脸部区域图像的视线参数与视线参数初始化值的比值，并根据比值获取该张所述驾驶员脸部区域图像的视线偏转结果；
S5、获取设定时长内识别出的所述驾驶员脸部区域图像的视线偏转结果并统计各视线偏转结果出现的频率，以出现频率最高的一视线偏转结果作为该设定时长的驾驶员视线偏转结果，在偏转角度较大无法识别出所述驾驶员脸部区域图像时，以上一时长的视线偏转结果作为实时的视线偏转结果。
2.如权利要求1所述的基于快速特征点定位的视线朝向判断方法，其特征在于，步骤S1中利用Adaboost算法训练出识别脸部区域的分类器的步骤包括：
S11、准备训练样本；
S12、初始化样本权重；
S13、归一化样本权重系数，计算每个样本特征点分类误差，选取分类误差最小的弱分类器，然后重新计算并分配训练样本的权值；
S14、判断训练迭代总次数是否达到预设次数，如果没有达到预设次数，则循环执行步骤S13，如果达到预设次数，则进行步骤S15；
S15、获取强分类器。
3.如权利要求1所述的基于快速特征点定位的视线朝向判断方法，其特征在于，步骤S2中利用基于局部二值特征的形状回归算法训练定位脸部特征点的模型的步骤包括：
S21、准备训练样本；
S22、预处理训练样本；
S23、对样本进行坐标变换，构建平均形状模型；
S24、设置训练模型参数；
S25、训练随机森林，获得特征映射函数，提取局部二值特征，对形状进行全局线性回归，并对形状进行更新；
S26、判断回归次数是否达到预设次数，如果没有达到预设次数，则循环执行步骤S25，如果达到预设次数，则保存模型。
4.如权利要求1所述的基于快速特征点定位的视线朝向判断方法，其特征在于，步骤S3中将前设定帧数的所述驾驶员脸部区域图像用以初始化视线参数的步骤为：
计算前设定帧数的所述驾驶员脸部区域图像的初始化参数的平均值，以该平均值作为视线参数的初始化值。
5.如权利要求1所述的基于快速特征点定位的视线朝向判断方法，其特征在于，步骤S4中根据视线参数比值获取该张所述驾驶员脸部区域图像的视线偏转结果的步骤为：
设定帧数之后的所述驾驶员脸部区域图像的视线参数与视线参数初始化值的比值如果大于2.0，则视线偏转结果为视线向右偏转，如果比值小于0.5，则视线偏转结果为视线向左偏转，如果比值大于或等于0.5并且小于或等于2.0，则视线偏转结果为视线不发生偏转。
6.一种基于快速特征点定位的视线朝向判断系统，其特征在于，包括：
脸部识别模块：利用具有红外补光功能的图像采集装置采集驾驶员头部图像并对采集的驾驶员头部图像进行预处理，利用Adaboost算法训练出识别脸部区域的分类器，利用训练出的所述分类器对预处理后的驾驶员头部图像进行识别从而识别出所述驾驶员脸部区域图像；
特征点定位模块：利用基于局部二值特征的形状回归算法训练定位脸部特征点的模型，利用训练出的所述模型定位所述驾驶员脸部区域图像的特征点，根据定位的驾驶员脸部区域特征点获取所有眼部轮廓特征点位置信息以及特定的耳部特征点位置信息，所述眼部轮廓特征点位置信息包括左眼轮廓特征点位置信息和右眼轮廓特征点位置信息，所述特定的耳部特征点位置信息包括一特定的左耳特征点位置信息和一特定的右耳特征点位置信息；
视线参数初始化模块：定义视线参数并将前设定帧数的所述驾驶员脸部区域图像用以初始化视线参数，其中l1表示左眼轮廓特征点的质心到特定的左耳特征点的距离，l2表示右眼轮廓特征点的质心到特定的右耳特征点的距离；
单帧视线偏转结果获取模块：获取前设定帧数之后的所述驾驶员脸部区域图像后，计算每张所述驾驶员脸部区域图像的视线参数与视线参数初始化值的比值，并根据比值获取该张所述驾驶员脸部区域图像的视线偏转结果；
多帧视线偏转结果获取模块：获取设定时长内识别出的所述驾驶员脸部区域图像的视线偏转结果并统计各视线偏转结果出现的频率，以出现频率最高的一视线偏转结果作为该设定时长的驾驶员视线偏转结果，在偏转角度较大无法识别出所述驾驶员脸部区域图像时，以上一时长的视线偏转结果作为实时的视线偏转结果。
7.如权利要求6所述的基于快速特征点定位的视线朝向判断系统，其特征在于，脸部识别模块包括：
第一样本准备单元：准备训练样本；
初始化单元：初始化样本权重；
第一训练单元：归一化样本权重系数，计算每个样本特征点分类误差，选取分类误差最小的弱分类器，然后重新计算并分配训练样本的权值；
第一判断单元：判断训练迭代总次数是否达到预设次数，如果没有达到预设次数，则循环执行第一训练单元，如果达到预设次数，则执行强分类器获取单元的操作；
强分类器获取单元：获取强分类器。
8.如权利要求6所述的基于快速特征点定位的视线朝向判断系统，其特征在于，特征点定位模块包括：
第二样本准备单元：准备训练样本；
预处理单元：预处理训练样本；
坐标变换单元：对样本进行坐标变换，构建平均形状模型；
参数设置单元：设置训练模型参数；
第二训练单元：训练随机森林，获得特征映射函数，提取局部二值特征，对形状进行全局线性回归，并对形状进行更新；
第二判断单元：判断回归次数是否达到预设次数，如果没有达到预设次数，则循环执行第二训练单元，如果达到预设次数，则保存模型。
9.如权利要求6所述的基于快速特征点定位的视线朝向判断系统，其特征在于，视线参数初始化模块中：
计算前设定帧数的所述驾驶员脸部区域图像的初始化参数的平均值，以该平均值作为视线参数的初始化值。
10.如权利要求6所述的基于快速特征点定位的视线朝向判断系统，其特征在于，单帧视线偏转结果获取模块中：
设定帧数之后的所述驾驶员脸部区域图像的视线参数与视线参数初始化值的比值如果大于2.0，则视线偏转结果为视线向右偏转，如果比值小于0.5，则视线偏转结果为视线向左偏转，如果比值大于或等于0.5并且小于或等于2.0，则视线偏转结果为视线不发生偏转。
CN201710390315.5A 2017-05-27 2017-05-27 一种基于快速特征点定位的视线朝向判断方法及系统 Active CN107315997B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710390315.5A CN107315997B (zh) 2017-05-27 2017-05-27 一种基于快速特征点定位的视线朝向判断方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710390315.5A CN107315997B (zh) 2017-05-27 2017-05-27 一种基于快速特征点定位的视线朝向判断方法及系统

Publications (2)

Publication Number Publication Date
CN107315997A true CN107315997A (zh) 2017-11-03
CN107315997B CN107315997B (zh) 2020-08-28

Family

ID=60183483

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710390315.5A Active CN107315997B (zh) 2017-05-27 2017-05-27 一种基于快速特征点定位的视线朝向判断方法及系统

Country Status (1)

Country Link
CN (1) CN107315997B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109508089A (zh) * 2018-10-30 2019-03-22 上海大学 一种基于层级随机森林的视线控制系统与方法
CN110503068A (zh) * 2019-08-28 2019-11-26 Oppo广东移动通信有限公司 视线估计方法、终端及存储介质
TWI699709B (zh) * 2017-12-25 2020-07-21 大陸商北京七鑫易維信息技術有限公司 視線追蹤設備中確定參數的方法和裝置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101489467A (zh) * 2006-07-14 2009-07-22 松下电器产业株式会社 视线方向检测装置和视线方向检测方法
CN102510480A (zh) * 2011-11-04 2012-06-20 大连海事大学 驾驶员视线自动校准和跟踪系统
JP2013123180A (ja) * 2011-12-12 2013-06-20 Denso Corp モニタリング装置
CN106355838A (zh) * 2016-10-28 2017-01-25 深圳市美通视讯科技有限公司 一种疲劳驾驶检测方法和系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101489467A (zh) * 2006-07-14 2009-07-22 松下电器产业株式会社 视线方向检测装置和视线方向检测方法
CN102510480A (zh) * 2011-11-04 2012-06-20 大连海事大学 驾驶员视线自动校准和跟踪系统
JP2013123180A (ja) * 2011-12-12 2013-06-20 Denso Corp モニタリング装置
CN106355838A (zh) * 2016-10-28 2017-01-25 深圳市美通视讯科技有限公司 一种疲劳驾驶检测方法和系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI699709B (zh) * 2017-12-25 2020-07-21 大陸商北京七鑫易維信息技術有限公司 視線追蹤設備中確定參數的方法和裝置
CN109508089A (zh) * 2018-10-30 2019-03-22 上海大学 一种基于层级随机森林的视线控制系统与方法
CN110503068A (zh) * 2019-08-28 2019-11-26 Oppo广东移动通信有限公司 视线估计方法、终端及存储介质

Also Published As

Publication number Publication date
CN107315997B (zh) 2020-08-28

Similar Documents

Publication Publication Date Title
CN108921100B (zh) 一种基于可见光图像与红外图像融合的人脸识别方法及系统
CN108229362B (zh) 一种基于门禁系统的双目人脸识别活体检测方法
WO2021047232A1 (zh) 交互行为识别方法、装置、计算机设备和存储介质
CN105574518B (zh) 人脸活体检测的方法和装置
CN103530599B (zh) 一种真实人脸和图片人脸的区别方法和系统
CN104063722B (zh) 一种融合hog人体目标检测和svm分类器的安全帽识别方法
US8374422B2 (en) Face expressions identification
CN110728225B (zh) 一种用于考勤的高速人脸搜索方法
CN104123543B (zh) 一种基于人脸识别的眼球运动识别方法
CN110175501B (zh) 基于人脸识别的多人场景专注度识别方法
CN105740779B (zh) 人脸活体检测的方法和装置
CN106600640B (zh) 一种基于rgb-d相机的人脸识别辅助眼镜
EP3680794B1 (en) Device and method for user authentication on basis of iris recognition
CN108182397B (zh) 一种多姿态多尺度的人脸验证方法
CN106682578B (zh) 基于眨眼检测的弱光人脸识别方法
CN105740781B (zh) 一种三维人脸活体检测的方法和装置
CN108053615A (zh) 基于微表情的驾驶员疲劳驾驶状态检测方法
CN102902986A (zh) 自动性别识别系统及方法
KR20170006355A (ko) 모션벡터 및 특징벡터 기반 위조 얼굴 검출 방법 및 장치
CA2794659A1 (en) Apparatus and method for iris recognition using multiple iris templates
CN106682641A (zh) 基于fhog‑lbph特征的图像行人识别方法
CN112381870B (zh) 一种基于双目视觉的船舶识别与航速测量系统及方法
CN109902603A (zh) 基于红外图像的驾驶员身份识别认证方法和系统
CN107315997A (zh) 一种基于快速特征点定位的视线朝向判断方法及系统
CN109359577A (zh) 一种基于机器学习的复杂背景下人数检测系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20210611

Address after: 435100 Jinhu Ma Hai, Daye City, Huangshi City, Hubei Province

Patentee after: Daye Xinye Special Steel Co.,Ltd.

Address before: No.139 kuangye Avenue, Jinhu Street office, Daye City, Huangshi City, Hubei Province

Patentee before: HUBEI TIANYE YUNSHANG NETWORK TECHNOLOGY Co.,Ltd.