CN113591762B - 一种自由角度下的安全驾驶预警方法 - Google Patents

一种自由角度下的安全驾驶预警方法 Download PDF

Info

Publication number
CN113591762B
CN113591762B CN202110908144.7A CN202110908144A CN113591762B CN 113591762 B CN113591762 B CN 113591762B CN 202110908144 A CN202110908144 A CN 202110908144A CN 113591762 B CN113591762 B CN 113591762B
Authority
CN
China
Prior art keywords
face
angle
vector
under
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110908144.7A
Other languages
English (en)
Other versions
CN113591762A (zh
Inventor
傅由甲
葛广辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Technology
Original Assignee
Chongqing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Technology filed Critical Chongqing University of Technology
Priority to CN202110908144.7A priority Critical patent/CN113591762B/zh
Publication of CN113591762A publication Critical patent/CN113591762A/zh
Priority to ZA2022/07619A priority patent/ZA202207619B/en
Application granted granted Critical
Publication of CN113591762B publication Critical patent/CN113591762B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/16Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及安全驾驶预警技术领域,公开了一种自由角度下的安全驾驶预警方法,图像采集设备安装于司机视线区域范围内的任意位置,摄像头面向司机,然后根据设备的语音提示完成驾驶员看正前方以及左右后视镜时的面部朝向设置,以此初始化设备参数,确定视线安全角度范围;在以后的驾驶中,根据图像采集装置捕捉人脸姿态,基于人脸姿态向量检测,计算驾驶员视线的俯仰角与偏航角,以此判断驾驶员视线是否稳定落在某个视线区域。本发明解决了现有技术必须在司机正前方安装摄像头的技术问题,不受车辆结构和类型的限制,不受硬件限制,可以部署在手机或者各类嵌入式设备中,可快速有效地检测车辆行驶过程中司机的注视区域。

Description

一种自由角度下的安全驾驶预警方法
技术领域
本发明涉及安全驾驶预警技术领域。
背景技术
近些年,随着我国各类汽车数量的大幅增加,司机的安全驾驶日益受到重视。司机视觉偏离道路预警技术通过摄像头捕获的司机头部姿态判断其视觉是否保持在行驶方向中,当发现司机视觉偏离较大时及时给于提醒,从而有效防止事故发生。目前市场上使用这类技术的设备都是固定于驾驶位的正前方来捕捉司机头部姿态,因而往往受限于驾驶台的结构。安装在正前方的摄像头用支架要么夹在仪表盘的前罩上,很容易掉,要么贴在前方玻璃上,经常被日晒,容易老化,时间长了同样容易掉落,而且放在前方的设备容易遮挡驾驶员视线,这些都存在安全隐患。
发明内容
针对上述现有技术的不足,本发明提供一种自由角度下的安全驾驶预警方法,解决现有技术必须在司机正前方安装摄像头的技术问题。
为了解决上述技术问题,本发明采用了如下的技术方案:一种自由角度下的安全驾驶预警方法,包括以下步骤:
图像采集设备安装于司机视线区域范围内的任意位置;
以鼻下点为原点,人脸姿态向量的面部法向量、面部向上向量与面部右切向量分别为Zc轴、Yc轴、Xc轴或Z轴、Y轴、X轴,分别创建人脸正对图像采集设备时与人脸正对车辆正前方时,设备视角下的人脸三维坐标系⊥OcXcYcZc与正前方视角下的人脸三维坐标系⊥OXYZ;
初始化,语音提示司机双眼保持水平,视线平视车辆正前方,在语音发出t秒后,开始检测人脸姿态向量;记录当前m帧图像中每帧图像中人脸姿态在设备视角下的人脸三维坐标系⊥OcXcYcZc中的人脸姿态向量,并根据人脸姿态向量计算人脸姿态平均向量的单位向量,包括面部平均法向量的单位向量nF、面部平均向上向量的单位向量uF与面部平均右切向量的单位向量tF;根据设备视角下的人脸三维坐标系⊥OcXcYcZc中的人脸姿态平均单位向量与正前方视角下的人脸三维坐标系⊥OXYZ的人脸姿态单位向量,计算两个视角下的人脸三维坐标系之间的变换矩阵R;
在设备视角下的人脸三维坐标系⊥OcXcYcZc中,语音提示司机注视不同安全边界并采集注视不同安全边界时的m帧图像中人脸姿态的面部法向量,计算注视每个安全边界时的面部平均法向量的单位向量;
利用所述变换矩阵将所述注视每个安全边界时的面部平均法向量的单位向量转换到正前方视角下的人脸三维坐标系⊥OXYZ中,得到正前方视角下的注视每个安全边界时的面部平均法向量的单位向量;
根据所述正前方视角下的注视每个安全边界时的面部平均法向量的单位向量,计算注视每个安全边界时的俯仰角与偏航角;
根据所述注视每个安全边界时的俯仰角与偏航角确定视线安全角度范围;
采集行驶过程中设备视角下的人脸三维坐标系⊥OcXcYcZc中的实时面部单位法向量,并通过变换矩阵R转换为正前方视角下的人脸三维坐标系⊥OXYZ中的实时面部单位法向量,根据正前方视角下的人脸三维坐标系⊥OXYZ中的实时面部单位法向量计算实时俯仰角α与实时偏航角β;
判断实时俯仰角与实时偏航角是否落在视线安全角度范围内;若是,则表明视线落在安全角度范围内;若否,则表明视线超过了安全角度范围,发出告警。
与现有技术相比,本发明具有以下有益效果:
1、本发明中图像采集设备只需放于司机前方能捕获面部姿态的任何位置,就能在行驶过程中获得司机视线在哪个区域的有效信息,为后续的安全驾驶判断提供依据。脱离了设备位置的限制,扩大了相关技术和设备的适应环境。
2、通过俯仰角与偏航角确定视线安全角度范围,无需摄像机参数和手动位置参数设置,用户初次使用时仅通过语音提示进行平视前方、注视左右后视镜即可完成设备的初始化,以后只要设备不移动则无需再次设置,方便了用户操作,有利于设备的普及。
3、本发明不受车辆结构和类型的限制,计算简单,具有实时性,不受硬件限制,可以部署在手机或者各类嵌入式设备中。实验结果表明,该方法可快速有效地检测车辆行驶过程中司机的注视区域。
附图说明
图1是人脸姿态向量示意图;
图2是设备视角下的人脸三维坐标系⊥OcXcYcZc
图3是正前方视角下的人脸三维坐标系⊥OXYZ;
图4是驾驶员视线在⊥OXYZ坐标系中的俯仰角α和偏航角β;
图5是驾驶舱在左侧时各区域视角范围;
图6是视线偏转角度限值η和αU、αD的示意图;
图7是注视正前方时的人脸姿态向量示意图;
图8是注视右前方时的人脸姿态向量示意图;
图9是注视左后视镜时的人脸姿态向量示意图;
图10是注视右后视镜时的人脸姿态向量示意图;
图11是视线水平方向脱离视线安全角度范围的人脸姿态向量示意图;
图12是视线垂直方向脱离视线安全角度范围的人脸姿态向量示意图。
具体实施方式
下面结合附图和优选实施方式对本发明作进一步的详细说明。
一)、创建坐标系
本发明中图像采集设备安装于司机视线区域范围内的任意位置。摄像头面向司机,然后根据设备的语音提示完成驾驶员看正前方以及左右后视镜时的面部朝向设置,以此初始化设备参数,在以后的驾驶中,设备根据拍摄的司机面部朝向判断驾驶员视线是否稳定落在某个视线区域。
驾驶员的视线决定于人脸姿态,人脸姿态由图1所示的人脸姿态向量表示。它们是面部垂直法向量N,垂直于N的面部向上向量U,以及垂直NU平面的面部向右切向量T,这三个向量构成右手螺旋正交系。
本发明方法中各步骤中对于人脸姿态向量的检测,均是通过基于面部特征点的单幅图像人脸姿态估计方法(傅由甲.基于面部特征点的单幅图像人脸姿态估计方法[J].计算机工程,2021,47(4):197-203,210.),获取人脸偏转角并建立人脸姿态矩阵,通过人脸姿态矩阵获取人脸姿态向量,再根据人脸姿态向量计算人脸姿态单位向量;人脸姿态矩阵如下:
其中,Rx,Ry,Rz分别为人脸绕三个坐标轴的旋转矩阵:
α′表示绕Xc轴或X轴的人脸偏转角,β′表示绕Yc轴或Y轴的人脸偏转角,γ′分别表示绕Zc轴或Z轴的人脸偏转角;N=[nx,ny,nz]T为面部法向量,U=[ux,uy,uz]T为面部向上向量,T=[tx,ty,tz]T为面部向右切向量。
参考图2所示,以鼻下点为原点,人脸姿态向量的面部法向量、面部向上向量与面部右切向量分别为Zc轴、Yc轴、Xc轴创建人脸正对图像采集设备时与人脸正对车辆正前方时,设备视角下的人脸三维坐标系⊥OcXcYcZc
参考图3所示,以鼻下点为原点,人脸姿态向量的面部法向量、面部向上向量与面部右切向量分别为Z轴、Y轴、X轴,创建人脸正对车辆正前方时正前方视角下的人脸三维坐标系⊥OXYZ。
二)、计算坐标系之间的变换矩阵
初始化,参考图7所示,语音提示司机双眼保持水平,视线平视车辆正前方,在语音发出t秒后,开始检测人脸姿态向量;记录当前m帧图像中每帧图像中人脸姿态在设备视角下的人脸三维坐标系⊥OcXcYcZc中的人脸姿态向量,并根据人脸姿态向量计算人脸姿态平均向量的单位向量,包括面部平均法向量的单位向量nF、面部平均向上向量的单位向量uF与面部平均右切向量的单位向量tF;。
初始化过程中按如下方式计算面部平均法向量的单位向量nF、面部平均向上向量的单位向量uF与面部平均右切向量的单位向量tF
计算人脸姿态平均向量中的面部平均法向量n与面部平均向上向量u:
式中,表示第i帧图像中人脸姿态在设备视角下的人脸三维坐标系⊥OcXcYcZc中的面部法向量;/>表示第i帧图像中人脸姿态在设备视角下的人脸三维坐标系⊥OcXcYcZc中的面部向上向量;
计算面部平均法向量的单位向量nF与面部平均向上向量的单位向量uF
验证nF、uF是否垂直:如果nF·uF≤ε,ε表示阈值,根据精度需求设置,本具体实施方式中ε=0.0001表示nF、uF相互垂直,则计算面部平均右切向量的单位向量tF如果nF·uF>ε,ε表示阈值,语音提示重新检测司机平视车辆正前方时的姿态。
计算坐标系⊥OcXcYcZc到坐标系⊥OXYZ的变换矩阵。设备视角下的人脸三维坐标系⊥OcXcYcZc中的nF、uF和tF向量分别对应正前方视角下的人脸三维坐标系⊥OXYZ中的[0,0,1]T、[0,1,0]T和[1,0,0]T向量,则有:
三)、确定视线安全角度范围
在设备视角下的人脸三维坐标系⊥OcXcYcZc中,语音提示司机注视不同安全边界并采集注视不同安全边界时的m帧图像中人脸姿态的面部法向量,计算注视每个安全边界时的面部平均法向量的单位向量。所述安全边界包括视角上、下边界与视角左、右边界。
司机面向正前方的车窗玻璃上沿位置作为视角上边界,在设备视角下的人脸三维坐标系⊥OcXcYcZc中,记录注视视角上边界时m帧图像中人脸姿态的面部法向量,并计算注视视角上边界时的面部平均法向量的单位向量nU
司机面向正前方的驾驶位仪表盘位置作为视角下边界,在设备视角下的人脸三维坐标系⊥OcXcYcZc中,记录注视视角下边界时m帧图像中人脸姿态的面部法向量,并计算注视视角下边界时的面部平均法向量的单位向量nD
参考图10所示,司机面向右后视镜位置作为视角右边界,在设备视角下的人脸三维坐标系⊥OcXcYcZc中,记录注视视角右边界时m帧图像中人脸姿态的面部法向量,并计算注视视角右边界时的面部平均法向量的单位向量nR
参考图9所示,司机面向左后视镜位置作为视角左边界,在设备视角下的人脸三维坐标系⊥OcXcYcZc中,记录注视视角左边界时m帧图像中人脸姿态的面部法向量,并计算注视视角左边界时的面部平均法向量的单位向量nL
注视视角上、下、左、右边界时的面部平均法向量的单位向量nU、nD、nR、nL的计算通式如下:
式中,表示面部平均法向量;/>表示第i帧图像中人脸姿态在设备视角下的人脸三维坐标系⊥OcXcYcZc中的面部法向量;nj表示面部平均法向量的单位向量,j={U,D,R,L}。
利用变换矩阵R将在设备视角下的人脸三维坐标系⊥OcXcYcZc中的注视视角上、下、左、右边界时的面部平均法向量的单位向量nU、nD、nR、nL,分别转换到正前方视角下的人脸三维坐标系⊥OXYZ:
从而得到正前方视角下的人脸三维坐标系⊥OXYZ中分别注视视角上、下、左、右边界时的面部平均法向量的单位向量NU、ND、NR、NL
计算NR的俯仰角αR和偏航角βR计算NL的俯仰角αL与偏航角βL:/>计算NU的俯仰角αU:/>计算ND的俯仰角αD:/>
通过对比βR与βL绝对值的大小判断采样姿态是否正确;当驾驶舱位于车辆左侧时,若不满足0<|βL|<|βR|<90°,则判断采样姿态异常,重新进行初始化;当驾驶舱位于车辆右侧时,若不满足0<|βR|<||βL|<90°,则判断采样姿态异常,重新进行初始化。
参考图5所示,所述视线安全角度范围包括左后视镜安全角度范围、右后视镜安全角度范围、正前方安全角度范围与侧前方安全角度范围。
参考图6所示,左后视镜安全角度范围包括左后视镜水平角度范围BL与左后视镜垂直角度范围AL;AL为[αLDLU];BL为[βL-η,βL+η],η为驾驶员看最近的后视镜时视线左右偏转限值,可理解为将驾驶员正前方视线与距离其最近后视镜视线夹角的1/4作为看该后视镜时视线左右偏转的限值。η与驾驶舱位置有关,当驾驶舱位于车辆左侧时η=βL/4,当驾驶舱位于车辆左侧时η=βR/4。
右后视镜安全角度范围包括右后视镜水平角度范围BR与右后视镜垂直角度范围AR;视线看左、右后视镜角度范围应一致,左、右后视镜视线方向与正前方视线方向夹角的比例因此BR为[βR-λη,βR+λη]。因右后视镜没有与正前方近邻,在实际应用中右后视镜直接使用αU、αD作为其俯仰角会有偏差,这里取俯仰角的最大值即:γ=max(|αU|,|αD|)作为右后视镜俯仰角上下偏差,因此垂直角度范围AR为[αR-γ,αR+γ]。
正前方安全角度范围包括正前方水平角度范围BF与正前方垂直角度范围AF;由η的计算公式可知,正前方偏转角度范围应为去除左后视镜后剩余角度范围,因为左后视镜角度限值为η,则余下角度限值为δ=(n-1)η,故正前方水平角度范围BF为[-δ,δ],垂直角度范围AF为[αDU]。
参考图8所示,侧前方角度范围括侧前方水平角度范围BRF与侧前方垂直角度范围ARF;在左、右后视镜之间的水平角度中取余下角度范围作为侧前方水平角度范围BRF为[βR+λη,-δ],侧前方垂直角度范围ARF为[αDU]。
四)、实时监测视线范围
采集行驶过程中设备视角下的人脸三维坐标系⊥OcXcYcZc中的实时面部单位法向量,并通过变换矩阵R转换为正前方视角下的人脸三维坐标系⊥OXYZ中的实时面部单位法向量,根据正前方视角下的人脸三维坐标系⊥OXYZ中的实时面部单位法向量计算实时俯仰角α与实时偏航角β;判断实时俯仰角与实时偏航角是否落在视线安全角度范围内;若是,则表明视线落在安全角度范围内;若否,则表明视线超过了安全角度范围,发出告警,参考图11与图12所示。
行驶过程中设备视角下的人脸三维坐标系⊥OcXcYcZc中的实时面部单位法向量为Nc=[xc,yc,zc]T,则正前方视角下的人脸三维坐标系⊥OXYZ中的实时面部单位法向量Nw
Nw=[xw,yw,zw]T=RNc
所述实时俯仰角α与实时偏航角β:
根据α与β判断该面部向量所属视线范围:
当(α∈AF)∩(β∈BF)时,判断视线落在正前方安全角度范围内,参考图7所示。
(α∈ARF)∩(β∈BRF)时,判断视线落在侧前方安全角度范围内,参考图8所示。
当(α∈AL)∩(β∈BL)时,判断视线落在左后视镜安全角度范围内,参考图9所示。
当(α∈AR)∩(β∈BR)时,判断视线落在右后视镜安全角度范围内,参考图10所示。
行驶过程中图像采集设备每隔k豪秒捕捉一次人脸姿态,设当前帧为m,其连续r帧的面部法向量N在设备视角下的人脸三维坐标系⊥OcXcYcZc中的单位向量为i=m-r+1,m-r+2,...,m;依次计算Ni c所属的视线范围,只有当连续r帧中90%都属于同一个视线安全角度范围时,才判断为落在某一视线安全角度范围内。

Claims (9)

1.一种自由角度下的安全驾驶预警方法,其特征在于,包括以下步骤:
图像采集设备安装于司机视线区域范围内的任意位置;
以鼻下点为原点,人脸姿态向量的面部法向量、面部向上向量与面部右切向量分别为Zc轴、Yc轴、Xc轴或Z轴、Y轴、X轴,分别创建人脸正对图像采集设备时与人脸正对车辆正前方时,设备视角下的人脸三维坐标系⊥OcXcYcZc与正前方视角下的人脸三维坐标系⊥OXYZ;
初始化,语音提示司机双眼保持水平,视线平视车辆正前方,在语音发出t秒后,开始检测人脸姿态向量;记录当前m帧图像中每帧图像中人脸姿态在设备视角下的人脸三维坐标系⊥OcXcYcZc中的人脸姿态向量,并根据人脸姿态向量计算当前m帧图像的人脸姿态平均向量的单位向量,包括面部平均法向量的单位向量nF、面部平均向上向量的单位向量uF与面部平均右切向量的单位向量tF;其中,通过基于面部特征点的单幅图像人脸姿态估计方法,获取人脸偏转角并建立人脸姿态矩阵,通过人脸姿态矩阵获取人脸姿态向量,再根据人脸姿态向量计算人脸姿态单位向量;人脸姿态矩阵如下:
其中,Rx,Ry,Rz分别为人脸绕三个坐标轴的旋转矩阵:
α′表示绕Xc轴或X轴的人脸偏转角,β′表示绕Yc轴或Y轴的人脸偏转角,γ′分别表示绕Zc轴或Z轴的人脸偏转角;N=[nx,ny,nz]T为面部法向量,U=[ux,uy,uz]T为面部向上向量,T=[tx,ty,tz]T为面部向右切向量;
根据设备视角下的人脸三维坐标系⊥OcXcYcZc中的人脸姿态平均单位向量与正前方视角下的人脸三维坐标系⊥OXYZ的人脸姿态单位向量,计算两个视角下的人脸三维坐标系之间的变换矩阵R;
在设备视角下的人脸三维坐标系⊥OcXcYcZc中,语音提示司机注视不同安全边界并采集注视不同安全边界时的m帧图像中人脸姿态的面部法向量,计算注视每个安全边界时的面部平均法向量的单位向量;
利用所述变换矩阵将所述注视每个安全边界时的面部平均法向量的单位向量转换到正前方视角下的人脸三维坐标系⊥OXYZ中,得到正前方视角下的注视每个安全边界时的面部平均法向量的单位向量;
根据所述正前方视角下的注视每个安全边界时的面部平均法向量的单位向量,计算注视每个安全边界时的俯仰角与偏航角;
根据所述注视每个安全边界时的俯仰角与偏航角确定视线安全角度范围;
采集行驶过程中设备视角下的人脸三维坐标系⊥OcXcYcZc中的实时面部单位法向量,并通过变换矩阵R转换为正前方视角下的人脸三维坐标系⊥OXYZ中的实时面部单位法向量,根据正前方视角下的人脸三维坐标系⊥OXYZ中的实时面部单位法向量计算实时俯仰角α与实时偏航角β;
判断实时俯仰角与实时偏航角是否落在视线安全角度范围内;若是,则表明视线落在安全角度范围内;若否,则表明视线超过了安全角度范围,发出告警。
2.根据权利要求1所述的自由角度下的安全驾驶预警方法,其特征在于,初始化过程中按如下方式计算面部平均法向量的单位向量nF、面部平均向上向量的单位向量uF与面部平均右切向量的单位向量tF
计算人脸姿态平均向量中的面部平均法向量与面部平均向上向量/>
式中,表示第i帧图像中人脸姿态在设备视角下的人脸三维坐标系⊥OcXcYcZc中的面部法向量;/>表示第i帧图像中人脸姿态在设备视角下的人脸三维坐标系⊥OcXcYcZc中的面部向上向量;
计算面部平均法向量的单位向量nF与面部平均向上向量的单位向量uF
验证nF、uF是否垂直:如果nF·uF≤ε,表示nF、uF相互垂直,则计算面部平均右切向量的单位向量tF如果nF·uF>ε,ε表示阈值,语音提示重新检测司机平视车辆正前方时的姿态。
3.根据权利要求1所述的自由角度下的安全驾驶预警方法,其特征在于,所述变换矩阵R按如下方式计算:
设备视角下的人脸三维坐标系⊥OcXcYcZc中的nF、uF和tF向量分别对应正前方视角下的人脸三维坐标系⊥OXYZ中的[0,0,1]T、[0,1,0]T和[1,0,0]T向量,则有:
从而得到:
4.根据权利要求1所述的自由角度下的安全驾驶预警方法,其特征在于,所述安全边界包括视角上、下边界与视角左、右边界;
司机面向正前方的车窗玻璃上沿位置作为视角上边界,在设备视角下的人脸三维坐标系⊥OcXcYcZc中,记录注视视角上边界时m帧图像中人脸姿态的面部法向量,并计算注视视角上边界时的面部平均法向量的单位向量nU
司机面向正前方的驾驶位仪表盘位置作为视角下边界,在设备视角下的人脸三维坐标系⊥OcXcYcZc中,记录注视视角下边界时m帧图像中人脸姿态的面部法向量,并计算注视视角下边界时的面部平均法向量的单位向量nD
司机面向右后视镜位置作为视角右边界,在设备视角下的人脸三维坐标系⊥OcXcYcZc中,记录注视视角右边界时m帧图像中人脸姿态的面部法向量,并计算注视视角右边界时的面部平均法向量的单位向量nR
司机面向左后视镜位置作为视角左边界,在设备视角下的人脸三维坐标系⊥OcXcYcZc中,记录注视视角座边界时m帧图像中人脸姿态的面部法向量,并计算注视视角左边界时的面部平均法向量的单位向量nL
注视视角上、下、左、右边界时的面部平均法向量的单位向量nU、nD、nR、nL的计算通式如下:
式中,表示面部平均法向量;/>表示第i帧图像中人脸姿态在设备视角下的人脸三维坐标系⊥OcXcYcZc中的面部法向量;nj表示面部平均法向量的单位向量,j={U,D,R,L}。
5.根据权利要求4所述的自由角度下的安全驾驶预警方法,其特征在于,利用变换矩阵R将在设备视角下的人脸三维坐标系⊥OcXcYcZc中的注视视角上、下、左、右边界时的面部平均法向量的单位向量nU、nD、nR、nL,分别转换到正前方视角下的人脸三维坐标系⊥OXYZ:
从而得到正前方视角下的人脸三维坐标系⊥OXYZ中分别注视视角上、下、左、右边界时的面部平均法向量的单位向量NU、ND、NR、NL
6.根据权利要求5所述的自由角度下的安全驾驶预警方法,其特征在于,计算NR的俯仰角αR和偏航角βR计算NL的俯仰角αL与偏航角βL计算NU的俯仰角αU:/>’计算ND的俯仰角αD:/>
7.根据权利要求6所述的自由角度下的安全驾驶预警方法,其特征在于,通过对比βR与βL绝对值的大小判断采样姿态是否正确;当驾驶舱位于车辆左侧时,若不满足0<|βL|<|βR|<90°,则判断采样姿态异常,重新进行初始化;当驾驶舱位于车辆右侧时,若不满足0<|βR|<||βL|<90°,则判断采样姿态异常,重新进行初始化。
8.根据权利要求6所述的自由角度下的安全驾驶预警方法,其特征在于,所述视线安全角度范围包括左后视镜安全角度范围、右后视镜安全角度范围、正前方安全角度范围与侧前方安全角度范围;
左后视镜安全角度范围包括左后视镜水平角度范围BL与左后视镜垂直角度范围AL;AL为[αLDLU];BL为[βL-η,βL+η],η为驾驶员看最近的后视镜时视线左右偏转限值,η与驾驶舱位置有关,当驾驶舱位于车辆左侧时η=βL/4,当驾驶舱位于车辆右侧时η=βR/4;
右后视镜安全角度范围包括右后视镜水平角度范围BR与右后视镜垂直角度范围AR;BR为[βR-λη,βR+λη],左、右后视镜视线方向与正前方视线方向夹角的比例AR为[αR-γ,αR+γ],γ=max(|αU|,|αD|)作为右后视镜俯仰角上下偏差;
正前方安全角度范围包括正前方水平角度范围BF与正前方垂直角度范围AF;BF为[-δ,δ],δ为除去左后视镜角度限值η后的余下角度限值,即δ=(n-1)η;正前方垂直角度范围AF为[αDU];
侧前方角度范围括侧前方水平角度范围BRF与侧前方垂直角度范围ARF;BRF为[βR+λη,-δ],侧前方垂直角度范围ARF为[αDU]。
9.根据权利要求8所述的自由角度下的安全驾驶预警方法,其特征在于,行驶过程中设备视角下的人脸三维坐标系⊥OcXcYcZc中的实时面部单位法向量为Nc=[xc,yc,zc]T,则正前方视角下的人脸三维坐标系⊥OXYZ中的实时面部单位法向量Nw
Nw=[xw,yw,zw]T=RNc
所述实时俯仰角α与实时偏航角β:
根据α与β判断该面部向量所属视线范围:
当(α∈AL)∩(β∈BL)时,判断视线落在左后视镜安全角度范围内;
当(α∈AR)∩(β∈BR)时,判断视线落在右后视镜安全角度范围内;
当(α∈AF)∩(β∈BF)时,判断视线落在正前方安全角度范围内;
(α∈ARF)∩(β∈BRF)时,判断视线落在侧前方安全角度范围内;
行驶过程中图像采集设备每隔k豪秒捕捉一次人脸姿态,设当前帧为m,其连续r帧的面部法向量N在设备视角下的人脸三维坐标系⊥OcXcYcZc中的单位向量为i=m-r+1,m-r+2,...,m;依次计算/>所属的视线范围,只有当连续r帧中90%都属于同一个视线安全角度范围时,才判断为落在某一视线安全角度范围内。
CN202110908144.7A 2021-08-09 2021-08-09 一种自由角度下的安全驾驶预警方法 Active CN113591762B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110908144.7A CN113591762B (zh) 2021-08-09 2021-08-09 一种自由角度下的安全驾驶预警方法
ZA2022/07619A ZA202207619B (en) 2021-08-09 2022-07-11 Safe driving early warning method at free angle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110908144.7A CN113591762B (zh) 2021-08-09 2021-08-09 一种自由角度下的安全驾驶预警方法

Publications (2)

Publication Number Publication Date
CN113591762A CN113591762A (zh) 2021-11-02
CN113591762B true CN113591762B (zh) 2023-07-25

Family

ID=78256366

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110908144.7A Active CN113591762B (zh) 2021-08-09 2021-08-09 一种自由角度下的安全驾驶预警方法

Country Status (2)

Country Link
CN (1) CN113591762B (zh)
ZA (1) ZA202207619B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118144711A (zh) * 2024-05-10 2024-06-07 安徽博微智能电气有限公司 一种跟随式驾驶座舱调整方法和装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100090058A (ko) * 2009-02-05 2010-08-13 연세대학교 산학협력단 얼굴 정규화 벡터를 이용한 반복적 3차원 얼굴 포즈 추정 방법
JP2014093006A (ja) * 2012-11-06 2014-05-19 Advanced Telecommunication Research Institute International 頭部姿勢の推定装置、頭部姿勢の推定方法およびコンピュータに頭部姿勢の推定方法を実行させるためのプログラム
JP2016018304A (ja) * 2014-07-07 2016-02-01 株式会社デンソーアイティーラボラトリ 安全確認判定装置、及び運転支援装置
CN109044363A (zh) * 2018-09-04 2018-12-21 华南师范大学 基于头部姿态和眼动的驾驶员疲劳检测方法
CN109271923A (zh) * 2018-09-14 2019-01-25 曜科智能科技(上海)有限公司 人脸姿态检测方法、系统、电子终端及存储介质
CN111016785A (zh) * 2019-11-26 2020-04-17 惠州市德赛西威智能交通技术研究院有限公司 一种基于人眼位置的平视显示系统调节方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100090058A (ko) * 2009-02-05 2010-08-13 연세대학교 산학협력단 얼굴 정규화 벡터를 이용한 반복적 3차원 얼굴 포즈 추정 방법
JP2014093006A (ja) * 2012-11-06 2014-05-19 Advanced Telecommunication Research Institute International 頭部姿勢の推定装置、頭部姿勢の推定方法およびコンピュータに頭部姿勢の推定方法を実行させるためのプログラム
JP2016018304A (ja) * 2014-07-07 2016-02-01 株式会社デンソーアイティーラボラトリ 安全確認判定装置、及び運転支援装置
CN109044363A (zh) * 2018-09-04 2018-12-21 华南师范大学 基于头部姿态和眼动的驾驶员疲劳检测方法
CN109271923A (zh) * 2018-09-14 2019-01-25 曜科智能科技(上海)有限公司 人脸姿态检测方法、系统、电子终端及存储介质
CN111016785A (zh) * 2019-11-26 2020-04-17 惠州市德赛西威智能交通技术研究院有限公司 一种基于人眼位置的平视显示系统调节方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Real-time face pose estimation from single range images";M. D. Breitenstein等;《2008 IEEE Conference on Computer Vision and Pattern Recognition》;全文 *
基于人脸3D模型的驾驶人头部姿态检测;张波;王文军;成波;;汽车工程(第01期);全文 *

Also Published As

Publication number Publication date
ZA202207619B (en) 2022-10-26
CN113591762A (zh) 2021-11-02

Similar Documents

Publication Publication Date Title
JP5092776B2 (ja) 視線方向検出装置及び視線方向検出方法
JP5093611B2 (ja) 車両周辺確認装置
CN111873911B (zh) 调整后视镜的方法、装置、介质以及电子设备
TW201422464A (zh) 車用顯示系統之自動校正方法及其系統
WO2022126419A1 (zh) 一种后视镜控制的方法以及相关设备
CN113591762B (zh) 一种自由角度下的安全驾驶预警方法
EP3440592B1 (en) Method and system of distinguishing between a glance event and an eye closure event
CN111832373A (zh) 一种基于多目视觉的汽车驾驶姿态检测方法
US9369665B2 (en) Video recording apparatus for vehicle and video recording method for vehicle
WO2018061413A1 (ja) ジェスチャ検出装置
WO2018126257A1 (en) Automatic eye box adjustment
JP4319535B2 (ja) 顔の向き検知装置
CN113799698A (zh) 一种内后视镜调节方法、装置、设备及存储介质
CN115424598A (zh) 显示屏亮度调整方法、装置及存储介质
TWI455074B (zh) Vehicle image display system and its correction method
US20210146934A1 (en) Vehicle operation assistance device, vehicle operation assistance method, and program
CN113313019A (zh) 一种分神驾驶检测方法、系统及相关设备
CN116883977A (zh) 一种乘客状态监控方法、装置、终端设备和车辆
CN113002461A (zh) Ar-hud系统的虚像位置调整方法、装置及存储介质
CN216611052U (zh) 一种基于ai识别的电子后视镜
CN114093007A (zh) 双目摄像头人脸图像异常监测的方法及系统
JP2017103627A (ja) 車両後方表示装置
CN115018942A (zh) 用于车辆的图像显示的方法和设备
CN112270304A (zh) 数据处理方法、装置、设备及存储介质
CN114132259A (zh) 一种汽车外后视镜调节方法、装置及汽车

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant