CN111016785A - 一种基于人眼位置的平视显示系统调节方法 - Google Patents

一种基于人眼位置的平视显示系统调节方法 Download PDF

Info

Publication number
CN111016785A
CN111016785A CN201911171329.3A CN201911171329A CN111016785A CN 111016785 A CN111016785 A CN 111016785A CN 201911171329 A CN201911171329 A CN 201911171329A CN 111016785 A CN111016785 A CN 111016785A
Authority
CN
China
Prior art keywords
angle
driver
eye
adjusting
projection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911171329.3A
Other languages
English (en)
Inventor
蔡静雯
罗作煌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huizhou Desay SV Intelligent Transport Technology Research Institute Co Ltd
Original Assignee
Huizhou Desay SV Intelligent Transport Technology Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huizhou Desay SV Intelligent Transport Technology Research Institute Co Ltd filed Critical Huizhou Desay SV Intelligent Transport Technology Research Institute Co Ltd
Priority to CN201911171329.3A priority Critical patent/CN111016785A/zh
Publication of CN111016785A publication Critical patent/CN111016785A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146Display means

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Instrument Panels (AREA)

Abstract

本发明涉及一种基于人眼位置的平视显示系统调节方法,包括获取驾驶员的面部图像,并在面部图像上提取N个面部特征点;根据面部特征点,在世界坐标系中建立3D人脸模型;旋转3D人脸模型,求取与面部图像相匹配的3D人脸模型的投影;根据3D人脸模型的旋转以及投影到面部图像的偏移,计算图像坐标系与世界坐标系之间的转换矩阵;根据转换矩阵计算驾驶员的头部姿态角,并根据驾驶员的头部姿态角估算驾驶员视线在挡风玻璃上的视线落点和视线夹角;根据视线落点和视线夹角调节车载平视显示系统的投射角度。该调节方法能够对HUD显示位置的自动调节,无需手动操作,耗时少,效率高,而且调节后的HUD显示位置与驾驶员身高匹配度较高。

Description

一种基于人眼位置的平视显示系统调节方法
技术领域
本发明涉及平视显示器技术领域,特别涉及一种基于人眼位置的平视显示系统调节方法。
背景技术
随着平视显示器技术的成熟以及成本的降低,平视显示器已经从航空领域的高科技配置走向了汽车行业,而且有望在今后几年内成为车载标配。车载平视显示器主要用于将汽车仪表参数及车辆行驶数据投影到前方的挡风玻璃上,使得驾驶员向前平视车外的前方视景时,就能同时看到车辆行驶的重要参数,以增强现实(AR)效果。目前,在已经安装了平视显示系统(Head Up Display,HUD)的车型中,所有的HUD的投射角度和投射大小都是通过驾驶员手动调节的。这种手动调节的方法存在两个明显的缺陷。第一个缺陷是驾驶员不能够快速找出HUD的调节入口,调节过程耗时较长,效率较低。第二个缺陷是驾驶员不能够准确设置适合自己的HUD投射角度以及控制适合的投射大小。因此,设计一种能够适应不同身高的驾驶员HUD调节系统就显得尤为重要。
发明内容
本发明为了解决上述技术问题,提供了一种基于人眼位置的平视显示系统调节方法,基于车载平视显示系统(Head Up Display,HUD)以及驾驶员监控系统(Driver MonitorSystem,DMS),所述驾驶员监控系统配设有摄像头,该方法包括:
获取驾驶员的面部图像,并在面部图像上提取N个面部特征点;
根据面部特征点,在世界坐标系中建立3D人脸模型;
旋转3D人脸模型,求取与面部图像相匹配的3D人脸模型的投影;
根据3D人脸模型的旋转以及投影到面部图像的偏移,计算图像坐标系与世界坐标系之间的转换矩阵;
根据转换矩阵计算驾驶员的头部姿态角,并根据驾驶员的头部姿态角估算驾驶员视线在挡风玻璃上的视线落点和视线夹角;
根据视线落点和视线夹角调节车载平视显示系统的投射角度。
进一步的,所述面部特征点包括眉眼、眼眶、瞳孔、内外眼角、鼻梁、鼻尖、嘴唇、下颚及脸颊。
进一步的,在所述根据视线落点和视线夹角调节车载平视显示系统的投射角度步骤之后,还包括调节投射面积步骤,所述调节投射面积步骤包括:
在世界坐标系中,计算驾驶员左眼中心与右眼中心之间的欧式距离;
依据欧式距离,调节投射宽度和投射高度。
进一步的,所述投射宽度与欧式距离大小相等;所述投射宽度与所述投射高度之比为16:9。
进一步的,所述欧式距离的计算过程包括:
从面部特征点中提取出驾驶员的眼部特征点;
根据眼部特征点定位驾驶员的左眼中心和右眼中心;
利用转换矩阵求取左眼中心和右眼中心的世界坐标;
在世界坐标系中,计算左眼中心和右眼中心的直线距离,所述直线距离即为欧拉距离。
进一步的,在所述根据视线落点和视线夹角调节车载平视显示系统的投射角度步骤之前,还包括:
估算驾驶员与摄像头之间的水平距离。
进一步的,所述转换矩阵包括旋转矩阵和偏移矩阵,所述头部姿态角根据旋转矩阵求取,且所述头部姿态角包括旋转角、偏航角及俯仰角。
进一步的,所述摄像头为单目摄像头,所述摄像头的光柱与车辆底盘相平行。
进一步的,在估算驾驶员视线在挡风玻璃上的视线落点和视线夹角时,包括:
获取摄像头的安装高度;
根据摄像头的安装高度、驾驶员与摄像头之间的水平距离及俯仰角,计算驾驶员的眼睛高度;
根据驾驶员的眼睛高度,求取驾驶员视线在挡风玻璃上的视线落点和视线夹角。
进一步的,所述车载平视显示系统包括投影仪、反射镜及投影镜;所述投射角度的计算包括如下步骤:
获取投影仪的光柱与水平面之间的第一夹角;
获取反射镜与水平面之间的第二夹角;
将视线夹角除以2,求取得到半角;
对半角、第一夹角及第二夹角进行求和,并将得到的和值减去90°角,即为投射角度。
本发明所起到的有益技术效果如下:
与现有技术相比较,本发明公开了一种基于人眼位置的平视显示系统调节方法,该平视显示系统调节方法通过摄像头获取驾驶员的面部信息,通过DMS系统的计算结果获取驾驶员头部相对于摄像头的夹角。再根据驾驶员开车时头部与摄像头的水平距离估算出人眼高度。根据人眼高度和头部姿态角可以进一步确定驾驶员在挡风玻璃上的视线落点,即HUD图像的投射中心位置。然后根据反射光线和入射光线的位置调整投射镜与静态安装平面的夹角,以达到驾驶员适合的HUD显示位置。整个调节过程无需驾驶员手动调节,耗时少,效率高,而且调节后的HUD显示位置与驾驶员身高匹配度较高,能够更好的满足驾驶员的需求。此外,本调节方法能够适应不同身高的驾驶员,具有普遍推广性。
附图说明
图1为实施例1中基于人眼位置的平视显示系统调节方法流程示意图。
图2为实施例1中摄像头获取到的面部图像以及面部特征点。
图3为实施例1中选取的部分面部特征点。
图4为实施例1中3D人脸模型示意图。
图5为实施例1中图像坐标系与世界坐标系的转化关系示意图。
图6为实施例1中驾驶员眼睛高度估算示意图。
图7为实施例1中HUD投射原理示意图。
附图仅用于示例性说明,不能理解为对本专利的限制;为了更好说明本实施例,附图某些部件会有省略、放大或缩小,并不代表实际产品的尺寸;对于本领域技术人员来说,附图中某些公知结构及其说明可能省略是可以理解的;相同或相似的标号对应相同或相似的部件;附图中描述位置关系的用语仅用于示例性说明,不能理解为对本专利的限制。
具体实施方式
下面结合附图对本发明的较佳实施例进行详细阐述,以使本发明的优点和特征更易被本领域技术人员理解,从而对本发明的保护范围做出更为清楚的界定。
实施例1:
如图1所示,本实施例提供了一种基于人眼位置的平视显示系统调节方法,该平视显示系统调节方法基于车载平视显示系统以及车载驾驶员监控系统,其中车载驾驶员监控系统配设有摄像头,摄像头用于获取驾驶员的面部图像。本实施例中,摄像头采用的是单目摄像头,单目摄像头的光柱与车辆底盘相平行,且单目摄像头的安装位置低于驾驶员的眼睛高度。当摄像头获取得到驾驶员的面部图像后,驾驶员监控系统便可根据面部图像以及面部图像上的面部特征点,在世界坐标系中建立3D人脸模型,并通过调节3D人脸模型,求取与面部图像最匹配的投影。且驾驶员监控系统能够他根据3D人脸模型的旋转及投影的偏移,计算出图像坐标系与世界坐标系的转换矩阵,进而根据转换矩阵获取得到驾驶员相对于摄像头的头部姿态角。驾驶员监控系统根据头部姿态角计算出驾驶员视线在挡风玻璃上的实现落点和视线夹角,然后由平视显示系统根据视线落点和视线夹角调节投射角度和投射面积,以满足驾驶员的需求。
一种基于人眼位置的平视显示系统调节方法,包括如下步骤:
101、获取驾驶员的面部图像,并在面部图像上提取N个面部特征点。
本实施例中,面部特征点至少包括眉眼、眼眶、瞳孔、内外眼角、鼻梁、鼻尖、嘴唇、下颚及脸颊。
在驾驶员进入驾驶仓后,驾驶员需要先看向安装在车辆驾驶舱内的摄像头,驾驶员的面部图像通过安装在车辆驾驶舱内的摄像头来获取得到,以用于调节HUD的投影角度和面积,如图2所示。得到的面部图像由驾驶员监控系统进一步定位出人脸关键点,人脸关键点即为面部特征点。通常利用驾驶员监控系统中的深度模型就可以直接定位出64个面部特征点,由于驾驶员监控系统已在汽车领域具有一定推广,属于现有技术,在此不再详细介绍。
102、根据面部特征点,在世界坐标系中建立3D人脸模型。
一旦在步骤101中获取得到64个面部特征点,DMS中的人脸特征点定位模型便会产生与64个面部特征点相对应的2D坐标系,进而得到64个面部特征点的图像坐标。随后,人脸特征点定位模型会从这64个面部特征点中筛选出14个关键特征点,如图3所示。并通过对这14个关键特征点进行厚度赋值,把2D的关键特征点映射成一定厚度的3D人脸特征点,然后根据3D人脸特征点即可构建出标准的人脸3D模型,如图4所示。
103、旋转3D人脸模型,求取与面部图像相匹配的3D人脸模型的投影。
一旦3D人脸模型构建成功,便意味着3D人脸模型在世界坐标系中的初始位置已确定。此时,便可以在3D人脸模型中标记出与14个关键特征点相匹配的14个对应点。然后将图像坐标中的14个关键特征点的图像坐标转化为世界坐标。在对14个关键特征点的坐标进行转化时,先利用摄像机的内参矩阵进行一次转化,然后再利用摄像头坐标系与世界坐标系之间的旋转矩阵和偏移矩阵进行二次转化。由于摄像头的内参矩阵已知,只需要求取摄像头坐标系与世界坐标系之间的旋转矩阵和偏移矩阵,以获取摄像头坐标系与世界坐标系之间的转换关系即可。如图5所示,(x,y) 是图像坐标系内的点。(X,Y,Z)是摄像头坐标系内的点。(U,V,W)是世界坐标系内的点。其中,图像坐标系与摄像头坐标系的转化公式如下:
Figure 949011DEST_PATH_IMAGE001
(式一);
其中,在公式一中,s 是尺度参数,矩阵
Figure 258769DEST_PATH_IMAGE002
为摄像头的内参矩阵,摄像头的内参 矩阵是已知的,在内参矩阵已知的情况下,尺度参数s=1。
当利用式一将图像坐标系中的点转化为摄像头坐标系中的点后,便可以通过旋转矩阵和偏移矩阵将摄像头坐标系中的点进一步转化为世界坐标系中,摄像头坐标系与世界坐标系之间的具体转化公式如下:
Figure 470439DEST_PATH_IMAGE003
(式二);
其中,在公式二中,[R|T]矩阵是3*4维的矩阵,即R矩阵是3*3维,T矩阵是3*1维。
由式一和式二可以直接推算出图像坐标系与世界坐标系的转化公式,具体如下所示:
Figure 523845DEST_PATH_IMAGE004
(式三)。
由于摄像头的内参矩阵已知,尺度参数s也就随之确定了,那么在整个公式三中,就只有旋转矩阵和偏移矩阵需要求取。
为了求取旋转矩阵和偏移矩阵,需要先将面部图像上的14个关键特征点利用公式一转换至摄像头坐标系中。然后对步骤102中构建而成的3D人脸模型进行旋转,并基于旋转后的3D人脸模型所在位置,将3D人脸模型中标记出的14个对应点投影至摄像头坐标系中,在摄像头坐标系中得到14个映射点。将14个关键特征点在摄像头坐标系中的对应位置点与摄像头坐标系中的14个映射点进行比对分析,找出其中的坐标差异。本实施例中,通过最小二乘法在14个关键特征点在摄像头坐标系中的对应位置点和14个映射点之间建立差距方程,并通过不断迭代,当关键特征点在摄像头坐标系中的对应位置点与映射点之间的误差最小时,即可将该条件下的投影作为与面部图像误差最小的投影,即最佳投影。
104、根据3D人脸模型的旋转以及投影到面部图像的偏移,计算图像坐标系与世界坐标系之间的转换矩阵。
转换矩阵包括图像坐标系与世界坐标系之间的旋转矩阵以及图像坐标系与世界坐标系之间的偏移矩阵。头部姿态角是根据图像坐标系与世界坐标系之间的旋转矩阵求得的,头部姿态角包括旋转角、偏航角及俯仰角。
当最佳投影确定后,就表示3D人脸模型的旋转路径以及最佳投影与摄像头坐标系之间的偏移量也就随之确定了,即摄像头坐标系与世界坐标系之间的旋转矩阵以及偏移矩阵就确定了,即R和T是确定的。由公式三可知,将R和T带入公式三中,就可以直接得到图像坐标系与世界坐标系之间的转化矩阵,即图像坐标系与世界坐标系之间的转换关系。
具体的,本实施例中,首先提取面部特征点在图像坐标系中的位置,然后提取3D人脸模型中的14个对应点在世界坐标系中的位置,并在两者之间建立非线性最小二乘方程,方程式如下:
Figure 425942DEST_PATH_IMAGE005
(式四),
其中,在公式四中,(α,β,γ)表示人脸姿态的三个旋转角度,n表示一张人脸上的选取 的面部特征点个数(此处取n=14), qi是图像坐标系中的待测人脸特征点, pi是3D人脸模型 下的对应点,R’表示图像坐标系与世界坐标系之间的变换关系,是摄像头内参矩阵与旋转 矩阵R矩阵的乘积,t’是偏移向量t和摄像头内参矩阵的乘积,s是尺度参数。该非线性最小 二乘方程可通过OpenCV中的solvePNP()函数得出最优解,求出的最优解即为图像坐标系 与世界坐标系之间的旋转向量
Figure 641023DEST_PATH_IMAGE006
一旦图像坐标系与世界坐标系之间的旋转向量
Figure 933464DEST_PATH_IMAGE006
被求出后,便可以利用 Rodrigues旋转公式把旋转向量
Figure 450550DEST_PATH_IMAGE007
换算成图像坐标系与世界坐标系之间的最终旋转矩阵
Figure 144837DEST_PATH_IMAGE008
。 本实施例中,所说的Rodrigues旋转公式如下:
Figure 609447DEST_PATH_IMAGE009
(式五);
其中,在公式五中,
Figure 654764DEST_PATH_IMAGE010
Figure 112290DEST_PATH_IMAGE007
的模长,
Figure 661083DEST_PATH_IMAGE007
是个单位向量,I为单位矩阵。
由式二和式三可知,最终旋转矩阵
Figure 60709DEST_PATH_IMAGE008
等于旋转矩阵R与系数的乘积,系数已知,可 以根据最终旋转矩阵
Figure 327742DEST_PATH_IMAGE008
求出摄像头坐标系与世界坐标系之间的旋转矩阵R,R还可以表示为
Figure 261063DEST_PATH_IMAGE011
,由上面计算过程可知旋转矩阵R是指世界坐标系与摄像头坐标系之间 的旋转关系,因此
Figure 664363DEST_PATH_IMAGE012
是指按驾驶员相对于摄像头的头部姿态角。也就是说,
Figure 64251DEST_PATH_IMAGE012
分别表示驾驶员头部在世界坐标系中相对于摄像头而言绕x轴,y轴,z轴上的 旋转角α、β、γ(pitch, roll, yaw)。其中,
Figure 818580DEST_PATH_IMAGE013
Figure 617909DEST_PATH_IMAGE014
;而
Figure 141294DEST_PATH_IMAGE015
, 对这个三个方程式进行求解,即可分别得出头部绕x轴,y轴,z轴的旋转角α(俯仰角)、β(偏 航角)、γ(旋转角)以及旋转矩阵R。
105、根据转换矩阵计算驾驶员的头部姿态角,并根据驾驶员的头部姿态角估算驾驶员视线在挡风玻璃上的视线落点和视线夹角。
在估算驾驶员视线在挡风玻璃上的视线落点和视线夹角之前,需要先估算驾驶员与摄像头之间的水平距离,在估算驾驶员与摄像头之间水平距离的过程中,选择忽略驾驶员头部与驾驶员肩颈部分的纵向差距,并假设驾驶员视线与车辆底盘相平行。根据经验来讲,驾驶员与摄像头之间的水平距离一般为40cm-80cm,本实施例,取驾驶员距离摄像头的水平距离为60cm,以此估算驾驶员眼睛的高度位置。
由于摄像头的安装位置是固定的,根据摄像头的安装位置就可以计算出摄像头的安装高度以及机械安装角度,且摄像头光轴与车辆底盘平面平行。因此,可以直接根据上面计算得到的α(俯仰角)用于估算驾驶员眼睛的高度位置。驾驶员眼睛的高度计算过程如图6所示。在图6中,D表示摄像头的安装位置到车底平面的距离,假设摄像头的安装位置摄像头光柱与车底面平行,驾驶员正视前方路面时驾驶员头部与摄像头的俯仰角pitch已经通过上述计算得出。那么,由图6可知,驾驶员的眼睛高度计算公式为:
Figure 305560DEST_PATH_IMAGE016
(式六);
其中,
Figure 924016DEST_PATH_IMAGE017
代表眼睛的高度,D代表摄像头的安装位置到车底平面的距离,即摄 像头的安装高度,d代表眼睛与摄像头的垂直距离,且
Figure 921239DEST_PATH_IMAGE019
,pitch为俯仰角,该公 式中的单位均为厘米。计算出驾驶员的眼睛高度之后,假设驾驶员正视前方路面时视线与 车辆底盘平行,那么驾驶员视线的延长线与前挡风玻璃的交点即为视线落点,驾驶员视线 的延长线与前挡风玻璃的夹角即为视线夹角。
106、根据视线落点和视线夹角调节车载平视显示系统的投射角度。
车载平视显示系统包括投影仪、反射镜及投影镜;由于投影仪和反射镜的安装位置是固定的,也就是说,投影仪和反射镜的安装角度无法调节。因此,要想改变投射角度的,只能改变投影镜的角度。一旦视线落点确定后,便以求出的视线落点为最终HUD影像的投射位置。在调节HUD影响的投射位置过程中,需要先获取投影仪的光柱与水平面之间的第一夹角,再获取反射镜与水平面之间的第二夹角。随后求取视线夹角的半角,半角等于视线夹角除以2。最后,将半角、第一夹角及第二夹角进行求和,并将得到的和值减去90°直角,即可得到投射角度。根据计算出的投射角度,车载平视显示系统会对投影镜的位置进行调整,以使投影镜的投射角度与驾驶员的眼部高度相匹配,更好满足驾驶员的驾驶需求。
具体的,投射角度的计算过程如图7所示,在图7中,θ3、θ4分别是投影仪的光柱与水平面的夹角(即第一夹角)及反射镜与水平面的夹角(即第二夹角)。这两个角度是固定不变的,也是不能调节。而θ1是驾驶员视线与前挡风玻璃的夹角(即视线夹角),该角度是随着驾驶员坐姿的不同而变化的,这里假设驾驶员在驾车过程中眼睛视线是与地面平行的。那么,角q就是投影镜与水平面的夹角,也就是控制HUD投影高度的可调节角度。从图中可以看出,∠1=∠2,、∠3=∠4、 ∠5=∠6(角平分线原理);∠q=∠8(内错角原理);∠a=∠d(等角的补角相等),图中虚线表示入射光线和反射光线组成角的角平分线也是所在镜面平面的法线,与镜面平面垂直。在图7中,各角度之间的关系如下:
Figure 725247DEST_PATH_IMAGE020
;且
Figure 454169DEST_PATH_IMAGE021
由角平分线性质和同位角关系可以推出:
Figure 532983DEST_PATH_IMAGE022
由内错角关系和三角形外角定理可以推出:
Figure 358857DEST_PATH_IMAGE023
由同位角关系可以推出:
Figure 910930DEST_PATH_IMAGE024
由法线性质可以推出:
Figure 127147DEST_PATH_IMAGE025
由内错角关系可以推出:
Figure 416177DEST_PATH_IMAGE026
由以上推理过程可推出:只要将投影镜自动调整到与水平地面的夹角为
Figure 237503DEST_PATH_IMAGE027
的位置,就可以使投影镜的投射角度与驾驶员的眼部高度相匹配。
作为优选的,由于HUD设备的投射效果由投射角度和投射面积共同决定,因此在投射角度确定后,还需要对HUD的投射面积进行调节,才能算是真正的完成了HUD设备的自动调节。即在根据视线落点和视线夹角调节车载平视显示系统的投射角度步骤之后,还包括调节投射面积步骤。在调节投射面积步骤中,首先需要在世界坐标系中,计算出驾驶员左眼中心和右眼中心之间的欧式距离。然后根据欧式距离,进一步对HUD设备的投射宽度和投射高度进行调节。通常投射宽度与欧式距离的大小保持相等,投射宽度与投射高度之比为16:9。
本实施例中的欧式距离实际上是指左眼中心和右眼中心在世界坐标系中的直线 距离。当然,在具体计算过程中,需要先从N个面部特征点中提取出驾驶员的眼部特征点。眼 部特征点包括了左眼眼部特征点和右眼眼部特征点,通过眼部特征点能够得到驾驶员的左 眼轮廓和右眼轮廓,进而定位出驾驶员的左眼中心和右眼中心。记录左眼中心和右眼中心 的图像坐标,并利用已求出的转换矩阵,将左眼中心和右眼中心的图像坐标转换为世界坐 标,即求取左眼中心和右眼中心的世界坐标。最后在世界坐标系中,直接计算左眼中心和右 眼中心的之间距离,即可得到欧拉距离。假设驾驶员的左眼中心和右眼中心在图像坐标系 中的坐标是A(x1,y1 ),B(x2,y2),利用图像坐标系与世界坐标系之间的转化关系,可以直接 求出驾驶员左眼中心和右眼中心的世界坐标A'(u1,v1,w1 ),B'(u2,v2,w2),那么A'和B'之间 的欧拉距离Dist的计算公式如下:
Figure 773526DEST_PATH_IMAGE028
(式七)
计算得到的欧拉距离Dist即为驾驶员左、右眼中心点之间的距离,也是设置投影宽度和投影高度的参考尺寸。
本实施例中,公开的基于人眼位置的平视显示系统调节方法通过DMS系统的计算结果获取驾驶员头部相对于摄像头的夹角。再根据驾驶员开车时头部与摄像头的水平距离估算出人眼高度。根据人眼高度和头部姿态角可以进一步确定驾驶员在挡风玻璃上的视线落点,即HUD图像的投射中心位置。然后根据反射光线和入射光线的位置调整投射镜与静态安装平面的夹角,以达到驾驶员适合的HUD显示位置。整个调节过程无需驾驶员手动调节,耗时少,效率高,而且调节后的HUD显示位置与驾驶员身高匹配度较高,能够更好的满足驾驶员的需求
显然,本发明的上述实施例仅仅是为清楚地说明本发明所作的举例,而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明权利要求的保护范围之内。

Claims (10)

1.一种基于人眼位置的平视显示系统调节方法,其特征在于,基于车载平视显示系统以及驾驶员监控系统,所述驾驶员监控系统配设有摄像头,该方法包括:
获取驾驶员的面部图像,并在面部图像上提取N个面部特征点;
根据面部特征点,在世界坐标系中建立3D人脸模型;
旋转3D人脸模型,求取与面部图像相匹配的3D人脸模型的投影;
根据3D人脸模型的旋转以及投影到面部图像的偏移,计算图像坐标系与世界坐标系之间的转换矩阵;
根据转换矩阵计算驾驶员的头部姿态角,并根据驾驶员的头部姿态角估算驾驶员视线在挡风玻璃上的视线落点和视线夹角;
根据视线落点和视线夹角调节车载平视显示系统的投射角度。
2.如权利要求1所述一种基于人眼位置的平视显示系统调节方法,其特征在于,所述面部特征点包括眉眼、眼眶、瞳孔、内外眼角、鼻梁、鼻尖、嘴唇、下颚及脸颊。
3.如权利要求2所述一种基于人眼位置的平视显示系统调节方法,其特征在于,在所述根据视线落点和视线夹角调节车载平视显示系统的投射角度步骤之后,还包括调节投射面积步骤,所述调节投射面积步骤包括:
在世界坐标系中,计算驾驶员左眼中心与右眼中心之间的欧式距离;
依据欧式距离,调节投射宽度和投射高度。
4.如权利要求3所述一种基于人眼位置的平视显示系统调节方法,其特征在于,所述投射宽度与欧式距离大小相等;所述投射宽度与所述投射高度之比为16:9。
5.如权利要求3所述一种基于人眼位置的平视显示系统调节方法,其特征在于,所述欧式距离的计算过程包括:
从面部特征点中提取出驾驶员的眼部特征点;
根据眼部特征点定位驾驶员的左眼中心和右眼中心;
利用转换矩阵求取左眼中心和右眼中心的世界坐标;
在世界坐标系中,计算左眼中心和右眼中心的直线距离,所述直线距离即为欧拉距离。
6.如权利要求1所述一种基于人眼位置的平视显示系统调节方法,其特征在于,在所述根据视线落点和视线夹角调节车载平视显示系统的投射角度步骤之前,还包括:
估算驾驶员与摄像头之间的水平距离。
7.如权利要求6所述一种基于人眼位置的平视显示系统调节方法,其特征在于,所述转换矩阵包括旋转矩阵和偏移矩阵,所述头部姿态角根据旋转矩阵求取,且所述头部姿态角包括旋转角、偏航角及俯仰角。
8.如权利要求7所述一种基于人眼位置的平视显示系统调节方法,其特征在于,所述摄像头为单目摄像头,所述摄像头的光柱与车辆底盘相平行。
9.如权利要求8所述一种基于人眼位置的平视显示系统调节方法,其特征在于,在估算驾驶员视线在挡风玻璃上的视线落点和视线夹角时,包括:
获取摄像头的安装高度;
根据摄像头的安装高度、驾驶员与摄像头之间的水平距离及俯仰角,计算驾驶员的眼睛高度;
根据驾驶员的眼睛高度,求取驾驶员视线在挡风玻璃上的视线落点和视线夹角。
10.如权利要求9所述一种基于人眼位置的平视显示系统调节方法,其特征在于,所述车载平视显示系统包括投影仪、反射镜及投影镜;所述投射角度的计算包括如下步骤:
获取投影仪的光柱与水平面之间的第一夹角;
获取反射镜与水平面之间的第二夹角;
将视线夹角除以2,求取得到半角;
对半角、第一夹角及第二夹角进行求和,并将得到的和值减去90°角,即为投射角度。
CN201911171329.3A 2019-11-26 2019-11-26 一种基于人眼位置的平视显示系统调节方法 Pending CN111016785A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911171329.3A CN111016785A (zh) 2019-11-26 2019-11-26 一种基于人眼位置的平视显示系统调节方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911171329.3A CN111016785A (zh) 2019-11-26 2019-11-26 一种基于人眼位置的平视显示系统调节方法

Publications (1)

Publication Number Publication Date
CN111016785A true CN111016785A (zh) 2020-04-17

Family

ID=70202221

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911171329.3A Pending CN111016785A (zh) 2019-11-26 2019-11-26 一种基于人眼位置的平视显示系统调节方法

Country Status (1)

Country Link
CN (1) CN111016785A (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112026790A (zh) * 2020-09-03 2020-12-04 上海商汤临港智能科技有限公司 车载机器人的控制方法及装置、车辆、电子设备和介质
CN112298039A (zh) * 2020-09-27 2021-02-02 浙江合众新能源汽车有限公司 一种a柱成像方法
CN112428936A (zh) * 2020-11-27 2021-03-02 奇瑞汽车股份有限公司 自动调节抬头显示器参数的方法和装置
CN112434595A (zh) * 2020-11-20 2021-03-02 小米科技(武汉)有限公司 行为识别方法及装置、电子设备、存储介质
CN112541400A (zh) * 2020-11-20 2021-03-23 小米科技(武汉)有限公司 基于视线估计的行为识别方法及装置、电子设备、存储介质
CN112650461A (zh) * 2020-12-15 2021-04-13 广州舒勇五金制品有限公司 一种基于相对位置的展示系统
CN113552905A (zh) * 2021-06-22 2021-10-26 歌尔光学科技有限公司 车载hud的位置调整方法及系统
CN113591762A (zh) * 2021-08-09 2021-11-02 重庆理工大学 一种自由角度下的安全驾驶预警方法
CN113741035A (zh) * 2021-09-06 2021-12-03 京东方科技集团股份有限公司 Hud的显示方法、装置、电子设备及存储介质
CN114043932A (zh) * 2021-11-17 2022-02-15 中汽创智科技有限公司 一种车辆平视显示器的控制方法、装置、设备及存储介质
CN114407903A (zh) * 2020-05-15 2022-04-29 华为技术有限公司 座舱系统调节装置和用于调节座舱系统的方法
US11990066B2 (en) 2022-03-18 2024-05-21 Honda Motor Co., Ltd. System and method to adjust inclined heads-up display perspective
WO2024109886A1 (zh) * 2022-11-25 2024-05-30 北京罗克维尔斯科技有限公司 信息显示方法、装置、设备、存储介质及车辆

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011073496A (ja) * 2009-09-29 2011-04-14 Nippon Seiki Co Ltd 車載立体表示装置、及び車載立体表示方法
CN102967938A (zh) * 2011-08-29 2013-03-13 株式会社电装 平视显示设备、屏幕部件及其制造方法和图像投影方法
CN103885573A (zh) * 2012-12-19 2014-06-25 财团法人车辆研究测试中心 车用显示系统的自动校正方法及其系统
CN106981091A (zh) * 2017-04-27 2017-07-25 深圳奥比中光科技有限公司 人体三维建模数据处理方法及装置
CN107656619A (zh) * 2017-09-26 2018-02-02 广景视睿科技(深圳)有限公司 一种智能投影方法、系统及智能终端
CN107924668A (zh) * 2015-08-26 2018-04-17 富士胶片株式会社 投影型显示装置
DE102018001969A1 (de) * 2018-03-12 2018-09-20 Daimler Ag Verfahren zur Kalibrierung eines kontaktanalogen Headup-Displays eines Fahrzeuges in einer Werkstatt
CN110058411A (zh) * 2019-03-22 2019-07-26 武汉格罗夫氢能汽车有限公司 一种新型的乘用车前挡风抬头显示系统
CN110197169A (zh) * 2019-06-05 2019-09-03 南京邮电大学 一种非接触式的学习状态监测系统及学习状态检测方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011073496A (ja) * 2009-09-29 2011-04-14 Nippon Seiki Co Ltd 車載立体表示装置、及び車載立体表示方法
CN102967938A (zh) * 2011-08-29 2013-03-13 株式会社电装 平视显示设备、屏幕部件及其制造方法和图像投影方法
CN103885573A (zh) * 2012-12-19 2014-06-25 财团法人车辆研究测试中心 车用显示系统的自动校正方法及其系统
CN107924668A (zh) * 2015-08-26 2018-04-17 富士胶片株式会社 投影型显示装置
CN106981091A (zh) * 2017-04-27 2017-07-25 深圳奥比中光科技有限公司 人体三维建模数据处理方法及装置
CN107656619A (zh) * 2017-09-26 2018-02-02 广景视睿科技(深圳)有限公司 一种智能投影方法、系统及智能终端
DE102018001969A1 (de) * 2018-03-12 2018-09-20 Daimler Ag Verfahren zur Kalibrierung eines kontaktanalogen Headup-Displays eines Fahrzeuges in einer Werkstatt
CN110058411A (zh) * 2019-03-22 2019-07-26 武汉格罗夫氢能汽车有限公司 一种新型的乘用车前挡风抬头显示系统
CN110197169A (zh) * 2019-06-05 2019-09-03 南京邮电大学 一种非接触式的学习状态监测系统及学习状态检测方法

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114407903B (zh) * 2020-05-15 2022-10-28 华为技术有限公司 座舱系统调节装置和用于调节座舱系统的方法
CN114407903A (zh) * 2020-05-15 2022-04-29 华为技术有限公司 座舱系统调节装置和用于调节座舱系统的方法
CN112026790B (zh) * 2020-09-03 2022-04-15 上海商汤临港智能科技有限公司 车载机器人的控制方法及装置、车辆、电子设备和介质
CN112026790A (zh) * 2020-09-03 2020-12-04 上海商汤临港智能科技有限公司 车载机器人的控制方法及装置、车辆、电子设备和介质
CN112298039A (zh) * 2020-09-27 2021-02-02 浙江合众新能源汽车有限公司 一种a柱成像方法
CN112434595A (zh) * 2020-11-20 2021-03-02 小米科技(武汉)有限公司 行为识别方法及装置、电子设备、存储介质
CN112541400A (zh) * 2020-11-20 2021-03-23 小米科技(武汉)有限公司 基于视线估计的行为识别方法及装置、电子设备、存储介质
US11816924B2 (en) 2020-11-20 2023-11-14 Xiaomi Technology (Wuhan) Co., Ltd. Method for behaviour recognition based on line-of-sight estimation, electronic equipment, and storage medium
US11790692B2 (en) 2020-11-20 2023-10-17 Xiaomi Technology (Wuhan) Co., Ltd. Method for behaviour recognition, electronic equipment, and storage medium
CN112428936A (zh) * 2020-11-27 2021-03-02 奇瑞汽车股份有限公司 自动调节抬头显示器参数的方法和装置
CN112650461A (zh) * 2020-12-15 2021-04-13 广州舒勇五金制品有限公司 一种基于相对位置的展示系统
CN112650461B (zh) * 2020-12-15 2021-07-13 广州舒勇五金制品有限公司 一种基于相对位置的展示系统
CN113552905A (zh) * 2021-06-22 2021-10-26 歌尔光学科技有限公司 车载hud的位置调整方法及系统
CN113591762A (zh) * 2021-08-09 2021-11-02 重庆理工大学 一种自由角度下的安全驾驶预警方法
CN113591762B (zh) * 2021-08-09 2023-07-25 重庆理工大学 一种自由角度下的安全驾驶预警方法
CN113741035A (zh) * 2021-09-06 2021-12-03 京东方科技集团股份有限公司 Hud的显示方法、装置、电子设备及存储介质
CN113741035B (zh) * 2021-09-06 2023-10-17 京东方科技集团股份有限公司 Hud的显示方法、装置、电子设备及存储介质
CN114043932A (zh) * 2021-11-17 2022-02-15 中汽创智科技有限公司 一种车辆平视显示器的控制方法、装置、设备及存储介质
US11990066B2 (en) 2022-03-18 2024-05-21 Honda Motor Co., Ltd. System and method to adjust inclined heads-up display perspective
WO2024109886A1 (zh) * 2022-11-25 2024-05-30 北京罗克维尔斯科技有限公司 信息显示方法、装置、设备、存储介质及车辆

Similar Documents

Publication Publication Date Title
CN111016785A (zh) 一种基于人眼位置的平视显示系统调节方法
CN109688392B (zh) Ar-hud光学投影系统及映射关系标定方法和畸变矫正方法
US11241960B2 (en) Head up display apparatus and display control method thereof
CN102736634B (zh) 一种用于汽车全景图的摄像头角度调节方法
US8994558B2 (en) Automotive augmented reality head-up display apparatus and method
TWI531495B (zh) Automatic Calibration Method and System for Vehicle Display System
CN109889807A (zh) 车载投射调节方法、装置、设备和存储介质
CN109941277A (zh) 显示汽车a柱盲区图像的方法、装置和车辆
CN108225734B (zh) 一种基于hud系统的误差标定系统及其误差标定方法
CN111739101B (zh) 一种消除车辆a柱盲区的装置和方法
CN109649275A (zh) 一种基于增强现实的驾驶辅助系统及方法
CN204009230U (zh) 车载平视投射系统
CN111829549A (zh) 一种基于高精度地图的积雪路面虚拟车道线投影方法
KR101543159B1 (ko) 카메라를 이용한 영상 조정 시스템 및 방법
EP3326145B1 (en) Panel transform
WO2022126419A1 (zh) 一种后视镜控制的方法以及相关设备
CN114007054B (zh) 车载屏幕画面投影矫正的方法及装置
EP3326146B1 (en) Rear cross traffic - quick looks
CN110053559A (zh) 基于实时姿态自动调节后视镜系统及其调节方法
CN111664839A (zh) 车载抬头显示虚像距离测量方法
WO2017067528A1 (zh) 一种分离式抬头显示器
CN113866989A (zh) 一种可调节成像距离的头戴式显示装置
CN111241946A (zh) 一种基于单dlp光机增大fov的方法和系统
CN112880970A (zh) 一种新能源汽车的风挡式hud投影质量的检测方法
CN111754442A (zh) 一种hud图像校正方法、装置及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200417