CN110001400A - 车辆用显示装置 - Google Patents

车辆用显示装置 Download PDF

Info

Publication number
CN110001400A
CN110001400A CN201811475253.9A CN201811475253A CN110001400A CN 110001400 A CN110001400 A CN 110001400A CN 201811475253 A CN201811475253 A CN 201811475253A CN 110001400 A CN110001400 A CN 110001400A
Authority
CN
China
Prior art keywords
image
display
distortion correction
driver
eyespot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811475253.9A
Other languages
English (en)
Other versions
CN110001400B (zh
Inventor
小笠原一贺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yazaki Corp
Original Assignee
Yazaki Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yazaki Corp filed Critical Yazaki Corp
Publication of CN110001400A publication Critical patent/CN110001400A/zh
Application granted granted Critical
Publication of CN110001400B publication Critical patent/CN110001400B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B27/0103—Head-up displays characterised by optical features comprising holographic elements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/149—Instrument input by detecting viewing direction not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18—Information management
    • B60K2360/186—Displaying information according to relevancy
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/27—Optical features of instruments using semi-transparent optical elements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/29—Holographic features
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29—Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/011—Head-up displays characterised by optical features comprising device for correcting geometrical aberrations, distortion
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0129—Head-up displays characterised by optical features comprising devices for correcting parallax
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0181—Adaptation to the pilot/driver

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Instrument Panels (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Image Processing (AREA)

Abstract

提供一种车辆用显示装置，其能够追踪驾驶员的视点位置的变化而高精度地调整显示图像。车辆用显示装置(1)将从驾驶员(D)的基准眼点(EPs)观察已在假想空间(VS)内形成的失真校正用3D对象(20)时所观察到的图像作为显示图像(P)而在显示器(18)进行显示。控制部(13)在假想空间内将原显示图像(Po)贴合于失真校正用3D对象并进行纹理映射，并根据基准眼点和实际眼点(EPr)的位置变化来调整失真校正用3D对象。失真校正用3D对象是曲面模型，其进行反向扭曲以抵消相对于显示图像而在所述虚像(S)中产生的失真。调整部(22)根据位置变化而将所述失真校正用3D对象的位置从基准位置起进行变化。

Description

车辆用显示装置
技术领域
本发明涉及一种车辆用显示装置。
背景技术
近年，在汽车等车辆中，存在搭载有平视显示器装置(HUD：Head Up Display)等车辆用显示装置的车辆。在车辆用显示装置中，存在通过将显示器显示的显示图像经由反射镜等的光学系统来向挡风玻璃投影，从而作为虚像而被驾驶员视觉识别的车辆用显示装置。在这种车辆用显示装置中，存在由于挡风玻璃、光学系统而使虚像产生失真从而视觉识别性能降低的可能。例如，在专利文献1中公开了如下技术：使用平面性的失真校正图，并预先将显示图像扭曲从而进行校正以抵消虚像的失真。
现有技术文献
专利文献
专利文献1：特开平10-149085号公报
发明内容
发明欲解决的技术问题
然而，在现有的车辆用显示装置中，为了应对驾驶员的视点位置的变化而需要保存多个根据每个视点位置而扭曲方式不同的失真校正图，但是由于储存容量有限，所以很难对无数的视点位置高精度地校正。
本发明的目的在于提供一种车辆用显示装置，其能够追踪驾驶员的视点位置的变化而高精度地调整显示图像。
用于解决问题的技术手段
为了实现上述目的，本发明所涉及的车辆用显示装置，其将显示器所显示的显示图像利用光学系统反射从而向车辆的挡风玻璃投影，并使与已向所述挡风玻璃投影的所述显示图像对应的虚像从所述车辆的驾驶员的视点位置被视觉识别，所述车辆用显示装置的特征在于：具备：检测部，其检测所述驾驶员的实际视点位置；以及控制部，其基于原显示图像来创建所述显示图像，所述控制部将从所述驾驶员的基准视点位置观察已在假想空间内形成的失真校正用3D对象时所观察到的图像作为所述显示图像而在所述显示器显示，所述控制部具有：获取单元，其获取所述原显示图像；纹理映射单元，其在所述假想空间内将所述原显示图像与所述失真校正用3D对象贴合并进行纹理映射；以及调整单元，其在所述假想空间内根据所述基准视点位置和所述实际视点位置的位置变化来调整所述失真校正用3D对象，所述失真校正用3D对象是曲面模型，其进行反向扭曲以抵消所述挡风玻璃和所述光学系统中的至少一个所引起的、相对于所述显示图像而在所述虚像中产生的失真，所述调整单元根据所述位置变化而将所述失真校正用3D对象的位置从基准位置起进行变化。
在上述车辆用显示装置中，优选为，所述调整单元将所述失真校正用3D对象的位置相对于所述基准位置向上下方向或左右方向移动，或者向上下方向或左右方向倾斜。
在上述的车辆用显示装置中，优选为，所述控制部具有多个根据所述车辆的每个车辆种类而形成的所述失真校正用3D对象，所述控制部读取与所述车辆种类对应的所述失真校正用3D对象。
发明效果
根据本发明所涉及的车辆用显示装置，起到以下效果：能够追踪驾驶员的视点位置的变化而高精度地调整显示图像。
附图说明
图1是示出搭载有实施方式所涉及的车辆用显示装置的车辆的概要构成的示意图。
图2是示出实施方式所涉及的车辆用显示装置的概要构成的示意图。
图3是示出实施方式所涉及的车辆用显示装置中的控制部的概要构成的框图。
图4是表示实施方式所涉及的车辆用显示装置中的图像显示处理的一例的流程图。
图5是表示实施方式所涉及的车辆用显示装置中的失真校正用3D对象的概要构成的图。
图6是表示实施方式所涉及的车辆用显示装置中的失真校正用3D对象的调整处理的一例的流程图。
图7是表示实施方式所涉及的车辆用显示装置中的显示图像的校正动作的一例的示意图。
图8是用于说明实施方式所涉及的车辆用显示装置中的失真校正用3D对象的创建方法的说明图。
图9是用于说明实施方式所涉及的车辆用显示装置中的失真校正用3D对象的创建方法的其他的说明图。
符号说明
1 车辆用显示装置
2 车辆前方摄像机
3 驾驶员摄像机
4 装置主体
5 导航装置
11 图像显示部
12 图像分析部
13 控制部
18 显示器
20 失真校正用3D对象
21 显示图像、信息获取部
22 调整部
23 纹理映射、绘图部
100 车辆
104 挡风玻璃
D 驾驶员
EP 眼点
EPs 基准眼点
EPr 实际眼点
ER 眼睛区域
P、Pd 显示图像
Po 原显示图像
VS 假想空间
M 校正图
S、Sn 虚像
具体实施方式
以下，参照附图来详细说明本发明的实施方式所涉及的车辆用显示装置。此外，本发明并不被以下所示的实施方式限定。另外，在下述实施方式中的构成要素中，包含本领域技术人员能够容易置换的要素或实质上相同的要素。另外，下记的实施方式中的构成要素能够在不超出发明的要旨的范围内进行各种省略、置换、变更。
[实施方式]
图1及图2所示的本实施方式所涉及的车辆用显示装置1例如是搭载于汽车等车辆100中的HUD。车辆用显示装置1将显示图像P用光学系统反射从而向车辆100的挡风玻璃104投影，并使与已向挡风玻璃投影的显示图像P对应的虚像S从车辆100的驾驶员D的视点位置(眼点EP)被视觉识别。本实施方式的车辆用显示装置1将虚像S与车辆前方的实际场景重叠地显示。挡风玻璃104具有半透射性，其将从车辆用显示装置1入射的显示光L向驾驶员D的眼点EP反射。眼点EP被包含在眼睛区域ER中，且根据车辆100而预先确定的驾驶员D的眼睛位于该眼睛区域ER中。通常地，眼睛区域ER是在车辆100中根据驾驶员D的眼睛的位置的统计性的分布而定下的区域，例如，眼睛区域ER相当于在驾驶员D就坐在驾驶座106的状态下，包含预定比例(例如95％)的驾驶员D的眼睛的位置在内的区域。驾驶员D至少在眼点EP位于眼睛范围ER内的情况下能够将向挡风玻璃104投影的显示图像P作为存在于车辆100前方的虚像S来视觉识别。显示图像P被构成车辆用显示装置1的显示器18显示，并被利用光学系统来反射从而向挡风玻璃104投影。显示图像P例如是告知驾驶员D的路线引导信息、并包含车辆100的前进方向、到交叉路口为止的距离、交通信息、车辆信息等。本实施方式中的车辆用显示装置1被构成为包含车辆前方摄像机2、驾驶员摄像机3和装置主体4。
车辆前方摄像机2是单眼式或复眼式的摄像机，其被配置于车辆100的车厢内，并透过挡风玻璃104而对车辆前方的实际场景连续地进行拍摄。车辆前方摄像机2例如被设置于车厢内的顶棚103、后视镜(未图示)处。车辆前方摄像机2通过通信线15而与装置主体4连接，并将拍摄到的前方图像依次输出到装置主体4。在前方图像中也包含动态图像。
驾驶员摄像机3被设置于车辆100的车厢内，并对驾驶员D的包含两眼在内的面部连续地进行拍摄。驾驶员摄像机3例如被设置于车厢内的转向柱105的上部，且从驾驶员D观察而在方向盘101的背后。本实施方式的驾驶员摄像机3与后述的图像分析部12共同构成检测驾驶员D的实际视点位置(实际眼点EPr)的检测部。驾驶员摄像机3通过通信线16而与装置主体4连接，并将已拍摄的图像作为驾驶员图像通过通信线16来依次输出到装置主体4。在驾驶员图像中也包含动态图像。
装置主体4将显示图像P向挡风玻璃104投影。装置主体4例如被设置于车辆100的仪表板102的内侧。装置主体4与搭载于车辆100的导航装置5连接。本实施方式的装置主体4如图2所示，被构成为包含：图像显示部11、图像分析部12和控制部13。
图像显示部11是将被显示器18显示的显示图像P利用光学系统反射，从而将显示图像P向车辆的挡风玻璃投影的部分。显示器18例如由TFT－LCD(薄膜晶体管-液晶显示器：Thin Film Transistor－Liquid Crystal Display)等构成。显示器18出射与显示图像P对应的显示光L。光学系统由平面镜、凹面镜等构成。光学系统将已从显示器18出射的显示光L向挡风玻璃104反射。利用光学系统而被反射了的显示光L从挡风玻璃104向着驾驶员D反射，从而作为在从驾驶员D的眼点EP观察的车辆前方显示的虚像S而被显示。
图像分析部12是上述的检测部，其基于从驾驶员摄像机3输入的驾驶员图像来检测驾驶员D的实际眼点EPr。图像分析部12通过通信线16来从驾驶员摄像机3输入驾驶员图像。图像分析部12从已被输入的驾驶员图像来将驾驶员D的实际眼点EPr作为坐标位置进行检测。图像分析部12例如基于驾驶员图像中的面部的眼珠的虹膜、眉间的位置来检测驾驶员D的实际眼点EPr。图像分析部12将表示已检测出的驾驶员D的实际眼点EPr的眼点信息输出到控制部13。眼点信息例如是3维正交坐标。
另外，图像分析部12基于从车辆前方摄像机2输入的前方图像来检测存在于车辆100前方的重叠对象。重叠对象是在实际场景中将虚像S进行重叠显示的对象物，例如包含：在前方行驶或停止的车辆、行人、白线、道路标识等。图像分析部12通过通信线15来从车辆前方摄像机2输入前方图像。图像分析部12从已输入的前方图像中检测重叠对象。图像分析部12将表示已检测出的重叠对象的位置信息的重叠对象信息输出到控制部13。
控制部13例如是图形显示控制器(Graphics Display Controller：GDC)，其由SOC(系统芯片：System-on-a-Chip)构成。控制部13使用GDC所拥有的功能来进行后述图4、图6的流程所示的处理。本实施方式的控制部13基于原显示图像Po来创建显示图像P。原显示图像Po是成为显示器18所显示的显示图像P的来源的图像。控制部13与导航装置5连接，并基于重叠对象信息来从导航装置5获取原显示图像Po。本实施方式的控制部13将从驾驶员D的基准视点位置(基准眼点EPs)观察在假想空间VS内形成的失真校正用3D对象20时所观察到的图像作为显示图像P而在显示器18显示。失真校正用3D对象20是曲面模型，其进行反向扭曲以抵消由挡风玻璃104和光学系统中的至少一个所引起的、相对于显示图像P而在虚像S中产生的失真。另外，控制部13将显示图像P输出到图像显示部11，并利用图像显示部11来将显示图像P与实际场景重叠地显示。控制部13根据已获取的实际眼点EPr的位置来对显示图像P的位置进行微调整。控制部13具备：显示图像、信息获取部21；调整部22以及纹理映射、绘图部23。
显示图像、信息获取部21是获取单元，其是进行原显示图像Po的获取、分析图像从而获取信息的单元。显示图像、信息获取部21例如从导航装置5获取原显示图像Po。此处原显示图像Po例如是导航功能中的表示路径的文字、图形、符号等，且包含所谓的逐向路线导航等。显示图像、信息获取部21将已获取的原显示图像Po发送到纹理映射、绘图部23。另外，显示图像、信息获取部21从导航装置5获取与表示上述路径的文字、图形、符号等(包含逐向路线导航等)对应的信息，并创建基于该信息的图像，并发送到纹理映射、绘图部23。另外，显示图像、信息获取部21也可以构成为：基于从车辆前方摄像机2输入的图像来对前方车辆、人等进行识别并计算出位置，或识别道路形状，并创建基于这些的信息。
调整部22是调整单元，其在假想空间VS内根据基准眼点EPs和实际眼点EPr的位置变化来进行用于调整失真校正用3D对象20的计算。调整部22根据驾驶员D的基准眼点EPs和实际眼点EPr的位置改变而使失真校正用3D对象20的位置从基准位置起改变。基准眼点EPs和实际眼点EPr的位置改变例如是平面上的正交坐标系中的基准眼点EPs的坐标和实际眼点EPr的坐标的不同。调整部22将失真校正用3D对象20的位置相对于基准位置而向上下方向或左右方向移动，或者向上下方向或左右方向倾斜。上下方向例如是车辆高度方向，而左右方向是车宽方向。此外，在倾斜中，包含上下方向或左右方向的旋转。
纹理映射、绘图部23是纹理映射单元。纹理映射、绘图部23是进行纹理映射并创建绘图输出的部分，且是在假想空间VS内将原显示图像Po与失真校正3D对象20贴合而进行纹理映射的单元。纹理映射、绘图部23将原显示图像Po拉伸，并贴合到失真校正用3D对象20的表面20a而进行纹理映射。表面20a是从基准眼点EPs观察失真校正用3D对象20的曲面。纹理映射、绘图部23在假想空间VS内，将从基准眼点EPs观察被进行过纹理映射的失真校正用3D对象20时所观察到的图像作为显示图像P而输出到图像显示部11。
导航装置5是所谓的汽车导航装置，例如是对驾驶员D提供本车辆的位置、周围的详细的地图信息、或者进行朝着目的地的路径引导的装置。导航装置5基于来自于GPS(Global Positioning System：全球定位系统)卫星的信息等来获取本车辆的位置。另外，导航装置5从内部的储存器读取，或利用通信从外部获取地图信息、路径引导信息等。导航装置5通过通信线17而与控制部13连接，并将已获取的本车辆的位置信息、各种信息通过通信线17输出到控制部13。
接着，对实施方式所涉及的车辆用显示装置1中的失真校正用3D对象20的创建方法进行说明。本实施方式的失真校正用3D对象20预先在车辆100的设计阶段中被创建。
首先，基于挡风玻璃104、光学系统的设计信息；装置主体4、驾驶员、摄像机等的实际车辆配置信息等来进行光学模拟，并创建平面上的校正图M。例如，如图8、图9所示，相对于基准眼点EPs，将成为基准的格子状的显示图像P在显示器18中显示，测量虚像S相对于显示图像P有多少失真。具体地，将显示图像P的各格子点和虚像S的各格子点进行比较，并测量已移位的格子点的坐标，从而以各格子点的偏离作为失真量。然后，将相对于显示图像P的各格子点而基于失真量来进行反向移位的格子点创建为校正图M。图9所示的显示图像Pd是已将显示图像P与校正图M贴合的显示图像。虚像Sn是被向挡风玻璃104投影并从基准眼点EPs被驾驶员D视觉识别的虚像。
接着，如图4所示，在假想空间VS内用校正图M来创建失真校正用3D对象20。例如，设计者对成为基准的2D模型推拉板多边形以变形为3D形状从而创建失真校正用3D对象20，以使从作为假想的视点的位置而设定的驾驶员D的基准眼点EPs观察的外观与校正图M重合。失真校正用3D对象20例如以使从存在于眼睛区域ER内的各眼点EP观察的外观和与各眼点EP对应的校正图M重合的方式来创建。此外，也可以是，设计者在自身就坐在驾驶座106的状态下一边观察虚像S一边直接调整。由此，能够创建与车辆100对应的失真校正用3D对象。
接着，参照图4来说明在车辆用显示装置1中执行的图像显示处理的一例。本处理与车辆100的启动(例如，点火开关ON)一起执行，且与车辆100的停止(例如，点火开关OFF)一起结束，但是并不限定于此。另外，图示的各步骤不限定于图示的顺序。
在图4中，在步骤S1中，图像分析部12从前方图像中检测重叠对象，并将表示重叠对象的重叠对象信息输出到控制部13。在控制部13中，显示图像、信息获取部21基于重叠对象信息而从导航装置5获取与重叠对象对应的原显示图像Po。
在步骤S2中，图像分析部12从驾驶员图像中检测驾驶员D的实际眼点EPr，并将表示实际眼点EPr的眼点信息输出到控制部13。
在步骤S3中，控制部13的纹理映射、绘图部23在假想空间VS内将原显示图像Po对失真校正用3D对象20进行纹理映射。
在步骤S4中，控制部13的调整部22根据已输入的眼点信息中表示的实际眼点EPr与预先设置的基准眼点EPs的位置偏差来调整失真校正用3D对象20。如图7所示，控制部13将失真校正用3D对象向与实际眼点EPr相对于基准眼点EPs的移动方向相反的相反方向移动或倾斜。此外，在实际眼点EPr和基准眼点EPs没有位置偏离的情况下，也可以略过本步骤。
在步骤S5中，控制部13将从驾驶员D的基准眼点EPs观察失真校正用3D对象20时观察到的图像作为显示图像P(显示图像Pd)而在显示器18显示。控制部13从实际眼点EPr和重叠对象的位置计算出能看到显示图像P和实际场景重合的位置，并在算出的位置配置向挡风玻璃104投影的显示图像P。此外，在显示的显示图像有多个的情况下，以使得全部的显示图像与实际场景重合的方式来配置。之后，本处理结束。
接着，参照图6、图7来说明在车辆用显示装置1中执行的调整处理的一例。图6的处理在实际眼点EPr随时间流逝而变化的情况下来执行。
在步骤S11中，控制部13将被图像分析部12检测出的上次的实际眼点EPr和这次的实际眼点EPr作比较，从而判断位置是否发生了变化。在实际眼点EPr的位置未变化的情况下，不断重复步骤S11，在实际眼点EPr的位置变化了的情况下，进入步骤S12。
在步骤S12中，控制部13根据实际眼点EPr的位置的变化来调整失真校正用3D对象20，并回到步骤S11。如图7所示，在步骤S12中，将调整失真用3D对象20向与这次的实际眼点EPr相对于上次的实际眼点EPr的移动方向相反的相反方向移动或倾斜。
如上，在本实施方式所涉及的车辆用显示装置1中，控制部13将从驾驶员D的基准视点EPs观察在假想空间VS内形成的失真校正用3D对象20时观察到的图像作为显示图像P而在显示器18显示。由此，即使是不具有失真校正功能的SoC，也能够利用3维模型来进行失真校正，从而能够扩大在设计阶段中的SoC的选择范围。另外，由于形成1个失真校正用的3D模型即可，所以能够抑制绘图容量的增加。另外，本实施方式所涉及的车辆用显示装置1在假想空间VS内，将原显示图像Po贴合于失真校正用3D对象20并进行纹理映射，并根据基准眼点EPs和实际眼点EPr的位置变化来调整失真校正用3D对象20。由此，不需要根据每个驾驶员D的眼点Ep而具有歪斜方式不同的多个校正图M，从而能够抑制储存容量的增加。另外，通过使用利用片段着色器的绘图方法，从而即使是板多边形的近边界也能够有平滑的连续性的显示。另外，在本实施方式所涉及的车辆用显示装置1中，调整部22根据基准眼点EPs和实际眼点EPr的位置变化来将失真校正用3D对象20的位置从基准位置起进行变化。由此，能够快速地追踪实际眼点EPr的微小的变化，并且能够更精细平滑地进行失真校正。而且，因为能够根据实际眼点EPr的变化而在跟短时间内将失真校正用3D对象20的位置变化，所以提高了实时性。
另外，在实施方式所涉及的车辆用显示装置1中，调整部22将失真校正用3D对象20的位置相对于基准位置而向上下方向或左右方向移动，或者向上下方向或左右方向倾斜。像这样，通过限定移动方向或倾斜方向，从而能够简化处理并提高响应性能。
此外，虽然在上述实施方式中，在车辆用显示装置1中，对SOC只保留1个与车辆100相适应的失真校正用3D对象，但是并不限定于此。例如，SOC也可以构成为具备多个根据车辆100的每个车辆种类而形成的失真校正用3D对象20，并读取与车辆种类对应的失真校正用3D对象20。由此，能够实现部件的通用化，从而能够抑制部件成本的增加。
另外，在上述实施方式中，控制部13从导航装置5获取原显示图像Po，但是并不限定于此。例如，控制部13也可以构成为利用无线通信从外部获取路径引导信息等。
另外，在上述实施方式中，虽然显示图像P例如是路径引导信息，但是也可以是用于辅助驾驶员D的驾驶的信息。例如，也可以是，车速信息、车辆状态信息、道路信息、外部环境信息、乘客信息等。
另外，虽然在上述实施方式中对重叠对象进行图像识别，但是也可以构成为用雷达等来检测。
另外，虽然在上述实施方式中车辆前方摄像机2以及驾驶员摄像机3分别通过通信线15、16而通过有线形式与装置主体4连接，但是也可以通过无线形式来连接。由此，不需要通信线15、16本体、布线作业，而且能够改善车辆前方摄像机2以及驾驶员摄像机3的布局的限制。
在上述实施方式所涉及的车辆用显示装置1执行的程序例如可以预先安装进SOC而提供，也可以从外部安装到GDC而提供。

Claims (3)

1.一种车辆用显示装置，其将显示器所显示的显示图像利用光学系统反射从而向车辆的挡风玻璃投影，并使与已向所述挡风玻璃投影的所述显示图像对应的虚像从所述车辆的驾驶员的视点位置被视觉识别，所述车辆用显示装置的特征在于：
具备：
检测部，其检测所述驾驶员的实际视点位置；以及
控制部，其基于原显示图像来创建所述显示图像，
所述控制部将从所述驾驶员的基准视点位置观察已在假想空间内形成的失真校正用3D对象时所观察到的图像作为所述显示图像而在所述显示器显示，
所述控制部具有：
获取单元，其获取所述原显示图像；
纹理映射单元，其在所述假想空间内将所述原显示图像与所述失真校正用3D对象贴合并进行纹理映射；以及
调整单元，其在所述假想空间内根据所述基准视点位置和所述实际视点位置的位置变化来调整所述失真校正用3D对象，
所述失真校正用3D对象是曲面模型，其进行反向扭曲以抵消所述挡风玻璃和所述光学系统中的至少一个所引起的、相对于所述显示图像而在所述虚像中产生的失真，
所述调整单元根据所述位置变化而将所述失真校正用3D对象的位置从基准位置起进行变化。
2.如权利要求1所述的车辆用显示装置，其中，
所述调整单元将所述失真校正用3D对象的位置相对于所述基准位置向上下方向或左右方向移动，或者向上下方向或左右方向倾斜。
3.如权利要求1或2所述的车辆用显示装置，其中，
所述控制部具有多个根据所述车辆的每个车辆种类而形成的所述失真校正用3D对象，
所述控制部读取与所述车辆种类对应的所述失真校正用3D对象。
CN201811475253.9A 2017-12-06 2018-12-04 车辆用显示装置 Active CN110001400B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-233999 2017-12-06
JP2017233999A JP6968676B2 (ja) 2017-12-06 2017-12-06 車両用表示装置

Publications (2)

Publication Number Publication Date
CN110001400A true CN110001400A (zh) 2019-07-12
CN110001400B CN110001400B (zh) 2022-03-29

Family

ID=66547930

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811475253.9A Active CN110001400B (zh) 2017-12-06 2018-12-04 车辆用显示装置

Country Status (4)

Country Link
US (1) US10732412B2 (zh)
JP (1) JP6968676B2 (zh)
CN (1) CN110001400B (zh)
DE (1) DE102018221066B4 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112258399A (zh) * 2020-09-10 2021-01-22 江苏泽景汽车电子股份有限公司 一种逆向建模的hud图像光学矫正方法
CN112666713A (zh) * 2021-01-05 2021-04-16 大陆汽车车身电子系统（芜湖）有限公司 一种更新抬头显示器校准数据的方法
CN115941910A (zh) * 2022-11-29 2023-04-07 阿维塔科技(重庆)有限公司 一种成像区域的确定方法及装置
CN116017174A (zh) * 2022-12-28 2023-04-25 江苏泽景汽车电子股份有限公司 Hud畸变矫正方法、装置及系统

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10564829B2 (en) * 2016-03-25 2020-02-18 Vmware, Inc. Optimizing window resize actions for remoted applications
DE102016213687B4 (de) * 2016-07-26 2019-02-07 Audi Ag Verfahren zum Steuern einer Anzeigevorrichtung für ein Kraftfahrzeug, Anzeigevorrichtung für ein Kraftfahrzeug und Kraftfahrzeug mit einer Anzeigevorrichtung
DE102017214545A1 (de) * 2017-08-21 2019-02-21 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zur Ermittlung einer Wahrscheinlichkeit, mit der sich ein Objekt in einem Sichtfeld eines Fahrers eines Fahrzeugs befindet
JP7105174B2 (ja) * 2018-11-02 2022-07-22 京セラ株式会社 通信ヘッドアップディスプレイシステム、通信機器、移動体、およびプログラム
JP7183943B2 (ja) * 2019-05-09 2022-12-06 トヨタ自動車株式会社 ステアリングモジュール
JP7221161B2 (ja) * 2019-07-10 2023-02-13 マクセル株式会社 ヘッドアップディスプレイ及びそのキャリブレーション方法
JP7494646B2 (ja) 2020-08-24 2024-06-04 日本精機株式会社 ヘッドアップディスプレイ装置、表示制御装置、及びヘッドアップディスプレイ装置の制御方法
DE102020211154A1 (de) 2020-09-04 2022-03-10 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Vorrichtung zum Kalibrieren einer in einem Fahrzeug montierten Kamera

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011105306A (ja) * 2010-12-28 2011-06-02 Yazaki Corp 車両用表示装置
JP2013254031A (ja) * 2012-06-05 2013-12-19 Denso Corp ヘッドアップディスプレイ装置
CN104253990A (zh) * 2013-06-28 2014-12-31 罗伯特·博世有限公司 用车辆视野显示装置的成像器显示三维图像的方法和设备
US20150116197A1 (en) * 2013-10-24 2015-04-30 Johnson Controls Technology Company Systems and methods for displaying three-dimensional images on a vehicle instrument console
WO2015064371A1 (ja) * 2013-10-31 2015-05-07 日本精機株式会社 車両情報投影システム及び投影装置
JP2015215509A (ja) * 2014-05-12 2015-12-03 パナソニックＩｐマネジメント株式会社 表示装置、表示方法およびプログラム
US20150379697A1 (en) * 2014-06-26 2015-12-31 Daniel Pohl Distortion meshes against chromatic aberrations
US9317895B1 (en) * 2012-08-09 2016-04-19 Xilinx, Inc. Non-linear image mapping
CN105988220A (zh) * 2015-03-23 2016-10-05 罗伯特·博世有限公司 用于运行车辆用的自动立体观测的视野显示器的方法和控制设备
US20170295353A1 (en) * 2014-08-25 2017-10-12 Schepens Eye Research Institute Compensating 3d stereoscopic imagery

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10149085A (ja) 1996-11-20 1998-06-02 Asahi Glass Co Ltd ホログラフィック表示装置
US6249289B1 (en) * 1996-11-27 2001-06-19 Silicon Graphics, Inc. Multi-purpose high resolution distortion correction
JP2014199385A (ja) * 2013-03-15 2014-10-23 日本精機株式会社 表示装置及びその表示方法
JP2015049842A (ja) * 2013-09-04 2015-03-16 トヨタ自動車株式会社 注意喚起表示装置及び注意喚起表示方法
JP6688212B2 (ja) * 2016-12-07 2020-04-28 京セラ株式会社 画像投影装置、画像表示装置、および移動体

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011105306A (ja) * 2010-12-28 2011-06-02 Yazaki Corp 車両用表示装置
JP2013254031A (ja) * 2012-06-05 2013-12-19 Denso Corp ヘッドアップディスプレイ装置
US9317895B1 (en) * 2012-08-09 2016-04-19 Xilinx, Inc. Non-linear image mapping
CN104253990A (zh) * 2013-06-28 2014-12-31 罗伯特·博世有限公司 用车辆视野显示装置的成像器显示三维图像的方法和设备
US20150116197A1 (en) * 2013-10-24 2015-04-30 Johnson Controls Technology Company Systems and methods for displaying three-dimensional images on a vehicle instrument console
WO2015064371A1 (ja) * 2013-10-31 2015-05-07 日本精機株式会社 車両情報投影システム及び投影装置
JP2015215509A (ja) * 2014-05-12 2015-12-03 パナソニックＩｐマネジメント株式会社 表示装置、表示方法およびプログラム
US20150379697A1 (en) * 2014-06-26 2015-12-31 Daniel Pohl Distortion meshes against chromatic aberrations
US20170295353A1 (en) * 2014-08-25 2017-10-12 Schepens Eye Research Institute Compensating 3d stereoscopic imagery
CN105988220A (zh) * 2015-03-23 2016-10-05 罗伯特·博世有限公司 用于运行车辆用的自动立体观测的视野显示器的方法和控制设备

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112258399A (zh) * 2020-09-10 2021-01-22 江苏泽景汽车电子股份有限公司 一种逆向建模的hud图像光学矫正方法
CN112666713A (zh) * 2021-01-05 2021-04-16 大陆汽车车身电子系统（芜湖）有限公司 一种更新抬头显示器校准数据的方法
CN115941910A (zh) * 2022-11-29 2023-04-07 阿维塔科技(重庆)有限公司 一种成像区域的确定方法及装置
CN116017174A (zh) * 2022-12-28 2023-04-25 江苏泽景汽车电子股份有限公司 Hud畸变矫正方法、装置及系统
CN116017174B (zh) * 2022-12-28 2024-02-06 江苏泽景汽车电子股份有限公司 Hud畸变矫正方法、装置及系统

Also Published As

Publication number Publication date
DE102018221066B4 (de) 2023-03-16
CN110001400B (zh) 2022-03-29
US20190171011A1 (en) 2019-06-06
JP6968676B2 (ja) 2021-11-17
US10732412B2 (en) 2020-08-04
DE102018221066A1 (de) 2019-06-06
JP2019099030A (ja) 2019-06-24

Similar Documents

Publication Publication Date Title
CN110001400A (zh) 车辆用显示装置
JP6870109B2 (ja) ヘッドアップディスプレイ装置およびその表示制御方法
CN110573369B (zh) 平视显示器装置及其显示控制方法
JP6201690B2 (ja) 車両情報投影システム
US9086566B2 (en) Monocular head mounted display
JP5161760B2 (ja) 車載用表示システム及び表示方法
US9164281B2 (en) Volumetric heads-up display with dynamic focal plane
US8994558B2 (en) Automotive augmented reality head-up display apparatus and method
US10976545B2 (en) Display device and adjustment method
EP2919057B1 (en) Navigation display method and system
WO2019097755A1 (ja) 表示装置及びコンピュータプログラム
US20080091338A1 (en) Navigation System And Indicator Image Display System
US11525694B2 (en) Superimposed-image display device and computer program
US20200064629A1 (en) Display device and display control method
CN109489681A (zh) 车辆用显示装置和显示控制方法
CN109927552B (zh) 车辆用显示装置
JP6883759B2 (ja) 表示システム、表示システムの制御方法、プログラム、及び移動体
EP3694740A1 (en) Display device, program, image processing method, display system, and moving body
JP2022034511A (ja) コンテンツを可視化する装置及び方法
JP2020158014A (ja) ヘッドアップディスプレイ装置、表示制御装置、及び表示制御プログラム
WO2019074114A1 (en) DISPLAY DEVICE, PROGRAM, IMAGE PROCESSING METHOD, DISPLAY SYSTEM, AND MOBILE BODY
JP7338632B2 (ja) 表示装置
JP2022113292A (ja) 表示制御装置、ヘッドアップディスプレイ装置、及び表示制御方法
CN118654690A (zh) 导航方法、显示设备、存储介质及交通工具
JP2021157749A (ja) 画像生成装置及び画像生成方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant