CN111201150A - 显示设备、程序、图像处理方法、显示系统和移动体 - Google Patents

显示设备、程序、图像处理方法、显示系统和移动体 Download PDF

Info

Publication number
CN111201150A
CN111201150A CN201880065814.XA CN201880065814A CN111201150A CN 111201150 A CN111201150 A CN 111201150A CN 201880065814 A CN201880065814 A CN 201880065814A CN 111201150 A CN111201150 A CN 111201150A
Authority
CN
China
Prior art keywords
image
information
display
virtual image
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880065814.XA
Other languages
English (en)
Inventor
片桐敬太
齐所贤一郎
山口纮史
草彅真人
铃木友规
高泽和宽
佃友介
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority claimed from PCT/JP2018/038184 external-priority patent/WO2019074114A1/en
Publication of CN111201150A publication Critical patent/CN111201150A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23Head-up displays [HUD]
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/50Instruments characterised by their means of attachment to or integration in the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/65Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive
    • B60K35/652Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive for left- or right-hand drive
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20Optical features of instruments
    • B60K2360/33Illumination features
    • B60K2360/334Projection means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20Optical features of instruments
    • B60K2360/33Illumination features
    • B60K2360/349Adjustment of brightness
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0183Adaptation to parameters characterising the motion of the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Instrument Panels (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

公开了一种用于显示虚拟图像以便由移动体的乘员通过透明构件视觉地感知的显示设备。显示设备包括图像生成器,被配置为生成要被显示为虚拟图像的图像;姿态信息获取单元,被配置为获取关于移动体的姿态的信息;以及显示改变处理器,被配置为根据由姿态信息获取单元获取的关于姿态的信息,改变虚拟图像的显示。

Description

显示设备、程序、图像处理方法、显示系统和移动体
技术领域
本文中讨论的公开内容涉及显示设备、程序、图像处理方法、显示系统和移动体。
背景技术
平视显示器(HUD)设备在本领域中是已知的,该HUD设备被配置为将支持车辆的驾驶员等的驾驶的信息投影到挡风玻璃上,以将上面的信息作为虚拟图像形成在驾驶员的前面。因为虚拟图像在车辆的挡风玻璃的前面形成图像,所以与查看车辆内部的显示器时的眼动(eye movement)相比,看着远处的驾驶员通常能够以较少的眼动来视觉地感知支持他或她驾驶的信息。
出于相同的原因,当虚拟图像更远时,驾驶员的眼动将更少。因此,优选的是,由平视显示设备显示的虚拟图像优选地被形成为相对于车辆更远(参见专利文献1)。专利文献1公开了一种平视显示设备的透镜光学系统,尽管该平视显示设备已经减小了尺寸,但其仍显示更远的显示图像。
引用列表
专利文献
[专利文献1]日本未审查专利申请公开第2013-047698号
发明内容
技术问题
然而,当虚拟图像被投影到一定距离时,当从驾驶员的位置查看虚拟图像时,驾驶员可能感觉到不协调(incongruity)。在以下的示例中可以描述这种情况。当车辆直线向前行进时,车辆的行进方向与车身的方向匹配。结果,由被固定到车身的平视显示设备显示的虚拟图像也在与行进方向相同的方向上被显示。相反,当车辆正在转弯(turning)路线上行进时,驾驶员在相对于车身方向的转弯方向(在向左转弯的情况下,相对于车身方向的左方向)内将他或她的视线更远地转向。然而,因为平视显示设备被固定到车身,所以显示虚拟图像的方向是由车身的姿态(orientation)确定的前面方向,这在驾驶员的视线方向与由平视显示设备显示的虚拟图像的显示方向之间生成偏差。当虚拟图像远离车辆被显示时,该偏差增加,从而给驾驶员不协调感。
虚拟图像的这种外观不仅可能当车辆的偏航角(yaw angle)改变时在转弯路线上行进期间发生,而且可能类似地当改变车辆的其他姿态时发生,诸如当车辆的翻滚角(rollangle)和俯仰角(pitch angle)改变时。
鉴于上面描述的问题,本发明的一个方面指向提供一种用于显示图像的显示设备,该图像给乘员较少的不协调感。
解决问题的方案
根据本发明的一个实施例,提供了一种用于显示虚拟图像以便由移动体的乘员通过透明构件视觉地感知的显示设备。显示设备包括
图像生成器,被配置为生成要被显示为虚拟图像的图像;
姿态信息获取单元,被配置为获取关于移动体的姿态的信息;以及
显示改变处理器,被配置为根据由姿态信息获取单元获取的关于姿态的信息,改变虚拟图像的显示。
发明的有益效果
根据实施例的一方面,可以提供一种用于向乘员显示图像的显示设备,以便减少由图像的显示引起的不协调感。
附图说明
[图1]图1是示出由于虚拟图像产生的漂浮感(floating feeling)的示例的图;
[图2A]图2A是示意性地示出HUD设备的操作的示例的图;
[图2B]图2B是示意性地示出HUD设备的操作的示例的图;
[图2C]图2C是示意性地示出HUD设备的操作的示例的图;
[图3A]图3A是示意性地示出车载HUD设备的示例的图;
[图3B]图3B是示意性地示出车载HUD设备的示例的图;
[图4]图4是示出HUD设备的光学单元的配置的图;
[图5]图5是安装有HUD设备的车辆的显示系统的配置图;
[图6]图6是示出控制器的硬件配置的图;
[图7]图7是示出HUD设备的功能的示例的功能框图;
[图8]图8是示意性地示出在十字路口左转的车辆的示例的图;
[图9]图9包括示意性地示出由图像生成器生成的图像和要被投影的虚拟图像的示例的图;
[图10A]图10A是示出在整个图像存储器中形成信息的情况下的图像的示例的图;
[图10B]图10B是示出在整个图像存储器中形成信息的情况下的图像的示例的图;
[图11]图11是示出HUD设备显示图像以便由驾驶员通过透明构件视觉地感知的过程的示例的流程图;
[图12A]图12A是示出用于减少漂浮感的图像处理的示例的图;
[图12B]图12B是示出用于减少漂浮感的图像处理的示例的图;
[图12C]图12C是示出用于减少漂浮感的图像处理的示例的图;
[图12D]图12D是示出用于减少漂浮感的图像处理的示例的图;
[图12E]图12E是示出用于减少漂浮感的图像处理的示例的图;
[图13]图13是示出HUD设备显示图像以便由驾驶员通过透明构件视觉地感知的过程的示例的流程图;
[图14]图14是示出HUD设备的功能的示例的功能框图;
[图15]图15是示出HUD设备显示图像以便由驾驶员通过透明构件视觉地感知的过程的示例的流程图(第二实施例);
[图16]图16是示出HUD设备的光学单元的配置的图(第三实施例);
[图17]图17是示出凹面镜的驱动方向的图;
[图18]图18是示出HUD设备的功能的示例的功能框图(第三实施例);
[图19]图19是示出HUD设备显示图像以便由驾驶员通过透明构件视觉地感知的过程的示例的流程图(第三实施例);
[图20]图20包括各自示出由车辆的翻滚或俯仰确定的图像的姿态(旋转)或方向与驾驶员的视线方向之间的偏差的图;
[图21]图21是示出HUD设备的功能的示例的功能框图(第四实施例);
[图22]图22是示出HUD设备显示图像以便由驾驶员通过透明构件视觉地感知的过程的示例的流程图(第四实施例);
[图23A]图23A是示意性地示出由图像生成器生成的图像和要被投影的虚拟图像的示例的图;
[图23B]图23B是示意性地示出由图像生成器生成的图像和要被投影的虚拟图像的示例的图;
[图23C]图23C是示意性地示出由图像生成器生成的图像和要被投影的虚拟图像的示例的图;
[图23D]图23D是示意性地示出由图像生成器生成的图像和要被投影的虚拟图像的示例的图;
[图24A]图24A是示意性地示出由图像生成器生成的图像和要被投影的虚拟图像的示例的图;
[图24B]图24B是示意性地示出由图像生成器生成的图像和要被投影的虚拟图像的示例的图;
[图24C]图24C是示意性地示出由图像生成器生成的图像和要被投影的虚拟图像的示例的图;
[图24D]图24D是示意性地示出由图像生成器生成的图像和要被投影的虚拟图像的示例的图;
[图25A]图25A是示出具有HUD设备和服务器的系统的配置示例的图,该系统被配置为生成用于减少漂浮感的图像;以及
[图25B]图25B是示出具有HUD设备和服务器的系统的配置示例的图,该系统被配置为生成用于减少漂浮感的图像。
具体实施方式
以下作为用于实施本发明的模式的实施例参考附图示出了平视显示设备以及由平视显示设备进行的图像处理方法。
第一实施例由于虚拟图像产生的漂浮感
作为乘员的示例,使用坐在驾驶员座位中的术语“驾驶员”给出以下描述。注意,只要驾驶员坐在预定座位中,无论有无驾驶,都将获得以下实施例的效果。根据实施例的平视显示设备(在下文中被称为“HUD设备”)被配置为减少不协调感,当车身方向偏离驾驶员的视线方向时,由驾驶员感觉到该不协调感。作为在车身方向偏离驾驶员的视线方向的情况下这种不协调感的示例,给出在从车辆到虚拟图像的距离较长的情况下由驾驶员感觉到的虚拟图像的漂浮感的图示。漂浮感是由于真实世界与虚拟图像之间的偏差而由驾驶员感觉到的不协调感;然而,表达不协调感的方式可能因人而异;这种表达的示例包括不稳定感、摇摆感、虚拟症(virtual sickness)或查看困难。
此外,当限定从车辆到虚拟图像的距离较长时,不一定指示恒定阈值距离,超过该恒定阈值距离,所有驾驶员开始体验到漂浮感;驾驶员开始体验到漂浮感的距离可能因人而异。因此,从车辆到虚拟图像的距离较长可以指示由一致比例的多个或更多的驾驶员感觉到漂浮感的距离,该多个或更多的驾驶员作为用于测量漂浮感的主体。在本实施例中,为了便于示出,从车辆到虚拟图像的距离较长可以被表示为从车辆到虚拟图像的距离不小于阈值。
图1是示出由于虚拟图像产生的漂浮感的示例的图。图1中的车辆9设置有HUD设备并且在右转路线上。因为转向角相对于中心状态向右转向,所以车辆9沿着圆301的圆周方向移动,并且瞬时行进方向是圆301的切线方向302。同时,由于内侧车轮差异,车身的方向303面向切线方向302的外侧。驾驶员将作为车辆行进方向的切线方向302识别为车辆的心理行进方向。然而,切线方向302与车身方向303不同,车身方向303是实际上显示虚拟图像的虚拟图像显示方向。这种差异将导致正在同时查看虚拟图像和真实世界的驾驶员的精神图像错误(mental image error)。该精神图像错误被感觉为上面描述的漂浮感。
更具体地,漂浮感可以被表示为以下内容:
A.看起来被固定到车辆前面的虚拟图像与伴随转向的背景的较大移动不一致的不协调感。B.看起来被固定到车辆前面的虚拟图像与车道的形状(曲线等)不一致的不协调感。
本实施例的HUD设备被配置为减少由驾驶员在转弯路线上行进(即,拐弯(cornering))期间体验到的上面描述的漂浮感代表的不协调感。具体地,本实施例的HUD设备被配置为进行处理,当车辆的姿态不再沿着直线时,减少由车辆的姿态改变引起的投影的虚拟图像的外观改变。
根据本实施例的HUD设备的操作的概述
图2A、2B和2C是示意性地示出根据本实施例的HUD设备的操作的概述的图。首先,图2A是示出虚拟图像I的传统的显示位置的图。在图2A中,车辆9沿着圆301的圆周方向右转行进。然而,传统的HUD设备在由车身的姿态(方向)确定的车辆前面显示虚拟图像I。
图2B是示出圆301的切线方向302的图,该切线方向302是车辆9的心理行进方向。本实施例的HUD设备在车辆9的心理行进方向(切线方向302)上显示虚拟图像I。结果,因为驾驶员的心理行进方向与虚拟图像I相对于驾驶员的显示方向匹配,所以驾驶员的视线方向与虚拟图像I的显示方向之间的偏差被减少。因此,可以使HUD设备减少上面描述的漂浮感。即,即使车辆9的姿态改变,也可以使HUD设备减少虚拟图像I的外观改变,从而减少漂浮感。注意,如后面描述的,通过转向角等检测车辆9的行进方向。
此外,如图2C中示出的,HUD设备可以考虑到车辆9将在几秒钟后到达的到达点304来显示虚拟图像I。图2C是示出考虑到车辆9将在几秒钟后到达的到达点304而显示的虚拟图像I的显示位置的图。驾驶员通过预测沿着圆301移动的车辆9的位置来密切查看车辆9前面的前向风景,因此,驾驶员可能沿着转弯方向查看相对于圆301的切线方向302的更内侧。因此,HUD设备考虑到车辆9将在几秒钟后到达的到达点304,将虚拟图像I的显示位置沿着转弯方向改变到内侧。结果,驾驶员的视线方向与虚拟图像I的显示方向之间的偏差被进一步减少,从而减少上面的漂浮感。即,即使车辆9的姿态改变,也可以使HUD设备减少虚拟图像I的外观改变,从而减少漂浮感。注意,通过转向角、车速等检测车辆9将在几秒钟后到达的到达点。
术语的定义
移动体是通过动力或人力移动的物体。移动体对应于例如汽车、轻型车辆、动力摩托车(被称为摩托车)等。在本实施例中,用四轮行进的车辆作为示例来描述移动体。注意,根据法规,移动体可以包括行人,诸如电动轮椅。移动体还可以包括飞机、轮船和机器人。
关于移动体的姿态的信息指示从中可以检测到移动体的偏航角、翻滚角或俯仰角中的一个或多个或者其改变的信息。在本实施例中,关于姿态的偏航角的信息被称为偏移量关系信息,关于翻滚角的信息被称为旋转角度关系信息,并且关于俯仰角的信息被称为垂直偏移量关系信息。
改变虚拟图像的外观的处理不仅包括在被投影之前对图像进行的处理以便不损害可见性,而且还包括在投影图像时进行的处理。
维持可见性恒定指示不损害可见性,即,减少驾驶员对虚拟图像的不协调感。这包括使虚拟图像不被显示(或者通过柔和虚拟图像的颜色等的阴影,使驾驶员极难看到显示的虚拟图像)。
由移动体的姿态改变给出的虚拟图像的外观改变,指示根据驾驶员的心理行进方向、驾驶员的视线方向等的姿态改变前后的虚拟图像的外观改变。在本实施例中,用广义上使用的术语“漂浮感”或“不协调感”来描述这种改变。
查看虚拟图像的人是驾驶或操纵移动体的人,并且这种人的名称可以是适用于移动体的名称。这种名称的示例包括车辆的驾驶员、乘员、领航员、操作员、用户等。
虚拟图像的显示模式指示显示虚拟图像的状态。显示模式的示例包括要被显示的虚拟图像的位置、角度等。
图像指的是通过光的折射或反射而反射的物体的形状或外观。图像的示例包括静止图像和移动图像。
配置示例
图3A和3B是各自示出车载HUD设备1的概述和车辆的姿态(俯仰角、偏航角、翻滚角)的示例的图。如图3A中示出的,HUD设备1被安装在车辆9上。HUD设备1被嵌入在仪表板中,并且被配置为将图像从设置在HUD设备1的上表面上的发射窗8朝向挡风玻璃91投影。投影的图像被显示为挡风玻璃91前面的虚拟图像I。因此,HUD设备1是显示设备的一方面。驾驶员V能够视觉地观察支持他或她的驾驶的信息,同时(以较小的注视移动(gazemovement))保持他或她的视线在前一车辆上以及在车辆9前面的路面上。支持驾驶员的驾驶的信息可以是任何信息,该信息的示例可以是车速,并且稍后将描述除车速之外的示例。注意,HUD设备1可以是任何类型,只要HUD设备1被配置为将图像投影在挡风玻璃91上或将图像朝向挡风玻璃91投影,并且HUD设备1除了被安装到仪表板之外,还可以被安装在车顶、遮阳板等上。
HUD设备1可以是通用信息处理终端或HUD专用终端。HUD专用终端被简单地称为平视显示设备,并且当与导航设备集成时,HUD专用终端可以被称为导航设备。HUD专用终端也被称为PND(便携导航设备)。可替代地,HUD专用终端可以被称为显示音频(或连接的音频)。显示音频是主要提供AV功能和通信功能而不合并导航功能的设备。
通用信息处理终端的示例包括智能电话、平板终端、移动电话、PDA(个人数字助理)、笔记本PC和可穿戴PC(例如,腕表型、太阳眼镜型)。通用信息处理终端不限于这些示例,并且可以仅包括一般信息处理装置的功能。通用信息处理终端通常被用作执行各种应用的信息处理装置。例如,当执行用于HUD设备的应用软件时,类似于HUD专用终端,通用信息处理终端显示用于支持驾驶员的驾驶的信息。
根据本实施例的HUD设备1可以以通用信息处理终端和HUD专用终端中的任何一个在车载状态与便携状态之间被切换。
如图3A中示出的,HUD设备1包括光学单元10和控制器20作为主要组件。作为HUD设备1的投影方法,面板法和激光扫描法是已知的。面板法包括通过诸如液晶面板、DMD面板(数字镜设备面板)、荧光显示管(VFD)等的成像设备形成中间图像。激光扫描法包括通过二维扫描设备扫描从激光光源发射的激光束以形成中间图像。
激光扫描法是合适的,因为与通过全屏发射的部分遮光来形成图像的面板法不同,在激光扫描法中,光发射/光不发射被分配到每个像素,以便形成高对比图像。在本实施例中,将描述采用激光扫描法作为HUD设备1的投影系统的示例,但是HUD设备1的这种投影系统仅是示例,并且可以使用能够进行减少漂浮感的处理的任何投影系统。
图3B是示出车辆9的俯仰角、偏航角和翻滚角的图。翻滚指示诸如具有预定的前后、左右、上下姿态的移动体的物体相对于深度轴(图中的Z轴)旋转(或倾斜);俯仰指示这样的物体相对于水平轴(图中的X轴)旋转(或倾斜);并且偏航指示这样的物体相对于垂直轴(图中的Y轴)旋转(或倾斜)。此外,相应的旋转量或倾斜量被称为翻滚角、俯仰角和偏航角。
图4是示出HUD设备1的光学单元10的配置示例的图。光学单元10主要包括光源单元101、光偏转器102、镜103、屏幕104和凹面镜105。注意,图4仅示出了HUD设备1的主要组件。
光源单元101包括例如对应于RGB的三个激光光源(在下文中被称为激光二极管LD)、耦合透镜、光圈、组合元件、透镜等。光源单元101被配置为组合从三个LD发射的激光束,并且引导组合的激光束朝向光偏转器102的反射表面。被引导到光偏转器102的反射表面的激光束由光偏转器102二维偏转。
作为光偏转器102,例如,可以使用相对于两个正交轴震荡的一个微镜、相对于一个轴震荡或围绕一个轴旋转的两个微镜等。光偏转器102可以是例如通过半导体处理等制造的MEMS(微机电系统)。光偏转器102可以由例如致动器使用压电元件的变形力作为驱动力来驱动。作为光偏转器102,可以使用检流计镜、多面镜等。
由光偏转器102二维偏转的激光束进入镜103,由镜103返回,并且在屏幕104的表面(要被扫描的表面)上渲染二维图像(中间图像)。作为镜103,例如,可以使用凹面镜;然而,可替代地,可以使用凸面镜或平面镜。通过由光偏转器102和镜103偏转激光束的方向,可能灵活地改变HUD设备1的尺寸或组件的布置。
作为屏幕104,优选使用具有以期望的发散角发散激光束的功能的微透镜阵列或微镜阵列;然而,也可以优选使用扩散板用于扩散激光束,或者可以使用具有光滑表面的透明板或反射板等。
从屏幕104发射的激光束由凹面镜105反射,并且被投影到挡风玻璃91上。凹面镜105具有类似于透镜的功能,并且具有以预定焦距形成图像的功能。因此,在由与物体对应的屏幕104与凹面镜105之间的距离以及由凹面镜105的焦距确定的位置显示虚拟图像I。在图4中,因为激光束由凹面镜105投影在挡风玻璃91上,所以虚拟图像I被显示(形成)在距离驾驶员V的视点E距离L的位置。
到挡风玻璃91的光通量的至少一部分被反射朝向驾驶员V的视点E。结果,驾驶员V能够视觉地感知虚拟图像I,该虚拟图像I是通过挡风玻璃91放大的屏幕104的中间图像。即,当从驾驶员V查看时,中间图像通过挡风玻璃91被放大并且被显示为虚拟图像I。
注意,挡风玻璃91通常不是平坦的,而是稍微弯曲的。因此,不仅凹面镜105的焦距,而且挡风玻璃91的曲面也确定虚拟图像I的图像形成位置。凹面镜105的聚光能力(condensing power)优选地被设置,使得虚拟图像I被显示在从驾驶员V的视点E到虚拟图像I的图像形成位置的距离L为4m以上且10m以下(优选6m以下)的位置(深度位置)。
注意,由于挡风玻璃91的影响,发生光学畸变,其中,中间图像的水平线变得向上或向下凸出;因此,镜103和凹面镜105中的至少一个优选地被设计和布置为校正畸变。可替代地,优选的是,考虑到畸变来校正投影的图像。
另外,可以在挡风玻璃91的视点E侧上设置组合器作为透射反射构件。当来自凹面镜的光照射组合器时,可以以与来自凹面镜105的光照射挡风玻璃91的情况类似的方式显示虚拟图像I。注意,“显示虚拟图像”意味着通过透明构件显示由驾驶员视觉地可感知的图像;然而,为了简化解释,在一些情况下在描述中使用“显示虚拟图像”。
此外,代替将图像投影在挡风玻璃91上,挡风玻璃91可以被配置为发射光以显示图像。
车载HUD设备的显示系统的配置示例
图5是安装有HUD设备的车辆的显示系统150的配置图。显示系统150包括经由诸如CAN(控制器局域网)的车载网络NW进行通信的汽车导航系统11、转向角传感器12、HUD设备1、座位传感器13、车高传感器14、车速传感器15和陀螺仪传感器16。
汽车导航系统11具有由GPS代表的全球导航卫星系统(GNSS),检测车辆的当前位置,并且在电子地图上显示车辆的位置。汽车导航系统11还接收出发地和目的地的输入,搜索从出发地到目的地的路线,在电子地图上显示路线,或者在路线改变之前通过语音、字符(被显示在显示器上)、动画等向驾驶员引导行进方向。汽车导航系统11可以经由移动电话网络等与服务器进行通信。在这种情况下,服务器可以将电子地图传送到车辆9,并且进行路线搜索。
转向角传感器12是用于检测驾驶员的转向盘的转向角的传感器。转向角传感器12主要检测转向方向和转向量。可以基于任何原理来检测转向方向和转向量;例如,存在对通过狭缝盘的光的开/关进行计数的方法,该狭缝盘结合转向盘旋转。
座位传感器13是用于检测乘员是否坐在车辆的每个座位中的传感器。座位传感器13可以例如用被安装在每个座位中的压力检测传感器、红外传感器等来检测就座的有无。可替代地,座位传感器13可以由对车辆内部的内部进行成像的相机来检测就座的有无。
车高传感器14是用于检测车高的传感器。可以基于任何原理来检测车高;例如,存在检测悬架相对于车身的下垂量作为光学改变、作为电阻改变或作为磁阻改变的方法;或者存在用激光等来检测从车身到路面的距离的方法。
车速传感器15例如用霍尔元件等来检测车轮的旋转,并且输出对应于旋转速度的脉冲波。车速传感器15从每单位时间的旋转量(脉冲数)和轮胎的外径来检测车速。
陀螺仪传感器16检测指示相对于图3B中示出的XYZ轴中的一个或多个轴的每单位时间的旋转量的角速度。姿态(偏航角、俯仰角和翻滚角)可以通过随时间积分角速度来检测。在本实施例中,优选至少检测偏航角。
HUD设备1可以从被安装在车辆上的每个传感器获取信息。此外,HUD设备1可以从外部网络而不是从车载网络获取信息。例如,HUD设备1可以获取汽车导航信息、转向角、车速等。关于转向角和车速,当将来自动驾驶被付诸实际使用时,可能通过由ITS(智能运输系统)观察行进车辆的位置姿态和车速来控制车载设备。
控制器的配置示例
图6是示出控制器20的硬件配置的图。控制器20具有FPGA 201、CPU 202、ROM203、RAM 204、I/F 205、总线206、LD驱动器207和MEMS控制器208。FPGA 201、CPU202、ROM 203、RAM 204和I/F 205经由总线206被相互连接。
CPU 202控制HUD设备1的每个功能。ROM 203存储程序203p,该程序203p由CPU 202执行,用于控制HUD设备1的每个功能。程序203p被加载在RAM 204中,该RAM 204被用作CPU202执行程序203p的工作区域。RAM 204具有图像存储器209。图像存储器209用于生成要被显示为虚拟图像I的图像。I/F 205是用于与其他车载设备进行通信的接口,并且被连接到例如车辆9的CAN总线或以太网(注册商标)。
FPGA 201基于由CPU 202创建的图像来控制LD驱动器207。LD驱动器207驱动光学单元10的光源单元101的LD,以根据图像控制LD的光发射。FPGA 201经由MEMS控制器208操作光学单元10的光偏转器102,使得激光束在对应于图像的像素位置的方向上被偏转。
HUD设备的功能
图7是示出HUD设备1的功能的示例的功能框图。HUD设备1的控制器20主要包括信息获取单元21和图像处理器22。通过使CPU 202执行从控制器20的ROM 203加载在RAM 204中的程序来实施HUD设备1的这些功能或单元。
此外,HUD设备1具有偏移量表DB 29。偏移量表DB 29是被形成在ROM 203或RAM204中的存储单元。在偏移量表DB 29中,预先存储偏移量表。
信息获取单元21从CAN等获取车辆9的信息(诸如速度、转向角、行进距离等的信息),以及诸如因特网或者车辆信息和通信系统(VICS)(注册商标)的由车辆9从外部获取的信息。信息获取单元21能够获取的信息可以是流经诸如CAN的车载网络的信息,并且不限于速度、转向角、行进距离等。此外,信息获取单元21可以从车辆9获取道路地图或用于渲染道路地图的信息。在由信息获取单元21获取的信息条中,用于确定图像的偏移量以减少漂浮感的信息被称为“偏移量关系信息”。另外,由信息获取单元21获取的信息将被用作用于支持驾驶员的信息,该信息可以被显示为虚拟图像I。
用于支持驾驶员的驾驶的信息的示例包括车速、行进方向、到目的地的距离、关于当前位置的信息、车辆9前面的交通灯的状态、车载设备的操作状态、诸如速度限制等的标志、交通拥堵信息等。此外,用于支持驾驶员的驾驶的信息可以包括车辆9前面的障碍物的检测结果、关于障碍物的警告、从因特网获取的信息等。除了上面的信息之外,从电视接收器或AV设备输出的娱乐信息也可以被包括在用于支持驾驶员的驾驶的信息中。
此外,控制器20可以生成信息获取单元21从车辆9获取的信息。例如,可以由控制器20的各种传感器生成速度、加速度、角速度、位置信息等。此外,当控制器20具有被连接到网络的通信功能时,可以获取因特网上的信息而无需车辆9的干预。当HUD设备1还用作导航设备时,HUD设备1具有GPS接收器;因此,基于由GPS接收器检测到的位置信息,HUD设备1能够生成示出车辆9自身的位置或到目的地的路线的道路地图。
图像处理器22基于由信息获取单元21获取的信息来进行与要被显示的图像有关的处理。图像处理器22进一步包括图像生成器23、偏移量确定单元24、图像偏移单元25和图像传送器26。图像生成器23生成图像,该图像要从光学单元10被输出(投影到挡风玻璃91上)。因为该图像包含一些类型的信息,所以图像生成器23也可以被称为生成信息。(由图像生成器23)生成信息的简单示例可以包括将由信息获取单元21获取的信息转换为字符或符号,并且显示转换的字符或符号的处理。例如,在显示车速的情况下,图像生成器23在图像存储器209中生成图像“50km/h”。预先确定图像存储器209的像素数和纵横比,并且预先确定生成信息的图像存储器209的坐标位置。
偏移量确定单元24基于由信息获取单元21获取的偏移量关系信息来参考偏移量表,以确定图像的偏移量。在表1中示出了偏移量表的一些示例。
[表1]
Figure BDA0002443849730000141
表1中的偏移量表(a)指示当偏移量关系信息被用作转向角时的偏移量表。在该偏移量表(a)中,与转向角相关联地登记偏移量。例如,当转向角为1度时,偏移量被登记为向右(或向左)偏移图像N1个像素。“偏移”图像是将被形成在图像存储器209中的图像从它的原始位置移动或改变形成图像的位置。
基于转向的中心状态,转向角以右方向的转向标志为加(或减)和左方向的转向标志为减(或加)来附加。因此,根据转向方向,偏移量表的偏移量也具有加标志或减标志。此外,可以由像素数、长度等来指定偏移量。
随着形成虚拟图像I的距离L增加,由车身的姿态确定的虚拟图像I的显示方向与车辆9的心理行进方向之间的偏差量增加。因此,可以由HUD设备的开发者等基于转向角和距离L来计算偏移量表的偏移量。此外,除了计算之外,也可以实验地确定由驾驶员V较少体验到漂浮感的偏移量。
表1中的偏移量表(b)指示当偏移量关系信息是转向角和车速时的偏移量表。在该偏移量表(b)中,与转向角和车速相关联地登记偏移量。例如,当转向角为1度且车速小于10[km/h]时,偏移量被登记为向右(或向左)偏移图像Ns1个像素。转向角的正或负与偏移量的方向(右和左)之间的关系与表1中的偏移量表(a)相同。随着车速增加,车辆9将在几秒钟后到达的到达点在行进方向上移动。根据表1中的偏移量表(b),偏移量确定单元24可以考虑到车辆9将在几秒钟后到达的到达点304来确定偏移量。注意,还可能在表1中的偏移量表(a)中考虑到车辆9将在几秒钟后到达的到达点304来确定偏移量。
可以由转向角和车速来计算车辆9将在几秒钟后到达的到达点304;然而,驾驶员V可能有时密切查看比从到达点304距离驾驶员V更近的视点。因此,并不总是需要计算到达到达点304的偏移量;偏移量可以被计算为到达到达点304之前的50%至90%的点。另外,在确定要由驾驶员在几秒钟后密切查看的到达点时存在个体差异;因此,优选的是,HUD设备1的开发者实验地确定驾驶员V将较少体验到漂浮感的偏移量。
表1中的偏移量表(c)指示当偏移量关系信息是偏航率时的偏移量表。在该偏移量表(c)中,与偏航率相关联地登记偏移量。例如,当偏航率小于5[度/秒]时,偏移量被登记为向右(或向左)偏移图像Ns1个像素。当车辆9改变行进方向时(当偏航角被改变时),发生偏航率。偏航率被已知为与转向角和车速相关联,并且偏移量可以因此通过使用偏航率作为偏移量关系信息来类似地确定。表1中的偏移量表(c)可以从例如偏航率来计算,或者可以预先实验地确定。
表1中的偏移量表(d)指示当偏移量关系信息是位置信息时的偏移量表。在该偏移量表(d)中,与位置信息相关联地登记偏移量。例如,当位置信息是纬度1和经度1时,偏移量被登记为向右(或向左)偏移图像N1个像素。
在考虑到十字路口被限定为节点并且道路被限定为节点之间的链接时,由汽车导航系统11预先明确车辆经过的路线;因此,HUD设备1可以具有车辆从哪个链接进入每个节点以及车辆从哪个链接离开对应节点的信息。因此,可能基于路线信息和车辆的位置信息来确定偏移量。参考图8给出表1中的偏移量表(d)的补充信息。
图8是示意性地示出在十字路口左转的车辆9的图。十字路口的位置信息被登记在道路地图信息中作为所谓的“节点位置信息”。当由进入节点的链接和从该节点出来的链接形成的角度等于或大于阈值时,车辆9在该节点被转向(行进方向被改变)。也可以由每个十字路口的链接形成的角度来确定适当的转向程度;因此,可以根据形成的角度来计算偏移量。可替代地,开发者等可以实验地确定包括十字路口的十字路口之前与之后的多个位置中的每个位置的偏移量。可替代地,因为HUD设备1能够从车辆9获得车辆9实际在节点上行进的转向角,所以HUD设备1使用表1中的偏移量表(a)与位置信息相关联,基于转向角来创建表1中的偏移量表(d)。
注意,偏移量可以由函数使用偏移量关系信息作为参数来计算,并且确定表1中的偏移量表(a)至(d)中的任何一个中示出的偏移量的方法可以仅是示例。
通过返回参考图7来描述以下内容。图像偏移单元25将图像水平(向左或向右)偏移由偏移量确定单元24确定的偏移量。即,被形成在图像存储器209中的图像被向右或向左偏移。
图像传送器26向光学单元10传送(输出)图像。具体地,LD驱动器207将图像转换为光源单元101的控制信号,以将转换的控制信号传送到光源单元101;并且MEMS控制器208将图像转换为光偏转器102的控制信号,以将转换的控制信号传送到光偏转器102。
被投影在挡风玻璃91上的图像由挡风玻璃91的形状而畸变;因此,优选的是,图像传送器26生成在与图像被畸变的方向相反的方向上校正的图像,以便不形成这种畸变。此外,图像生成器23可以进行图像校正。
此外,图7中的功能框图的描述仅展示了确定偏移量的方法的示例,并且其具体方法不限于图7中示出的方法。
要被创建的图像和虚拟图像的示例
图9包括示意性地示出由图像生成器23生成的图像和要被显示的虚拟图像I的示例的图。如图9中的图中示出的,车辆9正在右转(在右转的同时行进)。图9的(a)是被形成在图像存储器209中的图像被偏移之前的虚拟图像I,该虚拟图像I被示出用于比较。在图9的(a)中,“50km/h”被形成在图像存储器209的中心。结果,如图9中的(b)中示出的,“50km/h”的虚拟图像I被显示在由车身的方向确定的车辆9的前面。
图9的(c)是被形成在图像存储器209中的图像,其中,信息在转弯方向(右方向)上被偏移由偏移量关系信息和偏移量表确定的偏移量N。偏移量确定单元24将“50km/h”的虚拟图像I向图像存储器209的右侧偏移偏移量N。因此,如图9的(d)中示出的,“50km/h”的虚拟图像I被显示在车辆9的心理行进方向(圆301的切线方向302)上。因此,可能减少由车辆9的姿态确定的虚拟图像I的显示模式(显示位置)与从驾驶员V查看的虚拟图像I的显示模式(显示位置)之间的差异,从而减少漂浮感。
注意,偏移图像存储器209中的图像的方法包括偏移图像存储器209中的图像形成位置的方法和偏移整个图像存储器209的方法。在该实施例中,可以由任何一个方法来偏移图像。
当图像存储器中的图像较大时的处理
在被形成在图像存储器209中的图像较大的情况下,图像可能取决于偏移量而流失(run off)。因此,可以考虑进行以下处理来管理这种流失。
图10A至10D是各自示出在整个图像存储器209中形成信息的情况下的图像的示例的图。在图10A中,道路地图近似被形成在整个图像存储器209上。当道路地图在图像存储器209中作为整体被向右偏移时,没有道路地图被形成在图像存储器209的左端。当偏移整个图像存储器209时,在图像存储器209的没有图像的部分中设置诸如黑色像素的预定像素值。即使在如图10A中示出的图像被偏移的情况下,激光束也不被发射到黑色像素;因此,道路地图的左端不被显示在车辆9的前面。因为驾驶员V仅会感觉到道路地图变得更窄,所以对于驾驶员V将没有严重的不便。
然而,也可能在被偏移之后显示被形成在图像存储器209中的整个图像。如图10B中示出的,图像生成器23预先在附加存储器311中创建道路地图,该道路地图直到被偏移才被显示。当偏移量被确定时,图像偏移单元25根据确定的偏移量,将被形成在附加存储器311中的图像滑动到图像存储器209。结果,即使当图像被偏移时,驾驶员V仍然能够看到与图像存储器209的尺寸对应的虚拟图像I。
在图10B中,仅在图像存储器209的左侧上存在附加存储器311;然而,对于图像存储器209的右侧还准备了附加存储器311。
操作过程
图11是示出HUD设备1显示图像以便由驾驶员通过透明构件视觉地感知的过程的示例的流程图。在HUD设备1被激活的同时,定期地重复图11的处理。注意,该处理可以在驾驶员V开启减少漂浮感的功能的情况下被执行。
信息获取单元21获取由车辆9或HUD设备1生成的信息(S10)。例如,信息获取单元21定期地读取通过诸如CAN的车载网络的信息。可替代地,信息获取单元21可以请求车载网络的电子控制单元(微计算机)提供预定信息。可替代地,信息获取单元21可以获取由HUD设备1生成的各种类型的信息。
接下来,图像生成器23从由信息获取单元21获取的信息生成用于支持驾驶员的驾驶的信息(S20)。注意,根据由信息获取单元21获取的信息,预先预定将在图像存储器209中形成什么类型的图像。
接下来,偏移量确定单元24使用被包括在由信息获取单元21获取的信息中的偏移量关系信息来确定偏移量(S30)。如上面描述的,偏移量关系信息是转向角、转向角和车速、偏航率、位置信息等。
然后,偏移量确定单元24参考偏移量表,以确定用于偏移图像存储器209中的图像的偏移方向(右或左)和偏移量(参见S30)。结果,通过参考偏移量表,根据转向角确定向右或向左偏移图像的方向(偏移方向),并且根据转向角确定偏移量。
图像偏移单元25将被形成在图像存储器209中的图像在由偏移量确定单元24确定的偏移方向上偏移偏移量(S40)。图像传送器26向光学单元10传送图像(S50)。
因此,当车辆9的姿态从直线行进改变到转弯行进时,图像存储器209中的图像基于车辆9的姿态被偏移。结果,HUD设备1能够以不太明显的漂浮感显示虚拟图像I。
注意,图(图11)中描绘的处理被描述为被重复;然而,可以当期望车辆9转弯时执行该处理。例如,可以在以下情况下执行该处理。
-车辆9已经到达十字路口之前的几米的情况。
-在道路地图上车辆9前面的路线形成曲率大于阈值的曲线的情况。
-设置了到目的地的路线并且车辆9已经到达十字路口之前的几米的情况,在该十字路口处车辆9改变路线或者在该路线中右转或左转。
用于减少漂浮感的其他图像处理
在上面的描述中,通过向右或向左偏移图像存储器209中的图像来减少漂浮感;然而,即使在其他图像处理中,HUD设备1也能够减少漂浮感。
图12A至12E是示出用于减少漂浮感的图像处理的一些示例的图。在图12A中,在图像存储器209中形成图像“50km/h”。图像偏移单元25基于偏移量关系信息来稀疏(thin)(减少)“50km/h”的信息。稀疏信息意味着,例如,改变色相、亮度和饱和度中的一个或多个,以将信息的颜色改变为更不显眼(或不太显眼)的颜色。稀疏信息也可以意味着改变色差(color shade)。例如,稀疏信息可以意味着将颜色改变为单色,或者减少亮度或饱和度。关于要被稀疏的量,随着偏移量关系信息的尺寸增加,可以使信息更稀疏,或者当偏移量关系信息的尺寸等于或大于阈值时,信息可以均匀地被稀疏。注意,当偏移量关系信息是位置信息时,偏移量关系信息是距离十字路口的距离(这同样应用于以下说明的图12的描述)。当图像存储器209中的图像变得稀疏时,被显示在车辆9前面的虚拟图像I变得不太显眼;结果,转弯期间对驾驶员V的刺激减少。因此,可以减少驾驶员V在转弯期间对虚拟图像I感觉到的漂浮感。
图12B是示出图像存储器209中的图像的图,该图像的辉度由图像偏移单元25基于偏移量关系信息来降低。在图像存储器209中的图像由RGB形成的情况下,从RGB计算辉度。图像偏移单元25减少图像的辉度,然后将所得图像转换为RGB。关于要被减少的辉度的量,随着偏移量关系信息的尺寸增加,辉度可以被减少,或者当偏移量关系信息的尺寸等于或大于阈值时,相同的辉度可以均匀地被设置。当图像存储器209中的图像的辉度减少时,被显示在车辆9前面的虚拟图像变得不太显眼;结果,在转弯路线上行进期间对驾驶员V的刺激减少。因此,可以减少驾驶员V在转弯期间从虚拟图像I接收到的漂浮感。除了减少辉度之外,可以使图像“50km/h”半透明。
图12C是示出图像存储器209中的图像的图,该图像的尺寸由图像偏移单元25基于偏移量关系信息来减少。图像偏移单元25减少被形成在图像存储器209中的图像的尺寸。关于要被减少的尺寸,随着偏移量关系信息的尺寸增加,减少率可以被增加,或者当偏移量关系信息的尺寸等于或大于阈值时,图像的尺寸可以以相同的减少率均匀地被减少。当图像存储器209中的图像的尺寸减少时,被显示在车辆9前面的虚拟图像的尺寸也减少;结果,在转弯路线上行进期间对驾驶员V的刺激减少。因此,可以减少驾驶员V在转弯期间从虚拟图像I接收到的漂浮感。
图12D和12E是各自示出由图像偏移单元25基于偏移量关系信息来放大图像存储器209中的图像的宽度(图像形状的改变)的情况的图。图12D指示通过由图像偏移单元25在字符之间提供间隙来放大宽度的图像的示例。图12E指示将字符转换为在横向方向上被放大的图像的示例。另外,“50km/h”的每个字符可以被改变为较宽的字体。
关于要被放大的宽度,随着偏移量关系信息的尺寸增加,宽度可以被增加,或者当偏移量关系信息的尺寸等于或大于阈值时,图像的宽度可以以相同的放大率均匀地被放大。当图像存储器209中的图像的宽度变得更宽时,被显示在车辆9前面的虚拟图像I的宽度也变得更宽。因为由车身的方向确定的车辆9的前面方向与心理行进方向之间的偏差发生在水平方向上,所以随着虚拟图像I的宽度变得更宽,变得难以看到虚拟图像I已经被如何偏移。因此,可以减少驾驶员V在转弯期间从虚拟图像I接收到的漂浮感。
可以组合图像存储器209中的图像的偏移处理来执行图12A至12E的图像处理。此外,可以可选地组合图12A至12E的图像处理中的一个或多个图像处理。
图13是示出HUD设备1显示图像以便由驾驶员通过透明构件视觉地感知的过程的示例的流程图。在图13的描述中,将主要示出与图11的差异。首先,步骤S10和S20中的处理与图11中的步骤S10和S20中的处理相同。
在步骤S32中,偏移量确定单元24基于偏移量关系信息和偏移量表来确定图像处理的程度(S32)。即,偏移量确定单元24在步骤S32中确定要被稀疏的量、要被降低的辉度、要被减少的尺寸或要被减少的宽度。
接下来,图像偏移单元25将图像处理应用到图像存储器209中的图像(S42)。即,图像偏移单元25在步骤S42中进行稀疏、降低辉度、减少尺寸或加宽被形成在图像存储器209中的图像的宽度中的一个或多个。注意,降低辉度可以通过降低LD的输出来进行。后续的处理将与图11中的处理相同。
概述
如上面描述的,根据本实施例的HUD设备1在水平方向上偏移被形成在图像存储器209中的图像,以减少在由车身的姿态确定的前面方向上的虚拟图像I的显示方向与车辆9的心理行进方向之间的偏差。结果,可能减少由驾驶员感觉到的漂浮感。另外,可能通过维持可见性恒定(使其不太可能被损坏)来减少漂浮感。
注意,在第一实施例中,在转弯路线上行进(或转弯)不仅包括右转或左转,而且包括拐弯(围绕拐角行进或沿着曲线行进);并且进一步包括路线改变、车道改变等。可替代地,在转弯路线上行进(或转弯)可以被称为以偏航率行进或转向行进。
第二实施例
根据第二实施例,将给出HUD设备1的描述,该HUD设备1通过在车辆9正在转弯路线上行进的同时不显示虚拟图像I来减少漂浮感。
通过不显示经由透明构件对驾驶员可见的图像来减少漂浮感在第一实施例中,已经描述了即使当车辆正在转弯路线上行进时也可以在显示虚拟图像I的同时减少漂浮感的方法。然而,在车辆9正在转弯路线上行进的同时,HUD设备1可以不显示虚拟图像I。结果,首先将不会发生被固定到车辆前面的虚拟图像与伴随转向的背景的较大移动相悖的不协调感,或者被固定到车辆前面的虚拟图像与车道的形状(曲线等)相悖的不协调感。因此,可能减少由驾驶员感觉到的漂浮感。
HUD设备1的功能
在第二实施例中,通常使用在第一实施例中描述的图4的HUD设备1的配置图和图6的硬件配置图。另外,因为在第一实施例中由相同的附图标记表示的组件进行相同的功能,所以将仅描述第二实施例的主要组件。
图14是示出根据第二实施例的HUD设备1的功能的示例的功能框图。第二实施例的图像处理器22包括图像生成器23、确定单元27和图像传送器26。图像生成器23和图像传送器26的功能可以与根据第一实施例的图7中描述的功能相同。此外,在第二实施例中,不需要偏移量表DB 29。
基于第一实施例中的偏移量关系信息,确定单元27确定是否显示图像以便由驾驶员通过透明构件视觉地感知。根据第二实施例,在转弯路线上行进(拐弯)期间,图像未通过透明构件可见地被显示给驾驶员。因此,是否显示图像以便由驾驶员通过透明构件视觉地感知,也可以被称为车辆是否正在转弯路线上行进。具体地,HUD设备1确定转向角是否等于或大于阈值、转向角和车速是否分别等于或大于阈值、偏航率是否等于或大于阈值、或者当前位置信息是否被包括在车辆正在转弯路线上行进的地方。当这些确定为是时,确定单元27的删除单元27a消除由图像生成器23生成的所有图像,并且将结果输出到图像传送器26。可替代地,确定单元27不将任何图像传送到图像传送器26(在这种情况下,删除单元27a变得不需要)。用上面的方法,HUD设备1可以使虚拟图像I不被显示。
在第二实施例中,偏移量关系信息应该被称为不显示确定信息或转弯确定信息;然而,因为信息的内容是相同的,所以在以下描述中将原样使用术语“偏移量关系信息”。
操作过程
图15是示出HUD设备1显示图像以便由驾驶员通过透明构件视觉地感知的过程的示例的流程图。在图15的描述中,将主要示出与图11的差异。首先,步骤S10和S20中的处理与图11中的步骤S10和S20中的处理相同。
在步骤S101中,确定单元27基于偏移量关系信息来确定是否显示虚拟图像I(车辆是否正在转弯路线上行进)(S101)。当车辆9正在转弯路线上行进时,即使在低速下,确定单元27也可以确定不显示通过透明构件由驾驶员视觉地感知的图像;或者,仅当车辆以高于某一速度的速度在转弯路线上行进时,确定单元27才可以确定显示通过透明构件由驾驶员视觉地感知的图像。
当确定单元27确定显示虚拟图像I时,确定单元27将图像传送到图像传送器26;因此,图像传送器26随后将图像传送到光学单元10(S102)。
当确定单元27确定不显示虚拟图像I时,确定单元27的删除单元27a删除图像存储器209中的图像,或者确定单元27不将图像传送到图像传送器26;因此,要由图像传送器26传送到光学单元10的整个图像将由黑色像素形成。结果,HUD设备1不将图像显示为虚拟图像I(S103)。“不显示”等同于用于改变虚拟图像的外观的处理。
因此,当车辆9的车辆9的姿态从直线行进改变到转弯行进时,图像存储器209中的图像基于车辆9的姿态不被显示。结果,HUD设备1能够以不太明显的漂浮感显示虚拟图像I。此外,除非虚拟图像I被显示,否则在用户将难以感觉到不协调感的意义上,人类可见性可以保持恒定。注意,不显示图像包括通过稀疏图像、降低图像的辉度或降低图像的对比度而极难看到图像。
概述
如上面描述的,根据第二实施例的HUD设备1在车辆9正在转弯路线上行进的同时不显示虚拟图像I;因此,在由车身的方向确定的前面方向上的虚拟图像I的显示方向与车辆9的心理行进方向之间不发生偏差,从而减少由驾驶员感觉到的漂浮感。
第三实施例
根据第三实施例,将给出HUD设备1的描述,该HUD设备1在光学单元10的控制下通过偏移整个图像来减少漂浮感。
图16是示出根据第三实施例的HUD设备1的配置示例的图。在图16中,因为与图4中相同的组件进行相同的功能,所以将仅描述第三实施例的主要组件。
作为在光学单元10的控制下偏移图像的方法,存在控制凹面镜105的方法和控制光偏转器102的方法。首先,将描述控制凹面镜105的方法。
根据第三实施例的HUD设备1具有致动器107。致动器107在控制器20的控制下驱动凹面镜105。更具体地,致动器107旋转或震荡凹面镜105,使得由凹面镜105反射的激光束在挡风玻璃91的水平方向上移动。
图17是示出凹面镜105的驱动方向的示例的图。图17是从由图13中的箭头310指示的方向(垂直于凹面镜105的方向)查看的凹面镜105的前视图。如图17中示出的,致动器107旋转被布置在凹面镜105的中心的旋转构件108。从而,激光束的反射方向可以在挡风玻璃91的水平方向上移动。
在图17的示例中,凹面镜105被旋转;然而,通过改变光偏转器102偏转光的方向,图像可以类似地在挡风玻璃91的水平方向上被移动。即,光偏转器102使光的偏转角在图16的纸上在深度方向上朝后或朝前增加偏转量。结果,激光束的反射方向在挡风玻璃91的右方向或左方向上增加,并且图像在水平方向上移动。因为不需要致动器107改变由光偏转器102偏转光的方向,所以易于控制成本增加。因此,可能优选控制光偏转器102而不是控制凹面镜105。
此外,可以控制光学单元10的任何组件,只要要被投影在挡风玻璃91上的图像的位置可以在水平方向上被偏移。
HUD设备的功能
图18是示出根据第三实施例的HUD设备1的功能的示例的功能框图。在图18的描述中,将主要示出与图7的差异。第三实施例的图像处理器22包括图像生成器23、图像传送器26、旋转量确定单元28、旋转量指示单元31和致动器控制器33。图像生成器23和图像传送器26的功能可以与第一或第二实施例中的功能相同。
旋转量确定单元28参考被存储在旋转量表DB 30中的旋转量表来确定致动器107的旋转量。确定旋转量的方法可以与第一实施例中的确定偏移量的方法相同。即,基于转向角、转向角和车速、偏航率以及位置信息中的一个或多个来确定旋转量。在旋转量表中,与转向角、转向角和车速、偏航率以及位置信息中的任何一个相关联地设置旋转量。在凹面镜105被控制的情况下,旋转量是致动器107的旋转量,并且在光偏转器102被控制的情况下,旋转量是MEMS镜的偏转量。旋转量指示单元31向致动器控制器33指示由旋转量确定单元28确定的旋转量。
致动器控制器33控制致动器107用于旋转凹面镜105,使得致动器107的旋转量与由旋转量指示单元31指示的旋转量匹配。例如,与由旋转量指示单元31指示的旋转量匹配的致动器107的旋转量可以由用于控制电动机的驱动器电路和PWM电路来实施。
第三实施例中的转向角、转向角和车速、偏航率或者位置信息应该被称为旋转量关系信息;然而,因为每个的内容与偏移量关系信息相同,所以这些被称为偏移量关系信息。
当挡风玻璃91上的激光束的投影位置改变时,从凹面镜105到挡风玻璃91的距离也改变;因此,可能发生梯形畸变。因此,优选的是,图像传送器26等预先校正梯形畸变。
光学单元10具有图像输出单元32和投影方向改变单元38。图像输出单元32具有输出图像的功能,并且具有由光源单元101、光偏转器102、镜103、屏幕104和凹面镜105投影图像的功能。投影方向改变单元38由致动器107实施,并且根据来自致动器控制器33的控制,基于方向和旋转量来改变投影图像的方向。
操作过程
图19是示出HUD设备1显示图像以便由驾驶员通过透明构件视觉地感知的过程的示例的流程图。图19中的(a)示出了控制器20的处理,并且图19中的(b)示出了光学单元10的处理。在图19的描述中,将主要示出与图11的差异。首先,步骤S10和S20中的处理与图11中的步骤S10和S20中的处理相同。
在步骤S201中,旋转量确定单元28基于偏移量关系信息来参考旋转量表,并且确定致动器107的旋转量或光偏转器102的偏转量(S201)。即,旋转量确定单元28确定致动器107要被旋转多少或光偏转器102的光偏转方向要被偏转多少。
接下来,图像传送器26将图像传送到光学单元10(S202)。此外,旋转量指示单元31向致动器控制器33指示旋转量。致动器控制器33根据指示的旋转量来控制致动器107(S203)。注意,步骤S202和S203以任何顺序被执行,并且优选地可以并行地被执行。
接下来,示出了图19的(b)中的光学单元10的处理。光学单元10的图像输出单元32接收图像并且输出激光束以显示虚拟图像I(S204)。
投影方向改变单元38在致动器控制器33的控制下通过旋转致动器107来改变图像的投影方向(S205)。可替代地,当光偏转器102偏转光时,投影方向改变单元38控制偏转量。注意,步骤S204和S205以任何顺序被执行,并且优选地可以并行地被执行。
因此,当车辆9的姿态从直线行进改变到转弯行进时,光学单元10基于车辆9的姿态来偏移图像。结果,HUD设备1能够以不太明显的漂浮感显示虚拟图像I。
概述
如上面描述的,在根据第三实施例的HUD设备1中,光学单元10改变由光偏转器102或凹面镜105反射激光束的方向;因此,可能减少由驾驶员感觉到的漂浮感。
注意,在第三实施例中,也可以使虚拟图像I不被显示。例如,HUD设备1可以停止光学单元10的光源单元101输出激光束。可替代地,光偏转器102将激光束偏转到挡风玻璃91的范围外面,或者凹面镜105将激光束反射到挡风玻璃91的范围外面。
第四实施例
在第一至第三实施例中,改变被显示在车辆9前面的虚拟图像I的水平方向上的位置,从而减少漂浮感。然而,即使当被显示在车辆9前面的虚拟图像I的水平方向根据车辆9的翻滚或俯仰被改变时,在一些情况下在由车辆9的姿态确定的图像的姿态(旋转)或方向与驾驶员的视线方向之间也可能仍然发生偏差;结果,驾驶员可能仍然感觉到漂浮感。
图20A至20D是示出由车辆9的翻滚或俯仰确定的图像的姿态(旋转)或方向与驾驶员的视线方向之间的偏差的示例的图。图20中的(a)是车辆9的后视图。因为车身是水平的,所以虚拟图像I被水平显示。图20中的(b)是车辆9的后视图;然而,因为车辆9的右轮骑在路缘石上,所以车身向左被倾斜。即,车辆的翻滚角被改变。在这种情况下,由被固定到车身的HUD设备1显示的虚拟图像I以相同的方式被倾斜(斜);然而,驾驶员V倾向于维持他或她的身体水平,使得视线方向的旋转不如虚拟图像I的旋转那么多。结果,在虚拟图像I的旋转角度与视线方向的旋转角度之间发生偏差,并且驾驶员可能感觉到漂浮感。
图20中的(c)是车辆9的侧视图。因为车身是水平的,所以虚拟图像I被水平显示。图20中的(d)是车辆9的侧视图;然而,因为车辆9的前轮骑在路缘石上,所以车身相对于前后轴被倾斜。即,俯仰角被改变。在这种情况下,由被固定到车身的HUD设备1显示的虚拟图像I向上移动;然而,因为驾驶员V在车辆9的行进方向上密切查看,所以驾驶员V的视线方向S的向上移动不如虚拟图像I的显示位置那么多。结果,在虚拟图像I的显示位置与视线方向S之间发生偏差,并且驾驶员可能感觉到漂浮感。
以下描述根据第四实施例的HUD设备1,当车辆9的姿态由于车辆9的翻滚运动或俯仰运动而改变时,该HUD设备1减少虚拟图像I的显示位置或显示角度与视线方向之间的偏差,从而减少由驾驶员感觉到的漂浮感。
注意,假定直线行进期间的翻滚角被确定为参考并且直线行进期间的车身是水平的。在翻滚方向上的显示位置的水平参考包括但不限于大地的水平线、车辆9正在行进的道路以及人类头部或身体的姿势。
HUD设备1的功能
图21是示出根据第四实施例的HUD设备1的功能的示例的功能框图。在图21的描述中,将主要示出与图7的差异。信息获取单元21的功能可以与第一或第二实施例的功能相同;然而,信息获取单元21不仅可以从车辆9或HUD设备1获取偏移量关系信息,而且可以获取旋转量关系信息和垂直偏移量关系信息,并且将获取的信息传送到图像处理器22。旋转量关系信息是关于翻滚角的信息,并且垂直偏移量关系信息是关于俯仰角的信息。
从被安装在车辆上或被包括在HUD设备1中的陀螺仪传感器16检测关于翻滚角的信息。除了这种信息之外,控制器20还可以分析由被安装在每个车轮附近的车高传感器14检测到的车高信息、由被安装在车辆中的每个座位上的座位传感器13(如果可能的话,使用重量)检测到的乘员的有无等来计算翻滚角。从被安装在车辆上或被包括在HUD设备1中的陀螺仪传感器16检测关于俯仰角的信息。类似地,控制器20还可以使用来自车高传感器14或座位传感器13的信号来计算翻滚角。
第四实施例的图像处理器22包括图像生成器23、偏移量确定单元24、图像偏移单元25和图像传送器26。这些功能可以与第一或第二实施例中的功能相同。图像处理器22还包括用于存储旋转角度表的旋转角度表DB 38和用于存储垂直偏移量表的垂直偏移量表DB39。
[表2]
Figure BDA0002443849730000281
表2指示旋转角度表。在旋转角度表中,与图像存储器209中的图像的旋转角度相关联地登记翻滚角。例如,当转向角为1度时,旋转角度表登记图像存储器209中的图像被旋转-1度。因此,旋转角度是在与翻滚角相反的方向上的相同的角度。图像的旋转角度是通过反转翻滚角的标志而获得的;因此,不需要旋转角度表。注意,翻滚角和旋转角度中的每个的加方向和减方向是预先确定的。
[表3]
Figure BDA0002443849730000291
表3指示垂直偏移量表。在垂直偏移量表中,与垂直偏移量相关联地登记俯仰角。例如,当俯仰角为1度时,垂直偏移量表登记图像存储器209中的图像向上(或向下)被偏移Nud 1个像素。注意,基于车身的水平状态来预先确定俯仰角的正方向和负方向;因此,取决于俯仰角,垂直偏移量表的垂直偏移量也具有加标志或减标志。此外,可以由像素数、长度等来指定垂直偏移量。
随着形成虚拟图像I的距离L增加,由车身方向确定的图像方向与驾驶员V的视线之间的偏差量增加,这给驾驶员V漂浮感。因此,可以基于俯仰角和距离L来计算垂直偏移量表的垂直偏移量。除了该计算之外,HUD设备1的开发者等可以实验地确定驾驶员V较少感觉到漂浮感的垂直偏移量。
通过返回参考图21来描述以下内容。偏移量确定单元24包括旋转角度确定单元34和垂直偏移量确定单元35。旋转角度确定单元34基于翻滚角,参考被存储在旋转角度表DB38中的旋转角度表,确定图像存储器209中的图像的旋转角度。垂直偏移量确定单元35基于俯仰角,参考被存储在垂直偏移量表DB 39中的垂直偏移量表,确定图像存储器209中的图像的垂直偏移量。
图像偏移单元25具有图像旋转单元36和图像垂直偏移单元37。图像旋转单元36以由旋转角度确定单元34确定的旋转角度围绕图像存储器209的中心旋转被形成在图像存储器209中的图像。为了旋转图像,可以使用仿射变换等。图像垂直偏移单元37将被形成在图像存储器209中的图像向上或向下偏移由垂直偏移量确定单元35确定的垂直偏移量。垂直方向上的偏移方法可以与第一实施例中描述的水平方向上的偏移方法相同。
操作过程
图22是示出HUD设备1显示图像以便由驾驶员通过透明构件视觉地感知的过程的示例的流程图。在图22的描述中,将主要示出与图11的差异。步骤S10和S20中的处理可以与图11中的步骤S10和S20中的处理相同。
接下来,旋转角度确定单元34使用被包括在由信息获取单元21获取的信息中的旋转角度关系信息来确定被形成在图像存储器209中的图像的旋转角度(S301)。如上面描述的,旋转角度关系信息是关于翻滚角的信息。结果,根据翻滚角来确定向右还是向左(旋转方向)旋转图像,并且还根据翻滚角来确定旋转角度。
接下来,垂直偏移量确定单元35使用被包括在由信息获取单元21获取的信息中的垂直偏移量关系信息来确定被形成在图像存储器209中的图像的垂直偏移量(S302)。如上面描述的,垂直偏移量关系信息是关于俯仰角的信息。结果,根据俯仰角来确定朝向向上方向还是向下方向(垂直方向上的偏移方向)偏移,并且还根据俯仰角来确定偏移量。
图像旋转单元36将图像存储器209中的图像在由旋转角度确定单元34确定的旋转方向上旋转旋转角度(S303)。
图像垂直偏移单元37将图像存储器209中的图像在由垂直偏移量确定单元35确定的向上方向或向下方向上偏移垂直偏移量(S304)。图像传送器26向光学单元10传送图像(S305)。
如上面描述的,当车辆9进行翻滚运动或俯仰运动时,图像基于车辆9的姿态而被旋转或偏移;因此,HUD设备1能够显示具有较少漂浮外观的虚拟图像I。
注意,当车辆9在斜坡上行进时,俯仰角也改变,并且在斜坡上行进的车辆9投影平行于路面的虚拟图像。此外,因为在斜坡上行进的驾驶员V(即,车辆9)的视线方向与路面平行,所以在虚拟图像的被投影方向与视线方向之间几乎不发生偏差(几乎不出现漂浮感)。因此,当车辆9在斜坡上行进时,进行控制以不进行图22的处理或者仅在进入斜坡之后立即进行控制图22的处理也是有效的。注意,可以从非零俯仰角持续一段时间的事实来确定在斜坡上行进,或者可以从关于道路地图等的信息来确定在斜坡上行进。
要被创建的图像和虚拟图像的示例
图23A至23D是示意性地示出由图像处理器22生成的图像和要被投影的虚拟图像I的图。图23A是示出未被旋转的图像存储器209中的图像的用于比较的图。在图23A中,图像“50km/h”被形成在图像存储器209的中心。因此,如图23B中示出的,当车辆9翻滚时,被显示在车身前面的“50km/h”的虚拟图像I也被旋转与车身的翻滚角相同的量。
图23C是示出根据关于翻滚角的信息被旋转的图像存储器209中的图像的图。图像旋转单元36将作为图像存储器209中的图像的“50km/h”旋转由旋转角度关系信息和旋转角度表确定的旋转角度δ。如图23D中示出的,即使当车辆9进行翻滚运动时,“50km/h”的虚拟图像I仍然水平被显示,从而减少漂浮感。
图24A至24D是示意性地示出由图像处理器22生成的图像和要被投影的虚拟图像I的图。图24A是示出在垂直方向上未被偏移的图像存储器209中的图像的用于比较的图。在图24A中,图像“50km/h”被形成在图像存储器209的中心。因此,如图24B中示出的,当进行车辆9的前侧面向上的俯仰时,根据从车辆9到虚拟图像的距离L和俯仰角,“50km/h”的虚拟图像I也被显示在车身前面的上方。结果,在驾驶员的视线方向S与虚拟图像I的显示方向之间存在偏差。
图24C是示出根据关于俯仰角的信息被偏移的图像存储器209中的图像的图。图像垂直偏移单元37将图像存储器209中的“50km/h”的图像偏移由垂直偏移量关系信息和垂直偏移量表确定的垂直偏移量Nud。如图24D中示出的,即使车辆9进行俯仰运动以使正面向上,“50km/h”的虚拟图像I仍然在驾驶员V的视线方向S上被显示;因此,漂浮感可以被减少。
概述
如上面描述的,第四实施例的HUD设备1通过旋转图像存储器209中的图像或者在垂直方向上偏移图像存储器209中的图像,减少由于车身的翻滚产生的虚拟图像I的旋转以及由于俯仰产生的虚拟图像I的垂直偏移。因此,可能减少由驾驶员感觉到的漂浮感。
注意,在第四实施例中,还可能通过控制光偏转器102或凹面镜105,在车身俯仰时改变虚拟图像I的垂直位置。此外,可能通过控制光偏转器102或凹面镜105,在车身翻滚时旋转虚拟图像I。
此外,当车辆9翻滚或俯仰时,(被投影的)图像存储器209中的图像可以被稀疏,并且其辉度或尺寸可以被减少。可替代地,可以用具有每个字符的较长垂直维度的字体来创建图像存储器209中的图像。
此外,当车辆9翻滚或俯仰时,可以通过删除图像存储器209中的图像或者通过不由HUD设备1输出图像,使虚拟图像I不显示。
其他优选的实施例
虽然上面通过实施例已经描述了用于实施本发明的最佳模式,但是本发明不限于这些实施例,并且在不脱离本发明的精神的情况下可以进行各种修改和替换。
例如,在上面描述的实施例中,车辆的控制器20处理图像,但是由控制器20进行的处理可以由被安装在车辆上的另一设备进行。
如图25A和25B中示出的,根据该实施例,经由网络110可通信地被连接到车辆9的服务器40可以进行图像处理。图25A是示出具有HUD设备1和服务器40的系统100的配置示例的图,该系统100被配置为生成用于减少漂浮感的图像。虽然HUD设备1被安装在车辆9上,但是服务器40具有图像处理器22的功能。
图25B是示出HUD设备1和服务器40的功能的功能框图。HUD设备1的控制器20包括信息获取单元21、信息传送器51和图像接收器52。另外,服务器40具有信息接收器41、图像处理器22和图像提供器42。
用这种配置,信息传送器51将由信息获取单元21获取的上面描述的关于车辆9的信息传送到服务器40。服务器40的信息接收器41接收关于车辆9的信息,并且将接收到的信息传送到图像处理器22。图像处理器22在服务器侧上进行第一至第三实施例中描述的处理。图像提供器42将偏移的图像等传送到HUD设备1。HUD设备1的图像接收器52接收偏移的图像,并且将接收到的偏移的图像传送到光学单元10。因此,当允许处理具有时间延迟时,服务器40进行这种处理,并且HUD设备1能够显示从服务器40接收到的图像。
此外,可以显示已经被模糊校正的虚拟图像I,或者可以沿着车道显示虚拟图像I。
注意,图像生成器23是图像生成器的示例,信息获取单元21是姿态信息获取单元的示例,图像偏移单元25、确定单元27、旋转量确定单元28、图像旋转单元36和图像垂直偏移单元37中的至少一个是显示改变处理器的示例,光学单元10是输出单元的示例,并且偏移量关系信息是关于在转弯路线上行进的信息的示例。
附图标记列表
1 HUD设备
9 车辆
10 光学单元
20 控制器
21 信息获取单元
22 图像处理器
23 图像生成器
24 偏移量确定单元
25 图像偏移单元
26 图像传送器
27 确定单元
27a 删除单元
本申请基于并且要求2017年10月13日提交的日本专利申请第2017-199914号和2018年10月2日提交的日本专利申请第2018-187737号的优先权,它们的全部内容通过引用被结合在本文中。
权利要求书(按照条约第19条的修改)
1.一种用于显示虚拟图像以便由移动体的乘员通过透明构件视觉地感知的显示设备,其特征在于,所述显示设备包括:
图像生成器,被配置为生成要被显示为虚拟图像的图像;
姿态信息获取单元,被配置为获取关于所述移动体的姿态的信息;以及
显示改变处理器,被配置为根据由所述姿态信息获取单元获取的关于所述姿态的所述信息,改变所述虚拟图像的所述显示。
2.根据权利要求1所述的显示设备,其特征在于,
所述显示改变处理器对由所述图像生成器生成的所述图像进行改变所述虚拟图像的显示的处理,使得第一显示模式中出现的所述虚拟图像与第二显示模式中出现的所述虚拟图像之间的差异不被所述移动体的所述乘员注意,作为所述虚拟图像的所述显示的所述改变,所述虚拟图像的所述第一显示模式是由所述移动体的所述姿态确定的,并且所述虚拟图像的所述第二显示模式是当所述移动体的瞬时行进方向是所述移动体的方向时获得的。
3.根据权利要求1或2所述的显示设备,其特征在于,
所述显示改变处理器对由所述图像生成器生成的所述图像进行改变显示位置的处理,作为所述虚拟图像的所述显示的所述改变。
4.根据权利要求2所述的显示设备,其特征在于,
所述显示改变处理器对由所述图像生成器生成的所述图像进行改变显示角度的处理,作为所述虚拟图像的所述显示的所述改变。
5.根据权利要求1至3中任一项所述的显示设备,其特征在于,进一步包括光学单元,其中,
所述姿态信息获取单元获取关于所述移动体在转弯路线上行进的信息,作为关于所述移动体的所述姿态的所述信息,并且基于关于在转弯路线上行进的所述信息,所述显示改变处理器进行使由所述图像生成器生成的所述图像水平偏移的处理,或者所述光学单元改变投影所述图像的方向。
6.根据权利要求1至3中任一项所述的显示设备,其特征在于,
所述姿态信息获取单元获取关于所述移动体的俯仰运动的信息,作为关于所述移动体的所述姿态的所述信息,以及
基于关于所述俯仰运动的所述信息,所述显示改变处理器进行使由所述图像生成器生成的所述图像水平偏移的处理,或者所述光学单元改变投影所述图像的方向。
7.根据权利要求1、2和4中任一项所述的显示设备,其特征在于,所述姿态信息获取单元获取关于所述移动体的翻滚角的信息,作为关于所述移动体的所述姿态的所述信息,以及
基于关于所述翻滚角的所述信息,所述显示改变处理器进行使由所述图像生成器生成的所述图像翻滚的处理,或者所述光学单元改变投影所述图像的方向。
8.根据权利要求2所述的显示设备,其特征在于,
所述显示改变处理器使由所述图像生成器生成的所述图像不被显示,作为减少由所述移动体的所述姿态确定的所述虚拟图像的显示位置与由所述移动体的所述乘员查看的所述虚拟图像的显示位置之间的差异的处理。
9.根据权利要求1或2所述的显示设备,其特征在于,
所述姿态信息获取单元获取关于所述移动体在转弯路线上行进的信息,作为关于所述移动体的所述姿态的所述信息,并且基于关于在转弯路线上行进的所述信息,所述显示改变处理器进行使由所述图像生成器生成的所述图像稀疏、降低所述图像的辉度、减少所述图像的尺寸或者增加所述图像的宽度的处理。
10.根据权利要求1或2所述的显示设备,其特征在于,
所述姿态信息获取单元获取关于所述移动体的俯仰运动的信息,作为关于所述移动体的所述姿态的所述信息,以及
基于关于所述俯仰运动的所述信息,所述显示改变处理器进行使由所述图像生成器生成的所述图像稀疏、降低所述图像的辉度、减少所述图像的尺寸或者增加所述图像的宽度的处理。
11.根据权利要求1至10中任一项所述的显示设备,其特征在于,
所述图像生成器生成大于虚拟图像的图像,所述虚拟图像通过所述透明构件被视觉地感知。
12.一种用于使显示设备用作指定组件的计算机可读程序,其特征在于,所述显示设备被安装在移动体上,所述显示设备被配置为显示虚拟图像以便由移动体的乘员通过透明构件视觉地感知,所述指定组件包括:
图像生成器,被配置为生成要被投影为虚拟图像的图像;
姿态信息获取单元,被配置为获取关于所述移动体的姿态的信息;以及
显示改变处理器,被配置为根据由所述姿态信息获取单元获取的关于所述姿态的所述信息,改变所述虚拟图像的所述显示。
13.一种由显示设备进行的图像处理方法,其特征在于,所述显示设备被安装在移动体上,所述显示设备被配置为显示虚拟图像以便由移动体的乘员通过透明构件视觉地感知,所述图像处理方法包括:
由图像生成器生成要被投影为虚拟图像的图像;
由姿态信息获取单元获取关于所述移动体的姿态的信息;以及
由显示改变处理器根据由所述姿态信息获取单元获取的关于所述姿态的所述信息,改变所述虚拟图像的所述显示。
14.一种用于显示虚拟图像以便由移动体的乘员通过透明构件视觉地感知的显示系统,其特征在于,所述显示系统包括:
图像生成器,被配置为生成要被显示为虚拟图像的图像;
姿态信息获取单元,被配置为获取关于移动体的姿态的信息;以及
显示改变处理器,被配置为根据由所述姿态信息获取单元获取的关于所述姿态的所述信息,改变所述虚拟图像的所述显示。
15.一种移动体,其特征在于,包括:
透明构件;以及
根据权利要求14所述的显示系统。

Claims (15)

1.一种用于显示虚拟图像以便由移动体的乘员通过透明构件视觉地感知的显示设备,其特征在于,所述显示设备包括:
图像生成器,被配置为生成要被显示为虚拟图像的图像;
姿态信息获取单元,被配置为获取关于所述移动体的姿态的信息;以及
显示改变处理器,被配置为根据由所述姿态信息获取单元获取的关于所述姿态的所述信息,改变所述虚拟图像的所述显示。
2.根据权利要求1所述的显示设备,其特征在于,
所述显示改变处理器对由所述图像生成器生成的所述图像进行减少所述虚拟图像的第一显示模式与所述虚拟图像的第二显示模式之间的差异的处理,作为所述虚拟图像的所述显示的所述改变,所述虚拟图像的所述第一显示模式是由所述移动体的所述姿态确定的,并且所述虚拟图像的所述第二显示模式是从所述移动体的所述乘员查看的。
3.根据权利要求1或2所述的显示设备,其特征在于,
所述显示改变处理器对由所述图像生成器生成的所述图像进行改变显示位置的处理,作为所述虚拟图像的所述显示的所述改变。
4.根据权利要求2所述的显示设备,其特征在于,
所述显示改变处理器对由所述图像生成器生成的所述图像进行改变显示角度的处理,作为所述虚拟图像的所述显示的所述改变。
5.根据权利要求1至3中任一项所述的显示设备,其特征在于,进一步包括光学单元,其中,
所述姿态信息获取单元获取关于所述移动体在转弯路线上行进的信息,作为关于所述移动体的所述姿态的所述信息,并且基于关于在转弯路线上行进的所述信息,所述显示改变处理器进行使由所述图像生成器生成的所述图像水平偏移的处理,或者所述光学单元改变投影所述图像的方向。
6.根据权利要求1至3中任一项所述的显示设备,其特征在于,
所述姿态信息获取单元获取关于所述移动体的俯仰运动的信息,作为关于所述移动体的所述姿态的所述信息,以及
基于关于所述俯仰运动的所述信息,所述显示改变处理器进行使由所述图像生成器生成的所述图像水平偏移的处理,或者所述光学单元改变投影所述图像的方向。
7.根据权利要求1、2和4中任一项所述的显示设备,其特征在于,所述姿态信息获取单元获取关于所述移动体的翻滚角的信息,作为关于所述移动体的所述姿态的所述信息,以及
基于关于所述翻滚角的所述信息,所述显示改变处理器进行使由所述图像生成器生成的所述图像翻滚的处理,或者所述光学单元改变投影所述图像的方向。
8.根据权利要求2所述的显示设备,其特征在于,
所述显示改变处理器使由所述图像生成器生成的所述图像不被显示,作为减少由所述移动体的所述姿态确定的所述虚拟图像的显示位置与由所述移动体的所述乘员查看的所述虚拟图像的显示位置之间的差异的处理。
9.根据权利要求1或2所述的显示设备,其特征在于,
所述姿态信息获取单元获取关于所述移动体在转弯路线上行进的信息,作为关于所述移动体的所述姿态的所述信息,并且基于关于在转弯路线上行进的所述信息,所述显示改变处理器进行使由所述图像生成器生成的所述图像稀疏、降低所述图像的辉度、减少所述图像的尺寸或者增加所述图像的宽度的处理。
10.根据权利要求1或2所述的显示设备,其特征在于,
所述姿态信息获取单元获取关于所述移动体的俯仰运动的信息,作为关于所述移动体的所述姿态的所述信息,以及
基于关于所述俯仰运动的所述信息,所述显示改变处理器进行使由所述图像生成器生成的所述图像稀疏、降低所述图像的辉度、减少所述图像的尺寸或者增加所述图像的宽度的处理。
11.根据权利要求1至10中任一项所述的显示设备,其特征在于,
所述图像生成器生成大于虚拟图像的图像,所述虚拟图像通过所述透明构件被视觉地感知。
12.一种用于使显示设备用作指定组件的计算机可读程序,其特征在于,所述显示设备被安装在移动体上,所述显示设备被配置为显示虚拟图像以便由移动体的乘员通过透明构件视觉地感知,所述指定组件包括:
图像生成器,被配置为生成要被投影为虚拟图像的图像;
姿态信息获取单元,被配置为获取关于所述移动体的姿态的信息;以及
显示改变处理器,被配置为根据由所述姿态信息获取单元获取的关于所述姿态的所述信息,改变所述虚拟图像的所述显示。
13.一种由显示设备进行的图像处理方法,其特征在于,所述显示设备被安装在移动体上,所述显示设备被配置为显示虚拟图像以便由移动体的乘员通过透明构件视觉地感知,所述图像处理方法包括:
由图像生成器生成要被投影为虚拟图像的图像;
由姿态信息获取单元获取关于所述移动体的姿态的信息;以及
由显示改变处理器根据由所述姿态信息获取单元获取的关于所述姿态的所述信息,改变所述虚拟图像的所述显示。
14.一种用于显示虚拟图像以便由移动体的乘员通过透明构件视觉地感知的显示系统,其特征在于,所述显示系统包括:
图像生成器,被配置为生成要被显示为虚拟图像的图像;
姿态信息获取单元,被配置为获取关于移动体的姿态的信息;以及
显示改变处理器,被配置为根据由所述姿态信息获取单元获取的关于所述姿态的所述信息,改变所述虚拟图像的所述显示。
15.一种移动体,其特征在于,包括:
透明构件;以及
根据权利要求14所述的显示系统。
CN201880065814.XA 2017-10-13 2018-10-12 显示设备、程序、图像处理方法、显示系统和移动体 Pending CN111201150A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2017-199914 2017-10-13
JP2017199914 2017-10-13
JP2018187737A JP2019073272A (ja) 2017-10-13 2018-10-02 表示装置、プログラム、映像処理方法、表示システム、移動体
JP2018-187737 2018-10-02
PCT/JP2018/038184 WO2019074114A1 (en) 2017-10-13 2018-10-12 DISPLAY DEVICE, PROGRAM, IMAGE PROCESSING METHOD, DISPLAY SYSTEM, AND MOBILE BODY

Publications (1)

Publication Number Publication Date
CN111201150A true CN111201150A (zh) 2020-05-26

Family

ID=66543016

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880065814.XA Pending CN111201150A (zh) 2017-10-13 2018-10-12 显示设备、程序、图像处理方法、显示系统和移动体

Country Status (4)

Country Link
US (1) US20200333608A1 (zh)
EP (1) EP3694740A1 (zh)
JP (1) JP2019073272A (zh)
CN (1) CN111201150A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114384700A (zh) * 2020-10-05 2022-04-22 大众汽车股份公司 在抬头显示装置中显现虚拟对象的水平的位置确定

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6756327B2 (ja) * 2017-11-10 2020-09-16 株式会社Soken 姿勢検出装置、及び姿勢検出プログラム
WO2020241134A1 (ja) * 2019-05-29 2020-12-03 パナソニックIpマネジメント株式会社 表示システム
JP7345114B2 (ja) * 2020-03-25 2023-09-15 パナソニックIpマネジメント株式会社 車両用表示制御装置、表示制御方法、およびプログラム
CN114025076B (zh) * 2022-01-10 2022-03-18 济南和普威视光电技术有限公司 一种基于web的激光镜头同步数据在线编辑方法、装置
WO2023218773A1 (ja) * 2022-05-09 2023-11-16 マクセル株式会社 ヘッドアップディスプレイ装置
WO2023229000A1 (ja) * 2022-05-26 2023-11-30 日本精機株式会社 表示制御装置、表示システム、表示装置、及び表示制御方法
EP4303056A1 (en) * 2022-07-07 2024-01-10 Bayerische Motoren Werke Aktiengesellschaft Method and system for controlling a display device in a vehicle
JP2024062526A (ja) * 2022-10-25 2024-05-10 矢崎総業株式会社 車両用表示装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100164702A1 (en) * 2008-12-26 2010-07-01 Kabushiki Kaisha Toshiba Automotive display system and display method
CN101872069A (zh) * 2009-04-02 2010-10-27 通用汽车环球科技运作公司 增强视觉系统全挡风玻璃hud
EP2415625A1 (en) * 2009-03-30 2012-02-08 Equos Research Co., Ltd. Information display apparatus
KR20130089139A (ko) * 2012-02-01 2013-08-09 한국전자통신연구원 차량용 증강현실 헤드업 디스플레이 장치 및 방법
CN105391938A (zh) * 2014-08-27 2016-03-09 株式会社理光 图像处理装置、图像处理方法和计算机程序产品
US20170038595A1 (en) * 2014-04-16 2017-02-09 Denson Corporation Head-up display device
CN106448260A (zh) * 2015-08-05 2017-02-22 Lg电子株式会社 驾驶员辅助设备和包括该驾驶员辅助设备的车辆
US20170169612A1 (en) * 2015-12-15 2017-06-15 N.S. International, LTD Augmented reality alignment system and method

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013237320A (ja) * 2012-05-14 2013-11-28 Toshiba Alpine Automotive Technology Corp 違和感軽減表示装置およびその表示制御方法
JP6361382B2 (ja) * 2014-08-29 2018-07-25 アイシン精機株式会社 車両の制御装置
JP2017182090A (ja) * 2017-06-16 2017-10-05 パイオニア株式会社 虚像表示装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100164702A1 (en) * 2008-12-26 2010-07-01 Kabushiki Kaisha Toshiba Automotive display system and display method
EP2415625A1 (en) * 2009-03-30 2012-02-08 Equos Research Co., Ltd. Information display apparatus
CN101872069A (zh) * 2009-04-02 2010-10-27 通用汽车环球科技运作公司 增强视觉系统全挡风玻璃hud
KR20130089139A (ko) * 2012-02-01 2013-08-09 한국전자통신연구원 차량용 증강현실 헤드업 디스플레이 장치 및 방법
US20170038595A1 (en) * 2014-04-16 2017-02-09 Denson Corporation Head-up display device
CN105391938A (zh) * 2014-08-27 2016-03-09 株式会社理光 图像处理装置、图像处理方法和计算机程序产品
CN106448260A (zh) * 2015-08-05 2017-02-22 Lg电子株式会社 驾驶员辅助设备和包括该驾驶员辅助设备的车辆
US20170169612A1 (en) * 2015-12-15 2017-06-15 N.S. International, LTD Augmented reality alignment system and method

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114384700A (zh) * 2020-10-05 2022-04-22 大众汽车股份公司 在抬头显示装置中显现虚拟对象的水平的位置确定

Also Published As

Publication number Publication date
JP2019073272A (ja) 2019-05-16
EP3694740A1 (en) 2020-08-19
US20200333608A1 (en) 2020-10-22

Similar Documents

Publication Publication Date Title
CN111201150A (zh) 显示设备、程序、图像处理方法、显示系统和移动体
CN111433067B (zh) 平视显示装置及其显示控制方法
CN110573369B (zh) 平视显示器装置及其显示控制方法
US10551619B2 (en) Information processing system and information display apparatus
JP5161760B2 (ja) 車載用表示システム及び表示方法
US8536995B2 (en) Information display apparatus and information display method
US11506906B2 (en) Head-up display system
JP6570424B2 (ja) 電子装置
JP2017211366A (ja) 移動体システム、情報表示装置
JP2017094882A (ja) 虚像生成システム、虚像生成方法及びコンピュータプログラム
US20140043466A1 (en) Environment image display apparatus for transport machine
CN110955044B (zh) 显示装置、显示控制方法及存储介质
JP2017007481A (ja) 車載ヘッドアップディスプレイ装置及び車載表示システム
JP2020077219A (ja) 車両情報提供装置
WO2021044741A1 (ja) 表示制御装置、表示制御プログラム及びヘッドアップディスプレイ
JP7450230B2 (ja) 表示システム
WO2019074114A1 (en) DISPLAY DEVICE, PROGRAM, IMAGE PROCESSING METHOD, DISPLAY SYSTEM, AND MOBILE BODY
US20220270527A1 (en) Display control device
WO2021039579A1 (ja) ヘッドアップディスプレイ装置
JP2009075842A (ja) 車載表示装置
JP2019061088A (ja) 虚像表示装置、虚像表示方法および虚像表示プログラム
CN115113397A (zh) 平视显示器、影像校正方法以及影像校正程序
US11945310B2 (en) Display system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200526

WD01 Invention patent application deemed withdrawn after publication