CN110816409A - 显示装置、显示控制方法及存储介质 - Google Patents

显示装置、显示控制方法及存储介质 Download PDF

Info

Publication number
CN110816409A
CN110816409A CN201910715954.3A CN201910715954A CN110816409A CN 110816409 A CN110816409 A CN 110816409A CN 201910715954 A CN201910715954 A CN 201910715954A CN 110816409 A CN110816409 A CN 110816409A
Authority
CN
China
Prior art keywords
object target
image
vehicle
light
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910715954.3A
Other languages
English (en)
Inventor
东山匡史
木村卓也
川上慎司
岩佐达也
桑岛悠司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Publication of CN110816409A publication Critical patent/CN110816409A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0149—Head-up displays characterised by mechanical features
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/001—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles integrated in the windows, e.g. Fresnel lenses
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • B60R11/0229—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof for displays, e.g. cathodic tubes
    • B60R11/0235—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof for displays, e.g. cathodic tubes of flat type, e.g. LCD
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/0003—Arrangements for holding or mounting articles, not otherwise provided for characterised by position inside the vehicle
    • B60R2011/0026—Windows, e.g. windscreen
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8033—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for pedestrian protection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8086—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for vehicle path indication
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0149—Head-up displays characterised by mechanical features
    • G02B2027/0154—Head-up displays characterised by mechanical features with movable elements
    • G02B2027/0159—Head-up displays characterised by mechanical features with movable elements with mechanical means other than scaning means for positioning the whole image

Abstract

提供能合适地涵盖AR显示的区域外的世界的显示装置、显示控制方法及存储介质。显示装置搭载于车辆，具备：图像生成装置，朝向前风窗玻璃中的投射区域投射包含图像的光即图像光；物体目标信息取得装置，取得存在于车辆的周边的物体目标的至少位置；控制装置，控制图像生成装置，控制装置判定物体目标是否处于从车辆的乘客观察时通过投射区域后的前方的空间区域内，在物体目标处于从车辆的乘客观察时通过投射区域后的前方的空间区域内的情况下，使图像生成装置投射看起来与物体目标的位置重叠的图像光，在物体目标不处于从车辆的乘客观察时通过投射区域后的前方的空间区域内的情况下，使图像生成装置投射在投射区域内通知物体目标的存在的图像光。

Description

显示装置、显示控制方法及存储介质
技术领域
本发明涉及显示装置、显示控制方法及存储介质。
背景技术
以往，已知有在前风窗玻璃显示与面向驾驶员的基本信息相关的图像的平视显示器装置(以下称作HUD(Head Up Display)装置)(例如，参照日本特开2017-91115号公报)。使用该HUD装置来使表示障碍物、注意提醒、行进方向的各种标志与车辆前方的风景重叠地显示，由此驾驶员能够一边将驾驶时的视线的方向维持为前方，一边掌握显示的各种信息。
HUD装置是利用光的反射的装置，因此若非投光装置的放置场所完全地自由，则不是在反射体上的任意位置都能够显示图像。在以往的技术中，关于能够显示于反射体中的有限的区域的情况与现实世界的展现如何结合才好的问题未充分地研究。
发明内容
本发明的方案是考虑这样的情况而完成的，其目的之一在于提供能够合适地涵盖AR(Augmented Reality)显示的区域外的世界的显示装置、显示控制方法及存储介质。
本发明的显示装置采用了以下的结构。
(1)：本发明的一方案的显示装置，其搭载于车辆，其中，所述显示装置具备：图像生成装置，其朝向前风窗玻璃中的投射区域投射包含图像的光即图像光；物体目标信息取得装置，其取得存在于所述车辆的周边的物体目标的至少位置；以及控制装置，其控制所述图像生成装置，所述控制装置判定所述物体目标是否处于从所述车辆的乘客观察时通过所述投射区域后的前方的空间区域内，在所述物体目标处于从所述车辆的乘客观察时通过所述投射区域后的前方的空间区域内的情况下，所述控制装置使所述图像生成装置投射看起来与所述物体目标的位置重叠的图像光，在所述物体目标不处于从所述车辆的乘客观察时通过所述投射区域后的前方的空间区域内的情况下，所述控制装置使所述图像生成装置投射在所述投射区域内通知所述物体目标的存在的图像光。
(2)：在上述(1)的方案的基础上，所述控制装置基于所述车辆与所述物体目标的相对位置变化来判定所述物体目标是否在规定时间以内或规定行驶距离以内进入所述空间区域，在判定为所述物体目标在规定时间以内或规定行驶距离以内进入所述空间区域的情况下，使所述图像生成装置投射在所述投射区域内通知所述物体目标的存在的图像光。
(3)：在上述(1)或(2)的方案的基础上，所述控制装置基于所述车辆与所述物体目标的相对位置变化来推定所述物体目标在所述投射区域最先出现的位置，并以在推定出的所述位置投射通知所述物体目标的存在的图像光的方式控制所述图像生成装置。
(4)：在上述(1)～(3)中任一方案的基础上，所述控制装置以基于到所述物体目标进入所述空间区域为止的时间来变更通知所述物体目标的存在的图像光的显示形态的方式，控制所述图像生成装置，其中，所述到所述物体目标进入所述空间区域为止的时间基于所述车辆与所述物体目标的相对位置变化来计算。
(5)：在上述(1)～(4)中任一方案的基础上，所述控制装置以将通知所述物体目标的存在的图像光设为相比于看起来与所述物体目标的位置重叠的图像光而言更接近环境色的颜色的光的方式，控制所述图像生成装置。
(6)：在上述(1)～(5)中任一方案的基础上，所述图像生成装置具备：投光装置，其投射包含图像的光；光学机构，其设置于所述光的路径上，且能够调节从规定的位置到所述光形成为虚像的位置的距离；凹面镜，其将通过所述光学机构后的光朝向反射体反射；第一致动器，其调节所述光学机构中的所述距离；以及第二致动器，其调节所述凹面镜的反射角度。
(7)：本发明的另一方案的显示控制方法，其中，显示装置搭载于车辆，且具备：图像生成装置，其朝向前风窗玻璃中的投射区域投射包含图像的光即图像光；以及物体目标信息取得装置，其取得存在于周边的物体目标的至少位置，所述显示控制方法使所述显示装置的控制装置进行如下处理：判定所述物体目标是否处于从所述车辆的乘客观察时通过所述投射区域后的前方的空间区域内；在所述物体目标处于从所述车辆的乘客观察时通过所述投射区域后的前方的空间区域的情况下，使所述图像生成装置投射看起来与所述物体目标的位置重叠的图像光；以及在所述物体目标不处于从所述车辆的乘客观察时通过所述投射区域后的前方的空间区域内的情况下，使所述图像生成装置投射在所述投射区域内通知所述物体目标的存在的图像光。
(8)：本发明的又一方案的存储介质，其中，所述存储介质存储有程序，显示装置搭载于车辆，且具备：图像生成装置，其朝向前风窗玻璃中的投射区域投射包含图像的光即图像光；以及物体目标信息取得装置，其取得存在于周边的物体目标的至少位置，所述程序使所述显示装置的控制装置进行如下处理：判定所述物体目标是否处于从所述车辆的乘客观察时通过所述投射区域后的前方的空间区域内；在所述物体目标处于从所述车辆的乘客观察时通过所述投射区域后的前方的空间区域内的情况下，使所述图像生成装置投射看起来与所述物体目标的位置重叠的图像光；以及在所述物体目标不处于从所述车辆的乘客观察时通过所述投射区域后的前方的空间区域内的情况下，使所述图像生成装置投射在所述投射区域内通知所述物体目标的存在的图像光。
根据上述(1)～(8)的方案，能够合适地涵盖AR显示的区域外的世界。
根据上述(2)的方案，能够抑制不需要的显示的情况，避免乘客感到厌烦。
根据上述(3)的方案，能够直观地向乘客传达物体目标的存在。
根据上述(4)的方案，能够直观地向乘客传达物体目标的接近程度。
附图说明
图1是例示了搭载有实施方式的显示装置的车辆的车室内的结构的图。
图2是用于说明实施方式的操作开关的图。
图3是显示装置的局部结构图。
图4是表示以显示控制装置为中心的显示装置的结构例的图。
图5是用于说明区域判定部的判定方法的图。
图6是表示AR图像的一例的图。
图7是表示存在通知图像的一例的图。
图8是例示了针对固定物体目标的存在通知图像的图。
图9是例示了针对固定物体目标的AR图像的图。
图10是表示存在通知图像的变化的一例的图。
图11是表示由显示控制装置执行的处理的流程的一例的流程图。
具体实施方式
以下，参照附图来说明本发明的显示装置、显示控制方法及存储介质的实施方式。实施方式的显示装置例如是搭载于车辆(以下称作车辆M)且使图像与风景重叠而供视觉确认的装置。显示装置可以称作HUD装置。作为一例，显示装置是通过向车辆M的前风窗玻璃投射包含图像的光来使观看者视觉确认虚像的装置。观看者例如是驾驶员，但也可以是驾驶员以外的乘客。
在以下的说明中，适当地使用XYZ坐标系来说明位置关系等。
[整体结构]
图1是例示了搭载有实施方式的显示装置100的车辆M的车室内的结构的图。在车辆M中，例如设置有控制车辆M的转向的转向盘10、区分车外与车室内的前风窗玻璃20、以及仪表板30。前风窗玻璃20是具有光透过性的构件。显示装置100例如通过向在驾驶员座40的前方的前风窗玻璃20的一部分设置的可显示区域(投射区域)A1投射包含图像的光(投射光)，来使就座于驾驶员座的驾驶员视觉确认虚像VI。
显示装置100例如将用于对驾驶员的驾驶进行支援的信息图像化后的像(以下称作驾驶支援图像)作为虚像VI而供驾驶员视觉确认。在用于对驾驶员的驾驶进行支援的信息中，例如包括车辆M的速度、驱动力分配比率、发动机转速、驾驶支援功能的动作状态、挡位、标识识别结果、交叉路口位置等信息。在驾驶支援功能中，例如包括用于将车辆M引导到预先设定出的目的地的方向指示功能、ACC(Adaptive Cruise Control)、LKAS(Lane KeepAssist System)、CMBS(Collision Mitigation Brake System)及交通堵塞辅助功能等。在驾驶支援功能中例如也可以包括对搭载于车辆M的电话的来电或拨出、通话进行管理的电话功能。
显示装置100将表示存在于车辆M的周边的物体目标的位置的图像(AR图像、或存在通知图像)作为虚像VI而供驾驶员视觉确认。所谓物体目标，是指其他车辆、自行车、行人、障碍物等物体目标、或者交叉路口等固定物体目标、其他的实体(实际存在物：entity)。
在车辆M中，除了显示装置100之外，还可以设置第一显示部50-1、第二显示部50-2。第一显示部50-1例如是设置于仪表板30中的驾驶员座40的正面附近、且驾驶员能够从转向盘10的间隙视觉确认、或者能够越过转向盘10视觉确认的显示装置。第二显示部50-2例如安装于仪表板30的中央部。第二显示部50-2例如显示与由搭载于车辆M的导航装置(未图示)执行的导航处理对应的图像、或可视电话中的对方的影像等。第二显示部50-2也可以显示电视节目、或者播放DVD、或者显示已下载的电影等条目。
在车辆M中设置有操作开关130，该操作开关130接受由显示装置100进行的显示的开启/关闭的切换指示、调节虚像VI的位置的指示。操作开关130例如安装在就座于驾驶员座40的驾驶员不用较大地改变姿势就能够操作的位置。操作开关130例如可以设置于第一显示部50-1的前方，也可以设置于转向盘10的轮毂部，还可以设置于将转向盘10与仪表板30连结的轮辐。
图2是用于说明实施方式的操作开关130的图。操作开关130例如包括主开关132和调节开关134及调节开关136。主开关132是对显示装置100的接通/断开进行切换的开关。
调节开关134例如是用于接受使虚像VI的位置在铅垂方向Z上向上侧(以下，称作上方向)移动的指示的开关，该虚像VI的位置为虚像VI以处于从驾驶员的视线位置P1透过可显示区域A1后的空间的方式被视觉确认的位置。驾驶员能够通过持续按压调节开关134来使虚像VI的视觉确认位置在可显示区域A1内向上方向连续移动。
调节开关136是用于接受使前述的虚像VI的位置在铅垂方向Z上向下侧(以下，称作下方向)移动的指示的开关。驾驶员能够通过持续按压调节开关136来使虚像VI的视觉确认位置在可显示区域A1内向下方向连续移动。
调节开关134也可以为代替使虚像VI的位置向上方向移动(或除此以外)而用于提高被视觉确认的虚像VI的亮度的开关。调节开关136也可以为代替使虚像VI的位置向下方向移动(或除此以外)而用于降低被视觉确认的虚像VI的亮度的开关。调节开关134、136接受的指示的内容可以基于某些操作来切换。某些操作例如是指主开关132的长按操作。操作开关130除了图2所示的各开关以外，例如还可以是选择显示内容的开关、专门调节被显示的虚像的亮度的开关。
图3是显示装置100的局部结构图。显示装置100例如具备显示器(图像生成装置的一例)110和显示控制装置(控制装置的一例)150。显示器110例如在壳体115内收纳投光装置120、光学机构122、平面镜124、凹面镜126及透光罩128。除此以外，显示装置100具备各种传感器、致动器，但关于这些后文叙述。也可以是在显示器中不存在光学机构122的结构。
投光装置120例如具备光源120A和显示元件120B。光源120A例如为冷阴极管，输出与供驾驶员视觉确认的虚像VI对应的可见光。显示元件120B控制来自光源120A的可见光的透过。显示元件120B例如为薄膜晶体管(TFT)型的液晶显示装置(LCD)。显示元件120B通过分别控制多个像素来控制来自光源120A的可见光的各颜色要素的透过程度，由此使虚像VI包含图像要素，从而决定虚像VI的形态(外观)。以下，将透过显示元件120B包含图像的可见光称作图像光IL。显示元件120B也可以为有机EL(Electro-Luminescence)显示器，在该情况下，光源120A可以省略。
光学机构122例如包括一个以上的透镜。各透镜的位置例如在光轴方向能够调节。光学机构122例如设置于投光装置120输出的图像光IL的路径上，使从投光装置120入射后的图像光IL通过，并朝向前风窗玻璃20射出。光学机构122例如能够通过变更透镜的位置，来调节从驾驶员的视线位置P1到图像光IL形成为虚像的形成位置P2的距离(以下，称作虚像视觉确认距离D)。驾驶员的视线位置P1是图像光IL由凹面镜126及前风窗玻璃20反射并汇聚的位置，是设想在该位置存在驾驶员的眼睛的位置。虚像视觉确认距离D严格来说是具有上下方向的倾斜度的线段的距离，但在以下的说明中，在表现为“虚像视觉确认距离D为7[m]”等的情况下，该距离也可以是指水平方向的距离。
在以下的说明中，将俯角θ定义为通过驾驶员的视线位置P1的水平面与从驾驶员的视线位置P1到形成位置P2的线段所成的角度。虚像VI越向下方形成，即，驾驶员观察虚像VI的视线方向越朝下，则俯角θ越变大。俯角θ基于凹面镜126的反射角度
Figure BDA0002154339270000071
和显示元件120B中的原始图像的显示位置来决定。反射角度
Figure BDA0002154339270000072
是由平面镜124反射的图像光IL向凹面镜126入射的入射方向与凹面镜126射出图像光IL的射出方向所成的角。
平面镜124使由光源120A射出并通过显示元件120B后的可见光(即，图像光IL)向凹面镜126的方向反射。
凹面镜126将从平面镜124入射后的图像光IL反射，并朝向前风窗玻璃20射出。凹面镜126被支承为能够绕车辆M的宽度方向的轴即Y轴旋转(转动)。
透光罩128使来自凹面镜126的图像光IL透过并到达前风窗玻璃20，并且抑制尘埃、灰尘、水滴等异物进入壳体115内。透光罩128设置于在壳体115的上侧构件形成的开口部。在仪表板30上也设置有开口部或者光透过性构件，图像光IL通过透过透光罩128和仪表板30的开口部或光透过性构件而到达前风窗玻璃20。
入射到前风窗玻璃20的图像光IL由前风窗玻璃20反射，并向驾驶员的视线位置P1汇聚。此时，在驾驶员的眼睛位于驾驶员的视线位置P1的情况下，驾驶员感到在车辆M的前方显示由图像光IL绘出的图像。
显示控制装置150控制供驾驶员视觉确认的虚像VI的显示。图4是表示以显示控制装置150为中心的显示装置100的结构例的图。在图4的例子中，除了显示控制装置150以外，还示出投光装置120、操作开关130、透镜位置传感器162、凹面镜角度传感器164、光学系统控制器170、显示器控制器172、透镜致动器(第一致动器的一例)180、凹面镜致动器(第二致动器的一例)182、车辆控制装置200及物体目标信息取得装置210。首先说明显示控制装置150以外的各结构。
透镜位置传感器162检测光学机构122所包含的一个以上的透镜的位置。凹面镜角度传感器164检测凹面镜126绕Y轴的旋转角度。
光学系统控制器170基于由显示控制装置150输出的控制信号来驱动透镜致动器180，从而调节虚像视觉确认距离D。虚像视觉确认距离D例如在几[m]到十几[m](或者几十[m])的范围内能够调节。光学系统控制器170基于由显示控制装置150输出的控制信号来驱动凹面镜致动器182，从而调节凹面镜的反射角度
Figure BDA0002154339270000081
显示器控制器172使投光装置120投射包含基于从显示控制装置150供给的信号得到的图像的光。
透镜致动器180取得来自光学系统控制器170的驱动信号，并基于取得到的驱动信号使马达等驱动，来移动光学机构122所包含的一个以上的透镜的位置。由此，调节虚像视觉确认距离D。
凹面镜致动器182取得来自光学系统控制器170的驱动信号，并基于取得到的驱动信号使马达等驱动，来使凹面镜致动器182绕Y轴旋转，从而调节凹面镜126的反射角度
Figure BDA0002154339270000082
由此，调节俯角θ。
车辆控制装置200是控制发动机、马达等行驶驱动装置的发动机ECU(ElectronicControl Unit)、控制转向装置(转向装置)的转向ECU等。作为一例，车辆控制装置200将车辆M的速度、发动机转速、方向指示器的工作状态、转向盘转向角、横摆角速度等信息向显示控制装置150输出。
物体目标信息取得装置210例如包括对车辆M的前方进行拍摄的相机及对拍摄图像进行解析的图像解析装置、雷达装置、LIDAR(Light Detection and Ranging)、基于这些装置的输出来确定物体目标的种类的物体识别装置、或者接收物体目标的信息来进行驾驶支援控制的驾驶支援装置等中的一部分或全部。物体目标信息取得装置210也可以利用地图信息和GPS(Global Positioning System)等测位装置来取得固定物体目标的信息。并且，物体目标信息取得装置210还可以包括导航装置，作为固定物体目标的信息而取得车辆M应该进行左右转弯、分支、汇合等的地点的信息。在以下的说明中，物体目标信息取得装置210确定物体目标的种类，并将表示种类的信息和物体目标的位置及相对速度矢量向显示控制装置150输出。
以下说明显示控制装置150。显示控制装置150例如具备距离控制部151、俯角控制部152、驾驶支援图像生成部153、区域判定部154、AR图像生成部155、进入判定部156及存在通知图像生成部157。这些构成要素例如通过CPU(Central Processing Unit)等硬件处理器执行程序(软件)来实现。这些构成要素中的一部分或全部也可以由LSI(Large ScaleIntegration)、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、GPU(Graphics Processing Unit)等硬件(包括电路部：circuitry)实现，还可以通过软件与硬件的协同配合来实现。程序可以预先保存于HDD(Hard Disk Drive)、闪存器等存储装置，也可以保存于DVD、CD-ROM等能够装卸的存储介质，并通过存储介质装配于驱动装置来安装。显示控制装置150的构成要素的区分只不过是为了方便，并不意味着软件、硬件如图所示那样明确地分开。
距离控制部151向光学系统控制器170输出用于调节虚像视觉确认距离D的控制信号。例如，车辆M的速度越大，则距离控制部151越增大虚像视觉确认距离D，车辆M的速度越小，则距离控制部151越减小虚像视觉确认距离D。这是为了配合存在速度越大则驾驶员越对远方进行视觉确认的倾向。
俯角控制部152向光学系统控制器170输出用于调节凹面镜126的反射角度
Figure BDA0002154339270000101
的控制信号。例如，俯角控制部152基于对操作开关130的操作来调节反射角度
Figure BDA0002154339270000102
虚像视觉确认距离D越大，则俯角控制部152越减小反射角度越减小俯角θ。
驾驶支援图像生成部153生成显示装置100提供为虚像VI的图像(以下，将其简称作图像)中的与物体目标无关联的比较恒定地显示的驾驶支援图像，经由显示器控制器172使投光装置120投射图像光。驾驶支援图像例如是显示车辆M的速度、驱动力分配比率、发动机转速、驾驶支援功能的动作状态、挡位等的图像。
区域判定部154判定从物体目标信息取得装置210输入的物体目标是否处于从车辆的乘客(在本实施方式的例子中为驾驶员)观察时通过可显示区域A1后的前方的空间区域内。图5是用于说明区域判定部154的判定方法的图。在物体目标处于在将空间区域向路面投影而得到的路面区域RA1上的情况下，区域判定部154判定为物体目标处于空间区域内。空间区域根据俯角θ而变动，因此区域判定部154从存储部读出与俯角θ对应的路面区域RA1的映射，并基于读出来的映射来确定路面区域RA1。并且，区域判定部154在从物体目标信息取得装置210输入的物体目标的位置落入路面区域RA1内的情况下，判定为物体目标处于空间区域内。
在判定为物体目标处于上述的空间区域内的情况下，AR图像生成部155通过使投光装置120投射看起来与物体目标重叠的图像光，来生成看起来与物体目标重叠的图像(AR图像)。
图6是表示AR图像的一例的图。在进行图示的例子中，判定为在车辆M的前方横穿道路的行人P处于空间区域内，其结果是，生成有包围行人P的AR图像IM_AR1。所谓“生成”是为了方便的表现，也可以指仅是从存储装置读出图像数据并向显示器控制器172输出，使显示器110进行显示的动作。在图6的例子中，驾驶支援图像IM_AD与AR图像IM_AR1一起显示。
对于由区域判定部154判定为不处于空间区域内的物体目标，进入判定部156基于从物体目标信息取得装置210输入的物体目标的位置及相对速度矢量，来判定是否在规定时间以内(或者与车辆M的行驶距离相关而在规定距离以内)进入空间区域内。进入判定部156例如援用区域判定部154所使用的映射，假定为物体目标将当前的相对速度矢量维持为恒定，并判定规定时间后的位置是否在路面区域RA1内，在规定时间后的位置在路面区域RA1内的情况下，判定为“在规定时间以内进入空间区域内”。代替将相对速度矢量假定为恒定，也可以将加速度或加加速度假定为恒定来进行上述判定。
对于由进入判定部156判定为在规定时间以内进入空间区域内的物体目标，存在通知图像生成部157通过使投光装置120投射通知物体目标的存在的图像光，来生成对尚未处于可显示区域A1的前方的空间的物体目标的存在进行通知的存在通知图像。
图7是表示存在通知图像的一例的图。在图示的例子中，判定为在车辆M的前方横穿道路的行人P在规定时间以内进入空间区域内，生成对行人P的接近进行通知的存在通知图像IM_WN1。在此，存在通知图像生成部157也可以考虑物体目标的相对速度矢量，计算物体目标最先出现于可显示区域A1的何处，并在最先出现部位(由驾驶员观察到的物体目标向可显示区域A1进入的部位)的附近显示存在通知图像IM_WN1。图中，VP是通过将行人P相对于车辆M的相对速度矢量向路面上投影而得到的。存在通知图像生成部157求出使将相对速度矢量向路面上投影而得到的VP延伸而得到的线与将空间区域向路面投影而得到的路面区域RA1相交的点，并将该点从路面空间向前风窗玻璃的平面投影(转换)，由此计算显示部位。然后，以在计算出的显示部位显示存在通知图像IM_WN1的方式生成图像。由此，显示装置100能够直观地向驾驶员传达物体目标的接近及物体目标的接近方向。
存在通知图像是与AR图像相比紧急性低的图像，因此优选设为与AR图像相比接近环境色(ambient)的图像。存在通知图像生成部157例如也可以对车载相机(未图示)的拍摄图像进行解析并提取接近环境色的颜色成分，以提取出的颜色成分来生成存在通知图像。
作为显示的对象的物体目标不限于与行人等“保护对象物”乃至“障碍物”相当的物体目标，也可以是左转弯地点等固定物体目标。左转弯地点等信息例如从导航装置(未图示)等取得。图8及图9是分别例示了对于固定物体目标的存在通知图像和对于固定物体目标的AR图像的图。
在图8所示的例子中，在车辆M的前方存在根据导航装置生成出的路径而应该左转弯的地点。但是，进行左转弯的前方的道路存在于比可显示区域A1靠前方的位置，难以直接指示出左转弯目的地的道路。在该情况下，存在通知图像生成部157例如生成与导航装置提供的导航图像同样的存在通知图像IM_WN2。
在图9所示的例子中，示出从图8的场景经过了时间而出现的场景。在此时间点，左转弯目的地的道路到达了可显示区域A1的侧方。在该情况下，存在通知图像生成部157例如生成使箭头重叠于路面上地示出并附带应该进行左转弯的意旨的信息的AR图像IM_AR2。由此，能够直观地向驾驶员传达固定物体目标的接近及固定物体目标的接近方向。
也可以省略进入判定部156的处理，显示装置100对全部的物体目标、或者以不同于进入判定部156的方法筛选出的物体目标显示存在通知图像。
存在通知图像生成部157也可以在物体目标在规定时间以内进入空间区域内的情况下，根据到进入为止的时间来变更存在通知图像IM_WN的显示形态。到进入为止的时间基于相对速度矢量、以及物体目标与路面区域RA1的距离来计算。图10是表示存在通知图像的变化的一例的图。如图所示，存在通知图像生成部157还可以根据到进入为止的时间变短的情况而将存在通知图像IM_WN变更为吸引关注性高的图像。所谓吸引关注性较高的图像，例如是指显示区域或显示要素(图形、文字)的尺寸较大、色彩接近于原色、或者意思表现为使感到紧急性的图像。由此，显示装置100能够更加直观地向驾驶员传达物体目标的接近。
图11是表示由显示控制装置150执行的处理的流程的一例的流程图。显示控制装置150判定是否从物体目标信息取得装置210取得到与物体目标相关的信息(步骤S100)。在未取得与物体目标相关的信息的情况下，驾驶支援图像生成部153生成并显示驾驶支援图像(步骤S102)。
在取得到与物体目标相关的信息的情况下，区域判定部154判定物体目标是否处于从驾驶员观察时通过可显示区域A1后的前方的空间区域内(步骤S104)。在判定为处于空间区域内的情况下，AR图像生成部155生成并显示与该物体目标相关的AR图像(步骤S106)。此时，可以也一并显示驾驶支援图像，还可以不显示驾驶支援图像。
在判定为不处于空间区域内的情况下，进入判定部156判定物体目标是否在规定时间以内进入空间区域内(步骤S108)。在判定为物体目标在规定时间以内进入空间区域内的情况下，存在通知图像生成部157生成并显示存在通知图像(步骤S110)。此时，可以也一并显示驾驶支援图像，还可以不显示驾驶支援图像。在判定为物体目标在规定时间以内不会进入空间区域内的情况下，驾驶支援图像生成部153生成并显示驾驶支援图像(步骤S102)。
根据以上说明的实施方式的显示装置100，判定物体目标是否处于从车辆的乘客(驾驶员)观察时通过可显示区域A1后的前方的空间区域内，在处于空间区域内的情况下，显示AR图像，在不处于空间区域内的情况下，显示存在通知图像，由此能够合适地涵盖AR显示的区域外的世界。
以上，使用实施方式说明了本发明的具体实施方式，但本发明丝毫不被这样的实施方式限定，在不脱离本发明的主旨的范围内能够施加各种变形及替换。

Claims (8)

1.一种显示装置，其搭载于车辆，其中，
所述显示装置具备：
图像生成装置，其朝向前风窗玻璃中的投射区域投射包含图像的光即图像光；
物体目标信息取得装置，其取得存在于所述车辆的周边的物体目标的至少位置；以及
控制装置，其控制所述图像生成装置，
所述控制装置判定所述物体目标是否处于从所述车辆的乘客观察时通过所述投射区域后的前方的空间区域内，
在所述物体目标处于从所述车辆的乘客观察时通过所述投射区域后的前方的空间区域内的情况下，所述控制装置使所述图像生成装置投射看起来与所述物体目标的位置重叠的图像光，
在所述物体目标不处于从所述车辆的乘客观察时通过所述投射区域后的前方的空间区域内的情况下，所述控制装置使所述图像生成装置投射在所述投射区域内通知所述物体目标的存在的图像光。
2.根据权利要求1所述的显示装置，其中，
所述控制装置基于所述车辆与所述物体目标的相对位置变化来判定所述物体目标是否在规定时间以内或规定行驶距离以内进入所述空间区域，在判定为所述物体目标在规定时间以内或规定行驶距离以内进入所述空间区域的情况下，使所述图像生成装置投射在所述投射区域内通知所述物体目标的存在的图像光。
3.根据权利要求1或2所述的显示装置，其中，
所述控制装置基于所述车辆与所述物体目标的相对位置变化来推定所述物体目标在所述投射区域最先出现的位置，并以在推定出的所述位置投射通知所述物体目标的存在的图像光的方式控制所述图像生成装置。
4.根据权利要求1～3中任一项所述的显示装置，其中，
所述控制装置以基于到所述物体目标进入所述空间区域为止的时间来变更通知所述物体目标的存在的图像光的显示形态的方式，控制所述图像生成装置，其中，所述到所述物体目标进入所述空间区域为止的时间基于所述车辆与所述物体目标的相对位置变化来计算。
5.根据权利要求1～4中任一项所述的显示装置，其中，
所述控制装置以将通知所述物体目标的存在的图像光设为相比于看起来与所述物体目标的位置重叠的图像光而言更接近环境色的颜色的光的方式，控制所述图像生成装置。
6.根据权利要求1～5中任一项所述的显示装置，其中，
所述图像生成装置具备：
投光装置，其投射包含图像的光；
光学机构，其设置于所述光的路径上，且能够调节从规定的位置到所述光形成为虚像的位置的距离；
凹面镜，其将通过所述光学机构后的光朝向反射体反射；
第一致动器，其调节所述光学机构中的所述距离；以及
第二致动器，其调节所述凹面镜的反射角度。
7.一种显示控制方法，其中，
显示装置搭载于车辆，且具备：图像生成装置，其朝向前风窗玻璃中的投射区域投射包含图像的光即图像光；以及物体目标信息取得装置，其取得存在于周边的物体目标的至少位置，
所述显示控制方法使所述显示装置的控制装置进行如下处理：
判定所述物体目标是否处于从所述车辆的乘客观察时通过所述投射区域后的前方的空间区域内；
在所述物体目标处于从所述车辆的乘客观察时通过所述投射区域后的前方的空间区域内的情况下，使所述图像生成装置投射看起来与所述物体目标的位置重叠的图像光；以及
在所述物体目标不处于从所述车辆的乘客观察时通过所述投射区域后的前方的空间区域内的情况下，使所述图像生成装置投射在所述投射区域内通知所述物体目标的存在的图像光。
8.一种存储介质，其中，
所述存储介质存储有程序，
显示装置搭载于车辆，且具备：图像生成装置，其朝向前风窗玻璃中的投射区域投射包含图像的光即图像光；以及物体目标信息取得装置，其取得存在于周边的物体目标的至少位置，
所述程序使所述显示装置的控制装置进行如下处理：
判定所述物体目标是否处于从所述车辆的乘客观察时通过所述投射区域后的前方的空间区域内；
在所述物体目标处于从所述车辆的乘客观察时通过所述投射区域后的前方的空间区域内的情况下，使所述图像生成装置投射看起来与所述物体目标的位置重叠的图像光；以及
在所述物体目标不处于从所述车辆的乘客观察时通过所述投射区域后的前方的空间区域内的情况下，使所述图像生成装置投射在所述投射区域内通知所述物体目标的存在的图像光。
CN201910715954.3A 2018-08-07 2019-08-02 显示装置、显示控制方法及存储介质 Pending CN110816409A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018148550A JP2020024561A (ja) 2018-08-07 2018-08-07 表示装置、表示制御方法、およびプログラム
JP2018-148550 2018-08-07

Publications (1)

Publication Number Publication Date
CN110816409A true CN110816409A (zh) 2020-02-21

Family

ID=69405429

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910715954.3A Pending CN110816409A (zh) 2018-08-07 2019-08-02 显示装置、显示控制方法及存储介质

Country Status (3)

Country Link
US (1) US20200047686A1 (zh)
JP (1) JP2020024561A (zh)
CN (1) CN110816409A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113655618A (zh) * 2021-08-04 2021-11-16 杭州炽云科技有限公司 一种基于双目视觉的arhud图像显示方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101860702A (zh) * 2009-04-02 2010-10-13 通用汽车环球科技运作公司 全挡风玻璃平视显示器上的驾驶员瞌睡警报
JP2016062368A (ja) * 2014-09-18 2016-04-25 日本精機株式会社 車両用周辺情報表示システム及び表示装置
WO2016132618A1 (ja) * 2015-02-18 2016-08-25 アルプス電気株式会社 情報表示装置
EP3154041A1 (en) * 2015-10-07 2017-04-12 LG Electronics Inc. Vehicle surround monitoring device
WO2017134861A1 (ja) * 2016-02-05 2017-08-10 日立マクセル株式会社 ヘッドアップディスプレイ装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006015803A (ja) * 2004-06-30 2006-01-19 Nissan Motor Co Ltd 車両用表示装置、および車両用表示装置を搭載した車両
JP4062353B1 (ja) * 2006-11-10 2008-03-19 トヨタ自動車株式会社 障害物進路予測方法、装置、およびプログラム
JP6481846B2 (ja) * 2014-03-27 2019-03-13 日本精機株式会社 車両用警報装置
JP2017039373A (ja) * 2015-08-19 2017-02-23 トヨタ自動車株式会社 車両用映像表示システム
US10551690B2 (en) * 2017-09-18 2020-02-04 E-Vision Smart Optics, Inc. Electro-active lens with resistive arcs
US10803743B2 (en) * 2018-05-02 2020-10-13 Lyft, Inc. Monitoring ambient light for object detection

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101860702A (zh) * 2009-04-02 2010-10-13 通用汽车环球科技运作公司 全挡风玻璃平视显示器上的驾驶员瞌睡警报
JP2016062368A (ja) * 2014-09-18 2016-04-25 日本精機株式会社 車両用周辺情報表示システム及び表示装置
WO2016132618A1 (ja) * 2015-02-18 2016-08-25 アルプス電気株式会社 情報表示装置
EP3154041A1 (en) * 2015-10-07 2017-04-12 LG Electronics Inc. Vehicle surround monitoring device
WO2017134861A1 (ja) * 2016-02-05 2017-08-10 日立マクセル株式会社 ヘッドアップディスプレイ装置

Also Published As

Publication number Publication date
US20200047686A1 (en) 2020-02-13
JP2020024561A (ja) 2020-02-13

Similar Documents

Publication Publication Date Title
CN110816408B (zh) 显示装置、显示控制方法及存储介质
CN110967834B (zh) 显示装置、显示控制方法及存储介质
CN110955044B (zh) 显示装置、显示控制方法及存储介质
CN110955045B (zh) 显示装置、显示控制方法及存储介质
CN110967833B (zh) 显示装置、显示控制方法及存储介质
US10928632B2 (en) Display device, display control method, and storage medium
CN111077675A (zh) 显示装置
CN110816266B (zh) 显示装置及显示控制方法
JP7310560B2 (ja) 表示制御装置及び表示制御プログラム
JP7165532B2 (ja) 表示装置、表示制御方法、およびプログラム
CN110816409A (zh) 显示装置、显示控制方法及存储介质
CN110816268B (zh) 显示装置、显示控制方法及存储介质
CN110816267B (zh) 显示装置、显示控制方法及存储介质
CN110816269B (zh) 显示装置、显示控制方法及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200221

WD01 Invention patent application deemed withdrawn after publication