CN116620020A - 车辆 - Google Patents

车辆 Download PDF

Info

Publication number
CN116620020A
CN116620020A CN202310715112.4A CN202310715112A CN116620020A CN 116620020 A CN116620020 A CN 116620020A CN 202310715112 A CN202310715112 A CN 202310715112A CN 116620020 A CN116620020 A CN 116620020A
Authority
CN
China
Prior art keywords
image
virtual image
vehicle
display
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310715112.4A
Other languages
English (en)
Inventor
中田卓见
渡边敏光
下田望
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Maxell Ltd
Original Assignee
Maxell Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Maxell Ltd filed Critical Maxell Ltd
Publication of CN116620020A publication Critical patent/CN116620020A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80—Arrangements for controlling instruments
    • B60K35/81—Arrangements for controlling instruments for controlling displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • B60R11/0229—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof for displays, e.g. cathodic tubes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04—Traffic conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0176—Head mounted characterised by mechanical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/011—Head-up displays characterised by optical features comprising device for correcting geometrical aberrations, distortion
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0149—Head-up displays characterised by mechanical features
    • G02B2027/0154—Head-up displays characterised by mechanical features with movable elements
    • G02B2027/0159—Head-up displays characterised by mechanical features with movable elements with mechanical means other than scaning means for positioning the whole image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0261—Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/10—Automotive applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Instrument Panels (AREA)
  • Mechanical Optical Scanning Systems (AREA)

Abstract

本发明提供一种具有AR功能的车辆，能够减少物体与虚像(AR图像)的偏差，实现适当的AR显示。本发明的车辆包括用于获取车辆的信息的信息获取部、出射要对所述车辆的挡风玻璃或组合器的观察区域投射的影像光的显示部、以及进行用于将所述AR图像显示于虚像区域的控制的控制部，所述控制部基于所述信息获取部获取到的信息来生成用于显示AR图像的信息，并基于所生成的所述信息来控制AR图像的显示。

Description

车辆
本申请是国际申请号为PCT/JP2018/038165、2020年5月12日进入中国国家阶段的申请号为201880073142.7的申请的分案申请。
技术领域
本发明涉及平视显示(HUD：Head Up Display)装置等显示装置的技术，涉及对驾驶员提供增强现实(AR：Augmented Reality)的图像信息的技术。
背景技术
作为具有AR功能的AR显示装置及其系统，有在机动车等中搭载的HUD装置。该HUD装置(有时也称为AR-HUD)中，在驾驶员等使用者的视野中的挡风玻璃或组合器等观察区域中，相对于透过的实像，通过投射影像光而叠加显示虚像。观察区域是使用者能够看到图像的区域。以下，有时也将虚像记载为AR图像。关于虚像，例如可以举出与包括本车前方的道路和车辆等的实像对应的、用于驾驶辅助等的图像信息。作为详细的例子，可以举出车速等车辆信息的图像、行进方向导航等的箭头图像、表示车辆或人或自行车等接近的提醒注意或强调等用的图标图像等。另外，作为生成虚像用的源数据，能够使用车载的传感器和发动机控制部和车辆导航系统等的信息。
HUD装置例如包括显示元件、光源和光学系统。光学系统具有将影像光导向观察区域用的透镜和反射镜等。来自显示元件的影像光，经由反射镜等，被投射至挡风玻璃或组合器等观察区域内的规定区域。在规定区域中反射的光，对驾驶员的眼入射而在视网膜上成像，驾驶员将其识别为虚像。与规定区域对应地，在从驾驶员的视点起透过观察区域的前方，构成虚像可见的区域即虚像区域。
作为涉及车载的HUD装置的现有技术例，可以举出日本特开2010-70066号公报(专利文献1)。专利文献1中，作为平视显示器，记载了减少影像的投影位置因车辆的振动或驾驶员的姿势变化而从一方的眼的视线上偏离，提高显示的信息的可视性。
现有技术文献
专利文献
专利文献1：日本特开2010-70066号公报
发明内容
发明要解决的课题
包括现有的HUD装置的车载系统中，使用AR功能，在透过挡风玻璃等的观察区域的虚像区域中，相对于物体的实像叠加显示包括AR图像的虚像。此时，取决于驾驶员的眼的位置(有时记作视点位置)，存在物体与AR图像中产生位置偏差的情况。换言之，在HUD装置的设计上和计算上与物体位置相应地决定的AR图像的显示位置，在驾驶员实际观看上存在与物体位置不一致的情况。作为产生上述物体与AR图像的偏差的原因，可以举出因为驾驶员改变姿势的动作和移动头部的动作等，眼的位置与基本设定的视点位置(包括该视点位置的范围即眼动范围)相比变动的情况。
作为例子，在视点位置从基本设定的视点位置起在水平方向的左右移动的情况下，从移动后的视点位置看来，物体位置与AR图像的显示位置中产生水平方向上的偏差。视点位置的移动量越大，该偏差越大。该偏差越大，对于驾驶员而言，难以或不能将物体与AR图像关联地观看。这样的AR图像是不适合的。
本发明的目的在于提供一种对于具有AR功能的HUD装置的技术，能够减少物体与虚像(AR图像)的偏差，实现适当的AR显示的技术。
用于解决课题的技术方案
本发明中的代表性的实施方式是平视显示装置等，特征在于具有以下所示的结构。
一个实施方式的平视显示装置，是一种将影像投射于车辆的挡风玻璃或组合器来对驾驶员在所述车辆的前方的实像上叠加地显示虚像的平视显示装置，其包括：进行在所述挡风玻璃或组合器的观察区域显示所述虚像的控制的控制部；和按照所述控制部的控制来在所述观察区域显示所述虚像的显示部，所述控制部，基于车外摄像机的拍摄图像提取规定的物体，获取信息，该信息包括：包含空间内的所述物体的物体位置的物体信息；基于车内摄像机的拍摄图像的、包含空间内的所述驾驶员的视点位置和移动量的视点信息；和包含虚像区域的位置的虚像信息，其中所述虚像区域是空间内的能够显示所述虚像的图像的范围，生成用于对所述物体叠加显示的所述图像，使用获取的所述信息，对所述虚像区域内的所述图像的显示位置进行至少包括水平方向的修正，使用所述修正后的数据进行对所述显示部的所述控制，在进行所述修正时进行变换处理，使得从移动后的视点位置通过所述观察区域观看所述物体位置时的直线上的、与所述虚像区域的交叉点的位置成为修正后的所述图像的显示位置，其中所述移动后的视点位置是从所述驾驶员的基本设定的视点位置起移动后的视点位置。
发明效果
根据本发明中的代表性的实施方式，对于具有AR功能的HUD装置的技术，能够减少物体与虚像(AR图像)的偏差，实现适当的AR显示。
附图说明
图1是表示本发明的实施方式的HUD装置的概要结构的图。
图2是表示包括本发明的实施方式的HUD装置的车载系统的结构的图。
图3是实施方式中的表示从横向观看机动车的驾驶座附近的状态的图。
图4是实施方式中的表示从驾驶座观看前方的挡风玻璃的观察区域和虚像区域的情况下的概要的图。
图5是实施方式中的表示视点位置和虚像区域的基本设定的图。
图6是实施方式中的表示虚像区域内的设定例的图。
图7是实施方式中的表示视点、物体、虚像的位置和距离的关系的图。
图8是实施方式中的表示控制部的主要处理的流程的图。
图9是实施方式中的表示物体位置和视点位置的获取的图。
图10是实施方式中的表示虚像区域内的AR图像的生成的基本的图。
图11是实施方式中的表示与物体与虚像区域的前后关系相应的修正方式的图。
图12是实施方式中的表示与视点位置移动量相应的修正方式的图。
图13是实施方式中的表示AR图像的显示位置的修正的图。
图14是实施方式中的表示视点、物体、虚像的位置和距离的关系的例子的图。
图15是实施方式中的表示从基本设定视点位置观看的物体和AR图像的叠加显示的例子的图。
图16是实施方式中的表示视点位置移动时的物体与AR图像的偏差、以及修正的例子的图。
图17是表示实施方式的变形例中的虚像区域位置的可变设定的图。
图18是表示实施方式的变形例中的虚像区域的设定例的图。
图19是实施方式中的表示虚像区域外的情况下的控制的图。
图20是表示比较例的第一HUD装置的情况下的视点、物体、虚像、偏差等的图。
图21是表示比较例的第二HUD装置的情况下的视点、物体、虚像、偏差等的图。
图22是表示比较例的第一HUD装置的情况下的视点移动时的偏差的例子的图。
图23是表示比较例的第二HUD装置的情况下的视点移动时的偏差的例子的图。
具体实施方式
以下，对于本发明的实施方式基于附图进行详细说明。另外，在用于说明实施方式的全部图中，对于同一部分原则上附加同一附图标记，省略其反复的说明。
(实施方式)
用图1～图23，对于本发明的实施方式的平视显示装置(HUD装置)等进行说明。实施方式的HUD装置是具有AR功能的AR显示装置，示出作为车载的AR-HUD安装的情况。实施方式的显示控制方法是具有实施方式的HUD装置中执行的步骤的方法。
实施方式的HUD装置具有在显示包括AR图像的虚像时对虚像区域的AR图像的显示位置进行修正的功能。该修正功能是与驾驶员的视点位置的移动相应地、以消除或减少物体的实像与AR图像的偏差的方式对AR图像的显示位置自动地进行修正的功能。该修正功能中，在驾驶员的视点位置从基本设定的视点位置移动至水平方向的左右的位置时，与物体位置和移动后的视点位置相应地对AR图像的显示位置进行修正。另外，该修正功能中，与相对于视点位置的虚像区域位置的设定和相对于虚像区域位置的物体位置的关系相应地，控制AR图像的显示位置的修正。该修正功能中，用通过控制部的软件程序处理对AR数据的内容进行修正的处理实现AR图像的显示位置的修正。
该修正功能中，在驾驶中等因为驾驶员的头的移动等，视点位置从基本设定的视点位置起在水平方向上移动了的情况下，也能够在相对于物体正确地叠加的位置显示AR图像。即，能够消除或减少物体与AR图像的偏差。由此，驾驶员能够适当地观看物体和AR图像。
[课题等]
用图20～图23对于课题等进行补充说明。作为与实施方式相对的比较例，在包括现有技术例的HUD装置的车载系统中，存在如下所述的课题。比较例的HUD装置不具有对物体的实像与AR图像的偏差进行修正的功能。因此，在驾驶员的视点位置在水平方向上移动时，产生水平方向上的物体与AR图像的偏差，存在驾驶员难以将物体与AR图像关联地观看的情况。
作为驾驶员的视点位置向水平方向的左右移动的事例，可以举出以下所述。在驾驶时驾驶员的视点位置一定程度地移动，视点位置不可能总是不动。视点位置的变动在规定的眼动范围的范围内的情况下，几乎没有物体与AR图像的偏差的影响。视点位置的变动超过一定程度的量的情况下，偏差的影响较大，驾驶员难以将物体与AR图像关联地观看。
例如，在车辆左右转时、车道变更时、进入路口时等，驾驶员为了确认周围状况，视点位置易于移动。另外，在进入弯道时等，因为驾驶员与弯道相应地事先使身体倾倒、以及离心力的作用，头和视点位置易于移动。另外，在单手驾驶时，身体的重心倾斜，所以视点位置容易偏离。另外，在路口等视野不佳的状况下，存在驾驶员为了确认周围状况而成为前倾姿势的情况，视点位置易于移动。
另外，HUD技术中，取决于观看虚像区域的人(例如驾驶员)的眼的位置，实像与虚像的相对位置关系有偏差等、呈现方式不同。根据HUD装置所形成的虚像的位置与观看者的眼的位置的关系，决定在观看者的视网膜上成像的像的状态。HUD装置形成的虚像的显示位置与观看者的眼的位置不满足规定关系的情况下，观看者不能看到或者难以看到虚像。为了观看者能够看到图像，眼的位置必须处于其中的范围，称为眼动范围。
图20表示作为第一比较例的现有技术例的第一HUD装置的情况下的视点、物体、AR图像、偏差等。图20中，示出由水平方向(X方向)和前后方向(Z方向)构成的从上方观看的平面(X-Z平面)。用三角点表示本车的驾驶员的视点位置。示出基本设定的视点位置E1、和例如向X方向的右方移动的情况下的移动后的视点位置Ex。
用黑色圆点表示物体位置。本例中，示出在Z方向上、在虚像区域7的后方、在相对不同的3种距离的位置存在物体的情况。按远距离的位置PA、中距离的位置PB、近距离的位置PC示出。例如，位置PA是从视点位置起40～60m程度、例如45m的距离的位置。位置PB是从视点位置起20～30m程度、例如25m的距离的位置。位置PC是从视点位置起5m的距离的位置。将Z方向上从视点位置到物体位置(例如位置PC)的距离表示为物体距离FA。另外，示出在Z方向的各位置、从视点位置E1看来在X方向上左方、中央、右方的各位置存在物体的情况。
第一HUD装置中，在设计上，在从基本设定的视点位置E1起向前方(Z方向)比较近的规定距离的位置，设定了虚像区域7。将Z方向的虚像区域7的位置设为虚像区域位置P1。将从视点位置(作为0m)到虚像区域7的距离表示为虚像距离FB。第一HUD装置中，虚像区域位置P1的虚像距离FB是2～3m，本例中是2.5m。另外，将Z方向上物体位置(例如位置PC)与虚像区域位置P1的距离表示为物体虚像距离FC。用白色圆点表示在虚像区域位置P1的虚像区域7中、与从视点位置E1看来的各物体的物体位置相应地设定的、在物体上叠加显示用的AR图像的显示位置。从视点位置E1看来，在Z方向上延伸的点划线表示观看虚像区域7的中心和X方向上中央的物体的视线。实线表示观看左右的物体的视线。从视点位置E1观看各物体和AR图像的情况下，在视线上物体与AR图像的位置重合，没有偏差。
从移动后的视点位置Ex看来，点线表示观看物体的视线，虚线表示观看AR图像的视线。从视点位置Ex观看物体和AR图像的情况下，物体与AR图像中视线不重合(视线所成的角度不同)，在X方向上具有位置的偏差。
另外，包括基本设定的视点位置E1和虚像区域7的左右端的三角形的区域，对应于能够显示虚像的区域，其外侧对应于基本上不能显示虚像的区域。能够调节虚像区域位置的情况下，与其相应地能够显示的区域和不能显示的区域也变化。
图21同样地表示作为第二比较例的、第二HUD装置的情况下的视点、物体、虚像、偏差等。实施方式的HUD装置1以第二HUD装置为前提。第二HUD装置中，在设计上，在从基本设定的视点位置E1向前方(Z方向)比较远的规定距离的位置设定了虚像区域7。虚像区域位置P1是虚像距离FB为20～30m的位置，本例中示出P1＝PB＝25m的情况。
作为Z方向上的物体位置和物体距离FA，示出相对于虚像区域位置P1在前后的位置存在物体的情况。(A)所示的位置P3(特别作为远距离的位置PA)是与虚像区域7(虚像区域位置P1)相比位于后方的情况，(B)所示的位置P2(特别作为近距离的位置PC)表示与虚像区域7的虚像区域位置P1相比位于前方的情况。另外，示出在Z方向的各位置、从视点位置E1看来在X方向上左方、中央、右方各位置存在物体的情况。位置P3的物体的物体虚像距离FC是+20m，位置P2的物体的物体虚像距离FC是-20m。
用白色圆点表示从视点位置E1看来、在虚像区域位置P1的虚像区域7中、在各物体上叠加显示AR图像的情况下的AR图像的显示位置。从视点位置E1观看物体和AR图像的情况下，在视线(点划线、实线)上物体与AR图像重合，没有偏差。从移动后的视点位置Ex观看物体和AR图像的情况下，观看物体的视线(点线)与观看AR图像的视线(虚线)不重合，角度不同，具有X方向上的位置的偏差。
如图20和图21的例子所示，与物体位置和物体距离、以及移动后的视点位置相应地，在观看上产生物体与AR图像的位置的偏差。特别是在第二HUD装置的情况下，如(B)的位置P2一般物体位于虚像区域7的前方的情况与如(A)的位置P3一般位于后方的情况相比，偏差的影响相对更大。从驾驶员看来，位于前方的情况下，更难以使物体与AR图像的焦点一致，难以将物体与AR图像关联地观看。
图22简易地表示第一HUD装置的情况下与视点位置的X方向的移动时相应的偏差的例子。另外，图22等中，为了说明而将Z方向的距离较小地、将X方向的距离较大地强调地图示。图22的(A)表示视点位置向左移动的情况下、在中距离的中央的位置PB存在物体4的情况。示出从视点位置E1起向左移动后的视点位置E2。示出视点位置的移动量H1。AR图像6a表示无修正的情况下的AR图像。从基本设定的视点位置E1观看物体4和AR图像6a的情况下，视线所成的角度是0度，没有X方向上的偏差。从移动后的视点位置E2观看物体4和AR图像6a的情况下，两者之间具有X方向上的偏差h1(表示为按位置PB考虑的情况下的偏差)。角度α1表示从视点位置E2观看物体4时的视线与Z方向所成的角度。角度β1表示从视点位置E2观看AR图像6a时的视线与Z方向所成的角度。角度α1与角度β1不同(α1<β1)。
图22的(B)同样地表示视点位置向右移动的情况下在中距离的中央的位置PB存在物体4的情况。示出从视点位置E1起向右移动后的视点位置E3。示出视点位置的移动量H2。从移动后的视点位置E3观看物体4和AR图像6a的情况下，两者之间具有偏差h2。角度α2表示从视点位置E3观看物体4时的角度。角度β2表示从视点位置E3观看AR图像6a时的角度。角度α2与角度β2不同(α2<β2)。
这样，具有与视点位置的移动方向和移动量(移动距离)相应的偏差。相对于视点位置E1处的角度，移动后的视点位置处的角度更大，角度越大则偏差越大。
图22的(C)同样地表示视点位置向左移动的情况下物体位置位于远距离的位置PA和近距离的位置PC的情况。从移动后的视点位置E2观看位置PA的物体4a和无修正的AR图像6a的情况下，两者之间具有偏差h3。角度α3表示从视点位置E2观看物体4a时的角度。角度β3表示从视点位置E2观看AR图像6a时的角度。另外，从视点位置E2观看位置PC的物体4c和无修正的AR图像6a的情况下，两者之间具有偏差h4。另外，对于偏差h3和偏差h4，为了比较，图示为按位置PA考虑的情况下的偏差。角度α4表示从视点位置E2观看物体4c时的角度。角度α3与角度α4不同(α3<α4)。位置PA的情况下的角度α3与位置PC的情况下的角度α4相比，与角度β3的角度差更大，偏差更大。这样，具有与各物体距离的物体位置相应的偏差。
图22的(D)同样地表示视点位置向左移动的情况下在中距离的位置PB在X方向的左右的各位置存在物体的情况。在位置PB，在中央的左侧的位置存在物体4b1，在右侧的位置存在物体4b2。从移动后的视点位置E2观看左侧的物体4b1和无修正的AR图像6a1的情况下，两者之间具有偏差h5。另外，从视点位置E2观看右侧的物体4b2和无修正的AR图像6a2的情况下，两者之间具有偏差h6。从基本设定的视点位置E1观看物体和AR图像的情况、与从移动后的视点位置E2观看物体和AR图像的情况下，角度不同，后者偏差更大。例如，示出从视点位置E1观看物体4b2和AR图像6a2的情况下的角度γ1、从视点位置E2观看物体4b2的情况下的角度γ2、从视点位置E2观看AR图像6a2的情况下的角度γ3。γ1<γ2<γ3。这样，具有与X方向的物体位置和视点移动方向相应的偏差。
如上所述，从驾驶员的视点位置透过挡风玻璃9的观察区域5来观看物体4和虚像区域7的AR图像6的情况下，从基本设定的视点位置E1观看的情况与从移动后的视点位置观看的情况下，视线所成的角度等不同。从移动后的视点位置观看的情况下，在物体位置与AR图像6的显示位置之间可能产生X方向上的偏差。该偏差越大，驾驶员越难以将物体4与AR图像6关联地识别，不能适当地观看。
图22的(A)中，位置201表示视点位置E2的情况下在虚像区域7中要叠加AR图像6的理想的位置。在虚像区域7的X方向的线与从视点位置E2观看物体4的视线的交叉点处存在位置201。在该位置201叠加显示AR图像6的情况下，从视点位置E2看来，物体4与AR图像6重合，偏差被消除。同样地，(B)的位置202、(C)的位置203和位置204、(D)的位置205和位置206表示AR图像6的理想的显示位置。
图23表示第二HUD装置的情况下的与视点位置的X方向的移动相应的偏差的例子。图23的(A)表示从视点位置E1向左移动的情况。示出移动后的视点位置E2、移动量H1。作为物体位置，示出相对于虚像区域位置P1即位置PB、在位于后方的位置P3(＝PA)存在物体4a的情况和在位于前方的位置P2(＝PC)存在物体4c的情况。从视点位置E2观看位置P3的物体4a和修正前的AR图像6a的情况下，两者之间具有X方向上的偏差h11。从视点位置E2观看位置P2的物体4c和修正前的AR图像6a的情况下，两者之间具有偏差h12。另外，为了比较，表示为虚像区域位置P1处的偏差h11、偏差h12。角度α11表示观看位置P3的物体4a的情况下的角度。角度α12表示观看位置P2的物体4c的情况下的角度。角度β11表示观看虚像区域位置P1的AR图像6a的情况下的角度。α11<α12，α11<β11，α12>β11。位置P2的情况与位置P3的情况相比偏差更大(h11<h12)。
图23的(B)同样地表示视点位置向右移动的情况。示出移动后的视点位置E3、移动量H2。从视点位置E3观看位置P2的物体4a和修正前的AR图像6a的情况下，两者之间具有偏差h13。从视点位置E3观看位置P2的物体4c和修正前的AR图像6a的情况下，两者之间具有偏差h14。位置P2的情况与位置P3的情况相比偏差更大(h13<h14)。
如上所述，与各视点位置和各物体位置相应地产生偏差。特别是，如位置P2一般物体4位于虚像区域7的前方的情况，与如位置P3一般位于后方的情况相比，偏差的影响更大。
图23的(A)中，位置211和位置212表示虚像区域7中的要叠加AR图像6的理想的位置。例如，在虚像区域7的X方向的线与从视点位置E2观看物体4a的视线(将视点位置E2与物体4a的位置连结的直线)的交叉点处存在位置211。在该位置211叠加显示AR图像6的情况下，从视点位置E2看来，物体4a与AR图像6重合，偏差被消除。实施方式的HUD装置1中，得到这些位置作为修正后的AR图像6的显示位置。同样地，(B)的位置213和位置214表示各物体位置下的AR图像的理想的显示位置、实施方式中的修正后的显示位置。
如上所述，第一HUD装置和第二HUD装置中，在从视点位置E1起向前方(Z方向)规定距离(虚像距离FB)的位置(虚像区域位置P1)，设定虚像区域7。虚像区域7是能够用HUD装置显示虚像的HUD显示范围。在虚像距离FB和虚像区域位置P1的虚像区域7内，显示包括AR图像的虚像。第一HUD装置中，虚像区域位置P1是虚像距离FB为2～3m的位置，是距离驾驶员和挡风玻璃9比较近的位置。另一方面，第二HUD装置和实施方式的HUD装置1中，虚像区域位置P1是虚像距离FB为20～30m的位置，是距离驾驶员和挡风玻璃9比较远的位置，换言之，是更接近物体的位置。另外，实施方式的变形例的HUD装置1中，对于Z方向上的虚像区域位置P1，能够在规定的设定范围(例如20～30m)内可变地设定和控制。
因此，第二HUD装置和实施方式的HUD装置1中，与第一HUD装置相比，更能够在尽量接近物体的距离和位置叠加显示AR图像。换言之，能够使物体虚像距离FC相对较小。驾驶员从视点位置观看物体和与其关联的AR图像的情况下，在Z方向上物体与AR图像的距离越近，则Z方向上的远近感、焦点越易于一致。因此，驾驶员易于识别该物体和AR图像，能够更自然且适当地观看。
如上所述，第一HUD装置和第二HUD装置中，关于从视点位置观看的物体与AR图像的偏差，存在各自的特性。特别是，第二HUD装置中，与Z方向上的相对于虚像区域位置P1的物体位置和物体距离的关系相应地，偏差的影响不同。如图21和图23所示，物体位于虚像区域的前方的情况，与物体位于虚像区域后方的情况相比，偏差的影响更大。即使在位于前方的情况与位于后方的情况下物体虚像距离FC相同的情况下，位于前方的情况下在观看上也更易于感到偏差。
实施方式的HUD装置1中，考虑如上所述的第一HUD装置和第二HUD装置的课题等，对修正AR图像的显示位置的功能进行改进。该修正功能中，根据物体位置与视点位置的关系、以及虚像区域位置与物体位置的关系，来对至少包括X方向的AR图像的显示位置适当地进行修正。
[概要]
图1表示实施方式的HUD装置1的概要。其中，在图1等中，作为说明上的方向，示出X方向、Y方向、Z方向。X方向是第一水平方向，是以车辆和驾驶员为基准的左右方向，对应于虚像区域7的横方向。Y方向是铅垂方向，是以车辆和驾驶员为基准的上下方向，对应于虚像区域7的纵方向。Z方向是第二水平方向，是以车辆和驾驶员为基准的前后方向，对应于观看虚像区域7等的方向。
实施方式的HUD装置1是车载系统(图2)的一部分，具有控制部10、显示部20，与车外摄像机2和车内摄像机3等连接。显示部20由投影仪(投射型影像显示装置)等构成，包括光学系统。HUD装置1基于用车外摄像机2拍摄到的图像，检测位于车辆的前方(Z方向)的物体4的位置等。另外，HUD装置1基于用车内摄像机3拍摄驾驶员得到的图像，检测驾驶员的视点位置等。HUD装置1基于检测出的物体4，用控制部10生成显示包括AR图像的虚像用的AR数据，对显示部20提供。AR数据是在从驾驶员看来透过挡风玻璃9的观察区域5的前方形成规定的虚像区域7并显示虚像用的显示数据。显示部20基于AR数据，生成对挡风玻璃9的观察区域5投射用的影像光并出射。出射的影像光通过光学系统对挡风玻璃9的观察区域5内的区域投射，在该区域反射，对驾驶员的眼入射。由此，对于驾驶员而言，在透过观察区域5可见的虚像区域7中，作为在物体4上叠加显示的包括AR图像6的虚像被看见。
HUD装置1的控制部10实现作为AR图像显示位置修正功能的修正功能。该修正功能中，与物体位置、视点位置和虚像区域位置的位置关系相应地，对虚像区域7的AR图像6的显示位置进行修正。该修正功能中，参照虚像区域位置P1等的设定信息。该修正功能中，基于基本设定的视点位置E1的AR图像6a的显示位置，与视点位置的移动量相应地计算从移动后的视点位置Ex观看的情况下的修正后的AR图像6b的显示位置。该修正功能中，以使修正后的AR图像6b的显示位置位于在从移动后的视点位置Ex观看物体位置的直线上与虚像区域7的交叉点的方式进行修正。该修正功能中，用控制部10中的规定的变换处理，得到修正后的AR图像6b的显示位置。该修正功能中，用控制部10的处理，生成包括修正后的AR图像6b的显示位置的信息的AR数据，并对显示部20提供。显示部20按照该AR数据投射显示虚像区域7的AR图像6b。
图1中，在从驾驶员的基本设定的视点位置E1看来透过挡风玻璃9的观察区域5的前方的规定距离处的虚像区域位置P1，设定了虚像区域7。示出在Z方向上虚像区域7的前方的位置P2，存在叠加显示AR图像6的对象物体4的例子。示出修正前的AR图像6a和修正后的AR图像6b。位置Qa表示X方向上的修正前的AR图像6a的显示位置。位置Qb表示X方向上的修正后的AR图像6b的显示位置。
AR功能中，从基本设定的视点位置E1看来，在虚像区域7内，在物体4的实像上叠加显示AR图像6。驾驶员从视点位置E1等透过挡风玻璃9的观察区域5地观看位于前方的物体4的实像和虚像区域7的AR图像6。在该前提下，驾驶员的视点位置从视点位置E1移动至水平方向(X方向)的左右的位置、例如向右移动后的视点位置Ex的情况下，在修正前的状态下，物体4与AR图像6a产生偏差。换言之，从视点位置Ex看来，产生物体位置与AR图像显示位置的差异、距离。该偏差越大，驾驶员越难以将物体与AR图像关联地识别。
另一方面，实施方式的HUD装置1中，用修正功能与物体位置和视点位置相应地，将AR图像6a的显示位置(位置Qa)修正至AR图像6b的显示位置(位置Qb)。在修正后的状态下，从视点位置Ex观看物体4和AR图像6b的情况下，位置的偏差被消除。
HUD装置1基于车外摄像机2的图像，检测相对于本车的位置和视点位置的物体4的位置和距离。另外，HUD装置1基于车内摄像机3的图像，检测本车的驾驶员的视点位置和移动量。然后，HUD装置1基于Z方向上的虚像区域位置P1与物体位置的关系进行修正的控制。HUD装置1与物体位置、视点位置和虚像区域位置P1相应地，对AR图像的显示位置进行修正。控制部10在虚像显示和修正时，首先将从基本设定的视点位置E1起的AR图像6a的显示位置决定为基本。接着，控制部10与视点位置的移动量相应地，通过修正决定从移动后的视点位置Ex观看的情况下的修正后的AR图像6b的显示位置。
另外，图1等中，在说明上，以相对于挡风玻璃9的观察区域5，基本设定的视点位置E1和虚像区域7在X方向上配置在中心的方式进行了图示，但实现上不限于此。
[HUD装置和车载系统]
图2表示包括实施方式的HUD装置1的车载系统100的结构。车载系统100是在机动车中搭载的系统。使用者即驾驶员操作使用车载系统100和HUD装置1。该HUD装置1是特别具备AR功能的AR-HUD装置。
车载系统100具有ECU(Engine Control Unit：发动机控制部)101、HUD装置1、包括车外摄像机2的车外拍摄部102、影像数据存储部103、通信部104、GPS(Global PositioningSystem)接收器105、车辆导航部106、传感器部108、DB部109等，它们与车载总线和CAN(CarArea Network)110连接。车载系统100除此以外具有未图示的声音输出部、操作部、电源部等。
HUD装置1具有控制部10、显示部20。HUD装置1具有AR功能。HUD装置1使用AR功能，在透过挡风玻璃9的观察区域5的虚像区域7中显示包括AR图像的虚像，由此能够对驾驶员通知各种信息。HUD装置1的AR功能包括修正功能。修正功能是对虚像区域7内的AR图像的显示位置自动地进行修正的功能。
HUD装置1也能够同时使用声音输出部来对驾驶员进行声音输出、例如用车辆导航功能和AR功能进行的导向和警报等。HUD装置1也具备操作面板和操作按钮等操作部，能够由驾驶员进行手动操作输入、例如AR功能的ON/OFF和用户设定、光学系统24的反射镜的角度的调节等。
控制部10对HUD装置1的整体进行控制。控制部10具备CPU、ROM、RAM等硬件和对应的软件。控制部10和其他各部也可以用微型计算机和FPGA等硬件实现。控制部10例如通过由CPU从ROM读取程序并执行符合程序的处理，而实现图像输入部11等各部。控制部10根据需要将各种数据和信息保存在内部的存储器或外部的存储器中，进行读写等。控制部10在存储器中的非易失性存储器中保持AR功能用的设定信息等。设定信息包括修正部14的变换处理用的设定信息和用户设定信息。用户设定信息包括基本设定的视点位置和虚像区域位置、光学系统24的反射镜的角度的设定信息等。
控制部10输入用车外摄像机2拍摄到的图像，使用获取的各信息，生成在观察区域5的虚像区域7中显示虚像用的AR数据，并对显示部20提供。控制部10在生成AR数据时，对虚像区域7内的AR图像的显示位置进行修正。另外，控制部10能够对显示部20进行控制，来调节光学系统24的反射镜的角度等状态。由此，能够调节虚像区域7的位置。
显示部20由投射型影像显示装置(投影仪)等构成。显示部20具有显示驱动电路21、显示元件22、光源23、光学系统24、驱动部25，它们被连接。显示部20基于来自控制部10的控制和影像数据(AR数据)，生成显示虚像用的影像光，并对观察区域5内的区域投射。显示驱动电路21按照来自AR显示部15的影像数据生成AR显示用的显示驱动信号，并对显示元件22和光源23提供而进行驱动控制。
光源23基于显示驱动信号，产生射向显示元件22的照明光。光源23例如由高压汞灯、氙灯、LED元件或激光元件等构成。来自光源23的光通过未图示的照明光学系统对显示元件22入射。照明光学系统使照明光聚光、均匀化，并对显示元件22照射。
显示元件22基于显示驱动信号和来自光源23的照明光，生成影像光，并对光学系统24出射。显示元件22例如由SLM(Spatial Light Modulator：空间光调制器)、DMD(Digital Micromirror Device，注册商标)、MEMS装置、或LCD(透过型液晶面板或反射型液晶面板)等构成。
光学系统24包括将来自显示元件22的影像光导向挡风玻璃9的观察区域5用的透镜和反射镜等元件。对于光学系统24连接了驱动部25。来自显示元件22的影像光被光学系统24的透镜放大等，被反射镜反射等，被投射至观察区域5内的一部分区域(图3)。在该区域中反射的影像光对驾驶员的眼入射，在视网膜上成像。由此，从驾驶员的视点观看时，与观察区域5内的区域对应地，形成透过观察区域5可见的虚像区域7，在虚像区域7内看到虚像。
驱动部25是驱动光学系统24用的光学系统驱动部，包括驱动透镜和反射镜等用的电动机等部件。驱动部25按照驾驶员的手动操作输入或控制部10的控制来驱动光学系统24，例如变更反射镜的角度。驱动部25例如具备调节反射镜的角度用的操作按钮。驾驶员通过该操作按钮的上下的手动操作，能够以标准设定的角度为基准在正负方向上变更反射镜的角度。例如，在按下操作按钮的第一部分时，反射镜的角度向正方向(增大角度的方向)变化，在按下第二部分时，反射镜的角度向负方向(减小角度的方向)变化。
ECU101进行包括发动机控制的车辆控制、车载系统100的整体的控制。ECU101换言之是车辆控制部。ECU101也可以具有驾驶辅助和驾驶自动控制用的先进的功能。该情况下，ECU101也可以将关于该功能的信息输出至HUD装置1并控制HUD装置1，使HUD装置1进行关于该功能的虚像的显示。ECU101基于来自传感器部108的检测信息，掌握车速等车辆信息，用于控制。另外，HUD装置1能够从ECU101获取车辆信息并用于控制。
车外拍摄部102包括1台以上车外摄像机2，在本车的停止中和行驶中等，使用车外摄像机2拍摄包括本车的前方的状况，获取影像数据(包括时序的图像帧)和车辆周围信息。车外拍摄部102将该影像数据等保存在影像数据存储部103中，或者对ECU101或HUD装置1输出。
车外摄像机2在车辆的规定位置以规定的方向和视野角设置(图3)。车外摄像机2的位置例如是车辆前部的减震器附近、挡风玻璃9的边附近、或者车辆侧部的后视镜附近等。车外摄像机2以包括车辆和驾驶员的前方的方式，以规定的拍摄方向在规定视野角的范围内拍摄，输出影像数据。
车外拍摄部102可以具备对车外摄像机2的图像进行处理的信号处理部，也可以不具备。该信号处理部也可以在ECU101或HUD装置1中具备。该信号处理部也可以对1台以上车外摄像机2的图像进行处理，计算得到车辆周围信息等。车外拍摄部102也可以基于车外摄像机2的图像的分析，判断本车的周围的其他车辆和人和建筑物和路面和地形和天气等的状况。
车外拍摄部102也可以具备基于车外摄像机2的图像、计测本车与物体的距离(物体距离)和以本车为基准的空间内的物体的位置(物体位置)的功能。具备2个以上摄像机或立体摄像机作为车外摄像机2的情况下，能够通过使用左右2个摄像机拍摄的2个图像，用公知的基于两眼视差的距离计测方式等，计算物体距离。另外，在仅具备1个车外摄像机2的情况下，也能够基于该车外摄像机2的图像内的物体位置和其他传感器的检测信息等，用规定的运算概略地计算空间内的物体位置和物体距离等。
影像数据存储部103存储来自车外摄像机2的影像数据等。影像数据存储部103可以在车外拍摄部102内，也可以在HUD装置1内。另外，影像数据存储部103也可以存储驾驶员拍摄部107的车内摄像机3的影像数据等。
通信部104是包括进行对车外的移动体网络和互联网等的通信的通信接口装置的部分。通信部104能够基于ECU101和HUD装置1等的控制，例如与互联网上的服务器等通信。例如，HUD装置1可以经由通信部104从服务器参照、获取用于AR显示的源数据和相关信息等。通信部104可以包括车车间通信用无线接收机、路车间通信用无线接收机、VICS(Vehicle Information and Communication System：道路交通信息通信系统，注册商标)接收机等。车车间通信是本车与周边的其他车辆之间的通信。路车间通信是车辆与周边的道路和信号灯等设备之间的通信。
GPS接收器105基于来自GPS卫星的信号，获取本车的当前的位置信息(例如纬度、经度、高度等)。ECU101和HUD装置1和车辆导航部106能够从GPS接收器105获取本车的当前的位置信息，用于控制。
车辆导航部106是车辆中搭载的现有的车辆导航系统的部分，保持地图信息和从GPS接收器105获取的位置信息等，使用这些信息进行公知的导航处理。ECU101和HUD装置1能够从车辆导航部106获取信息并进行控制。HUD装置1也可以从车辆导航部106参照信息并用作AR显示的源数据。例如，HUD装置1也可以基于该源数据，生成向目的地的行进方向的导航用的箭头图像，作为AR图像的例子。
传感器部108具有在车辆中搭载的公知的传感器组，输出检测信息。ECU101和HUD装置1获取该检测信息并进行控制。作为传感器部108中包括的传感器装置的例子，有车速计、加速度传感器、陀螺仪传感器、地磁传感器(电子罗盘)、发动机起动传感器、变速档位传感器、方向盘舵角传感器、头灯传感器、外部光传感器(色度传感器和照度传感器)、红外线传感器(接近物体传感器)、温度传感器等。加速度传感器和陀螺仪传感器检测加速度、角速度和角度等作为本车的状态。
传感器部108也可以具备计测本车与物体的距离的距离传感器。距离传感器例如能够用光学传感器实现，能够根据发出的光到达物体并返回的时间计算距离。具有距离传感器的情况下，能够从该距离传感器获取物体距离信息。
DB部109由存储等构成，在DB中保存了能够用于AR显示的源数据和信息。源数据例如是生成AR图像用的基本图像数据等。信息例如是关于对象物体的基本信息和相关信息、基准图像等。DB部109可以在HUD装置1内，也可以与车辆导航部106合并，也可以设置在车载系统100的外部的通信网上的数据中心等中。在DB中，也可以保存经由通信部104从外部获取的信息。
挡风玻璃9是机动车的一部分，由具有透射性和刚性的玻璃、规定的光学特性的薄膜等构成(图3)。在挡风玻璃9的观察区域5内的一部分区域中，在使用AR功能时形成虚像区域7。另外，也可以在挡风玻璃9的近处设置AR专用显示板(组合器等)。能够在观察区域5的范围内设定虚像区域7。
图像输入部11输入用车外摄像机2拍摄到的图像，从图像中提取AR用的规定物体。信息获取部12获取物体信息、视点信息、车辆信息、虚像信息等，作为AR显示和修正等所需的信息。物体信息是包括物体位置和物体距离的信息。物体位置是图像内的二维坐标或空间内的三维坐标等。物体距离是本车与物体的距离。车辆信息是包括车速和行驶方向等的信息。视点信息是驾驶员的视点位置等的信息。虚像信息是虚像区域7的设定位置等的信息。
AR图像生成部13生成对于物体叠加显示用的基本的AR图像的数据。基本的AR图像具有虚像区域7中的基本显示位置。修正部14换言之是显示位置变换部，对应于修正功能，进行AR图像的显示位置的修正处理。修正部14使用AR图像生成部13中生成的基本的AR图像和信息获取部12中获取的各信息，对虚像区域7内的AR图像的显示位置进行修正。修正部14将该修正作为规定的变换处理进行。变换处理例如预先用变换表定义。修正部14输出包括修正后的AR图像显示位置的数据。AR显示部15使用修正后的数据，生成在虚像区域7中叠加显示包括AR图像的虚像用的AR数据，基于AR数据进行对显示部20的显示控制。
[驾驶座]
图3表示在从横向(X方向)观看机动车的驾驶座附近的平面中、视点位置和虚像区域位置等的概要。图3的状态表示基本设定状态，表示驾驶员从基本设定的视点位置E1观看在透过挡风玻璃9的观察区域5的前方可见的虚像区域7的AR图像6和物体4的状态。在驾驶座的前方存在挡风玻璃9，作为其一部分具有观察区域5，与观察区域5内的一部分区域307对应地形成虚像区域7。在驾驶座的前方的仪表盘的一处、例如控制台面板的位置，收容设置了HUD装置1和车辆导航部106等。
示出基于驾驶员的眼的位置的基本设定的视点位置E1。另外，示出包括视点位置E1的眼动范围300。另外，视点位置也可以与眼的位置不同。例如，视点位置也可以按左右双眼的中间点计算，也可以按头或脸的中心点等计算。另外，用点划线示出从视点位置E1透过观察区域5内的区域307观看虚像区域7的AR图像6和物体4的情况下的视线301。
示出车辆中的车外摄像机2的设置的位置p2和拍摄方向302的例子。示出拍摄方向302是Z方向的情况。示出车辆中的车内摄像机3的设置的位置p3和拍摄方向303的例子。车外摄像机2和车内摄像机3的设置位置能够不限于此。
图3中，示出了HUD装置1内的光学系统24中的反射镜501。反射镜501具有角度θ和角度φ作为二轴可变的角度(图5)。影像光304因为在反射镜501上反射，而向挡风玻璃9的内侧的观察区域5内的区域307投射，向驾驶员的眼的方向反射。示出作为影像光304的投射位置的、区域307的中心的位置pC。另外，光学系统24的结构能够不限于此，只要是对观察区域5投射影像光的位置和方向可变的结构即可。
在HUD装置1的计算上，以从视点位置E1看来、与空间内的物体4的位置pA对应的方式，在透过观察区域5的前方的位置形成虚像区域7内的AR图像6。将空间内的虚像区域7的中心点、和在该中心点显示的情况下的AR图像6的显示位置表示为位置pB。视点301是通过位置pC、位置pB、位置pA，观看物体4的实像和在其上叠加的AR图像6的视线。虚像区域7表示以视线方向301为法线的面的情况。
反射镜501是自由曲面反射镜等，例如是凹面反射镜。反射镜501具有表示方向的角度θ和角度φ。反射镜501例如具有在X方向上延伸的旋转轴(X轴)的角度θ和在Y方向上延伸的旋转轴(Y轴)的角度φ。反射镜501中，因为驱动部25的驱动，角度θ和角度φ在规定范围内可变。与角度θ和角度φ的状态相应地，影像光304的投射方向和投射位置(位置pC)可变。另外，也能够通过反射镜501等的曲面的设计而使其具有应对曲面的区域307用的畸变修正的功能。
视点位置等各位置具有空间内的三维坐标。例如，具有视点位置E1(X1，Y1，Z1)、位置pA(XA，YA，ZA)、位置pB(XB，YB，ZB)、位置pC(XC，YC，ZC)等。控制部10通过计算得知各位置的三维坐标。
车外摄像机2的位置p2、车内摄像机3的位置p3、视点位置的关系如下所述。车载系统100和HUD装置1中，预先设定了空间内的车外摄像机2的位置p2和车内摄像机3的位置p3。另外，驾驶员的视点位置大致处于与驾驶座附近对应的规定范围内，被驾驶员拍摄部107得知。各位置的三维坐标不同，但位置p2与位置p3与视点位置(例如视点位置E1)具有规定关系。该各位置能够基于规定关系，通过计算相互变换，在修正等计算时能够统一。另外，本车的位置具有与这些位置的关系，能够同样地相互变换。例如，从视点位置看来的物体的位置和物体距离，能够根据从车外摄像机2的位置p2观看的物体位置和物体距离、和位置p2与视点位置E1的距离来计算。另外，作为变形例，也可以省略各位置之间的相互变换的计算，将各位置视为大致相同地进行控制，可以得到相应的结果。
[挡风玻璃]
图4简易地表示从车辆前部座位观看的挡风玻璃9的观察区域5和虚像区域7。图4中，示出实像与虚像(AR图像)没有偏差的状态。在右侧有方向盘401等，在仪表盘的中央附近有控制台面板402等，收容了HUD装置1和车辆导航部106等。在控制台面板402中，进行HUD装置1和车辆导航部106的操作输入和画面显示。挡风玻璃9具有曲面的观察区域5。在挡风玻璃9的上侧设置了室内后视镜403等。另外，本例中，在挡风玻璃9的右上的位置设置了车内摄像机3。虽然未图示，但在车辆的某一规定位置设置了车外摄像机2。
图4的实像的例子中，在本车的前方的道路上、在路口附近，存在其他车辆(对向车辆)作为对象物体4。通过HUD装置1的开口部404对挡风玻璃9的观察区域5内的区域投射影像光，由此从驾驶员看来形成虚像区域7(用虚线框表示。实际上并不显示。)。在虚像区域7内，在物体4上叠加显示AR图像6。本例中，AR图像6是提醒注意对象车辆用的警报图标图像，示出弧形状(具有缺口的环形状)的情况。
[基本设定]
图5表示与驾驶员个人相应的视点位置E1和虚像区域7的基本设定等。示出基本设定的视点位置E1。视点位置E1被设定为基于HUD装置1的初始设定值的用户设定值。驾驶员与自己的体型和姿势相应地调节驾驶座等，做出基本姿势。之后，驾驶员进行HUD装置1的虚像区域7和视点位置E1的基本设定。驾驶员根据需要调节光学系统24的反射镜501的角度θ、φ等，调节为从自己的视点位置看来虚像区域7成为适当的状态。能够使虚像区域7的位置在规定的设定范围内、在X方向、Y方向上变更。变形例中，进而能够使虚像区域7的位置在规定的设定范围内、在Z方向上也变更。
基本设定时，HUD装置1在虚像区域7中显示基本设定用的指导AR图像503(例如表示虚像区域7的框和表示中央位置的标记等)。驾驶员在观看指导AR图像503的同时，与从自己的视点位置的视线相应地，以成为适当的状态的方式，例如手动地调节反射镜501的角度等。
HUD装置1具有反射镜501作为光学系统24的一部分。HUD装置1具有可变地驱动该反射镜501的角度θ、φ的驱动部25。驱动部25基于控制部10的控制或来自操作部(例如控制台面板402的操作按钮)的操作输入，通过电动机等的驱动来变更反射镜501的角度θ、φ。投射方向和投射位置(位置pC)与反射镜501的角度θ、φ相应地决定。通过角度θ的调节，能够调节从驾驶员看来的虚像区域7的Y方向的位置。另外，通过角度φ的调节，能够调节从驾驶员看来的虚像区域7的X方向的位置。图5的例子中，示出通过角度φ的调节而将虚像区域7调节至挡风玻璃9中的偏右侧的位置的情况。
基本设定时，HUD装置1用车内摄像机3拍摄驾驶员，例如基于双眼的中间点等检测视点位置，设定为基本设定的视点位置E1。另外，HUD装置1通过驱动部502，检测、设定与视点位置E1对应的状态时的反射镜501的角度θ、φ的状态。另外，也可以省略驾驶员进行的调节的操作，由HUD装置1自动地调节反射镜501的角度而进行基本设定。
另外，实施方式的变形例的HUD装置1中，虚像区域7的前后方向(Z方向)的位置等也能够可变地设定和控制。也能够与虚像区域位置相应地设定AR图像的显示位置是否修正和修正方式。作为控制部10的设定信息之一，具有虚像区域位置和虚像距离。HUD装置1能够与用途和状况相应地，且与用户设定相应地，改变虚像距离，在该虚像距离的位置设定虚像区域7。例如，在一般道路行驶的情况和高速道路行驶的情况下，存在分别适合的虚像距离。HUD装置1的控制部10中，能够与这些状况的判断(例如基于车速判断)相应地切换设定虚像距离。另外，能够与驾驶员的任意的输入操作相应地变更虚像距离。
[虚像区域内的设定例]
图6表示虚像区域7(HUD显示范围)内的设定例。在虚像区域7内，能够与设定相应地显示各种虚像。在虚像区域7内，能够按每个信息种类设定显示位置和显示区域。本例中，在虚像区域7内，设定了底边区域即非AR区域601和该非AR区域601以外的区域即AR区域602。在非AR区域601中，用虚像(非AR图像)显示车辆信息等。作为车辆信息，例如可以举出车速信息603、左右转和目的地距离等导航信息604、其他信息(任意的文字等)。对于非AR区域601的虚像，设定为并非修正功能的应用对象。
在AR区域602中，在对象的物体4上叠加显示AR图像6(例如警报图标图像)，基本上设定为修正功能的应用对象。作为在AR区域602中显示的AR图像6有各种种类。能够按物体4的每个种类设定AR图像6的种类和是否应用修正功能等。在图6的下侧的表中，示出用AR功能和修正功能在虚像区域7的AR区域602中显示AR图像时的AR设定例。该表中，作为信息项目，具有物体种类、AR图像种类、修正功能的是否修正等。能够按每个物体种类设定AR图像种类和是否修正等。作为设定例，示出在对象物体是物体种类K1即车辆的情况下，应用AR图像种类G1，用修正功能应用AR图像显示位置的修正的设定等。
[位置和距离的关系]
图7表示视点、物体、虚像(虚像区域7)的位置和距离的关系。示出基本设定的视点位置E1和向X方向的右方移动后的视点位置Ex。示出从视点位置E1向视点位置Ex的移动量H(视点移动距离)。作为物体位置，示出在Z方向上相对于虚像区域7的虚像区域位置P1、位于前方的物体4b的情况下的位置P2(特别是X方向上左侧)、和位于后方的物体4a的情况下的位置P3(特别是X方向上右侧)。用实线的圆表示物体4。用点线的圆表示AR图像6。将从视点位置到物体位置(例如位置P2或位置P3)的距离表示为物体距离LA。将视点位置与虚像区域位置P1的距离表示为虚像距离LB。将虚像区域位置P1与物体位置的距离表示为虚像物体距离LC(相对距离)。
在从视点位置E1向透过挡风玻璃9的前方(Z方向)规定的虚像距离LB的虚像区域位置P1设定了虚像区域7。虚像距离LB由HUD装置1设定，在变形例的情况下是可变的。虚像距离LB如上述第二HUD装置所述，是20～30m(例如25m)。另外，物体4位于虚像区域位置P1的情况下，AR图像6的显示位置是与物体4相同的位置。
在虚像区域7内的X方向上，用白色圆点表示各物体4的AR图像6的显示位置。例如，物体位置P3的物体4a的情况下，基于从视点位置E1观看的修正前的AR图像6，示出从移动后的视点位置Ex观看的修正后的AR图像6A。物体位置P2的物体4b的情况下，基于从视点位置E1观看的修正前的AR图像6，示出从移动后的视点位置Ex观看的修正后的AR图像6B。例如，关于物体4b，示出修正前的AR图像的位置Qa、修正后的AR图像6B的位置Qb。
HUD装置1在修正功能中，与如上所述的视点、物体和虚像区域7的位置才及距离的关系相应地，对AR图像6的显示位置进行修正。特别是，在相对于虚像区域7物体4位于前方的情况和位于后方的情况下，位置的偏差的影响不同。因此，HUD装置1例如在物体4位于虚像区域7的前方的情况下进行AR图像6的显示位置的修正。
[处理流程]
图8表示HUD装置1的控制部10的主要处理的流程。该处理包括AR图像的显示位置的修正的变换处理。控制部10在本车行驶中和AR功能使用中实时地进行这样的处理。图8具有步骤S1～S10。以下，按步骤的顺序进行说明。
(S1)HUD装置1基于驾驶员的操作进行基本设定处理。如图5所示，设定基本设定的视点位置E1、虚像区域位置P1等。HUD装置1在AR功能的ON状态下，进行如下所述的处理。
(S2)控制部10的图像输入部11从影像数据存储部103读取等而顺次输入车外拍摄部102的车外摄像机2的影像数据的图像帧。
(S3)图像输入部11进行从输入的图像内提取AR用的规定物体的区域等的处理。规定物体例如是作为叠加显示AR图像的对象的车辆和人和自行车等，或者用于AR控制的、路面的车道和标记、交通标志等。另外，该提取处理能够用包括特征量提取和图像匹配等图像分析的公知技术实现。
(S4)图像输入部11检测出关于从输入的图像中提取出的物体4的、图像内的物体位置的二维坐标(x，y)、和视点位置与物体位置的物体距离等。或者，图像输入部11检测出空间内的物体位置的三维坐标(X，Y，Z)。
(S5)图像输入部11或驾驶员拍摄部107输入来自车内摄像机3的影像数据的图像。另外，能够用驾驶员拍摄部107的功能检测出视点位置等的情况下，也可以由信息获取部12获取用驾驶员拍摄部107检测出的视点位置等信息。
(S6)图像输入部11或驾驶员拍摄部107根据车内摄像机3的图像，检测驾驶员的当前的视点位置。图像输入部11或驾驶员拍摄部107检测图像内的视点位置的二维坐标(x，y)或空间内的视点位置的三维坐标(X，Y，Z)。另外，图像输入部11或驾驶员拍摄部107检测关于从基本设定的视点位置E1移动后的视点位置Ex的移动量和移动方向等。
(S7)信息获取部12获取物体信息、视点信息、车辆信息、虚像信息等，作为虚像显示和修正所需的信息。物体信息有物体位置、物体距离、物体种类(例如车辆、人、自行车等)、尺寸等信息。视点信息有视点位置、移动量等。车辆信息有车速、行驶方向等。虚像信息有虚像区域位置P1等的设定信息。
信息获取部12例如可以从车外拍摄部102或传感器部108(例如距离传感器)获取物体距离信息。信息获取部12例如可以从ECU101和传感器108获取车辆信息。车辆获取部12例如可以从传感器部108和GPS接收器105或车辆导航部106获取本车的当前的位置信息等。信息获取部12也可以从DB部109、或经由通信部104从外部获取信息。
(S8)AR图像生成部13使用上述各图像和获取的信息，生成在对象的物体4上叠加显示用的AR图像6的基本AR图像数据。此处生成的基本AR图像数据具有修正前的基本显示位置。AR图像生成部13生成与物体种类等相应的AR图像。AR图像生成部13与提取出的物体(例如其他车辆)相应地生成AR图像(例如警报图标图像)。另外，AR图像生成部13也可以从ECU101、车辆导航部106、DB部109等适当参照数据和信息来生成AR图像(例如导航箭头图像)。它们取决于提供何种信息作为AR功能，并不特别限定。AR图像生成部13输出生成的AR图像数据等。
(S9)修正部14对于AR图像生成部13中生成的基本AR图像数据，进行对虚像区域7的AR图像6的显示位置进行修正用的变换处理。修正部14在该修正处理中，与物体位置和物体距离、视点位置的移动量、相对于虚像区域位置P1的物体的前后关系等相应地，决定修正后的AR图像的显示位置。换言之，决定从修正前的AR图像的显示位置起的修正量。
修正部14通过进行基于规定的变换表(或规定的变换计算式)的变换处理，而决定修正后的AR图像的显示位置。修正部14将物体位置、视点位置移动量、虚像区域位置等作为输入值，参照变换表进行变换处理，输出修正后的AR图像的显示位置等作为输出值。
修正部14例如使用后述的第二方式作为修正方式，对于位于虚像区域7的前方的物体4进行修正处理，得到修正后的AR图像的显示位置。另外，修正部14对于X方向的视点位置的移动量，与规定阈值进行比较，在超过阈值的情况下进行修正处理，作为修正方式。阈值能够与眼动范围等相应地设定。
(S10)AR显示部15生成反映了直到S9的修正等的虚像显示用的显示数据即AR数据。另外，AR显示部15在生成AR数据时，也进行从HUD装置1中的计算上的平面(虚像平面)、对应至挡风玻璃9的曲面的区域(图3的区域307)用的坐标变换。该坐标变换能够使用公知的射影变换等实现，是作为向曲面投射的结果形成平面的虚像区域7用的变换。
显示部20基于来自控制部10的AR显示部15的AR数据生成并出射影像光。该影像光通过光学系统24对挡风玻璃9的观察区域5内的区域307投射并反射。由此，对于驾驶员而言，作为虚像区域7内的在物体上叠加的AR图像被看到。在AR功能的ON状态下，如上所述的主要处理同样地反复进行。
[物体位置、视点位置的获取]
图9表示物体位置和视点位置的获取。图9的(A)表示车外摄像机2的图像901。图像901内包括物体4(例如其他车辆)的情况下，检测出二维坐标(xm，ym)作为图像901内的物体4的位置。进而，在(A)的下侧，在空间中的X-Z平面中，示出本车900的位置、其他车辆(物体4)的物体位置、和作为物体距离的本车900与其他车辆的距离D。示出本车位置(如上所述与视点位置关联)的三维坐标(Xm1，Ym1，Zm1)、物体位置的三维坐标(Xm2，Ym2，Zm2)、距离D(DX，DY，DZ)。物体位置的三维坐标是以本车位置(视点位置)为基准的三维坐标系中的位置坐标。距离D中的距离DX是X方向的成分，距离DY是Y方向的成分，距离DZ是Z方向的成分。控制部10使用图像901和上述方式，得到这样的物体位置的三维坐标等。
图9的(B)表示车内摄像机3的图像902。根据图像902，能够检测出基本设定的视点位置E1、移动后的视点位置Ex、移动量H、移动方向(至少包括X方向)等，作为驾驶员的视点位置。作为图像902内的视点位置的二维坐标，示出视点位置E1(x1，y1)、视点位置Ex(x2，y2)。视点位置E1和视点位置Ex可以按二维坐标检测，也可以按三维坐标检测。基于二维坐标，用规定的计算能够得到三维坐标。作为视点位置的三维坐标，示出视点位置E1(X1，Y1，Z1)、视点位置Ex(X2，Y2，Z2)。根据这些视点位置的差异，能够检测出视点位置的移动量H等。
另外，在实施方式的HUD装置1的修正功能中的AR图像的显示位置的修正时，使用如上所述的三维信息实现，但也可以使用二维信息简易地实现。另外，能够检测出视点位置的三维坐标和物体位置的三维坐标的情况下，能够检测出将这2点连接的直线。另外，也可以将该直线大致视为视线，用于控制。
实施方式的HUD装置1中，使用车内摄像机3计算检测出至少视点位置的二维坐标或三维坐标。不限于此，作为驾驶员拍摄部107的功能，进而能够检测出视线方向(眼观看实像或虚像的视线)和眨眼等的情况下，也可以将这些信息用于修正功能的控制。例如，也可以与视点位置和视线方向相应地控制AR图像的显示位置。例如，可以举出在作为视线方向并非观看虚像区域7的方向(物体和AR图像)的情况下不进行修正等控制。
另外，作为变形例，也可以与视点位置和视线方向等相应地，不仅进行AR图像的显示位置的修正，也追加AR图像的加工的控制。由此，能够进行更正确的修正和更易于观看的AR呈示。例如，在AR图像的显示位置的修正中时，也可以以对驾驶员通知该修正中的状态(即视点位置变动中的状态)的方式，进行使AR图像的形状或颜色等变化的加工。能够与使AR图像易于观看用的各种公知技术组合。
[AR图像生成]
图10表示AR图像生成部13进行的、虚像区域7内的AR图像6的生成时的基本。在图10的上侧，示出与虚像区域7对应的HUD装置1的计算上的平面(记作虚像平面8)中的、相对于物体位置的AR图像6的基本显示位置(也称为修正前显示位置)等。在虚像平面8内的二维坐标系(x，y)中，对于每个对象的物体4的物体位置，配置AR图像6(对应的AR图像数据)。AR图像生成部13基于物体位置和视点位置E1，相对于虚像平面8中的物体位置的二维坐标(xm，ym)，决定AR图像6的基本显示位置的二维坐标(xa，ya)。虚像平面8内的AR图像的基本显示位置的二维坐标(xa，ya)可以基于物体位置、视点位置的三维坐标和两者的距离，用规定的计算得到。
本例中，示出物体4是其他车辆(对向车辆)的情况下，作为AR图像6叠加显示提醒注意用的警报图标图像的情况。警报图标图像的一例是弧形，以看起来与路面平行的方式显示。本例中，将物体4的物体区域的底边的中央作为AR图像的基本显示位置，但能够不限于此。基于警报图标图像的基本图像，生成与路面相应地调整了倾斜等的AR图像。然后，在虚像平面8内的基本显示位置配置该AR图像。另外，此时，也可以调整AR图像的颜色和尺寸等。例如，也可以改为与物体种类相应的颜色和与物体区域尺寸相应的AR图像尺寸等。
在图10的下侧，示出其他AR图像的例子。示出物体4是其他车辆的情况下，作为AR图像6采用包围物体4(物体区域)的框图像的例子。另外，示出作为AR图像6，在道路上的前方的位置，显示行进方向导航用的箭头图像的例子。另外，示出物体4是规定的设施或广告牌的情况下，作为AR图像6，在从物体位置略微离开地关联的位置，显示气泡图像的例子。在气泡图像内，用文字等显示关于物体4的信息(例如基于参照车辆导航部106和DB部109得到的设施或广告牌的信息)。
如上述例子所述，能够有各种AR图像的种类。另外，作为AR图像的种类，如上述气泡图像一般，显示位置从物体位置略微离开的情况下，也能够同样地应用修正功能。关于气泡图像，可以设定为有修正，也可以设定为无修正。对于上述气泡图像进行修正的情况下，在修正前后维持物体与气泡图像的位置关系。进行修正的情况下，与视点位置相应地，物体与气泡图像的距离等呈现方式变化。虽然未图示，但作为其他AR图像的例子，也可以是车道图像(强调显示道路的左右端的线用的图像)。
[修正方式(1)]
实施方式中，作为修正功能，与物体位置、视点位置移动量和虚像区域与物体的位置关系相应地，控制AR图像的显示位置的修正的内容。关于该修正功能，使用以下示出的各方式。
首先，如图1所示，在实施方式的HUD装置1中，用修正功能对AR图像的显示位置进行修正时，在控制部10中，通过进行对AR数据(对显示部20提供的显示数据)的内容进行修正的处理而实现。该修正处理能够用基于控制部10的软件程序处理的、例如使用变换表的变换处理实现。
另外，关于该修正的实现手段，作为变形例的HUD装置，也可以应用变更HUD装置的硬件中的显示部20的光学系统24的反射镜501的角度θ、φ等的控制。或者，也可以应用使用上述AR数据的信息处理与光学系统24的驱动控制组合的控制。
[修正方式(2)]
图11示出了实施方式的HUD装置1的修正功能中的AR图像显示位置的修正方式。该修正方式是特别与Z方向的前后的物体4与虚像区域7的位置关系相应地控制修正的方式。修正功能中，使用以下示出的方式中的至少某个方式进行AR图像的显示位置的修正。HUD装置1中，预先作为设计事项，实现至少某1个方式的修正功能。或者，HUD装置1中，也可以使用用户设定功能，能够将用户从多个方式中选择的方式设定为使用的方式。另外，HUD装置1中，也可以与状况相应地从多个方式中切换使用的方式而分别使用。能够实现与使用的方式相应的修正的效果。
(A)第一方式：首先，作为基本的修正方式，在第一方式中，无论在Z方向上物体4相对于虚像区域7位于什么位置的情况下，都同样地应用修正。HUD装置1与物体位置和视点位置的移动量H相应地决定虚像区域7内的AR图像6的X方向的修正后的显示位置。
(B)第二方式：进而，在第二方式等中，按在Z方向上物体4相对于虚像区域7(虚像区域位置P1)位于后方的情况和位于前方的情况这样至少2个分类，控制是否应用修正。如图7所示，位于后方的情况，指的是位置P3的物体4a这样的情况，换言之，是物体距离LA是虚像距离LB以上大的情况(LA≥LB)。位于前方的情况，指的是位置P2的物体4b这样的情况，换言之，是物体距离LA比虚像距离LB更小的情况(LA<LB)。第二方式中，HUD装置1在位置关系是物体4位于虚像区域7前方的情况下，进行AR图像6的显示位置的修正，在物体4位于虚像区域位置P1内或其后方的情况下，不进行修正。图11的例子中，对于位于前方的物体4b，从移动后的视点位置Ex看来，进行修正，示出了修正后的AR图像6b。对于位于后方的物体4a，对从视点位置E1起的AR图像6a不进行修正，示出了修正前的AR图像6a。
(C)第三方式：作为第二方式的变形例，也可以使用第三方式以下的方式。第三方式中，在Z方向上虚像区域位置P1前方的规定距离801的位置802处，设定控制用的阈值的位置。第三方式中，HUD装置1在物体位置位于位置802前方的情况下进行修正，在位于位置802起的后方的情况下不进行修正。第三方式中，作为考虑方案，在物体位置位于虚像区域位置P1与位置802之间的情况下，物体4与虚像区域7比较近，偏差的影响比较小，所以不进行修正。
(D)第四方式：第四方式中，在包括虚像区域位置P1的前后，将规定距离的范围803设定为作为控制用的范围的虚像区域附近范围。第四方式中，按范围803及其前后设置3个分类。第四方式中，HUD装置1在物体位置位于范围803内的情况下不进行修正。在范围803内的情况下，物体4与虚像区域7比较接近，偏差的影响比较小，所以不进行修正。另外，第四方式中，物体位置在范围803外、位于前方的情况下进行修正，在范围803外、位于后方的情况下不进行修正。
(E)第五方式：作为第四方式的变形例，第五方式中，物体位置在范围803内的情况下不进行修正，在范围803外、位于前方的情况下进行修正，在范围803外、位于后方的情况下进行修正。
物体位置相对于虚像区域位置P1的距离(虚像物体距离FC)越大，则偏差的影响越大，所以修正的必要性和有效性越高。另外，物体位于虚像区域7前方的情况下，偏差的影响更大，所以修正的必要性和有效性更高。上述各修正方式中，至少在物体位于虚像区域7前方的情况下，可靠地进行修正，消除或减少偏差。
[修正方式(3)]
图12表示实施方式的HUD装置1中的作为追加应用的修正方式的、与视点位置的移动量相应的修正方式。该修正方式中，与视点位置的X方向的移动量H的大小相应地，按移动量H在规定阈值以内的情况和超过阈值的情况，控制是否修正AR图像的显示位置。
图12的(A)表示从基本设定的视点位置E1例如向右移动后的视点位置Ex1、移动量H是移动量Hx1、移动量Hx1在规定阈值Ht以内的情况。示出存在虚像区域7后方的位置P3的物体4a和前方的位置P2的物体4b的情况。该情况下，HUD装置1中，因为移动量Hx1在阈值Ht以内，所以不进行使用上述第一方式或第二方式等的修正。作为考虑方案，该情况下，物体4a或物体4b与修正前的AR图像6a的偏差，在从视点位置Ex1观看时在容许范围内。因此，省略修正处理，实现效率提高。
图12的(B)同样地表示从基本设定的视点位置E1移动后的视点位置Ex2、移动量H是移动量Hx2(Hx2>Hx1)、移动量Hx2超过规定阈值Ht的情况。该情况下，HUD装置1中，因为移动量Hx2超过阈值Ht，所以进行使用上述第一方式或第二方式等的修正。作为考虑方案，该情况下，物体4a或物体4b与修正前的AR图像6a的偏差，在从视点位置Ex2观看时在容许范围外。因此，执行修正处理，实现偏差的消除。
在虚像区域位置P1，位置121表示修正前的AR图像6a的显示位置。在前方的位置P2存在物体4b的情况下，进行修正的情况下，位置122表示修正后的AR图像的显示位置。同样地，在后方的位置存在物体4a的情况下，进行修正的情况下，位置123表示修正后的AR图像的显示位置。
[修正]
图13表示修正部14进行的AR图像的显示位置的修正和变换。修正部14在变换处理时，作为输入值，输入物体位置(例如三维坐标)、从基本设定的视点位置E1起的移动量、虚像区域位置P1、和修正前的AR图像的显示位置，作为变换的结果的输出值，得到修正后的AR图像的显示位置(或修正量)。
图13的例子中，示出物体位置相对于虚像区域位置P1在后方的位置P3和在前方的位置P2的情况下，在X方向上位于从中央起略向左侧的位置的情况。另外，作为视点位置的移动，示出从基本设定的视点位置E1向右移动的移动后的视点位置Ex、移动量Hx的情况。
在虚像区域7中，将显示从视点位置E1与位置P3的物体4a或位置P2的物体4b相应的AR图像6的情况下的显示位置，表示为修正前的AR图像6B的位置QB。另外，虽然未图示，但在虚像区域位置P1＝PB的位置QB存在物体的情况下，AR图像的显示位置也是同一位置QB。
第一方式等的情况下，对于位于虚像区域7后方的物体4a修正显示位置的情况下如下所述。HUD装置1与移动后的视点位置Ex相应地，对位置P3的物体4a的AR图像6B的显示位置(位置QB)进行修正。通过变换处理，将修正后的显示位置决定为位置QA。按虚像区域7的X方向的线与从视点位置Ex观看物体4a的直线的交叉点，得到位置QA。HUD装置1在修正后的位置QA显示AR图像6A。
第一方式和第二方式等的情况下，对于位于虚像区域7前方的物体4b修正显示位置的情况下如下所述。HUD装置1与移动后的视点位置Ex相应地，对位置P2的物体4b的AR图像6B的显示位置(位置QB)进行修正。通过变换处理，将修正后的显示位置决定为位置QC。按虚像区域7的X方向的线与从视点位置Ex观看物体4b的直线的交叉点，得到位置QC。HUD装置1在修正后的位置QC显示AR图像6C。
[位置关系的例子]
图14表示视点、物体、虚像的位置和距离的关系的例子。示出物体虚像距离LC等不同的例子。图14中，用从上方观看道路等的X-Z平面示出。虚像区域位置P1(包括AR图像显示位置)例如设定在从本车的视点位置起的虚像距离LB是20～30m的范围(设定范围140)内。本例中，示出将虚像区域位置P1设为虚像距离FB是25m的位置的情况。
示出作为AR的对象的物体4，存在人151、路锥152、车辆153等的情况。人151(行人等)位于虚像区域位置P1前方、距离视点位置比较近的5m的距离的位置。物体虚像距离LC是-20m(将相对于虚像区域位置P1位于前方的情况作为负)。路锥152位于虚像区域位置P1附近的位置、20～30m的设定范围140内的位置。车辆153(对向车辆等)位于虚像区域位置P1后方、距离视点位置比较远的40～60m程度的距离(例如45m)的位置。物体虚像距离LC是+20m。
首先，如路锥152一般，在设定范围140内的虚像区域7(虚像区域位置P1)附近的位置存在物体4的情况下，AR图像6的显示位置的偏差的影响小，能够进行适当的AR图像显示。
车辆153位于虚像区域位置P1后方的位置，物体虚像距离LC是+20m。关于在车辆153的位置上叠加的AR图像，虽然存在偏差的影响，但与人151这样位于前方的情况相比影响较小。因此，关于车辆153的AR图像，可以用第一方式等进行修正，也可以用第二方式等省略修正。
人151位于虚像区域位置P1前方的位置，物体虚像距离LC是-20m。关于在人151的位置上叠加的AR图像，与车辆153这样位于后方的情况相比偏差的影响较大。因此，对于人151的AR图像，消除偏差是重要的，可靠地进行修正。
例如，应用上述第二方式的情况下，对于位于虚像区域7后方的车辆153等物体省略修正处理而提高效率，对于位于前方的人151等物体，通过修正消除偏差，对于驾驶员而言实现适当的观看。
图15表示与图14的例子对应的物体和AR图像的例子。图15的上侧的(A)简易地表示从基本设定的视点位置E1观看的物体4的例子。在道路上距离本车比较近的位置，存在人151作为物体4。另外，在距离本车比较远的位置，存在车辆153作为物体4。另外，在它们的中间程度的位置，存在设置在弯角附近的路锥152作为物体4。物体位置154表示人151的情况下的物体位置的二维坐标(x，y)，表示采用物体区域155的中心点的情况。物体区域155是包围作为物体4的人151的区域(例如包含人151的形状的矩形)，用虚线框表示。物体区域能够不限于矩形。
图15的下侧的(B)表示对于(A)的物体4的AR图像6的叠加显示的例子。示出对于人151、路锥152、车辆153分别叠加显示警报图标图像作为AR图像6的例子。例如，显示位置156表示人151的情况下的AR图像6的修正前的基本显示位置。示出相对于物体位置154和物体区域155，采用位于物体位置154下方的、物体区域155的底边的中央作为AR图像6的显示位置的情况，但能够不限于此，也可以直接将物体位置作为AR图像显示位置。
图16表示与图14、图15的例子对应的物体与AR图像的位置偏差和修正。简易地示出视点位置的移动前后的虚像区域7。虚像区域7A表示从移动前的基本设定的视点位置E1观看的虚像区域。虚像区域7B表示从视点位置E1向右移动后的视点位置Ex观看的虚像区域。移动量H例如是100mm。在修正前的状态下，从视点位置Ex看来，作为物体4的例如人151与AR图像6a(修正前AR图像)之间存在位置偏差。在修正后的状态下，从视点位置Ex看来，人151与AR图像6b(修正后AR图像)之间位置偏差被消除。通过修正，从修正前的AR图像6a的显示位置156成为修正后的AR图像6b的显示位置157。
特别是，如人151的例子一般，在虚像区域7前方存在物体4，物体虚像距离LC比较大的情况下，偏差的影响大，所以显示位置的修正是有效的。人151和车辆153的物体虚像距离LC都是20m，但人151与车辆153相比偏差的影响更大。因此，使用第二方式等，对于人151一方，可靠地对AR图像的显示位置进行修正。
[变形例：虚像区域的可变设定]
图17表示变形例的HUD装置1中的、虚像区域7的Z方向的位置的可变设定。能够在规定的设定范围140(20～30m)内可变地设定虚像区域位置P1。位置P1a表示将虚像距离FB是30m的位置作为虚像区域位置设定虚像区域7a的情况。位置P1b表示将虚像距离FB是20m的位置作为虚像区域位置设定虚像区域7b的情况。另外，示出在各物体距离的位置(PA、PB、PC)存在物体4的情况。示出位置PA的物体4A、位置PB的物体4B、位置PC的物体4C。
各虚像区域7的设定的情况下，也能够同样地应用修正功能。例如假设应用上述第二方式。在虚像区域7a的情况下，对于物体4C、物体4B，因为位于前方，所以进行修正，对于物体4A，因为位于后方，所以不进行修正。在虚像区域7b的情况下，对于物体4C，因为位于前方，所以进行修正，对于物体4B、物体4A，因为位于后方，所以不进行修正。
另外，以路面、车辆和驾驶员的状态为基准设定的虚像区域7的面(例如矩形的面)，可以设为X-Y平面，也可以如图3的例子所示设为以从视点位置E1起的视线301为法线的平面。各情况下，能够同样地应用修正功能。
[变形例：虚像区域]
图18表示其他变形例中的虚像区域7的设定状态。也可以这样将虚像区域7设为相对于从视点位置E1起的视线301不限于垂直面的、斜向倾斜的平面。本例中，虚像区域7被设定为相对于Z方向的视线301具有角度δ的平面。进而，也可以采用能够可变设定角度δ的方式。该情况下，虚像区域7以Z方向的虚像区域位置P1、视线301上的位置pB为中心，具有Z方向的宽度181。宽度181是设定范围140内的大小。该情况下，也能够同样地应用修正功能。本例中，虚像区域7中，作为AR图像6，示出位置Qy1的AR图像6y1和位置Qy2的AR图像6y2。位置Qy1是Z方向的视线301上侧的位置、且虚像区域位置P1后方的位置。位置Qy2是Z方向的视线301下侧的位置、且虚像区域位置P1前方的位置。
该变形例的情况下，作为修正方式，例如能够同样地应用图11的(D)的第四方式和(E)的第五方式。例如，使宽度181对应于(D)的范围803，进行是否修正的控制即可。
[虚像区域外的情况下的控制]
图19表示作为修正功能中的一部分功能的、虚像区域7外的情况下的控制。示出与视点位置移动量相应地、在修正后的AR图像显示位置移动至虚像区域7外的情况下的控制。
(1)作为该控制，在第一控制中，关于物体4的AR图像6的显示位置按从视点位置观看的虚像区域7(对应的虚像平面)考虑、位于虚像区域7内的情况下，能够显示，进行AR图像的显示位置的修正。另外，该控制中，关于物体4的AR图像6的显示位置(要修正时计算得到的显示位置)按从视点位置观看的虚像区域7(对应的虚像平面)考虑、位于虚像区域7外的情况下，不进行AR图像的显示位置的修正，AR图像也不显示。关于虚像区域外190(不可显示区域)，示出虚线区域7的右方外侧的区域的例子。位置191是与基本设定的视点位置E1相应地计算得到的AR图像6a的显示位置。位置192是与移动后的视点位置Ex相应地为了修正而计算得到的显示位置。位置192位于虚像区域外190。第一控制中，在虚像区域外190的情况下，只是不对AR图像进行显示和修正。视点位置返回的情况下，即修正后的显示位置返回虚像区域7内的情况下，进行修正，再次显示AR图像。
(2)第二控制中，HUD装置1在通常时，在判断为视点位置观看虚像区域7内的状态或者修正后的显示位置在虚像区域7内的状态的情况下，使修正功能自动地成为ON状态，进行修正和显示。HUD装置1在判断为视点位置并非观看虚线区域7的状态、或者修正后的显示位置在虚像区域7外的状态的情况下，使修正功能自动地切换为OFF状态，不进行修正和显示。后者的情况下，认为是驾驶员看不见虚像区域7的AR图像的状态、或者故意不观看的状态，使修正功能成为OFF状态。与状况相应地，也可能存在驾驶员不想观看虚像的情况、仅想观看实像的情况下，为此驾驶员移动视点位置的情况。通过应用上述控制，在这样的情况下，驾驶员易于不观看AR图像而是仅观看物体。
(3)第三控制中，HUD装置1基于视点位置，在修正后的AR图像的显示位置移动至虚像区域7外的情况下，不进行修正，而是保持修正前的AR图像的显示位置进行显示。即，在虚像区域7的左右端附近的位置，保留修正前的AR图像地进行显示。返回虚像区域7内的情况下，再次判断是否需要修正。该控制的情况下，在驾驶员的观看上，保留有物体与AR图像的偏差，驾驶员感觉到该偏差。驾驶员想要通过移动视点而观看物体的情况下，因为处于AR图像的叠加偏离的状态，所以易于观看物体。
[效果等]
如上所述，根据实施方式的HUD装置1，能够减少物体与虚像(AR图像)的偏差，实现适当的AR显示。特别是，能够实现与视点位置和虚像区域位置相应的适当的修正。
以上，对于本发明基于实施方式具体地进行了说明，但本发明不限定于上述实施方式，能够在不脱离其主旨的范围内进行各种变更。能够进行实施方式的构成要素的追加和删除、分离和合并、置换、组合等。对于实施方式的功能等，一部分或全部可以用集成电路等硬件实现，也可以用软件程序处理实现。各软件可以在产品出厂时预先保存在装置内，也可以在产品出厂后从外部装置经由通信获取。
实施方式的修正功能进行的修正，不仅对于水平方向(X方向)，对于铅垂方向(Y方向)等也能够同样地应用。本发明不限于车载系统，能够应用于各种用途。
附图标记说明
1…HUD装置，2…车外摄像机，3…车内摄像机，4…物体，5…观察区域，6(6a、6b)…AR图像，7…虚像区域，9…挡风玻璃，10…控制部，20…显示部，E1、Ex…视点位置，P1…虚像区域位置，P2…位置。

Claims (7)

1.一种车辆，其特征在于，包括：
用于获取车辆的信息的信息获取部；
出射要对所述车辆的挡风玻璃或组合器的观察区域投射的影像光的显示部；和
进行用于将所述AR图像显示于虚像区域的控制的控制部，
所述控制部基于所述信息获取部获取到的信息来生成用于显示AR图像的信息，并基于所生成的所述信息来控制AR图像的显示。
2.如权利要求1所述的车辆，其特征在于：
所述信息获取部包括车外摄像机和车内摄像机，
基于所述车内摄像机拍摄到的图像来检测驾驶员的视点位置或视线方向。
3.如权利要求2所述的车辆，其特征在于：
所述控制部，在所述驾驶员的视线方向没有看向所述虚像区域时不进行所述所述AR图像的显示位置的修正。
4.如权利要求2所述的车辆，其特征在于：
所述控制部，在所述驾驶员的视线方向看向所述虚像区域时进行所述所述AR图像的显示位置的修正。
5.如权利要求2所述的车辆，其特征在于：
所述控制部使用所述车内摄像机计算二维坐标或三维坐标来检测所述驾驶员的视点位置。
6.如权利要求1所述的车辆，其特征在于：
所述显示部包括对所述挡风玻璃或组合器的所述观察区域进行投射显示的投射型显示装置。
7.如权利要求1所述的车辆，其特征在于：
所述显示部包括：
用于将所述图像的影像光引导至所述观察区域的光学系统；和
驱动部，其按照驾驶员的操作或所述控制部的控制来进行驱动，以改变反射镜的角度，
与所述反射镜的角度相应地设定所述车辆的驾驶员的视点位置和所述虚像区域的位置。
CN202310715112.4A 2017-11-14 2018-10-12 车辆 Pending CN116620020A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2017218741 2017-11-14
JP2017-218741 2017-11-14
CN201880073142.7A CN111433067B (zh) 2017-11-14 2018-10-12 平视显示装置及其显示控制方法
PCT/JP2018/038165 WO2019097918A1 (ja) 2017-11-14 2018-10-12 ヘッドアップディスプレイ装置およびその表示制御方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201880073142.7A Division CN111433067B (zh) 2017-11-14 2018-10-12 平视显示装置及其显示控制方法

Publications (1)

Publication Number Publication Date
CN116620020A true CN116620020A (zh) 2023-08-22

Family

ID=66539456

Family Applications (3)

Application Number Title Priority Date Filing Date
CN202310715112.4A Pending CN116620020A (zh) 2017-11-14 2018-10-12 车辆
CN202310714002.6A Pending CN116620019A (zh) 2017-11-14 2018-10-12 平视显示装置和车辆
CN201880073142.7A Active CN111433067B (zh) 2017-11-14 2018-10-12 平视显示装置及其显示控制方法

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN202310714002.6A Pending CN116620019A (zh) 2017-11-14 2018-10-12 平视显示装置和车辆
CN201880073142.7A Active CN111433067B (zh) 2017-11-14 2018-10-12 平视显示装置及其显示控制方法

Country Status (4)

Country Link
US (1) US11181743B2 (zh)
JP (1) JP6870109B2 (zh)
CN (3) CN116620020A (zh)
WO (1) WO2019097918A1 (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6453501B1 (ja) * 2018-02-01 2019-01-16 株式会社Ｃｙｇａｍｅｓ 複合現実システム、プログラム、方法、及び携帯端末装置
US11790498B1 (en) * 2019-09-10 2023-10-17 Apple Inc. Augmented reality local tone mapping for light-transmissive display panel systems and methods
TWI797488B (zh) * 2019-10-18 2023-04-01 宏達國際電子股份有限公司 頭戴式顯示裝置及調整方法
JP7238739B2 (ja) * 2019-11-19 2023-03-14 株式会社デンソー 表示制御装置
JP2021081603A (ja) * 2019-11-20 2021-05-27 株式会社デンソー 表示装置および虚像表示装置
WO2021132090A1 (ja) * 2019-12-25 2021-07-01 日本精機株式会社 表示制御装置、ヘッドアップディスプレイ装置
CN111076905B (zh) * 2019-12-31 2023-04-28 重庆大学 一种车载抬头显示虚像像质综合测量方法
JP7413035B2 (ja) * 2020-01-16 2024-01-15 本田技研工業株式会社 表示制御装置、表示制御装置の制御方法、移動体並びにプログラム
JP2021182344A (ja) * 2020-05-20 2021-11-25 京セラ株式会社 視点検出装置および表示装置
CN111797810B (zh) * 2020-07-20 2022-11-29 吉林大学 一种行车过程中驾驶员前视预瞄区域的获取方法
CN112655024B (zh) * 2020-10-30 2022-04-22 华为技术有限公司 一种图像标定方法及装置
WO2022123922A1 (ja) * 2020-12-11 2022-06-16 株式会社Ｎｔｔドコモ 情報処理システム
JP7372230B2 (ja) * 2020-12-21 2023-10-31 トヨタ自動車株式会社 表示システム及び表示装置
CN112738487B (zh) * 2020-12-24 2022-10-11 阿波罗智联(北京)科技有限公司 图像投射方法、装置、设备及存储介质
JPWO2022190630A1 (zh) * 2021-03-12 2022-09-15
KR102447826B1 (ko) * 2021-03-30 2022-09-29 쌍용자동차 주식회사 차량의 헤드업 디스플레이 표시제어방법
DE112022002430T5 (de) 2021-04-30 2024-02-15 Nippon Seiki Co., Ltd. Anzeigesteuervorrichtung, Head-up-Display-Vorrichtung und Anzeigesteuerverfahren
JP2022184350A (ja) * 2021-06-01 2022-12-13 マツダ株式会社 ヘッドアップディスプレイ装置
EP4328654A1 (en) * 2021-06-02 2024-02-28 Kyocera Corporation Video display device
WO2023218773A1 (ja) * 2022-05-09 2023-11-16 マクセル株式会社 ヘッドアップディスプレイ装置
CN114915772B (zh) * 2022-07-13 2022-11-01 沃飞长空科技(成都)有限公司 飞行器的视景增强方法、系统、飞行器及存储介质
CN115665400B (zh) * 2022-09-06 2024-05-28 东软集团股份有限公司 增强现实抬头显示成像方法、装置、设备以及存储介质

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009217682A (ja) * 2008-03-12 2009-09-24 Yazaki Corp 車両用表示装置
JP2010070066A (ja) 2008-09-18 2010-04-02 Toshiba Corp ヘッドアップディスプレイ
JP6394940B2 (ja) * 2014-05-23 2018-09-26 日本精機株式会社 車両用表示システム
CN105333883B (zh) * 2014-08-07 2018-08-14 深圳点石创新科技有限公司 一种用于抬头显示器的导航路径轨迹显示方法和装置
KR101713740B1 (ko) * 2014-12-08 2017-03-08 현대자동차주식회사 차량의 증강현실 hud 표시 방법 및 그 표시 장치
WO2016113873A1 (ja) * 2015-01-15 2016-07-21 パイオニア株式会社 表示装置、制御方法、プログラム及び記憶媒体
EP3147150B1 (en) * 2015-03-27 2018-09-26 Panasonic Intellectual Property Management Co., Ltd. Method for adjusting position of vehicular display apparatus
JP2017001598A (ja) * 2015-06-15 2017-01-05 本田技研工業株式会社 燃料タンクの取付構造
JP6516223B2 (ja) * 2015-06-30 2019-05-22 パナソニックＩｐマネジメント株式会社 表示装置
JP2017052364A (ja) * 2015-09-09 2017-03-16 日本精機株式会社 ヘッドアップディスプレイ装置
KR20170060652A (ko) * 2015-11-24 2017-06-02 현대오트론 주식회사 헤드업 디스플레이의 좌표 매칭 장치 및 그 방법
US20170169612A1 (en) * 2015-12-15 2017-06-15 N.S. International, LTD Augmented reality alignment system and method
JP6717856B2 (ja) * 2016-02-05 2020-07-08 マクセル株式会社 ヘッドアップディスプレイ装置
JP2017157093A (ja) * 2016-03-03 2017-09-07 矢崎総業株式会社 車両用表示装置
KR102547823B1 (ko) * 2017-12-13 2023-06-26 삼성전자주식회사 컨텐츠 시각화 장치 및 방법

Also Published As

Publication number Publication date
US11181743B2 (en) 2021-11-23
JPWO2019097918A1 (ja) 2020-11-19
CN111433067B (zh) 2023-07-04
CN111433067A (zh) 2020-07-17
CN116620019A (zh) 2023-08-22
WO2019097918A1 (ja) 2019-05-23
JP6870109B2 (ja) 2021-05-12
US20210165220A1 (en) 2021-06-03

Similar Documents

Publication Publication Date Title
CN111433067B (zh) 平视显示装置及其显示控制方法
CN110573369B (zh) 平视显示器装置及其显示控制方法
CN108473054B (zh) 平视显示器装置
US10551619B2 (en) Information processing system and information display apparatus
EP3312658B1 (en) Virtual image presentation system and virtual image presentation method
US8536995B2 (en) Information display apparatus and information display method
US8212662B2 (en) Automotive display system and display method
JP2017211366A (ja) 移動体システム、情報表示装置
US11525694B2 (en) Superimposed-image display device and computer program
EP3694740A1 (en) Display device, program, image processing method, display system, and moving body
JP2014201197A (ja) ヘッドアップディスプレイ装置
JP6225379B2 (ja) 車両情報投影システム
KR20180022374A (ko) 운전석과 보조석의 차선표시 hud와 그 방법
JP7111582B2 (ja) ヘッドアップディスプレイシステム
JP2016078726A (ja) 虚像表示装置
JP2018020779A (ja) 車両情報投影システム
US20210300183A1 (en) In-vehicle display apparatus, method for controlling in-vehicle display apparatus, and computer program
JP7310560B2 (ja) 表示制御装置及び表示制御プログラム
JPWO2018030320A1 (ja) 車両用表示装置
WO2019074114A1 (en) DISPLAY DEVICE, PROGRAM, IMAGE PROCESSING METHOD, DISPLAY SYSTEM, AND MOBILE BODY
JP2013116687A (ja) 車両用画像表示装置
WO2023003045A1 (ja) 表示制御装置、ヘッドアップディスプレイ装置、及び表示制御方法
JP2022113292A (ja) 表示制御装置、ヘッドアップディスプレイ装置、及び表示制御方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination