CN110308556A - 影像显示系统及方法、移动体、非暂时性计算机可读介质 - Google Patents

影像显示系统及方法、移动体、非暂时性计算机可读介质 Download PDF

Info

Publication number
CN110308556A
CN110308556A CN201910208006.0A CN201910208006A CN110308556A CN 110308556 A CN110308556 A CN 110308556A CN 201910208006 A CN201910208006 A CN 201910208006A CN 110308556 A CN110308556 A CN 110308556A
Authority
CN
China
Prior art keywords
image
correction
display
variation
main part
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910208006.0A
Other languages
English (en)
Other versions
CN110308556B (zh
Inventor
辻胜长
森俊也
笠澄研一
三野吉辉
芝田忠司
中野信之
田中彰
林祥平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Automotive Systems Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN110308556A publication Critical patent/CN110308556A/zh
Application granted granted Critical
Publication of CN110308556B publication Critical patent/CN110308556B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/64—Imaging systems using optical elements for stabilisation of the lateral and angular position of the image
    • G02B27/646—Imaging systems using optical elements for stabilisation of the lateral and angular position of the image compensating for small deviations, e.g. due to vibration or shake
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18—Information management
    • B60K2360/186—Displaying information according to relevancy
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/23—Optical features of instruments using reflectors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/25—Optical features of instruments using filters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/33—Illumination features
    • B60K2360/334—Projection means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/211—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays producing three-dimensional [3D] effects, e.g. stereoscopic images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29—Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/011—Head-up displays characterised by optical features comprising device for correcting geometrical aberrations, distortion
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0112—Head-up displays characterised by optical features comprising device for genereting colour display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0183—Adaptation to parameters characterising the motion of the vehicle
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B2027/0192—Supplementary details
    • G02B2027/0196—Supplementary details having transparent supporting structure for display mounting, e.g. to a window or a windshield
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0492—Change of orientation of the displayed image, e.g. upside-down, mirrored
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/18—Use of a frame buffer in a display terminal, inclusive of the display panel
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/10—Automotive applications

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Atmospheric Sciences (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Geometry (AREA)
  • Instrument Panels (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供影像显示系统及方法、移动体、非暂时性计算机可读介质，减少显示图像的显示延迟，且减少对显示图像的绘制范围的限制。影像显示系统具备：显示部，显示图像；投影部，利用显示部的输出光来将与图像对应的虚像投影到对象空间；主体部，设置显示部和投影部；图像形成部，具有第一校正部和第二校正部。第一校正部执行如下第一校正处理：基于表示主体部的第一姿势变化的第一姿势信号，对虚像在对象空间中的显示位置进行校正。第二校正部执行如下第二校正处理：基于表示主体部的第二姿势变化的第二姿势信号，对虚像在对象空间中的显示位置进行校正。第一校正处理和第二校正处理是在图像形成处理的多个处理阶段中的不同的处理阶段执行。

Description

影像显示系统及方法、移动体、非暂时性计算机可读介质
技术领域
本公开一般来说涉及一种影像显示系统、影像显示方法、具备影像显示系统的移动体以及非暂时性计算机可读介质，更详细地说，涉及一种将虚像投影到对象空间的影像显示系统、影像显示方法、具备影像显示系统的移动体以及非暂时性计算机可读介质。
背景技术
作为将虚像投影到对象空间的影像显示系统，已知文献1(日本JP2017 -13590A)中记载的平视显示器装置。该平视显示器装置通过向车辆的前窗玻璃照射从显示器输出的显示光，来将显示器的显示图像的虚像以叠加于车辆前方的实景的方式由用户进行视觉识别。
该平视显示器装置具备车辆振动输入部和显示控制部。向车辆振动输入部输入车辆的振动信息(即车辆的姿势信息)。显示控制部通过基于振动信息对显示图像进行校正，来对虚像的显示位置进行校正。更详细地说，显示控制部在将显示图像绘制于第一图层之后，使绘制于第一图层的显示图像的显示位置向将车辆的振动抵消的方向移动。此外，第一图层是与显示器的显示面对应地虚拟地设置的面。其结果是，即使车辆振动，虚像的显示位置也被校正为相对于实景中的对象物保持规定的位置关系。
发明内容
发明要解决的问题
在上述的平视显示器装置中，在绘制显示图像的绘制处理中执行基于振动信息对显示图像的显示位置的校正。因此，容易发生显示部的显示延迟(例如与几帧的量相当的延迟)。另外，当进行使显示图像的显示位置偏移的校正时，与偏移的量相当的显示图像缺失在显示面外。为了减少该图像缺失，在绘制显示图像时，需要将可绘制的绘制范围限制在狭窄范围内。
本公开的目的在于，鉴于上述事由提供一种能够减少显示图像的显示延迟并且减少对显示图像的绘制范围的限制的影像显示系统、影像显示方法、程序以及具备影像显示系统的移动体。
用于解决问题的方案
本公开的一个方式所涉及的影像显示系统具备图像形成部、显示部、投影部以及主体部。所述图像形成部形成所述图像。所述显示部显示由所述图像形成部形成的所述图像。所述投影部利用所述显示部的输出光，来将与所述图像对应的虚像投影到对象空间。所述主体部设置所述显示部和所述投影部。所述图像形成部具备第一校正部和第二校正部。所述第一校正部执行以下第一校正处理：基于表示作为所述主体部的姿势变化的第一姿势变化的第一姿势信号，来对所述虚像在所述对象空间中的显示位置进行校正。所述第二校正部在与由所述第一校正部执行的所述第一校正处理的执行时刻不同的时刻执行以下第二校正处理：基于表示作为所述主体部的姿势变化的第二姿势变化的第二姿势信号，来对所述虚像在所述对象空间中的显示位置进行校正，其中，所述第二姿势变化是相比于所述第一姿势变化而言变化速度快的姿势变化。
本公开的一个方式所涉及的移动体具备所述影像显示系统和移动体主体。所述移动体主体设置有所述影像显示系统。
本公开的一个方式所涉及的影像显示方法是使用具有显示部、投影部以及主体部的影像显示系统的影像显示方法。所述显示部显示图像。所述投影部利用所述显示部的输出光，来将与所述图像对应的虚像投影到对象空间。所述主体部设置所述显示部和所述投影部。上述的影像显示方法包括图像形成处理。在所述图像形成处理中，形成显示于所述显示部的所述图像。所述图像形成处理包括第一校正处理和第二校正处理。在所述第一校正处理中，基于表示作为所述主体部的姿势变化的第一姿势变化的第一姿势信号，来对所述虚像在所述对象空间中的显示位置进行校正。在所述第二校正处理中，基于表示作为所述主体部的姿势变化的第二姿势变化的第二姿势信号，来对所述虚像在所述对象空间中的显示位置进行校正，其中，所述第二姿势变化是相比于所述第一姿势变化而言变化速度快的姿势变化。将所述第一校正处理和所述第二校正处理在互不相同的时刻执行。
本公开的一个方式所涉及的非暂时性计算机可读介质是记录有用于使计算机执行所述影像显示方法的程序的非暂时性计算机可读介质。
发明的效果
本公开具有能够减少显示图像的显示延迟并且减少对显示图像的绘制范围的限制这样的优点。
附图说明
图1是表示本实施方式所涉及的影像显示系统的结构的示意图。
图2是具备上述的影像显示系统的汽车的示意图。
图3是表示使用上述的影像显示系统的情况下的驾驶员的视野的示意图。
图4是表示上述的影像显示系统的图像显示部的结构的框图。
图5A是说明在主体部没有发生姿势变化的情况下的三维虚拟空间中的图像的绘制方法的示意图。
图5B是表示在主体部没有发生姿势变化的情况下的驾驶员的视野的示意图。
图6A是说明在主体部发生了第一姿势变化的情况下的三维虚拟空间中的图像的绘制方法的示意图。
图6B是表示在主体部发生了第一姿势变化的情况下的驾驶员的视野的示意图。
图7是说明振动校正处理和畸变校正处理的处理方法的示意图。
图8是表示振动校正处理中的变化量(振动量)与校正量之间的关系的一例的曲线图。
图9是示出显示部的变形例的示意图。
附图标记说明
1：主体部；3：投影部；5：振动传感器(第一传感器、第二传感器)；6：低通滤波器；7：高通滤波器；10：影像显示系统；20：显示部；21：图像形成部；24：绘制部；25：校正部；41：第一校正部；42：第二校正部；100：汽车(移动体主体)；252：输出缓冲器(缓冲器)；253：振动畸变校正部(校正部主体)；300：虚像；400：对象空间；700：图像。
具体实施方式
(实施方式)
(1)概要
如图1和图2所示，本实施方式所涉及的影像显示系统10是例如在作为移动体主体的汽车100中使用的平视显示器(HUD：Head-Up Display)。在本实施方式中，将包含影像显示系统10以及设置有影像显示系统10的汽车100(移动体主体)的整体设为移动体。
影像显示系统10以从汽车100的风挡101的下方向风挡101投影图像的方式配置于汽车100的车厢内。图2的例子中，在风挡101的下方的仪表板102内配置有影像显示系统10。当图像从影像显示系统10投影到风挡101时，用户 (驾驶员)200将投影到风挡101的图像视觉识别为在设定于汽车100的前方(车外)的对象空间400内显示的虚像300。
此处所说的“虚像”是指在从影像显示系统10射出的图像光在风挡101等反射物处发散时由该发散光如物体实际存在那样所成的像。另外，风挡101 是被投影图像700的投影对象物。
因此，驾驶汽车100的用户200能够看到如图3所示那样叠加于在汽车100 的前方扩展的实景且由影像显示系统10投影的虚像300。因而，根据影像显示系统10，能够将各种驾驶辅助信息作为虚像300叠加于实景来进行显示，并被用户200视觉识别。驾驶辅助信息例如是车速信息、导航信息、行人信息、前方车辆信息、车道偏离信息以及车辆状况信息等。由此，用户200只通过从使视线朝向风挡101的前方的状态稍微移动视线，就能够在视觉上获取驾驶辅助信息。
显示于对象空间400的虚像300例如是表示汽车100的行进方向来作为导航信息的信息，或者是在路面600上表示向右转弯或向左转弯的箭头符号。这种虚像300是使用增强现实(AR：Augmented Reality)技术显示的图像，并叠加于用户200看到的实景(路面600、建筑物、周边车辆以及行人等)的特定位置来进行显示。
显示于对象空间400的虚像300被形成在影像显示系统10的与光轴500交叉的虚拟面501上。光轴500在汽车100的前方的对象空间400中沿着汽车100 的前方的路面600。形成虚像300的虚拟面501大致垂直于路面600。例如，在路面600为水平面的情况下，虚像300沿着垂直面显示。
如图1所示，影像显示系统10具备图像显示部2、投影部3以及主体部1。图像显示部2具有显示面20a，在显示面20a显示图像700。投影部3执行如下投影处理：利用图像显示部2的输出光，来将与图像700对应的虚像300(参照图2)投影到对象空间400(参照图2)。在主体部1设置这些图像显示部2和投影部3。
在这样的主体部1搭载于汽车100的状态下，主体部1的姿势例如因路面 600的状况和汽车100的加减速等而与汽车100的姿势一起变化。具体地说，例如，如果汽车100由于减速等而成为前倾姿势，则主体部1也成为前倾姿势，如果汽车100由于加速等而成为后倾姿势，则主体部1也成为后倾姿势。当影像显示系统10的主体部1的姿势变化时，虚像300与实景之间的相对配置关系变化。因此，例如，在主体部1的姿势发生了变化的情况下，虚像300被显示于相对于用户200看到的实景中的本来应叠加的特定位置偏离的位置。
因此，如图4所示，影像显示系统10具备第一校正部41和第二校正部42，该第一校正部41和第二校正部42根据主体部1的姿势变化来对虚像300在对象空间400中的显示位置进行校正，使得虚像300显示于实景中的本来应叠加的特定位置。第一校正部41执行如下第一校正处理：根据作为主体部1的姿势变化的第一姿势变化，来对虚像300的显示位置进行校正。第二校正部42 执行如下第二校正处理：根据作为主体部1的姿势变化的第二姿势变化，来对虚像300的显示位置进行校正。第二校正部42在与由第一校正部执行的第一校正处理的执行时刻不同的时刻执行第二校正处理。此外，第二姿势变化是相比于第一姿势变化而言变化速度快的姿势变化。
第一姿势变化是主体部1的姿势变化的变化速度比较慢的姿势变化。也就是说，第一姿势变化是低于第一频率的频率的振动(姿势变化)。换言之，第一姿势变化是主体部1的姿势变化的发生频度低于第一阈值的姿势变化。再换言之，第一姿势变化是如主体部1的姿势变化后的姿势持续固定时间那样的主体部1的姿势变化。这样的第一姿势变化例如是因汽车100的加减速引起的姿势变化等。
第二姿势变化是主体部1的姿势变化的变化速度比较快的姿势变化。当将第二姿势变化与第一姿势变化进行比较时，第二姿势变化是相比于第一姿势变化而言变化速度快的姿势变化。也就是说，第二姿势变化是主体部1中的第二频率以上的频率的振动(姿势变化)。换言之，第二姿势变化是主体部1 的姿势变化的发生频度高于第二阈值的姿势变化。再换言之，第二姿势变化是如主体部1的姿势随时间经过而变化那样的主体部1的姿势变化。这样的第二姿势变化例如是伴随汽车100在凸凹不平的道路上行驶时的汽车100的上下运动产生的。上述的第一频率和第二频率既可以是彼此相同的值，也可以是不同的值。上述的第一阈值和第二阈值既可以是彼此相同的值，也可以是不同的值。
由此，根据主体部1的姿势变化，来对虚像300的显示位置进行校正。因此，例如，即使汽车100发生第一姿势变化或第二姿势变化，影像显示系统 10也能够将虚像300叠加于用户200看到的实景中的本来应叠加的特定位置来进行显示。
而且，在影像显示系统10中，根据汽车100的姿势变化的种类(第一姿势变化或第二姿势变化)，来区分使用第一校正部41和第二校正部42。因而，即使在主体部1中与汽车100的姿势变化联动地发生各样的姿势变化的情况下，也能够根据姿势变化的种类(第一姿势变化或第二姿势变化)，来在图像显示部2中的多个处理阶段中的适当的处理阶段对虚像300的显示位置进行校正。
例如，由于针对第二姿势变化进行的对虚像300的显示位置的校正处理要求实时性，因此在能够实时地进行处理的处理阶段执行该校正处理。由于针对第一姿势变化进行的对虚像300的显示位置的校正处理不要求实时性，因此在校正处理时图像700的绘制范围不易受限制的处理阶段执行该校正处理。其结果是，具有如下优点：在根据主体部1的姿势变化来对虚像300的显示位置进行校正时，能够减少虚像300的显示延迟并且减少对与虚像300对应的图像700的绘制范围的限制。
(2)结构
如图1所示，影像显示系统10具备主体部1、图像显示部2、投影部3、振动传感器5、低通滤波器6以及高通滤波器7。由振动传感器5和低通滤波器6 构成用于检测主体部1的第一姿势变化并将第一姿势变化输出为第一姿势信号的第一检测部。由振动传感器5和高通滤波器7构成用于检测主体部1的第二姿势变化并将第二姿势变化输出为第二姿势信号的第二检测部。
主体部1例如由壳体构成。在主体部1内收容(安装)有图像显示部2、投影部3、振动传感器5、低通滤波器6以及高通滤波器7。如图2所示，主体部1被固定在汽车100的仪表板102内。主体部1也可以不是壳体，而是例如框或板材等。此外，图像显示部2如后述的那样具备显示部20和图像形成部21，但是显示部20和图像形成部21中的图像形成部21也可以被设置在主体部1，还可以不设置在主体部1。
振动传感器5是检测对主体部1赋予的振动的传感器，通过检测对主体部 1赋予的振动，来检测主体部1的第一姿势变化及第二姿势变化。即，对主体部1赋予的振动中包含低于第一频率的频率的振动(第一姿势变化的信息)和第二频率以上的频率的振动(第二姿势变化的信息)。由于主体部1被固定于汽车100，因此对主体部1赋予的振动与对汽车100赋予的振动实质上相同。因此，振动传感器5通过检测对汽车100赋予的振动，来检测对主体部1赋予的振动。振动传感器5例如检测因汽车100的振动而变化的汽车100的俯仰角来作为对汽车100赋予的振动的信息。振动传感器5将与所检测出的振动对应的信号输出到低通滤波器6和高通滤波器7。
低通滤波器6不使从振动传感器5输出的信号中的第一频率以上的频率的信号成分通过，而使从振动传感器5输出的信号中的低于第一频率的频率的信号成分(即表示第一姿势变化的信号)通过。而且，低通滤波器6将通过的信号(信号成分)作为第一姿势信号输出到图像显示部2。高通滤波器7不使从振动传感器5输出的信号中的低于第二频率的频率的信号成分通过，而使从振动传感器5输出的信号中的第二频率以上的频率的信号成分(即表示第二姿势变化的信号)通过。而且，高通滤波器7将通过的信号(信号成分)作为第二姿势信号输出到图像显示部2。第一姿势信号是表示主体部1的第一姿势变化的姿势信号。第二姿势信号是表示主体部1的第二姿势变化的姿势信号。振动传感器5例如是陀螺仪传感器(角速度传感器)。此外，振动传感器5不限定于陀螺仪传感器，例如也可以是加速度传感器。
图像显示部2具有显示面20a，在显示面20a显示图像700，朝向投影部3 照射表示所显示的图像700的光。如图1所示，图像显示部2具有显示部20和图像形成部21。显示部20执行显示图像700的显示处理，并向显示部20的前方照射表示所显示的图像700的光。图像形成部21执行形成显示于显示部20 的图像700的图像形成处理。在本实施方式中，图像700是表示为了引导到达汽车100的目的地为止的行驶路径而在汽车100所行驶的路面上显示的箭头符号的图像。以下，也将图像700记载为箭头符号图像700。因而，虚像300 也是表示箭头符号的图像(参照图3)。
更详细地说，图像形成部21从搭载于汽车100的导航装置获取导航信息。导航信息例如是到达汽车100要驶向的目的地为止的行驶路径以及离最近的十字路口的距离等导航信息。然后，当基于获取到的导航信息判定为汽车100 距行驶路径上的最近的十字路口接近至固定距离时，图像形成部21形成用于引导在上述的十字路口处的行进方向的箭头符号图像700。此时，箭头符号图像700以其虚像300被显示于对象空间400内的预定位置(例如在上述的十字路口内箭头符号沿着道路重叠的位置)401的方式形成。然后，图像形成部 21向显示部20输出所形成的箭头符号图像700。由此，如果主体部1没有发生姿势变化，则箭头符号图像700的虚像300显示于对象空间400的预定位置(例如在上述的十字路口内箭头符号沿着道路重叠的位置)401。
另外，图像形成部21通过获取来自低通滤波器6的第一姿势信号以及来自高通滤波器7的第二姿势信号，来获取与主体部1的第一姿势变化及第二姿势变化相关的姿势信息。在主体部1发生了姿势变化的情况下，虚像300与实景之间的相对配置关系发生变化，因此在对象空间400中，虚像300被显示于相对于实景中的本来应叠加的特定位置(例如十字路口)偏离的位置。例如，当汽车100成为后倾姿势时，用户200的视线上移，用户200看到的实景相对地向下方移动。其结果是，在对象空间400内，虚像300显示于比十字路口靠上的位置。因此，图像形成部21基于获取到的姿势信息来对图像700在显示面20a中的显示位置进行校正，由此在对象空间400中将虚像300的显示位置从预定位置401校正为十字路口内的箭头符号沿着道路重叠的位置。
投影部3利用来自图像显示部2的显示面20a的输出光，来将与图像700对应的虚像300投影到对象空间400。在本实施方式中，如上所述，影像显示系统10是平视显示器，因此投影部3将图像700投影到风挡101(参照图2)。
如图1所示，投影部3具有第一反射镜31和第二反射镜32。关于第一反射镜31和第二反射镜32，从图像显示部2起在输出光的光路上依次配置第一反射镜31、第二反射镜32。更详细地说，第一反射镜31被配置在图像显示部2 的显示面20a的上方，以入射图像显示部2的输出光。第一反射镜31将图像显示部2的输出光朝向第二反射镜32反射。第二反射镜32被配置于在第一反射镜31处发生了反射的图像显示部2的输出光入射的位置(例如第一反射镜31 的前方下侧的位置)。第二反射镜32将在第一反射镜31处发生了反射的图像显示部2的输出光朝向上方(即风挡101)反射。第一反射镜31例如是凸面镜，第二反射镜32例如是凹面镜。
根据该结构，投影部3将图像显示部2的显示面20a上显示的图像700放大或缩小为适当的大小，并作为投影图像投影到风挡101。其结果是，在对象空间400中显示虚像300。也就是说，在驾驶汽车100的用户200的视野内，从影像显示系统10投影出的图像700的虚像300叠加于在汽车100的前方扩展的实景来进行显示。
参照图4来详细说明图像形成部21和显示部20。
如图4所示，图像形成部21具备绘制部24和校正部25。绘制部24执行用于绘制显示于显示部20的图像700(参照图1)的绘制处理。绘制部24具备绘制部主体241和绘制缓冲器242。绘制部主体241形成图像700，绘制缓冲器242 暂时保存由绘制部主体241绘制成的图像700，并向校正部25输出该图像700。校正部25执行用于对由绘制部24绘制成的图像700进行各种校正的校正处理，并将校正处理后的图像700输出到显示部20。
在本实施方式中，绘制部主体241基于图像形成部21获取到的上述的导航信息，来如上述的那样绘制用于引导在十字路口处的行进方向的图像(箭头符号图像)700。
另外，绘制部主体241基于来自低通滤波器6的第一姿势信号来对图像 700进行校正，使得因主体部1的第一姿势变化产生的虚像300与实景的偏差抵消。对该图像700的校正处理(第一校正处理)在图像700的绘制期间执行。更详细地说，绘制部主体241基于来自低通滤波器6的第一姿势信号，来判定为在主体部1发生了第一姿势变化。在像这样做出了判定时，绘制部主体241 以使因主体部1的第一姿势变化产生的虚像300与实景的偏差抵消的方式来绘制图像700，由此对图像700进行校正。由此，即使主体部1发生第一姿势变化，在对象空间400中，虚像300也显示于用户200看到的实景中的本来应叠加的特定位置(例如在十字路口内箭头符号沿着道路重叠的位置)。
像这样，绘制部主体241对图像700执行基于第一姿势信号、根据主体部1的第一姿势变化来对虚像300的显示位置进行校正的校正处理(第一校正处理)。在本实施方式中，绘制部主体241(即绘制部24)作为根据主体部1的第一姿势变化对虚像300的显示位置进行校正的第一校正部41来发挥功能。
更详细地说，绘制部主体241在绘制图像700时，首先在与对象空间400 对应的三维虚拟空间内绘制与图像700对应的三维图像。然后，绘制部主体 241将绘制成的三维图像通过投影到三维虚拟空间内的规定的投影面来变换为二维图像，并将该二维图像作为图像700。另外，绘制部主体241在图像700 的绘制期间对图像进行校正时，通过在上述的三维虚拟空间内绘制出上述的三维图像时对上述的三维图像的位置和/或角度进行校正，来对图像700进行校正。
像这样，针对主体部1的第一姿势变化进行的对虚像300的显示位置的校正处理(即不要求实时性的校正处理)在图像700的绘制期间执行。由此，能够抑制在将图像700显示于显示面20a时图像700的一部分缺失在显示面20a外 (即图像缺失)。即，能够减少图像缺失而不是实时性。其结果是，能够减少对图像700的绘制范围的限制。
如图4所示，校正部25具备影像校正部251、输出缓冲器252(缓冲器)以及振动畸变校正部253(校正部主体)。
影像校正部251对从绘制缓冲器242输出的图像(即由绘制部24绘制成的图像)700进行色调校正处理。色调校正处理是调整图像700的各部分(像素) 的颜色的校正处理。更详细地说，影像校正部251将由绘制部24绘制成的图像700的各部分的颜色校正成规定的颜色。例如，在由绘制部24绘制成的图像700中，在原本被规定为白色的部分发红的情况下，将该发红的部分校正为白色。影像校正部251将被进行色调校正后的图像700输出到输出缓冲器 252。
输出缓冲器252暂时保存从影像校正部251输出的图像700，并向振动畸变校正部253输出该图像700。
振动畸变校正部253对从输出缓冲器252输出的图像(即由绘制部24绘制成的图像)700执行振动校正处理(第二校正处理)和畸变校正处理。振动畸变校正部253将校正后的图像700输出到显示部20。
在振动校正处理(第二校正处理)中，振动畸变校正部253基于来自高通滤波器7的第二姿势信号，来对从输出缓冲器252输出的图像700进行校正，使得因主体部1的第二姿势变化产生的虚像300与实景的偏差抵消。更详细地说，振动畸变校正部253基于来自高通滤波器7的第二姿势信号，来判定为在主体部1发生了振动(即第二姿势变化)。在像这样做出了判定时，振动畸变校正部 253对从输出缓冲器252输出的图像700进行校正，使得因主体部1的振动产生的虚像300与实景的偏差抵消。该校正处理中，对图像700进行校正，使得在图像700显示于显示面20a时图像700向规定方向(将因主体部1的振动产生的虚像300与实景的偏差抵消的方向)偏移地进行显示。像这样，振动畸变校正部253对图像700执行基于第二姿势信号来对虚像300的显示位置进行校正的校正处理(第二校正处理)。在本实施方式中，振动畸变校正部253(即校正部 25)作为根据主体部1的第二姿势变化对虚像300的显示位置进行校正的第二校正部42来发挥功能。
通过该振动校正处理，即使在主体部1发生第二姿势变化，在对象空间 400中，虚像300也显示于用户200看到的实景中的本来应叠加的特定位置(例如在十字路口内箭头符号沿着道路重叠的位置)。像这样，校正部25还作为根据主体部1的第二姿势变化对虚像300的显示位置进行校正的第二校正部 42来发挥功能。
在畸变校正处理中，振动畸变校正部253对从输出缓冲器252输出的图像 700进行校正，以消除因在风挡101和投影部3处的反射而在虚像300中产生的畸变。本实施方式中，畸变校正处理是在振动校正处理之后执行。即，振动校正处理和畸变校正处理依次连续地进行。
像这样，针对主体部1的第二姿势变化进行的对虚像300的显示位置的校正处理(即要求实时性的校正处理)是在输出缓冲器252的后级且显示部20的前级(即图像形成过程的最终级)执行的。由此，能够减少显示部20中的显示延迟来执行针对主体部1的第二姿势变化进行的对虚像300的显示位置的校正处理。
图像形成部21的图像形成处理包括在形成图像700时依次执行的多个步骤。多个步骤分别与绘制部主体241、绘制缓冲器242、影像校正部251、输出缓冲器252以及振动畸变校正部253各自的处理对应。第一校正部41和第二校正部42在上述的多个步骤中的不同的步骤(与绘制部主体241的处理对应的步骤、与振动畸变校正部253的处理对应的步骤)执行第一校正处理和第二校正处理。也就是说，第一校正部41在与绘制部主体241的处理对应的步骤执行第一校正处理。第二校正部42在与振动畸变校正部253的处理对应的步骤执行第二校正处理。像这样，通过将第一校正处理和第二校正处理在不同的步骤执行，能够将第一校正处理和第二校正处理在符合它们的特性(例如有无实时性)的处理阶段执行。
绘制部24和校正部25分别由例如以CPU(Central Processing Unit：中央处理单元)和存储器为主结构的微型计算机构成。换言之，绘制部24和校正部 25分别由具有CPU和存储器的计算机(处理器)实现，计算机通过由CPU执行存储器中存储的程序，来作为绘制部24或校正部25发挥功能。绘制部24的程序被预先记录在绘制部24的存储器中，校正部25的程序被预先记录在校正部 25的存储器中，但也可以通过互联网等电通信回路或者被记录在存储卡等非暂时性记录介质中来提供。
如图4所示，显示部20具有液晶面板201、光源装置202以及显示控制部 203。液晶面板201显示由图像形成部21形成的图像700。光源装置202向液晶面板201的前方照射出表示显示于液晶面板201的图像700的光。显示控制部 203对液晶面板201和光源装置202进行控制。
液晶面板201例如是LCD(Liquid Crystal Display：液晶显示器)。液晶面板201配置在光源装置202的前方。液晶面板201的前表面(即与光源装置202 相反一侧的表面)构成显示面20a。在显示面20a显示图像700。
光源装置202被用作液晶面板201的背光。光源装置202的输出光透过液晶面板201从显示面20a输出。光源装置202是使用发光二极管或激光二极管等固体发光元件来向液晶面板201的背面的大致整个区域照射光的面光源。
显示控制部203基于从图像形成部21输出到显示部20的图像700来驱动液晶面板201，由此使显示面20a显示图像700。另外，显示控制部203使光源装置202点亮，来向液晶面板201的前方照射出显示于液晶面板201的图像700。此时，向液晶面板201的前方照射出的光是反映出显示于液晶面板201的图像700的光。因而，利用光源装置202的输出光，来将显示于液晶面板201的图像投影到液晶面板201的前方。
显示控制部203由例如以CPU(Central Processing Unit：中央处理单元)和存储器为主结构的微型计算机(处理器)构成。换言之，显示控制部203由具有 CPU和存储器的计算机实现，计算机通过由CPU执行存储器中存储的程序来作为显示控制部203发挥功能。程序被预先记录在显示控制部203的存储器中，但也可以是通过互联网等电通信回路或者被记录在存储卡等非暂时性记录介质中来提供。
根据这样构成的影像显示系统10，在根据主体部1的姿势变化来对虚像 300在对象空间400中的显示位置进行校正时，能够减少与虚像300对应的图像700的显示延迟，并且减少对图像700的绘制范围的限制。更详细地说，在根据主体部1的姿势变化来对虚像300在对象空间400中的显示位置进行校正时，该校正处理被分为针对主体部1的第一姿势变化的第一校正处理以及针对主体部1的第二姿势变化的第二校正处理来执行。因此，要求实时性的第二校正处理能够在能够减少因第二校正处理产生的显示延迟的处理阶段执行，不要求实时性的第一校正处理能够在能够减少因第一校正处理产生的对绘制范围的限制的其它处理阶段执行。
(3)绘制部的校正处理(即第一校正部的校正处理)的详细内容
参照图5A～图6B来详细说明绘制部24的校正处理(即第一校正部41的校正处理)。
首先，说明绘制部24绘制图像700的绘制方法。在绘制部24中，绘制部主体241绘制图像700。如图5A所示，绘制部主体241具有用于绘制图像700 的三维虚拟空间70。三维虚拟空间70设定在安装于绘制部主体241的规定的存储装置内。
三维虚拟空间70与对象空间400对应。在三维虚拟空间70中设定有虚拟的光轴71、投影面72、虚拟的路面74以及预定位置75。虚拟的光轴71、投影面72、虚拟的路面74及预定位置75分别与对象空间400中的光轴500、虚拟面 501、路面600及预定位置401对应。因而，投影面72与虚拟的光轴71实质上正交。
如图5A所示，绘制部主体241首先在三维虚拟空间70内绘制与图像700 对应的三维图像73。此时，三维图像73被配置为位于三维虚拟空间70内的预定位置75，且与虚拟的路面74保持规定的配置关系(例如，平行的关系)。然后，绘制部主体241通过将绘制成的三维图像73投影到三维虚拟空间70内的投影面72，来将三维图像73变换为二维图像。该二维图像成为图像700。
如图5B所示，如果汽车100没有发生的姿势变化，则这样绘制成的图像 700的虚像300显示于对象空间400中的预定位置401(即在十字路口内箭头符号沿着道路重叠的位置)。
而且，当主体部1发生第一姿势变化时，用户200的视线例如向上移，用户200看到的实景相对地向下移动。其结果是，在对象空间400内，虚像300 显示于比十字路口靠上的位置(参照图6B的300X)。
像这样，在主体部1发生了第一姿势变化的情况下，绘制部主体241以使因主体部1的第一姿势变化产生的虚像300与实景的偏差抵消的方式来绘制图像700，由此对虚像300的显示位置进行校正。更详细地说，绘制部主体241 在三维虚拟空间70内绘制三维图像73时，将三维图像绘制在相对于预定位置 75例如向下方偏移的位置76(参照图6A)，使得因主体部1的第一姿势变化产生的虚像300与实景的偏差抵消。此外，图6A中，对校正前的三维图像73的附图标记附加“X”，对校正后的三维图像73的附图标记附加“Y”。
然后，绘制部主体241将绘制成的(校正后的)三维图像73Y投影到三维虚拟空间70内的投影面72，来将三维图像73Y变换为二维图像。该二维图像成为校正后的图像700。如图6B所示，这样校正后的图像700的虚像300Y显示于对象空间400内的相对于预定位置401例如向下方偏移的位置(在十字路口内箭头符号沿着道路重叠的位置)。此外，图6B中，对校正前的虚像300的附图标记附加“X”，对校正后的虚像300的附图标记附加“Y”。
(4)振动畸变校正部的校正处理(即第二校正部的校正处理)的详细内容
参照图7、图8来详细说明振动畸变校正部253的校正处理(即第二校正部 42的校正处理)。
此外，图7中，对被执行振动校正处理和畸变校正处理之前的图像700及图像700中的箭头符号部分710的附图标记附加X。另外，对被执行振动校正处理和畸变校正处理之后的图像700及图像700中的箭头符号部分710的附图标记附加Y。
振动畸变校正部253在对从输出缓冲器252输出的图像700执行振动校正处理之后，执行畸变校正处理。振动校正处理和畸变校正处理依次连续地执行。在振动校正处理中，对因主体部1的第二姿势变化产生的虚像300与实景的偏差进行校正。在畸变校正处理中，对因在风挡101和投影部3处的反射产生的虚像300的畸变进行校正。
如图7所示，振动畸变校正部253具有绘制缓冲器80和行缓冲器81。
绘制缓冲器80暂时保存从输出缓冲器252输出的图像700。绘制缓冲器80 能够变更从绘制缓冲器80读出图像700时的读出开始位置P1。例如，当将读出开始位置P1设定于图像700的左上角部(基准位置)时，以图像700的左上角部为基准来从绘制缓冲器80读出与一个画面的量相当的图像。在该情况下，所读出的图像700以构图没有偏移的方式读出。
另一方面，当读出开始位置P1变更为相对于图像700的左上角部向上偏移的位置P1a时，以读出开始位置P1a为基准来从绘制缓冲器80读出与一个画面的量相当的图像。在该情况下，所读出的图像700成为构图向下方偏移了与读出开始位置P1a向上方偏移的量相当的部分所得到的图像。其结果是，当图像700Y显示于显示面20a时，图像700Y中的箭头符号部分710以向下方偏移的方式进行显示。相反地，当读出开始位置P1被设定于相对于图像700 的左上角部向下偏移的位置时，在图像700显示于显示面20a时，图像700Y 中的箭头符号部分710Y以向上方偏移的方式进行显示。
在从绘制缓冲器80读出图像700时，按数行的量的作为图像区域的每个小区域图像701来读出图像700。此处，小区域图像701的集合构成与一个画面的量相当的图像700。
行缓冲器81是能够保存数行的量的作为图像区域的小区域图像701的存储装置。行缓冲器81暂时保存从绘制缓冲器80读出的小区域图像701，并在畸变校正处理之后，将小区域图像701中的与一行的量相当的图像逐一地输出到显示控制部203。
振动畸变校正部253将从输出缓冲器252输出的图像700X暂时保存于绘制缓冲器80中。然后，振动畸变校正部253将保存于绘制缓冲器80中的图像 700X从所指定的读出开始位置P1起按小区域图像701来逐一读出，将所读出的小区域图像701暂时保存于行缓冲器81中。然后，振动畸变校正部253对保存于行缓冲器81中的小区域图像701执行畸变校正处理，将构成小区域图像 701的多个行的图像从行缓冲器81按与一行的量相当的图像来逐一读出并输出到显示部20。然后，在显示部20中显示被进行振动校正处理和畸变校正处理后的图像700Y。
此时，振动畸变校正部253基于来自振动传感器5的第二姿势信号来检测主体部1的第二姿势变化的俯仰角，并改变读出开始位置P1，使得因该俯仰角产生的虚像300与实景的偏差抵消。例如，在俯仰角是使主体部1为后倾姿势的情况下，将读出开始位置P1变更为比图像700的左上角部靠上方的位置 P1a，使得虚像300显示于对象空间400内的比预定位置401靠下方的位置。通过从该读出开始位置P1a起读出图像700，来执行振动校正处理。即，在校正后的图像700Y显示于显示部20时，图像700Y中的箭头符号部分710Y的显示位置被校正为比校正前的图像700X中的箭头符号部分710X的显示位置靠下方的位置。由此，对因主体部1的振动产生的虚像300与实景的偏差进行校正。
此外，当读出开始位置P1被变更为相对于图像700的左上角部偏移的位置时，图像700的构图偏移，因此在图像700中产生图像空白部分700s，但该图像空白部分700s例如也可以显示为黑色图像。另外，虽然存在因畸变校正处理而产生图像空白部分的情况，但该情况下的图像空白部分700t例如也可以显示为黑色图像。
像这样，在输出缓冲器252的后级且显示部20的前级执行振动畸变校正处理。因此，能够抑制显示部20中的显示延迟。另外，在对图像700进行畸变校正处理时，从绘制缓冲器80向行缓冲器81将图像700按小区域图像701逐一读出，并对小区域图像701逐一进行畸变校正处理后输出到显示部20。因此，能够进一步抑制从行缓冲器81向显示部20的图像输出的延迟，其结果是，能够进一步抑制显示部20中的显示延迟。
此外，也可以是，在上述的振动校正处理中，对图像700的显示位置进行校正时的校正量(偏离量)H1相对于主体部1的第二姿势变化的变化量(俯仰角)α1的大小而言是非线性的。在该情况下，如图8所示，校正量H1根据变化量α1的大小而变化。例如，也可以是，在变化量α1小于规定值时(即变化量α1 比较小时)，将校正量H1设得比较小或者设为零(实质上为零)，在变化量α1 为规定值以上时，使校正量H1与变化量α1成比例。由此，能够在汽车100的怠速(idling)时那样的主体部1的第二姿势变化的变化量α1比较小时不进行振动校正处理，只在主体部1的第二姿势变化的变化量α1大到某种程度时才进行振动校正处理。由此，针对汽车100的怠速时的小的振动，能够不对虚像 300的显示位置进行校正。此外，也可以是，使校正量H1相对于变化量α1而言始终线性地变化。
在上述的说明中，主体部1的第二姿势变化是汽车100在俯仰方向的变化，但也可以是汽车100在横摆方向的变化。在该情况下，读出开始位置P1根据汽车100的横摆角而左右变动。而且，在将图像700显示于显示部20时，图像 700中的箭头符号部分710的显示位置被校正为相对于校正前的图像700中的箭头符号部分710向左右方向偏移的位置。另外，主体部1的第二姿势变化也可以是侧倾方向的变化。在该情况下，以使读出开始位置P1与侧倾角相应地旋转的方式来读出图像700。而且，在图像700显示于显示部20时，图像700 中的箭头符号部分710被校正为相对于校正前的图像700中的箭头符号部分 710而言发生了旋转的位置。此外，横摆方向是指绕汽车100的上下方向的轴线的方向，横摆角是指横摆方向的旋转角。侧倾方向是指绕汽车100的前后方向的轴线的方向，侧倾角是指侧倾方向的旋转角。
另外，在上述的说明中，按每个小区域图像701来执行畸变校正处理，但也可以按每个图像700来执行畸变校正处理。在该情况下，将行缓冲器81 变更为能够暂时保存与一个画面的量相当的图像的绘制缓冲器，并在该绘制缓冲器上执行畸变校正处理。
(5)变形例
上述的实施方式只不过是本公开的各种实施方式中的一个。上述的实施方式只要能够实现本公开的目的即可，能够根据设计等进行各种变更。并且，上述的实施方式所涉及的方式不限于以单个的影像显示系统具体化。例如，也可以是以具备影像显示系统10的移动体、使用了影像显示系统10的影像显示方法来将上述的实施方式所涉及的方式具体化。另外，还可以是以用于使计算机执行上述的影像显示方法的程序、存储有该程序的非暂时性存储介质等来将上述的实施方式所涉及的方式具体化。以下所说明的变形例能够适当组合地应用。
在上述的实施方式中，用一个振动传感器5检测主体部1的第一姿势变化和第二姿势变化这双方，并用两个滤波器6、7将检测出的第一姿势变化和第二姿势变化分离为不同的姿势信号后输出，但不限定于此。例如，也可以将振动传感器5分为第一振动传感器(第一检测部)和第二振动传感器(第二检测部)这两个传感器来设置。第一振动传感器检测主体部1的第一姿势变化，并将检测出的第一姿势变化作为第一姿势信号输出。第二振动传感器检测主体部1的第二姿势变化，并将检测出的第二姿势变化作为第二姿势信号输出。在该情况下，能够省略低通滤波器6和高通滤波器7。
另外，投影部3至少具有光学元件即可，并不是必须具有第一反射镜31 和第二反射镜32这两个反射镜，也可以只具有一个反射镜，或者具有三个以上的反射镜。并且，投影部3也可以具有例如透镜等反射镜以外的光学部件。
另外，影像显示系统10不限于将虚像300投影到在汽车100的行进方向的前方设定的对象空间400的结构，例如也可以将虚像300投影到汽车100的行进方向的侧方、后方或上方等。
另外，影像显示系统10不限于在汽车100中使用的平视显示器，例如还能够应用于两轮车、火车、飞机、建筑机械以及船舶等汽车100以外的移动体主体。并且，影像显示系统10不限于移动体，例如也可以在娱乐设施中使用。另外，影像显示系统10还可以被用作头戴式显示器(HMD：Head Mounted Display)等可穿戴终端、医疗设备或者固定型的装置。另外，影像显示系统 10例如还可以被作为电子取景器等被组装到数字摄像机等设备中来使用。
另外，在本实施方式中，绘制部24、校正部25以及显示控制部203由互不相同的CPU和存储器构成，但也可以是，绘制部24、校正部25以及显示控制部203共用一个CPU和一个存储器。另外，也可以是，绘制部24、校正部 25以及显示控制部203中的任意两者共用一个CPU和一个存储器。
另外，也可以是，由GPU(Graphics Processing Unit：图形处理单元)构成绘制部24，来代替由CPU构成绘制部24。另外，也可以是，由FPGA(field- programmable gatearray：现场可编程门阵列)构成校正部25，来代替由CPU 构成校正部25。
另外，在本实施方式中，振动畸变校正部253(即校正部25)被用作执行针对主体部1的第二姿势变化的校正处理的校正部，但不限定于此。例如，振动畸变校正部253也可以被用作执行针对主体部1的姿势变化(即没有被分为第一姿势变化和第二姿势变化的姿势变化)的校正处理的校正部。
另外，上述的实施方式中，显示部20是具备液晶面板201的结构，但不限定于这样的结构。也可以是，如图9所示，显示部20构成为从显示部20的显示面20a的背面(即背后)扫描激光来形成图像700。
更详细地说，显示部20具有漫透射型的屏幕90以及从屏幕90的背后对屏幕90照射光的照射部91。照射部91是扫描型的光照射部，对屏幕90照射光K1。由此，利用来自照射部91的光K1来在由屏幕90的前表面或背面(在此为前表面)构成的显示面20a上绘制图像700，利用透过屏幕90的光K1来在对象空间 400中形成虚像300(参照图2)。
照射部91具有输出光(例如激光)K1的光源911、对来自光源911的光K1 进行扫描的扫描部912、以及透镜913。光源911由输出光K1的激光组件构成。扫描部912将来自光源911的光K1进行反射后经由透镜913向屏幕90照射。此时，扫描部912通过改变光K1的反射方向，来在显示面20a上扫描向屏幕90 的显示面20a照射的光。此处，扫描部912进行在显示面20a的纵向和横向上以二维方式扫描光K1的光栅扫描(Raster Scan)。也就是说，扫描部912通过扫描显示面20a中形成的亮点，来在显示面20a形成二维的图像(例如图像700)。亮点是光K1在屏幕90的显示面20a相交的点。扫描部912例如具有使用了 MEMS(Micro ElectroMechanical Systems：微电子机械系统)技术的微小的扫描反射镜。也就是说，扫描部912包含用于反射光K1的光学元件(反射镜部)，通过使光学元件旋转来将来自光源911的光K1朝向与光学元件的旋转角度 (偏转角)相应的方向反射。由此，扫描部912对来自光源911的光K1进行扫描。该扫描部912通过使光学元件以互相正交的两个轴为中心进行旋转，来实现以二维方式扫描光K1的光栅扫描。
(总结)
第1方式所涉及的影像显示系统(10)具备图像形成部(21)、显示部(20)、投影部(3)以及主体部(1)。图像形成部(21)形成图像(700)。显示部(20)显示由图像形成部(21)形成的图像(700)。投影部(3)利用显示部(20)的输出光，来将与图像(700)对应的虚像(300)投影到对象空间(400)。主体部(1)设置显示部(20) 和投影部(3)。图像形成部(21)具备第一校正部(41)和第二校正部(42)。第一校正部(41)执行以下第一校正处理：基于表示作为主体部(1)的姿势变化的第一姿势变化的第一姿势信号，来对虚像(300)在对象空间(400)中的显示位置进行校正。第二校正部(42)在与由第一校正部(41)执行第一校正处理的执行时刻不同的时刻执行以下第二校正处理：基于表示作为主体部(1)的姿势变化的第二姿势变化的第二姿势信号，来对虚像(300)在对象空间(400)中的显示位置进行校正，其中，该第二姿势变化是相比于第一姿势变化而言变化速度快的姿势变化。
根据该结构，在根据主体部(1)的姿势变化来对虚像(300)在对象空间(400) 中的显示位置进行校正时，能够减少与虚像(300)对应的图像(700)的显示延迟，并且减少对图像(700)的绘制范围的限制。更详细地说，在根据主体部(1) 的姿势变化来对虚像(300)在对象空间(400)中的显示位置进行校正时，该校正处理被分为第一校正处理和第二校正处理来执行。第一校正处理是针对作为主体部(1)的姿势变化的第一姿势变化的校正处理，第二校正处理是针对作为主体部(1)的姿势变化的相比于第一姿势变化而言变化速度快的第二姿势变化的校正处理。第二校正处理在与由第一校正部(41)执行的第一校正处理的执行时刻不同的时刻执行。因此，要求实时性的第二校正处理能够在能够减少因第二校正处理产生的显示延迟的处理中执行。另外，不要求实时性的第一校正处理能够在能够减少因第一校正处理产生的对绘制范围的限制的其它处理中执行。
关于第2方式所涉及的影像显示系统(10)，在第1方式中，第二校正部(42) 对图像(700)执行不同于第二校正处理的畸变校正处理。
根据该结构，第二校正部(42)能够兼用作进行畸变校正处理的校正部。由此，能够将第二校正处理和畸变校正处理一起进行，从而能够提高处理效率。
关于第3方式所涉及的影像显示系统(10)，在第1方式或第2方式中，第二校正部(42)具备缓冲器(252)和校正部主体(253)。缓冲器(252)保存图像(700)。校正部主体(253)对缓冲器(252)中保存的图像(700)执行第二校正处理，并将被执行第二校正处理后的图像(700)输出到显示部(20)。
根据该结构，在缓冲器(252)的后级且显示部(20)的前级进行第二校正处理。因此，能够进一步减少因第二校正处理产生的显示部(20)的显示延迟。
关于第4方式所涉及的影像显示系统(10)，在第1方式～第3方式中的任一方式中，具备第一检测部(5、6)和第二检测部(5、7)。第一检测部(5、6)输出第一姿势信号。第二检测部(5、7)输出第二姿势信号。
根据该结构，能够提供具备输出第一姿势信号的第一检测部(5、6)以及输出第二姿势信号的第二检测部(5、7)的影像显示系统。
关于第5方式所涉及的影像显示系统(10)，在第2方式中，畸变校正处理是在第二校正处理之后执行。
关于第6方式所涉及的影像显示系统(10)，在第3方式中，校正部主体(253) 具备绘制缓冲器(80)和行缓冲器(81)。绘制缓冲器(80)保存具有与一个画面的量相当的大小且从缓冲器(252)输出的图像(700)。行缓冲器(81)保存从绘制缓冲器(80)读出的图像。绘制缓冲器(80)在读出所保存的图像(700)时，将以读出开始位置(P1)为基准的与一个画面的量相当的图像按小区域图像(701)逐一读出，小区域图像(701)的集合构成上述与一个画面的量相当的图像。行缓冲器(81)存储从绘制缓冲器(80)读出的小区域图像(701)，在进行畸变校正处理之后逐行地输出到显示部(20)。绘制缓冲器(80)基于第二姿势信号来检测主体部(1)的第二姿势变化，并改变读出开始位置(P1)，使得因检测出的第二姿势变化产生的虚像(300)与实景的偏差抵消，由此执行第二校正处理。
关于第7方式所涉及的影像显示系统(10)，在第4方式中，具备振动传感器(5)、低通滤波器(6)以及高通滤波器(7)。振动传感器(5)检测对主体部(1)赋予的振动。低通滤波器(6)不使从振动传感器(5)输出的信号中的第一频率以上的频率的信号成分通过，而使从振动传感器(5)输出的信号中的低于第一频率的频率的信号成分通过。高通滤波器(7)不使从振动传感器(5)输出的信号中的低于第二频率的频率的信号成分通过，而使从振动传感器(5)输出的信号中的第二频率以上的频率的信号成分通过。第一检测部(5、6)由振动传感器 (5)和低通滤波器(7)构成。第二检测部(5、7)由振动传感器(5)和高通滤波器(7) 构成。
关于第8方式所涉及的影像显示系统(10)，在第1方式中，图像形成部(21) 具备绘制部主体(241)。绘制部主体(241)形成图像(700)，并基于第一姿势信号来对图像(700)进行校正，使得因主体部(1)的第一姿势变化产生的虚像(300) 与实景的偏差抵消。绘制部主体(241)作为第一校正部(41)来发挥功能。
关于第9方式所涉及的影像显示系统(10)，在第8方式中，绘制部主体(241) 具有存储装置，该存储装置设定有与对象空间(400)对应的三维虚拟空间(70)。绘制部主体(241)在三维虚拟空间(70)内绘制与图像(700)对应的三维图像(73)，并将绘制成的图像(73)投影到三维虚拟空间(70)内的规定的投影面(72)，由此形成图像(700)。在主体部(1)发生了第一姿势变化的情况下，绘制部主体(241) 以使因主体部(1)的第一姿势变化产生的虚像(300)与实景的偏差抵消的方式来绘制三维图像(73)，由此对虚像(300)的显示位置进行校正。
关于第10方式所涉及的影像显示系统(10)，在第1方式中，显示部(20)从显示部(20)的显示面(20a)的背后扫描激光来形成图像(700)。
关于第11方式所涉及的影像显示系统(10)，在第10方式中，显示部(20) 具有屏幕(90)和照射部(91)。照射部(91)对屏幕(90)照射激光的光，利用透过屏幕(90)的光(K1)，来将虚像(300)投影到对象空间(400)。
关于第12方式所涉及的影像显示系统(10)，在第1方式中，第二校正部(42) 在第二校正处理中决定对由图像形成部(21)形成的图像(700)的显示位置进行校正时的校正量(H1)，所述校正量(H1)相对于主体部(1)的第二姿势变化的变化量(α1)的大小而言是非线性的。
关于第13方式所涉及的影像显示系统(10)，在第12方式中，第二校正部(42)以以下方式决定校正量(H1)：在变化量(α1)小于规定值时，校正量(H1) 比较小或者为零，在变化量(α1)为规定值以上时，校正量(H1)与变化量(α1) 成比例。
关于第14方式所涉及的影像显示系统(10)，在第12方式中，变化量(α1) 是主体部(1)的第二姿势变化的俯仰方向、横摆方向或者侧倾方向的变化。
第15方式所涉及的移动体具备第1方式～第14方式中的任一方式的影像显示系统(10)以及设置有影像显示系统(10)的移动体主体(100)。
根据该结构，能够由移动体实施起到上述效果的影像显示系统。
关于第16方式所涉及的移动体，在第15方式中，投影部(3)通过将显示于显示部(20)的图像(700)投影到移动体主体(100)的风挡(101)，来将虚像(300) 投影到对象空间(400)。
关于第17方式所涉及的移动体，在第15方式中，虚像(300)是用于辅助移动体主体(100)的驾驶的驾驶辅助信息。驾驶辅助信息是车速信息、导航信息、行人信息、前方车辆信息、车道偏离信息以及车辆状况信息中的任一信息。
关于第18方式所涉及的移动体，在第15方式中，移动体主体(100)是汽车、两轮车、火车、飞机、建筑机械或者船舶。
第19方式所涉及的影像显示方法是使用了具有显示部(20)、投影部(3)以及主体部(1)的影像显示系统(10)的影像显示方法。显示部(20)显示图像(700)。投影部(3)利用显示部(20)的输出光，来将与图像(700)对应的虚像(300)投影到对象空间(400)。在主体部(1)设置显示部(20)和投影部(3)。上述的影像显示方法包括形成显示于显示部(20)的图像(700)的图像形成处理。图像形成处理包括第一校正处理和第二校正处理。在第一校正处理中，基于表示作为主体部 (1)的姿势变化的第一姿势变化的第一姿势信号，来对虚像(300)在对象空间 (400)中的显示位置进行校正。在第二校正处理中，基于表示作为主体部(1)的姿势变化的第二姿势变化的第二姿势信号，来对虚像(300)在对象空间(400) 中的显示位置进行校正，其中，第二姿势变化是相比于第一姿势信号而言变化速度快的姿势变化。将第一校正处理和第二校正处理在互不相同的时刻执行。
根据该方法，在根据主体部(1)的姿势变化来对虚像(300)在对象空间(400) 中的显示位置进行校正时，能够减少与虚像(300)对应的图像(700)的显示延迟，并且减少对图像(700)的绘制范围的限制。更详细地说，在根据主体部(1) 的姿势变化来对虚像(300)在对象空间(400)中的显示位置进行校正时，该校正处理被分为第一校正处理和第二校正处理来执行。第一校正处理是针对作为主体部(1)的姿势变化的第一姿势变化的校正处理。第二校正处理是针对作为主体部(1)的姿势变化的相比于第一姿势变化而言变化速度快的第二姿势变化的校正处理。第二校正处理在与由第一校正部(41)执行的第一校正处理的执行时刻不同的时刻执行。因此，要求实时性的第二校正处理能够在能够减少因第二校正处理产生的显示延迟的处理中执行，不要求实时性的第一校正处理能够在能够减少因第一校正处理产生的对绘制范围的限制的其它处理中执行。
第20方式所涉及的非暂时性计算机可读介质是记录有用于使计算机执行第19方式的影像显示方法的程序的非暂时性计算机可读介质。
根据该非暂时性计算机可读介质，即使在使用通用的计算机的情况下，也能够在根据主体部(1)的姿势变化来对虚像(300)的显示位置进行校正时，减少图像(700)的显示延迟，并且减少对图像(700)的绘制范围的限制。

Claims (20)

1.一种影像显示系统，具备：
图像形成部，其形成图像；
显示部，其显示由所述图像形成部形成的所述图像；
投影部，其利用所述显示部的输出光，来将与所述图像对应的虚像投影到对象空间；以及
主体部，其设置所述显示部和所述投影部，
其中，所述图像形成部具有：
第一校正部，其执行第一校正处理，在该第一校正处理中，基于表示作为所述主体部的姿势变化的第一姿势变化的第一姿势信号，来对所述虚像在所述对象空间中的显示位置进行校正；以及
第二校正部，其在与由所述第一校正部执行的所述第一校正处理的执行时刻不同的时刻执行第二校正处理，在该第二校正处理中，基于表示作为所述主体部的姿势变化的第二姿势变化的第二姿势信号，来对所述虚像在所述对象空间中的显示位置进行校正，其中，所述第二姿势变化是相比于所述第一姿势变化而言变化速度快的姿势变化。
2.根据权利要求1所述的影像显示系统，其特征在于，
所述第二校正部还对所述图像执行不同于所述第二校正处理的畸变校正处理。
3.根据权利要求1或2所述的影像显示系统，其特征在于，
所述第二校正部具备：
缓冲器，其保存所述图像；以及
校正部主体，其对所述缓冲器中保存的所述图像执行所述第二校正处理，并将被执行所述第二校正处理后的所述图像输出到所述显示部。
4.根据权利要求1或2所述的影像显示系统，其特征在于，还具备：
第一检测部，其输出所述第一姿势信号；以及
第二检测部，其输出所述第二姿势信号。
5.根据权利要求2所述的影像显示系统，其特征在于，
所述畸变校正处理是在所述第二校正处理之后执行。
6.根据权利要求3所述的影像显示系统，其特征在于，
所述校正部主体具备：
绘制缓冲器，其保存具有与一个画面的量相当的大小且从所述缓冲器输出的所述图像；以及
行缓冲器，其保存从所述绘制缓冲器读出的图像，
所述绘制缓冲器在读出所保存的所述图像时，将以读出开始位置为基准的与一个画面的量相当的图像按小区域图像逐一读出，所述小区域图像的集合构成所述与一个画面的量相当的图像，
所述行缓冲器存储从所述绘制缓冲器读出的所述小区域图像，在进行畸变校正处理之后逐行地输出到所述显示部，
所述绘制缓冲器基于所述第二姿势信号来检测所述主体部的所述第二姿势变化，并改变所述读出开始位置，使得将因检测出的所述第二姿势变化产生的所述虚像与实景的偏差抵消，由此执行所述第二校正处理。
7.根据权利要求4所述的影像显示系统，其特征在于，还具备：
振动传感器，其检测对所述主体部赋予的振动；
低通滤波器，其不使从所述振动传感器输出的信号中的第一频率以上的频率的信号成分通过，而使从所述振动传感器输出的信号中的低于所述第一频率的频率的信号成分通过；以及
高通滤波器，其不使从所述振动传感器输出的信号中的低于第二频率的频率的信号成分通过，而使从所述振动传感器输出的信号中的第二频率以上的频率的信号成分通过，
其中，所述第一检测部由所述振动传感器和所述低通滤波器构成，
所述第二检测部由所述振动传感器和所述高通滤波器构成。
8.根据权利要求1所述的影像显示系统，其特征在于，
所述图像形成部具备绘制部主体，
该绘制部主体形成所述图像，并基于所述第一姿势信号对所述图像进行校正，使得因所述主体部的所述第一姿势变化产生的所述虚像与实景的偏差抵消，
所述绘制部主体作为所述第一校正部来发挥功能。
9.根据权利要求8所述的影像显示系统，其特征在于，
所述绘制部主体具有存储装置，该存储装置设定有与所述对象空间对应的三维虚拟空间，
所述绘制部主体执行以下动作：
在所述三维虚拟空间内绘制与所述图像对应的三维图像，并将绘制成的三维图像投影到所述三维虚拟空间内的规定的投影面，由此形成所述图像；
在所述主体部发生了所述第一姿势变化的情况下，通过以使因所述主体部的所述第一姿势变化产生的所述虚像与实景的偏差抵消的方式绘制所述三维图像，来对所述虚像的显示位置进行校正。
10.根据权利要求1所述的影像显示系统，其特征在于，
所述显示部从所述显示部的所述显示面的背后扫描激光来形成所述图像。
11.根据权利要求10所述的影像显示系统，其特征在于，
所述显示部具有：
屏幕；以及
照射部，其对所述屏幕照射所述激光的光，利用透过所述屏幕的所述光来将所述虚像投影到所述对象空间。
12.根据权利要求1所述的影像显示系统，其特征在于，
所述第二校正部在所述第二校正处理中，决定对由所述图像形成部形成的所述图像的显示位置进行校正时的校正量，所述校正量相对于所述主体部的所述第二姿势变化的变化量的大小而言是非线性的。
13.根据权利要求12所述的影像显示系统，其特征在于，
所述第二校正部以以下方式决定所述校正量：在所述变化量小于规定值时，所述校正量实质上为零，在所述变化量为规定值以上时，所述校正量与所述变化量成比例。
14.根据权利要求12所述的影像显示系统，其特征在于，
所述变化量是所述主体部的所述第二姿势变化的俯仰方向、横摆方向或者侧倾方向的变化。
15.一种移动体，具备：
根据权利要求1～14中的任一项所述的影像显示系统；以及
设置有所述影像显示系统的移动体主体。
16.根据权利要求15所述的移动体，其特征在于，
所述投影部通过将显示于所述显示部的所述图像投影到所述移动体主体的风挡，来将所述虚像投影到所述对象空间。
17.根据权利要求15所述的移动体，其特征在于，
所述虚像是用于辅助所述移动体主体的驾驶的驾驶辅助信息，
所述驾驶辅助信息是车速信息、导航信息、行人信息、前方车辆信息、车道偏离信息以及车辆状况信息中的任一信息。
18.根据权利要求15所述的移动体，其特征在于，
所述移动体主体是汽车、两轮车、火车、飞机、建筑机械或者船舶。
19.一种影像显示方法，是使用影像显示系统的影像显示方法，该影像显示系统具有：
显示部，其显示图像；
投影部，其利用所述显示部的输出光，来将与所述图像对应的虚像投影到对象空间；以及
主体部，其设置所述显示部和所述投影部，
所述影像显示方法包括形成显示于所述显示部的所述图像的图像形成处理，
其中，所述图像形成处理包括：
第一校正处理，基于表示作为所述主体部的姿势变化的第一姿势变化的第一姿势信号，来对所述虚像在所述对象空间中的显示位置进行校正；以及
第二校正处理，基于表示作为所述主体部的姿势变化的第二姿势变化的第二姿势信号，来对所述虚像在所述对象空间中的显示位置进行校正，其中，所述第二姿势变化是相比于所述第一姿势变化而言变化速度快的姿势变化，
将所述第一校正处理和所述第二校正处理在互不相同的时刻执行。
20.一种非暂时性计算机可读介质，记录有用于使计算机执行根据权利要求19所述的影像显示方法的程序。
CN201910208006.0A 2018-03-20 2019-03-19 图像形成、校正、显示系统或方法、移动体、非暂时性计算机可读介质 Active CN110308556B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-053557 2018-03-20
JP2018053557A JP6890306B2 (ja) 2018-03-20 2018-03-20 画像形成システム、画像補正システム、画像表示システム、移動体、画像形成方法、及びプログラム

Publications (2)

Publication Number Publication Date
CN110308556A true CN110308556A (zh) 2019-10-08
CN110308556B CN110308556B (zh) 2021-12-21

Family

ID=67848405

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910208006.0A Active CN110308556B (zh) 2018-03-20 2019-03-19 图像形成、校正、显示系统或方法、移动体、非暂时性计算机可读介质

Country Status (4)

Country Link
US (3) US11004424B2 (zh)
JP (2) JP6890306B2 (zh)
CN (1) CN110308556B (zh)
DE (1) DE102019106736A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113129224A (zh) * 2019-12-31 2021-07-16 精工爱普生株式会社 显示系统、电子设备、移动体和显示方法
CN114074613A (zh) * 2020-08-20 2022-02-22 丰田自动车株式会社 驾驶员辅助系统、驾驶员辅助方法以及非瞬时性存储介质

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6919621B2 (ja) * 2018-04-24 2021-08-18 株式会社Ｓｏｋｅｎ 表示制御ユニット、及び表示制御プログラム
US11373527B2 (en) * 2019-03-25 2022-06-28 Micron Technology, Inc. Driver assistance for non-autonomous vehicle in an autonomous environment
US11878698B2 (en) * 2019-04-12 2024-01-23 Mitsubishi Electric Corporation Display control device, display control method, and storage medium storing display control program
JP7480602B2 (ja) 2019-12-31 2024-05-10 セイコーエプソン株式会社 表示システム、電子機器、移動体及び表示方法
KR20210131129A (ko) * 2020-04-23 2021-11-02 현대자동차주식회사 이동 수단용 ui 생성 장치 및 ui 생성 방법
JPWO2021251116A1 (zh) * 2020-06-08 2021-12-16
JP2022123300A (ja) * 2021-02-12 2022-08-24 セイコーエプソン株式会社 表示方法および表示システム
JP2022184350A (ja) * 2021-06-01 2022-12-13 マツダ株式会社 ヘッドアップディスプレイ装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5724189A (en) * 1995-12-15 1998-03-03 Mcdonnell Douglas Corporation Methods and apparatus for creating an aspheric optical element and the aspheric optical elements formed thereby
CN104253990A (zh) * 2013-06-28 2014-12-31 罗伯特·博世有限公司 用车辆视野显示装置的成像器显示三维图像的方法和设备
CN106715181A (zh) * 2014-09-18 2017-05-24 卡森尼可关精株式会社 车辆用平视显示装置
JP2017092766A (ja) * 2015-11-12 2017-05-25 富士通テン株式会社 画像処理装置、情報表示システム、画像処理方法およびプログラム
CN107409199A (zh) * 2015-03-04 2017-11-28 三菱电机株式会社 车辆用显示控制装置及车辆用显示装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4857563B2 (ja) * 2005-01-17 2012-01-18 日産自動車株式会社 車載情報提供装置
JP4886751B2 (ja) * 2008-09-25 2012-02-29 株式会社東芝 車載用表示システム及び表示方法
JP2013237320A (ja) 2012-05-14 2013-11-28 Toshiba Alpine Automotive Technology Corp 違和感軽減表示装置およびその表示制御方法
JP2015174648A (ja) 2014-03-18 2015-10-05 株式会社日本自動車部品総合研究所 操作入力装置、および操作入力方法
JP2015194712A (ja) 2014-03-28 2015-11-05 パナソニックＩｐマネジメント株式会社 撮像装置
GB2528699B (en) * 2014-07-29 2017-05-03 Sony Computer Entertainment Europe Ltd Image processing
JP6582642B2 (ja) * 2014-08-11 2019-10-02 セイコーエプソン株式会社 車両用撮像装置、車両用撮像表示システム、及び車両
JP2017013590A (ja) 2015-06-30 2017-01-19 日本精機株式会社 ヘッドアップディスプレイ装置
JP6725967B2 (ja) * 2015-07-02 2020-07-22 アルパイン株式会社 画像補正装置および画像補正方法
US20170169612A1 (en) * 2015-12-15 2017-06-15 N.S. International, LTD Augmented reality alignment system and method
WO2017134861A1 (ja) * 2016-02-05 2017-08-10 日立マクセル株式会社 ヘッドアップディスプレイ装置
CN118124380A (zh) * 2016-08-29 2024-06-04 麦克赛尔株式会社 平视显示装置
JP6731644B2 (ja) 2017-03-31 2020-07-29 パナソニックＩｐマネジメント株式会社 表示位置補正装置、表示位置補正装置を備える表示装置、及び表示装置を備える移動体
JP6724885B2 (ja) 2017-11-28 2020-07-15 株式会社デンソー 虚像表示装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5724189A (en) * 1995-12-15 1998-03-03 Mcdonnell Douglas Corporation Methods and apparatus for creating an aspheric optical element and the aspheric optical elements formed thereby
CN104253990A (zh) * 2013-06-28 2014-12-31 罗伯特·博世有限公司 用车辆视野显示装置的成像器显示三维图像的方法和设备
CN106715181A (zh) * 2014-09-18 2017-05-24 卡森尼可关精株式会社 车辆用平视显示装置
CN107409199A (zh) * 2015-03-04 2017-11-28 三菱电机株式会社 车辆用显示控制装置及车辆用显示装置
JP2017092766A (ja) * 2015-11-12 2017-05-25 富士通テン株式会社 画像処理装置、情報表示システム、画像処理方法およびプログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113129224A (zh) * 2019-12-31 2021-07-16 精工爱普生株式会社 显示系统、电子设备、移动体和显示方法
CN113129224B (zh) * 2019-12-31 2023-11-28 精工爱普生株式会社 显示系统、电子设备、移动体和显示方法
CN114074613A (zh) * 2020-08-20 2022-02-22 丰田自动车株式会社 驾驶员辅助系统、驾驶员辅助方法以及非瞬时性存储介质
CN114074613B (zh) * 2020-08-20 2024-03-12 丰田自动车株式会社 驾驶员辅助系统、驾驶员辅助方法以及非瞬时性存储介质

Also Published As

Publication number Publication date
JP6890306B2 (ja) 2021-06-18
US11004424B2 (en) 2021-05-11
JP2019164317A (ja) 2019-09-26
US11315528B2 (en) 2022-04-26
US20220208148A1 (en) 2022-06-30
CN110308556B (zh) 2021-12-21
JP7117592B2 (ja) 2022-08-15
US11646000B2 (en) 2023-05-09
US20210233499A1 (en) 2021-07-29
DE102019106736A1 (de) 2019-09-26
US20190295508A1 (en) 2019-09-26
JP2021105726A (ja) 2021-07-26

Similar Documents

Publication Publication Date Title
CN110308556A (zh) 影像显示系统及方法、移动体、非暂时性计算机可读介质
US11983856B2 (en) Image display system, image display method, storage medium, and moving vehicle including the image display system
US10754154B2 (en) Display device and moving body having display device
CN105283794B (zh) 平视显示装置
US20170169612A1 (en) Augmented reality alignment system and method
CN110308557B (zh) 显示系统、电子镜系统、移动体以及显示方法
JP2002202475A (ja) 車両用表示装置
US11945306B2 (en) Method for operating a visual field display device for a motor vehicle
JP2021015166A (ja) ヘッドアップディスプレイ及びそのキャリブレーション方法
JP2019164318A (ja) 映像表示システム、映像表示方法、プログラム、及び映像表示システムを備える移動体
CN110632755B (zh) 影像显示系统及方法、非暂时性记录介质以及移动体
CN1825951A (zh) 车辆周围环境观察装置
JP2021067909A (ja) 立体表示装置及びヘッドアップディスプレイ装置
JP7145509B2 (ja) 映像表示システム、映像表示方法、プログラム、及び、移動体
JP7354846B2 (ja) ヘッドアップディスプレイ装置
JP6726883B2 (ja) 表示システム、移動体、及び表示システムの制御方法
KR100190939B1 (ko) 차량용 카메라
JP7515229B2 (ja) 映像表示システム、映像表示方法、及び、プログラム
JP7241005B2 (ja) ヘッドアップディスプレイシステムおよび移動体
WO2020195307A1 (ja) 電子ミラーシステム、画像表示方法、及び移動体
Lim et al. Efficient Method for Head-Up Display Image Compensation by Using Pre-Warping
CN112991229A (zh) 增强现实投影的校准方法、电子设备、系统及存储介质
JP2018133616A (ja) 画像処理装置及びこれを使用した運転支援装置
JP2018103888A (ja) ヘッドアップディスプレイ装置
JPH03239642A (ja) 車両用画像モニタ装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240401

Address after: Kanagawa Prefecture, Japan

Patentee after: Panasonic Automotive Electronic Systems Co.,Ltd.

Country or region after: Japan

Address before: Osaka, Japan

Patentee before: PANASONIC INTELLECTUAL PROPERTY MANAGEMENT Co.,Ltd.

Country or region before: Japan

TR01 Transfer of patent right