CN111837175A - 图像显示系统、信息处理装置、信息处理方法、程序和移动体 - Google Patents

图像显示系统、信息处理装置、信息处理方法、程序和移动体 Download PDF

Info

Publication number
CN111837175A
CN111837175A CN201980018612.4A CN201980018612A CN111837175A CN 111837175 A CN111837175 A CN 111837175A CN 201980018612 A CN201980018612 A CN 201980018612A CN 111837175 A CN111837175 A CN 111837175A
Authority
CN
China
Prior art keywords
image
image display
unit
movement
suppressing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980018612.4A
Other languages
English (en)
Other versions
CN111837175B (zh
Inventor
长田浩二
齐藤崇
名定佳记
武井智哉
西川纯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN111837175A publication Critical patent/CN111837175A/zh
Application granted granted Critical
Publication of CN111837175B publication Critical patent/CN111837175B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/373—Details of the operation on graphic patterns for modifying the size of the graphic pattern
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18—Information management
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29—Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0183—Adaptation to parameters characterising the motion of the vehicle
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0261—Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/14—Solving problems related to the presentation of information to be displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/10—Automotive applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

根据本发明的方面的图像显示系统包括图像显示单元、获取单元和显示控制单元。图像显示单元能够显示图像并且与用户的移动相关联地移动。获取单元获取关于图像显示单元的移动的移动信息。显示控制单元使图像显示单元基于所获取的移动信息执行用于针对外部空间抑制图像显示单元的移动的影响的抑制图像显示。

Description

图像显示系统、信息处理装置、信息处理方法、程序和移动体
技术领域
本技术涉及可以安装在车辆等上的图像显示系统、信息处理装置、信息处理方法、程序和移动体。
背景技术
专利文献1公开了一种用于车辆的监视器显示系统，该系统能够抑制乘客由于观看监视器引起的晕动症等。在这种显示系统中，基于从路面向车辆输入的振动来计算图像监视器的位移频率。另外，基于乘客的图像来计算乘客的视线的位移频率。然后，控制图像的显示范围的位置，使得图像监视器的位移频率与乘客的视线的位移频率之差不包括在造成由于观看监视器而引起的晕动症的频率范围内(专利文献1的说明书中的段落[0034]和[0037]、图6等)。
引文列表
专利文献
专利文献1：日本专利申请特许公开No.2017-171243
发明内容
技术问题
因此，需要一种可以为用户提供舒适的观看环境的技术。
鉴于以上情况，本技术的目的是提供一种可以提供舒适的观看环境的图像显示系统、信息处理装置、信息处理方法、程序以及移动体。
问题的解决方案
为了实现上述目的，根据本技术的实施例的图像显示系统包括图像显示单元、获取单元和显示控制单元。
图像显示单元能够显示图像并且与用户的移动相关联地移动。
获取单元获取与图像显示单元的移动相关的移动信息。
显示控制单元使图像显示单元基于所获取的移动信息来执行用于针对外部空间抑制图像显示单元的移动的影响的抑制图像显示。
在这种图像显示系统中，有可能使与用户的移动相关联地移动的图像显示单元执行抑制图像显示，用于针对外部空间抑制图像显示单元的移动的影响。这使得有可能提供舒适的观看环境。
抑制图像显示可以包括用于抵消图像显示单元的移动的影响的图像显示。
抑制图像显示可以包括用于响应于用户的移动而使图像相对于用户移动的图像显示。
抑制图像显示可以包括用于抑制图像响应于图像显示单元的移动而移动的图像显示。
抑制图像显示可以包括用于抑制由于用户的移动而由用户感知到的感觉与在观看图像时由用户感知到的感觉之间的差异的图像显示。
抑制图像显示可以包括用于使得用户能够以看风景的方式观看图像的图像显示。
抑制图像显示可以包括控制图像的显示状态。
抑制图像显示可以包括控制图像的显示尺寸、图像的显示位置或图像的形状中的至少一个。
图像显示单元可以包括：投影图像的图像投影单元，以及要在其上投影图像的被投影单元。在这种情况下，移动信息可以包括与图像投影单元的移动相关的移动信息或与被投影单元的移动相关的移动信息中的至少之一。
抑制图像显示可以包括用于抑制图像投影单元与被投影单元之间的相对移动的影响的图像显示。
图像投影单元可以包括图像移动机构，该图像移动机构能够光学地移动要被投影的图像的显示位置。在这种情况下，抑制图像显示可以包括图像移动机构的控制。
抑制图像显示可以包括通过处理要被投影的图像的图像信息在图像投影单元的投影区域内移动图像。
抑制图像显示可以包括通过处理要被投影的图像的图像信息在图像投影单元的投影区域内移动图像。在这种情况下，显示控制单元可以基于所获取的移动信息来检测图像显示单元的移动对要被投影的图像的影响，并基于检测到的影响来设置图像移动机构的控制内容和图像信息的处理内容中。
显示控制单元可以设置图像移动机构的控制内容和图像信息的处理内容，使得图像移动机构的控制优先于图像信息的处理。
图像显示系统可以被安装在能够移动乘坐在其上的用户的移动体上。
图像显示系统可以被安装在要由用户穿戴的可穿戴物体上。
图像显示单元可以振动。
根据本技术的实施例的信息处理装置包括获取单元和显示控制单元。
获取单元获取与能够显示图像并且与用户的移动相关联地移动的图像显示单元的移动相关的移动信息。
显示控制单元使图像显示单元基于所获取的移动信息来执行用于针对外部空间抑制图像显示单元的移动的影响的抑制图像显示。
根据本技术的实施例的信息处理方法是由计算机系统执行的信息处理方法，该信息处理方法包括：获取与能够显示图像并且与用户的移动相关联地移动的图像显示单元的移动相关的移动信息；以及由图像显示单元基于所获取的移动信息来执行用于针对外部空间抑制图像显示单元的移动的影响的抑制图像显示。
根据本技术的实施例的程序是使计算机系统执行以下步骤的程序：获取与能够显示图像并且与用户的移动相关联地移动的图像显示单元的移动相关的移动信息；以及由图像显示单元基于所获取的移动信息来执行用于针对外部空间抑制图像显示单元的移动的影响的抑制图像显示。
发明的有利效果
根据本技术的实施例的移动体包括主体单元、图像显示单元、获取单元和显示控制单元。
主体单元包括用户能够乘坐在其上的乘坐单元。
图像显示单元被设置于主体单元并且能够显示图像。
获取单元获取与设置于主体单元的图像显示单元的移动相关的移动信息。
显示控制单元使图像显示单元基于所获取的移动信息来执行用于针对外部空间抑制图像显示单元的移动的影响的抑制图像显示。
如上所述，根据本技术，有可能提供舒适的观看环境。注意的是，本文描述的效果不必受到限制，并且可以产生本公开中描述的任何一种效果。
附图说明
图1是图示根据本技术的第一实施例的车辆的配置示例的外观图。
图2是图示安装在车辆中的图像显示系统的示例的示意图。
图3是图示控制车辆的车辆控制系统的配置示例的框图。
图4是用于描述由图像显示系统进行的图像显示的概要的示意图。
图5是用于描述由图像显示系统进行的图像显示的概要的示意图。
图6是用于描述由图像显示系统进行的图像显示的概要的示意图。
图7是图示图像显示系统的功能配置示例的框图。
图8是用于描述投影仪的图像移位功能的图。
图9是图示抑制图像显示的执行示例的图。
图10是图示分离抵消方法的示例的示意图。
图11是用于描述图像移位元件的控制的框图。
图12是用于描述根据本技术的第二实施例的抑制图像显示的概要的示意图。
图13是图示图像显示系统的功能配置示例的框图。
图14是图示抑制图像显示的执行示例的图。
图15是图示图像显示系统的变形例的示意图。
图16是图示HUD的变形例的示意图。
图17是图示HUD的变形例的示意图。
图18是图示图像显示系统的变形例的示意图。
图19是用于描述根据另一个实施例的图像显示系统的示意图。
图20是用于描述根据另一个实施例的图像显示系统的示意图。
图21是用于描述根据另一个实施例的图像显示系统的示意图。
图22是用于描述根据另一个实施例的图像显示系统的示意图。
图23是图示可以对其应用根据本技术的图像显示系统的HMD的配置示例的透视图。
具体实施方式
在下文中，将参考附图描述本技术的实施例。
<第一实施例>
图1是图示根据本技术的第一实施例的车辆的配置示例的外观图。车辆5具有能够自动驾驶到目的地的自动驾驶功能。车辆5是根据本技术的移动体的实施例，并且对应于能够移动乘坐在其上的用户的移动体。
图2是图示安装在车辆5中的图像显示系统的示例的示意图。图像显示系统10包括屏幕11和投影仪12。
屏幕11安装在包括驾驶员座椅和乘客座椅的前侧座椅与后排座椅6之间。例如，屏幕11可以在车辆5的内部的天花板部分或侧表面部分上以卷状缠绕而被容纳，并且可以通过由用户拉出而被设置。此外，用于安装和容纳屏幕11的其它方法不受限制，并且可以采用任何方法。
屏幕11的尺寸(长宽比)、形状、材料等不受限制，并且可以可选地被设计。此外，本技术还可应用于具有曲面形状的屏幕，而不限于平面屏幕。
投影仪12部署在后排座椅6的大致中央，面向前侧。投影仪12朝着屏幕11投影图像1。图像1包括静止图像和移动图像(视频)。当然，图像1包括构成移动图像(视频)的多个帧图像。在下文中，图像1的显示等可以被称为视频的显示等。
稍后将描述投影仪12的配置示例等。
在这个实施例中，投影仪12和屏幕11实现了能够显示图像的图像显示单元。在这个实施例中，投影仪12用作投影图像的图像投影单元。此外，屏幕11用作图像被投影在其上的被投影单元。
此外，在这个实施例中，车辆5的车辆本体(车身)的外部和内部与主体单元对应，并且诸如后排座椅6之类的座椅与用户能够乘坐的乘坐单元对应。因此，图像显示系统10被设置于主体单元中。
图3是图示控制车辆5的车辆控制系统100的配置示例的框图。车辆控制系统100是设置于车辆5中并且以各种方式控制车辆5的系统。
车辆控制系统100包括输入单元101、数据获取单元102、通信单元103、车内设备104、输出控制单元105、输出单元106、驱动控制单元107、驱动系统108、车身控制单元109、车身系统110、存储单元111和自动驾驶控制单元112。输入单元101、数据获取单元102、通信单元103、输出控制单元105、驱动控制单元107、车身控制单元109、存储单元111和自动驾驶控制单元112经由通信网络121彼此连接。例如，通信网络121包括符合任何标准的总线或车载通信网络，诸如控制器区域网络(CAN)、本地互连网络(LIN)、局域网(LAN)、FlexRay(注册商标)等。注意的是，有时车辆控制系统100的单元可以在不使用通信网络121的情况下直接彼此连接。
注意的是，在下文中，在车辆控制系统100的单元经由通信网络121彼此通信的情况下，将省略对通信网络121的描述。例如，在输入单元101和自动驾驶控制单元112经由通信网络121彼此通信的情况下，将给出指示输入单元101和自动驾驶控制单元112彼此通信的简单描述。
输入单元101包括由乘客用来输入各种数据、指令等的装置。例如，输入单元101包括诸如触摸屏、按钮、麦克风、开关或操纵杆之类的操作设备，能够通过不同于手动操作的声音、手势等输入信息的操作设备等。可替代地，例如，输入单元101可以是外部连接装备(诸如使用红外线或另一种无线电波的遥控装置)，或者与车辆控制系统100的操作兼容的移动装备或可穿戴装备。输入单元101基于由乘客输入的数据、指令等来生成输入信号，并将生成的输入信号供应给车辆控制系统100的相应单元。
数据获取单元102包括用于获取要在由车辆控制系统100执行的处理中使用的数据的各种传感器等，并且将获取的数据供应给车辆控制系统100的相应单元。
例如，数据获取单元102包括用于检测车辆5的状态等的各种传感器。具体而言，例如，数据获取单元102包括陀螺仪传感器、加速度传感器、惯性测量单元(IMU)，以及用于检测加速器踏板的操作量、制动踏板的操作量、方向盘的转向角、发动机的转数、马达的转数、车轮的转速等的传感器等。
另外，例如，数据获取单元102包括用于检测关于车辆5的外部的信息的各种传感器。具体而言，例如，数据获取单元102包括成像装置(车辆外部相机)，诸如飞行时间(ToF)相机、立体相机、单眼相机、红外相机或另一个相机。此外，例如，数据获取单元102包括用于检测天气、气象现象等的环境传感器以及用于检测车辆5周围的物体的周围信息检测传感器。例如，环境传感器包括雨滴传感器、雾传感器、日照传感器、雪传感器等。周围信息检测传感器包括超声传感器、雷达、LiDAR(光检测和测距、激光成像检测和测距)传感器、声纳等。
此外，例如，数据获取单元102包括用于检测车辆5的当前位置的各种传感器。具体而言，例如，数据获取单元102包括全球导航卫星系统(GNSS)接收器等。GNSS接收器从作为导航卫星的GNSS卫星等接收卫星信号(下文中称为GNSS信号)。
此外，例如，数据获取单元102包括用于检测关于车辆5的内部的信息的各种传感器。具体而言，例如，数据获取单元102包括捕获驾驶员的图像的成像装置(车辆内部相机)、检测驾驶员的生物信息的生物传感器、收集车辆内部的声音的麦克风等。生物传感器例如部署在座椅表面、方向盘等上，并且检测坐在座椅上的乘客或握住方向盘的驾驶员的生物信息。
通信单元103与车内设备104、各种车辆外部装备、服务器、基站等通信，发送由车辆控制系统100的相应单元供应的数据，并向车辆控制系统100的相应单元供应接收到的数据。注意的是，通信单元103所支持的通信协议没有特别限制。另外，通信单元103还有可能支持多种类型的通信协议。
例如，通信单元103通过使用无线LAN、蓝牙(注册商标)、近场通信(NFC)、无线USB(WUSB)等来建立与车内设备104的无线连接。另外，例如，通信单元103经由连接端子(如有必要，还有电缆)(未示出)通过使用通用串行总线(USB)、高清多媒体接口(HDMI)、移动高清链接(MHL)等来与车内设备104建立有线连接。
此外，例如，通信单元103经由基站或接入点与存在于外部网络(例如，互联网、云网络或公司专用网络)上的装备(例如，应用服务器或控制服务器)进行通信。此外，例如，通信单元103通过使用对等(P2P)技术与存在于车辆5附近的终端(例如，行人或商店的终端，或机器类型通信(MTC)终端)进行通信。此外，例如，通信单元103执行V2X通信，诸如车辆到车辆通信、车辆到基础设施通信、车辆5与家庭之间的车辆到家庭通信、或车辆到行人通信。
此外，例如，通信单元103包括信标接收器，接收从安装在道路等上的无线电站发送的无线电波或电磁波，并获取与当前位置、交通拥堵、交通管制、必要时间等相关的信息。
车内设备104包括例如乘客拥有的移动装备或可穿戴装备、携带入车辆5或附接到车辆5的信息装备、搜索到任何目的地的路线的导航装置等。
输出控制单元105控制各种信息向车辆5的乘客或车辆5的外部的输出。例如，输出控制单元105生成包括视觉信息(诸如图像数据)或音频信息(诸如声音数据)中的至少一个的输出信号，将输出信号供应给输出单元106，从而控制视觉信息和音频信息从输出单元106的输出。具体而言，例如，输出控制单元105组合由包括在数据获取单元102中的不同成像装置捕获的多条图像数据，生成鸟瞰图像、全景图像等，并向输出单元106供应包括所生成的图像的输出信号。另外，例如，输出控制单元105生成关于危险(诸如碰撞、接触或进入危险地带)的包括警告声音、警告消息等的声音数据，并向输出单元106供应包括所生成的声音数据的输出信号。
输出单元106包括能够将视觉信息或音频信息输出给乘客或车辆5的外部的装置。例如，输出单元106包括显示装置、仪表板、诸如音频扬声器的声音系统、耳机、可穿戴设备(诸如由乘客穿戴的眼镜式显示器)、投影仪、灯等。代替包括普通显示器的设备，包括在输出单元106中的显示装置可以是例如在驾驶员的视场内显示视觉信息的装置，诸如平视显示器、透明显示器或具有增强现实(AR)功能的装置。
驱动控制单元107生成各种控制信号，将它们供应给驱动系统108，从而控制驱动系统108。此外，在必要时，驱动控制单元107将控制信号供应给除驱动系统108以外的结构元件，并且向其通知驱动系统108的控制状态等。
驱动系统108包括与车辆5的驱动相关的各种装置。例如，驱动系统108包括：用于生成内燃机、驱动电机等的驱动力的驱动力生成装置，用于将驱动力传输到车轮的驱动力传输机构，用于调整转向角的转向机构，用于生成制动力的制动装置，防抱死制动系统(ABS)，电子稳定控制(ESC)系统，电动助力转向装置等。
车身控制单元109生成各种控制信号，将其供应给车身系统110，从而控制车身系统110。此外，在必要时，车身控制单元109将控制信号供应给除车身系统110以外的结构元件，并且向其通知车身系统110的控制状态等。
车身系统110包括设置于车身的各种车身装置。例如，车身系统110包括无钥匙进入系统、智能钥匙系统、电动车窗装置、电动座椅、方向盘、空调、各种灯(诸如前照灯、尾灯、刹车灯、方向指示灯和雾灯)等。
存储单元111包括例如只读存储器(ROM)、随机存取存储器(RAM)、磁性存储设备(诸如硬盘驱动器(HDD)等)、半导体存储设备、光学存储设备、磁光存储设备等。存储单元111存储由车辆控制系统100的相应单元使用的各种程序、数据等。例如，存储单元111存储地图数据，诸如三维高精度地图、全局地图和局部地图。高精度地图是动态地图等。全局地图的精度低于高精度地图，但覆盖范围比高精度地图更广。局部地图包括有关车辆5周围环境的信息。
自动驾驶控制单元112执行关于自动驾驶的控制，诸如自主行驶或驾驶辅助。具体而言，例如，自动驾驶控制单元112执行旨在实现高级驾驶员辅助系统(ADAS)的功能的协作控制，该ADAS包括针对车辆5的防撞或减震、基于跟随距离的跟随驾驶、车速维持驾驶、车辆5碰撞的警告、车辆5偏离车道的警告等。此外，例如，自动驾驶控制单元112还有可能执行旨在用于使车辆自主地行驶而不依赖于驾驶员等的操作的自动驾驶的协调控制。自动驾驶控制单元112包括检测单元131、自身位置估计单元132、情况分析单元133、计划单元134和行为控制单元135。
检测单元131检测控制自动驾驶所必需的各种信息。检测单元131包括车辆外部信息检测单元141、车辆内部信息检测单元142和车辆状态检测单元143。
车辆外部信息检测单元141基于来自车辆控制系统100的相应单元的数据或信号来执行检测关于车辆5外部的信息的处理。例如，车辆外部信息检测单元141执行车辆5周围的物体的检测处理、识别处理、跟踪处理，以及检测到物体的距离的处理。检测目标物体的示例包括车辆、人、障碍物、建筑物、道路、交通灯、交通标志、道路标志等。此外，例如，车辆外部信息检测单元141执行检测车辆5周围环境的处理。用作检测目标的周围环境的示例包括例如天气、温度、湿度、亮度、路面状况等。车辆外部信息检测单元141将指示检测处理的结果的数据供应给自身位置估计单元132、情况分析单元133的地图分析单元151、交通规则识别单元152和情况识别单元153、行为控制单元135的紧急事件避免单元171等。
车辆内部信息检测单元142基于来自车辆控制系统100的相应单元的数据或信号来执行检测关于车辆内部的信息的处理。例如，车辆内部信息检测单元142执行驾驶员的认证处理和识别处理、驾驶员状态的检测处理、乘客的检测处理、车辆内部环境的检测处理等。作为检测目标的驾驶员的状态的示例包括健康状况、意识程度、专心程度、疲劳程度、注视方向等。作为检测目标的车辆内部环境的示例包括温度、湿度、亮度、气味等。车辆内部信息检测单元142将指示检测处理的结果的数据供应给情况分析单元133的情况识别单元153、行为控制单元135的紧急事件避免单元171等。
车辆状态检测单元143基于来自车辆控制系统100的相应单元的数据或信号来执行检测车辆5的状态的处理。作为检测目标的车辆5的状态的示例包括速度、加速度、转向角、异常的存在/不存在、异常的内容、驾驶操作状态、电动座椅的位置和倾斜度、门锁的状态、其它车辆安装的装备的状态等。车辆状态检测单元143将指示检测处理的结果的数据供应给情况分析单元133的情况识别单元153、行为控制单元135的紧急事件避免单元171等。
自身位置估计单元132基于来自车辆控制系统100的相应单元(诸如外部信息检测单元141和情况分析单元133的情况识别单元153)的数据或信号来执行估计车辆5的位置、姿势等的处理。另外，在必要时，自身位置估计单元132生成要用于估计自身位置的局部地图(在下文中，称为自身位置估计图)。例如，自身位置估计图可以是使用诸如同时定位和绘制(SLAM)之类的技术的高精度地图。自身位置估计单元132将指示估计处理的结果的数据供应给情况分析单元133的地图分析单元151、交通规则识别单元152和情况识别单元153等。另外，自身位置估计单元132使存储单元111存储自身位置估计图。
情况分析单元133执行分析车辆5的状况和车辆5周围的情况的处理。情况分析单元133包括地图分析单元151、交通规则识别单元152、情况识别单元153和情况预测单元154。
地图分析单元151在根据需要使用来自车辆控制系统100的相应单元(诸如自身位置估计单元132和车辆外部信息检测单元141)的数据或信号时，执行分析存储在存储单元111中的各种地图的处理，并构造包括自动驾驶处理所必需的信息的地图。地图分析单元151将所构造的地图供应给交通规则识别单元152、情况识别单元153和情况预测单元154，并供应给计划单元134的路线计划单元161、动作计划单元162和行为计划单元163等。
交通规则识别单元152基于来自车辆控制系统100的相应单元(诸如自身位置估计单元132、车辆外部信息检测单元141和地图分析单元151)的数据或信号来执行识别车辆5周围的交通规则的处理。识别处理使得有可能识别例如车辆5周围的交通灯的位置和状态、车辆5周围的交通控制的内容、可驾驶的车道等。交通规则识别单元152将指示识别处理的结果的数据供应给情况预测单元154等。
情况识别单元153基于来自车辆控制系统100的相应单元(诸如自身位置估计单元132、车辆外部信息检测单元141、车辆内部信息检测单元142、车辆状况检测单元143和地图分析单元151)的数据或信号来执行识别与车辆5相关的情况的处理。例如，情况识别单元153执行识别车辆5的情况、车辆5周围的情况、车辆5的驾驶员的情况等的处理。此外，在必要时，情况识别单元153生成用于识别车辆5周围的情况的局部地图(下文中称为情况识别地图)。例如，情况识别地图可以是占用栅格图(occupancy grid map)。
作为识别目标的车辆5的情况的示例包括车辆5的位置、姿势和运动(例如，诸如速度、加速度或移动方向)、异常的存在/不存在、异常的内容等。作为识别目标的车辆5周围的情况的示例包括周围静止物体的类型和位置、周围移动体的类型、位置和移动(例如，诸如速度、加速度和移动方向)、周围道路的结构、路面状况、周围天气、温度、湿度、亮度等。作为识别目标的驾驶员的状态的示例包括健康状况、意识程度、专心程度、疲劳程度、注视的移动、驾驶操作等。
情况识别单元153将指示识别处理的结果的数据(在必要时包括情况识别地图)提供给自身位置估计单元132、情况预测单元154等。此外，情况识别单元153使存储单元111存储情况识别地图。
情况预测单元154基于来自车辆控制系统100的相应单元(诸如地图分析单元151、规则识别单元152和情况识别单元153)的数据或信号来执行预测与车辆5相关的情况的处理。例如，情况预测单元154执行预测车辆5的情况、车辆5周围的情况、驾驶员的情况等的处理。
作为预测目标的车辆5的情况的示例包括车辆5的行为、异常的发生、可行驶的距离等。作为预测目标的车辆5的周围的情况的示例包括车辆5周围的移动体的行为、交通灯状态的改变、环境(诸如天气等)的改变。作为预测目标的驾驶员的情况的示例包括驾驶员的行为、健康状况等。
除了来自交通规则识别单元152和情况识别单元153的数据之外，情况预测单元154还将指示预测处理的结果的数据供应给计划单元134的路线计划单元161、动作计划单元162和行为计划单元163等。
路线计划单元161基于来自车辆控制系统100的相应单元(诸如地图分析单元151和情况预测单元154)的数据或信号来计划到目的地的路线。例如，路线计划单元161基于全局地图来设置从当前位置到指定目的地的路线。此外，例如，路线计划单元161基于驾驶员的健康状况等、诸如交通拥堵、事故、交通管制和建筑物的情况来适当地改变路线。路线计划单元161将指示计划的路线的数据供应给动作计划单元162等。
动作计划单元162基于来自车辆控制系统100的相应单元(诸如地图分析单元151和情况预测单元154)的数据或信号来计划车辆5的动作，用于在计划的时间段内在由路线计划单元161计划的路线中安全驾驶。例如，动作计划单元162计划开始、停止、驾驶方向(例如，向前、向后、向左转、向右转、方向改变等)、驾驶车道、驾驶速度、超车等。动作计划单元162将指示为车辆5计划的动作的数据供应给行为计划单元163等。
行为计划单元163基于来自车辆控制系统100的相应单元(诸如地图分析单元151和情况预测单元154)的数据或信号来计划车辆5的行为，用于实现由动作计划单元162计划的动作。例如，行为计划单元163计划加速、减速、驾驶路线等。行为计划单元163将指示车辆5的计划的行为的数据供应给行为控制单元135的加速/减速控制单元172、方向控制单元173等。
行为控制单元135控制车辆5的行为。行为控制单元135包括紧急事件避免单元171、加速/减速控制单元172和方向控制单元173。
紧急事件避免单元171基于车外信息检测单元141、车内信息检测单元142和车辆状态检测单元143获得的检测结果来执行检测碰撞、接触、进入危险地带或诸如驾驶员的异常或车辆5的异常之类的紧急事件的处理。在检测到紧急事件的发生的情况下，紧急事件避免单元171计划车辆5的行为(诸如快速停车或快速转弯)以避免紧急事件。紧急事件避免单元171将指示车辆5的计划的行为的数据供应给加速/减速控制单元172、方向控制单元173等。
加速/减速控制单元172控制加速/减速以实现由行为计划单元163或紧急事件避免单元171计划的车辆5的行为。例如，加速/减速控制单元172计算驱动力生成装置或制动装置的控制目标值以实现计划的加速、减速或快速停止，并将指示计算出的控制目标值的控制指令供应给驱动控制单元107。
方向控制单元173控制方向，以实现由行为计划单元163或紧急事件避免单元171计划的车辆5的行为。例如，方向控制单元173计算转向机构的控制目标值，以实现由行为计划单元163或紧急事件避免单元171计划的驾驶路线或快速转弯，并将指示计算出的控制目标值的控制指令供应给驱动控制单元107。
图4至图6是用于描述由图像显示系统10进行的图像显示的概要的示意图。
如参考图2所描述的，投影仪12和屏幕11安装在车辆5中。因此，取决于车辆5的移动，乘坐在车辆5上的用户以及投影仪12和屏幕11将一起移动。例如，如果车辆5振动，那么用户相应地振动，并且投影仪12和屏幕11也振动。
那时，用户的移动与投影仪12和屏幕11的移动彼此相关联。即，构成图像显示单元的投影仪12和屏幕11与用户的移动相关联地移动。
例如，当物体A移动时，生成用于移动物体的力，并且当该力用于移动另一个物体B时，物体A的移动和物体B的移动包括在彼此相关联的移动中。此外，假设与物体B不同的物体C也由于由物体A的移动生成的力而移动。在这种情况下，物体B的移动和物体C的移动包括在彼此相关联的移动中。
即，在彼此相关联的移动中不仅包括物体A的移动和由物体A移动的物体B的移动，而且还包括由物体A在相同时刻移动的物体B和C中的每一个的移动。注意的是，这种移动也将被称为彼此互锁的移动。
对应于物体A的移动，在从物体A观看时，物体B相对地移动。这种状态不包括在彼此相关联的移动中。如果物体A本身的移动和物体B本身的移动之间存在任何关系，那么这些移动包括在彼此相关联的移动中。
如图4中示意性所示，当车辆5振动时(箭头V1)，乘坐在车辆5上的用户(用户的眼睛2)也晃动(箭头V2)。由于投影仪12和屏幕11也振动，因此在屏幕11上显示的图像1也晃动(箭头V3)。
例如，假设图像1的显示位置被固定在车辆5中的预定位置处。即，假设图像1定位在车辆内部空间中。在这种情况下，车辆5的振动变成图像1的振动，这伴随着观看图像1时的不适。
例如，当车辆5加速、减速、转弯或上下移动时，用户由于那些运动经受惯性力，但是由于图像1固定在车辆中而不移动，因此会发生感觉上的差异。即，对应于施加到内耳的刺激的感觉与通过视觉获得的感觉之间存在偏差。这种感觉上的差异变成晕动症的原因。
例如，如图5中所示，图像1的显示位置被位移，以跟随用户眼睛2的移动。这允许用户相对静止地观看图像1，并允许将图像1定位在用户空间中。即使在这种情况下，也难以舒适地观看图像1，因为在对应于施加到内耳的刺激的感觉与通过视觉获得的感觉之间存在差别。
本技术的发明人已经根据本技术新设计了图像显示，着眼于作为晕动症的原因的感觉上的差异。具体而言，如图6中所示，在新设计的图像显示中，图像1在与由车辆5的振动引起的投影仪12和屏幕11的振动分离的同时为用户(用户的眼睛2)显示。
即，用户能够无振动地观看图像1(这是相对于地面无振动的状态，并且因为用户在振动而相对振动)。这使得有可能为用户提供这样的观看环境，该观看环境提供与观看车辆外部的风景3相同的感觉，并且减少诸如晕动症之类的不适。
作为具体处理，执行用于针对外部空间抑制构成图像显示单元的投影仪12和屏幕11的移动(振动V3)的影响的图像显示(下文中称为抑制图像显示)。抑制图像显示也可以被称为用于当从外部空间观看时抑制投影仪12和屏幕11的移动(振动V3)的影响的图像显示。此外，能够执行抑制图像显示的图像显示系统10也可以被称为具有振动隔离功能(抗振动功能)的图像显示系统10。
抑制图像显示包括用于抵消投影仪12和屏幕11的移动(振动V3)的影响的任何图像显示。这使得有可能实现这样的观看环境，在该观看环境中图像1在与投影仪12和屏幕11的振动分离的同时被显示给用户。
此外，抑制图像显示包括用于响应于用户的移动(振动V2)而相对于用户移动图像1的任何图像显示。换句话说，抑制图像显示包括用于响应于投影仪12和屏幕11的移动(振动V3)而抑制图像1移动的任何图像显示。这使得有可能抑制对应于施加到内耳的刺激的感觉与通过视觉获得的感觉之间的差异，并且提供舒适的观看环境。
此外，抑制图像显示包括用于抑制由于用户的移动而由用户感知到的感觉与在观看图像1时由用户感知到的感觉之间的差异的任何图像显示。例如，由于用户的移动而由用户感知到的感觉包括由肌肉等感知到的知觉。用于抑制这种知觉与通过视觉获得的感觉之间的差异的图像显示可以作为抑制图像显示被执行。
此外，抑制图像显示包括用于使得用户能够以看风景3的方式观看图像1的任何图像显示。此外，抑制图像显示包括用于使用户能够以图像1定位在外部空间中的方式观看图像1的图像显示。这使得有可能实现舒适的观看环境。
注意的是，短语“用户以使图像1定位在外部空间中的方式观看图像1”包括在地球坐标系中维持与用户的位置关系的同时一起移动的状态。例如，图像1固定到车辆外部的外部空间而不振动。然后，图像1根据车辆5的移动(用户的移动)而移动。由用户以这种方式观看的图像显示也包括在抑制图像显示中。
当然，上述抑制图像显示中包括的每种类型的图像显示可以彼此兼容。例如，用于抵消投影仪12和屏幕11的移动(振动V3)的影响的图像显示也可以用作图像1响应于用户的移动(振动V2)而相对移动的图像显示、用于响应于投影仪12和屏幕11的移动(振动V3)而抑制图像1的移动的图像显示等。
通常通过控制显示在屏幕11上的图像1的显示状态来实现抑制图像显示。例如，图像1的显示尺寸、图像1的显示位置、图像1的形状等被适当地控制，因此实现了抑制图像显示。
因此，通常，包括控制图像1的显示状态的图像显示作为抑制图像显示被执行。此外，例如，包括图像1的显示尺寸、图像1的显示位置或图像1的形状中的至少一个的图像显示被执行为抑制图像显示。当然，本技术不限于以上内容。为了控制显示状态，可以控制与图像1的显示尺寸、图像1的显示位置和图像1的形状不同的其它参数。
图7是图示图像显示系统10的功能配置示例的框图。图像显示系统10还包括显示控制单元20。
显示控制单元20对应于根据本实施例的信息处理装置，并且包括计算机所需的硬件，诸如中央处理单元(CPU)、随机存取存储器(RAM)和只读存储器(ROM)。图7中所示的每个方框通过CPU配置，CPU将已经记录在ROM中的根据本技术的程序加载到RAM中并执行该程序，从而执行根据本技术的信息处理方法。
例如，显示控制单元20可以由诸如个人计算机(PC)之类的任何计算机实现。此外，还有可能使用诸如现场可编程门阵列(FPGA)之类的可编程逻辑设备(PLD)或诸如专用集成电路(ASIC)之类的另一种设备。此外，为了实现每个方框，可以使用诸如集成电路(IC)之类的专用硬件。
程序例如经由各种记录介质被安装在显示控制单元20上。可替代地，例如，可以经由互联网来执行程序的安装。
在这个实施例中，显示控制单元20被包括在图3所示的输出控制单元105中。投影仪12也包括在输出单元106中。
如图7中所示，显示控制单元20包括主视频生成单元21、数字图像移位单元22、数字图像移位量计算单元23、光学图像移位量计算单元24和光学/数字分离单元25。此外，显示控制单元20包括位移/变形量计算单元26、振动量计算单元27和带通滤波器(BPF)28。稍后将与图像显示的行为一起描述每个方框。
图8是用于描述投影仪12的图像移位功能的图。参考图7和8，投影仪12包括光源13、图像显示元件14、光学单元15、图像移位元件控制单元16、位移量检测单元17和投影仪运动传感器31。
例如，可以使用诸如激光光源、发光二极管(LED)或灯光源之类的任何光源作为光源13。图像显示元件14基于从光源13发射的光来生成构成图像1的图像光，并将该图像光发射到光学单元15。例如，可以使用诸如液晶面板、有机电致发光(EL)或数字微镜设备(DMD)之类的任何图像显示元件作为图像显示元件14。
光学单元15包括图像移位元件18和投影透镜系统19。投影透镜系统19将由图像显示元件14生成的图像光投影在屏幕11上。因此，图像1显示在屏幕11上。注意的是，在图8的A和B中，图像1显示在整个投影区域(可以在其中投影图像1)7上。即，设置视角，使得投影区域7的尺寸等于图像1的尺寸。
投影透镜系统19的具体配置不受限制，并且投影透镜系统19可以由各种透镜、反射镜等构成。
图像移位元件18能够光学地移动要被投影的图像1的显示位置。图像移位元件18整体地移动投影区域7的位置，以移动图像1的显示位置。
在这个实施例中，图像移位元件18具有透镜功能并且部署在从图像显示元件14发射的图像光的光轴上。还有可能使图像移位元件18用作投影透镜系统19的一部分。
如图8中所示，将从图像显示元件14发射的图像光的光轴方向定义为Z方向，并且将与Z方向正交且彼此正交的两个方向定义为X方向和Y方向。如图8的A中所示，图像移位元件18沿着XY平面方向(垂直于光轴的平面方向)移位。因此，要被投影在屏幕11上的图像1的显示位置(投影区域7的位置)被移位。
为了促进直观理解，图8的A图示了图像移位元件18的移位方向和图像1的显示位置的移位方向以使其成为相同的方向，但是本技术不限于此。图像移位元件18的移位方向与图像1的显示位置的移位方向可以是彼此相反的方向。在任何情况下，图像1的显示位置都根据图像移位元件18的移位方向和移位量在预定方向上并以预定移位量移动。
例如，这种图像移位功能允许控制图像1的显示状态。例如，假设由于投影仪12的振动等，图像1沿着垂直于投影仪12的投影方向(光轴方向)的平面方向振动。如果图像移位元件18沿着XY平面方向(垂直于光轴的平面方向)移位，那么可以抵消图像1的振动，并且可以实现抑制图像显示。
另外，如图8的B中所示，图像移位元件18沿着Z方向(光轴方向)移位。因此，图像1的显示尺寸(投影区域7的尺寸)被改变。图像1的显示尺寸以对应于图像移位元件18的移位量的比例放大或缩小。
例如，可以通过这种图像移位功能来控制图像1的显示状态。例如，假设图像1的显示尺寸由于投影仪12的振动等而微小地变化。如果图像移位元件18沿着Z方向(光轴方向)移位，那么图像1的显示尺寸的变化可以被抵消，并且可以实现抑制图像显示。
另外，如果图像移位元件18倾斜或旋转，那么可以控制图像1的显示状态。例如，假设图8中所示的X轴是俯仰轴、Y轴是横摆轴、Z轴是滚转轴，俯仰角、横摆角和滚转角被适当地控制。因此，可以控制图像1的形状(投影区域7的形状)等。
图像移位元件18的行为由图7中所示的图像移位元件控制单元16控制。例如，致动器等被配置为图像移位元件控制单元16，并且向其供应动力等，以使图像移位元件18以期望的移位量移动。当然，本技术不限于这种配置。可以采用任何配置作为图像移位元件18和图像移位元件控制单元16。
在这个实施例中，图像移位元件18和图像移位元件控制单元16与图像移动机构对应。图像移位元件18被控制，因此显示状态可以被控制。即，在这个实施例中，抑制图像显示包括图像移位元件18的控制。
图7中所示的位移量检测单元17检测图像移位元件18的位移量(移位量)。注意的是，图像移位元件控制单元16和位移量检测单元17可以被配置在显示控制单元20中。
如图8的C中所示，处理了要被投影的图像1的图像信息，因此图像1在投影区域7内的显示位置可以被移位。例如，适当地处理了输入到图像显示元件14的图像信号，因此可以数字地执行图像1的移位。注意的是，输入到图像显示元件14的图像信号包括要被投影的图像1的图像信息。因此，图像信号的处理对应于图像信息的处理。
注意的是，不仅是图像1的移位，而且图像1的显示尺寸的控制、图像1的形状的控制等都可以被执行。即，通过图像信息的处理，可以执行关于图像状态的各种类型的控制，从而实现抑制图像显示。
投影仪运动传感器31是用于检测投影仪12的运动的传感器，并且由例如加速度传感器、陀螺仪传感器和地磁传感器(9轴传感器)构成。另外，可以采用任何其它配置。
在这个实施例中，有可能基于由投影仪运动传感器31输出的检测结果来计算投影仪12的振动量等。例如，有可能基于地球坐标系来计算相对于地面的振动量等。当然，本技术不限于以上内容。
在这个实施例中，投影仪运动传感器31安装在投影仪12上。本技术不限于以上内容，并且投影仪运动传感器31可以安装在投影仪12附近。如果可以检测到投影仪12的振动等，那么可以可选地设置投影仪运动传感器31的设定位置。注意的是，投影仪运动传感器31包括在图3所示的数据获取单元102中。
在这个实施例中，诸如由投影仪运动传感器31输出的检测结果以及基于该检测结果计算出的振动量之类的信息被包括在关于图像显示单元的移动的移动信息中。此外，诸如检测结果和振动量之类的信息被包括在关于图像投影单元的移动的移动信息中。
关于车辆5的移动的移动信息可以被用于检测投影仪12的运动。例如，可以将车辆5的振动量等用作投影仪12的振动量等。可替代地，可以基于车辆5的振动量等来执行算术运算，并且可以计算投影仪12的振动量等。
图9是图示抑制图像显示的执行示例的图表。投影仪运动传感器31检测投影仪12的运动(步骤101)。BPF 28从投影仪运动传感器31的检测结果提取车辆5的振动分量(步骤102)。如上所述，在这个实施例中，着眼于相对于地面的振动分量来执行抑制图像显示。当然，本技术不限于以上内容。
用于从投影仪运动传感器31的检测结果提取振动分量的滤波器特性的设置不受限制。例如，通过校准等检测对应于振动分量的频带，然后设置滤波器特性，使得该频带被设置为通带。
振动量计算单元27计算投影仪12的振动量(步骤103)。在这个实施例中，计算基于地球坐标系的相对于地面的振动量。在这个实施例中，投影仪运动传感器31、BPF 28和振动量计算单元27实现获取单元，该获取单元获取与图像显示单元的移动有关的移动信息。
位移/变形量计算单元26计算主视频显示区域的位移/变形量(步骤104)。注意的是，主视频是主要显示的视频，并且在这个实施例中是图2等中所示的图像1。例如，字幕、文本信息等可以作为副视频显示在主视频上。在这种情况下，可以仅对主视频执行根据本技术的抑制图像显示。可替代地，可以对主视频和副视频执行根据本技术的抑制图像显示。
此外，主视频显示区域是要在其中显示图像1的区域，并且主视频显示区域的位置、尺寸和形状对应于图像1的显示位置、显示尺寸和形状。在步骤104中，计算图像1的显示位置的位移以及图像1的显示尺寸和形状的变化的信息，其对应于投影仪12的振动量。
由光学/数字分离单元25抵消主视频显示区域的位移/变形的方法被分为两种方法：光学方法和数字方法(步骤105)。在这个实施例中，将这些方法分为图8的A和B中所示的光学方法以及图8的B中所示的数字方法。
图10是图示分离抵消方法的示例的示意图。光学/数字分离单元25将位移/变形量转换到校正坐标系(步骤201)。在这个实施例中，图8中所示的XYZ坐标系被用作校正坐标系。以XYZ坐标系为参考，使用坐标值来计算图像1的显示位置的移位量以及变形量(相对于每个轴的旋转量)。
转换成坐标值的图像1的显示位置的移位量以及变形量(相对于每个轴的旋转量)被分离成沿着X、Y和Z轴的线性运动分量以及参考每个轴的角运动分量(步骤202和203)。
对于线性运动分量中沿着X和Y轴方向的移位，图8的A中所示的移动图像移位元件18的光学图像移位系统被使用，从而抵消图像1的位移(步骤204和205)。注意的是，在图10中，光学图像移位系统被描述为光学振动隔离。
对于线性运动分量中沿着Z轴方向的移位，图8的C中所示的用于处理图像信号的数字图像移位系统(显示尺寸的控制)被用于抵消图像1的变形(尺寸的变化)(步骤206)。注意的是，在图10中，数字图像移位系统被描述为数字振动隔离。
对于角移动分量中相对于横摆轴(Y轴)和俯仰轴(X轴)中的每一个的旋转，图8的A中所示的光学图像移位系统被用于抵消图像1的变形(步骤207和208)。
对于相对于滚转轴(Z轴)的旋转，图8的C中所示的数字图像移位系统被用于抵消图像1的变形(步骤209)。例如，这种分离方法允许高精度地抵消图像1的位移/变形。
抵消主视频显示区域的位移/变形的方法的分离不限于上述分离方法，并且可以可选地设置。例如，光学方法优先，但也有可能进行以下设置：当预定行程超过允许值时添加数字方法。例如，还有可能基于图像显示元件14的响应速度、分辨率等来设置分离方法。
当然，可以通过图8的A中所示的移动图像移位元件18的光学图像移位系统来抵消所有的位移/变形。可替代地，可以通过图8的C中所示的处理图像信号的数字图像移位系统来抵消所有的位移/变形。
在这个实施例中，由位移/变形量计算单元26进行的主视频显示区域的位移/变形量的计算对应于基于获取的移动信息检测图像显示单元的移动对要被投影的图像的影响。为了检测图像显示单元的移动的影响，可以使用除计算主视频显示区域的位移/变形量以外的方法。
此外，由光学/数字分离单元25对抵消方法的分离对应于基于所检测到的影响来设置图像移动机构的控制内容和图像信息的处理内容。图8的A和B中所示的图像移位元件18的具体控制内容对应于图像移动机构的控制内容。图8的C中所示的图像信号的处理内容对应于图像数据的处理内容。
例如，执行抵消方法的分离使得光学方法优先于数字方法。这对应于设置图像移动机构的控制内容和图像信息的处理内容，使得图像移动机构的控制优先于图像信息的处理。如果光学方法优先，那么可以抑制由于图像显示元件14的响应速度、分辨率等对图像1的位移/变形的抵消的影响。
光学图像移位量计算单元24计算用于抵消图像1的位移/变形的光学图像移位量(步骤106)。即，计算图像移位元件18的移位量。光学图像移位量计算单元24针对在分离抵消方法时确定的每个移位方向来计算移位量。
包括计算出的移位量的控制信号被输出到投影仪12的图像移位元件控制单元16(步骤107)。图像移位元件控制单元16基于接收到的控制信号来控制图像移位元件18。
数字图像移位量计算单元23计算用于抵消图像1的位移/变形的数字图像移位量(步骤108)。即，计算图像移位元件18的移位量。注意的是，数字图像移位系统中的移位量是包括图像的变形量等的参数。
数字图像移位单元22基于计算出的移位量来处理从主视频生成单元21发送的图像信号。因此，输出其中图像1的显示位置和形状被适当改变的图像信号(步骤109)。
如图7中所示，由数字图像移位单元22处理的图像信号被输入到图像显示元件14，并且图像光被生成。所生成的图像光由包括图像移位元件18的光学单元15投影到屏幕11上。由于要被投影的图像经受光学校正和数字校正，因此实现了这样的图像显示，其中图像1在与由车辆5的振动造成的投影仪12的振动分离的同时被显示。即，抑制显示图像被实现。
在这个实施例中，显示控制单元20对应于使图像显示单元基于所获取的移动信息执行用于针对外部空间抑制图像显示单元的移动的影响的抑制图像显示的显示控制单元。在显示控制单元20被认为是根据本技术的信息处理装置的情况下，BPF 28和振动量计算单元27用作获取单元。此外，数字图像移位单元22、数字图像移位量计算单元23、光学图像移位量计算单元24、光学/数字分离单元25、位移/变形量计算单元26和振动量计算单元27用作显示控制单元。
图11是用于描述图7中所示的图像移位元件控制单元16对图像移位元件18的控制的框图。在这个实施例中，使用将光学图像移位量转换成用于控制图像移位元件的控制值的转换表。控制值是例如要施加到移动图像移位元件18的致动器的当前值。当然，本技术不限于以上内容。
参考转换表，图像移位元件控制单元16将从光学图像移位量计算单元24接收到的光学图像移位量转换成控制值(步骤301)。图像移位元件控制单元16输出转换后的控制值以控制图像移位元件18(步骤302)。
位移量检测单元17检测图像移位元件18的位移量(移位量)。即，检测相对于输入控制值的实际位移量(步骤303)。基于由位移量检测单元17检测到的位移量来更新转换表。以这种方式反馈图像移位元件18的实际位移量使得有可能提高光学图像移位系统的精度。
如上所述，在根据这个实施例的图像显示系统10中，有可能使与用户的移动相关联地移动的投影仪12执行用于针对外部空间抑制投影仪12的移动的影响的抑制图像显示。这使得有可能提供舒适的观看环境。
如上所述，视频装备常常固定在车辆上，并且当车辆振动时，视频也以相同的方式振动，这使得难以读取，也是眼睛疲劳和晕动症的原因。根据这个实施例的图像显示系统10允许视频与车辆的振动分离，并且因此允许观看视频时由于振动引起的不适显著减小。
此外，即使在打算将视频叠加在车辆外部的风景上的情况下，如增强现实(AR)和混合现实(MR)中那样，视频也可以与车辆的振动分离，因此，可以充分防止与风景的偏差并且可以实现高质量的图像显示。
有可能通过减少观看视频时的不适并提供舒适的视频观看来改善车辆中视频观看的体验价值。另外，由于大大地改善了车辆中的观看环境，因此有可能满足对更高质量的视频/音频装备的请求以及对更高质量的内容的请求，从而实现具有非常高质量的图像显示系统。
<第二实施例>
将描述根据本技术的第二实施例的图像显示系统。在下面的描述中，将省略或简化与上述实施例中描述的图像显示系统10的配置和操作相似的配置和操作的描述。
在以上实施例中，执行用于抑制主要由车辆5的振动造成的投影仪12的振动的影响的抑制图像显示。在这个实施例中，执行用于抑制投影仪12的振动和屏幕11的振动的影响的抑制图像显示。
图12是用于描述根据这个实施例的抑制图像显示的概要的示意图。例如，假设基于投影仪12的振动量的图像1的位移/变形被抵消。因此，如图12的A中所示，由于与振动屏幕11的相对位置关系，图像1可以相对于屏幕11进行位移。作为极端的示例，例如，投影区域7和图像1可以从屏幕11突出。
在这个实施例中，投影区域7和图像1的显示位置等被光学地移位，或者图像1的显示区域等在投影区域7内被数字地移位，这使得有可能控制图像1相对于屏幕11的显示位置等。即，在这个实施例中，执行抑制显示图像，其包括用于抑制作为图像投影单元的投影仪12与作为被投影单元的屏幕11之间的相对移动的影响的显示图像。
图13是图示根据这个实施例的图像显示系统40的功能配置示例的框图。图14是图示抑制图像显示的执行示例的图。
在图13所示的方框中，不同于图7所示的图像显示系统10的方框包括安装在屏幕11上的屏幕运动传感器41。此外，这些方框包括BPF 51、振动量计算单元52、相对振动量计算单元53、相对位移/变形量计算单元54和位移/变形量求和单元55，这些包括在显示控制单元50中。
屏幕运动传感器41是用于检测投影仪12的运动的传感器，并且包括例如9轴传感器(其包括加速度传感器)。此外，可以采用任何其它配置。
在这个实施例中，可以基于由屏幕运动传感器41输出的检测结果来计算屏幕11的振动量等。例如，有可能基于地球坐标系来计算相对于地面的振动量等。当然，本技术不限于以上内容。
在这个实施例中，屏幕运动传感器41安装在屏幕11上。本发明不限于此，并且屏幕运动传感器41可以安装在屏幕11的附近。如果可以检测到屏幕11的振动等，那么可以可选地设置屏幕运动传感器41的设定位置。注意的是，屏幕运动传感器41包括在图3所示的数据获取单元102中。
在这个实施例中，诸如由屏幕运动传感器41输出的检测结果和基于该检测结果计算出的振动量之类的信息被包括在关于图像显示单元的移动的移动信息中。此外，诸如检测结果和振动量之类的信息被包括在关于投影单元的移动的移动信息中。
关于车辆5的移动的移动信息可以被用于检测屏幕11的运动。例如，车辆5的振动量等可以被用作屏幕11的振动量等。可替代地，可以基于车辆5的振动量等来执行算术运算，并且可以计算屏幕11的振动量等。
图14的步骤401至404类似于图9的步骤101至104。在步骤405至407中，计算屏幕11的振动量。具体而言，由BPF 51从屏幕运动传感器41检测到的结果中提取屏幕11的振动分量。振动量计算单元52然后计算屏幕11的振动量。屏幕运动传感器41、BPF 51和振动量计算单元52用作获取单元。
相对位移/变形量计算单元54计算屏幕11与投影仪12之间的相对振动量(步骤408)。例如，计算投影仪12相对于屏幕11的振动量。
相对位移/变形量计算单元54基于相对振动来计算主视频显示区域的位移/变形量(步骤409)。例如，参考屏幕11，计算包括在其上显示的图像1的显示位置的位移以及图像1的显示尺寸和形状的变化的信息。
位移/变形量求和单元55基于两种振动对主视频显示区域的位移/变形量求和(步骤410)。例如，将对应于投影仪12的振动量的图像1的显示位置的位移与以屏幕11为参考的图像1的位移相加。此外，将对应于投影仪12的振动量的图像1的显示尺寸和形状的变化与以屏幕11为参考的图像1的显示尺寸和形状的变化相加。
例如，假设由于投影仪12的振动，图像1在预定方向上位移了预定量。此外，如图12的A中所示，假设图像1和屏幕11之间的位置关系被移位。在这种情况下，将对应于投影仪12的振动的位移量与图像1相对于屏幕11的偏离量相加。这同样适用于显示器尺寸和形状的变化。
对求和的位移/变形量执行步骤105至109中所述的抵消处理(步骤411至415)。例如，执行抑制图像显示，使得对应于投影仪12的振动的图像1的位移/变形被优先抵消。例如，图像1的位移/变形在不发生极端事件(诸如图像1从屏幕11突出)的范围内被抵消。
可替代地，可以执行抑制图像显示，使得以屏幕11为参考的图像1的位移/变形被优先抵消。可替代地，可以执行抑制图像显示，使得对应于投影仪12的振动的图像1的位移/变形和图像1相对于屏幕11的位移/变形被相同程度地抵消。
可以基于投影仪12的特性、屏幕11的特性、由图像1在车辆中产生什么样的视觉效果、影响的幅值(诸如图像1相对于屏幕11的位移)等，采用用于抵消图像1的位移/变形的任何方法。
如在这个实施例中，考虑到投影仪12与屏幕11之间的相对振动量来执行抑制图像显示，因此有可能提供舒适的观看环境。注意的是，可以仅基于投影仪12与屏幕11之间的相对振动量来执行抑制图像显示。
图15至图18是图示图像显示系统的变形例的示意图。在图15的A中所示的示例中，如在图2中所示的示例中，投影仪61安装在后排座椅的大致中心位置，并且图像朝着安装在前排和后排座椅之间的屏幕62投影。
在图15的B中所示的示例中，两个投影仪63a和63b部署在后排座椅的左端和右端，并且图像朝着安装在前排和后排座椅之间的屏幕64投影。在图15的C中所示的示例中，投影仪65部署在后排座椅的脚处的地板上，并且图像朝着安装在天花板上的屏幕66投影。
在图15的D中所示的示例中，短焦投影仪67部署在后排座椅的脚处的地板上，并且图像从下侧朝着安装在前排和后排座椅之间的屏幕68投影。在图15的E中所示的示例中，短焦投影仪69a和69b部署在左和右B柱的内部附近，并且图像从左和右朝着部署在前排和后排座椅之间的屏幕70投影。
在图15的D中所示的示例中，短焦投影仪71a和72b部署在后排座椅的左和右门上方，并且图像从左和右朝着安装在天花板上的屏幕72投影。本技术适用于如图15的A至D中所示的各种配置的图像显示系统。注意的是，图15的A至D中所示的配置可以适当地组合。
图16和17是图示平视显示器(HUD)的变形例的示意图。在图16中所示的HUD中，前挡风玻璃74用作被投影单元，而图像显示在整个前挡风玻璃74上。
在图16的A中所示的示例中，图像由安装在前挡风玻璃74下方的短焦投影仪75投影。短焦投影仪75可以安装在仪表板中或者可以安装在仪表板中。
在图16的B中所示的示例中，图像由安装在前挡风玻璃74左右两侧的短焦投影仪76a和76b投影。短焦投影仪76a和76b可以安装在左和右A柱中，或者可以设置在左和右A柱的外部。
在图16的C中所示的示例中，图像由安装在前挡风玻璃74上侧的短焦投影仪77投影。本技术适用于如图16的A至C中所示的各种配置的HUD。注意的是，图16的A至C中所示的配置可以适当地组合。
在图17中，图示了组合器HUD。在图17的A中所示的示例中，在面向驾驶员的视线的位置处安装有用作被投影单元的组合器78，并且通过投影仪79投影图像。这使得用户(驾驶员)有可能观看显示在比前挡风玻璃80更靠前的一侧上的虚拟图像。
在图17的B中所示的示例中，前挡风玻璃81被用作组合器。图像由投影仪82投影在前挡风玻璃81的预定区域中。用户(驾驶员)可以观看显示在比前挡风玻璃81更靠前的一侧上的虚拟图像。
本技术适用于如图17的A和B中所示的各种配置的HUD。注意的是，图17的A和B中所示的配置可以适当地组合。
在图18中所示的图像显示系统中，两个投影仪83a和83b沿着行进方向安装在天花板的左端和右端。透射图像(transmission image)显示在车辆内部的整个侧面和整个天花板上。本技术也适用于这种图像显示系统。
如果正在执行自动驾驶，那么还可以想到用户常常在无需驾驶的状态下观看投影在屏幕(投影单元)上的图像。使用本技术允许提供舒适的观看环境，并允许实现非常高质量的图像显示系统。
本技术适用于安装在各种移动体上的图像显示系统。根据本技术的图像显示系统可以被安装在例如汽车、电动车辆、混合动力电动车辆、摩托车、自行车、飞机、轮船、机器人、建筑机械、农业机械(拖拉机)等中。
<其它实施例>
本技术不限于上述实施例，并且可以实现各种其它实施例。
图19至图22是用于描述根据其它实施例的图像显示系统的示意图。在以上实施例中，已经举例说明了图像1在车辆5的内部空间中显示的情况。本技术不限于以上内容，并且甚至适用于图像1被投影在车辆5的外部空间中的情况。
例如，如图19的A和B中所示，用作图像显示单元(图像投影单元)的投影仪85被面向前方部署在车辆5的前部上。图像1然后被投影在车辆5的前侧的作为投影表面的路面86上。
根据本技术的图像显示系统执行用于针对外部空间抑制构成图像显示单元的投影仪85的移动(振动V3)的影响的抑制图像显示。这使得用户(用户的眼睛)有可能以与看车外风景相同的感觉来观看图像1。作为结果，可以减少诸如晕动症之类的不适，并且可以提供舒适的观看环境。
如图20的A至C中所示，图像1也可以投影在车辆5前方的墙上。例如，图像1可以被投影在位于车辆5前方的左壁表面87a和右壁表面87b上，并且被部署为从左和右夹住车辆5。此外，图像1还可以被投影在左前壁表面88a和右前壁表面88b上，该左前壁表面88a和右前壁表面88b对角地位于车辆5前方的左和右方向并且面向车辆5。
当然，图像1也可以不投影在前方倾斜的壁表面上，而是投影在直接位于前方的前壁表面上。图像1也可以投影在位于前方的上侧的壁表面上。根据本技术的图像显示系统执行抑制图像显示，从而允许提供舒适的观看环境。
在图21中所示的示例中，投影仪89a和89b部署在车辆5的左和右后视镜附近。然后，图像1被投影在相对于车辆5直接位于横向的左壁表面90a和右壁表面90b上。根据本技术的图像显示系统执行抑制图像显示，从而允许提供舒适的观看环境。
在图22中所示的示例中，摩托车91被用作移动体。投影仪92a和92b被面向下方部署在摩托车91的左侧和右侧。如图22的A和B中所示，图像1被投影仪92a和92b投影在摩托车91几乎正下方的左右路面93a和93b上。根据本技术的图像显示系统执行抑制图像显示，从而允许提供舒适的观看环境。
当然，可以可选地设置朝着外部空间投影图像1的方法、用于投影图像1的配置、投影图像1的位置等。使用本技术允许提供舒适的观看环境。
此外，在图像1朝着外部空间投影的情况下，即使对于除了在移动体上乘坐并移动的用户以外的人，也实现了与投影仪(图像显示单元)的振动分离的图像显示。即，有可能为外部空间中的人提供舒适的观看环境。当然，有可能为被认为是根据本技术的图像显示系统的用户的外部空间中的人提供各种类型的内容。
图23是图示可以对其应用根据本技术的图像显示系统的头戴式显示器(HMD)的配置示例的透视图。图23中所示的HMD 200是包括透射型显示器的眼镜型设备，并且通过穿戴在用户的头上来使用。当用户移动时，HMD 200也结合用户的移动而一起移动。例如，如果在行走或行进时用户的头部振动，那么HMD 200也振动。用户的移动和HMD 200的移动彼此相关联。
HMD 200包括左透镜201L和右透镜201R、左眼显示器202L和右眼显示器202R以及传感器单元203L和203R。左透镜201L和右透镜201R分别部署在用户的左眼和右眼的前方。左眼显示器202L和右眼显示器202R分别设置在左和右透镜201L和201R上，以覆盖用户的视野。
左眼显示器202L和右眼显示器202R是透射型显示器，并且在其上分别显示用于左眼和右眼的图像等。穿戴HMD 200的用户可以观看实际风景，并且同时观看在相应显示器上显示的图像。用户可以因此体验增强现实(AR)等。
作为左眼显示器202L和右眼显示器202R，使用例如透射型有机电致发光显示器、液晶显示器(LCD)等。左眼显示器202L和右眼显示器202R用作图像显示单元。
传感器单元203L和203R包括例如加速度传感器、陀螺仪传感器、地磁传感器(9轴传感器)等，并且可以计算相应的左眼显示器202L和右眼显示器202R的振动量，其根据用户的移动而生成。
执行根据本技术的抑制图像显示，使得显示在左眼显示器202L和右眼显示器202R上的图像在与左眼显示器202L和右眼显示器202R的振动(HMD 200的振动)分离的同时被观看。例如，如果图像信息被适当地处理，那么在左眼显示器202L和右眼显示器202R上显示的图像的显示状态被控制。在左眼显示器202L和右眼显示器202R被配置为可移动的情况下，左眼显示器202L和右眼显示器202R可以被移动。
以这种方式，根据本技术的图像显示系统可以安装在用户要穿戴的可穿戴物体上。可穿戴物体不限于HMD，并且可以使用其它可穿戴设备、头盔等。例如，当HUD被安装在全罩型头盔上时，对其应用本技术，并且允许实现舒适的观看环境。
在以上描述中，图像移位元件的控制和图像信息的处理已经作为显示状态的控制被举例说明。本技术不限于上述内容，并且可以通过移位/旋转投影仪本身来控制图像的显示状态。此外，可以通过移位/旋转图像显示元件来控制图像的显示状态。
在以上描述中，已经描述了将投影仪用作图像显示系统的情况。但是，可以使用有机EL显示器或LCD。图像的显示状态可以通过移动/旋转这种显示器来控制。
能够减少不适(诸如晕动症)的方法的示例包括使用户意识到地球坐标系的图像显示。即，它是使用户更少意识到车辆内部空间的图像显示。例如，有可能通过在车辆内实现这样的事情使用户意识到地球坐标系：如在窗户上投影主视频、在窗户外投影虚拟图像、示出覆盖视场的大图像、使车辆内部更暗(使得仅主视频显示为漂浮)以及示出反映车辆外部的运动的外围图像等。如果将上述抑制图像显示与使用户意识到地球坐标系的图像显示相结合，那么有可能提供更舒适的观看环境。
根据本技术的信息处理方法和程序不仅可以在由单个计算机构成的计算机系统中执行，而且可以在有多个计算机彼此协同操作的计算机系统中执行。注意的是，在本公开中，系统是指多个组件(诸如装备或模块(部分))的集合，且并不意味着是否所有组件都被容纳在相同的外壳中。因此，容纳在单独的外壳中并且经由网络彼此连接的多个装置以及具有容纳在单个外壳中的多个模块的单个装置都是系统。
由计算机系统对根据本技术的信息处理方法和程序的执行包括两种情况，即例如由单个计算机执行移动信息的获取、抑制图像显示的执行控制等，以及由不同计算机执行每个处理。此外，由指定的计算机执行每个处理包括使另一个计算机执行部分或全部处理并获取执行的结果。
换句话说，根据本技术的信息处理方法和程序还适用于云计算配置，其中一个功能由多个装置经由网络共享并协同处理。
参考附图描述的图像显示系统或抑制图像显示的流程等仅仅是一个实施例，并且可以在不脱离本技术的要旨的情况下被可选地修改。换句话说，可以采用用于实践本技术的任何其它配置、算法等。
例如，使用例如深度神经网络(DNN)的任何机器学习算法都可以被用于执行抑制图像显示。例如，通过使用人工智能(AI)等用于执行深度学习，有可能提高抵消振动等的精度。
在本公开中，“中心”、“相等”、“垂直”、“正交”等是包括“大致中心”、“大致相等”、“大致垂直”和“大致正交”的概念。例如，上述概念还包括以“完全中心”、“完全相等”、“完全垂直”、“完全正交”等为参考的预定范围(例如，±10％)中所包括的状态。
在根据上述本技术的特征部分中，可以组合至少两个特征部分。即，在相应实施例中描述的各种特征部分可以与实施例无关地被可选地组合。另外，上述各种效果仅仅是示例而不受限制，并且可以发挥其它效果。
注意的是，本技术也可以如下配置。
(1)一种图像显示系统，包括：
图像显示单元，其能够显示图像并且与用户的移动相关联地移动；
获取单元，其获取与图像显示单元的移动相关的移动信息；以及
显示控制单元，其使图像显示单元基于所获取的移动信息来执行用于针对外部空间抑制图像显示单元的移动的影响的抑制图像显示。
(2)根据(1)所述的图像显示系统，其中
抑制图像显示包括用于抵消图像显示单元的移动的影响的图像显示。
(3)根据(1)或(2)所述的图像显示系统，其中
抑制图像显示包括用于响应于用户的移动而使图像相对于用户移动的图像显示。
(4)根据(1)至(3)中的任一项所述的图像显示系统，其中
抑制图像显示包括用于抑制图像响应于图像显示单元的移动而移动的图像显示。
(5)根据(1)至(4)中的任一项所述的图像显示系统，其中
抑制图像显示包括用于抑制由于用户的移动而由用户感知到的感觉与在观看图像时由用户感知到的感觉之间的差异的图像显示。
(6)根据(1)至(5)中的任一项所述的图像显示系统，其中
抑制图像显示包括用于使得用户能够以看风景的方式观看图像的图像显示。
(7)根据(1)至(6)中的任一项所述的图像显示系统，其中
抑制图像显示包括用于控制图像的显示状态的图像显示。
(8)根据(7)所述的图像显示系统，其中
抑制图像显示包括控制图像的显示尺寸、图像的显示位置和图像的形状中的至少一个。
(9)根据(1)至(8)中的任一项所述的图像显示系统，其中
图像显示单元包括
投影图像的图像投影单元，以及
要在其上投影该图像的被投影单元，以及
移动信息包括关于与图像投影单元的移动有关的移动信息和关于被投影单元的移动的移动信息中的至少之一。
(10)根据(9)所述的图像显示系统，其中
抑制图像显示包括用于抑制图像投影单元与被投影单元之间的相对移动的影响的图像显示。
(11)根据(9)或(10)所述的图像显示系统，其中
图像投影单元包括图像移动机构，该图像移动机构能够光学地移动要被投影的图像的显示位置，以及
抑制图像显示包括图像移动机构的控制。
(12)根据(9)至(11)中的任一项所述的图像显示系统，其中
抑制图像显示包括通过处理要被投影的图像的图像信息在图像投影单元的投影区域内移动图像。
(13)根据(11)所述的图像显示系统，其中
抑制图像显示包括通过处理要被投影的图像的图像信息在图像投影单元的投影区域内移动图像，以及
显示控制单元基于所获取的移动信息来检测图像显示单元的移动对要被投影的图像的影响，并基于所检测到的影响来分别设置图像移动机构的控制内容和图像信息的处理内容。
(14)根据(13)所述的图像显示系统，其中
显示控制单元设置图像移动机构的控制内容和图像信息的处理内容，使得图像移动机构的控制优先于图像信息的处理。
(15)根据(1)至(14)中的任一项所述的图像显示系统，其被安装在能够移动乘坐在其上的用户的移动体上。
(16)根据(1)至(14)中的任一项所述的图像显示系统，其被安装在用户要穿戴的可穿戴物体上。
(17)一种信息处理装置，包括：
获取单元，其获取与能够显示图像并且与用户的移动相关联地移动的图像显示单元的移动相关的移动信息；以及
显示控制单元，其使图像显示单元基于所获取的移动信息来执行用于针对外部空间抑制图像显示单元的移动的影响的抑制图像显示。
(18)一种由计算机系统执行的信息处理方法，该信息处理方法包括：
获取与能够显示图像并且与用户的移动相关联地移动的图像显示单元的移动有关的移动信息；以及
由图像显示单元基于所获取的移动信息来执行用于针对外部空间抑制图像显示单元的移动的影响的抑制图像显示。
(19)一种使计算机系统执行以下步骤的程序：
获取与能够显示图像并且与用户的移动相关联地移动的图像显示单元的移动有关的移动信息；以及
由图像显示单元基于获取的移动信息来执行用于针对外部空间抑制图像显示单元的移动的影响的抑制图像显示。
(20)一种移动体，包括：
主体单元，其包括用户能够乘坐在其上的乘坐单元；
图像显示单元，其被设置于主体单元并且能够显示图像；
获取单元，其获取与设置于主体单元的图像显示单元的移动有关的移动信息；以及
显示控制单元，其使图像显示单元基于获取的移动信息来执行用于针对外部空间抑制图像显示单元的移动的影响的抑制图像显示。
附图标记列表
1 图像
2 用户的眼睛
3 风景
5 车辆
7 投影区域
10，40 图像显示系统
11，62，64，66，70，72 屏幕
12，61，63a，63b，65，79，82，83a，83b，85、89a，89b，92a，92b 投影仪
16 图像移位元件控制单元
18 图像移位元件
20，50 显示控制单元
31 投影仪运动传感器
41 屏幕运动传感器
67，69a，69b，71a，71b，75，76a，76b，77 短焦投影仪
74，80，81 前挡风玻璃
78 组合器
91 摩托车
100 车辆控制系统
200 HMD
202R 右眼显示器
202L 左眼显示器
203L，203R 传感器单元

Claims (20)

1.一种图像显示系统，包括：
图像显示单元，所述图像显示单元能够显示图像并且与用户的移动相关联地移动；
获取单元，所述获取单元获取与所述图像显示单元的移动相关的移动信息；以及
显示控制单元，所述显示控制单元使所述图像显示单元基于所获取的移动信息来执行用于针对外部空间抑制所述图像显示单元的移动的影响的抑制图像显示。
2.如权利要求1所述的图像显示系统，其中
所述抑制图像显示包括用于抵消所述图像显示单元的移动的影响的图像显示。
3.如权利要求1所述的图像显示系统，其中
所述抑制图像显示包括用于响应于所述用户的移动而使所述图像相对于所述用户移动的图像显示。
4.如权利要求1所述的图像显示系统，其中
所述抑制图像显示包括用于抑制所述图像响应于所述图像显示单元的移动而移动的图像显示。
5.如权利要求1所述的图像显示系统，其中
所述抑制图像显示包括用于抑制由于所述用户的移动而由所述用户感知到的感觉与在观看图像时由所述用户感知到的感觉之间的差异的图像显示。
6.如权利要求1所述的图像显示系统，其中
所述抑制图像显示包括用于使得所述用户能够以看风景的方式观看所述图像的图像显示。
7.如权利要求1所述的图像显示系统，其中
所述抑制图像显示包括用于控制所述图像的显示状态的图像显示。
8.如权利要求7所述的图像显示系统，其中
所述抑制图像显示包括控制所述图像的显示尺寸、所述图像的显示位置和所述图像的形状中的至少一个。
9.如权利要求1所述的图像显示系统，其中
所述图像显示单元包括
图像投影单元，所述图像投影单元投影所述图像，以及
被投影单元，所述图像要被投影在所述被投影单元上，以及
所述移动信息包括与所述图像投影单元的移动相关的移动信息和与被投影单元的移动相关的移动信息中的至少之一。
10.如权利要求9所述的图像显示系统，其中
所述抑制图像显示包括用于抑制所述图像投影单元与所述被投影单元之间的相对移动的影响的图像显示。
11.如权利要求9所述的图像显示系统，其中
所述图像投影单元包括图像移动机构，所述图像移动机构能够光学地移动要被投影的图像的显示位置，以及
所述抑制图像显示包括所述图像移动机构的控制。
12.如权利要求9所述的图像显示系统，其中
所述抑制图像显示包括通过处理要被投影的图像的图像信息，在所述图像投影单元的投影区域内移动所述图像。
13.如权利要求11所述的图像显示系统，其中
所述抑制图像显示包括通过处理要被投影的图像的图像信息，在所述图像投影单元的投影区域内移动所述图像，以及
所述显示控制单元基于所获取的移动信息来检测所述图像显示单元的移动对要被投影的图像的影响，并基于所检测到的影响来分别设置所述图像移动机构的控制内容和所述图像信息的处理内容。
14.如权利要求13所述的图像显示系统，其中
所述显示控制单元分别设置所述图像移动机构的控制内容和所述图像信息的处理内容，使得所述图像移动机构的控制优先于所述图像信息的处理。
15.如权利要求1所述的图像显示系统，所述图像显示系统被安装在能够移动乘坐在其上的用户的移动体上。
16.如权利要求1所述的图像显示系统，所述图像显示系统被安装在要由所述用户穿戴的可穿戴物体上。
17.一种信息处理装置，包括：
获取单元，所述获取单元获取与能够显示图像并且与用户的移动相关联地移动的图像显示单元的移动相关的移动信息；以及
显示控制单元，所述显示控制单元使所述图像显示单元基于所获取的移动信息来执行用于针对外部空间抑制所述图像显示单元的移动的影响的抑制图像显示。
18.一种由计算机系统执行的信息处理方法，所述信息处理方法包括：
获取与能够显示图像并且与用户的移动相关联地移动的图像显示单元的移动有关的移动信息；以及
由所述图像显示单元基于所获取的移动信息来执行用于针对外部空间抑制所述图像显示单元的移动的影响的抑制图像显示。
19.一种使计算机系统执行以下步骤的程序：
获取与能够显示图像并且与用户的移动相关联地移动的图像显示单元的移动有关的移动信息；以及
由所述图像显示单元基于所获取的移动信息来执行用于针对外部空间抑制所述图像显示单元的移动的影响的抑制图像显示。
20.一种移动体，包括：
主体单元，所述主体单元包括用户能够乘坐在其上的乘坐单元；
图像显示单元，所述图像显示单元被设置于所述主体单元并且能够显示图像；
获取单元，所述获取单元获取与设置于所述主体单元的所述图像显示单元的移动相关的移动信息；以及
显示控制单元，所述显示控制单元使所述图像显示单元基于所获取的移动信息来执行用于针对外部空间抑制所述图像显示单元的移动的影响的抑制图像显示。
CN201980018612.4A 2018-03-19 2019-02-01 图像显示系统、信息处理装置、信息处理方法、程序和移动体 Active CN111837175B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018050844 2018-03-19
JP2018-050844 2018-03-19
PCT/JP2019/003672 WO2019181233A1 (ja) 2018-03-19 2019-02-01 画像表示システム、情報処理装置、情報処理方法、プログラム、及び移動体

Publications (2)

Publication Number Publication Date
CN111837175A true CN111837175A (zh) 2020-10-27
CN111837175B CN111837175B (zh) 2023-11-14

Family

ID=67986085

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980018612.4A Active CN111837175B (zh) 2018-03-19 2019-02-01 图像显示系统、信息处理装置、信息处理方法、程序和移动体

Country Status (5)

Country Link
US (1) US11232769B2 (zh)
EP (1) EP3770898A4 (zh)
KR (1) KR102550382B1 (zh)
CN (1) CN111837175B (zh)
WO (1) WO2019181233A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11787288B2 (en) * 2019-07-24 2023-10-17 Harman International Industries, Incorporated Systems and methods for user interfaces in a vehicular environment
IT202000004891A1 (it) * 2020-03-09 2021-09-09 Ferrari Spa Metodo di assistenza alla guida prestazionale di un veicolo stradale con interfaccia in realta' aumentata
JPWO2021251115A1 (zh) * 2020-06-08 2021-12-16
EP4171021A4 (en) * 2020-06-19 2023-11-22 Sony Group Corporation CONTROL DEVICE, PROJECTION SYSTEM, CONTROL METHOD AND PROGRAM
US20220254284A1 (en) * 2021-02-09 2022-08-11 Hyundai Mobis Co., Ltd. Smart mobility vehicle
JP7057053B1 (ja) 2021-03-19 2022-04-19 三菱ロジスネクスト株式会社 荷役システム
DE102021107390A1 (de) * 2021-03-24 2022-09-29 Claas E-Systems Gmbh Landwirtschaftliche Arbeitsmaschine
US11726340B1 (en) 2022-03-28 2023-08-15 Honeywell International Inc. Systems and methods for transforming video data in an indirect vision system
WO2024084951A1 (ja) * 2022-10-19 2024-04-25 ソニーグループ株式会社 プロジェクションシステム、制御装置、および制御方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03283422A (ja) * 1990-03-30 1991-12-13 Ushio Inc 投影露光装置
US20040100419A1 (en) * 2002-11-25 2004-05-27 Nissan Motor Co., Ltd. Display device
CN101095080A (zh) * 2005-01-05 2007-12-26 诺基亚公司 稳定图像投影设备
JP2008033136A (ja) * 2006-07-31 2008-02-14 Ｎｅｃディスプレイソリューションズ株式会社 プロジェクタおよび投射画像調整方法
US20100066832A1 (en) * 2008-09-18 2010-03-18 Kabushiki Kaisha Toshiba Head up display
CN102314315A (zh) * 2010-07-09 2012-01-11 株式会社东芝 显示装置、图像数据生成装置、图像数据生成程序及显示方法
JP2012019452A (ja) * 2010-07-09 2012-01-26 Mitsubishi Electric Corp 画像処理装置及び画像処理方法
CN105319714A (zh) * 2014-07-31 2016-02-10 精工爱普生株式会社 显示装置、显示装置的控制方法及程序

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5060792B2 (ja) * 2007-01-29 2012-10-31 三洋電機株式会社 投写光学系、投写用ユニットおよび投写型表示装置
JP5704313B2 (ja) 2010-11-16 2015-04-22 セイコーエプソン株式会社 映像表示装置及び映像表示方法
JP5648907B2 (ja) * 2010-11-26 2015-01-07 株式会社ニコン 変倍光学系、及び、光学機器
JP6252002B2 (ja) * 2013-07-11 2017-12-27 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
WO2015146805A1 (ja) * 2014-03-25 2015-10-01 コニカミノルタ株式会社 投光装置、及び、投光方法
DE102014112077A1 (de) 2014-08-22 2016-02-25 Connaught Electronics Ltd. Vorrichtung zur Linderung von Reisekrankheit in einem Kraftfahrzeug
JPWO2016121966A1 (ja) * 2015-01-30 2017-10-19 株式会社ニコン 変倍光学系、光学機器及び変倍光学系の製造方法
JP2017171243A (ja) 2016-03-25 2017-09-28 三菱自動車工業株式会社 車両用モニタ表示システム
US10877359B2 (en) * 2016-12-12 2020-12-29 Sony Semiconductor Solutions Corporation Projection optical system, image projection apparatus, and image projection system for a laser scanning projector
JP7077611B2 (ja) * 2017-12-27 2022-05-31 セイコーエプソン株式会社 プロジェクター、マルチプロジェクションシステムおよびプロジェクターの制御方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03283422A (ja) * 1990-03-30 1991-12-13 Ushio Inc 投影露光装置
US20040100419A1 (en) * 2002-11-25 2004-05-27 Nissan Motor Co., Ltd. Display device
CN101095080A (zh) * 2005-01-05 2007-12-26 诺基亚公司 稳定图像投影设备
JP2008033136A (ja) * 2006-07-31 2008-02-14 Ｎｅｃディスプレイソリューションズ株式会社 プロジェクタおよび投射画像調整方法
US20100066832A1 (en) * 2008-09-18 2010-03-18 Kabushiki Kaisha Toshiba Head up display
CN102314315A (zh) * 2010-07-09 2012-01-11 株式会社东芝 显示装置、图像数据生成装置、图像数据生成程序及显示方法
JP2012019452A (ja) * 2010-07-09 2012-01-26 Mitsubishi Electric Corp 画像処理装置及び画像処理方法
CN105319714A (zh) * 2014-07-31 2016-02-10 精工爱普生株式会社 显示装置、显示装置的控制方法及程序

Also Published As

Publication number Publication date
US20200410963A1 (en) 2020-12-31
CN111837175B (zh) 2023-11-14
EP3770898A4 (en) 2021-05-26
KR20200131820A (ko) 2020-11-24
US11232769B2 (en) 2022-01-25
WO2019181233A1 (ja) 2019-09-26
EP3770898A1 (en) 2021-01-27
KR102550382B1 (ko) 2023-07-04

Similar Documents

Publication Publication Date Title
CN111837175B (zh) 图像显示系统、信息处理装置、信息处理方法、程序和移动体
CN109032124B (zh) 车辆控制系统、车辆控制方法及存储介质
CN109116839B (zh) 车辆控制系统、车辆控制方法及存储介质
CN108973682B (zh) 车辆控制系统、车辆控制方法及存储介质
JPWO2019111464A1 (ja) 画像処理装置及び画像処理方法
CN110709304A (zh) 车辆控制系统、车辆控制方法及车辆控制程序
JP7371629B2 (ja) 情報処理装置、情報処理方法、プログラム、及び、車両
WO2020116195A1 (ja) 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体
US11328379B2 (en) Image processing apparatus and image processing method
JP7382327B2 (ja) 情報処理装置、移動体、情報処理方法及びプログラム
US11200795B2 (en) Information processing apparatus, information processing method, moving object, and vehicle
US11363212B2 (en) Exposure control device, exposure control method, program, imaging device, and mobile body
WO2020116194A1 (ja) 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体
JP7487178B2 (ja) 情報処理方法、プログラム、及び、情報処理装置
US20230186651A1 (en) Control device, projection system, control method, and program
WO2024009829A1 (ja) 情報処理装置、情報処理方法および車両制御システム
WO2021132250A1 (en) In-vehicle display device and program
US20230415652A1 (en) Camera module, information processing system, information processing method, and information processing apparatus
JP7483627B2 (ja) 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体
WO2024038759A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
WO2024062976A1 (ja) 情報処理装置及び情報処理方法
WO2023171401A1 (ja) 信号処理装置、信号処理方法、および記録媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant