CN105684074B - 图像显示装置和图像显示方法、图像输出装置和图像输出方法与图像显示系统 - Google Patents

图像显示装置和图像显示方法、图像输出装置和图像输出方法与图像显示系统 Download PDF

Info

Publication number
CN105684074B
CN105684074B CN201480058413.3A CN201480058413A CN105684074B CN 105684074 B CN105684074 B CN 105684074B CN 201480058413 A CN201480058413 A CN 201480058413A CN 105684074 B CN105684074 B CN 105684074B
Authority
CN
China
Prior art keywords
image
image display
viewing angle
display
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480058413.3A
Other languages
English (en)
Other versions
CN105684074A (zh
Inventor
长谷川雄一
镰田恭则
田中英一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN105684074A publication Critical patent/CN105684074A/zh
Application granted granted Critical
Publication of CN105684074B publication Critical patent/CN105684074B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/74Projection arrangements for image reproduction, e.g. using eidophor
    • H04N5/7475Constructional details of television projection apparatus
    • H04N5/7491Constructional details of television projection apparatus of head mounted projectors
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0118Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0123Head-up displays characterised by optical features comprising devices increasing the field of view
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0147Head-up displays characterised by optical features comprising a device modifying the resolution of the displayed image
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/068Adjustment of display parameters for control of viewing angle adjustment
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/14Solving problems related to the presentation of information to be displayed

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

提供的是一种显示宽视野角图像同时抑制晕VR的图像显示系统。当从图像输出装置(200)提供的原始图像的视野角FOVO大于由佩戴图像显示装置(300)的用户所观察的图像的视野角FOVD时,图像输出装置(200)从原始图像剪出视野角FOVD并且将其发送给图像显示装置(300)。此外,当由佩戴图像显示装置(300)的用户所观察的图像的视野角FOVD大于或等于从图像输出装置(200)提供的原始图像的视野角FOVO时,图像输出装置(200)将原始图像原样发送给图像显示装置(300)。

Description

图像显示装置和图像显示方法、图像输出装置和图像输出方 法与图像显示系统
技术领域
在本说明书中所公开的技术涉及显示由图像输出装置所提供的图像的图像显示装置以及图像显示方法、提供图像给图像显示装置的图像输出装置以及图像输出方法、以及由图像显示装置和图像输出装置组成的图像显示系统。更具体地,在本说明书中所公开的技术涉及以宽视野角显示图像的图像显示装置、图像显示方法、图像输出装置、图像输出方法以及图像显示系统。
背景技术
用来观看图像且佩戴在头部或者面部的图像显示装置,或者另外一种说法头戴式显示器是众所周知的。使用头戴式显示器时,图像显示部分别针对左眼和右眼的每只眼而设,例如,由虚像光学系统形成显示图像的放大的虚像,从而使用户能够查看一个身临其境的图像。头戴式显示器是非常流行的。如果在未来进一步大批量生产,头戴式显示器可以变得像移动电话、智能手机或者掌上游戏机一样普遍,并且每个人都可能会拥有自己的头戴式显示器。
当在大屏幕TV或者头戴式显示器上观看图像时,一个人的视界的大部分变得被该图像占据。已知的是这种情况会产生运动病症状,也被称为晕虚拟现实(VR)。晕VR的原因被认为是例如在所提供图像的视野角(FOV)和由观察者体验的视野角之间的不匹配以及是在由图像呈现的深度和由观察者所体验的深度之间的不匹配的因素。具体地,晕VR容易发生在图像显示装置被用来从第一人称视角(FPV)观察图像的情况下或者其中图像被固定在观察者的面部的图像显示装置(如使用头戴式显示器)的情况下。
例如,已经提出了抑制晕VR症的方法,包括根据通过由用户输入晕VR症的主观陈述或者通过测量生理指标确定用户的晕VR症,抑制由VR系统呈现的虚拟空间的图像的刺激强度的疾病-处理步骤。
发明内容
技术问题
在本说明书中公开的技术的一个目的是提供一种能够以宽视野角显示或输出图像同时也抑制晕VR症的优良的图像显示装置、图像显示方法、图像输出装置、图像输出方法以及图像显示系统。
问题的解决方案
鉴于上述问题而提交本申请,权利要求1中所记载的技术是一种图像显示装置,包括:显示部,被配置为显示图像;属性信息存储部,被配置为存储包括在显示部上显示的图像的属性的属性信息;以及通信部,被配置为与图像输出装置进行通信。图像显示装置将属性信息发送至图像输出装置,接收由图像输出装置基于属性信息而转换的图像,并且在显示部上显示所接收的图像。
根据本申请的权利要求2所记载的技术,根据权利要求1所述的图像显示装置被配置为通过被佩戴在观察由显示部显示的图像的观察者的面部或者头部来进行使用。
根据本申请的权利要求3所记载的技术,根据权利要求2所述的图像显示装置的显示部包括被配置为显示图像的显示面板以及被配置为放大并投影在显示面板上显示的图像的虚像光学部。
根据本申请的权利要求4所记载的技术,根据权利要求1所述的图像显示装置的属性信息存储部存储由显示部显示的图像的关于第一视野角的信息。图像显示装置被配置为将关于第一视野角的信息发送给图像输出装置,接收由图像输出装置根据第一视野角转换的图像,并且在显示部上显示所接收的图像。
根据本申请的权利要求5所记载的技术,根据权利要求4所述的图像显示装置的图像显示装置被配置为接收通过在图像输出装置一侧根据原始图像的第二视野角与第一视野角之间的差来转换原始图像所获得的图像,并在显示部上显示所接收的图像。
根据本申请的权利要求6所记载的技术,当第二视野角大于第一视野角时,根据权利要求5所述的图像显示装置被配置为接收通过图像输出装置将第一视野角的区域从所原始图像剪出所获得的图像,并且在显示部上显示所接收的图像。
根据本申请的权利要求7所记载的技术,当第一视野角等于或者大于第二视野角时,根据权利要求5所述的图像显示装置被配置为从图像输出装置接收原始图像,并且在显示部上显示原始图像。
根据本申请的权利要求8所记载的技术,根据权利要求5所述的图像显示装置被配置为根据第一视野角与第二视野角的关系,在显示部显示从图像输出装置所接收的图像。
根据本申请的权利要求9所记载的技术,第二视野角大于第一视野角时,并且根据权利要求8所述的图像显示装置被配置为在显示部上全屏显示第一视野角的区域从原始图像剪出而获得的图像。
根据本申请的权利要求10所记载的技术,当在显示部上显示具有小于第一视野角的第二视野角的图像时,根据权利要求8所述的图像显示装置被配置为以黑色涂满剩余区域或者显示一墙纸。
根据本申请的权利要求11所记载的技术,根据权利要求8所述的图像显示装置被配置为将具有小于第一视野角的第二视野角的图像延伸到第一视野角,并且在显示部上显示所延伸的图像。
根据本申请的权利要求12所记载的技术,当从图像输出装置接收具有小于第一视野角的第二视野角的图像时,根据权利要求8所述的图像显示装置被配置为按照根据来自观察者的指令、关于观察者的属性信息或者依附于原始图像的指令的方法,在显示部上显示图像。
本申请的权利要求13所记载的技术是一种图像显示方法,包括以下步骤:将包括图像显示的属性的属性信息发送至图像输出装置的步骤;从图像输出装置接收根据属性信息转换的图像的步骤;以及显示所接收的图像的步骤。
本申请的权利要求14所记载的技术是一种图像输出装置,包括:通信部,被配置为与图像显示装置进行通信;图像获取部,被配置为获取用于提供给图像显示装置的原始图像;以及图像处理部,被配置为处理原始图像。图像输出装置从图像显示装置接收包括图像显示的属性的属性信息,图像处理部根据属性信息转换原始图像,并且图像输出装置将转换后的图像发送至图像显示装置。
根据本申请的权利要求15所记载的技术,根据权利要求14所述的图像输出装置被配置为接收由图像显示装置显示的图像的关于第一视野角的信息,图像处理部被配置为根据原始图像的第二视野角与第一视野角之间的差转换原始图像,并且图像输出装置被配置为将转换后的图像发送至图像显示装置。
根据本申请的权利要求16所记载的技术,当第二视野角大于第一视野角时,根据权利要求15所述的图像输出装置的图像处理部被配置为从原始图像剪出第一视野角的区域。
根据本申请的权利要求17所记载的技术,当第一视野角等于或者大于第二视野角时,根据权利要求15所述的图像输出装置的图像处理部不执行基于视野角的差的原始图像的转换。
根据本申请的权利要求18所记载的技术,图像显示装置根据扩展显示标识数据(EDID)或其它预定数据格式存储属性信息。根据权利要求14所述的图像输出装置被配置为根据显示数据信道(DDC)或者其它预定协议,经由通信部从图像显示装置获取属性信息。
本申请的权利要求19所记载的技术是一种图像输出方法,包括以下步骤:获取用于提供给图像显示装置的原始图像的步骤;从图像显示装置接收包括图像显示的属性的属性信息的步骤;基于属性信息转换原始图像的步骤;以及将转换后的图像发送至图像显示装置的步骤。
本申请的权利要求20所记载的技术是一种图像显示系统,包括:图像显示装置,被配置为持有包括图像显示的属性的属性信息;以及图像输出装置,被配置为基于从图像显示装置获取的属性信息而转换的图像输出给图像显示装置。
需注意的是,文中使用的术语“系统”是指数个装置(或者实现特定功能的功能模块)的逻辑组件,并不具体表明该装置或者功能模块是否包含在单个壳体中。
本发明的有益效果
根据在本说明书中所公开的技术,通过校正在所提供的图像的视野角与由观察者所体验的视野角之间的不匹配,可以提供一种能够以宽视野角显示图像,同时还抑制晕VR症的良好的图像显示装置、图像显示方法、图像输出装置、图像输出方法以及图像显示系统。
此外,根据在本说明书中所公开的技术,通过校正在图像输出装置一侧提供的图像的视野角与由图像显示装置显示的图像的视野角之间的不匹配,可以提供以宽视野角显示图像同时还抑制晕VR症的良好的图像显示装置、图像显示方法、图像输出装置、图像输出方法以及图像显示系统。
需注意的是,在本说明书中所描述的有益效果仅仅是为了示例,并且本发明的有益效果不限于此。此外,在一些情况下,除了上面给出的有益效果外,本发明还可以呈现额外的有益效果。
基于在下文中所讨论的示例性实施方式以及附图,将通过更详细的描述对本说明书所公开的技术的更多目的、特征以及优势进行阐明。
附图说明
[图1]是示意性地示出了应用了本说明书中所公开的技术的图像显示系统100的示例性结构的示图。
[图2]是示意性地示出了用作图像显示系统100中的图像输出装置200的装置的内部结构的示图。
[图3]是示意性地示出了用作图像显示系统100中的图像显示装置300的装置的内部结构的示图。
[图4]是用于说明由图像输出装置200提供的图像的视野角FOVO与由图像显示装置300的用户所观察的视野角FOVD匹配的处理的示图。
[图5]是用于说明由图像输出装置200提供的图像的视野角FOVO与由图像显示装置300的用户所观察的视野角FOVD匹配的处理的示图。
[图6]是用于说明在图像显示装置300一侧显示从图像输出装置200发送的图像的处理的示图。
[图7]是用于说明在从图像显示装置300一侧显示从图像输出装置200发送的图像的处理的示图。
[图8]是用于说明在图像显示装置300一侧显示从图像输出装置200发送的图像的处理的示图。
[图9]是示出了图像显示系统100的从图像输出装置200传送图像以在图像显示装置300上进行显示的操作顺序的示例的示图。
[图10]是示出了在图9的SEQ903中的图像输出装置200中执行的图像格式转换处理的顺序的流程图。
[图11]是示出了在图9的SEQ905中的图像显示装置300中执行的图像显示处理的顺序的流程图。
[图12]是示出了图像显示系统100的从图像输出装置200传送图像以在图像显示装置300上进行显示的操作顺序的另一个示例的示图。
[图13]是示出了在图12的SEQ1203中的图像输出装置200中执行的失真校正表的切换和图像转换处理的顺序的流程图。
具体实施方式
在下文中,将参考附图详细描述在本说明书中所公开的技术的实施方式。
图1示意性地示出了应用了本说明书中所公开的技术的图像显示系统100的示例性结构。在附图中所示的图像显示系统100是由将图像提供给图像显示装置300的图像输出装置200与显示由图像输出装置200提供的图像的图像显示装置300组成。利用图像显示系统100提供具有宽视野角的图像给图像显示装置300的观察者。
使用作为图像的提供端的图像输出装置200作为以下装置,例如信息终端200-1(例如个人计算机、智能电话或者平板电脑)、从例如蓝光(注册商标)的介质再生图像的媒体再生装置200-2以及机顶盒或者TV调谐器200-3。
此外,向其提供图像的图像显示装置300被用作显示第一人称视角(first-personview)图像的显示装置,如头戴式显示器或者平视式显示器,第一人称视角图像被固定在观察者的面部或者头部。显然,图像显示装置300还可包括例如大屏幕显示器的典型显示装置。
例如,图像输出装置200和图像显示装置300通过符合例如数字视觉接口(DVI)、高清晰度多媒体接口(HDMI(注册商标)以及显示端口(DisplayPort)等接口标准的电缆400-1、400-2以及400-3进行互连。显然,图像输出装置200和图像显示装置300可通过例如无线保真(Wi-Fi(注册商标))、蓝牙(注册商标)通信、或蓝牙(注册商标)低能源(BLE)通信等无线通信而不是通过有线电缆400进行互连。可替代地,图像输出装置200和图像显示装置300可通过联合使用有线和无线连接进行互连。
本实施方式假设将未压缩的图像数据从图像输出装置200发送至图像显示装置300。然而,显然,即使是将符合例如H264、VC1、运动图像专家组2(MPEG-2)或者联合图像专家组(JPEG)等的算法的压缩格式的图像数据从图像输出装置200发送至图像显示装置300的情况,仍可类似地应用在本说明书中所公开的技术。
图2示意性地示出了用作图像显示系统100中的图像输出装置200的装置的内部结构。如上所讨论的,图像输出装置200是将图像提供给图像显示装置300的提供端,并且在本实施方式中,图像输出装置200采用以下装置,例如信息终端200-1(例如,个人计算机、智能电话或平板电脑)、从例如蓝光(注册商标)的介质中再生图像的图像再生装置200-2,或机顶盒或TV调谐器200-3。
在图2中所示的图像输出装置200配备有控制部201、属性信息存储部202、图像获取部203、图像处理部204以及通信部205。
例如,控制部201是由例如中央处理器(CPU)、随机存取存储器(RAM)以及只读存储器(ROM)的组件构成的,并且集中控制在图像输出装置200内部的操作。
例如,属性信息存储部202由例如电可擦除可编程ROM(EEPROM)的非易失性存储器组成,并且存储属性信息。属性信息包括例如由图像输出装置200处理的图像的分辨率和帧速率的信息、制造商的标识信息(厂商ID)以及产品标识信息(产品ID)。针对用于存储这种属性信息的文件格式,可以使用扩展显示标识数据(EDID),但文件格式没有特别限定于此。
本实施方式假设EDID被增强,并且如下给出的涉及由图像输出装置200处理的图像和音频的属性信息被存储在属性信息存储部202。应当理解的是,涉及图像显示的属性信息还包括图像输出装置200传送至图像显示装置300的原始图像的视野角(FOVO)。
(1)有关图像显示的属性信息
-分辨率
-图像形状、长宽比
-帧速率(频率)
-视野角(包括双目、每只眼和重叠量)
-失真信息
-瞳孔间距离和视力
-色域、亮度、伽玛
-当原始图像的FOV与用图像显示装置300观察到的FOV不同时,是否拉伸图像
-有关文本显示的信息
-显示位置、表面积、字体、大小、颜色、...
-从信号输入到输入被显示(不仅限于图片)的延迟
(2)有关音频输出的属性信息
-耳机或扬声器
-耳机或扬声器的数量
图像获取部203获取用于提供给图像显示装置300的图像数据。例如,如果图像输出装置200是例如个人计算机、智能电话或平板电脑的信息终端,则图像获取部203通过流传输等从例如互联网上的内容服务器的装置接收图像内容。此外,如果图像输出装置200是蓝光(注册商标)或其它媒体再生装置,则图像获取部203从介质中读取图像数据。此外,如果图像输出装置200是机顶盒或电视调谐器,则图像获取部203调谐并且接收广播内容。由图像获取部203所获取以提供给图像显示装置300的原始图像的视野角在下文中被指定为FOVO
图像处理部204执行将由图像获取部203所获取的图像数据转换成适用于在图像显示装置300上显示的格式的图像数据的处理。这里所指的转换处理涉及调整视野角,并将在后面进行详细讨论。
通信部205将由图像处理部204处理后的图像数据通过电缆400发送给图像显示装置300。通信部205的配置是任意的。例如,可根据应用在与作为通信对等体的图像显示装置300进行的通信的通信协议,来配置通信部205。本实施方式假设根据例如DVI、HDMI(注册商标)或DisplayPort的接口标准来配置通信部205。
图3示意性地示出了用作图像显示系统100中的图像显示装置300的装置的内部结构。如以上所讨论的,图像显示装置300显示由图像输出装置200提供的图像,并且图像显示装置300被用作显示第一人称视角图像的显示装置,如头戴式显示器或者平视显示器,该第一人称视角图像被固定于观察者的面部或头部。
控制部301配备有只读存储器(ROM)301A和随机存取存储器(RAM)301B。ROM 301A存储由控制部301运行的程序代码以及各种数据。控制部301通过运行加载到RAM 301B中的程序,控制图像的显示以及集中控制图像显示装置300整体的操作。存储在ROM 301A中的程序数据可以是以下程序,诸如,用于再生运动图像内容的图像显示控制程序以及根据预定的通信协议与外部设备,例如作为图像提供端的图像输出装置200进行通信的通信控制程序。
输入操作部302配备有用户在其上执行输入操作(它们都未示出)的一个或多个操作元件,例如键、按钮和开关,通过操作元件接收用户的指令,并且输出至控制部301。此外,输入操作部302接收由遥控接收部303接收的遥控命令所组成的用户指令,并且输出至控制部301。
状态信息获取部304是一个功能模块,其获取关于图像显示装置300本身的或佩戴图像显示装置300的用户(显示图像的观察者)的状态信息。状态信息获取部304可以配备有用于检测它自己的状态信息的各种传感器,或者被配置为通过通信部305(稍后讨论)从配备有一些或者所有这种传感器的外部设备(例如,智能电话、腕表或由用户佩戴的一些其它多功能终端)获取状态信息。此外,用户还能够直接指定或者输入这种属性信息。
例如,状态信息获取部304获取关于位置和方向的信息,或者关于用户的头部的方向的信息,以便跟踪用户头部的运动。为了跟踪用户的头部运动,状态信息获取部304被用作包括三轴陀螺传感器、三轴加速传感器以及三轴地磁传感器的传感器,共计九个检测轴。此外,状态信息获取部304可进一步结合并使用上述传感器与一个或多个其它传感器,例如全球定位系统(GPS)传感器、多普勒(Doppler)传感器、红外线传感器或者无线电场强度传感器。此外,状态信息获取部304还可将所获取的位置和方向的信息与由各种基础设施提供的信息结合并使用,例如移动电话基站信息或PlaceEngine(注册商标)信息(来自无线LAN接入点的无线电场强度测量信息)。在如图3所示的示例中,用于头部运动跟踪的状态信息获取部304被内置在作为图像显示装置300的头戴式显示器中,但是也可通过外部附接在头戴式显示器上的附属部件等进行配置。在后一种情况下,例如,状态信息获取部304以旋转矩阵的形式表达头部方向信息,并且通过例如蓝牙(注册商标)通信的无线通信或者通过例如串行总线(USB)的高速有线接口将头部方向信息发送至主头戴式显示器。
此外,除了如上所述的跟踪用户的头部运动,状态信息获取部304也可获取作为关于佩戴图像移动装置300的用户的状态信息的其它信息,例如用户操作状态(用户是否佩戴头戴式显示器100)、用户行为状态(例如静止、步行或者跑步,用手或者手指做出的手势,眼睑的开/闭状态,视线方向,以及瞳孔大小)、心理状态(例如用户是否沉浸在观察所显示的图像中)、视力(视度)以及生理状态。此外,为了从用户获取这些状态信息,状态信息获取部304还可配备有各种状态传感器,例如由机械开关等组成的磨损传感器、给用户面部拍照的面向内部的相机、陀螺仪传感器、加速度传感器、速度传感器、压力传感器、感测体温或空气温度的温度传感器、出汗传感器、脉搏传感器、肌电位传感器、眼电位传感器、脑电波传感器、呼吸传感器以及气体离子浓度传感器,还有定时器(在图中均未示出)。
通信部305执行与外部设备的通信处理,以及对通信信号的调制/解调以及编码/解码处理。外部设备可以是提供图像的图像输出装置200。此外,控制部301将传输数据从通信部305发送至外部设备。通信部305的配置是任意的。例如,可根据应用在与作为通信对等体的图像输出装置200进行通信的通信协议,配置通信部305。本实施方式假设根据例如DVI、HDMI(注册商标)或DisplayPort的接口标准配置通信部305。
例如,属性信息存储部306由例如电可擦除可编程ROM(EEPROM)的非易失性存储器组成,并存储属性信息。该属性信息包括例如当图像显示装置300显示图像时的分辨率和帧速率的信息、制造商的标识信息(厂商ID)以及产品标识信息(产品ID)。针对用于存储这样的属性信息的文件格式,可以使用EDID,但文件格式没有特别限定于此。
本实施方式假设EDID被增强(enhanced),并且在属性信息存储部306中存储如下给出的有关图像显示的属性信息和有关由图像显示装置300提供的音频输出的属性信息、关于图像输出装置200的用户的属性信息以及有关由图像输出装置200提供的传感器的属性信息。使用的有关图像显示的属性信息也包括由图像显示装置300显示的图像的视野角(FOVD)。
(1)有关图像显示的属性信息
-分辨率
-图像形状、长宽比
-帧速率(频率)
-视野角(包括双目、每只眼睛和重叠量)
-失真信息
-瞳孔间距离和视力
-色域、亮度、伽玛
-当原始图像的FOV与利用图像显示装置300观察到的FOV不同时,是否拉伸图像
-有关文本显示的信息
-显示位置、表面积、字体、大小、颜色,...
-从信号输入直至输入被显示(不仅限于图片)的延迟
(2)有关音频输出的属性信息
-耳机或扬声器
-耳机或扬声器的数量
(3)有关用户的属性信息
-瞳孔间的距离和视力
-听力、耳朵的形状
-身高、体重、体形、步态
-用户标识信息(加密认证密码)
-晕VR症的易感性
-年龄(例如,不对儿童输出立体视图)
(4)有关传感器的属性信息
-麦克风、面向内部的相机、面向外部的相机、运动传感器、眼动跟踪
-各传感器存在/不存在以及数量
-诸如位置、方向、采样率和精度的信息
-相机的视野角、帧速率、亮度、像素数、失真、颜色,伽马...
-对象的头部以外的位置信息(手、脚、腰、枪控制器(gun controller)、遥控器、...)
-可以使用例如标记或图像识别的任何方法
图像处理部307对从控制部301输出的图像信号进行诸如图像质量校正的额外信号处理,并且也将图像信号转换成适于显示部309的屏幕的分辨率。随后,显示驱动部308顺序选择显示部309的每行的像素,同时执行线性顺序扫描,并且提供基于处理后的图像信号的像素信号。
显示部309包括由例如有机电致发光(EL)元件的微显示器或液晶显示器制成的显示面板,或可替代地,由例如视网膜扫描显示器的激光扫描显示器组成的显示面板(未示出)。
虚拟图像光学部310放大并投影显示部309的显示图像,使用户能够观察放大的虚像为显示图像。虚像光学部310放大并投影显示部309的显示图像,使用户能够观察显示图像为具有合适的视野角的放大的虚像。例如,虚像光学部310配备有宽视野角的光学系统,并且在用户眼睛上形成具有45度的视野角的放大的虚像(例如参看专利文献1),从而重建坐在电影剧院的最佳位置的感觉。在下文中,由用户观察的放大虚像的视野角将被指定为FOVD
音频处理部311对从控制部301输出的音频信号执行音频质量校正和音频放大,并且对诸如输入音频信号的信号另外执行信号处理。此外,音频输入/输出部312向外输出处理后的音频,并且还从麦克风(未示出)接收音频输入。
例如,面向外部的相机313被设置在靠近头戴式显示器100(未示出)的主部的前面的中央,并且能够捕获周围环境的图像。更优选地,面向外部的相机313由多个相机组成,以使面向外部的相机313能够通过使用视差信息来获取关于周围环境的图像的三维信息。此外,即使使用单个相机,同时定位与地图创建(SLAM)图像的识别也可被用于在移动相机的同时捕捉图像,使用在时间上彼此接连的数帧图像来计算视差信息(例如,参看专利文献2),并且从所计算的视差信息获取关于周围环境的图像的三维信息。
以下示出了方法的示例,通过该方法,状态信息获取部304获取关于视力的信息。
(1)用户手动输入信息。
(2)用户输入有关提前准备的视觉矫正镜片的信息(例如,型号),并且单独准备的数据库被交叉引用。
(3)代替使用户手动输入例如视觉矫正镜片的型号的信息,状态信息获取部304扫描在镜片上书写的信息。该信息可以通过机械(例如,凹口(notches)的形状和个数)的方法、电的方法或者光学的(例如条形码图案)方法来书写和扫描。
(4)当佩戴镜片时,执行校准,以及测量视度或创建失真校正表。在显示面板上显示所建立的例如正方形网格的校准图案,并且使用在用户眼球位置的相机拍照以获取失真图案,并且通过计算逆映射来创建适当的失真校正表。
另外,可以使用用于校正用户的视度的镜片附件。在这种情况下,状态信息获取部304可以通过机械的、电的、光学的或者一些其它手段自动识别镜片附件的类型的存在,获取有关该用户的视度信息,并且从而根据用户的视度选择合适的失真校正表。可通过使用户配置他或她自己的这种视度信息来获得相似的效果。
在使用图像显示装置300显示具有宽视野角图像的情况下,存在引起观察图像的用户的晕VR症的担心。具体地,当图像显示装置300具有固定于用户面部的屏幕并且被配置为观察第一人称视角图像(如使用头戴式显示器)时,很容易引起晕VR症。
晕VR症的原因是多方面的。在如在图1中所示的由图像输出装置200和图像显示装置300组成图像显示系统100的情况下,由图像输出装置200提供的图像的视野角与由图像显示装置300的用户所观察的视野角之间的不匹配被认为是引起晕VR症的主要原因。当在图像显示装置300一侧的窄视野观察由图像输出装置200提供的具有宽范围的图像时,或者当在图像显示装置300一侧的宽视野上观察由图像输出装置200提供的具有窄范围的图像时,存在失真并且很容易引起晕VR症。
因此,根据本实施方式的图像显示系统100被配置为通过在图像输出装置200和图像显示装置300之间交换包括有关图像显示的信息的属性信息,以及使图像输出装置200输出的图像已经被转换成适于在图像显示装置300一侧上显示的图像的格式以防止晕VR症。通过图像输出装置200内的图像处理部204执行图像转换过程。
例如,图像格式转换包括将由图像输出装置200提供的图像的视野角FOVO与由图像显示装置300的用户观察到的视野角FOVD进行匹配的处理。
如在图4中所示,当由图像输出装置200提供的原始图像41的视野角FOVO大于由佩戴图像显示装置300的用户所观察的图像的视野角FOVD时(FOVO>FOVD),图像输出装置200从用于传送至图像显示装置300的原始图像41中剪出具有视野角FOVD的区域42。
此外,如在图5中所示,当由图像显示装置300提供的原始图像51的视野角FOVD等于或大于由佩戴图像输出装置200的用户所观察的图像52的视野角FOVO时(FOVD≥FOVO),图像输出装置200将原始图像51原样传送至图像显示装置300。
此外,在图像显示装置300一侧,根据从图像输出装置200发送的图像的格式执行屏幕的显示。
当由图像输出装置200提供的原始图像的视野角FOVO大于由佩戴图像显示装置300的用户所观察的图像的视野角FOVD时(FOVO>FOVD),并且图像输出装置200传送从原始图像(见图4)剪出的具有视野角FOVD的区域,所发送的图像的视野角FOVT变成等于由图像显示装置300的用户所观察的图像的视野角FOVD。因此,如图6所示,在图像显示装置300一侧,在显示部309全屏照原样显示从图像输出装置200发送的图像61。
另外,当由图像显示装置300提供的原始图像的视野角FOVD等于或大于由佩戴图像输出装置200的用户所观察的图像的视野角FOVO时(FOVD≥FOVO),从图像输出装置200发送小于由图像显示装置300的用户所观察的图像的视野角FOVD的视野角FOVT的图像。
在这种情况下,如在图7中所示,在图像显示装置300一侧,当在视野角FOVD的区域内显示所发送的具有视野角FOVT的图像71时的剩余区域72,可用黑色涂满,或者可替代地,可显示墙纸。可替代地,如在图8中所示,在图像显示装置300一侧,所发送的具有视野角FOVT的图像81被拉伸到由参考符号82表示的视野角FOVD,并且在显示部309上显示。
当在视野角FOVD的区域内显示所发送的具有视野角FOVT的图像时(如在图7中所示,以黑色涂满剩余区域或者显示一墙纸,或者如在图8中所示,将所发送的具有视野角FOVT的图像延伸至视野角FOVD用于显示)的处理方法可以是来自输入操作部302等的用户指定的,或者基于例如在图像显示装置300中的用户属性信息的信息自动选择的。可替代地,可以用在例如一些情况下的原始图像的元数据的信息中规定处理方法。
为了在图像输出装置200上执行如在图4和图5中所示的处理,以及在图像显示装置300上执行如图6和图8中所示的处理,需要图像输出装置200和图像显示装置300交换存储在彼此的属性信息存储部202和306中的属性信息。例如,已知显示数据信道(DDC)作为用于发送EDID的协议,但是这种协议还可被用于交换属性信息。显然,属性信息的交换不限于DDC,并且一些其它协议可被用于通过电缆400交换属性信息。
图9示出了从图像输出装置200传送图像以在图像显示装置300上进行显示的图像显示系统100的操作顺序的示例。
当DVI、HDMI(注册商标)或DisplayPort电缆400被用于将图像显示装置300连接至图像输出装置200时,电源通过电缆400被提供给图像显示装置300(SEQ901),并且图像显示装置300启动。
图像输出装置200从图像显示装置300获取有关于图像显示的属性信息,例如由用户所观察的视野角FOVD以及显示部309的屏幕的形状和分辨率(SEQ902)。
有关图像显示的属性信息被存储在图像显示装置300内的属性信息存储部306中。例如,以EDID格式规定属性信息,并且例如图像输出装置200能够根据DDC协议获取所需要的属性信息。显然,规定属性信息的文件格式不受限制,并且此外,图像输出装置200还可以被配置为使用其它协议获取属性信息。
图像输出装置200基于从图像显示装置300所获取的属性信息,使用图像处理部204对用于提供至图像显示装置300的图像执行格式转换处理(SEQ903)。随后,图像输出装置200将格式转换后的图像传送至图像显示装置300(SEQ904)。
随后,图像显示装置300根据格式对从图像输出装置200接收的图像执行处理,并且在显示部309上显示图像(SEQ905)。
图10以流程图的形式示出了图9的SEQ903中的在图像输出装置200中执行的图像格式转换处理的顺序。例如,图像格式转换是将由图像输出装置200提供的图像的视野角FOVO与由图像显示装置300的用户所观察的视野角FOVD进行匹配的处理,并且由图像处理部204执行该处理。
首先,通过通信部205从图像显示装置300获取由图像显示装置300的用户所观察到的视野角FOVD(步骤S1001)。随后,图像处理部204将由图像输出装置200提供的图像的视野角FOVO与由图像显示装置300的用户所观察的视野角FOVD进行比较(步骤S1002)。
当由图像输出装置200提供的原始图像的视野角FOVO大于由佩戴图像显示装置300的用户所观察的视野角FOVD时(步骤S1002中的是),图像处理部204将具有视野角FOVD的区域从原始图像剪出(步骤S1003)。
另一方面,当由图像显示装置300提供的原始图像的视野角FOVD等于或者大于由佩戴图像输出装置200的用户所观察的图像的视野角FOVO时(步骤S1002中的否),图像处理部204不处理原始图像。
随后,在执行类似上面的处理之后,图像被从通信部205经电缆400传送到图像显示装置300(步骤S1004)。
同时,图12示出了从图像输出装置200传送图像以在图像显示装置300上进行显示的图像显示系统100的操作顺序的另一个示例。
当使用DVI、HDMI(注册商标)或DisplayPort电缆400将图像显示装置300连接到图像输出装置200时,电力经由电缆400被提供给图像显示装置300(SEQ1201),并且图像显示装置300启动。
图像显示装置300将由状态信息获取部304获取到的关于用户的视力(视度)的信息发送到图像输出装置200(SEQ1202)。获取关于视力的信息的方法是如已经所描述的。
图像输出装置200根据从图像显示装置300获取的视力信息切换失真校正表,并且基于该失真校正表,利用图像处理部204对提供给图像显示装置300的图像执行转换处理(SEQ1203)。
随后,图像输出装置200将转换后的图像传送给图像显示装置300(SEQ1204),并且图像显示装置300在显示部309上显示从图像输出装置200接收的图像(SEQ1205)。
图13是以流程图的形式示出了在图12的SEQ1203中的图像输出装置200中执行的失真校正表的切换和图像转换处理的顺序的流程图。
当成功地从图像显示装置300取得用户的视力信息时(步骤S1301,是),根据视力信息读取失真校正表(步骤S1302)。随后,所读取的失真校正表被用于执行图像转换处理(步骤S1303),并且转换后的图像被传送至图像显示装置300(步骤S1304)。
另一方面,当没能成功地从图像显示装置300获取用户的视力信息时(步骤S1301,否),图像输出装置200将图像传送至图像显示装置300,而不执行根据用户的视力的转换处理(步骤S1304)。
被用作图像显示装置300的头戴式显示器通常配备有目镜(例如图3中的虚像光学部310)。此外,可以预期,一些佩戴头戴式显示器的用户将使用附加的镜片,例如视觉矫正眼镜。因此,失真校正表包括用于消除作为一个整体的组合光学系统的失真的信息,该失真其由头戴式显示器的目镜引起的失真以及由附加镜片引起的失真组成。
当佩戴头戴式显示器的用户没有使用视觉矫正眼镜时,它足以读取仅校正由头戴式显示器的目镜引起的失真的失真校正表,并执行图像转换处理。此外,用于由头戴式显示器的目镜引起的失真的失真校正表和用于由视觉矫正眼镜引起的失真的失真校正表可以被单独存储,并且在图像转换处理期间,可读取失真校正表的适当的组合,并且组合这两个的失真校正表可被用于执行图像转换处理。
图11是以流程图的形式示出了在图9的SEQ905(或图12的SEQ1205)中的图像显示装置300中执行的图像显示处理的顺序。由控制部301或者图像处理部307执行用在图中所示的处理。
首先,通过通信部305从图像输出装置200获取由图像输出装置200提供的图像的视野角FOVO(步骤S1101)。然而,不仅获取指示视野角FOVO的信息,还获取指示应用在待输出的图像上的任何类型的格式转换处理的信息。
随后,将由图像输出装置200提供的原始图像的视野角FOVO与由佩戴图像显示装置300的用户所观察的图像的视野角FOVD进行比较(步骤S1102)。
当由图像输出装置200提供的原始图像的视野角FOVO大于由佩戴图像显示装置300的用户所观察的图像的视野角FOVD时(步骤S1102,是),已知的是图像输出装置200将传送从原始图像剪出的具有视野角FOVD的区域,或者换句话说,所传送的图像的FOVT的视野角将等于由图像显示装置300的用户所观察的图像的视野角FOVD。因此,如图6所示,控制部301指示图像处理部307以全屏在显示部309上原样显示从图像输出装置200所传送的图像(步骤S1103)。
另一方面,当由图像显示装置300提供的原始图像的视野角FOVD等于或者大于由佩戴图像输出装置200的用户观察到的图像的视野角FOVO时(步骤S1102,否),已知从图像输出装置200发送的图像的视野角FOVT小于由图像显示装置300的用户观察的图像的视野角FOVD。因此,控制部301命令图像处理部307执行由用户指定的处理、由图像显示装置300自动选择的处理或者由原始图像指定的处理。随后,在显示部309上显示由图像处理部307处理后的图像(步骤S1104)。
在步骤S1104中,如图7所示,当在视野角FOVD的范围内显示所发送的具有视野角FOVT的图像时,图像处理部307用黑色剩余区域或者显示墙纸。可替代地,如在图8中所示,图像处理部307将所发送的具有视野角FOVT的图像延伸至视野角FOVD,用于在显示部309上进行显示。
以这种方式,基于根据本公开的图像显示系统100,通过校正在由图像输出装置200一侧提供的图像的视野角FOVO与由图像显示装置300所显示的图像的视野角FOVD之间的不匹配,可以从第一人称视角显示图像或者显示具有宽视野角的图像,同时减少晕VR症。
此外,不要求用户在图像输出装置200中,执行用户正在佩戴的图像显示装置300的视野角FOVD的查找以及设置的操作,并且总是能够以适当的视野角观察从图像输出装置200发送的图像。因此,可能大大降低用户的晕VR症。
此外,根据按照本实施方式的图像显示系统100,通过使图像输出装置200一侧给图像显示装置300提供已经被校正的图像,以将由安装在图像显示装置300的盖板上面的目镜引起的失真与由视觉校正眼睛引起的失真两者消除,可以从第一人称视角显示图像或者显示具有宽视野的图像,,同时减少晕VR症。
引用列表
专利文献
专利文献1:JP 2000-339490A
专利文献2:JP2008-304268A
工业实用性
上文由此详细地且参照特定实施方式记载了在本说明书中公开的技术。然而,很明显,本领域的技术人员可以在不脱离本说明书公开的技术的精神的情况下,对这些实施方式作出修改和替代。
本说明书主要描述了其中图像显示装置300被配置为头戴式显示器的情况下的实施方式,但在本说明书中所公开的技术的主旨并不限于此。即使图像显示装置300是诸如平视显示器或大屏幕显示器的其它各种显示装置,但仍可类似地应用在本说明书中所公开的技术。
本质上,已通过举例的方式描述在本说明书中所公开的技术,并且本说明书中所陈述的内容不应被解释为是限制性的。应该参考权利要求书来确定在本说明书中所公开的技术的精神。
另外,本文所公开的本技术还可以被配置如下。
(1)一种图像显示装置,包括:
显示部,被配置为显示图像;
属性信息存储部,被配置为存储包括在显示部上显示的图像的属性的属性信息;以及
通信部,被配置为与图像输出装置进行通信,其中,
图像显示装置将属性信息发送至图像输出装置,接收由图像输出装置根据属性信息转换的图像,并且在显示部上显示所接收的图像。
(2)根据(1)所述的图像显示装置,其中,
通过佩戴在观察由显示部显示的图像的观察者的面部或者头部来使用图像显示装置。
(3)根据(2)所述的图像显示装置,其中,
显示部包括显示面板以及虚像光学部,显示面板被配置为显示图像,虚像光学部被配置为放大并投影在显示面板上显示的图像。
(4)根据(1)所述的图像显示装置,其中,
属性信息存储部存储关于由显示部显示的图像的第一视野角的信息,并且
图像显示装置将关于第一视野角的信息发送给图像输出装置,接收由图像输出装置根据第一视野角转换的图像,并且在显示部上显示所接收的图像。
(5)根据(4)所述的图像显示装置,其中,
图像显示装置接收通过在图像输出装置一侧上根据原始图像的第二视野角与第一视野角之间的差来转换原始图像所获得的图像,并在显示部上显示所接收的图像。
(6)根据(5)所述的图像显示装置,其中,
当第二视野角大于第一视野角时,图像显示装置接收通过图像输出装置将第一视野角的区域从原始图像剪出所获得的图像,并且在显示部上显示所接收的图像。
(7)根据(5)所述的图像显示装置,其中,
当第一视野角等于或者大于第二视野角时,图像显示装置从图像输出装置接收原始图像,并且在显示部上显示原始图像。
(8)根据(5)所述的图像显示装置,其中,
图像显示装置根据第一视野角与第二视野角的关系,在显示部显示从图像输出装置所接收的图像。
(9)根据(8)所述的图像显示装置,其中,
第二视野角大于第一视野角时,并且图像显示装置在显示部上全屏幕显示图像第一视野角的区域从原始图像剪出而获得的图像。
(10)根据(8)所述的图像显示装置,其中,
当在显示部上显示具有小于第一视野角的第二视野角的图像时,图像显示装置以黑色涂满剩余区域或者显示一墙纸。
(11)根据(8)所述的图像显示装置,其中,
图像显示装置将具有小于第一视野角的第二视野角的图像延伸到第一视野角,并且在显示部上显示所延伸的图像。
(12)根据(8)所述的图像显示装置,其中,
当从图像输出装置接收具有小于第一视野角的第二视野角的图像时,图像显示装置根据按照来自观察者的指令、关于观察者的属性信息或者依附在原始图像的指令,在显示部上显示图像。
(13)一种图像显示方法,包括以下步骤:
将包括图像显示的属性的属性信息发送至图像输出装置的步骤;
从图像输出装置接收根据属性信息转换的图像的步骤;以及
显示所接收的图像的步骤。
(14)一种图像输出装置,包括:
通信部,被配置为与图像显示装置进行通信;
图像获取部,被配置为获取用于提供给图像显示装置的原始图像;以及
图像处理部,被配置为处理原始图像,其中,
图像输出装置从图像显示装置接收包括图像显示的属性的属性信息,图像处理部根据属性信息转换原始图像,并且图像输出装置将转换后的图像发送至图像显示装置。
(15)根据(14)所述的图像输出装置,其中,
图像输出装置接收关于由图像显示装置显示的图像的第一视野角的信息,图像处理部根据原始图像的第二视野角与第一视野角之间的差转换原始图像,并且图像输出装置将转换后的图像发送至图像显示装置。
(16)根据(15)所述的图像输出装置,其中,
当第二视野角大于第一视野角时,图像处理部从原始图像剪出第一视野角的区域。
(17)根据(15)所述的图像输出装置,其中,
当第一视野角等于或者大于第二视野角时,图像处理部不执行基于视野角差的原始图像的转换。
(18)根据(14)所述的图像输出装置,其中,
图像显示装置根据扩展显示标识数据(EDID)或其它预定的数据格式存储属性信息。
图像输出装置根据显示数据信道(DDC)或者其它预定的协议,经由通信部从图像显示装置获取属性信息。
(19)一种图像输出方法,包括以下步骤:
获取用于提供给图像显示装置的原始图像的步骤;
从图像显示装置接收包括图像显示的属性的属性信息的步骤;
基于属性信息转换原始图像的步骤;以及
将转换后的图像发送至图像显示装置的步骤。
(20)一种图像显示系统,包括:
图像显示装置,被配置为持有包括图像显示的属性的属性信息;以及
图像输出装置,被配置为将基于从图像显示装置获取的属性信息而转换的图像输出给图像显示装置。
附图标记列表
100 图像显示系统
200 图像输出装置
201 控制部
202 属性信息存储部
203 图像获取部
204 图像处理部
205 通信部
300 图像显示装置
301 控制部
301A ROM
301B RAM
302 输入操作部
303 遥控接收部
304 状态信息获取部
305 通信部
306 属性信息存储部
307 图像处理部
308 显示驱动部
309 显示部
310 虚像光学部
311 音频处理部
312 音频输入/输出部
313 面向外部的相机

Claims (20)

1.一种图像显示装置,包括:
显示部,被配置为显示图像;
属性信息存储部,被配置为存储包括由所述图像显示装置获取的所述图像显示装置的用户的视力的属性信息;以及
通信部,被配置为与图像输出装置进行通信,其中,
所述图像显示装置将所述属性信息发送至所述图像输出装置,接收由所述图像输出装置基于所述属性信息而从原始图像中格式转换的图像,并且在所述显示部上显示所接收的图像。
2.根据权利要求1所述的图像显示装置,其中,
通过在观察由所述显示部显示的图像的观察者的面部或者头部上佩戴来使用所述图像显示装置。
3.根据权利要求2所述的图像显示装置,其中,
所述显示部包括显示面板以及虚像光学部,所述显示面板被配置为显示图像,所述虚像光学部被配置为放大并且投影在所述显示面板上显示的图像。
4.根据权利要求1所述的图像显示装置,其中,
所述属性信息存储部存储由所述显示部显示的图像的关于第一视野角的信息,并且
所述图像显示装置将关于所述第一视野角的信息发送给所述图像输出装置,接收由所述图像输出装置基于所述第一视野角而转换的图像,并且在所述显示部上显示所接收的图像。
5.根据权利要求4所述的图像显示装置,其中,
所述图像显示装置接收通过在所述图像输出装置一侧基于所述原始图像的第二视野角与所述第一视野角之间的差将所述原始图像进行转换而获得的图像,并在所述显示部上显示所接收的图像。
6.根据权利要求5所述的图像显示装置,其中,
当所述第二视野角大于所述第一视野角时,所述图像显示装置接收由所述图像输出装置将所述第一视野角的区域从所述原始图像剪出而获得的图像,并且在所述显示部上显示所接收的图像。
7.根据权利要求5所述的图像显示装置,其中,
当所述第一视野角等于或者大于所述第二视野角时,所述图像显示装置从所述图像输出装置接收所述原始图像,并且在所述显示部上显示所述原始图像。
8.根据权利要求5所述的图像显示装置,其中,
所述图像显示装置基于所述第一视野角与所述第二视野角的关系,在所述显示部上显示从所述图像输出装置接收的图像。
9.根据权利要求8所述的图像显示装置,其中,
所述第二视野角大于所述第一视野角,并且所述图像显示装置在所述显示部上全屏显示从所述原始图像剪出所述第一视野角的区域而获得的图像。
10.根据权利要求8所述的图像显示装置,其中,
当在所述显示部上显示具有小于所述第一视野角的所述第二视野角的图像时,所述图像显示装置以黑色涂满剩余区域或者显示一墙纸。
11.根据权利要求8所述的图像显示装置,其中,
所述图像显示装置将具有小于所述第一视野角的所述第二视野角的图像延伸到所述第一视野角,并且在所述显示部上显示所延伸的图像。
12.根据权利要求8所述的图像显示装置,其中,
当从所述图像输出装置接收到具有小于所述第一视野角的所述第二视野角的图像时,所述图像显示装置按照基于来自观察者的指令、关于所述观察者的属性信息或者依附在所述原始图像的指令的方法,在所述显示部上显示图像。
13.一种图像显示方法,包括:
将包括由图像显示装置获取的所述图像显示装置的用户的视力的属性信息发送至图像输出装置的步骤;
从所述图像输出装置接收基于所述属性信息而从原始图像中格式转换的图像的步骤;以及
显示所接收的图像的步骤。
14.一种图像输出装置,包括:
通信部,被配置为与图像显示装置进行通信;
图像获取部,被配置为获取用于提供给所述图像显示装置的原始图像;以及
图像处理部,被配置为处理所述原始图像,其中,
所述图像输出装置从所述图像显示装置接收包括由所述图像显示装置获取的所述图像显示装置的用户的视力的属性信息,所述图像处理部基于所述属性信息格式转换所述原始图像,并且所述图像输出装置将格式转换后的图像发送至所述图像显示装置。
15.根据权利要求14所述的图像输出装置,其中,
所述图像输出装置接收由所述图像显示装置显示的图像的关于第一视野角的信息,所述图像处理部基于所述原始图像的第二视野角与所述第一视野角之间的差来转换所述原始图像,并且所述图像输出装置将转换后的图像发送至所述图像显示装置。
16.根据权利要求15所述的图像输出装置,其中,
当所述第二视野角大于所述第一视野角时,所述图像处理部从所述原始图像剪出所述第一视野角的区域。
17.根据权利要求15所述的图像输出装置,其中,
当所述第一视野角等于或者大于所述第二视野角时,所述图像处理部不执行基于视野角的差的所述原始图像的转换。
18.根据权利要求14所述的图像输出装置,其中,
所述图像显示装置根据扩展显示标识数据(EDID)或其它预定数据格式来存储所述属性信息,并且
所述图像输出装置根据显示数据信道(DDC)或者其它预定协议,经由所述通信部从所述图像显示装置获取所述属性信息。
19.一种图像输出方法,包括:
获取用于提供给图像显示装置的原始图像的步骤;
从所述图像显示装置接收包括由所述图像显示装置获取的所述图像显示装置的用户的视力的属性信息的步骤;
基于所述属性信息格式转换所述原始图像的步骤;以及
将格式转换后的图像发送至所述图像显示装置的步骤。
20.一种图像显示系统,包括:
图像显示装置,被配置为持有包括由所述图像显示装置获取的所述图像显示装置的用户的视力的属性信息;以及
图像输出装置,被配置为将基于从所述图像显示装置获取的所述属性信息而从原始图像中格式转换的图像输出给所述图像显示装置。
CN201480058413.3A 2014-01-20 2014-12-11 图像显示装置和图像显示方法、图像输出装置和图像输出方法与图像显示系统 Active CN105684074B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014-007472 2014-01-20
JP2014007472 2014-01-20
PCT/JP2014/082900 WO2015107817A1 (ja) 2014-01-20 2014-12-11 画像表示装置及び画像表示方法、画像出力装置及び画像出力方法、並びに画像表示システム

Publications (2)

Publication Number Publication Date
CN105684074A CN105684074A (zh) 2016-06-15
CN105684074B true CN105684074B (zh) 2020-01-07

Family

ID=53542720

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480058413.3A Active CN105684074B (zh) 2014-01-20 2014-12-11 图像显示装置和图像显示方法、图像输出装置和图像输出方法与图像显示系统

Country Status (7)

Country Link
US (1) US10437060B2 (zh)
EP (1) EP3057089A4 (zh)
JP (1) JPWO2015107817A1 (zh)
KR (1) KR102233223B1 (zh)
CN (1) CN105684074B (zh)
CA (1) CA2928248C (zh)
WO (1) WO2015107817A1 (zh)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170016845A (ko) * 2014-06-12 2017-02-14 엘지전자 주식회사 Hdmi를 사용하여 데이터를 송수신하기 위한 방법 및 장치
US9870049B2 (en) 2015-07-31 2018-01-16 Google Llc Reflective lenses to auto-calibrate a wearable system
CN109643466A (zh) * 2016-09-14 2019-04-16 史克威尔·艾尼克斯有限公司 影像显示系统以及影像显示方法、影像显示程序
US20180144554A1 (en) 2016-11-18 2018-05-24 Eyedaptic, LLC Systems for augmented reality visual aids and tools
JP2018137609A (ja) * 2017-02-22 2018-08-30 株式会社東芝 部分画像処理装置
CN110431471B (zh) * 2017-03-21 2023-06-23 奇跃公司 用于具有宽视野的波导投影仪的方法和系统
US20190012841A1 (en) * 2017-07-09 2019-01-10 Eyedaptic, Inc. Artificial intelligence enhanced system for adaptive control driven ar/vr visual aids
US10803642B2 (en) 2017-08-18 2020-10-13 Adobe Inc. Collaborative virtual reality anti-nausea and video streaming techniques
GB2565628B (en) * 2017-08-18 2021-09-08 Adobe Inc Collaborative interaction with virtual reality video
US10613703B2 (en) 2017-08-18 2020-04-07 Adobe Inc. Collaborative interaction with virtual reality video
KR101951406B1 (ko) * 2017-10-11 2019-02-22 한양대학교 산학협력단 가상 멀미 저감을 위한 헤드 마운티드 디스플레이 및 그 동작 방법
US10984508B2 (en) 2017-10-31 2021-04-20 Eyedaptic, Inc. Demonstration devices and methods for enhancement for low vision users and systems improvements
KR102233099B1 (ko) * 2017-12-05 2021-03-29 한국전자통신연구원 기계학습에 기반한 가상 현실 콘텐츠의 사이버 멀미도 예측 모델 생성 및 정량화 조절 장치 및 방법
US10832483B2 (en) 2017-12-05 2020-11-10 Electronics And Telecommunications Research Institute Apparatus and method of monitoring VR sickness prediction model for virtual reality content
US11563885B2 (en) 2018-03-06 2023-01-24 Eyedaptic, Inc. Adaptive system for autonomous machine learning and control in wearable augmented reality and virtual reality visual aids
WO2019207728A1 (ja) * 2018-04-26 2019-10-31 株式会社ソニー・インタラクティブエンタテインメント 画像提示装置、画像提示方法、記録媒体及びプログラム
KR20210043500A (ko) 2018-05-29 2021-04-21 아이답틱 인코포레이티드 저시력 사용자들을 위한 하이브리드 투시형 증강 현실 시스템들 및 방법들
JP6940702B2 (ja) 2018-06-25 2021-09-29 マクセル株式会社 ヘッドマウントディスプレイ、ヘッドマウントディスプレイ連携システム及びその方法
US20200033560A1 (en) * 2018-07-30 2020-01-30 Apple Inc. Electronic Device System With Supplemental Lenses
JP7163656B2 (ja) * 2018-07-30 2022-11-01 株式会社リコー 配信システム、受信クライアント端末、配信方法
CN110868581A (zh) * 2018-08-28 2020-03-06 华为技术有限公司 一种图像的显示方法、装置及系统
CN112969436B (zh) 2018-09-24 2024-02-09 爱达扩视眼镜公司 电子视觉辅助设备中自主增强的免手动控制
US20200096775A1 (en) * 2018-09-24 2020-03-26 Apple Inc. Display System With Interchangeable Lens
KR20210014819A (ko) * 2019-07-30 2021-02-10 삼성디스플레이 주식회사 표시 장치 및 이를 포함하는 가상 현실 표시 시스템
CN115087905A (zh) 2020-02-10 2022-09-20 奇跃公司 在混合现实环境中相对于三维容器的以身体为中心的内容定位
WO2022070701A1 (ja) * 2020-09-30 2022-04-07 富士フイルム株式会社 電子ビューファインダーおよび光学装置
WO2022244340A1 (ja) * 2021-05-20 2022-11-24 ソニーグループ株式会社 送信装置、送信方法および映像表示システム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5917460A (en) * 1994-07-06 1999-06-29 Olympus Optical Company, Ltd. Head-mounted type image display system

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000339490A (ja) 1999-05-28 2000-12-08 Mitsubishi Electric Corp Vr酔い低減方法
JP2001154144A (ja) * 1999-11-30 2001-06-08 Shimadzu Corp 頭部装着型表示システム
US6623428B2 (en) * 2001-10-11 2003-09-23 Eastman Kodak Company Digital image sequence display system and method
JP4186766B2 (ja) * 2003-09-12 2008-11-26 セイコーエプソン株式会社 眼鏡レンズの製造システム及び眼鏡レンズの製造方法
WO2006051743A1 (ja) * 2004-11-12 2006-05-18 Nikon Corporation 映像表示装置
JP5228305B2 (ja) * 2006-09-08 2013-07-03 ソニー株式会社 表示装置、表示方法
FR2906899B1 (fr) * 2006-10-05 2009-01-16 Essilor Int Dispositif d'affichage pour la visualisation stereoscopique.
JP5380789B2 (ja) 2007-06-06 2014-01-08 ソニー株式会社 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
JP2009103908A (ja) * 2007-10-23 2009-05-14 Sharp Corp 画像表示装置および画像表示方法
CN102293001B (zh) * 2009-01-21 2014-05-14 株式会社尼康 图像处理装置、图像处理方法及记录方法
JP5901122B2 (ja) * 2011-02-24 2016-04-06 キヤノン株式会社 表示制御装置および表示制御方法
US8729216B2 (en) * 2011-03-18 2014-05-20 Prc Desoto International, Inc. Multifunctional sulfur-containing polymers, compositions thereof and methods of use
CN102918444B (zh) * 2011-03-25 2015-12-23 松下电器产业株式会社 显示装置
WO2013006739A2 (en) * 2011-07-05 2013-01-10 Zia Shlaimoun Method and system for video messaging
US20130147686A1 (en) * 2011-12-12 2013-06-13 John Clavin Connecting Head Mounted Displays To External Displays And Other Communication Networks
CN103190883B (zh) * 2012-12-20 2015-06-24 苏州触达信息技术有限公司 一种头戴式显示装置和图像调节方法
JP2014215604A (ja) * 2013-04-30 2014-11-17 ソニー株式会社 画像処理装置および画像処理方法
GB201310367D0 (en) * 2013-06-11 2013-07-24 Sony Comp Entertainment Europe Head-mountable apparatus and systems
JP5967597B2 (ja) * 2013-06-19 2016-08-10 パナソニックIpマネジメント株式会社 画像表示装置および画像表示方法
JP2015125502A (ja) * 2013-12-25 2015-07-06 ソニー株式会社 画像処理装置及び画像処理方法、表示装置及び表示方法、コンピューター・プログラム、並びに画像表示システム
US9465237B2 (en) * 2013-12-27 2016-10-11 Intel Corporation Automatic focus prescription lens eyeglasses
GB2523740B (en) * 2014-02-26 2020-10-14 Sony Interactive Entertainment Inc Image encoding and display
US10139902B2 (en) * 2015-09-16 2018-11-27 Colopl, Inc. Method and apparatus for changing a field of view without synchronization with movement of a head-mounted display
JP6092437B1 (ja) * 2016-02-02 2017-03-08 株式会社コロプラ 仮想空間画像提供方法、及びそのプログラム
JP6087453B1 (ja) * 2016-02-04 2017-03-01 株式会社コロプラ 仮想空間の提供方法、およびプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5917460A (en) * 1994-07-06 1999-06-29 Olympus Optical Company, Ltd. Head-mounted type image display system

Also Published As

Publication number Publication date
EP3057089A1 (en) 2016-08-17
US10437060B2 (en) 2019-10-08
CA2928248A1 (en) 2015-07-23
KR20160110350A (ko) 2016-09-21
KR102233223B1 (ko) 2021-03-29
CA2928248C (en) 2023-03-21
CN105684074A (zh) 2016-06-15
EP3057089A4 (en) 2017-05-17
US20160246057A1 (en) 2016-08-25
JPWO2015107817A1 (ja) 2017-03-23
WO2015107817A1 (ja) 2015-07-23

Similar Documents

Publication Publication Date Title
CN105684074B (zh) 图像显示装置和图像显示方法、图像输出装置和图像输出方法与图像显示系统
CN108292489B (zh) 信息处理装置和图像生成方法
JP6572893B2 (ja) 情報処理装置及び情報処理方法、コンピューター・プログラム、並びに画像処理システム
EP2889873B1 (en) Image display device and image display method, information communication terminal and information communication method, and image display system
US11137604B2 (en) Image generation device, image extraction device, image generation method, and image extraction method
US8749617B2 (en) Display apparatus, method for providing 3D image applied to the same, and system for providing 3D image
JP2015125502A (ja) 画像処理装置及び画像処理方法、表示装置及び表示方法、コンピューター・プログラム、並びに画像表示システム
JP6576536B2 (ja) 情報処理装置
JP2012015774A (ja) 立体視映像処理装置および立体視映像処理方法
WO2017094606A1 (ja) 表示制御装置及び表示制御方法
JP2010050645A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
CN108989784A (zh) 虚拟现实设备的图像显示方法、装置、设备及存储介质
CN111630852A (zh) 信息处理设备、信息处理方法和程序
KR101619468B1 (ko) 3d 가상현실 영상 디스플레이 장치 및 그 제어방법
US20210058611A1 (en) Multiviewing virtual reality user interface
JP2016005007A (ja) ヘッドマウントディスプレイおよび画像処理装置
JP6705929B2 (ja) 表示制御装置及び表示制御方法
JP2012195923A (ja) 映像表示装置、映像視聴用眼鏡、及び、映像視聴システム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant