CN111213375B - 信息处理装置、信息处理方法以及程序 - Google Patents

信息处理装置、信息处理方法以及程序 Download PDF

Info

Publication number
CN111213375B
CN111213375B CN201880065099.XA CN201880065099A CN111213375B CN 111213375 B CN111213375 B CN 111213375B CN 201880065099 A CN201880065099 A CN 201880065099A CN 111213375 B CN111213375 B CN 111213375B
Authority
CN
China
Prior art keywords
eye
user
image
information
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880065099.XA
Other languages
English (en)
Other versions
CN111213375A (zh
Inventor
佐塚直也
吉川清士
横山正幸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN111213375A publication Critical patent/CN111213375A/zh
Application granted granted Critical
Publication of CN111213375B publication Critical patent/CN111213375B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/327—Calibration thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)

Abstract

与本技术有关的信息处理设备配备有获取单元和移位单元。获取单元获取关于用户的眼睛的眼信息。移位单元基于所获取的眼信息移位图像显示机构的至少一部分，该图像显示机构用于发射图像光并将图像光引导到用户的眼睛。在上述基础上，可以例如为HMD用户等实现高质量的观看体验。

Description

信息处理装置、信息处理方法以及程序
技术领域
本技术涉及一种信息处理装置、信息处理方法以及程序，其适用于诸如HMD(头戴式显示器)的图像显示装置。
背景技术
专利文献1描述了检测用户的视线以控制图像显示的技术。例如，通过安装在HMD中的相机拍摄用户的眼睛，并且基于所拍摄的图像计算用户的视线方向和HMD上的观察点。在观察点附近显示高质量的部分图像，并且在部分图像的边缘显示低质量的图像。因此，可以基于能够被用户以高精度识别的区域来控制图像显示(专利文献1的说明书的段落[0051]、[0052]、[0060]以及[0066]、图1和图3等)。
在专利文献2中，基于用户的位置和焦点位置，适当地选择通过在多个不同位置拍摄被摄体而获得的多个图像数据项并将其组合在一起。组合的图像数据作为呈现图像显示在显示器上。因此，可以显示作为针对人类的自然(更逼真)图像并且其中注意点的边缘是模糊的模糊图像(具有规定的景深的图像)(专利文献2的说明书的段落[0059]、[0074]、[0075]以及[0098]、图10至图13等)。
现有技术文献
专利文献
专利文献1：日本专利申请公开No.2016-191845
专利文献2：日本专利申请公开No.2005-227950
发明内容
技术问题
同样在未来，期望使用HMD等的VR(虚拟现实)或AR(增强现实)的体验将变得普遍，并且已经需要能够实现高质量观看体验的技术。
鉴于以上情况，本技术的目的是提供一种信息处理装置、信息处理方法以及程序，使得能够为用户实现高质量的观看体验。
问题的解决方案
为了实现以上目的，根据本技术的实施方式的信息处理装置包括获取单元和移动单元。
获取单元获取关于用户的眼睛的眼信息。
移动单元基于所获取的眼信息移动图像显示机构的至少一部分，该图像显示机构发射图像光并将图像光引导到用户的眼睛。
在信息处理装置中，图像显示机构的至少一部分基于关于用户的眼睛的眼信息而移动。因此，可以为用户实现高质量的观看体验。
图像显示机构可以具有发射图像光的显示器和将从显示器发射的图像光引导到用户眼的透镜系统。在这种情况下，移动单元可以移动显示器和透镜系统中的至少一个。
眼信息可以包括通过拍摄用户的眼睛而获得的眼图像。
眼信息可以包括眼图像中的用户的眼的形状、大小、位置、倾斜度和虹膜图案中的至少一个。
图像显示机构可以设置在用户可佩戴的HMD(头戴式显示器)中。在这种情况下，眼信息可以包括通过使用HMD的成像机构拍摄用户的眼睛而获得的眼图像。
信息处理装置还可以包括存储单元，该存储单元存储基准眼信息，该基准眼信息表示当用户的眼睛相对于图像显示机构处于规定的状态时获得的眼信息。在这种情况下，移动单元可以基于所获取的眼信息和基准眼信息移动图像显示机构的至少一部分。
规定的状态可以包括由图像显示机构显示的基准图像在眼图像内相对于用户的眼睛以规定的大小和规定的位置布置的状态。
基准眼信息可以包括当用户的眼睛相对于图像显示机构处于规定的状态时通过拍摄用户的眼睛而获得的基准眼图像。在这种情况下，移动单元可以基于眼图像与基准眼图像之间的差异移动图像显示机构的至少一部分。
移动单元可以移动图像显示机构的至少一部分，使得用户的眼睛相对于图像显示机构的状态接近规定的状态。
移动单元可以移动图像显示机构的至少一部分，使得用户的眼睛相对于图像显示机构的状态处于不同于规定的状态的另一状态。
信息处理装置还可以包括显示控制单元，该显示控制单元控制图像显示机构的图像显示。在这种情况下，显示控制单元可以基于所获取的眼信息移动由图像显示机构显示的图像的显示位置。
移动单元可以基于由图像显示机构显示的内容的细节移动图像显示机构的至少一部分。
移动单元可以基于用户的观看时间移动图像显示机构的至少一部分。
信息处理装置还可以包括状态获取单元，该状态获取单元获取关于用户的状态的状态信息。在这种情况下，移动单元可以基于所获取的状态信息移动图像显示机构的至少一部分。
信息处理装置还可以包括确定单元，该确定单元基于移动单元相对于图像显示机构的至少一部分的移动量确定生物传感器的检测结果的可靠性。
信息处理装置还可以包括附接状态控制单元，该附接状态控制单元能够基于所获取的眼信息控制HMD的附接状态。
信息处理装置还可以包括通知单元，该通知单元基于所获取的眼信息将规定的信息通知给用户。
眼信息可以包括通过拍摄用户的左眼而获得的左眼图像和通过拍摄用户的右眼而获得的右眼图像。在这种情况下，移动单元可以基于左眼图像或右眼图像移动图像显示机构的至少一部分。
根据本技术的实施方式的信息处理方法是由计算机系统执行的信息处理方法，并且包括获取关于用户的眼睛的眼信息。基于所获取的眼信息，移动图像显示机构的至少一部分，该图像显示机构发射图像光并将图像光引导到用户的眼睛。
根据本技术的实施方式的程序使计算机系统执行以下步骤。
该步骤包括：获取关于用户的眼睛的眼信息的步骤；以及
基于所获取的眼信息，移动图像显示机构的至少一部分的步骤，该图像显示机构发射图像光并将图像光引导到用户的眼睛。
发明的有益效果
如上所述，本技术使得可以为用户实现高质量的观看体验。注意，不应以限制的方式解释这里描述的效果，并且可以产生本说明书中描述的任何效果。
附图说明
[图1]图1是示出作为根据本技术的实施方式的图像显示装置的HMD(头戴式显示器)的配置示例的视图。
[图2]图2是用于描述图1所示的显示单元的内部的配置示例的示意图。
[图3]图3是示出根据本实施方式的HMD的功能配置示例的框图。
[图4]图4是用于描述关于用户的眼睛的眼信息的示例的示意图。
[图5]图5是示出由HMD执行的基本操作的概要的流程图。
[图6]图6是示出当开始使用HMD时执行的处理示例的流程图。
[图7]图7是示出初始位置的设置示例的流程图。
[图8]图8是用于描述图7所示的初始位置的设置示例的示意图。
[图9]图9是示出在初始位置的设置之后HMD的操作示例的流程图。
[图10]图10是示出根据偏离量的透镜系统的移动示例的示意图。
[图11]图11是示出能够由HMD执行的其他处理的概要的流程图。
[图12]图12是示出根据另一实施方式的HMD的外观的透视图。
具体实施方式
在下文中，将参考附图描述根据本技术的实施方式。
[图像显示装置的配置]
图1是示出作为根据本技术的实施方式的图像显示装置的HMD(头戴式显示器)的配置示例的视图。图1中的A是示意性地示出HMD 100的外观的透视图，并且图1中的B是示意性地示出HMD 100被拆卸的状态的透视图。图2是用于描述图1中的B所示的显示单元13的内部的配置示例的示意图。注意，HMD 100还用作根据本技术的信息处理装置。
HMD 100具有基底构件单元10、附接带单元11、耳机单元12、显示单元13、盖单元14以及成像机构15。
基底构件单元10是布置在用户的左眼和右眼1(1a和1b)的前方并且设置有与用户的前方接触的前方支撑单元16的构件。
附接带单元11附接到用户的前额。如图1所示，附接带单元11具有颞带(temporalband)17和顶带(parietal band)18。颞带17连接到基底构件单元10，并且被附接为从头部的颞部到后部围绕用户的头部。顶带18连接到颞带17并且被附接为从颞部到顶部围绕用户的头部。
在本实施方式中，设置能够自动调整颞带17和顶带18中的每一个的保持力的带调整机构25(参见图3)。通过带调整机构25的操作，改变从基底构件单元10向外突出的颞带17的长度。因此，改变用于保持头部的保持力。此外，通过带调整机构25的操作，改变顶带18的长度。因此，改变用于保持头部的保持力。注意，顶带18相对于颞带17的角度也可以改变。
带调整机构25的配置不受限制，并且例如包括使用马达、压电元件、布线、铰链、螺线管、形状记忆合金(SMA)等的任意执行器机构。
耳机单元12连接到基底构件单元10，并且被布置为覆盖用户的左耳和右耳。耳机单元12设置有左扬声器和右扬声器。耳机单元12的位置是手动或自动可控的。用于控制位置的配置不受限制，并且可以采用任意配置。
显示单元13被插入到基底构件单元10中，并且被布置在用户的眼睛1的前方。如图2所示，显示单元13包括图像显示机构20，该图像显示机构20发射图像光并将图像光引导到用户的眼睛1。
在本实施方式中，图像显示机构20具有发射图像光的显示器21和将从显示器21发射的图像光引导到用户的眼睛1的透镜系统22。作为显示器21，可以使用例如使用液晶、EL(电致发光)等的任意显示设备。当在显示器21上显示图像时，从显示器21发射的光对应于图像光。
注意，图像光从显示器发射以便被漫射。即，图像光作为漫射光发射。例如，当通过透镜系统22将发射以被漫射的图像光适当地引导到用户的眼睛1时，使由图像光构成的图像在聚焦状态下在视觉上可识别。
透镜系统22具有布置在左眼1a的前方的左眼透镜系统22a和布置在右眼1b的前方的右眼透镜系统22b。每个透镜系统22的配置是任意的，并且不限于其中布置一个透镜的情况。可以布置诸如菲涅耳透镜的多个各种透镜或诸如光学滤波器的多个任意光学构件。
如由图2中的箭头示意性地所示，在本实施方式中，设置了能够移动显示器21、左眼透镜系统22a以及右眼透镜系统22b中的每一个的驱动机构26(参见图3)。通过驱动机构26的操作，可以相互独立地任意改变显示器21的位置或姿态(方向)、左眼透镜系统22a的位置或姿态(方向)以及右眼透镜系统22b的位置或姿态(方向)。
例如，如图2所示，假设当从用户的眼睛1看到显示器21时，垂直方向、水平方向以及深度方向(朝向显示器21的方向)分别是X方向、Y方向以及Z方向。驱动机构26能够相对于显示器21或每个透镜系统22执行诸如沿着相应轴方向的平行移动和基于相应轴的旋转的驱动操作。驱动机构26的具体配置不受限制，并且可以使用如上所述的任意执行器机构。
在本实施方式中，显示器21、左眼透镜系统22a以及右眼透镜系统22b中的每一个对应于图像显示机构20的一部分。即，显示器21、左眼透镜系统22a以及右眼透镜系统22b中的每一个的移动对应于图像显示机构20的至少一部分的移动。
成像机构15具有拍摄用户的左眼1a的左眼相机23a和拍摄用户的右眼1b的右眼相机23b。左眼相机23a和右眼相机23b中的每一个安装在HMD 100的规定的位置处，具体地，安装在基底构件单元10的规定的位置处。因此，当基底构件单元10相对于用户的眼睛1的相对位置改变时，左眼相机23a和右眼相机23b相对于用户的眼睛1的相对位置也改变。
注意，左眼相机23a和右眼相机23b被布置在能够直接拍摄用户的左眼1a和右眼1b的位置处，即，无需插入左眼透镜系统22a和右眼透镜系统22b。左眼相机23a和右眼相机23b被布置为从例如向下侧倾斜地指向。当然，左相机和右相机可以被布置为从其他方向指向用户的眼睛1。
作为左眼相机23a和右眼相机23b，例如使用包括诸如CMOS(互补金属氧化物半导体)传感器和CCD(电荷耦接设备)传感器的图像传感器的数码相机。此外，例如可以使用安装诸如红外LED的红外照明的红外相机。
图1所示的盖单元14附接到基座构件单元110，并且被配置为覆盖显示单元13。如此配置的HMD 100用作被配置为覆盖用户的视野的侵入式头戴式显示器。通过佩戴HMD100，允许用户体验例如虚拟现实(VR)等。
图3是示出根据本实施方式的HMD 100的功能配置示例的框图。HMD 100还具有操作按钮27、通信单元28、连接器29、存储单元30、传感器单元31以及控制器32。
操作按钮27例如被设置在基底构件单元10的规定的位置处。通过操作按钮27，可以执行打开/关闭电源的操作或与诸如与图像显示或声音输出相关的功能和网络通信功能的HMD 100的各种功能相关的操作。
通信单元28是用于与其他设备执行网络通信、近场通信等的模块。例如，设置了诸如WiFi的无线LAN模块或诸如蓝牙(TM)的通信模块。
连接器29是用于与其他设备连接的终端。例如，设置了诸如USB(通用串行总线)和HDMI(TM)(高清晰度多媒体接口)的终端。此外，在充电期间，连接器29连接到要充电的充电座(支架)的充电终端。
传感器单元31包括压力传感器34、接近传感器35、九轴传感器36、GPS 37以及生物传感器38。压力传感器34例如设置在图1所示的颞带17和顶带18的规定的位置处。通过压力传感器34，可以测量从颞带17和顶带18施加到头部的压力。
接近传感器35设置在附接带单元11的内部边缘侧上的规定的位置处，并且其检测结果用于确定HMD 100的附接/拆卸。九轴传感器36包括三轴加速度传感器、三轴陀螺仪传感器以及三轴罗盘传感器。通过九轴传感器36，可以检测三个轴上的加速度、角速度以及方向。GPS 37获取关于HMD 100的当前位置的信息。这些传感器例如设置在基底构件单元10的规定的位置处。当然，这些传感器也可以设置在其他位置处。
生物传感器38获取关于用户的生物信息。作为生物传感器38，例如设置了脑波传感器、肌电传感器、脉搏传感器、汗液传感器、温度传感器、血流传感器、体动传感器等。这些传感器设置在HMD 100的规定的位置处，使得它们的检测终端部分与身体的规定的位置接触。例如，设置脑波传感器以能够与头部的规定的位置接触。脉搏传感器设置在脉搏传感器能够与颈部的血管接触的位置处。
设置为传感器单元31的传感器的类型不受限制，并且可以设置任意传感器。例如，可以设置能够测量使用HMD 100的环境的温度、湿度等的温度传感器、湿度传感器等。
存储单元30是非易失性存储设备，并且例如照此(as such)使用HDD(硬盘驱动器)等。存储单元30存储用于控制HMD 100的整个操作的控制程序40。此外，存储单元30存储机构驱动表41。机构驱动表41是当基于关于用户的眼信息移动图像显示机构20的至少一部分时参考的表，并且稍后将详细描述。用于在HMD 100中安装控制程序40和机构驱动表41的方法不受限制。
控制器32控制HMD 100的相应框的操作。控制器32具有例如用于计算机的硬件配置，诸如CPU和存储器(RAM、ROM)。当CPU将存储在存储单元30中的控制程序40加载到RAM中并执行时，执行各种处理。
作为控制器32，例如可以使用诸如FPGA(现场可编程门阵列)的PLD(可编程逻辑设备)、诸如ASIC(专用集成电路)的任何设备等。
在本实施方式中，当控制器32的CPU执行根据本实施方式的程序时，实现图像分析单元43、偏离计算单元44、机构驱动单元45、显示控制单元46、带调整单元47、状态分析单元48、可靠性确定单元49以及通知单元50。此外，根据本实施方式的信息处理方法由这些功能框执行。注意，诸如IC(集成电路)的专用硬件可以适当地用于实现相应功能框。
图像分析单元43分析由成像机构15拍摄的用户的眼图像。即，图像分析单元43获取由左眼相机23a拍摄的左眼图像和由右眼相机23b拍摄的右眼图像，并分析这些图像。在本实施方式中，输入到图像分析单元43的所有左眼图像和右眼图像以及作为图像分析单元43的分析结果而检测到的各种特征参数包括在关于用户的眼睛1的眼信息中。基于这些眼信息项，可以动态地估计例如用户的眼睛1的位置。在本实施方式中，图像分析单元43用作获取单元。
图4是用于描述关于用户的眼睛1的眼信息的示例的示意图。作为眼信息，例如可以在眼图像55中检测用户的眼睛1P的形状、大小、位置、倾斜度等。具体地，检测用户的眼区域56，并且检测其形状、大小、位置以及倾斜度。例如，如图4所示，用户的眼睛1P的长轴57的大小t可以用作用户的眼区域56的大小。此外，用户的眼睛1P的长轴57相对于水平方向的倾斜度可以用作用户的眼区域56的倾斜度。
注意，用户的眼睛1P的长轴57是当用户的脸部的垂直方向(例如，从顶部到颌部的方向)变为基本上垂直方向并且脸部的水平方向(例如，其中两耳的相同高度处的位置彼此连接的方向)变为基本上水平方向时，在基本上水平方向上将用户的每个眼睛1的右端位置和左端位置彼此连接的轴。
此外，诸如关于用户的整个眼区域56是否包括在眼图像55中的信息以及关于垂直方向和水平方向中的哪一个方向是眼区域56缺失的方向的信息的信息还包括在关于用户的眼睛1的眼信息中。另外，可以检测诸如视线方向、瞳孔大小、虹膜图案以及睫毛形状的任意信息作为眼信息。
注意，用于分析眼图像以检测特征参数的方法不受限制。可以使用任意分割技术或任意图像分析技术。此外，可以使用利用诸如RNN(递归神经网络)、CNN(卷积神经网络)以及MLP(多层感知器)的DNN(深度神经网络)的机器学习算法。
偏离计算单元44基于由图像分析单元43获取的关于用户的眼信息计算与用户的眼睛1的初始状态的偏离量。稍后将描述用户的眼睛1的初始状态和与初始状态的偏离。
机构驱动单元45将控制信号输出到驱动机构26。基于从机构驱动单元45输出的控制信号，移动显示器21、左眼透镜系统22a以及右眼透镜系统22b中的每一个。在本实施方式中，偏离计算单元44和机构驱动单元45用作移动单元。
显示控制单元46通过图像显示机构20控制图像显示。通过显示控制单元46，例如执行诸如校正所显示的图像和移动所显示的图像的显示位置的任意图像处理和显示控制。
带调整单元47将控制信号输出到带调整机构25。基于从带调整单元47输出的控制信号，调整颞带17和顶带18中的每一个的保持力。在本实施方式中，带调整单元47用作能够控制HMD 100的附接状态的附接状态控制单元。
状态分析单元48基于来自传感器单元31的检测结果，获取关于用户或HMD 100的状态的各种状态信息项。作为关于用户的状态信息，例如获取关于用户是否处于睡眠状态的信息或诸如体热、脉搏率、脑波状态、肌肉运动、出汗量以及集中状态的生物信息。此外，关于用户的当前位置的信息，更具体地，关于用户是在室内、室外还是在会议中等的信息是可获取的。
此外，获取关于由用户完成的运动的运动信息。例如，获取步行、跑步、乘火车移动、驾驶等期间的信息。关于正在进行的运动类型等的信息也是可获取的。此外，获取关于用户是坐着、站着、弯腰、侧翻还是上翻的姿势的信息。关于用户的这些状态信息项例如通过诸如使用通过机器学习等获得的参数的运动分析的任意运动分析技术来获取。
此外，作为关于HMD 100的装置状态的信息，例如获取诸如主动功能、操作模式、HMD 100与用户的附接/拆卸、HMD 100相对于用户的附接位置、电池剩余量、与充电座的连接以及装置温度的各种信息项。此外，作为关于使用环境的信息，诸如温度、湿度、当前位置、天气、日期以及时间的各种信息项也是可获取的。仅需要在HMD 100中适当地设置用于获取这些信息项的传感器、设备等。此外，用于分析状态的方法不受限制，并且例如可以使用机器学习算法。在本实施方式中，状态分析单元48用作状态获取单元。
可靠性确定单元49确定传感器单元31的检测结果的可靠性。稍后将描述该确定。
通知单元50将各种信息项通知给用户。规定的信息的通知例如通过诸如在显示器21上显示图像或文本、从耳机单元12输出声音、在基底构件单元10或盖单元14的外部的规定的位置上照射光(闪烁)以及利用任意振动机构使基底构件单元10等振动的任意方法来实现。例如，可以进行诸如关于HMD 100的使用的信息、关于内容的信息以及关于传感器单元31的检测结果的信息的任意信息的通知。
[图像显示装置的操作]
将描述作为根据本实施方式的图像显示装置的HMD 100的操作。图5是示出由HMD100执行的基本操作的概要的流程图。首先，由图像分析单元43获取关于用户的眼睛1a和1b的眼信息(步骤101)。基于所获取的眼信息，执行观看状态的改变和规定的信息的通知(步骤102)。
观看状态的改变例如包括诸如移动左透镜系统22a和右透镜系统22b、移动显示器21、移动图像的显示位置以及调整附接带单元11的任意处理以改变其中观看内容的状态。此外，规定的警报等的通知本身也包括在观看状态的改变中。
即，在本实施方式的HMD 100中，基于关于用户的眼睛1的眼信息执行各种处理。因此，可以为用户实现高质量的观看体验。在下文中，将描述应用了图5所示的基本操作的具体示例。
图6是示出当开始使用HMD 100时执行的处理示例的流程图。当用户打开HMD 100的电源时，首先确定HMD 100是否已附接到用户的头部(步骤201)。由图3所示的状态分析单元48基于接近传感器24的检测结果来进行该确定。
当尚未附接HMD 100时(步骤201中的否)，由图3所示的通知单元50将事实通知给用户(步骤202)。通知方法不受限制。例如，可以从耳机单元12输出声音，或者可以将规定的颜色的光输出到基底构件单元10或盖单元14的外部。可选地，可以执行使整个显示器21闪烁的处理。当然，可以通过基于振动机构的基底构件单元10的振动等来执行将事实通知给用户。
当已附接HMD 100时(步骤201中的是)，开始搜索用户的眼区域(步骤203)。具体地，由图3所示的图像分析单元43执行左眼1a的眼区域56和右眼1b的眼区域56的检测。然后，确定左眼区域和右眼区域56是否不能完全检测到(步骤204)。
当左眼区域和右眼区域56不能完全检测到时(步骤204中的是)，确定HMD 100是否物理地移动(步骤205)。由状态分析单元48基于例如九轴传感器的检测结果来执行该确定。
此外，作为步骤205中的确定处理，还可以在传感器单元31中设置用于指纹拍摄等的接近相机，并且使用该接近相机拍摄用户的皮肤等，以测量皮肤图案的移动方向和距离。例如，也可以基于自校准以来的累积移动距离来估计移动距离。此外，关于HMD 100是否物理地移动的确定可以基于由设置在远处的相机(包括IoT等)拍摄的图像来进行。例如，相对于佩戴HMD 100的面部执行面部检测，以检测附接到HMD的LED标记的位置。可以根据面部检测的结果和HMD的LED标记的位置关系来确定HMD是否已物理地移动。
当HMD 100移动时(步骤205中的是)，处理处于待机状态，直到HMD 100停止(步骤206)。即，处理处于待机状态，直到用户或HMD 100的状态稳定。在待机规定的时间之后，处理返回到步骤203。当HMD 100不移动时(步骤205中的否)，将指令通知给用户以改变附接状态，使得左眼相机23a和右眼相机23b可以拍摄用户的眼睛1(步骤207)。例如，输出敦促用户手动校正HMD 100的位置的公告等。然后，处理返回到步骤203。
当左眼区域和右眼区域56是可检测的时(步骤204中的否)，确定所有左眼区域和右眼区域56是否都是可检测的(步骤208)。当左眼区域和右眼区域56中有任何缺失区域时(步骤208中的否)，基于缺失区域估计HMD 100偏离的方向和HMD 100偏离的程度(步骤209)。
基于在步骤209中估计的偏离量生成控制信号，并将该控制信号由带调整单元47输出到带调整机构25。即，控制信号被输出到带调整机构25，以便创建用户的眼睛1能够由左眼相机23a和右眼相机23b拍摄的附接状态。然后，通过带调整机构25改变附接带单元11的颞带17和顶带18的长度或位置(步骤210)。
当例如在步骤209中估计HMD 100在水平方向上偏离的事实时，调整颞带17的长度等。当估计HMD 100在垂直方向上偏离的事实时，调整顶带18的长度等。当然，调整并不限于这种处理。注意，图6所示的颞部侧的带和顶部侧的带分别对应于颞带17和顶带18。当附接带单元11的调整完成时，处理返回到步骤203。
当所有左眼区域和右眼区域56都是可检测的(步骤208中的是)时，执行初始位置的设置(步骤211)。
图7是示出初始位置的设置示例的流程图。图8是用于描述图7所示的初始位置的设置示例的示意图。初始位置的设置是指当开始使用HMD100时，将用户的左眼和右眼1相对于图像显示机构20的状态设置为能够适当地观看内容的初始状态。在本实施方式中，能够适当地观看内容的初始状态对应于“其中用户的眼处于规定的状态的情况”。此外，初始状态还指规定的观看状态。
首先，在显示器21的规定的位置处显示基准图像60(步骤301)。例如，如图8中的A所示，在显示器21的基本上中心区域处显示以绿色等着色的点图像作为基准图像60。然后，分析在该状态下拍摄的左眼图像和右眼图像55(步骤302)。
确定基准图像60P是否在左眼图像和右眼图像55中相对于用户的左眼和右眼1P以规定的大小和规定的位置布置。具体地，确定基准图像60P的大小和位置是否处于规定的状态(步骤303)。在本实施方式中，确定基准图像60P是否在左眼图像和右眼图像55中的瞳孔的中心最小且清晰地显示。该状态对应于最小地形成基准图像60的漫射和发射的图像光的图像的状态和用户的左眼和右眼1相对于在显示器21上显示的基准图像60聚焦的状态。即，该状态是实现以上初始状态的状态。
当基准图像60P的大小和位置在左眼图像和右眼图像55中未处于规定的状态时，移动左透镜系统22a和右透镜系统22b(步骤304)。即，生成控制信号并将该控制信号由机构驱动单元45输出到驱动机构26。基于输入控制信号，驱动机构26移动左透镜系统22a和右透镜系统22b。
例如，如图8中的C所示，当基准图像60PA相对于瞳孔的中心向右偏离并且扩大大小时，确定未实现聚焦。然后，透镜系统22基于XYZ轴适当地移动，以便创建聚焦状态(图8中的B所示的状态)。类似地，如图8中的C所示，当基准图像60PB相对于瞳孔的中心向左偏离并且扩大大小时，透镜系统22基于XYZ轴适当地移动，以便创建聚焦状态。
例如，通过在Z方向上移动透镜系统22，可以控制基准图像60P的大小。此外，通过在XY平面方向上平行地移动透镜系统22或通过沿着相应轴倾斜透镜系统22，可以控制基准图像60P的位置。此外，可以执行能够控制基准图像60P的大小和位置的任意驱动方法。
注意，当在步骤303和304的处理被重复执行规定的次数之后基准图像60P在中心位置处变得最小时，可以确定在步骤303中实现了规定的状态(即，初始状态)。可选地，当相对于位置和大小设置了规定的允许范围，并且基准图像60P的大小和位置包括在该允许范围中时，可以确定在步骤303中实现了规定的状态(即，初始状态)。
当确定基准图像60P处于规定的状态时，即，当实现初始状态时(步骤303中的是)时，左眼区域和右眼区域56中的每个的大小、位置以及倾斜度存储在存储单元30中(步骤305)。例如，图4所示的眼区域56的长轴的大小(例如，像素的数量)存储为每个眼区域56的大小。此外，长轴57的位置和倾斜度(例如，像素的坐标值)存储为每个眼区域56的位置和倾斜度。除此之外，整个眼区域56的大小和位置可以按原样存储。
在本实施方式中，当实现初始状态时获取的眼信息，即，当实现初始状态时拍摄的眼图像或从眼图像计算出的各种特征参数对应于基准眼信息。此外，当实现初始状态时拍摄的眼图像对应于基准眼图像。
通过执行如上所述的初始位置的设置，可以基本上防止由用户的脸部或头部的形状的个人差异或左眼与右眼之间的距离的个人差异引起的影响，并且为使用HMD 100的每个用户实现高质量的观看系统。
注意，基准图像60的形状、大小、颜色等不受限制，并且可以任意设计。例如，可以将建筑物、车辆或气球的图像、规定的徽标标记等显示为基准图像60。此外，相对于眼图像55中的基准图像60P设置的条件以及在该条件上确定初始状态的实现也不受限制。即，可以任意设置关于基准图像60P的大小或位置的条件，并且可以采用除了大小或位置之外的参数等(诸如亮度值和模糊程度)作为关于初始状态的实现的条件。
例如，在基准图像60具有如图8中的A所示的点图像的简单形状的情况下，基于眼图像55中的基准图像60P的大小来确定是否实现了初始状态。另一方面，在使用具有诸如气球的复杂形状的基准图像60的情况下，不仅可以基于眼图像55中的基准图像60P的大小，而且可以基于焦点(模糊程度)来确定是否实现了初始状态。当然，用于确定初始状态的实现的条件不限于以上示例。
此外，在步骤304中，可以移动显示器21以实现初始状态。可选地，可以移动基准图像60的显示位置。例如，在其中改变基准图像60的显示位置以执行初始位置的设置的情况下，内容图像等仅必须在对应于实现初始状态时获得的基准图像60的位置的位置处显示。
初始位置的设置是指在观看内容之前设置焦点或显示位置的处理。在本技术中，如下所述，不仅可以在内容开始时，而且可以在内容运行(观看)时动态地改变观看状态。
图9是示出在初始位置的设置之后HMD 100的操作示例的流程图。步骤401至410与图6所示的步骤201至210基本上相同。在初始位置的设置完成之后，在大多数情况下，处理立即从步骤408中的是进行到步骤411。注意，用户在观看内容期间极有可能在VR(虚拟现实)中步行或跑步。在这种情况下，HMD 100可能偏离。然而，可以通过执行步骤401至410的处理使处理自动进行到步骤411。
在步骤411中，由图3所示的偏离计算单元44确定眼区域56的长轴57的倾斜度与初始状态下的长轴57的倾斜度相比是否有任何改变。当长轴57的倾斜度有改变时，由显示控制单元46移动在显示器21上显示的图像(内容图像)的显示位置。具体地，相对于显示器21的显示坐标轴以对应于长轴57的倾斜度的改变的旋转角度旋转(步骤412)。因此，可以校正由HMD 100的旋转偏离等引起的图像的倾斜。
当长轴57的倾斜度没有改变时，由偏离计算单元44确定眼区域56的形状、大小以及位置与初始状态下的眼区域56的形状、大小以及位置相比是否有任何改变(步骤413)。当眼区域56的形状、大小以及位置没有改变时，处理返回到步骤403而无需改变观看状态。
当眼区域56的形状、大小以及位置有改变时，生成对应于该改变的控制信号，并将该控制信号由机构驱动单元45输出到驱动机构26。因此，调整显示器21、左眼透镜系统22a以及右眼透镜系统22b的相应位置或角度(步骤414)。具体地，调整显示器21、左眼透镜系统22a以及右眼透镜系统22b的相应位置或角度，使得用户的眼睛1相对于图像显示机构20的状态接近初始状态。
因此，在本实施方式中，参考存储在存储单元30中的机构驱动表41。机构驱动表41是其中将由偏离计算单元44计算出的偏离量与显示器21、左眼透镜系统22a以及右眼透镜系统22b的移动量相互关联的表。机构驱动表41通过校准等预先创建并存储在存储单元30中。
例如，创建示出显示器和透镜系统相对于左眼和右眼中的每一个的偏离量与移动量的组合之间的关系的二维查找表。可选地，可以创建示出偏离量、显示器的移动量以及透镜系统的移动量之间的关系的三维查找表。此外，设置用于移动显示器的条件、用于移动透镜系统的条件等，并且可以适当地确定要移动的设备。在这种情况下，可以创建根据确定结果使用的多个表信息项。
当然，可以在不使用表信息的情况下执行显示器21或透镜系统22的移动。例如，可以根据需要基于偏离量通过计算来计算移动量，以适当地控制驱动机构26的操作。
图10是示出根据偏离量的透镜系统22的移动示例的示意图。例如，如图10中的A所示，假设眼图像55中的眼区域56的大小变得小于初始状态下的眼区域56的大小。在该状态下，其中安装有左眼相机23a和右眼相机23b的基底构件单元10在远离用户的眼睛1的方向上移动。为了校正由该偏离引起的影响，即，为了使该状态接近初始状态，使左透镜系统和右透镜系统22接近用户的眼。
如图10中的B所示，假设眼图像55中的眼区域56的大小变得大于初始状态下的眼区域56的大小。在该状态下，其中安装有左眼相机23a和右眼相机23b的基底构件单元10在接近用户的眼睛1的方向上移动。为了校正由该偏离引起的影响，即，为了使该状态接近初始状态，使左透镜系统和右透镜系统22远离用户的眼。
如图10中的C所示，假设眼图像55中的眼区域56的位置偏离初始状态下的眼区域56的位置。在该状态下，其中安装有左眼相机23a和右眼相机23b的基底构件单元10在XY平面内移动。为了校正由该偏离引起的影响，即，为了使该状态接近初始状态，使左透镜系统和右透镜系统22在其中校正该偏离的方向上移动。可选地，也可以调整左透镜系统和右透镜系统22的角度以校正眼区域56的位置偏离。
即，在本实施方式中，图像显示机构20的至少一部分基于在初始状态下拍摄的基准眼图像与在观看内容期间拍摄的眼图像之间的差异而移动。注意，用于根据偏离移动图像显示机构20的至少一部分的方法不限于图10的示例中所示的方法，并且可以执行任意驱动方法(校正方法)。例如，也可以执行处理以移动显示器12或透镜系统22，使得左眼区域和右眼区域56的大小变得基本上相同。
如上所述，在根据本实施方式的HMD 100中，基于关于用户的眼睛1的眼信息来执行观看状态的改变和规定的通知。即，基于眼信息执行图像显示机构20的至少一部分的移动、附接带单元11的调整以及规定的信息的通知。因此，可以为例如使用HMD 100的用户实现高质量的观看体验。
同样在未来，期望使用HMD等的VR(虚拟现实)或AR(增强现实)的体验将变得普遍。此外，还期望将促进所使用的HMD的重量减轻，并且有效地校正由HMD的偏离引起的影响将非常重要。例如，根据其中用户手动移动要调整的HMD的模拟方法，难以调整实现聚焦并适当观看图像的位置，并且也难以为用户他自己/她自己确定最适当的位置。因此，用户努力调整HMD的位置，并且很可能干扰观看内容。
在本实施方式中，即使在观看内容期间，也基于关于用户的眼睛1的眼信息自动地执行透镜系统22的移动等。因此，还可以校正例如在被用户注意之前由偏离引起的影响，而不干扰观看内容。因此，可以实现极高质量的观看体验。此外，在可能需要手动调整的情况下，也可以基于眼信息确定偏离量，并将适当的调整方法通知给用户。此外，还可以通知用户位置是否最合适。即，可以为用户提供有效的引导。
将描述用于用户的通知方法的示例。例如，当确定偏离超出自动调整时，将发生偏离通知给用户，并敦促用户进行调整。因此，可以防止保持非预期的附接状态。具体地，执行在显示器21上显示图像或文本、从耳机单元12输出声音、利用振动机构使基底构件单元10等振动等。
当图像例如在观看内容期间变得模糊时，用户注意到模糊。因此，直接通知用户模糊也是有效的。例如，使用即使在模糊状态下也可看到文本的大小的文本或即使在模糊状态下也可识别的图像、符号、标记等来显示通知或警报。可选地，通过上述声音、振动等来执行通知或警报。
自然地执行通知而不干扰用户观看也很重要。例如，执行未被如此强调的短通知。可选地，还可以根据传感器单元31的传感器结果来确定用户的状态，并将所确定的用户的状态反映在通知方法上。例如，基于出汗、脑波等的状态，确定用户是否注意到通知。当用户没有注意到通知时，逐步强调通知或执行其他通知方法。例如，当用户没有注意到声音时，振动功能与声音结合使用。
当确定用户没有完全注意到通知时，很可能用户根本没有观看内容。在这种情况下，测量用户的唤醒程度，并且基于测量结果适当地改变通知方法。例如，假设诸如强调通知以使用户被唤醒、消除相反的内容以及关闭HMD 100本身的电源的处理。
当确定HMD 100水平偏离时，还可以通过内容给用户提供引导，以瞬时移动头部以校正偏离。例如，使用声音，并将该声音快速地从右耳传送到左耳。可选地，在显示器21上显示快速水平移动的图像。通过该内容使用户感受到屏幕上任何物体的移动，并且然后瞬间移动头部以跟随该物体。因此，还可以给用户提供引导以移动头部。另外，还可以使用声音和图像的移动两者给用户提供引导以瞬时移动头部。
还可以改变附接带单元11的保持力以校正HMD 100的偏离。例如，使用规定的按钮操作、头部的移动(加速度的增加)或来自用户的声音输入作为触发器，还可以松开附接带单元11的一侧并紧固附接带单元11的另一侧，以移动整个HMD 100自身并将其恢复到正常位置。
图11是示出能够由HMD 100执行的其他处理的概要的流程图。如步骤501所示，获取关于用户的状态、显示内容的细节以及观看时间的信息。然后，如步骤502所示，基于这些信息项执行观看状态的改变和规定的通知。
即，可以基于不同于眼信息的信息执行移动图像显示机构20的至少一部分的处理等。当然，这些信息项和眼信息可以组合在一起，以执行观看状态的改变和规定的通知。因此，可以实现高质量的观看体验。
在以上描述中，移动透镜系统22等，使得当发生偏离时，用户的眼睛1的状态接近初始状态。除了这种情况之外，还可以执行显示器21或透镜系统22的移动，使得用户的眼睛1相对于图像显示机构20的状态处于不同于初始状态的另一状态。即，观看状态可以改变为没有有意识地实现聚焦的状态，或者可以改变以使图像的显示位置偏离。
例如，当内容是指视频游戏等时，还可能有意识地引起散焦，以使视图在水或多尘的环境中模糊。例如，在赛车游戏中，在用户被来自向前行驶的车辆的灰尘覆盖的情况下，在用户潜入水中的情况下等，执行视图的模糊。此外，还可以根据VR内部适当的物品(例如，眼镜等)的附接/拆卸来调整视图的模糊程度。
此外，还可以根据内容中的化身的身体状况或唤醒状态来调整视图的模糊程度。例如，还可以感测用户的状态并将所感测的用户的状态反映在化身上，或者可以根据内容中的化身的状态来调整模糊程度。例如，在战斗游戏、射击游戏等中，在用户受到伤害或处于危急状况的情况下执行视图的模糊等。当用户的右眼被击中时，也可以仅使右眼模糊。此外，当用户感到强烈困倦时，也可以使视图模糊。
如上所述，根据内容的细节改变观看状态，由此可以增强内容的真实感并实现高质量的观看体验。
此外，在医学领域等中，还可以实现老花眼(foresighted persons)者、近视者、散光者以及具有视觉和听力障碍者等的视野的体验。例如，当佩戴HMD 100的用户选择他/她想要体验的视野时，基于眼信息移动透镜系统22等以便实现视野。例如，当用户选择老花眼者的视野时，移动透镜系统22等以便使焦距接近用户，并且当用户选择远视者的视野时，移动透镜系统22等以便使焦距远离用户。当用户选择老花眼者的视野时，根据物体的距离适当地移动透镜系统22等。注意，还可以通过移动透镜系统22等来在HMD 100的附接期间自动地调整可见度。
此外，还可以将本技术应用于普通眼镜。例如，可以通过基于眼信息移动设置在眼镜中的透镜等来精确地改变校正频率、视野等。
基于内容的观看时间改变观看状态。例如，当在指定时间内使用内容时，可以使视图模糊以使用户意识到疲劳并休息。例如，随着内容的使用时间接近内容设置时间(90分钟等)，使用户逐渐处于近视状态(使用户具有较短的焦距)并感到眼疲劳。这种处理对应于电视的电源模式。此外，在这种情况下，还可以基于生物信息(脑波、脉冲、血流等)来确定用户是否疲劳。此外，还可以在显示器21的拐角处显示诸如“进入眼疲劳模式”的消息。此外，例如，在指定时间内使用HMD 100的情况下，在基于生物信息确定用户疲劳的情况下等，还可以为用户提供用于放松眼疲劳的诸如图像或音乐的内容。
基于关于用户的状态的状态信息改变观看状态。该处理根据上述唤醒程度执行，或者根据生物信息执行。例如，当设置了监测佩戴HMD 100的用户的身体状况的机构等时，可以使用监测结果改变显示状态。例如，当基于生物信息确定用户疲劳时，使用户逐渐处于近视状态(使用户具有较短的焦距)并感到眼疲劳。此外，还可以在显示器21的拐角处显示诸如“进入眼疲劳模式”的消息。此外，还可以为用户提供用于放松眼疲劳的诸如图像或音乐的内容。
将描述图3所示的可靠性确定单元49。可靠性确定单元49基于从显示器21或左透镜系统和右透镜系统22中的初始状态起的移动量(校正量)确定生物传感器38的检测结果的可靠性。例如，当透镜系统22的移动量较大时，确定HMD 100偏离头部。即，假设脑波传感器、肌电传感器等的检测终端部分不太可能与身体的规定的位置基本上接触，则检测信号的可靠性设置为低。因此，可以有效地使用生物传感器38的检测结果。
例如，可以利用九轴传感器36检测HMD 100的摆动等，但是不能确定生物传感器38的检测终端部分是否与皮肤基本上接触。在本实施方式中，可以基于机构驱动单元145相对于图像显示机构20的至少一部分的移动量来确定检测终端部分是否与皮肤基本上接触，并且确定检测结果的可靠性。
注意，例如，可以基于从表、项链、戒指等形式的其他可穿戴设备的生物传感器获得的生物信息或关于皮肤与由其他可穿戴设备确定的生物传感器接触的确定结果来确定生物传感器38的检测结果的可靠性。当然，可以基于未被分类为由可穿戴设备的其他终端获取的生物信息等来确定生物传感器38的检测结果的可靠性。
当眼信息和其他信息组合使用时，可以对所使用的信息进行加权。加权方法不受限制，并且可以任意设置。
<其他实施方式>
本技术不限于上述实施方式，并且可以实现各种其他实施方式。
以上描述是指其中显示器21、左眼透镜系统22a以及右眼透镜系统22b中的每一个可移动的情况作为移动图像显示机构20的至少一部分的示例。除此之外，仅显示器21可以是可移动的，或者仅左透镜系统和右透镜系统22可以是可移动的。此外，构成图像显示机构20的其他构件可以是可移动的。此外，仅图像显示机构20的一部分可以是可移动的以改变观看状态。
当通过机构驱动单元45频繁地移动透镜系统22等时，可以确定附接带单元11的紧固程度松动。例如，当确定紧固程度松动时，基于眼信息自动调整附接带单元11。可选地，进行关于敦促调整附接带单元11的通知。
通过使用本技术，还可以在故意使附接带单元11的紧固程度松动的状态下观看内容。例如，通过高速执行图9所示的处理，可以防止在紧固程度松动时由HMD 100的偏离引起的影响。因此，由于不需要紧密地紧固附接带单元11，因此可以基本上减少用户的附接负载。此外，由于消除了用于微调附接带单元11的机构，因此实现了装置的简化、小型化以及轻量化。此外，节省了附接装置的时间和麻烦。
此外，还可以基于用于调整焦点的时间，即，直到装置恢复到初始状态的时间，来估计驱动机构26等的老化劣化等。
图12是示出根据另一实施方式的HMD的外观的透视图。HMD 200是包括透视显示器的眼镜型装置，并且附接到要使用的用户的头部。HMD200具有框架210、左透镜222a、右透镜222b、左眼显示器221a、右眼显示器221b、左眼相机223a以及右眼相机223b。此外，与图3所示的控制器、传感器单元等基本上相同的控制器、传感器单元等构成在框架210的内部或规定的位置处。
左透镜222a和右透镜222b分别布置在用户的左眼和右眼的前方。左眼显示器221a和右眼显示器221b分别设置在左透镜222a和右透镜222b中，以便覆盖用户的视野。
左眼显示器221a和右眼显示器221b是透视显示器，并且分别在其上显示左眼图像和右眼图像等。允许佩戴HMD 200的用户在视觉识别实际场景的同时视觉识别在相应显示器上显示的图像。因此，允许用户体验AR(增强现实)等。
注意，调光元件(未示出)等可以分别设置在左眼显示器221a和右眼显示器221b的外侧(与用户的眼相对的一侧)。调光元件是能够调整通过元件的光量的元件。例如，通过设置调光元件，可以控制通过相应显示器并由用户视觉识别的实际场景，并且使用户以强调的方式视觉识别在相应显示器上显示的图像。因此，允许用户体验VR(虚拟现实)等。
作为左眼显示器221a和右眼显示器221b，例如使用透视有机EL显示器、LCD(液晶显示器)等。此外，作为调光元件，例如使用能够电控制透射率的调光眼镜、调光片、液晶快门等。在本实施方式中，图像显示机构由左透镜222a、右透镜222b、左眼显示器221a以及右眼显示器221b实现。
左眼相机223a和右眼相机223b设置在能够拍摄用户的左眼和右眼的任意位置。例如，基于由左眼相机223a和右眼相机223b拍摄的左眼和右眼的图像，获取关于用户的眼的眼信息。
在图12所示的HMD 200中，左透镜222a和右透镜222b中的每一个被配置为相对于框架210可移动并且由驱动机构移动。此外，框架210本身还被配置为可移动并且能够改变其保持力。通过基于眼信息适当地改变左透镜222a和右透镜222b中的每一个的位置或倾斜度，可以实现与以上实施方式一样的高质量的观看体验。
如上所述，本技术还可应用于诸如AR眼镜的透视HMD。例如，通过在体验AR期间基于眼信息改变在透视显示器上显示的内容图像的显示位置，还可以高精度校正真实世界与内容图像之间的偏离。即，在AR中，可以高精度改变与真实场景重叠的虚拟世界中的坐标轴。
注意到这一点，可以说，本技术主要针对校正相对于VR中的内容的焦点的偏离是有效的，并且主要针对校正AR中的内容的位置的偏离是有效的。当然，本技术不限于这种物体。
本技术适用的领域不受限制。例如，本技术可应用于其中在操作中在用户的视图中显示信息的任意领域，诸如视频游戏、医疗(用于手术等的HMD)、汽车运动(驾驶员的头盔等)、包括高尔夫等的运动以及工厂中的检查等。
作为根据本技术的信息处理装置的实施方式，以上描述是指作为图像显示装置的HMD。然而，根据本技术的信息处理装置可以由与HMD分开构成并以有线或无线方式连接到HMD的任意计算机实现。根据本技术的信息处理方法可以例如由云服务器执行。可选地，HMD和其他计算机可以一起工作以执行根据本技术的信息处理方法。
即，根据本技术的信息处理方法和程序不仅能够由单个计算机构成的计算机系统执行，而且能够由其中多个计算机一起工作来操作的计算机系统执行。注意，系统是指多个组成部分(诸如装置和模块(组件))的集合，并且在本公开中所有组成部分不必容纳在相同的壳体中。因此，容纳在单独的壳体中并经由网络彼此连接的多个装置和其中多个模块容纳在一个壳体中的一个装置两者都是系统。
根据本技术的基于计算机系统的信息处理方法和程序的执行包括例如由单个计算机执行眼信息的获取或图像显示机构的至少一部分的移动的控制等的情况和由不同的计算机执行相应处理的情况两者。此外，由规定的计算机执行相应处理包括使其他计算机执行处理的一部分或全部并获取结果。
即，根据本技术的信息处理方法和程序也适用于一个功能经由网络由多个装置共享并协同处理的云计算的配置。
在根据上述本技术的特征部分中，可以将至少两个特征部分组合在一起。即，在相应实施方式中描述的各种特征部分可以任意组合在一起，而无需在相应实施方式之间被区分。此外，上述各种效果仅作为示例给出，并且不应以受限的方式进行解释。此外，可能产生其他效果。
注意，本技术可以采用以下配置。
(1)一种信息处理装置，包括：
获取单元，获取关于用户的眼睛的眼信息；以及
移动单元，基于所获取的眼信息移动图像显示机构的至少一部分，该图像显示机构发射图像光并将图像光引导到用户的眼睛。
(2)根据(1)所述的信息处理装置，其中，
图像显示机构具有发射图像光的显示器和将从显示器发射的图像光引导到用户的眼睛的透镜系统，并且
移动单元移动显示器和透镜系统中的至少一个。
(3)根据(1)或(2)所述的信息处理装置，其中，
眼信息包括通过拍摄用户的眼睛而获得的眼图像。
(4)根据(3)所述的信息处理装置，其中，
眼信息包括眼图像中的用户的眼睛的形状、大小、位置、倾斜度和虹膜图案中的至少一个。
(5)根据(3)或(4)所述的信息处理装置，其中，
图像显示机构设置在用户能够佩戴的HMD(头戴式显示器)中，并且
眼信息包括通过使用HMD的成像机构拍摄用户的眼睛而获得的眼图像。
(6)根据(1)至(5)中任一项所述的信息处理装置，还包括：
存储单元，存储基准眼信息，该基准眼信息表示当用户的眼睛相对于图像显示机构处于规定的状态时获得的眼信息，并且
移动单元基于所获取的眼信息和基准眼信息移动图像显示机构的至少一部分。
(7)根据(6)所述的信息处理装置，其中，
规定的状态包括由图像显示机构显示的基准图像在眼图像内相对于用户的眼睛以规定的大小和规定的位置布置的状态。
(8)根据(6)或(7)所述的信息处理装置，其中，
眼信息包括通过拍摄用户的眼睛而获得的眼图像，
基准眼信息包括当用户的眼睛相对于图像显示机构处于规定的状态时通过拍摄用户的眼睛而获得的基准眼图像，并且
移动单元基于眼图像与基准眼图像之间的差异移动图像显示机构的至少一部分。
(9)根据(8)所述的信息处理装置，其中，
移动单元移动图像显示机构的至少一部分，使得用户的眼睛相对于图像显示机构的状态接近规定的状态。
(10)根据(8)或(9)所述的信息处理装置，其中，
移动单元移动图像显示机构的至少一部分，使得用户的眼睛相对于图像显示机构的状态处于不同于规定的状态的另一状态。
(11)根据(1)至(10)中任一项所述的信息处理装置，还包括
显示控制单元，控制图像显示机构的图像显示，其中，
显示控制单元基于所获取的眼信息移动由图像显示机构显示的图像的显示位置。
(12)根据(1)至(11)中任一项所述的信息处理装置，其中，
移动单元基于由图像显示机构显示的内容的细节移动图像显示机构的至少一部分。
(13)根据(1)至(12)中任一项所述的信息处理装置，其中，
移动单元基于用户的观看时间移动图像显示机构的至少一部分。
(14)根据(1)至(13)中任一项所述的信息处理装置，还包括
状态获取单元，获取关于用户的状态的状态信息，其中，
移动单元基于获取的状态信息移动图像显示机构的至少一部分。
(15)根据(1)至(14)中任一项所述的信息处理装置，其中，
图像显示机构设置在用户能够佩戴的HMD(头戴式显示器)中，并且
信息处理装置还包括确定单元，确定单元基于移动单元相对于图像显示机构的至少一部分的移动量确定生物传感器的检测结果的可靠性。
(16)根据(1)至(15)中任一项所述的信息处理装置，其中，
图像显示机构设置在用户能够佩戴的HMD(头戴式显示器)中，并且
信息处理装置还包括附接状态控制单元，附接状态控制单元能够基于所获取的眼信息控制HMD的附接状态。
(17)根据(1)至(16)中任一项所述的信息处理装置，还包括
通知单元，基于所获取的眼信息将规定的信息通知给用户。
(18)根据(1)至(17)中任一项所述的信息处理装置，其中，
眼信息包括通过拍摄用户的左眼而获得的左眼图像和通过拍摄用户的右眼而获得的右眼图像，并且
移动单元基于左眼图像或右眼图像移动图像显示机构的至少一部分。
(19)一种由计算机系统执行的信息处理方法，该信息处理方法包括：
获取关于用户的眼睛的眼信息；以及
基于所获取的眼信息，移动图像显示机构的至少一部分，该图像显示机构发射图像光并将图像光引导到用户的眼睛。
(20)一种程序，使计算机系统执行：
获取关于用户的眼睛的眼信息的步骤；以及
基于所获取的眼信息，移动图像显示机构的至少一部分的步骤，该图像显示机构发射图像光并将图像光引导到用户的眼睛。
符号说明
1(1a、1b) 用户的眼
11 附接带单元
12 耳机单元
13 显示单元
15 成像机构
17 颞带
18 顶带
20 图像显示机构
21 显示器
22(22a、22b) 透镜系统
23a、223a 左眼相机
23b、223b 右眼相机
25 带调整机构
26 驱动机构
30 存储单元
31 传感器单元
32 控制器
38 生物传感器
55 眼图像
56 眼区域
57 长轴
60 基准图像
100、200 HMD
221a 左眼显示器
221b 右眼显示器
222a 左透镜
222b 右透镜。

Claims (17)

1.一种信息处理装置，包括：
获取单元，获取关于用户的眼睛的眼信息，所述眼信息包括通过拍摄所述用户的眼睛而获得的眼图像和所述眼图像中所述用户的眼睛的大小；
存储单元，存储基准眼信息，所述基准眼信息表示当所述用户的眼睛相对于图像显示机构处于规定的状态时获得的所述眼信息；以及
移动单元，基于获取的所述眼信息和所述基准眼信息移动显示器和透镜系统中的至少一者，使得在所述获取的所述眼信息中包含的所述用户的眼睛的大小接近在所述规定的状态下所述用户的眼睛的大小，其中，所述图像显示机构包括所述显示器和所述透镜系统，所述显示器被配置为发射图像光，并且所述透镜系统被配置为将从所述显示器发射的所述图像光引导到所述用户的眼睛。
2.根据权利要求1所述的信息处理装置，其中，
所述眼信息进一步包括所述眼图像中的所述用户的眼睛的形状、位置、倾斜度和虹膜图案中的至少一个。
3.根据权利要求1所述的信息处理装置，其中，
所述图像显示机构设置在所述用户能够佩戴的头戴式显示器HMD中，并且
所述眼信息包括通过使用所述HMD的成像机构拍摄所述用户的眼睛而获得的所述眼图像。
4.根据权利要求1所述的信息处理装置，其中，
所述规定的状态包括由所述图像显示机构显示的基准图像在眼图像内相对于所述用户的眼睛以规定的大小和规定的位置布置的状态。
5.根据权利要求1所述的信息处理装置，其中，
所述基准眼信息包括当所述用户的眼睛相对于所述图像显示机构处于所述规定的状态时通过拍摄所述用户的眼睛而获得的基准眼图像，并且
所述移动单元进一步基于所述眼图像与所述基准眼图像之间的差异移动所述图像显示机构的至少一部分。
6.根据权利要求5所述的信息处理装置，其中，
所述移动单元移动所述图像显示机构的至少一部分，使得所述用户的眼睛相对于所述图像显示机构的状态接近所述规定的状态。
7.根据权利要求5所述的信息处理装置，其中，
所述移动单元移动所述图像显示机构的至少一部分，使得所述用户的眼睛相对于所述图像显示机构的状态处于不同于所述规定的状态的另一状态。
8.根据权利要求1所述的信息处理装置，还包括
显示控制单元，控制所述图像显示机构的图像显示，其中，
所述显示控制单元基于获取的所述眼信息移动由所述图像显示机构显示的图像的显示位置。
9.根据权利要求1所述的信息处理装置，其中，
所述移动单元进一步基于由所述图像显示机构显示的内容的细节移动所述图像显示机构的至少一部分。
10.根据权利要求1所述的信息处理装置，其中，
所述移动单元进一步基于所述用户的观看时间移动所述图像显示机构的至少一部分。
11.根据权利要求1所述的信息处理装置，还包括
状态获取单元，获取关于所述用户的状态的状态信息，其中，
所述移动单元基于获取的所述状态信息移动所述图像显示机构的至少一部分。
12.根据权利要求1所述的信息处理装置，其中，
所述图像显示机构设置在所述用户能够佩戴的头戴式显示器HMD中，并且
所述信息处理装置还包括确定单元，所述确定单元基于所述移动单元相对于所述图像显示机构的至少一部分的移动量确定生物传感器的检测结果的可靠性。
13.根据权利要求1所述的信息处理装置，其中，
所述图像显示机构设置在所述用户能够佩戴的头戴式显示器HMD中，并且
所述信息处理装置还包括附接状态控制单元，所述附接状态控制单元能够基于获取的所述眼信息控制所述HMD的附接状态。
14.根据权利要求1所述的信息处理装置，还包括
通知单元，基于获取的所述眼信息将规定的信息通知给所述用户。
15.根据权利要求1所述的信息处理装置，其中，
所述眼信息进一步包括通过拍摄所述用户的左眼而获得的左眼图像和通过拍摄所述用户的右眼而获得的右眼图像，并且
所述移动单元进一步基于所述左眼图像或所述右眼图像移动所述图像显示机构的至少一部分。
16.一种信息处理方法，包括：
获取关于用户的眼睛的眼信息，所述眼信息包括通过拍摄所述用户的眼睛而获得的眼图像和所述眼图像中所述用户的眼睛的大小；
存储单元，存储基准眼信息，所述基准眼信息表示当所述用户的眼睛相对于图像显示机构处于规定的状态时获得的所述眼信息；以及
基于获取的所述眼信息和所述基准眼信息，移动显示器和透镜系统中的至少一者，使得在所述获取的所述眼信息中包含的所述用户的眼睛的大小接近在所述规定的状态下所述用户的眼睛的大小，其中，所述图像显示机构包括所述显示器和所述透镜系统，所述显示器被配置为发射图像光，所述透镜系统被配置为将所述图像光引导到所述用户的眼睛。
17.一种计算机可读存储介质，存储有计算机程序，当计算机执行所述计算机程序时使所述计算机执行权利要求16所述的方法。
CN201880065099.XA 2017-10-13 2018-08-17 信息处理装置、信息处理方法以及程序 Active CN111213375B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017-199080 2017-10-13
JP2017199080A JP2019074582A (ja) 2017-10-13 2017-10-13 情報処理装置、情報処理方法、及びプログラム
PCT/JP2018/030554 WO2019073689A1 (ja) 2017-10-13 2018-08-17 情報処理装置、情報処理方法、及びプログラム

Publications (2)

Publication Number Publication Date
CN111213375A CN111213375A (zh) 2020-05-29
CN111213375B true CN111213375B (zh) 2022-08-05

Family

ID=66101352

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880065099.XA Active CN111213375B (zh) 2017-10-13 2018-08-17 信息处理装置、信息处理方法以及程序

Country Status (5)

Country Link
US (1) US11157078B2 (zh)
EP (1) EP3697086A4 (zh)
JP (1) JP2019074582A (zh)
CN (1) CN111213375B (zh)
WO (1) WO2019073689A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112241068A (zh) * 2019-07-18 2021-01-19 三星电子株式会社 能够多深度表达的图像显示装置
KR102709979B1 (ko) * 2021-10-26 2024-09-26 옵티시스 주식회사 헤드 마운티드 디스플레이
CN114280778A (zh) * 2021-11-24 2022-04-05 歌尔光学科技有限公司 一种智能眼镜及其像距调节方法
TWI828418B (zh) * 2022-11-11 2024-01-01 宏達國際電子股份有限公司 頭戴式顯示裝置與調整模組
CN117452644A (zh) * 2023-11-01 2024-01-26 华瀚智盛(北京)科技有限公司 一种头戴设备

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0749464A (ja) 1993-08-03 1995-02-21 Keibunshiya:Kk 頭部搭載型ディスプレイ装置
JPH07154829A (ja) 1993-11-25 1995-06-16 Matsushita Electric Ind Co Ltd 眼鏡型映像表示装置
JP3348956B2 (ja) * 1994-03-24 2002-11-20 ソニー株式会社 表示装置
JP2000131643A (ja) 1998-10-28 2000-05-12 Sony Corp 映像表示装置
JP2001189902A (ja) 1999-12-28 2001-07-10 Nec Corp ヘッドマウンテッドディスプレイ制御方法及びヘッドマウンテッドディスプレイ装置
JP2002031776A (ja) 2000-07-14 2002-01-31 Canon Inc 表示装置
JP2004304296A (ja) 2003-03-28 2004-10-28 Nikon Corp ヘッドマウントディスプレイ
JP4298455B2 (ja) * 2003-09-30 2009-07-22 キヤノン株式会社 走査型画像表示装置
JP4517664B2 (ja) 2004-02-12 2010-08-04 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
JP4560368B2 (ja) * 2004-10-08 2010-10-13 キヤノン株式会社 眼検出装置および画像表示装置
JP2012194501A (ja) 2011-03-18 2012-10-11 Brother Ind Ltd ヘッドマウントディスプレイ及び虚像提示方法
US20150097772A1 (en) * 2012-01-06 2015-04-09 Thad Eugene Starner Gaze Signal Based on Physical Characteristics of the Eye
US9122321B2 (en) * 2012-05-04 2015-09-01 Microsoft Technology Licensing, Llc Collaboration environment using see through displays
JP2014106445A (ja) * 2012-11-29 2014-06-09 Toshiba Corp 電子機器および表示制御方法
US10345903B2 (en) 2013-07-30 2019-07-09 Microsoft Technology Licensing, Llc Feedback for optic positioning in display devices
US20150145977A1 (en) * 2013-11-22 2015-05-28 Samsung Display Co., Ltd. Compensation technique for viewer position in autostereoscopic displays
WO2016113951A1 (ja) * 2015-01-15 2016-07-21 株式会社ソニー・インタラクティブエンタテインメント 頭部装着型表示装置、及び映像表示システム
JP2016191845A (ja) 2015-03-31 2016-11-10 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP6572600B2 (ja) * 2015-04-09 2019-09-11 セイコーエプソン株式会社 情報処理装置、情報処理装置の制御方法、および、コンピュータープログラム
EP3764201A4 (en) * 2018-03-05 2021-12-08 Wacom Co., Ltd. INPUT DEVICE WITH ELECTRONIC PEN

Also Published As

Publication number Publication date
US11157078B2 (en) 2021-10-26
WO2019073689A1 (ja) 2019-04-18
CN111213375A (zh) 2020-05-29
JP2019074582A (ja) 2019-05-16
US20200285310A1 (en) 2020-09-10
EP3697086A1 (en) 2020-08-19
EP3697086A4 (en) 2020-12-09

Similar Documents

Publication Publication Date Title
CN111213375B (zh) 信息处理装置、信息处理方法以及程序
US11061240B2 (en) Head-mountable apparatus and methods
JP6339239B2 (ja) 頭部装着型表示装置、及び映像表示システム
CN109002164B (zh) 头戴显示设备的显示方法、装置及头戴显示设备
JP6378781B2 (ja) 頭部装着型表示装置、及び映像表示システム
US11487354B2 (en) Information processing apparatus, information processing method, and program
KR20180008631A (ko) 증강 현실 시스템들에 커플링된 프라이버시-민감 소비자 카메라들
JP6518578B2 (ja) 表示制御装置及び表示制御方法
US12076087B2 (en) Information processing apparatus and information processing method
KR20220148921A (ko) 근육 센서들을 사용하여 안면 표정을 결정하는 안경류
US20200213467A1 (en) Image display system, image display method, and image display program
CN107071237A (zh) 图像记录系统、用户佩戴装置、摄像装置、图像处理装置以及图像记录方法
TW201814356A (zh) 頭戴顯示裝置與其鏡片位置調整方法
JP5695809B1 (ja) 表示装置、表示方法およびプログラム
US20160091717A1 (en) Head-mounted display system and operation method thereof
US11402655B2 (en) Image display system, non-transitory storage medium having stored therein image display program, image display apparatus, and image display method
CN110998673A (zh) 信息处理装置、信息处理方法和计算机程序
US20220004250A1 (en) Information processing apparatus, information processing method, and program
CN116615704A (zh) 用于姿势检测的头戴式设备
JP2022113973A (ja) 表示方法、表示装置、及び、プログラム
US11023041B1 (en) System and method for producing images based on gaze direction and field of view
US11159777B2 (en) Image display system, non-transitory storage medium having stored therein image display program, image display apparatus, and image display method
US11714486B2 (en) Video display device and video display method
JP6705929B2 (ja) 表示制御装置及び表示制御方法
US20230308753A1 (en) Camera system for focusing on and tracking objects

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant