CN105474302B - 头戴显示设备和图像显示方法 - Google Patents

头戴显示设备和图像显示方法 Download PDF

Info

Publication number
CN105474302B
CN105474302B CN201480046371.1A CN201480046371A CN105474302B CN 105474302 B CN105474302 B CN 105474302B CN 201480046371 A CN201480046371 A CN 201480046371A CN 105474302 B CN105474302 B CN 105474302B
Authority
CN
China
Prior art keywords
mounted display
display device
image
head mounted
event
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480046371.1A
Other languages
English (en)
Other versions
CN105474302A (zh
Inventor
今孝安
河本献太
山本祐辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN105474302A publication Critical patent/CN105474302A/zh
Application granted granted Critical
Publication of CN105474302B publication Critical patent/CN105474302B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/001—Arbitration of resources in a display system, e.g. control of access to frame buffer by video controller and/or main processor
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

一种图像显示装置包括配置为基于对真实世界中头戴显示设备周围发生的事件的重要性的确定而控制在所述头戴显示设备上对内容的再现的电路。

Description

头戴显示设备和图像显示方法
相关申请的交叉引用
本申请要求2013年12月19日提交的日本专利申请JP2013-262926的优先权权益，该申请的全部内容通过引用并入本文中。
技术领域
本说明书公开的本技术涉及用于通过穿戴在头部或面部上来观看图像的图像显示设备以及显示图像的方法。
背景技术
用于通过穿戴在头部或面部上来查看图像的图像显示设备，即头戴显示器，已经被普遍地使用。在该头戴显示器中，例如，为左眼和右眼每个设置图像显示单元，并且所显示图像的放大的虚拟图像通过虚拟图像光学系统形成，以及因此用户可以观察到具有现实感觉的图像。头戴显示器的流行度很高。随着从现在开始推进量产，由于移动电话、智能手机和手持游戏机已经推广，每个人可能开始拥有一个头戴显示器。
头戴显示器装备有由例如液晶或有机电致发光(EL)元件或诸如此类的构成的高分辨率显示面板作为左眼和右眼的显示单元。另外，头戴显示器可以归类到遮光型和渗透型。遮光型头戴显示器配置为当穿戴在头部上时直接覆盖用户的眼睛，并且当用户观看图像时增加沉浸感。显示屏幕被以放大的方式使用虚拟图像光学系统拍摄，并作为合适的观看角度下的放大的虚拟图像被用户观察到，并且当在头戴装置中再现多个信道时，再现诸如在电影院观看的现实感觉是可能的。(例如，参考PTL 1)。另一方面，假设是透光型头戴显示器，当穿戴头戴显示器并且图像被显示时用户可以观看(即，看透)图像之上的外部景象(例如，参考PTL 2)。
无论头戴显示器是遮光型和渗透型之中的哪种类型，头戴显示器都会将穿戴头戴显示器的用户吸引到虚拟世界中。因此，需要考虑到用户对外部世界的视听回应变慢。
例如，已经提出了一种视觉设备，其包括当设置在远程控制器中的紧急按钮被按下时停止图像的功能，并且可以穿戴在头部上(例如，参考PTL 3)。然而，视觉设备的用户不得不决定是否通过自己按下紧急按钮而停止图像。即，当观看图像时用户不得不关注外部世界正发生的事情，并接收来自现实世界的干扰，因而在由视觉设备显示的虚拟世界中的沉浸度降低。此外，如果通过按下紧急按钮停止图像来观察外部世界，但是事情其实并不重要，因而导致观看图像时受到干扰。
另外，已经提出了一种头戴显示设备，汽车乘坐者将其穿戴在面部上以供使用，这种设备配置为检测汽车的紧急状态，并且检测在汽车运动期间当刹车踏板突然踩住、转向装置突然关闭以及汽车的后端与物体碰撞时乘坐者的姿势变得不稳定或危险的状态作为紧急状态以允许看见外部世界(例如，参考PTL 4)。
此外，已经提出了一种穿戴在用户面部上、并且装配有预设传感器的图像显示设备，这种传感器允许通过突然的运动、或由外部因素导致的冲击或声音即刻打开遮光单元而看见外部世界(例如，参考PTL 5)。
引用列表
专利文献
PTL 1：公开号为2012-141461的日本未审查专利申请
PTL 2：公开号为2012-42654的日本未审查专利申请
PTL3：公开号为6-78248的日本未审查专利申请
PTL4：公开号为2000-111830的日本未审查专利申请
PTL5：公开号为5-304646的日本未审查专利申请
PTL6：公开号为2008-304268的日本未审查专利申请
发明内容
技术问题
期望提供一种优秀的穿戴在头部或面部上并用于观看图像的图像显示设备，以及一种图像显示方法。
更期望提供一种优选的图像显示设备，通过该图像显示设备，穿戴该图像显示设备的用户可以观看所显示的图像并沉浸到虚拟世界中，以及当观看图像时妥善地处理发生在现实世界中的事件，并且提供一种以及图像显示方法。
解决问题的技术方案
根据本公开的实施例，一种装置可以包括配置为基于发生在头戴显示设备周围的事件的重要性的确定而控制在头戴显示设备上对内容的再现的电路。
根据本公开的实施例，一种装置可以包括配置为基于发生在头戴显示设备周围的事件的重要性控制通过头戴显示设备对内容的再现的电路。
根据本公开的实施例，一种方法可以包括通过硬件设备基于发生在头戴显示设备周围的事件的重要性的确定控制在头戴显示设备上对内容的再现。
根据本公开的实施例，一种装置可以包括配置为基于发生在头戴显示设备周围的事件控制头戴显示设备周围捕捉的图像和内容的再现的电路。
本发明的有益效果
根据本说明书中所公开的本技术，一种优秀的图像显示设备使穿戴该图像显示设备的用户能够观看所显示的图像以沉浸到虚拟世界中，并当观看图像时妥善地处理现实世界中发生的事件，并且可以提供一种图像显示方法。
在根据本说明书所公开的本技术的图像显示设备中，使用各种传感器以及诸如此类监测现实世界中发生的事件，并对应于事件的重要性来通知用户该事件是可能的。因此，当观看显示的图像时用户可以快速处理具有高重要性的事件，并且对于重要性低的事件在观看时可以沉浸到提供所显示图像的虚拟世界中并无干扰地完全享受所显示的图像。
本文描述的效果仅仅是示范性的，并且本技术的效果不限于此。另外，除了以上在某些情形中描述的效果，本技术具有附加的更多效果。
本说明书公开的技术的其他的目标、特征和优势通过基于将在下文描述的实施例或附图的更详细描述会更清楚。
附图说明
[附图1]图1是示出当从前方观看时在头部上穿戴头戴显示器的用户的外观的图示。
[附图2]图2是示出当从顶部观看时图1中所显示的穿戴头戴显示器的用户的外观的图示。
[附图3]图3是示出头戴显示器的内部配置示例的图示。
[附图4]图4是示意性示出用于使穿戴头戴显示器的用户能够妥善地处理现实世界的功能配置(第一实施例)的图示。
[附图5]图5是示出头戴显示器用于通知用户发生在现实世界中的事件的进程(第一实施例)的流程图。
[附图6]图6是示意性示出用于使穿戴头戴显示器的用户能够妥善地处理现实世界的功能配置(第二实施例)的图示。
[附图7]图7是示出头戴显示器用于通知用户发生在现实世界中的事件的进程(第二实施例)的流程图。
[附图8]图8是示出现实世界(街角)的视频透视图像作为子屏幕显示在显示虚拟世界图像的主屏幕上的状态的图示。
[附图9]图9是虚拟世界的图像作为子屏幕显示在显示现实世界(街角)的视频透视图像的主屏幕上的状态的图示。
[附图10]图10是示出现实世界(街角)的视频透视图像显示在屏幕的右半部分，虚拟世界的图像显示在屏幕的左半部分的状态的图示。
[附图11]图11示出现实世界(街角)的图像以视频透视的方式显示在双眼型头戴显示器的左眼上，虚拟世界的图像显示在双眼型头戴显示器的右眼上的状态的图示。
具体实施方式
以下将参考附图详细描述本说明书所公开的本技术的实施例。
图1示出当从前方观看时在头部上穿戴本说明书所公开的本技术所应用到的头戴显示器100的用户的外观。
当穿戴在用户的头部或面部上时头戴显示器100直接覆盖用户的眼睛，因而给观看图像的用户沉浸感。另外，不同于透视方法的类型，穿戴头戴显示器100的用户可以不直接观看现实世界的景象。然而，通过装备外部相机312，拍摄用户视线方向的景象并通过该外部相机显示所拍摄的图像，用户可以间接地观看(即，景象可以以视频透视的方法显示)现实世界的景象。当然，可以将诸如增强现实(AR)图像等等之类的虚拟显示图像叠加到有待显示的视频透视图像上。此外，既然所显示图像不能从外部(即，通过其他人)显示，当显示信息时可以容易地保护隐私。
图1中所示的头戴显示器100是类似于帽子形状的结构，并且配置为直接覆盖穿戴该头戴显示器的用户的左眼和右眼。在头戴显示器100主体内在面向左眼和右眼的位置，提供显示面板(图1中未示出)用于用户观察。该显示面板配置为具有诸如有机EL元件、液晶显示器或诸如此类的微型显示器，或者诸如视网膜直接显示以及诸如此类的激光扫描式显示器。
大致上在头戴显示器100主体前表面的中心，设置外部相机312用于输入周围图像(用户的视角)。另外，麦克风103L和103R分别设置在头戴显示器100主体的左右两端的附近。通过具有大致上左右对称的麦克风103L和103R，以及仅识别位于中心的声音(用户的语音)，声音可以与周围噪音或其他人的语音分开，并因此在例如通过声音输入的操作期间防止故障是可能的。
此外，在头戴显示器100主体的外部设置触控面板315，用户可以在其上使用指尖和诸如此类的进行触控输入。在所示实例中，头戴显示器100主体包括一对左右触控面板315；然而，也可以包括单个、或三个或更多个触控面板315。
图2示出当从顶部观看时穿戴图1所示头戴显示器100的用户的外观。在面向用户面部的侧表面，所示的头戴显示器100具有用于左眼和右眼的显示面板104L和104R。显示面板04L和104R配置为具有诸如有机EL元件、液晶显示器或诸如此类的微型显示器，或者诸如视网膜直接显示以及诸如此类的激光扫描式显示器。当穿过虚拟图像光学单元101L和101R时，显示面板104L和104R上所显示的图像作为放大的虚拟图像被用户观察。此外，由于每个用户的眼睛高度和眼睛宽度存在个体差异，所以使左右显示系统的每个与穿戴头戴显示器的用户的眼睛对齐是必要的。在图2所示的示例中，头戴显示器在用于右眼的显示面板104R和用于左眼的显示面板104L之间装配有眼睛宽度调节机构105。
图3示出头戴显示器100的内部配置示例。以下，将描述每个单元。
控制单元301包括只读存储器(ROM)301A和随机存取存储器(RAM)301B。由控制单元301执行的程序代码和各种类型的数据存储在ROM301A中。在一实施例中，控制单元301可以包括执行存储在诸如ROM 301A的存储器中的程序的计算机处理单元(CPU)或者诸如此类设备，以执行根据本公开的功能和操作。在另一实施例中，控制单元301可以包括执行根据本公开的功能和操作的电路。控制单元301开始图像的显示控制，并且一般地通过执行加载到RAM 301B上的程序控制整个头戴显示器100的操作。作为存储在ROM 301A中的程序或者数据，可以举例列出的有诸如移动图像内容和诸如此类的内容的再现的图像的显示控制程序、使观看所显示图像的用户能够与现实世界通信的通信控制程序，头戴显示器100特有的认证信息以及使用头戴显示器100的用户的用户属性信息。
输入操作单元302包括至少一个用户用来执行输入操作的操作器(未示出)，例如按键、按钮、开关和诸如此类的，通过操作器接收用户指令，并且向控制单元301输出指令。另外，输入操作单元302接收由远程控制接收单元303接收、并由远程控制命令组成的用户指令，并且向控制单元301输出指令。另外，当用户使用指尖在设置在头戴显示器100主体外部的触控面板315上执行触控操作时，输入操作单元302向控制单元301输出输入信息，例如触控指尖位置的坐标数据和诸如此类。
状态信息获取单元304是获取穿戴头戴显示器100的用户的状态信息的头戴显示器100主体或功能模块。状态信息获取单元304可以装备各种类型的传感器，用于自身检测状态信息，并可以通过通信单元305(后文描述)从包括一些或全部所述传感器的外部设备(例如，智能手机、腕表和用户穿戴的其它多功能终端)获取状态信息。
状态信息获取单元304获取例如用户的头部的位置、姿势或姿势信息。为了获取位置和姿势信息，状态信息获取单元304可以包括陀螺仪传感器、加速度传感器、全球定位系统(GPS)传感器、地磁传感器、多普勒效应传感器、红外传感器、射频场强度传感器中的任何一种，或者考虑每种传感器的优势和劣势可以包括这些传感器的两个或者更多个的组合。此外，状态信息获取单元304可以组合从各种类型基础设施提供的信息，例如移动电话基站信息、位置引擎(PlaceEngine)(注册商标)信息(来自无线LAN接入点的电测量信息)或诸如此类的，并且使用组合后的信息以获得位置和姿势信息。
此外，状态信息获取单元304获取穿戴头戴显示器100的用户的状态信息，例如获取例如用户的操作状态(用户是否穿戴头戴像是器100)、用户的动作状态(诸如静止、行走、跑动和诸如此类的移动状态，手或指尖的姿势、眼睛的开或闭状态、视线方向、瞳孔尺寸)、精神状态(用户是否沉浸在观察所显示的图像以及诸如此类的)，以及甚至生理状态。此外，状态信息获取单元304可以包括外部相机312，各种类型的状态传感器，例如由机械开关和诸如此类的组成的安装传感器、拍摄用户面部的内部相机、陀螺仪传感器，加速度传感器，速度传感器、压力传感器、用于检测体温或温度的温度传感器、汗液传感器、脉搏传感器、肌电位传感器、眼睛电位传感器、脑波传感器、呼吸传感器、气体离子浓度传感器和诸如此类的，以及计时器(都未示出)以从用户获得这个状态信息。
环境信息获取单元316是获取关于头戴显示器100主体或穿戴头戴显示器100的用户周围的环境的信息的功能模块。作为本文提及的环境信息，可以列举的例子有声音、风量、温度、气压、空气中漂浮的氛围(烟、雾、头戴显示器100或用户暴露到的电磁波(紫外线、蓝光、无线电波)、热射线(红外射线)、辐射、大气中的一氧化碳或二氧化碳、氧气、氮化合物(尼古丁)、漂浮在空气中的氮氧化物(NOx)或空气中的碳氢化合物(挥发性有机化合物(VOC)、或由紫外线、微粒物、花粉、诸如屋子灰尘和诸如此类的、诸如石棉和诸如此类的危险化学物质以及诸如此类的物质的影响导致的这些物质之间的光化学反应生成的光化学烟雾))以及其他环境因素。环境信息获取单元316可以装备包括声音传感器和风量传感器的各种类型的环境传感器以检测环境信息。上文描述的麦克风103L和103R，或者外部相机312可以包括在环境传感器内。可选地，环境信息获取单元316可以通过通信单元305(将在下文描述)从包括这些传感器中的一些或全部的外部设备(例如，智能手机、腕表或用户穿戴的多功能终端)获取环境信息。
外部相机312可以设置在，例如，头戴显示器100主体前表面的大致中心位置(参考图2)以拍摄周围图像。用户通过输入操作单元302的操作和内部相机识别到的眼睛尺寸、肌电位传感器、或诸如此类的或声音输入可以调节外部相机312的焦距。另外，根据由状态信息获取单元304获取的用户的视线方向，通过在外部相机312的水平、倾斜和滚动方向上执行姿势控制，拍摄用户自己眼睛中的图像是可能的，即，使用外部相机312的用户视线方向上的图像。向显示单元309输出由外部相机312拍摄的图像以显示，以及从通信单元305传送拍摄的图像或在存储单元306中存储拍摄的图像是可能的。
更优选地配置多个相机中的外部相机312以便外部相机312通过使用视差信息可以获取周围图像的三维信息。另外，通过仅使用一个相机，当相机移动时通过即时定位与地图构建(SLAM)图像识别执行拍摄、通过使用连续获得的多帧图像计算视差信息(例如，参照PTL 6)，以及从所计算的视差信息获取周围图像的三维信息是可能的。
外部相机312可以获取三维信息，并且也可以用作距离传感器。可选地，由可以探测来自物体的反射信号的诸如位置灵敏探测器(PSD)和诸如此类探测器的廉价设备组成的距离传感器可以与外部照相机312一起使用。外部相机312和距离传感器可以用于检测穿戴头戴显示器100的用户的身体位置、姿势和形状。
通信单元305执行与外部装置的通信处理、调制和解调处理以及通信信号的编码和解码处理。作为外部装置，当用户使用头戴显示器100时提供观看内容的内容再现设备(蓝光光碟或DVD播放器)，或流媒体服务器是示例性的。另外，控制单元301从通信单元305向外部装置发送传输数据。
通信单元305的配置是任选的。根据到达/从作为通信合作者的外部设备的传送和接收操作中所使用的通信方式配置通信单元305是可能的。通信方式可以是或者有线或者无线形式。作为本文涉及的通信标准，移动高清链接(MHL)或通用串行总线(USB)、高清多媒体接口(HDMI：注册商标)、无线保真(Wi-Fi：注册商标)、蓝牙(注册商标)通信或低功耗蓝牙(注册商标)通信、诸如ANT的超低功耗无线通信和诸如此类的，以及IEEE802.11s标准的网状网络和诸如此类的是示例性的。可选地，通信单元305可以是根据诸如宽带码分多址(W-CDMA)、长期演进(LTE)和诸如此类标准操作的蜂窝无线收发器。
存储单元306是配置为具有固态驱动器(SSD)和诸如此类的大容量存储设备。存储单元306存储由控制单元301执行的应用程序或各种类型的数据。例如，用户使用头戴显示器100观看的内容存储在存储单元306中。
图像处理单元307进一步执行信号处理，比如与从控制单元301或诸如此类的输出的图像信号相关的图像质量校正，以及将其分辨率转换为根据显示单元309的屏幕的分辨率。然后，显示驱动单元308依次选择显示单元309的每行像素，并逐行依次扫描显示单元309的每行像素，因而提供基于经信号处理的图像信号的像素信号。
显示单元309具有显示面板104L和104R(上文描述的)，其配置为具有例如电致发光(EL)元件、液晶显示器或诸如此类的微型显示器，或者诸如视网膜直接显示或诸如此类的激光扫描式显示器。虚拟图像光学单元310以放大方式拍摄显示单元309所显示的图像，并允许用户按放大的虚拟图像观察所显示的图像。作为输出到显示单元309上的显示图像，从内容再现设备(蓝光光碟或DVD播放器)或流媒体服务器提供的称为商业内容的虚拟世界的图像，或者使用外部相机312拍摄的现实世界的图像是示例性的。
另外，作为头戴显示器100的光学配置元件，可以包括外部显示单元311。外部显示单元311显示对于未穿戴头戴显示器100的外部者可供观察的外部图像。外部图像可以是与显示单元309上显示的图像(即，内部图像)相同，或者也可以是不同图像。图像处理单元307甚至执行诸如外部图像的图像质量校正和诸如此类的信号校正。另外，显示驱动单元308依次选择外部显示单元311的每行像素，并逐行依次扫描外部显示单元311的每行像素，因而提供基于经信号处理的图像信号的像素信号。
声音处理单元313进一步执行从控制单元301输出的声音信号的声音质量校正或声音放大，以及输入声音信号的信号处理和诸如此类的。然后，声音输入/输出单元314在声音处理后向外部输出声音以及输入来自麦克风103L和103R(上文描述的)的声音。
图1和图2所示的头戴显示器100具有遮光特性，即，头戴显示器覆盖穿戴头戴显示器的用户的眼睛。然后，诸如电影的移动图像内容和诸如此类的，或者以计算机图形表达的图像或诸如此类的，显示在显示单元309上。虚拟图像光学单元310以放大方式拍摄显示单元309上的显示图像，并允许用户按合适的视角下的放大的虚拟图像观察所显示的图像，因而再现诸如在例如电影院中观看的现实感。用户可以沉浸式体验显示在显示单元309上的虚拟世界。
在当穿戴头戴显示器100的用户观看再现内容的图像并聆听再现内容的声音时的状态中，来自外部世界的信息被阻断。在用户可沉浸在再现内容中的意义上，这是一种优选状态。享受内容的用户不希望受到来自现实世界的干扰。然而，应考虑到用户不再能与现实世界交流。当即使用户的身体处于现实世界时，诸如视觉、听觉或诸如此类的感觉是在虚拟世界中时，与现实世界的交流也变得非常困难。当在现实世界中某人靠近时，用户想要知道这种情况，但是在头上戴着头戴显示器100时，用户很难对这种情况作出应对。此外，由于用户的视觉或听觉集中在虚拟世界，所以当沉浸在虚拟世界中时可能用户很难感知并避免与现实世界中的物体接触或碰撞，因而用户可能会受到身体伤害。
当然，即使假设是渗透式头戴显示器而不是图1和图2中所示的遮光型头戴显示器，由于用户在一定程度上浸入虚拟世界中，所以用户会遇到相同的问题，即，当沉浸在虚拟世界时很难与现实世界交流，并可能受到身体伤害。
因此，本说明书公开的本技术所应用到的头戴显示器100，当在显示单元309上显示虚拟世界的图像时，监测发生在现实世界中的事件，并根据所发生事件的重要性控制观看头戴显示器100中再现的内容的用户和现实世界之间的交流。因此，用户可以沉浸在虚拟世界中而不受来自现实世界的干扰，并当必要时执行与现实世界的交流，因而妥善处理现实世界中发生的重要事件或避免由于现实世界中的物体碰撞引起的身体伤害以及诸如此类的。
实施例1
图4示意性示出使穿戴头戴显示器100并观看内容的，即沉浸在虚拟世界中的用户能够妥善处理现实世界的功能配置。所示的头戴显示器100包括事件识别单元401、重要性确定单元402以及对应性处理单元403。这些功能模块401至403通过使用例如控制单元301执行的应用程序实现。
事件识别单元401从由状态信息获取单元304、环境信息获取单元316、外部相机312、声音输入/输出单元314以及类似的组成的传感器接收信号，并实时识别现实世界中发生的事件。例如，事件识别单元401对由外部相机312拍摄的图像执行图像识别或面部识别，并辨别靠近用户的人、动物、移动物体或类似的。可选地，事件识别单元401对从声音输入/输出单元314输入的声音执行声音识别，并辨别该声音是谁的声音。另外，不仅基于物体还基于从环境信息获取单元316输入的环境信息(例如，异常高温、烟雾和诸如此类的感觉)，事件识别单元401可以识别事件，例如像火灾、地震、海啸或诸如此类的灾难、交通事故和诸如此类。
重要性确定单元402确定由事件识别单元401识别的事件的重要性。例如，当从外部相机312拍摄的图像中辨别出人、宠物、移动物体和诸如此类的时，事件识别单元401确定所辨别出的人、动物和物体的重要性。当识别出人时，重要性确定单元402基于工作中上司、下属和诸如此类的关系或人际关系确定重要性。此外，当识别出动物时，重要性确定单元402基于自己和自己的宠物、家畜或诸如此类的之间的关系，或者基于宠物或家畜的天性是否凶猛、危险或诸如此类的来确定重要性。另外，当识别出物体时，重要性确定单元402基于物体是否是汽车或诸如汽车或诸如此类的移动物体，用户是否在该物体的前进方向上，以及诸如桌子、椅子或诸如此类的静止物体是否放置在用户的前进方向上确定重要性。此外，当识别出诸如例如火灾或诸如此类的灾难、交通事故或诸如此类的事件时，重要性确定单元402基于用户的前进方向上是否存在事件发生地点来确定重要性。
重要性确定单元402可以参考数据库410确定识别事件的重要性，数据库410基于诸如关系和诸如此类的人际关系预先定义每种事件的重要性。数据库410可以布置在头戴显示器100中，并且可以是通过互联网使用云技术提供的服务。可选地，用户可以预先定义每个人的重要性(例如，父母或者小孩的高重要性，兄弟姐妹的中等重要性，其他人的低重要性、上司的高重要性和下属的中等重要性)。
对应性处理单元403执行与重要性确定单元402确定的重要性一致的处理，并执行观看再现内容的用户和现实世界之间的交流。对应性处理单元403根据重要性水平控制内容的再现，因而适当限制内容的观看并使用户能够使用视觉或听觉察觉现实世界中发生的事件。此外，当识别事件的重要性低时，对应性处理单元403不限制内容的观看，因而用户可以沉浸在虚拟世界中而不会受到现实世界的干扰。
对应性处理单元403执行下述处理。
(1)停止再现内容
(2)限制内容显示
(3)限制内容声音
(4)忽略事件
当对应性处理单元403完全停止再现内容时，用户的视觉和听觉从虚拟世界释放到现实世界，用户可以完全并快速地与现实世界交流。当停止内容再现时，对应性处理单元403在显示单元309上显示由外部相机312拍摄的图像，使用户能够间接观看(即，以视频透视方式显示)现实世界的景象。此外，对应性处理单元403，使用外部相机312通过根据由状态信息获取单元304获取的用户视线方向在外部相机312的水平、倾斜、滚动方向执行姿势控制，拍摄用户自己眼睛中的图像，即，用户视线方向内的图像。优选地，当所识别事件的重要性是最高级时，对应性处理单元403完全停止再现内容。
此外，对应性处理单元403通过仅限制再现内容的显示从虚拟世界向现实世界释放用户视觉的一些或全部。例如，显示单元309上的显示图像从内容的再现图像切换到外部相机312拍摄的图像，因而用户的视觉完全从虚拟世界释放到现实世界。可选地，对应性处理单元403不是将内容的再现图像完全切换到外部相机312拍摄的图像，而是将拍摄图像显示为子屏幕，将内容再现图像显示为显示拍摄图像的屏幕的子屏幕，以及显示内容再现图像和外部相机312拍摄的图像的混合，因而从虚拟世界中部分释放用户的视觉以使用户能够与现实世界交流。
图8示出现实世界(街角)的视频透视图像801作为子屏幕显示在显示虚拟世界的图像802的主屏幕上的状态。对应性处理单元403可以对应事件的重要性调节子屏幕801的大小。
另外，图9示出虚拟世界的图像902作为子屏幕显示在显示现实世界(街角)的视频透视图像901的主屏幕上的状态。对应性处理单元403可以对应事件的重要性调节子屏幕902的大小。
图10示出通过将屏幕划分为左右两部分将现实世界(街角)的视频透视图像1001显示在屏幕的右半部分，虚拟世界的图像1002显示在屏幕的左半部分的状态。对应性处理单元403可以对应事件的重要性致使视频透视图像1001和虚拟世界的图像1002之间的边界向左或右移动。
进一步地，图11示出现实世界(街角)的图像1101以视频透视的方式显示在双眼型头戴显示器100的左眼上，虚拟世界的图像1102显示在双眼型头戴显示器100的右眼上。对应性处理单元403可以对应事件的重要性以预定帧间隔在右眼的显示图像中插入现实世界(街角)的图像1101，或调节现实世界(街角)的图像1101插入的帧间隔。
优选地，对应性处理单元403对应识别出的事件的重要性放大拍摄图像的子屏幕，减小内容再现图像的子屏幕，增加拍摄图像的混合比率以及诸如此类的，因而控制用户视觉释放到现实世界中的程度。可选地，对应性处理单元403可以通过允许代表识别事件的化身或图标以及诸如此类的出现在虚拟世界的图像上而不是显示现实世界的拍摄图像，将事件通知给用户。
可选地，对应性处理单元403仅限制再现内容的声音并将用户的听觉部分或全部从虚拟世界释放到现实世界中。例如，来自声音输入/输出单元314的再现内容的声音输出被停止，并且被切换到来自麦克风103L和103R的输入声音，因而用户的听觉完全从虚拟世界释放到现实世界中。可选地，对应性处理单元403不是完全停止再现内容的声音，或不是将再现内容的声音切换到现实世界的声音，而是降低再现内容输出声音的音量并增加从麦克风103L和103R输入声音的音量和诸如此类，因而用户的听觉从虚拟世界部分释放并使用户能够与现实世界交流。另外，优选地对应性处理单元403对应识别事件的重要性控制用户听觉释放到现实世界中的程度。可选地，对应性处理单元403可以输出声音消息以通知用户识别事件而不是输出现实世界的声音。
再现内容的图像或声音是否被对应性处理单元403限制可以由发生事件的类型切换，并可以由用户选择。
另外，当所识别事件的重要性为最低级时，对应性处理单元403继续再现内容而不是将用户的视觉和听觉释放到现实世界中。因此，用户可以沉浸在再现内容中并享受再现内容，而不会为了无关紧要的事情受到来自现实世界的干扰。
图5以流程图形式示出头戴显示器100用于通知观看内容的用户发生在现实世界的事件的进程。
当头戴显示器100中开始内容再现时(步骤S501)，事件识别单元401从由状态信息获取单元304、环境信息获取单元316、外部相机312、声音输入/输出单元314以及诸如此类的组成的传感器接收信号，并继续监测现实世界(步骤S502)。
当识别出诸如谁在靠近或诸如此类的现实世界中发生的事件时(在步骤S503中为是)，事件识别单元401将识别结果输出到重要性确定单元402。
重要性确定单元402确定识别事件的重要性(步骤S504)。当确定事件重要性时重要性确定单元402可以利用数据库410。然后，对应性处理单元403执行与所确定的重要性对应的处理。
这里，当事件的重要性被确定为高时，对应性处理单元403执行与高重要性对应的处理(步骤S505)。例如，对应性处理单元403完全停止正在再现的内容，并将用户的视觉和听觉二者从虚拟世界释放到现实世界中。因此，用户可以完全地并快速地与现实世界交流。
作为与高重要性对应的处理，对应性处理单元403通过在显示单元309上显示由外部相机312拍摄的图像，使用户能够间接观看现实世界的景象(即，以视频透视方式显示景象)。另外，对应性处理单元403，使用外部相机312通过根据由状态信息获取单元304获取的用户视线方向在外部相机312的水平、倾斜、滚动方向执行姿势控制，拍摄用户自己眼睛中的图像，即，用户视线方向内的图像。
此外，当事件的重要性被确定为中等时，对应性处理单元403执行与中等重要性对应的处理(步骤S506)。
作为与中等重要性对应的处理，对应性处理单元403仅限制再现内容的显示并将用户的视觉部分或全部从虚拟世界释放到现实世界中。例如，显示单元312上的显示图像从内容的再现图像切换到外部相机312拍摄的图像，因而用户的视觉完全从虚拟世界释放到现实世界。另外，对应性处理单元403不是将内容的再现图像完全切换到外部相机312拍摄的图像，而是将拍摄图像显示为子屏幕，将内容再现图像显示为其上显示拍摄图像的屏幕的子屏幕，以及显示内容再现图像和外部相机312拍摄的图像的混合，因而从虚拟世界中部分释放用户的视觉以使用户能够与现实世界交流。另外，对应性处理单元403可以用逐步方式执行与中等重要性对应的处理。即，重要性确定单元402以精细水平确定中等重要性，并且对应性处理单元403放大拍摄图像的子屏幕，减小内容再现图像的子屏幕，增加拍摄图像的混合比率以及诸如此类的，因而对应所述水平控制用户视觉释放到现实世界中的程度。此外，对应性处理单元403可以通过允许表示识别事件的化身或图标以及诸如此类的出现在虚拟世界的图像上而不是显示现实世界的拍摄图像，将事件通知给用户。
可选地，作为与中等重要性对应的处理，对应性处理单元403仅限制再现内容的声音并将用户的听觉部分或全部从虚拟世界释放到现实世界中。例如，来自声音输入/输出单元314的再现内容的声音输出被停止，并且被切换到来自麦克风103L和103R的输入声音，因而用户的听觉完全从虚拟世界释放到现实世界中。另外，对应性处理单元403可以用逐步方式执行与中等重要性对应的处理。即，重要性确定单元402精细水平确定中等重要性，并且对应性处理单元403对应重要性水平降低再现内容的输出声音的音量，并增加来自麦克风103L和103R的输入声音的音量，因而用户的听觉从虚拟世界部分释放并使用户能够与现实世界交流。另外，对应性处理单元403可以输出声音消息以通知用户识别事件而不是输出现实世界的声音。
另外，当事件的重要性被确定为低时，对应性处理单元403执行与低重要性对应的处理(步骤S507)。例如，相应处理单元403继续再现内容而不将用户的视觉和听觉释放到现实世界中。因此，用户可以沉浸在再现内容并享受再现内容，而不会为了无关紧要的事情受到来自现实世界的干扰。此外，当重要性被确定为低的事件是人时，外面的人被穿戴头戴显示器100的用户没发现他或她，或者对他或她没有反应的未知原因困惑。因此，作为低重要性对应的处理，对应性处理单元403在外部显示单元311上显示诸如“现在很难回应你”或诸如此类的消息，或者从声音输入/输出单元312作为声音消息输出所述消息，因而用户可以帮助外面的未穿戴头戴显示器100的人理解用户未回应的原因。
在对应高重要性的处理中(步骤S505)或对应中的重要性的处理中(步骤S506)，对应性处理单元403限制再现内容的输出，并且对应已经过去预定的时间段后恢复正常的内容再现，内容再现的恢复指令是由用户通过输入操作单元302和诸如此类的发出，以及因为事件识别单元401未察觉到事件(或事件已完成)而发出。
然后，直到内容再现完成(再现到内容的最后部分完成，包括用户停止再现)(步骤S508中的否)，对应性处理单元403返回步骤S502并重复执行上述处理。
根据本实施例，头戴显示器100对应现实世界中发生的事件控制内容再现，以便用户可以自然地在虚拟世界和现实世界之间交流。
另外，用户在重要性确定单元402中对应用户自己的喜好妥善设置确定时间重要性用的参考，因而尽可能减少头戴显示器100中对内容再现的抑制。
此外，在对应每种重要性的处理中，用户对应用户自己的喜好妥善设置与现实世界交流的方法，因而舒适地使用头戴显示器100是可能的。例如，作为与中等重要性对应的处理，用户可以设置是否通过限制再现内容的显示或声音输出而与现实世界交流。另外，用户可以选择是否通过显示化身或图标来通知事件或者通过声音消息来通知事件。
实施例2
在上述的第一实施例中，仅基于由事件识别单元401识别的事件自身的重要性执行相应处理。相反，在第二实施例中，更多考虑用户的状态，确定时间的重要性。
作为用户的状态，可以列举的一个例子是用户在再现内容中的沉浸度。当用户在观看内容时沉浸在内容中时，用户不希望受到来自现实世界的干扰。即使同一个人靠近用户，用户既不想交流也不想受到现实世界的干扰，而是可能想要继续观看内容。相反，当用户在观看内容时并未沉浸在内容中时，或者用户厌烦内容时，受到来自现实世界的干扰不会不舒适，而可能使心情改变。即使用户不想要沉浸在内容中，当沉浸度低时，优选地限制内容的再现并使人在某些情形中能够与现实世界交流。
图6示意性示出第二实施例中使穿戴头戴显示器100的用户妥善处理现实世界的功能配置。所示的头戴显示器100包括事件识别单元601、沉浸检测单元602、重要性确定单元603和对应性处理单元604。功能模块601至604通过由例如控制单元301执行的应用程序实现。
事件识别单元601从由状态信息获取单元304、环境信息获取单元316、外部相机312、声音输入/输出单元314以及诸如此类的组成的传感器接收信号，并实时识别现实世界中发生的事件。例如，事件识别单元401对由外部相机312拍摄的图像执行图像识别或面部识别，并辨别靠近用户的人、动物、移动物体或诸如此类的。可选地，事件识别单元601对从声音输入/输出单元314输入的声音执行声音识别，并辨别该声音是谁的声音。另外，不仅基于物体还基于从环境信息获取单元316输入的环境信息和诸如此类的信息，事件识别单元401可以识别事件，例如像火灾、地震、海啸或诸如此类的灾难、交通事故和诸如此类的事件。
沉浸确定单元602从状态信息获取单元304接收示出用户状态的信息，例如体温、出汗、脉搏、肌电位、眼电位、脑波和诸如此类的，并确定用户沉浸在再现内容(即，虚拟世界中)的程度。
重要性确定单元603考虑用户的当前沉浸度，确定由事件识别单元601识别的事件的重要性。重要性确定单元603当用户的沉浸度高时抑制事件的重要性，当用户的沉浸度低时增强事件的重要性。
例如，当用户的沉浸度高时，通过考虑不受到来自现实世界干扰的期望，只要同一个人不再出现，或者只要事件不是用户不得不紧急避免的火灾或事故，即使对于相同的事件，所确定的事件的重要性也会低于由重要性确定单元402确定的重要性(实施例1的情形)。反之，当用户的沉浸度低时，即使相同的事件，事件重要性也会被确定成高于由重要性确定单元402确定的重要性(实施例1的情形)。当用户厌烦观看内容时，受到来自现实世界的干扰不会不舒适，而相反可能使心情改变。即使用户不想要沉浸在内容中，当沉浸度低时，优选地限制内容的再现并使用户在某些情形中能够与现实世界交流。重要性确定单元603可以参考数据库610确定识别事件的重要性，数据库610基于诸如关系的人际关系预先定义每种事件的重要性。
对应性处理单元604执行与重要性确定单元603确定的事件重要性对应的处理，并执行观看再现内容的用户和现实世界之间的交流。对应性处理单元604通过适当限制内容的观看，通过对应重要性高度控制内容再现，使用户通过视觉和听觉能够察觉现实世界中发生的事件。另外，当识别事件的重要性低时，对应性处理单元604不在内容观看上进行限制，因而使用户能够沉浸在虚拟世界中而不受到来自现实世界的干扰。对应性处理单元604执行如下示例性处理(与以上描述相同)
(1)停止再现内容
(2)在内容显示上限制
(3)在内容声音上限制
(4)忽略事件
图7以流程图形式示出头戴显示器100将发生在现实世界的事件通知给观看内容的用户的进程。
当头戴显示器100开始再现内容时(步骤S701)，事件识别单元601从由状态信息获取单元304、环境信息获取单元316、外部相机312、声音输入/输出单元314以及诸如此类的组成的传感器接收信号，并继续监测现实世界(步骤S702)。另外，沉浸确定单元602从状态信息获取单元304接收示出用户状态的信息，例如体温、出汗、脉搏、肌电位、眼电位、脑波和诸如此类的，并继续监测用户在再现内容，即虚拟世界和诸如此类中的沉浸度(步骤S703)。
当事件识别单元601识别到诸如谁在靠近和诸如此类的现实世界中发生的事件时(在步骤S704中为是)，重要性确定单元603考虑用户的当前沉浸度，确定由事件识别单元601识别的事件的重要性(步骤S705)。当确定事件重要性时重要性确定单元603可以利用数据库610。然后，对应性处理单元604执行与所确定的重要性对应的处理。
这里，当事件的重要性被确定为高时，对应性处理单元604执行与高重要性对应的处理(步骤S706)。例如，对应性处理单元604通过完全停止再现内容将用户视觉和听觉都从虚拟世界释放到现实世界中。如此，用户可以完全地并快速地与现实世界交流。
作为与高重要性对应的处理，对应性处理单元604通过在显示单元309上显示外部相机312拍摄的图像(即，以视频透视方式显示景象)，使用户能够间接观看现实世界的景象。另外，对应性处理单元604，使用外部相机312通过根据由状态信息获取单元304获取的用户视线方向在外部相机312的水平、倾斜、滚动方向执行姿势控制，拍摄用户自己眼睛中的图像，即，用户视线方向内的图像。
另外，当事件的重要性被确定为中等时，对应性处理单元604执行与中等重要性对应的处理(步骤S707)。
作为与中等重要性对应的处理，对应性处理单元604仅限制再现内容的显示并将用户的视觉部分或全部从虚拟世界释放到现实世界中。例如，显示单元309上的显示图像从内容的再现图像切换到外部相机312拍摄的图像，因而用户的视觉完全从虚拟世界释放到现实世界。另外，对应性处理单元604不是将内容的再现图像完全切换到外部相机312拍摄的图像，而是将拍摄图像作为子屏幕显示，将内容再现图像作为其上显示拍摄图像的屏幕的子屏幕显示，以及显示内容再现图像和外部相机312拍摄的图像的混合，因而从虚拟世界中部分释放用户的视觉以使用户能够与现实世界交流。另外，对应性处理单元604可以用逐步方式执行与中等重要性对应的处理。即，重要性确定单元603以精细水平确定中等重要性，并且对应性处理单元604放大拍摄图像的子屏幕，减小内容再现图像的子屏幕，增加拍摄图像的混合比率以及诸如此类的，因而对应所述水平控制用户视觉释放到现实世界中的程度。此外，对应性处理单元604可以通过允许代表识别事件的化身或图标以及诸如此类的出现在虚拟世界的图像上而不是显示现实世界的拍摄图像，将事件通知给用户。
可选地，作为与中等重要性对应的处理，对应性处理单元604仅限制再现内容的声音并将用户的听觉部分或全部从虚拟世界释放到现实世界中。例如，来自声音输入/输出单元314的再现内容的声音输出被停止，并且被切换到来自麦克风103L和103R的输入声音，因而用户的听觉完全从虚拟世界释放到现实世界中。另外，对应性处理单元604可以用逐步方式执行与中等重要性对应的处理。即，重要性确定单元603精细水平确定中等重要性，并且对应性处理单元604对应重要性水平降低再现内容的输出声音的音量，并增加来自麦克风103L和103R的输入声音的音量，因而用户的听觉从虚拟世界部分释放并使用户能够与现实世界交流。另外，对应性处理单元604可以输出声音消息以通知用户识别事件而不是输出现实世界的声音。
另外，当事件的重要性被确定为低时，对应性处理单元604执行与低重要性对应的处理(步骤S708)。例如，对应性处理单元604继续再现内容而不将用户的视觉和听觉释放到现实世界中。因此，用户可以沉浸在再现内容并享受内容，而不会为了无关紧要的事情受到来自现实世界的干扰。此外，作低重要性对应的处理，对应性处理单元604可以在外部显示单元311上显示诸如“现在很难回应你”或诸如此类的消息，或者从声音输入/输出单元314输出消息作为声音消息。外面的未穿戴头戴显示器100的人通过图像或声音消息可以理解用户未回应的原因。
在对应高重要性的处理中(步骤S706)或对应中等重要性的处理中(步骤S707)，对应性处理单元604限制再现内容的输出，并且然后对应已经过去预定的时间段恢复正常的内容再现，内容再现的恢复指令是由用户通过输入操作单元302和诸如此类的发出，以及因为事件识别单元401未察觉到事件(或事件已完成)而发出。
然后，直到内容再现完成(再现达到内容的最后部分完成，包括用户停止再现)(步骤S709中的否)，对应性处理单元604返回步骤S702并重复执行上述处理。
根据本实施例，头戴显示器100对应现实世界中发生的事件控制内容再现，以便用户可以自然地在虚拟世界和现实世界之间交流。
另外，重要性确定单元603对应用户沉浸度的变化确定事件的重要性，以便用户可以自然自适应地在虚拟世界和现实世界之间交流。
本说明书公开的本技术可以具有如下配置：
(1)一种装置，包括：
配置为基于头戴显示设备周围发生的事件的重要性的确定而控制在所述头戴显示设备上对内容的再现的电路。
(2)根据(1)所述的装置，
其中，所述事件重要性的确定是通过外部设备。
(3)根据(1)或者(2)所述的装置，
其中，所述事件重要性的确定是通过在头戴显示设备上执行应用。
(4)根据(1)至(3)中任意一项所述的装置，
其中所述装置是头戴显示设备的一部分。
(5)根据(1)至(4)中任意一项所述的装置，
其中，当所述事件的重要性被确定为具有第一预定水平时，所述电路停止所述内容的再现并开始再现来自现实世界的图像。
(6)根据(1)至(5)中任意一项所述的装置，
其中，当所述事件的重要性被确定为具有低于所述第一预定水平的第二预定水平时，所述电路仅部分停止所述内容的再现并开始向头戴显示设备用户的视觉或听觉中的至少一个的至少一部分再现来自现实世界的图像。
(7)根据(1)至(6)中任意一项所述的装置，
其中，当所述事件的重要性被确定为具有所述第二预定水平时，对应于现实世界的具有第一尺寸的图像与对应于所述内容的具有不同于所述第一尺寸的第二尺寸的图像同时显示。
(8)根据(1)至(7)中任意一项所述的装置，
其中，当所述事件的重要性被确定为具有所述第二预定水平时，对应于现实世界的图像与对应于所述内容的图像同时且分开显示。
(9)根据(1)至(8)中任意一项所述的装置，
其中，当所述事件的重要性被确定为具有低于所述第二预定水平的第三预定水平时，所述电路继续所述内容的再现而不再现来自现实世界的图像。
(10)根据(1)至(9)中任意一项所述的装置，
其中，当所述事件的重要性被确定为具有所述第一或第二预定水平时，所述电路在经过预定时间段之后恢复所述内容的再现。
(11)根据(1)至(10)中任意一项所述的装置，
其中，基于所述事件与所述头戴显示设备用户的关系确定所述事件的重要性。
(12)根据(1)至(11)中任意一项所述的装置，
其中，所述事件重要性是通过识别所述事件确定。
(13)根据(1)至(12)中任意一项所述的装置，
其中，所述内容包括图像或声音中的至少一个。
(14)根据(1)至(13)中任意一项所述的装置，
其中，所述事件重要性的确定考虑所述头戴显示设备用户的沉浸度。
(15)一种装置，包括：
配置为基于头戴显示设备周围发生的事件的重要性控制通过所述头戴显示设备对内容的再现的电路。
(16)一种方法，包括：
通过硬件装置，基于对头戴显示设备周围发生的事件的重要性的确定，控制在所述头戴显示设备上对内容的再现。
(17)一种装置，包括:
配置为基于头戴显示设备周围发生的事件的重要性，控制在所述头戴显示设备周围捕捉的图像和内容的再现的电路。
(18)根据(17)所述的装置，
其中，所述电路配置为当所述头戴显示设备在移动方向上时，开始在所述头戴显示设备周围捕捉的图像的再现，并停止所述内容的再现。
(A01)一种图像显示设备，包括：
显示图像的图像显示单元；
识别现实世界中发生的事件的事件识别单元；
确定事件重要性的重要性确定单元；以及
执行与事件重要性对应的处理的对应性处理单元。
(A02)根据(A01)所述的图像显示设备，进一步包括：检测所述现实世界中的事件的传感器单元，
其中所述事件识别单元基于所述传感器单元的检测结果识别事件。
(A03)根据(A01)所述的图像显示设备，进一步包括：拍摄所述现实世界的拍摄单元，
其中所述事件识别单元基于所述拍摄单元的拍摄图像识别事件。
(A04)根据(A03)所述的图像显示设备，其中所述事件识别单元对所述拍摄图像执行面部识别以识别正在靠近的人作为事件。
(A05)根据(A01)所述的图像显示设备，进一步包括：所述现实世界的声音输入至的声音输入单元，
其中所述事件识别单元基于从所述声音输入单元接收的声音识别事件。
(A06)根据(A05)所述的图像显示设备，其中所述事件识别单元通过识别输入声音识别周围环境中的人作为事件。
(A07)根据(A01)所述的图像显示设备，进一步包括：获取周围环境信息的环境信息获取单元，
其中所述事件识别单元基于周围环境的信息识别事件。
(A08)根据(A01)和(A07)中任意一项所述的图像显示设备，其中所述重要性确定单元基于在头部或面部上穿戴所述图像显示设备的用户和所识别事件之间的关系确定事件重要性。
(A09)根据(A04)至(A06)中所述任意一项的图像显示设备，其中所述重要性确定单元基于在头部或面部上穿戴所述图像显示设备的用户和所识别事件之间的人际关系确定事件重要性。
(A10)根据(A01)至(A03)、(A05)和(A07)中任意一项所述的图像显示设备，其中所述重要性确定单元基于所识别事件的属性确定重要性。
(A11)根据(A01)至(A03)、(A05)和(A07)中任意一项所述的图像显示设备，其中所述重要性确定单元参考预定数据库确定所识别事件的重要性。
(A12)根据(A01)至(A03)、(A05)和(A07)中任意一项所述的图像显示设备，其中所述重要性确定单元基于由在头部或面部上穿戴所述图像显示设备的用户决定的参考确定所识别事件的重要性。
(A13)根据(A01)至(A03)、(A05)和(A07)中任意一项所述的图像显示设备，其中所示重要性确定单元在移动物体被识别为事件时基于物体的移动确定所识别事件的重要性。
(A14)根据(A01)至(A13)中任意一项所述的图像显示设备，其中所述对应性处理单元基于所述事件的重要性控制所述图像显示单元的再现内容的图像显示。
(A14-1)根据(A01)所述的图像显示设备，进一步包括显示外部图像以被没穿戴所述图像显示设备的外部者观察的外部显示单元，
其中，所述对应性处理单元基于事件的重要性控制所述外部显示单元上显示的外部图像。
(A15)根据(A14)所述的图像显示设备，进一步包括：拍摄现实世界的拍摄单元，其中所述对应性处理单元根据事件重要性控制再现内容的图像和所述拍摄单元的拍摄图像在所述图像显示单元上的显示。
(A16)根据(A15)所述的图像显示设备，其中所述对应性处理单元基于事件的重要性，停止所述再现内容图像的显示以切换到所述拍摄图像的显示，以预定比率混合所述再现内容的图像和所述拍摄图像，或者继续显示所述再现内容的图像。
(A17)根据(A01)所述的图像显示设备，进一步包括：输出所述再现内容的声音的声音输出单元，
其中，所述对应性处理单元基于事件的重要性控制从所述声音输出单元输出的声音。
(A17-1)根据(A17)所述的图像显示设备，其中所述对应性处理单元基于事件的重要性停止所述再现内容的声音输出或者调节所述再现内容的声音音量。
(A17-2)根据(A17)所述的图像显示设备，进一步包括：所述现实世界的声音被输入至的声音输入单元，
其中所述对应性处理单元控制再现内容的声音与输入至所述声音输入单元的声音和从所述声音输出单元输出的声音的比率。
(A18)根据(A01)至(A13)中任意一项所述的图像显示设备，进一步包括确定在头部或面部上穿戴所述图像显示设备的用户在所述图像显示单元显示的再现内容中的沉浸度的沉浸确定单元，
其中，所述重要性确定单元考虑所述沉浸度确定事件的重要性。
(A18-1)根据(A18)所述的图像显示设备，其中所述沉浸确定单元基于示出所述用户状态的信息，例如在头部或面部上穿戴所述图像显示设备的用户的体温、出汗、脉搏、肌电位、眼睛电位、脑波和诸如此类的，确定用户的沉浸度。
(A19)根据(A18)所述的图像显示设备，其中所述重要性确定单元在所述沉浸高时抑制所述事件的重要性，在所述沉浸低时增强所述事件的重要性。
(A20)一种图像显示方法，包括：
识别现实世界中发生的事件；
确定事件的重要性；以及
对应重要性控制穿戴在头部或面部上的图像显示单元上的图像显示。
本领域技术人员应该理解，依据设计要求和其它因素可以出现各种变型、组合、子组合和更改，只要它们在所附权利要求或其等同物的范围内。
工业实用性
如以上描述，参考具体实施例详细描述了本说明书公开的本技术。然而，对于本领域技术人员明显的是可以对所述实施例进行变型和替换，而并不脱离本文公开的本技术的范围。
在本说明书中，主要描述了本说明书公开的本技术应用于遮光型头戴显示器的实施例；然而，本说明书公开的本技术的范围不限于此。以相同的方式可以将本说明书公开的本技术应用于包括显示现实世界的图像和虚拟世界的图像的功能的各种类型的图像显示设备，例如透光型头戴显示器、抬头显示器、相机嵌入式智能手机、多功能终端和诸如此类的。
总之，由于本说明书公开的本技术使用示例性形式进行描述，所以不对本说明书中公开的内容进行限制性解释是必要的。为了确定本说明书中公开的本技术的范围，需要参考权利要求。
参考符号列表
100 头戴显示器
101L、101R 虚拟图像光学单元
103L、103R 麦克风
104L、104R 显示面板
105 眼睛宽度调节机构
301 控制单元
301A ROM
301B RAM
302 输入操作单元
303 远程控制接收单元
304 状态信息获取单元
305 通信单元
306 存储单元
307 图像处理单元
308 显示驱动单元
309 显示单元
310 虚拟图像光学单元
311 外部显示单元
312 外部相机
313 声音处理单元
314 声音输入/输出单元
315 触控面板
316 环境信息获取单元
401 事件识别单元
402 重要性确定单元
403 对应性处理单元
410 数据库
601 事件识别单元
602 沉浸确定单元
603 重要性确定单元
604 对应性处理单元
610 数据库

Claims (16)

1.一种头戴显示设备，包括：
电路，配置为：
接收发生在所述头戴显示设备的确定邻近处的事件的优先级信息；
基于所述发生在所述头戴显示设备的所述确定邻近处的事件的优先级信息在所述头戴显示设备上再现内容；
基于指示所述事件的第一优先级水平的所述优先级信息终止所述内容的再现；以及
基于所述内容的再现的终止，从现实世界再现图像。
2.根据权利要求1所述的头戴显示设备，其中，通过外部设备确定所述事件的所述优先级信息。
3.根据权利要求1所述的头戴显示设备,其中，所述事件的所述优先级信息是基于在所述头戴显示设备上的应用的执行。
4.根据权利要求1所述的头戴显示设备，其中，基于指示第二优先级水平低于所述第一优先级水平的优先级信息，所述电路还被配置为：
部分地停止所述内容的再现；以及
向所述头戴显示设备的用户的视觉或听觉中的至少一个的至少一部分开始来自现实世界的图像的再现。
5.根据权利要求4所述的头戴显示设备，其中，基于指示所述事件的所述第二优先级水平的所述优先级信息，对应于现实世界的具有第一尺寸的图像与对应于所述内容的具有不同于所述第一尺寸的第二尺寸的图像同时显示。
6.根据权利要求4所述的头戴显示设备，其中，基于指示所述事件的所述第二优先级水平的所述优先级信息，对应于所述现实世界的图像与对应于所述内容的图像同时显示。
7.根据权利要求4所述的头戴显示设备，其中，当所述事件的重要性确定为具有低于所述第二优先级水平的第三优先级水平时，所述电路继续所述内容的再现而不再现来自现实世界的图像。
8.根据权利要求4所述的头戴显示设备，其中，基于指示所述第一优先级水平或者所述第二优先级水平的所述优先级信息，所述电路在经过预定时间段之后恢复所述内容的再现。
9.根据权利要求1所述的头戴显示设备，其中，所述事件的所述优先级信息基于所述事件与所述头戴显示设备的用户的关系确定。
10.根据权利要求1所述的头戴显示设备，其中，所述事件的所述优先级信息通过识别所述事件确定。
11.根据权利要求1所述的头戴显示设备，其中，所述内容包括图像或声音中的至少一个。
12.根据权利要求1所述的头戴显示设备，其中，所述事件的所述优先级信息是基于所述头戴显示设备的用户对所述内容的沉浸度。
13.一种头戴显示设备，包括：
电路，配置为：
接收发生在所述头戴显示设备的确定邻近处的事件的优先级信息；
基于所述发生在所述头戴显示设备的所述确定邻近处的事件的优先级信息通过所述头戴显示设备来再现内容；
基于指示所述事件的第一优先级水平的所述优先级信息终止所述内容的再现；以及
基于所述内容的再现的终止，从现实世界再现图像。
14.一种图像显示方法，包括：
接收发生在头戴显示设备的确定邻近处的事件的优先级信息；
基于所述发生在所述头戴显示设备的所述确定邻近处的事件的优先级信息在所述头戴显示设备上再现内容；
基于指示所述事件的第一优先级水平的所述优先级信息终止所述内容的再现；以及
基于所述内容的再现的终止，从现实世界再现图像。
15.一种头戴显示设备，包括：
电路，配置为：
接收发生在所述头戴显示设备的确定邻近处的事件的优先级信息；
通过所述头戴显示设备基于所述优先级信息再现内容，其中所述内容与所述事件相关联；
基于指示所述事件的第一优先级水平的所述优先级信息终止所述内容的再现；以及
基于所述内容的再现的终止，从所述头戴显示设备的所述确定邻近处现实世界再现图像。
16.根据权利要求15所述的头戴显示设备，其中，所述电路还配置为基于在移动方向上的所述头戴显示设备开始在所述图像的再现和停止所述内容的再现。
CN201480046371.1A 2013-12-19 2014-11-11 头戴显示设备和图像显示方法 Active CN105474302B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013-262926 2013-12-19
JP2013262926A JP6079614B2 (ja) 2013-12-19 2013-12-19 画像表示装置及び画像表示方法
PCT/JP2014/005651 WO2015092968A1 (en) 2013-12-19 2014-11-11 Head-mounted display device and image display method

Publications (2)

Publication Number Publication Date
CN105474302A CN105474302A (zh) 2016-04-06
CN105474302B true CN105474302B (zh) 2020-12-08

Family

ID=51999479

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480046371.1A Active CN105474302B (zh) 2013-12-19 2014-11-11 头戴显示设备和图像显示方法

Country Status (5)

Country Link
US (1) US9964766B2 (zh)
EP (1) EP3030954A1 (zh)
JP (1) JP6079614B2 (zh)
CN (1) CN105474302B (zh)
WO (1) WO2015092968A1 (zh)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105607253B (zh) * 2014-11-17 2020-05-12 精工爱普生株式会社 头部佩戴型显示装置以及控制方法、显示系统
US20170061696A1 (en) * 2015-08-31 2017-03-02 Samsung Electronics Co., Ltd. Virtual reality display apparatus and display method thereof
CN106484085B (zh) * 2015-08-31 2019-07-23 北京三星通信技术研究有限公司 在头戴式显示器中显示真实物体的方法及其头戴式显示器
US10545714B2 (en) * 2015-09-04 2020-01-28 Samsung Electronics Co., Ltd. Dual screen head mounted display
US9298283B1 (en) 2015-09-10 2016-03-29 Connectivity Labs Inc. Sedentary virtual reality method and systems
EP3367213A4 (en) 2015-10-22 2019-04-17 LG Electronics Inc. MOBILE DEVICE AND CONTROL PROCESS THEREFOR
US10717406B2 (en) 2015-10-26 2020-07-21 Active Knowledge Ltd. Autonomous vehicle having an external shock-absorbing energy dissipation padding
WO2017072679A1 (en) 2015-10-26 2017-05-04 Active Knowledge Ltd. Autonomous on-road vehicle with shock-absorbing energy dissipation padding placed at eye level
US10059347B2 (en) 2015-10-26 2018-08-28 Active Knowledge Ltd. Warning a vehicle occupant before an intense movement
US10710608B2 (en) 2015-10-26 2020-07-14 Active Knowledge Ltd. Provide specific warnings to vehicle occupants before intense movements
US11332061B2 (en) 2015-10-26 2022-05-17 Atnomity Ltd. Unmanned carrier for carrying urban manned vehicles
DE102015014450B4 (de) * 2015-11-07 2017-11-23 Audi Ag Virtual-Reality-Brille und Verfahren zum Betreiben einer Virtual-Reality-Brille
WO2017085598A1 (ja) * 2015-11-18 2017-05-26 株式会社半導体エネルギー研究所 半導体装置、電子機器
US10133407B2 (en) 2015-12-28 2018-11-20 Seiko Epson Corporation Display apparatus, display system, method for controlling display apparatus, and program
US20170230640A1 (en) * 2016-02-05 2017-08-10 Samsung Electronics Co., Ltd. Portable image device with external display
WO2017164798A1 (en) * 2016-03-21 2017-09-28 Voysys Ab Method, device and program storage unit for live broadcasting of spherical video
KR20180014492A (ko) * 2016-08-01 2018-02-09 삼성전자주식회사 영상 표시 방법 및 이를 지원하는 전자 장치
JP6882659B2 (ja) * 2016-09-29 2021-06-02 ミツミ電機株式会社 光走査型ヘッドマウントディスプレイ及び網膜走査型ヘッドマウントディスプレイ
WO2018066191A1 (ja) * 2016-10-07 2018-04-12 ソニー株式会社 サーバ、クライアント端末、制御方法、および記憶媒体
KR101937823B1 (ko) * 2016-10-24 2019-01-14 주식회사 브이터치 객체 제어를 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
US11138436B2 (en) 2016-12-29 2021-10-05 Magic Leap, Inc. Automatic control of wearable display device based on external conditions
JP6838434B2 (ja) * 2017-03-13 2021-03-03 オムロン株式会社 環境センサ
JPWO2018173399A1 (ja) * 2017-03-21 2020-01-23 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US10877555B2 (en) 2017-03-21 2020-12-29 Sony Corporation Information processing device and information processing method for controlling user immersion degree in a virtual reality environment
US10713848B2 (en) * 2017-04-06 2020-07-14 Htc Corporation System and method for providing simulated environment
JP7161470B2 (ja) * 2017-06-08 2022-10-26 キヤノン株式会社 画像処理装置およびその制御方法
GB2563276B (en) 2017-06-09 2021-12-01 Advanced Risc Mach Ltd Virtual reality systems
US10812689B2 (en) * 2017-08-16 2020-10-20 Veritaz Inc. Personal display headset for mitigating user access to disallowed resources
US10410432B2 (en) * 2017-10-27 2019-09-10 International Business Machines Corporation Incorporating external sounds in a virtual reality environment
EP3493026A1 (en) * 2017-11-29 2019-06-05 Thomson Licensing A virtual reality external event processing method, corresponding devices and computer program
JP7043845B2 (ja) * 2018-01-17 2022-03-30 トヨタ自動車株式会社 車両用表示連携制御装置
JP6917340B2 (ja) 2018-05-17 2021-08-11 グリー株式会社 データ処理プログラム、データ処理方法、および、データ処理装置
US10770036B2 (en) * 2018-08-27 2020-09-08 Lenovo (Singapore) Pte. Ltd. Presentation of content on left and right eye portions of headset
US10937191B2 (en) * 2018-10-23 2021-03-02 Dell Products, Lp Predictive simultaneous localization and mapping system using prior user session positional information
JP7416048B2 (ja) * 2019-03-12 2024-01-17 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム
JP2021067899A (ja) * 2019-10-28 2021-04-30 株式会社日立製作所 頭部装着型表示装置および表示コンテンツ制御方法
CN116601543A (zh) * 2020-09-21 2023-08-15 苹果公司 具有显示器和传感器的系统
EP4200692A2 (en) * 2020-09-25 2023-06-28 Apple Inc. Methods for adjusting and/or controlling immersion associated with user interfaces
US11995230B2 (en) 2021-02-11 2024-05-28 Apple Inc. Methods for presenting and sharing content in an environment

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ATE69690T1 (de) 1986-09-15 1991-12-15 Wolf Geraete Gmbh Vertikutiermesser fuer ein vertikutiergeraet.
JP3326820B2 (ja) 1992-08-28 2002-09-24 ソニー株式会社 視覚装置
JPH07311362A (ja) * 1994-05-17 1995-11-28 Canon Inc 画像表示装置及びそれを管理する管理装置
GB2301216A (en) * 1995-05-25 1996-11-27 Philips Electronics Uk Ltd Display headset
JPH1184308A (ja) * 1997-09-02 1999-03-26 Minolta Co Ltd 頭部装着装置及び映像観察装置
JP4075345B2 (ja) * 2001-10-11 2008-04-16 日産自動車株式会社 自動巡航制御装置
JP2004109995A (ja) * 2003-08-12 2004-04-08 Toshiba Corp 装着型情報呈示装置および方法および記憶媒体
JP4344568B2 (ja) * 2003-09-05 2009-10-14 富士フイルム株式会社 ヘッドマウントディスプレイ及びそのコンテンツ再生方法
JP2005315802A (ja) * 2004-04-30 2005-11-10 Olympus Corp ユーザ支援装置
JP4952139B2 (ja) * 2006-08-18 2012-06-13 株式会社ニコン 携帯型コンテンツ出力装置
JP2008053300A (ja) 2006-08-22 2008-03-06 Matsushita Electric Ind Co Ltd 半導体記憶装置およびその製造方法
US7936489B2 (en) * 2007-02-09 2011-05-03 GM Global Technology Operations LLC Holographic information display
JP5380789B2 (ja) 2007-06-06 2014-01-08 ソニー株式会社 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
JP2010083205A (ja) * 2008-09-29 2010-04-15 Denso Corp 衝突警戒車両認知支援装置
US8957835B2 (en) 2008-09-30 2015-02-17 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
US20140229866A1 (en) * 2008-11-24 2014-08-14 Shindig, Inc. Systems and methods for grouping participants of multi-user events
US20120019557A1 (en) * 2010-07-22 2012-01-26 Sony Ericsson Mobile Communications Ab Displaying augmented reality information
JP5434848B2 (ja) 2010-08-18 2014-03-05 ソニー株式会社 表示装置
JP2012141461A (ja) 2010-12-29 2012-07-26 Sony Corp ヘッド・マウント・ディスプレイ
JP5482711B2 (ja) * 2011-04-08 2014-05-07 ブラザー工業株式会社 画像表示装置
US9081177B2 (en) * 2011-10-07 2015-07-14 Google Inc. Wearable computer with nearby object response
US9064152B2 (en) * 2011-12-01 2015-06-23 Elwha Llc Vehicular threat detection based on image analysis
US20130215109A1 (en) * 2012-02-22 2013-08-22 Silka Miesnieks Designating Real World Locations for Virtual World Control
GB2501768A (en) * 2012-05-04 2013-11-06 Sony Comp Entertainment Europe Head mounted display
JP5580855B2 (ja) * 2012-06-12 2014-08-27 株式会社ソニー・コンピュータエンタテインメント 障害物回避装置および障害物回避方法
US9973550B2 (en) * 2013-09-11 2018-05-15 Salesforce.Com, Inc. Systems and methods for applying intelligence and prioritization to calendared events

Also Published As

Publication number Publication date
US9964766B2 (en) 2018-05-08
US20160282618A1 (en) 2016-09-29
JP6079614B2 (ja) 2017-02-15
WO2015092968A1 (en) 2015-06-25
JP2015118332A (ja) 2015-06-25
EP3030954A1 (en) 2016-06-15
CN105474302A (zh) 2016-04-06

Similar Documents

Publication Publication Date Title
CN105474302B (zh) 头戴显示设备和图像显示方法
EP3410264B1 (en) Image display device and image display method
CN111052043B (zh) 使用现实界面控制外部设备
WO2016013269A1 (ja) 画像表示装置及び画像表示方法、並びにコンピューター・プログラム
CN108028957B (zh) 信息处理装置、信息处理方法和机器可读介质
JP6743691B2 (ja) 表示制御装置、表示制御方法およびコンピュータプログラム
US10444930B2 (en) Head-mounted display device and control method therefor
JP6361649B2 (ja) 情報処理装置、通知状態制御方法及びプログラム
KR102340665B1 (ko) 프라이버시 스크린
WO2014156389A1 (ja) 情報処理装置、提示状態制御方法及びプログラム
US20210035535A1 (en) Image processing device, image processing method, and image provision system
KR20180028211A (ko) 헤드 마운티드 디스플레이 및 그 제어 방법
JP2019092216A (ja) 情報処理装置、情報処理方法及びプログラム
CN111630852A (zh) 信息处理设备、信息处理方法和程序
US20230343049A1 (en) Obstructed objects in a three-dimensional environment
US11908090B2 (en) Information processing device, information processing method, and program
US20240103686A1 (en) Methods for controlling and interacting with a three-dimensional environment
KR20160041710A (ko) 글래스 타입의 이동 단말기

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant