CN112714899A - 头戴式显示器和头戴式显示系统 - Google Patents

头戴式显示器和头戴式显示系统 Download PDF

Info

Publication number
CN112714899A
CN112714899A CN201880097704.1A CN201880097704A CN112714899A CN 112714899 A CN112714899 A CN 112714899A CN 201880097704 A CN201880097704 A CN 201880097704A CN 112714899 A CN112714899 A CN 112714899A
Authority
CN
China
Prior art keywords
display
virtual space
space information
user
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880097704.1A
Other languages
English (en)
Inventor
鹤贺贞雄
桥本康宣
吉泽和彦
冈田义宪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Maxell Ltd
Original Assignee
Maxell Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Maxell Ltd filed Critical Maxell Ltd
Publication of CN112714899A publication Critical patent/CN112714899A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明的头戴式显示器包括显示虚拟空间信息的显示器和与显示器连接的控制器，其决定在显示器上显示虚拟空间信息的显示方式，控制器从监视头戴式显示器的周围环境的周围监视传感器获取第一传感器输出，来判断周围环境有无异常，从监视佩戴着头戴式显示器的用户的生物信息的状态监视传感器获取第二传感器输出，来判断是否存在用户的状态引起的注意力降低因素，基于周围环境有无异常和用户的状态引起的注意力降低因素两者来决定在显示器上显示虚拟空间信息时的显示方式，以所决定的显示方式将虚拟空间信息显示于显示器。

Description

头戴式显示器和头戴式显示系统
技术领域
本发明涉及头戴式显示器和头戴式显示系统，特别涉及虚拟空间信息的显示方式。
背景技术
存在在用户佩戴于头部的头戴式显示器上显示虚拟空间信息(虚拟对象)，使其与现实空间重叠地供用户观看的技术。使用该头戴式显示器，能够使现实世界与虚拟世界实时且无缝地融合，进行仿佛此处存在虚拟物体一般的体验。而且，用户能够获得将虚拟世界误认为现实世界这样的深入的沉浸感。但是，另一方面，存在用户因为深入的沉浸感而难以进行虚拟世界与现实世界的识别和判别的问题。
针对该问题，专利文献1中记载了“具有反馈决定部，其基于用户的用户状态来决定对用户的反馈，其中该用户正在体验提供至少一部分中包括虚拟物体的信息的世界”。
现有技术文献
专利文献
专利文献1：国际公开第2017/006640号
发明内容
发明要解决的课题
对于佩戴着头戴式显示器的用户而言，识别虚拟空间与现实空间所需的注意力，因头戴式显示器的使用状况而不同。例如，在进行日常生活的空间内静止的状态下，即使将虚拟物体、例如在桌上虚拟地显示的杯子或花瓶误识别为现实的物体，对于用户而言也不认为是重要的问题。另一方面，在户外步行中使用头戴式显示器的情况下，虽然在人行道旁存在停放的自行车、但虚拟显示宽敞的不存在障碍物的人行道时，将其误识别为现实空间，结果存在被停放的自行车绊倒的风险。
这样，存在用户为了避免现实空间与虚拟空间的误识别而要求用户具有的注意力，不仅根据用户固有的注意力、而也根据周围环境的状态来决定这样的实际情况。关于这一点，专利文献1中，仅监视用户的状态，关于周围环境并没有考虑。
本发明是鉴于上述实际情况得出的，目的在于提供一种对用户提供关于将虚拟空间误识别为现实空间的提醒的头戴式显示器和头戴式显示系统。
用于解决课题的技术方案
为了解决上述课题，本发明具有要求的权利范围中记载的结构。举其一例，本发明是一种头戴式显示器，其特征在于，包括：显示虚拟空间信息的显示器；和与所述显示器连接的控制器，其决定在所述显示器上显示所述虚拟空间信息的显示方式，所述控制器，从监视所述头戴式显示器的周围环境的周围监视传感器获取第一传感器输出，来判断所述周围环境有无异常，从监视佩戴着所述头戴式显示器的用户的生物信息的状态监视传感器获取第二传感器输出，来判断是否存在所述用户的状态引起的注意力降低因素，基于所述周围环境有无异常和所述用户的状态引起的注意力降低因素两者来决定在所述显示器上显示所述虚拟空间信息时的显示方式，以所决定的所述显示方式将所述虚拟空间信息显示于所述显示器。
发明效果
根据本发明，能够提供一种对用户提供关于将虚拟空间误识别为现实空间的提醒的头戴式显示器和头戴式显示系统。上述以外的目的、结构、效果将在以下实施方式中说明。
附图说明
图1是本实施方式的头戴式显示系统的外观示意图。
图2是表示图1所示的头戴式显示系统的结构例的框图。
图3是表示主体侧控制器的功能的功能框图。
图4是表示头戴式显示系统的处理流程的流程图。
图5是表示显示控制部决定的显示方式的种类的图。
图6是从摄像机观察现实空间时的坐标系的图。
图7是表示注视的被拍摄体与双眼的位置关系的图。
具体实施方式
以下使用附图说明本发明的实施方式的例子。在全部图中对于同一结构、处理附加同一附图标记，省略重复说明。
图1是本实施方式的HMD系统1(HMD：头戴式显示器)的外观示意图。图1中，HMD系统1包括佩戴在用户的头部的HMD100、佩戴在用户的胸部的第一可穿戴终端200(胸部佩戴型可穿戴终端)、佩戴在用户的手臂部的第二可穿戴终端300(腕带型可穿戴终端)、以及输入控制器400。第一可穿戴终端200、第二可穿戴终端300、输入控制器400分别通过近距离无线通信与HMD100通信连接，进行信息的发送接收。另外，也可以有线地进行信息的发送接收。
服务器500生成虚拟空间信息，经由无线通信线路对HMD100发送。也可以构成为HMD100自身生成并显示虚拟空间信息。
HMD100具有摄像机111、右眼视线传感器112、左眼视线传感器113、加速度传感器114、陀螺仪传感器115、地磁传感器116、温湿度传感器117和周围监视传感器118，检测用户前方影像(包括周边的物体的影像)、用户的视线、用户头部的运动和周边的温湿度。
进而，HMD100具有在双眼的前方设置的显示器119，显示用摄像机111拍摄到的现实空间信息的影像和用服务器500生成的虚拟空间信息的影像130。
另外，HMD100具有外部环境音麦克风120、语音麦克风121，拾取来自外部的声音和用户自身的语音。
HMD100在用户的耳朵附近具有耳机122，从耳机122输出声音和音乐。
进而，HMD100具有天线129。经由外部网络600与服务器500进行信息的发送接收，HMD100接收服务器500生成的虚拟空间信息，并显示于显示器119。
摄像机111具有作为检测用户的周围状态的传感器的功能、和用于检测用户的视线的情况下作为检测用户的状态的传感器的功能。另外，右眼视线传感器112、左眼视线传感器113、加速去传感器114和陀螺仪传感器115分别相当于状态监视传感器。
第一可穿戴终端200具有心率传感器201，检测一定时间内心脏搏动的次数即心率。
第二可穿戴终端300具有血压传感器301，检测用户的血压。另外，第二可穿戴终端300中也可以具有脉搏传感器，检测动脉的搏动次数即脉搏数。
第一可穿戴终端200和第二可穿戴终端300分别相当于用户状态监视传感器。
输入控制器400是用户进行各种输入操作的部分。能够基于输入控制器400接受的用户输入操作，在用户的双眼前方的显示器119上，在现实空间信息上叠加显示用服务器500所生成的虚拟空间信息的影像130和HMD100自身生成的虚拟空间信息的影像130，或者从现实空间信息替换为虚拟空间信息进行显示。
本实施方式的HMD100特征在于，用与用户密切接触地佩戴的HMD100和第一可穿戴终端200和第二可穿戴终端300各自中具有的各种传感器，检测用户的身体和用户的周围的状态，基于双方的状态变更使显示器119显示的虚拟空间信息的影像130的显示方式这一点。显示方式中，存在用户的身体状态和周围的状态都正常的情况下的显示方式即通常显示方式，和用户的身体状态和周围的状态中的至少一方存在异常的情况下的、与通常显示方式不同的显示方式构成的特定显示方式。另外，本说明书中，作为特定显示方式之一包括不显示。它们的详情在后文中叙述。
图2是表示图1所示的HMD系统1的结构例的框图。
图2中，HMD100使用摄像机111、右眼视线传感器112、左眼视线传感器113、加速度传感器114、陀螺仪传感器115、地磁传感器116、温湿度传感器117、周围监视传感器118、显示器119、外部环境音麦克风120、语音麦克风121、耳机122、主体侧振动器124、主体侧控制器125、保存程序126和信息数据127等的存储器128、天线129、主体侧网络通信器131、主体侧近距离无线通信器132(相当于主体侧通信器)和计时器133构成。这些构成要素除天线129之外分别经由总线140相互连接。
摄像机111设置在HMD100的前表面，拍摄用户前方的风景，用沉浸型的显示器119显示拍摄到的影像作为现实空间的影像。显示器119是透过型显示器的情况下，用户用自己的眼观看现实空间信息即可，所以也可以不在显示器119上显示摄像机111的图像。
右眼视线传感器112、左眼视线传感器113分别检测右眼、左眼的视线。另外，检测视线的处理使用作为眼动追踪处理一般使用的周知技术即可，例如在利用角膜反射的方法中，已知使红外线LED(Light Emitting Diode)对脸部照射并用红外线摄像机拍摄，将因红外线LED照射而生成的反射光的角膜上的位置(角膜反射)作为基准点，基于相对于角膜反射的位置的瞳孔的位置检测视线的技术。
加速度传感器114是检测每秒的速度的变化即加速度的传感器，能够捕捉运动、振动、冲击等。
陀螺仪传感器115是检测旋转方向的角速度的传感器，能够捕捉纵、横、斜方向的姿势的状态。由此，使用HMD100中搭载的加速度传感器114和陀螺仪传感器115，能够检测佩戴HMD100的用户的头部的运动。
地磁传感器116是检测地球的磁力的传感器，检测HMD100朝向的方向。通过使用在前后方向和左右方向之外也检测上下方向的地磁场的三轴型、捕捉与头部的运动对应的地磁场变化，也能够检测头部的运动。由此，能够详细地检测佩戴着HMD100的用户头部的运动。
温湿度传感器117是检测用户周边的温度、湿度的传感器。
周围监视传感器118是发射电磁波、光波、超声波等并捕捉其反射波而检测到反射的对象物的距离和方向的传感器，能够佩戴在用户的头部、检测用户周边的物体的距离和方向。另外，用虚线包围的部分141表示各种传感器设备。
主体侧控制器125构成HMD100的控制控制器，使用执行存储器128中存储的OS(Operating System)和动作控制用应用程序等程序126的处理器、实现与这些程序126同等的功能的电路构成。主体侧控制器125控制HMD100的各构成要素，进行HMD100整体的动作控制处理。
主体侧控制器125与周围状况有无异常和用户状态有无异常相应地，控制在现实空间信息上叠加虚拟空间信息地用显示器119显示、或从现实空间信息替换为虚拟空间信息地用显示器119显示时的动作。
主体侧控制器125基于用各种传感器设备检测出的信息，识别判断用户的身体的状态是否误识别虚拟空间信息与现实空间信息的异常的状态，并且识别判断用户的外部环境的状态是否在显示虚拟空间信息时对于用户而言存在危险性的异常的状态。
另外，主体侧控制器125判断为用户的注意力降低、误识别虚拟空间信息与现实空间信息的异常的状态，将在现实空间信息上叠加虚拟空间信息、或者从现实空间信息替换为虚拟空间信息地用显示器119显示时的显示方式切换为通常显示方式或特定显示方式。
另外，主体侧控制器125在检测出用户周边的物体且周边物体接近至用户的一定范围以内而判断为在显示虚拟空间信息时对于用户而言存在危险性的异常的状态、即周围存在异常的情况下，将在现实空间信息上叠加虚拟空间信息、或者从现实空间信息替换为虚拟空间信息地用显示器119显示时的显示方式从通常特定显示切换为特定显示方式或不显示。
存储器128是闪存等，存储主体侧控制器125使用的各种程序126、以及从服务器500发送的虚拟空间信息和从第一可穿戴终端200接收到的第一传感器输出、以及从第二可穿戴终端300接收到的第二传感器输出等信息数据127。
显示器119由液晶面板等构成，显示现实空间信息和虚拟空间信息的影像130，并且用画面显示要对用户提供的呈示通知信息和动作状态等显示内容。显示器119中，例如如图2所示，将用摄像机111拍摄到的现实空间信息的影像、与服务器500生成并对HMD100发送的、HMD100接收到的虚拟空间信息的影像130叠加地用画面显示。
主体侧振动器124通过由主体侧控制器125控制而产生振动，将HMD100中发送的对用户的通知信息变换为振动。主体侧振动器124通过在密切接触佩戴的用户头部产生振动，能够可靠地传达对用户的通知。
主体侧网络通信器131是通过无线LAN、有线LAN或基站通信与外部的服务器500进行通信的通信接口，在无线通信时经由天线129与外部网络600连接而进行信息的发送接收。主体侧网络通信器131中，能够经由外部网络600等接收用服务器500生成的虚拟空间信息，并且能够与服务器500进行动作控制信号信息等的发送接收。另外，作为基站通信方式，使用W-CDMA(Wideband Code Division Multiple Access)和GSM(注册商标)(GlobalSystem for Mobile communications)等远距离的无线通信即可。
主体侧近距离无线通信器132是与位于能够近距离无线通信的范围内的第一可穿戴终端200、第二可穿戴终端300、输入控制器400分别进行近距离无线通信的通信接口。主体侧近距离无线通信器132例如使用电子标签进行，但不限定于此，只要HMD100位于第一可穿戴终端200、第二可穿戴终端300、输入控制器400附近的情况下至少能够无线通信，就可以使用Bluetooth(注册商标)、IrDA(Infrared Data Association)、Zigbee(注册商标)、HomeRF(Home Radio Frequency，注册商标)、或无线LAN(IEEE802.11a、IEEE802.11b、IEEE802.11g)进行。
第一可穿戴终端200具有心率传感器201、第一振动器202、第一近距离无线通信器203(相当于终端侧通信器)。心率传感器201密切接触地佩戴在用户的胸部而精度良好地检测用户的心率。用第一近距离无线通信器203将检测出的心率信息通过近距离无线通信发送至HMD100，在HMD100一方用主体侧近距离无线通信器132接收发送来的心率信息，导入HMD100内。
第一振动器202与振动器控制信号(参考图3)相应地产生振动，通过密切接触地佩戴在用户胸部，能够可靠地对用户传达产生的振动。从HMD100发送的对用户的通知信息，能够经由主体侧近距离无线通信器132和第一近距离无线通信器203传达至第一振动器202，用第一振动器202将通知信息变换为振动而对用户通知。
第二可穿戴终端300具有血压传感器301、第二振动器302、第二近距离无线通信器303(相当于终端侧通信器)。血压传感器301卷绕佩戴在用户的手臂部而精度良好地检测用户的血压，用第二近距离无线通信器303将检测出的血压信息通过近距离无线通信发送至HMD100，在HMD100中用主体侧近距离无线通信器132接收发送来的血压信息，导入HMD100内。
第二振动器302与振动器控制器信号(参考图3)相应地产生振动，通过卷绕佩戴在用户手臂部，能够可靠地对用户传达产生的振动。从HMD100发送的对用户的通知信息，能够经由主体侧近距离无线通信器132、第二近距离无线通信器303传达至第二振动器302，用第二振动器302将通知信息变换为振动而对用户通知。
另外，主体侧振动器124、第一振动器202、第二振动器302中，在用户的身体或外部环境没有异常状态而开始虚拟空间信息的叠加显示或替换显示的动作时、和用户的身体或外部环境存在异常状态而不开始虚拟空间信息的叠加显示或替换显示的动作时，产生通知虚拟空间信息显示的动作开始或动作不能开始的振动，对用户通知。另外，同样地，从耳机122发出通知虚拟空间信息显示的动作开始或动作不能开始的声音，对用户通知。
输入控制器400具有输入操作器401、第三近距离无线通信器402。输入操作器401例如是键盘和按钮等构成的操作部件，能够设定输入用户想要输入的信息。
另外，也可以在显示器119所具有的显示画面内形成输入操作器401。例如用静电电容式等的触摸面板方式的输入部件将手指或触控笔等进行的接近或接触操作检测为操作输入。输入操作器401中输入的信息被经由第三近距离无线通信器402发送至HMD100，用HMD100内的主体侧近距离无线通信器132接收，导入HMD100内。另外，示出了第一可穿戴终端200、第二可穿戴终端300、输入控制器400各自与HMD100通过近距离无线通信而易用性良好地进行信息的发送接收的情况，但也可以有线地连接。
服务器500具有图像处理器501(虚拟空间信息生成处理部)、服务器侧存储器502、服务器侧控制器503、服务器侧网络通信器504、天线505，它们经由总线506相互连接地构成。
图像处理器501生成用影像和声音表现与现实空间不同的虚拟空间的虚拟空间信息。
服务器侧存储器502是闪存等，存储用图像处理器501生成的虚拟空间信息和服务器500内的服务器侧控制器503使用的各种程序等。
服务器侧网络通信器504是经由天线505经过外部网络600与HMD100进行通信的通信接口，与HMD100连接而进行信息的发送接收。
服务器侧控制器503由CPU或MPU等处理器构成，通过执行服务器侧存储器502中存储的OS(Operating System)和动作控制用应用程序等程序126，而控制各构成部，进行服务器500整体的动作控制处理。服务器侧控制器503与主体侧控制器125同样也可以由电路构成。
服务器侧控制器503响应来自HMD100的请求而对HMD100发送供给用图像处理器501生成的虚拟空间信息、或者服务器侧存储器502中保存的虚拟空间信息的方式，对各构成部进行动作控制。
图3是表示主体侧控制器125的功能的功能框图。主体侧控制器125大体具有周围监视判断部1251、状态判断部1252和显示控制部1253。关于各构成要素的处理的详情，以下使用图4、图5进行说明。
图4是表示HMD系统1的处理流程的流程图。图5是表示显示控制部1253决定的显示方式的种类的图。
如图4所示，接入HMD系统1的主电源时，周围监视处理(S101、S102)和用户的状态监视处理(S201、S202)并行地开始。
具体而言，周围监视判断部1251取得用摄像机111拍摄到的现实空间信息和周围监视传感器118检测出的表示周围物体的位置和运动的第一传感器输出(S101)，判断用户的外部环境的状态是否在显示虚拟空间信息时对于用户而言存在危险性的异常的状态(S102)。周围监视判断部1251将周围监视判断结果输出至显示控制部1253。
另一方面，状态判断部1252从第一可穿戴终端200和第二可穿戴终端300分别取得第二传感器输出(S201)，判断用户的身体状态是否误识别虚拟空间信息与现实空间信息的异常的状态(S202)。此处所谓“用户的身体状态异常”，指的是注意力减弱至用户误识别现实空间信息与虚拟空间信息的程度的状态，并不是感冒或骨折等病状、症状。
关于用户的身体状态异常，例如用户的血压不在预先决定的正常血压范围内、而是表现出低血压或高血压，或者心率不在正常心率范围内、而是心率过低或过高的情况下，判断为用户的身体状态存在异常。状态判断部1252将用户的身体状态判断结果输出至显示控制部1253。
显示控制部1253使用周围监视判断结果和用户的身体状态判断结果双方决定虚拟空间信息的显示方式。
如图5所示，显示控制部1253在用户的身体状态正常且周围正常的情况(状态1)下以通常显示方式、即HMD100中基本设定了虚拟空间信息的显示方式的画质和色调进行显示。换言之，通常显示方式下，无需进行使用户辨别现实空间的影像和风景、与虚拟空间信息的特别的加工地，显示虚拟空间信息。
用户的身体状态存在异常但周围正常的情况(状态2)、或者用户的身体状态正常但周围存在注意级别的异常的情况(状态3)下以特定显示方式进行显示。
特定显示方式指的是以与现实空间信息明显不同的降低了真实程度的形式显示虚拟空间信息的方式。由此，能够使用户明确地意识到开始显示的信息是虚拟空间信息。
例如，对于叠加显示或替换显示的虚拟空间信息的颜色、亮度、对比度、分辨率等影像画质，以与用摄像机111拍摄检测出的现实空间信息的影像画质明显不同的方式，用服务器500内的图像处理器501、或者对HMD100的存储器128中保存的虚拟空间信息用主体侧控制器125进行控制、调整。
另外，作为虚拟空间信息的显示，可以使用透过模式，也可以减少表现物体的曲面时使用的多边形的数量，也可以改为仅强调显示轮廓线。另外，也可以将表示是虚拟空间信息的消息与虚拟空间信息的影像130一同并排显示。进而，也可以用与通常显示方式下的显示颜色不同的显示颜色显示虚拟空间信息。另外，也可以闪烁显示虚拟空间信息。
特定显示方式不仅在虚拟空间信息显示开始时、在虚拟空间信息显示中也可以持续地显示。这样，降低虚拟空间信息的显示真实程度而使得易于得知是虚拟空间，对于用户而言能够使其意识到虚拟空间信息的显示开始和该显示自身是虚拟空间信息。
用户的身体状态存在异常、且周围存在注意级别的异常的情况(状态4)下，使虚拟空间信息暂时不显示。然后，如果在预先决定的不显示待机时间Tth内用户的身体状态恢复为正常(从状态4转移至状态3)、或周围变得正常(从状态4转移至状态2)，则再次开始用特定显示方式显示虚拟空间信息。成为状态4之后的经过时间T超过不显示待机时间Tth时，使虚拟空间信息的显示强制停止。
周围存在警戒级别的异常的情况(状态5)下，无论用户的身体状态是正常还是异常，都使虚拟空间信息的显示强制停止。
返回图4，主体侧控制器125取得周围监视判断结果和用户的身体状态判断结果，决定当前的显示方式。以下示出显示方式的决定流程的一例，但设为哪个显示方式的决定流程并不限定于以下所述。
主体侧控制器125基于周围监视判断结果判断为周围环境是警戒级别时(S301)，决定使虚拟空间信息的显示强制停止，对于显示控制部1253进行虚拟空间信息的强制停止(S302：图5的状态5)，前进至步骤S312。
再次显示虚拟空间信息的情况下，用户从输入控制器400的输入操作器401输入再次显示的输入指示。为了使再次显示的输入指示的操作变得容易，也可以在步骤S302中停止虚拟空间信息的输出的同时，使显示器119显示再次显示图标，通过由用户触摸该再次显示图标(相当于S312/否)，再次使步骤S101、S201的操作重新开始。
主体侧控制器125基于周围监视判断结果判断为周围环境是注意级别时(S301/否，S303/是)，基于用户的身体信息判断结果判断用户的身体状态是正常还是异常(S304)。
如果用户的身体信息是正常(S304/是)，则决定将虚拟空间信息的显示方式设为特定显示方式，对显示控制部1253输出使用特定显示方式的指示。显示控制部1253将虚拟空间信息变换为基于特定显示方式的显示用数据，并输出至显示器119(S305：图5的状态3)。
如果用户的身体信息是异常(S304/否)，则使虚拟空间信息的显示暂时停止(S306：图5的步骤4)，用计时器133计测暂时停止之后的经过时间T(S307)。如果经过时间T不足预先决定的不显示待机时间Tth(S308/是)，则返回步骤S101、S201。反复处理后，结果经过时间T达到不显示待机时间Tth以上时(S308/否)，进行强制停止(S309)，前进至步骤S312。
主体侧控制器125基于周围监视判断结果判断周围环境正常时(S303/否)，基于用户的身体信息判断结果判断用户的身体状态是正常还是异常(S310)。
如果用户的身体信息是正常(S310/是)，则决定将虚拟空间信息的显示方式设为通常显示方式(S311：图5的状态1)，对显示控制部1253输出使用通常显示方式的指示。显示控制部1253将虚拟空间信息变换为基于通常显示方式的显示用数据，并输出至显示器119(S311)。
如果用户的身体信息是异常(S310/否)，则决定将虚拟空间信息的显示方式设为特定显示方式(S305：图5的状态2)。
上述步骤S302、S309中的强制停止、或者步骤S306的暂时不显示的情况下，也可以在显示器119上显示表示不能进行虚拟空间信息的显示的消息而对用户通知。另外，该通知也可以用从耳机122对用户的发声、和主体侧振动器124、第一振动器202、第二振动器302中的至少一方进行的对用户的触感振动进行通知。
另外，基于步骤S305的特定显示方式和步骤S311的通常显示方式进行虚拟空间信息的显示的情况下，也可以在显示器119上显示表示进行虚拟空间信息的显示的消息而对用户通知。另外，该通知也可以用从耳机122对用户的发声、和主体侧振动器124、第一振动器202、第二振动器302中的至少一方进行的对用户的触感振动进行通知。
以下，说明判断是否存在用户的身体状态和周围环境引起的注意力的降低因素的例子。
＜用户的身体状态的判断例：扫视检测＞
对于使用右眼视线传感器112和左眼视线传感器113作为步骤S201、S202中的用户的身体状态判断中使用的传感器设备的例子进行说明。
主体侧控制器125取得右眼视线传感器112输出的右眼视线数据和左眼视线传感器113输出的左眼视线数据，检测双眼的运动。
主体侧控制器125的状态判断部1252基于右眼视线数据和左眼视线数据，识别双眼是否正在进行小幅且高速地运动这样的急速的眼球运动(扫视)。然后，正在进行急速眼球运动的情况下，判断为用户处于误识别虚拟空间信息与现实空间信息的异常的状态。
＜用户的身体状态的判断例：检测用户是否正在注视现实空间的对象物＞
作为使用视线检测的其他例子，有根据用户是否正在注视现实空间的特定对象判断对周围的注意力的程度的方法。此处，注视能够定义为视线一定时间以上对准对象物的状态。图6是表示从摄像机111观察现实空间时的坐标系的图。图7是表示注视的被拍摄体O与双眼的位置关系的图。
首先，状态判断部1252用摄像机111取得现实空间信息。另外，状态判断部1252基于右眼视线数据和左眼视线数据检测用户的视线。摄像机111在HMD100中的安装位置是固定的，只要用户佩戴HMD100，眼球与摄像机111的相对位置就是固定的。此处，摄像机111配置在连接双眼的线段的中点附近。用摄像机111拍摄的现实空间，被映射至从摄像机111观察的方位(θC，φC)的坐标系(图6)。用户的视线正在朝向该现实空间的图像中的哪个点，能够根据右眼视线数据和左眼视线数据如下所述地计算。
图7中，R表示右眼的位置，L表示左眼的位置。设双眼的距离为S。C是摄像机111的位置，设为连接双眼的基线LR的中点。严密而言，摄像机111的位置偏离基线的中点，但通常被拍摄体的位置与该偏离量相比充分远，所以在求出从摄像机111观察的被拍摄体的方向时，能够忽略该摄像机位置的误差。
考虑到被拍摄体的距离和方向时，考虑由基线LR和摄像机111的光轴方向形成的基准面P。用θ表示从各点到被拍摄体的矢量与该基准面P所成的角，将基准面P的上侧方向作为正。另外，用φ表示将从各点到被拍摄体的矢量投影至基准面P的矢量、从各点与摄像机111的光轴方向所成的角。将从上方观察基准面P的右方向的角度作为正。
能够用左右的视线传感器测定从左右各眼观察的被拍摄体的方向(θL，φL)和(θR，φR)。根据该数据，能够用计算求出从摄像机111观察的正在注视的被拍摄体O的方向(θC，φC)和从摄像机111到被拍摄体O的距离dCO。具体的表达式如下所述。
[数学式1]
Figure BDA0002979968250000141
[数学式2]
Figure BDA0002979968250000142
[数学式3]
Figure BDA0002979968250000143
另外，因为可以得知到注视点的距离，所以摄像机111也具备测距功能、可以得知到被拍摄体的距离的情况下，能够更准确地进行对于对象物的注视的判断(也可以在摄像机之外具备测距设备)。
可以在用户的注视点在现实世界的同一对象物上停留了预先决定的一定时间以上的情况下，判断为正在注视该对象物、对其他周围状况的注意力降低，因此将身体状态判断为异常，在并未注视任何对象物时将身体状态判断为正常。
由此，对于用户而言在观看现实空间信息的状态下不会产生虚拟空间信息显示引起的扰乱和妨碍，能够安全且易用性良好地使用HMD100。
＜用户的身体状态的判断例：检测用户是否闭眼＞
作为使用视线检测的其他例子，状态判断部1252可以使用右眼视线数据和左眼视线数据检测双眼的运动，识别判断在眨眼之外是否闭眼。
然后，状态判断部1252可以在眨眼之外闭眼时判断为用户的身体状态是异常、特别是警戒级别，在眨眼之外没有闭眼时判断为用户的身体状态正常。
由此，在眨眼之外闭眼而意识没有集中的情况下，不进行虚拟空间信息的显示，能够提高用户的安全性。另外，作为在眨眼之外闭眼的状态的检测，在视线检测以外也可以使用摄像机111检测。
＜用户的身体状态的判断例：视线的运动的检测＞
另外，几乎没有观察到双眼的视线的运动的情况下，存在用户感到困倦而意识不清醒、散漫的状态的可能性。因此，状态判断部1252在规定时间内的视线的运动少、缓慢的情况下，因为不能否定用户的意识散漫的状态的可能性，所以可以将用户的身体状态判断为异常、特别是警戒级别。
由此，例如醉酒时、身体不适时等，用户的身体状态是散漫的状态、意识不清醒的情况下，不进行虚拟空间信息的影像130的显示，能够提高用户的安全性。
以上，对于基于检测出的眼球的运动、判断用户身体有无异常状态并控制虚拟空间信息的显示动作的情况进行了说明，但也可以在正在显示虚拟空间信息时，用右眼视线传感器112、左眼视线传感器113检测眼球的运动，识别判断眼球是否正在朝向虚拟空间信息进行注视眼动或追随运动，在眼球并未进行捕捉虚拟空间信息的运动而判断为用户没有意识到、没有察觉到虚拟空间信息的情况下，使虚拟空间信息的显示暂时不显示(状态4)或强制停止(状态5)地进行处理。
该情况下，对于用户而言显示信息仅有意识到的现实空间信息就是充分的状态，消除没有意识到的虚拟空间信息的显示，能够期待能够在更安全的状态下使用头戴式显示器的效果。
＜用户的身体状态的检测例：头部的运动＞
在步骤S201、S202中，也可以使用加速度传感器114、陀螺仪传感器115、地磁传感器116作为检测用户的身体状态的传感器设备，检测用户的头部的运动而检测身体状态。
在步骤S201中状态判断部1252取得加速度传感器114、陀螺仪传感器115、地磁传感器116分别输出的传感器输出。
在步骤S202中状态判断部1252识别头部是否较大地移动，头部较大地移动的情况下，具体而言各传感器输出中的至少一方超过对于各传感器输出的种类分别决定的运动判断阈值(加速度阈值、角速度阈值、地磁场变化阈值)的情况下，判断用户的身体状态是误识别虚拟空间信息与现实空间信息的异常的状态。
另一方面，状态判断部1252在头部没有较大移动、具体而言各传感器输出中的全部都在运动判断阈值以下的情况下，判断为身体状态没有异常。
＜用户的身体状态的检测例：使用声音信息的例子＞
在步骤S201中状态判断部1252用外部环境音麦克风120、语音麦克风121捕捉声音。除此以外状态判断部1252使用右眼视线传感器112和左眼视线传感器113捕捉眼球的运动。
在步骤S202中状态判断部1252基于捕捉的声音和眼球运动识别判断用户的意识处于何处，像正在与人会话或通电话的情况这样、判断为正在视听与虚拟空间信息不同的信息时判断为身体状态存在异常。另一方面，判断为仅在视听虚拟空间信息的情况下，判断为身体状态正常。
＜周围环境的检测例：检测接近物体＞
对于使用周围监视传感器118作为检测用户的周围环境的状态的传感器设备的情况进行说明。
周围监视传感器118检测用户周边的物体的距离和方向。于是，在步骤S101中，周围监视判断部1251取得周围监视传感器118检测到用户周边存在的物体的距离和方向并输出的第一传感器输出。
在步骤S202中，周围监视判断部1251基于来自周围监视传感器118的第一传感器输出，识别是否有例如车、人、动物等物体对于用户接近至一定范围以内，物体接近至一定范围以内的情况下，判断为用户的外部环境的状态是在显示虚拟空间信息时对于用户而言存在危险性的状态、即预先决定的距离范围内存在物体的情况下判断为周围环境存在异常，如果不存在接近至距离范围内的物体则判断为周围环境正常。存在接近物体的情况下，也可以特别判断为警戒级别。
由此，存在接近至从用户起距离范围内的物体的情况下能够使虚拟空间信息成为特定显示方式或者停止显示，防止发生在对于用户而言存在危险性的环境下显示虚拟空间信息引起的不便。另外，能够对正在视听虚拟空间信息的用户通知周围环境变为异常。
＜周围环境的检测例：检测接近物体＞
也可以使用温湿度传感器117作为检测用户的周围状态的传感器设备，检测用户周边的温度和湿度。
在步骤S101中，周围监视判断部1251取得温湿度传感器117检测温度和湿度并输出的传感器输出。取得的温度和湿度被暂时存储在存储器128中。
在步骤S102中，周围监视判断部1251运算存储器128中存储的温度和湿度的变化，在发生温度的变化超过预先决定的温度变化阈值、或者湿度的变化超过预先决定的湿度变化阈值的现象中的至少一方时，判断为用户的周围环境存在异常。另一方面，如果温度的变化在温度变化阈值以下、并且湿度的变化在预先决定的湿度变化阈值以下则判断为用户的周围环境正常。
另外，不限于温度和湿度，例如，如果是气压、外部环境音等能够检测用户的外部环境的状态的信息，则也可以使用该信息的传感器、例如气压传感器、外部环境音麦克风120等作为用户的周围监视传感器118。
对于本实施方式的HMD系统1的作用效果进行说明。用户是否将虚拟空间信息误识别为现实空间信息和误识别时的不便的程度，因用户的身体状态与周围环境的组合而不同。
一般而言，如果用户的身体状态正常，则相应地注意力高，所以认为难以发生虚拟空间信息的误识别。
另外，即使用户的身体状态异常而注意力降低、结果误识别了虚拟空间信息，在周围环境正常且安全的情况下，例如在室内坐在沙发上，在桌上显示了杯子作为虚拟空间信息，即使将其误识别为现实的杯子，不便程度也较低。另一方面，在室外步行中误识别虚拟空间信息时，可能产生摔倒或与路上的物体干涉等较大的不便。
进而，无论用户的身体状况如何，例如在室外步行中车辆或自行车正在向用户行驶的状态下，应当使用户尽早脱离注意力被虚拟空间信息吸引的状况。
根据本实施方式的HMD系统1，将用户的身体状态和周围环境的正常、异常双方组合地，决定虚拟空间信息的显示方式，所以与仅着眼于用户的身体状态的情况相比，可以更好地防止发生虚拟空间信息的误识别，HMD100的易用性提高。
另外，通过将周围环境的状态分为注意级别和警戒级别，而不是如果周围环境存在异常则立即使虚拟空间信息不显示，能够实现兼顾欣赏虚拟空间信息的影像130的显示和应对周围环境的异常。
另外，用户的身体状态存在异常、并且周围环境存在注意级别的异常的情况(状态4)下，使虚拟空间信息的显示暂时停止。之后，如果周围环境中注意级别的异常在不显示待机时间内消除，则能够以特定显示方式再次开始虚拟空间信息的显示。因为注意级别的异常可能在短时间的期间内消除，所以该情况下使虚拟空间信息的显示再次开始，HMD100的易用性提高。
本发明不限定于上述实施方式，包括各种变形例。上述实施方式是为了易于理解地说明本发明而详细说明的，并不限定于必须具备说明的全部结构。另外，能够将某个实施方式的结构的一部分置换为其他实施方式的结构，也能够在某个实施方式的结构上添加其他实施方式的结构。另外，对于各实施方式的结构的一部分，能够追加、删除、置换其他结构。
例如，上述中在服务器500中具有生成虚拟空间信息的图像处理器501，经由外部网络600接收虚拟空间信息而显示。但是，也可以将图像处理器501嵌入HMD100中。由此，无需进行与服务器500的通信，就可以用上述显示方式显示虚拟空间信息、或修改后的虚拟空间信息。
另外，也可以将第一可穿戴终端200内的心率传感器201、第二可穿戴终端300内的血压传感器301、输入控制器400内的输入操作器401装入HMD100内。该情况下，心率传感器201与头部密切接触地设置而检测心率。血压传感器301也与头部密切接触地设置而在头皮下的头部动脉处检测血压值。输入操作器401设置在HMD100内用户易于进行输入操作的位置即可。
或者，也可以由用户发出表示输入操作的语音，用语音麦克风121拾取而导入输入操作信息。
另外，也可以使显示器119显示输入操作画面，用根据右眼视线数据和左眼视线数据检测出的视线朝向的输入操作画面上的位置导入输入操作信息，也可以在输入操作画面上显示指针且用手的动作等指定而导入输入操作信息。通过使用语音和显示作为输入操作，能够进一步提高易用性。
这样，可以包括第一可穿戴终端200、第二可穿戴终端300、输入控制器400地一体化，也可以仅将图像传感器501装入HMD100中。
另外，作为检测用户的身体状态的传感器，可以使用出汗传感器、呼吸传感器等取得其他生物信息的传感器。
以上对于使用各种传感器设备识别判断用户的身体状态或周围状态、控制虚拟空间信息显示时的动作进行了说明，但在显示控制部1253判断为处于状态3、4中的任一者时，显示控制部1253也可以对用户的眼发出强光、或者在用户的视野内显示闪烁的2处以上光，再次基于来自周围监视判断部1251和状态判断部1252的判断结果，在脑部醒来而转移至意识清醒的清醒状态(状态1、2)之后，叠加显示或替换显示虚拟空间信息。
另外，对于用户而言，在游戏、电影等重视沉浸感地使用HMD100的情况下，也可以不进行与用户的身体状态或周围环境的状态相应的虚拟空间信息的显示控制。该情况下，例如从输入控制器400设定输入进行或不进行虚拟空间信息的显示控制即可。
对于上述各结构、功能、处理部、处理单元等，例如可以通过在集成电路中设计等而用硬件实现其一部分或全部。另外，上述各结构、功能等，也可以通过处理器解释、执行实现各功能的程序126而用软件实现。实现各功能的程序126、表、文件等信息，能够保存在存储器、硬盘、SSD(Solid State Drive)等记录装置、或者IC卡、SD卡、DVD等记录介质中。
另外，控制线和信息线示出了认为说明上必要的，并不一定示出了产品上全部的控制线和信息线。实际上也可以认为几乎全部结构都相互连接。
附图标记说明
1：HMD系统
100：HMD
111：摄像机
112：右眼视线传感器
113：左眼视线传感器
114：加速度传感器
115：陀螺仪传感器
116：地磁传感器
117：温湿度传感器
118：周围监视传感器
119：显示器
120：外部环境音麦克风
121：语音麦克风
122：耳机
124：主体侧振动器
125：主体侧控制器
126：程序
127：信息数据
128：存储器
129：天线
130：影像
131：主体侧网络通信器
132：主体侧近距离无线通信器
133：计时器
140：总线
200：第一可穿戴终端
300：第二可穿戴终端
400：输入控制器
500：服务器
600：外部网络。

Claims (6)

1.一种头戴式显示器，其特征在于，包括：
显示虚拟空间信息的显示器；和
与所述显示器连接的控制器，其决定在所述显示器上显示所述虚拟空间信息的显示方式，
所述控制器，
从监视所述头戴式显示器的周围环境的周围监视传感器获取第一传感器输出，来判断所述周围环境有无异常，
从监视佩戴着所述头戴式显示器的用户的生物信息的状态监视传感器获取第二传感器输出，来判断是否存在所述用户的状态引起的注意力降低因素，
基于所述周围环境有无异常和所述用户的状态引起的注意力降低因素两者来决定在所述显示器上显示所述虚拟空间信息时的显示方式，
以所决定的所述显示方式将所述虚拟空间信息显示于所述显示器。
2.如权利要求1所述的头戴式显示器，其特征在于：
所述控制器仅在判断为所述周围环境没有异常且判断为不存在所述用户的状态引起的注意力降低因素的情况下，以通常显示方式将所述虚拟空间信息显示于所述显示器，
在判断为所述周围环境存在异常的情况和判断为存在所述用户的状态引起的注意力降低因素的情况中的至少一者的情况下，以与所述通常显示方式不同的特定显示方式显示所述虚拟空间信息或者使所述虚拟空间信息不显示。
3.如权利要求2所述的头戴式显示器，其特征在于：
所述控制器将所述周围环境中发生的异常状态分为异常的程度相对较低的注意级别和与该注意级别相比异常的程度相对较高的警戒级别进行判断，
在判断为所述周围环境中发生的异常状态是所述注意级别的情况下，以所述特定显示方式将所述虚拟空间信息显示于所述显示器，
在判断为所述周围环境中发生的异常状态是所述警戒级别的情况下，强制停止所述虚拟空间信息的显示。
4.如权利要求2所述的头戴式显示器，其特征在于：
还具有与所述控制器连接的计时器，
所述控制器将所述周围环境中发生的异常状态分为异常的程度相对较低的注意级别和与该注意级别相比异常的程度相对较高的警戒级别进行判断，
在判断为所述周围环境中发生的异常状态是所述注意级别且存在所述用户的状态引起的注意力降低因素的情况下，暂时停止所述虚拟空间信息的显示，并且
用所述计时器计测从暂时停止所述虚拟空间信息的显示起的经过时间，在判断为在预先规定的不显示待机时间内所述周围环境中发生的异常状态消除、或者所述用户的状态引起的注意力降低因素消失的情况下，再次开始所述虚拟空间信息的显示，
在判断为所述经过时间达到所述不显示待机时间以上时所述周围环境中发生的异常状态仍未消失、并且所述用户的状态引起的注意力降低因素仍未消失的情况下，强制停止所述虚拟空间信息的显示，
在判断为所述周围环境中发生的异常状态是所述警戒级别的情况下，强制停止所述虚拟空间信息的显示。
5.如权利要求2所述的头戴式显示器，其特征在于：
所述特定显示方式是下述显示方式中的至少一个显示方式：
以比所述通常显示方式时的分辨率低的分辨率显示所述虚拟空间信息；
以与所述通常显示方式中的显示颜色不同的显示颜色显示所述虚拟空间信息；
闪烁显示所述虚拟空间信息；
强调显示所述虚拟空间信息的轮廓线；和
将所述虚拟空间信息与表示是虚拟空间信息的消息并排显示。
6.一种将头戴式显示器与可穿戴终端通信连接而构成的头戴式显示系统，其特征在于：
头戴式显示器包括：
显示虚拟空间信息的显示器；
监视所述头戴式显示器的周围环境的周围监视传感器；
主体侧通信器；和
主体侧控制器，其与所述显示器、所述周围监视传感器和所述主体侧通信器分别连接，决定在所述显示器上显示虚拟空间信息的显示方式，
所述可穿戴终端包括：
监视佩戴着所述头戴式显示器的用户的生物信息的状态监视传感器；和
对所述主体侧通信器发送所述状态监视传感器的传感器输出的终端侧通信器，
所述主体侧控制器，
从监视所述头戴式显示器的周围环境的周围监视传感器获取第一传感器输出，来判断所述周围环境有无异常，
从所述可穿戴终端接收所述状态监视传感器输出的第二传感器输出，来判断是否存在所述用户的状态引起的注意力降低因素，
基于所述周围环境有无异常和所述用户的状态引起的注意力降低因素两者来决定在所述显示器上显示所述虚拟空间信息时的显示方式，
以所决定的所述显示方式将所述虚拟空间信息显示于所述显示器。
CN201880097704.1A 2018-10-03 2018-10-03 头戴式显示器和头戴式显示系统 Pending CN112714899A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/037091 WO2020070839A1 (ja) 2018-10-03 2018-10-03 ヘッドマウントディスプレイ及びヘッドマウントディスプレイシステム

Publications (1)

Publication Number Publication Date
CN112714899A true CN112714899A (zh) 2021-04-27

Family

ID=70054576

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880097704.1A Pending CN112714899A (zh) 2018-10-03 2018-10-03 头戴式显示器和头戴式显示系统

Country Status (3)

Country Link
JP (3) JP7130765B2 (zh)
CN (1) CN112714899A (zh)
WO (1) WO2020070839A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114003126A (zh) * 2021-09-26 2022-02-01 歌尔光学科技有限公司 虚拟现实设备的交互控制方法、装置及设备
CN114972692A (zh) * 2022-05-12 2022-08-30 北京领为军融科技有限公司 基于ai识别和混合现实的目标定位方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11249064A (ja) * 1998-03-04 1999-09-17 Omron Corp 頭部搭載型表示装置
JP6309779B2 (ja) 2014-02-12 2018-04-11 株式会社バンダイナムコエンターテインメント プログラム、ゲーム装置およびゲームシステム
WO2017006640A1 (ja) 2015-07-08 2017-01-12 ソニー株式会社 情報処理装置、表示装置、情報処理方法及びプログラム
JP6727807B2 (ja) 2015-12-29 2020-07-22 株式会社バンダイナムコアミューズメント ゲーム装置及びプログラム
US10191541B2 (en) * 2016-06-30 2019-01-29 Sony Interactive Entertainment Inc. Augmenting virtual reality content with real world content

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114003126A (zh) * 2021-09-26 2022-02-01 歌尔光学科技有限公司 虚拟现实设备的交互控制方法、装置及设备
CN114972692A (zh) * 2022-05-12 2022-08-30 北京领为军融科技有限公司 基于ai识别和混合现实的目标定位方法

Also Published As

Publication number Publication date
JP7455167B2 (ja) 2024-03-25
US20210389587A1 (en) 2021-12-16
JP2024073526A (ja) 2024-05-29
JP2022184841A (ja) 2022-12-13
JPWO2020070839A1 (ja) 2021-09-02
JP7130765B2 (ja) 2022-09-05
WO2020070839A1 (ja) 2020-04-09

Similar Documents

Publication Publication Date Title
CN106471419B (zh) 管理信息显示
RU2644265C2 (ru) Устройство отображения изображения и устройство для ввода информации
JP7455167B2 (ja) ヘッドマウント情報処理装置
US20180173309A1 (en) Information processing apparatus, display device, information processing method, and program
US20150097772A1 (en) Gaze Signal Based on Physical Characteristics of the Eye
US10901505B1 (en) Eye-based activation and tool selection systems and methods
CN107850943A (zh) 用于提供现实世界移动与虚拟/增强现实体验中的移动之间的连续性的系统和方法
US11835727B2 (en) Information processing apparatus and information processing method for controlling gesture operations based on postures of user
US11087775B2 (en) Device and method of noise suppression based on noise source positions
EP3163407B1 (en) Method and apparatus for alerting to head mounted display user
WO2019244670A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US20190380637A1 (en) Information processing method, information processing device, and program
KR20150119636A (ko) 노티피케이션을 제공하는 hmd 디바이스 및 그 제어 방법
US11599189B2 (en) Head orientation tracking
US11137600B2 (en) Display device, display control method, and display system
JP2012114755A (ja) ヘッドマウントディスプレイ及びコンピュータプログラム
JP6932007B2 (ja) 情報処理方法、情報処理装置及びプログラム
US12032164B2 (en) Head-mount display and head-mount display system that display virtual space information on a display
JP6670965B2 (ja) 表示システム及び表示方法
JP6496391B1 (ja) 表示システム及び表示方法
JP6738308B2 (ja) 情報処理方法、プログラム、仮想空間配信システム及び装置
US20220066733A1 (en) Head-mountable information processing apparatus
KR102285012B1 (ko) 가상현실 영상을 표시하는 방법 및 장치
KR20160027813A (ko) 글래스형 단말기
JP2021118415A (ja) ヘッドマウントディスプレイの制御装置、方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Kyoto Japan

Applicant after: MAXELL, Ltd.

Address before: Kyoto Japan

Applicant before: MAXELL HOLDINGS, Ltd.

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220224

Address after: Kyoto Japan

Applicant after: MAXELL HOLDINGS, Ltd.

Address before: Kyoto Japan

Applicant before: MAXELL, Ltd.