CN108474950B - Hmd设备及其控制方法 - Google Patents

Hmd设备及其控制方法 Download PDF

Info

Publication number
CN108474950B
CN108474950B CN201680079475.1A CN201680079475A CN108474950B CN 108474950 B CN108474950 B CN 108474950B CN 201680079475 A CN201680079475 A CN 201680079475A CN 108474950 B CN108474950 B CN 108474950B
Authority
CN
China
Prior art keywords
display
movement
hmd device
processor
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680079475.1A
Other languages
English (en)
Other versions
CN108474950A (zh
Inventor
韩成元
朴佑镇
潘大铉
林尚谆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN108474950A publication Critical patent/CN108474950A/zh
Application granted granted Critical
Publication of CN108474950B publication Critical patent/CN108474950B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

公开了一种头戴式显示器(HMD)设备。HMD设备包括：用于显示内容的显示器；检测单元，用于检测HMD设备的前方的对象的移动；和处理器，用于当检测到对象的移动时，在对象的位置的基础上改变显示器的屏幕状态，以便提供HMD设备的前方图像。

Description

HMD设备及其控制方法
技术领域
本公开涉及一种头戴式显示器(Head Mounted Display，HMD)设备及其控制方法，更具体地，涉及一种被配置为提供虚拟现实服务的HMD设备及其控制方法。
背景技术
随着电子技术的加强，各种类型的电子产品被开发和提供，并且提供虚拟现实服务的头戴式显示器(HMD)设备被使用。
一般而言，虚拟现实技术统指那些基本上旨在为参与者重新创建三维虚拟空间，使他们能够在通过计算机图形(Computer Graphics，CG)技术创建的类似于真实环境的三维虚拟环境中，借助于通过所有人类感官(视觉、听觉、嗅觉、味觉、触觉)的交互而沉浸在虚拟创建的世界中，并还允许人类用户沉浸在该虚拟空间中且最大限度地利用信息的技术。
同时，在相关技术中，当用户沉浸在虚拟空间中并且不能够辨识外部发生的情况时，用户可能难以管理紧急情况。此外，当需要这样时，用户在不取下HMD设备的情况下，可能难以理解外部环境或使用外部接口(例如键盘、鼠标等)。
尽管在增强现实中一些HMD设备辨识外部对象并表达该外部对象，但是存在不便，因为仅注册的外部对象被表达、或者表达不令人满意、或者出现延迟时间。
因此，需要用于用户以更方便的方法辨识HMD设备的外部的技术。
发明内容
技术问题
因此，本公开的目的是提供一种被配置为改变包括在HMD设备中的显示器的特定区域的屏幕状态的HMD设备及其控制方法。
问题的解决方案
为了实现上述目的，本公开提供了一种头戴式显示器(HMD)设备，该设备包括：显示器，被配置为显示内容；检测单元，被配置为检测HMD设备前方的对象的移动；以及处理器，被配置为当检测到对象的移动时，基于对象的位置改变显示器的屏幕状态并提供HMD设备的前方图像。
此外，检测单元可以包括相机，并且处理器可以在显示器的相应区域上重叠由相机拍摄的图像当中的、对应于检测到对象的移动的位置的图像。
此外，当检测到HMD设备的移动时，处理器可以确定对象相对于HMD设备的移动的相对移动，以及基于对象的相对移动来改变屏幕状态以提供HMD设备的前方图像。
此外，当检测到的对象的尺寸大于预设尺寸时，处理器可以基于对象的位置改变屏幕状态以提供HMD设备的前方图像。
此外，当对象的移动是预设形式的用户手势时，处理器可以基于用户手势改变屏幕状态以提供HMD设备的前方图像。
此外，处理器可以在当检测到指向预设方向的用户手势时，改变屏幕状态以提供HMD设备的前方图像，并当在改变后的屏幕状态中检测到指向相反方向的用户手势时改变屏幕状态，以便不提供HMD设备的前方图像。
此外，检测单元检测用户的注视，并且处理器可以在用户的注视被放置在屏幕状态已经改变的显示器的特定区域上时保持改变的屏幕状态，并且在用户的注视在显示器的特定区域的外部时改变屏幕状态以便不提供HMD设备的前方图像。
此外，当检测到对象的移动时，处理器可以基于对象的位置改变显示器的特定区域的透明度。
此外，当检测到对象的移动时，处理器可以基于显示器的特定区域的当前透明度改变显示器的特定区域的透明度。
HMD设备还可以包括：储存器，其被配置为存储预设形式的对象和相应的移动的映射信息，并且处理器可以基于该映射信息确定要改变透明度的显示器的特定区域和透明度的改变程度。
同时，根据实施例，用于控制头戴式显示器(HMD)设备的方法可以包括：在显示器上显示内容；检测HMD设备前方的对象的移动；以及当检测到对象的移动时，基于对象的位置改变显示器的屏幕状态以提供HMD设备的前方图像。
此外，改变可以包括在显示器的相应区域上重叠和显示由相机拍摄的图像当中的、对应于检测到对象的移动的位置的图像。
此外，改变可以包括：当检测到HMD设备的移动时，确定对象相对于HMD设备的移动的相对移动；以及基于对象的相对移动来改变屏幕状态以提供HMD设备的前方图像。
此外，改变可以包括当检测到的对象的尺寸大于预设尺寸时，基于对象的位置改变屏幕状态以提供HMD设备的前方图像。
此外，改变可以包括当对象的移动是预设形式的用户手势时，基于用户手势改变屏幕状态以提供HMD设备的前方图像。
此外，改变可以包括：当检测到指向预设方向的用户手势时，改变屏幕状态以提供HMD设备的前方图像；以及当在改变的屏幕状态中检测到指向相反方向的用户手势时，改变屏幕状态以便不提供HMD设备的前方图像。
此外，该方法可以包括：检测用户的注视；当用户的注视被放置在屏幕状态已经改变的显示器的特定区域上时，保持改变的屏幕状态；以及当用户的注视在显示器的特定区域的外部时，改变屏幕状态以便不提供HMD设备的前方图像。
此外，改变可以包括当检测到对象的移动时，基于对象的位置改变显示器的特定区域的透明度。
此外，改变可以包括当检测到对象的移动时，基于显示器的特定区域的当前透明度来改变显示器的特定区域的透明度。
此外，改变可以包括基于预定形式的对象和相应的移动的映射信息来确定透明度将被改变的显示器的特定区域和透明度的改变程度。
公开的有益效果
根据上述各种实施例，提供在HMD设备上的显示器的特定区域的屏幕状态根据HMD设备前方的对象的移动而改变，并且因此，用户能够观看HMD设备的前方。
附图说明
从以下结合附图的详细描述中，本公开的上述和/或其他方面和优点将变得清楚并且更容易理解，其中：
图1是示出根据本公开的实施例的HMD设备的图；
图2a和图2b是示出根据本公开的实施例的HMD设备的构成的框图；
图3是被提供用来描述根据本公开的实施例的用于检测对象的移动的方法的图。
图4a至图4c是被提供用来描述根据本公开的实施例的根据对象的尺寸的操作的图；
图5a至图5c是被提供用来描述根据本公开的实施例的根据用户手势的形式的操作的图；
图6a和图6b是被提供用来描述根据本公开的实施例的用于改变屏幕状态的方法的图；
图7a和图7b是被提供用来描述根据本公开的实施例的根据用户的注视的操作的图；
图8a至图8b是被提供用来描述根据本公开的实施例的用于建立整个检测区域的方法的图；
图9是被提供用来描述根据本公开的实施例的根据显示器的当前透明度的操作的图；和
图10是被提供用来描述根据本公开实施例的用于控制HMD设备的方法的流程图。
具体实施方式
在下文中，将参考附图解释本公开的各种实施例。本公开的说明书可以不将本公开的范围限制为特定实施例。而它应该被解释为包括了各种修改、等同物和/或替代物。对于附图的描述，相似的组成元件被允许具有相同或相似的附图标记。
此外，本文使用的本公开的表达(诸如“第一”、“第二”等)用于将各种构成元件彼此区分开，而无管顺序或重要性如何。因此，这样的表达可以不限制相应的构成元件的顺序或重要性。例如，第一构成元件可以被命名为第二构成元件，而不脱离本公开的范围，并且相似地，可以改变第二构成元件并将其命名为第一构成元件。
此外，在本公开中，当一个构成元件(例如，第一构成元件)被陈述为可操作地或可通信地耦合或连接到另一构成元件(例如，第二构成元件)时，它应该被解释为包含每个构成元件的直接耦合和经由另一构成元件(例如，第三构成元件)的间接耦合。同时，当一个构成元件(例如，第一构成元件)被陈述为“直接耦合到”或“直接连接到”另一构成元件(例如，第二构成元件)，它可以被解释为在一个构成元件和另一构成元件之间不存在再一构成元件(例如，第三构成元件)。
在本公开中使用的术语是用来描述特定实施例，并且可以不旨在限制其他实施例的范围。此外，为了便于解释，本公开可以使用单数表达；但是除非明确指出相反的含义，否则单数表达可以解释为包含复数表达。此外，在本公开中使用的术语可以具有与由本领域技术人员通常理解的含义相同的含义。本公开的术语当中的、在字典中定义的术语可以被解释为与由相关技术的上下文指示的含义相同或相似的含义。此外，除非在本公开中明确定义，否则它可能不会被解释为理想的或过度正式的含义。在特定情况下，甚至当在本公开定义了术语，它们可能也不会被解释为排除了本公开的实施例。
以下将参考附图具体解释本公开的各种实施例。
图1是示出根据本公开的实施例的HMD设备100的图。
如图1中所示，头戴式显示器(HMD)设备100可以在用户头部佩戴，以提供虚拟现实服务。例如，HMD设备100可以具有眼镜、头戴式耳机、头盔等的形状并向用户的双眼提供图像。
例如，HMD设备100可以通过显示器显示图像来在用户的眼睛的前方提供图像。在该情况下，眼镜的镜腿或绑带可以形成在HMD设备100的后侧，允许用户将眼镜或绑带佩戴在他/她的头上。此外，HMD设备100可以安装有操纵跟踪板、返回按钮、音量调整键等。
替代地，HMD设备100可以被实施为需要分离的显示器的设备。例如，HMD设备100可以是眼镜、头戴式耳机、头盔等形式的主体(例如，壳体)，并且当智能电话、平板电脑等被安装在主体的前方时向用户的双眼提供图像。
同时，当用户将HMD设备100佩戴在头部时，用用户的左眼观看的区域和用右眼观看的区域可以在空间上分离。因此，HMD设备100可以在显示器上的用用户的左眼观看的区域和用右眼观看的区域上显示彼此不同的图像，使得彼此不同的图像可以进入左眼和右眼。
同时，HMD设备100可以被配置为跟踪用户的头部移动并立即更新视觉图像并提供3D图像以及2D图像。例如，当用户将HMD设备100佩戴在头部时，HMD设备100完全抓住用户的注视的控制，并提供360度立体图像和音频，并且安装在HMD设备100上的陀螺仪检测单元或加速度检测单元通过感测用户上下或左右移动他/她的头部来提供对于方向的合适的视觉效果。
因此，用户可以体验虚拟现实(Virtual Reality，VR)，因为他/她被提供有呈现在用户在全景3D图像当中放置他/她的注视的方向上的3D图像。
图2a和图2b是示出根据本公开的实施例的HMD设备的构成的框图。
参考图2a，HMD设备100包括显示器110、检测单元120和处理器130。
显示器110可以在处理器130的控制下显示内容。例如，显示器110
可以显示存储在HMD设备100中或从另一设备接收的内容。此外，在内容的重放期间显示器110可以覆盖和显示GUI等。
显示器110可以在处理器130的控制下改变显示器110的特定区域的屏幕状态。例如，显示器110可以拍摄外部图像并将其覆盖到显示器110的特定区域。替代地，显示器110可以增加显示器110的特定区域的透明度。
在该示例中，以覆盖形式显示外部图像可以包括调整覆盖的外部图像的闪烁时间量并显示结果。此外，改变透明度可以包括改变显示器110
的透明度。
此外，显示器110可以被实施为液晶显示面板(Liquid Crystal Display，
LCD)、有机发光二极管(Organic Light Emitting Diodes，OLED)等，尽管不限于此。取决于情况，显示器110可以被实施为柔性显示器、透明显示器等。
检测单元120可以检测在HMD设备100的前方的对象的移动。在该示例中，检测单元120可以主要包括相机或红外检测单元。相机被配置为拍摄静止图像或视频。具体地，相机可以用来拍摄位于HMD设备100的前方的对象。
此外，当检测单元120被提供有红外检测单元时，检测单元120可以包括多个红外检测单元。多个红外检测单元可以在HMD设备100的边缘上排列成一行。多个红外检测单元可以根据反射波的存在/不存在来确定位于HMD设备100的前方的对象的近似移动。
尽管以上描述了检测单元120被提供有相机或红外检测单元，但是实施例可以不限于此。例如，检测单元120可以被提供有超声波检测单元、深度图等。
当检测到对象的移动时，处理器130可以基于对象的位置，改变显示器110的屏幕状态以在HMD设备100的前方提供图像。因此，处理器130可以自然地表达内容显示屏幕和外部显示屏幕的任何意图的区域。
具体地，检测单元120可以包括相机，并且处理器130可以在对应于显示器110的区域上叠加并显示由相机拍摄的图像中的对应于检测到对象的移动的位置的图像。
此外，当检测到HMD设备100的移动时，处理器130可以确定对象相对于HMD设备100的移动的相对移动，以及基于该对象的相对移动改变屏幕状态以提供HMD设备100的前方图像。
同时，当检测到的对象的尺寸大于预设尺寸时，处理器130可以基于对象的位置改变屏幕状态以提供HMD设备100的前方图像。
此外，当对象的移动是预设形式的用户手势时，处理器130可以基于用户手势改变屏幕状态以提供HMD设备100的前方图像。
在该示例中，当检测到指向预设方向的用户手势时，处理器130可以改变屏幕状态以提供HMD设备100的前方图像。当在改变的屏幕状态中检测到指向相反方向的用户手势时，处理器130可以改变屏幕状态，以便不提供HMD设备100的前方图像。
同时，检测单元120可以检测用户的注视，并且处理器130可以改变屏幕状态，以在用户的注视被放置在屏幕状态已经改变的显示器110的特定区域上时保持改变的屏幕状态，或者在用户的注视在透明度将被改变的显示器的特定区域的外部时不提供HMD设备100的前方图像。
同时，当检测到对象的移动时，处理器130可以基于对象的位置来改变显示器110的特定区域的透明度。
例如，处理器130可以将透明度增加到最大值，在这种情况下，用户只能观看HMD设备100的外部。替代地，处理器130可以将透明度改变为中间值，在这种情况下，用户可以同时观看HMD设备100的外部以及内容。替代地，处理器130可以降低透明度以具有最小值，在这种情况下，用户只能观看内容。
此外，当检测到对象的移动时，处理器130可基于显示器110的特定区域的当前透明度来改变显示器110的特定区域的透明度。
同时，HMD设备100还可以包括存储装置以存储预设形式的对象和相应的移动的映射信息，并且处理器130可以基于映射信息确定要改变透明度的显示器110的特定区域和透明度的改变程度。
图2b是示出根据实施例的HMD设备100的详细构成的框图。参考图2b，HMD设备100包括显示器110、检测单元120、处理器130、储存装置140、通信器150、用户接口155、音频处理器160、视频处理器170、扬声器180、按钮181和麦克风182。下面将不再重复描述与图2a中所示的构成元件重叠的图2b中所示的构成元件。
处理器130可以使用存储在存储装置140中的各种程序来控制HMD设备100的整体操作。
具体地，处理器130包括RAM 131、ROM 132、主CPU133、图形处理器134、第一至第n接口(135-1至135-n)和总线136。
RAM 131、ROM 132、主CPU 133、图形处理器134、第一至第n接口135-1至135-n可以经由总线136彼此连接。
第一至第n接口135-1至135-n可以被连接到上述的各种构成元件。接口中的一个接口可以是通过网络连接到外部设备的网络接口。
主CPU 133可以访问存储装置140并使用存储在存储装置140中的O/S执行启动(booting)。此外，主CPU 133可以使用存储在存储装置140中的各种程序来执行各种操作。
ROM 132可以存储用于系统启动的指令集。当输入开启命令并且供电时，主CPU133可以根据存储在ROM 132中的指令将存储在存储装置140中的O/S复制到RAM 131，并通过实施O/S来启动系统。当启动完成时，主CPU 133可以将存储在存储装置140中的各种应用程序复制到RAM 131，并通过实施被复制到RAM 131的应用程序来执行各种操作。
图形处理器134可以使用计算单元(未示出)和渲染器(未示出)生成包括诸如图标、图像、文本等的各种对象的屏幕。计算单元(未示出)可以基于接收到的控制命令、根据屏幕的布局来计算每个对象被显示的属性值(诸如坐标值、形状、尺寸、颜色等)。渲染器(未示出)可以基于在计算单元(未示出)处计算的属性值来生成包括对象的屏幕的各种布局。在渲染器(未示出)处生成的屏幕可以被显示在显示器110的显示区域中。
同时，可以利用存储在存储装置140中的程序来执行处理器130的上述操作。
存储装置140可以存储各种数据，诸如用于驱动HMD设备100的O/S(操作系统)软件模块、各种内容、显示控制模块、对象检测模块等。
在这种情况下，处理器130可以基于存储在存储装置140中的信息显示内容，以及改变显示器110的特定区域的透明度。
通信器150被配置为根据各种类型的通信方法执行与各种类型的外部设备的通信。通信器150包括WiFi芯片151、蓝牙芯片152、无线通信芯片153、NFC芯片154等。处理器130可以使用通信器150执行与各种外部设备的通信。
WiFi芯片151和蓝牙芯片152可以分别根据WiFi方法和蓝牙方法执行通信。当使用WiFi芯片151或蓝牙芯片152时，在各条的发送和接收之前，各条连接信息(诸如SSID、会话密钥等)可以首先被发送和接收，并且使用该连接信息来连接通信。无线通信芯片153是指根据诸如IEEE、Zigbee、第三代(3rd Generation，3G)、第三代合作伙伴计划(3rdGeneration Partnership Project，3GPP)、长期演进(Long Term Evolution，LTE)等的各种通信标准执行通信的芯片。NFC芯片154是指以近场通信(Near Field Communication，NFC)方法操作的芯片，其使用诸如135kHz、13.56MHz、433MHz、860～960MHz、2.45GHz等的各种RF-ID频率带宽当中的13.56MHz带宽。
同时，通信器150可以执行与电子设备的单向通信或双向通信。当执行单向通信时，通信器150可以从电子设备接收信号。当执行双向通信时，通信器150可以从电子设备接收信号，或者将信号发送到电子设备。
用户接口155可以接收各种用户交互。用户接口155可以接收键盘、鼠标等的输入。替代地，用户接口155可以被实施为从远程控制设备接收远程控制信号的远程控制器接收器、检测用户移动的相机、接收用户语音的麦克风等。
此外，当HMD设备100被实施为基于触摸的电子设备时，用户接口155可以被实施为形成具有触摸板的层间结构的触摸屏。在这种情况下，用户接口155可以用作上述显示器110。具体地，用户可以通过触摸显示器110的外部来控制HMD设备100。
同时，检测单元120包括地磁检测单元、陀螺仪检测单元、加速度检测单元、接近检测单元等。检测单元120可以检测各种操控，诸如旋转、倾斜、按压、接近等。
地磁检测单元是用于检测HMD设备100的旋转状态、移动方向等的检测单元。陀螺仪检测单元是用于检测HMD设备100的旋转角度的检测单元。可以提供地磁检测单元和陀螺仪检测单元两者；然而，即使仅提供其中之一，HMD设备100也可以检测旋转状态。
加速度检测单元是用于检测HMD设备100的倾斜度(titling degree)的检测单元。
接近检测单元是用于检测在不直接接触显示器的表面的情况下的接近移动的检测单元。接近检测单元可以被实施为各种类型的检测单元，诸如形成高频磁场并检测由在对象接近时变化的磁场特征引起的电流的高频振荡型、使用磁体的磁型、以及检测由于对象接近而变化的静电容量的静电容量型。
音频处理器160被配置为执行关于音频数据的处理。音频处理器160可以执行各种处理，诸如音频数据的解码、放大、噪声滤波等。
视频处理器170被配置为执行关于视频数据的处理。视频处理器170可以执行各种图像处理，诸如视频数据的解码、缩放、噪声滤波、帧率转换、分辨率转换等。
扬声器180被配置为输出各种报警声音或语音消息、以及在音频处理器160中处理的音频数据。
按钮181可以是形成在HMD设备100的外部主体的前部、侧部、后侧等的任意(voluntrary)区域上的各种形式的按钮，诸如机械按钮、触摸板、滚轮等。
麦克风182被配置为接收用户语音或其他声音，并将其转换到音频数据。
以下将描述用于理解本公开的基本构成和各种实施例。
图3是被提供用来描述根据本公开的实施例的用于检测对象的移动的方法的图。
如图3所示，用户可以佩戴HMD设备100来体验虚拟现实。处理器130可以显示用于用户体验虚拟现实的内容，并通过检测单元120来检测HMD设备100的前方方向。处理器130可以检测HMD设备100的前方的道路、汽车310、公交320等，但是图3所示的场景可以不提供给用户。换句话说，图3的场景是由检测单元120检测到的场景，除非显示器的特定区域的透明度根据下面将要描述的对象的移动而改变，否则该场景不会被用户观看。
当检测到对象的移动时，处理器130可以基于对象的位置改变显示器110的屏幕状态以提供HMD设备100的前方图像。例如，如图3的上侧图中所示，在检测到汽车310朝左方向移动时，处理器130可以基于检测到的汽车310的位置通过改变显示器110的特定区域的屏幕状态来向用户显示汽车310正在移动。
在该示例中，检测单元120可以包括相机。此外，处理器130可以在显示器110的相应区域上覆盖和显示由相机拍摄的图像当中的、对应于检测到对象的移动的位置的图像。
例如，处理器130可以在显示器110的相应区域上覆盖并显示拍摄的图像当中的、汽车310正朝左侧方向移动的区域的图像。处理器130可以将显示器110的整个区域与拍摄的图像进行比较，并确定显示器110的相应区域。例如，拍摄的图像的左下端也可以是显示器110上的左下端。具体地，处理器130可以将显示器110的整个区域的尺寸与拍摄的图像的尺寸进行比较，并根据比例关系确定显示器110的相应区域。替代地，当检测到对象的移动时，处理器130可以基于对象的位置改变显示器110的特定区域的透明度。例如，当检测到汽车310朝左侧方向移动时，处理器130可以基于检测到的汽车310的位置将显示器110的特定区域改变为透明的，并且向用户显示汽车310正在移动。
同时，汽车310的位置可以指示与用户的相对位置，而不是绝对位置。也就是说，处理器130可以根据用户与汽车310之间的距离，改变显示器110的屏幕状态。
当检测到HMD设备100的移动时，处理器130可以确定对象相对于HMD设备100的移动的相对移动。例如，如图3中的下侧图所示，当用户朝左侧移动他的头部时，检测单元120可以检测到HMD设备100的前方的汽车310、公交320等在右侧移动。在这种情况下，处理器130可以确定HMD设备100被移动并且确定对象的实际移动。也就是说，处理器130可以根据HMD设备100的移动忽略对象的移动，并且仅将对象的实际移动确定为有效的移动。
处理器130可以使用上面描述的地磁检测单元、陀螺仪检测单元、加速度检测单元、接近检测单元等来确定HMD设备100的移动。
替代地，处理器130可以仅根据软件来检测对象的实际移动。例如，当检测的区域被完全移动时处理器130可以确定HMD设备100被移动，并且当检测的区域的部分被移动时处理器130可以确定对象被移动。
替代地，当在检测的区域被完全移动的同时一些对象的移动速度不同于整个区域的移动速度时，处理器130可以确定HMD设备100被移动，并且一些对象相对于HMD设备100的移动而相对地移动。
图3的下侧图示出只有汽车310实际上正在移动，而处理器130可能确定HMD设备100被移动，并且确定汽车310相对于HMD设备100的移动而相对地移动，如上所述。
处理器130可以基于对象的相对移动来改变屏幕状态以提供HMD设备100的前方图像。例如，如图3中所示，当确定汽车310在左侧移动时，处理器130可以基于检测到的汽车310的位置来改变显示器110的下部区域的屏幕状态。
同时，尽管图3示出汽车310移动到左侧，但是处理器130可以检测到汽车310在另一方向移动。具体地，处理器130可以检测到汽车310正朝向用户靠近。例如，处理器130可以在检测到汽车310尺寸增加时改变显示器110的特定区域的屏幕状态。也就是说，处理器130可以从整个检测区域确定由检测到的汽车310所占据的区域的尺寸，并且确定汽车310的移动。
图4a至4c是被提供用来描述根据本公开的实施例的根据对象的尺寸的操作的图。
如在图4a中所示，当检测到的对象的尺寸大于预设尺寸时，处理器130可以基于对象的位置改变屏幕状态以提供HMD设备100的前方图像。例如，处理器130可以在检测HMD设备100的前方方向时检测到公交410正在移动远去。然而，当确定由于到公交410的远程距离而公交410小于预设尺寸时，处理器130可以不改变显示器110的特定区域的屏幕状态。
然而，如图4b中所示，由于设备是具有比公交410小得多的尺寸的智能电话420，当离HMD设备100的距离近时，处理器130可以基于智能电话420的位置改变显示器110的特定区域的屏幕状态。也就是说，当确定检测到的智能电话420大于预设尺寸时，处理器130可以改变与智能电话420的位置相对应的、显示器110的特定区域的屏幕状态，在这种情况下，用户能够观看智能电话420。
处理器130可以将检测到的对象的尺寸与预设尺寸进行比较。例如，如图4c中所示，处理器130可以将整个检测区域划分成网格形式，并基于由移动对象所占据的网格单元的数量来确定检测到的对象的尺寸是否大于预设尺寸。
然而，实施例可以不限于此，并且因此，网格单元的数量可以变化。例如，网格单元可以比图4c中所示的网格单元更密集。同时，用户可以建立参考数量的网格单元。
图5a至图5c是被提供用于描述根据本公开的实施例的根据用户手势的形式的操作的图。
如图5a中所示，当对象的移动是预设形式的用户手势时，处理器130可以基于用户手势改变屏幕状态以提供HMD设备100的前方图像。例如，处理器130可以根据将用户的手从左侧移动到右侧的手势来改变与检测到的用户的手被移动的位置相对应的、显示器110的特定区域的屏幕状态。
图5a示出实际提供给正在体验虚拟现实的用户的图像。也就是说，处理器130可以在向用户提供射击游戏屏幕的同时，根据用户手势来改变显示器110的特定区域的屏幕状态，使得用户能够观看在HMD设备100的前方的他的手和键盘。如上所述，处理器130可以通过覆盖并显示拍摄的图像或改变显示器110的透明度来提供前方图像，从而允许用户控制键盘。
同时，如图5b中所示，当对象的移动是预设形式的用户手势时，处理器130可以控制预设功能。例如，处理器130可以根据将用户的手从整个检测区域的下侧移动到上侧的手势，从射击游戏屏幕改变到电影内容并显示。
处理器130可以基于在整个检测区域中的、执行对象的移动的区域来执行另一功能。例如，如图5b中所示，处理器130可以根据将用户的手从整个检测区域的右侧的下侧移动到上侧的手势来从射击游戏屏幕改变为电影内容并显示。替代地，处理器130可以根据将用户的手从整个检测区域的左侧的下侧移动到上侧的手势来增加射击游戏屏幕的音量。
处理器130可以基于对象的移动方向来执行另一功能。例如，处理器130可以根据将用户的手从下侧移动到上侧的手势来从射击游戏屏幕改变到电影内容并显示。替代地，处理器130可以根据将用户的手从上侧移动到下侧的手势来将显示器110的整个区域改变为透明的。
同时，如图5c中所示，处理器130可以通过考虑对象的形状来改变显示器110的特定区域的屏幕状态。例如，处理器130可以根据握紧拳头并将其从左侧移动到右侧的手势来改变显示器110的特定区域的屏幕状态。在这种情况下，当用户不握紧拳头时，处理器130可以不执行任何操作。
处理器130可以通过考虑以下各项中的至少一项来改变显示器110的特定区域的屏幕状态：对象的形式；执行对象的移动的整个检测区域的面积；和对象的移动方向。
同时，HMD设备100还可以包括存储装置140，用于存储关于预设形式的对象和相应的移动的映射信息。这样的映射信息可以在制造HMD设备100时初始建立，尽管它可以由用户输入。
处理器130可以基于映射信息确定要改变透明度的显示器110的特定区域和透明度的改变程度。例如，处理器130可以基于检测到的用户手指的数量来确定透明度的改变程度。
图6a和6b是被提供用来描述根据实施例的用于改变屏幕状态的方法的图。
如图6a中所示，当检测到指向预设方向的用户手势时，处理器130可以改变屏幕状态以提供HMD设备100的前方图像。如上所述，处理器130可以根据将用户的手从左侧移动到右侧的手势来改变与检测到用户的手的移动的位置相对应的、显示器110的特定区域的屏幕状态。
图6b示出用于在如图6a那样已经改变屏幕状态之后再次改变屏幕状态的方法。当在改变的屏幕状态中检测到指向相反方向的用户手势时，处理器130可以改变屏幕状态，以便不提供HMD设备100的前方图像。在该示例中，“相反方向”是指与改变初始屏幕状态的手势的预设方向相反的方向。
图6a和6b仅仅是实施例之一，并且本公开不限于此。例如，当检测到手掌时，处理器130可以根据手掌的移动来改变显示器110的特定区域的屏幕状态，以提供手掌经过的区域的图像。当检测到拳头时，处理器130可以根据拳头的移动来改变显示器110的特定区域的屏幕状态，以便不提供拳头已经过去的区域的图像。
替代地，处理器130可以区分右手和左手并确定是否提供前方图像。
图7a和7b是被提供用来描述根据实施例的根据用户的注视的操作的图。
HMD设备100的检测单元120可以检测用户的注视。例如，检测单元120可以包括拍摄用户的注视的相机以及拍摄HMD设备100的前方方向的相机。然而，实施例不限于此，并且因此，可以将能够检测用户的注视的任何设备用作检测单元120。
如图7a中所示，当用户的注视被放置在屏幕状态已经改变的显示器110的特定区域上时，处理器130可以保持改变的屏幕状态。因此，用户可以连续地观看HMD设备100的前方的键盘。
同时，如图7b中所示，当用户的注视在屏幕状态已经改变的显示器110的特定区域的外部时，处理器130可以改变屏幕状态，以便不提供HMD设备100的前方图像。也就是说，用户可以改变注视的位置并再次观看射击游戏屏幕。
然而，实施例可以不限于此，并且因此，只有当用户的注视在屏幕状态已经改变的显示器110的特定区域的外部超过预设时间时，处理器130才可以改变屏幕状态，以便不提供HMD设备100的前方图像。
此外，当用户的注视在屏幕状态已经改变的显示器110的特定区域的外部时，处理器130可以逐渐地改变屏幕状态。例如，处理器130可以逐渐地降低重叠的前方图像的透明度或者逐渐地降低显示器110的透明度。
处理器130可以在逐渐地改变屏幕状态的同时，当用户的注视再次指向屏幕状态已经改变的显示器110的特定区域时，保持注视的时间点时的屏幕状态。此外，当在保持屏幕状态的同时用户的注视被保持超过预设时间时，处理器130可以改变屏幕状态以再次提供HMD设备100的前方图像。
图8a至图8b是被提供用来描述根据本公开的实施例的用于建立整个检测区域的方法的图。
如图8a所示，HMD设备100的检测单元120可以包括相机810。此外，用户的视角820可以不同于照相机810的视角830。
在该示例中，用户的视角820是指在显示器110透明的情况下，用户能够通过显示器110观看HMD设备100的前方方向的角度。相机810的视角830指示能够由相机810捕捉的场景的观看(viewing)，视角830可以被实施为各种视角830。然而，下面将解释相机810的视角830比用户的视角820宽或相同。
首先将描述相机810的视角830比用户的视角820宽的情况。图8b示出用户基于用户的视角820观看的场景，图8c示出基于相机810的视角830拍摄的场景。
处理器130可以检测在由相机810拍摄的区域当中与用户的注视相对应的区域内的对象的移动，以及基于对象的位置改变显示器的特定区域的屏幕状态。也就是说，因为基于相机810的视角830拍摄的场景更宽，所以处理器130可以仅将与由用户观看的场景相对应的区域840内的对象的移动确定为有意义的移动。
同时，当相机810的视角830与用户的视角820相同时，处理器130可以检测在由相机810拍摄的区域当中与用户的注视相对应的区域内的对象的移动。上述操作可以减少由用户实际观看的区域与由相机810拍摄的区域之间的误差。
此外，处理器130可以基于对象的位置和由显示器110确定的用户的视角中的至少一个来确定屏幕状态已经改变的显示器110的特定区域。
图9是提供用来描述根据本公开的实施例的在显示器的当前透明度时的操作的图。
如图9中所示，当检测到对象的移动时，处理器130可以基于显示器110的特定区域的当前透明度来改变显示器110的特定区域的透明度。例如，当显示器110的特定区域的透明度为60％并且当检测到对象的移动时，处理器130可以降低显示器110的特定区域的透明度。替代地，当显示器110的特定区域的透明度为40％并且当检测到对象的移动时，处理器130可以降低显示器110的特定区域的透明度。也就是说，处理器130可以将显示器110的特定区域的透明度改变为完全透明或完全不透明，并且在该示例中，基于当前透明度来确定如何改变。
替代地，处理器130可以通过考虑显示器110的特定区域的当前透明度、对象的形状、在整个检测区域中执行对象的移动的区域以及对象的移动方向中的至少一个来改变显示器110的特定区域的透明度。
图10是被提供用来描述根据本公开实施例的用于控制HMD设备的方法的流程图。
首先，在S1010处，可以在显示器上显示内容。此外，在S1020处，可以检测HMD设备的前方的对象的移动。当检测到对象的移动时，在S1030处，可以基于对象的位置来改变显示器的屏幕状态，以提供HMD设备的前方图像。
具体地，在1030处的改变可以在与显示器相对应的区域上重叠和显示由相机拍摄的图像当中的、对应于检测到对象的移动的位置的图像。
在该示例中，当检测到HMD设备的移动时，在S1030处的改变可以包括确定对象相对于HMD设备的移动的相对移动以及基于对象的相对运动来改变屏幕状态以提供HMD设备的前方图像。
替代地，在S1030处的改变可以在检测到的对象的尺寸大于预设尺寸时基于对象的位置来改变屏幕状态以提供HMD设备的前方图像。
此外，在S1030处的改变可以在对象的移动是预设形式的用户手势时，基于用户手势来改变屏幕状态以提供HMD设备的前方图像。
替代地，在S1030处的改变可以包括：当检测到指向预设方向的用户手势时，改变屏幕状态以提供HMD设备的前方图像；以及当在改变的屏幕状态中检测到指向相反方向的用户手势时，改变屏幕状态以便不提供HMD设备的前方图像。
同时，当检测到用户的注视被放置在屏幕状态已经改变的显示器的特定区域上时，可以保持屏幕状态，并且当用户的注视在显示器的特定区域的外部时，可以改变屏幕状态以便不提供HMD设备的前方图像。
同时，在S1030处的改变可以在检测到对象的移动时基于对象的位置来改变显示器的特定区域的透明度。
替代地，在S1030处的改变可以在检测到对象的移动时基于显示器的特定区域的当前透明度来改变显示器的特定区域的透明度。
此外，在S1030处的改变可以基于预定形式的对象和相应的移动的映射信息来确定要改变透明度的显示器的特定区域和透明度的改变程度。
根据上述各种实施例，用户可以通过根据HMD设备的前方的对象的移动来改变HMD设备中提供的显示器的特定区域的透明度来观看HMD设备的前方方向。
同时，尽管以上描述了基于HMD设备的前方的对象的移动来改变透明度，但是不限于此。例如，可以基于用户语音识别来改变显示器的透明度。
同时，根据上述各种实施例的HMD设备的控制方法可以被实施为程序代码，该程序代码能够在计算机中运行，并且在被存储在各种非暂时性计算机可读记录介质中的同时被提供给每个服务器或设备以由处理器运行。
例如，可以提供存储顺序地执行在显示器上显示内容、检测HMD设备的前方的对象的移动以及当检测到对象的移动时基于对象的位置来改变显示器的屏幕状态以提供HMD设备的前方图像的程序的非暂时性计算机可读记录介质。
非暂时性计算机可读记录介质是指半永久性地存储数据并由机器读取的介质，而不是诸如寄存器、高速缓存、存储器等的临时存储数据的介质。具体而言，上述各种应用或程序可以存储和提供在诸如CD、DVD、硬盘、蓝光光盘、USB、存储卡、ROM等的非暂时性计算机可读记录介质中。
前述示例性实施例和优点仅仅是示例性的，而不被解释为限制性的。本教导能够容易地应用于其它类型的装置。并且，示例性实施例的描述旨在是说明性的，而不是限制权利要求的范围，并且许多替换、修改和变化对于本领域技术人员来说是显而易见的。

Claims (9)

1.一种头戴式显示器HMD设备，包括：
显示器，被配置为显示内容；
检测单元，被配置为检测HMD设备的前方的对象的移动；和
处理器，被配置为当检测到对象的移动以及检测到的对象的尺寸大于预设尺寸时，基于对象的位置来改变所述显示器的屏幕状态以提供所述HMD设备的前方图像。
2.根据权利要求1所述的HMD设备，其中，所述检测单元还包括相机，并且
其中，所述处理器在显示器的相应区域上重叠和显示由所述相机拍摄的图像当中的、对应于检测到对象的移动的位置的图像。
3.根据权利要求1所述的HMD设备，其中，当检测到HMD设备的移动时，所述处理器确定对象相对于HMD设备的移动的相对移动，以及基于所述对象的相对移动来改变屏幕状态以提供HMD设备的前方图像。
4.根据权利要求1所述的HMD设备，其中，当检测到对象的移动时，所述处理器基于对象的位置来改变所述显示器的特定区域的透明度。
5.根据权利要求4所述的HMD设备，其中，当检测到对象的移动时，所述处理器基于显示器的特定区域的当前透明度来改变显示器的特定区域的透明度。
6.根据权利要求4所述的HMD设备，还包括储存装置，其被配置为存储预设形式的对象和相应的移动的映射信息，
其中，所述处理器基于所述映射信息确定要改变透明度的显示器的特定区域和透明度的改变程度。
7.一种用于控制头戴式显示器HMD设备的方法，包括：
在显示器上显示内容；
检测HMD设备的前方的对象的移动；以及
当检测到对象的移动以及检测到的对象的尺寸大于预设尺寸时，基于对象的位置改变显示器的屏幕状态以提供HMD设备的前方图像。
8.根据权利要求7所述的方法，其中，所述改变包括在显示器的相应区域上重叠和显示由相机拍摄的图像当中的、对应于检测到对象的移动的位置的图像。
9.根据权利要求7所述的方法，其中，所述改变包括：
当检测到HMD设备的移动时，确定对象相对于HMD设备的移动的相对移动；以及
基于对象的相对移动来改变屏幕状态以提供HMD设备的前方图像。
CN201680079475.1A 2016-01-20 2016-03-17 Hmd设备及其控制方法 Active CN108474950B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2016-0007086 2016-01-20
KR1020160007086A KR102610120B1 (ko) 2016-01-20 2016-01-20 Hmd 디바이스 및 그 제어 방법
PCT/KR2016/002724 WO2017126741A1 (ko) 2016-01-20 2016-03-17 Hmd 디바이스 및 그 제어 방법

Publications (2)

Publication Number Publication Date
CN108474950A CN108474950A (zh) 2018-08-31
CN108474950B true CN108474950B (zh) 2021-09-28

Family

ID=59362430

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680079475.1A Active CN108474950B (zh) 2016-01-20 2016-03-17 Hmd设备及其控制方法

Country Status (5)

Country Link
US (2) US10643579B2 (zh)
EP (1) EP3370102B1 (zh)
KR (1) KR102610120B1 (zh)
CN (1) CN108474950B (zh)
WO (1) WO2017126741A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102029906B1 (ko) * 2017-11-10 2019-11-08 전자부품연구원 이동수단의 가상현실 콘텐츠 제공 장치 및 방법
CN111819518A (zh) * 2018-03-13 2020-10-23 索尼公司 信息处理设备、信息处理方法和记录介质
KR102220091B1 (ko) * 2018-11-26 2021-02-24 가천대학교 산학협력단 시선 기반의 360도 영상 스트리밍
JP7238456B2 (ja) * 2019-02-21 2023-03-14 セイコーエプソン株式会社 表示システム、情報処理装置の制御プログラム、及び情報処理装置の制御方法
US11520409B2 (en) 2019-04-11 2022-12-06 Samsung Electronics Co., Ltd. Head mounted display device and operating method thereof
US10992926B2 (en) 2019-04-15 2021-04-27 XRSpace CO., LTD. Head mounted display system capable of displaying a virtual scene and a real scene in a picture-in-picture mode, related method and related non-transitory computer readable storage medium
EP3734417A1 (en) * 2019-05-02 2020-11-04 XRSpace CO., LTD. Head mounted display system capable of displaying a virtual scene and a real scene in a picture-in-picture mode, related method and related non-transitory computer readable storage medium
TWI719483B (zh) 2019-05-17 2021-02-21 雅得近顯股份有限公司 便利備忘操作系統
KR102048354B1 (ko) * 2019-07-10 2020-01-23 한화시스템(주) 무선 헬멧에서의 영상 디스플레이 장치 및 그 방법
KR102616729B1 (ko) 2022-11-09 2023-12-21 한화시스템 주식회사 도심 항공 모빌리티용 비행 장치 및 도심 항공 모빌리티용 비행체에서 콘텐츠 제공 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102884490A (zh) * 2010-03-05 2013-01-16 索尼电脑娱乐美国公司 在共享的稳定虚拟空间上维持多视图
CN103984097A (zh) * 2013-02-12 2014-08-13 精工爱普生株式会社 头戴式显示装置、头戴式显示装置的控制方法以及图像显示系统
WO2015151500A1 (ja) * 2014-03-31 2015-10-08 株式会社デンソー 車両用表示制御装置

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7952594B2 (en) * 2004-05-27 2011-05-31 Canon Kabushiki Kaisha Information processing method, information processing apparatus, and image sensing apparatus
US9111498B2 (en) 2010-08-25 2015-08-18 Eastman Kodak Company Head-mounted display with environmental state detection
US8941559B2 (en) * 2010-09-21 2015-01-27 Microsoft Corporation Opacity filter for display device
US20120249587A1 (en) 2011-04-04 2012-10-04 Anderson Glen J Keyboard avatar for heads up display (hud)
KR101824501B1 (ko) 2011-05-19 2018-02-01 삼성전자 주식회사 헤드 마운트 디스플레이 장치의 이미지 표시 제어 장치 및 방법
US20120327116A1 (en) 2011-06-23 2012-12-27 Microsoft Corporation Total field of view classification for head-mounted display
US8558759B1 (en) 2011-07-08 2013-10-15 Google Inc. Hand gestures to signify what is important
US8228315B1 (en) * 2011-07-12 2012-07-24 Google Inc. Methods and systems for a virtual input device
JP2015504616A (ja) * 2011-09-26 2015-02-12 マイクロソフト コーポレーション 透過近眼式ディスプレイのセンサ入力に基づく映像表示修正
JP2013125247A (ja) * 2011-12-16 2013-06-24 Sony Corp ヘッドマウントディスプレイ及び情報表示装置
US9213185B1 (en) * 2012-01-06 2015-12-15 Google Inc. Display scaling based on movement of a head-mounted display
JP5580855B2 (ja) 2012-06-12 2014-08-27 株式会社ソニー・コンピュータエンタテインメント 障害物回避装置および障害物回避方法
US9568735B2 (en) 2012-08-07 2017-02-14 Industry-University Cooperation Foundation Hanyang University Wearable display device having a detection function
US8482527B1 (en) 2012-09-14 2013-07-09 Lg Electronics Inc. Apparatus and method of providing user interface on head mounted display and head mounted display thereof
JP6229260B2 (ja) * 2012-11-20 2017-11-15 セイコーエプソン株式会社 虚像表示装置
JP2013077013A (ja) 2012-11-20 2013-04-25 Sony Corp 表示装置、表示方法
KR20140090552A (ko) * 2013-01-09 2014-07-17 엘지전자 주식회사 시선 캘리브레이션을 제공하는 헤드 마운트 디스플레이 및 그 제어 방법
US9619021B2 (en) * 2013-01-09 2017-04-11 Lg Electronics Inc. Head mounted display providing eye gaze calibration and control method thereof
KR20140130321A (ko) 2013-04-30 2014-11-10 (주)세이엔 착용형 전자 장치 및 그의 제어 방법
KR20140129936A (ko) * 2013-04-30 2014-11-07 인텔렉추얼디스커버리 주식회사 헤드 마운트 디스플레이 및 이를 이용한 콘텐츠 제공 방법
TW201447375A (zh) 2013-06-13 2014-12-16 Hsiu-Chi Yeh 擴增實境之頭戴式電子裝置及方法
KR20150006128A (ko) 2013-07-08 2015-01-16 엘지전자 주식회사 헤드 마운트 디스플레이 장치 및 그 동작방법
US9361733B2 (en) * 2013-09-02 2016-06-07 Lg Electronics Inc. Portable device and method of controlling therefor
JP5825328B2 (ja) * 2013-11-07 2015-12-02 コニカミノルタ株式会社 透過型ｈｍｄを有する情報表示システム及び表示制御プログラム
JP6294054B2 (ja) 2013-11-19 2018-03-14 株式会社Ｎｔｔドコモ 映像表示装置、映像提示方法及びプログラム
KR20150101612A (ko) 2014-02-27 2015-09-04 엘지전자 주식회사 폐쇄형 시야(Closed-view)를 제공하는 헤드 마운티드 디스플레이 및 그 제어 방법
KR101665027B1 (ko) * 2014-03-05 2016-10-11 (주)스코넥엔터테인먼트 헤드 마운트 디스플레이용 헤드 트래킹 바 시스템
WO2017120660A1 (en) * 2016-01-12 2017-07-20 Esight Corp. Language element vision augmentation methods and devices

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102884490A (zh) * 2010-03-05 2013-01-16 索尼电脑娱乐美国公司 在共享的稳定虚拟空间上维持多视图
CN103984097A (zh) * 2013-02-12 2014-08-13 精工爱普生株式会社 头戴式显示装置、头戴式显示装置的控制方法以及图像显示系统
WO2015151500A1 (ja) * 2014-03-31 2015-10-08 株式会社デンソー 車両用表示制御装置

Also Published As

Publication number Publication date
EP3370102B1 (en) 2021-10-13
US20200227009A1 (en) 2020-07-16
CN108474950A (zh) 2018-08-31
US11164546B2 (en) 2021-11-02
EP3370102A4 (en) 2018-12-05
WO2017126741A1 (ko) 2017-07-27
KR20170087292A (ko) 2017-07-28
EP3370102A1 (en) 2018-09-05
US20180366091A1 (en) 2018-12-20
KR102610120B1 (ko) 2023-12-06
US10643579B2 (en) 2020-05-05

Similar Documents

Publication Publication Date Title
CN108474950B (zh) Hmd设备及其控制方法
CN108499105B (zh) 在虚拟环境中进行视角调整的方法、装置及存储介质
US11262835B2 (en) Human-body-gesture-based region and volume selection for HMD
US20210191600A1 (en) Devices, Methods, and Graphical User Interfaces for Displaying Applications in Three-Dimensional Environments
JP6551502B2 (ja) ヘッドマウントディスプレイ、情報処理方法、及びプログラム
US20100053151A1 (en) In-line mediation for manipulating three-dimensional content on a display device
JP7382972B2 (ja) 頭部装着型画像ディスプレイデバイスのための入力を提供するための方法および装置
JP7005161B2 (ja) 電子機器及びその制御方法
CN104281260A (zh) 操作虚拟世界里的电脑和手机的方法、装置以及使用其的眼镜
CN108027707B (zh) 用户终端设备、电子设备以及控制用户终端设备和电子设备的方法
US11379033B2 (en) Augmented devices
CN110968190B (zh) 用于触摸检测的imu
CN112136096A (zh) 将物理输入设备显示为虚拟对象
WO2021061310A1 (en) Displaying representations of environments
EP3702008A1 (en) Displaying a viewport of a virtual space
JP7005160B2 (ja) 電子機器及びその制御方法
WO2018186004A1 (ja) 電子機器及びその制御方法
JP6999822B2 (ja) 端末装置および端末装置の制御方法
US20230042447A1 (en) Method and Device for Managing Interactions Directed to a User Interface with a Physical Object
US20240103680A1 (en) Devices, Methods, and Graphical User Interfaces For Interacting with Three-Dimensional Environments
KR20240025593A (ko) 객체에 대한 동작 양식을 동적으로 선택하기 위한 방법 및 디바이스

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant