CN107037876A - 系统及控制其的方法 - Google Patents

系统及控制其的方法 Download PDF

Info

Publication number
CN107037876A
CN107037876A CN201610950269.5A CN201610950269A CN107037876A CN 107037876 A CN107037876 A CN 107037876A CN 201610950269 A CN201610950269 A CN 201610950269A CN 107037876 A CN107037876 A CN 107037876A
Authority
CN
China
Prior art keywords
hmd
mobile terminal
controller
default
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610950269.5A
Other languages
English (en)
Other versions
CN107037876B (zh
Inventor
朴清荷
朱高恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN107037876A publication Critical patent/CN107037876A/zh
Application granted granted Critical
Publication of CN107037876B publication Critical patent/CN107037876B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/60—Rotation of a whole image or part thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces

Abstract

本发明公开系统及控制其的方法。系统包括头戴式显示器(HMD)，该HMD具有显示单元和感测单元中的至少一个并且被配置成以有线方式被连接到移动终端；并且移动终端被配置成控制HMD，其中移动终端包括：终端主体；接口单元，该接口单元被设置在终端主体中并且被配置成以有线方式被连接到HMD；感测单元，该感测单元被配置成感测终端主体的移动；以及控制器，该控制器被配置成在HMD的显示单元上输出虚拟空间的预设第一区域，并且，基于通过HMD的感测单元感测到的HMD的移动，控制HMD的显示单元以显示不同于虚拟空间的第一区域的虚拟空间的第二区域。

Description

系统及控制其的方法
技术领域
本公开涉及一种包括能够控制头戴式显示器(HMD)的移动终端的系统，和控制其的方法。
背景技术
根据它们的移动性，终端通常可以被分类成移动/便携式终端或者固定终端。根据是否用户能够直接地携带终端，移动终端也可以被分类成手持式终端或者车载终端。
移动终端已经变成日益增长更多的功能。这样的功能的示例包括数据和语音通信、经由相机捕获图像和视频、记录音频、经由扬声器系统播放音乐文件、以及在显示器上显示图像和视频。一些移动终端包括支持玩游戏的附加的功能性，而其它的终端被配置为多媒体播放器。最近，移动终端已经被配置成接收允许观看诸如视频和电视节目的内容的广播和多播信号。
随着其变成多功能的，能够允许移动终端捕获静止图像或者运动图像，播放音乐或者视频文件、玩游戏、接收广播等等，使得被实现为一体化多媒体播放器。
最近，已经开发被配置成被安装在人类身体的部位上的可佩戴式眼镜型终端。被安装在用户的头上的眼镜式终端可以是头戴式显示器(HMD)。
头戴式显示器(HMD)指的是像眼镜一样可以佩戴在用户的头上以允许用户查看图像(内容)的各种显示装置。因为数字装置在重量和大小上已经减少，所以已经开发各种可佩戴式计算机，并且也广泛地使用HMD。
被设置在诸如HMD的眼镜式终端的显示装置可以与增强现实技术、N屏幕技术等等相组合，超出简单图像输出功能，以提供各种用户便利。
为了支持和增加终端和HMD的功能，可以考虑终端的结构部分和/或软件部分和HMD的结构部分和/或软件部分的改进。
发明内容
因此，详细描述的一个方面是为了提供一种用于以最佳方式通过移动终端控制头戴式显示器(HMD)的系统，和用于控制该系统的方法。
详细描述的另一方面是为了提供一种用于使用移动终端控制能够在HMD上输出的屏幕信息的系统，和用于控制该系统的方法。
为了实现这些和其它的优点并且根据本说明书的用途，如在此具体化和广泛地描述的，一种包括移动终端和头戴式显示器(HMD)的系统，包括：HMD，该HMD具有显示单元和感测单元中的至少一个并且被配置成以有线方式被连接到移动终端；并且移动终端被配置成控制HMD，其中移动终端包括：终端主体；接口单元，该接口单元被设置在终端主体中并且被配置成以有线方式被连接到HMD；感测单元，该感测单元被配置成感测终端主体的移动；以及控制器，该控制器被配置成在HMD的显示单元上输出虚拟空间的预设第一区域并且基于通过HMD的感测单元感测到的HMD的移动控制HMD的显示单元以显示不同于虚拟空间的第一区域的虚拟空间的第二区域，其中在HMD的显示单元上输出第二区域的状态下，当终端主体的移动对应于预设移动时，控制器相对于HMD的当前姿势在HMD的显示单元上输出预设第一区域，替代第二区域。
在本公开的示例性实施例中，当在其中第二区域被输出的状态下终端主体被移动作为预设移动时，尽管没有感测到HMD的移动，但控制器可以在HMD的显示单元上输出预设第一区域。
在本公开的示例性实施例中，控制器可以相对于HMD相对地旋转虚拟空间，使得响应于预设移动在HMD的显示单元上输出预设第一区域。
在本公开的示例性实施例中，预设第一区域可以是虚拟空间的默认区域、包括被包括在虚拟空间中的对象当中的特定对象的区域、以及由用户设置的特定区域中的至少一个。
在本公开的示例性实施例中，通过使用被设置在移动终端中的感测单元可以感测HMD的移动。
为了实现这些和其它的优点并且根据本说明书的用途，如在此具体化和广泛地描述的，一种包括移动终端和头戴式显示器(HMD)的系统，包括：HMD，该HMD具有显示单元、感测单元、以及用户输入单元中的至少一个并且被配置成以有线方式被连接到移动终端；并且移动终端被配置成控制HMD，其中移动终端包括：接口单元，该接口单元被配置成以有线方式被连接到HMD；触摸屏；以及控制器，该控制器被配置成，当在其中在HMD的显示单元上输出虚拟空间的一个部分的状态下在其中被施加到移动终端的触摸屏和HMD的用户输入单元中的至少一个的用户输入被保持的状态下移动HMD时，在HMD的显示单元上保持虚拟空间的一个部分的输出。
在本公开的示例性实施例中，当在其中用户输入没有被施加到触摸屏和用户输入单元的状态下移动HMD时，控制器可以在HMD的显示单元上输出虚拟空间的部分，该虚拟空间的部分不同于虚拟空间的所述一个部分。
在本公开的示例性实施例中，系统可以进一步包括：无线通信单元，其中当通过无线通信单元发生事件时，控制器可以在虚拟空间中形成与事件有关的事件信息，并且在HMD的显示单元上可以显示事件信息的至少一部分以便于通知事件的发生。
在本公开的示例性实施例中，在其中在HMD的显示单元上输出事件信息的一个部分的状态下，当在其中事件信息被形成的方向上旋转HMD时，可以增加在HMD的显示单元上输出的事件信息的一个部分的大小。
在本公开的示例性实施例中，在其中在HMD的显示单元上输出事件信息的状态下，当终端主体被移动作为特定移动时，控制器可以执行与事件有关的操作。
在本公开的示例性实施例中，HMD的感测单元可以感测佩戴HMD的用户的眼睛并且虚拟空间可以包括与预设功能相关联的至少一个图形对象，其中当感测到用户凝视至少一个图形对象中的任意一个时，控制器可以执行与任意一个图形对象相关联的功能。
在本公开的示例性实施例中，在HMD的显示单元上可以输出用于选择至少两个操作中的任意一个的选择窗口，并且当在其中输出选择窗口的状态下移动终端主体时，控制器可以基于其中终端主体被移动的方向执行至少两个操作中的任意一个。
在本公开的示例性实施例中，当在第一方向中移动终端主体时，控制器可以执行第一操作，并且当在不同于第一方向的第二方向中移动终端主体时，控制器可以执行不同于第一操作的第二操作。
为了实现这些和其它的优点并且根据本说明书的用途，如在此具体化和广泛地描述的，一种控制包括移动终端和头戴式显示器(HMD)的系统的方法，包括：通过移动终端在以有线方式被连接到移动终端的HMD的显示单元上输出虚拟空间的预设第一区域；基于HMD的移动通过移动终端在HMD的显示单元上输出不同于虚拟空间的第一区域的虚拟空间的第二区域；以及当在其中在HMD的显示单元上输出第二区域的状态下移动终端的终端主体的移动对应于预设移动时，通过移动终端控制HMD以相对于HMD的当前姿势在HMD的显示单元上输出预设第一区域，替代第二区域。
在本公开的示例性实施例中，在控制中，当在其中第二区域被输出的状态下终端主体被移动作为预设移动时，尽管没有感测到HMD的移动，但移动终端可以在HMD的显示单元上输出预设第一区域。
根据在下文中给出的详细描述，本发明的应用的进一步范围将变得更加明显。然而，应理解的是，仅通过说明的方式给出指示本发明的优选实施例的特定示例和详细描述，因为对本领域的技术人员来说，根据详细描述本发明的精神和范围内的各种变化和修改将变得明显。
附图说明
附图被包括以提供对本公开的进一步理解，并且被并入且组成本说明书的一部分，附图图示示例性实施例并且连同描述一起用于解释本公开的原理。
在附图中：
图1A是根据本公开的移动终端的框图；
图1B和图1C是从不同方向看的移动终端的一个示例的概念图；
图2A和图2B是图示与本公开的实施例有关的头戴式显示器(HMD)的概念视图。
图3是图示其中与本公开有关的移动终端和HMD被连接以执行有线通信的实施例的概念视图。
图4是图示根据本公开的实施例的用于使用移动终端控制HMD的方法的概念视图。
图5A和图5B是图示与本公开的实施例有关的虚拟空间的概念视图。
图6是图示根据本公开的实施例的代表性控制方法的流程图。
图7和图8是图示图6的控制方法的概念视图。
图9是图示根据本公开的实施例的控制方法的流程图。
图10是图示图9的控制方法的概念视图。
图11A、图11B、图12A、图12B、以及图13是图示根据本公开的另一实施例的使用移动终端控制HMD的方法的概念视图。
具体实施方式
参考附图，现在将根据在此公开的示例性实施例详细地给出描述。为了参考附图简要描述，相同的或者等效的组件可以被设有相同或者相似的附图标记，并且其描述将不会被重复。通常，诸如“模块”和“单元”的后缀可以被用于指代元件或者组件。这样的后缀的使用在此旨在仅有助于说明书的描述，并且后缀本身旨在没有给予任何特定的意义或者功能。在本公开中，为了简要，通常已经省略了在相关领域中对于普通技术人员来说公知的那些。附图被用于帮助容易地理解各种技术特征并且应理解附图没有限制在此提出的实施例。正因如此，本公开应被解释为延伸到除了在附图中特别陈述的之外的任何改变、等同物以及替代。
可以使用各种不同类型的终端实现在此提出的移动终端。这样的终端的示例包括蜂窝电话、智能电话、用户装置、膝上型计算机、数字广播终端、个人数字助手(PDA)、便携式多媒体播放器(PMP)、导航仪、便携式计算机(PC)、板式PC、平板PC、超级本、可佩戴装置(例如，智能手表、智能眼镜、头戴式显示器(HMD))等等。
仅通过非限制性示例，将会参考特定类型的移动终端进行进一步的描述。然而，这样的教导同等地应用于其它类型的终端，诸如在上面注明的那些类型。另外，这样的教导也可以被应用于诸如数字TV、桌上型计算机等等的固定终端。
现在参考图1A-1C，其中图1A是根据本公开的移动终端的框图，并且图1B和图1C是从不同的方向看到的移动终端的一个示例的概念视图。
示出移动终端100，其具有诸如无线通信单元110、输入单元120、感测单元140、输出单元150、接口单元160、存储器170、控制器180、以及电源单元190的各种组件。理解的是，不要求实现所有图示的组件，并且可以替换地实现更多或者更少的组件。
现在参考图1A，示出移动终端100，该移动终端100具有被配置有数个被共同实现的组件的无线通信单元110。例如，无线通信单元100通常包括允许在移动终端100与无线通信系统或者移动终端位于的网络之间的无线通信的一个或多个组件。
无线通信单元110通常包括一个或者多个模块，其允许诸如在移动终端100和无线通信系统之间的无线通信的通信、在移动终端100和另一移动终端之间的通信、在移动终端100与外部服务器之间通信。此外，无线通信单元110通常包括将移动终端100连接到一个或者多个网络的一个或者多个模块。为了有助于这样的通信，无线通信单元110包括一个或者多个广播接收模块111、移动通信模块112、无线互联网模块113、短程通信模块114、以及位置信息模块115中的一个或者多个。
输入单元120包括：用于获得图像或者视频的相机121；麦克风122，该麦克风122是一种用于输入音频信号的音频输入装置；以及用于允许用户输入信息的用户输入单元123(例如，触摸键、推动键、机械键、软键等等)。数据(例如，音频、视频、图像等等)通过输入单元120被获得并且可以根据装置参数、用户命令、以及其组合通过控制器180分析和处理。
通常使用被配置成感测移动终端的内部信息、移动终端的周围环境、用户信息等等的一个或者多个传感器实现感测单元140。例如，在图1A中，示出具有接近传感器141和照度传感器142的感测单元140。必要时，感测单元140可以可替选地或者附加地包括其它类型的传感器或者装置，诸如触摸传感器、加速度传感器、磁传感器、G传感器、陀螺仪传感器、运动传感器、RGB传感器、红外(IR)传感器、手指扫描传感器、超声传感器、光学传感器(例如，相机121)、麦克风122、电池量表、环境传感器(例如，气压计、湿度计、温度计、辐射监测传感器、热传感器、以及气体传感器等)、以及化学传感器(例如，电子鼻、医疗传感器、生物传感器等等)，举了一些例子。移动终端100可以被配置成利用从感测单元140获得的信息，并且特别地，从感测单元140的一个或者多个传感器及其组合获得的信息。
输出单元150通常被配置成输出诸如音频、视频、触觉输出等等的各种类型的信息。示出具有显示单元151、音频输出模块152、触觉模块153、以及光学输出模块154的输出单元150。
显示单元151可以具有与触摸传感器的层间结构或者集成结构以便于促成触摸屏幕。触摸屏幕可以在移动终端100和用户之间提供输出接口，并且用作在移动终端100和用户之间提供输入接口的用户输入单元123。
接口单元160用作对接能够被耦合到移动终端100的各种类型的外部装置。例如，接口单元160可以包括任何有线或者无线端口、外部电源端口、有线或者无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。在一些情况下，响应于被连接到接口单元160的外部装置，移动终端100可以执行与被连接的外部装置相关联的各种控制功能。
存储器170通常被实现为存储数据以支持移动终端100的各种功能或者特征。例如，存储器170可以被配置成存储在移动终端100中执行的应用程序、用于移动终端100的操作的数据或者指令等等。经由无线通信可以从外部服务器下载这些应用程序中的一些。在制造或者装运时其它的应用程序可以被安装在移动终端100内，其通常是用于移动终端100的基本功能(例如，接收呼叫、拨打电话、接收消息、发送消息等等)的情况。通常，应用程序被存储在存储器170中、安装在移动终端100中，并且通过控制器180执行以执行用于移动终端100的操作(或者功能)。
除了与应用程序相关联的操作之外，控制器180通常用作控制移动终端100的整体操作。控制器180能够通过处理通过在图1A中描述的各种组件输入或者输出的信号、数据、信息等等，或者激活被存储在存储器170中的应用程序来提供或者处理适合于用户的信息或者功能。作为一个示例，控制器180根据已经被存储在存储器170中的应用程序的执行控制在图1A-1C中图示的一些组件或者所有组件。
电源单元190能够被配置成接收外部电力或者提供内部电力以便于供应对于操作被包括在移动终端100中的元件和组件所要求的适当的电力。电源单元190可以包括电池，并且电池可以被配置成被嵌入在终端主体中，或者被配置成从终端主体可拆卸。
上述组件中的至少一些可以以协作方式操作，使得实现根据稍后解释的各种实施例的眼镜式终端的操作或者控制方法。可以通过驱动被存储在存储器170中的至少一个应用对眼镜式终端实现眼镜式终端的操作或者控制方法。
参考图1B和图1C，参考直板式终端主体，描述移动终端100。然而，移动终端100可以替选地已各种不同的配置中的任意一种来实现。这样的配置的示例包括手表式、夹式、眼镜型、或者折叠式、翻盖式、滑盖式、摇摆式、旋转式等的各种结构，其中两个或者更多个主体以相对可移动的方式被相互组合。在此的讨论将常常涉及特定型的移动终端(例如，直板式、手表式、眼睛型等等)。然而关于特定型移动终端的这种教导也将通常应用到其它型移动终端。
移动终端100将通常包括形成终端的外观的壳体(例如，外壳、外罩、盖等)。在本实施例中，壳体可以被划分成前壳体101和后壳体102。各种电子组件可以被合并在前壳体101和后壳体102之间形成的空间中。至少一个中间壳体可以被附加地布置在前壳体和后壳体101和102之间。
显示单元151能够被布置在终端主体的前表面上以输出信息。如所图示的，显示单元151的窗口151a能够被安装到前壳体101使得与前壳体101一起形成终端主体的前表面。
在一些实施例中，电子组件也可以被安装到后壳体102。这样的电子组件的示例可以包括可拆卸的电池、标识模块、存储卡等。用于覆盖电子组件的后盖103可以被可拆卸地耦合到后壳体102。因此，当从后壳体102拆卸后盖103时，被安装到后壳体102的电子组件可以被外部地暴露。
如所图示的，当后盖103被耦合到后壳体102时，后壳体102的侧表面可以被部分地暴露。在一些情况下，在耦合时，后壳体102也可以被后盖103完全地遮盖。在一些实施例中，后盖103可以包括用于外部地暴露相机121b或者音频输出模块152b的开口。
壳体101、102、103可以通过注入成型合成树脂形成或者可以由例如不锈钢(STS)、铝(Al)、钛(Ti)等的金属形成。
作为多个壳体形成用于容纳组件的内部空间的示例的替选，移动终端100可以被配置使得一个壳体形成内部空间。在本实例中，以合成树脂或者金属从侧表面延伸到后表面的方式来形成具有连体的移动终端100。
如有必要，移动终端100可以包括防水单元(未示出)，用于防止水引入到终端主体。例如，防水单元可以包括防水构件，其位于窗口151a和前壳体101之间、在壳体101和后壳体102之间、或者后壳体102和后盖103之间，当这些壳体被耦合时密闭地密封内部空间。
然而，应当理解，可替选的布置是可能的，并且在本公开的教导内。一些组件可以省略或者重新布置。例如，第一操纵单元123a可以不被布置在终端主体的另一表面上，并且第二音频输出模块152b可以被布置在终端主体的侧表面上。
显示单元151输出在移动终端100中处理的信息。显示单元151能够使用一个或多个合适的显示装置。例如，这样合适的显示装置的示例包括液晶显示器(LCD)、薄膜晶体管-液晶显示器(TFT-LCD)、有机发光二极管(OLED)、柔性显示器、3维(3D)显示器、以及电子墨显示器，以及其组合。
可以使用能够实现相同或者不同显示技术的两个显示装置来实现显示单元151。例如，多个显示单元151可以被布置在一个侧面上以相互分开，或者这些装置可以被集成，或者这些装置可以被布置在不同的表面上。
显示单元151也能够包括触摸传感器，该触摸传感器感测在显示单元处接收到的触摸输入。当触摸被输入到显示单元151时，触摸传感器可以被配置成感测此触摸，并且控制器180(例如)能够生成与触摸相对应的控制命令或者其它信号。以触摸方式输入的内容可以是文本或者数值，或者能够以各种模式指示或者指定的菜单项目。
触摸传感器可以以被布置在窗口151a和窗口151a的后表面上的显示器之间的具有触摸图案的膜的形式，或者被直接地构图在窗口151a的后表面上的金属线来配置。或者，触摸传感器可以与显示器集成地形成。例如，触摸传感器可以被布置在显示器的基板上或者显示器内。
显示单元151也能够与触摸传感器一起形成触摸屏。在此，触摸屏可以用作用户输入单元123(参见图1A)。因此，触摸屏可以替换第一操纵单元123a的功能中的至少一些。
可以以用于输出语音音频、报警声音或者多媒体音频再现的扬声器的形式实现第一音频输出模块152a。
显示单元151的窗口151a将典型地包括用于允许从第一音频输出模块152a产生的音频穿过的孔径。一个备选是允许音频沿着结构主体之间的组装间隙(例如，在窗口151a和前壳体101之间的间隙)释放。在本实例中，被独立地形成以输出音频声音的孔可以不被看到或者在外观上以其它方式被隐藏，从而进一步简化移动终端100的外观的制造。
光学输出模块154可以输出用于指示事件产生的光。在移动终端100中产生的事件的示例包括消息接收、呼叫信号接收、未接来电、报警、日程表通知、电子邮件接收、通过应用的信息接收等。当感测到用户的事件查看时，控制器可以控制光学输出单元154以停止光的输出。
第一相机121可以处理在视频呼叫模式或者捕获模式下通过图像传感器获得的静止或者运动图像的图像帧。因此，处理的图像帧可以被显示在显示单元151上或者被存储在存储器170中。
第一和第二操纵单元123a和123b是用户输入单元123的示例，通过用户可以对其进行操纵以将输入提供给移动终端100。通常，第一和第二操纵单元123a和123b也可以被称为操纵部分，并且可以采用允许用户执行诸如触摸、推动、滚动等等的操纵的任何触觉方法。第一和第二操纵单元123a和123b也可以采用允许用户执行诸如接近触摸、悬停等等的操纵的任何非触觉的方法。
图1B图示作为触摸键的第一操纵单元123a，但是可能的替选包括机械键、推动键、触摸键以及其组合。
可以以各种方式使用在第一和第二操纵单元123a和123b处接收到的输入。例如，第一操纵单元123a可以由用户使用以将输入提供给菜单、主屏键、取消、搜索等等，并且第二操纵单元123b可以由用户使用以提供输入以控制从第一或者第二音频输出模块152a或者152b输出的音量级，切换到显示单元151的触摸识别模式等等。
作为用户输入单元123的另一示例，后输入单元(未示出)可以位于终端主体的后表面上。后输入单元能够由用户操纵以将输入提供给移动终端100。可以以各种不同的方式使用输入。例如，用户可以使用后输入单元以提供用于从第一或者第二音频输出模块152a或者152b输出的电源开/关、开始、结束、滚动、控制音量级的输入，切换到显示单元151的触摸识别模式等等。后输入单元可以被配置成允许触摸输入、推动输入或者其组合。
后输入单元可以被设置成在终端主体的厚度方向中重叠前表面的显示单元151。作为一个示例，后输入单元可以被设置在终端主体的后表面的上端部分上，使得当用户使用一只手抓住终端主体时用户能够使用食指容易地操纵它。可替选地，后输入单元能够被定位在终端主体的后侧的至多任何位置处。
包括后输入单元的实施例可以实现后输入单元中的第一操纵单元123a的功能的一些或者全部。这样，在其中从前侧省略第一操纵单元123a的情形下，显示单元151能够具有更大的屏幕。
作为又一个替选，移动终端100可以包括手指扫描传感器，该手指扫描传感器扫描用户的指纹。因此，控制器180可以使用通过手指扫描传感器感测的指纹信息作为认证过程的一部分。手指扫描传感器可以被安装在显示单元151或者用户输入单元123中。
麦克风122被示出为位于移动终端100的末端处，但是其他位置是可能的。如有必要，多个麦克风可以被实现，利用这样的布置允许接收立体声音。
接口单元160可以用作允许移动终端100与外部设备对接的路径。例如，接口单元160可以包括用于连接到另一设备(例如，耳机、外部扬声器等)的连接终端、用于近场通信的端口(例如，红外数据协会(IrDA)端口、蓝牙端口、无线LAN端口等)、或者用于将电力供应到移动终端100的电源终端中的一个或多个。接口单元160可以以用于容纳诸如订户标识模块(SIM)、用户标识模块(UIM)、或者用于信息存储的存储器卡的外部卡的插槽的形式来实现。
第二相机121b被示出为位于终端主体的后侧处，并且包括与第一相机单元121a的图像捕获方向大体上相反的图像捕获方向。如有必要，第二相机121b可以可替选地位于其他位置，或者使其可移动，以便于具有与被示出的图像捕获方向不同的图像捕获方向。
第二相机121b可以包括沿着至少一条线布置的多个透镜。多个透镜也可以以矩阵配置来布置。相机可以被称为“阵列相机”。当第二相机121b被实现为阵列相机时，可以使用多个透镜以各种方式捕获图像以及图像具有更好的质量。
如在图1C中所示，闪光灯124被示出为与第二相机121b相邻。当通过相机121b捕获主题的图像时，闪光灯124可以照明主题。
如在图1B中所示，第二音频输出模块152b能够位于终端主体上。第二音频输出模块152b可以结合第一音频输出模块152a来实现立体声功能，并且也可以被用于实现用于呼叫通信的扬声器电话模式。
用于无线通信的至少一个天线可以位于终端主体上。天线可以被安装在终端主体中或者通过壳体形成。例如，配置广播接收模块111的一部分的天线可以缩回到终端主体中。可替选地，使用被附接到后盖103的内表面的膜、或者包括导电材料的壳体，可以形成天线。
用于将电力供应到移动终端100的电源单元190可以包括电池191，该电池191被安装在终端主体中或者可拆卸地耦合到终端主体的外部。电池191可以经由连接到接口单元160的电源线缆来接收电力。此外，使用无线充电器以无线方式能够对电池191充电。通过电磁感应或者电磁谐振可以实现无线充电。
后盖103被示出为耦合到用于屏蔽电池191的后壳体102，以防止电池191的分离，并且保护电池191免受外部冲击或者外来物质的影响。当从终端主体可拆卸电池191时，后壳体103可以被可拆卸地耦合到后壳体102。
用于保护外观或者协助或者扩展移动终端100的功能的附件也可以被提供在移动终端100上。作为附件的一个示例，可以提供用于覆盖或者容纳移动终端100的至少一个表面的盖或者袋。盖或者袋可以与显示单元151协作以扩展移动终端100的功能。附件的另一示例是用于协助或者扩展对触摸屏的触摸输入的触摸笔。
同时，超出在其处用户将移动终端保持在手中以进行使用的水平，移动终端可以延伸到能够被佩戴在人类身体上的可佩戴式装置。可佩戴式装置可以包括智能手表、智能眼镜、头戴式显示器(HMD)等等。在下文中，将会描述扩展到可佩戴式装置的移动终端的示例。
可佩戴式装置可以被配置成与移动终端100交换数据(或者否则与移动终端100协作)。短程通信模块114可以感测或者识别可佩戴式装置，并且允许在可佩戴式装置和移动终端100之间的通信。另外，当感测到的可佩带式装置是被授权与移动终端100通信的装置时，例如，控制单元180可以引起经由短程通信模块114到可佩戴式装置的在移动终端100中被处理的数据的传输。因此，可佩戴式装置的用户可以在可佩戴装置上使用在移动终端100中被处理的数据。例如，当在移动终端100中接收到呼叫时，用户可以使用可佩戴式装置应答该呼叫。而且，当在移动终端100中接收到消息时，用户能够使用可佩戴式装置查看接收到的消息。
参考附图将会详细地描述在与本公开有关的可佩戴式装置当中的头戴式显示器(HMD)。
图2A和图2B是图示与本公开的实施例有关的头戴式显示器(HMD)的概念视图。
与本公开有关的HMD 200可以包括参考图1A在上面描述的元件中的至少一个。
例如，HMD 200可以包括无线通信单元、输入单元(例如，用户输入单元223、麦克风等等)、感测单元240、输出单元(例如，显示单元251和音频输出单元252)、接口单元260、存储器、控制器、以及电源单元中的至少一个。在图2A中图示的组件在实现HMD中不是必要的，并且因此，在本公开中描述的HMD 200可以具有更少或者更多的组件。
参考图2A，与本公开有关的HMD 200被形成以被佩戴在用户的头(或者面部)上，并且为此，HMD 200可以包括框架单元(壳体、外壳、以及盖等等)。框架单元可以由柔性材料形成使得被容易地佩戴在用户的头上。在附图中，图示框架单元包括由不同的材料形成的第一框架201和第二框架202。
例如，第一框架201可以用作提供其中参考图1A在上面描述的组件中的至少一个的空间，并且第二框架102可以用作支持(或者固定)第一框架101以被安装在用户的头上。
框架单元可以被称为主体(main body)(或者HMD主体)或者体(body)(或者HMD体)。在此，HMD主体(或者HMD体(body))可以被理解为具有指定被视为单个组件的HMD 200的概念。在下文中，将会使用相同的附图标记200以表示HMD主体。
当包括第一框架201和第二框架202的框架单元被视为单个HMD时，与本公开有关的HMD的主体可以被形成以具有各种形状。详细地，主体可以包括预先确定的角度的多个平面。多个平面可以指的是被定位在HMD 200的主体的外侧上的平面。从此观点来看，多个平面可以指的是HMD 200的外面(外部表面或者外表面)。多个平面中的每一个可以是平坦的或者弯曲的。
主体(框架单元)可以被支撑在头部上并且提供其中安装各种组件的空间。如所图示的，诸如相机221、显示单元、用户输入单元223、控制器280、感测单元240、接口单元260等等的电子组件可以被安装在第一框架201上。
诸如音频输出单元252的电子组件可以被安装在第二框架202上。然而，本公开不限于此，并且，根据用户选择，参考图1A在上面描述的组件和HMD所需要的组件可以被不同地布置在第一框架201和第二框架202中。即，在本公开中描述的HMD 200可以比在上面列举的那些具有更少或者更多的组件。
HMD的控制器280被配置成控制被设置在HMD 200中的各种电子组件。控制器280可以被理解为与参考图1A在上面描述的控制器180相对应的组件。
如在图2A中所图示，相机221可以被设置在主体220上。例如，相机221可以被布置在HMD主体200的一个表面(例如，前表面)上。相机221可以被布置为与左眼和右眼中的至少一个相邻以捕获(接收或者输入)前侧的图像。相机221可以获得用户正在观看的场景，作为图像。
在附图中，图示仅提供单个相机221，但是本公开不限于此。即，多个相机221可以被设置以获得立体图像。
HMD 200可以具有感测单元240。如参考图1A在上面所描述的，感测单元240可以包括接近传感器、照明传感器、触摸传感器、加速传感器、磁传感器、G传感器、陀螺仪传感器、运动传感器、RGB传感器、红外线(IR)传感器、指纹传感器(或者手指扫描传感器)、超声传感器、光学传感器(例如，相机221)、麦克风122、电池量表、环境传感器(例如，气压计、湿度计、温度计、辐射传感器、热传感器、气体传感器等等)、化学传感器(例如，电子鼻、医疗传感器、生物传感器等等)等等。
例如，控制器280可以使用被包括在感测单元240中的陀螺仪传感器、G传感器、运动传感器等等感测HMD 200的移动。在另一示例中，控制器280可以通过使用被包括在感测单元240中的接近传感器、照明传感器、磁传感器、红外线传感器、超声传感器、光学传感器等等感测靠近HMD主体的物体。
HMD 200可以具有被操作以接收控制命令的用户输入单元223。用户输入单元223可以采用允许用户执行诸如触摸、推动等等的操纵的任何触觉方法。在附图中，图示在框架单元中提供基于推动和触摸输入方法的用户输入单元223。
而且，HMD 200可以具有接收声音并且将接收到的声音处理成电子语音数据的麦克风(未示出)并且输出声音的音频输出单元252。音频输出单元252可以被配置成根据一般音频输出方案或者骨传导方案发送声音。在其中根据骨传导方案实现音频输出单元252的情况下，当用户佩戴HMD 200时，音频输出单元252可以被紧密地贴附到头部并且振动头骨以发送声音。
如在图2B中所图示，显示单元251被安装在框架单元中以用作在用户的眼睛的前面输出屏幕信息(例如，图像、视频等等)。显示单元251可以被布置以对应于左眼和右眼中的至少一个使得当用户佩戴HMD 200时可以在用户的眼睛的前面显示屏幕信息。即，显示单元251可以被设置以覆盖用户的左眼和右眼中的至少一个(或者面向用户的左眼和右眼中的至少一个)。
例如，与本公开有关的HMD 200的显示单元251可以被定位在HMD主体内。详细地，当用户将HMD 200佩戴在他的或者她的头上时，显示单元251可以被布置在HMD 200内并且可以被布置在面向用户的眼睛的位置。
而且，HMD 200可以包括透镜单元203，使得用户可以观看在被形成在HMD主体内的显示单元251上输出的整个屏幕信息。即，与本公开有关的HMD 200可以被配置使得从通过透镜单元203从显示单元251输出的屏幕信息(或者光)可以被整体地发送到用户的眼球(或者用户的视野)。
例如，透镜单元203可以被布置以对应于用户的双眼中的至少一个(即，左眼和右眼)。而且，当用户将HMD佩戴在他的或者他的头上时，透镜单元203可以被布置以被定位在用户的眼球之间。
根据用户的眼球和显示单元251之间的距离，透镜单元203的视角可以变化，并且因此，透镜单元203可以被形成使得其位置在用户的控制下变化。而且，透镜单元203可以被形成以包括凹透镜、凸透镜、或者其组合。
而且，通过使用棱镜，显示单元251可以将图像投射到用户的眼睛。而且，棱镜可以是透光的，使得用户可以观看被投射的图像和前侧的一般视野(通过眼睛用户观看的范围)。
以这样的方式，通过显示单元251输出的图像可以被观看使得其重叠一般视野。使用显示器的这样的特性，HMD 200可以提供其中虚拟图像重叠图像或者现实的背景的增强现实(AR)使得被视为单个图像。
即，显示单元251可以被配置成防止环境光经过以实现虚拟现实(VR)，或者允许环境光经过以实现增强现实(AR)。
而且，虽然未被示出，但是覆盖左眼和右眼中的至少一个的显示单元151可以可拆卸地安装在框架单元中。
而且，显示单元251可以是外部移动终端的显示单元。HMD主体200(框架单元)可以被配置使得外部移动终端可拆卸地附接到其，并且可以被电气地连接到外部移动终端。在其中HMD主体200被电气地连接到外部移动终端200的情况下，HMD的控制器280可以控制外部移动终端。
在其中外部移动终端被安装在HMD体200的情况下，HDM 200的相机221、感测单元240、显示单元251、以及控制器280可以被替换成被设置在外部移动终端中的相机、感测单元、显示单元、以及控制器。
然而，在本公开中，为了减少重量，其中HMD 200本身具有显示单元251的情况，而不是其中外部移动终端被安装在HMD主体200中的情况，将会被描述为示例。
在下文中，将会详细地描述被设置在HMD 200的主体中的组件。
在上述组件当中，无线通信单元可以包括在HDM 200和无线通信系统之间、在HMD200和不同的HMD之间、在HMD 200和移动终端(或者固定终端)之间、在HMD 200和控制装置之间、在HMD 200和被安装在外部并且能够执行无线通信的相机之间、以及在HMD 100和外部服务器之间能够进行无线通信的一个或者多个模块。
而且，无线通信单元可以包括将HMD 200连接到一个或者多个网络的一个或者多个模块。
无线通信单元可以包括广播接收模块、移动通信模块、无线互联网模块、短程通信模块、以及位置信息模块中的至少一个。这些模块可以以与参考图1A在上面描述的无线通信的内容相同或者相似的方式被推断和应用。
然而，本公开不限于此并且与本公开有关的移动终端100和HMD200可以通过移动终端100的接口单元160和HMD 200的接口单元260以有线通信的方式在其间发送和接收数据。
图3是图示其中与本公开有关的移动终端和HMD被连接以执行有线通信的实施例的概念视图。
参考图3，与本公开有关的HMD 200可以具有接口单元260。接口单元260可以被设置在HMD主体200的第一框架201中。
HMD 200的接口单元260可以用作与被连接到HMD 200的各个外部设备(例如，移动终端100)的通路。接口单元260可以从外部设备接收数据或者从外部设备接收电力并且将接收到的数据或者电力发送到HMD 200的各个组件或者可以将HMD 200的内部数据发送到外部设备(移动终端100)。例如，有线/无线耳机端口、外部充电器端口、有线/无线数据端口、存储卡端口、连接具有识别模块的设备的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等可以被包括在接口单元260中。
如在图3中所示，HMD 200的接口单元260和移动终端100的接口单元160可以通过电缆被相互连接。例如，HMD 200的接口单元260和移动终端100的接口单元160可以是有线数据端口。接口160和260的端口的类型可以是相同或者不同的。
被有线地连接到移动终端100的HMD 200可以由移动终端100的控制器180控制。而且，被连接的HMD 200的控制器280可以基于通过电缆从移动终端100接收到的数据(例如，控制命令)控制HMD 200。
在本公开中，为了描述的目的，其中通过HMD 200被有线地连接到的移动终端100的控制器180控制HMD 200的情况将会被描述为示例。然而，将会显然的是，通过HMD 200的控制器280也可以执行通过在下文中描述的移动终端100的控制器180执行的操作。
被有线地/无线地连接到HMD 200使得在其间能够执行数据发送/接收的移动终端100可以用作控制HMD 200的控制器(例如，控制装置或者控制器)。
图4是图示根据本公开的实施例的用于使用移动终端控制HMD的方法的概念视图。
如上所述，通过被连接到移动终端100可以控制与本公开有关的HMD 200，使得能够在其间执行有线/无线通信。在下文中，如在图3和图4中所示，将会描述其中为了数据通信通过电缆连接HMD 200和移动终端100的示例。
例如，如在图4中所图示，光标400可以被显示在HMD 200的显示单元251上。当HMD200处于接通状态时，当HMD 200的操作模式是特定操作模式时，或者根据用户请求，光标400可以在HMD 200的显示单元251上被输出。
例如，用户请求可以包括被施加到HMD 200的用户输入单元223的用户输入、被施加到通过电缆被连接到HMD 200的移动终端100的触摸屏151的用户输入(或者触摸)、以及对应于预设移动的通过外力造成的移动终端的主体100或者HMD 200的主体的移动。
可以通过以有线方式连接的移动终端100移动被显示在HMD 200的显示单元251上的光标400。例如，当预设类型的触摸(例如，拖动触摸)被施加到触摸屏151时，控制器180可以控制HMD 200的显示单元251使得根据触摸光标400可以被独立地移动。
在其中HMD 200的控制器280被实现为相对于有线地连接的移动终端100的控制器180独立地操作的情况下，当预设类型的触摸被施加到触摸屏151时，移动终端100的控制器180可以通过接口单元将与触摸有关的信号发送到HMD 200。
其后，HMD 200的控制器280可以被配置成基于与触摸有关的信号移动被显示在HMD 200的显示单元251上的光标400。
在下文中，为了描述的目的，其中通过移动终端100的控制器180控制被包括在HMD200中的组件的情况将会被描述为示例。这样的操作可以意指有线地连接的HMD 200作为移动终端100的组件被耦合和操作(或者控制)。
在图4中，其中通过使用移动终端100移动被显示在HMD 200的显示单元251上的光标400的情况被描述为示例，但是本公开不限于此。
在本公开的实施例中，被形成为立体空间的三维(3D)图像(在下文中，被称为“虚拟空间”)可以在HMD 200的显示单元251上被输出。
图5A和图5B是图示与本公开的实施例有关的虚拟空间的概念视图。
与本公开有关的虚拟空间500(或者虚拟空间图像)可以指的是相对于佩戴HMD200的用户在全方向(例如，360度)中形成的3D图像。虚拟空间500可以是被呈现以识别佩戴HMD 200的用户在特定空间(或者虚拟空间)中存在的立体空间图像(即，立体图像或者3D图像)。例如，如在图5A的(a)中所图示，可以识别佩戴HMD 200的用户在虚拟空间500中存在。
如在图5A的(a)和(b)中所图示，移动终端100的控制器180可以在有线地连接的HMD 200的显示单元251上输出虚拟空间500的区域(例如，第一区域A)。与虚拟空间有关的信息可以指的是在上面描述的3D图像本身或者形成3D图像的至少数据。
详细地，当接收到输出虚拟空间的请求时，移动终端100的控制器180可以输出被请求以在HMD 200的显示单元251上输出的虚拟空间的一个区域A。
同时，可以基于佩戴HMD 200的用户的移动改变在HMD的显示单元251上输出的虚拟空间的一个区域A。
例如，当佩戴HMD 200的用户的头部移动时，HMD 200的感测单元240可以感测移动。可以在其中在HMD 200的显示单元251上输出虚拟空间500的一个区域A的状态下进行移动。
在本公开中描述的移动可以被理解为具有包括移动、旋转、或者其组合的概念。
其后，感测单元240(或者HMD 200的控制器280)可以将与移动有关的信息发送到被有线地连接到HMD 200的移动终端100的控制器180。其后，基于与移动有关的被发送的信息，移动终端100的控制器180可以控制HMD 200的显示单元251以输出不同于虚拟空间500的一个区域A的区域B。
例如，如在图5B的(a)中所图示，当在显示单元251上输出虚拟空间500的一个区域A的状态下HMD 200的主体被移动(或者旋转)时，移动终端100的控制器180可以基于如在图5B的(a)和(b)中所图示的移动将不同于虚拟空间500的一个区域A的区域B输出到显示单元251。
通过此配置，本公开能够提供允许使用HMD 200的用户感觉彷佛他或者她实际在虚拟空间中移动的用户界面。
在下文中，将会参考附图详细地描述通过使用移动终端控制被有线地连接到移动终端的HMD的方法。
而且，在下文中，将会主要地描述在包括与本公开有关的移动终端100和HMD 200的系统中的移动终端100的控制操作。
图6是图示根据本公开的实施例的代表性的控制方法的流程图，并且图7和图8是图示图6的控制方法的概念视图。
首先，在本公开中，根据用户请求在HMD 200的显示单元251上输出虚拟空间(即，虚拟空间图像或者3D图像)。即，移动终端100的控制器180在被有线地连接到移动终端100的HMD的显示单元251上输出虚拟空间的预设第一区域(S610)。
当在HMD 200的显示单元251上输出虚拟空间时，例如，预设第一区域可以是作为默认输出的默认区域、包括在被包括在虚拟空间中的对象当中的特定对象的区域、或者由用户设置的特定区域。特定对象可以是在被包括在虚拟空间中的至少一个图形对象当中的由用户设置(或者设置为默认)的对象。
而且，在其中先前输出的虚拟空间在HMD 200的显示单元251上被输出的情况下，预设第一区域可以是在先前输出的虚拟空间当中的在终止时间点输出的一个区域。
如在图7的(a)中所图示，移动终端100的控制器180可以在HMD 200的显示单元251上输出虚拟空间700的预设第一区域700a。
在下文中，为了描述的目的，图示虚拟空间包围用户，但是应理解在现实(或者真实空间)中没有输出虚拟空间。即，虚拟空间是被形成以在HMD 200的显示单元251上被输出的3D图像。
再次参考图6，在本公开中，基于HMD 200的移动，不同于第一区域的第二区域在HMD 200的显示单元251上被输出。
详细地，被设置在被有线地连接到移动终端100的HMD 200的感测单元240可以感测HMD 200的移动。其后，感测单元240可以以有线方式将与感测到的移动有关的信息发送到移动终端。
基于与从HMD 200的感测单元240发送的移动有关的信息，移动终端100的控制器180可以确定HMD 200的移动(或者HMD的主体200的移动)。
然而，本公开不限于此，并且通过被设置在移动终端100中的感测单元140也可以感测HMD 200的移动。
例如，控制器180可以通过使用接近传感器141、照明传感器142、磁传感器、运动传感器、红外线(IR)传感器、超声传感器、光学传感器(例如，相机121)中的至少一个感测(确定或者检测)被有线地或者无线地连接到移动终端100的HMD 200的移动。
基于HMD 200的移动，控制器180可以在HMD 200的显示单元251上输出虚拟空间700的第二区域，替代虚拟空间700的第一区域。
即，与本公开有关的移动终端100的感测单元140可以感测移动终端100的主体和HMD 100的移动。而且，可以通过HMD 200的感测单元240感测HMD 100的移动。
例如，如在图7的(a)中所图示，在其中在HMD 200的显示单元251上输出虚拟空间700的第一区域700a的状态下，当通过用户移动HMD 200时，如在图7的(b)中所图示，控制器180可以在HMD200的显示单元251上输出不同于虚拟空间700的第一区域700a的第二区域700b。
其后，在本公开中，在其中虚拟空间700的第二区域700b被输出的状态下，当移动终端100的主体作为预设移动被移动时(即，当移动终端100的主体的移动对应于预设移动时)，相对于HMD 200的当前姿势的预设第一区域，替代第二区域，在HMD 200的显示单元251上被输出(S630)。
详细地，控制器180可以通过感测单元140感测移动终端100的主体的移动。预设移动，与在HMD 200的显示单元251上输出预设第一区域的功能相关联的移动，可以包括各种类型的移动。
例如，各种类型的移动可以包括其中移动终端100的主体被移动了预先确定的距离并且返回的移动、其中移动终端100的主体被摇动预先确定的次数的移动、其中移动终端100的主体转动了特定的角度(例如，反向移动)的移动、其中移动终端100的主体旋转了预先确定的角度并且被返回的移动、以及其中移动终端100的主体在特定方向中被移动的移动。
HMD 200的姿势具有包括其中HMD被放置的状态(在其中HMD200被佩戴在用户的头上的状态下)、HMD 200被倾斜的程度、其中HMD 200被定向的方向、HMD 200的位置、HMD 200的旋转、以及HMD 200的移动的概念。
即，HMD 200的当前姿势可以指的是其中HMD 200被放置使得在HMD 200的显示单元251上输出虚拟空间700的第二区域，而不是预设第一区域。
如在图7的(c)中所图示，在其中在显示单元251上输出虚拟空间700的第二区域700b的状态下，当终端主体100被移动作为预设移动时，如在图7的(d)中所图示，尽管没有感测到HMD 200的移动(即，基于HMD 200的当前姿势)，但是可以在HMD 200的显示单元251上输出预设第一区域700a。
换言之，如在图7的(d)中所图示，控制器180可以相对于HMD200相对地旋转虚拟空间700使得响应于终端主体100的预设移动虚拟空间700的预设第一区域700a可以在HMD200的显示单元251上被输出。
即，当在终端主体100中感测到预设移动时，尽管佩戴HMD 200的用户的头没有移动，但是控制器180可以在HMD 200的显示单元251上输出预设第一区域。
图8图示其中预设第一区域是包括被包括在虚拟空间中的对象当中的特定对象的区域的情况。
如在图8的(a)中所图示，可以在HMD 200的显示单元251上输出虚拟空间的预设第一区域800a(或者第一屏幕信息)。如在图8的(a)中所图示，预设第一区域800a可以包括特定对象。特定对象可以是被形成以输出被存储在移动终端100的存储器170中的图像或者视频或者从外部服务器(或者互联网)接收到的屏幕信息的对象。
当如在图8的(a)中所图示感测到HMD 200的移动时，响应于如在图8的(b)中所图示的移动，在HMD 200的显示单元251上可以输出虚拟空间的不同于预设第一区域800a的第二屏幕800b(或者不同于第一屏幕信息的第二屏幕信息)。
在此，如在图8的(b)中所图示，当被包括在第一区域中的特定对象的至少一部分根据移动从HMD 200的显示单元251消失时，控制器180可以在显示单元251上输出指示通过移动终端100的移动可以调节屏幕的通知信息。
在其中不同于虚拟空间的预设第一区域800a的第二区域800b被输出的状态下(或者在通知信息被输出的状态下)，当感测到终端主体100被移动作为预设移动时，控制器180可以在如在图8的(c)中所图示的HMD 200的显示单元251上输出预设第一区域(或者第一屏幕信息)800a，替代第二区域800b。
在此，用于再次在HMD 200的显示单元251上输出预设第一区域的方法不限于其中终端主体100被移动作为预设移动的情况。
例如，在其中虚拟空间的第二区域在HMD 200的显示单元251上被输出的状态下，当预设类型的触摸被施加到移动终端100的触摸屏151时或者当预设类型的触摸被施加到HMD 200的用户输入单元223时，与本公开有关的移动终端100的控制器180(或者HMD 200的控制器180)可以在HMD 200的显示单元251上输出虚拟空间的预设第一区域。
预设类型的触摸可以是用于在HMD 200的显示单元251上输出虚拟空间的预设第一区域的功能的触摸，并且可以包括各种类型的触摸。例如，各种类型的触摸可以包括短触摸、长触摸、双触摸、多触摸、拖动触摸、轻击触摸、捏缩触摸、捏放触摸、滑动触摸、悬停触摸等等。
在下文中，将会详细地描述各种类型的触摸。
短(或者轻敲)触摸可以是触摸对象(例如，手指或者触控笔)接触(或者被施加到)触摸屏151并且在预先确定的时间段内被释放的触摸。例如，短(或者轻敲)触摸可以是触摸对象在短的时间段内接触触摸屏的触摸，像鼠标的单击一样。
长触摸可以是触摸对象接触触摸屏151并且在超过预先确定的时间段内被保持的触摸。例如，长触摸可以是通过触摸对象被施加到触摸屏151并且接下来在超过预先确定的时间段内被保持的触摸。详细地，长触摸可以是在超过预先确定的时间段被保持在触摸屏的一个点处并且其后被释放的触摸。长触摸也可以被理解为与触摸和保持操作相对应的触摸，在此操作中在触摸屏151上在超过预先确定的时间段保持触摸对象的接触状态。
双触摸可以是在预先确定的时间段内被连续地施加到触摸屏151至少两次的短触摸。
可以通过用户设置确定关于短触摸、长触摸、以及双触摸的在上面描述的预先确定的时间段。
多触摸可以是在基本上相同的时间点处被施加到触摸屏151的至少两个接触点的触摸。
拖动触摸可以是从触摸屏151的第一点开始的接触在触摸屏上的一个方向上被连续地施加并且被从不同于第一点的第二点释放接触的触摸。
详细地，拖动触摸可以是通过触摸对象被施加到触摸屏151的一个点，沿着触摸屏151的表面从一个点连续地延伸，并且从不同于所述一个点的点释放的触摸。
并且，拖动触摸可以是被施加到触摸屏151的一个点并且从触摸连续地延伸的触摸。
轻击触摸可以是在预先确定的时间内施加的拖动触摸。详细地，轻击触摸可以是通过触摸对象被施加并且在预先确定的时间内被从触摸屏151释放的拖动触摸。换言之，轻击触摸可以被理解为以等于或者高于预设速度的速度施加的拖动触摸。
滑动触摸可以是作为直线被施加的拖动触摸。
捏缩触摸可以是其至少一个在朝着另一个的方向中延伸的被施加到触摸屏151的两个不同点(单独的点)的第一和第二触摸。例如，捏缩触摸可以是对应于在其中手指接触触摸屏151上的被相互分开的两个点的状态下变窄手指之间的空间的运动的触摸。
捏放触摸可以是被施加在触摸屏151上的两个不同点(两个被分离的点)的第一和第二触摸中的至少一个在远离另一个的方向上延伸的触摸。例如，捏放触摸可以是在其中手指接触触摸屏151上的相互分开的两个点的状态下变宽手指(变远)的运动的触摸。
悬停触摸可以是在其中触摸对象不接触触摸屏151的状态下对应于在远离触摸屏151的空间中的触摸对象的移动的触摸。悬停触摸可以是，例如，参考图1在上面描述的接近触摸。例如，悬停触摸可以是与在预先确定的时间段内在与触摸屏151分离的地点处被保持的触摸对象的移动相对应的触摸。
而且，预设类型的触摸可以包括被施加以形成特定的轨迹(locus)(轨迹(trace))(或者图案)的拖动触摸或者可以包括被施加以形成特定图案(例如，通过多个触摸点形成的图案)的至少两个触摸。
即，当终端主体被移动作为预设移动时或者当预设类型的触摸被施加到触摸屏151时，与本公开有关的移动终端100可以控制HMD的显示单元251以输出虚拟空间的预设第一区域。
通过此配置，在本公开中，尽管佩戴HMD 200的用户没有移动他的或者她的头以在HMD 200的显示单元251上输出预设第一区域(例如，默认区域)，允许通过使用以有线方式连接的移动终端更加方便地输出预设第一区域的用户界面可以被提供。
在下文中，参考附图将会详细地描述通过与本公开有关的移动终端100控制在HMD200上能够输出的虚拟空间的各种方案。
图9是图示根据本公开的实施例的控制方法的流程图，并且图10是图示图9的控制方法的概念视图。
参考图9，在HMD 200的显示单元251上输出虚拟空间的一部分(S910)。详细地，控制器180可以在以有线方式连接的HMD 200的显示单元251上输出虚拟空间的一部分(或者虚拟空间图像)。
其后，在本公开中，当HMD 200在其中被施加到移动终端100的触摸屏的用户输入(或者HMD 200的用户输入)的状态下移动HMD200时，在HMD 200的显示单元251上保持该部分的输出(S920)。
详细地，与本公开有关的移动终端100可以具有触摸屏151。在其中在以有线方式连接的HMD 200的显示单元251上输出虚拟空间的一部分的状态下，当在其中在触摸屏151上保持用户输入的状态下移动HMD 200时，在HMD 200的显示单元251上保持虚拟空间的部分的输出。
虚拟空间的部分的输出的保持可以指的是不改变在HMD 200的显示单元251上输出的屏幕信息(即，虚拟空间的部分)。
当作为基本操作的HMD 200的移动被感测时，控制器180可以基于移动改变在HMD200的显示单元251上输出的屏幕信息。然而，当在移动终端100的触摸屏151上保持用户输入(例如，触摸)的状态下移动HMD 200时，控制器180可以保持(或者固定)在施加用户输入的时间点输出的屏幕信息(例如，虚拟空间的一部分)的输出。
而且，控制器180可以感测被施加到被设置在HMD 200中的用户输入单元223的用户输入(例如，触摸)。即使当在其中用户输入(例如，触摸或者长触摸)在被设置在HMD 200中的用户输入单元223上被保持的状态下移动HMD 200时，控制器180可以保持在HMD 200的显示单元251上的虚拟空间的部分的输出。
同时，当在其中用户输入没有被施加到移动终端100的触摸屏151(或者HMD的用户输入单元223)的状态下移动HMD 200时，控制器180可以在HMD 200的显示单元251上输出不同于所述一部分的虚拟空间的一部分。
通过图10可以阐明在上面描述的内容。
如在图10的(a)中所图示，在HMD 200的显示单元251上可以输出虚拟空间1000的一部分1000a。其后，当在其中被施加到移动终端100的触摸屏151被保持的状态下移动HMD200时，控制器180可以在如在图10的(b)中所图示的HMD 200的显示单元251上保持虚拟空间的部分1000a的输出。即，控制器180可以相对于HMD 200相对地旋转虚拟空间1000使得部分1000a的输出被保持。
同时，当在其中用户输入没有被施加到如在图10的(c)中所图示的移动终端100的触摸屏151的状态下移动HMD 200时，控制器180可以在如在图10的(d)中所图示的HMD 200的显示单元251上输出不同于部分1000a的虚拟空间1000的部分1000b。
通过此配置，在本公开中，在其中用户想要仅改变其中HMD 200被佩戴的姿势的情况下(即，在其中用户想要在HMD 200的显示单元251上输出的屏幕信息被保持(固定)的状态下仅改变姿势的情况下)，能够通过最佳方法执行相对应的操作的UI/UX能够被提供。
在下文中，将会参考附图描述与移动终端100和HMD 200有关的各种实施例。
图11A、图11B、图12A、图12B以及图13是图示根据本公开的另一实施例的使用移动终端控制HMD的方法的概念视图。
与本公开有关的移动终端可以具有无线通信单元110。
当通过无线通信单元110事件出现时，移动终端100的控制器180可以在虚拟空间中形成与事件有关的事件信息。
事件可以包括，例如，消息的接收、呼叫信号的接收、未接来电、报警、时间表通知、电子邮件的接收、通过应用的信息的接收等等。
而且，在本公开中提及的事件不限于通过无线通信单元110出现的事件。例如，事件可以进一步包括在移动终端100中设置的报警功能、通过时间表功能产生的报警等等。
如在图11A的(a)中所图示，在其中在HMD 200的显示单元251上输出虚拟空间1100的至少一部分1100a(或者确定的屏幕信息的至少一部分)的状态下，当在移动终端100中出现事件时，控制器180可以在虚拟空间1100中形成(或者产生)与事件有关的事件信息。
在此，如在图11A的(b)中所图示的，事件信息1120的至少一部分可以被显示以便于通知事件的发生。而且，如在图11A的(b)中所图示，控制器180可以在HMD 200的显示单元251上输出指示事件的发生的通知信息(例如，图形对象、图标、图像等等)1130。
为了指导事件信息1120被形成(产生)的位置并且防止用户的观看(或者视野)的干扰，仅在HMD 200的显示单元251上输出事件信息1120的一部分1120a。
而且，为了指引在可视空间中事件信息被形成的位置，控制器180可以将通知声音输出到被设置在HMD 200中的左音频输出单元和右音频输出单元中的任意一个(或者被形成在耳机或者扬声器中的左音频输出单元和右音频输出单元中的任意一个)。
例如，在其中相对于当前观看的区域事件信息被形成在右边的情况下，控制器180可以将通知声音仅输出到右音频输出单元。在其中相对于当前观看的区域在左边形成事件信息的情况下，控制器180可以将通知声音仅输出到左音频输出单元。
在其中事件信息1120的部分1120a在HMD 200的显示单元251上输出的状态下，当在其中形成事件信息的方向中旋转(或者移动)HMD 200时，在HMD的显示单元251上输出的事件信息的部分1120a的大小可以被增加。
例如，如在图11B的(a)中所图示，在其中仅被形成在虚拟空间1100中的事件信息1120的部分1120a在HMD 200的显示单元251上被输出的状态下，当HMD 200在其中事件信息1120被形成的方向中被旋转时，响应于旋转在HMD 200的显示单元251上输出整个事件信息1120。
在其中在HMD 200的显示单元251上输出事件信息的状态下(或者在其中事件信息被整体地输出的状态下或者在其中具有等于或者大于预设尺寸的事件信息被输出的状态下)，移动终端100的控制器180可以基于被施加到移动终端100的用户输入执行与事件有关的操作。
例如，当触摸被施加到移动终端100的触摸屏151时(或当在HMD200的显示单元251上整体地输出事件信息时或者当具有等于或者大于预设大小的尺寸的事件信息的一部分在HMD 200的显示单元251上被输出时)，光标1140可以在HMD 200的显示单元251上被输出，如在图11B的(a)中所图示。其后，基于被施加到移动终端100的触摸屏151的触摸输入，控制器180可以执行与事件有关的操作。
在此，与事件有关的操作可以根据被产生的事件的类型而变化。例如，在其中事件是呼叫信号的接收的情况下，与事件有关的操作可以是呼叫的连接、呼叫的拒绝、或者呼叫的记录。而且，在其中事件是通过应用的消息的接收或者信息的接收的情况下，与事件有关的操作可以包括读取消息、响应、应用的连接等等。
而且，与事件有关的操作可以包括使输出事件消息消失的功能和将输出的事件信息变成特定图标(或者图形对象)的功能。
在另一示例中，在其中事件信息在HMD 200的显示单元251上被输出的状态下(或者在其中事件信息被整体地输出的状态下或者在其中具有等于或者大于预设大小的尺寸的事件信息被输出的状态下)，当终端主体100被移动作为特定移动时，控制器180可以执行与事件有关的操作。
例如，如在图11B的(b)中所图示，在其中与呼叫信号的接收有关的信息在HMD 200的显示单元251上被输出的状态下，当在用户的耳朵的附近的终端主体100的移动被检测时，控制器180可以连接呼叫。
虽然未被示出，但是控制器180可以通过使用移动终端100的感测单元140检测用户的眼睛(检测用户的眼睛的方法是显然的，并且因此，其详情的描述将会被省略)。
当用户凝视事件信息的任意一点时，当终端主体100被移动作为预设移动时，控制器180可以确定预设移动作为用于选择(或者点击或者执行)的控制命令。
即，当用户凝视事件信息的任意一点的同时终端主体100被移动作为预设移动时，控制器180可以选择(或者执行)与任意一个点相关联的功能。
当根据HMD 200的移动输出的事件信息从HMD 200的显示单元251消失时，控制器180可以使事件信息从虚拟空间1100消失或者可以限制(或者静音)被输出的通知声音(或者正在被产生的振动)。
通过此配置，在本公开中，尽管在其中用户佩戴HMD 200的状态下事件在移动终端100中出现，能够以最佳方式控制事件的UI/UX能够被提供。
如上所述，与本公开有关的移动终端100(或者HMD 200)，可以通过被设置在HMD200中的感测单元240(或者移动终端100的感测单元140)感测佩戴HMD 200的用户的眼睛。
在这样的情况下，如在图12A的(a)中所图示，基于用户的眼睛，控制器180可以在HMD 200的显示单元251上输出对应于用户的眼睛的点(或者光标、图形对象等等)。
同时，虚拟空间1200a可以包括与预设功能相关联的至少一个图形对象1250。预设功能可以包括在HMD 200或移动终端100中能够执行的各种类型的功能。例如，预设功能可以包括调节的功能、输出被存储在移动终端中的图像的功能、输出天气信息的功能、输出广播的功能、以及输出虚拟主页空间的功能。
图12A图示被关联输出虚拟主页空间的功能的图形对象1250被包括在虚拟空间1200a中。
当检测到观看HMD 200的显示单元251的用户凝视被包括在虚拟空间1200a中的至少一个图形对象中的任意一个1250时(或者当在等于或者大于预先确定的时间段的时间段检测到用户凝视至少一个图形对象中的任意一个1250时或者当用户凝视任意一个图形对象的同时终端主体100被移动作为预设移动时)，控制器180可以执行被关联任意一个图形对象1250的功能。
例如，如在图12A的(a)和(b)中所图示，在其中根据HMD 200的移动虚拟空间1200a的特定区域1212a在HMD 200的显示单元251上被输出的状态下，当检测到用户凝视被包括在特定区域1212a中的图形对象1250时，控制器180可以在HMD 200的显示单元251上输出用于选择是否执行被关联图形对象1250的功能的选择窗口1252。
其后，如在图12A的(b)中所图示的，当终端主体100被移动作为预设移动(例如，被关联用于执行相对应的功能的控制命令的移动，例如，终端主体100振动预先确定的次数的移动)时，控制器180可以执行如在图12A的(c)中所图示的相对应的功能。在此，在其中相对应的功能是输出虚拟主页空间的功能的情况下，虚拟主页空间1200b的一部分1210b可以在HMD 200的显示单元251上被输出。
虚拟主页空间可以包括与各种功能相关联的图形对象。
例如，如在图12B中所图示，诸如与天气信息功能相关联的图形对象1260a、与亮度调节功能相关联的图形对象1260b、与输出被存储在移动终端100中的图像的功能相关联的图形对象1260c、以及与广播输出功能相关联的图形对象1260d的各种图形对象可以被包括在虚拟主页空间中。当检测到用户凝视特定图形对象(或者当检测到在等于或者大于预先确定的时间段的时间段内用户凝视特定的图形对象时或者当用户凝视图形对象的同时终端主体100被移动作为预设移动时)，控制器180可以执行(实行)与特定图形对象相关联的功能。
同时，如在图13中所图示，允许至少两个操作中的任意一个的选择的选择窗口1300可以在与本公开有关的HMD 200的显示单元251上被输出。
基于用户控制命令(例如，当用户凝视与特定功能相关联的图形对象时，或者通过触摸屏151(或者HMD 200的用户输入单元223)执行特定的功能时)，或者HMD 200的终端主体100被移动作为预设移动时)选择窗口可以在HMD 200的显示单元251上被输出。
在其中选择窗口1300被输出的状态下，当终端主体100被移动时，控制器180可以基于其中终端主体100被移动的方向执行被包括在选择窗口1300中的两个操作中的任意一个。
例如，当终端主体100在第一方向1320a中被移动(被旋转)时，控制器180可以执行第一操作(例如，选择“是”的操作)。
而且，当终端主体100在不同于第一方向的第二方向中移动时，控制器180可以执行不同于第一操作的第二操作(例如，选择“否”的操作)。
而且，当通过HMD 200的感测单元240感测到HMD 200在第一方向1310a)中移动时，控制器180可以执行第一操作(例如，选择“是”的操作)。
而且，当感测到在不同于第一方向的第二方向1310b中移动HMD200时，控制器180可以执行不同于第一操作的第二操作(例如，选择“否”的操作)。
另外，基于被施加到触摸屏151(或者HMD 200的用户输入单元223)的用户输入(例如，触摸输入)，控制器180可以执行至少两个操作中的任意一个。
而且，在其中用户凝视与被包括在选择窗口中的至少两个操作相对应的按钮中的任意一个的情况下(或者在其中用户在等于或者大于预先确定的时间段的时间段内凝视按钮中的任意一个的情况下或者在其中用户凝视任意一个按钮的同时终端主体被移动作为预设移动的情况下)，与任意一个按钮相关联的操作可以被执行。
如上所述，根据本公开，能够提供允许以最佳方式使用移动终端100控制HMD 200的用户界面。
而且，在其中在HMD 200的显示单元251上输出虚拟空间的特定区域的状态下，当移动终端100被移动作为预设移动时，虚拟空间的默认区域可以在HMD 200的显示单元251上被输出。通过此配置，在本公开中，能够提供允许以最佳方式调节在HMD 200上输出的屏幕的用户界面。
而且，在本公开中，在其中用户输入被施加到移动终端100的状态下，当HMD 200被移动时，可以保持在HMD 200上输出的屏幕(即，虚拟空间的一部分)。因此，在本公开中，在其中佩戴HMD 200的用户想要在其中保持当前输出的屏幕的状态下移动的情况下，能够提供更加方便地执行相对应的操作的控制方法。
而且，在本公开中，在其中HMD 200正在被使用的同时事件在移动终端中出现的情况下，在HMD 200的显示单元251上可以输出与事件有关的信息并且通过使用移动终端100可以提供用于执行与事件有关的操作(功能)的最佳控制方法。
在本公开中，描述了通过移动终端100的控制器180控制HMD200，但是本公开不限于此，并且，HMD 200的控制器280能够执行控制。例如，当以有线方式连接的移动终端100被移动作为预设移动时，HMD 200的控制器280可以在HMD 200的显示单元251上输出虚拟空间的第一区域(例如，默认区域)。可以以与上述方法相同或者相似的方式推断和应用参考图6至图13在上面描述的内容。
而且，在上面，其中移动终端100和HMD 200以有线方式被连接的状态被描述为示例，但是本公开不限于此。即，在本公开中，即使在其中移动终端100和HMD 200被无线地连接使得通过移动终端100的无线通信单元110和HMD 200的无线通信单元能够执行无线通信的情况下，以及在其中移动终端100和HMD 200以有线方式被连接的情况下，以相同或者相似方式可以推断和应用参考图6至图13在上面描述的内容。
在前面的描述中提及的本发明可以使用其上存储有用于由执行在此陈述的各种方法的处理器执行的指令的机器可读介质实现。可能的机器可读介质的示例包括HDD(硬盘驱动)、SSD(固态盘)、SDD(硅盘驱动)、ROM、RAM、CD-ROM、磁带、软盘、光数据存储设备等等。根据需要，计算机可读介质也可以被实现为载波的形式(例如，经由互联网的传送)。处理器可以包括终端的控制器180。
前述实施例仅是示例性的并且不被视为对本公开的限制。此描述旨在是说明性的，并且没有限制权利要求的范围。许多替代、修改以及变形对于本领域的技术人员来说将会是显然的。可以以各种方式组合在此描述的示例性实施例的特征、结构、方法以及其它特性以获得附加的和/或替代的示例性实施例。
由于在没有脱离其特性的情况下可以以多种形式实现本特征，所以也应理解的是，上述实施例不受前面描述的任何细节的限制，除非另有规定，否则应在所附的权利要求中限定的范围内被广泛地解释，并且因此旨在由所附的权利要求涵盖落入权利要求的范围和界限或者该范围和界限的等同物内的所有变化和修改。

Claims (15)

1.一种系统，包括：
头戴式显示器(HMD)，所述HMD具有显示器和感测单元；和
移动终端，所述移动终端被配置成被耦合到所述HMD，用于控制所述HMD，其中所述移动终端包括：
终端主体；
接口单元，所述接口单元被配置成与所述HMD耦合；
感测单元，所述感测单元被配置成感测所述终端主体的移动；以及
控制器，所述控制器被配置成：
使在所述HMD的显示器上输出虚拟空间的预设第一区域；
基于通过所述HMD的感测单元感测到的所述HMD的移动，使在所述显示器上输出不同于所述预设第一区域的所述虚拟空间的第二区域；并且
基于对应于预设移动的所述终端主体的移动，使在所述HMD的显示器上输出所述预设第一区域，替代所述第二区域。
2.根据权利要求1所述的系统，其中所述控制器进一步被配置成：
即使当没有感测到所述HMD的移动时，基于对应于预设移动的所述终端主体的移动，使在所述HMD的显示器上输出所述预设第一区域，替代所述第二区域。
3.根据权利要求2所述的系统，其中所述控制器进一步被配置成：
相对于所述HMD旋转所述虚拟空间，使得响应于所述预设移动在所述HMD的显示器上输出所述预设第一区域。
4.根据权利要求1所述的系统，其中所述预设第一区域是所述虚拟空间的默认区域、包括在被包括在所述虚拟空间中的对象当中的特定对象的区域、或者由用户设置的特定区域中的至少一个。
5.根据权利要求1所述的系统，其中使用所述移动终端的感测单元感测所述HMD的移动。
6.一种系统，包括：
头戴式显示器(HMD)，所述HMD具有显示器、感测单元、以及用户输入单元；和
移动终端，所述移动终端被配置成被耦合到所述HMD，用于控制所述HMD，其中所述移动终端包括：
接口单元，所述接口单元被配置成与所述HMD耦合；
触摸屏；以及
控制器，所述控制器被配置成：
使在所述HMD的显示器上输出虚拟空间的一个部分；并且
当用户输入被施加到所述移动终端的触摸屏或者所述HMD的用户输入单元中的至少一个的同时所述HMD被移动时，保持在所述HMD的显示器上的所述虚拟空间的所述一个部分的输出。
7.根据权利要求6所述的系统，其中所述控制器进一步被配置成：
当在其中用户输入没有被施加到所述触摸屏和所述HMD的用户输入单元的状态下移动所述HMD时，使在所述HMD的显示器上输出不同于所述虚拟空间的所述一个部分的所述虚拟空间的部分。
8.根据权利要求1所述的系统，进一步包括：
无线通信单元，
其中所述控制器进一步被配置成：
使所述HMD的显示器显示与响应于经由所述无线通信单元接收到的信号出现的事件有关的事件信息。
9.根据权利要求8所述的系统，其中所述控制器进一步被配置成：
当在其中所述事件信息被显示的方向上旋转所述HMD时，增加被显示在所述HMD的显示器上的所述事件信息的一个部分的大小。
10.根据权利要求8所述的系统，其中所述控制器进一步被配置成：
当所述事件信息被显示的同时根据特定移动所述终端主体被移动时，执行与所述事件有关的操作。
11.根据权利要求1所述的系统，其中：
所述HMD的感测单元感测佩戴所述HMD的用户的眼睛并且所述虚拟空间包括与预设功能相关联的至少一个图形对象，并且其中所述控制器进一步被配置成：
当所述HMD的感测单元感测到在被定义的时间段内所述用户凝视所述至少一个图形对象中的第一个时，执行与所述至少一个图形对象中的第一个相关联的功能。
12.根据权利要求1所述的系统，其中所述控制器进一步被配置成：
使所述HMD的显示器显示用于选择至少两个操作中的任意一个的选择窗口；并且
根据当所述选择窗口被显示时移动所述终端主体的方向，执行所述至少两个操作中的任意一个。
13.根据权利要求12所述的系统，其中所述控制器进一步被配置成：
当所述终端主体在第一方向中被移动时，执行第一操作；并且
当在不同于所述第一方向的第二方向中移动所述终端主体时，执行不同于所述第一操作的第二操作。
14.一种控制包括移动终端和头戴式显示器(HMD)的系统的方法，所述方法包括：
在所述HMD的显示器上输出虚拟空间的预设第一区域；
基于通过所述HMD的感测单元感测到的所述HMD的移动，在所述HMD的显示器上输出不同于所述预设第一区域的所述虚拟空间的第二区域；以及
基于对应于预设移动的所述终端主体的移动，在所述HMD的显示器上输出所述预设第一区域，替代所述第二区域。
15.根据权利要求14所述的方法，进一步包括：
即使当没有感测到所述HMD的移动时，基于对应于预设移动的所述终端主体的移动，在所述HMD的显示器上输出所述预设第一区域，替代所述第二区域。
CN201610950269.5A 2015-10-26 2016-10-26 系统及控制其的方法 Active CN107037876B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020150148969A KR102400900B1 (ko) 2015-10-26 2015-10-26 시스템
KR10-2015-0148969 2015-10-26

Publications (2)

Publication Number Publication Date
CN107037876A true CN107037876A (zh) 2017-08-11
CN107037876B CN107037876B (zh) 2021-08-27

Family

ID=57137781

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610950269.5A Active CN107037876B (zh) 2015-10-26 2016-10-26 系统及控制其的方法

Country Status (4)

Country Link
US (1) US10185390B2 (zh)
EP (1) EP3163426B1 (zh)
KR (1) KR102400900B1 (zh)
CN (1) CN107037876B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112740284A (zh) * 2018-11-30 2021-04-30 多玩国株式会社 动画合成装置、动画合成方法以及记录介质
WO2024060959A1 (zh) * 2022-09-20 2024-03-28 北京字跳网络技术有限公司 虚拟环境中的观影画面调整方法、装置、存储介质及设备

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10509469B2 (en) 2016-04-21 2019-12-17 Finch Technologies Ltd. Devices for controlling computers based on motions and positions of hands
KR101747032B1 (ko) * 2016-04-21 2017-06-14 한국과학기술원 소프트웨어 정의 네트워킹 환경에서의 모듈형 제어 장치 및 그 동작 방법
US10591988B2 (en) * 2016-06-28 2020-03-17 Hiscene Information Technology Co., Ltd Method for displaying user interface of head-mounted display device
US10514769B2 (en) * 2016-10-16 2019-12-24 Dell Products, L.P. Volumetric tracking for orthogonal displays in an electronic collaboration setting
US10437070B2 (en) 2016-12-23 2019-10-08 Realwear, Inc. Interchangeable optics for a head-mounted display
US10936872B2 (en) 2016-12-23 2021-03-02 Realwear, Inc. Hands-free contextually aware object interaction for wearable display
US11099716B2 (en) 2016-12-23 2021-08-24 Realwear, Inc. Context based content navigation for wearable display
US10393312B2 (en) 2016-12-23 2019-08-27 Realwear, Inc. Articulating components for a head-mounted display
US10620910B2 (en) * 2016-12-23 2020-04-14 Realwear, Inc. Hands-free navigation of touch-based operating systems
US11507216B2 (en) 2016-12-23 2022-11-22 Realwear, Inc. Customizing user interfaces of binary applications
US10405374B2 (en) * 2017-03-17 2019-09-03 Google Llc Antenna system for head mounted display device
US11200743B2 (en) * 2017-03-30 2021-12-14 Christopher Carmichael Social network access via virtual-reality
US10705113B2 (en) 2017-04-28 2020-07-07 Finch Technologies Ltd. Calibration of inertial measurement units attached to arms of a user to generate inputs for computer systems
US10417827B2 (en) * 2017-05-04 2019-09-17 Microsoft Technology Licensing, Llc Syndication of direct and indirect interactions in a computer-mediated reality environment
US10379613B2 (en) 2017-05-16 2019-08-13 Finch Technologies Ltd. Tracking arm movements to generate inputs for computer systems
US10540006B2 (en) 2017-05-16 2020-01-21 Finch Technologies Ltd. Tracking torso orientation to generate inputs for computer systems
US10817129B2 (en) * 2017-07-17 2020-10-27 Google Llc Methods, systems, and media for presenting media content previews
US10403032B2 (en) 2017-08-22 2019-09-03 Qualcomm Incorporated Rendering an image from computer graphics using two rendering computing devices
US10776997B2 (en) * 2017-08-24 2020-09-15 Qualcomm Incorporated Rendering an image from computer graphics using two rendering computing devices
JP7027109B2 (ja) * 2017-10-13 2022-03-01 任天堂株式会社 姿勢位置推測システム、姿勢位置推測方法、および姿勢位置推測装置
US10521011B2 (en) * 2017-12-19 2019-12-31 Finch Technologies Ltd. Calibration of inertial measurement units attached to arms of a user and to a head mounted device
JP7080636B2 (ja) * 2017-12-28 2022-06-06 Ｄｙｎａｂｏｏｋ株式会社 システム
CN108228562A (zh) * 2017-12-29 2018-06-29 歌尔科技有限公司 蓝牙模块的重命名方法以及电子设备
US10509464B2 (en) 2018-01-08 2019-12-17 Finch Technologies Ltd. Tracking torso leaning to generate inputs for computer systems
US11016116B2 (en) 2018-01-11 2021-05-25 Finch Technologies Ltd. Correction of accumulated errors in inertial measurement units attached to a user
US20190294208A1 (en) * 2018-03-22 2019-09-26 Tremaine Jackson Da'cor Headdress with Display Unit
US10416755B1 (en) 2018-06-01 2019-09-17 Finch Technologies Ltd. Motion predictions of overlapping kinematic chains of a skeleton model used to control a computer system
US11474593B2 (en) 2018-05-07 2022-10-18 Finch Technologies Ltd. Tracking user movements to control a skeleton model in a computer system
JP7252398B2 (ja) * 2018-07-04 2023-04-04 マクセル株式会社 仮想オブジェクト操作方法およびヘッドマウントディスプレイ
US11009941B2 (en) 2018-07-25 2021-05-18 Finch Technologies Ltd. Calibration of measurement units in alignment with a skeleton model to control a computer system
US11032532B2 (en) * 2018-10-04 2021-06-08 Samsung Electronics Co., Ltd. Electronic device and method for providing virtual device via at least portion of content
US10809797B1 (en) 2019-08-07 2020-10-20 Finch Technologies Ltd. Calibration of multiple sensor modules related to an orientation of a user of the sensor modules
JP2021105783A (ja) * 2019-12-26 2021-07-26 セイコーエプソン株式会社 表示システム、表示方法、及び、プログラム
US11922581B2 (en) * 2020-05-08 2024-03-05 Coviden Lp Systems and methods of controlling an operating room display using an augmented reality headset
EP3958095A1 (en) * 2020-08-21 2022-02-23 Deutsche Telekom AG A mobile computer-tethered virtual reality/augmented reality system using the mobile computer as a man machine interface

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5717415A (en) * 1994-02-01 1998-02-10 Sanyo Electric Co., Ltd. Display system with 2D/3D image conversion where left and right eye images have a delay and luminance difference base upon a horizontal component of a motion vector
US20120050144A1 (en) * 2010-08-26 2012-03-01 Clayton Richard Morlock Wearable augmented reality computing apparatus
US20120249591A1 (en) * 2011-03-29 2012-10-04 Giuliano Maciocci System for the rendering of shared digital interfaces relative to each user's point of view
CN102906623A (zh) * 2010-02-28 2013-01-30 奥斯特豪特集团有限公司 交互式头戴目镜上的本地广告内容
CN103186922A (zh) * 2011-09-30 2013-07-03 微软公司 使用扩增现实显示器表示以前时间段时的场所
CN103677245A (zh) * 2012-09-11 2014-03-26 纬创资通股份有限公司 互动式虚像显示器及互动式显示方法
CN103941985A (zh) * 2014-04-02 2014-07-23 百度在线网络技术（北京）有限公司 用于屏幕模式切换的方法和装置
CN103984097A (zh) * 2013-02-12 2014-08-13 精工爱普生株式会社 头戴式显示装置、头戴式显示装置的控制方法以及图像显示系统
WO2014147686A1 (en) * 2013-03-21 2014-09-25 Sony Corporation Head-mounted device for user interactions in an amplified reality environment
WO2014199598A1 (en) * 2013-06-12 2014-12-18 Seiko Epson Corporation Head-mounted display device and control method of head-mounted display device
US20150062164A1 (en) * 2013-09-05 2015-03-05 Seiko Epson Corporation Head mounted display, method of controlling head mounted display, computer program, image display system, and information processing apparatus
CN104423580A (zh) * 2013-08-30 2015-03-18 Lg电子株式会社 可穿戴的眼镜型终端及其控制方法、具有该终端的系统
US20150084862A1 (en) * 2012-06-07 2015-03-26 Olympus Corporation Head-mounted display, image display system, information storage device, and method for controlling head-mounted display
CN104571849A (zh) * 2013-10-18 2015-04-29 Lg电子株式会社 可佩戴装置及其控制方法
CN104866262A (zh) * 2014-02-21 2015-08-26 索尼公司 可穿戴设备

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1175140A (ja) * 1997-08-27 1999-03-16 Olympus Optical Co Ltd 頭部装着型映像表示装置および映像表示制御装置
US20090243966A1 (en) * 2006-07-25 2009-10-01 Nikon Corporation Outputting apparatus and image display apparatus
JP5217386B2 (ja) * 2007-11-21 2013-06-19 株式会社ニコン 制御装置、ヘッドマウントディスプレイ装置、プログラム及び制御方法
US8184067B1 (en) * 2011-07-20 2012-05-22 Google Inc. Nose bridge sensor
US20140152558A1 (en) 2012-11-30 2014-06-05 Tom Salter Direct hologram manipulation using imu
JP2014153645A (ja) 2013-02-13 2014-08-25 Seiko Epson Corp 画像表示装置および画像表示装置の表示制御方法
US8958158B1 (en) * 2013-12-03 2015-02-17 Google Inc. On-head detection for head-mounted display
US9442631B1 (en) * 2014-01-27 2016-09-13 Google Inc. Methods and systems for hands-free browsing in a wearable computing device

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5717415A (en) * 1994-02-01 1998-02-10 Sanyo Electric Co., Ltd. Display system with 2D/3D image conversion where left and right eye images have a delay and luminance difference base upon a horizontal component of a motion vector
CN102906623A (zh) * 2010-02-28 2013-01-30 奥斯特豪特集团有限公司 交互式头戴目镜上的本地广告内容
US20120050144A1 (en) * 2010-08-26 2012-03-01 Clayton Richard Morlock Wearable augmented reality computing apparatus
US20120249591A1 (en) * 2011-03-29 2012-10-04 Giuliano Maciocci System for the rendering of shared digital interfaces relative to each user's point of view
CN103186922A (zh) * 2011-09-30 2013-07-03 微软公司 使用扩增现实显示器表示以前时间段时的场所
US20150084862A1 (en) * 2012-06-07 2015-03-26 Olympus Corporation Head-mounted display, image display system, information storage device, and method for controlling head-mounted display
CN103677245A (zh) * 2012-09-11 2014-03-26 纬创资通股份有限公司 互动式虚像显示器及互动式显示方法
CN103984097A (zh) * 2013-02-12 2014-08-13 精工爱普生株式会社 头戴式显示装置、头戴式显示装置的控制方法以及图像显示系统
WO2014147686A1 (en) * 2013-03-21 2014-09-25 Sony Corporation Head-mounted device for user interactions in an amplified reality environment
WO2014199598A1 (en) * 2013-06-12 2014-12-18 Seiko Epson Corporation Head-mounted display device and control method of head-mounted display device
CN104423580A (zh) * 2013-08-30 2015-03-18 Lg电子株式会社 可穿戴的眼镜型终端及其控制方法、具有该终端的系统
US20150062164A1 (en) * 2013-09-05 2015-03-05 Seiko Epson Corporation Head mounted display, method of controlling head mounted display, computer program, image display system, and information processing apparatus
CN104571849A (zh) * 2013-10-18 2015-04-29 Lg电子株式会社 可佩戴装置及其控制方法
CN104866262A (zh) * 2014-02-21 2015-08-26 索尼公司 可穿戴设备
CN103941985A (zh) * 2014-04-02 2014-07-23 百度在线网络技术（北京）有限公司 用于屏幕模式切换的方法和装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112740284A (zh) * 2018-11-30 2021-04-30 多玩国株式会社 动画合成装置、动画合成方法以及记录介质
WO2024060959A1 (zh) * 2022-09-20 2024-03-28 北京字跳网络技术有限公司 虚拟环境中的观影画面调整方法、装置、存储介质及设备

Also Published As

Publication number Publication date
US20170115728A1 (en) 2017-04-27
KR20170048069A (ko) 2017-05-08
EP3163426B1 (en) 2019-04-10
EP3163426A1 (en) 2017-05-03
CN107037876B (zh) 2021-08-27
KR102400900B1 (ko) 2022-05-23
US10185390B2 (en) 2019-01-22

Similar Documents

Publication Publication Date Title
CN107037876A (zh) 系统及控制其的方法
CN105393522B (zh) 移动终端及其控制方法
CN105259654B (zh) 眼镜式终端及其控制方法
CN104978136B (zh) 移动终端和用于移动终端的控制方法
CN107071136A (zh) 移动终端及其控制方法
CN105453444B (zh) 移动终端及其控制方法
CN105450848A (zh) 移动终端及其控制方法
CN106850395A (zh) 移动终端及其控制方法
CN105808137A (zh) 移动终端及其控制方法
CN107948394A (zh) 移动终端
US9939642B2 (en) Glass type terminal and control method thereof
CN106412415A (zh) 移动终端及其控制方法
KR20170126294A (ko) 이동 단말기 및 그 제어방법
CN106664334A (zh) 移动终端及其控制方法
KR20180000255A (ko) 이동 단말기 및 그 이동 단말기의 제어 방법
KR20170022490A (ko) 이동 단말기 및 그 제어방법
CN106067833B (zh) 移动终端及其控制方法
CN107925689A (zh) 移动终端
KR20170055867A (ko) 이동단말기 및 그 제어방법
KR20170060473A (ko) 이동 단말기 및 그 이동 단말기의 제어 방법
CN107924284A (zh) 移动终端及其控制方法
KR101586914B1 (ko) 이동 단말기
CN106331797A (zh) 移动终端及其控制方法
KR20160149066A (ko) 이동단말기 및 그 제어방법
CN106559610A (zh) 相机模块和与相机模块通信的移动终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant