CN104423584B - 可佩戴的装置及其输出内容的方法 - Google Patents

可佩戴的装置及其输出内容的方法 Download PDF

Info

Publication number
CN104423584B
CN104423584B CN201410443203.8A CN201410443203A CN104423584B CN 104423584 B CN104423584 B CN 104423584B CN 201410443203 A CN201410443203 A CN 201410443203A CN 104423584 B CN104423584 B CN 104423584B
Authority
CN
China
Prior art keywords
wearable device
user
content
screen
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201410443203.8A
Other languages
English (en)
Other versions
CN104423584A (zh
Inventor
严祥元
金善亮
元钟弼
安晸浩
朴炯旻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN104423584A publication Critical patent/CN104423584A/zh
Application granted granted Critical
Publication of CN104423584B publication Critical patent/CN104423584B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开涉及一种可佩戴的装置及其输出内容的方法。根据一个实施例，根据本发明的用于输出内容的可佩戴装置包括：处理器，该处理器被配置成控制可佩戴装置的操作；感测单元，该感测单元被配置成获得第一感测信息；输出单元，该输出单元被配置成根据处理器的命令将内容输出到屏幕；以及通信单元，该通信单元被配置成根据处理器的命令传送和接收数据，其中处理器被配置成：基于通过感测单元获得的第一感测信息根据用户的状态从活动模式和非活动模式中的任意一个确定输出模式；根据被确定的输出模式控制用于输出内容的屏幕被输出，如果输出模式对应于非活动模式则控制内容在整个屏幕中被输出，并且如果输出模式对应于活动模式则控制内容在整个屏幕的一部分中被输出。

Description

可佩戴的装置及其输出内容的方法
技术领域
本发明涉及一种可佩戴的装置，并且更加具体地，涉及一种基于在可佩戴装置上的用户的动作、用户的状态、可佩戴装置的情形(或者环境)、内容的属性、或者其组合中的每一个输出内容、用户界面等等的方法。
背景技术
移动终端是可以被配置成执行各种功能的装置。这样的功能的示例包括数据和语音通信、经由相机捕获图像和视频、记录音频、经由扬声器系统播放音乐文件和输出音乐、以及在显示器上显示图像和视频。一些终端包括支持玩游戏的附加的功能性，同时其它的终端也被配置为多媒体播放器。最近，移动终端已经被配置成接收允许观看诸如视频和电视节目的内容的广播和多播信号。
通常，根据移动性的存在或者不存在终端能够被分类成移动终端和固定终端。并且，根据亲手携带的可用性移动终端能够进一步被分类成手持终端和车载终端。
正在对支持和增加移动终端的功能性进行不断努力。这样的努力包括软件和硬件改进，以及在形成移动终端的结构组件上的变化和改进。
在规定的位置中通过诸如TV的固定形式提供传统的显示装置。但是，当最近的移动终端将其用途变成多于诸如呼叫、文本消息等等的传送和接收的简单用途的智能装置时，对显示装置的兴趣增长。
例如，已经开始研究比传统的显示装置更加方便地使用显示装置的方案。作为示例，现在正在引入诸如HMD(头戴式显示器)或者智能手表的可佩戴装置。
在前面的描述中，通过诸如眼镜的被佩戴在用户的头上的形式实现HMD以及通过诸如手表的被佩戴在用户的手腕上的形式实现智能手表。HMD或者智能手表指示能够在没有使用前述的TV或者单独的显示装置的情况下输出视频的装置。当根据数字装置的发光和小型化的趋势开发各种可佩戴的计算机时此变成被启用。同时，可佩戴装置能够以与增强现实的技术、N屏幕技术等等相组合的方式将传统的移动装置的功能、各种体验和便利以及简单的显示功能提供给用户。
基本上，通过被佩戴在用户的身体上的形式实现可佩戴装置。不同于传统的显示装置，能够在更多不同的环境中使用可佩戴装置。但是，当前开发的可佩戴装置仅集中于经由可佩戴装置提供内容。此外，以与用户的动作、用户的状态、可佩戴装置的情形、内容的属性不相匹配的方式实现可佩戴装置。因此，使用可佩戴装置的用户可能具有安全问题和不便。
发明内容
因此，本发明针对基本上消除由于现有技术的限制和缺点造成的一个或者多个问题的设备和方法。本发明的一个目的是为了提供一种提供内容和用户界面的自适应的可佩戴装置和基于用户动作、状态、内容的属性等等控制可佩戴装置的方法。
本发明的另一目的是为了通过提供自适应的可佩戴装置提高用户安全性、产品满意度等等。
本发明的另外的优点、目的和特征将在随后的描述中部分地被给出，并且部分地对于查看了下面的内容的本领域内的普通技术人员变得显然，或可以从本发明的实践来获悉本发明的另外的优点、目的和特征。可以通过在所撰写的说明书及其权利要求以及附图中具体指出的结构来实现和获得本发明的目的和其它优点。
为了实现前述的目的，本公开公开可佩戴装置及其输出内容的方法。
在这样的情况下，根据本发明的一个实施例，一种在可佩戴装置中输出内容的方法包括：获得第一感测信息；基于第一感测信息根据用户的状态从活动模式和非活动模式中的任意一个确定输出模式；以及根据所确定的输出模式将内容输出到屏幕上的回放窗口，其中如果输出模式对应于非活动模式，则内容被配置成在与整个屏幕相对应的第一回放窗口中输出，其中如果输出模式对应于活动模式，则内容被配置成在整个屏幕的一部分中输出。
根据本发明的一个实施例，一种用于输出内容的可佩戴装置包括：处理器，该处理器被配置成控制可佩戴装置的操作；感测单元，该感测单元被配置成获得第一感测信息；输出单元，该输出单元被配置成根据处理器的命令将内容输出到屏幕；以及通信单元，该通信单元被配置成根据处理器的命令传送和接收数据，其中处理器被配置成：基于通过感测单元获得的第一感测信息根据用户的状态从活动模式和非活动模式中的任意一个确定输出模式；根据所确定的输出模式控制用于输出内容的屏幕被输出，如果输出模式对应于非活动模式则控制内容在整个屏幕中输出，并且如果输出模式对应于活动模式则控制内容在整个屏幕的一部分中输出。
因此，本公开提供下述作用和优点。
首先，根据本发明，能够基于用户的各种因素替代仅根据用户的请求输出图像提供自适应的可佩戴装置。
其次，就软件而言能够以实现自适应可佩戴装置的方式保持产品的有竞争力的价格的同时最小化复杂软件的添加、改变等等。
第三，能够以根据用户安全性或者状态播放内容或经由自适应的可佩戴装置执行功能的方式提高用户的产品满意度。
要理解的是，本发明的前述一般说明和下面的详细说明是示例性的和解释性的，并且旨在提供所要求保护的发明的进一步的解释。
附图说明
被包括以提供本发明的进一步理解并且被包含且组成本申请的一部分的附图，图示本发明的实施例并且连同描述一起用以解释本发明的原理。在附图中：
图1图示可佩戴装置的框图；
图2图示能够与可佩戴装置同步的数字装置的图；
图3图示使用可佩戴装置输出内容的方法的流程图；
图4图示用于解释被聚焦在可佩戴装置上的图像的位置的图；
图5和图6图示用于解释可佩戴装置的元件和功能的图；
图7图示用于解释可佩戴装置的控制模式的方法的流程图；
图8图示用于解释使用关于被安装在可佩戴装置中的传感器的信息获得用户信息的方法的图；
图9和图10图示用于解释在可佩戴装置中接收消息的情况下可佩戴装置处理消息的方法的图；
图11和图12图示用于解释可佩戴装置处理视频数据的方法的图；
图13和图14图示用于解释在使用可佩戴装置中的应用的情况下可佩戴装置处理应用的方法的图；
图15和图16图示用于解释根据佩戴可佩戴装置的用户的状态提供用户界面的方法的示例的图；
图17和图18图示用于解释在佩戴可佩戴装置的用户没有移动的情况下提供用户界面的方法和处理用户界面的方法的图；
图19和图20图示用于解释在佩戴可佩戴装置的用户移动的情况下提供用户界面的方法和处理用户界面的方法的图；以及
图21至图28图示用于解释根据用户动作控制可佩戴装置的方法的图。
具体实施方式
尽管在本说明书中使用的术语选自考虑到本发明中的功能当前并且广泛地使用的一般术语，但是可依照从事相应领域的技术人员的意图、习惯、新技术的出现等改变术语。有时，一些术语可以被(一个或多个)申请人任意地选择。在这种情况下，将在本发明的详细描述的相应部分中描述任意选择的术语的意义。因此，在本公开中使用的术语需要被基于相应术语的实质意义和在本说明书中所公开的总体事项来解释，而不是被解释为术语的简单名称。
如在此所使用的，后缀“模块”、“单元”以及“部分”被用于元件以便于仅有助于本公开。因此，显著的意义或者任务没有被给予后缀本身并且理解“模块”、“单元”以及“部分”能够被一起或者互换地使用。
本发明能够应用于各种类型的终端。这样的终端的示例包括移动终端，诸如移动电话、用户设备、智能电话、移动计算机、数字广播终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)以及导航仪。
在本公开中，描述可佩戴装置或者可佩戴显示装置(在下文中，“可佩戴装置”)。特别地，本公开详细地描述基于用户的动作、用户的状态(包括可佩戴装置的环境)、内容属性等等或者其组合中的每一个提供内容、用户界面等等的可佩戴装置。
在下面的本公开中描述的可佩戴装置包括以将显示装置附接或者安装到用户的身体或者从用户的身体拆卸显示装置的方式输出规定的内容、信息等等的所有种类的显示装置。作为一种可佩戴装置，已经引入诸如谷歌眼镜、智能手表、HMD(头戴式显示器)、透镜等等的眼镜式装置。此外，可佩戴装置能够包括能够以被佩戴在用户上的方式提供显示器的各种装置，诸如EMD(眼戴式显示器)、眼镜、护目镜、眼部饰品、HWD(头戴式显示器)等等。为了阐明和理解本发明，眼镜式可佩戴装置被描述并且被解释为可佩戴装置的示例。但是，显然的是，本发明的技术理念能够被同等地或者类似地应用于通过不同的形式实现的可佩戴装置。
并且，在本公开中描述的术语“用户动作”对应于包括佩戴可佩戴装置的用户的手势、眼镜跟踪、在可佩戴装置中实现的经由触摸板、触摸屏、按钮等等执行的用户选择或者输入等等的概念。
并且，在本公开中描述的术语“用户状态”包括所有状态或者诸如佩戴可佩戴装置的用户的视力信息的在日程生活中佩戴可佩戴装置的用户频繁地体验的状态、在用户在锻炼、移动、停止的过程中的情况下，或者在用户已经从用户去除可佩戴装置的情况下的用户属于的位置的环境状态或者照明、其中用户面对的紧急状态、当观看内容时呼叫、文本消息、紧急消息等等的传输和接收。
在本公开中描述的术语“内容属性”意指是否内容对应于文本、音频、视频、或者图像。关于此，在本公开中描述的内容对应于包括音频、视频、图像、文本等等的概念。尽管没有被特别地指示，但是内容可以对应于从相对应的部分中的由音频、视频、图像、文本组成的组中选择的至少一个。
如在前面的描述中所提及的，本公开旨在提供一种附接/拆卸可佩戴装置的用户基于前述的因素中的每一个直观地、更加容易地和方便地控制可佩戴装置的方法，并且旨在提供一种执行该方法所需的用户界面(UI)。
在下面的描述中，参考附图详细地解释本发明的技术理念。
根据本发明的一个实施例，用于输出内容的可佩戴装置包括处理器，该处理器被配置成控制可佩戴装置的操作；感测单元，该感测单元被配置成获得第一感测信息；输出单元，该输出单元被配置成根据处理器的命令将内容输出到屏幕；以及通信单元，该通信单元被配置成根据处理器的命令传送和接收数据，其中处理器被配置成：基于通过感测单元获得的第一感测信息根据用户的状态从活动的模式和非活动的模式中的任意一个中确定输出模式，根据所确定的输出模式控制用于输出内容的屏幕以被输出，如果输出模式对应于非活动模式则控制内容在整个屏幕中输出，并且如果输出模式对应于活动模式则控制内容在整个屏幕的一部分中输出。
内容对应于从外部设备接收到的预先存储的视频数据、图像数据、文本数据、地图数据、应用数据、以及消息数据中的一个。感测单元被配置成通过接近传感器、相机传感器、音频传感器、眼睛跟踪传感器、运动传感器、以及照明传感器中的至少一个获得感测信息。感测单元被配置成定期地获得感测信息或者被配置成在检测到用户的移动的情况下收集感测信息。
并且，处理器被配置成使用照明传感器计算入射光的数量并且使用反射角获得入射光源的位置信息中的至少一个。处理器被配置成基于计算的入射光的数量和获得的光源的位置信息中的至少一个控制报警声音和报警消息中的至少一个被产生和输出。而且，处理器被配置成基于计算的入射光的数量和获得的光源的位置信息中的至少一个根据所确定的输出模式改变屏幕的配置并且基于所计算的入射光的数量和获得的光源的位置信息中的至少一个改变被包括在屏幕中的内容的颜色的至少一个步骤。处理器被配置成控制用户动作以经由传感器单元被检测，控制关于检测到的用户动作的第二感测信息被获得，并且基于获得的关于用户动作的第二感测信息控制图像被聚焦在要移动的屏幕的位置上。处理器被配置成控制用户的视力信息经由感测单元被获得，并且基于获得的用户的视力信息控制屏幕被输出以使图像被聚焦在不同于预定位置的位置上。
图1图示可佩戴装置的框图。
参考图1，可佩戴装置100可以包括处理器110、显示单元120、音频输出单元130、通信单元140、感测单元150、存储单元160以及电源单元170。在此，显示单元120或者音频输出单元130以及组合被称为输出单元。
显示单元在显示屏幕中输出内容和/或用户界面。并且，如在图3中所描述的，显示单元120可以以与外部设备同步的方式经由通信单元140与外部设备(例如，数字装置)传送和接收数据。例如，显示单元120可以以实时或者非实时接收内容的方式输出被同步的数字装置的内容。
音频输出单元130输出用于经由处理器110播放的内容的音频数据。同时，音频输出单元130对应于在诸如扬声器、耳机等等的可佩戴装置中实现的音频输出装置并且可以通过被配置成连接扬声器、耳机等等的插孔的形式或者接口的形式被实现。此外，音频输出单元可以从外部设备接收音频数据并且然后在通过处理器110处理音频数据之后能够输出音频数据。
通信单元140以经由各种通信协议执行通信的方式与外部设备或者外部通信网络传送和接收数据。同时，通信协议可以包括所有其它的可用的有线/无线通信协议以及LTE(长期演进)、LTE-A(LTE高级)、Wi-Fi、蓝牙等等。因此，通信单元140可以包括支持各种有线/无线通信协议的至少一个通信处理装置。或者，通信处理装置可以被包括在处理器110中。同时，处理器110或者通信单元140搜寻能够经由网络被连接到处理器或者通信单元的外部设备，执行与搜索到的外部设备中的当前可用的外部设备的配对，并且然后能够通过当前可用的外部设备收发数据。同时，处理器110或者通信单元140可以包括至少一个天线。天线可以被用于检测与可佩戴装置100配对的外部设备的位置信息。例如，可佩戴装置100可以经由天线基于通过外部设备收发的信号的时间差、相位差等检测或者确定是否外部设备的显示单元被定位在可佩戴装置100的视角区域内。
感测单元150使用被安装在可佩戴装置100的至少一个传感器将用户动作、输入、手势、和状况、状态、或者通过可佩戴装置识别的环境递送给处理器110。感测单元150包括多个感测装置。如在图2中所描述的，感测单元150可以包括从由重力传感器、地磁传感器、运动传感器、陀螺仪传感器、加速度传感器、红外传感器、倾斜(倾斜)传感器、亮度传感器、高度传感器、气味传感器、温度传感器、深度传感器、压力传感器、弯曲传感器、音频传感器、视频传感器、GPS(全球定位系统)传感器、触摸传感器、闪电或者照明传感器组成的组中选择的至少一个。感测单元150使用前述的感测装置感测诸如用户的各种手势、输入、用户的环境等等的动作，并且可以将关于感测到的结果的数据递送给处理器110以根据感测到的结果使处理器进行操作。同时，例如，尽管可以假定前述的感测装置被直接地安装在可佩戴装置10中，但是没有被直接地安装在可佩戴装置100中的其它的感测装置可以以与外部感测装置通信的方式接收感测信息。例如，感测单元150可以使用被穿戴在用户的手腕上的智能手表的传感器接收通过佩戴可佩戴装置100的用户感测到的数据。或者，感测单元150可以从在通过移植或者植入在用户的身体的芯片的形式制成的输出装置内从传感器接收感测信息。此外，处理器110从各个传感器收集感测信息并且可以分别使用各个感测信息，或者可以以相互组合感测信息的方式使用感测信息。感测单元150可以包括成像传感器(未描述)或者相机传感器。成像传感器检测在可佩戴装置100的预定视角区域内定位的图像并且然后能够将该图像提供给处理器110。处理器110可以基于通过成像传感器检测到的图像确定在可佩戴装置100的视角区域内是否存在与可佩戴装置100同步的数字装置(或者相对应的数字装置的显示单元)。
存储单元160可以存储诸如视频、音频、图片、运动剪辑、应用等等的各种数据。在这样的情况下，存储单元160包括闪存、RAM(随机存取存储器)、SSD(固态驱动器)、HDD(硬盘驱动)等等。存储单元160可以临时存储经由通信单元140从外部设备接收到的数据。在这样的情况下，存储单元160可以被用作缓冲从外部设备接收到的内容以在可佩戴装置100中输出内容的用途。同时，本公开中的存储单元160或者存储器主要地指示被安装在可佩戴装置100中的形式或者被布置在可佩戴装置的内部的形式。但是，在一些情况下，这种存储介质概念可以指示经由接口连接的外部存储介质。例如，虽然未被描述，但是外部存储介质可以包括诸如笔记本、智能电话、以及平板PC、BD(蓝光)播放器、云服务器、互联网服务器(IP服务器)等等的移动装置。
电源单元170是被连接到可佩戴装置100的内部电池的电源或者外部电源并且将电力供应给可佩戴装置100。电源单元170可以包括与最近开发的无线电源有关的无线电源接口以及被配置成接收外部电力的有线插座或者接口。
处理器110起到用于概括可佩戴装置的整个控制过程以及可佩戴装置的整个管理和处理的控制器的作用。同时，尽管未被描述，但是处理器110可以包括执行与应用数据、音频数据、视频数据、图像数据、文本数据、感测到的数据等等的处理有关的编码、解码等的一个或者多个元件。此外，处理器110可以进一步包括处理CAS(条件接入系统)、DRM(数字版权管理)等等的一个或者多个元件。
在图1中描述的可佩戴装置100是根据一个实施例的框图。如有必要可以模块化各个块，反之亦然。并且，根据装置的设计可以通过单个芯片或者多个芯片实现在图1中描述的可佩戴装置100。
图2图示能够与可佩戴装置200同步的数字装置的图。
可佩戴装置200可以经由有线/无线网络与被定位在离可佩戴装置短或者长的距离处的数字装置或者服务器传送和接收数据。
参考图2，可佩戴装置200经由有线/无线网络连接数字装置并且然后能够通过数字装置传送和接收数据。在这样的情况下，数字装置可以包括诸如智能电话220、平板PC230、智能手表240、笔记本250的移动装置和诸如DTV(数字电视接收器)260和PC(未被描述)的固定装置。
同时，可佩戴装置200仅连接单个数字装置并且然后能够通过数字装置传送和接收数据。或者，可佩戴装置200可以同时连接多个数字装置并且然后能够通过多个数字装置传送和接收数据。并且，可佩戴装置200在数据传送和接收过程中可以不直接地连接数字装置，并且然后能够以间接地连接不同的数字装置的方式通过数字装置传送和接收数据。
同时，尽管未被描述，但是如果在可佩戴装置200和外部服务器210或者数字装置之间不支持通信协议或者如果存在诸如长距离、噪声、功率消耗的增加等等的各种原因，则在可佩戴装置200和外部服务器210或者数字装置之间可以使用中继器或者路由器。如有必要，中继器或者路由器可以为可佩戴装置200、外部服务器210、或者数字装置处理数据。
图3图示使用可佩戴装置输出内容的方法的流程图。可以通过在图1中描述的处理器10来控制在下面描述的图3的各个步骤。
首先，可佩戴装置可以执行与数字装置的通信接入[S10]。经由可佩戴装置或者数字装置通过用户输入可以执行通信接入。例如，可佩戴装置可以向用户提供单独的按钮或者用户界面以执行与数字装置的通信接入并且用户可以使用按钮或者用户界面经由用户输入执行可佩戴装置和数字装置之间的通信接入。在执行可佩戴装置和数字装置之间的通信接入之前，可佩戴装置可能是处于与数字装置配对的状态中。已经执行与数字装置的通信接入之后，在会话被打开的状态下可佩戴装置可以与数字装置收发数据。
可佩戴装置可以检测被接入的数字装置的位置状态[S20]。位置状态包括数字装置的显示单元被定位在可佩戴装置的预定视角区域处的第一状态和数字装置的显示单元没有被定位在可佩戴装置的视角区域处的第二状态。视角区域是与佩戴可佩戴装置的用户的视觉相对应的预定区域并且可以包括在可佩戴装置的前面的确定的角度范围的一部分。
可佩戴装置可以使用多个天线检测数值装置的位置状态。特别地，可佩戴装置可以经由被安装在可佩戴装置中的多个天线与数字装置传送和接收数据。在这样的情况下，可佩戴装置可以使用通过多个天线中的每一个传送/接收到的信号的时间差、相位差等等检测在可佩戴装置和接入可佩戴装置的数字装置之间的相对位置和方向。通过使用被安装在可佩戴装置中的多个天线，尽管数字装置被定位所在处的方向改变，但是当恒定地保持数字装置和可佩戴装置之间的距离时可佩戴装置可以精确地检测数字装置的位置状态。
可佩戴装置可以使用成像传感器检测数字装置的位置状态。特别地，在可佩戴装置和数字装置被相互接入以执行通信的状态下，成像传感器检测被定位在可佩戴装置的预定视角区域内的图像并且然后能够将该图像提供给可佩戴装置的处理器。处理器可以基于通过成像传感器检测到的图像检测在可佩戴装置的视角区域内是否存在已经接入可佩戴装置的数字装置(或者数字装置的显示单元)。例如，已经接入可佩戴装置之后，数字装置可以输出预定的光学图案并且可佩戴装置可以使用成像传感器检测通过数字装置输出的光学图案。在这样的情况下，光学图案可以包括时间图案和空间图案中的至少一个。此外，光学图案可以被数字装置的显示单元输出。
如果在可佩戴装置的视角区域中存在已经接入可佩戴装置的数字装置，则可佩戴装置可以使用成像传感器检测通过数字装置输出的光学图案。但是，如果在可佩戴装置的视角区域内不存在已经接入可佩戴装置的数字装置，则通过成像传感器将不会检测到通过数字装置输出的光学图案。同时，尽管数字装置被定位在可佩戴装置的视角区域内，但是如果经由数字装置的显示单元输出光学图案并且数字装置的显示单元没有面向用户，则也不会检测到光学图案。特别地，如果用户不能够看到数字装置的显示单元，则可佩戴装置不能够检测光学图案。因此，基于是否在可佩戴装置的视角区域内检测到数字装置的光学图案可佩戴装置可以检测数字装置的位置状态。
当在数字装置和可佩戴装置之间执行通信接入时经由数字装置的显示单元可以输出光学图案，通过其本公开可以不被限制。数字装置可以通过本身输出光学图案，不论在数字装置和可佩戴装置之间是否执行通信接入。
基于检测到的数字装置的位置状态可佩戴装置可以在可佩戴装置中输出在数字装置中显示的内容。为此，首先，基于检测到的数字装置的位置状态可佩戴装置确定是否数字装置的显示单元被定位在可佩戴装置的视角区域处[S30]。如果数字装置的显示单元被定位在可佩戴装置的视角区域处，则可佩戴装置可以不输出在数字装置中显示的内容[S40]。相反地，如果数字装置的显示单元没有被定位在视角区域处，则可佩戴装置可以输出被显示在数字装置中的内容[S42]。为此，可佩戴装置从数字装置接收在被接入的数字装置中显示的内容并且可以在可佩戴装置的显示单元中输出接收到的内容。
如在前面的描述中所提及的，在与数字装置通信接入的状态下，基于与数字装置的相对位置状态可佩戴装置可以触发是否输出数字装置的内容。特别地，在第一状态下，即，数字装置的显示单元被定位在可佩戴装置的视角区域内，可佩戴装置没有输出在数字装置中显示的内容。在第二状态下，即，数字装置的显示单元没有被定位在可佩戴装置的视角区域内，可佩戴装置可以输出在数字装置中显示的内容。通过这样做，在第二状态下，即，当数字装置的位置在佩戴可佩戴装置的用户的视力外时，用户可以经由可佩戴装置接收数字装置的内容。并且，在第一状态下，即，当数字装置的位置是在佩戴可佩戴装置的用户的视力内时，用户可以在没有中断可佩戴装置的显示器(即，(虚拟)屏幕)的情况下经由数字装置接收数字装置的内容。
同时，如果检测到的数字装置的位置状态改变并且被改变的位置状态被保持超过预定的时间段，则可佩戴装置可以触发是否输出数字装置的内容。特别地，如果数字装置的位置状态从第一状态，即，数字装置的内容没有被输出，变成第二状态，则当在数字装置的位置状态保持第二状态超过预定的时间段时可佩戴装置可以输出数字装置的内容。并且，如果数字装置的位置状态从第二状态，即，数字装置的内容被输出，变成第一状态，则当数字装置的位置状态保持第一状态超过预定的时间段时可佩戴装置可以终止数字装置的内容的输出。
随后，可佩戴装置确定是否可佩戴装置是在通信接入数字装置[S50]。如果可佩戴装置是在通信接入数字装置，则返回到步骤S20并且检测与可佩戴装置配对的数字装置的位置状态。如果在可佩戴装置和数字装置之间的通信接入被断开，则可佩戴装置终止数字装置的内容的输出。特别地，在被通信接入数字装置的状态下可佩戴装置可以实时检测数字装置的位置状态。在这样的情况下，基于检测到的数字装置的位置状态确定是否在可佩戴装置中输出在数字装置中显示的内容。如果检测到的位置状态改变，则基于被改变的位置状态调节是否在可佩戴装置中输出被显示在数字装置中的内容。如果在可佩戴装置和数字装置之间的通信接入被断开，则可佩戴装置可以终止检测数字装置的位置和输出数字装置的内容两者。
图4图示用于解释被聚焦在可佩戴装置的图像的位置的图。
同时，在本公开中，解释可佩戴装置410已经采用透视显示器作为显示单元的示例。因此，如所描述的，当用户没有佩戴可佩戴的装置410时佩戴可佩戴装置410的用户可以看到与通过用户的眼睛看到的视图相同的外部视图，不论在可佩戴装置中是否播放内容。如在前面的描述中所提及的，当可佩戴装置410采用透视显示器时，在用户佩戴可佩戴装置410的情况下，因为用户可以经由透视显示器看到外部视图所以可以加强安全性。
参考图4，如果用户经由可佩戴装置410做出内容的回放的请求，则在规定的位置中输出内容。但是，例如，规定的位置可以对应于基于佩戴可佩戴装置410的用户的虚拟概念。换言之，在用户经由可佩戴装置410观看内容的情况下，其中输出内容的规定的位置可以被表示为在其上聚焦图像的位置。如在附图中所描述的，在外部真实视图和可佩戴装置410之间通常聚焦图像并且使用户观看内容。
此外，如在前面的描述中所提及的，通过半透明的显示屏幕可以实现图像420。例如，当屏幕接近黑色时，就用户而言屏幕可以被看成透明的。
总之，如果用户佩戴可佩戴装置410，则用户可以像佩戴普通的眼镜一样看到外部视图。用户可以在移动时自然地观看内容并且可以经由被聚焦在外部视图和可佩戴装置410之间的图像420确保安全性。
图5和图6图示用于解释可佩戴装置的元件和功能的图。
参考图5和图6详细地解释眼镜式可佩戴装置的外部元件和眼镜式可佩戴装置的功能。
眼镜式可佩戴装置主要被分类成主体部分和太阳穴部分。
主体部分是由被配置成输出内容并且已经采用透视显示器的左/右显示器522/524和支持左/右显示器522/524的桥接部分组成。如在前面的描述中所提及的，根据除了支持和固定左/右显示器522/524的基本功能之外的桥接部分的位置以被装备有各种接口或者传感器的方式可以在可佩戴装置的控制过程中使用桥接部分。相机传感器526、跟踪系统528等等可以被安装在左和右显示器522/524之间的桥接部分的前侧中。在这样的情况下，相机传感器526获得图像的图片、视频等等并且将感测到的数据提供给处理器110。跟踪系统528控制和跟踪经由左/右显示器522/524输出的内容。此外，被配置成控制被输出的内容的分辨率，在其上聚焦图像的位置等等的控制单元534可以存在于与桥接部分相对应的左/右显示器522/524的顶部上。控制单元通过触摸板的形式实现并且可以根据用户的左/右触摸控制分辨率或者在其上聚焦图像的位置。此外，麦克风530可以被安装在与桥接部分相对应的左/右显示器522/524的底部中。麦克风530起到接收诸如音频记录、搜索、快速搜索等等的外部和用户的音频的接口的作用。经由麦克风530接收到的音频数据可以被处理器110处理。通过处理器110可以处理经由麦克风530接收到的音频数据。此外，天线532可以被安装在桥接部分的一侧并且可以接收信号、检查灵敏等等。
太阳穴部分的基本功能是为了支持可佩戴装置或者将可佩戴装置固定到用户的身体的一部分。太阳穴部分是由外侧和内侧组成。外侧和内侧可以执行相互不同的功能。就用户而言太阳穴部分可以被分类成左太阳穴部分和右太阳穴部分。按照与主体部分相邻的顺序右太阳穴部分的外侧包括触摸板516、计算系统和通信接口单元514、电源单元516等等。同时，左太阳穴部分的内侧可以对应于其中安装电池的区域542。同时，右太阳穴部分的内侧和左太阳穴部分的外侧分别对应于前述左太阳穴部分的内侧和右太阳穴部分的外侧，并且可以通过相同的配置实现。但是，显然的是，根据必要性通过相互不同的配置可以配置各个太阳穴部分的各侧。并且，离太阳穴部分中的主体部分最远的部分，即，尾部544可以被用于对于特定功能的模块、辅助电池等等的使用。
例如，图6示出可佩戴装置的主体部分的内部。
接近传感器610被安装在左和右显示器522/524之间。在这样的情况下，接近传感器610确定是否用户佩戴可佩戴装置并且然后确定是否可佩戴装置是处于活动或者非活动的状态下。基于通过接近传感器610感测到的信息可佩戴装置可以根据感测到的状态以最小化功率消耗的方式执行智能电力管理。如果可佩戴装置的状态从活动的状态变成非活动的状态，则可佩戴装置可以执行诸如在播放中数据的停止、书签、存储等等的功能。尽管可佩戴装置变成非活动的状态，但是通过接近传感器610连续地检查感测信息以执行更加适应用户的意图的功能。如果非活动的状态被保持超过预定的时间段，则能够在非活动的状态(睡眠模式)下自动地使可佩戴装置操作。
同时，眼镜跟踪系统或者传感器(在下文中，“眼镜跟踪传感器”)620可以被安装在支撑左/右显示器522/524的主体部分的支撑部分的一侧或者各个侧面中。在可佩戴装置是处于活动状态下的情况下眼睛跟踪传感器620基本上收集感测信息。在这样的情况下，通过眼睛跟踪传感器感测到的感测信息可以被用于根据可佩戴装置的当前状态执行各种功能。在这样的情况下，例如，可佩戴装置的状态可以对应于诸如当前视频数据的回放、接收文本消息等等的可佩戴装置的功能方面。例如，如果在可佩戴装置中播放视频数据，则基于眼睛跟踪感测信息可以停止视频数据的回放。或者，在可佩戴装置中输出图像的情况下，基于感测信息可以在可佩戴装置中输出下一个图像或者前一个图像。此外，与前述的接近传感器610相似，感测信息可以被用于确定是否可佩戴装置是处于活动状态或者非活动状态下。例如，可能存在超过预定的时间段内没有同时收集感测信息的情况。在这样的情况下，可能主要预测了两种情况。一个是用户已经脱下可佩戴装置的情况并且另一个情况是用户在长时间内闭上用户的眼睛的情况。在前述情况下，其被自然地确定为非活动状态并且可佩戴装置被切换到非活动模式。但是，在后述情况下，对于接近传感器或者其它不同的传感器来说难以确定状态。例如，尽管倾斜传感器或者移动传感器可以确定是否用户正在睡眠，但是其始终是有缺点的。但是，因为普通人在睡觉时闭上眼睛，所以能够以独立地使用眼睛跟踪信息或者组合眼睛跟踪信息与通过倾斜传感器或者移动传感器感测到的信息的方式确定是否用户正在睡眠。如果可佩戴装置的状态被确定为非活动状态，则可佩戴装置被自动地切换到非活动模式，从而管理可佩戴装置的电力并且给用户提供便利。
图7是用于解释控制可佩戴装置的模式的方法的流程图。
如果检测到佩戴可佩戴装置的用户的确定的动作，则可佩戴装置使用至少一个传感器获得感测信息[S120]。例如，感测信息被用于确定可佩戴装置的模式。同时，如在前面的描述中所提及的，被用于确定可佩戴装置的模式的传感器包括诸如接近传感器、眼睛跟踪传感器、移动传感器、麦克风传感器、相机传感器等等的各种传感器。同时，可佩戴装置可以以组合通过前述传感器中的至少一个或者多个传感器感测到的感测信息的方式使用感测信息以确定可佩戴装置的模式。
基于从传感器获得的感测信息可佩戴装置将被产生的模式数据值与预定的阈值进行比较。如果被产生的模式数据值等于或者大于阈值，则可佩戴装置确定其为非活动模式并且将可佩戴装置的模式切换到非活动模式[S40]。相反地，如果被产生的模式数据值小于阈值，则可佩戴装置将其确定为活动模式并且将可佩戴装置的模式切换到活动模式[S150]。同时，在前述的描述中，在切换模式的情况下，在模式被确定或者相对应的模式也可以被继续地保持之前立即根据可佩戴装置的模式状态进行改变。
同时，尽管描述确定是否切换模式从检测用户的动作开始，但是可以周期性地执行，不论检测用户的动作如何。并且，在所有切换之前在可佩戴装置的显示器上逐步地提供包括关于模式切换的介绍短语的用户界面，以最小化由于模式切换造成的用户的不便。
图8图示用于解释使用关于被安装在可佩戴装置中的传感器的信息获得用户信息的方法的图。
图8是用于解释在图7中的前述模式切换过程中或者在下面描述中的用户状态中利用通过传感器感测到的感测信息以描述被区分的内容提供的示例的图。
为了清楚起见，通过GPS传感器、陀螺仪传感器、加速度传感器、眼睛跟踪传感器等等的示例来解释图8。
参考图8，通过随机的表格形式事先定义用于用户的状态或者模式的感测信息的值并且该值可以被用于未来的确定。
例如，如果在没有移动时用户经由可佩戴装置的显示器观看内容，则通过GPS传感器感测到的GPS感测信息几乎是“0”，通过陀螺仪传感器感测到的陀螺仪感测信息远远小于第一阈值，通过加速度传感器感测到的加速度感测信息也几乎是“0”，并且其可以定义瞳孔的大小被固定并且基于已经感测到通过眼睛跟踪传感器捕获到的瞳孔的眼睛跟踪感测信息存在瞳孔的小的移动的状态。
类似地，如果在移动时用户经由可佩戴装置的显示器观看内容，则通过GPS传感器感测到的GPS感测信息远远小于第二阈值，通过陀螺仪传感器感测到的陀螺仪感测信息不是“0”，通过加速度传感器感测到的加速度感测信息远远小于第三阈值，其可以定义瞳孔的大小被修改并且基于已经感测到通过眼睛跟踪传感器捕获到的瞳孔的眼睛跟踪感测信息存在瞳孔的移动的状态。
并且，如果用户在以登上车辆的方式移动时经由可佩戴装置的显示器观看内容时，则通过GPS传感器感测到的GPS感测信息远远大于第二阈值，通过陀螺仪传感器感测到的陀螺仪感测信息不是“0”，通过加速度传感器感测到的加速度感测信息远远大于第三阈值，其可以定义瞳孔的大小被固定并且基于已经感测通过眼睛跟踪传感器捕获到的瞳孔的眼睛跟踪感测信息存在瞳孔小的移动的状态。当前述的情况被限于用户没有驾驶车辆的情况时，如果用户驾驶车辆，则通过GPS传感器感测到的GPS感测信息远远大于第二阈值，通过陀螺仪传感器感测到的陀螺仪感测信息不是“0”，通过加速度传感器感测到的加速度感测信息远远大于第三阈值，其可以定义瞳孔的大小被修改并且基于已经感测通过眼睛跟踪传感器捕获到的瞳孔的眼睛跟踪感测信息存在瞳孔的移动的状态。
此外，尽管在本公开的图8中没有描述，但是可以事先定义对于各种状况、状态、用户意图、模式确定等等所必需的内容并且可以基于未来的感测信息使用内容。
图9和图10图示用于解释在可佩戴装置中接收消息的情况下可佩戴装置处理消息的方法的图。
在可佩戴装置根据通信协议从外部接收文本消息、电子邮件等等的情况下，图9和图10图示用于解释处理文本消息、电子邮件等等的内容的图。同时，根据佩戴可佩戴装置的用户的状态，即，用户正在移动的情况和用户是固定的情况，可以分类此种消息处理。
可佩戴装置根据通信协议从外部设备接收消息[S210]。
根据步骤S210的请求，可佩戴装置获得感测信息以输出接收消息所需的用户界面[S220]。
可佩戴装置基于在步骤S220中获得的感测信息确定用户状态[S230]。在确定用户状态之后，如果用户状态对应于固定状态，则接收到的消息被立即提供[S240]。在这样的情况下，例如，因为被提供的消息是在固定状态下，所以可以以被扩大到整个屏幕回放窗口大小的方式提供消息。相反地，在确定用户状态之后，如果用户状态不对应于固定状态，特别地，如果用户状态对应于移动状态，则侧条形式或者指示是否接收到消息的图标被提供给用户替代立即将接收到的消息提供给用户[S260]。随后，如果基于用户的选择、眼睛跟踪信息等等用户接入侧条形式或者图标，则可以以被扩大到整个屏幕回放窗口大小的方式显示消息。同时，如果用户正在移动，则替代整个屏幕回放窗口，通过屏幕回放窗口的一半或者一部分的形式消息可以被提供给用户，不论用户的选择如何。
图10(a)图示在用户不在移动的情况下提供消息的屏幕的示例并且图10(b)图示在用户正在移动的情况下提供消息的屏幕的示例。参考图10(a)至图10(b)，如果存在当前观看的内容，则内容的回放被临时停止并且消息被提供，如在附图中所示。如果处理消息被完成，则内容可以被自动地再次播放。同时，不同于图10(a)至图10(b)，如果存在当前观看的内容，则可以以屏幕被划分的方式同时提供内容和消息。
图11和图12图示用于解释可佩戴装置处理视频数据的方法的图。
特别地，图11和图12解释在可佩戴装置中观看视频的情况下处理视频数据的方法。
参考图11，如果从用户接收用于播放视频的请求[S310]，则可佩戴装置获得感测信息[S320]。
基于在步骤S320中获得的感测信息可佩戴装置确定用户状态[S330]。在步骤S330中确定用户状态之后，如果用户状态被确定为固定状态(非活动状态或者模式)，则以被扩大到如在图12(A)中所描述的窗口大小(或者整个窗口)的方式提供视频播放器。如果用户状态被确定为移动状态(活动状态或者模式)，则以如在图12(b)中所描述的被缩小的方式提供视频播放器[S350]。
同时，如在图12(b)中所描述的，例如，以被缩小的方式提供的视频播放器的回放窗口在显示屏幕区域的右上区域中被输出，通过其本发明可以不受限制。在这样的情况下，根据用户的选择被缩小的窗口可以被扩大或者缩小。
如在图12(b)中所描述的，在因为用户正在移动所以以被缩小的方式提供视频的情况下，也可以以根据被缩小的视频被降低的方式自动地提供音频级。
图13和图14图示用于在使用可佩戴装置中的应用的情况下可佩戴装置处理应用的方法的图。
图13和图14解释在可佩戴装置中处理和使用地图信息的方法。
参考图13，如果从用户接收用于输出地图信息的请求[S410]，则可佩戴装置获得感测信息[S420]。在这样的情况下，可以经由地图应用提供地图信息。
基于在步骤S420中获得的感测信息可佩戴装置确定用户状态[S430]。在步骤S430中确定用户状态之后，如果用户状态对应于固定状态，则可佩戴装置将鸟瞰图形式的地图信息提供给用户，如在图14(a)中所描述[S440]。相反地，如果用户状态对应于移动状态，则可佩戴装置将第一人视点的地图信息提供给用户[S450]。
同时，如在图14(b)中所描述的，替代提供第一人视点的地图信息，鸟瞰图形式的地图信息可以以地图信息的区域被进一步缩小的方式被提供，如在图14(a)中所描述。在这样的情况下，被缩小的地图信息可以以被映射的方式被提供给显示屏幕的区域的一部分。
此外，尽管在附图中未被描述，但是根据诸如用户选择、配置等等的各种状况可以通过诸如天空视图、卫星、以及地政地图形式提供或者修改在图14中描述的地图信息。
并且，在用户驾驶车辆的情况下，关于周围交通状态的TPEG(传输协议专家组)信息被接收并且将其提供给用户。或者，CCTV(闭路电视)图像可以与TPEG信息一起被提供给用户或者被独立地提供给用户。不管地图信息请求的种类，可佩戴装置根据用户状态将信息请求自动处理成导航信息形式并且然后能够将被处理的信息提供给用户。
此外，如在图14(b)中所描述的，在第一人视点的地图信息的情况下，可佩戴装置可以使用增强现实等等附加地提供关于周围著名餐厅等等的信息。
可佩戴装置可以基于用户选择、网络状态等等响应于用户的地图信息请求提供各种地图信息提供应用当中的特定地图应用。
同时，可佩戴装置根据GPS感测信息基于用户的位置将最初的地图信息提供给用户。但是，如果存在用户事先输入的地址信息等等，则可佩戴装置可以遵循地址信息。并且，基于眼睛跟踪信息可佩戴装置可以以缩小或者扩大的方式将最初的地图信息移向地图上的目标位置或者将特定位置的地图信息提供给用户。
图15和图16是用于解释根据佩戴可佩戴装置的用户的状态提供用户界面的方法的示例的图。
图15和图16与根据状态使用可佩戴装置将用户界面提供给用户的内容有关。例如，用户界面可以被用于配置可佩戴装置并且可以根据在可佩戴装置中当前使用的应用、功能、屏幕等等以各种方式提供给用户。
如果用于提供菜单用户界面的请求被接收到[S510]，则可佩戴装置获得感测信息[S520]。
基于在步骤S520中获得的感测信息可佩戴装置确定用户状态。
在步骤S530中确定用户状态之后，如果用户状态对应于固定状态，则可佩戴装置在如在图16(a)中所描述的整个显示屏幕中输出用户界面(全菜单UI)[S540]。如果用户状态对应于移动状态，则可佩戴装置在如在图16(b)中所描述的显示屏幕的区域的一部分中输出用户界面(简单菜单UI)。
全菜单用户界面可以包括诸如文本、图像、视频、按钮、列表、复选框等等的用户界面元件。简单菜单用户界面被配置成没有以被显示在屏幕的一部分中的方式中断用户的移动。简单菜单用户界面可以包括全菜单用户界面和用户接口元件。但是，如在图16(b)中所描述的，为了清楚起见，仅使用最小的用户接口元件提供简单菜单用户界面。在这样的情况下，例如，基于用户状态或者状况、先前的用户的体验等等可以选择最小的用户界面。特别地，如在图16(b)中所描述的，可能更好的是，就可读性而言在屏幕的底部中简单菜单用户界面被输出为条的形式。并且，尽管在附图中没有描述，但是在屏幕的左/右侧或屏幕的顶部中可以通过条的形式提供简单菜单用户界面。在一些情况下，在屏幕的顶部、底部、左侧以及右侧中通过条的形式可以同时提供简单菜单用户界面。或者，尽管事先执行映射，但是基于眼睛跟踪感测信息可以提供相对应的侧面的被映射的简单菜单用户界面信息。
图17和图18图示用于解释在佩戴可佩戴装置的用户没有移动的情况下提供用户界面的方法和处理用户界面的方法的图。
特别地，在用户没有移动的情况下，即，在用户处于固定状态的情况下，图17和图18被示出以更加具体地描述控制用户界面的方法。
参考图15至图16的前述的流程，如果用户状态对应于固定状态，则可佩戴装置在显示屏幕中输出全菜单用户界面[S610]。
随后，可佩戴装置获得关于用户的凝视位置的信息[S620]。在这样的情况下，例如，关于用户的凝视位置的信息可以对应于通过眼睛跟踪传感器获得的眼睛跟踪感测信息。同时，关于凝视位置的信息可以是由正交坐标系统信息，即，x坐标和y坐标形式组成。
可佩戴装置将关于凝视位置的所获得的信息映射到被事先存储的全菜单用户界面坐标系统[S630]。
基于步骤S630的映射结果可佩戴装置确定屏幕上的POR[S640]。
如果在步骤S640中确定屏幕上的POR，则可佩戴装置移动光标并且将其呈现给屏幕[S650]。
随后，可佩戴装置确定是否存在用户的选择性输入1830。例如，如在图18中所描述的，选择性输入可以对应于在诸如触摸板等等上的有关功能按钮的轻敲或者点击1830[S660]。在确定是否存在选择性输入之后，如果没有执行用户的轻敲或者点击，则其可以再次重复步骤S620至步骤S650。但是，如果用户的轻敲或者点击1830被执行，则可佩戴装置选择在其上定位相对应的光标的项目并且执行该项目[S670]。
参考图18，如果全菜单用户界面1810被输出，则可佩戴装置经由眼睛跟踪传感器捕捉是否用户的瞳孔1820移动。通过这样做，如果用户的瞳孔移动，则可佩戴装置在全菜单用户界面上提供光标。当光标被提供时，眼睛跟踪传感器在光标被提供之后基于瞳孔1820的移动根据瞳孔的移动在显示屏幕上移动指示器的位置。其后，基于用户的进一步的不同输入1830可以选择和播放在其上光标被定位的项目1840、程序等等。
图19和图20是用于解释在佩戴可佩戴装置的用户移动的情况下提供用户界面的方法和处理用户界面的方法的图。
例如，图19和图20被描述以解释在用户移动的情况下提供简单菜单用户界面的示例，其对应于前述的图17和图18。在这样的情况下，如有必要可以调用图15至图16的内容。
参考图15至图16的前述的流程，如果用户状态对应于移动状态，则可佩戴装置在显示屏幕的一部分中输出简单菜单用户界面2010[S710]。
随后，可佩戴装置从用户接收用于菜单滚动的输入[S720]。在这样的情况下，例如，通过用户替代瞳孔通过轻敲可佩戴装置的触摸板等等可以执行菜单滚动输入。
随后，可佩戴装置获得关于用户的凝视位置的信息[S730]。
在这样的情况下，例如，关于用户的凝视位置的信息可以对应于通过眼睛跟踪传感器获得的眼睛跟踪感测信息。同时，关于凝视位置的信息可以由正交坐标系统信息，即，x坐标和y坐标形式组成。
可佩戴装置将关于凝视位置的所获得的信息映射到被事先存储的全菜单用户界面坐标系统信息[S740]。
基于步骤S740的映射结果可佩戴装置确定屏幕上的POR[S750]。
如果在步骤S750中确定屏幕上的POR，则可佩戴装置移动光标并且将其呈现给屏幕[S760]。
随后，可佩戴装置确定是否存在用户的选择性输入2030。例如，如在图20中所描述的，选择性输入可以对应于在诸如触摸板等等的有关功能按钮上的轻敲或者点击2030[S770]。在确定是否存在选择性输入之后，如果没有执行用户的轻敲或者点击，则其可以再次重复步骤S730至步骤S760。但是，如果用户的轻敲或者点击2030被执行，则可佩戴装置选择在其上定位相对应的光标的项目并且执行该项目[S780]。
参考图20，如果全菜单用户界面2010被输出，则可佩戴装置经由眼睛跟踪传感器捕捉是否用户的瞳孔2020移动。通过这样做，如果用户的瞳孔2020移动，则可佩戴装置在简单菜单用户界面上提供光标。当光标被提供时，眼睛跟踪传感器在光标被提供之后基于瞳孔2020的移动根据瞳孔的移动在显示屏幕上移动指示器的位置。其后，基于进一步的用户的不同输入2030可以选择和播放在其上光标被定位的项目2040、程序等等。
图21至图28图示用于解释根据用户动作控制可佩戴装置的方法的图。
图21至图28描述根据用户动作或者用户状态控制可佩戴装置的方法。
图21是用于解释根据用户动作控制用于其中输出内容的显示屏幕的图像的位置的方法的图。
例如，如在图21(a)中所描述的，图像可以被控制以被聚焦在不同于在其上根据用户的动作最初聚焦图像的位置2110的位置上。如在前面的描述中所提及的，在控制在其上聚焦图像的位置中，存在确定用户意图和前述内容的各种方案。但是，在这样的情况下，如在图21(b)中所描述的，基于用户的手移动确定用户意图。在这样的情况下，需要正确地识别用户的手移动的传感器、芯片、智能手表、或者移动装置，可以发挥媒介的作用。或者，基于通过外部设备的相机传感器捕获到的用户的手移动可以确定用户意图。
如在前面的描述中所提及的，第一点2110是在其上在可佩戴装置中实现的图像被聚焦的位置并且可以对应于默认值。如在图21(b)中所描述的，如果用户从最初的第一手移动2115移向第二手移动2125，特别地，如果用户朝着用户的身体从第一点2115移向第二点2125，则基于第一点2115和第二点2125之间的距离、计数、速度、加速度等等的信息可以确定第二位置2120。如果图像被聚焦在第二位置2120，则与被聚焦在第一位置2110上的图像相比较显示屏幕的尺寸被扩大并且分辨率可以变成更高。相反地，如果用户朝着用户的身体的相对方向从第一点2115移向第三点2135，则基于第一点2115和第三点2135之间的距离、计数、速度、加速度等等的信息可以确定第三位置2130。如果图像被聚焦在第三位置2130，则与被聚焦在第一位置2110上的图像相比较显示屏幕的大小被扩大并且分辨率可以变成更高。
同时，前述涉及改变在其上聚焦显示屏幕本身的图像的位置的方法。如果可佩戴装置能够经由用于内容的MPEG-4等等获得物体信息，则可佩戴装置可以使用前述方案替代显示屏幕本身仅以扩大或者缩小特定项目、特定菜单2140等等的方式看到特定项目、特定菜单2140等等。
图22图示用于解释可佩戴装置的配置的图。
在这样的情况下，当在最初购买可佩戴装置之后用户设置可佩戴装置时或者当可佩戴装置在使用中时根据用户的变化可以执行配置。
参考图22，可佩戴装置中的在其上显示屏幕的图像被聚焦的位置(第一位置)2210可以作为默认值被提供。
如在本公开中所公开的，如果可佩戴装置采用透视显示器，则用户可以佩戴像眼镜一样的可佩戴装置。在这样的情况下，佩戴可佩戴装置的用户的视力信息可以变化。一个用户可以具有非常差的视力并且另一用户可以具有非常好的视力。并且，一个用户可以具有近视，另一用户可以具有远视，并且其它用户可以具有散光。因此，如果用于显示屏幕的图像被均匀地聚焦在默认位置上，不论前述的条件如何，或者用于显示屏幕的图像不可修改，则其可以使相对应的用户不便。
因此，在最初制造可佩戴装置的过程中被配置为默认值的第一位置2210的基础上可佩戴装置可以改变基于用户的手移动或者动作在其上聚焦显示屏幕的图像的位置。或者，在第一位置2210中提供显示屏幕之后，可佩戴装置可以在经由眼睛跟踪传感器自动地改变图像的位置时根据瞳孔的响应改变图像的位置。在这样的情况下，随着技术开发，通过眼睛跟踪传感器或者视力信息传感器感测瞳孔等等以获得用户的视力信息。通过这样做，可佩戴装置可以基于用户的视力信息改变在其上通过第二位置2220、第三位置2230等聚焦图像的位置。在前述情况下，在可佩戴装置改变图像的位置的情况下，如果用户固定住眼睛，则可佩戴装置将其视为用户的意图以更近地看到图像，因为与用户的视线相比图像被聚焦太远，并且然后改变要更加接近用户的图像的位置。相反地，如果用户的眼睛突然变大，则可佩戴装置将其视为图像被太近地聚焦并且然后能够改变要远离用户的图像的位置。
图23图示用于根据诸如在图21中描述的用户动作控制显示屏幕的方法的图。
例如，在用户经由动作选择显示窗口并且然后将显示窗口移向显示区域的外部的情况下，考虑到动作的方向可以控制显示屏幕。
参考图23(a)和图23(b)，如果用户执行选择显示窗口的动作并且然后将显示窗口移向屏幕的顶部，则可以意指删除相对应的内容。如果用户执行将显示窗口移向左侧或者右侧的动作，则根据相对应的屏幕的内容类型属性在显示窗口中可以输出下一个或者上一个内容。如果用户执行将显示窗口移向屏幕的底部的动作，则可以意指存储相对应的内容。在这样的情况下，替代立即执行用于前述的用户的动作的预定控制，可以在有关确认窗口被提供之后根据用户的选择实现控制被执行。
图24至图26图示用于解释控制可佩戴装置中的显示屏幕配置的方法的图。
图24是以仅在可佩戴装置的初始屏幕区域中激活一个窗口的方式根据来自被用于提供给用户的屏幕的用户的选择或者动作将屏幕分割成顶部和底部两部分的示例。图25是将屏幕分割成左右两部分的示例并且图26是将屏幕分割成四部分的示例。
可佩戴装置根据用户的请求划分屏幕。各个被划分的屏幕提供相互不同的内容。或者，一个被划分的屏幕可以输出先前提供的内容并且另一被划分的屏幕可以输出用于相对应的内容的用户界面、详细信息、有关信息等等。在后述情况下，用于屏幕的工具可以被一起输出。
同时，如在图26中所描述的，在以将屏幕分割成四部分的方式提供屏幕的情况下，可佩戴装置可以在各个屏幕中输出相互不同的内容。这也可以被同等地应用于图24和图25。在各个屏幕中输出的内容可以是由包括相互不同的属性和类型的视频、文档、图像、应用等等不同地组成。并且，可佩戴装置可以在各个被划分的屏幕中将优先级(“左上”(最高优先级)设置为“右下”(最低优先级)。因此，除非可佩戴装置选择具有最低的优先级的“右下”屏幕，“右下”屏幕可以输出对于用户编辑特定区域的内容所需的工具。此外，如果特定区域被选择，则在与所选择的特定区域相邻的区域中可以随机地或者根据优先级设置工具。
图27图示用于解释在可佩戴装置中提供应用列表、时间表、应用编辑等等的方法的图。
例如，如果根据用户的列表请求需要提供多个列表，则可佩戴装置可以以如在附图中描述的层结构(分级结构)、3D形式等等输出多个列表。同时，在以层结构提供多个列表的情况下，可以根据用户的选择或者动作以被缠绕在周围的方式提供各个列表。
同时，基于用户的选择或者动作可佩戴装置可以改变其中提供各个列表的层2710。
图28是用于解释在可佩戴装置中实现2D/3D(2维/3维)的方法的图。
如在图24或者图25中所描述的，可佩戴装置可以以将屏幕分割成两部分的方式向用户提供屏幕2810。
在这样的情况下，在被分割成两部分的屏幕的各个屏幕中用户输出相同的内容，即，用户输出左图像和右图像。如果通过顶底或者左右收集各个屏幕2820，则可以从2D实现3D。相反地，如果以一个屏幕的边界被保持和划分的方式一个屏幕2820被划分成顶底或者左右，则3D可以再次变成2D。在后述情况下，能够自动地使左图像或者右图像被保持(替代将屏幕分割成两部分)。
根据本发明的一个实施例，在可佩戴装置中输出内容的方法包括，获得第一感测信息；基于第一感测信息根据用户的状态从活动模式和非活动模式中的任意一个确定输出模式；以及根据被确定的输出模式将内容输出到屏幕上的回放窗口，其中如果输出模式对应于非活动模式，则内容被配置成在与整个屏幕相对应的第一回放窗口中输出，其中如果输出模式对应于活动模式，则内容被配置成在整个屏幕的一部分中输出。
内容对应于从外部设备接收到的预先存储的用户界面数据、视频数据、图像数据、文本数据、地图数据、以及消息数据中的一个。通过接近传感器、相机传感器、音频传感器、眼睛跟踪传感器、以及运动传感器中的至少一个获得感测信息。在用户的移动被检测到的情况下获得第一感测信息被定期地执行或者被执行。
方法进一步包括使用照明传感器计算入射光的数量并且使用反射角获得入射光源的位置信息中的至少一个。并且，方法进一步包括基于被计算的入射光的数量和获得的光源的位置信息中的至少一个生成和输出报警声音和报警消息中的至少一个。而且，方法进一步包括下述中的至少一个：基于被计算的入射光的数量和获得的光源的位置信息中的至少一个根据被确定的输出模式改变屏幕的配置；和基于被计算的入射光的数量和获得的光源的位置信息中的至少一个改变被包括在屏幕中的内容的颜色。并且，方法进一步包括，检测用户动作；获得关于检测到的用户动作的第二感测信息；以及基于关于用户动作的获得的第二感测信息移动图像以被聚焦在屏幕的位置上。而且，方法进一步包括，获得用户的视力信息；和基于获得的用户的视力信息配置和输出到屏幕以使图像被聚焦在不同于预定的位置的位置上。
可以以通过各种装置形式实现的方式提供在本公开中描述的可佩戴装置。特别地，通过能够以将诸如EMD、眼镜、护目镜、眼部饰品、HWD等等以及诸如属于可佩戴装置的眼镜式装置的HMD佩戴在用户上的方式提供显示器的各种装置形式可以实现可佩戴装置。可佩戴装置可以不限于在本公开中解释的技术。
对于本领域的技术人员来说显然的是，在没有脱离本说明书的精神或者范围的情况下可以在本说明书中进行各种修改和变化。因此，旨在本说明书覆盖落入随附的权利要求和它们的等同物的范围内的本说明书的修改和变化。

Claims (15)

1.一种在包括透射显示器的可佩戴装置中输出内容的方法，所述方法包括：
获得第一感测信息；
基于所述第一感测信息确定要被输出的内容的属性、用户的状态，以及所述可佩戴装置的环境；以及
根据确定的结果在屏幕上输出内容，
其中，所述方法进一步包括：
将在屏幕中被聚焦的作为默认位置的第一位置上显示所述内容；
当所述内容被显示在所述屏幕的所述第一位置上时，通过视力信息传感器获得关于所述用户的瞳孔的响应的视力信息，所述视力信息包括近视或者远视；以及
基于被包括在所获得的视力信息中的所述用户的响应将所述第一位置改变为要显示所述内容的第二位置，
其中，所述内容的属性是视频、音频、文本、消息，以及菜单用户界面中的一个,
其中，所述用户的状态是活动的或者非活动的，以及
其中，所述可佩戴装置的环境被称为所述可佩戴装置所属的位置的环境状态或者照明。
2.根据权利要求1所述的方法，其中，所述内容对应于从外部设备接收到的预先存储的用户界面数据、视频数据、图像数据、文本数据、地图数据、应用数据、以及消息数据中的一个。
3.根据权利要求2所述的方法，其中，通过接近传感器、相机传感器、音频传感器、眼睛跟踪传感器、以及运动传感器中的至少一个获得所述感测信息。
4.根据权利要求3所述的方法，其中，定期地执行或者在检测到所述用户的移动的情况下执行获得所述第一感测信息的步骤。
5.根据权利要求4所述的方法，进一步包括下述中的至少一个：
使用照明传感器计算入射光的数量；
使用反射角获得入射光源的位置信息；
基于计算的入射光的数量和获得的光源的位置信息中的至少一个生成和输出报警声音和报警消息中的至少一个；
基于所述计算的入射光的数量和所述获得的光源的位置信息中的至少一个根据确定的输出模式改变所述屏幕的配置；以及
基于所述计算的入射光的数量和所述获得的光源的位置信息中的至少一个改变在所述屏幕中包括的内容的颜色。
6.根据权利要求1所述的方法，进一步包括：
检测用户动作；
获得关于检测到的用户动作的第二感测信息；以及
基于所获得的关于所述用户动作的第二感测信息移动图像以被聚焦在所述屏幕的位置上。
7.根据权利要求1所述的方法，进一步包括：
获得所述用户的视力信息；和
基于获得的所述用户的视力信息配置和输出到所述屏幕以使图像被聚焦在不同于预定位置的位置上。
8.一种用于输出内容的包括透射显示器的可佩戴装置，包括：
处理器，所述处理器被配置成控制所述可佩戴装置的操作；
感测单元，所述感测单元被配置成获得第一感测信息；
输出单元，所述输出单元被配置成根据所述处理器的命令将所述内容输出到屏幕；以及
通信单元，所述通信单元被配置成根据所述处理器的命令传送和接收数据，
其中，所述处理器被配置成：
基于通过所述感测单元获得的所述第一感测信息确定要被输出的内容的属性、用户的状态，以及所述可佩戴装置的环境，
根据确定的结果控制用于输出内容的所述屏幕，
控制所述屏幕以在被聚焦的作为默认位置的第一位置上输出所述内容，
当所述内容被显示在所述屏幕的所述第一位置上时，控制所述感测单元通过视力信息传感器获得关于所述用户的瞳孔的响应的视力信息，所述视力信息包括近视或者远视；以及
基于被包括在所获得的视力信息中的所述用户的响应将所述第一位置改变为要显示内容的第二位置，
其中所述内容的属性是视频、音频、文本、消息，和菜单用户界面中的一个，
其中，所述用户的状态是活动的或者非活动的，以及
其中，所述可佩戴装置的环境被称为所述可佩戴装置所属的位置的环境状态或者照明。
9.根据权利要求8所述的可佩戴装置，其中，所述内容对应于从外部设备接收到的预先存储的视频数据、图像数据、文本数据、地图数据、应用数据、以及消息数据中的一个。
10.根据权利要求9所述的可佩戴装置，其中，所述感测单元被配置成通过接近传感器、相机传感器、音频传感器、眼睛跟踪传感器、运动传感器以及照明传感器中的至少一个获得所述感测信息，以及定期地获得所述感测信息或者所述感测单元被配置成在检测到所述用户的移动的情况下收集所述感测信息。
11.根据权利要求10所述的可佩戴装置，其中，所述处理器被配置成执行使用所述照明传感器计算入射光的数量并且使用反射角获得入射光源的位置信息中的至少一个，基于计算的入射光的数量和获得的光源的位置信息中的至少一个控制报警声音和报警消息中的至少一个被生成和输出。
12.根据权利要求11所述的可佩戴装置，其中，所述处理器被配置成控制基于计算的入射光的数量和获得的光源的位置信息中的至少一个根据所述确定的结果改变所述屏幕的配置和基于所述计算的入射光的数量和所述获得的光源的位置信息中的至少一个改变在所述屏幕中包括的内容的颜色中的至少一个步骤。
13.根据权利要求11所述的可佩戴装置，其中，所述处理器被配置成控制用户动作以经由所述感测单元被检测，控制关于检测到的用户动作的第二感测信息被获得，并且基于所获得的关于所述用户动作的第二感测信息控制图像以被聚焦在要被移动的屏幕的位置上。
14.根据权利要求8所述的可佩戴装置，其中，所述处理器被配置成控制所述用户的视力信息以经由所述感测单元被获得，并且基于所获得的用户的视力信息控制所述屏幕被输出以使图像被聚焦在不同于预定位置的位置上。
15.根据权利要求8所述的可佩戴装置，其中，所述可佩戴装置对应于其中采用透射显示器的头戴式显示器(HMD)和眼镜式装置中的一个。
CN201410443203.8A 2013-09-02 2014-09-02 可佩戴的装置及其输出内容的方法 Expired - Fee Related CN104423584B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2013-0105044 2013-09-02
KR20130105044A KR20150026336A (ko) 2013-09-02 2013-09-02 웨어러블 디바이스 및 그 컨텐트 출력 방법

Publications (2)

Publication Number Publication Date
CN104423584A CN104423584A (zh) 2015-03-18
CN104423584B true CN104423584B (zh) 2017-12-15

Family

ID=51589067

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410443203.8A Expired - Fee Related CN104423584B (zh) 2013-09-02 2014-09-02 可佩戴的装置及其输出内容的方法

Country Status (4)

Country Link
US (1) US9952433B2 (zh)
EP (1) EP2843513A1 (zh)
KR (1) KR20150026336A (zh)
CN (1) CN104423584B (zh)

Families Citing this family (118)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8174436B2 (en) 2002-07-08 2012-05-08 American Underwater Products, Inc. Dive computer with global positioning system receiver
US9443039B2 (en) 2002-07-08 2016-09-13 Pelagic Pressure Systems Corp. Systems and methods for dive computers with remote upload capabilities
US7797124B2 (en) 2006-12-28 2010-09-14 American Underwater Products, Inc. Dive computer with free dive mode and wireless data transmission
WO2012170446A2 (en) 2011-06-05 2012-12-13 Apple Inc. Systems and methods for displaying notifications received from multiple applications
USD711895S1 (en) * 2012-06-06 2014-08-26 Apple Inc. Display screen or portion thereof with graphical user interface
WO2014143776A2 (en) 2013-03-15 2014-09-18 Bodhi Technology Ventures Llc Providing remote interactions with host device using a wireless device
USD754199S1 (en) * 2013-06-20 2016-04-19 Samsung Electronics Co., Ltd. Display screen portion with icon
CN103530061B (zh) * 2013-10-31 2017-01-18 京东方科技集团股份有限公司 显示装置及控制方法
KR102099178B1 (ko) 2013-11-29 2020-04-09 엘지전자 주식회사 웨어러블 디바이스 및 웨어러블 디바이스 디스플레이 제어 방법
EP3077867B1 (en) * 2013-12-06 2018-02-14 Telefonaktiebolaget LM Ericsson (publ) Optical head mounted display, television portal module and methods for controlling graphical user interface
KR20150108216A (ko) * 2014-03-17 2015-09-25 삼성전자주식회사 입력 처리 방법 및 그 전자 장치
US10482461B2 (en) 2014-05-29 2019-11-19 Apple Inc. User interface for payments
US11343335B2 (en) 2014-05-29 2022-05-24 Apple Inc. Message processing by subscriber app prior to message forwarding
US9967401B2 (en) 2014-05-30 2018-05-08 Apple Inc. User interface for phone call routing among devices
TWI647608B (zh) 2014-07-21 2019-01-11 美商蘋果公司 遠端使用者介面
US10339293B2 (en) 2014-08-15 2019-07-02 Apple Inc. Authenticated device used to unlock another device
WO2016036552A1 (en) 2014-09-02 2016-03-10 Apple Inc. User interactions for a mapping application
US9547419B2 (en) 2014-09-02 2017-01-17 Apple Inc. Reduced size configuration interface
CN106605196B (zh) 2014-09-02 2018-11-09 苹果公司 远程相机用户界面
US9821893B2 (en) * 2014-10-06 2017-11-21 Pelagic Pressure Systems Corp. System and methods for configurable dive masks with multiple interfaces
EP3218074A4 (en) * 2014-11-16 2017-11-29 Guy Finfter System and method for providing an alternate reality ride experience
US20160150021A1 (en) * 2014-11-21 2016-05-26 Kiban Labs, Inc. Internet of things clock hub device and method
US9641400B2 (en) 2014-11-21 2017-05-02 Afero, Inc. Internet of things device for registering user selections
US10291595B2 (en) 2014-12-18 2019-05-14 Afero, Inc. System and method for securely connecting network devices
US20160180100A1 (en) 2014-12-18 2016-06-23 Joe Britt System and method for securely connecting network devices using optical labels
US9832173B2 (en) 2014-12-18 2017-11-28 Afero, Inc. System and method for securely connecting network devices
US9574896B2 (en) 2015-02-13 2017-02-21 Apple Inc. Navigation user interface
US10254911B2 (en) * 2015-03-08 2019-04-09 Apple Inc. Device configuration user interface
US10860094B2 (en) * 2015-03-10 2020-12-08 Lenovo (Singapore) Pte. Ltd. Execution of function based on location of display at which a user is looking and manipulation of an input device
US10715468B2 (en) * 2015-03-27 2020-07-14 Intel Corporation Facilitating tracking of targets and generating and communicating of messages at computing devices
US10045150B2 (en) 2015-03-30 2018-08-07 Afero, Inc. System and method for accurately sensing user location in an IoT system
US9704318B2 (en) 2015-03-30 2017-07-11 Afero, Inc. System and method for accurately sensing user location in an IoT system
US9717012B2 (en) 2015-06-01 2017-07-25 Afero, Inc. Internet of things (IOT) automotive device, system, and method
KR101735484B1 (ko) * 2015-06-04 2017-05-15 엘지전자 주식회사 헤드 마운티드 디스플레이
US20160358133A1 (en) 2015-06-05 2016-12-08 Apple Inc. User interface for loyalty accounts and private label accounts for a wearable device
KR20160147636A (ko) 2015-06-15 2016-12-23 삼성전자주식회사 헤드 마운티드 디스플레이 장치
WO2016204433A1 (en) * 2015-06-15 2016-12-22 Samsung Electronics Co., Ltd. Head mounted display apparatus
US9729528B2 (en) 2015-07-03 2017-08-08 Afero, Inc. Apparatus and method for establishing secure communication channels in an internet of things (IOT) system
US9699814B2 (en) 2015-07-03 2017-07-04 Afero, Inc. Apparatus and method for establishing secure communication channels in an internet of things (IoT) system
US10015766B2 (en) 2015-07-14 2018-07-03 Afero, Inc. Apparatus and method for securely tracking event attendees using IOT devices
JP6407824B2 (ja) 2015-09-01 2018-10-17 株式会社東芝 メガネ型ウエアラブル端末およびこの端末を用いる方法
CN105243860B (zh) * 2015-10-27 2018-01-09 成都理想境界科技有限公司 一种交警背心
US9793937B2 (en) 2015-10-30 2017-10-17 Afero, Inc. Apparatus and method for filtering wireless signals
KR20170051013A (ko) * 2015-11-02 2017-05-11 엘지전자 주식회사 테더링 형 hmd 및 그 hmd의 제어 방법
KR102423830B1 (ko) * 2015-11-10 2022-07-22 삼성전자주식회사 웨어러블 장치 및 그 제어 방법
US10178530B2 (en) 2015-12-14 2019-01-08 Afero, Inc. System and method for performing asset and crowd tracking in an IoT system
JP6560974B2 (ja) 2015-12-17 2019-08-14 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および操作受付方法
JP6341192B2 (ja) * 2015-12-22 2018-06-13 カシオ計算機株式会社 情報処理装置、制御方法及びプログラム
CN105898342A (zh) * 2015-12-30 2016-08-24 乐视致新电子科技（天津）有限公司 一种视频的多点同屏播放方法及系统
US10048837B2 (en) * 2016-02-16 2018-08-14 Google Llc Target selection on a small form factor display
CN107278367B (zh) * 2016-02-29 2020-02-21 华为技术有限公司 一种移动终端、可穿戴设备和消息传送方法
EP3444925B1 (en) * 2016-03-31 2022-04-27 Samsung Electronics Co., Ltd. Wireless power transmission apparatus and control method therefor
KR101687174B1 (ko) * 2016-04-29 2016-12-16 주식회사 조이펀 Vr 기기에서의 이벤트 발생에 의한 메시지 표시방법 및 그 장치
CN105915990B (zh) * 2016-05-25 2022-11-15 歌尔光学科技有限公司 一种虚拟现实头盔及其使用方法
US10168555B1 (en) * 2016-06-30 2019-01-01 Google Llc Wiring in a head-mountable device
CN106325504A (zh) * 2016-08-16 2017-01-11 合肥东上多媒体科技有限公司 一种博物馆智能数字导游系统
KR102157304B1 (ko) * 2016-12-19 2020-09-17 한국전자기술연구원 웨어러블 장치 및 웨어러블 장치의 인터페이스 방법
EP3585254B1 (en) 2017-02-24 2024-03-20 Masimo Corporation Medical device cable and method of sharing data between connected medical devices
US11024064B2 (en) * 2017-02-24 2021-06-01 Masimo Corporation Augmented reality system for displaying patient data
JP7175281B2 (ja) * 2017-03-28 2022-11-18 マジック リープ， インコーポレイテッド ユーザ走査仮想オブジェクトに関係している空間化されたオーディオを用いる拡張現実システム
CN106959762B (zh) * 2017-04-24 2019-12-31 英华达（上海）科技有限公司 虚拟现实系统及方法
CN110809804B (zh) 2017-05-08 2023-10-27 梅西莫股份有限公司 使用适配器将医疗系统与网络控制器配对的系统
US11861255B1 (en) 2017-06-16 2024-01-02 Apple Inc. Wearable device for facilitating enhanced interaction
US20190007536A1 (en) * 2017-07-03 2019-01-03 Essential Products, Inc. Handheld writing implement form factor mobile device
US10462345B2 (en) 2017-08-11 2019-10-29 Essential Products, Inc. Deformable structure that compensates for displacement of a camera module of a camera accessory
KR102379190B1 (ko) * 2017-08-29 2022-03-25 엘지디스플레이 주식회사 디스플레이 장치와 그 구동 방법 및 멀티 디스플레이 시스템
KR102374408B1 (ko) * 2017-09-08 2022-03-15 삼성전자주식회사 가상 현실에서의 포인터 제어 방법 및 전자 장치
AU2019231697B2 (en) 2018-03-07 2020-01-30 Magic Leap, Inc. Visual tracking of peripheral devices
US11301087B2 (en) * 2018-03-14 2022-04-12 Maxell, Ltd. Personal digital assistant
DK180186B1 (en) 2018-05-08 2020-07-23 Maersk Drilling As Augmented reality apparatus
US10887193B2 (en) 2018-06-03 2021-01-05 Apple Inc. User interfaces for updating network connection settings of external devices
US10977867B2 (en) * 2018-08-14 2021-04-13 Goodrich Corporation Augmented reality-based aircraft cargo monitoring and control system
US11042649B1 (en) 2018-09-12 2021-06-22 Massachusetts Mutual Life Insurance Company Systems and methods for secure display of data on computing devices
US10893043B1 (en) 2018-09-12 2021-01-12 Massachusetts Mutual Life Insurance Company Systems and methods for secure display of data on computing devices
US11227060B1 (en) * 2018-09-12 2022-01-18 Massachusetts Mutual Life Insurance Company Systems and methods for secure display of data on computing devices
US11982809B2 (en) 2018-09-17 2024-05-14 Apple Inc. Electronic device with inner display and externally accessible input-output device
US11899214B1 (en) 2018-09-18 2024-02-13 Apple Inc. Head-mounted device with virtually shifted component locations using a double-folded light path
US12066702B1 (en) 2018-09-25 2024-08-20 Apple Inc. Systems and methods for distinguishing between a user and an object
JP7143736B2 (ja) * 2018-11-20 2022-09-29 トヨタ自動車株式会社 運転支援装置、ウェアラブル装置、運転支援方法およびプログラム
US11105636B2 (en) * 2019-04-17 2021-08-31 Google Llc Radio enhanced augmented reality and virtual reality with truly wireless earbuds
KR102393717B1 (ko) 2019-05-06 2022-05-03 애플 인크. 전자 디바이스의 제한된 동작
DK201970533A1 (en) 2019-05-31 2021-02-15 Apple Inc Methods and user interfaces for sharing audio
US11477609B2 (en) 2019-06-01 2022-10-18 Apple Inc. User interfaces for location-related communications
US11481094B2 (en) 2019-06-01 2022-10-25 Apple Inc. User interfaces for location-related communications
USD949159S1 (en) 2019-06-02 2022-04-19 Apple Inc. Display screen or portion thereof with graphical user interface
US11857298B1 (en) 2019-09-06 2024-01-02 Apple Inc. Devices having matter differentiation detectors
US11740742B2 (en) 2019-09-23 2023-08-29 Apple Inc. Electronic devices with finger sensors
CN110794966B (zh) * 2019-10-28 2024-04-12 京东方科技集团股份有限公司 Ar显示系统及方法
US10955988B1 (en) 2020-02-14 2021-03-23 Lenovo (Singapore) Pte. Ltd. Execution of function based on user looking at one area of display while touching another area of display
US11281289B2 (en) * 2020-02-21 2022-03-22 Honda Motor Co., Ltd. Content adjustment based on vehicle motion and eye gaze
US11550446B2 (en) 2020-04-06 2023-01-10 Samsung Electronics Co., Ltd. Systems and methods for viewing webpages in extended reality environments
US12089931B1 (en) 2020-09-11 2024-09-17 Apple Inc. Optical sensor for skin-contact detection and physiological parameter measurement at wearable electronic device
KR20220053394A (ko) * 2020-10-22 2022-04-29 삼성전자주식회사 웨어러블 표시 장치에 복수의 오브젝트들 표시 제어 방법 및 장치
US12086373B2 (en) 2020-10-22 2024-09-10 Samsung Electronics Co., Ltd Electronic device and method for controlling display of a plurality of objects on wearable display device
KR102290328B1 (ko) * 2020-11-16 2021-08-18 코리아에프티 주식회사 영상 출력 장치
US11630639B2 (en) * 2020-12-08 2023-04-18 Samsung Electronics Co., Ltd. Control method of electronic device using a plurality of sensors and electronic device thereof
CN116438503A (zh) * 2020-12-17 2023-07-14 三星电子株式会社 电子装置和电子装置的操作方法
CN112558836A (zh) * 2020-12-24 2021-03-26 维沃移动通信有限公司 显示控制方法、装置、电子设备及介质
EP4295314A1 (en) 2021-02-08 2023-12-27 Sightful Computers Ltd Content sharing in extended reality
EP4288950A1 (en) 2021-02-08 2023-12-13 Sightful Computers Ltd User interactions in extended reality
JP2024506630A (ja) 2021-02-08 2024-02-14 サイトフル コンピューターズ リミテッド 生産性のためのエクステンデッド・リアリティ
US11750733B2 (en) 2021-04-19 2023-09-05 Meta Platforms Technologies, Llc Automatically switching between video and other calling modes based on sensor data from a wrist-wearable device, and methods of use thereof
US11960345B2 (en) 2021-05-25 2024-04-16 Samsung Electronics Co., Ltd. System and method for controlling operational modes for XR devices for performance optimization
US11929548B2 (en) * 2021-07-28 2024-03-12 Snap Inc. Eyewear with slot-ring antenna
US20230031832A1 (en) * 2021-07-28 2023-02-02 Apple Inc. Devices, methods and graphical user interfaces for three-dimensional preview of objects
WO2023009580A2 (en) 2021-07-28 2023-02-02 Multinarity Ltd Using an extended reality appliance for productivity
US11984653B2 (en) * 2021-09-27 2024-05-14 Microsoft Technology Licensing, Llc Optically transparent antennas on transparent substrates
AU2023209446A1 (en) * 2022-01-19 2024-08-29 Apple Inc. Methods for displaying and repositioning objects in an environment
US11948263B1 (en) 2023-03-14 2024-04-02 Sightful Computers Ltd Recording the complete physical and extended reality environments of a user
US20230334795A1 (en) 2022-01-25 2023-10-19 Multinarity Ltd Dual mode presentation of user interface elements
WO2023150384A1 (en) * 2022-02-07 2023-08-10 Meta Platforms Technologies, Llc Systems for enabling quick interactions with a user's frequent contacts from within a watch-face user interface of a wrist-wearable device, and methods of use thereof
US12014099B2 (en) * 2022-03-08 2024-06-18 Google Llc Multi-device awareness for casting and content delivery
CN115278380B (zh) * 2022-06-24 2023-07-14 重庆长安汽车股份有限公司 弹幕在智能座舱展示的方法及装置
US12112011B2 (en) 2022-09-16 2024-10-08 Apple Inc. System and method of application-based three-dimensional refinement in multi-user communication sessions
US12099653B2 (en) 2022-09-22 2024-09-24 Apple Inc. User interface response based on gaze-holding event assessment
US12099696B2 (en) 2022-09-30 2024-09-24 Sightful Computers Ltd Displaying virtual content on moving vehicles
US12118200B1 (en) 2023-06-02 2024-10-15 Apple Inc. Fuzzy hit testing
US12099695B1 (en) 2023-06-04 2024-09-24 Apple Inc. Systems and methods of managing spatial groups in multi-user communication sessions

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1922651A (zh) * 2004-06-10 2007-02-28 松下电器产业株式会社 穿戴型信息提示装置
CN102906623A (zh) * 2010-02-28 2013-01-30 奥斯特豪特集团有限公司 交互式头戴目镜上的本地广告内容
WO2013052855A3 (en) * 2011-10-07 2013-05-30 Google Inc. Wearable computer with nearby object response

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7766517B2 (en) * 2001-06-15 2010-08-03 Apple Inc. Active enclosure for computing device
US20090066722A1 (en) * 2005-08-29 2009-03-12 Kriger Joshua F System, Device, and Method for Conveying Information Using Enhanced Rapid Serial Presentation
DK2370575T3 (en) * 2008-12-17 2018-02-05 Dow Agrosciences Llc TARGETED INTEGRATION IN THE ZP15 LOCUS
US20110213664A1 (en) * 2010-02-28 2011-09-01 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
US20120038571A1 (en) * 2010-08-11 2012-02-16 Marco Susani System and Method for Dynamically Resizing an Active Screen of a Handheld Device
KR101252169B1 (ko) * 2011-05-27 2013-04-05 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
US8611015B2 (en) 2011-11-22 2013-12-17 Google Inc. User interface
US9213185B1 (en) * 2012-01-06 2015-12-15 Google Inc. Display scaling based on movement of a head-mounted display
CN103312863A (zh) * 2012-03-08 2013-09-18 中兴通讯股份有限公司 移动终端视频的呈现方法及装置
US9908048B2 (en) * 2013-06-08 2018-03-06 Sony Interactive Entertainment Inc. Systems and methods for transitioning between transparent mode and non-transparent mode in a head mounted display

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1922651A (zh) * 2004-06-10 2007-02-28 松下电器产业株式会社 穿戴型信息提示装置
CN102906623A (zh) * 2010-02-28 2013-01-30 奥斯特豪特集团有限公司 交互式头戴目镜上的本地广告内容
WO2013052855A3 (en) * 2011-10-07 2013-05-30 Google Inc. Wearable computer with nearby object response

Also Published As

Publication number Publication date
US9952433B2 (en) 2018-04-24
CN104423584A (zh) 2015-03-18
KR20150026336A (ko) 2015-03-11
EP2843513A1 (en) 2015-03-04
US20150067580A1 (en) 2015-03-05

Similar Documents

Publication Publication Date Title
CN104423584B (zh) 可佩戴的装置及其输出内容的方法
US10330940B1 (en) Content display methods
JP6966443B2 (ja) 画像表示システム、並びにヘッドマウントディスプレイの制御装置とその作動方法および作動プログラム
EP3396511B1 (en) Information processing device and operation reception method
US10187520B2 (en) Terminal device and content displaying method thereof, server and controlling method thereof
CN104580576B (zh) 手表型移动终端及其控制方法
US9602954B2 (en) Mobile terminal and method for controlling the same
US9618747B2 (en) Head mounted display for viewing and creating a media file including omnidirectional image data and corresponding audio data
US8643951B1 (en) Graphical menu and interaction therewith through a viewing window
CN109618212B (zh) 信息显示方法、装置、终端及存储介质
EP2400733B1 (en) Mobile terminal for displaying augmented-reality information
CN109445572A (zh) 全屏显示视频中快速调出小窗口的方法、图形用户接口及终端
EP3353644A1 (en) Image retrieval for computing devices
EP3635525B1 (en) Electronic apparatus and control method thereof
EP3299933B1 (en) Method for displaying a navigator associated with content and electronic device for implementing the same
US20130208004A1 (en) Display control device, display control method, and program
US10521013B2 (en) High-speed staggered binocular eye tracking systems
WO2018133681A1 (zh) 搜索结果排序方法、装置、服务器及存储介质
KR20180039854A (ko) 듀얼 디스플레이를 가지는 전자 장치 및 이의 운용 방법
US20240094819A1 (en) Devices, methods, and user interfaces for gesture-based interactions
US10755475B2 (en) Display apparatus and method of displaying content including shadows based on light source position
CN111694535B (zh) 闹钟信息显示方法及装置
JP7196856B2 (ja) 情報処理装置、情報処理方法、およびプログラム
KR20170087728A (ko) 이동 단말기 및 그 제어 방법
US11768535B1 (en) Presenting computer-generated content based on extremity tracking

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20171215

Termination date: 20210902

CF01 Termination of patent right due to non-payment of annual fee