CN105899996B - 光学头戴式显示器、电视入口模块和用于控制图形用户界面的方法 - Google Patents

光学头戴式显示器、电视入口模块和用于控制图形用户界面的方法 Download PDF

Info

Publication number
CN105899996B
CN105899996B CN201380081381.4A CN201380081381A CN105899996B CN 105899996 B CN105899996 B CN 105899996B CN 201380081381 A CN201380081381 A CN 201380081381A CN 105899996 B CN105899996 B CN 105899996B
Authority
CN
China
Prior art keywords
gui
ohmd
user
portal module
movement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380081381.4A
Other languages
English (en)
Other versions
CN105899996A (zh
Inventor
奥拉·安德森
纳西索·小奥利韦拉
巴勃罗·埃斯特班·加雷
加百利·瓦妮莎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Telefonaktiebolaget LM Ericsson AB
Original Assignee
Telefonaktiebolaget LM Ericsson AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Telefonaktiebolaget LM Ericsson AB filed Critical Telefonaktiebolaget LM Ericsson AB
Publication of CN105899996A publication Critical patent/CN105899996A/zh
Application granted granted Critical
Publication of CN105899996B publication Critical patent/CN105899996B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/4222—Remote control device emulator integrated into a non-television apparatus, e.g. a PDA, media center or smart toy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42222—Additional components integrated in the remote control device, e.g. timer, speaker, sensors for detecting position, direction or movement of the remote control, microphone or battery charging device

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种光学头戴式显示器OHMD(110)及其中用于控制图形用户界面GUI的方法、以及一种电视入口模块(120)及其中用于启用OHMD(110)来控制由电视入口模块(120)显示的GUI的方法。电视入口模块(120)显示用于使OHMD(110)能够进入用于控制GUI的模式的GUI元素。OHMD(110)在OHMD(110)的显示器(111)上显示用于用户对准GUI元素的瞄准元素。当通过检测用户的头或用户的眼睛检测(403)到瞄准元素对准了GUI元素时，OHMD(110)进入用于控制GUI的模式。电视入口模块(120)从OHMD(110)接收用于控制(410)GUI的命令。还公开了相应的计算机程序(1204、1404)以及计算机程序产品(1205、1405)。

Description

光学头戴式显示器、电视入口模块和用于控制图形用户界面 的方法
技术领域
本文的实施例涉及控制多媒体应用中的图形用户界面。具体地，公开了光学头戴式显示器及其中用于控制图形用户界面的方法、以及电视入口模块及其中用于启用光学头戴式显示器来控制由电视入口模块显示的图形用户界面的方法。此外，还公开了对应的计算机程序和计算机程序产品。
背景技术
多媒体应用包括能够向用户传送多媒体体验(即，视频和声音二者)的设备。这些设备包括例如电视机、多媒体播放器、平板电脑、计算机、移动电话、膝上型电脑、盘播放器等。具体地，大屏电视机变得非常普及。
目前的大屏电视机(TV)通常由红外(IR)遥控器来控制。通过使用IR遥控器上的导航键来控制TV的图形用户界面(GUI)。
还可以通过第二屏幕(例如平板电脑)来控制GUI，其通过允许TV的用户(例如观看者)通过在平板电脑上输入用于在GUI中导航的指令来在GUI中导航。通常，在平板电脑的触摸屏上的所谓划动将被发送为用于在GUI中侧向移动的指令，即，类似于当用户按下遥控器上的方向键时的情况。使用平板电脑相较于IR遥控器控制GUI的一个优势在于，可以利用触摸屏特定的输入特征(通常是平板电脑所固有的，例如划动和两指命令)。
此外，现有的TV可以配备有相机，该相机可以捕捉用户的手势。手势可以是用户挥手来控制GUI。
此外，现有的TV可以配备有麦克风，该麦克风可以捕捉用户的语音命令。随后语音命令可以控制TV的GUI。
综上所述清楚的是，可以以多种不同方式在TV的GUI中进行导航或操控。每种方式具有其优点和缺点。例如，与使用IR遥控器相比，挥手可能会造成更多的对GUI的意外控制。作为另一示例，用于控制GUI的语音命令可能会打扰控制GUI的用户周围的人。
几乎不断地在开发用于不同目的的新类型的电子设备。这些新类型的电子设备的一个示例被称为光学头戴式显示器(OHMD)。预期OHMD会在未来几年内大量增长。
发明内容
一个目的在于克服或者至少缓解上述在控制例如TV的GUI的现有方式中存在的缺点。
根据第一方面，通过由OHMD执行的用于通过检测用户的头或用户的眼睛的移动控制由电视入口模块显示的GUI的方法，来实现所述目的。电视入口模块还显示用于控制GUI的GUI元素。OHMD包括用户可视的显示器。OHMD在OHMD的显示器上显示用于使得用户对准GUI元素的瞄准元素。当检测到瞄准元素对准了GUI元素时，OHM进入用于控制GUI的模式。
根据第二方面，通过由电视入口模块执行的用于启用OHMD来控制由电视入口模块显示的GUI的方法来实现上述目的。电视入口模块显示用于使OHMD能够进入用于控制GUI的模式的GUI元素。电视入口模块从OHMD接收用于控制GUI的命令。
根据第三方面，通过一种OHMD来实现所述目的，所述OHMD被配置为通过检测用户的头或用户的眼睛的移动来控制由电视入口模块显示的GUI。电视入口模块还显示用于控制GUI的GUI元素。OHMD包括被配置为显示用户可视的信息的显示器。OHMD还包括显示单元，被配置为在OHMD的显示器上显示用于用户对准GUI元素的瞄准元素。OHMD还包括检测单元，被配置为检测瞄准元素对准GUI元素。此外，OHMD包括进入单元，被配置为当瞄准元素对准GUI元素时进入用于控制GUI的模式。
根据第四方面，通过一种电视入口模块来实现上述目的，所述电视入口模块被配置为启用OHMD来控制由电视入口模块显示的GUI。电视入口模块包括显示单元，被配置为显示用于使OHMD能够进入用于控制GUI的模式的GUI元素。电视入口模块还包括接收单元，配置为从OHMD接收用于控制GUI的命令。
根据第五方面，通过用于控制由电视入口模块显示的GUI的计算机程序来实现上述目的。所述计算机程序包括计算机可读代码单元，当计算机可读代码单元在OHMD上执行时使OHMD执行本文描述的OHMD中的方法。
根据第六方面，通过包括计算机可读介质和如上所述的计算机程序在内的计算机程序产品来实现上述目的。
根据第七方面，通过用于启用OHMD来控制由电视入口模块显示的GUI的计算机程序来实现上述目的。所述计算机程序包括计算机可读代码单元，当计算机可读代码单元在电视入口模块上执行时使电视入口模块执行本文描述的电视入口模块中的方法。
根据第八方面，通过包括计算机可读介质和如上所述的计算机程序在内的计算机程序产品来实现上述目的。
本文的实施例的优点在于，携带或穿戴OHMD的用户可以在不使用用户语音命令、手势或遥控器的情况下控制TV的GUI。如上所述，语音命令可能干扰其他人。挥手可能不能给出以满意方式控制GUI所需要的足够精细的控制。如上所述，手势经常存在被意外地捕捉为针对GUI的控制命令的问题。
附图说明
根据以下详细说明和所附附图，将易于理解本文公开的实施例的各方面，包括其特定特征和优点，附图中：
图1是可实现本文实施例的示例性系统的示意概述，
图2是电视入口的GUI的示意图示，
图3是用户的头的示意，
图4是示出方法实施例在根据图1的系统中执行时的示意组合信令方案及流程图，
图5是GUI的示例性外观的示意图示，
图6是GUI的另一示例性外观的示意图示，
图7是GUI元素和瞄准元素的两个示意示图，
图8是GUI的另一示例性外观的示意图示，
图9是示出了移动和划动动作与释放模式之间的循环的表示，
图10a至图10e是示出了根据本文一些实施例的菜单的使用的框图，
图11是示出了OHMD中的方法的实施例的流程图，
图12是示出了OHMD的实施例的框图，
图13是示出了电视入口模块中的方法的实施例的流程图，以及
图14是示出了电视入口模块的实施例的框图。
具体实施方式
贯穿以下说明，类似的参考符号视情况被用于标记类似的单元、模块、电路、节点、部分、项目或特征。在附图中，由虚线指示一些实施例中出现的特征，除非另外指示。
本文描述的实施例使用与例如大屏TV组合的OHMD，用于通过OHMD来控制TV上的GUI。
更具体地，当电视入口模块显示GUI元素并且OHMD显示瞄准元素时，根据实施例，用户能够使瞄准元素对准GUI元素，以使OHM直接或间接进入用于控制由电视入口模块显示的GUI的模式。当OHMD可能处于所述模式下时，例如，可以由OHMD向入口模块发送用户的头或者用户的眼睛的移动作为用于控制GUI的命令。
作为示例性场景，用户坐在TV前，同时戴着可以控制TV GUI的OHMD。用户仅需要移动他/她的头或者眼睛来控制GUI。为了使用户不会在每次移动头时意外地控制TV GUI，OHMD需要进入某一模式。通过如上所述将瞄准元素对准GUI元素来进入该模式。
图1示出了可实现本文实施例的示例性系统100。
系统100包括OHMD 110，例如无线电子眼镜、用于观看三维视频的眼镜等，例如所谓的Google眼镜。使用(例如携带)OHMD 110的人可以被称为本公开中的用户。
OHMD 110包括用户可视的显示器111。可以向用户显示任何类型的数据的显示器111可以是透明或半透明显示器，例如采取液晶显示器(LCD)、发光二极管(LED)显示器等的形式。
OHMD 110包括相机112，面朝用户(即通常在用户的观看方向上)。相机112可以捕捉观看方向(例如面朝前的方向)上的静止图像或视频。
OHMD 110可以包括运动传感器113，例如用于跟踪OHMD 110的移动的陀螺仪、加速度计等。
OHMD 110可以包括眼传感器114，用于捕捉用户眨眼和/或跟踪用户眼睛的移动。
系统100还包括电视入口模块120，电视入口模块120可以包括媒体盒121，例如电视机顶盒、视频播放器/录像机，如视频相机、蓝光播放器、数字通用盘(DVD)播放器、媒体中心、媒体播放器、电视机、TV、智能TV、包括屏幕的家用电器、带屏幕的普通冰箱等。
图1还示出了显示设备122，其可以是屏幕、监视器、投影仪屏幕、电影屏幕或电视屏幕等。电视入口模块120可以连接到显示设备122，显示设备122可以在电视入口模块120的外部。显示设备122可以包括电视入口模块120。
如本文所使用的，术语“GUI”指在屏幕上显示的图形元素的集合。软件组件(有时被称为功能或模块)可以被配置为控制GUI。
如将参照图4所解释的，OHMD 110可以与电视入口模块120通信(如果OHMD和电视入口模块中的至少一个被配置为能够实现通信的话)。可以由无线连接(例如蓝牙、WiFi、近场通信(NFC)等)或有线连接(例如通用串行总线(USB)线缆、以太网连接等)来实现通信。在本上下文中，OHMD 110和电视入口模块120形成系统100的一部分。
图2是由电视入口模块120在显示设备122上显示的GUI的示意图示。在该示例中，仅出于示意目的，GUI包括可以在水平方向上导航的图形对象201、202、203的基本列表。如图所示，列表中的全部对象不能完全合适地显示在屏幕上，例如对象201，并且对象203完全在屏幕之外。因此，用户需要将列表向左/右移动以完整地看到全部对象。
图3是携带OHMD 110的用户的头的图示。现在假设用户希望对图2中示出的列表进行导航。通过用户将头向左/右转动(从而转动OHMD 110)来实现导航。可以由OHMD 110跟踪头的转动，并且可以向电视入口模块120发送相应的导航命令，该命令将会导致GUI中的导航动作。
一般地，电视入口模块120可以显示在与显示设备122连接的机顶盒(STB)中执行的(或者直接在TV中集成的)TV门户。电视入口模块120通常固定连接到家庭网络，同时OHMD110通过WiFi连接到相同网络或通过直接无线的设备到设备(D2D)连接与电视入口模块120连接。TV门口可以包括多个图形对象，用于显示关于电影、音乐等的信息，或者用于允许用户选择不同动作，例如播放、录像、快进等。
在激活电视入口模块120和OHMD 110时，按照直接或间接连接(例如套接口或http连接)形式开启它们之间的连接。电视入口模块120开始监听来自OHMD 110的命令，并且OHMD 110开始检测和发送命令。例如，在下文的动作408中描述命令的检测。激活OHMD 110的一种方式可以是在开启OHMD 110时激活用于控制GUI的控制模块，或者通过语音命令等。
当用户正在观看TV并且希望执行一些TV命令时，他可以激活TV上的相应功能，通常是打开TV门户菜单。激活电视入口模块120的一种方式可以是通过允许用户导航GUI并且选择要激活的电视入口模块120来激活电视入口模块120。
图4示出了当电视入口模块120实现于图1的系统100中时的用于管理电视入口模块120的GUI的示例性方法。因此，OHMD执行用于控制由电视入口模块120显示的GUI的方法。通过检测用户的头或用户的眼睛的移动来控制GUI。
为了支持OHMD 110，电视入口模块120执行用于启用OHMD 110来控制GUI的方法。
可以用任意合适的顺序执行以下动作。
动作401
为了使OHMD 110能够在动作403检测GUI元素，电视入口模块120显示GUI元素。以这种方式，电视入口模块120使得OHMD 110能够在下面的动作407进入用于控制GUI的模式。
因此，电视入口模块120已经引入了用户应当能够通过OHMD 110来控制的GUI中的位置/对象处的GUI元素。
动作402
在执行了动作401之后，OHMD 110在OHMD 110的显示器111上显示用于用户对准GUI元素的瞄准元素。通过使用瞄准元素，用户可以使瞄准元素对齐GUI元素。
还可以在动作401前执行动作402。
动作403
在执行了动作401和402之后，OHMD 110能够检测瞄准元素对准GUI元素。下文的图7示出了瞄准元素与GUI元素如何对齐。
通过使GUI元素与由OHMD 110显示的瞄准元素对齐，用户可以立即或者在下面的一些动作之后通过移动他的头或眼睛来控制GUI。
在下文的动作407，OHMD 110进入用于控制GUI的模式。然而，在执行动作407之前，可以根据一些第一实施例来执行动作404和405，并且可以根据一些第二实施例来执行动作406。
动作404
在第一实施例中，例如，用户可以使用菜单来选择用于控制GUI的模式。因此，OHMD110可以在OHMD 110的显示器上显示包括用于进入控制GUI的模式的命令项在内的菜单。
动作405
在第一实施例中，OHMD 110可以检测例如用户对命令项的选择。接着，可以响应于选择命令项而执行动作407。
动作406
在第二实施例中，OHMD 110可以检测使得OHMD 110执行动作407的眨眼命令。眨眼命令可以指示不同动作，例如一次眨眼可以指示划动动作，两次眨眼可以指示按页滚动，其中一页可以是完全合适地显示在显示设备122中的内容。
动作407
当在动作403检测到瞄准元素对准了GUI元素时，OHMD 110例如根据第一和第二实施例直接或间接进入用于控制GUI的模式。
动作408
在OHMD 110进入了该模式的情况下，OHMD 110可以检测用户的头或用户的眼睛的移动。用户的头或用户的眼睛的移动可以转换为用于控制GUI的命令。
该命令可以指示电视入口模块120在GUI中引起一组动作中的一个动作。一组动作可以包括移动动作或划动动作中的至少一个。
动作409
为了向电视入口模块120通知要在GUI中引起哪个动作，OHMD 110可以向电视入口模块120发送命令。
动作410
在动作409之后，电视入口模块120可以从OHMD 110接收命令。接着，电视入口模块120可以执行下文的动作414，但是首先描述OHMD 110中的一些进一步的动作。
动作411
在一些第三实施例中，当在定义的时间段期间内没有检测到用户的头或用户的眼睛的移动时，OHMD 110可以以循环方式将命令设置为一组动作中的一个动作。将参照图9更详细地对此进行描述。
动作412
根据第二实施例，在执行下文的动作413之前，OHMD 110可以检测用于退出控制GUI的模式的进一步的眨眼命令。
动作413
为了允许用户自由地移动头或眼睛而不在GUI中引起任何动作或导航，OHMD 110可以退出用于控制GUI的模式。
根据第一实施例，菜单包括用于退出控制GUI的模式的释放项。在这些实施例中，可以响应于选择释放项而执行动作413。
根据第二实施例，响应于动作412而执行动作413。
根据第三实施例，可以在命令被设置为移动动作第一次数且被设置为划动动作第二次数时执行动作413。第二次数可以等于第一次数。
动作414
当电视入口模块120在动作410接收到命令时，电视入口模块120可以根据该命令控制GUI。以这种方式，用户的头或用户的眼睛的移动被转换为例如电视入口模块120的GUI中的移动或划动动作。
图5示出了可以由OHMD 110控制的显示两个列表的电视入口模块120的显示设备122。因此，两个GUI元素501、502(被示为在水平方向和竖直方向上的被圆环绕的双三角指示)被电视入口模块120插入(例如显示)在显示设备122上。GUI元素501、502的目的在于提供OHMD 110已知的图像。由于GUI元素501、502被OHMD 110已知，OHMD 110能够处理图像，例如检测GUI元素501、502的存在。将结合图8参考图形对象503、504。
OHMD 110可以使用相机112来将显示设备122捕捉为一系列图像(例如，视频)。可以由OHMD 110实时或者近似实时地连续分析视频以识别GUI元素，如上所述。当识别出GUI元素时，OHMD 110将在OHMD 110的显示器111中显示瞄准元素。以这种方式，仅在存在用户要对准的GUI元素时，瞄准元素才是可见的。在下文的示例性图示中，瞄准元素是圆形的。瞄准元素还可以具有其它形状、外观和颜色。
现在，为了控制以上图示中的列表之一，用户通过移动头来将OHMD 110的显示器上的瞄准元素与显示设备122上的GUI元素对齐，使得从用户眼睛的视角来看，瞄准元素和GUI元素在彼此面前。当瞄准元素与GUI元素对齐时，OHMD 110可以通过改变瞄准元素的颜色来用信号通知用户，并且OHMD 110现在可以开始控制GUI。
图6示出了显示设备122，并且示出了OHMD 110的显示器111，该显示器111具有在针对GUI元素(这里表示为602和603)的非对齐位置中的示例性瞄准元素601。可以在背景中看见电视入口模块120的GUI，如虚线所示。
当用户移动头或眼睛以将瞄准元素601对齐在下层的电视入口模块120的GUI中的GUI元素602、603之一时，在瞄准元素与GUI元素602、603之一对齐的情况下，瞄准元素601可以改变外观、形状或颜色。在本上下文中，当从用户视角来看时，下层的GUI可以被称为位于显示器111之后。注意，OHMD 110可以具有透视显示器，意味着用户能看见瞄准元素“之下”的GUI。在具有不透明显示器的OHMD 110上，还可以将捕捉的GUI的视频显示在OHMD 110显示器上。
在图7中，在左侧，瞄准元素701被移至与GUI元素702对齐。在图7的右侧部分示出了瞄准元素701和GUI元素702的对齐时的示例性外观。当对齐时，OHMD 110可以开始将向电视入口模块120发送用于控制GUI的命令。
图8示出了显示设备122，并且示出了用于控制GUI的示例性命令。在此情况下，描述了所谓的移动动作。OHMD 110进入了用于控制GUI的模式。因此，当用户移动头或眼睛时，从OHMD 110向电视入口模块120发送用于指示GUI引起移动动作的命令。当与图5相比较时，可以观察到图形对象801现在已经移动到了中心。在图5中，图形对象801对应于图形对象504，并且图形对象802对应于图形对象503。
如以上图示中所示，OHMD 110移动，并且与对齐的GUI元素(在此情况下为水平列表)相对应的图形对象相应地移动，从而在整个移动期间GUI元素持续对齐。
在移动期间，OHMD 110持续向电视入口模块120发送用于控制GUI的命令(例如移动命令)以及描述移动的坐标。作为示例，取决于在数学方法中使用个的参考坐标系，坐标可以是GUI元素和/或瞄准元素的坐标。
作为示例，电视入口模块120从OHMD 110接收一下命令：
命令1，时间＝t1：(540，318)
命令2，时间＝t2：M(518，328)
命令3，时间＝t3：M(490，326)
命令4，时间＝t4：M(476，320)
命令5，时间＝t5：M(461，314)
命令6，时间＝t6：M(443，316)t1＜t2＜…＜t6
在命令被产生的时间t1、t2……t6分别发送各个命令。电视入口模块120将使用接收到的第一坐标对来识别OHMD 110所针对的是哪个GUI元素。后续坐标用于决定将由所针对的GUI元素控制的对象移动到哪里，并包括要执行的动作的类型。将在下文的部分中描述动作的类型。
动作的类型可以包括移动动作、划动动作、选择动作和释放动作等中的至少一个。
移动动作可以类似于当用户在平板电脑的触摸屏上拖曳手指时的情况。也就是说，GUI元素持续跟随由OHMD 110检测到的移动。如上所述，当用户移动头时，移动可以是OHMD 110本身的移动。备选地或附加地，移动可以是对由OHMD 110检测到的眼睛移动的跟踪。
划动动作可以类似于平板电脑上的划动手势。GUI元素和瞄准元素初始是对齐的，但是当用户移动例如头时，移动被发送到电视入口模块120作为划动动作，引起例如GUI中的列表转开。该列表可以与对齐的GUI元素相关联。
选择/点击动作可以与当计算机用户使用鼠标点击向用户显示的对象时的情况类似。在下面的部分中，描述了示例性方式。
释放动作是指退出用于控制GUI的模式。以这种方式，当用户不再希望通过GUI进行导航时，用户可以释放GUI元素和瞄准元素，即，不再对齐以控制GUI。
在图9中，描述了通过循坏选择用于控制GUI的命令的示例性处理。
“初始对齐”是指当用户对准GUI元素时，即，在OHMD 110进入用于控制GUI的模式之前。当OHMD 110进入了用于控制GUI的模式时，OHMD 110可以被视为在一个或多个子模式中，例如“移动”子模式或“划动”子模式。子模式对应于当命令被OHMD 110发送到电视入口模块120时该命令将在GUI中引起什么动作。
假设用户移动头，且OHMD 110被激活以检测对齐，如上文的动作403。
现在，在OHMD 110的瞄准元素在由电视入口模块120渲染的GUI元素上保持静止(即，不移动)的短时间段Δt1之后，OHMD 110可以进入用于控制GUI的模式。同时，可以设置诸如移动动作之类的默认命令。换句话说，可以进入默认子模式。
如果用户在时间段Δt2内移动头，则将由OHMD 110发送用于在GUI中引起移动动作的命令。如果用户不移动头(因而不移动OHMD 110)，而是保持头静止长于或等于时间段Δt2，则OHMD 110可以被视为进入“划动”子模式。如果用户从进入了“划动”子模式开始继续在时间段Δt2期间保持静止，则OHMD 110将进入“释放”子模式。这意味着如果用户在“释放”子模式下移动头，则OHMD 110的瞄准元素将从电视入口模块120的GUI元素解锁。因此，可以在不影响由电视入口模块120显示的GUI的情况下自由地移动用户的头。
综上，当用户保持头部静止而使得瞄准元素与GUI元素对齐时，模式和子模式将周期地改变，并且用户将需要在移动头之前等待期望模式或子模式。
可以通过例如改变OHMD 110的瞄准元素的颜色来指示不同的子模式。
点击动作或选择动作不适合出现在相同循环中。例如，不是所有可以被移动的GUI对象都可以被选择。可以例如通过使用由电视入口模块120显示的GUI元素的第二类型来完成选择。GUI元素的第二类型可以唯一地用于选择，其中例如2秒时长的对齐可以引起点击动作。
在其它示例中，可以通过检测眨眼命令来执行选择。在这些示例中，当OHMD 110配备有眨眼传感器时，可以通过眨眼命令全部或部分地代替上文所述的周期循环。例如，对齐瞄准元素并眨眼两次可以触发划动模式。类似地，可以经由其它不同的眨眼模式或眨眼命令来触发点击和选择动作。
在与第一实施例相关的另一示例中，可以通过在OHMD 110的显示器上显示的菜单的方式来执行选择。通过使用菜单，可以由用户直接选择不同的子模式或命令。因此，用户不需要像在循环中那样等待期望的子模式或命令。
图10a至图10e示出了当使用菜单来选择用于控制GUI的命令或者将OHMD从用于控制GUI的模式中释放出来的示例。
图10a示出了当进入用于控制GUI的模式时的OHMD 110。在OHMD 110的显示器上显示具有菜单项(例如移动、划动和释放)的菜单。
图10b示出了当用户将头向右移动时被标记的菜单项之一。
图10c示出了当用户抬头/低头时用于标记菜单项的标记可以向上或向下移动。
图10d示出了当用户再次将头向右移动时可以选择被标记的菜单项。
图10e示出了瞄准元素的外观(例如形状和/或颜色)可以指示当前激活(选择)了例如移动动作和划动动作中的哪个。
当用户不移动头时可以再次看到图10a中示出的菜单。
在图11中，示出了OHMD 110的方法的示例性示意流程图。如上所述，OHMD 110通过检测用户的头或用户眼睛的移动来执行用于控制由电视入口模块120显示的图形用户界面(GUI)的方法。
如上所述，电视入口模块120还显示用于控制GUI的GUI元素。OHMD 110包括用户可视的显示器111。GUI可以显示在显示设备上。电视入口模块120可以连接到显示设备，显示设备可以在电视入口模块120的外部。备选地，显示设备可以包括电视入口模块120。
可以用任意合适的顺序执行以下动作。
动作1101
OHMD 110在OHMD 110的显示器111上显示用于用户对准GUI元素的瞄准元素。该动作与动作402类似。
动作1102
OHMD 110可以检测瞄准元素对准GUI元素。
用户可以通过将瞄准元素对齐GUI元素来使瞄准元素对准GUI元素。该动作与动作403类似。
动作1103
在下面的动作1106之前，OHMD 110可以在OHMD 110的显示器上显示包括用于进入控制GUI的模式的命令项在内的菜单。该动作与动作404类似。
动作1104
OHMD 110可以检测用户对命令项的选择。该动作与动作405类似。
动作1105
在下面的动作1106之前，OHMD 110可以检测用于进入控制GUI的模式的眨眼命令。该动作与动作406类似。
动作1106
当检测到瞄准元素对准了GUI元素时，OHMD 110进入用于控制GUI的模式。该动作与动作407类似。
动作1107
OHMD 110可以检测用户的头或用户的眼睛的移动。该动作与动作408类似。
动作1108
OHMD 110可以向电视入口模块120发送用于控制GUI的命令。该动作与动作409类似。
该命令可以指示电视入口模块120在GUI中引起一组动作中的一个动作。一组动作可以包括移动动作或划动动作中的至少一个。
动作1109
当在定义的时间段期间内没有检测到用户的头或用户的眼睛的移动时，OHMD 110可以以循环方式将命令设置为一组动作中的一个动作。该动作与动作411类似。
动作1110
在执行退出413之前，OHMD 110可以检测用于退出控制GUI的模式的进一步的眨眼命令。该动作与动作412类似。
动作1111
OHMD 110可以退出用于控制GUI的模式。该动作与动作413类似。
可以在命令被设置为移动动作第一次数且被设置为划动动作第二次数时执行退出。第二次数可以等于第一次数。
菜单包括用于退出控制GUI的模式的释放项。可以响应于选择释放项而执行退出。
参照图12，示出了OHMD 110的示意框图。OHMD 110被配置为执行图4和/或11中的方法。因此，OHMD 110被配置为通过检测用户的头或用户眼睛的移动来控制由电视入口模块120显示的GUI。如上所述，电视入口模块120显示用于控制GUI的GUI元素。
OHMD 110包括被配置为显示用户可视的信息的显示器1210。显示器1210可以是图1的显示器111。
OHMD 110还包括显示单元1220，被配置为在OHMD 110的显示器1210上显示用于用户对准GUI元素的瞄准元素。用户可以通过将瞄准元素对齐GUI元素来使瞄准元素对准GUI元素。
显示单元1220还可以被配置为在OHMD 110的显示器上显示菜单，所述菜单包括用于进入控制GUI的模式的命令项；其中，进入单元1240可以被配置为响应于用户选择所述命令项而进入用于控制GUI的模式。
OHMD 110还包括检测单元1230，被配置为检测瞄准元素对准GUI元素。
检测单元1230还可以被配置为检测用于进入控制GUI的模式的眨眼命令。
检测单元1230还可以被配置为检测用户的头或用户的眼睛的移动。
检测单元1230还可以被配置为检测用于退出控制GUI的模式的进一步的眨眼命令。
此外，OHMD 110包括进入单元1240，被配置为当瞄准元素对准GUI元素时进入用于控制GUI的模式。
进入单元1240可以被配置为响应于检测到眨眼命令而进入用于控制GUI的模式。
OHMD 110还可以包括发送单元1250，被配置为当可以检测到用户的头或用户眼睛的移动时向电视入口模块120发送用于控制GUI的命令。
该命令可以指示电视入口模块120在GUI中引起一组动作中的一个动作。一组动作可以包括移动动作或划动动作中的至少一个。
OHMD 110还包括设置单元1260，被配置为当在定义的时间段期间内没有检测到用户的头或用户的眼睛的移动时，以循环方式将命令设置为一组动作中的一个动作。
OHMD 110包括退出单元1270，被配置为退出用于控制GUI的模式。
退出单元1270可以被配置为在命令被设置为移动动作第一次数且被设置为划动动作第二次数时退出用于控制GUI的模式。第二次数可以等于第一次数。
菜单可以包括用于退出控制GUI的模式的释放项。退出单元1270可以被配置为响应于对释放项的选择而执行退出。
退出单元1270可以被配置为响应于检测到进一步的眨眼命令而执行退出。
在一些实施例中，OHMD 110包括根据上述一个或多个单元配置的处理电路1201。因此，处理单元1201被配置为执行图4和/或图11中的方法。
OHMD 110还可以包括输入/输出(I/O)单元1202，被配置为发送和/或接收如本文所述的命令。I/O单元1202可以包括发送单元1205、发射机和/或接收机。
此外，OHMD 110可以包括存储器1203，用于存储要由例如处理电路1201执行的软件。
图12还示出了按照计算机程序1204形式的用于控制由电视入口模块120显示的GUI的软件。计算机程序包括计算机可读代码单元，当计算机可读代码单元在OHMD 110上执行时使OHMD 110执行根据图4和/或图11的方法。
最后，图12示出了计算机程序产品1205，包括计算机可读介质1206和存储在计算机可读介质1206上的以上刚描述的计算机程序1204。
更一般地，根据另外一些实施例，OHMD 110根据上述一个或多个单元来配置。因此，如上所述，OHMD 110被配置为执行根据图4和/或图11的方法。
在图13中示出了电视入口模块120中的方法的示例性示意流程图。如上所述，电视入口模块120执行用于启用OHMD 110来控制由电视入口模块120显示的GUI的方法。
可以用任意合适的顺序执行以下动作。
动作1301
电视入口模块120显示用于使OHMD 110能够进入用于控制GUI的模式的GUI元素。该动作与动作401类似。
动作1302
电视入口模块120从OHMD 110接收用于控制410GUI的命令。该动作与动作410类似。
该命令可以指示电视入口模块120在GUI中引起一组动作中的一个动作。一组动作可以包括移动动作或划动动作中的至少一个。
动作1303
电视入口模块120可以根据接收到的命令控制GUI。该动作与动作414类似。
参照图14，示出了电视入口模块120的示意框图。电视入口模块120被配置为执行图4和/或13中的方法。因此，电视入口模块120被配置为启用OHMD 110来控制由电视入口模块120显示的GUI。
电视入口模块120包括显示单元1410，被配置为显示用于使OHMD 110能够进入用于控制GUI的模式的GUI元素。
电视入口模块120还包括接收单元1420，配置为从OHMD 110接收用于控制GUI的命令。
电视入口模块120还可以包括控制单元1430，配置为根据从OHMD 110接收的命令来控制GUI。
该命令可以指示电视入口模块120在GUI中引起一组动作中的一个动作。一组动作可以包括移动动作或划动动作中的至少一个。
在一些实施例中，电视入口单元120包括根据上述一个或多个单元配置的处理电路1401。因此，处理单元1401被配置为执行图4和/或图11中的方法。
电视入口模块120还可以包括输入/输出(I/O)单元1402，被配置为发送和/或接收如本文所述的命令。I/O单元1402可以包括接收单元1420、发射机和/或接收机。
此外，电视入口模块120可以包括存储器1403，用于存储要由例如处理电路执行的软件。
图14还示出了按照计算机程序1404形式的用于启用OHMD 110来控制由电视入口模块120显示的GUI的软件。计算机程序1404包括计算机可读代码单元，当计算机可读代码单元在电视入口模块120上执行时使电视入口模块120执行根据图4和/或图13的方法。
最后，图14示出了计算机程序产品1405，包括计算机可读介质1406和存储在计算机可读介质1406上的以上刚描述的计算机程序1404。
更一般地，根据另外一些实施例，电视入口模块120根据上述一个或多个单元来配置。因此，如上所述，电视入口模块120被配置为执行根据图4和/或图13的方法。
如本文所使用的，术语″处理电路″可以指处理单元、处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)等。举例说明，处理器、ASIC、FPGA等可以包括一个或多个处理器内核。在一些示例中，处理电路可以被实现为软件或硬件模块。任一这种模块可以是如本文所公开的确定装置、估计装置、捕获装置、关联装置、比较装置、识别装置、选择装置、接收装置、发送装置等。作为示例，表述“装置”可以是单元，例如确定单元、选择单元等。
如本文所使用的，表述“被配置为”可以意味着处理电路通过软件或硬件配置而被配置为、适配为执行本文所描述的动作中的一个或更多个。
如此处使用的，术语″存储器″可以指硬盘、磁存储介质、便携式计算机盘、闪存、随机存取存储器(RAM)等。此外，术语“存储器”可以指处理器的内部寄存器存储器等。
如本文所使用的，术语“计算机可读介质”可以是通用串行总线(USB)存储器、DVD盘、蓝光盘、作为数据流接收的软件模块、闪存、硬盘驱动、存储卡(例如存储棒、多媒体卡(MMC))等。

Claims (24)

1.一种由光学头戴式显示器OHMD(110)执行的方法，用于通过检测用户的头或用户的眼睛的移动来控制由电视入口模块(120)在所述电视入口模块(120)的显示设备(122)上显示的图形用户界面GUI，其中所述电视入口模块(120)还在所述显示设备(122)上显示用于控制GUI的GUI元素，其中OHMD(110)包括用户可视的显示器(1210)，其中所述方法包括：
在OHMD(110)的显示器(1210)上显示(402)用于用户对准GUI元素的瞄准元素；
当检测到(403)瞄准元素对准了GUI元素时，进入(407)用于控制GUI的模式；
检测(408)用户的头或用户的眼睛的移动；以及
向所述电视入口模块(120)发送(409)用于控制GUI的命令。
2.根据权利要求1所述的方法，其中，所述方法还包括，在进入(407)用于控制GUI的模式之前：
在OHMD(110)的显示器上显示(404)包括用于进入控制GUI的模式的命令项在内的菜单；以及
检测(405)用户对所述命令项的选择。
3.根据权利要求1所述的方法，其中，所述命令指示电视入口模块(120)在GUI中引起一组动作中的一个动作，其中，所述一组动作包括移动动作或划动动作中的至少一个。
4.根据权利要求3所述的方法，其中，所述方法包括：
当在定义的时间段期间内没有检测到用户的头或用户的眼睛的移动时，以循环方式将命令设置(411)为所述一组动作中的一个动作。
5.根据权利要求1所述的方法，其中所述方法包括：
退出(413)用于控制GUI的模式。
6.根据权利要求5所述的方法，其中，所述退出(413)当所述命令被设置为移动动作第一次数并被设置为划动动作第二次数时执行，其中，第二次数等于第一次数。
7.根据权利要求2所述的方法，其中，所述菜单包括用于退出用于控制GUI的模式的释放项，其中，响应于对所述释放项的选择而执行退出(413)。
8.根据前述任一项权利要求所述的方法，其中，通过用户将瞄准元素对齐GUI元素来将瞄准元素对准GUI元素。
9.根据权利要求1所述的方法，其中，电视入口模块(120)连接到所述显示设备，所述显示设备在电视入口模块(120)外部。
10.根据权利要求1所述的方法，其中，所述显示设备包括电视入口模块(120)。
11.一种由电视入口模块(120)执行的方法，用于启用光学头戴式显示器OHMD(110)来控制由电视入口模块(120)在所述电视入口模块的显示设备(122)上显示的图形用户界面GUI，所述方法包括：
在所述显示设备上显示(410)用于使OHMD(110)能够进入用于控制GUI的模式的GUI元素；以及
从OHMD(110)接收(410，1302)用于控制(414，1303)GUI的命令。
12.根据权利要求11所述的方法，其中，所述命令指示电视入口模块(120)在GUI中引起一组动作中的一个动作，其中，所述一组动作包括移动动作或划动动作中的至少一个。
13.一种光学头戴式显示器OHMD(110)，被配置为通过检测用户的头或用户的眼睛的移动来控制由电视入口模块(120)在所述电视入口模块的显示设备(122)上显示的图形用户界面GUI，其中所述电视入口模块(120)还在所述显示设备(122)上显示用于控制GUI的GUI元素，其中OHMD(110)包括被配置为显示用户可视的信息的显示器(1210)，其中所述OHMD(110)包括：
显示单元(1220)，被配置为在OHMD(110)的显示器(111)上显示用于用户对准GUI元素的瞄准元素；
检测单元(1230)，被配置为检测瞄准元素对准GUI元素；
进入单元(1240)，被配置为当瞄准元素对准GUI元素时进入用于控制GUI的模式，
其中，检测单元(1230)还被配置为检测用户的头或用户的眼睛的移动；以及
其中所述OHMD(110)包括发送单元(1250)，被配置为当检测到用户的头或用户的眼睛的移动时向电视入口模块(120)发送用于控制GUI的命令。
14.根据权利要求13所述的OHMD(110)，其中，显示单元(1220)还被配置为在OHMD(110)的显示器上显示菜单，所述菜单包括用于进入控制GUI的模式的命令项；其中进入单元(1240)被配置为响应于用户选择所述命令项而进入用于控制GUI的模式。
15.根据权利要求13所述的OHMD(110)，其中，所述命令指示电视入口模块(120)在GUI中引起一组动作中的一个动作，其中，所述一组动作包括移动动作或划动动作中的至少一个。
16.根据权利要求15所述的OHMD(110)，还包括设置单元(1260)，被配置为当在定义的时间段期间内没有检测到用户的头或用户的眼睛的移动时，以循环方式将命令设置为所述一组动作中的一个动作。
17.根据权利要求13所述的OHMD(110)，其中，OHMD(110)包括：退出单元(1270)，被配置为退出用于控制GUI的模式。
18.根据权利要求17所述的OHMD(110)，其中，退出单元(1270)被配置为：当所述命令被设置为移动动作第一次数并被设置为划动动作第二次数时退出用于控制GUI的模式，其中，第二次数等于第一次数。
19.根据权利要求14所述的OHMD(110)，其中，所述菜单包括用于退出用于控制GUI的模式的释放项，其中，退出单元(1270)被配置为响应于对所述释放项的选择而执行退出。
20.根据权利要求13至19中任一项所述的OHMD(110)，其中，通过用户将瞄准元素对齐GUI元素来将瞄准元素对准GUI元素。
21.一种电视入口模块(120)，被配置为启用光学头戴式显示器OHMD(110)来控制由电视入口模块(120)在所述电视入口模块的显示设备(122)上显示的图形用户界面GUI，其中所述电视入口模块(120)包括：
显示单元(1410)，被配置为在所述显示设备(122)上显示用于使OHMD(110)能够进入用于控制GUI的模式的GUI元素；
接收单元(1420)，被配置为从OHMD(110)接收用于控制GUI的命令；以及
控制单元(1430)，被配置为根据从所述OHMD接收的命令控制GUI。
22.根据权利要求21所述的电视入口模块(120)，其中，所述命令指示电视入口模块(120)在GUI中引起一组动作中的一个动作，其中，所述一组动作包括移动动作或划动动作中的至少一个。
23.一种计算机可读存储介质(1206)，存储有计算机程序(1204)，其中，所述计算机程序(1204)包括计算机可读代码单元，当所述计算机可读代码单元在光学头戴式显示器OHMD(110)上执行时使OHMD(110)执行根据权利要求1至10中任一项所述的方法。
24.一种计算机可读存储介质(1406)，存储有计算机程序(1404)，其中，所述计算机程序(1404)包括计算机可读代码单元，当所述计算机可读代码单元在电视入口模块(120)上执行时使电视入口模块(120)执行根据权利要求11至12中任一项所述的方法。
CN201380081381.4A 2013-12-06 2013-12-06 光学头戴式显示器、电视入口模块和用于控制图形用户界面的方法 Active CN105899996B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/SE2013/051467 WO2015084227A1 (en) 2013-12-06 2013-12-06 Optical head mounted display, television portal module and methods for controlling graphical user interface

Publications (2)

Publication Number Publication Date
CN105899996A CN105899996A (zh) 2016-08-24
CN105899996B true CN105899996B (zh) 2019-04-23

Family

ID=53273830

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380081381.4A Active CN105899996B (zh) 2013-12-06 2013-12-06 光学头戴式显示器、电视入口模块和用于控制图形用户界面的方法

Country Status (4)

Country Link
US (1) US10338776B2 (zh)
EP (1) EP3077867B1 (zh)
CN (1) CN105899996B (zh)
WO (1) WO2015084227A1 (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2979566C (en) * 2015-03-13 2024-02-27 Enchroma, Inc. Optical filters affecting color vision in a desired manner and design method thereof by non-linear optimization
US20170153701A1 (en) * 2015-12-01 2017-06-01 Thalmic Labs Inc. Systems, devices, and methods for wearable heads-up displays as wireless controllers
US10802495B2 (en) * 2016-04-14 2020-10-13 Deka Products Limited Partnership User control device for a transporter
US10926756B2 (en) 2016-02-23 2021-02-23 Deka Products Limited Partnership Mobility device
EP4194971A1 (en) 2016-02-23 2023-06-14 DEKA Products Limited Partnership Method for establishing the center of gravity for a mobility device
US11399995B2 (en) 2016-02-23 2022-08-02 Deka Products Limited Partnership Mobility device
US10908045B2 (en) 2016-02-23 2021-02-02 Deka Products Limited Partnership Mobility device
USD830386S1 (en) * 2016-09-30 2018-10-09 Deka Products Limited Partnership Computer display with transition screen
USD830384S1 (en) 2016-09-30 2018-10-09 Deka Products Limited Partnership Computer display with home screen
USD830385S1 (en) 2016-09-30 2018-10-09 Deka Products Limited Partnership Computer display with selection screen
CN107616797A (zh) * 2017-08-25 2018-01-23 深圳职业技术学院 一种重症病人呼叫系统
US10338766B2 (en) * 2017-09-06 2019-07-02 Realwear, Incorporated Audible and visual operational modes for a head-mounted display device
DE102017219790A1 (de) * 2017-11-07 2019-05-09 Volkswagen Aktiengesellschaft System und Verfahren zum Bestimmen einer Pose einer Augmented-Reality-Brille, System und Verfahren zum Einmessen einer Augmented-Reality-Brille, Verfahren zum Unterstützen einer Posenbestimmung einer Augmented-Reality-Brille und für das Verfahren geeignetes Kraftfahrzeug
WO2019237031A1 (en) 2018-06-07 2019-12-12 Deka Products Limited Partnership System and method for distributed utility service execution
US11989930B2 (en) 2018-10-25 2024-05-21 Beyeonics Surgical Ltd. UI for head mounted display system
US20220066223A1 (en) * 2020-09-01 2022-03-03 XRSpace CO., LTD. Head mounted display and control method thereof
USD995557S1 (en) * 2021-07-22 2023-08-15 Intuit Inc. Display screen with an animated graphical user interface showing a payment slider
US12073020B2 (en) 2022-12-30 2024-08-27 Htc Corporation Head-mounted display, unlocking method and non-transitory computer readable storage medium thereof

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101258436A (zh) * 2005-09-08 2008-09-03 瑞士电信流动电话公司 通信设备、系统和方法
CN102292690A (zh) * 2009-01-22 2011-12-21 阿尔卡特朗讯美国公司 电子数据输入系统
CN102419631A (zh) * 2010-10-15 2012-04-18 微软公司 虚拟内容到现实内容中的融合
CN102566756A (zh) * 2010-12-16 2012-07-11 微软公司 用于扩展现实显示的基于理解力和意图的内容
CN102893293A (zh) * 2010-03-12 2013-01-23 莎法·瓦拉 位置捕获输入设备、系统及其方法
CN103180800A (zh) * 2010-09-20 2013-06-26 寇平公司 使用动作及语音命令的主机应用程序的高级远程控制
CN103392163A (zh) * 2008-10-10 2013-11-13 高通股份有限公司 单相机跟踪器

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5517021A (en) 1993-01-19 1996-05-14 The Research Foundation State University Of New York Apparatus and method for eye tracking interface
WO2000017848A1 (en) 1998-09-22 2000-03-30 Vega Vista, Inc. Intuitive control of portable data displays
US9229230B2 (en) * 2007-02-28 2016-01-05 Science Applications International Corporation System and method for video image registration and/or providing supplemental data in a heads up display
US9798381B2 (en) * 2008-11-21 2017-10-24 London Health Sciences Centre Research Inc. Hands-free pointer system
CN102460349A (zh) * 2009-05-08 2012-05-16 寇平公司 使用运动和语音命令对主机应用进行远程控制
US20130278631A1 (en) * 2010-02-28 2013-10-24 Osterhout Group, Inc. 3d positioning of augmented reality information
US20120242698A1 (en) 2010-02-28 2012-09-27 Osterhout Group, Inc. See-through near-eye display glasses with a multi-segment processor-controlled optical layer
KR20130000401A (ko) * 2010-02-28 2013-01-02 오스터하우트 그룹 인코포레이티드 대화형 머리­장착식 아이피스 상의 지역 광고 컨텐츠
US20120169582A1 (en) * 2011-01-05 2012-07-05 Visteon Global Technologies System ready switch for eye tracking human machine interaction control system
TWI444816B (zh) * 2011-07-25 2014-07-11 Pegatron Corp 可拆卸更換接口模組
US9733789B2 (en) * 2011-08-04 2017-08-15 Eyesight Mobile Technologies Ltd. Interfacing with a device via virtual 3D objects
US8866852B2 (en) * 2011-11-28 2014-10-21 Google Inc. Method and system for input detection
US20130246967A1 (en) 2012-03-15 2013-09-19 Google Inc. Head-Tracked User Interaction with Graphical Interface
US8643951B1 (en) 2012-03-15 2014-02-04 Google Inc. Graphical menu and interaction therewith through a viewing window
US9128522B2 (en) * 2012-04-02 2015-09-08 Google Inc. Wink gesture input for a head-mountable device
US9389420B2 (en) * 2012-06-14 2016-07-12 Qualcomm Incorporated User interface interaction for transparent head-mounted displays
US9996154B2 (en) * 2013-05-09 2018-06-12 Samsung Electronics Co., Ltd. Apparatus and method of controlling display apparatus
KR20150026336A (ko) * 2013-09-02 2015-03-11 엘지전자 주식회사 웨어러블 디바이스 및 그 컨텐트 출력 방법
US9557955B2 (en) * 2014-05-21 2017-01-31 International Business Machines Corporation Sharing of target objects

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101258436A (zh) * 2005-09-08 2008-09-03 瑞士电信流动电话公司 通信设备、系统和方法
CN103392163A (zh) * 2008-10-10 2013-11-13 高通股份有限公司 单相机跟踪器
CN102292690A (zh) * 2009-01-22 2011-12-21 阿尔卡特朗讯美国公司 电子数据输入系统
CN102893293A (zh) * 2010-03-12 2013-01-23 莎法·瓦拉 位置捕获输入设备、系统及其方法
CN103180800A (zh) * 2010-09-20 2013-06-26 寇平公司 使用动作及语音命令的主机应用程序的高级远程控制
CN102419631A (zh) * 2010-10-15 2012-04-18 微软公司 虚拟内容到现实内容中的融合
CN102566756A (zh) * 2010-12-16 2012-07-11 微软公司 用于扩展现实显示的基于理解力和意图的内容

Also Published As

Publication number Publication date
US20170031538A1 (en) 2017-02-02
EP3077867A4 (en) 2016-12-21
WO2015084227A1 (en) 2015-06-11
US10338776B2 (en) 2019-07-02
EP3077867A1 (en) 2016-10-12
EP3077867B1 (en) 2018-02-14
CN105899996A (zh) 2016-08-24

Similar Documents

Publication Publication Date Title
CN105899996B (zh) 光学头戴式显示器、电视入口模块和用于控制图形用户界面的方法
JP7297216B2 (ja) 拡張現実システムのためのタッチフリーインターフェース
US10921896B2 (en) Device interaction in augmented reality
US10120454B2 (en) Gesture recognition control device
CN111405299B (zh) 基于视频流的直播交互方法及其相应的装置
US9870058B2 (en) Control of a real world object user interface
CN105378691B (zh) 移动装置、头戴式显示器及其控制方法
US20170155831A1 (en) Method and electronic apparatus for providing video call
US9335912B2 (en) GUI applications for use with 3D remote controller
US20170139578A1 (en) System and method for 360-degree video navigation
US20150143283A1 (en) Information processing device, display control method, and program
CN110546601B (zh) 信息处理装置、信息处理方法和程序
US20140022159A1 (en) Display apparatus control system and method and apparatus for controlling a plurality of displays
CN114578951B (zh) 显示装置及其控制方法
KR20130105725A (ko) 콘텐츠의 양 손 제어에 기반한 컴퓨터 비전
US20200142495A1 (en) Gesture recognition control device
CN107333047B (zh) 一种拍摄方法、移动终端及计算机可读存储介质
KR102413074B1 (ko) 사용자 단말, 전자 장치 및 이들의 제어 방법
US20150077357A1 (en) Display apparatus and control method thereof
JPWO2013121807A1 (ja) 情報処理装置、情報処理方法およびコンピュータプログラム
KR102655584B1 (ko) 디스플레이 장치 및 디스플레이 장치의 제어 방법
US11190560B2 (en) Sharing computer application activities
WO2019102680A1 (ja) 情報処理装置、情報処理方法、およびプログラム
CN105320398A (zh) 控制显示装置的方法以及远程控制器
JP6021488B2 (ja) 制御装置、制御方法、および制御プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant