CN103959135A - 基于头部角度触发的动作 - Google Patents

基于头部角度触发的动作 Download PDF

Info

Publication number
CN103959135A
CN103959135A CN201280058526.4A CN201280058526A CN103959135A CN 103959135 A CN103959135 A CN 103959135A CN 201280058526 A CN201280058526 A CN 201280058526A CN 103959135 A CN103959135 A CN 103959135A
Authority
CN
China
Prior art keywords
content object
control action
demonstration
hmd
tilted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201280058526.4A
Other languages
English (en)
Other versions
CN103959135B (zh
Inventor
A.J.惠勒
A.考夫曼
L-L.池
M.布朗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN103959135A publication Critical patent/CN103959135A/zh
Application granted granted Critical
Publication of CN103959135B publication Critical patent/CN103959135B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0127Head-up displays characterised by optical features comprising devices increasing the depth of field
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0407Resolution change, inclusive of the use of different resolutions for different screen areas
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/045Zooming at least part of an image, i.e. enlarging it or shrinking it
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/14Solving problems related to the presentation of information to be displayed
    • G09G2340/145Solving problems related to the presentation of information to be displayed related to small screens
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00Specific applications
    • G09G2380/14Electronic books and readers

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

公开了用于向被选内容对象应用至少一个操纵动作的方法和设备。在一个方面中,一种头戴式设备(HMD)系统包括至少一个处理器和具有用户界面逻辑的数据存储装置,该用户界面逻辑可由该至少一个处理器执行来基于接收到的指示HMD被倾斜的第一方向和HMD在第一方向上被倾斜的幅度的数据来向显示的内容对象应用至少一个操纵动作。该至少一个操纵动作被应用到与所指示的HMD在第一方向上被倾斜的幅度相对应的程度。

Description

基于头部角度触发的动作
背景技术
除非本文另外指出,否则本部分中描述的材料并不是本申请中的权利要求的现有技术,并且并不因为被包括在本部分中就被承认为是现有技术。
增强现实一般指的是以额外内容增强的真实世界环境的实时视图。用户可通过使用计算设备来体验增强现实。这种计算设备可被配置为或者通过允许用户直接观看环境或者通过生成并显示环境的实时表示以允许用户间接观看环境,来提供环境的实时视图。
另外,计算设备可被配置为生成额外的内容。额外内容可包括例如用户界面,通过该用户界面用户可与计算设备交互。计算设备可将环境的视图与用户界面(或者其他这种额外内容)相叠覆,以使得用户同时看到环境的视图和用户界面。
发明内容
某些可穿戴计算设备允许了显示内容对象,例如电子邮件收件箱、图片、文档、地图,等等。这种内容对象的其他示例也是存在的。然而,不同用户可具有不同的偏好;从而,显示内容对象的一种方式可能不是对每个用户都是合适的。因此,期望一种向被选内容对象应用一个或多个操纵动作的手段。
本文公开了一种被配置为向被选内容对象应用一个或多个操纵动作的头戴式设备(HMD)。在一个实施例中,HMD系统可包括至少一个处理器和具有用户界面逻辑的数据存储装置,该用户界面逻辑可由该至少一个处理器执行来:(i)接收指示HMD被倾斜的第一方向的数据,(ii)接收指示HMD在第一方向上被倾斜的幅度的数据,以及(iii)基于所指示的第一方向,向显示的内容对象应用至少一个操纵动作。另外,该至少一个操纵动作可被应用到与所指示的HMD在第一方向上被倾斜的幅度相对应的程度。此外,该至少一个操纵动作可包括以下各项中的至少一者:(a)对显示的内容对象进行变焦,(b)滚动显示的内容对象,(c)在显示的内容对象内平移,(d)放大显示的内容对象,(e)缩小显示的内容对象,(f)旋转显示的内容对象,以及(g)在显示一起与一组内容对象相关联的内容对象之间循环。
在另一实施例中,HMD系统可包括至少一个处理器和具有用户界面逻辑的数据存储装置,该用户界面逻辑可由该至少一个处理器执行来:(i)接收指示HMD被倾斜的第一方向的数据,(i)接收指示HMD被倾斜的第二方向的数据,(ii)接收指示HMD在第一方向上被倾斜的幅度的数据,(iii)接收指示HMD在第二方向上被倾斜的幅度的数据,(iv)基于所指示的第一方向,向显示的内容对象应用至少一个第一操纵动作,以及(v)基于所指示的第二方向,向显示的内容对象应用至少一个第二操纵动作。此外,该至少一个第一操纵动作可被应用到与所指示的HMD在第一方向上被倾斜的幅度相对应的程度,并且该至少一个第二操纵动作可被应用到与所指示的HMD的至少一部分在第二方向上被倾斜的幅度相对应的程度。
在另一实施例中,HMD系统可包括至少一个处理器和具有用户界面逻辑的数据存储装置,该用户界面逻辑可由该至少一个处理器执行来:(i)检测头戴式设备(HMD)在第一方向上被倾斜的幅度,作出对于检测到的幅度大于或等于阈值幅度并且检测到的幅度不大于或等于第二阈值幅度的第一判定,(ii)基于第一判定,向显示的内容对象应用第一操纵动作,(iii)作出对于检测到的幅度大于或等于第二阈值幅度的第二判定,以及(iv)基于第二判定,在没有操纵动作的情况下显示该显示的内容对象。此外,该第一操纵动作可被应用到与检测到的HMD在第一方向上被倾斜的幅度相对应的程度。
在另一实施例中,公开了一种非暂态计算机可读介质(CRM)。此CRM上存储有指令,这些指令可由计算设备执行来使得该计算设备执行功能,这些功能可包括:(i)接收指示HMD被倾斜的第一方向的数据,(ii)接收指示HMD的至少一部分在第一方向上被倾斜的幅度的数据,以及(iii)基于所指示的第一方向,向显示的内容对象应用至少一个第一操纵动作。这些功能还可包括将该至少一个操纵动作应用到与所指示的HMD在第一方向上被倾斜的幅度相对应的程度。另外,该至少一个操纵动作可包括以下各项中的至少一者:(a)对显示的内容对象进行变焦,(b)滚动显示的内容对象,(c)在显示的内容对象内平移,(d)放大显示的内容对象,(e)缩小显示的内容对象,(f)旋转显示的内容对象,以及(g)在显示一起与一组内容对象相关联的内容对象之间循环。
最后,公开了一种方法。该方法包括:(i)接收指示头戴式设备(HMD)被倾斜的第一方向的数据,(i)接收指示HMD被倾斜的第二方向的数据,(ii)接收指示HMD在第一方向上被倾斜的幅度的数据,(iii)接收指示HMD在第二方向上被倾斜的幅度的数据,(iv)基于所指示的第一方向,向显示的内容对象应用至少一个第一操纵动作,以及(v)基于所指示的第二方向,向显示的内容对象应用至少一个第二操纵动作。此外,该至少一个第一操纵动作可被应用到与所指示的HMD在第一方向上被倾斜的幅度相对应的程度,并且该至少一个第二操纵动作可被应用到与所指示的HMD的至少一部分在第二方向上被倾斜的幅度相对应的程度。
本领域普通技术人员通过阅读以下详细描述并在适当时参考附图,将清楚这些以及其他方面、优点和替换方案。
附图说明
图1A图示了用于接收、发送和显示数据的示例系统。
图1B图示了图1A所示的系统的替换视图。
图2A图示了用于接收、发送和显示数据的示例系统。
图2B图示了用于接收、发送和显示数据的示例系统。
图3示出了示例计算机网络基础设施的简化框图。
图4示出了描绘示例计算系统的示例组件的简化框图。
图5A示出了示例用户界面的各方面。
图5B示出了在接收与向上运动相对应的运动数据之后的示例用户界面的各方面。
图5C示出了在选择被选内容对象之后的示例用户界面的各方面。
图5D示出了在接收与用户输入相对应的输入数据之后的示例用户界面的各方面。
图6A-6C示出了可穿戴计算设备的穿戴者可使设备倾斜的三个方向。
图7示出了可穿戴计算设备的穿戴者可在一个示例方向上使设备倾斜的若干个幅度。
图8示出了可穿戴计算设备的穿戴者可在另一示例方向上使设备倾斜的若干个幅度。
图9示出了可穿戴计算设备的穿戴者可在另外一个示例方向上使设备倾斜的若干个幅度。
图10根据一个实施例示出了描绘用于向显示的内容对象应用操纵动作的示例方法的流程图。
图11根据一个实施例示出了描绘用于确定是否向显示的内容对象应用操纵动作的示例方法的流程图。
具体实施方式
在以下详细描述中,参考了形成描述的一部分的附图。在图中,相似的符号一般标识相似的组件,除非上下文另有规定。详细描述、附图和权利要求中描述的说明性实施例不欲进行限定。在不脱离本文呈现的主题的精神或范围的情况下,可利用其他实施例,并且可作出其他改变。容易理解,本文概括描述和附图中图示的本公开的各方面可按许多种不同的配置来布置、替换、组合、分离和设计,所有这些在这里都已被设想到。
1.介绍
本文公开了操纵经由可穿戴计算设备显示的对象的各种方式。如上所述,不同用户对于其偏好如何经由这种设备显示对象经常具有不同偏好。因此,提供一种应用某些视觉操纵的机制是有利的。作为示例,这种视觉操纵可包括滚动、旋转和变焦。此外,提供一种用于以高效且方便的方式应用这些视觉操纵的机制也是有利的。
从而,向对象应用视觉操纵的一种方式可涉及在某个方向上倾斜可穿戴计算设备。在一个方向上倾斜设备可触发设备应用一类视觉操纵。另外,在另一方向上倾斜设备可触发设备应用另一种不同的视觉操纵。
另外,将设备倾斜到相对更大的幅度可触发设备相对更快地应用视觉操纵。类似地,将设备倾斜到相对更小的幅度可触发设备相对更慢地应用视觉操纵。
另外,任何倾斜方向可用于触发任何期望的视觉操纵。例如,在两个(或更多个)方向上倾斜设备可触发设备应用两个(或更多个)不同的视觉操纵。可以同时或顺序地应用这些视觉操纵。
虽然以上简要描述了本公开的某些方面,但这只是用于说明的,而不应被理解为是在进行限定。本领域技术人员在阅读了本公开的全部后将清楚额外的特征和功能。
2.示例系统和设备体系结构
图1A图示了用于接收、发送和显示数据的示例系统100。系统100是以可穿戴计算设备的形式示出的。虽然图1A图示了头戴式设备102作为可穿戴计算设备的示例,但可以额外地或替换地使用其他类型的可穿戴计算设备。如图1A所示,头戴式设备102具有包括透镜框架104、106和中央框架支撑108的框架元件、透镜元件110、112以及延伸侧臂114、116。中央框架支撑108和延伸侧臂114、116被配置为分别经由用户的鼻子和耳朵将头戴式设备102固定到用户的脸部。
框架元件104、106和108以及延伸侧臂114、116中的每一个可由塑料和/或金属的实心结构形成,或者可由类似材料的中空结构形成,以允许配线和组件互连在内部按一定路线经过头戴式设备102。其他材料也是可能的。
透镜元件110、112中的每一个中的一个或多个可由能够适当地显示投影的图像或图形的任何材料形成。透镜元件110、112中的每一个也可充分地透明以允许用户看穿透镜元件。结合透镜元件的这两个特征可促进增强现实或抬头显示,其中投影的图像或图形被叠加在用户透过透镜元件110、112感知到的真实世界视图上。
延伸侧臂114、116可各自是分别从透镜框架104、106延伸开的突起物,并且被定位在用户的耳后以将头戴式设备102固定到用户。延伸侧臂114、116还可通过绕着用户的头的后部延伸来将头戴式设备102固定到用户。额外地或替换地,例如,系统100可连接到头戴式头盔结构或附于头戴式头盔结构内。其他可能性也是存在的。
系统100还可包括机载计算系统118、视频相机120、传感器122以及手指可操作触摸板124。机载计算系统118被示为定位在头戴式设备102的延伸侧臂114上;然而,机载计算系统118可设在头戴式设备102的其他部分上或者可被定位成远离头戴式设备102(例如,机载计算系统118可有线或无线地连接到头戴式设备102)。机载计算系统118例如可包括处理器和存储器。机载计算系统118可被配置为接收和分析来自视频相机120、传感器122和手指可操作触摸板124(以及可能来自其他传感设备、用户接口或者这两者)的数据并且生成用于由透镜元件110和112输出的图像。机载计算系统118还可包括扬声器或麦克风以用于用户输入(未示出)。示例计算系统在下文联系图4来进一步描述。
视频相机120被示为定位在头戴式设备102的延伸侧臂114上;然而,视频相机120可设在头戴式设备102的其他部分上。视频相机120可被配置为以各种分辨率或者以不同的帧率捕捉图像。具有小外形参数的视频相机——例如蜂窝电话或网络摄像头中使用的那些——可被包含到系统100的示例实施例中。
另外,虽然图1A图示了一个视频相机120,但可以使用更多视频相机,并且每一个可被配置为捕捉相同的视图,或者捕捉不同的视图。例如,视频相机120可向着前方以捕捉用户感知到的真实世界视图的至少一部分。由视频相机120捕捉到的这个前向图像随后可用于生成增强现实,其中计算机生成的图像看起来与用户感知到的真实世界视图交互。
传感器122被示为在头戴式设备102的延伸侧臂116上;然而,传感器122可定位在头戴式设备102的其他部分上。传感器122例如可包括陀螺仪或加速度计中的一个或多个。传感器122内可包括其他感测设备,或者除了传感器122还可以包括其他感测设备,或者传感器122可执行其他感测功能。
手指可操作触摸板124被示为在头戴式设备102的延伸侧臂114上。然而,手指可操作触摸板124可定位在头戴式设备102的其他部分上。另外,在头戴式设备102上可存在多于一个手指可操作触摸板。手指可操作触摸板124可被用户用来输入命令。手指可操作触摸板124可经由电容感测、电阻感测或表面声波过程或者其他可能方式来感测手指的位置和移动中的至少一者。手指可操作触摸板124可能够感测在与板表面平行或在同一平面内的方向上、在与板表面垂直的方向上或者在这两个方向上的手指移动,并且还可能够感测施加到板表面的压力的水平。手指可操作触摸板124可由一个或多个半透明或透明绝缘层和一个或多个半透明或透明导电层形成。手指可操作触摸板124的边缘可形成为具有凸起的、凹陷的或粗糙的表面,以在用户的手指到达手指可操作触摸板124的边缘或其他区域时向用户提供触觉反馈。如果存在多于一个手指可操作触摸板,则每个手指可操作触摸板可被独立操作,并且可提供不同的功能。
图1B图示了图1A所示的系统100的替换视图。如图1B所示,透镜元件110、112可充当显示元件。头戴式设备102可包括第一投影仪128,该第一投影仪128耦合到延伸侧臂116的内表面并且被配置为将显示130投影到透镜元件112的内表面上。额外地或替换地,第二投影仪132可耦合到延伸侧臂114的内表面并被配置为将显示134投影到透镜元件110的内表面上。
透镜元件110、112可充当光投影系统中的组合器并且可包括涂层,该涂层反射从投影仪128、132投影到其上的光。在一些实施例中,可省略反射涂层(例如,当投影仪128、132是扫描激光设备时)。
在替换实施例中,也可使用其他类型的显示元件。例如,透镜元件110、112本身可包括:诸如电致发光显示器或液晶显示器之类的透明或半透明的矩阵显示器,用于将图像输送到用户的眼睛的一个或多个波导,或者能够将焦点对准的近眼图像输送到用户的其他光学元件。相应的显示驱动器可被部署在框架元件104、106内用于驱动这种矩阵显示器。替换地或额外地,可以用激光或发光二极管(light emitting diode,LED)源和扫描系统来将光栅显示直接绘制到用户的一只或两只眼睛的视网膜上。其他可能性也是存在的。
图2A图示了用于接收、发送和显示数据的示例系统200。系统200是以可穿戴计算设备202的形式示出的。可穿戴计算设备202可包括框架元件和侧臂,例如参考图1A和1B描述的那些。可穿戴计算设备202还可包括机载计算系统204和视频相机206,例如参考图1A和1B描述的那些。视频相机206被示为安装在可穿戴计算设备202的框架上;然而,视频相机206也可安装在其他位置。
如图2A所示,可穿戴计算设备202可包括单个显示器208,该显示器208可耦合到该设备。显示器208可形成在可穿戴计算设备202的透镜元件之一上,例如参考图1A和1B描述的透镜元件,并且显示器208可被配置为将计算机生成的图形覆盖在用户对物理世界的视图中。显示器208被示为设在可穿戴计算设备202的透镜的中心;然而,显示器208可设在其他位置。可经由通过光学波导210耦合到显示器208的计算系统204来控制显示器208。
图2B图示了用于接收、发送和显示数据的示例系统220。系统220是以可穿戴计算设备222的形式示出的。可穿戴计算设备222可包括侧臂223、中央框架支撑224和具有鼻托的鼻架部225。在图2B所示的示例中,中央框架支撑224连接侧臂223。可穿戴计算设备222不包括包含透镜元件的透镜框架。可穿戴计算设备222还可包括机载计算系统226和视频相机228,例如参考图1A和1B描述的那些。
可穿戴计算设备222可包括单个透镜元件230,该透镜元件230可耦合到侧臂223之一或者中央框架支撑224。透镜元件230可包括显示器,例如参考图1A和1B描述的显示器,并且可被配置为将计算机生成的图形覆盖在用户对物理世界的视图上。在一个示例中,单个透镜元件230可耦合到延伸侧臂223的一侧。当可穿戴计算设备222被用户穿戴时,单个透镜元件230可定位在用户眼睛的前方或附近。例如,单个透镜元件230可定位在中央框架支撑224下方,如图2B所示。
图3示出了示例计算机网络基础设施的简化框图。在系统300中,设备310利用通信链路320(例如有线或无线连接)与远程设备330通信。设备310可以是任何类型的能够接收数据并显示与该数据相对应或相关联的信息的设备。例如,设备310可以是抬头显示系统,例如参考图1A-2B描述的头戴式设备102、200或220。
从而,设备310可包括显示系统312,该显示系统312包括处理器314和显示器316。显示器316例如可以是光学透视显示器、光学环顾显示器或视频透视显示器。处理器314可从远程设备330接收数据,并且配置该数据用于显示在显示器316上。处理器314可以是任何类型的处理器,例如微处理器或数字信号处理器。
设备310还可包括机载数据存储装置,例如与处理器314相耦合的存储器318。存储器318例如可存储可被处理器314访问和执行的软件。
远程设备330可以是被配置为向设备310发送数据的任何类型的计算设备或发送器,例如膝上型计算机、移动电话或者平板计算设备,等等。此外,远程设备330可以是任何类型的服务器设备或服务器设备的集群,例如基于云的服务器或基于云的服务器集群。在远程设备330是服务器设备的集群的实施例中,这种服务器设备可通过本地集群网络相连接。在任何情况下,远程设备330和设备310可包含用于使能通信链路320的硬件,例如处理器、发送器、接收器,天线,等等。
在图3中,通信链路320被示为无线连接;然而,也可使用有线连接。例如,通信链路320可以是诸如通用串行总线之类的有线串行总线或者并行总线,或者其他连接。通信链路320也可以是使用例如蓝牙无线电技术、IEEE802.11(包括任何IEEE802.11版本)中描述的通信协议、蜂窝技术(例如GSM、CDMA、UMTS、EV-DO、WiMAX或LTE)或紫蜂技术等等的无线连接。这种有线和/或无线连接中的任一者也可以是专有连接。远程设备330可经由因特网来访问并且可包括与特定的web服务(例如,社交网络、照片共享、地址簿,等等)相关联的计算集群。
如上文联系图1A-2B所述,示例可穿戴计算设备可包括或者可以其他方式通信地耦合到计算系统,例如计算系统118或计算系统204。图4示出了描绘示例计算系统400的示例组件的简化框图。设备310和远程设备330中的一者或两者可采取计算系统400的形式。
计算系统400可包括至少一个处理器402和系统存储器404。在示例实施例中,计算系统400可包括通信地连接处理器402和系统存储器404以及计算系统400的其他组件的系统总线406。取决于期望的配置,处理器402可以是任何类型的处理器,包括但不限于微处理器(microprocessor,μP)、微控制器(microcontroller,μC)、数字信号处理器(digital signal processor,DSP)或者其任何组合。另外,系统存储器404可以是现在已知或以后开发的任何类型的存储器,包括但不限于易失性存储器(例如RAM)、非易失性存储器(例如ROM、闪存,等等)或者其任何组合。
示例计算系统400也可包括各种其他组件。例如,计算系统400包括用于(经由A/V端口414)控制图形显示器410和扬声器412的A/V处理单元408、用于连接到其他计算设备418的一个或多个通信接口416、以及电源420。图形显示器410可被布置为提供由用户界面模块422提供的各种输入区域的视觉描绘。例如,用户界面模块422可被配置为提供用户界面,例如下文联系图5A-5D描述的示例用户界面,并且图形显示器410可被配置为提供该用户界面的视觉描绘。用户界面模块422还可被配置为从一个或多个用户接口设备428接收数据并向其发送数据(或者以其他方式与之兼容)。
此外,计算系统400还可包括一个或多个数据存储设备424,这些数据存储设备424可以是可移除存储设备、不可移除存储设备或者其组合。可移除存储设备和不可移除存储设备的示例包括诸如软盘驱动器和硬盘驱动器(hard-disk drive,HDD)之类的磁盘设备、诸如致密盘(compact disk,CD)驱动器或数字多功能盘(digital versatile disk,DVD)驱动器之类的光盘驱动器、固态驱动器(solid state drive,SSD)、和/或现在已知或以后开发的任何其他存储设备。计算机存储介质可包括以任何方法或技术实现的易失性和非易失性的、可移除和不可移除的介质,用于存储信息,例如计算机可读指令、数据结构、程序模块或其他数据。例如,计算机存储介质可采取以下形式:RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)、或者其他光存储装置、盒式磁带、磁带、磁盘存储装置或其他磁存储设备、或者现在已知或以后开发的可用于存储期望的信息并且可被计算系统400访问的任何其他介质。
根据示例实施例,计算系统400可包括程序指令426,程序指令426被存储在诸如系统存储器404这样的非暂态计算机可读介质中(和/或可能存储在另外的数据存储介质中)并且可被处理器402执行以促进本文描述的各种功能,包括但不限于联系图10和11描述的那些功能。虽然计算系统400的各种组件被示为分布式组件,但应当理解,任何这种组件可根据计算系统的期望配置被物理上集成和/或分布。
3.示例用户界面
图5A-5D示出了示例用户界面500的各方面。用户界面500可由例如上文对于图1A-2B描述的可穿戴计算设备来显示。
用户界面500的示例状态在图5A中示出。图5A所示的示例状态可对应于可穿戴计算设备的第一位置。也就是说,当可穿戴计算设备处于第一位置时,用户界面500可被显示为如图5A所示。在一些实施例中,可穿戴计算设备的第一位置可对应于当可穿戴计算设备的穿戴者在向与地面大体平行的方向看时可穿戴计算设备的位置(例如,不对应于穿戴者向上或向下看的位置)。其他示例也是可能的。
如图所示,用户界面500包括视图区域502。视图区域502的示例边界由虚线框示出。虽然视图区域502被示为具有横向形状(其中视图区域502的宽度大于高度),但在其他实施例中视图区域502可具有纵向或方形形状,或者可具有非矩形形状,例如圆形或椭圆形状。视图区域502也可具有其他形状。
视图区域502可以例如是可穿戴计算设备上的显示器的上、下、左、右边界之间(或包含这些边界)的可观看区域。如图所示,当可穿戴计算设备处于第一位置时,视图区域502是基本上没有(例如完全没有)用户界面元素的,从而使得用户对其真实世界环境的观看是大体上未被干扰的,并且用户的环境中的物体未被模糊。
在一些实施例中,视图区域502可对应于可穿戴计算设备的穿戴者的视野,并且视图区域502之外的区域可对应于穿戴者的视野之外的区域。在其他实施例中,视图区域502可对应于可穿戴计算设备的穿戴者的视野的非周边部分,并且视图区域502之外的区域可对应于穿戴者的视野的周边部分。在另一些其他实施例中,用户界面500可大于可穿戴计算设备的穿戴者的视野或者与可穿戴计算设备的穿戴者的视野基本相同,并且穿戴者的视野可大于视图区域502或者与视图区域502大小基本相同。视图区域502也可采取其他形式。
从而,用户界面500的在视图区域502之外的部分可在可穿戴计算设备的穿戴者的视野之外或者在可穿戴计算设备的穿戴者的视野的周边部分中。例如,如图所示,菜单504可在用户界面500中的用户的视野之外或者在用户的视野的周边部分中。虽然菜单504被示为在视图区域502中不可见,但在一些实施例中菜单504可在视图区域502中部分可见。
在一些实施例中,可穿戴计算设备可被配置为接收与例如可穿戴计算设备向上运动到第一位置上方的位置相对应的运动数据。在这些实施例中,可穿戴计算设备可响应于接收到与向上运动相对应的运动数据而使得视图区域502和菜单504中的一者或两者移动,从而使得菜单504变得在视图区域502中更可见。例如,可穿戴计算设备可使得视图区域502向上移动并且可使得菜单504向下移动。视图区域502和菜单504可移动相同的量,或者可移动不同的量。在一个实施例中,菜单504可比视图区域502移动得更远。作为另一示例,可穿戴计算设备可以仅使得菜单504移动。其他示例也是可能的。
虽然使用了“向上”一词,但要理解向上运动可包含具有移动、倾斜、旋转、移位、滑动或导致大体上向上的运动的其他运动的任何组合的任何运动。另外,在一些实施例中,“向上”可以指在可穿戴计算设备的穿戴者的参照系中的向上运动。其他参照系也是可能的。在可穿戴计算设备是头戴式设备的实施例中,可穿戴计算设备的向上运动也可以是穿戴者的头部的向上运动,例如用户向上看。
与向上运动相对应的运动数据可采取若干形式。例如,运动数据可以是(或者可以得自)从被配置为检测向上运动的一个或多个运动传感器、加速度计和/或陀螺仪——例如上文联系图1A描述的传感器122——接收的数据。在一些实施例中,运动数据可包括与向上运动相对应的二元指示。在其他实施例中,运动数据可包括与向上运动相对应的指示以及向上运动的幅度。运动数据也可采取其他形式。
图5B示出了在接收与向上运动相对应的运动数据之后的示例用户界面的各方面。如图所示,用户界面500包括视图区域502和菜单504。
如上所述,响应于接收到与可穿戴计算设备的向上运动相对应的运动数据,可穿戴计算设备可移动视图区域502和菜单504的一者或两者,以使得菜单504变得在视图区域502中更可见。
如图所示,菜单504在视图区域502中完全可见。然而,在其他实施例中,菜单504可以只有一部分在视图区域502中可见。在一些实施例中,菜单504在视图区域502中可见的幅度可至少部分基于向上运动的幅度。
从而,可响应于接收到与向上运动相对应的数据而移动视图区域502。在一些实施例中,可在向上滚动或平移(panning)运动中移动视图区域502。例如,视图区域502在可穿戴计算设备的穿戴者看来可以好像被映射到以可穿戴计算设备为中心的静态球的内部那样,并且视图区域502的运动可映射到真实世界环境相对于可穿戴计算设备的运动。向上滚动的速度、加速度和/或量值可至少部分基于向上运动的速度、加速度和/或量值。在其他实施例中,视图区域502可通过例如在视野之间跳跃而被移动。在另一些其他实施例中,视图区域502可仅在向上运动超过阈值速度、加速度和/或量值时才被移动。响应于接收到与超过这样的一个或多个阈值的向上运动相对应的数据,视图区域502可平移、滚动、滑动或者跳跃到新的视野。也可以以其他方式移动视图区域502。
虽然以上描述集中于向上运动,但要理解可穿戴计算设备也可被配置为接收与其他方向性运动(例如向下、向左、向右等等)相对应的数据,并且视图区域502可响应于接收到这种数据以与上文联系向上运动所述类似的方式被移动。
如图所示,菜单504包括数个内容对象506。在一些实施例中,内容对象506可被布置成可穿戴计算设备的穿戴者的头部周围上方的环(或部分环)。在其他实施例中,内容对象506可布置成穿戴者的头部上方的圆顶形状。环或圆顶可以以可穿戴计算设备和/或穿戴者的头部上方为中心。在其他实施例中,也可以以其他方式布置内容对象506。
菜单504中的内容对象506的数目可以是固定的或者可以是可变的。在数目可变的实施例中,内容对象506的大小可根据菜单504中的内容对象506的数目而变化。在内容对象506围绕穿戴者的头部以圆形状延伸——就像环(或部分环)那样——的实施例中,在特定的时刻内容对象506中可以只有一些是可见的。为了观看其他内容对象504,可穿戴计算设备的穿戴者可与可穿戴计算设备交互以例如沿着围绕穿戴者的头部的路径(例如顺时针或逆时针)旋转内容对象506。为此,可穿戴计算设备可被配置为通过例如触摸板——例如手指可操作触摸板124——接收指示这种交互的数据。替换地或额外地,可穿戴计算设备也可被配置为通过其他输入设备来接收这种数据。
取决于可穿戴计算设备的应用,内容对象506可采取若干种形式。例如,内容对象506可包括以下各项中的一个或多个:人、联系人、人和/或联系人的群组、日历项、列表、通知、告警、提醒、状态更新、传入的消息、图标、文档、电子数据表、记录的媒体、音频记录、视频记录、照片、数字拼贴、先前保存的状态、网页、应用,以及工具,例如静止相机、视频相机和音频记录器。内容对象506也可采取其他形式。
在内容对象506包括工具的实施例中,工具可位于菜单504的特定区域中,例如位于中央。在一些实施例中,工具可保持在菜单504的中央,即使其他内容对象506旋转,如上所述。工具内容对象也可位于菜单504的其他区域中。
菜单504中包括的特定内容对象506可以是固定的或可变的。例如,内容对象506可由可穿戴计算设备的穿戴者预选择。在另一实施例中,用于每个内容区域的内容对象506可由可穿戴计算设备从一个或多个物理或数字情境自动组装,这些物理或数字情境例如包括:可穿戴计算设备周围的人、地点、和/或物体、地址簿、日历、社交网络web服务或应用、照片共享web服务或应用、搜索历史、和/或其他情境。另外,一些内容对象506可以是固定的,而内容对象506可以是可变的。也可以以其他方式来选择内容对象506。
类似地,显示内容对象506的顺序或配置可以是固定的或可变的。在一个实施例中,内容对象506可由可穿戴计算设备的穿戴者预排序。在另一实施例中,内容对象506可基于例如以下标准被自动排序:每个内容对象506被使用的频率(仅在可穿戴计算设备上或者也在其他情境中)、每个内容对象506最近是什么时候被使用的(仅在可穿戴计算设备上或者也在其他情境中)、内容对象506的显式或隐式重要度或优先级排名、和/或其他标准。
在一些实施例中,可穿戴计算设备还可被配置为从穿戴者接收从菜单504中对内容对象506的选择。为此,用户界面500可包括光标508,其在图5B中被示为十字线,可用于导航到并从菜单504中选择内容对象506。在一些实施例中,光标508可由可穿戴计算设备的穿戴者通过一个或多个预定的运动来控制。从而,可穿戴计算设备还可被配置为接收与该一个或多个预定运动相对应的选择数据。
选择数据可采取若干形式。例如,选择数据可以是(或者可以得自)从被配置为检测一个或多个预定运动的一个或多个运动传感器、加速度计、陀螺仪和/或检测器接收的数据。该一个或多个运动传感器可被包括在可穿戴计算设备中,像传感器122那样,或者可被包括在通信地耦合到可穿戴计算设备的外围设备中。作为另一示例,选择数据可以是(或者可以得自)从触摸板接收的数据,例如上文联系图1A描述的手指可操作触摸板124,或者从包括在可穿戴计算设备中或耦合到可穿戴计算设备并被配置为检测一个或多个预定运动的其他输入设备接收的数据。在一些实施例中,选择数据可采取与预定运动相对应的二元指示的形式。在其他实施例中,选择数据可指示与预定运动相关联的幅度、方向、速度和/或加速度。选择数据也可采取其他形式。
预定运动可采取若干种形式。在一些实施例中,预定运动可以是可穿戴计算设备或外围设备的特定运动或运动序列。在一些实施例中,预定运动可包括被定义为没有或基本上没有运动的一个或多个预定运动,例如在预定的一段时间期间没有或基本上没有运动。在可穿戴计算设备是头戴式设备的实施例中,一个或多个预定运动可涉及穿戴者的头部的预定运动(假定其以相应的方式移动可穿戴计算设备)。替换地或额外地,预定运动可涉及通信地偶合到可穿戴计算设备的外围设备的预定运动。外围设备可类似地可由可穿戴计算设备的穿戴者穿戴,使得外围设备的运动可追随穿戴者的运动,例如穿戴者的手部的运动。此外,替换地或额外地,一个或多个预定运动可以例如是手指可操作触摸板或其他输入设备上的运动。其他预定运动也是可能的。
如图5B所示,可穿戴计算设备的穿戴者已利用一个或多个预定运动将光标508导航到内容对象506。为了选择内容对象506,穿戴者可执行额外的预定运动,例如将光标508保持在内容对象506上方达预定的一段时间。穿戴者也可以以其他方式来选择内容对象506。
一旦选择了内容对象506,可穿戴计算设备就可使得内容对象506作为被选内容对象被显示在视图区域502中。图5C根据一实施例示出了在选择被选内容对象之后的示例用户界面的各方面。
如虚线箭头所指示,内容对象506作为被选内容对象510被显示在视图区域502中。如图所示,被选内容对象510在视图区域502中被显示得比在菜单504中更大且更详细。然而,在其他实施例中,被选内容对象510可在视图区域502中被显示得比菜单504更小或相同大小并且更不详细或者同样详细。在另一些其他实施例中,被选内容对象510可以是某种文档(例如,文本文档或根据可移植文档格式(Portable Document Format,PDF)格式化的文档,等等),而内容对象506可在菜单504中被显示为该文档的图标或文本链接。并且,在一些实施例中,在视图区域502中与被选内容对象510相邻处或附近可示出额外的内容(例如要应用到被选内容对象510的动作、要以被选内容对象510应用的动作或者要基于被选内容对象510应用的动作、与被选内容对象510有关的信息、和/或对于被选内容对象510的可修改的选项、偏好或参数,等等)。
4.示例被选内容对象操纵
一旦在视图区域502中显示了被选内容对象510,可穿戴计算设备的穿戴者就可与被选内容对象510交互并操纵被选内容对象510的显示。例如,由于被选内容对象510被示为电子邮件收件箱,所以穿戴者可能希望阅读电子邮件收件箱中的电子邮件之一。取决于被选内容对象,穿戴者也可以以其他方式与被选内容对象交互(例如,穿戴者可定位与被选内容对象510有关的额外信息、修改、增强和/或删除被选内容对象510,等等)。为此,可穿戴计算设备还可被配置为接收与指示与用户界面500的交互的一个或多个预定运动相对应的输入数据。输入数据可采取上文联系选择数据描述的形式中的任何一种。
图5D根据一实施例示出了在接收与用户输入相对应的输入数据之后的示例用户界面的各方面。如图所示,可穿戴计算设备的穿戴者已将光标508导航到电子邮件收件箱中的特定主题行并选择了该主题行。结果,电子邮件512被显示在视图区域中,从而穿戴者可阅读电子邮件512。取决于例如被选内容对象,穿戴者也可以以其他方式与用户界面500交互。
根据另一实施例,可穿戴计算设备的穿戴者可将设备倾斜到一定程度,并且设备可通过向被选内容对象应用视觉操纵(本文中称为操纵动作)来作出响应。图6A-6C图示了倾斜头戴式设备的示例。具体地,图6A是从穿戴者602后方的视图,并且描绘了穿戴者602可使头戴式设备倾斜的第一方向。如图所示,穿戴者602可通过例如直向上或直向下看来在第一方向上倾斜设备。图6B是穿戴者604后方的视图,并且描绘了穿戴者604可使头戴式设备倾斜的第二方向。如图所示,穿戴者604可例如通过直接向左看或直接向右看来在第二方向上倾斜设备。最后,图6C是穿戴者606后方的视图,并且描绘了穿戴者606可使头戴式设备倾斜的第三方向。如图所示,穿戴者606可通过例如将穿戴者的头部直接侧向穿戴者的一侧肩部来在第三方向上倾斜设备。
如上所述,图6A-6C描绘了穿戴者可将头戴式设备倾斜的三个示例方向。每个方向被描绘为与其他两个方向基本上垂直。然而,在其他实施例中,任何两个方向可不基本上垂直。此外,即使图6A-6C中的每一幅描绘了穿戴者可将头戴式设备倾斜的单个方向,但本领域技术人员将会理解,穿戴者可同时在多于一个方向上倾斜设备。例如,如果穿戴者在向上并向左看,则穿戴者可在两个方向上倾斜设备。在一个或多个方向上倾斜可穿戴计算设备的其他方式也是可能的。
响应于倾斜而应用到被选内容对象的操纵动作取决于例如倾斜的类型和/或被选内容对象的类型可采取若干种形式。在至少一个实施例中,操纵动作可以是放大或减小(即缩小)被选内容对象的显示大小。
在至少一个实施例中,操纵动作可以是在不更改被选内容对象的显示尺寸的情况下拉近或推远被选内容对象。变焦可用于例如当被选内容对象是地图或图片时。例如,在地图上拉近可拉近该地图上的特定部分。在此示例中,变焦可通过例如使在变焦发生前可能未显示的内容对象的方面——例如道路或城镇的名称——进入显示中,来更改地图的显示。变焦的其他示例也是可能的,并且变焦可用于其他被选内容对象。
在至少一个实施例中,操纵动作可以是在被选内容对象上向上、下、左或右平移。平移可用于例如当被选内容对象的显示大小比被选内容对象的完整尺寸稍小时。例如,在被选内容对象是地图的实施例中,平移可移动地图的中心以使得地图的不同部分被显示。平移也可用于其他类型的被选内容对象,例如图片、PDF文档、网页,等等。
在至少一个实施例中,操纵动作可以是顺时针或逆时针旋转被选内容对象。旋转可用在例如被选内容对象是图像或文档时。例如,有时图像是以横向拍摄的,但最初被显示为纵向的内容对象。图像的各方面从而看起来可能是朝着侧面的。旋转以纵向显示的内容对象可能合乎需要地使得内容对象被以横向显示。类似地,旋转以横向显示的内容对象可以合乎需要地使得内容对象被以纵向显示。旋转的其他示例也是可能的,例如将内容对象旋转到横向和纵向之间的中间位置。
在至少一个实施例中,操纵动作可以是滚动被选内容对象。滚动可用在例如当被选内容对象是文本文档、电子数据表、项目的列表(例如电子邮件收件箱中的电子邮件的列表)等等时。例如,在文本文档上向上滚动可将显示的文本行向下移动,这在文档底部使一些行移出显示,并且在文档顶部使一些新行进入显示中。类似地,滚动项目的列表(例如,电子邮件收件箱中的电子邮件的列表)可在一个方向上使一些新项目进入显示中,同时在另一方向上使一些项目移出显示。滚动的其他示例也是可能的。
在至少一个实施例中,操纵动作可以是移动被选内容对象。移动被选内容对象可用在例如当穿戴者期望被选内容对象被显示在用户界面上的不同位置处时。被选内容对象可移动的示例方向是向上、向下、向左和向右。此外,例如,可同时在两个(或更多个)方向上应用移动。
在至少一个实施例中,操纵动作可以是使显示循环到新内容对象。循环可用在例如当被选内容对象与一组其他内容对象相关联时。例如,在被选内容对象是照片簿中的一个图像时,循环可将显示的图像改变成来自该照片簿的另一图像。在被选内容对象是网页的实施例中,循环可将显示的网页改变成先前查看的网页。或者,循环可将被选内容对象改变成来自菜单504的另一内容对象。循环的其他示例也是可能的。
在至少一个实施例中,操纵动作可以是选择。选择可用在例如当光标508悬停在一项目或其他内容对象上方时。在光标悬停在一项目上方的同时进行选择动作可使得该项目被显示在新窗口中。例如,在被选内容是电子邮件收件箱中的电子邮件的列表的实施例中,选择电子邮件之一可使得该电子邮件被打开在新窗口中。选择的其他示例也是可能的。操纵动作的其他示例也是可能的。
可穿戴计算设备可响应于检测到可穿戴计算设备被在至少一个方向上倾斜而向被选内容对象应用上述操纵动作中的任何一个(以及可能本文未描述的其他操纵动作)。在一些实施例中,每个可能的倾斜方向被指派以至少一个操纵动作。
例如,在一个实施例中,可以向图6A中的箭头指示的方向指派向上和向下滚动,可以向图6B中的箭头指示的方向指派向左和向右平移,并且可以向图6C中的箭头指示的方向指派循环。在此实施例中,当穿戴者直向上看时,可穿戴计算设备在被选内容对象上向上滚动,而当穿戴者直向下看时,设备在被选内容对象上向下滚动。类似地,当穿戴者直向左看时,设备在被选内容对象上向左平移,而当穿戴者直向右看时,设备向右平移。并且当穿戴者将穿戴者的头部侧向穿戴者的左肩时,设备向后循环被选内容对象,而当穿戴者将穿戴者的头部侧向穿戴者的右肩时,设备向前循环被选内容对象。在其他实施例中,向图6A-6C中的箭头指示的方向指派不同的操纵动作。一般地,可向可穿戴计算设备的任何运动方向指派任何操纵动作。
在至少一个实施例中,可向图6A-6C中的箭头指示的至少两个不同方向指派相同的操纵动作。例如,在一个实施例中,可向图6A-6B中的箭头指示的方向指派平移。从而,在此实施例中,向上看可使得设备在被选内容对象上向上平移,向下看可使得设备在被选内容对象上向下平移,向左看可使得设备在被选内容对象上向左平移,并且向右看可使得设备在被选内容对象上向右平移。向多个方向指派特定操纵动作的其他组合也是可能的。
在一些实施例中,设备可响应于检测到设备被在两个不同方向上倾斜而应用两个操纵动作。例如,在一些实施例中,当穿戴者向上并向右看时,设备可应用向图6A中的箭头指示的方向指派的操纵动作和向图6B中的箭头指示的方向指派的操纵动作。在一些实施例中,设备可同时应用两个操纵动作,而在其他实施例中,设备首先应用一个操纵动作,并在该操纵动作完成后应用另一操纵动作。
例如,在向图6A中的箭头指示的方向指派滚动并且向图6B中的箭头指示的方向指派变焦的实施例中,穿戴者可通过向上并向右看来引起同时的滚动和变焦。应用两个操纵动作的其他示例也是可能的。另外,在一些实施例中,设备可响应于检测到设备被在三个(或更多个)方向上倾斜而应用三个(或更多个)操纵动作。
在一些实施例中,可在不考虑被选内容对象的类型或格式的情况下向某些方向指派操纵动作并向被选内容对象应用操纵动作。在一个实施例中,例如,可向图6A中的箭头指示的方向指派变焦。从而,当用户向上看时,设备可在被选内容对象上拉近,无论被选内容对象是不是图片、列表、文档等等。
然而,在其他实施例中,向特定方向指派的操纵动作可依据被选内容对象的类型而变化。例如,在一个实施例中,当被选内容对象是图片或地图时,可向图6A中的箭头指示的方向指派平移。并且,当被选内容对象是文本文档或列表时,可向同一方向指派滚动。其他组合也是可能的。另外,可穿戴计算设备可包括使得穿戴者能够对操纵动作到方向和被选内容对象类型的指派进行定制以适应穿戴者的偏好的功能。从而,操纵动作、方向和被选内容对象类型的任何组合都是可能的。
在一些实施例中,可穿戴计算设备可依据设备被倾斜的幅度来将操纵动作应用到不同的程度。例如,设备可响应于检测到设备被以相对较小的角度倾斜而以一个速度应用操纵动作,但可响应于检测到设备被以相对较大的角度倾斜而以更快的速度应用操纵动作。
图7描绘了可穿戴计算设备可在图6A中的箭头指示的方向上被倾斜的示例幅度。在图7中,这种幅度被描绘为六个区域:702、704、706、708、710和712。为了描述,这些区域可被认为是当穿戴者倾斜设备时不移动的参照系。图7还描绘了光标508,为了例示,该光标508可被认为是大体上跟踪穿戴者的头部的位置。从而,当穿戴者直向前看并且基本没有倾斜设备时,光标508出现在区域702中某处,通常接近该区域的中央。当光标508接近区域702的中央时设备的位置有时被称为非倾斜状态或第一状态,而当光标508在区域702的中央之外时设备的位置有时被称为倾斜状态或第二状态。
在图6A中的箭头指示的方向上的稍微倾斜一般将会稍微移动光标508,但将其保持在区域702中。在图7中描绘的实施例中,设备可不应用指派给此方向的操纵动作,直到穿戴者充分地倾斜设备以使得光标508移出区域702为止。例如,当穿戴者充分地倾斜设备以使得光标508移动到区域704中时(例如通过直向上看),设备可将操纵动作应用到第一程度,而当穿戴者充分地倾斜设备以使得光标508移动到区域708中时,设备可将操纵动作应用到更大的第二程度。类似地,当穿戴者在相反方向上充分地倾斜设备到区域706中时(例如通过直向下看),设备可将指派给该方向的操纵动作应用到第一程度,而当穿戴者充分地倾斜设备以使得光标508移动到区域710中时,设备可将操纵动作应用到更大的第二程度。
在图7中描绘的实施例中,在区域708与712之间存在间隙。在此实施例中,当穿戴者倾斜设备以使得光标508移出区域708并移入该间隙中时,设备不应用指派给此方向的操纵动作。取而代之,设备可执行某个其他动作,例如显示菜单504,或者任何其他适当的动作。
作为示例,分隔区域702和704的边界可对应于15度的倾斜,分隔区域704和708的边界可对应于22度的倾斜,并且分隔间隙和区域712的边界可对应于33度的倾斜。类似地,分隔区域702和706的边界可对应于-15度的倾斜,并且分隔区域706和710的边界可对应于-22度的倾斜。然而,本领域技术人员将领会到,图7的描绘只是区域的一个示例配置,并且区域的其他配置也是可能的,例如包括更多或更少的区域、更多或更少的间隙,以及对应于不同倾斜角度的区域边界。
图8描绘了可穿戴计算设备可在图6B中的箭头指示的方向上被倾斜的示例幅度。在图8中,这种幅度被描绘为五个区域:802、804、806、808和810。与图7中描绘的示例实施例很类似,这里的区域可被认为是在穿戴者倾斜设备时不移动的参照系。从而,当穿戴者直向前看并且基本不倾斜设备时,光标508出现在区域802中某处,通常接近该区域的中央。当光标508接近区域802的中央时设备的位置有时被称为非倾斜状态或第一状态,而当光标508在区域802的中央之外时设备的位置有时被称为倾斜状态或第二状态。
在图6B中的箭头指示的方向上的稍微倾斜一般将会稍微移动光标508,但将其保持在区域802中。在图8中描绘的实施例中,设备可不应用指派给此方向的操纵动作,直到穿戴者充分地倾斜设备以使得光标508移出区域802为止。例如,当穿戴者充分地倾斜设备以使得光标508移动到区域804中时,设备可将操纵动作应用到第一程度,而当穿戴者充分地倾斜设备以使得光标508移动到区域808中时,设备可将操纵动作应用到更大的第二程度。类似地,当穿戴者在相反方向上充分地倾斜设备到区域806中时,设备可将指派给该方向的操纵动作应用到第一程度,而当穿戴者充分地倾斜设备以使得光标508移动到区域810中时,设备可将操纵动作应用到更大的第二程度。
作为示例,分隔区域802和804的边界可对应于15度的倾斜,并且分隔区域804和808的边界可对应于22度的倾斜。类似地,分隔区域802和806的边界可对应于-15度的倾斜,并且分隔区域806和810的边界可对应于-22度的倾斜。然而,本领域技术人员将领会到,图8的描绘只是区域的一个示例配置,并且区域的其他配置也是可能的,例如包括更多或更少的区域、更多或更少的间隙,以及对应于不同倾斜角度的区域边界。
图9描绘了可穿戴计算设备可在图6C中的箭头指示的方向上被倾斜的示例幅度。在图9中,这种幅度被描绘为五个区域:902、904、906、908和910。与图7-8中描绘的示例实施例很类似,这里的区域可被认为是在穿戴者倾斜设备时不移动的参照系。为了有额外的参照,光标508被示为包括瞄准线509作为辅助确定此方向上的倾斜的幅度的手段。从而,当穿戴者直向前看并且基本没有倾斜设备时,瞄准线509在区域802中,通常处于基本上垂直的位置(即,区域902的中央)。当瞄准线509接近区域902的中央时设备的位置有时也被称为非倾斜状态或第一状态,而当瞄准线509在区域902的中央之外时设备的位置有时被称为倾斜状态或第二状态。
在图6C中的箭头指示的方向上的稍微倾斜一般将会稍微旋转瞄准线509,但将其保持在区域902中。在图9中描绘的实施例中,设备不应用指派给此方向的操纵动作,直到穿戴者充分地倾斜设备以使得瞄准线509移出区域902为止。例如,当穿戴者充分地倾斜设备以使得瞄准线509移动到区域904中时,设备可将操纵动作应用到第一程度,而当穿戴者充分地倾斜设备以使得瞄准线509移动到区域908中时,设备可将操纵动作应用到更大的第二程度。类似地,当穿戴者在相反方向上充分地倾斜设备并且瞄准线509移动到区域906中时,设备可将指派给该方向的操纵动作应用到第一程度,而当穿戴者充分地倾斜设备以使得瞄准线509移动到区域910中时,设备可将操纵动作应用到更大的第二程度。
作为示例,分隔区域902和904的边界可对应于15度的倾斜,并且分隔区域904和908的边界可对应于22度的倾斜。类似地,分隔区域902和906的边界可对应于-15度的倾斜,并且分隔区域906和910的边界可对应于-22度的倾斜。然而,本领域技术人员将领会到,图9的描绘只是区域的一个示例配置,并且区域的其他配置也是可能的,例如包括更多或更少的区域、更多或更少的间隙,以及对应于不同倾斜角度的区域边界。
设备应用操纵动作的程度对于不同的操纵动作可具有不同的含义。在操纵动作是放大、缩小、变焦或旋转的实施例中,程度可对应于被选内容对象被操纵的速度。从而,在一个示例中,更大程度地应用变焦导致更快速的变焦,而更小程度地应用变焦导致更缓慢的变焦。
在操纵动作是滚动的实施例中,程度可对应于行或项目被多快地位移以及有多少行或项目被位移。从而,在一个示例中,更大程度地应用滚动导致每单位时间有更多项目(例如电子邮件消息)从一个方向进入视图中并且每单位时间有更多项目从另一方向离开视图,而更小程度地应用滚动导致每单位时间有更少项目从一个方向进入视图中并且每单位时间有更少项目从另一方向离开视图。
在操纵动作是循环的实施例中,程度可对应于项目被多快地循环以及有多少项目被循环。从而,在一个示例中,更小程度地应用循环导致一次只循环一个项目,而更大程度地应用循环导致一次循环两个(或更多个)项目。在被选内容对象是比如20个图像的相簿中的第三图像的一个具体实施例中,更大程度的循环将采取显示第五图像(并跳过对第四图像的显示)的形式。循环的其他示例也是可能的,并且将操纵动作应用到更大或更小的程度的其他示例也是可能的。
5.示例方法
图10是描绘用于响应于检测到设备倾斜而向显示的内容对象应用操纵动作的示例方法的流程图1000。该示例方法可包括如块1002、1004和/或1006中的一个或多个所示的一个或多个操作、功能或动作,其中每一个可由可穿戴计算设备——例如上述可穿戴计算设备中的任何一个——的至少一部分执行。
另外,本领域技术人员将会理解,本文描述的流程图图示了示例实施例的某些实现方式的功能和操作。在此,每个流程图的每个块可表示程序代码的模块、片段或部分,其包括可由处理器(例如上文参考系统300描述的处理器314)执行来实现该过程中的特定逻辑功能或步骤的一个或多个指令。程序代码例如可被存储在任何类型的计算机可读介质上(例如计算机可读存储介质或非暂态介质,例如上文参考系统300描述的存储器318或上文参考系统400描述的系统存储器404),例如包括盘或硬盘驱动器的存储设备。此外,每个块可表示被布线来执行该过程中的特定逻辑功能的电路。替换实现方式被包括在本申请的示例实施例的范围内,其中功能可不按所示出或论述的顺序执行,包括基本上同时执行或按相反顺序执行,这取决于所涉及的功能,这是本领域技术人员将会理解的。
如图所示,流程图1000开始于块1002,在这里可穿戴计算设备检测设备被倾斜的第一方向。可穿戴计算设备可采取上文联系图1A-4描述的任何形式。在一些实施例中,可穿戴计算设备可以是HMD。其他可穿戴计算设备也是可能的。
在一些实施例中,可穿戴计算设备至少部分基于从一个或多个传感器——例如传感器122——接收的数据来检测设备被倾斜的方向,如上文联系图1A所述。如上所述,这种传感器,包括传感器122,可采取被配置为检测设备被倾斜的方向以及设备被倾斜的幅度的运动传感器、加速度计和/或陀螺仪的形式。
流程图在块1004继续,在这里可穿戴计算设备确定设备在第一方向上被倾斜的幅度。设备可以以任意数目的方式来确定此倾斜幅度。在一个实施例中,例如,上述传感器中的一个或多个包括指示设备被倾斜的幅度的数据。在另一实施例中,设备确定从上述传感器中的一个或多个接收的电信号的量值来确定倾斜的幅度。确定倾斜的幅度的其他方式也是可能的。
流程图在块1006继续,在这里可穿戴计算设备基于第一方向来向显示的内容对象应用操纵动作。如上所述,示例操纵动作包括(但不限于)变焦、滚动、平移、放大、缩小、旋转、选择和循环。如上文还描述的,在一些实施例中,以与所确定的设备被倾斜的幅度相对应的程度向被选内容对象应用操纵动作。
用于向被选内容对象应用一个或多个操纵动作的其他示例方法也是可能的。在一个具体实施例中,另一示例方法包括由块1002、1004和1006描绘的功能以及额外的功能来检测设备被倾斜的第二方向、确定设备在第二方向上被倾斜的幅度、并且基于检测到的第二方向来向显示的内容对象应用第二操纵动作。在一些实施例中,设备应用第二操纵动作是与设备应用第一操纵动作基本同时发生的。在其他实施例中,设备在应用第一操纵动作之后应用第二操纵动作。
图11是描绘了用于确定是否向显示的内容对象应用操纵动作的另一示例方法的另一流程图1100。如图所示,流程图1100开始于块1102,在这里可穿戴计算设备检测设备被倾斜的幅度。在一些实施例中,设备以与上文联系流程图1000和块1002和1004描述的方式类似的方式来检测此幅度。
流程图在块1104继续,在这里设备确定检测到的幅度是否大于或等于第一阈值幅度。当检测到的幅度不大于或等于第一阈值幅度时,流程图在块1106继续,在这里不响应于检测到设备被在第一方向上倾斜而向显示的内容对象应用操纵动作。
然而,在块1104,当检测到的幅度大于或等于第一阈值幅度时,流程在块1108继续,在这里设备确定检测到的幅度是否大于或等于第二阈值幅度。当检测到的幅度大于或等于第一阈值幅度时,流程图在块1110继续,在这里不响应于检测到设备被在第一方向上倾斜而向显示的内容对象应用操纵动作。
然而,在块1108,当检测到的幅度大于或等于第二阈值幅度时,流程在块1112继续,在这里设备基于第一方向来向显示的内容对象应用操纵动作。如上所述,设备可以以与上文联系流程图1000和块1006描述的方式类似的方式应用操纵动作。
流程图1100描绘的方法可用于利用区域中的间隙,例如图7中的区域708和712之间的间隙。具体而言,一旦设备在第一方向上被倾斜到超出第一阈值,但没有倾斜得远到超过第二阈值,则流程图1100描绘的方法应用操纵动作。然而,一旦设备在第一方向上的倾斜超过第二阈值,则不联系第一方向应用操纵动作。
在一些实施例中,设备可响应于被倾斜到超过第二阈值并进入间隙区域中而应用不想要的操纵动作。例如,返回参考图7,当设备被倾斜以使得光标508移动到间隙区域中时,光标508有可能经过了区域704和708。从而,在穿戴者在将设备倾斜到间隙区域的过程中有可能向被选内容对象应用了操纵动作。因此,在至少一个实施例中,当设备被充分倾斜以使得光标移动到间隙区域中时,设备可以撤消或逆转在设备在被倾斜到间隙区域的过程中向被选内容对象应用的任何操纵动作。撤消或逆转任何应用的操纵动作可包括例如将被选内容对象重设到当设备处于非倾斜状态或第一状态中时其所处的那个状态。撤消或逆转操纵动作的其他示例也是可能的。
6.结论
虽然本文已公开了各种方面和实施例,但本领域技术人员将清楚其他方面和实施例。本文公开的各种方面和实施例是为了例示,而并不打算进行限定,真实的范围和精神由权利要求指示。

Claims (37)

1.一种头戴式设备(HMD)系统,包括:
至少一个处理器;以及
数据存储装置,包括逻辑,该逻辑可由所述至少一个处理器执行来:
接收指示所述HMD被倾斜的第一方向的数据;
接收指示所述HMD在所述第一方向上被倾斜的幅度的数据;以及
基于所指示的第一方向,向显示的内容对象应用至少一个第一操纵动作,
其中,所述至少一个第一操纵动作包括以下各项中的至少一者:(a)对所述显示的内容对象进行变焦,(b)滚动所述显示的内容对象,(c)在所述显示的内容对象内平移,(d)放大所述显示的内容对象,(e)缩小所述显示的内容对象,(f)旋转所述显示的内容对象,以及(g)在显示一起与包括所述显示的内容对象在内的一组内容对象相关联的内容对象之间循环,并且
其中,所述至少一个第一操纵动作被应用到与所指示的所述HMD在所述第一方向上被倾斜的幅度相对应的程度。
2.如权利要求1所述的系统,其中,所指示的所述HMD在所述第一方向上被倾斜的幅度包括以下两个方向之间的角度:(i)所述HMD在第一状态期间面对的方向,以及(ii)所述HMD在第二状态期间面对的方向。
3.如权利要求1所述的系统,其中,所述至少一个第一操纵动作被应用到的程度是应用所述至少一个第一操纵动作的速度。
4.如权利要求1所述的系统,其中,所述显示的内容对象被显示在所述HMD的显示器上显示的图形用户界面内。
5.如权利要求1所述的系统,其中,所述逻辑还可由所述至少一个处理器执行来:
接收指示所述HMD被倾斜的第二方向的数据;
接收指示所述HMD在所述第二方向上被倾斜的幅度的数据;以及
基于所指示的第二方向,向所述显示的内容对象应用至少一个第二操纵动作,
其中,所述至少一个第二操纵动作被应用到与所指示的所述HMD在所述第二方向上被倾斜的幅度相对应的程度。
6.如权利要求5所述的系统,其中,用户界面逻辑还可执行来在向所述显示的内容对象应用所述至少一个第一操纵动作的同时向所述显示的内容对象应用所述至少一个第二操纵动作。
7.如权利要求5所述的系统,其中,所述用户界面逻辑还可执行来在向所述显示的内容对象应用所述至少一个第一操纵动作之后向所述显示的内容对象应用所述至少一个第二操纵动作。
8.一种头戴式设备(HMD)系统,包括:
至少一个处理器;以及
数据存储装置,包括逻辑,该逻辑可由所述至少一个处理器执行来:
接收指示所述HMD被倾斜的第一方向的数据;
接收指示所述HMD被倾斜的第二方向的数据;
接收指示所述HMD在所述第一方向上被倾斜的幅度的数据;
接收指示所述HMD在所述第二方向上被倾斜的幅度的数据;
基于所指示的第一方向,向显示的内容对象应用至少一个第一操纵动作,其中所述至少一个操纵动作被应用到与所指示的所述HMD在所述第一方向上被倾斜的幅度相对应的程度;以及
基于所指示的第二方向,向显示的内容对象应用至少一个第二操纵动作,其中所述至少一个第二操纵动作被应用到与所指示的所述HMD的至少一部分在所述第二方向上被倾斜的幅度相对应的程度。
9.如权利要求8所述的系统,其中,测量到的所述HMD在所述第一方向上被倾斜的幅度包括以下两个方向之间的角度:(i)所述HMD在第一状态期间面对的方向,以及(ii)所述HMD在第二状态期间面对的方向。
10.如权利要求8所述的系统,
其中,所述至少一个第一操纵动作被应用到的程度是应用所述至少一个第一操纵动作的速度,并且
其中,所述至少一个第二操纵动作被应用到的程度是应用所述至少一个第二操纵动作的速度。
11.如权利要求8所述的系统,其中,所述显示的内容对象被显示在所述HMD的显示器上显示的图形用户界面内。
12.如权利要求8所述的系统,其中,所述逻辑还可执行来在向所述显示的内容对象应用所述至少一个第一操纵动作的同时向所述显示的内容对象应用所述至少一个第二操纵动作。
13.如权利要求8所述的系统,其中,所述用户界面逻辑还可执行来在向所述显示的内容对象应用所述至少一个第一操纵动作之后向所述显示的内容对象应用所述至少一个第二操纵动作。
14.如权利要求8所述的系统,其中,所述第一方向和所述第二方向是三个可能方向中的两个方向,其中每个方向与其他两个方向基本垂直。
15.如权利要求8所述的系统,其中,所述至少一个第一操纵动作和所述至少一个第二操纵动作中的每一个包括以下各项中的至少一者:
(a)对所述显示的内容对象进行变焦;
(b)滚动所述显示的内容对象;
(c)在所述显示的内容对象上平移;
(d)放大所述显示的内容对象;
(e)缩小所述显示的内容对象;
(f)旋转所述显示的内容对象;
(g)移动所述显示的内容对象;
(h)从所述显示的内容对象切换到新内容对象来显示;以及
(i)在显示一起与包括所述显示的内容对象在内的一组内容对象相关联的内容对象之间循环。
16.一种头戴式设备(HMD)系统,包括:
至少一个处理器;以及
数据存储装置,包括逻辑,该逻辑可由所述至少一个处理器执行来:
检测所述HMD在第一方向上被倾斜的幅度;
作出对于检测到的幅度大于或等于阈值幅度并且检测到的幅度不大于或等于第二阈值幅度的第一判定;
基于所述第一判定,向显示的内容对象应用第一操纵动作,其中所述第一操纵动作被应用到与检测到的所述HMD在所述第一方向上被倾斜的幅度相对应的程度;
作出对于检测到的幅度大于或等于所述第二阈值幅度的第二判定;以及
基于所述第二判定,在没有操纵动作的情况下显示所述显示的内容对象。
17.如权利要求16所述的系统,其中,检测到的所述HMD在所述第一方向上被倾斜的幅度包括以下两个方向之间的角度:(i)所述HMD在第一状态期间面对的方向,以及(ii)所述HMD在第二状态期间面对的方向。
18.如权利要求16所述的系统,其中,所述第一操纵动作被应用到的程度是应用所述第一操纵动作的速度。
19.如权利要求16所述的系统,其中,所述显示的内容被显示在所述HMD的显示器上显示的图形用户界面内。
20.如权利要求16所述的系统,其中,所述逻辑还可由所述至少一个处理器执行来:
接收指示所述HMD被倾斜的第二方向的数据;
接收指示所述HMD的至少一部分在所述第二方向上被倾斜的幅度的数据;以及
基于所指示的第二方向,向所述显示的内容对象应用第二操纵动作,
其中,所述第二操纵动作被应用到与所指示的所述HMD在所述第二方向上被倾斜的幅度相对应的程度。
21.如权利要求20所述的系统,其中,所述逻辑还可执行来在向所述显示的内容对象应用所述第一操纵动作的同时向所述显示的内容对象应用所述第二操纵动作。
22.如权利要求20所述的系统,其中,所述逻辑还可执行来在向所述显示的内容对象应用所述第一操纵动作之后向所述显示的内容对象应用所述第二操纵动作。
23.如权利要求16所述的系统,其中,所述第一操纵动作包括以下各项中的至少一者:
(a)对所述显示的内容对象进行变焦;
(b)滚动所述显示的内容对象;
(c)在所述显示的内容对象上平移;
(d)放大所述显示的内容对象;
(e)缩小所述显示的内容对象;
(f)旋转所述显示的内容对象;
(g)移动所述显示的内容对象;
(h)从所述显示的内容对象切换到新内容对象来显示;以及
(i)在显示一起与包括所述显示的内容对象在内的一组内容对象相关联的内容对象之间循环。
24.如权利要求16所述的系统,其中,所述逻辑还可执行来基于所述第二判定而撤消应用到所述显示的内容对象的任何操纵动作。
25.一种非暂态计算机可读介质(CRM),其上存储有指令,所述指令可由计算设备执行来使得该计算设备执行功能,所述功能包括:
接收指示所述HMD被倾斜的第一方向的数据;
接收指示所述HMD在所述第一方向上被倾斜的幅度的数据;以及
基于所指示的第一方向,向显示的内容对象应用至少一个第一操纵动作,
其中,所述至少一个第一操纵动作包括以下各项中的至少一者:(a)对所述显示的内容对象进行变焦,(b)滚动所述显示的内容对象,(c)在所述显示的内容对象内平移,(d)放大所述显示的内容对象,(e)缩小所述显示的内容对象,(f)旋转所述显示的内容对象,以及(g)在显示一起与包括所述显示的内容对象在内的一组内容对象相关联的内容对象之间循环,并且
其中,至少一个操纵动作被应用到与所指示的所述HMD的至少一部分在所述第一方向上被倾斜的幅度相对应的程度。
26.如权利要求25所述的CRM,其中,所指示的所述HMD在所述第一方向上被倾斜的幅度包括以下两个方向之间的角度:(i)所述HMD在第一状态期间面对的方向,以及(ii)所述HMD在第二状态期间面对的方向。
27.如权利要求25所述的CRM,其中,所述至少一个第一操纵动作被应用到的程度是应用所述至少一个第一操纵动作的速度。
28.如权利要求25所述的CRM,其中,所述功能还包括:
接收指示所述HMD被倾斜的第二方向的数据;
接收指示所述HMD在所述第二方向上被倾斜的幅度的数据;以及
基于所指示的第二方向,向所述显示的内容对象应用至少一个第二操纵动作,
其中,所述至少一个第二操纵动作被应用到与所指示的所述HMD的至少一部分在所述第二方向上被倾斜的幅度相对应的程度。
29.如权利要求28所述的CRM,其中,所述功能还包括:
与向所述显示的内容对象应用所述至少一个第一操纵动作同时地向所述显示的内容对象应用所述至少一个第二操纵动作。
30.如权利要求28所述的CRM,其中,所述功能还包括:
在向所述显示的内容对象应用所述至少一个第一操纵动作之后向所述显示的内容对象应用所述至少一个第二操纵动作。
31.一种由计算机实现的方法,包括:
接收指示所述HMD被倾斜的第一方向的数据;
接收指示所述HMD被倾斜的第二方向的数据;
接收指示所述HMD在所述第一方向上被倾斜的幅度的数据;
接收指示所述HMD在所述第二方向上被倾斜的幅度的数据;
基于所指示的第一方向,向显示的内容对象应用至少一个第一操纵动作,其中所述至少一个操纵动作被应用到与所指示的所述HMD在所述第一方向上被倾斜的幅度相对应的程度;以及
基于所指示的第二方向,向所述显示的内容对象应用至少一个第二操纵动作,其中所述至少一个第二操纵动作被应用到与所指示的所述HMD的至少一部分在所述第二方向上被倾斜的幅度相对应的程度。
32.如权利要求31所述的方法,其中,测量到的所述HMD在所述第一方向上被倾斜的幅度包括以下两个方向之间的角度:(i)所述HMD在第一状态期间面对的方向,以及(ii)所述HMD在第二状态期间面对的方向。
33.如权利要求31所述的方法,
其中,所述至少一个第一操纵动作被应用到的程度是应用所述至少一个第一操纵动作的速度,并且
其中,所述至少一个第二操纵动作被应用到的程度是应用所述至少一个第二操纵动作的速度。
34.如权利要求31所述的方法,其中,所述显示的内容对象被显示在所述HMD的显示器上显示的图形用户界面内。
35.如权利要求31所述的方法,还包括:
在向所述显示的内容对象应用所述至少一个第一操纵动作的同时向所述显示的内容对象应用所述至少一个第二操纵动作。
36.如权利要求31所述的方法,还包括:
在向所述显示的内容对象应用所述至少一个第一操纵动作之后向所述显示的内容对象应用所述至少一个第二操纵动作。
37.如权利要求31所述的方法,其中,所述至少一个第一操纵动作和所述至少一个第二操纵动作中的每一个包括以下各项中的至少一者:
(a)对所述显示的内容对象进行变焦;
(b)滚动所述显示的内容对象;
(c)在所述显示的内容对象上平移;
(d)放大所述显示的内容对象;
(e)缩小所述显示的内容对象;
(f)旋转所述显示的内容对象;
(g)移动所述显示的内容对象;
(h)从所述显示的内容对象切换到新内容对象来显示;以及
(i)在显示一起与包括所述显示的内容对象在内的一组内容对象相关联的内容对象之间循环。
CN201280058526.4A 2011-11-28 2012-10-03 用于输入检测的方法和系统 Active CN103959135B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/305,500 2011-11-28
US13/305,500 US8866852B2 (en) 2011-11-28 2011-11-28 Method and system for input detection
PCT/US2012/058552 WO2013081723A1 (en) 2011-11-28 2012-10-03 Head-angle-trigger-based action

Publications (2)

Publication Number Publication Date
CN103959135A true CN103959135A (zh) 2014-07-30
CN103959135B CN103959135B (zh) 2017-09-29

Family

ID=48466443

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280058526.4A Active CN103959135B (zh) 2011-11-28 2012-10-03 用于输入检测的方法和系统

Country Status (3)

Country Link
US (1) US8866852B2 (zh)
CN (1) CN103959135B (zh)
WO (1) WO2013081723A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104615241A (zh) * 2015-01-04 2015-05-13 谭希韬 基于头转动的穿戴式眼镜控制方法和系统
CN105046126A (zh) * 2015-05-21 2015-11-11 努比亚技术有限公司 加密方法及电子设备
CN106970697A (zh) * 2016-01-13 2017-07-21 华为技术有限公司 界面交互装置及方法
CN110347239A (zh) * 2018-04-04 2019-10-18 佳能株式会社 电子装置、电子装置的控制方法和计算机可读介质
TWI728956B (zh) * 2014-10-06 2021-06-01 荷蘭商皇家飛利浦有限公司 銜接系統、頭戴式裝置、銜接方法及電腦程式
CN113655927A (zh) * 2021-08-24 2021-11-16 亮风台(上海)信息科技有限公司 一种界面交互方法与设备

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130339859A1 (en) 2012-06-15 2013-12-19 Muzik LLC Interactive networked headphones
FR2998681B1 (fr) * 2012-11-29 2015-01-30 Commissariat Energie Atomique Viseur tete haute a confort de visualisation ameliore
JP2014153645A (ja) * 2013-02-13 2014-08-25 Seiko Epson Corp 画像表示装置および画像表示装置の表示制御方法
CN104246864B (zh) 2013-02-22 2016-06-29 索尼公司 头戴式显示器和图像显示装置
US9829997B2 (en) * 2013-02-22 2017-11-28 Sony Corporation Head-mounted display system, head-mounted display, and head-mounted display control program
US9041741B2 (en) * 2013-03-14 2015-05-26 Qualcomm Incorporated User interface for a head mounted display
US9804745B2 (en) * 2013-06-09 2017-10-31 Apple Inc. Reordering content panes in a stacked tab view
US9710130B2 (en) * 2013-06-12 2017-07-18 Microsoft Technology Licensing, Llc User focus controlled directional user input
KR20150006195A (ko) * 2013-07-08 2015-01-16 엘지전자 주식회사 웨어러블 디바이스 및 그 제어 방법
US9384383B2 (en) * 2013-09-12 2016-07-05 J. Stephen Hudgins Stymieing of facial recognition systems
CN105659200B (zh) 2013-09-18 2019-07-23 英特尔公司 用于显示图形用户界面的方法、设备和系统
US10466858B2 (en) * 2013-12-01 2019-11-05 Upskill, Inc. Systems and methods for interacting with a virtual menu
CN105899996B (zh) * 2013-12-06 2019-04-23 瑞典爱立信有限公司 光学头戴式显示器、电视入口模块和用于控制图形用户界面的方法
US9588343B2 (en) * 2014-01-25 2017-03-07 Sony Interactive Entertainment America Llc Menu navigation in a head-mounted display
KR102391860B1 (ko) * 2014-05-09 2022-04-29 소니그룹주식회사 정보 처리 시스템 및 정보 처리 방법
KR20150135895A (ko) 2014-05-26 2015-12-04 삼성전자주식회사 이미지 처리 방법 및 그 전자 장치
US20150346813A1 (en) * 2014-06-03 2015-12-03 Aaron Michael Vargas Hands free image viewing on head mounted display
KR102227087B1 (ko) * 2014-07-08 2021-03-12 엘지전자 주식회사 글래스 타입 단말기 및 그것의 제어방법
DE102014113686A1 (de) * 2014-09-22 2016-03-24 Carl Zeiss Ag Anzeigevorrichtung, die auf den Kopf eines Benutzers aufsetzbar ist, und Verfahren zum Steuern einer solchen Anzeigevorrichtung
US10660533B2 (en) 2014-09-30 2020-05-26 Rapsodo Pte. Ltd. Remote heart rate monitoring based on imaging for moving subjects
US20160170482A1 (en) * 2014-12-15 2016-06-16 Seiko Epson Corporation Display apparatus, and control method for display apparatus
JP5767386B1 (ja) 2014-12-15 2015-08-19 株式会社コロプラ ヘッドマウントディスプレイシステム、ヘッドマウントディスプレイへ表示するための方法、及びプログラム
US10409464B2 (en) * 2015-03-18 2019-09-10 Microsoft Technology Licensing, Llc Providing a context related view with a wearable apparatus
US9959677B2 (en) * 2015-05-26 2018-05-01 Google Llc Multidimensional graphical method for entering and exiting applications and activities in immersive media
US10437323B2 (en) * 2015-05-31 2019-10-08 Fieldbit Ltd. Controlling a head mounted device
WO2016201452A1 (en) * 2015-06-11 2016-12-15 Shuster Gary Methods of aggregating and collaborating search results
US9652125B2 (en) * 2015-06-18 2017-05-16 Apple Inc. Device, method, and graphical user interface for navigating media content
US10339713B2 (en) * 2015-08-12 2019-07-02 International Business Machines Corporation Marker positioning for augmented reality overlays
US20170092002A1 (en) * 2015-09-30 2017-03-30 Daqri, Llc User interface for augmented reality system
WO2017069324A1 (ko) 2015-10-22 2017-04-27 엘지전자 주식회사 이동단말기 및 그 제어방법
US20190221184A1 (en) * 2016-07-29 2019-07-18 Mitsubishi Electric Corporation Display device, display control device, and display control method
CN107015637B (zh) * 2016-10-27 2020-05-05 阿里巴巴集团控股有限公司 虚拟现实场景下的输入方法和装置
US11507216B2 (en) 2016-12-23 2022-11-22 Realwear, Inc. Customizing user interfaces of binary applications
US10936872B2 (en) 2016-12-23 2021-03-02 Realwear, Inc. Hands-free contextually aware object interaction for wearable display
US10437070B2 (en) 2016-12-23 2019-10-08 Realwear, Inc. Interchangeable optics for a head-mounted display
US11099716B2 (en) 2016-12-23 2021-08-24 Realwear, Inc. Context based content navigation for wearable display
US10393312B2 (en) 2016-12-23 2019-08-27 Realwear, Inc. Articulating components for a head-mounted display
US10620910B2 (en) 2016-12-23 2020-04-14 Realwear, Inc. Hands-free navigation of touch-based operating systems
US20190156792A1 (en) * 2017-01-10 2019-05-23 Shenzhen Royole Technologies Co., Ltd. Method and system for adjusting display content and head-mounted display
GB201702939D0 (en) * 2017-02-23 2017-04-12 Rotem Gal Systems, methods and computer readable storage media for conditioned accelerometer trigger in man-machine interface for virtual reality glasses
GB201708526D0 (en) * 2017-05-28 2017-07-12 Doubix Systems methods and computer readable storage media for parallax gaming on HTML-based website displayed on stereoscopic viewing device
US10489951B2 (en) 2017-09-29 2019-11-26 Qualcomm Incorporated Display of a live scene and auxiliary object
US20190385372A1 (en) * 2018-06-15 2019-12-19 Microsoft Technology Licensing, Llc Positioning a virtual reality passthrough region at a known distance
US10885689B2 (en) * 2018-07-06 2021-01-05 General Electric Company System and method for augmented reality overlay
MX2022003336A (es) * 2019-09-20 2022-05-06 Interdigital Ce Patent Holdings Sas Dispositivo y metodo para la interaccion manual de usuario en entornos de realidad virtual (vr) y realidad aumentada (ar).
US20230195214A1 (en) * 2021-12-17 2023-06-22 Lenovo (Singapore) Pte. Ltd. Presentation of electronic content according to device and head orientation

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN2779435Y (zh) * 2005-03-28 2006-05-10 宝陆科技股份有限公司 头戴式显示器调整结构
US20080276196A1 (en) * 2007-05-04 2008-11-06 Apple Inc. Automatically adjusting media display in a personal display system
WO2010084724A1 (ja) * 2009-01-21 2010-07-29 株式会社ニコン 画像処理装置、プログラム、画像処理方法、記録方法および記録媒体
US20100259471A1 (en) * 2007-11-16 2010-10-14 Nikon Corporation Control device, head-mount display device, program, and control method

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5579026A (en) * 1993-05-14 1996-11-26 Olympus Optical Co., Ltd. Image display apparatus of head mounted type
US6061064A (en) 1993-08-31 2000-05-09 Sun Microsystems, Inc. System and method for providing and using a computer user interface with a view space having discrete portions
US6388638B2 (en) * 1994-10-28 2002-05-14 Canon Kabushiki Kaisha Display apparatus and its control method
JPH08202281A (ja) 1995-01-30 1996-08-09 Olympus Optical Co Ltd 頭部装着型映像表示装置システム
US5905525A (en) * 1995-07-13 1999-05-18 Minolta Co., Ltd. Image display apparatus having a display controlled by user's head movement
US6603491B2 (en) 2000-05-26 2003-08-05 Jerome H. Lemelson System and methods for controlling automatic scrolling of information on a display or screen
WO2005043218A1 (ja) * 2003-10-30 2005-05-12 Brother Kogyo Kabushiki Kaisha 画像表示装置
US20070057911A1 (en) 2005-09-12 2007-03-15 Sina Fateh System and method for wireless network content conversion for intuitively controlled portable displays
JP2008096868A (ja) * 2006-10-16 2008-04-24 Sony Corp 撮像表示装置、撮像表示方法
JP2009122476A (ja) 2007-11-16 2009-06-04 Nikon Corp 制御装置、ヘッドマウントディスプレイ装置、プログラム及び制御方法
JP2010062815A (ja) 2008-09-03 2010-03-18 Nikon Corp 制御装置及びヘッドマウントディスプレイ装置
JP5125779B2 (ja) 2008-06-04 2013-01-23 株式会社ニコン ヘッドマウントディスプレイ装置
JP2010205214A (ja) 2009-03-06 2010-09-16 Nikon Corp 制御装置及びヘッドマウントディスプレイ装置
JP2013521576A (ja) 2010-02-28 2013-06-10 オスターハウト グループ インコーポレイテッド 対話式ヘッド取付け型アイピース上での地域広告コンテンツ

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN2779435Y (zh) * 2005-03-28 2006-05-10 宝陆科技股份有限公司 头戴式显示器调整结构
US20080276196A1 (en) * 2007-05-04 2008-11-06 Apple Inc. Automatically adjusting media display in a personal display system
US20100259471A1 (en) * 2007-11-16 2010-10-14 Nikon Corporation Control device, head-mount display device, program, and control method
WO2010084724A1 (ja) * 2009-01-21 2010-07-29 株式会社ニコン 画像処理装置、プログラム、画像処理方法、記録方法および記録媒体

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI728956B (zh) * 2014-10-06 2021-06-01 荷蘭商皇家飛利浦有限公司 銜接系統、頭戴式裝置、銜接方法及電腦程式
CN104615241A (zh) * 2015-01-04 2015-05-13 谭希韬 基于头转动的穿戴式眼镜控制方法和系统
CN104615241B (zh) * 2015-01-04 2017-08-25 谭希韬 基于头转动的穿戴式眼镜控制方法和系统
CN105046126A (zh) * 2015-05-21 2015-11-11 努比亚技术有限公司 加密方法及电子设备
CN105046126B (zh) * 2015-05-21 2018-11-16 努比亚技术有限公司 加密方法及电子设备
CN106970697A (zh) * 2016-01-13 2017-07-21 华为技术有限公司 界面交互装置及方法
CN106970697B (zh) * 2016-01-13 2020-09-08 华为技术有限公司 界面交互装置及方法
US10860092B2 (en) 2016-01-13 2020-12-08 Huawei Technologies Co., Ltd. Interface interaction apparatus and method
US11460916B2 (en) 2016-01-13 2022-10-04 Huawei Technologies Co., Ltd. Interface interaction apparatus and method
CN110347239A (zh) * 2018-04-04 2019-10-18 佳能株式会社 电子装置、电子装置的控制方法和计算机可读介质
CN113655927A (zh) * 2021-08-24 2021-11-16 亮风台(上海)信息科技有限公司 一种界面交互方法与设备
CN113655927B (zh) * 2021-08-24 2024-04-26 亮风台(上海)信息科技有限公司 一种界面交互方法与设备

Also Published As

Publication number Publication date
US8866852B2 (en) 2014-10-21
WO2013081723A1 (en) 2013-06-06
CN103959135B (zh) 2017-09-29
US20130135353A1 (en) 2013-05-30

Similar Documents

Publication Publication Date Title
CN103959135A (zh) 基于头部角度触发的动作
US10860113B2 (en) Augmented reality head gesture recognition systems
US20180348988A1 (en) Approaches for three-dimensional object display
KR102038639B1 (ko) 증강 현실 및/또는 가상 현실에서의 터치 스크린 호버 검출
US9798443B1 (en) Approaches for seamlessly launching applications
US10592064B2 (en) Approaches for three-dimensional object display used in content navigation
KR102049132B1 (ko) 증강 현실 광 가이드 디스플레이
EP3047363B1 (en) Approaches for three-dimensional object display
US9880640B2 (en) Multi-dimensional interface
EP2831658B1 (en) Light guide display for a mobile device
US9483113B1 (en) Providing user input to a computing device with an eye closure
CN104205037B (zh) 用于光导显示和视野的装置
US9842571B2 (en) Context awareness-based screen scroll method, machine-readable storage medium and terminal therefor
US8788977B2 (en) Movement recognition as input mechanism
CN104081256A (zh) 具有可调整的边界的图形界面
KR102391860B1 (ko) 정보 처리 시스템 및 정보 처리 방법
US20150082145A1 (en) Approaches for three-dimensional object display
US20130176202A1 (en) Menu selection using tangible interaction with mobile devices
US20170160882A1 (en) Electronic apparatus and controlling method thereof
US9665249B1 (en) Approaches for controlling a computing device based on head movement
US10585485B1 (en) Controlling content zoom level based on user head movement
US9507429B1 (en) Obscure cameras as input
US9109921B1 (en) Contextual based navigation element
US10867445B1 (en) Content segmentation and navigation

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: American California

Patentee after: Google limited liability company

Address before: American California

Patentee before: Google Inc.

CP01 Change in the name or title of a patent holder