CN107608520A - 具有可调整的边界的图形界面 - Google Patents

具有可调整的边界的图形界面 Download PDF

Info

Publication number
CN107608520A
CN107608520A CN201710891777.5A CN201710891777A CN107608520A CN 107608520 A CN107608520 A CN 107608520A CN 201710891777 A CN201710891777 A CN 201710891777A CN 107608520 A CN107608520 A CN 107608520A
Authority
CN
China
Prior art keywords
navigation area
translational speed
graphical interfaces
viewing port
predetermined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710891777.5A
Other languages
English (en)
Other versions
CN107608520B (zh
Inventor
A.维勒
L-Y.迟
S.索伦
H.拉福尔
N.帕特尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN107608520A publication Critical patent/CN107608520A/zh
Application granted granted Critical
Publication of CN107608520B publication Critical patent/CN107608520B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本文公开了涉及图形界面的导航的方法和系统。方法包括:使得可头戴显示器(HMD)的图形显示器提供图形界面,该图形界面包括:(i)包括感兴趣部分和不感兴趣的另一部分的图形界面区域;(ii)占据图形界面区域的一部分,并且对应于图形界面区域的感兴趣部分的可导航区域;以及(iii)占据可导航区域的一部分的观看端口;随后接收指示HMD的移动的头部移动数据;基于头部移动数据使得观看端口以一移动速度相对于可导航区域朝向可导航区域的边界移动;确定移动速度超过预定移动速度阈值;以及至少基于对移动速度超过预定移动速度阈值的确定,移动可导航区域和观看端口两者,使得可导航区域的边界与观看端口的间距保持在预定差值。

Description

具有可调整的边界的图形界面
本申请是国际申请日为2012年11月27日、中国申请号为201280068560.X、发明名称为“具有可调整的边界的图形界面”的发明专利申请的分案申请。
相关申请的交叉引用
本申请要求于2011年11月30日递交的美国专利申请第13/307,168号的优先权,这里通过引用将该美国专利申请的内容完全并入以用于所有目的。
背景技术
除非本文另外指出,否则本部分中描述的材料并不是本申请中的权利要求的现有技术,并且并不因为被包括在本部分中就被承认为是现有技术。
诸如个人计算机、膝上型计算机、平板计算机、蜂窝电话和无数其它类型的具备联网能力的设备之类的计算设备在现代生活的许多方面中正越来越普遍。随着时间的流逝,这些设备向用户提供信息的方式正变得更智能、更高效、更直观和/或不那么突兀。
此外,计算硬件、外设以及传感器、检测器及图像和音频处理器的微型化趋势以及其它技术已帮助打开了一个有时被称为“可穿戴计算”(wearable computing)的领域。尤其,在视觉处理和制作的领域中,已经可以实现可穿戴显示器,所述可穿戴显示器将非常小的图像显示元件放置得足够靠近穿戴者的(或用户的)眼睛(一眼或两眼),使得显示的图像填满或几乎填满穿戴者的视野,并且显现为普通大小的图像,比如可能在传统的图像显示设备上显示的那种。这种技术可被称为“近眼显示器”(near-eye display)。
近眼显示器是具有显示器的可穿戴计算机的基本组件,有时也被称为“头戴式显示器”(head-mounted display,HMD)。近眼显示器的涌现出的和预期的使用可有利地提供对可穿戴计算机的无缝使用。然而,由于近眼显示器的有限尺寸,可出现若干的挑战,尤其当观看、搜索和/或浏览不能一次在显示器内完全观看的图形界面时则更是如此。近眼显示器的这种有限尺寸可使得可穿戴计算机的一些使用潜在地繁冗。因此,期望有改进。
发明内容
本文描述的系统和方法可帮助提供与不能一次在显示器内完全观看的图形界面的更方便、高效和/或直观的交互。在一个示例实施例中,提供了一种系统。该系统可包括:(1)至少一个处理器;(2)非暂态计算机可读介质;以及(3)存储在非暂态计算机可读介质上并且可被至少一个处理器运行来进行以下操作的程序指令:(a)使得头戴式显示器(HMD)提供图形界面,该图形界面包括(i)具有观看端口方位(orientation)的观看端口和(ii)具有至少一个边界的至少一个可导航区域,该至少一个边界具有第一边界方位;(b)接收指示观看端口朝着至少一个边界的移动的输入数据;(c)判定观看端口方位在从第一边界方位起的预定阈值距离内;以及(d)至少基于对观看端口方位在从第一边界方位起的预定阈值距离内的判定,将第一边界方位从第一边界方位调整到第二边界方位。
一种示例实施例可涉及一种可穿戴计算系统,例如HMD,其连续地收集关于用户的身体移动的信息(例如经由诸如加速度计、陀螺仪和其它输入设备之类的传感器),并且作为响应提供显示图形界面的可导航区域的一部分的观看端口。这种实施例可包括具有丰富的传感器来紧密地跟踪用户的身体移动的HMD。例如,一种实施例可将整个计算系统包括在HMD本身内和/或可与用于跟踪这种身体移动的其它计算机系统联网。其它示例和变化也是可能的,其中的一些在本文有论述。
在另一方面中,提供了一种非暂态计算机可读介质。该非暂态计算机可读介质可包括指令,所述指令包括:(1)用于使得头戴式显示器(HMD)提供图形界面的指令,该图形界面包括(i)具有观看端口方位的观看端口和(ii)具有至少一个边界的至少一个可导航区域,该至少一个边界具有第一边界方位;(2)用于接收指示观看端口朝着至少一个边界的移动的输入数据的指令;(3)用于判定观看端口方位在从第一边界方位起的预定阈值距离内的指令;以及(4)用于至少基于对观看端口方位在从第一边界方位起的预定阈值距离内的判定,将第一边界方位从第一边界方位调整到第二边界方位的指令。
在又一方面中,提供了一种由计算机实现的方法。该方法可包括:(1)使得头戴式显示器(HMD)提供图形界面,该图形界面包括(i)具有观看端口方位的观看端口和(ii)具有至少一个边界的至少一个可导航区域,该至少一个边界具有第一边界方位;(2)接收指示观看端口朝着至少一个边界的移动的输入数据;(3)判定观看端口方位在从第一边界方位起的预定阈值距离内;以及(4)至少基于对观看端口方位在从第一边界方位起的预定阈值距离内的判定,将第一边界方位从第一边界方位调整到第二边界方位。
在又一方面中,提供了一种系统,该系统包括:非暂态计算机可读介质;以及程序指令,其存储在非暂态计算机可读介质上且可由至少一个处理器执行来:使得可头戴显示器(HMD)的图形显示器提供图形界面,该图形界面包括:(i)包括感兴趣部分和不感兴趣的另一部分的图形界面区域;(ii)可导航区域,该可导航区域占据图形界面区域的一部分,并且对应于图形界面区域的感兴趣部分;以及(iii)观看端口,该观看端口占据可导航区域的一部分,其中,起初,可导航区域固定在图形界面区域内,并且观看端口在可导航区域内可移动,并且其中,观看端口对应于图形显示器提供的观看区域,使得可导航区域的一部分和图形界面区域的较大部分在图形显示器中提供的可观看区域的外面;随后接收指示HMD的移动的头部移动数据;基于头部移动数据使得观看端口以一移动速度相对于可导航区域朝向可导航区域的边界移动;确定移动速度超过预定移动速度阈值;以及至少基于对移动速度超过预定移动速度阈值的确定,移动图形界面区域内的可导航区域和观看端口两者,使得可导航区域的边界与观看端口的间距保持在预定差值。
在又一方面中,提供了一种非暂态计算机可读介质,其中存储有指令,指令在由计算设备执行时使得计算设备执行功能,包括:使得可头戴显示器(HMD)的图形显示器提供图形界面,该图形界面包括:(i)包括感兴趣部分和不感兴趣的另一部分的图形界面区域;(ii)可导航区域,该可导航区域占据图形界面区域的一部分,并且对应于图形界面区域的感兴趣部分;以及(iii)观看端口,该观看端口占据可导航区域的一部分,其中,起初,可导航区域固定在图形界面区域内,并且观看端口在可导航区域内可移动,并且其中,观看端口对应于图形显示器中提供的视场,使得可导航区域的一部分和图形界面区域的较大部分在图形显示器中提供的视场的外面;随后接收指示HMD的移动的头部移动数据;基于头部移动数据使得观看端口以一移动速度相对于可导航区域朝向可导航区域的边界移动;确定移动速度超过预定移动速度阈值;以及至少基于对移动速度超过预定移动速度阈值的确定,移动图形界面区域内的可导航区域和观看端口两者,使得可导航区域的边界与观看端口的间距保持在预定差值。
在又一方面中,提供了一种方法,该方法包括:使得可头戴显示器(HMD)的图形显示器提供图形界面,该图形界面包括:(i)包括感兴趣部分和不感兴趣的另一部分的图形界面区域;(ii)可导航区域,该可导航区域占据图形界面区域的一部分,并且对应于图形界面区域的感兴趣部分;以及(iii)观看端口,该观看端口占据可导航区域的一部分,其中,起初,可导航区域固定在图形界面区域内,并且观看端口在可导航区域内可移动,并且其中,观看端口对应于图形显示器中提供的视场,使得可导航区域的一部分和图形界面区域的较大部分在图形显示器中提供的视场的外面;随后接收指示HMD的移动的头部移动数据;基于头部移动数据使得观看端口以一移动速度相对于可导航区域朝向可导航区域的边界移动;确定移动速度超过预定移动速度阈值;以及至少基于对移动速度超过预定移动速度阈值的确定,移动图形界面区域内的可导航区域和观看端口两者,使得可导航区域的边界与观看端口的间距保持在预定差值。
本领域普通技术人员通过阅读以下详细描述并在适当时参考附图,将清楚这些以及其它方面、优点和替换方案。
附图说明
图1A示出了用于接收、发送和显示数据的示例系统。
图1B示出了图1A中所图示的系统的替换视图。
图2A示出了用于接收、发送和显示数据的示例系统。
图2B示出了用于接收、发送和显示数据的示例系统。
图3示出了描绘用于调整边界方位的示例方法的流程图。
图4A示出了示例的可移动头戴式显示器(HMD)。
图4B示出了图4A的示例HMD和示例观看端口。
图4C示出了图4A的示例HMD和示例可导航区域。
图5示出了图4A-4C的示例HMD和可导航区域内的观看端口的线状表示。
图6示出了图形界面的多种示例可导航区域内的观看端口。
图7示出了图形界面内的具有多种方位的示例可导航区域的观看端口。
图8示出了图形界面内的具有多种方位的示例可导航区域的另一观看端口。
图9示出了图形界面的多种额外示例可导航区域内的观看端口。
图10示出了示例计算机网络基础设施的简化框图。
图11示出了描绘示例计算系统的示例组件的简化框图。
图12A示出了示例用户界面的各方面。
图12B示出了在接收与向上移动相对应的移动数据之后的示例用户界面的各方面。
图12C示出了在选择被选内容对象之后的示例用户界面的各方面。
图12D示出了在接收与用户输入相对应的输入数据之后的示例用户界面的各方面。
具体实施方式
在以下详细描述中,参考了形成描述的一部分的附图。在图中,相似的符号一般标识相似的组件,除非上下文另有规定。详细描述、附图和权利要求中描述的说明性实施例并不意味着是限制性的。在不脱离本文呈现的主题的精神或范围的情况下,可利用其它实施例,并且可作出其它改变。将容易理解,本文概括描述和附图中图示的本公开的各方面可按许多种不同的配置来布置、替换、组合、分离和设计,所有这些在本文都已被设想到。
1.概述
示例实施例涉及一种可穿戴计算机,该可穿戴计算机可被配置为接收来自用户的头部和/或眼睛移动的输入数据并且作为响应控制图形界面的可导航区域(navigablearea)内的观看端口(view port)的位置(方位)。观看端口、可导航区域和/或图形界面可被显示在图形显示器(例如,头戴式显示器(HMD))上。观看端口可被配置为显示可导航区域的仅一部分并且响应于某些姿势(例如,头部和/或眼睛的移动)而在可导航区域内悬停(hover)或平移(pan)。在这种情况下,示例观看端口可向HMD的穿戴者提供透过窗口(即,观看端口)看到图形界面的可导航区域的一部分中的感受。
可导航区域可具有一个或多个边界,所述一个或多个边界限定或以其它方式影响用户如何经由观看端口与图形界面交互。例如,考虑被用户穿戴并从而可在真实空间中360度旋转(例如通过用户转动其头部和/或身体)的HMD。虽然该HMD可在真实空间中旋转整个360度,但可能有这样的情况,即,在给定的实现方式中,HMD实现的图形界面的可导航区域只是180度的。这种实现方式在给定如下情形的情况下可能是合乎逻辑的:用户静止并且能够(相对舒适地)向左90度和向右90度地移动其头部。换言之,用户只要通过向左和向右移动其头部就可在整个180度可导航区域中平移观看端口。
然而,考虑如下情况:用户(i)向左或向右旋转其头部大于90度,或者(ii)旋转其身体,同时向左或向右旋转其头部至少90度。在这样的情况下,观看端口可延伸到超过360度图形界面的180度可导航区域。如果180度可导航区域被配置为包含感兴趣的内容(并且图形界面的另180度例如不包含任何感兴趣的内容),则可能不希望观看端口移动到180度可导航区域之外。
这种情形可例如出现在观看端口接近可导航区域的左边界并且随后HMD的用户向左转弯时。在此实例中,用户可自然地进一步向左转动其身体和/或头部,从而有可能无意地(并且不合需要地)使得观看端口移动到可导航区域之外。
然而,根据本文的公开,可导航区域可被配置为具有边界,所述边界当被观看端口接近或接触时,使得可导航区域基于观看端口的位置和/或移动在图形界面内重定位。这样,图形界面可被配置成使得观看端口不会不合需要地移动到超出可导航区域。换言之,在用户转弯的示例的情境中,可以使得可导航区域随着用户(和观看端口)一起“转弯”。
应当理解,以上示例是示例实施例,是为了说明而提供的,并且只是示例实施例的许多可能应用中的一种。
2.示例可穿戴计算设备
图1A图示了用于接收、发送和显示数据的示例系统100。系统100是以可穿戴计算设备的形式示出的。虽然图1A图示了头戴式设备102作为可穿戴计算设备的示例,但可以额外地或替换地使用其它类型的可穿戴计算设备。如图1A中所图示的,头戴式设备102具有包括透镜框架104、106和中央框架支撑108的框架元件、透镜元件110、112以及延伸侧臂114、116。中央框架支撑108和延伸侧臂114、116被配置为分别经由用户的鼻子和耳朵将头戴式设备102固定到用户的脸部。
框架元件104、106和108以及延伸侧臂114、116中的每一个可由塑料和/或金属的实心结构形成,或者可由类似材料的中空结构形成,以允许配线和组件互连在内部按一定路线经过头戴式设备102。其它材料也可以是可能的。
透镜元件110、112中的每一个中的一个或多个可由能够适当地显示投影的图像或图形的任何材料形成。透镜元件110、112中的每一个也可充分地透明以允许用户看穿透镜元件。结合透镜元件的这两个特征可促进增强现实或抬头显示,其中投影的图像或图形被叠加在用户透过透镜元件110、112感知到的真实世界视图上。
延伸侧臂114、116可各自是分别从透镜框架104、106延伸开的突起物,并且可被定位在用户的耳后以将头戴式设备102固定到用户。延伸侧臂114、116还可通过绕着用户的头的后部延伸来将头戴式设备102固定到用户。额外地或替换地,例如,系统100可连接到头戴式头盔结构或附于头戴式头盔结构内。其它可能性也是存在的。
系统100还可包括机载计算系统118、视频相机120、传感器122以及手指可操作触摸板124。机载计算系统118被示为定位在头戴式设备102的延伸侧臂114上;然而,机载计算系统118可设在头戴式设备102的其它部分上或者可被定位成远离头戴式设备102(例如,机载计算系统118可有线地连接或无线地连接到头戴式设备102)。机载计算系统118例如可包括处理器和存储器。机载计算系统118可被配置为接收和分析来自视频相机120、传感器122和手指可操作触摸板124(以及可能来自其它传感设备、用户界面或者这两者)的数据并且生成用于由透镜元件110和112输出的图像。机载计算系统118可额外包括扬声器或麦克风以用于用户输入(未示出)。示例计算系统在下文联系图11来进一步描述。
视频相机120被示为定位在头戴式设备102的延伸侧臂114上;然而,视频相机120可设在头戴式设备102的其它部分上。视频相机120可被配置为以各种分辨率或者以不同的帧速率捕捉图像。例如,具有小外形参数的视频相机——例如蜂窝电话或网络摄像头中使用的那些——可被包含到系统100的示例实施例中。
另外,虽然图1A图示了一个视频相机120,但可以使用更多视频相机,并且每一个可被配置为捕捉相同的视图,或者捕捉不同的视图。例如,视频相机120可向着前方以捕捉用户感知到的真实世界视图的至少一部分。由视频相机120捕捉到的这个前向图像随后可用于生成增强现实,其中计算机生成的图像看起来与用户感知到的真实世界视图交互。
传感器122被示为在头戴式设备102的延伸侧臂116上;然而,传感器122可定位在头戴式设备102的其它部分上。传感器122例如可包括陀螺仪或加速度计中的一个或多个。传感器122内可包括其它感测设备,或者除了传感器122还可以包括其它感测设备,或者传感器122可执行其它感测功能。
手指可操作触摸板124被示为在头戴式设备102的延伸侧臂114上。然而,手指可操作触摸板124可定位在头戴式设备102的其它部分上。另外,在头戴式设备102上可存在多于一个手指可操作触摸板。手指可操作触摸板124可被用户用来输入命令。手指可操作触摸板124可经由电容感测、电阻感测或表面声波过程等等来感测手指的位置和移动中的至少一者。手指可操作触摸板124可能够感测在与板表面平行或在同一平面内的方向上、在与板表面垂直的方向上或者在这两个方向上的手指移动,并且还可能够感测施加到板表面的压力的水平。手指可操作触摸板124可由一个或多个半透明或透明绝缘层和一个或多个半透明或透明导电层形成。手指可操作触摸板124的边缘可被形成为具有凸起的、凹陷的或粗糙的表面,以便在用户的手指到达手指可操作触摸板124的边缘或其它区域时向用户提供触觉反馈。如果存在多于一个手指可操作触摸板,则每个手指可操作触摸板可被独立操作,并且可提供不同的功能。
图1B图示了图1A中所图示的系统100的替换视图。如图1B中所示,透镜元件110、112可充当显示元件。头戴式设备102可包括第一投影仪128,该第一投影仪128耦合到延伸侧臂116的内表面并且被配置为将显示130投影到透镜元件112的内表面上。额外地或替换地,第二投影仪132可耦合到延伸侧臂114的内表面并被配置为将显示134投影到透镜元件110的内表面上。
透镜元件110、112可充当光投影系统中的组合器并且可包括涂层,该涂层反射从投影仪128、132投影到其上的光。在一些实施例中,可省略反射涂层(例如,当投影仪128、132是扫描激光设备时)。
在替换实施例中,也可使用其它类型的显示元件。例如,透镜元件110、112本身可包括:诸如电致发光显示器或液晶显示器之类的透明或半透明的矩阵显示器,用于将图像输送到用户的眼睛的一个或多个波导,或者能够将焦点对准的近眼图像输送到用户的其它光学元件。相应的显示驱动器可被部署在框架元件104、106内以用于驱动这种矩阵显示器。替换地或额外地,可以用激光或发光二极管(light emitting diode,LED)源和扫描系统来将光栅显示直接摄取到用户的一只或两只眼睛的视网膜上。其它可能性也是存在的。
图2A图示了用于接收、发送和显示数据的示例系统200。系统200是以可穿戴计算设备202的形式示出的。可穿戴计算设备202可包括框架元件和侧臂,例如关于图1A和1B描述的那些。可穿戴计算设备202可额外包括机载计算系统204和视频相机206,例如关于图1A和1B描述的那些。视频相机206被示为安装在可穿戴计算设备202的框架上;然而,视频相机206也可安装在其它位置处。
如图2A中所示,可穿戴计算设备202可包括单个显示器208,该显示器208可耦合到该设备。显示器208可形成在可穿戴计算设备202的透镜元件之一上,例如关于图1A和1B描述的透镜元件,并且显示器208可被配置为将计算机生成的图形覆盖在用户对物理世界的视图中。显示器208被示为设在可穿戴计算设备202的透镜的中心,然而,显示器208可设在其它位置中。可经由通过光波导210耦合到显示器208的计算系统204来控制显示器208。
图2B图示了用于接收、发送和显示数据的示例系统220。系统220是以可穿戴计算设备222的形式示出的。可穿戴计算设备222可包括侧臂223、中央框架支撑224和具有鼻托的鼻架部225。在图2B中所示的示例中,中央框架支撑224连接侧臂223。可穿戴计算设备222不包括包含透镜元件的透镜框架。可穿戴计算设备222可额外包括机载计算系统226和视频相机208,例如关于图1A和1B描述的那些。
可穿戴计算设备222可包括单个透镜元件230,该透镜元件230可耦合到侧臂223之一或者中央框架支撑224。透镜元件230可包括显示器,例如参考图1A和1B描述的显示器,并且可被配置为将计算机生成的图形覆盖在用户对物理世界的视图上。在一个示例中,单个透镜元件230可耦合到延伸侧臂223的一侧。当可穿戴计算设备222被用户穿戴时,单个透镜元件230可定位在用户眼睛的前方或附近。例如,单个透镜元件230可定位在中央框架支撑224下方,如图2B中所示。
2.示例方法
图3示出了描绘用于调整边界方位的示例方法的流程图。方法300作为示例被描述为由可穿戴计算机并且具体而言由包括HMD的可穿戴计算机执行。然而,应当理解,诸如方法300这样的示例方法可由除可穿戴计算机以外的设备执行,并且/或者可由可穿戴计算机或其它设备中的子系统执行。例如,示例方法或者可由诸如移动电话之类的被配置为同时在图形界面的可导航区域内显示观看端口的设备执行。其它示例也是可能的。
另外,本领域技术人员将会理解,本文描述的流程图图示了示例实施例的某些实现方式的功能和操作。在此,流程图的每个块可表示程序代码的模块、片段或部分,所述程序代码包括可由处理器(例如下文关于系统1100描述的处理器1102)运行来实现该过程中的特定逻辑功能或步骤的一个或多个指令。程序代码例如可被存储在任何类型的计算机可读介质上(例如,计算机可读存储介质或非暂态介质,例如下文关于系统1100描述的存储器1104或存储设备1106),例如包括盘或硬盘驱动器的存储设备。此外,每个块可表示被布线来执行该过程中的特定逻辑功能的电路。替换实现方式被包括在本申请的示例实施例的范围内,其中功能可不按所示出或论述的顺序运行,包括基本上同时执行或按相反顺序执行,这取决于所涉及的功能,这是本领域技术人员将会理解的。
示例方法可用于允许用户经由头部移动经由观看端口在整个可导航区域中导航。可导航区域一般可“大于”观看端口。进而,图形界面一般可“大于”可导航区域。
示例方法300如块302所示包括使得头戴式显示器(HMD)提供图形界面,该图形界面包括(i)具有观看端口方位的观看端口和(ii)具有至少一个边界的至少一个可导航区域,该至少一个边界具有第一边界方位。在块304,HMD接收指示观看端口朝着至少一个边界的移动的输入数据。在块306,HMD判定观看端口方位在从第一边界方位起的预定阈值距离内。并且在块308,至少基于对观看端口方位在从边界方位起的预定阈值距离内的判定,HMD将边界方位从第一边界方位调整到第二边界方位。这些块中的每一个在下文中进一步论述。
a.提供图形界面,其包括
(i)具有观看端口方位的观看端口
(ii)具有边界方位的可导航区域
在块302,方法300包括使得HMD提供图形界面,该图形界面包括(i)具有观看端口方位的观看端口和(ii)具有至少一个边界的至少一个可导航区域,该至少一个边界具有第一边界方位。观看端口、可导航区域和图形界面可经由HMD的图形显示器来显示。
关于图4,示出了示例HMD 400。HMD 400可采取以上关于图1A-1B和图2A-2B论述的那些可穿戴计算系统中的任何一种的形式。HMD 400也可采取其它形式。应当理解,示例HMD400只是为了示例和解释而示出的,而不应当被理解为在进行限定。
图4A表明了HMD 400可在真实空间中在至少一个平面的整个中360度旋转。例如,当被用户穿戴时,通过用户向左转动其头部和/或身体,HMD 400可被向左旋转404。作为另一示例,当被用户穿戴时,通过用户向右转动其头部和/或身体,HMD 400可被向右旋转406。虽然HMD 400被示为可在整个一个平面中旋转,但当被用户穿戴时,HMD 400也可在任何其它平面、轴和/或方向上旋转。图形界面402指示出可向用户提供围绕用户的360度虚拟界面或以其它方式使该界面为用户可用。
图4B表明了HMD 400可显示观看端口408,该观看端口408可以是覆盖在用户的真实世界视图上的虚拟显示,并且该观看端口408可提供360度图形界面402的一部分的视图。观看端口408可依据HMD 400的旋转在整个360度图形界面402中移动。
在一些实施例中,图形界面402的少于整个360度可包含用户感兴趣的内容。图4C表明了例如图形界面402可包括只是图形界面402的整个360度的一半或者说180度的可导航区域410。可导航区域410可包含HMD 400的穿戴者感兴趣的内容,而图形界面402的其余部分可不包含HMD 400的穿戴者感兴趣的内容。因此,用户可在整个可导航区域410中平移观看端口408以观看可导航区域410内的内容或以其它方式与可导航区域410内的内容交互。
为了解释,图5示出了可导航区域410和观看端口408的二维表示500。如左箭头502A和右箭头502B所指示的,在整个可导航区域410中可向左和/或向右移动观看端口408。
另外,可导航区域410被示为具有左边界504A和右边界504B。左边界504A被示为具有0度的边界方位。另一方面,右边界504B被示为具有180度的边界方位。
类似地,观看端口408可具有观看端口方位。观看端口方位可以是基于观看端口408的任何单个部分、点或像素的位置的。例如,观看端口方位可以是基于观看端口408的中心506B的。在示出的示例中,中央观看端口方位506B可以是90度(因为观看端口408当前位于可导航区域410的中央)。作为另一示例,观看端口方位可以是基于观看端口408的左边缘506A的。在示出的示例中,左观看端口方位506A可以是0度到90度之间的某个方位。作为又一个示例,观看端口方位可以是基于观看端口408的右边缘506C的。在示出的示例中,右观看端口方位506C可以是90度到180度之间的某个方位。
b.接收指示观看端口的移动的输入数据
在块304,方法300包括接收指示观看端口朝着至少一个边界的移动的输入数据。在一实施例中,该输入数据可包括指示HMD的移动的头部移动数据和/或眼睛移动数据。
为了解释观看端口朝着可导航区域的边界的移动,图6示出了图形界面的多种可能的示例可导航区域内的观看端口。更具体而言,图6示出了多种图形界面600A-600D。图形界面600A-600D中的每一个具有360度的跨度。另外,图形界面600A-600D中的每一个包含各自的可导航区域。注意,依据本文的公开,图形界面、可导航区域和观看端口可采取任何适当的形式,包括本文没有明确描述的形式。也就是说,没有限制地,图形界面、可导航区域和/或观看端口可采取不同于本文示出的那些的其它形状和/或大小。
作为一个示例,图形界面600A包含可导航区域602A。可导航区域602A被示为具有图形界面600A内的90度的跨度。观看端口604A可在可导航区域602A内向左606A或向右606B移动。可导航区域602A具有第一边界608A,该第一边界608A具有135度的方位。可导航区域602A还具有第二边界608B,该第二边界608B具有225度的方位。从而,观看端口604A可朝着第一边界608A和第二边界608B中的任一个移动。
作为另一示例,图形界面600B包含可导航区域602B。可导航区域602B被示为具有图形界面600B内的180度的跨度。观看端口604B可在可导航区域602B内向左606C或向右606D移动。可导航区域602B具有第一边界608C,该第一边界608C具有90度的方位。可导航区域602B还具有第二边界608D,该第二边界608D具有270度的方位。从而,观看端口604B可朝着第一边界608C和第二边界608D中的任一个移动。
作为又一示例,图形界面600C包含可导航区域602C。可导航区域602C被示为具有图形界面600C内的270度的跨度。观看端口604C可在可导航区域602C内向左606E或向右606F移动。可导航区域602C具有第一边界608E,该第一边界608E具有45度的方位。可导航区域602C还具有第二边界608F,该第二边界608F具有315度的方位。从而,观看端口604C可朝着第一边界608E和第二边界608F中的任一个移动。
作为又一示例,图形界面600D包含可导航区域602D。可导航区域602D被示为具有图形界面600D内的360度(即,整个图形界面600D)的跨度。观看端口604D可在可导航区域602D内向左606G或向右606H移动。可导航区域602D具有第一边界608G,该第一边界608G具有0度的方位。可导航区域602D还具有第二边界608H,该第二边界608H具有360度的方位。从而,观看端口604D可朝着第一边界608G和第二边界608H中的任一个移动。
c.确定边界方位的阈值差内的观看端口方位
在块306,方法300包括确定观看端口方位在从第一边界方位起的预定阈值距离内。图7示出了在五个不同的时间点,即时刻A–时刻E,图形界面700内的具有多种方位的可导航区域702内的观看端口704。
更具体而言,在时刻A,可导航区域702具有90度的左边界方位702A和270度的右边界方位702B,这对应于360度图形界面700内的180度的总观看跨度。观看端口704在可导航区域702内是静止的并且在可导航区域702内居中,具有180度的观看端口方位706。观看端口方位706不在右边界方位702B的阈值距离708A内。也就是说,观看端口方位706落在右边界方位702B的阈值距离708A之外。
在之后的时刻B,可导航区域702具有相同的90度的左边界方位702A和270度的右边界方位702B。然而,观看端口704被示为在朝着右边界移动,如箭头706所指示的。另外,观看端口方位706已朝着右边界移位并且观看端口方位706现在在右边界方位702B的阈值距离708A内。因此,可以判定观看端口方位在从第一边界方位起的预定阈值距离内。
d.调整边界方位
在块308,方法300包括至少基于对观看端口方位在从边界方位起的预定阈值距离内的判定来将边界方位从第一边界方位调整到第二边界方位。
再次参考图7,在时刻C,可导航区域702现在具有左边界方位702C,左边界方位702C在左边界方位702A右侧的某个方位处。类似地,可导航区域702具有右边界方位702D,右边界方位702D在右边界方位702B右侧的某个方位处。然而,可导航区域702维持了180度的总观看跨度。从而,基于对观看端口方位706进入了可导航区域702的右边界的阈值距离708A内的判定,可导航区域702实际上被向右“移位”。
依据块308,可根据任何适当的标准来将边界方位调整到第二边界方位。例如,调整边界方位可包括将边界方位设定为等于观看端口方位。关于图7中所示的在时刻C的示例,这种方法在观看端口方位与观看端口704的右边缘对齐时可能尤其适合。这样,观看端口704的右边缘可以永远不会(向右)移动到越过可导航区域702的右边缘。实际上,当观看端口704被向右移动之时,可导航区域702也将会向右移动。
作为另一示例,调整边界方位可包括将边界方位设定为等于与观看端口方位具有预定差值。关于图7中所示的在时刻C的示例,可以看出观看端口方位706与右边界方位702D之间的距离等于在时刻B观看端口方位706与右边界方位702B之间的距离。这样,观看端口704的右边缘可以永远不会(向右)移动到越过可导航区域702的右边缘。实际上,当观看端口704被向右移动之时,可导航区域702也将会向右移动。同时,在观看端口704的右边缘与可导航区域702的右边缘之间可维持空间的“缓冲区”。
如关于时刻D和时刻E所示,块308不仅可包括将边界方位向右调整——边界方位也可被向左调整。更具体而言,在时刻D,可导航区域702具有左边界方位702C和右边界方位702D。然而,观看端口704被示为在朝着左边界移动,如箭头708所指示的。另外,观看端口方位706已朝着左边界移位,使得观看端口方位706现在在左边界方位702C的阈值距离708B内。
在之后的时刻E,可导航区域702具有左边界方位702A,左边界方位702A在左边界方位702C左侧的一方位处。类似地,可导航区域702具有右边界方位702B,右边界方位702B在右边界方位702D左侧的一方位处。然而,可导航区域702维持了180度的总观看跨度。从而,基于对观看端口方位706进入了阈值距离708B内的判定,可导航区域702实际上被向左“移位(shift)”。
在一实施例中,调整边界的方位可包括在调整边界的方位之前,判定观看端口的移动速度超过了预定的移动速度阈值。在这种实施例中,速度参数可将给定量的输入移动(例如头部移动)映射到某一量的观看端口移动。更具体而言,观看端口的灵敏度可按每英寸计数(counts per inch,CPI)来配置,这包括观看端口在图形界面上移动一英寸(或一度,或其它适当的距离度量)的计数数量。移动速度阈值可被设定到例如给定的CPI,使得如果观看端口的移动速度未超过阈值CPI,则可导航区域的位置可不被改变。然而,如果观看端口的移动速度超过阈值CPI,则可导航区域的位置可被改变。
在另一实施例中,调整边界的方位可包括在调整边界的方位之前,判定观看端口的移动速度未超过预定的移动速度阈值。移动速度阈值可被设定到例如给定的CPI,使得如果观看端口的移动速度未超过阈值CPI,则可导航区域的位置可被改变。然而,如果观看端口的移动速度超过阈值CPI,则可导航区域的位置可不被改变。
在又一个实施例中,调整边界的方位可包括提供对从第一边界方位调整到第二边界方位的边界方位的连续视觉指示。图8示出了在五个不同的时间点,即时刻F–时刻J,图形界面800内的具有多种方位的可导航区域802内的观看端口804。一般地,可导航区域802在时刻F到时刻J期间向左移动。然而,在时刻F与时刻J之间,在时刻G、H和I,可导航区域802被示为连续地移动。也就是说,可导航区域802的左边界被示为从时刻F的左边界方位802A移动到时刻G的左边界方位802C,再到时刻H的左边界方位802E,再到时刻I的左边界方位802G,并且再到时刻J的左边界方位802I。可导航区域802在时刻F与时刻J之间也可被示为在其它位置处。这样,对可导航区域802的连续视觉指示可提供可导航区域802“滑动”到适当的位置的视觉感受。
在又一个实施例中,调整边界的方位可包括至少基于观看端口的移动速度来确定第二边界方位。也就是说,虽然上文描述了可基于例如将边界方位设定为等于观看端口方位或将边界方位设定为等于与观看端口方位具有预定差值来静态地设定第二边界方位,但这不是必要的。也可至少基于观看端口的移动速度来以动态方式设定第二边界方位。
为了解释,考虑在时刻F,观看端口804在以第一速度806向左移动。第一速度806可以相对较慢,因此可以以相对不受影响的方式调整左边界方位802A。例如,如时刻G中所示,可以通过将边界方位设定为等于观看端口方位或者将边界方位设定为等于与观看端口方位具有预定差值来调整左边界方位。其它示例也可以存在。
然而,考虑在时刻F,观看端口804在以在大于第一速度806的第二速度808移动。第二速度808可以相对较快,因此可以以相对动态的方式来调整右边界方位802B。例如,如时刻H中所示,可以首先将左边界方位调整到时刻G的左边界方位802C,然后继续调整到时刻H的左边界方位802E。这样,当观看端口804被以速度808朝着可导航区域802的左边缘移动时,可导航区域802可看起来从观看端口804“弹开”。“弹开”的量可与观看端口的移动速度的增大成比例地增大。
或者,调整边界的方位可包括将边界方位设定为等于使得观看端口在可导航区域内居中的方位。为了解释,考虑在时刻F,观看端口804在以速度806或速度808的速度向左移动。在判定需要调整边界方位之时,边界方位可被调整为时刻J所示的,对应于左边界方位802I。如图所描绘的,左边界方位802I对应于使得观看端口804在可导航区域802内居中的方位。
注意,在以这种方式重新设置可导航区域802的中心之时,从时刻F到时刻J,可导航区域802可被示为连续地移动。也就是说,可导航区域802的左边界被示为从时刻F的左边界方位802A,移动到时刻G的左边界方位802C,再到时刻H的左边界方位802E,再到时刻I的左边界方位802G,并且再到时刻J的左边界方位802I。可导航区域802在时刻F与时刻J之间也可被示为在其它位置处。这样,对可导航区域802的连续视觉指示可提供可导航区域802“滑动”到适当的位置、以观看端口804为中心的视觉感受。
总结图8中所示的示例的一些方面,图形界面可以是循环的图形界面(即,360度图形界面)。图形界面可包括一个可导航区域。可导航区域可具有180度的可导航跨度,并且观看端口可具有小于180度的观看跨度。
以上,已论述了在图形界面内只包含单个可导航区域的实施例。然而,有可能图形界面可包含多个可导航区域。在这种实施例中,可导航区域可由本文称为“软边界”的东西来分隔。软边界可被配置成使得具有多个可导航区域的图形界面中的给定可导航区域的方位在一些条件下可被调整。然而,在其它条件下,可允许观看端口从第一可导航区域跨过软边界到第二可导航区域。
图9示出了图形界面的多种额外的可导航区域内的观看端口。更具体而言,图9示出了包括三个可导航区域904、906和908的图形界面900。图形界面900还包括观看端口910。
在时刻K,观看端口910被示为在可导航区域906内静止。可导航区域906在其左边缘与可导航区域904被软边界902A分隔。可导航区域906在其右边缘与可导航区域908被软边界902B分隔。软边界902A和902B中的每一个具有软边界方位。更具体而言,软边界902A具有软边界方位902C。软边界902B具有软边界方位902D。
在一实施例中,可以调整软边界方位。调整软边界方位可包括判定(a)观看端口的移动速度没有超过预定的移动速度阈值,并且(b)观看端口方位在从软边界方位起的预定阈值距离内;并且至少基于对(a)移动速度没有超过预定的移动速度阈值以及(b)观看端口方位在从软边界方位起的预定阈值距离内的判定,调整软边界方位。换言之,如果观看端口以相对较慢的移动速度接近软边界,则可以调整软边界方位以使得观看端口留在其当前所在的可导航区域内。
为了解释,在时刻L,观看端口910被示为以移动速度912朝着软边界902A向左移动。假定移动速度912未超过预定的移动速度阈值。在观看端口910进入从软边界方位902C起的预定阈值距离内之时,软边界方位902C可被调整。例如,如在之后的时刻M处所示,软边界902A的软边界方位已被调整到软边界方位902E,其在软边界方位902C的左侧。
注意,可导航区域906的移动对应于可导航区域904和908的类似移动。也就是说,当图形界面的给定可导航区域被移动时,图形界面的其它可导航区域也可被移动。
替换地,可允许观看端口从一个可导航区域移动到另一可导航区域。将观看端口从一个可导航区域移动到另一可导航区域可包括判定(a)移动速度超过预定的移动速度阈值,并且(b)观看端口方位在从软边界方位起的预定阈值距离内;并且至少基于对(a)移动速度超过预定的移动速度阈值以及(b)观看端口方位在从软边界方位起的预定阈值距离内的判定,使得观看端口进入第二可导航区域。换言之,如果观看端口以相对较快的移动速度接近软边界,则观看端口可跨过软边界并进入另一可导航区域。
为了解释,在时刻N,观看端口910被示为以移动速度914朝着软边界902B向右移动。假定移动速度914超过预定的移动速度阈值。在观看端口910进入从软边界方位902F起的预定阈值距离内之时,可允许观看端口910跨过软边界902b,离开可导航区域906,并进入可导航区域908。例如,如在之后的时刻O处所示,观看端口910被示为在可导航区域908内。
总结图9中所示的示例的一些方面,图形界面可以是循环的图形界面(即,360度图形界面)。图形界面可包括三个可导航区域。每个可导航区域可具有120度的可导航跨度,并且观看端口可具有小于120度的观看跨度。
然而,注意,虽然图9中所示的示例包含三个可导航区域,但这不是必要的。更一般而言,图形界面可包括至少两个可导航区域,所述至少两个可导航区域被软边界分隔,该软边界具有软边界方位。从而,任何数量的可导航区域都是可能的,其中可导航区域各自由软边界分隔。
3.示例计算系统和网络体系结构
图10示出了示例计算机网络基础设施的简化框图。在系统1000中,设备1010利用通信链路1020(例如,有线或无线连接)与远程设备1030通信。设备1030可以是任何类型的能够接收数据并显示与该数据相对应或相关联的信息的设备。例如,设备1030可以是抬头显示系统,例如参考图1A-2B描述的头戴式设备102、200或220。
从而,设备1010可包括显示系统1012,该显示系统1012包括处理器1014和显示器1016。显示器1016例如可以是光学透视显示器、光学环视显示器或视频透视显示器。处理器1014可从远程设备1030接收数据,并且配置该数据用于显示在显示器1016上。处理器1014可以是任何类型的处理器,诸如例如微处理器或数字信号处理器。
设备1010还可包括机载数据存储装置,例如耦合到处理器1014的存储器1018。存储器1018例如可存储可被处理器1014访问和运行的软件。
远程设备1030可以是被配置为向设备1010发送数据的任何类型的计算设备或发送器,例如膝上型计算机、移动电话或者平板计算设备,等等。远程设备1030和设备1010可包含用于使能通信链路1020的硬件,例如处理器、发送器、接收器,天线,等等。
在图10中,通信链路1020被图示为无线连接;然而,也可使用有线连接。例如,通信链路1020可以是诸如通用串行总线之类的有线串行总线或者并行总线,或者其它连接。通信链路1020也可以是使用例如无线电技术、IEEE 802.11(包括任何IEEE 802.11修订版)中描述的通信协议、蜂窝技术(例如GSM、CDMA、UMTS、EV-DO、WiMAX或LTE)或技术等等的无线连接。这种有线和/或无线连接中的任一者也可以是专有连接。远程设备1030可经由因特网来访问并且可包括与特定的web服务(例如,社交网络、照片共享、地址簿,等等)相关联的计算集群。
如上文联系图1A-2B所述,示例可穿戴计算设备可包括或者可以其它方式通信地耦合到计算系统,例如计算系统118或计算系统204。图11示出了描绘示例计算系统1100的示例组件的简化框图。设备1010和远程设备1030中的一者或两者可采取计算系统1100的形式。
计算系统1100可包括至少一个处理器1102和系统存储器1104。在示例实施例中,计算系统1100可包括通信地连接处理器1102和系统存储器1104以及计算系统1100的其它组件的系统总线1106。取决于期望的配置,处理器1102可以是任何类型的处理器,包括但不限于微处理器(microprocessor,μP)、微控制器(microcontroller,μC)、数字信号处理器(digital signal processor,DSP)或者其任何组合。另外,系统存储器1104可以是现在已知或以后开发的任何类型的存储器,包括但不限于易失性存储器(例如RAM)、非易失性存储器(例如ROM、闪存,等等)或者其任何组合。
示例计算系统1100也可包括各种其它组件。例如,计算系统1100包括用于(经由A/V端口1114)控制图形显示器1110和扬声器1112的A/V处理单元1108、用于连接到其它计算设备1118的一个或多个通信接口1116、以及电源1120。图形显示器1110可被布置为提供由用户界面模块1122提供的各种输入区域的视觉描绘。例如,用户界面模块1122可被配置为提供用户界面,例如下文联系图12A-D描述的示例用户界面,并且图形显示器1110可被配置为提供该用户界面的视觉描绘。用户界面模块1122还可被配置为从一个或多个用户界面设备1128接收数据并向其发送数据(或者以其它方式与之兼容)。
此外,计算系统1100还可包括一个或多个数据存储设备1124,这些数据存储设备1124可以是可移除存储设备、不可移除存储设备或者其组合。可移除存储设备和不可移除存储设备的示例包括诸如软盘驱动器和硬盘驱动器(hard-disk drive,HDD)之类的磁盘设备、诸如致密盘(compact disk,CD)驱动器或数字多功能盘(digital versatile disk,DVD)驱动器之类的光盘驱动器、固态驱动器(solid state drive,SSD)、和/或现在已知或以后开发的任何其它存储设备。计算机存储介质可包括以任何方法或技术实现的易失性和非易失性的、可移除和不可移除的介质,以用于存储信息,例如计算机可读指令、数据结构、程序模块或其它数据。例如,计算机存储介质可采取以下形式:RAM、ROM、EEPROM、闪存或其它存储器技术、CD-ROM、数字多功能盘(DVD)、或者其它光存储装置、盒式磁带、磁带、磁盘存储装置或其它磁存储设备、或者现在已知或以后开发的可用于存储期望的信息并且可被计算系统1100访问的任何其它介质。
根据示例实施例,计算系统1100可包括程序指令1126,程序指令1126被存储在系统存储器1104中(和/或可能存储在另外的数据存储介质中)并且可被处理器1102运行以促进本文描述的各种功能,包括但不限于关于图3描述的那些功能。虽然计算系统1100的各种组件被示为分布式组件,但应当理解,任何这种组件可根据计算系统的期望配置被物理上集成和/或分布。
4.示例用户界面
图12A-D示出了示例用户界面1200的各方面。用户界面1200可由例如上文对于图1A-2B描述的可穿戴计算设备来显示。
用户界面1200的示例状态在图12A中示出。图12A中所示的示例状态可对应于可穿戴计算设备的第一位置。也就是说,当可穿戴计算设备处于第一位置时,用户界面1200可被显示为如图12A中所示。在一些实施例中,可穿戴计算设备的第一位置可对应于当可穿戴计算设备的穿戴者在向与地面大体平行的方向看时可穿戴计算设备的位置(例如,不对应于穿戴者向上或向下看的位置)。其它示例也是可能的。
如图所示,用户界面1200包括观看端口1202。观看端口1202的示例边界由虚线框示出。虽然观看端口1202被示为具有横向形状(其中观看端口1202的宽度大于高度),但在其它实施例中观看端口1202可具有纵向或方形形状,或者可具有非矩形形状,例如圆形或椭圆形状。观看端口1202也可具有其它形状。
观看端口1202可以例如是可穿戴计算设备上的显示器的上、下、左、右边界之间(或包含这些边界)的可观看区域。如图所示,当可穿戴计算设备处于第一位置时,观看端口1202是基本上没有(例如完全没有)用户界面元素的,从而使得用户对其真实世界环境的观看是大体上不杂乱的,并且用户的环境中的物体未被遮蔽。
在一些实施例中,观看端口1202可对应于可穿戴计算设备的穿戴者的视野,并且观看端口1202之外的区域可对应于穿戴者的视野之外的区域。在其它实施例中,观看端口1202可对应于可穿戴计算设备的穿戴者的视野的非周边部分,并且观看端口1202之外的区域可对应于穿戴者的视野的周边部分。在另一些其它实施例中,用户界面1200可大于可穿戴计算设备的穿戴者的视野或者与可穿戴计算设备的穿戴者的视野基本相同,并且穿戴者的视野可大于观看端口1202或者与观看端口1202大小基本相同。观看端口1202也可采取其它形式。
从而,用户界面1200的在观看端口1202之外的部分可在可穿戴计算设备的穿戴者的视野之外或者在可穿戴计算设备的穿戴者的视野的周边部分中。例如,如图所示,菜单1204可在用户界面1200中的用户的视野之外或者在用户的视野的周边部分中。虽然菜单1204被示为在观看端口1202中不可见,但在一些实施例中菜单1204可在观看端口1202中部分可见。
在一些实施例中,可穿戴计算设备可被配置为接收与例如可穿戴计算设备向上移动到第一位置上方的位置相对应的移动数据。在这些实施例中,可穿戴计算设备可响应于接收到与向上移动相对应的移动数据而使得观看端口1202和菜单1204中的一者或两者移动,从而使得菜单1204变得在观看端口1202中更可见。例如,可穿戴计算设备可使得观看端口1202向上移动并且可使得菜单1204向下移动。观看端口1202和菜单1204可移动相同的量,或者可移动不同的量。在一个实施例中,菜单1204可比观看端口1202移动得更远。作为另一示例,可穿戴计算设备可以仅使得菜单1204移动。其它示例也是可能的。
虽然使用了“向上”一词,但要理解向上移动可包含具有移动、倾斜、旋转、移位、滑动或导致大体上向上的移动的其它移动的任何组合的任何移动。另外,在一些实施例中,“向上”可以指在可穿戴计算设备的穿戴者的参照系中的向上移动。其它参照系也是可能的。在可穿戴计算设备是头戴式设备的实施例中,可穿戴计算设备的向上移动也可以是穿戴者的头部的向上移动,例如用户向上看。
与向上移动相对应的移动数据可采取若干形式。例如,移动数据可以是(或者可以得自)从被配置为检测向上移动的一个或多个运动传感器、加速度计和/或陀螺仪——例如上文联系图1A描述的传感器122——接收的数据。在一些实施例中,移动数据可包括与向上移动相对应的二元指示。在其它实施例中,移动数据可包括与向上移动相对应的指示以及向上移动的幅度。移动数据也可采取其它形式。
图12B示出了在接收到与向上移动相对应的移动数据之后的示例用户界面的各方面。如图所示,用户界面1200包括观看端口1202和菜单1204。
如上文所表明的,响应于接收到与可穿戴计算设备的向上移动相对应的移动数据,可穿戴计算设备可移动观看端口1202和菜单1204的一者或两者,以使得菜单1204变得在观看端口1202中更可见。
如图所示,菜单1204在观看端口1202中完全可见。然而,在其它实施例中,菜单1204可以只有一部分在观看端口1202中可见。在一些实施例中,菜单1204在观看端口1202中可见的幅度可至少部分基于向上移动的幅度。
从而,可响应于接收到与向上移动相对应的数据而移动观看端口1202。在一些实施例中,可在向上滚动或平移运动中移动观看端口1202。例如,观看端口1202在可穿戴计算设备的穿戴者看来可以好像被映射到以可穿戴计算设备为中心的静态球的内部那样,并且观看端口1202的移动可映射到真实世界环境相对于可穿戴计算设备的移动。向上滚动的速度、加速度和/或量值可至少部分基于向上移动的速度、加速度和/或量值。在其它实施例中,观看端口1202可通过例如在视野之间跳跃而被移动。在另一些其它实施例中,观看端口1202可仅在向上移动超过阈值速度、加速度和/或量值时才被移动。响应于接收到与超过这样的一个或多个阈值的向上移动相对应的数据,观看端口1202可平移、滚动、滑动或者跳跃到新的视野。也可以以其它方式移动观看端口1202。
虽然以上描述集中于向上移动,但要理解可穿戴计算设备也可被配置为接收与其它方向性移动(例如,向下、向左、向右等等)相对应的数据,并且观看端口1202可响应于接收到这种数据以与上文联系向上移动所述类似的方式被移动。
如图所示,菜单1204包括数个内容对象1206。在一些实施例中,内容对象1206可被布置成可穿戴计算设备的穿戴者的头部周围上方的环(或部分环)。在其它实施例中,内容对象1206可被布置成穿戴者的头部上方的圆顶形状。环或圆顶可以以可穿戴计算设备和/或穿戴者的头部上方为中心。在其它实施例中,也可以以其它方式布置内容对象1206。
菜单1204中的内容对象1206的数量可以是固定的或者可以是可变的。在数量可变的实施例中,内容对象1206的大小可根据菜单1204中的内容对象1206的数量而变化。在内容对象1206围绕穿戴者的头部以圆形状延伸——就像环(或部分环)那样——的实施例中,在特定的时刻内容对象1206中可以只有一些是可见的。为了观看其它内容对象1204,可穿戴计算设备的穿戴者可与可穿戴计算设备交互以例如沿着围绕穿戴者的头部的路径(例如,顺时针或逆时针)旋转内容对象1206。为此,可穿戴计算设备可被配置为通过例如触摸板——例如手指可操作触摸板124——接收指示这种交互的数据。替换地或额外地,可穿戴计算设备也可被配置为通过其它输入设备来接收这种数据。
取决于可穿戴计算设备的应用,内容对象1206可采取若干种形式。例如,内容对象1206可包括以下各项中的一个或多个:人、联系人、人和/或联系人的群组、日历项、列表、通知、告警、提醒、状态更新、传入的消息、记录的媒体、音频记录、视频记录、照片、数字拼贴、先前保存的状态、网页、应用,以及工具,例如静止相机、视频相机和音频记录器。内容对象1206也可采取其它形式。
在内容对象1206包括工具的实施例中,工具可位于菜单1204的特定区域中,例如中央。在一些实施例中,工具可保持在菜单1204的中央,即使其它内容对象1206旋转,如上所述。工具内容对象也可位于菜单1204的其它区域中。
菜单1204中包括的特定内容对象1206可以是固定的或可变的。例如,内容对象1206可由可穿戴计算设备的穿戴者预选择。在另一实施例中,用于每个内容区域的内容对象1206可由可穿戴计算设备从一个或多个物理或数字情境自动组装,所述物理或数字情境例如包括:可穿戴计算设备周围的人、地点、和/或物体、地址簿、日历、社交网络web服务或应用、照片共享web服务或应用、搜索历史、和/或其它情境。另外,一些内容对象1206可以是固定的,而内容对象1206可以是可变的。也可以以其它方式来选择内容对象1206。
类似地,显示内容对象1206的顺序或配置可以是固定的或可变的。在一个实施例中,内容对象1206可由可穿戴计算设备的穿戴者预排序。在另一实施例中,内容对象1206可基于例如以下标准被自动排序:每个内容对象1206被使用的频率(仅在可穿戴计算设备上或者也在其它情境中)、每个内容对象1206最近是什么时候被使用的(仅在可穿戴计算设备上或者也在其它情境中)、内容对象1206的显式或隐式重要性或优先级排名、和/或其它标准。
在一些实施例中,可穿戴计算设备还可被配置为从穿戴者接收从菜单1204中对内容对象1206的选择。为此,用户界面1200可包括光标1208,其在图12B中被示为十字线,可用于导航到并从菜单1204中选择内容对象1206。在一些实施例中,光标1208可由可穿戴计算设备的穿戴者通过一个或多个预定移动来控制。从而,可穿戴计算设备还可被配置为接收与该一个或多个预定移动相对应的选择数据。
选择数据可采取若干形式。例如,选择数据可以是(或者可以得自)从被配置为检测一个或多个预定移动的一个或多个移动传感器、加速度计、陀螺仪和/或检测器接收到的数据。所述一个或多个移动传感器可被包括在可穿戴计算设备中,像传感器122那样,或者可被包括在通信地耦合到可穿戴计算设备的外围设备中。作为另一示例,选择数据可以是(或者可以得自)从触摸板(例如上文联系图1A描述的手指可操作触摸板124)接收到的数据,或者从包括在可穿戴计算设备中或耦合到可穿戴计算设备并被配置为检测一个或多个预定移动的其它输入设备接收的数据。在一些实施例中,选择数据可采取与预定移动相对应的二元指示的形式。在其它实施例中,选择数据可指示与预定移动相关联的幅度、方向、速度和/或加速度。选择数据也可采取其它形式。
预定移动可采取若干种形式。在一些实施例中,预定移动可以是可穿戴计算设备或外围设备的特定移动或移动序列。在一些实施例中,预定移动可包括被定义为没有或基本上没有移动的一个或多个预定移动,例如在预定的时间段期间没有或基本上没有移动。在可穿戴计算设备是头戴式设备的实施例中,一个或多个预定移动可涉及穿戴者的头部的预定移动(假定其以相应的方式移动可穿戴计算设备)。替换地或额外地,预定移动可涉及通信地偶合到可穿戴计算设备的外围设备的预定移动。外围设备可类似地可由可穿戴计算设备的穿戴者穿戴,使得外围设备的移动可追随穿戴者的移动,诸如例如,穿戴者的手部的移动。此外,替换地或额外地,一个或多个预定移动可以例如是手指可操作触摸板或其它输入设备上的移动。其它预定移动也是可能的。
如图所示,可穿戴计算设备的穿戴者已利用一个或多个预定移动将光标1208导航到内容对象1206。为了选择内容对象1206,穿戴者可执行额外的预定移动,例如将光标1208保持在内容对象1206上方达预定时间段。穿戴者也可以以其它方式来选择内容对象1206。
一旦选择了内容对象1206,可穿戴计算设备就可使得内容对象1206作为被选内容对象被显示在观看端口1202中。图12C示出了依据一实施例的在选择被选内容对象之后的示例用户界面的各方面。
如虚线箭头所指示的,内容对象1206作为被选内容对象1210被显示在观看端口1202中。如图所示,被选内容对象1210在观看端口1202中被显示得比在菜单1204中更大且更详细。然而,在其它实施例中,被选内容对象1210可在观看端口1202中被显示得比菜单1204更小或相同大小并且更不详细或者同样详细。在一些实施例中,在观看端口1202中与被选内容对象1210相邻处或附近可示出额外的内容(例如要应用到被选内容对象1210的动作、要与被选内容对象1210应用的动作或者要基于被选内容对象1210应用的动作、与被选内容对象1210有关的信息、和/或对于被选内容对象1210的可修改的选项、偏好或参数,等等)。
一旦在观看端口1202中显示了被选内容对象1210,可穿戴计算设备的穿戴者就可与被选内容对象1210交互。例如,由于被选内容对象1210被示为电子邮件收件箱,因此穿戴者可能希望阅读电子邮件收件箱中的电子邮件之一。取决于被选内容对象,穿戴者也可以以其它方式与被选内容对象交互(例如,穿戴者可定位与被选内容对象1210有关的额外信息、修改、增强和/或删除被选内容对象1210,等等)。为此,可穿戴计算设备还可被配置为接收与指示与用户界面1200的交互的一个或多个预定移动相对应的输入数据。输入数据可采取上文联系选择数据描述的形式中的任何一种。
图12D示出了依据一实施例的在接收与用户输入相对应的输入数据之后的示例用户界面的各方面。如图所示,可穿戴计算设备的穿戴者已将光标1208导航到电子邮件收件箱中的特定主题行并选择了该主题行。结果,电子邮件1212被显示在观看端口中,从而穿戴者可阅读电子邮件1212。取决于例如被选内容对象,穿戴者也可以以其它方式与用户界面1200交互。
5.结论
虽然本文已公开了各种示例方面和示例实施例,但本领域技术人员将清楚其它方面和实施例。本文公开的各种示例方面和示例实施例是为了例示,而并不打算进行限定,真实的范围和精神由权利要求指示。

Claims (20)

1.一种系统,包括:
非暂态计算机可读介质;以及
程序指令,其存储在非暂态计算机可读介质上且可由至少一个处理器执行来:
使得可头戴显示器(HMD)的图形显示器提供图形界面,该图形界面包括:(i)包括感兴趣部分和不感兴趣的另一部分的图形界面区域;(ii)可导航区域,该可导航区域占据图形界面区域的一部分,并且对应于图形界面区域的感兴趣部分;以及(iii)观看端口,该观看端口占据可导航区域的一部分,其中,起初,可导航区域固定在图形界面区域内,并且观看端口在可导航区域内可移动,并且其中,观看端口对应于图形显示器提供的观看区域,使得可导航区域的一部分和图形界面区域的较大部分在图形显示器中提供的可观看区域的外面;
随后接收指示HMD的移动的头部移动数据;
基于头部移动数据使得观看端口以一移动速度相对于可导航区域朝向可导航区域的边界移动;
确定移动速度超过预定移动速度阈值;以及
至少基于对移动速度超过预定移动速度阈值的确定,移动图形界面区域内的可导航区域和观看端口两者,使得可导航区域的边界与观看端口的间距保持在预定差值。
2.根据权利要求1所述的系统,其中(i)图形界面区域是包括360度跨度的循环图形界面区域,(ii)可导航区域包括180度的可导航跨度,并且(iii)观看端口包括小于180度的观看跨度。
3.根据权利要求1所述的系统,还包括程序指令,该存储指令存储在非暂态计算机可读介质上并可由至少一个处理器执行以:
提供对可导航区域的移动的连续视觉指示。
4.根据权利要求1所述的系统,其中预定移动速度阈值是第一预定移动速度阈值,系统还包括程序指令,该程序指令存储在非暂态计算机可读介质上并可由至少一个处理器执行以:
确定移动速度超过大于第一预定移动速度阈值的第二预定移动速度阈值。
5.根据权利要求4所述的系统,其中预定差值是第一预定差值,系统还包括程序指令,该程序指令存储在非暂态计算机可读介质上并可由至少一个处理器执行以:
至少基于对移动速度超过第二预定移动速度阈值的确定,移动图形界面内的可导航区域,使得边界距观看端口为额外的第二预定差值。
6.根据权利要求5所述的系统,还包括程序指令,该程序指令存储在非暂态计算机可读介质上并可由至少一个处理器执行以:
提供对可导航区域的移动的连续视觉指示。
7.根据权利要求5所述的系统,其中第二预定差值大于第一预定差值。
8.根据权利要求1所述的系统,其中可导航区域是第一可导航区域,图形界面还包括第二导航区域,第二导航区域占据图形界面区域的与第一可导航区域所占据的图形界面区域占据的部分不同的部分。
9.根据权利要求8所述的系统,其中预定移动速度阈值是第一预定移动速度阈值,系统还包括程序指令,该程序指令存储在非暂态计算机可读介质上并可由至少一个处理器执行以:
确定(i)移动速度超过第二预定移动速度阈值,并且(ii)观看端口在距第一可导航区域的边界的预定阈值距离内;以及
至少基于对(i)移动速度超过第二预定移动速度阈值,以及(ii)观看端口在距第一可导航区域的边界的预定阈值距离内的确定,使得观看端口进入第二可导航区域。
10.根据权利要求8所述的系统,其中所述图形界面包括软边界,软边界将第一可导航区域和第二可导航区域分开。
11.一种非暂态计算机可读介质,其中存储有指令,指令在由计算设备执行时使得计算设备执行功能,该功能包括:
使得可头戴显示器(HMD)的图形显示器提供图形界面,该图形界面包括:(i)包括感兴趣部分和不感兴趣的另一部分的图形界面区域;(ii)可导航区域,该可导航区域占据图形界面区域的一部分,并且对应于图形界面区域的感兴趣部分;以及(iii)观看端口,该观看端口占据可导航区域的一部分,其中,起初,可导航区域固定在图形界面区域内,并且观看端口在可导航区域内可移动,并且其中,观看端口对应于图形显示器中提供的视场,使得可导航区域的一部分和图形界面区域的较大部分在图形显示器中提供的视场的外面;
随后接收指示HMD的移动的头部移动数据;
基于头部移动数据使得观看端口以一移动速度相对于可导航区域朝向可导航区域的边界移动;
确定移动速度超过预定移动速度阈值;以及
至少基于对移动速度超过预定移动速度阈值的确定,移动图形界面区域内的可导航区域和观看端口两者,使得可导航区域的边界与观看端口的间距保持在预定差值。
12.根据权利要求11所述的非暂态计算机可读介质,其中预定移动速度阈值是第一预定移动速度阈值,功能还包括:
确定移动速度超过大于第一预定移动速度阈值的第二预定移动速度阈值。
13.根据权利要求12所述的非暂态计算机可读介质,其中预定差值是第一预定差值,功能还包括:
至少基于对移动速度超过第二预定移动速度阈值的确定,移动图形界面内的可导航区域,使得边界距观看端口为额外的第二预定差值。
14.根据权利要求13所述的非暂态计算机可读介质,其中第二预定差值大于第一预定差值。
15.根据权利要求11所述的非暂态计算机可读介质,其中(i)图形界面区域是包括360度跨度的循环图形界面区域,(ii)可导航区域包括180度的可导航跨度,并且(iii)观看端口包括小于180度的观看跨度。
16.一种方法包括:
使得可头戴显示器(HMD)的图形显示器提供图形界面,该图形界面包括:(i)包括感兴趣部分和不感兴趣的另一部分的图形界面区域;(ii)可导航区域,该可导航区域占据图形界面区域的一部分,并且对应于图形界面区域的感兴趣部分;以及(iii)观看端口,该观看端口占据可导航区域的一部分,其中,起初,可导航区域固定在图形界面区域内,并且观看端口在可导航区域内可移动,并且其中,观看端口对应于图形显示器中提供的视场,使得可导航区域的一部分和图形界面区域的较大部分在图形显示器中提供的视场的外面;
随后接收指示HMD的移动的头部移动数据;
基于头部移动数据使得观看端口以一移动速度相对于可导航区域朝向可导航区域的边界移动;
确定移动速度超过预定移动速度阈值;以及
至少基于对移动速度超过预定移动速度阈值的确定,移动图形界面区域内的可导航区域和观看端口两者,使得可导航区域的边界与观看端口的间距保持在预定差值。
17.根据权利要求16所述的方法,还包括:
确定移动速度超过大于第一预定移动速度阈值的第二预定移动速度阈值。
18.根据权利要求17所述的方法,还包括:
至少基于对移动速度超过第二预定移动速度阈值的确定,移动图形界面内的可导航区域,使得边界距观看端口为额外的第二预定差值。
19.根据权利要求16所述的方法,其中可导航区域是第一可导航区域,图形界面还包括第二导航区域,第二导航区域占据图形界面区域的与第一可导航区域所占据的图形界面区域占据的部分不同的部分。
20.根据权利要求19所述的方法,其中预定移动速度阈值是第一预定移动速度阈值,方法还包括:
确定(i)移动速度超过第二预定移动速度阈值,并且(ii)观看端口在距第一可导航区域的边界的预定阈值距离内;以及
至少基于对(i)移动速度超过第二预定移动速度阈值,以及(ii)观看端口在距第一可导航区域的边界的预定阈值距离内的确定,使得观看端口进入第二可导航区域。
CN201710891777.5A 2011-11-30 2012-11-27 具有可调整的边界的图形界面 Active CN107608520B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/307,168 US20130139082A1 (en) 2011-11-30 2011-11-30 Graphical Interface Having Adjustable Borders
US13/307,168 2011-11-30
CN201280068560.XA CN104081256B (zh) 2011-11-30 2012-11-27 具有可调整的边界的图形界面

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201280068560.XA Division CN104081256B (zh) 2011-11-30 2012-11-27 具有可调整的边界的图形界面

Publications (2)

Publication Number Publication Date
CN107608520A true CN107608520A (zh) 2018-01-19
CN107608520B CN107608520B (zh) 2020-08-11

Family

ID=48467977

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201280068560.XA Active CN104081256B (zh) 2011-11-30 2012-11-27 具有可调整的边界的图形界面
CN201710891777.5A Active CN107608520B (zh) 2011-11-30 2012-11-27 具有可调整的边界的图形界面

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201280068560.XA Active CN104081256B (zh) 2011-11-30 2012-11-27 具有可调整的边界的图形界面

Country Status (3)

Country Link
US (3) US20130139082A1 (zh)
CN (2) CN104081256B (zh)
WO (1) WO2013082034A1 (zh)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9268406B2 (en) 2011-09-30 2016-02-23 Microsoft Technology Licensing, Llc Virtual spectator experience with a personal audio/visual apparatus
US9286711B2 (en) * 2011-09-30 2016-03-15 Microsoft Technology Licensing, Llc Representing a location at a previous time period using an augmented reality display
US9035878B1 (en) 2012-02-29 2015-05-19 Google Inc. Input system
US9691241B1 (en) 2012-03-14 2017-06-27 Google Inc. Orientation of video based on the orientation of a display
US8643951B1 (en) 2012-03-15 2014-02-04 Google Inc. Graphical menu and interaction therewith through a viewing window
US20140059472A1 (en) * 2012-08-24 2014-02-27 Recon Instruments Inc. Methods and systems for controlling electronic devices
US20140067869A1 (en) * 2012-08-30 2014-03-06 Atheer, Inc. Method and apparatus for content association and history tracking in virtual and augmented reality
US20140152558A1 (en) * 2012-11-30 2014-06-05 Tom Salter Direct hologram manipulation using imu
JP6123365B2 (ja) * 2013-03-11 2017-05-10 セイコーエプソン株式会社 画像表示システム及び頭部装着型表示装置
US9041741B2 (en) * 2013-03-14 2015-05-26 Qualcomm Incorporated User interface for a head mounted display
JP6108926B2 (ja) * 2013-04-15 2017-04-05 オリンパス株式会社 ウェアラブル装置、プログラム及びウェアラブル装置の表示制御方法
US9563331B2 (en) * 2013-06-28 2017-02-07 Microsoft Technology Licensing, Llc Web-like hierarchical menu display configuration for a near-eye display
US9465238B2 (en) 2013-09-10 2016-10-11 Jonathan Matthew Mazzola Eyeglass system and method of use
US9448687B1 (en) 2014-02-05 2016-09-20 Google Inc. Zoomable/translatable browser interface for a head mounted device
KR102227087B1 (ko) * 2014-07-08 2021-03-12 엘지전자 주식회사 글래스 타입 단말기 및 그것의 제어방법
CN104306102B (zh) * 2014-10-10 2017-10-24 上海交通大学 针对视觉障碍患者的头戴式视觉辅助系统
CN104615241B (zh) * 2015-01-04 2017-08-25 谭希韬 基于头转动的穿戴式眼镜控制方法和系统
KR20160096422A (ko) * 2015-02-05 2016-08-16 삼성전자주식회사 화면 표시 방법 및 전자 장치
WO2016168786A1 (en) 2015-04-17 2016-10-20 Tulip Interfaces, Inc. Augmented interface authoring
CN104834356B (zh) * 2015-05-06 2018-04-13 百度在线网络技术(北京)有限公司 头戴式设备及其视觉反馈的方法及装置
US10437323B2 (en) * 2015-05-31 2019-10-08 Fieldbit Ltd. Controlling a head mounted device
US20170092002A1 (en) * 2015-09-30 2017-03-30 Daqri, Llc User interface for augmented reality system
JP6518582B2 (ja) * 2015-12-21 2019-05-22 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および操作受付方法
US10976809B2 (en) * 2016-03-14 2021-04-13 Htc Corporation Interaction method for virtual reality
KR20170126295A (ko) * 2016-05-09 2017-11-17 엘지전자 주식회사 헤드 마운티드 디스플레이 장치 및 그것의 제어방법
CN109416865B (zh) * 2016-07-04 2022-10-28 帕览诺私人有限公司 用于监控装置的使用的设备与方法
JP6440910B2 (ja) * 2016-07-29 2018-12-19 三菱電機株式会社 表示装置、表示制御装置および表示制御方法
US10339215B2 (en) * 2016-12-14 2019-07-02 International Business Machines Corporation Determining a reading speed based on user behavior
US11272160B2 (en) * 2017-06-15 2022-03-08 Lenovo (Singapore) Pte. Ltd. Tracking a point of interest in a panoramic video
US10489951B2 (en) 2017-09-29 2019-11-26 Qualcomm Incorporated Display of a live scene and auxiliary object

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5812142A (en) * 1994-09-30 1998-09-22 Apple Computer, Inc. Motion movement cueing through synchronized display port and image
EP1116211A4 (en) * 1998-09-22 2001-11-21 Vega Vista Inc INTUITIVE CONTROL OF A PORTABLE DATA PRESENTATION SCREEN
US6445364B2 (en) * 1995-11-28 2002-09-03 Vega Vista, Inc. Portable game display and method for controlling same
CN1950863A (zh) * 2004-05-07 2007-04-18 株式会社日本耐美得 便携式导航终端及其程序
US20100299630A1 (en) * 2009-05-22 2010-11-25 Immersive Media Company Hybrid media viewing application including a region of interest within a wide field of view

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6061064A (en) 1993-08-31 2000-05-09 Sun Microsystems, Inc. System and method for providing and using a computer user interface with a view space having discrete portions
JP3239641B2 (ja) * 1994-10-13 2001-12-17 ミノルタ株式会社 Hmd
US5742263A (en) 1995-12-18 1998-04-21 Telxon Corporation Head tracking system for a head mounted display system
US6757068B2 (en) * 2000-01-28 2004-06-29 Intersense, Inc. Self-referenced tracking
KR20030024021A (ko) * 2001-09-15 2003-03-26 김도균 헤드 마운트 디스플레이 장치
US7056119B2 (en) * 2001-11-29 2006-06-06 Lsa, Inc. Periscopic optical training system for operators of vehicles
US6868360B1 (en) * 2003-11-03 2005-03-15 The United States Of America As Represented By The Secretary Of The Navy Small head-mounted compass system with optical display
KR100751290B1 (ko) * 2006-03-31 2007-08-23 한국과학기술연구원 헤드 마운티드 디스플레이용 영상 시스템
US20100271587A1 (en) * 2007-06-07 2010-10-28 Panagiotis Pavlopoulos eyewear comprising at least one display device
JP2009244869A (ja) * 2008-03-11 2009-10-22 Panasonic Corp 表示装置、表示方法、眼鏡型ヘッドマウントディスプレイ、及び自動車
EP2211224A1 (en) 2009-01-27 2010-07-28 Thomson Licensing SA Head-mounted display and operating method thereof

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5812142A (en) * 1994-09-30 1998-09-22 Apple Computer, Inc. Motion movement cueing through synchronized display port and image
US6445364B2 (en) * 1995-11-28 2002-09-03 Vega Vista, Inc. Portable game display and method for controlling same
EP1116211A4 (en) * 1998-09-22 2001-11-21 Vega Vista Inc INTUITIVE CONTROL OF A PORTABLE DATA PRESENTATION SCREEN
CN1950863A (zh) * 2004-05-07 2007-04-18 株式会社日本耐美得 便携式导航终端及其程序
US20100299630A1 (en) * 2009-05-22 2010-11-25 Immersive Media Company Hybrid media viewing application including a region of interest within a wide field of view

Also Published As

Publication number Publication date
US20130139082A1 (en) 2013-05-30
CN107608520B (zh) 2020-08-11
US20190011982A1 (en) 2019-01-10
US10067559B2 (en) 2018-09-04
WO2013082034A1 (en) 2013-06-06
US20140258902A1 (en) 2014-09-11
CN104081256A (zh) 2014-10-01
CN104081256B (zh) 2017-10-27

Similar Documents

Publication Publication Date Title
CN104081256B (zh) 具有可调整的边界的图形界面
CN103959135B (zh) 用于输入检测的方法和系统
US10330940B1 (en) Content display methods
US8745058B1 (en) Dynamic data item searching
US9035878B1 (en) Input system
US20130246967A1 (en) Head-Tracked User Interaction with Graphical Interface
US8643951B1 (en) Graphical menu and interaction therewith through a viewing window
US20130117707A1 (en) Velocity-Based Triggering
US20150143297A1 (en) Input detection for a head mounted device
US9454288B2 (en) One-dimensional to two-dimensional list navigation
US9104275B2 (en) Mobile terminal to display an object on a perceived 3D space
CN104423584B (zh) 可佩戴的装置及其输出内容的方法
US20160011724A1 (en) Hands-Free Selection Using a Ring-Based User-Interface
US9213403B1 (en) Methods to pan, zoom, crop, and proportionally move on a head mountable display
US20150199081A1 (en) Re-centering a user interface
US9304320B2 (en) Head-mounted display and method of controlling the same
CN103369130B (zh) 显示设备及其控制方法
US9448687B1 (en) Zoomable/translatable browser interface for a head mounted device
US20130007672A1 (en) Methods and Systems for Correlating Head Movement with Items Displayed on a User Interface
US20150169070A1 (en) Visual Display of Interactive, Gesture-Controlled, Three-Dimensional (3D) Models for Head-Mountable Displays (HMDs)
US20130222638A1 (en) Image Capture Based on Gaze Detection
CN108073432B (zh) 一种头戴式显示设备的用户界面显示方法
US20150185971A1 (en) Ring-Based User-Interface
KR20110109974A (ko) 차량 전자 장치용 차량 유저 인터페이스 유닛
CN104238902A (zh) 堆栈式标签视图

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant