CN104871214A - 用于具扩增实境能力的装置的用户接口 - Google Patents

Abstract

本发明揭示一种用于显示扩增实境内容的方法及设备。所述方法可包含：控制相机来扫描在用户的视界中的环境；根据所述环境的特性来识别在所述环境中的一组表面以用于显示用户接口视窗；相对于环境中的所述组表面来排列供显示的一组扩增实境内容的优先顺序；及在显示器中将所述组扩增实境内容显示于所述组表面上。所述环境的特性至少包括：所述组表面相对于待显示的所述组扩增实境内容的宽高比；及/或所述组表面相对于待显示的所述组扩增实境内容的背景色彩。

Description

用于具扩增实境能力的装置的用户接口

相关申请案的交叉参考

本申请案主张2012年12月18日申请且标题为“用于具扩增实境能力的装置的用户接口(User Interface for Augmented Reality Enabled Devices)”的第13/718,923号美国申请案的权益及优先权，所述申请案转让给本受让人，且以引用的方式并入本文中。

技术领域

本发明涉及扩增实境的领域。确切地说，本发明涉及用于具扩增实境能力的装置的用户接口。

背景技术

头戴式显示器可经配置以允许用户看见位于其前面的世界，同时仍能够阅读其电子邮件、得到股票报价等。然而，现有装置的共同问题为所述现有装置可导致信息超载，这是因为用户不得不检视真实世界且还不得不改变焦点以检视AR内容。现有装置的另一问题为所述现有装置并不基于待显示的内容来对在用户的视界中的可用区域进行优先顺序排列及组织。图1说明根据某些常规应用所显示的信息的实例。如图1中所示，各种广告被置放于显示器屏幕上。所述广告中的一些广告(例如，152、154及156)可能已阻挡场景的某些部分使之不被用户看见。因此，常规应用尚未在使用户能够与其周围事物自然地交互的同时有效地将扩增实境内容整合到环境中，从而可能不利地影响头戴式显示器的用户体验。

因此，需要可解决常规解决方案的以上问题的方法及装置。

发明内容

本发明涉及用于具扩增实境能力的装置的用户接口。根据本发明的实施例，一种显示扩增实境内容的方法包括：控制相机来扫描在用户的视界中的环境；根据所述环境的特性来识别在所述环境中的一组表面以用于显示用户接口视窗；相对于环境中的所述组表面来排列供显示的一组扩增实境内容的优先顺序；及在显示器中将所述组扩增实境内容显示于所述组表面上。所述环境的特性至少包括：所述组表面相对于待显示的所述组扩增实境内容的宽高比；及/或所述组表面相对于待显示的所述组扩增实境内容的背景色彩。

在一些实施方案中，相对于环境中的所述组表面来排列供显示的一组扩增实境内容的优先顺序的方法包括基于以下各者来排列供显示的所述组扩增实境内容的优先顺序：所述组表面的面积、所述组表面的定向、所述组表面相对于用户的视野的位置及所述组表面的可跟踪性。

在一些其它实施方案中，相对于环境中的所述组表面来排列供显示的一组扩增实境内容的优先顺序的方法进一步包括基于以下各者中的至少一者来排列供显示的所述组扩增实境内容的优先顺序：所述组表面相对于待显示的所述组扩增实境内容的宽高比；及所述组表面相对于待显示的所述组扩增实境内容的背景色彩。

在又一些其它实施方案中，相对于环境中的所述组表面来排列供显示的一组扩增实境内容的优先顺序的方法进一步包括根据用户在环境中的先前使用模式的历史来确定供显示的一组扩增实境内容。确定供显示的一组扩增实境内容的方法包括以下各者中的至少一者：响应于确定用户正在工作来选择供显示的第一组扩增实境内容；响应于确定用户正在家中来选择供显示的第二组扩增实境内容；响应于确定用户正身处商务会议中来选择供显示的第三组扩增实境内容；及响应于确定用户正身处社交事件中来选择供显示的第四组扩增实境内容。

应注意，第一组扩增实境内容包含用户习惯于在工作时使用的用于通信及文件处理的应用程序，且第二组扩增实境内容包含用户习惯于在家中使用的用于通信及娱乐的应用程序。用于通信及文件处理的第一组扩增实境内容包含电子邮件、网页浏览器及办公室生产率(office productivity)应用程序，且用于通信及娱乐的第二组扩增实境内容包含Facebook、Twitter、电影及视频游戏应用程序。

在又一些其它实施方案中，相对于环境中的所述组表面来排列供显示的一组扩增实境内容的优先顺序的方法进一步包括基于以下各者中的至少一者来排列供显示的所述组扩增实境内容的优先顺序：待显示的所述组扩增实境内容的比例因子；及待显示的所述组扩增实境内容的逻辑关系。

在又一些其它实施方案中，相对于环境中的所述组表面来排列供显示的一组扩增实境内容的优先顺序的方法进一步包括：根据预定义的用户偏好来确定供显示的一组扩增实境内容；及在显示器中将所述组扩增实境内容显示于所述组表面上。所述预定义的用户偏好包括以下各者中的至少一者：扩增实境内容对用户的重要性；待显示的扩增实境内容的量；及扩增实境内容相对于所述组表面的检视定向。

在另一实施例中，计算机程序产品包括存储供一或多个计算机系统执行的计算机程序的非暂时性媒体；所述计算机程序产品包括：用于控制相机来扫描在用户的视界中的环境的代码；用于根据所述环境的特性来识别在所述环境中的一组表面以用于显示用户接口视窗的代码；用于相对于环境中的所述组表面来排列供显示的一组扩增实境内容的优先顺序的代码；用于在显示器中将所述组扩增实境内容显示于所述组表面上的代码。

在又一实施例中，设备包括至少一个处理器，其中所述至少一个处理器包括：经配置以控制相机来扫描在用户的视界中的环境的逻辑；经配置以根据所述环境的特性来识别在所述环境中的一组表面以用于显示用户接口视窗的逻辑；经配置以相对于环境中的所述组表面来排列供显示的一组扩增实境内容的优先顺序的逻辑；及经配置以在显示器中将所述组扩增实境内容显示于所述组表面上的逻辑。

在又一实施例中，用于显示扩增实境内容的系统包括：用于控制相机来扫描在用户的视界中的环境的装置；用于根据所述环境的特性来识别在所述环境中的一组表面以用于显示用户接口视窗的装置；用于相对于环境中的所述组表面来排列供显示的一组扩增实境内容的优先顺序的装置；及用于在显示器中将所述组扩增实境内容显示于所述组表面上的装置。

附图说明

在结合以下图式阅读本发明的实施例的详细描述之后将可更加清楚地理解本发明的上述特征及优点以及其额外特征及优点。

图1说明根据某些常规应用所显示的信息的实例。

图2说明根据本发明的一些方面的具扩增实境能力的装置。

图3说明根据本发明的一些方面的示范性具扩增实境能力的装置的框图。

图4说明根据本发明的一些方面的另一示范性具扩增实境能力的装置。

图5说明根据本发明的一些方面的图4的具扩增实境能力的装置的框图。

图6说明根据本发明的一些方面的用于具扩增实境能力的装置的示范性用户接口。

图7说明根据本发明的一些方面的显示扩增实境内容的示范性方法。

具体实施方式

揭示了用于具扩增实境能力的装置的用户接口的实施例。呈现以下描述以使所属领域的技术人员能够制作并使用本发明。对特定实施例及应用的描述仅被提供作为实例。本文中所描述的实例的各种修改及组合将容易被所属领域的技术人员显而易见，且可在不背离本发明的精神及范围的情况下将本文中所界定的一般原理应用于其它实例及应用。因此，本发明并不意欲受限于所描述并展示的实例，而是将符合与本文中所揭示的原理及特征一致的最广范围。词语“示范性”或“实例”在本文中用以意谓“充当实例、例子或说明”。本文中被描述为“示范性”或“实例”的任何方面或实施例不一定被解释为比其它方面或实施例较佳或有利。

图2说明根据本发明的一些方面的具扩增实境能力的装置。如图2中所示，具扩增实境能力的装置(ARD)200包含外壳101、显示器102、一或多个扬声器104及麦克风106。显示器102(其可为触摸屏显示器)可说明由相机105俘获的图像，或任何其它所要的用户接口信息。当然，ARD 200可包含未必与本发明相关的额外组件。

如本文中所使用，ARD装置是指任何便携式电子装置，例如蜂窝式或其它无线通信装置、个人通信系统(PCS)装置、个人导航装置(PND)、个人信息管理器(PIM)、个人数字助理(PDA)、膝上型或其它合适的移动平台。移动平台可能够接收无线通信信号及/或导航信号(例如，导航定位信号)。术语ARD还意欲包含例如通过短程无线、红外线、有线连接或其它连接而与个人导航装置(PND)通信的装置，此与卫星信号接收、辅助数据接收及/或位置相关处理发生在所述装置处还是在PND处无关。而且，ARD意欲包含能够俘获在姿势跟踪中所使用的图像以及能够执行扩增实境用户接口功能的所有电子装置，包含无线通信装置、计算机、膝上型计算机、平板计算机、智能电话、数字相机等。

图3说明根据本发明的一些方面的示范性具扩增实境能力的装置的框图。ARD 300的移动平台包含用于俘获环境的图像的相机108，所述图像可为个别照片或视频帧。ARD300的移动平台还可包含传感器116，所述传感器116可用以提供ARD 300的移动平台可借以确定其位置及定向(即，姿势)的数据。可与ARD 300的移动平台一起使用的传感器的实例包含加速计、石英传感器、陀螺仪、被用作线性加速计的微机电系统(MEMS)传感器，以及磁力计。

ARD 300的移动平台还可包含用户接口110，所述用户接口110包含能够显示图像的显示器112。用户接口110还可包含小键盘114或用户可借以将信息输入到ARD 300的移动平台中的其它输入装置。如果需要，可通过将虚拟小键盘集成到具有触控传感器的显示器112中而排除小键盘114。用户接口110还可包含麦克风117及一或多个扬声器118(例如，如果移动平台为蜂窝式电话)。当然，ARD 300的移动平台可包含与本发明无关的其它组件。

ARD 300的移动平台另外包含控制单元120，所述控制单元120连接到以下各者并与以下各者通信：相机108及传感器116，以及用户接口110，连同任何其它所要特征。可通过一或多个处理器122及/或相关联的存储器/存储器124来提供控制单元120。控制单元120还可包含软件126以及硬件128与固件130。控制单元120包含跟踪模块132，所述跟踪模块132经配置以跟踪ARD 300的位置以及跟踪由ARD 300监视的一或多个对象的位置。控制单元120进一步包含扩增实境用户接口模块134，所述扩增实境用户接口模块134经配置以将扩增实境交互呈现于ARD 300的显示器112上。出于清晰性，跟踪模块132及扩增实境用户接口模块134是与处理器122及/或硬件128分开来加以说明的，但可基于软件126及固件130中的指令将跟踪模块132及扩增实境用户接口模块134组合及/或实施于处理器122及/或硬件128中。

图4说明根据本发明的一些方面的另一示范性具扩增实境能力的装置400。如图4中所示，具扩增实境能力的装置400可为头戴式装置。根据本发明的方面，头戴式装置可经配置以学习用户的以往的使用模式及偏好，且基于用户可能身处的时间及环境来自动地调适用户接口视窗。举例来说，头戴式装置可经配置以根据用户在某一环境中的先前使用模式的历史来确定供显示的一组扩增实境内容，且接着相应地显示所述组扩增实境内容。

在一种方法中，头戴式装置可经配置以响应于确定用户正在工作来选择供显示的第一组扩增实境内容。在另一种方法中，头戴式装置可经配置以响应于确定用户正在家中来选择供显示的第二组扩增实境内容。在又一种方法中，头戴式装置可经配置以响应于确定用户正身处商务会议中来选择供显示的第三组扩增实境内容。在又一种方法中，头戴式装置可经配置以响应于确定用户正身处社交事件中来选择供显示的第四组扩增实境内容。

根据本发明的方面，第一组扩增实境内容可包含用户习惯于在工作时使用的用于通信及文件处理的应用程序，且第二组扩增实境内容可包含用户习惯于在家中使用的用于通信及娱乐的应用程序。用于通信及文件处理的第一组扩增实境内容可包含电子邮件、网页浏览器及办公室生产率应用程序，且用于通信及娱乐的第二组扩增实境内容可包含Facebook、Twitter、电影及视频游戏应用程序。

图5说明根据本发明的一些方面的图4的具扩增实境能力的装置的框图。在一些实施方案中，头戴式装置400可作为一系统的部分进行操作，在所述系统中，传感器阵列500可将数据提供到处理器507，所述处理器507执行本文中所描述的各种实施例的操作且将数据传达到服务器及从服务器接收数据。应注意，头戴式装置400的处理器507可包含一个以上的处理器(或多核心处理器)，其中核心处理器可执行全部控制功能，而共处理器执行应用程序(有时被称作应用处理器)。核心处理器及应用处理器可经配置于相同的微芯片封装(例如，多核心处理器)中或分开的芯片中。而且，处理器507可与关联于其它功能的处理器封装于相同的微芯片封装内，所述其它功能例如：无线通信(即，调制解调器处理器)、导航(例如，GPS接收器内的处理器)及图形处理(例如，图形处理单元或“GPU”)。

头戴式装置400可与可包含其它计算装置(例如，可接入因特网的个人计算机及移动装置)的通信系统或网络通信。此些个人计算机及移动装置可包含天线551、发射器/接收器或收发器552及模/数转换器553，所述模/数转换器553耦合到处理器507以使所述处理器能够经由无线通信网络来发送及接收数据。举例来说，移动装置(例如，蜂窝式电话)可经由无线通信网络(例如，Wi-Fi或蜂窝式电话数据通信网络)来接入因特网。此些无线通信网络可包含耦合到网关的多个基站或耦合到因特网的因特网接入服务器。个人计算机可以任何常规的方式耦合到因特网，例如通过经由因特网网关(未图示)达成的有线连接或通过无线通信网络。

参看图5，头戴式装置400可包含耦合到控制系统处理器507的场景传感器500及音频传感器505，所述控制系统处理器507可配置有若干模块510-550。在一实施例中，处理器507或场景传感器500可将解剖特征辨识算法应用于图像以检测一或多个解剖特征。与控制系统相关联的处理器507可检阅所检测到的解剖特征以便辨识一或多个示意动作并将所辨识的示意动作处理为输入命令。举例来说，如下文予以更详细论述，用户可执行对应于输入命令的移动示意动作，例如将手指指向虚拟对象以关闭所述虚拟对象。响应于辨识出此实例示意动作，处理器507可从显示器移除所述虚拟对象。作为另一实例，用户可将一只手上的食指轻触拇指而形成“OK”符号以便确认呈现于显示器上的指令或选项。

场景传感器500(其可包含立体相机、定向传感器(例如，加速计及电子罗盘)及距离传感器)可将与场景相关的数据(例如，图像)提供到实施于处理器507内的场景管理器510，所述场景管理器510可经配置以解译三维场景信息。在各种实施例中，场景传感器500可包含立体相机(如下文所描述)及距离传感器，其可包含用于为红外线相机照明场景的红外线光发射器。举例来说，在图5中所说明的实施例中，场景传感器500可包含：立体红绿蓝(RGB)相机503a，其用于搜集立体图像；及红外线相机503b，其经配置以在可由结构化的红外线光发射器503c提供的红外线光中使场景成像。如下文所论述，结构化的红外线光发射器可经配置以发射可由红外线相机503b成像的红外线光的脉冲，其中所接收的像素的时间被记录并用以使用飞行时间计算来确定距图像元件的距离。可将立体RGB相机503a、红外线相机503b及红外线发射器503c共同地称作RGB-D(D为距离)相机503。

场景管理器模块510可扫描由场景传感器500提供的距离测量及图像，以便产生图像内的对象的三维重建物，包含距立体相机的距离及表面定向信息。在一实施例中，场景传感器500(且更特定来说，RGB-D相机503)可指向与用户及头戴式装置400的视野对准的方向上。场景传感器500可提供全身三维运动俘获及示意动作辨识。场景传感器500可具有与红外线相机503c(例如单色CMOS传感器)组合的红外线光发射器503c。场景传感器500可进一步包含俘获三维视频数据的立体相机503a。场景传感器500可在环境光、太阳光或完全黑暗中工作，且可包含如本文中所描述的RGB-D相机。场景传感器500可包含近红外线(NIR)脉冲照明组件以及具有快速门控机构的图像传感器。可收集每一像素的脉冲信号，且所述脉冲信号对应于脉冲所反射自的位置且可用以计算距所俘获主体上的对应点的距离。

在另一实施例中，场景传感器500可使用其它距离测量技术(即，不同类型的距离传感器)来俘获图像内的对象的距离，例如，超音波回声定位、雷达、立体图像的三角测量等。如上文所论述，在一实施例中，场景传感器500可包含测距相机、闪光检测及测距(LIDAR)相机、飞行时间(ToF)相机及/或RGB-D相机503，其可使用测距门控ToF感测、RF调变ToF感测、脉冲光ToF感测及投影光立体感测中的至少一者来确定距对象的距离。在另一实施例中，场景传感器500可使用立体相机503a来俘获场景的立体图像且基于所述图像内含有的所俘获像素的亮度来确定距离。如上文所提及，出于一致性，本文中大体上将此些类型的距离测量传感器及技术中的一或多者称作“距离传感器”。可存在具不同能力及分辨率的多个场景传感器以帮助对物理环境绘图，准确跟踪用户在环境内的位置且准确跟踪用户对环境的视界。

头戴式装置400还可包含音频传感器505，例如麦克风或麦克风阵列。音频传感器505使头戴式装置400能够记录音频，且进行声源定位及环境噪声抑制。音频传感器505可俘获音频并将音频信号转换到音频数字数据。与控制系统相关联的处理器可检阅音频数字数据并应用话音辨识算法以将所述数据转换到可搜索的文本数据。处理器还可检阅所产生的文本数据以找到某些已辨识命令或关键字且将已辨识命令或关键字用作输入命令来执行一或多个任务。举例来说，用户可说出例如“锚定虚拟对象”的命令以将所显示的虚拟对象锚定于所选表面上。举例来说，用户可说出“关闭应用程序”以关闭显示于显示器上的应用程序。

头戴式装置400还可包含显示器540。显示器540可显示由场景传感器500内的相机获得或由位于头戴式装置400内或耦合到头戴式装置400的处理器产生的图像。在一实施例中，显示器540可为微显示器。显示器540可为全遮蔽显示器(fully occludeddisplay)。在另一实施例中，显示器540可为半透明显示器，其可在屏幕上显示图像，用户可透过所述屏幕检视环境的周围事物。可以单眼或立体(即，双眼)配置来配置显示器540。或者，头戴式显示器400可为佩戴于头部或作为头盔的一部分的头盔安装型显示装置，其可具有位于一只眼睛(单眼)前部或位于两只眼睛(即，双眼或立体显示器)前部的小型显示器540光学元件。或者，头戴式装置400还可包含两个显示单元540，所述显示单元540经小型化且可为以下各者中的任何一或多者：阴极射线管(CRT)显示器、液晶显示器(LCD)、硅上液晶(LCos)显示器、有机发光二极管(OLED)显示器、基于干涉调变器(IMOD)元件(其为简单的微机电系统(MEMS)装置)的Mirasol显示器、光导显示器及波导显示器，以及存在及可被开发的其它显示器技术。在另一实施例中，显示器540可包括多个微显示器540以增加总分辨率且增大视野。

头戴式装置400还可包含音频输出装置550，所述音频输出装置550可为耳机及/或扬声器(被共同地展示为参考数字550)以输出音频。头戴式装置400还可包含一或多个处理器，所述一或多个处理器可将控制功能提供到头戴式装置400以及产生图像(例如如下文与图6相关联而描述的用户接口视窗)。举例来说，头戴式装置400可包含核心处理器、应用处理器、图形处理器及导航处理器。或者，头戴式显示器400可耦合到一分开的处理器，例如位于智能电话或其它移动计算装置中的处理器。可通过处理器或通过移动CPU来处理视频/音频输出，所述移动CPU连接(经由有线或无线网络)到头戴式装置400。头戴式装置400还可包含场景管理器块510、用户控制块515、表面管理器块520、音频管理器块525及信息存取块530，以上各者可为分开的电路模块或可作为软件模块而实施于处理器内。头戴式装置400可进一步包含本地存储器及用于与其它装置或区域无线或有线网络通信的无线或有线接口，以便从远程存储器555接收数字数据。在系统中使用远程存储器555可通过减少装置中的存储器芯片及电路板而使头戴式装置400能够变得更轻便。

控制器的场景管理器块510可从场景传感器500接收数据并建构物理环境的虚拟表示。举例来说，激光器可用以发射从房间中的对象反射且被俘获于相机中的激光，其中将光的往返时间用以计算距房间中的各个对象及表面的距离。此些距离测量可用以确定房间中的对象的位置、大小及形状，且产生场景的地图。在编制地图之后，场景管理器块510可将地图连结到其它所产生的地图以形成预定区域的较大地图。在一实施例中，可将场景及距离数据发射到服务器或其它计算装置，所述服务器或其它计算装置可基于从若干头戴式装置接收的图像、距离及地图数据(及随时间的过去当用户在场景内到处移动时)产生合并或整合地图。可经由无线数据链路使此整合地图数据可供头戴式装置处理器使用。其它地图可为由本装置或由其它头戴式装置所扫描的地图，或可接收自云端服务。场景管理器510可基于来自场景传感器500的数据来识别表面并跟踪用户的当前位置。用户控制块515可搜集对系统的用户控制输入(例如，音频命令、示意动作及输入装置(例如，键盘、鼠标))。在一实施例中，用户控制块515可包含示意动作字典或可经配置以存取示意动作字典，以解译由场景管理器510识别的用户身体部分的移动。应注意，示意动作字典可存储用于辨识示意动作的移动数据或模式，示意动作可包含轻戳、轻拍、轻触、按、导引、笔触、转动、旋转、抓取及拉动、双手手掌摊开以用于水平移动图像、绘画(例如，指画法)、用手指形成形状(例如，“OK”符号)及拨动，以上各者皆可在所产生的显示物中的虚拟对象的视在位置上实现或密切接近所述视在位置实现。用户控制块515还可辨识复合命令。此可包含两个或两个以上命令。举例来说，示意动作与声音(例如，掌声)或语音控制命令(例如，所作出并与语音命令或口述词语组合以确认操作的检测到的“OK”手部示意动作)。当识别了用户控制515时，控制器可将请求提供到头戴式装置400的另一子组件。

头戴式装置400还可包含表面管理器块520。表面管理器块520可基于所俘获的图像(如由场景管理器块510管理)及来自距离传感器的测量来连续地跟踪场景内的表面的位置。表面管理器块520还可连续地更新可被锚定于所俘获的图像内的表面上的虚拟对象的位置。表面管理器块520可负责作用中表面及用户接口视窗。音频管理器块525可提供用于音频输入及音频输出的控制指令。音频管理器块525可建构被递送到耳机及扬声器550的音频流。

信息存取块530可提供控制指令以调停对数字信息的存取。数据可存储于头戴式装置400上的本地存储器存储媒体上。数据还可存储于可存取的数字装置上的远程数据存储媒体555上，或数据可存储于分散式云端存储存储器上，所述分散式云端存储存储器可由头戴式装置400存取。信息存取块530与数据存储器件555通信，所述数据存储器件555可为存储器、磁盘、远程存储器、云端计算资源或集成存储器555。

图6说明根据本发明的一些方面的用于具扩增实境能力的装置的示范性用户接口。如图6中所示，用户接口可经配置以将真实世界对象与AR内容有效地融合。在一个示范性实施方案中，ARD使用前向相机来扫描环境。在一种方法中，Qualcomm Vuforia^TM计算机视觉应用程序可用以检测平坦表面。如图6中所示，所述平坦表面可包含在用户的顶部视界、底部视界、左视界、右视界及前视界中的表面，且环境可包含真实世界对象，例如桌子602、窗户604、油画606及灯608。可接着将用户接口视窗(例如，610、612、614、616、618、620、622及624)置于平坦表面以用于显示扩增实境内容(例如，电子邮件、PowerPoint演示、Facebook、推文(tweet)、电影等)。

在一些实施方案中，如果扩增实境内容的数目可能大于所识别的用户接口视窗的数目，那么ARD可经配置以对待显示的所述数目的扩增实境内容进行优先顺序排列及剪除。在一些其它实施方案中，ARD可经配置以合并或分裂所检测到的平坦表面，从而形成不同组用户接口视窗来匹配待显示的扩增实境内容。

根据本发明的实施例，ARD可经配置以基于以下准则来排列所检测到的平坦表面的优先顺序，所述准则包含(但不限于)：a)用户接口视窗的特征可被跟踪的程度；b)表面的面积/大小；c)表面相对于用户视野(FOV)的位置；4)表面的定向及宽高比；及5)表面的背景色彩。在一些实施方案中，如果表面具有许多色彩且具有高频率变化，那么可选择一组标记使得即使用户将他的头从一个视界移到另一视界，一(或多个)虚拟用户接口视窗仍可“黏”在表面上。另外，在用户正与人交谈的情形中，位于周边中的表面可比位于中心中的表面较佳，以便用户接口视窗不会干扰用户与人的交谈。在一些应用中，大区域可比小区域较佳。

在一些实施方案中，取决于待显示的内容，具有垂直定向的表面可对于显示Word文件来说较佳，而具有水平定向的表面可对于显示电影来说较佳。此外，可在使待显示的扩增实境内容与用户接口视窗匹配时将每一用户接口视窗的宽高比用作准则。举例来说，长而窄的水平用户接口视窗可用以显示股票行情指示器，而具有16:9或4:3的大致宽高比的用户接口视窗可用以显示电影。

在其它实施方案中，可在使待显示的扩增实境内容与用户接口视窗匹配时将表面(例如，墙壁)的背景色彩用作准则。举例来说，具有灰色壁纸的墙壁可比简单的白色墙壁较佳，因为与会反射来自窗户或来自环境中的其它光源的光的简单的白色墙壁相比，显示于灰色表面上的扩增实境内容可具有更大的对比度。

根据本发明的方面，在已排列待用作底图的表面的优先顺序之后，可接着将用户接口视窗特征化以供显示。基于以下准则来向用户接口视窗提供属性，所述准则包含(但不限于)：a)某一内容对用户的重要性；b)待显示的内容的量；及c)待显示的内容的检视定向及宽高比。

ARD可接着基于上文所描述的准则将用户接口视窗指派给表面。举例来说，可将具有许多内容的较高优先权用户接口视窗置于具有大面积的高优先权表面中。ARD可经配置以跟踪一表面是否已在由前向相机俘获的帧中移动(因为用户已移动了他的头部，或在实际表面(例如，公共汽车侧面)已被移动的情况下)。基于使用ARD中的一或多个六自由度传感器(例如，加速计、磁力计及陀螺仪)来做出此确定。举例来说，如果用户头部在表面已移动时保持为静止，那么可剪除所述表面，且可重新指派用户接口视窗。根据本发明的方面，在一种方法中，ARD可经配置以将尺度不变特征变换(SIFT)技术用于由ARD的相机俘获的图像来跟踪环境中的可用表面。在另一种方法中，ARD可经配置以将随机取样一致(RANSAC)技术用于由ARD的相机俘获的图像来跟踪环境中的可用表面。在又一种方法中，ARD可经配置以使用非视觉方法(例如使用环境中可用的射频识别(RFID))来跟踪环境中的表面。

根据本发明的一些方面，可连续地跟踪及呈现场景内的虚拟对象(例如在锚定表面上)，使得甚至在用户转动她的头且到处移动时虚拟对象仍可表现为固定的。如上文所提及，相对于周围事物来定向ARD(例如，头戴式装置)且确定距各个表面的距离及各个表面的相对定向的程序可通过以下操作来连续地实现：监视定向传感器(例如，加速计及陀螺仪)且对所述装置的位置及视角进行三角测量(当所述装置在空间中移动时，通过不断地参考所扫描的三维(3D)环境的地形的移位)，因此执行同时定位及绘图(SLAM)操作。

通过使用上文所描述的方法，如图6中所示，用户接口视窗610可描述在横向模式下地面上的大小为120平方英尺的区域，其具有相对低的优先权及相对低的可跟踪性。用户接口视窗612可描述在纵向模式下右墙壁上的大小为70平方英尺的区域，其具有相对中等的优先权及相对高的可跟踪性。用户接口视窗614可描述在纵向模式下右墙壁上的大小为100平方英尺的区域，其具有相对中等的优先权及相对高的可跟踪性。用户接口视窗616可描述在横向模式下天花板上的大小为100平方英尺的区域，其具有相对低的优先权及相对低的可跟踪性。用户接口视窗618可描述在横向模式下前墙壁上的大小为80平方英尺的区域，其具有相对高的优先权及相对高的可跟踪性。用户接口视窗620可描述在横向模式下左墙壁上的大小为50平方英尺的区域，其具有相对高的优先权及相对高的可跟踪性。用户接口视窗622可描述在纵向模式下左墙壁上的大小为100平方英尺的区域，其具有相对中等的优先权及相对高的可跟踪性。用户接口视窗624可描述在横向模式下左墙壁上的大小为50平方英尺的区域，其具有相对中等的优先权及相对高的可跟踪性。

在ARD已识别了环境中的平坦表面之后，ARD可将AR视窗按其相应优先权的次序指派给所述平坦表面。举例来说，用户在他的会议之前在他个人计算机上最近所忙于的Word文件可具有较高优先权，且可被置放于会议室中在他前面的墙壁上。根据本发明的方面，ARD可考虑到AR视窗的大小以确保其与待显示的AR内容匹配。举例来说，如果待显示的文件中的字型可能太小且难以阅读，那么可放大AR视窗的大小。另一方面，如果AR视窗的大小对于文件来说可能太大且使得用户眼睛不适，那么可减小AR视窗的大小。在一些实施方案中，ARD可应用一组比例因子，其可用以伸展或缩小AR视窗。在一种方法中，最小比例因子及最大比例因子(例如resize_min及resize_max)可用以调整AR视窗的大小。举例来说，用于显示文件的典型值可基于预定AR视窗大小(例如640x480VGA)在resize_min为0.5(50％)与resize_max为3.0(300％)之间的范围中。对于另一实例来说，来自Netflix应用程序的待播放的电影的resize_min及resize_max可分别为0.5(50％)及10.0(1,000％)，此指示电影可被重新设定成远大于文件的大小。

在一些实施方案中，基于大小，AR视窗可被显示于给定表面上，可做出确定来分裂平坦表面以支持两个或两个以上AR视窗。根据本发明的方面，如果待显示于第一AR视窗中的AR内容可能不使用整个可用表面，那么可将经分配到第一AR视窗的表面进一步分裂成多个AR视窗。另一方面，如果待显示的AR内容需要较大的显示表面，那么可合并多个AR视窗以形成新的AR视窗。

在一些其它实施方案中，可通过待显示的AR内容间的逻辑关系来确定AR内容的优先顺序排列及AR内容到AR视窗的指派。ARD可经配置以在彼此接近的两个或两个以上的AR视窗中显示多个逻辑上相关的AR内容。举例来说，ARD可经配置以使用AR视窗来显示解释科学理论的文件，且使用邻近的AR视窗来显示展示所述科学理论的示范的视频。作为另一实例，ARD可经配置以使用AR视窗来显示在讨论会上将公布的论文，且使用邻近的AR视窗来显示作者可用于在讨论会上呈现所述论文的演示幻灯片。

通过上文所描述的用户接口，用户可在从所建立的用户接口视窗读取扩增实境内容的同时与其周围事物更自然地交互，这是因为此些用户接口视窗并非仅仅被置放于用户前面。实情为，根据本发明的方面，所述用户接口视窗经置放而更好地融合到环境中的自然场景中。因此，可应用所揭示的用户接口以改进用户的效率及生产率。

图7说明根据本发明的一些方面的显示扩增实境内容的示范性方法。在块702中，处理器122及/或扩增实境用户接口模块134可经配置以控制相机来扫描在用户的视界中的环境。在块704中，处理器122及/或扩增实境用户接口模块134可经配置以根据所述环境的特性来识别在所述环境中的一组表面以用于显示用户接口视窗。在块706中，处理器122及/或扩增实境用户接口模块134可经配置以相对于环境中的所述组表面来排列供显示的一组扩增实境内容的优先顺序。在块708中，处理器122及/或扩增实境用户接口模块134可经配置以在显示器中将所述组扩增实境内容显示于所述组表面上。

根据本发明的方面，环境包括真实世界对象，且其中所述组表面包含在用户的顶部视界、底部视界、左视界、右视界及前视界中的表面，且显示器为头戴式显示器。环境的特性包含(但不限于)：所述组表面相对于待显示的所述组扩增实境内容的宽高比；及所述组表面相对于待显示的所述组扩增实境内容的背景色彩。

根据本发明的实施例，块706中所执行的方法可另外包含块710、712、714、716及718中所执行的方法。在块710中，处理器122及/或扩增实境用户接口模块134可经配置以基于以下各者来排列供显示的所述组扩增实境内容的优先顺序：所述组表面的面积、所述组表面的定向、所述组表面相对于用户的视野的位置及所述组表面的可跟踪性。

在块712中，处理器122及/或扩增实境用户接口模块134可经配置以基于以下各者中的至少一者来排列供显示的所述组扩增实境内容的优先顺序：所述组表面相对于待显示的所述组扩增实境内容的宽高比；及所述组表面相对于待显示的所述组扩增实境内容的背景色彩。

在块714中，处理器122及/或扩增实境用户接口模块134可经配置以根据用户在环境中的先前使用模式的历史来确定供显示的一组扩增实境内容。在一些实施方案中，处理器122及/或扩增实境用户接口模块134可经配置以：响应于确定用户正在工作来选择供显示的第一组扩增实境内容；响应于确定用户正在家中来选择供显示的第二组扩增实境内容；响应于确定用户正身处商务会议中来选择供显示的第三组扩增实境内容；或响应于确定用户正身处社交事件中来选择供显示的第四组扩增实境内容。

在一些实施方案中，第一组扩增实境内容包含用户习惯于在工作时使用的用于通信及文件处理的应用程序，且第二组扩增实境内容包含用户习惯于在家中使用的用于通信及娱乐的应用程序。另外，用于通信及文件处理的第一组扩增实境内容包含电子邮件、网页浏览器及办公室生产率应用程序，且用于通信及娱乐的第二组扩增实境内容包含Facebook、Twitter、电影及视频游戏应用程序。

在块716中，处理器122及/或扩增实境用户接口模块134可经配置以基于以下各者中的至少一者来排列供显示的所述组扩增实境内容的优先顺序：待显示的所述组扩增实境内容的比例因子；及待显示的所述组扩增实境内容的逻辑关系。

在块718中，处理器122及/或扩增实境用户接口模块134可经配置以：根据预定义的用户偏好来确定供显示的一组扩增实境内容；及在显示器中将所述组扩增实境内容显示于所述组表面上。应注意，所述预定义的用户偏好包括以下各者中的至少一者：扩增实境内容对用户的重要性；待显示的扩增实境内容的量；及扩增实境内容相对于所述组表面的检视定向。

根据本发明的方面，处理器122及/或扩增实境用户接口模块134可经配置以：识别环境中的一组标记；使所述组标记与所述组表面相关联；及使用所述组标记来跟踪所述组表面。根据本发明的一些方面，可通过图3的处理器122或扩增实境用户接口模块134或通过两者的组合(潜在地与一或多个其它元件组合)来实施图7中所描述的功能。在一些实施方案中，所述功能可通过处理器122、软件126、硬件128及固件130或以上各者的用以执行本发明中所描述的设备的各种功能的组合来执行。在又一些其它实施方案中，图7中所描述的功能可通过与一或多个其它元件(例如，图5的元件500-550)组合的处理器507来实施。

应注意，至少段落[0066]到[0068]、图3、图5、图7及其对应的描述提供：用于控制相机来扫描在用户的视界中的环境的装置；用于根据所述环境的特性来识别在所述环境中的一组表面以用于显示用户接口视窗的装置；用于相对于环境中的所述组表面来排列供显示的一组扩增实境内容的优先顺序的装置；及用于在显示器中将所述组扩增实境内容显示于所述组表面上的装置。至少段落[0066]到[0068]、图3、图5、图6、图7及其对应的描述提供：用于基于以下各者来排列供显示的所述组扩增实境内容的优先顺序的装置：所述组表面的面积、所述组表面的定向、所述组表面相对于用户的视野的位置及所述组表面的可跟踪性；及用于基于以下各者中的至少一者来排列供显示的所述组扩增实境内容的优先顺序的装置：所述组表面相对于待显示的所述组扩增实境内容的宽高比；及所述组表面相对于待显示的所述组扩增实境内容的背景色彩；用于根据用户在环境中的先前使用模式的历史来确定供显示的一组扩增实境内容的装置；用于基于以下各者中的至少一者来排列供显示的所述组扩增实境内容的优先顺序的装置：待显示的所述组扩增实境内容的比例因子；及待显示的所述组扩增实境内容的逻辑关系；用于根据预定义的用户偏好来确定供显示的一组扩增实境内容的装置；及用于在显示器中将所述组扩增实境内容显示于所述组表面上的装置。

本文中所描述的方法及移动装置可取决于应用而通过各种装置来实施。举例来说，可以硬件、固件、软件或其组合来实施此些方法。对于硬件实施来说，处理单元可实施于一或多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、电子装置、经设计以执行本文中所描述的功能的其它电子单元或其组合内。本文中，术语“控制逻辑”涵盖通过软件、硬件、固件或其组合所实施的逻辑。

对于固件及/或软件实施来说，所述方法可通过执行本文中所描述的功能的模块(例如，程序、函数等等)来实施。可在实施本文所述的方法时使用有形地体现指令的任何机器可读媒体。举例来说，软件代码可存储于存储器中且由处理单元来执行。存储器可实施于处理单元内或位于处理单元外部。如本文中所使用，术语“存储器”是指任何类型的长期、短期、易失性、非易失性或其它存储装置，且并不限制于任何特定类型的存储器或任何特定数目的存储器，或其上存储存储器的媒体的类型。

如果以固件及/或软件实施，那么所述功能可作为一或多个指令或代码而存储于计算机可读媒体上。实例包含编码有数据结构的计算机可读媒体及编码有计算机程序的计算机可读媒体。计算机可读媒体可采取制品的形式。计算机可读媒体包含物理计算机存储媒体及/或其它非暂时性媒体。存储媒体可为可由计算机存取的任何可用媒体。通过实例而非限制，此些计算机可读媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储器、磁盘存储器或其它磁性存储装置，或可用以存储呈指令或数据结构的形式的所要程序代码且可由计算机存取的任何其它媒体；如本文中所使用，磁盘及光盘包含压缩光盘(CD)、激光光盘、光盘、数字多功能光盘(DVD)、软性磁盘及蓝光光盘，其中磁盘通常以磁性方式复制数据，而光盘通过激光以光学方式复制数据。以上各物的组合还应包含于计算机可读媒体的范围内。

除了存储于计算机可读媒体上之外，指令及/或数据还可作为信号而提供于包含于通信设备中的传输媒体上。举例来说，通信设备可包含具有指示指令及数据的信号的收发器。所述指令及数据经配置以使一或多个处理器实施权利要求书中所概述的功能。即，通信设备包含具有指示用以执行所揭示功能的信息的信号的传输媒体。在第一时间，通信设备中所包含的传输媒体可包含用以执行所揭示功能的信息的第一部分，而在第二时间，通信设备中所包含的传输媒体可包含用以执行所揭示功能的信息的第二部分。

可结合例如无线广域网(WWAN)、无线局域网(WLAN)、无线个人局域网(WPAN)等等各种无线通信网络来实施本发明。常常可互换地使用术语“网络”与“系统”。常常可互换地使用术语“位置(position)”与“位置(location)”。WWAN可为码分多址(CDMA)网络、时分多址(TDMA)网络、频分多址(FDMA)网络、正交频分多址(OFDMA)网络、单载波频分多址(SC-FDMA)网络、长期演进(LTE)网络、WiMAX(IEEE 802.16)网络，等等。CDMA网络可实施一或多种无线电接入技术(RAT)，例如cdma2000、宽带CDMA(W-CDMA)，等等。cdma2000包含IS-95、IS2000及IS-856标准。TDMA网络可实施全球移动通信系统(GSM)、数字高级移动电话系统(D-AMPS)，或某一其它RAT。GSM及W-CDMA被描述于来自名为“第三代合作伙伴计划”(3GPP)的协会的文件中。cdma2000被描述于来自名为“第三代合作伙伴计划2”(3GPP2)的协会的文件中。3GPP及3GPP2文件是公开可得的。WLAN可为IEEE 802.11x网络，且WPAN可为蓝牙网络、IEEE 802.15x或某一其它类型的网络。所述技术还可结合WWAN、WLAN及/或WPAN的任何组合来实施。

移动台是指能够接收无线通信信号及/或导航信号的装置，例如蜂窝式或其它无线通信装置、个人通信系统(PCS)装置、个人导航装置(PND)、个人信息管理器(PIM)、个人数字助理(PDA)、膝上型计算机或其它合适的移动装置。术语“移动台”还意欲包含例如通过短程无线、红外线、有线连接或其它连接来与个人导航装置(PND)通信的装置，此与卫星信号接收、辅助数据接收及/或位置相关处理发生在所述装置处还是在PND处无关。而且，“移动台”意欲包含所有装置，包含无线通信装置、计算机、膝上型计算机等，其能够例如经由因特网、Wi-Fi或其它网络来与服务器通信，且与卫星信号接收、辅助数据接收及/或位置相关处理发生在所述装置处、服务器处还是与网络相关联的另一装置处无关。上述各者的任何可操作组合还被视为“移动台”。

指定某物为“最佳化的”、“所要求的”或其它指定并不指示本发明仅适用于最佳化的系统，或其中存在“所要求的”元件的系统(或归因于其它指定的其它限制)。此些指定仅指特定的所描述的实施方案。当然，许多实施方案是可能的。所述技术可与不同于本文中所论述的协议的协议(包含正在开发或待开发的协议)一起使用。

所属领域的技术人员将认识到，可在仍使用相同的基本底层机构及方法的同时使用所揭示的实施例的许多可能的修改及组合。出于解释的目的，已参考特定实施例而书写上述描述。然而，上文的说明性论述并不意欲为详尽的或将本揭示案限制到所揭示的精确形式。鉴于以上教示，许多修改及变化是可能的。选择并描述所述实施例以解释本发明的原理及其实际应用，且使所属领域的技术人员能够最好地利用本发明及具有适于所预期的特定用途的各种修改的各种实施例。

Claims (42)

1.一种显示扩增实境内容的方法，其包括：

控制相机来扫描在用户的视界中的环境；

根据所述环境的特性来识别在所述环境中的一组表面以用于显示用户接口视窗；

相对于所述环境中的所述组表面来排列供显示的一组扩增实境内容的优先顺序；及

在显示器中将所述组扩增实境内容显示于所述组表面上。

2.根据权利要求1所述的方法，其中所述环境包括真实世界对象，且其中所述组表面包含在所述用户的顶部视界、底部视界、左视界、右视界及前视界中的表面；且其中所述显示器为头戴式显示器。

3.根据权利要求1所述的方法，其中相对于所述环境中的所述组表面来排列供显示的一组扩增实境内容的优先顺序包括：

基于以下各者来排列供显示的所述组扩增实境内容的优先顺序：所述组表面的面积、所述组表面的定向、所述组表面相对于所述用户的视野的位置及所述组表面的可跟踪性。

4.根据权利要求1所述的方法，其中相对于所述环境中的所述组表面来排列供显示的一组扩增实境内容的优先顺序进一步包括：

基于以下各者中的至少一者来排列供显示的所述组扩增实境内容的优先顺序：所述组表面相对于待显示的所述组扩增实境内容的宽高比；及所述组表面相对于待显示的所述组扩增实境内容的背景色彩。

5.根据权利要求1所述的方法，其中相对于所述环境中的所述组表面来排列供显示的一组扩增实境内容的优先顺序进一步包括：

根据所述用户在所述环境中的先前使用模式的历史来确定供显示的一组扩增实境内容。

6.根据权利要求5所述的方法，其中确定供显示的一组扩增实境内容包括以下各者中的至少一者：

响应于确定所述用户正在工作来选择供显示的第一组扩增实境内容；

响应于确定所述用户正在家中来选择供显示的第二组扩增实境内容；

响应于确定所述用户正身处商务会议中来选择供显示的第三组扩增实境内容；及

响应于确定所述用户正身处社交事件中来选择供显示的第四组扩增实境内容。

7.根据权利要求6所述的方法，其中

所述第一组扩增实境内容包含所述用户习惯于在工作时使用的用于通信及文件处理的应用程序；且

所述第二组扩增实境内容包含所述用户习惯于在家中使用的用于通信及娱乐的应用程序。

8.根据权利要求7所述的方法，其中

用于通信及文件处理的所述第一组扩增实境内容包含电子邮件、网页浏览器及办公室生产率应用程序；且

用于通信及娱乐的所述第二组扩增实境内容包含Facebook、Twitter、电影及视频游戏应用程序。

9.根据权利要求1所述的方法，其中相对于所述环境中的所述组表面来排列供显示的一组扩增实境内容的优先顺序进一步包括：

基于以下各者中的至少一者来排列供显示的所述组扩增实境内容的优先顺序：待显示的所述组扩增实境内容的比例因子；及待显示的所述组扩增实境内容的逻辑关系。

10.根据权利要求1所述的方法，其中相对于所述环境中的所述组表面来排列供显示的一组扩增实境内容的优先顺序进一步包括：

根据预定义的用户偏好来确定供显示的一组扩增实境内容；及

在所述显示器中将所述组扩增实境内容显示于所述组表面上。

11.根据权利要求10所述的方法，其中预定义的用户偏好包括以下各者中的至少一者：

扩增实境内容对所述用户的重要性；

待显示的所述扩增实境内容的量；及

所述扩增实境内容相对于所述组表面的检视定向。

12.根据权利要求1所述的方法，其进一步包括：

识别所述环境中的一组标记；

使所述组标记与所述组表面相关联；及

使用所述组标记来跟踪所述组表面。

13.一种计算机程序产品，其包括存储供一或多个计算机系统执行的计算机程序的非暂时性媒体，所述计算机程序产品包括：

用于控制相机来扫描在用户的视界中的环境的代码；

用于根据所述环境的特性来识别在所述环境中的一组表面以用于显示用户接口视窗的代码；

用于相对于所述环境中的所述组表面来排列供显示的一组扩增实境内容的优先顺序的代码；及

用于在显示器中将所述组扩增实境内容显示于所述组表面上的代码。

14.根据权利要求13所述的计算机程序产品，其中所述环境包括真实世界对象，且其中所述组表面包含在所述用户的顶部视界、底部视界、左视界、右视界及前视界中的表面；且其中所述显示器为头戴式显示器。

15.根据权利要求13所述的计算机程序产品，其中用于相对于所述环境中的所述组表面来排列供显示的一组扩增实境内容的优先顺序的代码包括：

用于基于以下各者来排列供显示的所述组扩增实境内容的优先顺序的代码：所述组表面的面积、所述组表面的定向、所述组表面相对于所述用户的视野的位置及所述组表面的可跟踪性。

16.根据权利要求13所述的计算机程序产品，其中用于相对于所述环境中的所述组表面来排列供显示的一组扩增实境内容的优先顺序的代码进一步包括：

用于基于以下各者中的至少一者来排列供显示的所述组扩增实境内容的优先顺序的代码：所述组表面相对于待显示的所述组扩增实境内容的宽高比；及所述组表面相对于待显示的所述组扩增实境内容的背景色彩。

17.根据权利要求13所述的计算机程序产品，其中用于相对于所述环境中的所述组表面来排列供显示的一组扩增实境内容的优先顺序的代码进一步包括：

用于根据所述用户在所述环境中的先前使用模式的历史来确定供显示的一组扩增实境内容的代码。

18.根据权利要求17所述的计算机程序产品，其中用于确定供显示的一组扩增实境内容的代码包括以下各者中的至少一者：

用于响应于确定所述用户正在工作来选择供显示的第一组扩增实境内容的代码；

用于响应于确定所述用户正在家中来选择供显示的第二组扩增实境内容的代码；

用于响应于确定所述用户正身处商务会议中来选择供显示的第三组扩增实境内容的代码；及

用于响应于确定所述用户正身处社交事件中来选择供显示的第四组扩增实境内容的代码。

19.根据权利要求18所述的计算机程序产品，其中

所述第一组扩增实境内容包含所述用户习惯于在工作时使用的用于通信及文件处理的应用程序；且

所述第二组扩增实境内容包含所述用户习惯于在家中使用的用于通信及娱乐的应用程序。

20.根据权利要求19所述的计算机程序产品，其中

用于通信及文件处理的所述第一组扩增实境内容包含电子邮件、网页浏览器及办公室生产率应用程序；且

用于通信及娱乐的所述第二组扩增实境内容包含Facebook、Twitter、电影及视频游戏应用程序。

21.根据权利要求13所述的计算机程序产品，其中用于相对于所述环境中的所述组表面来排列供显示的一组扩增实境内容的优先顺序的代码进一步包括：

用于基于以下各者中的至少一者来排列供显示的所述组扩增实境内容的优先顺序的代码：待显示的所述组扩增实境内容的比例因子；及待显示的所述组扩增实境内容的逻辑关系。

22.根据权利要求13所述的计算机程序产品，其中用于相对于所述环境中的所述组表面来排列供显示的一组扩增实境内容的优先顺序的代码进一步包括：

用于根据预定义的用户偏好来确定供显示的一组扩增实境内容的代码；及

用于在所述显示器中将所述组扩增实境内容显示于所述组表面上的代码。

23.根据权利要求22所述的计算机程序产品，其中预定义的用户偏好包括以下各者中的至少一者：

扩增实境内容对所述用户的重要性；

待显示的所述扩增实境内容的量；及

所述扩增实境内容相对于所述组表面的检视定向。

24.根据权利要求13所述的计算机程序产品，其进一步包括：

用于识别所述环境中的一组标记的代码；

用于使所述组标记与所述组表面相关联的代码；及

用于使用所述组标记来跟踪所述组表面的代码。

25.一种设备，其包括：

至少一个处理器，其中所述至少一个处理器包括：

经配置以控制相机来扫描在用户的视界中的环境的逻辑；

经配置以根据所述环境的特性来识别在所述环境中的一组表面以用于显示用户接口视窗的逻辑；

经配置以相对于所述环境中的所述组表面来排列供显示的一组扩增实境内容的优先顺序的逻辑；及

经配置以在显示器中将所述组扩增实境内容显示于所述组表面上的逻辑。

26.根据权利要求25所述的设备，其中所述环境包括真实世界对象，且其中所述组表面包含在所述用户的顶部视界、底部视界、左视界、右视界及前视界中的表面；且其中所述显示器为头戴式显示器。

27.根据权利要求25所述的设备，其中经配置以相对于所述环境中的所述组表面来排列供显示的一组扩增实境内容的优先顺序的逻辑包括：

经配置以基于以下各者来排列供显示的所述组扩增实境内容的优先顺序的逻辑：所述组表面的面积、所述组表面的定向、所述组表面相对于所述用户的视野的位置及所述组表面的可跟踪性。

28.根据权利要求25所述的设备，其中经配置以相对于所述环境中的所述组表面来排列供显示的一组扩增实境内容的优先顺序的逻辑进一步包括：

经配置以基于以下各者中的至少一者来排列供显示的所述组扩增实境内容的优先顺序的逻辑：所述组表面相对于待显示的所述组扩增实境内容的宽高比；及所述组表面相对于待显示的所述组扩增实境内容的背景色彩。

29.根据权利要求25所述的设备，其中经配置以相对于所述环境中的所述组表面来排列供显示的一组扩增实境内容的优先顺序的逻辑进一步包括：

经配置以根据所述用户在所述环境中的先前使用模式的历史来确定供显示的一组扩增实境内容的逻辑。

30.根据权利要求29所述的设备，其中经配置以确定供显示的一组扩增实境内容的逻辑包括以下各者中的至少一者：

经配置以响应于确定所述用户正在工作来选择供显示的第一组扩增实境内容的逻辑；

经配置以响应于确定所述用户正在家中来选择供显示的第二组扩增实境内容的逻辑；

经配置以响应于确定所述用户正身处商务会议中来选择供显示的第三组扩增实境内容的逻辑；及

经配置以响应于确定所述用户正身处社交事件中来选择供显示的第四组扩增实境内容的逻辑。

31.根据权利要求30所述的设备，其中

所述第一组扩增实境内容包含所述用户习惯于在工作时使用的用于通信及文件处理的应用程序；且

所述第二组扩增实境内容包含所述用户习惯于在家中使用的用于通信及娱乐的应用程序。

32.根据权利要求31所述的设备，其中

用于通信及文件处理的所述第一组扩增实境内容包含电子邮件、网页浏览器及办公室生产率应用程序；且

用于通信及娱乐的所述第二组扩增实境内容包含Facebook、Twitter、电影及视频游戏应用程序。

33.根据权利要求25所述的设备，其中经配置以相对于所述环境中的所述组表面来排列供显示的一组扩增实境内容的优先顺序的逻辑进一步包括：

经配置以基于以下各者中的至少一者来排列供显示的所述组扩增实境内容的优先顺序的逻辑：待显示的所述组扩增实境内容的比例因子；及待显示的所述组扩增实境内容的逻辑关系。

34.根据权利要求25所述的设备，其中经配置以相对于所述环境中的所述组表面来排列供显示的一组扩增实境内容的优先顺序的逻辑进一步包括：

经配置以根据预定义的用户偏好来确定供显示的一组扩增实境内容的逻辑；及

经配置以在所述显示器中将所述组扩增实境内容显示于所述组表面上的逻辑。

35.根据权利要求34所述的设备，其中预定义的用户偏好包括以下各者中的至少一者：

扩增实境内容对所述用户的重要性；

待显示的所述扩增实境内容的量；及

所述扩增实境内容相对于所述组表面的检视定向。

36.根据权利要求25所述的设备，其进一步包括：

经配置以识别所述环境中的一组标记的逻辑；

经配置以使所述组标记与所述组表面相关联的逻辑；及

经配置以使用所述组标记来跟踪所述组表面的逻辑。

37.一种用于显示扩增实境内容的系统，其包括：

用于控制相机来扫描在用户的视界中的环境的装置；

用于根据所述环境的特性来识别在所述环境中的一组表面以用于显示用户接口视窗的装置；

用于相对于所述环境中的所述组表面来排列供显示的一组扩增实境内容的优先顺序的装置；及

用于在显示器中将所述组扩增实境内容显示于所述组表面上的装置。

38.根据权利要求37所述的系统，其中用于相对于所述环境中的所述组表面来排列供显示的一组扩增实境内容的优先顺序的装置包括：

用于基于以下各者来排列供显示的所述组扩增实境内容的优先顺序的装置：所述组表面的面积、所述组表面的定向、所述组表面相对于所述用户的视野的位置及所述组表面的可跟踪性。

39.根据权利要求37所述的系统，其中用于相对于所述环境中的所述组表面来排列供显示的一组扩增实境内容的优先顺序的装置进一步包括：

用于基于以下各者中的至少一者来排列供显示的所述组扩增实境内容的优先顺序的装置：所述组表面相对于待显示的所述组扩增实境内容的宽高比；及所述组表面相对于待显示的所述组扩增实境内容的背景色彩。

40.根据权利要求37所述的系统，其中用于相对于所述环境中的所述组表面来排列供显示的一组扩增实境内容的优先顺序的装置进一步包括：

用于根据所述用户在所述环境中的先前使用模式的历史来确定供显示的一组扩增实境内容的装置。

41.根据权利要求37所述的系统，其中用于相对于所述环境中的所述组表面来排列供显示的一组扩增实境内容的优先顺序的装置进一步包括：

用于基于以下各者中的至少一者来排列供显示的所述组扩增实境内容的优先顺序的装置：待显示的所述组扩增实境内容的比例因子；及待显示的所述组扩增实境内容的逻辑关系。

42.根据权利要求37所述的系统，其中用于相对于所述环境中的所述组表面来排列供显示的一组扩增实境内容的优先顺序的装置进一步包括：

用于根据预定义的用户偏好来确定供显示的一组扩增实境内容的装置；及

用于在所述显示器中将所述组扩增实境内容显示于所述组表面上的装置。