CN106020437A - 增强现实 - Google Patents

Abstract

本申请涉及增强现实。根据示例方面，提供了一种装置，其包括至少一个处理核和包括计算机程序代码的至少一个存储器，所述至少一个存储器和所述计算机程序代码被配置成与所述至少一个处理核一起使得所述装置至少：获得用户的移动情境；至少部分地基于所述移动情境，对至少两个对象基于它们对所述用户的可视性来进行分级；以及至少部分地基于所述分级，确定所述至少两个对象中的至少一个对象作为用于增强现实信息元素的放置对象。

Description

增强现实

技术领域

本发明涉及用于增强现实系统和/或相机系统的信息管理的领域。

背景技术

增强现实是其中用附加或补充信息来补充或增强真实物理环境的直接或间接视图的布置。补充信息可以涉及在物理环境的视图中的对象，从而使得补充信息可以提供与物理环境的视图中的真实物理对象相关的附加信息。

增强现实的示例是智能电话相机被用来捕获景观(例如城市)的视图。该视图可被提供给智能电话中所包括的屏幕，就如同用户在意图使用相机捕获该景观的数字照片时摇移(pan)智能电话进行拍摄的情况。在智能电话上运行的软件可以例如基于智能电话的方位和位置来确定视图的内容中的至少一些内容，其中可以使用来自智能电话中所包括的传感器的传感器数据来确定所述智能电话的方位和位置这二者。

使用智能电话的方位和位置，软件可以向景观的视图中插入与处于视图中的对象有关的补充信息。例如，在软件涉及操作机器的情况下，所插入的补充信息可以涉及用户应当如何与机器控件进行交互来使用该机器。

除了智能电话，用户可能佩戴着包括透明显示器的眼镜，从而使得用户能够看穿该眼镜而观看外面的世界，并且增强现实软件可以叠置在与用户能够看到的视图中的对象有关的透明显示信息上。

在一些汽车中，至少部分地使用挡风玻璃来将信息传送给用户。在这种情况下，与操作该汽车有关的信息可以经由挡风玻璃被反射给驾驶员的眼睛。在用户能够通过显示器观看实际物理视图的情况下，该视图是直接的，而在用户观看非透明显示器上的物理视图的情况下，如在智能电话的情况中那样，可以将视图看作是间接的。

发明内容

通过独立权利要求的特征来定义本发明。在从属权利要求中定义了一些具体实施例。

根据本发明的第一方面，提供了一种装置，其包括至少一个处理核和包括计算机程序代码的至少一个存储器，所述至少一个存储器和所述计算机程序代码被配置成与所述至少一个处理核一起使得所述装置至少：获取用户的移动情境；至少部分地基于所述移动情境，对至少两个对象基于它们对所述用户的可视性来进行分级；以及至少部分地基于所述分级，确定所述至少两个对象中的至少一个对象作为用于增强现实信息元素的放置对象。

第一方面的各种实施例可以包括来自下面的项目符号列表的至少一个特征：

●所述至少一个存储器和所述计算机程序代码被配置成与所述至少一个处理核一起使得所述装置至少部分地基于以下内容来对所述至少两个对象进行分级：至少部分地基于所述移动情境来估计所述用户的视场，以及估计所述至少两个对象中的每个对象处于所述视场中有多久；

●所述至少一个存储器和所述计算机程序代码被配置成与所述至少一个处理核一起使得所述装置：至少部分地基于包括在所述移动情境中的导航路线来估计所述视场；

●所述至少一个存储器和所述计算机程序代码被配置成与所述至少一个处理核一起使得所述装置：至少部分地基于包括在所述用户的所述移动情境中的移动方向来估计所述视场；

●所述至少一个存储器和所述计算机程序代码被配置成与所述至少一个处理核一起使得所述装置：至少部分地基于所述至少两个对象中的至少一个对象的移动情境来对所述至少两个对象进行分级；

●所述用户的所述移动情境包括关于所述用户过去所处地点的信息；

●所述移动情境进一步包括关于所述用户过去所注视的地方的信息；

●所述至少一个存储器和所述计算机程序代码被配置成与所述至少一个处理核一起使得所述装置：至少部分地基于对象类型数据结构来对所述至少两个对象进行分级；

●所述至少一个存储器和所述计算机程序代码被配置成与所述至少一个处理核一起使得所述装置：根据所述用户的身份来选择所述增强现实信息元素；

●所述增强现实信息元素包括以下中的至少一个：交通公告、个人消息、广告、通用公共通告以及与设备有关的状态消息；

●所述至少一个存储器和所述计算机程序代码被配置成与所述至少一个处理核一起使得所述装置：至少部分地基于对象值得注意力值(noticeability values)来对所述至少两个对象进行分级；

●所述至少一个存储器和所述计算机程序代码被配置成与所述至少一个处理核一起使得所述装置：至少部分地基于用来确定所述至少两个对象对所述用户的可视性的三维邻域模型，对所述至少两个对象进行分级。

根据本发明的第二方面，提供了一种装置，其包括至少一个处理核和包括计算机程序代码的至少一个存储器，所述至少一个存储器和所述计算机程序代码被配置成与所述至少一个处理核一起使得所述装置至少：标识感兴趣的对象；预测所述感兴趣的对象的移动路径、移动速度和移动步调中的至少一个；以及基于所述感兴趣的对象的移动路径和基于用户的移动情境来调整至少一个相机设置。

第二方面的各种实施例可以包括来自下面的项目符号列表的至少一个特征：

●所述至少一个存储器和所述计算机程序代码被配置成与所述至少一个处理核一起使得所述装置：响应于确定存在所述感兴趣的对象的清晰拍摄而触发所述相机；

●所述至少一个存储器和所述计算机程序代码被配置成与所述至少一个处理核一起使得所述装置：调整对焦相机设置和快门速度相机设置中的至少一个。

根据本发明的第三方面，提供了一种方法，其包括：获取用户的移动情境；至少部分地基于所述移动情境，对至少两个对象基于它们对所述用户的可视性来进行分级；以及至少部分地基于所述分级，确定所述至少两个对象中的至少一个对象作为用于增强现实信息元素的放置对象。

第三方面的各种实施例可以包括与来自结合第一方面展示的前述项目符号列表中的特征相对应的至少一个特征。

根据本发明的第四方面，提供了一种方法，其包括：标识感兴趣的对象；预测所述感兴趣的对象的移动路径、移动速度和移动步调中的至少一个；以及基于所述感兴趣的对象的移动路径和基于用户的移动情境来调整至少一个相机设置。

第四方面的各种实施例可以包括与来自结合第二方面展示的前述项目符号列表中的特征相对应的至少一个特征。

根据本发明的第五方面，提供了一种装置，其包括：用于获取用户的移动情境的构件；用于至少部分地基于所述移动情境对至少两个对象基于它们对所述用户的可视性来进行分级的构件；以及用于至少部分地基于所述分级，确定所述至少两个对象中的至少一个对象作为用于增强现实信息元素的放置对象的构件。

根据本发明的第六方面，提供了一种装置，其包括：用于标识感兴趣的对象的构件；用于预测所述感兴趣的对象的移动路径、移动速度和移动步调中的至少一个的构件；以及用于基于所述感兴趣的对象的移动路径和基于用户的移动情境来调整至少一个相机设置的构件。

根据本发明的第七方面，提供了一种其上存储了计算机可读指令集合的非瞬态计算机可读介质，所述计算机可读指令集合当由至少一个处理器执行时使得装置至少：获取用户的移动情境；至少部分地基于所述移动情境，对至少两个对象基于它们对所述用户的可视性来进行分级；以及至少部分地基于所述分级，确定所述至少两个对象中的至少一个对象作为用于增强现实信息元素的放置对象。

根据本发明的第八方面，提供了一种其上存储了计算机可读指令集合的非瞬态计算机可读介质，所述计算机可读指令集合当由至少一个处理器执行时使得装置至少：标识感兴趣的对象；预测所述感兴趣的对象的移动路径、移动速度和移动步调中的至少一个；以及基于所述感兴趣的对象的移动路径和基于用户的移动情境来调整至少一个相机设置。

根据本发明的第九方面，提供了一种方法，其包括：标识用户的视场中的至少两个对象；预测所述至少两个对象中的至少一个对象的至少一个移动路径；确定所述至少两个对象中的至少一个对象的速度；确定用户的移动情境；至少部分地基于所述对象的移动路径和速度中的至少一个和基于所述用户的移动情境，对于所述至少两个对象中的每个对象估计其将留在所述用户的视场中的时间；以及从所述至少两个对象当中选择被估计成停留在所述用户的视场中最长时间的第一对象。

第九方面的各种实施例可以包括来自下面的项目符号列表的至少一个特征：

●所述方法进一步包括：至少部分地基于所述第一对象的移动路径，调整至少一个相机设置；

●所述方法进一步包括：使用所述第一对象作为用于增强现实信息元素的放置对象；

●所述方法进一步包括：根据所述第一对象将留在所述用户的视场中的时间来选择用于在所述第一对象上放置的增强现实信息元素。

根据本发明的第十方面，提供了一种装置，其包括至少一个处理核和包括计算机程序代码的至少一个存储器，所述至少一个存储器和所述计算机程序代码被配置成与所述至少一个处理核一起使得所述装置至少：标识用户的视场中的至少两个对象；预测所述至少两个对象中的至少一个对象的至少一个移动路径；确定所述至少两个对象中的至少一个对象的速度；确定用户的移动情境；至少部分地基于所述对象的移动路径和速度中的至少一个和基于所述用户的移动情境，对于所述至少两个对象中的每个对象估计其将留在所述用户的视场中的时间；以及从所述至少两个对象当中选择被估计成停留在所述用户的视场中最长时间的第一对象。

第十方面的各种实施例可以包括与来自结合第九方面展示的前述项目符号列表中的特征相对应的至少一个特征。

根据本发明的第十一方面，提供了一种计算机程序，所述计算机程序被配置成使得实施根据第三、第四或第九方面中的至少一个的方法。

工业适用性

本发明的至少一些实施例在促进使用增强现实原理的通信中找得到工业应用。

附图说明

图1示出了能够支持本发明的至少一些实施例的示例系统；

图2示出了根据本发明的至少一些实施例的示例使用情况；

图3示出了能够支持本发明的至少一些实施例的示例装置；

图4示出了根据本发明的至少一些实施例的信令；

图5是根据本发明的至少一些实施例的第一方法的第一流程图；以及

图6是根据本发明的至少一些实施例的第二方法的第二流程图。

具体实施方式

通过基于对象对于用户的可视性和/或显著性来对这些对象进行分级，可以改进在增强现实中所显示的消息的有效性。在这种情况下，例如，所述消息可以涉及用户或用户的环境。换句话说，不同于在常规的增强现实应用中那样，补充信息不需要与在增强视图中补充信息在视觉上所关联的真实生活对象直接相关。

图1示出了能够支持本发明的至少一些实施例的示例系统。图1具有示出了街道100和140的交叉路口的地图。该交叉路口在两个街道继续通过该交叉路口的意义上是四向的，这意味着可以从四个不同的方向离开该交叉路口。在该交叉路口的四个角落处，按照顺时针的顺序是建筑物102、建筑物104、建筑物106和建筑物108。人行道102SW和108SW分别被部署在街道与建筑物102和108之间。人行道也被部署在建筑物104和106与街道之间，但是为了清楚起见在图1中没有对这些进行标号。

用户可以在该交叉路口所位于的城市中到处移动。在图1的示例中，用箭头120示出了用户所采取的路线。如箭头120所示，用户在人行道上沿街道100从左向右走动，在交叉路口处穿过街道140。可能存在行人交叉路以便使得用户能够进行这种穿过，例如，这样的行人交叉路可选地配备有被配置成对交通流动进行控制的交通灯。

在该示例中用户使用增强现实系统，例如基于包括显示机制的眼镜的增强现实系统。增强现实系统可以包括显示机制以及在至少一个处理核上运行的增强现实应用。增强现实应用可以在用户设备上进行本地运行，或者它可以至少部分地在服务器上或在云计算环境中进行远程运行。这样的增强现实系统可以允许光从用户的环境中的对象行进到用户的眼睛，并且还允许显示机制向用户提供补充视觉信息。可以按照将补充信息与视图中所包括的对象相关联的方式来提供该补充信息。例如，显示机制可以包括小型投影仪，该小型投影仪被布置成将光从眼镜的内表面反射到用户的一只眼睛或一双眼睛，从而使得反射到用户，所反射的光可以传送在空间上与真实生活视图中的对象相关联的补充信息。因而，用户所体验到的视图可以包括源自用户的环境中的真实对象的光以及由显示机制所提供的光这两者。补充视觉信息例如可以加强显示在用户的环境中的特征，诸如地铁站和/或售票机。尽管被描述为直接视图示例，但是本发明的实施例同样适用于依赖于间接视图的增强现实应用。

建筑物102、104、106和108可被看作是用户的物理环境中的对象。此外，建筑物的一部分或分段可被看作是对象。对象的更多示例包括汽车和广告架。增强现实应用可被配置成提供在视觉上放置于对象上的信息元素。由此意指所述信息元素被显示机制进行渲染，从而使得向用户渲染，信息元素看起来被附着于对象或与对象相关联，例如类似于海报可如何被附着到墙壁或架子。当信息元素在视觉上被放置于对象上时，它们包含的信息可以按照感觉更自然和更不使用户分心的方式被呈现给用户，这是因为人们习惯看到关于对象的信息，而不是看起来简单漂浮在空中、与任何真实生活对象不相关联的信息。在视觉上放置了信息元素的对象可被称为放置对象。

增强现实应用可被配置成确定至少一个放置对象以便向用户呈现信息元素。不是向用户呈现关于放置对象的信息，增强现实应用而是可被配置成向用户呈现以该用户为目标的信息。为了便于这一点，增强现实应用可被配置成以最大化信息元素对用户的可视性的方式来选择用于信息的放置对象。还可以例如基于放置对象的特性、复杂度和紧急性当中的至少一个，例如从信息元素集合中选择要呈现给用户的信息元素。例如，响应于确定放置对象将在较长时间内对用户可见，对于用户可以选择包括较长消息的信息元素，并且响应于确定放置对象将在较短时间内对用户可见，可以选择包括较短消息的信息元素。

例如，信息元素可被指定给作为群组的一部分的用户，或者它们可被指定给用户个人。被指定给用户的信息元素的示例包括交通公告、个人消息、定向广告、通用公共通告以及与设备相关的状态消息。信息元素也可以经由用户的位置而被指定给用户，例如，诸如公共安全公告这样的信息元素可被指定给处在给定地理位置的所有人。这样的公告的示例是海啸预警。

为了最大化信息元素当被放置在对象上时的可视性或显著性，可以根据用户的移动情境来选择放置对象。移动情境可以包括移动状态。通常，移动情境可以包括数据结构，该数据结构包括以下中的至少一个：用户的位置、用户正在移动的方向、用户正在移动的速度、用户遵循的导航路线，用户过去所处的地点以及用户过去注视的对象。经由注视跟踪功能，可以通过增强现实应用来获得用户注视的方向，该注视跟踪功能可被包括在用户使用的并且与增强现实应用相关联的增强现实设备中。

用户遵循的导航路线可以包括在用户的导航应用中活动的导航路线。例如，用户可以具有运行导航应用的智能电话或其它设备，并且运行增强现实应用的设备可以是同一设备，或者是与运行导航应用的设备相关联的用户的另一设备。例如，这样的关联可以经由诸如Google、Here或数字生态系统帐户这样的预订而发生。可选地，例如，导航路线可以包括用户已经登上的公共交通车辆的路线。

用户的位置可以在移动情境中被表达为地址、地理位置或通过使用另一适当表达来进行表达。移动的方向可被表达为方向矢量，其还可以包括反映了用户正在移动的速度的幅度。可选地，方向矢量可被归一化并且可以使用单独的数字来指示速度(如果有的话)。在用户使用导航应用的情况下，可以根据公开了用户是在导航路线的行车分段上还是在行人道上的导航应用信息来获得增强现实应用。增强现实应用可以使用该信息来预测用户的速度。

当增强现实应用知道用户的移动情境时，可以实现预测用户有可能注视的地方。例如，在图1的示例中，用户在点130处的可能视场被射线132和射线134示意性地示出。射线134受到建筑物106角落的限制，而射线132受到视场宽度的限制。用户将看不到由射线132和134定义的场地内的每件事物，但是用户有可能看到该场地内的至少一些事物，尤其是被部署在该视场的中心附近达较长时间的对象。在图1中，增强现实应用可以选择由104A表示的建筑物104的角落，作为要在增强现实视图中向用户显示的信息元素的放置对象，这是因为角落104A处于视场中，当用户穿过路线120时将留在那里较长时间，此外其处在该视场的中心附近。作为引起使用角落104A的进一步原因，增强现实视图可以评估出交通灯可以让用户在他能够穿过街道140之前停留一段时间，从而使得他在等待交通灯变绿时将面向角落104。

通常，对象(例如真实生活对象)可以基于其被预测的可视性而被分级，并且可以至少部分地基于该分级来选择至少一个放置对象。然后，所选择的放置对象可用于显示增强现实信息对象，例如像如上所述的信息对象。例如，所述分级可以基于将可视性分数指派给至少两个对象。可以按照很多可行方式中的任何一种来定义对象的可视性分数，例如，可视性分数可以是可视性时间分数和可视性中心度(centrality)分数的总和，其中可视性时间分数指示了预测到对象处于用户的视场中的时间长度，并且可视性中心度分数可以指示预测到对象与视场的中心的接近程度。在一些实施例中，至少部分地根据预测到放置对象留在用户的视场中多久来选择关于放置对象的放置的信息元素。详细而言，具有较多信息的信息元素可以在视觉上被放置在预测为较长时间留在用户的视场中的放置对象上，以便给用户时间来消化该信息。例如像较短消息这样的具有较少信息的信息元素可以在视觉上被放置在预测为较短时间留在视场中的对象上。这样做的原因是因为用户能够更快地掌握这样的信息元素的信息内容，所以较短时间内留在视图中的放置对象是可接受的。

在一些实施例中，可视性分数是所预测的可视性中心度分数在时间上的积分。这种方式的积分可以提供以下优点：其可以有效地捕获用户可能分派给对象的关注量。

除了基于用户的当前移动来预测对象的可视性，可选地或附加地，增强现实应用可以基于用户过去所在的地方来对至少两个对象进行分级。例如，由于用户在他的办公室花费很多时间这一事实，用户的办公室的墙壁可以被分级为具有高可视性，并且因此可被选择作为放置对象。注视跟踪可用于对用户花费很多时间的地点中的对象进行分级，以便使得能够将用户特别具有观看习惯的对象选择作为放置对象。为了实现这种分级，增强现实应用可以编译历史注视跟踪信息。历史移动、位置和/或注视跟踪信息可以被包括在移动情境中。在一些实施例中，移动情境仅包括历史移动、位置和/或注视跟踪信息。通过历史意指某事已经发生，但并不意指暗示自此已经逝去很长时间。

在一些实施例中，增强现实应用可被配置成至少部分地基于对象类型来实施分级。对象可以在增强现实应用中与包括表征真实生活对象的信息的对象类型数据结构相关联。例如，汽车制造商可能偏好于经由其自己制造的汽车来向用户传送信息元素。在这样的情况下，至少一些汽车将在增强现实应用中与包括制造商数据条目的对象类型数据结构相关联，并且由制造商提供的增强现实信息元素可以具备以下要求：其可以仅在这样的放置对象上被传送给用户，其中所述这样的放置对象在相关联的对象类型数据结构中被指示为由同一制造商制造。因而，可以通过在视觉上被放置在相同制造的汽车上的增强现实信息元素来提醒用户他的汽车的到期维护。作为另一示例，一些真实生活对象在增强现实应用中具有关联的对象类型，其指示所述对象可不被增强现实信息元素封挡(occluded)。例如，在真实生活对象被用来传送与安全相关的真实生活信息的情况下，将增强现实信息元素在视觉上放置在这些对象上可能危及用户和/或其它人的安全。这样的对象的示例包括交通灯和医院中的医疗设备。例如，当用户倾向于常常看交通灯时，交通灯可能若非如此就极高地分级为频繁注视的对象，并且看上去就像有希望的用于增强现实信息元素的放置对象。为了使得能够使用对象类型数据结构，增强现实应用可被配置成将真实生活对象与对象类型数据结构相关联。例如，通过用户位置和/或某种形式的图像识别软件来促进这样的关联。

在一些实施例中，增强现实应用可被配置成至少部分地基于对象值得注意力值来实施分级。对象可以与值得注意力值相关联，可以在增强现实应用中从外部源接收值得注意力值，和/或增强现实应用可被配置成确定至少一个值得注意力值。例如，在对象是其对象类型的唯一代表的情况下，其值得注意力值可以较高。这样的示例是在存在大量行人和骑自行车的人的街道上仅有一辆汽车的情况。作为对象类型汽车的唯一代表的该汽车可被指派较高的值得注意力值。

在一些实施例中，对象类型可以基于用户对它们注视的频率而被分类。因而，可以使得增强现实应用能够基于用户感兴趣的对象类型来选择作为放置对象的对象。例如，如果增强现实应用发现用户频繁注意吉他或运动型多用途车SUV，则这些对象类型可被选择作为未来的放置对象。为了防止刺激用户，在这种情况下，增强现实信息元素可以在视觉上被放置到这些对象附近，而不是在视觉上被放置在这些对象上，以便不会因封挡用户有兴趣观看的真实生活对象而使用户厌烦。

在一些实施例中，响应于由增强现实应用确定的用户正在查看信息元素附近的某物而不完全是在看信息元素，可以实时地调整对信息元素的放置。在这种情况下，信息元素可被移动，使得它在视觉上更接近于用户注视的地方。

在一些实施例中，当基于对象的可视性来对对象进行分级时，可以考虑关于对象形状的信息。这样的信息可以描述对象的三维形状。例如，建筑物的形状可用于确定它们是否封挡了位于它们后面的对象。例如，在建筑物中的楼层的数目可以影响建筑物的视图遮挡特性。

在一些实施例中，增强现实应用可用于辅助仅在用户的视场中出现短时间的对象的拍摄。这样的对象可能由于聚焦和调整相机的其它设置所花费的时间而被错失。例如，可以确定汽车是快速移经用户的对象。如果用户想要拍下汽车的图片，则相机将需要首先找到正确的焦距和其它设置，然后拍下照片。这可能导致用户错失照相机会。增强现实应用可以具有对汽车和/或用户的轨迹的估计，并且它能够将相机的焦距预先调整为用户的轨迹和汽车的轨迹之间的距离。因而更快地进行拍照。在用户周围有多个对象的情况下，该系统可以基于在用户视场中的最少时间量的对象来预先调整焦距或其它相机设置。例如，可以基于过去的注视跟踪信息来将对象标识为对用户来说潜在地感兴趣。例如，相机可被包括在与运行增强现实应用的设备相关联的设备中，或者增强现实应用可以运行在也包括相机的同一设备上。在一些实施例中，增强现实应用可以进一步被配置成使得在感兴趣的对象变得可见(例如不被经过的汽车封挡)的正确时间触发相机。

图2示出了根据本发明的至少一些实施例的示例使用情况。图2示出了增强现实视图，其中街道200和210以及建筑物230是真实生活对象，也就是说，它们的存在与增强现实应用的功能无关。增强现实信息元素240在视觉上被放置在建筑物230上，换句话说，对于信息元素240，建筑物230是放置对象。建筑物230可以在选择其作为放置对象之前基于其可视性而被分级。

图3示出了能够支持本发明的至少一些实施例的示例装置。示出了设备300，其可以包括例如被配置成运行增强现实应用的设备。因而，设备300可以包括例如智能电话、一副增强现实眼镜的计算单元或另一种适当的设备。在设备300中包括的是处理器310，其可以包括例如单核或多核处理器，其中单核处理器包括一个处理核并且多核处理器包括不止一个处理核。处理器310可以包括不止一个处理器。处理核可以包括例如由ARMHoldings制造的Cortex-A8处理核或由Advanced Micro DevicesCorporation生产的Steamroller处理核。处理器310可以包括至少一个Qualcomm Snapdragon和/或Intel Atom处理器。处理器310可以包括至少一个专用集成电路ASIC。处理器310可以包括至少一个现场可编程门阵列FPGA。处理器310可以是用于实施设备300中的方法步骤的构件。处理器310可以至少部分地通过计算机指令被配置来实施动作。

设备300可以包括存储器320。存储器320可以包括随机存取存储器和/或永久存储器。存储器320可以包括至少一个RAM芯片。例如，存储器320可以包括固态、磁存储器、光存储器和/或全息存储器。存储器320可以至少部分地对处理器310来说是可访问的。存储器320可以是用于存储信息的构件。存储器320可以包括处理器310被配置来执行的计算机指令。当被配置成使得处理器310实施特定动作的计算机指令被存储在存储器320中，并且设备300整体被配置成在处理器310的指导下使用来自存储器320的计算机指令运行时，可以认为处理器310和/或其至少一个处理核被配置成实施所述特定动作。存储器320可以至少部分地被包括在处理器310中。存储器320可以至少部分地在设备300的外部但是对设备300来说是可访问的。

设备300可以包括发射机330。设备300可以包括接收机340。发射机330和接收机340可被配置成根据至少一个蜂窝或非蜂窝标准来分别发射和接收信息。发射机330可以包括不止一个发射机。接收机340可以包括不止一个接收机。例如，发射机330和/或接收机340可被配置成根据全球移动通信系统GSM、宽带码分多址WCDMA、长期演进LTE、IS-95、无线局域网WLAN、以太网和/或全球微波接入互操作性WiMAX标准进行操作。

设备300可以包括近场通信NFC收发器350。NFC收发器350可以支持至少一个NFC技术，诸如NFC、蓝牙、Wibree或类似技术。

设备300可以包括用户接口UI 360。UI 360可以包括以下中的至少一个：显示器、键盘、触摸屏、被布置成通过使得设备300振动来向用户发信号的振动器、扬声器和扩音器。用户能够经由UI 360来操作设备300，例如以便配置增强现实设置。

设备300可以包括用户身份模块370或被布置成接受用户身份模块370。用户身份模块370可以包括例如订户身份模块SIM、可安装在设备300中的卡。用户身份模块370可以包括标识设备300的用户的预订的信息。用户身份模块370可以包括密码信息，该密码信息可用于验证设备300的用户的身份和/或促进通信信息的加密以及对设备300的用户的经由设备300实现的通信的计费。

处理器310可以配有发射机，该发射机被布置成经由设备300内部的电导线从处理器310向包括在设备300中的其它设备输出信息。这样的发射机可以包括串行总线发射机，该串行总线发射机被布置成例如经由至少一个电导线向存储器320输出信息以用于存储在其中。除了串行总线，可选地，发射机可以包括并行总线发射机。类似地，处理器310可以包括接收机，该接收机被布置成经由设备300内部的电导线从包括在设备300中的其它设备接收信息到处理器310中。这样的接收机可以包括串行总线接收机，该串行总线接收机被布置成例如经由至少一个电导线从接收机340接收信息用于在处理器310中处理。除了串行总线，可选地，接收机可以包括并行总线接收机。

设备300可以进一步包括图3中未示出的设备。例如，在设备300包括智能电话的情况下，其可以包括至少一个数字相机。一些设备300可以包括后置相机和前置相机，其中后置相机可以旨在用于数字拍摄并且前置相机用于视频电话。设备300可以包括被布置成至少部分地对设备300的用户进行认证的指纹传感器。在一些实施例中，设备300缺少上述至少一个设备。例如，一些设备300可以缺少NFC收发器350和/或用户身份模块370。

处理器310、存储器320、发射机330、接收机340、NFC收发器350、UI 360和/或用户身份模块370可以按照多种不同的方式通过设备300内部的电导线互连。例如，前述设备中的每个设备可以单独连接到设备300内部的主总线，以便允许设备交换信息。然而，如本领域技术人员将理解的，这仅是一个示例，并且取决于实施例，可以在不偏离本发明的范围的情况下选择互连前述设备中的至少两个设备的各种方式。

图4示出了根据本发明的至少一些实施例的信令。在垂直轴上从左至右部署了增强现实信息元素的源SRC、增强现实应用AR-APP、历史数据库HIST、导航应用NAVI和显示机制DISP。本发明的一些实施例可以缺少历史数据库HIST和/或导航应用NAVI。例如，所述源可以包括诸如公共安全机构、广告商或用户的计算设备。

在阶段410，源SRC向增强现实应用AR-APP提供信息元素以便显示给用户。可选地，所述源可以指定与阶段410的通信中的对象类型相关的准则。详细而言，该准则可以限制可在其上放置信息元素的对象的类型。然后，增强现实应用可以查阅历史数据库HIST和导航应用NAVI中的至少一个。在查阅历史数据库的情况下，实施阶段420和430。在查阅导航应用的情况下，实施阶段440和450。

在阶段420中，应用向历史数据库请求与用户所观看的对象和/或过去在附近的对象有关的信息。在阶段430中，在阶段420中所请求的信息响应性地被提供给增强现实应用。所请求的信息可以形成移动情境的一部分。

在阶段440中，应用向导航应用请求与用户移动途经的路线有关的信息。在阶段450中，在阶段440中所请求的信息响应性地被提供给增强现实应用。所请求的信息可以形成移动情境的一部分。

在阶段460中，增强现实应用至少部分地基于对象对于用户的可视性来对至少两个对象进行分级。所述对象可以包括如上所述的真实生活对象。阶段460的分级可以考虑以下中的至少一个：在阶段410中接收到的可选准则、用户的位置、用户的移动状态、在阶段430(在该阶段存在的情况下)中接收到的任何信息，以及在阶段450(在该阶段存在的情况下)中接收到的任何信息。例如，可以如上结合图1所描述的那样进行分级。基于所述分级，从所述至少两个对象当中选择放置对象作为所述放置对象。在阶段470中，通过增强现实应用来指导显示机制，以便在视觉上将信息元素放置在放置对象上。在可选阶段480中，可以向所述源通知已经实施了所述放置。在注视跟踪存在的情况下，还可以在阶段480中向所述源通知关于所述用户是否注视所述信息元素，并且如果是的话，则可选地向所述源通知注视多长时间。

图5是根据本发明的至少一些实施例的第一方法的第一流程图。例如，可以在运行增强现实应用的设备中实施所示方法的阶段。图3中示出了这样的设备的示例。

阶段510包括获得用户的移动情境。阶段520包括至少部分地基于所述移动情境，对至少两个对象基于它们对所述用户的可视性来进行分级。最后，阶段530包括至少部分地基于所述分级，将所述至少两个对象中的至少一个对象确定为用于增强现实信息元素的放置对象。

图6是根据本发明的至少一些实施例的第二方法的第二流程图。例如，可以在智能电话或者被配置成控制智能电话的功能的控制设备中实施所示方法的阶段。

阶段610包括标识感兴趣的对象。阶段620包括预测感兴趣的对象的移动路径、移动速度和移动步调中的至少一个。最后，阶段630包括基于感兴趣的对象的移动路径和基于用户的移动情境来调整至少一个相机设置。

应当理解，所公开的本发明的实施例并不限于在此公开的特定结构、处理步骤或材料，而是扩展到如相关领域普通技术人员将认识到的其等同物。还应当理解，在此采用的术语被用于仅描述特定实施例的目的，而不意在是限制性的。

贯穿本说明书对“一个实施例”或“实施例”的引用意指结合实施例所描述的特定特征、结构或特性被包括在本发明的至少一个实施例中。因而，贯穿本说明书各个地方中出现的短语“在一个实施例中”或“在实施例中”并不一定都指的是同一实施例。

如在此使用的，为方便起见，多个项目、结构元素、构成元素和/或材料可以出现在公共列表中。然而，这些列表应当被解释为列表的每个成员被单独地标识为单独和唯一的成员。因而，在没有相反指示的情况下，这样的列表的各个成员都不应当仅基于它们出现在公共群组中而被解释为同一列表的任何其它成员的事实上的等同物。另外，本发明的各种实施例和示例可以在此指代伴随其各种组件的备选物。应当理解，这样的实施例、示例和备选物不应当被解释为彼此的事实上的等同物，而是应当被考虑为本发明的单独和自主的表示。

此外，在一个或多个实施例中可以按照任何合适的或技术上可行的方式来组合所描述的特征、结构或特性。在下面的描述中，提供了多种具体细节，诸如长度、宽度、形状等的示例，以便提供对本发明的实施例的透彻理解。然而，相关领域的技术人员将认识到，可以在没有一个或多个具体细节的情况下，或者在利用其它方法、组件、材料等的情况下来实施本发明。在其它情形下，没有详细示出或描述公知的结构、材料或操作以避免模糊本发明的各个方面。

尽管前述示例在一个或多个特定应用中说明了本发明的原理，但是对本领域普通技术人员将显而易见的是，在不付出创造力的情况下，以及在不偏离本发明的原理和概念的情况下，可以做出在形式、使用和实现细节上的各种修改。因此，旨在仅由下面阐述的权利要求来限制本发明。

Claims (41)

1.一种装置，其包括至少一个处理核和包括计算机程序代码的至少一个存储器，所述至少一个存储器和所述计算机程序代码被配置成与所述至少一个处理核一起使得所述装置至少：

获得用户的移动情境；

至少部分地基于所述移动情境，对至少两个对象基于它们对所述用户的可视性来进行分级；以及

至少部分地基于所述分级，确定所述至少两个对象中的至少一个对象作为用于增强现实信息元素的放置对象。

2.根据权利要求1所述的装置，其中，所述至少一个存储器和所述计算机程序代码被配置成与所述至少一个处理核一起使得所述装置至少部分地基于以下内容来对所述至少两个对象进行分级：至少部分地基于所述移动情境来估计所述用户的视场，以及估计所述至少两个对象中的每个对象处于所述视场中多久。

3.根据权利要求2所述的装置，其中，所述至少一个存储器和所述计算机程序被配置成与所述至少一个处理核一起使得所述装置：至少部分地基于包括在所述移动情境中的导航路线来估计所述视场。

4.根据权利要求2或3所述的装置，其中，所述至少一个存储器和所述计算机程序代码被配置成与所述至少一个处理核一起使得所述装置：至少部分地基于包括在所述用户的所述移动情境中的移动方向来估计所述视场。

5.根据权利要求1-4中的任一项所述的装置，其中，所述至少一个存储器和所述计算机程序代码被配置成与所述至少一个处理核一起使得所述装置：至少部分地基于所述至少两个对象中的至少一个对象的移动情境来对所述至少两个对象进行分级。

6.根据权利要求1-5中的任一项所述的装置，其中，所述用户的所述移动情境包括关于所述用户过去所处地点的信息。

7.根据权利要求6所述的装置，其中，所述移动情境进一步包括关于所述用户过去注视的地方的信息。

8.根据权利要求1-7中的任一项所述的装置，其中，所述至少一个存储器和所述计算机程序代码被配置成与所述至少一个处理核一起使得所述装置：至少部分地基于对象类型数据结构来对所述至少两个对象进行分级。

9.根据权利要求1-8中的任一项所述的装置，其中，所述至少一个存储器和所述计算机程序代码被配置成与所述至少一个处理核一起使得所述装置：根据所述用户的身份来选择所述增强现实信息元素。

10.根据权利要求1-9中的任一项所述的装置，其中，所述增强现实信息元素包括以下中的至少一个：交通公告、个人消息、广告、通用公共通告，以及与设备有关的状态消息。

11.根据权利要求1-10中的任一项所述的装置，其中，所述至少一个存储器和所述计算机程序代码被配置成与所述至少一个处理核一起使得所述装置：至少部分地基于对象值得注意力值来对所述至少两个对象进行分级。

12.根据权利要求1-11中的任一项所述的装置，其中，所述至少一个存储器和所述计算机程序代码被配置成与所述至少一个处理核一起使得所述装置：至少部分地基于用来确定所述至少两个对象对所述用户的可视性的三维邻域模型来对所述至少两个对象进行分级。

13.一种装置，其包括至少一个处理核和包括计算机程序代码的至少一个存储器，所述至少一个存储器和所述计算机程序代码被配置成与所述至少一个处理核一起使得所述装置至少：

标识感兴趣的对象；

预测所述感兴趣的对象的移动路径、移动速度和移动步调中的至少一个；以及

基于所述感兴趣的对象的所述移动路径以及基于用户的移动情境来调整至少一个相机设置。

14.根据权利要求13所述的装置，其中，所述至少一个存储器和所述计算机程序代码被配置成与所述至少一个处理核一起使得所述装置：响应于确定存在所述感兴趣的对象的清晰拍摄而触发所述相机。

15.根据权利要求13或14所述的装置，其中，所述至少一个存储器和所述计算机程序代码被配置成与所述至少一个处理核一起使得所述装置：调整对焦相机设置和快门速度相机设置中的至少一个。

16.一种方法，其包括：

获得用户的移动情境；

至少部分地基于所述移动情境，对至少两个对象基于它们对所述用户的可视性来进行分级；以及

至少部分地基于所述分级，确定所述至少两个对象中的至少一个对象作为用于增强现实信息元素的放置对象。

17.根据权利要求16所述的方法，其中，所述分级包括至少部分地基于以下内容来对所述至少两个对象进行分级：至少部分地基于所述移动情境来估计所述用户的视场，以及估计所述至少两个对象中的每个对象处于所述视场中多久。

18.根据权利要求17所述的方法，其中，至少部分地基于包括在所述移动情境中的导航路线来估计所述视场。

19.根据权利要求17或18所述的方法，其中，至少部分地基于包括在所述用户的所述移动情境中的移动方向来估计所述视场。

20.根据权利要求16-19中的任一项所述的方法，其中，至少部分地基于所述至少两个对象中的至少一个对象的移动情境来对所述至少两个对象进行分级。

21.根据权利要求16-20中的任一项所述的方法，其中，所述用户的所述移动情境包括关于所述用户过去所处的地点的信息。

22.根据权利要求21所述的方法，其中，所述移动情境进一步包括：关于所述用户过去注视的地方的信息。

23.根据权利要求16-22中的任一项所述的方法，其中，至少部分地基于对象类型数据结构来对所述至少两个对象进行分级。

24.根据权利要求16-23中的任一项所述的方法，其进一步包括：根据所述用户的身份来选择所述增强现实信息元素。

25.根据权利要求16-24中的任一项所述的方法，其中，所述增强现实信息元素包括以下中的至少一个：交通公告、个人消息、广告、通用公共通告，以及与设备有关的状态消息。

26.根据权利要求16-25中的任一项所述的方法，其中，至少部分地基于对象值得注意力值来对所述至少两个对象进行分级。

27.根据权利要求16-26中的任一项所述的方法，其中，至少部分地基于用来确定所述至少两个对象对所述用户的可视性的三维邻域模型来对所述至少两个对象进行分级。

28.一种方法，其包括：

标识感兴趣的对象；

预测所述感兴趣的对象的移动路径、移动速度和移动步调中的至少一个；以及

基于所述感兴趣的对象的所述移动路径以及基于用户的移动情境来调整至少一个相机设置。

29.根据权利要求13所述的方法，其进一步包括：响应于确定存在所述感兴趣的对象的清晰拍摄而触发所述相机。

30.根据权利要求13或14所述的方法，其进一步包括：调整对焦相机设置和快门速度相机设置中的至少一个。

31.一种装置，其包括：

用于获得用户的移动情境的构件；

用于至少部分地基于所述移动情境，对至少两个对象基于它们对所述用户的可视性来进行分级的构件；以及

用于至少部分地基于所述分级，确定所述至少两个对象中的至少一个对象作为用于增强现实信息元素的放置对象的构件。

32.一种装置，其包括：

用于标识感兴趣的对象的构件；

用于预测所述感兴趣的对象的移动路径、移动速度和移动步调中的至少一个的构件；以及

用于基于所述感兴趣的对象的所述移动路径以及基于用户的移动情境来调整至少一个相机设置的构件。

33.一种其上存储了计算机可读指令集合的非瞬态计算机可读介质，所述计算机可读指令集合当由至少一个处理器执行时使得装置至少：

获得用户的移动情境；

至少部分地基于所述移动情境，对至少两个对象基于它们对所述用户的可视性来进行分级；以及

至少部分地基于所述分级，确定所述至少两个对象中的至少一个对象作为用于增强现实信息元素的放置对象。

34.一种其上存储了计算机可读指令集合的非瞬态计算机可读介质，所述计算机可读指令集合当由至少一个处理器执行时使得装置至少：

标识感兴趣的对象；

预测所述感兴趣的对象的移动路径、移动速度和移动步调中的至少一个；以及

基于所述感兴趣的对象的所述移动路径以及基于用户的移动情境来调整至少一个相机设置。

35.一种方法，其包括：

标识用户的视场中的至少两个对象；

预测所述至少两个对象中的至少一个对象的至少一个移动路径；

确定所述至少两个对象中的至少一个对象的速度；

确定用户的移动情境；

至少部分地基于所述对象的所述移动路径和速度中的至少一个以及基于所述用户的所述移动情境，对于所述至少两个对象中的每个对象估计其将留在所述用户的视场中的时间；以及

从所述至少两个对象当中选择被估计成停留在所述用户的视场中最长时间的第一对象。

36.根据权利要求35所述的方法，其中，所述方法进一步包括：至少部分地基于所述第一对象的移动路径来调整至少一个相机设置。

37.根据权利要求35或36所述的方法，其中，所述方法进一步包括：使用所述第一对象作为用于增强现实信息元素的放置对象。

38.根据权利要求37所述的方法，其中，所述方法进一步包括：根据所述第一对象将留在所述用户的视场中的时间来选择增强现实信息元素，以便放置在所述第一对象上。

39.一种装置，其包括至少一个处理核和包括计算机程序代码的至少一个存储器，所述至少一个存储器和所述计算机程序代码被配置成与所述至少一个处理核一起使得所述装置至少：

标识用户的视场中的至少两个对象；

预测所述至少两个对象中的至少一个对象的至少一个移动路径；

确定所述至少两个对象中的至少一个对象的速度；

确定用户的移动情境；

至少部分地基于所述对象的所述移动路径和速度中的至少一个以及基于所述用户的所述移动情境，对于所述至少两个对象中的每个对象估计其将留在所述用户的视场中的时间；以及

从所述至少两个对象当中选择被估计成停留在所述用户的视场中最长时间的第一对象。

40.一种其上存储了计算机可读指令集合的非瞬态计算机可读介质，所述计算机可读指令集合当由至少一个处理器执行时使得装置至少：

标识用户的视场中的至少两个对象；

预测所述至少两个对象中的至少一个对象的至少一个移动路径；

确定所述至少两个对象中的至少一个对象的速度；

确定用户的移动情境；

至少部分地基于所述对象的所述移动路径和速度中的至少一个以及基于所述用户的所述移动情境，对于所述至少两个对象中的每个对象估计其将留在所述用户的视场中的时间；以及

从所述至少两个对象当中选择被估计成停留在所述用户的视场中最长时间的第一对象。

41.一种计算机程序，所述计算机程序被配置成使得实施根据权利要求16-30或35-38中的至少一项的方法。