CN114450655B - 量化增强现实交互的系统和方法 - Google Patents

Abstract

用于量化增强现实交互的系统、方法和计算机可读存储介质。示例性系统可以被配置为经由移动计算设备的相机捕获视频馈送，并且经由移动计算设备的处理器从视频馈送提取图像。然后，该系统可以经由处理器确定该图像与存储在图像数据库中的多个存储图像中的一存储图像相对应，从而产生一确定，并且经由处理器基于该确定来检索与存储图像相关联的交互式内容。然后，该系统可以经由移动计算设备的显示器，将交互式内容显示为增强现实覆盖。

Description

量化增强现实交互的系统和方法

相关申请的交叉引证

本申请要求于2019年5月3日提交的美国临时专利申请号62/842,828和2019年12月23日提交的美国非临时专利申请号16/725,438的申请日的优先权，其全部内容通过引用并入本文。

技术领域

本公开涉及增强现实，并且更具体地，涉及提供增强现实显示并量化与那些增强现实显示的交互。

背景技术

增强现实(AR)是将图像叠加在用户对现实世界的视图上，从而形成合成视图。例如，智能手机可以使用相机捕获现实世界的视频馈送，在智能手机显示器上显示视频馈送，并在视频馈送上添加额外的视觉效果或信息。随着AR变得越来越普遍，识别用户如何与AR显示和模型交互可能是一个挑战。例如，广告商、赞助商或帮助生成AR内容的其他实体希望知道用户何时以及如何与AR内容交互。

发明内容

本公开的附加特征和优点将在下面的描述中阐述，并且部分地从描述中将是显而易见的，或者可以通过实践本文公开的原理来学习。本发明的特征和优点可以借助于所附权利要求中特别指出的设备和组合来实现和获得。本发明的这些和其他特征将从下面的描述和所附权利要求中变得更加明显，或者可以通过实践本文的原理来学习。

根据本公开执行的示例性方法可以包括：经由移动计算设备的相机捕获视频馈送；经由移动计算设备的处理器从视频馈送提取图像；经由处理器确定图像与存储在图像数据库中的多个存储图像中的一存储图像相对应，从而产生一确定；经由处理器基于该确定来检索与存储图像相关联的交互式内容；并且经由移动计算设备的显示器，将交互式内容显示为增强现实覆盖。

根据本公开配置的示例性系统可以包括：处理器；相机；显示器；以及非暂时性计算机可读存储介质，具有存储在其中的指令，当由处理器执行时，使处理器执行操作，该操作包括：经由相机捕获视频馈送；从视频馈送中提取图像；确定图像与存储在图像数据库中的多个存储图像中的一存储图像相对应，从而产生一确定；基于该确定来检索与存储图像相关联的交互式内容；并且经由显示器，将交互式内容显示为增强现实覆盖。

根据本公开配置的示例性非暂时性计算机可读存储介质可以存储有指令，该指令在由计算设备执行时使该计算设备执行操作，该操作包括：从相机接收视频馈送；从视频馈送中提取图像；确定图像与存储在图像数据库中的多个存储图像中的一存储图像相对应，从而产生一确定；基于该确定，检索与存储图像相关联的交互式内容；并且经由显示器，将交互式内容显示为增强现实覆盖。

附图说明

图1示出了用于与AR交互的第一示例系统；

图2示出了用于与AR交互的第二示例系统；

图3示出了AR的示例后端处理；

图4A示出了确定设备相对已知对象的取向的第一示例；

图4B示出了确定设备相对已知对象的取向的第二示例；

图5示出了路线规划的示例；

图6示出了示例方法实施例；以及

图7示出了示例计算机系统。

具体实施方式

下面详细描述本公开的各种实施例。虽然描述了具体的实施方式，但应该理解，这仅是为了说明的目的。在不脱离本公开的精神和范围的情况下，可以使用其他部件和配置。

所公开的系统、方法和计算机可读存储介质使用增强现实(AR)来改进提供给用户的信息的定制。显示给用户的图形和动画可以根据位置以及用户的特定环境、偏好和需求而变化。随着用户的移动、或者随着时间的推移，呈现给该用户的交互式内容可以被修改和调整。用户可以使用其部署本文公开的AR配置的示例性、非限制性设备可以包括智能手机、平板电脑、智能眼镜(具有眼镜形状的光学头戴式显示器的眼镜)、智能隐形眼镜(具有投影图形能力的隐形眼镜)、或具有相机、处理器和显示机构的其他移动计算设备。

考虑下面的示例。用户在会议上收到一张名片。名片与交互式AR内容相关联，这意味着当通过AR配置的移动计算设备观看时，交互式AR内容出现在移动计算设备显示器上。用户使用他们的智能手机(其被配置为查看AR内容)查看名片，并且智能手机以图形方式显示与名片相关联的AR内容。例如，如果名片的所有者是狮子训练师，则当通过AR配置的设备观看名片时，名片可以使AR配置的设备在设备显示器中名片的顶部显示动画狮子。当设备的用户在绕卡片周围行走或旋转卡片时，所显示的狮子的方向也可以旋转。换句话说，在该示例中，所显示的狮子的取向可以基于AR配置的设备对名片的相应取向而变化。

作为另一示例，会议上的用户可以接近一张海报，在“现实生活”中，“我的下一次会话是什么时候？”随着AR设备相机在海报上平移，AR设备识别海报的图像，并且在AR设备显示器上显示与海报相关联的交互式内容。在本示例中，交互式内容是专门为用户定制的地图，并且该地图示出了用户到下一个预定会话应该遵循的路线。

作为又一示例，用户可以接近小型三维(3D)饰品、玩具或其他对象。当AR设备相机在3D饰品上平移时，可以显示与3D饰品相关联的交互式内容。例如，如果3D装饰是微型拖拉机，则可以在AR设备显示器上显示交互式3D拖拉机。随着用户围绕小饰品行走、旋转或以其他方式移动，AR设备显示器上显示的3D拖拉机的角度会旋转或移动。如果用户靠近或远离，则显示的3D拖拉机的比例可以相应增加或减少。

作为又一示例，用户可以接近对象(例如海报、标志或其他对象)，并且AR设备在检测到海报时，可以显示基于特定环境而改变或变化的内容。例如，内容可以根据AR设备的用户、一天中的时间、位置、与对象的角度、伪随机变量等而改变。

可以显示的交互式内容的一个示例可以是电视、电影或其他视频内容。随着用户移动或调整位置，仅在他们的AR设备上显示的“虚拟”视频内容的角度可以同样移动。实际上，用户正在通过他们的设备观看其他人看不到的个性化电影。在一些配置中，用户然后可以暂停、倒带或以其他方式控制正在显示的视频内容。

可以显示的交互式内容的另一示例是实时的TWITTER馈送。例如，如果用户在会议上并且观看了在AR设备上激发AR内容显示的对象，则所显示的AR内容可以是与会议相关联的实时TWITTER馈送。随着用户继续通过AR设备查看对象，用户可以与显示的馈送进行交互(滚动、高亮显示、查看特定推文等)。

交互式内容的另一示例可以是目的地或位置的方向。例如，用户可以查看使用AR设备的当前位置和航向(例如，方位的基本方向)生成供用户跟随到目的地的AR地图的对象。当用户转向跟随方向时，AR设备可以生成AR箭头(虚拟地显示在地面上、墙上、空中等)，供用户跟随以到他们的目的地。如果用户在途中偏离预定路线，则系统可以基于更新的位置自动调整虚拟箭头。如果用户要离开导致生成地图的激发对象，然后又转向激发对象，则地图可以基于AR设备到激发对象的距离缩放到更小的尺寸。可以使用对象的GPS位置、AR设备和/或对象的图像尺寸(可以使用对象的边缘或其他部分来确定)来计算到激发对象的距离。

在一些配置中，本文公开的AR系统可用于虚拟寻宝游戏，其中用户跟随在用户发现AR设备相机并在特定对象上平移AR设备相机时由AR设备显示给用户的线索。虽然在一些这样的配置中，线索可能会在任何时候检测到寻宝游戏中的任何对象时出现，但在其他配置中，必须以特定的顺序检测对象。例如，如果假设用户跟随线索从第一点到第二点，在那里他们将接收后续线索等，则除非以正确的顺序或序列获得，否则后续线索可能不会出现。

当在由AR设备捕获的图像中识别时，示例性对象可以包括诸如海报、卡片、3D项目和/或其他标记的项目。当发现已知标记/对象时，由AR设备执行的软件通过在视频馈送的顶部显示一个或多个虚拟元素进行响应，其中虚拟元素被呈现为现实世界的一部分。在一些配置中，可以通过用户触摸显示虚拟元素的AR设备上的显示器来与虚拟元素交互。在其他配置中，用户可以通过将手移动到AR设备相机的视野中来与虚拟元素进行交互，以允许用户假装触摸正在显示的对象。在某些情况下，显示的内容可能不是交互的，使得用户不能交互或修改正在显示的内容。在其他情况下，内容的一部分可以是交互的，而其余部分不是交互的。

在某些情况下，显示的动画或图形可以是包含数据馈送的虚拟广告牌的形式(如社交媒体网站或照片墙产生的数据)。这些馈送可以基于用于查看AR内容的AR设备的设备标识，或者通过用户登录到AR设备上的帐户或以其他方式标识自己的用户标识，来显示与查看它们的用户相关的内容。可以应用过滤器来为用户定制内容，允许内容全天动态地改变(基于标记被扫描或识别的位置改变等等)。作为进一步示例，海报可以表示图像标记/对象，当被AR设备扫描时，该图像标记/对象在AR设备的显示器上被显示实时TWITTER馈送的板所取代。这个虚拟TWITTER板是计算机生成的图像，在足以提供数字视频馈送的错觉的帧速率更新。馈送只显示与用户相关的推文，例如与事件、用户首选项等相关的推文。

可以为用户定制内容的示例性方式可以包括：呈现特定于用户位置的内容(例如，具有与发生在用户位置的事件相关联的标签的内容的TWITTER馈送)、基于用户人口统计数据呈现内容(例如，呈现特定于用户年龄、性别、社会经济地位、国籍、主要语言等的广告)、所使用的AR设备的类型(例如，基于用于查看AR内容的设备的品牌提供不同的内容)。同样，如果用户正在寻找方向，则可以针对用户定制提供的方向，使得从公共起点搜索到不同后续目的地的方向的两个人将接收不同的方向集。即使两个用户都要去一个共同的目的地，系统也可以基于各个用户的偏好、兴趣点等在不同的路径中为用户安排路线。例如，如果第一用户已经指示他们想要走过某些绘画或展品，而第二用户已经指示他们不想走过那些相同的展品，则系统可以向各个用户提供不同的路线。

该系统还可以使用与机器学习相结合的数据聚集(data aggregation)来预测相似用户将如何响应显示的AR内容，并基于这些相关性修改未来的内容。例如，系统可以迭代地收集关于用户与AR内容的特定片段的交互的数据，对交互和关于用户或用户设备的已知方面执行回归分析，然后基于相关性修改未来的AR内容。以这种方式，针对给定的个人量身定制的内容可以基于个人用户随时间对显示的AR内容的反应以及基于其他用户对显示的AR内容的反应而改变。

显示的AR内容的照明可以基于激发对象所在的空间而变化。在某些配置中，目标可能是使AR内容看起来真实。也就是说，观看显示的AR设备的用户将不能仅仅通过观看AR设备显示来将内容识别为虚拟的。为了创建令人信服的AR内容，该系统识别如何从相机馈送中将光照投射到现实世界中，包括识别光源、光的阴影、相机馈送中材料的反射/折射质量等。然后，该系统修改正在显示的AR内容以模拟环境的照明质量，使得AR内容的阴影和光线反映物理显示。

在某些情况下，该系统可以使用Lambert反射定律的方面来确定表面的颜色，使用以下公式：

c＝(∑a_l+∑d_l)*d_m

其中：

c:颜色

a_l:环境光强度

d_l:漫射光强度

d_m:漫射材料因子

同样地，在某些情况下，系统可以使用Phong照明近似的方面，其在Lambert等式中添加镜面反射分量：

c＝((∑a_l+∑d_l)*d_m)+(∑s_l*s_t)

其中，此外：

s_l：镜面光(R x E)^s

s_t：镜面纹理贡献(镜面表面贴图)

E：从眼睛到表面的法向量

R：法向量上的反射向量

S：光泽系数(物体表面的光泽度/金属度)

该系统还可以使用Blinn照明模型，该模型使用以下镜面反射分量：

s_l：镜面光(H x N)^s

其中：

H：光向量与眼向量之间的向量中点

例如，图像识别可以通过以每秒30、60或120帧处理视频馈送来进行，并且伴随着在变化的照明条件下从各种距离、角度和视角检测已知图像。一个或多个相机、处理器、图像数据库和其他硬件和软件元件一起工作以确定是否已经找到图像标记，以及该图像标记相对于AR设备的确切参考点。识别图像标记的已知位置和AR设备的当前位置之间的关系可能需要使用数学关系(特别是三角学)，并且可能会影响AR内容的显示。

图1示出了用于与AR交互的第一示例系统100。在该示例中，用户102使用智能手机104来查看现实生活与放置在智能手机104显示器内的现实生活视图上的人工图像的组合。当用户102在房间或场地周围移动智能手机104相机时，智能手机相机捕获周围环境的视频馈送。当捕获视频馈送时，将捕获的图像与图像数据库108内的图像进行比较。图像数据库108可以包含在智能手机104的存储器内、远程服务器的存储器内和/或远程数据库内。在该示例中，智能手机104的相机捕获海报106的图像，并且智能手机104将海报106的图像与图像数据库108内的图像进行比较。

当在图像数据库108中未找到由智能手机104捕获的图像时，系统和智能手机104继续在视频馈送中搜索匹配。例如，无论是否找到匹配，相机和智能手机104都可以继续扫描，这可以导致一次/并行地捕获和分析多个图像。然而，如所示出的，在图像数据库108中已经找到海报106的图像，使智能手机的显示器110(以放大视图显示)显示现实生活的实时视图(在这种情况下是海报118)以及基于已知图像的检测而生成的附加图形112。在这种情况下，智能手机显示器110上显示的附加图形112为用户102提供了与海报106交互的附加方式。例如，附加图标112可以向用户102提供指向关于海报内容的附加信息的链接、具有“喜爱”或“喜欢”海报以供将来参考的能力、预约或日历项目的能力、和/或播放与海报106相关联的视频内容的能力。

当用户102与附加图形112交互(或不交互)时，智能手机104将交互记录/记录在交互数据库114中。交互显示和/或与相关联的交互图形交互的每个检测事件可以记录在交互数据库114中，而不管用户102是否与所显示的内容交互。交互数据库114可以包含在智能手机104的存储器内、远程服务器的存储器内和/或远程数据库内。然后，用户与附加图形112的交互可以用于将海报106的内容如何被接收、与内容交互等通知赞助商116。以这种方式，赞助商116可以测量参与度并基于该参与度确定海报的各种价值度量。

在某些配置中，系统也可以基于位置。例如，系统可以确定用户102的位置、所捕获视频中内容的位置，然后添加位置特定的AR。如果智能手机104在第一位置检测到海报106、卡片、建筑物或任何其他对象(在图像数据库108内)，则智能手机可以显示AR对象，该AR对象不仅基于检测到的对象，而且基于位置。在这样的配置中，如果在美国与在欧洲检测到相同的海报106，则智能手机104可以显示不同的覆盖物。可导致不同覆盖物的其他示例性因素包括一天中的时间、特定用户信息和/或伪随机变量(例如，显示某些信息或变体的随机机会)。

此外，作为关于诸如物理建筑物的对象的基于位置的AR的示例，系统可以在检测到已知对象时覆盖颜色、信息、广告等。例如，当用户访问罗马的竞技场时，智能手机104可以检测用户的位置(或者更准确地说，用户的智能手机104的位置)，然后当相机扫描竞技场的现实世界视图时，创建(1)竞技场在古代的样子的覆盖，以及(2)与该覆盖相关联的交互元素。

图2示出了用于与AR交互的第二示例系统200。该示例200使用与图1相同的整体系统配置--用户102与使用智能手机104的相机捕获周围环境的视频馈送的智能手机104交互、对照图像数据库108中的图像来检查视频馈送的图像、并且在交互数据库114中记录与AR内容的交互，使得AR内容的赞助商116可以测量参与度。在该示例200中，用户102的智能手机104已经捕获了名片202，并且来自该名片202的视频馈送的图像被识别为存储在图像数据库108内。在这种情况下，智能手机显示器110显示名片204的“现实生活”视图，该视图具有基于名片的覆盖的三维对象206。在这种情况下，覆盖的三维对象206是立方体。作为另一示例，如果名片(或海报、或过山车、或其他可检测对象)与特定现实世界对象(例如汽车)相关，则三维对象206可以是汽车的三维对象。

图3示出了根据所公开发明的实施例的AR的示例后端处理。在该示例中，智能手机104捕获显示在智能手机显示器上的现实生活的图像(302)。系统确定该图像是否存储在图像数据库108中(304)。如果图像未存储在图像数据库108中，则系统/智能手机104继续图像捕获(306)。如果图像包含在图像数据库中，则系统检索交互式显示/模型(308)并将那些交互式元素上传到智能手机104显示器(310)。检索到的交互式显示/模型可以存储在智能手机存储器内的数据库中或外部数据库(例如通过因特网连接的数据库)中。该系统还可以记录交互式元素已被检索(312)到交互数据库114中。同样，当用户与显示在智能手机104显示器上的交互元素交互时，交互也可以被记录在交互数据库(314)中。此外，交互元素的检测和/或交互可以发送到实时分析和数据处理系统，该系统可以针对用户或其他人修改或改变未来(或当前显示的)AR交互的交互元素。

在一些配置中，该系统可以包括游戏化，例如收集项目以满足目标，根据收集的项目的数量显示不同的内容，在房间的某些区域放置AR对象以引导交通，和/或修改内容以重定向交通。例如，可以引导用户“收集”某些内容，这可以通过相机检测预定对象并显示相关联的AR内容来完成。该系统可以记录用户已经显示AR内容，从而“收集”对象。当用户已经收集了所有对象(或对象的某一部分)时，系统可以修改正在显示的交互式内容或以某种方式奖励用户。

图4A示出了确定设备相对已知对象402的取向的第一示例。在该示例中，多个用户404聚集在具有已知位置和已知尺寸408、410(示为地图402的边缘)的已知对象402(地图)周围。用户404的设备406(示为智能手机)使用相机来查看对象402，从相机馈送中提取图像以识别对象，计算捕获对象402相对于设备406的角度或尺寸412，以及基于这些角度412和/或设备406到固定对象402的距离来在用户设备406的显示器上显示AR相关内容。

图4B示出了确定设备406相对已知对象402的取向的第二示例。在该示例中，用户404站在离固定对象402一定距离的地方，并且已知航向(设备406指向的方向)。设备406可以捕获对象402的图像(优选地从视频馈送)，并从该图像测量捕获的对象402的角度412或尺寸。使用角度412和已知的固定对象402的固定属性(尺寸、方位、位置等)，设备406可以计算固定对象402与设备406之间的距离、以及固定对象402与设备406之间的方位角度。在一些配置中，设备406还可以使用全球定位系统(GPS)或三角测量机制来确定其位置。

图5示出了路线规划500的示例。在该示例中，系统为用户规划从起始位置502到目的地504的路线514，同时在注意到其他目的地506或兴趣点508的情况下围绕障碍物510导航。除了为用户识别最有效的路线之外，系统还考虑围绕已知障碍物510的部分障碍物区域512。例如，在家具、柜台、桌子等周围，可能存在可能阻碍用户在附近行走的人、存储的物品和其他对象。如本文所公开的配置的系统可以针对那些潜在的障碍进行调整，通过最小测量指示用户来围绕和/或远离那些潜在的问题导航。

图6示出了示例方法实施例。在该示例中，移动计算设备(例如智能手机、智能眼镜、平板电脑或智能隐形眼镜)执行所示的方法。该方法包括经由移动计算设备的相机捕获视频馈送(602)，并经由移动计算设备的处理器从视频馈送提取图像(604)。处理器确定该图像与存储在图像数据库中的多个存储图像中的一存储图像相对应，从而产生一确定(606)，并且经由处理器基于该确定检索与该一存储图像相关联的交互式内容(608)。然后，经由移动计算设备的显示器，将交互式内容显示为增强现实覆盖(610)。

在一些配置中，图像数据库可以位于移动计算设备内。也就是说，图像数据库可以是位于移动计算设备内的硬盘驱动器或存储器设备的一部分。在其他配置中，图像数据库可以远离移动计算设备定位。在这样的配置中，所示的方法可以还包括从移动计算设备通过网络向包含图像数据库的远程计算系统发送图像，并且从远程计算系统接收图像存储在该图像数据库中的确认。

在一些配置中，所示的方法可以还包括经由移动计算设备的机载罗盘识别移动计算设备的当前航向；经由处理器识别图像相对于存储图像的比例；并且基于当前航向和比例，经由处理器修改显示在显示器上的交互式内容。示例性修改可以包括：基于比例改变显示的交互式内容的尺寸和/或基于当前航向改变显示的交互式内容的角度。

在一些配置中，交互式内容可以包括到后续目的地的地图和/或方向，然后该方法可以还包括：检测移动计算设备的移动，该移动包括位置改变以及方向改变中的至少一项，并且基于位置改变以及方向改变中的至少一项修改地图以及方向中的至少一项。

在一些配置中，所示的方法可以还包括：经由处理器跟踪移动计算设备的用户与交互式内容的交互；并且从移动计算设备向服务器发送该交互，其中：服务器聚集该交互与其他用户的交互，从而产生聚集的用户交互；并且基于该聚集的用户交互来修改移动计算设备上的交互式内容。在这样的配置中，交互式内容可以存储在服务器内，并且由处理器检索交互式内容可以还包括：通过网络从处理器向服务器发送针对交互式内容的请求；并且响应于该请求，在处理器处通过网络从服务器接收交互式内容。

在一些配置中，交互式内容可以存储在移动计算设备的数据库中。

参考图7，示例性系统包括通用计算设备700，其包括处理单元(CPU或处理器)720和系统总线710，该系统总线将包括系统存储器730(例如，只读存储器(ROM)740和随机存取存储器(RAM)750的系统存储器730)的各种系统部件耦接到处理器720。系统700可以包括与处理器720直接连接、紧邻处理器720或集成为处理器720的一部分的高速存储器的高速缓存。系统700将数据从存储器730和/或存储设备760复制到高速缓存以供处理器720快速访问。以这种方式，高速缓存提供了在等待数据时避免处理器720延迟的性能提升。这些和其他模块可以控制或被配置为控制处理器720以执行各种动作。其他系统存储器730也可用于使用。存储器730可以包括具有不同性能特征的多个不同类型的存储器。可以理解，本公开可以在具有多于一个处理器720的计算设备700上操作，或者在联网在一起的计算设备组或集群上操作以提供更大处理能力。处理器720可以包括任何通用处理器和硬件模块或软件模块，例如存储在存储设备760中的模块1 762、模块2 764和模块3 766，其被配置为控制处理器720以及专用处理器，其中软件指令被结合到实际处理器设计中。处理器720本质上可以是包含多个核或处理器、总线、存储器控制器、高速缓存等的完全自包含的计算系统。多核处理器可以是对称的或非对称的。

系统总线710可以是几种类型的总线结构中的任何一种，包括使用各种总线体架构中的任何一种的存储器总线或存储器控制器、外围总线和局部总线。存储在ROM740等中的基本输入/输出(BIOS)可以提供例如在启动期间帮助在计算设备700内的元件之间发送信息的基本例程。计算设备700还包括存储设备760，例如硬盘驱动器、磁盘驱动器、光盘驱动器、磁带驱动器等。存储设备760可以包括用于控制处理器720的软件模块762、764、766。还考虑了其他硬件或软件模块。存储设备760通过驱动接口连接到系统总线710。驱动器和相关联的计算机可读存储介质为计算设备700提供计算机可读指令、数据结构、程序模块和其他数据的非易失性存储。在一个方面，执行特定功能的硬件模块包括与诸如处理器720、总线710、显示器770等的必要硬件组件相关联地存储在有形计算机可读存储介质中的软件组件，以执行该功能。在另一方面，该系统可以使用处理器和计算机可读存储介质来存储指令，当由处理器执行时，这些指令使处理器执行方法或其他特定动作。根据设备的类型，例如设备700是小型手持计算设备、台式计算机还是计算机服务器，来考虑基本组件和适当的变化。

尽管本文描述的示例性实施例采用硬盘760，但是在示例性操作环境中也可以使用能够存储计算机可访问的数据的其他类型的计算机可读介质，例如磁带、闪存卡、数字通用磁盘、盒式磁带、随机存取存储器(RAM)750和只读存储器(ROM)740。有形计算机可读存储介质、计算机可读存储设备或计算机可读存储器设备明确地排除诸如瞬时波、能量、载波信号、电磁波和信号本身的介质。

为了使用户能够与计算设备700交互，输入设备790表示任意数量的输入机构，例如用于语音的麦克风、用于手势或图形输入的触敏屏、键盘、鼠标、运动输入、语音等。输出设备770还可以是本领域技术人员已知的多个输出机构中的一个或多个。在一些实例中，多模式系统使用户能够提供多种类型的输入以与计算设备700通信。通信接口780通常控制和管理用户输入和系统输出。对于在任何特定硬件布置上的操作没有限制，因此，随着改进的硬件或固件配置开发，这里的基本特征可以容易地替换为改进的硬件或固件配置。

使用诸如“X、Y和Z中的至少一个”“X、Y以及Z中的至少一个”“X、Y和Z中的至少一个或多个”“X、Y和Z中的至少一个或多个”“X、Y以及Z中的至少一个或多个”“X、Y和/或Z中的至少一个或多个”或“X、Y和/或Z中的至少一个”之类的语言旨在包括单个项目(例如，仅X、或仅Y、或仅Z)和多个项目(例如，{X和Y}、{X和Z}、{Y和Z}或{X、Y和Z})。短语“中的至少一个”和类似的短语并不旨在传达一个即每个可能的项目必须存在的要求，尽管每个可能的项目都可能存在。

以上描述的各种实施例仅作为说明的方式提供，并且不应被解释为限制本公开的范围。在不遵循本文说明和描述的示例实施例和应用，并且不脱离本公开的精神和范围的情况下，可以对本文描述的原理进行各种修改和改变。

Claims (20)

1.一种量化增强现实交互的方法，包括：

经由移动计算设备的相机在接收到的视频馈送中捕获激发对象的图像，所述激发对象激发人工现实内容的显示；

经由处理器确定所述图像与存储在图像数据库中的多个存储图像中的一存储图像相对应，从而产生一确定；

经由所述处理器基于所述确定和所述相机的位置来检索与所述激发对象以及所述位置相关联的交互式内容，所述交互式内容包括：人工现实地图，示出用户到后续目的地应跟随的路线；以及增强现实箭头，指向所述后续目的地；

经由所述移动计算设备的显示器，将所述人工现实地图显示为第一增强现实覆盖；

在显示所述人工现实地图的同时，经由所述移动计算设备的所述显示器将所述增强现实箭头显示为第二增强现实覆盖；

检测所述移动计算设备的移动，所述移动包括位置改变，所述位置改变使得所述移动计算设备与所述激发对象之间的距离增加；并且

基于所述位置改变来修改所述人工现实地图以及所述增强现实箭头中的至少一个，使得所述人工现实地图基于所述距离而缩放。

2.根据权利要求1所述的方法，其中，所述图像数据库位于所述移动计算设备内。

3.根据权利要求1所述的方法，其中，所述图像数据库远离所述移动计算设备定位；并且

所述方法还包括：

通过网络从所述移动计算设备向包括所述图像数据库的远程计算系统发送所述图像；并且

从所述远程计算系统接收所述图像存储在所述图像数据库中的确认。

4.根据权利要求1所述的方法，还包括：

经由所述移动计算设备的机载罗盘识别所述移动计算设备的当前航向；

经由所述处理器识别所述图像相对于该存储图像的比例；并且

经由所述处理器基于所述当前航向和所述比例来修改显示在所述显示器上的所述交互式内容。

5.根据权利要求4所述的方法，其中，通过以下中的至少一项来修改所述交互式内容：基于所述比例改变显示的所述交互式内容的尺寸、以及基于所述当前航向改变显示的所述交互式内容的角度。

6.根据权利要求1所述的方法，其中，所述移动还包括方向改变。

7.根据权利要求1所述的方法，还包括：

经由所述处理器跟踪所述移动计算设备的用户与所述交互式内容的交互；并且

从所述移动计算设备向服务器发送所述交互，

其中：

所述服务器将所述交互与其他用户的交互聚集，从而产生聚集的用户交互；并且

基于所述聚集的用户交互，修改所述移动计算设备上的所述交互式内容。

8.根据权利要求7所述的方法，其中，所述交互式内容存储在所述服务器内；并且

其中，由所述处理器检索所述交互式内容还包括：

通过网络从所述处理器向所述服务器发送针对所述交互式内容的请求；并且

响应于所述请求，在所述处理器处通过所述网络从所述服务器接收所述交互式内容。

9.根据权利要求1所述的方法，其中，所述交互式内容存储在所述移动计算设备的数据库内。

10.根据权利要求1所述的方法，其中，所述移动计算设备包括智能手机、智能眼镜以及智能隐形眼镜中的至少一项。

11.一种量化增强现实交互的系统，包括：

处理器；

相机；

显示器；以及

非暂时性计算机可读存储介质，存储有指令，所述指令在由所述处理器执行时使所述处理器执行操作，所述操作包括：

经由所述相机在接收到的视频馈送中捕获激发对象的图像，所述激发对象激发人工现实内容的显示；

确定所述图像与存储在图像数据库中的多个存储图像中的一存储图像相对应，从而产生一确定；

基于所述确定和所述相机的位置来检索与所述激发对象以及所述位置相关联的交互式内容，所述交互式内容包括：人工现实地图，示出用户到后续目的地应跟随的路线；以及增强现实箭头，指向所述后续目的地；

经由所述显示器，将所述人工现实地图显示为第一增强现实覆盖；

在显示所述人工现实地图的同时，经由所述显示器将所述增强现实箭头显示为第二增强现实覆盖；

检测所述系统的移动，所述移动包括位置改变，所述位置改变使得所述系统与所述激发对象之间的距离增加；并且

基于所述位置改变来修改所述人工现实地图以及所述增强现实箭头中的至少一个，使得所述人工现实地图基于所述距离而缩放。

12.根据权利要求11所述的系统，其中，所述图像数据库位于所述系统内。

13.根据权利要求11所述的系统，其中，所述图像数据库远离所述系统定位；并且

其中，所述非暂时性计算机可读存储介质存储有附加指令，所述附加指令在由所述处理器执行时使所述处理器执行包括下列项的操作：

通过网络向包括所述图像数据库的远程计算系统发送所述图像；并且

从所述远程计算系统接收所述图像存储在所述图像数据库中的确认。

14.根据权利要求11所述的系统，还包括：

机载罗盘；并且

其中，非暂时性计算机可读存储介质存储有附加指令，所述附加指令在由所述处理器执行时使所述处理器执行包括下列项的操作：

经由所述机载罗盘识别所述系统的当前航向；

识别所述图像相对于该存储图像的比例；并且

基于所述当前航向和所述比例来修改显示在所述显示器上的所述交互式内容。

15.根据权利要求14所述的系统，其中，通过以下中的至少一项来修改所述交互式内容：基于所述比例改变显示的所述交互式内容的尺寸、以及基于所述当前航向改变显示的所述交互式内容的角度。

16.根据权利要求11所述的系统，其中，所述交互式内容还包括方向改变。

17.根据权利要求11所述的系统，其中，所述非暂时性计算机可读存储介质存储有附加指令，所述附加指令在由所述处理器执行时使所述处理器执行包括下列项的操作：

跟踪所述系统的用户与所述交互式内容的交互；并且

向服务器发送所述交互，

其中：

所述服务器将所述交互与其他用户的交互聚集，从而产生聚集的用户交互；并且

基于所述聚集的用户交互，修改所述系统上的所述交互式内容。

18.根据权利要求17所述的系统，其中，所述交互式内容存储在所述服务器内；并且

其中，检索所述交互式内容还包括：

通过网络向所述服务器发送针对所述交互式内容的请求；并且

响应于所述请求，通过所述网络从所述服务器接收所述交互式内容。

19.根据权利要求11所述的系统，其中，所述交互式内容存储在所述非暂时性计算机可读存储介质中。

20.一种非暂时性计算机可读存储介质，存储有指令，所述指令在由计算设备执行时使所述计算设备执行操作，所述操作包括：

经由相机在接收到的视频馈送中捕获激发对象的图像，所述激发对象激发人工现实内容的显示；

确定所述图像与存储在图像数据库中的多个存储图像中的一存储图像相对应，从而产生一确定；

基于所述确定和所述相机的位置来检索与所述激发对象以及所述位置相关联的交互式内容，所述交互式内容包括：人工现实地图，示出用户到后续目的地应跟随的路线；以及增强现实箭头，指向所述后续目的地；

经由显示器，将所述人工现实地图显示为第一增强现实覆盖；

在显示所述人工现实地图的同时，经由所述显示器将所述增强现实箭头显示为第二增强现实覆盖；

检测系统的移动，所述移动包括位置改变，所述位置改变使得所述系统与所述激发对象之间的距离增加；并且

基于所述位置改变来修改所述人工现实地图以及所述增强现实箭头中的至少一个，使得所述人工现实地图基于所述距离而缩放。