CN105191282B - 用于增强现实目标检测的方法和设备 - Google Patents

Abstract

本发明揭示由基于目标的增强现实AR装置对目标执行低功率前端被动扫描以提醒用户链接到用户可能正在查看的任何图像目标的AR内容的系统和方法。通过AR装置的被动扫描减轻了用户手动地激活相机以进行AR图像目标识别的需要，并且有助于识别用户可能正在无意地查看的图像目标。为了节省功率，AR装置可以在AR装置从用户的移动模式检测到用户可能对某些目标感兴趣或者处于注意状态时自主地激活相机以执行探索性扫描。AR装置可以从探索性扫描识别一或多个图像目标。如果用户选择与AR内容交互，则AR装置可以激活相机以对图像目标执行完整俘获或实时追踪以增强所述AR内容。

Description

用于增强现实目标检测的方法和设备

技术领域

本申请总体上涉及用户穿戴计算机系统。具体来说，本申请涉及用于在增强现实(AR)装置中扫描和识别目标的方法和系统。

背景技术

基于目标的增强现实(AR)装置允许用户查看链接到装置实时识别的图像目标的信息。一种类型的AR装置是透视头戴式显示器(HMD)。透视HMD是一种穿戴在头上或者作为头盔的一部分穿戴的显示装置，其中在部分反射镜上投影计算机产生的图像，以向用户提供同时的现实世界视图。举例来说，购物者穿戴的支持相机功能的HMD可以识别购物者视野内的产品的图像目标，并且可以向购物者显示关于那些产品的信息。类似地，用户穿戴的身体安装式相机可以追踪用户附近的目标，且可以向链接到相机的智能电话显示关于所述目标的AR信息以供用户查看。

常规上，基于目标的AR是一种需要用户参与来识别图像目标的主动体验。举例来说，在基于目标的AR装置上运行AR应用的用户通常将相机对准目标，且激活相机以扫描目标。获得目标的图像或指纹，并且将其与基于装置的目标数据库或基于云的目标数据库比较以进行目标识别。如果存在匹配，则基于目标的AR装置检索与识别的图像目标链接的AR内容，并且在AR装置的屏幕上再现所述AR内容。用户激活式目标识别的一个缺点是，除非AR图像目标被明确标记为是AR图像目标，否则用户并不知道所述目标是否具有AR内容。实际上，用户总体上意识到例如随机杂志封面、照片、海报、标识或印刷广告等任何随机目标有链接的AR内容的可能性极小。因此，用户可能会灰心，而不愿激活相机以扫描潜在的图像目标。

相反，将AR图像目标标记为AR图像目标，会妨碍基于目标的AR的目的，因为目标的图像标记于是变成另一种形式的图像到内容链接，例如二维码(QR code)。让用户不再需要激活图像目标识别的一种方式是让支持相机功能的HMD或其它用户穿戴相机系统自主地连续扫描目标以便识别AR图像目标。然而，连续地运行相机、传送图像目标和识别图像目标的电力要求使这种解决方案对于电池容量有限的HMD和用户穿戴相机是不可行的。因此，需要基于目标的AR装置提供自发的低功率的AR图像目标扫描和识别。

发明内容

本发明揭示由基于目标的AR装置对目标执行低功率前端被动扫描以提醒用户链接到用户可能正在查看的任何图像目标的AR内容的系统和方法。通过AR装置的被动扫描减轻了用户手动地激活相机以进行AR图像目标识别的需要，并且有助于识别用户可能正在无意地查看的图像目标。为了节省功率，AR装置可以在AR装置检测到表明用户可能对某些目标感兴趣或者处于注意状态的用户的移动模式时自主地激活相机以执行探索性扫描。AR装置可以从探索性扫描预先地识别一或多个图像目标。如果用户选择与链接到图像目标的AR内容交互，则AR装置可以激活相机以对图像目标执行完整俘获或实时追踪以增强所述AR内容。有利地，减轻了用户主动搜索AR图像目标的需要。此外，通过在检测到用户的移动模式后激活对图像目标的低功率探索性扫描，然后在用户准备好接受AR体验时进行完整俘获，节省了AR装置的电池功率。

本发明揭示了一种由AR装置检测和显示AR目标的方法。所述方法包含通过AR装置检测用户处于第一状态。在检测到此状态后，所述方法包含即刻通过AR装置俘获用户的视野的低分辨率帧。所述方法进一步包含从低分辨率帧识别图像目标，以及确定图像目标具有链接的AR内容。所述方法进一步包含提醒用户所述图像目标是可用的。所述方法进一步包含通过AR装置从用户接收关于用户是否想要与链接的AR内容交互的命令。如果用户想要与链接的AR内容交互，则所述方法进一步包含通过AR装置俘获用户的视野的全分辨率帧。所述方法进一步包含通过AR装置向用户显示链接的AR内容。

本发明揭示一种用于AR目标检测的设备。所述设备包含用于寄存所述设备的运动的传感器、相机、存储器和经配置以检测和显示AR目标的一或多个处理器。所述处理器经配置以轮询所述传感器以检测所述设备的移动模式。当检测到此移动模式时，处理器还经配置以即刻激活相机以俘获相机的视野的低分辨率帧。所述处理器进一步经配置以从低分辨率帧识别图像目标并且确定图像目标具有链接的AR内容。所述处理器进一步经配置以提醒用户所述图像目标是可用的。所述处理器进一步经配置以从用户接收关于用户是否想要与链接的AR内容交互的命令。如果用户想要与链接的AR内容交互，则处理器进一步经配置以激活相机以俘获相机的视野的全分辨率帧。

本发明揭示了一种存储机器可读指令的非暂时性机器可读媒体。一或多个处理器可以执行所述指令以执行用于检测和显示AR内容的步骤。所述指令包含检测用户处于第一状态。所述指令还包含在检测到用户处于第一状态后即刻俘获用户的视野的低分辨率帧。所述指令进一步包含从低分辨率帧识别图像目标并且确定图像目标具有链接的AR内容。所述指令进一步包含提醒用户所述图像目标是可用的。所述指令进一步包含从用户接收关于用户是否想要与链接的AR内容交互的命令。如果用户想要与链接的AR内容交互，则所述指令进一步包含俘获用户的视野的全分辨率帧。所述指令进一步包含将链接的AR内容提供到用户。

本发明揭示一种用于检测和显示AR内容的系统。所述系统包含用于检测用户处于第一状态的装置。所述系统还包含用于在检测到用户处于第一状态后即刻俘获用户的视野的低分辨率帧的装置。所述系统进一步包含用于从低分辨率帧识别图像目标并且用于确定图像目标具有链接的AR内容的装置。所述系统进一步包含用于提醒用户所述图像目标是可用的装置。所述系统进一步包含用于从用户接收关于用户是否想要与链接的AR内容交互的命令的装置。如果用户想要与链接的AR内容交互，则所述系统进一步包含用于俘获用户的视野的全分辨率帧的装置。所述系统进一步包含用于将所述链接的AR内容提供到用户的装置。

附图说明

图1展示根据本发明的主题的一个实施例的连接到移动装置用作基于目标的AR装置以扫描图像目标和显示AR内容的HMD或身体穿戴相机；

图2A展示根据本发明的主题的一个实施例的由基于目标的AR装置使用对目标的低功率前端被动扫描来检测AR目标的过程的流程图中的步骤；

图2B展示根据本发明的主题的一个实施例的由基于目标的AR装置对目标执行低功率前端被动扫描以进行图像目标识别的过程的流程图中的步骤；

图3展示根据本发明的主题的一个实施例的展示图像目标的AR内容的可用性的HMD的显示器的示范性视野；以及

图4是根据本发明的主题的一个实施例的适合于实施本文中论述的一或多个组件的计算机系统的框图。

通过参照下面的详细描述，能最好地理解本发明的实施例及其优点。应了解，使用相似的参考标号来表示在各图中的一或多者中说明的相似元件。

具体实施方式

本发明揭示由基于目标的AR装置对目标执行低功率前端被动扫描以提醒用户存在链接到用户可能正在查看的任何图像目标甚至是用户可能正在无意中查看的目标的AR内容的系统和方法。为了节省功率，AR装置可以在AR装置检测到表明用户可能对某些目标感兴趣或者处于注意状态的运动移动时激活相机以执行探索性扫描。在从探索性扫描识别出图像目标之后，用户可以激活相机以对图像目标执行完全俘获或实时追踪以便与链接到图像目标的AR内容交互。

AR装置可以包含连接到移动装置的HMD或身体穿戴相机。可以使用HMD或身体穿戴相机上的加速计和/或陀螺仪连续地追踪穿戴HMD或相机的用户的头部或身体移动。AR装置可以用周期性间隔轮询加速计和/或陀螺仪以检测移动模式。所述模式可以包含在一段时间的运动之后头部移动的暂停。当加速计和/或陀螺仪在一段时间的运动之后的几个轮询事件中未寄存明显移动时，此移动模式可以向AR装置表明用户可能正在查看某些目标或者对某些目标感兴趣。AR装置可以激活相机以俘获相机视野中的目标的单个低分辨率帧，或者以低帧速率追踪相机视野中的目标。所述AR装置可以对所述帧运行AR目标匹配算法以使用基于装置的目标数据库来识别任何图像目标。替代地，AR装置可以将所述帧发射到远程服务器以便使用基于云的目标数据库来进行图像目标识别。

如果识别出图像目标，并且如果加速计和/或陀螺仪自从相机激活以来未检测到头部或身体的移动，则AR装置可以经由HMD通过视觉或者经由身体穿戴相机通过触觉或音频提醒来提醒用户有AR内容可用。在一或多个实施例中，连接的移动装置可以提供触觉、音频或视频反馈以通知用户AR内容的可用性。用户可以选择与AR体验交互，或者可以标记所述图像目标以供稍后检索链接的AR内容。为了帮助用户作出决定，可以通过HMD或在连接到身体穿戴相机的移动装置上显示所俘获的原始图像目标的快照，以将用户引导到所述环境中的正确目标。用户可以经由HMD用户接口或经由移动装置向AR装置发出命令。

如果用户决定与AR体验交互，则AR装置可以激活相机以俘获所识别的图像目标的全分辨率帧，以允许AR装置增强AR内容。举例来说，全分辨率帧可以使得能够检索图像目标的额外AR内容，或者可以使得能够识别额外图像目标。在一个实施例中，AR装置可以用较高帧速率俘获图像目标以便使得能够实时追踪图像目标。在一个实施例中，移动装置的相机可以通过从身体穿戴相机接管实时目标追踪来执行AR内容增强功能。可以通过HMD或在移动装置上显示所俘获的原始图像目标的快照，以帮助将用户引导到所述环境中的正确目标。如果用户标记所述图像目标以供稍后检索链接的AR内容，则所述AR装置可以保存所述图像目标。当用户在稍后的时间准备好接受AR体验时，可以显示所俘获的原始图像目标的快照以将用户引导到图像目标。

图1展示根据本发明的主题的一个实施例的连接到用作基于目标的AR装置的移动装置以扫描图像目标和显示AR内容的HMD或身体穿戴相机。移动装置102可以是智能电话(例如，iPhone、Google电话或其它运行安卓系统、Window Mobile或其它操作系统的电话)、平板计算机(例如iPad、Galaxy)、个人数字助理(PDA)、笔记本计算机或多种其它类型的无线或有线计算装置。移动装置102可以经由网络106与HMD 104或与用户穿戴相机108通信。

用户穿戴相机108可以具有加速计和/或陀螺仪以追踪穿戴所述相机的用户的身体移动。移动装置102可以用周期性间隔轮询加速计和/或陀螺仪以检测可能表明用户正在查看某些目标的移动模式。当检测到此些移动模式时，移动装置102可以激活用户穿戴相机108以俘获用户视野或用户周围的目标的一个低分辨率帧或几个低帧速率的帧。用户穿戴相机108可以通过网络106将目标的图像发射到移动装置102。移动装置102可以对图像运行AR目标匹配算法以使用基于移动装置的目标数据库预先地识别任何图像目标。在一或多个实施例中，移动装置102可以使用远程目标数据库110或者可以将图像发射到远程服务器以进行图像目标识别。

如果预先地将一个图像目标识别为具有AR内容，则移动装置102可以发出视觉、音频或触觉提醒以提醒用户目标的AR内容是可用的。在一或多个实施例中，用户穿戴相机108可以发出音频或触觉提醒。移动装置102可以显示图像目标的快照以将用户引导到所述环境中的目标。移动装置102可以呈现让用户与AR体验交互或保存目标以供在稍后的时间进行AR交互的选项。如果用户决定与AR体验交互，例如决定查看AR内容，则移动装置102可以激活用户穿戴相机108以俘获目标的全分辨率帧或以高帧速率俘获目标以使得能够实时追踪目标。在一或多个实施例中，移动装置102的相机可以从用户穿戴相机108接管实时追踪。在一或多个实施例中，移动装置102可以使用目标数据库对全分辨率帧运行AR目标匹配算法以确认目标、增强AR内容或识别额外图像目标。

如果用户决定保存目标以供在稍后的时间进行AR交互，则移动装置102可以保存图像目标的快照。当用户准备好进行AR体验时，移动装置102可以显示图像目标的快照。如果用户仍然在目标附近，则用户可以命令移动装置102或用户穿戴相机108俘获目标的全分辨率帧或以高帧速率俘获目标，以使得能够实时追踪目标。用户可以像之前一样与AR体验交互。在一或多个实施例中，即使用户不再在目标附近，用户也可能能够检索链接到目标的AR内容以进行查看。

AR装置可以是HMD 104。HMD 104的功能性可并入到用户佩戴的一副眼镜或头盔中。在一或多个实施例中，HMD 104可以提供用户穿戴相机108和移动装置102的功能性。在这点上，HMD 104可以具有加速计和/或陀螺仪以追踪用户的头部移动，具有相机以俘获用户视野中的目标，具有显示媒体以向用户显示AR内容，并且具有运动传感器或其它感测或输入机构以检测或接收用户命令。在一或多个实施例中，能力更有限的HMD 104可以使用移动装置102作为用户接口经由网络106从用户接收命令。

与包含用户穿戴相机108和移动装置102的AR装置一样，HMD 104可以用周期性间隔轮询加速计和/或陀螺仪以检测表明用户正在查看某些目标的头部移动的模式。HMD 104可以激活嵌入式相机以对用户视野中的图像执行低功率探索性扫描。HMD 104可以使用内部目标数据库或远程目标数据库110对扫描出的图像运行AR目标匹配算法以识别图像目标。如果将图像目标预先地识别为具有AR内容，并且如果自从相机激活以来加速计和/或陀螺仪未检测到超出预设时间或头部移动阈值的头部移动，则HMD 104可以向用户显示提醒，提醒所述目标的AR内容是可用的。HMD 104可以识别目标，并且还可以显示图标，用户可以选择所述图标以与AR体验交互或保存目标以便在稍后的时间进行AR交互。

如果用户选择与AR体验交互，则HMD 104可以激活相机以对目标执行全分辨率扫描或执行实时追踪。HMD 104可以使用内部目标数据库或远程目标数据库110对全分辨率的扫描出的图像运行AR目标匹配算法，以确认目标、增强AR内容或识别额外图像目标。如果用户选择保存图像目标，则HMD 104可以保存图像目标的快照。在稍后的时间，用户可以像之前一样与目标的AR体验交互。

网络106可以实施为单个网络或多个网络的组合。举例来说，在各种实施例中，网络106可以包含因特网和/或一或多个内联网、无线网络(例如蜂窝网络、广域网(WAN)、WiFi热点、WiMax、个域网(PAN)、蓝牙等)、陆上网络和/或其它适当类型的通信网络。因此，在各种实施例中，计算装置102可以与特定链接(例如到IP(因特网协议)地址的链接，例如URL(统一资源定位符))相关联。

图2A展示根据本发明的主题的一个实施例的由基于目标的AR装置使用对目标的低功率前端被动扫描来检测AR目标的过程的流程图中的步骤。在201中，AR装置检测到穿戴AR装置的用户处于第一状态。举例来说，HMD 104可以轮询来自加速计/陀螺仪的加速度签名以检测在一段时间运动之后用户的头部移动的暂停。

在203中，AR装置响应于检测到的第一状态俘获用户视野的低分辨率帧。低分辨率帧可以使得能够进行基本的目标识别，而不会有与俘获全分辨率帧相关联的处理和/或功率损失。在205中，AR装置或外部装置从低分辨率帧确定是否可以识别出具有链接的AR内容的图像目标。举例来说，HMD 104可以使用远程目标数据库110运行AR目标匹配算法以预先地识别具有链接的AR内容的任何图像目标。

在207中，如果找到具有链接的AR内容的图像目标，则AR装置或外部装置可以提醒用户图像目标是可用的。举例来说，HMD 104可以发出已经找到图像目标的视觉提醒，并且可以向用户呈现选项，从而允许用户请求链接的AR内容。在209中，AR装置接收指示用户是否希望与链接的AR内容交互的用户命令。

在211中，如果用户命令指示用户希望与链接的AR内容交互，则AR装置俘获用户视野的全分辨率帧。AR装置可以对全分辨率帧运行目标匹配算法以增强AR内容或识别额外图像目标。在213中，AR装置向用户呈现链接到一或多个识别出的图像目标的AR内容。

图2B展示根据本发明的主题的一个实施例的由基于目标的AR装置对目标执行低功率前端被动扫描以进行图像目标识别的过程的流程图中的步骤。图3展示根据本发明的主题的一个实施例的展示图像目标的AR内容的可用性的HMD的显示器的示范性视野。在下面的论述中，配合图2考虑图3以说明穿戴根据图2的步骤操作的HMD 104的用户看到的显示器的示范性视图。

在202中，例如HMD 104等AR装置检测到在一段时间运动之后用户的头部移动的暂停。此头部移动模式向HMD 104表明用户可能正在查看某些目标或者可能对某些目标感兴趣。参看图3，HMD 104具有加速计/陀螺仪304，其寄存HMD 104经历的加速度。HMD 104可以用周期性间隔(例如每隔几秒)轮询加速计/陀螺仪304以检测用户的头部运动。当加速计/陀螺仪304在几个轮询间隔中寄存初始一段时间的运动之后没有明显头部移动时，HMD 104可以推断用户的视野306内的对象已经引起用户的兴趣。在一或多个实施例中，HMD 104可以利用眼睛追踪来缩小包含感兴趣的对象的视野306的区域。

举例来说，用户可能正在电器店的TV区购物。HMD 104可以在用户随意地移动他或她的头部以扫描显示器上的一系列TV时检测到一段时间的头部运动。当用户将他的眼睛在特定TV 308上停留几秒时，HMD 104检测到在所述段时间的头部运动之后用户的头部移动的暂停。

返回参看图2的204，AR装置激活相机以对用户视野内的目标执行低功率探索性扫描。AR装置可以激活相机以俘获用户视野306中的目标的单个低分辨率帧，或者俘获目标的低帧速率的几个帧。在一或多个实施例中，当用户的视野306的较小区域包含用户正在查看的对象时，AR装置可以仅仅在所述区域上执行探索性扫描。在一或多个实施例中，相机在用户的完整视野上执行探索性扫描以帮助识别用户可能正在无意地查看的图像目标。

在206中，所述AR装置可以使用目标数据库对所述帧运行AR目标匹配算法以识别任何图像目标。目标数据库可以驻留在AR装置内。在一或多个实施例中，AR装置可以将所述帧发射到远程服务器以由远程服务器使用远程目标数据库识别图像目标。AR装置或远程服务器可以使用文字辨识、模式匹配、面部辨识或其它技术来执行目标匹配以使俘获到的对象的图像与目标数据库中的图像目标相关。

如果目标匹配算法未在当前视野内识别出任何目标，则AR装置可以返回到202以周期性地监视用户的移动模式以起始对其它视野的扫描。举例来说，HMD 104可以轮询加速计/陀螺仪304以检测在执行最后探索性扫描的周期之后的更新的头部运动。HMD 104可以接着重新启动对可能表明用户可能正在查看额外对象或者可能对额外对象感兴趣头部移动模式的搜索。

如果目标匹配算法识别出一或多个目标，则AR装置可以检测自从AR激活相机以进行探索性扫描以来用户是否已经有明显移动。如果自从探索性扫描以来用户已经有明显移动，从而指示用户可能不再在查看所述对象，则AR装置返回到202以检测用户是否可能正在查看其它对象。

在208中，如果用户并未明显移动，从而表明用户可能仍然在查看起初引起用户注意的对象，则AR装置提醒用户AR内容是可用的。AR装置可以向用户识别有AR内容可用的一或多个目标。举例来说，AR装置可以呈现目标的快照或可以呈现信息显示以帮助用户识别所述目标。在210中，AR装置可以针对每一目标呈现由用户与链接的AR内容交互或由用户保存目标以供稍后检索链接的AR内容的选项。

举例来说，在图3中，HMD 104激活相机302以俘获用户的视野306的低分辨率帧。视野306包含TV 308和其它对象。HMD 104可以对俘获到的帧中的对象运行目标匹配算法以在视野306中识别用户可能正在有意地或无意地查看的目标。举例来说，目标匹配算法读取TV308的控制台上的标记以对TV 308的品牌和型号进行解码。目标匹配算法找到与所述品牌和型号匹配的TV的图像目标。

HMD 104轮询加速计/陀螺仪304以验证自从相机302执行探索性扫描以来没有明显头部移动，从而指示用户仍然在查看TV 308或视野306内的其它对象。HMD 104呈现弹出窗310，告知用户TV 308的AR内容是可用的。HMD 104可以将弹出窗310定位在TV 308附近，以帮助将用户的注意力引导到TV 308。弹出窗310内显示了两个图标-第一图标312，用户可以选择第一图标312以查看TV 308的链接的AR内容；以及第二图标314，用户可以选择第二图标314以保存TV 308的图像目标以供稍后检索链接的AR内容。如果目标匹配算法在视野306内识别出额外目标，则HMD 104可以类似地显示弹出窗，其识别有AR内容可用的目标，并且可以向用户提供与AR体验交互或保存目标的选择。

返回参看图2，在212中，如果用户选择保存图像目标以供稍后检索，则AR装置在存储器中保存图像目标。当用户在稍后的时间准备好接受AR体验时，AR装置可以显示原始图像目标的快照以将用户的注意力引导到图像目标。AR装置返回到202以重新启动对表明用户可能正在查看额外对象或者可能对额外对象感兴趣的头部移动模式的搜索。

在214中，如果用户选择与AR体验交互，则AR装置激活相机以俘获所述目标的全分辨率帧，以允许AR装置增强AR内容。在一或多个实施例中，AR装置可以激活相机以用高帧速率俘获目标以使得能够实时追踪目标。在216中，AR装置将链接的AR内容提供给用户，以允许用户与所述目标的AR内容交互。在一或多个实施例中，AR装置可以使用目标数据库对全分辨率帧运行AR目标匹配算法以确认目标、增强AR内容或识别额外图像目标。

举例来说，在图3中，如果用户选择与TV 308的AR内容交互，则用户可以选择第一图标312。HMD 104可以通过感测用户的手指在第一图标312上的移动或通过其它感测或输入机制来检测用户的选择。HMD 104可以激活相机302以俘获TV 308的全分辨率帧以允许HMD 104增强AR内容。HMD 104可以向用户显示TV 308的增强的AR内容。增强的AR内容可以包含关于TV 308的信息，例如其特征、价格、评价、折扣、与其它类似产品的比较等。

如果用户选择保存AR内容，则用户可以选择第二图标314。HMD 104可以保存TV308的AR内容以供用户稍后检索，从而即使在TV 308不再在视野306中时也允许用户与AR内容交互。在一或多个实施例中，HMD 104可以轮询加速计/陀螺仪304以确定自从显示弹出窗310以来是否有明显头部运动。如果已经有明显头部运动，从而指示用户可能不再在查看TV308，则HMD 104可以关闭弹出窗310。

图4是根据本发明的主题的一个实施例的适合于实施本文中论述的一或多个组件的计算机系统400的框图。在各种实施方案中，用户的移动装置102可包括个人计算装置(例如智能电话、计算平板、个人计算机、膝上型计算机、PDA、蓝牙装置、密钥卡、徽章等)，所述个人计算装置能够与网络通信。类似地，HMD 104可包括并入到一副眼镜或头盔中的个人计算装置。HMD 104可包括或实施多个硬件组件和/或软件组件，其操作以执行根据所描述实施例的多种方法。示范性HMD 104可以包含(例如)运行移动OS的独立和联网的计算机。

计算机系统400包含总线402或其它用于在计算机系统400的多个组件之间传送信息数据、信号和信息的通信机构。组件包含输入/输出(I/O)组件404，其处理用户动作，例如从虚拟小键盘/键盘选择按键，选择一或多个按钮或链接等，并且将对应信号发送到总线402。I/O组件404还可包含：输出组件，例如显示媒体411，其安装在用户眼睛前方短距离之处；以及输入控件，例如光标控件413(例如虚拟键盘、虚拟小键盘、虚拟鼠标等)。还可包含任选的音频输入/输出组件405以通过将音频信号转换成信息信号而允许用户使用语音来输入信息。音频I/O组件405可以允许用户听到音频。收发器或网络接口406在计算机系统400与例如另一用户装置等其它装置之间发射和接收信号，或者经由到网络的通信链路418而在计算机系统400与另一网络计算装置之间发射和接收信号。在一个实施例中，发射是无线的，但是其它传输媒体和方法可能也是合适的。处理器412可以是微控制器、数字信号处理器(DSP)或其它处理组件，处理器412处理这多个信号，例如用于在计算机系统400上显示，或者经由通信链路418发射到其它装置。处理器412还可控制将例如cookies或IP地址等信息发射到其它装置。

计算机系统400的组件还包含系统存储器组件414(例如RAM)、静态存储组件416(例如ROM)和/或磁盘驱动器417。计算机系统400通过处理器412和其它组件通过执行包含于系统存储器组件414中的一或多个指令序列来执行特定的操作。逻辑可在计算机可读媒体中编码，所述计算机可读媒体可指代参与将指令提供到处理器412以供执行的任何媒体。此媒体可以采用许多形式，包含但不限于非易失性媒体、易失性媒体和传输媒体。在各种实施方案中，非易失性媒体包含光盘或磁盘或固态驱动器；易失性媒体包含动态存储器，例如系统存储器组件414；并且传输媒体包含同轴电缆、铜线和光纤，包含包括总线402在内的导线。在一个实施例中，逻辑编码在非暂时性计算机可读媒体中。在一个实例中，传输媒体可呈例如在无线电波、光学和红外数据通信期间产生的那些的声波或光波的形式。

在本发明的各种实施例中，可以通过计算机系统400实行执行指令序列以实践本发明。在本发明的各种其它实施例中，通过通信链路418耦合到网络(例如，比如LAN、WLAN、PTSN和/或多个其它有线或无线网络，包含电信、移动和蜂窝电话网络)的多个计算机系统400可以彼此协调地执行指令序列以实践本发明。

在适用的情况下，可以使用硬件、软件、固件或其组合来实施本发明提供的各种实施例。而且，在适用的情况下，在不脱离本发明的精神的情况下，本文中阐述的多个硬件组件、软件组件和/或固件组件可以组合成包括软件、固件、硬件和/或全部的复合组件。在适用的情况下，在不脱离本发明的精神的情况下，本文中阐述的多个硬件组件、软件组件和/或固件组件可以分成包括软件、固件、硬件或全部的子组件。此外，在适用的情况下，考虑软件组件可以实施为硬件组件，且反之亦然。在适用的情况下，本文所述的多个步骤的排序可以改变、组合成复合步骤和/或分成子步骤以提供本文所述的特征。

虽然已经描述了本发明的实施例，但是这些实施例说明但并不限制本发明。举例来说，虽然是通过检测在一段时间运动之后用户的身体移动的暂停来说明AR装置的低功率探索性扫描的激活，但是可以使用其它移动模式来激活探索性扫描。类似地，可以使用除加速计或陀螺仪外的传感器(例如视网膜扫描仪)来优化探索性扫描的激活以进一步降低功率。还应了解，本发明的实施例不应限于这些实施例，而是，所属领域的技术人员根据本发明的原理可以进行大量修改和变化，且所述修改和变化包含在权利要求书中要求的本发明的精神和范围内。

Claims (49)

1.一种用于与穿戴增强现实AR装置的用户交互的方法，其包括：

通过所述AR装置检测所述用户处于第一状态；

响应于所述第一状态的检测而通过所述AR装置俘获所述用户的视野的低分辨率帧；

从所述低分辨率帧确定图像目标，其中所述图像目标具有链接的AR内容；

提醒所述用户所述图像目标是可用的；

通过所述AR装置从所述用户接收关于是否与所述链接的AR内容交互的命令；

基于指示所述用户想要与所述链接的AR内容交互的命令，通过所述AR装置俘获所述用户的所述视野的全分辨率帧；以及

通过所述AR装置向所述用户显示所述链接的AR内容。

2.根据权利要求1所述的方法，其中所述通过所述AR装置检测所述用户处于所述第一状态包括检测穿戴所述AR装置的所述用户的移动模式。

3.根据权利要求2所述的方法，其中所述移动模式包括第一段时间的移动之后是第二段时间的运动暂停。

4.根据权利要求1所述的方法，其中所述通过所述AR装置俘获所述用户的所述视野的所述低分辨率帧包括以低帧速率俘获所述视野的多个帧。

5.根据权利要求1所述的方法，其中所述从所述低分辨率帧确定所述图像目标包括对所述低分辨率帧运行AR目标匹配算法以从目标数据库中识别所述图像目标。

6.根据权利要求5所述的方法，其中所述运行所述AR目标匹配算法是通过与所述AR装置通信的远程服务器进行的。

7.根据权利要求1所述的方法，其中所述提醒所述用户所述图像目标是可用的包括通过所述AR装置在视觉上显示关于所述图像目标的可用性的信息。

8.根据权利要求1所述的方法，其中所述提醒所述用户所述图像目标是可用的包括确定在所述通过所述AR装置俘获所述用户的所述视野的所述低分辨率帧之后所述用户保持在所述第一状态。

9.根据权利要求1所述的方法，其进一步包括基于指示所述用户想要在稍后的时间与所述链接的AR内容交互的命令保存所述图像目标。

10.根据权利要求1所述的方法，其中所述通过所述AR装置俘获所述用户的所述视野的所述全分辨率帧包括使用所述全分辨率帧追踪所述图像目标。

11.根据权利要求1所述的方法，其中所述通过所述AR装置俘获所述用户的所述视野的所述全分辨率帧包括增强所述链接的AR内容。

12.根据权利要求1所述的方法，其进一步包括从所述用户的所述视野的所述全分辨率帧确定一或多个额外图像目标，其中所述一或多个额外图像目标具有链接的AR内容。

13.根据权利要求1所述的方法，其中所述AR装置包括头戴式显示器HMD。

14.根据权利要求1所述的方法，其中所述AR装置包括移动装置和所述用户穿戴的第一相机，其中所述第一相机用于俘获所述用户的所述视野的所述低分辨率帧。

15.根据权利要求14所述的方法，其中所述移动装置包括第二相机，其中所述第二相机用于俘获所述用户的所述视野的所述全分辨率帧。

16.一种用于增强现实AR目标检测的设备，其包括：

传感器，其经配置以寄存所述设备的运动；

相机；

存储器；以及

一或多个处理器，其耦合到所述存储器且经配置以：

轮询所述传感器以检测所述设备的移动模式；

响应于所述移动模式而激活所述相机以俘获所述相机的视野的低分辨率帧；

从所述低分辨率帧确定图像目标，其中所述图像目标具有链接的AR内容；

产生指示所述图像目标是可用的提醒；

接收对于所述链接的AR内容的命令；以及

基于针对所述链接的AR内容的所述命令，激活所述相机以俘获所述相机的所述视野的全分辨率帧。

17.根据权利要求16所述的设备，其进一步包括显示媒体，并且其中所述一或多个处理器进一步经配置以在所述显示媒体上显示所述链接的AR内容。

18.根据权利要求16所述的设备，其中所述移动模式包括第一段时间的移动之后是第二段时间的运动暂停。

19.根据权利要求16所述的设备，其中所述相机的所述视野的所述低分辨率帧包括低帧速率的所述相机的所述视野的多个帧。

20.根据权利要求16所述的设备，其中所述一或多个处理器经配置以通过进一步经配置以对所述低分辨率帧运行AR目标匹配算法以从目标数据库识别所述图像目标而从所述低分辨率帧确定所述图像目标。

21.根据权利要求16所述的设备，其中所述一或多个处理器经配置以通过进一步经配置以在显示媒体上显示关于所述图像目标的可用性的信息而产生所述提醒以指示所述图像目标是可用的。

22.根据权利要求16所述的设备，其中所述一或多个处理器经配置以通过进一步经配置以进行以下操作而产生所述提醒以指示所述图像目标是可用的：轮询所述传感器以确定在所述一或多个处理器经配置以激活所述相机以俘获所述相机的所述视野的所述低分辨率帧之后，所述传感器未寄存所述设备的超出运动阈值的运动。

23.根据权利要求16所述的设备，其中所述一或多个处理器进一步经配置以基于包括在稍后的时间提供所述链接的AR内容的请求的命令保存所述图像目标。

24.根据权利要求16所述的设备，其中所述一或多个处理器经配置以通过进一步经配置以使用所述相机的所述视野的所述全分辨率帧来追踪所述图像目标而激活所述相机以俘获所述相机的所述视野的所述全分辨率帧。

25.根据权利要求16所述的设备，其中所述一或多个处理器进一步经配置以从所述相机的所述视野的所述全分辨率帧增强所述链接的AR内容。

26.根据权利要求16所述的设备，其中所述一或多个处理器进一步经配置以从所述相机的所述视野的所述全分辨率帧确定一或多个额外图像目标，其中所述一或多个额外图像目标具有链接的AR内容。

27.根据权利要求16所述的设备，其中所述设备包括头戴式显示器HMD。

28.一种包括多个机器可读指令的非暂时性机器可读媒体，所述机器可读指令在由一或多个处理器执行时适于使所述一或多个处理器执行包括以下操作的方法：

检测用户处于第一状态；

响应于所述第一状态的检测而俘获所述用户的视野的低分辨率帧；

从所述低分辨率帧确定图像目标，其中所述图像目标具有链接的增强现实AR内容；

提醒所述用户所述图像目标是可用的；

接收对于所述链接的AR内容的命令；

基于针对所述链接的AR内容的所述命令，俘获所述用户的所述视野的全分辨率帧；以及

将所述链接的AR内容提供到所述用户。

29.根据权利要求28所述的非暂时性机器可读媒体，其中所述检测所述用户处于所述第一状态包括检测所述用户的移动模式。

30.根据权利要求29所述的非暂时性机器可读媒体，其中所述移动模式包括第一段时间的移动之后是第二段时间的运动暂停。

31.根据权利要求28所述的非暂时性机器可读媒体，其中所述俘获所述用户的所述视野的所述低分辨率帧包括以低帧速率俘获所述视野的多个帧。

32.根据权利要求28所述的非暂时性机器可读媒体，其中所述从所述低分辨率帧确定所述图像目标包括对所述低分辨率帧运行AR目标匹配算法以从目标数据库识别所述图像目标。

33.根据权利要求28所述的非暂时性机器可读媒体，其中所述提醒所述用户所述图像目标是可用的包括在视觉上显示关于所述图像目标的可用性的信息。

34.根据权利要求28所述的非暂时性机器可读媒体，其中所述提醒所述用户所述图像目标是可用的包括确定在所述俘获所述用户的所述视野的所述低分辨率帧之后所述用户保持在所述第一状态。

35.根据权利要求28所述的非暂时性机器可读媒体，其中所述方法进一步包括基于指示所述用户想要在稍后的时间与所述链接的AR内容交互的命令保存所述图像目标。

36.根据权利要求28所述的非暂时性机器可读媒体，其中所述俘获所述用户的所述视野的所述全分辨率帧包括使用所述全分辨率帧追踪所述图像目标。

37.根据权利要求28所述的非暂时性机器可读媒体，其中所述方法进一步包括使用所述用户的所述视野的所述全分辨率帧增强所述链接的AR内容。

38.根据权利要求28所述的非暂时性机器可读媒体，其中所述方法进一步包括从所述用户的所述视野的所述全分辨率帧确定一或多个额外图像目标，其中所述一或多个额外图像目标具有链接的AR内容。

39.一种用于检测和显示增强现实AR内容的系统，其包括：

用于检测用户处于第一状态的装置；

用于响应于所述第一状态的检测而俘获所述用户的视野的低分辨率帧的装置；

用于从所述低分辨率帧确定图像目标的装置，其中所述图像目标具有链接的AR内容；

用于提醒所述用户所述图像目标是可用的装置；

用于接收对于所述链接的AR内容的命令的装置；

用于基于针对所述链接的AR内容的所述命令，俘获所述用户的所述视野的全分辨率帧的装置；以及

用于将所述链接的AR内容提供到所述用户的装置。

40.根据权利要求39所述的系统，其中所述用于检测所述用户处于所述第一状态的装置包括用于检测所述用户的移动模式的装置。

41.根据权利要求40所述的系统，其中所述移动模式包括第一段时间的移动之后是第二段时间的运动暂停。

42.根据权利要求39所述的系统，其中所述用于俘获所述用户的所述视野的所述低分辨率帧的装置包括用于以低帧速率俘获所述视野的多个帧的装置。

43.根据权利要求39所述的系统，其中所述用于从所述低分辨率帧确定所述图像目标的装置包括用于对所述低分辨率帧运行AR目标匹配算法以从目标数据库识别所述图像目标的装置。

44.根据权利要求39所述的系统，其中所述用于提醒所述用户所述图像目标是可用的装置包括用于在视觉上显示关于所述图像目标的可用性的信息的装置。

45.根据权利要求39所述的系统，其中所述用于提醒所述用户所述图像目标是可用的装置包括用于确定在所述俘获所述用户的所述视野的所述低分辨率帧之后所述用户保持在所述第一状态的装置。

46.根据权利要求39所述的系统，其进一步包括用于基于指示所述用户想要在稍后的时间与所述链接的AR内容交互的命令保存所述图像目标的装置。

47.根据权利要求39所述的系统，其中所述用于俘获所述用户的所述视野的所述全分辨率帧的装置包括用于使用所述全分辨率帧追踪所述图像目标的装置。

48.根据权利要求39所述的系统，其进一步包括用于使用所述用户的所述视野的所述全分辨率帧增强所述链接的AR内容的装置。

49.根据权利要求39所述的系统，其进一步包括用于从所述用户的所述视野的所述全分辨率帧确定一或多个额外图像目标的装置，其中所述一或多个额外图像目标具有链接的AR内容。