CN104487915B - 维持扩增的连续性 - Google Patents

Abstract

本发明揭示用于维持扩增的连续性的方法及设备。在一个实施例中，一种适用于具有扩增实境功能的装置ARD的方法包括：至少部分基于从图像导出的视觉信息跟踪多个对象及背景；至少部分基于不同于所述视觉信息的信息维持所述多个对象的状态；以及响应于所述多个对象的所述状态而提供用于显现扩增的数据。

Description

维持扩增的连续性

对相关申请案的交叉参考

本申请案主张以下申请案的权益：2013年3月15日申请且标题为“维持扩增的连续性(Maintaining Continuity of Augmentations)”的第13/844,756号美国申请案；2012年7月26日申请且标题为“有形对象与扩增实境对象的交互(Interactions of Tangible andAugmented Reality Objects)”的第61/676,246号美国临时申请案；2012年7月26日申请且标题为“维持扩增的连续性(Maintaining Continuity of Augmentations)”的第61/676,249号美国临时申请案；2012年7月26日申请且标题为“用于控制扩增实境的方法及设备(Method and Apparatus for Controlling Augmented Reality)”的第61/676,278号美国临时申请案；2012年7月26日申请且标题为“有形对象与扩增实境对象的交互(Interactions of Tangible and Augmented Reality Objects)”的第61/676,255号美国临时申请案；以及2012年7月26日申请且标题为“有形项目对虚拟空间中的颗粒系统扩增的影响(Tangible Items′Effect on Particle System Augmentation in VirtualSpaces)”的第61/676,274号美国临时申请案。前述美国申请案的全文特此以引用的方式并入。

技术领域

本发明涉及扩增实境的领域。明确地说，本发明涉及维持扩增的连续性。

背景技术

常规扩增实境应用提供对现实世界环境的实况观看，其元素可被计算机生成的感觉输入(例如视频、声音、图形或GPS数据)加以扩增。通过此类应用，对现实的观看可通过计算装置修改，且所述应用可增强用户对现实的感知且提供关于用户环境的更多信息。举例来说，经扩增内容可实时地且在环境元素的语义上下文(例如在比赛期间的赛事统计及概述)中应用。随着例如智能电话等移动装置的激增，关于用户的周围现实世界的信息可在具有额外扩增内容的情况下显示在移动装置上，所述信息例如是关于具有重叠在现实世界对象上的虚拟对象的环境的人为信息。举例来说，移动装置可经配置以玩扩增实境游戏；此类游戏可包含游戏设定及游戏棋子。

常规扩增实境应用的问题中的一者是当所跟踪对象不再处于移动装置的相机的视图中时，常规扩增实境应用将停止跟踪所述对象。此方法可引起不充分的用户体验，在移动装置可能四处移动(当用户与其环境交互时或当一或多个游戏棋子可能不再处于移动装置的视图中时)的情境中尤其如此。因此，需要可改进常规扩增实境应用的方法、计算机程序产品及具有扩增实境功能的装置。

发明内容

本发明涉及维持扩增的连续性。根据本发明的实施例，一种适用于具有扩增实境功能的装置(ARD)的方法包括：至少部分基于从图像导出的视觉信息跟踪多个对象及背景；至少部分基于不同于所述视觉信息的信息维持所述多个对象的状态；以及响应于所述多个对象的所述状态而提供用于显现扩增的数据。

根据本发明的另一实施例，一种具有扩增实境功能的装置包括包含处理逻辑的控制单元；所述处理逻辑包括：经配置以至少部分基于从图像导出的视觉信息跟踪多个对象及背景的逻辑；经配置以至少部分基于不同于所述视觉信息的信息维持所述多个对象的状态的逻辑；以及经配置以响应于所述多个对象的所述状态而提供用于显现扩增的数据的逻辑。

根据本发明的又一实施例，一种适用于具有扩增实境功能的装置的计算机程序产品包括存储用于由一或多个计算机系统执行的指令的非暂时性媒体；所述指令包括：用于至少部分基于从图像导出的视觉信息跟踪多个对象及背景的指令；用于至少部分基于不同于所述视觉信息的信息维持所述多个对象的状态的指令；以及用于响应于所述多个对象的所述状态而提供用于显现扩增的数据的指令。

根据本发明的又一实施例，一种系统包括：用于至少部分基于从图像导出的视觉信息跟踪多个对象及背景的装置；用于至少部分基于不同于所述视觉信息的信息维持所述多个对象中的至少一个对象的状态的装置；以及用于响应于所述多个对象的所述状态而提供用于显现扩增的数据的装置。

附图说明

在配合以下图式阅读了本发明的实施例的详细描述之后，本发明的前述特征和优点及其额外特征和优点将可更加明确地理解。

图1说明根据本发明的一些方面的具有扩增实境功能的装置。

图2说明根据本发明的一些方面的示范性具有扩增实境功能的装置的框图。

图3说明根据本发明的一些方面的至少部分基于跟踪背景中的标记而提供交互的方法。

图4说明根据本发明的一些方面的至少部分基于跟踪背景中的多个对象而提供交互的另一方法。

图5说明根据本发明的一些方面的至少部分基于跟踪现实环境中的项目而提供交互的又一方法。

图6说明根据本发明的一些方面的至少部分基于跟踪虚拟及现实环境两者中的项目而提供交互的又一方法。

图7说明根据本发明的一些方面的当目标在视图外时维持扩增的连续性的方法。

图8说明根据本发明的一些方面的通过对丢失的跟踪提供校正而维持扩增的连续性的另一方法。

图9说明根据本发明的一些方面的至少部分基于通过RFID的跟踪而提供交互的又一方法。

图10说明根据本发明的一些方面的跨越多个具有扩增实境功能的装置提供交互的方法。

图11说明根据本发明的一些方面的维持扩增的连续性的流程图。

贯穿各图使用相同数字。

具体实施方式

揭示维持扩增的连续性的实施例。呈现以下描述以便使得所属领域的技术人员能够制作和使用本发明。具体实施例和应用的描述仅是作为实例提供。所属领域的技术人员将容易明白本文所述的实例的各种修改及组合，且在不脱离本发明的精神和范围的情况下，本文中所界定的一般原理可以应用于其它实例和应用。因此，本发明并不希望限于所描述和展示的实例，而是应被赋予符合本文揭示的原理和特征的最宽范围。词语“示范性”或“实例”在本文中用于意味着“充当实例、例子或说明”。本文中描述为“示范性”或描述为“实例”的任何方面或实施例未必应被解释为比其它方面或实施例优选或有利。

图1说明根据本发明的一些方面的具有扩增实境功能的装置。如图1所示，具有扩增实境功能的装置(ARD)14包含外壳101、显示器112、一或多个扬声器118，及麦克风116。可为触摸屏显示器的显示器112可说明由相机108俘获的图像或任何其它所要用户接口信息。当然，ARD 14可包含未必与本发明有关的额外组件。

如本文中所使用，ARD装置指代任何便携式电子装置，例如蜂窝式或其它无线通信装置、个人通信系统(PCS)装置、个人导航装置(PND)、个人信息管理器(PIM)、个人数字助理(PDA)、膝上型计算机或其它合适的移动平台。移动平台可能够接收无线通信及/或导航信号，例如导航定位信号。术语ARD还意欲包含例如通过短程无线、红外线、有线连接或其它连接而与个人导航装置(PND)通信的装置，而不管是在所述装置处还是在PND处发生卫星信号接收、辅助数据接收及/或定位相关处理。而且，ARD意欲包含所有电子装置，包含能够俘获用于姿势跟踪的图像以及能够执行扩增实境用户接口功能的无线通信装置、计算机、膝上型计算机平板计算机、智能电话、数码相机等。

图2说明根据本发明的一些方面的示范性具有扩增实境功能的装置的框图。ARD14的移动平台包含用于俘获环境的图像的相机108，所述图像可为个别照片或视频帧。ARD14的移动平台还可包含传感器109，传感器109可用以提供ARD 14的移动平台可借以确定其位置及定向(即，姿势)的数据。可与ARD 14的移动平台一起使用的传感器的实例包含加速度计、石英传感器、陀螺仪、用作线性加速度计的微机电系统(MEMS)传感器，以及磁力计。在一些实施方案中，皮肤电响应(GRS)传感器或其它生物计量传感器可放置在ARD 14的侧面或表面上。

ARD 14的移动平台还可包含用户接口110，所述用户接口110包含能够显示图像的显示器112。用户接口110还可包含用户可借以将信息输入到ARD 14的移动平台的小键盘114或其它输入装置。如果需要，则可通过将虚拟小键盘集成到具有触摸传感器的显示器112中而消除小键盘114。用户接口110还可包含麦克风116及一或多个扬声器118(例如，如果移动平台为蜂窝式电话)。当然，ARD 14的移动平台可包含与本发明不相关的其它组件。

ARD 14的移动平台进一步包含控制单元120，控制单元120可连接到相机108及传感器109以及用户接口110连同任何其它所要特征且与之通信。控制单元120可由一或多个处理器122及相关联的存储器/存储装置124提供。控制单元120还可包含软件126以及硬件128及固件130。控制单元120包含跟踪单元132，所述跟踪单元132经配置以跟踪ARD 14的位置并且跟踪由ARD 14监视的一或多个对象的位置。控制单元120可进一步包含扩增实境用户接口单元134，所述扩增实境用户接口单元134经配置以在ARD 14的显示器112上呈现扩增实境交互。控制单元120可进一步包含经配置以与一或多个RFID传感器或签名通信的RFID控制器136。跟踪单元132、扩增实境用户接口单元134及RFID控制器为了清楚起见而说明为与处理器122及/或硬件128分开，但可基于软件126及固件130中的指令而组合及/或实施于处理器122及/或硬件128中。

根据本发明的方面，可结合一或多个有形接口项目来使用ARD 14。在本文所述的实例中的许多者中，有形接口项目称为“对象”或“玩偶”。然而，还可使用其它类型的有形对象，且本文所揭示的技术不限于玩偶。举例来说，有形接口项目可包含用户的环境中的一或多个项目，例如可在ARD 14的相机的视野内的可乐罐、咖啡杯、杂志或其它有形项目。

由ARD 14提供的扩增可形成连续故事路径。此类连续故事路径在本文中可被称作“场景”。ARD 14的扩增逻辑可经配置以监视用户的注意力，且如果用户看起来对特定场景失去兴趣，则改变场景。下文更详细地描述用于与用户交互及用于定制由ARD 14提供的扩增内容的技术。

根据本发明的实施例，ARD 14经配置以提供一致的用户体验、保留暂止疑惑且促进探索。所揭示的方法在用户探索环境的同时维持场景的连续性，即使某些对象可能在ARD14的相机视图外也是这样。换句话说，ARD 14可经配置以独立于所跟踪的对象而跟踪环境。此外，ARD 14可经配置以进一步用额外信息加强所述环境，所述额外信息例如如图3中所说明的经扩增环境16中的地板及/或一或多个虚拟窗户36、虚拟门37及虚拟墙壁38。

在一些实施方案中，跟踪参考背景12(例如垫)的方法可包含但不限于：1)跟踪所述垫的子区域；2)跟踪如图3中所说明的在所述垫上的标记或子特征；3)跟踪如图4中所说明的可临时或永久地组合以形成较大垫(例如盥洗室地板上的瓷砖，例如12a到12e)的多个小垫；以及4)跟踪这些子区域/标记/小垫与总体垫的关系，使得使一个子区域/标记/小垫处于ARD 14的相机视图中可使得ARD 14能够确定用户可看向较大垫上何处。在一些其它实施方案中，环境可包含一或多个有形墙壁18，其可附接到垫，以产生如图5中所说明的游戏室。可用经扩增窗户36及经扩增门37扩增所述游戏室。在其它实施方案中，可使用实际游戏室的环境，即，可不扩增有形游戏室。可如下文所描述跟踪墙壁18及墙壁的子部分。

如图6中所示，所述方法包含识别且跟踪环境中的细节以动态地产生环境的地图(使用参考自由AR)，且接着识别用户当前聚焦于哪一子部分上及所述子部分与总体地图之间的关系。所述方法可进一步包含经由现实世界环境的动态映射(使用参考自由AR)扩展虚拟环境16超出参考背景12(例如桌子及桌子19上的对象)的能力。

根据本发明的方面，可由ARD 14使用同时定位及跟踪(SLAM)架构来跟踪其环境中的对象。举例来说，ARD 14可经配置以创建SLAM环境。SLAM环境可配置为例如相对于SLAM环境坐标帧原点具有三维(3D)位置的密集筛网或密集/稀疏的点云。环境中的每一特征点可包含一或多个描述符，其描述所述特征点的视觉外观及/或关于所述特征的3D结构信息。举例来说，3D环境的表面及其对应表面法线可用以描述SLAM环境中的各种特征点。注意，可通过移动装置在一系列图像帧上俘获特征点。

在一些实施方案中，当目标在视图外时，扩增可继续。在起始游戏之后，当背景12(例如盥洗室或地板)进入视图中时，可即刻显示用于那一场景的扩增16。当对象进入视图中时，其对应扩增可展示于场景中，例如，浴缸22引起动画浴缸32具有气泡33及橡胶鸭39的扩增，且可播放气泡的音频。当经扩增浴缸32在帧外时，例如当物理物体归因于ARD 14的移动而不再处于视图中时，浴缸22相对于参考背景12(例如地板)的位置可记录在存储器中，且只要维持跟踪所述环境，浴缸22就可继续影响所述场景，如图7中所说明。在此实例中，当目标处于ARD 14的视图外时，扩增可以如下方式继续：1)气泡的音频继续播放；2)气泡33的视频在空气中浮动；以及3)用户摇摄到盥洗室(未展示)中的伯尼且其说出“哦，橡胶鸭，你在这里！”

在一种方法中，浴缸的扩增可看似从其在盥洗室地板上的地点喷气。当用户接近所述地点时，可使气泡的声音较响，且当用户走开时，可使气泡的声音变得较安静。只要视图在距浴缸的预定距离内，扩增就可继续从在盥洗室地板上的相同点喷气，例如可在盥洗室中听到，但在起居室中听不到，达到跟踪所述环境的程度。当视图返回到在预定距离内时，扩增可恢复。

在另一方法中，扩增可如下继续，包含但不限于：1)只要用户的双手保持在ARD 14上，如由ARD 14的侧面或表面上的皮肤电响应(GSR)或其它生物计量传感器所检测；2)只要至少一只手保持在相机上，如由装置的侧面或表面上的GSR或其它生物计量传感器所检测；3)只要检测到相同用户握持相机，如通过比较随时间推移而来自装置的生物计量传感器数据而检测，例如，来自在装置的任何表面上的传感器的心律签名或指纹；4)直到看到浴缸移动，例如移动到新地板位置，或直到看到先前与所述对象相关联的盥洗室地板区域变空；5)直到预定时间周期已过去而未返回到浴缸或浴缸区域；6)在相机已固定达时间t之后；或7)只要相机正在移动。注意，在一些实施方案中，控制单元120可在未在视图中感知到的情况下假定对象可为静态的；且控制单元120可在相机正移动时假定对象并不移动。

根据本发明的实施例，在场景开始之后，其继续进行且在以下条件下不重新开始，所述条件包含但不限于：1)只要已按预定时间间隔触摸相机；2)只要相机正在移动；3)只要相机已按预定时间间隔移动；4)只要相机处于手中，如由生物计量传感器所确定；或5)只要相同用户正握持相机，如由生物计量传感器数据的非实质性改变所确定。

根据本发明的实施例，ARD 14经配置以校正丢失的跟踪，包含但不限于以下情境。首先，如果ARD 14紧邻对象(例如小鸟)，且接着丢失所述对象，则ARD 14的控制单元120可经配置以假定所述对象在预定时间量内可仍在那里，如图8中所示。举例来说，控制单元120可假定对象可能已过于接近以致不能有效地识别或跟踪对象，因此场景可继续显示。第二，如果ARD 14正朝向对象移动(例如，小鸟的相对大小正在增大)，接着对象可能从视图丢失，控制单元120可假定对象在预定时间周期内仍在那里。控制单元120可进一步假定用户可能希望放大所述对象但未将ARD 14与对象对准，对象被用户的手遮挡，等。第三，如果对象在某一地点(例如，盥洗室地板)移出视图外且稍后在另一地点(例如，在盥洗室的另一区域中)检测到，则场景继续。可由所述新地点扩增所述对象。在此情况下，控制单元120将不重新开始或失去其历史。最后但不是最不重要的一点，如果用户使一个场景在播放，例如小鸟观看电视，则ARD 14可放大小鸟以致使场景改变，当ARD 14重又缩小时，场景可使小鸟恢复观看电视。可用缩放操作期间的交互来扩展所述场景，但控制单元120将不重新开始或失去场景的历史。

根据本发明的实施例，ARD 14可经配置以组合建立场景扩增的连续性的不同方法与相机外有形接口项目。连同视觉对象辨识及跟踪，可使用额外方法来维持对象相对于背景(例如地板或垫)的地点地图。在如图9中所说明的一些实施方案中，使用RFID的近场跟踪可实施于ARD 14中，使得如果项目仍在房间中，则甚至可建立对象10与背景12的相对地点。

在一种示范性方法中，ARD 14的视野已移动，因此在盥洗室地板上的浴缸可能在视图外。与参考背景12(例如垫)相关联的RFID控制器可经配置以检测浴缸22的RFID签名(由波200表示)。RFID控制器可将信息(由波210表示)发送到ARD 14，如图9中所示。ARD 14可经配置以假定浴缸仍处于观测到其的最后地点。因此，ARD 14可至少部分基于从RFID控制器接收的浴缸的地点信息而继续提供扩增。在RFID控制器未检测到浴缸的RFID签名的情况下，其可将此信息传递到ARD 14。ARD 14可假定浴缸已移动，因此通过使气泡声音缓慢地淡出或通过使气泡以气爆方式爆破而停止扩增。

在另一方法中，在垫上的近场跟踪包含用于确定垫上的对象的子位置的方法，例如通过在垫中使用一系列RFID线圈或RFID线圈栅格。以此方式，与垫相关联的RFID控制器维持垫上的对象以及其位置或大致位置的目录两者。接着，RFID控制器可将地点信息发送到ARD 14。此外，RFID控制器可将地点的任何变化(例如，对象的添加或移除)发送到ARD14。ARD 14可经配置以从ARD 14的角度跟踪视图中对象及视图外对象两者，且使用此类地点信息来提供扩增。注意，即使在ARD 14的相机视图中可能没有可识别的对象或环境，音频扩增仍可继续。

在又一方法中，配备有RFID能力的一或多个垫可经配置以维持对象的目录及放置，且视情况维持对象相对于所述垫的相对地点。在一种方法中，可结合地使用来自不同垫的信息以作出关于场景的推断且提供适当扩增，而不顾及ARD 14的相机视图。举例来说，如果角色(例如伯尼)从一个房间移动到另一房间以使得其现在与另一角色(例如，布雷特)处于相同房间中，且ARD 14的相机视图可在第二房间中，则角色可开始交互，而不管角色是否处于ARD 14的相机视图中。示范性扩增可展示布雷特转身以对进入房间的伯尼讲话，但伯尼可能不在相机视图中。

在一些其它实施方案中，ARD 14可经配置以使用从加速度计、陀螺仪及磁力计中的至少一者接收的传感器数据来扩增视觉跟踪(例如，在一些实施例中，使用航位推算)。在一种方法中，ARD 14可经配置以在视觉参考在视图外时使用传感器数据来跟踪到对象(例如，浴缸)的相对距离及方向以补充视觉跟踪。ARD 14可使用传感器数据来通过在确定相对于目标的位置时使用航位推算技术而提供扩增的继续。

在另一方法中，ARD 14可经配置以使用传感器数据连同视觉跟踪来确定对象(例如浴缸)相对于ARD 14的移动。如果传感器数据指示ARD 14可能相对静止，则ARD 14的控制单元120可假定浴缸正在移动(例如，移出场景外)，且相应地调整扩增。如果传感器数据指示ARD 14正在移动，且确定所述移动足以说明在屏幕上看到的移动，则控制单元120假定浴缸仍在原地，且ARD 14正在移动，且相应地保持扩增。或者，如果可确定所述移动不足以说明在屏幕上看到的移动，则控制单元120可假定浴缸22及ARD 14两者可能都在移动，且相应地调整扩增。

根据本发明的实施例，多个ARD可经配置以维持跨越所述多个ARD的扩增。如图10中所说明，如果具有对应具有扩增实境功能的装置的多个用户正以相同游戏设定在相同时间或接近相同的时间玩游戏，则某些扩增元素可跨越所述多个ARD保持实质上相同，而其它扩增元素可不同。

在一个示范性实施方案中，如果跨越从不同房间或不同方向指向从盥洗室到起居室的门的多个ARD同时看到所述门打开，则所述门保持跨越所述多个ARD打开，直到用户关闭所述门。在另一示范性实施方案中，如果用户30将狗25变为超级狗35，则另一ARD 15上的另一用户32可同样看到狗25为超级狗35。注意，来自每一ARD的声音扩增可与特定ARD可指向的游戏有关。

此外，只要没有打开虚拟窗户或门，在另一房间中(例如，当用户正在起居室中玩时，在盥洗室中)的声音可能根本听不到；如果打开虚拟窗户或门，声音听起来可能很小或根本听不到；或在打开虚拟窗户或门之后，可即刻听到声音，且接着其可衰减。举例来说，如果打开盥洗室窗户，可首先听到鸟声，且接着在某一时间周期之后淡出。

根据本发明的实施例，ARD 14可经配置以提供环境声音扩增。在一些实施方案中，在视图中的对象的声音可为听到的唯一声音，比其它声音响，或根据新近事件而平衡。在视图外的对象的声音可在响度上不同，可通过对象已在视图外的持续时间来确定响度。

根据本发明的实施例，ARD 14可经配置以维持场景内的声音连续性。在一些实施方案中，在ARD 14被放下的情境中可保留场景，对象可能被手遮挡，或ARD 14装置瞬时指向他处。

在一种方法中，如果正播放场景进展音频(例如，角色正说话或正播放视频)，则音频在以下情形中继续(例如，视频声音一直播放)，所述情形包含但不限于：1)当ARD 14正面向游戏时，例如，在动作处或接近所述动作的对象或地板区域(“游戏区域”)的某一部分仍在视图中，且视图可能不移动或传感器未感测到移动；2)装置并未放下但没有角色在现场(例如，手遮挡了相机，用户的手已垂下，装置已失去跟踪)；3)装置短暂地指向另一角色，接着在预定时间周期(例如0到3秒)内返回到原始游戏区域；4)ARD 14朝向相同场景流程中的对象移动，接着屏幕外声音可减小音量，或屏幕外角色可继续讲话且将新项目并入所述场景中。举例来说，在用户摇摄到汽车时伯尼正在向其橡胶鸭讲话，经扩增伯尼可说出“我知道了，宝贝儿，让我们乘坐汽车吧！”

在另一方法中，当放下ARD 14而不面向游戏区域时，音频可结束且接着停止。举例来说，游戏不在视图中，视图不移动，或传感器未感测到移动。或者，ARD 14可移动到类似场景流程中的新对象。举例来说，ARD 14在伯尼及布雷特上，且接着在此游戏会话中首次移动到小鸟。在又一方法中，如果ARD 14的视图已移动到一组不同对象达大于预定时间周期，则音频可停止，例如视频声音停止或淡出。

根据本发明的一些方面，图11中描述的功能可由图2的控制单元120实施。在一些实施方案中，所述功能可由处理器122、软件126、硬件128及固件130或这些框的组合来执行以执行上文所描述的ARD的各种功能，包含由跟踪单元132及扩增实境用户接口单元134执行的功能。

图11说明根据本发明的一些方面的维持扩增的连续性的流程图。在框1102中，控制单元120可经配置以至少部分基于从图像导出的视觉信息跟踪多个对象及背景。在框1104中，控制单元120可经配置以至少部分基于不同于所述视觉信息的信息维持所述多个对象的状态。在框1106中，控制单元120可经配置以响应于所述多个对象的状态而提供用于显现扩增的数据。

根据本发明的实施例，在框1102中执行的方法可进一步包含在框1110中执行的方法。举例来说，在框1110中，控制单元120可经配置以确定所述多个对象相对于ARD的相对姿势，且使用所述相对姿势更新所述多个对象的状态，其中所述多个对象的状态包含所述多个对象的关系信息。在框1110中执行的方法可进一步包含在框1120到1122中执行的方法。在框1120中，控制单元120检测所述多个对象相对于所述多个对象的先前所俘获图像的姿势。在框1122中，控制单元120检测图像中的新对象，且更新所述多个对象以包含所述新对象。

在框1104中执行的方法可进一步包含在框1112中执行的方法。在框1112中，控制单元120维持在ARD的视图中的第一组所述多个对象的状态，且维持在ARD的视图外的第二组所述多个对象的状态。在框1112中执行的方法可进一步包含在框1124到1128中执行的方法。在框1124中，控制单元120跟踪所述第二组所述多个对象相对于在ARD 14的视图中的所述第一组所述多个对象的偏移，且使用所述偏移确定所述第二组所述多个对象的位置。在框1126中，控制单元120跟踪ARD 14相对于在ARD 14的视图外的所述第二组所述多个对象的相对移动，且使用ARD 14的位置及相对移动确定所述第二组所述多个对象的位置。跟踪ARD 14的相对移动的方法至少部分基于以下各者中的至少一者：视觉里程计、通过加速度计的航位推算及通过陀螺仪的航位推算。

在框1128中，控制单元120接收包括用于确定所述多个对象的相对位置的信息的无线信号，且使用所述信息更新所述第二组所述多个对象的位置。在一些实施方案中，所述无线信号是由ARD 14从附着到所述第二组所述多个对象中的至少一个对象的RFID标签接收。所述无线信号包括近场通信信号及蓝牙信号中的至少一者。所述背景包括经配置以检测所述多个对象中的至少一个对象的位置的一或多个传感器，且所述信息指示由所述一或多个传感器检测的位置。

在框1106中执行的方法可进一步包含在框1114中执行的方法。在框1114中，控制单元120经配置以当所述多个对象的状态的置信度的指示满足第一预定值时在一位置中显现声音及图形，当所述多个对象的状态的置信度的所述指示满足第二预定值时在所述位置中显现声音，当所述多个对象的状态的置信度的所述指示满足第三预定值时在所述位置中显现环境声音，且当所述多个对象的状态的置信度的所述指示满足第四预定值时在所述位置中显现淡出转变。

在一些实施方案中，在框1102中的所述多个对象为游戏棋子，且所述背景为游戏板。所述多个对象的状态可包括所述多个对象相对于彼此的关系信息、所述多个对象相对于背景的关系信息、所述多个对象相对于彼此的几何布置关系，及所述多个对象相对于背景的几何布置关系。

在框1112中，控制单元120可进一步经配置以跟踪在ARD 14的视图外的第二组所述多个对象中的至少一个对象，确定所述至少一个对象仍存在，且在所述至少一个对象的位置中显现声音及图形中的至少一者。此外，控制单元120可进一步经配置以跟踪在ARD 14的视图外的第二组所述多个对象中的至少一个对象，确定所述至少一个对象不再存在，且在所述至少一个对象的位置中显现淡出转变及环境声音中的至少一者。

在一些其它实施方案中，控制单元120可进一步经配置以用多个具有扩增实境功能的装置(ARD)跟踪所述多个对象及所述背景，跨越所述多个ARD维持所述多个对象的状态，且响应于所述多个对象的状态而在所述多个ARD中提供用于显现扩增的数据。

根据本发明的方面，一种适用于具有扩增实境功能的装置的计算机程序产品包括存储用于由一或多个计算机系统执行的指令的非暂时性媒体；所述指令包括：用于至少部分基于从图像导出的视觉信息跟踪多个对象及背景的指令；用于至少部分基于不同于所述视觉信息的信息维持所述多个对象的状态的指令；以及用于响应于所述多个对象的所述状态而提供用于显现扩增的数据的指令。

用于跟踪的指令包括执行3维跟踪，包括：用于确定所述多个对象相对于所述ARD的相对姿势的指令；以及用于使用所述多个对象相对于所述ARD的所述相对姿势更新所述多个对象的状态的指令，其中所述多个对象的所述状态包含所述多个对象的关系信息。用于确定相对姿势的指令包括用于检测所述多个对象相对于所述多个对象的先前所俘获图像的姿势的指令。用于确定相对姿势的指令包括用于检测图像中的新对象的指令，及用于更新所述多个对象以包含所述新对象的指令。

用于维持所述多个对象的状态的指令包括用于维持在ARD的视图中的第一组所述多个对象的状态的指令，及用于维持在ARD的视图外的第二组所述多个对象的状态的指令。用于维持在ARD的视图外的第二组所述多个对象的状态的指令包括用于跟踪所述第二组所述多个对象相对于在ARD的视图中的所述第一组所述多个对象的偏移的指令，及用于使用所述偏移确定所述第二组所述多个对象的位置的指令。用于维持在ARD的视图外的第二组所述多个对象的状态的指令进一步包括用于跟踪ARD相对于在ARD的视图外的所述第二组所述多个对象的相对移动的指令，及用于使用所述ARD的位置及相对移动确定所述第二组所述多个对象的位置的指令。用于跟踪所述ARD的相对移动的指令至少部分基于以下各者中的至少一者：视觉里程计、通过加速度计的航位推算，及通过陀螺仪的航位推算。

用于维持在ARD的视图外的第二组所述多个对象的状态的指令进一步包括用于接收与用于确定所述多个对象的相对位置的无线信号有关的信息的指令，及用于使用所述所接收信息更新所述第二组所述多个对象的位置的指令。所述无线信号是由ARD从附着到第二组所述多个对象中的至少一个对象的RFID标签接收。所述无线信号包括近场通信信号及蓝牙信号中的至少一者。所述背景包括包含经配置以检测所述多个对象的相对位置的一或多个传感器的垫，且所述信息指示由所述一或多个传感器检测的所述多个对象的所述相对位置。所述信息是基于在所述ARD处接收的无线信号而在集成到所述ARD中的处理器或芯片处接收。

根据本发明的方面，计算机程序产品进一步包括：用于跟踪在所述ARD的视图外的所述第二组所述多个对象中的至少一个对象的指令；用于确定所述第二组所述多个对象中的所述至少一个对象仍存在的指令；以及用于在所述第二组所述多个对象中的所述至少一个对象的位置中显现声音及图形中的至少一者的指令。所述计算机程序产品进一步包括：用于跟踪在所述ARD的视图外的所述第二组所述多个对象中的至少一个对象的指令；用于确定所述第二组所述多个对象中的所述至少一个对象不再存在的指令；以及用于在所述第二组所述多个对象中的所述至少一个对象的位置中显现淡出转变及环境声音中的至少一者的指令。所述计算机程序产品进一步包括：用于当所述ARD摇摄到预期所述第二组中的第一对象将位于的地点且确定所述第一对象不存在于所述地点处时停止跟踪所述第一对象的指令；以及用于停止与所述第一对象相关联的音频扩增的指令。所述计算机程序产品进一步包括：用于当检测到新场景时停止跟踪所述第二组中的第一对象的指令；以及用于停止与所述第一对象相关联的音频扩增的指令。

用于显现扩增的指令包括以下各者中的至少一者：用于当所述多个对象的所述状态的置信度的指示满足第一预定值时在一位置中显现声音及图形的指令；用于当所述多个对象的所述状态的置信度的所述指示满足第二预定值时在所述位置中显现声音的指令；用于当所述多个对象的所述状态的置信度的所述指示满足第三预定值时在所述位置中显现环境声音的指令；以及用于当所述多个对象的所述状态的置信度的所述指示满足第四预定值时在所述位置中显现淡出转变的指令。所述多个对象为游戏棋子，且所述背景为游戏板。所述多个对象的状态包括以下各者中的至少一者：所述多个对象相对于彼此的关系信息、所述多个对象相对于背景的关系信息、所述多个对象相对于彼此的几何布置关系，及所述多个对象相对于背景的几何布置关系。

所述计算机程序产品进一步包括：用于用多个具有扩增实境功能的装置(ARD)跟踪所述多个对象及所述背景的指令；用于跨越所述多个ARD维持所述多个对象的状态的指令；以及用于响应于所述多个对象的状态而在所述多个ARD中提供用于显现扩增的数据的指令。所述背景包括以下各者中的至少一者：垫，及墙壁。

根据本发明的方面，可使用数种技术执行识别及跟踪图像帧中的特征。在一种方法中，可通过检查每一2乘2梯度矩阵的最小特征值来执行识别特征的方法。接着，使用最小化两个窗之间的差异的牛顿-拉普森方法(Newton-Raphson method)来跟踪特征。多分辨率跟踪方法允许图像之间的相对较大位移。注意，在从一个帧到下一帧跟踪特征期间，错误可能累积。为检测潜在不良的特征，移动装置可经配置以监视在当前帧中围绕所述特征的窗中的图像信号是否仍类似于在前一帧中围绕所述特征的图像信号。因为可在许多帧上跟踪特征，因此图像内容可能变形。为解决此问题，可用相似度或仿射映射来执行一致性检查。

根据本发明的方面，为识别图像中的对象，可提取所述对象上的若干点以提供所述对象的特征描述(也称为关键点、特征点或简称为特征)。当尝试在含有许多其它对象的测试图像中定位所述对象时，可接着使用从训练图像提取的此描述来识别所述对象。为执行可靠辨识，甚至在图像缩放、噪声及照明改变下仍可检测从训练图像提取的特征。此类点通常位于图像的高对比度区域，例如对象边缘上。

这些特征的另一特性为其间的在原始场景中的相对位置可不从一个图像到另一图像而改变。举例来说，如果仅将车门的四个拐角用作特征，则其可有效而不管车门的位置如何；但如果使用帧中的若干点，则如果车门打开或关闭，辨识可能失败。类似地，如果在所处理的组中的两个图像之间发生其内部几何布置的任何改变，则位于铰接或柔性对象中的特征通常可能无效。在一些实施方案中，SIFT检测且使用来自图像的大量特征，其可减少由所有特征匹配错误的平均错误的局部变化引起的错误的贡献。因此，所揭示方法可识别甚至处于杂物中且部分被遮挡的对象；因为SIFT特征描述符对于均匀缩放、定向可不变，且对于仿射失真及照明改变部分地不变。

举例来说，可首先从一组参考图像提取对象的关键点且将其存储于数据库中。通过比较来自新图像的每一特征与此数据库且基于其特征向量的欧几里得距离找出候选匹配特征来在新图像中辨识对象。从整组匹配，可识别在对象及其在新图像中的地点、缩放及定向上一致的关键点的子组以滤出良好匹配。可通过使用一般化的霍夫(Hough)变换的杂凑表实施方案来执行一致群集的确定。在对象及其姿势上一致的3个或3个以上特征的每一群集可接着经受进一步详述的模型验证，且随后可舍弃离群值。可接着基于拟合准确度及可能的错误匹配的数目来计算一组特定特征指示存在对象的概率。通过测试的对象匹配可以高置信度识别为正确的。

根据本发明的方面，图像特征产生将图像变换成大的特征向量集合，所述特征向量中的每一者对于图像平移、缩放及旋转可为不变的，且对于照明改变为不变的并且对于局部几何失真是稳健的。这些特征与灵长类动物视觉中用于对象辨识的下颞叶皮层中的神经元具有类似特性。关键地点可被定义为在尺度空间(scale space)中应用于一系列经平滑化且重新取样的图像的高斯函数的差异结果的最大值及最小值。可舍弃低对比度候选点及沿着边缘的边缘响应点。优势定向指派给局部化的关键点。此方法确保关键点对于匹配及辨识更为稳定。可接着通过考虑围绕所述关键地点的半径的像素、模糊化且重新取样局部图像定向平面来获得对局部仿射失真稳健的SIFT描述符。

特征匹配及编索引可包含存储SIFT关键点及从新图像识别匹配的关键点。在一种方法中，也称为最佳区间优先搜索方法(best-bin-first search method)的k-d树算法的修改可用以使用有限量的计算来以高概率识别最接近的相邻者。最佳区间优先算法使用k-d树算法的经修改搜索次序以使得可按距查询地点最近的距离的次序搜索特征空间中的区间。此搜索次序需要使用基于堆栈的优先级队列来有效地确定搜索次序。可通过从训练图像识别每一关键点在关键点数据库中的最接近的相邻者来找出每一关键点的最佳候选匹配。最接近的相邻者可被定义为距给定描述符向量具有最小欧几里得距离的关键点。可通过取距最近相邻者的距离与次近者的距离的比率来确定匹配是正确的概率。

在一个示范性实施方案中，可拒绝距离比率大于0.8的匹配，此举消除90％的错误匹配，同时舍弃小于5％的正确匹配。为进一步改进最佳区间优先算法的效率，可在检查预定数目个(例如100个)最接近的相邻候选者之后停止搜索。对于具有100,000个关键点的数据库，此可提供较之确切的最接近相邻者搜索加速约2个数量级，而又导致正确匹配数目的小于5％的损失。

注意，对于所述示范性实施方案，可使用霍夫变换来将可靠模型假设集群以搜索在特定模型姿势上一致的关键点。可使用霍夫变换来通过使用每一特征选出可与所述特征一致的对象姿势而识别具有一致解释的特征群集。当发现特征群集选出对象的相同姿势时，解释正确的概率可高于任何单个特征。可产生杂凑表中的条目以依据匹配假设预测模型地点、定向及缩放。可搜索杂凑表以识别在区间中具有至少3个条目的群集，且可将区间排序成大小的降序。

根据本发明的方面，SIFT关键点中的每一者可指定2D地点、缩放及定向。此外，数据库中的每一匹配关键点可具有与训练图像(在其中发现所述关键点)有关的其参数的记录。由这4个参数暗示的相似度变换可近似等于3D对象的6自由度姿势空间，并且也不考量任何非硬质变形。因此，示范性实施方案可对于定向使用30度的宽区间大小，对于缩放使用因数2，且对于地点使用0.25倍的最大投影训练图像维度(使用预测缩放)。可向以较大缩放产生的SIFT关键样本给出两倍于以较小缩放产生的样本的权重。对于此方法，较大缩放可实际上能够滤出用于以较小缩放进行检查的最可能相邻者。此方法还通过向噪声最小的缩放给出较大权重而改进辨识性能。根据本发明的方面，为避免区间指派中的边界效应问题，每一关键点匹配可在每一维度中选出2个最近的区间，从而对于每一假设得到总共16个条目且进一步加宽了姿势范围。

根据本发明的方面，对于给定参数解，可通过检查每一图像特征与模型之间的一致性来移除离群值。举例来说，给定线性最小平方解，可能需要每一匹配在用于霍夫变换区间中的参数的错误范围的一半内一致。在离群值被舍弃时，可用剩余点来求解线性最小平方解，且所述过程可迭代。在一些实施方案中，如果在舍弃离群值之后剩余小于预定数目个点(例如，3个点)，则可拒绝所述匹配。此外，可使用自上向下的匹配阶段来添加与所投影模型位置一致的任何进一步匹配，所述匹配可能归因于相似度变换近似或其它错误而从霍夫变换区间错过。

接受或拒绝模型假设的决策可基于详述的概率模型。给定模型的投影大小、区域内特征的数目及拟合的准确度，所述方法首先计算到模型姿势的错误匹配的预期数目。贝叶斯概率分析可接着给出可基于所发现的匹配特征的实际数目呈现对象的概率。如果正确解释的最终概率大于预定百分比(例如95％)，则可接受模型。

根据本发明的方面，在一种方法中，旋转不变特征变换(RIFT)方法可用作SIFT的旋转不变一般化以解决杂物下或部分遮挡情境。可使用划分成相等宽度的同心环的圆形归一化片来建构RIFT描述符，且在每一环内，可计算梯度定向直方图。为维持旋转不变性，可在每一点处相对于从中心指向外的方向测量定向。

在另一方法中，可使用一般化的稳健不变特征(G-RIF)方法。G-RIF以组合感知信息与空间编码的统一形式编码边缘定向、边缘密度及色调信息。对象辨识方案使用基于相邻上下文的表决来估计对象模型。

在又一方法中，可使用加速稳健特征(SURF)方法，其使用缩放及旋转不变关注点检测器/描述符，在可重复性、独特性及稳健性方面，其可能性能优于先前所提议的方案。SURF依赖于整体的图像用于图像卷积以减少计算时间，且依靠最主要的现有检测器及描述符的强度(对于检测器及分布式描述符使用基于快速赫斯矩阵的测量)。SURF方法描述哈尔小波响应(Haar wavelet response)在关注点领域内的分布。整体的图像可用于速度，且64个维度可用以减少用于特征计算及匹配的时间。编索引步骤可基于拉普拉斯(Laplacian)的正负号，其增大描述符的匹配速度及稳健性。

在又一方法中，可使用主分量分析SIFT(PCA-SIFT)方法。在一些实施方案中，PCA-SIFT描述符为在支持区域内计算的在x及y方向上的图像梯度的向量。梯度区域可在39x39个地点处取样。因此，向量可具有维度3042。通过PCA，维度可减小到36。在又一方法中，可使用梯度地点-定向直方图(GLOH)方法，其为经设计以增大其稳健性及独特性的SIFT描述符的扩展。在一些实施方案中，可针对在径向方向上具有三个区间(半径设定到6、11及15)且在倾斜方向上具有8个区间(其导致17个地点区间)的对数极坐标地点栅格计算SIFT描述符。中心区间可不在倾斜方向上进行划分。可在16个区间中量化梯度定向，从而导致272个区间的直方图。通过PCA可减小此描述符的大小。可根据从各种图像收集的图像块估计PCA的协方差矩阵。128个最大特征向量可接着用于描述。

在又一方法中，可使用两对象辨识算法来配合当前移动装置的限制而使用。与经典SIFT方法相比，加速分段测试特征(Features from Accelerated Segment Test，FAST)拐角检测器可用于特征检测。此方法在离线准备阶段(其中可以不同灰度层级产生特征)与在线阶段(其中可以移动装置的相机图像的当前固定灰度层级产生特征)之间加以区分。在一个示范性实施方案中，可从预定固定片大小(例如15x15像素)产生特征，且所述特征形成具有36个维度的SIFT描述符。可通过将可扩展词汇树(scalable vocabulary tree)集成在辨识管线中而进一步扩展所述方法。此允许有效地辨识移动装置上的大量对象。

根据本发明的方面，局部图像特征的检测及描述可有助于对象辨识。SIFT特征可为局部的且基于对象在特定关注点处的外观，且对于图像缩放及旋转可为不变的。其对于照明、噪声的改变及视点的较小改变也可为稳健的。除这些特性之外，特征可为高度独特的，相对容易提取且允许以低失配概率正确地识别对象。可相对容易地对照局部特征的(大)数据库来匹配特征，且通常可使用例如具有最佳区间优先搜索的k维(k-d)树等概率算法。通过一组SIFT特征进行的对象描述对于部分遮挡也可为稳健的。举例来说，来自对象的少到3个SIFT特征可足以计算其地点及姿势。在一些实施方案中，对于小数据库且在现代计算机硬件上，可准实时地执行辨识。

根据本发明的方面，可使用随机样本一致性(RANSAC)技术来移除由相机视图中的移动对象引起的离群值。注意，RANSAC使用迭代方法来从含有离群值的一组所观测数据来估计数学模型的参数。此方法可为非确定性的，因为其以相关联概率产生合理结果，其中所述概率可随着执行更多迭代而增大。

在一个示范性实施方案中，一组观测到的数据值，可以对应置信度参数拟合到观测结果的参数化模型。在此示范性实施方案中，所述方法迭代地选择原始数据的随机子组。这些数据可为假想的群内值(inlier)，且可接着如下测试所述假设：

1.可将模型拟合到假想的群内值，即从所述群内值重建构模型的所有自由参数。

2.接着可对照拟合的模型测试所有其它数据，且如果一点良好地拟合到所述估计模型，则可认为其是假想的群内值。

3.如果已将足够数目的点分类为假想的群内值，则可认为所述估计模型可接受。

4.可从所有假想群内值重新估计所述模型，因为其仅已从初始组假想群内值进行了估计。

5.最终，可通过相对于模型估计群内值的错误来评估所述模型。

每当产生因为过少的点被分类为群内值而可被拒绝的模型或与对应错误测量一起产生改进的模型时，可重复以上程序预定次数。在后一种情况下，如果错误低于先前保存的模型，则可保持所述改进的模型。

在另一示范性实施方案中，可使用基于模型的运动跟踪方法来主动地识别并移除在相机视图中的移动对象。在一种方法中，跟踪的目标可处理为模型辨识问题。可跟踪目标的二进制表示，且可使用基于豪斯多夫距离(Hausdorff distance)的搜索来在图像的若干区域中搜索对象。对于目标的二进制表示(模型)，可用模型历史的概念来扩增从高斯平滑化图像的标准坎尼边缘检测器(canny edge detector)的输出。在每一帧处，可使用来自当前图像的坎尼边缘及当前模型来对每一目标执行豪斯多夫搜索。此外，可执行仿射估计以大致得出净背景运动。从这两个搜索的结果，可搜集关于目标的信息，且可使用所述信息来大致得出目标的运动并且在目标的区域中将背景与运动分离开来。为能够处置危险性/不寻常的条件(例如被遮挡的对象进入阴影中，对象离开帧，或相机图像失真提供不良图像质量)，可保持关于目标的历史数据，例如目标的过去运动及大小改变、目标的特征性视图(在所有时间存在的快照，其提供已跟踪目标的不同方式的准确表示)，及在过去的匹配质量。

跟踪目标的历史可不仅仅适用于辅助危险性/不寻常的条件；可靠的运动跟踪方法的那一部分可涉及历史数据，而不仅仅是运动比较的逐帧方法。此历史状态可提供关于如何决定应将何内容视为目标的部分的信息(例如，以相同速度移动的接近于对象移动的事物应并入所述对象中)，且通过关于运动及大小的信息，所述方法可预测性地估计丢失的对象可能去往何处，或其可能重新出现于何处(其始终适用于恢复离开帧且在时间上稍后重新出现的目标)。

运动跟踪方法中的固有挑战可能由以下事实引起：相机可具有任意移动(相较于固定相机)，其使得难以开发可处置相机运动的不可预测改变的跟踪系统。可使用具计算效益的仿射背景估计方案来提供关于相机及场景的运动的信息。

根据本发明的方面，可执行时间t的图像到时间t+dt的图像的仿射变换，其允许使两个图像的运动相关。此背景信息允许所述方法从时间t的图像及仿射变换(其可为净场景运动的近似)合成时间t+dt的图像。此合成图像可适用于产生新模型信息及从模型空间移除背景杂物，因为可采用在t+dt的实际图像与在t+dt处所产生的图像的差异来从目标周围的空间移除图像特征。

除使用仿射变换作为清除搜索空间的工具之外，其还可用以归一化目标的坐标移动：通过具有跟踪背景可如何移动的向量及跟踪目标可如何移动的向量，可采用所述两个向量的差异来产生描述目标相对于背景的运动的向量。此向量允许所述方法预测性地匹配目标应处的位置，且预测危险条件(例如，在运动的方向上向前看可提供关于即将出现的障碍物的线索，并且保持跟踪对象在危险条件下可能处于的位置)。当对象进入危险条件时，所述方法可能仍能够估计背景运动，且结合模型的先前移动的知识来使用所述背景运动猜测模型可能重新出现于何处或重新进入帧中。

背景估计可为对象的长期跟踪的关键因素。注意，可在不进行背景估计的情况下执行短期跟踪，但在一段时间之后，在没有对背景的良好估计的情况下，可能难以有效地应对对象失真及危险。

根据本发明的方面，使用豪斯多夫距离作为匹配运算符的优点之一是其在匹配期间对于形状的改变可能非常耐受，但使用豪斯多夫距离作为匹配运算符可能需要更准确地定义所跟踪的对象。

在一种方法中，可使用从时间t+1图像获得新模型的基于直接扩张的方法(straight dilation-based method)。注意，在可能存在接近于对象的非对象特征(其出现频率很高)的一些情形中，扩张方法可能并不有效，因为其可能将整个场景缓慢地并入模型中。因此，可采用从帧到帧更新模型的方法，所述方法可耐受模型形状的改变，但并不过于宽松以致将非模型像素并入到模型中。一个示范性实施方案为使用背景移除与将先前模型添加到当前模型匹配窗及采用看似稳定的像素以及其周围的新像素(其随时间推移可因为其可能不稳定而从模型消除或并入到模型中)的组合。此方法可有效地保持模型在图像中相对清洁而无杂物。举例来说，通过此方法，接近于卡车的道路不再被逐像素地拉入模型中。注意，模型可能显得臃肿，但此可为建构模型的方式的历史效果的结果，但其还可具有使搜索结果更为确定的特征，因为此方法可使更多模型像素可能在下一帧中匹配。

注意，在每一帧处，可能存在大量计算要执行。根据一些实施方案，移动装置可经配置以执行平滑化/特征提取、匹配每一目标(例如每模型一个匹配)的豪斯多夫，以及仿射背景估计。这些操作中的每一者可个别地在计算上非常昂贵。为实现在移动装置上的实时执行，设计可经配置以使用尽可能多的并行性。

注意，至少接下来的三个段落、图1到2、图11及其对应描述提供用于至少部分基于一或多个对象的所俘获图像执行所述一或多个对象的3维跟踪的装置、用于至少部分基于所述所俘获图像检测所述一或多个对象中的至少一个对象的状态改变的装置，且用于响应于所述至少一个对象的所述状态改变而致使扩增显现的装置。

本文所述的方法和移动装置可以取决于应用通过各种装置实施。举例来说，这些方法可以用硬件、固件、软件或其组合实施。对于硬件实施方案，处理单元可以在一或多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、电子装置、经设计以执行本文所述的功能的其它电子单元或其组合内实施。本文中，术语“逻辑控制”涵盖通过软件、硬件、固件或组合实施的逻辑。

对于固件及/或软件实施方案，可用执行本文中所描述的功能的模块(例如，程序、功能等等)实施方法。任何有形地体现指令机器可读媒体都可以用于实施本文所述的方法。举例来说，软件代码可存储在存储器中并且通过处理单元执行。存储器可实施在处理单元内或处理单元外部。如本文所使用，术语“存储器”是指任何类型的长期、短期、易失性、非易失性或其它存储装置且不限于任何特定类型的存储器或数目的存储器，或任何类型的存储存储器的媒体。

如果在固件及/或软件中实施，则可将所述功能作为一或多个指令或代码存储在计算机可读媒体上。实例包含编码有数据结构的计算机可读媒体及编码有计算机程序的计算机可读媒体。计算机可读媒体可采用制品的形式。计算机可读媒体包含物理计算机存储媒体。存储媒体可为可由计算机存取的任何可用媒体。作为实例而非限制，此类计算机可读媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置，磁盘存储装置或其它磁性存储装置，或任何其它可用于存储指令或数据结构的形式的期望程序代码并且可通过计算机存取的媒体；在本文中使用时，磁盘及光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)，软性磁盘及蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘用激光以光学方式再现数据。上述各项的组合也应包含在计算机可读媒体的范围内。

除了存储在计算机可读媒体上之外，还可将指令及/或数据提供为通信设备中包含的发射媒体上的信号。举例来说，通信设备可包含具有指示指令及数据的信号的收发器。所述指令及数据经配置以致使至少一个处理器实施权利要求书中概述的功能。即，通信设备包含具有指示用以执行所揭示的功能的信息的信号的发射媒体。在第一时间，通信设备中所包含的发射媒体可包含用以执行所揭示的功能的信息的第一部分，而在第二时间，通信设备中所包含的发射媒体可包含用以执行所揭示的功能的信息的第二部分。

本发明可以配合例如无线广域网(WWAN)、无线局域网(WLAN)、无线个人局域网(WPAN)等各种无线通信网络实施。术语“网络”与“系统”常常可互换使用。术语“位置”与“地点”常常可互换使用。WWAN可为码分多址(CDMA)网络、时分多址(TDMA)网络、频分多址(FDMA)网络、正交频分多址(OFDMA)网络、单载波频分多址(SC-FDMA)网络、长期演进(LTE)网络、WiMAX(IEEE 802.16)网络等。CDMA网络可实施一或多种无线电接入技术(RAT)，例如cdma2000、宽带CDMA(W-CDMA)等等。Cdma2000包含IS-95、IS2000和IS-856标准。TDMA网络可以实施全球移动通信系统(GSM)、数字高级移动电话系统(D-AMPS)或某种其它RAT。GSM及W-CDMA描述于来自名为“第三代合作伙伴计划”(3GPP)的协会的文献中。Cdma2000描述于来自名为“第三代合作伙伴计划2”(3GPP2)的协会的文献中。3GPP及3GPP2文献可公开获得。WLAN可为IEEE 802.11x网络，且WPAN可为蓝牙网络、IEEE 802.15x或某种其它类型的网络。所述技术还可结合WWAN、WLAN及/或WPAN的任何组合来实施。

移动台是指例如蜂窝式或其它无线通信装置、个人通信系统(PCS)装置、个人导航装置(PND)个人信息管理器(PIM)、个人数字助理(PDA)、膝上型计算机或能够接收无线通信及/或导航信号的其它合适的移动装置等装置。术语“移动台”还希望包含例如通过短程无线、红外线线连接或其它连接(不管是卫星信号接收、辅助数据接收和/或在所述装置或在所述PND处发生的与位置相关的处理)与个人导航装置(PND)通信的装置。而且，“移动台”希望包含所有装置，包含无线通信装置、计算机、膝上型计算机等，其能够例如经由因特网、Wi-Fi或其它网络与服务器通信，并且不管是在所述装置处、服务器处还是在与所述网络相关联的另一装置处发生卫星信号接收辅助数据接收及/或与位置相关的处理。以上各者的任何可操作组合也被视为“移动台”。

某个事物被“优化”、“需要”或其它说法并不指示本发明仅适用于被优化的系统或其中存在所述“所需”元件的系统(或其它归因于其它说法的局限性)。这些名称仅指代特定描述的实施方案。当然，许多实施方案是可能的。所述技术可以与除了本文中论述的协议之外的协议一起使用，包含正在开发或有待开发的协议。

相关领域的技术人员将认识到，可以使用所揭示的实施例的许多可能修改和组合，同时仍然采用相同的基本基础机构和方法。出于解释的目的，前文描述是参考具体实施例撰写的。然而，上文的说明性论述并不希望是穷举的或将本发明限于所揭示的精确形式。鉴于以上教示，许多修改及变化均是可能的。选择且描述所述实施例是为了阐释本发明的原理及其实际应用，且为了使得所属领域的技术人员能够以适合于所涵盖的特定用法的各种修改最好地利用本发明及各种实施例。

Claims (42)

1.一种适用于具有扩增实境功能的装置ARD的方法，其包括：

至少部分基于从图像导出的视觉信息跟踪多个对象及背景；

维持所述多个对象的状态，其中维持所述多个对象的状态包括维持在所述ARD的视图中的第一组所述多个对象的状态以及维持在所述ARD的视图外的第二组所述多个对象的状态；

响应于所述多个对象的所述状态而提供用于显现扩增的数据；

跟踪在所述ARD的视图外的所述第二组所述多个对象中的至少一个对象；

确定所述第二组所述多个对象中的所述至少一个对象不再存在；以及

在所述第二组所述多个对象中的所述至少一个对象的位置中显现淡出转变及环境声音中的至少一者。

2.根据权利要求1所述的方法，其中所述跟踪包括执行3维跟踪，包括：

确定所述多个对象相对于所述ARD的相对姿势；以及

使用所述相对姿势更新所述多个对象的状态，其中所述多个对象的所述状态包含所述多个对象的关系信息。

3.根据权利要求2所述的方法，其中确定相对姿势包括：

检测所述图像中的新对象；以及

更新所述多个对象以包含所述新对象。

4.根据权利要求1所述的方法，其中所述跟踪包括当所述至少一个对象在所述ARD的视野内时使用所述视觉信息跟踪所述多个对象中的至少一个对象，且

其中所述维持包括当所述至少一个对象在所述视野外时使用不同于所述视觉信息的所述信息维持所述至少一个对象的所述状态。

5.根据权利要求1所述的方法，其中维持在所述ARD的视图外的第二组所述多个对象的状态包括：

跟踪所述第二组所述多个对象相对于在所述ARD的视图中的所述第一组所述多个对象的偏移；以及

使用所述偏移确定所述第二组所述多个对象的位置。

6.根据权利要求1所述的方法，其中维持在所述ARD的视图外的第二组所述多个对象的状态进一步包括：

跟踪所述ARD相对于在所述ARD的视图外的所述第二组所述多个对象的相对移动；以及

使用所述ARD的位置及相对移动确定所述第二组所述多个对象的位置。

7.根据权利要求6所述的方法，其中跟踪所述ARD的相对移动至少部分基于以下各者：

视觉里程计；

通过加速度计的航位推算；

通过陀螺仪的航位推算；或

上述各者的一些组合。

8.根据权利要求1所述的方法，其中维持在所述ARD的视图外的第二组所述多个对象的状态进一步包括：

接收与用于确定所述多个对象的相对位置的无线信号有关的信息；以及

使用所述所接收信息更新所述第二组所述多个对象的位置。

9.根据权利要求8所述的方法，其中所述无线信号是由所述ARD从附着到所述第二组所述多个对象中的至少一个对象的RFID标签接收。

10.根据权利要求8所述的方法，其中所述无线信号包括近场通信信号及蓝牙信号中的至少一者。

11.根据权利要求8所述的方法，其中所述背景包括包含经配置以检测所述多个对象的所述相对位置的一或多个传感器的垫，且其中所述信息指示由所述一或多个传感器检测的所述多个对象的所述相对位置。

12.根据权利要求8所述的方法，其中所述信息是基于在所述ARD处接收的所述无线信号而在集成到所述ARD中的处理器或芯片处接收。

13.根据权利要求1所述的方法，其进一步包括：

跟踪在所述ARD的视图外的所述第二组所述多个对象中的至少一个对象；

确定所述第二组所述多个对象中的所述至少一个对象仍存在；以及

在所述第二组所述多个对象中的所述至少一个对象的位置中显现声音及图形中的至少一者。

14.根据权利要求1所述的方法，其进一步包括：

当所述ARD摇摄到预期所述第二组中的第一对象将位于的地点且确定所述第一对象不存在于所述地点处时，停止跟踪所述第一对象；以及

停止与所述第一对象相关联的音频扩增。

15.根据权利要求1所述的方法，其进一步包括：

当检测到新场景时，停止跟踪所述第二组中的第一对象；以及

停止与所述第一对象相关联的音频扩增。

16.根据权利要求1所述的方法，其中显现扩增包括以下各者：

当所述多个对象的所述状态的置信度的指示满足第一预定值时，在一位置中显现声音及图形；

当所述多个对象的所述状态的置信度的所述指示满足第二预定值时，在所述位置中显现声音；

当所述多个对象的所述状态的置信度的所述指示满足第三预定值时，在所述位置中显现环境声音；

当所述多个对象的所述状态的置信度的所述指示满足第四预定值时，在所述位置中显现淡出转变；或

上述各者的一些组合。

17.根据权利要求1所述的方法，其中所述多个对象为游戏棋子，且所述背景为游戏板。

18.根据权利要求1所述的方法，其中所述多个对象的所述状态包括以下各者：

所述多个对象相对于彼此的关系信息；

所述多个对象相对于所述背景的关系信息；

所述多个对象相对于彼此的几何布置关系；

所述多个对象相对于所述背景的几何布置关系；或

上述各者的一些组合。

19.根据权利要求1所述的方法，其进一步包括：

用多个具有扩增实境功能的装置ARD跟踪所述多个对象及所述背景；

跨越所述多个ARD维持所述多个对象的状态；以及

响应于所述多个对象的所述状态而提供用于在所述多个ARD中显现扩增的数据。

20.根据权利要求1所述的方法，其中所述背景包括以下各者：

垫；

墙壁；或

上述各者的一些组合。

21.一种具有扩增实境功能的装置ARD，其包括：

包含处理逻辑的控制单元，所述处理逻辑包括：

经配置以至少部分基于从图像导出的视觉信息跟踪多个对象及背景的逻辑；

经配置以维持所述多个对象的状态的逻辑，其中所述经配置以维持所述多个对象的状态的逻辑包括经配置以维持在所述ARD的视图中的第一组所述多个对象的状态的逻辑以及经配置以维持在所述ARD的视图外的第二组所述多个对象的状态的逻辑；

经配置以响应于所述多个对象的所述状态而提供用于显现扩增的数据的逻辑；

经配置以跟踪在所述ARD的视图外的所述第二组所述多个对象中的至少一个对象的逻辑；

经配置以确定所述第二组所述多个对象中的所述至少一个对象不再存在的逻辑；以及

经配置以在所述第二组所述多个对象中的所述至少一个对象的位置中显现淡出转变及环境声音中的至少一者的逻辑。

22.根据权利要求21所述的具有扩增实境功能的装置，其中经配置以跟踪的所述逻辑包括执行3维跟踪，包括：

经配置以确定所述多个对象相对于所述ARD的相对姿势的逻辑；以及

经配置以使用所述相对姿势更新所述多个对象的状态的逻辑，其中所述多个对象的所述状态包含所述多个对象的关系信息。

23.根据权利要求22所述的具有扩增实境功能的装置，其中经配置以确定相对姿势的逻辑包括：

经配置以检测所述多个对象相对于所述多个对象的先前所俘获图像的姿势的逻辑。

24.根据权利要求22所述的具有扩增实境功能的装置，其中经配置以确定相对姿势的逻辑包括：

经配置以检测所述图像中的新对象的逻辑；以及

经配置以更新所述多个对象以包含所述新对象的逻辑。

25.根据权利要求21所述的具有扩增实境功能的装置，其中经配置以维持在所述ARD的视图外的第二组所述多个对象的状态的逻辑包括：

经配置以跟踪所述第二组所述多个对象相对于在所述ARD的视图中的所述第一组所述多个对象的偏移的逻辑；以及

经配置以使用所述偏移确定所述第二组所述多个对象的位置的逻辑。

26.根据权利要求21所述的具有扩增实境功能的装置，其中经配置以维持在所述ARD的视图外的第二组所述多个对象的状态的逻辑进一步包括：

经配置以跟踪所述ARD相对于在所述ARD的视图外的所述第二组所述多个对象的相对移动的逻辑；以及

经配置以使用所述ARD的位置及相对移动确定所述第二组所述多个对象的位置的逻辑。

27.根据权利要求26所述的具有扩增实境功能的装置，其中经配置以跟踪所述ARD的相对移动的逻辑至少部分基于以下各者：

视觉里程计；

通过加速度计的航位推算；

通过陀螺仪的航位推算；或

上述各者的一些组合。

28.根据权利要求21所述的具有扩增实境功能的装置，其中经配置以维持在所述ARD的视图外的第二组所述多个对象的状态的逻辑进一步包括：

经配置以接收与用于确定所述多个对象的相对位置的无线信号有关的信息的逻辑；以及

经配置以使用所述所接收信息更新所述第二组所述多个对象的位置的逻辑。

29.根据权利要求28所述的具有扩增实境功能的装置，其中所述无线信号是由所述ARD从附着到所述第二组所述多个对象中的至少一个对象的RFID标签接收。

30.根据权利要求28所述的具有扩增实境功能的装置，其中所述无线信号包括近场通信信号及蓝牙信号中的至少一者。

31.根据权利要求28所述的具有扩增实境功能的装置，其中所述背景包括包含经配置以检测所述多个对象的所述相对位置的一或多个传感器的垫，且其中所述信息指示由所述一或多个传感器检测的所述多个对象的所述相对位置。

32.根据权利要求28所述的具有扩增实境功能的装置，其中所述信息是基于在所述ARD处接收的所述无线信号而在集成到所述ARD中的处理器或芯片处接收。

33.根据权利要求21所述的具有扩增实境功能的装置，其进一步包括：

经配置以跟踪在所述ARD的视图外的所述第二组所述多个对象中的至少一个对象的逻辑；

经配置以确定所述第二组所述多个对象中的所述至少一个对象仍存在的逻辑；以及

经配置以在所述第二组所述多个对象中的所述至少一个对象的位置中显现声音及图形中的至少一者的逻辑。

34.根据权利要求21所述的具有扩增实境功能的装置，其进一步包括：

经配置以当所述ARD摇摄到预期所述第二组中的第一对象将位于的地点且确定所述第一对象不存在于所述地点处时停止跟踪所述第一对象的逻辑；以及

经配置以停止与所述第一对象相关联的音频扩增的逻辑。

35.根据权利要求21所述的具有扩增实境功能的装置，其进一步包括：

经配置以当检测到新场景时停止跟踪所述第二组中的第一对象的逻辑；以及

经配置以停止与所述第一对象相关联的音频扩增的逻辑。

36.根据权利要求21所述的具有扩增实境功能的装置，其中经配置以显现扩增的逻辑包括以下各者：

经配置以当所述多个对象的所述状态的置信度的指示满足第一预定值时在一位置中显现声音及图形的逻辑；

经配置以当所述多个对象的所述状态的置信度的所述指示满足第二预定值时在所述位置中显现声音的逻辑；

经配置以当所述多个对象的所述状态的置信度的所述指示满足第三预定值时在所述位置中显现环境声音的逻辑；

经配置以当所述多个对象的所述状态的置信度的所述指示满足第四预定值时在所述位置中显现淡出转变的逻辑；或

上述各者的一些组合。

37.根据权利要求21所述的具有扩增实境功能的装置，其中所述多个对象为游戏棋子，且所述背景为游戏板。

38.根据权利要求21所述的具有扩增实境功能的装置，其中所述多个对象的所述状态包括以下各者：

所述多个对象相对于彼此的关系信息；

所述多个对象相对于所述背景的关系信息；

所述多个对象相对于彼此的几何布置关系；

所述多个对象相对于所述背景的几何布置关系；或

上述各者的一些组合。

39.根据权利要求21所述的具有扩增实境功能的装置，其进一步包括：

经配置以用多个具有扩增实境功能的装置ARD跟踪所述多个对象及所述背景的逻辑；

经配置以跨越所述多个ARD维持所述多个对象的状态的逻辑；以及

经配置以响应于所述多个对象的所述状态而提供用于在所述多个ARD中显现扩增的数据的逻辑。

40.根据权利要求21所述的具有扩增实境功能的装置，其中所述背景包括以下各者：

垫；

墙壁；或

上述各者的一些组合。

41.一种存储用于由一或多个计算机系统执行的指令的非暂时性媒体，所述指令包括：

用于至少部分基于从图像导出的视觉信息跟踪多个对象及背景的指令；

用于维持所述多个对象的状态的指令，其中所述用于维持所述多个对象的状态的指令包括用于维持在扩增实境功能的装置ARD的视图中的第一组所述多个对象的状态的指令以及用于维持在所述ARD的视图外的第二组所述多个对象的状态的指令；

用于响应于所述多个对象的所述状态而提供用于显现扩增的数据的指令；

用于跟踪在所述ARD的视图外的所述第二组所述多个对象中的至少一个对象的指令；

用于确定所述第二组所述多个对象中的所述至少一个对象不再存在的指令；以及

用于在所述第二组所述多个对象中的所述至少一个对象的位置中显现淡出转变及环境声音中的至少一者的指令。

42.一种适用于具有扩增实境功能的装置ARD的系统，其包括：

用于至少部分基于从图像导出的视觉信息跟踪多个对象及背景的装置；

用于维持所述多个对象的状态的装置，其中所述用于维持所述多个对象的状态的装置包括用于维持在所述ARD的视图中的第一组所述多个对象的状态的装置以及用于维持在所述ARD的视图外的第二组所述多个对象的状态的装置；

用于响应于所述多个对象的所述状态而提供用于显现扩增的数据的装置；

用于跟踪在所述ARD的视图外的所述第二组所述多个对象中的至少一个对象的装置；

用于确定所述第二组所述多个对象中的所述至少一个对象不再存在的装置；以及

用于在所述第二组所述多个对象中的所述至少一个对象的位置中显现淡出转变及环境声音中的至少一者的装置。