CN105074776A - 平面自然特征目标的原位形成 - Google Patents

Abstract

本发明揭示一种用于平面自然特征目标的原位形成的系统、设备及方法。在一个实施例中，在处理一或多个后续图像之前从单个第一参考图像初始化平面目标。在一个实施例中，在所述处理所述一或多个后续图像后以6自由度追踪所述平面目标并且在所述经处理的一或多个后续图像中选择第二参考图像。在一个实施例中，在选择所述第二参考图像后，将所述平面目标改进成更准确的平面目标。

Description

平面自然特征目标的原位形成

相关申请案的交叉参考

本申请案主张2013年3月14日提交的标题为“平面自然特征目标的原位形成(InSituCreationofPlanarNaturalFeatureTargets)”的第13/802,834号美国申请案的权益及优先权，所述申请案转让给本受让人且通过引用全文并入本文中。

技术领域

本文中所揭示的标的物通常涉及平面目标形成及追踪。

背景技术

相机传感器数据或图像可用作构建环境的3D地图的输入。在扩增实境(AR)系统中，虚拟对象可插入到装置显示器中，所述虚拟对象与现实/物理世界对象交互或替代现实/物理世界对象。AR系统可包含来自相机传感器的输入以将现实世界对象记录为图像或视频，并且将AR视图显示在装置显示器上。

AR系统可实施追踪系统以相对于参考物估计用户的位置及定向(姿态)。传统的追踪系统受所追踪参考物的类型以及用于开始追踪的初始化工序的限制。举例来说，在传统的追踪系统中，先前获取的参考物或人工标记物可用于初始化环境的3维(3D)模型的追踪。否则，在没有先前已知的参考物的情况下，对象可呈现在错误位置或浮动在环境地图的周围。

利用单个相机的追踪系统还可依赖于从通过单个相机俘获的两个后续参考图像初始化3D地图。如果两个参考图像之间的相机运动为适当的并且还维持两个图像中的场景之间的充分重叠，那么仅可能基于两个参考图像使用传统技术形成3D地图。

传统的追踪实施方案还可依赖于直接的用户输入以选择两个参考图像或可提供额外的视觉目标以在可初始化3D地图之前记录6自由度(6DoF)相机运动。

举例来说，一些追踪方法要求用户执行不具有视觉反馈的特定非直观运动序列，因此3D重构方法可用于找到目标的现实平面。

由于追踪技术的传统方法的以上限制，当前的扩增实境用户体验可能感觉不自然。此外，大多数用户不太可能知道或理解使用两个参考图像的传统追踪初始化所必需的运动。典型用户还经常对为何它们必需在扩增实境系统可显示场景的追踪更新之前执行特定运动感到困惑。

因此，需要改进的用户友好的3D环境初始化及追踪。

发明内容

本文所揭示的实施例可涉及一种用于平面目标形成及追踪的方法。所述方法包含从单个第一参考图像且在处理后续图像之前初始化三维目标。所述方法进一步包含处理一或多个后续图像，及在所述处理所述一或多个后续图像之后以6自由度(6DoF)追踪所述平面目标。所述方法进一步包含从所述经处理的一或多个后续图像中选择第二参考图像及将所述平面目标改进成更准确的平面目标。

本文所揭示的实施例还可涉及一种具有用以执行平面目标形成及追踪的指令的计算机可读非暂时性存储媒体。所述媒体包含从单个第一参考图像且在处理后续图像之前初始化三维目标。所述媒体进一步包含处理一或多个后续图像，及在所述处理所述一或多个后续图像之后以6DoF追踪所述平面目标。所述媒体进一步包含从所述经处理的一或多个后续图像中选择第二参考图像及将所述平面目标改进成更准确的平面目标。

本文所揭示的实施例还可涉及一种设备，其包含用于从单个第一参考图像且在处理后续图像之前初始化三维目标的装置。所述设备进一步包含用于处理一或多个后续图像的装置，及用于在所述处理所述一或多个后续图像之后以6自由度(6DoF)追踪所述平面目标的装置。所述设备进一步包含用于从所述经处理的一或多个后续图像中选择第二参考图像的装置，及用于将所述平面目标改进成更准确的平面目标的装置。

本文所揭示的实施例可进一步涉及一种数据处理系统，其包含处理器及可配置以存储用以执行平面目标形成及追踪的指令的存储装置。所述指令致使所述处理器从单个第一参考图像且在处理后续图像之前初始化三维目标。所述指令进一步致使所述处理器处理一或多个后续图像、从所述经处理的一或多个后续图像中选择第二参考图像，及以6DoF追踪所述平面目标，及将所述平面目标改进成更准确的平面目标。

在其它实施例中，所述平面目标被假设为从正面平行视图初始化且整个参考图像用于初始化所述平面目标。

其它特征及优点将从附图及具体实施方式中显而易见。

附图说明

图1是能够执行所揭示方法的系统的一个实施例的框图；

图2说明用于原位目标形成的方法的一个实施例的流程图；

图3说明正面平行于相机平面的示范性目标；

图4说明从大致位于平面目标前方的装置的第一视点；

图5说明从位于平面目标前方的装置的第二视点；

图6及7说明在一个实施例中分别从图4及图5的相同装置视点，其中相应目标表示具有经正确估计的目标平面；及

图8说明用于原位目标形成的方法的另一实施例的流程图。

具体实施方式

词语“示范性”或“实例”在本文中用于意味着“充当实例、例子或说明”。本文中描述为“示范性”或描述为“实例”的任何方面或实施例未必应被解释为比其它方面或实施例优选或有利。

图1是说明其中可实践本发明的实施例的系统的框图。所述系统可为装置100，所述装置可包含通用处理器161、图像处理器166、姿态处理器168、图形引擎167及存储器164。装置100还可包含耦合到一或多个总线177的多个装置传感器或进一步耦合到处理器161、166及168中的至少一者的信号线。装置100可为：移动装置、无线装置、蜂窝电话、个人数字助理、可穿戴式装置(例如，眼镜、手表、帽子，或类似身体附接装置)、移动计算机、平板计算机、个人计算机、膝上型计算机，或具有处理能力的任何类型的装置。

在一个实施例中，装置100可为移动/便携式平台。装置100可包含用于俘获图像的装置，例如，相机114及/或CMOS传感器(未展示)并且可任选地包含运动传感器111，例如，加速度计、陀螺仪、电子罗盘，或其它类似运动传感元件。装置100还可在正向及/或后向相机(例如，相机114)上俘获图像。装置100可进一步包含用户接口150，所述用户接口包含用于显示扩增实境图像的装置，例如，显示器112。用户接口150还可包含用户可经由其将信息输入到装置100中的键盘、小键盘152，或其它输入装置。如果需要，通过触摸屏/传感器将虚拟小键盘集成到显示器112中可免除键盘或小键盘152。用户接口150还可包含麦克风154及扬声器156，例如，如果装置100是例如蜂窝电话等移动平台。装置100可包含各种其它元件，例如，卫星定位系统接收器、电源装置(例如，电池)，以及通常与便携式及非便携式电子装置相关联的其它组件。

装置100可充当移动或无线装置并且可通过无线网络经由基于或另外支持任何合适的无线通信技术的一或多个无线通信链路来通信。举例来说，在一些方面中，装置100可为客户端或服务器并且可与无线网络相关联。在一些方面中，网络可包括人体局域网络或个人局域网络(例如，超宽带网络)。在一些方面中，网络可包括局域网或广域网。无线装置可支持或以其它方式使用多种无线通信技术、协议或标准(例如，CDMA、TDMA、OFDM、OFDMA、WiMAX及Wi-Fi等)中的一或多者。类似地，无线装置可支持或以其它方式使用多种对应调制或多路复用方案中的一或多者。移动无线装置可以无线方式与其它移动装置、蜂窝电话、其它有线及无线计算机、因特网网站等通信。

在一个实施例中，如本文所描述的原位目标形成模块(ITC)可从单个参考图像立即初始化平面目标。术语“模块”用于指代能够执行所述功能的硬件、固件、软件，或其某一组合。举例来说，ITC可从单个相机114或单眼视频输入接收图像或视频。在处理单个参考图像之后且在处理任何其它图像之前可发生平面目标初始化。ITC可处理单个参考图像(例如，提取与目标相关联的特征点)并且可根据点对应的集合(例如，来自两个或两个以上图像的特征)估计6自由度相机位置及定向(姿态)。如本文所使用，特征点的检测及用于特征点的6DoF相机姿态的估计共同地被称为“追踪”目标。ITC可在不具有用户环境的先验知识(例如，不具有预填充的地图、CAD模型、场景中的标记物或类似预定义目标描述符)且不使用两个不同精确参考图像的情况下初始化平面目标。在一些实施例中，ITC可在初始化期间提供视频(例如，所显示的目标调整)反馈。

ITC可在接收图像或视频输入之后输出或显示输入图像或视频的扩增实境(AR)表示。在一些实施例中，ITC可取决于装置100的能力实时、近实时、在短时窗内，或在从单个图像初始化目标后立即显示目标的AR表示(例如，虚拟对象的修改或到现实世界场景中的添加)。在一些实施例中，ITC模块可初始化及显示AR表示而不需要任何额外的传感器输入(例如，不需要加速度计、激光测距仪、陀螺仪、GPS、或用于确定位置的其它传感器的帮助)。因此，可将昂贵且复杂的多个相机阵列系统减到最少并且ITC可耦合到常用的相机传感器。举例来说，ITC可耦合到单个相机、例如智能手机等的移动装置，或例如AR眼镜等的可穿戴式装置。

在一个实施例中，ITC可通过将整个所俘获相机图像(例如，单个参考图像)看作目标对象的正面平行视图(例如，在初始化期间传送视点参数/配置)而初始化平面目标。在其它实施例中，ITC可通过整个相机图像的部分或子区段初始化平面目标。ITC可形成用于平面目标自然特征追踪的准确数据集，而不需要任何预定标记物或标记。

因为ITC可从单个参考图像完全初始化平面目标，所以在可开始追踪之前不使用额外的特定相机运动或输入。在一些实施例中，ITC可立刻、实时、近实时，或在接收参考图像的短时窗内追踪场景或对象并且可向显示器提供同时发生的实时AR更新(例如，目标的扩增)。通过启用根据单个初始参考图像的初始化的目标追踪，自然地(即，不具有特定提示或指令)鼓励用户持续移动/再定位相机且通过相机探索目标或场景。在不同角度及视点下对场景的更大探索使ITC能够收集可测试用于从第一参考图像的充分平移的另外的后续图像。一旦检测到经充分平移的图像，所述图像可指派为用于地图、目标及相机姿态的三角测量或进一步改进的第二参考图像。

图2说明原位目标形成的一个实施例的流程图。在块205处，ITC可从所俘获图像(例如，如单个参考图像)且在处理任何其它/后续图像之前初始化平面目标。在一些实施例中，可立刻、实时、近实时，或在参考图像俘获的短时窗内进行初始化。ITC可基于单个参考图像的处理形成平面目标。如本文所使用，“平面”用于描述大致平坦的具有二维表面的对象。举例来说，处理所俘获图像(例如，从相机114俘获的初始化图像)可包含计算经提取特征或特征点的集合及将单个参考图像看作目标的正面平行视图。下文更详细地描述平面目标的初始化。

在块210处，ITC可处理一或多个后续图像。处理可包含确定后续图像内的特征的集合。特征的所述集合可为在处理单个参考图像之后确定的相同特征，然而如果相机姿态由于处理单个参考图像而改变，那么一或多个特征的参考特征位置在后续图像可不同。

在块215处，在处理一或多个后续图像后，ITC可以6自由度追踪平面目标(例如，平面自然特征目标)。在一些实施例中，在由单个参考图像的ITC接收之后，可立刻、立即、实时、近实时，或在短时间段内进行ITC追踪。追踪目标可包含将来自单个参考图像的每一特征点的位置与后续图像中的对应特征相比较及确定在两个图像中发现的相同特征点中的一或多者的位置的变化。对于每一后续图像(例如，在初始参考图像之后俘获和处理的图像)，ITC可更新参考特征位置以提供经更新相机姿态。

ITC可基于一或多个后续图像(例如，在自单个参考图像的俘获的稍后时间点处俘获的一或多个图像)的处理继续追踪目标(例如，场景、对象或地图)。在一些实施例中，ITC还可致使装置显示器立刻、实时、近实时，或在平面目标的初始化的短时窗内输出目标的扩增实境表示。

在块216处，ITC可从经处理的一或多个后续图像中选择第二参考图像。举例来说，可在ITC确定第二参考图像相对于第一参考图像的平移满足平移阈值后选择第二参考图像。

在块220处，ITC可进一步将平面目标改进成更准确的平面目标。举例来说，ITC可基于来自后续图像的满足平移阈值的积聚特征优化相机及模型(目标)。下文描述关于平面目标的改进的其它细节。

在一些实施例中，ITC可立刻、实时、近实时，或在接收所俘获图像(即，单个参考图像)的短时窗内且在处理任何后续图像之前初始化平面目标。在一些实施例中，ITC可完全基于单个参考图像的处理形成完整的平面目标。

此外，在一些实施例中，ITC可不访问且可不请求与关于目标的预定信息有关的输入，所述目标例如，在初始所俘获图像之前收集的对象或场景标记物、地图、交替传感器数据测量值或其它目标信息。

在一些实施例中，装置(例如，装置100)可自动地起始、执行或运行ITC(例如，通过使用处理器161)，而不需要任何直接或手动用户交互。在一些实施例中，装置可从相机(例如，相机114)中俘获第一图像且将所述图像发送到ITC用于平面目标初始化、追踪及/或扩增实境处理。或者，在一些实施例中，ITC可致使装置通过接触触摸屏、按压按钮或类似输入而促进用户起始目标的初始化及追踪。ITC还可集成到应用程序或程序中并且所述应用程序或程序可俘获单个参考图像及触发ITC。

在一些实施例中，可从装置上的图像内容中接收所俘获图像或用户可起始所俘获图像的俘获。当检测到相机移动或运动时可通过相机114自动地俘获单个参考图像。所俘获图像可为来自视频内容的静态相机图像或帧。

如本文所使用的特征(例如，特征点或兴趣点)作为图像的所关注或显著部分。从图像提取的特征可表示沿着三维空间(例如，在轴X、Y及Z上的坐标)的不同点并且每一特征点可具有相关联特征位置。单个参考图像可具有用于与后续图像中存在的特征相比较的参考特征。后续图像中的特征与单个参考图像的参考特征匹配(即，相同)或无法匹配。特征检测可为图像处理操作以检查每一像素来确定特征是否以特定像素存在。特征检测可处理整个图像或可替代地图像的某些部分。

对于每一所俘获图像或视频帧，在已检测到特征后，可提取特征周围的局部图像分块。可使用例如尺度不变特征变换(SIFT)等的熟知技术提取特征，所述技术局部化特征且产生其描述。如果需要，可使用其它技术，例如，快速鲁棒特征(SURF)、梯度位置朝向直方图(GLOH)、归一化互相关(NCC)或其它可比较技术。当确定图像的经提取特征的数目超过阈值(例如，100点特征或其它数目个特征)时，图像可保存为单个参考图像且经提取特征可定义为目标的参考特征/点(或经提取特征点)。

如本文所使用的目标可包含来自图像内的单个独立对象或多个对象的经提取特征。举例来说，在图像中俘获的整个场景可包含多个对象并且每一对象可具有一或多个经提取特征。图像或场景内的对象群组还可具有与整个群组相关联的集体组合的特征集合。

ITC可使用来自整个单个参考图像的特征以形成平面目标。为了确定目标，ITC可作出所有特征位于平行于相机平面的平面上的初始假设(参考特征可在距垂直于视角方向的相机相同距离/深度处初始化)。

经初始化平面目标可存储在存储器(例如，存储器164)中并且与从单个参考图像提取或计算的一或多个特征相关联。

在一个实施例中，ITC可立刻、实时、近实时，或在平面目标的初始化的短时窗内启用目标追踪。在一些实施例中，ITC可提供从单个参考图像至随后俘获的图像的立即、实时或近实时相机追踪。在一些实施例中，本文中概述的追踪方法可促进部分遮挡的的ITC追踪。此外，所揭示的方法可促进与对象(例如，水平或垂直对准的对象对于ITC追踪同样可行)的特定旋转无关的目标的ITC追踪。

在一个实施例中，当装置相对于目标(例如，参考图像内的一或多个对象或场景)移动时，相机可从不同视点持续俘获及处理目标的后续额外图像。ITC可将与经处理图像相关联的AR表示输出到装置显示器(例如，显示器112)。在一个实施例中，原位目标形成提供实时反馈并且可提供任何追踪错误的即时、实时或近实时显示，使得鼓励用户进一步提供相机运动。额外相机运动可提供有用的额外图像参考以进一步改进目标。举例来说，即使具有初始追踪错误，ITC也可提供准确性足以促进通过用户的进一步场景探索的目标表示直到发现第二参考图像。第二参考图像可用于进一步减少任何错误且改进目标。在一个实施例中，当第一参考图像相对于所追踪的目标接近于/近似于正面平行视图时减少初始的基本目标追踪错误。

图3说明正面平行于相机平面的目标。图3说明平面目标310上的四个圆形对象360、365、360及375。四个对象沿着相同平面放置，使得每一对象具有相同Z坐标及距相机/装置平面的相同深度。装置100可显示(例如，通过装置显示器112)现实世界对象310的表示330。现实世界对象310的表示330可包含如下文更详细描述的扩增实境。

一般来说，ITC可在大致正面平行的图像上操作以获得参考图像且不限于准确地正面平行的目标俘获及处理。ITC可将整个第一参考图像430指派为目标且在相机平面不准确地正面平行于目标的情况下呈现正面平行视图。

图4说明在一个实施例中从大致位于平面目标前方的装置的第一视点。图4从装置100的角度说明目标405(例如，绘画)的大致正面平行的视点。装置100可显示(例如，通过装置显示器112)现实世界对象405的表示425。现实世界对象405的表示425可包含如下文更详细描述的扩增实境。实例第一视点400说明基于显示器112中的整个图像的目标430的形成。图4说明拐角410及415(特征)可位于不同Z坐标上并且相对于相机114平面可具有不同深度。

图5说明在一个实施例中从大致位于平面目标前方的装置100的第二视点。图5从第一视点说明归因于追踪目标(即，整个第一参考图像430)的强失真515。参考图像430的失真515还可产生失真的AR表示。举例来说，尽管可粗略估计使用整个参考图像420的初始假设，但追踪的准确性可足以进一步促进用户交互。在观察目标的表示(例如，显示在装置显示器112上的失真AR)后，用户可自然地尝试再定位装置100且俘获目标的内错角。在处理后续参考图像(例如，确定第二参考图像具有足够平移)之后，ITC可准确地对目标特征进行三角测量以计算在第一和第二参考图像中平面目标覆盖的区域及第一和第二参考图像中的平面目标的真实平面法线。

图6及7分别说明在一个实施例中的图4及图5的相同装置视点，除了相应目标表示610及710具有经正确估计的目标平面。举例来说，ITC将整个第一参考图像初始化为图4中的平面目标，并且在确定具有充分基线或平移的第二参考图像后，ITC可正确地估计如图6及7中所说明的目标。

图6及7具有正确变形(例如，在第一及第二参考帧的三角测量之后)并且当用于AR系统中时可准确地扩增现实世界对象的表示。举例来说，图6及7的阴影区可用除原始绘画405以外的不同对象替代或重叠(例如，插入新绘画、商业广告、用户选定图像、视频或一些其它AR对象作为替代物)。

在一个实施例中，ITC识别图像中的目标并且确定相对于坐标系及/或相对于相机平面的目标的位置及定向。举例来说，此信息可用于允许用户将装置用作AR系统或此信息可由机器人用于导航未知的环境。可借助于将对象从参考姿态引入观察姿态的旋转及平移变换描述相机位置及定向(姿态)。此旋转变换可以不同方式表示(例如，表示为旋转矩阵、四元数，或其它表示)。

在一个实施例中，ITC自动地选择可在给定观察到的相机114运动时更新的场景的部分(例如，经提取特征点)。在一个实施例中，ITC可从在相机114运动且记录图像时俘获的图像中自动地选择第二参考图像以用于完整的3D地图初始化。此外，ITC可从初始平面目标估计相机114运动并且在接收或处理第二图像帧之前提供瞬时相机追踪。在一个实施例中，ITC可在不具有用户输入且不依赖于任何其它外部追踪方法的情况下操作。

如上文所描述，装置100可为便携式电子装置(例如，智能手机、专用扩增实境(AR)装置、游戏装置、例如眼镜等的可穿戴式装置，或具有AR处理及显示能力的其它装置)。实施本文所描述的AR系统的装置可用于多种环境中，例如，商场、街道、房间，或用户可采用便携式装置的任何地方。在AR情境中，用户可使用装置100来通过其装置的显示器观察现实世界的表示。用户可通过使用其装置的相机与其具备AR能力的装置交互以接收现实世界图像/视频并且将额外或交替信息叠加或重叠到装置上所显示的现实世界图像/视频上。当用户在其装置上观察AR实施时，现实世界对象或场景可在装置显示器上实时进行替代或更改。虚拟对象(例如，文本、图像、视频)可插入到装置显示器上描绘的场景的表示中。

在一个实施例中，通过在用户移动装置时且在不具有用户环境的先验知识的情况下自动地更新装置上显示的AR可大大增强AR装置的用户体验。举例来说，在一些实施例中，ITC可在不具有地图、CAD模型、场景中的标记物或其类似者的情况下操作。在不具有多个不同及精确的图像捕获的情况下，ITC还可通过提供视觉反馈(例如，对显示器112上表示的目标的AR更新)来增强用户的体验。在一些实施例中，可实时、近实时、几乎立即，或在俘获第一参考图像的短时窗内将对AR系统的视频更新提供给显示器及用户。

装置100及/或相机114的移动可致使显示器实时或近实时更新所追踪目标(例如，一或多个对象或场景)的扩增。通过装置远离初始参考图像位置的运动，装置可从交替视图中俘获额外的图像。由于显示交替视图，因此在ITC处理额外图像时场景扩增可变得更准确。在一个实施例中，当相机114移动且相机姿态变化(例如，通过用户或机器人起始的运动)时，ITC可选择合适的图像用作第二参考图像。第二参考图像可选自图像内容或流。在一个实施例中，在发现具有从初始参考图像的充分平移的图像后，可自动地将所发现图像指派为第二参考图像。来自第二参考图像的特征可加以提取且通过来自第一图像帧的特征进行三角测量以改进目标且提高追踪准确性。在提取特征及从第二参考图像进行三角测量之后，可实现扩增的准确性增加(例如，对象周围的边界可更精确地拟合、场景中的对象的表示将显得更真实，及目标放置相对于相机114姿态可更准确)。

在一个实施例中，对象或图形可插入或集成到通过相机114俘获的视频流(或图像)中并且显示在显示器112上。在一些实施例中，ITC可任选地向用户提示额外信息以扩增目标。举例来说，用户可能够添加用户内容以扩增目标的表示。用户内容可为图像、3D对象、视频、文本，或可与目标的表示集成或重叠或替代目标的表示的其它内容类型。

显示器可通过从原始场景的顺畅追踪实时更新。举例来说，标志上的文本可用替代文本替代，或3D对象可在战略上放入场景中且显示在装置100上。当用户改变相机114的位置及定向时，可调整或扩增图形或对象以匹配相机114的相对移动。举例来说，如果虚拟对象插入到扩增实境显示器中，那么远离虚拟对象的相机运动可减小虚拟对象相对于相机114所行进距离的大小。举例来说，与从虚拟对象退后半步相比，从虚拟对象退后四步应引起虚拟对象大小的更大减小，所有其它变量是相同的。运动图形或动画可在由ITC表示的场景内制成动画。举例来说，动画对象可在扩增实境显示器中所描绘的场景内“移动”。

所属领域的技术人员将认识到，本文所描述的实施例可以除AR之外的方式实施(例如，机器人定位或其它实施方案以利用平面自然特征目标的原位形成)。

图8是说明原位目标形成的一个实施例的流程图。在块810处，ITC可从如上文所描述的第一参考图像形成或初始化平面目标。

在块815处，ITC可开始追踪目标。在一个实施例中，当相机114在任何方向上(例如，以6DoF)移动时起始初始目标追踪。在一个实施例中，ITC以6DoF追踪目标，同时相机或图像传感器维持到目标的最少部分视线(即，不完全遮挡)。

在块820处，ITC可在选择当前所俘获图像作为第二参考图像以用于改进目标之前确定是否满足平移或基线阈值。举例来说，平移阈值可基于相机姿态从第一参考图像的第一相机姿态(例如，在俘获第一参考图像时的相机姿态)至第二参考图像的第二相机姿态(例如，在俘获第二参考图像时的相机姿态)的运动或变化量。相机移动引起在从第一相机位置至第二(即，当前)相机位置的观察方向之间形成角。当角的大小足够(即，满足预定阈值)用于足够数目个特征时，ITC可使用第一参考图像及第二参考图像执行稳固的三角测量。

在一个实施例中，当出现阈值平移时，ITC可将与满足平移阈值相关联的图像(例如，后续/所俘获图像)指派为第二参考图像并且继续到块825。否则，在块815处，ITC可继续追踪初始平面目标。在一个实施例中，ITC可通过多个图像重复(例如，从自相机114俘获的一系列帧)，从而处理每一图像以确定是否满足平移阈值。

在块825处，ITC可将来自第一参考图像的一或多个经提取/经计算特征(例如，特征点，或参考特征)与第二参考图像匹配。

在块830处，ITC可基于第一和第二参考图像及其相应特征对经匹配特征进行三角测量。ITC可处理从不同观察方向描绘对象或场景的相同部分的两个图像。ITC可找到对应性(即，在第一及第二图像两者中存在的同一场景特征点)。ITC可计算这些对应特征点的3D结构以及将相机从第一参考图像移动到第二参考图像的运动。

在块835处，ITC可执行集束调整以更准确地估计相对相机姿态及特征点(例如，3D特征坐标)。特征点可表示一或多个点在三维空间中的位置，每个点通过三个笛卡耳坐标描述。假定图像的集合从不同视点描绘多个特征点，集束调整可定义为同时改进描述场景几何结构的3D坐标以及用于获取图像的相机的相对运动及光学特征的参数。在一些实施例中，集束调整可有助于最小化在观察到的图像位置与所预测的图像点之间的二次投影误差。集束调整可考虑观察参数(例如，相机姿态、内部校准及径向失真)，以便获得关于与观察到的图像特征有关的噪音的最佳重构。

在块840处，ITC可保持平面内特征。在一个实施例中，ITC可将所有特征的集合减少至位于平面中的那些特征，并且使用(例如，选择)单个参考图像(即，第一参考图像)或第二参考图像形成新目标数据集，取决于所述新目标数据集参考图像更好地适合于表示经估计平面。在一个实施例中，如果第一及第二参考图像都不够接近正面平行阈值，那么ITC可展开第一或第二参考图像以从校正视图形成目标。

在块845处，ITC可基于来自额外参考图像的积聚特征进一步优化相机及模型(目标)。在一个实施例中，ITC基于相机的所记录移动(例如，在初始参考图像之后的移动)优化相机及模型。在相机移动(例如，通过用户起始的移动或机器人移动)时，显示器可实时更新。接收实时反馈可促进用户继续移动相机。额外的相机移动可提供模型的进一步改进及追踪的更大准确性。举例来说，在扩增实境情境中，装置将集成图形或对象显示到场景中并且所述图形或对象位于所述场景中使得当移动相机时(例如，以一或多个6DoF移动)，图形或对象维持其相对于其它对象或环境的位置(相对于从第一参考图像确定的位置及定向)。

在块850处，ITC可继续追踪改进的目标并且任选地向显示器提供目标的经扩增表示。ITC可将改进的目标输出到另一模块用于继续追踪及AR显示器。

本文中的教示可并入到多种设备(例如，装置)中(例如，在其内实施或由其执行)。在一个实施例中，ITC可实施为由处理器执行以接收图像或视频作为输入的引擎。本文教示的一或多个方面可并入到以下装置中：电话(例如，蜂窝电话)、个人数据助理(“PDA”)、平板计算机、便携式计算机、膝上型计算机、平板计算机、娱乐装置(例如，音乐或视频装置)、耳机(例如，头戴式耳机、听筒等)、医疗装置(例如，生物识别传感器、心率监测仪、计步器、EKG装置等)、用户I/O装置、计算机、服务器、销售点装置、娱乐装置、机顶盒，或任何其它合适的装置。这些装置可具有不同电力及数据要求且可导致针对每一特征或特征集合产生的不同电力分布。

在一些方面中，无线装置可包括用于通信系统的接入装置(例如，Wi-Fi接入点)。举例来说，此接入装置可经由有线或无线通信链路通过收发器140(例如，例如因特网或蜂窝式网络的广域网)提供到另一网络的连接。因此，接入装置可使得另一装置(例如，Wi-Fi站)能够接入另一网络或某一其它功能性。另外，应了解，所述装置中的一或两者可为便携式的，或在一些情况下，相对非便携式的。

所属领域的技术人员将理解，可使用多种不同技术及技艺中的任一者来表示信息及信号。举例来说，可由电压、电流、电磁波、磁场或磁粒子、光场或光粒子或其任何组合来表示在上文描述中始终参考的数据、指令、命令、信息、信号、位、符号及码片。

所属领域的技术人员将进一步了解，结合本文所揭示的实施例描述的各种说明性逻辑块、模块、引擎、电路及算法步骤可实施为电子硬件、计算机软件或两者的组合。为清楚地说明硬件与软件的此互换性，上文已大致关于其功能性而描述了各种说明性组件、块、模块、引擎、电路及步骤。此功能性是实施为硬件还是软件取决于特定应用及施加于整个系统上的设计约束。熟练的技术人员可针对每一具体应用以不同方式来实施所描述的功能性，但此类实施决策不应被解释为会导致脱离本发明的范围。

可使用经设计以执行本文所述的功能的通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑装置、离散门或晶体管逻辑、离散硬件组件或其任何组合来实施或执行结合本文中所揭示的实施例而描述的各种说明性逻辑块、模块以及电路。通用处理器可为微处理器，但在替代方案中，处理器可为任何常规处理器、控制器、微控制器或状态机。处理器还可实施为计算装置的组合，例如，DSP与微处理器的组合、多个微处理器、结合DSP核心的一或多个微处理器，或任何其它此种配置。

结合本文中所揭示的实施例而描述的方法或算法的步骤可直接体现于硬件、由处理器执行的软件模块中或两者的组合中。软件模块可驻留在RAM存储器、快闪存储器、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可装卸式磁盘、CD-ROM，或此项技术中已知的任何其它形式的存储媒体中。示范性存储媒体耦合到处理器，使得处理器可从存储媒体读取信息和将信息写入到存储媒体。在替代方案中，存储媒体可集成到处理器。处理器及存储媒体可驻留在ASIC中。ASIC可驻留在用户终端中。在替代方案中，处理器及存储媒体可作为离散组件驻留在用户终端中。

在一或多个示范性实施例中，所描述的功能或模块可实施于硬件(例如，硬件162)、软件(例如，软件165)、固件(例如，固件163)，或其任何组合中。如果在软件中实施为计算机程序产品，那么功能或模块可作为一或多个指令或代码存储在非暂时性计算机可读媒体上或经由非暂时性计算机可读媒体传输。计算机可读媒体可包含计算机存储媒体与通信媒体两者，通信媒体包含促进将计算机程序从一处传送到另一处的任何媒体。存储媒体可为可由计算机存取的任何可用媒体。借助于实例而非限制性地，此类非暂时性计算机可读媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置，或可用于运载或存储呈指令或数据结构的形式的所要程序代码且可由计算机存取的任何其它媒体。而且，任何连接可恰当地称为计算机可读媒体。举例来说，如果使用同轴缆线、光纤缆线、双绞线、数字订户线(DSL)或例如红外线、无线电及微波等无线技术从网站、服务器或其它远程源传输软件，那么同轴缆线、光纤缆线、双绞线、DSL或例如红外线、无线电及微波等无线技术包含于媒体的定义中。本文中使用的磁盘及光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软磁盘及蓝光盘，其中磁盘通常是以磁性方式再现数据，而光盘是用激光以光学方式再现数据。以上各项的组合也应包含在非暂时计算机可读媒体的范围内。

提供所揭示实施例的先前描述以使得所属领域的任何技术人员能够制作或使用本发明。所属领域的技术人员将容易地了解对这些实施例的各种修改，并且可在不脱离本发明的精神或范围的情况下将本文所定义的一般原理应用到其它实施例中。因此，本发明并不希望限于本文所展示的实施例，而应被赋予与本文所揭示的原理及新颖特征相一致的最广泛范围。

Claims (40)

1.一种用于平面目标形成及追踪的处理器实施的方法，所述方法包括：

从单个第一参考图像且在处理后续图像之前初始化平面目标；

处理一或多个后续图像；

在所述处理所述一或多个后续图像后以6自由度追踪所述平面目标；

从所述经处理的一或多个后续图像中选择第二参考图像；及

在选择所述第二参考图像后将所述平面目标改进成更准确的平面目标。

2.根据权利要求1所述的处理器实施的方法，其进一步包括∶

将所述平面目标的正面平行视图假定为用于初始化所述平面目标的参数。

3.根据权利要求2所述的处理器实施的方法，其进一步包括∶

如果所述单个第一参考图像及所述第二参考图像都不是所述平面目标的实际正面平行视图，那么从所述单个第一参考图像或所述第二参考图像形成所述平面目标的校正视图。

4.根据权利要求1所述的处理器实施的方法，其中处理所述一或多个后续图像进一步包括从所述一或多个后续图像中的每一者提取多个特征。

5.根据权利要求1所述的处理器实施的方法，其中所述从所述单个第一参考图像初始化所述平面目标进一步包括将所述整个单个第一参考图像指派为所述平面目标。

6.根据权利要求1所述的处理器实施的方法，其中所述从所述单个第一参考图像初始化所述平面目标进一步包括：

从所述单个第一参考图像提取多个参考特征；及

针对每一经提取参考特征确定所述平面目标内的相应参考特征位置。

7.根据权利要求6所述的处理器实施的方法，其中将所述平面目标改进成所述更准确的平面目标进一步包括：

基于所述后续图像中的每一者的所述处理确定所述参考特征位置中的一或多者的经更新参考特征位置；

测量与所述单个第一参考图像相关联的参考相机视图与多个后续相机视图之间的平移，所述后续相机视图中的每一者与所述后续图像中的一者相关联；

针对相应后续图像确定对应测量到的平移满足平移阈值；及

将所述相应后续图像指派为所述第二参考图像。

8.根据权利要求7所述的处理器实施的方法，其中将所述平面目标改进成所述更准确的平面目标进一步包括：

对来自所述单个第一参考图像的所述参考特征与来自所述第二参考图像的对应特征进行三角测量，其中所述三角测量进一步包括：

计算在所述单个第一参考图像及所述第二参考图像中所述平面目标覆盖的区域；及

计算在所述单个第一参考图像及第二参考图像中所述平面目标的真实平面法线。

9.根据权利要求1所述的处理器实施的方法，其中所述平面目标是以下各项中的一或多者：部分遮挡在所述单个第一参考图像中，具有任何平面形状或相对于重力处于任何方向上。

10.根据权利要求1所述的处理器实施的方法，其进一步包括∶

在初始化所述平面目标后且在处理所述后续图像之前显示所述平面目标的扩增实境表示；及

基于所述以6自由度追踪所述平面目标更新所述扩增实境表示。

11.一种含有可执行程序指令的计算机可读的非暂时性存储媒体，所述可执行程序指令致使数据处理装置执行用于平面目标形成及追踪的方法，所述方法包括：

从单个第一参考图像且在处理后续图像之前初始化平面目标；

处理一或多个后续图像；

在所述处理所述一或多个后续图像后以6自由度追踪所述平面目标；

从所述经处理的一或多个后续图像中选择第二参考图像；及

在选择所述第二参考图像后将所述平面目标改进成更准确的平面目标。

12.根据权利要求11所述的媒体，其进一步包括∶

将所述平面目标的正面平行视图假定为用于初始化所述平面目标的参数。

13.根据权利要求12所述的媒体，其进一步包括∶

如果所述单个第一参考图像及所述第二参考图像都不是所述平面目标的实际正面平行视图，那么从所述单个第一参考图像或所述第二参考图像形成所述平面目标的校正视图。

14.根据权利要求11所述的媒体，其中处理所述一或多个后续图像进一步包括从所述一或多个后续图像中的每一者提取多个特征。

15.根据权利要求11所述的媒体，其中所述从所述单个第一参考图像初始化所述平面目标进一步包括将所述整个单个第一参考图像指派为所述平面目标。

16.根据权利要求11所述的媒体，其中所述从所述单个第一参考图像初始化所述平面目标进一步包括：

从所述单个第一参考图像提取多个参考特征；及

针对每一经提取参考特征确定所述平面目标内的相应参考特征位置。

17.根据权利要求16所述的媒体，其中将所述平面目标改进成所述更准确的平面目标进一步包括：

基于所述后续图像中的每一者的所述处理确定所述参考特征位置中的一或多者的经更新参考特征位置；

测量与所述单个第一参考图像相关联的参考相机视图与多个后续相机视图之间的平移，所述后续相机视图中的每一者与所述后续图像中的一者相关联；

针对相应后续图像确定对应测量到的平移满足平移阈值；及

将所述相应后续图像指派为所述第二参考图像。

18.根据权利要求17所述的媒体，其中将所述平面目标改进成所述更准确的平面目标进一步包括：

对来自所述单个第一参考图像的所述参考特征与来自所述第二参考图像的特征进行三角测量，其中所述三角测量进一步包括：

计算在所述单个第一参考图像及所述第二参考图像中所述平面目标覆盖的区域；及

计算在所述单个第一参考图像及第二参考图像中所述平面目标的真实平面法线。

19.根据权利要求11所述的媒体，其中所述平面目标是以下各项中的一或多者：部分遮挡在所述单个第一参考图像中，具有任何平面形状或相对于重力处于任何方向上。

20.根据权利要求11所述的媒体，其进一步包括∶

在初始化所述平面目标后且在处理所述后续图像之前显示所述平面目标的扩增实境表示；及

基于所述以6自由度追踪所述平面目标更新所述扩增实境表示。

21.一种数据处理装置，其包括：

处理器；

存储装置，其耦合到所述处理器且可配置用于存储指令，当由所述处理器执行时所述指令致使所述处理器执行以下操作：

从单个第一参考图像且在处理后续图像之前初始化平面目标；

处理一或多个后续图像；

在所述处理所述一或多个后续图像后以6自由度追踪所述平面目标；

从所述经处理的一或多个后续图像中选择第二参考图像；及

在选择所述第二参考图像后将所述平面目标改进成更准确的平面目标。

22.根据权利要求21所述的数据处理装置，其进一步包括用以执行以下操作的指令：

将所述平面目标的正面平行视图假定为用于初始化所述平面目标的参数。

23.根据权利要求22所述的数据处理装置，其进一步包括用以执行以下操作的指令：

如果所述单个第一参考图像及所述第二参考图像都不是所述平面目标的实际正面平行视图，那么从所述单个第一参考图像或所述第二参考图像形成所述平面目标的校正视图。

24.根据权利要求21所述的数据处理装置，其中处理所述一或多个后续图像进一步包括用以从所述一或多个后续图像中的每一者提取多个特征的指令。

25.根据权利要求21所述的数据处理装置，其中所述从所述单个第一参考图像初始化所述平面目标进一步包括用以将所述整个单个第一参考图像指派为所述平面目标的指令。

26.根据权利要求21所述的数据处理装置，其中所述从所述单个第一参考图像初始化所述平面目标进一步包括用以执行以下操作的指令：

从所述单个第一参考图像提取多个参考特征；及

针对每一经提取参考特征确定所述平面目标内的相应参考特征位置。

27.根据权利要求26所述的数据处理装置，其中将所述平面目标改进成所述更准确的平面目标进一步包括用以执行以下操作的指令：

基于所述后续图像中的每一者的所述处理确定所述参考特征位置中的一或多者的经更新参考特征位置；

测量与所述单个第一参考图像相关联的参考相机视图与多个后续相机视图之间的平移，所述后续相机视图中的每一者与所述后续图像中的一者相关联；

针对相应后续图像确定对应测量到的平移满足平移阈值；及

将所述相应后续图像指派为所述第二参考图像。

28.根据权利要求27所述的数据处理装置，其中将所述平面目标改进成所述更准确的平面目标进一步包括用以执行以下操作的指令：

对来自所述单个第一参考图像的所述参考特征与来自所述第二参考图像的对应特征进行三角测量，其中所述三角测量进一步包括：

计算在所述单个第一参考图像及所述第二参考图像中所述平面目标覆盖的区域；及

计算在所述单个第一参考图像及第二参考图像中所述平面目标的真实平面法线。

29.根据权利要求21所述的数据处理装置，其中所述平面目标是以下各项中的一或多者：部分遮挡在所述单个第一参考图像中，具有任何平面形状或相对于重力处于任何方向上。

30.根据权利要求21所述的数据处理装置，其进一步包括：

在初始化所述平面目标后且在处理所述后续图像之前显示所述平面目标的扩增实境表示；及

基于所述以6自由度追踪所述平面目标更新所述扩增实境表示。

31.一种用于平面目标形成及追踪的设备，其包括：

用于从单个第一参考图像且在处理后续图像之前初始化平面目标的装置；

用于处理一或多个后续图像的装置；

用于在所述处理所述一或多个后续图像后以6自由度追踪所述平面目标的装置；

用于从所述经处理的一或多个后续图像中选择第二参考图像的装置；及

用于在选择所述第二参考图像后将所述平面目标改进成更准确的平面目标的装置。

32.根据权利要求31所述的设备，其进一步包括：

用于将所述平面目标的正面平行视图假定为用于初始化所述平面目标的参数的装置。

33.根据权利要求32所述的设备，其进一步包括：

用于在所述单个第一参考图像及所述第二参考图像都不是所述平面目标的实际正面平行视图的情况下从所述单个第一参考图像或所述第二参考图像形成所述平面目标的校正视图的装置。

34.根据权利要求31所述的设备，其中处理所述一或多个后续图像进一步包括用于从所述一或多个后续图像中的每一者提取多个特征的装置。

35.根据权利要求31所述的设备，其中所述从所述单个第一参考图像初始化所述平面目标进一步包括用于将所述整个单个第一参考图像指派为所述平面目标的装置。

36.根据权利要求31所述的设备，其中所述从所述单个第一参考图像初始化所述平面目标进一步包括：

用于从所述单个第一参考图像提取多个参考特征的装置；及

用于针对每一经提取参考特征确定所述平面目标内的相应参考特征位置的装置。

37.根据权利要求36所述的设备，其中将所述平面目标改进成所述更准确的平面目标进一步包括：

用于基于所述后续图像中的每一者的所述处理确定所述参考特征位置中的一或多者的经更新参考特征位置的装置；

测量与所述单个第一参考图像相关联的参考相机视图与多个后续相机视图之间的平移，所述后续相机视图中的每一者与所述后续图像中的一者相关联；

用于针对相应后续图像确定对应测量到的平移满足平移阈值的装置；及

用于将所述相应后续图像指派为所述第二参考图像的装置。

38.根据权利要求37所述的设备，其中将所述平面目标改进成所述更准确的平面目标进一步包括：

用于对来自所述单个第一参考图像的所述参考特征与来自所述第二参考图像的对应特征进行三角测量的装置，其中所述三角测量进一步包括：

用于计算在所述单个第一参考图像及所述第二参考图像中所述平面目标覆盖的区域的装置；及

用于计算在所述单个第一参考图像及第二参考图像中所述平面目标的真实平面法线的装置。

39.根据权利要求31所述的设备，其中所述平面目标是以下各项中的一或多者：部分遮挡在所述单个第一参考图像中，具有任何平面形状或相对于重力处于任何方向上。

40.根据权利要求31所述的设备，其进一步包括：

用于在初始化所述平面目标后且在处理所述后续图像之前显示所述平面目标的扩增实境表示的装置；及

用于基于所述以6自由度追踪所述平面目标更新所述扩增实境表示的装置。