CN105009172A - 运动模糊感知视觉位姿跟踪 - Google Patents

Abstract

本发明提供可由电子装置实施使用以跨越两个或两个以上数字图像跟踪对象的各种方法、设备及/或制品。举例来说，电子装置可产生对应于参考图像的参考补丁的多个变形补丁，且组合两个或两个以上变形补丁以用应用于对应于待跟踪的对象的关键点的数字表示的运动模糊效应形成对应于所述参考补丁的模糊变形补丁。

Description

运动模糊感知视觉位姿跟踪

相关申请案

这是主张于2013年3月13日申请的第13/801,601号美国非临时专利申请案的优先权的PCT申请案，所述美国非临时专利申请案的全文以引入的方式并入本文中。

技术领域

本文中所揭示的标的物涉及电子装置，且更明确地说涉及由电子装置使用以跨越至少部分基于将运动模糊效应应用于参考数字图像的关键点的两个或两个以上数字图像来跟踪对象的方法、设备和制品。

背景技术

各种对象识别和跟踪技术已经产生且持续发展以支持计算机视觉。通过实例，某些技术已经产生以跨越不同数字图像(例如在不同时间所俘获的一连串数字图像、视频流等)提供对象的特征(例如关键点)检测和匹配。

计算机视觉的使用似乎为无限的。此种技术的一个早期使用包含用于生产机器人以识别制造工艺中所涉及的某些对象的计算机视觉的使用。在此类情况下，提供大量的处理功率和过多的传感器及/或相机以帮助处理极其静态的场景及/或至少为可预测的动态的场景可为可能的。

计算机视觉的一个显著的使用，到近期为止，是为便携式电子装置的用户“强化实境”的使用。在此，举例来说，便携式电子装置可使用计算机视觉技术以在周围环境内识别且跟踪某些对象，且在辨别其周围环境之后即刻可将额外信息叠加于所俘获的且显示给用户的实时视频上。因此，举例来说，移动电话的用户可强化某些对象，具体地例如企业、产品、服务、信息等。

不利的是，不同于极其受控的环境中的生产机器人的实例，便携式电子装置可具有有限的处理功率且发现在环境中自身有时可不同寻常地为动态的，例如走过繁忙的购物中心、机场航空站的用户等。

出于这些和其它原因，存在对于可应用于计算机视觉，并且尤其是以高效的方式在动态活跃的环境中识别且可能地跟踪对象的技术的持续需求。

发明内容

根据某些方面，可实施于电子装置中的方法可包括：识别如参考数字图像中所表示的对应于对象的至少一部分的参考补丁，所述参考补丁表示所述对象的至少一关键点以在多个数字图像内进行跟踪；通过将模型化位姿变化效应选择性地应用于所述关键点的数字表示产生对应于所述参考补丁的多个变形补丁；及组合多个变形补丁中的至少两者以用应用于数字表示关键点的运动模糊效应形成对应于所述参考补丁的模糊变形补丁。

根据某些其它方面，可提供设备以用于电子装置中。设备可包括：用于识别如参考数字图像中所表示的对应于对象的至少一部分的参考补丁的装置，所述参考补丁包括所述对象的至少一关键点以在多个数字图像内进行跟踪；用于通过将模型化位姿变化效应选择性地应用于所述关键点的数字表示产生对应于所述参考补丁的多个变形补丁的装置；及用于组合多个变形补丁中的至少两者以用应用于数字表示关键点的运动模糊效应形成对应于所述参考补丁的模糊变形补丁的装置。

仍根据其它方面，可提供包括存储器和处理单元的电子装置，所述处理单元用以：识别如参考数字图像中所表示的对应于对象的至少一部分的参考补丁，所述参考补丁包括所述对象的至少一关键点以在多个数字图像内进行跟踪；通过将模型化位姿变化效应选择性地应用于所述关键点的数字表示产生对应于所述参考补丁的多个变形补丁；及组合多个变形补丁中的至少两者以用应用于数字表示关键点的运动模糊效应形成对应于所述参考补丁的模糊变形补丁。

根据又一方面，可提供包括非暂时性计算机可读媒体的制品，所述非暂时性计算机可读媒体具有存储在其中的计算机可实施指令，所述计算机可实施指令可由电子装置中的处理单元执行以：识别如参考数字图像中所表示的对应于对象的至少一部分的参考补丁，所述参考补丁包括所述对象的至少一关键点以在多个数字图像内进行跟踪；通过将模型化位姿变化效应选择性地应用于所述关键点的数字表示产生对应于所述参考补丁的多个变形补丁；及组合多个变形补丁中的至少两者以用应用于数字表示关键点的运动模糊效应形成对应于所述参考补丁的模糊变形补丁。

附图说明

参考以下图式描述非限制性且非详尽性方面，其中除非另外指定，否则各图中相同的参考标号是指相同的部件。

图1为根据实例实施方式的说明包含至少一个电子装置以跨越至少部分基于将运动模糊效应应用于参考数字图像的关键点的两个或两个以上数字图像来跟踪对象的代表性电子装置的配置的示意框图。

图2包括根据实例实施方式的说明用于例示性单个数字图像样本、例示性数字图像和例示性多个数字图像样品(后者可经调适用于将运动模糊效应应用于参考数字图像的关键点)的曝光时间的三个时间线图。

图3包括根据实例实施方式的说明例示性前向映射技术和例示性反向映射技术(其中的一或多者可被调适用于将运动模糊效应应用于参考数字图像的关键点)的两个示意图。

图4为根据实例实施方式的说明可在电子装置内实施以支持运动模糊感知视觉位姿跟踪的例示性工作流程的示意框图。

图5为根据实例实施方式的说明可在电子装置内实施以将至少一运动模糊效应应用于参考数字图像的关键点的实例过程的流程图。

图6为根据实例实施方式的说明例示性电子装置的某些特征以将至少一运动模糊效应应用于参考数字图像的关键点的示意图。

具体实施方式

各种对象识别和跟踪技术已经产生且持续发展以支持计算机视觉。通过实例，某些技术已经产生以跨越两个或两个以上数字图像提供对象的特征(例如关键点)检测和匹配。

这些实例技术还可应用或以其它方式借助各种变形技术及/或类似技术以选择性地变换及/或以其它方式影响图像的全部或部分以对可影响如何在静态或动态场景的数字图像内呈现所跟踪的对象的某些变更(例如模型化位姿变更)做出解释。

通过实例，变形技术及/或类似技术可影响图像的全部或部分以对涉及用于俘获数字图像的相机的变更做出解释。举例来说，模型化位姿变化可涉及相机的视角、由相机所俘获的在图像比例中的变化、相机的视野中的变化、相机的定向中的变化、俘获的图像的曝光时间中的变化等。因此，变形技术及/或类似技术可影响图像的全部或部分以对涉及随时间推移通过相机的定位、操作等中的变化一或多个对象如何可呈现在特定数字图像内做出解释。

此外，某些变形技术及/或类似技术可影响图像的全部或部分以对涉及通过在动态场景内的变更一或多个对象如何可呈现在特定数字图像内的变更做出解释。因此，模型化位姿变化可涉及对象可体验的不同类型的运动(例如6自由度(6DOF)中之一或多者)。因此，举例来说，模型化位姿变化可涉及向上或向下的转换运动、向右或向左的转换运动、远离或朝向相机的转换运动、影响对象的间距的旋转运动、影响对象的偏航的旋转运动及/或影响对象的滚动的旋转运动。

应用于计算机视觉中的一些实时和离线技术假定数字图像未被相机的曝光时间影响，可能由于这些曝光时间相对于在场景内的对象的某些移动倾向于极短暂的；可能由于推测相机和场景在这些曝光时间期间为静态的；或可能由于计算限制。

但是，在某些情况下，确切地说关于便携式电子装置(例如移动电话)，相机相对于场景的位置对于曝光时间的持续来说并非为静态的，其可导致数字图像中的运动模糊。同样地，由于场景内一或多个对象的移动而在数字图像的曝光时间期间可将运动模糊引入到数字图像。如可预期的，呈现在所有或部分数字图像中的运动模糊的量可变化，且往往会随着曝光时间的增加而增加。因此，呈现在所有或部分数字图像中的运动模糊的量在给定充分地足够短暂的曝光时间的情况下可减少或甚至可能避免，例如相对于各种移动。然而，较短曝光时间不可用于选择，及/或甚至对于所要的结果来说可为不恰当的。取而代之，众所周知，曝光时间可基于与图像俘获单元(例如相机及/或相机镜头的性能及/或操作设定、支持电子装置等)、场景(例如灯光的量等)、某些所要的结果(例如基于用户输入等)，及/或其类似者或其某一组合有关的各种因素而选择。

根据某些方面，本文所提供可实施以考虑某些运动模糊且可能测量某些运动模糊的技术，所述运动模糊可引入到在一段时间内所俘获的一或多个数字图像(例如一连串图像、视频流等)中。

更确切地说且通过最初的实例，本文中提供可实施以估计用于针对待经由多个数字图像跟踪的对象的参考数字图像的至少一部分(例如实质上不模糊的参考补丁)的运动模糊效应的技术。在某些情况下，对应于特定参考补丁的模糊变形补丁可至少部分基于运动模糊效应产生。更确切地说，举例来说，运动模糊效应可有意地应用以模糊参考补丁中所识别的对象的关键点的数字表示。此外，在某些情况下，模型化位姿变化效应可应用以使关键点的数字表示变形。

因此，在某些情况下，可产生表示对应于待跟踪的对象的至少一个所识别的关键点的参考补丁的选择性的模糊和变形的版本的模糊变形补丁。因此，举例来说，跟踪器功能及/或类似功能可确定模糊变形补丁是否与数字图像的至少一部分令人满意地匹配。

根据某些实施方式，各种迭代性及/或自适应技术可用以在努力识别令人满意的匹配的过程中产生和检验各种候选的模糊变形补丁。根据某些实施方式，可应用技术以估计用于特定数字图像的至少一部分的运动模糊的量，例如至少部分基于识别令人满意地应用的运动模糊效应。此外，如可能了解的，可考虑了解运动模糊的此所估计的量以产生对应于随后的数字图像的候选的模糊变形补丁。

熟习此项技术者所属领域的技术人员应辨别这些模糊变形参考补丁的可用性可显著提高跟踪稳定性、质量及/或速度。举例来说，特定实施方式可根据运动模糊提供较准确且稳固的跟踪，其可减少处理时间和功率消耗。

熟习此项技术者所属领域的技术人员还应辨别本文所提供的所述技术可实施于各种电子装置中，包含(例如)可俘获和产生一连串数字图像的全部或部分的便携式电子装置、视频流等；实时地实施；及/或以其它方式实时地及/或离线处理这些内容的全部或部分。

根据某些实例实施方式，电子装置可识别如至少一个参考数字图像中所表示得对应于对象的至少一部分的至少一个参考补丁。在此，举例来说，此参考补丁可包括待跟踪对象的至少一个关键点，例如在一连串图像内、视频流等。举例来说，电子装置可至少部分基于应用于关键点的至少一个运动模糊效应产生对应于参考补丁的至少一个模糊变形补丁。举例来说，电子装置可确定模糊变形补丁是否与至少一个数字图像的至少一部分令人满意地匹配。

根据某些实例实施方式，电子装置可(例如)至少部分基于应用以使至少一个关键点的至少一个数字表示变形的至少一个模型化位姿变化效应产生对应于至少一个参考补丁的至少一个模糊变形补丁。

根据某些实例实施方式，电子装置可(例如)至少部分基于“反向映射”方法产生对应于至少一个参考补丁的至少一个模糊变形补丁。举例来说，在某些反向映射方法中，可得到在多个时间点表示给定关键点的多个数字图像样品，其中数字图像样品中关键点位置保持不变而参考图像中自其取样所述补丁的位置发生变化。

因此，举例来说，电子装置可通过组合多个数字图像样品产生运动模糊效应以产生模糊变形补丁。举例来说，在某些情况下，电子装置可使用像素平均化及/或其类似者(例如，如反向映射方法的的一部分)组合多个数字图像样品的相对应的部分。

根据某些实例实施方式，模糊变形补丁可基于单个数字图像样品，使得电子装置可确定关键点充分地不存在模糊，例如，回应于模糊变形补丁产生令人满意的匹配的确定。因此，在某些情况下，最初的模糊变形补丁可基于参考图像的单个数字样品以确定当前的数字图像是否可为足够地模糊以用一或多个额外模糊变形补丁持续，例如用一些所应用的模糊。

根据某些实例实施方式，电子装置可(例如)回应于模糊变形补丁未能产生令人满意的匹配的确定而至少部分基于应用于关键点的另一(不同)运动模糊效应选择性地产生对应于参考补丁的随后的模糊变形补丁。

根据某些实例实施方式，电子装置可(例如)识别如至少一个参考数字图像中所表示的对应于对象的至少另一部分的第二参考补丁。在此，举例来说，第二参考补丁可包括对象的第二关键点以在两个或两个以上数字图像中跟踪。此外，在某些实例实施方式中，回应于如所估计的用于对象的运动模糊效应满足精确性的阈值水平的确定，电子装置可至少部分基于应用于第二关键点的运动模糊效应产生对应于至少一个第二参考补丁的至少一个第二模糊变形补丁。

根据某些实例实施方式，电子装置可(例如)选择性地按比例调整以下各项中的一者或一者以上的的至少一部分：参考数字图像、数字图像样品及/或数字图像。

现在注意图1，根据实例实施方式，其为说明包含至少一个电子装置110的代表性电子装置的布置100以跨越至少部分基于将运动模糊效应应用于参考数字图像120中的对象122的至少一关键点126的数字表示的一连串图像129、视频流130等中的数字图像132来跟踪对象的示意框图。

如所说明，电子装置110可包括设备112以产生或辅助产生模糊变形补丁116，其可通过运动模糊感知视觉位姿跟踪器114考虑。在此实例中，模糊变形补丁116可对应于参考补丁128，其如对象122的数字表示的一部分在参考图像120内说明。如进一步所说明的，参考补丁128可包括至少一个关键点126，其如对象122的视觉特征的一部分在此说明。在此实例中的参考图像120包括对象122(在此实例中其意图表示实际空间中的三维对象122′，例如在场景102内)的二维投影。

，场景102可在某些情况下表示静态场景，其中对象122′保持静止，至少在曝光时间期间与俘获数字图像132相关联。因此，当静态场景不应在数字图像132中引入任何运动模糊时，此类运动模糊由于相机106在与俘获数字图像132相关联的曝光时间的至少一部分期间的运动仍可出现。在其它情况下，场景102可表示动态场景，其中对象122′在与俘获数字图像132相关联的曝光时间的至少一部分期间可以一些方式运动。因此，运动模糊可通过动态场景及/或通过相机106在与俘获数字图像132相关联的曝光时间的至少一部分期间的运动在数字图像132中引入。

，相机106说明为包括可准许数字图像132的选择性俘获的镜头108。在此实例中，电子装置110说明为经由连接件109连接到相机106。在此，连接件109意图表示所有或部分一或多个其它装置、连接件、网络及/或其类似者或其任何组合，经由连接件109电子装置110可至少部分通过相机106得到数字图像129及/或视频流130、已产生的数字图像1到9及/或视频流130。因此，举例来说，在某些情况下，连接件109可表示图像俘获单元(其可包含相机106且可处理、存储转发及/或另外以一些方式操控表示对应于所有或部分数字图像129及/或视频流130的数据及/或计算机可实施指令)。此外,应理解,连接件109可表示一或多个有线或光纤连接件及/或一或多个无线通信链路。

当如连接到电子装置110的相机106在图1中说明时，应牢记在某些其它实施方式中，电子装置110可包括相机106以及镜头108。此类电子装置的一些明确的实例包含各种便携式电子装置，例如蜂窝式电话、智能电话、平板计算机、膝上型计算机、可佩戴式计算机、数码相机等。因此，举例来说，连接件109可表示内部连接器及/或电子装置110内的各种电路。

在某些实例实施方式中，设备112可识别如参考图像120中所表示的对应于对象122的至少一部分的参考补丁128，且至少部分基于运动模糊效应(例如，至少应用于关键点126)产生对应于参考补丁128的模糊变形补丁116。如本文中所呈现，参考补丁128、模糊变形补丁116和数字图像132的部分134每一者可包括特定大小的像素的阵列。因此，此像素阵列可包括N x M像素阵列，其中N和M每一者可表示大于二的整数值，并且其中在某些情况下N可等于M。因此，通过非限制性实例，在某些实施方式中N＝8且M＝8。如通过数字图像132的部分134所说明，假定部分134明显地小于包括数字图像132的像素的二维阵列。

如先前所提及，在某些实例实施方式中，为了产生模糊变形补丁116，设备112还可应用模型化位姿变化效应以使至少关键点126的数字表示变形。

装置设备112及/或跟踪器114可随后确定模糊变形补丁116是否与数字图像132的至少一部分134令人满意地匹配。

在特定实例实施方式中，可识别对象122中的关键点126以使得对象的跟踪位姿(位置及定向)能够跨越数字图像。基于要点的方法可(例如)通过比较图像(覆盖或视觉上表示关键点的补丁)中的支持区域与关键点匹配。这些方法可允许通过匹配参考图像120之间的关键点的充足的数目和数字图像132发现对象的位姿。因此，实例跟踪器114可以关键点的任何数目的形式比较直到满足某一目标或阈值(例如一百次匹配)为止。在参考图像中匹配的关键点可接着用于表征相对于相机的对象的位姿。

在特定实施方式中，代替比较来自参考图像的清晰的(非模糊的)参考补丁相对于来自当前相机图像的模糊补丁，模糊变形补丁116可自相对应的参考补丁产生，例如通过应用一或多个运动模糊效应以使得模糊变形补丁可如数字图像132中所俘获的较好地在视觉上表示关键点。这些技术可(例如)致能改良的匹配减少的处理，由于较少关键点可需要处理直到数字图像中已经找到定向数目的匹配部分为止。

在特定实施方式中，具有极短曝光的所俘获的多个图像可用于粗略估计具有相对较长曝光时间的单个图像的成像处理(参见下文图2)。如先前所提及，这些样品的产生可明显地独立于待粗略估计的模糊；因此，可使用高效的方法(简单的双线性变形等)。因此，在某些实施方式中，模糊变形补丁116可至少部分使用像素平均化操作(例如经由参考图像中的关键点应用于瞬时的样品补丁)产生。这是因为，在某些实例实施方式中，每一样品可通过基于6DOF相机位姿信息仿射地变形产生，模糊变形补丁可经处理以正确地使包含变焦(其不可始终通过纯二维完整图像模糊操作处理，例如如某些数字静态照片增强应用程序中所提供的，等)的任意相机动作模型化。

因此，图2包括说明用于可为足够的短以充分地无模糊的例示性单个数字图像样品的曝光时间(时间线上的宽度)的第一时间曲线图200、说明用于可为足够的长以导致一些模糊的例示性数字图像的相对较长曝光时间的第二时间曲线图202和说明如时间曲线图202中的相对较长曝光时间如何可通过组合多个数字图像样品粗略估计的第三时间曲线图204。因此，在某些情况下，多个数字图像样品可经组合用于将运动模糊效应应用于参考数字图像的关键点。第三时间曲线图204包括五个数字图像样品时，应牢记在其它实例实施方式中，多个数字图像样品可包括两个或两个以上数字图像样品。

在某些实例实施方式中，用于俘获多个数字图像样品的总时间段(例如，如第三时间曲线图204中)可实质上等于用于数字图像的曝光时间的持续时间(例如，如第二时间曲线图202中)。

根据某些方面，用于产生模糊补丁的努力可直接涉及每个模糊变形补丁所需的大量样品。通过实例，大量样品可取决于预期的或经模型化的运动模糊的量。因此，对于相对少量的运动模糊来说，在某些情况下，仅几个样品可为必要的，实际上，在极少量(如果存在明显模糊)的情况下，仅单个样品可为必要的。样品的数目可取决于(例如)一个装置希望多么精确地粗略估计模糊内核。然而，牢记这一点，在某些情况下，当达成某一等级的精确性时限制所获取的样品的数目可为可能的。因此，举例来说，在某些实施方式中，一个装置可能够依赖于八个样品或八个样品以下，然而，所要求的标的物并不意图为如此有限的。

如先前所提及，模糊变形补丁116可通过使用各种映射及/或其它相同的已知变形/变换技术(例如如由图3中示意图300所表示的前向映射技术、如由图3中示意图302所表示的反向映射技术及/或其类似者或其某一组合)应用运动模糊效应及/或模型化位姿变化效应而产生。在某些实例实施方式中，如由示意图302所表示的反向映射技术可证明比如由示意图300所表示的前向映射技术更有效。

如所提及，在某些情况下，为了产生模糊变形补丁116，可组合多个数字图像样品(其中之每一者实质上可各自为非模糊的)。用反向映射，当参考图像中自其取样补丁的位置变化时，相机图像中的关键点位置可保持不变。在此，数字图像样品可具有均一大小((例如8x8个像素)，且可经组合以至少部分产生模糊变形补丁116，例如使用简单的每像素平均化操作及/或其类似者。

接下来注意图4，根据实例实施方式，其为说明可在电子装置内实施以支持运动模糊感知视觉位姿跟踪的例示性工作流400的示意框图，其中至少一运动模糊效应可应用于参考数字图像的关键点。在此实例中，用使用短划线说明的可能任选的处理动作说明可在电子装置110内实施的技术。

在某些情况下，例示性工作流可在动作402处开始，其中可产生对应于在参考图像内的参考补丁的模糊变形补丁，例如应用本文中所提供的技术以考虑运动模糊和变形。

在动作404处，跟踪器及/或其它相同的功能可确定模糊变形补丁是否与数字图像的一部分令人满意地匹配。作为动作404的一部分，可确定是否已经识别足够的匹配，例如以准许特定对象的所要的跟踪或相反地暂时放弃特定对象的跟踪。因此，如果确定不存在足够的匹配来满足特定的阈值或目标，那么工作流400可遵循通过箭头406所说明的迭代过程，例如使得可针对同一对象及/或可跟踪的可能不同对象产生另一模糊变形补丁。因而，动作402和404可继续直到确定已经识别足够的匹配且可结束工作流的时间为止。

在某些实施方式中，额外动作可包含于工作流400中，例如动作408，使用所述动作例如基于已识别模糊变形补丁与数字图像的部分之间的特定数目的匹配(经由动作402和404)来测量与数字图像的至少一部分相关联的运动模糊的量可为可能的。如先前所提及，通过测量运动模糊，随后例如通过选择有可能估计的运动模糊效应及/或模型化位姿变化效应更准确地提供模糊变形补丁可为可能的。举例来说，动作408可包含于自动作404起的循环中。

根据实施例，数字图像中的对象的模糊感知跟踪器可了解关于在给定相机帧内所操纵的模糊的量。影响关键点的运动模糊的量可为相机运动和曝光时间的乘积。可应用用于测量运动模糊的自适应方法，其中可应用不同运动模糊效应且可用几个模糊变形补丁测试不同运动模糊效应。基于最初的匹配分数/确定，设备112及/或跟踪器114可决定在当前帧内所采用的运动模糊影响及/或所测量的运动模糊的量。因此，动作402可接着使用此测量的运动模糊及/或其类似者以产生其余的补丁。由于最初的测试的数目与每帧匹配的总数目相比可能较少，因此这些测试对总处理时间可具有极小影响。

如所说明，在某些实施方式中，额外动作可包含于工作流400中，例如动作410，其中可影响与经处理的各种数字图像相关联的图像比例，例如应用比例的增大或减小。

因此，在某些实例实施方式中，工作流400可经调适与多尺度跟踪器一起使用。在此，举例来说，运动模糊效应及/或模型化位姿变化效应可以不同方式影响不同尺度等级。

因此，如图4中所示，工作流400可包括交互式能力，其中动作410以一些方式影响待考虑的图像比例且工作流400经由所说明的管线412返回到动作402。

牢记前述实例，根据实例实施方式，另一实例在图5中说明为可在电子装置内实施以将至少一运动模糊效应应用于参考数字图像的关键点的过程500的流程图。

在实例框502处，识别如参考数字图像中所表示的对应于对象的至少一部分的参考补丁。在此，举例来说，参考补丁可表示对象的至少一关键点以在数字图像、视频流等的序列内进行跟踪。在实例框504处，对应于参考补丁的多个变形补丁可通过将模型化位姿变化效应选择性地应用于关键点的数字表示产生。在实例框506处，多个变形补丁中的两者或两者以上可经组合以用至少应用于关键点的数字表示的运动模糊效应形成对应于参考补丁的模糊变形补丁。

在实例框510处，可作出关于模糊变形补丁是否与数字图像的一部分令人满意地匹配的确定。在某些实例实施方式中，在实例框510处，可测量运动模糊的量，例如至少部分基于运动模糊效应。在某些实例实施方式中，在过程500之前及/或作为过程500的一部分，可以一些方式影响参考数字图像、多个数字图像样品及/或一或多个数字图像中的一或多者的至少一部分的比例。

接下来注意图6，根据实例实施方式，其为说明例示性电子装置110的某些特征的示意图，其可呈例示性特殊计算平台600的形式以将至少一运动模糊效应应用于参考数字图像的关键点。

如所说明，特殊计算平台600可包括经由一或多个连接件606耦合到存储器604的一或多个处理单元602((例如，以根据本文中所提供的技术、设备112及/或跟踪器114等执行数据处理)。举例来说，处理单元602可在硬件或硬件与软件的组合中实施。处理单元602可表示可配置以执行数据计算程序或过程的至少一部分的一或多个电路。举例来说但非限制，处理单元可包含一个或多个处理器、控制器、微处理器、微控制器、专用集成电路、数字信号处理器、可编程逻辑装置、现场可编程门阵列或其类似者，或其任何组合。

存储器604可表示任何数据存储机制。举例来说，存储器604可包含主604-1存储器及/或辅助存储器604-2。主存储器604-1可包括(例如)随机存取存储器、只读存储器等。虽然在此实例中说明为与处理单元分开，但应理解，主存储器的全部或部分可在处理单元602或移动装置110内的其它相同电路内提供或以其它方式与处理单元602或移动装置110内的其它相同电路处于相同位置/耦合。举例来说，辅助存储器604-2可包括与主存储器及/或一或多个数据存储装置或系统相同或类似类型的存储器，例如磁盘驱动器、光盘驱动器、磁带驱动器、固体运动状态存储器驱动器等。

在某些实施方式中，辅助存储器可以操作方式接收非暂时性计算机可读媒体620或以其它方式可配置以耦合到非暂时性计算机可读媒体620中。存储器604及/或非暂时性计算机可读媒体620可包括供用于执行数据处理(例如,根据如本文中所提供的可应用的技术)的指令622。

举例而言举例来说，特殊计算平台600可进一步包括一或多个网络接口单元608。举例来说，网络接口单元608可包括一或多个有线及/或无线通信接口，在此由一或多个接收器610和一或多个发射器612表示。应理解，在某些实施方式中，通信接口608可包括一或多个收发器及/或其类似者。此外，应理解，尽管未展示，但通信接口608可包括一或多个天线及/或在给定通信接口功能/能力的情况下可为可适用的其它电路。

根据某些实例实施方式，网络接口单元608可(例如)经启用以用于与各种有线指示网络一起使用，所述有线通信网络例如为电话系统、局域网、广域网、个域网、内联网、因特网等。

根据某些实例实施方式，网络接口单元608可(例如)经启用以用于多种无线通信网络，例如无线广域网(WWAN)、无线局域网(WLAN)、无线个域网(WPAN)等。术语“网络”和“系统”在本文中可互换使用。WWAN可为码分多址(CDMA)网络、时分多址(TDMA)网络、频分多址(FDMA)网络、正交频分多址(OFDMA)网络、单载波频分多址(SC-FDMA)网络等。CDMA网络可实施一或多种无线电存取技术(RAT)，例如cdma2000、宽带-CDMA(W-CDMA)、时分同步码分多址(TD-SCDMA)，这里仅列举了几种无线电技术。在此，cdma2000可包含根据IS-95、IS-2000和IS-856标准实施的技术。TDMA网络可实施全球移动通信系统(GSM)、数字高级移动电话系统(D-AMBP能力)或一些其它RAT。GSM和W-CDMA描述于来自名为“第三代合作伙伴计划”(3GPP)的协会的文档中。cdma2000描述于来自名为“第三代合作伙伴计划2”(3GPP2)的协会的文档中。3GPP和3GPP2文档是可公开获得的。WLAN可包含IEEE 802.11x网络，且WPAN可包含(例如)蓝牙网络、IEEE 802.15x。无线通信网络可包含所谓的下一代技术(例如“4G”),例如长期演进(LTE)、高级LTE、WiMAX、超移动宽带(UMB)及/或其类似者。另外，通信接口608可进一步提供与一或多个其它装置的基于红外线的通信。WLAN可(例如)包括IEEE 802.11x网络，且WPAN可包括例如蓝牙网络、IEEE 802.15x。本文中所描述的无线通信实施方式还可与WWAN、WLAN或WPAN的任何组合结合使用。在另一方面中，无线发射装置可包括超微型小区，其用以将蜂窝式电话服务延伸到商业或家庭中。在此实施方式中，一或多个移动装置可经由(例如)CDMA蜂窝式通信协议与超微型小区通信，且超微型小区可通过另一宽带网络(例如因特网)将移动装置存取提供到较大的蜂窝式电信网络。

移动装置110可(例如)进一步包括一或多个输入/输出单元614。输入/输出单元614可表示可用于从一或多个其它装置和/或移动装置102的用户获得输入且/或将输出提供到一或多个其它装置和/或移动装置102的用户的一或多个装置或其它相同的机制。因此，举例来说，输入/输出单元614可包括可用于接收一或多个用户输入的各种按钮、开关、触摸垫、轨迹球、操纵杆、触摸屏、麦克风、相机和/或其类似者。在某些情况下，输入/输出单元614可包括可用于为用户产生视觉输出、可听输出和/或触感输出的各种装置。举例来说，输入/输出单元614可用于将请求呈现给用户且获得某些相对应的用户输入。因此，举例来说，本文中所提供的某些计算机视觉技术可允许待接收或显示等的涉及扩增实境、用户手势输入等的各种信息，且所述技术可至少部分基于对象识别和跟踪。

举例而言举例来说，移动装置110可包括一或多个传感器616。举例来说，传感器616可表示可用于检测环境和/或移动装置110的方面的一或多个惯性传感器、一或多个环境传感器等。因此，举例来说，传感器616可包括一或多个加速计、一个或一或多个陀螺仪或陀螺测试仪、一或多个磁力计和/或其类似者、一或多个气压计、一或多个温度计等。此外，在某些情况下，传感器616可包括一或多个输入装置，例如麦克风、相机、光传感器等。在某些情况下，基于传感器的定位能力可提供能够识别对应于自然环境内移动装置110的运动的当前估计的运动状态一些其它过程的识别及/或影响所述过程。传感器616可产生支持一或多个应用程序(例如，例如针对定位或导航操作的应用程序)可存储在存储器604中且由DPS(未显示)或处理单元602处理的模拟或数字信号。

在某些实施方式中，电子装置110可包括能够俘获及/或以其它方式获得数字图像132的图像俘获单元618。因此，举例来说，在某些情况下，图像俘获单元618可包括相机106、镜头108及/或连接件109的全部或部分。另外，图像俘获单元618可包括能够俘获与数字图像相关联的一或多个音频通道的一或多个麦克风。

本文中所描述的技术可根据特定特征和/或实例取决于应用而通过各种装置来实施。举例来说，这些方法可连同软件一起以硬件、固件和/或其组合实施。在硬件实施方式中，举例来说，处理单元可在一或多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、电子装置、经设计以执行本文中所描述的功能的其它装置单元，和/或其组合内实施。

在前述详细描述中，已阐述众多特定细节以提供对所要求的标的物的透彻理解。然而，所属领域的技术人员将理解可在没有这些具体细节的情况下实践所要求的标的物。在其它情况下，未详细描述所属领域的一般技术人员所已知的方法和设备以免混淆所要求的标的物。

在对特定设备或专用计算装置或平台的存储器内存储的二进制数字电子信号的操作的算法或符号表示方面已呈现前述详细描述的一些部分。在此特定说明书的上下文中，术语特定设备或其类似者包含通用计算机(一旦其经编程以依据来自程序软件的指令执行特定功能)。算法描述或符号表示是信号处理或有关技术的技术人员用来向所属领域的其它技术人员传达其工作的实质内容的技术的实例。在此算法一般被视为产生期望结果的操作或类似信号处理的自一致序列。在此上下文中，操作或处理涉及对物理量的物理操纵。通常但不一定，此类量可呈能够作为表示信息的电子信号而存储、传送、组合、比较或以其它方式操控的电或磁性信号的形式。已证实主要出于常见使用的原因而时常方便的是将这些信号称为位元、数据、值、元件、符号、字符、术语、编号、数字、信息或其类似者。然而，应理解，所有这些或类似术语应与适当的物理量相关联，并且仅为方便的标记。除非另外具体运动规定，否则如从以下论述显而易见，应了解，贯穿本说明书利用例如“处理”、“计算”、“推算”、“确定”、“产生”、“获得”、“修改”、“选择”和/或其类似者的术语的论述是指例如专用计算机或类似专用电子计算装置的特定设备的动作或过程。因此，在本说明书的上下文中，专用计算机或类似专用电子计算装置能够操控或变换信号，所述信号通常表示为专用计算机或类似专用电子计算装置的存储器、寄存器或其它信息存储装置、发射装置或显示装置内的物理电子或磁性量。在此特定专利申请案的上下文中，术语“特定设备”可包含通用计算机(一旦其经编程以依据来自程序软件的指令执行特定功能)。

如本文中所使用，术语“和”、“或”和“和/或”可包含多种含义，所述含义还预期至少部分取决于这些术语所使用的上下文。通常，“或”如果用于关联列表(例如A、B或C)则既定意味着A、B和C，此处是在包含性意义上使用，以及A、B或C，此处是在排他性意义上使用。另外，如本文中所使用的术语“一或多个”可用于以单数形式描述任何特征、结构或特性，或可用于描述多个特征、结构或特性或特征、结构或特性的某种其它组合。但应注意这仅仅为说明性实例，且所要求的标的物并不限于这个实例。

虽然已说明且描述目前视为实例特征的内容，但所属领域的技术人员将理解，在不脱离所要求的标的物的情况下可进行各种其它修改且可取代等效物。另外，可进行许多修改以在不脱离本文中所描述的中心概念的情况下根据所要求的标的物的教示来调适特定情形。

因此，希望所要求的标的物不限于所揭示的特定实例，而是此所要求的标的物还可包含属于所附权利要求书和其等效物的范围内的所有方面。

Claims (16)

1.一种方法，其包括使用电子装置进行以下操作：

识别如参考数字图像中所表示的对应于对象的至少一部分的参考补丁，所述参考补丁表示所述对象的至少一关键点以在多个数字图像内进行跟踪；

通过将模型化位姿变化效应选择性地应用于所述关键点的数字表示产生对应于所述参考补丁的多个变形补丁；及

组合所述多个变形补丁中的至少两者以用至少应用于所述关键点的所述数字表示的运动模糊效应形成对应于所述参考补丁的模糊变形补丁。

2.根据权利要求1所述的方法，且进一步包括使用所述电子装置进行以下操作：

确定所述模糊变形补丁是否与所述多个数字图像中的数字图像的至少一部分令人满意地匹配。

3.根据权利要求2所述的方法，且进一步包括使用所述电子装置进行以下操作：

自适应地确定表示要将多少所述多个变形补丁组合以形成与所述多个图像中的所述数字图像的至少所述部分令人满意地匹配的所述模糊变形补丁的值。

4.根据权利要求1所述的方法，其中产生所述模糊变形补丁进一步包括：

至少部分基于反向映射方法产生对应于所述参考补丁的所述模糊变形补丁。

5.一种设备，其供使用于电子装置中，所述设备包括：

用于识别如参考数字图像中所表示的对应于对象的至少一部分的参考补丁的装置，所述参考补丁表示所述对象的至少一关键点以在多个数字图像内进行跟踪；

用于通过将模型化位姿变化效应选择性地应用于所述关键点的数字表示产生对应于所述参考补丁的多个变形补丁的装置；及

用于组合所述多个变形补丁中的至少两者以用至少应用于所述关键点的所述数字表示的运动模糊效应形成对应于所述参考补丁的模糊变形补丁的装置。

6.根据权利要求5所述的设备，且进一步包括：

用于确定所述模糊变形补丁是否与所述多个数字图像中的数字图像的至少一部分令人满意地匹配的装置。

7.根据权利要求6所述的设备，且进一步包括：

用于自适应地确定表示要将多少所述多个变形补丁组合以形成与所述数字图像的至少所述部分令人满意地匹配的所述模糊变形补丁的装置的值。

8.根据权利要求5所述的设备，且进一步包括：

用于至少部分基于反向映射方法产生对应于所述参考补丁的所述模糊变形补丁的装置。

9.一种电子装置，其包括：

存储器；及

处理单元，其用以：

识别如参考数字图像中所表示的对应于对象的至少一部分的参考补丁，所述参考补丁表示所述对象的至少一关键点以在多个数字图像内进行跟踪；

通过将模型化位姿变化效应选择性地应用于所述关键点的数字表示产生对应于所述参考补丁的多个变形补丁；及

组合所述多个变形补丁中的至少两者以用至少应用于所述关键点的所述数字表示的运动模糊效应形成对应于所述参考补丁的模糊变形补丁。

10.根据权利要求9所述的电子装置，所述处理单元进一步用以：

确定所述模糊变形补丁是否与所述多个数字图像中的数字图像的至少一部分令人满意地匹配。

11.根据权利要求10所述的电子装置，所述处理单元进一步用以：

自适应地确定表示要将多少所述多个变形补丁组合以形成与所述数字图像的至少所述部分令人满意地匹配的所述模糊变形补丁的值。

12.根据权利要求11所述的电子装置，所述处理单元进一步用以：

至少部分基于反向映射方法产生对应于所述参考补丁的所述模糊变形补丁。

13.一种物品，其包括：

非暂时性计算机可读媒体，其具有存储在其中的计算机可实施指令，所述计算机可实施指令可由电子装置中的处理单元执行以：

识别如参考数字图像中所表示的对应于对象的至少一部分的参考补丁，所述参考补丁表示所述对象的至少一关键点以在多个数字图像内进行跟踪；

通过将模型化位姿变化效应选择性地应用于所述关键点的数字表示产生对应于所述参考补丁的多个变形补丁；及

组合所述多个变形补丁中的至少两者以用至少应用于所述关键点的所述数字表示的运动模糊效应形成对应于所述参考补丁的模糊变形补丁。

14.根据权利要求13所述的物品，所述计算机可实施指令可由所述处理单元进一步执行以：

确定所述模糊变形补丁是否与所述多个数字图像中的数字图像的至少一部分令人满意地匹配。

15.根据权利要求14所述的物品，所述计算机可实施指令可由所述处理单元进一步执行以：

自适应地确定表示要将多少所述多个变形补丁组合以形成与所述数字图像的至少所述部分令人满意地匹配的所述模糊变形补丁的值。

16.根据权利要求13所述的物品，所述计算机可实施指令可由所述处理单元进一步执行以：

至少部分基于反向映射方法产生对应于所述参考补丁的所述模糊变形补丁。