CN106688013B - 姿态估算的系统和方法 - Google Patents

姿态估算的系统和方法 Download PDF

Info

Publication number
CN106688013B
CN106688013B CN201580048693.4A CN201580048693A CN106688013B CN 106688013 B CN106688013 B CN 106688013B CN 201580048693 A CN201580048693 A CN 201580048693A CN 106688013 B CN106688013 B CN 106688013B
Authority
CN
China
Prior art keywords
image frame
image
frame
camera pose
keyframe
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580048693.4A
Other languages
English (en)
Other versions
CN106688013A (zh
Inventor
林昆翰
塞拉姆·孙达雷桑
迈克尔·阿迪布·萨尔基斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN106688013A publication Critical patent/CN106688013A/zh
Application granted granted Critical
Publication of CN106688013B publication Critical patent/CN106688013B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/221—Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

一种方法包含从图像捕获装置接收图像帧序列的第一图像帧。所述方法还包含在处理器处通过比较所述第一图像帧和第二图像帧来估算对应于所述第一图像帧的摄像头姿态。所述第二图像帧在所述图像帧序列中在所述第一图像帧之前。所述方法另外包含在所述处理器处通过比较所述第一图像帧和关键帧来估算对应于所述第一图像帧的优化摄像头姿态。所述关键帧对应于在所述图像帧序列中在所述第二图像帧之前的特定图像帧。

Description

姿态估算的系统和方法
相关申请的交叉引用
本申请主张在2014年9月19日提交的共同拥有的第14/491,857号美国非临时专利申请的优先权，所述申请的内容以全文引用的方式明确地并入本文中。
技术领域
本公开大体上涉及姿态估算的系统和方法。
背景技术
技术的进步已经带来更小且更强大的计算装置。例如，当前存在各种便携式个人计算装置，包含无线电话，例如移动和智能电话、平板计算机和膝上型计算机，其体积小、重量轻且便于用户携带。这些装置可经由无线网络传达语音和数据包。另外，许多此些装置并入有另外的功能，例如数字静态相机、数字摄像机、数字记录器和音频文件播放器。并且，此些装置可处理可执行指令，其包含软件应用，例如可用以接入因特网的网络浏览器应用。由此，这些装置可包含相当大的计算能力。
无线电话和类似装置可用于捕获图像。此些图像可用于生成物体的三维(3D)模型。一般来说，用于生成3D模型的装置并不实时或准实时运行。而是图像帧序列被捕获(例如，通过摄像头)，并且所述图像帧序列随后被处理为一组(例如，在处理系统，例如计算机)以生成所述3D模型。如果所述图像帧序列不足以或不适合生成完整的3D模型，则此些不足或不适合可能不被注意直到处理以生成所述3D模型之后。在此情况下，可能生成不完整或不精确的3D模型。为生成更完整或更精确的3D模型，用户可能必须捕获所述物体的新图像序列且处理所述新图像序列。
发明内容
公开了能够基于所捕获的图像帧序列实时或准实时生成3D点云和/或3D模型的系统和方法。所述图像帧序列可由图像捕获装置(例如，移动电话的摄像头)捕获。所述图像捕获装置的用户(例如，操作者)可围绕物体移动所述图像捕获装置以捕获所述物体的所述图像帧序列。
所述3D点云和/或所述3D模型可在电子装置(例如，包含所述摄像头的移动电话)通过利用平行处理线程以处理图像帧序列来生成。例如，第一处理线程和第二处理线程可并行处理以使得能够实时或准实时处理所述图像帧。例如，所述第一处理线程可从帧到帧执行摄像头姿态估算，以及所述第二处理线程可从帧到关键帧执行摄像头姿态估算。
在具体实施例中，所述第一处理线程和所述第二处理线程可以以不同分辨率处理图像。例如，所述第一处理线程可处理低分辨率(例如，四等分-四等分视频图形阵列(QQVGA)分辨率)图像帧以估算一或多个图像帧的摄像头姿态。所述第二处理线程可处理更高分辨率(例如，四等分视频图形阵列(QVGA)分辨率)图像帧和参考图像帧(即，关键帧)以优化特定图像帧的所述摄像头姿态。例如，所述摄像头姿态可通过比较QVGA图像帧和特定关键帧以确定当所述QVGA图像帧被下采样到QQVGA分辨率时可能丢失的另外的信息来优化。所述特定关键帧可为多个关键帧中的一者，并且所述多个关键帧中的每者可充当在相对于所述物体的对应位置的参考图像帧。在所述图像帧序列被捕获时，生成一或多个另外的关键帧以优化摄像头姿态估值以生成所述3D点云和/或3D模型。所述另外的关键帧可充当与在相对于所述物体的不同位置的所述图像帧序列进行比较的另外的参考图像帧。
在具体实施例中，方法包含从图像捕获装置(例如，摄像头)接收图像帧序列的第一图像帧。所述方法也包含在处理器通过比较所述第一图像帧和第二图像帧来估算对应于所述第一图像帧的摄像头姿态，其中，所述第二图像帧在所述图像帧序列中在所述第一图像帧之前。所述方法另外包含在所述处理器通过比较所述第一图像帧和关键帧来估算对应于所述第一图像帧的优化摄像头姿态，其中，所述关键帧对应于在所述图像帧序列中在所述第二图像帧之前的特定图像帧。
在另一具体实施例中，设备包含存储器和处理器。所述处理器被配置成从图像捕获装置接收图像帧序列的第一图像帧。所述处理器还被配置成通过比较所述第一图像帧和第二图像帧来估算对应于所述第一图像帧的摄像头姿态，其中，所述第二图像帧在所述图像帧序列中在所述第一图像帧之前。所述处理器另外被配置成通过比较所述第一图像帧和关键帧来估算对应于所述第一图像帧的优化摄像头姿态，其中，所述关键帧对应于在所述图像帧序列中在所述第二图像帧之前的特定图像帧。
在另一具体实施例中，计算机可读存储装置包含指令，在由处理器执行时，所述指令致使所述处理器从图像捕获装置接收图像帧序列的第一图像帧。所述指令还致使所述处理器通过比较所述第一图像帧和第二图像帧来估算对应于所述第一图像帧的摄像头姿态，其中，所述第二图像帧在所述图像帧序列中在所述第一图像帧之前。所述指令另外致使所述处理器通过比较所述第一图像帧和关键帧来估算对应于所述第一图像帧的优化摄像头姿态，其中，所述关键帧对应于在所述图像帧序列中在所述第二图像帧之前的特定图像帧。
在又一特定实施例中，设备包含用于从图像捕获装置接收图像帧序列的第一图像帧的装置。所述设备也包含用于基于所述第一图像帧和第二图像帧的第一比较来估算对应于所述第一图像帧的摄像头姿态的装置，其中，所述第二图像帧在所述图像帧序列中在所述第一图像帧之前。所述设备另外包含用于基于所述第一图像帧和关键帧的第二比较来估算对应于所述第一图像帧的优化摄像头姿态的装置，其中，所述关键帧对应于在所述图像帧序列中在所述第二图像帧之前的特定图像帧。
所公开的实施例中的至少一者所提供的一个特定优点在于基于在图像帧序列中的相邻图像帧之间的比较的摄像头姿态的估算，并且基于在特定图像帧和关键帧之间的比较的优化摄像头姿态的估算可使用单独处理线程同时(例如并行)执行。摄像头姿态估算和摄像头姿态优化的平行处理能够实时或准实时处理所述图像帧序列以生成3D点云或3D模型。所公开的实施例中的至少一者所提供的另一特定优点在于根据物体的图像帧的所述捕获实时或准实时生成所述物体的3D点云的能力。
在审核整个申请之后，将明白本公开的其它方面、优点和特征，所述申请包含以下部分：附图说明、具体实施方式和权利要求书。
附图说明
图1为基于图像帧序列以生成点云数据的系统的特定说明性实施例的框图；
图2为生成点云数据的所述系统的另一特定说明性实施例的框图；
图3为由图像捕获装置捕获的场景的透视图，所述场景包含准实时生成的点云数据的时间流逝描绘的图示；
图4为示出基于所述图像帧序列生成摄像头姿态或新关键帧的简图；
图5为包含使用另外的图像帧以生成新关键帧的图4的所述简图的后续视图；
图6为包含使用另外的图像帧以生成新关键帧的图4和5的所述简图的后续视图；
图7为示出确定在所述图像帧序列的两个图像帧之间的像素强度误差和/或深度误差的简图；
图8为生成新关键帧的方法的特定说明性实施例的流程图；
图9为估算在图像帧序列中的图像帧的摄像头姿态的方法的特定说明性实施例的流程图；
图10为基于成本函数估算特定图像帧的摄像头姿态的方法的特定说明性实施例的流程图；
图11为估算摄像头姿态和估算优化摄像头姿态的方法的特定说明性实施例的流程图；以及
图12为包含处理器的计算装置的框图，其中，所述处理器被配置成基于图像帧序列执行摄像头姿态估算。
具体实施方式
参考图1，该图示出了系统100的特定说明性实施例。所述系统100包含通信地耦合至处理器106和存储器112的摄像头102。在说明性实施例中，所述摄像头102、所述处理器106和所述存储器112可被集成到计算或电子装置，例如移动电话、平板计算机、个人计算机、媒体播放器装置等中。
在具体实施例中，所述系统100被配置成在图像捕获装置(例如，所述摄像头102)围绕物体移动的图像捕获处理期间生成点云数据116(例如，3D点云或3D模型)。所述摄像头102(或另一图像捕获装置)可被配置成捕获图像帧序列104。所述摄像头102可围绕所述物体移动(例如，通过可围绕所述物体步行的用户)，同时摄像头102捕获所述图像帧序列104。在所示的实施例中，所述图像帧序列104包含五个图像帧；然而，所述图像帧序列104可包含多于五个图像帧或少于五个图像帧。每一图像帧包含多个像素，并且每一像素对应于一组像素值，例如深度值、光度值(例如，红绿蓝(RGB)值、强度值、色度值、饱和度值等)或它们的组合。
所述摄像头102可向所述处理器106的比较器108提供所述图像帧序列104。在具体实施例中，所述处理器106可为单核处理器。在另一实施例中，所述处理器106可包含多个处理核，并且所述比较器108可对应于所述多个处理核的至少一个核(例如，被其执行)。在另一具体实施例中，所述处理器106可包含并行运行的多个处理器，其中，所述多个处理器的每一处理器包含对应的比较器，例如所述比较器108。在说明性实施例中，在所述图像帧序列104中的每一图像帧可以以源分辨率(例如，高分辨率，例如高清(HD))被捕获。
尽管未示出，所述图像帧序列104的一或多个图像帧可通过所述处理器106缓存(例如，存储)。例如，所述处理器106可以以源分辨率(例如，高分辨率，例如高清(HD))接收所述图像帧序列104的特定图像帧并且可在存储器，例如耦合至或包含于所述处理器106中的随机存取存储器(RAM)以所述源分辨率存储所述图像帧。另外地或可替代地，所述处理器106可被配置成下采样所述图像帧序列104的一或多个图像帧或调整其大小。例如，所述处理器106可生成所述特定图像帧的一或多个降低分辨率图像帧(相比于所述源分辨率)。举例而言，当所述源分辨率为所述高分辨率(例如，HD分辨率)时，所述处理器106可生成所述特定图像帧的中等分辨率(例如，四等分视频图形阵列(QVGA)分辨率)图像帧和/或低分辨率(例如，四等分-四等分视频图形阵列(QQVGA)分辨率)图像帧。在一些实施方案中，所述处理器106可以以各种(例如，不同)分辨率接收所述特定图像帧。所述处理器106可被配置成在包含于所述处理器106中或耦合至所述处理器106的所述存储器(例如，所述RAM)存储(例如，缓存)所述特定图像帧的所述一或多个降低分辨率的图像帧。在所述处理器106缓存或通过所述处理器106缓存的处于各种分辨率的所述图像帧可由所述处理器106的一或多个组件，例如所述比较器108和/或所述关键帧生成器110访问。所述特定图像帧的一或多个降低分辨率版本可响应于所述处理器106接收所述特定图像帧而生成，或可在所述处理器106的组件需要(例如，请求)所述特定图像帧的所述一或多个降低分辨率版本时根据需要而生成。
所述比较器108可使用所述处理器106的一或多个硬件装置(例如，逻辑电路)、可由所述处理器106执行的软件指令(例如，程序代码)或它们的组合来实现。在具体实施例中，所述比较器108被配置成执行所述图像帧序列104中的图像帧相对于彼此和/或相对于存储于所述存储器112中的一或多个关键帧114的逐像素比较。在具体实施例中，所述比较器108执行所述逐像素比较以确定重叠比109，如下文中另外描述。所述逐像素比较可包含所述第一图像帧121的像素值(例如，深度值、光度值(例如、红绿蓝(RGB)值)或它们的组合)和所述第二图像帧122或所述关键帧114的像素值之间的比较。
所述重叠比109可为所述图像帧序列104的两个或两个以上图像帧的类似性的数值表示。例如，所述数值表示可为“类似”像素数除以总像素数。当所述像素精确匹配(例如，对于特定像素值具有相同数值)时或当所述像素大体上匹配(例如，第一像素的所述数值在第二像素的对应数值的差值阈值内)时，两个或两个以上图像帧的像素可被确定为类似的。在替代实施例中，所述重叠比109可为所述图像帧序列104的两个或两个以上图像帧之间的差异性的数值表示。例如，所述重叠比109可为“不类似”的像素(例如，不是如上所述类似的像素)数除以所述总像素数。在具体实施例中，确定所述重叠比109包含基于逐像素比较确定图像帧和关键帧之间的多个差值并确定满足差值阈值(其可对应于所述重叠比阈值131)的所述多个差值数，其中，所述重叠比109基于所述数量除以所述图像帧的总像素数。
所述关键帧生成器110可基于所述图像帧序列104的初始捕获帧(例如，第一图像帧121)来生成新关键帧111。例如，当没有与所述图像帧序列104相关联的关键帧114被存储到所述存储器112时，则所述第一图像帧121(或其版本)可默认用作新关键帧111。特定生成的关键帧可被存储为所述关键帧114中的一者，并且可具有与所捕获图像帧相同的分辨率或可具有与所述捕获图像帧不同的分辨率(例如，基于所述第一图像帧121生成的所述关键帧111可具有与所述第一图像帧121不同的分辨率)。例如，在使用比在源分辨率(例如，第一图像帧121的初始分辨率)的所述第一图像帧121更低的存储器或处理占用面积时，所述特定关键帧可为保持所述第一图像帧121的至少一些细节的中等分辨率(例如，四等分视频图形阵列(QVGA)分辨率)图像帧。在具体实施例中，所述处理器106(例如，所述关键帧生成器110)可被配置成下采样所述第一图像帧121或调整其大小以生成所述新关键帧111。
另外地或可替代地，所述关键帧生成器110可基于所述一或多个关键帧114的特定关键帧和所述图像帧序列104的所捕获图像(例如，所述第二图像122)生成所述新关键帧11。举例而言，所述一或多个关键帧114中的每者可用于充当所述图像帧序列104的一或多个图像帧的参考图像帧(例如，以如下所述优化摄像头姿态估算)。例如，所述比较器108可用于比较所述一或多个关键帧114的特定关键帧(即基于所述第一图像帧121)和第二图像帧122以优化与所述第二图像帧122相关联的摄像头姿态。在接收到所述图像帧序列104的另外的图像帧时，所述比较器108可执行每一所接收的图像帧或其降低分辨率版本与在所述存储器112中的所述一或多个关键帧114的先前存储的关键帧的逐像素比较。在具体实施例中，所述逐像素比较确定类似于所述特定关键帧的对应像素的所述第二图像帧122的像素。所述比较器108可基于所述类似像素数来计算所述重叠比109。例如，所述比较器108可基于在所述第二图像帧122和所述特定关键帧之间的所述类似像素数除以所述第二图像帧122中的总像素数来生成所述重叠比109。在替代实施例中，所述重叠比109可为在所述第一图像帧121和所述第二图像帧122之间的不类似像素数除以总像素数的数值表示。所述第二图像帧122也可被改动(例如，如参考图6所述被扭曲或变形)以对齐所述第一图像帧121以计算所述重叠比109。
所述关键帧生成器110可以被配置成比较所述重叠比109和重叠比阈值131。所述重叠比阈值131可按照百分比、像素数或以一些其它方式来表示。例如，当所述重叠比109被表示为百分比时，所述重叠比阈值131可为百分比。在具体实施例中，所述重叠比109为总像素数的类似像素的百分比，以及所述重叠比阈值131为图像帧被视为大体上类似于(例如，90％类似性)关键帧的百分比或在其之上的百分比。所述重叠比阈值131的值可被调节(例如，由用户)以提高或降低确定图像帧是否大体上类似的灵敏度。在具体实施例中，当所述重叠比109大于或等于所述重叠比阈值131时，所述重叠比109可满足所述重叠比阈值131。当所述重叠比109大于或等于所述重叠比阈值131时，所述图像帧和所述关键帧是大体上类似的，并且所述关键帧生成器110并不生成用于存储在所述存储器112中的所述新关键帧111(例如，另一关键帧)。在另一具体实施例中，当所述重叠比109小于或等于所述重叠比阈值131时，所述重叠比109可满足所述重叠比阈值131。当所述重叠比109小于或等于所述重叠比阈值131时，所述图像帧和所述关键帧并不是大体上类似的，并且所述关键帧生成器110生成用于存储在所述存储器112中的新关键帧111(例如，另一关键帧)。生成所述新关键帧111可包含形成所述图像帧序列104的源帧的副本。在具体实施例中，所述副本具有相对于所述源帧(例如，HD分辨率)的降低分辨率(例如，QVGA分辨率)。
在具体实施例中，当所述重叠比109与所述重叠比阈值131的所述比较指示所述图像帧和所述关键帧大体上不类似时，确定在所述摄像头102的第一位置和第二位置之间出现相当大的变化，例如所述摄像头102在捕获所述第一图像帧121期间的第一位置和所述摄像头102在捕获所述第二图像帧122期间的第二位置。因此，基于在所述重叠比109和所述重叠比阈值131之间的所述比较，所述第一图像帧121和所述第二图像帧122可被确定为具有不同图像数据的大体上不同的图像帧。当所述第一图像帧121和所述第二图像帧122被确定为大体上不同的图像帧时，所述关键帧生成器110可基于所述第二图像帧122生成新关键帧111。另一选择为，当所述重叠比109和所述重叠比阈值131的所述比较指示所述图像帧和所述关键帧大体上类似时，没有新关键帧111基于所述第二图像帧122而生成，因为所述关键帧114和所述第二图像帧122包含大体上相同的图像数据。当所述关键帧114和所述第二图像帧122大体上类似时，不需要生成新关键帧111。通过减小所生成的和可供用于比较的新关键帧的数量，所述图像帧序列104可以以更高效的方式进行处理。
一般来说，并不是所述图像帧序列104的每个图像帧基于所述重叠比阈值131而被确定类似于所述关键帧。当特定图像帧，例如第四图像帧123被捕获并被提供给所述比较器108时，所述摄像头102可处在当与对应于所述一或多个关键帧114的特定关键帧(例如，基于所述第一图像帧121的所述特定关键帧)的图像帧被捕获时大体上不同的位置。因此，对应于在所述特定关键帧和所述第四图像帧123之间的比较的所述重叠比109可被确定，并可与所述重叠比阈值131比较以指示所述第四图像帧123和所述特定关键帧是否类似。因此，当基于所述比较确定所述第四图像帧123和所述特定关键帧不类似时，基于所述第四图像帧123的新关键帧111可被生成并被存储在所述存储器112中。当基于所述第四图像帧123生成所述新关键帧111时，在所述图像帧序列104的所述第四图像帧123之后的所接收到的图像帧可被所述比较器108用于执行此些图像帧(或此些图像帧的降低分辨率版本)与基于所述第四图像帧123生成的所述新关键帧111的另外逐像素比较。因此，在图像帧序列104中的初始所接收的图像帧被指定为关键帧并存储在所述存储器112中之后，由所述比较器108执行的比较相对于在所述存储器112中的“最近生成”关键帧来执行(例如，基于所述关键帧114的时间戳的最后生成的关键帧)。另一选择为，比较可由所述比较器108相对于在所述存储器112中的一组先前生成的关键帧来执行。例如，所述存储器112可存储在处理所述图像帧序列104期间先前生成的一或多个关键帧。在一些实施例中，所述先前关键帧中的一者可被选择用在由所述比较器108执行的所述比较中，如参考图2另外描述。
在具体实施例中，所述新关键帧111以相对于所述图像帧序列104的图像帧的降低分辨率生成。降低分辨率图像帧可经由下采样、调整大小和/或其它操作从图像帧生成。例如，如果所述第二图像帧122为HD图像帧，则所述新关键帧111可为中等分辨率图像帧(例如，QVGA分辨率，例如320x240像素)。所述关键帧生成器110可向所述存储器112发送新生成关键帧，例如所述新关键帧111。在具体实施例中，所述存储器112可包含随机存取存储器(RAM)、只读存储器(ROM)、盘式存储器、固态存储器或其任何组合。在图1所示的所述实施例中，所述新关键帧111可被存储为所述存储器112内的所述一或多个关键帧114中的一者。与所述图像帧序列104相关联的一或多个关键帧114可在操作所述摄像头102期间被存储在所述存储器112中。在具体实施例中，所述多个关键帧114的数量少于在所述图像帧序列104中的图像帧的总数。所述多个关键帧114可提供多个参考图像帧以从围绕所述场景的不同相对位置优化摄像头姿态。在具体实施例中，在所述存储器112中的所述关键帧114中的每者可供选择并作为参考图像帧用在所述比较器108的比较中。例如，在一些实施方案中，所述存储器112可包含多个关键帧114，并且所存储的多个关键帧114的最类似关键帧可被选择以用在与所述图像帧序列104的特定图像帧的比较中，如在本文中另外参考图2所述。另外地或可替代地，存储在所述存储器112中并对应于所述组的图像帧序列104的所述一或多个关键帧114可包含基于所述图像序列104所生成的每一关键帧，或可包含少于与所述图像帧序列104相关联的所有所述关键帧114的关键帧114。例如，所述一或多个关键帧114可包含特定数量的关键帧，例如最近生成的关键帧的数量，使得所述一或多个关键帧114并不产生大的存储器占用面积。
在生成新关键帧111时并且在从所述摄像头102接收到另外的图像帧时，所述处理器106可生成点云数据116。在具体实施例中，所述点云数据116包含关于在3D空间中的点(例如，坐标)的数据，例如坐标集合(例如，x、y及z坐标或其它坐标)或表示特定形状的方程式。所述点云数据116的生成参考图3另外描述。在说明性实施例中，所述点云数据116可基于包含于所述图像帧序列104中的一或多个图像帧、存储在所述存储器112中的一或多个关键帧、由本文参考图2所述的所述处理器106计算的摄像头姿态信息或其任何组合中的数据而生成。例如，所述点云数据116可相对于所述图像帧序列104的捕获实时或准实时生成，并且，在说明性实施例中，所述点云数据116可在生成由所述摄像头102捕获的一或多个物体的三维(3D)模型期间使用，如本文另外描述。在具体实施例中，所述3D模型基于插入所述点云数据116而生成，例如使用所述坐标来识别在3D空间中的为所述3D模型的一部分的点。
在操作期间，所述处理器106可从所述摄像头102接收所述图像帧序列104的所述第一图像帧121。所述处理器106可基于所述第一图像帧121生成第一关键帧(例如，所述一或多个关键帧114的所述第一关键帧)，因为所述第一图像帧121为所述图像帧序列104的所述第一(例如，初始)图像帧，并因此没有与所述图像帧序列104相关联的关键帧被存储在所述存储器112中。生成所述第一关键帧可包含下采样所述第一图像帧121以生成所述第一图像帧121的比所述第一图像帧121被捕获时的分辨率更低的分辨率版本(例如，QVGA)。
在接收所述第一图像帧121之后，所述处理器106可从所述摄像头102接收所述第二图像帧122。所述处理器106可确定在所述第二图像帧122和所述第一关键帧之间的所述重叠比109。所述重叠比109可基于所述第二图像帧122的像素值(例如，颜色值、强度值或其任何组合)和所述关键帧114的对应像素值的逐像素比较。在一些实施方案中，用于确定所述重叠比109的所述第二图像帧122的特定分辨率可与所述第一关键帧的分辨率相同(例如，两者均为QVGA)。在其它实施方案中，用于确定所述重叠比109的所述第二图像帧122的所述特定分辨率可与所述第一关键帧的所述分辨率不同，并且所述第二图像帧122和/或所述第一关键帧的一或多个像素值可被内插以执行逐像素比较以生成所述重叠比109。
所述重叠比109可与所述重叠比阈值131比较，并且基于所述第二图像帧122并不大体类似于所述关键帧114的确定，所述第二图像帧122可用于生成用于存储在所述存储器112中的新关键帧111。另一选择为，当基于所述比较确定所述第二图像帧122大体上类似于所述关键帧114时，所述第二图像帧122可能不被用于生成新关键帧111。基于所述第二图像帧122生成所述新关键帧111可包含下采样所述第二图像帧122以生成所述第二图像帧122的较低分辨率(例如，QVGA)版本，或使用所述第二图像帧122的先前下采样版本。
在图1中的所述系统100可用于选择性生成关键帧，使得所述生成的关键帧的数量小于所述图像帧序列104的所述图像帧数量。此外，识别所述关键帧的所述图像帧的处理可以以与所述图像帧序列104的所接收的图像的特定分辨率相比降低的分辨率来执行。通过使用较低分辨率以生成所述关键帧114，所述点云数据116的所述生成和其它处理运算可相对于所述图像帧序列104被捕获的速度实时或准实时执行。因此，图1的所述系统可用于相对于捕获所述图像帧序列104的速率实时或准实时生成点云数据和/或3D模型。
参考图2，其示出了可操作以选择性生成关键帧的系统200的另一具体实施例。所述系统200包含摄像头202、处理器206和存储器212。所述处理器206包含图像帧缓存器207、一或多个摄像头姿态估算器208、一或多个比较器220和关键帧生成器210。所述图像帧缓存器207可对应于被配置成用于从所述摄像头202接收图像帧序列204的超高速缓存器和/或盘式存储器。来自所述图像帧缓存器207的图像帧可被提供给所述一或多个摄像头姿态估算器208，使得多个帧(例如，第一图像帧221和第二图像帧222)可被同时提供给所述一或多个摄像头姿态估算器208。
所述一或多个摄像头姿态估算器208可生成用于所述图像帧序列204中的一或多个图像帧和/或由所述关键帧生成器210生成的一或多个关键帧的摄像头姿态信息。在一些实施例中，所述关键帧生成器210可对应于图1的所述关键帧生成器110。摄像头姿态估算可为在捕获特定图像帧期间所述摄像头202的相对位置(例如，与相对于初始位置，例如“原点”坐标位置的位置差值相关联的坐标)和取向(例如，与相对于初始角度，例如“原点”角度的差值相关联的角度)的逼近。在具体实施例中，一或多个摄像头姿态与定位数据，例如使所述特定图像帧与特定位置(例如，地理标记)相关联的全球定位卫星(GPS)数据无关地进行估算。结合特定图像帧的所述像素值的所述摄像头姿态估算可用于生成点云数据216。所述点云数据216可对应于图1的所述点云数据116。在说明性实施例中，所述一或多个摄像头姿态估算器208基于多个图像帧(例如，所述第一图像帧221和所述第二图像帧222)之间的比较来估算特定图像帧的摄像头姿态。例如，所述一或多个摄像头姿态估算器208可比较所述图像帧序列204中的图像帧的低分辨率(例如，QQVGA分辨率，即，160x120)版本。基于所述图像帧的所述低分辨率版本的所述比较，所述一或多个摄像头姿态估算器208可生成摄像头姿态估算250。如本文中所述的，所述摄像头姿态估算250对应于所述两个图像帧的后者(例如，所述第二图像帧222)。举例而言，所述图像帧序列204的所述第一图像帧221可用作“原点”，以及所述图像帧序列204的每一后续图像帧可具有相对于所述第一图像帧221(例如，所述“原点”)所确定的对应摄像头姿态。例如，与所述第一图像帧121相关联的摄像头姿态可被表示为具有相对零角度的参照点(例如，零点)。在该示例中，后续摄像头姿态估算可被表示为指示在真实空间(例如，指示距离的近似变化的(x，y，z)坐标)中的相对运动的坐标和指示所述摄像头102的倾角的相对变化的角度(例如，角度改变10°)。
在说明性实施例中，生成对应于所述两个图像帧的所述后者(例如，后来接收和/或生成)的摄像头姿态估算250包含通过基于所述摄像头202的相对运动而扭曲(即，变换)所述后来捕获的帧和由所述摄像头202在所述两个图像帧之间捕获的物体(和/或场景)来生成扭曲帧。所述后来捕获的帧被扭曲以成为更类似于如本文中参考图6所述的所述更早捕获的图像帧。
在具体实施例中，由所述一或多个摄像头姿态估算器208基于图像帧对图像帧比较所生成的所述摄像头姿态估算250可对应于“初始”摄像头姿态。所述摄像头姿态估算250可凭借已基于低分辨率(例如，QQVGA)运算生成而为“初始的”。所述“初始”摄像头姿态可在后续运算期间被优化。在一些实施例中，所述“初始”摄像头姿态估算可相对于特定图像帧为“初始的”，其中，后续图像帧可具有它们自身的相应的“初始”摄像头姿态估算。所述一或多个比较器220可使用所述关键帧选择器242从所述关键帧214选择最类似的关键帧，如在本文中另外描述。在一些实施例中，所述关键帧选择器242使用所述摄像头姿态估算250来选择识别出的关键帧252，其中，所述识别出的关键帧252为相对于所述摄像头姿态估算250最类似的关键帧。所述识别出的关键帧252(或其指示)可被提供给所述摄像头姿态估算器208。
所述摄像头姿态估算器208可接收所述识别出的关键帧252且可优化初始摄像头姿态估算，例如所述摄像头姿态估算250。例如，所述摄像头姿态估算器208可被配置成通过比较所述图像帧的QVGA版本和对应于所述图像帧序列204中的先前图像帧的所述识别关键帧252的QVGA分辨率版本来估算对应于图像帧的优化摄像头姿态256。在一些实施例中，所述一或多个比较器220可对应于图1的比较器108。
举例而言，在对应于所述图像帧序列204中的所述图像帧中的一者的初始摄像头姿态估算被确定之后，所述一或多个摄像头姿态估算器208可通过比较图像帧和由所述关键帧生成器210先前生成且存储于所述存储器212中的关键帧214，例如最近生成的关键帧或最类似关键帧(例如所述识别出的关键帧252)来生成对应于所述图像帧的优化摄像头姿态估算256。所述存储器212可对应于图1的存储器112。确定所述图像帧223的初始摄像头姿态估算250可包含比较所述图像帧223和先前图像帧，例如所述图像帧222或另一图像帧。所述一或多个比较器220包含被配置成从所述存储器212选择所述关键帧214的关键帧选择器242。在一些实施例中，所述关键帧选择器242可基于在所述摄像头姿态估算250和所述一或多个关键帧214的特定关键帧的对应摄像头姿态估算之间的类似性选择所述关键帧214。在一些实施例中，在所述摄像头姿态估算250和所述特定关键帧的所述对应摄像头姿态估算之间的类似性可基于相对位置、取向或其组合之间的比较(例如，坐标和角度)。
例如，为识别相对于所述摄像头姿态估算250的最类似关键帧，所述关键帧选择器242可比较所述摄像头姿态估算的相对位置(例如，坐标)及取向(例如，角度)和与所述关键帧214相关联的一或多个摄像头姿态。举例而言，所述关键帧214的每一关键帧可与对应于用于生成所述关键帧的所述图像帧序列204的特定图像帧的摄像头姿态相关联。例如，第一关键帧可与“原点”相关联，如上所述。第二关键帧可基于在所述第一图像帧221之后的特定图像帧生成，且所述第二关键帧可与所述特定关键帧的摄像头姿态相关联。
所述关键帧选择器242可基于所述摄像头姿态估算250的相对位置和/或相对角度识别出所述关键帧214的类似关键帧(或最类似关键帧)。例如，所述关键帧选择器242可确定在所述摄像头姿态估算250的所述相对位置和与特定关键帧相关联的特定摄像头姿态的相对位置之间的第一差值。另外地或可替代地，所述关键帧选择器242可确定在所述摄像头姿态估算250的所述相对角度和所述特定摄像头姿态的相对角度之间的第二差值。所述关键帧选择器242可确定所述关键帧214中的每者的第一差值和/或第二差值，且可将产生所述最小差值(例如，相对位置的最小差值和/或相对角度的最小差值)的所述关键帧选择为所述最类似关键帧。
又如，所述关键帧选择器242可迭代地比较所述摄像头姿态估算250和(所述关键帧214的)一组一或多个关键帧，直到所述关键帧选择器242识别出满足相对位置阈值和/或相对距离阈值的特定关键帧为止。例如，所述关键帧选择器242可确定第一关键帧(例如，最近生成的关键帧)的所述第一差值和/或所述第二差值。所述关键帧选择器242可比较所述第一差值和所述相对位置阈值和/或可比较所述第二差值和所述相对角度阈值。如果所述第一差值满足(小于或等于)所述相对位置阈值，和/或如果所述第二差值满足(小于或等于)所述相对角度阈值，则所述关键帧可被识别为类似于所述摄像头姿态估算250(例如，所述最类似)，且所述摄像头姿态估算250可不与另一关键帧(例如，在所述最近生成的关键帧之前生成的关键帧)比较。如果没有所述组一或多个关键帧满足所述相对位置阈值和/或所述相对角度阈值，则不选择最类似关键帧，且可发指令给所述关键帧生成器201以基于对应于所述摄像头姿态估算250的所述图像帧来生成新关键帧。
生成所述图像帧223的所述优化摄像头姿态估算256可涉及比较所述图像帧223和存储在所述存储器212中的所述特定关键帧，例如具有最类似于与所述图像帧223的所述摄像头姿态估算250的摄像头姿态对应的摄像头姿态的所述关键帧。在一些实施例中，所述一或多个关键帧214的每一关键帧与对应的优化摄像头姿态估算256相关联。
所述一或多个比较器220可执行所述图像帧序列204中的特定图像帧的QVGA分辨率版本和所述存储器212中的所述最类似关键帧的逐像素比较。基于所述特定图像帧和所述关键帧的所述比较，所述一或多个比较器220可生成重叠比209且向所述关键帧生成器210提供所述重叠比209。所述关键帧生成器210可比较所述重叠比209和所述重叠比阈值以确定所述特定图像帧和所述关键帧是否类似(例如，没有有待于生成的新关键帧)，或所述特定图像帧和所述关键帧是否不类似(例如，有待于生成另外的关键帧)。例如，当所述特定图像帧和所述关键帧不类似时，所述关键帧生成器210可生成新关键帧211。在一些实施例中，所述重叠比209和所述重叠比阈值分别对应于图1的所述重叠比109和所述重叠比阈值131。
所述重叠比209可由所述一或多个比较器220基于本文所述的扭曲比较来生成。另一选择为，所述摄像头姿态估算250可基于扭曲所述图像帧以使其成为更类似于更早捕获的(或生成的)关键帧而生成，如本文中所述。在另一替代性实施例中，所述重叠比209可基于在所述优化摄像头姿态估算256和所述关键帧214的对应摄像头姿态估算之间的比较而生成。所述重叠比209可按照百分比、像素数或以一些其它方式来表示。所述一或多个比较器220可确定像素强度误差，其中，所述像素强度误差指示在所述扭曲帧的一或多个像素和在所述对的图像帧中的先前捕获帧(或所述关键帧114中的一者)的一或多个像素之间的像素强度的差值。接着所述一或多个摄像头姿态头估算器208可确定指示在所述扭曲帧的所述一或多个像素和所述先前捕获的帧(或所述先前的关键帧)的所述一或多个像素之间的深度的差值的深度误差。确定像素强度和深度误差的示例另外参考图7来描述。所述像素强度误差和深度误差可用于估算所述后来所捕获图像帧的所述摄像头姿态。
在具体实施例中，初始摄像头姿态信息可由所述处理器206的第一线程生成，且优化摄像头姿态可由所述处理器206的第二处理线程估算。所述第一处理线程和所述第二处理线程可由所述处理器206并行(例如，同时)执行。所述第一处理线程可包含或对应于处理器206的第一处理核，且所述第二处理核可包含或对应于所述处理器206的第二处理核。平行处理使所述第二处理线程能够执行操作以优化摄像头姿态而无需中断如上所述的摄像头姿态的所述初始估算。在说明性实施例中，所述一或多个摄像头姿态估算器208被配置成由所述处理器206的不同处理线程执行。所述不同处理线程可在多个处理器核中并行地执行和/或在单个处理核中以时分复用的方式执行。尽管所述第一处理线程和第二处理线程被描述为被包含在单个处理器(例如，处理器206)中，但在其它实施方案中，所述第一处理线程可被包含在第一处理器中且所述第二处理线程可被包含在不同于所述第一处理器的第二处理器中。
所述一或多个摄像头姿态估算器208可执行图像帧(例如，所述第一图像帧221和所述第二图像帧222)之间或图像帧(例如，所述第二图像帧222)和关键帧(例如，所述关键帧214中的一者)之间的比较。例如，所述一或多个摄像头姿态估算器208可逐像素或以某种其它方式比较所述图像帧序列204中的连续图像帧对。举例而言，所述一或多个摄像头姿态估算器208可比较所述第一图像帧221和所述第二图像帧222。在具体实施例中，由所述一或多个摄像头姿态估算器208执行的所述图像帧对图像帧比较可与地标或其它此些特征(例如，边缘、顶点等)无关(例如，不基于此些特征)，而是可以以每像素为基础来执行。因此，所述一或多个摄像头姿态估算器208可执行逐像素比较而不是搜索所述图像帧序列204的图像帧中的地标。由所述一或多个摄像头姿态估算器208执行的所述比较的结果可作为所述摄像头姿态估算250提供给所述一或多个比较器220。
在操作期间，所述摄像头姿态估算器208可生成摄像头姿态信息，且所述关键帧生成器210可在适当时生成新关键帧211。所述处理器206可使用此信息相对于所述图像帧序列204的所述捕获实时或准实时生成点云数据216。在具体实施例中，由所述一或多个摄像头姿态估算器208生成的所述摄像头姿态中的每者指示当所述图像帧序列204中的对应图像帧被捕获时所述摄像头202对应于特定时间的所述定位的逼近。所述处理器206可从所述摄像头202接收所述图像帧序列204中的一或多个另外的图像帧，且可基于所述一或多个另外的图像帧更新所述点云数据216，例如三维点云。在具体实施例中，更新所述三维点云的速率大体上等于接收所述一或多个另外的图像帧的速率。所述第一处理线程可被配置成以足够速率处理QQVGA图像帧以在捕获所述图像帧序列204期间运行。因此，所述点云数据216可相对于所述摄像头202的所述图像捕获操作实时或准实时更新。点云数据的此实时或准实时生成的示例另外参考图3示出。
因此，图2的所述系统可处理帧的多个分辨率且选择性生成关键帧且更新点云数据以在点云/3D模型生成装置执行准实时或实时运算。在说明性实施例中，由所述摄像头202捕获的所述图像帧中的每者为高分辨率图像帧(例如，HD分辨率)，存储在所述存储器212中的所述关键帧214为中等分辨率帧(例如，QVGA帧)，且由所述一或多个摄像头姿态估算器208执行的所述图像帧对图像帧比较以低分辨率执行(例如，QQVGA分辨率)。在说明性实施例中，在所述图像帧序列104中的所述图像帧的所述QVGA和所述QQVGA版本可基于下采样、调整大小或其它技术来生成。
参考图3，该图示出了图1的所述系统100或图2的所述系统200的运算的说明性实施例且大体指定为300。在图3中，图像捕获装置302，例如图1的所述摄像头102或图2的所述摄像头202沿围绕物体310，例如图3中所示出的杯的路径304(例如，弧线)移动。在所述图像捕获装置302沿所述路径的所述移动期间，所述图像捕获装置302被摄像头姿态306A、306B、306C、306D、306E和306F定位在图3中示出的不同位置。应注意，图3中所示的摄像头姿态306A到306F的数量、间距和取向仅用于说明而示出，且不应被视为限制性的。例如，可使用更多摄像头姿态或更少摄像头姿态。
所述路径304可为任何配置，其基于所述图像捕获装置302如何围绕所述物体310移动。在所述图像捕获装置302沿所述路径304从与所述摄像头姿态306A相关联的位置移动到与所述摄像头姿态306F相关联的位置时，所述物体310的3D点云可实时或准实时生成，如上面参考图1和图2所述。例如，在所述摄像头姿态306A处，其表示所述图像捕获装置302在沿所述路径304的第一位置的初始摄像头姿态，第一局部3D点云310A可在所述图像捕获装置302生成，如在307A处所示。在所述图像捕获装置302继续沿着所述路径304移动时，可捕获另外数据且将其用以向所述局部3D点云添加点。例如，当所述计算装置302已沿所述路径304移动到与所述摄像头姿态306D相关联的位置时，可生成更完整的3D点云310D，如在307D处所示。在所述图像捕获装置302到达与所述摄像头姿态306F相关联的位置之后，可生成完整的3D点云310F，如在307F处所示。
因此，图3示出了使用由所述图像捕获装置302捕获的图像的基于所述图像捕获装置302的运动的3D点云数据的准实时或实时生成。所述3D点云数据的完整性可取决于所捕获的所述图像的数量和所述图像捕获装置302的所述定位。例如，在生成所述3D点云数据期间，如果未收集另外的3D点云数据，则所述3D点云数据可能不完整(例如，在所述图像捕获装置302到达与所述摄像头姿态306F相关联的所述位置之前)，这可能引起生成所述物体310的不完整3D表示。举例而言，如果所述图像捕获装置302并不从所述物体310的所有可见角度捕获所述物体310的图像，则所述物体310的3D表示可能不完整。在此情况下，更多图像可需要由所述图像捕获装置302捕获，以完成或填充所述物体310的3D表示中的空隙。
参考图4，该图示出了关于图1的所述系统100或图2的所述系统200的简图400。在图4中，水平地示出不同操作层级或处理线程。图4包含图像捕获/检索层级、第一操作模式/处理线程、第二操作模式/处理线程和存储器运算层级。在说明性实施例中，所述图像捕获/检索层级对应于由图1的所述摄像头102、所述摄像头202、所述图像捕获装置302或其组合执行的操作。所述第一操作模式/处理线程可对应于由图1的所述比较器108或由图2的所述一或多个比较器220执行的操作。所述第二操作模式/处理线程可对应于由图2的所述一或多个比较器220执行的操作。所述存储器可对应于图1的所述存储器112或对应于图2的所述存储器212。
如图4中所示，不同操作段可涉及处理具有不同分辨率，例如HD、QQVGA和QVGA分辨率的图像数据。在图4的所述实施例中，所述图像捕获/检索层级接收、生成和/或处理高分辨率(HD)数据，所述第一操作模式/处理线程接收、生成和/或处理低分辨率(例如，QQVGA)数据，以及所述第二操作模式/处理线程接收、生成和/或处理中等分辨率(例如，QVGA)数据。例如，所述图像捕获/检索层级可在某一时间段内接收图像帧序列(例如，图4中的源帧：0，源帧：1，源帧：2，及源帧：3)。所述第一操作模式/处理线程可下采样所述源帧中的每一者以生成供在摄像头姿态估算中使用的对应帧(例如，图4中的帧：0，帧：1，帧：2，及帧：3)。类似地，所述第二操作模式/处理线程可下采样所述源帧中的至少一些以生成用于关键帧生成的对应帧(例如，图4中的帧：1')。另一选择为，所述第二操作模式/处理线程可使用完整分辨率(例如，HD)的源帧以用于关键帧生成。在具体实施例中，所述源帧的下采样版本可从另一处理线程或从另一装置(例如，提供所述图像帧序列的装置)被提供给所述第一操作模式/处理线程、所述第二操作模式/处理线程或这两者。
当第一帧(例如，图像帧序列中的第一图像帧)，例如源帧：0被捕获或接收时，所述第一帧可自动被用于生成关键帧，例如关键帧：0。在说明性实施例中，生成关键帧：0包含制作所述源帧：0的QVGA分辨率副本及在存储器存储所述源帧：0的所述QVGA分辨率副本。如所述第一操作模式/处理线程所示，所述源帧中的每者对应于可与前述QQVGA帧比较的QQVGA帧。例如，如图4中所示，用于帧：1的摄像头姿态可基于帧：1与帧：0的比较来确定。类似地，用于帧：2的摄像头姿态可基于帧：2与帧：1的比较来生成，用于帧：3的摄像头姿态可基于帧：3与帧：2的比较来生成。在说明性实施例中，所述摄像头姿态信息可如参考图2的所述一或多个摄像头姿态估算器208来生成且可被存储在所述存储器中。
所述第二操作模式/处理线程涉及优化由所述第一操作模式/处理线程所确定的摄像头姿态，如参考图2的所述一或多个摄像头姿态估算器208所述，且确定是否应生成新关键帧，如参考图1的所述关键帧生成器110或图2的所述关键帧生成器210所述。例如，如图4中所示，处于QVGA分辨率的帧：1与关键帧：0比较以确定重叠比，例如图1的所述重叠比109或图2的所述重叠比209。基于帧：1与关键帧：0的比较，相对于帧：1的所述QQVGA版本所确定的所述摄像头姿态可被优化以形成优化的摄像头姿态估算，如参考图2所述。接着所述优化摄像头姿态估算被用于更新与由所述第一操作模式/处理线程生成的所述特定帧相关联的所述摄像头姿态估算。例如，用于帧：1的所述摄像头姿态估算被更新以反映所述对应的优化摄像头姿态估算。另外，当所述生成的重叠比和重叠比阈值，例如图1的所述重叠比131的比较指示帧：1与关键帧：0不类似时，可生成新关键帧且其被存储在所述存储器中，如参考图1和2所述。在图4所示的所述实施例中，未生成新关键帧，因为所述重叠比和所述重叠比阈值的所述比较指示帧：1类似于关键帧：0。
参看图5，该图示出了示出参考图4所述的操作的延续部分的简图500。在图5中，已从所述图像捕获装置接收到另外的HD源帧。例如，如图5中所示，已接收到源帧：4、源帧：5和源帧：6。在所述第一操作模式/处理线程中，图像帧的连续对被比较以生成初始摄像头姿态信息。所选的QVGA处理由所述第二操作模式/处理线程执行。例如，在图5中，帧：2与帧：1比较以生成用于帧：2的初始摄像头姿态。然而，帧：2在所述QVGA分辨率进行比较，因为在图4中示出的在帧：1的所述QVGA分辨率和关键帧：0的所述QVGA分辨率之间的所述比较由于所述更高分辨率要花费另外的处理时间。因此，所述第二处理线程可能不能够比较新帧直到所述第一比较完成为止。因此，在图5的所述示例中，所述第二操作模式/处理线程在处理帧：1之后处理帧：3而不是帧：2。如参考图4所述，关键帧：0可与帧：3比较以确定重叠比和所述重叠比是否满足或并不满足所述重叠比阈值。当所述比较指示关键帧：0和帧：3不类似时，可生成新关键帧。例如，如图5中所示，帧：3充分不同于关键帧0，因此基于帧：3生成表示关键帧：1的新关键帧。与帧：3相关联的所述摄像头姿态估算可被更新以反映与帧：3相关联的所述优化摄像头姿态估算，以供在所述第一操作模式/处理线程中的将来比较中使用。
参看图6，该图示出了示出参考图4和5所述的操作的延续部分的简图600。在图6中，已从所述图像捕获装置接收到另外的HD源帧。例如，如图6中所示，已接收到源帧：n、源帧：n+1、源帧n+2和源帧：n+3，其中，n可为任何非负整数。在所述第一操作模式/处理线程中，图像帧的连续对被比较以生成初始摄像头姿态信息。所选的QVGA处理由所述第二操作模式/处理线程执行。例如，在图6中，帧：n+1与帧：n比较以生成用于帧：n+1的初始摄像头姿态。如参考图4和5所述，关键帧：0至关键帧：m可与帧：n+1比较以确定与帧：n+1相关联的重叠比，其中，m为非负整数。例如，关键帧：0可与帧：n+1比较以确定第一重叠比，关键帧：1可与帧：n+1比较以确定第二重叠比，以及关键帧：m可与帧：n+1比较以确定第三重叠比。所述第二操作模式/处理线程被配置成基于在所述第一操作模式/处理线程中估算的所述摄像头姿态来确定从关键帧：0到关键帧m的最类似关键帧。在特定实施方案中，所述最类似关键帧基于从所述第一重叠比到第三重叠比之中识别的最高重叠比值来选择。如果所述最高重叠比值并不满足所述重叠比阈值，则可生成新关键帧。例如，如图5中所示，帧：n+1充分不同于关键帧：0至关键帧：m(使得所述重叠比并不满足所述重叠比阈值)，因此表示关键帧：m+1的新关键帧基于帧：n+1来生成。与帧：n+1相关联的所述摄像头姿态估算可被更新以反映与帧：n+1相关联的所述优化摄像头姿态估算，以供在所述第一操作模式/处理线程中的将来比较中使用。
参看图7，该图示出了执行包含确定误帧以作为估算摄像头姿态的一部分的操作的方法的具体实施例并且其大体被指定为700。例如，所述操作可由图2的所述一或多个比较器220和/或图4至6的所述第一处理线程来执行。在图7的所述实施例中，参考图像702与“当前”图像704比较。所述“当前”图像704可为摄像头姿态信息被估算的所述图像。因此，所述“当前”图像704可对应于最近所捕获的图像帧。所述参考图像702可对应于先前所捕获的图像帧或对应于基于先前所捕获图像帧生成/存储的关键帧。举例而言，参看图5，所述当前图像704可对应于帧：3，以及所述参考图像702可对应于帧：2或关键帧：0。又如，所述当前图像704可对应于帧：6以及所述参考图像702可对应于帧：5或关键帧：1。
如图7中示出，所述当前图像704可为被扭曲以生成扭曲当前图像706。所述当前图像704可被扭曲，使得在所述扭曲过程完成之后，所述扭曲当前图像706密切接近所述参考图像702。所述参考图像702可与所述扭曲当前图像706比较。例如，可在所述参考图像702和所述扭曲当前图像706之间执行减法运算以生成误差图像708。所述误差图像708指示在所述参考图像702和所述扭曲当前图像706之间的像素强度和/或深度误差。所述像素强度和所述深度误差可被用在可由以下方程式表示的成本函数C中：
Figure BDA0001242624520000181
在上述方程式中，I表示对应于特定图像帧的像素强度图像。所述变量P表示来自对应于所述特定图像帧的深度图像的所测量的3D点。所述变量n表示来自所述深度图像的正常值(例如，正常值)。所述函数π()表示摄像头投影模型。所述变量ε表示在欧几里德se(3)空间中的6x1矢量。所述函数T(ε)表示从se(3)到SE(3)空间的变换。所述函数
Figure BDA0001242624520000191
向特定点应用所述SE(3)变换。
所述成本函数C的所述结果可由图2的所述一或多个比较器220与成本阈值比较。如果所述结果满足所述成本阈值，则所述一或多个摄像头姿态估算器208可生成摄像头姿态估算并使所述摄像头姿态估算与所述当前图像704相关联。如果所述结果并不满足所述成本阈值，则所述当前图像704被再次扭曲以生成修改的扭曲当前图像706以减小所述像素强度和/或深度误差。
参考图8，该图示出了用于基于图像帧序列生成新关键帧的方法800。在说明性实施例中，所述方法800可由图1的所述处理器106或图2的所述处理器206执行。
所述方法800包含在802接收图像帧序列的第一图像帧。例如，所述图像帧序列可由图像捕获装置，例如图1的所述摄像头102、图2的所述摄像头202或图3的所述图像捕获装置302捕获。所述方法800另外包含在804确定在所述第一图像帧和关键帧之间的重叠比。所述重叠比的所述确定基于所述第一图像帧的第一像素值和所述关键帧的第二像素值的逐像素比较。例如，所述重叠比的所述确定可由图1的所述比较器108或图2的所述一或多个比较器220执行。所述重叠比可与在所述第一图像帧和所述关键帧之间类似的像素的比率、值或百分比相关联。另一选择为，所述重叠比可与在所述第一图像和所述关键帧图像之间不类似的像素的比率、值或百分比相关联。
所述方法800也包含在806比较所述重叠比和重叠比阈值。例如，所述比较可由图1的所述关键帧生成器110或图2的所述关键帧生成器210执行。所述方法800另外包含在808基于不满足所述重叠比阈值的所述重叠比使用所述第一图像帧生成新关键帧。例如，当所述重叠比阈值对应于在所述第一图像帧和所述关键帧之间是类似的像素的阈值比、阈值或阈值百分比时，当所述比较指示所述重叠比大于或等于所述重叠比阈值时，可满足所述重叠比阈值。又如，当所述重叠比阈值对应于在所述第一图像帧和所述关键帧之间是不类似的像素的阈值比、阈值或阈值百分比时，当所述比较指示所述重叠比小于或等于所述重叠比阈值时，可满足所述重叠比阈值。所述新关键帧可为存储在图1的所述存储器112中的所述新关键帧111或存储在图2的所述存储器212中的所述新关键帧211。因此，图8的所述方法800可使得能够选择性生成关键帧，从而允许所生成的关键帧的数量少于所捕获的图像帧的数量。通过生成更少的关键帧，可更快执行点云数据的生成和其它处理操作(例如，相对于捕获图像帧的速度为实时或准实时的)。
参考图9，该图示出了用于优化图像帧的摄像头姿态估算的方法900。在说明性实施例中，所述方法900可由图1的所述处理器106或图2的所述处理器206执行。
所述方法900包含在902接收第一图像帧和第二图像帧。所述第一图像帧和第二图像帧可从图像捕获装置，例如图1的所述摄像头102、图2的所述摄像头202或图3的所述图像捕获装置302接收。所述方法900包含在904使用低分辨率(例如，QQVGA分辨率)的所述第一图像帧计算所述第二图像帧的摄像头姿态估算。生成所述摄像头姿态估算可由图2的所述一或多个摄像头姿态估算器208执行。所述摄像头姿态估算可包含或可基于可由图2的所述一或多个比较器220执行的所述第一图像帧和所述第二图像帧的比较所产生的信息。所述方法800另外包含在806计算所述第一图像帧和关键帧之间的重叠比。所述重叠比可在图1的所述比较器108或图2的所述一或多个比较器220计算。
所述方法900也包含在908确定所述重叠比是否大于重叠比阈值。所述确定可由图1的所述关键帧生成器110或图2的所述关键帧生成器210执行。如果所述重叠比大于所述重叠比阈值(例如，所述第一帧和所述关键帧是相对类似的)，则所述方法900包含在910使用中等分辨率(例如，QVGA分辨率)的所述关键帧优化所述第二图像帧的所述摄像头姿态估算。在优化所述第二图像帧的所述摄像头姿态估算之后，所述方法900用一组新图像帧重复，而无需基于所述第一图像帧生成新关键帧。在具体实施例中，所述组新图像帧包含所述第二图像帧和在所述第二图像帧之后的第三图像帧。
如果所述重叠比小于所述重叠比阈值，则所述方法900包含在912使用中等分辨率(例如，QVGA分辨率)的所述第一图像帧优化所述第二图像帧的所述摄像头姿态估算。在一些实施方案中，当在908确定所述重叠比等于所述重叠比阈值时，所述方法可前进到910。在其它实施方案中，当在908确定所述重叠比等于所述重叠比阈值时，所述方法可前进到912。所述方法900另外包含在914基于所述第一图像帧生成新关键帧且将所述摄像头姿态估算存储到存储器，例如图1的所述存储器112或图2的所述存储器212。在生成所述新关键帧之后，所述方法900可用一组新图像帧重复。在具体实施例中，所述组新图像帧包含所述第二图像帧和在所述第二图像帧之后的第三图像帧。当没有接收到另外的图像帧时，所述方法900可終止。
参考图10，该图示出了用于设置特定图像帧的摄像头姿态估算的方法1000。在说明性实施例中，所述方法1000可由图1的所述处理器106或图2的所述处理器206执行。
所述方法1000包含在1002计算第一图像帧的像素的子集的每个像素的正常值。所述每个像素的正常值为指示垂直于对应于每个像素的相切平面的方向的矢量。像素的所述子集可包含所述第一图像帧的下采样或调整大小副本，例如具有高分辨率(例如，HD)的所述第一图像帧的低分辨率(例如，QQVGA分辨率)副本。所述方法1000也包含在1004扭曲所述第一图像帧且比较所得扭曲图像帧的对应像素和第二图像帧(或关键帧)。例如，所述第一图像帧可对应于图7的所述“当前”图像704，所述第二图像帧可对应于图7的所述参考图像702，以及所述扭曲图像帧可对应于图7的所述扭曲当前图像706。所述方法1000另外包含在1006计算在扭曲第一图像帧和所述第二图像帧(或关键帧)之间的像素强度误差和深度误差。所述像素强度误差或所述深度误差可由图7的所述误差图像708描绘。
所述方法1000另外包含在1008基于所述像素强度误差和所述深度误差计算成本函数。所述成本函数可由本文关于图7所述的方程式表示。所述方法1000另外包含在1010确定所述成本函数的所述结果是否满足成本阈值。如果所述结果并不满足所述成本阈值，则所述方法1000返回1004且所述第一图像帧被再次扭曲。如果所述结果满足所述成本阈值，则所述摄像头姿态估算在1012设置。
参考图11，该图示出了用于估算摄像头姿态和估算优化摄像头姿态的方法1100。所述方法1100包含在1102检索图像帧序列的第一图像帧。所述图像帧序列可用图像捕获装置，例如所述摄像头102、所述摄像头202或所述图像捕获装置302捕获。所述方法1100也包含在1104通过比较所述第一图像帧和第二图像帧来估算对应于所述第一图像帧的摄像头姿态，其中，所述第二图像帧在所述图像帧序列中在所述第一图像帧之前。在一个实施例中，估算所述摄像头姿态可由图2的所述一或多个摄像头姿态估算器208、图4至6的所述第一操作模式/处理线程或其任何组合执行。所述方法1100另外包含在1106通过比较所述第一图像帧和关键帧来估算对应于所述第一图像帧的优化摄像头姿态。所述关键帧可对应于在所述图像帧序列中在所述第二图像帧之前的特定图像帧。在一个实施例中，估算所述优化摄像头姿态可由图2的所述一或多个摄像头姿态估算器208、图4至6的所述第二操作模式/处理线程或其任何组合执行。
图8的所述方法800、图9的所述方法900、图10的所述方法1000、图11的所述方法1100或其组合可通过现场可编程门阵列(FPGA)装置、专用集成电路(ASIC)、处理单元例如中央处理单元(CPU)、数字信号处理器(DSP)、控制器、另一硬件装置、固件装置或其任何组合来实施。例如，图8的所述方法800、图9的所述方法900、图10的所述方法1000和图11的所述方法1100中的一或多个可由执行指令的处理器执行，如关于图12所述。
参考图12，电子装置，例如无线通信装置的特定说明性实施例的框图被描绘和大体指定为1200。所述装置1200包含耦合至存储器1232的处理器，例如数字信号处理器(DSP)1210。所述处理器可包含或对应于图1的所述处理器106或图2的所述处理器206。所述存储器可包含或对应于图1的所述存储器112和/或图2的所述存储器212。摄像头1262可经由摄像头控制器1260耦合至所述处理器1210。在说明性实施例中，所述摄像头1262对应于图1的所述摄像头102、对应于图2的所述摄像头202或对应于图3的所述图像捕获装置302。一或多个比较器1250可使用所述处理器1210内的一或多个硬件装置、可由所述处理器1210执行的软件指令或其组合实现。在说明性实施例中，所述一或多个比较器1250可对应于图1的所述比较器108、可对应于图2的所述一或多个比较器208和/或可根据图6至9的所述方法来运行。所述一或多个比较器1250可提供比较结果(例如，在多个图像帧之间的重叠比)，其由所述处理器1210使用摄像头姿态估算逻辑1252和/或关键帧生成逻辑1254进行分析或处理。
所述存储器1232可为存储执行参考图1至11所述的一或多个操作的全部或一部分的计算机可执行指令1256的非暂时性或非瞬时性计算机可读介质。例如，所述指令1256可包含指令，其在由所述处理器1210执行时，致使所述处理器1210接收图像帧序列的第一图像帧、确定在所述第一图像帧和关键帧之间的重叠比、比较所述重叠比和重叠比阈值并基于所述重叠比并不满足阈值使用所述第一图像帧生成新关键帧，其中，所述重叠比基于所述第一图像帧的第一像素值和所述关键帧的第二像素值的逐像素比较。如果所述重叠比满足所述阈值，则可不生成新关键帧。如果生成新关键帧，则所述新关键帧可作为关键帧1258被存储到所述存储器1232。由所述摄像头姿态估算逻辑1252生成的摄像头姿态估算可被存储为摄像头姿态估算1259。
根据所公开的实施例，公开了计算机可读存储装置，例如图1的所述存储器112、图2的所述存储器212或图12的所述存储器1232。所述计算机可读存储装置包含指令，其在由处理器，例如图1的所述处理器106、图2的所述处理器206或图12的所述处理器1210执行时，致使所述处理器从图像捕获装置接收图像帧序列的第一图像帧。所述图像帧序列可包含或对应于图1的所述图像帧序列104或图2的所述图像帧序列204。所述指令也致使所述处理器通过比较所述第一图像帧和第二图像帧来估算对应于所述第一图像帧的摄像头姿态，其中，所述第二图像帧在所述图像帧序列中在所述第一图像帧之前。所述摄像头姿态可包含或对应于图2的所述摄像头姿态估算250。所述指令另外致使所述处理器通过比较所述第一图像帧和关键帧来估算对应于所述第一图像帧的优化摄像头姿态，其中，所述关键帧对应于在所述图像帧序列中在所述第二图像帧之前的特定图像帧。所述优化摄像头姿态可包含或对应于图2的所述优化摄像头姿态估算256。
图12也示出被耦合至所述数字信号处理器1210和耦合至显示器1228的显示控制器1226。编解码器(CODEC)1234也可以被耦合至所述数字信号处理器1210。扬声器1236和麦克风1238可以被耦合至所述编解码器1234。
图12还指示无线接口1240可以被耦合至所述数字信号处理器1210和耦合至天线1242。在具体实施例中，所述处理器1210、所述显示控制器1226、所述摄像头控制器1260、所述存储器1232、所述编解码器1234和所述无线接口1240被包含在系统级封装或片上系统装置1222中。在具体实施例中，输入装置1230和电源1244被耦合至片上系统装置1222。此外，在具体实施例中，如图12中所示，所述显示器1228、所述输入装置1230、所述扬声器1236、所述麦克风1238、所述天线1242、所述摄像头1262和所述电源1244在所述片上系统装置1222外部。然而，所述显示器1228、所述输入装置1230、所述扬声器1236、所述麦克风1238、所述天线1242、所述摄像头1262和所述电源1244中的每者可以被耦合至所述片上系统装置1222的组件，例如接口或控制器。
结合所述实施例，公开了可包含用于接收图像帧序列的第一图像帧的装置的系统。所述用于接收图像的装置可包含图1的所述摄像头102、图2的所述摄像头202、图3的所述图像捕获装置302、图12的所述摄像头1262、被配置成接收所述图像帧序列的所述第一图像帧的一或多个其它装置或电路或其任何组合。所述系统也可包含用于生成新关键帧的装置。生成所述新关键帧包含确定在所述第一图像帧和关键帧之间的重叠比、比较所述重叠比和重叠比阈值并基于所述重叠比并不满足所述重叠比阈值使用所述第一图像帧生成新关键帧，其中，所述重叠比基于所述第一图像帧的第一像素值和所述关键帧的第二像素值的逐像素比较。例如，所述用于生成所述新关键帧的装置可包含图1的所述处理器106、图1的所述关键帧生成器110、图2的所述处理器206、图2的所述关键帧生成器210、图12的所述处理器1210(或其组件，例如所述关键帧生成逻辑1254)、被配置成确定在所述第一图像帧和所述关键帧之间的重叠比的一或多个其它器件或电路或其任何组合。
结合所述实施例，设备可包含用于从图像捕获装置接收图像帧序列的第一图像帧的装置。所述用于接收的装置可包含图1的所述比较器108、图1的所述关键帧生成器110、图2的所述图像帧缓存器207、图2的所述一或多个摄像头姿态估算器208、图12的所述摄像头控制器1260、被配置成接收所述图像帧序列的图像帧的一或多个其它结构、装置或电路或其任何组合。所述设备也可包含用于基于所述第一图像帧和第二图像帧的第一比较来估算对应于所述第一图像帧的摄像头姿态的装置，其中，所述第二图像帧在所述图像帧序列中的所述第一图像帧之前。所述用于估算所述摄像头姿态的装置可包含图2的所述一或多个摄像头姿态估算器208、图12的所述摄像头姿态估算逻辑单元1252、被配置成估算摄像头姿态的一或多个其它结构、装置或电路或其任何组合。
所述设备可另外包含用于基于所述第一图像帧和关键帧的第二比较来估算对应于所述第一图像帧的优化摄像头姿态的装置，其中，所述关键帧对应于在所述图像帧序列中在所述第二图像帧之前的特定图像帧。所述用于估算所述优化摄像头姿态的装置可包含图2的所述一或多个摄像头姿态估算器208、图12的所述摄像头姿态估算逻辑单元1252、被配置成估算摄像头姿态的一或多个其它结构、装置或电路或其任何组合。
本领域的技术人员应另外了解，结合本文中所公开的实施例所述的各种说明性逻辑块、配置、模块、电路和算法步骤可被实现为电子硬件、由处理器执行的计算机软件或两者的组合。上文已大体上就各种说明性组件、块、配置、模块、电路和步骤的功能对它们加以描述。此功能被实现为硬件还是处理器可执行指令取决于特定应用和强加于整个系统的设计约束。本领域的技术人员可针对每一特定应用以不同方式实现所述的功能，但此些实施方案决策不应被解释为引起偏离本公开的范围。
结合本文中所公开的实施例所述的方法或算法的步骤可直接在硬件中、由处理器执行的软件模块中或所述两个的组合中实现。软件模块可驻留在随机存取存储器(RAM)、闪存、只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、寄存器、硬盘、可移动磁盘、紧凑光盘只读存储器(CD-ROM)或本领域中已知的任何其它形式的非暂时性存储介质中。示例性存储介质被耦合至所述处理器，使得所述处理器可以从所述存储介质读取信息和将信息写入所述存储介质。在替代方案中，所述存储介质可与所述处理器整合。所述处理器和所述存储介质可驻留在专用集成电路(ASIC)中。所述ASIC可驻留在计算装置或用户终端中。在替代方案中，所述处理器和所述存储介质可作为分立组件驻留在计算装置或用户终端中。
提供对所公开的实施例的先前描述以使得本领域的技术人员能够制造或使用所公开的实施例。对这些实施例的各种修改对于本领域的技术人员将显而易见，且可在不脱离本公开的范围的情况下将本文中所定义的原理应用于其它实施例。因此，本公开并不意图局限于本文中所示出的实施例，而是将被赋予本公开与如由所附权利要求书定义的所述原理和新颖特征一致的可能的最广范围。

Claims (28)

1.一种姿态估算的方法，包括：
从图像捕获装置接收图像帧序列的第一图像帧；
在处理器处通过以第一分辨率比较所述第一图像帧和第二图像帧来估算对应于所述第一图像帧的摄像头姿态，其中，所述第二图像帧在所述图像帧序列中在所述第一图像帧之前；
从一组关键帧选择一个关键帧，其中，所述关键帧基于所述估算摄像头姿态来选择；以及
在所述处理器处通过以高于所述第一分辨率的第二分辨率比较所述第一图像帧和所述选择的关键帧来估算对应于所述第一图像帧的优化摄像头姿态，其中，所述选择的关键帧对应于在所述图像帧序列中在所述第二图像帧之前的图像帧。
2.根据权利要求1所述的方法，其中，估算所述摄像头姿态包括作为所述处理器的第一处理线程的一部分执行所述摄像头姿态的所述估算，并且其中，估算所述优化摄像头姿态包括作为所述处理器的第二处理线程的一部分执行所述优化摄像头姿态的所述估算。
3.根据权利要求2所述的方法，其中，所述处理器被配置成并行执行处理线程，并且其中，所述第一处理线程和所述第二处理线程被并行地执行。
4.根据权利要求1所述的方法，其中，估算对应于所述第一图像帧的所述摄像头姿态包括：
基于所述图像捕获装置在所述第一图像帧的第一捕获和所述第二图像帧的第二捕获之间的相对运动的估算通过变换所述第一图像帧来生成扭曲帧；
确定像素强度误差，其中，所述像素强度误差指示在所述扭曲帧的一或多个像素和所述第二图像帧的一或多个像素之间像素强度的差值；以及
基于所述第二图像帧的所述一或多个像素的正常值确定深度误差，其中，所述深度误差指示在所述扭曲帧的所述一或多个像素和所述第二图像帧的所述一或多个像素之间的深度的差值。
5.根据权利要求1所述的方法，其中，估算对应于所述第一图像帧的所述优化摄像头姿态包括：
基于所述图像捕获装置在所述第一图像帧的第一捕获和所述关键帧的第二捕获之间的相对运动的估算通过变换所述第一图像帧来生成扭曲帧；
确定像素强度误差，其中，所述像素强度误差指示在所述扭曲帧的一或多个像素和所述关键帧的一或多个像素之间像素强度的差值；以及
基于所述关键帧的所述一或多个像素的正常值确定深度误差，其中，所述深度误差指示在所述扭曲帧的所述一或多个像素和所述关键帧的所述一或多个像素之间的深度的差值。
6.根据权利要求1所述的方法，另外包括：
在所述处理器处确定在所述第一图像帧和所述关键帧之间的重叠比，其中，所述重叠比基于所述第一图像帧的第一像素值和所述关键帧的第二像素值的逐像素比较；
比较所述重叠比和重叠比阈值以生成比较结果；以及
基于指示所述第一图像帧和所述关键帧是不类似的所述比较结果生成新关键帧。
7.根据权利要求6所述的方法，其中，生成所述新关键帧包括形成对应于在存储器中的所述第一图像帧的副本图像帧，并且另外包括将所述副本图像帧指定为所述新关键帧。
8.根据权利要求6所述的方法，其中，所述第一像素值包含深度值、光度值或其组合。
9.根据权利要求1所述的方法，另外包括：基于所述优化摄像头姿态和所述图像帧序列生成三维点云。
10.根据权利要求9所述的方法，另外包括：
从所述图像捕获装置接收所述图像帧序列的一或多个另外图像帧；以及
基于所述一或多个另外图像帧更新所述三维点云，其中，更新所述三维点云的速率包括大体上等于接收所述一或多个另外图像帧的速率的速率。
11.根据权利要求1所述的方法，其中，所述摄像头姿态指示所述图像捕获装置在基于所述第一图像帧被捕获的特定时间的位置的逼近。
12.根据权利要求1所述的方法，其中，所述图像捕获装置以高于所述第二分辨率的第三分辨率捕获所述第一图像。
13.一种姿态估算的设备，包括
处理器；以及
存储指令的存储器，所述指令能够由所述处理器执行以致使所述处理器：
从图像捕获装置接收图像帧序列的第一图像帧；
基于所述第一图像帧和第二图像帧的第一分辨率的第一比较来估算对应于所述第一图像帧的摄像头姿态，其中，所述第二图像帧在所述图像帧序列中在所述第一图像帧之前；
从一组关键帧选择一个关键帧，其中，所述关键帧基于所述估算摄像头姿态来选择；以及
基于所述第一图像帧和所述选择的关键帧的高于所述第一分辨率的第二分辨率的第二比较来估算对应于所述第一图像帧的优化摄像头姿态，其中，所述选择的关键帧对应于在所述图像帧序列中在所述第二图像帧之前的图像帧。
14.根据权利要求13所述的设备，其中，所述处理器作为所述处理器的第一处理线程的一部分执行所述摄像头姿态的所述估算，并且其中，作为所述处理器的第二处理线程的一部分执行所述优化摄像头姿态的所述估算。
15.根据权利要求13所述的设备，其中，所述指令另外能够执行以致使所述处理器：
基于在所述图像捕获装置的位置和对应于所述第二图像帧的坐标之间的相对运动的估算来变换所述第一图像帧；以及
基于所述变换的第一图像生成扭曲帧。
16.根据权利要求15所述的设备，其中，所述指令另外能够执行以致使所述处理器确定像素强度误差，其中，所述像素强度误差指示在所述扭曲帧的一或多个像素和所述第二图像帧的一或多个像素之间的像素强度的差值。
17.根据权利要求15所述的设备，其中，所述指令另外能够执行以致使所述处理器确定深度误差，其中，所述深度误差指示在所述扭曲帧的一或多个像素和所述第二图像帧的一或多个像素之间的深度的差值，其中基于所述第二图像帧的所述一或多个像素的正常值确定所述深度误差。
18.根据权利要求13所述的设备，其中，所述指令另外能够执行以致使所述处理器确定在所述第一图像帧和关键帧之间的重叠比。
19.根据权利要求18所述的设备，其中，所述重叠比基于所述第一图像帧的第一像素值和所述关键帧的第二像素值的逐像素比较。
20.根据权利要求18所述的设备，其中，所述指令另外能够执行以致使所述处理器基于所述重叠比和重叠比阈值的比较来生成结果。
21.根据权利要求20所述的设备，其中，所述指令另外能够执行以致使所述处理器基于指示所述第一图像帧不类似于所述关键帧的所述结果来生成新关键帧。
22.一种存储指令的计算机可读存储装置，所述指令在由处理器执行时致使所述处理器：
从图像捕获装置接收图像帧序列的第一图像帧；
基于所述第一图像帧和第二图像帧的第一分辨率的第一比较来估算对应于所述第一图像帧的摄像头姿态，其中，所述第二图像帧在所述图像帧序列中在所述第一图像帧之前；
从一组关键帧选择一个关键帧，其中，所述关键帧基于所述估算摄像头姿态来选择；以及
基于所述第一图像帧和所述选择的关键帧的高于所述第一分辨率的第二分辨率的第二比较来估算对应于所述第一图像帧的优化摄像头姿态，其中，所述选择的关键帧对应于在所述图像帧序列中在所述第二图像帧之前的图像帧。
23.根据权利要求22所述的计算机可读存储装置，其中，所述处理器作为所述处理器的第一处理线程的一部分估算所述摄像头姿态，其中，所述处理器作为所述处理器的第二处理线程的一部分估算所述优化摄像头姿态，并且其中，所述第一处理线程和所述第二处理线程被并行地执行。
24.根据权利要求22所述的计算机可读存储装置，其中，所述指令在由所述处理器执行时，另外致使所述处理器基于所述图像帧序列生成三维点云，其中，生成所述三维点云的速率是大体上等于接收所述图像帧序列的速率的速率。
25.一种姿态估算的设备，包括：
用于从图像捕获装置接收图像帧序列的第一图像帧的装置；
用于基于所述第一图像帧和第二图像帧的第一分辨率的第一比较来估算对应于所述第一图像帧的摄像头姿态的装置，其中，所述第二图像帧在所述图像帧序列中在所述第一图像帧之前；
用于从一组关键帧选择一个关键帧的装置，其中，所述关键帧基于所述估算摄像头姿态来选择；以及
用于基于所述第一图像帧和所述选择的关键帧的高于所述第一分辨率的第二分辨率的第二比较来估算对应于所述第一图像帧的优化摄像头姿态的装置，其中，所述选择的关键帧对应于在所述图像帧序列中在所述第二图像帧之前的图像帧。
26.根据权利要求25所述的设备，另外包括：
用于执行所述第一图像帧和所述第二图像帧的所述第一比较的装置；以及
用于执行所述第一图像帧和所述关键帧的所述第二比较的装置。
27.根据权利要求25所述的设备，另外包括用于基于所述第一图像帧生成新关键帧的装置。
28.根据权利要求25所述的设备，另外包括用于基于所述优化摄像头姿态和所述图像帧序列生成三维点云的装置。
CN201580048693.4A 2014-09-19 2015-06-30 姿态估算的系统和方法 Active CN106688013B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/491,857 US9607388B2 (en) 2014-09-19 2014-09-19 System and method of pose estimation
US14/491,857 2014-09-19
PCT/US2015/038582 WO2016043827A1 (en) 2014-09-19 2015-06-30 System and method of pose estimation

Publications (2)

Publication Number Publication Date
CN106688013A CN106688013A (zh) 2017-05-17
CN106688013B true CN106688013B (zh) 2020-05-12

Family

ID=53765533

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580048693.4A Active CN106688013B (zh) 2014-09-19 2015-06-30 姿态估算的系统和方法

Country Status (6)

Country Link
US (1) US9607388B2 (zh)
EP (1) EP3175427B1 (zh)
JP (1) JP2017529620A (zh)
KR (1) KR20170056563A (zh)
CN (1) CN106688013B (zh)
WO (1) WO2016043827A1 (zh)

Families Citing this family (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014082541A (ja) * 2012-10-12 2014-05-08 National Institute Of Information & Communication Technology 互いに類似した情報を含む複数画像のデータサイズを低減する方法、プログラムおよび装置
US9589362B2 (en) 2014-07-01 2017-03-07 Qualcomm Incorporated System and method of three-dimensional model generation
GB2536493B (en) * 2015-03-20 2020-11-18 Toshiba Europe Ltd Object pose recognition
US20160314569A1 (en) * 2015-04-23 2016-10-27 Ilya Lysenkov Method to select best keyframes in online and offline mode
US10373366B2 (en) 2015-05-14 2019-08-06 Qualcomm Incorporated Three-dimensional model generation
US9911242B2 (en) 2015-05-14 2018-03-06 Qualcomm Incorporated Three-dimensional model generation
US10304203B2 (en) 2015-05-14 2019-05-28 Qualcomm Incorporated Three-dimensional model generation
US10699480B2 (en) * 2015-07-15 2020-06-30 Massachusetts Institute Of Technology System and method for providing reconstruction of human surfaces from orientation data
CN109074660B (zh) * 2015-12-31 2022-04-12 Ml 荷兰公司 单目相机实时三维捕获和即时反馈的方法和系统
JP6775969B2 (ja) * 2016-02-29 2020-10-28 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
JP6987797B2 (ja) 2016-03-11 2022-01-05 カールタ インコーポレイテッド リアルタイムオンラインエゴモーション推定を有するレーザスキャナ
US11573325B2 (en) 2016-03-11 2023-02-07 Kaarta, Inc. Systems and methods for improvements in scanning and mapping
US10989542B2 (en) 2016-03-11 2021-04-27 Kaarta, Inc. Aligning measured signal data with slam localization data and uses thereof
US11567201B2 (en) 2016-03-11 2023-01-31 Kaarta, Inc. Laser scanner with real-time, online ego-motion estimation
CN107077140B (zh) * 2016-03-28 2018-11-30 深圳市大疆创新科技有限公司 无人飞行器的悬停控制方法、控制系统和无人飞行器
US10192347B2 (en) * 2016-05-17 2019-01-29 Vangogh Imaging, Inc. 3D photogrammetry
CN109155082B (zh) * 2016-05-26 2023-06-20 索尼公司 信息处理设备、信息处理方法和存储介质
EP3478209A1 (en) * 2016-06-30 2019-05-08 Koninklijke Philips N.V. Intertial device tracking system and method of operation thereof
US10380762B2 (en) 2016-10-07 2019-08-13 Vangogh Imaging, Inc. Real-time remote collaboration and virtual presence using simultaneous localization and mapping to construct a 3D model and update a scene based on sparse data
US10341568B2 (en) 2016-10-10 2019-07-02 Qualcomm Incorporated User interface to assist three dimensional scanning of objects
SG10202110833PA (en) * 2017-03-29 2021-11-29 Agency Science Tech & Res Real time robust localization via visual inertial odometry
US10467756B2 (en) 2017-05-14 2019-11-05 International Business Machines Corporation Systems and methods for determining a camera pose of an image
EP3676807A1 (en) * 2017-08-31 2020-07-08 SONY Corporation Methods, devices and computer program products for generating 3d images
EP3704563A4 (en) 2017-10-31 2021-08-04 Outward, Inc. MIXED PHYSICAL AND VIRTUAL REALITIES
WO2019100011A1 (en) 2017-11-17 2019-05-23 Divine Logic, Inc. Systems and methods for tracking items
WO2019099605A1 (en) 2017-11-17 2019-05-23 Kaarta, Inc. Methods and systems for geo-referencing mapping systems
US10628965B2 (en) 2017-11-17 2020-04-21 Qualcomm Incorporated Systems and methods for illuminant-invariant model estimation
US10839585B2 (en) 2018-01-05 2020-11-17 Vangogh Imaging, Inc. 4D hologram: real-time remote avatar creation and animation control
CN111630571A (zh) 2018-01-19 2020-09-04 交互数字Vc控股公司 处理点云
WO2019165194A1 (en) * 2018-02-23 2019-08-29 Kaarta, Inc. Methods and systems for processing and colorizing point clouds and meshes
WO2019164498A1 (en) * 2018-02-23 2019-08-29 Sony Mobile Communications Inc. Methods, devices and computer program products for global bundle adjustment of 3d images
US11080540B2 (en) 2018-03-20 2021-08-03 Vangogh Imaging, Inc. 3D vision processing using an IP block
US10810783B2 (en) 2018-04-03 2020-10-20 Vangogh Imaging, Inc. Dynamic real-time texture alignment for 3D models
US11170224B2 (en) 2018-05-25 2021-11-09 Vangogh Imaging, Inc. Keyframe-based object scanning and tracking
WO2020009826A1 (en) 2018-07-05 2020-01-09 Kaarta, Inc. Methods and systems for auto-leveling of point clouds and 3d models
US10916031B2 (en) 2018-07-06 2021-02-09 Facebook Technologies, Llc Systems and methods for offloading image-based tracking operations from a general processing unit to a hardware accelerator unit
EP3591605A1 (en) * 2018-07-06 2020-01-08 Facebook Technologies, LLC Systems and methods for offloading image-based tracking operations from a general processing unit to a hardware accelerator unit
FR3087036B1 (fr) * 2018-10-03 2021-06-25 Soletanche Freyssinet Procede de texturation d'un modele 3d
CN111127524A (zh) * 2018-10-31 2020-05-08 华为技术有限公司 一种轨迹跟踪与三维重建方法、系统及装置
US10885657B2 (en) * 2018-10-31 2021-01-05 Disney Enterprises, Inc. Configuration for indicating image capture device position
CN111161348B (zh) * 2018-11-08 2023-12-05 深圳市优必选科技有限公司 一种基于单目相机的物体位姿估计方法、装置及设备
US11308639B2 (en) * 2019-03-12 2022-04-19 Volvo Car Corporation Tool and method for annotating a human pose in 3D point cloud data
CN110059651B (zh) * 2019-04-24 2021-07-02 北京计算机技术及应用研究所 一种相机实时跟踪注册方法
US11170552B2 (en) 2019-05-06 2021-11-09 Vangogh Imaging, Inc. Remote visualization of three-dimensional (3D) animation with synchronized voice in real-time
US11232633B2 (en) 2019-05-06 2022-01-25 Vangogh Imaging, Inc. 3D object capture and object reconstruction using edge cloud computing resources
US11064096B2 (en) * 2019-12-13 2021-07-13 Sony Corporation Filtering and smoothing sources in camera tracking
US11335063B2 (en) 2020-01-03 2022-05-17 Vangogh Imaging, Inc. Multiple maps for 3D object scanning and reconstruction
CN111539988B (zh) * 2020-04-15 2024-04-09 京东方科技集团股份有限公司 一种视觉里程计实现方法、装置和电子设备
CN113709441B (zh) * 2020-05-22 2023-05-02 杭州海康威视数字技术股份有限公司 一种扫描设备、相机的位姿确定方法、装置及电子设备
US11321859B2 (en) * 2020-06-22 2022-05-03 Toyota Research Institute, Inc. Pixel-wise residual pose estimation for monocular depth estimation
CN111928861B (zh) * 2020-08-07 2022-08-09 杭州海康威视数字技术股份有限公司 地图构建方法及装置
CN112288816B (zh) * 2020-11-16 2024-05-17 Oppo广东移动通信有限公司 位姿优化方法、位姿优化装置、存储介质与电子设备
CN112837424B (zh) * 2021-02-04 2024-02-06 脸萌有限公司 图像处理方法、装置、设备和计算机可读存储介质
CN115278326A (zh) * 2021-04-29 2022-11-01 腾讯科技（深圳）有限公司 视频展示方法、装置、计算机可读介质及电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1022654A2 (en) * 1999-01-14 2000-07-26 Interuniversitair Microelektronica Centrum Vzw Concurrent timed digital system design method and environment
US6487304B1 (en) * 1999-06-16 2002-11-26 Microsoft Corporation Multi-view approach to motion and stereo
CN1668936A (zh) * 2002-09-06 2005-09-14 诺基亚公司 用于估计移动设备的位置的方法和系统
CN1866271A (zh) * 2006-06-13 2006-11-22 北京中星微电子有限公司 基于aam的头部姿态实时估算方法及系统
CN102811482A (zh) * 2011-06-03 2012-12-05 苹果公司 移动设备位置估计
US8471890B1 (en) * 2009-12-30 2013-06-25 Insors Integrated Communications Adaptive video communication channel
CN103578117A (zh) * 2012-08-01 2014-02-12 三菱电机株式会社 确定摄像头相对于环境的姿态的方法

Family Cites Families (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3907783B2 (ja) 1996-12-12 2007-04-18 富士フイルム株式会社 色変換方法
WO1999026198A2 (en) 1997-11-14 1999-05-27 National University Of Singapore System and method for merging objects into an image sequence without prior knowledge of the scene in the image sequence
US6297825B1 (en) 1998-04-06 2001-10-02 Synapix, Inc. Temporal smoothing of scene analysis data for image sequence generation
US6281904B1 (en) 1998-06-09 2001-08-28 Adobe Systems Incorporated Multi-source texture reconstruction and fusion
US6469710B1 (en) 1998-09-25 2002-10-22 Microsoft Corporation Inverse texture mapping using weighted pyramid blending
US6476803B1 (en) 2000-01-06 2002-11-05 Microsoft Corporation Object modeling system and process employing noise elimination and robust surface extraction techniques
US6750873B1 (en) 2000-06-27 2004-06-15 International Business Machines Corporation High quality texture reconstruction from multiple scans
GB2377870B (en) 2001-05-18 2005-06-29 Canon Kk Method and apparatus for generating confidence data
US7215813B2 (en) 2001-12-03 2007-05-08 Apple Computer, Inc. Method and apparatus for color correction
US7386704B2 (en) 2002-10-31 2008-06-10 Lockheed Martin Corporation Pipeline accelerator including pipeline circuits in communication via a bus, and related system and method
US7570791B2 (en) 2003-04-25 2009-08-04 Medtronic Navigation, Inc. Method and apparatus for performing 2D to 3D registration
US7272264B2 (en) 2003-09-11 2007-09-18 International Business Machines Corporation System and method for hole filling in 3D models
US20050140670A1 (en) 2003-11-20 2005-06-30 Hong Wu Photogrammetric reconstruction of free-form objects with curvilinear structures
US7205998B2 (en) 2004-06-23 2007-04-17 Microsoft Corporation System and process for optimal texture map reconstruction from multiple views
US8538166B2 (en) 2006-11-21 2013-09-17 Mantisvision Ltd. 3D geometric modeling and 3D video content creation
US8773425B2 (en) 2007-05-01 2014-07-08 M.E.P. CAD Inc. Methods and apparatuses for proposing resolutions to conflicts in a CAD drawing with reflections
JP5011224B2 (ja) 2008-07-09 2012-08-29 日本放送協会 任意視点映像生成装置及び任意視点映像生成プログラム
EP2545411B1 (en) 2009-12-11 2014-02-12 DigitalOptics Corporation Europe Limited Panorama imaging
US8619122B2 (en) 2010-02-02 2013-12-31 Microsoft Corporation Depth camera compatibility
US9400503B2 (en) 2010-05-20 2016-07-26 Irobot Corporation Mobile human interface robot
US8811699B2 (en) 2010-09-22 2014-08-19 Siemens Aktiengesellschaft Detection of landmarks and key-frames in cardiac perfusion MRI using a joint spatial-temporal context model
US8149268B1 (en) 2010-11-05 2012-04-03 The United States Of America As Represented By The Secretary Of The Army System and method for determining three-dimensional information from two-dimensional images
CN103415860B (zh) * 2011-01-27 2019-07-12 苹果公司 确定第一和第二图像间的对应关系的方法以及确定摄像机姿态的方法
US8587583B2 (en) 2011-01-31 2013-11-19 Microsoft Corporation Three-dimensional environment reconstruction
JPWO2012121052A1 (ja) * 2011-03-08 2014-07-17 ソニー株式会社 画像処理装置、画像処理方法、及び、プログラム
US20120300020A1 (en) * 2011-05-27 2012-11-29 Qualcomm Incorporated Real-time self-localization from panoramic images
US8879828B2 (en) 2011-06-29 2014-11-04 Matterport, Inc. Capturing and aligning multiple 3-dimensional scenes
US9336625B2 (en) 2011-10-25 2016-05-10 Microsoft Technology Licensing, Llc Object refinement using many data sets
CN102364953A (zh) 2011-11-08 2012-02-29 北京新岸线网络技术有限公司 立体图像颜色校正方法及装置
JP5269972B2 (ja) 2011-11-29 2013-08-21 株式会社東芝 電子機器及び三次元モデル生成支援方法
AU2011253973B2 (en) * 2011-12-12 2015-03-12 Canon Kabushiki Kaisha Keyframe selection for parallel tracking and mapping
US9141196B2 (en) 2012-04-16 2015-09-22 Qualcomm Incorporated Robust and efficient learning object tracker
US20130286161A1 (en) 2012-04-25 2013-10-31 Futurewei Technologies, Inc. Three-dimensional face recognition for mobile devices
US20130293686A1 (en) 2012-05-03 2013-11-07 Qualcomm Incorporated 3d reconstruction of human subject using a mobile device
WO2013166592A1 (en) 2012-05-09 2013-11-14 Laboratoires Bodycad Inc. Segmentation of magnetic resonance imaging data
US20150178988A1 (en) 2012-05-22 2015-06-25 Telefonica, S.A. Method and a system for generating a realistic 3d reconstruction model for an object or being
US9621869B2 (en) 2012-05-24 2017-04-11 Sony Corporation System and method for rendering affected pixels
US9147122B2 (en) 2012-05-31 2015-09-29 Qualcomm Incorporated Pose estimation based on peripheral information
US9420265B2 (en) 2012-06-29 2016-08-16 Mitsubishi Electric Research Laboratories, Inc. Tracking poses of 3D camera using points and planes
US10674135B2 (en) * 2012-10-17 2020-06-02 DotProduct LLC Handheld portable optical scanner and method of using
GB2499694B8 (en) 2012-11-09 2017-06-07 Sony Computer Entertainment Europe Ltd System and method of image reconstruction
US9317972B2 (en) 2012-12-18 2016-04-19 Qualcomm Incorporated User interface for augmented reality enabled devices
US9336629B2 (en) 2013-01-30 2016-05-10 F3 & Associates, Inc. Coordinate geometry augmented reality process
US9654761B1 (en) 2013-03-15 2017-05-16 Google Inc. Computer vision algorithm for capturing and refocusing imagery
US9269003B2 (en) * 2013-04-30 2016-02-23 Qualcomm Incorporated Diminished and mediated reality effects from reconstruction
US9886797B2 (en) 2013-08-13 2018-02-06 Boston Scientific Scimed, Inc. Comparative analysis of anatomical items
AU2013237718A1 (en) 2013-10-04 2015-04-23 Canon Kabushiki Kaisha Method, apparatus and system for selecting a frame
TWI530909B (zh) 2013-12-31 2016-04-21 財團法人工業技術研究院 影像合成系統及方法
US9589362B2 (en) 2014-07-01 2017-03-07 Qualcomm Incorporated System and method of three-dimensional model generation
US10915161B2 (en) 2014-12-11 2021-02-09 Intel Corporation Facilitating dynamic non-visual markers for augmented reality on computing devices
US20160232715A1 (en) 2015-02-10 2016-08-11 Fangwei Lee Virtual reality and augmented reality control with mobile devices
US9911242B2 (en) 2015-05-14 2018-03-06 Qualcomm Incorporated Three-dimensional model generation
US10304203B2 (en) 2015-05-14 2019-05-28 Qualcomm Incorporated Three-dimensional model generation
US10373366B2 (en) 2015-05-14 2019-08-06 Qualcomm Incorporated Three-dimensional model generation

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1022654A2 (en) * 1999-01-14 2000-07-26 Interuniversitair Microelektronica Centrum Vzw Concurrent timed digital system design method and environment
US6487304B1 (en) * 1999-06-16 2002-11-26 Microsoft Corporation Multi-view approach to motion and stereo
CN1668936A (zh) * 2002-09-06 2005-09-14 诺基亚公司 用于估计移动设备的位置的方法和系统
CN1866271A (zh) * 2006-06-13 2006-11-22 北京中星微电子有限公司 基于aam的头部姿态实时估算方法及系统
US8471890B1 (en) * 2009-12-30 2013-06-25 Insors Integrated Communications Adaptive video communication channel
CN102811482A (zh) * 2011-06-03 2012-12-05 苹果公司 移动设备位置估计
CN103578117A (zh) * 2012-08-01 2014-02-12 三菱电机株式会社 确定摄像头相对于环境的姿态的方法

Also Published As

Publication number Publication date
CN106688013A (zh) 2017-05-17
EP3175427A1 (en) 2017-06-07
JP2017529620A (ja) 2017-10-05
KR20170056563A (ko) 2017-05-23
WO2016043827A1 (en) 2016-03-24
US9607388B2 (en) 2017-03-28
US20160086336A1 (en) 2016-03-24
EP3175427B1 (en) 2017-12-06

Similar Documents

Publication Publication Date Title
CN106688013B (zh) 姿态估算的系统和方法
TWI543610B (zh) 電子裝置及其影像選擇方法
US10284789B2 (en) Dynamic generation of image of a scene based on removal of undesired object present in the scene
US10887519B2 (en) Method, system and apparatus for stabilising frames of a captured video sequence
CN110322542B (zh) 重建真实世界3d场景的视图
US10789717B2 (en) Apparatus and method of learning pose of moving object
CN112203095B (zh) 视频运动估计方法、装置、设备及计算机可读存储介质
KR20190127838A (ko) 카메라 자세 정보를 결정하기 위한 방법, 장치 및 디바이스, 그리고 저장 매체
US10254854B2 (en) Tracker for cursor navigation
US20120075433A1 (en) Efficient information presentation for augmented reality
WO2019042419A1 (zh) 图像跟踪点获取方法、设备及存储介质
CN110574025A (zh) 用于合并交错通道数据的卷积引擎
KR20130115332A (ko) 증강 현실 표현을 위한 2차원 이미지 캡쳐
WO2015095743A1 (en) Selection and tracking of objects for display partitioning and clustering of video frames
CN111462185A (zh) 跟踪器辅助的图像捕获
US10122912B2 (en) Device and method for detecting regions in an image
CN111357034A (zh) 点云生成方法、系统和计算机存储介质
US20200160560A1 (en) Method, system and apparatus for stabilising frames of a captured video sequence
CN109919190B (zh) 直线段匹配方法、装置、存储介质及终端
US20230016350A1 (en) Configurable keypoint descriptor generation
JP7334051B2 (ja) 画像処理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant