CN104364823B - 视觉辅助惯性相机姿势估计与仅基于视觉的相机姿势估计之间的自适应性切换 - Google Patents

视觉辅助惯性相机姿势估计与仅基于视觉的相机姿势估计之间的自适应性切换 Download PDF

Info

Publication number
CN104364823B
CN104364823B CN201380030992.6A CN201380030992A CN104364823B CN 104364823 B CN104364823 B CN 104364823B CN 201380030992 A CN201380030992 A CN 201380030992A CN 104364823 B CN104364823 B CN 104364823B
Authority
CN
China
Prior art keywords
target
posture
access control
control model
view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380030992.6A
Other languages
English (en)
Other versions
CN104364823A (zh
Inventor
A·拉马南达恩
克里斯托福·布鲁纳
M·拉马钱德兰
A·狄亚吉
D·克诺布劳赫
穆拉利·拉马斯瓦米·查里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN104364823A publication Critical patent/CN104364823A/zh
Application granted granted Critical
Publication of CN104364823B publication Critical patent/CN104364823B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/78—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
    • G01S3/782—Systems for determining direction or deviation from predetermined direction
    • G01S3/785—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system
    • G01S3/786—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system the desired condition being maintained automatically
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • User Interface Of Digital Computer (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Position Input By Displaying (AREA)

Abstract

移动装置使用视觉辅助惯性导航系统VINS跟踪相机与目标之间的相对姿势，所述视觉辅助惯性导航系统包含来自惯性传感器测量值的贡献及来自基于视觉的测量值的贡献。当所述移动装置检测到所述目标的移动时，减少或消除用以跟踪所述相机与所述目标之间的所述相对姿势的来自所述惯性传感器测量值的所述贡献。可通过比较来自所俘获图像的仅视觉测量值与基于惯性的测量值以确定是否存在指示所述目标己移动的偏差来检测所述目标的移动。另外或替代地，可使用从所俘获图像提取的特征向量的投影来检测所述目标的移动。

Description

视觉辅助惯性相机姿势估计与仅基于视觉的相机姿势估计之 间的自适应性切换
相关申请案的交叉参考
本申请案主张2012年6月14日申请且标题为“视觉辅助惯性导航系统与仅视觉姿势之间的自适应性切换(Adaptive Switching Between Vision Aided INS and VisionOnly Pose)”的第13/523,634号美国申请案的优先权，所述申请案转让给本受让人且以引用的方式并入本文中。
技术领域
本文所述的标的物的实施例涉及姿势确定，且更明确地说，涉及使用基于视觉的技术用于姿势确定。
背景技术
在扩增实境(AR)型应用中，确定且跟踪相机相对于成像环境的姿势(平移及姿态)。在仅视觉姿势方法中，使用所俘获图像(例如，视频帧)确定及跟踪相机相对于环境中的特征丰富目标的姿势。例如，在每一帧处估计仅视觉姿势，且使用统计模型来预测在下一帧处的姿势，从而提供用于姿势细化算法的起始点。
例如蜂窝式电话等现代装置通常配备有惯性传感器，所述惯性传感器能够测量装置相对于惯性帧的姿势的改变速率，其被称为惯性导航系统(INS)。由INS提供的信息可用以改进相机相对于目标的仅视觉姿势估计，因为绝对姿势(即，装置相对于惯性帧的姿势)与相对姿势(即，相机相对于目标的姿势)相差恒定的变换。仅视觉姿势与INS的组合通常称为视觉辅助INS(VINS)。
VINS方法比单独的仅视觉姿势或INS使用的信息更多，且因此，VINS通常比任一单独方法性能更好。尽管如此，在某些情形下，VINS方法与仅视觉方法相比性能不良。此外，VINS方法的性能可能会基于移动装置外部的条件而降级，且因此，降级可能是不可预测的。
发明内容
移动装置使用视觉辅助惯性导航系统(VINS)跟踪相机与目标之间的相对姿势，所述视觉辅助惯性导航系统包含来自惯性传感器测量值的贡献及来自基于视觉的测量值的贡献。当所述移动装置检测到所述目标的移动时，减少或消除用以跟踪所述相机与所述目标之间的所述相对姿势的来自所述惯性传感器测量值的所述贡献。可通过比较来自所俘获图像的仅视觉测量值与基于惯性的测量值以确定是否存在指示所述目标已移动的偏差来检测所述目标的移动。另外或替代地，可使用从所俘获图像提取的特征向量的投影来检测所述目标的移动。
在一个实施方案中，一种方法包含：使用来自惯性传感器测量值的贡献及来自基于视觉的测量值的贡献来跟踪相机与目标之间的相对姿势；检测所述目标的移动；以及当检测到所述目标的移动时，减少用以跟踪所述相机与所述目标之间的所述相对姿势的来自所述惯性传感器测量值的所述贡献。
在一个实施方案中，一种移动装置包含：相机，其能够俘获目标的图像；惯性传感器；以及处理器，其经耦合以接收所述目标的所俘获图像且经耦合以从所述惯性传感器接收信号，所述处理器经配置使用所述目标的所述所俘获图像产生基于视觉的测量值且使用来自所述惯性传感器的所述信号产生惯性传感器测量值，所述处理器经配置以使用来自所述惯性传感器测量值的贡献及来自所述基于视觉的测量值的贡献跟踪所述相机与所述目标之间的相对姿势，所述处理器进一步经配置以检测所述目标的移动，且当检测到所述目标的移动时减少用以跟踪所述相机与所述目标之间的所述相对姿势的来自所述惯性传感器测量值的所述贡献。
在一个实施方案中，一种移动装置包含：用于使用来自惯性传感器测量值的贡献及来自基于视觉的测量值的贡献来跟踪相机与目标之间的相对姿势的装置；用于检测所述目标的移动的装置；以及用于当检测到所述目标的移动时，减少用以跟踪所述相机与所述目标之间的所述相对姿势的来自所述惯性传感器测量值的所述贡献的装置。
在一个实施方案中，一种包含储存于其上的程序代码的非暂时性计算机可读媒体包含：用以使用来自惯性传感器测量值的贡献及来自基于视觉的测量值的贡献来跟踪相机与目标之间的相对姿势的程序代码；用以检测所述目标的移动的程序代码；以及用以当检测到所述目标的移动时，减少用以跟踪所述相机与所述目标之间的所述相对姿势的来自所述惯性传感器测量值的所述贡献的程序代码。
附图说明
图1说明能够通过在VINS追踪方法与仅视觉跟踪方法之间自适应性地切换而检测及跟踪目标的移动装置。
图2说明使用仅视觉方法及VINS方法产生的在不同时间及姿势下的固定目标及移动的移动装置的俯视图。
图3类似于图2，但说明使用仅视觉方法及VINS方法产生的在不同时间及姿势下的移动的移动装置及移动目标的俯视图。
图4是说明通过在目标固定时的VINS方法与目标正在移动时的仅视觉方法之间自适应性地切换而检测及跟踪目标的方法的流程图。
图5是说明使用通过基于视觉的测量值及惯性传感器测量值确定的姿势的至少一部分确定目标是否正在移动的方法的流程图。
图6是说明使用所投影特征向量确定目标是否正在移动的另一方法的流程图。
图7是能够通过在VINS方法与仅视觉方法之间自适应性地切换而检测及跟踪目标的移动装置的框图。
具体实施方式
图1说明能够通过在目标101固定时的VINS方法与目标正在移动时的仅视觉方法之间自适应性地切换而检测及跟踪目标101的移动装置100。在一些实施方案中，当检测到目标101的移动时，移动装置100可实质上减少惯性传感器测量值的贡献而非完全消除惯性传感器测量值的贡献。
如本文所使用，移动装置是指任何便携式电子装置，例如蜂窝式或其它无线通信装置、个人通信系统(PCS)装置、个人导航装置(PND)、个人信息管理器(PIM)、个人数字助理(PDA)，或其它合适移动装置，包含能够俘获环境的图像、可用于基于视觉的跟踪或VINS中的无线通信装置、计算机、膝上型计算机、平板计算机等。移动装置可能够接收无线通信和/或导航信号，例如导航定位信号。术语“移动装置”也意图包含(例如)通过短程无线、红外线、有线连接或其它连接与个人导航装置(PND)通信的装置，而不管在装置处或在PND处是否发生卫星信号接收、辅助数据接收和/或位置相关处理。
移动装置100包含显示器102，显示器102可为触摸屏显示器。移动装置100包含前置相机108以对例如目标101等环境进行成像，所述目标101说明为展示在显示器102上。由相机108产生的图像或帧被视觉姿势模块112用来产生基于计算机视觉的姿势。应理解，相机108可俘获图像和/或视频帧，且术语图像与帧在本文中可互换地使用。移动装置100还包含惯性传感器110，例如加速度计、陀螺仪或其类似者，其可用以辅助确定移动装置100的姿势。惯性传感器110的输出由惯性感测系统(inertial sensory system，INS)模块114用以确定移动装置的姿势改变，且可产生INS姿势。移动装置100进一步包含VINS模块116，所述VINS模块116组合来自基于视觉的姿势模块112的姿势与来自INS模块114的姿势。尽管分开说明INS模块114与VINS模块116，但应理解，INS模块114可为VINS模块116的部分。在操作中，移动装置100在目标101固定时使用VINS模块116来确定相对于目标101(即，相对于惯性参考帧)的姿势，且当目标101正在移动时切换到基于视觉的姿势模块112以确定相对于目标101的姿势。
移动装置100还可包含与本发明不相关的其它特征，例如扬声器104及麦克风106(例如，如果移动装置100为蜂窝式电话)。
图2说明固定目标101及移动的移动装置100在如由参考数字100t1及100t2识别的第一时间t1及第二时间t2处的俯视图。在第一时间t1，移动装置100的基于视觉的姿势模块112产生相对于目标101的第一姿势C(t1)。在第二时间t2，移动装置100的基于视觉的姿势模块112产生相对于目标101的第二姿势C(t2)。在第一时间t1与第二时间t2之间，移动装置100如所说明沿路径G(t1，t2)移动。INS模块114使用从惯性传感器110取样的信号来测量移动装置的位置改变G(t1，t2)。如由图2中的虚线所说明，当位置改变G(t1，t2)与第一姿势C(t1)组合，即G(t1，t2)*C(t1)(其可由INS模块114或VINS模块116执行)时，结果在理想情况下与第二姿势C(t2)相同。VINS模块116例如使用扩展卡尔曼滤波器(Extended Kalman filter)组合来自基于视觉的姿势模块112的姿势C(t2)的结果与由INS模块114产生的姿势G(t1，t2)*C(t1)以产生最终姿势。应理解，扩展卡尔曼滤波器的使用仅为一个可能的姿势估计器，且如果需要则可使用其它姿势估计器。
图3类似于图2，但说明移动的移动装置100及移动目标101在如由参考数字识别的第一时间t1及第二时间t2处的俯视图。基于视觉的姿势模块112估计目标101与相机108之间的相对姿势，而INS模块114对来自惯性传感器110的信号进行取样以测量所述姿势在惯性传感器110与惯性帧之间的改变速率。如果目标101相对于惯性帧固定，则惯性传感器测量值可原则上跟踪相机108相对于目标101的姿势的改变速率，如图2中所说明。然而，如果目标101移动，则目标101的运动影响基于视觉的姿势模块112，但不影响INS模块114。因此，如图3中所说明，因为目标101在时间t1与时间t2之间已移动，因此基于视觉的姿势模块112将产生姿势C′(t2)，其不同于针对如图2中所示的固定目标101产生的姿势C(t2)。然而，INS模块114仅使用从惯性传感器110取样的信号，且因此产生移动装置的姿势改变G(t1，t2)，其独立于目标101的位置改变。如由图3中的虚线所说明，来自INS模块114的所得姿势G(t1，t2)*C(t1)是相对于目标101在时间t1处的位置，且因此将不同于基于视觉的姿势C′(t2)，基于视觉的姿势C′(t2)是相对于在已移动之后在时间t2处的目标101。VINS模块116组合来自基于视觉的姿势模块112的姿势C′(t2)的结果与由INS模块114产生的姿势G(t1，t2)*C(t1)以产生不准确的组合姿势118。因此，可以看出，当目标101正在移动时，由基于视觉的姿势模块112自身产生的姿势比由VINS模块116产生的姿势更准确。因此，当目标101至相对于惯性系统移动时，来自基于视觉的姿势模块112的姿势应用作最准确的姿势。
图4是说明通过在目标固定时的VINS方法与目标正在移动时的仅视觉方法之间自适应性地切换而检测及跟踪目标的方法的流程图。如所说明，使用来自惯性传感器测量值的贡献及来自基于视觉的测量值的贡献跟踪相机与目标之间的相对姿势(202)。换句话说，执行VINS以跟踪相机与目标之间的姿势。VINS方法大体在上文参考图2及3加以描述，且为所属领域的技术人员所熟知。一股来说，VINS方法可通过组合使用基于视觉的技术确定的姿势与使用惯性传感器产生的姿势而估计姿势。如果需要，可对来自不同技术的姿势进行加权以产生估计的VINS姿势。作为实例，使用来自图2及3的参数，可如下确定VINS姿势，其中w1及w2为可调整加权因数。
方程式1
如果目标未移动(204)，则继续使用VINS方法(206)。另一方面，如果确定目标将移动(204)，则减少用以跟踪相机与目标之间的相对姿势的来自惯性传感器测量值的贡献(208)。作为实例，当检测到目标的移动时，可消除来自惯性传感器测量值的贡献以使得仅使用基于视觉的跟踪。基于视觉的跟踪的使用大体在上文参考图2及3加以描述，且为所属领域的技术人员所熟知。应理解，本发明涵盖实质上减少但不必完全消除来自惯性传感器测量值的贡献，例如通过调整方程式1中的加权因数以消除使用惯性传感器产生的姿势的影响的有意义效应。如果需要，则加权可基于目标运动检测中的置信度而变化。置信度的变化可由例如图像帧的质量、噪声等引起。举例来说，如果运动检测指示目标101正在移动，但置信度极低，则基于惯性的姿势的权重(例如，方程式1中的w1)可大于0，例如，W1＝0.3。另一方面，如果检测的置信度高，则基于惯性的姿势的权重可较接近于或等于零。当检测到目标的运动已停止时，移动装置可切换回到VINS方法，其中使用来自惯性传感器测量值的贡献来跟踪相机与目标之间的相对姿势。
另外，如所说明，可仅当确定相机固定(203)时才执行对目标的移动的检测(204)，即，忽略由手部抖动或其类似者造成的小移动。可基于来自惯性传感器110的测量值来确定相机是固定还是移动。举例来说，可计算预定时间周期内的来自可为例如陀螺仪的惯性传感器110的测量值的范数的标准差，且如果所述标准差高于某一阈值，则可推断移动装置处于运动中。如果确定移动装置100将移动，则使用继续VINS(206)。如果确定移动装置100将固定，则移动装置100可继续评估目标是否正在移动(204)，如上文所论述。一股来说，确定移动装置100固定是有用的，因为当移动装置固定时，基于视觉的姿势估计更准确，这是由于减轻了如运动模糊及滚动快等运动假影。因此，稳健性增大，且存在目标运动的错误检测的较小概率。
存在若干方式来检测目标的运动(204)。如上文所论述，当目标101固定时，使用惯性传感器测量值产生的姿势估计将与使用基于视觉的技术产生的姿势估计大致相同。另一方面，当目标101移动时，目标的运动将影响使用基于视觉的技术的产生的姿势估计，但不影响使用惯性传感器测量值产生的姿势估计。因此，姿势估计的偏差或所确定的姿势改变可用以确定目标101是固定还是正在移动。
图5是说明使用通过基于视觉的测量值及惯性传感器测量值确定的姿势的至少一部分确定目标是否正在移动的方法的流程图。如所说明，确定相机相对于目标的基于视觉的姿势的至少一部分(302)。作为实例，如果需要，则可仅确定例如来自基于视觉的姿势模块112的基于视觉的姿态，由此检测目标相对于相机的旋转。或者，可使用平移向量而非姿态。基于惯性传感器测量值确定相机的基于惯性的姿势的至少一部分的改变(304)。再次，如果需要，可仅确定例如来自INS模块114的基于惯性的姿态。或者，可使用平移向量而非姿态。可例如通过对在预定时间窗内来自惯性传感器110的样本信号求积分来确定基于惯性的姿势的至少一部分的改变。时间量(即，积分间隔)应足够小以便限制由姿态误差引起的传感器偏差及重力分量的积分效应，但应足够长以使得目标运动效应可检测地不同于背景传感器噪声。应理解，使用平移向量及姿态来检测移动在数学上等效于使用平移加速度、平移速度、角加速度及角速度。
使用基于视觉的姿势的至少一部分及基于惯性的姿势的至少一部分的改变来检测目标的移动(306)。在一个实例中，基于视觉的姿势可与基于惯性的姿势(使用基于惯性的姿势的改变所确定)进行比较，所述基于惯性的姿势的改变与阈值进行比较以确定目标是否已移动。在另一实例中，基于惯性的姿势的改变可与基于视觉的姿势的改变(使用多个基于视觉的姿势所确定)进行比较，所述基于视觉的姿势的改变与阈值进行比较以确定目标是否已移动。姿势之间的差异或姿势的改变可确定为针对惯性传感器测量噪声按比例缩放的姿势差异或姿势改变的范数。所使用的阈值应足够小以检测小的移动，但应足够大以排除例如手部抖动等无意移动。
在其中基于视觉的姿势与基于惯性的姿势进行比较的实例中，使用基于惯性的姿势的至少一部分的改变来确定基于惯性的姿势的至少所述部分。作为说明，基于惯性的姿态的改变可与先前基于视觉的姿态组合以确定当前基于惯性的姿态。基于视觉的姿势的至少所述部分与基于惯性的姿势的至少所述部分之间的差异可经确定且与阈值进行比较以确定目标已移动。
在其中基于惯性的姿势的改变与基于视觉的姿势的改变进行比较的实例中，可基于基于视觉的姿势的至少一部分及较早基于视觉的姿势的至少一部分确定所述基于视觉的姿势的至少一部分的改变。作为说明，第一基于视觉的姿态可与第二基于视觉的姿态进行比较以确定基于视觉的姿态的改变。基于惯性的姿势的至少一部分的改变与基于视觉的姿势的至少一部分的改变之间的差异可经确定且与阈值进行比较以确定目标是否已移动。
另外或替代地，在使用紧密耦合的VINS方法时，可通过投影所俘获图像中的特征向量而检测目标101的移动。图6是说明使用所投影特征向量来检测目标的移动的流程图。如所说明，从所俘获图像提取特征(402)。可使用加速稳健特征(Speeded UP RobustFeature，SURF)、尺度不变特征变换(Scale-invariant Feature Transform，SIFT)或任何其它所要特征提取技术来提取特征。基于来自惯性传感器的测量值预测特征向量的投影(404)。将特征向量的预测投影与随后俘获图像中的所提取特征进行比较(406)。将可为平均差异或其它统计度量的差异与阈值进行比较以确定目标是否正在移动(408)。
图7是能够使用所描述过程通过在VINS方法与目标正在移动时的仅视觉方法之间自适应性地切换而检测及跟踪目标101的移动装置100的框图。移动装置100包含：相机108，其俘获目标101的图像，例如，作为视频帧；以及惯性传感器110。惯性传感器110可例如为加速度计、陀螺仪或其类似者。移动装置100可包括用户接口120，所述用户接口120包含显示器102及小键盘122或用户可借以将信息输入到移动装置100中的其它输入装置。用户接口120还可包含扬声器104及麦克风106，例如当移动装置为蜂窝式电话或其类似者时。当然，移动装置100可包含与本发明不相关的其它元件。
移动装置100还包含连接到相机108及惯性传感器110且与之通信的控制单元150。控制单元150可由总线150b、处理器152及相关联的存储器154提供，且可包含硬件156、软件158及固件160。控制单元150可包含基于视觉的姿势模块112，所述基于视觉的姿势模块112使用惯性传感器110所俘获的图像确定相机108且因此确定移动装置100相对于目标的姿势。控制单元150可进一步包含INS模块114，所述INS模块114基于从惯性传感器110取样的信号确定移动装置的姿势改变。INS模块114可使用来自惯性传感器的所确定姿势改变及来自基于视觉的姿势模块112的先前确定的移动装置姿势而确定移动装置相对于目标的姿势。控制单元150进一步包含VINS模块116，所述VINS模块116组合来自基于视觉的姿势模块112的姿势与来自INS模块114的姿势(或姿势改变)。控制单元150额外包含目标运动检测模块162，所述目标运动检测模块162检测目标是否正在移动，如上文所论述。
例如基于视觉的姿势模块112、INS模块114、VINS模块116及目标运动检测模块162的各种处理单元为了清楚起见而说明为彼此分开且与处理器152分开，但可组合在一起，例如，INS模块114可为VINS模块116的部分和/或处理器152的部分，或基于在处理器152中运行的软件158中的指令而实施于处理器中。将理解，如本文所使用，处理器152和/或各种处理单元可但不一定需要包含一或多个微处理器、嵌入式处理器、控制器、专用集成电路(ASIC)、数字信号处理器(DSP)，及其类似者。术语处理器意欲描述由系统而非特定硬件实施的功能。此外，如本文中所使用，术语“存储器”指代任何类型的计算机存储媒体，包含长期存储器、短期存储器或与移动装置相关联的其它存储器，且不应限于任何特定类型的存储器或特定数目的存储器，或其上存储有存储器的特定类型的媒体。
取决于应用，可通过各种装置实施本文中所描述的方法。举例来说，可以硬件156、固件160、软件158或其任何组合实施这些方法。对于硬件实施方案，处理单元可实施于一或多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、电子装置、经设计以执行本文中所描述的功能的其它电子单元，或其组合内。
对于固件和/或软件实施方案，可用执行本文中所描述的功能的模块(例如，程序、功能等等)实施方法。在实施本文所述的方法时，可以使用有形地体现指令的任何机器可读媒体。举例来说，软件代码可存储在存储器154中且由处理器152执行。存储器可在处理器152内或外部实施。如果在固件和/或软件中实施，那么可将所述功能作为一或多个指令或代码存储在计算机可读媒体上。实例包含经编码有数据结构的非暂时性计算机可读媒体，和经编码有计算机程序的计算机可读媒体。计算机可读媒体包括物理计算机存储媒体。存储媒体可为可由计算机存取的任何可用媒体。作为实例而非限制，此类计算机可读媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置，或可用于存储呈指令或数据结构形式的所需程序代码且可由计算机存取的任何其它媒体；在本文中使用时，磁盘和光盘包括压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)，软性磁盘和蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘用激光以光学方式再现数据。上述各项的组合也应包含在计算机可读媒体的范围内。
在一个实施方案中，移动装置包含用于使用来自惯性传感器测量值的贡献及来自基于视觉的测量值的贡献来跟踪相机与目标之间的相对姿势的装置，所述装置可为例如VINS模块116或处理器152。所述移动装置可进一步包含用于检测所述目标的移动的装置，所述装置可为目标运动检测模块162或处理器152。所述移动装置可进一步包含用于当检测到所述目标的移动时，减少用以跟踪所述相机与所述目标之间的所述相对姿势的来自所述惯性传感器测量值的贡献的装置，所述装置可为VINS模块116、基于视觉的姿势模块112或处理器152。另外，所述用于检测所述目标的移动的装置可包含：用于确定相机相对于目标的基于视觉的姿势的至少一部分的装置，其可为例如基于视觉的姿势模块112或处理器152；用于基于惯性传感器测量值确定相机的基于惯性的姿势的至少一部分的改变的装置，其可为INS模块114或处理器152；以及用于使用基于视觉的姿势的至少所述部分及基于惯性的姿势的至少所述部分的改变来检测目标的移动的装置，其可为例如目标运动检测模块162或处理器152。所述移动装置可额外包含用于在检测到目标的移动之前确定相机固定的装置，所述装置可为例如惯性传感器110、INS模块114或处理器152。另外，用于检测目标的移动的装置可包含用于基于惯性传感器测量值使用特征向量的投影的装置，所述装置可为例如基于视觉的姿势模块112、INS模块114、目标运动检测模块162或处理器152。
尽管出于指导性目的而结合特定实施例来说明本发明，但本发明不限于此。在不脱离本发明的范围的情况下可作出各种调适和修改。因此，不应将所附权利要求书的精神和范围限于前述描述。

Claims (23)

1.一种用于姿势确定的方法，其包括：
使用来自惯性传感器测量值的贡献及来自基于视觉的测量值的贡献来跟踪相机与目标之间的相对姿势；
其中来自所述惯性传感器测量值的所述贡献是加权的贡献，并且来自所述基于视觉的测量值的所述贡献是加权的贡献；
检测所述目标的移动；以及
当检测到所述目标的移动时，减少用以跟踪所述相机与所述目标之间的所述相对姿势的来自所述惯性传感器测量值的所加权的贡献；
其中，加权基于目标运动检测中的置信度而变化。
2.根据权利要求1所述的方法，其中减少来自所述惯性传感器测量值的所加权的贡献包括消除来自所述惯性传感器测量值的所加权的贡献，其中当检测到所述目标的所述移动时，仅使用基于视觉的测量值来跟踪所述相机与所述目标之间的所述相对姿势。
3.根据权利要求1所述的方法，其中检测所述目标的移动包括：
确定所述相机相对于所述目标的基于视觉的姿势的至少一部分；
基于惯性传感器测量值确定所述相机的基于惯性的姿势的至少一部分的改变；以及
使用所述基于视觉的姿势的至少所述部分及所述基于惯性的姿势的至少所述部分的所述改变来检测所述目标的所述移动。
4.根据权利要求3所述的方法，其中：
所述基于视觉的姿势的至少所述部分包括基于视觉的姿态；
所述基于惯性的姿势的至少所述部分的所述改变包括基于惯性的姿态的改变；且
使用所述基于视觉的姿势的至少所述部分及所述基于惯性的姿势的至少所述部分的所述改变包括使用所述基于视觉的姿态及所述基于惯性的姿态的所述改变来检测所述目标的所述移动。
5.根据权利要求3所述的方法，其进一步包括：
确定所述基于视觉的姿势的至少所述部分的改变；
其中使用所述基于视觉的姿势的至少所述部分及所述基于惯性的姿势的至少所述部分的所述改变包括：
确定所述基于惯性的姿势的至少所述部分的所述改变与所述基于视觉的姿势的至少所述部分的所述改变之间的差异；
将所述差异与阈值进行比较以确定所述目标已移动。
6.根据权利要求3所述的方法，其进一步包括：
使用所述基于惯性的姿势的至少所述部分的所述改变确定基于惯性的姿势的至少一部分；
其中使用所述基于视觉的姿势的至少所述部分及所述基于惯性的姿势的至少所述部分的所述改变包括：
确定所述基于视觉的姿势的至少所述部分与所述基于惯性的姿势的至少所述部分之间的差异；
将所述差异与阈值进行比较以确定所述目标已移动。
7.根据权利要求1所述的方法，其进一步包括在检测到所述目标的所述移动之前确定所述相机为固定的。
8.根据权利要求1所述的方法，其中检测所述目标的移动包括基于所述惯性传感器测量值使用特征向量的投影。
9.根据权利要求8所述的方法，其进一步包括：
从所俘获图像提取特征；
基于所述惯性传感器测量值预测特征向量的所述投影；
将特征向量的所述投影与从所俘获图像提取的所述特征进行比较以确定差异；以及
将所述差异与阈值进行比较以确定所述目标已移动。
10.一种用于姿势确定的移动装置，其包括：
相机，其能够俘获目标的图像；
惯性传感器；以及
处理器，其经耦合以接收所述目标的所俘获图像且经耦合以从所述惯性传感器接收信号，所述处理器经配置使用所述目标的所述所俘获图像产生基于视觉的测量值且使用来自所述惯性传感器的所述信号产生惯性传感器测量值，所述处理器经配置以使用来自所述惯性传感器测量值的贡献及来自所述基于视觉的测量值的贡献跟踪所述相机与所述目标之间的相对姿势，其中来自所述惯性传感器测量值的所述贡献是加权的贡献，并且来自所述基于视觉的测量值的所述贡献是加权的贡献，所述处理器进一步经配置以检测所述目标的移动，且当检测到所述目标的移动时减少用以跟踪所述相机与所述目标之间的所述相对姿势的来自所述惯性传感器测量值的所加权的贡献，其中，加权基于目标运动检测中的置信度而变化。
11.根据权利要求10所述的移动装置，其中所述处理器经配置以通过经配置以消除来自所述惯性传感器测量值的所加权的贡献而减少来自所述惯性传感器测量值的所加权的贡献，其中所述处理器经配置以当检测到所述目标的所述移动时仅利用所述基于视觉的测量值跟踪所述相机与所述目标之间的所述相对姿势。
12.根据权利要求10所述的移动装置，其中所述处理器经配置以通过经配置以进行以下操作而检测所述目标的移动：
确定所述相机相对于所述目标的基于视觉的姿势的至少一部分；
基于惯性传感器测量值确定所述相机的基于惯性的姿势的至少一部分的改变；以及
使用所述基于视觉的姿势的至少所述部分及所述基于惯性的姿势的至少所述部分的所述改变来检测所述目标的移动。
13.根据权利要求12所述的移动装置，其中：
所述基于视觉的姿势的至少所述部分包括基于视觉的姿态；
所述基于惯性的姿势的至少所述部分的所述改变包括基于惯性的姿态的改变；且所述处理器经配置以通过经配置以使用所述基于视觉的姿态及所述基于惯性的姿态的所述改变来检测所述目标的所述移动而使用所述基于视觉的姿势的至少所述部分及所述基于惯性的姿势的至少所述部分的所述改变。
14.根据权利要求12所述的移动装置，所述处理器进一步经配置以确定所述基于视觉的姿势的至少所述部分的改变，其中所述处理器经配置以通过经配置以进行以下操作而使用所述基于视觉的姿势的至少所述部分及所述基于惯性的姿势的至少所述部分的所述改变：
确定所述基于惯性的姿势的至少所述部分的所述改变与所述基于视觉的姿势的至少所述部分的所述改变之间的差异；
将所述差异与阈值进行比较以确定所述目标已移动。
15.根据权利要求12所述的移动装置，所述处理器进一步经配置以使用基于惯性的姿势的至少一部分的改变来确定所述基于惯性的姿势的至少所述部分；其中所述处理器经配置以通过经配置以进行以下操作而使用所述基于视觉的姿势的至少所述部分及所述基于惯性的姿势的至少所述部分的所述改变：
确定所述基于视觉的姿势的至少所述部分与所述基于惯性的姿势的至少所述部分之间的差异；
将所述差异与阈值进行比较以确定所述目标已移动。
16.根据权利要求10所述的移动装置，所述处理器进一步经配置以在检测到所述目标的所述移动之前确定所述相机为固定的。
17.根据权利要求10所述的移动装置，其中所述处理器经配置以通过经配置以基于所述惯性传感器测量值使用特征向量的投影而检测所述目标的移动。
18.根据权利要求17所述的移动装置，其中所述处理器进一步经配置以进行以下操作：
从所俘获图像提取特征；
基于所述惯性传感器测量值预测特征向量的所述投影；
将特征向量的所述投影与从所俘获图像提取的所述特征进行比较以确定差异；以及
将所述差异与阈值进行比较以确定所述目标已移动。
19.一种用于姿势确定的移动装置，其包括：
用于使用来自惯性传感器测量值的贡献及来自基于视觉的测量值的贡献来跟踪相机与目标之间的相对姿势的装置，其中来自所述惯性传感器测量值的所述贡献是加权的贡献，并且来自所述基于视觉的测量值的所述贡献是加权的贡献；
用于检测所述目标的移动的装置；以及
用于当检测到所述目标的移动时，减少用以跟踪所述相机与所述目标之间的所述相对姿势的来自所述惯性传感器测量值的所加权的贡献的装置，其中加权基于目标运动检测中的置信度而变化。
20.根据权利要求19所述的移动装置，其中所述用于减少来自所述惯性传感器测量值的所加权的贡献的装置消除来自所述惯性传感器测量值的所加权的贡献。
21.根据权利要求19所述的移动装置，其中所述用于检测所述目标的移动的装置包括：
用于确定所述相机相对于所述目标的基于视觉的姿势的至少一部分的装置；
用于基于惯性传感器测量值确定所述相机的基于惯性的姿势的至少一部分的改变的装置；以及
用于使用所述基于视觉的姿势的至少所述部分及所述基于惯性的姿势的至少所述部分的所述改变来检测所述目标的移动的装置。
22.根据权利要求19所述的移动装置，其进一步包括用于在检测到所述目标的所述移动之前确定所述相机固定的装置。
23.根据权利要求19所述的移动装置，其中所述用于检测所述目标的移动的装置包括用于基于所述惯性传感器测量值使用特征向量的投影的装置。
CN201380030992.6A 2012-06-14 2013-06-10 视觉辅助惯性相机姿势估计与仅基于视觉的相机姿势估计之间的自适应性切换 Active CN104364823B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/523,634 2012-06-14
US13/523,634 US9123135B2 (en) 2012-06-14 2012-06-14 Adaptive switching between vision aided INS and vision only pose
PCT/US2013/045012 WO2013188308A1 (en) 2012-06-14 2013-06-10 Adaptive switching between a vision aided intertial camera pose estimation and a vision based only camera pose estimation

Publications (2)

Publication Number Publication Date
CN104364823A CN104364823A (zh) 2015-02-18
CN104364823B true CN104364823B (zh) 2017-07-18

Family

ID=48670855

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380030992.6A Active CN104364823B (zh) 2012-06-14 2013-06-10 视觉辅助惯性相机姿势估计与仅基于视觉的相机姿势估计之间的自适应性切换

Country Status (9)

Country Link
US (1) US9123135B2 (zh)
EP (1) EP2862146B1 (zh)
JP (1) JP6140278B2 (zh)
KR (1) KR102029896B1 (zh)
CN (1) CN104364823B (zh)
ES (1) ES2883277T3 (zh)
IN (1) IN2014MN02390A (zh)
TW (1) TWI518640B (zh)
WO (1) WO2013188308A1 (zh)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9766074B2 (en) 2008-03-28 2017-09-19 Regents Of The University Of Minnesota Vision-aided inertial navigation
US9159133B2 (en) * 2012-11-05 2015-10-13 Qualcomm Incorporated Adaptive scale and/or gravity estimation
WO2014130854A1 (en) 2013-02-21 2014-08-28 Regents Of The Univesity Of Minnesota Extrinsic parameter calibration of a vision-aided inertial navigation system
US9367811B2 (en) * 2013-03-15 2016-06-14 Qualcomm Incorporated Context aware localization, mapping, and tracking
US9607401B2 (en) 2013-05-08 2017-03-28 Regents Of The University Of Minnesota Constrained key frame localization and mapping for vision-aided inertial navigation
US10055009B2 (en) * 2014-05-30 2018-08-21 Apple Inc. Dynamic display refresh rate based on device motion
US10012504B2 (en) * 2014-06-19 2018-07-03 Regents Of The University Of Minnesota Efficient vision-aided inertial navigation using a rolling-shutter camera with inaccurate timestamps
US9658070B2 (en) 2014-07-11 2017-05-23 Regents Of The University Of Minnesota Inverse sliding-window filters for vision-aided inertial navigation systems
TWI524758B (zh) 2014-12-09 2016-03-01 財團法人工業技術研究院 電子裝置及其漸增式姿態估算及攝影方法
US9984301B2 (en) * 2015-04-20 2018-05-29 Qualcomm Incorporated Non-matching feature-based visual motion estimation for pose determination
KR102462799B1 (ko) * 2015-11-05 2022-11-03 삼성전자주식회사 자세 추정 방법 및 자세 추정 장치
US10203209B2 (en) 2016-05-25 2019-02-12 Regents Of The University Of Minnesota Resource-aware large-scale cooperative 3D mapping using multiple mobile devices
US11466990B2 (en) 2016-07-22 2022-10-11 Regents Of The University Of Minnesota Square-root multi-state constraint Kalman filter for vision-aided inertial navigation system
JP6601352B2 (ja) * 2016-09-15 2019-11-06 株式会社デンソー 車両姿勢推定装置
US10503245B2 (en) 2016-09-21 2019-12-10 Apple Inc. Relative intertial measurement system
CN106550188B (zh) * 2016-10-13 2019-04-02 中国科学院上海技术物理研究所 一种基于惯导信息的长线列红外电子稳像方法
TWI601099B (zh) * 2016-11-16 2017-10-01 Chunghwa Telecom Co Ltd Camera attitude estimation method
US10510160B2 (en) * 2016-12-20 2019-12-17 Samsung Electronics Co., Ltd. Multiscale weighted matching and sensor fusion for dynamic vision sensor tracking
CN106851050B (zh) * 2017-03-13 2020-04-24 Oppo广东移动通信有限公司 运动检测方法和装置、移动设备
US10839547B2 (en) * 2017-09-28 2020-11-17 Samsung Electronics Co., Ltd. Camera pose determination and tracking
US10529074B2 (en) * 2017-09-28 2020-01-07 Samsung Electronics Co., Ltd. Camera pose and plane estimation using active markers and a dynamic vision sensor
GB2567012B (en) * 2017-10-02 2021-05-12 Advanced Risc Mach Ltd Motion Sensing
US10907971B2 (en) 2017-12-08 2021-02-02 Regents Of The University Of Minnesota Square root inverse Schmidt-Kalman filters for vision-aided inertial navigation and mapping
JP2021060627A (ja) * 2018-02-07 2021-04-15 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US11940277B2 (en) 2018-05-29 2024-03-26 Regents Of The University Of Minnesota Vision-aided inertial navigation system for ground vehicle localization
CN109598688A (zh) * 2018-12-06 2019-04-09 联想(北京)有限公司 一种处理方法及电子设备
CN111371982B (zh) * 2018-12-25 2021-11-30 北京初速度科技有限公司 一种数据同步方法及处理器、车载终端
US10955245B2 (en) 2019-04-30 2021-03-23 Samsung Electronics Co., Ltd. System and method for low latency, high performance pose fusion
US11776153B2 (en) * 2019-10-08 2023-10-03 Zebra Technologies Corporation Method, system and apparatus for mobile dimensioning
WO2021097807A1 (zh) * 2019-11-22 2021-05-27 深圳市大疆创新科技有限公司 一种探测装置的外参数标定方法、装置及可移动平台
CN113074726A (zh) * 2021-03-16 2021-07-06 深圳市慧鲤科技有限公司 位姿确定方法及装置、电子设备和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6064749A (en) * 1996-08-02 2000-05-16 Hirota; Gentaro Hybrid tracking for augmented reality using both camera motion detection and landmark tracking
CN101154289A (zh) * 2007-07-26 2008-04-02 上海交通大学 基于多目相机的三维人体运动跟踪的方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003281504A (ja) * 2002-03-22 2003-10-03 Canon Inc 撮像部位置姿勢推定装置及びその制御方法並びに複合現実感提示システム
JP4185052B2 (ja) * 2002-10-15 2008-11-19 ユニバーシティ オブ サザン カリフォルニア 拡張仮想環境
AU2003300959A1 (en) 2002-12-17 2004-07-22 Evolution Robotics, Inc. Systems and methods for visual simultaneous localization and mapping
JP4532856B2 (ja) * 2003-07-08 2010-08-25 キヤノン株式会社 位置姿勢計測方法及び装置
US20100013917A1 (en) * 2003-08-12 2010-01-21 Keith Hanna Method and system for performing surveillance
US7650016B2 (en) * 2004-07-30 2010-01-19 Lockheed Martin Corporation System and method for tracking motion of an object image
US20070070069A1 (en) 2005-09-26 2007-03-29 Supun Samarasekera System and method for enhanced situation awareness and visualization of environments
JP5362189B2 (ja) * 2006-05-10 2013-12-11 株式会社トプコン 画像処理装置及びその処理方法
US8059887B2 (en) * 2006-09-25 2011-11-15 Sri International System and method for providing mobile range sensing
US8229163B2 (en) 2007-08-22 2012-07-24 American Gnc Corporation 4D GIS based virtual reality for moving target prediction
US20090110267A1 (en) 2007-09-21 2009-04-30 The Regents Of The University Of California Automated texture mapping system for 3D models
US8374388B2 (en) * 2007-12-28 2013-02-12 Rustam Stolkin Real-time tracking of non-rigid objects in image sequences for which the background may be changing
US9766074B2 (en) 2008-03-28 2017-09-19 Regents Of The University Of Minnesota Vision-aided inertial navigation
US8731239B2 (en) * 2009-12-09 2014-05-20 Disney Enterprises, Inc. Systems and methods for tracking objects under occlusion
TWI393074B (zh) * 2009-12-10 2013-04-11 Ind Tech Res Inst 移動物體偵測裝置與方法
US8335348B2 (en) * 2009-12-14 2012-12-18 Indian Institute Of Technology Bombay Visual object tracking with scale and orientation adaptation
US8494225B2 (en) 2010-02-19 2013-07-23 Julian L. Center Navigation method and aparatus
JP5455124B2 (ja) * 2010-04-01 2014-03-26 国立大学法人鳥取大学 カメラ姿勢パラメータ推定装置
US8531504B2 (en) 2010-06-11 2013-09-10 Intel Corporation System and method for 3D video stabilization by fusing orientation sensor readings and image alignment estimates
JP5738569B2 (ja) 2010-10-15 2015-06-24 任天堂株式会社 画像処理プログラム、装置、システムおよび方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6064749A (en) * 1996-08-02 2000-05-16 Hirota; Gentaro Hybrid tracking for augmented reality using both camera motion detection and landmark tracking
CN101154289A (zh) * 2007-07-26 2008-04-02 上海交通大学 基于多目相机的三维人体运动跟踪的方法

Also Published As

Publication number Publication date
US9123135B2 (en) 2015-09-01
IN2014MN02390A (zh) 2015-08-21
KR102029896B1 (ko) 2019-10-08
JP6140278B2 (ja) 2017-05-31
CN104364823A (zh) 2015-02-18
TW201411555A (zh) 2014-03-16
ES2883277T3 (es) 2021-12-07
WO2013188308A1 (en) 2013-12-19
KR20150023720A (ko) 2015-03-05
TWI518640B (zh) 2016-01-21
US20130335562A1 (en) 2013-12-19
JP2015528936A (ja) 2015-10-01
EP2862146B1 (en) 2021-07-14
EP2862146A1 (en) 2015-04-22

Similar Documents

Publication Publication Date Title
CN104364823B (zh) 视觉辅助惯性相机姿势估计与仅基于视觉的相机姿势估计之间的自适应性切换
CN103514432B (zh) 人脸特征提取方法、设备和计算机程序产品
US9674507B2 (en) Monocular visual SLAM with general and panorama camera movements
CN104870941B (zh) 分离的基于计算机视觉的姿势与基于惯性传感器的姿势的显示
EP3407302B1 (en) Information processing device, information processing method, and recording medium
JP2016514251A (ja) カメラ補助による動き方向および速度推定
JP5774226B2 (ja) 方位センサに基づくホモグラフィ分解の曖昧性の解決
CN110390685B (zh) 一种基于事件相机的特征点跟踪方法
US11042984B2 (en) Systems and methods for providing image depth information
JP5960375B2 (ja) モーションブラー感知ビジュアルポーズ追跡
Aubeck et al. Camera based step detection on mobile phones
CN113438409B (zh) 延迟校准方法、装置、计算机设备和存储介质
CN112087728B (zh) 获取Wi-Fi指纹空间分布的方法、装置和电子设备
US11756215B2 (en) Image processing device, image processing method, and image processing program
KR101491413B1 (ko) 단말기의 모노 카메라에 입력된 손가락 영상을 이용한 3차원 좌표 생성 방법 및 모노 카메라에 입력된 손가락 영상을 이용하여 3차원 좌표를 생성하는 이동 단말기
US10955939B2 (en) Method for estimating the orientation of a portable device
KR101382806B1 (ko) 단말기의 카메라에 입력된 손가락 영상을 이용한 3차원 좌표 생성 방법 및 카메라에 입력된 손가락 영상을 이용하여 3차원 좌표를 생성하는 이동 단말기
KR101396098B1 (ko) 단말기의 모노 카메라에 입력된 손가락 영상을 이용한 3차원 좌표 생성 방법 및 모노 카메라에 입력된 손가락 영상을 이용하여 3차원 좌표를 생성하는 이동 단말기
CN115393427A (zh) 一种相机位姿的确定方法、装置、计算机设备和存储介质
KR20180068348A (ko) 스마트폰 기반 가상현실 환경에서 사용자의 자세 추론 방법
JP2014110029A (ja) ポインティングシステム、ポインティング方法、表示装置および電子装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant