CN103875020A - 基于定向传感器解决单应性分解不明确性 - Google Patents

基于定向传感器解决单应性分解不明确性 Download PDF

Info

Publication number
CN103875020A
CN103875020A CN201280050170.XA CN201280050170A CN103875020A CN 103875020 A CN103875020 A CN 103875020A CN 201280050170 A CN201280050170 A CN 201280050170A CN 103875020 A CN103875020 A CN 103875020A
Authority
CN
China
Prior art keywords
homography
measured value
pitching
driftage
roll angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201280050170.XA
Other languages
English (en)
Other versions
CN103875020B (zh
Inventor
蒋博兰
迪拉杰·阿胡贾
克里斯托福·布鲁纳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN103875020A publication Critical patent/CN103875020A/zh
Application granted granted Critical
Publication of CN103875020B publication Critical patent/CN103875020B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/022Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by means of tv-camera scanning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

将平坦对象的两个所俘获图像之间的单应性分解为至少一个可能的解,且通常至少两个不明确的解。使用来自定向传感器的测量值移除所述两个解之间的不明确性,或使单一解生效。可通过将从所述一个或一个以上解的相对旋转矩阵导出的偏航、俯仰和/或横摇角中的至少一者与从来自定向传感器的所述测量值导出的偏航、俯仰和/或横摇角中的对应至少一者进行比较而使用来自所述定向传感器的所述测量值。

Description

基于定向传感器解决单应性分解不明确性
待决临时申请案的交叉参考
本申请案主张2011年12月2日申请的且标题为“基于定向传感器解决单应性分解不明确性(Resolving Homography Decomposition Ambiguity Based on OrientationSensors)”的第13/310,204号美国专利申请案的优先权,所述专利申请案又依据35USC119主张2011年9月12日申请的且标题为“解决单应性分解不明确性(ResolvingHomography Decomposition Ambiguity)”的第61/533,733号美国临时专利申请案的优先权,其两者均指派给本受让人且全文以引用的方式并入本文中。
背景技术
基于视觉的跟踪技术使用移动平台俘获的图像来确定移动平台相对于环境中的对象的位置和定向(方位)。跟踪对于例如导航和扩增现实(其中将虚拟对象插入到用户对现实世界的视图中)等许多应用是有用的。
一种类型的基于视觉的跟踪通过检测环境中的平坦表面而初始化参考斑块。所述表面通常使用表面的多个图像检测,计算两个图像之间的单应性且将其用于估计表面上检测到的点的3D位置。同一平坦表面的任何两个相机图像通过3x3单应性矩阵h相关。单应性h可分解为两个图像之间的旋转R和平移t。方位信息[Rlt]可接着用于导航、扩增现实或其它此类应用。
然而,在大多数情况下,单应性h的分解产生多个可能的解。然而,这些解的仅一者表示实际平坦表面。因此,单应性h的分解中存在必须解决的不明确性。解决单应性分解不明确性的已知方法需要使用额外信息来选择正确的解,例如平坦表面的额外图像或先前知识。
借助实例,例如Georg Klein和David Murray“照相手机上的并行跟踪和映射(ParallelTracking and Mapping on a Camera Phone)”(混合和扩增现实国际研讨会(ISMAR)会议记录中,4页,2009年(“PTAM”))描述的跟踪技术遭遇单应性分解之后方位选择的不明确性。PTAM需要额外视频帧(即,图像)来解决所述不明确性。对于每一可能的解,PTAM计算3D相机方位且针对若干后续帧比较方位重投影误差。当一个解的平均投影误差大于另一者(例如大两倍)时,消除具有较大误差的解。然而,使用方位重投影解决不明确性花费较长时间收敛且有时产生不正确的结果。
用于解决不明确性的另一方法是选择具有最接近相机的初始定向的法线的单应性解。然而,此方法限制用户始终接近正面定向而开始且移动相机远离所述位置。
在D.Santosh Kumar和C.V.Jawahar“用于逐段平坦环境中的相机定位的稳健的基于单应性的控制(Robust Homography-Based Control for Camera Positioning in PiecewisePlanar Environments)”(印度计算机视觉、图形和图像处理会议(ICVGIP),906-918(2006))描述的方法中,需要空间中的另一平坦表面,或需要关于平面的先前知识来选择正确的解。因此,此方法具有有限的实际应用。
发明内容
将平坦对象的两个所俘获图像之间的单应性分解为至少一个可能的解,且通常至少两个不明确解。使用来自定向传感器的测量值移除所述两个解之间的不明确性,或使单一解生效。可通过将从所述一个或一个以上解的相对旋转矩阵导出的偏航、俯仰和/或横摇角的至少一者与从来自定向传感器的所述测量值导出的偏航、俯仰和/或横摇角的对应至少一者比较而使用来自所述定向传感器的所述测量值。
在一个实施例中,一种方法包含从不同位置俘获平坦对象的两个图像;确定所述两个图像之间的单应性;分解所述单应性以获得至少一个可能的解;使用来自定向传感器的测量值确定所述至少一个可能的解是否正确;以及存储正确的解。
在另一实施例中,一种设备包含:相机,其用于俘获平坦对象的图像;定向传感器,其用于感测相机的定向;以及处理器,其经耦合以当俘获到两个图像时从不同位置接收平坦对象的两个图像且从定向传感器接收测量值,所述处理器经配置以确定两个图像之间的单应性,分解所述单应性以获得至少一个可能的解,使用来自定向传感器的测量值确定所述至少一个可能的解是否正确,且将正确的解存储在存储器中。
在另一实施例中,一种设备包含:用于从不同位置俘获平坦对象的两个图像的装置;用于确定所述两个图像之间的单应性的装置;用于分解所述单应性以获得至少一个可能的解的装置;用于使用来自定向传感器的测量值确定所述至少一个可能的解是否正确的装置;以及用于存储正确的解的装置。
在又一实施例中,一种包含存储在其上的程序代码的非暂时性计算机可读媒体包含:用以确定从不同位置俘获的平坦对象的两个图像之间的单应性的程序代码;用以分解所述单应性以获得至少一个可能的解的程序代码;用以使用来自定向传感器的测量值确定所述至少一个可能的解是否正确的程序代码;以及用以存储正确的解的程序代码。
附图说明
图1说明移动平台在两个不同位置处俘获平坦对象的图像。
图2说明平坦对象上的三维(3D)点到不同位置处俘获的两个图像上的投影。
图3说明单应性分解的解的不明确性。
图4说明相对于移动平台的不同坐标系,包含世界坐标系、相机坐标系和传感器坐标系。
图5是说明使用来自定向传感器的测量值解决单应性分解中的不明确性的过程的流程图。
图6是说明使用来自定向传感器的测量值消除至少一个可能的解的过程的流程图。
图7是说明能够使用平坦对象的仅两个图像且在无平坦对象的任何先前知识的情况下解决单应性分解中的不明确性的移动平台的框图。
具体实施方式
图1说明移动平台100,其包含相机112且利用相机112在两个不同位置A和B处俘获平坦对象102的图像,其中位置A对应于第一(或初始)所俘获图像102A,且位置B对应于第二(或当前)所俘获图像102B。所俘获图像102A和102B说明为正由显示器114展示。在实践中,单一移动平台100可在其从位置A移动到位置B(如图1中的虚线箭头指示)的同时从实况视频流俘获一系列帧。或者,两个不同移动平台可用于从不同位置A和B俘获平坦对象102的图像。移动平台100还包含定向传感器116,例如加速计、磁力计和/或陀螺仪。应注意,虽然例如加速计等传感器测量线性运动且例如陀螺仪等传感器测量角运动,但两个位置之间的相对定向可使用此类传感器确定,且因此,所有此类传感器在本文称为定向传感器116。
如图2所示,如果平面π上的3D点在两个图像I’和I上检视,那么其在图像I’上的2D投影q’=(x’,y’,l)与其在图像I上的2D投影q=(x,y,l)通过单应性h相关为:
q ' ≅ hq 等式1
平坦表面的两个视图之间的单应性h可使用Faugeras,O.和Lustman,F.“逐段平坦环境中的运动和来自运动的结构(Motion and structure from motion in a piecewise planarenvironment)”(国际模式辨识和人工智能期刊2(1988)485-508,其以引用的方式并入本文中)描述的众所周知的程序分解为旋转矩阵R、平移矩阵t和法线n。在大多数一股情况下,单应性h的分解产生四个可能的解,即旋转矩阵R和平移矩阵t的四个可能集合。两个解可通过强加非交叉约束和可见性约束来消除。非交叉约束要求从平坦对象的同一侧俘获两个相机图像,例如从平坦对象上方俘获两个图像。可见性约束要求当俘获图像时平坦对象上的所有3D点必须在相机前方。然而,其它两个可能解之间的不明确性仍保留。
图3是移动平台100相对于平坦对象102处于初始位置A以及处于当前位置B(连同用户201)的另一说明。来自在初始位置A和当前位置B处产生的图像的单应性分解会产生两个可能的解200和202,其中解200对应于移动平台100的正确位置B,且解202不正确并以点线说明。如上文论述,单应性分解的每一解200和202包含平面法线n(图3所示)以及旋转矩阵R(由图3中的箭头R200和R202说明)和平移矩阵t(图3未图示)。应理解,如上文论述,单应性分解可产生多达四个可能的解,但两个解可通过强加非交叉约束和可见性约束而容易地消除且因此在图3中未图示。图3所示的两个剩余可能的解200和202均为来自单应性分解的有效解,且因此需要解决不明确性。另外,应理解,单应性分解可产生仅一个可能的解,例如解200,但可能需要使所述解生效。
两个剩余解之间的不明确性可使用来自定向传感器116的测量值解决(或在仅存在一个解的情况下使其生效)以消除可能的解。来自定向传感器116的测量值可用于导出相机坐标系中的基于测量值的偏航(αMB)、俯仰(βMB)和横摇(γMB)角(有时在本文中统称为基于测量值的角)。类似地,与来自单应性h的分解的可能解200和202相关联的相对旋转矩阵R200和R202可用于导出偏航、俯仰和横摇角(有时在本文中统称为基于单应性的角)。换句话说,如图3中说明,偏航(α200)、俯仰(β200)和横摇(γ200)角可从旋转矩阵R200导出,且偏航(α202)、俯仰(β202)和横摇(γ202)角可从旋转矩阵R202导出。接着可将基于测量值的角的一者或一者以上与同可能解相关联的对应的一个或一个以上角比较以确定哪一解为正确的(或在仅存在一个解的情况下使解生效)。
定向传感器116测量旋转矩阵
Figure BDA0000489883140000041
其使向量在时间t从传感器坐标系变换到世界坐标系。另外,在时间t,旋转矩阵
Figure BDA0000489883140000042
使向量从相机坐标系变换到世界坐标系。矩阵
Figure BDA0000489883140000043
Figure BDA0000489883140000044
之间的关系界定为:
R t wc = R t ws R sc 等式2
其中Rsc为将向量从相机坐标系变换到传感器坐标传感器的旋转矩阵,其为已知常数,例如其可针对移动平台100预先校准。
图4借助实例说明在两个不同位置处在时间t1和时间t2相对于移动平台100的不同坐标系。所述坐标系包含世界坐标系302、以及相机坐标系304和传感器坐标系306。如箭头说明,旋转矩阵Rsc使向量从相机坐标系304变换到传感器坐标系306,且其对于移动平台100保持恒定。
如果例如在图4所示的时间t1和时间t2从不同位置俘获同一平坦对象的两个相机图像,那么所述两个图像在相机坐标系中通过3x3单应性矩阵h相关。单应性矩阵h可分解为平面法线n、相对旋转矩阵ΔRc(图4中以时间t1和时间t2处移动平台100之间的箭头说明)和平移矩阵Δt。如上文论述,单应性h的分解通常产生多个解,且因此图4中的相对旋转矩阵ΔRc对应于与图3中的可能解200和202相关联的相对旋转矩阵R200和R202
在时间t1和时间t2俘获的两个图像之间的相对旋转矩阵ΔRc可基于使向量从相机坐标系304变换到世界坐标系302的旋转矩阵
Figure BDA0000489883140000051
确定为:
Δ R c = R 2 wc - 1 R 1 wc 等式3
通过将等式2代入到等式3中,可用使向量从传感器坐标系306变换到世界坐标系302的旋转矩阵(其由定向传感器116测量)连同已知恒定旋转矩阵Rsc代替旋转矩阵
Figure BDA0000489883140000054
如下:
Δ R c = R sc - 1 R 2 ws - 1 R 1 ws R sc 等式4
因此,使用等式4,可使用在时间t1和时间t2(即,旋转矩阵
Figure BDA0000489883140000056
在时间t1测量,且旋转矩阵
Figure BDA0000489883140000057
在时间t2测量(其与
Figure BDA0000489883140000058
反向))来自定向传感器116的测量值和已知旋转矩阵Rsc来计算基于测量值的相对旋转矩阵ΔRc-MB。基于测量值的相对旋转矩阵ΔRc-MB(其在相机坐标系中)对应于与从位置A到位置B的改变(图3)相关联的相对旋转矩阵RMB。基于测量值的相对旋转矩阵ΔRc-MB可接着用于例如通过从基于测量值的相对旋转矩阵ΔRc-MB导出基于测量值的角且从与每一解相关联的相对旋转矩阵ΔRc导出基于单应性的角并将所述角的一者或一者以上比较以找到在阈值内的最接近匹配或差(其可确定为校正解)来选择单应性分解h的正确解。
在仅存在从单应性分解产生的一个可能解的情况下,所述解可归因于2D点的较差相关而不正确。在此情况下,同一过程可用于使所述一个解生效,即将基于测量值的角的一者或一者以上与针对所述一个解的基于单应性的角比较以确定差是否在阈值内。如果未满足阈值,那么解失效,且过程可复位而非假定唯一的解正确。
图5是说明使用来自定向传感器116的测量值解决单应性分解中的不明确性的过程的流程图。如所说明,由相机(或不同相机)从不同位置俘获平坦对象的两个图像(402)。如果使用两个不同相机,那么定向的测量值应相对于相同世界坐标。举例来说,X可界定为向量乘积Y·Z且在装置的当前位置处与地面相切并大致指向东;Y在装置的当前位置处与地面相切并指向磁北极;且Z指向上方并垂直于地面。在平坦对象的两个图像之间确定单应性h(404)。对两个图像执行单应性分解以获得至少一个可能的解(406)。举例来说,可获得仅一个可能的解,其可使用来自定向传感器116的测量值生效。然而,通常,可获得若干可能的解,其一部分可使用非交叉约束和可见性约束消除,从而留下两个不明确的可能的解。使用来自定向传感器116的测量值确定解是否正确(408),且将正确的解存储作为相机的位置和定向(410)。
图6是说明使用来自定向传感器116的测量值确定解是否正确的过程的流程图(408)。在图5的步骤506中单应性h的分解期间,针对每一解产生相对旋转矩阵ΔRc。通常,获得多达四个可能的解,其一部分可使用非交叉约束和可见性约束消除,从而留下两个不明确的可能的解。因此,假定存在两个解而描述剩余过程,但同一过程可经执行以校验单一解。如图4中说明,针对每一解从相对旋转矩阵ΔRc导出基于单应性的角(即,偏航、俯仰和横摇角)(452)。从旋转矩阵导出偏航、俯仰和横摇角是所属领域的一股技术人员较好理解的。使用来自定向传感器116的测量值确定基于测量值的相对旋转矩阵ΔRc-MB,如等式4中展示(454)。接着从基于测量值的相对旋转矩阵ΔRc-MB导出基于测量值的角(即,偏航、俯仰和横摇角)(456)。将基于测量值的角中的一者或一者以上与针对每一解的对应的一个或一个以上基于单应性的角进行比较以确定正确的解。举例来说,具有拥有相对于对应的基于测量值的角最小的差(或在使用一个以上角的情况下,最小平均差)的角的解可选择作为正确的解。或者,所述一个或一个以上基于测量值的角与基于单应性的角之间的差可与阈值进行比较以选择正确的解,或在仅存在单一解的情况下使其生效。
视需要,可使用偏航、俯仰和横摇角中的少于全部三者进行比较。举例来说,当存在两个可能解时,可选择具有两个解之间的最大差的基于单应性的角(即,偏航、俯仰或横摇)与对应的基于测量值的角进行比较。此外,应注意,偏航角较容易受磁异常影响,且因此可能需要从比较中排除偏航角使得正确的解基于横摇和俯仰角中的一者或两者。
图7是能够使用平坦对象的仅两个图像且在无平坦对象的任何先前知识的情况下解决单应性分解中的不明确性的移动平台的框图。移动平台100包含用于俘获平坦对象的图像的装置,例如相机112或多个相机。移动平台100还包含用于感测定向的装置,例如定向传感器116,其可为加速计、陀螺仪、电子罗盘,或其它类似感测元件。移动平台100可进一步包含用户接口150,其包含用于显示环境的图像的装置(例如,显示器114)。用户接口150还可包含用户可经由其将信息输入到移动平台100中的小键盘152或其它输出装置。视需要,小键盘152可通过将虚拟小键盘集成到具有触摸传感器(或示意动作控制)的显示器114中而排除。用户接口150还可包含麦克风154和扬声器156,例如如果移动平台100为例如蜂窝式电话等移动平台。当然,移动平台100可包含与本发明不相关的其它元件。
移动平台100还包含控制单元160,其连接到相机112和定向传感器116并与之通信。控制单元160接受并处理相机112或多个相机俘获的图像、来自定向传感器116的信号,且控制显示器114。控制单元160可由处理器161以及相关联存储器164、硬件162、软件165和固件163提供。控制单元160可包含图像处理单元166,其对相机112俘获的两个图像执行单应性分解。控制单元160进一步包含解生效单元168,其接收来自单应性分解的解并例如基于来自如图5和6中描述的定向传感器116的测量值确定解是否正确。选定的解可作为移动平台100的位置和定向存储在存储器164或其它存储单元中。
图像处理单元166和解生效单元168为清楚起见与处理器161分开说明,但可为处理器161的一部分或基于在处理器161中运行的软件165中的指令在处理器中实施。将理解,如本文使用,处理器161可(但不需要一定)包含一个或一个以上微处理器、内嵌式处理器、控制器、专用集成电路(ASIC)、数字信号处理器(DSP)等。术语处理器希望描述由系统而非特定硬件实施的功能。此外,如本文使用,术语“存储器”指代任何类型的计算机存储媒体,包含长期、短期或与移动平台相关联的其它存储器,且不应限于任何特定类型的存储器或特定数目的存储器,或上面存储存储器的特定类型的媒体。
本文描述的方法可通过各种手段依据应用实施。举例来说,这些方法可实施在硬件162、固件163、软件165,或其任何组合中。对于硬件实施方案,处理单元可实施在一个或一个以上专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD),可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、电子装置、经设计以执行本文描述的功能的其它电子单元,或其组合内。
对于固件和/或软件实施方案,所述方法可以执行本文描述的功能的模块(例如,程序、函数等)实施。有形地体现指令的任何机器可读媒体可用于实施本文描述的方法。举例来说,软件代码可存储在存储器164中且由处理器161执行。存储器可实施在处理器161内或外部。如果实施在固件和/或软件中,那么所述功能可作为一个或一个以上指令或代码存储在计算机可读媒体上。实例包含以数据结构编码的非暂时性计算机可读媒体,和以计算机程序编码的计算机可读媒体。计算机可读媒体包含物理计算机存储媒体。存储媒体可为可由计算机存取的任何可用媒体。借助实例而非限制,此类计算机可读媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置,或可用于存储指令或数据结构的形式的所要程序代码且可由计算机存取的任何其它媒体;如本文使用的光盘和磁盘包含紧密光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软性磁盘和蓝光光盘,其中磁盘通常以磁性方式再现数据,而光盘利用激光以光学方式再现数据。以上内容的组合也应包含在计算机可读媒体的范围内。
尽管出于指示性目的结合特定实施例说明本发明,但本发明不限于此。可在不脱离本发明的范围的情况下作出各种调适和修改。因此,所附权利要求书的精神和范围不应限于以上描述。

Claims (24)

1.一种方法,其包括:
从不同位置俘获平坦对象的两个图像;
确定所述两个图像之间的单应性;
分解所述单应性以获得至少一个可能的解;
使用来自定向传感器的测量值确定所述至少一个可能的解是否正确;以及
存储正确的解。
2.根据权利要求1所述的方法,其中获得多个可能的解,且使用来自所述定向传感器的所述测量值消除所述多个可能的解中的至少一者。
3.根据权利要求1所述的方法,其中分解所述单应性产生所述两个图像之间的至少一个相对旋转矩阵,其中使用来自所述定向传感器的所述测量值包括:
从所述至少一个相对旋转矩阵导出基于单应性的偏航、俯仰和横摇角;
使用来自所述定向传感器的所述测量值确定基于测量值的相对旋转矩阵;
针对所述基于测量值的相对旋转矩阵导出基于测量值的偏航、俯仰和横摇角;以及
将所述基于测量值的偏航、俯仰和横摇角中的至少一者与所述基于单应性的偏航、俯仰和横摇角中的至少一者进行比较以确定所述至少一个可能的解是正确的。
4.根据权利要求3所述的方法,其中分解所述单应性产生两个解,每一解具有相应的相对旋转矩阵,且其中针对所述两个解中的每一者导出所述基于单应性的偏航、俯仰和横摇角,且其中针对所述两个解中的每一者将所述基于测量值的偏航、俯仰和横摇角中的所述至少一者与所述基于单应性的偏航、俯仰和横摇角中的所述至少一者进行比较。
5.根据权利要求4所述的方法,其进一步包括将针对第一解的所述基于单应性的偏航、俯仰和横摇角与针对第二解的所述基于单应性的偏航、俯仰和横摇角进行比较以确定具有最大差的角,以及当针对所述两个解中的每一者将所述基于测量值的偏航、俯仰和横摇角中的所述至少一者与所述基于单应性的偏航、俯仰和横摇角中的所述至少一者进行比较时仅使用所述具有所述最大差的角。
6.根据权利要求1所述的方法,其中使用来自所述定向传感器的所述测量值确定所述至少一个可能的解是否正确不使用所述平坦对象的先前知识且不使用所述平坦对象的额外图像。
7.一种设备,其包括:
相机,其用于俘获平坦对象的图像;
定向传感器,其用于感测所述相机的定向;以及
处理器,其经耦合以当俘获到从不同位置俘获的所述平坦对象的两个图像时接收所述两个图像以及来自所述定向传感器的测量值,所述处理器经配置以确定所述两个图像之间的单应性,分解所述单应性以获得至少一个可能的解,使用来自所述定向传感器的所述测量值确定所述至少一个可能的解是否正确,且将正确的解存储在存储器中。
8.根据权利要求7所述的设备,其中获得多个可能的解,且所述处理器经配置以使用来自所述定向传感器的所述测量值消除所述多个可能的解中的至少一者。
9.根据权利要求7所述的设备,其中所述处理器经配置以分解所述单应性以产生所述两个图像之间的至少一个相对旋转矩阵,其中所述处理器经配置以使用来自所述定向传感器的所述测量值来通过经配置以进行以下操作而确定所述至少一个可能的解是否正确:
针对所述至少一个相对旋转矩阵导出基于单应性的偏航、俯仰和横摇角;
基于来自所述定向传感器的所述测量值确定基于测量值的相对旋转矩阵;
针对所述基于测量值的相对旋转矩阵导出基于测量值的偏航、俯仰和横摇角;以及
将所述基于测量值的偏航、俯仰和横摇角中的至少一者与所述基于单应性的偏航、俯仰和横摇角中的至少一者进行比较以确定所述至少一个可能的解是否正确。
10.根据权利要求9所述的设备,其中分解所述单应性产生两个解,每一解具有相应的相对旋转矩阵,且其中所述处理器经配置以针对所述两个解中的每一者导出所述基于单应性的偏航、俯仰和横摇角,且针对所述两个解中的每一者将所述基于测量值的偏航、俯仰和横摇角中的所述至少一者与所述基于单应性的偏航、俯仰和横摇角中的所述至少一者进行比较。
11.根据权利要求10所述的设备,其中所述处理器进一步经配置以将针对第一解的所述基于单应性的偏航、俯仰和横摇角与针对第二解的所述基于单应性的偏航、俯仰和横摇角进行比较以确定具有最大差的角,且仅使用所述具有所述最大差的角来针对所述两个解中的每一者将所述基于测量值的偏航、俯仰和横摇角中的所述至少一者与所述基于单应性的偏航、俯仰和横摇角中的所述至少一者进行比较。
12.根据权利要求7所述的设备,其中所述处理器经配置以在无所述平坦对象的先前知识且无所述平坦对象的额外图像的情况下使用来自所述定向传感器的所述测量值确定所述至少一个可能的解是否。
13.一种设备,其包括:
用于从不同位置俘获平坦对象的两个图像的装置;
用于确定所述两个图像之间的单应性的装置;
用于分解所述单应性以获得至少一个可能的解的装置;
用于使用来自定向传感器的测量值确定所述至少一个可能的解是否正确的装置;以及
用于存储正确的解的装置。
14.根据权利要求13所述的设备,其中所述用于分解所述单应性的装置产生多个可能的解,且其中所述用于使用来自所述定向传感器的所述测量值的装置消除所述多个可能的解中的至少一者。
15.根据权利要求13所述的设备,其中所述用于分解所述单应性的装置产生所述两个图像之间的至少一个相对旋转矩阵,其中所述用于使用来自所述定向传感器的所述测量值的装置包括:
用于从所述至少一个相对旋转矩阵导出基于单应性的偏航、俯仰和横摇角的装置;
用于使用来自所述定向传感器的所述测量值确定基于测量值的相对旋转矩阵的装置;
用于针对所述基于测量值的相对旋转矩阵导出基于测量值的偏航、俯仰和横摇角的装置;以及
用于将所述基于测量值的偏航、俯仰和横摇角中的至少一者与所述基于单应性的偏航、俯仰和横摇角中的至少一者进行比较以确定所述至少一个可能的解是正确的装置。
16.根据权利要求15所述的设备,其中所述用于分解所述单应性的装置产生两个解,每一解具有相应的相对旋转矩阵,且其中针对所述两个解中的每一者导出所述基于单应性的偏航、俯仰和横摇角,且其中针对所述两个解中的每一者将所述基于测量值的偏航、俯仰和横摇角中的所述至少一者与所述基于单应性的偏航、俯仰和横摇角中的所述至少一者进行比较。
17.根据权利要求16所述的设备,其进一步包括用于以下操作的装置:将针对第一解的所述基于单应性的偏航、俯仰和横摇角与针对第二解的所述基于单应性的偏航、俯仰和横摇角进行比较以确定具有最大差的角,以及当针对所述两个解中的每一者将所述基于测量值的偏航、俯仰和横摇角中的所述至少一者与所述基于单应性的偏航、俯仰和横摇角中的所述至少一者进行比较时仅使用所述具有所述最大差的角。
18.根据权利要求13所述的设备,其中所述用于使用来自所述定向传感器的所述测量值确定所述至少一个可能的解是否正确的装置不使用所述平坦对象的先前知识且不使用所述平坦对象的额外图像。
19.一种包含存储在其上的程序代码的非暂时性计算机可读媒体,其包括:
用以确定从不同位置俘获的平坦对象的两个图像之间的单应性的程序代码;
用以分解所述单应性以获得至少一个可能的解的程序代码;
用以使用来自定向传感器的测量值确定所述至少一个可能的解是否正确的程序代码;以及
用以存储正确的解的程序代码。
20.根据权利要求19所述的非暂时性计算机可读媒体,其中获得多个可能的解,且使用来自所述定向传感器的所述测量值消除所述多个可能的解中的至少一者。
21.根据权利要求19所述的非暂时性计算机可读媒体,其中所述用以分解所述单应性的程序代码产生所述两个图像之间的至少一个相对旋转矩阵,且其中所述用以使用来自所述定向传感器的所述测量值的程序代码包括:
用以针对所述至少一个相对旋转矩阵导出基于单应性的偏航、俯仰和横摇角的程序代码;
用以使用来自所述定向传感器的所述测量值确定基于测量值的相对旋转矩阵的程序代码;
用以针对所述基于测量值的相对旋转矩阵导出基于测量值的偏航、俯仰和横摇角的程序代码;以及
用以将所述基于测量值的偏航、俯仰和横摇角中的至少一者与所述基于单应性的偏航、俯仰和横摇角中的至少一者进行比较以确定所述至少一个可能的解是正确的程序代码。
22.根据权利要求21所述的非暂时性计算机可读媒体,其中所述用于分解所述单应性的程序代码产生两个解,每一解具有相应的相对旋转矩阵,且其中所述程序代码针对所述两个解中的每一者导出所述基于单应性的偏航、俯仰和横摇角,且其中针对所述两个解中的每一者将所述基于测量值的偏航、俯仰和横摇角中的所述至少一者与所述基于单应性的偏航、俯仰和横摇角中的所述至少一者进行比较。
23.根据权利要求22所述的非暂时性计算机可读媒体,其进一步包括用以将针对第一解的所述基于单应性的偏航、俯仰和横摇角与针对第二解的所述基于单应性的偏航、俯仰和横摇角进行比较以确定具有最大差的角的程序代码,且所述用以进行比较的程序代码在针对所述两个解中的每一者将所述基于测量值的偏航、俯仰和横摇角中的所述至少一者与所述基于单应性的偏航、俯仰和横摇角中的所述至少一者进行比较时仅使用所述具有所述最大差的角。
24.根据权利要求19所述的非暂时性计算机可读媒体,其中所述用以使用来自所述定向传感器的所述测量值确定所述至少一个可能的解是否正确的程序代码不使用所述平坦对象的先前知识且不使用所述平坦对象的额外图像。
CN201280050170.XA 2011-09-12 2012-08-15 基于定向传感器解决单应性分解不明确性的方法和设备 Active CN103875020B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201161533733P 2011-09-12 2011-09-12
US61/533,733 2011-09-12
US13/310,204 2011-12-02
US13/310,204 US9305361B2 (en) 2011-09-12 2011-12-02 Resolving homography decomposition ambiguity based on orientation sensors
PCT/US2012/050963 WO2013039641A1 (en) 2011-09-12 2012-08-15 Resolving homography decomposition ambiguity based on orientation sensors

Publications (2)

Publication Number Publication Date
CN103875020A true CN103875020A (zh) 2014-06-18
CN103875020B CN103875020B (zh) 2017-07-07

Family

ID=47829524

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280050170.XA Active CN103875020B (zh) 2011-09-12 2012-08-15 基于定向传感器解决单应性分解不明确性的方法和设备

Country Status (7)

Country Link
US (2) US9305361B2 (zh)
EP (1) EP2756482B1 (zh)
JP (1) JP5774226B2 (zh)
KR (1) KR101592798B1 (zh)
CN (1) CN103875020B (zh)
IN (1) IN2014MN00422A (zh)
WO (2) WO2013039641A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9305361B2 (en) 2011-09-12 2016-04-05 Qualcomm Incorporated Resolving homography decomposition ambiguity based on orientation sensors
US10733798B2 (en) * 2013-03-14 2020-08-04 Qualcomm Incorporated In situ creation of planar natural feature targets
US9846974B2 (en) * 2014-12-05 2017-12-19 Stmicroelectronics S.R.L. Absolute rotation estimation including outlier detection via low-rank and sparse matrix decomposition
US9852550B2 (en) 2015-08-05 2017-12-26 Civic Resource Group International Inc. System and method of markerless injection of ads in AR
CN106843709B (zh) 2015-12-04 2020-04-14 阿里巴巴集团控股有限公司 根据实时信息显示展现对象的方法和装置
WO2018053785A1 (en) 2016-09-23 2018-03-29 Qualcomm Incorporated Image processing in an unmanned autonomous vehicle
US11042984B2 (en) * 2016-11-10 2021-06-22 Movea Systems and methods for providing image depth information
JP6663838B2 (ja) * 2016-12-16 2020-03-13 日本電信電話株式会社 法線推定装置、法線推定方法、及び法線推定プログラム
CN107976146B (zh) * 2017-11-01 2019-12-10 中国船舶重工集团公司第七一九研究所 一种线阵ccd相机的自标定方法及测量方法
CN108846861B (zh) * 2018-06-12 2020-12-29 广州视源电子科技股份有限公司 图像单应矩阵计算方法、装置、移动终端及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1745397A (zh) * 2003-01-17 2006-03-08 三菱电机株式会社 利用投影仪进行位置和方位的检测
US20080246848A1 (en) * 2007-04-06 2008-10-09 Canon Kabushiki Kaisha Image stabilizing apparatus, image-pickup apparatus and image stabilizing method

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6520647B2 (en) 2000-08-17 2003-02-18 Mitsubishi Electric Research Laboratories Inc. Automatic keystone correction for projectors with arbitrary orientation
US7071970B2 (en) * 2003-03-10 2006-07-04 Charles Benton Video augmented orientation sensor
US9229540B2 (en) 2004-01-30 2016-01-05 Electronic Scripting Products, Inc. Deriving input from six degrees of freedom interfaces
US7613361B2 (en) 2004-05-14 2009-11-03 Canon Kabushiki Kaisha Information processing method and device
US7864159B2 (en) 2005-01-12 2011-01-04 Thinkoptics, Inc. Handheld vision based absolute pointing system
US7403658B2 (en) 2005-04-15 2008-07-22 Microsoft Corporation Direct homography computation by local linearization
JP4595733B2 (ja) 2005-08-02 2010-12-08 カシオ計算機株式会社 画像処理装置
JP4916167B2 (ja) 2005-12-15 2012-04-11 キヤノン株式会社 指標識別方法及び指標識別装置
CN101405763B (zh) 2006-03-01 2011-05-04 新加坡科技研究局 用于获取实时视频输出的对象的多个视图的方法和系统
FR2898824B1 (fr) 2006-03-27 2009-02-13 Commissariat Energie Atomique Dispositif interface intelligent pour la saisie d'un objet par un robot manipulateur et procede de mise en oeuvre de ce dispositif
JP4958497B2 (ja) 2006-08-07 2012-06-20 キヤノン株式会社 位置姿勢測定装置及び位置姿勢測定方法、複合現実感提示システム、コンピュータプログラム及び記憶媒体
JP5403861B2 (ja) 2006-11-06 2014-01-29 キヤノン株式会社 情報処理装置、情報処理方法
US20100149183A1 (en) 2006-12-15 2010-06-17 Loewke Kevin E Image mosaicing systems and methods
US20100045701A1 (en) * 2008-08-22 2010-02-25 Cybernet Systems Corporation Automatic mapping of augmented reality fiducials
US8315756B2 (en) * 2009-08-24 2012-11-20 Toyota Motor Engineering and Manufacturing N.A. (TEMA) Systems and methods of vehicular path prediction for cooperative driving applications through digital map and dynamic vehicle model fusion
US8264553B2 (en) 2009-11-12 2012-09-11 Microsoft Corporation Hardware assisted image deblurring
CN102428707B (zh) 2010-03-19 2015-03-11 松下电器产业株式会社 立体视用图像对位装置和立体视用图像对位方法
US9013550B2 (en) 2010-09-09 2015-04-21 Qualcomm Incorporated Online reference generation and tracking for multi-user augmented reality
US9213908B2 (en) * 2011-03-23 2015-12-15 Metaio Gmbh Method for registering at least one part of a first and second image using a collineation warping function
US8638986B2 (en) 2011-04-20 2014-01-28 Qualcomm Incorporated Online reference patch generation and pose estimation for augmented reality
US9342886B2 (en) 2011-04-29 2016-05-17 Qualcomm Incorporated Devices, methods, and apparatuses for homography evaluation involving a mobile device
US9202278B2 (en) 2011-08-19 2015-12-01 Adobe Systems Incorporated Plane-based self-calibration for structure from motion
US9305361B2 (en) 2011-09-12 2016-04-05 Qualcomm Incorporated Resolving homography decomposition ambiguity based on orientation sensors

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1745397A (zh) * 2003-01-17 2006-03-08 三菱电机株式会社 利用投影仪进行位置和方位的检测
US20080246848A1 (en) * 2007-04-06 2008-10-09 Canon Kabushiki Kaisha Image stabilizing apparatus, image-pickup apparatus and image stabilizing method

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
TAKAYUKI OKATANI ET AL.: "Robust Estimation of Camera Translation Between Two Images Using a Camera with a 3D Orientation Sensor", 《PATTERN RECOGNITION, 2002. PROCEEDINGS. 16TH INTERNATIONAL CONFERENCE ON》 *
谷雨: "空中机器人视觉导航与控制若干问题研究", 《中国博士学位论文全文数据库 信息科技辑》 *

Also Published As

Publication number Publication date
US9305361B2 (en) 2016-04-05
KR20140060575A (ko) 2014-05-20
IN2014MN00422A (zh) 2015-06-19
US20130064421A1 (en) 2013-03-14
EP2756482A1 (en) 2014-07-23
JP2014526736A (ja) 2014-10-06
US20130063589A1 (en) 2013-03-14
WO2013039640A1 (en) 2013-03-21
KR101592798B1 (ko) 2016-02-18
JP5774226B2 (ja) 2015-09-09
EP2756482B1 (en) 2017-06-28
CN103875020B (zh) 2017-07-07
WO2013039641A1 (en) 2013-03-21

Similar Documents

Publication Publication Date Title
CN103875020A (zh) 基于定向传感器解决单应性分解不明确性
EP2614487B1 (en) Online reference generation and tracking for multi-user augmented reality
US8823779B2 (en) Information processing apparatus and control method thereof
US9148650B2 (en) Real-time monocular visual odometry
Clipp et al. Robust 6dof motion estimation for non-overlapping, multi-camera systems
US20100204964A1 (en) Lidar-assisted multi-image matching for 3-d model and sensor pose refinement
CN107016705A (zh) 计算机视觉系统中的地平面估计
US20140092132A1 (en) Systems and methods for 3d pose estimation
EP3379202B1 (en) A method for determining bias in an inertial measurement unit of an image acquisition device
WO2005043466A1 (ja) 物体の状態を推定する推定システム、推定方法および推定プログラム
CN111354043A (zh) 一种基于多传感器融合的三维姿态估计方法及装置
JP6584208B2 (ja) 情報処理装置、情報処理方法、プログラム
CN111932674A (zh) 一种线激光视觉惯性系统的优化方法
KR20160020172A (ko) 도로에서의 차선 검출 방법 및 장치
Chalom et al. Measuring image similarity: an overview of some useful applications
WO2011048497A2 (en) Computer vision based hybrid tracking for augmented reality in outdoor urban environments
EP3185212A1 (en) Dynamic particle filter parameterization
KR20140134090A (ko) 이미지 센서와 대상 객체 사이의 상대적인 각도를 이용하는 깊이 영상 처리 장치 및 방법
US9582896B2 (en) Line tracking with automatic model initialization by graph matching and cycle detection
WO2019145411A1 (en) Method and system for head pose estimation
CN112200917A (zh) 一种高精度增强现实方法及系统
CN111862146A (zh) 一种目标对象的定位方法及装置
Cheda et al. Camera egomotion estimation in the ADAS context
Pagel Robust monocular egomotion estimation based on an iekf
Kaneko et al. Monocular depth estimation by two-frame triangulation using flat surface constraints

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant