CN111354044A - 一种基于正弦曲线拟合的全景视觉罗盘估计方法及其应用 - Google Patents

一种基于正弦曲线拟合的全景视觉罗盘估计方法及其应用 Download PDF

Info

Publication number
CN111354044A
CN111354044A CN202010131131.9A CN202010131131A CN111354044A CN 111354044 A CN111354044 A CN 111354044A CN 202010131131 A CN202010131131 A CN 202010131131A CN 111354044 A CN111354044 A CN 111354044A
Authority
CN
China
Prior art keywords
sub
picture
panoramic
rotation
formula
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010131131.9A
Other languages
English (en)
Other versions
CN111354044B (zh
Inventor
师泽仁
徐晴雯
龙肖灵
旷皓飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ShanghaiTech University
Original Assignee
ShanghaiTech University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ShanghaiTech University filed Critical ShanghaiTech University
Priority to CN202010131131.9A priority Critical patent/CN111354044B/zh
Publication of CN111354044A publication Critical patent/CN111354044A/zh
Application granted granted Critical
Publication of CN111354044B publication Critical patent/CN111354044B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/262—Analysis of motion using transform domain methods, e.g. Fourier domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于正弦曲线拟合的相机姿态估计方法及其应用，可应用于机器人的定位与导航中，属于机器人技术领域。本发明首先将由全向相机得到的全向图片转换为全景图片，然后利用滑动窗口法将全景图片转换为子图集合，通过傅里叶梅林变换计算出两帧图片的对应子图集合之间的运动向量集合。随后以列数为自变量，运动向量为因变量，拟合出正弦曲线，得到其幅值、相位和位移参数，利用这些参数可估算得相机的横滚、俯仰和偏航角。最后通过链式法则，得到每一帧对应的相机朝向。

Description

一种基于正弦曲线拟合的全景视觉罗盘估计方法及其应用
技术领域
本发明涉及一种基于正弦曲线拟合的相机姿态估计方法及其应用方法。
背景技术
自21世纪初以来，视觉罗盘技术被广泛用于机器人定位与导航、视觉伺服与返航等领域。目前常用的视觉罗盘技术主要分为基于光度不变法，基于特征点法和基于图像整体的方法这三大类型。其中基于光度不变法和图像整体的方法，多在计算得出像素移动之后，利用其与图片大小的关系，辅之以已知相机视场角，从而估算出相机的旋转角度，该类方法通常用于相机在二维平面运动的情况；基于特征点的方法，则在完成特征匹配得到点对之后，利用对极几何约束，求得图片之间的相对关系，该类方法可适用于相机在三维空间运动，但是特征匹配的过程往往花费较多的计算资源。
此外，目前这三种方法的应用环境均有所限制：基于光度不变假设的方法在光照差异较大的场景下无法适用，如从室内到室外、天气变化等；基于特征点的方法在特征较少或难以描述的状况下使用受限，如大雾、水下或草坪等；基于图像整体的方法对于相机不具有通用性，即图像差异较大时，估算的相机旋转误差也会较大。
相较于小孔相机，全向相机可以从多个方向获得周围环境的信息，其描述的环境场景更为丰富全面，因此利用全向相机进行视觉定位(包括位置与姿态)时更加鲁棒和准确。目前，基于全向相机的视觉罗盘估计方法多采用基于图像整体和特征的方法，部分方法为了提高鲁棒性，增加了后端优化，同时也增加的计算量。正如上文中所述，这类方法要么只能应用于平面运动，要么对计算资源提出了较高的要求，无法满足现代机器人的实际应用。此外，这些方法对于环境(光照、天气、特征的丰富程度)的要求也限制了机器人的普适性。
发明内容
本发明的目的是：提供一种既可以鲁棒且准确地估计相机的姿态，又可以保证计算速度的视觉罗盘技术。
为了达到上述目的，本发明的技术方案是提供了一种基于正弦曲线拟合的全景视觉罗盘估计方法，其特征在于，包括以下步骤：
步骤1、将由全向相机得到的全向图片转换为全景图片；
步骤2、对每一张全景图片，利用固定大小为L×L的滑动窗口以固定的步长d将其裁剪成一系列的子图数据集，记为
Figure BDA0002395793790000021
Figure BDA0002395793790000022
为第i张全景图片裁剪而成的子图数据集，
Figure BDA0002395793790000023
为子图数据集
Figure BDA0002395793790000024
中第n张子图；
步骤3、通过傅里叶-梅林变换计算出相邻两帧全景图片的对应子图数据集之间的运动向量集合，计算时，认为相邻两帧全景图片的对应子图数据集中的子图一一对应；
步骤4、对运动向量集合中的各运动量进行曲线拟合以进行相机的姿态估算，包括以下步骤：
步骤401、将全向相机的姿态估计问题，建模成正弦曲线拟合的问题，即目标函数式为：
Figure BDA0002395793790000025
式(3)中，x是需要拟合的数据，y是观测值，ω为已知参数，A是待估计的幅值，B是待估计的偏移，φ是待估计的相移；
步骤402、将式(3)的目标函数写作两个子目标函数，分别为：关于旋转轴在x-y平面的旋转向量Rxy的子函数：
Figure BDA0002395793790000026
和关于旋转轴为轴的旋转向量Rz的子函数：
Figure BDA0002395793790000027
式(4)中，uj为第j个子图的中心在原全景图片中对应的列数；Δvj、Δθj分别是相邻两帧全景图片的对应子图数据集中的两个相对应的第j个子图在v方向上的平移和两者间的旋转角度；tz为全向相机在z轴方向上的平移；
Figure BDA0002395793790000028
为Rxy的旋转轴与x轴的夹角，
Figure BDA0002395793790000029
为Rxy的旋转轴与y轴的夹角；γ代表一个像素点对应的视角；λ为未知的平移尺度参数；η为联合优化权重系数；
式(5)中，txy为全向相机在x-y平面上的平移，
Figure BDA0002395793790000031
为txy与x轴的夹角；
步骤403、利用式(4)所示的子函数以及式(5)所示的子函数，以及步骤3得到的运动向量集合，估算出两帧全景图片之间的三自由度旋转向量(Rx,Ry,Rz)；
步骤404、获得两帧全景图片之间的三自由度旋转向量后，根据链式法则得到每一帧全景图片相对于第一帧全景图片的旋转角度，即全向相机的相机姿态。
优选地，步骤1中，通过笛卡尔坐标与极坐标之间的变换将所述全向图片变换为所述全景图片，全向图片上任意一点(u,v)与全景图片上对应点(u′,v′)的变换公式如下式(1)及下式(2)所示：
Figure BDA0002395793790000032
Figure BDA0002395793790000033
式(1)及式(2)中，
Figure BDA0002395793790000034
W和H分别为全景图片的宽度和高度，
Figure BDA0002395793790000035
R1和R2分别是全向图片有效信息区域的内径和外径。
优选地，步骤3中，计算相邻两帧全景图片的对应子图数据集中每个相对应子图的运动向量，子图数据集中所有子图的运动向量构成了所述运动向量集合；
设子图数据集
Figure BDA0002395793790000036
中第j张子图为
Figure BDA0002395793790000037
子图数据集
Figure BDA0002395793790000038
中第j张子图为
Figure BDA0002395793790000039
则子图
Figure BDA00023957937900000310
与子图
Figure BDA00023957937900000311
的运动向量的计算方法包括以下步骤：
步骤301、对子图
Figure BDA00023957937900000312
和子图
Figure BDA00023957937900000313
做傅里叶变换，得到子图
Figure BDA00023957937900000314
及子图
Figure BDA00023957937900000315
的频谱；
步骤302、计算步骤301得到的频谱的模；
步骤303、将步骤302中得到的频谱的模转换到对数极坐标系(log(ρ),θ)，得到重采样的频谱
Figure BDA00023957937900000316
其中，ρ是半径坐标，θ是旋转角度；
步骤304、通过纯相位匹配滤波器计算
Figure BDA00023957937900000317
和
Figure BDA00023957937900000318
之间的相位图，并通过相位图上的峰值坐标计算出旋转参数Δθj和尺度参数Δsj；
步骤305、根据得到的旋转参数Δθj和尺度参数Δsj，将子图
Figure BDA00023957937900000319
重新放缩、旋转，得到子图
Figure BDA0002395793790000041
步骤306、通过纯相位匹配滤波器计算出子图
Figure BDA0002395793790000042
和子图
Figure BDA0002395793790000043
的相位图，并根据峰值坐标得到平移参数Δuj、Δvj；
步骤307、步骤304得到的旋转参数、尺度参数以及步骤306得到的平移参数组成了子图
Figure BDA0002395793790000044
与子图
Figure BDA0002395793790000045
的运动向量(Δuj,Δvj,Δθj,Δsj)。
优选地，步骤307中，从得到的运动向量(Δuj,Δvj,Δθj,Δsj)中选择(Δuj,Δvj,Δθj)作为最终的有效运动向量组成所述运动向量集合。
本发明的另一个技术方案是提供了一种上述的基于正弦曲线拟合的全景视觉罗盘估计方法在机器人的定位与导航中的应用。
本发明与现有的对极几何方法不同，本发明充分利用了全向相机的特性，提出了一种全新曲线拟合的方法来实现相机的姿态估算。与其他基于特征点和基于图像整体的方法相比，本发明利用基于频域的方法计算运动向量，不受场景特征点稠密程度的影响，提高了本发明的普适性；通过曲线拟合的方法，使得本发明更加鲁棒并且可以在廉价相机上也取得不错的效果。与之前的工作相比(H.Kuang,Q.Xu,X.Long,and S.Schwertfeger,“Poseestimation for omni-directional cameras using sinusoid fitting,”in 2019 IEEE/RSJ International Conference on Intelligent Robots and Systems(IROS),Nov2019,pp.900–906.)，本发明的主要创新有两点：一是利用子图之间的旋转Δθj与平移Δvj作为联合优化目标函数，提高了视觉罗盘的精度与鲁棒性；二是本发明可以估算三维空间中任意旋转的三自由度旋转向量，而之前的工作只能估计单一的横滚、俯仰或者偏航角，即本发明较之前的工作极大地拓展了应用范围。
附图说明
图1为全向图片示例；
图2为全景图片示例；
图3为本发明的流程图；
图4为相机圆柱模型；
图5为本发明方法的直观分析；
图6为基于运动向量集的正弦曲线拟合示例。
具体实施方式
下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。
本发明提供的一种基于正弦曲线拟合的全景视觉罗盘估计方法包括以下几个要点：图片的预处理、运动向量计算和基于曲线拟合的姿态估计，具体包括以下步骤：
步骤1：通过笛卡尔坐标与极坐标之间的变换，将通过全向相机获得的全向图片(图1)变换为全景图片(图2)。全向图片上任意一点(u,v)与全景图片上对应点(u′,v′)的变换公式如下式(1)及式(2)所示：
Figure BDA0002395793790000051
Figure BDA0002395793790000052
式(1)及式(2)中，
Figure BDA0002395793790000053
W和H分别为全景图片的宽度和高度，
Figure BDA0002395793790000054
R1和R2分别是全向图片有效信息区域的内径和外径。说明见图4。
步骤2：对每一张全景图片，利用固定大小为L×L的滑动窗口以固定的步长d将其裁剪成一系列的子图数据集，记为
Figure BDA0002395793790000055
Figure BDA0002395793790000056
为第i张全景图片裁剪而成的子图数据集，
Figure BDA0002395793790000057
为子图数据集
Figure BDA0002395793790000058
中第n张子图。
在本发明中，我们利用傅里叶-梅林变换计算两帧图片之间对应子图的运动向量。由于本发明基于连续的图像流，两帧图片之间的运动可认为较小，因此可以认为两帧的子图一一对应，即子图数据集
Figure BDA0002395793790000059
中第j张子图对应于子图数据集
Figure BDA00023957937900000510
中第j张子图。计算相邻两帧全景图片的对应子图数据集中每个相对应子图的运动向量，子图数据集中所有子图的运动向量构成了所述运动向量集合。
设子图数据集
Figure BDA00023957937900000511
中第j张子图为
Figure BDA00023957937900000512
子图数据集
Figure BDA00023957937900000513
中第j张子图为
Figure BDA00023957937900000514
则子图
Figure BDA00023957937900000515
与子图
Figure BDA00023957937900000516
的运动向量的计算方法包括以下步骤(可以参考Bulow H,Birk A andUnnithan V.Online generation of an underwater photo map with improved fouriermellin based registration.In OCEANS 2009-EUROPE.IEEE,pp.1–6.)：
步骤301、对子图
Figure BDA0002395793790000061
和子图
Figure BDA0002395793790000062
做傅里叶变换，得到子图
Figure BDA0002395793790000063
及子图
Figure BDA0002395793790000064
的频谱；
步骤302、计算步骤301得到的频谱的模；
步骤303、将步骤302中得到的频谱的模转换到对数极坐标系(log(ρ),θ)，得到重采样的频谱
Figure BDA0002395793790000065
其中，ρ是半径坐标，θ是旋转角度；
步骤304、通过纯相位匹配滤波器计算
Figure BDA0002395793790000066
和
Figure BDA0002395793790000067
之间的相位图，并通过相位图上的峰值坐标计算出旋转参数Δθj和尺度参数Δsj；
步骤305、根据得到的旋转参数Δθj和尺度参数Δsj，将子图
Figure BDA0002395793790000068
重新放缩、旋转，得到子图
Figure BDA0002395793790000069
步骤306、通过纯相位匹配滤波器计算出子图
Figure BDA00023957937900000610
和子图
Figure BDA00023957937900000611
的相位图，并根据峰值坐标得到平移参数Δuj、Δvj；
步骤307、步骤304得到的旋转参数、尺度参数以及步骤306得到的平移参数组成了子图
Figure BDA00023957937900000612
与子图
Figure BDA00023957937900000613
的运动向量(Δuj,Δvj,Δθj,Δsj)，在本发明中，从得到的运动向量(Δuj,Δvj,Δθj,Δsj)中选择(Δuj,Δvj,Δθj)作为最终的有效运动向量组成所述运动向量集合。
步骤4、得到子图的运动向量之后，对各运动量进行曲线拟合以进行相机的姿态估算，包括以下步骤：
步骤401、将全向相机的姿态估计问题，建模成正弦曲线拟合的问题，即目标函数式为：
Figure BDA00023957937900000614
式(3)中，x是需要拟合的数据，y是观测值，ω为已知参数，A是待估计的幅值，B是待估计的偏移，φ是待估计的相移；
步骤402、将式(3)的目标函数写作两个子目标函数，分别为：关于旋转轴在x-y平面的旋转向量Rxy(即横滚和俯仰角)的子函数：
Figure BDA0002395793790000071
和关于旋转轴为轴的旋转向量Rz(即偏航角)的子函数：
Figure BDA0002395793790000072
式(4)中，uj为第j个子图的中心在原全景图片中对应的列数；Δvj、Δθj分别是相邻两帧全景图片的对应子图数据集中的两个相对应的第j个子图在v方向上的平移和两者间的旋转角度；tz为全向相机在z轴方向上的平移；
Figure BDA0002395793790000073
为Rxy的旋转轴与x轴的夹角，
Figure BDA0002395793790000074
为Rxy的旋转轴与y轴的夹角；γ代表一个像素点对应的视角；λ为未知的平移尺度参数；η为联合优化权重系数；
式(5)中，txy为全向相机在x-y平面上的平移，
Figure BDA0002395793790000075
为txy与x轴的夹角；
步骤403、利用式(4)所示的子函数以及式(5)所示的子函数，以及步骤3得到的运动向量集合，估算出两帧全景图片之间的三自由度旋转向量(Rx,Ry,Rz)；
步骤404、获得两帧全景图片之间的三自由度旋转向量后，根据链式法则得到每一帧全景图片相对于第一帧全景图片的旋转角度，即全向相机的相机姿态。
基于上述技术方案，一个可行的具体实施方式描述如下：
为了降低方案的实现成本，在硬件上本发明利用一个廉价全景镜头覆盖于手机相机上，作为全向相机，采集本发明所需的图像。通过基于机器人操作系统(ROS)编写的应用程序，我们可以在于手机同局域网的电脑端获取全向图像的数据流。利用ROS的相关插件image_view，从全向图像的数据流中提取出连续的全向图像数据集
Figure BDA0002395793790000076
取
Figure BDA0002395793790000077
中连续两帧全向图片
Figure BDA0002395793790000078
与
Figure BDA0002395793790000079
根据笛卡尔坐标与极坐标之间的变换公式将其变为全景图片
Figure BDA00023957937900000710
与
Figure BDA00023957937900000711
记全景图片的长宽分别为H和W。利用大小为L×L的滑动窗口，以步长d在
Figure BDA00023957937900000712
与
Figure BDA00023957937900000713
上分别滑动，提取子图得到对应的子图集
Figure BDA00023957937900000714
和
Figure BDA00023957937900000715
利用傅里叶-梅林变换计算得到子图集
Figure BDA00023957937900000716
和
Figure BDA00023957937900000717
中的对应子图
Figure BDA00023957937900000718
和
Figure BDA00023957937900000719
之间的运动向量
Figure BDA0002395793790000081
然后我们利用列数uj和运动向量
Figure BDA0002395793790000082
拟合式(4)和(5)中的正弦曲线。若估计出的参数
Figure BDA0002395793790000083
或
Figure BDA0002395793790000084
接近于0，则我们认为两帧之间相机的旋转角度较小，误差比例可能会较大，因此跳过该帧，继续计算
Figure BDA0002395793790000085
与
Figure BDA0002395793790000086
之间的旋转角度；否则根据拟合得到的参数
Figure BDA0002395793790000087
和
Figure BDA0002395793790000088
计算得
Figure BDA0002395793790000089
和
Figure BDA00023957937900000810
方法如下：
Figure BDA00023957937900000811
Figure BDA00023957937900000812
同时，我们可以由式(5)得到
Figure BDA00023957937900000813
然后根据旋转向量的欧拉角表示形式
Figure BDA00023957937900000814
计算出其旋转矩阵表达形式
Figure BDA00023957937900000815
记第0帧的朝向为R0，则第i+1帧的朝向可以通过以下链式法则计算得到
Figure BDA00023957937900000816
从而，本发明就实现了一个基于廉价全向相机的视觉罗盘。

Claims (5)

1.一种基于正弦曲线拟合的全景视觉罗盘估计方法，其特征在于，包括以下步骤：
步骤1、将由全向相机得到的全向图片转换为全景图片；
步骤2、对每一张全景图片，利用固定大小为L×L的滑动窗口以固定的步长d将其裁剪成一系列的子图数据集，记为
Figure FDA0002395793780000011
Figure FDA0002395793780000012
为第i张全景图片裁剪而成的子图数据集，
Figure FDA0002395793780000013
为子图数据集
Figure FDA0002395793780000014
中第n张子图；
步骤3、通过傅里叶-梅林变换计算出相邻两帧全景图片的对应子图数据集之间的运动向量集合，计算时，认为相邻两帧全景图片的对应子图数据集中的子图一一对应；
步骤4、对运动向量集合中的各运动量进行曲线拟合以进行相机的姿态估算，包括以下步骤：
步骤401、将全向相机的姿态估计问题，建模成正弦曲线拟合的问题，即目标函数式为：
Figure FDA0002395793780000015
式(3)中，x是需要拟合的数据，y是观测值，ω为已知参数，A是待估计的幅值，B是待估计的偏移，φ是待估计的相移；
步骤402、将式(3)的目标函数写作两个子目标函数，分别为：关于旋转轴在x-y平面的旋转向量Rxy的子函数：
Figure FDA0002395793780000016
和关于旋转轴为轴的旋转向量Rz的子函数：
Figure FDA0002395793780000017
式(4)中，uj为第j个子图的中心在原全景图片中对应的列数；Δvj、Δθj分别是相邻两帧全景图片的对应子图数据集中的两个相对应的第j个子图在v方向上的平移和两者间的旋转角度；tz为全向相机在z轴方向上的平移；
Figure FDA0002395793780000018
为Rxy的旋转轴与x轴的夹角，
Figure FDA0002395793780000019
为Rxy的旋转轴与y轴的夹角；γ代表一个像素点对应的视角；λ为未知的平移尺度参数；η为联合优化权重系数；
式(5)中，txy为全向相机在x-y平面上的平移，
Figure FDA0002395793780000021
为txy与x轴的夹角；
步骤403、利用式(4)所示的子函数以及式(5)所示的子函数，以及步骤3得到的运动向量集合，估算出两帧全景图片之间的三自由度旋转向量(Rx,Ry,Rz)；
步骤404、获得两帧全景图片之间的三自由度旋转向量后，根据链式法则得到每一帧全景图片相对于第一帧全景图片的旋转角度，即全向相机的相机姿态。
2.如权利要求1所述的一种基于正弦曲线拟合的全景视觉罗盘估计方法，其特征在于，步骤1中，通过笛卡尔坐标与极坐标之间的变换将所述全向图片变换为所述全景图片，全向图片上任意一点(u,v)与全景图片上对应点(u′,v′)的变换公式如下式(1)及下式(2)所示：
Figure FDA0002395793780000022
Figure FDA0002395793780000023
式(1)及式(2)中，
Figure FDA0002395793780000024
W和H分别为全景图片的宽度和高度，
Figure FDA0002395793780000025
R1和R2分别是全向图片有效信息区域的内径和外径。
3.如权利要求1所述的一种基于正弦曲线拟合的全景视觉罗盘估计方法，其特征在于，步骤3中，计算相邻两帧全景图片的对应子图数据集中每个相对应子图的运动向量，子图数据集中所有子图的运动向量构成了所述运动向量集合；
设子图数据集
Figure FDA0002395793780000026
中第j张子图为
Figure FDA0002395793780000027
子图数据集
Figure FDA0002395793780000028
中第j张子图为
Figure FDA0002395793780000029
则子图
Figure FDA00023957937800000210
与子图
Figure FDA00023957937800000211
的运动向量的计算方法包括以下步骤：
步骤301、对子图
Figure FDA00023957937800000212
和子图
Figure FDA00023957937800000213
做傅里叶变换，得到子图
Figure FDA00023957937800000214
及子图
Figure FDA00023957937800000215
的频谱；
步骤302、计算步骤301得到的频谱的模；
步骤303、将步骤302中得到的频谱的模转换到对数极坐标系(log(ρ),θ)，得到重采样的频谱
Figure FDA00023957937800000216
其中，ρ是半径坐标，θ是旋转角度；
步骤304、通过纯相位匹配滤波器计算
Figure FDA00023957937800000217
和
Figure FDA00023957937800000218
之间的相位图，并通过相位图上的峰值坐标计算出旋转参数Δθj和尺度参数Δsj；
步骤305、根据得到的旋转参数Δθj和尺度参数Δsj，将子图
Figure FDA0002395793780000031
重新放缩、旋转，得到子图
Figure FDA0002395793780000032
步骤306、通过纯相位匹配滤波器计算出子图
Figure FDA0002395793780000033
和子图
Figure FDA0002395793780000034
的相位图，并根据峰值坐标得到平移参数Δuj、Δvj；
步骤307、步骤304得到的旋转参数、尺度参数以及步骤306得到的平移参数组成了子图
Figure FDA0002395793780000035
与子图
Figure FDA0002395793780000036
的运动向量(Δuj,Δvj,Δθj,Δsj)。
4.如权利要求3所述的一种基于正弦曲线拟合的全景视觉罗盘估计方法，其特征在于，步骤307中，从得到的运动向量(Δuj,Δvj,Δθj,Δsj)中选择(Δuj,Δvj,Δθj)作为最终的有效运动向量组成所述运动向量集合。
5.一种如权利要求1所述的基于正弦曲线拟合的全景视觉罗盘估计方法在机器人的定位与导航中的应用。
CN202010131131.9A 2020-02-28 2020-02-28 一种基于正弦曲线拟合的全景视觉罗盘估计方法及其应用 Active CN111354044B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010131131.9A CN111354044B (zh) 2020-02-28 2020-02-28 一种基于正弦曲线拟合的全景视觉罗盘估计方法及其应用

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010131131.9A CN111354044B (zh) 2020-02-28 2020-02-28 一种基于正弦曲线拟合的全景视觉罗盘估计方法及其应用

Publications (2)

Publication Number Publication Date
CN111354044A true CN111354044A (zh) 2020-06-30
CN111354044B CN111354044B (zh) 2023-04-21

Family

ID=71194167

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010131131.9A Active CN111354044B (zh) 2020-02-28 2020-02-28 一种基于正弦曲线拟合的全景视觉罗盘估计方法及其应用

Country Status (1)

Country Link
CN (1) CN111354044B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111951318A (zh) * 2020-08-10 2020-11-17 上海科技大学 一种应用于多深度场景的扩展傅里叶梅林定位算法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020154812A1 (en) * 2001-03-12 2002-10-24 Eastman Kodak Company Three dimensional spatial panorama formation with a range imaging system
US20060083407A1 (en) * 2004-10-15 2006-04-20 Klaus Zimmermann Method for motion estimation
US20070106457A1 (en) * 2005-11-09 2007-05-10 Outland Research Portable computing with geospatial haptic compass
CN109064404A (zh) * 2018-08-10 2018-12-21 西安电子科技大学 一种基于多相机标定的全景拼接方法、全景拼接系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020154812A1 (en) * 2001-03-12 2002-10-24 Eastman Kodak Company Three dimensional spatial panorama formation with a range imaging system
US20060083407A1 (en) * 2004-10-15 2006-04-20 Klaus Zimmermann Method for motion estimation
US20070106457A1 (en) * 2005-11-09 2007-05-10 Outland Research Portable computing with geospatial haptic compass
CN109064404A (zh) * 2018-08-10 2018-12-21 西安电子科技大学 一种基于多相机标定的全景拼接方法、全景拼接系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
李含伦等: "一种利用Fourier-Mellin变换和曲线拟合的遥感图像亚像素配准方法", 《小型微型计算机系统》 *
雷杰等: "基于泰勒模型的全向图像展开", 《中国图象图形学报》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111951318A (zh) * 2020-08-10 2020-11-17 上海科技大学 一种应用于多深度场景的扩展傅里叶梅林定位算法
CN111951318B (zh) * 2020-08-10 2023-08-04 上海科技大学 一种应用于多深度场景的扩展傅里叶梅林定位算法

Also Published As

Publication number Publication date
CN111354044B (zh) 2023-04-21

Similar Documents

Publication Publication Date Title
CN109166149B (zh) 一种融合双目相机与imu的定位与三维线框结构重建方法与系统
CN106840148B (zh) 室外作业环境下基于双目摄像机的可穿戴式定位与路径引导方法
Scaramuzza et al. Appearance-guided monocular omnidirectional visual odometry for outdoor ground vehicles
JP7236565B2 (ja) 位置姿勢決定方法、装置、電子機器、記憶媒体及びコンピュータプログラム
WO2018163898A1 (ja) 自由視点移動表示装置
JP4511147B2 (ja) 三次元形状生成装置
CN111383205B (zh) 一种基于特征点和三维模型的图像融合定位方法
CN107917710B (zh) 一种基于单线激光的室内实时定位与三维地图构建方法
JP2007192832A (ja) 魚眼カメラの校正方法。
CN110163963B (zh) 一种基于slam的建图装置和建图方法
CN110533719B (zh) 基于环境视觉特征点识别技术的增强现实定位方法及装置
CN111899276A (zh) 一种基于双目事件相机的slam方法及系统
Agrawal et al. PCE-SLAM: A real-time simultaneous localization and mapping using LiDAR data
Pathak et al. Dense 3D reconstruction from two spherical images via optical flow-based equirectangular epipolar rectification
CN112767546A (zh) 移动机器人基于双目图像的视觉地图生成方法
Chen et al. Single-image distance measurement by a smart mobile device
Burkard et al. User-aided global registration method using geospatial 3D data for large-scale mobile outdoor augmented reality
CN111354044B (zh) 一种基于正弦曲线拟合的全景视觉罗盘估计方法及其应用
CN114266823A (zh) 一种结合SuperPoint网络特征提取的单目SLAM方法
CN116989772B (zh) 一种空地多模态多智能体协同定位与建图方法
Wang et al. An attitude estimation method based on monocular vision and inertial sensor fusion for indoor navigation
CN113345032A (zh) 一种基于广角相机大畸变图的初始化建图方法及系统
Kuang et al. Pose estimation for omni-directional cameras using sinusoid fitting
Tong et al. An Omni-directional vSLAM based on spherical camera model and 3D modeling
CN115420276A (zh) 一种面向室外场景的多机器人协同定位与建图方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant