CN111951318A - 一种应用于多深度场景的扩展傅里叶梅林定位算法 - Google Patents

一种应用于多深度场景的扩展傅里叶梅林定位算法 Download PDF

Info

Publication number
CN111951318A
CN111951318A CN202010794306.4A CN202010794306A CN111951318A CN 111951318 A CN111951318 A CN 111951318A CN 202010794306 A CN202010794306 A CN 202010794306A CN 111951318 A CN111951318 A CN 111951318A
Authority
CN
China
Prior art keywords
vector
scale
image
translation
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010794306.4A
Other languages
English (en)
Other versions
CN111951318B (zh
Inventor
徐晴雯
师泽仁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ShanghaiTech University
Original Assignee
ShanghaiTech University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ShanghaiTech University filed Critical ShanghaiTech University
Priority to CN202010794306.4A priority Critical patent/CN111951318B/zh
Publication of CN111951318A publication Critical patent/CN111951318A/zh
Application granted granted Critical
Publication of CN111951318B publication Critical patent/CN111951318B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明拓展了现有的傅里叶梅林算法，基于此提出了一种应用于多深度场景的扩展傅里叶梅林定位算法，可应用于机器人的定位与导航中，属于机器人技术领域。原有的傅里叶梅林算法只能应用于平面场景且场景需要平行于相机成像面。本发明将该算法拓展到多深度场景，不再有平面限制。该方法的过程如下：首先将两张图片变换到对数极坐标空间，然后通过相位相关法得到相移图，在相移图上检测旋转和最小、最大尺度变换，并等间隔采样得到尺度向量；其次，对于每一个尺度，计算单位平移向量，再将所有的平移向量合并；接着通过图样匹配对尺度向量和平移向量进行缩放，使所有帧的尺度和平移单位统一；最后通过链式法则，得到每一帧对应的相机位姿。

Description

一种应用于多深度场景的扩展傅里叶梅林定位算法
技术领域
本发明涉及一种基于拓展傅里叶梅林变换的相机位姿估计方法，属于机器人技术领域，主要涉及傅里叶梅林变换、图样匹配、视觉定位等算法。
背景技术
傅里叶变换技术最早被应用于图像处理中(参考文献【1】：J.Turski,“Projectivefourier analysis for patterns,”Pattern Recogni-tion,vol.33,no.12,pp.2033–2043,2000.；文献【2】：J.-P.Gauthier,G.Bornard,and M.Silbermann,“Motions andpattern analysis:harmonic analysis on motion groups and their homogeneousspaces,”IEEE Trans.Syst.,Man,Cybern.,vol.21,no.1,pp.159–172,1991.)，之后文献【3】(Q.-s.Chen,M.Defrise,and F.Deconinck,“Symmetric phase-only matchedfiltering of fourier-mellin transforms for image registration andrecognition,”IEEE Trans.Pattern Anal.Mach.Intell.,vol.16,no.12,pp.1156–1168,1994.)利用相位匹配滤波器，使傅里叶变换可用于运动估计。文献【4】(B.S.Reddy andB.N.Chatterji,“An fft-based technique for translation,rotation,and scale-invariant image registration,”IEEE Trans.Image Process.,vol.5,no.8,pp.1266–1271,1996.)介绍了傅里叶梅林变换(FMT)来估计图片之间的旋转、尺度变换和平移，该算法的稳定性和准确度在文献【5】(H.
Figure BDA0002624959530000012
and A.Birk,“Fast and robust photomappingwith an unmanned aerial vehicle(uav),”in 2009 IEEE/RSJ InternationalConference on Intelligent Robotsand Systems.IEEE,2009,pp.3368–3373.)及文献【6】(H.Bulow,A.Birk,and V.Unnithan,“Online generation of an under-water photo mapwith improved fourier mellin based registration,”in OCEANS 2009-EUROPE.IEEE,2009,pp.1–6.)中得以进一步提高。并且，文献【5】中对比了基于FMT和SIFT的图像配准算法的准确度和鲁棒性，前者均优于后者。文献【7】(Q.Xu,A.G.Chavez,H.
Figure BDA0002624959530000011
A.Birk,andS.Schwertfeger,“Improved fourier mellin invariant for robust rotationestimation with omni-cameras,”in 2019 IEEE International Conference on ImageProcessing(ICIP).IEEE,2019,pp.320–324.)展示了基于FMT的视觉里程计算法在特征不明显的环境中优于特征点法。
正因为FMT有着很高的鲁棒性和准确度，FMT在多个领域都有成功应用的案例，如视觉归航(文献【8】：R.Cassinis,D.Duina,S.Inelli,andA.Rizzi,“Unsupervisedmatching of visual landmarks for robotic homing using fourier–mellin trans-form,”Robotics and Autonomous Systems,vol.40,no.2-3,pp.131–138,2002.)、定位与建图(文献【9】：P.Checchin,F.Ge′rossier,C.Blanc,R.Chapuis,and L.Trassoudaine,“Radar scan matching slam using the fourier-mellin transform,”in Field andService Robotics.Springer,2010,pp.151–161.)、指纹识别(文献【13】：O.P.Maksymenkoand O.M.Sakharuk,“Improving the reliability of 2d dic by using fourier-mellintransform,”Digital Image Correlation Advanced Methods and Applications,NewYork,pp.1–36,2017.)等。文献【10】(H.Bulow and A.Birk,“Scale-free registrationsin 3d:7degrees of freedom with fourier mellin soft transforms,”InternationalJournal of Computer Vision,vol.126,no.7,pp.731–750,2018.)中利用FMT进行了点云之间的七自由度配准；文献【11】(T.Kazik and A.H.
Figure BDA0002624959530000021
“Visual odometry basedon the fourier-mellin transform for a rover using a monocular ground-facingcamera,”in 2011 IEEE International Conference on Mechatronics.IEEE,2011,pp.469–474.)中利用一个朝向向下的机器人实现了基于FMT的机器人视觉定位；文献【12】(M.Pfingsthorn,H.
Figure BDA0002624959530000022
A.Birk,F.Ferreira,G.Veruggio,M.Cac-cia,and G.Bruzzone,“Large-scale mosaicking with spectral registra-tion based simultaneouslocalization and mapping(ifmi-slam)in the ligurian sea,”in 2013 MTS/IEEEOCEANS-Bergen.IEEE,2013,pp.1–6.)中利用FMT进行了水下图片拼接。
尽管FMT已经被广泛应用，但是仍具有其局限性：1)图像采集器只能在成像平面内旋转，不能横滚或俯仰相机；2)环境需要是平面的且平行于成像平面。在过去的研究中，也有不少工作尝试解决该局限性、比如利用优化的方法基于FMT估计图片之间的仿射变换(参考文献【14】：L.Lucchese,“Estimating affine transformations in the frequencydomain,”in Proceedings 2001 International Conference on Image Processing(Cat.No.01CH37205),vol.2.IEEE,2001,pp.909–912.)、通过分割的方法使子图满足FMT的适用条件(参考文献【7】；文献【15】：K.Pathak,M.Pfingsthorn,H.
Figure BDA0002624959530000023
and A.Birk,“Robustestimation of camera-tilt for ifmi based underwater photo-mappingusing a calibrated monocular camera,”in 2013IEEE International Conference onRobotics and Automation.IEEE,2013,pp.5111–5116.)。但FMT的局限性至今仍然存在，限制了其进一步发展。
发明内容
本发明要解决的技术问题是：现有FMT技术中环境需要是平面的且平行于成像平面。
为了解决上述技术问题，本发明的技术方案是提供了一种应用于多深度场景的扩展傅里叶梅林定位算法，其特征在于，包括以下步骤：
步骤1：利用相机采集多深度场景下的图像数据，获得图像数据集
Figure BDA0002624959530000031
Ij表示图像数据集
Figure BDA0002624959530000032
中的第j帧图像，N表示图像数据集
Figure BDA0002624959530000033
中的图像总数量；
步骤2：取图像数据集
Figure BDA00026249595300000320
中的连续两帧图像Ij、Ij+1，对图像Ij、Ij+1做傅里叶变换得到频谱，再将频谱转换到极坐标系下，并对坐标系半径ρ取对数，得到重采样的频谱
Figure BDA0002624959530000034
通过纯相位匹配滤波器计算
Figure BDA0002624959530000035
和
Figure BDA0002624959530000036
之间的相位图，在该相位图上进行尺度向量
Figure BDA0002624959530000037
和图像Ij、Ij+1之间的旋转角度Δθ的提取，sk表示尺度向量中的第k个尺度值；
步骤3：依据尺度向量
Figure BDA0002624959530000038
中的每一个尺度值sk和旋转角度Δθ，将图像Ij+1重新放缩、旋转，得到子图I’j+1，通过纯相位匹配滤波器计算出图像Ij和子图I′j+1的相位图，在该相位图上提取单位平移向量
Figure BDA0002624959530000039
步骤4：采用与步骤2、步骤3相同的方法计算得到图像数据集
Figure BDA00026249595300000310
中连续两帧图像Ij+1、Ij+2的尺度向量
Figure BDA00026249595300000311
和单位平移向量
Figure BDA00026249595300000312
获得尺度向量
Figure BDA00026249595300000313
与尺度向量
Figure BDA00026249595300000314
之间的尺度缩放因子sz以及单位平移向量
Figure BDA00026249595300000315
与单位平移向量
Figure BDA00026249595300000316
之间的平移缩放因子st。
优选地，步骤2中，所述尺度向量
Figure BDA00026249595300000317
和所述旋转角度Δθ的提取包括以下步骤：
步骤201：找到
Figure BDA00026249595300000318
和
Figure BDA00026249595300000319
之间的相位图上能量最大的点(um，vm)，um表示能量最大的点对应的列号，vm表示能量最大的点对应的行号，根据um计算出所述旋转角度Δθ；
步骤202：将相位图按图像中心所在行分成上下两半，在[um-δ，um+δ]范围内计算相位图中vm所在一半每行的最大值，δ表示第um列向左、向右膨胀的列数，每行的最大值组成相位图上能量最大的半列向量h，h的长度为对数极坐标系半径；
步骤203：在h上找到其能量高于阈值thres的所有位置，并记录下最小位置pmin和最大位置pmax；
步骤204：在[pmin，pmax]范围内按给定步长均匀采样，得到尺度向量
Figure BDA0002624959530000041
优选地，步骤3中，提取所述单位平移向量
Figure BDA0002624959530000042
包括以下步骤：
步骤301：将图像Ij和子图I’j+1的相位图从中心开始，按照角度平均划分为n个扇区，每个扇区的张开角度为o；
步骤302：计算每个扇区的能量综合，找到能量最大的扇区rmax，扇区rmax的方向认为是单位平移向量的方向；
步骤303：在垂直于扇区方向，找到扇区rmax中每个距离上的最大值，得到与所述第k个尺度值sk相对应的平移向量
Figure BDA0002624959530000043
并将平移向量
Figure BDA0002624959530000044
的长度缩放到图像分辨率的一半；
将sk对应的向量
Figure BDA0002624959530000045
按sk的能量值比例叠加，得到单位所述平移向量
Figure BDA0002624959530000046
优选地，步骤4中，所述尺度缩放因子sz的计算包括以下步骤：
步骤401：将尺度向量
Figure BDA0002624959530000047
末尾和尺度向量
Figure BDA0002624959530000048
起始元素对齐，对于没有对齐的元素补0，得到新的尺度向量
Figure BDA0002624959530000049
和
Figure BDA00026249595300000410
步骤402：计算尺度向量
Figure BDA00026249595300000411
和尺度向量
Figure BDA00026249595300000412
的距离；
步骤403：将尺度向量
Figure BDA00026249595300000413
逐个向后移动，重复步骤402及步骤403，直到尺度向量
Figure BDA00026249595300000414
起始和尺度向量
Figure BDA00026249595300000415
末尾对齐，得到尺度向量
Figure BDA00026249595300000416
和尺度向量
Figure BDA00026249595300000417
的最短距离Δm，则所述尺度缩放因子sz为
Figure BDA00026249595300000418
优选地，步骤4中，所述平移缩放因子st的计算包括以下步骤：
步骤411：设定所述平移缩放因子st可能的取值范围[st，min，st，max]和步长；
步骤412：对于每个可能的平移缩放因子st，l，平移缩放因子st，l表示在取值范围[st，min，st，max]按照一定步长取得的第l个可能的平移缩放因子，将单位平移向量
Figure BDA0002624959530000051
缩放到
Figure BDA0002624959530000052
并通过补0或截取的方式使
Figure BDA0002624959530000053
和所述单位平移向量
Figure BDA0002624959530000054
的长度相同；
步骤412：计算
Figure BDA0002624959530000055
和
Figure BDA0002624959530000056
之间的欧式距离，找到使该欧式距离最短的可能的平移缩放因子作为所述平移缩放因子st。
优选地，所述步骤4之后还包括：
步骤5：利用图像Ij、Ij+1之间的尺度
Figure BDA0002624959530000057
和尺度缩放因子sz，计算得到图像Ij+1、Ij+2之间的尺度
Figure BDA0002624959530000058
其中，第0帧图像和第1帧图像之间的尺度
Figure BDA0002624959530000059
直接取尺度向量
Figure BDA00026249595300000510
中能量最大的值；
步骤6：利用相机焦距f计算得拍摄图像Ij+1、Ij+2之间相机在垂直于成像平面的运动
Figure BDA00026249595300000511
拍摄图像Ij、Ij+1之间相机在垂直于成像平面的运动
Figure BDA00026249595300000512
Figure BDA00026249595300000513
步骤7：利用所述平移缩放因子st和图像Ij、Ij+1之间的平移
Figure BDA00026249595300000514
计算得图像Ij+1、Ij+2之间的平移
Figure BDA00026249595300000515
式中，
Figure BDA00026249595300000516
表示图像Ij、Ij+1之间x方向上的平移，
Figure BDA00026249595300000517
表示图像Ij、Ij+1之间y方向上的平移；
步骤8：利用链式法则估计出相机的位姿。
优选地，步骤8中，利用以下链式法则估计出相机的位姿：
Figure BDA00026249595300000518
Figure BDA00026249595300000519
上式中，Tj+1表示拍摄图像Ij+1时的相机位姿，Tj j+1表示拍摄图像Ij、Ij+1之间的相机相对位姿。
本发明提出一种扩展傅里叶梅林(eFMT)技术，使其可以应用于包含多深度场景的图像，并利用其实现基于小孔相机的视觉位姿估计。本发明突破了传统傅里叶梅林算法关于场景必须是平面的且平行于相机成像面的限制，可用于计算机视觉、机器人定位、无人驾驶等领域。
本发明可以估计出每一帧对应的相机姿态。与传统的傅里叶梅林变换相比，本发明利用尺度向量和平移向量代替了原有的尺度、平移单峰值，使其可以处理多深度场景的情况。尤其是随着时间发生变化时，有的物体淡出相机视野中，有的物体出现在相机视野中，此时传统傅里叶梅林算法中尺度、平移的峰值对应不同的物体，使得前后不同帧之间的尺度、平移对应的缩放因子不同。但是本发明中的尺度和平移向量可以涵盖所有深度的变化，从而在应用中可以始终保持与真实变换的缩放因子一致。
附图说明
图1为本发明的概述图；
图2为实际和仿真场景示例。
具体实施方式
下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。
如图1所示，本发明提供了一种应用于多深度场景的扩展傅里叶梅林定位算法，包括以下步骤：
步骤1：通过如图2所示的仿真平台或实际场景，利用相机采集多深度场景下的图像数据，相机可在三维空间内平移或在平行于成像平面内旋转，从而获得图像数据集
Figure BDA0002624959530000061
Ij表示图像数据集
Figure BDA0002624959530000062
中的第j帧图像，N表示图像数据集
Figure BDA0002624959530000063
中的图像总数量。
步骤2：取图像数据集
Figure BDA0002624959530000067
中的连续两帧图像Ij、Ij+1，对图像Ij、Ij+1做傅里叶变换得到频谱，再将频谱转换到极坐标系下，并对坐标系半径ρ取对数，得到重采样的频谱
Figure BDA0002624959530000064
通过纯相位匹配滤波器计算
Figure BDA0002624959530000065
和
Figure BDA0002624959530000066
之间的相位图，在该相位图上进行尺度向量
Figure BDA0002624959530000071
和图像Ij、Ij+1之间的旋转角度Δθ的提取，sk表示尺度向量中的第k个尺度值。尺度向量
Figure BDA0002624959530000072
和旋转角度Δθ的提取包括以下步骤：
步骤201：找到
Figure BDA0002624959530000073
和
Figure BDA0002624959530000074
之间的相位图上能量最大的点(um，vm)，um表示能量最大的点对应的列号，vm表示能量最大的点对应的行号，根据um计算出所述旋转角度Δθ；
步骤202：将相位图按图像中心所在行分成上下两半，在[um-δ，um+δ]范围内计算相位图中vm所在一半每行的最大值，δ表示第um列向左、向右膨胀的列数，每行的最大值组成相位图上能量最大的半列向量h，h的长度为对数极坐标系半径；
步骤203：在h上找到其能量高于阈值thres的所有位置，并记录下最小位置pmin和最大位置pmax；
步骤204：在[pmin，pmax]范围内按给定步长均匀采样，得到尺度向量
Figure BDA0002624959530000075
步骤3：依据尺度向量
Figure BDA0002624959530000076
中的每一个值sk和旋转角度Δθ，将图像Ij+1重新放缩、旋转，得到子图I’j+1，通过纯相位匹配滤波器计算出图像Ij和子图I’j+1的相位图，在该相位图上提取单位平移向量
Figure BDA0002624959530000077
提取单位平移向量
Figure BDA0002624959530000078
包括以下步骤：
步骤301：将图像Ij和子图I’j+1的相位图从中心开始，按照角度平均划分为n个扇区，每个扇区的张开角度为o；
步骤302：计算每个扇区的能量综合，找到能量最大的扇区rmax，扇区rmax的方向认为是单位平移向量的方向；
步骤303：在垂直于扇区方向，找到扇区rmax中每个距离上的最大值，得到与所述第k个尺度值sk相对应的平移向量
Figure BDA0002624959530000079
并将平移向量
Figure BDA00026249595300000710
的长度缩放到图像分辨率的一半；
将sk对应的向量
Figure BDA00026249595300000711
按sk的能量值比例叠加，得到单位所述平移向量
Figure BDA00026249595300000712
步骤4：采用与步骤2、步骤3相同的方法计算得到图像数据集
Figure BDA0002624959530000081
中连续两帧图像Ij+1、Ij+2的尺度向量
Figure BDA0002624959530000082
和单位平移向量
Figure BDA0002624959530000083
获得尺度向量
Figure BDA0002624959530000084
与尺度向量
Figure BDA0002624959530000085
之间的尺度缩放因子sz以及单位平移向量
Figure BDA0002624959530000086
与单位平移向量
Figure BDA0002624959530000087
之间的平移缩放因子st。
尺度缩放因子sz的计算包括以下步骤：
步骤401：将尺度向量
Figure BDA0002624959530000088
末尾和尺度向量
Figure BDA0002624959530000089
起始元素对齐，对于没有对齐的元素补0，得到新的尺度向量
Figure BDA00026249595300000810
和
Figure BDA00026249595300000811
步骤402：计算尺度向量
Figure BDA00026249595300000812
和尺度向量
Figure BDA00026249595300000813
的距离；
步骤403：将尺度向量
Figure BDA00026249595300000814
逐个向后移动，重复步骤402及步骤403，直到尺度向量
Figure BDA00026249595300000815
起始和尺度向量
Figure BDA00026249595300000816
末尾对齐，得到尺度向量
Figure BDA00026249595300000817
和尺度向量
Figure BDA00026249595300000818
的最短距离Δm，则所述尺度缩放因子sz为
Figure BDA00026249595300000819
平移缩放因子st的计算包括以下步骤：
步骤411：设定所述平移缩放因子st可能的取值范围[st，min，st，max]和步长；
步骤412：对于每个可能的平移缩放因子st，l，平移缩放因子st，l表示在取值范围[st，min，st，max]按照一定步长取得的第l个可能的平移缩放因子，将单位平移向量
Figure BDA00026249595300000820
缩放到
Figure BDA00026249595300000821
并通过补0或截取的方式使
Figure BDA00026249595300000822
和所述单位平移向量
Figure BDA00026249595300000823
的长度相同；
步骤412：计算
Figure BDA00026249595300000824
和
Figure BDA00026249595300000825
之间的欧式距离，找到使该欧式距离最短的可能的平移缩放因子作为所述平移缩放因子st。
步骤5：利用图像Ij、Ij+1之间的尺度
Figure BDA00026249595300000826
和尺度缩放因子sz，计算得到图像Ij+1、Ij+2之间的尺度
Figure BDA00026249595300000827
其中，第0帧图像和第1帧图像之间的尺度
Figure BDA00026249595300000828
直接取尺度向量
Figure BDA00026249595300000829
中能量最大的值。
步骤6：利用相机焦距f计算得拍摄图像Ij+1、Ij+2之间相机在垂直于成像平面的运动
Figure BDA0002624959530000091
拍摄图像Ij、Ij+1之间相机在垂直于成像平面的运动
Figure BDA0002624959530000092
Figure BDA0002624959530000093
步骤7：利用所述平移缩放因子st和图像Ij、Ij+1之间的平移
Figure BDA0002624959530000094
计算得图像Ij+1、Ij+2之间的平移
Figure BDA0002624959530000095
式中，
Figure BDA0002624959530000096
表示图像Ij、Ij+1之间x方向上的平移，
Figure BDA0002624959530000097
表示图像Ij、Ij+1之间y方向上的平移。
步骤8：利用以下链式法则估计出相机的位姿：
Figure BDA0002624959530000098
Figure BDA0002624959530000099
上式中，Tj+1表示拍摄图像Ij+1时的相机位姿，
Figure BDA00026249595300000910
表示拍摄图像Ij、Ij+1之间的相机相对位姿。
从而，本发明就实现了一个基于扩展傅里叶梅林变换的视觉里程计，可处理多深度的场景。

Claims (7)

1.一种应用于多深度场景的扩展傅里叶梅林定位算法，其特征在于，包括以下步骤：
步骤1：利用相机采集多深度场景下的图像数据，获得图像数据集II＝{Ij，j∈N}，Ij表示图像数据集II中的第j帧图像，N表示图像数据集II中的图像总数量；
步骤2：取图像数据集II中的连续两帧图像Ij、Ij+1，对图像Ij、Ij+1做傅里叶变换得到频谱，再将频谱转换到极坐标系下，并对坐标系半径ρ取对数，得到重采样的频谱
Figure FDA0002624959520000011
通过纯相位匹配滤波器计算
Figure FDA0002624959520000012
和
Figure FDA0002624959520000013
之间的相位图，在该相位图上进行尺度向量
Figure FDA0002624959520000014
和图像Ij、Ij+1之间的旋转角度Δθ的提取，sk表示尺度向量中的第k个尺度值；
步骤3：依据尺度向量
Figure FDA0002624959520000015
中的每一个尺度值sk和旋转角度Δθ，将图像Ij+1重新放缩、旋转，得到子图I’j+1，通过纯相位匹配滤波器计算出图像Ij和子图I’j+1的相位图，在该相位图上提取单位平移向量
Figure FDA0002624959520000016
步骤4：采用与步骤2、步骤3相同的方法计算得到图像数据集II中连续两帧图像Ij+1、Ij+2的尺度向量
Figure FDA0002624959520000017
和单位平移向量
Figure FDA0002624959520000018
获得尺度向量
Figure FDA0002624959520000019
与尺度向量
Figure FDA00026249595200000110
之间的尺度缩放因子sz以及单位平移向量
Figure FDA00026249595200000111
与单位平移向量
Figure FDA00026249595200000112
之间的平移缩放因子st。
2.如权利要求1所述的一种应用于多深度场景的扩展傅里叶梅林定位算法，其特征在于，步骤2中，所述尺度向量
Figure FDA00026249595200000113
和所述旋转角度Δθ的提取包括以下步骤：
步骤201：找到
Figure FDA00026249595200000114
和
Figure FDA00026249595200000115
之间的相位图上能量最大的点(um，vm)，um表示能量最大的点对应的列号，vm表示能量最大的点对应的行号，根据um计算出所述旋转角度Δθ；
步骤202：将相位图按图像中心所在行分成上下两半，在[um-δ，um+δ]范围内计算相位图中vm所在一半每行的最大值，δ表示第um列向左、向右膨胀的列数，每行的最大值组成相位图上能量最大的半列向量h，h的长度为对数极坐标系半径；
步骤203：在h上找到其能量高于阈值thres的所有位置，并记录下最小位置pmin和最大位置pmax；
步骤204：在[pmin，pmax]范围内按给定步长均匀采样，得到尺度向量
Figure FDA0002624959520000021
3.如权利要求1所述的一种应用于多深度场景的扩展傅里叶梅林定位算法，其特征在于，步骤3中，提取所述单位平移向量
Figure FDA0002624959520000022
包括以下步骤：
步骤301：将图像Ij和子图I’j+1的相位图从中心开始，按照角度平均划分为n个扇区，每个扇区的张开角度为o；
步骤302：计算每个扇区的能量综合，找到能量最大的扇区rmax，扇区rmax的方向认为是单位平移向量的方向；
步骤303：在垂直于扇区方向，找到扇区rmax中每个距离上的最大值，得到与所述第k个尺度值sk相对应的平移向量
Figure FDA0002624959520000023
并将平移向量
Figure FDA0002624959520000024
的长度缩放到图像分辨率的一半；
将sk对应的向量
Figure FDA0002624959520000025
按sk的能量值比例叠加，得到单位所述平移向量
Figure FDA0002624959520000026
4.如权利要求1所述的一种应用于多深度场景的扩展傅里叶梅林定位算法，其特征在于，步骤4中，所述尺度缩放因子sz的计算包括以下步骤：
步骤401：将尺度向量
Figure FDA0002624959520000027
末尾和尺度向量
Figure FDA0002624959520000028
起始元素对齐，对于没有对齐的元素补0，得到新的尺度向量
Figure FDA0002624959520000029
和
Figure FDA00026249595200000210
步骤402：计算尺度向量
Figure FDA00026249595200000211
和尺度向量
Figure FDA00026249595200000212
的距离；
步骤403：将尺度向量
Figure FDA00026249595200000213
逐个向后移动，重复步骤402及步骤403，直到尺度向量
Figure FDA00026249595200000214
起始和尺度向量
Figure FDA00026249595200000215
末尾对齐，得到尺度向量
Figure FDA00026249595200000216
和尺度向量
Figure FDA00026249595200000217
的最短距离Δm，则所述尺度缩放因子sz为
Figure FDA00026249595200000218
5.如权利要求1所述的一种应用于多深度场景的扩展傅里叶梅林定位算法，其特征在于，步骤4中，所述平移缩放因子st的计算包括以下步骤：
步骤411：设定所述平移缩放因子st可能的取值范围[st，min，st，max]和步长；
步骤412：对于每个可能的平移缩放因子st，l，平移缩放因子st，l表示在取值范围[st，min，st，max]按照一定步长取得的第l个可能的平移缩放因子，将单位平移向量
Figure FDA0002624959520000031
缩放到
Figure FDA0002624959520000032
并通过补0或截取的方式使
Figure FDA0002624959520000033
和所述单位平移向量
Figure FDA0002624959520000034
的长度相同；
步骤412：计算
Figure FDA0002624959520000035
和
Figure FDA0002624959520000036
之间的欧式距离，找到使该欧式距离最短的可能的平移缩放因子作为所述平移缩放因子st。
6.如权利要求1所述的一种应用于多深度场景的扩展傅里叶梅林定位算法，其特征在于，所述步骤4之后还包括：
步骤5：利用图像Ij、Ij+1之间的尺度
Figure FDA0002624959520000037
和尺度缩放因子sz，计算得到图像Ij+1、Ij+2之间的尺度
Figure FDA0002624959520000038
其中，第0帧图像和第1帧图像之间的尺度
Figure FDA0002624959520000039
直接取尺度向量
Figure FDA00026249595200000310
中能量最大的值；
步骤6：利用相机焦距f计算得拍摄图像Ij+1、Ij+2之间相机在垂直于成像平面的运动
Figure FDA00026249595200000311
Figure FDA00026249595200000312
拍摄图像Ij、Ij+1之间相机在垂直于成像平面的运动
Figure FDA00026249595200000313
Figure FDA00026249595200000314
Figure FDA00026249595200000315
步骤7：利用所述平移缩放因子st和图像Ij、Ij+1之间的平移
Figure FDA00026249595200000316
计算得图像Ij+1、Ij+2之间的平移
Figure FDA00026249595200000317
式中，
Figure FDA00026249595200000318
表示图像Ij、Ij+1之间x方向上的平移，
Figure FDA00026249595200000319
表示图像Ij、Ij+1之间y方向上的平移；
步骤8：利用链式法则估计出相机的位姿。
7.如权利要求6所述的一种应用于多深度场景的扩展傅里叶梅林定位算法，其特征在于，步骤8中，利用以下链式法则估计出相机的位姿：
Figure FDA00026249595200000320
Figure FDA0002624959520000041
上式中，Tj+1表示拍摄图像Ij+1时的相机位姿，Tj j+1表示拍摄图像Ij、Ij+1之间的相机相对位姿。
CN202010794306.4A 2020-08-10 2020-08-10 一种应用于多深度场景的扩展傅里叶梅林定位算法 Active CN111951318B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010794306.4A CN111951318B (zh) 2020-08-10 2020-08-10 一种应用于多深度场景的扩展傅里叶梅林定位算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010794306.4A CN111951318B (zh) 2020-08-10 2020-08-10 一种应用于多深度场景的扩展傅里叶梅林定位算法

Publications (2)

Publication Number Publication Date
CN111951318A true CN111951318A (zh) 2020-11-17
CN111951318B CN111951318B (zh) 2023-08-04

Family

ID=73332071

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010794306.4A Active CN111951318B (zh) 2020-08-10 2020-08-10 一种应用于多深度场景的扩展傅里叶梅林定位算法

Country Status (1)

Country Link
CN (1) CN111951318B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112686933A (zh) * 2020-12-29 2021-04-20 中国科学院长春光学精密机械与物理研究所 基于改进互功率谱的星上图像配准叠加增强方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6549683B1 (en) * 2000-05-02 2003-04-15 Institut National D'optique Method and apparatus for evaluating a scale factor and a rotation angle in image processing
CN102609979A (zh) * 2012-01-17 2012-07-25 北京工业大学 一种基于傅里叶梅林域的二维三维图像配准方法
CN106682689A (zh) * 2016-12-16 2017-05-17 西安汇明光电技术有限公司 基于多尺度傅里叶梅林变换的图像匹配方法
US20180005343A1 (en) * 2016-07-01 2018-01-04 Digimarc Corporation Image-based pose determination
CN110097494A (zh) * 2019-04-26 2019-08-06 浙江迈睿机器人有限公司 一种基于傅里叶-梅林变换的货物定位方法
CN110211169A (zh) * 2019-06-06 2019-09-06 上海黑塞智能科技有限公司 基于多尺度超像素和相位相关的窄基线视差的重构方法
CN111354044A (zh) * 2020-02-28 2020-06-30 上海科技大学 一种基于正弦曲线拟合的全景视觉罗盘估计方法及其应用

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6549683B1 (en) * 2000-05-02 2003-04-15 Institut National D'optique Method and apparatus for evaluating a scale factor and a rotation angle in image processing
CN102609979A (zh) * 2012-01-17 2012-07-25 北京工业大学 一种基于傅里叶梅林域的二维三维图像配准方法
US20180005343A1 (en) * 2016-07-01 2018-01-04 Digimarc Corporation Image-based pose determination
CN106682689A (zh) * 2016-12-16 2017-05-17 西安汇明光电技术有限公司 基于多尺度傅里叶梅林变换的图像匹配方法
CN110097494A (zh) * 2019-04-26 2019-08-06 浙江迈睿机器人有限公司 一种基于傅里叶-梅林变换的货物定位方法
CN110211169A (zh) * 2019-06-06 2019-09-06 上海黑塞智能科技有限公司 基于多尺度超像素和相位相关的窄基线视差的重构方法
CN111354044A (zh) * 2020-02-28 2020-06-30 上海科技大学 一种基于正弦曲线拟合的全景视觉罗盘估计方法及其应用

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
CHAO PENG等: "Robot visual guide with Fourier-Mellin based visual tracking", 《FRONTIERS OF OPTOELECTRONICS》 *
ROLAND GOECKE等: "Visual Vehicle Egomotion Estimation using the Fourier-Mellin Transform", 《2007 IEEE INTELLIGENT VEHICLES SYMPOSIUM》 *
李萌等: "基于梅林傅里叶变换与感知哈希的表计检测", 《自动化与仪器仪表》 *
武静: "基于四元数傅里叶梅林变换的旋转不变彩色纹理分类", 《计算机与现代化》 *
舒先标等: "基于位相相关检测的图像配准算法", 《光学技术》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112686933A (zh) * 2020-12-29 2021-04-20 中国科学院长春光学精密机械与物理研究所 基于改进互功率谱的星上图像配准叠加增强方法及系统
CN112686933B (zh) * 2020-12-29 2024-03-08 中国科学院长春光学精密机械与物理研究所 基于改进互功率谱的星上图像配准叠加增强方法及系统

Also Published As

Publication number Publication date
CN111951318B (zh) 2023-08-04

Similar Documents

Publication Publication Date Title
CN109166149B (zh) 一种融合双目相机与imu的定位与三维线框结构重建方法与系统
EP3417425B1 (en) Leveraging multi cues for fine-grained object classification
CN110866953A (zh) 地图构建方法及装置、定位方法及装置
CN111028292B (zh) 一种亚像素级图像匹配导航定位方法
CN106447601B (zh) 一种基于投影-相似变换的无人机遥感影像拼接方法
CN107767339B (zh) 一种双目立体图像拼接方法
CN110717936B (zh) 一种基于相机姿态估计的图像拼接方法
EP2960859A1 (en) Constructing a 3d structure
CN111127556B (zh) 基于3d视觉的目标物体识别和位姿估算方法以及装置
CN111798453A (zh) 用于无人驾驶辅助定位的点云配准方法及其系统
CN109934765B (zh) 高速相机全景图像拼接方法
CN111951318A (zh) 一种应用于多深度场景的扩展傅里叶梅林定位算法
Seetharaman et al. A piecewise affine model for image registration in nonrigid motion analysis
CN112767457A (zh) 一种基于主成分分析的平面点云匹配方法及装置
CN117291930A (zh) 一种基于图片序列中目标物体分割的三维重建方法和系统
CN110634160A (zh) 二维图形中目标三维关键点提取模型构建及姿态识别方法
CN115719377A (zh) 一种六自由度位姿估计数据集自动采集系统
CN111354044B (zh) 一种基于正弦曲线拟合的全景视觉罗盘估计方法及其应用
CN116151320A (zh) 一种抗动态目标干扰的视觉里程计方法及视觉里程计装置
Kang et al. 3D urban reconstruction from wide area aerial surveillance video
JP2004220138A (ja) 画像認識装置、及び、画像学習装置
CN115131401B (zh) 基于多尺度多方向核相关滤波的遥感视频目标跟踪方法
CN113720299B (zh) 基于三维相机或单目相机在导轨上滑动场景的测距方法
Ghosh et al. Incremental vehicle 3-d modeling from video
US20240161232A1 (en) Flexible Multi-Camera Focal Plane: A Light-Field Dynamic Homography

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant