CN112164114B - 一种基于天际线匹配的室外主动相机重定位方法 - Google Patents

一种基于天际线匹配的室外主动相机重定位方法 Download PDF

Info

Publication number
CN112164114B
CN112164114B CN202011011874.9A CN202011011874A CN112164114B CN 112164114 B CN112164114 B CN 112164114B CN 202011011874 A CN202011011874 A CN 202011011874A CN 112164114 B CN112164114 B CN 112164114B
Authority
CN
China
Prior art keywords
matching
skyline
image
camera
sky
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011011874.9A
Other languages
English (en)
Other versions
CN112164114A (zh
Inventor
冯伟
李璐凯
张乾
孟忱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN202011011874.9A priority Critical patent/CN112164114B/zh
Publication of CN112164114A publication Critical patent/CN112164114A/zh
Application granted granted Critical
Publication of CN112164114B publication Critical patent/CN112164114B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于天际线匹配的室外主动相机重定位方法，其特征在于，包括以下步骤：将参考观测图像IR根据语义分为天空区域和非天空区域两部分，得到两部分区域的交界线，即参考图像的天际线，并将其离散成关键点，得到参考图像的天际线点集；得到当前观测图像IT的天际线点集；匹配两组天际线点集得到参考图像与当前图像之间的匹配关系；根据得到的匹配关系S获得参考观测和当前观测间的相机相对位姿P；根据相机在平移方向上运动的步长信息判断重定位过程是否完成；若重定位完成则终止；若未完成则重复迭代步骤二至步骤五。

Description

一种基于天际线匹配的室外主动相机重定位方法
技术领域
本发明属于人工智能、计算机视觉领域，涉及主动视觉技术，具体为一种基于天际线匹配的室外主动相机重定位方法。
背景技术
主动式相机重定位，旨在物理真实地将相机六自由度位姿恢复到与拍摄参考图像时一致。在环境监测、历史文化遗产预防性保护、微小变化检测等领域发挥着重要作用，是主动视觉技术的一个重要应用。主动式相机重定位过程包括相机的相对位姿估计和相机的动态调整，相机的调整由机器人平台完成。
目前最先进的主动式相机重定位算法在大量野生赋存环境下的文化遗产微小变化检测任务中取得了巨大成功。但需要注意的是，这些监测任务是在稳定和可控的环境条件下进行的，在这种条件下，现有方法所依赖的图像的特征匹配结果能够支持准确的相机位姿估计。
然而，当历次观测的光照条件(方向和强度)不同时，现有方法的监测结果差强人意。光照的显著差异会改变场景(尤其是普遍存在的三维结构场景)的表观，进而使涉及到姿态估计的图像中的特征点描述子会发生变化，导致相机位姿估计失败。此外，如果观测场景中的背景(非监测对象区域)变化较大，例如，被监测古建筑附近的植被在不同季节可能发生剧烈变化(甚至结构变化)，将显著增加图像中误匹配特征点的数量，严重影响重定位结果的准确性。实际任务中常见的上述两种情况，会严重损害现有主动相机重定位方法的精度，导致实际监测结果不可靠，从而无法支持户外不可控环境条件下的重定位作业。
发明内容
本发提供了一种基于天际线匹配的室外主动相机重定位方法。考虑到场景结构通常不受光照差异的影响，因此通过对室外观测场景中的天际线进行匹配，避免了对场景中特征点的检测与匹配，有效减少了现有重定位方法对历次观测场景光照一致性和场景结构一致性的依赖，从而支持可靠高效的户外任务作业。技术方案如下：
一种基于天际线匹配的室外主动相机重定位方法，其特征在于，包括以下步骤：
步骤一，将参考观测图像IR(Reference)根据语义分为天空区域和非天空区域两部分，得到两部分区域的交界线，即参考图像的天际线，并将其离散成关键点，得到参考图像的天际线点集
Figure BDA0002697806010000011
步骤二，与步骤一相同，得到当前观测图像IT(Target)的天际线点集
Figure BDA0002697806010000012
步骤三，匹配两组天际线点集得到参考图像与当前图像之间的匹配关系
Figure BDA0002697806010000013
步骤四，根据得到的匹配关系
Figure BDA0002697806010000014
获得参考观测和当前观测间的相机相对位姿P；
步骤五，根据相机在平移方向上运动的步长信息判断重定位过程是否完成；若重定位完成则终止；若未完成则重复迭代步骤二至步骤五；
其中，当前观测图像IT及参考观测图像IR根据语义分为天空区域和非天空区域的方法为：
(1)选择语义分割网络RefineNet，并选择开源天空数据集；
(2)对RefineNet网络在开源天空数据集上微调网络的最后一层分类层，使得将多语义分割网络转变为二分类网络，即对图像中每位像素做两类预测，即属于天空像素或非天空像素，从而将整张图像分为天空区域或非天空区域。
优选地，找到参考观测图像天际线点集
Figure BDA00026978060100000212
与当前观测图像天际线点集
Figure BDA00026978060100000213
匹配关系
Figure BDA0002697806010000021
的具体方法为：
(1)初始化
Figure BDA0002697806010000022
其中k为迭代次数，
(2)为
Figure BDA00026978060100000214
中每一个点xi在
Figure BDA00026978060100000215
中寻找欧式距离最近的点
Figure BDA0002697806010000023
最终得到
Figure BDA00026978060100000216
对应的匹配点集
Figure BDA0002697806010000024
(3)根据最近匹配关系
Figure BDA00026978060100000217
得到变换矩阵W＝[R|T]：
Figure BDA0002697806010000025
其中，R是旋转矩阵，T是平移向量，
Figure BDA0002697806010000026
(4)计算点集
Figure BDA00026978060100000218
经变换后得到的点集
Figure BDA00026978060100000219
与
Figure BDA00026978060100000220
的欧式距离D；
(5)若D小于阈值ε或迭代次数k高于上限Φ，则最近匹配点集即为
Figure BDA0002697806010000027
得到匹配关系
Figure BDA0002697806010000028
否则令
Figure BDA0002697806010000029
重复步骤(2)到(5)。
根据匹配关系
Figure BDA00026978060100000221
获得相机相对位姿P的具体方法为：
(1)对于匹配关系
Figure BDA00026978060100000210
计算
Figure BDA00026978060100000211
间的本质矩阵E；
(2)对本质矩阵E其进行奇异值分解，得到参考观测和当前观测间的相机相对位姿差异P＝[r|t]，其中r表示旋转矩阵部分，t表示平移向量部分。
4、根据权利要求1所述的基于天际线匹配的室外主动相机重定位方法，其特征在于，判断重定位过程是否完成的具体方法为：采用重定位方法使用的“二分折半”策略来根据所得平移向量提供的平移方向信息指导相机运动，当运动步长小于阈值ξ时，则判定重定位过程完成，终止重定位，否则重复步骤二至步骤五。
本发明提供的技术方案的有益效果是：本发明在重定位过程中，由于对于相机运动信息(即相机相对位姿)的估计是基于天际线匹配得到，而天际线是通过检测图像的语义信息得到，避免了传统方法通过检测及匹配特征点来进行位姿估计，从而可以有效减少室外情况下因光照或场景变化对相机相对位姿估计的影响，基本屏蔽了由场景光照差异和结构性变化所带来的室外条件下主动相机重定位作业场景的限制。
附图说明
图1为本发明的基于天际线匹配的室外主动相机重定位方法的流程图；
图2为本发明方法与现有最优方法的实验结果比较；
图3为本发明方法在室外有光照及结构变化情况下的测试样例。
具体实施方式
下面结合附图对本发明中的技术方案进行清楚、完整地描述。基于本发明中的技术方案，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
(一)天空区域与非天空区域的划分
重定位过程中，划分当前观测图像IT及参考观测图像IR中场景的天空区域与非天空区域。具体步骤如下：
(1)选择目前效果较好的语义分割网络RefineNet，并选择开源天空数据集SkyFinder
(2)对RefineNet网络在SkyFinder数据集上微调网络，使得RefineNet网络可对图像中每位像素做两类预测，属于天空像素或非天空像素，从而将整张图像分为两部分区域天空区域或非天空区域，提取两部分区域的交界线，并将其离散成点，得到天际线点集。分别处理IT及IR得到天际线点集
Figure BDA0002697806010000037
及
Figure BDA0002697806010000031
说明1：微调语义分割网络
采用迁移学习的思想，加载开源的RefineNet网络预训练模型，固定最后分类层之前的网络参数不参加训练，仅在开源的天空数据集SkyFinder上微调改变后的分类层网络参数。
(二)天际线点集匹配关系的建立
在天际线点集
Figure BDA0002697806010000038
和
Figure BDA0002697806010000039
间建立匹配关系的具体方法为：
(1)初始化
Figure BDA0002697806010000032
其中k为迭代次数。
(2)为
Figure BDA00026978060100000310
中每一个点xi在
Figure BDA00026978060100000311
中寻找欧式距离最近的点
Figure BDA0002697806010000033
最终得到
Figure BDA00026978060100000312
对应的匹配点集
Figure BDA0002697806010000034
(3)根据最近匹配关系
Figure BDA00026978060100000313
得到变换矩阵W＝[R|T]：
Figure BDA0002697806010000035
其中，R是旋转矩阵，T是平移向量，
Figure BDA0002697806010000036
(4)计算点集
Figure BDA00026978060100000314
经变换后得到的点集
Figure BDA00026978060100000315
与
Figure BDA00026978060100000316
的欧式距离D。
(5)若D小于阈值ε或迭代次数k高于上限Φ，则最近匹配点集即为
Figure BDA0002697806010000041
得到匹配关系
Figure BDA0002697806010000042
否则令
Figure BDA0002697806010000043
重复步骤(2)到(5)。
(三)天际线匹配关系指导的相机相对位姿的估计
根据天际线匹配关系得到相机相对位姿P＝[r|t]的具体方法为：
(1)对于匹配关系
Figure BDA00026978060100000410
使用五点法计算
Figure BDA0002697806010000044
间的本质矩阵E。
说明2：使用五点法计算本质矩阵
本质矩阵E＝t∧r，其中∧表示做外积，r表示相对位姿旋转矩阵部分，t表示平移向量部分。由于旋转和平移各有三个自由度，故本质矩阵E共有六个自由度。但由于本质矩阵具有尺度等价性，故E实际上具有五个自由度，所以可以通过五对匹配点来计算本质矩阵E。
(2)对本质矩阵E其进行奇异值分解，得到参考观测和当前观测间的相机相对位姿差异P＝[r|t]。
说明3：匹配天际线所指导的相机相对位姿的估计
第1步：计算候选相机相对位姿。对本质矩阵E进行矩阵的奇异值分解E＝U∑VT，其中U、V为正交阵，并且可以证明E的奇异值形如∑＝diag(σ，σ，0)。对任意一个E，存在两个可能的t,r与其对应：
Figure BDA0002697806010000045
其中，
Figure BDA0002697806010000049
表示沿Z轴旋转90°得到的旋转矩阵。同时，由于-E与E等价，所以对任意一个t取负号，也可以得到同样的结果。因此，对E奇异值分解会得到四组算数解
Figure BDA0002697806010000046
即会得到四组候选相机相对位姿。
第2步：选取相机相对位姿。使用相机相对位姿的候选序列中的每一组算数解(ti，ri)对参与计算的匹配点三角化恢复图像上天际线点所对应的三维空间点坐标。统计由每组算数解恢复的三维空间点满足空间点位于相机模型前方的个数，同时统计重投影误差。最终位于相机模型前方的空间点个数最多且重投影误差小的一组算数解，即为一组匹配平面所指导的相机相对位姿P＝[r|t]。
说明4：指导相机运动信息的确定
将P中的旋转矩阵r转换为欧拉角表示形式，即
Figure BDA0002697806010000047
其中rX，rY，rZ分别表示三维空间三个坐标方向的欧拉旋转角。根据欧拉角及平移向量即可指导相机运动。
(四)判断重定位是否完成
判断重定位过程是否完成的具体方法为：
由于计算的平移向量不可避免地缺失物理真实尺度，采用已有重定位方法使用的“二分折半”策略来根据所得的平移向量提供的平移方向信息指导相机运动。当运动步长小于阈值ξ时，则判定重定位过程完成，终止重定位，否则重复步骤二至步骤五。
下面结合具体实例对本发明方法进行可行性验证，详见下文描述：
实验使用搭载佳能5DMarkⅢ相机的六自由度微动平台进行重定位实验，对于同一监测目标，设备分别使用本发明方法和已有最优的重定位方法进行重定位作业。针对室外的两类监测场景进行实验，分为普通场景(无明显光照和场景结构变化)、光照及结构变化场景(室外在不同时刻进行重定位作业)。
结果分析选取重定位后拍摄图像与参考图像之间的特征点平均距离(AFD)作为评估重定位方法的指标。其中AFD是指两幅图像所有匹配的特征点之间的欧式距离的平均值，这可以直观地评价重定位的精度。
根据图2所展示的本方法和已有最优的重定位方法在不同场景下重定位作业的结果表明：对于无明显光照和场景结构变化的普通检测场景，两种重定位方法的重定位精度无显著优劣差异；对于有光照及结构变化的场景，本方法在已有最优的重定位方法重定位作业失败时，相同情况下，本方法仍能达到较高的相机重定位精度；因此，可以表明发明方法的可行性和优越性。

Claims (4)

1.一种基于天际线匹配的室外主动相机重定位方法，其特征在于，包括以下步骤：
步骤一，将参考观测图像IR根据语义分为天空区域和非天空区域两部分，得到两部分区域的交界线，即参考图像的天际线，并将其离散成关键点，得到参考图像的天际线点集
Figure FDA0003546856550000011
步骤二，与步骤一相同，得到当前观测图像IT的天际线点集
Figure FDA0003546856550000012
步骤三，匹配两组天际线点集得到参考图像与当前图像之间的匹配关系
Figure FDA0003546856550000013
Figure FDA0003546856550000014
为
Figure FDA0003546856550000015
中每一个点xi在
Figure FDA0003546856550000016
中欧式距离最近的点；
步骤四，根据得到的匹配关系S获得参考观测和当前观测间的相机相对位姿P；
步骤五，根据相机在平移方向上运动的步长信息判断重定位过程是否完成；若重定位完成则终止；若未完成则重复迭代步骤二至步骤五；
其中，当前观测图像IT及参考观测图像IR根据语义分为天空区域和非天空区域的方法为：
(1)选择语义分割网络RefineNet，并选择开源天空数据集；
(2)对RefineNet网络在开源天空数据集上微调网络的最后一层分类层，使得将多语义分割网络转变为二分类网络，即对图像中每位像素做两类预测，即属于天空像素或非天空像素，从而将整张图像分为天空区域或非天空区域。
2.根据权利要求1所述的一种基于天际线匹配的室外主动相机重定位方法，其特征在于，找到参考观测图像天际线点集
Figure FDA0003546856550000017
与当前观测图像天际线点集
Figure FDA0003546856550000018
匹配关系
Figure FDA0003546856550000019
的具体方法为：
(1)初始化
Figure FDA00035468565500000110
其中k为迭代次数，
(2)为
Figure FDA00035468565500000111
中每一个点xi在
Figure FDA00035468565500000112
中寻找欧式距离最近的点
Figure FDA00035468565500000113
得到
Figure FDA00035468565500000114
对应的匹配点集
Figure FDA00035468565500000115
(3)根据最近匹配关系
Figure FDA00035468565500000116
得到变换矩阵W＝[R|T]：
Figure FDA00035468565500000117
其中，R是旋转矩阵，T是平移向量，
Figure FDA00035468565500000118
(4)计算点集
Figure FDA00035468565500000119
经变换后得到的点集
Figure FDA00035468565500000120
与
Figure FDA00035468565500000121
的欧式距离D；
(5)若D小于阈值ε或迭代次数k高于上限Φ，则最近匹配点集即为
Figure FDA00035468565500000122
得到匹配关系
Figure FDA00035468565500000123
否则令
Figure FDA00035468565500000124
重复步骤(2)到(5)。
3.根据权利要求1所述的一种基于天际线匹配的室外主动相机重定位方法，其特征在于，根据匹配关系S获得相机相对位姿P的具体方法为：
(1)对于匹配关系S，计算
Figure FDA0003546856550000021
间的本质矩阵E；
(2)对本质矩阵E其进行奇异值分解，得到参考观测和当前观测间的相机相对位姿差异P＝[r|t]，其中r表示旋转矩阵部分，t表示平移向量部分。
4.根据权利要求1所述的基于天际线匹配的室外主动相机重定位方法，其特征在于，判断重定位过程是否完成的具体方法为：采用重定位方法使用的“二分折半”策略来根据所得平移向量提供的平移方向信息指导相机运动，当运动步长小于阈值ξ时，则判定重定位过程完成，终止重定位，否则重复步骤二至步骤五。
CN202011011874.9A 2020-09-23 2020-09-23 一种基于天际线匹配的室外主动相机重定位方法 Active CN112164114B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011011874.9A CN112164114B (zh) 2020-09-23 2020-09-23 一种基于天际线匹配的室外主动相机重定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011011874.9A CN112164114B (zh) 2020-09-23 2020-09-23 一种基于天际线匹配的室外主动相机重定位方法

Publications (2)

Publication Number Publication Date
CN112164114A CN112164114A (zh) 2021-01-01
CN112164114B true CN112164114B (zh) 2022-05-20

Family

ID=73863541

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011011874.9A Active CN112164114B (zh) 2020-09-23 2020-09-23 一种基于天际线匹配的室外主动相机重定位方法

Country Status (1)

Country Link
CN (1) CN112164114B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105516584A (zh) * 2015-11-24 2016-04-20 中国科学院生态环境研究中心 全景影像采集系统、基于其的测量天际线的装置和方法
CN108615248A (zh) * 2018-04-27 2018-10-02 腾讯科技（深圳）有限公司 相机姿态追踪过程的重定位方法、装置、设备及存储介质
CN111123914A (zh) * 2019-12-04 2020-05-08 杭州晶一智能科技有限公司 割草机器人基于视觉场景的方向估算方法
CN111238490A (zh) * 2018-11-29 2020-06-05 北京地平线机器人技术研发有限公司 视觉定位方法、装置以及电子设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108876854B (zh) * 2018-04-27 2022-03-08 腾讯科技（深圳）有限公司 相机姿态追踪过程的重定位方法、装置、设备及存储介质
CN110926474B (zh) * 2019-11-28 2021-09-03 南京航空航天大学 卫星/视觉/激光组合的城市峡谷环境uav定位导航方法
CN111127318B (zh) * 2019-12-05 2023-04-07 南京莱斯电子设备有限公司 一种机场环境下的全景图像拼接方法
CN111189439A (zh) * 2019-12-05 2020-05-22 杭州晶一智能科技有限公司 基于关键信息匹配的室外移动机器人方向估计方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105516584A (zh) * 2015-11-24 2016-04-20 中国科学院生态环境研究中心 全景影像采集系统、基于其的测量天际线的装置和方法
CN108615248A (zh) * 2018-04-27 2018-10-02 腾讯科技（深圳）有限公司 相机姿态追踪过程的重定位方法、装置、设备及存储介质
CN111238490A (zh) * 2018-11-29 2020-06-05 北京地平线机器人技术研发有限公司 视觉定位方法、装置以及电子设备
CN111123914A (zh) * 2019-12-04 2020-05-08 杭州晶一智能科技有限公司 割草机器人基于视觉场景的方向估算方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于深度学习的相机重定位方法综述;裴浩渊 等;《第21届中国系统仿真技术及其应用术年会论文集》;20200827;全文 *

Also Published As

Publication number Publication date
CN112164114A (zh) 2021-01-01

Similar Documents

Publication Publication Date Title
CN111080627B (zh) 一种基于深度学习的2d+3d大飞机外形缺陷检测与分析方法
CN111640157B (zh) 一种基于神经网络的棋盘格角点检测方法及其应用
CN112070831B (zh) 一种基于多平面联合位姿估计的主动相机重定位方法
CN111625667A (zh) 一种基于复杂背景图像的三维模型跨域检索方法及系统
CN104268539A (zh) 一种高性能的人脸识别方法及系统
CN111563878A (zh) 一种空间目标定位方法
CN113393524B (zh) 一种结合深度学习和轮廓点云重建的目标位姿估计方法
Zhu et al. Handling occlusions in video‐based augmented reality using depth information
Liang et al. A manufacturing-oriented intelligent vision system based on deep neural network for object recognition and 6d pose estimation
CN117036404A (zh) 一种单目热成像同时定位与建图方法和系统
CN108549905A (zh) 一种严重遮挡情况下的精准目标跟踪方法
CN112364881A (zh) 一种进阶采样一致性图像匹配算法
CN113888603A (zh) 基于光流跟踪和特征匹配的回环检测及视觉slam方法
Tang et al. ROV6D: 6D Pose Estimation Benchmark Dataset for Underwater Remotely Operated Vehicles
CN110727817A (zh) 基于t-CNN的三维模型检索方法、终端设备及存储介质
CN117788472A (zh) 一种基于dbscan算法的飞机蒙皮表面铆钉腐蚀程度判断的方法
CN112164114B (zh) 一种基于天际线匹配的室外主动相机重定位方法
CN112365537A (zh) 一种基于三维点云对齐的主动相机重定位方法
CN116894876A (zh) 基于实时图像的6-dof的定位方法
CN117036429A (zh) 一种用于光伏缺陷检测的红外-可见光异源图像配准方法
Bourbia et al. Blind Projection-based 3D Point Cloud Quality Assessment Method using a Convolutional Neural Network.
CN110570473A (zh) 一种基于点线融合的权重自适应位姿估计方法
Chen et al. End-to-end multi-view structure-from-motion with hypercorrelation volume
CN113487713B (zh) 一种点云特征提取方法、装置及电子设备
Liu et al. SECPNet—secondary encoding network for estimating camera parameters

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant