CN113506346B - 一种应用于弱纹理大旋转场景下的相机的位姿求解方法 - Google Patents

一种应用于弱纹理大旋转场景下的相机的位姿求解方法 Download PDF

Info

Publication number
CN113506346B
CN113506346B CN202110763412.0A CN202110763412A CN113506346B CN 113506346 B CN113506346 B CN 113506346B CN 202110763412 A CN202110763412 A CN 202110763412A CN 113506346 B CN113506346 B CN 113506346B
Authority
CN
China
Prior art keywords
normal
solving
images
plane
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110763412.0A
Other languages
English (en)
Other versions
CN113506346A (zh
Inventor
朱蕾
周松鑫
管贻生
杨蕊银
何力
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN202110763412.0A priority Critical patent/CN113506346B/zh
Publication of CN113506346A publication Critical patent/CN113506346A/zh
Application granted granted Critical
Publication of CN113506346B publication Critical patent/CN113506346B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/77—Determining position or orientation of objects or cameras using statistical methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1656—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明公开了一种应用于弱纹理大旋转场景下的相机的位姿求解方法，利用传统的SPF方法从偏振图像中恢复出带有模糊性的法线信息，对得到的法线聚类分割出不同的法线平面块，从中提取满足高斯分布的随机像素点若干，并在图像间对像素点追踪，实现图像间的平面匹配，再对分割的平面块内的法线进行基于偏振的RANSAC优化处理，剔除外点后即可得到平面块的平均法线值，同时对图像间的I MU数据预计分，两图像对应的平面块的平均法线值联合由I MU得到的相对姿态实现法线模糊性的去除，再结合线性优化理论从平均法线对中求解出相机姿态。本发明能解决视觉方法短板，拓展视觉算法的适用范围，在弱纹理大旋转等极端场景下依然能估计相机姿态。

Description

一种应用于弱纹理大旋转场景下的相机的位姿求解方法
技术领域
本发明涉及相机姿态估计的技术领域，尤其涉及到一种应用于弱纹理大旋转场景下的相机的位姿求解方法。
背景技术
相机姿态估计在机器人运动过程具有重要作用，目前广泛应用于机器人自主导航项目当中，是一个具有巨大应用前景的计算机视觉应用领域。
一般而言，在机器人领域常将相机姿态估计归类为VO(Visual Odometry)问题。在目前VO的研究问题上，基于特征点以及基于光流法的视觉里程计是公认的成熟且鲁棒的VO的方法，但是这些方法要求有丰富的纹理信息，否则无法得到可靠的相机姿态，无法适用于弱纹理大旋转场景下。
发明内容
本发明的目的在于克服现有技术的不足，提供一种应用于弱纹理大旋转场景下的相机的位姿求解方法，区别于已有的基于特征点的相机姿态估计的VO算法，本发明基于偏振的旋转求解，这有利于解决弱纹理大旋转场景下传统视觉方法不适用问题，从而解决视觉方法短板，拓展视觉算法的适用范围，在弱纹理大旋转等极端场景下依然能鲁棒估计相机姿态。
为实现上述目的，本发明所提供的技术方案为：
一种应用于弱纹理大旋转场景下的相机的位姿求解方法，包括以下步骤：
S1、考虑镜面反射与漫反射模型，利用SPF方法从偏振图像中恢复出带有模糊性的法线信息；
S2、基于相同材质同一平面法线值相近假设，对得到的法线聚类分割出不同的平面块；
S3、在得到的平面块中提取满足高斯分布的若干随机像素点，并在图像间对该些像素点追踪，实现图像间的平面匹配；
S4、对分割的平面块内的法线进行基于偏振的RANSAC优化处理，剔除外点后，得到平面块的平均法线值；同时，对图像间的IMU数据预计分，两图像对应的平面块的平均法线值联合由IMU得到的相对姿态，去除法线模糊性，得到无模糊性的平均法线对；
S5、结合线性优化方法从无模糊性的平均法线对中求解出相机姿态。
进一步地，所述步骤S1具体包括：
利用SFP方法从偏振信息中计算出包含镜面反射与漫反射两种模型的天顶角与方位角值，具体求解公式如下：
式(1)中，ρ表示偏振度，β表示为天顶角，n表示场景中的折射率，给定偏振度和折射率，由上式得到漫反射场景中的唯一的天顶角；
式(2)表示镜面反射场景中，天顶角的求解方法，其中给定一个偏振度和折射率，存在两个可能的天顶角；
求解完天顶角之后，通过下式依次求得场景中的方位角：
式(3)中，S1为偏振片角度为0时捕获的图像值减去偏振片为90度时的图像值而得到的值，S2为偏振片角度为45时捕获的图像值加上偏振片为135度时的图像值而得到的值；
利用求得的方位角α及天顶角β求解法线值n，公式如下：
式(4)中，vx为相机坐标系中法线在X轴的分量，vy为相机坐标系中法线在X轴的分量，vz为相机坐标系中法线在X轴的分量。
进一步地，所述步骤S2包括：
将求得的法线从笛卡尔坐标系转换到图像坐标系中，基于相同材质的同一平面法线值相近的事实进行聚类分割，通过比较两法线的欧式距离或余弦相似度实现平面分割，得到不同的平面块。
进一步地，所述步骤S3包括：
从分割得到的平面块中，选择偏振度大于设定阈值及面积大于设定阈值的平面块，并在这些平面块中随机生成均匀分布的若干像素点，利用直接法实现图像间像素点的追踪，最终实现不同图像间的平面匹配。
进一步地，所述步骤S4包括：
通过相机和IMU外参标定实现两传感器坐标的对齐，同时对齐两传感器时间戳，实现两传感器融合；
对两帧之间的IMU进行预积分，得到大致旋转ΔR，先对分割得到的平面使用RANSAC算法进一步优化，再求解平面平均天顶角和平均方位角，计算出平均法线值i时刻与i+1时刻图像对应的一组平均法线对/>满足关系式：
式(5)中，R为两帧之间变换关系；
通过考虑法线最小对其误差，消除法线模糊性问题：
从而得到无模糊性的平均法线对。
进一步地，所述步骤S5包括：
将得到的无歧义平均法线对构建最小二乘问题：
在得到两帧图像中对应平面的平均法线值的关系后，存在：
利用优化算法实现姿态求解。
进一步地，所述优化算法包括QR分解、Cholesky分解或奇异值分解算法。
与现有技术相比，本方案原理及优点如下：
本方案考虑镜面反射与漫反射模型，利用传统的SPF方法从偏振图像中恢复出带有模糊性的法线信息，基于相同材质同一平面法线值相近假设，对得到的法线聚类分割出不同的法线平面块，在得到的平面块中提取满足高斯分布的随机像素点若干，并在图像间对这些像素点追踪，从而实现图像间的平面的数据关联，再对分割的平面块内的法线进行基于偏振的RANSAC优化处理，剔除外点后即可得到平面块的平均法线值，同时对图像间的IMU数据预计分，两图像对应的平面块的平均法线值联合由IMU得到的相对姿态实现法线模糊性的去除，再结合线性优化理论从平均法线对中求解出相机姿态。
本方案区别于已有的基于特征点的相机姿态估计的VO算法，基于偏振的旋转求解，这有利于解决弱纹理大旋转场景下传统视觉方法不适用问题，从而解决视觉方法短板，拓展视觉算法的适用范围，在弱纹理大旋转等极端场景下依然能鲁棒估计相机姿态。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的服务作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一种应用于弱纹理大旋转场景下的相机的位姿求解方法的原理流程图。
具体实施方式
下面结合具体实施例对本发明作进一步说明：
如图1所示，本实施例所述的一种应用于弱纹理大旋转场景下的相机的位姿求解方法，包括以下步骤：
S1、考虑镜面反射与漫反射模型，利用SPF方法从偏振图像中恢复出带有模糊性的法线信息；
本步骤具体包括：
利用SFP方法从偏振信息中计算出包含镜面反射与漫反射两种模型的天顶角与方位角值，具体求解公式如下：
式(1)中，ρ表示偏振度，β表示为天顶角，n表示场景中的折射率，给定偏振度和折射率，由上式得到漫反射场景中的唯一的天顶角；
式(2)表示镜面反射场景中，天顶角的求解方法，其中给定一个偏振度和折射率，存在两个可能的天顶角；
求解完天顶角之后，通过下式依次求得场景中的方位角：
式(3)中，S1为偏振片角度为0时捕获的图像值减去偏振片为90度时的图像值而得到的值，S2为偏振片角度为45时捕获的图像值加上偏振片为135度时的图像值而得到的值；
利用求得的方位角α及天顶角β求解法线值n，公式如下：
式(4)中，vx为相机坐标系中法线在X轴的分量，vy为相机坐标系中法线在X轴的分量，vz为相机坐标系中法线在X轴的分量。
由于方位角α存在π的模糊性，有两种可能值，而天顶角β由于反射模型的不同，存在着3种可能值，所以这里求解的法线存在着6种可能值，具有模糊性。为此，作如下进一步的处理。
S2、将求得的法线从笛卡尔坐标系转换到图像坐标系中，基于相同材质的同一平面法线值相近的事实进行聚类分割，通过比较两法线的欧式距离或余弦相似度实现平面分割，得到不同的平面块。
S3、从分割得到的平面块中，选择偏振度大于设定阈值及面积大于设定阈值的平面块，并在这些平面块中随机生成均匀分布的若干像素点，利用直接法实现图像间像素点的追踪，最终实现不同图像间的平面匹配。
S4、对分割的平面块内的法线进行基于偏振的RANSAC优化处理，剔除外点后，得到平面块的平均法线值；同时，对图像间的IMU数据预计分，两图像对应的平面块的平均法线值联合由IMU得到的相对姿态，去除法线模糊性，得到无模糊性的平均法线对；
本步骤具体过程如下：
通过相机和IMU外参标定实现两传感器坐标的对齐，同时对齐两传感器时间戳，实现两传感器融合；
对两帧之间的IMU进行预积分，得到大致旋转ΔR，先对分割得到的平面使用RANSAC算法进一步优化，再求解平面平均天顶角和平均方位角，计算出平均法线值i时刻与i+1时刻图像对应的一组平均法线对/>满足关系式：
式(5)中，R为两帧之间变换关系；
通过考虑法线最小对其误差，消除法线模糊性问题：
从而得到无模糊性的平均法线对。
S5、结合线性优化方法从无模糊性的平均法线对中求解出相机姿态，具体包括：
将得到的无歧义平均法线对构建最小二乘问题：
在得到两帧图像中对应平面的平均法线值的关系后，存在：
利用QR分解算法实现姿态求解。
本实施例区别于已有的基于特征点的相机姿态估计的VO算法，其基于偏振的旋转求解，这有利于解决弱纹理大旋转场景下传统视觉方法不适用问题，从而解决视觉方法短板，拓展视觉算法的适用范围，在弱纹理大旋转等极端场景下依然能鲁棒估计相机姿态。
以上所述之实施例子只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。

Claims (6)

1.一种应用于弱纹理大旋转场景下的相机的位姿求解方法，其特征在于，包括以下步骤：
S1、考虑镜面反射与漫反射模型，利用SPF方法从偏振图像中恢复出带有模糊性的法线信息；
S2、基于相同材质同一平面法线值相近假设，对得到的法线聚类分割出不同的平面块；
S3、在得到的平面块中提取满足高斯分布的若干随机像素点，并在图像间对该些像素点追踪，实现图像间的平面匹配；
S4、对分割的平面块内的法线进行基于偏振的RANSAC优化处理，剔除外点后，得到平面块的平均法线值；同时，对图像间的IMU数据预计分，两图像对应的平面块的平均法线值联合由IMU得到的相对姿态，去除法线模糊性，得到无模糊性的平均法线对；
S5、结合线性优化方法从无模糊性的平均法线对中求解出相机姿态；
所述步骤S1具体包括：
利用SFP方法从偏振信息中计算出包含镜面反射与漫反射两种模型的天顶角与方位角值，具体求解公式如下：
式(1)中，ρ表示偏振度，β表示为天顶角，n表示场景中的折射率，给定偏振度和折射率，由上式得到漫反射场景中的唯一的天顶角；
式(2)表示镜面反射场景中，天顶角的求解方法，其中给定一个偏振度和折射率，存在两个天顶角；
求解完天顶角之后，通过下式依次求得场景中的方位角：
式(3)中，S1为偏振片角度为0时捕获的图像值减去偏振片为90度时的图像值而得到的值，S2为偏振片角度为45时捕获的图像值加上偏振片为135度时的图像值而得到的值；
利用求得的方位角α及天顶角β求解法线值n，公式如下：
式(4)中，vx为相机坐标系中法线在X轴的分量，vy为相机坐标系中法线在X轴的分量，vz为相机坐标系中法线在X轴的分量。
2.根据权利要求1所述的一种应用于弱纹理大旋转场景下的相机的位姿求解方法，其特征在于，所述步骤S2包括：
将求得的法线从笛卡尔坐标系转换到图像坐标系中，基于相同材质的同一平面法线值相近的事实进行聚类分割，通过比较两法线的欧式距离或余弦相似度实现平面分割，得到不同的平面块。
3.根据权利要求1所述的一种应用于弱纹理大旋转场景下的相机的位姿求解方法，其特征在于，所述步骤S3包括：
从分割得到的平面块中，选择偏振度大于设定阈值及面积大于设定阈值的平面块，并在这些平面块中随机生成均匀分布的若干像素点，利用直接法实现图像间像素点的追踪，最终实现不同图像间的平面匹配。
4.根据权利要求1所述的一种应用于弱纹理大旋转场景下的相机的位姿求解方法，其特征在于，所述步骤S4包括：
通过相机和IMU外参标定实现两传感器坐标的对齐，同时对齐两传感器时间戳，实现两传感器融合；
对两帧之间的IMU进行预积分，得到旋转ΔR，先对分割得到的平面使用RANSAC算法进一步优化，再求解平面平均天顶角和平均方位角，计算出平均法线值i时刻与i+1时刻图像对应的一组平均法线对/>满足关系式：
式(5)中，R为两帧之间变换关系；
通过考虑法线最小对其误差，消除法线模糊性问题：
从而得到无模糊性的平均法线对。
5.根据权利要求4所述的一种应用于弱纹理大旋转场景下的相机的位姿求解方法，其特征在于，所述步骤S5包括：
将得到的无歧义平均法线对构建最小二乘问题：
在得到两帧图像中对应平面的平均法线值的关系后，存在：
利用优化算法实现姿态求解。
6.根据权利要求5所述的一种应用于弱纹理大旋转场景下的相机的位姿求解方法，其特征在于，所述优化算法包括QR分解、Cholesky分解或奇异值分解算法。
CN202110763412.0A 2021-07-06 2021-07-06 一种应用于弱纹理大旋转场景下的相机的位姿求解方法 Active CN113506346B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110763412.0A CN113506346B (zh) 2021-07-06 2021-07-06 一种应用于弱纹理大旋转场景下的相机的位姿求解方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110763412.0A CN113506346B (zh) 2021-07-06 2021-07-06 一种应用于弱纹理大旋转场景下的相机的位姿求解方法

Publications (2)

Publication Number Publication Date
CN113506346A CN113506346A (zh) 2021-10-15
CN113506346B true CN113506346B (zh) 2023-08-29

Family

ID=78011380

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110763412.0A Active CN113506346B (zh) 2021-07-06 2021-07-06 一种应用于弱纹理大旋转场景下的相机的位姿求解方法

Country Status (1)

Country Link
CN (1) CN113506346B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112734765A (zh) * 2020-12-03 2021-04-30 华南理工大学 基于实例分割与多传感器融合的移动机器人定位方法、系统及介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8498448B2 (en) * 2011-07-15 2013-07-30 International Business Machines Corporation Multi-view object detection using appearance model transfer from similar scenes
CN109690623B (zh) * 2016-06-29 2023-11-07 醒眸行有限公司 用于识别场景中的相机的姿势的系统和方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112734765A (zh) * 2020-12-03 2021-04-30 华南理工大学 基于实例分割与多传感器融合的移动机器人定位方法、系统及介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于偏振双目视觉的无纹理高反光目标三维重构;平茜茜;刘勇;董欣明;赵永强;张艳;;红外与毫米波学报(04);第50-56页 *

Also Published As

Publication number Publication date
CN113506346A (zh) 2021-10-15

Similar Documents

Publication Publication Date Title
CN109345588B (zh) 一种基于Tag的六自由度姿态估计方法
CN103325112B (zh) 动态场景中运动目标快速检测方法
CN110108258B (zh) 一种单目视觉里程计定位方法
CN108776989B (zh) 基于稀疏slam框架的低纹理平面场景重建方法
CN110490158B (zh) 一种基于多级模型的鲁棒人脸对齐方法
Liu et al. Direct visual odometry for a fisheye-stereo camera
CN111105460B (zh) 一种室内场景三维重建的rgb-d相机位姿估计方法
CN103646391A (zh) 一种针对动态变化场景的实时摄像机跟踪方法
CN112419497A (zh) 基于单目视觉的特征法与直接法相融合的slam方法
CN112652020B (zh) 一种基于AdaLAM算法的视觉SLAM方法
CN116468786B (zh) 一种面向动态环境的基于点线联合的语义slam方法
CN112541423A (zh) 一种同步定位与地图构建方法和系统
Xie et al. A deep feature aggregation network for accurate indoor camera localization
CN116429082A (zh) 一种基于st-orb特征提取的视觉slam方法
CN117218195A (zh) 基于点、线特征约束的同时定位与建图方法
CN113506346B (zh) 一种应用于弱纹理大旋转场景下的相机的位姿求解方法
Qiao et al. A theory of phase singularities for image representation and its applications to object tracking and image matching
CN115457127A (zh) 基于特征观测数和imu预积分的自适应协方差方法
CN115471748A (zh) 一种面向动态环境的单目视觉slam方法
Meng et al. Lucas-Kanade Optical Flow Based Camera Motion Estimation Approach
Zhou et al. Svo-pl: Stereo visual odometry with fusion of points and line segments
Vidal et al. Automatic video to point cloud registration in a structure-from-motion framework
CN104751448A (zh) 基于pca和噪声分离的在线视频跟踪方法
CN114119885A (zh) 图像特征点匹配方法、装置及系统、地图构建方法及系统
Naixin et al. Monocular semidirect visual odometry for large-scale outdoor localization

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant