CN115471534A - 基于双目视觉和imu的水下场景三维重建方法及设备 - Google Patents

基于双目视觉和imu的水下场景三维重建方法及设备 Download PDF

Info

Publication number
CN115471534A
CN115471534A CN202211059387.9A CN202211059387A CN115471534A CN 115471534 A CN115471534 A CN 115471534A CN 202211059387 A CN202211059387 A CN 202211059387A CN 115471534 A CN115471534 A CN 115471534A
Authority
CN
China
Prior art keywords
imu
camera
binocular
data
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211059387.9A
Other languages
English (en)
Inventor
王振民
迟鹏
廖海鹏
田济语
张芩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202211059387.9A priority Critical patent/CN115471534A/zh
Publication of CN115471534A publication Critical patent/CN115471534A/zh
Priority to PCT/CN2023/088584 priority patent/WO2024045632A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1656—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种基于双目视觉和IMU的水下场景三维重建方法及设备；其中方法为：标定双目相机和IMU参数；对IMU数据进行积分，对双目相机图像数据进行特征提取和匹配；以紧耦合方式融合定位，得到旋转矩阵和平移向量；计算视差图生成三维点云数据；基于三维点云数据进行位姿匹配校正；计算三维点云数据之间的最佳估计旋转矩阵和平移向量；基于最佳估计旋转矩阵和平移向量以及三维点云数据进行叠加并滤波得到三维重建点云数据。该方法利用紧耦合的方式融合IMU和双目相机数据实现精准定位，基于定位结果和多帧图像生成的点云进行三维重建，并基于点云特征进行位姿校正，能够更精确且稠密地建立目标场景中的物体模型。

Description

基于双目视觉和IMU的水下场景三维重建方法及设备
技术领域
本发明涉及三维重建技术领域，更具体地说，涉及一种基于双目视觉和IMU的水下场景三维重建方法及设备。
背景技术
随着科技的不断进步，各个国家都在极力发展水下探测技术，以满足人类对未知水下环境的探索和对珍贵海洋资源的开采，与此同时，水下探测技术还在水下维修和搜救等领域发挥极为重要的作用。水下三维重建技术作为水下探测技术中重要的组成部分，一直是计算机视觉发展的主要方向。由于传统的水下三维重建技术多采用基于声学的声呐探测技术，其设备昂贵且有诸多限制，相比之下，基于计算机视觉的方法则更为直观地展示了水下环境的光学特征，而基于双目视觉的方法因其更容易获得深度信息而被广泛应用。
近年来，有越来越多的基于双目视觉的水下三维重建方法被提出，但是其中大部分只针对水下单帧的双目图像进行三维重建，一般的步骤包括图像获取、图像标定、图像增强、视差图获取、三维重建，所生成的点云较为稀疏，不足以支撑上述研究内容。部分基于多帧融合的双目视觉三维重建也存在定位匹配不准的问题，导致多帧叠加后存在很多噪声点，从而导致三维重建结果不准确，因此，开发一种精确定位且点云稠密的双目视觉三维重建算法显得尤为重要。
发明内容
为克服现有技术中的缺点与不足，本发明的目的在于提供一种基于双目视觉和IMU的水下场景三维重建方法及设备；该方法利用紧耦合的方式融合IMU和双目相机数据实现精准定位，基于定位结果和多帧图像生成的点云进行三维重建，并基于点云特征进行位姿校正，能够更精确且稠密地建立目标场景中的物体模型。
为了达到上述目的，本发明通过下述技术方案予以实现：一种基于双目视觉和IMU的水下场景三维重建方法，包括如下步骤：
S1、标定双目相机内参、IMU参数以及双目相机与IMU外参；
S2、统一双目相机和IMU的时间戳；对高频率的IMU数据进行积分，对低频率的双目相机图像数据进行特征提取和匹配；以紧耦合的方式将双目相机和IMU融合定位，得到多帧图像数据之间的坐标转换参数，从而得到初始的旋转矩阵和平移向量；
S3、利用双目相机的同一帧图像数据进行视差图的计算；通过视差图和二维的图像数据原始坐标生成三维点云数据；
S4、基于三维点云数据的多帧匹配进行位姿匹配校正；S2得到的旋转矩阵和平移向量作为本步骤中匹配算法的初始输入参数，计算多帧三维点云数据之间的最佳估计旋转矩阵和平移向量；
S5、基于S4得到的最佳估计旋转矩阵和平移向量，对S3得到的多帧三维点云数据进行叠加并滤波，得到更为稠密的三维重建点云数据。
优选地，所述S1包括如下步骤：
S11、标定IMU的确定性误差与随机误差；
S12、将双目相机与IMU刚性固定；
S13、将刚性固定的双目相机与IMU，以及参数已知的标定板一同放入水下；
S14、充分移动双目相机并录制数据；记录下多组双目相机图像数据，对图像进行角点识别标定双目相机镜头焦距、基线距离及畸变参数；
S15、记录双目相机和IMU的相对运动关系，标定双目相机内参、双目相机的左右相机之间的外参及左相机与IMU外参。
优选地，所述S11中，IMU的确定性误差包括加速度计误差；
加速度计误差按照以下公式校正：
Figure BDA0003826130100000031
其中，lax,lay,laz分别代表X、Y、Z三个坐标轴校正后的结果；ax,ay,az分别代表X、Y、Z三个坐标轴初始结果；sxx,syy,szz分别代表X、Y、Z三个坐标轴尺度变换；mxy,mxz,myx,myz,mzx,mzy分别代表X、Y、Z三个坐标轴错位；bax,bay,baz代表分别X、Y、Z三个坐标轴固定偏差；
IMU的随机误差包括高斯白噪声和误差随机游走；所述高斯白噪声表示为：
Figure BDA0003826130100000032
其中，t为时间，n()为高斯过程，E[]为均值，σ2为方差，δ()为狄拉克函数；
所述误差随机游走表示为：
Figure BDA0003826130100000034
其中，nb(t)为维纳过程，σb为随机游走标准差，ω(t)是方差为1的白噪声；
所述S15中，标定双目相机的左右相机的内参是指：
Figure BDA0003826130100000033
其中，l代表左相机；r代表右相机；Kl，Kr分别代表左右相机内参矩阵；fxl,fyl，fxr,fyr分别代表使用像素表示左右相机在x轴和y轴方向上的焦距长度；(u0l,v0l),(u0r,v0r)分别代表左右相机像平面坐标系的主点的实际像素坐标；
标定双目相机的左右相机与IMU外参是指：
设定IMU坐标系为世界坐标系，则双目相机的左右相机图像点到IMU坐标系下的转换关系为：
Figure BDA0003826130100000041
Figure BDA0003826130100000042
其中，
Figure BDA0003826130100000043
分别为左右相机坐标系下的二维坐标；
Figure BDA0003826130100000044
为IMU坐标系下的三维坐标；Rlr,Rri分别为右相机到左相机、左相机到IMU坐标系的3*3的旋转矩阵；Tlr,Tri分别为右相机到左相机、左相机到IMU坐标系的1*3的平移向量。
优选地，所述S2，包括如下步骤：
输入IMU数据；IMU数据包括加速度数据和旋转数据；将IMU数据积分并转化为离散量，在k时刻到k+1时刻下IMU数据积分得到的速度V、平移结果T和旋转参数R分别表示为：
Vk+1＝Vk+a△t
Figure BDA0003826130100000045
Figure BDA0003826130100000046
其中，Vk,Vk+1分别为k时刻、k+1时刻下的速度；a为加速度；△t为时间间隔；Tk,Tk+1分别为k时刻、k+1时刻下的平移向量；Rk,Rk+1分别为k时刻、k+1时刻下的旋转矩阵；ω为角速度；
Figure BDA0003826130100000051
为克罗内克积；
输入双目相机图像数据；对双目相机的左右相机图像数据分别进行特征提取，再与前一帧的特征进行匹配，得到特征点在相邻两帧的图像上的图像坐标；通过IMU数据的积分及时间对齐，得到双目相机的估计位置，设为状态量初始值；构建误差函数，利用最小二乘法得到状态量的最优估计F：
Figure BDA0003826130100000052
其中，Rci,Tci分别为旋转矩阵和平移向量；Qj为特征点坐标；ci为第i个相机坐标系；π(·)为投影函数；
Figure BDA0003826130100000053
为ci对Qj观测；
Figure BDA0003826130100000054
为范数；
基于最小二乘问题求解最优估计F，损失函数表达为：
Figure BDA0003826130100000055
其中，△x为变化量；△xT代表转置；o(||△x||3)为泰勒展开的高阶项；J和H分别为损失函数一阶导和二阶导矩阵；忽略泰勒展开的高阶项，损失函数变成二次函数，根据一阶导数为0的稳定点的H矩阵的性质求解出局部极值和鞍点；
从而得到以紧耦合的方式融合双目相机和IMU实现每一帧双目相机图像数据定位。
优选地，所述S3，包括如下步骤：
S31、根据双目相机内参对输入的双目相机图像数据进行畸变校正；基于NCC算法进行视差计算：
Figure BDA0003826130100000061
其中，x，y，d分别为x轴坐标，y轴坐标，视差；i，j分别为x轴，y轴方向的变化值；m,n分别为x轴，y轴方向的最大值；I1(x,y),I2(x,y)分别为原始图像和目标图像上偏移后的像素值；
Figure BDA0003826130100000062
分别为原始图像和目标图像上偏移后像素的均值；
Figure BDA0003826130100000063
Figure BDA0003826130100000064
进而求得双目相机图像同一帧图像数据对应的视差图；
S32，通过视差图和原始坐标生成三维点云数据，三维坐标表示为:
Figure BDA0003826130100000065
其中，xl、xr分别为左右相机对应的横坐标值；yl、yr分别为左右相机纵坐标值；fx,fy分别为左右相机内参中对应的焦距；X，Y，Z分别为为三维坐标；D为深度值，由下式计算：
D＝B·f/d
其中，B为基线长度，f为焦距，d为左右图像视差。
优选地，所述S4包括如下步骤：
将两帧三维点云数据分别进行空间分割，分为n个小正方体；对每个小正方体进行均值
Figure BDA0003826130100000071
和协方差矩阵Σ的计算：
Figure BDA0003826130100000072
Figure BDA0003826130100000073
其中，xi第i个小正方体中的值；
建立两帧三维点云数据之间的概率分布函数p(x)：
Figure BDA0003826130100000074
得到优化函数E：
Figure BDA0003826130100000075
将S2得到的旋转矩阵和平移向量作为初始值计算概率分布函数p(x)，通过优化函数E迭代收敛，获得两帧三维点云数据之间最佳估计旋转矩阵和平移向量。
一种计算设备，包括处理器以及用于存储处理器可执行程序的存储器，所述处理器执行存储器存储的程序时，实现权利要求1-6中任一项所述的基于双目视觉和IMU的水下场景三维重建方法。
与现有技术相比，本发明具有如下优点与有益效果：
1、本发明，基于融合定位匹配多帧双目相机图像数据并基于三维点云数据进行位姿校正，相比传统的基于视觉的方法能够实现更精准的水下定位，减少匹配丢失概率，从而提高三维重建结果的精度；
2、本发明，基于多帧点云融合得到三维重建结果，相比于传统水下单帧三维重建方法可以建立更为稠密的环境三维模型，提供丰富且立体的环境感知信息。
附图说明
图1是本发明水下场景三维重建方法的流程示意图；
图2是本发明水下场景三维重建方法的S1流程示意图；
图3(a)～图3(d)是实施例一水下场景三维重建方法的水下图像数据；
图4(a)～图4(e)是实施例一水下场景三维重建方法的水下三维重建过程示意图。
具体实施方式
下面结合附图与具体实施方式对本发明作进一步详细的描述。
实施例一
本实施例一种基于双目视觉和IMU的水下场景三维重建方法，如图1所示，包含以下五个步骤：标定双目相机内参、IMU参数以及双目相机与IMU的外参；双目视觉和IMU紧耦合定位；双目图像计算视差图并生成三维点云；基于三维点云进行位姿匹配校正；基于位姿和三维点云实现三维重建。
具体地说，S1、标定双目相机内参、IMU参数以及双目相机与IMU外参。
如图2所示，所述S1包括如下步骤：
S11、将IMU静置，标定IMU的确定性误差与随机误差；
确定性误差主要由于多轴传感器制作工艺的问题，导致X、Y、Z三个坐标轴可能不垂直。IMU的确定性误差包括加速度计误差；加速度计误差按照以下公式校正：
Figure BDA0003826130100000081
其中，lax,lay,laz分别代表X、Y、Z三个坐标轴校正后的结果；ax,ay,az分别代表X、Y、Z三个坐标轴初始结果；sxx,syy,szz分别代表X、Y、Z三个坐标轴尺度变换(scale)；mxy,mxz,myx,myz,mzx,mzy分别代表X、Y、Z三个坐标轴错位(misalignment)；bax,bay,baz代表分别X、Y、Z三个坐标轴固定偏差(bias)；
IMU的随机误差通常假定噪声服从高斯分布,包括高斯白噪声(Gaussian whitenoise)和误差随机游走(bias random walker)；所述高斯白噪声表示为：
Figure BDA0003826130100000091
其中，t为时间，n()为高斯过程，E[]为均值，σ2为方差，δ()为狄拉克函数；
所述误差随机游走表示为：
Figure BDA0003826130100000092
其中，nb(t)为维纳过程，σb为随机游走标准差，ω(t)是方差为1的白噪声；
至此，IMU参数已经标定完毕；
S12、将双目相机与IMU刚性固定；
S13、将刚性固定的双目相机与IMU，以及参数已知的标定板一同放入水下；标定板可采用棋盘格；如图3(a)和图3(b)所示；图3(a)和图3(b)对应水下标定时的左相机图像和右相机图像。
S14、固定棋盘格，充分移动双目相机，尽量使得棋盘格出现在双目相机视野的各个位置，利于对相机畸变进行标定；双目相机录制数据；记录下多组双目相机图像数据，对图像进行角点识别标定双目相机镜头焦距、基线距离及畸变参数；
S15、记录双目相机和IMU的相对运动关系，标定双目相机的左右相机的内参及左相机与IMU外参：利用棋盘格标定双目相机内参及双目相机的左右相机之间的外参，利用棋盘格估计左相机坐标系下的运动轨迹，利用积分计算IMU中加速度计提供的加速度信息和陀螺仪提供的旋转信息，得到IMU坐标系下的运动轨迹；
具体地，标定双目相机的左右相机的内参是指：
Figure BDA0003826130100000101
其中，l代表左相机；r代表右相机；Kl，Kr分别代表左右相机内参矩阵；fxl,fyl，fxr,fyr分别代表使用像素表示左右相机在x轴和y轴方向上的焦距的长度；(u0l,v0l),(u0r,v0r)分别代表左右相机像平面坐标系的主点的实际像素坐标；标定双目相机的左右相机与IMU外参是指：
设定IMU坐标系为世界坐标系，则双目相机的左右相机图像点到IMU坐标系下的转换关系为：
Figure BDA0003826130100000102
Figure BDA0003826130100000103
其中，
Figure BDA0003826130100000111
分别为左右相机坐标系下的二维坐标；
Figure BDA0003826130100000112
为IMU坐标系下的三维坐标；Rlr,Rri分别为右相机到左相机、左相机到IMU坐标系的3*3的旋转矩阵；Tlr,Tri分别为右相机到左相机、左相机到IMU坐标系的1*3的平移向量。
至此，IMU数据参数、双目相机内参以及左右相机和IMU之间的外参均已知。
S2、双目视觉和IMU紧耦合定位。
统一双目相机和IMU的时间戳；对高频率的IMU数据进行积分，对低频率的双目相机图像数据进行特征提取和匹配；以紧耦合的方式将双目相机和IMU融合定位，得到多帧图像数据之间的坐标转换参数。这种方法可以利用双目相机特征匹配消除IMU的累计积分误差，同时由于引入了高频率的IMU数据，可以提高定位结果的输出频率。
所述S2，包括如下步骤：
输入IMU数据；IMU数据包括加速度数据和旋转数据；将IMU数据积分并转化为离散量，在k时刻到k+1时刻下IMU数据积分得到的速度V、平移结果T和旋转参数R分别表示为：
Vk+1＝Vk+a△t
Figure BDA0003826130100000113
Figure BDA0003826130100000114
其中，Vk,Vk+1分别为k时刻、k+1时刻下的速度；a为加速度；△t为时间间隔；Tk,Tk+1分别为k时刻、k+1时刻下的平移向量；Rk,Rk+1分别为k时刻、k+1时刻下的旋转矩阵；ω为角速度；
Figure BDA0003826130100000121
为克罗内克积；
输入双目相机图像数据，如图3(c)和图3(d)所示；图3(c)和图3(d)对应水下三维重建测试时某一帧的左相机图像和右相机图像；对双目相机的左右相机图像数据分别进行特征提取，再与前一帧的特征进行匹配，得到特征点在相邻两帧的图像上的图像坐标；通过IMU数据的积分及时间对齐，得到双目相机的估计位置，设为状态量初始值；构建误差函数，利用最小二乘法得到状态量的最优估计F：
Figure BDA0003826130100000122
其中，Rci,Tci分别为旋转矩阵和平移向量；Qj为特征点坐标；ci为第i个相机坐标系；π(·)为投影函数；
Figure BDA0003826130100000123
为ci对Qj观测；
Figure BDA0003826130100000124
为范数；
基于最小二乘问题求解最优估计F，损失函数表达为：
Figure BDA0003826130100000125
其中，△x为变化量；△xT代表转置；o(||△x||3)为泰勒展开的高阶项；J和H分别为损失函数一阶导和二阶导矩阵；忽略泰勒展开的高阶项，损失函数变成二次函数，根据一阶导数为0的稳定点的H矩阵的性质求解出局部极值和鞍点；
至此，已经基于紧耦合的方式融合IMU和双目相机实现了每一帧的图像数据定位，同时由于IMU频率较高，且短时间内IMU的积分数据充分可信，可以在两帧图像数据之间通过插值计算，得到较高频率的定位结果。
S3、双目图像计算视差图并生成三维点云。
利用双目相机的同一帧图像数据进行视差图的计算；通过视差图和二维的图像数据原始坐标生成三维点云数据。
所述S3，包括如下步骤：
S31、根据双目相机内参对输入的双目相机图像数据进行畸变校正；如图4(a)和图4(b)所示，图4(a)和图4(b)对应三维重建测试时，某一帧去畸变后的左相机图像和右相机图像；基于NCC算法进行视差计算：
Figure BDA0003826130100000131
其中，x，y，d分别为x轴坐标，y轴坐标，视差；i，j分别为x轴，y轴方向的变化值；m,n分别为x轴，y轴方向的最大值；I1(x,y),I2(x,y)分别为原始图像和目标图像上偏移后的像素值；
Figure BDA0003826130100000132
分别为原始图像和目标图像上偏移后像素的均值；
Figure BDA0003826130100000133
Figure BDA0003826130100000134
进而求得双目相机图像同一帧图像数据对应的视差图；图4(c)所示，图4(c)是基于图4(a)和图4(b)生成的视差图；
S32，通过视差图和原始坐标生成三维点云数据，三维坐标表示为:
Figure BDA0003826130100000141
其中，xl、xr分别为左右相机对应的横坐标值；yl、yr分别为左右相机纵坐标值；fx,fy分别为左右相机内参中对应的焦距；X，Y，Z分别为为三维坐标；D为深度值，由下式计算：
D＝B·f/d
其中，B为基线长度，f为焦距，d为左右图像视差。
至此，可以基于双目相机图像数据生成三维点云数据，如图4(d)所示，图4(d)是基于图4(c)生成的三维点云数据。
S4、基于三维点云进行位姿匹配校正。
在进行S2和S3后，可得到多帧由双目相机图像数据生成的三维点云及多帧之间的坐标转换结果，但是由于坐标转换结果由二维图像数据计算得到，所以增加了基于三维点云数据的多帧匹配进行位姿匹配校正；S2的定位结果作为本步骤中匹配算法的初始输入参数，计算多帧三维点云数据之间的最佳坐标转换参数。这种方法提高了匹配精度的同时减少了三维数据的匹配时间。
所述S4包括如下步骤：
将两帧三维点云数据分别进行空间分割，分为n个小正方体；对每个小正方体进行均值
Figure BDA0003826130100000142
和协方差矩阵Σ的计算：
Figure BDA0003826130100000143
Figure BDA0003826130100000151
其中，xi第i个小正方体中的值；
建立两帧三维点云数据之间的概率分布函数p(x)：
Figure BDA0003826130100000152
得到优化函数E：
Figure BDA0003826130100000153
将S2得到的旋转矩阵和平移向量作为初始值计算概率分布函数p(x)，通过优化函数E迭代收敛，获得两帧三维点云数据之间最佳估计旋转矩阵和平移向量。
S5、基于位姿和三维点云数据实现三维重建。
基于S4得到的最佳坐标转换参数，对S3得到的多帧三维点云数据进行叠加并滤波，得到更为稠密的三维重建点云数据，从而提供丰富的环境感知信息。如图4(e)所示，图4(e)是经过多帧融合的三维重建结果。
实施例二
本实施例一种计算设备，包括处理器以及用于存储处理器可执行程序的存储器，其特征在于，所述处理器执行存储器存储的程序时，实现实施例一所述的基于双目视觉和IMU的水下场景三维重建方法。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (7)

1.一种基于双目视觉和IMU的水下场景三维重建方法，其特征在于：包括如下步骤：
S1、标定双目相机内参、IMU参数以及双目相机与IMU外参；
S2、统一双目相机和IMU的时间戳；对高频率的IMU数据进行积分，对低频率的双目相机图像数据进行特征提取和匹配；以紧耦合的方式将双目相机和IMU融合定位，得到多帧图像数据之间的坐标转换参数，从而得到初始的旋转矩阵和平移向量；
S3、利用双目相机的同一帧图像数据进行视差图的计算；通过视差图和二维的图像数据原始坐标生成三维点云数据；
S4、基于三维点云数据的多帧匹配进行位姿匹配校正；S2得到的旋转矩阵和平移向量作为本步骤中匹配算法的初始输入参数，计算多帧三维点云数据之间的最佳估计旋转矩阵和平移向量；
S5、基于S4得到的最佳估计旋转矩阵和平移向量，对S3得到的多帧三维点云数据进行叠加并滤波，得到三维重建点云数据。
2.根据权利要求1所述的基于双目视觉和IMU的水下场景三维重建方法，其特征在于：所述S1包括如下步骤：
S11、标定IMU的确定性误差与随机误差；
S12、将双目相机与IMU刚性固定；
S13、将刚性固定的双目相机与IMU，以及参数已知的标定板一同放入水下；
S14、充分移动双目相机并录制数据；记录下多组双目相机图像数据，对图像进行角点识别标定双目相机镜头焦距、基线距离及畸变参数；
S15、记录双目相机和IMU的相对运动关系，标定双目相机内参、双目相机的左右相机之间的外参及左相机与IMU外参。
3.根据权利要求2所述的基于双目视觉和IMU的水下场景三维重建方法，其特征在于：所述S11中，IMU的确定性误差包括加速度计误差；
加速度计误差按照以下公式校正：
Figure FDA0003826130090000021
其中，lax,lay,laz分别代表X、Y、Z三个坐标轴校正后的结果；ax,ay,az分别代表X、Y、Z三个坐标轴初始结果；sxx,syy,szz分别代表X、Y、Z三个坐标轴尺度变换；mxy,mxz,myx,myz,mzx,mzy分别代表X、Y、Z三个坐标轴错位；bax,bay,baz代表分别X、Y、Z三个坐标轴固定偏差；
IMU的随机误差包括高斯白噪声和误差随机游走；所述高斯白噪声表示为：
Figure FDA0003826130090000022
其中，t为时间，n()为高斯过程，E[]为均值，σ2为方差，δ()为狄拉克函数；
所述误差随机游走表示为：
Figure FDA0003826130090000023
其中，nb(t)为维纳过程，σb为随机游走标准差，ω(t)是方差为1的白噪声；
所述S15中，标定双目相机的左右相机的内参是指：
Figure FDA0003826130090000024
其中，l代表左相机；r代表右相机；Kl，Kr分别代表左右相机内参矩阵；fxl,fyl，fxr,fyr分别代表使用像素表示左右相机在x轴和y轴方向上的焦距长度；(u0l,v0l),(u0r,v0r)分别代表左右相机像平面坐标系的主点的实际像素坐标；
标定双目相机的左右相机与IMU外参是指：
设定IMU坐标系为世界坐标系，则双目相机的左右相机图像点到IMU坐标系下的转换关系为：
Figure FDA0003826130090000031
Figure FDA0003826130090000032
其中，
Figure FDA0003826130090000033
分别为左右相机坐标系下的二维坐标；
Figure FDA0003826130090000034
为IMU坐标系下的三维坐标；Rlr,Rri分别为右相机到左相机、左相机到IMU坐标系的3*3的旋转矩阵；Tlr,Tri分别为右相机到左相机、左相机到IMU坐标系的1*3的平移向量。
4.根据权利要求1所述的基于双目视觉和IMU的水下场景三维重建方法，其特征在于：所述S2，包括如下步骤：
输入IMU数据；IMU数据包括加速度数据和旋转数据；将IMU数据积分并转化为离散量，在k时刻到k+1时刻下IMU数据积分得到的速度V、平移结果T和旋转参数R分别表示为：
Vk+1＝Vk+a△t
Figure FDA0003826130090000041
Figure FDA0003826130090000042
其中，Vk,Vk+1分别为k时刻、k+1时刻下的速度；a为加速度；△t为时间间隔；Tk,Tk+1分别为k时刻、k+1时刻下的平移结果；Rk,Rk+1分别为k时刻、k+1时刻下的旋转结果；ω为角速度；
Figure FDA0003826130090000043
为克罗内克积；
输入双目相机图像数据；对双目相机的左右相机图像数据分别进行特征提取，再与前一帧的特征进行匹配，得到特征点在相邻两帧的图像上的图像坐标；通过IMU数据的积分及时间对齐，得到双目相机的估计位置，设为状态量初始值；构建误差函数，利用最小二乘法得到状态量的最优估计F：
Figure FDA0003826130090000044
其中，Rci,Tci分别为旋转矩阵和平移向量；Qj为特征点坐标；ci为第i个相机坐标系；π(·)为投影函数；
Figure FDA0003826130090000045
为ci对Qj观测；
Figure FDA0003826130090000046
为范数；
基于最小二乘问题求解最优估计F，损失函数表达为：
Figure FDA0003826130090000047
其中，△x为变化量；△xT代表转置；o(||△x||3)为泰勒展开的高阶项；J和H分别为损失函数一阶导和二阶导矩阵；忽略泰勒展开的高阶项，损失函数变成二次函数，根据一阶导数为0的稳定点的H矩阵的性质求解出局部极值和鞍点；
从而得到以紧耦合的方式融合双目相机和IMU实现每一帧双目相机图像数据定位。
5.根据权利要求1所述的基于双目视觉和IMU的水下场景三维重建方法，其特征在于：所述S3，包括如下步骤：
S31、根据双目相机内参对输入的双目相机图像数据进行畸变校正；基于NCC算法进行视差计算：
Figure FDA0003826130090000051
其中，x，y，d分别为x轴坐标，y轴坐标，视差；i，j分别为x轴，y轴方向的变化值；m,n分别为x轴，y轴方向的最大值；I1(x,y),I2(x,y)分别为原始图像和目标图像上偏移后的像素值；
Figure FDA0003826130090000052
分别为原始图像和目标图像上偏移后像素的均值；
Figure FDA0003826130090000053
Figure FDA0003826130090000054
进而求得双目相机图像同一帧图像数据对应的视差图；
S32，通过视差图和原始坐标生成三维点云数据，三维坐标表示为:
Figure FDA0003826130090000061
其中，xl、xr分别为左右相机对应的横坐标值；yl、yr分别为左右相机纵坐标值；fx,fy分别为左右相机内参中对应的焦距；X，Y，Z分别为为三维坐标；D为深度值，由下式计算：
D＝B·f/d
其中，B为基线长度，f为焦距，d为左右图像视差。
6.根据权利要求1所述的基于双目视觉和IMU的水下场景三维重建方法，其特征在于：所述S4包括如下步骤：
将两帧三维点云数据分别进行空间分割，分为n个小正方体；对每个小正方体进行均值
Figure FDA0003826130090000066
和协方差矩阵Σ的计算：
Figure FDA0003826130090000062
Figure FDA0003826130090000063
其中，xi第i个小正方体中的值；
建立两帧三维点云数据之间的概率分布函数p(x)：
Figure FDA0003826130090000064
得到优化函数E：
Figure FDA0003826130090000065
将S2得到的旋转矩阵和平移向量作为初始值计算概率分布函数p(x)，通过优化函数E迭代收敛，获得两帧三维点云数据之间最佳估计旋转矩阵和平移向量。
7.一种计算设备，包括处理器以及用于存储处理器可执行程序的存储器，其特征在于，所述处理器执行存储器存储的程序时，实现权利要求1-6中任一项所述的基于双目视觉和IMU的水下场景三维重建方法。
CN202211059387.9A 2022-08-31 2022-08-31 基于双目视觉和imu的水下场景三维重建方法及设备 Pending CN115471534A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202211059387.9A CN115471534A (zh) 2022-08-31 2022-08-31 基于双目视觉和imu的水下场景三维重建方法及设备
PCT/CN2023/088584 WO2024045632A1 (zh) 2022-08-31 2023-04-17 基于双目视觉和imu的水下场景三维重建方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211059387.9A CN115471534A (zh) 2022-08-31 2022-08-31 基于双目视觉和imu的水下场景三维重建方法及设备

Publications (1)

Publication Number Publication Date
CN115471534A true CN115471534A (zh) 2022-12-13

Family

ID=84368295

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211059387.9A Pending CN115471534A (zh) 2022-08-31 2022-08-31 基于双目视觉和imu的水下场景三维重建方法及设备

Country Status (2)

Country Link
CN (1) CN115471534A (zh)
WO (1) WO2024045632A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116543057A (zh) * 2023-06-27 2023-08-04 华南理工大学 一种水下多相机与imu一体化标定方法
CN117173342A (zh) * 2023-11-02 2023-12-05 中国海洋大学 基于水下单双目相机的自然光下移动三维重建装置及方法
CN117309856A (zh) * 2023-08-30 2023-12-29 中国科学院空天信息创新研究院 烟幕效果监测方法、装置、电子设备和存储介质
CN117333649A (zh) * 2023-10-25 2024-01-02 天津大学 一种动态扰动下高频线扫描稠密点云的优化方法
CN117649454A (zh) * 2024-01-29 2024-03-05 北京友友天宇系统技术有限公司 双目相机外参自动校正方法、装置、电子设备及存储介质
WO2024045632A1 (zh) * 2022-08-31 2024-03-07 华南理工大学 基于双目视觉和imu的水下场景三维重建方法及设备

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107747941B (zh) * 2017-09-29 2020-05-15 歌尔股份有限公司 一种双目视觉定位方法、装置及系统
CN107945220B (zh) * 2017-11-30 2020-07-10 华中科技大学 一种基于双目视觉的重建方法
CN108489482B (zh) * 2018-02-13 2019-02-26 视辰信息科技(上海)有限公司 视觉惯性里程计的实现方法及系统
CN109991636A (zh) * 2019-03-25 2019-07-09 启明信息技术股份有限公司 基于gps、imu以及双目视觉的地图构建方法及系统
CN114111818A (zh) * 2021-12-08 2022-03-01 太原供水设计研究院有限公司 一种通用视觉slam方法
CN115471534A (zh) * 2022-08-31 2022-12-13 华南理工大学 基于双目视觉和imu的水下场景三维重建方法及设备

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024045632A1 (zh) * 2022-08-31 2024-03-07 华南理工大学 基于双目视觉和imu的水下场景三维重建方法及设备
CN116543057A (zh) * 2023-06-27 2023-08-04 华南理工大学 一种水下多相机与imu一体化标定方法
CN116543057B (zh) * 2023-06-27 2023-10-10 华南理工大学 一种水下多相机与imu一体化标定方法
CN117309856A (zh) * 2023-08-30 2023-12-29 中国科学院空天信息创新研究院 烟幕效果监测方法、装置、电子设备和存储介质
CN117333649A (zh) * 2023-10-25 2024-01-02 天津大学 一种动态扰动下高频线扫描稠密点云的优化方法
CN117333649B (zh) * 2023-10-25 2024-06-04 天津大学 一种动态扰动下高频线扫描稠密点云的优化方法
CN117173342A (zh) * 2023-11-02 2023-12-05 中国海洋大学 基于水下单双目相机的自然光下移动三维重建装置及方法
CN117649454A (zh) * 2024-01-29 2024-03-05 北京友友天宇系统技术有限公司 双目相机外参自动校正方法、装置、电子设备及存储介质
CN117649454B (zh) * 2024-01-29 2024-05-31 北京友友天宇系统技术有限公司 双目相机外参自动校正方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
WO2024045632A1 (zh) 2024-03-07

Similar Documents

Publication Publication Date Title
CN115471534A (zh) 基于双目视觉和imu的水下场景三维重建方法及设备
CN107255476B (zh) 一种基于惯性数据和视觉特征的室内定位方法和装置
CN110264528B (zh) 一种鱼眼镜头双目像机快速自标定方法
CN110319772B (zh) 基于无人机的视觉大跨度测距方法
CN112902953A (zh) 一种基于slam技术的自主位姿测量方法
CN107680159B (zh) 一种基于投影矩阵的空间非合作目标三维重建方法
CN110189400B (zh) 一种三维重建方法、三维重建系统、移动终端及存储装置
CN112465969A (zh) 基于无人机航拍影像数据的实时三维建模方法及系统
CN111882655B (zh) 三维重建的方法、装置、系统、计算机设备和存储介质
CN111524194A (zh) 一种激光雷达和双目视觉相互融合的定位方法及终端
CN112929626B (zh) 一种基于智能手机影像的三维信息提取方法
CN113361365B (zh) 定位方法和装置、设备及存储介质
CN112580683B (zh) 一种基于互相关的多传感器数据时间对齐系统及其方法
CN114494388B (zh) 一种大视场环境下图像三维重建方法、装置、设备及介质
CN112598706B (zh) 无需精确时空同步的多相机运动目标三维轨迹重建方法
CN111815765A (zh) 一种基于异构数据融合的图像三维重建方法
CN114964276A (zh) 一种融合惯导的动态视觉slam方法
CN117197333A (zh) 基于多目视觉的空间目标重构与位姿估计方法及系统
CN111429571A (zh) 一种基于时空图像信息联合相关的快速立体匹配方法
CN113240597B (zh) 基于视觉惯性信息融合的三维软件稳像方法
CN113450334B (zh) 一种水上目标检测方法、电子设备及存储介质
GB2569609A (en) Method and device for digital 3D reconstruction
CN115359193B (zh) 一种基于双目鱼眼相机的快速半稠密三维重建方法
CN111145267A (zh) 基于imu辅助的360度全景视图多相机标定方法
CN115638788A (zh) 语义矢量地图的构建方法、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination