CN112132958A - 一种基于双目视觉的水下环境三维重建方法 - Google Patents
一种基于双目视觉的水下环境三维重建方法 Download PDFInfo
- Publication number
- CN112132958A CN112132958A CN202011006447.1A CN202011006447A CN112132958A CN 112132958 A CN112132958 A CN 112132958A CN 202011006447 A CN202011006447 A CN 202011006447A CN 112132958 A CN112132958 A CN 112132958A
- Authority
- CN
- China
- Prior art keywords
- image
- underwater
- dimensional reconstruction
- algorithm
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 85
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 54
- 238000001514 detection method Methods 0.000 claims abstract description 18
- 238000003707 image sharpening Methods 0.000 claims abstract description 9
- 238000007781 pre-processing Methods 0.000 claims abstract description 8
- 238000001914 filtration Methods 0.000 claims description 30
- 238000012545 processing Methods 0.000 claims description 24
- 238000006731 degradation reaction Methods 0.000 claims description 21
- 238000004364 calculation method Methods 0.000 claims description 15
- 238000002834 transmittance Methods 0.000 claims description 15
- 230000002146 bilateral effect Effects 0.000 claims description 12
- 230000015556 catabolic process Effects 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 239000006185 dispersion Substances 0.000 claims description 9
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 6
- 238000005286 illumination Methods 0.000 claims description 6
- 238000013519 translation Methods 0.000 claims description 6
- 238000003384 imaging method Methods 0.000 claims description 5
- 238000000889 atomisation Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 claims description 4
- 230000010354 integration Effects 0.000 claims description 4
- 230000008439 repair process Effects 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 235000002566 Capsicum Nutrition 0.000 claims description 3
- 239000006002 Pepper Substances 0.000 claims description 3
- 235000016761 Piper aduncum Nutrition 0.000 claims description 3
- 235000017804 Piper guineense Nutrition 0.000 claims description 3
- 235000008184 Piper nigrum Nutrition 0.000 claims description 3
- 238000009795 derivation Methods 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 238000011551 log transformation method Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000013178 mathematical model Methods 0.000 claims description 3
- 150000003839 salts Chemical class 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 3
- 238000010521 absorption reaction Methods 0.000 claims description 2
- 244000203593 Piper nigrum Species 0.000 claims 1
- 241000722363 Piper Species 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000031700 light absorption Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种基于双目视觉的水下环境三维重建方法，包括如下步骤：步骤一：采集和获取水下图像，并对双目相机进行水下标定，得到所需的双目相机相关参数；步骤二：对采集到的水下图像进行预处理，包括图像去噪、图像增强、图像锐化、图像复原、水下图像去雾；步骤三：对步骤二所述预处理后的双目图像进行特征检测，并利用改良的Census与NCC融合的立体匹配算法进行立体匹配，得到含有深度信息的视差图；步骤四：使用引入移动最小二乘法的PCL三维重建方法对步骤三所述视差图进行三维重建，还原图像中的水下三维环境，本发明引入移动最小二乘法进行处理点云离散以及点云漏洞的问题，处理效果从多个角度直观地体现出三维效果，并能够还原水下三维环境。
Description
技术领域
本发明涉及一种图像三维重建方法，特别是一种基于双目视觉的水下环境三维重建方法，属于水下环境的三维重建和计算机视觉领域。
背景技术
计算机视觉经过多年的发展日臻成熟，目前已经应用在水下环境当中。配备了计算机视觉功能的水下机器人，可以在海底管道的检测与维修、海洋搜救任务的执行、海底环境的探测等多种水下工作中发挥重要的作用。在某些海底地形勘测，海底资源开发工作中，需要获得较为直观的三维信息，因此，利用基于双目视觉的三维重建技术重建出水下环境就显得尤为重要。
在陆地双目系统中，应用相机对实物左右角度视图进行采集，进而分析视差信息取得3D坐标，来对实物进行三维重建。与逐渐完善的陆地实物三维重建不同，水下环境的三维重建在不断发展中，除了要考虑水陆环境的差异，还要考虑水下光线、图像信息的获取差异等一系列问题。双目视觉下实物的三维重建一般包括水下图像信息采集、对双目相机标定、信息预处理、双目视觉立体匹配获取视差，应用算法重建等步骤。目前对于水下环境的三维重建主要是应用陆上三维重建的理论、算法，试图通过弥补水下光线不足、引入高畸变系数、改变焦距补偿等方式，改善水下图像质量，取得好的实验结果，但在实际操作中都存在一定的误差，并未取得理想效果。因此，研究基于双目视觉的水下环境三维重建的方法，在海洋环境的开发，及双目视觉在水下环境的应用具有重要意义。
发明内容
本发明提供一种能够消除复杂的水下环境对三维重建的干扰，还原水下物体三维信息的基于双目视觉的水下环境三维重建方法。
本发明的目的是这样实现的：
一种基于双目视觉的水下环境三维重建方法，包括如下步骤：
步骤一：采集和获取水下图像，并对双目相机进行水下标定，得到所需的双目相机相关参数；
步骤二：对采集到的水下图像进行预处理，包括图像去噪、图像增强、图像锐化、图像复原、水下图像去雾；
步骤三：对步骤二所述预处理后的双目图像进行特征检测，并利用改良的Census与NCC融合的立体匹配算法进行立体匹配，得到含有深度信息的视差图；
步骤四：使用引入移动最小二乘法的PCL三维重建方法对步骤三所述视差图进行三维重建，还原图像中的水下三维环境。
本发明还包括这样一些特征：
所述步骤一具体为：
对双目相机进行标定获取尽量准确的相机参数，包括内部参数、外部参数等，参数确定之后便可以得到坐标系的转换比例关系；物体在实际空间中的位置和方向由摄像机外部参数体现：
利用张正友标定法标定双目相机，将标定物体平面的原点作为世界坐标系(OW-XWYWZW)的原点，则标定物体所在的平面与世界坐标系X轴与Y轴所成平面重合；将计算机坐标系(OO-UV)与世界坐标系转换关系式进行整理得到式(1)：
其中，R为描述照相机方向的旋转矩阵，T为描述照相机中心位置的三维平移向量，为3×1向量；
将式(1)改为式(2)得：
其中
矩阵H即为张氏标定法下标定平面与计算机坐标系之间的转换，令H＝sM[r1 r2 T]＝[h1 h2 h3]；
设
利用各矩阵之间的关系对上述公式进行一系列的推导整合可得到双目相机的内部参数，如式(3)所示：
式中
平移矩阵T、旋转矩阵R的计算公式如下：
至此，双目相机的四个内部参数及六个外部参数便可求得。
所述步骤二中的图像去噪具体为：
根据水下图像存在的干扰的特性，噪声主要为高频噪声及部分椒盐噪声和分布较为均匀的噪声，因此选取适用于处理该类噪声的双边滤波法；
双边滤波是一种将图像空间邻近度与像素相似性折中处理的手段，同时考虑空域信息和灰度的相似性，达到保边去噪的目的；双边滤波法的输出像素依赖于当前被卷积像素的邻域；i和j是当前被卷积像素的坐标点，k和l是领域像素的坐标点；双边滤波公式如下所示：
其中g(i,j)是输出图像，f(k,l)为原始图像，ω(i,j,k,l)代表经过两个高斯函数计算出的值，如下式所示：
其中，σd为空间域标准差，σr为值域标准差。
所述步骤二中的图像增强具体为：
水中各种物质对光能量均有强烈的吸收作用，从而导致了水下成像相比于陆地会更加地昏暗，对比度与亮度有较大的损失；为了解决水下图像的能见度低，对比度及亮度不及陆地图片等问题，利用基于对数Log变换的图像增强算法，提升图像低对比度部分的质量，更好地表现出图像低对比度部分的细节，其公式如下：
其中C为常数，r为大于0小于1的常数，v为处理权值，由于本发明是水下图像为对象，而水下图像需要对低灰度区域进行扩展，因此采用参数r为0.5，v为200。
5、根据权利要求1所述的基于双目视觉的水下环境三维重建方法，其特征是，所述步骤二中的图像锐化具体为：
在图像的去噪或增强过程中经常因为过度的积分运算或平均化处理导致图像中的部分区域，尤其是边缘处变得模糊，但水下重建又需要水下图像中提供较为准确的边缘信息，因此要处理这种模糊情况，需要对图像进行锐化处理；
利用Priwitt算子对图像进行锐化处理，Priwitt锐化是对图像的一个方向微分，对另一个方向求平均；Priwitt算法的计算公式如下：
其中dx和dy分别为对像素进行运算的两个方向上的卷积核，表示为：
所述步骤二中的图像复原具体为：
水下图像的复原技术是对水下图像的退化过程建立合理的数学模型；通过参数估计反演整个图像退化的过程，同时对退化过程中产生的数据丢失进行修补，尽量得到图像退化之前最接近原图像的最优解；
本发明采用有约束的最小二乘滤波算法完成图像复原工作，其退化函数对噪声较为敏感，退化模型可以写为向量形式g＝Hf+n，其中g为退化图像，H是退化函数的卷积，f为原始图像，n为噪声分布；
将约束条件转化为拉格朗日乘子项，准则函数如下：
其中，Q为f的正则化算子，
为原始图像的估计，η为噪声分布n的傅里叶变化，λ为拉格朗日乘子，通过求解准则函数找到
的最优估计值；
令
则式(9)可改写为：
解式(9)得
最优估计值：
其对应的频域表达式为：
其中：
H*为H的复共轭，G(u,v)为退化图像g的傅里叶变换，γ为λ的倒数，一般取0.1至0.4，本发明中γ取0.4。
所述步骤二中的图像去雾具体为：
雾化是指光线入水时发生散射，其中前向散射造成图像发生模糊，而反向散射则造成图像的雾化；由于水下环境的复杂性，雾化后的水下图片质量可能比陆地雾天时摄取的图片质量更差；本发明利用引入保边滤波的改良透视率去雾算法对图像进行去雾处理，解决去雾过程中因对水下图像边缘不敏感而产生的白边问题；
引入保边滤波的改良透视率去雾算法可分为如下4个步骤：
(1)对带雾的图像求取暗通道图；
(2)求取全球大气光强度；
(3)求经透视率去雾算法得到的去雾图像；
(4)用保边滤波对去雾图像进行最后处理；
用透射率去雾算法得到的输出图像的函数表达式：
其中，I(x)代表输入需处理的图像，J(x)表示处理后输出图像，A为给定大气光照强度，t0为透射率最小值点，本发明设为0.1，t(x)为透射率；
经保边滤波的处理得到输出图像的数学表达式为：
其中，qi为输出图像，p为输入图像，I为引导图像，μk和
分别表示引导图像的均值和方差，ε为正则化参数，w为滤波窗口中像素点的数量，本发明选用3×3的窗口，w为9。
所述步骤三具体为：
双目视觉的立体匹配在通过左右视图中的特征对两幅图像进行配准，将配准后得到的视差图结合相机参数便可求得深度信息，从而进行三维重建；
角点检测是计算机视觉系统中获取图像特征的一种方法，亚像素角点检测算法可以得到实数精确到亚像素级别；一般情况下，亚像素角点检测是基于曲线拟合的方式采用高斯、多项式及椭圆曲面来进行亚像素定位；
立体匹配是通过2D信息获取3D信息的重要手段，也是三维重建能否成功的关键；它的原理就是模仿人眼，通过搜寻左右两幅视图中较为特殊的信息来进行匹配；
由于NCC算法对光照变化不敏感，Census算法对边缘轮廓的保持性不够，本发明提出一种改良的NCC和Census的融合立体匹配算法，融合的立体匹配算法相似度计算公式如下：
其中，α为大于0小于1的权重系数，本发明将α的值设为0.4，NCC(p,d)和Census(p,d)分别为NCC算法和Census算法各自的计算公式，
和
为NCC和Census算法计算结果的方差；
经过立体匹配，将所有匹配点的几何信息作为计算基础生成视差图。
所述步骤四具体为：
空间点是构成三维空间结构最基本的单元，通过空间点形成空间线，再通过空间线可以生成空间面，最后通过空间面构造成整个三维立体结构；空间点的三维重建是利用空间点在双目相机左右摄像头中分别成像来还原出该点在三维空间中的大致位置；在计算出相机的内外参数条件下，通过计算空间点的世界坐标来完成重建；
引入移动最小二乘法PCL(Point Cloud Library)点云信息的三维重建方法先对含有深度信息的视差图进行点云化处理，生成空间点组成的稠密点云，再利用移动最小二乘法修复点云离散和点云漏洞，最后利用原图像对其进行贴图处理获取物体的表面色彩及纹理等信息；基于PCL点云信息的三维重建流程如下：
(1)导入含有深度信息的视差图；
(2)计算空间点到左、右图像平面的投影矩阵；
(3)计算左、右特征点对应的空间坐标；
(4)保存空间点坐标集合，形成点云信息；
(5)引入移动最小二乘法修复点云离散和点云漏洞；
(6)PCL三维点云显示。
与现有技术相比，本发明的有益效果是：
本发明对水下图像做了一系列预处理操作，包括图像去噪、图像增强、图像锐化、图像复原、水下图像去雾，将图像处理成具有较高质量的图片；采用亚像素级角点检测算法特征检测和改良的Census与NCC融合的立体匹配算法对采集到的图像进行立体匹配，获得视差图；本发明采用基于PCL点云库的处理方法对含有深度信息的视差图进行三维重建，并引入移动最小二乘法进行处理点云离散以及点云漏洞的问题，处理效果能够从多个角度直观地体现出三维效果，并能够较好地还原水下三维环境。
附图说明
图1为基于双目视觉的水下环境三维重建方法的流程图；
图2a-d为水下环境三维重建的多角度处理结果。
具体实施方式
下面结合附图与具体实施方式对本发明作进一步详细描述。
本发明提供一种能够消除复杂的水下环境对三维重建的干扰，还原水下物体三维信息的基于双目视觉的水下环境三维重建方法，包括以下步骤：
步骤一：采集和获取水下图像，并利用张正友标定法对双目相机进行水下标定，得到所需的双目相机相关参数；
步骤二：对采集到的水下图像进行预处理，包括图像去噪、图像增强、图像锐化、图像复原、水下图像去雾；
步骤三：对步骤二所述预处理后的双目图像进行特征检测，并利用改良的Census与NCC融合的立体匹配算法进行立体匹配，得到含有深度信息的视差图；
步骤四：使用引入移动最小二乘法的PCL三维重建方法对步骤三所述视差图进行三维重建，还原图像中的水下三维环境。
如图1所示，本发明提供一种基于双目视觉的水下环境三维重建方法，包括以下步骤：
一、对双目相机进行水下标定，以得到所需的双目相机相关参数。
对双目相机进行标定获取尽量准确的相机参数，包括内部参数、外部参数等，参数确定之后便可以得到坐标系的转换比例关系。物体在实际空间中的位置和方向由摄像机外部参数体现。
利用张正友标定法标定双目相机，将标定物体平面的原点作为世界坐标系(OW-XWYWZW)的原点，则标定物体所在的平面与世界坐标系X轴与Y轴所成平面重合。将计算机坐标系(OO-UV)与世界坐标系转换关系式进行整理得到式(1)：
其中，R为描述照相机方向的旋转矩阵，T为描述照相机中心位置的三维平移向量，为3×1向量。
将式(1)改为式(2)得：
其中
矩阵H即为张氏标定法下标定平面与计算机坐标系之间的转换，令H＝sM[r1 r2 T]＝[h1 h2 h3]。
设
利用各矩阵之间的关系对上述公式进行一系列的推导整合可得到双目相机的内部参数，如式(3)所示：
式中
平移矩阵T、旋转矩阵R的计算公式如下：
至此，双目相机的四个内部参数及六个外部参数便可求得。
二、水下图像的预处理，减小水下噪声、光线对图像造成的影响。
1、图像去噪
根据水下图像存在的干扰的特性，噪声主要为高频噪声及部分椒盐噪声和分布较为均匀的噪声，因此选取适用于处理该类噪声的双边滤波法。
双边滤波是一种将图像空间邻近度与像素相似性折中处理的手段，同时考虑空域信息和灰度的相似性，达到保边去噪的目的。双边滤波法的输出像素依赖于当前被卷积像素的邻域。i和j是当前被卷积像素的坐标点，k和l是领域像素的坐标点。双边滤波公式如下所示：
其中g(i,j)是输出图像，f(k,l)为原始图像，ω(i,j,k,l)代表经过两个高斯函数计算出的值，如下式所示：
其中，σd为空间域标准差，σr为值域标准差。
2、图像增强
水中各种物质对光能量均有强烈的吸收作用，从而导致了水下成像相比于陆地会更加地昏暗，对比度与亮度有较大的损失。为了解决水下图像的能见度低，对比度及亮度不及陆地图片等问题，利用基于对数Log变换的图像增强算法，提升图像低对比度部分的质量，更好地表现出图像低对比度部分的细节，其公式如下：
其中C为常数，r为大于0小于1的常数，v为处理权值，由于本发明是水下图像为对象，而水下图像需要对低灰度区域进行扩展，因此采用参数r为0.5，v为200。
3、图像锐化
在图像的去噪或增强过程中经常因为过度的积分运算或平均化处理导致图像中的部分区域，尤其是边缘处变得模糊，但水下重建又需要水下图像中提供较为准确的边缘信息，因此要处理这种模糊情况，需要对图像进行锐化处理。
利用Priwitt算子对图像进行锐化处理，Priwitt锐化是对图像的一个方向微分，对另一个方向求平均。Priwitt算法的计算公式如下：
其中dx和dy分别为对像素进行运算的两个方向上的卷积核，表示为：
4、图像复原
水下图像的复原技术是对水下图像的退化过程建立合理的数学模型。通过参数估计反演整个图像退化的过程，同时对退化过程中产生的数据丢失进行修补，尽量得到图像退化之前最接近原图像的最优解。
本发明采用有约束的最小二乘滤波算法完成图像复原工作，其退化函数对噪声较为敏感，退化模型可以写为向量形式g＝Hf+n，其中g为退化图像，H是退化函数的卷积，f为原始图像，n为噪声分布。
将约束条件转化为拉格朗日乘子项，准则函数如下：
其中，Q为f的正则化算子，
为原始图像的估计，η为噪声分布n的傅里叶变化，λ为拉格朗日乘子，通过求解准则函数找到
的最优估计值。
令
则式(9)可改写为：
解式(9)得
最优估计值：
其对应的频域表达式为：
其中：
H*为H的复共轭，G(u,v)为退化图像g的傅里叶变换，γ为λ的倒数，一般取0.1至0.4，本发明中γ取0.4。
5、图像去雾
雾化是指光线入水时发生散射，其中前向散射造成图像发生模糊，而反向散射则造成图像的雾化。由于水下环境的复杂性，雾化后的水下图片质量可能比陆地雾天时摄取的图片质量更差。本发明利用引入保边滤波的改良透视率去雾算法对图像进行去雾处理，解决去雾过程中因对水下图像边缘不敏感而产生的白边问题。
引入保边滤波的改良透视率去雾算法可分为如下4个步骤：
(1)对带雾的图像求取暗通道图；
(2)求取全球大气光强度；
(3)求经透视率去雾算法得到的去雾图像；
(4)用保边滤波对去雾图像进行最后处理。
用透射率去雾算法得到的输出图像的函数表达式：
其中，I(x)代表输入需处理的图像，J(x)表示处理后输出图像，A为给定大气光照强度，t0为透射率最小值点，本发明设为0.1，t(x)为透射率。
经保边滤波的处理得到输出图像的数学表达式为：
其中，qi为输出图像，p为输入图像，I为引导图像，μk和
分别表示引导图像的均值和方差，ε为正则化参数，w为滤波窗口中像素点的数量，本发明选用3×3的窗口，w为9。
三、双目图像的特征检测和立体匹配，以生成含有深度信息的视差图。
双目视觉的立体匹配在通过左右视图中的特征对两幅图像进行配准，将配准后得到的视差图结合相机参数便可求得深度信息，从而进行三维重建。
角点检测是计算机视觉系统中获取图像特征的一种方法，亚像素角点检测算法可以得到实数精确到亚像素级别。一般情况下，亚像素角点检测是基于曲线拟合的方式采用高斯、多项式及椭圆曲面来进行亚像素定位。
立体匹配是通过2D信息获取3D信息的重要手段，也是三维重建能否成功的关键。它的原理就是模仿人眼，通过搜寻左右两幅视图中较为特殊的信息来进行匹配。
由于NCC算法对光照变化不敏感，Census算法对边缘轮廓的保持性不够，本发明提出一种改良的NCC和Census的融合立体匹配算法，融合的立体匹配算法相似度计算公式如下：
其中，α为大于0小于1的权重系数，本发明将α的值设为0.4，NCC(p,d)和Census(p,d)分别为NCC算法和Census算法各自的计算公式，
和
为NCC和Census算法计算结果的方差。
经过立体匹配，将所有匹配点的几何信息作为计算基础生成视差图。
四、三维重建，还原水下三维环境。三维重建后的图像如图2所示。
空间点是构成三维空间结构最基本的单元，通过空间点形成空间线，再通过空间线可以生成空间面，最后通过空间面构造成整个三维立体结构。空间点的三维重建是利用空间点在双目相机左右摄像头中分别成像来还原出该点在三维空间中的大致位置。在计算出相机的内外参数条件下，通过计算空间点的世界坐标来完成重建。
引入移动最小二乘法PCL(Point Cloud Library)点云信息的三维重建方法先对含有深度信息的视差图进行点云化处理，生成空间点组成的稠密点云，再利用移动最小二乘法修复点云离散和点云漏洞，最后利用原图像对其进行贴图处理获取物体的表面色彩及纹理等信息。基于PCL点云信息的三维重建流程如下：
(1)导入含有深度信息的视差图；
(2)计算空间点到左、右图像平面的投影矩阵；
(3)计算左、右特征点对应的空间坐标；
(4)保存空间点坐标集合，形成点云信息；
(5)引入移动最小二乘法修复点云离散和点云漏洞；
(6)PCL三维点云显示。
本发明具体实施方式为：
步骤一：采集和获取水下图像，并利用张正友标定法对双目相机的水下标定，得到所需的双目相机相关参数。主要的理论依据为公式(3)、(4)。
步骤二：对采集到的水下图像进行预处理，包括图像去噪、图像增强、图像锐化、图像复原、水下图像去雾。依据为公式(5)、(7)、(8)、(12)、(14)。
步骤三：对步骤二所述预处理后的双目图像进行特征检测，并利用改良的Census与NCC融合的立体匹配算法进行立体匹配，得到含有深度信息的视差图。依据为公式(15)。
步骤四：使用引入移动最小二乘法的PCL三维重建方法，对步骤三所述视差图进行三维重建，还原图像中的水下三维环境。
Claims (9)
1.一种基于双目视觉的水下环境三维重建方法，其特征是，包括如下步骤：
步骤一：采集和获取水下图像，并对双目相机进行水下标定，得到所需的双目相机相关参数；
步骤二：对采集到的水下图像进行预处理，包括图像去噪、图像增强、图像锐化、图像复原、水下图像去雾；
步骤三：对步骤二所述预处理后的双目图像进行特征检测，并利用改良的Census与NCC融合的立体匹配算法进行立体匹配，得到含有深度信息的视差图；
步骤四：使用引入移动最小二乘法的PCL三维重建方法对步骤三所述视差图进行三维重建，还原图像中的水下三维环境。
2.根据权利要求1所述的基于双目视觉的水下环境三维重建方法，其特征是，所述步骤一具体为：
对双目相机进行标定获取尽量准确的相机参数，包括内部参数、外部参数等，参数确定之后便可以得到坐标系的转换比例关系；物体在实际空间中的位置和方向由摄像机外部参数体现：
利用张正友标定法标定双目相机，将标定物体平面的原点作为世界坐标系(OW-XWYWZW)的原点，则标定物体所在的平面与世界坐标系X轴与Y轴所成平面重合；将计算机坐标系(OO-UV)与世界坐标系转换关系式进行整理得到式(1)：
其中，R为描述照相机方向的旋转矩阵，T为描述照相机中心位置的三维平移向量，为3×1向量；
将式(1)改为式(2)得：
其中
矩阵H即为张氏标定法下标定平面与计算机坐标系之间的转换，令H＝sM[r1 r2 T]＝[h1 h2 h3]；
设
利用各矩阵之间的关系对上述公式进行一系列的推导整合可得到双目相机的内部参数，如式(3)所示：
式中
平移矩阵T、旋转矩阵R的计算公式如下：
至此，双目相机的四个内部参数及六个外部参数便可求得。
3.根据权利要求1所述的基于双目视觉的水下环境三维重建方法，其特征是，所述步骤二中的图像去噪具体为：
根据水下图像存在的干扰的特性，噪声主要为高频噪声及部分椒盐噪声和分布较为均匀的噪声，因此选取适用于处理该类噪声的双边滤波法；
双边滤波是一种将图像空间邻近度与像素相似性折中处理的手段，同时考虑空域信息和灰度的相似性，达到保边去噪的目的；双边滤波法的输出像素依赖于当前被卷积像素的邻域；i和j是当前被卷积像素的坐标点，k和l是领域像素的坐标点；双边滤波公式如下所示：
其中g(i,j)是输出图像，f(k,l)为原始图像，ω(i,j,k,l)代表经过两个高斯函数计算出的值，如下式所示：
其中，σd为空间域标准差，σr为值域标准差。
4.根据权利要求1所述的基于双目视觉的水下环境三维重建方法，其特征是，所述步骤二中的图像增强具体为：
水中各种物质对光能量均有强烈的吸收作用，从而导致了水下成像相比于陆地会更加地昏暗，对比度与亮度有较大的损失；为了解决水下图像的能见度低，对比度及亮度不及陆地图片等问题，利用基于对数Log变换的图像增强算法，提升图像低对比度部分的质量，更好地表现出图像低对比度部分的细节，其公式如下：
其中C为常数，r为大于0小于1的常数，v为处理权值，由于本发明是水下图像为对象，而水下图像需要对低灰度区域进行扩展，因此采用参数r为0.5，v为200。
5.根据权利要求1所述的基于双目视觉的水下环境三维重建方法，其特征是，所述步骤二中的图像锐化具体为：
在图像的去噪或增强过程中经常因为过度的积分运算或平均化处理导致图像中的部分区域，尤其是边缘处变得模糊，但水下重建又需要水下图像中提供较为准确的边缘信息，因此要处理这种模糊情况，需要对图像进行锐化处理；
利用Priwitt算子对图像进行锐化处理，Priwitt锐化是对图像的一个方向微分，对另一个方向求平均；Priwitt算法的计算公式如下：
其中dx和dy分别为对像素进行运算的两个方向上的卷积核，表示为：
6.根据权利要求1所述的基于双目视觉的水下环境三维重建方法，其特征是，所述步骤二中的图像复原具体为：
水下图像的复原技术是对水下图像的退化过程建立合理的数学模型；通过参数估计反演整个图像退化的过程，同时对退化过程中产生的数据丢失进行修补，尽量得到图像退化之前最接近原图像的最优解；
本发明采用有约束的最小二乘滤波算法完成图像复原工作，其退化函数对噪声较为敏感，退化模型可以写为向量形式g＝Hf+n，其中g为退化图像，H是退化函数的卷积，f为原始图像，n为噪声分布；
将约束条件转化为拉格朗日乘子项，准则函数如下：
其中，Q为f的正则化算子，
为原始图像的估计，η为噪声分布n的傅里叶变化，λ为拉格朗日乘子，通过求解准则函数找到
的最优估计值；
令
则式(9)可改写为：
解式(9)得
最优估计值：
其对应的频域表达式为：
其中：
H*为H的复共轭，G(u,v)为退化图像g的傅里叶变换，γ为λ的倒数，一般取0.1至0.4，本发明中γ取0.4。
7.根据权利要求1所述的基于双目视觉的水下环境三维重建方法，其特征是，所述步骤二中的图像去雾具体为：
雾化是指光线入水时发生散射，其中前向散射造成图像发生模糊，而反向散射则造成图像的雾化；由于水下环境的复杂性，雾化后的水下图片质量可能比陆地雾天时摄取的图片质量更差；本发明利用引入保边滤波的改良透视率去雾算法对图像进行去雾处理，解决去雾过程中因对水下图像边缘不敏感而产生的白边问题；
引入保边滤波的改良透视率去雾算法可分为如下4个步骤：
(1)对带雾的图像求取暗通道图；
(2)求取全球大气光强度；
(3)求经透视率去雾算法得到的去雾图像；
(4)用保边滤波对去雾图像进行最后处理；
用透射率去雾算法得到的输出图像的函数表达式：
其中，I(x)代表输入需处理的图像，J(x)表示处理后输出图像，A为给定大气光照强度，t0为透射率最小值点，本发明设为0.1，t(x)为透射率；
经保边滤波的处理得到输出图像的数学表达式为：
其中，qi为输出图像，p为输入图像，I为引导图像，μk和
分别表示引导图像的均值和方差，ε为正则化参数，w为滤波窗口中像素点的数量，本发明选用3×3的窗口，w为9。
8.根据权利要求1所述的基于双目视觉的水下环境三维重建方法，其特征是，所述步骤三具体为：
双目视觉的立体匹配在通过左右视图中的特征对两幅图像进行配准，将配准后得到的视差图结合相机参数便可求得深度信息，从而进行三维重建；
角点检测是计算机视觉系统中获取图像特征的一种方法，亚像素角点检测算法可以得到实数精确到亚像素级别；一般情况下，亚像素角点检测是基于曲线拟合的方式采用高斯、多项式及椭圆曲面来进行亚像素定位；
立体匹配是通过2D信息获取3D信息的重要手段，也是三维重建能否成功的关键；它的原理就是模仿人眼，通过搜寻左右两幅视图中较为特殊的信息来进行匹配；
由于NCC算法对光照变化不敏感，Census算法对边缘轮廓的保持性不够，本发明提出一种改良的NCC和Census的融合立体匹配算法，融合的立体匹配算法相似度计算公式如下：
其中，α为大于0小于1的权重系数，本发明将α的值设为0.4，NCC(p,d)和Census(p,d)分别为NCC算法和Census算法各自的计算公式，
和
为NCC和Census算法计算结果的方差；
经过立体匹配，将所有匹配点的几何信息作为计算基础生成视差图。
9.根据权利要求1所述的基于双目视觉的水下环境三维重建方法，其特征是，所述步骤四具体为：
空间点是构成三维空间结构最基本的单元，通过空间点形成空间线，再通过空间线可以生成空间面，最后通过空间面构造成整个三维立体结构；空间点的三维重建是利用空间点在双目相机左右摄像头中分别成像来还原出该点在三维空间中的大致位置；在计算出相机的内外参数条件下，通过计算空间点的世界坐标来完成重建；
引入移动最小二乘法PCL(Point Cloud Library)点云信息的三维重建方法先对含有深度信息的视差图进行点云化处理，生成空间点组成的稠密点云，再利用移动最小二乘法修复点云离散和点云漏洞，最后利用原图像对其进行贴图处理获取物体的表面色彩及纹理等信息；基于PCL点云信息的三维重建流程如下：
(1)导入含有深度信息的视差图；
(2)计算空间点到左、右图像平面的投影矩阵；
(3)计算左、右特征点对应的空间坐标；
(4)保存空间点坐标集合，形成点云信息；
(5)引入移动最小二乘法修复点云离散和点云漏洞；
(6)PCL三维点云显示。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011006447.1A CN112132958B (zh) | 2020-09-23 | 2020-09-23 | 一种基于双目视觉的水下环境三维重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011006447.1A CN112132958B (zh) | 2020-09-23 | 2020-09-23 | 一种基于双目视觉的水下环境三维重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112132958A true CN112132958A (zh) | 2020-12-25 |
| CN112132958B CN112132958B (zh) | 2023-01-03 |
Family
ID=73842656
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011006447.1A Active CN112132958B (zh) | 2020-09-23 | 2020-09-23 | 一种基于双目视觉的水下环境三维重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112132958B (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113160332A (zh) * | 2021-04-28 | 2021-07-23 | 哈尔滨理工大学 | 一种基于双目视觉的多目标识别与定位方法 |
| CN113298952A (zh) * | 2021-06-11 | 2021-08-24 | 哈尔滨工程大学 | 一种基于数据扩容与相似性度量的残缺点云分类网络 |
| CN113382223A (zh) * | 2021-06-03 | 2021-09-10 | 浙江大学 | 一种基于多目视觉的水下三维立体成像装置及方法 |
| CN113643427A (zh) * | 2021-08-09 | 2021-11-12 | 重庆亲禾智千科技有限公司 | 一种双目测距及三维重建方法 |
| CN113902791A (zh) * | 2021-11-22 | 2022-01-07 | 郑州大学 | 一种基于液态镜头深度聚焦的三维重建方法及装置 |
| CN114119768A (zh) * | 2021-11-15 | 2022-03-01 | 山东省科学院海洋仪器仪表研究所 | 一种基于多目视觉技术的刺参活性监测方法 |
| CN115096402A (zh) * | 2022-07-15 | 2022-09-23 | 南京一淳科技有限公司 | 一种3d料位成像雷达的探测装置和方法 |
| CN116071520A (zh) * | 2023-03-31 | 2023-05-05 | 湖南省水务规划设计院有限公司 | 一种数字孪生水务仿真模拟测试方法 |
| CN117079118A (zh) * | 2023-10-16 | 2023-11-17 | 广州华夏汇海科技有限公司 | 基于视觉检测的水下行走检测方法及系统 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101251379A (zh) * | 2008-02-19 | 2008-08-27 | 哈尔滨工程大学 | 一种面向水下运载器的实时双目视觉导引方法 |
| CN105046655A (zh) * | 2015-06-24 | 2015-11-11 | 武汉烽火众智数字技术有限责任公司 | 一种视频图像自动锐化方法和装置 |
| CN105787997A (zh) * | 2016-03-27 | 2016-07-20 | 中国海洋大学 | 水下高精度三维重建装置及方法 |
| WO2018032457A1 (en) * | 2016-08-18 | 2018-02-22 | SZ DJI Technology Co., Ltd. | Systems and methods for augmented stereoscopic display |
| CN108335350A (zh) * | 2018-02-06 | 2018-07-27 | 聊城大学 | 双目立体视觉的三维重建方法 |
| CN110091962A (zh) * | 2019-04-12 | 2019-08-06 | 大连理工大学 | 一种基于虚拟墙的30万吨级大型油轮靠泊监测方法和装置 |
| CN110473217A (zh) * | 2019-07-25 | 2019-11-19 | 沈阳工业大学 | 一种基于Census变换的双目立体匹配方法 |
| CN110737942A (zh) * | 2019-10-12 | 2020-01-31 | 清华四川能源互联网研究院 | 水下建筑模型建立方法、装置、设备及存储介质 |
| CN111563921A (zh) * | 2020-04-17 | 2020-08-21 | 西北工业大学 | 一种基于双目相机的水下点云获取方法 |
-
2020
- 2020-09-23 CN CN202011006447.1A patent/CN112132958B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101251379A (zh) * | 2008-02-19 | 2008-08-27 | 哈尔滨工程大学 | 一种面向水下运载器的实时双目视觉导引方法 |
| CN105046655A (zh) * | 2015-06-24 | 2015-11-11 | 武汉烽火众智数字技术有限责任公司 | 一种视频图像自动锐化方法和装置 |
| CN105787997A (zh) * | 2016-03-27 | 2016-07-20 | 中国海洋大学 | 水下高精度三维重建装置及方法 |
| WO2018032457A1 (en) * | 2016-08-18 | 2018-02-22 | SZ DJI Technology Co., Ltd. | Systems and methods for augmented stereoscopic display |
| CN108335350A (zh) * | 2018-02-06 | 2018-07-27 | 聊城大学 | 双目立体视觉的三维重建方法 |
| CN110091962A (zh) * | 2019-04-12 | 2019-08-06 | 大连理工大学 | 一种基于虚拟墙的30万吨级大型油轮靠泊监测方法和装置 |
| CN110473217A (zh) * | 2019-07-25 | 2019-11-19 | 沈阳工业大学 | 一种基于Census变换的双目立体匹配方法 |
| CN110737942A (zh) * | 2019-10-12 | 2020-01-31 | 清华四川能源互联网研究院 | 水下建筑模型建立方法、装置、设备及存储介质 |
| CN111563921A (zh) * | 2020-04-17 | 2020-08-21 | 西北工业大学 | 一种基于双目相机的水下点云获取方法 |
Non-Patent Citations (5)
| Title |
|---|
| GUANYING HUO等: "Underwater Target Detection and 3D Reconstruction System Based on Binocular Vision", 《SENSORS 2018》 * |
| XINHUA ZHAO等: "Research on the Image Enhancement Technology of Underwater Image of Supercavitation Vehicle", 《2019 IEEE INTERNATIONAL CONFERENCE ON MECHATRONICS AND AUTOMATION (ICMA)》 * |
| 张强等: "非平行双目视觉系统水下成像的极线约束模型", 《光学学报》 * |
| 杨眉: "基于机器视觉的贝类自动识别与定位方法研究", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》 * |
| 梅康 等: "基于自适应指数加权移动平均滤波的快速去雾算法", 《中国激光》 * |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113160332A (zh) * | 2021-04-28 | 2021-07-23 | 哈尔滨理工大学 | 一种基于双目视觉的多目标识别与定位方法 |
| CN113382223A (zh) * | 2021-06-03 | 2021-09-10 | 浙江大学 | 一种基于多目视觉的水下三维立体成像装置及方法 |
| CN113298952B (zh) * | 2021-06-11 | 2022-07-15 | 哈尔滨工程大学 | 一种基于数据扩容与相似性度量的残缺点云分类方法 |
| CN113298952A (zh) * | 2021-06-11 | 2021-08-24 | 哈尔滨工程大学 | 一种基于数据扩容与相似性度量的残缺点云分类网络 |
| CN113643427A (zh) * | 2021-08-09 | 2021-11-12 | 重庆亲禾智千科技有限公司 | 一种双目测距及三维重建方法 |
| CN114119768B (zh) * | 2021-11-15 | 2024-03-19 | 山东省科学院海洋仪器仪表研究所 | 一种基于多目视觉技术的刺参活性监测方法 |
| CN114119768A (zh) * | 2021-11-15 | 2022-03-01 | 山东省科学院海洋仪器仪表研究所 | 一种基于多目视觉技术的刺参活性监测方法 |
| CN113902791B (zh) * | 2021-11-22 | 2022-06-21 | 郑州大学 | 一种基于液态镜头深度聚焦的三维重建方法及装置 |
| CN113902791A (zh) * | 2021-11-22 | 2022-01-07 | 郑州大学 | 一种基于液态镜头深度聚焦的三维重建方法及装置 |
| CN115096402A (zh) * | 2022-07-15 | 2022-09-23 | 南京一淳科技有限公司 | 一种3d料位成像雷达的探测装置和方法 |
| CN116071520A (zh) * | 2023-03-31 | 2023-05-05 | 湖南省水务规划设计院有限公司 | 一种数字孪生水务仿真模拟测试方法 |
| CN117079118A (zh) * | 2023-10-16 | 2023-11-17 | 广州华夏汇海科技有限公司 | 基于视觉检测的水下行走检测方法及系统 |
| CN117079118B (zh) * | 2023-10-16 | 2024-01-16 | 广州华夏汇海科技有限公司 | 基于视觉检测的水下行走检测方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112132958B (zh) | 2023-01-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112132958B (zh) | 一种基于双目视觉的水下环境三维重建方法 | |
| Zhang et al. | A survey of restoration and enhancement for underwater images | |
| CN106780590B (zh) | 一种深度图的获取方法及系统 | |
| Meilland et al. | 3d high dynamic range dense visual slam and its application to real-time object re-lighting | |
| KR100681320B1 (ko) | 헬름홀츠 교환조건으로부터 유도되는 편미분 방정식의레벨셋 풀이 방법을 이용한 물체의 3차원 형상 모델링 방법 | |
| US9437034B1 (en) | Multiview texturing for three-dimensional models | |
| CN105869160A (zh) | 利用Kinect实现三维建模和全息显示的方法及系统 | |
| CN110135434A (zh) | 基于颜色线模型的水下图像质量提升算法 | |
| CN110288539A (zh) | 一种结合颜色空间移动与暗通道先验的水下图像清晰方法 | |
| WO2018133119A1 (zh) | 基于深度相机进行室内完整场景三维重建的方法及系统 | |
| CN115147709B (zh) | 一种基于深度学习的水下目标三维重建方法 | |
| CN111833258A (zh) | 一种基于双透射率水下成像模型的图像颜色校正方法 | |
| CN114549669B (zh) | 一种基于图像融合技术的彩色三维点云获取方法 | |
| CN114996814A (zh) | 一种基于深度学习与三维重建的家具设计系统 | |
| Zhuang et al. | A dense stereo matching method based on optimized direction-information images for the real underwater measurement environment | |
| CN109903239A (zh) | 一种基于加权全变分的自适应图像去雾方法 | |
| Fu et al. | An anisotropic Gaussian filtering model for image de-hazing | |
| Łuczyński et al. | Underwater image haze removal with an underwater-ready dark channel prior | |
| Li et al. | Effective data-driven technology for efficient vision-based outdoor industrial systems | |
| CN112991504A (zh) | 一种改进的基于tof相机三维重建的补空洞方法 | |
| Guan et al. | DiffWater: Underwater Image Enhancement Based on Conditional Denoising Diffusion Probabilistic Model | |
| CN116342621A (zh) | 基于空间运动目标三维重构的几何参数辨识方法及系统 | |
| CN113963107B (zh) | 一种基于双目视觉的大型目标三维重建方法及系统 | |
| US20210241430A1 (en) | Methods, devices, and computer program products for improved 3d mesh texturing | |
| RU2716311C1 (ru) | Устройство для восстановления карты глубины с поиском похожих блоков на основе нейронной сети |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |