CN116817794A - 一种基于结构光的水下高精度三维成像装置及方法 - Google Patents
一种基于结构光的水下高精度三维成像装置及方法 Download PDFInfo
- Publication number
- CN116817794A CN116817794A CN202310763339.6A CN202310763339A CN116817794A CN 116817794 A CN116817794 A CN 116817794A CN 202310763339 A CN202310763339 A CN 202310763339A CN 116817794 A CN116817794 A CN 116817794A
- Authority
- CN
- China
- Prior art keywords
- camera
- projector
- pressure
- coordinate
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000003384 imaging method Methods 0.000 title claims abstract description 35
- 239000011521 glass Substances 0.000 claims abstract description 64
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 39
- 238000007789 sealing Methods 0.000 claims abstract description 8
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 43
- 239000011159 matrix material Substances 0.000 claims description 21
- 238000012937 correction Methods 0.000 claims description 15
- 230000003287 optical effect Effects 0.000 claims description 13
- 238000010586 diagram Methods 0.000 claims description 12
- 238000013519 translation Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000003825 pressing Methods 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 3
- 238000004806 packaging method and process Methods 0.000 claims description 3
- 238000010587 phase diagram Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 238000005286 illumination Methods 0.000 abstract 1
- 230000000007 visual effect Effects 0.000 description 5
- 238000005259 measurement Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005290 field theory Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2518—Projection by scanning of the object
- G01B11/2527—Projection by scanning of the object with phase change by in-plane movement of the patern
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2504—Calibration devices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/30—Assessment of water resources
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Operations Research (AREA)
- Geometry (AREA)
- Computing Systems (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种基于结构光的水下高精度三维成像装置及方法，包括主体耐压舱体，主体耐压舱体前端用前端盖压在耐压玻璃上并压紧密封圈进行密封；主体耐压舱体后端用后端盖压紧密封圈进行密封；后端盖连接内部固定板并固定相机和投影仪，后端盖上安装有水密接插件将内部数据传输至外部；在空气中标定好相机和投影仪的内外参数，再通过水下相机和投影仪联合标定算法计算出折射所需要的耐压玻璃的厚度、距离、法线等参数；通过解码水下物体表面的结构光信息，获取相机和投影仪的像素对应关系。本发明能够克服水下折射、低光照和双目立体匹配精度低的影响，精确的计算出水下物体表面的三维坐标。
Description
技术领域
本发明属于水下测量和成像领域，尤其是一种基于结构光的水下高精度三维成像装置及方法。
背景技术
水下三维重建在生态保护、水下考古、海底重建、海上装备运维等方面发挥着重要作用，通过恢复水下物体的三维形状让研究人员更直观地观察到水下物体的全局，看到真实的自然地貌，装备表面的纹理以及破损情况，拿到更准确的水下数据。声纳是目前主要的水下三维测量技术，声纳通过发射声脉冲并收听该脉冲的反射，用于探测距离声纳系统较远的物体，然而，在物体距离小于5米时，声纳脉冲会离焦，导致精度相对较低。而视觉三维重建以其非接触、高精度的特点成为水下三维测量技术中最具发展前景的技术之一。
基于图像的三维重建分为被动视觉重建和主动视觉重建。被动视觉在水下重构中通过立体匹配获取左右相机视图中像素点的对应关系，从而利用三角化计算点的空间坐标，这种方式会受到水的折射、水的散射和吸收引起的光衰减的影响。如公开号为CN110533702A的中国专利文献公开了一种基于光场多层折射模型的水下双目视觉立体匹配方法，使用基于光场理论的多层折射理论计算得到左右相机的方向图像，该方向图像的行匹配误差在1个像素以内。但是，由于水下的环境黑暗，被动视觉难以看清水中的物体，且水中的特征点比较少，导致图像难以匹配准确，影响视差图的计算，降低三维重建的精度。
主动视觉即通过投影仪向物体投射结构光，利用相机对结构光进行解码，获取物体上的每一个点在投影仪中对应的像素坐标，从而进行可靠地空间坐标测量。如公开号为CN109506589A的中国专利文献公开了一种基于结构光场成像的三维轮廓测量方法，由光场相机与投影仪构成的成像系统实现三维轮廓测量。
通常在工程应用中需要将视觉探测舱体挂载在水下机器人上，现有的一些水下结构光三维重建系统缺少对水下视觉舱体的研究。另一些算法上的研究仅考虑水下耐压舱体中空气的影响，缺少对透光介质的折射研究，难以发挥结构光的精度优势，还有一些算法利用线结构光提高双目匹配的精度，但这种方法的速度较慢，由于水下机器人难以在水中保持稳定，可行性不大。
发明内容
为了弥补水下物体三维重建时难以立体匹配且水中环境黑暗，光线散射和折射的问题，提高水下物体重建时的精度，本发明提供了一种基于结构光的水下高精度三维成像装置及方法，设计的成像装置能够搭载在常规的水下机器人上进行海底探测，并用高精度矫正成像算法计算出物体表面精确的坐标点。
一种基于结构光的水下高精度三维成像装置，包括主体耐压舱体，所述主体耐压舱体的前端密封设有用于透光的耐压玻璃，所述主体耐压舱体的后端由后端盖实现水密；所述后端盖的内侧壁可拆卸的固定有内部固定板，所述的内部固定板上设有高帧率的相机和投影仪；所述的后端盖上设有用于安装水密接插件的螺纹孔；
所述相机透过耐压玻璃获取水中的图像，所述投影仪透过耐压玻璃投影图案至水中的物体；相机和投影仪的数据通过水密接插件传输至水密缆，最终传输到数据处理设备，实现对水下物体的三维重建。
进一步地，所述的主体耐压舱体采用通孔式结构，主体耐压舱体的前端用前端盖压在耐压玻璃上并压紧O型密封圈进行密封；主体耐压舱体的后端通过后端盖压紧O型密封圈进行密封。。
所述的前端盖和后端盖均通过螺栓与主体耐压舱体的前端和后端固定。
一种水下高精度三维成像方法，采用上述基于结构光的水下高精度三维成像装置，包括如下步骤：
S01，在空气中对相机和投影仪进行联合标定，用相机拍摄投影仪投影后的标定板，用相机图解码投影仪坐标算法计算出对应的投影仪坐标，获取相机的内参、投影仪的内参、相机相对投影仪的旋转矩阵和平移向量；
S02，将相机和投影仪放入主体耐压舱体内封装好后放置于水下环境，根据步骤S01得到的相机和投影仪参数，利用折射矫正高精度空间点坐标计算算法及水下相机和投影仪联合标定算法进行标定，获取折射参数；
折射参数包含耐压舱体中的玻璃平面到投影仪的光芯距离d1、耐压玻璃厚度d2、以及玻璃面的法线在投影仪坐标系下的向量坐标n；
S03，得到折射参数后，在水下对目标三维测量时，将投影仪结构光照射到物体表面，并用相机拍摄，再用相机图解码投影仪坐标算法对物体表面的结构光进行解码，获取每一个相机像素点对应的投影仪像素坐标，并用折射矫正高精度空间点坐标计算算法获取矫正后的物体空间坐标点，从而保证水中目标物体坐标点的高精度。
步骤S01中，在空气中对相机和投影仪进行联合标定的具体过程为：
将相机和投影仪固定在内部固定板上后不放入主体耐压舱体中，用相机在空气中拍摄圆棋盘格形式的标定板，圆棋盘格圆心之间的距离和圆的行数、列数已知；用投影仪向标定板投射正弦条纹图和格雷码图，同时用相机拍摄投影后的标定板；其中，正弦条纹图为灰度图，其像素值按横向或纵向正弦排列，格雷码图为格雷码值编码成的图像；
不断改变标定板的位姿，投影仪重复投射正弦条纹图和格雷码图，并用相机拍摄；
相机标定时，根据提取到的圆棋盘格的圆心像素坐标，用张氏标定法计算相机的内参；投影仪标定时，用相机图解码投影仪坐标算法解码相机获取的棋盘格像素坐标处对应的投影仪的像素坐标，再将投影仪看做逆相机，同样用张氏标定法计算相机内参；获取相机和投影仪内参后，用通用的相机立体标定算法获取相机在投影仪的坐标系下的旋转矩阵和平移矩阵。
所述相机图解码投影仪坐标算法的具体过程为：
首先将纵向格雷码图和相位图投影到圆棋盘格上，记第i个正弦图对应的相机图中物体表面灰度为
其中，方程组共有项移步数N个方程，在求解该方程时，将方程转化为：
其中，用最小二乘法求得方程的最优解为x＝(NTN)-1NTI，又因为/>求得：
即求出了相机图像中的每一个点对应的包裹相位；下面用格雷码求解解包裹相位，用正弦图中每一个点的灰度平均值作为格雷码二值化的标准，将每一个点的所有格雷码二值化后的值拼接计算这个点所对应的级次k1，再拼接另一张互补格雷码得到级次k2，得到每一个像素点的包裹相位和级次后，用以下公式求解包裹相位
计算得到每一个点的解包裹相位后，求得该相位对应的投影仪的x坐标其中，m为正弦条纹总的周期数；再用同样的方法去编码y方向(横向)的条纹并求解，得到每一个相机像素点处对应的投影的像素坐标。
步骤S02中，折射矫正高精度空间点坐标计算算法的具体过程为：
光线从耐压舱体内进入水中需要穿过空气—耐压玻璃—水三种介质，使光线发生折射，记相机的光芯坐标为O，空间点为P，对应的像素坐标为(u,v)，相机到耐压玻璃面的光线向量为l1，空气和耐压玻璃面的折射交点为p1，耐压玻璃中的光线向量为l2，耐压玻璃和水的折射交点为p2，水中的光线向量为l3，空气的折射系数n1，耐压玻璃的折射系数n2，水的折射系数n3；
根据针孔成像模型求出根据折射模型求出
其中，参数K是指空气中用张氏标定法标定的相机内参；
cos(θ1)＝-n·l1
对于p1，当已知耐压玻璃的参数后，得到玻璃上一点p0，则
p1＝λ0l1+O
其中
λ0为计算过程中的中间变量，O为相机的光芯坐标；
再次代入折射模型能求出p2和l3；
同样的方法求出投影仪的像素点对应的水与耐压玻璃的角点pp，水中的折射光线lp，并将pp和lp坐标用相机和投影仪的外参转换到相机坐标系下，得到以上量后再用空间直线求交点的方法求出相机和投影仪像素点对应的物体表面的坐标，由于误差的存在，认为两个直线的共同的垂线m的中点是空间点的坐标，于是有：
m·l3＝0
m·lp＝0
求出m与两条直线的交点M1M2，有
其中，为两个交点组成的向量，
式中，M为折射矫正高精度空间点坐标计算算法计算出的棋盘圆心空间点P的坐标。
水下相机和投影仪联合标定算法的具体过程为：
不断改变标定板的位姿，重复投影格雷码和正弦条纹图，并用相机拍摄了g个棋盘格，每个棋盘格上有h个点，记代入以上参数后求得的棋盘圆心空间点坐标为Pi,j，利用折射矫正高精度空间点坐标计算算法计算出的棋盘圆心空间点坐标为Mi,j，其中i代表第i个棋盘格位姿对应的图片，j代表棋盘上第j个点；由于棋盘格在相机坐标系下位置未知，还需引入每次拍摄的棋盘格的旋转矩阵Ri和平移矩阵ti，将棋盘的空间坐标系转移到相机坐标系下；则目标函数设置为计算出的棋盘格圆心坐标与真实棋盘格坐标一致：
通过优化的方法求解以上目标函数，求得每一次棋盘格相对于水下成像装置的坐标与相机的折射参数。
与现有技术相比，本发明具有以下有益效果：
1、本发明的装置将相机和投影仪封装在同一个耐压舱体中，便于挂载在水下机器人上探测水下目标。
2、本发明针对整个水下三维成像装置建立了标定算法，得到用于计算物体表面三维坐标的参数，包括相机和投影仪的内参矩阵、相机和投影仪的旋转矩阵和平移矩阵、舱体玻璃到相机光芯的距离、玻璃的精确厚度和玻璃的法线在相机坐标系下的距离。
3、本发明针对整个水下三维成像装置建立了三介质折射矫正物体表面坐标计算方法，计算出相机和投影仪的像素坐标对应的水中的光线向量和光线在玻璃与水交界处的坐标，再用两条直线三角化的方法计算出精确地物体空间坐标点。
附图说明
图1为本发明一种基于结构光的水下高精度三维成像装置结构剖视图；
图2为本发明一种基于结构光的水下高精度三维成像装置正面示意图；
图3为本发明中主体耐压舱体与后端盖连接部分的结构示意图；
图4为本发明中主体耐压舱体与前端盖连接部分的结构示意图；
图5为本发明中前端盖结构示意图；
图6为本发明中后端盖结构示意图；
图7为本发明中标定所用的黑底白圆心棋盘格的示意图；
图8为本发明中用于投影的正弦条纹图；
图9为本发明中用于投影的格雷码图；
图10为本发明中用于解算格雷码数值的示意图；
图11为本发明中水下求解空间坐标的折射示意图。
具体实施方式
下面结合附图和实施例对本发明做进一步详细描述，需要指出的是，以下所述实施例旨在便于对本发明的理解，而对其不起任何限定作用。
如图1～图6所示，一种基于结构光的水下高精度三维成像装置，包括主体耐压舱体1，主体耐压舱体1的前端用耐压玻璃10透光，其间通过压紧O型密封圈与前槽8中实现水密，耐压玻璃10被前端盖9的突出结构91压紧贴在主体耐压舱体1上，前端盖9的主体92通过螺栓连接在主体耐压舱体1上。主体耐压舱体1的后端由后端盖4的后压板41压紧O型密封圈与后槽3中实现水密，主体耐压舱体本体12用于耐受水中的高压，保护内部装置，水密接插件6通过螺纹孔43连接至后端盖4上，内部固定板5通过螺栓连接在后端盖4的内侧板42上，高帧率的相机2和投影仪7通过背部的螺栓连接在内部固定板5上。
相机2和投影仪7通过耐压玻璃10分别获取水中的图像和投影图案至水中的物体，并将数据通过水密接插件6传输至水密缆，最终传输到数据处理设备，实现对水下物体的三维重建。
主体耐压舱体1为通孔式，与前端盖9和后端盖4通过螺栓连接，其螺栓连接孔16在前端盖处有6个，在后端盖4处螺栓连接孔11有6个，主体耐压舱体1前后均有长圆形的O型圈密封槽14和O型圈密封槽13，正面有耐压玻璃支撑处15。后端盖4通过水密接插件6将内部线路连接至舱外，所述后端盖4通过压紧密封圈的方式实现与主体耐压舱体1的水密。
一种水下高精度三维成像方法，采用上述基于结构光的水下高精度三维成像装置，包括如下步骤：
S01，在空气中对相机和投影仪进行联合标定，用相机拍摄投影仪投影后的标定板，用相机图解码投影仪坐标算法计算出对应的投影仪坐标，获取相机的内参、投影仪的内参、相机相对投影仪的旋转矩阵和平移向量。
S02，将相机和投影仪放入主体耐压舱体内封装好后放置于水下环境，根据步骤S01得到的相机和投影仪参数，利用折射矫正高精度空间点坐标计算算法及水下相机和投影仪联合标定算法进行标定，获取折射参数；
折射参数包含耐压舱体中的玻璃平面到投影仪的光芯距离d1、耐压玻璃厚度d2、以及玻璃面的法线在投影仪坐标系下的向量坐标n。
S03，得到折射参数后，在水下对目标三维测量时，将投影仪结构光照射到物体表面，并用相机拍摄，再用相机图解码投影仪坐标算法对物体表面的结构光进行解码，获取每一个相机像素点对应的投影仪像素坐标，并用折射矫正高精度空间点坐标计算算法获取矫正后的物体空间坐标点，从而保证水中目标物体坐标点的高精度。
首先在空气中进行相机和投影仪的联合标定，将相机2和投影仪7固定在内部固定板5后不放入舱体中，在空气中拍摄如图7所示的标定板，标定板的圆心之间的距离和标定板的圆的行数和列数已知。用投影仪向标定板投射如图8所示的正弦条纹图和如图9所示的格雷码图，同时用相机拍摄投影后的标定板。正弦条纹为灰度图，其像素值为 其中x代表横向的像素坐标，T表示一个正弦周期所占的像素个数，/>表示正弦条纹的相位，本文以4步项移为例，即该正弦条纹共有4张，每张正弦条纹的相位移动π/2；格雷码图像与正弦条纹的周期数m对应，格雷码位数为j，则满足2j＝m，另需要一张互补格雷码解决级次错开的问题。
不断改变标定板的位姿，重复投影格雷码和正弦条纹图，并用相机拍摄。相机标定时，根据提取到的圆棋盘格的圆心像素坐标，用张氏标定法计算相机内参。投影仪标定时，解码相机获取的棋盘格像素坐标处对应的投影仪的像素坐标，再将投影仪看做逆相机，同样用张氏标定法计算相机内参；获取相机和投影仪内参后，用通用的相机立体标定算法获取相机在投影仪的坐标系下的旋转矩阵和平移矩阵。
相机图解码投影仪坐标算法具体为：首先将所述纵向格雷码图和相位图投影到圆棋盘格上，记第i个正弦图对应的相机图中物体表面灰度为
其中方程组共有项移步数N个方程，在求解该方程时，将方程转化为：
，其中
即将方程转化为矩阵：
将方程简写为：N(N×3)x(3×1)＝I(N×1)，用最小二乘法可以求得方程的最优解为x＝(NTN)-1NTI，又因为可求得：
即求出了相机图像中的每一个点对应的包裹相位，下面用格雷码求解解包裹相位，用正弦图中每一个点的灰度平均值作为格雷码二值化的标准，如图10所示，将每一个点的所有格雷码二值化后的值拼接计算这个点所对应的级次k1，再拼接另一张互补格雷码得到级次k2。得到每一个像素点的包裹相位和级次后，用以下公式求解包裹相位。
计算得到每一个点的解包裹相位后，可求得该相位对应的投影仪的x坐标其中m为正弦条纹总的周期数。再用同样的方法去编码y方向的条纹并求解，则可得到每一个相机像素点处对应的投影的像素坐标。
折射矫正高精度空间点坐标计算算法具体为：
在获取到相机和投影仪的内外参数之后，将相机、投影仪和内部固定板一起放入耐压舱体内，封装好后放置于水下环境中进行标定。
步骤S01获取的相机内参为Kc，投影仪的内参为Kp，相机相对投影仪的旋转矩阵为R，平移向量为t，需要求解耐压舱体中的玻璃平面到投影仪的光芯距离d1，耐压玻璃厚度d2，以及玻璃面的法线在投影仪坐标系下的向量坐标n。
如图11所示，光线从耐压舱体内进入水中需要穿过空气—耐压玻璃—水三种介质，会使光线发生折射。记图11中相机光芯坐标为O，空间点为P，对应的像素坐标为(u,v)，相机到耐压玻璃面的光线向量为l1，空气和耐压玻璃面的折射交点为p1，耐压玻璃中的光线向量为l2，耐压玻璃和水的折射交点为p2，水中的光线向量为l3，空气的折射系数n1，耐压玻璃的折射系数n2，水的折射系数n3。
根据针孔成像模型可以求出根据折射模型可以求出
其中
cos(θ1)＝-n·l1
对于p1，当已知耐压玻璃的参数(水下折射标定后计算的相机光芯到玻璃平面的距离和玻璃的法向量)后，可得到玻璃上一点p0，则
p1＝λ0l1+O
其中
再次代入折射模型能求出p2和l3。
同样的方法可以求出投影仪的像素点对应的水与耐压玻璃的角点pp，水中的折射光线lp，并将这些坐标用相机和投影仪的外参转换到相机坐标系下，得到以上量后再用空间直线求交点的方法求出相机和投影仪像素点对应的物体表面的坐标，由于误差的存在，可以认为两个直线的共同的垂线m的中点是空间点的坐标，于是有：
m·l3＝0
m·lp＝0
求出m与两条直线的交点M1M2，有
其中，为两个交点组成的向量，
有了以上模型后，当已知耐压舱体的折射参数后能求出圆棋盘格每一个圆心的空间点坐标。下面用优化的方法求解玻璃平面到投影仪的光芯距离d1，耐压玻璃厚度d2，以及玻璃面的法线在投影仪坐标系下的向量坐标n。
水下相机和投影仪联合标定算法，其具体步骤为：设我们共拍摄了g个棋盘格，每个棋盘格上有h个点，记代入以上参数后求得的棋盘圆心空间点坐标为Pi,j，利用图像计算出的棋盘圆心空间点坐标为Mi,j，其中i代表第i个棋盘格位姿对应的图片，j代表棋盘上第j个点。由于棋盘格在相机坐标系下位置未知，还需引入每次拍摄的棋盘格的旋转矩阵Ri和平移矩阵ti，将棋盘的空间坐标系转移到相机坐标系下，便于后续计算。则目标函数设置为计算出的棋盘格圆心坐标与真实棋盘格坐标一致：
通过优化的方法求解以上函数即可求得每一次棋盘格相对于水下成像装置的坐标与相机的折射参数。
计算棋盘圆心空间点坐标为Pi,j时，棋盘格是已知的，一般都是用棋盘格的第一个圆心坐标作为棋盘格坐标系下的原点，将棋盘格所在平面定义为z＝0的xy平面，然后每个圆心坐标就是相对于这个原点的位置。
水中的物体空间坐标点计算算法具体为：
当获取了水下成像装置的折射参数光芯距离d1，耐压玻璃厚度d2，以及玻璃面的法线在投影仪坐标系下的向量坐标n后，用投影仪向目标物体投射横竖结构光，用相机图解码投影仪坐标算法计算图像中每一个相机像素点(uc,vc)对应的投影仪的像素坐标(up,vp)，用折射矫正高精度空间点坐标计算算法计算出每一个相机像素点对应的空间点坐标，即得到了水中目标物的点云。
以上所述的实施例对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的具体实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换，均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于结构光的水下高精度三维成像装置，其特征在于，包括主体耐压舱体(1)，所述主体耐压舱体(1)的前端密封设有用于透光的耐压玻璃(10)，所述主体耐压舱体(1)的后端通过后端盖(4)实现水密；所述后端盖(4)的内侧壁可拆卸的固定有内部固定板(5)，所述的内部固定板(5)上设有高帧率的相机(2)和投影仪(7)；所述的后端盖(4)上设有用于安装水密接插件(6)的螺纹孔(43)；
所述相机(2)透过耐压玻璃(10)获取水中的图像，所述投影仪(7)透过耐压玻璃(10)投影图案至水中的物体；相机(2)和投影仪(7)的数据通过水密接插件(6)传输至水密缆，最终传输到数据处理设备，实现对水下物体的三维重建。
2.根据权利要求1所述的基于结构光的水下高精度三维成像装置，其特征在于，所述的主体耐压舱体(1)采用通孔式结构，主体耐压舱体(1)的前端用前端盖(9)压在耐压玻璃(10)上并压紧O型密封圈进行密封；主体耐压舱体(1)的后端通过后端盖(4)压紧O型密封圈进行密封。
3.根据权利要求2所述的基于结构光的水下高精度三维成像装置，其特征在于，所述的前端盖(9)和后端盖(4)均通过螺栓与主体耐压舱体(1)的前端和后端固定。
4.一种水下高精度三维成像方法，其特征在于，采用权利要求1～3任一所述的基于结构光的水下高精度三维成像装置，包括如下步骤：
S01，在空气中对相机和投影仪进行联合标定，用相机拍摄投影仪投影后的标定板，用相机图解码投影仪坐标算法计算出对应的投影仪坐标，获取相机的内参、投影仪的内参、相机相对投影仪的旋转矩阵和平移向量；
S02，将相机和投影仪放入主体耐压舱体内封装好后放置于水下环境，根据步骤S01得到的相机和投影仪参数，利用折射矫正高精度空间点坐标计算算法及水下相机和投影仪联合标定算法进行标定，获取折射参数；
折射参数包含耐压舱体中的玻璃平面到投影仪的光芯距离d1、耐压玻璃厚度d2、以及玻璃面的法线在投影仪坐标系下的向量坐标n；
S03，得到折射参数后，在水下对目标三维测量时，将投影仪结构光照射到物体表面，并用相机拍摄，再用相机图解码投影仪坐标算法对物体表面的结构光进行解码，获取每一个相机像素点对应的投影仪像素坐标，并用折射矫正高精度空间点坐标计算算法获取矫正后的物体空间坐标点，从而保证水中目标物体坐标点的高精度。
5.根据权利要求4所述的水下高精度三维成像方法，其特征在于，步骤S01中，在空气中对相机和投影仪进行联合标定的具体过程为：
将相机和投影仪固定在内部固定板上后不放入主体耐压舱体中，用相机在空气中拍摄圆棋盘格形式的标定板，圆棋盘格圆心之间的距离和圆的行数、列数已知；用投影仪向标定板投射正弦条纹图和格雷码图，同时用相机拍摄投影后的标定板；其中，正弦条纹图为灰度图，其像素值按横向或纵向正弦排列，格雷码图为格雷码值编码成的图像；
不断改变标定板的位姿，投影仪重复投射正弦条纹图和格雷码图，并用相机拍摄；
相机标定时，根据提取到的圆棋盘格的圆心像素坐标，用张氏标定法计算相机的内参；投影仪标定时，用相机图解码投影仪坐标算法解码相机获取的棋盘格像素坐标处对应的投影仪的像素坐标，再将投影仪看做逆相机，同样用张氏标定法计算相机内参；获取相机和投影仪内参后，用通用的相机立体标定算法获取相机在投影仪的坐标系下的旋转矩阵和平移矩阵。
6.根据权利要求4或5所述的水下高精度三维成像方法，其特征在于，所述相机图解码投影仪坐标算法的具体过程为：
首先将纵向格雷码图和相位图投影到圆棋盘格上，记第i个正弦图对应的相机图中物体表面灰度为
其中，方程组共有项移步数N个方程，在求解该方程时，将方程转化为：
其中，用最小二乘法求得方程的最优解为x＝(NTN)-1NTI，又因为/>求得：
即求出了相机图像中的每一个点对应的包裹相位；下面用格雷码求解解包裹相位，用正弦图中每一个点的灰度平均值作为格雷码二值化的标准，将每一个点的所有格雷码二值化后的值拼接计算这个点所对应的级次k1，再拼接另一张互补格雷码得到级次k2，得到每一个像素点的包裹相位和级次后，用以下公式求解包裹相位
计算得到每一个点的解包裹相位后，求得该相位对应的投影仪的x坐标其中，m为正弦条纹总的周期数；再用同样的方法去编码横向的条纹并求解，得到每一个相机像素点处对应的投影的像素坐标。
7.根据权利要求4所述的水下高精度三维成像方法，其特征在于，步骤S02中，折射矫正高精度空间点坐标计算算法的具体过程为：
光线从耐压舱体内进入水中需要穿过空气—耐压玻璃—水三种介质，使光线发生折射，记相机的光芯坐标为O，空间点为P，对应的像素坐标为(u,v)，相机到耐压玻璃面的光线向量为l1，空气和耐压玻璃面的折射交点为p1，耐压玻璃中的光线向量为l2，耐压玻璃和水的折射交点为p2，水中的光线向量为l3，空气的折射系数n1，耐压玻璃的折射系数n2，水的折射系数n3；
根据针孔成像模型求出根据折射模型求出
其中，参数K是指空气中用张氏标定法标定的相机内参；
cos(θ1)＝-n·l1
对于p1，当已知耐压玻璃的参数后，得到玻璃上一点p0，则
p1＝λ0l1+O
其中
λ0为计算过程中的中间变量，O为相机的光芯坐标；
再次代入折射模型能求出p2和l3；
同样的方法求出投影仪的像素点对应的水与耐压玻璃的交点pp，水中的折射光线lp，并将pp和lp坐标用相机和投影仪的外参转换到相机坐标系下，得到以上量后再用空间直线求交点的方法求出相机和投影仪像素点对应的物体表面的坐标，由于误差的存在，认为两个直线的共同的垂线m的中点是空间点的坐标，于是有：
m·l3＝0
m·lp＝0
求出m与两条直线的交点M1M2，有
其中，为两个交点组成的向量，
式中，M为折射矫正高精度空间点坐标计算算法计算出的棋盘圆心空间点P的坐标。
8.根据权利要求7所述的水下高精度三维成像方法，其特征在于，水下相机和投影仪联合标定算法的具体过程为：
不断改变标定板的位姿，重复投影格雷码和正弦条纹图，并用相机拍摄了g个棋盘格，每个棋盘格上有h个点，记代入以上参数后求得的棋盘圆心空间点坐标为Pi,j，利用折射矫正高精度空间点坐标计算算法计算出的棋盘圆心空间点坐标为Mi,j，其中i代表第i个棋盘格位姿对应的图片，j代表棋盘上第j个点；由于棋盘格在相机坐标系下位置未知，还需引入每次拍摄的棋盘格的旋转矩阵Ri和平移矩阵ti，将棋盘的空间坐标系转移到相机坐标系下；则目标函数设置为计算出的棋盘格圆心坐标与真实棋盘格坐标一致：
通过优化的方法求解以上目标函数，求得每一次棋盘格相对于水下成像装置的坐标与相机的折射参数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310763339.6A CN116817794B (zh) | 2023-06-27 | 2023-06-27 | 一种基于结构光的水下高精度三维成像装置及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310763339.6A CN116817794B (zh) | 2023-06-27 | 2023-06-27 | 一种基于结构光的水下高精度三维成像装置及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116817794A true CN116817794A (zh) | 2023-09-29 |
| CN116817794B CN116817794B (zh) | 2024-02-13 |
Family
ID=88127038
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310763339.6A Active CN116817794B (zh) | 2023-06-27 | 2023-06-27 | 一种基于结构光的水下高精度三维成像装置及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116817794B (zh) |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109506589A (zh) * | 2018-12-25 | 2019-03-22 | 东南大学苏州医疗器械研究院 | 一种基于结构光场成像的三维轮廓测量方法 |
| CN110260820A (zh) * | 2019-04-29 | 2019-09-20 | 上海大学 | 基于动态参考坐标系的水下双目立体视觉测量系统及方法 |
| CN110533702A (zh) * | 2019-08-12 | 2019-12-03 | 上海大学 | 一种基于光场多层折射模型的水下双目视觉立体匹配方法 |
| CN111006610A (zh) * | 2019-12-13 | 2020-04-14 | 中国科学院光电技术研究所 | 一种基于结构光三维测量的水下三维测量数据校正方法 |
| CN111076676A (zh) * | 2019-12-16 | 2020-04-28 | 广州海洋地质调查局 | 一种水下三维扫描仪及控制方法 |
| CN113129430A (zh) * | 2021-04-02 | 2021-07-16 | 中国海洋大学 | 基于双目结构光的水下三维重建方法 |
| CN113744351A (zh) * | 2021-09-03 | 2021-12-03 | 上海交通大学 | 基于多介质折射成像的水下结构光测量标定方法及系统 |
| GB202115441D0 (en) * | 2021-10-27 | 2021-12-08 | Rovco Ltd | Dry calibration for underwater survey |
| WO2022052313A1 (zh) * | 2020-09-11 | 2022-03-17 | 苏州中科全象智能科技有限公司 | 3d结构光系统的标定方法、电子设备及存储介质 |
| CN114964048A (zh) * | 2021-09-30 | 2022-08-30 | 华北水利水电大学 | 一种基于光线折射追踪的水下视觉测量装置及测量方法 |
| CN115018924A (zh) * | 2022-05-19 | 2022-09-06 | 中国科学院光电技术研究所 | 一种水下相机的关键参数标定方法 |
| CN115200505A (zh) * | 2022-07-13 | 2022-10-18 | 东南大学 | 一种基于红外衍射光斑和双目视觉的浑水三维点云测量方法 |
| US20230186551A1 (en) * | 2021-06-30 | 2023-06-15 | Tongji University | Multi-medium imaging analytic method for underwater medium surface position compensation |
-
2023
- 2023-06-27 CN CN202310763339.6A patent/CN116817794B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109506589A (zh) * | 2018-12-25 | 2019-03-22 | 东南大学苏州医疗器械研究院 | 一种基于结构光场成像的三维轮廓测量方法 |
| CN110260820A (zh) * | 2019-04-29 | 2019-09-20 | 上海大学 | 基于动态参考坐标系的水下双目立体视觉测量系统及方法 |
| CN110533702A (zh) * | 2019-08-12 | 2019-12-03 | 上海大学 | 一种基于光场多层折射模型的水下双目视觉立体匹配方法 |
| CN111006610A (zh) * | 2019-12-13 | 2020-04-14 | 中国科学院光电技术研究所 | 一种基于结构光三维测量的水下三维测量数据校正方法 |
| CN111076676A (zh) * | 2019-12-16 | 2020-04-28 | 广州海洋地质调查局 | 一种水下三维扫描仪及控制方法 |
| WO2022052313A1 (zh) * | 2020-09-11 | 2022-03-17 | 苏州中科全象智能科技有限公司 | 3d结构光系统的标定方法、电子设备及存储介质 |
| CN113129430A (zh) * | 2021-04-02 | 2021-07-16 | 中国海洋大学 | 基于双目结构光的水下三维重建方法 |
| US20230186551A1 (en) * | 2021-06-30 | 2023-06-15 | Tongji University | Multi-medium imaging analytic method for underwater medium surface position compensation |
| CN113744351A (zh) * | 2021-09-03 | 2021-12-03 | 上海交通大学 | 基于多介质折射成像的水下结构光测量标定方法及系统 |
| CN114964048A (zh) * | 2021-09-30 | 2022-08-30 | 华北水利水电大学 | 一种基于光线折射追踪的水下视觉测量装置及测量方法 |
| GB202115441D0 (en) * | 2021-10-27 | 2021-12-08 | Rovco Ltd | Dry calibration for underwater survey |
| CN115018924A (zh) * | 2022-05-19 | 2022-09-06 | 中国科学院光电技术研究所 | 一种水下相机的关键参数标定方法 |
| CN115200505A (zh) * | 2022-07-13 | 2022-10-18 | 东南大学 | 一种基于红外衍射光斑和双目视觉的浑水三维点云测量方法 |
Non-Patent Citations (1)
| Title |
|---|
| 许丽 等: ""基于光平面约束的水下三维视觉测量系统"", 《中国激光》, vol. 47, no. 9, pages 1 - 12 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116817794B (zh) | 2024-02-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110044300B (zh) | 基于激光器的两栖三维视觉探测装置及探测方法 | |
| CN111750806B (zh) | 一种多视角三维测量系统及方法 | |
| McNeill et al. | Measurement of surface profile using digital image correlation | |
| CN102692214B (zh) | 一种狭窄空间双目视觉测量定位装置及方法 | |
| CN113205593B (zh) | 一种基于点云自适应修复的高反光表面结构光场三维重建方法 | |
| CN111981982B (zh) | 一种基于加权sfm算法的多向合作靶标光学测量方法 | |
| CN113205592A (zh) | 一种基于相位相似性的光场三维重建方法及系统 | |
| Zhang et al. | Development of an omni-directional 3D camera for robot navigation | |
| CN112489109B (zh) | 一种三维成像系统方法、装置及三维成像系统 | |
| CN114111637A (zh) | 一种基于虚拟双目的条纹结构光三维重建方法 | |
| Fan et al. | Development, calibration, and image processing of underwater structured light vision system: A survey | |
| CN112595236A (zh) | 一种水下激光三维扫描和实时测距的测量装置 | |
| Zhao et al. | Correction model of linear structured light sensor in underwater environment | |
| CN103258327B (zh) | 一种基于二自由度摄像机的单点标定方法 | |
| CN110728745A (zh) | 一种基于多层折射图像模型的水下双目立体视觉三维重建方法 | |
| CN116817794B (zh) | 一种基于结构光的水下高精度三维成像装置及方法 | |
| Yu et al. | An improved projector calibration method for structured-light 3D measurement systems | |
| CN114143426B (zh) | 一种基于全景结构光的三维重构系统和方法 | |
| Dolereit et al. | Converting underwater imaging into imaging in air | |
| CN209181735U (zh) | 基于激光器的两栖三维视觉探测装置 | |
| Elnashef et al. | Direct estimation of the relative orientation in underwater environment | |
| Lu et al. | Parallax correction of texture image in fringe projection profilometry | |
| Jin et al. | Shadow-Based Lightsource Localization with Direct Camera-Lightsource Geometry | |
| CN203687882U (zh) | 一种超分辨3d激光测量系统 | |
| Jovanović et al. | Accuracy assessment of structured-light based industrial optical scanner |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |