CN113971691A - 一种基于多视角双目结构光的水下三维重建方法 - Google Patents

Abstract

本发明公开一种基于多视角双目结构光的水下三维重建方法，属于计算机视觉水下三维重建技术领域，其包括以下方法步骤：相机参数标定，首先调整相机的焦距、光圈直至获取到的图像清晰，固定好相机的焦距、光圈使其在图像采集过程中不变，拍摄若干组标定板图像，使用张正友标定法标定相机的内参数，整个参数标定过程在空气中完成；本发明提供了一种新型的水下目标物体的三维重建方法，免去了对相机进行水密加工的步骤，降低了设备制作成本；本发明采用固定多视角的方式可以重建水下物体进行完整的三维模，使用双目结构光能够重建低纹理物体表面；依靠本发明提供的方法，可以对水下物体进行三维重建，重建出高精度、完整、细节丰富的三维模型。

Description

一种基于多视角双目结构光的水下三维重建方法

技术领域

本发明属于计算机视觉水下三维重建技术领域，涉及一种基于多视角双目结构光的水下三维重建方法。

背景技术

三维重建是指将真实场景的三维物体在计算机中构建数学模型的过程，可以用来获取、分析现实世界中物体的外形结构、几何信息等，能够全方位的展示真实物体的特性。三维重建具有相当广泛的用途，在计算机动画、地貌测量、数字文物典藏、人机交互、现代医学等多个领域都可见其应用。水下三维重建则可以应用于海底勘探、海底环境探测等领域，具有重要的研究价值与实用意义。

双目结构光是一种基于结构光编解码来实现高精度三维重建的技术。相比于双目立体视觉、激光扫描等技术，双目结构光既有双目视觉测量方面的理论基础，可以省去对投影仪复杂的标定，又有结构光来增加物体表面的几何特征信息，能够避免双目立体视觉中对弱纹理或重复纹理区域匹配困难的问题，从而较传统的双目立体视觉测量方法有更高的测量精度。但目前双目结构光多用于空气中的三维测量任务，若应用于水下，还面临着水中折射与散射问题。

水中折射与散射的影响会给测量精度带来极大的误差，因此为了修正折射与散射导致的误差以获得高精度的三维重建结果，需要结合水下折射模型将双目结构光技术应用于水下，从而利用水下双目结构光技术实现高精度的三维重建。

然而，在三维重建过程中，单视角的三维重建仅能够获取到单一视角下的物体的三维数据信息，不能够获取到真实物体全景的三维数据。因此，需要将各个视角下获取到的三维数据进行配准、融合，因此，我们提出一种基于多视角双目结构光的水下三维重建方法来解决以上问题。

发明内容

本发明提供了一种基于多视角双目结构光的水下三维重建方法，通过单视角水下双目结构光技术分别获取各个视角下的真实水下场景的物体的三维信息，然后将各视角的三维点云进行融合，从而保证在低成本的情况下构建出完整的水下目标物体的三维模型。

为了实现上述目的，本发明采用了如下技术方案：

一种基于多视角双目结构光的水下三维重建方法，包括以下方法步骤：

S1、相机参数标定，首先调整相机的焦距、光圈直至获取到的图像清晰，固定好相机的焦距、光圈使其在图像采集过程中不变，拍摄若干组标定板图像，使用张正友标定法标定相机的参数，整个参数标定过程在空气中完成；

S2、图像采集，使用DLP光机投射一系列编码结构光的图像，包括以下步骤：

S21、采用10位格雷码条纹图，包括10张纵向正格雷码，10张纵向逆格雷码，格雷码条纹图是黑白条纹相间的图像，其中，黑色条纹，代表编码值为0，白色条纹，代表编码值为1；正格雷码条纹图用于对二维图像的行进行编码，逆格雷码条纹图与正格雷码条纹图编码值相反，正格雷码条纹图中的黑色条纹变为白色条纹，白色条纹变为黑色条纹，逆格雷码条纹图用来辅助目标物体图像的二值化操作；

S22、将目标物体置于水中，使用投影光机按顺序向目标物体投射格雷码条纹图，每投射一张格雷码条纹图，左右目相机就分别捕捉一张图像，双目相机依次捕捉带有格雷码条纹图的目标物体图像，直至20张格雷码条纹图投射结束，关闭双目相机和投影光机；

S3、图像校正，步骤S2获取到的图像对其进行立体校正，把实际非共面行对准的两幅图像校正为共面行对准，用于左右图像的对应点匹配；

S4、单视角三维重建，包括以下步骤：

S41、图像二值化：将二值化后的格雷码图像记为

对于左相机图像，将矫正后的带有正格雷码条纹的图像(记为

)与带有逆格雷码条纹的图像(记为

) 进行逐像素比较，二值化的过程用以下公式表示：

n(n＝0,1,...,9)表示条纹图的索引值，(i,j)表示图像每个像素位置的索引值。当

时，该像素为属于无效区域，不对其进行二值化操作，右相机图像也通过此方式进行二值化操作；

S42、解码：将一组格雷码图像

解码到一组二进制图像

解码到一张十进制图像D_(i,j)；

S43、匹配：格雷码条纹可对图像的列进行编码，图像经过立体校正后可将图像校正为共面行对准，以行方向进行搜索，左图像中有唯一点与右图像中一点对应；

S44、求解点云：在成像过程中本方法以左相机为基准，即以左相机光心为原点建立世界坐标系，在步骤S43中获取到了左右目图像的所有匹配点对，计算目标物体上一点的深度值Z_c，用公式表示为：

其中，f为相机焦距，u_l，u_r分别为匹配点对在行方向上的像素位置，d为左右目图像的视差值，b为双目相机的基线；

再根据针孔模型可解得目标物体上一点在世界坐标系下的三维坐标P_w＝ (X_w,Y_w,Z_w)，其中，针孔模型为：

将

记为K，

记为T；

在针孔模型中坐标都以齐次坐标形式表示，其中，(u,v,1)为世界坐标系下点P_w对应在左相机图像上的像素点位置，(x,y,1)为P_w在图像坐标系下的位置，(X_c，Y_c,Z_c,1) 为P_w在相机坐标系下的位置，K表示相机的内参数矩阵，由相机参数标定获得，T表示外参数矩阵，因为本方法的世界坐标系原点建立在左相机光心上，T是一个单位矩阵可解得P_w为：

对于左相机图像上的具有匹配点的像素点由上述方式求解其对应的三维坐标点，获取到目标物体的点云；

S45、修正点云：在重建过程中的相机平面与玻璃平面是平行放置，使用水下折射模型对三维坐标P_w进行修正，修正后的目标点三维坐标记为P_r＝(X_r,Y_r,Z_r)，水下折射模型可表示为：

其中，h为相机光心到玻璃平面的距离，n为水的折射率，设置为1.33；

S5、多组双目相机位姿标定，通过步骤S4获取到各个视角(记为V_i,i＝1,2,…,5)下的三维点云后，估计出各视角下左目相机，记为C_vi,i＝1,2,…,5，位姿记为记为 T_i→i+1,i＝1,2,…,4，来对各组点云进行拼接融合形成完成的三维模型；

S6、多视角拼接，在求解出各视角相机位姿后，根据各视角相机位姿对各视角点云进行变换，将各视角点云变换到视角V₅下，即将世界坐标系的原点建立在视角V₅的左目相机的光心上，以形成目标物体完整的三维点云；

S7、表面重建，包括以下步骤：

S71、点云滤波：在步骤S6中获取到了水下目标物体的完整三维点云，然而，在真实场景中的噪声会对点云结果产生影响，产生许多的噪点、离群点，因此需要对三维点云进行滤波以减少这些噪点、离群点，采用半径滤波以及直通滤波来对三维点云进行去噪处理，得到一个平滑的点云PC_filter；

S72、泊松重建：在得到平滑的点云PC_filter后，对其进行表面重建获得最终的完整的保有物体表面细节的三维模型，用泊松表面重建方法对三维点云进行表面重建，恢复出完整地三维模型。

优选地，所述步骤S42中，对于左相机图像来说，一组格雷码图像

其第一张图像

对应格雷码的最高位，最后一张图像

对应格雷码的最低位，格雷码解码到二进制码的过程用以下公式表示：

将格雷码转为二进制码后，再将二进制码转为十进制码，可得到解码图像D_(i,j)，图像中每个像素值为格雷码解码后的十进制数，右相机图像也通过此方式进行解码操作。

优选地，在S42步骤中获得左相机解码图像DL_(i,j)，右相机解码图像DR_(i,j)，假设左目相机图像中存在一像素点(u_l,v_l)，那么该像素位置的解码值为

右目相机图像中存在一像素点(u_r,v_r)，那么该像素位置的解码值为

若

则像素点(u_l,v_l)与像素点(u_r,v_r)为一对匹配点对，利用上述匹配策略获取左右目图像的所有匹配点对。

优选地，步骤S45中，对于参数h，本方法借助在玻璃面上的Marker来求解，对于左目图像，识别到玻璃平面上的Marker并且求解出Marker的中心点的像素位置，记为M_i(i＝0,1,2)，利用三个Marker中心点可求解出玻璃平面的方程：

Ax+By+Cz+D＝0

光心的三维坐标为(0,0,0)，利用点到平面的距离公式，可求得

优选地，在参数h和参数n确定之后，可将其代入到上述的水下折射模型可求得修正后的点云，求解到单视角下目标物体的三维点云，完成单视角的水下三维重建，进行各个视角下的三维重建，使用五个视角的目标物体的三维点云，记为P_vi,i＝ 1,2,…,5。

优选地，所述S5中，采用4组双目相机为斜向下的视角，1组双目相机为正向上的视角，采用环路双目标定的方法来求解各组左目相机的位姿，对于C_v1和C_v2，将C_v1作为左目相机，C_v2作为右目相机，首先拍摄若干组标定板图像，然后使用张正友标定法可求解出相机的外参数，得到相机C_v1到相机C_v2的变换矩阵T_1→2，分别求解出T_2→3， T_3→4，T_4→5。

位姿T均为：

优选地，步骤S6中，包括以下步骤：首先，将在视角V₁下的重建出的三维点云 P_v1使用变换矩阵T_1→2变换到视角V₂下，变换后的点云为P'_v1，将在视角V₂下重建出的三维点云P_v2与点云P'_v1融合为点云P'_v2；然后，将点云P'_v2使用变换矩阵T_2→3变换到视角V₃下，变换后的点云为P″_v2，将在视角V₃下重建出的点云P_v3与点云P″_v2融合为点云 P'_v3；再然后，将点云P_v3'使用变换矩阵T_3→4变换到视角V₄下，变换后的点云为P″_v3，将视角V₄下重建出的点云P_v4与点云P″_v3融合为点云P'_v4；最后，将点云P'_v4使用变换矩阵 T_4→5变换到视角V₅下，变换后的点云为P″_v4，将视角V₅下重建出的点云P_v5与点云P″_v4融合为点云P_out。

优选地，步骤S6中，变换过程中，视角i下的三维点到视角i+1的变换可用公式表示为：

其中(X_target,Y_target,Z_target,1)为经过变换矩阵变换后的三维点(用齐次坐标表示)， (X_source,Y_source,Z_source,1)为变换前的三维点。

本发明的有益效果：

本发明提供了一种新型的水下目标物体的三维重建方法，免去了对相机进行水密加工的步骤，降低了设备制作成本；本发明采用固定多视角的方式可以重建水下物体进行完整的三维模，使用双目结构光能够重建低纹理物体表面；依靠本发明提供的方法，可以对水下物体进行三维重建，重建出高精度、完整、细节丰富的三维模型。

附图说明

图1是方法流程图；

图2是正格雷码条纹图；

图3是逆格雷码条纹图；

图4是玻璃面Marker示意图；

图5是支撑框架示意图。

图中：1.双目相机与光机组件；2.玻璃水缸；3.放置玻璃水缸的中央平台；4.矩形框架。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

参照图1-4，一种基于多视角双目结构光的水下三维重建方法，包括以下方法步骤：

S1、相机参数标定，首先调整相机的焦距、光圈直至获取到的图像清晰，固定好相机的焦距、光圈使其在图像采集过程中不变。拍摄若干组标定板图像，使用张正友标定法标定相机的内参数。整个参数标定过程在空气中完成。

S2、图像采集，使用DLP光机投射一系列编码结构光的图像，包括以下步骤：

S21、采用10位格雷码条纹图，包括10张纵向正格雷码，10张纵向逆格雷码，格雷码条纹图是黑白条纹相间的图像，其中，黑色条纹，代表编码值为0，白色条纹，代表编码值为1；正格雷码条纹图用于对二维图像的行进行编码，逆格雷码条纹图与正格雷码条纹图编码值相反，即正格雷码条纹图中的黑色条纹变为白色条纹，白色条纹变为黑色条纹，逆格雷码条纹图用来辅助目标物体图像的二值化操作；

S21、将目标物体置于水中，使用投影光机按顺序向目标物体投射格雷码条纹图。每投射一张格雷码条纹图，左右目相机就分别捕捉一张图像，双目相机依次捕捉带有格雷码条纹图的目标物体图像，直至20张格雷码条纹图投射结束，关闭双目相机和投影光机。

S3、图像校正，步骤S2获取到的图像由于相机的制造精度以及组装工艺的偏差等原因会导致一定的畸变，镜头的畸变主要分为径向畸变和切向畸变，为了减小这种误差，需要对获取到的图像进行畸变矫正，畸变矫正后可以去除由于上述原因引入的误差。同时，在理想的双目系统中两相机图像平面时平行的，而在实际的双目系统中是不存在完全共面行对准的两个相机平面的，所以我们要对其进行立体校正，把实际非共面行对准的两幅图像校正为共面行对准，以便于左右图像的对应点匹配。

S4、单视角三维重建，包括以下步骤：

S41.图像二值化：将二值化后的格雷码图像记为

对于左相机图像，将矫正后的带有正格雷码条纹的图像(记为

)与带有逆格雷码条纹的图像(记为

) 进行逐像素比较，二值化的过程用以下公式表示：

其中，n(n＝0,1,...,9)表示条纹图的索引值，(i,j)表示图像每个像素位置的索引值。当

时，该像素为属于无效区域，不对其进行二值化操作。

同理，右相机图像也通过此方式进行二值化操作。

S42.解码：将一组格雷码图像

解码到一组二进制图像

进而解码到一张十进制图像D_(i,j)。对于左相机图像来说，一组格雷码图像

其第一张图像

对应格雷码的最高位，最后一张图像

对应格雷码的最低位，格雷码解码到二进制码的过程用以下公式表示：

将格雷码转为二进制码后，再将二进制码转为十进制码，可得到解码图像D_(i,j)，图像中每个像素值为格雷码解码后的十进制数。同理，右相机图像也通过此方式进行解码操作。

S43.匹配：格雷码条纹可对图像的列进行编码，图像经过立体校正后可将图像校正为共面行对准，因此，在以行方向进行搜索时，左图像中有唯一点与右图像中一点对应。在K2步骤中获得左相机解码图像DL_(i,j)，右相机解码图像DR_(i,j)，假设左目相机图像中存在一像素点(u_l,v_l)，那么该像素位置的解码值为

右目相机图像中存在一像素点(u_r,v_r)，那么该像素位置的解码值为

若

则像素点(u_l,v_l)与像素点(u_r,v_r)为一对匹配点对。利用上述匹配策略可以获取左右目图像的所有匹配点对。

S44.求解点云：在成像过程中本方法以左相机为基准，即以左相机光心为原点建立世界坐标系。在步骤K3中获取到了左右目图像的所有匹配点对，有了匹配点对就可以来计算目标物体上一点的深度值Z_c，用公式表示为：

其中，f为相机焦距，u_l，u_r分别为匹配点对在行方向上的像素位置，d为左右目图像的视差值，b为双目相机的基线。

再根据针孔模型可解得目标物体上一点在世界坐标系下的三维坐标P_w＝ (X_w,Y_w,Z_w)，其中，针孔模型可表示为：

这里将

记为K，

记为T。

在针孔模型中坐标都以齐次坐标形式表示，其中，(u,v,1)为世界坐标系下点P_w对应在左相机图像上的像素点位置，(x,y,1)为P_w在图像坐标系下的位置，(X_c,Y_c,Z_c,1) 为P_w在相机坐标系下的位置，K表示相机的内参数矩阵，由相机参数标定获得，T表示外参数矩阵，因为本方法的世界坐标系原点建立在左相机光心上，因此T是一个单位矩阵。那么，可解得P_w为：

对于左相机图像上的具有匹配点的像素点都可由上述方式求解其对应的三维坐标点，从而获取到目标物体的点云。

S45.修正点云：因为目标物体置于水中，存在折射与散射问题，同时，本方法在重建过程中的相机平面与玻璃平面是平行放置的，因此可使用水下折射模型对三维坐标P_w进行修正，修正后的目标点三维坐标记为P_r＝(X_r,Y_r,Z_r)，水下折射模型可表示为：

其中，h为相机光心到玻璃平面的距离，n为水的折射率，这里设置为1.33。

对于参数h，本方法借助在玻璃面上的Marker来求解，如附图4所示。首先，对于左目图像，识别到玻璃平面上的Marker并且求解出Marker的中心点的像素位置 (记为M_i(i＝0,1,2))，利用三个Marker中心点可求解出玻璃平面的方程：

Ax+By+Cz+D＝0

由于光心的三维坐标为(0,0,0)，利用点到平面的距离公式，可求得

在参数h和参数n确定之后，可将其代入到上述的水下折射模型可求得修正后的点云。至此，已经求解到了单视角下目标物体的三维点云，实现了单视角的水下三维重建。通过本步骤可以进行各个视角下的三维重建，获取各个视角下(本方法使用五个视角)的目标物体的三维点云，记为P_vi,i＝1,2,…,5。

S5、多组双目相机位姿标定，包括以下步骤：

通过步骤S4获取到各个视角(记为V_i,i＝1,2,…,5)下的三维点云后，需要估计出各视角下左目相机(记为C_vi,i＝1,2,…,5)位姿(记为T_i→i+1,i＝1,2,…,4)来对各组点云进行拼接融合从而形成完成的三维模型。

本发明装置的相机排列如图5所示，图5为支撑框架示意图，包括矩形框架4，矩形框架4的顶部安装有四个双目相机与光机组件1，矩形框架4的底部安装一个双目相机与光机组件1，矩形框架4内放置玻璃水缸的中央平台3，中央平台3安装玻璃水缸2，四组双目相机为斜向下的视角，1组双目相机为正向上的视角，这样可以保证能够捕捉到完整的目标物体。本方法采用了环路双目标定的方法来求解各组左目相机的位姿。对于C_v1和C_v2，将C_v1作为左目相机，C_v2作为右目相机，首先拍摄若干组标定板图像，然后使用张正友标定法可求解出相机的外参数，从而可以知道相机C_v1到相机C_v2的变换矩阵T_1→2。

同理，可根据上述方法分别求解出T_2→3，T_3→4，T_4→5。

这里，所有的位姿T均为：

S6、多视角拼接，包括以下方法：

在求解出各视角相机位姿后，根据各视角相机位姿对各视角点云进行变换，将各视角点云变换到视角V₅下，即将世界坐标系的原点建立在视角V₅的左目相机的光心上，以形成目标物体完整的三维点云。首先，将在视角V₁下的重建出的三维点云P_v1使用变换矩阵T_1→2变换到视角V₂下，变换后的点云为P'_v1，将在视角V₂下重建出的三维点云 P_v2与点云P'_v1融合为点云p'_v2；然后，将点云p'_v2使用变换矩阵T_2→3变换到视角V₃下，变换后的点云为P″_v2，将在视角V₃下重建出的点云P_v3与点云P″_v2融合为点云P'_v3；再然后，将点云P_v3'使用变换矩阵T_3→4变换到视角V₄下，变换后的点云为P″_v3，将视角V₄下重建出的点云P_v4与点云P″_v3融合为点云P'_v4；最后，将点云P'_v4使用变换矩阵T_4→5变换到视角V₅下，变换后的点云为P″_v4，将视角V₅下重建出的点云P_v5与点云P″_v4融合为点云 P_out。

上述变换过程中，视角i下的三维点到视角i+1的变换可用公式表示为：

其中(X_target,Y_target,Z_target,1)为经过变换矩阵变换后的三维点(用齐次坐标表示)， (X_source,Y_source，Z_source,1)为变换前的三维点。

S7、表面重建，包括以下步骤：

S71.点云滤波：在步骤S6中获取到了水下目标物体的完整三维点云，然而，在真实场景中的噪声会对点云结果产生影响，产生许多的噪点、离群点，因此需要对三维点云进行滤波以减少这些噪点、离群点。本方法采用半径滤波以及直通滤波来对三维点云进行去噪处理，从而得到一个平滑的点云PC_filter。

S72.泊松重建：在得到平滑的点云PC_filter后，对其进行表面重建才能获得最终的完整的保有物体表面细节的三维模型。本方法用泊松表面重建方法对三维点云进行表面重建，恢复出完整地三维模型。

本发明提供了一种新型的水下目标物体的三维重建方法，免去了对相机进行水密加工的步骤，降低了设备制作成本；本发明采用固定多视角的方式可以重建水下物体进行完整的三维模，使用双目结构光能够重建低纹理物体表面；依靠本发明提供的方法，可以对水下物体进行三维重建，重建出高精度、完整、细节丰富的三维模型。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (8)

1.一种基于多视角双目结构光的水下三维重建方法，其特征在于，包括以下方法步骤：

S1、相机参数标定，首先调整相机的焦距、光圈直至获取到的图像清晰，固定好相机的焦距、光圈使其在图像采集过程中不变，拍摄若干组标定板图像，使用张正友标定法标定相机的参数，整个参数标定过程在空气中完成；

S2、图像采集，使用DLP光机投射一系列编码结构光的图像，包括以下步骤：

S21、采用10位格雷码条纹图，包括10张纵向正格雷码，10张纵向逆格雷码，格雷码条纹图是黑白条纹相间的图像，其中，黑色条纹，代表编码值为0，白色条纹，代表编码值为1；正格雷码条纹图用于对二维图像的行进行编码，逆格雷码条纹图与正格雷码条纹图编码值相反，正格雷码条纹图中的黑色条纹变为白色条纹，白色条纹变为黑色条纹，逆格雷码条纹图用来辅助目标物体图像的二值化操作；

S22、将目标物体置于水中，使用投影光机按顺序向目标物体投射格雷码条纹图，每投射一张格雷码条纹图，左右目相机就分别捕捉一张图像，双目相机依次捕捉带有格雷码条纹图的目标物体图像，直至20张格雷码条纹图投射结束，关闭双目相机和投影光机；

S3、图像校正，步骤S2获取到的图像对其进行立体校正，把实际非共面行对准的两幅图像校正为共面行对准，用于左右图像的对应点匹配；

S4、单视角三维重建，包括以下步骤：

S41、图像二值化：将二值化后的格雷码图像记为

对于左相机图像，将矫正后的带有正格雷码条纹的图像(记为

)与带有逆格雷码条纹的图像(记为

)进行逐像素比较，二值化的过程用以下公式表示：

n(n＝0,1,...,9)表示条纹图的索引值，(i,j)表示图像每个像素位置的索引值。当

时，该像素为属于无效区域，不对其进行二值化操作，右相机图像也通过此方式进行二值化操作；

S42、解码：将一组格雷码图像

解码到一组二进制图像

解码到一张十进制图像D_(i,j)；

S43、匹配：格雷码条纹可对图像的列进行编码，图像经过立体校正后可将图像校正为共面行对准，以行方向进行搜索，左图像中有唯一点与右图像中一点对应；

S44、求解点云：在成像过程中本方法以左相机为基准，即以左相机光心为原点建立世界坐标系，在步骤S43中获取到了左右目图像的所有匹配点对，计算目标物体上一点的深度值Z_c，用公式表示为：

其中，f为相机焦距，u_l，u_r分别为匹配点对在行方向上的像素位置，d为左右目图像的视差值，b为双目相机的基线；

再根据针孔模型可解得目标物体上一点在世界坐标系下的三维坐标P_w＝X_w,Y_w,Z_w)，其中，针孔模型为：

将

记为K，

记为T；

在针孔模型中坐标都以齐次坐标形式表示，其中，(u,v,1)为世界坐标系下点P_w对应在左相机图像上的像素点位置，(x,y,1)为P_w在图像坐标系下的位置，(X_c,Y_c,Z_c,1)为P_w在相机坐标系下的位置，K表示相机的内参数矩阵，由相机参数标定获得，T表示外参数矩阵，世界坐标系原点建立在左相机光心上，T是一个单位矩阵可解得P_w为：

对于左相机图像上的具有匹配点的像素点由上述方式求解其对应的三维坐标点，获取到目标物体的点云；

S45、修正点云：在重建过程中的相机平面与玻璃平面是平行放置，使用水下折射模型对三维坐标P_w进行修正，修正后的目标点三维坐标记为P_r＝(X_r,Y_r,Z_r)，水下折射模型可表示为：

其中，h为相机光心到玻璃平面的距离，n为水的折射率，设置为1.33；

S5、多组双目相机位姿标定，通过步骤S4获取到各个视角(记为V_i,i＝1,2,…,5)下的三维点云后，估计出各视角下左目相机，记为C_vi,i＝1,2,…,5，位姿记为记为T_i→i+1,i＝1,2,…,4，来对各组点云进行拼接融合形成完成的三维模型；

S6、求解出各视角相机位姿后，根据各视角相机位姿对各视角点云进行变换，将各视角点云变换到视角V₅下，即将世界坐标系的原点建立在视角V₅的左目相机的光心上，以形成目标物体完整的三维点云；

S7、表面重建，包括以下步骤：

S71、点云滤波：在步骤S6中获取到了水下目标物体的完整三维点云，然而，在真实场景中的噪声会对点云结果产生影响，产生许多的噪点、离群点，对三维点云进行滤波，采用半径滤波以及直通滤波来对三维点云进行去噪处理，得到一个平滑的点云PC_filter；

S72、泊松重建：在得到平滑的点云PC_filter后，对其进行表面重建获得最终的完整的保有物体表面细节的三维模型，用泊松表面重建方法对三维点云进行表面重建，恢复出完整地三维模型。

2.根据权利要求1所述的基于多视角双目结构光的水下三维重建方法，其特征在于，所述步骤S42中，对于左相机图像来说，一组格雷码图像

其第一张图像

对应格雷码的最高位，最后一张图像

对应格雷码的最低位，格雷码解码到二进制码的过程用以下公式表示：

将格雷码转为二进制码后，再将二进制码转为十进制码，可得到解码图像D_(i,j)，图像中每个像素值为格雷码解码后的十进制数，右相机图像也通过此方式进行解码操作。

3.根据权利要求2所述的基于多视角双目结构光的水下三维重建方法，其特征在于，在S42步骤中获得左相机解码图像DL_(i,j)，右相机解码图像DR_(i,j)，假设左目相机图像中存在一像素点(u_l,v_l)，那么该像素位置的解码值为

右目相机图像中存在一像素点(u_r,v_r)，那么该像素位置的解码值为

若

则像素点(u_l,v_l)与像素点(u_r,v_r)为一对匹配点对，利用上述匹配策略获取左右目图像的所有匹配点对。

4.根据权利要求1所述的基于多视角双目结构光的水下三维重建方法，其特征在于，步骤S45中，对于参数h，借助在玻璃面上的Marker来求解，对于左目图像，识别到玻璃平面上的Marker并且求解出Marker的中心点的像素位置，记为M_i(i＝0,1,2)，利用三个Marker中心点可求解出玻璃平面的方程：

Ax+By+Cz+D＝0

光心的三维坐标为(0,0,0)，利用点到平面的距离公式，可求得

5.根据权利要求4所述的基于多视角双目结构光的水下三维重建方法，其特征在于，在参数h和参数n确定之后，可将其代入到上述的水下折射模型可求得修正后的点云，求解到单视角下目标物体的三维点云，完成单视角的水下三维重建，进行各个视角下的三维重建，使用五个视角的目标物体的三维点云，记为P_vi,i＝1,2,…,5。

6.根据权利要求1所述的基于多视角双目结构光的水下三维重建方法，其特征在于，所述S5中，采用4组双目相机为斜向下的视角，1组双目相机为正向上的视角，采用环路双目标定的方法来求解各组左目相机的位姿，对于C_v1和C_v2，将C_v1作为左目相机，C_v2作为右目相机，首先拍摄若干组标定板图像，然后使用张正友标定法可求解出相机的外参数，得到相机C_v1到相机C_v2的变换矩阵T_1→2，分别求解出T_2→3，T_3→4，T_4→5。

位姿T均为：

7.根据权利要求1所述的基于多视角双目结构光的水下三维重建方法，其特征在于，步骤S6中，包括以下步骤：首先，将在视角V₁下的重建出的三维点云P_v1使用变换矩阵T_1→2变换到视角V₂下，变换后的点云为P'_v1，将在视角V₂下重建出的三维点云P_v2与点云P'_v1融合为点云P'_v2；然后，将点云P'_v2使用变换矩阵T_2→3变换到视角V₃下，变换后的点云为P″_v2，将在视角V₃下重建出的点云P_v3与点云P″_v2融合为点云P'_v3；再然后，将点云P_v3'使用变换矩阵T_3→4变换到视角V₄下，变换后的点云为P″_v3，将视角V₄下重建出的点云P_v4与点云P″_v3融合为点云P'_v4；最后，将点云P'_v4使用变换矩阵T_4→5变换到视角V₅下，变换后的点云为P″_v4，将视角V₅下重建出的点云P_v5与点云P″_v4融合为点云P_out。

8.根据权利要求7所述的基于多视角双目结构光的水下三维重建方法，其特征在于，步骤S6中，变换过程中，视角i下的三维点到视角i+1的变换可用公式表示为：

其中(X_target,Y_target,Z_target,1)为经过变换矩阵变换后的三维点(用齐次坐标表示)，(X_source,Y_source,Z_source,1)为变换前的三维点。

Images