CN103971406B

CN103971406B - 基于线结构光的水下目标三维重建方法

Info

Publication number: CN103971406B
Application number: CN201410195345.7A
Authority: CN
Inventors: 崔海荣; 王贞; 张秉森; 郭春锋; 吴海霞; 兰淑丽; 张磊; 郑海永
Original assignee: Qingdao University
Current assignee: Qingdao University
Priority date: 2014-05-09
Filing date: 2014-05-09
Publication date: 2017-12-08
Anticipated expiration: 2034-05-09
Also published as: CN103971406A

Abstract

本发明公开了一种基于线结构光的水下目标三维重建方法，按以下步骤顺序进行：a、获取包含有深度信息的水下二维图像；b、对水下二维图像进行增强处理；c、对步骤b得到的二维图像进行降噪处理；d、对步骤c得到的二维图像进行图像边缘检测和图像形态处理，提取激光条纹的中心；e、对步骤d得到的二维图像进行标校；f、从步骤e所得二维图像获取三维坐标；g、利用计算机高级编程语言对三维坐标进行重建，即得到可视化的水下目标三维信息。本发明方法有效降低了由于水中悬浮物、海水对光的吸收和散射、非均匀光场等对探测精度的影响，完成了大角度、远距离的水下目标三维信息提取，实现了水下远距离、高精度、实时的目标三维探测。

Description

基于线结构光的水下目标三维重建方法

技术领域

本发明涉及一种水下目标三维重建技术，尤其涉及一种基于线结构光的水下目标三维重建方法。

背景技术

随着科学技术的高速发展，海洋资源开发、水下工程建设和水下军事应用等领域的不断拓展，水下探测技术的重要性日益显现。水下探测技术也逐渐从二维图像探测技术朝着三维目标及场景重建技术不断发展。水下目标三维重建技术通过对光成像技术、图像处理技术、电子与通信技术和计算机视觉技术等多种先进技术的综合利用，可以为人类提供合适的观察通道，将水下被探测目标的外型显示为人眼可判断的图像或视频信息。

目前，水下目标探测技术主要是在声学测量技术的基础上发展而来的声纳技术。它利用超声波测距的方法扫描被测目标，得到目标与声学测量设备的距离，从而进行水下目标的三维重建。但是，由于超声波扫描的范围不宜控制、远距离测量精度偏低，因此声纳技术难以满足高精度水下目标的三维探测和重构要求。

与声纳技术相比，基于结构光扫描的目标三维重建技术在图像的分辨率、直观性、可读性等方面都有着明显的优势。该技术是从摄像机拍摄的二维图像信息中恢复出物体的三维信息，目前已经在陆地上得到了很好的应用。但是，由于水下地质情况特殊，水中悬浮物、海水对光的吸收和散射、非均匀光场等问题的存在，使得陆上应用的结构光扫描的目标三维重建技术在水下应用时效果不良。

中国专利CN102519440A公开了一种海洋测绘水下目标三维可视化处理系统。该处理系统由水下目标获取设备、水下目标处理工作站和水下目标三维可视化客户端构成，水下目标获取设备、水下目标处理工作站和水下目标三维可视化客户端通过局域网连接在一起，完成水下目标数据采集、数据处理和数据三维可视化处理功能。该发明实现了水下目标数据的采集、处理、可视化录入、编辑，解决了水下目标从数据获取到数据处理以及三维可视化表达、数据更新、自动查询定位的系统关键技术难题，提高了数据管理效率和质量。但是，此专利采用声纳设备和多波束探测设备进行数据采集，仍然无法避免水下特殊情况对三维数据精度、探测范围的影响，

发明内容

本发明需要解决的技术问题是提供一种基于线结构光的水下目标三维重建方法，该方法克服了声纳水下目标探测技术的缺点，能够实现水下远距离、高精度、实时目标的三维探测。

为解决上述技术问题，本发明所采取的技术方案是：

一种基于线结构光的水下目标三维重建方法，按以下步骤顺序进行：

步骤a、利用水下结构光测量系统完成对水下目标三维信息的采集，获取包含有深度信息的水下二维图像；

步骤b、对水下二维图像进行增强处理，提高二维图像的清晰度和信噪比；

步骤c、对步骤b得到的二维图像进行降噪处理，滤除二维图像中除了激光条纹外的噪声点；

步骤d、利用梯度场构造偏微分方程模型的方法对步骤c得到的二维图像进行图像边缘检测和图像形态处理，提取出激光条纹的中心；

步骤e、利用摄像机在水下不同深度获得的标校数据对步骤d得到的二维图像激光条纹的中心位置进行标校；

步骤f、通过光学几何技术，从步骤e得到的二维图像中获取水下目标的三维坐标；

步骤g、利用计算机高级编程语言，对步骤f采集到的三维坐标进行重建，即得到可视化的水下目标三维信息。

所述步骤a中，所述水下结构光测量系统由结构光源激光器、摄像机、移动平台、图像处理及目标三维重建系统组成；其中，结构光源激光器和摄像机分别固定在移动平台上，结构光源激光器发射的线性激光所形成的平面与移动平台的移动方向垂直、与摄像机镜头的中心光轴之间的夹角在30°～60°之间。

所述步骤a中水下二维图像的获取方法为：结构光源激光器发射出的线性激光在目标物体表面上形成一条明亮的激光条纹，当目标物体表面有深度或高度的信息变化时，形成的激光条纹会呈现为一条连续起伏的条纹或多条间断的条纹；在结构光源激光器发射激光的同时，打开摄像机的快门接受光信号、拍摄激光条纹，得到包含有深度信息的水下二维图像，传输至图像处理及目标三维重建系统进行后续处理。

所述步骤b中，图像增强处理包括以下步骤①～步骤⑥：

步骤①、将摄像机拍摄到的水下二维图像进行灰度化处理；

步骤②、将灰度值相同的像点进行累加，并存放至一个数组HD中，数组的维数与图像灰度值的范围相同，Length(HD)＝图像灰度值的范围；

数组中的第i个数值n_i为图像中灰度为i的像点的个数；

步骤③、计算原始水下二维图像直方图，计算公式为：

其中，N为原始水下二维图像像素的总个数；

步骤④、计算原始水下二维图像的累积直方图，计算公式为：

步骤⑤、利用灰度变换函数计算，并对计算结果四舍五入，得到变换后的灰度值；所述灰度变换函数公式为：

j＝INT[(L-1)p_j+0.5]；

步骤⑥、确定灰度变换关系i→j，据此将原图像的灰度值f(m,n)＝i修正为g(m,n)＝j，从而完成原始图像的增强。

所述步骤b的图像增强处理，其步骤②中的图像灰度值的范围为256。

所述步骤c中，图像降噪处理包含以下步骤①～步骤⑤：

步骤①、根据步骤c中所得二维图像的清晰程度，构造一个激光条纹检测矩阵A，所述检测矩阵A为全1的5阶方阵：

步骤②、利用激光条纹检测矩阵A，获取图像检测区内的数值G：所述G的含义为在检测区域内亮点的个数，其计算公式为：

其中，PIC_i,j为图像中第i行第j列的像素值；

步骤③、设置激光条纹检测门限G’，当检测矩阵为5阶方阵时，G’为15；

步骤④、若数值G＞G’，则检测区域内存在激光条纹；反之，则检测区域内没有激光条纹；

步骤⑤、通过改变步骤②中i和j，对整个图像进行检测。

所述步骤d中，提取激光条纹的中心的具体步骤包含以下步骤①～步骤⑤：

步骤①、设置用来描述图像f在任意位置(x、y)处边缘的强度和方向的梯度梯度的向量定义式为：

步骤②、构造用于计算梯度的偏导数的滤波器模板；

步骤③、根据滤波器模板计算梯度的向量G_x、G_y；

步骤④、根据梯度的向量计算出图像边缘的检测梯度图像：

M(x,y)＝|G_x|+|G_y|；

步骤⑤、利用步骤④得到的检测梯度图像来完成激光条纹边缘的检测；所述激光条纹的两条边缘线的中间位置即为激光条纹的中心。

所述步骤d中使用的滤波器模板为Sobel算子模板、拉普拉斯算子或高斯拉普拉斯算子模板中的任意一种。

当步骤d中使用Sobel算子模板作为滤波模板时，梯度向量的计算公式为：

所述步骤e中，校标数据的获得方法是：将标校板放在水下，在不同深度处检测标校板上激光条纹的位置，以此做为摄像机的标校数据；

二维图像的标校过程是：首先将相机标定板放置在不同深度的水中，且相机标定板的法线方向与结构光源激光器的光轴平行，从摄像机上获得激光条纹在相机标定板上的图像；然后通过所得图像计算出任一坐标点和其对应的空间坐标点之间的关系；最后通过直接线性变化法或RogerY.Tsai算法对步骤d获得的二维图像激光条纹的中心位置进行校正。

所述步骤f中，首先根据结构光源激光器、摄像机和目标物体三者构成的三角形，利用摄像机上条纹的移动距离与摄像机中CCD像平面上的像位移的关系、按照下列公式计算出目标目标物体深度或高度变化距离：

其中，Δh——深度或高度变化值，

Δd——激光条纹的像在CCD像平面上的位移，

l——摄像机镜头与目标物体的距离

k——摄像机镜头与CCD像平面的距离，

θ——进入摄像机镜头的激光反射角；

然后根据三角形的相似关系计算得到被测目标点的三维坐标，被测目标点相对于结构光源激光器的三维坐标为：

其中，

x_d——被测点的像在CCD像平面上x方向的位移，

y_d——被测点的像在CCD像平面上y方向的位移，

Z₀——水下结构光测量系统标校点与结构光源激光器的距离，

f——摄像机镜头的焦距，

θ——水下结构光测量系统标校点位置进入摄像机镜头的激光反射角。

所述步骤g中使用的计算机高级编程语言为MATLAB语言、VC语言、VB语言或delphi语言中的任意一种。

由于采用了上述技术方案，本发明所取得的技术进步在于：

本发明提供了一种基于线结构光的水下目标三维重建方法。该技术利用结构光源发出的线性激光对目标物体进行探测获得水下二维图像，然后经过多重图像处理、合理的计算推理获得了目标物体的三维坐标，再利用计算机高级编程语言对三维坐标进行重建，从而获得了可视化的水下目标三维信息。

本发明方法克服了声纳水下目标探测技术的缺点，采用激光进行探测，有效降低了由于水中悬浮物、海水对光的吸收和散射、非均匀光场等问题对探测精度的影响，完成了大角度、远距离的水下目标三维信息的提取，成功实现了水下远距离、高精度、实时的目标三维探测。另外，本发明方法还克服了传统方法计算量过大的缺点，大大简化了三维重建过程。

附图说明

图1为本发明方法的流程示意图；

图2为步骤a中水下结构光测量系统扫描获取水下二维图像的原理图；

图3为步骤f中水下结构光测距的原理图；

图4为步骤f中根据三角形相似关系计算被测目标点三维坐标的原理图；

其中，1、结构光源激光器，2、摄像机，3、移动平台，4、图像处理及目标三维重建系统，5、摄像机镜头，6、CCD像平面，7、镜头平面。

具体实施方式

下面结合附图对本发明做进一步详细描述。

一种基于线结构光的水下目标三维重建方法，如图1所示，包括按顺序进行的步骤a～步骤g，共计七个步骤：

所述水下结构光测量系统，如图2所示，由结构光源激光器1、摄像机2、移动平台3、图像处理及目标三维重建系统4组成；其中，结构光源激光器1和摄像机2分别固定在移动平台3上，结构光源激光器1发射的线性激光所形成的平面与移动平台3的移动方向垂直、与摄像机2镜头的中心光轴之间的夹角在30°～60°之间；

包含有深度信息的水下二维图像的原理如图2所示，由结构光源激光器1发射出的线性激光在目标物体表面上形成一条明亮的激光条纹，当目标物体表面有深度或高度的信息变化时，形成的激光条纹会呈现为一条连续起伏的条纹或多条间断的条纹；在结构光源激光器1发射激光的同时，打开摄像机2的快门接受光信号，拍摄激光条纹，得到包含有深度信息的水下二维图像，传输至图像处理及目标三维重建系统4进行后续处理。

由于水中悬浮物、海水对光的吸收和散射、非均匀光场等问题的存在，步骤a中获得的水下二维图像中的背景噪声大、存在有大量噪点，因此导致目标物体的激光条纹清晰度的降低，因此必须首先对水下二维图像进行增强和降噪处理。

步骤b、对水下二维图像进行增强处理，提高二维图像的清晰度和信噪比；增强处理包括以下步骤：

①、将摄像机拍摄到的水下二维图像进行灰度化处理；

②、将灰度值相同的像点进行累加，并存放至一个数组HD中，数组的维数与图像灰度值的范围相同，通常为256，即Length(HD)＝256；数组中的第i个数值n_i为图像中灰度为i的像点的个数；

③、计算原始水下二维图像图像直方图，计算公式为：

其中，N为原始水下二维图像像素的总个数；

④、计算原始水下二维图像的累积直方图，计算公式为：

⑤、利用灰度变换函数计算，并对计算结果四舍五入，得到变换后的灰度值；所述灰度变换函数公式为：

j＝INT[(L-1)p_j+0.5]；

⑥、确定灰度变换关系i→j，据此将原图像的灰度值f(m,n)＝i修正为g(m,n)＝j，从而完成原始图像的增强。

步骤c、对步骤B得到的二维图像进行空域滤波降噪处理，滤除二维图像中除了激光条纹外的噪声点；降噪处理包含以下步骤：

①、根据步骤c中所得二维图像的清晰程度，构造一个激光条纹检测矩阵A，所述检测矩阵A为全1的5阶方阵：

②、利用激光条纹检测矩阵A，获取图像检测区内的数值G；所述G的含义为在检测区域内亮点的个数，其计算公式为：

其中，PIC_i,j为图像中第i行第j列的像素值；

③、设置激光条纹检测门限G’，当检测矩阵为5阶方阵时，G’为15；

④、若数值G＞G’，则检测区域内存在激光条纹；反之，则检测区域内没有激光条纹；

⑤、通过改变步骤②中i和j对整个图像进行检测。

由于水下二维图像中的激光条纹有一定的宽度，会造成图像扫描精度的下降，因此必须对二维图像进行处理，提取出激光条纹的中心；其具体步骤为：

①、设置用来描述图像f在任意位置(x、y)处边缘的强度和方向的梯度梯度的向量定义式为：

②、构造用于计算梯度的偏导数的滤波器模板；所述滤波器模板为Sobel算子模板、拉普拉斯算子或高斯拉普拉斯算子模板中的任意一种；

③、根据滤波器模板计算梯度的向量G_x、G_y；

当使用Sobel算子模板作为滤波模板时，梯度向量的计算公式为：

④、根据梯度的向量计算出图像边缘的检测梯度图像：

M(x,y)＝|G_x|+|G_y|；

⑤、利用步骤④得到的检测梯度图像来完成激光条纹边缘的检测；所述激光条纹的两条边缘线的中间位置即为激光条纹的中心。

所述二维图像的标校过程为：首先将相机标定板放置在不同深度的水中，且相机标定板的法线方向与结构光源激光器的光轴平行，在不同深度处检测标校板上激光条纹的位置，以此图像做为摄像机的标校数据；然后通过所得图像计算出任一坐标点和其对应的空间坐标点之间的关系；最后通过直接线性变化法或RogerY.Tsai算法对步骤d获得的二维图像激光条纹的中心位置进行校正。

如图3所示，由结构光源激光器1发射出的线性激光以一定角度照射到目标物体的表面形成激光条纹，摄像机2接收目标物体表面反射回来的光，结构光源激光器1、摄像机2和目标物体三者构成一个三角形。当目标物体表面有深度或高度信息的变化时，激光条纹也会发生相应的变化，进而影响到摄像机2感光面的激光条纹成像位置；根据物象公式和三角形相似定理，即可计算出摄像机感光面上的激光条纹的移动距离，再进一步计算出目标物体表面的移动量，即目标物体深度或高度的变化距离Δh：

其中，Δh——深度或高度变化值，

Δd——激光条纹的像在CCD像平面上的位移，

l——摄像机镜头与目标物体的距离，

k——摄像机镜头与CCD像平面的距离，

θ——进入摄像机镜头的激光反射角；

然后根据三角形的相似关系计算得到被测目标点的三维坐标，计算原理如图4所示，被测目标点相对于结构光源激光器的三维坐标为：

其中，

x_d——被测点的像在CCD像平面上x方向的位移，

y_d——被测点的像在CCD像平面上y方向的位移，

f——摄像机镜头的焦距，

步骤g、利用计算机高级编程语言，对步骤f采集到的三维坐标进行重建，即得到可视化的水下目标三维信息；所述计算机高级编程语言为MATLAB语言、VC语言、VB语言或delphi语言中的任意一种。

Claims

1.一种基于线结构光的水下目标三维重建方法，其特征在于：按以下步骤顺序进行，

步骤e、利用摄像机在水下不同深度获得的标校数据对步骤d得到的二维图像激光条纹的中心位置进行标校；校标数据的获得方法是：将标校板放在水下，在不同深度处检测标校板上激光条纹的位置，以此做为摄像机的标校数据；二维图像的标校过程是：首先将相机标定板放置在不同深度的水中，且相机标定板的法线方向与结构光源激光器(1)的光轴平行，从摄像机上获得激光条纹在相机标定板上的图像；然后通过所得图像计算出任一坐标点和其对应的空间坐标点之间的关系；最后通过直接线性变化法或RogerY.Tsai算法对步骤d获得的二维图像激光条纹的中心位置进行校正；

2.根据权利要求1所述的基于线结构光的水下目标三维重建方法，其特征在于：步骤a中，所述水下结构光测量系统由结构光源激光器(1)、摄像机(2)、移动平台(3)、图像处理及目标三维重建系统(4)组成；其中，结构光源激光器(1)和摄像机(2)分别固定在移动平台(3)上，结构光源激光器(1)发射的线性激光所形成的平面与移动平台(3)的移动方向垂直、与摄像机(2)镜头的中心光轴之间的夹角在30°～60°之间。

3.根据权利要求1或2任一项所述的基于线结构光的水下目标三维重建方法，其特征在于：所述步骤a中水下二维图像的获取方法为：结构光源激光器(1)发射出的线性激光在目标物体表面上形成一条明亮的激光条纹，当目标物体表面有深度或高度的信息变化时，形成的激光条纹会呈现为一条连续起伏的条纹或多条间断的条纹；在结构光源激光器(1)发射激光的同时，打开摄像机(2)的快门接受光信号、拍摄激光条纹，得到包含有深度信息的水下二维图像，传输至图像处理及目标三维重建系统(4)进行后续处理。

4.根据权利要求1所述的基于线结构光的水下目标三维重建方法，其特征在于：所述步骤b中，图像增强处理包括以下步骤：

步骤①、将摄像机(2)拍摄到的水下二维图像进行灰度化处理；

步骤②、将灰度值相同的像点进行累加，并存放至一个数组HD中，数组的维数与图像灰度值的范围相同，Length(HD)＝图像灰度值的范围；图像灰度值的范围为256；

数组中的第i个数值n_i为图像中灰度为i的像点的个数；

步骤③、计算原始水下二维图像直方图，计算公式为：

其中，N为原始水下二维图像像素的总个数；

<mrow> <msub> <mi>P</mi> <mi>j</mi> </msub> <mo>=</mo> <munderover> <mo>&Sigma;</mo> <mrow> <mi>k</mi> <mo>=</mo> <mn>0</mn> </mrow> <mi>j</mi> </munderover> <mi>p</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> <mo>;</mo> </mrow>

j＝INT[(L-1)p_j+0.5]；

步骤⑥、确定灰度变换关系i→j，据此将原图像的灰度值f(m，n)＝i修正为g(m，n)＝.j，从而完成原始图像的增强。

5.根据权利要求1所述的基于线结构光的水下目标三维重建方法，其特征在于：所述步骤c中，图像降噪处理包含以下步骤：

步骤②、利用激光条纹检测矩阵A，获取图像检测区内的数值G；所述G的含义为在检测区域内亮点的个数，其计算公式为：

<mrow> <mi>G</mi> <mo>=</mo> <munderover> <mo>&Sigma;</mo> <mrow> <mi>k</mi> <mo>=</mo> <mn>1</mn> <mo>,</mo> <mi>l</mi> <mo>=</mo> <mn>1</mn> </mrow> <mrow> <mi>k</mi> <mo>=</mo> <mn>5</mn> <mo>,</mo> <mi>l</mi> <mo>=</mo> <mn>5</mn> </mrow> </munderover> <msub> <mi>PIC</mi> <mrow> <mi>i</mi> <mo>+</mo> <mi>k</mi> <mo>-</mo> <mn>1</mn> <mo>,</mo> <mi>j</mi> <mo>+</mo> <mi>l</mi> <mo>-</mo> <mn>1</mn> </mrow> </msub> <mo>&times;</mo> <msub> <mi>A</mi> <mrow> <mi>k</mi> <mo>,</mo> <mi>l</mi> </mrow> </msub> </mrow>

其中，PIC_i，j为图像中第i行第j列的像素值；

步骤⑤、通过改变步骤②中i和j，对整个图像进行检测。

6.根据权利要求1所述的基于线结构光的水下目标三维重建方法，其特征在于：所述步骤d中，提取激光条纹的中心的具体步骤为：

步骤②、构造用于计算梯度的偏导数的滤波器模板；

步骤③、根据滤波器模板计算梯度的向量G_x、G_y；

步骤④、根据梯度的向量计算出图像边缘的检测梯度图像：

M(x，y)＝|G_x|+|G_y|；

7.根据权利要求1所述的基于线结构光的水下目标三维重建方法，其特征在于：所述步骤d中使用的滤波器模板为Sobel算子模板、拉普拉斯算子或高斯拉普拉斯算子模板中的任意一种；

8.根据权利要求1所述的基于线结构光的水下目标三维重建方法，其特征在于：所述步骤f中，首先根据结构光源激光器(1)、摄像机(2)和目标物体三者构成三角形，利用摄像机(2)上条纹的移动距离与摄像机中CCD像平面(5)上的像位移的关系、按照下列公式计算出目标物体深度或高度变化距离：

<mrow> <mi>&Delta;</mi> <mi>h</mi> <mo>=</mo> <mfrac> <mrow> <mi>l</mi> <mo>&CenterDot;</mo> <mi>&Delta;</mi> <mi>d</mi> </mrow> <mrow> <msqrt> <mrow> <msup> <mi>k</mi> <mn>2</mn> </msup> <mo>+</mo> <msup> <mi>&Delta;d</mi> <mn>2</mn> </msup> </mrow> </msqrt> <mo>&CenterDot;</mo> <mi>sin</mi> <mi>&theta;</mi> </mrow> </mfrac> <mo>,</mo> </mrow>

其中，Δh——深度或高度变化值，

Δd——激光条纹的像在CCD像平面上的位移，

l——摄像机镜头与目标物体的距离，

k——摄像机镜头与CCD像平面的距离，

θ——进入摄像机镜头的激光反射角；

然后根据三角形的相似关系计算得到被测目标点的三维坐标，被测目标点相对于结构光源激光器(1)的三维坐标为：

其中，

xd——被测点的像在CCD像平面上x方向的位移，

yd——被测点的像在CCD像平面上y方向的位移，

Z0——水下结构光测量系统标校点与结构光源激光器的距离，

f——摄像机镜头的焦距，

9.根据权利要求1所述的基于线结构光的水下目标三维重建方法，其特征在于：所述步骤g中使用的计算机高级编程语言为MATLAB语言、VC语言、VB语言或delphi语言中的任意一种。