CN113160059B - 一种水下图像拼接方法、装置及存储介质 - Google Patents

Abstract

本发明公开了一种水下图像拼接方法、装置及存储介质，其中方法包括获取分别由水上摄像头、水面摄像头和水下摄像头拍摄的三种图像；对图像进行畸变校正和图像分割；对图像进行特征选择、特征提取和特征匹配；对图像进行透视变换；对图像进行图像合并；能得到反映水上水下信息的超广成像角度的图像，能更好帮助航海员获取更多信息；最终图像失真率低且还原度高，能帮助航海员正确判断水上水下情况，减少航海意外。

Description

一种水下图像拼接方法、装置及存储介质

技术领域

本发明涉及图像处理领域，特别是一种水下图像拼接方法、装置及存储介质。

背景技术

船舶在航行过程中，如果船员错误判断水下信息，容易造成船舶触礁而发生航海意外。目前的水下图像拼接技术更多是研究水下多镜头图像拼接技术，而水上和水下图像拼接领域因为水体和空气间光的传播存在折射和反射的原因，两幅图像的相同交汇处并没有大量相似的特征点，因此无法正常完成图像拼接，无法为航海员提供水上水下全方位环境信息。

发明内容

本发明的目的在于至少解决现有技术中存在的技术问题之一，提供一种水下图像拼接方法、装置及存储介质。

本发明解决其问题所采用的技术方案是：

本发明的第一方面，一种水下图像拼接方法，包括以下步骤：

获取水上摄像头拍摄的第一图像、水面摄像头拍摄的第二图像和水下摄像头拍摄的第三图像；

对所述第一图像、所述第二图像和所述第三图像进行畸变校正，对应得到第一校正图像、第二校正图像和第三校正图像；

将所述第一校正图像、所述第二校正图像和所述第三校正图像进行图像分割，对应得到所述第一校正图像的水上部分图像、所述第一校正图像的水面部分图像、所述第二校正图像的水上部分图像、所述第二校正图像的水下部分图像、所述第三校正图像的水面部分图像和所述第三校正图像的水下部分图像；

将所述第一校正图像中对应所述第一校正图像的水面部分图像的像素置零得到第一置零预处理图像，将所述第三校正图像中对应所述第三校正图像的水面部分图像的像素置零得到第三置零预处理图像；

对所述第一置零预处理图像、所述第二校正图像的水上部分图像、所述第二校正图像的水下部分图像和所述第三置零预处理图像进行特征提取，对应得到第一特征矩阵、第二特征矩阵、第三特征矩阵和第四特征矩阵；

将所述第一特征矩阵和所述第二特征矩阵进行特征匹配得到第一特征匹配向量对，将所述第三特征矩阵和所述第四特征矩阵进行特征匹配得到第二特征匹配向量对；

根据所述第一特征匹配向量对将所述第一置零预处理图像进行透视变换得到第一透视变换图像，根据所述第二特征匹配向量对将所述第三置零预处理图像进行透视变换得到第二透视变换图像；

根据所述第一透视变换图像、所述第二校正图像的水上部分图像、所述第二透视变换图像、所述第二校正图像的水下部分图像、所述第一校正图像的水面部分图像和所述第三校正图像的水面部分图像得到最终合并图像。

根据本发明的第一方面，所述根据所述第一透视变换图像、所述第二校正图像的水上部分图像、所述第二透视变换图像、所述第二校正图像的水下部分图像、所述第一校正图像的水面部分图像和所述第三校正图像的水面部分图像得到最终合并图像具体为：将所述第一透视变换图像和所述第二校正图像的水上部分图像进行图像合并得到第一合并图像，将所述第二透视变换图像和所述第二校正图像的水下部分图像进行图像合并得到第二合并图像，将所述第一合并图像和所述第二合并图像进行图像合并得到第三合并图像，将所述第一校正图像的水面部分图像和所述第三校正图像的水面部分图像补全至所述第三合并图像得到所述最终合并图像。

根据本发明的第一方面，所述畸变校正包括以下步骤：

对第一输入图像标定到黑白格相间的棋盘格中进行标定处理，得到标定图像；

提取所述标定图像的内角点信息；

提取所述标定图像的亚像素角点信息；

根据所述内角点信息和所述亚像素角点信息得到摄像头的内参系数和外参系数；

根据所述内参系数和所述外参系数得到畸变映射；

根据所述畸变映射对所述第一输入图像进行校正得到校正图像；

其中，所述第一输入图像包括所述第一图像、所述第二图像和所述第三图像。

根据本发明的第一方面，所述图像分割包括以下步骤：

根据第一权重值和第二权重值对第二输入图像进行图像分割，得到第一分割图像和第二分割图像，其中，W1+W2＝1，W1为所述第一权重值，W2为所述第二权重值，所述第一权重值和所述第二权重值是根据历史数据得到的，所述第一分割图像的宽度和所述第二分割图像的宽度均为所述第二输入图像的宽度，所述第一分割图像的高度为所述第二输入图像的高度与所述第一权重值之积，所述第二分割图像的高度为所述第二输入图像的高度与所述第二权重值之积，所述第二输入图像包括所述第一校正图像、所述第二校正图像和所述第三校正图像。

根据本发明的第一方面，所述特征提取包括以下步骤：

由第三输入图像构建Hessian矩阵并生成兴趣点；

将所述第三输入图像通过高斯模糊系数逐层增大的盒式滤波器，构建尺度空间；

根据所述兴趣点与二维图像空间和尺度空间邻域内的像素点进行比较，定位特征点；

统计所述特征点的圆形邻域内的harr小波特征，确认特征点主方向；

在所述特征点周围沿着所述特征点主方向取矩形区域块，在所述矩形区域块的每个子区域统计像素点的水平方向和垂直方向的harr小波特征，生成由特征向量构成的特征矩阵；

其中所述第三输入图像包括所述第一置零预处理图像、所述第二校正图像的水上部分图像、所述第二校正图像的水下部分图像和所述第三置零预处理图像。

根据本发明的第一方面，所述特征匹配包括以下步骤：

将输入的两个特征矩阵中其中一个的特征向量和另一个的特征向量逐行对应地进行欧式距离比较计算，输出欧式距离最短的特征匹配向量对。

根据本发明的第一方面，所述透视变换包括以下步骤:

由特征匹配向量所对应的坐标关系得到单映射变换矩阵；

根据所述单映射变换矩阵对第四输入图像进行变换以矫正图像视角，并得到透视变换图像；

其中所述第四输入图像包括所述第一置零预处理图像和所述第三置零预处理图像。

根据本发明的第一方面，所述单映射变换矩阵为3*3矩阵；

所述透视变换图像的像素点为：

其中，D₁_x_i为所述透视变换图像的横坐标，D₁_y_i为所述透视变换图像的纵坐标，h₁₁、h₁₂、h₁₃、h₂₁、h₂₂、h₂₃、h₃₁、h₃₂、h₃₃为所述单映射变换矩阵的元素；x_i为所述第四输入图像的像素点的横坐标，y_i为所述第四输入图像的像素点的纵坐标。

本发明的第二方面，一种水下图像拼接装置，包括：

图像获取模块，所述图像获取模块包括水上摄像头、水面摄像头和水下摄像头，所述水上摄像头用于获取第一图像，所述水面摄像头用于获取第二图像，所述水下摄像头用于获取第三图像；

畸变校正模块，用于对所述第一图像、所述第二图像和所述第三图像进行畸变校正，对应得到第一校正图像、第二校正图像和第三校正图像；

图像分割模块，用于将所述第一校正图像、所述第二校正图像和所述第三校正图像进行图像分割，对应得到所述第一校正图像的水上部分图像、所述第一校正图像的水面部分图像、所述第二校正图像的水上部分图像、所述第二校正图像的水下部分图像、所述第三校正图像的水面部分图像和所述第三校正图像的水下部分图像；

像素置零模块，用于将所述第一校正图像中对应所述第一校正图像的水面部分图像的像素置零得到第一置零预处理图像，将所述第三校正图像中对应所述第三校正图像的水面部分图像的像素置零得到第三置零预处理图像；

特征提取模块，用于对所述第一置零预处理图像、所述第二校正图像的水上部分图像、所述第二校正图像的水下部分图像和所述第三置零预处理图像进行特征提取，对应得到第一特征矩阵、第二特征矩阵、第三特征矩阵和第四特征矩阵；

特征匹配模块，用于将所述第一特征矩阵和所述第二特征矩阵进行特征匹配得到第一特征匹配向量对，将所述第三特征矩阵和所述第四特征矩阵进行特征匹配得到第二特征匹配向量对；

透视变换模块，用于根据所述第一特征匹配向量对将所述第一置零预处理图像进行透视变换得到第一透视变换图像，根据所述第二特征匹配向量对将所述第三置零预处理图像进行透视变换得到第二透视变换图像；

图像合并模块，用于根据所述第一透视变换图像、所述第二校正图像的水上部分图像、所述第二透视变换图像、所述第二校正图像的水下部分图像、所述第一校正图像的水面部分图像和所述第三校正图像的水面部分图像得到最终合并图像；

显示模块，用于显示最终合并图像。

本发明的第三方面，存储介质存储有计算机可执行指令，所述计算机可执行指令被控制处理器执行时实现如本发明第一方面所述的水下图像拼接方法。

上述方案至少具有以下的有益效果：通过拼接水上摄像头、水面摄像头和水下摄像头的图像，能得到反映水上水下信息的超广成像角度的图像，能更好帮助航海员获取更多信息；另外，通过该方法得到的图像，能正确地拼接图像，图像中的物体不会因为水的反射和折射而变形，且水上水下的物体在拼接后的最终合并图像能一一位置对应，失真率低，图像还原度高，能帮助航海员正确判断水上水下情况，减少航海意外。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

下面结合附图和实例对本发明作进一步说明。

图1是本发明实施例一种水下图像拼接方法的流程图；

图2是本发明实施例一种水下图像拼接装置的结构图；

图3是本发明实施例一种水下图像拼接装置的另一结构图；。

具体实施方式

本部分将详细描述本发明的具体实施例，本发明之较佳实施例在附图中示出，附图的作用在于用图形补充说明书文字部分的描述，使人能够直观地、形象地理解本发明的每个技术特征和整体技术方案，但其不能理解为对本发明保护范围的限制。

在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。

本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。

参照图1，本发明的第一方面的实施例，提供了一种水下图像拼接方法。

水下图像拼接方法包括以下步骤：

步骤S100、获取水上摄像头11拍摄的第一图像、水面摄像头12拍摄的第二图像和水下摄像头13拍摄的第三图像；

步骤S200、对第一图像、第二图像和第三图像进行畸变校正，对应得到第一校正图像、第二校正图像和第三校正图像；

步骤S300、将第一校正图像、第二校正图像和第三校正图像进行图像分割，对应得到第一校正图像的水上部分图像、第一校正图像的水面部分图像、第二校正图像的水上部分图像、第二校正图像的水下部分图像、第三校正图像的水面部分图像和第三校正图像的水下部分图像；

步骤S400、将第一校正图像中对应第一校正图像的水面部分图像的像素置零得到第一置零预处理图像，将第三校正图像中对应第三校正图像的水面部分图像的像素置零得到第三置零预处理图像；

步骤S500、对第一置零预处理图像、第二校正图像的水上部分图像、第二校正图像的水下部分图像和第三置零预处理图像进行特征提取，对应得到第一特征矩阵、第二特征矩阵、第三特征矩阵和第四特征矩阵；

步骤S600、将第一特征矩阵和第二特征矩阵进行特征匹配得到第一特征匹配向量对，将第三特征矩阵和第四特征矩阵进行特征匹配得到第二特征匹配向量对；

步骤S700、根据第一特征匹配向量对将第一置零预处理图像进行透视变换得到第一透视变换图像，根据第二特征匹配向量对将第三置零预处理图像进行透视变换得到第二透视变换图像；

步骤S800、根据第一透视变换图像、第二校正图像的水上部分图像、第二透视变换图像、第二校正图像的水下部分图像、第一校正图像的水面部分图像和第三校正图像的水面部分图像得到最终合并图像。

在该实施例中，通过拼接水上摄像头11、水面摄像头12和水下摄像头13的图像，能得到反映水上水下信息的超广成像角度的图像，能更好帮助航海员获取更多信息；另外，通过该方法得到的图像，能正确地拼接图像，图像中的物体不会因为水的反射和折射而变形，且水上水下的物体在拼接后的最终合并图像能一一位置对应，失真率低，图像还原度高，能帮助航海员正确判断水上水下情况，减少航海意外。

需要说明的是，在对不同的图像进行相同处理的时候，可以通过多线程进行处理，提高处理效率。

需要说明的是，水上摄像头11整体位于水面上，且镜头所朝方向与水平面呈上倾45度角。水下摄像头13整体位于水面上，且镜头所朝方向与水平面呈下倾45度角。水面摄像头12为部分镜头位于水面上且部分镜头位于水面下的摄像头。

由于由水面摄像头12拍摄的第二图像包含有较多信息的水上部分图像和水下部分图像，其能帮助第一图像和第三图像的拼接。如果仅仅由第一图像和第三图像拼接，容易导致失真率增大；这是因为第一图像仅仅包含清晰的水上部分图像和极少信息的水面部分图像，第三图像仅仅包含清晰的水下部分图像和极少信息的水面部分图像。在仅由第一图像和第三图像得到的图像特征进行特征匹配，则因为水体和空气间光的传播存在折射和反射的原因，两幅图像的相同交汇处并没有大量相似的特征点，容易导致匹配错误。

本发明的第一方面的某些实施例，对于步骤S200，畸变校正包括以下步骤：

对第一输入图像标定到黑白格相间的棋盘格中进行标定处理，得到标定图像；

提取标定图像的内角点信息；

提取标定图像的亚像素角点信息；

根据内角点信息和亚像素角点信息得到摄像头的内参系数和外参系数；

根据内参系数和外参系数得到畸变映射；

根据畸变映射对第一输入图像进行校正得到校正图像；

其中，第一输入图像包括第一图像、第二图像和第三图像，则输出的校正图像对应为第一校正图像、第二校正图像和第三校正图像。

当然在其他实施例中，也可以采用其他畸变校正方法，例如球面投影透视法等。

通过畸变校正能使得图片更适应人的观察习惯，也能使得后续的特征提取和特征匹配效果更佳。

本发明的第一方面的某些实施例，对于步骤S300，图像分割包括以下步骤：

根据第一权重值和第二权重值对第二输入图像进行图像分割，得到第一分割图像和第二分割图像，其中，W1+W2＝1，W1为第一权重值，W2为第二权重值，第一权重值和第二权重值是根据历史数据得到的，由人为设定；第一分割图像的宽度和第二分割图像的宽度均为第二输入图像的宽度，第一分割图像的高度为第二输入图像的高度与第一权重值之积，第二分割图像的高度为第二输入图像的高度与第二权重值之积，第二输入图像包括第一校正图像、第二校正图像和第三校正图像。

通过图像分割能将第一图像分割出第一校正图像的水上部分图像和第一校正图像的水面部分图像；将第二图像分割出第二校正图像的水上部分图像和第二校正图像的水下部分图像；将第三图像分割出第三校正图像的水面部分图像和第三校正图像的水下部分图像。

对于步骤S400，将第一校正图像中对应第一校正图像的水面部分图像的像素置零得到第一置零预处理图像，能避免第一校正图像的水面部分图像对后续的特征匹配的影响。

将第三校正图像中对应第三校正图像的水面部分图像的像素置零得到第三置零预处理图像，能避免第三校正图像的水面部分图像对后续的特征匹配的影响。

像素置零过程也是一个特征选择的过程。

本发明的第一方面的某些实施例，对于步骤S500，特征提取包括以下步骤：

由第三输入图像构建Hessian矩阵并生成兴趣点；

将第三输入图像通过高斯模糊系数逐层增大的盒式滤波器，构建尺度空间；

根据兴趣点与二维图像空间和尺度空间邻域内的像素点进行比较，定位特征点；

统计特征点的圆形邻域内的harr小波特征，确认特征点主方向；

在特征点周围沿着特征点主方向取矩形区域块，在矩形区域块的每个子区域统计像素点的水平方向和垂直方向的harr小波特征，生成由特征向量构成的特征矩阵；具体地，特征矩阵是一个具有尺度不变性的i行64列的矩阵。

其中第三输入图像包括第一置零预处理图像、第二校正图像的水上部分图像、第二校正图像的水下部分图像和第三置零预处理图像。

当然，在其他实施例中，还可以通过其他方法提取图像特征，例如SIFT特征提取法、ORB特征提取法、Gibbs随机场模型法、傅里叶形状描述符法等。

本发明的第一方面的某些实施例，对于步骤S600，特征匹配包括以下步骤：

将输入的两个特征矩阵中其中一个的特征向量和另一个的特征向量逐行对应地进行欧式距离比较计算，输出欧式距离最短的特征匹配向量对。

具体地，例如对于第一特征矩阵和第二特征矩阵，将第一特征矩阵的第一行特征向量与第二特征矩阵的每一行特征向量计算欧式距离，将第一特征矩阵的第二行特征向量与第二特征矩阵的每一行特征向量计算欧式距离，直至将第一特征矩阵的最后一行特征向量与第二特征矩阵的每一行特征向量计算欧式距离。然后将所有计算得到的欧式距离进行比较，将其中欧式距离最短的特征匹配向量对作为目标输出。对于第三特征矩阵和第四特征矩阵，采用同上的执行操作。

特征匹配具体可以通过以下公式表示：

其中r_1m和r_2n分别为其中一个特征矩阵的第m行特征向量和另一个特征矩阵的第n行特征向量。

本发明的第一方面的某些实施例，对于步骤S700，透视变换包括以下步骤:

由特征匹配向量所对应的坐标关系得到单映射变换矩阵；

根据单映射变换矩阵对第四输入图像进行变换以矫正图像视角，并得到透视变换图像；

其中第四输入图像包括第一置零预处理图像和第三置零预处理图像。

本发明的第一方面的某些实施例，单映射变换矩阵为3*3矩阵；透视变换图像的像素点为：

其中，D₁_x_i为透视变换图像的横坐标，D₁_y_i为透视变换图像的纵坐标，h₁₁、h₁₂、h₁₃、h₂₁、h₂₂、h₂₃、h₃₁、h₃₂、h₃₃为单映射变换矩阵的元素；x_i为第四输入图像的像素点的横坐标，y_i为第四输入图像的像素点的纵坐标。

本发明的第一方面的某些实施例，对于步骤S800，其具体为：将第一透视变换图像和第二校正图像的水上部分图像进行图像合并得到第一合并图像，将第二透视变换图像和第二校正图像的水下部分图像进行图像合并得到第二合并图像，然后对第一合并图像和第二合并图像的接合处使用像素加权平均法进行图像融合以去除接合处的图像裂缝；将第一合并图像和第二合并图像进行图像合并得到第三合并图像，同样地对第三合并图像的接合处使用像素加权平均法进行图像融合；将第一校正图像的水面部分图像和第三校正图像的水面部分图像补全至第三合并图像得到最终合并图像。

参照图2和图3，本发明的第二方面的实施例，提供了一种水下图像拼接装置，水下图像拼接装置应用了上述的第一方面的实施例的水下图像拼接方法。

水下图像拼接装置包括：

图像获取模块10，图像获取模块包括水上摄像头11、水面摄像头12和水下摄像头13，水上摄像头11用于获取第一图像，水面摄像头12用于获取第二图像，水下摄像头13用于获取第三图像；

畸变校正模块20，用于对第一图像、第二图像和第三图像进行畸变校正，对应得到第一校正图像、第二校正图像和第三校正图像；

图像分割模块30，用于将第一校正图像、第二校正图像和第三校正图像进行图像分割，对应得到第一校正图像的水上部分图像、第一校正图像的水面部分图像、第二校正图像的水上部分图像、第二校正图像的水下部分图像、第三校正图像的水面部分图像和第三校正图像的水下部分图像；

像素置零模块40，用于将第一校正图像中对应第一校正图像的水面部分图像的像素置零得到第一置零预处理图像，将第三校正图像中对应第三校正图像的水面部分图像的像素置零得到第三置零预处理图像；

特征提取模块50，用于对第一置零预处理图像、第二校正图像的水上部分图像、第二校正图像的水下部分图像和第三置零预处理图像进行特征提取，对应得到第一特征矩阵、第二特征矩阵、第三特征矩阵和第四特征矩阵；

特征匹配模块60，用于将第一特征矩阵和第二特征矩阵进行特征匹配得到第一特征匹配向量对，将第三特征矩阵和第四特征矩阵进行特征匹配得到第二特征匹配向量对；

透视变换模块70，用于根据第一特征匹配向量对将第一置零预处理图像进行透视变换得到第一透视变换图像，根据第二特征匹配向量对将第三置零预处理图像进行透视变换得到第二透视变换图像；

图像合并模块80，用于根据第一透视变换图像、第二校正图像的水上部分图像、第二透视变换图像、第二校正图像的水下部分图像、第一校正图像的水面部分图像和第三校正图像的水面部分图像得到最终合并图像；

显示模块90，用于显示最终合并图像，便于航海员直观地观察。

在该实施例中，通过拼接水上摄像头11、水面摄像头12和水下摄像头13的图像，能得到反映水上水下信息的超广成像角度的图像，能更好帮助航海员获取更多信息；另外，通过该方法得到的图像，能正确地拼接图像，图像中的物体不会因为水的反射和折射而变形，且水上水下的物体在拼接后的最终合并图像能一一位置对应，失真率低，图像还原度高，能帮助航海员正确判断水上水下情况，减少航海意外。

需要说明的是，主控器21包括畸变校正模块20、图像分割模块30、像素置零模块40、特征提取模块50、特征匹配模块60、透视变换模块70和图像合并模块80。

畸变校正模块20、图像分割模块30、像素置零模块40、特征提取模块50、特征匹配模块60、透视变换模块70和图像合并模块80可以是由电子元件组成的功能逻辑电路，也可以是由代码形成的逻辑软件。

需要说明的是，本发明的第二方面所提供的水下图像拼接采用如本发明的第一方面所提供的水下图像拼接方法，具有相同的技术方案，解决相同的技术问题，具有相同的技术效果，在此不再详述。

本发明的第三方面的实施例，提供了存储介质。存储介质存储有计算机可执行指令，计算机可执行指令被控制处理器执行时实现如本发明第一方面的水下图像拼接方法。

存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。

以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，都应属于本发明的保护范围。

Claims (10)

1.一种水下图像拼接方法，其特征在于，包括以下步骤：

获取水上摄像头拍摄的第一图像、水面摄像头拍摄的第二图像和水下摄像头拍摄的第三图像；

对所述第一图像、所述第二图像和所述第三图像进行畸变校正，对应得到第一校正图像、第二校正图像和第三校正图像；

将所述第一校正图像、所述第二校正图像和所述第三校正图像进行图像分割，对应得到所述第一校正图像的水上部分图像、所述第一校正图像的水面部分图像、所述第二校正图像的水上部分图像、所述第二校正图像的水下部分图像、所述第三校正图像的水面部分图像和所述第三校正图像的水下部分图像；

将所述第一校正图像中对应所述第一校正图像的水面部分图像的像素置零得到第一置零预处理图像，将所述第三校正图像中对应所述第三校正图像的水面部分图像的像素置零得到第三置零预处理图像；

对所述第一置零预处理图像、所述第二校正图像的水上部分图像、所述第二校正图像的水下部分图像和所述第三置零预处理图像进行特征提取，对应得到第一特征矩阵、第二特征矩阵、第三特征矩阵和第四特征矩阵；

将所述第一特征矩阵和所述第二特征矩阵进行特征匹配得到第一特征匹配向量对，将所述第三特征矩阵和所述第四特征矩阵进行特征匹配得到第二特征匹配向量对；

根据所述第一特征匹配向量对将所述第一置零预处理图像进行透视变换得到第一透视变换图像，根据所述第二特征匹配向量对将所述第三置零预处理图像进行透视变换得到第二透视变换图像；根据所述第一透视变换图像、所述第二校正图像的水上部分图像、所述第二透视变换图像、所述第二校正图像的水下部分图像、所述第一校正图像的水面部分图像和所述第三校正图像的水面部分图像得到最终合并图像。

2.根据权利要求1所述的一种水下图像拼接方法，其特征在于，所述根据所述第一透视变换图像、所述第二校正图像的水上部分图像、所述第二透视变换图像、所述第二校正图像的水下部分图像、所述第一校正图像的水面部分图像和所述第三校正图像的水面部分图像得到最终合并图像具体为：将所述第一透视变换图像和所述第二校正图像的水上部分图像进行图像合并得到第一合并图像，将所述第二透视变换图像和所述第二校正图像的水下部分图像进行图像合并得到第二合并图像，将所述第一合并图像和所述第二合并图像进行图像合并得到第三合并图像，将所述第一校正图像的水面部分图像和所述第三校正图像的水面部分图像补全至所述第三合并图像得到所述最终合并图像。

3.根据权利要求1所述的一种水下图像拼接方法，其特征在于，所述畸变校正包括以下步骤：

对第一输入图像标定到黑白格相间的棋盘格中进行标定处理，得到标定图像；

提取所述标定图像的内角点信息；

提取所述标定图像的亚像素角点信息；

根据所述内角点信息和所述亚像素角点信息得到摄像头的内参系数和外参系数；

根据所述内参系数和所述外参系数得到畸变映射；

根据所述畸变映射对所述第一输入图像进行校正得到校正图像；

其中，所述第一输入图像包括所述第一图像、所述第二图像和所述第三图像。

4.根据权利要求1所述的一种水下图像拼接方法，其特征在于，所述图像分割包括以下步骤：

根据第一权重值和第二权重值对第二输入图像进行图像分割，得到第一分割图像和第二分割图像，其中，W1+W2＝1，W1为所述第一权重值，W2为所述第二权重值，所述第一权重值和所述第二权重值是根据历史数据得到的，所述第一分割图像的宽度和所述第二分割图像的宽度均为所述第二输入图像的宽度，所述第一分割图像的高度为所述第二输入图像的高度与所述第一权重值之积，所述第二分割图像的高度为所述第二输入图像的高度与所述第二权重值之积，所述第二输入图像包括所述第一校正图像、所述第二校正图像和所述第三校正图像。

5.根据权利要求1所述的一种水下图像拼接方法，其特征在于，所述特征提取包括以下步骤：

由第三输入图像构建Hessian矩阵并生成兴趣点；

将所述第三输入图像通过高斯模糊系数逐层增大的盒式滤波器，构建尺度空间；

根据所述兴趣点与二维图像空间和尺度空间邻域内的像素点进行比较，定位特征点；

统计所述特征点的圆形邻域内的harr小波特征，确认特征点主方向；

在所述特征点周围沿着所述特征点主方向取矩形区域块，在所述矩形区域块的每个子区域统计像素点的水平方向和垂直方向的harr小波特征，生成由特征向量构成的特征矩阵；

其中所述第三输入图像包括所述第一置零预处理图像、所述第二校正图像的水上部分图像、所述第二校正图像的水下部分图像和所述第三置零预处理图像。

6.根据权利要求1所述的一种水下图像拼接方法，其特征在于，所述特征匹配包括以下步骤：

将输入的两个特征矩阵中其中一个的特征向量和另一个的特征向量逐行对应地进行欧式距离比较计算，输出欧式距离最短的特征匹配向量对。

7.根据权利要求1所述的一种水下图像拼接方法，其特征在于，所述透视变换包括以下步骤:

由特征匹配向量所对应的坐标关系得到单映射变换矩阵；

根据所述单映射变换矩阵对第四输入图像进行变换以矫正图像视角，并得到透视变换图像；

其中所述第四输入图像包括所述第一置零预处理图像和所述第三置零预处理图像。

8.根据权利要求7所述的一种水下图像拼接方法，其特征在于，所述单映射变换矩阵为3*3矩阵；

所述透视变换图像的像素点为：

其中，D_1-x_i为所述透视变换图像的横坐标，D_1-y_i为所述透视变换图像的纵坐标，h₁₁、h₁₂、h₁₃、h₂₁、h₂₂、h₂₃、h₃₁、h₃₂、h₃₃为所述单映射变换矩阵的元素；x_i为所述第四输入图像的像素点的横坐标，y_i为所述第四输入图像的像素点的纵坐标。

9.一种水下图像拼接装置，其特征在于，包括：

图像获取模块，所述图像获取模块包括水上摄像头、水面摄像头和水下摄像头，所述水上摄像头用于获取第一图像，所述水面摄像头用于获取第二图像，所述水下摄像头用于获取第三图像；

畸变校正模块，用于对所述第一图像、所述第二图像和所述第三图像进行畸变校正，对应得到第一校正图像、第二校正图像和第三校正图像；

图像分割模块，用于将所述第一校正图像、所述第二校正图像和所述第三校正图像进行图像分割，对应得到所述第一校正图像的水上部分图像、所述第一校正图像的水面部分图像、所述第二校正图像的水上部分图像、所述第二校正图像的水下部分图像、所述第三校正图像的水面部分图像和所述第三校正图像的水下部分图像；

像素置零模块，用于将所述第一校正图像中对应所述第一校正图像的水面部分图像的像素置零得到第一置零预处理图像，将所述第三校正图像中对应所述第三校正图像的水面部分图像的像素置零得到第三置零预处理图像；

特征提取模块，用于对所述第一置零预处理图像、所述第二校正图像的水上部分图像、所述第二校正图像的水下部分图像和所述第三置零预处理图像进行特征提取，对应得到第一特征矩阵、第二特征矩阵、第三特征矩阵和第四特征矩阵；

特征匹配模块，用于将所述第一特征矩阵和所述第二特征矩阵进行特征匹配得到第一特征匹配向量对，将所述第三特征矩阵和所述第四特征矩阵进行特征匹配得到第二特征匹配向量对；

透视变换模块，用于根据所述第一特征匹配向量对将所述第一置零预处理图像进行透视变换得到第一透视变换图像，根据所述第二特征匹配向量对将所述第三置零预处理图像进行透视变换得到第二透视变换图像；

图像合并模块，用于根据所述第一透视变换图像、所述第二校正图像的水上部分图像、所述第二透视变换图像、所述第二校正图像的水下部分图像、所述第一校正图像的水面部分图像和所述第三校正图像的水面部分图像得到最终合并图像；

显示模块，用于显示所述最终合并图像。

10.存储介质，其特征在于，所述存储介质存储有计算机可执行指令，所述计算机可执行指令被控制处理器执行时实现如权利要求1至8任一项所述的水下图像拼接方法。

Images