CN112734921B - 一种基于声呐和视觉图像拼接的水下三维地图构建方法 - Google Patents

Abstract

本发明提出一种基于声呐和视觉图像拼接的水下三维地图构建方法，包括：利用搭载有机械扫描测距声呐和单目相机的水下机器人同时对水下环境进行视觉图像和声呐测距数据采集；关联声呐测距数据与视觉成像数据，对每帧图像进行扩维，在二维地形图像的基础上，加入声呐测距数据构建三维立体地图；采用基于点线特征和网格的局部单应矩阵模型的图像拼接算法，进行多帧图像扩展拼接，实现三维全景地图合成。本发明采用多传感器构建水下地图，互补性强，克服了使用广角相机存在边缘畸变严重的问题，构建具有高可视化效果和准确度的三维全景地图。

Description

一种基于声呐和视觉图像拼接的水下三维地图构建方法

技术领域

本发明属于水下机器人技术领域，尤其涉及一种基于声呐和视觉图像拼接的水下三维地图构建方法。

背景技术

随着海洋资源越来越为人类所需要，海洋开发需求的日益增大，在许多广袤的海域和复杂水下环境中，人类无法到达，需要依靠水下机器人完成水下环境的探测及作业任务。由于水下环境的复杂性，雷达，激光传感器在水中的应用被极大的限制，电磁波信号在水下环境中会快速衰减，无法进行有效侦测。视觉成像在水下环境探测中扮演重要作用，可代替人类实现水下地形的观察和记录，声波在水中可以进行远距离传输、观测和测量，具有得天独厚的条件优势。水下机器人作业时，如果无法获知环境信息，极易与地形或障碍物发生碰撞。构建有效的实时水下环境地图，对机器人的定位的路径规划水下作业极为重要。水下机器人的实时定位和地图构建仍是当前研究重点和难点，迫切需要一种有效和稳定的水下地图构建方法。

现有技术中，公开号为CN111292418A的专利申请公开了一种浑浊水体三维地图构建方法，该方法以水下机器人为载体，利用单目相机对浑浊水体环境进行图像采集，并利用图像增强算法生成增强图像，进而完成水下三维地图的构建。该方案仅仅采用相机构建水下地图，在浑浊水体中相机的视距有限，可视范围小，适应性不强，无法构建出高精度三维地图。

发明内容

本发明的目的在于克服现有技术中的不足，提供一种适应性强，精准度高的基于声呐和视觉图像拼接的水下三维地图构建方法。

为实现上述目的，采用了以下技术方案：

一种基于声呐和视觉图像拼接融合的水下三维地图构建方法，该方法包括以下步骤：

步骤1：利用搭载有机械扫描测距声呐和单目相机的水下机器人同时对水下环境进行视觉图像和声呐测距数据采集；

步骤2：关联声呐测距数据与单帧图片成像数据，对每帧图像进行扩维，在二维地形图像的基础上，结合声呐探测数据构建三维立体地图；其中，关联声呐测距数据与单帧图片成像数据，对每帧图像进行扩维，包括：采用双线性插值法，对非测距采样点的测距值进行近似，对于图像边缘的非采样点，以距离该点最近的采样点的测距值作为其测距值；

步骤3：采用基于点线特征融合的图像拼接算法，进行多帧图像扩展拼接，实现三维全景地图合成。

进一步地，利用搭载有机械扫描测距声呐和单目相机的水下机器人同时对水下环境进行视觉图像和声呐测距数据采集之前，还包括：

对声呐与相机参数设定，包括：根据单目相机的水平视场角

和垂直视场角

设定声呐水平扫描次数n_l和垂直扫描次数n_v，声呐水平扫描间隔角为

垂直扫描间隔角为

单帧成像时声呐扫描测距总次数n＝n_l*n_v；

对相机视场与声呐扫描范围标定，包括：调整声呐在水平角度为

垂直角度为2θ_v的矩形范围内扫描，使得声呐扫描范围中心点与相机成像中心点所在位置重合，保证声呐扫描区域与相机成像区域一致；利用使相机成像具有n_l*n_v个同样大小栅格的标定板，计算每个θ_(j，k)值：

其中，θ_(j，k)表示第(j，k)个栅格中心点和相机镜头的连线l_(j，k)与标定板中心和相机镜头中心的连线

之间的夹角，其中，j，k均为整数且j∈[1，n_l]，k∈[1，n_v]；h表示相机到标定板的距离，(j，k)表示第j行，第k列的栅格中心；

设计声呐扫描轨迹，包括：声呐每轮扫过的范围，完整覆盖整个相机成像区域。

进一步地，对水下环境进行声呐测距数据采集，包括：

声呐根据扫描轨迹测距n次，即完成第i轮的n次测距过程，同时相机成像第i帧，水下机器人在世界坐标系下(x_i，y_i，z_i)点视觉图像及图像中设定n个采样点的声呐测距数据采集结束；采集的声呐测距数据包括水下机器人位置(x_i，y_i，z_i)和运动坐标系下偏航角ψ，图像帧i及该帧图像中n个采样点的测距值L_(j，k)，每帧采集过程中水下机器人在(x_i，y_i，z_i)点处于静止状态；

对采集到的声呐测距值L_(j，k)进行数据处理，得到每个采样点的实际测距值m_(j，k)；

m_(j，k)＝L_(j，k)*cosθ_(j，k)。

进一步地，采用双线性插值法，对非测距采样点的测距值进行近似，包括：

在第i帧图像中的非测距采样点p_(x，y)，其处在以其相邻的四个测距采样点为顶点构成的最小矩形中，四个顶点分别为p_1(x1，y1)，p_2(x2，y2)，p_3(x3，y3)，p_4(x4，y4)，对应测距值分别为m₁，m₂，m₃，m₄；则非测距采样点p_(x，y)的测距值m近似为：

其中：

进一步地，利用模板匹配算法快速检测多帧图像之间的重叠区域，包括：

S1：在目标图像中选择模板图像R1，R1是具有长度b，宽度c和左上角坐标(0，a)的矩形区域，a，

的矩形，h和w分别是目标图像的高度和宽度；

S2：使用归一化相关系数方法找到与参考图片中的模板图像R1最相似的区域R2，R_l是R2的左上角的水平坐标值；

S3：在参考图像中选择模板图像R3，R3是一个矩形，其长度为b，宽度为c，右下角的坐标(w，d)，

S4：通过使用归一化相关方法找到区域R4与目标图像中的模板图像R3最相似，R_r是R4的右下角的水平坐标值；

S5：输出重叠区域的左右边界范围[R_l，R_r]。

进一步地，采用基于点线特征融合的图像拼接算法，进行多帧图像扩展拼接，实现三维全景地图合成，包括：

利用模板匹配算法快速检测多帧图像之间的重叠区域，并且根据匹配的重叠区域，确定各帧图像之间的相对位置；

提取重叠区域的点特征和线段特征，并分别进行点特征、线特征匹配；

求出图像之间的特征匹配之后，建立投影变换模型，利用该投影变换模型将互相之间有重叠的图像通过几何变换映射到公共的坐标系，使得重叠部分被配准到相同的位置；利用线段约束和基于网格的局部单应矩阵模型，减小拼接后的投影变形，完成图像配准；拼接重叠部分的测距值取重叠帧原始测距值的平均值，得到公共坐标系下的全景拼接地图。

与现有技术相比，本发明的优点在于：

1、基于声呐和视觉图像拼接的水下三维地图构建方法实现多传感器之间的性能优势互补，摆脱了仅基于相机构建地图时精度低的限制，提高水下机器人地图构建的精准度和稳定性。

2、基于网格的局部单应矩阵模型的图像拼接技术实现了全景视野构建，克服了广角摄像机成像边缘畸变严重的问题，对应比例构建地图，提高了地图的可视化效果和准确度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例中一种基于前视声呐和图像拼接技术融合的实时水下地图构建方法的流程图；

图2是本发明实施例中设定的一种声呐扫描轨迹示意图；

图3是本发明实施例中重叠区域检测方法示意图；

图4是本发明实施例中图像拼接算法原理图；

图5是本发明实施例中搭载相机和声呐的水下机器人海域部署示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本发明提出了一种基于前视声呐和图像拼接技术融合的实时水下地图构建方法，涉及水下机器人技术，SLAM技术，声呐测距技术，图像处理技术。为了实现高质量的地图构建效果，对机器人在水下的运动控制、视觉和声呐传感器的性能具有较高的要求。同时，本发明的实现依赖于计算机图像数据处理软件的应用。

参见图1，其示出了本发明实施例中一种基于前视声呐和图像拼接技术融合的实时水下地图构建方法的流程图，本发明实施例中，水下机器人同时搭载相机和声呐传感器，机器人行进中传感器扫描水域地形，同步采集图像和声呐测距数据。该方法包括：

步骤一：对单目相机与声呐扫描参数进行设定及标定，并设计声呐每轮测距轨迹。

(1)参数设定：根据单目相机的水平视场角

和垂直视场角

设定声呐水平扫描次数n_l和垂直扫描次数n_v，声呐水平扫描间隔角为

垂直扫描间隔角为

单帧成像时声呐扫描测距总次数n＝n_l*n_v。

本实施例中，采用定焦相机水平视场角50°，垂直视场角30°，设定声呐水平扫描次数为5次，垂直扫描次数为3次，则声呐水平扫描间隔角和垂直扫描间隔角均为10°，单帧成像时声呐扫描测距总次数n＝15。

(2)相机视场与声呐扫描范围标定：调整声呐在水平角度为

垂直角度为2θ_v的矩形范围内扫描，使得声呐扫描范围中心点与相机成像中心点所在位置重合，保证声呐扫描区域与相机成像区域一致。利用使相机成像具有n_l*n_v个同样大小栅格的标定板，计算每个θ_(j，k)值，θ_(j，k)表示第(j，k)个栅格中心点和相机镜头的连线l_(j，k)与标定板中心和相机镜头中心的连线

之间的夹角，其中，j，k均为整数且j∈[1，n_l]，k∈[1，n_v]；

式中，h表示相机到标定板的距离，(j，k)表示第j行，第k列的栅格中心。

本实施例中，利用使相机成像具有5*3个同样大小栅格的标定板，计算每个θ_(j，k)值，θ_(3，1)＝0°。

(3)设计声呐扫描轨迹：声呐每轮扫过的范围，完整覆盖整个相机成像区域。本实施例中，设计的声呐扫描轨迹如图2所示。

步骤二：水下图像及测距数据采集

如图5所示，其示出了本发明实施例中搭载相机和声呐的水下机器人海域部署示意图，水下机器人按照巡航轨迹进行定点巡航，如在巡航点1对水下环境图像和测距数据进行采集，行进至巡航点2之后再次对水下环境图像和测距数据进行采集，两个巡航点之间的视场部分重叠。

水下机器人进行定点巡航，对水下环境图像和测距数据进行采集。具体地，声呐根据扫描轨迹测距n次，即完成第i轮的n次测距过程，同时相机成像第i帧，机器人在世界坐标系下(x_i，y_i，z_i)点视觉图像及图像中设定n个采样点的声呐测距数据采集结束。数据包括机器人位置(x_i，y_i，z_i)和运动坐标系下偏航角ψ，图像帧i及该帧图像中n个采样点的测距值L_(j，k)，采集过程中机器人在(x_i，y_i，z_i)点处于静止状态。

由于声呐测距数据并非垂直距离，所以对于采集到的测距值L_(j，k)需要进行数据处理，得到实际测距值m_(j，k)，具体地，每个采样点的实际测距值：

m_(j，k)＝L_(j，k)*cosθ_(j，k)。

在每次声呐测距完成后，将测距数据处理后的实际测距值m_(j，k)与采样点进行关联。

步骤三：关联声呐测距数据与视觉成像数据，对每帧图像进行扩维，在二维地形图像的基础上，加入声呐测距数据构建三维立体地图。

在具体实施时，采用双线性插值法，通过式(2)，式(3)，式(4)对非采样点测距值进行近似计算并实现数据关联，完成单帧图像数据扩维，将平面图像扩展为具有深度信息的三维地形图。

采用双线性插值法，对非测距采样点的测距值进行近似，方法如下：

在第i帧图像中的非测距采样点p_(x，y)，其处在以其相邻的四个测距采样点为顶点构成的最小矩形中，四个顶点分别为p_1(x1，y1)，p_2(x2，y2)，p_3(x3，y3)，p_4(x4，y4)，对应测距值分别为m₁，m₂，m₃，m₄。则非测距采样点p_(x，y)的测距值m近似为：

其中：

对于图像边缘的非采样点，其测距值无法由四个采样点通过双线性插值法近似计算，以距离该点最近的采样点的测距值定义其测距值。

步骤四：采用基于点线特征和网格的局部单应矩阵的图像拼接算法，进行多帧图像扩展拼接，实现三维全景地图合成。

在进行图像拼接与数据融合之后，还包括判断数据是否有效，如果有效，则判断水下机器人的巡航任务是否完全，如果完成，则生成三维全景地图，如果未完成，则继续执行水下机器人定点巡航，如果数据无效，则返回执行图像与测距数据采集。

在具体实施时，多帧图像扩展拼接具体包括以下步骤：

(A)重叠区域检测：图像拼接基于多帧图像之间的重叠部分，为了减小图像拼接过程中计算成本和特征匹配的异常值，首先利用模板匹配算法快速检测输入的多帧图像之间的重叠区域，并且根据匹配的重叠区域，确定各帧图像之间的相对位置。

如图3所示，图像1为参考图像，图像2为目标图像，两条竖线之间部分为两张图片重叠区域。

重叠区域检测的步骤如下：

S1：在目标图像中选择模板图像R1，R1是具有长度b，宽度c和左上角坐标(0，a)的矩形区域，a，

的矩形。h和w分别是目标图像的高度和宽度。

S2：使用归一化相关系数方法找到与参考图片中的模板图像R1最相似的区域R2，R_l是R2的左上角的水平坐标值。

S3：在参考图像中选择模板图像R3，R3是一个矩形，其长度为b，宽度为c，右下角的坐标(w，d)，

S4：通过使用归一化相关方法找到区域R4与目标图像中的模板图像R3最相似，R_r是R4的右下角的水平坐标值。

S5：最后，输出重叠区域的左右边界范围[R_l，R_r]。

(B)特征匹配：提取重叠区域的点特征和线段特征，并进行点、线特征匹配，线特征匹配可以减小甚至消除图像拼接过程中非重叠区域的畸变，消除未匹配成功的特征信息以减小干扰特征对于投影变换的影响。

(C)图像配准：求出图像之间的特征匹配之后，建立投影变换模型，利用该投影变换模型将互相之间有重叠的图像，通过几何变换映射到公共的坐标系，使得重叠部分被配准到相同的位置，然后，利用线段约束与基于网格的局部单应矩阵模型，减小拼接后的投影变形，完成图像配准。

(D)图像配准之后，拼接重叠部分的测距值取重叠帧原始测距值的平均值，从而得到公共坐标系下的全景拼接地图。

本发明实施例的优点在于：

1、基于声呐和视觉图像拼接的水下三维地图构建方法实现多传感器之间的性能优势互补，摆脱了仅基于相机构建地图时精度低的限制，提高水下机器人地图构建的精准度和稳定性。

2、基于网格的局部单应矩阵模型的图像拼接技术实现了全景视野构建，克服了广角摄像机成像边缘畸变严重的问题，对应比例构建地图，提高了地图的可视化效果和准确度。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (5)

1.一种基于声呐和视觉图像拼接融合的水下三维地图构建方法，其特征在于，该方法包括以下步骤：

步骤1：利用搭载有机械扫描测距声呐和单目相机的水下机器人同时对水下环境进行视觉图像和声呐测距数据采集；

步骤2：关联声呐测距数据与单帧图片成像数据，对每帧图像进行扩维，在二维地形图像的基础上，结合声呐探测数据构建三维立体地图；其中，关联声呐测距数据与单帧图片成像数据，对每帧图像进行扩维，包括：采用双线性插值法，对非测距采样点的测距值进行近似，对于图像边缘的非采样点，以距离该点最近的采样点的测距值作为其测距值；

步骤3：采用基于点线特征融合的图像拼接算法，进行多帧图像扩展拼接，实现三维全景地图合成；

其中，利用搭载有机械扫描测距声呐和单目相机的水下机器人同时对水下环境进行视觉图像和声呐测距数据采集之前，还包括：

对声呐与相机参数设定，包括：根据单目相机的水平视场角

和垂直视场角

设定声呐水平扫描次数n_l和垂直扫描次数n_v，声呐水平扫描间隔角为

垂直扫描间隔角为

单帧成像时声呐扫描测距总次数n＝n_l*n_v；

对相机视场与声呐扫描范围标定，包括：调整声呐在水平角度为

垂直角度为2θ_v的矩形范围内扫描，使得声呐扫描范围中心点与相机成像中心点所在位置重合，保证声呐扫描区域与相机成像区域一致；利用使相机成像具有n_l*n_v个同样大小栅格的标定板，计算每个θ_(j，k)值：

其中，θ_(j，k)表示第(j，k)个栅格中心点和相机镜头的连线l_(j，k)与标定板中心和相机镜头中心的连线

之间的夹角，其中，j，k均为整数且j∈[1，n_l]，k∈[1，n_v]；h表示相机到标定板的距离，(j，k)表示第j行，第k列的栅格中心；

设计声呐扫描轨迹，包括：声呐每轮扫过的范围，完整覆盖整个相机成像区域。

2.根据权利要求1所述的一种基于声呐和视觉图像拼接融合的水下三维地图构建方法，其特征在于，对水下环境进行声呐测距数据采集，包括：

声呐根据扫描轨迹测距n次，即完成第i轮的n次测距过程，同时相机成像第i帧，水下机器人在世界坐标系下(x_i，y_i，z_i)点视觉图像及图像中设定n个采样点的声呐测距数据采集结束；采集的声呐测距数据包括水下机器人位置(x_i，y_i，z_i)和运动坐标系下偏航角ψ，图像帧i及该帧图像中n个采样点的测距值L_(j，k)，每帧采集过程中水下机器人在(x_i，y_i，z_i)点处于静止状态；

对采集到的声呐测距值L_(j，k)进行数据处理，得到每个采样点的实际测距值m_(j，k)；

m_(j，k)＝L_(j，k)*cosθ_(j，k)。

3.根据权利要求2所述的一种基于声呐和视觉图像拼接融合的水下三维地图构建方法，其特征在于，采用双线性插值法，对非测距采样点的测距值进行近似，包括：

在第i帧图像中的非测距采样点p_(x，y)，其处在以其相邻的四个测距采样点为顶点构成的最小矩形中，四个顶点分别为p_1(x1，y1)，p_2(x2，y2)，p_3(x3，y3)，p_4(x4，y4)，对应测距值分别为m₁，m₂，m₃，m₄；则非测距采样点p_(x，y)的测距值m近似为：

其中：

r₁＝(x，y₁)；

r₂＝(x，y₂)。

4.根据权利要求1所述的一种基于声呐和视觉图像拼接融合的水下三维地图构建方法，其特征在于，利用模板匹配算法快速检测多帧图像之间的重叠区域，包括：

S1：在目标图像中选择模板图像R1，R1是具有长度b，宽度c和左上角坐标(0，a)的矩形区域，

的矩形，h和w分别是目标图像的高度和宽度；

S2：使用归一化相关系数方法找到与参考图片中的模板图像R1最相似的区域R2，R_l是R2的左上角的水平坐标值；

S3：在参考图像中选择模板图像R3，R3是一个矩形，其长度为b，宽度为c，右下角的坐标(w，d)，

S4：通过使用归一化相关方法找到区域R4与目标图像中的模板图像R3最相似，R_r是R4的右下角的水平坐标值；

S5：输出重叠区域的左右边界范围[R_l，R_r]。

5.根据权利要求1所述的一种基于声呐和视觉图像拼接融合的水下三维地图构建方法，其特征在于，采用基于点线特征融合的图像拼接算法，进行多帧图像扩展拼接，实现三维全景地图合成，包括：

利用模板匹配算法快速检测多帧图像之间的重叠区域，并且根据匹配的重叠区域，确定各帧图像之间的相对位置；

提取重叠区域的点特征和线段特征，并分别进行点特征、线特征匹配；

求出图像之间的特征匹配之后，建立投影变换模型，利用该投影变换模型将互相之间有重叠的图像通过几何变换映射到公共的坐标系，使得重叠部分被配准到相同的位置；利用线段约束和基于网格的局部单应矩阵模型，减小拼接后的投影变形，完成图像配准；拼接重叠部分的测距值取重叠帧原始测距值的平均值，得到公共坐标系下的全景拼接地图。

Images