CN113837924A - 一种基于无人艇感知系统的水岸线检测方法 - Google Patents

Abstract

本申请公开了一种基于无人艇感知系统的水岸线检测方法，该方法包括：步骤1，利用设置于无人艇上的激光雷达，对河道沿岸进行扫描，并通过坐标系变换的方式，生成水岸线图像；步骤2，对水岸线图像进行边缘检测，提取边缘轮廓点，并对提取出的边缘轮廓点进行排序、划分，生成检测点区域；步骤3，依次选取检测点区域中与水岸线图像的中心点距离最近的边缘轮廓点，记作岸边点，并通过曲线拟合计算，生成岸边点对应的拟合曲线，将拟合曲线记作河道沿岸的水岸线。通过本申请中的技术方案，避免传统图像中算法受干扰形成伪轮廓的同时，又避免深度学习的巨大标注工作量，并优化水岸线检测的最终效果，提高水岸线检测的可靠性。

Description

一种基于无人艇感知系统的水岸线检测方法

技术领域

本申请涉及水岸线检测的技术领域，具体而言，涉及一种基于无人艇感知系统的水岸线检测方法。

背景技术

近年来，无人水面艇在民用科考以及军事应用等领域发挥着越来越重要的作用。水岸线可用于无人艇视觉导航、运动状态估计，是无人水面艇自主航行的重要参照特征。现有的无人艇大都基于海面环境，内陆河流较少，内河水岸线的识别对于无人艇来说具有重要意义：(1)利用水岸线可以进行图像分区，发现水面区域；(2)可以进行自主避障行驶；(3)可以进行无人艇的运动状态估计。

通过无人艇采集的水面环境图像中，内陆河流的水岸线类似于海面环境中的水天线。目前的水岸线识别算法大都与水天线相似，利用视觉传感器实现图像采集，再对图像进行算法处理，使用的算法包括基于像素显著性方法、变换域方法和信息熵等。这些水天线的识别算法基本都可以取得较好的提取效果且可靠性较高，不同算法之间的区别在于算法的实时性和硬件实现的难易程度。水天线的检测最终可归结于对图像场景中直线特征的提取问题，因此大多数图像检测算法要结合Hough变化或Randon变化完成水天线检测。

利用传统的图像处理算法进行水岸线检测，是使用较多的一类方法。如：上海海事大学彭明阳等人提出了一种“结合HSV空间的水面图像特征水岸线检测方法”。该方法通过分析水面图像在HSV空间的特征，发现陆地区域的饱和度值均高于天空和水面区域。基于这一分析结果，将RGB图像经过高斯滤波变换到HSV空间，依据权重进行HSV控件特征分量选取，接着进行像素点非线性增强、区域分割、提取高饱和度的陆地区域，将此区域定义为模板图像并将模板图像覆盖在各个基地图像上，按重叠区域面积比选取极地图像，最后通过边缘检测算子检测水岸线。

又如：沈建军等人提出一种“结合改进Deeplab v3+网络的水岸线检测算法”。该方法通过采集不同水岸场景图像作为训练及验证图集，利用伽马函数扩充样本；修改Deeplabv3+网络，对xception结构微调，同时在decoder时多增加一路低级特征(low-levelfeature)，增加特征信息；然后依据图像信息设置损失权重系数，设置可视化参数，基于改进的Deeplab v3+网络针对数据集进行训练。利用训练好的模型对测试图像进行区域分割。最后基于提取出的水面区域通过边缘检测算子检测水岸线，并将水岸线叠加到原图。

但对于内陆河流的水岸线检测，由于水波、反光、倒影等因素，导致背景信息多且复杂，内河水岸线检测的背景比水天线更加复杂，主要的缺点如下：

1)传统的图像处理算法开展的水岸线检测，背景干扰要素和噪点比较多，难以通过滤波的方法彻底解决，从而导致算法易受干扰形成伪轮廓；

2)基于深度学习的水岸线检测算法，对于内河水岸线检测来说，算法提取效果较好且可靠性较高，但是标注工作量巨大，并且标注要求较高(需要尽可能完整地标注出水岸线的线条)，费时费力，且成本耗费较高；

3)由于视觉传感器(摄像头)本身的硬件特性，在雨雪天气、逆光或者强光、夜晚等条件下，摄像头的图像质量较差，特别是对于水面无人艇，由于海上的水汽，海浪等外界因素影响，摄像头的镜头常会受到水滴、水汽的干扰，导致图像模糊等问题发生，从而影响图像中的水岸线特征提取和识别。

发明内容

本申请的目的在于：避免传统图像中算法受干扰形成伪轮廓的同时，又避免深度学习的巨大标注工作量，并优化水岸线检测的最终效果，提高水岸线检测的可靠性。

本申请的技术方案是：提供了一种基于无人艇感知系统的水岸线检测方法，该方法包括：步骤1，利用设置于无人艇上的激光雷达，对河道沿岸进行扫描，并通过坐标系变换的方式，生成水岸线图像；步骤2，对水岸线图像进行边缘检测，提取边缘轮廓点，并对提取出的边缘轮廓点进行排序、划分，生成检测点区域；步骤3，依次选取检测点区域中与水岸线图像的中心点距离最近的边缘轮廓点，记作岸边点，并通过曲线拟合计算，生成岸边点对应的拟合曲线，将拟合曲线记作河道沿岸的水岸线。

上述任一项技术方案中，进一步地，步骤1中，具体包括：利用设置于无人艇上的激光雷达，对河道沿岸进行扫描；获取河道沿岸的激光雷达点云俯视图，根据阈值变量选取待变换激光点云数据，通过坐标系变换的方式，将选取出的待变换激光点云数据映射到二维图像中，生成水岸线图像，其中，阈值变量由激光雷达相对于水面的安装高度确定。

上述任一项技术方案中，进一步地，步骤2中，具体包括：将水岸线图像转换为灰度图像，并对灰度图像进行图像预处理，其中，图像预处理至少包括膨胀处理、中值滤波以及高斯滤波；利用Canny算子对图像预处理后的灰度图像进行边缘检测，提取边缘轮廓点；将边缘轮廓点存入至allpoints容器中，并在allpoints容器中将边缘轮廓点按照x轴方向像素由小至大进行排序，其中，x轴方向为世界坐标系下无人艇的前进方向；根据预设间隔点数，对排序后的边缘轮廓点进行划分，生成检测点区域。

上述任一项技术方案中，进一步地，步骤3中，依次选取检测点区域中与水岸线图像的中心点距离最近的边缘轮廓点，记作岸边点，具体包括：采用遍历运算，计算检测点区域中各个边缘轮廓点与水岸线图像的中心点之间的距离；选取距离中的最小值，并将最小值距离和对应的边缘轮廓点共同存入至minpoints容器中；判断是否完成所有检测点区域中最小值距离和对应的边缘轮廓点的存储，若是，则根据minpoints容器中的数据进行曲线拟合计算，以生成拟合曲线，若否，重复执行遍历运算。

上述任一项技术方案中，进一步地，边缘轮廓点与水岸线图像的中心点之间的距离为欧氏距离。

上述任一项技术方案中，进一步地，拟合计算水岸线

的计算公式为：

Φ^T*Φ*[a]＝Φ^T*[y]

[a]＝(a₀，a₁，a₂，...，a_n)^T

[y]＝(y₀，y₁，y₂，...，y_M)

式中，Φ为参数矩阵，由岸边点中的行索引坐标x_m和给定基函数Ω共同确定，[a]为拟合系数矩阵，[y]为岸边点中的列索引坐标矩阵，

为中间参量，j＝0，1，2，...，n。

本申请的有益效果是：

本申请中的技术方案，基于无人艇的感知系统，利用激光雷达扫描生成的点云图像，再通过坐标系变换的形式，将点云图像映射到二维图像中，通过提取边缘轮廓点，再根据其与图像中心点之间的距离对边缘轮廓点进行筛选，利用曲线拟合的方式，根据筛选出的边缘轮廓点进行水岸线拟合，实现在点云图像中提取内河沿岸的水岸线。

本申请中，充分利用激光雷达本身的特点，排除常规视觉传感器中常见的光照、雨雪等干扰因素影响。除此之外，还可以提供距离的感知信息，为后续的决策系统和控制系统提供了基础，降低了无人艇在感知系统上的成本和感知软件系统设备功耗。

本申请中的数据处理方面，图像的处理帧率在40ms左右，实时性和准确度均满足无人艇任务需求。

在本申请的优选实现方式中，还对坐标系变换后的图像进行灰度图像处理，以便于进行图像形态学操作，可以明显提升图像处理帧率，满足系统实时性需要。

本申请中，通过将minpoints容器中存储的边缘轮廓点进行划分，计算每个划分的区域内离中心点距离最近的点，通过遍历所有轮廓点，找到离船体最近的岸边点，有助于提高算法的检测速度高，增强场景应用的便利性。

附图说明

本申请的上述和/或附加方面的优点在结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是根据本申请的一个实施例的基于无人艇感知系统的水岸线检测方法的示意流程图；

图2是根据本申请的一个实施例的生成检测点区域及水岸线拟合过程的示意流程图。

具体实施方式

为了能够更清楚地理解本申请的上述目的、特征和优点，下面结合附图和具体实施方式对本申请进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互结合。

在下面的描述中，阐述了很多具体细节以便于充分理解本申请，但是，本申请还可以采用其他不同于在此描述的其他方式来实施，因此，本申请的保护范围并不受下面公开的具体实施例的限制。

如图1所示，本实施例提供了一种基于无人艇感知系统的水岸线检测方法，该方法包括：

步骤1，利用设置于无人艇上的激光雷达，对河道沿岸进行扫描，并通过坐标系变换的方式，生成水岸线图像；

进一步的，在该步骤1中，生成水岸线图像时，具体包括：

步骤101，利用设置于无人艇上的激光雷达，对河道沿岸进行扫描；

具体的，本实施例中的激光雷达安装于无人艇顶部或者侧部，在无人艇沿河道航行的过程中，利用激光雷达对河道沿岸进行扫描。

而本实施例中，为了能够利用激光雷达获取的点云数据进行水岸线划分，在图像方案中做出了调整，需要将激光雷达点云俯视图映射到二维图像中，以便于进行后续的图像处理。

步骤102，获取河道沿岸的激光雷达点云俯视图，根据阈值变量选取待变换激光点云数据，通过坐标系变换的方式，将选取出的待变换激光点云数据映射到二维图像中，生成水岸线图像，其中，阈值变量由激光雷达相对于水面的安装位置高度确定。

具体的，在二维图像映射过程中，首先，对图片像素大小进行初始化，设定图片像素大小为500*500，接着，根据激光雷达点云俯视图需要显示的范围和图片像素大小，将激光雷达点云俯视图的横纵坐标映射到图片的对应像素中，其中，激光雷达所处的世界坐标系遵循右手系，x轴对应船体前进方向，y轴对应左侧横向，而对于映射的二维图像的图像坐标系，x、y分别对应其图像的行索引和列索引；最后，根据无人艇中激光雷达相对水面的安装位置高度，设置恰当的阈值变量，在该阈值变量以上的激光点云数据才需要进行上述映射操作，从而过滤掉激光雷达点云俯视图中水面上的反射目标。

因此，通过上述激光雷达点云俯视图的映射过程，能够避免水波、反光、倒影等因素以及背景信息的影响，进而提高了水岸线最终拟合结果的准确性。而且，上述过程可以根据运算过程中实时内存占用率和水岸线算法检测的实时性，调整图片的像素大小，提升水岸线检测速度。

步骤2，对水岸线图像进行边缘检测，提取边缘轮廓点，并对提取出的边缘轮廓点进行排序、划分，生成检测点区域；

进一步的，如图2所示，该步骤2具体包括：

步骤201，将水岸线图像转换为灰度图像，并对灰度图像进行图像预处理，其中，图像预处理至少包括膨胀处理、中值滤波以及高斯滤波；

本实施例中，考虑到转换后的水岸线图像为RGB图像，而RGB图像在进行图像处理时，处理速度较低，因此，对水岸线图像进行灰度值转换，之后利用灰度图像进行图像形态学操作，可以明显提升图像处理帧率，满足系统实时性需要。并且，为了减少边缘检测过程中的图像噪点，还对灰度值转换后得到的灰度图像进行滤波处理，避免后续边缘检测出现的错检、漏检。

步骤202，利用Canny算子对图像预处理后的灰度图像进行边缘检测，提取边缘轮廓点；

需要说明的是，本实施例对边缘轮廓点的提取过程并不限定。

步骤203，为了便于边缘轮廓点的后续提取和处理，将边缘轮廓点存入至allpoints容器中，并在allpoints容器中将边缘轮廓点按照x轴方向像素由小至大进行排序，其中，x轴方向为世界坐标系下无人艇的前进方向，对应于水岸线图像的行索引；

步骤204，根据预设间隔点数，对排序后的边缘轮廓点进行划分，生成检测点区域。

具体的，根据水岸线图像的实际分辨率，确定预设间隔点数，即沿x轴方向的图像间隔像素值，如取值为5时，则表明allpoints容器中排序后的每5个边缘轮廓点被划分为一个检测点区域，i≤t≤i+5(i＝0、1、2、3…)，i为检测点区域的序号。

步骤3，依次选取检测点区域中与水岸线图像的中心点距离最近的边缘轮廓点，记作岸边点，并通过曲线拟合计算，生成岸边点对应的拟合曲线，将拟合曲线记作河道沿岸的水岸线。

在本实施例的一个优选实现方式中，步骤3中，依次选取检测点区域中与水岸线图像的中心点距离最近的边缘轮廓点，记作岸边点，具体包括：采用遍历运算，计算检测点区域中各个边缘轮廓点与水岸线图像的中心点之间的距离，其中，边缘轮廓点与水岸线图像的中心点之间的距离为欧氏距离；选取距离中的最小值，并将最小值距离和对应的边缘轮廓点(岸边点)共同存入至minpoints容器中；判断是否完成所有检测点区域中最小值距离和对应的边缘轮廓点的存储，若是，则根据minpoints容器中的数据进行曲线拟合计算，以生成拟合曲线，若否，重复执行遍历运算。

具体的，采用遍历的方式，计算各个检测点区域中边缘轮廓点与选定的中心点的距离，该距离可以为欧氏距离，也可以为其他图像数据处理中的像素点间的距离。

在同一个检测点区域(i≤t≤i+5)集合中，根据条件判断每个区域中离中心点最近的点，将这个距离中心点最近的点记作岸边点，进而再通过minpoints容器中的岸边点，利用曲线拟合计算的方式，便可得到拟合出的水岸线。

进一步的，为了提高水岸线检测方法的检测速率和场景应用的便利性，通过遍历所有轮廓点，找到离无人艇最近的岸边点，具体的：

a)相邻两个点中，若第一点(r)与中心点的距离d₁＜第二个点(r+1)与中心点的距离d₂，则将第一个点与中心点的距离赋值给temp整型参数；

b)若第一点(r)与中心点的距离d₁≥第二个点(r+1)与中心点的距离d₂，则再同一区域(i≤t≤i+5)集合点中，根据顺序选择下一个点(r+2)，并计算与中心点的距离d₃。

c)遍历同一区域(i≤t≤i+5)集合的所有点，找出temp的最小值，并将temp对应的点存入容器minpoints中。

本实施例中拟合计算水岸线

的计算公式为：

Φ^T*Φ*[a]＝Φ^T*[y]

[a]＝(a₀，a₁，a₂，...，a_n)^T

[y]＝(y₀，y₁，y₂，...，y_M)

式中，Φ为参数矩阵，由岸边点中的行索引坐标x_m和给定基函数Ω共同确定，[a]为拟合系数矩阵，[y]为岸边点中的列索引坐标矩阵，

为中间参量，j＝0，1，2，...，n。

具体的，设定给定基函数对应的计算公式为：

因此，对应的拟合曲线方程如下：

其中，a₀，a₁，a₂，...，a_j，...，a_n是拟合所求的未知待定系数。

对于minpoints容器中存储的岸边点(x_m，y_m)(m＝0，1，...，M)，在进行拟合曲线计算时，有如下对应关系式：

因此，通过计算多元函数的最小值点，即可确定未知待定系数a₀，a₁，a₂，...，a_j，...，a_n，对应的计算公式为：

根据多元函数取极值的必要条件可得：

式中，k为中间参数，k＝0，1，...，n，进而可得到等式：

通过分析可知，上述等式为n+1个方程、n+1个未知数的线性方程组，借助矩阵运算，可写成如下矩阵形式，即拟合计算水岸线的计算公式为：

Φ^T*Φ*[a]＝Φ^T*[y]

其中，[a]＝(a₀，a₁，a₂，...，a_n)^T，[y]＝(y₀，y₁，y₂，...，y_M)，Φ^T为Φ的转置矩阵，矩阵Φ为参数矩阵，是一个超定矩阵，其对应的计算公式为：

需要说明的是，本实施例对给定基函数Ω的表现形式并不限定，其形式可以为span{1，x，x²，...，xⁿ}。

根据给定基函数Ω＝span{1，x，x²，...，xⁿ}，将minpoints容器中存储的岸边点带入，即可计算出超定矩阵Φ，从而得出未知待定系数[a]＝(a₀，a₁，a₂，...，a_n)^T，得到最终的拟合曲线

以上结合附图详细说明了本申请的技术方案，本申请提出了一种基于无人艇感知系统的水岸线检测方法，该方法包括：步骤1，利用设置于无人艇上的激光雷达，对河道沿岸进行扫描，并通过坐标系变换的方式，生成水岸线图像；步骤2，对水岸线图像进行边缘检测，提取边缘轮廓点，并对提取出的边缘轮廓点进行排序、划分，生成检测点区域；步骤3，依次选取检测点区域中与水岸线图像的中心点距离最近的边缘轮廓点，记作岸边点，并通过曲线拟合计算，生成岸边点对应的拟合曲线，将拟合曲线记作河道沿岸的水岸线。通过本申请中的技术方案，避免传统图像中算法受干扰形成伪轮廓的同时，又避免深度学习的巨大标注工作量，并优化水岸线检测的最终效果，提高水岸线检测的可靠性。

本申请中的步骤可根据实际需求进行顺序调整、合并和删减。

本申请装置中的单元可根据实际需求进行合并、划分和删减。

尽管参考附图详地公开了本申请，但应理解的是，这些描述仅仅是示例性的，并非用来限制本申请的应用。本申请的保护范围由附加权利要求限定，并可包括在不脱离本申请保护范围和精神的情况下针对发明所作的各种变型、改型及等效方案。

Claims (6)

1.一种基于无人艇感知系统的水岸线检测方法，其特征在于，所述方法包括：

步骤1，利用设置于无人艇上的激光雷达，对河道沿岸进行扫描，并通过坐标系变换的方式，生成水岸线图像；

步骤2，对所述水岸线图像进行边缘检测，提取边缘轮廓点，并对提取出的所述边缘轮廓点进行排序、划分，生成检测点区域；

步骤3，依次选取所述检测点区域中与所述水岸线图像的中心点距离最近的边缘轮廓点，记作岸边点，并通过曲线拟合计算，生成所述岸边点对应的拟合曲线，将所述拟合曲线记作所述河道沿岸的水岸线。

2.如权利要求1所述的基于无人艇感知系统的水岸线检测方法，其特征在于，所述步骤1中，具体包括：

利用设置于无人艇上的激光雷达，对河道沿岸进行扫描；

获取所述河道沿岸的激光雷达点云俯视图，根据阈值变量选取待变换激光点云数据，通过坐标系变换的方式，将选取出的待变换激光点云数据映射到二维图像中，生成所述水岸线图像，

其中，所述阈值变量由所述激光雷达相对于水面的安装高度确定。

3.如权利要求1所述的基于无人艇感知系统的水岸线检测方法，其特征在于，所述步骤2中，具体包括：

将所述水岸线图像转换为灰度图像，并对所述灰度图像进行图像预处理，其中，所述图像预处理至少包括膨胀处理、中值滤波以及高斯滤波；

利用Canny算子对图像预处理后的灰度图像进行边缘检测，提取所述边缘轮廓点；

将所述边缘轮廓点存入至allpoints容器中，并在所述allpoints容器中将所述边缘轮廓点按照x轴方向像素由小至大进行排序，其中，所述x轴方向为世界坐标系下所述无人艇的前进方向；

根据预设间隔点数，对排序后的边缘轮廓点进行划分，生成所述检测点区域。

4.如权利要求1所述的基于无人艇感知系统的水岸线检测方法，其特征在于，所述步骤3中，依次选取所述检测点区域中与所述水岸线图像的中心点距离最近的边缘轮廓点，记作岸边点，具体包括：

采用遍历运算，计算所述检测点区域中各个边缘轮廓点与所述水岸线图像的中心点之间的距离；

选取所述距离中的最小值，并将最小值距离和对应的边缘轮廓点共同存入至minpoints容器中；

判断是否完成所有检测点区域中最小值距离和对应的边缘轮廓点的存储，若是，则根据所述minpoints容器中的数据进行曲线拟合计算，以生成所述拟合曲线，若否，重复执行遍历运算。

5.如权利要求4所述的基于无人艇感知系统的水岸线检测方法，其特征在于，所述边缘轮廓点与所述水岸线图像的中心点之间的距离为欧氏距离。

6.如权利要求1至5中任一项所述的基于无人艇感知系统的水岸线检测方法，其特征在于，拟合计算水岸线

的计算公式为：

Φ^T*Φ*[a]＝Φ^T*[y]

[a]＝(a₀，a₁，a₂，...，a_n)^T

[y]＝(y₀，y₁，y₂，...，y_M)

式中，Φ为参数矩阵，由岸边点中的行索引坐标x_m和给定基函数Ω共同确定，[a]为拟合系数矩阵，[y]为岸边点中的列索引坐标矩阵，

为中间参量，j＝0，1，2，...，n。

Images