CN109919026A - 一种水面无人艇局部路径规划方法 - Google Patents

Abstract

本发明公开的一种水面无人艇局部路径规划方法，包括以下步骤：采集无人艇作业环境的水面图像数据并进行标记；训练图像语义分割模型和ACF检测器，通过不断迭代使得模型收敛并存储模型参数；利用图像语义分割模型将水面图像进行像素级分类，得到水面边界线；提取水面障碍物存在区域，采用聚合通道特征算法识别水面障碍物；将水面图像所在相平面投射到无人艇行驶的水平面，估计水面边界线和水面障碍物的实际方位和距离，构建无人艇避障环境模型；将水面障碍物数据导入VFH*局部避障算法，得到当前无人艇可行方向；本发明并对障碍物进行特征识别，实现水面图像信息的有效提取，得到合理的局部路径规划策略，满足无人艇避障需求。

Description

一种水面无人艇局部路径规划方法

技术领域

本发明涉及无人艇智能控制的技术领域，特别涉及一种水面无人艇局部路径规划方法。

背景技术

无人艇是一个复杂的系统，其研究内容涉及多个方面，且根据不同的工作需要，其有着不同的功能目标。但无论面向何种需求的无人艇，其主要的功能目标都应包括能够实现无人驾驶的自动导航和自动避障，即体现“无人”与“智能”，这也是无人艇最基本的特征。其中无人避障技术作为无人艇的核心技术之一，不仅是衡量无人艇智能化水平的标准，也是无人艇在复杂海域安全航行的关键。

目前无人艇领域内的局部路径规划方法多为多为非预测型方法，且假设障碍物的位置和运动信息完全可知，在未知复杂的海洋环境以及无人艇高速行驶下应用具有一定的局限性。因此，建立一种水面无人艇局部路径规划方法具有重要的研究意义和前瞻性。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提供一种水面无人艇局部路径规划方法。本发明针对水面无人艇在复杂海况下的局部避障问题，引入机器视觉和深度学习原理处理视觉信息从而实现水面边界线检测和水面障碍物识别，构建水面无人艇环境模型，并以此为基础调用水面无人艇局部路径规划算法，实时计算水面无人艇的有效避障方向，从而实现水面无人艇在未知水域下的局部避障。

本发明的目的通过以下的技术方案实现：

一种水面无人艇局部路径规划方法，包括以下步骤：

S1、采集无人艇作业环境的水面图像数据，并进行标记；

S2、将水面训练图像及其对应的水面标记图像作为训练集，分别训练图像语义分割模型和ACF检测器，并通过不断迭代使模型收敛并存储模型参数；

S3、利用图像语义分割模型将水面图像从上到下，按天空、陆地和水面进行像素级分类，得到水面边界线；

S4、提取步骤S3中水面区域的外围像素点作为水面边界线的限制范围，并将水面边界线的限制范围内包区域视为水面障碍物检测的感兴趣区域，根据水面边界线的限制范围，采用聚合通道特征算法识别水面障碍物；

S5、将水面图像所在相平面投射到无人艇行驶的水平面，近似估计水面边界线和水面障碍物的实际方位和距离，构建无人艇避障环境模型；

S6、根据无人艇避障坏境模型，将水面障碍物的实际方位和距离导入VFH*局部避障算法，得到当前无人艇可行方向。

进一步地，所述步骤S1具体为：通过RTSP视频流协议获取艇载网络摄像机拍摄的水面图像，其中语义分割模型训练集将水面图像在像素层面上从上到下标记为天空、陆地和水面三大类，每一个像素点标定为一种类别，而ACF检测器训练集则采用矩形框框选水面障碍物，标记数据为[x,y,width,height]，分别表示矩形框左下角点的像素横坐标、像素纵坐标以及矩形框的像素宽度、像素高度。

进一步地，所述图像语义分割模型为对称的编码器-解码器结构的图像语义分割模型。

进一步地，所述步骤S4具体为：通过提取经滤波去噪的水面图像的聚合通道特征图，并将聚合通道特征图在4×4区域平均值池化，将池化平均值作为特征值；其中，计算单尺度聚合通道特征，多尺度聚合通道特征在此基础上建立；

构建多尺度聚合通道特征金字塔，对每个尺度的特征图在整个水面图像上进行滑窗遍历从而获得检测块，将检测块输入AdaBoost分类器进行分类判断此窗口是否存在水面障碍物；最后通过非极大抑制算法去除重叠的水面障碍物候选窗，输出表征水面障碍物矩形框选区域的四维矩阵[x,y,width,height]。

进一步地，所述多尺度特征金字塔通过计算大小为原图四个缩放尺度的特征来构建；所述原图四个缩放尺度分别为原图的1倍、1/2倍、1/4倍、1/8倍。

进一步地，所述步骤S5具体为：

使用相机并导入相机的内外参数，根据小孔成像原理将水面图像所在平面投射到无人艇行驶水平面，从而实现像素二维坐标(u,v)到水平面坐标(x,y)的转换，转换公式如下：

式中，相机内参数包括：镜头中心像素坐标(u₀,v₀)，像素长dx和像素宽dy，以及摄像头焦距f；相机外参数包括：相机俯角α和与水平面的高度H；β为水平面坐标点在y轴的投影点对相机光心的仰角；

将水面边界线和水面障碍物矩形框区域的下边线的像素坐标转换为水平面的实际坐标，从而近似估计水面边界线和水面障碍物的实际方位和距离，保留每个方位上的最小距离从而构建无人艇避障环境模型。

进一步地，所述步骤S6具体为：

根据无人艇避障环境模型，将步骤S4中得到实际方位和距离导入VFH*局部避障算法，通过逐步构建主直方图、二元直方图和掩模直方图来划分无人艇当前时刻的可行和不可行区域，具体为：

在构建主直方图的过程中需要对无人艇的宽度做补偿，即对水面障碍物进行膨化处理，将障碍物网格扩大为r_r，在扩大半径r_r的基础上将障碍物网格再扩大d_s，即障碍物网络实际半径为：

r_r+s＝r_r+d_s；

其中，r_r为无人艇外接圆半径；d_s为障碍物与无人艇之间的最小安全距离；

由于进行了膨化处理，此时可以将无人艇视为质点考虑，则膨化角度r_，j为：

其中，d_i,j为障碍物网格到无人艇几何中心的距离；

以角度分辨率α对圆形活动窗口C_a进行分区，每个分区k的起始角度为定义其对应的主直方图的障碍物密度为

式中：

其中，β_i,j为障碍物网格到无人艇几何中心的角度，m_i,j表示障碍物网格的障碍向量强度，γ_i,j为膨化角度；

根据无人艇避障环境模型信息构造主直方图之后，引入双阈值τ_low和τ_high，用0和1来表示无人艇在分区k的开放和阻塞情况，构造t时刻二元直方图

其中，为t时刻的主直方图，为t-1时刻的主直方图，τ_high和τ_low是人为引入的高低双阈值；

最后根据无人艇左右最大转向角度和剔除因转向能力限制而不可行的方向，从而构建掩模直方图H^m：

其中，为掩模直方图，为二元直方图；θ为t时刻无人艇艏向，0表示该方位可行，1表示该方位不可行；

根据每个可行区域的左右边界差值来选择候选方向，对于每一个初始候选方向，计算无人艇沿该方向前进给定步长d_s后的预测位置和方位，然后在该预测位置上继续建立向量场直方图和计算预测候选方向，重复预测n_g步，得到深度为n_g的搜索树，最后通过A*算法计算搜索树上最低代价的路径，从而获得无人艇下一步的运动方向。

本发明与现有技术相比，具有如下优点和有益效果：

(1)本发明采用对称的编码器-解码器结构的图像语义分割模型进行无人艇载图像水面边界线检测，从而实现水面图像的平滑分割和边缘信息的准确提取，算法在极端光照条件下亦有一定的适应性；

(2)本发明采用聚合通道特征算法进行水面障碍物识别，通过水面图像的颜色特征、幅值梯度特征和梯度方向特征的聚合和AdaBoost分类器的加权组合，识别率和检测速度均很优秀；

(3)本发明采用VFH*局部路径规划算法对视觉信息构建的无人艇水面模型进行二值化处理，在考虑前向代价的情况下使得局部路径规划算法具有一定的前瞻性，从而避免陷入局部最小值；

(4)本发明提出的方能实现水面图像信息的有效提取，并得到合理的局部路径规划策略，满足水面无人艇的避障需求法，可广泛适用于各种无人艇的避障控制。

附图说明

图1为本发明所述一种水面无人艇局部路径规划方法的方法流程图；

图2为本发明所述实施例中对称的编码器-译码器结构的图像语义分割模型框架图；

图3为本发明所述实施例中对障碍物进行膨化处理示意图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

一种水面无人艇局部路径规划方法，如图1所示，包括以下步骤：

第一步，采集无人艇作业环境的水面图像数据，并进行标记；具体为：通过RTSP视频流协议获取艇载网络摄像机拍摄的水面图像，其中语义分割模型训练集将水面图像在像素层面上从上到下标记为天空、陆地和水面三大类，每一个像素点标定为一种类别，而ACF检测器训练集则采用矩形框框选水面障碍物，标记数据为[x,y,width,height]，分别表示矩形框左下角点的像素横坐标、像素纵坐标以及矩形框的像素宽度、像素高度。

第二步，将水面训练图像及其对应的水面标记图像作为训练集，分别训练图像语义分割模型和ACF检测器，并通过不断迭代使模型收敛并存储模型参数；

第三步，利用图像语义分割模型将水面图像从上到下，按天空、陆地和水面进行像素级分类，得到水面边界线；

具体为：利用对称的编码器-解码器结构的图像语义分割模型将水面图像从上到下按天空、陆地和水面进行像素级分类，并以此导出水面边界线。图像语义分割模型编码器的前13层卷积神经网络通过提取输入特征，从而用于目标分类，而在每一层解码器末端采用最大值池化来保留上层卷积滤波特征图中的最大值，从而去除识别物体不必要的冗余信息，且在每一层编码器的池化层之后保留最大池化下标；而在解码器工作过程中，每一层解码器的前端都先进行反池化操作，从而将图像大小逐步恢复，在反池化的过程中每一层解码器接收对应编码器的最大池化下标，并根据其下标还原回其未经池化前的位置，其余像素则通过补0代替，从而将图像恢复成池化前的大小，得到稀疏的响应图。为了填充反池化层得到的稀疏响应图，需要利用反卷积层使稀疏响应图变得稠密，通过用不同的卷积核处理稀疏响应图可以得到多张特征图，每张特征图与所学习的分割类别的特征相对应，其中，低层次的特征图趋向于获取目标的总体形状信息，高层次的特征图趋向于获取目标类别的具体信息。通过多层反池化层和反卷积层处理，使图像恢复至原图大小，并通过最后的分类层为每个像素独立地产生类别概率；

对称的编码器-解码器结构的图像语义分割模型，如图2所示，由于图像语义分割实现的是像素级分类，在编码器部分使用去掉全连接层的VGG16卷积神经网络作为特征训练层，解码器部分则是与编码器部分相对称的反卷积神经网络，从而构建全卷积网络结构的图像语义分割模型。解码器部分由VGG16的前13层组成，13层卷积神经网络构成5层编码器，每一层卷积神经网络由卷积层、BN(Batch Normalization)层和ReLU激活函数组成，其中前两层编码器由2层卷积神经网络和池化层构成，后3层编码器由3层卷积神经网络和池化层构成。类似地，编码器由对称的5层解码器构成，所不同的是由反池化层取代池化层，从而不断恢复原图大小，最后在网络结构的末端添加Softmax函数作为分类器，实现对图像每个像素点的分类。

第四步，提取步骤S3中水面区域的外围像素点作为水面边界线的限制范围，根据水面边界线的限制范围，提取水面障碍物存在区域，采用聚合通道特征算法识别水面障碍物；

具体为：通过提取经滤波去噪的水面图像的聚合通道特征图，并将聚合通道特征图在4×4区域平均值池化，将池化平均值作为特征值；其中，计算单尺度聚合通道特征，多尺度聚合通道特征在此基础上建立；

构建多尺度聚合通道特征金字塔，通过计算大小为原图的1、1/2、1/4、1/8倍的四个缩放尺度的特征来构建特征金字塔，对每个尺度的特征图在整个水面图像上进行滑窗遍历从而获得检测块，将检测块输入AdaBoost分类器进行分类判断此窗口是否存在水面障碍物；最后通过非极大抑制算法去除重叠的水面障碍物候选窗，输出表征水面障碍物矩形框选区域的四维矩阵[x,y,width,height]。

第五步，将水面图像所在相平面投射到无人艇行驶的水平面，近似估计水面边界线和水面障碍物的实际方位和距离，构建无人艇周遭二维环境模型；

具体为：

使用相机并导入相机的内外参数，根据小孔成像原理将水面图像所在平面投射到无人艇行驶水平面，从而实现像素二维坐标(u,v)到水平面坐标(x,y)的转换，转换公式如下：

式中，相机内参数包括：镜头中心像素坐标(u₀,v₀)，像素长dx和像素宽dy，以及摄像头焦距f；相机外参数包括：相机俯角α和与水平面的高度H；β为水平面坐标点在y轴的投影点对相机光心的仰角；

将水面边界线和水面障碍物矩形框区域的下边线的像素坐标转换为水平面的实际坐标，从而近似估计水面边界线和水面障碍物的实际方位和距离，保留每个方位上的最小距离从而构建无人艇避障环境模型。

第六步，根据无人艇周遭二维坏境模型，将水面障碍物的实际方位和距离导入VFH*局部避障算法，通过逐步构建主直方图、二元直方图和掩模直方图压缩环境数据，并对障碍物进行膨化处理，引入合理的代价函数来获取得到当前无人艇可行方向；

具体为：

根据无人艇避障环境模型，将步骤S4中得到实际方位和距离导入VFH*局部避障算法，通过逐步构建主直方图、二元直方图和掩模直方图来划分无人艇当前时刻的可行和不可行区域，具体为：

在构建主直方图的过程中需要对无人艇的宽度做补偿，即对水面障碍物进行膨化处理，如图3所示，将障碍物网格扩大为r_r，在扩大半径r_r的基础上将障碍物网格再扩大d_s，即障碍物网络实际半径为：

r_r+s＝r_r+d_s；

其中，r_r为无人艇外接圆半径；d_s为障碍物与无人艇之间的最小安全距离；

由于进行了膨化处理，此时可以将无人艇视为质点考虑，则膨化角度r_i,j为：

其中，d_i,j为障碍物网格到无人艇几何中心的距离；

以角度分辨率α对圆形活动窗口C_a进行分区，每个分区k的起始角度为定义其对应的主直方图的障碍物密度为

式中：

其中，β_i,j为障碍物网格到无人艇几何中心的角度，m_i,j表示障碍物网格的障碍向量强度，γ_i,j为膨化角度；

根据无人艇避障环境模型信息构造主直方图之后，引入高低双阈值τ_low和τ_high，用0和1来表示无人艇在分区k的开放和阻塞情况，构造t时刻二元直方图

其中，为t时刻的主直方图，为t-1时刻的主直方图，τ_high和τ_low是人为引入的高低双阈值；

最后根据无人艇左右最大转向角度和剔除因转向能力限制而不可行的方向，从而构建掩模直方图H^m：

其中，为掩模直方图，为二元直方图；θ为t时刻无人艇艏向，0表示该方位可行，1表示该方位不可行；

根据每个可行区域的左右边界差值来选择候选方向，对于每一个初始候选方向，计算无人艇沿该方向前进给定步长d_s后的预测位置和方位，然后在该预测位置上继续建立向量场直方图和计算预测候选方向，重复预测n_g步，得到深度为n_g的搜索树，最后通过A*算法计算搜索树上最低代价的路径，从而获得无人艇下一步的运动方向。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (8)

1.一种水面无人艇局部路径规划方法，其特征在于，包括以下步骤：

S1、采集无人艇作业环境的水面图像数据，并进行标记；

S2、将水面训练图像及其对应的水面标记图像作为训练集，分别训练图像语义分割模型和ACF检测器，并通过不断迭代使模型收敛并存储模型参数；

S3、利用图像语义分割模型将水面图像从上到下，按天空、陆地和水面进行像素级分类，得到水面边界线；

S4、提取步骤S3中水面区域的外围像素点作为水面边界线的限制范围，并将水面边界线的限制范围内包区域视为水面障碍物检测的感兴趣区域，根据水面边界线的限制范围，采用聚合通道特征算法识别水面障碍物；

S5、将水面图像所在相平面投射到无人艇行驶的水平面，近似估计水面边界线和水面障碍物的实际方位和距离，构建无人艇避障环境模型；

S6、根据无人艇避障坏境模型，将水面障碍物的实际方位和距离导入VFH*局部避障算法，得到当前无人艇可行方向。

2.根据权利要求1所述的一种水面无人艇局部路径规划方法，其特征在于，所述步骤S1具体为：通过RTSP视频流协议获取艇载网络摄像机拍摄的水面图像，其中语义分割模型训练集将水面图像在像素层面上从上到下标记为天空、陆地和水面三大类，每一个像素点标定为一种类别，而ACF检测器训练集则采用矩形框框选水面障碍物，标记数据为[x,y,width,height]，分别表示矩形框左下角点的像素横坐标、像素纵坐标以及矩形框的像素宽度、像素高度。

3.根据权利要求1所述的一种水面无人艇局部路径规划方法，其特征在于，所述步骤S2中，所述图像语义分割模型为对称的编码器-解码器结构的图像语义分割模型。

4.根据权利要求1所述的一种水面无人艇局部路径规划方法，其特征在于，所述步骤S4具体为：

通过提取经滤波去噪的水面图像的聚合通道特征图，并将聚合通道特征图在4×4区域平均值池化，将池化平均值作为特征值；其中，计算单尺度聚合通道特征，多尺度聚合通道特征在此基础上建立；

构建多尺度聚合通道特征金字塔，对每个尺度的特征图在整个水面图像上进行滑窗遍历从而获得检测块，将检测块输入AdaBoost分类器进行分类判断此窗口是否存在水面障碍物；最后通过非极大抑制算法去除重叠的水面障碍物候选窗，输出表征水面障碍物矩形框选区域的四维矩阵[x,y,width,height]。

5.根据权利要求4所述的一种水面无人艇局部路径规划方法，其特征在于，所述多尺度特征金字塔通过计算大小为原图四个缩放尺度的特征来构建；所述原图四个缩放尺度分别为原图的1倍、1/2倍、1/4倍、1/8倍。

6.根据权利要求1所述的一种水面无人艇局部路径规划方法，其特征在于，所述步骤S5具体为：

使用相机并导入相机的内外参数，根据小孔成像原理将水面图像所在平面投射到无人艇行驶水平面，从而实现像素二维坐标(u,v)到水平面坐标(x,y)的转换，转换公式如下：

式中，相机内参数包括：镜头中心像素坐标(u₀,v₀)，像素长dx和像素宽dy，以及摄像头焦距f；相机外参数包括：相机俯角α和与水平面的高度H；β为水平面坐标点在y轴的投影点对相机光心的仰角；

将水面边界线和水面障碍物矩形框区域的下边线的像素坐标转换为水平面的实际坐标，从而近似估计水面边界线和水面障碍物的实际方位和距离，保留每个方位上的最小距离从而构建无人艇避障环境模型。

7.根据权利要求6所述的一种水面无人艇局部路径规划方法，其特征在于，所述相机为单目相机。

8.根据权利要求1所述的一种水面无人艇局部路径规划方法，其特征在于，所述步骤S6具体为：

根据无人艇避障环境模型，将步骤S4中得到实际方位和距离导入VFH*局部避障算法，通过逐步构建主直方图、二元直方图和掩模直方图来划分无人艇当前时刻的可行和不可行区域，具体为：

在构建主直方图的过程中需要对无人艇的宽度做补偿，即对水面障碍物进行膨化处理，将障碍物网格扩大为r_r，在扩大半径r_r的基础上将障碍物网格再扩大d_s，即障碍物网络实际半径为：

r_r+s＝r_r+d_s；

其中，r_r为无人艇外接圆半径；d_s为障碍物与无人艇之间的最小安全距离；

由于进行了膨化处理，此时可以将无人艇视为质点考虑，则膨化角度r_i,j为：

其中，d_i,j为障碍物网格到无人艇几何中心的距离；

以角度分辨率α对圆形活动窗口C_a进行分区，每个分区k的起始角度为定义其对应的主直方图的障碍物密度为

式中：

其中，β_i,j为障碍物网格到无人艇几何中心的角度，m_i,j表示障碍物网格的障碍向量强度；γ_i,j为膨化角度；

根据无人艇避障环境模型信息构造主直方图之后，引入高低双阈值τ_low和τ_high，用0和1来表示无人艇在分区k的开放和阻塞情况，构造t时刻二元直方图

其中，为t时刻的主直方图，为t-1时刻的主直方图，τ_high和τ_low是人为引入的高低双阈值；

最后根据无人艇左右最大转向角度和剔除因转向能力限制而不可行的方向，从而构建掩模直方图H^m：

其中，为掩模直方图，为二元直方图；θ为t时刻无人艇艏向，0表示该方位可行，1表示该方位不可行；

根据每个可行区域的左右边界差值来选择候选方向，对于每一个初始候选方向，计算无人艇沿该方向前进给定步长d_s后的预测位置和方位，然后在该预测位置上继续建立向量场直方图和计算预测候选方向，重复预测n_g步，得到深度为n_g的搜索树，最后通过A*算法计算搜索树上最低代价的路径，从而获得无人艇下一步的运动方向。