CN110472500A

CN110472500A - 一种基于高速无人艇的水面视觉目标快速检测算法

Info

Publication number: CN110472500A
Application number: CN201910617212.7A
Authority: CN
Inventors: 周治国
Original assignee: Beijing University of Technology
Current assignee: Beijing University of Technology; Beijing Institute of Technology BIT
Priority date: 2019-07-09
Filing date: 2019-07-09
Publication date: 2019-11-19

Abstract

本发明公布了一种基于高速无人艇的水面视觉目标快速检测算法，使用本发明能够实时、鲁棒地检测多类水上特定目标。本发明针对高速无人艇自主航行时对视觉检测的实时性以及鲁棒性需求，基于MobileNet卷积层设计轻量级主网络以快速提取全图特征，然后基于SSD思想设计检测子网络融合主网络中多特征图的输出结果，通过非极大值抑制冗余结果的同时回归预测位置参数以实现快速多尺度检测。在嵌入式GPU NVIDIA Jetson TX2硬件平台上将算法实现并验证的结果表明，使用本发明能够实时检测多类水上特定目标，具有鲁棒性强、多尺度的特点，单帧视频的检测时间可以控制在50ms以内。

Description

一种基于高速无人艇的水面视觉目标快速检测算法

技术领域

本发明涉及无人艇视觉检测技术领域，具体涉及一种基于高速无人艇的水面视觉目标快速检测算法。

背景技术

水面无人艇是一种具备自主路径规划和自主导航能力的水上平台，在军事和民用领域有着广泛的应用前景。实际应用中，无人艇在高动态环境中自主航行并完成任务，要求具备感知环境、发现潜在威胁以及执行合理路径的能力，一般需配备超声探头、视觉传感器、毫米波雷达、X波段雷达、激光测距仪等传感器获取环境和障碍物信息。超声探头与毫米波雷达覆盖范围较小，激光测距仪检测覆盖范围广，但条件较苛刻，X波段雷达近距离检测效果不好，而视觉传感器的感知范围较为合适。另外雷达等传感器获取的信息量较少，能够进行障碍物探测但无法分类，而障碍物分类对于危险情况分级、局势判断有着重要作用。视觉传感器具有高分辨率、低成本、易安装以及视野广的优势，采集的图像在稳像和去雾处理后图像质量较高，所以目前采用视觉算法进行无人艇障碍物检测最为普遍。

水面无人艇摄像头采集的图像中场景复杂，往往有多个障碍物，也经常遇到高光照、海面反射、浪花干扰等情况，因此实现障碍物检测非常困难。S.Fefilatyev等首先检测海天线，然后在海天线下的区域内搜索潜在的障碍物目标，通过连续帧的检测结果确定障碍物。Wang等人和X.Mou等人也采用了类似的思路，先检测海天线，然后通过显著性或全局稀疏等方法检测潜在障碍物。Matej Kristan等人假设海洋环境图片可以被分为天空、陆地和海雾或停泊在海天线附近的船、水体三个平行且截然不同的语义区域，通过施加弱结构约束，采用马尔科夫随机场框架，推导出模型参数、分段掩模估计和优化算法。随着机器学习算法的广泛应用，有研究者将机器学习的方法引入到水面无人艇障碍物目标检测领域。C.Li等人通过objectness方法获取潜在目标，并通过与显著性方法融合获取最终的结果，达到较好的检测精度。

目前国际上大部分的水面无人艇的设计速度均超过40节，且多用于战场侦察、岛礁巡逻等复杂水域环境中，因此对障碍物检测识别有较高的要求：1.鲁棒性强，在海天背景、近岸情况、光照变化、多目标场景等情况下均能有较好的检测效果；2.多尺度检测，无人艇工作环境复杂，可能遇到多种大小不同的船舶目标；3.实时性强，无人艇航速较高的情况下要求算法能够快速检测；4.识别分类，算法能够识别不同的目标并分类，为后续的危险分级和态势判断提供信息。现有算法或是鲁棒性不足，或是实时性较差，或是应用条件苛刻，均无法很好地适用于高速无人艇的应用场景。而近年来飞速发展的深度学习算法具有鲁棒性强、多尺度检测识别的优点，但也有一些限制：1.网络本身结构的计算成本较高； 2.缺乏高性能的嵌入式GPU板卡支持。

发明内容

有鉴于此，本发明提供了一种基于高速无人艇的水面视觉目标快速检测算法，针对高速水面无人艇障碍物检测识别这一问题，结合实际情况分析并建立算法模型，可以在对多场景下不同大小的船舶以及摩托艇等障碍物目标保持82.1％平均检测精度的同时，单帧视频的检测时间小于50ms，优于目前的同类型方案。

为实现上述目的，本发明提供如下技术方案：

一种基于高速无人艇的水面视觉目标快速检测算法，整体算法模型可分为两部分，第一部分基于MobileNet卷积层设计轻量级主网络以生成多个不同尺度的特征图，第二部分基于SSD思想搭建了检测子网络，融合各层特征图并最终输出结果。

一、轻量级主网络中参考分离卷积的概念设计深度可分离卷积层，将标准卷积层分解成一个深度卷积和一个点卷积：深度卷积将每个卷积核应用到每一个通道，而点卷积用来组合通道卷积的输出，大大减少了网络模型的参数量和计算成本。

深度可分离卷积层相比标准卷积层的计算开销比例为：

式中：D_F为输入特征图的宽度和高度；M为输入通道的数量；D_K为标准卷积层和深度卷积的卷积核尺寸；N为卷积核的数量。

深度可分离卷积层的引入也大大减少了网络模型的参数量，与目前流行网络模型的参数量比较如下表所示：

二、轻量级主网络去掉MobileNet最后的平均池化层、全连接层和Softmax层，并在网络后面添加8个卷积层以提高特征提取能力，添加的各层结构参数如下表所示：

三、检测子网络抽取不同尺寸的特征图作为输入以实现多尺度，这6个特征图的大小分别为19×19、10×10、5×5、3×3、2×2、1×1，并对输入特征图的每个特征区域生成一系列不同大小、不同比例的默认框，其大小和比例与对应的特征层有关，假设模型检测时采用m层特征图，则第k个特征图的默认框比例计算公式如下：

式中k∈[1，m]，其中S_max和S_min代表默认框在对应特征图中所占的最小和最大比例，分别设置为0.2和0.9。

通过对同一特征层上的默认框规定不同的宽高比以增强对物体形状的鲁棒性，适用于不同大小的船的检测情况。设置宽高比为aspect_ratio＝(1，2，1/2，3，1/3)，具体的宽和高由以下公式确定：

特别的，当aspect_ratio为1时，规定默认框参数为：

特征图与对应边框大小的不同使得其在图片的感受野也会相应的不同，形成多尺度的检测。

四、检测子网络训练时同时对目标分类和位置进行回归，整体对象损失函数是置信损失和位置损失之和，其表达式如下：

式中L_conf为置信损失，L_loc为位置损失，这里采用的是Smooth L1 Loss；N为与预先标注框匹配的默认框个数；α为平衡置信损失和位置损失的权重，通常设置为1；z为默认框与不同类别的预先标注框的匹配结果；c为预测物体框的置信度；l为预测物体框的位置信息；g为预先标注框的位置信息。

进一步地，算法基于深度学习思想进行研究，在算法的训练阶段，将这些默认框和预先标注框匹配，结果输入损失函数以训练匹配策略。在预测阶段，则直接预测默认框的偏移以及对每个类别相应的得分，最后通过非极大值抑制去除冗余项得到最终的结果。

综上所述，本发明实施例与现有技术相比具有以下有益效果：

本发明针对高速水面无人艇障碍物检测识别这一问题，结合实际情况分析并建立算法模型，提出基于深度学习算法的高速水面无人艇视觉检测方法。基于轻量级的MobileNet 卷积层设计主网络提取全图特征，并添加多卷积层输出不同尺度的特征图，基于SSD思想设计检测子网络实现多尺度检测。并创建了一个新的水上目标数据集，用训练集对该网络在NVIDIA GeForce 1080TI上完成了整个检测系统的训练，在NVIDIA Jetson TX2上用测试集进行了验证，结果表明本方法可以在对多场景下不同大小的船舶以及摩托艇等障碍物目标保持82.1％平均检测精度的同时，单帧视频的检测时间小于50ms，优于现有的同类型方案。

为更清楚地阐述本发明的结构特征和功效，下面结合附图与具体实施例来对本发明进行详细说明。

附图说明

图1为本发明的基于深度学习的视觉检测实时算法模型。

图2为多尺度障碍物检测结果：

a)多个同类目标；b)多个同类多尺度目标；c)多类目标；d)多尺度目标。

图3为复杂场景检测结果：

a)浪花场景；b)复杂建筑物场景；c)海天场景；d)纯水面场景。

图4为高光照场景检测结果：

a)多噪声场景；b)变色场景。

具体实施方式

下面结合附图和具体实施例对本发明的技术方案做进一步的说明。

本发明针对高速水面无人艇障碍物检测识别这一问题，结合实际情况分析并建立算法模型，提出基于深度学习算法的高速水面无人艇视觉检测方法。首先以轻量级主网络提取全图特征，然后由检测子网络融合多特征图的结果，并以非极大值抑制筛除冗余结果同时回归预测位置参数，最终输出检测结果。

如图1所示，输入图片，首先主网络将图片的大小归一为300×300，然后对图片矩阵利用每个卷积层进行特征提取，本发明采用深度卷积和点卷积组成卷积层，深度卷积将每个卷积核应用到每一个通道，而点卷积用来组合通道卷积的输出，在较低网络模型参数量和计算量的情况下进行处理，输出所提取不同尺度的特征图。

深度可分离卷积层相比标准卷积层的计算开销比例为：

然后检测子网络抽取不同尺寸的特征图作为输入以实现多尺度检测，这6个特征图的大小分别为19×19、10×10、5×5、3×3、2×2、1×1。算法对输入特征图的每个特征区域生成一系列不同大小、不同比例的默认框，其大小和比例与对应的特征层有关，假设模型检测时采用m层特征图，则第k个特征图的默认框比例计算公式如下：

特别的，当aspect_ratio为1时，规定默认框参数为：

特征图与对应边框大小的不同使得其在图片的感受野也会相应的不同，形成多尺度的检测，输出如图1所示的检测结果。

检测子网络训练时同时对目标分类和位置进行回归，整体对象损失函数是置信损失和位置损失之和，其表达式如下：

图2、图3和图4分别为多尺度目标场景、复杂场景及高光照场景下本发明的检测结果，看一看出，本发明具有较强的鲁棒性，在各种复杂环境下均可保持多尺度的精确检测。

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种基于高速无人艇的水面视觉目标快速检测算法，整体算法模型可分为两部分，第一部分基于MobileNet卷积层设计轻量级主网络以生成多个不同尺度的特征图，第二部分基于SSD思想搭建了检测子网络，融合各层特征图并最终输出结果，其特征在于：

一、轻量级主网络中设计深度可分离卷积层，将标准卷积层分解成一个深度卷积和一个点卷积：深度卷积将每个卷积核应用到每一个通道，点卷积用来组合通道卷积的输出，深度可分离卷积层相比标准卷积层的计算开销比例为：

二、轻量级主网络去掉MobileNet最后的平均池化层、全连接层和Softmax层，并在网络后面添加8个卷积层；

三、检测子网络抽取不同尺寸的特征图作为输入，并对输入特征图的每个特征区域生成一系列不同大小、不同比例的默认框，假设模型检测时采用m层特征图，则第k个特征图的默认框比例计算公式如下：

式中k∈[1，m]，其中S_max和S_min代表默认框在对应特征图中所占的最小和最大比例，分别设置为0.2和0.9；

特征图与对应边框大小的不同使得其在图片的感受野也会相应的不同，形成多尺度的检测；

式中L_conf为置信损失，L_loc为位置损失，这里采用的是Smooth L1 Loss；N为与预先标注框匹配的默认框个数；α为平衡置信损失和位置损失的权重，设置为1；z为默认框与不同类别的预先标注框的匹配结果；c为预测物体框的置信度；l为预测物体框的位置信息；g为预先标注框的位置信息。

2.根据权利要求1所述的基于高速无人艇的水面视觉目标快速检测算法，其特征在于，三中，特征图的大小分别为19×19、10×10、5×5、3×3、2×2、1×1。

3.根据权利要求2所述的基于高速无人艇的水面视觉目标快速检测算法，其特征在于，三中，通过对同一特征层上的默认框规定不同的宽高比，设置宽高比为aspect_ratio＝(1，2，1/2，3，1/3)，具体的宽和高由以下公式确定：

4.根据权利要求3所述的基于高速无人艇的水面视觉目标快速检测算法，其特征在于，当aspect_ratio为1时，规定默认框参数为：

5.根据权利要求1所述的基于高速无人艇的水面视觉目标快速检测算法，其特征在于，在算法的训练阶段，将这些默认框和预先标注框匹配，结果输入损失函数以训练匹配策略。

6.根据权利要求5所述的基于高速无人艇的水面视觉目标快速检测算法，其特征在于，在预测阶段，则直接预测默认框的偏移以及对每个类别相应的得分，最后通过非极大值抑制去除冗余项得到最终的结果。