CN110458160A

CN110458160A - 一种基于深度压缩神经网络的无人艇水面目标识别算法

Info

Publication number: CN110458160A
Application number: CN201910617211.2A
Authority: CN
Inventors: 周治国
Original assignee: Beijing University of Technology
Current assignee: Beijing University of Technology; Beijing Institute of Technology BIT
Priority date: 2019-07-09
Filing date: 2019-07-09
Publication date: 2019-11-15

Abstract

本发明公布了一种基于深度压缩神经网络的无人艇水面目标识别算法，使用本发明能够实时、鲁棒地检测多类水上特定目标。本发明针对无人艇在复杂水域环境下高价值目标识别需求，改进一种深度压缩神经网络算法并实时实现。采用基于VGG的神经网络进行特征提取，改进SSD目标检测算法候选框样本匹配策略、调整损失函数，利用聚类算法优化识别机制以提高算法的识别精度，并融合多特征图的检测结果，实现快速多尺度目标鲁棒识别。最后在不影响性能的前提下使用深度压缩方法将网络压缩50％，大幅降低了模型存储，并在嵌入式GPU上将算法实现并验证。实验结果表明，该算法能够在复杂环境下实时多尺度识别多类水上特定目标，对天气、光照的变化均有较强的鲁棒性，单帧视频的识别时间达到0.1s。

Description

一种基于深度压缩神经网络的无人艇水面目标识别算法

技术领域

本发明涉及无人艇视觉检测技术领域，具体涉及一种基于深度压缩神经网络的无人艇水面目标识别算法。

背景技术

近年我国加强周边海域管控的需求日益迫切，水面无人艇具有高隐蔽性、无伤亡、低成本的特点，执行岛礁巡逻、战场侦察、海上搜救等大范围、长时间任务有较大优势。无人艇在高动态环境中自主航行并完成任务，要求具备感知环境、发现潜在威胁以及执行合理路径的能力，一般须配备视觉传感器、激光雷达、毫米波雷达、X波段雷达及超声等感知传感器获知周边信息，以进行环境感知与高价值目标识别，其相关参数如下表所示。

由上表所示，毫米波雷达、激光雷达等传感器感知信息均为单点数据或点云数据，对目标的距离、角度及速度信息检测性能较好，但语义信息不足以用于目标识别。视觉传感器采集光学图像作为输入，具有更丰富的目标区域细节信息，结合相关算法可以对水面目标进行有效地识别。基于视觉图像的水面无人艇高价值目标识别主要有以下三个难点：1、识别难度大：水面图像场景复杂，往往有多个目标，且常有天气变化、极端光照条件、海面反射、浪花干扰等情况；2、识别精度要求高：实际执行任务需要对目标精确识别；3、实时性要求较高：无人艇航速较高，往往能达到40节，场景变化快，对识别速度有较高要求。

长时间以来，研究人员主要是基于传统图像处理方法对水上目标的识别和检测展开研究。G.K.Santhalia等通过分析海天线附近的直方图，从而去除海天区域，留下的部分即为待测水上目标。KH Chae等采用不同频率的显著性检测方法，通过显著性图中模板提取目标。AJ Sinisterra等通过组合简单的立体视觉匹配算法，结合基于扩展卡尔曼滤波器的预测校正方法，选择合适的概率模型进行目标的检测。Kristan M等人使用弱结构约束描述海洋环境，并采用马尔可夫随机场，生成同步优化分割掩模估计和模型参数的高效算法，实现了目标识别。C.Li等通过Objectness方法获得潜在目标的位置，进一步通过计算潜在目标的显著密度确定目标。Paccaud等首先通过基于梯度的图像处理算法检测可能存在的障碍物，然后通过多帧分析，结合水平梯度与垂直梯度确定障碍物的位置。这些传统方法往往只能判断目标的有无，而无法精确识别目标的特定类别，而且当图像中出现光线反射与折射、遮挡等干扰时就无法检出目标，不能满足无人艇的实际应用。近来也有研究人员尝试引入深度学习方法解决水上目标识别的问题，Qin等人采用FCN-8s网络用于检测障碍物，有着较好的鲁棒性。Yang等人通过Faster-RCNN检测目标的候选框，再通过图像分割算法在候选框中实现图像分割，最后通过相关滤波完成图像度跟踪。这些方法具有多类目标识别且鲁棒性强等优点，识别效果比传统算法有了较多提升，但限于网络冗余及性能因素具有识别精度仍然不高及识别速度较慢的缺点。

基于深度学习的图像处理算法在多个领域获得了应用，在目标识别领域的应用尤其突出。Faster RCNN、YOLO、SSD等在经典数据集上的目标识别效果已经远远超过了传统方法。但有研究者指出，深度神经网络中往往存在大量冗余，增大了模型的存储量和计算开销，且存在着模型参数量大、计算复杂和硬件要求高等限制，需要对其进行压缩后再进行应用。

发明内容

针对现有技术存在的不足，本发明实施例的目的在于提供一种基于深度压缩神经网络的无人艇水面目标识别算法，以解决上述背景技术中的问题。

有鉴于此，本发明提供了一种基于深度压缩神经网络的无人艇水面目标识别算法，针对无人艇在复杂水域环境下高价值目标识别需求，结合实际情况分析并建立算法模型，能够在复杂环境下实时多尺度识别多类水上特定目标，对天气、光照的变化均有较强的鲁棒性，单帧视频的识别时间达到0.1s。

为实现上述目的，本发明提供如下技术方案：

一种基于深度压缩神经网络的无人艇水面目标识别算法，改进算法可分为两部分，首先由特征提取网络对输入的图像矩阵化并逐层提取多尺度的特征，再由SSD检测网络进行位置预测与目标检测，并采用非极大值抑制方法删除冗余信息并输出最终的检测结果。

一、特征提取网络基于VGG网络进行构建，在网络末端使用2个卷积层替换了原网络的2个全连接层，并在其后增加8层附加网络进一步提高特征提取能力。SSD检测网络从特征提取网络抽取conv4_3，conv7，conv8_2，conv9_2，conv10_2和池化层pool11共6层尺度递减的特征响应图作为输入，以实现多尺度的检测。

二、默认框的生成。SSD检测网络在所提取的6个特征图上生成大小和生成位置与输入图像无关的一系列默认框，同一个特征图上默认框的面积是相等的。假设，需要在m个特征图上做预测，则第k个特征图上面积(尺度)s_k计算如下式所示：

其中m＝6，最小的面积为是0.2，最大面积是0.95。

在每个特征图中都会有多种不同宽高比的默认框，原网络中默认框的宽高比为ar∈{1，2，3，1/2，1/3}，ar是根据经验大致选定的。而对于水面环境与船艇目标，默认的宽高比ar并非最合理的。针对该问题，本算法中的ar不依据经验大致取值，而是依据先验知识聚类的结果而取值。

从数据集中提取所有目标的Ground Truth中的宽高比信息，并对这些目标的宽高比进行K-means聚类，即可以得到5个宽高比的聚类中心，这5个聚类中心即为ar∈{1，1.8，2.5，3.8，5}。根据聚类结果可知，水面目标大部分都是宽度大于高度的。经过对数据集的进一步分析，宽高比大于5的目标能够占到总目标数量的20％，而宽高比小于1的目标仅占7％。但是原网络设置了大量宽高比小于1的默认框，与先验知识不符。而通过先验知识优化的宽高比更符合水面的船艇目标的情况，可以提升识别的精度，同时在训练时也能够加速默认框向待识别目标收敛。

另外在识别过程中，深度较大的卷积层，神经元的感受野越大。所以不同深度的特征图上的默认框可以提取图中不同尺度的信息，用于识别不同尺度的目标，从而提升目标识别的效果。

三、正负样本选区与匹配策略的改进。SSD算法在训练时，会在正向传播过程中生成不同宽高比的候选框，这些候选框不都作为样本参与损失函数的计算。通过计算相同类别的候选框与真实框之间重叠程度，重叠大于一定阈值的视为正样本，小于阈值的会视为负样本。其中描述重叠程度的指标为交并比(IOU)。若存在A框与B框，交并比计算方式如公式(2)所示。

在原SSD网络中，交并比阈值为0.5。即候选框与真实框的交并比大于匹配阈值0.5才能将该候选框选为正样本，但是此候选框内仍然有相当大的一部分检测到的是背景噪声。由于水上目标背景大多以水与天为背景，大量相同特征的背景噪声的涌入候选框正样本会使训练结果的精度下降。提高交并比阈值可以减少海天背景噪声的引入。但是盲目提高候选框的匹配阈值也会导致召回率变低，减少提取的正样本数量，仍会影响训练结果。所以在面向无人艇目标识别的SSD算法中，取阈值为0.6，即候选框与真实框重叠大于60％时，则认为它们识别到的是同一个目标，视为正样本，既减少了背景误差的引入，也保证了正样本的数量。

由于正样本的数量远小于负样本，所以原SSD网络设正负样本比例为1∶3来限制负样本数量。在面向无人艇的SSI)网络训练中，数据集中图片总数较少，所以本发明设正负样本的比值为1∶4，适当增加样本的数量，使模型得到尽量充分的训练。

四、损失函数的改进。SSD中损失函数包含两个部分，一是计算目标类别的损失，二是计算目标位置的损失。通过归一化和加权，得到总的损失函数，这个损失函数为：

其中xkij＝1表示候选框i与类别p的真实框j匹配成功，代表匹配失败，所以x的值只有0，1两种情况。N是与真实值可以匹配的候选框的个数。Lloc是位置损失函数Smooth L1Loss。它用于回归位置的损失，包括中心点坐标cx，cy和候选框宽度w和高度h，共4个指标。具体函数表达式如式(4)。

l是卷积预测器的输出，是候选框相对默认框的归一化偏差；g代表真实值相对默认框的归一化偏差。进行梯度下降时，比较的是l与g之间的差值。这个差值越小损失就越少。在这里候选框的编号i属于Pos，即计算位置信息的损失时只使用正样本。

式(2)中α表示的是位置损失和置信度损失的权重，原SSD网络中α的值为1，则位置损失与类别损失的权重相同。而在水上目标识别的结果分析中，目标识别的类别置信度一般比较高，而位置损失比较大。因此，设α为1.2，提高位置损失的权重，使网络更注重减小位置的损失，同时保持了分类的精确度。

进一步地，算法训练完成后即可实现对目标的识别。

目标识别同样包括三个过程：1、生成默认框(与训练过程相同)；2、预测默认框中可能存在目标位置和类别，生成候选框；3、通过非极大值抑制，去除识别统一目标的多余候选框，最终留下的候选框框即为待识别目标。

进一步地，由于网络的参数过多，需要的计算与存储资源过大，不利于移植到嵌入式设备上。本发明使用了枝剪算法，对SSD算法进行了压缩。在深度神经网络中，绝对值大的连接重要性要高于绝对值较低的连接。当连接的绝对值接近0时，则认为此连接对整个网络没有意义。对这些连接进行枝剪，可以减少SSD模型的参数，从而降低占用的存储空间。

综上所述，本发明实施例与现有技术相比具有以下有益效果：

本发明针对高速水面无人艇障碍物检测识别这一问题，结合实际情况分析并建立算法模型，基于SSD目标识别网络，提出一种基于深度压缩神经网络的无人艇水面目标识别算法。首先结合先验知识，通过聚类算法优化默认框宽高比设置，提高识别精度；其次调整非极大值抑制算法候选框匹配的阈值，增强对背景噪声的鲁棒性；最后在损失函数权重方面做出适应性修正，提升算法在训练时对位置目标的敏感度。该算法经过50％的压缩后，实现了水上高价值目标的快速、多尺度识别，并且在复杂的光照条件下表现出较强的鲁棒性，其综合性能优于现有方案。

为更清楚地阐述本发明的结构特征和功效，下面结合附图与具体实施例来对本发明进行详细说明。

附图说明

图1为本发明的一种基于深度压缩神经网络的无人艇水面目标识别算法结构示意图。

图2为多目标情形下算法识别效果：

a)多目标遮挡场景识别效果；b)多尺度目标识别效果。

图3为不同天气情况下算法识别效果：

a)晴朗天气识别效果；b)阴雨天气识别效果；c)起雾天气识别效果；d)风浪天气识别效果。

图4为极端光照场景算法识别效果：

a)高光照场景识别效果；b)低光照场景识别效果。

具体实施方式

下面结合附图和具体实施例对本发明的技术方案做进一步的说明。

本发明针对高速水面无人艇障碍物检测识别这一问题，结合实际情况分析并建立算法模型，基于SSD目标识别网络，改进了一种面向无人艇目标识别的深度压缩神经网络算法。

本发明提供的一种基于深度压缩神经网络的无人艇水面目标识别算法，针对无人艇在复杂水域环境下高价值目标识别需求，结合实际情况分析并建立算法模型，能够在复杂环境下实时多尺度识别多类水上特定目标，对天气、光照的变化均有较强的鲁棒性，单帧视频的识别时间达到0.1s。

其具体算法如下：

首先结合先验知识，通过聚类算法优化默认框宽高比设置，提高识别精度；其次调整非极大值抑制算法候选框匹配的阈值，增强对背景噪声的鲁棒性；最后在损失函数权重方面做出适应性修正，提升算法在训练时对位置目标的敏感度。该算法经过50％的压缩后，实现了水上高价值目标的快速、多尺度识别，并且在复杂的光照条件下表现出较强的鲁棒性，其综合性能优于现有方案。

如图1所示，输入图片，首先特征提取网络将图片的大小调整为300×300，然后对图片矩阵利用每个卷积层进行特征提取，输出所提取不同尺度的特征图。然后SSD检测网络抽取不同尺寸的特征图作为输入以实现多尺度检测，算法对输入特征图的每个特征区域生成一系列不同大小、不同比例的默认框，其大小和比例与对应的特征层有关，假设模型检测时采用m层特征图，则第k个特征图的默认框比例计算公式如下：

式中k∈[1，m]，其中S_max和S_min代表默认框在对应特征图中所占的最小和最大比例，分别设置为0.2和0.95。

其次，正负样本选区与匹配策略的改进。其中描述重叠程度的指标为交并比(IOU)。若存在A框与B框，交并比计算方式为

在面向无人艇目标识别的SSD算法中，取阈值为0.6，即候选框与真实框重叠大于60％时，则认为它们识别到的是同一个目标，视为正样本，既减少了背景误差的引入，也保证了正样本的数量。

由于正样本的数量远小于负样本，所以原SSD网络设正负样本比例为1∶3来限制负样本数量。在面向无人艇的SSD网络训练中，数据集中图片总数较少，所以本发明设正负样本的比值为1∶4，适当增加样本的数量，使模型得到尽量充分的训练。

SSD中损失函数包含两个部分，一是计算目标类别的损失，二是计算目标位置的损失。通过归一化和加权，得到总的损失函数：

其中，xkij＝1表示候选框i与类别p的真实框j匹配成功，代表匹配失败，所以x的值只有0，1两种情况。N是与真实值可以匹配的候选框的个数。Lloc是位置损失函数SmoothL1 Loss。它用于回归位置的损失，包括中心点坐标cx，cy和候选框宽度w和高度h，共4个指标。

具体函数表达式为：

l是卷积预测器的输出，是候选框相对默认框的归一化偏差；g代表真实值相对默认框的归一化偏差。进行梯度下降时，比较的是l与g之间的差值。这个差值越小损失就越

少。在这里候选框的编号i属于Pos，即计算位置信息的损失时只使用正样本。

图2、图3和图4分别为多目标情形、不同天气情况、极端光照场景下本发明的检测结果，可以看出本发明具有较强的鲁棒性，在各种复杂环境下均可保持多尺度的精确检测。

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种基于深度压缩神经网络的无人艇水面目标识别算法，首先由特征提取网络对输入的图像矩阵化并逐层提取多尺度的特征，再由SSD检测网络进行位置预测与目标检测，并采用非极大值抑制方法删除冗余信息并输出最终的检测结果，其特征在于：

一、特征提取网络基于VGG网络进行构建，在网络末端使用2个卷积层替换了原网络的2个全连接层，并在其后增加8层附加网络进一步提高特征提取能力，SSD检测网络从特征提取网络抽取conv4_3，cony7，conv8_2，conv9_2，conv10_2和池化层pool11共6层尺度递减的特征响应图作为输入进行多尺度的检测；

二、默认框的生成，SSD检测网络在所提取的6个特征图上生成大小和生成位置与输入图像无关的一系列默认框，同一个特征图上默认框的面积是相等的，在m个特征图上做预测时，则第k个特征图上面积s_k计算式为：

式中k∈[1，m]，其中S_max和S_min代表默认框在对应特征图中所占的最小和最大比例，其中m＝6，最小的面积为是0.2，最大面积是0.95；

三、正负样本选区与匹配策略的改进，描述重叠程度的指标为交并比为IOU，若存在A框与B框，交并比计算方式为：

在面向无人艇目标识别的SSD算法中，取阈值为0.6；

四、损失函数的改进，SSD中损失函数包含两个部分，一是计算目标类别的损失，二是计算目标位置的损失，通过归一化和加权，得到总的损失函数，损失函数为：

其中，xkij＝1表示候选框i与类别p的真实框j匹配成功，代表匹配失败，所以x的值只有0，1两种情况，N是与真实值可以匹配的候选框的个数。

2.根据权利要求1所述的基于深度压缩神经网络的无人艇水面目标识别算法，其特征在于，在面向无人艇的SSD网络训练中，正负样本的比值为1∶4。

3.根据权利要求1所述的基于深度压缩神经网络的无人艇水面目标识别算法，其特征在于，所述位置损失函数用于回归位置的损失，包括中心点坐标cx，cy和候选框宽度w和高度h，共4个指标，函数表达式如下：

l是卷积预测器的输出，是候选框相对默认框的归一化偏差；g代表真实值相对默认框的归一化偏差，进行梯度下降时，比较的是l与g之间的差值。

4.根据权利要求1-3任一所述的基于深度压缩神经网络的无人艇水面目标识别算法，其特征在于，算法训练完成后即可实现对目标的识别，目标识别包括以下三个过程：

1)、生成默认框，与训练过程相同；

2)、预测默认框中可能存在目标位置和类别，生成候选框；

3)、通过非极大值抑制，去除识别统一目标的多余候选框，最终留下的候选框框即为待识别目标。

5.根据权利要求4所述的基于深度压缩神经网络的无人艇水面目标识别算法，其特征在于，所述基于深度压缩神经网络的无人艇水面目标识别算法使用枝剪算法，对SSD算法进行了压缩。

6.根据权利要求5所述的基于深度压缩神经网络的无人艇水面目标识别算法，其特征在于，当连接的绝对值接近0时，则此连接对整个网络没有意义。