CN110766721A - 一种基于机载视觉的着舰合作目标检测方法 - Google Patents

Abstract

本发明公开了一种基于机载视觉的着舰合作目标检测方法，属于导航定位与控制的技术领域。本发明提出一种以改进深度学习SSD模型为基础，结合相关滤波KCF技术的双线程目标检测算法。设计融合多尺度信息的特征提取结构。为满足机载嵌入式设备运行要求，利用通道降维，深度可分离卷积和逐点分组卷积减少网络模型运行内存占用量。设计双线程跟踪策略，结合相关滤波KCF算法，提升算法实时性。本发明提高了检测精度与运行速度，实现无人机着舰过程对着舰合作目标的快速检测与跟踪。

Description

一种基于机载视觉的着舰合作目标检测方法

技术领域

本发明公开了一种基于机载视觉的着舰合作目标检测方法，属于导航定位与控制技术领域。

背景技术

舰载无人机在海上可执行战场救护、侦察、中继制导、远程打击等多种危险任务,已成为现代海上战争中的理想武器，在众多国家都得到了大力推广。而由于受到海浪、舰船、无人机性能、舰上着舰区气流等因素的影响，直升机在海上舰艇上起降，特别是在中小舰艇上起降，面临着很多危险。

在众多着舰导航方式中，视觉引导具有抗电磁干扰，体积小，重量轻等众多优点。基于视觉的无人机自动着舰技术已成为国内外在舰载无人机技术中的重要研究内容。计算机视觉技术是一种先进的被动式测量或感知技术，无需在合作目标上安装传感器实物或天线，仅需将标定过的相机安装在无人机上，通过一定的计算机视觉处理便可以得到无人机与着舰合作目标的精确相对位置信息。

发明内容

为了解决下滑着舰过程合作目标的整体检测问题，本发明提出了一种基于机载视觉的着舰合作目标检测方法，以改进深度学习SSD(Single Shot MultiBox Detecter单次多框检测器)模型为基础，结合相关滤波KCF(High-Speed Tracking with KernelizedCorrelation Filters核相关滤波算法)技术的双线程目标检测算法。针对着舰场景中合作目标在视野体积小，尺度变化大的特点，设计融合多尺度信息的特征提取结构。为满足机载嵌入式设备运行要求，利用通道降维，深度可分离卷积和逐点分组卷积减少网络模型运行内存占用量。设计双线程跟踪策略，结合相关滤波KCF算法，提升算法实时性。

本发明为解决其技术问题采用如下技术方案：

一种基于机载视觉的着舰合作目标检测方法，包括如下步骤：

1)设计合作目标；

2)融合SSD模型三层特征图信息；

3)在SSD模型上去掉尾端对大目标的检测，仅对四幅特征图进行检测；

4)对步骤2)和步骤3)的各特征图在通道维进行拼接后用1×1卷积核降维；

5)对输出特征图进行深度分离卷积操作；

6)深度学习SSD检测模块以低帧率5秒/次运行；

7)当SSD检测模块检测到合作着舰目标时，输出检测到的目标位置，当SSD检测模块不工作，输出目标跟踪模块输出的跟踪结果；

8)循环步骤1)至步骤7)。

步骤2)所述融合SSD模型三层特征图信息为融合Conv4_3，Conv7,Conv8_2三层特征图信息。

步骤5)所述深度分离卷积操作分为Depthwise和Poingwise两个过程。

所述Depthwise过程是计算每个通道的空间特征。

步骤6)的具体过程如下：

SSD检测模块连续检测N次，其中：5≤N≤10，检测到的目标都在正常甲板运动范围内，将当前检测到的目标位置设置为KCF跟踪器候选区域，将KCF跟踪器初始化；目标跟踪模块使用相关滤波跟踪算法,根据SSD检测模块输出的位置信息，计算滤波器模板，在后续图像帧中搜寻目标的位置,在跟踪过程中不断更新滤波器模板参数,当KCF跟踪目标丢失时，启动SSD检测模块以初始化KCF跟踪器。

本发明的有益效果如下：

1、对于无人直升机下滑着舰过程中的合作目标检测问题，本发明可以有效解决着舰中合作目标在视野体积小，尺度变化大，图像易模糊抖动，机载设备存储容量低等问题。

2、深度学习采用卷积神经网络自主学习特征代替人工设计的特征，使算法有更好的鲁棒性。

3、本发明提出的双线程检测策略，结合改进深度学习模型和相关滤波KCF技术，提高了算法处理速度和处理精度，完全满足着舰要求。

附图说明

图1为合作目标设计图。

图2为SSD基础模型图。

图3为融合多尺度信息的特征提取结构图。

图4为先验框尺度示意图。

图5为改进后的SSD模型图。

图6为改进Denselayer层图。

图7为双线程跟踪策略图。

具体实施方式

下面结合附图对本发明创造做进一步详细说明。

步骤1：采用改进的深度学习SSD模型检测合作着舰目标

步骤1.1：设计合作目标

合作目标设计如图1，白色同心圆环内为期望着舰区域，灰色部分为缩比格栅，“H”图样为近距解算相对位姿辅助标志。

步骤1.2：改进SSD模型

SSD模型是单阶段检测模型，没有显式地生成候选区域的步骤，而是直接预测目标类别和位置。与有生成proposal(候选区域)过程的双阶段检测模型相比,检测速度大幅提升。SSD模型提取多层不同分辨率的特征图以提高对尺度变化大的物体的检测能力，但对小目标的检测精度仍然欠佳。在着舰场景中，需重新设计特征提取结构以改进SSD模型的中小目标检测能力并压缩模型体积以适应机载嵌入式需求。

SSD模型结构如图2所示。模型前部为VGG特征提取网络。网络大尺度特征图包含更多细节信息用来检测小物体，小尺度特征图提取高层语义信息可用来检测大物体。SSD模型在Conv4_3(Convm_n:第m组的第n层卷积结果)，Conv_7，Conv8_2，Conv9_2，Conv10_2，Conv11_2的特征图上的每一点分别提取(4,6,6,6,4,4)个大小不同的先验框，共38×38×4+19×19×6+10×10×6+5×5×6+3×3×4+1×1×4＝8732个边界框做目标检测。

要提高小尺度物体的检测能力，特征图要兼顾较强的语义特征和位置特征。一方面有更强的特征提取能力和全局语义信息，另一方面有足够的分辨率以得到位置信息。本发明融合多尺度特征，增强大分辨率特征图全局语义理解能力，以增强小目标检测能力。Conv3_3保留了形状细节特征，但卷积深度浅，语义特征少。所以本发明融合Conv4_3，Conv7,Conv8_2三层特征图信息。将Conv4_3，Conv7,Conv8_2用1x1卷积核降维到256维，利用双线性插值分别把19×19的Conv7和10×10的Conv8_2上采样到和Conv4_3一样大小的38x38特征图后拼接。对拼接后的特征图利用3×3卷积核多通道卷积。考虑高语义特征和低语义特征图在融合时权重不同，3×3卷积核参数可通过训练学习到各尺度特征的权重参数，所以不采用特征图相加的操作，并能减轻上采样的混叠效应。最终得到(38,38,256)的融合特征。特征融合流程如图3所示。

随着特征图大小降低，先验框尺度线性增加，覆盖小中大目标。输入图像为300×300，六个特征图的先验框尺度为S_k＝(30,60,111,162,213,264)，长宽比尺度一般有

先验框的宽度高度为：

其中：S_k为第k种先验框尺度，w_k为第k种先验框的宽度，h_k为第k种先验框的高度，a_r为第r种长宽比尺度。并为每个特征图都设置了两个长宽比为1但大小不同的正方形先验框，对每个特征图添加

的尺度,先验框的宽度高度为：

其中：S_k+1为第k+1种先验框尺度，S'_k+1为给第k个特征图新增的先验框尺度。

分析下滑着陆段场景中无人机与甲板的实际情况:1、213,264所占比例目标出现时，无人机离甲板较近，此时需对特征点进行检测解算位姿。2、着舰合作目标为圆形，检测长宽比不包括3，1/3。所以在SSD模型上去掉尾端对大目标的检测，减小了模型深度，能有效缓解过拟合，减小训练难度。对四幅特征图S_k＝(30,60,111,162)进行检测，每个特征图提取四种大小的先验框，

其中：

为第k种的第r个先验框的宽度，

为第k种的第r个先验框的高度，

为第k种的第4个先验框的宽度，

为第k种的第4个先验框的高度；共16种先验框尺度，在300×300图像上尺度大小如图4所示。

改进后的模型如图5所示。先验框共38×38×4+19×19×4+10×10×4+5×5×4＝7720个。

步骤2：压缩模型

本发明以Densenet(密集卷积网络)为基础，利用通道降维，深度可分离卷积和逐点分组卷积设计前端轻量化特征提取网络，减小模型体积，加快模型运行速度。Densenet的密集卷积结构每一层的输入来自前面所有层的输出，可以有效加强特征的传递，减轻梯度消失现象。

对Densenet模型的基本结构Denseblock(密集块)中的Denselayer(密集层)进行改进，如图6所示

主要分为三个步骤

步骤2.1：首先对之前的各特征图在通道维进行拼接后用1×1卷积核降维，减少输入的特征图数量，减少计算量并融合各个通道特征。

步骤2.2：再对特征图进行深度可分离卷积替代普通3×3卷积操作。深度可分离卷积结构将卷积操作分为Depthwise(深度可分离卷积)和Poingwise(逐点分组卷积)两个过程，分别对特征图的空间信息和深度信息进行解耦计算，可有效降低模型参数量并减少运算次数。Depthwise过程计算每个通道的空间特征，将输入H×W×C₁的特征图，分为C组，对每一组做3×3卷积，输出H×W×C₁，其中H表示为输入特征图高度，W表示为输入特征图宽度，C₁表示输入特征图通道。

即图6中的dconv操作。

步骤2.3：Poingwise过程加入深度信息，对H×W×C₁做C₂个1×1卷积，输出H×W×C₂的特征图。其中H表示为输入特征图高度，W表示为输入特征图宽度，C₁表示输入特征图通道，C₂表示输出特征图通道。即图6中的pconv操作。

并如图6中所示，在各卷积层后加入BN+RELU，即Batch normalization(批量标准化)和Rectified Linear Unit(一种线性激活函数)，降低特征图间的差异性，可以防止梯度消失和梯度爆炸。

步骤3：

对深度学习SSD算法进行模型轻量化压缩后，除了模型体积减小，由于运算次数的显著减少，算法实时性也会相应提高。但在着舰的实际应用中仍需提高实时性，本发明设计一种结合相关滤波KCF算法的双线程检测策略。

KCF核相关滤波算法是一种鉴别式跟踪方法，选取第一帧的指定目标位置为正样本，然后通过循环位移目标周围区域采集正负样本，根据采集的样本集脊回归训练出一个目标检测器。由于采集到的样本集就是一个循环矩阵，循环矩阵可在傅里叶空间对角化从而将矩阵运算转化为元素的点乘，降低运算量，提高运算速度。使用目标检测器去检测下一帧预测位置是否是目标，然后再使用新检测结果去更新训练集进而更新目标检测器。

本发明提出的双线程检测策略包括目标检测模块、目标跟踪模块以及融合输出模块。双线程运算可以更好的利用CPU的资源，在主线程执行任务的同时可以执行其他任务，而不需要等待。且不同的线程之间可以共享数据。目标检测模块为改进深度学习SSD检测模型,通过单张图片的上下文语义信息检测合作着舰目标；目标跟踪模块为相关滤波kcf跟踪算法,通过利用视频运动目标的连续性实现对着舰合作目标持续的跟踪。最后对上述两个模块的结果进行综合输出,实现对图像时间和空间上下文信息的融合。设计双线程检测策略如图7所示。

深度学习SSD检测模块融合多尺度特征信息，输出着舰合作目标的位置。由于KCF跟踪器跟踪效果受目标尺度变化影响较大，所以深度学习SSD检测模块以低帧率5秒/次运行，每计时到5s，设SSD_flag为1，启动SSD检测模块。SSD检测模块在检测模块连续检测N次检测到的目标都在正常甲板运动范围内，将当前检测到的目标位置设置为KCF跟踪器候选区域，设KCF_flag为1，将KCF跟踪器初始化。目标跟踪模块使用相关滤波跟踪算法,根据SSD检测模块输出的位置信息，计算滤波器模板，用于在后续图像帧中搜寻目标的位置,在跟踪过程中不断更新滤波器模板参数,当KCF跟踪目标丢失时，设SSD_flag为1，启动SSD检测模块以初始化KCF跟踪器。以上目标跟踪过程如图7右部所示。

当SSD检测模块检测到合作着舰目标时，输出检测到的目标位置，当SSD检测模块不工作，输出目标跟踪模块输出的跟踪结果。循环以上过程。

Claims (5)

1.一种基于机载视觉的着舰合作目标检测方法，其特征在于，包括如下步骤：

1）设计合作目标；

2）融合SSD模型三层特征图信息；

3）在SSD模型上去掉尾端对大目标的检测，仅对四幅特征图进行检测；

4）对步骤2）和步骤3）的各特征图在通道维进行拼接后用1×1卷积核降维；

5）对输出特征图进行深度分离卷积操作；

6）深度学习SSD检测模块以低帧率5秒/次运行；

7）当SSD检测模块检测到合作着舰目标时，输出检测到的目标位置，当SSD检测模块不工作，输出目标跟踪模块输出的跟踪结果；

8）循环步骤1）至步骤7）。

2.根据权利要求1所述的一种基于机载视觉的着舰合作目标检测方法，其特征在于，步骤2）所述融合SSD模型三层特征图信息为融合Conv4_3，Conv7, Conv8_2三层特征图信息。

3.根据权利要求1所述的一种基于机载视觉的着舰合作目标检测方法，其特征在于，步骤5）所述深度分离卷积操作分为Depthwise和Poingwise两个过程。

4.根据权利要求3所述的一种基于机载视觉的着舰合作目标检测方法，其特征在于，所述Depthwise过程是计算每个通道的空间特征。

5.根据权利要求1所述的一种基于机载视觉的着舰合作目标检测方法，其特征在于，步骤6）的具体过程如下：

SSD检测模块连续检测N次，其中

，检测到的目标都在正常甲板运动范围内， 将当前检测到的目标位置设置为KCF跟踪器候选区域，将KCF跟踪器初始化；目标跟踪模块 使用相关滤波跟踪算法, 根据SSD检测模块输出的位置信息，计算滤波器模板，在后续图像 帧中搜寻目标的位置, 在跟踪过程中不断更新滤波器模板参数, 当KCF跟踪目标丢失时， 启动SSD检测模块以初始化KCF跟踪器。

Images