CN113536963B

CN113536963B - 基于轻量化yolo网络的sar图像飞机目标检测方法

Info

Publication number: CN113536963B
Application number: CN202110709178.3A
Authority: CN
Inventors: 陈渤; 李宁; 沈梦启; 刘宏伟; 纠博; 王鹏辉
Original assignee: Xidian University
Current assignee: Xidian University
Priority date: 2021-06-25
Filing date: 2021-06-25
Publication date: 2023-08-15
Anticipated expiration: 2041-06-25
Also published as: CN113536963A

Abstract

本发明属于雷达技术领域，具体公开了一种基于轻量化YOLO网络的SAR图像飞机目标检测方法，本发明使用了基于视觉注意力机制以及图像分割的机场检测算法对机场区域进行分割，在机场检测阶段取得了较好的检测效果。在后续的目标鉴别阶段，用卷积网络充分挖掘了飞机目标中的纹理特征和尺寸特征等结构信息，使目标与杂波的分界线更加明显，提高了SAR图像目标的检测与识别性能。对YOLOv3‑Tiny进行改进的基础上，提出了轻量化YOLO网络，该模型依然具备提取表示能力较强的特征的能力，同时大大减少了存储量和运算量。

Description

基于轻量化YOLO网络的SAR图像飞机目标检测方法

技术领域

本发明属于雷达技术领域，涉及雷达图像目标检测识别方法，具体涉及基于轻量化YOLO网络的SAR图像飞机目标检测方法。用以解决现有雷达图像目标检测识别方法在进行SAR图像目标检测识别中的算法复杂度高、虚警去除困难等问题。

背景技术

合成孔径雷达(SAR)是一种主动的航空、航天遥感工具。由于具有全天候、全天时、分辨率高和穿透性强等特点，SAR在战场监测、军事目标监测及识别等军用领域具有其独特优势。由于雷达对飞机、船舶、坦克、车辆等目标具有极强的发现能力，用SAR图像针对军事目标进行自动目标识别成为SAR图像解译领域的一个重要分支。在各类军事目标中，飞机目标是现代战争的主力军，是战场监测的重要对象，其军事价值不容忽略。高效、快速的识别出飞机目标是获取有利军事情报、抢夺战略地位、夺取战争主动权的重要手段。因此，为了及时有效的发现并获取飞机目标信息，满足现代战争中点对点实时精确打击的需求，迫切需要展开SAR图像中飞机目标识别工作的研究。

卷积神经网CNN作为深度学习技术中一种非常有效的特征提取方法，目前已在文本解析、图像识别与检测等诸多领域取得了巨大的突破。它受启发并脱胎于生物神经网络，它的权值共享结构特点大大降低了模型的复杂度，尤其当网络输入多维数据时权值共享的作用更是体现的淋漓尽致，它能减少几个数量级的权值学习量，大大提升了模型的训练速度。CNN是针对二维图像数据而设计的一种网络模型，使多维图像数据可以直接作为网络的输入，避免了传统识别算法中繁琐的数据预处理与数据重建过程。卷积神经网络能提取到数据浅层至高层的特征，并且它的结构特点决定了该网络模型对尺度、平移、旋转或者其他形式的形变具有一定程度的不变性。

当前的SAR图像目标识别通常基于SAR ATR三步处理流程进行的。但将CFAR等检测器应用于较为复杂的SAR场景时，则会出现较多虚警，增加了鉴别阶段的算法复杂度，分为目标检测、目标鉴别、目标识别三个处理阶段的SAR自动目标识别技术(Automatic TargetRecognition，ATR)三步处理流程已无法体现优势。此外，随着分辨率的不断提高，数据源、成像模式的不断增加，面对着不断增长的SAR图像数据收集能力，基于人工判读的目标识别面临着越来越多的困难，传统的目标识别方法已经不能满足实际应用的要求。

发明内容

针对现有技术中存在的问题，本发明的目的在于提供一种基于轻量化YOLO网络的SAR图像飞机目标检测方法，用以解决现有雷达图像目标检测识别方法在进行SAR图像目标检测识别中的算法复杂度高、虚警去除困难等问题。

为了达到上述目的，本发明采用以下技术方案予以实现。

基于轻量化YOLO网络的SAR图像飞机目标检测方法，包括以下步骤：

步骤1，获取待测SAR图像，对待测SAR图像进行机场预判断，若其包含机场，则执行步骤2；

步骤2，对待测SAR图像进行预处理，得到预处理后的SAR图像；对预处理后的SAR图像进行机场ROI提取，得到对应的机场ROI；

步骤3，构建轻量化YOLO网络，采用训练样本集对轻量化YOLO网络进行训练，并利用绝对值极值动态量化网络，得到训练好的轻量化YOLO网络；

步骤4，将所述机场ROI输入所述训练好的YOLO网络，生成候选框；对候选框进行飞机目标鉴别，得到飞机目标识别结果。

进一步地，所述利用绝对值极值动态量化网络，具体为：在所述飞机目标检测方法的硬件实现过程中，当进行网络训练时，采用网络权重参数绝对值的极值对网络参数进行量化，使网络参数更新过程中的浮点数变为整数；在网络的训练、测试和使用过程中，采用输入绝对值的极值对网络的输入进行量化；采用量化后的输入与量化后的权重进行卷积，网络输出即为量化后的输出。

更进一步地，在卷积运算过程中，将批归一化层的参数归并到其所属卷积层的参数中进行相应的更新和存储。

与现有技术相比，本发明的有益效果为：

(1)识别率高，本发明使用了基于视觉注意力机制以及图像分割的机场检测算法对机场区域进行分割，在机场检测阶段取得了较好的检测效果。在后续的目标鉴别阶段，用CNN充分挖掘了飞机目标中的纹理特征和尺寸特征等结构信息，使目标与杂波的分界线更加明显，提高了SAR图像目标的检测与识别性能。

(2)轻量化YOLO网络能够有效减少网络训练过程中的数据存储和运算量，本发明在对YOLOv3-Tiny进行改进的基础上，提出了更轻量化的模型ALYOLO(A Lite YOLO)，该模型依然具备提取表示能力较强的特征的能力，同时大大减少了存储量和运算量。兼顾了高精度和实时性的要求，并能方便的用于便携式设备如FPGA等进行实时检测。

附图说明

下面结合附图和具体实施例对本发明做进一步详细说明。

图1为本发明的实现流程图；

图2为本发明中的ALYOLO网络结构图；

图3鉴别算法加入前后加入本发明中目标识别网络的识别结果对比图；其中，(a)和(b)为加入鉴别算法前的检测结果，(c)和(d)为加入鉴别算法后的检测结果；

图4为利用本发明中的方法网络量化之后在相同数据上的识别结果图。

具体实施方式

下面将结合实施例对本发明的实施方案进行详细描述，但是本领域的技术人员将会理解，下列实施例仅用于说明本发明，而不应视为限制本发明的范围。

参考图1，本发明提供的一种基于轻量化YOLO网络的SAR图像飞机目标检测方法，包括以下步骤：

具体地，通过将待测SAR图像自带的经纬度信息和世界机场的经纬度信息数据库进行比对，判断该SAR图像是否包含机场，当两者的差距小于一定范围时，即认为该幅图像包含机场。可用下式表示为：

其中，longtitude_pic为图像自带的经度信息，longtitude_database为世界机场的经度信息数据库，latitude_pic为图像自带的纬度信息，latitude_database为世界机场的纬度信息数据库，为设定的判别距离。

2.1，预处理：首先对待测SAR图像进行自适应下采样，再对下采样图像进行均值滤波。

鉴于输入SAR图像的尺寸较大，且不同输入图片的分辨率不同，分辨率分别为0.5m，1m，2m，3m，因此对原尺寸图片进行插值操作缩小原图，将不同的图片统一到相同分辨率。针对不同分辨率，按照下式自适应设置不同的下采样比例方法，归一化图像到统一的3m分辨率；

其中，d表示下采样比例，n表示输入SAR图像的分辨率。下采样之后，SAR图像相对原图的缩放比例为(n^2)/9；

对下采样后的图像进行图像滤波，即均值滤波，消除部分干涉噪声。

2.2，获取机场ROI(感兴趣区域)

a)图像二值化：通过OTSU(最大类间方差法)算法获取预处理后的SAR图像二值化分割阈值；依次判断SAR图像中每个像素点的像素值是否小于等于分割阈值，若是，将该像素值设置为0，否则，将像素值设置为255；

b)形态学处理：选取一定大小的结构元素；根据下式中形态闭合操作的定义，利用结构元素对二值化后的图像做闭合运算，下式依次为膨胀操作、腐蚀操作、形态学闭运算；

其中，A表示二值化后的图像，B表示所选取的结构元素，表示B的翻转；(A)_b是集合A关于B的平移集合，(A)_-b是集合A关于B的映像的平移集合。

c)自适应连通域鉴别

对步骤b)中得到的形态学处理后的图像，获取面积较大的连通域；保留面积排名前三的连通域作为机场ROI。

参照图2所示的网络结构，本发明使用的卷积神经网络ALYOLO包括十层卷积层、三层maxPooling层、一层线性层、两层yolo层和一层route9层，即第一层为卷积层L₁，第二层为卷积层L₂，第三层为maxPoolingL₃、第四层为卷积层L₄，第五层为卷积层L₅、第六层为卷积层L₆，第七层为maxPoolingL₇、第八层为卷积层L₈，第九层为卷积层L₉、第十层为卷积层L₁₀，第十一层为maxPooling层L₁₁、第十二层为卷积层L₁₂，第十三层为linear层L₁₃、第十四层为yolo层L₁₄，第十五层为route9层L₁₅、第十六层为卷积层L₁₆、第十七层为yolo层L₁₇。其中，卷积层L₁、L₂、L₄、L₅、L₆、L₈、L₉、L₁₀中分别包含一个批归一化层。

其中，轻量化YOLO(ALYOLO)网络经过卷积层对输入SAR图像进行特征提取，卷积层之后的maxpooling层用于保留显著特征、降低特征维度。Linear层的作用为对前一层的的输出进行线性组合，增强网络的非线性能力。Route层的作用是将之前卷积层提取的特征图拼接在一起输出。Yolo层的作用为对提取到的特征进行飞机目标检测。

训练过程：训练样本由二十张实测的合成孔径雷达图像构成，对每张图像进行预处理之后，输入轻量化YOLO网络，网络参数进行随机初始化，损失函数和网络参数更新与YOLOv3相同。设置训练过程的参数为：batch＝128，learning rate＝0.00261，steps＝400000，450000。按批次进行训练，直到网络收敛为止，得到训练好的网络；也可以采用验证样本对训练后的网络进行效果验证，以此决定训练批次。

在硬件(FPGA)实现过程中，利用绝对值极值动态量化网络，具体为：当进行网络训练时，采用网络权重参数绝对值的极值对网络参数进行量化，使网络参数更新过程中的浮点数变为整数；具体量化方式：

A＝scale_A×Q_A

其中，A为量化前的浮点数，Q_A为量化后的整数，scale_A表示量化系数，即网络权重参数绝对值的极值；n′为量化位宽；

在网络的训练、测试和使用过程中，采用网络权重参数绝对值的极值对网络的输入和输出进行量化；

首先，采用与权重量化类似的方法进行输入量化，即采用输入的绝对值极值对网络的输入进行量化；

然后，采用量化后的权重与量化后的输入相卷积，得到网络输出的量化结果，可以用下式表示：

其中，Q_Y为输出的量化结果，QX为输入的量化结果，QW为权重的量化结果。scale_X为输入的量化系数，scale_Y为输出的量化系数，scale_W为权重的量化系数。

上式中，M为浮点数，为了使整个网络在前向推理中，只涉及整数计算，需要对M进行近似计算，使用乘法以及移位代替原有的浮点计算。

更进一步地，在卷积运算过程中，将批归一化层(BN层)的参数归并到其所属卷积层的参数中进行相应的更新和存储，具体为：

其中，w为卷基层的权重，w_fold为归并之后的卷积层权重，β为BN层的偏置参数，γ为BN层的方差参数，β_fold为归并之后的偏置，σ表示标准差，μ表示均值，ε为分母附加项，为很小的常数，防止分母为0。

步骤4，将所述机场ROI输入所述训练好的轻量化YOLO网络，生成候选框；对候选框进行飞机目标鉴别，得到飞机目标识别结果。

4.1，使用训练好的YOLO网络对步骤3中输出的飞机ROI进行飞机目标检测，生成候选框；

4.2，飞机目标鉴别：对于生成的候选框，计算其面积和长宽比，判断是否满足飞机的尺寸特征，若满足，则确定其为飞机目标。

仿真实验

下面通过仿真数据处理结果进一步说明本发明的正确性和有效性。

1.仿真条件：

本发明仿真实验的运行环境：NVIDIA GTX 1080Ti GPU，本发明的仿真实验是在MATLAB R2020b软件环境下完成的。

2.仿真内容：

本发明仿真实验是采用本发明，对实测的合成孔径雷达图像数据进行仿真，得到合成孔径雷达图像的目标检测结果。

首先，在当前实测的数据上进行了实验，展示了当前技术方案未进行网络量化的实验结果。然后，在当前实测的数据上测试了网络量化后的检测结果。

(一)实验条件

实验所用的数据是高分辨合成孔径雷达图像实测数据；

在进行目标识别之前对原始图像信息进行预处理并进一步提取机场ROI，然后使用本发明中的轻量网络ALYOLO和鉴别算法进行目标识别和虚警剔除。

(二)实验内容与结果：

实验1：用本发明的目标检测方法，首先使用训练样本集训练ALYOLO网络，然后将测试样本输入训练好的卷积神经网络中，计算目标识别准确率，得到平均精确度为0.93，平均检测率为0.89，与现有技术(SAR ATR三步处理流程)相比，识别率有较大的提升。

实验2：为了过滤深度网络常常会产生的虚警，在目标检测之后加入本发明中的鉴别算法，鉴别算法加入前后的结果对比如图3所示，其中：

图3(a)和图3(b)为加入鉴别算法前的检测结果；

图3(c)和图3(d)为加入鉴别算法后的检测结果；

实验3：本发明中的方法进行网络量化之后，在相同实测数据上进行目标检测和鉴别，与网络量化前的检测结果进行对照，网络量化之后的实验结果如图4所示。

图4(a)、图4(b)、图4(c)和图4(d)为网络量化后的检测结果；

图3中对比实验1、2的结果，可知本发明中的基于深度学习的SAR目标检测算法可以有效地识别飞机目标，根据实验2的图3(a)、3(b)、3(c)、3(d)中的结果，可知本发明的鉴别算法可以有效地剔除虚警；根据实验3的结果，本发明中的网络量化方法在使得SAR飞机目标检测算法在减少了存储量和运算量的同时依然具备较高的识别精度，是一种有效的、可靠的SAR目标检测方法。

综上所述，通过本发明提出的基于轻量化YOLO网络的目标检测方法，可以得到较好的SAR图像目标检测和虚警剔除效果。

虽然，本说明书中已经用一般性说明及具体实施方案对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。

Claims

1.基于轻量化YOLO网络的SAR图像飞机目标检测方法，其特征在于，包括以下步骤：

所述轻量化YOLO网络包括十层卷积层、三层maxPooling层、一层线性层、两层yolo层和一层route9层，即第一层为卷积层L₁，第二层为卷积层L₂，第三层为maxPoolingL₃、第四层为卷积层L₄，第五层为卷积层L₅、第六层为卷积层L₆，第七层为maxPoolingL₇、第八层为卷积层L₈，第九层为卷积层L₉、第十层为卷积层L₁₀，第十一层为maxPooling层L₁₁、第十二层为卷积层L₁₂，第十三层为linear层L₁₃、第十四层为yolo层L₁₄，第十五层为route9层L₁₅、第十六层为卷积层L₁₆、第十七层为yolo层L₁₇；其中，卷积层L₁、L₂、L₄、L₅、L₆、L₈、L₉、L₁₀中分别包含一个批归一化层；

2.根据权利要求1所述的基于轻量化YOLO网络的SAR图像飞机目标检测方法，其特征在于，步骤1中，所述对待测SAR图像进行机场预判断，具体为：将待测SAR图像自带的经纬度信息和世界机场的经纬度信息数据库进行比对，当两者的经度和纬度的差距均小于设定距离范围时，即认为该幅图像包含机场。

3.根据权利要求1所述的基于轻量化YOLO网络的SAR图像飞机目标检测方法，其特征在于，步骤2中，所述对待测SAR图像进行预处理为：

首先对待测SAR图像进行自适应下采样，即对待测SAR图像进行插值操作缩小原图，将不同的图像统一到相同分辨率；下采样之后，SAR图像相对原图的缩放比例为(n^2)/9，n表示输入SAR图像的分辨率；再对下采样得到的图像进行均值滤波，得到预处理后的SAR图像。

4.根据权利要求1所述的基于轻量化YOLO网络的SAR图像飞机目标检测方法，其特征在于，所述对预处理后的SAR图像进行机场ROI提取，具体为：

a)图像二值化：通过最大类间方差法获取预处理后的SAR图像二值化分割阈值；依次判断预处理后的SAR图像中每个像素点的像素值是否小于等于分割阈值，若是，将该像素值设置为0，否则，将像素值设置为255；

b)形态学处理：选取一定大小的结构元素，利用结构元素对二值化后的图像做形态学闭运算，形态学闭运算的公式为：

其中，A表示二值化后的图像，B表示所选取的结构元素，表示B的翻转；/>表示膨胀操作，Θ表示腐蚀操作，(A)_b是集合A关于B的平移集合，(A)_-b是集合A关于B的映像的平移集合；

c)自适应连通域鉴别

对步骤b)中得到的形态学处理后的图像，获取面积较大的连通域，保留面积排名前三的连通域作为机场ROI。

5.根据权利要求1所述的基于轻量化YOLO网络的SAR图像飞机目标检测方法，其特征在于，所述采用训练样本集对轻量化YOLO网络进行训练，具体为：获取多张实测的SAR图像构成训练集，对训练集中的每张SAR图像进行预处理之后，输入轻量化YOLO网络，网络参数进行随机初始化，按批次进行训练，不断更新网络参数，直到网络收敛为止。

6.根据权利要求5所述的基于轻量化YOLO网络的SAR图像飞机目标检测方法，其特征在于，所述利用绝对值极值动态量化网络，具体为：在所述飞机目标检测方法的硬件实现过程中，当进行网络训练时，采用网络权重参数绝对值的极值对网络参数进行量化，使网络参数更新过程中的浮点数变为整数；在网络的训练、测试和使用过程中，采用输入绝对值的极值对网络的输入进行量化；采用量化后的输入与量化后的权重进行卷积，网络输出即为量化后的输出。

7.根据权利要求6所述的基于轻量化YOLO网络的SAR图像飞机目标检测方法，其特征在于，在卷积运算过程中，将批归一化层的参数归并到其所属卷积层的参数中进行相应的更新和存储。

8.根据权利要求1所述的基于轻量化YOLO网络的SAR图像飞机目标检测方法，其特征在于，所述对候选框进行飞机目标鉴别，具体为：对于生成的候选框，计算其面积和长宽比，判断是否满足飞机的尺寸特征，若满足，则确定其为飞机目标。