CN115100457A - 一种联合深度学习与cfar的sar图像目标检测方法 - Google Patents

一种联合深度学习与cfar的sar图像目标检测方法 Download PDF

Info

Publication number
CN115100457A
CN115100457A CN202210620293.8A CN202210620293A CN115100457A CN 115100457 A CN115100457 A CN 115100457A CN 202210620293 A CN202210620293 A CN 202210620293A CN 115100457 A CN115100457 A CN 115100457A
Authority
CN
China
Prior art keywords
data
image
slice
sliding window
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210620293.8A
Other languages
English (en)
Inventor
陈渤
刘泽涛
曾泽群
沈梦启
王英华
王鹏辉
刘宏伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202210620293.8A priority Critical patent/CN115100457A/zh
Publication of CN115100457A publication Critical patent/CN115100457A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及雷达目标识别领域,具体涉及一种联合深度学习与CFAR的SAR图像目标检测方法。本发明使用将CNN网络、YOLO V5网络和CFAR算法联合的方式,显著提高了对SAR图像的目标检测率;使用很少的参数网络模型和快速CFAR检测算法,以及使用CNN网络过滤了不含目标的复杂场景切片,使其不加入到YOLO V5和CFAR中检测,检测过程用时少,提高了整个目标识别过程的检测效率;采用YOLO V5的神经网络结构,并对数据集做了归一化、数据增强和自适应计算的预处理,可以得到SAR图像的多层特征,相比于传统的识别方法和Fast RCNN等网络结构的目标识别的方法有较强的鲁棒性。

Description

一种联合深度学习与CFAR的SAR图像目标检测方法
技术领域
本发明涉及雷达目标识别领域,具体涉及一种联合深度学习与CFAR的SAR图像目标检测方法。
背景技术
SAR(Synthetic Aperture Radar,合成孔径雷达)是一种较高分辨率的相干成像雷达装置,具有不依赖太阳光照、可全天时全天候对地观测的能力,能有效地探测能见度极低的气象条件下目标地物的空间形态特征。因此,SAR系统在民用和军用领域的应用越来越广泛。随着SAR技术不断发展,其成像分辨率不断提高,SAR图像目标识别领域面临着越来越多的机遇的同时,伴随着许多挑战。
现有许多针对SAR图像的目标识别方法,可大致分为两类。一类是传统的SAR图像目标识别方法,主要以CFAR(Constant False-Alarm Rate,恒虚警率)检测算法为代表。CFAR算法具有简单快速和实用性强的特点,在目标识别领域中,CFAR算法可以保持设定的虚警率,来检测图像中的目标是否存在。但是,由于SAR图像成像的特殊性,CFAR算法在检测SAR图像过程中的抑制杂波噪声和控制复杂区域虚警方面存在局限性,虽然也有一些改进的CFAR算法被提出,但是依然难以解决复杂区域上的虚警问题。
另一类是基于深度学习的SAR图像目标识别方法。近年来,深度学习应用于医学、工业和雷达等多个领域且发展迅速。CNN网络(卷积神经网络)作为深度学习中的经典网络,也成为了当前流行且高效的目标识别检测网络YOLO V5网络的主干。深度学习方法的优点在于网络以多维图像作为输入,避免了传统目标识别算法中复杂的特征提取和数据重建过程,在目标检测中取得巨大成就。在SAR图像目标识别领域中,根据SAR图像上不同类型的目标具有不同地空间形态表征的形式,有相应的针对性目标识别算法。但现有SAR图像检测识别方法,都只是利用SAR图像局部区域的统计特性,即仅能做到像素级别的检测。或者说,目前深度学习的SAR图像目标识别方法要求目标与背景有较高的对比度和明显的判别特征。故其在简单场景下的检测性能较好,但在复杂场景下检测性能极差。
发明内容
针对现有技术中存在的问题,本发明的目的在于一种联合深度学习与CFAR的SAR图像目标检测方法。
为了达到上述目的,本发明采用以下技术方案予以实现。
一种联合深度学习与CFAR的SAR图像目标检测方法,包括以下步骤:
步骤1,对N张SAR图像进行处理,获得训练集和测试集;对训练集和测试集进行滑窗切片,分别得到滑窗切片后的训练集和滑窗切片后的测试集;
步骤2,对滑窗切片后的训练集和滑窗切片后的测试集进行处理;使用处理后的训练集数据对CNN网络进行训练,得到训练好的CNN网络;再将处理后的测试集数据输入训练好的CNN网络,得到处理后的测试集数据的分类结果;将测试集中所有空旷场景或含有目标的切片图像的集合记为保留集;
步骤3,对滑窗切片后的训练集图像和保留集图像进行预处理;使用预处理后的训练集数据对YOLO V5网络进行训练,得到训练好的YOLO V5网络;再将预处理后的保留集数据输入训练好的YOLO V5网络,得到虚警最少的目标识别结果切片数据集,记为数据集A;
步骤4,对数据集A数据进行输出框的最大置信度判定和总共检测出的目标数量判定,将所有符合判定条件的数据集A的数据作为一次检测数据集;将一次检测数据集中的数据输入到CFAR检测算法中进行二次检测,得到二次检测数据集;
步骤5,将二次检测数据集数据和一次检测数据集数据进行合并,得到最终的目标检测结果。
与现有技术相比,本发明的有益效果为:
第一,目标识别率高:传统方法针对SAR图像数据的目标识别一般只是用传统检测器或者分类器直接对原始数据进行分类检测得到目标识别结果,这并没有提取SAR图像上的高维度特征数据信息,导致传统方法识别率往往都不高,而因为SAR图像数据的特殊性,深度学习方法提取SAR图像的特征信息一般情况下识别效果达不到理想结果。对此,本发明使用的CNN和YOLO V5,以及传统方法CFAR检测算法联合的方式,对SAR图像一步一步地识别目标,使得目标识别率有显著提高。
第二,检测速度快:本发明方法在考虑不影响目标识别率的情况下,一方面采用很少的参数网络模型和快速CFAR检测算法,另一方面是使用了CNN网络,过滤了不含目标的复杂场景切片,使其不加入到YOLO V5和CFAR中检测,节省了时间;检测过程用时少,从而提高整个过程的检测效率。
第三,鲁棒性强:本发明方法由于采用YOLO V5的神经网络结构,并对数据集做了归一化、数据增强和自适应计算的预处理,可以得到SAR图像的多层特征,相比于传统的识别方法和Fast RCNN等网络结构的目标识别的方法有较强的鲁棒性。
附图说明
下面结合附图和具体实施例对本发明做进一步详细说明。
图1为本发明联合深度学习与CFAR的SAR图像目标检测方法的流程图。
具体实施方式
下面将结合实施例对本发明的实施方案进行详细描述,但是本领域的技术人员将会理解,下列实施例仅用于说明本发明,而不应视为限制本发明的范围。
参考图1,一种联合深度学习与CFAR的SAR图像目标检测方法,包括以下步骤:
步骤1,对N张SAR图像进行处理,获得训练集和测试集;对训练集和测试集进行滑窗切片,分别得到滑窗切片后的训练集和滑窗切片后的测试集;
具体的,获取N张SAR图像目标的位置和类别,将SAR图像目标的位置和类别作为标签;将一张SAR图像和对应的标签作为一组数据,得到样本集;将样本集按比例随机划分为训练集和测试集;对训练集和测试集的SAR图像进行滑窗切片,得到每张SAR图像得到固定大小的切片及切片对应的标签,得到滑窗切片后的训练集和滑窗切片后的测试集。
具体过程如下:
确定N张SAR图像,用开源图像标注软件LabelImg进行标注,对SAR图像上的目标标注类别和位置信息,这些信息储存在xml格式的文件中;每个SAR图像对应生成一个xml格式的标签文件,则生成N个SAR图像对应的xml标签文件。
将一张SAR图像和对应的标签作为一组数据,得到样本集;将样本集按比例随机划分为训练集和测试集。
对SAR图像进行滑窗切片,xml标签信息随着滑窗切片修改其相应信息;滑窗切片后,得到长宽均为I的固定大小切片图像,以及切片图像对应的xml标签;将xml格式的标签文件转换为txt格式的文件保存,每个切片图像对应生成一个txt文件,txt文件中每一行代表该切片图像的一个目标信息,该信息是目标类别和目标框的中心坐标及长宽大小,共计5个信息,分别记为:class、x-center、y-center、width、height;此时将txt标签信息记为YOLO-Label;其中,切片的固定大小为I=640。
步骤2,对滑窗切片后的训练集和滑窗切片后的测试集进行处理;使用处理后的训练集数据对CNN网络进行训练,得到训练好的CNN网络;再将处理后的测试集数据输入训练好的CNN网络,得到处理后的测试集数据的分类结果;将测试集中所有空旷场景或含有目标的切片图像的集合记为保留集;
对滑窗切片后的训练集和滑窗切片后的测试集进行处理,具体的,对滑窗切片后的训练集和滑窗切片后的测试集的切片图像进行标记:将复杂场景且不含目标的切片图像的标签记为0,将含有目标的切片图像的标签记为1,其他切片图像的标签记为2;
然后将一个滑窗切片后的训练集中的切片图像和对应的标签作为一组数据,得到CNN训练集,记为CNN-Train-Slices;将一个滑窗切片后的测试集中的切片图像和对应的标签作为一组数据,得到CNN测试集,记为CNN-Test-Slices。
所述CNN网络,具体的,包括依次连接的4个卷积层和全连接层;卷积层用于对输入的切片图像进行卷积和下采样,全连接层用于对第4层卷积层输出的特征进行线性变换处理,得到输入的切片图像的分类结果;
第一层卷积层用于对输入的切片图像进行卷积和下采样,得到第一层卷积层下采样处理后的C个特征图x′,其过程为:
(1)对CNN-Train-Slices数据进行归一化;
(2)第一层卷积层包括C个卷积核,并将第一层卷积层的C个卷积核记为K,且K大小设置为3×3×1,卷积步长设为1,用于对输入的切片图像进行卷积;使用第一层卷积层将归一化处理后的CNN-Train-Slices与第一层卷积层的C个卷积核分别进行卷积,得到第一层卷积层输出的C个卷积后的结果,记为x:
Figure BDA0003676307860000061
其中,I为步骤1中切片的固定大小,即输入图像尺寸;p为卷积中的填充大小;k为卷积核的大小;s为卷积步长;本实施例中p=0,k=3,s=1。
(3)将C个卷积后的结果x输入到激活函数和池化层中,得到第一层卷积层的C个特征图x′:
x′=p[f(x)]
其中,f()表示Relu激活函数;p[]表示最大池化层,最大池化层的填充为0,卷积核大小为2;因为激活函数不改变输入数据的大小,所以x′的大小为x的一半。
第二层、第三层和第四层卷积层,该三层卷积层用于对上一层的输出特征图进行卷积和下采样,得到下采样处理后的特征图y′,z′,q′,其过程为:
(1)设定第二层卷积层中包含2C个卷积核K′,并且第二层卷积层的卷积核与第一层卷积核K大小取值相同均为3×3×1,填充为0,卷积步长为1;然后用第二层卷积层的2C个卷积核K′与第一层卷积层下采样处理后的C个特征图x′分别进行卷积,得到第二层卷积层2C个卷积后的结果,记为y:
Figure BDA0003676307860000071
然后,将2C个卷积后的结果y输入到该层的激活函数和池化层中,得到第二层卷积层的2C个特征图y′:y′-p[f(y)]。其中,f()表示Relu激活函数;p[]表示最大池化层,最大池化层的填充为0,卷积核大小为2。
(2)设定第三层卷积层中包含4C个卷积核K″,并且第三层卷积层的卷积核与第一层卷积核K大小取值相同均为3×3×1,填充为0,卷积步长为1;然后用第三层卷积层的4C个卷积核K″与第二层卷积层下采样处理后的2C个特征图y′分别进行卷积,得到第三层卷积层4C个卷积后的结果,记为z:
Figure BDA0003676307860000072
然后,将4C个卷积后的结果z输入到该层的激活函数和池化层中,得到第三层卷积层的4C个特征图z′:z′=p[f(z)]。其中,f()表示Relu激活函数;p[]表示最大池化层,最大池化层的填充为0,卷积核大小为2。
(3)设定第四层卷积层中包含8C个卷积核K″′,并且第四层卷积层的卷积核与第一层卷积核K大小取值相同均为3×3×1,填充为0,卷积步长为1;然后用第四层卷积层的8C个卷积核K″′与第三层卷积层下采样处理后的4C个特征图z′分别进行卷积,得到第四层卷积层8C个卷积后的结果,记为q:
Figure BDA0003676307860000081
然后,将8C个卷积后的结果q输入到该层的激活函数和池化层中,得到第四层卷积层的8C个特征图q′:q′=p[f(q)]。其中,f()表示Relu激活函数;p[]表示最大池化层,最大池化层的填充为0,卷积核大小为2。
全连接层用于对第四层卷积层下采样处理后的8C个特征图q′进行线性变换处理,得到第五层全连接层线性变换处理后的数据结果
Figure BDA0003676307860000082
其表达式为:
Figure BDA0003676307860000083
其中,q′为B×U,B为CNN-Train-Slices中一次输入进行训练的样本数Batchsize,B为大于0的正整数,U为样本特征数;W表示第五层全连接层的随机初始化的权值矩阵,W为U×O维,O为输出的分类类别数目;b表示第五层全连接层的向量偏置,b为B×O维;本实施例中B取值为5,O取值为3。
所述第五层全连接层线性变换处理后的数据结果
Figure BDA0003676307860000084
为B×O维,第五层全连接层线性变换处理后的数据结果
Figure BDA0003676307860000085
中有且仅有一个最大值。
将CNN-Test-Slices输入到训练好的CNN分类网络中,对第五层全连接层线性变换处理后的数据结果
Figure BDA0003676307860000091
进行切片分类,得到切片保留还是过滤的结果,其过程为:
(1)确定输入的CNN-Test-Slices中的切片S对应的第五层全连接层线性变换处理后的数据结果
Figure BDA0003676307860000092
中数值最大值的位置标签为j,0≤j≤2。
(2)根据CNN-Label,复杂场景且不含目标的切片数据的标签为0,含有目标的切片数据的标签为1,其他的切片数据为2。
(3)如果j=0,则认为切片S分类的结果为复杂场景且不含目标的切片数据,将会过滤掉;如果j=1,则认为切片S分类的结果为含有目标的切片数据,将会保留;如果j=2,则认为切片S分类的结果为其他切片数据,将会保留;过滤掉的切片不再参加后续步骤,保留的切片数据记为Reserved Test-Slices。
步骤3,对滑窗切片后的训练集图像和保留集图像进行预处理;使用预处理后的训练集数据对YOLO V5网络进行训练,得到训练好的YOLO V5网络;再将预处理后的保留集数据输入训练好的YOLO V5网络,得到虚警最少的目标识别结果切片数据集,记为数据集A;
具体的,子步骤3a,对滑窗切片后的训练集图像和保留集图像进行预处理,过程如下:
子步骤3a.1,分别对滑窗切片后的训练集图像和保留集图像进行扩增和数据增强,得到数量足够大且图像质量高的数据集;将扩增后的训练集记为数据集a,将扩增后的保留集记为数据集b;
通过旋转变换、仿射变换和Mosaic的方法对训练集和保留集进行扩增和数据增强,生成数量足够大且图像质量高的数据集,用于提升后续步骤的网络训练速度和精度;这里将训练集和测试集扩充为8:1;
子步骤3a.2,对数据集a数据和数据集b数据的标注信息进行核查:计算数据集a数据和数据集b数据的默认锚定框的最佳召回率;当最佳召回率大于或等于0.98,则不需要更新锚定框;当最佳召回率小于0.98,则需要重新计算符合此数据集的锚定框。
利用自适应锚定框(Auto Learning Bounding Box Anchors),即采用k均值(k-means)聚类和遗传学习算法对输入数据进行自动分析,获得适合输入数据中目标边界框预测的预设锚定框,并且这种框是基于训练数据自动学习的;
创建配置文件,文件格式为yaml,其内容包含数据集A和数据集B所在路径,以及用字典保存检测数据集A和数据集B的SAR数据的目标类别数目和对应的类别名称,按照对应的顺序存放;
子步骤3b,建立YOLO V5网络:
YOLO V5检测网络包含基准网络、Neck网络和Head网络;由基准网络和Neck网络模型读取SAR图像像素信息,提取SAR图像在网络不同深度的特征,再输入Head网络中,由Head网络输出SAR图像中输出框位置信息、类别和置信度,再经过NMS进行极大值抑制去除多余输出框。
本实施例以CSPDarknet53和Focus结构作为YOLO V5网络的基准网络;Focus结构的主要是通过切片操作来对输入图片进行裁剪:原始输入图片大小为I*I*3,经过切片与连接操作之后输出一个I/2*I/2*12的特征映射;接着经过一个通道个数为C的卷积层,输出一个I/2*I/2*C大小的特征映射;CSPDarknet53结构的结构有两种结构,分别是应用于Backbone主干网络中的CSP1_X结构,和应用于Neck网络中的CSP2_X结构;网络中采用3*3或者1*1的卷积大小,激活函数采用的是Sigmoid函数;
以FPN+PAN结构作为YOLO V5的Neck网络,进一步提升特征的多样性及鲁棒性,而且采用了CSPDarknet53设计的CSP2_X结构,加强网络特征融合能力;在整个YOLO V5检测网络的结构中,没有池化层和全连接层,网络的下采样是通过设置卷积的步长为3来实现的;
YOLO V5检测网络训练过程中,损失函数由三个部分构成,分别是输出框损失、置信度损失和分类损失。损失函数的作用是度量YOLO V5预测信息与期望信息(即标签)的距离,预测信息越接近期望信息,损失函数值越小。训练时主要包含三个方面的损失:矩形框损失(即输出框,clc_loss)、置信度损失(obj_loss)、分类损失(clc_loss)。
因此,YOLO V5检测网络的损失函数定义为:
Loss=a*obj_loss+b*rect_loss+c*clc_loss
其中,a、b、c为三个损失的所占权重,在这里a=0.4、b=0.3、c=0.3。使用CIOUloss计算矩形框损失,置信度损失与分类损失都使用BCE loss计算。设预测矩形框为A,其左上角、右下角坐标分别为(xp1,yp1)、(xp2,yp2),标签矩形框为B,其左上角、右下角坐标分别为(xl1,yl1)、(xl2,yl2);
CIOU loss把两个矩形框A、B的重叠面积、中心点距离以及宽高比同时加入计算中,公式有:
Figure BDA0003676307860000111
Figure BDA0003676307860000121
Figure BDA0003676307860000122
其中,ρ为A和B的中心点距离,c为A和B的最小包围矩形的对角线长度,v为A、B的宽高比相似度,α为v的影响因子。由于arctan函数的取值范围是0-π/2,那么v的取值范围为0-1,当A、B的宽高比相等时v取0,当A、B的宽高比相差无限大时v取1。当A、B的距离无限远,且宽高比差别无限大时,
Figure BDA0003676307860000123
取-1,v取1,α取0.5,此时CIOU loss取-1-0.5=-1.5;当A、B完全重叠时,
Figure BDA0003676307860000124
取1,v取0,α取0,则CIOU loss取1。因此CIOU loss的取值范围是-1.5-1。
IOU越大也即A、B的重叠区域越大,则α越大,从而v的影响越大;反之IOU越小也即A、B的重叠区域越小,则α越小,从而v的影响越小。因此在优化过程中:如果A、B的重叠区域较小,则宽高比v在损失函数中影响较小,此时着重优化A、B的距离;如果A、B的重叠区域较大,则宽高比v在损失函数中影响较大,此时着重优化A、B的宽高比。那么,CIOU loss的计算公式为:
CIU loss=1-CIOU
一张输入图像分割成g*g个网格,网络对每个格子都预测三个位于该网格附近的矩形框,每个输出框的预测信息包括中心坐标、宽、高、置信度、分类概率,因此网络总共输出3*g*g个0-1的预测置信度,与3*g*g个输出框一一对应。每个输出框的置信度表征这个输出框的靠谱程度,值越大表示该输出框越可信靠谱,也即越接近目标的真实最小包围框。计算单个输出框的置信度损失的single BCE loss公式和总置信度损失BCE loss object公式为:
single BCE loss(z,x,y)
=-B(z,x,y)*logA(z,x,y)-(1-B(z,x,y))*log(1-A(z,x,y))
Figure BDA0003676307860000132
Figure BDA0003676307860000133
BCE loss object=α*lobj+(1-α)*lnoobj
其中,x、y表示矩形框的中心位置在图像的第几行第几列网格中,z表示该网格预测三个附近的矩形框,因此x、y、z的取值范围分别是0≤x<g,0≤y<g,0≤z<3;
每个输出框的预测信息都包含了N个0-1的分类概率,其中N为总类别数,那么网络总共预测3*g*g*N个分类概率,组成预测概率矩阵。为了减少过拟合,且增加训练的稳定性,通常对独热码标签做一个平滑操作。如下式:
labelsmooth=label*(1-β)+β/N
label为独热码中的所有数值,β为平滑系数,取值范围0-1,通常取0.1;设标签概率矩阵为Bsmooth,预测概率矩阵为A,n表示预测的类别,那么矩阵中每个数值的signalBCE loss和总分类损失BCE loss class的计算公式如下:
signal BCE loss(z,x,y,n)=-Bsmooth(z,x,y,n)*logA(z,x,y,n)-(1-Bsmooth(z,x,y,n))*log(1-A(z,x,y,n))
Figure BDA0003676307860000142
子步骤3b,使用数据集a对YOLO V5网络进行多轮训练,得到训练好的YOLO V5网络;
子步骤3c,将数据集b输入到训练好的YOLO V5检测网络中,输出SAR图像的输出框位置信息、类别和置信度,再经过NMS进行极大值抑制去除多余输出框;判断识别输出框类别是否与真实目标类别相符,计算输出框与标签真实框之间的重合程度IOU比值来判断YOLO V5检测网络是否检测到目标,利用置信度判断输出框对单目标的检测准度;具体过程如下:
子步骤3c.1,首先判断输出框的预测置信度是否大于设定的置信度阈值,计算的IOU是否大于IOU阈值,若都超过则认为该输出框内存在目标,从而得到目标的大致位置;接着根据非极大值抑制算法对存在目标的预测框进行筛选,剔除对应同一目标的重复输出框;最后根据筛选后预测框的分类概率,取最大概率对应的索引,即为目标的分类索引号,从而得到目标的类别。对于判定未检测到目标的输出框为虚警;对于真实框未被检测到的目标为漏检;
子步骤3c.2,将网络检测到目标的输出框的位置信息、类别和置信度信息保存,并将含有该类输出框的切片图像进行统计并保存,得到虚警最少的目标识别结果切片数据集,记为First Test-Slices;
步骤4,分别对数据集A数据进行输出框的最大置信度Max-score判定和总共检测出的目标数量Object-number判定,将所有符合判定条件的数据集A的数据作为一次检测数据集;将一次检测数据集中的数据输入到CFAR检测算法中进行二次检测,得到二次检测数据集;
具体过程如下:
子步骤4.1,统计数据集A中每张切片图像中的输出框数量OBS,以及每张切片图像的输出框中最大的置信度MS;
子步骤4.2,当一张切片图像的输出框数量OBN大于或等于输出框数量阈值OBN_threshold,且输出框中最大的置信度MS大于或等于置信度阈值MS_threshold,则该切片图像符合判定条件;将所有符合判定条件的切片图像作为一次检测数据集;
子步骤4.3,将一次检测数据集的数据输入到CFAR检测算法中进行二次检测,得到二次检测数据集。
步骤5,将二次检测数据集数据和一次检测数据集数据进行合并,得到最终的目标检测结果。
通过以下仿真实验对本发明的效果进行进一步验证说明。
(一)实验条件
实验所用的数据是以车辆为目标的15张尺寸较大(10000多乘以10000多)的SAR图像数据,将SAR图像数据分成训练集和测试集,然后为训练集和测试集中的所有车辆目标数据分别加上相应的类别标签;
对训练集和测试集分别进行滑窗切片后,训练样本集中包含6728个训练样本,测试样本集中包含1163个测试样本;其中训练样本中含有183个车辆目标样本;测试样本中含有128个车辆目标样本。
(二)实验内容与结果:
使用不同的方法对测试集进行目标检测。
实验1:首先使用训练集训练YOLO V5网络,然后将复杂场景的测试样本输入训练好的YOLO V5检测网络中;
分别对复杂场景和空旷场景的测试样本进行检测,结果如下:
对复杂场景的目标检测准确率为90.0%,召回率为13.7%,F1为23.8%,检测一张图像所用时间为18.2161s;
对空旷场景的目标检测准确率为84.8%,召回率为62.2%,F1为71.8%,检测一张图像所用时间为13.2258s。
实验2:首先使用训练集训练YOLO V5网络,再将复杂场景的测试样本输入训练好的YOLO V5检测网络,接着输入到CFAR算法检测中;
分别对复杂场景和空旷场景的测试样本进行检测,结果如下:
对复杂场景的目标检测准确率为35.8%,召回率为75.6%,F1为48.6%,检测一张图像所用时间为20.8815s;
对空旷场景的目标检测准确率为67.9%,召回率为84.4%,F1为75.2%,检测一张图像所用时间为15.5691s。
实验3:使用YOLO V5检测网络和CFAR检测算法联合的目标检测方法,并利用平均亮度像素信息和检测框长宽比和面积信息,过滤部分虚警;
分别对复杂场景和空旷场景的测试样本进行检测,结果如下:
对复杂场景的目标检测准确率为58.8%,召回率为72.6%,F1为65%,检测一张图像所用时间为20.8075s;
对空旷场景的目标检测准确率为84.4%,召回率为84.4%,F1为84.4%,检测一张图像所用时间为15.3425s。
实验4:使用本发明的联合深度学习与CFAR的SAR图像目标检测方法,将复杂场景的测试样本输入先输入到训练好的CNN分类网络中,再训练好的YOLO V5检测网络,接着输入到CFAR算法检测中,并利用平均亮度像素信息和检测框长宽比和面积信息过滤部分虚警;
分别对复杂场景和空旷场景的测试样本进行检测,结果如下:
对复杂场景的目标检测准确率为59.1%,召回率为72.6%,F1为65.1%,检测一张图像所用时间为18.6976s;
对空旷场景的目标检测准确率为92.7%,召回率为84.4%,F1为88.4%,检测一张图像所用时间为11.0404s。
对实验1~4的复杂场景检测结果,以及实验1~4的空旷场景检测结果进行对比,可以看出,无论在复杂场景还是空旷场景的情况下,本发明的联合深度学习与CFAR的SAR图像目标检测方法的检测精度及检测能力都远远优于其他目标检测方法。
虽然,本说明书中已经用一般性说明及具体实施方案对本发明作了详尽的描述,但在本发明基础上,可以对之作一些修改或改进,这对本领域技术人员而言是显而易见的。因此,在不偏离本发明精神的基础上所做的这些修改或改进,均属于本发明要求保护的范围。

Claims (6)

1.一种联合深度学习与CFAR的SAR图像目标检测方法,其特征在于,包括以下步骤:
步骤1,对N张SAR图像进行处理,获得训练集和测试集;对训练集和测试集进行滑窗切片,分别得到滑窗切片后的训练集和滑窗切片后的测试集;
步骤2,对滑窗切片后的训练集和滑窗切片后的测试集进行处理;使用处理后的训练集数据对CNN网络进行训练,得到训练好的CNN网络;再将处理后的测试集数据输入训练好的CNN网络,得到处理后的测试集数据的分类结果;将测试集中所有空旷场景或含有目标的切片图像的集合记为保留集;
步骤3,对滑窗切片后的训练集图像和保留集图像进行预处理;使用预处理后的训练集数据对YOLO V5网络进行训练,得到训练好的YOLO V5网络;再将预处理后的保留集数据输入训练好的YOLO V5网络,得到虚警最少的目标识别结果切片数据集,记为数据集A;
步骤4,对数据集A数据进行输出框的最大置信度判定和总共检测出的目标数量判定,将所有符合判定条件的数据集A的数据作为一次检测数据集;将一次检测数据集中的数据输入到CFAR检测算法中进行二次检测,得到二次检测数据集;
步骤5,将二次检测数据集数据和一次检测数据集数据进行合并,得到最终的目标检测结果。
2.根据权利要求1所述的联合深度学习与CFAR的SAR图像目标检测方法,其特征在于,步骤1,具体的,获取N张SAR图像目标的位置和类别,将SAR图像目标的位置和类别作为标签;将一张SAR图像和对应的标签作为一组数据,得到样本集;将样本集按比例随机划分为训练集和测试集;对训练集和测试集的SAR图像进行滑窗切片,得到每张SAR图像得到固定大小的切片及切片对应的标签,得到滑窗切片后的训练集和滑窗切片后的测试集。
3.根据权利要求1所述的联合深度学习与CFAR的SAR图像目标检测方法,其特征在于,步骤2中对滑窗切片后的训练集和滑窗切片后的测试集进行处理,具体的,对滑窗切片后的训练集和滑窗切片后的测试集的切片图像进行标记:将复杂场景且不含目标的切片图像的标签记为0,将含有目标的切片图像的标签记为1,其他切片图像的标签记为2;
然后将一个滑窗切片后的训练集中的切片图像和对应的标签作为一组数据,得到CNN训练集;将一个滑窗切片后的测试集中的切片图像和对应的标签作为一组数据,得到CNN测试集。
4.根据权利要求1所述的联合深度学习与CFAR的SAR图像目标检测方法,其特征在于,所述CNN网络,具体的,包括依次连接的4个卷积层和全连接层;卷积层用于对输入的切片图像进行卷积和下采样,全连接层用于对第4层卷积层输出的特征进行线性变换处理,得到输入的切片图像的分类结果。
5.根据权利要求1所述的联合深度学习与CFAR的SAR图像目标检测方法,其特征在于,对滑窗切片后的训练集图像和保留集图像进行预处理,具体的,子步骤如下:
子步骤3a.1,分别对滑窗切片后的训练集图像和保留集图像进行扩增和数据增强,得到数量足够大且图像质量高的数据集;将扩增后的训练集记为数据集a,将扩增后的保留集记为数据集b;
子步骤3a.2,计算数据集a数据和数据集b数据的默认锚定框的最佳召回率;当最佳召回率大于或等于0.98,则不需要更新锚定框;当最佳召回率小于0.98,则需要重新计算符合此数据集的锚定框。
6.根据权利要求1所述的联合深度学习与CFAR的SAR图像目标检测方法,其特征在于,步骤4的子步骤如下:
子步骤4.1,统计数据集A中每张切片图像中的输出框数量OBS,以及每张切片图像的输出框中最大的置信度MS;
子步骤4.2,当一张切片图像的输出框数量OBN大于或等于输出框数量阈值OBN_threshold,且输出框中最大的置信度MS大于或等于置信度阈值MS_threshold,则该切片图像符合判定条件;将所有符合判定条件的切片图像作为一次检测数据集;
子步骤4.3,将一次检测数据集的数据输入到CFAR检测算法中进行二次检测,得到二次检测数据集。
CN202210620293.8A 2022-06-02 2022-06-02 一种联合深度学习与cfar的sar图像目标检测方法 Pending CN115100457A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210620293.8A CN115100457A (zh) 2022-06-02 2022-06-02 一种联合深度学习与cfar的sar图像目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210620293.8A CN115100457A (zh) 2022-06-02 2022-06-02 一种联合深度学习与cfar的sar图像目标检测方法

Publications (1)

Publication Number Publication Date
CN115100457A true CN115100457A (zh) 2022-09-23

Family

ID=83288886

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210620293.8A Pending CN115100457A (zh) 2022-06-02 2022-06-02 一种联合深度学习与cfar的sar图像目标检测方法

Country Status (1)

Country Link
CN (1) CN115100457A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116343045A (zh) * 2023-03-30 2023-06-27 南京理工大学 基于YOLO v5的轻量化SAR图像舰船目标检测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116343045A (zh) * 2023-03-30 2023-06-27 南京理工大学 基于YOLO v5的轻量化SAR图像舰船目标检测方法
CN116343045B (zh) * 2023-03-30 2024-03-19 南京理工大学 基于YOLO v5的轻量化SAR图像舰船目标检测方法

Similar Documents

Publication Publication Date Title
CN110363182B (zh) 基于深度学习的车道线检测方法
Hu et al. Fast forest fire smoke detection using MVMNet
CN109871902B (zh) 一种基于超分辨率对抗生成级联网络的sar小样本识别方法
US9864923B2 (en) Assisted surveillance of vehicles-of-interest
Zhuo et al. Cloud classification of ground-based images using texture–structure features
Cross et al. Segmentation of remotely-sensed images by a split-and-merge process+
CN111524145B (zh) 图片智能裁剪方法、系统、计算机设备及存储介质
CN109684922B (zh) 一种基于卷积神经网络的多模型对成品菜的识别方法
CN110263712B (zh) 一种基于区域候选的粗精行人检测方法
US20090060340A1 (en) Method And Apparatus For Automatic Image Categorization Using Image Texture
CN109977978B (zh) 一种多目标检测方法、装置及存储介质
EP1700269A2 (en) Detection of sky in digital color images
CN114332650B (zh) 一种遥感图像道路识别方法及系统
US20210150182A1 (en) Cloud detection from satellite imagery
US8094971B2 (en) Method and system for automatically determining the orientation of a digital image
CN111488879A (zh) 利用双嵌入构成的用于提高分割性能的方法及装置
CN113313149B (zh) 一种基于注意力机制和度量学习的菜品识别方法
CN110084284A (zh) 基于区域卷积神经网络的目标检测与二级分类算法及装置
Makantasis et al. Semi-supervised vision-based maritime surveillance system using fused visual attention maps
CN116612292A (zh) 一种基于深度学习的小目标检测方法
CN114299383A (zh) 基于密度图与注意力机制融合的遥感图像目标检测方法
CN114399799A (zh) 一种基于YOLOv5网络的口罩佩戴检测方法
CN115100457A (zh) 一种联合深度学习与cfar的sar图像目标检测方法
CN114627286A (zh) 基于PSPNet和改进YOLOv4的地磅人员入侵的检测方法
CN117218545A (zh) 基于LBP特征与改进Yolov5的雷达图像检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination