CN111178439A - 基于卷积神经网络及微调的sar图像分类方法 - Google Patents

基于卷积神经网络及微调的sar图像分类方法 Download PDF

Info

Publication number
CN111178439A
CN111178439A CN201911407276.0A CN201911407276A CN111178439A CN 111178439 A CN111178439 A CN 111178439A CN 201911407276 A CN201911407276 A CN 201911407276A CN 111178439 A CN111178439 A CN 111178439A
Authority
CN
China
Prior art keywords
neural network
convolutional neural
sar image
data set
parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911407276.0A
Other languages
English (en)
Inventor
文成林
王琪琪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN201911407276.0A priority Critical patent/CN111178439A/zh
Publication of CN111178439A publication Critical patent/CN111178439A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于卷积神经网络及微调的SAR图像分类方法。本发明采用的数据集是美国MSTAR数据集在标准采集条件下的10类地面军事车,该数据集已经包含了推荐的训练集和测试集。本发明首先在ImageNet数据集上预训练ResNet50网络,然后把训练好的ResNet50拿来,固定其前45层参数,而可以只对输出层及接近输出层的若干卷积层训练,即固定低层参数而只训练高层参数。这样能提取数据的有效信息,基础边缘的信息不用重复获取,大大提升了网络训练的效率。为了更加充分的训练网络,采用数据增强预处理的方法。本发明对SAR图像具有良好的分类效果。

Description

基于卷积神经网络及微调的SAR图像分类方法
技术领域
本发明属于图像处理领域,涉及一种基于卷积神经网络及微调的SAR图像方法。
背景技术
合成孔径雷达(Synthetic Aperture Radar,SAR)是一种微波遥感成像雷达,与光学、红外等雷达相比,它的成像受气候等条件的限制程度小,具有全天时、全天候、多视角和高分辨率等特点,因此被广泛应用于制图学、资源勘探、海洋应用等国民经济各领域。大数据时代的智能方法如计算机视觉技术目前已经取得巨大成功,然而这些先进算法是针对光学图像开发的,并不能直接应用到SAR图像上。另外,由于SAR图像数据集小,样本量不够多的特点,从头开始训练具有几千万参数的大型神经网络是不现实的,因为越大的模型对数据量的要求越大,过拟合无法避免。
发明内容
本发明针对现有技术的不足,现提出一种基于卷积神经网络及微调的卷积神经网络识别模型实现对SAR图像的分类识别。
本发明解决技术问题所采取的技术方案为:
基于卷积神经网络及微调的SAR图像分类方法,具体如下:
步骤(1).数据集的获取及预处理:
采用美国MSTAR数据集,MSTAR数据集中的目标是雷达工作在多种不同的俯仰角时,各个目标在方向上面的成像图片。选用的是标准工作条件下采集的包括共10类地面军事车目标。该数据集包含一个推荐的训练集和测试集。
将原始的数据集沿目标中心裁剪成100*100的大小,并使用剪切变换、旋转变换、缩放、水平翻转进行数据增强,获取图像数量更多的数据集。
步骤(2).确定卷积神经网络模型:
选用的卷积神经网络模型为ResNet50卷积神经网络,残差网络更容易优化并且能够通过增加相当的深度来提高准确率。
步骤(2.1).预训练:
在ImageNet数据集上对卷积神经网络ResNet50进行预训练。
步骤(2.2).对卷积神经网络ResNet50进行微调:
具体操作是,将深度卷积神经网络ResNet50的前45层固定,这些层的参数不参加训练,只训练输出层以及靠近输出层的卷积层。
微调时,采用随机梯度下降进行优化。确定了损失函数以后,目标就是最小化损失函数,对每一个参数求偏导,得到当前一轮的梯度,然后损失函数按梯度的反方向进行更新,不断这样进行迭代更新,得到超参数的全局最优解。
步骤(2.3).非线性变换:
激活函数采用ReLu函数,定义为:
Figure BDA0002348999070000021
Figure BDA0002348999070000022
时,ReLu硬饱和;
Figure BDA0002348999070000023
时,则不存在不饱和问题。
步骤(3).SAR图像分类:
卷积神经网络网络ResNet50通过训练得到SAR图像的特征信息,再用softmax分类器将进行分类,通过输出概率得到最终的分类结果;
记卷积神经网络ResNet50的最终输出为hi(c),即样本i的预测结果;
通过softmax函数得到网络预测概率pi(c):
Figure BDA0002348999070000024
m为总类别C中的一类。
根据样本的预测结果和真实结果产生的误差,目标函数通过反向传播方法进行卷积神经网络参数学习,根据预测结果和真实标记之间产生的误差,不断向前层传递即反向传播,卷积神经网络参数将不断更新,从而完成卷积神经网络模型训练,最后根据网络预测概率pi(c)实现对SAR图像的结果分类。
本发明的有益效果:本发明方法基于fine-tune思想的深度神经网络,实现对SAR图像的识别分类。该方法选择增加深度的卷积神经网络,可通过GPU加速实现算法的完成。本发明方法可以在一定程度上避免发生过拟合,同时也能实现良好的分类效果和实时计算效率。
附图说明
图1为本发明的实现流程图;
图2为数据集光学图像和SAR图像的对比;
图3为程序运行结果截图。
具体实施方式
如图1所示,本发明具体方法是:
步骤(1).数据集的获取及预处理:
此次数据集采用的是美国MSTAR数据集,MSTAR数据集中的目标是雷达工作在多种不同的俯仰角时,各个目标在方向上面的成像图片。MSTAR数据集的采集条件分为两类,分别为标准工作条件(Standard Operating Condition,SOC)和扩展工作条件(ExtendedOperating Condition,EOC),本发明采用的是标准工作条件下的数据集。标准工作条件下共包括10类地面目,在该数据集中包含一个该计划推荐使用的训练集和测试集。公开的SAR数据集中包含10类不同的地面军事车(装甲车:BMP-2,BRDM-2,BTR-60,BTR-70;坦克:T-62,T-72;火箭发射车:2S1;防空单元:ZSU-234;军用卡车:ZIL-131;推土机:D7)。如图2所示,为各个地面军事车的SAR图像与普通光学图像的对比。
具体组成如下所示:
类别 俯仰角17°的训练集 俯仰角15°测试集
BMP2 233 196
BTR70 233 196
2S1 299 274
BRDM2 298 274
D7 299 274
T62 299 273
T72 232 196
ZSU23/4 299 274
ZIL131 299 274
BTR60 256 195
总计 2747 2426
步骤(2).网络模型选取与建模;
本发明采用了数据预训练加上微调的思想与卷积神经网络模型结合的方法。虽然预训练并非必要,但前提是对于数据量极大的情况,在实际应用中,如果数据量小,采用预训练和微调的方法不但可以加速网络收敛速度,还可以在一定程度上避免过拟合。
此次选用的卷积神经网络模型ResNet50,残差网络更容易优化,并且能够通过增加相当的深度来提高准确率。核心是解决了增加深度带来的副作用(退化问题),这样能够通过单纯地增加网络深度,来提高网络性能。
步骤(2.1).预训练;
预训练区别于常规训练方法。常规训练方法为首先搭建一个卷积神经网络模型,随机初始化参数,然后开始训练网络,不断调整直到网络的损失越来越小。在训练的过程中,初始化的参数会不断变化,直到达到所需识别结果。所谓预训练是指不再随机初始化的参数开始训练网络,而是从已有训练好的模型参数开始训练网络。在本发明中,即把在ImageNet数据集上训练好的模型ResNet50拿来,用在新数据集的训练,也就是针对本发明所说的MSTAR数据集。
步骤(2.3).对卷积神经网络模型ResNet50进行微调;
微调是迁移学习的一种方式。迁移学习,顾名思义就是把已训练好的模型参数迁移到新的模型来帮助新模型训练。考虑到大部分数据或任务都是存在相关性的,所以通过迁移学习可以将已经学到的模型参数(也可理解为模型学到的知识)通过某种方式来分享给新模型从而加快并优化模型的学习效率,不用像大多数网络那样从零学习。在利用已有模型训练新数据时,可以不必对全部层的参数进行训练,而可以只对输出层及接近输出层的若干卷积层训练,即固定低层参数而只训练高层参数。这么做的原因是,网络的低层只提取边缘等基础信息,而这些信息,在各类数据中是相当的,无需重复训练获得。高层参数则相对变化较大,需要重新获取。
本发明采用了基于卷积伸进网络及微调的卷积神经网络,实现了对SAR图像的识别分类。ResNet50网络具有较强较深的架构,能取得良好的分类效果,性能比较优越,因此本发明将ResNet50作为的卷积网络模型。但是由于SAR图像的数据集小,容易出现过拟合的情况,而预训练及微调能有效避免这样的情况。微调的基本步骤就是通过修改预训练网络模型结构,选择性载入预训练网络模型权重再用自己的数据集重新训练模型。因此微调能够快速训练好一个模型,并且用相对较小的数据量,还能达到不错的结果。综上,本发明方法可以在一定程度上避免发生过拟合,同时也能实现良好的分类效果和实时计算效率。
实施例:
1.数据增强
考虑到数据量较少的问题,每类目标大约有200多个数据,此外,由于SAR图像的原因,分辨率固定、旋转角度均匀、气象条件一致。因此可以采用的预处理形式包括:数值归一化、剪切变换、旋转变换、缩放、水平翻转。
2.参数设置
首先加载好预训练过的ResNet50模型,这里,需要的是不含全连接层的版本,全连接层设定256个节点,输出层限定为10个类别,限定模型前45个层的参数固定,epoch设定为200,batch_size设定为16。
3.SAR图像分类;
首先在Keras中,加载已经在ImageNet数据集上训练好的ResNet50模型,但是需要的是不含全连接层的版本。然后将ResNet50的前45层固定,这些层的参数不参加训练,原因是低层提取到的都是各类数据相当的基础边缘信息,重新训练的意义不大,只训练输出层以及靠近输出层的卷积层,因为高层参数变化大,所含的信息也是极其重要的。然后ResNet50网络模型不断进行训练,从而实现SAR图像的分类。
仿真实验使用Linux系统操作,CPU为酷睿i7,GPU为NVIDIA Titan X。对MSTAR数据集使用所选的网络结构配置进行训练测试。如图3所示,为最后程序运行的部分结果图。每个epoch运行约5分钟,在运行了40余个epoch(不到4个小时)后,训练准确率达到99.83%,在测试集上的验证结果为99.58%。

Claims (2)

1.基于卷积神经网络及微调的SAR图像分类方法,其特征在于该方法具体如下:
步骤(1).数据集的获取及预处理:
采用美国MSTAR数据集,MSTAR数据集中的目标是雷达工作在多种不同的俯仰角时,各个目标在方向上面的成像图片;选用的是标准工作条件下采集的共10类地面军事车目标;该数据集包含一个推荐的训练集和测试集;
将原始的数据集沿目标中心裁剪成100*100的大小,并使用剪切变换、旋转变换、缩放、水平翻转进行数据增强,获取图像数量更多的数据集;
步骤(2).确定卷积神经网络模型:
选用的卷积神经网络模型为ResNet50卷积神经网络,残差网络更容易优化并且能够通过增加相当的深度来提高准确率;
步骤(2.1).预训练:
在ImageNet数据集上对卷积神经网络ResNet50进行预训练;
步骤(2.2).对卷积神经网络ResNet50进行微调:
具体操作是,将深度卷积神经网络ResNet50的前45层固定,这些层的参数不参加训练,只训练输出层以及靠近输出层的卷积层;
微调时,采用随机梯度下降进行优化;确定了损失函数以后,目标就是最小化损失函数,对每一个参数求偏导,得到当前一轮的梯度,然后损失函数按梯度的反方向进行更新,不断这样进行迭代更新,得到超参数的全局最优解,
步骤(2.3).非线性变换:
激活函数采用ReLu函数,定义为:
Figure FDA0002348999060000011
Figure FDA0002348999060000012
时,ReLu硬饱和;
Figure FDA0002348999060000013
时,则不存在不饱和问题;
步骤(3).SAR图像分类:
卷积神经网络网络ResNet50通过训练得到SAR图像的特征信息,再用softmax分类器将进行分类,通过输出概率得到最终的分类结果;
记卷积神经网络ResNet50的最终输出为hi(c),即样本i的预测结果;
通过softmax函数得到网络预测概率pi(c):
Figure FDA0002348999060000021
m为总类别C中的一类;
根据样本的预测结果和真实结果产生的误差,目标函数通过反向传播方法进行卷积神经网络参数学习,根据预测结果和真实标记之间产生的误差,不断向前层传递即反向传播,卷积神经网络参数将不断更新,从而完成卷积神经网络模型训练,最后根据网络预测概率pi(c)实现对SAR图像的结果分类。
2.如权利要求1所述的基于卷积神经网络及微调的SAR图像分类方法,其特征在于,加载训练好的卷积神经网络模型ResNet50,即不含全连接层的版本,全连接层设定256个节点,输出层限定为10个类别,限定模型前45个层的参数固定,epoch设定为200,batch_size设定为16。
CN201911407276.0A 2019-12-31 2019-12-31 基于卷积神经网络及微调的sar图像分类方法 Pending CN111178439A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911407276.0A CN111178439A (zh) 2019-12-31 2019-12-31 基于卷积神经网络及微调的sar图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911407276.0A CN111178439A (zh) 2019-12-31 2019-12-31 基于卷积神经网络及微调的sar图像分类方法

Publications (1)

Publication Number Publication Date
CN111178439A true CN111178439A (zh) 2020-05-19

Family

ID=70657639

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911407276.0A Pending CN111178439A (zh) 2019-12-31 2019-12-31 基于卷积神经网络及微调的sar图像分类方法

Country Status (1)

Country Link
CN (1) CN111178439A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111695640A (zh) * 2020-06-18 2020-09-22 南京信息职业技术学院 地基云图识别模型训练方法及地基云图识别方法
CN111784031A (zh) * 2020-06-15 2020-10-16 上海东普信息科技有限公司 物流车辆分类预测方法、装置、设备及存储介质
CN113792783A (zh) * 2021-09-13 2021-12-14 陕西师范大学 一种基于深度学习的和面阶段自动识别方法及系统
CN114298286A (zh) * 2022-01-10 2022-04-08 江苏稻源科技集团有限公司 一种对轻量化卷积神经网络训练得到预训练模型的方法
CN116227685A (zh) * 2023-01-31 2023-06-06 南京林业大学 低成本的智能油茶果产量估计方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107368787A (zh) * 2017-06-16 2017-11-21 长安大学 一种面向深度智驾应用的交通标志识别算法
CN109303560A (zh) * 2018-11-01 2019-02-05 杭州质子科技有限公司 一种基于卷积残差网络和迁移学习的短时心电信号房颤识别方法
CN110533024A (zh) * 2019-07-10 2019-12-03 杭州电子科技大学 基于多尺度roi特征的双二次池化细粒度图像分类方法
CN110610190A (zh) * 2019-07-31 2019-12-24 浙江大学 一种针对雨天图片的卷积神经网络降雨强度分类方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107368787A (zh) * 2017-06-16 2017-11-21 长安大学 一种面向深度智驾应用的交通标志识别算法
CN109303560A (zh) * 2018-11-01 2019-02-05 杭州质子科技有限公司 一种基于卷积残差网络和迁移学习的短时心电信号房颤识别方法
CN110533024A (zh) * 2019-07-10 2019-12-03 杭州电子科技大学 基于多尺度roi特征的双二次池化细粒度图像分类方法
CN110610190A (zh) * 2019-07-31 2019-12-24 浙江大学 一种针对雨天图片的卷积神经网络降雨强度分类方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
MICHAEL YUAN: "迁移学习实战猫狗大战" *
李松等: "深度卷积神经网络在迁移学习模式下的SAR目标识别" *
杨静亚等: "基于卷积神经网络的花朵品种的识别" *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111784031A (zh) * 2020-06-15 2020-10-16 上海东普信息科技有限公司 物流车辆分类预测方法、装置、设备及存储介质
CN111695640A (zh) * 2020-06-18 2020-09-22 南京信息职业技术学院 地基云图识别模型训练方法及地基云图识别方法
CN111695640B (zh) * 2020-06-18 2024-04-09 南京信息职业技术学院 地基云图识别模型训练方法及地基云图识别方法
CN113792783A (zh) * 2021-09-13 2021-12-14 陕西师范大学 一种基于深度学习的和面阶段自动识别方法及系统
CN114298286A (zh) * 2022-01-10 2022-04-08 江苏稻源科技集团有限公司 一种对轻量化卷积神经网络训练得到预训练模型的方法
CN116227685A (zh) * 2023-01-31 2023-06-06 南京林业大学 低成本的智能油茶果产量估计方法
CN116227685B (zh) * 2023-01-31 2023-09-22 南京林业大学 低成本的智能油茶果产量估计方法

Similar Documents

Publication Publication Date Title
CN111178439A (zh) 基于卷积神经网络及微调的sar图像分类方法
CN109492556B (zh) 面向小样本残差学习的合成孔径雷达目标识别方法
Zhong et al. SAR target image classification based on transfer learning and model compression
CN110781830B (zh) 基于空-时联合卷积的sar序列图像分类方法
CN106355151B (zh) 一种基于深度置信网络的三维sar图像目标识别方法
Mahmoud et al. Object detection using adaptive mask RCNN in optical remote sensing images
CN108921030B (zh) 一种sar自动目标识别方法
CN110909667A (zh) 面向多角度sar目标识别网络的轻量化设计方法
Shao et al. A performance analysis of convolutional neural network models in SAR target recognition
CN105844627A (zh) 一种基于卷积神经网络的海面目标图像背景抑制方法
CN111833322B (zh) 一种基于改进YOLOv3的垃圾多目标检测方法
CN110245587B (zh) 一种基于贝叶斯迁移学习的光学遥感图像目标检测方法
CN114819061A (zh) 一种基于迁移学习的稀疏sar目标分类方法及装置
CN111192240B (zh) 一种基于随机接入记忆的遥感图像目标检测方法
CN110647977B (zh) 一种用于星上对舰船目标检测的Tiny-YOLO网络的优化方法
Wang et al. Lightweight deep neural networks for ship target detection in SAR imagery
CN109558803B (zh) 基于卷积神经网络与np准则的sar目标鉴别方法
Yu et al. Application of a convolutional autoencoder to half space radar hrrp recognition
Peng et al. Modified dragonfly algorithm based multilevel thresholding method for color images segmentation
CN116797928A (zh) 基于平衡模型稳定性和可塑性的sar目标增量分类方法
CN116664940A (zh) 一种合成孔径雷达自动目标识别的方法
CN114049551B (zh) 一种基于ResNet18的SAR原始数据目标识别方法
CN113627480B (zh) 一种基于强化学习的极化sar影像分类方法
Zhuangzhuang et al. Adaptive learning rate CNN for SAR ATR
CN113126052A (zh) 基于逐级分段训练的高分辨距离像目标识别在线建库方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200519

WD01 Invention patent application deemed withdrawn after publication