CN110188707A - 一种基于迁移学习的sar目标识别系统及方法 - Google Patents

一种基于迁移学习的sar目标识别系统及方法 Download PDF

Info

Publication number
CN110188707A
CN110188707A CN201910474597.6A CN201910474597A CN110188707A CN 110188707 A CN110188707 A CN 110188707A CN 201910474597 A CN201910474597 A CN 201910474597A CN 110188707 A CN110188707 A CN 110188707A
Authority
CN
China
Prior art keywords
training
image
target
transfer learning
sar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910474597.6A
Other languages
English (en)
Inventor
邸若海
乔梦雨
孙梦宇
闫芬婷
王柄凯
张宽
李亮亮
张颖
付博雯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Technological University
Original Assignee
Xian Technological University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Technological University filed Critical Xian Technological University
Priority to CN201910474597.6A priority Critical patent/CN110188707A/zh
Publication of CN110188707A publication Critical patent/CN110188707A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种深度学习与迁移学习结合的SAR目标识别方法，采用的方案可以分为四个步骤：一、准备阶段：读取预训练模型，并读取图片目录，划分训练集、验证集及测试集；二、训练阶段：构造深度学习与迁移学习结合的全连接神经网络分类器，并将图片集作为预训练模型的输入，使用输出来更新全连接神经网络分类器的参数；三、存储阶段：存储模型结果；四、用MATLAB GUI图形用户界面设计一套目标背景图像合成并识别的图像处理系统。以上步骤的组合可以达到快速便捷的扩展数据集的样本数量并能实时显示出识别结果，提高了工作效率，为使用者提供相对更准确的识别结果。

Description

一种基于迁移学习的SAR目标识别系统及方法
技术领域
本发明涉及图像识别领域，特别是一种基于迁移学习的SAR目标识别系统及方法，该方法针对陆战场中地物目标SAR(Synthetic Aperture Radar，合成孔径雷达)图像的一种快速检测并识别的方法。
背景技术
近年来，随着机器学习的发展和SAR图像分辨率的不断提高，遥感技术被广泛的应用在地物目标的检测和识别工作中，对于SAR图像信息的解译及图像目标的识别要求也越来越高。
传统的检测识别方法一般由SAR图像的噪声抑制、增强、边缘检测、目标图像分割、目标检测和目标识别几部分组成，然而这种方法的不足之处在于：1、实地考察获取样本标签方式受限于空间范围和地区的可访问性，代价昂贵且获取样本数量较少。2、每出现新的目标图像都需要重新进行带标签样本采集，增加了分类成本。3、步骤繁琐，需人工按步骤操作，效率低下。
发明内容
本发明提供一种深度学习与迁移学习结合的SAR目标识别方法，以克服现有技术存在的操作复杂，效率低下，样本数量少，获取包含目标的场景图像成本高及检测识别准确性低下等问题。
为了达到本发明的目的，本发明提出的方案如下：
一种基于迁移学习的SAR目标识别系统及方法，包括如下步骤：
步骤1、准备阶段：读取预训练模型，并读取图片目录，划分训练集、验证集及测试集；
步骤2、训练阶段：构造深度学习与迁移学习结合的全连接神经网络分类器，并将图片集作为预训练模型的输入，使用输出来更新全连接神经网络分类器的参数；
步骤3、存储阶段：存储模型结果；
步骤4、用MATLAB GUI图形用户界面设计目标背景图像合成并识别的图像处理系统。
进一步的，所述步骤1具体包括如下步骤：
步骤101、数据集的制作及划分；
步骤201、对场景图像和目标图像选择Poisson图像编辑算法进行无缝镶嵌，建立包含目标的场景图像测试集。
进一步的，所述步骤2具体包括如下步骤：
步骤201、选择预训练模型；
步骤202、利用迁移学习在相似数据集上的局部特征共享性对网络进行初始化，并用它在目标数据集上进行参数微调；
步骤203、构造全连接神经网络分类器进行数据的训练和参数的更新；
步骤204、针对上述操作存在的复杂度高以及效率低下等问题设计了一套整合了上述步骤且可独立操作的系统。
进一步的，所述步骤4的MATLAB GUI图形用户界面具体功能分为：目标图像读取及处理部分；背景图像读取及目标-背景图像合成部分；合成后图像识别及结果显示部分。
进一步的，训练阶段，网络模型选用faster rcnn模型为基础进行数据的训练；框架选取Tensorflow框架。
与现有技术相比，本发明的有益效果是：
1)所述基于深度学习与迁移学习的图像识别方法，能在有限的训练时间和训练样本数量的基础上，为使用者提供相对更准确的识别结果。
2)在训练阶段，基于本发明设计的独特的网络模型结构，训练数据集需求量大大缩小，深度神经网络通常需要上万张图像用于训练，本模型仅仅使用约500张原始图像用于训练。
3)本发明填补了目前SAR目标识别研究没有包含目标的场景数据集的空白，可快速构建包含目标的场景SAR图像数据集，且预训练结果可用于其他各种复杂环境中。可同时识别至少3种不同种类的SAR目标且识别准确率达到98％以上。
附图说明
图1为本发明SAR目标识别系统功能框图；
图2为本发明SAR目标识别系统总体设计框图；
图3为对数据集中目标及场景图像进行图像合成算法流程图；
图4为结合了迁移学习方法的算法结构框图；
图5为对原数据集采用不同方式进行扩充对比图；
图6为合成后的场景图像示意图；
图7为本发明SAR目标识别系统界面示意图；
图8为本发明SAR目标识别系统运行界面图。
具体实施方式
下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。
本发明提供一种深度学习与迁移学习结合的SAR目标识别方法，采用的方案可以分为四个步骤：
一、准备阶段：读取预训练模型，并读取图片目录，划分训练集、验证集及测试集；
二、训练阶段：构造深度学习与迁移学习结合的全连接神经网络分类器，并将图片集作为预训练模型的输入，使用输出来更新全连接神经网络分类器的参数；
三、存储阶段：存储模型结果；
四、用MATLAB GUI图形用户界面设计一套目标背景图像合成并识别的图像处理系统。以上四个步骤的组合可以达到可以快速便捷的扩展数据集的样本数量并能实时显示出识别结果，提高了工作效率，为后续工作奠定了基础。
优选地，采用Poisson图像编辑算法进行SAR图像合成，以达到扩大数据集的数量，降低数据获取成本的目的。准备阶段具体包括如下步骤：1、数据集的制作及划分；2、对场景图像和目标图像选择Poisson图像编辑算法进行无缝镶嵌，建立包含目标的场景图像测试集。这种方法和传统方法对比它的优势在于：选择融合区域的过程简单且方便，而且最终可以得到无缝融合的结果。
优选地，采用深度学习与迁移学习结合的方法针对SAR数据集进行训练，以达到提高分类速度及分类准确率的目的。训练阶段具体包括如下步骤：1、选择合适的预训练模型；2、利用迁移学习在相似数据集上的局部特征共享性对网络进行初始化，并用它在目标数据集上进行参数微调；3、构造全连接神经网络分类器进行数据的训练和参数的更新；4、针对上述操作存在的复杂度高以及效率低下等问题设计了一套整合了上述步骤且可独立操作的系统。
优选地，采用MATLAB进行目标识别系统的GUI界面设计，以达到对数据集及识别工作的便捷操作、提高工作效率的目的。系统功能分为以下几个部分：1、目标图像读取及处理部分；2、背景图像读取及目标-背景图像合成部分；3、合成后图像识别及结果显示部分。
其中，在采用深度学习与迁移学习结合的方法进行数据集的训练阶段，在网络模型的选取方面，选用2016年Kaiming He和Shaoqing Ren合作提出的faster rcnn模型为基础进行数据的训练，在结构上，faster rcnn将特征提取，候选区域提取及分类都整合在了一个网络中，提高了综合性能有较大，在检测速度方面尤为显著。
在框架选取方面，选用现在最流行的Tensorflow框架，它支持多种开发语言和操作系统，并且学习社区文档资料健全，目前，Tensorflow是使用者最多、最受欢迎的开源深度学习框架。
实施例：
由附图1可知，本发明实施例中提供了一种基于深度学习与迁移学习的SAR目标识别方法，该方法包括下述步骤：读取图片目录，对原始数据集中的单目标图像进行旋转、平移、缩放、镜像、转置五种不同的变换处理制作训练集及测试集，利用迁移学习的思想对所选网络模型进行预训练，保留初始网络参数，读取预训练模型，构造全连接神经网络分类器，加入剩余的样本进行训练，更新分类器参数，形成已训练的网络，在测试集部分利用Poisson编辑合成算法合成包含目标图像的大场景测试集，输入训练好的网络，得到识别结果及识别率。
由附图2可知，系统功能分为三部分：目标图像读取及处理部分、背景图像读取及目标-背景图像合成部分、合成后图像识别及结果显示部分。
由附图3可知，由于包含地面车辆目标的SAR图像获取的成本昂贵，所以本发明拟利用美国MSTAR数据库中提供的大幅场景和目标图像进行合成，得到包含有目标的图像作为测试集，MSTAR数据库中的军事目标图像与背景图像是相互独立、彼此分离的，所以目标、背景图像合成方案可行。
图像合成算法选择Poisson图像编辑算法，这种方法在合成时如果物体所在的原图像和新图像背景纹理比较相似时，原图像中对物体的分割不要求十分准确，就能达到很好的合成效果，从而使合成之后的图像效果更加真实，且和传统方法对比它的优势在于：传统方法可以精确的选择融合区域，但过程单调乏味、工作量大且实现复杂，常常无法得到好的结果。而基于Poisson方程的无缝融合选择融合区域的过程简单且方便，而且最终可以得到无缝融合的结果。因此本发明选择基于Poisson方程的方法进行图像的无缝融合。
由附图3可知利用Poisson图像合成算法生成了包含目标的场景图像，其中部分如图6所示，左图为包含2S1式火炮的合成场景图，右图为T62和D7式坦克的合成场景图。
由附图4可知，该算法的框架如图所示。图中是以faster-rcnn网络模型为基础的，每个网络模型包括多个交替连接的卷积层、激活层和池化层，分类层即全连接层。该算法分为两个阶段：预训练阶段和参数微调阶段，首先利用数据库中的5类数据对网络模型进行训练，保留训练模型，把训练过的模型参数移植到新的网络模型中训练全部的10类数据，与原模型结果进行对比，验证结合迁移学习方法的有效性。
由附图5可知，由于SAR的成像机理，导致了SAR图像数据的获取相较于光学图像来讲比较困难，目前国内外用于研究的SAR图像数据较少，直接使用原始MSTAR数据集可能会造成过拟合问题。由此本发明提出了适用于SAR图像的包括旋转、缩放、平移、镜像、转置五种数据增强方法来扩充数据集，以达到增强算法鲁棒性的目的。
由附图7可知，此SAR目标识别系统包括四部分：1、目标及背景图像的文件选择、图像基本信息显示，包括文件名称，大小及目标类型；2、对目标文件的旋转，缩放，平移，镜像，转置五种不同的变换以扩充数据集；3、利用Poisson图像合成算法进行目标-背景图像合成包含目标的场景数据集；4、识别结果显示部分。
由附图8可知，目标图像处理部分由按钮、按钮组、静态文本框和滑动条组成，实现的功能有：可手动输入角度值或通过滑动条改变旋转角度值的旋转变换(范围0-360度)、可手动输入缩放比例或通过滑动条改变数值的缩放变换(缩放比例1-10)、平移变换、水平或垂直的镜像变换、转置变换。
表1
由上表1可知，目前广泛采取的其他SAR自动目标识别技术有基于区域建议的算法如：R-CNN等。基于回归的目标检测与识别算法如：YOLO，SSD等。基于搜索的目标检测与识别算法如：Attention Net等。表1中给出结合迁移学习的网络模型和以上4种方法的平均分类正确率对比，以比较本文提出的算法的鲁棒性及稳定性。
由表1可见在陆战场中SAR目标的识别任务中，结合了迁移学习的方法的分类正确率更高，鲁棒性更好。
以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。

Claims (5)

1.一种基于迁移学习的SAR目标识别系统及方法，其特征在于，包括如下步骤：
步骤1、准备阶段：读取预训练模型，并读取图片目录，划分训练集、验证集及测试集；
步骤2、训练阶段：构造深度学习与迁移学习结合的全连接神经网络分类器，并将图片集作为预训练模型的输入，使用输出来更新全连接神经网络分类器的参数；
步骤3、存储阶段：存储模型结果；
步骤4、用MATLAB GUI图形用户界面设计目标背景图像合成并识别的图像处理系统。
2.根据权利要求1所述基于迁移学习的SAR目标识别系统及方法，其特征在于，所述步骤1具体包括如下步骤：
步骤101、数据集的制作及划分；
步骤201、对场景图像和目标图像选择Poisson图像编辑算法进行无缝镶嵌，建立包含目标的场景图像测试集。
3.根据权利要求1所述基于迁移学习的SAR目标识别系统及方法，其特征在于，所述步骤2具体包括如下步骤：
步骤201、选择预训练模型；
步骤202、利用迁移学习在相似数据集上的局部特征共享性对网络进行初始化，并用它在目标数据集上进行参数微调；
步骤203、构造全连接神经网络分类器进行数据的训练和参数的更新；
步骤204、针对上述操作存在的复杂度高以及效率低下等问题设计了一套整合了上述步骤且可独立操作的系统。
4.根据权利要求1所述基于迁移学习的SAR目标识别系统及方法，其特征在于，所述步骤4的MATLAB GUI图形用户界面具体功能分为：目标图像读取及处理部分；背景图像读取及目标-背景图像合成部分；合成后图像识别及结果显示部分。
5.根据权利要求3所述基于迁移学习的SAR目标识别系统及方法，其特征在于，训练阶段，网络模型选用faster rcnn模型为基础进行数据的训练；框架选取Tensorflow框架。
CN201910474597.6A 2019-06-03 2019-06-03 一种基于迁移学习的sar目标识别系统及方法 Pending CN110188707A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910474597.6A CN110188707A (zh) 2019-06-03 2019-06-03 一种基于迁移学习的sar目标识别系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910474597.6A CN110188707A (zh) 2019-06-03 2019-06-03 一种基于迁移学习的sar目标识别系统及方法

Publications (1)

Publication Number Publication Date
CN110188707A true CN110188707A (zh) 2019-08-30

Family

ID=67719773

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910474597.6A Pending CN110188707A (zh) 2019-06-03 2019-06-03 一种基于迁移学习的sar目标识别系统及方法

Country Status (1)

Country Link
CN (1) CN110188707A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111522007A (zh) * 2020-07-06 2020-08-11 航天宏图信息技术股份有限公司 真实场景与目标仿真融合的sar成像仿真方法和系统
CN112150407A (zh) * 2019-10-30 2020-12-29 重庆大学 针对小样本的航天复合材料夹杂缺陷的深度学习检测方法及系统
CN112163588A (zh) * 2020-10-09 2021-01-01 西安微电子技术研究所 基于智能进化的异源图像目标检测方法、存储介质及设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100067806A1 (en) * 2008-09-12 2010-03-18 Halberd Match Corp. System and method for pleographic recognition, matching, and identification of images and objects
CN106991439A (zh) * 2017-03-28 2017-07-28 南京天数信息科技有限公司 基于深度学习与迁移学习的图像识别方法
CN108376244A (zh) * 2018-02-02 2018-08-07 北京大学 一种自然场景图片中的文本字体的识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100067806A1 (en) * 2008-09-12 2010-03-18 Halberd Match Corp. System and method for pleographic recognition, matching, and identification of images and objects
CN106991439A (zh) * 2017-03-28 2017-07-28 南京天数信息科技有限公司 基于深度学习与迁移学习的图像识别方法
CN108376244A (zh) * 2018-02-02 2018-08-07 北京大学 一种自然场景图片中的文本字体的识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王敏: "海量图像的描述与合成方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112150407A (zh) * 2019-10-30 2020-12-29 重庆大学 针对小样本的航天复合材料夹杂缺陷的深度学习检测方法及系统
CN112150407B (zh) * 2019-10-30 2022-09-30 重庆大学 针对小样本的航天复合材料夹杂缺陷的深度学习检测方法及系统
CN111522007A (zh) * 2020-07-06 2020-08-11 航天宏图信息技术股份有限公司 真实场景与目标仿真融合的sar成像仿真方法和系统
CN112163588A (zh) * 2020-10-09 2021-01-01 西安微电子技术研究所 基于智能进化的异源图像目标检测方法、存储介质及设备

Similar Documents

Publication Publication Date Title
CN110956185B (zh) 一种图像显著目标的检测方法
Gladh et al. Deep motion features for visual tracking
Gui et al. Joint learning of visual and spatial features for edit propagation from a single image
CN110400323B (zh) 一种自动抠图系统、方法以及装置
CN108648233A (zh) 一种基于深度学习的目标识别与抓取定位方法
Nicosevici et al. Automatic visual bag-of-words for online robot navigation and mapping
US9042648B2 (en) Salient object segmentation
CN110188707A (zh) 一种基于迁移学习的sar目标识别系统及方法
CN106709517B (zh) 红树林识别方法及系统
CN107818575A (zh) 一种基于分层卷积的视觉对象跟踪方法
CN109858415A (zh) 适用于移动机器人行人跟随的核相关滤波目标跟踪方法
CN109711399B (zh) 基于图像的店铺识别方法、装置，电子设备
CN110111338A (zh) 一种基于超像素时空显著性分割的视觉跟踪方法
CN107527054B (zh) 基于多视角融合的前景自动提取方法
CN111062885A (zh) 基于多阶段迁移学习的标志检测模型训练及标志检测方法
CN106682679B (zh) 一种基于水平集超像素和贝叶斯框架的显著性检测方法
CN109101981B (zh) 一种街景场景下基于全局图像条纹码的回环检测方法
Yoo et al. Local color transfer between images using dominant colors
CN110413816A (zh) 彩色草图图像搜索
CN109033989A (zh) 基于三维点云的目标识别方法、装置及存储介质
Liu et al. A semi-supervised method for surveillance-based visual location recognition
Mueller et al. Image-to-image translation for enhanced feature matching, image retrieval and visual localization
Kim et al. A shape preserving approach for salient object detection using convolutional neural networks
CN113435461A (zh) 一种点云局部特征提取方法、装置、设备及存储介质
CN109461115A (zh) 一种基于深度卷积网络的自动图像配准方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190830

WD01 Invention patent application deemed withdrawn after publication