CN109583412A - 一种利用卷积神经网络进行船舶检测的训练方法及其船舶检测方法 - Google Patents

一种利用卷积神经网络进行船舶检测的训练方法及其船舶检测方法 Download PDF

Info

Publication number
CN109583412A
CN109583412A CN201811500340.5A CN201811500340A CN109583412A CN 109583412 A CN109583412 A CN 109583412A CN 201811500340 A CN201811500340 A CN 201811500340A CN 109583412 A CN109583412 A CN 109583412A
Authority
CN
China
Prior art keywords
image information
sampling
characteristic image
convolution block
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811500340.5A
Other languages
English (en)
Inventor
王超
王原原
张红
董颖博
魏思思
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Remote Sensing and Digital Earth of CAS
Original Assignee
Institute of Remote Sensing and Digital Earth of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Remote Sensing and Digital Earth of CAS filed Critical Institute of Remote Sensing and Digital Earth of CAS
Priority to CN201811500340.5A priority Critical patent/CN109583412A/zh
Publication of CN109583412A publication Critical patent/CN109583412A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/13Satellite images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请提供了一种利用卷积神经网络进行船舶检测的训练方法及其船舶检测的方法,所述训练方法包括:将包括船舶信息的SAR图像数据制作成预定义规格的训练图像信息;利用所述训练图像信息训练用于船舶检测的卷积神经网络获得所述卷积神经网络的类间关系及所述训练图像信息中的难例;利用焦点损失函数调整所述卷积神经网络的所述类间关系和所述难例的权重,以达到预设精度;其中,所述卷积神经网络的结构包括:基础处理模块、分类处理模块和回归处理模块;所述基础处理模块,至少包括下采样子模块和上采样子模块。本申请在船舶检测的平均精度超过97%。

Description

一种利用卷积神经网络进行船舶检测的训练方法及其船舶检 测方法
技术领域
本申请涉及遥感领域,具体涉及利用卷积神经网络进行船舶检测的训练方法,以及利用卷积神经网络进行船舶检测的方法。
背景技术
合成孔径雷达(简称SAR),可以全天候全天时成像,其图像已经被广泛用于诸如海上交通和非法捕鱼等海洋监管中。随着星载SAR的发射,大量SAR图像可以用来动态检测海洋。因此迫切需要能够处理大量数据以实时做出反应。传统的船舶检测算法主要是依赖海杂波统计模型的恒定虚警概率(CFAR)和手工提取特征。这些方法主要依赖对海杂波分布的统计模型或者手工提取的特征,因此这些方法的鲁棒性较差。除此之外,所述方法严重依赖人力,使得在SAR数据较大时自动检测船舶变得困难。
SAR图像上的目标对姿态和图像敏感。船舶在SAR图像体现出多尺度的特点。这由两方面的原因,第一条原因在于不同分辨率的SAR图像对同样尺寸船舶的影响,第二个原因在于相同分辨率的SAR图像对不同尺寸船舶的影响。这两方面的原因都导致了船舶的不同尺度。因此,使船舶检测变得困难。
发明内容
本申请提供一种利用卷积神经网络进行船舶检测的训练方法,一种利用卷积神经网络进行船舶检测的方法。以解决人工参与船舶检测难度大以及船舶按尺寸检测所带来的难度问题。
为了解决上述技术问题,本申请实施例提供了如下的技术方案:
本申请提供了一种利用卷积神经网络进行船舶检测的训练方法,包括:
将包括船舶信息的SAR图像数据制作成预定义规格的训练图像信息;
利用所述训练图像信息训练用于船舶检测的卷积神经网络获得所述卷积神经网络的类间关系及所述训练图像信息中的难例;
利用焦点损失函数调整所述卷积神经网络的所述类间关系和所述难例的权重,以达到预设精度;
其中,所述卷积神经网络的结构包括:基础处理模块、分类处理模块和回归处理模块;所述基础处理模块,至少包括下采样子模块和上采样子模块,用于根据所述训练图像信息获得多个第一特征图像信息,并将所述第一特征图像信息分别输送给所述分类处理模块和回归处理模块;所述分类处理模块用于根据所述第一特征图像信息获得船舶分类信息;所述回归处理模块用于根据所述第一特征图像信息提取船舶定位回归的图像信息;所述第一特征图像信息,包括维数相同的多尺度的且用于分类和定位回归的图像信息。
优选的,所述基础处理模块,至少包括特征金字塔网络。
进一步的,所述特征金字塔网络,至少包括:下采样子模块、上采样子模块和特征图像信息处理子模块;
所述下采样子模块,包括第一下采样卷积块、第二下采样卷积块、第三下采样卷积块、第四下采样卷积块和第五下采样卷积块;
所述第一下采样卷积块,用于根据所述训练图像信息生成第一下采样特征图像信息,所述第一下采样特征图像信息尺寸是所述训练图像信息尺寸的一半;
所述第二下采样卷积块,用于根据所述第一下采样特征图像信息生成第二下采样特征图像信息,所述第二下采样特征图像信息尺寸是所述第一下采样特征图像信息尺寸的一半;
所述第三下采样卷积块,用于根据所述第二下采样特征图像信息生成第三下采样特征图像信息,所述第三下采样特征图像信息尺寸是所述第二下采样特征图像信息尺寸的一半;
所述第四下采样卷积块,用于根据所述第三下采样特征图像信息生成第四下采样特征图像信息,所述第四下采样特征图像信息尺寸是所述第三下采样特征图像信息尺寸的一半;
所述第五下采样卷积块,用于根据所述第四下采样特征图像信息生成第五下采样特征图像信息;
所述上采样子模块,包括第四处理单元、第三处理单元、第二处理单元和第一处理单元;
所述第四处理单元,用于将所述第五下采样特征图像信息进行预设第一处理生成第四上采样特征图像信息;
所述第三处理单元,用于将所述第四上采样特征图像信息尺寸扩大一倍后与第三信息融合,并生成第三上采样特征图像信息,所述第三信息是对所述第四下采样特征图像信息进行预设第一处理生成的信息;
所述第二处理单元,用于将所述第三上采样特征图像信息尺寸扩大一倍后与第二信息融合,并生成第二上采样特征图像信息,所述第二信息是对所述第三下采样特征图像信息进行预设第一处理生成的信息;
所述第一处理单元,用于将所述第二上采样特征图像信息尺寸扩大一倍后与第一信息融合,并生成第一上采样特征图像信息,所述第一信息是对所述第二下采样特征图像信息进行预设第一处理生成的信息;
所述特征图像信息处理子模块,用于分别根据第一上采样特征图像信息、第二上采样特征图像信息、第三上采样特征图像信息、第四上采样特征图像信息进行预设第二处理,并生成每个上采样特征图像信息所对应的所述第一特征图像信息。
进一步的,所述第一下采样卷积块和所述第二下采样卷积块,均由2个卷积层、2个修正的线性单元和1个池化层堆叠而成。
优选的,所述第三下采样卷积块和所述第四下采样卷积块和所述第五下采样卷积块,均由3个卷积层、3个修正的线性单元和1个池化层堆叠而成。
优选的,所述卷积层,其卷积核的大小为3,其步长为1,其镶边为1;
所述池化层,其步长为2,其卷积核的大小为2;
所述第一下采样卷积块的深度为64,所述第二下采样卷积块的深度为128,所述第三下采样卷积块的深度为256,所述第四下采样卷积块的深度为512,所述第五下采样卷积块的深度为512。
优选的,所述预设第一处理,为1×1卷积。
优选的,所述预设第二处理,为3×3卷积。
优选的,所述焦点损失函数,是指:
FL(pt)=-αt(1-pt)γlog(pt);
其中,αt和γ调节容易例子和难例之间对损失的贡献;
其中,p是模型估计类正确的概率。
本申请提供了一种利用卷积神经网络进行船舶检测的方法,包括:
将包括SAR图像数据制作成预定义规格的图像信息;
将所述图像信息输入已训练的用于船舶检测的卷积神经网络获得所述图像信息中船舶的第一特征图像信息;
其中,所述卷积神经网络的结构包括:基础处理模块、分类处理模块和回归处理模块;所述基础处理模块,至少包括下采样子模块和上采样子模块,用于根据所述训练图像信息获得多个第一特征图像信息,并将所述第一特征图像信息分别输送给所述分类处理模块和回归处理模块;所述分类处理模块用于根据所述第一特征图像信息获得船舶分类信息;所述回归处理模块用于根据所述第一特征图像信息提取船舶定位回归的图像信息;所述第一特征图像信息,包括维数相同的多尺度的且用于分类和定位回归的图像信息。
优选的,所述基础处理模块,至少包括特征金字塔网络。
进一步的,所述特征金字塔网络,至少包括:下采样子模块、上采样子模块和特征图像信息处理子模块;
所述下采样子模块,包括第一下采样卷积块、第二下采样卷积块、第三下采样卷积块、第四下采样卷积块和第五下采样卷积块;
所述第一下采样卷积块,用于根据所述训练图像信息生成第一下采样特征图像信息,所述第一下采样特征图像信息尺寸是所述训练图像信息尺寸的一半;
所述第二下采样卷积块,用于根据所述第一下采样特征图像信息生成第二下采样特征图像信息,所述第二下采样特征图像信息尺寸是所述第一下采样特征图像信息尺寸的一半;
所述第三下采样卷积块,用于根据所述第二下采样特征图像信息生成第三下采样特征图像信息,所述第三下采样特征图像信息尺寸是所述第二下采样特征图像信息尺寸的一半;
所述第四下采样卷积块,用于根据所述第三下采样特征图像信息生成第四下采样特征图像信息,所述第四下采样特征图像信息尺寸是所述第三下采样特征图像信息尺寸的一半;
所述第五下采样卷积块,用于根据所述第四下采样特征图像信息生成第五下采样特征图像信息;
所述上采样子模块,包括第四处理单元、第三处理单元、第二处理单元和第一处理单元;
所述第四处理单元,用于将所述第五下采样特征图像信息进行预设第一处理生成第四上采样特征图像信息;
所述第三处理单元,用于将所述第四上采样特征图像信息尺寸扩大一倍后与第三信息融合,并生成第三上采样特征图像信息,所述第三信息是对所述第四下采样特征图像信息进行预设第一处理生成的信息;
所述第二处理单元,用于将所述第三上采样特征图像信息尺寸扩大一倍后与第二信息融合,并生成第二上采样特征图像信息,所述第二信息是对所述第三下采样特征图像信息进行预设第一处理生成的信息;
所述第一处理单元,用于将所述第二上采样特征图像信息尺寸扩大一倍后与第一信息融合,并生成第一上采样特征图像信息,所述第一信息是对所述第二下采样特征图像信息进行预设第一处理生成的信息;
所述特征图像信息处理子模块,用于分别根据第一上采样特征图像信息、第二上采样特征图像信息、第三上采样特征图像信息、第四上采样特征图像信息进行预设第二处理,并生成每个上采样特征图像信息所对应的所述第一特征图像信息。
进一步的,所述第一下采样卷积块或所述第二下采样卷积块,由2个卷积层、2个修正的线性单元和1个池化层堆叠而成。
优选的,所述第三下采样卷积块或所述第四下采样卷积块或所述第五下采样卷积块,由3个卷积层、3个修正的线性单元和1个池化层堆叠而成。
优选的,所述卷积层,其卷积核的大小为3,其步长为1,其镶边为1;
所述池化层,其步长为2,其卷积核的大小为2;
所述第一下采样卷积块的深度为64,所述第二下采样卷积块的深度为128,所述第三下采样卷积块的深度为256,所述第四下采样卷积块的深度为512,所述第五下采样卷积块的深度为512。
优选的,所述预设第一处理,为1×1卷积。
优选的,所述预设第二处理,为3×3卷积。
基于上述实施例的公开可以获知,本申请实施例具备如下的有益效果:
本申请提供了一种利用卷积神经网络进行船舶检测的训练方法及其船舶检测方法,所述训练方法包括:将包括船舶信息的SAR图像数据制作成预定义规格的训练图像信息;利用所述训练图像信息训练用于船舶检测的卷积神经网络获得所述卷积神经网络的类间关系及所述训练图像信息中的难例;利用焦点损失函数调整所述卷积神经网络的所述类间关系和所述难例的权重,以达到预设精度;;其中,所述卷积神经网络的结构包括:基础处理模块、分类处理模块和回归处理模块;所述基础处理模块,至少包括下采样子模块和上采样子模块,用于根据所述训练图像信息获得多个第一特征图像信息,并将所述第一特征图像信息分别输送给所述分类处理模块和回归处理模块;所述分类处理模块用于根据所述第一特征图像信息获得船舶分类信息;所述回归处理模块用于根据所述第一特征图像信息提取船舶定位回归的图像信息;所述第一特征图像信息,包括维数相同的多尺度的且用于分类和定位回归的图像信息。本申请利用特征金字塔网络(FPN)提取用于分类(船舶和非船舶)和定位船舶的多尺度特征,利用焦点损失(focal loss)函数解决训练时类之间的不均衡和增加难例的权重。与其他的模型相比较,本申请的方法在平均精度上超过97%。
附图说明
图1为本申请提供的一种利用卷积神经网络进行船舶检测的训练方法的流程图;
图2为本申请提供的特征金字塔网络的处理流程图;
图3为本申请提供的下采样子模块的网络结构;
图4为本申请提供的一种利用卷积神经网络进行船舶检测的方法的流程图。
具体实施方式
下面,结合附图对本申请的具体实施例进行详细的描述,但不作为本申请的限定。
应理解的是,可以对此处公开的实施例做出各种修改。因此,上述说明书不应该视为限制,而仅是作为实施例的范例。本领域的技术人员将想到在本公开的范围和精神内的其他修改。
包含在说明书中并构成说明书的一部分的附图示出了本公开的实施例,并且与上面给出的对本公开的大致描述以及下面给出的对实施例的详细描述一起用于解释本公开的原理。
通过下面参照附图对给定为非限制性实例的实施例的优选形式的描述,本申请的这些和其它特性将会变得显而易见。
还应当理解,尽管已经参照一些具体实例对本申请进行了描述,但本领域技术人员能够确定地实现本申请的很多其它等效形式,它们具有如权利要求所述的特征并因此都位于借此所限定的保护范围内。
当结合附图时,鉴于以下详细说明,本公开的上述和其他方面、特征和优势将变得更为显而易见。
此后参照附图描述本公开的具体实施例;然而,应当理解,所公开的实施例仅仅是本公开的实例,其可采用多种方式实施。熟知和/或重复的功能和结构并未详细描述以避免不必要或多余的细节使得本公开模糊不清。因此,本文所公开的具体的结构性和功能性细节并非意在限定,而是仅仅作为权利要求的基础和代表性基础用于教导本领域技术人员以实质上任意合适的详细结构多样地使用本公开。
本说明书可使用词组“在一种实施例中”、“在另一个实施例中”、“在又一实施例中”或“在其他实施例中”,其均可指代根据本公开的相同或不同实施例中的一个或多个。
下面,结合附图详细的说明本申请实施例,
本申请提供一种利用卷积神经网络进行船舶检测的训练方法;本申请还提供一种利用卷积神经网络进行船舶检测的方法。在下面的实施例中逐一进行详细说明。
合成孔径雷达(简称SAR),可以全天候全天时成像,其图像已经被广泛用于诸如海上交通和非法捕鱼等海洋监管中。随着星载SAR的发射,大量SAR图像可以用来动态检测海洋。因此迫切需要能够处理大量数据以实时做出反应。传统的船舶检测算法主要是依赖海杂波统计模型的恒定虚警概率(CFAR)和手工提取特征。这些方法主要依赖对海杂波分布的统计模型或者手工提取的特征,因此这些方法的鲁棒性较差。除此之外,所述方法严重依赖人力,使得在SAR数据较大时自动检测船舶变得困难。
SAR图像上的目标对姿态和图像敏感。船舶在SAR图像体现出多尺度的特点。这由两方面的原因,第一条原因在于不同分辨率的SAR图像对同样尺寸船舶的影响,第二个原因在于相同分辨率的SAR图像对不同尺寸船舶的影响。这两方面的原因都导致了船舶的不同尺度。因此,使船舶检测变得困难。
卷积神经网络(Convolutional Neural Network,简称CNN)具有可学习的权重和偏置常量的神经元组成。每个神经元都接收一些输入,并做一些点积计算,输出是每个分类的分数。是一种前馈神经网络,它的人工神经元可以响应一部分覆盖范围内的周围单元,对于大型图像处理有出色表现。CNN的特点是具有多维维体积的神经元。利用输入是图片的特点,把神经元设计成多个维度:width,height,depth。depth不是神经网络的深度,而是用来描述神经元的。例如,输入的切片组大小是32×32×3(rgb),那么输入神经元就也具有32×32×3的维度。
对本申请提供第一实施例,即一种利用卷积神经网络进行船舶检测的训练方法的实施例。
下面结合图1、图2和图3对本实施例进行详细说明,其中,图1为本身请提供的一种利用卷积神经网络进行船舶检测的训练方法的流程图;图2为本申请提供的特征金字塔网络的处理流程图;图3为本申请提供的下采样子模块的网络结构。
请参见图1所示,步骤S101,将包括船舶信息的SAR图像数据制作成预定义规格的训练图像信息E。
在训练中,将所有SAR图像按照预定义规格构建船舶的训练图像信息E的数据集。数据首先被标记,然后按照70%、20%和10%的比例划分为训练数据集、验证数据集和测试数据集。
所述训练数据集,主要用于利用卷积神经网络进行船舶检测的训练,其中包括预定义规格的训练图像信息E。
所述预定义规格,包括长256像素×宽256像素的训练图像信息E。为了加快训练进度,通常选择SAR图像数据中包含船舶的感兴趣的区域(ROIs)制作预定义规格的训练图像信息E。
所述验证数据集,主要是通过其他的测试模型作为参考,验证本实施例中的卷积神经网络的有效性。
所述测试数据集,用于测试卷积神经网络的鲁棒性。
步骤S102,利用所述训练图像信息E训练用于船舶检测的卷积神经网络获得所述卷积神经网络的类间关系及所述训练图像信息中的难例。
其中,所述卷积神经网络的结构包括:基础处理模块、分类处理模块和回归处理模块。例如,RetinaNet。
所述基础处理模块,至少包括下采样子模块和上采样子模块,用于根据所述训练图像信息E获得多个第一特征图像信息,并将所述第一特征图像信息分别输送给所述分类处理模块和回归处理模块;所述分类处理模块用于根据所述第一特征图像信息获得船舶分类信息;所述回归处理模块用于根据所述第一特征图像信息提取船舶定位回归的图像信息;所述第一特征图像信息,包括维数相同的多尺度的且用于分类和定位回归的图像信息。
所述难例,就是所述训练图像信息中不易被用于船舶检测的卷积神经网络检测的所述训练图像信息。
例如,所述基础处理模块,至少包括特征金字塔网络(feature pyramidnetworks,简称为FPN)。FPN的优点在于它可以利用深度卷积神经网络的金字塔特征来表示多尺度特征,且速度比较快。例如,RetinaNet使用基础网络模块(比如ResNet、VGG或者DenseNet)提取高层语义特征,FPN用来提取维数相同的多尺度的特征图像信息,将这些金字塔形的所述特征图像信息,作为分类处理模块和回归处理模块的输入。
所述下采样子模块,利用所述卷积神经网络从高分辨率的图像信息中提取特征图像信息。通常是由常见的神经网络的一部分构成,例如,利用VGG、ResNet或者DenseNet等神经网络中有效部分构成。
所述上采样子模块,就是从下采样子模块的高层语义层重构高分辨率图像的特征。
请参见图2所示,所述特征金字塔网络,至少包括:下采样子模块、上采样子模块和特征图像信息处理子模块。
所述下采样子模块,包括第一下采样卷积块C1、第二下采样卷积块C2、第三下采样卷积块C3、第四下采样卷积块C4和第五下采样卷积块C5
所述第一下采样卷积块C1,用于根据所述训练图像信息E生成第一下采样特征图像信息,所述第一下采样特征图像信息尺寸是所述训练图像信息E尺寸的一半。
所述第二下采样卷积块C2,用于根据所述第一下采样特征图像信息生成第二下采样特征图像信息,所述第二下采样特征图像信息尺寸是所述第一下采样特征图像信息尺寸的一半。
所述第三下采样卷积块C3,用于根据所述第二下采样特征图像信息生成第三下采样特征图像信息,所述第三下采样特征图像信息尺寸是所述第二下采样特征图像信息尺寸的一半。
所述第四下采样卷积块C4,用于根据所述第三下采样特征图像信息生成第四下采样特征图像信息,所述第四下采样特征图像信息尺寸是所述第三下采样特征图像信息尺寸的一半。
所述第五下采样卷积块C5,用于根据所述第四下采样特征图像信息生成第五下采样特征图像信息。
所述上采样子模块,包括第四处理单元M4、第三处理单元M3、第二处理单元M2和第一处理单元M1。
所述第四处理单元M4,用于将所述第五下采样特征图像信息进行预设第一处理生成第四上采样特征图像信息。
本实施例中,优选的,所述预设第一处理,为1×1卷积。采用1×1卷积减少特征图像信息的数目。
所述第三处理单元M3,用于将所述第四上采样特征图像信息尺寸扩大一倍后与第三信息融合,并生成第三上采样特征图像信息,所述第三信息是对所述第四下采样特征图像信息进行预设第一处理生成的信息。从而使所述训练图像信息E中的船舶位置信息更加精确。
所述第二处理单元M2,用于将所述第三上采样特征图像信息尺寸扩大一倍后与第二信息融合,并生成第二上采样特征图像信息,所述第二信息是对所述第三下采样特征图像信息进行预设第一处理生成的信息。从而使所述训练图像信息E中的船舶位置信息进一步精确。
所述第一处理单元M1,用于将所述第二上采样特征图像信息尺寸扩大一倍后与第一信息融合,并生成第一上采样特征图像信息,所述第一信息是对所述第二下采样特征图像信息进行预设第一处理生成的信息。从而使所述训练图像信息E中的船舶位置信息进一步精确。
所述特征图像信息处理子模块,用于分别根据第一上采样特征图像信息、第二上采样特征图像信息、第三上采样特征图像信息、第四上采样特征图像信息进行预设第二处理,并生成每个上采样特征图像信息所对应的所述第一特征图像信息,例如,第一特征图像信息P1、P2、P3和P4。
请参见图3所示,本实施例中,所述第一下采样卷积块C1和所述第二下采样卷积块C2,均由2个卷积层、2个修正的线性单元和1个池化层堆叠而成。
卷积层,用它来进行特征提取。
修正的线性单元,是一种人工神经网络中常用的激活函数(activationfunction),通常指代以斜坡函数及其变种为代表的非线性函数。
池化层,是一种形式的降采样。采用非线性池化函数,将输入的图像划分为若干个矩形区域,对每个子区域输出最大值。不断地减小数据的空间大小,因此参数的数量和计算量也会下降,在一定程度上也控制了过拟合。
本实施例中,所述第三下采样卷积块C3和所述第四下采样卷积块C4和所述第五下采样卷积块C5,均由3个卷积层、3个修正的线性单元和1个池化层堆叠而成。
本实施例中,所述卷积层,其卷积核的大小为3,其步长为1,其镶边为1。
所述卷积核,就是图像处理时,给定输入图像,在输出图像中每一个像素是输入图像中一个小区域中像素的加权平均,其中权值由一个函数定义,这个函数称为卷积核。
所述步长,卷积核移动的幅度。
所述镶边,也就是填充像素。
所述池化层,其步长为2,其卷积核的大小为2。
所述第一下采样卷积块C1的深度为64,所述第二下采样卷积块C2的深度为128,所述第三下采样卷积块C3的深度为256,所述第四下采样卷积块C4的深度为512,所述第五下采样卷积块C5的深度为512。
通过所述上采样子模块的处理后,所述第一上采样特征图像信息、第二上采样特征图像信息、第三上采样特征图像信息、第四上采样特征图像信息的深度均降为256。
本实施例中,优选的,所述预设第二处理,为3×3卷积。
步骤S103,利用焦点损失函数调整所述卷积神经网络的所述类间关系和所述难例的权重,以达到预设精度。
所述焦点损失函数,是指:
FL(pt)=-αt(1-pt)γlog(pt);
其中,αt和γ调节容易例子和难例之间对损失的贡献;
其中,p是模型估计类正确的概率。
焦点损失函数作为损失函数来解决类间不均衡和平衡容易例子和难例对损失的贡献。
RetinaNet是深度学习中的一阶段对象检测模型。它使用FPN获得用于对象分类和提取图片的多尺度语义特征。对于回归,FPN首先将可能包含对象的矩形框和实际标记的矩形框作比较获得正例和负例。在训练时,类间不均衡和容易例子和难例会对检测精度造成影响[19]。为了克服这个,焦点损失函数在[19]提出。焦点损失函数考虑到难例在训练时对损失的贡献越大,同时也更加注意类的均衡。
所述正例,为训练时获得的船舶检测的图像分类信息(例如,船舶信息和非船舶信息),将该图像分类信息与实际图像分类信息进行比较获得IoU值,如果IoU值大于0.5,则为正例,如果IoU值小于0.3,则为负例。
在训练时,为了验证训练效果,通常会选择一种或几种卷积神经网络作为参照。例如,Faster RCNN、SSD和FPN。
在焦点损失函数中,α和γ是影响结果的主要因素。因此,将它们构建为三种不同的方式{(α=0.25,γ=2),(α=0.5,γ=2),(α=0.25,γ=1)}。在训练时,锚点的长宽的比例是{1:2,1:1,2:1}。
在训练中,超参数的选择如下:学习率是0.000001。批大小是18、动量为0.99。
由于SAR图像本身比较大,如果直接输入到神经网络中,将耗掉巨大的内存。为了克服这个不足,将SAR图像切成小的切片。除此之外,本实施例将SAR图像保存成8位的灰度图像。尽管有很多的处理方法,本实施例为了简单,用线性2%拉伸的方法处理。当然,也可以用其他的更加精巧的方法得到8位数据。将包含船舶的区域裁剪下来,采用滑窗(slidding windows)的方法对SAR图像进行切片。这些切片的长和宽的像素数都是256。然后,通过人工的方法在所述切片上标注船舶数据。由于船舶的不同类型和SAR图像的不同分辨率{3m,5m,8m,10m},船舶表现出不同的尺度特征。
本实施例中,基于RetinaNet采用高分3号卫星的多分辨率SAR图像检测船舶。首先,利用多分辨率SAR图像构建了船舶数据集,解决了深度学习训练时需要大量数据的问题。第二,采用不同参数设置的ReitnaNet用于船舶检测。训练结果表明,即便是在多分辨率SAR图像中,RetinaNet可以获得超过97%的检测精度;与其他对象检测模型相比较,RetinaNet在复杂背景中获得较高的分类精度。
本申请还提供第二实施例,即一种利用卷积神经网络进行船舶检测的方法。由于本方法实施例基本相似于第一方法实施例,所以描述得比较简单,相关的部分请参见第一方法实施例的对应说明即可。下述描述的方法实施例仅仅是示意性的。
图2、3和4示出了本申请提供的一种利用卷积神经网络进行船舶检测的方法的实施例。图4为本申请提供的一种利用卷积神经网络进行船舶检测的方法的流程图。
请参见图4所示,步骤S201,将包括SAR图像数据制作成预定义规格的图像信息;
步骤S202,将所述图像信息输入已训练的用于船舶检测的卷积神经网络获得所述图像信息中船舶的第一特征图像信息;
其中,所述卷积神经网络的结构包括:基础处理模块、分类处理模块和回归处理模块;所述基础处理模块,至少包括下采样子模块和上采样子模块,用于根据所述训练图像信息E获得多个第一特征图像信息,并将所述第一特征图像信息分别输送给所述分类处理模块和回归处理模块;所述分类处理模块用于根据所述第一特征图像信息获得船舶分类信息;所述回归处理模块用于根据所述第一特征图像信息提取船舶定位回归的图像信息;所述第一特征图像信息,包括维数相同的多尺度的且用于分类和定位回归的图像信息。
优选的,所述基础处理模块,至少包括特征金字塔网络。
请参见图2所示,优选的,所述特征金字塔网络,至少包括:下采样子模块、上采样子模块和特征图像信息处理子模块;
所述下采样子模块,包括第一下采样卷积块C1、第二下采样卷积块C2、第三下采样卷积块C3、第四下采样卷积块C4和第五下采样卷积块C5;
所述第一下采样卷积块C1,用于根据所述训练图像信息E生成第一下采样特征图像信息,所述第一下采样特征图像信息尺寸是所述训练图像信息E尺寸的一半;
所述第二下采样卷积块C2,用于根据所述第一下采样特征图像信息生成第二下采样特征图像信息,所述第二下采样特征图像信息尺寸是所述第一下采样特征图像信息尺寸的一半;
所述第三下采样卷积块C3,用于根据所述第二下采样特征图像信息生成第三下采样特征图像信息,所述第三下采样特征图像信息尺寸是所述第二下采样特征图像信息尺寸的一半;
所述第四下采样卷积块C4,用于根据所述第三下采样特征图像信息生成第四下采样特征图像信息,所述第四下采样特征图像信息尺寸是所述第三下采样特征图像信息尺寸的一半;
所述第五下采样卷积块C5,用于根据所述第四下采样特征图像信息生成第五下采样特征图像信息;
所述上采样子模块,包括第四处理单元M4、第三处理单元M3、第二处理单元M2和第一处理单元M1;
所述第四处理单元M4,用于将所述第五下采样特征图像信息进行预设第一处理生成第四上采样特征图像信息;
所述第三处理单元M3,用于将所述第四上采样特征图像信息尺寸扩大一倍后与第三信息融合,并生成第三上采样特征图像信息,所述第三信息是对所述第四下采样特征图像信息进行预设第一处理生成的信息;
所述第二处理单元M2,用于将所述第三上采样特征图像信息尺寸扩大一倍后与第二信息融合,并生成第二上采样特征图像信息,所述第二信息是对所述第三下采样特征图像信息进行预设第一处理生成的信息;
所述第一处理单元M1,用于将所述第二上采样特征图像信息尺寸扩大一倍后与第一信息融合,并生成第一上采样特征图像信息,所述第一信息是对所述第二下采样特征图像信息进行预设第一处理生成的信息;
所述特征图像信息处理子模块,用于分别根据第一上采样特征图像信息、第二上采样特征图像信息、第三上采样特征图像信息、第四上采样特征图像信息进行预设第二处理,并生成每个上采样特征图像信息所对应的所述第一特征图像信息。
请参见图3所示,进一步的,所述第一下采样卷积块C1和所述第二下采样卷积块C2,均由2个卷积层、2个修正的线性单元和1个池化层堆叠而成。
进一步的,所述第三下采样卷积块C3和所述第四下采样卷积块C4和所述第五下采样卷积块C5,均由3个卷积层、3个修正的线性单元和1个池化层堆叠而成。
进一步的,所述卷积层,其卷积核的大小为3,其步长为1,其镶边为1;
所述池化层,其步长为2,其卷积核的大小为2;
所述第一下采样卷积块C1的深度为64,所述第二下采样卷积块C2的深度为128,所述第三下采样卷积块C3的深度为256,所述第四下采样卷积块C4的深度为512,所述第五下采样卷积块C5的深度为512。优选的,所述预设第一处理,为1×1卷积。
优选的,所述预设第二处理,为3×3卷积。
利用卷积神经网络进行船舶检测的方法,与其他的模型相比较,在平均精度的评测上有最好的精度(超过97%)。这些表明了本实施例提出方法的有效性。
本申请虽然以较佳实施例公开如上,但其并不是用来限定本申请,任何本领域技术人员在不脱离本申请的精神和范围内,都可以做出可能的变动和修改,因此本申请的保护范围应当以本申请权利要求所界定的范围为准。

Claims (10)

1.一种利用卷积神经网络进行船舶检测的训练方法,其特征在于,包括:
将包括船舶信息的SAR图像数据制作成预定义规格的训练图像信息;
利用所述训练图像信息训练用于船舶检测的卷积神经网络获得所述卷积神经网络的类间关系及所述训练图像信息中的难例;
利用焦点损失函数调整所述卷积神经网络的所述类间关系和所述难例的权重,以达到预设精度;
其中,所述卷积神经网络的结构包括:基础处理模块、分类处理模块和回归处理模块;所述基础处理模块,至少包括下采样子模块和上采样子模块,用于根据所述训练图像信息获得多个第一特征图像信息,并将所述第一特征图像信息分别输送给所述分类处理模块和回归处理模块;所述分类处理模块用于根据所述第一特征图像信息获得船舶分类信息;所述回归处理模块用于根据所述第一特征图像信息提取船舶定位回归的图像信息;所述第一特征图像信息,包括维数相同的多尺度的且用于分类和定位回归的图像信息。
2.根据权利要求1所述的训练方法,其特征在于,所述基础处理模块,至少包括特征金字塔网络。
3.根据权利要求2所述的训练方法,其特征在于,所述特征金字塔网络,至少包括:下采样子模块、上采样子模块和特征图像信息处理子模块;
所述下采样子模块,包括第一下采样卷积块、第二下采样卷积块、第三下采样卷积块、第四下采样卷积块和第五下采样卷积块;
所述第一下采样卷积块,用于根据所述训练图像信息生成第一下采样特征图像信息,所述第一下采样特征图像信息尺寸是所述训练图像信息尺寸的一半;
所述第二下采样卷积块,用于根据所述第一下采样特征图像信息生成第二下采样特征图像信息,所述第二下采样特征图像信息尺寸是所述第一下采样特征图像信息尺寸的一半;
所述第三下采样卷积块,用于根据所述第二下采样特征图像信息生成第三下采样特征图像信息,所述第三下采样特征图像信息尺寸是所述第二下采样特征图像信息尺寸的一半;
所述第四下采样卷积块,用于根据所述第三下采样特征图像信息生成第四下采样特征图像信息,所述第四下采样特征图像信息尺寸是所述第三下采样特征图像信息尺寸的一半;
所述第五下采样卷积块,用于根据所述第四下采样特征图像信息生成第五下采样特征图像信息;
所述上采样子模块,包括第四处理单元、第三处理单元、第二处理单元和第一处理单元;
所述第四处理单元,用于将所述第五下采样特征图像信息进行预设第一处理生成第四上采样特征图像信息;
所述第三处理单元,用于将所述第四上采样特征图像信息尺寸扩大一倍后与第三信息融合,并生成第三上采样特征图像信息,所述第三信息是对所述第四下采样特征图像信息进行预设第一处理生成的信息;
所述第二处理单元,用于将所述第三上采样特征图像信息尺寸扩大一倍后与第二信息融合,并生成第二上采样特征图像信息,所述第二信息是对所述第三下采样特征图像信息进行预设第一处理生成的信息;
所述第一处理单元,用于将所述第二上采样特征图像信息尺寸扩大一倍后与第一信息融合,并生成第一上采样特征图像信息,所述第一信息是对所述第二下采样特征图像信息进行预设第一处理生成的信息;
所述特征图像信息处理子模块,用于分别根据第一上采样特征图像信息、第二上采样特征图像信息、第三上采样特征图像信息、第四上采样特征图像信息进行预设第二处理,并生成每个上采样特征图像信息所对应的所述第一特征图像信息。
4.根据权利要求3所述的训练方法,其特征在于,所述第一下采样卷积块和所述第二下采样卷积块,均由2个卷积层、2个修正的线性单元和1个池化层堆叠而成。
5.根据权利要求3所述的训练方法,其特征在于,所述第三下采样卷积块和所述第四下采样卷积块和所述第五下采样卷积块,均由3个卷积层、3个修正的线性单元和1个池化层堆叠而成。
6.根据权利要求4-5任一项所述的训练方法,其特征在于,所述卷积层,其卷积核的大小为3,其步长为1,其镶边为1;
所述池化层,其步长为2,其卷积核的大小为2;
所述第一下采样卷积块的深度为64,所述第二下采样卷积块的深度为128,所述第三下采样卷积块的深度为256,所述第四下采样卷积块的深度为512,所述第五下采样卷积块的深度为512。
7.根据权利要求3所述的训练方法,其特征在于,所述预设第一处理,为1×1卷积。
8.根据权利要求3所述的训练方法,其特征在于,所述预设第二处理,为3×3卷积。
9.根据权利要求1所述的训练方法,其特征在于,所述焦点损失函数,是指:
FL(pt)=-αt(1-pt)γlog(pt);
其中,αt和γ调节容易例子和难例之间对损失的贡献;
其中,p是模型估计类正确的概率。
10.一种利用卷积神经网络进行船舶检测的方法,其特征在于,包括:
将包括SAR图像数据制作成预定义规格的图像信息;
将所述图像信息输入已训练的用于船舶检测的卷积神经网络获得所述图像信息中船舶的第一特征图像信息;
其中,所述卷积神经网络的结构包括:基础处理模块、分类处理模块和回归处理模块;所述基础处理模块,至少包括下采样子模块和上采样子模块,用于根据所述训练图像信息获得多个第一特征图像信息,并将所述第一特征图像信息分别输送给所述分类处理模块和回归处理模块;所述分类处理模块用于根据所述第一特征图像信息获得船舶分类信息;所述回归处理模块用于根据所述第一特征图像信息提取船舶定位回归的图像信息;所述第一特征图像信息,包括维数相同的多尺度的且用于分类和定位回归的图像信息。
CN201811500340.5A 2018-12-07 2018-12-07 一种利用卷积神经网络进行船舶检测的训练方法及其船舶检测方法 Pending CN109583412A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811500340.5A CN109583412A (zh) 2018-12-07 2018-12-07 一种利用卷积神经网络进行船舶检测的训练方法及其船舶检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811500340.5A CN109583412A (zh) 2018-12-07 2018-12-07 一种利用卷积神经网络进行船舶检测的训练方法及其船舶检测方法

Publications (1)

Publication Number Publication Date
CN109583412A true CN109583412A (zh) 2019-04-05

Family

ID=65927842

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811500340.5A Pending CN109583412A (zh) 2018-12-07 2018-12-07 一种利用卷积神经网络进行船舶检测的训练方法及其船舶检测方法

Country Status (1)

Country Link
CN (1) CN109583412A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110705374A (zh) * 2019-09-11 2020-01-17 武汉敏捷数云信息技术有限公司 基于改进RetinaNet网络的输电线路缺陷识别方法
CN110827253A (zh) * 2019-10-30 2020-02-21 北京达佳互联信息技术有限公司 一种目标检测模型的训练方法、装置及电子设备
CN111091533A (zh) * 2019-11-13 2020-05-01 江苏大学 一种基于改进ssd算法的电池片el缺陷检测方法
CN111814833A (zh) * 2020-06-11 2020-10-23 浙江大华技术股份有限公司 票据处理模型的训练方法及图像处理方法、图像处理设备
CN112014842A (zh) * 2020-09-16 2020-12-01 国家海洋技术中心 高分三号全极化sar数据的有效波高估计方法及系统
CN113989693A (zh) * 2021-09-15 2022-01-28 南京邮电大学 基于Yolo Backbone优化的船舶非法卸砂行为识别方法及系统
CN114612729A (zh) * 2022-03-31 2022-06-10 杭州电子科技大学 一种基于sar图像的图像分类模型训练方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108492271A (zh) * 2018-03-26 2018-09-04 中国电子科技集团公司第三十八研究所 一种融合多尺度信息的自动图像增强系统及方法
CN108664933A (zh) * 2018-05-11 2018-10-16 中国科学院遥感与数字地球研究所 一种用于sar图像船舶分类的卷积神经网络的训练方法及其分类方法、船舶分类模型

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108492271A (zh) * 2018-03-26 2018-09-04 中国电子科技集团公司第三十八研究所 一种融合多尺度信息的自动图像增强系统及方法
CN108664933A (zh) * 2018-05-11 2018-10-16 中国科学院遥感与数字地球研究所 一种用于sar图像船舶分类的卷积神经网络的训练方法及其分类方法、船舶分类模型

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
余良凯: ""基于深度学习的机场场面目标检测", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
欧阳颖卉等: "基于卷积神经网络的光学遥感图像船只检测", 《包装工程》 *
王新立等: "基于改进卷积神经网络的船舶目标检测", 《中国航海》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110705374A (zh) * 2019-09-11 2020-01-17 武汉敏捷数云信息技术有限公司 基于改进RetinaNet网络的输电线路缺陷识别方法
CN110827253A (zh) * 2019-10-30 2020-02-21 北京达佳互联信息技术有限公司 一种目标检测模型的训练方法、装置及电子设备
CN111091533A (zh) * 2019-11-13 2020-05-01 江苏大学 一种基于改进ssd算法的电池片el缺陷检测方法
CN111091533B (zh) * 2019-11-13 2023-08-22 江苏大学 一种基于改进ssd算法的电池片el缺陷检测方法
CN111814833A (zh) * 2020-06-11 2020-10-23 浙江大华技术股份有限公司 票据处理模型的训练方法及图像处理方法、图像处理设备
CN111814833B (zh) * 2020-06-11 2024-06-07 浙江大华技术股份有限公司 票据处理模型的训练方法及图像处理方法、图像处理设备
CN112014842A (zh) * 2020-09-16 2020-12-01 国家海洋技术中心 高分三号全极化sar数据的有效波高估计方法及系统
CN112014842B (zh) * 2020-09-16 2021-03-19 国家海洋技术中心 高分三号全极化sar数据的有效波高估计方法及系统
CN113989693A (zh) * 2021-09-15 2022-01-28 南京邮电大学 基于Yolo Backbone优化的船舶非法卸砂行为识别方法及系统
CN113989693B (zh) * 2021-09-15 2023-09-15 南京邮电大学 基于Yolo Backbone优化的船舶非法卸砂行为识别方法及系统
CN114612729A (zh) * 2022-03-31 2022-06-10 杭州电子科技大学 一种基于sar图像的图像分类模型训练方法及装置

Similar Documents

Publication Publication Date Title
CN109583412A (zh) 一种利用卷积神经网络进行船舶检测的训练方法及其船舶检测方法
CN110135267B (zh) 一种大场景sar图像细微目标检测方法
Li et al. Building damage detection from post-event aerial imagery using single shot multibox detector
CN109086700B (zh) 基于深度卷积神经网络的雷达一维距离像目标识别方法
Gong et al. Earthquake-induced building damage detection with post-event sub-meter VHR TerraSAR-X staring spotlight imagery
CN106156744B (zh) 基于cfar检测与深度学习的sar目标检测方法
Leinonen et al. Reconstruction of cloud vertical structure with a generative adversarial network
Korosov et al. A combination of feature tracking and pattern matching with optimal parametrization for sea ice drift retrieval from SAR data
CN112434672B (zh) 一种基于改进YOLOv3的海上人体目标检测方法
CN110533631A (zh) 基于金字塔池化孪生网络的sar图像变化检测方法
Wong et al. Segmentation of additive manufacturing defects using U-net
CN109948527B (zh) 基于集成深度学习的小样本太赫兹图像异物检测方法
CN112180369B (zh) 基于深度学习的一维综合孔径辐射计海面风速反演方法
Li et al. Few-Shot Learning with Generative Adversarial Networks Based on WOA13 Data.
CN110555841A (zh) 基于自注意图像融合和dec的sar图像变化检测方法
Veillette et al. Creating synthetic radar imagery using convolutional neural networks
Ellenson et al. Beach state recognition using argus imagery and convolutional neural networks
Collins et al. Bathymetric inversion and uncertainty estimation from synthetic surf-zone imagery with machine learning
CN109143408A (zh) 基于mlp的动态区域联合短时降水预报方法
Spinosa et al. Remote sensing-based automatic detection of shoreline position: A case study in apulia region
Diqi et al. Design and building Javanese script classification in the state museum of Sonobudoyo Yogyakarta
Zhao et al. Detection of surface crevasses over Antarctic ice shelves using SAR imagery and deep learning method
Gawehn et al. A self-adaptive method for mapping coastal bathymetry on-the-fly from wave field video
Molfetta et al. A sterescopic system to measure water waves in laboratories
Newbury et al. Automatic fish population counting by artificial neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190405