CN108614996A - 一种基于深度学习的军船、民船自动识别方法 - Google Patents

一种基于深度学习的军船、民船自动识别方法 Download PDF

Info

Publication number
CN108614996A
CN108614996A CN201810295054.3A CN201810295054A CN108614996A CN 108614996 A CN108614996 A CN 108614996A CN 201810295054 A CN201810295054 A CN 201810295054A CN 108614996 A CN108614996 A CN 108614996A
Authority
CN
China
Prior art keywords
algorithm
anchor point
drpn
dfcn
dense
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810295054.3A
Other languages
English (en)
Inventor
刘俊
孟伟秀
黄亮
潘浩
谷雨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Hangzhou Electronic Science and Technology University
Original Assignee
Hangzhou Electronic Science and Technology University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Electronic Science and Technology University filed Critical Hangzhou Electronic Science and Technology University
Priority to CN201810295054.3A priority Critical patent/CN108614996A/zh
Publication of CN108614996A publication Critical patent/CN108614996A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的军船、民船自动识别方法,属于基于图像的自动目标识别领域。本发明创造可以在海防,武器装备智能化,态势估计领域应用。该方法针对传统的基于深度学习的目标识别网络各层单向连接,特征表达能力不足的问题,重新设计了一种稠密连接卷积等层的算法模型。使用稠密连接的方式,算法模型复用了每一层的特征,从而提高了算法模型的目标识别平均准确率;算法模型采用全卷积的特征提取方式去除了权重参数过大的全连接层,采用这种方式训练得到的算法模型更小;不仅如此,算法模型解决了梯度弥散、梯度膨胀的问题。

Description

一种基于深度学习的军船、民船自动识别方法
技术领域
本发明创造属于基于图像的自动目标识别领域,尤其涉及一种基于深度学习的军船、民船自动识别方法。
背景技术
新形势下,网络化联合作战呈现出陆、海、空、天、电磁、赛博多维立体战场一体化作战特点,通过多平台(地面、机载、无人机载、舰载、车载、星载、水面、水下、舰挂、数据库系统),多源传感器(SAR/ISAR、红外摄像头、高光谱/多光谱/微光/EO/可见光、声纳、激光、毫米波)等途径可以获得海量的图像、视频数据,数据来源具有“5V+1C”的特点,即:Volume(大容量)、Variety(多样性)、Velocity(时效性)和Veracity(准确性)、Value(价值)和Complexity(复杂性)。因此,如何从这些不同类型、不同时机、不同分辨率的海量图像、视频大数据中查找出需要的军船、民船类别、位置信息,从而为指挥员决策提供情报支持,显得尤为重要。
面对以TB/PB级呈现的海量观测图像、视频数据,应用中存在着“大海捞针”的情况,一方面数据多到无法处理,另一方面需要的目标又找不到,导致无法快速及时的给出精确判断,贻误战机。军事应用领域迫切需要一种智能的自动目标识别技术来对海量图像、视频资源做自动分析,进而为战术决策提供重要依据。
基于深度学习的军船、民船识别技术是采用自动数据处理方法,对多源探测信息中的目标数据进行识别和分类。近年来得益于大数据、云计算和人工智能技术的快速发展和大规模已标记数据集的出现,尤其是以深度学习算法为基础的智能目标识别技术的突破,大力的推动了基于图像的自动目标识别技术的发展。得益于深度学习强大的特征表达的能力,在模式识别和计算机视觉领域快速发展,迅速替代了以往基于先验知识的人工构造特征的方式。其中,卷积神经网络(Convolutional Neural Network,CNN)在目标识别任务上的成功应用极大地提高了目标分类任务的精确率。该方法在不同场景、不同分辨率等复杂情况下较传统方法仍具有较高的准确率和鲁棒性。
传统的深度学习目标识别网络各层特征不复用,包含权重参数过大的全连接层,导致特征提取不是最优。本专利通过稠密连接卷积等层和全卷积的方式设计了一个前沿的面向军船民船的军事目标识别系统。
故,针对现有技术存在的技术问题,实有必要提出一种技术方案以克服现有技术的缺陷。
发明内容
有鉴于此,确有必要提供一种基于深度学习的军船、民船自动识别方法,实现对大量视频、图像数据进行更加高效的处理,以期在武器装备智能化,态势估计等军事应用领域提供支撑。
为了解决现有技术存在的技术问题,本发明的技术方案为:
一种基于深度学习的军船、民船自动识别方法,包括以下步骤:
步骤(1):通过基于稠密全卷积神经网络的区域采样算法(Dense connectedRegion Proposal Network,DRPN)生成尽可能少的、高质量的采样区域。
DRPN算法有如下步骤:
步骤(1-1),采样算法模型名为DRPN,DRPN算法输入为任意尺寸的包含军船、民船的红外或者可见光图片,输出为对应于每一个类的多个采样区域。算法模型是一个自下而上的网状结构,算法模型通过多个稠密卷积块(Dense Block)堆叠而成。算法模型每一层是一个4维矩阵,用元组(n,c,h,w)表示,n表示训练时批处理图片的数量,c表示每一层的通道数,h表示特征图的高度(在输入端表现为输入图片的高),w表示特征图的宽度,其中4维矩阵通过卷积、池化、归一化、线性激活函数(Rectified Linear Units,RELU)等操作不断变换。在单一尺度训练时,将(h,w)大小的输入图片统一调整大小至w=600,h=1000。
步骤(1-2),输入通道的特征图片经过稠密卷积网络层变换后,生成了多个W×H大小的特征图,特征图的每一个像素(神经元)具有很宽泛的感受野(约为196×196)。对于大小为W×H(如60×40)的特征图,将其按照像素点划分为W×H个网格,对于网格的每一个像素点,在特征图上分别取h个尺寸不一的“框”,我们称之为锚点框,因此,对于一个W×H的特征图我们将产生W×H×k个锚点框,对于一个60×40大小的特征图,算法将产生21600个采样区域,这些采样区域包含了大量的前景区域(包含目标)和背景区域(不包含目标),并且,高度重复的采样区域占据了很大一部分,因此在W×H×k个样本中挑选最能代表样本特征的锚点框显得尤为重要。在训练DRPN算法时,采用样本抑制算法(Non MaximumSuppression,NMS)提炼锚点框,具体的:(1)正样本:对于任意一个锚点框,它和前景区域有最大的重叠区域,或者它和前景区域有大于70%的重叠区域;(2)负样本:对于任意一个锚点框,它满足不是正样本的前提下,并且和所有前景区域有低于30%的重叠区域。对于每一个锚点框,算法都输出相对应的置信得分,置信得分反应了锚点框是前景区域还是背景区域的概率(正负样本的概率)。与此同时,对于每一个锚点,算法预测了k个回归器用于修正位置坐标,负样本不参与回归预测,DRPN算法在深层次的特征图上表现为锚点框对真实目标背景框的非线性回归预测。
步骤(1-3),为了共享稠密卷积网络的计算量和存储空间,同时做到端到端的训练和测试,本文采用联合代价函数训练DRPN。对于每一个锚点框,稠密区域采样算法需要输出锚点框是正负样本的概率,本文采用多分类的softmax代价函数,在DRPN算法中,softmax表现为二分类的代价函数(即退化为逻辑回归代价函数),对于n个锚点框,算法输出2×n个置信得分。如下所示softmaxloss代价函数,m表示批处理样本的大小(如256),k表示softmax输出单元的数量,这里二分类k=2,如下所示,中pi表示预测的锚点框置信得分,如果一个锚点框为负样本,为0,如果一个锚点框为正样本,为1,用于控制坐标回归代价函数的执行:如果锚点框是背景区域则训练时不进行坐标回归(只有前景区域才有修正坐标的价值),公式如下:
前景锚点框粗略的表示了前景区域在一张图片中的坐标位置,算法需要对前景区域进行坐标回归,如下所示:G表示真实背景框,P表示锚点框,函数F表示一个锚点框到真实背景框的映射函数。真实背景框G用元组(Gx,Gy,Gw,Gh)表示,其中(Gx,Gy)表示真实背景框中心点坐标,(Gw,Gh)表示真实背景框对应的宽和高。借助于深度学习高超的函数逼近能力,F不需要手工设置,它是通过深度学习算法多次训练迭代的方式学习得到,本文中通过DRPN算法获取,如下式所示:Fx(P)、Fy(P)、Fw(P)、Fh(P)需要算法学习得到,使用F*(P)表示对应函数映射关系(*表示x,y,w,h),在卷积神经网络中有下式,其中φ(P)表示算法中间层学习得到的特征图矩阵,表示算法学习到的权重,公式如下:
G=F(P)
Gx=PwFx(P)+Px
Gy=PhFy(P)+Py
Gw=Pwexp(dw(P))
Gh=Ph exp(dh(P))
w*通过最小化代价函数获得,λ为正规化参数,λ=1000,t*为待回归的对象,公式如下:
tx=(Gx-Px)/Pw
ty=(Gy-Py)/Ph
tw=log(Gw/Pw)
th=log(Gh/Ph)
步骤(1-4),在分别设定了分类和区域采样算法的代价函数后,设计代价函数联合计算采样区域的类别损失(LOSS)和位置损失,通过这种方式算法做到了端到端的训练。如下式所示:算法设计了一个联合代价函数,Lcls和Lreg分别表示分类和锚点框回归的代价函数,其中Ncls表示一次训练选取的锚点框数量(如256)或者Nreg表示选取锚点框的特征图大小(如2400),λ设置为10,公式如下:
在分别设定了分类和区域采样算法的代价函数后,本文采用的代价函数联合计算了采样区域的类别损失(LOSS)和位置损失,通过这种方式算法做到了端到端的训练。Lcls和Lreg分别表示分类和锚点框回归的代价函数,其中Ncls表示一次训练选取的锚点框数量(如256)或者Nreg表示选取锚点框的特征图大小(如2400),λ设置为10,公式如下:
步骤(2):通过基于稠密全卷积神经网络的快速区域分类算法(Dense connectedFast Classification Network,DFCN)对DPRN生成的采样区域分类。
DFCN算法具体步骤如下:
步骤(2-1),基于深度学习的DFCN分类算法卷积层由稠密连接的卷积块组成:(1)DFCN输入为一个包含了军船、民船的图片(2)DFCN在深层次的特征图上提取目标特征进行分类;(3)DFCN具有一个特殊的位置敏感的池化层,对于每个置信区域,分别根据执位置,计算k2(C+1)个置信得分。
步骤(3):使用重采样算法对吴分类的下采样样本重新训练。
步骤(3-1),训练DFCN时不同于传统的控制正负样本比例的训练方法,本专利使用了基于深度学习的重采样算法,对于一次训练过程中错分类的置信区域都重新进行训练,采用这种算法提高了识别准确率,减少了训练过程中超参数的设置。
步骤(4):为了使DRPN和DFCN共享卷积层特征,本专利提供了两种联合训练方法:
步骤(4-1),端到端的训练方法。将DRPN和DFCN看作一个统一的整体,在采用批量随机梯度下降算法(Mini-batch Stochastic Gradient Descent,MSGD)训练训练算法的过程中,前向传递阶段用DRPN产生的采样区域直接训练DFCN,反向传递阶段DRPN和DFCN梯度依次反传,多次迭代后直到算法收敛。
步骤(4-2),DRFCN2分步训练算法,具体如下:
步骤(4-2-1),使用MSGD算法训练DRPN,稠密连接的卷积模块用超前训练的权重初始化;
步骤(4-2-2),使用步骤(1)DRPN产生的采样区域训练DFCN,稠密连接的卷积模块用超前训练的权重初始化;
步骤(4-2-3),使用步骤(2)DFCN稠密连接的卷积层初始化DRPN,保持稠密连接部分权重不变,只微调DRPN独有的层,到此为止,DRPN和DFCN已经共享了卷积层;
步骤(4-2-4),保持稠密连接的卷积层块权值不变,使用步骤(3)DRPN生成的采样区域训练DFCN,这一步只微调DFCN独有的层;
步骤(4-2-5),算法收敛,训练结束。
与现有技术相比较,本发明的有益效果:实时检测视频中的目标,替代以军船、民船识别任务中人工处理视频数据的方式;不同于传统深度网络模型单向连接的建模方式,该算法通过卷积模块稠密连接的方式,复用了深度网络模型中每一层的特征,极大的提高了深度网络模型的特征表达能力。实验结果表明:在目标识别平均准确率和深度网络模型大小两个方面,DRFCN2算法均明显优于已有基于深度学习的目标识别算法。与此同时,DRFCN2在解决梯度弥散、梯度膨胀方面效果显著。
附图说明
图1 DRFCN2算法总体结构。
图2 DRPN算法总体结构图。
图3算法数据流动方式。
图4锚点框与真实背景框转换示意图。
图5重采样算法示意图。
图6 DFCN算法结构图。
如下具体实施例将结合上述附图进一步说明本发明。
具体实施方式
以下将结合附图对本发明提供的基于深度学习的军船、民船自动识别方法作进一步说明。
针对现有技术存在的相关技术问题,本发明从军船、民船智能识别的理念出发,结合深度学习在目标检测方面最前沿的技术手段,提出一种基于稠密全卷积神经网络的目标识别方法,该方法能够准确检测出军船、民船。
为了解决现有技术存在的技术问题,本发明提出一种基于深度学习的军船、民船自动识别方法——DRFCN2,具体的如图1,包括以下步步骤(1):通过基于稠密全卷积神经网络的区域采样算法(Dense connected Region Proposal Network,DRPN)生成尽可能少的、高质量的采样区域。
DRPN算法有如下步骤:
(1-1),DRPN算法模型如图2所示,DRPN算法输入为任意尺寸的包含军船、民船的红外或者可见光图片,输出为对应于每一个类的多个采样区域。如图3,算法模型是一个自下而上的网状结构,算法模型通过多个稠密卷积块(Dense Block)堆叠而成。算法模型每一层是一个4维矩阵,用元组(n,c,h,w)表示,n表示训练时批处理图片的数量,c表示每一层的通道数,h表示特征图的高度(在输入端表现为输入图片的高),w表示特征图的宽度,其中4维矩阵通过卷积、池化、归一化、线性激活函数(Rectified Linear Units,RELU)等操作不断变换。在单一尺度训练时,将(h,w)大小的输入图片统一调整大小至w=600,h=1000。
(1-2),输入通道的特征图片经过稠密卷积网络层变换后,生成了多个W×H大小的特征图,特征图的每一个像素(神经元)具有很宽泛的感受野(约为196×196)。如图4所示,对于大小为W×H(如60×40)的特征图,将其按照像素点划分为W×H个网格,对于网格的每一个像素点,在特征图上分别取h个尺寸不一的“框”,我们称之为锚点框,因此,对于一个W×H的特征图我们将产生W×H×k个锚点框,对于一个60×40大小的特征图,算法将产生21600个采样区域,这些采样区域包含了大量的前景区域(包含目标)和背景区域(不包含目标),并且,高度重复的采样区域占据了很大一部分,因此在W×H×k个样本中挑选最能代表样本特征的锚点框显得尤为重要。在训练DRPN算法时,采用样本抑制算法(Non MaximumSuppression,NMS)提炼锚点框,具体的:(1)正样本:对于任意一个锚点框,它和前景区域有最大的重叠区域,或者它和前景区域有大于70%的重叠区域;(2)负样本:对于任意一个锚点框,它满足不是正样本的前提下,并且和所有前景区域有低于30%的重叠区域。对于每一个锚点框,算法都输出相对应的置信得分,置信得分反应了锚点框是前景区域还是背景区域的概率(正负样本的概率)。与此同时,对于每一个锚点,算法预测了k个回归器用于修正位置坐标,负样本不参与回归预测,DRPN算法在深层次的特征图上表现为锚点框对真实目标背景框的非线性回归预测。
(1-3),为了共享稠密卷积网络的计算量和存储空间,同时做到端到端的训练和测试,本文采用联合代价函数训练DRPN。对于每一个锚点框,稠密区域采样算法需要输出锚点框是正负样本的概率,本文采用多分类的softmax代价函数,在DRPN算法中,softmax表现为二分类的代价函数(即退化为逻辑回归代价函数),对于n个锚点框,算法输出2×n个置信得分。如下所示softmaxloss代价函数,m表示批处理样本的大小(如256),k表示softmax输出单元的数量,这里二分类k=2,如下所示,中pi表示预测的锚点框置信得分,如果一个锚点框为负样本,为0,如果一个锚点框为正样本,为1,用于控制坐标回归代价函数的执行:如果锚点框是背景区域则训练时不进行坐标回归(只有前景区域才有修正坐标的价值),公式如下:
前景锚点框粗略的表示了前景区域在一张图片中的坐标位置,算法需要对前景区域进行坐标回归,如下所示:G表示真实背景框,P表示锚点框,函数F表示一个锚点框到真实背景框的映射函数。真实背景框G用元组(Gx,Gy,Gw,Gh)表示,其中(Gx,Gy)表示真实背景框中心点坐标,(Gw,Gh)表示真实背景框对应的宽和高。借助于深度学习高超的函数逼近能力,F不需要手工设置,它是通过深度学习算法多次训练迭代的方式学习得到,本文中通过DRPN算法获取,如下式所示:Fx(P)、Fy(P)、Fw(P)、Fh(P)需要算法学习得到,使用F*(P)表示对应函数映射关系(*表示x,y,w,h),在卷积神经网络中有下式,其中φ(P)表示算法中间层学习得到的特征图矩阵,表示算法学习到的权重,公式如下:
G=F(P)
Gx=PwFx(P)+Px
Gy=PhFy(P)+Py
Gw=Pwexp(dw(P))
Gh=Ph exp(dh(P))
w*通过最小化代价函数获得,λ为正规化参数,λ=1000,t*为待回归的对象,公式如下:
tx=(Gx-Px)/Pw
ty=(Gy-Py)/Ph
tw=log(Gw/Pw)
th=log(Gh/Ph)
(1-4),在分别设定了分类和区域采样算法的代价函数后,本文采用的代价函数联合计算了采样区域的类别损失(LOSS)和位置损失,通过这种方式算法做到了端到端的训练。Lcls和Lreg分别表示分类和锚点框回归的代价函数,其中Ncls表示一次训练选取的锚点框数量(如256)或者Nreg表示选取锚点框的特征图大小(如2400),λ设置为10,公式如下:
步骤(2):通过基于稠密全卷积神经网络的快速区域分类算法(Dense connectedFast Classification Network,DFCN)对DPRN生成的采样区域分类。
DFCN算法具体步骤如下:
(2-1),如图6,基于深度学习的DFCN分类算法卷积层由稠密连接的卷积块组成:(1)DFCN输入为一个包含了军船、民船的图片(2)DFCN在深层次的特征图上提取目标特征进行分类;(3)DFCN具有一个特殊的位置敏感的池化层,对于每个置信区域,分别根据执位置,计算k2(C+1)个置信得分。
步骤(3):使用重采样算法对吴分类的下采样样本重新训练。
步骤(3-1),训练DFCN时不同于传统的控制正负样本比例的训练方法,本专利使用了基于深度学习的重采样算法,对于一次训练过程中错分类的置信区域都重新进行训练,采用这种算法提高了识别准确率,减少了训练过程中超参数的设置。
步骤(4):为了使DRPN和DFCN共享卷积层特征,本专利提供了两种联合训练方法:
(4-1),端到端的训练方法。将DRPN和DFCN看作一个统一的整体,在采用批量随机梯度下降算法(Mini-batch Stochastic Gradient Descent,MSGD)训练训练算法的过程中,前向传递阶段用DRPN产生的采样区域直接训练DFCN,反向传递阶段DRPN和DFCN梯度依次反传,多次迭代后直到算法收敛。
(4-2),DRFCN2分步训练算法,具体如下:
(4-2-1),使用MSGD算法训练DRPN,稠密连接的卷积模块用超前训练的权重初始化;
(4-2-2),使用步骤(1)DRPN产生的采样区域训练DFCN,稠密连接的卷积模块用超前训练的权重初始化;
(4-2-3),使用步骤(2)DFCN稠密连接的卷积层初始化DRPN,保持稠密连接部分权重不变,只微调DRPN独有的层,到此为止,DRPN和DFCN已经共享了卷积层;
(4-2-4),保持稠密连接的卷积层块权值不变,使用步骤(3)DRPN生成的采样区域训练DFCN,这一步只微调DFCN独有的层;
(4-2-5),算法收敛,训练结束。
与现有技术相比,本发明具有如下技术效果:(1)基于稠密全卷积神经网络,重新设计了一个改进的目标识别模型,在保持识别准确率的前提下缩减了模型大小;(2)算法可以面向军船、民船识别;(3)解决了梯度弥散、梯度膨胀的问题。
以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以对本发明进行若干改进和修饰,这些改进和修饰也落入本发明权利要求的保护范围内。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本发明中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本发明所示的这些实施例,而是要符合与本发明所公开的原理和新颖特点相一致的最宽的范围。

Claims (4)

1.一种基于深度学习的军船、民船识别方法,其特征在于,包括以下步骤:
步骤(1):通过基于稠密全卷积神经网络的区域采样算法(Dense connected RegionProposal Network,DRPN)生成尽可能少的、高质量的采样区域;
步骤(2):通过基于稠密全卷积神经网络的快速区域分类算法(Dense connected FastClassification Network,DFCN)对DPRN生成的采样区域分类、定位;
步骤(3):通过重采样算法对误分类的样本进行二次分类定位;
步骤(4):为了使DRPN和DFCN共享卷积层特征,设计了一种算法模型训练方法;
其中,步骤(1)重新设计采样算法模型,具体步骤为:
步骤(1-1),采样算法模型名为DRPN,DRPN算法输入为任意尺寸的包含军船、民船的红外或者可见光图片,输出为对应于每一个类的多个采样区域;算法模型是一个自下而上的网状结构,算法模型通过多个稠密卷积块(Dense Block)堆叠而成;算法模型每一层是一个4维矩阵,用元组(n,c,h,w)表示,n表示训练时批处理图片的数量,c表示每一层的通道数,h表示特征图的高度(在输入端表现为输入图片的高),w表示特征图的宽度,其中4维矩阵通过卷积、池化、归一化、线性激活函数(Rectified Linear Units,RELU)等操作不断变换;在单一尺度训练时,将(h,w)大小的输入图片统一调整大小至w=600,h=1000;
步骤(1-2),输入通道的特征图片经过稠密卷积网络层变换后,生成了多个W×H大小的特征图,对于大小为W×H的特征图,将其按照像素点划分为W×H个网格,对于网格的每一个像素点,在特征图上分别取h个尺寸不一的锚点框,因此,对于一个W×H的特征图我们将产生W×H×k个锚点框,这些采样区域包含了大量的前景区域(包含目标)和背景区域(不包含目标),在W×H×k个样本中挑选最能代表样本特征的锚点框;在训练DRPN算法时,采用样本抑制算法(Non Maximum Suppression,NMS)提炼锚点框,对于每一个锚点框,算法都输出相对应的置信得分,置信得分反应了锚点框是前景区域还是背景区域的概率(正负样本的概率);同时,对于每一个锚点,算法预测了k个回归器用于修正位置坐标,负样本不参与回归预测,DRPN算法在深层次的特征图上表现为锚点框对真实目标背景框的非线性回归预测;
步骤(1-3),为了共享稠密卷积网络的计算量和存储空间,同时做到端到端的训练和测试,采用联合代价函数训练DRPN;对于每一个锚点框,稠密区域采样算法需要输出锚点框是正负样本的概率,采用多分类的softmax代价函数,在DRPN算法中,softmax表现为二分类的代价函数(即退化为逻辑回归代价函数),对于n个锚点框,算法输出2×n个置信得分,如下所示softmaxloss代价函数,m表示批处理样本的大小,k表示softmax输出单元的数量,这里二分类k=2,如下所示,中pi表示预测的锚点框置信得分,如果一个锚点框为负样本,为0,如果一个锚点框为正样本,为1,用于控制坐标回归代价函数的执行:如果锚点框是背景区域则训练时不进行坐标回归(只有前景区域才有修正坐标的价值),公式如下:
前景锚点框粗略的表示了前景区域在一张图片中的坐标位置,算法对前景区域进行坐标回归,如下所示:G表示真实背景框,P表示锚点框,函数F表示一个锚点框到真实背景框的映射函数。真实背景框G用元组(Gx,Gy,Gw,Gh)表示,其中(Gx,Gy)表示真实背景框中心点坐标,(Gw,Gh)表示真实背景框对应的宽和高;借助于深度学习高超的函数逼近能力,F不需要手工设置,它是通过深度学习算法多次训练迭代的方式学习得到,本文中通过DRPN算法获取,如下式所示:Fx(P)、Fy(P)、Fw(P)、Fh(P)需要算法学习得到,使用F*(P)表示对应函数映射关系(*表示x,y,w,h),在卷积神经网络中有下式,其中φ(P)表示算法中间层学习得到的特征图矩阵,表示算法学习到的权重,公式如下:
G=F(P)
Gx=PwFx(P)+Px
Gy=PhFy(P)+Py
Gw=Pwexp(dw(P))
Gh=Ph exp(dh(P))
w*通过最小化代价函数获得,λ为正规化参数,λ=1000,t*为待回归的对象,公式如下:
tx=(Gx-Px)/Pw
ty=(Gy-Py)/Ph
tw=log(Gw/Pw)
th=log(Gh/Ph)
步骤(1-4),在分别设定了分类和区域采样算法的代价函数后,设计代价函数联合计算采样区域的类别损失(LOSS)和位置损失,通过这种方式算法做到了端到端的训练;如下式所示:算法设计了一个联合代价函数,Lcls和Lreg分别表示分类和锚点框回归的代价函数,其中Ncls表示一次训练选取的锚点框数量(如256)或者Nreg表示选取锚点框的特征图大小(如2400),λ设置为10,公式如下:
在分别设定了分类和区域采样算法的代价函数后,;采用的代价函数联合计算了采样区域的类别损失(LOSS)和位置损失,通过这种方式算法做到了端到端的训练;Lcls和Lreg分别表示分类和锚点框回归的代价函数,其中Ncls表示一次训练选取的锚点框数量(如256)或者Nreg表示选取锚点框的特征图大小(如2400),λ设置为10,公式如下:
2.根据权利要求1所述的基于深度学习的军船、民船自动识别方法,其特征在于,通过重采样算法对误分类的下采样区域进行二次分类定位,通过基于稠密全卷积神经网络的快速区域分类算法(Dense connected Fast Classification Network,DFCN)对DPRN生成的采样区域分类、定位;
DFCN算法具体步骤如下:
步骤(2-1),基于深度学习的DFCN分类算法卷积层由稠密连接的卷积块组成:(1)DFCN输入为一个包含了军船、民船的图片;(2)DFCN在深层次的特征图上提取目标特征进行分类;(3)DFCN具有一个特殊的位置敏感的池化层,对于每个置信区域,分别根据执位置,计算k2(C+1)个置信得分。
3.根据权利要求1所述的基于深度学习的军船、民船自动识别方法,其特征在于,提出下采样区域的重采样算法,所述步骤(3)进一步包括如下步骤:
(3-1),训练DFCN算法时,使用了基于深度学习的重采样算法,对于一次训练过程中错分类的置信区域都重新放回分类器中进行训练。
4.根据权利要求1所述的基于深度学习的军船、民船自动识别方法,其特征在于,提出DRPN和DFCN联合训练方法,所述步骤(4)进一步包括如下步骤:
步骤(4-1),端到端的训练方法。将DRPN和DFCN看作一个统一的整体,在采用批量随机梯度下降算法(Mini-batch Stochastic Gradient Descent,MSGD)训练训练算法的过程中,前向传递阶段用DRPN产生的采样区域直接训练DFCN,反向传递阶段DRPN和DFCN梯度依次反传,多次迭代后直到算法收敛;
步骤(4-2),DRFCN2分步训练算法,具体如下:
步骤(4-2-1),使用MSGD算法训练DRPN,稠密连接的卷积模块用超前训练的权重初始化;
步骤(4-2-2),使用步骤(1)DRPN产生的采样区域训练DFCN,稠密连接的卷积模块用超前训练的权重初始化;
步骤(4-2-3),使用步骤(2)DFCN稠密连接的卷积层初始化DRPN,保持稠密连接部分权重不变,只微调DRPN独有的层,到此为止,DRPN和DFCN已经共享了卷积层;
步骤(4-2-4),保持稠密连接的卷积层块权值不变,使用步骤(3)DRPN生成的采样区域训练DFCN,这一步只微调DFCN独有的层;
步骤(4-2-5),算法收敛,训练结束。
CN201810295054.3A 2018-04-04 2018-04-04 一种基于深度学习的军船、民船自动识别方法 Pending CN108614996A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810295054.3A CN108614996A (zh) 2018-04-04 2018-04-04 一种基于深度学习的军船、民船自动识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810295054.3A CN108614996A (zh) 2018-04-04 2018-04-04 一种基于深度学习的军船、民船自动识别方法

Publications (1)

Publication Number Publication Date
CN108614996A true CN108614996A (zh) 2018-10-02

Family

ID=63659481

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810295054.3A Pending CN108614996A (zh) 2018-04-04 2018-04-04 一种基于深度学习的军船、民船自动识别方法

Country Status (1)

Country Link
CN (1) CN108614996A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109657541A (zh) * 2018-11-09 2019-04-19 南京航空航天大学 一种基于深度学习的无人机航拍图像中的船舶检测方法
CN110378231A (zh) * 2019-06-19 2019-10-25 广东工业大学 基于深度学习的螺母识别定位方法
CN111582089A (zh) * 2020-04-27 2020-08-25 中国人民解放军军事科学院国防科技创新研究院 基于卫星红外与可见光图像的海上目标信息融合方法
CN114510078A (zh) * 2022-02-16 2022-05-17 南通大学 一种基于深度强化学习的无人机机动规避决策方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150117760A1 (en) * 2013-10-30 2015-04-30 Nec Laboratories America, Inc. Regionlets with Shift Invariant Neural Patterns for Object Detection
US20170124432A1 (en) * 2015-11-03 2017-05-04 Baidu Usa Llc Systems and methods for attention-based configurable convolutional neural networks (abc-cnn) for visual question answering
CN107609193A (zh) * 2017-10-16 2018-01-19 杭州时间线信息科技有限公司 一种适合商品详情页中图片的智能自动处理方法和系统
CN107688850A (zh) * 2017-08-08 2018-02-13 北京深鉴科技有限公司 一种深度神经网络压缩方法
CN107818302A (zh) * 2017-10-20 2018-03-20 中国科学院光电技术研究所 基于卷积神经网络的非刚性多尺度物体检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150117760A1 (en) * 2013-10-30 2015-04-30 Nec Laboratories America, Inc. Regionlets with Shift Invariant Neural Patterns for Object Detection
US20170124432A1 (en) * 2015-11-03 2017-05-04 Baidu Usa Llc Systems and methods for attention-based configurable convolutional neural networks (abc-cnn) for visual question answering
CN107688850A (zh) * 2017-08-08 2018-02-13 北京深鉴科技有限公司 一种深度神经网络压缩方法
CN107609193A (zh) * 2017-10-16 2018-01-19 杭州时间线信息科技有限公司 一种适合商品详情页中图片的智能自动处理方法和系统
CN107818302A (zh) * 2017-10-20 2018-03-20 中国科学院光电技术研究所 基于卷积神经网络的非刚性多尺度物体检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
HUANG, GAO 等: "Densely Connected Convolutional Networks", 《IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION,2017》 *
JIFENG DAI 等: "R-FCN: Object Detection via Region-based Fully Convolutional Networks", 《30TH CONFERENCE ON NEURAL INFORMATION PROCESSING SYSTEMS (NIPS 2016)》 *
TSUNG-YI LIN 等: "Feature Pyramid Networks for Object Detection", 《THE IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR), 2017》 *
曹诗雨 等: "基于Fast R-CNN的车辆目标检测", 《中国图象图形学报》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109657541A (zh) * 2018-11-09 2019-04-19 南京航空航天大学 一种基于深度学习的无人机航拍图像中的船舶检测方法
CN110378231A (zh) * 2019-06-19 2019-10-25 广东工业大学 基于深度学习的螺母识别定位方法
CN111582089A (zh) * 2020-04-27 2020-08-25 中国人民解放军军事科学院国防科技创新研究院 基于卫星红外与可见光图像的海上目标信息融合方法
CN111582089B (zh) * 2020-04-27 2021-07-09 中国人民解放军军事科学院国防科技创新研究院 基于卫星红外与可见光图像的海上目标信息融合方法
CN114510078A (zh) * 2022-02-16 2022-05-17 南通大学 一种基于深度强化学习的无人机机动规避决策方法

Similar Documents

Publication Publication Date Title
CN108647573A (zh) 一种基于深度学习的军事目标识别方法
Chen et al. Target classification using the deep convolutional networks for SAR images
CN108614996A (zh) 一种基于深度学习的军船、民船自动识别方法
CN109740460B (zh) 基于深度残差密集网络的光学遥感图像舰船检测方法
Mathur et al. Crosspooled FishNet: transfer learning based fish species classification model
CN109584248A (zh) 基于特征融合和稠密连接网络的红外面目标实例分割方法
CN108537121B (zh) 气象环境参数与图像信息融合的自适应遥感场景分类方法
CN110399856A (zh) 特征提取网络训练方法、图像处理方法、装置及其设备
Yu et al. Hierarchical attention and bilinear fusion for remote sensing image scene classification
CN106649487A (zh) 基于兴趣目标的图像检索方法
CN110633708A (zh) 一种基于全局模型和局部优化的深度网络显著性检测方法
Levy et al. Automated analysis of marine video with limited data
CN110334703B (zh) 一种昼夜图像中的船舶检测和识别方法
Zhao et al. CRAS-YOLO: A novel multi-category vessel detection and classification model based on YOLOv5s algorithm
CN108764018A (zh) 一种基于卷积神经网络的多任务车辆再识别方法及装置
CN110443155A (zh) 一种基于卷积神经网络的视觉航标识别与分类方法
CN110287990A (zh) 微型藻类图像分类方法、系统、设备及存储介质
CN115631427A (zh) 一种基于混合注意力多场景船舶检测分割方法
CN115115863A (zh) 水面多尺度目标检测方法、装置及系统和存储介质
CN107766792A (zh) 一种遥感图像舰船目标识别方法
Cai et al. Cloud classification of satellite image based on convolutional neural networks
Guo et al. Haze image classification method based on alexnet network transfer model
Pan et al. A deep learning based framework for UAV trajectory pattern recognition
Yu et al. VesselNet: A Large-Scale Dataset and Efficient Mixed Attention Network for Vessel Re-identification
Tanwar et al. Object detection using image dehazing: A journey of visual improvement

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181002