CN110084203A - 基于上下文关联的全卷积网络飞机层级检测方法 - Google Patents

基于上下文关联的全卷积网络飞机层级检测方法 Download PDF

Info

Publication number
CN110084203A
CN110084203A CN201910357321.XA CN201910357321A CN110084203A CN 110084203 A CN110084203 A CN 110084203A CN 201910357321 A CN201910357321 A CN 201910357321A CN 110084203 A CN110084203 A CN 110084203A
Authority
CN
China
Prior art keywords
detection
network
essence
probability
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910357321.XA
Other languages
English (en)
Other versions
CN110084203B (zh
Inventor
姜志国
张浩鹏
蔡博文
赵丹培
谢凤英
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN201910357321.XA priority Critical patent/CN110084203B/zh
Publication of CN110084203A publication Critical patent/CN110084203A/zh
Application granted granted Critical
Publication of CN110084203B publication Critical patent/CN110084203B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于上下文关联的全卷积网络飞机层级检测方法,包括以下步骤:将原始高分辨率遥感图像降采样得到低分辨率的遥感图像;利用低分辨率的遥感图像和原始高分辨率遥感图像分别训练粗检测网络和精检测网络;利用粗检测网络和精检测网络输出结果间的对应关系训练精度增益预测网络;基于粗检测网络、精检测网络和精度增益预测网络的输出结果训练精检测决策网络,生成精检测区域;利用精检测网络确定精检测区域中的飞机目标,并更新粗检测网络中的输出结果,得到飞机目标检测结果。本发明能够在大幅宽遥感图像中快速检测出典型的飞机目标,并且减少飞机间紧邻关系导致的漏检,对于大幅宽遥感图像中的飞机检测具有巨大的实用价值。

Description

基于上下文关联的全卷积网络飞机层级检测方法
技术领域
本发明涉及模式识别与机器学习技术领域,更具体的说是涉及遥感图像理解的图像识别技术。
背景技术
随着近年来传感器技术的不断发展,遥感光学图像的空间分辨率已达到亚米级,光学对地观测卫星成像幅宽已提升到数十公里级,其中高分二号卫星全色空间分辨率可达0.8米、成像幅宽为45公里,吉林一号光学A星全色分辨率为0.72米,幅宽为11.2公里。以吉林一号为例,单次对地观测所成遥感图像的尺寸已至16000×16000,如此大幅宽高分辨率遥感图像为目标理解提供了更多数据的同时,也为如何高效地从海量数据中提取实用信息带来了新的挑战。
作为典型的遥感侦查目标,飞机的自动化检测在军事与民用领域都具有重要意义。目前现有的飞机检测方法可以分为手工设计特征与传统分类器结合的方式、基于深度卷积神经网络的特征提取与分类一体化方式。手工特征的设计往往依赖于飞机的几何外形,且为了兼顾尺度与旋转角度的鲁棒性,往往会牺牲特征对于目标的描述能力。相比手工设计特征,基于深度卷积神经网络的特征表示学习对飞机目标具有更强的描述能力,但由于GPU显存的限制,卷积神经网络难以直接对大幅宽遥感图像进行处理,同时,由于成像条件、机型的差异导致飞机在遥感图像中的尺寸具有较大的不一致性,且飞机在空间上的紧邻位置关系也为遥感图像中飞机的准确检测带来了更大的难度。
因此,如何提供一种基于上下文关联的全卷积网络飞机层级检测方法是本领域技术人员亟需解决的问题。
发明内容
有鉴于此,本发明提供了一种基于上下文关联的全卷积网络飞机层级检测方法,不同于现有的飞机检测方法,属于一种新的检测框架,在大幅宽遥感图像中快速检测出典型的飞机目标,并且减少飞机间紧邻关系导致的漏检,对于大幅宽遥感图像中的飞机检测具有巨大的实用价值。
为了实现上述目的,本发明采用如下技术方案:
基于上下文关联的全卷积网络飞机层级检测方法,包括以下步骤:
S101:将原始高分辨率遥感图像降采样得到低分辨率的遥感图像;
S102:利用所述低分辨率的遥感图像和所述原始高分辨率遥感图像分别训练粗检测网络和精检测网络;
S103:利用所述粗检测网络和所述精检测网络输出结果间的对应关系训练精度增益预测网络;
S104:基于所述粗检测网络、所述精检测网络和所述精度增益预测网络的输出结果训练精检测决策网络,生成精检测区域;
S105:利用所述精检测网络确定所述精检测区域中的飞机目标,并更新所述粗检测网络中的输出结果,得到飞机目标检测结果。
进一步,所述S101的具体步骤为:
S101-1:采用双线性插值的方式将所述原始高分辨率遥感图像中的垂直、水平方向的像素数向下采样5倍,所述双线性插值的计算公式为:
Q00=(x0,y0)、Q01=(x0,y1)、Q10=(x1,y0)、Q11=(x1,y1)分别是距离(x,y)坐标点最近的四个角点的坐标,f'(Q00)、f'(Q01)、f'(Q10)、f'(Q11)为四个角点在原始高分辨率遥感图像上的灰度值;
S101-2:对所述飞机目标的真值框坐标进行规范化,
其中,(x0,y0,x1,y1)与(x0′,y0′,x1′,y1′)分别表示规范化前后飞机目标的真值框左上、右下点坐标,w与h分别表示原始高分辨率遥感图像的宽和高。
进一步,所述精检测网络与所述粗检测网络均采用SSD网络结构,所述SSD网络结构包括特征提取子网络和目标检测子网络;
其中,所述精检测网络包括所述特征提取子网络中的6个卷积层以及所述目标检测子网络;
所述精检测网络利用所述6个卷积层输出6类不同尺度的特征图,利用所述目标检测子网络输出精检测候选框目标概率以及对应精检测候选框的目标外接框坐标校正系数;
所述粗检测网络包括所述特征提取子网络中的4个卷积层以及所述目标检测子网络;
所述粗检测网络利用所述4个卷积层输出4类不同尺度的特征图,利用所述目标检测子网络输出粗检测候选框目标概率以及对应粗检测候选框的目标外接框坐标校正系数。
进一步,所述精检测网络与所述粗检测网络训练时采用的损失函数L(p,t)为:
其中,i表示检测网络输出的目标候选区域索引号;pi表示第i个候选框是目标的概率;u表示候选框的类别,取值为{0,1},1表示该区域为目标,反之则为非目标;pu表示网络输出的候选框类别为u的概率;N表示检测网络输出的所有检测区域的个数;Bz与Bu分别表示检测网络输出的目标检测框与飞机目标的真值框,其中Bu=(x0′,y0′,x1′,y1′),Bz中坐标值由ti进行线性变换与对数变换计算得到;Area(Bz∩Bu)表示目标检测框与飞机目标真值框交集包含区域的面积,Area(Bz∪Bu)则表示目标检测框与飞机目标真值框并集所成区域的面积;λ表示调节分类与回归损失函数间权重比例的超参数;ti分别表示网络输出的目标外接框校正系数与目标外接框校正系数的真值,
进一步,所述精度增益预测网络采用多尺度并行的两层全连接的网络,所述精度增益预测网络的尺度与所述4类不同尺度的特征图相对应;
所述精度增益预测网络利用所述粗检测网络输出的目标检测框以及所述4类不同尺度的特征图输出目标检测框精度增益的概率。
进一步,所述精度增益预测网络在训练时,损失函数L(s)为:
L(s)=s*lns+(1-s*)ln(1-s) (8)
其中,s表示目标检测框精度增益的概率;s*表示粗检测网络、精检测网络对同一候选框预测的目标概率之差;u表示该区域是否为目标,取值为{0,1};pl与ph分别表示针对图像中同一候选框粗检测候选框目标概率与精检测候选框目标概率,取值在0到1之间;
汇总所述精度增益预测网络对所述粗检测网络输出的所有目标检测框精度增益的概率,得到所述精检测待检区域概率图G(x,y),其计算公式为:
其中,Ωk表示粗检测得到的所有目标检测框,sk为该目标检测框经精度增益预测网络的概率输出,(x,y)表示概率图上像素点的横纵坐标,1[(x,y)∈Ωk]为示性函数。
进一步,所述精检测决策网络包括1个共享卷积层和3个并列不同尺度的卷积子网络。
进一步,将所述精检测待检区域概率图G(x,y)作为所述精检测决策网络的输入,按照8为步长与核尺寸对所述精检测待检区域概率图G(x,y)进行最大值池化处理,将池化处理后的概率图依次输入1个共享卷积层和3个并列不同尺度的卷积子网络中,生成不同尺度的精检测可选区域的决策概率;
选取所述精检测可选区域的决策概率最大值对应区域作为所述精检测区域。
进一步,利用强化学习的方式训练所述精检测决策网络,其中,所述强化学习可根据当前状态采取行动后得到的奖赏逐步优化所述精检测决策网络,奖赏函数R(e,a)与用于训练的损失函数L(e,a)计算公式如下:
其中,e表示当前的环境状态,即精检测决策网络的输入;a表示精检测决策网络确定的精检测区域;b表示精检测区域的面积,B表示整幅遥感图像的面积;Q(e,a|θ)表示在当前参数下精检测决策网络对于当前环境状态的概率输出;η是调节精检测增益与精检测额外计算代价之间权重比例的超参数;γ是表示累积奖赏的折扣比例;表示粗检测网络中目标检测框的概率;表示为精检测网络中目标检测框的概率;uk表示目标真值框的类别,取值为{0,1};Q(e',a'|θ-)为延时更新的精检测决策网络输出的决策概率。
进一步,所述S105的具体步骤为:
S105-1:将所述精检测区域对应的原始高分辨率遥感图像输入至所述训练后的精检测网络,得到所述精检测区域中的飞机目标;
S105-2:利用所述飞机目标更新所述粗检测网络中对应区域内的目标检测输出结果;
S105-3:通过循环迭代,精检测待检区域概率图中概率累加小于指定阈值,得到所述原始高分辨率遥感图像最终的飞机目标检测结果。
经由上述的技术方案可知,与现有技术相比,本发明公开提供了一种基于上下文关联的全卷积网络飞机层级检测方法,能够快速准确地挖掘大幅宽遥感图像中的飞机目标、提升海量遥感数据的利用率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1附图为本发明提供的算法流程图。
图2附图为本发明提供的遥感图像飞机检测流程图。
图3附图为本发明提供的大幅面遥感图像飞机检测结果。
图4附图为图3图像中局部区域放大后的飞机检测结果。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例公开了一种基于上下文关联的全卷积网络飞机层级检测方法。将整个检测流程拆分为飞机粗检测、局部区域动态选择、飞机精检测三个主要部分。首先由飞机粗检测部分筛选出大幅宽遥感图像中较为显著的大型目标并预估图像中不显著或包含中小型目标的疑似区域,以此供局部区域动态选择部分启发式地选取局部区域,将其进行不同尺度的缩放处理输入到精检测部分中进行多尺度的飞机检测。该框架中局部区域动态选择部分采用基于强化学习的多尺度动态选择网络构成,用于对多次区域选择步骤的序列最优问题进行求解。结合图1,具体包括以下步骤:
S101:将原始高分辨率遥感图像降采样得到降采样后的遥感图像;
具体的:首先对原始高分辨率遥感图像数据进行了降采样处理,利用降采样后的遥感图像训练后续的粗检测网络,而原始高分辨率的遥感图像用于训练精检测网络。同时,对飞机标注真值进行了规范化处理,使之在训练本发明中的粗检测与精检测网络时对于图像的尺度具有不变性,主要有以下两个步骤:
S101-1:设定降采样倍数为5倍,对标注好的原始高分辨率遥感图像进行降采样,设定原始高分辨率遥感图像大小为500×500像素,采用双线性插值的方式将垂直、水平方向的像素数向下采样5倍,采样后的低分辨率图像大小为100×100像素,双线性插值的计算公式为:
Q00=(x0,y0)、Q01=(x0,y1)、Q10=(x1,y0)、Q11=(x1,y1)分别是距离(x,y)坐标点最近的四个角点的坐标,f'(Q00)、f'(Q01)、f'(Q10)、f'(Q11)为四个角点在原始高分辨率遥感图像上的灰度值;
S101-2:对飞机目标的真值框坐标进行规范化,
其中,(x0,y0,x1,y1)与(x0′,y0′,x1′,y1′)分别表示规范化前后飞机目标的真值框左上、右下点坐标,w与h分别表示原始高分辨率遥感图像的宽和高。
S102:利用低分辨率的遥感图像和原始高分辨率遥感图像分别训练粗检测网络和精检测网络;
具体的,由于大幅宽高分辨率遥感图像在计算机中进行处理时所需的存储容量相对较大,而GPU显存的限制导致无法直接将整幅遥感图像用于网络模型的训练与推断。目前绝大多数检测方法都是先对大幅宽遥感图像进行分块,然后依次将所有图像块输入到网络中完成训练或推断,该方式中图像分块的数量将直接影响检测的效率。为了减少重叠图像块中的冗余计算,提升目标检测效率,本发明采用了不同分辨率的遥感图像作为粗、精检测网络的训练数据。
精检测网络与粗检测网络均采用SSD网络结构,SSD网络结构包括特征提取子网络和目标检测子网络;特征提取子网络中的主干网络是以VGG16为基础,在去除了最后3个全连接层后,额外添加了8个不同深度的卷积层,8个卷积层由4个深度为256的卷积层、1个深度为512的卷积层,以及3个深度为128的卷积层组成,其中第一层到第八层分别为深度为256的卷积层、深度为512的卷积层、深度为128的卷积层、深度为256的卷积层、深度为128的卷积层、深度为256的卷积层、深度为128的卷积层、深度为256的卷积层。目标检测子网络则是以两个并列的卷积层构成,分别输出候选框目标概率与候选框的目标外接框坐标校正系数。
其中,精检测网络包括从特征提取子网络中挑选的6个卷积层以及目标检测子网络;6个卷积层由VGG16网络中第21、34层,以及额外8个卷积层中的第2、4、6、8层组成。
精检测网络利用6个卷积层输出6类不同尺度的特征图,利用6类不同尺寸的特征图进行6类不同尺寸的目标检测,利用目标检测子网络输出不同区域的精检测候选框目标概率以及对应精检测候选框的目标外接框坐标校正系数;
粗检测网络包括从特征提取子网络中挑选的4个卷积层以及目标检测子网络;这4个卷积层由VGG16网络中的第21、34层,以及额外8个卷积层中的第3、8层组成。
粗检测网络利用4个卷积层输出4类不同尺度的特征图,利用4类不同尺寸的特征图进行4类不同尺寸的目标检测,利用目标检测子网络输出不同区域的粗检测候选框目标概率以及对应粗检测候选框的目标外接框坐标校正系数。
粗检测网络与精检测网络的训练都是采用随机梯度下降算法对包含目标分类与目标位置回归的损失函数的最小化问题进行求解,从而得到最优的检测网络。训练时使用的损失函数L(p,t)主要由目标分类损失函数Lcls(p|u,z)与目标位置回归损失函数Lreg(t|z,u,t*)两部分组成,定义如下:
其中,i表示检测网络输出的目标候选区域索引号;pi表示第i个候选框是目标的概率;u表示候选框的类别,取值为{0,1},1表示该区域为目标,反之则为非目标;pu表示网络输出的候选框类别为u的概率;N表示检测网络输出的所有检测区域的个数;Bz与Bu分别表示检测网络输出的目标检测框与飞机目标的真值框,其中Bu=(x0′,y0′,x1′,y1′),Bz中坐标值由ti进行线性变换与对数变换计算得到;Area(Bz∩Bu)表示目标检测框与飞机目标真值框交集包含区域的面积,Area(Bz∪Bu)则表示目标检测框与飞机目标真值框并集所成区域的面积;λ表示调节分类与回归损失函数间权重比例的超参数;ti分别表示网络输出的目标外接框校正系数与目标外接框校正系数的真值,
说明:公式(3)中的Lcls(pi|z,u)的具体计算方式如公式(4)所示,该公式表示以第i个候选框的目标概率pi作为输入时,计算得到的分类损失。同理,的计算方式如公式(5)所示,该公式表示以第i个候选框的校正系数作为输入时,计算得到的外接框位置回归损失。
S103:利用粗检测网络和精检测网络输出结果间的对应关系训练精度增益预测网络;
具体的,精度增益预测网络采用多尺度并行的两层全连接的网络,精度增益预测网络的尺度与4类不同尺度的特征图相对应;
针对粗检测网络生成的多尺度特征图与输出的目标检测框Bz,精度增益预测网络首先将会按照目标检测框的大小将其映射到对应尺度的特征图中,然后提取出该目标检测框对应的特征块并进行平均池化获得与之对应的特征向量,该向量再经过两层全连接层的运算,最终输出该目标检测框精度增益的概率。
在训练阶段,将会根据粗检测网络、精检测网络对同一区域预测的目标概率之差s*与精度增益预测网络输出的目标区域精度增益的概率s,来计算精度增益预测网络的损失函数L(s),并采用随机梯度下降算法来对损失函数最小化问题进行求解从而得到最终的精度增益预测网络。其中所使用的损失函数L(s)主要采用的是Sigmoid交叉熵损失,其定义如下:
L(s)=s*lns+(1-s*)ln(1-s) (8)
其中,s表示目标检测框精度增益的概率;s*表示粗检测网络、精检测网络对同一候选框预测的目标概率之差;u表示该区域是否为目标,取值为{0,1};pl与ph分别表示针对图像中同一候选框粗检测候选框目标概率与精检测候选框目标概率,取值在0到1之间;
汇总精度增益预测网络对粗检测网络输出的所有目标检测框精度增益的概率,可以得到整幅遥感图像在精检测可能获得精检测待检区域概率图G(x,y),其计算公式为:
其中,Ωk表示粗检测得到的所有目标检测框,sk为该目标检测框经精度增益预测网络的概率输出,(x,y)表示概率图上像素点的横纵坐标,1[(x,y)∈Ωk]为示性函数。
S104:基于粗检测网络、精检测网络和精度增益预测网络的输出结果训练精检测决策网络,生成精检测区域;
具体的,精检测决策网络采用多尺度的设计方式,主要由1个共享卷积层与3个并列不同尺度的卷积子网络构成,并通过强化学习的方式来进行训练。其中,每个并列的卷积子网络均由两个卷积层构成,三个并列的卷积子网络中第一个卷积层分别以卷积核7×7、14×14、20×20进行设计,而第二个卷积层的卷积核均采用3×3的设计。
决策网络以精度增益预测网络输出的精检测待检区域概率图G(x,y)作为输入,按照8为步长与核尺寸来对概率图进行最大值池化处理,然后再将池化处理后的概率图依次输入到1个共享卷积层与3个不同尺度的卷积子网络中,生成14个包含3种不同尺度的精检测可选区域的决策概率。
采用强化学习框架对精检测决策网络进行训练时,将精度增益预测网络输出的概率图G(x,y)作为当前的环境状态,而根据决策网络输出概率的最大值确定精检测区域作为学习中采取的行动。其中,强化学习可根据当前状态采取行动后得到的奖赏逐步优化精检测决策网络,奖赏函数R(e,a)与用于训练的损失函数L(e,a)计算公式如下:
其中,e表示当前的环境状态,即精检测决策网络的输入;a表示精检测决策网络确定的精检测区域;b表示精检测区域的面积,B表示整幅遥感图像的面积;Q(e,a|θ)表示在当前参数下精检测决策网络对于当前环境状态的概率输出;η是调节精检测增益与精检测额外计算代价之间权重比例的超参数;γ是表示累积奖赏的折扣比例;表示粗检测网络中目标检测框的概率;表示为精检测网络中目标检测框的概率;uk表示目标真值框的类别,取值为{0,1};Q(e',a'|θ-)为延时更新的精检测决策网络输出的决策概率。
S105:利用精检测网络确定精检测区域中的飞机目标,并更新粗检测网络中的输出结果,得到飞机目标检测结果。
具体的,结合图2,S105-1:将精检测区域对应的原始高分辨率遥感图像输入至训练后的精检测网络中,得到精检测区域中的飞机目标;
S105-2:利用飞机目标更新粗检测网络中对应区域内的目标检测输出结果;
S105-3:通过循环迭代,精检测待检区域概率图中概率累加小于指定阈值时,得到原始高分辨率遥感图像最终的飞机目标检测结果。
实验结果如图3和图4所示,展示了大幅宽遥感图像中飞机检测结果,图3为大幅面遥感图像飞机检测结果,图4为图像中局部区域放大后的飞机检测结果,图中红色框标记出了本方法检测到飞机目标,绿色表示真实飞机目标区域,蓝色表示虚警区域。本方法平均检测率为92.2%,平均运行时间为27.3秒。
实验证明,基于上下文关联的卷积网络飞机层级检测框架避免了传统大幅宽遥感图像检测算法中穷举滑块的预处理过程,缩短了大幅宽遥感图像中飞机目标检测时长,并且提升了图像中紧邻小目标的查全率。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.基于上下文关联的全卷积网络飞机层级检测方法,其特征在于,包括以下步骤:
S101:将原始高分辨率遥感图像降采样得到低分辨率的遥感图像;
S102:利用所述低分辨率的遥感图像和所述原始高分辨率遥感图像分别训练粗检测网络和精检测网络;
S103:利用所述粗检测网络和所述精检测网络输出结果间的对应关系训练精度增益预测网络;
S104:基于所述粗检测网络、所述精检测网络和所述精度增益预测网络的输出结果训练精检测决策网络,生成精检测区域;
S105:利用所述精检测网络确定所述精检测区域中的飞机目标,并更新所述粗检测网络中的输出结果,得到飞机目标检测结果。
2.根据权利要求1所述的基于上下文关联的全卷积网络飞机层级检测方法,其特征在于,所述S101的具体步骤为:
S101-1:采用双线性插值的方式将所述原始高分辨率遥感图像中的垂直、水平方向的像素数向下采样5倍,所述双线性插值的计算公式为:
Q00=(x0,y0)、Q01=(x0,y1)、Q10=(x1,y0)、Q11=(x1,y1)分别是距离(x,y)坐标点最近的四个角点的坐标,f'(Q00)、f'(Q01)、f'(Q10)、f'(Q11)为四个角点在原始高分辨率遥感图像上的灰度值;
S101-2:对所述飞机目标的真值框坐标进行规范化,
其中,(x0,y0,x1,y1)与(x′0,y′0,x′1,y′1)分别表示规范化前后飞机目标的真值框左上、右下点坐标,w与h分别表示原始高分辨率遥感图像的宽和高。
3.根据权利要求2所述的基于上下文关联的全卷积网络飞机层级检测方法,其特征在于,所述精检测网络与所述粗检测网络均采用SSD网络结构,所述SSD网络结构包括特征提取子网络和目标检测子网络;
其中,所述精检测网络包括所述特征提取子网络中的6个卷积层以及所述目标检测子网络;
所述精检测网络利用所述6个卷积层输出6类不同尺度的特征图,利用所述目标检测子网络输出精检测候选框目标概率以及对应精检测候选框的目标外接框坐标校正系数;
所述粗检测网络包括所述特征提取子网络中的4个卷积层以及所述目标检测子网络;
所述粗检测网络利用所述4个卷积层输出4类不同尺度的特征图,利用所述目标检测子网络输出粗检测候选框目标概率以及对应粗检测候选框的目标外接框坐标校正系数。
4.根据权利要求3所述的基于上下文关联的全卷积网络飞机层级检测方法,其特征在于,所述精检测网络与所述粗检测网络训练时采用的损失函数L(p,t)为:
其中,i表示检测网络输出的目标候选区域索引号;pi表示第i个候选框是目标的概率;u表示候选框的类别,取值为{0,1},1表示该区域为目标,反之则为非目标;pu表示网络输出的候选框类别为u的概率;N表示检测网络输出的所有检测区域的个数;Bz与Bu分别表示检测网络输出的目标检测框与飞机目标的真值框,其中Bu=(x′0,y′0,x′1,y′1),Bz中坐标值由ti进行线性变换与对数变换计算得到;Area(Bz∩Bu)表示目标检测框与飞机目标真值框交集包含区域的面积,Area(Bz∪Bu)则表示目标检测框与飞机目标真值框并集所成区域的面积;λ表示调节分类与回归损失函数间权重比例的超参数;ti分别表示网络输出的目标外接框校正系数与目标外接框校正系数的真值,
5.根据权利要求4所述的基于上下文关联的全卷积网络飞机层级检测方法,其特征在于,所述精度增益预测网络采用多尺度并行的两层全连接的网络,所述精度增益预测网络的尺度与所述4类不同尺度的特征图相对应;
所述精度增益预测网络利用所述粗检测网络输出的目标检测框以及所述4类不同尺度的特征图输出目标检测框精度增益的概率。
6.根据权利要求5所述的基于上下文关联的全卷积网络飞机层级检测方法,其特征在于,所述精度增益预测网络在训练时,损失函数L(s)为:
L(s)=s*lns+(1-s*)ln(1-s) (8)
其中,s表示目标检测框精度增益的概率;s*表示粗检测网络、精检测网络对同一候选框预测的目标概率之差;u表示该区域是否为目标,取值为{0,1};pl与ph分别表示针对图像中同一候选框粗检测的目标概率与精检测的目标概率,取值在0到1之间;
汇总所述精度增益预测网络对所述粗检测网络输出的所有目标检测框精度增益的概率,得到所述精检测待检区域概率图G(x,y),其计算公式为:
其中,Ωk表示粗检测得到的所有目标检测框,sk为该目标检测框经精度增益预测网络的概率输出,(x,y)表示概率图上像素点的横纵坐标,1[(x,y)∈Ωk]为示性函数。
7.根据权利要求6所述的基于上下文关联的全卷积网络飞机层级检测方法,其特征在于,所述精检测决策网络包括1个共享卷积层和3个并列不同尺度的卷积子网络。
8.根据权利要求7所述的基于上下文关联的全卷积网络飞机层级检测方法,其特征在于,将所述精检测待检区域概率图G(x,y)作为所述精检测决策网络的输入,按照8为步长与核尺寸对所述精检测待检区域概率图G(x,y)进行最大值池化处理,将池化处理后的概率图依次输入1个共享卷积层和3个并列不同尺度的卷积子网络中,生成不同尺度的精检测可选区域的决策概率;
选取所述精检测可选区域的决策概率最大值对应区域作为所述精检测区域。
9.根据权利要求8所述的基于上下文关联的全卷积网络飞机层级检测方法,其特征在于,利用强化学习的方式训练所述精检测决策网络,其中,所述强化学习可根据当前状态采取行动后得到的奖赏逐步优化所述精检测决策网络,奖赏函数R(e,a)与用于训练的损失函数L(e,a)计算公式如下:
其中,e表示当前的环境状态,即精检测决策网络的输入;a表示精检测决策网络确定的精检测区域;b表示精检测区域的面积,B表示整幅遥感图像的面积;Q(e,a|θ)表示在当前参数下精检测决策网络对于当前环境状态的概率输出;η是调节精检测增益与精检测额外计算代价之间权重比例的超参数;γ是表示累积奖赏的折扣比例;表示粗检测网络中目标检测框的概率;表示为精检测网络中目标检测框的概率;uk表示目标真值框的类别,取值为{0,1};Q(e',a'|θ-)为延时更新的精检测决策网络输出的决策概率。
10.根据权利要求9所述的基于上下文关联的全卷积网络飞机层级检测方法,其特征在于,所述S105的具体步骤为:
S105-1:将所述精检测区域对应的原始高分辨率遥感图像输入至所述训练后的精检测网络,得到所述精检测区域中的飞机目标;
S105-2:利用所述飞机目标更新所述粗检测网络中对应区域内的目标检测输出结果;
S105-3:通过循环迭代,精检测待检区域概率图中概率累加小于指定阈值,得到所述原始高分辨率遥感图像最终的飞机目标检测结果。
CN201910357321.XA 2019-04-29 2019-04-29 基于上下文关联的全卷积网络飞机层级检测方法 Active CN110084203B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910357321.XA CN110084203B (zh) 2019-04-29 2019-04-29 基于上下文关联的全卷积网络飞机层级检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910357321.XA CN110084203B (zh) 2019-04-29 2019-04-29 基于上下文关联的全卷积网络飞机层级检测方法

Publications (2)

Publication Number Publication Date
CN110084203A true CN110084203A (zh) 2019-08-02
CN110084203B CN110084203B (zh) 2021-03-05

Family

ID=67417829

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910357321.XA Active CN110084203B (zh) 2019-04-29 2019-04-29 基于上下文关联的全卷积网络飞机层级检测方法

Country Status (1)

Country Link
CN (1) CN110084203B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110660074A (zh) * 2019-10-10 2020-01-07 北京同创信通科技有限公司 一种建立废钢等级划分神经网络模型方法
CN112084908A (zh) * 2020-08-28 2020-12-15 广州汽车集团股份有限公司 一种图像处理方法及其系统、存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7446315B1 (en) * 2005-11-29 2008-11-04 Lockheed Martin Corporation System and method for aircraft infrared countermeasures to missiles
CN101676744A (zh) * 2007-10-31 2010-03-24 北京航空航天大学 一种复杂背景低信噪比下弱小目标高精度跟踪方法
CN102013017A (zh) * 2010-11-26 2011-04-13 华中科技大学 一种高分辨率遥感图像场景粗分类方法
CN102096826A (zh) * 2010-11-24 2011-06-15 清华大学 基于真实似然特征的多分辨率遥感图像复合分类方法
CN102110227A (zh) * 2010-11-24 2011-06-29 清华大学 基于上下文关系的多分辨率遥感图像复合分类方法
CN104537393A (zh) * 2015-01-04 2015-04-22 大连理工大学 一种基于多分辨率卷积神经网络的交通标志识别方法
CN106127725A (zh) * 2016-05-16 2016-11-16 北京工业大学 一种基于多分辨率cnn的毫米波雷达云图分割方法
CN107169412A (zh) * 2017-04-09 2017-09-15 北方工业大学 基于混合模型决策的遥感图像靠港船只检测方法
CN107665498A (zh) * 2017-08-29 2018-02-06 北京航空航天大学 基于典型示例挖掘的全卷积网络飞机检测方法
US20190050667A1 (en) * 2017-03-10 2019-02-14 TuSimple System and method for occluding contour detection

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7446315B1 (en) * 2005-11-29 2008-11-04 Lockheed Martin Corporation System and method for aircraft infrared countermeasures to missiles
CN101676744A (zh) * 2007-10-31 2010-03-24 北京航空航天大学 一种复杂背景低信噪比下弱小目标高精度跟踪方法
CN102096826A (zh) * 2010-11-24 2011-06-15 清华大学 基于真实似然特征的多分辨率遥感图像复合分类方法
CN102110227A (zh) * 2010-11-24 2011-06-29 清华大学 基于上下文关系的多分辨率遥感图像复合分类方法
CN102013017A (zh) * 2010-11-26 2011-04-13 华中科技大学 一种高分辨率遥感图像场景粗分类方法
CN104537393A (zh) * 2015-01-04 2015-04-22 大连理工大学 一种基于多分辨率卷积神经网络的交通标志识别方法
CN106127725A (zh) * 2016-05-16 2016-11-16 北京工业大学 一种基于多分辨率cnn的毫米波雷达云图分割方法
US20190050667A1 (en) * 2017-03-10 2019-02-14 TuSimple System and method for occluding contour detection
CN107169412A (zh) * 2017-04-09 2017-09-15 北方工业大学 基于混合模型决策的遥感图像靠港船只检测方法
CN107665498A (zh) * 2017-08-29 2018-02-06 北京航空航天大学 基于典型示例挖掘的全卷积网络飞机检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
BOWEN CAI ET AL.: "Online Exemplar-Based Fully Convolutional Network for Aircraft Detection in Remote Sensing Images", 《IEEE GEOSCIENCE AND REMOTE SENSING LETTERS》 *
KE LI ET.AL: "Rotation-Insensitive and Context-Augmented Object Detection in Remote Sensing Images", 《IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING》 *
赵丹新: "遥感图像中飞机目标提取的深度学习方法研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 *
郭智 等: "基于深度卷积神经网络的遥感图像飞机目标检测方法", 《电子与信息学报》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110660074A (zh) * 2019-10-10 2020-01-07 北京同创信通科技有限公司 一种建立废钢等级划分神经网络模型方法
CN110660074B (zh) * 2019-10-10 2021-04-16 北京同创信通科技有限公司 一种建立废钢等级划分神经网络模型方法
CN112084908A (zh) * 2020-08-28 2020-12-15 广州汽车集团股份有限公司 一种图像处理方法及其系统、存储介质

Also Published As

Publication number Publication date
CN110084203B (zh) 2021-03-05

Similar Documents

Publication Publication Date Title
CN107871119B (zh) 一种基于目标空间知识和两阶段预测学习的目标检测方法
CN109493320B (zh) 基于深度学习的遥感影像道路提取方法及系统、存储介质、电子设备
CN109800629B (zh) 一种基于卷积神经网络的遥感图像目标检测方法
CN110163213B (zh) 基于视差图和多尺度深度网络模型的遥感图像分割方法
CN113468968B (zh) 一种基于无锚框的遥感图像旋转目标检测方法
CN110929607A (zh) 一种城市建筑物施工进度的遥感识别方法和系统
CN107909015A (zh) 基于卷积神经网络及空谱信息融合的高光谱图像分类方法
CN113240688A (zh) 一种一体化洪涝灾害精准监测预警方法
CN111160111B (zh) 一种基于深度学习的人体关键点检测方法
CN113435282B (zh) 基于深度学习的无人机影像麦穗识别方法
CN108229524A (zh) 一种基于遥感图像的烟囱和冷凝塔检测方法
CN107665498A (zh) 基于典型示例挖掘的全卷积网络飞机检测方法
CN111753682B (zh) 一种基于目标检测算法的吊装区域动态监控方法
CN107122787A (zh) 一种基于特征融合的图像缩放质量评价方法
CN107153819A (zh) 一种排队长度自动检测方法及排队长度控制方法
CN111144234A (zh) 一种基于深度学习的视频sar目标检测方法
CN111079826B (zh) 融合slam和图像处理的施工进度实时识别方法
CN113033315A (zh) 一种稀土开采高分影像识别与定位方法
CN112560619A (zh) 一种基于多聚焦图像融合的多距离鸟类精准识别方法
CN114882222A (zh) 改进YOLOv5目标检测模型构建方法及用于茶嫩芽识别与采摘点定位方法
CN116030352B (zh) 融合多尺度分割和超像素分割的长时序土地利用分类方法
CN110084203A (zh) 基于上下文关联的全卷积网络飞机层级检测方法
CN110502977A (zh) 一种建筑物变化分类检测方法、系统、装置及存储介质
CN113902792A (zh) 基于改进RetinaNet网络的建筑物高度检测方法、系统和电子设备
Yang et al. An end-to-end deep learning change detection framework for remote sensing images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant