CN111626176B - 一种基于动态注意力机制的遥感目标快速检测方法及系统 - Google Patents

一种基于动态注意力机制的遥感目标快速检测方法及系统 Download PDF

Info

Publication number
CN111626176B
CN111626176B CN202010439450.6A CN202010439450A CN111626176B CN 111626176 B CN111626176 B CN 111626176B CN 202010439450 A CN202010439450 A CN 202010439450A CN 111626176 B CN111626176 B CN 111626176B
Authority
CN
China
Prior art keywords
remote sensing
sensing image
frame
layer
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010439450.6A
Other languages
English (en)
Other versions
CN111626176A (zh
Inventor
孙显
王佩瑾
刁文辉
张义
闫志远
冯瑛超
马益杭
许滔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aerospace Information Research Institute of CAS
Original Assignee
Aerospace Information Research Institute of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aerospace Information Research Institute of CAS filed Critical Aerospace Information Research Institute of CAS
Priority to CN202010439450.6A priority Critical patent/CN111626176B/zh
Publication of CN111626176A publication Critical patent/CN111626176A/zh
Application granted granted Critical
Publication of CN111626176B publication Critical patent/CN111626176B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/13Satellite images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于动态注意力机制的遥感目标快速检测方法及系统,包括:将待检测遥感图像输入至预先训练的检测网络,获取所述预先训练的检测网络输出的待检测遥感图像的初始地物目标检测结果;利用非极大值抑制算法对所述初始地物目标检测结果进行筛选,获取所述待检测遥感图像的最终地物目标检测结果;本发明提供的技术方案有效地解决了复杂遥感场景中的小物体检测问题,为不同尺度的物体动态分配注意力,为后续包括但不限于遥感图像目标检测在内的计算机视觉任务提供有效的技术。

Description

一种基于动态注意力机制的遥感目标快速检测方法及系统
技术领域
本发明涉及计算机视觉领域,具体涉及一种基于动态注意力机制的遥感目标快速检测方法及系统。
背景技术
随着深度学习的发展,卷积神经网络在自然场景的图像分类与识别领域取得了突破性进展,和自然场景相比,光学卫星遥感图像尺寸大,背景复杂,包含的对象数量众多,待检测目标尺寸小,有的场景中小目标密集聚在一起难以区分;另外还存在目标旋转与仿射等现象以及云雾、海面波纹、阴影、光照与拍摄角度等影响;在实际应用中,对检测速度要求也较高。这使得在计算机视觉中的深度学习方法不能直接应用于遥感领域。
当前主流的遥感图像目标检测方法大多用来解决较简单的检测问题,无法很好地适应复杂遥感图像的检测场景,对包含小物体较多的复杂场景效果不好。需要为小物体提供更多的权重,进而促进小物体的检测精度。常见的算法大多是融合不同尺度的特征来增强小物体周边的信息,忽略了由于尺寸差异造成的信息缺失。在训练的过程中,将大尺度的物体和小尺度的物体赋予同样的权重会忽略很多小物体的信息。
发明内容
针对现有技术的不足,本发明的目的是提供一种基于动态注意力机制调节的大规模遥感地物目标快速检测方法。
本发明的目的是采用下述技术方案实现的:
一种基于动态注意力机制的遥感目标快速检测方法,其改进之处在于,所述方法包括:
将待检测遥感图像输入至预先训练的检测网络,获取所述预先训练的检测网络输出的待检测遥感图像的初始地物目标检测结果;
利用非极大值抑制算法对所述初始地物目标检测结果进行筛选,获取所述待检测遥感图像的最终地物目标检测结果。
优选的,所述预先训练的检测网络的训练过程包括:
步骤1.对遥感图像数据中的遥感图像进行人工语义标注,并将所述遥感图像数据划分为训练数据、验证数据和测试数据;
步骤2.对所述训练数据进行数据增强;
步骤3.对所述训练数据、验证数据和测试数据进行均值化处理后切片为1024×1024;
步骤4.利用所述训练数据、验证数据和测试数据对初始神经网络模型进行训练,并将训练完成的初始神经网络模型作为所述预先训练的检测网络。
进一步的,所述数据增强包括:平移、旋转、尺度缩放和/或高斯模糊。
进一步的,所述初始神经网络模型包括:基础网络、空间金字塔网络、第一卷积池化层、第二卷积池化层、第三卷积池化层、第四卷积池化层、第五卷积池化层、特征融合单元、区域生成单元和分类回归模块;
所述基础网络,用于提取训练数据中遥感图像下采样16倍的特征图;
所述空间金字塔网络,用于基于所述训练数据中遥感图像下采样16倍的特征图获取具有不同感受野的特征C1
所述第一卷积池化层,用于将C1依次经过卷积层和池化层得到C2
所述第二卷积池化层,用于将C2依次经过卷积层和池化层得到C3
所述第三卷积池化层,用于将C3依次经过卷积层和池化层得到C4
所述第四卷积池化层,用于将C4依次经过卷积层和池化层得到C5
所述第五卷积池化层,用于将C5依次经过卷积层和池化层得到C6
所述特征融合单元,用于基于{C1,C2,C3,C4,C5,C6}获取融合特征{P1,P2,P3,P4,P5,P6};
所述区域生成单元,用于生成{P1,P2,P3,P4,P5,P6}中每个像素点位置上生成预设尺寸和长宽比的初始框;
所述分类回归模块,用于基于初始框生成预测框。
进一步的,所述基础网络为将全连接层替换为卷积层的VGG-16网络。
进一步的,所述基于{C1,C2,C3,C4,C5,C6}获取融合特征{P1,P2,P3,P4,P5,P6}包括:
令n=1,2,3,4,5或6,并按下式确定Pn
Figure GDA0002699219080000021
上式中,Conv3×3为3×3卷及操作,Upsample为最近邻上采样操作,
Figure GDA0002699219080000022
为级联操作,Conv1×1为1×1卷及操作,m=n+1。
进一步的,所述步骤4包括:
向所述初始神经网络模型的输入层输入所述训练数据,获取所述训练数据对应的预测框;
基于损失函数计算预测框与真实目标的总损失;
基于所述预测框与真实目标的总损失,采用梯度反向传播算法更新所述初始神经网络模型每一层的权重参数,直至所述预测框与真实目标的总损失不变。
进一步的,所述基于损失函数计算预测框与真实目标的总损失,包括:
按下式计算预测框与真实目标的总损失L:
Figure GDA0002699219080000031
上式中,N为参与计算的正样本数,Lconf为分类损失,α为平衡因子,Lloc为回归损失;
进一步的,按下式确定所述分类损失Lconf
Figure GDA0002699219080000032
按下式确定所述回归损失Lconf
Figure GDA0002699219080000033
上式中,xij p为针对第p类第i个正样本预测框对应的第j个目标真实框的匹配系数,xij p={1,0},areaij为第i个正样本预测框对应的第j个目标真实框的面积权重,pos为正样本预测框数,neg为负样本预测框数,ci p为第i个正样本预测框关于第p类的预测分数,ck 0为第k个负样本预测框关于背景类的预测分数,cx为检测框的中心点x坐标,cy为检测框的中心点y坐标,w为检测框的宽度,h为检测框的高度,smoothL1为回归损失函数,li m为第i个正样本预测框在m上的位置偏移,gj m为第j个目标真实框在m上的位置偏移,p∈[1,P],P为训练数据中遥感图像的目标总类别数;
其中,按下式确定第j个目标真实框的权重areaj
Figure GDA0002699219080000034
上式中,Sj为第j个目标真实框的面积,e为指数函数。
基于同一发明构思,本发明还提供了一种基于动态注意力机制的遥感目标快速检测系统,其改进之处在于,所述系统包括:
检测模块,用于将待检测遥感图像输入至预先训练的检测网络,获取所述预先训练的检测网络输出的待检测遥感图像的初始地物目标检测结果;
获取模块,用于利用非极大值抑制算法对所述初始地物目标检测结果进行筛选,获取所述待检测遥感图像的最终地物目标检测结果。
与最接近的现有技术相比,本发明具有的有益效果:
本发明提供的一种基于动态注意力机制的遥感目标快速检测方法,将待检测遥感图像输入至预先训练的检测网络,获取所述预先训练的检测网络输出的待检测遥感图像的初始地物目标检测结果;利用非极大值抑制算法对所述初始地物目标检测结果进行筛选,获取所述待检测遥感图像的最终地物目标检测结果;该方案通过检测网络提取光学遥感图像的目标,不需要手工设计特征,实现端到端的自动检测,有效地改善多尺度目标检测问题。
进一步的,预先训练的检测网络中使用多尺度融合的空间特征金字塔池化结构,融合低层特征和高层语义信息,提高多尺度目标检测精度。设计基于目标面积的动态注意力调节机制,为不同尺度的目标动态地分配权重,提高小目标的检测效果。
附图说明
图1是本发明提供的一种基于动态注意力机制的遥感目标快速检测方法流程图;
图2是本发明实施例中检测网络的结构示意图;
图3是本发明提供的一种基于动态注意力机制的遥感目标快速检测系统的结构示意图。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步的详细说明。
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
本发明提供了一种基于动态注意力机制的遥感目标快速检测方法,如图1所示,包括:
101将待检测遥感图像输入至预先训练的检测网络,获取所述预先训练的检测网络输出的待检测遥感图像的初始地物目标检测结果;
102利用非极大值抑制算法对所述初始地物目标检测结果进行筛选,获取所述待检测遥感图像的最终地物目标检测结果。
本发明提供的最优实施例中,具体运行的硬件和编程语言并不受限制,用任何语言编写都可以实现本发明的方法。本发明采用一台具有2.8G赫兹中央处理器和1G字节内存的计算机,网络的训练过程在Pytorch框架下实现,整个网络的训练和测试过程均采用多个NVIDIA TITAN XP GPU并行处理,并用Python语言编制了目标检测技术的工作程序,实现了本发明的方法。
具体的,所述预先训练的检测网络的训练过程包括:
步骤1.对遥感图像数据中的遥感图像进行人工语义标注,并将所述遥感图像数据划分为训练数据、验证数据和测试数据;
步骤2.对所述训练数据进行数据增强;
步骤3.对所述训练数据、验证数据和测试数据进行均值化处理后切片为1024×1024;
步骤4.利用所述训练数据、验证数据和测试数据对初始神经网络模型进行训练,并将训练完成的初始神经网络模型作为所述预先训练的检测网络。
其中,所述数据增强包括:平移、旋转、尺度缩放和/或高斯模糊。
例如,在公开数据集DOTA上进行离线采样,随机选取1张原图,对其进行使用平移、旋转、尺度缩放、高斯模糊在内的图像变换操作,构成7万张多分辨率遥感图像。
进一步的,所述初始神经网络模型,如图2所示,包括:基础网络、空间金字塔网络、第一卷积池化层、第二卷积池化层、第三卷积池化层、第四卷积池化层、第五卷积池化层、特征融合单元、区域生成单元和分类回归模块;
所述基础网络,用于提取训练数据中遥感图像下采样16倍的特征图;
所述空间金字塔网络,用于基于所述训练数据中遥感图像下采样16倍的特征图获取具有不同感受野的特征C1,空间金字塔结构的实现原理是使用不同孔洞率的带孔卷积来提取不同感受野的特征,再结合全局池化得到的图像级特征,将这些特征叠加,就能得到具有不同感受野的特征。
所述第一卷积池化层,用于将C1依次经过卷积层和池化层得到C2
所述第二卷积池化层,用于将C2依次经过卷积层和池化层得到C3
所述第三卷积池化层,用于将C3依次经过卷积层和池化层得到C4
所述第四卷积池化层,用于将C4依次经过卷积层和池化层得到C5
所述第五卷积池化层,用于将C5依次经过卷积层和池化层得到C6
所述特征融合单元,用于基于{C1,C2,C3,C4,C5,C6}获取融合特征{P1,P2,P3,P4,P5,P6};
所述区域生成单元,用于生成{P1,P2,P3,P4,P5,P6}中每个像素点位置上生成预设尺寸和长宽比的初始框;
所述分类回归模块,用于基于初始框生成预测框。
进一步的,所述基础网络为将全连接层替换为卷积层的VGG-16网络,VGG-16网络包含13个卷积层,3个全连接层和5个池化层。为了实现任意尺寸图像的输入,将VGG-16中的全连接层改为卷积层。
进一步的,所述基于{C1,C2,C3,C4,C5,C6}获取融合特征{P1,P2,P3,P4,P5,P6}包括:
建立自上而下、反向连接的特征金字塔结构,融合多尺度特征信息,丰富低层特征的语义信息,令n=1,2,3,4,5或6,并按下式确定Pn
Figure GDA0002699219080000061
上式中,Conv3×3为3×3卷及操作,Upsample为最近邻上采样操作,
Figure GDA0002699219080000063
为级联操作,Conv1×1为1×1卷及操作,m=n+1。
在多尺度上得到关于输入图像的初始检测结果,检测结果包含预测的类别和检测框的位置。此外,为了减少模型的参数量,在预测前使用卷积层将所有通道数设置为256;
进一步的,所述步骤4包括:
向所述初始神经网络模型的输入层输入所述训练数据,获取所述训练数据对应的预测框;
基于损失函数计算预测框与真实目标的总损失;
基于所述预测框与真实目标的总损失,采用梯度反向传播算法更新所述初始神经网络模型每一层的权重参数,直至所述预测框与真实目标的总损失不变。
其中,所述基于损失函数计算预测框与真实目标的总损失,包括:
按下式计算预测框与真实目标的总损失L:
Figure GDA0002699219080000062
上式中,N为参与计算的正样本数,Lconf为分类损失,α为平衡因子,Lloc为回归损失;
按下式确定所述分类损失Lconf
Figure GDA0002699219080000071
按下式确定所述回归损失Lconf
Figure GDA0002699219080000072
上式中,xij p为针对第p类第i个正样本预测框对应的第j个目标真实框的匹配系数,xij p={1,0},areaij为第i个正样本预测框对应的第j个目标真实框的面积权重,pos为正样本预测框数,neg为负样本预测框数,ci p为第i个正样本预测框关于第p类的预测分数,ck 0为第k个负样本预测框关于背景类的预测分数,cx为检测框的中心点x坐标,cy为检测框的中心点y坐标,w为检测框的宽度,h为检测框的高度,smoothL1为回归损失函数,li m为第i个正样本预测框在m上的位置偏移,gj m为第j个目标真实框在m上的位置偏移,p∈[1,P],P为训练数据中遥感图像的目标总类别数;
其中,按下式确定第j个目标真实框的权重areaj
Figure GDA0002699219080000073
上式中,Sj为第j个目标真实框的面积,e为指数函数。
基于同一发明构思,本发明还提供了一种基于动态注意力机制的遥感目标快速检测系统,如图3所示,所述系统包括:
检测模块,用于将待检测遥感图像输入至预先训练的检测网络,获取所述预先训练的检测网络输出的待检测遥感图像的初始地物目标检测结果;
获取模块,用于利用非极大值抑制算法对所述初始地物目标检测结果进行筛选,获取所述待检测遥感图像的最终地物目标检测结果。
优选的,所述预先训练的检测网络的训练过程包括:
步骤1.对遥感图像数据中的遥感图像进行人工语义标注,并将所述遥感图像数据划分为训练数据、验证数据和测试数据;
步骤2.对所述训练数据进行数据增强;
步骤3.对所述训练数据、验证数据和测试数据进行均值化处理后切片为1024×1024;
步骤4.利用所述训练数据、验证数据和测试数据对初始神经网络模型进行训练,并将训练完成的初始神经网络模型作为所述预先训练的检测网络。
进一步的,所述数据增强包括:平移、旋转、尺度缩放和/或高斯模糊。
进一步的,所述初始神经网络模型包括:基础网络、空间金字塔网络、第一卷积池化层、第二卷积池化层、第三卷积池化层、第四卷积池化层、第五卷积池化层、特征融合单元、区域生成单元和分类回归模块;
所述基础网络,用于提取训练数据中遥感图像下采样16倍的特征图;
所述空间金字塔网络,用于基于所述训练数据中遥感图像下采样16倍的特征图获取具有不同感受野的特征C1
所述第一卷积池化层,用于将C1依次经过卷积层和池化层得到C2
所述第二卷积池化层,用于将C2依次经过卷积层和池化层得到C3
所述第三卷积池化层,用于将C3依次经过卷积层和池化层得到C4
所述第四卷积池化层,用于将C4依次经过卷积层和池化层得到C5
所述第五卷积池化层,用于将C5依次经过卷积层和池化层得到C6
所述特征融合单元,用于基于{C1,C2,C3,C4,C5,C6}获取融合特征{P1,P2,P3,P4,P5,P6};
所述区域生成单元,用于生成{P1,P2,P3,P4,P5,P6}中每个像素点位置上生成预设尺寸和长宽比的初始框;
所述分类回归模块,用于基于初始框生成预测框。
进一步的,所述基础网络为将全连接层替换为卷积层的VGG-16网络。
进一步的,所述基于{C1,C2,C3,C4,C5,C6}获取融合特征{P1,P2,P3,P4,P5,P6}包括:
令n=1,2,3,4,5或6,并按下式确定Pn
Figure GDA0002699219080000081
上式中,Conv3×3为3×3卷及操作,Upsample为最近邻上采样操作,
Figure GDA0002699219080000082
为级联操作,Conv1×1为1×1卷及操作,m=n+1。
进一步的,所述步骤4包括:
向所述初始神经网络模型的输入层输入所述训练数据,获取所述训练数据对应的预测框;
基于损失函数计算预测框与真实目标的总损失;
基于所述预测框与真实目标的总损失,采用梯度反向传播算法更新所述初始神经网络模型每一层的权重参数,直至所述预测框与真实目标的总损失不变。
进一步的,所述基于损失函数计算预测框与真实目标的总损失,包括:
按下式计算预测框与真实目标的总损失L:
Figure GDA0002699219080000091
上式中,N为参与计算的正样本数,Lconf为分类损失,α为平衡因子,Lloc为回归损失;
进一步的,按下式确定所述分类损失Lconf
Figure GDA0002699219080000092
按下式确定所述回归损失Lconf
Figure GDA0002699219080000093
上式中,xij p为针对第p类第i个正样本预测框对应的第j个目标真实框的匹配系数,xij p={1,0},areaij为第i个正样本预测框对应的第j个目标真实框的面积权重,pos为正样本预测框数,neg为负样本预测框数,ci p为第i个正样本预测框关于第p类的预测分数,ck 0为第k个负样本预测框关于背景类的预测分数,cx为检测框的中心点x坐标,cy为检测框的中心点y坐标,w为检测框的宽度,h为检测框的高度,smoothL1为回归损失函数,li m为第i个正样本预测框在m上的位置偏移,gj m为第j个目标真实框在m上的位置偏移,p∈[1,P],P为训练数据中遥感图像的目标总类别数;
其中,按下式确定第j个目标真实框的权重areaj
Figure GDA0002699219080000094
上式中,Sj为第j个目标真实框的面积,e为指数函数。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是:以上实施例仅用以说明本发明的技术方案而非对其限制,尽管参照上述实施例对本发明进行了详细的说明,所属领域的普通技术人员应当理解:依然可以对本发明的具体实施方式进行修改或者等同替换,而未脱离本发明精神和范围的任何修改或者等同替换,其均应涵盖在本发明的权利要求保护范围之内。

Claims (5)

1.一种遥感图像的地物目标检测方法,其特征在于,所述方法包括:
将待检测遥感图像输入至预先训练的检测网络,获取所述预先训练的检测网络输出的待检测遥感图像的初始地物目标检测结果;
利用非极大值抑制算法对所述初始地物目标检测结果进行筛选,获取所述待检测遥感图像的最终地物目标检测结果;
所述预先训练的检测网络的训练过程包括:
步骤1.对遥感图像数据中的遥感图像进行人工语义标注,并将所述遥感图像数据划分为训练数据、验证数据和测试数据;
步骤2.对所述训练数据进行数据增强;
步骤3.对所述训练数据、验证数据和测试数据进行均值化处理后切片为1024×1024;
步骤4.利用所述训练数据、验证数据和测试数据对初始神经网络模型进行训练,并将训练完成的初始神经网络模型作为所述预先训练的检测网络;
所述初始神经网络模型包括:基础网络、空间金字塔网络、第一卷积池化层、第二卷积池化层、第三卷积池化层、第四卷积池化层、第五卷积池化层、特征融合单元、区域生成单元和分类回归模块;
所述基础网络,用于提取训练数据中遥感图像下采样16倍的特征图;
所述空间金字塔网络,用于基于所述训练数据中遥感图像下采样16倍的特征图获取具有不同感受野的特征C1
所述第一卷积池化层,用于将C1依次经过卷积层和池化层得到C2
所述第二卷积池化层,用于将C2依次经过卷积层和池化层得到C3
所述第三卷积池化层,用于将C3依次经过卷积层和池化层得到C4
所述第四卷积池化层,用于将C4依次经过卷积层和池化层得到C5
所述第五卷积池化层,用于将C5依次经过卷积层和池化层得到C6
所述特征融合单元,用于基于{C1,C2,C3,C4,C5,C6}获取融合特征
Figure FDA0002759886660000011
所述区域生成单元,用于生成{P1,P2,P3,P4,P5,P6}中每个像素点位置上生成预设尺寸和长宽比的初始框;
所述分类回归模块,用于基于初始框生成预测框;
所述步骤4包括:
向所述初始神经网络模型的输入层输入所述训练数据,获取所述训练数据对应的预测框;
基于损失函数计算预测框与真实目标的总损失;
基于所述预测框与真实目标的总损失,采用梯度反向传播算法更新所述初始神经网络模型每一层的权重参数,直至所述预测框与真实目标的总损失不变;
所述基于损失函数计算预测框与真实目标的总损失,包括:
按下式计算预测框与真实目标的总损失L:
Figure FDA0002759886660000021
上式中,N为参与计算的正样本数,Lconf为分类损失,α为平衡因子,Lloc为回归损失;
按下式确定所述分类损失Lconf
Figure FDA0002759886660000022
按下式确定所述回归损失Lconf
Figure FDA0002759886660000023
上式中,xij p为针对第p类第i个正样本预测框对应的第j个目标真实框的匹配系数,xij p={1,0},areaij为第i个正样本预测框对应的第j个目标真实框的面积权重,pos为正样本预测框数,neg为负样本预测框数,ci p为第i个正样本预测框关于第p类的预测分数,ck 0为第k个负样本预测框关于背景类的预测分数,cx为检测框的中心点x坐标,cy为检测框的中心点y坐标,w为检测框的宽度,h为检测框的高度,smoothL1为回归损失函数,li m为第i个正样本预测框在m上的位置偏移,gj m为第j个目标真实框在m上的位置偏移,p∈[1,P],P为训练数据中遥感图像的目标总类别数;
其中,按下式确定第j个目标真实框的权重areaj
Figure FDA0002759886660000031
上式中,Sj为第j个目标真实框的面积,e为指数函数。
2.如权利要求1所述的方法,其特征在于,所述数据增强包括:平移、旋转、尺度缩放和/或高斯模糊。
3.如权利要求1所述的方法,其特征在于,所述基础网络为将全连接层替换为卷积层的VGG-16网络。
4.如权利要求1所述的方法,其特征在于,所述基于{C1,C2,C3,C4,C5,C6}获取融合特征{P1,P2,P3,P4,P5,P6}包括:
令n=1,2,3,4,5或6,并按下式确定Pn
Figure FDA0002759886660000032
上式中,Conv3×3为3×3卷及操作,Upsample为最近邻上采样操作,
Figure FDA0002759886660000033
为级联操作,Conv1×1为1×1卷及操作,m=n+1。
5.应用于权利要求1-4任意一种遥感图像的地物目标检测方法的遥 感图像的地物目标检测系统,其特征在于,所述系统包括:
检测模块,用于将待检测遥感图像输入至预先训练的检测网络,获取所述预先训练的检测网络输出的待检测遥感图像的初始地物目标检测结果;
获取模块,用于利用非极大值抑制算法对所述初始地物目标检测结果进行筛选,获取所述待检测遥感图像的最终地物目标检测结果。
CN202010439450.6A 2020-05-22 2020-05-22 一种基于动态注意力机制的遥感目标快速检测方法及系统 Active CN111626176B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010439450.6A CN111626176B (zh) 2020-05-22 2020-05-22 一种基于动态注意力机制的遥感目标快速检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010439450.6A CN111626176B (zh) 2020-05-22 2020-05-22 一种基于动态注意力机制的遥感目标快速检测方法及系统

Publications (2)

Publication Number Publication Date
CN111626176A CN111626176A (zh) 2020-09-04
CN111626176B true CN111626176B (zh) 2021-08-06

Family

ID=72272795

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010439450.6A Active CN111626176B (zh) 2020-05-22 2020-05-22 一种基于动态注意力机制的遥感目标快速检测方法及系统

Country Status (1)

Country Link
CN (1) CN111626176B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114170642A (zh) * 2020-09-09 2022-03-11 成都鼎桥通信技术有限公司 图像检测的处理方法、装置、设备及存储介质
CN112132093B (zh) * 2020-09-30 2024-01-05 湖南省气象科学研究所 高分辨率遥感图像目标检测方法、装置和计算机设备
CN112016548B (zh) * 2020-10-15 2021-02-09 腾讯科技(深圳)有限公司 一种封面图展示方法及相关装置
CN112464717B (zh) * 2020-10-23 2024-04-02 西安电子科技大学 一种遥感图像目标检测方法、系统、电子设备和存储介质
CN112487900B (zh) * 2020-11-20 2022-11-15 中国人民解放军战略支援部队航天工程大学 一种基于特征融合的sar图像舰船目标检测方法
CN112308856A (zh) * 2020-11-30 2021-02-02 深圳云天励飞技术股份有限公司 遥感图像的目标检测方法、装置、电子设备及介质
CN113505627B (zh) * 2021-03-31 2024-07-23 北京苍灵科技有限公司 遥感数据处理方法、装置、电子设备和存储介质
CN113283382B (zh) * 2021-06-15 2022-08-30 合肥工业大学 一种井下管道泄漏场景描述方法和装置
CN113902919A (zh) * 2021-09-15 2022-01-07 国家电网有限公司 一种基于双流网络的目标检测方法及系统
CN115049919B (zh) * 2022-01-21 2024-08-20 昆明理工大学 一种基于注意力调控的遥感图像语义分割方法及系统
CN114565839A (zh) * 2022-02-17 2022-05-31 广州市城市规划勘测设计研究院 一种遥感影像目标检测方法、装置、设备及计算机介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106991397A (zh) * 2017-03-31 2017-07-28 中国科学院电子学研究所 基于视觉显著性约束深度置信网络的遥感图像检测方法
CN110533084A (zh) * 2019-08-12 2019-12-03 长安大学 一种基于自注意力机制的多尺度目标检测方法
CN111079739A (zh) * 2019-11-28 2020-04-28 长沙理工大学 一种多尺度注意力特征检测方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10579897B2 (en) * 2017-10-02 2020-03-03 Xnor.ai Inc. Image based object detection
CN111027511B (zh) * 2019-12-23 2022-04-29 西安电子科技大学 基于感兴趣区块提取的遥感图像舰船检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106991397A (zh) * 2017-03-31 2017-07-28 中国科学院电子学研究所 基于视觉显著性约束深度置信网络的遥感图像检测方法
CN110533084A (zh) * 2019-08-12 2019-12-03 长安大学 一种基于自注意力机制的多尺度目标检测方法
CN111079739A (zh) * 2019-11-28 2020-04-28 长沙理工大学 一种多尺度注意力特征检测方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Multiscale Spatial-Spectral Convolutional Network with Image-Based Framework for Hyperspectral Imagery Classification;Ximin Cui等;《remote sensing》;20190923;第11卷(第19期);第1-21页 *
基于稠密连接神经网络的多尺度SAR图像舰船检测;张跃等;《第五届高分辨率对地观测学术年会论文集》;20181017;第2节第1段,第2.1节,第2.2节,第2.4节,第3节第1段,第3.1节,图1 *
基于自适应尺度的小目标检测方法;杨斯涵;《光电工程》;20140415;第41卷(第4期);第9-14页 *
张跃等.基于稠密连接神经网络的多尺度SAR图像舰船检测.《第五届高分辨率对地观测学术年会论文集》.2018,第162-179页. *
面向目标检测的多尺度运动注意力融合算法研究;刘龙等;《电子与信息学报》;20140515;第36卷(第5期);第1133-1138页 *

Also Published As

Publication number Publication date
CN111626176A (zh) 2020-09-04

Similar Documents

Publication Publication Date Title
CN111626176B (zh) 一种基于动态注意力机制的遥感目标快速检测方法及系统
CN113065558B (zh) 一种结合注意力机制的轻量级小目标检测方法
CN109284670B (zh) 一种基于多尺度注意力机制的行人检测方法及装置
CN108416266B (zh) 一种利用光流提取运动目标的视频行为快速识别方法
CN110298387A (zh) 融入像素级attention机制的深度神经网络目标检测方法
CN111126472A (zh) 一种基于ssd改进的目标检测方法
CN111310862A (zh) 复杂环境下基于图像增强的深度神经网络车牌定位方法
CN112750148B (zh) 一种基于孪生网络的多尺度目标感知跟踪方法
CN108960059A (zh) 一种视频动作识别方法及装置
CN113591968A (zh) 一种基于非对称注意力特征融合的红外弱小目标检测方法
CN112446870B (zh) 管道损伤检测方法、装置、设备及存储介质
CN109543662A (zh) 基于区域提议的目标检测方法、系统、装置和存储介质
CN114241274B (zh) 一种基于超分辨率多尺度特征融合的小目标检测方法
CN112991280B (zh) 视觉检测方法、系统及电子设备
CN115019181B (zh) 遥感图像旋转目标检测方法、电子设备及存储介质
CN114596503A (zh) 一种基于遥感卫星影像的道路提取方法
CN111339934A (zh) 一种融合图像预处理与深度学习目标检测的人头检测方法
Sureshkumar et al. Deep learning framework for component identification
CN107358625B (zh) 基于SPP Net和感兴趣区域检测的SAR图像变化检测方法
CN115063428B (zh) 一种基于深度强化学习的空间暗弱小目标检测方法
CN116342536A (zh) 基于轻量化模型的铝带材表面缺陷检测方法、系统及设备
CN115330705A (zh) 一种基于自适应加权模板ncc的蒙皮漆面缺陷检测方法
CN114972967A (zh) 一种飞机零件识别与计数方法及检测系统
CN112434710A (zh) 一种基于目标检测技术的智能货架商品识别方法
CN116030189B (zh) 一种基于单视角遥感图像的目标三维重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant