CN112200045B - 基于上下文增强的遥感图像目标检测模型建立方法及应用 - Google Patents

基于上下文增强的遥感图像目标检测模型建立方法及应用 Download PDF

Info

Publication number
CN112200045B
CN112200045B CN202011059137.6A CN202011059137A CN112200045B CN 112200045 B CN112200045 B CN 112200045B CN 202011059137 A CN202011059137 A CN 202011059137A CN 112200045 B CN112200045 B CN 112200045B
Authority
CN
China
Prior art keywords
target detection
remote sensing
map
module
sensing image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011059137.6A
Other languages
English (en)
Other versions
CN112200045A (zh
Inventor
左峥嵘
张维
桑农
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN202011059137.6A priority Critical patent/CN112200045B/zh
Publication of CN112200045A publication Critical patent/CN112200045A/zh
Application granted granted Critical
Publication of CN112200045B publication Critical patent/CN112200045B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biomedical Technology (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于上下文增强的遥感图像目标检测模型建立方法及应用，属于图像处理技术领域，包括：基于神经网络建立待训练的目标检测模型，用于对遥感图像进行目标检测，并对其进行训练，得到基于上下文增强的遥感图像目标检测模型；目标检测模型中，各模块分别用于：提取遥感图像的多尺度特征图Fs；提取Fs的全局上下文信息，得到MA；分别增强Fs中的边界信息和类别信息，得到和分别捕捉和中通道间的信息关联，得到通道权重Wd和Wc；根据Wd将MA和融合，得到边界信息增强的特征图根据Wc将MA和融合，得到类别信息增强的特征图将Fs、以及融合，得到特征图对进行目标检测。本发明能够提高遥感图像目标检测的精度。

Description

基于上下文增强的遥感图像目标检测模型建立方法及应用
技术领域
本发明属于图像处理技术领域，更具体地，涉及一种基于上下文增强的遥感图像目标检测模型建立方法及应用。
背景技术
目标检测是计算机视觉领域的基础问题，通过检测算法在图像中找到感兴趣的目标位置并判断其类别。具体到遥感图像中，由于其图像背景复杂，目标尺度变化大，漏检、虚检的问题较多，检测和识别的难度较大。
现有的目标检测的方法主要分为：基于人工特征传统目标检测算法和基于深度学习的目标检测算法。其中，基于人工特征的传统目标检测算法由于使用的手工设计的图像特征导致其泛化性能不强，表达能力不足；而基于深度学习的目标检测算法又分为单阶段和双阶段的目标检测算法，双阶段目标检测算法基于候选框，检测精度较高但速度较慢，同时候选框内的上下文信息不足从而忽视了背景信息；单阶段目标检测算法直接回归得到边框和类别，检测速度较快但精度较低，而基于关键点的目标检测算法在二者之间实现了平衡，在保证一定检测精度的同时提高了检测速度。
分析现有的目标检测算法，存在着以下几点局限性：1、对于图像上下文信息的提取能力不足，忽略了典型背景信息对于目标识别的帮助，例如水域对于桥梁、港口等目标类型；2、图像分类任务更关注图像中心区域，因为分类识别更依赖特征的平移不变性，而目标检测任务对于图像的边界信息更加敏感，同时进行分类和检测会导致特征冲突，限制检测性能；3、现有的图像上下文信息提取方法大多通过网络自行学习，缺乏监督信息，导致信息提取机制不明确，提取性能不稳定。
综上所述，由于对上下文信息利用不足，且分类与检测过程中存在特征冲突，现有的遥感图像目标检测方法的检测能力有待进一步提高。
发明内容
针对现有技术的缺陷和改进需求，本发明提供了一种基于上下文增强的遥感图像目标检测模型建立方法及应用，其目的在于，解决现有的遥感图像目标检测方法对上下文信息利用不足，且分类与检测过程中存在特征冲突的技术问题，以提高遥感图像目标检测方法的检测能力。
为实现上述目的，按照本发明的一个方面，提供了一种基于上下文增强的遥感图像目标检测模型建立方法，包括：
基于神经网络建立待训练的目标检测模型，用于对遥感图像进行目标检测，并利用训练数据集对待训练的目标检测模型进行训练，从而在训练结束后，得到基于上下文增强的遥感图像目标检测模型；
其中，目标检测模型包括：
多尺度特征图提取模块，用于提取输入的遥感图像的多尺度特征图Fs；
全局空间上下文模块，用于提取多尺度特征图Fs的全局上下文信息，得到全局上下文注意力图MA；
边界信息增强模块，用于增强多尺度特征图Fs中的边界信息，得到边界信息增强图
第一通道权重学习模块，用于捕捉边界信息增强图中通道间的信息关联，得到第一通道权重；
第一特征融合模块，用于根据第一通道权重将全局上下文注意力图MA和边界信息增强图融合，得到边界信息增强的特征图/>
类别信息增强模块，用于增强多尺度特征图Fs中的类别信息，得到类别信息增强图
第二通道权重学习模块，用于捕捉类别信息增强图中通道间的信息关联，得到第二通道权重；
第二特征融合模块，用于根据第二通道权重将全局上下文注意力图MA和类别信息增强图融合，得到类别信息增强的特征图/>
第三特征融合模块，用于将多尺度注意力图Fs、边界信息增强的特征图以及类别信息增强的特征图/>融合，得到上下文信息增强后的特征图/>
目标检测模块，用于对上下文信息增强后的特征图进行目标检测；
训练过程中，通过整个边界框所在区域对边界信息增强模块进行监督，通过目标中心点及高斯扩散函数对类别信息增强模块进行监督。
本发明在提取遥感图像的多尺度特征图后，进一步利用全局空间提取遥感图像的全局上下文信息，并利用边界信息增强模块和类别信息增强模块分别提取遥感图像的边界增强信息和类别增强信息这两种局部上下文信息，并将所提取的信息与多尺度特征图融合，得到遥感图像最终的特征图，由此能够充分利用遥感图像的上下文信息，利用背景信息提升了检测的性能，又通过捕捉类别之间的信息关联提升了所建立模型的分类识别能力。
本发明通过整个边界框所在区域对边界信息增强模块进行监督，通过目标中心点及高斯扩散函数对类别信息增强模块进行监督，实现了对类别信息和边界信息的独立监督和融合，缓解了检测识别任务耦合时的特征冲突问题，提高了检测精度。
进一步地，全局空间上下文模块包括：依次连接的m个自适应卷积模块和一个sigmoid层；
其中，m为预设的正整数。
本发明中，全局空间上下文模块中包含自适应卷积模块，自适应卷积模块在提取全局信息的同时，也引入了一些局部信息，从而在获得背景辅助信息的同时减少干扰，自适应地捕捉全局信息与局部信息的关系依赖，本发明由此能够结合动态卷积的特征表达能力提取全局图像场景信息，通过场景信息提升分类识别的能力。
进一步地，边界信息增强模块和类别信息增强模块的结构相同；
边界信息增强模块包括：n个卷积核大小为1*1的第一卷积层、一个第一融合层和一个卷积核大小为3*3的第二卷积层；n为多尺度特征图Fs中图像层数；
n个第一卷积层分别用于对多尺度特征图Fs中的各层图像进行卷积操作，使各层图像的通道数与图像类别数相同；
第一融合层用于融合各第一卷积层的输出图像，得到多层特征融合后的特征图，由此保证多尺度信息能够全面使用；
第二卷积层用于对多层特征融合后的特征图进行卷积操作，以减少特征混淆的影响。
进一步地，第一通道权重学习模块和第二通道权重学习模块的结构相同；
第一通道权重学习模块包括：第一分支、第二分支、第二融合层以及连接于第二融合层之后的sigmoid层；
第一分支包括依次连接的自适应平均池化层以及一个或多个自适应卷积模块，第二分支包括依次连接的自适应最大池化层以及一个或多个自适应卷积模块；第一分支和第二分支分别用于捕捉输入的特征图中通道间的信息关联，输出相应的中间特征图；
第二融合层用于融合第一分支和第二分支输出的中间特征图。
本发明基于上述通道权重学习模块来捕捉通道间的信息关系，能够确定不同通道进行信息融合时的融合权重，保证最后得到的特征图中准确融合了各类上下文信息，并且采用这种动态融合权重的方式，能够提高网络的自学习能力，进一步提高遥感图像目标检测的精度。
进一步地，多尺度特征图提取模块包括依次连接的特征提取网络和全局上下文特征金字塔网络；
特征提取网络包括多层残差模块，其中多层残差模块输出的特征图共同组成特征图Ff；
全局上下文特征金字塔网络包括第三融合层、第四融合层以及GCNET网络；第三融合层用于对特征图Ff中的各层图像进行3*3卷积操作并融合上层特征图，得到中间层特征图；第四融合层用于对中间层特征图中的各层图像进行3*3卷积操作并融合底层特征图，得到增强特征图；GCNET网络用于提取增强特征图中各层图像的通道注意力信息，得到多尺度特征图Fs。
本发明中，多尺度特征图提取模块在提取遥感图像的多尺度特征图时，先融合上层特征图，而后融合底层特征图，通过以上两步实现高层信息与底层信息的充分融合。
进一步地，通过整个边界框所在区域对边界信息增强模块进行监督，包括：
按照设置边界信息增强图/>中各像素点的标签；
通过目标中心点及高斯扩散函数对类别信息增强模块进行监督，包括：
按照设置类别信息增强图/>中各像素点的标签；
其中，(xp，yp)表示边界信息增强图中像素点p的坐标，labelbp表示像素点p的标签值；(xq，yq)表示类别信息增强图/>中像素点q的坐标，labelcq表示像素点q的标签；(xl，yl)和(xr，yr)分别表示标注框的左上角点和右下角点坐标，(xc，yc)表示标注框的中心点坐标；α和β分别为预设的高斯函数系数，h和w分别为多尺度特征图Fs的高度和宽度。
对于目标检测任务来说，位置检测和类别识别是耦合进行的，但两种任务的针对性是不同的，位置检测更关注目标的边缘信息，但通常边缘信息干扰较多，因此，本发明通过上述边界增强来提供约束，使得边界范围内的像素点的标签值被设为1，而边界范围外的像素点的标签值被设为0；类别识别更关注目标的中心区域，因为中心区域更具有尺度不变性和平移不变性，因此，本发明通过监督目标中心区域可以增强类别识别能力，同时缓解多任务特征冲突带来的性能下降问题，图像类别标签为图像中心点及其高斯扩散区域内的像素点。总的来说，本发明通过上述监督方式对边界信息和类别信息进行分别监督，能够缓解检测识别任务耦合时的特征冲突问题，并基于位置检测和类别识别的任务特征，在不增加标注负担的同时能够引入更多的局部上下文信息，对各类任务的特征图像进行监督，有效提高目标检测的精度。
进一步地，利用训练数据集对待训练的目标检测模型进行训练，其损失函数Ldet为：
Ldet＝δ1Lcls+δ2Lpts+δ3Lce+δ4Lbe；
其中，Lcls表示分类损失，Lpts表示边界框回归损失；Lbe为边界信息增强的损失，且Lce为类别信息增强的损失，且Nb和Nc分别表示边界信息增强图和类别信息增强图/>中像素点的总数，pb和qc分别表示边界信息增强图/>和类别信息增强图/>中某个像素点的像素值，labelbp和labelcq分别表示像素值pb和qc对应的标签，γ和μ分别为预设参数；δ1、δ2、δ3、δ4分别为预设的权重参数。
本发明在对待训练的目标检测模型进行训练时，所使用的损失函数中，除了包含目标检测相关的分类损失和边界框回归损失，还包括边界信息增强的损失和类别信息增强的损失，有利于在模型训练的过程中对边界信息增强模块和类别信息增强模块进行独立监督；另一方面，因为生成增强图的过程相当于01分类，但图中正样本的点(即目标范围内的点)远远少于负样本，基于上述公式计算边界信息增强的损失Lbe和类别信息增强的损失Lce，能够降低简单负样本的比重，提高训练效率。
进一步地，利用训练数据集对待训练的目标检测模型进行训练，包括：依次进行的第一训练阶段和第二训练阶段；
在第一训练阶段中，只对目标检测模块之前的模型参数进行调整；
在第二训练阶段中，对待训练的目标检测模型的整体模型参数进行调整。
由于目标检测包括分类与回归，训练耗时较长，本发明分两阶段进行模型训练，能够有效加块模型的收敛速度；具体来说，在第一训练阶段中，只对目标检测模块之前的模型参数进行调整，能够快速完成对边界信息增强模块和类别信息增强模块的训练；在第二训练阶段中，对待训练的目标检测模型的整体模型参数进行调整，能够基于已训练好的边界信息增强模块和类别信息增强模块，快速完成对目标检测模块的训练，从而完成对整个模型的训练。
按照本发明的另一个方面，提供了一种遥感图像目标检测方法，包括：
以待检测的遥感图像作为输入，利用本发明提供的基于上下文增强的遥感图像目标检测模型建立方法建立得到的遥感图像目标检测模型对待检测的遥感图像进行目标检测，得到待检测的遥感图像中感兴趣的目标位置及其类别。
按照本发明的又一个方面，提供了一种计算机可读存储介质，包括存储的计算机程序；
计算机程序被处理器执行时，控制计算机可读存储介质所在设备执行本发明提供的基于上下文增强的遥感图像目标检测模型建立方法，和/或本发明提供的遥感图像目标检测方法。
总体而言，通过本发明所构思的以上技术方案，能够取得以下有益效果：
(1)本发明在提取遥感图像的多尺度特征图后，进一步利用全局空间提取遥感图像的全局上下文信息，并利用边界信息增强模块和类别信息增强模块分别提取遥感图像的边界增强信息和类别增强信息这两种局部上下文信息，并将所提取的信息与多尺度特征图融合，得到遥感图像最终的特征图，由此能够充分利用遥感图像的上下文信息，利用背景信息提升了检测的性能，又通过捕捉类别之间的信息关联提升了所建立模型的分类识别能力。
(2)本发明通过整个边界框所在区域对边界信息增强模块进行监督，通过目标中心点及高斯扩散函数对类别信息增强模块进行监督，实现了对类别信息和边界信息的独立监督和融合，缓解了检测识别任务耦合时的特征冲突问题，提高了检测精度。
附图说明
图1为本发明实施例提供的基于上下文增强的遥感图像目标检测模型示意图；
图2为本发明实施例提供的全局空间上下文模块示意图；
图3为本发明实施例提供的边界信息增强模块示意图；
图4为本发明实施例提供的通道权重学习模块示意图；
图5为本发明实施例提供的全局上下文特征金字塔网络示意图；
图6为本发明实施例提供的图像局部上下文信息监督标签；其中，(a)为输入的训练集图像，(b)为边界信息标签，(c)为类别信息标签；
图7为本发明实施例提供的体育场遥感图像目标检测结果示意图；其中，(a)为输入的待检测图像，(b)是边界信息增强模块得到的边界信息增强图，(c)是类别信息增强模块得到的类别信息增强图；
图8为本发明实施例提供的目标检测算法的P-R曲线；其中，(a)为飞机类别P-R曲线，(b)为船舶类别P-R曲线，(c)为桥梁类别P-R曲线，(d)为体育场类别P-R曲线，(e)为港口类别P-R曲线，(f)为储存罐类别P-R曲线；
图9为本发明实施例提供的船舶遥感图像目标检测结果示意图；其中，(a)为使用本发明所提供的目标检测方法得到的检测结果，(b)为使用reppoints目标检测算法得到的检测结果；
图10为本发明实施例提供的飞机遥感图像目标检测结果示意图；其中，(a)为使用本发明所提供的目标检测方法得到的检测结果，(b)为使用retinanet目标检测算法得到的检测结果；
图11为本发明实施例提供的目标检测的典型检测结果；其中，(a)为飞机目标检测结果，(b)为船舶目标检测结果，(c)为桥梁目标检测结果，(d)为体育场目标检测结果，(e)为港口目标检测结果，(f)为储存罐目标检测结果。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
在本发明中，本发明及附图中的术语“第一”、“第二”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
实施例1：
一种基于上下文增强的遥感图像目标检测模型建立方法，包括：
基于神经网络建立待训练的目标检测模型，用于对遥感图像进行目标检测，并利用训练数据集对待训练的目标检测模型进行训练，从而在训练结束后，得到基于上下文增强的遥感图像目标检测模型；
其中，目标检测模型如图1所示，包括：
多尺度特征图提取模块，用于提取输入的遥感图像的多尺度特征图Fs；
全局空间上下文模块Nc，用于提取多尺度特征图Fs的全局上下文信息，得到全局上下文注意力图MA；
边界信息增强模块Nbd，用于增强多尺度特征图Fs中的边界信息，得到边界信息增强图
第一通道权重学习模块Nw1，用于捕捉边界信息增强图中通道间的信息关联，得到第一通道权重Wd；
第一特征融合模块，用于根据第一通道权重Wd将全局上下文注意力图MA和边界信息增强图融合，得到边界信息增强的特征图/>
类别信息增强模块Nce，用于增强多尺度特征图Fs中的类别信息，得到类别信息增强图
第二通道权重学习模块Nw2，用于捕捉类别信息增强图中通道间的信息关联，得到第二通道权重Wc；
第二特征融合模块，用于根据第二通道权重Wc将全局上下文注意力图MA和类别信息增强图融合，得到类别信息增强的特征图/>
第三特征融合模块，用于将多尺度注意力图Fs、边界信息增强的特征图以及类别信息增强的特征图/>融合，得到上下文信息增强后的特征图/>
目标检测模块，用于对上下文信息增强后的特征图进行目标检测；
训练过程中，通过整个边界框所在区域对边界信息增强模块进行监督，通过目标中心点及高斯扩散函数对类别信息增强模块进行监督。
作为一种可选的实施方式，本实施例中，全局空间上下文模块Nc包括：依次连接的m个自适应卷积模块和一个sigmoid层；
其中，m为预设的正整数；在实际应用中，m的取值可综合计算量、计算精度等要求相应设定，如图2所示，本实施例，m＝2；
自适应卷积模块，即图2中的ACconv，使用一维的非对称卷积核对传统的二维卷积核进行信息增强，其结构如图2所示，具体包括：一个卷积核大小为3*3的卷积层，一个卷积核大小为1*3的卷积层，一个卷积核大小为3*1的卷积层，以及一个ReLU层；
一个自适应卷积模块ACconv的计算过程可表示为：
式中kernel3*3代表传统的3*3二维卷积核，kernel1*3是1*3一维卷积核，kernel3*1是3*1一维卷积核，ReLU代表线性激活函数，整个计算过程采用ACconv()形式来表达；ACconv在提取全局信息的同时，也引入了一些局部信息，从而在获得背景辅助信息的同时减少干扰，自适应地捕捉全局信息与局部信息的关系依赖；
本实施例中，全局空间上下文模块Nc在ACconv模块的基础上实现，其计算过程如下式所示：
MA＝S(ACconv(ACconv(Fs)))；
式中S函数代表sigmoid激活函数，通过该全局空间上下文模块Nc获取了图像的全局上下文注意力图MA，全局空间上下文模块Nc主要结合动态卷积的特征表达能力提取全局图像场景信息，通过场景信息提升算法分类识别的能力。
本实施例中，边界信息增强模块Nbd和类别信息增强模块Nce的结构相同；
作为一种可选的实施方式，本实施例中，如图3所示，边界信息增强模块Nbd包括：n个卷积核大小为1*1的第一卷积层、一个第一融合层和一个卷积核大小为3*3的第二卷积层；n为多尺度特征图Fs中图像层数；
n个第一卷积层分别用于对多尺度特征图Fs中的各层图像进行卷积操作，使各层图像的通道数与图像类别数相同；
第一融合层用于融合各第一卷积层的输出图像，得到多层特征融合后的特征图，由此保证多尺度信息能够全面使用；
第二卷积层用于对多层特征融合后的特征图进行卷积操作，以减少特征混淆的影响。
本实施例中，第一通道权重学习模块Nw1和第二通道权重学习模块Nw2的结构相同；
作为一种可选的实施方式，本实施例中，如图4所示，第一通道权重学习模块Nw1包括：第一分支、第二分支、第二融合层以及连接于第二融合层之后的sigmoid层；
第一分支包括依次连接的自适应平均池化层以及一个或多个自适应卷积模块，第二分支包括依次连接的自适应最大池化层以及一个或多个自适应卷积模块；第一分支和第二分支分别用于捕捉输入的特征图中通道间的信息关联，输出相应的中间特征图；可选地，本实施例中，第一分支和第二分支中，自适应卷积模块的数量均为2；
第二融合层用于融合第一分支和第二分支输出的中间特征图；
基于图4所示的结构，第一通道权重学习模块Nw1的计算过程如下式所示：
Wd＝S(ReLU(ACconv(P1(Fs)))+ReLU(ACconv(P2(Fs))))；
式中S函数代表sigmoid激活函数，ReLU代表线性激活函数，P1代表自适应最大池化，P2代表自适应平均池化；通过该结构来捕捉通道间的信息关联，从而确定不同通道进行信息融合时的融合权重；第二通道权重Wc的计算方式与第一通道权重Wd类似；
应当理解的是，随着模型的训练，边界信息增强模块Nbd和类别信息增强模块Nce将拥有不同的权重参数，第一通道权重学习模块Nw1和第二通道权重学习模块Nw2也将拥有不同的权重参数。
在利用边界信息增强模块Nbd和类别信息增强模块Nce得到边界信息增强图和类别信息增强图/>并利用第一通道权重学习模块Nw1和第二通道权重学习模块Nw2得到第一通道权重Wd和第二通道权重Wc之后，第一特征融合模块根据第一通道权重Wd将全局上下文注意力图MA和边界信息增强图/>融合，得到边界信息增强的特征图/>的计算过程如下式所示：
式中，S函数代表sigmoid激活函数，f是1*1卷积用于调整输出通道数与类别数一致；
第二特征融合模块，根据第二通道权重Wc将全局上下文注意力图MA和类别信息增强图融合，得到类别信息增强的特征图/>的计算过程如下式所示：
式中，S函数代表sigmoid激活函数，f是1*1卷积用于调整输出通道数与类别数一致；
采用动态融合的方式是能够调整不同类别的融合比重，图像中出现几率越大的类别所占比重越高。
在得到边界信息增强的特征图和类别信息增强的特征图/>之后，第三特征融合模块，将多尺度注意力图Fs、边界信息增强的特征图/>以及类别信息增强的特征图/>融合，得到上下文信息增强后的特征图/>其计算过程如下式所示：
式中，ρ和τ为预设权重系数；可选地，本实施例中，权重系数ρ和τ的具体取值分别设置为0.5和0.5。
作为一种可选的实施方式，本实施例中，多尺度特征图提取模块包括依次连接的特征提取网络NF和全局上下文特征金字塔网络GCFPN；
特征提取网络NF包括多层残差模块，其中多层残差模块输出的特征图共同组成特征图Ff；可选地，本实施例中，所采用的特征提取网络NF具体为ResNet-50；应当说明的是，其他的特征提取网络，也可以应用于本发明，在此将不作一一列举；
全局上下文特征金字塔网络GCFPN的结构如图5所示，包括第三融合层、第四融合层以及GCNET网络；第三融合层用于对特征图Ff中的各层图像进行3*3卷积操作并融合上层特征图，得到中间层特征图；第四融合层用于对中间层特征图中的各层图像进行3*3卷积操作并融合底层特征图，得到增强特征图；通过以上两步实现高层信息与底层信息的充分融合；GCNET网络用于提取增强特征图中各层图像的通道注意力信息，得到多尺度特征图Fs。
对于目标检测任务来说，位置检测和类别识别是耦合进行的，但两种任务的针对性是不同的，位置检测更关注目标的边缘信息，但通常边缘信息干扰较多，类别识别更关注目标的中心区域，因为中心区域更具有尺度不变性和平移不变性，为了有效缓解检测识别任务耦合时的特征冲突问题，本实施例中，通过整个边界框所在区域对边界信息增强模块进行监督，包括：
按照设置边界信息增强图/>中各像素点的标签；
通过目标中心点及高斯扩散函数对类别信息增强模块进行监督，包括：
按照设置类别信息增强图/>中各像素点的标签；
其中，(xp，yp)表示边界信息增强图中像素点p的坐标，labelbp表示像素点p的标签值；(xq，yq)表示类别信息增强图/>中像素点q的坐标，labelcq表示像素点q的标签；(xl，yl)和(xr，yr)分别表示标注框的左上角点和右下角点坐标，(xc，yc)表示标注框的中心点坐标；α和β分别为预设的高斯函数系数，h和w分别为多尺度特征图Fs的高度和宽度；
通过上述边界增强来提供约束，使得边界范围内的像素点的标签值被设为1，而边界范围外的像素点的标签值被设为0；通过监督目标中心区域可以增强类别识别能力，同时缓解多任务特征冲突带来的性能下降问题，图像类别标签为图像中心点及其高斯扩散区域内的像素点。图6所示为基于上述信息监督方式得到的标签示意图，其中，(a)为输入的遥感图像，(b)为通过整个边界框所在区域对边界信息增强模块进行监督后，得到的边界信息标签，(c)为通过目标中心点及高斯扩散函数对类别信息增强模块进行监督后，得到的类别信息标签；
总的来说，本实施例通过上述监督方式对边界信息和类别信息进行分别监督，能够缓解检测识别任务耦合时的特征冲突问题，并基于位置检测和类别识别的任务特征，在不增加标注负担的同时能够引入更多的局部上下文信息，对各类任务的特征图像进行监督，有效提高目标检测的精度。
基于上述监督方式，相应地，可以计算边界信息增强的损失Lbe和类别信息增强的损失Lce，具体计算式分别如下：
其中，Nb和Nc分别表示边界信息增强图和类别信息增强图/>中像素点的总数，pb和qc分别表示边界信息增强图/>和类别信息增强图/>中某个像素点的像素值，labelbp和labelcq分别表示像素值pb和qc对应的标签，γ和μ分别为预设参数；
因为生成增强图的过程相当于01分类，但图中正样本的点(即目标范围内的点)远远少于负样本，基于上述公式计算边界信息增强的损失Lbe和类别信息增强的损失Lce，能够降低简单负样本的比重，提高训练效率。
由于本实施例能够有效确定关键点，因此，本实施例中采用基于关键点的目标回归方法，将信息增强后的特征图输入检测模块，在检测模块的第一步回归得到类别得分，同时经过两次DCN模块，得到目标相对于中心点的偏移量，从而得到相对于中心点的9个边界偏移点，取9个点可能包含的最大外接框作为目标的边界框，得到检测结果(xc，yc，hb，wb)；相应地，如图1所示，本实施例中，目标检测模块包括分类网络MDCLC和回归网络MDPTS，由分类网络MDCLC输出目标类别，由回归网络MDPTS输出对应的目标位置；
作为一种可选的实施方式，本实施例中，利用训练数据集对待训练的目标检测模型进行训练，其损失函数Ldet为：
Ldet＝δ1Lcls+δ2Lpts+δ3Lce+δ4Lbe；
其中，Lcls表示分类损失，Lpts表示边界框回归损失；Lbe为上述边界信息增强的损失，Lce为上述类别信息增强的损失，δ1、δ2、δ3、δ4分别为预设的权重参数；可选地，本实施例中，权重参数δ1、δ2、δ3、δ4的值分别设定为1.0，1.5，0.5，0.5；
上述损失函数中，除了包含目标检测相关的分类损失和边界框回归损失，还包括边界信息增强的损失和类别信息增强的损失，有利于在模型训练的过程中对边界信息增强模块和类别信息增强模块进行独立监督。
为了进一步加速模型的收敛，作为一种可选的实施方式，本实施例中，利用训练数据集对待训练的目标检测模型进行训练，包括：依次进行的第一训练阶段和第二训练阶段；
在第一训练阶段中，只对目标检测模块之前的模型参数进行调整；
在第二训练阶段中，对待训练的目标检测模型的整体模型参数进行调整；
由于目标检测包括分类与回归，训练耗时较长，本实施例分两阶段进行模型训练，能够有效加块模型的收敛速度；具体来说，在第一训练阶段中，只对目标检测模块之前的模型参数进行调整，能够快速完成对边界信息增强模块和类别信息增强模块的训练；在第二训练阶段中，对待训练的目标检测模型的整体模型参数进行调整，能够基于已训练好的边界信息增强模块和类别信息增强模块，快速完成对目标检测模块的训练，从而完成对整个模型的训练；
可选地，本实施例中，训练轮次为24轮，初始学习率为0.01，采用SGD(随机梯度下降)学习率调整策略，输入图像尺寸同一为(1000，1000)，同时采用了一些数据增强方法，包括随机翻转、边界补全等，提高算法的泛化能力。
实施例2：
一种遥感图像目标检测方法，包括：
以待检测的遥感图像作为输入，利用上述实施例1提供的基于上下文增强的遥感图像目标检测模型建立方法建立得到的遥感图像目标检测模型对待检测的遥感图像进行目标检测，得到待检测的遥感图像中感兴趣的目标位置及其类别。
相应地，为了适应模型对图像尺寸的要求，在将待检测的遥感图像输入遥感图像目标检测模型之前，还包括：将待检测的遥感图像进行缩放，使其尺寸与模型的输入尺寸相同；
以图7中(a)作为待检测图像，利用实施例1所建立的基于上下文增强的遥感图像目标检测模型对其进行目标检测后，所得到的边界信息增强度和类别信息增强图分别如图7中的(b)和(c)所示，根据图7中的(b)和(c)所示的图像可以看出，边界信息增强图能够有效增强目标边界的信息，而类别信息增强图能够有效增强目标类别的信息。
以下结合实施例2与现有的目标检测算法的对比结果，对本发明所能取得的有益效果进行验证说明。
采用公开的遥感数据作为测试集，该数据集中包含图像4276张，目标类别及数量如表1所示：
表1
飞机 体育场 港口 船舶 桥梁 储存罐
1785 1099 2229 8118 1000 2394
评价指标采用目标检测任务常用的均值平均精度指标(mAP)，mAP采用交并比IoU作为检测结果的判断标准，两个矩形区域的IoU指的是其交叉面积与合并面积的比值，当模型输出的预测框与标签中的真值框的IoU大于IoU阈值时，可以认为模型检测的结果是正确的；mAP通过精准率Precision和召回率Recall计算，计算方法如下：
其中，TP为真正例，表示模型正确地将正样本识别为正例；FP为假正例，表示模型错误地将负样本识别为正例；FN为假反例，表示模型错误地将正样本识别为反例；TN为真反例，表示模型正确地将负样本识别为反例；得到某一类的Precision和Recall后，可以绘制该类的P-R曲线，P-R曲线下的面积就是该类的AP，即：
在PASCAL VOC评估标准中，IoU阈值的取值为0.5，对各个类的AP值取平均值得到的就是检测任务的评价指标mAP，具体采用PASCAL VOC标准进行mAP的比较。
为了比较不同算法的召回率，采用平均召回率AR作为评价指标，具体计算是获取每个图像检测到固定数量的最大召回率，作为该类别的AR指标。取各类别AR指标的平均值，作为检测算法总体的召回率指标mAR，具体采用的单张图像检测框最大数量为100。
同时，为了衡量算法对于不同尺度目标的检测能力，同时计算了不同尺度范围内的mAP，定义面积小于322像素的目标为小型目标，面积在322像素到962像素范围内的目标为中型目标，大于962像素的目标为大型目标，小型目标mAP用mAPS来表示，中型目标mAP用mAPM来表示，大型目标mAP用mAPL来表示。
在比较算法性能时，选择了目标检测领域的典型算法，具体包括：双阶段典型目标检测算法faster rcnn、Libra RCNN，单阶段典型目标检测算法retinanet、ATSS，基于关键点的目标检测算法reppoints、foveabox、centernet等。通过多种类型的典型算法比较以验证本发明提供的遥感图像目标检测方法的性能。
表2为不同检测算法的mAP指标检测结果及其各个类别的AP指标检测结果：
表2
Model 飞机 体育场 港口 船舶 桥梁 储存罐 mAP
reppoints 0.963 0.951 0.560 0.834 0.620 0.963 0.815
retinanet 0988 0.966 0.627 0.870 0.651 0.976 0.846
fsater-rcnn 0.987 0.971 0.718 0.907 0.727 0.970 0.880
centernet 0.979 0.932 0.664 0.779 0.715 0.957 0.838
ATSS 0.987 0.970 0.634 0.902 0.710 0.977 0.863
Libra RCNN 0.978 0.965 0.643 0.869 0.688 0.967 0.852
foveabox 0.980 0.969 0.637 0.889 0.656 0.970 0.850
本发明所提出的方法 0.989 0.970 0.773 0.903 0.804 0.978 0.903
从表2中可以看出，本发明提出的目标检测算法在飞机、港口、桥梁、储存罐等类别上取得了最佳的检测性能，在体育场、船舶两个类别上取得了次优的检测性能，且与最优性能的差距非常小。在各类别平均检测精度mAP指标上取得了最佳的检测性能，结合图8的PR曲线可以看出，本发明提出的算法各个类别的目标的PR曲线与坐标轴围成的面积更大，检测精度更高，也意味着在设置相同召回率要求时，本发明提出的算法具有更高的精准率，在同等情况下，本发明提出的算法具有更低的虚警率。
表3为不同检测算法的mAR指标及其各个类别AR指标的检测结果：
表3
Model 飞机 体育场 港口 船舶 桥梁 储存罐 mAR
reppoints 0.777 0.805 0.524 0.669 0.538 0.847 0.693
retinanet 0.813 0.801 0.543 0.676 0.538 0.860 0.705
fsater-rcnn 0.796 0.792 0.557 0.697 0.501 0.853 0.699
centernet_ 0.797 0.816 0.501 0.532 0.524 0.820 0.665
ATSS 0.822 0.835 0.522 0.690 0.520 0.863 0.709
Libra RCNN 0.824 0.832 0.563 0.691 0.581 0.863 0.726
foveabox 0.798 0.824 0.534 0.700 0.528 0.850 0.706
本发明所提出的方法 0.853 0.850 0.636 0.727 0.614 0.872 0.759
从表3中可以看出，在设定单张图像获取的目标数量为100的情况下，本发明提出的算法在各个典型类别下均取得了最高的召回率，同时，各类别平均召回率相对于其他典型算法也有了明显提升，这说明在同等条件下，本发明提出的算法具有更低的漏警率。
表4为不同检测算法的mAPS指标检测结果及其各个类别的APS指标检测结果，表4中为-1的结果代表数据集中该类别没有对应尺度的目标标注，在计算mAPS时不会被引入；表5为不同检测算法的mAPM指标检测结果及其各个类别的APM指标检测结果；表6为不同检测算法的mAPL指标检测结果及其各个类别的APL指标检测结果；
表4
Model 飞机 体育场 港口 船舶 桥梁 储存罐 mAPS
reppoints -1 0.101 -1 0.059 0.088 0.271 0.130
retinanet -1 0.452 -1 0.250 0.104 0.276 0.271
fsater-rcnn -1 0.151 -1 0.142 0.084 0.283 0.165
centernet_ -1 0.404 -1 0.012 0.045 0.114 0.144
ATSS -1 0.502 -1 0.249 0.201 0.309 0.315
Libra RCNN -1 0.518 -1 0.148 0.104 0.292 0.266
foveabox -1 0.552 -1 0.198 0.106 0.291 0.287
本发明所提出的方法 -1 0.651 -1 0.133 0.154 0.272 0.303
表5
Model 飞机 体育场 港口 船舶 桥梁 储存罐 mAPM
reppoints 0.696 0.583 0.111 0.537 0.199 0.676 0.467
retinanet 0.721 0.600 0.149 0.562 0.235 0.710 0.496
fsater-rcnn 0.714 0.597 0.199 0.602 0.231 0.703 0.508
centernet_ 0.634 0.480 0.094 0.390 0.145 0.605 0.391
ATSS 0.716 0.606 0.149 0.591 0.225 0.699 0.498
Libra RCNN 0.719 0.605 0.141 0.571 0.242 0.706 0.498
foveabox 0.709 0.606 0.118 0.584 0.231 0.687 0.489
本发明所提出的方法 0.753 0.606 0.227 0.607 0.267 0.726 0.531
表6
Model 飞机 体育场 港口 船舶 桥梁 储存罐 mAPL
reppoints 0.727 0.798 0.328 0.504 0.369 0.849 0.596
retinanet 0.786 0.781 0.348 0.558 0.371 0.860 0.617
fsater-rcnn 0.772 0.799 0.437 0.655 0.447 0.869 0.663
centernet_ 0.789 0.849 0.441 0.644 0.518 0.862 0.684
ATSS 0.792 0.845 0.349 0.597 0.428 0.873 0.647
Libra RCNN 0.799 0.836 0.390 0.617 0.432 0.872 0.658
foveabox 0.760 0.826 0.355 0.607 0.386 0.857 0.632
本发明所提出的方法 0.822 0.874 0.519 0.731 0.565 0.885 0.733
从表4中可以看出，本发明提出的算法对于尺度较小的目标也具有较强的检测能力，在mAPS指标上取得了次优的检测性能；从表5和表6中的mAPM和mAPL指标可以看出，本发明提出的遥感图像目标检测方法对于各个类别的尺度中等和尺度较大的目标均取得了最佳的检测性能。综合三类不同尺度目标的检测结果，本发明提出的遥感图像目标检测方法具有更好的多尺度检测能力。
综合以上分析可以看出，本发明所提出的方法在与双阶段方法、单阶段方法、关键点方法的代表算法比较中取得了最佳的检测性能，对于桥梁和港口等难检目标性能提升效果明显。
进一步地，图9所示为针对船舶遥感图像的目标检测结果，其中，(a)为本发明提出的遥感图像目标检测方法的目标检测结果，(b)是reppoints目标检测算法的结果，对比图9中的(a)和(b)所示的目标检测结果可以看出，reppoints算法围绕一个目标产生了多个高置信度的边界框，这说明该算法在目标定位时有一定问题，而本发明出的遥感图像目标检测方法能够准确提取出目标的边界；如图10所示为针对飞机遥感图像的目标检测结果，其中，(a)为本发明提供的遥感图像目标检测方法的目标检测结果，(b)是retinanet目标检测算法的检测结果，对比图10中的(a)和(b)所示的目标检测结果可以看出，retinanet算法产生了虚警，说明该算法过于关注全局信息而忽视了目标的局部特性，而本发明提供的遥感图像目标检测方法准确提取了感兴趣的目标，说明本发明提供的遥感图像目标检测方法具有更强的目标识别能力。
图11中展示了本发明提供的遥感图像目标检测方法对不同类别典型目标的检测结果，可以看出在复杂环境及多种目标尺度下本算法都有着很好的检测性能，能够在准确识别类别的同时保证定位精确度。结合mAP和mAR等指标可以看出，本发明提供的遥感图像目标检测方法可以有效减少遥感图像目标检测过程中的漏警和虚警，具有更好的检测性能。
实施例3：
一种计算机可读存储介质，包括存储的计算机程序；
计算机程序被处理器执行时，控制计算机可读存储介质所在设备执行上述实施例1提供的基于上下文增强的遥感图像目标检测模型建立方法，和/或上述实施例2提供的遥感图像目标检测方法。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于上下文增强的遥感图像目标检测模型建立方法，其特征在于，包括：
基于神经网络建立待训练的目标检测模型，用于对遥感图像进行目标检测，并利用训练数据集对所述待训练的目标检测模型进行训练，从而在训练结束后，得到基于上下文增强的遥感图像目标检测模型；
其中，所述目标检测模型包括：多尺度特征图提取模块，用于提取输入的遥感图像的多尺度特征图Fs；全局空间上下文模块，用于提取所述多尺度特征图Fs的全局上下文信息，得到全局上下文注意力图MA；边界信息增强模块，用于增强所述多尺度特征图Fs中的边界信息，得到边界信息增强图第一通道权重学习模块，用于捕捉所述边界信息增强图中通道间的信息关联，得到第一通道权重；第一特征融合模块，用于根据所述第一通道权重将所述全局上下文注意力图MA和所述边界信息增强图/>融合，得到边界信息增强的特征图/>类别信息增强模块，用于增强所述多尺度特征图Fs中的类别信息，得到类别信息增强图/>第二通道权重学习模块，用于捕捉所述类别信息增强图/>中通道间的信息关联，得到第二通道权重；第二特征融合模块，用于根据所述第二通道权重将所述全局上下文注意力图MA和所述类别信息增强图/>融合，得到类别信息增强的特征图/>第三特征融合模块，用于将所述多尺度注意力图Fs、所述边界信息增强的特征图/>以及所述类别信息增强的特征图/>融合，得到上下文信息增强后的特征图/>目标检测模块，用于对所述上下文信息增强后的特征图/>进行目标检测；
训练过程中，通过整个边界框所在区域对所述边界信息增强模块进行监督，通过目标中心点及高斯扩散函数对所述类别信息增强模块进行监督。
2.如权利要求1所述的基于上下文增强的遥感图像目标检测模型建立方法，其特征在于，所述全局空间上下文模块包括：依次连接的m个自适应卷积模块和一个sigmoid层；
其中，m为预设的正整数。
3.如权利要求1所述的基于上下文增强的遥感图像目标检测模型建立方法，其特征在于，所述边界信息增强模块和所述类别信息增强模块的结构相同；
所述边界信息增强模块包括：n个卷积核大小为1*1的第一卷积层、一个第一融合层和一个卷积核大小为3*3的第二卷积层；n为所述多尺度特征图Fs中图像层数；
n个所述第一卷积层分别用于对所述多尺度特征图Fs中的各层图像进行卷积操作，使各层图像的通道数与图像类别数相同；
所述第一融合层用于融合各所述第一卷积层的输出图像，得到多层特征融合后的特征图；
所述第二卷积层用于对所述多层特征融合后的特征图进行卷积操作。
4.如权利要求1所述的基于上下文增强的遥感图像目标检测模型建立方法，其特征在于，所述第一通道权重学习模块和所述第二通道权重学习模块的结构相同；
所述第一通道权重学习模块包括：第一分支、第二分支、第二融合层以及连接于所述第二融合层之后的sigmoid层；
所述第一分支包括依次连接的自适应平均池化层以及一个或多个自适应卷积模块，所述第二分支包括依次连接的自适应最大池化层以及一个或多个自适应卷积模块；所述第一分支和所述第二分支分别用于捕捉输入的特征图中通道间的信息关联，输出相应的中间特征图；
所述第二融合层用于融合所述第一分支和所述第二分支输出的中间特征图。
5.如权利要求1所述的基于上下文增强的遥感图像目标检测模型建立方法，其特征在于，多尺度特征图提取模块包括依次连接的特征提取网络和全局上下文特征金字塔网络；
所述特征提取网络包括多层残差模块，其中多层残差模块输出的特征图共同组成特征图Ff；
所述全局上下文特征金字塔网络包括第三融合层、第四融合层以及GCNET网络；所述第三融合层用于对所述特征图Ff中的各层图像进行3*3卷积操作并融合上层特征图，得到中间层特征图；所述第四融合层用于对所述中间层特征图中的各层图像进行3*3卷积操作并融合底层特征图，得到增强特征图；所述GCNET网络用于提取所述增强特征图中各层图像的通道注意力信息，得到所述多尺度特征图Fs。
6.如权利要求1-5任一项所述的基于上下文增强的遥感图像目标检测模型建立方法，其特征在于，
通过整个边界框所在区域对所述边界信息增强模块进行监督，包括：
按照设置所述边界信息增强图/>中各像素点的标签；
通过目标中心点及高斯扩散函数对所述类别信息增强模块进行监督，包括：
按照设置所述类别信息增强图/>中各像素点的标签；
其中，(xp，yp)表示所述边界信息增强图中像素点p的坐标，labelbp表示所述像素点p的标签值；(xq，yq)表示所述类别信息增强图/>中像素点q的坐标，labelcq表示所述像素点q的标签；(xl，yl)和(xr，yr)分别表示标注框的左上角点和右下角点坐标，(xc，yc)表示标注框的中心点坐标；α和β分别为预设的高斯函数系数，h和w分别为所述多尺度特征图Fs的高度和宽度。
7.如权利要求6所述的基于上下文增强的遥感图像目标检测模型建立方法，其特征在于，利用训练数据集对所述待训练的目标检测模型进行训练，其损失函数Ldet为：
Ldet＝δ1Lcls+δ2Lpts+δ3Lce+δ4Lbe；
其中，Lcls表示分类损失，Lpts表示边界框回归损失；Lbe为边界信息增强的损失，且Lce为类别信息增强的损失，且Nb和Nc分别表示所述边界信息增强图/>和所述类别信息增强图/>中像素点的总数，pb和qc分别表示所述边界信息增强图/>和所述类别信息增强图/>中某个像素点的像素值，labelbp和labelcq分别表示像素值pb和qc对应的标签，γ和μ分别为预设参数；δ1、δ2、δ3、δ4分别为预设的权重参数。
8.如权利要求1-5任一项所述的基于上下文增强的遥感图像目标检测模型建立方法，其特征在于，利用训练数据集对所述待训练的目标检测模型进行训练，包括：依次进行的第一训练阶段和第二训练阶段；
在所述第一训练阶段中，只对所述目标检测模块之前的模型参数进行调整；
在所述第二训练阶段中，对所述待训练的目标检测模型的整体模型参数进行调整。
9.一种遥感图像目标检测方法，其特征在于，包括：
以待检测的遥感图像作为输入，利用权利要求1-8任一项所述的基于上下文增强的遥感图像目标检测模型建立方法建立得到的遥感图像目标检测模型对所述待检测的遥感图像进行目标检测，得到所述待检测的遥感图像中感兴趣的目标位置及其类别。
10.一种计算机可读存储介质，其特征在于，包括存储的计算机程序；
所述计算机程序被处理器执行时，控制所述计算机可读存储介质所在设备执行权利要求1-8任一项所述的基于上下文增强的遥感图像目标检测模型建立方法，和/或权利要求9所述的遥感图像目标检测方法。
CN202011059137.6A 2020-09-30 2020-09-30 基于上下文增强的遥感图像目标检测模型建立方法及应用 Active CN112200045B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011059137.6A CN112200045B (zh) 2020-09-30 2020-09-30 基于上下文增强的遥感图像目标检测模型建立方法及应用

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011059137.6A CN112200045B (zh) 2020-09-30 2020-09-30 基于上下文增强的遥感图像目标检测模型建立方法及应用

Publications (2)

Publication Number Publication Date
CN112200045A CN112200045A (zh) 2021-01-08
CN112200045B true CN112200045B (zh) 2024-03-19

Family

ID=74008250

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011059137.6A Active CN112200045B (zh) 2020-09-30 2020-09-30 基于上下文增强的遥感图像目标检测模型建立方法及应用

Country Status (1)

Country Link
CN (1) CN112200045B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112818975A (zh) * 2021-01-27 2021-05-18 北京金山数字娱乐科技有限公司 文本检测模型训练方法及装置、文本检测方法及装置
CN113361533A (zh) * 2021-05-19 2021-09-07 山东师范大学 重叠遮挡的目标物的分割识别方法及系统
CN113569636B (zh) * 2021-06-22 2023-12-05 中国科学院信息工程研究所 基于球面特征的鱼眼图像特征处理方法、系统及电子设备
CN113658114A (zh) * 2021-07-29 2021-11-16 南京理工大学 基于多尺度交叉注意力的接触网开口销缺陷目标检测方法
CN114005028B (zh) * 2021-07-30 2023-02-17 北京航空航天大学 一种抗干扰的遥感图像目标检测轻量系统及其方法
CN113902712A (zh) * 2021-10-12 2022-01-07 腾讯科技（深圳）有限公司 基于人工智能的图像处理方法、装置、设备及介质
CN114241411B (zh) * 2021-12-15 2024-04-09 平安科技（深圳）有限公司 基于目标检测的计数模型处理方法、装置及计算机设备
CN114037637B (zh) * 2022-01-10 2022-04-19 苏州浪潮智能科技有限公司 一种图像数据增强方法、装置、计算机设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019144575A1 (zh) * 2018-01-24 2019-08-01 中山大学 一种快速行人检测方法及装置
CN110287927A (zh) * 2019-07-01 2019-09-27 西安电子科技大学 基于深度多尺度和上下文学习的遥感影像目标检测方法
CN110689083A (zh) * 2019-09-30 2020-01-14 苏州大学 一种上下文金字塔融合网络及图像分割方法
CN111079739A (zh) * 2019-11-28 2020-04-28 长沙理工大学 一种多尺度注意力特征检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019144575A1 (zh) * 2018-01-24 2019-08-01 中山大学 一种快速行人检测方法及装置
CN110287927A (zh) * 2019-07-01 2019-09-27 西安电子科技大学 基于深度多尺度和上下文学习的遥感影像目标检测方法
CN110689083A (zh) * 2019-09-30 2020-01-14 苏州大学 一种上下文金字塔融合网络及图像分割方法
CN111079739A (zh) * 2019-11-28 2020-04-28 长沙理工大学 一种多尺度注意力特征检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
采用改进Faster R-CNN的遥感图像目标检测方法;李玉峰;顾曼璇;赵亮;;信号处理;20200825(08);第181-191页 *

Also Published As

Publication number Publication date
CN112200045A (zh) 2021-01-08

Similar Documents

Publication Publication Date Title
CN112200045B (zh) 基于上下文增强的遥感图像目标检测模型建立方法及应用
CN111723748B (zh) 一种红外遥感图像舰船检测方法
CN108961235B (zh) 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法
CN110348319B (zh) 一种基于人脸深度信息和边缘图像融合的人脸防伪方法
CN109165658B (zh) 一种基于Faster-RCNN的强负样本水下目标检测方法
CN112818969A (zh) 一种基于知识蒸馏的人脸姿态估计方法及系统
CN110009622B (zh) 一种显示面板外观缺陷检测网络及其缺陷检测方法
CN111126278A (zh) 针对少类别场景的目标检测模型优化与加速的方法
CN111950525A (zh) 一种基于破坏重建学习与GoogLeNet的细粒度图像分类方法
CN115588190A (zh) 一种成熟果实识别和采摘点定位方法及装置
CN114781514A (zh) 一种融合注意力机制的漂浮物目标检测方法及系统
CN113221956A (zh) 基于改进的多尺度深度模型的目标识别方法及装置
CN115661720A (zh) 一种被遮挡车辆的目标跟踪识别方法及系统
CN117557784B (zh) 目标检测方法、装置、电子设备及存储介质
WO2022222036A1 (zh) 车位确定方法及装置
CN111368865A (zh) 遥感影像储油罐检测方法、装置、可读存储介质及设备
CN117152601A (zh) 一种基于动态感知区域路由的水下目标检测方法及系统
CN110136098B (zh) 一种基于深度学习的线缆顺序检测方法
CN110889418A (zh) 一种气体轮廓识别方法
CN111160372A (zh) 一种基于高速卷积神经网络的大目标识别方法
CN113780462B (zh) 基于无人机航拍图像的车辆检测网络建立方法及其应用
CN113657196B (zh) Sar图像目标检测方法、装置、电子设备和存储介质
CN116051808A (zh) 一种基于YOLOv5的轻量化零件识别定位方法
CN114067186B (zh) 一种行人检测方法、装置、电子设备及存储介质
CN111950586B (zh) 一种引入双向注意力的目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant