CN113076877A - 基于地面采样距离的遥感图像目标检测方法、系统和介质 - Google Patents

基于地面采样距离的遥感图像目标检测方法、系统和介质 Download PDF

Info

Publication number
CN113076877A
CN113076877A CN202110361159.6A CN202110361159A CN113076877A CN 113076877 A CN113076877 A CN 113076877A CN 202110361159 A CN202110361159 A CN 202110361159A CN 113076877 A CN113076877 A CN 113076877A
Authority
CN
China
Prior art keywords
remote sensing
target
sensing image
image
sampling distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110361159.6A
Other languages
English (en)
Other versions
CN113076877B (zh
Inventor
余翔宇
曾群期
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202110361159.6A priority Critical patent/CN113076877B/zh
Publication of CN113076877A publication Critical patent/CN113076877A/zh
Application granted granted Critical
Publication of CN113076877B publication Critical patent/CN113076877B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/13Satellite images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/32Normalisation of the pattern dimensions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于地面采样距离的遥感图像目标检测方法、系统和介质,方法包括以下步骤:获取遥感图像;对所述遥感图像进行特征提取和分类,得到所述遥感图像的地面采样距离预测结果;根据所述地面采样距离预测结果对所述遥感图像进行分割,得到多张图像序列;采用超分辨网络对所述多张图像序列分别进行特征提取、上采样和分辨率放大操作,生成目标图像序列;采用目标检测网络对所述目标图像序列进行目标检测,生成目标检测结果矩阵序列,所述目标检测网络为two‑stage式遥感目标检测网络。本发明能避免遥感图像中的目标具有多样性和复杂性对目标检测结果的影响,提高目标提取结果的准确性。本发明可广泛应用于遥感技术领域。

Description

基于地面采样距离的遥感图像目标检测方法、系统和介质
技术领域
本发明涉及遥感技术领域,尤其是涉及一种基于地面采样距离的遥感图像目标检测方法、系统和介质。
背景技术
随着空间技术的发展,特别是地理信息系统和全球定位系统的发展和相互渗透,遥感技术水平应用领域将越来越广泛。目标检测的信息处理技术是当今自动目标识别的关键技术之一,也是遥感图像信息提取的核心所在,它在军事和民用领域都具有重要的应用意义和研究价值。自动目标识别技术可以从遥感图像的复杂背景中自动提取目标特征,并根据特定区域和典型目标的特征模板数据库,或利用边缘、灰度、纹理结构等信息实现检测、拦截、识别和跟踪目标。
由于遥感图像中的目标具有多样性和复杂性,例如自然物体的阴影造成的人造物体、物体之间的重叠等因素,均会降低目标的识别精度,若仅采用低阶特征提取方式,会使得目标提取结果的准确性大大降低。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。为此,本发明提出一种基于地面采样距离的遥感图像目标检测方法、系统和介质,能够有效提高目标提取结果的准确性。
本发明第一方面实施例提供了一种基于地面采样距离的遥感图像目标检测方法,包括以下步骤:
获取遥感图像;
对所述遥感图像进行特征提取和分类,得到所述遥感图像的地面采样距离预测结果;
根据所述地面采样距离预测结果对所述遥感图像进行分割,得到多张图像序列;
采用超分辨网络对所述多张图像序列分别进行特征提取、上采样和分辨率放大操作,生成目标图像序列;
采用目标检测网络对所述目标图像序列进行目标检测,生成目标检测结果矩阵序列,所述目标检测网络为two-stage式遥感目标检测网络。
本实施例提供的一种基于地面采样距离的遥感图像目标检测方法,具有如下有益效果:
本实施例通过先对获取的遥感图像进行特征提取和分类,得到遥感图像的地面采样距离预测结果,接着根据地面采样距离预测结果对遥感图像进行分割,得到多张图像序列,紧接着采用超分辨网络对多张图像序列分别进行特征提取、上采样和分辨率放大操作,生成目标图像序列,最后通过two-stage式遥感目标检测网络对目标图像序列进行目标检测,生成目标检测结果矩阵序列,以避免遥感图像中的目标具有多样性和复杂性对目标检测结果的影响,提高目标提取结果的准确性。
可选地,所述对所述遥感图像进行特征提取和分类,得到所述遥感图像的地面采样距离预测结果,包括:
确定所述遥感图像的采集特性信息;
根据所述采集特性信息确定所述遥感图像的目标采样方式;
根据所述目标采样方式对所述遥感图像进行采样;
根据预设地面采样距离预测网络对采样后的遥感图像进行地面采样距离预测,得到所述遥感图像的地面采样距离预测结果。
可选地,所述根据所述地面采样距离预测结果对所述遥感图像进行分割,得到多张图像序列,包括:
根据所述地面采样距离预测结果确定所述遥感图像的固定剪裁方式;
根据确定的固定剪裁方式对所述遥感图像进行分割,得到多张图像序列。
可选地,所述对所述目标图像序列进行目标检测,生成目标检测结果矩阵序列,包括:
提取所述目标图像序列的多层特征;
对所述多层特征进行特征融合,得到特征融合图;
根据所述特征融合图预测目标框;
采用所述目标框提取所述特征融合图中的目标图像,生成目标检测结果矩阵序列。
可选地,所述提取所述目标图像序列的多层特征,其具体为:
提取所述目标图像序列的位置信息和语义信息。
可选地,在所述根据所述特征融合图预测目标框这一步骤后,还包括以下步骤:
对所述目标框进行筛选,得到候选框。
可选地,所述预设地面采样距离预测网络包括卷积特征提取网络、第一全连接层、第二全连接层和输出层。
本发明第二方面实施例提供了一种基于地面采样距离的遥感图像目标检测系统,包括:
获取模块,用于获取遥感图像;
特征提取与分类模块,用于对所述遥感图像进行特征提取和分类,得到所述遥感图像的地面采样距离预测结果;
分割模块,用于根据所述地面采样距离预测结果对所述遥感图像进行分割,得到多张图像序列;
生成模块,用于采用超分辨网络对所述多张图像序列分别进行特征提取、上采样和分辨率放大操作,生成目标图像序列;
目标检测模块,用于采用目标检测网络对所述目标图像序列进行目标检测,生成目标检测结果矩阵序列,所述目标检测网络为two-stage式遥感目标检测网络。
本发明第三方面实施例提供了一种基于地面采样距离的遥感图像目标检测系统,包括:
至少一个存储器,用于存储程序;
至少一个处理器,用于加载所述程序以执行第一方面实施例提供的基于地面采样距离的遥感图像目标检测方法。
本发明第四方面实施例提供了一种存储介质,其中存储有处理器可执行的程序,所述处理器可执行的程序在由处理器执行时用于执行第一方面实施例提供的基于地面采样距离的遥感图像目标检测方法。
本发明的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
下面结合附图和实施例对本发明做进一步的说明,其中:
图1为本发明实施例的一种基于地面采样距离的遥感图像目标检测方法的流程图;
图2为本发明实施例的一种预设采样距离预测网络的模块框图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能理解为对本发明的限制。
在本发明的描述中,若干的含义是一个以上,多个的含义是两个以上,大于、小于、超过等理解为不包括本数,以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
本发明的描述中,除非另有明确的限定,设置等词语应做广义理解,所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
本发明的描述中,参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
随着航空航天技术的不断发展,遥感技术水平也在持续革新。目前遥感技术已广泛应用于农业、林业、地质、海洋、气象、水文、军事、环境保护等领域。遥感图像的指标包括空间分辨率、光谱分辨率和时间分辨率。随着遥感图像的各项指标的提高,有望进入实时快速地提供各类地球观测数据的新阶段。而随着空间技术的发展,特别是地理信息系统和全球定位系统的发展和相互渗透,遥感技术应用领域将越来越广泛。
遥感技术中遥感图像信息提取的核心是目标检测技术。目标检测技术在军事和民用领域都具有重要的应用意义和研究价值,其能从遥感图像的复杂背景中自动提取目标特征,并根据特定区域和典型目标的特征模板数据库,或利用边缘、灰度、纹理结构等信息实现检测、拦截、识别和跟踪目标。
目前,由于遥感图像中的目标具有多样性和复杂性,即遥感图像存在着丰富的信息,待检测目标的类型和结构复杂多样。检测目标包括湖泊等自然物体,以及建筑物、公路、居民区等人造物体。同时,在遥感图像中,待检测物体与其他物体之间会出现重叠等现象,这给遥感图像目标检测和识别带来了困难。其次,遥感图像中噪声、光照变化、云雾的干扰可能导致同类目标的类内差异增大,不同类型目标的类间差异减小,从而降低了目标的识别精度,给自动识别带来困难。此外,遥感图像的内容复杂,目标来源多样,仅采用低阶特征提取方法无法充分准确地表达遥感图像的目标,限制了遥感图像目标检测的准确性。最后,图像语义信息的处理技术还不够成熟,低层次特征与高层次语义信息难以结合,缺乏有效的先验信息,制约了目标识别精度的进一步提高。
基于此,本发明实施例提供了一种基于地面采样距离的遥感图像目标检测方法,本实施例可以应用于服务器、各类图像处理平台的后台处理器。具体地,本实施例通过先对获取的遥感图像进行特征提取和分类,得到遥感图像的地面采样距离预测结果,接着根据地面采样距离预测结果对遥感图像进行分割,得到多张图像序列,然后采用超分辨网络对多张图像序列分别进行特征提取、上采样和分辨率放大操作,生成目标图像序列,最后通过two-stage式遥感目标检测网络对目标图像序列进行目标检测,生成目标检测结果矩阵序列,以避免遥感图像中的目标具有多样性和复杂性对目标检测结果的影响,从而提高目标提取结果的准确性。
在应用过程中,如图1所示,本实施例包括步骤S110至S150:
S110、获取遥感图像。本步骤中的遥感图像为当前需要进行目标提取的图像,可以是从遥感图像采集设备中直接获取,也可以从服务器的存储模块中提取。
S120、对遥感图像进行特征提取和分类,得到遥感图像的地面采样距离预测结果。
本申请实施例中,采用预设采样距离预测网络对遥感图像进行特征提取和分类,得到遥感图像的地面采样距离预测结果。具体地,首先将遥感图像进行预处理,并基于遥感图像的采集特性信息确定遥感图像的目标采样方式。其中,采集特性信息包括遥感图像的采集与处理特性。遥感图像具有差异较大的分别率和遥感内容,且由于遥感图像是基于卫星和无人机采集的图像,包含大范围地面图像与多类地表区域,并具有比普通生活图像更大的分别率,因此,本实施例将多点采样方式作为目标采样方式。例如,在大分辨率图像中选择均匀的多点为采样中心,然后按照72×72的尺度大小进行采样,以得到若干张尺度一致的采样图像。
其次,采用预设采样距离预测网络对若干张尺度一致的采样图像进行地面采样距离预测。具体地,预设地面采样距离预测网络包括卷积特征提取网络、第一全连接层、第二全连接层和输出层。其中,将ResNet-50作为卷积特征提取网络,该网络的输入为固定尺度大小的图像,通过ResNet-50中的卷积层、池化层与残差模块,得到卷积特征图像。第一全连接层与前端卷积特征提取网络通过一次特征图平铺操作后直接相连,第一全连接层名称定义为FC1,其具有1024个神经元。第二全连接层与第一全连接层相连,第二全连接层名称定义为FC2,其具有10个神经元。输出层与第二全连接层相连,具有3个输出标签,分别是过小、中等、过大,每张输入图像将只能得到其中之一的标签作为输出,输出由3个标签中的最大响应值决定。
在本申请实施例中,地面采样距离为数字影像中用地面距离单位表示的像素大小,体现在遥感图像当中,较大的地面采样距离会使得单位像素面积所包含的实际地面范围较大,反之,在大地面采样距离遥感图像中,同样像素面积内的内容物将在统计意义上多于较低地面采样距离的遥感图像,其中内容物往往由建筑、车辆、船舶、植被及各类设施构成。由此可知,区别遥感图像地面采样距离的一个显著指征,是对图像中单位面积内的内容物密集程度进行分析。当图像内存在的内容物越丰富的时候,一个显著的外化表现体现于图像的纹理复杂度之中。其中,基于BP神经网络的图像复杂度评价网络,其利用神经网络自主学习特征的能力,对图像复杂度进行“感知”型的学习,并给出相对复杂度参考。通过借鉴基于BP神经网络的图像复杂度评价网络,对本申请实施例的预设采样距离预测网络进行逻辑设计。
具体地,如图2所示,本申请实施例的预设采样距离预测网络包括训练阶段和预测阶段,训练阶段包括标注数据筛选和数据增广,预测阶段包括多点采样、特征提取和分类预测。
其中,在训练阶段,首先经由分析,前端采用了深层卷积网络对输入图像进行特征提取,在训练过程中,网络会逐渐学习到对纹理与梯度敏感的卷积核,网络的预期输出为具有64个通道的7×7特征图矢量;紧接着,先将前端网络得到的特征图像矢量进行展平操作,将特征图矢量转换为1×(7×7×64)长度的特征向量,然后构建一个基于全连接的后端预测网络,预测网络由两层中间层与一层输出层构成,第一层是长度为1024个神经元的全连接层FC1,FC1接收被展平后的1×(7×7×64)长度的特征向量,经由激活后得到1024维的输出;第二层是长度为10个神经元的全连接层FC2,FC2接收由FC1输出的1024维输出,经由激活后得到10维的输出;输出层具有3个输出,其接收FC2的10维输出,经由加权、激活函数ReLU后得到一个3维标签矢量,特别地,通过使用softmax函数对输出进行标准化,可以得到一个绝对标签输出,即为网络地面采样距离预测输出。具体地,在处理训练数据集时,由于原始数据集中存在标注缺失、图像引入与地面采样距离无关噪声等问题,因此需要先行对原始数据进行筛选,将数据集中会引入差错信息的图像与标注删除;此外,由于在原始数据集的数据分部存在不均匀情况,中小地面采样距离的遥感图像数量远大于大地面采样距离的遥感图像,为确保预测网络能学习到合理的分布,对数据分布进行调整势在必行,因此使用数据增广方法预先对大地面采样距离图像进行增广,最终得到正式训练图像数据集。
在预测阶段,当遥感图像输入之后,为减少无关因素对预测结果的影响,首先对输入遥感图像进行采样操作,其具体实施方式为均匀采样法,在图像中均匀选取若干小块,每块具有一致的大小尺度,这一采样方法能最大程序地避免因纹理分布不均导致的预测偏差。随之,在采样图像块通过地面采样距离预测网络后,将得到若干不同程度的预测结果,高地面采样距离的图像将在统计学意义上具有必然的纹理复杂特性,因此在决定最终输出结果时,采用投票统计的方式作为最终输出结果,以获得最接近真实值的预测结果。
S130、根据地面采样距离预测结果对遥感图像进行分割,得到多张图像序列。
在本申请实施例中,由于多张遥感图像的大小像素与拍摄距离有关,若采用单一的剪裁方式,则会导致剪裁得到的图像不符合预设的要求。基于此,先通过地面采样距离预测结果确定遥感图像的固定剪裁方式,根据确定的固定剪裁方式对遥感图像进行分割,以得到多张图像序列。具体地,首先对遥感图像对应的地面采样距离进行判断,若为地面采样距离过小或中等,则直接对遥感图像进行800×800分辨率的固定裁切,并在裁切操作中使用544像素作为移动步长;若地面采样距离为过大,则先进行200×200分辨率的固定裁切,并在裁切操作中使用120像素作为移动步长,随后将裁切好200×200分辨率的图像送入一个超分辨生成对抗网络GAN网络中进行超分辨。而800×800分辨率则不需要进行超分辨。
S140、采用超分辨网络对多张图像序列分别进行特征提取、上采样和分辨率放大操作,生成目标图像序列。
在本申请实施例中,在通过步骤S130得到多张图像序列后,再通过超分辨生成对抗网络GAN网络对多张图像序列进行特征提取和上采样操作,并在输出过程将特征提取和上采样操作的图像放大至特定倍数后得到目标图像序列。此时,目标图像序列与遥感图像具有更大的分辨率。
在本申请实施例中,GAN网络对遥感图像进行处理时,使用超分辨率重建网络SRGAN生成初始超分辨图像HR,初始超分辨图像HR已生成若干细节,但由于深度网络的局限性,此时生成的高分辨图像往往会存在过于平滑的问题,其虽然在峰值信噪比PSNR等指标上有了明显提升,但对于细节和边缘仍存在平滑与不连续问题。基于此,使用分支网络进行边缘增强,边缘增强网络的主要目的是给生成的高分辨率图像添加更多边缘信息,这可以提升后续目标检测网络的检测效果。其具体是使用Laplacian算子对初始超分辨图像HR进行边缘提取滤波操作,得到初始超分辨图像HR的边缘图像,由于在计算边缘时必须会带入新的噪声,噪声在图像当中则往往表现为无用、多余、重复或者存在于物体内部的错误边缘等等,因此需要对初始超分辨图像HR的边缘图像进行降噪操作,以降低图像中非边缘点高度,并得到新的降噪边缘图像,最后,将初始超分辨图像HR与得到的降噪边缘图像进行融合,得到经过边缘增强的超分辨图像作为目标图像序列。相比于输入的低分辨图像LR,生成的边缘增强高分辨图像在分辨率上有了显著提升,同时借助GAN网络学习得到的图像特征,可以在生成图像中保有相当的图像细节,再经由分支边缘增强网络对边缘进行增强,能进一步地提升图像中目标的显著性与完整性,有利于后续目标检测的定价与识别。
S150、采用目标检测网络对目标图像序列进行目标检测,生成目标检测结果矩阵序列,其中,目标检测网络为two-stage式遥感目标检测网络。
在本申请实施例中,two-stage式遥感目标检测网络使用ResNet-50作为backbone网络,其作用是用于提取输入的目标图像序列的多层特征,浅层的网络可以提取出目标图像序列更多的位置信息,而深层的网络可以提取出目标图像序列更多的语义信息。接着使用FPN结构对backbone网络进行特征提取。在本申请实施例中,将backbone网络ResNet-50中由浅至深,尺度不同的4层卷积特征图像输出构建FPN特征金字塔,然后在FPN各层间进行上采样与特征融合,得到兼具语义信息与位置信息的特征融合图作为输出;使用rpn网络对特征融合图进行目标框预测,以得到目标框,在这一过程中,对目标框进行筛选,具体使用NMS计算合并无用和重复的目标,以得到候选框。最后使用一个具有RoI池化的识别网络进一步识别候选框,池化后的候选框与特征融合图结合,可以得到若干候选目标图像,经由多层全连接层进行识别后,生成目标检测结果矩阵序列。具体地,目标检测结果矩阵序列由两部分组成,第一部分为k+1维矢量序列,其中k为待检测目标总类别数,矢量第k项数值即为目标属于第k类的概率,而最后一项数值是目标不属于任何一类的概率;同样地,第二部分为4k维矢量序列,其中k为待检测目标总类别数,矢量中4项数值依次表示网络对该目标的位置预测(x,y,w,h),其中x,y分别表示目标预测框左上角坐标,w表示目标预测框的宽,h表示目标预测框的长。
由此可知,本申请实施例的two-stage式遥感目标检测网络在Faster-RCNN的基本思想上,增加了FPN特征金字塔、DCN可形变卷积、cascade深度卷积等结构,从而提升了目标检测能力与准确率。
其中,FPN特征金字塔可以实现特征融合,以获得更好的位置信息与语义信息的结合。在FPN结构中存在自底向上与自顶向下两重过程,自底向上是网络的前向过程,依据网络深度抽取backbone网络中每一阶段的输出作为一层,在本实施例中,使用ResNet-50作为backbone,依次取Conv2、Conv3、Conv4、Conv5四个阶段的输出;而自顶向下的过程采用了上采样进行,这是卷积的逆过程,特征图尺度随着多次上采样逐渐变大。
DCN可形变卷积结构,是对传统卷积方法的改进。在传统检测网络思路中,会使用固定感受野的卷积核,但当碰到具有密集性、多方向性、多角度性的遥感目标时,其角度与形变将成为训练时不可忽视的因素,DCN的特点是它对感受野上的每一个点加入一个偏移量,并通过无监督学习来得到这一偏移量,偏移后的感受野将不再是固定的矩形,而是会更加匹配物体的实际形状,因此相比于固定感受野的卷积核能提取到更多属于目标的特征信息。DCN学习一个与原特征图尺度相同的,通道为2的偏移offsets map,再将其施加回原特征图中,值得注意的是,由于新的偏移量是由网络学习得到,因此并不会是一个整数;网络学习后得到x_offse、y_offset,由于其为一个小数,因此得到的新偏移点将不在原特征图的有效点中,一般使用双线性插值法,结合点分别向上下取整可以得到一个四点矩形[x±x_offset,y±y_offset],然后计算其数值代入式中计算,这样就得到了真正卷积感受野的各点位置。
在上述实施例的目标检测过程中,IOU(intersection over union)阈值被用来判断候选框是positive或者negative,IOU阈值提高会降低检测性能,其具体包括以下两个方面:
第一方面是正样本的数量将随着IOU阈值的升高而急剧减少,会导致训练过程过拟合;
第二方面是Train与Inference两个阶段的IOU阈值不同会产生mismatch问题。
候选框在经过检测器后和真实值的IOU会增加,因此如果候选框再经过用更高IOU阈值训练的检测器输出结果的IOU会更高;如果使用前一个阶段的输出去训练下一个阶段的检测器,每经过一个检测器提出候选框的IOU都会提高,那么即使下一阶段的检测器在训练的时候阈值设置提高也能保证正样本的数量,从而避免了因为IOU提升影响正样本数量,而导致的过拟合问题。这是由于cascade级联卷积的特性,通过级联的方式,提高检测准确率,避免了IOU带来的分布不均等问题。
本发明实施例提供了一种基于地面采样距离的遥感图像目标检测系统,包括:
获取模块,用于获取遥感图像;
特征提取与分类模块,用于对遥感图像进行特征提取和分类,得到遥感图像的地面采样距离预测结果;
分割模块,用于根据地面采样距离预测结果对遥感图像进行分割,得到多张图像序列;
生成模块,用于采用超分辨网络对多张图像序列分别进行特征提取、上采样和分辨率放大操作,生成目标图像序列;
目标检测模块,用于采用目标检测网络对目标图像序列进行目标检测,生成目标检测结果矩阵序列,其中,目标检测网络为two-stage式遥感目标检测网络。
本发明方法实施例的内容均适用于本系统实施例,本系统实施例所具体实现的功能与上述方法实施例相同,并且达到的有益效果与上述方法达到的有益效果也相同。
本发明实施例提供了一种基于地面采样距离的遥感图像目标检测系统,包括:
至少一个存储器,用于存储程序;
至少一个处理器,用于加载程序以执行图1所示的基于地面采样距离的遥感图像目标检测方法。
本发明方法实施例的内容均适用于本系统实施例,本系统实施例所具体实现的功能与上述方法实施例相同,并且达到的有益效果与上述方法达到的有益效果也相同。
本发明实施例提供了一种存储介质,其中存储有处理器可执行的程序,处理器可执行的程序在由处理器执行时用于执行图1所示的基于地面采样距离的遥感图像目标检测方法。
此外,本发明实施例还公开了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行图1所示的方法。
上面结合附图对本发明实施例作了详细说明,但是本发明不限于上述实施例,在所属技术领域普通技术人员所具备的知识范围内,还可以在不脱离本发明宗旨的前提下作出各种变化。此外,在不冲突的情况下,本发明的实施例及实施例中的特征可以相互组合。

Claims (10)

1.一种基于地面采样距离的遥感图像目标检测方法,其特征在于,包括以下步骤:
获取遥感图像;
对所述遥感图像进行特征提取和分类,得到所述遥感图像的地面采样距离预测结果;
根据所述地面采样距离预测结果对所述遥感图像进行分割,得到多张图像序列;
采用超分辨网络对所述多张图像序列分别进行特征提取、上采样和分辨率放大操作,生成目标图像序列;
采用目标检测网络对所述目标图像序列进行目标检测,生成目标检测结果矩阵序列,所述目标检测网络为two-stage式遥感目标检测网络。
2.根据权利要求1所述的一种基于地面采样距离的遥感图像目标检测方法,其特征在于,所述对所述遥感图像进行特征提取和分类,得到所述遥感图像的地面采样距离预测结果,包括:
确定所述遥感图像的采集特性信息;
根据所述采集特性信息确定所述遥感图像的目标采样方式;
根据所述目标采样方式对所述遥感图像进行采样;
根据预设地面采样距离预测网络对采样后的遥感图像进行地面采样距离预测,得到所述遥感图像的地面采样距离预测结果。
3.根据权利要求1所述的一种基于地面采样距离的遥感图像目标检测方法,其特征在于,所述根据所述地面采样距离预测结果对所述遥感图像进行分割,得到多张图像序列,包括:
根据所述地面采样距离预测结果确定所述遥感图像的固定剪裁方式;
根据确定的固定剪裁方式对所述遥感图像进行分割,得到多张图像序列。
4.根据权利要求1所述的一种基于地面采样距离的遥感图像目标检测方法,其特征在于,所述对所述目标图像序列进行目标检测,生成目标检测结果矩阵序列,包括:
提取所述目标图像序列的多层特征;
对所述多层特征进行特征融合,得到特征融合图;
根据所述特征融合图预测目标框;
采用所述目标框提取所述特征融合图中的目标图像,生成目标检测结果矩阵序列。
5.根据权利要求4所述的一种基于地面采样距离的遥感图像目标检测方法,其特征在于,所述提取所述目标图像序列的多层特征,其具体为:
提取所述目标图像序列的位置信息和语义信息。
6.根据权利要求4所述的一种基于地面采样距离的遥感图像目标检测方法,其特征在于,在所述根据所述特征融合图预测目标框这一步骤后,还包括以下步骤:
对所述目标框进行筛选,得到候选框。
7.根据权利要求2所述的一种基于地面采样距离的遥感图像目标检测方法,其特征在于,所述预设地面采样距离预测网络包括卷积特征提取网络、第一全连接层、第二全连接层和输出层。
8.一种基于地面采样距离的遥感图像目标检测系统,其特征在于,包括:
获取模块,用于获取遥感图像;
特征提取与分类模块,用于对所述遥感图像进行特征提取和分类,得到所述遥感图像的地面采样距离预测结果;
分割模块,用于根据所述地面采样距离预测结果对所述遥感图像进行分割,得到多张图像序列;
生成模块,用于采用超分辨网络对所述多张图像序列分别进行特征提取、上采样和分辨率放大操作,生成目标图像序列;
目标检测模块,用于采用目标检测网络对所述目标图像序列进行目标检测,生成目标检测结果矩阵序列,所述目标检测网络为two-stage式遥感目标检测网络。
9.一种基于地面采样距离的遥感图像目标检测系统,其特征在于,包括:
至少一个存储器,用于存储程序;
至少一个处理器,用于加载所述程序以执行如权利要求1-7任一项所述的基于地面采样距离的遥感图像目标检测方法。
10.一种存储介质,其中存储有处理器可执行的程序,其特征在于,所述处理器可执行的程序在由处理器执行时用于执行如权利要求1-7任一项所述的基于地面采样距离的遥感图像目标检测方法。
CN202110361159.6A 2021-04-02 2021-04-02 基于地面采样距离的遥感图像目标检测方法、系统和介质 Active CN113076877B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110361159.6A CN113076877B (zh) 2021-04-02 2021-04-02 基于地面采样距离的遥感图像目标检测方法、系统和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110361159.6A CN113076877B (zh) 2021-04-02 2021-04-02 基于地面采样距离的遥感图像目标检测方法、系统和介质

Publications (2)

Publication Number Publication Date
CN113076877A true CN113076877A (zh) 2021-07-06
CN113076877B CN113076877B (zh) 2023-08-22

Family

ID=76614809

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110361159.6A Active CN113076877B (zh) 2021-04-02 2021-04-02 基于地面采样距离的遥感图像目标检测方法、系统和介质

Country Status (1)

Country Link
CN (1) CN113076877B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111899172A (zh) * 2020-07-16 2020-11-06 武汉大学 一种面向遥感应用场景的车辆目标检测方法
CN112308856A (zh) * 2020-11-30 2021-02-02 深圳云天励飞技术股份有限公司 遥感图像的目标检测方法、装置、电子设备及介质
CN112364719A (zh) * 2020-10-23 2021-02-12 西安科锐盛创新科技有限公司 一种遥感图像目标快速检测方法
CN112464717A (zh) * 2020-10-23 2021-03-09 西安电子科技大学 一种遥感图像目标检测方法、系统、电子设备和存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111899172A (zh) * 2020-07-16 2020-11-06 武汉大学 一种面向遥感应用场景的车辆目标检测方法
CN112364719A (zh) * 2020-10-23 2021-02-12 西安科锐盛创新科技有限公司 一种遥感图像目标快速检测方法
CN112464717A (zh) * 2020-10-23 2021-03-09 西安电子科技大学 一种遥感图像目标检测方法、系统、电子设备和存储介质
CN112308856A (zh) * 2020-11-30 2021-02-02 深圳云天励飞技术股份有限公司 遥感图像的目标检测方法、装置、电子设备及介质

Also Published As

Publication number Publication date
CN113076877B (zh) 2023-08-22

Similar Documents

Publication Publication Date Title
CN108961235B (zh) 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法
CN109584248B (zh) 基于特征融合和稠密连接网络的红外面目标实例分割方法
CN107527352B (zh) 基于深度学习fcn网络的遥感舰船目标轮廓分割与检测方法
CN109840483B (zh) 一种滑坡裂缝检测与识别的方法及装置
CN112200121B (zh) 基于evm和深度学习的高光谱未知目标检测方法
CN114627052A (zh) 一种基于深度学习的红外图像漏气漏液检测方法及系统
CN110008900B (zh) 一种由区域到目标的可见光遥感图像候选目标提取方法
CN113536963B (zh) 基于轻量化yolo网络的sar图像飞机目标检测方法
Shaoqing et al. The comparative study of three methods of remote sensing image change detection
CN111259733A (zh) 一种基于点云图像的船舶识别方法及装置
CN115965862A (zh) 基于掩码网络融合图像特征的sar舰船目标检测方法
Venugopal Sample selection based change detection with dilated network learning in remote sensing images
CN113378642B (zh) 一种对农村违法占地建筑物进行检测的方法
CN114648547A (zh) 用于反无人机红外探测系统的弱小目标检测方法和装置
CN108960005B (zh) 一种智能视觉物联网中对象视觉标签的建立及显示方法、系统
CN117994573A (zh) 一种基于超像素和可形变卷积的红外弱小目标检测方法
CN117475327A (zh) 一种城市中基于遥感图像的多目标检测定位方法和系统
CN117218545A (zh) 基于LBP特征与改进Yolov5的雷达图像检测方法
CN112465821A (zh) 一种基于边界关键点感知的多尺度害虫图像检测方法
CN111950476A (zh) 基于深度学习的复杂环境下河道船舶自动识别方法
CN113887652B (zh) 基于形态和多示例学习的遥感图像弱小目标检测方法
CN114419600B (zh) 一种基于ssd算法的车型目标检测方法
CN113076877B (zh) 基于地面采样距离的遥感图像目标检测方法、系统和介质
CN114140698A (zh) 一种基于FasterR-CNN的水系信息提取算法
CN112686222A (zh) 星载可见光探测器对船舶目标检测的方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant