CN112990066A - 基于多策略增强的遥感影像固体废弃物识别方法及系统 - Google Patents

基于多策略增强的遥感影像固体废弃物识别方法及系统 Download PDF

Info

Publication number
CN112990066A
CN112990066A CN202110345854.3A CN202110345854A CN112990066A CN 112990066 A CN112990066 A CN 112990066A CN 202110345854 A CN202110345854 A CN 202110345854A CN 112990066 A CN112990066 A CN 112990066A
Authority
CN
China
Prior art keywords
remote sensing
sensing image
solid waste
frame
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110345854.3A
Other languages
English (en)
Other versions
CN112990066B (zh
Inventor
李慧芳
胡超
罗爽
沈焕锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202110345854.3A priority Critical patent/CN112990066B/zh
Publication of CN112990066A publication Critical patent/CN112990066A/zh
Application granted granted Critical
Publication of CN112990066B publication Critical patent/CN112990066B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于多策略增强的遥感影像固体废弃物识别方法及系统，包括根据输入的原始遥感影像以及预设的重叠率，对原始遥感影像进行裁切，保存各个裁切所得遥感影像块的左上角点在整幅遥感影像中的坐标位置信息；将遥感影像块放入针对遥感影像固体废弃物识别的深度学习目标检测网络当中进行识别，识别出固体废弃物的边框，所述针对遥感影像固体废弃物识别的深度学习目标检测网络采用位置信息引导的多策略增强关键点目标识别网络；对检测出来的边框，进行筛选处理，得到最终的识别边框结果，在原始遥感影像中进行显示。本发明提出的方案可以有效地应用于高分辨率遥感影像当中，从而可以快速的检测遥感影像中的固体废弃物。

Description

基于多策略增强的遥感影像固体废弃物识别方法及系统
技术领域
本发明属于遥感信息处理技术领域，涉及一种固体废弃物检测方法，具体涉及一种利用位置信息引导的多策略增强关键点识别网络，用于大范围高分辨率遥感影像固体废弃物的识别方法。
背景技术
固体废弃物是中国城市化进程发展中不可忽视的一个问题。固体废弃物是一个重大的管理问题，固体废弃物会对经济、社会和环境造成巨大的风险。但是，由于固体废弃物分布点随机性大、分布范围广，对固体废弃物的管理带来了巨大的困难。因此，实现固体废弃物的快速识别，提高固体废弃物的识别效率是十分必要的。
现有的固体废弃物主要有两种方法，一种是基于遥感影像本身的光谱和纹理特征，另一种是基于传统机器学习的方法，如决策树，最大似然估计等。但是，基于遥感影像本身的光谱和纹理特征的方法计算速度慢，不适用于大面积的识别，传统的机器学习的方法鲁棒性不强，实际应用也存在的一定的问题。深度学习作为机器学习的新兴领域，在图像处理问题上明显优势。深度学习的方法检测速度快，鲁棒性更强，更加适于应用在大范围的高分辨率遥感影像的固体废弃物识别当中。然而，深度学习需要大量的数据进行训练，固体废弃物在遥感影像下数量十分稀缺，这使固体废弃物数据集的构建成为了一个重要问题。同时，固体废弃物在遥感影像下特征十分多样化，没有固定的形状和颜色，只存在堆积杂乱的统一特征，这对固体废弃物识别网络的构建造成困难。
因此，本发明充分利用遥感影像大数据的优势，提出结合深度学习目标检测的方法，构建固体废弃物数据集，设计一个可以应用于大面积高分辨遥感影像中固体废弃物识别的方法，可以很好地解决固体废弃物的识别问题。
发明内容
本发明的目的在于，针对现有技术的上述不足，设计一种可以应用于实际场景中的深度学习目标检测的方法，提供位置信息引导的多策略增强关键点目标识别网络，用于识别大面积高分辨遥感影像中固体废弃物；并针对深度学习图像不能很大的问题，设计对应的图像分幅和合并方法，解决分幅过程中出现的对象被拆分和重复识别的问题。
为了实现上述目的，本发明提出的技术方案如下：
本发明提出一种基于多策略增强的遥感影像固体废弃物识别方法，包括以下步骤：
步骤1，根据输入的原始遥感影像以及预设的重叠率，对原始遥感影像进行裁切，保存各个裁切所得遥感影像块的左上角点在整幅遥感影像中的坐标位置信息(x0，y0)；
步骤2，将步骤1所得所有遥感影像块放入针对遥感影像固体废弃物识别的深度学习目标检测网络当中进行识别，识别出固体废弃物的边框，边框由5个数据[xtl，ytl，xbr，ybr，score]表示，包括边框的左上角的x、y坐标信息(xtl，ytl)、右下角的x、y坐标信息(xbr，ybr)以及边框中是固体废弃物的分值score；根据步骤1所得坐标位置信息(x0，y0)得到检测边框在原始遥感图像中的位置[xtl+x0，ytl+y0，xbr+x0，ybr+y0，score]；
所述针对遥感影像固体废弃物识别的深度学习目标检测网络采用位置信息引导的多策略增强关键点目标识别网络，该网络采用卷积神经网络方式提取固体废弃物边框对应的三个关键点左上角、右下角、中心点的位置，通过预设的相关判断标准进行匹配，最终得到具体的固体废弃物边框位置；
步骤3，对步骤2检测出来的边框，进行筛选处理，得到最终的识别边框结果，在原始遥感影像中进行显示；所述筛选，包括对重复识别的边框进行判断，判断边框之间是否存在反复识别的情况，如果存在，保留检测出来分值最高的边框，删去其他边框。
而且，步骤1中，重叠率设为0.5。
而且，步骤2采用的位置信息引导的多策略增强关键点目标识别网络是一个基于关键点的深度学习目标检测网络，通过卷积神经网络的方式得到边框的左上角、右下角、中心点的坐标[xtl，ytl]、[xbr，ybr]、[xct，yct]以及左上角、右下角对应的embeddings值etl和ebr；通过以下三个判断标准对边框的左上角、右下角的点进行匹配：
1)左上角的点的x、y坐标要小于右下角的点，如下所示，
xtl＜xbr，ytl＜ybr
2)左上角和右下角的点连线的中点附近需要存在一个中心点，如下所示，
Figure BDA0003000666620000021
Figure BDA0003000666620000022
3)左上角和右下角的点对应的embeddings值etl和ebr之间的差要小于等于0.5，表示为|etl-ebr|≤0.5。
而且，所述位置信息引导的多策略增强关键点目标识别网络，是以CenterNet为基础引入以下增强策略与位置信息引导处理的网络，
1)多策略增强，包括以下操作，
i)在预处理中加入了mosaic数据增强操作；
ii)网络中加入ASPP，所述ASPP为扩张空间金字塔模型；
iii)网络中加入PAN，所述PAN为路径增强模块；
iv)网络中加入注意力机制，所述注意力机制包括空间注意力和通道注意力；
2)位置信息引导，包括在网络中加入了一个新的分支用来计算图像中的大致哪个区域存在固体废弃物对象，对整个网络的检测加以引导。
而且，步骤3中根据边框之间的重叠度判断是否存在重复检测，当一个边框有超过80％的区域在另一个边框上时，则判读这两个边框识别的是同一个对象，然后对两个边框的分值进行判断，保留高分值边框，删去低分值边框，判断公式如下所示，
w＝Min(x1br，x2br)-max(x1tl，x2tl)＞0
h＝Min(y1br，y2br)-max(y1tl，y2tl)＞0
Figure BDA0003000666620000031
式中，x1tl、y1tl、x1br、y1br表示的是第一个边框的左上角和右下角的边框，x1tl、y1tl、x1br、y1br表示的是第二个边框的左上角和右下角的边框，w，h表示两个边框的交集的长度和宽度。
另一方面，本发明提供一种基于多策略增强的遥感影像固体废弃物识别系统，用于实现如上所述的一种基于多策略增强的遥感影像固体废弃物识别方法。
而且，包括以下模块，
第一模块，用于根据输入的原始遥感影像以及预设的重叠率，对原始遥感影像进行裁切，保存各个裁切所得遥感影像块的左上角点在整幅遥感影像中的坐标位置信息(x0，y0)；
第二模块，用于将第一模块所得所有遥感影像块放入针对遥感影像固体废弃物识别的深度学习目标检测网络当中进行识别，识别出固体废弃物的边框，边框由5个数据[xtl，ytl，xbr，ybr，score]表示，包括边框的左上角的x、y坐标信息(xtl，ytl)、右下角的x、y坐标信息(xbr，ybr)以及边框中是固体废弃物的分值score；根据第一模块所得坐标位置信息(x0，y0)得到检测边框在原始遥感图像中的位置[xtl+x0，ytl+y0，xbr+x0，ybr+y0，score]；所述针对遥感影像固体废弃物识别的深度学习目标检测网络采用位置信息引导的多策略增强关键点目标识别网络，该网络采用卷积神经网络方式提取固体废弃物边框对应的三个关键点左上角、右下角、中心点的位置，通过预设的相关判断标准进行匹配，最终得到具体的固体废弃物边框位置；
第三模块，用于对第二模块检测出来的边框，进行筛选处理，得到最终的识别边框结果，在原始遥感影像中进行显示；所述筛选，包括对重复识别的边框进行判断，判断边框之间是否存在反复识别的情况，如果存在，保留检测出来分值最高的边框，删去其他边框。
或者，包括处理器和存储器，存储器用于存储程序指令，处理器用于调用存储器中的存储指令执行如上所述的一种基于多策略增强的遥感影像固体废弃物识别方法。
或者，包括可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序执行时，实现如上所述的一种基于多策略增强的遥感影像固体废弃物识别方法。
本发明的优点在于：
(1)本发明提出了一种针对高分辨率遥感影像下的固体废弃物的深度学习方案，建立位置信息引导的多策略增强关键点目标识别网络，适用于大范围的实际应用中，为固体废弃物的快速检测提供可能。
(2)本发明提出了一种适用于大范围遥感影像的深度学习目标检测流程，解决了深度学习目标检测对象被拆分和重复识别的问题。为了适应实际应用的需求，采用带有重叠度的裁切方法保证对象可以被完整识别，针对重叠度的裁切出现的重复检测的情况，设计一种边框筛选方法，排除重复边框，完成大范围高分辨率遥感影像固体废弃物的识别。
总之，本发明充分利用了深度学习在特征学习和识别效率上的优势，构建了一个针对遥感影像固体废弃物识别的深度学习目标检测网络，根据现实应用的需求，设计了遥感影像的裁切和检测结果合并的方法。其操作方便，数据要求相对易于满足，具有较强的可扩展性和实用价值。本发明提出的方案可以有效地应用于高分辨率遥感影像当中，从而可以快速的检测遥感影像中的固体废弃物。
本发明方案实施简单方便，实用性强，解决了相关技术存在的实用性低及实际应用不便的问题，能够提高用户体验，具有重要的市场价值。
附图说明
图1为本发明实施例的方法流程图。
图2为本发明实施例的网络结构图。
具体实施方式
以下结合附图和实施例具体说明本发明的技术方案。
固体废弃物分布范围大，分布的随机性强，导致对固体废弃物的识别和管理造成了很大的困难。本发明利用遥感影像海量数据的优势，发挥深度学习在海量数据上精度高、泛化能力强的优势，可以在高分辨率遥感影像上快速识别固体废弃物。
请见图1，本发明实施例提供的一种基于多策略增强的遥感影像固体废弃物识别方法，可以针对大范围高分辨率遥感影像的固体废弃物自动识别，包括以下步骤：
步骤1：根据输入的遥感影像以及重叠率，对遥感影像进行裁切，把整幅大范围的遥感影像裁切成一幅幅小范围的遥感影像块，并保存各个切分所得遥感影像块的左上角点在整幅遥感影像中的坐标位置信息(x0，y0)。坐标轴的定义如下：以图像的左上角的点为(0，0)点，向下为图像的x轴，向右为图像的y轴，建立直角坐标系。
具体实施时，重叠率可预先设置，本实施例中重叠率优选设置为0.5。由于对遥感影像的裁切带有一定的重叠度，就会存在一定的边缘效应，针对边缘问题，采用的方法是：对边缘区域另行处理，针对边缘区域再做一次裁切。
步骤2：将步骤1所有切分所得的遥感影像块放入针对遥感影像固体废弃物识别的深度学习目标检测的网络当中进行识别，识别出固体废弃物的边框，边框由5个数据[xtl，ytl，xbr，ybr，score]表示，即边框的左上角的x、y坐标信息(xtl，ytl)、右下角的x、y坐标信息(xbr，ybr)以及边框中是固体废弃物的分值score，边框的左上角和右下角的坐标加上之前保存的该幅影像块左上角的坐标信息(x0，y0)即可以得到检测边框在全局图像中的位置[xtl+x0，ytl+y0，xbr+x0，ybr+y0，score]。
本专利设计了一个位置信息引导的多策略增强关键点目标识别网络，该网络采用卷积神经网络的方法通过图像提取固体废弃物边框对应的三个关键点的位置，也就是边框的左上角、右下角、中心点三个点的坐标，[xtl，ytl]、[xbr，ybr]、[xct，yct]以及左上角、右下角对应的嵌入值(embeddings)etl和ebr，etl和ebr是一个通过训练得到的左上角点和右下角点对应的0-1的数值，用于判断检测出来的左上角点和右下角点是否有可能表示的是一个边框。即etl和ebr数值越接近说明他们越有可能属于同一个边框。
实施例通过以下三个判断标准对边框的左上角、右下角的点进行了匹配，即如果同时满足以下三个判断标准，则可以确认网络提取的左上角、右下角的点确实属于一个边框，最终得到具体的固体废弃物边框位置：
1)左上角的点的x、y坐标要小于右下角的点，如公式(1)所示；
2)左上角和右下角的点连线的中点附近需要存在一个中心点，如公式(2)，(3)所示；
3)左上角和右下角的点对应的embeddings值etl和ebr之间的差要小于等于0.5，如公式(4)所示。
xtl＜xbr，ytl＜ybr (1)
Figure BDA0003000666620000061
Figure BDA0003000666620000062
|etl-ebr|≤0.5 (4)
位置信息引导的多策略增强关键点目标识别网络是以CenterNet为基础进行改进得到的网络，现有技术中的CenterNet可参见文献：
[1]Newell A，Yang K，Deng J.Stacked Hourglass Networks for Human PoseEstimation[J].arXive-prints.2016.
[2]Law H，Deng J.CornerNet：Detecting Objects as Paired Keypoints[J].International Journal of Computer Vision.2018.
[3]Duan K，Bai S，Xie L，et al.CenterNet：Keypoint Triplets for ObjectDetection[J].2019.
本发明提出在原始的CenterNet网络基础上引入增强策略与位置信息引导，加入了mosaic数据增强、扩张空间金字塔模块、路径增强模块、注意力机制模块以及位置信息引导策略进一步的提高了网络的检测效果，实施例中采用的网络图如图2所示，依次设置输入层、编码器、扩张空间金字塔模块、解码器、路径增强模块、注意力机制模块(空间注意力和通道注意力)、角点池化模块、输出，并在路径增强模块之后加入一个位置信息引导分支，路径增强模块的输出和位置信息引导分支输出相加后输入注意力机制模块。
其中，实施例引入的增强策略与位置信息引导的具体内容为：
1)多策略增强：
i)在网络进入编码器前加入了mosaic数据增强操作
本专利在n×n大小的图像输入网络训练之前进行加入了mosaic操作，mosaic操作是在训练集中另外随机3选取三张图片，与输入网络的图片拼接成一个2n×2n大小的图像，再在图像中心n×n的区域随机取一个中心点裁取一个n×n大小的图片，将这个图片放入网络当中进行训练。其目的是为了增加训练结果的泛化性。
ii)网络中加入ASPP(扩张空间金字塔模块)
本专利在编码器后加入了ASPP模块，ASPP模快对输入的网络特征图分别进行了一个3×3的卷积，三个3×3的扩张值分别为6，12，18的扩展卷积以及一个全局平均池化的操作，再讲全局平均池化进行双线性内插(up)到原来的尺寸，与之前进行的四个卷积的结果连接起来(图2中标记为C)，最后通过一个1×1的卷积恢复到原来输入的通道数量。其目的是扩大感受野，融合各个感受野的特征。
iii)网络中加入PAN(路径增强模块)
本专利在网络解码器之后加入了PAN模块，PAN由4个步长为2的卷积层，4个上采样层，5个卷积层组成。整个模块分为横向和纵向两个方向。纵向也就是尺度的变换，先对输入的网络特征图进行4个stride为2的卷积层缩小尺度，再对其进行4个上采样层扩大尺度。横向也就是相同尺度间的操作，也就是对纵向自下而上产生的5个尺度的特征图分别进行卷积与纵向自上而下的特征相结合。其目的是为了融合多个尺度的特征。
iv)网络中加入注意力机制(空间注意力和通道注意力)
注意力机制加入在PAN模块之后，分为空间注意力和通道注意力。空间注意力用来获取特征图每个像元的权重，由两个卷积层组成，第一个卷积层通道数与输入通道数相同，第二个卷积层通道数为1，输入的特征图经过两个卷积层就可以得到每个像元的权重。通道注意力用来获取每个通道的权重，由一个全局平均池化层和两个全连接层fc组成，输入的特征图先经过全局平均池化层得到每个通道的特征，再经过两个全连接层得到每个通道的权重。最后将空间注意力和通道注意力得到的权重通过像元相乘的方式对原始网络的特征进行赋权。
2)位置信息引导：本专利在PAN模块之后加入了一个新的分支，用来计算图像中的大致哪个区域存在固体废弃物对象，对整个网络的检测加以引导，该思想基于目标检测对象肯定在标记的边框内部，所以边框外部都是背景，假设边框内部都是对象，就可以得到对象在图片中的大致位置分布情况。位置信息引导由三个卷积层组成。
改进后整个网络的损失函数L的公式如下：
L＝Ldet+aLpull+bLpush+cLoff+dLheatmap (5)
Figure BDA0003000666620000071
Figure BDA0003000666620000072
Figure BDA0003000666620000073
Figure BDA0003000666620000074
Figure BDA0003000666620000075
式中，Ldet表示左上角点、中心点和右下角点检测位置的损失值，y表示真实值，y′表示预测值，α，γ是超参数，α目的是为了减少正负样本数量的差距，γ目的是减少易分类样本的损失，使其更关注于困难的、错分的样本；
Lpull和Lpush表示预测embeddings值的损失值，N表示预测目标对象的总数量，etk表示第k个边框的左上角点对应的embeddings值，ebk表示右下角点对应的embeddings值，ek表示第k个边框的左上角和右下角的embeddings值平均数，ej表示第j个边框的左上角和右下角的embeddings值平均数，max()是取最大函数，Δ表示ek和ej之差的最大值，一般为1，Lpull目的是让相同边框的embeddings值更加接近，Lpush目的是让不同边框的emdeddings值尽量远离；
Loff表示的是预测左上角点、中心点和右下角点偏移量的损失量，o’表示的是预测偏移量的值，o表示真实偏移量的值；SmoothL1Loss()函数是在现有技术中L1Loss函数的基础上进行改进，缩小预测值和真实值之差接近0值时的损失量，从而增加了困难样本在损失函数中的占比。Lheatmap表示的是预测边框大致位置的热力图的损失量；a，b，c，d对应各个损失量的权重超参数。
步骤3：对步骤2检测出来的边框，进行筛选，使最终的识别结果可视性更高。主要是对重复识别的边框进行判断，判断边框之间是否存在反复识别的情况，如果存在，保留检测出来分值最高的边框，删去其他边框。边框筛选的方法如下：
当一个边框有超过80％的区域在另一个边框上时，则判读这两个边框识别的是同一个对象，然后对两个边框的分值进行判断，保留高分值边框，删去低分值边框，判断公式如公式(11)、(12)、(13)所示。
w＝Min(x1br，x2br)-max(x1tl，x2tl)＞0 (11)
h＝Min(y1br，y2br)-max(y1tl，y2tl)＞0 (12)
Figure BDA0003000666620000081
式中，x1tl、y1tl，x1br、y1br表示的是第一个边框的左上角和右下角的边框，x1tl、y1tl、x1br、y1br表示的是第二个边框的左上角和右下角的边框，w，h表示两个边框的交集的长度和宽度。
在对识别出来的固体废弃物对象边框进行筛选之后，就可以得到最终的识别边框结果，在原始的高分辨率遥感影像进行显示。
本发明利用深度学习目标检测的方法，设计了一个针对高分辨率遥感影像下固体废弃物的深度学习网络，称为位置信息引导的多策略增强关键点目标识别网络，为了实现大范围遥感影像的检测并保证检测结果的准确性，设计了一个在大范围高分辨率遥感影像下固体废弃物识别的方法。该方法可以有效地在范围高分辨率遥感影像下实现固体废弃物的识别，并具有较高的计算效率，易于投入实用。
具体实施时，本发明技术方案提出的方法可由本领域技术人员采用计算机软件技术实现自动运行流程，实现方法的系统装置例如存储本发明技术方案相应计算机程序的计算机可读存储介质以及包括运行相应计算机程序的计算机设备，也应当在本发明的保护范围内。
在一些可能的实施例中，提供一种基于多策略增强的遥感影像固体废弃物识别系统，包括以下模块，
第一模块，用于根据输入的原始遥感影像以及预设的重叠率，对原始遥感影像进行裁切，保存各个裁切所得遥感影像块的左上角点在整幅遥感影像中的坐标位置信息(x0，y0)；
第二模块，用于将第一模块所得所有遥感影像块放入针对遥感影像固体废弃物识别的深度学习目标检测网络当中进行识别，识别出固体废弃物的边框，边框由5个数据[xtl，ytl，xbr，ybr，score]表示，包括边框的左上角的x、y坐标信息(xtl，ytl)、右下角的x、y坐标信息(xbr，ybr)以及边框中是固体废弃物的分值score；根据第一模块所得坐标位置信息(x0，y0)得到检测边框在原始遥感图像中的位置[xtl+x0，ytl+y0，xbr+x0，ybr+y0，score]；所述针对遥感影像固体废弃物识别的深度学习目标检测网络采用位置信息引导的多策略增强关键点目标识别网络，该网络采用卷积神经网络方式提取固体废弃物边框对应的三个关键点左上角、右下角、中心点的位置，通过预设的相关判断标准进行匹配，最终得到具体的固体废弃物边框位置；
第三模块，用于对第二模块检测出来的边框，进行筛选处理，得到最终的识别边框结果，在原始遥感影像中进行显示；所述筛选，包括对重复识别的边框进行判断，判断边框之间是否存在反复识别的情况，如果存在，保留检测出来分值最高的边框，删去其他边框。
在一些可能的实施例中，提供一种基于多策略增强的遥感影像固体废弃物识别系统，包括处理器和存储器，存储器用于存储程序指令，处理器用于调用存储器中的存储指令执行如上所述的一种基于多策略增强的遥感影像固体废弃物识别方法。
在一些可能的实施例中，提供一种基于多策略增强的遥感影像固体废弃物识别系统，包括可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序执行时，实现如上所述的一种基于多策略增强的遥感影像固体废弃物识别方法。
应当理解的是，本说明书未详细阐述的部分均属于现有技术。
应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (9)

1.一种基于多策略增强的遥感影像固体废弃物识别方法，其特征在于，包括以下步骤：
步骤1，根据输入的原始遥感影像以及预设的重叠率，对原始遥感影像进行裁切，保存各个裁切所得遥感影像块的左上角点在整幅遥感影像中的坐标位置信息(x0，y0)；
步骤2，将步骤1所得所有遥感影像块放入针对遥感影像固体废弃物识别的深度学习目标检测网络当中进行识别，识别出固体废弃物的边框，边框由5个数据[xtl，ytl，xbr，ybr，score]表示，包括边框的左上角的x、y坐标信息(xtl，ytl)、右下角的x、y坐标信息(xbr，ybr)以及边框中是固体废弃物的分值score；根据步骤1所得坐标位置信息(x0，y0)得到检测边框在原始遥感图像中的位置[xtl+x0，ytl+y0，xbr+x0，ybr+y0，score]；
所述针对遥感影像固体废弃物识别的深度学习目标检测网络采用位置信息引导的多策略增强关键点目标识别网络，该网络采用卷积神经网络方式提取固体废弃物边框对应的三个关键点左上角、右下角、中心点的位置，通过预设的相关判断标准进行匹配，最终得到具体的固体废弃物边框位置；
步骤3，对步骤2检测出来的边框，进行筛选处理，得到最终的识别边框结果，在原始遥感影像中进行显示；所述筛选，包括对重复识别的边框进行判断，判断边框之间是否存在反复识别的情况，如果存在，保留检测出来分值最高的边框，删去其他边框。
2.如权利要求1所述的一种基于多策略增强的遥感影像固体废弃物识别方法，其特征在于：步骤1中，重叠率设为0.5。
3.如权利要求1所述的一种基于多策略增强的遥感影像固体废弃物识别方法，其特征在于：步骤2采用的位置信息引导的多策略增强关键点目标识别网络是一个基于关键点的深度学习目标检测网络，通过卷积神经网络的方式得到边框的左上角、右下角、中心点的坐标[xtl，ytl]、[xbr，ybr]、[xct，yct]以及左上角、右下角对应的embeddings值etl和ebr；通过以下三个判断标准对边框的左上角、右下角的点进行匹配：
1)左上角的点的x、y坐标要小于右下角的点，如下所示，
xtl＜xbr，ytl＜ybr
2)左上角和右下角的点连线的中点附近需要存在一个中心点，如下所示，
Figure FDA0003000666610000011
Figure FDA0003000666610000012
3)左上角和右下角的点对应的embeddings值etl和ebr之间的差要小于等于0.5，表示为|etl-ebr|≤0.5。
4.如权利要求1或2或3所述的一种基于多策略增强的遥感影像固体废弃物识别方法，其特征在于：所述位置信息引导的多策略增强关键点目标识别网络，是以CenterNet为基础引入以下增强策略与位置信息引导处理的网络，
1)多策略增强，包括以下操作，
i)在预处理中加入了mosaic数据增强操作；
ii)网络中加入ASPP，所述ASPP为扩张空间金字塔模型；
iii)网络中加入PAN，所述PAN为路径增强模块；
iv)网络中加入注意力机制，所述注意力机制包括空间注意力和通道注意力；
2)位置信息引导，包括在网络中加入了一个新的分支用来计算图像中的大致哪个区域存在固体废弃物对象，对整个网络的检测加以引导。
5.如权利要求1或2或3所述的一种基于多策略增强的遥感影像固体废弃物识别方法，其特征在于：步骤3中根据边框之间的重叠度判断是否存在重复检测，当一个边框有超过80％的区域在另一个边框上时，则判读这两个边框识别的是同一个对象，然后对两个边框的分值进行判断，保留高分值边框，删去低分值边框，判断公式如下所示，
w＝Min(x1br，x2br)-max(x1tl，x2tl)＞0
h＝Min(y1br，y2br)-max(y1tl，y2tl)＞0
Figure FDA0003000666610000021
式中，x1tl、y1tl，x1br、y1br表示的是第一个边框的左上角和右下角的边框，x1tl、y1tl、x1br、y1br表示的是第二个边框的左上角和右下角的边框，w，h表示两个边框的交集的长度和宽度。
6.一种基于多策略增强的遥感影像固体废弃物识别系统，其特征在于：用于实现如权利要求1-5任一项所述的一种基于多策略增强的遥感影像固体废弃物识别方法。
7.根据权利要求6所述基于多策略增强的遥感影像固体废弃物识别系统，其特征在于：包括以下模块，
第一模块，用于根据输入的原始遥感影像以及预设的重叠率，对原始遥感影像进行裁切，保存各个裁切所得遥感影像块的左上角点在整幅遥感影像中的坐标位置信息(x0，y0)；
第二模块，用于将第一模块所得所有遥感影像块放入针对遥感影像固体废弃物识别的深度学习目标检测网络当中进行识别，识别出固体废弃物的边框，边框由5个数据[xtl，ytl，xbr，ybr，score]表示，包括边框的左上角的x、y坐标信息(xtl，ytl)、右下角的x、y坐标信息(xbr，ybr)以及边框中是固体废弃物的分值score；根据第一模块所得坐标位置信息(x0，y0)得到检测边框在原始遥感图像中的位置[xtl+x0，ytl+y0，xbr+x0，ybr+y0，score]；
所述针对遥感影像固体废弃物识别的深度学习目标检测网络采用位置信息引导的多策略增强关键点目标识别网络，该网络采用卷积神经网络方式提取固体废弃物边框对应的三个关键点左上角、右下角、中心点的位置，通过预设的相关判断标准进行匹配，最终得到具体的固体废弃物边框位置；
第三模块，用于对第二模块检测出来的边框，进行筛选处理，得到最终的识别边框结果，在原始遥感影像中进行显示；所述筛选，包括对重复识别的边框进行判断，判断边框之间是否存在反复识别的情况，如果存在，保留检测出来分值最高的边框，删去其他边框。
8.根据权利要求6所述基于多策略增强的遥感影像固体废弃物识别系统，其特征在于：包括处理器和存储器，存储器用于存储程序指令，处理器用于调用存储器中的存储指令执行如权利要求1-5任一项所述的一种基于多策略增强的遥感影像固体废弃物识别方法。
9.根据权利要求6所述基于多策略增强的遥感影像固体废弃物识别系统，其特征在于：包括可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序执行时，实现如权利要求1-5任一项所述的一种基于多策略增强的遥感影像固体废弃物识别方法。
CN202110345854.3A 2021-03-31 2021-03-31 基于多策略增强的遥感影像固体废弃物识别方法及系统 Active CN112990066B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110345854.3A CN112990066B (zh) 2021-03-31 2021-03-31 基于多策略增强的遥感影像固体废弃物识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110345854.3A CN112990066B (zh) 2021-03-31 2021-03-31 基于多策略增强的遥感影像固体废弃物识别方法及系统

Publications (2)

Publication Number Publication Date
CN112990066A true CN112990066A (zh) 2021-06-18
CN112990066B CN112990066B (zh) 2023-04-07

Family

ID=76338579

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110345854.3A Active CN112990066B (zh) 2021-03-31 2021-03-31 基于多策略增强的遥感影像固体废弃物识别方法及系统

Country Status (1)

Country Link
CN (1) CN112990066B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113255671A (zh) * 2021-07-05 2021-08-13 浙江智慧视频安防创新中心有限公司 针对长宽比大物体的目标检测方法、系统、设备及介质
CN113516059A (zh) * 2021-06-23 2021-10-19 南京华高生态环境遥感技术研究院有限公司 固体废弃物的识别方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109740460A (zh) * 2018-12-21 2019-05-10 武汉大学 基于深度残差密集网络的光学遥感图像舰船检测方法
US20190171862A1 (en) * 2017-12-05 2019-06-06 Transport Planning and Research Institute Ministry of Transport Method of extracting image of port wharf through multispectral interpretation
CN110532853A (zh) * 2019-07-09 2019-12-03 中国空间技术研究院 遥感超时相数据的分类方法及装置
CN111723786A (zh) * 2020-08-21 2020-09-29 之江实验室 一种基于单模型预测的安全帽佩戴检测方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190171862A1 (en) * 2017-12-05 2019-06-06 Transport Planning and Research Institute Ministry of Transport Method of extracting image of port wharf through multispectral interpretation
CN109740460A (zh) * 2018-12-21 2019-05-10 武汉大学 基于深度残差密集网络的光学遥感图像舰船检测方法
CN110532853A (zh) * 2019-07-09 2019-12-03 中国空间技术研究院 遥感超时相数据的分类方法及装置
CN111723786A (zh) * 2020-08-21 2020-09-29 之江实验室 一种基于单模型预测的安全帽佩戴检测方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
范丽丽等: "基于深度卷积神经网络的目标检测研究综述", 《光学精密工程》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113516059A (zh) * 2021-06-23 2021-10-19 南京华高生态环境遥感技术研究院有限公司 固体废弃物的识别方法、装置、电子设备及存储介质
CN113255671A (zh) * 2021-07-05 2021-08-13 浙江智慧视频安防创新中心有限公司 针对长宽比大物体的目标检测方法、系统、设备及介质

Also Published As

Publication number Publication date
CN112990066B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN108446617B (zh) 抗侧脸干扰的人脸快速检测方法
CN104732506B (zh) 一种基于人脸语义分析的人物照片颜色风格转换方法
CN108121991B (zh) 一种基于边缘候选区域提取的深度学习舰船目标检测方法
CN108280397B (zh) 基于深度卷积神经网络的人体图像头发检测方法
CN109800629A (zh) 一种基于卷积神经网络的遥感图像目标检测方法
CN104978567B (zh) 基于场景分类的车辆检测方法
CN112990066B (zh) 基于多策略增强的遥感影像固体废弃物识别方法及系统
CN107527054A (zh) 基于多视角融合的前景自动提取方法
CN114973317A (zh) 一种基于多尺度邻接交互特征的行人重识别方法
CN115147488B (zh) 一种基于密集预测的工件位姿估计方法与抓取系统
CN112767478B (zh) 一种基于表观指导的六自由度位姿估计方法
CN113449691A (zh) 一种基于非局部注意力机制的人形识别系统及方法
CN111753682A (zh) 一种基于目标检测算法的吊装区域动态监控方法
CN115205667A (zh) 一种基于YOLOv5s的密集目标检测方法
CN113505670A (zh) 基于多尺度cam和超像素的遥感图像弱监督建筑提取方法
CN116721398A (zh) 一种基于跨阶段路由注意力模块和残差信息融合模块的Yolov5目标检测方法
CN115019274A (zh) 一种融合追踪与检索算法的路面病害识别方法
CN112700476A (zh) 一种基于卷积神经网络的红外船视频跟踪方法
CN113850136A (zh) 基于yolov5与BCNN的车辆朝向识别方法及系统
CN113297961A (zh) 一种基于边界特征融合孪生循环神经网络的目标跟踪方法
CN110334628A (zh) 一种基于结构化随机森林的室外单目图像深度估计方法
CN113989744A (zh) 一种基于超大尺寸高分辨图像的行人目标检测方法及系统
CN105374010A (zh) 全景图像的生成方法
He et al. Building extraction based on U-net and conditional random fields
CN116503618A (zh) 一种基于多模态多级特征聚合的显著目标检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant