CN111738268A - 一种基于随机块的高分遥感图像的语义分割方法及系统 - Google Patents

一种基于随机块的高分遥感图像的语义分割方法及系统 Download PDF

Info

Publication number
CN111738268A
CN111738268A CN202010708331.6A CN202010708331A CN111738268A CN 111738268 A CN111738268 A CN 111738268A CN 202010708331 A CN202010708331 A CN 202010708331A CN 111738268 A CN111738268 A CN 111738268A
Authority
CN
China
Prior art keywords
random block
semantic segmentation
random
remote sensing
sensing image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010708331.6A
Other languages
English (en)
Other versions
CN111738268B (zh
Inventor
尹建伟
苏鸽
尚永衡
沈正伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202010708331.6A priority Critical patent/CN111738268B/zh
Priority to US17/012,811 priority patent/US11189034B1/en
Publication of CN111738268A publication Critical patent/CN111738268A/zh
Application granted granted Critical
Publication of CN111738268B publication Critical patent/CN111738268B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Operations Research (AREA)
  • Algebra (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于随机块的高分遥感图像的语义分割方法及系统，所述语义分割方法采用对高分遥感图像进行随机块划分，对单个随机块进行分别语义分割的方式避免了高分遥感图像的语义分割方法中GPU溢出现象，并且在语义分割过程中结合随机块相邻的随机块中的特征数据，克服了现有的遥感图像分割方法会削弱图像内部的关联性的技术缺陷，而且本发明的语义分割方法分别对高分遥感图像的每个波段的单光谱特征数据进行语义分割，利用不同地物对不同波段光的敏感性不同的特点实现对相同或相近颜色的事物的识别，提高了高分遥感图像的语义分割的准确性。

Description

一种基于随机块的高分遥感图像的语义分割方法及系统
技术领域
本发明涉及图像处理技术领域，特别涉及一种基于随机块的高分遥感图像的语义分割方法及系统。
背景技术
在计算机视觉领域，语义分割是目前最热门的话题之一，旨在将图像的每一个像素划分为预定义的类别。针对不同的任务，各种各样的语义分割模型已经被接连不断地提出，并取得了斐然的成果。同样地，对于高分遥感领域，语义分割在遥感图像的应用中也发挥着巨大的作用。例如：通过检测河流、湖泊、冰川等水资源，实时监测生态系统中的水资源占比；通过检测城市灯光分布，评估城市发展的富饶程度，有利于为城市的进一步发展提供依据。
在过去的十年内，越来越多的高分遥感卫星发射升空，并源源不断地反馈回大量的高分遥感图像。这些遥感图像获取廉价且内容丰富，并且可以做到动态更新。可是，与传统的计算机图像不同，这些高分遥感图像是多光谱的，不同范围的谱段，对图像中相应地物的敏感程度不同，因此，可用于详细事物的检测。
目前，面向遥感图像的语义分割模型主要借鉴于传统图像的语义分割网络，以全卷积网络框架(FCN,Full ConvolutionNetwork)为主。这些方法主要通过全卷积网络输入任意尺寸的图像，图像每经过一层的卷积和池化即缩小1/2的尺寸，直到图像缩小到最小尺寸，成为热图，最后利用上采样恢复图像的尺寸，输出像素级别的概率图以达到对每个像素进行预测的目的。其中，知名的U-Net网络便是这一框架(FCN)的改进网络。可是，不难发现，虽然上述的语义分割网络在普通图像的语义分割任务中取得了极大的进展，但是面向大数据量、多光谱的遥感图像时，也会差强人意。普通的高分遥感图像相较于普通图像数据量巨大，通常单幅图像所占空间即可达到G级别，直接将图像用于现有网络，可能达到GPU溢出的现象，而直接将遥感图像分割成块状会削弱图像内部的关联性。同时，高分遥感图像拍摄距离远，于高空之中，现有网络对同样颜色的事物常常分不清具体地物类别，例如，草原和森林。如何克服现有的高分遥感图像的语义分割方法中GPU溢出现象及无法识别相同或相近颜色的事物的技术缺陷，提高对高分遥感图像的语义分割的准确性，成为一个亟待解决的技术问题。
发明内容
本发明的目的是提供一种基于随机块的高分遥感图像的语义分割方法及系统，以克服现有的高分遥感图像的语义分割方法中GPU溢出现象及无法识别相同或相近颜色的事物的技术缺陷，提高高分遥感图像的语义分割的准确性。
为实现上述目的，本发明提供了如下方案：
一种基于随机块的高分遥感图像的语义分割方法，所述语义分割方法包括如下步骤：
对高分遥感图像进行随机块划分，将所述高分遥感图像划分成多个随机块；
提取每个随机块的每个波段的单光谱特征数据；
结合每个随机块相邻的随机块的每个波段的单光谱特征数据采用带监督的语义分割网络分别对每个随机块的每个波段的单光谱特征数据进行语义分割，获得每个随机块的每个波段的单光谱语义分割概率图；
对每个随机块的每个波段的单光谱语义分割概率图利用训练后的权重进行融合，获得每个随机块的语义分割融合概率图。
可选的，所述对高分遥感图像进行随机块划分，将所述高分遥感图像划分成多个随机块，具体包括：
在所述高分辨率遥感图像中心区域随机选择一个像素点d0；
以像素点d0为中心点以随机生成的长度len(p0)为边长的正方形裁剪高分辨率遥感图像，得到随机块p0；
分别以随机块p0的四个顶点d01、d02、d03、d04为中心点以随机生成的长度len(p01)、len(p02)、len(p03)、len(p04)为边长的正方形裁剪高分辨率遥感图像，生成与随机块p0相邻的随机块p01、p02、p03、p04；正方形的边长的取值范围为：512≤len(·)≤1024；
重复步骤“分别以随机块p0的四个顶点d01、d02、d03、d04为中心点以随机生成的长度len(p01)、len(p02)、len(p03)、len(p04)为边长的正方形裁剪高分辨率遥感图像，生成与随机块p0相邻的随机块p01、p02、p03、p04”，不断生成与每个新生成的随机块相邻的随机块，直到新生成的随机块都达到高分辨率遥感图像的边缘。
可选的，所述带监督的语义分割网络包括编码器、RNN网络、解码器、第一监督模块、第二监督模块和第三监督模块；
所述编码器、所述RNN网络和所述解码器依次连接；
所述第一监督模块设置在所述编码器的最后一层，所述第二监督模块设置在所述解码器的第一层，所述第三监督模块设置在所述解码器的第二层。
可选的，所述结合每个随机块相邻的随机块的每个波段的单光谱特征数据采用带监督的语义分割网络分别对每个随机块的每个波段的单光谱特征数据进行语义分割，获得每个随机块的每个波段的单光谱语义分割概率图，具体包括：
通过编码器，利用公式
Figure BDA0002595588670000031
对第i个随机块pi及第i个随机块pi相邻的随机块pim的第j个波段的单光谱特征数据进行抽象特征提取，获得第i个随机块pi及第i个随机块pi相邻的随机块pim的第j个波段的抽象特征图；其中，Fi j表示随机块pi的第j个波段的抽象特征图，En(·)表示编码器，
Figure BDA0002595588670000032
表示随机块pi的相邻的第m个随机块pim的第j个波段的抽象特征图；
基于第i个随机块pi及第i个随机块pi相邻的随机块pim的第j个波段的抽象特征图，通过RNN网络，利用公式
Figure BDA0002595588670000041
对第i个随机块pi与第i个随机块pi相邻的四个随机块的第j个波段的抽象特征图进行邻域关联，获得第i个随机块pi的第j个波段的邻域关联后的抽象特征；其中，
Figure BDA0002595588670000042
和
Figure BDA0002595588670000043
分别表示第i个随机块pi相邻的第m个随机块pim、第m-1个随机块pi(m-1)和第4个随机块pi4的第j个波段的抽象特征图
Figure BDA0002595588670000044
在RNN网络中隐藏层的输出，
Figure BDA0002595588670000045
表示第i个随机块pi的第j个波段的抽象特征图Fi j在RNN网络中隐藏层的输出，
Figure BDA0002595588670000046
表示第i个随机块pi相邻的第m个随机块pim的第j个波段的邻域关联后的抽象特征，
Figure BDA0002595588670000047
表示第i个随机块pi的第j个波段的邻域关联后的抽象特征；φ(·)表示第一非线性函数，σ(·)表示第二非线性函数，u表示第一转置矩阵，v表示第二转置矩阵，w表示第三转置矩阵，b表示第一偏置项，c表示第二偏置项；
通过解码器，利用公式
Figure BDA0002595588670000048
对第i个随机块的第j个波段的邻域关联后的抽象特征进行解码，获得第i个随机块pi的第j个波段的单光谱语义分割概率图
Figure BDA0002595588670000049
通过第一监督模块、第二监督模块和第三监督模块分别对编码器输出的特征数据、RNN网络输出的特征数据和解码器输出的特征数据进行监督。
可选的，所述对每个随机块的多个单光谱语义分割概率图利用训练后的权重进行融合，获得每个随机块的语义分割融合概率图，之前还包括：
构造多个单光谱语义分割概率图的权重训练网络；所述权重训练网络包括多个平行的带监督的语义分割网络和一个卷积融合模块；
基于随机块的多个单光谱特征数据，采用权重训练网络进行每个波段的单光谱语义分割概率图的权重的训练，获得训练后的权重。
一种基于随机块的高分遥感图像的语义分割系统，所述语义分割系统包括：
随机块划分模块，用于对高分遥感图像进行随机块划分，将所述高分遥感图像划分成多个随机块；
单光谱特征数据提取模块，用于提取每个随机块的每个波段的单光谱特征数据；
语义分割模块，用于结合每个随机块相邻的随机块的每个波段的单光谱特征数据采用带监督的语义分割网络分别对每个随机块的每个波段的单光谱特征数据进行语义分割，获得每个随机块的每个波段的单光谱语义分割概率图；
融合模块，用于对每个随机块的每个波段的单光谱语义分割概率图利用训练后的权重进行融合，获得每个随机块的语义分割融合概率图。
可选的，所述随机块划分模块，具体包括：
像素点选取子模块，用于在所述高分辨率遥感图像中心区域随机选择一个像素点d0；
第一随机块划分子模块，用于以像素点d0为中心点以随机生成的长度len(p0)为边长的正方形裁剪高分辨率遥感图像，得到随机块p0；
第二随机块划分子模块，用于分别以随机块p0的四个顶点d01、d02、d03、d04为中心点以随机生成的长度len(p01)、len(p02)、len(p03)、len(p04)为边长的正方形裁剪高分辨率遥感图像，生成与随机块p0相邻的随机块p01、p02、p03、p04；正方形的边长的取值范围为：512≤len(·)≤1024；
第三随机划块分子模块，用于重复步骤“分别以随机块p0的四个顶点d01、d02、d03、d04为中心点以随机生成的长度len(p01)、len(p02)、len(p03)、len(p04)为边长的正方形裁剪高分辨率遥感图像，生成与随机块p0相邻的随机块p01、p02、p03、p04”，不断生成与每个新生成的随机块相邻的随机块，直到新生成的随机块都达到高分辨率遥感图像的边缘。
可选的，所述带监督的语义分割网络包括编码器、RNN网络、解码器、第一监督模块、第二监督模块和第三监督模块；
所述编码器、所述RNN网络和所述解码器依次连接；
所述第一监督模块设置在所述编码器的最后一层，所述第二监督模块设置在所述解码器的第一层，所述第三监督模块设置在所述解码器的第二层。
可选的，所述语义分割模块，具体包括：
编码子模块，用于通过编码器，利用公式
Figure BDA0002595588670000061
对第i个随机块pi及第i个随机块pi相邻的随机块pim的第j个波段的单光谱特征数据进行抽象特征提取，获得第i个随机块pi及第i个随机块pi相邻的随机块pim的第j个波段的抽象特征图；其中，Fi j表示随机块pi的第j个波段的抽象特征图，En(·)表示编码器，
Figure BDA0002595588670000062
表示随机块pi的相邻的第m个随机块pim的第j个波段的抽象特征图；
领域特征关联子模块，用于基于第i个随机块pi及第i个随机块pi相邻的随机块pim的第j个波段的抽象特征图，通过RNN网络，利用公式
Figure BDA0002595588670000063
对第i个随机块pi与第i个随机块pi相邻的四个随机块的第j个波段的抽象特征图进行邻域关联，获得第i个随机块pi的第j个波段的邻域关联后的抽象特征；其中，
Figure BDA0002595588670000064
和
Figure BDA0002595588670000065
分别表示第i个随机块pi相邻的第m个随机块pim、第m-1个随机块pi(m-1)和第4个随机块pi4的第j个波段的抽象特征图
Figure BDA0002595588670000066
在RNN网络中隐藏层的输出，
Figure BDA0002595588670000067
表示第i个随机块pi的第j个波段的抽象特征图Fi j在RNN网络中隐藏层的输出，
Figure BDA0002595588670000068
表示第i个随机块pi相邻的第m个随机块pim的第j个波段的邻域关联后的抽象特征，
Figure BDA0002595588670000069
表示第i个随机块pi的第j个波段的邻域关联后的抽象特征；φ(·)表示第一非线性函数，σ(·)表示第二非线性函数，u表示第一转置矩阵，v表示第二转置矩阵，w表示第三转置矩阵，b表示第一偏置项，c表示第二偏置项；
解码子模块，用于通过解码器，利用公式
Figure BDA00025955886700000610
对第i个随机块的第j个波段的邻域关联后的抽象特征进行解码，获得第i个随机块pi的第j个波段的单光谱语义分割概率图
Figure BDA0002595588670000071
监督子模块，用于通过第一监督模块、第二监督模块和第三监督模块分别对编码器输出的特征数据、RNN网络输出的特征数据和解码器输出的特征数据进行监督。
可选的，所述语义分割系统还包括：
权重训练网络构造模块，用于构造多个单光谱语义分割概率图的权重训练网络；所述权重训练网络包括多个平行的带监督的语义分割网络和一个卷积融合模块；
权重训练模块，用于基于随机块的多个单光谱特征数据，采用权重训练网络进行每个波段的单光谱语义分割概率图的权重的训练，获得训练后的权重。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明公开了一种基于随机块的高分遥感图像的语义分割方法，所述语义分割方法包括如下步骤：对高分遥感图像进行随机块划分，将所述高分遥感图像划分成多个随机块；提取每个随机块的每个波段的单光谱特征数据；结合每个随机块相邻的随机块的每个波段的单光谱特征数据采用带监督的语义分割网络分别对每个随机块的每个波段的单光谱特征数据进行语义分割，获得每个随机块的每个波段的单光谱语义分割概率图；对每个随机块的每个波段的单光谱语义分割概率图利用训练后的权重进行融合，获得每个随机块的语义分割融合概率图。本发明采用对高分遥感图像进行随机块划分，对单个随机块进行分别语义分割的方式避免了高分遥感图像的语义分割方法中GPU溢出现象，并且在语义分割过程中结合随机块相邻的随机块中的特征数据，克服了现有的遥感图像分割方法会削弱图像内部的关联性的技术缺陷，而且本发明分别对高分遥感图像的每个波段的单光谱特征数据进行语义分割，利用不同地物对不同波段光的敏感性不同的特点实现对相同或相近颜色的事物的识别，提高了高分遥感图像的语义分割的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的一种基于随机块的高分遥感图像的语义分割方法的流程图；
图2为本发明提供的随机块划分的原理图；
图3为本发明提供的带监督的语义分割网络的结构示意图；
图4为本发明提供的权重训练网络的结构示意图。
具体实施方式
本发明的目的是提供一种基于随机块的高分遥感图像的语义分割方法及系统，以克服现有的高分遥感图像的语义分割方法中GPU溢出现象及无法识别相同或相近颜色的事物的技术缺陷，提高高分遥感图像的语义分割的准确性。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对发明作进一步详细的说明。
为实现上述目的，本发明提供了如下方案：
对于高分遥感图像，一张高分遥感图像通常所涉及的地域面积非常广泛，数据量非常大，可以达到G级别。同时，高分影像通常包含四个谱段范围甚至更多，其中以蓝色波段0.45～0.52μm，绿色波段0.52～0.60μm，红色波段0.62～0.69μm，以及近红外波段0.76～0.96μm最为常见。可是，现有的语义分割网络很少考虑不同波段对语义分割的影响。除此之外，由于受感受野的限制，大多数用于语义分割的卷积神经网络只能获取有限的上下文信息，这容易导致视觉上相似的像素分类产生分歧。因此，本发明将注重不同波段对语义分割内容的影响，并采用循环一致性网络(RNN网络)来增强像素之间的依赖性。
如图1所示，本发明提供一种基于随机块的高分遥感图像的语义分割方法，所述语义分割方法包括如下步骤：
步骤101，对高分遥感图像进行随机块划分，将所述高分遥感图像划分成多个随机块。
所述对高分遥感图像进行随机块划分，将所述高分遥感图像划分成多个随机块，具体包括：在所述高分辨率遥感图像中心区域随机选择一个像素点d0；以像素点d0为中心点以随机生成的长度len(p0)为边长的正方形裁剪高分辨率遥感图像，得到随机块p0；分别以随机块p0的四个顶点d01、d02、d03、d04为中心点以随机生成的长度len(p01)、len(p02)、len(p03)、len(p04)为边长的正方形裁剪高分辨率遥感图像，生成与随机块p0相邻的随机块p01、p02、p03、p04；正方形的边长的取值范围为：512≤len(·)≤1024；重复步骤“分别以随机块p0的四个顶点d01、d02、d03、d04为中心点以随机生成的长度len(p01)、len(p02)、len(p03)、len(p04)为边长的正方形裁剪高分辨率遥感图像，生成与随机块p0相邻的随机块p01、p02、p03、p04”，不断生成与每个新生成的随机块相邻的随机块，直到新生成的随机块都达到高分辨率遥感图像的边缘。
具体的，如图2所示，假定输入高分遥感图像
Figure BDA00025955886700000910
高度和宽度分别为
Figure BDA0002595588670000091
Figure BDA0002595588670000092
首先，在高分遥感图像中随机选择一个像素点d0，d0位置可表示为向量(x0，y0)，以该点d0为中心点，随机裁剪一个正方形，产生随机块
Figure BDA0002595588670000093
的边长的记为
Figure BDA0002595588670000094
其中，
Figure BDA0002595588670000095
的四角顶点从左上角到右下角顺时针旋转分别为d01，d02，d03，d04。
Figure BDA0002595588670000096
Figure BDA0002595588670000097
Figure BDA0002595588670000098
Figure BDA0002595588670000099
为了使随机块从
Figure BDA0002595588670000101
开始向外扩散，分别以
Figure BDA0002595588670000102
的四个顶点d01，d02，d03，d04为中心随机截取四个正方形图像(与随机块
Figure BDA00025955886700001015
的生成规则相同)，生成新的随机块
Figure BDA0002595588670000103
i＝1，2，3，4，同理，新的随机块顶点分别命名为di1，di2，di3，di4，i＝1，2，3，4。不断重复这个过程
Figure BDA0002595588670000104
次，直至截取的随机块
Figure BDA0002595588670000105
到达图像边缘(如果某随机块达到图像边缘，那么该随机块不再扩展)，此时，可保证随机块遍布整个高分遥感图像
Figure BDA0002595588670000106
经过
Figure BDA0002595588670000107
次扩展(
Figure BDA0002595588670000108
属于整数)，随机块数量总和为
Figure BDA0002595588670000109
计算如下：
Figure BDA00025955886700001010
为了保证所有随机块的集合能够涵盖遥感图像的每个像素，对随机块的边长进行限制：
正方形的边长的取值范围为：512≤len(·)≤1024。
步骤102，提取每个随机块的每个波段的单光谱特征数据。随机块和邻域随机块是由多个波段构成的，由于具体地物对不同波段的敏感程度不同，需要对多个波段分别提取，获取随机块的多个单光谱特征数据和领域的随机块的单光谱特征数据。对随机块和邻域随机块提取多光谱特征数据。高分遥感图像是多个波段构成的，由于具体地物对不同波段的敏感程度不同，需要对多个波段分别提取。一般情况下，遥感图像由四个波段构成，蓝色波段0.45um～0.52um、绿色波段0.52um～0.60um、红色波段0.62um～0.69um以及近红外波段0.76～0.96um。在计算机中遥感图像常常表示为四个通道的单光谱特征数据，可直接使用python中GDAL库读取这几个波段的通道。
步骤103，结合每个随机块相邻的随机块的每个波段的单光谱特征数据采用带监督的语义分割网络分别对每个随机块的每个波段的单光谱特征数据进行语义分割，获得每个随机块的每个波段的单光谱语义分割概率图。
如图3所示，图3中，Conv表示卷积层，Pooling表示池化下采样，upsampling表示上采样层，Bi表示双线性插值操作，
Figure BDA00025955886700001011
表示特征图
Figure BDA00025955886700001012
在RNN网络中隐藏层的输出，
Figure BDA00025955886700001013
表示特征图
Figure BDA00025955886700001014
在RNN网络中隐藏层的输出，
Figure BDA0002595588670000111
表示
Figure BDA0002595588670000112
的输出，
Figure BDA0002595588670000113
表示
Figure BDA0002595588670000114
的输出，
Figure BDA0002595588670000115
是转置矩阵，
Figure BDA0002595588670000116
表示随机块
Figure BDA0002595588670000117
经过编码器En(·)生成的高级抽象特征，
Figure BDA0002595588670000118
表示随机块
Figure BDA0002595588670000119
的其中一个邻域随机块
Figure BDA00025955886700001110
经过编码器En(·)生成的高级抽象特征，m表示下标。如图3所示，所述带监督的语义分割网络包括编码器、RNN网络、解码器、第一监督模块、第二监督模块和第三监督模块；所述编码器、所述RNN网络和所述解码器依次连接；所述第一监督模块设置在所述编码器的最后一层，所述第二监督模块设置在所述解码器的第一层，所述第三监督模块设置在所述解码器的第二层。
步骤103所述结合每个随机块相邻的随机块的每个波段的单光谱特征数据采用带监督的语义分割网络分别对每个随机块的每个波段的单光谱特征数据进行语义分割，获得每个随机块的每个波段的单光谱语义分割概率图，具体包括：
通过编码器，利用公式
Figure BDA00025955886700001111
对第i个随机块pi及第i个随机块pi相邻的随机块pim的第j个波段的单光谱特征数据进行抽象特征提取，获得第i个随机块pi及第i个随机块pi相邻的随机块pim的第j个波段的抽象特征图；其中，Fi j表示随机块pi的第j个波段的抽象特征图，En(·)表示编码器，
Figure BDA00025955886700001112
表示随机块pi的相邻的第m个随机块pim的第j个波段的抽象特征图。具体的，将随机块pi为一个图像单元，随机块pi的领域为以
Figure BDA00025955886700001113
的四个顶点di1，di2，di3，di4为中心随机截取的四个随机块，这里为表示方便，记作
Figure BDA00025955886700001114
这四个随机块和随机块pi位置距离上最近，且存在交叉的图像区域，因此，内容上存在较强的相关性。语义分割的子网路可利用图像之间的依赖关系，并输出与输入图像尺寸一致的语义分割概率图，以便融合。
为了实现语义分割功能，该发明采用语义分割的经典框架U-Net。首先，通过编码器对图像进行高级的抽象特征提取。
接着，将
Figure BDA00025955886700001115
m＝1,2,3,4和Fi j依次输入RNN网络，将四个领域随机块和随机块pi建立依赖关系。基于第i个随机块pi及第i个随机块pi相邻的随机块pim的第j个波段的抽象特征图，通过RNN网络，利用公式
Figure BDA0002595588670000121
对第i个随机块pi与第i个随机块pi相邻的四个随机块的第j个波段的抽象特征图进行邻域关联，获得第i个随机块pi的第j个波段的邻域关联后的抽象特征；其中，
Figure BDA0002595588670000122
和
Figure BDA0002595588670000123
分别表示第i个随机块pi相邻的第m个随机块pim、第m-1个随机块pi(m-1)和第4个随机块pi4的第j个波段的抽象特征图
Figure BDA0002595588670000124
在RNN网络中隐藏层的输出，
Figure BDA0002595588670000125
表示第i个随机块pi的第j个波段的抽象特征图Fi j在RNN网络中隐藏层的输出，
Figure BDA0002595588670000126
表示第i个随机块pi相邻的第m个随机块pim的第j个波段的邻域关联后的抽象特征，
Figure BDA0002595588670000127
表示第i个随机块pi的第j个波段的邻域关联后的抽象特征；φ(·)表示第一非线性函数，σ(·)表示第二非线性函数，u表示第一转置矩阵，v表示第二转置矩阵，w表示第三转置矩阵，b表示第一偏置项，c表示第二偏置项；通过解码器，利用公式
Figure BDA0002595588670000128
对第i个随机块的第j个波段的邻域关联后的抽象特征进行解码，获得第i个随机块pi的第j个波段的单光谱语义分割概率图
Figure BDA0002595588670000129
通过第一监督模块、第二监督模块和第三监督模块分别对编码器输出的特征数据、RNN网络输出的特征数据和解码器输出的特征数据进行监督。具体的，为了提高语义分割的性能，可在编码器最后一层，解码器第一层和第二层分别通过卷积层逐像素进行预测分类，双线性插值进行上采样恢复图像原来的尺寸，最后使用交叉熵损失函数作为评估网络编码器、RNN网络、以及解码器的性能，从三方面监督网络。计算公式如下：
Figure BDA00025955886700001210
Figure BDA00025955886700001211
其中，ypre表示被监督层输出特征
Figure BDA00025955886700001212
经过卷积层和双线性插值层的预测概率，是个语义分割概率图。conv1(·)表示分类的卷积操作，
Figure BDA0002595588670000131
表示双线性插值操作，
Figure BDA0002595588670000132
是使用交叉熵损失函数计算的预测概率ypre和真实标签ytrue之间的损失。
构造多个单光谱语义分割概率图的权重训练网络；如图4所示，所述权重训练网络包括多个平行的带监督的语义分割网络和一个卷积融合模块；权重训练网络采用平行语义分割子网络的模式，随机块的单光谱特征数据和邻域随机块的单光谱特征数据单独训练每个语义分割子网络，获取单光谱特征数据的语义分割概率图，最终采用一个卷积层融合多个单光谱随机块数据的语义分割概率图，并获得融合概率图。
不同波段的光谱图像对不同地物的敏感性不同，可根据识别目标进行权重的训练。具体的，基于随机块的多个单光谱特征数据，采用权重训练网络进行每个波段的单光谱语义分割概率图的权重的训练，获得训练后的权重。通过不断输入新的随机块和邻域随机块的单光谱特征数据，通过前向传播计算从输入层到隐藏层以及从隐藏层到输出层的输出，经过反向传播优化网络，使得权重训练网络中的权重参数不断更新直至收敛。
步骤104，对每个随机块的每个波段的单光谱语义分割概率图利用训练后的权重进行融合，获得每个随机块的语义分割融合概率图。
随机块的每个波段的单光谱特征数据分别经过语义分割子网络之后，生成一个语义分割概率图
Figure BDA0002595588670000133
对这些语义分割概率图融合，获得语义分割融合概率图，具体可表示为：
Figure BDA0002595588670000134
其中，out表示语义分割融合概率图，conv2表示光谱融合所采用的卷积层操作，max(j)表示高分遥感图像所包含波段的数量。
根据语义分割融合概率图获取待测的高分遥感图像中的道路信息，桥梁信息等。
本发明还提供一种基于随机块的高分遥感图像的语义分割系统，所述语义分割系统包括：
随机块划分模块，用于对高分遥感图像进行随机块划分，将所述高分遥感图像划分成多个随机块。
所述随机块划分模块，具体包括：像素点选取子模块，用于在所述高分辨率遥感图像中心区域随机选择一个像素点d0；第一随机块划分子模块，用于以像素点d0为中心点以随机生成的长度len(p0)为边长的正方形裁剪高分辨率遥感图像，得到随机块p0；第二随机块划分子模块，用于分别以随机块p0的四个顶点d01、d02、d03、d04为中心点以随机生成的长度len(p01)、len(p02)、len(p03)、len(p04)为边长的正方形裁剪高分辨率遥感图像，生成与随机块p0相邻的随机块p01、p02、p03、p04；正方形的边长的取值范围为：512≤len(·)≤1024；第三随机划块分子模块，用于重复步骤“分别以随机块p0的四个顶点d01、d02、d03、d04为中心点以随机生成的长度len(p01)、len(p02)、len(p03)、len(p04)为边长的正方形裁剪高分辨率遥感图像，生成与随机块p0相邻的随机块p01、p02、p03、p04”，不断生成与每个新生成的随机块相邻的随机块，直到新生成的随机块都达到高分辨率遥感图像的边缘。
单光谱特征数据提取模块，用于提取每个随机块的每个波段的单光谱特征数据。
语义分割模块，用于结合每个随机块相邻的随机块的每个波段的单光谱特征数据采用带监督的语义分割网络分别对每个随机块的每个波段的单光谱特征数据进行语义分割，获得每个随机块的每个波段的单光谱语义分割概率图。
所述带监督的语义分割网络包括编码器、RNN网络、解码器、第一监督模块、第二监督模块和第三监督模块；所述编码器、所述RNN网络和所述解码器依次连接；所述第一监督模块设置在所述编码器的最后一层，所述第二监督模块设置在所述解码器的第一层，所述第三监督模块设置在所述解码器的第二层。
所述语义分割模块，具体包括：编码子模块，用于通过编码器，利用公式
Figure BDA0002595588670000141
对第i个随机块pi及第i个随机块pi相邻的随机块pim的第j个波段的单光谱特征数据进行抽象特征提取，获得第i个随机块pi及第i个随机块pi相邻的随机块pim的第j个波段的抽象特征图；其中，Fi j表示随机块pi的第j个波段的抽象特征图，En(·)表示编码器，
Figure BDA0002595588670000151
表示随机块pi的相邻的第m个随机块pim的第j个波段的抽象特征图；领域特征关联子模块，用于基于第i个随机块pi及第i个随机块pi相邻的随机块pim的第j个波段的抽象特征图，通过RNN网络，利用公式
Figure BDA0002595588670000152
对第i个随机块pi与第i个随机块pi相邻的四个随机块的第j个波段的抽象特征图进行邻域关联，获得第i个随机块pi的第j个波段的邻域关联后的抽象特征；其中，
Figure BDA0002595588670000153
和
Figure BDA0002595588670000154
分别表示第i个随机块pi相邻的第m个随机块pim、第m-1个随机块pi(m-1)和第4个随机块pi4的第j个波段的抽象特征图
Figure BDA0002595588670000155
在RNN网络中隐藏层的输出，
Figure BDA0002595588670000156
表示第i个随机块pi的第j个波段的抽象特征图Fi j在RNN网络中隐藏层的输出，
Figure BDA0002595588670000157
表示第i个随机块pi相邻的第m个随机块pim的第j个波段的邻域关联后的抽象特征，
Figure BDA0002595588670000158
表示第i个随机块pi的第j个波段的邻域关联后的抽象特征；φ(·)表示第一非线性函数，σ(·)表示第二非线性函数，u表示第一转置矩阵，v表示第二转置矩阵，w表示第三转置矩阵，b表示第一偏置项，c表示第二偏置项；解码子模块，用于通过解码器，利用公式
Figure BDA0002595588670000159
对第i个随机块的第j个波段的邻域关联后的抽象特征进行解码，获得第i个随机块pi的第j个波段的单光谱语义分割概率图
Figure BDA00025955886700001510
监督子模块，用于通过第一监督模块、第二监督模块和第三监督模块分别对编码器输出的特征数据、RNN网络输出的特征数据和解码器输出的特征数据进行监督。
融合模块，用于对每个随机块的每个波段的单光谱语义分割概率图利用训练后的权重进行融合，获得每个随机块的语义分割融合概率图。
所述语义分割系统还包括：权重训练网络构造模块，用于构造多个单光谱语义分割概率图的权重训练网络；所述权重训练网络包括多个平行的带监督的语义分割网络和一个卷积融合模块；权重训练模块，用于基于随机块的多个单光谱特征数据，采用权重训练网络进行每个波段的单光谱语义分割概率图的权重的训练，获得训练后的权重。
本发明的技术方案的优点：高分遥感图像存在多光谱以及大数据量的特性。因此，本发明利用随机块的方式将遥感图像划分成小范围的图像，与此同时，随机块的生成方式也达到了数据增强的效果。而不同波段的遥感图像对不同的地物敏感性也不同，因此，本发明采用的卷积层相当于对不同波段的预测图像进行加权加和。本发明采用对高分遥感图像进行随机块划分，对单个随机块进行分别语义分割的方式避免了高分遥感图像的语义分割方法中GPU溢出现象，并且在语义分割过程中结合随机块相邻的随机块中的特征数据，克服了现有的遥感图像分割方法会削弱图像内部的关联性的技术缺陷，而且本发明分别对高分遥感图像的每个波段的单光谱特征数据进行语义分割，利用不同地物对不同波段光的敏感性不同的特点实现对相同或相近颜色的事物的识别，提高了高分遥感图像的语义分割的准确性。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
本文中应用了具体个例对发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

Claims (10)

1.一种基于随机块的高分遥感图像的语义分割方法，其特征在于，所述语义分割方法包括如下步骤：
对高分遥感图像进行随机块划分，将所述高分遥感图像划分成多个随机块；
提取每个随机块的每个波段的单光谱特征数据；
结合每个随机块相邻的随机块的每个波段的单光谱特征数据采用带监督的语义分割网络分别对每个随机块的每个波段的单光谱特征数据进行语义分割，获得每个随机块的每个波段的单光谱语义分割概率图；
对每个随机块的每个波段的单光谱语义分割概率图利用训练后的权重进行融合，获得每个随机块的语义分割融合概率图。
2.根据权利要求1所述的基于随机块的高分遥感图像的语义分割方法，其特征在于，所述对高分遥感图像进行随机块划分，将所述高分遥感图像划分成多个随机块，具体包括：
在所述高分辨率遥感图像中心区域随机选择一个像素点d0；
以像素点d0为中心点以随机生成的长度len(p0)为边长的正方形裁剪高分辨率遥感图像，得到随机块p0；
分别以随机块p0的四个顶点d01、d02、d03、d04为中心点以随机生成的长度len(p01)、len(p02)、len(p03)、len(p04)为边长的正方形裁剪高分辨率遥感图像，生成与随机块p0相邻的随机块p01、p02、p03、p04；正方形的边长的取值范围为：512≤len(·)≤1024；
重复步骤“分别以随机块p0的四个顶点d01、d02、d03、d04为中心点以随机生成的长度len(p01)、len(p02)、len(p03)、len(p04)为边长的正方形裁剪高分辨率遥感图像，生成与随机块p0相邻的随机块p01、p02、p03、p04”，不断生成与每个新生成的随机块相邻的随机块，直到新生成的随机块都达到高分辨率遥感图像的边缘。
3.根据权利要求1所述的基于随机块的高分遥感图像的语义分割方法，其特征在于，所述带监督的语义分割网络包括编码器、RNN网络、解码器、第一监督模块、第二监督模块和第三监督模块；
所述编码器、所述RNN网络和所述解码器依次连接；
所述第一监督模块设置在所述编码器的最后一层，所述第二监督模块设置在所述解码器的第一层，所述第三监督模块设置在所述解码器的第二层。
4.根据权利要求3所述的基于随机块的高分遥感图像的语义分割方法，其特征在于，所述结合每个随机块相邻的随机块的每个波段的单光谱特征数据采用带监督的语义分割网络分别对每个随机块的每个波段的单光谱特征数据进行语义分割，获得每个随机块的每个波段的单光谱语义分割概率图，具体包括：
通过编码器，利用公式
Figure FDA0002595588660000021
对第i个随机块pi及第i个随机块pi相邻的随机块pim的第j个波段的单光谱特征数据进行抽象特征提取，获得第i个随机块pi及第i个随机块pi相邻的随机块pim的第j个波段的抽象特征图；其中，Fi j表示随机块pi的第j个波段的抽象特征图，En(·)表示编码器，
Figure FDA0002595588660000022
表示随机块pi的相邻的第m个随机块pim的第j个波段的抽象特征图；
基于第i个随机块pi及第i个随机块pi相邻的随机块pim的第j个波段的抽象特征图，通过RNN网络，利用公式
Figure FDA0002595588660000023
对第i个随机块pi与第i个随机块pi相邻的四个随机块的第j个波段的抽象特征图进行邻域关联，获得第i个随机块pi的第j个波段的邻域关联后的抽象特征；其中，
Figure FDA0002595588660000024
和
Figure FDA0002595588660000025
分别表示第i个随机块pi相邻的第m个随机块pim、第m-1个随机块pi(m-1)和第4个随机块pi4的第j个波段的抽象特征图
Figure FDA0002595588660000026
在RNN网络中隐藏层的输出，
Figure FDA0002595588660000027
表示第i个随机块pi的第j个波段的抽象特征图Fi j在RNN网络中隐藏层的输出，
Figure FDA0002595588660000028
表示第i个随机块pi相邻的第m个随机块pim的第j个波段的邻域关联后的抽象特征，
Figure FDA0002595588660000029
表示第i个随机块pi的第j个波段的邻域关联后的抽象特征；φ(·)表示第一非线性函数，σ(·)表示第二非线性函数，u表示第一转置矩阵，V表示第二转置矩阵，w表示第三转置矩阵，b表示第一偏置项，c表示第二偏置项；
通过解码器，利用公式
Figure FDA0002595588660000031
对第i个随机块的第j个波段的邻域关联后的抽象特征进行解码，获得第i个随机块pi的第j个波段的单光谱语义分割概率图
Figure FDA0002595588660000032
通过第一监督模块、第二监督模块和第三监督模块分别对编码器输出的特征数据、RNN网络输出的特征数据和解码器输出的特征数据进行监督。
5.根据权利要求1所述的基于随机块的高分遥感图像的语义分割方法，其特征在于，所述对每个随机块的每个波段的单光谱语义分割概率图利用训练后的权重进行融合，获得每个随机块的语义分割融合概率图，之前还包括：
构造多个单光谱语义分割概率图的权重训练网络；所述权重训练网络包括多个平行的带监督的语义分割网络和一个卷积融合模块；
基于随机块的多个单光谱特征数据，采用权重训练网络进行每个波段的单光谱语义分割概率图的权重的训练，获得训练后的权重。
6.一种基于随机块的高分遥感图像的语义分割系统，其特征在于，所述语义分割系统包括：
随机块划分模块，用于对高分遥感图像进行随机块划分，将所述高分遥感图像划分成多个随机块；
单光谱特征数据提取模块，用于提取每个随机块的每个波段的单光谱特征数据；
语义分割模块，用于结合每个随机块相邻的随机块的每个波段的单光谱特征数据采用带监督的语义分割网络分别对每个随机块的每个波段的单光谱特征数据进行语义分割，获得每个随机块的每个波段的单光谱语义分割概率图；
融合模块，用于对每个随机块的每个波段的单光谱语义分割概率图利用训练后的权重进行融合，获得每个随机块的语义分割融合概率图。
7.根据权利要求6所述的基于随机块的高分遥感图像的语义分割系统，其特征在于，所述随机块划分模块，具体包括：
像素点选取子模块，用于在所述高分辨率遥感图像中心区域随机选择一个像素点d0；
第一随机块划分子模块，用于以像素点d0为中心点以随机生成的长度len(p0)为边长的正方形裁剪高分辨率遥感图像，得到随机块p0；
第二随机块划分子模块，用于分别以随机块p0的四个顶点d01、d02、d03、d04为中心点以随机生成的长度len(p01)、len(p02)、len(p03)、len(p04)为边长的正方形裁剪高分辨率遥感图像，生成与随机块p0相邻的随机块p01、p02、p03、p04；正方形的边长的取值范围为：512≤len(·)≤1024；
第三随机划块分子模块，用于重复步骤“分别以随机块p0的四个顶点d01、d02、d03、d04为中心点以随机生成的长度len(p01)、len(p02)、len(p03)、len(p04)为边长的正方形裁剪高分辨率遥感图像，生成与随机块p0相邻的随机块p01、p02、p03、p04”，不断生成与每个新生成的随机块相邻的随机块，直到新生成的随机块都达到高分辨率遥感图像的边缘。
8.根据权利要求6所述的基于随机块的高分遥感图像的语义分割系统，其特征在于，所述带监督的语义分割网络包括编码器、RNN网络、解码器、第一监督模块、第二监督模块和第三监督模块；
所述编码器、所述RNN网络和所述解码器依次连接；
所述第一监督模块设置在所述编码器的最后一层，所述第二监督模块设置在所述解码器的第一层，所述第三监督模块设置在所述解码器的第二层。
9.根据权利要求8所述的基于随机块的高分遥感图像的语义分割系统，其特征在于，所述语义分割模块，具体包括：
编码子模块，用于通过编码器，利用公式
Figure FDA0002595588660000041
对第i个随机块pi及第i个随机块pi相邻的随机块pim的第j个波段的单光谱特征数据进行抽象特征提取，获得第i个随机块pi及第i个随机块pi相邻的随机块pim的第j个波段的抽象特征图；其中，Fi j表示随机块pi的第j个波段的抽象特征图，En(·)表示编码器，
Figure FDA0002595588660000051
表示随机块pi的相邻的第m个随机块pim的第j个波段的抽象特征图；
领域特征关联子模块，用于基于第i个随机块pi及第i个随机块pi相邻的随机块pim的第j个波段的抽象特征图，通过RNN网络，利用公式
Figure FDA0002595588660000052
对第i个随机块pi与第i个随机块pi相邻的四个随机块的第j个波段的抽象特征图进行邻域关联，获得第i个随机块pi的第j个波段的邻域关联后的抽象特征；其中，
Figure FDA0002595588660000053
和
Figure FDA0002595588660000054
分别表示第i个随机块pi相邻的第m个随机块pim、第m-1个随机块pi(m-1)和第4个随机块pi4的第j个波段的抽象特征图
Figure FDA0002595588660000055
在RNN网络中隐藏层的输出，
Figure FDA0002595588660000056
表示第i个随机块pi的第j个波段的抽象特征图Fi j在RNN网络中隐藏层的输出，
Figure FDA0002595588660000057
表示第i个随机块pi相邻的第m个随机块pim的第j个波段的邻域关联后的抽象特征，
Figure FDA0002595588660000058
表示第i个随机块pi的第j个波段的邻域关联后的抽象特征；φ(·)表示第一非线性函数，σ(·)表示第二非线性函数，u表示第一转置矩阵，V表示第二转置矩阵，w表示第三转置矩阵，b表示第一偏置项，c表示第二偏置项；
解码子模块，用于通过解码器，利用公式
Figure FDA0002595588660000059
对第i个随机块的第j个波段的邻域关联后的抽象特征进行解码，获得第i个随机块pi的第j个波段的单光谱语义分割概率图
Figure FDA00025955886600000510
监督子模块，用于通过第一监督模块、第二监督模块和第三监督模块分别对编码器输出的特征数据、RNN网络输出的特征数据和解码器输出的特征数据进行监督。
10.根据权利要求6所述的基于随机块的高分遥感图像的语义分割系统，其特征在于，所述语义分割系统还包括：
权重训练网络构造模块，用于构造多个单光谱语义分割概率图的权重训练网络；所述权重训练网络包括多个平行的带监督的语义分割网络和一个卷积融合模块；
权重训练模块，用于基于随机块的多个单光谱特征数据，采用权重训练网络进行每个波段的单光谱语义分割概率图的权重的训练，获得训练后的权重。
CN202010708331.6A 2020-07-22 2020-07-22 一种基于随机块的高分遥感图像的语义分割方法及系统 Active CN111738268B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010708331.6A CN111738268B (zh) 2020-07-22 2020-07-22 一种基于随机块的高分遥感图像的语义分割方法及系统
US17/012,811 US11189034B1 (en) 2020-07-22 2020-09-04 Semantic segmentation method and system for high-resolution remote sensing image based on random blocks

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010708331.6A CN111738268B (zh) 2020-07-22 2020-07-22 一种基于随机块的高分遥感图像的语义分割方法及系统

Publications (2)

Publication Number Publication Date
CN111738268A true CN111738268A (zh) 2020-10-02
CN111738268B CN111738268B (zh) 2023-11-14

Family

ID=72656748

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010708331.6A Active CN111738268B (zh) 2020-07-22 2020-07-22 一种基于随机块的高分遥感图像的语义分割方法及系统

Country Status (2)

Country Link
US (1) US11189034B1 (zh)
CN (1) CN111738268B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112419333A (zh) * 2020-11-17 2021-02-26 武汉大学 一种遥感影像自适应特征选择分割方法及系统
CN112819077A (zh) * 2021-02-02 2021-05-18 河南大学 基于新型激活函数的高光谱图像分类方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114445442B (zh) * 2022-01-28 2022-12-02 杭州电子科技大学 基于非对称交叉融合的多光谱图像语义分割方法
CN115018750B (zh) * 2022-08-08 2022-11-08 湖南大学 中波红外高光谱及多光谱图像融合方法、系统及介质
CN115049834B (zh) * 2022-08-15 2022-11-11 南通电博士自动化设备有限公司 基于夜间灯光数据与高分辨率影像的城市建成区提取方法
CN115170575B (zh) * 2022-09-09 2022-12-23 阿里巴巴（中国）有限公司 遥感影像变化检测及模型训练的方法及设备
CN116452901B (zh) * 2023-06-19 2023-09-15 中国科学院海洋研究所 基于深度学习的遥感图像海洋养殖区自动化提取方法
CN116847091B (zh) * 2023-07-18 2024-04-26 华院计算技术(上海)股份有限公司 图像编码方法、系统、设备及介质
CN117475155B (zh) * 2023-12-26 2024-04-02 厦门瑞为信息技术有限公司 基于半监督学习的轻量级遥感图像分割方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108985238A (zh) * 2018-07-23 2018-12-11 武汉大学 联合深度学习和语义概率的高分辨率遥感影像不透水面提取方法及系统
US20190164290A1 (en) * 2016-08-25 2019-05-30 Intel Corporation Coupled multi-task fully convolutional networks using multi-scale contextual information and hierarchical hyper-features for semantic image segmentation
CN110059772A (zh) * 2019-05-14 2019-07-26 温州大学 基于迁移vgg网络的遥感图像语义分割方法
CN110136154A (zh) * 2019-05-16 2019-08-16 西安电子科技大学 基于全卷积网络与形态学处理的遥感图像语义分割方法
CN111259905A (zh) * 2020-01-17 2020-06-09 山西大学 一种基于下采样的特征融合遥感图像语义分割方法

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101877981B1 (ko) * 2011-12-21 2018-07-12 한국전자통신연구원 가버 특징과 ｓｖｍ 분류기를 이용하여 위변조 얼굴을 인식하기 위한 시스템 및 그 방법
US9488492B2 (en) * 2014-03-18 2016-11-08 Sri International Real-time system for multi-modal 3D geospatial mapping, object recognition, scene annotation and analytics
IN2013MU03603A (zh) * 2013-11-18 2015-07-31 Tata Consultancy Services Ltd
US10360477B2 (en) * 2016-01-11 2019-07-23 Kla-Tencor Corp. Accelerating semiconductor-related computations using learning based models
JP2019537157A (ja) * 2016-12-01 2019-12-19 バークレー ライツ，インコーポレイテッド マイクロ流体デバイスによる微小物体の自動検出及び再配置
US10957045B2 (en) * 2016-12-12 2021-03-23 University Of Notre Dame Du Lac Segmenting ultrasound images
JP2020510463A (ja) * 2017-01-27 2020-04-09 アーテリーズ インコーポレイテッド 全層畳み込みネットワークを利用する自動化されたセグメンテーション
US10067509B1 (en) * 2017-03-10 2018-09-04 TuSimple System and method for occluding contour detection
US10147193B2 (en) * 2017-03-10 2018-12-04 TuSimple System and method for semantic segmentation using hybrid dilated convolution (HDC)
US10671873B2 (en) * 2017-03-10 2020-06-02 Tusimple, Inc. System and method for vehicle wheel detection
WO2018176186A1 (en) * 2017-03-27 2018-10-04 Intel Corporation Semantic image segmentation using gated dense pyramid blocks
US10671083B2 (en) * 2017-09-13 2020-06-02 Tusimple, Inc. Neural network architecture system for deep odometry assisted by static scene optical flow
US10860919B2 (en) * 2017-09-27 2020-12-08 Google Llc End to end network model for high resolution image segmentation
WO2019100511A1 (en) * 2017-11-22 2019-05-31 Zhejiang Dahua Technology Co., Ltd. An image processing method and system
WO2019152472A1 (en) * 2018-01-30 2019-08-08 Madden Donald Face concealment detection
US10628690B2 (en) * 2018-05-09 2020-04-21 Ford Global Technologies, Llc Systems and methods for automated detection of trailer properties
US10922793B2 (en) * 2018-05-16 2021-02-16 Nvidia Corporation Guided hallucination for missing image content using a neural network
WO2019224823A1 (en) * 2018-05-22 2019-11-28 Ramot At Tel-Aviv University Ltd. Method and system for imaging and image processing
US10452947B1 (en) * 2018-06-08 2019-10-22 Microsoft Technology Licensing, Llc Object recognition using depth and multi-spectral camera
US11200424B2 (en) * 2018-10-12 2021-12-14 Adobe Inc. Space-time memory network for locating target object in video content
US11188799B2 (en) * 2018-11-12 2021-11-30 Sony Corporation Semantic segmentation with soft cross-entropy loss
WO2020220126A1 (en) * 2019-04-30 2020-11-05 Modiface Inc. Image processing using a convolutional neural network to track a plurality of objects
CN112419328B (zh) * 2019-08-22 2023-08-04 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
US11676278B2 (en) * 2019-09-26 2023-06-13 Intel Corporation Deep learning for dense semantic segmentation in video with automated interactivity and improved temporal coherence
US10984225B1 (en) * 2020-09-28 2021-04-20 Accenture Global Solutions Limited Masked face recognition

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190164290A1 (en) * 2016-08-25 2019-05-30 Intel Corporation Coupled multi-task fully convolutional networks using multi-scale contextual information and hierarchical hyper-features for semantic image segmentation
CN108985238A (zh) * 2018-07-23 2018-12-11 武汉大学 联合深度学习和语义概率的高分辨率遥感影像不透水面提取方法及系统
CN110059772A (zh) * 2019-05-14 2019-07-26 温州大学 基于迁移vgg网络的遥感图像语义分割方法
CN110136154A (zh) * 2019-05-16 2019-08-16 西安电子科技大学 基于全卷积网络与形态学处理的遥感图像语义分割方法
CN111259905A (zh) * 2020-01-17 2020-06-09 山西大学 一种基于下采样的特征融合遥感图像语义分割方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112419333A (zh) * 2020-11-17 2021-02-26 武汉大学 一种遥感影像自适应特征选择分割方法及系统
CN112419333B (zh) * 2020-11-17 2022-04-29 武汉大学 一种遥感影像自适应特征选择分割方法及系统
CN112819077A (zh) * 2021-02-02 2021-05-18 河南大学 基于新型激活函数的高光谱图像分类方法
CN112819077B (zh) * 2021-02-02 2023-04-07 河南大学 基于新型激活函数的高光谱图像分类方法

Also Published As

Publication number Publication date
CN111738268B (zh) 2023-11-14
US11189034B1 (en) 2021-11-30

Similar Documents

Publication Publication Date Title
CN111738268B (zh) 一种基于随机块的高分遥感图像的语义分割方法及系统
Guo et al. Scene-driven multitask parallel attention network for building extraction in high-resolution remote sensing images
CN112818903B (zh) 一种基于元学习和协同注意力的小样本遥感图像目标检测方法
Huang et al. Automatic building extraction from high-resolution aerial images and LiDAR data using gated residual refinement network
CN110532859B (zh) 基于深度进化剪枝卷积网的遥感图像目标检测方法
CN111259905B (zh) 一种基于下采样的特征融合遥感图像语义分割方法
Yuan Automatic building extraction in aerial scenes using convolutional networks
CN105069825B (zh) 基于深度置信网络的图像超分辨率重建方法
CN111047516A (zh) 图像处理方法、装置、计算机设备和存储介质
CN109087375B (zh) 基于深度学习的图像空洞填充方法
CN113822383B (zh) 一种基于多域注意力机制的无人机检测方法及系统
Doi et al. The effect of focal loss in semantic segmentation of high resolution aerial image
Huang et al. A lightweight network for building extraction from remote sensing images
CN113901900A (zh) 一种同源或异源遥感图像用无监督变化检测方法及系统
CN115393718A (zh) 基于自适应融合NestedUNet的光学遥感图像变化检测方法
CN117095287A (zh) 一种基于时空交互Transformer模型的遥感图像变化检测方法
CN114612709A (zh) 图像金字塔特征指导的多尺度目标检测方法
CN113313180A (zh) 一种基于深度对抗学习的遥感图像语义分割方法
Patil et al. Semantic Segmentation of Satellite Images using Modified U-Net
CN114494893A (zh) 基于语义重用上下文特征金字塔的遥感图像特征提取方法
CN114565764A (zh) 基于舰船实例分割的港口全景感知系统
CN113902744A (zh) 基于轻量级网络的图像检测方法、系统、设备和存储介质
Amirgan et al. A comparative study for building segmentation in remote sensing images using deep networks: cscrs Istanbul building dataset and results
Wang et al. A novel landslide identification method for multi-scale and complex background region based on multi-model fusion: YOLO+ U-Net
Wan et al. Siamese Attentive Convolutional Network for Effective Remote Sensing Image Change Detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant