CN111738168A - 基于深度学习的卫星影像河流两侧采砂提取方法及系统 - Google Patents

基于深度学习的卫星影像河流两侧采砂提取方法及系统 Download PDF

Info

Publication number
CN111738168A
CN111738168A CN202010589903.3A CN202010589903A CN111738168A CN 111738168 A CN111738168 A CN 111738168A CN 202010589903 A CN202010589903 A CN 202010589903A CN 111738168 A CN111738168 A CN 111738168A
Authority
CN
China
Prior art keywords
image
real
ground surface
wave band
band
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010589903.3A
Other languages
English (en)
Inventor
王守志
张福坤
刘金玉
奚歌
耿振云
詹昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Water Resources Beifang Investigation Design and Research Co Ltd
Original Assignee
China Water Resources Beifang Investigation Design and Research Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Water Resources Beifang Investigation Design and Research Co Ltd filed Critical China Water Resources Beifang Investigation Design and Research Co Ltd
Priority to CN202010589903.3A priority Critical patent/CN111738168A/zh
Publication of CN111738168A publication Critical patent/CN111738168A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/182—Network patterns, e.g. roads or rivers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的卫星影像河流两侧采砂提取方法及系统，包括：一、将卫星影像进行数据预处理，得到地表真实影像和归一化水体指数影像；二、对地表真实影像进行数据标注，得到含有采砂和非采砂信息的地表真实标注影像；三、将地表真实影像、归一化水体指数影像、地表真实标注影像同步裁剪，并进行数据增强，得到深度学习算法训练所需的样本；四、将样本进行训练；五、用训练得到的模型对输入的地表真实影像和归一化水体指数影像进行河流两侧采砂信息提取，得到地表真实预测影像；六、通过判定提取精度达标情况选择人工修正地表真实预测影像的错误结果至地表真实标注影像，并进行循环迭代训练直至精度达标或者输出最终提取结果。

Description

基于深度学习的卫星影像河流两侧采砂提取方法及系统
技术领域
本发明属于图像处理技术领域，尤其涉及一种基于深度学习的卫星影像河流两侧采砂提 取方法及系统。
背景技术
随着高分辨率对地观测的持续推进，卫星遥感数据资源日益丰富，空间分辨率达到了亚 米级水平。
高分辨率影像具有：(a)能够展示地面目标的清晰细节，减小了目标地物类间差异，但 同时也增大了类内差异；(b)波段一般较少，光谱信息相对欠缺；(c)相比于中、低分辨率 影像，数据量更大、复杂度更高。由于上述几点原因，传统计算机影像解译方法受到限制， 深度学习技术因能够自动地从浅层的特征中学习更加复杂和抽象的深层特征已被广泛应用于 高分辨率影像解译并取得了很好的结果。
发明内容
针对现有技术存在的问题，本为了提高图像处理的效率和准确性，本发明提出了一种基 于深度学习的卫星影像河流两侧采砂提取方法及系统。
本发明的目的之一在于提供一种基于深度学习的卫星影像河流两侧采砂提取方法，包括 如下步骤：
S1、将获取的无云、无雾霾高分辨率卫星影像进行数据预处理，得到地表真实影像和归 一化水体指数影像；
S2、对所述地表真实影像进行数据标注，得到含有采砂和非采砂信息的地表真实标注影 像；
S3、将所述地表真实影像、归一化水体指数影像、地表真实标注影像按照相同的方式同 步裁剪，并进行数据增强，得到深度学习算法训练所需的样本；
S4、将所述样本输入深度学习算法中进行训练；
S5、用训练得到的模型对输入的地表真实影像和归一化水体指数影像进行河流两侧采砂 信息提取，得到地表真实预测影像；
S6、通过判定提取精度达标情况选择人工修正地表真实预测影像的错误结果至地表真实 标注影像，并进行循环迭代训练直至精度达标或者输出最终提取结果。
进一步：所述数据预处理包括：
首先通过Brovey变换将高分辨率影像的多光谱波段和全色波段进行融合；具体的计算公 式为：
Figure BDA0002555963050000021
其中，Bandn为融合后的某一波段，B1、B2、…、Bn分别为多光谱波段的1、2、…、n 波段，P为全色波段；
然后对融合影像进行波段运算，得到地表真实影像和归一化水体指数影像；所述波段运 算具体为：将融合影像中的红波段、绿波段、蓝波段进行分离，并按照正常顺序进行合成得 到地表真实影像，利用绿波段和近红外波段计算得到归一化水体指数影像，计算公式为：
Figure BDA0002555963050000022
其中，G为融合影像的绿波段，NIR为融合影像的近红外波段。
进一步：所述数据标注为：将地表真实影像在ArcGIS中进行标注，得到只含有采砂和非 采砂信息的地表真实标注影像。
进一步：所述深度学习算法包括输入部分、特征提取部分、特征还原部分和输出部分。
进一步：所述人工修正为利用ArcGIS软件对提取的结果进行编辑。
本发明的目的之二在于提供一种基于深度学习的卫星影像河流两侧采砂提取系统，至少 包括：
图像预处理模块，将获取的无云、无雾霾高分辨率卫星影像进行数据预处理，得到地表 真实影像和归一化水体指数影像；
标注模块，对所述地表真实影像进行数据标注，得到含有采砂和非采砂信息的地表真实 标注影像；
裁剪模块，将所述地表真实影像、归一化水体指数影像、地表真实标注影像按照相同的 方式同步裁剪，并进行数据增强，得到深度学习算法训练所需的样本；
训练模块，将所述样本输入深度学习算法中进行训练；
提取模块，用训练得到的模型对输入的地表真实影像和归一化水体指数影像进行河流两 侧采砂信息提取，得到地表真实预测影像；
修正模块，通过判定提取精度达标情况选择人工修正地表真实预测影像的错误结果至地 表真实标注影像，并进行循环迭代训练直至精度达标或者输出最终提取结果。
进一步：所述数据预处理包括：
首先通过Brovey变换将高分辨率影像的多光谱波段和全色波段进行融合；具体的计算公 式为：
Figure BDA0002555963050000031
其中，Bandn为融合后的某一波段，B1、B2、…、Bn分别为多光谱波段的1、2、…、n 波段，P为全色波段；
然后对融合影像进行波段运算，得到地表真实影像和归一化水体指数影像；所述波段运 算具体为：将融合影像中的红波段、绿波段、蓝波段进行分离，并按照正常顺序进行合成得 到地表真实影像，利用绿波段和近红外波段计算得到归一化水体指数影像，计算公式为：
Figure BDA0002555963050000032
其中，G为融合影像的绿波段，NIR为融合影像的近红外波段。
进一步：所述数据标注为：将地表真实影像在ArcGIS中进行标注，得到只含有采砂和非 采砂信息的地表真实标注影像。
本发明的目的之三在于提供一种实现基于深度学习的卫星影像河流两侧采砂提取方法的 计算机程序。
本发明的目的之四在于提供一种实现基于深度学习的卫星影像河流两侧采砂提取方法的 信息数据处理终端。
本发明的目的之五在于提供一种计算机可读存储介质，包括指令，当其在计算机上运行 时，使得计算机执行基于深度学习的卫星影像河流两侧采砂提取方法。
本发明的优点及积极效果为：
本发明通过将制作的样本数据输入深度学习算法进行训练：一方面，批归一化、随机失 活使得算法的每一层能够快速收敛，残差连接使得算法变得很深以提取更加丰富的高级语义 特征；另一方面，NDWI影像可以突出水体特征，对算法训练过程中有效规避河流中水体具 有指导作用。然后，利用训练后的模型对影像进行采砂提取并视精度达标情况进行人工修正 循环迭代训练或者直接输出结果。本发明方法形成了一个闭合的良性循环，能够在确保采砂 信息提取精度的前提下，很大程度上节省人力物力成本，更好地服务于水利行业强监管的执 行。
附图说明
图1为本发明优选实施例的流程图；
图2为本发明优选实施例中数据预处理流程图；
图3是高分二号影像融合前后对比图，3a为融合前影像，3b为融合后影像。
图4是高分二号影像裁剪和增强图，4a为地表真实影像图、4b为NDWI影像图、4c为地表真实影像标注图。
图5是深度学习算法结构图。
图6是本发明方法影像信息提取图，从左往右、从上往下分别为地表真实影像图、NDWI 影像图、实地调查图、地表真实影像标注图采用本发明方法的信息提取图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行 进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定 本发明。
请参阅图1至图6，一种基于深度学习的卫星影像河流两侧采砂提取方法，包括：
首先，将获取的无云、无雾霾高分辨率卫星影像进行数据预处理，得到地表真实影像和 归一化水体指数(NDWI)影像；然后，对地表真实影像进行数据标注，得到含有采砂和非 采砂信息的地表真实标注影像；其次，将地表真实影像、NDWI影像、地表真实标注影像按照相同的方式同步裁剪，并进行数据增强，得到深度学习算法训练所需的样本；接着，把得到样本输入深度学习算法中进行训练；再次，用训练得到的模型对输入的地表真实影像和NDWI影像进行河流两侧采砂信息提取，得到地表真实预测影像；最后，通过判定提取精度达标情况选择人工修正地表真实预测影像的错误结果至地表真实标注影像并进行循环迭代训 练直至精度达标或者输出最终提取结果。
上述优选实施例的具体实现过程为：
步骤一、数据预处理。数据预处理包括影像融合和波段运算，具体如下：
(a)影像融合。高分辨率影像全色波段的空间分辨率较高而光谱信息较弱，多光谱波段 的光谱信息较强而空间分辨率较低，通过Brovey变换进行影像融合，可以得到既具有高空间 分辨率又具有多光谱信息的影像，计算公式为：
Figure BDA0002555963050000041
其中，Bandn为融合后的某一波段，B1、B2、…、Bn分别为多光谱波段的1、2、…、n 波段，P为全色波段。
(b)波段运算。将融合影像中的红波段、绿波段、蓝波段进行分离，并按照正常顺序进行合成得到地表真实影像。另外，利用绿波段和近红外波段计算得到NDWI影像，计算 公式为：
Figure BDA0002555963050000051
其中，G为融合影像的绿波段，NIR为融合影像的近红外波段。
步骤二、数据标注。在ArcGIS软件中，对地表真实影像中的采砂和非采砂信息分别进行 标注，得到地表真实标注影像。
步骤三、样本制作。将地表真实影像、NDWI影像、地表真实标注影像按照相同的方式 同步进行裁剪，裁剪方式分为固定裁剪和随机裁剪两种。然后，对裁剪后的影像进行数据增 强，一般包括数据旋转、数据翻转、数据随机缩放等主流方式。
步骤四、算法训练。将制作好的训练样本集按照一定比例划分为训练部分和验证部分， 输入至算法中进行迭代训练，根据损失情况确定最终训练模型。所述算法为借鉴UNet算法 思想改进的深度学习算法，结构如下：
(a)算法的输入部分为[None,Height,Width,Channel]向量形式的地表真实影像、NDWI 影像、地表真实标注影像训练样本，其中第一个参数为批大小(Batch Size)、中间两个参数 为影像的高度和宽度、最后一个参数为影像的波段数。
(b)算法特征提取部分由卷积(Convolution)、批归一化(Batch Normalization)、残差 连接(Residual Connection)、激活(Activation)、池化(Pooling)、随机失活(Dropout)为 单元组成，分别对地表真实影像和NDWI影像特征进行提取。
(c)算法特征还原部分由上采样(Upsampling)、跳跃连接(Skip Connection)、卷积 (Convolution)、批归一化(Batch Normalization)、激活(Activation)、随机失活(Dropout) 为单元组成，将提取的特征整合还原到原始影像分辨率。
(d)算法输出部分是对(c)中最终还原的结果进行1×1大小的卷积使得每个像素都有 一个类别预测值，实现影像分类结果的输出。
步骤五、模型预测及判定。借助训练得到的模型，通过输入地表真实影像和NDWI影像， 即可实现遥感影像中河流两侧采砂信息的自动提取。对提取的结果进行判定：如果能够达到 精度要求，则输出提取结果；如果不能达到精度要求，则将结果在ArcGIS中进行增加、删除、 更改等编辑操作，并把修正后的结果输入算法中进行循环迭代训练。
下面结合附图进行解释说明。
选取了黄河中游地区的高分二号卫星影像。高分二号卫星于2014年8月19日发射成功， 搭载有两台1m分辨率全色、4m分辨率多光谱相机，星下点空间分辨率可达0.8m，每景覆盖 面积约500平方公里，具有高空间分辨率、高定位精度和快速姿态机动能力等特点，有效地 提升了卫星综合观测效能，主要参数见表1。
表1高分二号卫星参数
Figure BDA0002555963050000061
图1所示的流程图包括以下步骤：
步骤一、数据预处理，包括影像融合和波段运算，如图2所示。
(a)影像融合。由于云、雾等自然现象会遮挡住一些地面信息，因此选取了无云、无雾 霾条件下的卫星影像，这样可以避免大气原因对影像融合造成的影响。影像融合是将在空间、 光谱上冗余或互补的遥感数据按照一定的规则(或算法)进行运算处理，获得比任何单一数 据更精确、更丰富的信息，生成具有新的空间、光谱特征的合成影像。采用Brovey变换实现 了高分二号影像多光谱和全色波段的融合，得到兼具高空间分辨率和多光谱信息的融合影像， 结果如图3所示。
(b)波段运算。为了充分挖掘遥感影像中的信息以更好地提取采砂，将融合影像中的红 波段、绿波段、蓝波段进行分离，并按照正常顺序进行合成得到地表真实影像。另外，为了 排除河流中水体的干扰，利用公式对融合影像的绿波段和近红外波段进行波段计算生成 NDWI影像。
步骤二、数据标注。在ArcGIS软件中，对地表真实影像中的采砂和非采砂信息分别进行 标注，得到地表真实标注影像。
步骤三、样本制作。对地表真实影像、NDWI影像、地表真实标注影像数据采用相同方 式同步裁剪，并进行数据增强，制作得到用于算法训练的样本数据，结果如图4所示，从左 往右分别为原图、水平翻转图、垂直翻转图、90°旋转图、180°旋转图、270°旋转图、缩放图。
步骤四、算法训练。利用Intel i7 6800K 6核处理器+英伟达GeoForce GTX1080Ti显卡 的计算机硬件资源配置和深度学习算法框架TensorFlow完成算法训练。算法的整体结构见图 5，训练参数见表2。
表2算法训练参数
Figure BDA0002555963050000062
Figure BDA0002555963050000071
步骤五、模型预测及判定。借助训练模型，通过输入地表真实影像和NDWI影像，得到 提取结果。对提取的结果进行判定：如果能够达到精度要求，则输出结果；如果不能达到精 度要求，则将结果在ArcGIS中进行增加、删除、更改等编辑操作，并把修正后的结果输入算 法中进行循环迭代训练。图6为随机选取的其中一个采砂点，从提取的结果可以看出其有效 避免了水体的影响，并且精度达到要求，最终直接输出。
优选实施例二、一种基于深度学习的卫星影像河流两侧采砂提取系统，包括：
图像预处理模块，将获取的无云、无雾霾高分辨率卫星影像进行数据预处理，得到地表 真实影像和归一化水体指数影像；
标注模块，对所述地表真实影像进行数据标注，得到含有采砂和非采砂信息的地表真实 标注影像；
裁剪模块，将所述地表真实影像、归一化水体指数影像、地表真实标注影像按照相同的 方式同步裁剪，并进行数据增强，得到深度学习算法训练所需的样本；
训练模块，将所述样本输入深度学习算法中进行训练；
提取模块，用训练得到的模型对输入的地表真实影像和归一化水体指数影像进行河流两 侧采砂信息提取，得到地表真实预测影像；
修正模块，通过判定提取精度达标情况选择人工修正地表真实预测影像的错误结果至地 表真实标注影像，并进行循环迭代训练直至精度达标或者输出最终提取结果。
进一步：所述数据预处理包括：
首先通过Brovey变换将高分辨率影像的多光谱波段和全色波段进行融合；具体的计算公 式为：
Figure BDA0002555963050000072
其中，Bandn为融合后的某一波段，B1、B2、…、Bn分别为多光谱波段的1、2、…、n 波段，P为全色波段；
然后对融合影像进行波段运算，得到地表真实影像和归一化水体指数影像；所述波段运 算具体为：将融合影像中的红波段、绿波段、蓝波段进行分离，并按照正常顺序进行合成得 到地表真实影像，利用绿波段和近红外波段计算得到归一化水体指数影像，计算公式为：
Figure BDA0002555963050000081
其中，G为融合影像的绿波段，NIR为融合影像的近红外波段。
进一步：所述数据标注为：将地表真实影像在ArcGIS中进行标注，得到只含有采砂和非 采砂信息的地表真实标注影像。
优选实施例三、一种实现基于深度学习的卫星影像河流两侧采砂提取方法的计算机程序， 所述基于深度学习的卫星影像河流两侧采砂提取方法包括如下步骤：
步骤一、数据预处理。数据预处理包括影像融合和波段运算，具体如下：
(a)影像融合。高分辨率影像全色波段的空间分辨率较高而光谱信息较弱，多光谱波段 的光谱信息较强而空间分辨率较低，通过Brovey变换进行影像融合，可以得到既具有高空间 分辨率又具有多光谱信息的影像，计算公式为：
Figure BDA0002555963050000082
其中，Bandn为融合后的某一波段，B1、B2、…、Bn分别为多光谱波段的1、2、…、n 波段，P为全色波段。
(b)波段运算。将融合影像中的红波段、绿波段、蓝波段进行分离，并按照正常顺序进行合成得到地表真实影像。另外，利用绿波段和近红外波段计算得到NDWI影像，计算 公式为：
Figure BDA0002555963050000083
其中，G为融合影像的绿波段，NIR为融合影像的近红外波段。
步骤二、数据标注。在ArcGIS软件中，对地表真实影像中的采砂和非采砂信息分别进行 标注，得到地表真实标注影像。
步骤三、样本制作。将地表真实影像、NDWI影像、地表真实标注影像按照相同的方式 同步进行裁剪，裁剪方式分为固定裁剪和随机裁剪两种。然后，对裁剪后的影像进行数据增 强，一般包括数据旋转、数据翻转、数据随机缩放等主流方式。
步骤四、算法训练。将制作好的训练样本集按照一定比例划分为训练部分和验证部分， 输入至算法中进行迭代训练，根据损失情况确定最终训练模型。所述算法为借鉴UNet算法 思想改进的深度学习算法，结构如下：
(a)算法的输入部分为[None,Height,Width,Channel]向量形式的地表真实影像、NDWI 影像、地表真实标注影像训练样本，其中第一个参数为批大小(Batch Size)、中间两个参数 为影像的高度和宽度、最后一个参数为影像的波段数。
(b)算法特征提取部分由卷积(Convolution)、批归一化(Batch Normalization)、残差 连接(Residual Connection)、激活(Activation)、池化(Pooling)、随机失活(Dropout)为 单元组成，分别对地表真实影像和NDWI影像特征进行提取。
(c)算法特征还原部分由上采样(Upsampling)、跳跃连接(Skip Connection)、卷积 (Convolution)、批归一化(Batch Normalization)、激活(Activation)、随机失活(Dropout) 为单元组成，将提取的特征整合还原到原始影像分辨率。
(d)算法输出部分是对(c)中最终还原的结果进行1×1大小的卷积使得每个像素都有 一个类别预测值，实现影像分类结果的输出。
步骤五、模型预测及判定。借助训练得到的模型，通过输入地表真实影像和NDWI影像， 即可实现遥感影像中河流两侧采砂信息的自动提取。对提取的结果进行判定：如果能够达到 精度要求，则输出提取结果；如果不能达到精度要求，则将结果在ArcGIS中进行增加、删除、 更改等编辑操作，并把修正后的结果输入算法中进行循环迭代训练。
优选实施例四、一种实现基于深度学习的卫星影像河流两侧采砂提取方法的信息数据处 理终端。所述基于深度学习的卫星影像河流两侧采砂提取方法包括如下步骤：
步骤一、数据预处理。数据预处理包括影像融合和波段运算，具体如下：
(a)影像融合。高分辨率影像全色波段的空间分辨率较高而光谱信息较弱，多光谱波段 的光谱信息较强而空间分辨率较低，通过Brovey变换进行影像融合，可以得到既具有高空间 分辨率又具有多光谱信息的影像，计算公式为：
Figure BDA0002555963050000091
其中，Bandn为融合后的某一波段，B1、B2、…、Bn分别为多光谱波段的1、2、…、n 波段，P为全色波段。
(b)波段运算。将融合影像中的红波段、绿波段、蓝波段进行分离，并按照正常顺序进行合成得到地表真实影像。另外，利用绿波段和近红外波段计算得到NDWI影像，计算 公式为：
Figure BDA0002555963050000092
其中，G为融合影像的绿波段，NIR为融合影像的近红外波段。
步骤二、数据标注。在ArcGIS软件中，对地表真实影像中的采砂和非采砂信息分别进行 标注，得到地表真实标注影像。
步骤三、样本制作。将地表真实影像、NDWI影像、地表真实标注影像按照相同的方式 同步进行裁剪，裁剪方式分为固定裁剪和随机裁剪两种。然后，对裁剪后的影像进行数据增 强，一般包括数据旋转、数据翻转、数据随机缩放等主流方式。
步骤四、算法训练。将制作好的训练样本集按照一定比例划分为训练部分和验证部分， 输入至算法中进行迭代训练，根据损失情况确定最终训练模型。所述算法为借鉴UNet算法 思想改进的深度学习算法，结构如下：
(a)算法的输入部分为[None,Height,Width,Channel]向量形式的地表真实影像、NDWI 影像、地表真实标注影像训练样本，其中第一个参数为批大小(Batch Size)、中间两个参数 为影像的高度和宽度、最后一个参数为影像的波段数。
(b)算法特征提取部分由卷积(Convolution)、批归一化(Batch Normalization)、残差 连接(Residual Connection)、激活(Activation)、池化(Pooling)、随机失活(Dropout)为 单元组成，分别对地表真实影像和NDWI影像特征进行提取。
(c)算法特征还原部分由上采样(Upsampling)、跳跃连接(Skip Connection)、卷积 (Convolution)、批归一化(Batch Normalization)、激活(Activation)、随机失活(Dropout) 为单元组成，将提取的特征整合还原到原始影像分辨率。
(d)算法输出部分是对(c)中最终还原的结果进行1×1大小的卷积使得每个像素都有 一个类别预测值，实现影像分类结果的输出。
步骤五、模型预测及判定。借助训练得到的模型，通过输入地表真实影像和NDWI影像， 即可实现遥感影像中河流两侧采砂信息的自动提取。对提取的结果进行判定：如果能够达到 精度要求，则输出提取结果；如果不能达到精度要求，则将结果在ArcGIS中进行增加、删除、 更改等编辑操作，并把修正后的结果输入算法中进行循环迭代训练。
优选实施例五、一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计 算机执行基于深度学习的卫星影像河流两侧采砂提取方法，所述基于深度学习的卫星影像河 流两侧采砂提取方法包括如下步骤：
步骤一、数据预处理。数据预处理包括影像融合和波段运算，具体如下：
(a)影像融合。高分辨率影像全色波段的空间分辨率较高而光谱信息较弱，多光谱波段 的光谱信息较强而空间分辨率较低，通过Brovey变换进行影像融合，可以得到既具有高空间 分辨率又具有多光谱信息的影像，计算公式为：
Figure BDA0002555963050000101
其中，Bandn为融合后的某一波段，B1、B2、…、Bn分别为多光谱波段的1、2、…、n 波段，P为全色波段。
(b)波段运算。将融合影像中的红波段、绿波段、蓝波段进行分离，并按照正常顺序进行合成得到地表真实影像。另外，利用绿波段和近红外波段计算得到NDWI影像，计算 公式为：
Figure BDA0002555963050000111
其中，G为融合影像的绿波段，NIR为融合影像的近红外波段。
步骤二、数据标注。在ArcGIS软件中，对地表真实影像中的采砂和非采砂信息分别进行 标注，得到地表真实标注影像。
步骤三、样本制作。将地表真实影像、NDWI影像、地表真实标注影像按照相同的方式 同步进行裁剪，裁剪方式分为固定裁剪和随机裁剪两种。然后，对裁剪后的影像进行数据增 强，一般包括数据旋转、数据翻转、数据随机缩放等主流方式。
步骤四、算法训练。将制作好的训练样本集按照一定比例划分为训练部分和验证部分， 输入至算法中进行迭代训练，根据损失情况确定最终训练模型。所述算法为借鉴UNet算法 思想改进的深度学习算法，结构如下：
(a)算法的输入部分为[None,Height,Width,Channel]向量形式的地表真实影像、NDWI 影像、地表真实标注影像训练样本，其中第一个参数为批大小(Batch Size)、中间两个参数 为影像的高度和宽度、最后一个参数为影像的波段数。
(b)算法特征提取部分由卷积(Convolution)、批归一化(Batch Normalization)、残差 连接(Residual Connection)、激活(Activation)、池化(Pooling)、随机失活(Dropout)为 单元组成，分别对地表真实影像和NDWI影像特征进行提取。
(c)算法特征还原部分由上采样(Upsampling)、跳跃连接(Skip Connection)、卷积 (Convolution)、批归一化(Batch Normalization)、激活(Activation)、随机失活(Dropout) 为单元组成，将提取的特征整合还原到原始影像分辨率。
(d)算法输出部分是对(c)中最终还原的结果进行1×1大小的卷积使得每个像素都有 一个类别预测值，实现影像分类结果的输出。
步骤五、模型预测及判定。借助训练得到的模型，通过输入地表真实影像和NDWI影像， 即可实现遥感影像中河流两侧采砂信息的自动提取。对提取的结果进行判定：如果能够达到 精度要求，则输出提取结果；如果不能达到精度要求，则将结果在ArcGIS中进行增加、删除、 更改等编辑操作，并把修正后的结果输入算法中进行循环迭代训练。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当 使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算 机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施 例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他 可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存 储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计 算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL)或无线(例如红 外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计 算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质 集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬 盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD)) 等。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原 则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于深度学习的卫星影像河流两侧采砂提取方法，其特征在于：至少包括如下步骤：
S1、将获取的无云、无雾霾高分辨率卫星影像进行数据预处理，得到地表真实影像和归一化水体指数影像；
S2、对所述地表真实影像进行数据标注，得到含有采砂和非采砂信息的地表真实标注影像；
S3、将所述地表真实影像、归一化水体指数影像、地表真实标注影像按照相同的方式同步裁剪，并进行数据增强，得到深度学习算法训练所需的样本；
S4、将所述样本输入深度学习算法中进行训练；
S5、用训练得到的模型对输入的地表真实影像和归一化水体指数影像进行河流两侧采砂信息提取，得到地表真实预测影像；
S6、通过判定提取精度达标情况选择人工修正地表真实预测影像的错误结果至地表真实标注影像，并进行循环迭代训练直至精度达标或者输出最终提取结果。
2.根据权利要求1所述的基于深度学习的卫星影像河流两侧采砂提取方法，其特征在于：所述数据预处理包括：
首先通过Brovey变换将高分辨率影像的多光谱波段和全色波段进行融合；具体的计算公式为：
Figure FDA0002555963040000011
其中，Bandn为融合后的某一波段，B1、B2、…、Bn分别为多光谱波段的1、2、…、n波段，P为全色波段；
然后对融合影像进行波段运算，得到地表真实影像和归一化水体指数影像；所述波段运算具体为：将融合影像中的红波段、绿波段、蓝波段进行分离，并按照正常顺序进行合成得到地表真实影像，利用绿波段和近红外波段计算得到归一化水体指数影像，计算公式为：
Figure FDA0002555963040000012
其中，G为融合影像的绿波段，NIR为融合影像的近红外波段。
3.根据权利要求1所述的基于深度学习的卫星影像河流两侧采砂提取方法，其特征在于：所述数据标注为：将地表真实影像在ArcGIS中进行标注，得到只含有采砂和非采砂信息的地表真实标注影像。
4.根据权利要求1所述的基于深度学习的卫星影像河流两侧采砂提取方法，其特征在于：所述深度学习算法包括输入部分、特征提取部分、特征还原部分和输出部分。
5.根据权利要求1所述的基于深度学习的卫星影像河流两侧采砂提取方法，其特征在于：所述人工修正为利用ArcGIS软件对提取的结果进行编辑。
6.一种基于深度学习的卫星影像河流两侧采砂提取系统，其特征在于：至少包括：
图像预处理模块，将获取的无云、无雾霾高分辨率卫星影像进行数据预处理，得到地表真实影像和归一化水体指数影像；
标注模块，对所述地表真实影像进行数据标注，得到含有采砂和非采砂信息的地表真实标注影像；
裁剪模块，将所述地表真实影像、归一化水体指数影像、地表真实标注影像按照相同的方式同步裁剪，并进行数据增强，得到深度学习算法训练所需的样本；
训练模块，将所述样本输入深度学习算法中进行训练；
提取模块，用训练得到的模型对输入的地表真实影像和归一化水体指数影像进行河流两侧采砂信息提取，得到地表真实预测影像；
修正模块，通过判定提取精度达标情况选择人工修正地表真实预测影像的错误结果至地表真实标注影像，并进行循环迭代训练直至精度达标或者输出最终提取结果。
7.根据权利要求6所述的基于深度学习的卫星影像河流两侧采砂提取系统，其特征在于：所述数据预处理包括：
首先通过Brovey变换将高分辨率影像的多光谱波段和全色波段进行融合；具体的计算公式为：
Figure FDA0002555963040000021
其中，Bandn为融合后的某一波段，B1、B2、…、Bn分别为多光谱波段的1、2、…、n波段，P为全色波段；
然后对融合影像进行波段运算，得到地表真实影像和归一化水体指数影像；所述波段运算具体为：将融合影像中的红波段、绿波段、蓝波段进行分离，并按照正常顺序进行合成得到地表真实影像，利用绿波段和近红外波段计算得到归一化水体指数影像，计算公式为：
Figure FDA0002555963040000022
其中，G为融合影像的绿波段，NIR为融合影像的近红外波段。
8.根据权利要求6所述的基于深度学习的卫星影像河流两侧采砂提取系统，其特征在于：所述数据标注为：将地表真实影像在ArcGIS中进行标注，得到只含有采砂和非采砂信息的地表真实标注影像。
9.一种实现权利要求1-5任一项所述基于深度学习的卫星影像河流两侧采砂提取方法的信息数据处理终端。
10.一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行如权利要求1-5任一项所述的基于深度学习的卫星影像河流两侧采砂提取方法。
CN202010589903.3A 2020-06-24 2020-06-24 基于深度学习的卫星影像河流两侧采砂提取方法及系统 Pending CN111738168A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010589903.3A CN111738168A (zh) 2020-06-24 2020-06-24 基于深度学习的卫星影像河流两侧采砂提取方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010589903.3A CN111738168A (zh) 2020-06-24 2020-06-24 基于深度学习的卫星影像河流两侧采砂提取方法及系统

Publications (1)

Publication Number Publication Date
CN111738168A true CN111738168A (zh) 2020-10-02

Family

ID=72650986

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010589903.3A Pending CN111738168A (zh) 2020-06-24 2020-06-24 基于深度学习的卫星影像河流两侧采砂提取方法及系统

Country Status (1)

Country Link
CN (1) CN111738168A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112307978A (zh) * 2020-10-30 2021-02-02 腾讯科技（深圳）有限公司 目标检测方法、装置、电子设备及可读存储介质
CN112528871A (zh) * 2020-12-14 2021-03-19 中科海慧（天津）科技有限公司 河道采砂识别方法、装置、电子设备及存储介质
CN112800823A (zh) * 2021-04-19 2021-05-14 上海普适导航科技股份有限公司 一种水体快速提取方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104766091A (zh) * 2015-03-25 2015-07-08 北京师范大学 空间与光谱协同结构及遥感影像的多尺度理解方法、系统
US20160307073A1 (en) * 2015-04-20 2016-10-20 Los Alamos National Security, Llc Change detection and change monitoring of natural and man-made features in multispectral and hyperspectral satellite imagery
CN110298211A (zh) * 2018-03-21 2019-10-01 北京大学 一种基于深度学习和高分辨率遥感影像的河网提取方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104766091A (zh) * 2015-03-25 2015-07-08 北京师范大学 空间与光谱协同结构及遥感影像的多尺度理解方法、系统
US20160307073A1 (en) * 2015-04-20 2016-10-20 Los Alamos National Security, Llc Change detection and change monitoring of natural and man-made features in multispectral and hyperspectral satellite imagery
CN110298211A (zh) * 2018-03-21 2019-10-01 北京大学 一种基于深度学习和高分辨率遥感影像的河网提取方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112307978A (zh) * 2020-10-30 2021-02-02 腾讯科技（深圳）有限公司 目标检测方法、装置、电子设备及可读存储介质
CN112528871A (zh) * 2020-12-14 2021-03-19 中科海慧（天津）科技有限公司 河道采砂识别方法、装置、电子设备及存储介质
CN112528871B (zh) * 2020-12-14 2022-08-02 中科海慧（天津）科技有限公司 河道采砂识别方法、装置、电子设备及存储介质
CN112800823A (zh) * 2021-04-19 2021-05-14 上海普适导航科技股份有限公司 一种水体快速提取方法
CN112800823B (zh) * 2021-04-19 2024-04-02 上海普适导航科技股份有限公司 一种水体快速提取方法

Similar Documents

Publication Publication Date Title
CN111986099B (zh) 基于融合残差修正的卷积神经网络的耕地监测方法及系统
Huang et al. Building extraction from multi-source remote sensing images via deep deconvolution neural networks
Abdollahi et al. Building footprint extraction from high resolution aerial images using generative adversarial network (GAN) architecture
CN111738168A (zh) 基于深度学习的卫星影像河流两侧采砂提取方法及系统
US20230079886A1 (en) Labeling techniques for a modified panoptic labeling neural network
CN110163213B (zh) 基于视差图和多尺度深度网络模型的遥感图像分割方法
WO2023039959A1 (zh) 一种基于金字塔机制的遥感影像海洋与非海区域分割方法
CN110853026A (zh) 一种融合深度学习与区域分割的遥感影像变化检测方法
CN111914720B (zh) 一种输电线路绝缘子爆裂识别方法及装置
CN112149547A (zh) 基于图像金字塔引导和像素对匹配的遥感影像水体识别
CN110176005B (zh) 基于归一化指数和多尺度模型的遥感图像分割方法
CN110991430B (zh) 基于遥感图像的地物识别及覆盖率计算方法及系统
CN108364032A (zh) 一种基于卷积神经网络的宫颈癌细胞图片识别算法
CN110570427A (zh) 一种融合边缘检测的遥感影像语义分割方法及装置
CN112819837B (zh) 一种基于多源异构遥感影像的语义分割方法
CN114066755A (zh) 一种基于全波段特征融合的遥感影像薄云去除方法及系统
CN114998744A (zh) 基于运动与视觉双特征融合的农机轨迹田路分割方法
CN117079163A (zh) 一种基于改进yolox-s的航拍图像小目标检测方法
Wei et al. A concentric loop convolutional neural network for manual delineation-level building boundary segmentation from remote-sensing images
CN115482529A (zh) 近景色水果图像识别方法、设备、存储介质及装置
CN116543165B (zh) 一种基于双通道复合深度网络的遥感图像果树分割方法
CN116403004B (zh) 一种基于牛脸矫正的牛脸融合特征提取方法
Grigillo et al. Classification based building detection from GeoEye-1 images
CN113628349B (zh) 基于场景内容自适应的ar导航方法、设备及可读存储介质
CN115984603A (zh) 基于gf-2与开放地图数据的城市绿地精细化分类方法与系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination