CN113887499B - 一种沙丘图像识别模型及其创建方法和沙丘图像识别方法 - Google Patents

一种沙丘图像识别模型及其创建方法和沙丘图像识别方法 Download PDF

Info

Publication number
CN113887499B
CN113887499B CN202111228791.XA CN202111228791A CN113887499B CN 113887499 B CN113887499 B CN 113887499B CN 202111228791 A CN202111228791 A CN 202111228791A CN 113887499 B CN113887499 B CN 113887499B
Authority
CN
China
Prior art keywords
layer
image
sand dune
neural network
convolutional neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111228791.XA
Other languages
English (en)
Other versions
CN113887499A (zh
Inventor
唐颖复
王忠静
张腾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202111228791.XA priority Critical patent/CN113887499B/zh
Publication of CN113887499A publication Critical patent/CN113887499A/zh
Application granted granted Critical
Publication of CN113887499B publication Critical patent/CN113887499B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种沙丘图像识别模型及其创建方法和沙丘图像识别方法，该创建方法包括：获取包含遥感图像的原图和掩膜mark图像的数据集作为训练数据；构建卷积神经网络模型；该模型中设置有注意门机制；通过训练数据对卷积神经网络模型进行训练；训练过程中通过注意门机制计算解码层的局部特征与编码层的全局信息的相关性，并根据相关性高低对相应区域的局部特征进行加强或减弱；采用测试数据对训练好的卷积神经网络模型进行测试，将测试通过的卷积神经网络模型作为沙丘图像识别模型。该实施例方案为在不受光照、天气、沙丘位置及类型、图像配准误差等因素干扰下，自动、快速、准确地重复检测不同沙丘图像中的目标对象提供了技术基础。

Description

一种沙丘图像识别模型及其创建方法和沙丘图像识别方法
技术领域
本申请实施例涉及计算机视觉识别技术，尤指一种沙丘图像识别模型及其创建方法和沙丘图像识别方法。
背景技术
沙丘是风沙共同作用的产物，是沙漠的主要地貌类型。沙丘的形成和移动是一种主要的沙漠化运动形式，会破坏道路、草场、农田，识别沙丘是研究沙丘形成过程和监控沙丘移动的前提。地面监测和利用遥感影像检测是沙丘研究中的常用方法。由于野外监测环境恶劣，地面监测耗时长、范围小，近十年的沙丘研究中，大都使用遥感影像数据测量识别。利用遥感影像检测的沙丘研究方法可分为两类，一类是基于对象的方法，另一类是基于像素的方法。
在基于对象的方法中，单个沙丘被视为对象，沙丘的轮廓线和峰顶线通常被视为对象的特征。目前没有自动识别沙丘或识别沙丘的技术方法，一般需要在ArcView GIS等软件中依靠目视识别沙丘对象的位置点和轮廓线、峰顶线等特征，人工识别沙丘对象。由于大多数面向对象的方法需要目视识别和人工空间分析，对专业知识水平要求较高。另外，相关研究曾针对基于对象的这类方法的客观性和效率提出过质疑。
基于像素的方法一般获取多时相的遥感图像作为研究对象，采取图像配准、辐射定标和直方图均衡化等步骤，利用软件计算图像块之间的互相关指数，采集沙丘像元位移和亚像元位移，测量沙丘动态。这类方法需要较少的人工干预，具有一定的客观性。但计算多时相的遥感图像的互相关指数时，要求研究对象的太阳光照条件无差异且配准位置严格匹配。另外，为了达到较好的沙丘识别效果，要求研究对象是高分辨率遥感图像，成本高昂。
发明内容
本申请实施例提供了一种沙丘图像识别模型及其创建方法和沙丘图像识别方法，能够为在不受光照、天气、沙丘位置及类型、图像配准误差等因素干扰的情况下，自动、快速、准确地重复检测不同沙丘图像中的目标对象提供了技术基础。
本申请实施例提供了一种沙丘图像识别模型的创建方法，所述方法可以包括：
获取包含遥感图像的原图和掩膜mark图像的数据集，作为训练数据；
构建卷积神经网络模型；所述卷积神经网络模型中设置有注意门机制；
通过所述训练数据对所述卷积神经网络模型进行训练；其中，在训练过程中通过所述注意门机制计算所述卷积神经网络模型的解码层的局部特征与所述卷积神经网络模型的编码层的全局信息的相关性，并根据所述相关性的高低对相应区域的局部特征进行加强或减弱；
采用预设的测试数据对训练好的所述卷积神经网络模型进行测试，将测试通过的卷积神经网络模型作为沙丘图像识别模型。
在本申请的示例性实施例中，所述卷积神经网络模型可以包括：依序级联的多个编码层、依序级联的多个解码层以及识别层；
在编码层与解码层之间设置有注意门模块；所述注意门模块可以设置为实现所述注意门机制；所述注意门模块可以包括：卷积层、批标准化Batch normalization层、线性整流激活ReLU层和Sigmoid层；
所述注意门机制包括：将包含所述全局信息的编码层输出信号和包含所述局部特征的解码层输出信号逐元素相加，相加后的信号依次经过所述卷积层、所述批标准化Batchnormalization层、所述ReLU层和所述Sigmoid层，获取所述相关性，将包含所述相关性的信号再与所述编码层输出信号逐元素相乘，实现对所述局部特征的加强或减弱，并得到注意门输出信号；
其中，根据最后一级解码层的解码层输出信号获得的注意门输出信号输入所述识别层。
在本申请的示例性实施例中，所述注意门机制满足预设的计算式；所述计算式可以包括：
Figure BDA0003315208200000031
其中，G表示注意门输出信号，g表示编码层输出信号，x表示解码层输出信号；wk(·)表示卷积核大小为k的卷积，k为正整数；
ψR(·)为
Figure BDA0003315208200000032
是ReLU线性整流激活函数；
ψS(·)为
Figure BDA0003315208200000033
是Sigmoid激活函数；
Figure BDA0003315208200000034
表示逐元素相乘。
在本申请的示例性实施例中，所述编码层可以包括：依序级联第一编码层、第二编码层和第三编码层；所述解码层可以包括：依序级联第一解码层、第二解码层和第三解码层；所述注意门模块可以包括：第一注意门模块、第二注意门模块和第三注意门模块；
其中，在所述第一编码层和所述第三解码层之间设置有所述第三注意门模块；
在所述第二编码层和所述第二解码层之间设置有所述第二注意门模块；
在所述第三编码层和所述第一解码层之间设置有所述第一注意门模块。
在本申请的示例性实施例中，每个所述编码层可以包括：多个第一卷积模块和最大池化模块；
每个所述解码层可以包括：多个反卷积模块和上采样模块；
所述识别层包括：多个第一卷积模块和至少一个第二卷积模块；
其中，每个第一卷积模块包含：卷积层、批标准化Batch normalization层和ReLU层；
所述第二卷积模块可以包含：卷积层和Sigmoid激活层；
每个所述反卷积模块可以包含：卷积层、批标准化Batch normalization层和线性整流激活ReLU层。
在本申请的示例性实施例中，所述第一编码层输出的第一特征图像的特征通道数为第一数值，每一个编码层的输出经过所述最大池化模块的下采样后，所述第一特征图像的长和宽均减小一半，特征通道数增加一倍；
输入到所述第一解码层的第二特征图像的特征通道数为第二数值，每一个解码层的输出经过所述上采样模块后，所述第二特征图像的长和宽均增加一倍，特征通道数则减少一半；
所述沙丘图像识别模型的最终输出的沙丘识别结果图像与所述沙丘图像识别模型的输入图像的尺寸一致。
在本申请的示例性实施例中，所述获取包含遥感图像原图和标记图的数据集，作为训练数据，可以包括：
获取沙丘的陆地卫星Landsat遥感RGB全色图像，对该Landsat遥感RGB全色图像进行切割，形成具有预设像素的多个子图像；
从所述多个子图像中获取保留有沙丘的子图像，在所述保留有沙丘的子图像中标注沙丘区域mask，获取所述mask图像；
将所述多个子图像和所述mask图像构成数据集，作为所述训练数据。
在本申请的示例性实施例中，所述通过所述训练数据对所述卷积神经网络模型进行训练，可以包括：循环执行以下操作，直至预测结果与实际数据之间的差距满足预设要求：
81、将所述训练数据输入所述卷积神经网络模型，并获得预测结果；
82、采用二元交叉熵损失函数BCELoss计算所述预测结果与输入的训练数据的实际数据之间的差距；检测所述差距是否满足预设要求，当所述差距满足所述预设要求时，退出训练流程，当所述差距不满足所述预设要求时，进入步骤83；
83、采用Adam优化器，根据所述卷积神经网络模型反向传播的信息更新所述卷积神经网络模型的参数，并返回步骤81。
本申请实施例还提供了一种沙丘图像识别模型，可以依据上述的沙丘图像识别模型构建方法获得；包括：依序级联的多个编码层、依序级联的多个解码层以及识别层；
在编码层与解码层之间设置有注意门模块；所述注意门模块设置为实现所述注意门机制；所述注意门模块包括：卷积层、批标准化Batch normalization层、线性整流激活ReLU层和Sigmoid层；
所述注意门机制包括：将包含所述全局信息的编码层输出信号和包含所述局部特征的解码层输出信号逐元素相加，相加后的信号依次经过所述卷积层、所述批标准化Batchnormalization层、所述ReLU层和所述Sigmoid层，获取所述相关性，将包含所述相关性的信号再与所述编码层输出信号逐元素相乘，实现对所述局部特征的加强或减弱，并得到注意门输出信号；
其中，根据最后一级解码层的解码层输出信号获得的注意门输出信号输入所述识别层。
本申请实施例还提供了一种沙丘图像识别方法，所述方法可以包括：
获取所述的沙丘图像识别模型；
将待识别图像输入所述沙丘图像识别模型，并将所述沙丘图像识别模型的输出结果作为识别结果。
与相关技术相比，本申请实施例可以包括：获取包含遥感图像的原图和掩膜mark图像的数据集，作为训练数据；构建卷积神经网络模型；所述卷积神经网络模型中设置有注意门机制；通过所述训练数据对所述卷积神经网络模型进行训练；其中，在训练过程中通过所述注意门机制计算所述卷积神经网络模型的解码层的局部特征与所述卷积神经网络模型的编码层的全局信息的相关性，并根据所述相关性的高低对相应区域的局部特征进行加强或减弱；采用预设的测试数据对训练好的所述卷积神经网络模型进行测试，将测试通过的卷积神经网络模型作为沙丘图像识别模型。通过该实施例方案，为在不受光照、天气、沙丘位置及类型、图像配准误差等因素干扰的情况下，自动、快速、准确地重复检测不同沙丘图像中的目标对象提供了技术基础。
本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的其他优点可通过在说明书以及附图中所描述的方案来实现和获得。
附图说明
附图用来提供对本申请技术方案的理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本申请的技术方案，并不构成对本申请技术方案的限制。
图1为本申请实施例的沙丘图像识别模型的创建方法流程图；
图2为本申请实施例的卷积神经网络模型以及沙丘图像识别模型示意图；
图3为本申请实施例的注意门模块示意图；
图4为本申请实施例的沙丘图像识别方法流程图。
具体实施方式
本申请描述了多个实施例，但是该描述是示例性的，而不是限制性的，并且对于本领域的普通技术人员来说显而易见的是，在本申请所描述的实施例包含的范围内可以有更多的实施例和实现方案。尽管在附图中示出了许多可能的特征组合，并在具体实施方式中进行了讨论，但是所公开的特征的许多其它组合方式也是可能的。除非特意加以限制的情况以外，任何实施例的任何特征或元件可以与任何其它实施例中的任何其他特征或元件结合使用，或可以替代任何其它实施例中的任何其他特征或元件。
本申请包括并设想了与本领域普通技术人员已知的特征和元件的组合。本申请已经公开的实施例、特征和元件也可以与任何常规特征或元件组合，以形成由权利要求限定的独特的发明方案。任何实施例的任何特征或元件也可以与来自其它发明方案的特征或元件组合，以形成另一个由权利要求限定的独特的发明方案。因此，应当理解，在本申请中示出和/或讨论的任何特征可以单独地或以任何适当的组合来实现。因此，除了根据所附权利要求及其等同替换所做的限制以外，实施例不受其它限制。此外，可以在所附权利要求的保护范围内进行各种修改和改变。
此外，在描述具有代表性的实施例时，说明书可能已经将方法和/或过程呈现为特定的步骤序列。然而，在该方法或过程不依赖于本文所述步骤的特定顺序的程度上，该方法或过程不应限于所述的特定顺序的步骤。如本领域普通技术人员将理解的，其它的步骤顺序也是可能的。因此，说明书中阐述的步骤的特定顺序不应被解释为对权利要求的限制。此外，针对该方法和/或过程的权利要求不应限于按照所写顺序执行它们的步骤，本领域技术人员可以容易地理解，这些顺序可以变化，并且仍然保持在本申请实施例的精神和范围内。
本申请实施例提供了一种沙丘图像识别模型的创建方法，如图1所示，所述方法可以包括步骤S101-S104：
S101、获取包含遥感图像的原图和掩膜mark图像的数据集，作为训练数据；
S102、构建卷积神经网络模型；所述卷积神经网络模型中设置有注意门机制；
S103、通过所述训练数据对所述卷积神经网络模型进行训练；其中，在训练过程中通过所述注意门机制计算所述卷积神经网络模型的解码层的局部特征与所述卷积神经网络模型的编码层的全局信息的相关性，并根据所述相关性的高低对相应区域的局部特征进行加强或减弱；
S104、采用预设的测试数据对训练好的所述卷积神经网络模型进行测试，将测试通过的卷积神经网络模型作为沙丘图像识别模型。
在本申请的示例性实施例中，由于目前还没有一种沙丘图像识别方法，既可以自动重复检测不同沙丘图像中的目标对象，同时不受光照、天气、沙丘位置和类型、图像配准误差等因素干扰。因此，本申请实施例提出了一种基于沙丘图像识别模型的沙丘识别方法，实现了自动、快速、准确地检测不同位置、时间和类型沙丘。
在本申请的示例性实施例中，首先需要创建所述的沙丘图像识别模型(可以称为SandUnet网络模型)，对于模型的创建，通常需要获取训练数据和测试数据、搭建学习模型、采用训练数据对学习模型进行训练以及对学习模型进行测试等步骤，下面对本申请实施例的沙丘图像识别模型的创建方法进行详细介绍。
在本申请的示例性实施例中，所述获取包含遥感图像原图和标记图的数据集，作为训练数据，可以包括：
获取沙丘的陆地卫星Landsat遥感RGB全色图像，对该Landsat遥感RGB全色图像进行切割，形成具有预设像素的多个子图像；
从所述多个子图像中获取保留有沙丘的子图像，在所述保留有沙丘的子图像中标注沙丘区域mask，获取所述mask图像；
将所述多个子图像和所述mask图像构成数据集，作为所述训练数据。
在本申请的示例性实施例中，可以获取一个沙漠(例如，沙漠1)的Landsat遥感RGB全色图像，对该图像切割，获取一组具有预设像素(例如，可以为256x256像素)的子图像，并获取这些子图像中具有沙丘的子图像。
在本申请的示例性实施例中，对于具有沙丘的子图像，可以通过人工标注的方式标注出具有沙丘的子图像中沙丘区域掩膜mask，获取所述mask图像。
在本申请的示例性实施例中，可以将分割获取的该组具有预设像素的子图像和标注后获取的所述mask图像(即原子图像与mask图像)共同组成一个数据集，作为所述的训练数据。
在本申请的示例性实施例中，对于所述的测试数据，可以获取关于沙丘的不同的遥感图像，例如，可以获取另一个时间、另一个沙漠(例如，沙漠2)的遥感RGB全色图像，切割该图像为256x256像素的一组子图像，作为测试数据。
在本申请的示例性实施例中，所述卷积神经网络模型可以包括：依序级联的多个编码层、依序级联的多个解码层以及识别层；
在编码层与解码层之间设置有注意门模块；所述注意门模块可以设置为实现所述注意门机制；所述注意门模块可以包括：卷积层、批标准化Batch normalization层、线性整流激活ReLU层和Sigmoid层；
所述注意门机制包括：将包含所述全局信息的编码层输出信号和包含所述局部特征的解码层输出信号逐元素相加，相加后的信号依次经过所述卷积层、所述批标准化Batchnormalization层、所述ReLU层和所述Sigmoid层，获取所述相关性，将包含所述相关性的信号再与所述编码层输出信号逐元素相乘，实现对所述局部特征的加强或减弱，并得到注意门输出信号；
其中，根据最后一级解码层的解码层输出信号获得的注意门输出信号输入所述识别层。
在本申请的示例性实施例中，注意门机制通过同时连接编码层与解码层的特征图，通过相加、卷积层、ReLU层和Sigmoi层的操作计算解码层的局部特征与编码层的全局信息的相关性，并且对于相关性高的区域，对该区域的局部特征得以加强；对于相关性低的区域，对该区域的局部特征得以减弱。
在本申请的示例性实施例中，通过注意门模块的设置，加深了卷积神经网络模型的网络深度，而且不会增加网络复杂度，并提高了识别精度高。
在本申请的示例性实施例中，下面对构建的卷积神经网络模型的结构做详细介绍。
在本申请的示例性实施例中，如图2所示，卷积神经网络模型可以由3层编码层(含卷积层和最大池化层)和3层解码层(含反卷积层和上采样层)组成，所有卷积层卷积核大小可以为3，卷积神经网络模型的第一个最大池化层和最后一个上采样层的步长可以为4，其余池化层和上采样层步长可以为2。
在本申请的示例性实施例中，沙丘图像输入到编码层中，通过卷积层和池化层对沙丘对象特征进行多层特征编码，最后一个编码层的输出信号作为第一个解码层的输入信号，解码层对输入信号特征进行解码，最终输出沙丘识别结果图像。
在本申请的示例性实施例中，每个所述编码层可以包括：多个第一卷积模块和最大池化模块；
每个所述解码层可以包括：多个反卷积模块和上采样模块；
所述识别层包括：多个第一卷积模块和至少一个第二卷积模块；
其中，每个第一卷积模块包含：卷积层、批标准化Batch normalization层和ReLU层；
所述第二卷积模块可以包含：卷积层和Sigmoid激活层；
每个所述反卷积模块可以包含：卷积层、批标准化Batch normalization层和线性整流激活ReLU层。
在本申请的示例性实施例中，如图2所示，3个编码层(e1，e2，e3)依序级联，每一编码层包括两个卷积模块和一个最大池化Maxpooling模块，3个编码层(e1，e2，e3)对应的最大池化模块分别为(m1，m2，m3)。每个卷积模块包含一个卷积核为3x3的卷积层，一个批标准化(Batch normalization)层和一个线性整流激活(ReLU)层。第一编码层的最大池化模块m1的池化核尺寸可以为4x4，第二编码层的最大池化模块m2和第三编码层的最大池化模块m3的池化核尺寸可以为2x2。每一编码层中的最大池化模块的输出信号作为下一编码层的卷积模块输入信号。第三个编码层e3的最大池化模块输出信号m作为所连接的第一个解码层d1的输入。
在本申请的示例性实施例中，如图2所示，3个解码层(d1，d2，d3)依序级联，每个解码层包括两个反卷积模块和一个上采样(upsampling)模块，3个解码层(d1，d2，d3)对应的上采样模块分别为(u1，u2，u3)。其中，每个反卷积模块包含一个卷积核为3x3的卷积层，一个批标准化(Batch normalization)层和一个线性整流激活(ReLU)层。上采样模块中，u1和u2的池化核尺寸可以为2x2，u3的池化核尺寸可以为4x4。最后一个解码层d3层输出至最后的识别层(或称为分割层)。
在本申请的示例性实施例中，如图2所示，该识别层包含三个卷积模块(c1，c2，c3)。其中，两个卷积模块c1和c2包含一个卷积核为3x3的卷积层，一个批标准化(Batchnormalization)层和一个线性整流激活(ReLU)层；最后一个卷积模块c3包含一个卷积核为1x1的卷积层和一个Sigmoid激活层。识别层的输出为最终的沙丘图像识别结果。
在本申请的示例性实施例中，如图2所示，在3个编码层与3个解码层之间增加了注意门模块。
在本申请的示例性实施例中，所述编码层可以包括：依序级联第一编码层e1、第二编码层e2和第三编码层e3；所述解码层可以包括：依序级联第一解码层d1、第二解码层d2和第三解码层d3；所述注意门模块可以包括：第一注意门模块a1、第二注意门模块a2和第三注意门模块a3；
其中，在所述第一编码层e1和所述第三解码层d3之间设置有所述第三注意门模块a3；
在所述第二编码层e2和所述第二解码层d2之间设置有所述第二注意门模块a2；
在所述第三编码层e3和所述第一解码层d1之间设置有所述第一注意门模块a1。
在本申请的示例性实施例中，即编码层e1输出信号g1和解码层d3输出信号x1作为注意门模块a1的输入，编码层e2输出信号g2和解码层d2输出信号x作为注意门模块a2的输入，编码层e3输出信号g3和解码层d1输出信号x1作为注意门模块a3的输入。
在本申请的示例性实施例中，所述第一编码层e1输出的第一特征图像的特征通道数为第一数值(例如为64)，每一个编码层的输出经过所述最大池化模块的下采样后，所述第一特征图像的长和宽均减小一半，特征通道数增加一倍；
输入到所述第一解码层的第二特征图像的特征通道数为第二数值(例如为512)，每一个解码层的输出经过所述上采样模块后，所述第二特征图像的长和宽均增加一倍，特征通道数则减少一半；
所述沙丘图像识别模型的最终输出的沙丘识别结果图像与所述沙丘图像识别模型的输入图像的尺寸一致。
在本申请的示例性实施例中，注意门模块的内部结构可以如图3所示，注意门模块可以包含3个卷积层(卷积核尺寸可以优选为3x3)、批标准化(Batch normalization)层、ReLU层和Sigmoid层。
在本申请的示例性实施例中，将编码层输出信号和解码层输出信号作为所述注意门模块的输入信号；注意门模块的两个输入先进行逐元素相加，再经过卷积层的线性变换后，通过批标准化(Batch normalization)层的归一化处理。其中，前两个卷积层和批标准化(Batch normalization)层的输出信号会通过ReLU层进行非线性激活输出特征映射，第三个卷积层和批标准化(Batch normalization)层的输出信号会通过Sigmoid层进行非线性激活输出特征映射。最后输出信号再与编码层输入信号进行逐元素相乘，产生注意门模块的最终输出。
在本申请的示例性实施例中，人类进行读图任务时会忽略低可能、低价值的信息，注意门模块模仿人类注意力特点，通过Sigmoid层会给特征图像的每个部分分配0或1的重要性分数，编码层信号与该系列重要性分数逐元素相乘后，注意门模块不会输出该编码层的每个特征，而是确定出解码层的局部特征与编码层的全局信息的相关性，并使得相关性高的区域的局部特征得以加强；相关性低的区域的局部特征得以减弱，从而间接实现了分配更多的权重给编码层的有用特征(例如，沙丘特征)。因此，注意门模块将有效地抑制图像中背景不相干特征的响应，降低背景噪声对识别沙丘的影响，提高卷积神经网络模型的沙丘图像识别性能。
在本申请的示例性实施例中，如图3所示，本申请实施例在前三个编码层与解码层之间增加注意门机制。具体地，本申请实施例可以在第一编码层e和第三解码层d3之间、第二编码层e2和第二解码层d2之间、第三编码层e3和第一解码层d1输出信号x2之间设置注意门模块。具体地，第一编码层e1和第三解码层d3的输入图像的特征通道数可以为256，第二编码层e2和第二解码层d2的输入图像的特征通道数可以为128，第三编码层e3和第一解码层d1的输入图像的特征通道数可以为64。
在本申请的示例性实施例中，所述注意门机制满足预设的计算式；所述计算式可以包括：
Figure BDA0003315208200000121
其中，G表示注意门输出信号，g表示编码层输出信号，x表示解码层输出信号；wk(·)表示卷积核大小为k的卷积，k为正整数；
ψR(·)为
Figure BDA0003315208200000131
是ReLU线性整流激活函数；
ψS(·)为
Figure BDA0003315208200000132
是Sigmoid激活函数；
Figure BDA0003315208200000133
表示逐元素相乘。
在本申请的示例性实施例中，例如，k可以为3，则wk(·)为w3(·)。
在本申请的示例性实施例中，注意门模块是将对应的编码层输出信号与解码层输出信号作为输入，则输出信号可通过上述的计算式表示。
在本申请的示例性实施例中，在确定了训练数据和卷积神经网络模型的基础上，可以采用训练数据对该卷积神经网络模型进行训练，以获得沙丘图像识别模型。
在本申请的示例性实施例中，所述通过所述训练数据对所述卷积神经网络模型进行训练，可以包括：循环执行以下操作A-C，直至预测结果与实际数据之间的差距满足预设要求：
A、将所述训练数据输入所述卷积神经网络模型，并获得预测结果；
B、采用二元交叉熵损失函数BCELoss计算所述预测结果与输入的训练数据的实际数据之间的差距；检测所述差距是否满足预设要求，当所述差距满足所述预设要求时，退出训练流程，当所述差距不满足所述预设要求时，进入步骤C；
C、采用Adam优化器，根据所述卷积神经网络模型反向传播的信息更新所述卷积神经网络模型的参数，并返回步骤A。
在本申请的示例性实施例中，可以选择二元交叉熵损失函数BCELoss，衡量预测结果与实际数据的差距程度，BCELoss函数通过以下计算式表达：
Figure BDA0003315208200000134
其中，L表示损失值；N表示总样本数；yi表示第i(i为正整数)个样本的所属类别；pi表示第i个样本的预测值，一般来说，pi是一个概率值。
在本申请的示例性实施例中，选择Adam优化器，根据卷积神经网络模型反向传播的信息来更新卷积神经网络模型的参数，以降低损失函数BCELoss的计算值L。
在本申请的示例性实施例中，训练数据再次输入到参数更新后得到的卷积神经网络模型，训练多个(根据具体需求确定详细数值，例如30个)回合后可以得到一组卷积神经网络模型参数，从而可以选择其中的最佳参数作为该卷积神经网络模型参数，该最佳参数即使得所述差距满足预设要求的参数。
在本申请的示例性实施例中，在对卷积神经网络模型训练完毕后，可以采用前述的测试数据对该卷积神经网络模型进行测试，当测试通过时，可以将该训练好的卷积神经网络模型作为沙丘图像识别模型。当测试未通过时，可以再次调节卷积神经网络模型的结构和/或参数，直至达到预期要求。
在本申请的示例性实施例中，综上内容可知，本申请实施例的沙丘图像识别模型的创建方法首先通过沙漠的遥感图像获取训练数据；构建一个卷积神经网络模型，该卷积神经网络模型先对输入图片进行卷积和池化(max-pooling)3次，再做反卷积和上采样(up-sampling)3次，并将特征提取过程的特征图与上采样过程的特征图通过本申请实施例提出的注意门机制进行融合；对卷积神经网络模型进行训练；训练完毕以后，获取另一个时刻、另一个沙漠的遥感图像作为测试数据；对卷积神经网络模型进行测试；使用卷积神经网络模型对测试数据进行目标分割，将沙丘对象分割出来，实现沙丘图像识别。
本申请实施例还提供了一种沙丘图像识别模型，可以依据上述的沙丘图像识别模型构建方法获得；包括：依序级联的多个编码层、依序级联的多个解码层以及识别层；
在编码层与解码层之间设置有注意门模块；所述注意门模块设置为实现所述注意门机制；所述注意门模块包括：卷积层、批标准化Batch normalization层、线性整流激活ReLU层和Sigmoid层；
所述注意门机制包括：将包含所述全局信息的编码层输出信号和包含所述局部特征的解码层输出信号逐元素相加，相加后的信号依次经过所述卷积层、所述批标准化Batchnormalization层、所述ReLU层和所述Sigmoid层，获取所述相关性，将包含所述相关性的信号再与所述编码层输出信号逐元素相乘，实现对所述局部特征的加强或减弱，并得到注意门输出信号；
其中，根据最后一级解码层的解码层输出信号获得的注意门输出信号输入所述识别层。
在本申请的示例性实施例中，前述的模型创建方法实施例中的任意实施例均适用于该沙丘图像识别模型实施例中，在此不再一一赘述。
本申请实施例还提供了一种沙丘图像识别方法，如图4所示，所述方法可以包括步骤S201-S202：
S201、获取所述的沙丘图像识别模型；
S202、将待识别图像输入所述沙丘图像识别模型，并将所述沙丘图像识别模型的输出结果作为识别结果。
在本申请的示例性实施例中，前述的模型创建方法实施例中的任意实施例均适用于该沙丘图像识别方法实施例中，在此不再一一赘述。
在本申请的示例性实施例中，本申请实施例方案至少具有以下优势：
1、本申请实施例的注意门模块可以根据颜色和纹理等特征有效区分沙丘对象与沙地背景，自动学习各卷积层和反卷积层的权值来表征沙丘图像的各层特征，并忽略那些无法帮助分割沙丘的特征。
2、本申请实施例可在遥感卫星图像中分割沙丘对象，可用于监测沙丘变化与移动，为沙漠治理提供有效的参考依据。
3、本申请实施例的沙丘图像识别模型可检测不同位置、时间和类型的沙丘，利用沙丘图像识别模型可以学习到沙丘对象的多层特征值，利用沙丘图像识别模型中注意门模块抑制忽略不相关特征，提高了模型学习效率。
4、根据沙丘图像颜色差异小、纹理相近的特点，沙丘图像识别模型确定了第一层编码层的池化层和最后一层解码层的上采样层的步长为4，减少了网络复杂度，节省了训练时间。
5、本申请实施例提出的通过图像分割识别沙丘的方法，解决了之前沙丘研究方法无法自动识别的问题，同时也解决了检测效果受不同光照、天气、沙丘类型、沙丘地点等影响的问题。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器，如数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

Claims (2)

1.一种沙丘图像识别模型的创建方法，其特征在于，所述方法包括：
获取包含遥感图像的原图和掩膜mark图像的数据集，作为训练数据；
构建卷积神经网络模型；所述卷积神经网络模型中设置有注意门机制；通过所述训练数据对所述卷积神经网络模型进行训练；其中，在训练过程中通过所述注意门机制计算所述卷积神经网络模型的解码层的局部特征与所述卷积神经网络模型的编码层的全局信息的相关性，对于相关性高的区域，对该区域的局部特征加强；对于相关性低的区域，对该区域的局部特征减弱；
采用预设的测试数据对训练好的所述卷积神经网络模型进行测试，所述卷积神经网络模型用于对测试数据进行目标分割，区分沙丘对象与沙地背景，将沙丘对象分割出来；将测试通过的卷积神经网络模型作为沙丘图像识别模型；
其中，所述卷积神经网络模型包括：依序级联的多个编码层、依序级联的多个解码层以及识别层；
在编码层与解码层之间设置有注意门模块；所述注意门模块设置为实现所述注意门机制；所述注意门模块包括：3个卷积层、批标准化Batch normalization层、线性整流激活ReLU层和Sigmoid层；
所述注意门机制包括：将包含所述全局信息的编码层输出信号和包含所述局部特征的解码层输出信号逐元素相加，相加后的信号依次经过所述卷积层、所述批标准化Batchnormalization层、所述ReLU层和所述Sigmoid层，获取所述相关性，将包含所述相关性的信号再与所述编码层输出信号逐元素相乘，实现对所述局部特征的加强或减弱，并得到注意门输出信号；
其中，根据最后一级解码层的解码层输出信号获得的注意门输出信号输入所述识别层；
其中，所述注意门机制满足预设的计算式；所述计算式包括：
Figure FDA0003884418690000021
其中，G表示注意门输出信号，g表示编码层输出信号，x表示解码层输出信号；wk(·)表示卷积核大小为k的卷积，k为正整数；
ψR(·)为
Figure FDA0003884418690000022
是ReLU线性整流激活函数；
ψS(·)为
Figure FDA0003884418690000023
是Sigmoid激活函数；
Figure FDA0003884418690000024
表示逐元素相乘；
其中，所述编码层包括依序级联第一编码层、第二编码层和第三编码层；所述解码层包括依序级联第一解码层、第二解码层和第三解码层；所述注意门模块包括第一注意门模块、第二注意门模块和第三注意门模块；
其中，在所述第一编码层和所述第三解码层之间设置有所述第三注意门模块；
在所述第二编码层和所述第二解码层之间设置有所述第二注意门模块；
在所述第三编码层和所述第一解码层之间设置有所述第一注意门模块；
其中，每个所述编码层包括：多个第一卷积模块和最大池化模块；
每个所述解码层包括：多个反卷积模块和上采样模块；
所述识别层包括：多个第一卷积模块和至少一个第二卷积模块；
其中，每个第一卷积模块包含：卷积层、批标准化Batch normalization层和ReLU层；
所述第二卷积模块包含：卷积层和Sigmoid激活层；
每个所述反卷积模块包含：卷积层、批标准化Batch normalization层和线性整流激活ReLU层；
其中，所述第一编码层输出的第一特征图像的特征通道数为第一数值，每一个编码层的输出经过所述最大池化模块的下采样后，所述第一特征图像的长和宽均减小一半，特征通道数增加一倍；
输入到所述第一解码层的第二特征图像的特征通道数为第二数值，每一个解码层的输出经过所述上采样模块后，所述第二特征图像的长和宽均增加一倍，特征通道数则减少一半；
所述沙丘图像识别模型的最终输出的沙丘识别结果图像与所述沙丘图像识别模型的输入图像的尺寸一致；
其中，所述获取包含遥感图像原图和标记图的数据集，作为训练数据，包括：
获取沙丘的陆地卫星Landsat遥感RGB全色图像，对该Landsat遥感RGB全色图像进行切割，形成具有预设像素的多个子图像；
从所述多个子图像中获取保留有沙丘的子图像，在所述保留有沙丘的子图像中标注沙丘区域mask，获取所述mask图像；
将所述多个子图像和所述mask图像构成数据集，作为所述训练数据；
其中，所述通过所述训练数据对所述卷积神经网络模型进行训练，包括：循环执行以下操作，直至预测结果与实际数据之间的差距满足预设要求：
11、将所述训练数据输入所述卷积神经网络模型，并获得预测结果；
12、采用二元交叉熵损失函数BCELoss计算所述预测结果与输入的训练数据的实际数据之间的差距；检测所述差距是否满足预设要求，当所述差距满足所述预设要求时，退出训练流程，当所述差距不满足所述预设要求时，进入步骤13；
13、采用Adam优化器，根据所述卷积神经网络模型反向传播的信息更新所述卷积神经网络模型的参数，并返回步骤11。
2.一种沙丘图像识别方法，其特征在于，所述方法包括：
获取按照权利要求1所述的沙丘图像识别模型的创建方法所创建的沙丘图像识别模型；
将待识别图像输入所述沙丘图像识别模型，并将所述沙丘图像识别模型的输出结果作为识别结果。
CN202111228791.XA 2021-10-21 2021-10-21 一种沙丘图像识别模型及其创建方法和沙丘图像识别方法 Active CN113887499B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111228791.XA CN113887499B (zh) 2021-10-21 2021-10-21 一种沙丘图像识别模型及其创建方法和沙丘图像识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111228791.XA CN113887499B (zh) 2021-10-21 2021-10-21 一种沙丘图像识别模型及其创建方法和沙丘图像识别方法

Publications (2)

Publication Number Publication Date
CN113887499A CN113887499A (zh) 2022-01-04
CN113887499B true CN113887499B (zh) 2022-11-18

Family

ID=79004314

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111228791.XA Active CN113887499B (zh) 2021-10-21 2021-10-21 一种沙丘图像识别模型及其创建方法和沙丘图像识别方法

Country Status (1)

Country Link
CN (1) CN113887499B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118196614A (zh) * 2023-12-14 2024-06-14 中国气象局乌鲁木齐沙漠气象研究所 一种基于遥感影像和神经网络的流动性沙丘识别方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020118618A1 (zh) * 2018-12-13 2020-06-18 深圳先进技术研究院 一种乳腺肿块图像识别方法及装置
CN112183258A (zh) * 2020-09-16 2021-01-05 太原理工大学 一种基于上下文信息和注意力机制的遥感图像道路分割方法
CN112184747A (zh) * 2020-10-14 2021-01-05 北京大学 沙漠景观斑块分割方法及系统、电子设备及可读存储介质
CN113011372A (zh) * 2021-04-01 2021-06-22 清华大学 一种盐碱化土地自动监测和识别方法
CN113269787A (zh) * 2021-05-20 2021-08-17 浙江科技学院 一种基于门控融合的遥感图像语义分割方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11170504B2 (en) * 2019-05-02 2021-11-09 Keyamed Na, Inc. Method and system for intracerebral hemorrhage detection and segmentation based on a multi-task fully convolutional network

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020118618A1 (zh) * 2018-12-13 2020-06-18 深圳先进技术研究院 一种乳腺肿块图像识别方法及装置
CN112183258A (zh) * 2020-09-16 2021-01-05 太原理工大学 一种基于上下文信息和注意力机制的遥感图像道路分割方法
CN112184747A (zh) * 2020-10-14 2021-01-05 北京大学 沙漠景观斑块分割方法及系统、电子设备及可读存储介质
CN113011372A (zh) * 2021-04-01 2021-06-22 清华大学 一种盐碱化土地自动监测和识别方法
CN113269787A (zh) * 2021-05-20 2021-08-17 浙江科技学院 一种基于门控融合的遥感图像语义分割方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
ASR-UNet: 一种基于注意力机制改进的视网膜血管分割算法;易三莉等;《山东大学学报( 理学版)》;20210930;第13–20页 *
Automatic Detection and Segmentation of Barchan Dunes on Mars and Earth Using a Convolutional Neural Network;Lior Rubanenko等;《IEEE JOURNAL OF SELECTED TOPICS IN APPLIED EARTH OBSERVATIONS AND REMOTE SENSING》;20210903;第9364-9371页 *
基于DEM和ETM的腾格里沙漠北缘沙丘形态特征提取;丛殿阁等;《中国矿业》;20141230;全文 *
基于SRTM-DEM和TM的流动沙丘提取方法研究;柴慧霞等;《干旱区资源与环境》;20090915(第09期);全文 *

Also Published As

Publication number Publication date
CN113887499A (zh) 2022-01-04

Similar Documents

Publication Publication Date Title
CN110136170B (zh) 一种基于卷积神经网络的遥感影像建筑物变化检测方法
CN111914907B (zh) 一种基于深度学习空谱联合网络的高光谱图像分类方法
Ünsalan et al. A system to detect houses and residential street networks in multispectral satellite images
CN110599537A (zh) 基于Mask R-CNN的无人机图像建筑物面积计算方法及系统
CN108510504B (zh) 图像分割方法和装置
CN111160276A (zh) 基于遥感影像的u型空洞全卷积分割网络识别模型
CN114187450B (zh) 一种基于深度学习的遥感图像语义分割方法
CN111738111A (zh) 基于多分支级联空洞空间金字塔的高分辨遥感图像的道路提取方法
CN110163207B (zh) 一种基于Mask-RCNN船舶目标定位方法及存储设备
CN112419317B (zh) 一种基于自编码网络的视觉回环检测方法
CN113887472B (zh) 基于级联颜色及纹理特征注意力的遥感图像云检测方法
CN113158789B (zh) 一种遥感图像的目标检测方法、系统、装置及介质
CN114743110A (zh) 多尺度嵌套的遥感图像变化检测方法、系统及计算机终端
CN114913498A (zh) 一种基于关键点估计的并行多尺度特征聚合车道线检测方法
CN113887499B (zh) 一种沙丘图像识别模型及其创建方法和沙丘图像识别方法
CN116524189A (zh) 一种基于编解码索引化边缘表征的高分辨率遥感图像语义分割方法
CN115546638A (zh) 基于暹罗级联差分神经网络的变化检测方法
CN114724023A (zh) 一种基于孪生网络的水体变化检测方法
CN116051983A (zh) 一种面向多业务系统融合的多光谱遥感影像水体提取方法
CN115601371A (zh) 多器官分割方法、训练方法、介质及电子设备
CN115880553A (zh) 一种基于空时建模的多尺度变化目标检索方法
CN118365879A (zh) 一种基于场景感知类关注的异构遥感图像分割方法
CN114155375A (zh) 机场道面病害检测的方法、装置、电子设备及存储介质
CN117496154A (zh) 基于概率图表征边缘的高分辨率遥感影像语义分割方法
CN117351360A (zh) 一种基于注意力机制改进的遥感图像道路提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant