CN117522824B - 一种基于域知识库的多源域泛化的云和云阴影检测方法 - Google Patents

一种基于域知识库的多源域泛化的云和云阴影检测方法 Download PDF

Info

Publication number
CN117522824B
CN117522824B CN202311531117.8A CN202311531117A CN117522824B CN 117522824 B CN117522824 B CN 117522824B CN 202311531117 A CN202311531117 A CN 202311531117A CN 117522824 B CN117522824 B CN 117522824B
Authority
CN
China
Prior art keywords
domain
cloud
generalization
output
knowledge base
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311531117.8A
Other languages
English (en)
Other versions
CN117522824A (zh
Inventor
徐凯
王文昕
汪安铃
陈咏夷
张飞翔
贾兆红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui University
Original Assignee
Anhui University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui University filed Critical Anhui University
Priority to CN202311531117.8A priority Critical patent/CN117522824B/zh
Publication of CN117522824A publication Critical patent/CN117522824A/zh
Application granted granted Critical
Publication of CN117522824B publication Critical patent/CN117522824B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于域知识库的多源域泛化的云和云阴影检测方法，所述方法包括以下步骤：基于域知识库的多源域泛化的云和云阴影检测准备工作、构建与训练基于域知识库的多源域泛化的云和云阴影检测模型、对基于域知识库的多源域泛化的云和云阴影检测模型测试和求解。与现有技术相比，通过基于域知识库的多源域泛化的云和云阴影检测网络，本发明解决了现有云和云阴影检测任务中由于数据量局限以及域差异导致的难以将源训练模型推广至目标数据集的问题，实现了一个可以适应到其他卫星域的较好泛化能力的模型。

Description

一种基于域知识库的多源域泛化的云和云阴影检测方法
技术领域
本发明涉及光学遥感影像处理技术领域，具体来说是一种基于域知识库的多源域泛化的云和云阴影检测方法。
背景技术
云和云阴影检测旨在识别和区分遥感图像中的云像素、云阴影像素以及地面像素。遥感图像的背景往往复杂多变，云的边缘及其阴影也不规则。在传统的方法中，背景的明亮部分容易被误判为云，而黑暗部分则容易被误判为云影。此外，所提取的云及其阴影的边缘信息比较粗糙，很容易忽略对薄云部分和轻云阴影部分的判断。大多数现有的深度模型(尤其是深度神经网络)能够检测大多数具有大规模边界的云，很难处理具有不稳定边界尺度的云，比如往往忽略小尺寸的云。
此外，目前大多数基于卷积神经网络(CNN)的云和云阴影检测方法都建立在需要大量像素级标签的监督学习框架上。然而，为海量遥感图像手动注释像素标签既昂贵又耗时。针对此提出的将源卫星标记图像上训练的模型推广到目标卫星的未标记图像的无监督域自适应(UDA)方法虽然能解决无大量用于训练的标签问题，但仍存在域自适应中跨卫星图像的域偏移现象，并且待适应的目标域要参与训练，模型的泛化能力没有得到更进一步的提升。
发明内容
本发明的目的是为了解决现有云和云阴影检测任务中由于数据量局限以及域差异导致的难以将源训练模型推广至目标数据集的问题，提供一种基于域知识库的多源域泛化的云和云阴影检测方法来解决上述问题。
为了实现上述目的，本发明的技术方案如下：
一种基于域知识库的多源域泛化的云和云阴影检测方法，包括以下步骤：
11)基于域知识库的多源域泛化的云和云阴影检测准备工作：对用于进行域泛化的源域遥感卫星影像根据含云量分类，按一定比例挑选各个百分比的影像数据；对用于进行域泛化的源域遥感卫星影像进行波段合并、裁剪预处理；对用于进行域泛化的源域遥感卫星影像标签进行归一化预处理；
12)构建与训练基于域知识库的多源域泛化的云和云阴影检测模型：构建基于域知识库的多源域泛化的云和云阴影检测模型，将预处理后的遥感卫星影像以及标签输入基于域知识库的多源域泛化的云和云阴影检测模型中进行训练，得到训练好的基于域知识库的多源域泛化的云和云阴影检测模型；
13)对基于域知识库的多源域泛化的云和云阴影检测模型测试和求解：将未被大量标记的目标域遥感卫星影像输入到训练好的基于域知识库的多源域泛化的云和云阴影检测模型中进行测试并得到云和云阴影检测预测分割结果。
所述基于域知识库的多源域泛化的云和云阴影检测准备工作包括以下步骤：
21)将用于进行多源域泛化的多个源域遥感卫星影像的B4、B3、B2波段合并预处理为RGB三通道影像；
22)将用于进行多源域泛化的多个源域遥感卫星影像及标签进行不重叠裁剪，裁剪为321×321的固定大小；
23)将用于进行多源域泛化的多个源域遥感卫星影像标签像素值归一化：0、64、128为0,代表干净像素，192、256为1，代表云像素，得到二值单通道标签影像；
24)将处理后的用于进行多源域泛化的多个源域遥感卫星影像导出成.GIF格式；
25)将处理后的用于进行多源域泛化的多个源域遥感卫星影像按照含云量百分比平均挑选训练集影像，以保证正负样本平衡。
所述构建与训练基于域知识库的多源域泛化的云和云阴影检测模型包括以下步骤：
31)其中构建基于域知识库的多源域泛化的云和云阴影检测模型的具体步骤如下：
311)构建用于提取抽象特征的编码器结构，编码器结构为一个普通3x3卷积层，一个批归一化层，一个RELU线性激活单元以及resnet34的前四层构成的四个下采样块；
312)构建用于从不同尺度的特征中恢复云掩膜的解码器结构，其解码器结构包括四个普通3x3卷积层，一个批归一化层，一个RELU线性激活单元构成的上采样块；
313)构建用于将不同尺度的浅层空间信息和深层语义信息结合起来的跳跃连接结构，其跳跃连接结构为拼接两个输入为一个输出；
314)构建用于存储多个源领域的先验知识的域知识库模块，其域知识库模块结构为将编码器输出的域特征图以向量的形式保存并在训练过程中动态更新库以减少特征冗余。
315)构建用于预测每个目标域图像属于每个源域的概率的域预测器模块，其域预测器模块的结构为一个分类器来预测每个目标域图像属于每个源域的概率；
316)构建用于增强与源域相似的输入特征，抑制与所有源域不同的特征的特征相似性学习模块，其特征相似性学习模块的结构为将bank中的特征动态集成到不同权值的深度模型中，鼓励将特定领域的特征相互分离；
32)其中训练基于域知识库的多源域泛化的云和云阴影检测模型的具体步骤如下：
321)将预处理后的多个源域遥感卫星影像以及标签输入云和云阴影检测模型中；
322)通过正向传播，得到分割概率；
323)使用二元交叉熵BCE损失作为网络模型的损失函数对分割概率进行计算得到分割损失；
324)反向传播确定梯度向量，更新模型参数；
325)重复上述过程直到设定次数或误差损失的平均值不再下降，训练完成，得到多源域泛化的云和云阴影检测模型。
所述对基于域知识库的多源域泛化的云和云阴影检测模型测试和求解包括以下步骤：
41)读取目标域遥感卫星影像，将其成.GIF格式影像；
42)将目标域遥感卫星影像的B4、B3、B2波段合并预处理为RGB三通道影像；
43)将目标域遥感卫星影像进行不重叠裁剪，裁剪为321×321的固定大小，
44)将预处理后的目标域遥感卫星影像输入到由多个源域遥感影像及其标签训练得到的，泛化能力强的，且在该领域性能表现较好的基于域知识库的多源域泛化的云和云阴影检测模型；
45)得到分割好的云掩膜图。
有益效果
本发明涉及一种基于域知识库的多源域泛化的云和云阴影检测方法，与现有技术相比通过构建基于域知识库的多源域泛化网络，其中域知识库模块的结构为将编码器输出的域特征图以向量的形式保存并在训练过程中动态更新库以减少特征冗余，并在分割网络中添加了特征相似性学习模块，将域中的特征动态集成到不同权值的深度模型中，鼓励将特定领域的特征相互分离，使模型的泛化能力提升。在跨卫星图像云和云阴影检测任务中，不同卫星传感器获取的图像存在光谱和分辨率差基于异等域差异，难以将源训练模型推广到其他目标数据集。本发明域知识库的多源域泛化的云和云阴影检测模型鼓励网络在目标域不参与训练的情况下实现领域泛化。
附图说明
图1是一种基于域知识库的多源域泛化的云和云阴影检测方法流程图；
图2是一种基于域知识库的多源域泛化的云和云阴影检测方法模型图；
图3是一种基于域知识库的多源域泛化的云和云阴影检测方法网络编解码器结构图；
具体实施方式
为使对本发明的结构特征及所达成的功效有更进一步的了解与认识，用以较佳的实施例及附图配合详细的说明，说明如下：
如图1所示，本发明所述的一种基于域知识库的多源域泛化的云和云阴影检测方法，包括以下步骤：
第一步，基于域知识库的多源域泛化的云和云阴影检测准备工作：
对用于进行域泛化的源域遥感卫星影像根据含云量分类，按一定比例挑选各个百分比的影像数据；对用于进行域泛化的源域遥感卫星影像进行波段合并、裁剪预处理；对用于进行域泛化的源域遥感卫星影像标签进行归一化预处理；使得模型能够快速稳定的收敛，提高分割精度，其具体步骤如下；
(1)将用于进行多源域泛化的多个源域遥感卫星影像的B4、B3、B2波段合并预处理为RGB三通道影像；
(2)将用于进行多源域泛化的多个源域遥感卫星影像及标签进行不重叠裁剪，裁剪为321×321的固定大小；
(3)将用于进行多源域泛化的多个源域遥感卫星影像标签像素值归一化：0、64、128为0,代表干净像素，192、256为1，代表云像素，得到二值单通道标签影像；
(4)将处理后的用于进行多源域泛化的多个源域遥感卫星影像导出成.GIF格式；
(5)将处理后的用于进行多源域泛化的多个源域遥感卫星影像按照含云量百分比平均挑选训练集影像，以保证正负样本平衡。
第二步，构建与训练基于域知识库的多源域泛化的云和云阴影检测模型：
构建一种基于域知识库的多源域泛化的云和云阴影检测模型，将预处理后的源域遥感卫星影像以及标签数据输入基于域知识库的多源域泛化的云和云阴影检测模型中，得到训练好的云和云阴影检测网络模型，如图2所示。
其具体步骤如下：
(1)其中构建基于域知识库的多源域泛化的云和云阴影检测模型的具体步骤如下：
(1-1)构建用于提取抽象特征的编码器结构，编码器结构为一个普通3x3卷积层，一个批归一化层，一个RELU线性激活单元以及resnet34的前四层构成的四个下采样块；
(1-2)构建用于从不同尺度的特征中恢复云掩膜的解码器结构，其解码器结构包括四个普通3x3卷积层，一个批归一化层，一个RELU线性激活单元构成的上采样块；
(1-3)构建用于将不同尺度的浅层空间信息和深层语义信息结合起来的跳跃连接结构，其跳跃连接结构为拼接两个输入为一个输出；
(1-4)构建用于存储多个源领域的先验知识的域知识库模块，其域知识库模块结构为将编码器输出的域特征图以向量的形式保存并在训练过程中动态更新库以减少特征冗余。
(1-5)构建用于预测每个目标域图像属于每个源域的概率的域预测器模块，其域预测器模块的结构为一个分类器来预测每个目标域图像属于每个源域的概率；
(1-6)构建用于增强与源域相似的输入特征，抑制与所有源域不同的特征的特征相似性学习模块，其特征相似性学习模块的结构为将bank中的特征动态集成到不同权值的深度模型中，鼓励将特定领域的特征相互分离；构建用于提取抽象特征的编码器结构，其编码器结构包括一个普通3x3卷积层，一个批归一化层，一个RELU线性激活单元以及resnet34的前四层构成的四个下采样块；
首先将原始多个源域遥感卫星影像经过编码器结构，通过跳跃连接结构将编码器第一层输出和最后一层输出连接，再经过域知识库模块，得到包含多个源域的域知识的库；然后将原始多个源域遥感卫星影像经过编码器结构之后的输出，经过域预测器，之后经过特征相似性学习模块，最后经过解码器结构完成整个模型的搭建；
(2)其中训练基于域知识库的多源域泛化的云和云阴影检测模型的具体步骤如下：
(2-1)将预处理后的用于进行域自适应的多个源域遥感卫星影像以及标签输入云和云阴影检测模型中；
(2-2)执行一次编码器结构得到四个下采样输出；
(2-2-1)执行一个卷积核为3x3的普通卷积层，一个批归一化层，一个RELU线性激活单元以及resnet34的layer1得到第一个下采样输出；
(2-2-2)对第一个下采样输出执行resnet34的layer2得到第二个下采样输出；
(2-2-3)对第二个下采样输出执行resnet34的layer2得到第三个下采样输出；
(2-2-4)对第三个下采样输出执行resnet34的layer2得到第四个下采样输出；
(2-3)将第一次下采样的输出通过跳跃连接结构与第四次下采样的输出进行拼接得到包含低级和高级信息的特征；
(2-4)将得到的特征执行一次域知识库模块；
(2-4-1)对于每一个源域的所有输入都得到上述特征；
(2-4-2)对于一个源域，将得到的该域特征图逐像素点相加取平均，得到该域的知识；
(2-4-3)以此方法，得到一轮训练中每一个源域的知识并保存在域知识库里；
(2-5)将模型原始输入经过每一层编码器之后得到的特征执行一个域预测器模块；
(2-5-1)对得到的特征执行一次全局平均池化操作得到池化后的特征；
(2-5-2)对池化后的特征执行一次全连接层；
(2-5-3)对全连接层得到的特征执行SoftMax操作得到概率向量；
(2-6)将得到的概率向量执行一次特征相似性学习模块；
(2-6-1)对概率向量执行一次与域知识域矩阵相乘操作；
(2-6-2)对矩阵相乘后得到的结果执行一次与编码器最后一层输出特征的元素相乘操作；
(2-6-3)对元素相乘后的结果执行一次与编码器最后一层输出特征的元素相加操作；
(2-7)将经过特征相似性学习模块得到的特征执行一次解码器结构；
(2-7-1)执行三次包括一次卷积核大小为3x3的普通卷积层、一次批归一化层、一次RELU线性激活单元的上采样块，得到第一次上采样的输出；
(2-7-2)对第一次上采样的输出执行三次包括一次卷积核大小为3x3的普通卷积层、一次批归一化层、一次RELU线性激活单元的上采样块，得到第二次上采样的输出；
(2-7-3)对第二次上采样的输出执行三次包括一次卷积核大小为3x3的普通卷积层、一次批归一化层、一次RELU线性激活单元的上采样块，得到第三次上采样的输出；
(2-8)将经过特征相似性学习模块得到的特征通过跳跃连接结构与第三次上采样的输出进行拼接；
(2-9)正向传播，得到最终的分割概率；
(2-10)使用二元交叉熵BCE损失作为网络模型的损失函数对最终的分割概率进行计算得到分割损失；
(2-11)反向传播确定梯度向量，更新模型参数；
(2-12)判断是否达到设定的轮数，是则得到训练好的分割模型，否则返回(1221)重新加载数据继续训练。第三步，对域知识库的多源域泛化的云和云阴影检测模型测试和求解：
获取待检测的目标域遥感卫星影像，将其输入到训练好的域知识库的多源域泛化的云和云阴影检测模型中进行模型测试并得到云和云阴影检测预测分割掩膜图，其具体步骤如下：
(1)读取目标域遥感卫星影像，将其导出成.GIF格式影像；
(2)将目标域遥感卫星影像的B4、B3、B2波段合并预处理为RGB三通道影像；
(3)将目标域遥感卫星影像进行不重叠裁剪，裁剪为321×321的固定大小；
(4)将预处理后的目标域遥感卫星影像输入到由多个源域遥感影像及其标签训练得到的，泛化能力强的，且在该领域性能表现较好的基于域知识库的多源域泛化的云和云阴影检测模型；
(4-1)将模型原始输入经过每一层编码器之后得到的特征执行一个域预测器模块；
(4-1-1)对得到的特征执行一次全局平均池化操作得到池化后的特征；
(4-1-2)对池化后的特征执行一次全连接层；
(4-1-3)对全连接层得到的特征执行SoftMax操作得到概率向量；
(4-2)将得到的概率向量执行一次特征相似性学习模块；
(4-2-1)对概率向量执行一次与域知识域矩阵相乘操作；
(4-2-2)对矩阵相乘后得到的结果执行一次与编码器最后一层输出特征的元素相乘操作；
(4-2-3)对元素相乘后的结果执行一次与编码器最后一层输出特征的元素相加操作；
(4-3)将经过特征相似性学习模块得到的特征执行一次解码器结构；
(4-3-1)执行三次包括一次卷积核大小为3x3的普通卷积层、一次批归一化层、一次RELU线性激活单元的上采样块，得到第一次上采样的输出；
(4-3-2)对第一次上采样的输出执行三次包括一次卷积核大小为3x3的普通卷积层、一次批归一化层、一次RELU线性激活单元的上采样块，得到第二次上采样的输出；
(4-3-3)对第二次上采样的输出执行三次包括一次卷积核大小为3x3的普通卷积层、一次批归一化层、一次RELU线性激活单元的上采样块，得到第三次上采样的输出；
(4-4)将经过特征相似性学习模块得到的特征通过跳跃连接结构与第三次上采样的输出进行拼接；
(4-5)正向传播，得到最终的分割结果。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。

Claims (3)

1.一种基于域知识库的多源域泛化的云和云阴影检测方法，其特征在于，包括以下步骤：
11)基于域知识库的多源域泛化的云和云阴影检测准备工作：对用于进行域泛化的源域遥感卫星影像根据含云量分类，按一定比例挑选各个百分比的影像数据；对用于进行域泛化的源域遥感卫星影像进行波段合并、裁剪预处理；对用于进行域泛化的源域遥感卫星影像标签进行归一化预处理；
12)构建与训练基于域知识库的多源域泛化的云和云阴影检测模型，包括以下步骤：
121)构建基于域知识库的多源域泛化的云和云阴影检测模型：所述基于域知识库的多源域泛化的云和云阴影检测模型包括编码器结构、解码器结构、跳跃连接结构、域知识库模块、域预测器模块，特征相似性学习模块，编码器结构用于提取抽象特征，解码器结构用于从不同尺度的特征中恢复云掩膜，跳跃连接结构用于将不同尺度的浅层空间信息和深层语义信息结合，域知识库模块用于存储多个源领域的先验知识，域预测器模块用于预测每个目标域图像属于每个源域的概率，特征相似性学习模块用于增强与源域相似的输入特征，抑制与所有源域不同的特征；
1211)编码器结构为一个普通3x3卷积层，一个批归一化层，一个RELU线性激活单元以及resnet34的前四层构成的四个下采样块；
1212)解码器的结构为四个普通3x3卷积层，一个批归一化层，一个RELU线性激活单元构成的上采样块；
1213)跳跃连接结构为拼接两个输入为一个输出；
1214)域知识库模块的结构为将编码器输出的域特征图以向量的形式保存并在训练过程中动态更新库以减少特征冗余；
1215)域预测器模块的结构为一个分类器来预测每个目标域图像属于每个源域的概率；
1216)特征相似性学习模块的结构为将bank中的特征动态集成到不同权值的深度模型中，将不同领域的特征相互分离；
122)训练基于域知识库的多源域泛化的云和云阴影检测模型：首先将原始多个源域遥感卫星影像经过编码器结构，通过跳跃连接结构将编码器第一层输出和最后一层输出连接，再经过域知识库模块，得到包含多个源域的域知识的库；然后将原始多个源域遥感卫星影像经过编码器结构之后的输出，经过域预测器，之后经过特征相似性学习模块，最后经过解码器结构完成整个模型的搭建；
训练基于域知识库的多源域泛化的云和云阴影检测模型的具体步骤如下：
1221)将预处理后的用于进行域自适应的多个源域遥感卫星影像以及标签输入云和云阴影检测模型中；
1222)执行一次编码器结构得到四个下采样输出；
执行一个卷积核为3x3的普通卷积层，一个批归一化层，一个RELU线性激活单元以及resnet34的layer1得到第一个下采样输出；
对第一个下采样输出执行resnet34的layer2得到第二个下采样输出；
对第二个下采样输出执行resnet34的layer2得到第三个下采样输出；
对第三个下采样输出执行resnet34的layer2得到第四个下采样输出；
1223)将第一次下采样的输出通过跳跃连接结构与第四次下采样的输出进行拼接得到包含低级和高级信息的特征；
1224)将得到的特征执行一次域知识库模块；
对于每一个源域的所有输入都得到上述特征；
对于一个源域，将得到的该域特征图逐像素点相加取平均，得到该域的知识；
以此方法，得到一轮训练中每一个源域的知识并保存在域知识库里；
1225)将模型原始输入经过每一层编码器之后得到的特征执行一个域预测器模块；
对得到的特征执行一次全局平均池化操作得到池化后的特征；
对池化后的特征执行一次全连接层；
对全连接层得到的特征执行SoftMax操作得到概率向量；
1226)将得到的概率向量执行一次特征相似性学习模块；
对概率向量执行一次与域知识域矩阵相乘操作；
对矩阵相乘后得到的结果执行一次与编码器最后一层输出特征的元素相乘操作；
对元素相乘后的结果执行一次与编码器最后一层输出特征的元素相加操作；
1227)将经过特征相似性学习模块得到的特征执行一次解码器结构；
执行三次包括一次卷积核大小为3x3的普通卷积层、一次批归一化层、一次RELU线性激活单元的上采样块，得到第一次上采样的输出；
对第一次上采样的输出执行三次包括一次卷积核大小为3x3的普通卷积层、一次批归一化层、一次RELU线性激活单元的上采样块，得到第二次上采样的输出；
对第二次上采样的输出执行三次包括一次卷积核大小为3x3的普通卷积层、一次批归一化层、一次RELU线性激活单元的上采样块，得到第三次上采样的输出；
1229)将经过特征相似性学习模块得到的特征通过跳跃连接结构与第三次上采样的输出进行拼接；
12210)正向传播，得到最终的分割概率；
12211)使用二元交叉熵BCE损失作为网络模型的损失函数对最终的分割概率进行计算得到分割损失；
12212)反向传播确定梯度向量，更新模型参数；
12213)判断是否达到设定的轮数，是则得到训练好的分割模型，否则返回步骤1221)重新加载数据继续训练；
13)基于域知识库的多源域泛化的云和云阴影检测模型测试和求解：对用于进行域泛化的目标域遥感卫星影像进行波段合并、裁剪预处理；对用于进行域泛化的目标域遥感卫星影像输入训练好的分割模型得到最终的分割结果。
2.根据权利要求1所述的一种基于域知识库的多源域泛化的云和云阴影检测方法，其特征在于，所述基于域知识库的多源域泛化的云和云阴影检测准备工作包括以下步骤：
21)将用于进行多源域泛化的多个源域遥感卫星影像的B4、B3、B2波段合并预处理为RGB三通道影像；
22)将用于进行多源域泛化的多个源域遥感卫星影像及标签进行不重叠裁剪，裁剪为321×321的固定大小；
23)将用于进行多源域泛化的多个源域遥感卫星影像标签像素值归一化：0、64、128为0,代表干净像素，192、256为1，代表云像素，得到二值单通道标签影像；
24)将处理后的用于进行多源域泛化的多个源域遥感卫星影像导出成.GIF格式；
25)将处理后的用于进行多源域泛化的多个源域遥感卫星影像按照含云量百分比平均挑选训练集影像，以保证正负样本平衡。
3.根据权利要求1所述的一种基于域知识库的多源域泛化的云和云阴影检测方法，其特征在于，所述对基于域知识库的多源域泛化的云和云阴影检测模型测试和求解包括以下步骤：
31)读取目标域遥感卫星影像，将其导出成.GIF格式影像；
32)将目标域遥感卫星影像的B4、B3、B2波段合并预处理为RGB三通道影像；
33)将目标域遥感卫星影像进行不重叠裁剪，裁剪为321×321的固定大小；
34)将预处理后的目标域遥感卫星影像输入到由多个源域遥感影像及其标签训练得到的基于域知识库的多源域泛化的云和云阴影检测模型；
341)将模型原始输入经过每一层编码器之后得到的特征执行一个域预测器模块；
对得到的特征执行一次全局平均池化操作得到池化后的特征；
对池化后的特征执行一次全连接层；
对全连接层得到的特征执行SoftMax操作得到概率向量；
342)将得到的概率向量执行一次特征相似性学习模块；
对概率向量执行一次与域知识域矩阵相乘操作；
对矩阵相乘后得到的结果执行一次与编码器最后一层输出特征的元素相乘操作；
对元素相乘后的结果执行一次与编码器最后一层输出特征的元素相加操作；
343)将经过特征相似性学习模块得到的特征执行一次解码器结构；
执行三次包括一次卷积核大小为3x3的普通卷积层、一次批归一化层、一次RELU线性激活单元的上采样块，得到第一次上采样的输出；
对第一次上采样的输出执行三次包括一次卷积核大小为3x3的普通卷积层、一次批归一化层、一次RELU线性激活单元的上采样块，得到第二次上采样的输出；
对第二次上采样的输出执行三次包括一次卷积核大小为3x3的普通卷积层、一次批归一化层、一次RELU线性激活单元的上采样块，得到第三次上采样的输出；
344)将经过特征相似性学习模块得到的特征通过跳跃连接结构与第三次上采样的输出进行拼接；
345)正向传播，得到最终的分割结果。
CN202311531117.8A 2023-11-16 2023-11-16 一种基于域知识库的多源域泛化的云和云阴影检测方法 Active CN117522824B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311531117.8A CN117522824B (zh) 2023-11-16 2023-11-16 一种基于域知识库的多源域泛化的云和云阴影检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311531117.8A CN117522824B (zh) 2023-11-16 2023-11-16 一种基于域知识库的多源域泛化的云和云阴影检测方法

Publications (2)

Publication Number Publication Date
CN117522824A CN117522824A (zh) 2024-02-06
CN117522824B true CN117522824B (zh) 2024-05-14

Family

ID=89752657

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311531117.8A Active CN117522824B (zh) 2023-11-16 2023-11-16 一种基于域知识库的多源域泛化的云和云阴影检测方法

Country Status (1)

Country Link
CN (1) CN117522824B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109934200A (zh) * 2019-03-22 2019-06-25 南京信息工程大学 一种基于改进M-Net的RGB彩色遥感图像云检测方法及系统
CN111553300A (zh) * 2020-05-08 2020-08-18 北京工商大学 一种面向三维点云视频的多时域分辨率唇语行为检测方法
CN114022408A (zh) * 2021-09-22 2022-02-08 中国空间技术研究院 基于多尺度卷积神经网络的遥感图像云检测方法
CN114220001A (zh) * 2021-11-25 2022-03-22 南京信息工程大学 基于双注意力神经网络的遥感影像云与云阴影检测方法
CN114494821A (zh) * 2021-12-16 2022-05-13 广西壮族自治区自然资源遥感院 基于特征多尺度感知与自适应聚合的遥感影像云检测方法
CN115760898A (zh) * 2022-12-02 2023-03-07 浙江科技学院 一种混合高斯域下道路抛洒物的世界坐标定位方法
CN115830471A (zh) * 2023-01-04 2023-03-21 安徽大学 一种多尺度特征融合和对齐的域自适应云检测方法
CN116310385A (zh) * 2023-03-14 2023-06-23 上海人工智能创新中心 3d点云数据中的单一数据集域泛化方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MX2021004475A (es) * 2018-10-19 2021-06-04 Climate Llc Tecnica de aprendizaje automatico para identificar nubes y sombras de nubes en imagenes satelitales.

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109934200A (zh) * 2019-03-22 2019-06-25 南京信息工程大学 一种基于改进M-Net的RGB彩色遥感图像云检测方法及系统
CN111553300A (zh) * 2020-05-08 2020-08-18 北京工商大学 一种面向三维点云视频的多时域分辨率唇语行为检测方法
CN114022408A (zh) * 2021-09-22 2022-02-08 中国空间技术研究院 基于多尺度卷积神经网络的遥感图像云检测方法
CN114220001A (zh) * 2021-11-25 2022-03-22 南京信息工程大学 基于双注意力神经网络的遥感影像云与云阴影检测方法
CN114494821A (zh) * 2021-12-16 2022-05-13 广西壮族自治区自然资源遥感院 基于特征多尺度感知与自适应聚合的遥感影像云检测方法
CN115760898A (zh) * 2022-12-02 2023-03-07 浙江科技学院 一种混合高斯域下道路抛洒物的世界坐标定位方法
CN115830471A (zh) * 2023-01-04 2023-03-21 安徽大学 一种多尺度特征融合和对齐的域自适应云检测方法
CN116310385A (zh) * 2023-03-14 2023-06-23 上海人工智能创新中心 3d点云数据中的单一数据集域泛化方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
DisARM: Displacement Aware Relation Module for 3D Detection;Duan Yao;《2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)》;20220927;全文 *

Also Published As

Publication number Publication date
CN117522824A (zh) 2024-02-06

Similar Documents

Publication Publication Date Title
CN107169956B (zh) 基于卷积神经网络的色织物疵点检测方法
CN112966684B (zh) 一种注意力机制下的协同学习文字识别方法
CN106547880B (zh) 一种融合地理区域知识的多维度地理场景识别方法
US10318848B2 (en) Methods for object localization and image classification
WO2022033095A1 (zh) 一种文本区域的定位方法及装置
Deng et al. Vision based pixel-level bridge structural damage detection using a link ASPP network
CN109685765B (zh) 一种基于卷积神经网络的x光片肺炎结果预测装置
CN111257341A (zh) 基于多尺度特征与堆叠式全卷积网络的水下建筑物裂缝检测方法
CN115830471B (zh) 一种多尺度特征融合和对齐的域自适应云检测方法
CN111783841A (zh) 基于迁移学习和模型融合的垃圾分类方法、系统及介质
Zhang et al. An efficient lightweight convolutional neural network for industrial surface defect detection
CN111680755A (zh) 医学图像识别模型构建及医学图像识别方法、装置、介质及终端
CN114255403A (zh) 基于深度学习的光学遥感图像数据处理方法及系统
CN112598031A (zh) 一种蔬菜病害检测方法及系统
CN112733942A (zh) 一种基于多级特征自适应融合的变尺度目标检测方法
CN114429577B (zh) 一种基于高置信标注策略的旗帜检测方法及系统及设备
Fan et al. A novel sonar target detection and classification algorithm
CN115035334A (zh) 多尺度融合双时相遥感图像的多分类变化检测方法及系统
CN113378642B (zh) 一种对农村违法占地建筑物进行检测的方法
CN117516937A (zh) 基于多模态特征融合增强的滚动轴承未知故障检测方法
CN117522824B (zh) 一种基于域知识库的多源域泛化的云和云阴影检测方法
CN115410089A (zh) 自适应局部上下文嵌入的光学遥感小尺度目标检测方法
CN115880266A (zh) 一种基于深度学习的肠道息肉检测系统和方法
Yang et al. An Effective and Lightweight Hybrid Network for Object Detection in Remote Sensing Images
CN113076438B (zh) 一种不平衡数据集下基于多数类转化为少数类的分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant