CN116091764A - 一种基于融合变换网络的云图像分割方法 - Google Patents

一种基于融合变换网络的云图像分割方法 Download PDF

Info

Publication number
CN116091764A
CN116091764A CN202211698791.0A CN202211698791A CN116091764A CN 116091764 A CN116091764 A CN 116091764A CN 202211698791 A CN202211698791 A CN 202211698791A CN 116091764 A CN116091764 A CN 116091764A
Authority
CN
China
Prior art keywords
cloud image
module
training
scale
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211698791.0A
Other languages
English (en)
Inventor
刘爽
张家峰
张重
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Normal University
Original Assignee
Tianjin Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Normal University filed Critical Tianjin Normal University
Priority to CN202211698791.0A priority Critical patent/CN116091764A/zh
Publication of CN116091764A publication Critical patent/CN116091764A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30181Earth observation
    • G06T2207/30192Weather; Meteorology
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种基于融合变换网络的云图像分割方法,该方法包括:构建特征提取模块,得到训练云图像的多尺度局部特征;构建变换网络模块,得到训练云图像的多尺度长距离依赖关系序列;构建特征融合模块,得到训练云图像的跨尺度序列;构建分割掩码生成模块,训练云图像的分割掩码;构建损失计算模块,利用损失值对云图像分割模型进行优化,得到最优云图像分割模型;利用最优云图像分割模型,得到云图像的分割结果。本发明融合卷积神经网络和变换网络,从云图像中同时学习多尺度的局部信息和长距离依赖关系,进一步提高了云图像的分割的正确率。

Description

一种基于融合变换网络的云图像分割方法
技术领域
本发明属于计算机视觉、模式识别、人工智能领域,具体涉及一种基于融合变换网络的云图像分割方法。
背景技术
云图像分割技术可以实现对云量的估计,广泛用于环境检测,天气预报等领域,因此受到了学术界和工业界的广泛关注。它主要研究将云从图像中分割出的方法。然而由于云的边缘模糊、形状各异,云图像分割技术面临着巨大的挑战。
近年来,随着云图像采集设备的发展,人们提出了很多云图像分割算法。Long等人提出了一种基于颜色阈值的云图像分割方法,将云图像的红蓝通道的比值作为云图像分割的固定阈值。此后,Heinle等人用云图像红蓝通道的差值取代比值作为云图像分割的固定阈值。Li等人提出了一种固定阈值和自适应阈值的混合方法,用于单峰和双峰云图像分割。Liu等人首先生成高置信度的标签作为硬约束种子,然后利用图割方法对云图像进行分割。
由于卷积神经网络具有强大的表征能力,因此被用于云图像分割领域,该类方法通常具有编码器-解码器结构。例如,Dev等人提出了CloudSegNet,它采用卷积、最大池化层和上采样作为编码-解码器架构的轻型版本,用于白天和夜间的云图像分割。Xie等人提出了SegCloud,通过在上采样操作中引入池化指数,有效地恢复了池化对云图像分割的损失。Shi等人提出EFCN,通过应用跳跃连接和直方图均衡化提高分割性能。Zhang等人将多尺度策略和注意力机制融合到编码器-解码器结构中,从而学习判别特征,以提高分割性能。Zhou等人提出TL-DeepLabV3+用于云图像分割任务,该方法通过使用迁移学习来克服训练云图像样本数量少的缺点。
由于卷积滤波器固有的局部属性,该方法很难对长距离的依赖关系进行建模。在自然语言处理领域中变换网络对长距离依赖关系具有较强的建模能力。因此研究人员将变换网络应用到计算机视觉领域。视觉变换网络(Vision Transformer)证明了变换网络在图像分类中可以超越基于卷积神经网络的方法。Zheng等人将语义分割任务变换为一个序列到序列的预测任务,并证明了变换网络在分割任务中的可行性。Petit等人将变换网络插入到U-Net中以获得长距离的依赖性。
以上这些基于变换网络的方法都是利用单一尺度的特征建模长距离依赖关系,忽略了多尺度信息,从而导致产生的分割结果不准确。
发明内容
本发明的目的是要解决对云图像的长距离建模不充分对云图像分割结果影响较大的技术问题,为此,本发明提供了一种基于融合变换网络的云图像分割方法。
为了实现所述目的,本发明提供了一种基于融合变换网络的云图像分割方法,所述方法包括以下步骤:
步骤S1,利用预训练深度学习模型构建特征提取模块,将训练云图像输入所述特征提取模块,得到所述训练云图像的多尺度局部特征fi
步骤S2,构建变换网络模块,将所述训练云图像的多尺度局部特征fi输入至所述变换网络模块,利用所述变换网络模块学习不同尺度的长距离依赖关系,得到所述训练云图像的多尺度长距离依赖关系序列
Figure BDA0004023199770000021
步骤S3,构建特征融合模块,利用所述特征融合模块对于所述训练云图像的多尺度长距离依赖关系序列
Figure BDA0004023199770000022
进行交互并融合,得到所述训练云图像的跨尺度序列Ci
步骤S4,将所述跨尺度序列Ci输入所述特征融合模块,得到最终的跨尺度特征C,构建分割掩码生成模块,利用所述分割掩码生成模块得到所述训练云图像的分割掩码;
步骤S5,将所述特征提取模块、变换网络模块、特征融合模块和损失计算模块组成云图像分割模型,构建损失计算模块,将所述训练云图像的分割掩码和所述训练云图像的标签输入到所述损失计算模块中,利用得到的损失值对于所述云图像分割模型进行优化,得到最优云图像分割模型;
步骤S6,在测试阶段,利用所述最优云图像分割模型计算得到输入云图像的最终分割掩码,计算得到所述训练云图像的分割掩码与所述输入云图像的最终分割掩码之间的相似度,结合所述训练云图像的标签得到所述输入云图像的分割结果。
可选地,所述步骤S1包括以下步骤:
步骤S11,确定预训练深度学习模型,并对其进行参数初始化,去掉所述预训练深度学习模型中最后的全局池化层和全连接层,得到所述特征提取模块;
步骤S12,对训练集中的训练云图像进行预处理;
步骤S13,将预处理后得到的训练云图像输入所述特征提取模块中,得到所述训练云图像的多尺度局部特征fi
可选地,所述步骤S2包括以下步骤:
步骤S21,将所述训练云图像的多尺度局部特征fi转化为多尺度序列Ei
步骤S22,基于层标准化模块、多头自注意力模块、残差结构和多层感知机模块,构建变换网络层;
步骤S23,利用N层变换网络层构建得到所述变换网络模块;
步骤S24,将所述多尺度序列Ei输入至所述变换网络模块,利用所述变换网络模块对所述多尺度序列Ei构建不同尺度的长距离依赖关系,得到所述训练云图像的多尺度长距离依赖关系序列
Figure BDA0004023199770000031
可选地,所述多尺度长距离依赖关系序列
Figure BDA0004023199770000032
表示为:
Figure BDA0004023199770000033
Figure BDA0004023199770000041
其中,
Figure BDA0004023199770000042
表示第i个尺度的序列Ei在第n层变换网络层的输出,L表示序列的个数,D表示每个序列的维度,LN表示层标准化模块,MLP表示多层感知机模块,MSA表示多头自注意力模块,
Figure BDA0004023199770000043
表示第n-1层变换网络层中第i个尺度输出的序列。
可选地,所述步骤S3包括以下步骤:
步骤S31,基于层标准化模块、多头互注意力模块、残差结构和多层感知机模块,构建所述特征融合模块;
步骤S32,利用所述特征融合模块对于所述训练云图像的多尺度长距离依赖关系序列
Figure BDA0004023199770000044
进行交互并融合,得到所述训练云图像的跨尺度序列Ci。
可选地,所述训练云图像的第i个跨尺度序列Ci表示为:
Ci=Cat(Hi,Hi+1),(i=1,2)
Figure BDA0004023199770000045
Figure BDA0004023199770000046
其中,Ci∈R2L×D表示第i个跨尺度序列,Cat为串联操作,MCA表示多头互注意力模块,
Figure BDA0004023199770000047
表示第i个尺度长距离依赖关系序列,
Figure BDA0004023199770000048
表示第i+1个尺度长距离依赖关系序列。
可选地,所述步骤S4包括以下步骤:
步骤S41,将跨尺度序列C1和C2输入所述特征融合模块,得到最终的跨尺度特征C;
步骤S42,利用重塑、卷积和上采样模块构建得到分割掩码生成模块;
步骤S43,将最终的跨尺度特征C输入至所述分割掩码生成模块中,利用所述分割掩码生成模块将所述最终的跨尺度特征C转化为所述训练云图像的分割掩码。
可选地,所述步骤S5包括以下步骤:
步骤S51,将所述特征提取模块、变换网络模块、特征融合模块和损失计算模块组成云图像分割模型;
步骤S52,构建损失计算模块,将所述训练云图像的分割掩码和所述训练云图像的标签输入到所述损失计算模块中,利用所述损失计算模块计算所述训练云图像的分割掩码的损失值;
步骤S53,利用所述损失值对所述云图像分割模型进行优化,得到最优云图像分割模型。
可选地,所述损失函数Loss表示为:
Figure BDA0004023199770000051
Figure BDA0004023199770000052
其中,T表示所述训练云图像中像素的总数量,ui为所述训练云图像的第i个像素的真实标签,当所述训练云图像的第i个像素的类别为云时,ui=1,否则ui=0,pi表示所述训练云图像的分割掩码中第i个像素的类别,当所述训练云图像的分割掩码中第i个像素的类别为云时,pi=1,否则pi=0。
本发明的有益效果为:本发明通过卷积神经网络学习了云图像的多尺度局部特征,再利用变换网络对多尺度局部特征建模长距离依赖关系,从而实现同时学习多尺度局部信息和长距离依赖关系,改善了特征的表示能力,提高云图像分割的准确率。
需要说明的是,本发明得到了国家自然科学基金项目No.62171321,天津市自然科学基金重点项目No.20JCZDJC00180的资助。
附图说明
图1是根据本发明一实施例的一种基于融合变换网络的云图像分割方法的流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了,下面结合具体实施方式并参照附图,对本发明进一步详细说明。应该理解,这些描述只是示例性的,而并非要限制本发明的范围。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本发明的概念。
图1是根据本发明一实施例的一种基于融合变换网络的云图像分割方法的流程图,下面以图1为例来说明本发明的一些具体实现流程,如图1所示,所述基于融合变换网络的云图像分割方法包括以下步骤:
步骤S1,利用预训练深度学习模型构建特征提取模块,将训练云图像输入所述特征提取模块,得到所述训练云图像的多尺度局部特征fi;
进一步地,所述步骤S1包括以下步骤:
步骤S11,确定预训练深度学习模型,并对其进行参数初始化,去掉所述预训练深度学习模型中最后的全局池化层和全连接层,得到所述特征提取模块;
在本发明一实施例中,所采用的预训练深度学习模型可以为ResNet-50(BiT),选择该模型中最后一个全局池化层之前的模型成分,即去掉所述预训练深度学习模型中最后的全局池化层和全连接层,剩余的模型部分组成特征提取模块。其中,所述特征提取模块由3个模块组成,分别命名为Stage1,Stage2和Stage3,特征提取模块分别在Stage1,Stage2和Stage3可以产生不同尺度的特征。
步骤S12,对训练集中的训练云图像进行预处理;
在本发明一实施例中,对所述训练云图像进行的预处理包括:将训练云图像随机水平翻转,概率可以设置为0.5,并把所述训练云图像所有的像素按比例缩小至预设范围内,比如0到1之间,然后将所述训练云图像中的每个像素值减去所述训练云图像的像素平均值,再除以所述训练云图像的像素方差。
步骤S13,将预处理后得到的训练云图像输入所述特征提取模块中,得到所述训练云图像的多尺度局部特征fi
在本发明一实施例中,所述多尺度局部特征
Figure BDA0004023199770000061
Figure BDA0004023199770000062
Figure BDA0004023199770000063
Figure BDA0004023199770000064
分别来自所述特征提取模块中Stage1,Stage2和Stage3的输出。其中,H是所述训练云图像的高,W是所述训练云图像的宽,256·2i-1为训练云图像第i个尺度的特征中通道的数量。
在本发明一实施例中,H=512,W=512。
步骤S2,构建变换网络模块,将所述训练云图像的多尺度局部特征fi输入至所述变换网络模块,利用所述变换网络模块学习不同尺度的长距离依赖关系,得到所述训练云图像的多尺度长距离依赖关系序列
Figure BDA0004023199770000071
进一步地,所述步骤S2包括以下步骤:
步骤S21,将所述训练云图像的多尺度局部特征fi转化为多尺度序列Ei
在本发明一实施例中,可首先将训练云图像的多尺度局部特征fi使用大小为
Figure BDA0004023199770000072
的方格均匀划分为L个特征块,其中,每个特征块的大小为
Figure BDA0004023199770000073
之后将每个特征块展开为一维向量,最后利用线性层将一维向量的维度转换为D,所述训练云图像的多尺度局部特征fi经过上述步骤可转化为L个多尺度序列Ei∈RL×D,其中,P为一正整数,用于控制划分方格的大小。
在本发明一实施例中,D=768。
在本发明一实施例中,P=8,L=4096,所述训练云图像的多尺度序列Ei∈R4096×768,即E1,E2,E3∈R4096×768
步骤S22,基于层标准化模块、多头自注意力模块、残差结构和多层感知机模块,构建变换网络层;
其中,所述层标准化模块、多头自注意力模块、残差结构和多层感知机模块为本领域常用的计算模块,本公开对其不做过多介绍。
在该步骤中,首先利用层标准化模块进行数据分布标准化以加速模型收敛,再利用多头自注意力模块学习全局的依赖关系,最后利用多层感知机模块来减少参数的数量,此外,还使用残差结构来缓解梯度消失或爆炸问题。
步骤S23,利用N层变换网络层构建得到所述变换网络模块;
在本发明一实施例中,N=2。
其中,所述N层变换网络层串联得到所述变换网络模块,比如当N=2时,第一层变换网络层的输出连接第二层变换网络层的输入,以得到所述变换网络模块。
步骤S24,将所述多尺度序列Ei输入至所述变换网络模块,利用所述变换网络模块对所述多尺度序列Ei构建不同尺度的长距离依赖关系,得到所述训练云图像的多尺度长距离依赖关系序列
Figure BDA0004023199770000081
在本发明一实施例中,所述多尺度长距离依赖关系序列
Figure BDA0004023199770000082
可表示为:
Figure BDA0004023199770000083
Figure BDA0004023199770000084
其中,
Figure BDA0004023199770000085
表示第i个尺度的序列Ei在第n层变换网络层的输出,L表示序列的个数,D表示每个序列的维度,LN表示层标准化模块,MLP表示多层感知机模块,MSA表示多头自注意力模块,
Figure BDA0004023199770000086
表示第n-1层变换网络层中第i个尺度输出的序列,当n=1时,
Figure BDA0004023199770000087
在本发明一实施例中,所述多头自注意力模块由多个单独的自注意力模块组成,所述第i个尺度的序列Ei在第n层变换网络层中多头自注意力模块的输出可表示为:
Figure BDA0004023199770000088
Figure BDA0004023199770000089
其中,
Figure BDA00040231997700000810
表示第n层变换网络层的输入在经历第一次层标准化模块后的输出,M为独立的自注意力模块的个数,
Figure BDA00040231997700000811
为所述第i个尺度的序列Ei在第n层变换网络层中第m个独立自注意力模块的输出,
Figure BDA00040231997700000812
为单独的线性层中的训练参数,d表示每个独立自注意力模块输出的维度。
在本发明一实施例中,M=12,d=768。
在本发明一实施例中,所述第i个尺度的序列Ei在第n层变换网络层中第m个独立自注意力模块的输出可表示为:
Figure BDA0004023199770000091
Figure BDA0004023199770000092
Figure BDA0004023199770000093
Figure BDA0004023199770000094
其中,
Figure BDA0004023199770000095
softmax为激活函数,
Figure BDA0004023199770000096
Figure BDA0004023199770000097
分别为三个单独的线性层中的训练参数。
步骤S3,构建特征融合模块,利用所述特征融合模块对于所述训练云图像的多尺度长距离依赖关系序列
Figure BDA0004023199770000098
进行交互并融合,得到所述训练云图像的跨尺度序列Ci
进一步地,所述步骤S3包括以下步骤:
步骤S31,基于层标准化模块、多头互注意力模块、残差结构和多层感知机模块,构建所述特征融合模块;
在该步骤中,首先利用层标准化模块进行数据分布标准化以加速模型收敛,再利用多头互注意力模块学习全局的依赖关系,最后利用多层感知机模块来减少参数的数量,此外,还使用残差结构来缓解梯度消失或爆炸问题。
步骤S32,利用所述特征融合模块对于所述训练云图像的多尺度长距离依赖关系序列
Figure BDA0004023199770000099
进行交互并融合,得到所述训练云图像的跨尺度序列Ci
在本发明一实施例中,所述训练云图像的第i个跨尺度序列Ci可表示为:
Ci=Cat(Hi,Hi+1),(i=1,2)
Figure BDA00040231997700000910
Figure BDA00040231997700000911
其中,Ci∈R2L×D表示第i个跨尺度序列,Cat为串联操作,MCA表示多头互注意力模块,
Figure BDA0004023199770000101
表示第i个尺度长距离依赖关系序列,
Figure BDA0004023199770000102
表示第i+1个尺度长距离依赖关系序列。
在本发明一实施例中,所述多头互注意力模块由多个单独的互注意力模块组成,所述第i个尺度长距离依赖关系序列
Figure BDA0004023199770000103
和第i+1个尺度长距离依赖关系序列
Figure BDA0004023199770000104
在多头互注意力模块的输出可表示为:
Figure BDA0004023199770000105
其中,
Figure BDA0004023199770000106
M为独立的互注意力模块的个数,
Figure BDA0004023199770000107
为所述第i个尺度长距离依赖关系序列
Figure BDA0004023199770000108
和第i+1个尺度长距离依赖关系序列
Figure BDA0004023199770000109
在第m个独立互注意力模块的输出,
Figure BDA00040231997700001010
为单独的线性层中的训练参数。
在本发明一实施例中,M=12。
在本发明一实施例中,所述第i个尺度长距离依赖关系序列
Figure BDA00040231997700001011
和第i+1个尺度长距离依赖关系序列
Figure BDA00040231997700001012
在第m个独立互注意力模块的输出可表示为:
Figure BDA00040231997700001013
Figure BDA00040231997700001014
Figure BDA00040231997700001015
Figure BDA00040231997700001016
其中,
Figure BDA00040231997700001017
softmax为激活函数,
Figure BDA00040231997700001018
Figure BDA00040231997700001019
分别为三个单独的线性层中的训练参数。
步骤S4,将所述跨尺度序列Ci输入所述特征融合模块,得到最终的跨尺度特征C,构建分割掩码生成模块,利用所述分割掩码生成模块得到所述训练云图像的分割掩码;
进一步地,当i=1、2时,所述步骤S4包括以下步骤:
步骤S41,将跨尺度序列C1和C2输入所述特征融合模块,得到最终的跨尺度特征C;
在本发明一实施例中,C∈R4L×D
步骤S42,利用重塑、卷积和上采样模块构建得到分割掩码生成模块;
其中,在构建所述分割掩码生成模块时,可将所述重塑、卷积和上采样模块顺次连接。
步骤S43,将最终的跨尺度特征C输入至所述分割掩码生成模块中,利用所述分割掩码生成模块将所述最终的跨尺度特征C转化为所述训练云图像的分割掩码。
步骤S5,将所述特征提取模块、变换网络模块、特征融合模块和损失计算模块组成云图像分割模型,构建损失计算模块,将所述训练云图像的分割掩码和所述训练云图像的标签输入到所述损失计算模块中,利用得到的损失值对于所述云图像分割模型进行优化,得到最优云图像分割模型;
进一步地,所述步骤S5包括以下步骤:
步骤S51,将所述特征提取模块、变换网络模块、特征融合模块和损失计算模块组成云图像分割模型;
步骤S52,构建损失计算模块,将所述训练云图像的分割掩码和所述训练云图像的标签输入到所述损失计算模块中,利用所述损失计算模块计算所述训练云图像的分割掩码的损失值;
在本发明一实施例中,在TLCD数据库中进行训练时,构建的损失计算模块的损失函数Loss可表示为:
Figure BDA0004023199770000111
其中,T表示所述训练云图像中像素的总数量,ui为所述训练云图像的第i个像素的真实标签,当所述训练云图像的第i个像素的类别为云时,ui=1,否则ui=0,pi表示所述训练云图像的分割掩码中第i个像素的类别,当所述训练云图像的分割掩码中第i个像素的类别为云时,pi=1,否则pi=0。
在本发明一实施例中,T=262144。
步骤S53,利用所述损失值对所述云图像分割模型进行优化,得到最优云图像分割模型。
该步骤中,可借助随机梯度下降法进行迭代计算以对所述云图像分割模型进行优化。
步骤S6,在测试阶段,利用所述最优云图像分割模型计算得到输入云图像的最终分割掩码,计算得到所述训练云图像的分割掩码与所述输入云图像的最终分割掩码之间的相似度,结合所述训练云图像的标签得到所述输入云图像的分割结果。
其中,所述训练云图像的标签是已知的真实分割结果。
其中,所述训练云图像的分割掩码是云图像分割模型预测的分割结果。
以网上公开的云图像分割大型数据库作为测试对象,比如在TLCD数据库上测试时,本发明云图像分割正确分割率达到78.67%(F-score),83.12%(Recall),77.60%(Precision),91.38%(Accuracy)和71.63%(IoU)。本发明通过卷积神经网络学习了云图像的多尺度局部特征,再利用变换网络对多尺度局部特征建模长距离依赖关系,从而实现同时学习多尺度局部信息和长距离依赖关系,很大程度地提高了云图像分割的正确率,由此可见本发明方法的有效性。
应当理解的是,本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理,而不构成对本发明的限制。因此,在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。此外,本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (9)

1.一种基于融合变换网络的云图像分割方法,其特征在于,所述方法包括以下步骤:
步骤S1,利用预训练深度学习模型构建特征提取模块,将训练云图像输入所述特征提取模块,得到所述训练云图像的多尺度局部特征fi
步骤S2,构建变换网络模块,将所述训练云图像的多尺度局部特征fi输入至所述变换网络模块,利用所述变换网络模块学习不同尺度的长距离依赖关系,得到所述训练云图像的多尺度长距离依赖关系序列
Figure FDA0004023199760000011
步骤S3,构建特征融合模块,利用所述特征融合模块对于所述训练云图像的多尺度长距离依赖关系序列
Figure FDA0004023199760000012
进行交互并融合,得到所述训练云图像的跨尺度序列Ci
步骤S4,将所述跨尺度序列Ci输入所述特征融合模块,得到最终的跨尺度特征C,构建分割掩码生成模块,利用所述分割掩码生成模块得到所述训练云图像的分割掩码;
步骤S5,将所述特征提取模块、变换网络模块、特征融合模块和损失计算模块组成云图像分割模型,构建损失计算模块,将所述训练云图像的分割掩码和所述训练云图像的标签输入到所述损失计算模块中,利用得到的损失值对于所述云图像分割模型进行优化,得到最优云图像分割模型;
步骤S6,在测试阶段,利用所述最优云图像分割模型计算得到输入云图像的最终分割掩码,计算得到所述训练云图像的分割掩码与所述输入云图像的最终分割掩码之间的相似度,结合所述训练云图像的标签得到所述输入云图像的分割结果。
2.根据权利要求1所述的方法,其特征在于,所述步骤S1包括以下步骤:
步骤S11,确定预训练深度学习模型,并对其进行参数初始化,去掉所述预训练深度学习模型中最后的全局池化层和全连接层,得到所述特征提取模块;
步骤S12,对训练集中的训练云图像进行预处理;
步骤S13,将预处理后得到的训练云图像输入所述特征提取模块中,得到所述训练云图像的多尺度局部特征fi
3.根据权利要求1所述的方法,其特征在于,所述步骤S2包括以下步骤:
步骤S21,将所述训练云图像的多尺度局部特征fi转化为多尺度序列Ei
步骤S22,基于层标准化模块、多头自注意力模块、残差结构和多层感知机模块,构建变换网络层;
步骤S23,利用N层变换网络层构建得到所述变换网络模块;
步骤S24,将所述多尺度序列Ei输入至所述变换网络模块,利用所述变换网络模块对所述多尺度序列Ei构建不同尺度的长距离依赖关系,得到所述训练云图像的多尺度长距离依赖关系序列
Figure FDA0004023199760000021
4.根据权利要求3所述的方法,其特征在于,所述多尺度长距离依赖关系序列
Figure FDA0004023199760000022
表示为:
Figure FDA0004023199760000023
Figure FDA0004023199760000024
其中,
Figure FDA0004023199760000025
表示第i个尺度的序列Ei在第n层变换网络层的输出,L表示序列的个数,D表示每个序列的维度,LN表示层标准化模块,MLP表示多层感知机模块,MSA表示多头自注意力模块,
Figure FDA0004023199760000026
表示第n-1层变换网络层中第i个尺度输出的序列。
5.根据权利要求1所述的方法,其特征在于,所述步骤S3包括以下步骤:
步骤S31,基于层标准化模块、多头互注意力模块、残差结构和多层感知机模块,构建所述特征融合模块;
步骤S32,利用所述特征融合模块对于所述训练云图像的多尺度长距离依赖关系序列
Figure FDA0004023199760000027
进行交互并融合,得到所述训练云图像的跨尺度序列Ci。
6.根据权利要求5所述的方法,其特征在于,所述训练云图像的第i个跨尺度序列Ci表示为:
Ci=Cat(Hi,Hi+1),(i=1,2)
Figure FDA0004023199760000031
Figure FDA0004023199760000032
其中,Ci∈R2L×D表示第i个跨尺度序列,Cat为串联操作,MCA表示多头互注意力模块,
Figure FDA0004023199760000033
表示第i个尺度长距离依赖关系序列,
Figure FDA0004023199760000034
表示第i+1个尺度长距离依赖关系序列。
7.根据权利要求1所述的方法,其特征在于,所述步骤S4包括以下步骤:
步骤S41,将跨尺度序列C1和C2输入所述特征融合模块,得到最终的跨尺度特征C;
步骤S42,利用重塑、卷积和上采样模块构建得到分割掩码生成模块;
步骤S43,将最终的跨尺度特征C输入至所述分割掩码生成模块中,利用所述分割掩码生成模块将所述最终的跨尺度特征C转化为所述训练云图像的分割掩码。
8.根据权利要求1所述的方法,其特征在于,所述步骤S5包括以下步骤:
步骤S51,将所述特征提取模块、变换网络模块、特征融合模块和损失计算模块组成云图像分割模型;
步骤S52,构建损失计算模块,将所述训练云图像的分割掩码和所述训练云图像的标签输入到所述损失计算模块中,利用所述损失计算模块计算所述训练云图像的分割掩码的损失值;
步骤S53,利用所述损失值对所述云图像分割模型进行优化,得到最优云图像分割模型。
9.根据权利要求8所述的方法,其特征在于,所述损失函数Loss表示为:
Figure FDA0004023199760000041
Figure FDA0004023199760000042
其中,T表示所述训练云图像中像素的总数量,ui为所述训练云图像的第i个像素的真实标签,当所述训练云图像的第i个像素的类别为云时,ui=1,否则ui=0,pi表示所述训练云图像的分割掩码中第i个像素的类别,当所述训练云图像的分割掩码中第i个像素的类别为云时,pi=1,否则pi=0。
CN202211698791.0A 2022-12-28 2022-12-28 一种基于融合变换网络的云图像分割方法 Pending CN116091764A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211698791.0A CN116091764A (zh) 2022-12-28 2022-12-28 一种基于融合变换网络的云图像分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211698791.0A CN116091764A (zh) 2022-12-28 2022-12-28 一种基于融合变换网络的云图像分割方法

Publications (1)

Publication Number Publication Date
CN116091764A true CN116091764A (zh) 2023-05-09

Family

ID=86207544

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211698791.0A Pending CN116091764A (zh) 2022-12-28 2022-12-28 一种基于融合变换网络的云图像分割方法

Country Status (1)

Country Link
CN (1) CN116091764A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116740584A (zh) * 2023-06-25 2023-09-12 安徽大学 一种结合CNN和Transformer的渐进式学习梯度的弱监督云检测方法
CN116805337A (zh) * 2023-08-25 2023-09-26 天津师范大学 一种基于跨尺度视觉变换网络的人群定位方法
CN116740584B (zh) * 2023-06-25 2024-05-10 安徽大学 一种弱监督云检测方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116740584A (zh) * 2023-06-25 2023-09-12 安徽大学 一种结合CNN和Transformer的渐进式学习梯度的弱监督云检测方法
CN116740584B (zh) * 2023-06-25 2024-05-10 安徽大学 一种弱监督云检测方法
CN116805337A (zh) * 2023-08-25 2023-09-26 天津师范大学 一种基于跨尺度视觉变换网络的人群定位方法
CN116805337B (zh) * 2023-08-25 2023-10-27 天津师范大学 一种基于跨尺度视觉变换网络的人群定位方法

Similar Documents

Publication Publication Date Title
CN108961235B (zh) 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法
CN110728200B (zh) 一种基于深度学习的实时行人检测方法及系统
CN110322495A (zh) 一种基于弱监督深度学习的场景文本分割方法
CN112488025B (zh) 基于多模态特征融合的双时相遥感影像语义变化检测方法
CN113591617B (zh) 基于深度学习的水面小目标检测与分类方法
CN111462140B (zh) 一种基于区块拼接的实时图像实例分割方法
CN111461006B (zh) 一种基于深度迁移学习的光学遥感图像杆塔位置检测方法
Huang et al. Ship target detection based on improved YOLO network
Chen et al. Ship target detection algorithm based on improved YOLOv3 for maritime image
CN115424017B (zh) 一种建筑物内外轮廓分割方法、装置及存储介质
CN111507337A (zh) 基于混合神经网络的车牌识别方法
Chen et al. Road damage detection and classification using mask R-CNN with DenseNet backbone
Hu et al. A video streaming vehicle detection algorithm based on YOLOv4
CN111126155B (zh) 一种基于语义约束生成对抗网络的行人再识别方法
Zuo et al. A remote sensing image semantic segmentation method by combining deformable convolution with conditional random fields
CN116091764A (zh) 一种基于融合变换网络的云图像分割方法
CN116665148A (zh) 基于合成孔径雷达数据的海上船舶检测方法
CN115527103A (zh) 无人艇感知实验平台系统
CN114332473A (zh) 目标检测方法、装置、计算机设备、存储介质及程序产品
CN115424276B (zh) 一种基于深度学习技术的船牌号检测方法
CN110309793A (zh) 一种基于图像比特分层解译的sar目标识别方法
Ling et al. Magnetic tile surface defect detection methodology based on self-attention and self-supervised learning
Wang et al. Sonar objective detection based on dilated separable densely connected CNNs and quantum-behaved PSO algorithm
CN113887652A (zh) 基于形态和多示例学习的遥感图像弱小目标检测方法
Xu et al. Compressed YOLOv5 for Oriented Object Detection with Integrated Network Slimming and Knowledge Distillation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination