CN116091764A - 一种基于融合变换网络的云图像分割方法 - Google Patents
一种基于融合变换网络的云图像分割方法 Download PDFInfo
- Publication number
- CN116091764A CN116091764A CN202211698791.0A CN202211698791A CN116091764A CN 116091764 A CN116091764 A CN 116091764A CN 202211698791 A CN202211698791 A CN 202211698791A CN 116091764 A CN116091764 A CN 116091764A
- Authority
- CN
- China
- Prior art keywords
- cloud image
- module
- training
- scale
- sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000009466 transformation Effects 0.000 title claims abstract description 57
- 238000003709 image segmentation Methods 0.000 title claims abstract description 54
- 230000004927 fusion Effects 0.000 title claims abstract description 41
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000012549 training Methods 0.000 claims abstract description 122
- 230000011218 segmentation Effects 0.000 claims abstract description 62
- 238000004364 calculation method Methods 0.000 claims abstract description 23
- 238000000605 extraction Methods 0.000 claims abstract description 22
- 238000013136 deep learning model Methods 0.000 claims description 14
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 238000011176 pooling Methods 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 7
- 230000003993 interaction Effects 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 4
- 238000012360 testing method Methods 0.000 claims description 4
- 241000282326 Felis catus Species 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 abstract description 5
- 230000004913 activation Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000008034 disappearance Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000004880 explosion Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002902 bimodal effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30192—Weather; Meteorology
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例公开了一种基于融合变换网络的云图像分割方法,该方法包括:构建特征提取模块,得到训练云图像的多尺度局部特征;构建变换网络模块,得到训练云图像的多尺度长距离依赖关系序列;构建特征融合模块,得到训练云图像的跨尺度序列;构建分割掩码生成模块,训练云图像的分割掩码;构建损失计算模块,利用损失值对云图像分割模型进行优化,得到最优云图像分割模型;利用最优云图像分割模型,得到云图像的分割结果。本发明融合卷积神经网络和变换网络,从云图像中同时学习多尺度的局部信息和长距离依赖关系,进一步提高了云图像的分割的正确率。
Description
技术领域
本发明属于计算机视觉、模式识别、人工智能领域,具体涉及一种基于融合变换网络的云图像分割方法。
背景技术
云图像分割技术可以实现对云量的估计,广泛用于环境检测,天气预报等领域,因此受到了学术界和工业界的广泛关注。它主要研究将云从图像中分割出的方法。然而由于云的边缘模糊、形状各异,云图像分割技术面临着巨大的挑战。
近年来,随着云图像采集设备的发展,人们提出了很多云图像分割算法。Long等人提出了一种基于颜色阈值的云图像分割方法,将云图像的红蓝通道的比值作为云图像分割的固定阈值。此后,Heinle等人用云图像红蓝通道的差值取代比值作为云图像分割的固定阈值。Li等人提出了一种固定阈值和自适应阈值的混合方法,用于单峰和双峰云图像分割。Liu等人首先生成高置信度的标签作为硬约束种子,然后利用图割方法对云图像进行分割。
由于卷积神经网络具有强大的表征能力,因此被用于云图像分割领域,该类方法通常具有编码器-解码器结构。例如,Dev等人提出了CloudSegNet,它采用卷积、最大池化层和上采样作为编码-解码器架构的轻型版本,用于白天和夜间的云图像分割。Xie等人提出了SegCloud,通过在上采样操作中引入池化指数,有效地恢复了池化对云图像分割的损失。Shi等人提出EFCN,通过应用跳跃连接和直方图均衡化提高分割性能。Zhang等人将多尺度策略和注意力机制融合到编码器-解码器结构中,从而学习判别特征,以提高分割性能。Zhou等人提出TL-DeepLabV3+用于云图像分割任务,该方法通过使用迁移学习来克服训练云图像样本数量少的缺点。
由于卷积滤波器固有的局部属性,该方法很难对长距离的依赖关系进行建模。在自然语言处理领域中变换网络对长距离依赖关系具有较强的建模能力。因此研究人员将变换网络应用到计算机视觉领域。视觉变换网络(Vision Transformer)证明了变换网络在图像分类中可以超越基于卷积神经网络的方法。Zheng等人将语义分割任务变换为一个序列到序列的预测任务,并证明了变换网络在分割任务中的可行性。Petit等人将变换网络插入到U-Net中以获得长距离的依赖性。
以上这些基于变换网络的方法都是利用单一尺度的特征建模长距离依赖关系,忽略了多尺度信息,从而导致产生的分割结果不准确。
发明内容
本发明的目的是要解决对云图像的长距离建模不充分对云图像分割结果影响较大的技术问题,为此,本发明提供了一种基于融合变换网络的云图像分割方法。
为了实现所述目的,本发明提供了一种基于融合变换网络的云图像分割方法,所述方法包括以下步骤:
步骤S1,利用预训练深度学习模型构建特征提取模块,将训练云图像输入所述特征提取模块,得到所述训练云图像的多尺度局部特征fi;
步骤S4,将所述跨尺度序列Ci输入所述特征融合模块,得到最终的跨尺度特征C,构建分割掩码生成模块,利用所述分割掩码生成模块得到所述训练云图像的分割掩码;
步骤S5,将所述特征提取模块、变换网络模块、特征融合模块和损失计算模块组成云图像分割模型,构建损失计算模块,将所述训练云图像的分割掩码和所述训练云图像的标签输入到所述损失计算模块中,利用得到的损失值对于所述云图像分割模型进行优化,得到最优云图像分割模型;
步骤S6,在测试阶段,利用所述最优云图像分割模型计算得到输入云图像的最终分割掩码,计算得到所述训练云图像的分割掩码与所述输入云图像的最终分割掩码之间的相似度,结合所述训练云图像的标签得到所述输入云图像的分割结果。
可选地,所述步骤S1包括以下步骤:
步骤S11,确定预训练深度学习模型,并对其进行参数初始化,去掉所述预训练深度学习模型中最后的全局池化层和全连接层,得到所述特征提取模块;
步骤S12,对训练集中的训练云图像进行预处理;
步骤S13,将预处理后得到的训练云图像输入所述特征提取模块中,得到所述训练云图像的多尺度局部特征fi。
可选地,所述步骤S2包括以下步骤:
步骤S21,将所述训练云图像的多尺度局部特征fi转化为多尺度序列Ei;
步骤S22,基于层标准化模块、多头自注意力模块、残差结构和多层感知机模块,构建变换网络层;
步骤S23,利用N层变换网络层构建得到所述变换网络模块;
其中,表示第i个尺度的序列Ei在第n层变换网络层的输出,L表示序列的个数,D表示每个序列的维度,LN表示层标准化模块,MLP表示多层感知机模块,MSA表示多头自注意力模块,表示第n-1层变换网络层中第i个尺度输出的序列。
可选地,所述步骤S3包括以下步骤:
步骤S31,基于层标准化模块、多头互注意力模块、残差结构和多层感知机模块,构建所述特征融合模块;
可选地,所述训练云图像的第i个跨尺度序列Ci表示为:
Ci=Cat(Hi,Hi+1),(i=1,2)
可选地,所述步骤S4包括以下步骤:
步骤S41,将跨尺度序列C1和C2输入所述特征融合模块,得到最终的跨尺度特征C;
步骤S42,利用重塑、卷积和上采样模块构建得到分割掩码生成模块;
步骤S43,将最终的跨尺度特征C输入至所述分割掩码生成模块中,利用所述分割掩码生成模块将所述最终的跨尺度特征C转化为所述训练云图像的分割掩码。
可选地,所述步骤S5包括以下步骤:
步骤S51,将所述特征提取模块、变换网络模块、特征融合模块和损失计算模块组成云图像分割模型;
步骤S52,构建损失计算模块,将所述训练云图像的分割掩码和所述训练云图像的标签输入到所述损失计算模块中,利用所述损失计算模块计算所述训练云图像的分割掩码的损失值;
步骤S53,利用所述损失值对所述云图像分割模型进行优化,得到最优云图像分割模型。
可选地,所述损失函数Loss表示为:
其中,T表示所述训练云图像中像素的总数量,ui为所述训练云图像的第i个像素的真实标签,当所述训练云图像的第i个像素的类别为云时,ui=1,否则ui=0,pi表示所述训练云图像的分割掩码中第i个像素的类别,当所述训练云图像的分割掩码中第i个像素的类别为云时,pi=1,否则pi=0。
本发明的有益效果为:本发明通过卷积神经网络学习了云图像的多尺度局部特征,再利用变换网络对多尺度局部特征建模长距离依赖关系,从而实现同时学习多尺度局部信息和长距离依赖关系,改善了特征的表示能力,提高云图像分割的准确率。
需要说明的是,本发明得到了国家自然科学基金项目No.62171321,天津市自然科学基金重点项目No.20JCZDJC00180的资助。
附图说明
图1是根据本发明一实施例的一种基于融合变换网络的云图像分割方法的流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了,下面结合具体实施方式并参照附图,对本发明进一步详细说明。应该理解,这些描述只是示例性的,而并非要限制本发明的范围。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本发明的概念。
图1是根据本发明一实施例的一种基于融合变换网络的云图像分割方法的流程图,下面以图1为例来说明本发明的一些具体实现流程,如图1所示,所述基于融合变换网络的云图像分割方法包括以下步骤:
步骤S1,利用预训练深度学习模型构建特征提取模块,将训练云图像输入所述特征提取模块,得到所述训练云图像的多尺度局部特征fi;
进一步地,所述步骤S1包括以下步骤:
步骤S11,确定预训练深度学习模型,并对其进行参数初始化,去掉所述预训练深度学习模型中最后的全局池化层和全连接层,得到所述特征提取模块;
在本发明一实施例中,所采用的预训练深度学习模型可以为ResNet-50(BiT),选择该模型中最后一个全局池化层之前的模型成分,即去掉所述预训练深度学习模型中最后的全局池化层和全连接层,剩余的模型部分组成特征提取模块。其中,所述特征提取模块由3个模块组成,分别命名为Stage1,Stage2和Stage3,特征提取模块分别在Stage1,Stage2和Stage3可以产生不同尺度的特征。
步骤S12,对训练集中的训练云图像进行预处理;
在本发明一实施例中,对所述训练云图像进行的预处理包括:将训练云图像随机水平翻转,概率可以设置为0.5,并把所述训练云图像所有的像素按比例缩小至预设范围内,比如0到1之间,然后将所述训练云图像中的每个像素值减去所述训练云图像的像素平均值,再除以所述训练云图像的像素方差。
步骤S13,将预处理后得到的训练云图像输入所述特征提取模块中,得到所述训练云图像的多尺度局部特征fi。
在本发明一实施例中,所述多尺度局部特征 即和分别来自所述特征提取模块中Stage1,Stage2和Stage3的输出。其中,H是所述训练云图像的高,W是所述训练云图像的宽,256·2i-1为训练云图像第i个尺度的特征中通道的数量。
在本发明一实施例中,H=512,W=512。
进一步地,所述步骤S2包括以下步骤:
步骤S21,将所述训练云图像的多尺度局部特征fi转化为多尺度序列Ei;
在本发明一实施例中,可首先将训练云图像的多尺度局部特征fi使用大小为的方格均匀划分为L个特征块,其中,每个特征块的大小为之后将每个特征块展开为一维向量,最后利用线性层将一维向量的维度转换为D,所述训练云图像的多尺度局部特征fi经过上述步骤可转化为L个多尺度序列Ei∈RL×D,其中,P为一正整数,用于控制划分方格的大小。
在本发明一实施例中,D=768。
在本发明一实施例中,P=8,L=4096,所述训练云图像的多尺度序列Ei∈R4096×768,即E1,E2,E3∈R4096×768。
步骤S22,基于层标准化模块、多头自注意力模块、残差结构和多层感知机模块,构建变换网络层;
其中,所述层标准化模块、多头自注意力模块、残差结构和多层感知机模块为本领域常用的计算模块,本公开对其不做过多介绍。
在该步骤中,首先利用层标准化模块进行数据分布标准化以加速模型收敛,再利用多头自注意力模块学习全局的依赖关系,最后利用多层感知机模块来减少参数的数量,此外,还使用残差结构来缓解梯度消失或爆炸问题。
步骤S23,利用N层变换网络层构建得到所述变换网络模块;
在本发明一实施例中,N=2。
其中,所述N层变换网络层串联得到所述变换网络模块,比如当N=2时,第一层变换网络层的输出连接第二层变换网络层的输入,以得到所述变换网络模块。
其中,表示第i个尺度的序列Ei在第n层变换网络层的输出,L表示序列的个数,D表示每个序列的维度,LN表示层标准化模块,MLP表示多层感知机模块,MSA表示多头自注意力模块,表示第n-1层变换网络层中第i个尺度输出的序列,当n=1时,
在本发明一实施例中,所述多头自注意力模块由多个单独的自注意力模块组成,所述第i个尺度的序列Ei在第n层变换网络层中多头自注意力模块的输出可表示为:
其中,表示第n层变换网络层的输入在经历第一次层标准化模块后的输出,M为独立的自注意力模块的个数,为所述第i个尺度的序列Ei在第n层变换网络层中第m个独立自注意力模块的输出,为单独的线性层中的训练参数,d表示每个独立自注意力模块输出的维度。
在本发明一实施例中,M=12,d=768。
在本发明一实施例中,所述第i个尺度的序列Ei在第n层变换网络层中第m个独立自注意力模块的输出可表示为:
进一步地,所述步骤S3包括以下步骤:
步骤S31,基于层标准化模块、多头互注意力模块、残差结构和多层感知机模块,构建所述特征融合模块;
在该步骤中,首先利用层标准化模块进行数据分布标准化以加速模型收敛,再利用多头互注意力模块学习全局的依赖关系,最后利用多层感知机模块来减少参数的数量,此外,还使用残差结构来缓解梯度消失或爆炸问题。
在本发明一实施例中,所述训练云图像的第i个跨尺度序列Ci可表示为:
Ci=Cat(Hi,Hi+1),(i=1,2)
在本发明一实施例中,M=12。
步骤S4,将所述跨尺度序列Ci输入所述特征融合模块,得到最终的跨尺度特征C,构建分割掩码生成模块,利用所述分割掩码生成模块得到所述训练云图像的分割掩码;
进一步地,当i=1、2时,所述步骤S4包括以下步骤:
步骤S41,将跨尺度序列C1和C2输入所述特征融合模块,得到最终的跨尺度特征C;
在本发明一实施例中,C∈R4L×D。
步骤S42,利用重塑、卷积和上采样模块构建得到分割掩码生成模块;
其中,在构建所述分割掩码生成模块时,可将所述重塑、卷积和上采样模块顺次连接。
步骤S43,将最终的跨尺度特征C输入至所述分割掩码生成模块中,利用所述分割掩码生成模块将所述最终的跨尺度特征C转化为所述训练云图像的分割掩码。
步骤S5,将所述特征提取模块、变换网络模块、特征融合模块和损失计算模块组成云图像分割模型,构建损失计算模块,将所述训练云图像的分割掩码和所述训练云图像的标签输入到所述损失计算模块中,利用得到的损失值对于所述云图像分割模型进行优化,得到最优云图像分割模型;
进一步地,所述步骤S5包括以下步骤:
步骤S51,将所述特征提取模块、变换网络模块、特征融合模块和损失计算模块组成云图像分割模型;
步骤S52,构建损失计算模块,将所述训练云图像的分割掩码和所述训练云图像的标签输入到所述损失计算模块中,利用所述损失计算模块计算所述训练云图像的分割掩码的损失值;
在本发明一实施例中,在TLCD数据库中进行训练时,构建的损失计算模块的损失函数Loss可表示为:
其中,T表示所述训练云图像中像素的总数量,ui为所述训练云图像的第i个像素的真实标签,当所述训练云图像的第i个像素的类别为云时,ui=1,否则ui=0,pi表示所述训练云图像的分割掩码中第i个像素的类别,当所述训练云图像的分割掩码中第i个像素的类别为云时,pi=1,否则pi=0。
在本发明一实施例中,T=262144。
步骤S53,利用所述损失值对所述云图像分割模型进行优化,得到最优云图像分割模型。
该步骤中,可借助随机梯度下降法进行迭代计算以对所述云图像分割模型进行优化。
步骤S6,在测试阶段,利用所述最优云图像分割模型计算得到输入云图像的最终分割掩码,计算得到所述训练云图像的分割掩码与所述输入云图像的最终分割掩码之间的相似度,结合所述训练云图像的标签得到所述输入云图像的分割结果。
其中,所述训练云图像的标签是已知的真实分割结果。
其中,所述训练云图像的分割掩码是云图像分割模型预测的分割结果。
以网上公开的云图像分割大型数据库作为测试对象,比如在TLCD数据库上测试时,本发明云图像分割正确分割率达到78.67%(F-score),83.12%(Recall),77.60%(Precision),91.38%(Accuracy)和71.63%(IoU)。本发明通过卷积神经网络学习了云图像的多尺度局部特征,再利用变换网络对多尺度局部特征建模长距离依赖关系,从而实现同时学习多尺度局部信息和长距离依赖关系,很大程度地提高了云图像分割的正确率,由此可见本发明方法的有效性。
应当理解的是,本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理,而不构成对本发明的限制。因此,在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。此外,本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。
Claims (9)
1.一种基于融合变换网络的云图像分割方法,其特征在于,所述方法包括以下步骤:
步骤S1,利用预训练深度学习模型构建特征提取模块,将训练云图像输入所述特征提取模块,得到所述训练云图像的多尺度局部特征fi;
步骤S4,将所述跨尺度序列Ci输入所述特征融合模块,得到最终的跨尺度特征C,构建分割掩码生成模块,利用所述分割掩码生成模块得到所述训练云图像的分割掩码;
步骤S5,将所述特征提取模块、变换网络模块、特征融合模块和损失计算模块组成云图像分割模型,构建损失计算模块,将所述训练云图像的分割掩码和所述训练云图像的标签输入到所述损失计算模块中,利用得到的损失值对于所述云图像分割模型进行优化,得到最优云图像分割模型;
步骤S6,在测试阶段,利用所述最优云图像分割模型计算得到输入云图像的最终分割掩码,计算得到所述训练云图像的分割掩码与所述输入云图像的最终分割掩码之间的相似度,结合所述训练云图像的标签得到所述输入云图像的分割结果。
2.根据权利要求1所述的方法,其特征在于,所述步骤S1包括以下步骤:
步骤S11,确定预训练深度学习模型,并对其进行参数初始化,去掉所述预训练深度学习模型中最后的全局池化层和全连接层,得到所述特征提取模块;
步骤S12,对训练集中的训练云图像进行预处理;
步骤S13,将预处理后得到的训练云图像输入所述特征提取模块中,得到所述训练云图像的多尺度局部特征fi。
7.根据权利要求1所述的方法,其特征在于,所述步骤S4包括以下步骤:
步骤S41,将跨尺度序列C1和C2输入所述特征融合模块,得到最终的跨尺度特征C;
步骤S42,利用重塑、卷积和上采样模块构建得到分割掩码生成模块;
步骤S43,将最终的跨尺度特征C输入至所述分割掩码生成模块中,利用所述分割掩码生成模块将所述最终的跨尺度特征C转化为所述训练云图像的分割掩码。
8.根据权利要求1所述的方法,其特征在于,所述步骤S5包括以下步骤:
步骤S51,将所述特征提取模块、变换网络模块、特征融合模块和损失计算模块组成云图像分割模型;
步骤S52,构建损失计算模块,将所述训练云图像的分割掩码和所述训练云图像的标签输入到所述损失计算模块中,利用所述损失计算模块计算所述训练云图像的分割掩码的损失值;
步骤S53,利用所述损失值对所述云图像分割模型进行优化,得到最优云图像分割模型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211698791.0A CN116091764A (zh) | 2022-12-28 | 2022-12-28 | 一种基于融合变换网络的云图像分割方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211698791.0A CN116091764A (zh) | 2022-12-28 | 2022-12-28 | 一种基于融合变换网络的云图像分割方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116091764A true CN116091764A (zh) | 2023-05-09 |
Family
ID=86207544
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211698791.0A Pending CN116091764A (zh) | 2022-12-28 | 2022-12-28 | 一种基于融合变换网络的云图像分割方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116091764A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116740584A (zh) * | 2023-06-25 | 2023-09-12 | 安徽大学 | 一种结合CNN和Transformer的渐进式学习梯度的弱监督云检测方法 |
CN116805337A (zh) * | 2023-08-25 | 2023-09-26 | 天津师范大学 | 一种基于跨尺度视觉变换网络的人群定位方法 |
CN116740584B (zh) * | 2023-06-25 | 2024-05-10 | 安徽大学 | 一种弱监督云检测方法 |
-
2022
- 2022-12-28 CN CN202211698791.0A patent/CN116091764A/zh active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116740584A (zh) * | 2023-06-25 | 2023-09-12 | 安徽大学 | 一种结合CNN和Transformer的渐进式学习梯度的弱监督云检测方法 |
CN116740584B (zh) * | 2023-06-25 | 2024-05-10 | 安徽大学 | 一种弱监督云检测方法 |
CN116805337A (zh) * | 2023-08-25 | 2023-09-26 | 天津师范大学 | 一种基于跨尺度视觉变换网络的人群定位方法 |
CN116805337B (zh) * | 2023-08-25 | 2023-10-27 | 天津师范大学 | 一种基于跨尺度视觉变换网络的人群定位方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108961235B (zh) | 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法 | |
CN110728200B (zh) | 一种基于深度学习的实时行人检测方法及系统 | |
CN110322495A (zh) | 一种基于弱监督深度学习的场景文本分割方法 | |
CN112488025B (zh) | 基于多模态特征融合的双时相遥感影像语义变化检测方法 | |
CN113591617B (zh) | 基于深度学习的水面小目标检测与分类方法 | |
CN111462140B (zh) | 一种基于区块拼接的实时图像实例分割方法 | |
CN111461006B (zh) | 一种基于深度迁移学习的光学遥感图像杆塔位置检测方法 | |
Huang et al. | Ship target detection based on improved YOLO network | |
Chen et al. | Ship target detection algorithm based on improved YOLOv3 for maritime image | |
CN115424017B (zh) | 一种建筑物内外轮廓分割方法、装置及存储介质 | |
CN111507337A (zh) | 基于混合神经网络的车牌识别方法 | |
Chen et al. | Road damage detection and classification using mask R-CNN with DenseNet backbone | |
Hu et al. | A video streaming vehicle detection algorithm based on YOLOv4 | |
CN111126155B (zh) | 一种基于语义约束生成对抗网络的行人再识别方法 | |
Zuo et al. | A remote sensing image semantic segmentation method by combining deformable convolution with conditional random fields | |
CN116091764A (zh) | 一种基于融合变换网络的云图像分割方法 | |
CN116665148A (zh) | 基于合成孔径雷达数据的海上船舶检测方法 | |
CN115527103A (zh) | 无人艇感知实验平台系统 | |
CN114332473A (zh) | 目标检测方法、装置、计算机设备、存储介质及程序产品 | |
CN115424276B (zh) | 一种基于深度学习技术的船牌号检测方法 | |
CN110309793A (zh) | 一种基于图像比特分层解译的sar目标识别方法 | |
Ling et al. | Magnetic tile surface defect detection methodology based on self-attention and self-supervised learning | |
Wang et al. | Sonar objective detection based on dilated separable densely connected CNNs and quantum-behaved PSO algorithm | |
CN113887652A (zh) | 基于形态和多示例学习的遥感图像弱小目标检测方法 | |
Xu et al. | Compressed YOLOv5 for Oriented Object Detection with Integrated Network Slimming and Knowledge Distillation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |