CN117173600A - 基于改进Mask2Former的草地退化指示草种的分割方法 - Google Patents
基于改进Mask2Former的草地退化指示草种的分割方法 Download PDFInfo
- Publication number
- CN117173600A CN117173600A CN202311214166.9A CN202311214166A CN117173600A CN 117173600 A CN117173600 A CN 117173600A CN 202311214166 A CN202311214166 A CN 202311214166A CN 117173600 A CN117173600 A CN 117173600A
- Authority
- CN
- China
- Prior art keywords
- network
- improved
- decoder
- segmentation
- feature map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 34
- 238000000034 method Methods 0.000 title claims abstract description 30
- 230000015556 catabolic process Effects 0.000 title claims abstract description 29
- 238000006731 degradation reaction Methods 0.000 title claims abstract description 29
- 244000025254 Cannabis sativa Species 0.000 title claims abstract description 25
- 238000011156 evaluation Methods 0.000 claims abstract description 12
- 238000005070 sampling Methods 0.000 claims description 11
- 230000008859 change Effects 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 4
- 238000002372 labelling Methods 0.000 claims description 4
- 244000288784 Posoqueria latifolia Species 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 6
- 230000007547 defect Effects 0.000 abstract description 5
- 241000196324 Embryophyta Species 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 241000099774 Cuscuta salina Species 0.000 description 3
- 241000188851 Thermopsis lanceolata Species 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000011835 investigation Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 244000144972 livestock Species 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 231100000572 poisoning Toxicity 0.000 description 1
- 230000000607 poisoning effect Effects 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 231100000331 toxic Toxicity 0.000 description 1
- 230000002588 toxic effect Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明涉及一种基于改进Mask2Former的草地退化指示草种的分割方法，包括无人机拍摄视频影像、逐帧截取、图片裁剪、使用Labelme软件进行标注、使用Swin Transoformer作为主干网络，使用改进Mask2Former分割网络对草地退化指示草种‑披针叶黄华进行语意分割，以披针叶黄华的IoU和Acc作为评估指标五个步骤。本发明通过FFAM模块既提升了网络的分割能力，又对query的初始化进行指导并添加了残差模块，增加了网络对图像特征的定位能力；最终达到了评估指标IoU和Acc的提高，解决了分割效果不明显的缺陷。
Description
技术领域
本发明涉及计算机图像处理技术领域，特别涉及一种基于改进Mask2Former的草地退化指示草种的分割方法。
背景技术
草地退化既不利于生态系统的平衡稳定，也会影响到当地经济的健康发展；对草地退化等级进行评估以采取相应的措施是工作重点，其中草地退化评价往往采用野外调查和定点采样等人工方式，存在时间成本和人工成本往往很高，以及效率低下的问题。随着计算机图像处理技术快速发展的今天，其中CN115965781A公开了一种基于双解码器的语义分割方法，涉及使用mask2former进行实例分割任务以达到图像分割的目的；因此，使用深度学习与无人机遥感影像结合的方法对草地退化等级进行评价，相较人工方式则更加高效、节约时间和人工成本。
披针叶黄华(Thermopsis lanceolata)是一种牧场常见的有毒植物，其种子和全草都会引起家畜中毒；发明人通过无人机对披针叶黄华进行拍摄，通过截帧、裁剪、标注得到披针叶黄华数据集，使用Mask2Former进行草地退化评价，以草地退化指示草种披针叶黄华的覆盖度作为草地退化的指标；但该方法仍存在分割效果不明显的缺陷，见图6左部。
需要说明的是，虽然上述提及了使用Mask2Former进行草地退化评价所涉及的技术方案，但其不构成现有技术。
发明内容
本发明针对背景技术中使用深度学习与无人机遥感影像结合的方法对草地退化等级进行评价的方法，以及使用Mask2Former进行草地退化评价，以草地退化指示草种-披针叶黄华的覆盖度作为草地退化的指标存在分割效果不明显的缺陷，提供一种基于改进Mask2Former的草地退化指示草种的分割方法，目的在于使用本发明替代草地退化评价往往采用野外调查和定点采样等人工方式，以降低时间成本和人工成本，以提高效率，并解决使用Mask2Former进行草地退化评价存在分割效果不明显的缺陷。
本发明采用的技术方案为：一种基于改进Mask2Former的草地退化指示草种的分割方法，包括以下步骤：
S1、使用无人机拍摄目标草场，得到披针叶黄华的视频影像；
S2、通过逐帧截取、图片裁剪的方式得到披针叶黄华图片；
S3、使用Labelme软件进行标注，得到披针叶黄华数据集；
S4、使用Swin Transoformer作为主干网络，使用改进Mask2Former分割网络对草地退化指示草种-披针叶黄华进行语意分割；
S5、以披针叶黄华的IoU和Acc作为评估指标。
进一步的，所述Mask2former分为Pixel-Decoder、Transformer Decoder和Segmentation Moudel三个部分，其中：所述Pixel-Decoder部分在使用现有的Backbone网络对图像进行特征提取后对图像进行上采样操作，并且将每一次的上采样的特征图送到Transformer Decoder部分；所述Transformer Decoder部分使用Masked Attention的Transformer Decoder块，并且接收Pixel Decoder的多层特征图，对Query Features进行特征提取；所述Segmentation Moudel部分经过MLP后对Transformer Decoder输出的Query进行分类，同时将Mask进行embedding与Pixel Decoder的输出结果进行点乘得到二进制掩码，与分类结果相结合得到最终分割结果。
进一步的，所述改进Mask2Former在于既将FFAM(Feature fusion alignmentmodule)模块应用在Mask2Former网络中Pixel Decoder部分与Transformer Decoder部分的连接处，使得Pixel Decoder模块与Transformer Decoder模块的横向连接中更加准确的融合不同层次的信息，以提升网络的分割能力；又为Mask2Former中的Query的初始化进行了修改，使用backbone的输出结果通过MLP的转换后以在网络中提取位置信息，并对query的初始化进行指导并添加了残差模块，增加网络对图像特征的定位能力。
进一步的，所述FFAM模块输入部分为：由Backbone网络提取的同层横向的特征图，以及Pixel Decoder中上一层的特征图；所述横向特征图首先经过一个1*1卷积层，改层的主要作用是修改通道数，保证横向特征图和纵向特征图通道数量一直，然后经过一个通道注意力层，通道注意力层是由FC、Relu和Sigmod组成，作用是针对不同的通道给予不同的权重，让模型可以有侧重的认识不同通道的特征；输出的结果和上采样两倍的UP feature一起输入到一个可变性卷积层中，改层可以解决在上采样过程中导致横向特征和纵向特征图之间的特征不对齐问题；经过一个残差操作后，再通过一个3*3卷积层得到最后的输出结果。
实施本发明的有益效果：本发明所述基于改进Mask2Former的草地退化指示草种的分割方法，既将FFAM(Feature fusion alignment module)模块应用在Mask2Former网络中Pixel Decoder部分与Transformer Decoder部分的连接处，使得Pixel Decoder模块与Transformer Decoder模块的横向连接中更加准确的融合不同层次的信息，进一步提升了网络的分割能力；又为Mask2Former中的Query的初始化进行了修改，使用backbone的输出结果通过MLP的转换后以在网络中提取位置信息，并对query的初始化进行指导并添加了残差模块，增加了网络对图像特征的定位能力；实施本发明后评估指标IoU和Acc均得到了提高，并解决了分割效果不明显的缺陷。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1：改进Mask2Former的网络结构图；
图2：FFAM模块结构图；
图3：披针叶黄华样例图1；
图4：披针叶黄华样例图2；
图5：披针叶黄华图与标注图；
图6：Mask2Former预测图与Mask-FAFormer预测图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例：一种基于改进Mask2Former的草地退化指示草种的分割方法，请参阅附图1、2所示，包括以下步骤：
S1、使用无人机拍摄目标草场，得到披针叶黄华的视频影像；
S2、通过逐帧截取、图片裁剪的方式得到披针叶黄华图片；
S3、使用Labelme软件进行标注，得到披针叶黄华数据集；
S4、使用Swin Transoformer作为主干网络，使用改进Mask2Former分割网络对草地退化指示草种-披针叶黄华进行语意分割；
S5、以披针叶黄华的IoU和Acc作为评估指标。
其中：
所述Mask2former主要分为Pixel-Decoder、Transformer Decoder和Segmentation Moudel三个部分，其中：所述Pixel-Decoder部分在使用现有的Backbone网络对图像进行特征提取后对图像进行上采样操作，并且将每一次的上采样的特征图送到Transformer Decoder部分；所述Transformer Decoder部分是使用了Masked Attention的Transformer Decoder块，并且接收了Pixel Decoder的多层特征图，对Query Features进行特征提取；所述Segmentation Moudel部分经过MLP后对Transformer Decoder输出的Query进行分类，同时将Mask进行embedding与Pixel Decoder的输出结果进行点乘得到二进制掩码，与分类结果相结合得到最终分割结果。
所述改进Mask2Former在于既将FFAM(Feature fusion alignment module)模块应用在Mask2Former网络中Pixel Decoder部分与Transformer Decoder部分的连接处，使得Pixel Decoder模块与Transformer Decoder模块的横向连接中更加准确的融合不同层次的信息，以提升网络的分割能力；又为Mask2Former中的Query的初始化进行了修改，使用backbone的输出结果通过MLP的转换后以在网络中提取位置信息，并对query的初始化进行指导并添加了残差模块，增加网络对图像特征的定位能力。
所述FFAM模块对Mask2Former进行改进，其输入部分为：由Backbone网络提取的同层横向的特征图，以及Pixel Decoder中上一层的特征图；所述横向特征图首先经过一个1*1卷积层，改层的主要作用是修改通道数，保证横向特征图和纵向特征图通道数量一直，然后经过一个通道注意力层，通道注意力层是由FC、Relu和Sigmod组成，作用是针对不同的通道给予不同的权重，让模型可以有侧重的认识不同通道的特征；输出的结果和上采样两倍的UP feature一起输入到一个可变性卷积层中，改层可以解决在上采样过程中导致横向特征和纵向特征图之间的特征不对齐问题；经过一个残差操作后，再通过一个3*3卷积层得到最后的输出结果。
通过本发明，其中：所述披针叶黄华数据集为自制的披针叶黄华数据集，拍摄于中国青海省海南藏族自治州贵南县、泽库县；即使用无人机拍摄的方式，得到披针叶黄华的视频影像，再通过逐帧截取，图片裁剪的方式得到披针叶黄华图片，使用Labelme软件进行标注，得到披针叶黄华数据集，该数据集一共951张图片，图像大小为512*512，其中训练集808张，验证集143张，训练集和验证集比例为5：1。图3和图4为披针叶黄华数据集样例图。
对比例：同样采用本发明实施例步骤S1-S5，区别在于其中步骤S4中，使用CNN网络和Trasnformer网络，其中CNN的网络使用ResNet101作为主干网络，分割头分别使用FCN、Upernet、PSPnet和Deeplabv3+进行分析，并得出表1。
表1.各个网络在披针叶黄华数据集的分割结果
| Backbone | Segment Head | Acc | IoU |
| ResNet-101 | FCN | 84.76％ | 73.08％ |
| ResNet-101 | pspnet | 85.63％ | 73.63％ |
| ResNet-101 | UperNet | 85.13％ | 74.05％ |
| ResNet-101 | DeeplabV3+ | 87.84％ | 74.15％ |
| Swin-S | MaskFormer | 85.67％ | 73.85％ |
| Swin-L | Mask2Former | 87.20％ | 75.01％ |
| Swin-L | 改进Mask2Former(Ours) | 88.21％ | 77.23％ |
由表1可见，Mask2Former模型在披针叶黄华数据集上的IoU为75.01％，而使用本发明改进Mask2Former的模型中，IoU达到了77.23％，提升了大约2％，Acc也从87.2％提升到了88.21％，提升了大约1％。
在本发明的使用效果中，其中：图5为披针叶黄华的图片以及手工标注的mask图，图6左边是使用Mask2Former网络对披针叶黄华图片进行预测的分割结果，右边为使用本发明改进Mask2Former网络对图片进行预测分割的结果。可以看到在MaskFormer网络中对图片的左边一小块植物的分割并不明显，而使用改进后的网络则可以准确的将左边的目标植物分割出来。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (4)
1.一种基于改进Mask2Former的草地退化指示草种的分割方法，其特征在于，包括以下步骤：
S1、使用无人机拍摄目标草场，得到披针叶黄华的视频影像；
S2、通过逐帧截取、图片裁剪的方式得到披针叶黄华图片；
S3、使用Labelme软件进行标注，得到披针叶黄华数据集；
S4、使用Swin Transoformer作为主干网络，使用改进Mask2Former分割网络对草地退化指示草种-披针叶黄华进行语意分割；
S5、以披针叶黄华的IoU和Acc作为评估指标。
2.根据权利要求1所述的一种基于改进Mask2Former的草地退化指示草种的分割方法，其特征在于，所述Mask2former分为Pixel-Decoder、Transformer Decoder和SegmentationMoudel三个部分，其中：所述Pixel-Decoder部分在使用现有的Backbone网络对图像进行特征提取后对图像进行上采样操作，并且将每一次的上采样的特征图送到TransformerDecoder部分；所述Transformer Decoder部分使用Masked Attention的TransformerDecoder块，并且接收Pixel Decoder的多层特征图，对Query Features进行特征提取；所述Segmentation Moudel部分经过MLP后对Transformer Decoder输出的Query进行分类，同时将Mask进行embedding与Pixel Decoder的输出结果进行点乘得到二进制掩码，与分类结果相结合得到最终分割结果。
3.根据权利要求2所述的一种基于改进Mask2Former的草地退化指示草种的分割方法，其特征在于，所述改进Mask2Former在于既将FFAM(Feature fusion alignment module)模块应用在Mask2Former网络中Pixel Decoder部分与Transformer Decoder部分的连接处，使得Pixel Decoder模块与Transformer Decoder模块的横向连接中更加准确的融合不同层次的信息，以提升网络的分割能力；又为Mask2Former中的Query的初始化进行了修改，使用backbone的输出结果通过MLP的转换后以在网络中提取位置信息，并对query的初始化进行指导并添加残差模块，以增加网络对图像特征的定位能力。
4.根据权利要求3所述的一种基于改进Mask2Former的草地退化指示草种的分割方法，其特征在于，所述FFAM模块输入部分为：由Backbone网络提取的同层横向的特征图，以及Pixel Decoder中上一层的特征图；所述横向特征图首先经过一个1*1卷积层，改层的主要作用是修改通道数，保证横向特征图和纵向特征图通道数量一直，然后经过一个通道注意力层，通道注意力层是由FC、Relu和Sigmod组成，作用是针对不同的通道给予不同的权重，让模型可以有侧重的认识不同通道的特征；输出的结果和上采样两倍的UP feature一起输入到一个可变性卷积层中，改层可以解决在上采样过程中导致横向特征和纵向特征图之间的特征不对齐问题；经过一个残差操作后，再通过一个3*3卷积层得到最后的输出结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311214166.9A CN117173600B (zh) | 2023-09-20 | 2023-09-20 | 基于改进Mask2Former的草地退化指示草种的分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311214166.9A CN117173600B (zh) | 2023-09-20 | 2023-09-20 | 基于改进Mask2Former的草地退化指示草种的分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117173600A true CN117173600A (zh) | 2023-12-05 |
| CN117173600B CN117173600B (zh) | 2024-08-23 |
Family
ID=88939442
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311214166.9A Active CN117173600B (zh) | 2023-09-20 | 2023-09-20 | 基于改进Mask2Former的草地退化指示草种的分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117173600B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108647568A (zh) * | 2018-03-30 | 2018-10-12 | 电子科技大学 | 基于全卷积神经网络的草地退化自动提取方法 |
| CN116245930A (zh) * | 2023-02-28 | 2023-06-09 | 北京科技大学顺德创新学院 | 一种基于注意力全景感知引导的深度补全方法及装置 |
| CN116612283A (zh) * | 2023-06-02 | 2023-08-18 | 湖南大学 | 一种基于大卷积核骨干网络的图像语义分割方法 |
| CN116701681A (zh) * | 2023-07-10 | 2023-09-05 | 天津大学 | 一种用于语义分割的多查询网络 |
-
2023
- 2023-09-20 CN CN202311214166.9A patent/CN117173600B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108647568A (zh) * | 2018-03-30 | 2018-10-12 | 电子科技大学 | 基于全卷积神经网络的草地退化自动提取方法 |
| CN116245930A (zh) * | 2023-02-28 | 2023-06-09 | 北京科技大学顺德创新学院 | 一种基于注意力全景感知引导的深度补全方法及装置 |
| CN116612283A (zh) * | 2023-06-02 | 2023-08-18 | 湖南大学 | 一种基于大卷积核骨干网络的图像语义分割方法 |
| CN116701681A (zh) * | 2023-07-10 | 2023-09-05 | 天津大学 | 一种用于语义分割的多查询网络 |
Non-Patent Citations (1)
| Title |
|---|
| ZHE XU ET AL.: "MMT: Mixed-Mask Transformer for Remote Sensing Image Semantic Segmentation", 《IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING》, 26 June 2023 (2023-06-26), pages 1 - 15 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117173600B (zh) | 2024-08-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112801230B (zh) | 一种配电线路无人机智能验收方法 | |
| CN110046599A (zh) | 基于深度融合神经网络行人重识别技术的智能监控方法 | |
| CN112633504B (zh) | 一种基于知识图谱的果树病虫害智慧云知识服务系统及方法 | |
| CN104504109A (zh) | 图片搜索方法和装置 | |
| CN103824053A (zh) | 一种人脸图像的性别标注方法及人脸性别检测方法 | |
| JP7502570B2 (ja) | 酒製品位置決め方法、酒製品情報管理方法及びその装置、デバイス及び記憶媒体 | |
| CN113470076A (zh) | 一种平养鸡舍黄羽鸡多目标跟踪方法 | |
| Zheng et al. | An efficient online citrus counting system for large‐scale unstructured orchards based on the unmanned aerial vehicle | |
| US12080063B2 (en) | Display method and display system for plant disease diagnosis information, and readable storage medium | |
| Lv et al. | YOLOV5-CBAM-C3TR: an optimized model based on transformer module and attention mechanism for apple leaf disease detection | |
| CN113537119B (zh) | 基于改进Yolov4-tiny的输电线路连接部件检测方法 | |
| CN112635060B (zh) | 一种生存力评估方法、装置、评估设备及存储介质 | |
| CN117173600B (zh) | 基于改进Mask2Former的草地退化指示草种的分割方法 | |
| Cai et al. | Early detection on wheat canopy powdery mildew with hyperspectral imaging. | |
| Wu et al. | RaP: Redundancy-aware video-language pre-training for text-video retrieval | |
| Shi et al. | Small object detection algorithm incorporating swin transformer for tea buds | |
| Jin et al. | Hydroponic lettuce defective leaves identification based on improved YOLOv5s | |
| CN117911939A (zh) | 基于图像分割的松材线虫病灾害实时监测预警方法与系统 | |
| Zeng et al. | MT-Det: A novel fast object detector of maize tassel from high-resolution imagery using single level feature | |
| Li et al. | Cattle face recognition under partial occlusion | |
| Zhang et al. | Improved YOLOv4 recognition algorithm for pitaya based on coordinate attention and combinational convolution | |
| CN103942528A (zh) | 蚜虫虫情调查方法及装置 | |
| CN114581758A (zh) | 基于EfficientNet网络与深度学习的植物叶部病害识别方法 | |
| US11157777B2 (en) | Quality control systems and methods for annotated content | |
| CN116152537A (zh) | 一种基于Yolov5s的15种林业害虫识别算法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |