CN117173600A - 基于改进Mask2Former的草地退化指示草种的分割方法 - Google Patents
基于改进Mask2Former的草地退化指示草种的分割方法 Download PDFInfo
- Publication number
- CN117173600A CN117173600A CN202311214166.9A CN202311214166A CN117173600A CN 117173600 A CN117173600 A CN 117173600A CN 202311214166 A CN202311214166 A CN 202311214166A CN 117173600 A CN117173600 A CN 117173600A
- Authority
- CN
- China
- Prior art keywords
- network
- decoder
- improved
- segmentation
- feature map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
Abstract
本发明涉及一种基于改进Mask2Former的草地退化指示草种的分割方法，包括无人机拍摄视频影像、逐帧截取、图片裁剪、使用Labelme软件进行标注、使用Swin Transoformer作为主干网络，使用改进Mask2Former分割网络对草地退化指示草种‑披针叶黄华进行语意分割，以披针叶黄华的IoU和Acc作为评估指标五个步骤。本发明通过FFAM模块既提升了网络的分割能力，又对query的初始化进行指导并添加了残差模块，增加了网络对图像特征的定位能力；最终达到了评估指标IoU和Acc的提高，解决了分割效果不明显的缺陷。
Description
技术领域
本发明涉及计算机图像处理技术领域，特别涉及一种基于改进Mask2Former的草地退化指示草种的分割方法。
背景技术
草地退化既不利于生态系统的平衡稳定，也会影响到当地经济的健康发展；对草地退化等级进行评估以采取相应的措施是工作重点，其中草地退化评价往往采用野外调查和定点采样等人工方式，存在时间成本和人工成本往往很高，以及效率低下的问题。随着计算机图像处理技术快速发展的今天，其中CN115965781A公开了一种基于双解码器的语义分割方法，涉及使用mask2former进行实例分割任务以达到图像分割的目的；因此，使用深度学习与无人机遥感影像结合的方法对草地退化等级进行评价，相较人工方式则更加高效、节约时间和人工成本。
披针叶黄华(Thermopsis lanceolata)是一种牧场常见的有毒植物，其种子和全草都会引起家畜中毒；发明人通过无人机对披针叶黄华进行拍摄，通过截帧、裁剪、标注得到披针叶黄华数据集，使用Mask2Former进行草地退化评价，以草地退化指示草种披针叶黄华的覆盖度作为草地退化的指标；但该方法仍存在分割效果不明显的缺陷，见图6左部。
需要说明的是，虽然上述提及了使用Mask2Former进行草地退化评价所涉及的技术方案，但其不构成现有技术。
发明内容
本发明针对背景技术中使用深度学习与无人机遥感影像结合的方法对草地退化等级进行评价的方法，以及使用Mask2Former进行草地退化评价，以草地退化指示草种-披针叶黄华的覆盖度作为草地退化的指标存在分割效果不明显的缺陷，提供一种基于改进Mask2Former的草地退化指示草种的分割方法，目的在于使用本发明替代草地退化评价往往采用野外调查和定点采样等人工方式，以降低时间成本和人工成本，以提高效率，并解决使用Mask2Former进行草地退化评价存在分割效果不明显的缺陷。
本发明采用的技术方案为：一种基于改进Mask2Former的草地退化指示草种的分割方法，包括以下步骤：
S1、使用无人机拍摄目标草场，得到披针叶黄华的视频影像；
S2、通过逐帧截取、图片裁剪的方式得到披针叶黄华图片；
S3、使用Labelme软件进行标注，得到披针叶黄华数据集；
S4、使用Swin Transoformer作为主干网络，使用改进Mask2Former分割网络对草地退化指示草种-披针叶黄华进行语意分割；
S5、以披针叶黄华的IoU和Acc作为评估指标。
进一步的，所述Mask2former分为Pixel-Decoder、Transformer Decoder和Segmentation Moudel三个部分，其中：所述Pixel-Decoder部分在使用现有的Backbone网络对图像进行特征提取后对图像进行上采样操作，并且将每一次的上采样的特征图送到Transformer Decoder部分；所述Transformer Decoder部分使用Masked Attention的Transformer Decoder块，并且接收Pixel Decoder的多层特征图，对Query Features进行特征提取；所述Segmentation Moudel部分经过MLP后对Transformer Decoder输出的Query进行分类，同时将Mask进行embedding与Pixel Decoder的输出结果进行点乘得到二进制掩码，与分类结果相结合得到最终分割结果。
进一步的，所述改进Mask2Former在于既将FFAM(Feature fusion alignmentmodule)模块应用在Mask2Former网络中Pixel Decoder部分与Transformer Decoder部分的连接处，使得Pixel Decoder模块与Transformer Decoder模块的横向连接中更加准确的融合不同层次的信息，以提升网络的分割能力；又为Mask2Former中的Query的初始化进行了修改，使用backbone的输出结果通过MLP的转换后以在网络中提取位置信息，并对query的初始化进行指导并添加了残差模块，增加网络对图像特征的定位能力。
进一步的，所述FFAM模块输入部分为：由Backbone网络提取的同层横向的特征图，以及Pixel Decoder中上一层的特征图；所述横向特征图首先经过一个1*1卷积层，改层的主要作用是修改通道数，保证横向特征图和纵向特征图通道数量一直，然后经过一个通道注意力层，通道注意力层是由FC、Relu和Sigmod组成，作用是针对不同的通道给予不同的权重，让模型可以有侧重的认识不同通道的特征；输出的结果和上采样两倍的UP feature一起输入到一个可变性卷积层中，改层可以解决在上采样过程中导致横向特征和纵向特征图之间的特征不对齐问题；经过一个残差操作后，再通过一个3*3卷积层得到最后的输出结果。
实施本发明的有益效果：本发明所述基于改进Mask2Former的草地退化指示草种的分割方法，既将FFAM(Feature fusion alignment module)模块应用在Mask2Former网络中Pixel Decoder部分与Transformer Decoder部分的连接处，使得Pixel Decoder模块与Transformer Decoder模块的横向连接中更加准确的融合不同层次的信息，进一步提升了网络的分割能力；又为Mask2Former中的Query的初始化进行了修改，使用backbone的输出结果通过MLP的转换后以在网络中提取位置信息，并对query的初始化进行指导并添加了残差模块，增加了网络对图像特征的定位能力；实施本发明后评估指标IoU和Acc均得到了提高，并解决了分割效果不明显的缺陷。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1：改进Mask2Former的网络结构图；
图2：FFAM模块结构图；
图3：披针叶黄华样例图1；
图4：披针叶黄华样例图2；
图5：披针叶黄华图与标注图；
图6：Mask2Former预测图与Mask-FAFormer预测图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例：一种基于改进Mask2Former的草地退化指示草种的分割方法，请参阅附图1、2所示，包括以下步骤：
S1、使用无人机拍摄目标草场，得到披针叶黄华的视频影像；
S2、通过逐帧截取、图片裁剪的方式得到披针叶黄华图片；
S3、使用Labelme软件进行标注，得到披针叶黄华数据集；
S4、使用Swin Transoformer作为主干网络，使用改进Mask2Former分割网络对草地退化指示草种-披针叶黄华进行语意分割；
S5、以披针叶黄华的IoU和Acc作为评估指标。
其中：
所述Mask2former主要分为Pixel-Decoder、Transformer Decoder和Segmentation Moudel三个部分，其中：所述Pixel-Decoder部分在使用现有的Backbone网络对图像进行特征提取后对图像进行上采样操作，并且将每一次的上采样的特征图送到Transformer Decoder部分；所述Transformer Decoder部分是使用了Masked Attention的Transformer Decoder块，并且接收了Pixel Decoder的多层特征图，对Query Features进行特征提取；所述Segmentation Moudel部分经过MLP后对Transformer Decoder输出的Query进行分类，同时将Mask进行embedding与Pixel Decoder的输出结果进行点乘得到二进制掩码，与分类结果相结合得到最终分割结果。
所述改进Mask2Former在于既将FFAM(Feature fusion alignment module)模块应用在Mask2Former网络中Pixel Decoder部分与Transformer Decoder部分的连接处，使得Pixel Decoder模块与Transformer Decoder模块的横向连接中更加准确的融合不同层次的信息，以提升网络的分割能力；又为Mask2Former中的Query的初始化进行了修改，使用backbone的输出结果通过MLP的转换后以在网络中提取位置信息，并对query的初始化进行指导并添加了残差模块，增加网络对图像特征的定位能力。
所述FFAM模块对Mask2Former进行改进，其输入部分为：由Backbone网络提取的同层横向的特征图，以及Pixel Decoder中上一层的特征图；所述横向特征图首先经过一个1*1卷积层，改层的主要作用是修改通道数，保证横向特征图和纵向特征图通道数量一直，然后经过一个通道注意力层，通道注意力层是由FC、Relu和Sigmod组成，作用是针对不同的通道给予不同的权重，让模型可以有侧重的认识不同通道的特征；输出的结果和上采样两倍的UP feature一起输入到一个可变性卷积层中，改层可以解决在上采样过程中导致横向特征和纵向特征图之间的特征不对齐问题；经过一个残差操作后，再通过一个3*3卷积层得到最后的输出结果。
通过本发明，其中：所述披针叶黄华数据集为自制的披针叶黄华数据集，拍摄于中国青海省海南藏族自治州贵南县、泽库县；即使用无人机拍摄的方式，得到披针叶黄华的视频影像，再通过逐帧截取，图片裁剪的方式得到披针叶黄华图片，使用Labelme软件进行标注，得到披针叶黄华数据集，该数据集一共951张图片，图像大小为512*512，其中训练集808张，验证集143张，训练集和验证集比例为5：1。图3和图4为披针叶黄华数据集样例图。
对比例：同样采用本发明实施例步骤S1-S5，区别在于其中步骤S4中，使用CNN网络和Trasnformer网络，其中CNN的网络使用ResNet101作为主干网络，分割头分别使用FCN、Upernet、PSPnet和Deeplabv3+进行分析，并得出表1。
表1.各个网络在披针叶黄华数据集的分割结果
| Backbone | Segment Head | Acc | IoU |
| ResNet-101 | FCN | 84.76％ | 73.08％ |
| ResNet-101 | pspnet | 85.63％ | 73.63％ |
| ResNet-101 | UperNet | 85.13％ | 74.05％ |
| ResNet-101 | DeeplabV3+ | 87.84％ | 74.15％ |
| Swin-S | MaskFormer | 85.67％ | 73.85％ |
| Swin-L | Mask2Former | 87.20％ | 75.01％ |
| Swin-L | 改进Mask2Former(Ours) | 88.21％ | 77.23％ |
由表1可见，Mask2Former模型在披针叶黄华数据集上的IoU为75.01％，而使用本发明改进Mask2Former的模型中，IoU达到了77.23％，提升了大约2％，Acc也从87.2％提升到了88.21％，提升了大约1％。
在本发明的使用效果中，其中：图5为披针叶黄华的图片以及手工标注的mask图，图6左边是使用Mask2Former网络对披针叶黄华图片进行预测的分割结果，右边为使用本发明改进Mask2Former网络对图片进行预测分割的结果。可以看到在MaskFormer网络中对图片的左边一小块植物的分割并不明显，而使用改进后的网络则可以准确的将左边的目标植物分割出来。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (4)
1.一种基于改进Mask2Former的草地退化指示草种的分割方法，其特征在于，包括以下步骤：
S1、使用无人机拍摄目标草场，得到披针叶黄华的视频影像；
S2、通过逐帧截取、图片裁剪的方式得到披针叶黄华图片；
S3、使用Labelme软件进行标注，得到披针叶黄华数据集；
S4、使用Swin Transoformer作为主干网络，使用改进Mask2Former分割网络对草地退化指示草种-披针叶黄华进行语意分割；
S5、以披针叶黄华的IoU和Acc作为评估指标。
2.根据权利要求1所述的一种基于改进Mask2Former的草地退化指示草种的分割方法，其特征在于，所述Mask2former分为Pixel-Decoder、Transformer Decoder和SegmentationMoudel三个部分，其中：所述Pixel-Decoder部分在使用现有的Backbone网络对图像进行特征提取后对图像进行上采样操作，并且将每一次的上采样的特征图送到TransformerDecoder部分；所述Transformer Decoder部分使用Masked Attention的TransformerDecoder块，并且接收Pixel Decoder的多层特征图，对Query Features进行特征提取；所述Segmentation Moudel部分经过MLP后对Transformer Decoder输出的Query进行分类，同时将Mask进行embedding与Pixel Decoder的输出结果进行点乘得到二进制掩码，与分类结果相结合得到最终分割结果。
3.根据权利要求2所述的一种基于改进Mask2Former的草地退化指示草种的分割方法，其特征在于，所述改进Mask2Former在于既将FFAM(Feature fusion alignment module)模块应用在Mask2Former网络中Pixel Decoder部分与Transformer Decoder部分的连接处，使得Pixel Decoder模块与Transformer Decoder模块的横向连接中更加准确的融合不同层次的信息，以提升网络的分割能力；又为Mask2Former中的Query的初始化进行了修改，使用backbone的输出结果通过MLP的转换后以在网络中提取位置信息，并对query的初始化进行指导并添加残差模块，以增加网络对图像特征的定位能力。
4.根据权利要求3所述的一种基于改进Mask2Former的草地退化指示草种的分割方法，其特征在于，所述FFAM模块输入部分为：由Backbone网络提取的同层横向的特征图，以及Pixel Decoder中上一层的特征图；所述横向特征图首先经过一个1*1卷积层，改层的主要作用是修改通道数，保证横向特征图和纵向特征图通道数量一直，然后经过一个通道注意力层，通道注意力层是由FC、Relu和Sigmod组成，作用是针对不同的通道给予不同的权重，让模型可以有侧重的认识不同通道的特征；输出的结果和上采样两倍的UP feature一起输入到一个可变性卷积层中，改层可以解决在上采样过程中导致横向特征和纵向特征图之间的特征不对齐问题；经过一个残差操作后，再通过一个3*3卷积层得到最后的输出结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311214166.9A CN117173600B (zh) | 2023-09-20 | 2023-09-20 | 基于改进Mask2Former的草地退化指示草种的分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311214166.9A CN117173600B (zh) | 2023-09-20 | 2023-09-20 | 基于改进Mask2Former的草地退化指示草种的分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117173600A true CN117173600A (zh) | 2023-12-05 |
| CN117173600B CN117173600B (zh) | 2024-08-23 |
Family
ID=88939442
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311214166.9A Active CN117173600B (zh) | 2023-09-20 | 2023-09-20 | 基于改进Mask2Former的草地退化指示草种的分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117173600B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108647568A (zh) * | 2018-03-30 | 2018-10-12 | 电子科技大学 | 基于全卷积神经网络的草地退化自动提取方法 |
| CN116245930A (zh) * | 2023-02-28 | 2023-06-09 | 北京科技大学顺德创新学院 | 一种基于注意力全景感知引导的深度补全方法及装置 |
| CN116612283A (zh) * | 2023-06-02 | 2023-08-18 | 湖南大学 | 一种基于大卷积核骨干网络的图像语义分割方法 |
| CN116701681A (zh) * | 2023-07-10 | 2023-09-05 | 天津大学 | 一种用于语义分割的多查询网络 |
-
2023
- 2023-09-20 CN CN202311214166.9A patent/CN117173600B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108647568A (zh) * | 2018-03-30 | 2018-10-12 | 电子科技大学 | 基于全卷积神经网络的草地退化自动提取方法 |
| CN116245930A (zh) * | 2023-02-28 | 2023-06-09 | 北京科技大学顺德创新学院 | 一种基于注意力全景感知引导的深度补全方法及装置 |
| CN116612283A (zh) * | 2023-06-02 | 2023-08-18 | 湖南大学 | 一种基于大卷积核骨干网络的图像语义分割方法 |
| CN116701681A (zh) * | 2023-07-10 | 2023-09-05 | 天津大学 | 一种用于语义分割的多查询网络 |
Non-Patent Citations (1)
| Title |
|---|
| ZHE XU ET AL.: "MMT: Mixed-Mask Transformer for Remote Sensing Image Semantic Segmentation", 《IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING》, 26 June 2023 (2023-06-26), pages 1 - 15 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117173600B (zh) | 2024-08-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20220343623A1 (en) | Blood smear full-view intelligent analysis method, and blood cell segmentation model and recognition model construction method | |
| CN107016681B (zh) | 基于全卷积网络的脑部mri肿瘤分割方法 | |
| CN110443173A (zh) | 一种基于帧间关系的视频实例分割方法及系统 | |
| CN112801230A (zh) | 一种配电线路无人机智能验收方法 | |
| Rong et al. | Pest Identification and Counting of Yellow Plate in Field Based on Improved Mask R‐CNN | |
| CN113657287B (zh) | 一种基于深度学习改进YOLOv3的目标检测方法 | |
| CN113888557A (zh) | 一种基于rgb-d特征融合的场景语义分割方法及系统 | |
| CN110865654A (zh) | 一种电网无人机巡检缺陷处理方法 | |
| CN111222453B (zh) | 基于密集连接和几何结构约束的遥感影像变化检测方法 | |
| CN114781514A (zh) | 一种融合注意力机制的漂浮物目标检测方法及系统 | |
| CN113128517A (zh) | 色调映射图像混合视觉特征提取模型建立及质量评价方法 | |
| CN113436198A (zh) | 一种协同图像超分辨率重建的遥感图像语义分割方法 | |
| CN116597326A (zh) | 一种基于改进YOLOv7算法的无人机航拍小目标检测方法 | |
| CN116757988A (zh) | 基于语义丰富和分割任务的红外与可见光图像融合方法 | |
| CN117173600A (zh) | 基于改进Mask2Former的草地退化指示草种的分割方法 | |
| CN115471745A (zh) | 用于植株识别的网络模型和装置、电子设备 | |
| CN112270370B (zh) | 一种车辆表观毁伤评估方法 | |
| CN110728683A (zh) | 一种基于密集连接的图像语义分割方法 | |
| CN116883863A (zh) | 一种基于DeeplabV3TC-SVM技术的遥感卫星影像疫木检测方法 | |
| CN116883841A (zh) | 一种基于多任务优化的萱草叶片病害检测方法及系统 | |
| CN117274585A (zh) | 基于变换器通道特征加强的农业多模态遥感图像语义分割方法 | |
| CN115497008A (zh) | 一种利用遥感矢量对耕地区域进行识别的方法 | |
| CN112699878B (zh) | 一种注视点指导的显著目标检测方法 | |
| CN116246282A (zh) | 一种基于改进的双注意力YOLOv7的场景藏文检测方法 | |
| CN114626952A (zh) | 一种新颖的鱼体形态学特征精准测量方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |