CN115205647A - 一种基于注意力机制与多尺度特征融合的植物图像分割方法 - Google Patents

一种基于注意力机制与多尺度特征融合的植物图像分割方法 Download PDF

Info

Publication number
CN115205647A
CN115205647A CN202210859319.4A CN202210859319A CN115205647A CN 115205647 A CN115205647 A CN 115205647A CN 202210859319 A CN202210859319 A CN 202210859319A CN 115205647 A CN115205647 A CN 115205647A
Authority
CN
China
Prior art keywords
shallow
deep
feature map
feature
channel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210859319.4A
Other languages
English (en)
Inventor
伍学惠
罗志伟
徐焕良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Agricultural University
Original Assignee
Nanjing Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Agricultural University filed Critical Nanjing Agricultural University
Priority to CN202210859319.4A priority Critical patent/CN115205647A/zh
Publication of CN115205647A publication Critical patent/CN115205647A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects

Abstract

本发明公开了一种基于注意力机制与多尺度特征融合的植物图像分割方法，包括划分训练集、验证集和测试集，并进行数据处理；提取多尺度特征，包括深层特征和浅层特征；调整深层特征的通道权重，并对深层特征图进行上采样处理，得到上采样引导后的深层特征图；调整浅层特征的空间分布权重，得到调整空间分布权重后的浅层特征图；将上采样引导后的深层特征图和调整空间分布权重后的浅层特征图进行多尺度融合，得到多尺度融合后的特征图；模型训练，得到训练好的植物图像分割模型；最后对模型进行验证和测试。本发明能够较好的解决复杂背景下植物图像分割识别问题，具有较强的鲁棒性和较高的准确率，可为植物表型提取，长势预测提供视觉支持。

Description

一种基于注意力机制与多尺度特征融合的植物图像分割方法
技术领域
本发明属于图像处理领域，涉及一种基于注意力机制与多尺度特征融合的植物图像分割方法。
背景技术
植物的表型是自身基因表达和环境因素共同作用的结果，是决定品质和形状的重要因素。因此，对于植物表型的检测和分析具有重要的意义。传统的植物表型研究主要依靠人工观察和测量，存在时间、人力成本高等缺点。近年来随着计算机技术的突飞猛进，基于计算机视觉的植物表型分析技术由于其对植物的非破坏性表型特征提取以及其快捷高效的特点，给研究人员带来极大的便利。为获得准确的植物表型数据，预测长势，对植物的分割与识别是工作的前提和基础。
发明内容
发明目的：本发明的目的是提供一种基于注意力机制与多尺度特征融合的植物图像分割方法。
技术方案：本发明的一种基于注意力机制与多尺度特征融合的植物图像分割方法，包括以下步骤：
S1、将植物图像数据集划分为训练集、验证集和测试集，并分别对训练集、验证集和测试集中的原图像采用标签进行标注，生成训练集、验证集和测试集的标签文件，标签包括植物和背景；将各标签文件转换为标注图，得到训练集、验证集和测试集的标注图；
S2、将训练集中的原图像输入到特征提取网络VGG16中，由VGG16中由浅至深的五个卷积层对原图像进行卷积以提取浅层特征和深层特征，并获得浅层特征图和深层特征图；
S3、基于通道注意力模块分别调整深层特征的通道权重：将步骤S2提取的各深层特征，先在空间维度上进行全局平均池化获得通道注意力向量vh；其次使用两个连续的全连接层捕获通道间的权重关系；最后将通道注意力向量vh映射到[0,1]区间，并将映射到[0,1]区间后的通道注意力向量vh与步骤S2中相对应的深层特征图在通道维度上相乘，调整相应深层特征图的通道权重，得到调整通道权重后的相应深层特征图，最终得到调整通道权重后的各深层特征图；
S4、将步骤S3输出的调整通道权重后的各深层特征图先分别进行上采样，使用线性插值函数扩大分辨率，随后使用上采样引导模块处理，得到上采样引导后的各深层特征图；
S5、基于空间注意力模块调整各浅层特征的空间分布权重：将步骤S2获得的各浅层特征图先在通道维度上分别进行最大池化和平均池化，得到最大池化后的各浅层特征图和平均池化后的各浅层特征图；其次将最大池化后的各浅层特征图和与其相对应的平均池化后的各浅层特征图拼接和卷积得到各二维注意力图，即得到各浅层特征的空间权重系数；最后将各浅层特征的空间权重系数分别映射到[0,1]区间，并将映射到[0,1]区间后的各空间权重系数与步骤S2中相应的浅层特征图相乘，调整相应的浅层特征图在空间纬度上各个部分的权重，得到调整空间分布权重后的相应的浅层特征图，最终得到调整空间分布权重后的各浅层特征图；
S6、多尺度特征融合：将步骤S4得到的上采样引导后的各深层特征图和步骤S5得到的调整空间分布权重后的各浅层特征图，使用concatenate函数在通道维度上拼接，得到拼接特征图，并将拼接特征图映射至[0,1]区间，得到多尺度特征融合后的特征图；
S7、使用步骤S6得到的多尺度特征融合后的特征图与训练集中的标注图计算交叉熵损失值，交叉熵损失值调用backward函数反向传播更新神经网络的各卷积层参数，反复迭代此过程直至交叉熵损失值趋于一稳定值，得到植物图像的分割模型，并保存模型；
S8、采用验证集中的原图像验证步骤S7得到的植物图像的分割模型，若模型不好，则重新进行模型训练；若模型是好的，则采用测试集中的原图像对植物图像的分割模型进行测试，得到分割后的植物二值图。
进一步的，步骤S1中使用labelme图像标注软件分别对训练集、验证集和测试集中的原图像进行人工手动标注，标签文件为json格式；使用labelme_json_to_dataset命令将json格式的标签文件转换为jpg格式的标注图。
进一步的，步骤S2中卷积层的卷积函数为Conv2d，第一层和第二层卷积层提取浅层特征，并分别输出卷积后的第一浅层特征图和第二浅层特征图，第三层、第四层和第五层卷积层提取深层特征，并分别输出卷积后的第一深层特征图、第二深层特征图和第三深层特征图；浅层特征和深层特征为不同尺度的特征。
进一步的，步骤S3中调整通道权重后的深层特征图的计算公式为：
Mc(Fl)＝F(vh)＝σ(fc2(δ(fc1(vh))))
其中，Mc(Fl)表示调整通道权重后的深层特征图，Fl表示深层特征图，σ表示Sigmoid函数，fc1和fc2分别表示两个全连接层，δ表示ReLU函数，vh表示通道注意力向量，F(vh)表示对通道注意力向量进行权重调整的函数。
进一步的，步骤S4中上采样引导模块具体为：将经过上采样的深层特征分别进行2倍，4倍和8倍的下采样，平均池化后再通过2倍，4倍和8倍的上采样还原回原尺寸，最后与经过上采样的深层特征相加求均值。
进一步的，步骤S5中调整空间分布权重后的浅层特征图计算公式为：
Ms(Fd)＝σ(f7×7([AvgPool(Fd)；MaxPool(Fd)]))
＝σ(f7×7([Favg；Fmax]))
其中，Ms(Fd)表示调整空间分布权重后的浅层特征图，Fd表示浅层特征图，σ表示Sigmoid函数，f7×7表示卷积核大小为7×7的卷积操作，Favg表示平均池化后的浅层特征图，Fmax表示最大池化后的浅层特征图。
进一步的，步骤S7中采用损失函数BCELoss()计算交叉熵损失值。
本发明的一种基于注意力机制与多尺度特征融合的植物图像分割系统，包括：
数据处理模块，用于将植物图像数据集划分为训练集、验证集和测试集，并分别对训练集、验证集和测试集中的原图像采用标签进行标注，生成训练集、验证集和测试集的标签文件，标签包括植物和背景；将各标签文件转换为标注图，得到训练集、验证集和测试集的标注图；
特征提取模块，用于提取原图像的浅层特征和深层特征，并输出浅层特征图和深层特征图；
深层特征图更新模块，用于调整深层特征的通道权重，并输出调整通道权重后的深层特征图；
浅层特征图更新模块，用于调整浅层特征的空间分布权重，并输出调整空间分布权重后的浅层特征图；
多尺度特征融合模块，用于将上采样引导后的深层特征图和调整空间分布权重后的浅层特征图，使用concatenate函数拼接，并将拼接特征图映射至[0,1]区间；
训练模块，用于将映射至[0,1]区间后的拼接特征图与训练集中的标签图像计算交叉熵损失值，交叉熵损失值调用backward函数反向传播更新神经网络的各卷积层参数，反复迭代此过程直至交叉熵损失值趋于一稳定值，得到植物图像的分割模型，并保存模型；
验证模块，用于采用验证集中的原图像验证保存后的模型；
测试模块，用于采用测试集中的原图像对验证后的模型进行测试，得到分割后的植物二值图。
本发明的一种装置设备，包括存储器和处理器，其中，存储器用于存储能够在处理器上运行的计算机程序；处理器用于在运行所述计算机程序时，执行上述一种基于注意力机制与多尺度特征融合的植物图像分割方法的步骤。
本发明的一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被至少一个处理器执行时实现上述一种基于注意力机制与多尺度特征融合的植物图像分割方法的步骤。
有益效果：与现有方法相比，本发明的技术效果为：(1)采用基于图像多尺度特征融合的思想，模型通过特征融合综合利用深浅层特征，发挥多尺度特征的优势，特征更加丰富，模型泛化程度更强；(2)引入了注意力机制，使用空间注意力模块和通道注意力模块优化深浅层特征信息，减弱了无用信息对模型的干扰，增强重要信息对模型的影响，从而使网络学习到更有效的植物图像特征，提高了分割精度；(3)考虑了上采样导致的精度下降，引入上采样引导模块缓解了上采样操作中线性插值造成的混叠效应，进一步提高精度。
附图说明
图1是本发明方法流程图；
图2是传统方法和本发明方法分割效果对比图，其中(a)为原始图像，(b)为采用K-means算法分割效果图，(c)为本发明方法分割效果图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。
本实施例以矮脚黄青菜为例，矮脚黄青菜原产于南京郊区的优良青菜品种，食用品质好，抗病性强。矮脚黄青菜的表型是自身基因表达和环境因素共同作用的结果，是决定品质和形状的重要因素。因此，对于矮脚黄表型的检测和分析具有重要的意义。
如图1所示，本发明的一种基于注意力机制与多尺度特征融合的植物图像分割方法，包括以下步骤：
S1、将植物图像数据集划分为训练集、验证集和测试集，并分别对训练集、验证集和测试集中的原图像采用标签进行标注，生成训练集、验证集和测试集的标签文件，标签包括植物和背景；将各标签文件转换为标注图，得到训练集、验证集和测试集的标注图；
本发明实施例中，矮脚黄青菜图像数据集为3360张温室大棚矮脚黄青菜图像。拍摄地点为南京市六合区江苏六合现代农业产业示范园矮脚黄青菜大棚。3360张矮脚黄青菜图像数据集划分为训练集，验证集和测试集，三个样本集中原图像数量分别为2688张，336张和336张，划分比例为8:1:1。使用labelme图像标注软件分别对三个样本集中的所有原图像进行人工手动标注，得到训练集、验证集和测试集的标签文件，标签共两类，分别是矮脚黄青菜和背景，标签文件为json格式；使用labelme_json_to_dataset命令将json格式的标签文件转换为jpg格式的标注图，得到训练集、验证集和测试集的标注图。
S2、将训练集中的原图像输入到特征提取网络VGG16中，由VGG16中由浅至深的五个卷积层对原图像进行卷积以提取浅层特征和深层特征，步骤S2中卷积层的卷积函数为Conv2d，第一层和第二层卷积层提取浅层特征，并分别输出第一第二层卷积层卷积后的第一浅层特征图和第二浅层特征图，第三层、第四层和第五层卷积层提取深层特征，并分别输出第三第四第五层卷积层卷积后的第一深层特征图、第二深层特征图和第三深层特征图；浅层特征和深层特征为不同尺度的特征，浅层图像细节丰富，但缺乏语义信息，深层图像则相反。
S3、基于通道注意力模块分别调整深层特征的通道权重，通道注意力模块对矮脚黄青菜图像不同通道的重要性进行建模，对矮脚黄青菜区域响应更高的通道赋予其更大的权重，增强有效的语义信息，对响应较低的通道赋予较小的权重，抑制无用信息。
具体为：输入VGG16中第三四五层卷积层输出的各深层特征，先在空间维度上进行全局平均池化(Average pooling)获得通道注意力向量vh，其次使用两个连续的全连接层(FC)捕获通道间的权重关系，最后利用sigmiod函数将得到的通道注意力向量vh映射到[0,1]区间，将映射到[0,1]区间后的通道注意力向量vh与步骤S2中相对应的深层特征图在通道维度上相乘，调整相应深层特征图的通道权重，得到调整通道权重后的相应深层特征图；公式为：
Mc(Fl)＝F(vh)＝σ(fc2(δ(fc1(vh))))
其中，Mc(Fl)表示调整通道权重后的深层特征图，Fl表示深层特征图，σ表示Sigmoid函数，fc1和fc2分别表示两个全连接层，δ表示ReLU函数，vh表示通道注意力向量，F(vh)表示对通道注意力向量进行权重调整的函数。
深层特征语义信息丰富采用通道注意力模块CA增强高响应通道的表达能力。
S4、深层特征分辨低需要上采样，上采样采用插值法会造成误差，为了降低误差，需要采用上采样引导模块进一步对上采样后的深层特征进行处理；具体为：将步骤S3输出的调整通道权重后的各深层特征图先进行上采样，使用线性插值函数扩大分辨率，随后使用上采样引导模块处理，降低误差，上采样引导模块具体为：将经过上采样的各深层特征分别进行2倍，4倍和8倍的下采样，平均池化后再通过2倍，4倍和8倍的上采样还原回原尺寸，最后与经过上采样的深层特征相加求均值。
S5、基于空间注意力模块调整各浅层特征的空间分布权重，空间注意力模块在空间尺度上对图像进行处理，聚焦于图像中矮脚黄青菜的空间位置信息，赋予其较大的权重，而对于背景等非重要信息赋予其较小的权重以抑制。
具体为：输入VGG16中第一层和第二层输出的各浅层特征图，首先在通道维度上分别进行最大池化(Max pooling)和平均池化(Average pooling)得到最大池化后的各浅层特征图和平均池化后的各浅层特征图，同时使用两种池化方式可以提取到更丰富的特征，增强网络表达能力；其次将最大池化后的各浅层特征图和与其相对应的平均池化后的各浅层特征图经过拼接(Concat)和7×7卷积得到各二维注意力图即空间权重系数，最后利用sigmoid运算，将各空间权重系数分别映射到[0,1]区间，并将映射到[0,1]区间后的各空间权重系数与步骤S2中相应的浅层特征图相乘，调整相应的浅层特征图在空间纬度上各个部分的权重，得到调整空间分布权重后的相应的浅层特征图；公式为：
Ms(Fd)＝σ(f7×7([AvgPool(Fd)；MaxPool(Fd)]))
＝σ(f7×7([Favg；Fmax]))
其中，Ms(Fd)表示调整空间分布权重后的浅层特征图，Fd表示浅层特征图，σ表示Sigmoid函数，f7×7表示卷积核大小为7×7的卷积操作，Favg表示平均池化后的浅层特征图，Fmax表示最大池化后的浅层特征图。
浅层特征包含较多纹理细节，采用空间注意力模块SA捕获更重要的空间信息。
S6、多尺度特征融合，深度网络中浅层特征分辨率更高，图像纹理细节信息更多，但是由于经过的卷积少，从而语义信息更少而噪声较多；而深层特征则包含更丰富的语义信息和更少的噪声，深层特征中物体的轮廓更加明显，但是对于图像细节的感知能力较差，分辨率较低。因此，利用特征融合的方法，将深层特征引导浅层特征更好定位显著物体的位置和轮廓，浅层特征则提供位置细节信息，可以有效改善神经网络性能。具体的：
将步骤S4得到的上采样引导后的各深层特征图和步骤S5得到的调整空间分布权重后的各浅层特征图，使用concatenate函数在通道维度上拼接，得到拼接特征图，使用sigmoid激活函数将拼接特征图映射至[0,1]区间，得到多尺度特征融合后的特征图。
S7、使用步骤S6输出的多尺度特征融合后的特征图与训练集中的标注图计算交叉熵损失，损失函数为BCELoss()，交叉熵损失值调用backward函数反向传播更新神经网络的各卷积层参数，反复迭代此过程直至交叉熵损失值趋于一稳定值，得到植物图像的分割模型，并保存模型。
S8、采用验证集中的原图像验证步骤S7得到的植物图像的分割模型，若模型不好，则重新进行模型训练；若模型是好的，则加载验证后的植物图像的分割模型，输入测试集中的青菜原图像，得到分割后的青菜二值图。
本发明的一种基于注意力机制与多尺度特征融合的植物图像分割系统，包括：
数据处理模块，用于将植物图像数据集划分为训练集、验证集和测试集，并分别对训练集、验证集和测试集中的原图像采用标签进行标注，生成训练集、验证集和测试集的标签文件，标签包括植物和背景；将各标签文件转换为标注图，得到训练集、验证集和测试集的标注图；
特征提取模块，用于提取原图像的浅层特征和深层特征，并输出浅层特征图和深层特征图；
深层特征图更新模块，用于调整深层特征的通道权重，并输出调整通道权重后的深层特征图；
浅层特征图更新模块，用于调整浅层特征的空间分布权重，并输出调整空间分布权重后的浅层特征图；
多尺度特征融合模块，用于将上采样引导后的深层特征图和调整空间分布权重后的浅层特征图，使用concatenate函数拼接，并将拼接特征图映射至[0,1]区间；
训练模块，用于将映射至[0,1]区间后的拼接特征图与训练集中的标签图像计算交叉熵损失值，交叉熵损失值调用backward函数反向传播更新神经网络的各卷积层参数，反复迭代此过程直至交叉熵损失值趋于一稳定值，得到植物图像的分割模型，并保存模型；
验证模块，用于采用验证集中的原图像验证保存后的模型；
测试模块，用于采用测试集中的原图像对验证后的模型进行测试，得到分割后的植物二值图。
本发明的一种装置设备，包括存储器和处理器，其中，存储器用于存储能够在处理器上运行的计算机程序；处理器用于在运行所述计算机程序时，执行如上述一种基于注意力机制与多尺度特征融合的植物图像分割方法的步骤，并能达到上述方法一致的技术效果。
本发明的一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被至少一个处理器执行时实现如上述一种基于注意力机制与多尺度特征融合的植物图像分割方法的步骤，并能达到上述方法一致的技术效果。
本发明基于注意力机制与多尺度特征融合的植物图像分割算法的应用实验中，对大量实际场景中的青菜图像进行了测试。图2是传统方法和本发明方法分割效果对比图，传统方法采用K-means算法对青菜图像进行分割，与本发明的分割结果进行对比，从图2中(a)至(c)可以看出传统方法分割精度低，无法准确识别矮脚黄青菜区域和背景区域，而本发明的分割精度高，分割后边界清晰，分割效果极佳。
本发明方法能够将早识别矮脚黄像素并实现分割，在预训练的VGG16网络基础上，分别使用通道注意力模块和空间注意力模块调整深层特征和浅层特征后融合多尺度特征，引入上采样引导模块减弱融合前上采样造成的特征“混叠效应”，在标签图像监督下完成植物图像的分割识别工作。该方法能够较好的解决复杂背景下植物图像分割识别问题，具有较强的鲁棒性和较高的准确率，可为植物表型提取，长势预测提供视觉支持。

Claims (10)

1.一种基于注意力机制与多尺度特征融合的植物图像分割方法，其特征在于，包括以下步骤：
S1、将植物图像数据集划分为训练集、验证集和测试集，并分别对训练集、验证集和测试集中的原图像采用标签进行标注，生成训练集、验证集和测试集的标签文件，标签包括植物和背景；将各标签文件转换为标注图，得到训练集、验证集和测试集的标注图；
S2、将训练集中的原图像输入到特征提取网络VGG16中，由VGG16中由浅至深的五个卷积层对原图像进行卷积以提取浅层特征和深层特征，并获得浅层特征图和深层特征图；
S3、基于通道注意力模块分别调整深层特征的通道权重：将步骤S2提取的各深层特征，先在空间维度上进行全局平均池化获得通道注意力向量vh；其次使用两个连续的全连接层捕获通道间的权重关系；最后将通道注意力向量vh映射到[0,1]区间，并将映射到[0,1]区间后的通道注意力向量vh与步骤S2中相对应的深层特征图在通道维度上相乘，调整相应深层特征图的通道权重，得到调整通道权重后的相应深层特征图，最终得到调整通道权重后的各深层特征图；
S4、将步骤S3输出的调整通道权重后的各深层特征图先分别进行上采样，使用线性插值函数扩大分辨率，随后使用上采样引导模块处理，得到上采样引导后的各深层特征图；
S5、基于空间注意力模块调整各浅层特征的空间分布权重：将步骤S2获得的各浅层特征图先在通道维度上分别进行最大池化和平均池化，得到最大池化后的各浅层特征图和平均池化后的各浅层特征图；其次将最大池化后的各浅层特征图和与其相对应的平均池化后的各浅层特征图拼接和卷积得到各二维注意力图，即得到各浅层特征的空间权重系数；最后将各浅层特征的空间权重系数分别映射到[0,1]区间，并将映射到[0,1]区间后的各空间权重系数与步骤S2中相应的浅层特征图相乘，调整相应的浅层特征图在空间纬度上各个部分的权重，得到调整空间分布权重后的相应的浅层特征图，最终得到调整空间分布权重后的各浅层特征图；
S6、多尺度特征融合：将步骤S4得到的上采样引导后的各深层特征图和步骤S5得到的调整空间分布权重后的各浅层特征图，使用concatenate函数在通道维度上拼接，得到拼接特征图，并将拼接特征图映射至[0,1]区间，得到多尺度特征融合后的特征图；
S7、使用步骤S6得到的多尺度特征融合后的特征图与训练集中的标注图计算交叉熵损失值，交叉熵损失值调用backward函数反向传播更新神经网络的各卷积层参数，反复迭代此过程直至交叉熵损失值趋于一稳定值，得到植物图像的分割模型，并保存模型；
S8、采用验证集中的原图像验证步骤S7得到的植物图像的分割模型，若模型不好，则重新进行模型训练；若模型是好的，则采用测试集中的原图像对植物图像的分割模型进行测试，得到分割后的植物二值图。
2.根据权利要求1所述的一种基于注意力机制与多尺度特征融合的植物图像分割方法，其特征在于，步骤S1中使用labelme图像标注软件分别对训练集、验证集和测试集中的原图像进行人工手动标注，标签文件为json格式；使用labelme_json_to_dataset命令将json格式的标签文件转换为jpg格式的标注图。
3.根据权利要求1所述的一种基于注意力机制与多尺度特征融合的植物图像分割方法，其特征在于，步骤S2中卷积层的卷积函数为Conv2d，第一层和第二层卷积层提取浅层特征，并分别输出卷积后的第一浅层特征图和第二浅层特征图，第三层、第四层和第五层卷积层提取深层特征，并分别输出卷积后的第一深层特征图、第二深层特征图和第三深层特征图；浅层特征和深层特征为不同尺度的特征。
4.根据权利要求1所述的一种基于注意力机制与多尺度特征融合的植物图像分割方法，其特征在于，步骤S3中调整通道权重后的深层特征图的计算公式为：
Mc(Fl)＝F(vh)＝σ(fc2(δ(fc1(vh))))
其中，Mc(Fl)表示调整通道权重后的深层特征图，Fl表示深层特征图，σ表示Sigmoid函数，fc1和fc2分别表示两个全连接层，δ表示ReLU函数，vh表示通道注意力向量，F(vh)表示对通道注意力向量进行权重调整的函数。
5.根据权利要求1所述的一种基于注意力机制与多尺度特征融合的植物图像分割方法，其特征在于，步骤S4中上采样引导模块具体为：将经过上采样的深层特征分别进行2倍，4倍和8倍的下采样，平均池化后再通过2倍，4倍和8倍的上采样还原回原尺寸，最后与经过上采样的深层特征相加求均值。
6.根据权利要求1所述的一种基于注意力机制与多尺度特征融合的植物图像分割方法，其特征在于，步骤S5中调整空间分布权重后的浅层特征图计算公式为：
Ms(Fd)＝σ(f7×7([AvgPool(Fd)；MaxPool(Fd)]))
＝σ(f7×7([Favg；Fmax]))
其中，Ms(Fd)表示调整空间分布权重后的浅层特征图，Fd表示浅层特征图，σ表示Sigmoid函数，f7×7表示卷积核大小为7×7的卷积操作，Favg表示平均池化后的浅层特征图，Fmax表示最大池化后的浅层特征图。
7.根据权利要求1所述的一种基于注意力机制与多尺度特征融合的植物图像分割方法，其特征在于，步骤S7中采用损失函数BCELoss()计算交叉熵损失值。
8.一种基于注意力机制与多尺度特征融合的植物图像分割系统，其特征在于，包括：
数据处理模块，用于将植物图像数据集划分为训练集、验证集和测试集，并分别对训练集、验证集和测试集中的原图像采用标签进行标注，生成训练集、验证集和测试集的标签文件，标签包括植物和背景；将各标签文件转换为标注图，得到训练集、验证集和测试集的标注图；
特征提取模块，用于提取原图像的浅层特征和深层特征，并输出浅层特征图和深层特征图；
深层特征图更新模块，用于调整深层特征的通道权重，并输出调整通道权重后的深层特征图；
浅层特征图更新模块，用于调整浅层特征的空间分布权重，并输出调整空间分布权重后的浅层特征图；
多尺度特征融合模块，用于将上采样引导后的深层特征图和调整空间分布权重后的浅层特征图，使用concatenate函数拼接，并将拼接特征图映射至[0,1]区间；
训练模块，用于将映射至[0,1]区间后的拼接特征图与训练集中的标签图像计算交叉熵损失值，交叉熵损失值调用backward函数反向传播更新神经网络的各卷积层参数，反复迭代此过程直至交叉熵损失值趋于一稳定值，得到植物图像的分割模型，并保存模型；
验证模块，用于采用验证集中的原图像验证保存后的模型；
测试模块，用于采用测试集中的原图像对验证后的模型进行测试，得到分割后的植物二值图。
9.一种装置设备，其特征在于，包括存储器和处理器，其中：
存储器，用于存储能够在处理器上运行的计算机程序；
处理器，用于在运行所述计算机程序时，执行如权利要求1-7任一项所述一种基于注意力机制与多尺度特征融合的植物图像分割方法的步骤。
10.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被至少一个处理器执行时实现如权利要求1-7任一项所述一种基于注意力机制与多尺度特征融合的植物图像分割方法的步骤。
CN202210859319.4A 2022-07-21 2022-07-21 一种基于注意力机制与多尺度特征融合的植物图像分割方法 Pending CN115205647A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210859319.4A CN115205647A (zh) 2022-07-21 2022-07-21 一种基于注意力机制与多尺度特征融合的植物图像分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210859319.4A CN115205647A (zh) 2022-07-21 2022-07-21 一种基于注意力机制与多尺度特征融合的植物图像分割方法

Publications (1)

Publication Number Publication Date
CN115205647A true CN115205647A (zh) 2022-10-18

Family

ID=83583472

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210859319.4A Pending CN115205647A (zh) 2022-07-21 2022-07-21 一种基于注意力机制与多尺度特征融合的植物图像分割方法

Country Status (1)

Country Link
CN (1) CN115205647A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116311086A (zh) * 2023-05-23 2023-06-23 苏州浪潮智能科技有限公司 植物监测方法、植物监测模型的训练方法、装置及设备
CN117635478A (zh) * 2024-01-23 2024-03-01 中国科学技术大学 一种基于空间通道注意力的低光照图像增强方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116311086A (zh) * 2023-05-23 2023-06-23 苏州浪潮智能科技有限公司 植物监测方法、植物监测模型的训练方法、装置及设备
CN116311086B (zh) * 2023-05-23 2023-08-22 苏州浪潮智能科技有限公司 植物监测方法、植物监测模型的训练方法、装置及设备
CN117635478A (zh) * 2024-01-23 2024-03-01 中国科学技术大学 一种基于空间通道注意力的低光照图像增强方法

Similar Documents

Publication Publication Date Title
CN110211045B (zh) 基于srgan网络的超分辨率人脸图像重建方法
CN110189255B (zh) 基于两级检测的人脸检测方法
CN115205647A (zh) 一种基于注意力机制与多尺度特征融合的植物图像分割方法
CN112364931B (zh) 一种基于元特征和权重调整的少样本目标检测方法及网络系统
CN111340046A (zh) 基于特征金字塔网络和通道注意力的视觉显著性检测方法
CN107784288A (zh) 一种基于深度神经网络的迭代定位式人脸检测方法
CN110348531B (zh) 具有分辨率适应性的深度卷积神经网络构建方法及应用
CN110909615B (zh) 基于多尺度输入混合感知神经网络的目标检测方法
CN112149590A (zh) 一种手部关键点检测方法
CN112258537B (zh) 一种基于卷积神经网络的监督暗视觉图像边缘检测方法
CN112991364A (zh) 基于卷积神经网络跨模态融合的道路场景语义分割方法
CN111539456B (zh) 一种目标识别方法及设备
CN116994140A (zh) 基于遥感影像的耕地提取方法、装置、设备和介质
CN112149662A (zh) 一种基于扩张卷积块的多模态融合显著性检测方法
Fan et al. A novel sonar target detection and classification algorithm
CN114998756A (zh) 一种基于yolov5的遥感图像检测方法、装置及存储介质
CN113313077A (zh) 基于多策略和交叉特征融合的显著物体检测方法
CN116563285B (zh) 一种基于全神经网络的病灶特征识别与分割方法及系统
CN116310850B (zh) 基于改进型RetinaNet的遥感图像目标检测方法
CN110659724B (zh) 基于目标尺度的目标检测深度卷积神经网络构建方法
CN116665009A (zh) 一种基于多尺度ssd网络的管道漏磁图像检测方法
CN115953371A (zh) 一种绝缘子缺陷检测方法、装置、设备和存储介质
CN115601357A (zh) 一种基于小样本的冲压件表面缺陷检测方法
CN115375925A (zh) 一种基于相位信息和深度学习的水下声呐图像匹配算法
CN115100402A (zh) 小样本分割模型、小目标检测方法、系统、介质及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination