CN116342882A - 一种棉花根系图像自动分割方法、系统及设备 - Google Patents

一种棉花根系图像自动分割方法、系统及设备 Download PDF

Info

Publication number
CN116342882A
CN116342882A CN202310310220.3A CN202310310220A CN116342882A CN 116342882 A CN116342882 A CN 116342882A CN 202310310220 A CN202310310220 A CN 202310310220A CN 116342882 A CN116342882 A CN 116342882A
Authority
CN
China
Prior art keywords
root system
cotton root
network
system image
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310310220.3A
Other languages
English (en)
Inventor
吕新
黄毓贤
高攀
闫靖昆
张远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shihezi University
Original Assignee
Shihezi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shihezi University filed Critical Shihezi University
Priority to CN202310310220.3A priority Critical patent/CN116342882A/zh
Publication of CN116342882A publication Critical patent/CN116342882A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/52—Scale-space analysis, e.g. wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种棉花根系图像自动分割方法、系统及设备。该方法包括：获取自然条件下的棉花根系图像，并标注棉花根系图像中的根系；对标注后的棉花根系图像进行数据增强处理，生成增强后的棉花根系图像集合；将增强后的棉花根系图像集合划分为训练集、验证集以及测试集；根据训练集训练改进后的目标上下文表征网络；改进后的目标上下文表征网络是在骨干网络输出的像素特征后加入全局注意力机制模块构建的；将待检测棉花根系图像输入至训练好的改进后的目标上下文表征网络中，对待检测棉花根系图像的根系进行分割，生成根系分割结果。本发明能够实现自然环境下棉花根系的自动精准分割。

Description

一种棉花根系图像自动分割方法、系统及设备
技术领域
本发明涉及根系图像自动分割领域，特别是涉及一种棉花根系图像自动分割方法、系统及设备。
背景技术
根系是植物的营养器官，通常位于地表下面，负责吸收土壤里面的水分及溶解其中的无机盐，并且具有支持、繁殖、贮存合成有机物质的作用。因此，根系对植物的生长具有重要的促进作用，根系研究是植物生长状态研究的重要基础。在根系研究中，根系表型参数是根系长势一项重要的衡量指标。传统上，往往采用人工分析微根管图像获取根系表型参数，但这种方法将会耗费巨大的人力和时间成本，而利用图像处理技术自动分析是一个理想的解决方案，在这过程中，植物根系图像分割就成为了一项关键工作。
现在许多的根系分割研究者仍然使用DeepLabv3+及以前的语义分割模型。作为近年来提出的模型，OCRNet以每个像素点所属的目标区域作为提取上下文信息的区域，这是一种比DeepLabv3+更好的获取每个像素点上下文信息的方法。此外，原位图像的背景是真实的土壤环境，土壤中存在许多干扰自动根系分割的噪声，这些噪声会影响自动根系分割的准确性。
发明内容
本发明的目的是提供一种棉花根系图像自动分割方法、系统及设备，以解决现有的根系分割方法的准确性低的问题。
为实现上述目的，本发明提供了如下方案：
一种棉花根系图像自动分割方法，包括：
获取自然条件下的棉花根系图像，并标注所述棉花根系图像中的根系；
对标注后的棉花根系图像进行数据增强处理，生成增强后的棉花根系图像集合；
将所述增强后的棉花根系图像集合划分为训练集、验证集以及测试集；
根据所述训练集训练改进后的目标上下文表征网络；所述改进后的目标上下文表征网络是在骨干网络输出的像素特征后加入全局注意力机制模块构建的；所述像素特征为棉花根系特征；
将待检测棉花根系图像输入至训练好的改进后的目标上下文表征网络中，对所述待检测棉花根系图像的根系进行分割，生成所述待检测棉花根系图像的根系分割结果。
可选的，所述骨干网络为高分辨率网络，所述高分辨率网络具体包括：四个阶段；每个阶段的末尾通过下采样方式降低特征图的分辨率，形成平行的低分辨率子网络；
第一阶段包括相同的4个残差单元以及一个卷积层；所述第一阶段末尾的卷积层用于降低所述标注后的棉花根系图像的特征图的通道数；
第二阶段包括一个交换模块；所述交换模块包括4个残差单元以及跨分辨率交换单元；所述交换模块用于多尺度融合；
第三阶段包括4个交换模块；
第四阶段包括3个交换模块。
可选的，根据所述训练集训练改进后的目标上下文表征网络，之前还包括：
对所述改进后的目标上下文表征网络进行网络训练的超参数设置；所述超参数设置包括设置随机裁剪管道以及利用交叉熵损失公式计算损失，并将背景的损失权重设置为0.4444，将根系的的损失权重设置为1；所述随机裁剪管道用于所述训练集中的增强后的棉花根系图像输入至所述改进后的目标上下文表征网络之前，对所述增强后的棉花根系图像进行随机裁剪。
可选的，交叉熵损失公式Loss为：
Figure BDA0004149308550000031
其中，N为像素的个数，yi为像素i的标签，pi为像素i被预测为正类的概率值。
可选的，根据所述训练集训练改进后的目标上下文表征网络，具体包括：
将所述训练集中的增强后的棉花根系图像输入至所述改进后的目标上下文表征网络中的骨干网络，输出像素特征，并将所述像素特征分别输入至所述改进后的目标上下文表征网络中的全局注意力机制模块以及所述改进后的目标上下文表征网络中的目标区域生成器；
利用所述全局注意力机制模块对所述像素特征进行优化，生成优化后的像素特征；
利用所述目标区域生成器根据所述像素特征生成粗糙的根系分割结果；所述粗糙的根系分割结果为软目标区域；
根据所述优化后的像素特征以及所述软目标区域生成目标区域特征；
根据所述目标区域特征以及所述优化后的像素特征生成像素-区域关系；
根据所述像素-区域关系以及所述目标区域特征生成目标上下文特征；
将所述目标上下文特征以及所述优化后的像素特征进行拼接生成增强特征；所述增强特征为精细的根系分割结果。
可选的，将待检测棉花根系图像输入至训练好的改进后的目标上下文表征网络中，对所述待检测棉花根系图像的根系进行分割，生成所述待检测棉花根系图像的根系分割结果，之后还包括：
采用交并比以及Dice相似系数作为评价指标评价所述改进后的目标上下文表征网络的根系分割结果的分割效果。
一种棉花根系图像自动分割系统，包括：
标注模块，用于获取自然条件下的棉花根系图像，并标注所述棉花根系图像中的根系；
增强处理模块，用于对标注后的棉花根系图像进行数据增强处理，生成增强后的棉花根系图像集合；
划分模块，用于将所述增强后的棉花根系图像集合划分为训练集、验证集以及测试集；
改进后的目标上下文表征网络训练模块，用于根据所述训练集训练改进后的目标上下文表征网络；所述改进后的目标上下文表征网络是在骨干网络输出的像素特征后加入全局注意力机制模块构建的；所述像素特征为棉花根系特征；
分割模块，用于将待检测棉花根系图像输入至训练好的改进后的目标上下文表征网络中，对所述待检测棉花根系图像的根系进行分割，生成所述待检测棉花根系图像的根系分割结果。
可选的，改进后的目标上下文表征网络训练模块，具体包括：
输入单元，用于将所述训练集中的增强后的棉花根系图像输入至所述改进后的目标上下文表征网络中的骨干网络；
所述骨干网络，用于输出像素特征，并将所述像素特征分别输入至所述改进后的目标上下文表征网络中的全局注意力机制模块以及所述改进后的目标上下文表征网络中的目标区域生成器；
所述全局注意力机制模块，用于对所述像素特征进行优化，生成优化后的像素特征；
所述目标区域生成器，用于根据所述像素特征生成粗糙的根系分割结果；所述粗糙的根系分割结果为软目标区域；
目标区域特征生成单元，用于根据所述优化后的像素特征以及所述软目标区域生成目标区域特征；
像素-区域关系生成单元，用于根据所述目标区域特征以及所述优化后的像素特征生成像素-区域关系；
目标上下文特征生成单元，用于根据所述像素-区域关系以及所述目标区域特征生成目标上下文特征；
增强特征生成单元，用于将所述目标上下文特征以及所述优化后的像素特征进行拼接生成增强特征；所述增强特征为精细的根系分割结果。
一种电子设备，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行上述所述的棉花根系图像自动分割方法。
一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现上述所述的棉花根系图像自动分割方法。
根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明提供了一种棉花根系图像自动分割方法、系统及设备，选择高分辨率网络作为目标上下文表征网络(Object-Contextual Representations Network，OCRNet)的骨干网络，并在所述骨干网络输出的像素特征后加入全局注意力机制模块构建改进后的目标上下文表征网，由于全局注意力机制(GlobalAttention Mechanism，GAM)是一种关注特征图的宽度、高度和通道数三个维度相互作用的注意力机制，能够有效地减少信息的丢失和放大全局维度交互的特征；因此，本发明在OCRNet模型中加入GAM模块能够增强模型对根系目标的关注，提高模型对根系与背景的区分能力，通过GAM模块增强骨干网络所提取的像素特征，从而提升网络模型对根系目标的关注度，实现自然环境下棉花根系的自动精准分割。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明所提供的棉花根系图像自动分割方法流程图；
图2为本发明所提供的HRNetV2网络结构图。
图3为本发明所提供的改进的OCRNet的OCR模块图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种棉花根系图像自动分割方法、系统及设备，能够实现自然环境下棉花根系的自动精准分割。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
实施例一
如图1所示，本发明提供了一种棉花根系图像自动分割方法，包括：
步骤101：获取自然条件下的棉花根系图像，并标注所述棉花根系图像中的根系。
在实际应用中，利用获取微根管获取自然条件下高分辨率棉花根系图像。
步骤102：对标注后的棉花根系图像进行数据增强处理，生成增强后的棉花根系图像集合。
在实际应用中，对已获取的自然条件下高分辨率棉花根系图像进行标注，同时，采用提高亮度、减少亮度、等比放大、等比缩小和添加椒盐噪音这五种方式进行数据增强，以扩充数据集的规模。
步骤103：将所述增强后的棉花根系图像集合划分为训练集、验证集以及测试集。
在实际应用中，对数据集按照6：2：2的比例划分为训练集、验证集和测试集。
步骤104：根据所述训练集训练改进后的目标上下文表征网络；所述改进后的目标上下文表征网络是在骨干网络输出的像素特征后加入全局注意力机制模块构建的。
在实际应用中，步骤104具体包括：将所述训练集中的增强后的棉花根系图像输入至所述改进后的目标上下文表征网络中的骨干网络，输出像素特征，并将所述像素特征分别输入至所述改进后的目标上下文表征网络中的全局注意力机制模块以及所述改进后的目标上下文表征网络中的目标区域生成器；利用所述全局注意力机制模块对所述像素特征进行优化，生成优化后的像素特征；利用所述目标区域生成器根据所述像素特征生成粗糙的根系分割结果；所述粗糙的根系分割结果为软目标区域；根据所述优化后的像素特征以及所述软目标区域生成目标区域特征；根据所述目标区域特征以及所述优化后的像素特征生成像素-区域关系；根据所述像素-区域关系以及所述目标区域特征生成目标上下文特征；将所述目标上下文特征以及所述优化后的像素特征进行拼接生成增强特征；所述增强特征为精细的根系分割结果。
在实际应用中，所述骨干网络为高分辨率网络(High-Resolution Network，HRNet)，所述HRNet具体包括：四个阶段；每个阶段的末尾通过下采样方式降低特征图的分辨率，形成平行的低分辨率子网络；第一阶段包括相同的4个残差单元以及一个卷积层；所述第一阶段末尾的卷积层用于降低所述标注后的棉花根系图像的特征图的通道数；第二阶段包括一个交换模块；所述交换模块包括4个残差单元以及跨分辨率交换单元；所述交换模块用于多尺度融合；第三阶段包括4个交换模块；第四阶段包括3个交换模块。
作为本发明可选的一种实施方式，选择HRNetV2作为OCRNet的骨干网络，用以提取棉花根系的特征。如图2所示，HRNetV2分为四个阶段构建而成，第一个阶段包含了四个残差单元，每个单元皆与ResNet-50相同，由一个通道数为64的瓶颈层组成，然后接了3×3的卷积，将特征图的通道数减少到C，C作为最后三个阶段的高分辨率子网络的通道数，同时在每个阶段的末尾通过下采样将特征图的分辨率降低一半，形成平行的低分辨率子网络，第二、三、四个阶段分别包含了1、4、3个交换模块，每个交换模块包括了四个残差单元和一个跨分辨率交换单元，整个网络一共包括了8个交换单元，即进行了8次多尺度的融合，然后把最后一个阶段四个分辨率子网络的输出特征图进行了拼接，充分利用了每个分辨率子网络特征图的特征信息。
作为本发明可选的一种实施方式，步骤104之前还包括：对所述改进后的目标上下文表征网络进行网络训练的超参数设置；所述超参数设置包括设置随机裁剪管道以及利用交叉熵损失公式计算损失，并将背景的损失权重设置为0.4444，将根系的的损失权重设置为1；所述随机裁剪管道用于所述训练集中的增强后的棉花根系图像输入至所述改进后的目标上下文表征网络之前，对所述增强后的棉花根系图像进行随机裁剪。
设置网络训练的超参数：设置随机裁剪管道，让高分辨率原图输入网络之前被随机裁剪成512×512像素的规格。
采用多项式衰减的方法来实现学习率的衰减，初始学习率设为0.01，多项式的幂设为0.9，最小的学习率设为0.0001。
为了使得模型在训练的过程中收敛性更好和训练更加稳定，采用SGDM优化器，动量设为0.9，权重衰减指数设为0.0005。
设置训练的批处理量为4，总迭代次数为40000次。
利用交叉熵损失公式计算损失，计算公式如下：
Figure BDA0004149308550000081
其中，N为像素的个数，yi为像素i的标签，pi为像素i被预测为正类的概率值。然后，分别设置背景和根系两个类别的损失权重为0.4444和1，解决了类别分布不平衡的问题。
步骤105：将待检测棉花根系图像输入至训练好的改进后的目标上下文表征网络中，对所述待检测棉花根系图像的根系进行分割，生成所述待检测棉花根系图像的根系分割结果。
在实际应用中，在OCRNet中加入了全局注意力机制来改进网络模型。如图3所示，在OCRNet的主要实现模块OCR中，在骨干网络HRNetV2输出的像素特征后加入GAM模块，让GAM模块的输出来代替原来的像素特征参与到目标区域特征、像素-区域关系和目标上下文特征信息的计算，通过提升模型对根系目标的关注度来加强模型对根系的分割能力。其中，目标区域生成器为全卷积网络(Fully ConvolutionalNetwork，FCN)。
在实际应用中，步骤105之后还包括：采用交并比以及Dice相似系数作为评价指标评价所述改进后的目标上下文表征网络的根系分割结果的分割效果。
作为本发明可选的一种实施方式，采用交并比(Intersection over Union，IoU)和Dice相似系数(Dice Similarity Cofficient，DCS)作为评价指标来评价改进后的OCRNet模型对高分辨率微根管图像的分割效果。
在训练过程中，总迭代次数为40000次，每迭代500次保存模型权重并在验证集中测试一次评价指标，选择交并比值最高的模型权重在测试集中进行测试评价指标，得到最后的网络模型评价结果。
交并比IoU计算公式如下：
Figure BDA0004149308550000091
其中，TP表示真正例(被预测和注释为根部区域的区域)、FP表示假正例(被预测为根部区域但被注释为背景的区域)，FN表示假负例(被预测为背景但被注释为根部区域的区域)。
Dice相似系数DSC计算公式如下：
Figure BDA0004149308550000092
本发明在OCRNet中加入了全局注意力机制，增强了模型对根系目标的关注度。由于GAM是一种关注特征图的宽度、高度和通道数三个维度相互作用的注意力机制，能够有效地减少信息的丢失和放大全局维度交互的特征。OCRNet的骨干网络输出的像素特征在整个OCRNet中多次参与计算，由此可见，像素特征与OCRNet的分割效果紧密相关。
本发明在OCRNet的骨干网络输出的像素特征后加入GAM模块，GAM模块输出了优化后的像素特征，优化后的像素特征反映了模型对根系目标更高的关注度，它代替原来的像素特征参与到目标区域特征、像素-区域关系和目标上下文特征信息的计算，从而加强模型对根系的分割能力。
本发明提出的改进OCRNet模型实现了土壤中根系的自动准确分割，在高分辨率微根管图像数据集的根系分割任务中表现优异，其中，交并比达到84.26％，Dice相似系数达到91.46％。
实施例二
为了执行上述实施例一对应的方法，以实现相应的功能和技术效果，下面提供一种棉花根系图像自动分割系统。
一种棉花根系图像自动分割系统，包括：
标注模块，用于获取自然条件下的棉花根系图像，并标注所述棉花根系图像中的根系。
增强处理模块，用于对标注后的棉花根系图像进行数据增强处理，生成增强后的棉花根系图像集合。
划分模块，用于将所述增强后的棉花根系图像集合划分为训练集、验证集以及测试集。
改进后的目标上下文表征网络训练模块，用于根据所述训练集训练改进后的目标上下文表征网络；所述改进后的目标上下文表征网络是在骨干网络输出的像素特征后加入全局注意力机制模块构建的。
在实际应用中，改进后的目标上下文表征网络训练模块，具体包括：输入单元，用于将所述训练集中的增强后的棉花根系图像输入至所述改进后的目标上下文表征网络中的骨干网络；所述骨干网络，用于输出像素特征，并将所述像素特征分别输入至所述改进后的目标上下文表征网络中的全局注意力机制模块以及所述改进后的目标上下文表征网络中的目标区域生成器；所述全局注意力机制模块，用于对所述像素特征进行优化，生成优化后的像素特征；所述目标区域生成器，用于根据所述像素特征生成粗糙的根系分割结果；所述粗糙的根系分割结果为软目标区域；目标区域特征生成单元，用于根据所述优化后的像素特征以及所述软目标区域生成目标区域特征；像素-区域关系生成单元，用于根据所述目标区域特征以及所述优化后的像素特征生成像素-区域关系；目标上下文特征生成单元，用于根据所述像素-区域关系以及所述目标区域特征生成目标上下文特征；增强特征生成单元，用于将所述目标上下文特征以及所述优化后的像素特征进行拼接生成增强特征；所述增强特征为精细的根系分割结果。
分割模块，用于将待检测棉花根系图像输入至训练好的改进后的目标上下文表征网络中，对所述待检测棉花根系图像的根系进行分割，生成所述待检测棉花根系图像的根系分割结果。
本发明能够实现自然环境下棉花根系的自动精准分割。
本发明在OCRNet语义分割网络模型中加入了全局注意力机制提升了OCRNet模型对根系目标的关注度，进而实现棉花根系分割精度的提高。
本发明在改进OCRNet的网络训练过程中使用了交叉熵损失公式计算损失，同时分别设置背景和根系两个类别的损失权重为0.4444和1，解决了类别分布不平衡的问题。
本发明改进的OCRNet可以无额外成本的加载已有的预训练权重，加快网络训练收敛的速度。
本发明采用了交并比和Dice相似系数来评价改进OCRNet模型的棉花根系分割效果，更加细致的辨别了方法的好坏。
本发明设置了随机裁剪管道，让高分辨率棉花根系原图在网络训练时被输入网络之前被随机裁剪成512×512像素的规格，使得棉花根系图像可以在GPU内存限制之内被输入网络模型中进行训练，同时还可以保留高分辨率图像中棉花根系的细节。
本发明创建了一个用微根管采集的且已标注的高分辨率棉花根系图像数据集。
实施例三
本发明实施例提供一种电子设备包括存储器及处理器，该存储器用于存储计算机程序，该处理器运行计算机程序以使电子设备执行实施例一提供的棉花根系图像自动分割方法。
在实际应用中，上述电子设备可以是服务器。
在实际应用中，电子设备包括：至少一个处理器(processor)、存储器(memory)、总线及通信接口(Communications Interface)。
其中：处理器、通信接口、以及存储器通过通信总线完成相互间的通信。
通信接口，用于与其它设备进行通信。
处理器，用于执行程序，具体可以执行上述实施例所述的方法。
具体地，程序可以包括程序代码，该程序代码包括计算机操作指令。
处理器可能是中央处理器CPU，或者是特定集成电路ASIC(Application SpecificIntegrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。电子设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。
存储器，用于存放程序。存储器可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
基于以上实施例的描述，本申请实施例提供一种存储介质，其上存储有计算机程序指令，计算机程序指令可被处理器执行以实现任意实施例所述的方法。
本申请实施例提供的棉花根系图像自动分割系统以多种形式存在，包括但不限于：
(1)移动通信设备：这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括：智能手机(例如iPhone)、多媒体手机、功能性手机，以及低端手机等。
(2)超移动个人计算机设备：这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网性能。这类终端包括：PDA、MID和UMPC设备等，例如iPad。
(3)便携式娱乐设备：这类设备可以显示和播放多媒体内容。该类设备包括：音频、视频播放器(例如iPod)，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。
(4)其他具有数据交互功能的电子设备。
至此，已经对本主题的特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作可以按照不同的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序，以实现期望的结果。在某些实施方式中，多任务处理和并行处理可以是有利的。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。本领域内的技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带、磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定事务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行事务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种棉花根系图像自动分割方法，其特征在于，包括：
获取自然条件下的棉花根系图像，并标注所述棉花根系图像中的根系；
对标注后的棉花根系图像进行数据增强处理，生成增强后的棉花根系图像集合；
将所述增强后的棉花根系图像集合划分为训练集、验证集以及测试集；
根据所述训练集训练改进后的目标上下文表征网络；所述改进后的目标上下文表征网络是在骨干网络输出的像素特征后加入全局注意力机制模块构建的；所述像素特征为棉花根系特征；
将待检测棉花根系图像输入至训练好的改进后的目标上下文表征网络中，对所述待检测棉花根系图像的根系进行分割，生成所述待检测棉花根系图像的根系分割结果。
2.根据权利要求1所述的棉花根系图像自动分割方法，其特征在于，所述骨干网络为高分辨率网络，所述高分辨率网络具体包括：四个阶段；每个阶段的末尾通过下采样方式降低特征图的分辨率，形成平行的低分辨率子网络；
第一阶段包括相同的4个残差单元以及一个卷积层；所述第一阶段末尾的卷积层用于降低所述标注后的棉花根系图像的特征图的通道数；
第二阶段包括一个交换模块；所述交换模块包括4个残差单元以及跨分辨率交换单元；所述交换模块用于多尺度融合；
第三阶段包括4个交换模块；
第四阶段包括3个交换模块。
3.根据权利要求1所述的棉花根系图像自动分割方法，其特征在于，根据所述训练集训练改进后的目标上下文表征网络，之前还包括：
对所述改进后的目标上下文表征网络进行网络训练的超参数设置；所述超参数设置包括设置随机裁剪管道以及利用交叉熵损失公式计算损失，并将背景的损失权重设置为0.4444，将根系的的损失权重设置为1；所述随机裁剪管道用于所述训练集中的增强后的棉花根系图像输入至所述改进后的目标上下文表征网络之前，对所述增强后的棉花根系图像进行随机裁剪。
4.根据权利要求4所述的棉花根系图像自动分割方法，其特征在于，交叉熵损失公式Loss为：
Figure FDA0004149308540000021
其中，N为像素的个数，yi为像素i的标签，pi为像素i被预测为正类的概率值。
5.根据权利要求1所述的棉花根系图像自动分割方法，其特征在于，根据所述训练集训练改进后的目标上下文表征网络，具体包括：
将所述训练集中的增强后的棉花根系图像输入至所述改进后的目标上下文表征网络中的骨干网络，输出像素特征，并将所述像素特征分别输入至所述改进后的目标上下文表征网络中的全局注意力机制模块以及所述改进后的目标上下文表征网络中的目标区域生成器；
利用所述全局注意力机制模块对所述像素特征进行优化，生成优化后的像素特征；
利用所述目标区域生成器根据所述像素特征生成粗糙的根系分割结果；所述粗糙的根系分割结果为软目标区域；
根据所述优化后的像素特征以及所述软目标区域生成目标区域特征；
根据所述目标区域特征以及所述优化后的像素特征生成像素-区域关系；
根据所述像素-区域关系以及所述目标区域特征生成目标上下文特征；
将所述目标上下文特征以及所述优化后的像素特征进行拼接生成增强特征；所述增强特征为精细的根系分割结果。
6.根据权利要求1所述的棉花根系图像自动分割方法，其特征在于，将待检测棉花根系图像输入至训练好的改进后的目标上下文表征网络中，对所述待检测棉花根系图像的根系进行分割，生成所述待检测棉花根系图像的根系分割结果，之后还包括：
采用交并比以及Dice相似系数作为评价指标评价所述改进后的目标上下文表征网络的根系分割结果的分割效果。
7.一种棉花根系图像自动分割系统，其特征在于，包括：
标注模块，用于获取自然条件下的棉花根系图像，并标注所述棉花根系图像中的根系；
增强处理模块，用于对标注后的棉花根系图像进行数据增强处理，生成增强后的棉花根系图像集合；
划分模块，用于将所述增强后的棉花根系图像集合划分为训练集、验证集以及测试集；
改进后的目标上下文表征网络训练模块，用于根据所述训练集训练改进后的目标上下文表征网络；所述改进后的目标上下文表征网络是在骨干网络输出的像素特征后加入全局注意力机制模块构建的；所述像素特征为棉花根系特征；
分割模块，用于将待检测棉花根系图像输入至训练好的改进后的目标上下文表征网络中，对所述待检测棉花根系图像的根系进行分割，生成所述待检测棉花根系图像的根系分割结果。
8.根据权利要求7所述的棉花根系图像自动分割系统，其特征在于，改进后的目标上下文表征网络训练模块，具体包括：
输入单元，用于将所述训练集中的增强后的棉花根系图像输入至所述改进后的目标上下文表征网络中的骨干网络；
所述骨干网络，用于输出像素特征，并将所述像素特征分别输入至所述改进后的目标上下文表征网络中的全局注意力机制模块以及所述改进后的目标上下文表征网络中的目标区域生成器；
所述全局注意力机制模块，用于对所述像素特征进行优化，生成优化后的像素特征；
所述目标区域生成器，用于根据所述像素特征生成粗糙的根系分割结果；所述粗糙的根系分割结果为软目标区域；
目标区域特征生成单元，用于根据所述优化后的像素特征以及所述软目标区域生成目标区域特征；
像素-区域关系生成单元，用于根据所述目标区域特征以及所述优化后的像素特征生成像素-区域关系；
目标上下文特征生成单元，用于根据所述像素-区域关系以及所述目标区域特征生成目标上下文特征；
增强特征生成单元，用于将所述目标上下文特征以及所述优化后的像素特征进行拼接生成增强特征；所述增强特征为精细的根系分割结果。
9.一种电子设备，其特征在于，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行如权利要求1-6中任一项所述的棉花根系图像自动分割方法。
10.一种计算机可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-6中任一项所述的棉花根系图像自动分割方法。
CN202310310220.3A 2023-03-24 2023-03-24 一种棉花根系图像自动分割方法、系统及设备 Pending CN116342882A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310310220.3A CN116342882A (zh) 2023-03-24 2023-03-24 一种棉花根系图像自动分割方法、系统及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310310220.3A CN116342882A (zh) 2023-03-24 2023-03-24 一种棉花根系图像自动分割方法、系统及设备

Publications (1)

Publication Number Publication Date
CN116342882A true CN116342882A (zh) 2023-06-27

Family

ID=86880253

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310310220.3A Pending CN116342882A (zh) 2023-03-24 2023-03-24 一种棉花根系图像自动分割方法、系统及设备

Country Status (1)

Country Link
CN (1) CN116342882A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117423021A (zh) * 2023-12-19 2024-01-19 广东海洋大学 一种无人机红树林受损影像识别方法
CN117789201A (zh) * 2024-02-27 2024-03-29 南京农业大学 一种水稻根系无损获取方法、装置、存储介质和系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117423021A (zh) * 2023-12-19 2024-01-19 广东海洋大学 一种无人机红树林受损影像识别方法
CN117423021B (zh) * 2023-12-19 2024-02-23 广东海洋大学 一种无人机红树林受损影像识别方法
CN117789201A (zh) * 2024-02-27 2024-03-29 南京农业大学 一种水稻根系无损获取方法、装置、存储介质和系统

Similar Documents

Publication Publication Date Title
CN116342882A (zh) 一种棉花根系图像自动分割方法、系统及设备
CN111553406B (zh) 基于改进yolo-v3的目标检测系统、方法及终端
CN112016315B (zh) 模型训练、文本识别方法及装置、电子设备、存储介质
US11941721B2 (en) Using watermark information and weight information to train an embedded neural network model
CN109299258A (zh) 一种舆情事件检测方法、装置及设备
CN115861462B (zh) 图像生成模型的训练方法、装置、电子设备及存储介质
CN113486989B (zh) 基于知识图谱的对象识别方法、装置、可读介质和设备
CN117493830A (zh) 训练数据质量的评估、评估模型的生成方法、装置及设备
CN114021603A (zh) 一种基于模型重参数化的雷达信号调制方式识别方法
CN113934851A (zh) 用于文本分类的数据增强方法、装置及电子设备
CN112651975A (zh) 一种轻量化网络模型的训练方法、装置及设备
CN112308102B (zh) 图像相似度计算方法、计算装置及存储介质
CN116304032A (zh) 动态图卷积和情感特征融合的虚假信息检测方法及系统
CN111325212A (zh) 模型训练方法、装置、电子设备和计算机可读存储介质
CN117036361B (zh) 一种电网输电线烟雾检测方法、系统、电子设备及介质
CN116912923B (zh) 一种图像识别模型训练方法和装置
CN116628600A (zh) 基于随机森林的不平衡数据采样方法及装置
CN110929285A (zh) 一种隐私数据的处理方法及装置
CN113496698B (zh) 训练数据的筛选方法、装置、设备和存储介质
CN111461328B (zh) 一种神经网络的训练方法
CN113284027B (zh) 团伙识别模型的训练方法、异常团伙识别方法及装置
CN113255670A (zh) 非均衡小样本目标检测方法、装置和计算机设备
CN113361702A (zh) 卷积神经网络剪枝、推理方法、设备以及计算机可读介质
CN113987156B (zh) 一种长文本生成方法、装置及电子设备
CN116246175B (zh) 土地利用信息生成方法、电子设备和计算机可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination