CN116630971B - 基于CRF_ResUnet++网络的小麦赤霉病孢子分割方法 - Google Patents

基于CRF_ResUnet++网络的小麦赤霉病孢子分割方法 Download PDF

Info

Publication number
CN116630971B
CN116630971B CN202310904702.1A CN202310904702A CN116630971B CN 116630971 B CN116630971 B CN 116630971B CN 202310904702 A CN202310904702 A CN 202310904702A CN 116630971 B CN116630971 B CN 116630971B
Authority
CN
China
Prior art keywords
network
spore
crf
layer
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310904702.1A
Other languages
English (en)
Other versions
CN116630971A (zh
Inventor
张东彦
张文豪
程涛
杨雪
谷春艳
张淦
雷雨
陈煦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui University
Northwest A&F University
Original Assignee
Anhui University
Northwest A&F University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui University, Northwest A&F University filed Critical Anhui University
Priority to CN202310904702.1A priority Critical patent/CN116630971B/zh
Publication of CN116630971A publication Critical patent/CN116630971A/zh
Application granted granted Critical
Publication of CN116630971B publication Critical patent/CN116630971B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/457—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by analysing connectivity, e.g. edge linking, connected component analysis or slices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及基于CRF_ResUnet++网络的小麦赤霉病孢子分割方法，与现有技术相比解决了难以针对样本为赤霉病孢子的小目标密集且存在粘连进行精准分割的缺陷。本发明包括以下步骤：小麦赤霉病孢子识别图像的获取；CRF_ResUnet++网络的构建；CRF_ResUnet++网络的训练；待分割小麦赤霉病孢子图像的获取；小麦赤霉病孢子分割结果的获得。本发明利用具有编码器解码器结构的Unet++对孢子图像进行初始分割，再在Unet++中引入残差块ResNet，以强化特征的传播能力，提取更多孢子细节信息，最后使用全连接条件随机场模型进行后处理，得到更精确的边缘和完整孢子区域。

Description

基于CRF_ResUnet++网络的小麦赤霉病孢子分割方法
技术领域
本发明涉及赤霉病孢子图像处理技术领域，具体来说是基于CRF_ResUnet++网络的小麦赤霉病孢子分割方法。
背景技术
孢子图像分割是图像识别算法在农业病虫害真菌孢子检测领域中的应用，其主要用途为在图像上精准提取目标病害孢子便于后续计数，统计信息等操作。
孢子图像分割主要采用传统图像处理、机器学习和深度学习三种方法。传统图像处理方法多基于阈值、边缘检测等方式，通过不同目标的像素值进行分割；机器学习传统方法多基于特征工程和预分割的方式得到目标轮廓；基于深度学习的语义分割模型通常是经过网络训练后根据权重参数直接实现目标分割。在传统孢子分割技术领域中，Deng et al.（2012）[1]针对背景亮度不均等问题，将聚类迭代次数以R、G、B各分量的总和不变性作为条件，对病菌数据采用K均值聚类方法实现分割。使各像素均值距离达到局部极小值，较好的分割了病菌图像，但杂质背景复杂等问题造成分割边缘不完整等问题未被解决。Li et al.（2013）[2]根据最近邻插值法对图像进行缩放并结合K-means聚类算法，对孢子图像分别采用划分处理、形态学处理以及分水岭算法等相关处理手段，对孢子捕获器采集的小麦条锈病菌夏孢子完成了自动计数以及边缘标记，但针对光照不均和多目标重叠的问题无法实现很好的分割效果。Qi et al.（2015）[3]提出了分块背景提取方法用于解决采集时光照不均造成孢子边缘轮廓不清晰这一问题，基于特征提取方法采用显微图像中目标孢子的边缘特征信息，并采用Canny算子检测边缘，阈值采用模糊C均值算法，自动地确定梯度图，然后，将边缘检测出来的二值图像做数学形态学闭开运算。对仅含有孢子的二值图像进行提取并最终，提出一种基于距离变换与高斯滤波相结合的改进分水岭算法，用于粘连孢子的分离，取得了较好的检测效果，但存在粘连孢子漏分割的现象。
传统的机器学习和图像处理方法虽然在孢子分割上取得了一定的成果，但其只适用于背景简单，光照均匀和粘连轻微的情形。而对于粘连严重、光照不均、对比不明显的目标分割，很难通过传统方法实现分割要求，而深度学习具有丰富的特征提取手段和学习能力，完成目标的检测（Woyzichovski et al, 2021）[4]。
近年来，深度学习以其低成本和高效率的优势得到了迅速的发展，各种神经网络也被应用于显微图像的目标检测上。其在自然图像分割上取得了较大进展，也被逐步应用于农学、医学等图像分割领域。Liang（2021）[5]提出了PPM-UNet网络结构用以解决传统图像分割方法对于粘连孢子分割性能差的问题，该结构为了提高感受野的全局特征图添加了金字塔池化模块，同时为了减少U-Net网络的浅层特征提取调整了其跳跃连接结构从而提高分割准确率，进一步对分割结果通过自适应Canny算法对边缘进行检测，提取图像中各孢子的单个图像，检测孢子的准确率达到了98.10%，但其边缘检测结合了图像处理方式加大了复杂度。Zhou et al.（2023）[6]针对针对显微图像中夏孢子目标密集，易粘连的问题，提出了一种基于自旋式UNet++网络的检测算法。通过改进UNet++特征提取网络，将原始网络的输出反向连接至输入端形成一种自旋结构，并增加超参数K控制自旋次数，可达到迭代训练的目的，优化了UNet++网络的分割精度，提高了检测的分割率。Shan et al.（2022）[7]为了提高脑肿瘤图像分割准确率，提出了Res-UNet网络结构，采用深度残差模块结合U-Net编码器从而提高U-Net卷积层数，残差块用以提高网络的特征表达能力，极大提高了分割精度，但在复杂区域分割性能仍可进一步改进。Hou et al.（2020）[8]为了解决肝脏CT图像低对比度和肝脏组织和相邻器官具有边界模糊的问题，引入了条件随机场CRF的深度监督和萎缩起始技术获取多尺度特征并充分利用浅层信息实现了低对比度和模糊边界的高精度分割，但分割目标处于边界或相邻肿瘤时，仍然存在过分割、错分割的现象。因此，如何实现小麦赤霉病孢子的有效快速分割已经成为急需解决的技术问题。
参考文献：
[1]Deng Jizhong, Li Min, Yuan Zhibao, et al. Winter spore imagesegmentation of Abutamia abutamina based on K-means clustering. Journal ofSouth China Agricultural University, 2012, 33(02): 266-269.
[2]Li X. L, Ma Zhanhong, Sun Zhenyu, et al. Automatic counting ofsummer spore simulation capture of Wheat stripe Rust based on imageprocessing. Transactions of the Chinese Society of Agricultural Engineering,2013, 29(02): 199-206.
[3]Qi Long, Jiang Yu, Li Zehua, et al. Automatic detection andcounting of Magnaporthe oryzae spores based on microscopic image processing.Transactions of the Chinese Society of Agricultural Engineering, 2015, 31(12): 186-193.
[4]Woyzichovski J., Shchepin O., Dagamac N H., et al. A workflow forlow-cost automated image analysis of myxomycete spore numbers, size andshape. PeerJ, 2021, 9: e12471.
[5]Liang Xin. Research on image recognition and segmentationalgorithm of wheat white powder disease spore. Beijing: Beijing University ofTechnology, 2021.
[6]Zhou Jinbing, Chen Peng, Lei Yu, et al. Automatic Detection ofsummer spore of Wheat Stripe Rust based on spin Unet++ network. Journal ofNanjing Agricultural University: 2023(03): 1-9.
[7]Shan Liqun, Tang Min, Liu Yanchang, et al. Mri image segmentationalgorithm for brain tumor based on improved Res-Unet. Automation &Instrumentation, 2022(08): 13-18.
[8]Hou Teng-Xuan, ZHAO Trick-Juan, Qiang Yan, et al. CRF 3D-UNetpulmonary nodule segmentation network. Computer Engineering and Design, 2020,41(06): 1663-1669。
发明内容
本发明的目的是为了解决现有技术中难以针对样本为赤霉病孢子的小目标密集且存在粘连进行精准分割的缺陷，提供基于CRF_ResUnet++网络的小麦赤霉病孢子分割方法来解决上述问题。
为了实现上述目的，本发明的技术方案如下：
基于CRF_ResUnet++网络的小麦赤霉病孢子分割方法，包括以下步骤：
11）小麦赤霉病孢子识别图像的获取：获取小麦赤霉病孢子的识别图像并进行预处理；
12）CRF_ResUnet++网络的构建：在Unet++的编码器中引入残差块并引入Resnet优化成ResUnet++，再结合CRF模块构建出CRF_ResUnet++网络；
13）CRF_ResUnet++网络的训练：将预处理后的小麦赤霉病孢子识别图像输入CRF_ResUnet++网络进行训练；
14）待分割小麦赤霉病孢子图像的获取：获取待分割小麦赤霉病孢子图像并进行预处理；
15）小麦赤霉病孢子分割结果的获得：将预处理后的待分割小麦赤霉病孢子图像输入训练后的CRF_ResUnet++网络，得到小麦赤霉病孢子分割结果。
所述小麦赤霉病孢子识别图像的获取包括以下步骤：
21）从采集到的图像中选择混合真菌孢子且孢子密度较高存在粘连的孢子显微图像数据共10000幅作为小麦赤霉病孢子分割数据集；
22）利用数据增强手段将总量10000张数据集扩大至20000张；
23）对增广后的图片数据利用Labelme软件对数据集进行人工标注，对图像中的孢子轮廓进行描边；标注后将获得的带有Mask掩膜的图像文件标签类型数据集制作成Unet网络训练所需的标签文件类型，构建出孢子图像分割数据集。
所述CRF_ResUnet++网络的构建包括以下步骤：
31）基于Unet++网络构建CRF_ResUnet++网络，设定CRF_ResUnet++网络包括五个部分：
第一部分为ResNet残差块模块；
第二部分为上采样模块，上采样模块用于提取输入显微图像的深层语义信息；
第三部分为下采样模块，下采样模块通过对图像的显示区域进行自适应大小缩放，使其生成相对应的缩略图；
第四部分为跳跃链接模块，跳跃链接模块对Unet++网络在对深层特征和浅层特征分别进行上采样和下采样后进行密集的跳跃连接，使其和卷积模块所提取的实现层层融合；
第五部分为全连接条件随机场CRF，通过对当前像素及其周围区域的像素灰度值条件下，建立目标像素的条件概率，利用条件概率描述每个像素对应其类别的概率，将每个像素（256*256）对应的2个类别构成256*256*2种矩阵，利用全连接条件随机场在256*256*2种矩阵中，将目标像素对应的矩阵发生能量与所有矩阵发生能量的相互关系进行比较，对结果进行进一步精细化分割；
32）设定ResNet残差块模块：
设定ResNet残差块的每个基本块包含：两个3*3卷积层用于特征提取，池化层用于特征降维，反卷积层将input扩大提升信息量，特征融合层实现各层特征融合，批量归一化层实现输出特征同一维度，整流线性单元层通过降低特征图防止网络梯度爆炸；
设定ResNet残差块模块的每个基本块包含两个3×3卷积，加入批处理归一化层以加速网络学习，并在下采样中加入最大池化；
ResNet包括3*3卷积层、池化层、反卷积层、特征融合层、批量归一化层、整流线性单元层，其表达式如下：
，
，
，
，
，
，
其中，W、、b、K分别表示卷积核、反卷积核、偏置核、池化核，/>表示网络的特征输入，/>表示输入特征经过3*3卷积块进行特征映射后的输出，/>表示输入特征经过反卷积层的特征映射输出，/>为反卷积层的偏置核与输入的计算公式，/>为反卷积层映射结果的特征融合输出，/>为批量归一化层对输出的特征进行维度统一后的输出，/>为对输出特征图进行整流线性处理的计算公式，Fconcatenate是指将多个输入张量按照通道维度进行拼接，得到一个输出张量的操作；
当将池化核应用于采样特征时，在采样面积最大值对应的位置池化核为1，其他位置池化核为0；
33）设定全连接条件随机场CRF：
设定固定尺寸输入图任务中，各像素i都具备一个种类标签M，并将类别标签分为两种类型：赤霉病孢子与非赤霉病孢子的关系；
根据不同的分类要求得到一系列的子区域，即标签Y={Y1,Y2}的序列集合，每一个像素点都是一个节点，以像素间连线为边缘，组成一个完全无向的图形；
序列和/>，标签/>即构成CRF的两个序列集合，T值小于输入的赤霉病孢子序列图像尺寸大小，其代表对应图像中真实标签序列，/>即给每一个像素点对应的分类标签；随后利用变量T值的变化判断像素i的类别标签/>；CRF服从吉布斯分布式，计算公式如下：
，
式中，表示序列图M里节点v，边e和t为M内最大团及最大团势函数，/>为规范化因子，其值为该系列中最大团总和；
吉布斯能量函数如下式：
，
P（M/T）是矩阵的能量计算公式，Z（T）是归一化因子，计算归一化的概率分布；Mt是系列M的随机取值，E（M/T）是整体矩阵能量和标签矩阵能量的比值，用以判定分割区域；
35）在UNet++网络的后端，即跳跃链接模块后连接全连接随机场CRF，在提高输入图像像素之间关联性的同时达到更准确地分割赤霉病孢子边缘轮廓的目的。
所述CRF_ResUnet++网络的训练包括以下步骤：
41）搭建Python=3.8、CUDA=11.6版本的Pytorch神经网络训练环境；
42）设置图像输入尺寸为256×256，初始学习率调整为1*10^-3，最小学习率限制为1*10^-5，当两类的准确率差异很小时，学习率降低5%；模型训练的批量尺寸为16，训练迭代批次为100个周期；
43）将孢子图像分割数据集输入CRF_ResUnet++网络，训练完成并生成最佳权重文件；
431）第一部分ResNet残差块模块对输入的图像进行3×3的卷积操作，通过卷积核对图像的特征进行映射，再通过ResNet对W新卷积核的计算；
两个3*3卷积层用于特征提取，对输入的图像进行卷积计算输出特征矩阵；池化层用于特征降维对卷积层的特征矩阵进行降维处理；反卷积层将input的特征信息进行升维处理，扩大提升信息量；特征融合层将输入的特征进行加权处理，实现各层特征融合输出；批量归一化层将输出特征统一计算至同一维度进行输出；整流线性单元层通过对输出的特征进行降低特征图防止网络梯度爆炸；
432）第二部分的上采样模块包含两个步骤，对于ResNet输入的256*256*n特征，Transpose convolution对输入的特征进行转至卷积，将输入的特征张量尺寸变为512*512*n，使其达到高像素便于获取更多特征；为了后续特征提取的维度变高但计算量减少，使输出尺寸与输入尺寸保持一致，Deconvolution对Transpose convolution输出的张量图进行反卷积映射，使其维度保持不变，但通道数减半，完成输出；
433）第三部分的下采样模块，将输入的特征矩阵进行划分，使其成为若干个矩形区域，并对每个子区域的最大值进行提取，将每个区域的最大值重新组成矩阵进行输出，保留了特征图的细节信息，并摒弃了大量的冗余信息；
434）第四部分的跳跃链接，使用卷积核为3*3的卷积层对ResNet、上采样和下采样输出的特征进行映射，将多层的特征信息进行映射融合输出；
435）第五部分的全连接条件随机场，对于网络的输出结果重新建立条件概率，用于描述每个像素点对应类别的概率，将每个像素点对应的类别组成256*256*2的矩阵，并对每个矩阵的能量进行计算，通过与整体矩阵能量相比，获得最大矩阵的发生概率，并完成精细化的分割结果；
44）利用生成的best.pt权重文件对赤霉病孢子实现快速精准的分割。
有益效果
本发明的基于CRF_ResUnet++网络的小麦赤霉病孢子分割方法，与现有技术相比利用具有编码器解码器结构的Unet++对孢子图像进行初始分割，再在Unet++中引入残差块ResNet，以强化特征的传播能力，提取更多孢子细节信息，最后使用全连接条件随机场模型进行后处理，得到更精确的边缘和完整孢子区域。
本发明通过实验室采集数据集测试结果表明，F1-score达到0.964，mIOU达到0.961，Accuracy达到0.956，平均检测精度较原Unet++模型提升了3.4%，与其他模型相比，所本发明所提出的模型可以对复杂情况下的孢子图像进行分割，包括独立孢子和相互粘连的孢子，在视觉效果和客观评价指标上均有较好的分割效果。
附图说明
图1为本发明的方法顺序图；
图2为本发明所涉及CRF_ResUnet++网络结构图；
图3为不同分割方法结果对比图；
图4为不同网络结构分割结果对比图；
图5为主流网络分割结果对比图
图6为多种复杂度下的网络分割性能对比图；
图7为CRF_ResUnet++训练loss曲线图。
具体实施方式
为使对本发明的结构特征及所达成的功效有更进一步的了解与认识，用以较佳的实施例及附图配合详细的说明，说明如下：
如图1所示，本发明所述的基于CRF_ResUnet++网络的小麦赤霉病孢子分割方法，包括以下步骤：
第一步，小麦赤霉病孢子识别图像的获取：获取小麦赤霉病孢子的识别图像并进行预处理。
（1）从采集到的图像中选择混合真菌孢子且孢子密度较高存在粘连的孢子显微图像数据共10000幅作为小麦赤霉病孢子分割数据集。
（2）利用数据增强手段将总量10000张数据集扩大至20000张。
（3）对增广后的图片数据利用Labelme软件对数据集进行人工标注，对图像中的孢子轮廓进行描边；标注后将获得的带有Mask掩膜的图像文件标签类型数据集制作成Unet网络训练所需的标签文件类型，构建出孢子图像分割数据集。
第二步，CRF_ResUnet++网络的构建：如图2所示，在Unet++的编码器中引入残差块并引入Resnet优化成ResUnet++，再结合CRF模块构建出CRF_ResUnet++网络。
针对背景复杂且存在孢子粘连，难以实现较好检测效果的问题，本专利基于UNet++网络，将残差块ResNet添加至UNet++原始卷积块中，使其每个卷积块都融合了图像卷积前和卷积后的特征信息，有利于图像特征的保留和学习过程，避免了梯度消失问题；在UNet++网络的输出部分结合全连接条件随机场CRF，实现了对UNet++的输出进行二次精细分割，CRF通过完善图像全局归一化，更好地处理孢子显微图像的像素级分割。由上搭建了CRF_ResUNet++网络结构，该结构的分割效果优于传统图像分割方法、机器学习和原网络结构，改进后的模型可以有效提升分割模型对于小麦赤霉病孢子的边缘分割精细度和错漏分割现象。通过与传统图像处理方法，机器学习和主流语义分割进行对比实验，证明了本专利搭建的网络模型在复杂背景下也有较好的分割效果。
其具体步骤如下：
（1）基于Unet++网络构建CRF_ResUnet++网络，设定CRF_ResUnet++网络包括五个部分：
第一部分为ResNet残差块模块。
第二部分为上采样模块，上采样模块用于提取输入显微图像的深层语义信息。第二部分的上采样操作既是对数据图像中低分辨率的图像进行采样进行放大，将其扩充成高分辨率图像的过程，分别通过Deconvolution和Transpose Convolution操作实现，将分辨率实现一倍的扩充，将256×256的特征采样程512×512的像素进行再次卷积，实现深层次的特征提取。同时其可以将恢复至原始像素大小，保留原始图像的细节信息。
第三部分为下采样模块，下采样模块通过对图像的显示区域进行自适应大小缩放，使其生成相对应的缩略图。第三部分的下采样操作，在网络的下采样过程中，网络通过Pooling和卷积核大于1的操作对图像进行自适应缩放，可以将上采样扩充的图像进行池化缩小，将原始图像的特征提取完成后，进一步对图像实现逐步缩小，实现对更高级别的语义信息进行提取。
第四部分为跳跃链接模块，跳跃链接模块对Unet++网络在对深层特征和浅层特征分别进行上采样和下采样后进行密集的跳跃连接，使其和卷积模块所提取的实现层层融合。第四部分的跳跃链接，通过嵌套数量密集的短链接来实现上采样和下采样过程中实现不同层之间由浅入深的空间信息融合，即连接和融合解码器上采样所输出的特征图与高分辨率特征图，同时同一层模块之间密集跳跃连接的语义信息融合过程。缓解了特征提取中的信息损失的现象，并弥补了编解码结构间难以避免的语义差距，使得网络结构可以高效捕获任务对象的细节信息。
第五部分为全连接条件随机场CRF，通过对当前像素及其周围区域的像素灰度值条件下，建立目标像素的条件概率，利用条件概率描述每个像素对应其类别的概率，将每个像素（256*256）对应的2个类别构成256*256*2种矩阵，利用全连接条件随机场在256*256*2种矩阵中，将目标像素对应的矩阵发生能量与所有矩阵发生能量的相互关系进行比较，对结果进行进一步精细化分割。在此，后处理部分结合的CRF全连接条件随机场加强了输入图像局部像素和全局像素之间的关联性，通过以概率为基础构造无向图，根据图像中剩余像素对于此像素的贡献，使标记与分割结果细化程度得到提高，使边界上的划分更贴近真实值。每五次训练完成后计算精度并生成权重文件。循环上述步骤，一百次迭代训练完成后，生成平均精度和各项评价指标，并在所有权重文件中保留最佳权重文件用于赤霉病孢子快速分割。
（2）设定ResNet残差块模块。
由于显微孢子图像存在粘连、光照不均和对比度不一的问题，容易造成一些颜色形状等特征容易被忽略从而造成漏检、错检。因此，在UNet++的编码器中引入残差块代替原结构中的卷积层，用以解决网络层数变高时容易产生的梯度消失这一现象，引入Resnet的剩余结构设计来优化模型，同时加强网络的特征提取能力，进而实现了对于真菌类孢子分割测精度的提升，把编码器由浅入深的各层特征同解码器深层特征联系起来，并加以融合，再经过上采样，逐渐的还原出输入像素下特征图的原始像素尺寸，残差块的引入减去了原网络中不必要的跳跃，减少了网络参数，同时通过大量的上下采样和特征融合加强了网络对低分辨率下的特征提取，更适合孢子这类显微图像的语义分割任务。
设定ResNet残差块的每个基本块包含：两个3*3卷积层用于特征提取，池化层用于特征降维，反卷积层将input扩大提升信息量，特征融合层实现各层特征融合，批量归一化层实现输出特征同一维度，整流线性单元层通过降低特征图防止网络梯度爆炸；
设定ResNet残差块模块的每个基本块包含两个3×3卷积，加入批处理归一化层以加速网络学习，并在下采样中加入最大池化；
ResNet包括3*3卷积层、池化层、反卷积层、特征融合层、批量归一化层、整流线性单元层，其表达式如下：
,
,
,
,
,
，
其中，W、、b、K分别表示卷积核、反卷积核、偏置核、池化核，/>表示网络的特征输入，/>表示输入特征经过3*3卷积块进行特征映射后的输出，/>表示输入特征经过反卷积层的特征映射输出，/>为反卷积层的偏置核与输入的计算公式，/>为反卷积层映射结果的特征融合输出，/>为批量归一化层对输出的特征进行维度统一后的输出，/>为对输出特征图进行整流线性处理的计算公式，Fconcatenate是指将多个输入张量按照通道维度进行拼接，得到一个输出张量的操作；
当将池化核应用于采样特征时，在采样面积最大值对应的位置池化核为1，其他位置池化核为0。
（3）设定全连接条件随机场CRF。
CRF就是以概率为基础构造无向图，该模块可对像素级图像进行精细分割。目标图像的每个像素点均具有其相应种类标签，通常以分割目标的像素点作为检测图顶点，将状态特征设置为顶点，各像素点设置为各连接图的边，边缘代表转移特征，在像素标签的解算过程中，根据图像中剩余像素对于此像素的贡献，使标记与分割结果细化程度得到提高，使边界上的划分更贴近真实值。
条件随机场应用于图像语义分割任务中像素级分类与定位的任务时，CRF可以通过加强反应各像素间的关系从而实现更好的分割性能。全连接条件随机场由多元势能函数和其局部像素点的不同权重参数构成，其中一元势能函数的权重参数为其局部和全局间像素点的类别概率值，二元势能函数的权重参数为其全局间像素点之间的纹理特征和颜色特征的相似性程度。CRF通过实现局部和全局信息的整合使得其在像素级的分割任务中能够取得较好的分割效果。
设定固定尺寸输入图任务中，各像素i都具备一个种类标签M，并将类别标签分为两种类型：赤霉病孢子与非赤霉病孢子的关系；
根据不同的分类要求得到一系列的子区域，即标签Y={Y1,Y2}的序列集合，每一个像素点都是一个节点，以像素间连线为边缘，组成一个完全无向的图形；
序列和/>，标签/>即构成CRF的两个序列集合，T值小于输入的赤霉病孢子序列图像尺寸大小，其代表对应图像中真实标签序列，/>即给每一个像素点对应的分类标签；随后利用变量T值的变化判断像素i的类别标签/>；
CRF服从吉布斯分布式，计算公式如下：
，
式中，表示序列图M里节点v，边e和t为M内最大团及最大团势函数，/>为规范化因子，其值为该系列中最大团总和；
吉布斯能量函数如下式：
，
P（M/T）是矩阵的能量计算公式，Z（T）是归一化因子，计算归一化的概率分布；Mt是系列M的随机取值，E（M/T）是整体矩阵能量和标签矩阵能量的比值，用以判定分割区域。
（5）在UNet++网络的后端，即跳跃链接模块后连接全连接随机场CRF，在提高输入图像像素之间关联性的同时达到更准确地分割赤霉病孢子边缘轮廓的目的。
第三步，CRF_ResUnet++网络的训练：将预处理后的小麦赤霉病孢子识别图像输入CRF_ResUnet++网络进行训练。
（1）搭建Python=3.8、CUDA=11.6版本的Pytorch神经网络训练环境。
（2）设置图像输入尺寸为256×256，初始学习率调整为1*10^-3，最小学习率限制为1*10^-5，当两类的准确率差异很小时，学习率降低5%；模型训练的批量尺寸为16，训练迭代批次为100个周期。
（3）将孢子图像分割数据集输入CRF_ResUnet++网络，训练完成并生成最佳权重文件；
A1）第一部分ResNet残差块模块对输入的图像进行3×3的卷积操作，通过卷积核对图像的特征进行映射，再通过ResNet对W新卷积核的计算；
两个3*3卷积层用于特征提取，对输入的图像进行卷积计算输出特征矩阵；池化层用于特征降维对卷积层的特征矩阵进行降维处理；反卷积层将input的特征信息进行升维处理，扩大提升信息量；特征融合层将输入的特征进行加权处理，实现各层特征融合输出；批量归一化层将输出特征统一计算至同一维度进行输出；整流线性单元层通过对输出的特征进行降低特征图防止网络梯度爆炸；
A2）第二部分的上采样模块对数据图像中低分辨率的图像进行采样进行放大，将其扩充成高分辨率图像的过程，分别通过Deconvolution和Transpose Convolution操作实现，将分辨率实现一倍的扩充，将256×256的特征采样程512×512的像素进行再次卷积，实现深层次的特征提取；同时将恢复至原始像素大小，保留原始图像的细节信息；
第二部分的上采样模块包含两个步骤，对于ResNet输入的256*256*n特征，Transpose convolution对输入的特征进行转至卷积，将输入的特征张量尺寸变为512*512*n，使其达到高像素便于获取更多特征；为了后续特征提取的维度变高但计算量减少，使输出尺寸与输入尺寸保持一致，Deconvolution对Transpose convolution输出的张量图进行反卷积映射，使其维度保持不变，但通道数减半，完成输出；
A3）第三部分的下采样模块，将输入的特征矩阵进行划分，使其成为若干个矩形区域，并对每个子区域的最大值进行提取，将每个区域的最大值重新组成矩阵进行输出，保留了特征图的细节信息，并摒弃了大量的冗余信息；
A4）第四部分的跳跃链接，通过嵌套数量密集的短链接来实现上采样和下采样过程中实现不同层之间由浅入深的空间信息融合，即连接和融合解码器上采样所输出的特征图与高分辨率特征图，同时同一层模块之间密集跳跃连接的语义信息融合过程。缓解了特征提取中的信息损失的现象，并弥补了编解码结构间难以避免的语义差距，使得网络结构可以高效捕获任务对象的细节信息；
第四部分的跳跃链接，使用卷积核为3*3的卷积层对ResNet、上采样和下采样输出的特征进行映射，将多层的特征信息进行映射融合输出；
A5）第五部分的全连接条件随机场，对于网络的输出结果重新建立条件概率，用于描述每个像素点对应类别的概率，将每个像素点对应的类别组成256*256*2的矩阵，并对每个矩阵的能量进行计算，通过与整体矩阵能量相比，获得最大矩阵的发生概率，并完成精细化的分割结果。
（4）利用生成的best.pt权重文件对赤霉病孢子实现快速精准的分割。
第四步，待分割小麦赤霉病孢子图像的获取：获取待分割小麦赤霉病孢子图像并进行预处理。
第五步，小麦赤霉病孢子分割结果的获得：将预处理后的待分割小麦赤霉病孢子图输入训练后的CRF_ResUnet++网络，得到小麦赤霉病孢子分割结果。
为了验证本发明小麦赤霉病孢子快速分割的准确性，利用得到的权重文件对测试集中的不同复杂小麦赤霉病孢子图像进行测试。
本发明选用均交并比MIoU（Mean Intersection over Union）、F1-Score、平均像素精度mPA（mean Pixel Accurary）、精确率P、召回率Recall和FocalLoss作为训练的损失函数6个在语义分割领域常用评价指标。上述评价指标的值都在0和1之间，越接近1表示模型的效果越好。
同时，为了验证本发明提出检测算法的有效性，本发明分别将Unet++网络与传统图像处理分割算法中具有代表性的OTSU阈值分割算法、Canny算子边缘分割算法、分水岭分割算法进行对比；机器学习分割算法选用经典SVM、RF、BP与其分割结果进行对比，分割结果如图3所示。
由图3可以看出，传统图像处理分割方法中，采用阈值分割的OTSU和Canny算法都产生了过分割和错分割，显微图像里孢子和杂物相较于背景面积存在较大的差异，使得基于阈值分割的算法对于像素块十分敏感；而采用距离变换的分水岭算法具有较好的抗噪声性能，精准的分割出了目标轮廓，但由于其敏感的边缘检测和封闭性分割特点，在阴影处出现了大面积错分割现象。三种基于聚类和阈值分割的机器学习算法都对杂物进行了错分割，但其对于孢子的完整性和内部轮廓分割效果较好，由于显微图像对比度较低，孢子和杂物的特征较为相似，这就使得没有经过大量特征工程的机器学习算法出现了较差的分割效果。上述两种方法与深度学习相比较，UNet++表现出了最好的分割性能。UNet++网络通过多次的上采样和下采样增强了网络的鲁棒性，多层次的卷积结构加强了网络的特征提取，这使得UNet++精准的分割了目标轮廓并具有良好的抗噪声能力。而在赤霉病孢子的分割任务中，存在光照不均，对比度低，目标粘连和干扰物多的问题存在，传统方法需要针对图像特点选取不同的方法和分割阈值，机器学习需要进行大量的特征优选工程，为了精准、快速的实现小麦赤霉病孢子分割任务，深度学习成为解决本发明研究的最有效方法。
确定了神经网络在孢子分割任务中的优越性，体现了UNet++结构在小麦赤霉病孢子分割任务的可靠性。但由于孢子数据集存在粘连，光照不均，背景杂物多以及对比度低等复杂问题，原UNet++网络结构底层模型结构无法获取深层特征图，缺乏全尺度特征提取能力，导致UNet++分割结果中出现了错分割和漏分割的现象，分割精度不够理想，对小麦赤霉病孢子进行分割效果还有待提高。为了验证本章在编码器中替换的残差块以及全连接随机条件场对网络模型训练效果的影响，本节对是否替换了卷积块和结合全连接随机条件场进行了对比实验，结果如图4和表1所示。
表1 不同网络模型对比实验结果
图4展示了UNet++，ResUNet++，CRF-UNet++和CRF_ResUNet++在同一数据下的分割效果展示。原网络分割结果中存在错分割，过分割和边缘毛刺的现象；将UNet++替换卷积结构的ResUNet++表现出了更好的特征提取能力，改善了网络错分割的问题；结合CRF模块的CRF-UNet++经过二次分割，边缘轮廓平滑度得到提高；本章搭建的CRF_ResUNet++网络在分割结果中表现最佳，精准的识别并分割出了目标孢子的轮廓，MIoU、mPA、F1、P、R分别较原网络提高了0.057、0.038、0.022、0.032、0.012。
同时，为了论证本章提出的CRF_ResUNet++网络结构在小麦赤霉病孢子图像分割任务的可行性和优越性，将改进的CRF_ResUNet++与部分主流语义分割网络SegNet，DeepLabV3，PSPNet和U-Net系列网络U-Net，UNet++进行了测试对比。图5展示了对比网络的分割结果，表2给出了各深度学习模型的精度比较。
表2 不同网络模型对比实验结果
结果显示，UNet++在主流分割网络中取得了最好的分割结果，这得益于UNet++网络结构的短链接，但由于过多的浅层特征造成了一定的干扰，使其仍存在很多问题。检测精度和MIoU较原始网络的提高，说明残差块和全连接条件随机场在赤霉病孢子分割任务中提升效果明显，因此由对比实验结果可知，结合了ResNet残差块和全连接条件随机场CRF的网络模型在分割结果和各项性能指标表现上均为最优。
为了更直观地显示本章算法对现有问题的解决能力，并对网络的鲁棒性进行验证，本章选取了背景复杂度由低到高的三种数据进行验证并将分割结果对比展示。图6为UNet++和CRF_ResUNet++在三种类型数据集下的分割结果，背景复杂度低的数据中均为赤霉病孢子且背景杂物较少，背景复杂度一般的数据中含有赤霉病孢子和外观颜色类似的杂菌孢子且背景杂物较多，背景复杂度高的数据中混有多种孢子且背景杂物密集，分割难度较高。
分割结果与原图和标签文件对比，可以发现原网络在光照不均和对比度低时，均出现了错分割、漏分割和边缘粗糙的问题。引入短链接的UNet++可以提高特征提取能力从而提高分割精度，但背景复杂时分割结果仍然粗糙，分割边界不够准确。在小麦赤霉病孢子分割任务中，赤霉病孢子在图像中分布有粘连和背景颜色相近的特点，在背景复杂度不高时，几种网络的性能差距不大。在背景复杂度较高时，UNet++网络出现了错分割、边缘断裂的情况，这些情况在CRF_ResUNet++中得到了较好的改善，错分割仅剩边缘一例，边缘粗糙得到了较好的完整性。
由于UNet++网络的多浅层语义信息对特征造成干扰，造成特征信息丢失，上下采样难以自主学习，引入残差块和全连接条件随机场CRF用于提升网络分割性能。在UNet++的编码器中引入残差块代替传统的卷积层，用于解决深层网络易出现的梯度弥散与梯度爆炸现象，同时加强网络的特征提取能力。在ResUNet++的后端使用全连接随机场，加强了输入图像局部像素和全局像素之间的关联性，进一步实现了赤霉病孢子边缘的精准分割。为了对比模型的稳定性，本章展示了CRF_ResUNet++训练loss曲线图。由图7可见，CRF_ResUNet++训练loss曲线在网络训练迭代初期首先快速降低，训练迭代中期保持下降平缓，最后达到稳定，并且验证loss和训练loss曲线之间的差距很小，这表明该网络模型具有很好的稳定性，抗干扰能力强且具有较好的鲁棒性。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。

Claims (3)

1.基于CRF_ResUnet++网络的小麦赤霉病孢子分割方法，其特征在于，包括以下步骤：
11）小麦赤霉病孢子识别图像的获取：获取小麦赤霉病孢子的识别图像并进行预处理；
12）CRF_ResUnet++网络的构建：在Unet++的编码器中引入残差块并引入Resnet优化成ResUnet++，再结合CRF模块构建出CRF_ResUnet++网络；
所述CRF_ResUnet++网络的构建包括以下步骤：
121）基于Unet++网络构建CRF_ResUnet++网络，设定CRF_ResUnet++网络包括五个部分：
第一部分为ResNet残差块模块；
第二部分为上采样模块，上采样模块用于提取输入显微图像的深层语义信息；
第三部分为下采样模块，下采样模块通过对图像的显示区域进行自适应大小缩放，使其生成相对应的缩略图；
第四部分为跳跃链接模块，跳跃链接模块对Unet++网络在对深层特征和浅层特征分别进行上采样和下采样后进行密集的跳跃连接，使其和卷积模块所提取的特征实现层层融合；
第五部分为全连接条件随机场CRF，通过对当前像素及其周围区域的像素灰度值条件下，建立目标像素的条件概率，利用条件概率描述每个像素对应其类别的概率，将每个像素256*256对应的2个类别构成256*256*2种矩阵，利用全连接条件随机场在256*256*2种矩阵中，将目标像素对应的矩阵发生能量与所有矩阵发生能量的相互关系进行比较，对结果进行进一步精细化分割；
122）设定ResNet残差块模块：
设定ResNet残差块的每个基本块包含：两个3*3卷积层用于特征提取，池化层用于特征降维，反卷积层将input扩大提升信息量，特征融合层实现各层特征融合，批量归一化层实现输出特征同一维度，整流线性单元层通过降低特征图防止网络梯度爆炸；
设定ResNet残差块模块的每个基本块包含两个3×3卷积，加入批处理归一化层以加速网络学习，并在下采样中加入最大池化；
ResNet包括3*3卷积层、池化层、反卷积层、特征融合层、批量归一化层、整流线性单元层，其表达式如下：
，
，
，
，
，
，
其中，W、、b、K分别表示卷积核、反卷积核、偏置核、池化核，/>表示网络的特征输入，/>表示输入特征经过3*3卷积块进行特征映射后的输出，/>表示输入特征经过反卷积层的特征映射输出，/>为反卷积层的偏置核与输入的计算公式，/>为反卷积层映射结果的特征融合输出，/>为批量归一化层对输出的特征进行维度统一后的输出，/>为对输出特征图进行整流线性处理的计算公式；Fconcatenate是指将多个输入张量按照通道维度进行拼接，得到一个输出张量的操作；
当将池化核应用于采样特征时，在采样面积最大值对应的位置池化核为1，其他位置池化核为0；
123）设定全连接条件随机场CRF：
设定固定尺寸输入图任务中，各像素i都具备一个种类标签M，并将类别标签分为两种类型：赤霉病孢子与非赤霉病孢子的关系；
根据不同的分类要求得到一系列的子区域，即标签Y={Y1,Y2}的序列集合，每一个像素点都是一个节点，以像素间连线为边缘，组成一个完全无向的图形；
序列和/>，标签/>即构成CRF的两个序列集合，T值小于输入的赤霉病孢子序列图像尺寸大小，其代表对应图像中真实标签序列/>，
即给每一个像素点对应的分类标签；随后利用变量T值的变化判断像素i的类别标签/>；CRF服从吉布斯分布式，计算公式如下：
，
式中， 表示序列M里节点v，边e和t为M内最大团及最大团势函数，/>为规范化因子，其值为该系列中最大团总和；吉布斯能量函数/>如下式：
，
P（M/T）是矩阵的能量计算公式，Z（T）是归一化因子，计算归一化的概率分布；Mt是系列M的随机取值，E（M/T）是整体矩阵能量和标签矩阵能量的比值，用以判定分割区域；
124）在UNet++网络的后端，即跳跃链接模块后连接全连接随机场CRF，在提高输入图像像素之间关联性的同时达到更准确地分割赤霉病孢子边缘轮廓的目的；13）CRF_ResUnet++网络的训练：将预处理后的小麦赤霉病孢子识别图像输入CRF_ResUnet++网络进行训练；
14）待分割小麦赤霉病孢子图像的获取：获取待分割小麦赤霉病孢子图像并进行预处理；
15）小麦赤霉病孢子分割结果的获得：将预处理后的待分割小麦赤霉病孢子图像输入训练后的CRF_ResUnet++网络，得到小麦赤霉病孢子分割结果。
2.根据权利要求1所述的基于CRF_ResUnet++网络的小麦赤霉病孢子分割方法，其特征在于，所述小麦赤霉病孢子识别图像的获取包括以下步骤：
21）从采集到的图像中选择混合真菌孢子且孢子密度较高存在粘连的孢子显微图像数据共10000幅作为小麦赤霉病孢子分割数据集；
22）利用数据增强手段将总量10000张数据集扩大至20000张；
23）对增广后的图片数据利用Labelme软件对数据集进行人工标注，对图像中的孢子轮廓进行描边；标注后将获得的带有Mask掩膜的图像文件标签类型数据集制作成Unet网络训练所需的标签文件类型，构建出孢子图像分割数据集。
3.根据权利要求1所述的基于CRF_ResUnet++网络的小麦赤霉病孢子分割方法，其特征在于，所述CRF_ResUnet++网络的训练包括以下步骤：
31）搭建Python=3.8、CUDA=11.6版本的Pytorch神经网络训练环境；
32）设置图像输入尺寸为256×256，初始学习率调整为1*10^-3，最小学习率限制为1*10^-5，当两类的准确率差异很小时，学习率降低5%；模型训练的批量尺寸为16，训练迭代批次为100个周期；
33）将孢子图像分割数据集输入CRF_ResUnet++网络，训练完成并生成最佳权重文件；
331）第一部分ResNet残差块模块对输入的图像进行3×3的卷积操作，通过卷积核对图像的特征进行映射，再通过ResNet计算，得到新的卷积核参数W；
两个3*3卷积层用于特征提取，对输入的图像进行卷积计算输出特征矩阵；池化层用于特征降维对卷积层的特征矩阵进行降维处理；反卷积层将input的特征信息进行升维处理，扩大提升信息量；特征融合层将输入的特征进行加权处理，实现各层特征融合输出；批量归一化层将输出特征统一计算至同一维度进行输出；整流线性单元层通过对输出的特征进行降低特征图防止网络梯度爆炸；
332）第二部分的上采样模块包含两个步骤，对于ResNet输入的256*256*n特征，Transpose convolution对输入的特征进行转置卷积，将输入的特征张量尺寸变为512*512*n，使其达到高像素便于获取更多特征；为了后续特征提取的维度变高但计算量减少，使输出尺寸与输入尺寸保持一致，Deconvolution对Transpose convolution输出的张量图进行反卷积映射，使其维度保持不变，但通道数减半，完成输出；
333）第三部分的下采样模块，将输入的特征矩阵进行划分，使其成为若干个矩形区域，并对每个子区域的最大值进行提取，将每个区域的最大值重新组成矩阵进行输出，保留了特征图的细节信息，并摒弃了大量的冗余信息；
334）第四部分的跳跃链接，使用卷积核为3*3的卷积层对ResNet、上采样和下采样输出的特征进行映射，将多层的特征信息进行映射融合输出；
335）第五部分的全连接条件随机场，对于网络的输出结果重新建立条件概率，用于描述每个像素点对应类别的概率，将每个像素点对应的类别组成256*256*2的矩阵，并对每个矩阵的能量进行计算，通过与整体矩阵能量相比，获得最大矩阵的发生概率，并完成精细化的分割结果；
34）利用生成的best.pt权重文件对赤霉病孢子实现快速精准的分割。
CN202310904702.1A 2023-07-24 2023-07-24 基于CRF_ResUnet++网络的小麦赤霉病孢子分割方法 Active CN116630971B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310904702.1A CN116630971B (zh) 2023-07-24 2023-07-24 基于CRF_ResUnet++网络的小麦赤霉病孢子分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310904702.1A CN116630971B (zh) 2023-07-24 2023-07-24 基于CRF_ResUnet++网络的小麦赤霉病孢子分割方法

Publications (2)

Publication Number Publication Date
CN116630971A CN116630971A (zh) 2023-08-22
CN116630971B true CN116630971B (zh) 2023-09-29

Family

ID=87597644

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310904702.1A Active CN116630971B (zh) 2023-07-24 2023-07-24 基于CRF_ResUnet++网络的小麦赤霉病孢子分割方法

Country Status (1)

Country Link
CN (1) CN116630971B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116821698B (zh) * 2023-08-31 2024-01-05 中国科学技术大学 基于半监督学习的小麦赤霉病孢子检测方法
CN117455935B (zh) * 2023-12-22 2024-03-19 中国人民解放军总医院第一医学中心 基于腹部ct医学图像融合及器官分割方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112232355A (zh) * 2020-12-11 2021-01-15 腾讯科技（深圳）有限公司 图像分割网络处理、图像分割方法、装置和计算机设备
CN112560624A (zh) * 2020-12-08 2021-03-26 中南大学 基于模型深度集成的高分遥感影像语义分割方法
WO2021184817A1 (zh) * 2020-03-16 2021-09-23 苏州科技大学 一种医学图像中肝脏及其病灶分割的方法
CN114120203A (zh) * 2021-12-01 2022-03-01 安徽大学 基于改进YoloV4的田间小麦赤霉病发生程度评估方法
CN114943894A (zh) * 2022-05-11 2022-08-26 太原理工大学 一种基于ConvCRF的高分遥感影像建筑物提取优化方法
CN114972208A (zh) * 2022-05-05 2022-08-30 扬州大学 一种基于YOLOv4的轻量化小麦赤霉病检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11741365B2 (en) * 2018-05-14 2023-08-29 Tempus Labs, Inc. Generalizable and interpretable deep learning framework for predicting MSI from histopathology slide images

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021184817A1 (zh) * 2020-03-16 2021-09-23 苏州科技大学 一种医学图像中肝脏及其病灶分割的方法
CN112560624A (zh) * 2020-12-08 2021-03-26 中南大学 基于模型深度集成的高分遥感影像语义分割方法
CN112232355A (zh) * 2020-12-11 2021-01-15 腾讯科技（深圳）有限公司 图像分割网络处理、图像分割方法、装置和计算机设备
CN114120203A (zh) * 2021-12-01 2022-03-01 安徽大学 基于改进YoloV4的田间小麦赤霉病发生程度评估方法
CN114972208A (zh) * 2022-05-05 2022-08-30 扬州大学 一种基于YOLOv4的轻量化小麦赤霉病检测方法
CN114943894A (zh) * 2022-05-11 2022-08-26 太原理工大学 一种基于ConvCRF的高分遥感影像建筑物提取优化方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Sea-Land Segmentation With Res-UNet And Fully Connected CRF;Zhengquan Chu.et.;《IGARSS 2019 - 2019 IEEE International Geoscience and Remote Sensing Symposium》;第3840-3843页 *
基于自旋式Unet++网络的小麦条锈病菌夏孢子自动检测方法;周晋兵等;《南京农业大学学报》;第1-10页 *

Also Published As

Publication number Publication date
CN116630971A (zh) 2023-08-22

Similar Documents

Publication Publication Date Title
CN108364288B (zh) 用于乳腺癌病理图像的分割方法和装置
CN107564025B (zh) 一种基于深度神经网络的电力设备红外图像语义分割方法
CN107256558B (zh) 一种无监督式的宫颈细胞图像自动分割方法及系统
CN109446992B (zh) 基于深度学习的遥感影像建筑物提取方法及系统、存储介质、电子设备
Liu et al. DeepCrack: A deep hierarchical feature learning architecture for crack segmentation
CN116630971B (zh) 基于CRF_ResUnet++网络的小麦赤霉病孢子分割方法
CN110059768B (zh) 用于街景理解的融合点与区域特征的语义分割方法及系统
CN107644420B (zh) 基于中心线提取的血管图像分割方法、核磁共振成像系统
CN108537239B (zh) 一种图像显著性目标检测的方法
CN111931811B (zh) 一种基于超像素图像相似度的计算方法
CN111612008A (zh) 基于卷积网络的图像分割方法
Ji et al. Parallel fully convolutional network for semantic segmentation
CN108230330B (zh) 一种快速的高速公路路面分割和摄像机定位的方法
CN105931241B (zh) 一种自然场景图像的自动标注方法
CN111709901A (zh) 基于FCM聚类匹配+Wallis滤波的无重多/高光谱遥感图像匀色方法
CN113033432A (zh) 一种基于渐进监督的遥感影像居民区提取方法
CN111476794A (zh) 一种基于unet的宫颈病理组织分割方法
CN111210447B (zh) 一种苏木精-伊红染色病理图像层次分割的方法及终端
CN115546466A (zh) 一种基于多尺度显著特征融合的弱监督图像目标定位方法
CN113658129B (zh) 一种结合视觉显著性和线段强度的阵地提取方法
Han et al. Segmenting images with complex textures by using hybrid algorithm
CN113344933B (zh) 一种基于多层次特征融合网络的腺体细胞分割方法
CN104732230A (zh) 一种基于细胞核统计信息的病理图像局部特征提取方法
CN113240620B (zh) 基于点标记的高度黏连和多尺寸脑神经元自动分割方法
CN112508860B (zh) 一种免疫组化图像核阳性的人工智能判读方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant