CN109544554B - 一种植物图像分割及叶片骨架提取方法及系统 - Google Patents
一种植物图像分割及叶片骨架提取方法及系统 Download PDFInfo
- Publication number
- CN109544554B CN109544554B CN201811216474.4A CN201811216474A CN109544554B CN 109544554 B CN109544554 B CN 109544554B CN 201811216474 A CN201811216474 A CN 201811216474A CN 109544554 B CN109544554 B CN 109544554B
- Authority
- CN
- China
- Prior art keywords
- neural network
- plant
- layer
- sub
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 74
- 238000003709 image segmentation Methods 0.000 title claims abstract description 39
- 238000013528 artificial neural network Methods 0.000 claims abstract description 114
- 230000011218 segmentation Effects 0.000 claims abstract description 80
- 238000003062 neural network model Methods 0.000 claims abstract description 55
- 238000012549 training Methods 0.000 claims abstract description 35
- 238000000034 method Methods 0.000 claims abstract description 16
- 238000011176 pooling Methods 0.000 claims description 45
- 238000012545 processing Methods 0.000 claims description 35
- 238000005070 sampling Methods 0.000 claims description 31
- 230000001629 suppression Effects 0.000 claims description 27
- 230000009467 reduction Effects 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 11
- 239000000284 extract Substances 0.000 claims description 8
- 238000002372 labelling Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 5
- 238000003672 processing method Methods 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 claims description 2
- 230000004927 fusion Effects 0.000 description 7
- 230000008901 benefit Effects 0.000 description 5
- 230000009191 jumping Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 210000000988 bone and bone Anatomy 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008635 plant growth Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30188—Vegetation; Agriculture
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种植物精细分割和叶片骨架提取方法及系统,其方法包括构建包括多个子神经网络的混合神经网络模型;采集多张植物图像作为训练图像样本,根据训练图像样本标注对应植物的类别和叶片骨架,并根据标注后的训练图像样本对混合神经网络模型进行训练;采集目标植物图像,并将目标植物图像输入训练后的混合神经网络模型,训练后的混合神经网络模型输出植物图像分割结果和植物叶片骨架提取结果。本发明的植物图像分割及叶片骨架提取方法,通过构建混合神经网络模型,并采采集植物图像对混合神经网络模型进行训练,从而同时实现植物图像精细分割和叶片骨架提取,并且能有效抑制负复杂背景的干扰,提高植物图像分割及叶片骨架提取的精度。
Description
技术领域
本发明涉及图像处理技术领域,尤其涉及一种植物图像分割及叶片骨架提取方法及系统。
背景技术
在植物学研究领域,科学家通过研究植物生长过程能够进行更深入的基因遗传等研究。随着图像技术快速发展,植物图像分析能够快速准确地提供定量的植物生长状态指标给科学家,辅助科学家进一步的深入研究。现今大热的深入学习方法已被广泛应用到植物图像分割及识别中,例如卷积神经网络。常用的卷积神经网络有VGG、FCN、U-Net,这些网络具有深层结构,能够提取深层图像特征极大提高植物图像分割识别的正确率。
针对复杂植物图像场景,VGG虽然能够实现植物精细分割,但是在复杂背景上(例如植物培养箱中强光的反射、观察镜中的植物影子等)极易产生误检,即对复杂背景干扰很敏感;FCN具有强的复杂背景干扰抑制能力,但是难以实现精细的植物分割,漏检小植物及其叶片;U-Net融合浅层图像细节信息和深层图像语义特征,在植物精细分割和复杂背景干扰抑制之间实现性能折中,但是U-Net不能同时输出植物分割结果和叶片骨架提取结果。
发明内容
本发明所要解决的技术问题是针对上述现有技术的不足,提供一种植物图像分割及叶片骨架提取方法及系统,同时实现植物图像精细分割和叶片骨架提取。
本发明解决上述技术问题的技术方案如下:一种植物精细分割和叶片骨架提取方法,包括如下步骤:
步骤1:构建包括多个子神经网络的混合神经网络模型;
步骤2:采集多张植物图像作为训练图像样本,根据所述训练图像样本标注对应植物的类别和叶片骨架,并根据标注后的所述训练图像样本对所述混合神经网络模型进行训练;
步骤3:采集目标植物图像,并将所述目标植物图像输入训练后的所述混合神经网络模型,训练后的所述混合神经网络模型输出植物图像分割结果和植物叶片骨架提取结果。
本发明的有益效果是:本发明的植物图像分割及叶片骨架提取方法,通过构建混合神经网络模型,并采采集植物图像对所述混合神经网络模型进行训练,从而同时实现植物图像精细分割和叶片骨架提取,并且能有效抑制负复杂背景的干扰,提高植物图像分割及叶片骨架提取的精度。
在上述技术方案的基础上,本发明还可以做如下改进:
进一步:所述步骤1中,混合神经网络模型至少包括第一子神经网络N1、第二子神经网络N2和第三子神经网络N3,所述第二子神经网络N2包括相互级联的第一子结构K1和第二子结构K2。
上述进一步方案的有益效果是:通过不同的子神经网络组合形成混合神经网络模型,同时实现植物精细分割和也变骨架的提取,有效地对复杂背景干扰进行抑制。
进一步:所述步骤3中,训练后的所述混合神经网络模型根据所述模型参数输出植物图像分割结果和植物叶片骨架提取结果具体包括如下步骤:
步骤31:所述第一子神经网络N1根据所述目标植物图像提取浅层图像细节特征一和深层图像语义特征一,并根据所述浅层图像细节特征一和深层图像语义特征一输出带有植物细节信息的分割得分图;
步骤32:所述第一子结构K1根据所述目标植物图像提取深层图像语义特征二,并根据所述深层图像语义特征二输出带有背景干扰抑制的植物分割得分图;所述第二子结构K2根据所述植物分割得分图输出植物叶片骨架提取结果;
步骤33:所述第三子神经网络N3将所述带有植物细节信息的分割得分图和带有背景干扰抑制的植物分割得分图进行融合处理,输出所述植物图像分割结果。
上述进一步方案的有益效果是:通过获取带有植物细节信息的分割得分图和带有复杂背景干扰抑制的植物分割得分图以及植物叶片骨架提取结果,植物叶片骨架提取结果直接对外输出,再将带有植物细节信息的分割得分图和带有复杂背景干扰抑制的植物分割得分图融合,即可得到所述植物图像的精确分割结果。
进一步:所述步骤31具体包括:
步骤311:所述第一子神经网络N1中的卷积层对所述目标植物图像进行提取处理,得到浅层图像细节特征一;
步骤312:所述第一子神经网络N1中的池化层和上采样层依次对所述浅层图像细节特征一分别进行降维处理和升维处理,并得到深层图像语义特征一;
步骤313:所述第一子神经网络N1中的拼接层将所述浅层图像细节特征一和深层图像语义特征一进行拼接,得到带有植物细节信息的分割得分图。
上述进一步方案的有益效果是:通过对所述浅层图像细节特征一和深层图像语义特征一进行拼接,可以准确地获取带有植物细节信息的分割得分图。
进一步:所述步骤32具体包括:
步骤321:所述第一子结构K1中的卷积层对所述目标植物图像进行提取处理,得到浅层图像细节特征二;
步骤322:所述第一子结构K1中池化层和上采样层依次对所述浅层图像细节特征二分别进行降维处理和升维处理,并得到深层图像语义特征二;
步骤323:所述第一子结构K1中反卷积层对所述深层图像语义特征二进行提取处理,得到带有复杂背景干扰抑制的植物分割得分图;
步骤324:所述第二子结构K2中的卷积层对所述带有复杂背景干扰抑制的植物分割得分图进行提取出处理,得到叶片初步骨架特征;
步骤325:所述第二子结构K2中的池化层、上采样层和反卷积层依次对所述叶片初步骨架特征分别进行降维处理、升维处理和提取处理,并得到叶片骨架提取结果。
上述进一步方案的有益效果是:所述第一子结构K1对所述目标植物图像进行提取处理,对所述浅层图像细节特征二分别进行降维处理和升维处理,得到深层图像语义特征二并抛去部分细节信息,减少复杂背景的干扰,输出带有复杂背景干扰抑制的植物分割得分图;所述第二子结构K2对所述植物分割得分图进行提取、降维、升维和提取处理,即可得到叶片骨架提取结果。
本发明还提供了一种植物图像分割及叶片骨架提取系统,包括:
模型构建模块,用于构建包括多个子神经网络的混合神经网络模型;
采集训练模块,用于采集多张植物图像作为训练图像样本,根据所述训练图像样本标注对应植物的类别和叶片骨架,并根据标注后的所述训练图像样本对所述混合神经网络模型进行训练;
采集处理模块,用于采集目标植物图像,并将所述目标植物图像输入训练后的所述混合神经网络模型,训练后的所述混合神经网络模型根据所述模型参数输出植物图像分割结果和植物叶片骨架提取结果。
本发明的植物图像分割及叶片骨架提取系统,通过构建混合神经网络模型,并采采集植物图像对所述混合神经网络模型进行训练,从而同时实现植物图像精细分割和叶片骨架提取,并且能有效抑制负复杂背景的干扰,提高植物图像分割及叶片骨架提取的精度。
在上述技术方案的基础上,本发明还可以做如下改进:
进一步:所述混合神经网络模型至少包括第一子神经网络N1、第二子神经网络N2和第三子神经网络N3,所述第二子神经网络N2包括相互级联的第一子结构K1和第二子结构K2;
所述第一子神经网络N1包括数量均为至少一个的卷积层{Ci 1,i=1,…,nc1 1,nc1 1≥1}、池化层{Pi 1,i=1,…,np 1,np 1≥1}、上采样层{Ui 1,i=1,…,nu 1,nu 1≥1}、拼接层{Ai 1,i=1,…,na 1,na 1≥1}、卷积层{Ci 1,i=nc1 1+1,…,nc1 1+nc2 1,nc2 1≥1}和跳跃结构{Si 1,i=1,…,nd 1,nd 1≥1};
所述第一子结构K1包括数量均为至少一个的卷积层{Ci 2-1,i=1,…,nc 2-1,nc 2-1≥1}、池化层{Pi 2-1,i=1,…,np 2-1,np 2-1≥1}、上采样层{Ui 2-1,i=1,…,nu 2-1,nu 2-1≥1}和反卷积层{Di 2-1,i=1,…,nd 2-1,nd 2-1≥1};所述第二子结构K2包含数量均为至少一个卷积层{Ci 2 -2,i=1,…,nc 2-2,nc 2-2≥1}、池化层{Pi 2-2,i=1,…,np 2-2,np 2-2≥1}、上采样层{Ui 2-2,i=1,…,nu 2-2,nu 2-2≥1}和反卷积层{Di 2-2,i=1,…,nd 2-2,nd 2-2≥1};
所述第三子神经网络N3包括数量均为至少一个的拼接层{Ai 3,i=1,…,na 3,na 3≥1},一个卷积层{Ci 3,i=1,…,nc 3,nc 3≥1}。
上述进一步方案的有益效果是:通过不同的子神经网络组合形成混合神经网络模型,同时实现植物精细分割和也变骨架的提取,有效地对复杂背景干扰进行抑制。
进一步:所述第一子神经网络N1中的池化层、上采样层、拼接层的层数相同。
上述进一步方案的有益效果是:通过设置所述池化层、上采样层、拼接层的层数相同,能够使得混合神经网络输出与输入图像尺寸相同的分割结果,并且,拼接层与上采样层相等,还可以把每个输出的深层的图像语义特征都与浅层的图像细节特征融合,尽量去融合特征,提高分割的精细程度。
本发明还提供了一种植物图像分割及叶片骨架提取装置,所述装置包括存储器和处理器;
所述存储器,用于存储计算机程序;
所述处理器,用于当执行所述计算机程序时,实现所述的基于多粒度网络融合的光学遥感图像分割方法。
本发明还提供了一种计算机可读存储介质,所述存储介质上存储有计算机程序,当所述计算机程序被处理器执行时,实现所述的植物图像分割及叶片骨架提取方法。
附图说明
图1为本发明的植物图像分割及叶片骨架提取方法流程示意图;
图2为本发明的一实施例的混合神经网络模型结构的示意图;
图3为本发明的植物图像分割及叶片骨架提取系统结构示意图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述,所举实例只用于解释本发明,并非用于限定本发明的范围。
如图1所示,一种植物图像分割及叶片骨架提取方法,包括如下步骤:
步骤1:构建包括多个子神经网络的混合神经网络模型;
步骤2:采集至少一张植物图像作为训练图像样本,根据所述训练图像样本标注对应植物的类别和叶片骨架,并根据标注后的所述训练图像样本对所述混合神经网络模型进行训练;
步骤3:采集目标植物图像,并将所述目标植物图像输入训练后的所述混合神经网络模型,训练后的所述混合神经网络模型输出植物图像分割结果和植物叶片骨架提取结果。
本发明的植物图像分割及叶片骨架提取方法,通过构建混合神经网络模型,并采采集植物图像对所述混合神经网络模型进行训练,从而同时实现植物图像精细分割和叶片骨架提取,并且能有效抑制负复杂背景的干扰,提高植物图像分割及叶片骨架提取的精度。
在本发明提供的实施例中,所述步骤1中,混合神经网络模型至少包括第一子神经网络N1、第二子神经网络N2和第三子神经网络N3,所述第二子神经网络N2包括相互级联的第一子结构K1和第二子结构K2。通过不同的子神经网络组合形成混合神经网络模型,同时实现植物精细分割和也变骨架的提取,有效地对复杂背景干扰进行抑制。
当然,实际中,所述混合神经网络模型还可以包括更多个子神经网络,更多个子神经网络可以对上述第一子神经网络N1、第二子神经网络N2和第三子神经网络N3的每个输出结果进行验证和平均,使得最终的分割结果和叶片提取骨架更加精确。
在本发明提供的实施例中,所述步骤3中,训练后的所述混合神经网络模型根据所述模型参数输出植物图像分割结果和植物叶片骨架提取结果具体包括如下步骤:
步骤31:所述第一子神经网络N1根据所述目标植物图像提取浅层图像细节特征一和深层图像语义特征一,并根据所述浅层图像细节特征一和深层图像语义特征一拼接输出带有植物细节信息的分割得分图;
步骤32:所述第一子结构K1根据所述目标植物图像提取深层图像语义特征二,并根据所述深层图像语义特征二输出带有背景干扰抑制的植物分割得分图;所述第二子结构K2根据所述植物分割得分图输出植物叶片骨架提取结果;
步骤33:所述第三子神经网络N3将所述带有植物细节信息的分割得分图和带有背景干扰抑制的植物分割得分图进行融合处理,输出所述植物图像分割结果。
通过获取带有植物细节信息的分割得分图和带有复杂背景干扰抑制的植物分割得分图以及植物叶片骨架提取结果,植物叶片骨架提取结果直接对外输出,再将所述带有植物细节信息的分割得分图和带有复杂背景干扰抑制的植物分割得分图融合,即可得到所述植物图像的精确分割结果。
在本发明提供的实施例中,所述步骤31具体包括:
步骤311:所述第一子神经网络N1中的卷积层对所述目标植物图像进行提取处理,得到浅层图像细节特征一;
步骤312:所述第一子神经网络N1中的池化层和上采样层依次对所述浅层图像细节特征一分别进行降维处理和升维处理,并得到深层图像语义特征一;
步骤313:所述第一子神经网络N1中的拼接层将所述浅层图像细节特征一和深层图像语义特征一进行拼接,得到带有植物细节信息的分割得分图。
通过对所述浅层图像细节特征一和深层图像语义特征一进行拼接,可以准确地获取带有植物细节信息的分割得分图。
在第一子神经网络N1中,跳跃结构Si 1首先将针对上采样层Ui 1选择在池化层相邻的前一个卷积层,接着将此卷积层的输出和Ui 1的输出传送给拼接层Ai 1;每个拼接层有两个输入,拼接层将此两个输入串行拼接,并将拼接结果传给下一层。
在本发明提供的实施例中,所述步骤32具体包括:
步骤321:所述第一子结构K1中的卷积层对所述目标植物图像进行提取处理,得到浅层图像细节特征二;
步骤322:所述第一子结构K1中池化层和上采样层依次对所述浅层图像细节特征二分别进行降维处理和升维处理,并得到深层图像语义特征二;
步骤323:所述第一子结构K1中反卷积层对所述深层图像语义特征二进行提取处理,得到带有复杂背景干扰抑制的植物分割得分图;
步骤324:所述第二子结构K2中的卷积层对所述带有复杂背景干扰抑制的植物分割得分图进行提取出处理,得到叶片初步骨架特征;
步骤325:所述第二子结构K2中的池化层、上采样层和反卷积层依次对所述叶片初步骨架特征分别进行降维处理、升维处理和提取处理,并得到叶片骨架提取结果。
所述第一子结构K1对所述目标植物图像进行提取处理,对所述浅层图像细节特征二分别进行降维处理和升维处理,得到深层图像语义特征二并抛去部分细节信息,减少复杂背景的干扰,输出带有复杂背景干扰抑制的植物分割得分图;所述第二子结构K2对所述植物分割得分图进行提取、降维、升维和提取处理,即可得到叶片骨架提取结果。
这里,优选地,在本发明提供的实施例中,所述第一子神经网络N1中的池化层、上采样层、拼接层的层数相同。通过设置所述池化层、上采样层、拼接层的层数相同,能够使得混合神经网络输出与输入图像尺寸相同的分割结果,并且,拼接层与上采样层相等,还可以把每个输出的深层的图像语义特征都与浅层的图像细节特征融合,尽量去融合特征,提高分割的精细程度。
如图2所指示,为本发明中的具体实施例。首先构建混合神经网络模型,第一子神经网络N1的结构为卷积层C1 1-卷积层C2 1-池化层P1 1-卷积层C3 1-卷积层C4 1-池化层P2 1-卷积层C5 1-卷积层C6 1-池化层P3 1-卷积层C7 1-卷积层C8 1-池化层P4 1-卷积层C9 1-卷积层C10 1-上采样层U1 1-拼接层A1 1-卷积层C11 1-卷积层C12 1-上采样层U2 1-拼接层A2 1-卷积层C13 1-卷积层C14 1-上采样层U3 1-拼接层A3 1-卷积层C15 1-卷积层C16 1-上采样层U4 1-拼接层A4 1-卷积层C17 1-卷积层C18 1-卷积层C19 1;
第二子神经网络N2中第一子结构K1的结构为卷积层C1 2-1-卷积层C2 2-1-池化层P1 2-1-卷积层C3 2-1-卷积层C4 2-1-池化层P2 2-1-卷积层C5 2-1-卷积层C6 2-1-卷积层C7 2-1-池化层P3 2-1-卷积层C8 2-1-卷积层C9 2-1-卷积层C10 2-1-池化层P4 2-1-上采样层U1 2-1-反卷积层D1 2-1-反卷积层D2 2-1-反卷积层D3 2-1-上采样层U2 2-1-反卷积层D4 2-1-反卷积层D5 2-1-反卷积层D6 2-1-上采样层U3 2-1-反卷积层D7 2-1-反卷积层D8 2-1-上采样层U4 2-1-反卷积层D9 2-1-反卷积层D10 2-1-反卷积层D11 2-1;
第二子神经网络N2中第二子结构K2的结构为卷积层C1 2-2-卷积层C2 2-2-池化层P1 2-2-卷积层C3 2-2-卷积层C4 2-2-池化层P2 2-2-卷积层C5 2-2-卷积层C6 2-2-卷积层C7 2-2-池化层P3 2-2-卷积层C8 2-2-卷积层C9 2-2-卷积层C10 2-2-池化层P4 2-2-上采样层U1 2-2-反卷积层D1 2-2-反卷积层D2 2-2-反卷积层D3 2-2-上采样层U2 2-2-反卷积层D4 2-2-反卷积层D5 2-2-反卷积层D6 2-2-上采样层U3 2-2-反卷积层D7 2-2-反卷积层D8 2-2-上采样层U4 2-2-反卷积层D9 2-2-反卷积层D10 2-2-反卷积层D11 2-2;
第三子神经网络N3的结构为融合层A1 3-卷积层C1 3-卷积层C2 3-卷积层C3 3-卷积层C4 3-卷积层C5 3。
其次,采集至少一张植物图像作为训练图像样本,并根据所述训练图像样本标注植物类别及叶片骨架,基于标注后的所述训练图像样本利用反向传播算法训练混合神经网络融合模型的参数。这里,对所述训练图像样本标注可以采用现有的视觉识别,或者采用人工手动标记方式完成,这里不再赘述。
最后,采集目标植物图像,并将所述目标植物图像输入训练后的所述混合神经网络模型,训练后的所述混合神经网络模型输出植物图像分割结果和植物叶片骨架提取结果,具体如下:
第一子神经网络N1接收植物图像,卷积层从植物图像中提取浅层图像细节特征一,池化层对浅层图像细节特征一进行降维,上采样层对图像特征进行升维,得到深层图像语义特征一,图2实施例中跳跃结构S1 1选择C8 1和U1 1的输出,并传给拼接层A1 1;跳跃结构S2 1选择C6 1和U2 1的输出,并传给拼接层A2 1;跳跃结构S3 1选择C4 1和U3 1的输出,并传给拼接层A3 1;跳跃结构S4 1选择C2 1和U4 1的输出,并传给拼接层A4 1;由此,跳跃结构选择来自浅卷积层的细节特征与来自深上采样层的语义特征并输入到拼接层中,拼接层直接拼接这些细节特征和语义特征,最后N1输出带有植物细节信息的植物分割得分图;
第二子神经网络N2子网络接收植物图像,首先将植物图像输入给第一子结构K1,第一子结构K1利用卷积层提取浅层图像细节特征二,池化层对浅层图像细节特征二进行降维,降维后的图像特征抛去了部分细节,上采样层对降维后的图像特征直接进行升维,升维后的特征缺少细节,得到深层图像语义特征二,反卷积层直接对升维后的深层图像语义特征二提取图像特征,得到带有复杂背景干扰抑制的植物分割得分图,而没有加入额外的细节信息用于植物分割。因此,由于抛去细节信息,第一子结构K1能够有效抑制复杂背景的干扰,图2实施例中,第一子结构K1通过最后一层D11 2-1输出带有复杂背景干扰抑制的植物分割得分图;图2实施例中,K1中最后一层D11 2-1的输出(带有复杂背景干扰抑制的植物分割得分图)输入到第一子结构K2的第一层C1 2-2,接着第一子结构K2利用卷积层提取叶片初步骨架特征,池化层降维处理,上采样层升维处理,反卷积层进一步提取得到更稳定的叶片骨架特征,最后第一子结构K2输出叶片骨架提取结果;
第三子神经网络N3子网络接收两个输入,一个是第一子神经网络N1输出的带有植物细节信息的植物分割得分图,另一个是第二子神经网络N2中第一子结构K1输出带有复杂背景干扰抑制的植物分割得分图,图2实施例中第三子神经网络N3利用拼接层A1 3拼接这两个输入,通过卷积层进一步提取植物分割特征,最后输出植物精细分割结果,并有效抑制复杂背景干扰。
综上,混合神经网络模型通过结合第一子神经网络N1、第二子神经网络N2和第三子神经网络N3同时实现植物精细分割和叶片骨架提取,并且能够对复杂背景干扰进行有效抑制。
如图3所示,本发明还提供了一种植物图像分割及叶片骨架提取系统,包括:
模型构建模块,用于构建包括多个子神经网络的混合神经网络模型;
采集训练模块,用于采集多张植物图像作为训练图像样本,根据所述训练图像样本标注对应植物的类别和叶片骨架,并根据标注后的所述训练图像样本对所述混合神经网络模型进行训练;
采集处理模块,用于采集目标植物图像,并将所述目标植物图像输入训练后的所述混合神经网络模型,训练后的所述混合神经网络模型根据所述模型参数输出植物图像分割结果和植物叶片骨架提取结果。
本发明的植物图像分割及叶片骨架提取系统,通过构建混合神经网络模型,并采采集植物图像对所述混合神经网络模型进行训练,从而同时实现植物图像精细分割和叶片骨架提取,并且能有效抑制负复杂背景的干扰,提高植物图像分割及叶片骨架提取的精度。
在本发明提供的实施例中,所述混合神经网络模型至少包括第一子神经网络N1、第二子神经网络N2和第三子神经网络N3,所述第二子神经网络N2包括相互级联的第一子结构K1和第二子结构K2;
所述第一子神经网络N1包括数量均为至少一个的卷积层{Ci 1,i=1,…,nc1 1,nc1 1≥1}、池化层{Pi 1,i=1,…,np 1,np 1≥1}、上采样层{Ui 1,i=1,…,nu 1,nu 1≥1}、拼接层{Ai 1,i=1,…,na 1,na 1≥1}、卷积层{Ci 1,i=nc1 1+1,…,nc1 1+nc2 1,nc2 1≥1}和跳跃结构{Si 1,i=1,…,nd 1,nd 1≥1};
所述第一子结构K1包括数量均为至少一个的卷积层{Ci 2-1,i=1,…,nc 2-1,nc 2-1≥1}、池化层{Pi 2-1,i=1,…,np 2-1,np 2-1≥1}、上采样层{Ui 2-1,i=1,…,nu 2-1,nu 2-1≥1}和反卷积层{Di 2-1,i=1,…,nd 2-1,nd 2-1≥1};所述第二子结构K2包含数量均为至少一个卷积层{Ci 2 -2,i=1,…,nc 2-2,nc 2-2≥1}、池化层{Pi 2-2,i=1,…,np 2-2,np 2-2≥1}、上采样层{Ui 2-2,i=1,…,nu 2-2,nu 2-2≥1}和反卷积层{Di 2-2,i=1,…,nd 2-2,nd 2-2≥1};
所述第三子网络N3包括数量均为至少一个的拼接层{Ai 3,i=1,…,na 3,na 3≥1},一个卷积层{Ci 3,i=1,…,nc 3,nc 3≥1}。
其中,所述Ci j表示Nj子神经网络中第i个卷积层;所述Pi j表示Nj子神经网络中第i个池化层;所述Ui j表示Nj子神经网络中第i个上采样层;所述Di j表示Nj子神经网络中第i个反卷积层;所述Ai j表示Nj子神经网络中第i个拼接层;所述Si j表示Nj子神经网络中第i个跳跃结构;所述Ci 2-z表示N2子神经网络中Kz中的第i个卷积层;所述Pi 2-z表示N2子神经网络中Kz中的第i个池化层;所述Ui 2-z表示N2子神经网络中Kz中的第i个上采样层;所述Di 2-z表示N2子神经网络中Kz中的第i个反卷积层;所述n表示对应层的个数。
这里,所述跳跃结构{Si 1,i=1,…,nd 1,nd 1≥1}融合网络中来自浅层的植物细节特征和来自深层的语义特征,使得第一子神经网络N1能够输出带有植物细节信息的植物分割得分图;第二子神经网络N2为带有级联结构的深层神经网络,包含两个具有级联关系的第一子结构K1和第二子结构K2,第一子结构K1和第二子结构K2都具有深层神经网络的结构,第一子结构K1的输出为第二子结构K2的输入,第一子结构K1利用降采样-上采样结构抛去部分细节信息,减少复杂背景的干扰,输出带有复杂背景干扰抑制的植物分割得分图,第二子结构K2利用深层卷积神经网络结构输出叶片骨架提取结果;第三子神经网络N3融合第一子神经网络N1和第二子神经网络N2的输出,融合带有植物细节信息的分割得分图和带有复杂背景干扰抑制的植物分割图,输出植物精细分割结果并有效抑制复杂背景的干扰。
通过不同的子神经网络组合形成混合神经网络模型,同时实现植物精细分割和也变骨架的提取,有效地对复杂背景干扰进行抑制。
优选地,在本发明提供的实施例中,所述第一子神经网络N1中的池化层、上采样层、拼接层的层数相同。通过设置所述池化层、上采样层、拼接层的层数相同,能够使得混合神经网络输出与输入图像尺寸相同的分割结果,并且,拼接层与上采样层相等,还可以把每个输出的深层的图像语义特征都与浅层的图像细节特征融合,尽量去融合特征,提高分割的精细程度。
本发明还提供了一种植物图像分割及叶片骨架提取装置,所述装置包括存储器和处理器;
所述存储器,用于存储计算机程序;
所述处理器,用于当执行所述计算机程序时,实现所述的基于多粒度网络融合的光学遥感图像分割方法。
本发明还提供了一种计算机可读存储介质,所述存储介质上存储有计算机程序,当所述计算机程序被处理器执行时,实现所述的植物图像分割及叶片骨架提取方法。
需要说明的是,本发明的实施例中,术语“一”、“二”、“第一”和“第二”等仅用于描述目的,并非逻辑意义上的一和二、或者第一和第二,一和二仅用于区分两个不同的浅层图像细节特征或深层图像语义特征,第一和第二仅用于区分不同的的子神经网络,不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“一”、“二”、“第一”和“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (5)
1.一种植物图像分割及叶片骨架提取方法,其特征在于,包括如下步骤:
步骤1:构建包括多个子神经网络的混合神经网络模型,所述混合神经网络模型至少包括第一子神经网络N1、第二子神经网络N2和第三子神经网络N3,所述第二子神经网络N2包括相互级联的第一子结构K1和第二子结构K2;
步骤2:采集至少一张植物图像作为训练图像样本,根据所述训练图像样本标注对应植物的类别和叶片骨架,并根据标注后的所述训练图像样本对所述混合神经网络模型进行训练;
步骤3:采集目标植物图像,并将所述目标植物图像输入训练后的所述混合神经网络模型,训练后的所述混合神经网络模型输出植物图像分割结果和植物叶片骨架提取结果;
所述步骤3中,训练后的所述混合神经网络模型根据所述模型参数输出植物图像分割结果和植物叶片骨架提取结果具体包括如下步骤:
步骤31:所述第一子神经网络N1根据所述目标植物图像提取浅层图像细节特征一和深层图像语义特征一,并根据所述浅层图像细节特征一和深层图像语义特征一输出带有植物细节信息的分割得分图;
步骤32:所述第一子结构K1根据所述目标植物图像提取深层图像语义特征二,并根据所述深层图像语义特征二输出带有背景干扰抑制的植物分割得分图;所述第二子结构K2根据所述植物分割得分图输出植物叶片骨架提取结果;
步骤33:所述第三子神经网络N3将所述带有植物细节信息的分割得分图和带有背景干扰抑制的植物分割得分图进行融合处理,输出所述植物图像分割结果;
所述步骤31具体包括:
步骤311:所述第一子神经网络N1中的卷积层对所述目标植物图像进行提取处理,得到浅层图像细节特征一;
步骤312:所述第一子神经网络N1中的池化层和上采样层依次对所述浅层图像细节特征一分别进行降维处理和升维处理,并得到深层图像语义特征一;
步骤313:所述第一子神经网络N1中的拼接层将所述浅层图像细节特征一和深层图像语义特征一进行拼接,得到带有植物细节信息的分割得分图;
所述步骤32具体包括:
步骤321:所述第一子结构K1中的卷积层对所述目标植物图像进行提取处理,得到浅层图像细节特征二;
步骤322:所述第一子结构K1中池化层和上采样层依次对所述浅层图像细节特征二分别进行降维处理和升维处理,并得到深层图像语义特征二;
步骤323:所述第一子结构K1中反卷积层对所述深层图像语义特征二进行提取处理,得到带有复杂背景干扰抑制的植物分割得分图;
步骤324:所述第二子结构K2中的卷积层对所述带有复杂背景干扰抑制的植物分割得分图进行提取出处理,得到叶片初步骨架特征;
步骤325:所述第二子结构K2中的池化层、上采样层和反卷积层依次对所述叶片初步骨架特征分别进行降维处理、升维处理和提取处理,并得到叶片骨架提取结果。
2.一种植物图像分割及叶片骨架提取系统,其特征在于,包括:
模型构建模块,用于构建包括多个子神经网络的混合神经网络模型;
采集训练模块,用于采集多张植物图像作为训练图像样本,根据所述训练图像样本标注对应植物的类别和叶片骨架,并根据标注后的所述训练图像样本对所述混合神经网络模型进行训练;
采集处理模块,用于采集目标植物图像,并将所述目标植物图像输入训练后的所述混合神经网络模型,训练后的所述混合神经网络模型根据所述模型参数输出植物图像分割结果和植物叶片骨架提取结果;
所述混合神经网络模型至少包括第一子神经网络N1、第二子神经网络N2和第三子神经网络N3,所述第二子神经网络N2包括相互级联的第一子结构K1和第二子结构K2,其中,所述第一子神经网络N1用于输出带有植物细节信息的植物分割得分图,所述第一子结构K1的输出为所述第二子结构K2的输入,所述第一子结构K1用于通过降采样-上采样结构抛去预设的细节信息,输出带有复杂背景干扰抑制的植物分割得分图,所述第二子结构N2用于通过深层卷积神经网络结构输出叶片骨架提取结果,所述第三子神经网络N3用于融合所述第一子神经网络N1和所述第二子神经网络N2的输出,融合带有植物细节信息的分割得分图和带有复杂背景干扰抑制的植物分割图,输出植物精细分割结果并抑制复杂背景的干扰;
所述第一子神经网络N1包括数量均为至少一个的卷积层{Ci 1,i=1,…,nc1 1,nc1 1≥1}、池化层{Pi 1,i=1,…,np 1,np 1≥1}、上采样层{Ui 1,i=1,…,nu 1,nu 1≥1}、拼接层{Ai 1,i=1,…,na 1,na 1≥1}、卷积层{Ci 1,i=nc1 1+1,…,nc1 1+nc2 1,nc2 1≥1}和跳跃结构{Si 1,i=1,…,nd 1,nd 1≥1};
所述第一子结构K1包括数量均为至少一个的卷积层{Ci 2-1,i=1,…,nc 2-1,nc 2-1≥1}、池化层{Pi 2-1,i=1,…,np 2-1,np 2-1≥1}、上采样层{Ui 2-1,i=1,…,nu 2-1,nu 2-1≥1}和反卷积层{Di 2-1,i=1,…,nd 2-1,nd 2-1≥1};所述第二子结构K2包含数量均为至少一个卷积层{Ci 2-2,i=1,…,nc 2-2,nc 2-2≥1}、池化层{Pi 2-2,i=1,…,np 2-2,np 2-2≥1}、上采样层{Ui 2-2,i=1,…,nu 2 -2,nu 2-2≥1}和反卷积层{Di 2-2,i=1,…,nd 2-2,nd 2-2≥1};
所述第三子神经网络N3包括数量均为至少一个的拼接层{Ai 3,i=1,…,na 3,na 3≥1},一个卷积层{Ci 3,i=1,…,nc 3,nc 3≥1};
其中,Ci j表示Nj子神经网络中第i个卷积层;Pi j表示Nj子神经网络中第i个池化层;Ui j表示Nj子神经网络中第i个上采样层;Di j表示Nj子神经网络中第i个反卷积层;Ai j表示Nj子神经网络中第i个拼接层;Si j表示Nj子神经网络中第i个跳跃结构;Ci 2-z表示N2子神经网络中Kz中的第i个卷积层;Pi 2-z表示N2子神经网络中Kz中的第i个池化层;Ui 2-z表示N2子神经网络中Kz中的第i个上采样层;Di 2-z表示N2子神经网络中Kz中的第i个反卷积层;n表示对应层的个数。
3.根据权利要求2所述的植物图像分割及叶片骨架提取系统,其特征在于,所述第一子神经网络N1中的池化层、上采样层、拼接层的层数相同。
4.一种植物图像分割及叶片骨架提取装置,其特征在于,所述装置包括存储器和处理器;
所述存储器,用于存储计算机程序;
所述处理器,用于当执行所述计算机程序时,实现如权利要求1所述的植物图像分割及叶片骨架提取方法。
5.一种计算机可读存储介质,其特征在于,所述存储介质上存储有计算机程序,当所述计算机程序被处理器执行时,实现如权利要求1所述的植物图像分割及叶片骨架提取方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811216474.4A CN109544554B (zh) | 2018-10-18 | 2018-10-18 | 一种植物图像分割及叶片骨架提取方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811216474.4A CN109544554B (zh) | 2018-10-18 | 2018-10-18 | 一种植物图像分割及叶片骨架提取方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109544554A CN109544554A (zh) | 2019-03-29 |
CN109544554B true CN109544554B (zh) | 2020-01-31 |
Family
ID=65844052
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811216474.4A Active CN109544554B (zh) | 2018-10-18 | 2018-10-18 | 一种植物图像分割及叶片骨架提取方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109544554B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111783506A (zh) * | 2019-05-17 | 2020-10-16 | 北京京东尚科信息技术有限公司 | 目标特征的确定方法、装置和计算机可读存储介质 |
CN110211079B (zh) * | 2019-05-22 | 2021-07-13 | 首都医科大学 | 医学图像的融合方法及装置 |
CN110148146B (zh) * | 2019-05-24 | 2021-03-02 | 重庆大学 | 一种利用合成数据的植物叶片分割方法及系统 |
CN112116595A (zh) * | 2020-10-27 | 2020-12-22 | 河北农业大学 | 一种端到端的植物根系特征自动分割系统 |
CN112581483B (zh) * | 2020-12-22 | 2022-10-04 | 清华大学 | 基于自学习的植物叶片叶脉分割方法和装置 |
CN113554655B (zh) * | 2021-07-13 | 2021-12-31 | 中国科学院空间应用工程与技术中心 | 基于多特征增强的光学遥感图像分割方法及装置 |
CN115375707B (zh) * | 2022-08-18 | 2023-07-25 | 石河子大学 | 一种复杂背景下植物叶片精准分割方法及系统 |
CN117092035A (zh) * | 2023-07-12 | 2023-11-21 | 生态环境部南京环境科学研究所 | 一种多功能智慧植物生长监测系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104915946A (zh) * | 2015-02-10 | 2015-09-16 | 浙江工业大学 | 一种适用于严重退化图像的基于显著性的对象分割方法 |
CN105787519A (zh) * | 2016-03-21 | 2016-07-20 | 浙江大学 | 一种基于叶脉检测的树种分类方法 |
CN106709924A (zh) * | 2016-11-18 | 2017-05-24 | 中国人民解放军信息工程大学 | 基于深度卷积神经网络和超像素的图像语义分割方法 |
CN107122796A (zh) * | 2017-04-01 | 2017-09-01 | 中国科学院空间应用工程与技术中心 | 一种基于多分支网络融合模型的光学遥感图像分类方法 |
CN107657257A (zh) * | 2017-08-14 | 2018-02-02 | 中国矿业大学 | 一种基于多通道卷积神经网络的语义图像分割方法 |
CN108510504A (zh) * | 2018-03-22 | 2018-09-07 | 北京航空航天大学 | 图像分割方法和装置 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101901477B (zh) * | 2010-07-27 | 2013-03-06 | 中国农业大学 | 植物叶片田间图像边缘提取方法及其系统 |
CN103729621B (zh) * | 2013-12-20 | 2017-02-08 | 华南农业大学 | 基于叶片骨架模型的植物叶片图像自动识别方法 |
US10453200B2 (en) * | 2016-11-02 | 2019-10-22 | General Electric Company | Automated segmentation using deep learned priors |
CN106599925A (zh) * | 2016-12-19 | 2017-04-26 | 广东技术师范学院 | 一种基于深度学习的植物叶片识别系统与方法 |
-
2018
- 2018-10-18 CN CN201811216474.4A patent/CN109544554B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104915946A (zh) * | 2015-02-10 | 2015-09-16 | 浙江工业大学 | 一种适用于严重退化图像的基于显著性的对象分割方法 |
CN105787519A (zh) * | 2016-03-21 | 2016-07-20 | 浙江大学 | 一种基于叶脉检测的树种分类方法 |
CN106709924A (zh) * | 2016-11-18 | 2017-05-24 | 中国人民解放军信息工程大学 | 基于深度卷积神经网络和超像素的图像语义分割方法 |
CN107122796A (zh) * | 2017-04-01 | 2017-09-01 | 中国科学院空间应用工程与技术中心 | 一种基于多分支网络融合模型的光学遥感图像分类方法 |
CN107657257A (zh) * | 2017-08-14 | 2018-02-02 | 中国矿业大学 | 一种基于多通道卷积神经网络的语义图像分割方法 |
CN108510504A (zh) * | 2018-03-22 | 2018-09-07 | 北京航空航天大学 | 图像分割方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN109544554A (zh) | 2019-03-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109544554B (zh) | 一种植物图像分割及叶片骨架提取方法及系统 | |
CN111007661B (zh) | 一种基于深度学习的显微图像自动聚焦方法及装置 | |
Luo et al. | Robust grape cluster detection in a vineyard by combining the AdaBoost framework and multiple color components | |
CN110069994B (zh) | 基于人脸多区域的人脸属性识别系统、方法 | |
EP4036796A1 (en) | Automatic modeling method and apparatus for object detection model | |
KR102593835B1 (ko) | 휴리스틱 가우스 클라우드 변환에 기반하는 얼굴인식 기술 | |
CN109740549A (zh) | 基于半监督cnn的sar图像目标检测系统和方法 | |
CN115546664A (zh) | 一种基于级联网络的绝缘子自爆检测方法及系统 | |
CN114372962B (zh) | 基于双粒度时间卷积的腹腔镜手术阶段识别方法与系统 | |
CN114240796B (zh) | 一种基于gan的遥感影像去云雾方法、设备、存储介质 | |
JP6070420B2 (ja) | 画像処理装置及びプログラム | |
CN113744195B (zh) | 一种基于深度学习的hRPE细胞微管自动检测方法 | |
CN114819100A (zh) | 目标检测模型的神经网络搜索方法、装置和电子设备 | |
CN115205520A (zh) | 胃镜图像智能目标检测方法、系统、电子设备及存储介质 | |
Xiong et al. | Unpaired image-to-image translation based domain adaptation for polyp segmentation | |
Noyce et al. | A practical method for staging grapevine inflorescence primordia in season 1, with improved description of stages | |
CN113450297A (zh) | 红外图像和可见光图像的融合模型构建方法及系统 | |
CN106570928B (zh) | 一种基于图像的重光照方法 | |
CN112633248A (zh) | 深度学习全在焦显微图像获取方法 | |
CN111768406A (zh) | 细胞图像处理方法、装置、设备和存储介质 | |
CN116824246A (zh) | 一种基于注意力机制的昆中细粒度图片分类方法 | |
CN114913523B (zh) | 基于yolox的植物气孔多功能实时智能识别系统 | |
CN116523742A (zh) | 基于双路对抗生成网络的卫星遥感图像超分辨重建技术 | |
CN113496485B (zh) | 卫星遥感图像质量评价方法及装置 | |
Huang et al. | Recognition and counting of pitaya trees in karst mountain environment based on unmanned aerial vehicle RGB images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |