CN109544554A - 一种植物图像分割及叶片骨架提取方法及系统 - Google Patents

Abstract

本发明涉及一种植物精细分割和叶片骨架提取方法及系统，其方法包括构建包括多个子神经网络的混合神经网络模型；采集多张植物图像作为训练图像样本,根据训练图像样本标注对应植物的类别和叶片骨架，并根据标注后的训练图像样本对混合神经网络模型进行训练；采集目标植物图像，并将目标植物图像输入训练后的混合神经网络模型，训练后的混合神经网络模型输出植物图像分割结果和植物叶片骨架提取结果。本发明的植物图像分割及叶片骨架提取方法，通过构建混合神经网络模型，并采采集植物图像对混合神经网络模型进行训练，从而同时实现植物图像精细分割和叶片骨架提取，并且能有效抑制负复杂背景的干扰，提高植物图像分割及叶片骨架提取的精度。

Description

一种植物图像分割及叶片骨架提取方法及系统

技术领域

本发明涉及图像处理技术领域，尤其涉及一种植物图像分割及叶片骨架提取方法及系统。

背景技术

在植物学研究领域，科学家通过研究植物生长过程能够进行更深入的基因遗传等研究。随着图像技术快速发展，植物图像分析能够快速准确地提供定量的植物生长状态指标给科学家，辅助科学家进一步的深入研究。现今大热的深入学习方法已被广泛应用到植物图像分割及识别中，例如卷积神经网络。常用的卷积神经网络有VGG、FCN、U-Net，这些网络具有深层结构，能够提取深层图像特征极大提高植物图像分割识别的正确率。

针对复杂植物图像场景，VGG虽然能够实现植物精细分割，但是在复杂背景上(例如植物培养箱中强光的反射、观察镜中的植物影子等)极易产生误检，即对复杂背景干扰很敏感；FCN具有强的复杂背景干扰抑制能力，但是难以实现精细的植物分割，漏检小植物及其叶片；U-Net融合浅层图像细节信息和深层图像语义特征，在植物精细分割和复杂背景干扰抑制之间实现性能折中，但是U-Net不能同时输出植物分割结果和叶片骨架提取结果。

发明内容

本发明所要解决的技术问题是针对上述现有技术的不足，提供一种植物图像分割及叶片骨架提取方法及系统，同时实现植物图像精细分割和叶片骨架提取。

本发明解决上述技术问题的技术方案如下：一种植物精细分割和叶片骨架提取方法，包括如下步骤:

步骤1：构建包括多个子神经网络的混合神经网络模型；

步骤2：采集多张植物图像作为训练图像样本,根据所述训练图像样本标注对应植物的类别和叶片骨架，并根据标注后的所述训练图像样本对所述混合神经网络模型进行训练；

步骤3：采集目标植物图像，并将所述目标植物图像输入训练后的所述混合神经网络模型，训练后的所述混合神经网络模型输出植物图像分割结果和植物叶片骨架提取结果。

本发明的有益效果是：本发明的植物图像分割及叶片骨架提取方法，通过构建混合神经网络模型，并采采集植物图像对所述混合神经网络模型进行训练，从而同时实现植物图像精细分割和叶片骨架提取，并且能有效抑制负复杂背景的干扰，提高植物图像分割及叶片骨架提取的精度。

在上述技术方案的基础上，本发明还可以做如下改进：

进一步：所述步骤1中，混合神经网络模型至少包括第一子神经网络N₁、第二子神经网络N₂和第三子神经网络N₃，所述第二子神经网络N₂包括相互级联的第一子结构K₁和第二子结构K₂。

上述进一步方案的有益效果是：通过不同的子神经网络组合形成混合神经网络模型，同时实现植物精细分割和也变骨架的提取，有效地对复杂背景干扰进行抑制。

进一步：所述步骤3中，训练后的所述混合神经网络模型根据所述模型参数输出植物图像分割结果和植物叶片骨架提取结果具体包括如下步骤：

步骤31：所述第一子神经网络N₁根据所述目标植物图像提取浅层图像细节特征一和深层图像语义特征一，并根据所述浅层图像细节特征一和深层图像语义特征一输出带有植物细节信息的分割得分图；

步骤32：所述第一子结构K₁根据所述目标植物图像提取深层图像语义特征二，并根据所述深层图像语义特征二输出带有背景干扰抑制的植物分割得分图；所述第二子结构K₂根据所述植物分割得分图输出植物叶片骨架提取结果；

步骤33：所述第三子神经网络N₃将所述带有植物细节信息的分割得分图和带有背景干扰抑制的植物分割得分图进行融合处理，输出所述植物图像分割结果。

上述进一步方案的有益效果是：通过获取带有植物细节信息的分割得分图和带有复杂背景干扰抑制的植物分割得分图以及植物叶片骨架提取结果，植物叶片骨架提取结果直接对外输出，再将带有植物细节信息的分割得分图和带有复杂背景干扰抑制的植物分割得分图融合，即可得到所述植物图像的精确分割结果。

进一步：所述步骤31具体包括：

步骤311:所述第一子神经网络N₁中的卷积层对所述目标植物图像进行提取处理，得到浅层图像细节特征一；

步骤312：所述第一子神经网络N₁中的池化层和上采样层依次对所述浅层图像细节特征一分别进行降维处理和升维处理，并得到深层图像语义特征一；

步骤313：所述第一子神经网络N₁中的拼接层将所述浅层图像细节特征一和深层图像语义特征一进行拼接，得到带有植物细节信息的分割得分图。

上述进一步方案的有益效果是：通过对所述浅层图像细节特征一和深层图像语义特征一进行拼接，可以准确地获取带有植物细节信息的分割得分图。

进一步：所述步骤32具体包括：

步骤321：所述第一子结构K₁中的卷积层对所述目标植物图像进行提取处理，得到浅层图像细节特征二；

步骤322：所述第一子结构K₁中池化层和上采样层依次对所述浅层图像细节特征二分别进行降维处理和升维处理，并得到深层图像语义特征二；

步骤323：所述第一子结构K₁中反卷积层对所述深层图像语义特征二进行提取处理，得到带有复杂背景干扰抑制的植物分割得分图；

步骤324：所述第二子结构K₂中的卷积层对所述带有复杂背景干扰抑制的植物分割得分图进行提取出处理，得到叶片初步骨架特征；

步骤325：所述第二子结构K₂中的池化层、上采样层和反卷积层依次对所述叶片初步骨架特征分别进行降维处理、升维处理和提取处理，并得到叶片骨架提取结果。

上述进一步方案的有益效果是：所述第一子结构K₁对所述目标植物图像进行提取处理，对所述浅层图像细节特征二分别进行降维处理和升维处理，得到深层图像语义特征二并抛去部分细节信息，减少复杂背景的干扰，输出带有复杂背景干扰抑制的植物分割得分图；所述第二子结构K₂对所述植物分割得分图进行提取、降维、升维和提取处理，即可得到叶片骨架提取结果。

本发明还提供了一种植物图像分割及叶片骨架提取系统，包括：

模型构建模块，用于构建包括多个子神经网络的混合神经网络模型；

采集训练模块，用于采集多张植物图像作为训练图像样本,根据所述训练图像样本标注对应植物的类别和叶片骨架，并根据标注后的所述训练图像样本对所述混合神经网络模型进行训练；

采集处理模块，用于采集目标植物图像，并将所述目标植物图像输入训练后的所述混合神经网络模型，训练后的所述混合神经网络模型根据所述模型参数输出植物图像分割结果和植物叶片骨架提取结果。

本发明的植物图像分割及叶片骨架提取系统，通过构建混合神经网络模型，并采采集植物图像对所述混合神经网络模型进行训练，从而同时实现植物图像精细分割和叶片骨架提取，并且能有效抑制负复杂背景的干扰，提高植物图像分割及叶片骨架提取的精度。

在上述技术方案的基础上，本发明还可以做如下改进：

进一步：所述混合神经网络模型至少包括第一子神经网络N₁、第二子神经网络N₂和第三子神经网络N₃，所述第二子神经网络N₂包括相互级联的第一子结构K₁和第二子结构K₂；

所述第一子神经网络N₁包括数量均为至少一个的卷积层{C_i ¹,i＝1,…,n_c1 ¹,n_c1 ¹≥1}、池化层{P_i ¹,i＝1,…,n_p ¹,n_p ¹≥1}、上采样层{U_i ¹,i＝1,…,n_u ¹,n_u ¹≥1}、拼接层{A_i ¹,i＝1,…,n_a ¹,n_a ¹≥1}、卷积层{C_i ¹,i＝n_c1 ¹+1,…,n_c1 ¹+n_c2 ¹,n_c2 ¹≥1}和跳跃结构{S_i ¹,i＝1,…,n_d ¹,n_d ¹≥1}；

所述第一子结构K₁包括数量均为至少一个的卷积层{C_i ^2-1,i＝1,…,n_c ^2-1,n_c ^2-1≥1}、池化层{P_i ^2-1,i＝1,…,n_p ^2-1,n_p ^2-1≥1}、上采样层{U_i ^2-1,i＝1,…,n_u ^2-1,n_u ^2-1≥1}和反卷积层{D_i ^2-1,i＝1,…,n_d ^2-1,n_d ^2-1≥1}；所述第二子结构K₂包含数量均为至少一个卷积层{C_i ^{2 -2},i＝1,…,n_c ^2-2,n_c ^2-2≥1}、池化层{P_i ^2-2,i＝1,…,n_p ^2-2,n_p ^2-2≥1}、上采样层{U_i ^2-2,i＝1,…,n_u ^2-2,n_u ^2-2≥1}和反卷积层{D_i ^2-2,i＝1,…,n_d ^2-2,n_d ^2-2≥1}；

所述第三子神经网络N₃包括数量均为至少一个的拼接层{A_i ³,i＝1,…,n_a ³,n_a ³≥1}，一个卷积层{C_i ³,i＝1,…,n_c ³,n_c ³≥1}。

上述进一步方案的有益效果是：通过不同的子神经网络组合形成混合神经网络模型，同时实现植物精细分割和也变骨架的提取，有效地对复杂背景干扰进行抑制。

进一步：所述第一子神经网络N₁中的池化层、上采样层、拼接层的层数相同。

上述进一步方案的有益效果是：通过设置所述池化层、上采样层、拼接层的层数相同，能够使得混合神经网络输出与输入图像尺寸相同的分割结果，并且，拼接层与上采样层相等，还可以把每个输出的深层的图像语义特征都与浅层的图像细节特征融合，尽量去融合特征，提高分割的精细程度。

本发明还提供了一种植物图像分割及叶片骨架提取装置，所述装置包括存储器和处理器；

所述存储器，用于存储计算机程序；

所述处理器，用于当执行所述计算机程序时，实现所述的基于多粒度网络融合的光学遥感图像分割方法。

本发明还提供了一种计算机可读存储介质，所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，实现所述的植物图像分割及叶片骨架提取方法。

附图说明

图1为本发明的植物图像分割及叶片骨架提取方法流程示意图；

图2为本发明的一实施例的混合神经网络模型结构的示意图；

图3为本发明的植物图像分割及叶片骨架提取系统结构示意图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

如图1所示，一种植物图像分割及叶片骨架提取方法，包括如下步骤:

步骤1：构建包括多个子神经网络的混合神经网络模型；

步骤2：采集至少一张植物图像作为训练图像样本,根据所述训练图像样本标注对应植物的类别和叶片骨架，并根据标注后的所述训练图像样本对所述混合神经网络模型进行训练；

步骤3：采集目标植物图像，并将所述目标植物图像输入训练后的所述混合神经网络模型，训练后的所述混合神经网络模型输出植物图像分割结果和植物叶片骨架提取结果。

本发明的植物图像分割及叶片骨架提取方法，通过构建混合神经网络模型，并采采集植物图像对所述混合神经网络模型进行训练，从而同时实现植物图像精细分割和叶片骨架提取，并且能有效抑制负复杂背景的干扰，提高植物图像分割及叶片骨架提取的精度。

在本发明提供的实施例中，所述步骤1中，混合神经网络模型至少包括第一子神经网络N₁、第二子神经网络N₂和第三子神经网络N₃，所述第二子神经网络N₂包括相互级联的第一子结构K₁和第二子结构K₂。通过不同的子神经网络组合形成混合神经网络模型，同时实现植物精细分割和也变骨架的提取，有效地对复杂背景干扰进行抑制。

当然，实际中，所述混合神经网络模型还可以包括更多个子神经网络，更多个子神经网络可以对上述第一子神经网络N₁、第二子神经网络N₂和第三子神经网络N₃的每个输出结果进行验证和平均，使得最终的分割结果和叶片提取骨架更加精确。

在本发明提供的实施例中，所述步骤3中，训练后的所述混合神经网络模型根据所述模型参数输出植物图像分割结果和植物叶片骨架提取结果具体包括如下步骤：

步骤31：所述第一子神经网络N₁根据所述目标植物图像提取浅层图像细节特征一和深层图像语义特征一，并根据所述浅层图像细节特征一和深层图像语义特征一拼接输出带有植物细节信息的分割得分图；

步骤32：所述第一子结构K₁根据所述目标植物图像提取深层图像语义特征二，并根据所述深层图像语义特征二输出带有背景干扰抑制的植物分割得分图；所述第二子结构K₂根据所述植物分割得分图输出植物叶片骨架提取结果；

步骤33：所述第三子神经网络N₃将所述带有植物细节信息的分割得分图和带有背景干扰抑制的植物分割得分图进行融合处理，输出所述植物图像分割结果。

通过获取带有植物细节信息的分割得分图和带有复杂背景干扰抑制的植物分割得分图以及植物叶片骨架提取结果，植物叶片骨架提取结果直接对外输出，再将所述带有植物细节信息的分割得分图和带有复杂背景干扰抑制的植物分割得分图融合，即可得到所述植物图像的精确分割结果。

在本发明提供的实施例中，所述步骤31具体包括：

步骤311:所述第一子神经网络N₁中的卷积层对所述目标植物图像进行提取处理，得到浅层图像细节特征一；

步骤312：所述第一子神经网络N₁中的池化层和上采样层依次对所述浅层图像细节特征一分别进行降维处理和升维处理，并得到深层图像语义特征一；

步骤313：所述第一子神经网络N₁中的拼接层将所述浅层图像细节特征一和深层图像语义特征一进行拼接，得到带有植物细节信息的分割得分图。

通过对所述浅层图像细节特征一和深层图像语义特征一进行拼接，可以准确地获取带有植物细节信息的分割得分图。

在第一子神经网络N₁中，跳跃结构S_i ¹首先将针对上采样层U_i ¹选择在池化层相邻的前一个卷积层，接着将此卷积层的输出和U_i ¹的输出传送给拼接层A_i ¹；每个拼接层有两个输入，拼接层将此两个输入串行拼接，并将拼接结果传给下一层。

在本发明提供的实施例中，所述步骤32具体包括：

步骤321：所述第一子结构K₁中的卷积层对所述目标植物图像进行提取处理，得到浅层图像细节特征二；

步骤322：所述第一子结构K₁中池化层和上采样层依次对所述浅层图像细节特征二分别进行降维处理和升维处理，并得到深层图像语义特征二；

步骤323：所述第一子结构K₁中反卷积层对所述深层图像语义特征二进行提取处理，得到带有复杂背景干扰抑制的植物分割得分图；

步骤324：所述第二子结构K₂中的卷积层对所述带有复杂背景干扰抑制的植物分割得分图进行提取出处理，得到叶片初步骨架特征；

步骤325：所述第二子结构K₂中的池化层、上采样层和反卷积层依次对所述叶片初步骨架特征分别进行降维处理、升维处理和提取处理，并得到叶片骨架提取结果。

所述第一子结构K₁对所述目标植物图像进行提取处理，对所述浅层图像细节特征二分别进行降维处理和升维处理，得到深层图像语义特征二并抛去部分细节信息，减少复杂背景的干扰，输出带有复杂背景干扰抑制的植物分割得分图；所述第二子结构K₂对所述植物分割得分图进行提取、降维、升维和提取处理，即可得到叶片骨架提取结果。

这里，优选地，在本发明提供的实施例中，所述第一子神经网络N₁中的池化层、上采样层、拼接层的层数相同。通过设置所述池化层、上采样层、拼接层的层数相同，能够使得混合神经网络输出与输入图像尺寸相同的分割结果，并且，拼接层与上采样层相等，还可以把每个输出的深层的图像语义特征都与浅层的图像细节特征融合，尽量去融合特征，提高分割的精细程度。

如图2所指示，为本发明中的具体实施例。首先构建混合神经网络模型，第一子神经网络N₁的结构为卷积层C₁ ¹-卷积层C₂ ¹-池化层P₁ ¹-卷积层C₃ ¹-卷积层C₄ ¹-池化层P₂ ¹-卷积层C₅ ¹-卷积层C₆ ¹-池化层P₃ ¹-卷积层C₇ ¹-卷积层C₈ ¹-池化层P₄ ¹-卷积层C₉ ¹-卷积层C₁₀ ¹-上采样层U₁ ¹-拼接层A₁ ¹-卷积层C₁₁ ¹-卷积层C₁₂ ¹-上采样层U₂ ¹-拼接层A₂ ¹-卷积层C₁₃ ¹-卷积层C₁₄ ¹-上采样层U₃ ¹-拼接层A₃ ¹-卷积层C₁₅ ¹-卷积层C₁₆ ¹-上采样层U₄ ¹-拼接层A₄ ¹-卷积层C₁₇ ¹-卷积层C₁₈ ¹-卷积层C₁₉ ¹；

第二子神经网络N₂中第一子结构K₁的结构为卷积层C₁ ^2-1-卷积层C₂ ^2-1-池化层P₁ ^2-1-卷积层C₃ ^2-1-卷积层C₄ ^2-1-池化层P₂ ^2-1-卷积层C₅ ^2-1-卷积层C₆ ^2-1-卷积层C₇ ^2-1-池化层P₃ ^2-1-卷积层C₈ ^2-1-卷积层C₉ ^2-1-卷积层C₁₀ ^2-1-池化层P₄ ^2-1-上采样层U₁ ^2-1-反卷积层D₁ ^2-1-反卷积层D₂ ^2-1-反卷积层D₃ ^2-1-上采样层U₂ ^2-1-反卷积层D₄ ^2-1-反卷积层D₅ ^2-1-反卷积层D₆ ^2-1-上采样层U₃ ^2-1-反卷积层D₇ ^2-1-反卷积层D₈ ^2-1-上采样层U₄ ^2-1-反卷积层D₉ ^2-1-反卷积层D₁₀ ^2-1-反卷积层D₁₁ ^2-1；

第二子神经网络N₂中第二子结构K₂的结构为卷积层C₁ ^2-2-卷积层C₂ ^2-2-池化层P₁ ^2-2-卷积层C₃ ^2-2-卷积层C₄ ^2-2-池化层P₂ ^2-2-卷积层C₅ ^2-2-卷积层C₆ ^2-2-卷积层C₇ ^2-2-池化层P₃ ^2-2-卷积层C₈ ^2-2-卷积层C₉ ^2-2-卷积层C₁₀ ^2-2-池化层P₄ ^2-2-上采样层U₁ ^2-2-反卷积层D₁ ^2-2-反卷积层D₂ ^2-2-反卷积层D₃ ^2-2-上采样层U₂ ^2-2-反卷积层D₄ ^2-2-反卷积层D₅ ^2-2-反卷积层D₆ ^2-2-上采样层U₃ ^2-2-反卷积层D₇ ^2-2-反卷积层D₈ ^2-2-上采样层U₄ ^2-2-反卷积层D₉ ^2-2-反卷积层D₁₀ ^2-2-反卷积层D₁₁ ^2-2；

第三子神经网络N₃的结构为融合层A₁ ³-卷积层C₁ ³-卷积层C₂ ³-卷积层C₃ ³-卷积层C₄ ³-卷积层C₅ ³。

其次，采集至少一张植物图像作为训练图像样本，并根据所述训练图像样本标注植物类别及叶片骨架，基于标注后的所述训练图像样本利用反向传播算法训练混合神经网络融合模型的参数。这里，对所述训练图像样本标注可以采用现有的视觉识别，或者采用人工手动标记方式完成，这里不再赘述。

最后，采集目标植物图像，并将所述目标植物图像输入训练后的所述混合神经网络模型，训练后的所述混合神经网络模型输出植物图像分割结果和植物叶片骨架提取结果，具体如下：

第一子神经网络N₁接收植物图像，卷积层从植物图像中提取浅层图像细节特征一，池化层对浅层图像细节特征一进行降维，上采样层对图像特征进行升维，得到深层图像语义特征一，图2实施例中跳跃结构S₁ ¹选择C₈ ¹和U₁ ¹的输出，并传给拼接层A₁ ¹；跳跃结构S₂ ¹选择C₆ ¹和U₂ ¹的输出，并传给拼接层A₂ ¹；跳跃结构S₃ ¹选择C₄ ¹和U₃ ¹的输出，并传给拼接层A₃ ¹；跳跃结构S₄ ¹选择C₂ ¹和U₄ ¹的输出，并传给拼接层A₄ ¹；由此，跳跃结构选择来自浅卷积层的细节特征与来自深上采样层的语义特征并输入到拼接层中，拼接层直接拼接这些细节特征和语义特征，最后N₁输出带有植物细节信息的植物分割得分图；

第二子神经网络N₂子网络接收植物图像，首先将植物图像输入给第一子结构K₁，第一子结构K₁利用卷积层提取浅层图像细节特征二，池化层对浅层图像细节特征二进行降维，降维后的图像特征抛去了部分细节，上采样层对降维后的图像特征直接进行升维，升维后的特征缺少细节，得到深层图像语义特征二，反卷积层直接对升维后的深层图像语义特征二提取图像特征，得到带有复杂背景干扰抑制的植物分割得分图，而没有加入额外的细节信息用于植物分割。因此，由于抛去细节信息，第一子结构K₁能够有效抑制复杂背景的干扰，图2实施例中，第一子结构K₁通过最后一层D₁₁ ^2-1输出带有复杂背景干扰抑制的植物分割得分图；图2实施例中，K₁中最后一层D₁₁ ^2-1的输出(带有复杂背景干扰抑制的植物分割得分图)输入到第一子结构K₂的第一层C₁ ^2-2，接着第一子结构K₂利用卷积层提取叶片初步骨架特征，池化层降维处理，上采样层升维处理，反卷积层进一步提取得到更稳定的叶片骨架特征，最后第一子结构K₂输出叶片骨架提取结果；

第三子神经网络N₃子网络接收两个输入，一个是第一子神经网络N₁输出的带有植物细节信息的植物分割得分图，另一个是第二子神经网络N₂中第一子结构K₁输出带有复杂背景干扰抑制的植物分割得分图，图2实施例中第三子神经网络N₃利用拼接层A₁ ³拼接这两个输入，通过卷积层进一步提取植物分割特征，最后输出植物精细分割结果，并有效抑制复杂背景干扰。

综上，混合神经网络模型通过结合第一子神经网络N₁、第二子神经网络N₂和第三子神经网络N₃同时实现植物精细分割和叶片骨架提取，并且能够对复杂背景干扰进行有效抑制。

如图3所示，本发明还提供了一种植物图像分割及叶片骨架提取系统，包括：

模型构建模块，用于构建包括多个子神经网络的混合神经网络模型；

采集训练模块，用于采集多张植物图像作为训练图像样本,根据所述训练图像样本标注对应植物的类别和叶片骨架，并根据标注后的所述训练图像样本对所述混合神经网络模型进行训练；

采集处理模块，用于采集目标植物图像，并将所述目标植物图像输入训练后的所述混合神经网络模型，训练后的所述混合神经网络模型根据所述模型参数输出植物图像分割结果和植物叶片骨架提取结果。

本发明的植物图像分割及叶片骨架提取系统，通过构建混合神经网络模型，并采采集植物图像对所述混合神经网络模型进行训练，从而同时实现植物图像精细分割和叶片骨架提取，并且能有效抑制负复杂背景的干扰，提高植物图像分割及叶片骨架提取的精度。

在本发明提供的实施例中，所述混合神经网络模型至少包括第一子神经网络N₁、第二子神经网络N₂和第三子神经网络N₃，所述第二子神经网络N₂包括相互级联的第一子结构K₁和第二子结构K₂；

所述第一子神经网络N₁包括数量均为至少一个的卷积层{C_i ¹,i＝1,…,n_c1 ¹,n_c1 ¹≥1}、池化层{P_i ¹,i＝1,…,n_p ¹,n_p ¹≥1}、上采样层{U_i ¹,i＝1,…,n_u ¹,n_u ¹≥1}、拼接层{A_i ¹,i＝1,…,n_a ¹,n_a ¹≥1}、卷积层{C_i ¹,i＝n_c1 ¹+1,…,n_c1 ¹+n_c2 ¹,n_c2 ¹≥1}和跳跃结构{S_i ¹,i＝1,…,n_d ¹,n_d ¹≥1}；

所述第一子结构K₁包括数量均为至少一个的卷积层{C_i ^2-1,i＝1,…,n_c ^2-1,n_c ^2-1≥1}、池化层{P_i ^2-1,i＝1,…,n_p ^2-1,n_p ^2-1≥1}、上采样层{U_i ^2-1,i＝1,…,n_u ^2-1,n_u ^2-1≥1}和反卷积层{D_i ^2-1,i＝1,…,n_d ^2-1,n_d ^2-1≥1}；所述第二子结构K₂包含数量均为至少一个卷积层{C_i ^{2 -2},i＝1,…,n_c ^2-2,n_c ^2-2≥1}、池化层{P_i ^2-2,i＝1,…,n_p ^2-2,n_p ^2-2≥1}、上采样层{U_i ^2-2,i＝1,…,n_u ^2-2,n_u ^2-2≥1}和反卷积层{D_i ^2-2,i＝1,…,n_d ^2-2,n_d ^2-2≥1}；

所述第三子网络N₃包括数量均为至少一个的拼接层{A_i ³,i＝1,…,n_a ³,n_a ³≥1}，一个卷积层{C_i ³,i＝1,…,n_c ³,n_c ³≥1}。

其中，所述C_i ^j表示N_j子神经网络中第i个卷积层；所述P_i ^j表示N_j子神经网络中第i个池化层；所述U_i ^j表示N_j子神经网络中第i个上采样层；所述D_i ^j表示N_j子神经网络中第i个反卷积层；所述A_i ^j表示N_j子神经网络中第i个拼接层；所述S_i ^j表示N_j子神经网络中第i个跳跃结构；所述C_i ^2-z表示N₂子神经网络中K_z中的第i个卷积层；所述P_i ^2-z表示N₂子神经网络中K_z中的第i个池化层；所述U_i ^2-z表示N₂子神经网络中K_z中的第i个上采样层；所述D_i ^2-z表示N₂子神经网络中K_z中的第i个反卷积层；所述n表示对应层的个数。

这里，所述跳跃结构{S_i ¹,i＝1,…,n_d ¹,n_d ¹≥1}融合网络中来自浅层的植物细节特征和来自深层的语义特征，使得第一子神经网络N₁能够输出带有植物细节信息的植物分割得分图；第二子神经网络N2为带有级联结构的深层神经网络，包含两个具有级联关系的第一子结构K1和第二子结构K2，第一子结构K1和第二子结构K2都具有深层神经网络的结构，第一子结构K1的输出为第二子结构K2的输入，第一子结构K1利用降采样-上采样结构抛去部分细节信息，减少复杂背景的干扰，输出带有复杂背景干扰抑制的植物分割得分图，第二子结构K2利用深层卷积神经网络结构输出叶片骨架提取结果；第三子神经网络N3融合第一子神经网络N1和第二子神经网络N2的输出，融合带有植物细节信息的分割得分图和带有复杂背景干扰抑制的植物分割图，输出植物精细分割结果并有效抑制复杂背景的干扰。

通过不同的子神经网络组合形成混合神经网络模型，同时实现植物精细分割和也变骨架的提取，有效地对复杂背景干扰进行抑制。

优选地，在本发明提供的实施例中，所述第一子神经网络N₁中的池化层、上采样层、拼接层的层数相同。通过设置所述池化层、上采样层、拼接层的层数相同，能够使得混合神经网络输出与输入图像尺寸相同的分割结果，并且，拼接层与上采样层相等，还可以把每个输出的深层的图像语义特征都与浅层的图像细节特征融合，尽量去融合特征，提高分割的精细程度。

本发明还提供了一种植物图像分割及叶片骨架提取装置，所述装置包括存储器和处理器；

所述存储器，用于存储计算机程序；

所述处理器，用于当执行所述计算机程序时，实现所述的基于多粒度网络融合的光学遥感图像分割方法。

本发明还提供了一种计算机可读存储介质，所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，实现所述的植物图像分割及叶片骨架提取方法。

需要说明的是，本发明的实施例中，术语“一”、“二”、“第一”和“第二”等仅用于描述目的，并非逻辑意义上的一和二、或者第一和第二，一和二仅用于区分两个不同的浅层图像细节特征或深层图像语义特征，第一和第二仅用于区分不同的的子神经网络，不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“一”、“二”、“第一”和“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种植物图像分割及叶片骨架提取方法，其特征在于,包括如下步骤:

步骤1：构建包括多个子神经网络的混合神经网络模型；

步骤2：采集至少一张植物图像作为训练图像样本,根据所述训练图像样本标注对应植物的类别和叶片骨架，并根据标注后的所述训练图像样本对所述混合神经网络模型进行训练；

步骤3：采集目标植物图像，并将所述目标植物图像输入训练后的所述混合神经网络模型，训练后的所述混合神经网络模型输出植物图像分割结果和植物叶片骨架提取结果。

2.根据权利要求1所述的植物图像分割及叶片骨架提取方法，其特征在于,所述步骤1中，混合神经网络模型至少包括第一子神经网络N₁、第二子神经网络N₂和第三子神经网络N₃，所述第二子神经网络N₂包括相互级联的第一子结构K₁和第二子结构K₂。

3.根据权利要求2所述的植物图像分割及叶片骨架提取方法，其特征在于,所述步骤3中，训练后的所述混合神经网络模型根据所述模型参数输出植物图像分割结果和植物叶片骨架提取结果具体包括如下步骤：

步骤31：所述第一子神经网络N₁根据所述目标植物图像提取浅层图像细节特征一和深层图像语义特征一，并根据所述浅层图像细节特征一和深层图像语义特征一输出带有植物细节信息的分割得分图；

步骤32：所述第一子结构K₁根据所述目标植物图像提取深层图像语义特征二，并根据所述深层图像语义特征二输出带有背景干扰抑制的植物分割得分图；所述第二子结构K₂根据所述植物分割得分图输出植物叶片骨架提取结果；

步骤33：所述第三子神经网络N₃将所述带有植物细节信息的分割得分图和带有背景干扰抑制的植物分割得分图进行融合处理，输出所述植物图像分割结果。

4.根据权利要求3所述的植物图像分割及叶片骨架提取方法，其特征在于,所述步骤31具体包括：

步骤311:所述第一子神经网络N₁中的卷积层对所述目标植物图像进行提取处理，得到浅层图像细节特征一；

步骤312：所述第一子神经网络N₁中的池化层和上采样层依次对所述浅层图像细节特征一分别进行降维处理和升维处理，并得到深层图像语义特征一；

步骤313：所述第一子神经网络N₁中的拼接层将所述浅层图像细节特征一和深层图像语义特征一进行拼接，得到带有植物细节信息的分割得分图。

5.根据权利要求3所述的植物图像分割及叶片骨架提取方法，其特征在于,所述步骤32具体包括：

步骤321：所述第一子结构K₁中的卷积层对所述目标植物图像进行提取处理，得到浅层图像细节特征二；

步骤322：所述第一子结构K₁中池化层和上采样层依次对所述浅层图像细节特征二分别进行降维处理和升维处理，并得到深层图像语义特征二；

步骤323：所述第一子结构K₁中反卷积层对所述深层图像语义特征二进行提取处理，得到带有复杂背景干扰抑制的植物分割得分图；

步骤324：所述第二子结构K₂中的卷积层对所述带有复杂背景干扰抑制的植物分割得分图进行提取出处理，得到叶片初步骨架特征；

步骤325：所述第二子结构K₂中的池化层、上采样层和反卷积层依次对所述叶片初步骨架特征分别进行降维处理、升维处理和提取处理，并得到叶片骨架提取结果。

6.一种植物图像分割及叶片骨架提取系统，其特征在于，包括：

模型构建模块，用于构建包括多个子神经网络的混合神经网络模型；

采集训练模块，用于采集多张植物图像作为训练图像样本,根据所述训练图像样本标注对应植物的类别和叶片骨架，并根据标注后的所述训练图像样本对所述混合神经网络模型进行训练；

采集处理模块，用于采集目标植物图像，并将所述目标植物图像输入训练后的所述混合神经网络模型，训练后的所述混合神经网络模型根据所述模型参数输出植物图像分割结果和植物叶片骨架提取结果。

7.根据权利要求6所述的植物图像分割及叶片骨架提取系统，其特征在于,所述混合神经网络模型至少包括第一子神经网络N₁、第二子神经网络N₂和第三子神经网络N₃，所述第二子神经网络N₂包括相互级联的第一子结构K₁和第二子结构K₂；

所述第一子神经网络N₁包括数量均为至少一个的卷积层{C_i ¹,i＝1,…,n_c1 ¹,n_c1 ¹≥1}、池化层{P_i ¹,i＝1,…,n_p ¹,n_p ¹≥1}、上采样层{U_i ¹,i＝1,…,n_u ¹,n_u ¹≥1}、拼接层{A_i ¹,i＝1,…,n_a ¹,n_a ¹≥1}、卷积层{C_i ¹,i＝n_c1 ¹+1,…,n_c1 ¹+n_c2 ¹,n_c2 ¹≥1}和跳跃结构{S_i ¹,i＝1,…,n_d ¹,n_d ¹≥1}；

所述第一子结构K₁包括数量均为至少一个的卷积层{C_i ^2-1,i＝1,…,n_c ^2-1,n_c ^2-1≥1}、池化层{P_i ^2-1,i＝1,…,n_p ^2-1,n_p ^2-1≥1}、上采样层{U_i ^2-1,i＝1,…,n_u ^2-1,n_u ^2-1≥1}和反卷积层{D_i ^2-1,i＝1,…,n_d ^2-1,n_d ^2-1≥1}；所述第二子结构K₂包含数量均为至少一个卷积层{C_i ^2-2,i＝1,…,n_c ^2-2,n_c ^2-2≥1}、池化层{P_i ^2-2,i＝1,…,n_p ^2-2,n_p ^2-2≥1}、上采样层{U_i ^2-2,i＝1,…,n_u ^{2 -2},n_u ^2-2≥1}和反卷积层{D_i ^2-2,i＝1,…,n_d ^2-2,n_d ^2-2≥1}；

所述第三子神经网络N₃包括数量均为至少一个的拼接层{A_i ³,i＝1,…,n_a ³,n_a ³≥1}，一个卷积层{C_i ³,i＝1,…,n_c ³,n_c ³≥1}。

8.根据权利要求7所述的植物图像分割及叶片骨架提取系统，其特征在于,所述第一子神经网络N₁中的池化层、上采样层、拼接层的层数相同。

9.一种植物图像分割及叶片骨架提取装置，其特征在于，所述装置包括存储器和处理器；

所述存储器，用于存储计算机程序；

所述处理器，用于当执行所述计算机程序时，实现如权利要求1至5任一项所述的基于多粒度网络融合的光学遥感图像分割方法。

10.一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，实现如权利要求1至5任一项所述的植物图像分割及叶片骨架提取方法。