CN109635811A

CN109635811A - 空间植物的图像分析方法

Info

Publication number: CN109635811A
Application number: CN201811330633.3A
Authority: CN
Inventors: 段江永; 郭丽丽
Original assignee: Technology and Engineering Center for Space Utilization of CAS
Current assignee: Technology and Engineering Center for Space Utilization of CAS
Priority date: 2018-11-09
Filing date: 2018-11-09
Publication date: 2019-04-16

Abstract

本发明公开了一种空间植物的图像分析方法，涉及图像分析领域。该方法包括：建立用于对空间植物图像进行图像分割的深度卷积网络模型；将待检测的空间植物图像输入到深度卷积网络模型中，对空间植物图像进行多尺度的特征提取和分类处理，得到图像分割结果；根据图像分割结果，对空间植物进行分析。本发明提供的图像分析方法，实现了自动从图像中进行植物信息的提取，由于其采用了多特征融合的深度卷积网络，其识别精度更高，能够精确地从复杂的空间场景中提取出空间植物图像中的信息，以便准确地对植物的生成情况进行分析。

Description

空间植物的图像分析方法

技术领域

本发明涉及图像分析领域，尤其涉及空间植物的图像分析方法。

背景技术

随着航天技术发展，大量空间植物培养实验在航天器上开展以研究植物在太空中的生长规律。在该类实验中，会获取大量空间植物图像序列以进行科学实验分析。

空间植物图像具有背景复杂的特点，传统人工对植物图像分析的工作量大且效率较低，而植物图像分析技术也主要应用于大尺度遥感植物分类，不适用于空间植物图像序列分析中对植物在分割精度高、复杂背景情形下的植物信息提取，无法精确地提取空间植物图像中的信息，无法准确地对植物的生成情况进行分析。

发明内容

本发明所要解决的技术问题是针对现有技术的不足，提供一种空间植物的图像分析方法及一种存储介质。

本发明解决上述技术问题的技术方案如下：

一种空间植物的图像分析方法，包括：

建立用于对空间植物图像进行图像分割的深度卷积网络模型；

将待检测的空间植物图像输入到所述深度卷积网络模型中，对所述空间植物图像进行多尺度的特征提取和分类处理，得到图像分割结果；

根据所述图像分割结果，对所述空间植物进行分析。

本发明的有益效果是：本发明提供的图像分析方法，通过多特征融合的深度卷积网络对空间植物图像进行图像分割，融合深度卷积网络的底层几何信息和高层语义信息，从而实现植物图像的精细分割，解决了目前植物图像处理方法多应用于大尺度遥感图像植物分类、大面积植被分割等场景，不适用复杂背景下植物精细分割的问题，实现了自动从图像中进行植物信息的提取，由于其采用了多特征融合的深度卷积网络，其识别精度更高，能够精确地从复杂的空间场景中提取出空间植物图像中的信息，以便准确地对植物的生成情况进行分析。

本发明解决上述技术问题的另一种技术方案如下：

一种存储介质，所述存储介质中存储有指令，当计算机读取所述指令时，使所述计算机执行如上述技术方案所述的方法。

本发明附加的方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明实践了解到。

附图说明

图1为本发明空间植物的图像分析方法的实施例提供的流程示意图；

图2为本发明空间植物的图像分析方法的实施例提供的深度卷积网络模型结构示意图；

图3为本发明空间植物的图像分析方法的实施例提供的深度卷积网络模型优化流程示意图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实施例只用于解释本发明，并非用于限定本发明的范围。

如图1所示，为本发明空间植物的图像分析方法的实施例提供的流程示意图，该图像分析方法包括：

S11，建立用于对空间植物图像进行图像分割的深度卷积网络模型。

S12，将待检测的空间植物图像输入到深度卷积网络模型中，对空间植物图像进行多尺度的特征提取和分类处理，得到图像分割结果。

S13，根据图像分割结果，对空间植物进行分析。

应理解，深度卷积网络模型是多特征融合的神经网络模型，可以实现对输入的图像进行多尺度特征提取，并进行分类。

因此，在建立深度卷积网络模型时，需要通过训练集对深度卷积网络模型进行学习和训练，训练集可以从空间植物图像序列中随机选择得到，训练的目的是为了使深度卷积网络模型能够经过神经学习后分辨出植物和非植物。

应理解，图像分割结果是经过深度卷积网络模型处理后的图像，里面包含有空间植物图像信息和非植物图像信息，能够供多种分析使用。

本发明不限于空间植物的分析和提取，还可以用于其他复杂场景的植物生长情况的分析和图像提取。

本实施例提供的图像分析方法，通过多特征融合的深度卷积网络对空间植物图像进行图像分割，融合深度卷积网络的底层几何信息和高层语义信息，从而实现植物图像的精细分割，解决了目前植物图像处理方法多应用于大尺度遥感图像植物分类、大面积植被分割等场景，不适用复杂背景下植物精细分割的问题，实现了自动从图像中进行植物信息的提取，由于其采用了多特征融合的深度卷积网络，其识别精度更高，能够精确地从复杂的空间场景中提取出空间植物图像中的信息，以便准确地对植物的生成情况进行分析。

可选地，在一些实施例中，深度卷积网络模型包括依次连接的输入层21、至少两个卷积层22、超列层23、全连接层24和输出层25。

需要说明的是，卷积层22的数量可以根据实际需求设置，全连接层24的数量也可以根据实际需求设置为多个，下面以一个具体的示例对深度卷积网络模型的结构进行说明。

如图2所示，给出了一种可能的深度卷积网络模型结构，假设共有13个卷积层22，3个全连接层24，1个多尺度融合的超列层23，输入层21为预设大小的图像区域快，例如，大小可以为32*32。

深度卷积网络结构中，全部使用3×3的卷积核和2×2的最大池化核。其中13个卷积层22按照特征图尺寸可以划分为五部分卷积，前两部分每一个包含两个连续卷积层22，后三个部分每一个包含三个连续卷积层22，每一部分对应的卷积层22的卷积核数量分别为64、128、256、512和512。每一个卷积层22后会部署ReLU函数，对卷积层22的输出执行非饱和非线性激活。其中，ReLU函数的表达式如下所示：。

f(x)＝max(0,x)；

随着卷积层22越深，提取的特征尺度也越来越大，即从局部渐变为全局。每一部分卷积之后部署池化层26，提取该区域内的最大值来表示其特征，可在保证有效信息的同时减少参数，并使得网络对微小的偏移和失真产生不变性。

所有13个卷积层22与超列层23连接。与传统的深度卷积神经网络只用高层特征作为分类依据不同，超列层23包含了一个像素点从底层到高层的不同尺度的不同特征，既包含了能够表达该点语义的高级信息，也包含了能够精确定位的低级信息。

超列层23与全连接层24连接。全连接层24包含三层，神经元数分别为4096，4096和1000。越复杂的全连接，表达的关系越复杂。全连接层24通过softmax函数将超列层23输入的特征映射为输出类别概率。softmax函数将一个含任意实数的K维向量Z压缩到另一个K维实向量σ(Z)中，使得每一个元素的范围都在(0,1)之间，并且所有元素的和为1，其定义如下：

而深度卷积网络模型的损失函数可以采用交叉熵代价函数和正则项之和。其中交叉熵函数如下所示：

其中，y为图像区域块期望输出类别，α为神经网络实际输出值，x为输入图像区域块。该损失函数能避免均方误差损失函数学习速率降低的问题。

正则项用以使模型参数衰减，从而降低模型复杂度，防止模型过拟合。综合交叉熵代价函数和正则项，损失函数为：

其中，λ为正则项系数，θ为模型参数，k为模型参数个数。

可选地，在一些实施例中，将待检测的空间植物图像输入到深度卷积网络模型中，对空间植物图像进行多尺度的特征提取和分类处理，得到图像分割结果，具体包括：

输入层21获取待检测的空间植物图像的各个区域块；

每个卷积层22和池化层26分别提取空间植物图像的各个区域块的多尺度特征；

超列层23将多尺度特征进行连接，作为空间植物图像的各个区域块的特征向量；

全连接层24对特征向量进行分类，得到空间植物图像的各个区域块的中心像素的图像分割结果；

输出层25输出图像分割结果。

应理解，根据上述实施例的说明，可以将卷积层22分为多个部分，每个部分由连续的卷积层22组成，输入的空间植物图像依次经过各个部分的卷积层22进行特征尺度提取，再通过每个卷积层22后的ReLU函数对卷积层22的输出执行非饱和非线性激活，随着卷积层22越深，提取的特征尺度也越来越大，即从局部渐变为全局，并通过每个部分后的池化层26提取该区域内的最大值来表示其特征，可在保证有效信息的同时减少参数，并使得网络对微小的偏移和失真产生不变性。

在提取完特征后，将输入图像块的中心像素在所有卷积层22和池化层26中对应的像素点提取出来，构成新的一维向量构成超列层23，再将超列层23特征输入到全连接层24中，通过softmax函数将特征映射为输出类别概率，据此得到图像分割结果。

可选地，在一些实施例中，如图3所示，在将待检测的空间植物图像输入到深度卷积网络模型中之前，还可以包括对深度卷积网络模型进行优化的步骤：

S31，获取多张空间植物图像。

S32，分别将每张空间植物图像划分成多个大小为预设尺寸的图像区域。

例如，可以从原始的空间植物图像中选取m*m大小的子窗口对空间植物图像逐像素进行遍历裁剪。

S33，分别对每张空间图像的各个图像区域进行植物与非植物的标注，并分别将每张空间图像的各个图像区域的中心像素作为图像标签，将中心像素以外的像素在作为训练中提供像素间相关性的特征信息。

应理解，应以裁剪后图像的中心像素类别作为图像标签，中心像素以外的像素在训练中提供像素间的相关性特征信息。由于非植物样本较植物样本变化较多，因此标注的非植物样本比植物样本数量要多些。

S34，根据全部图像区域，以及每个图像区域的图像标签和特征信息对深度卷积网络模型的参数进行优化。

例如，可以采用Adam方法进行模型参数迭代优化，为了提高优化效率，可以分批次对样本进行训练。

例如，可以通过以下模型参数迭代公式进行训练：

其中，t为迭代次数，learning_rate为初始学习率，可以设置为0.001，lr_t为自适应后的学习率，是交叉熵函数中的损失函数C关于参数θ_t的偏导数在训练批次样本D_t上的均值，m_t和n_t为梯度的一阶矩估计和二阶矩估计，和为梯度的一阶矩无偏估计和二阶矩无偏估计，μ和ν分别是一阶矩估计和二阶矩估计的衰减速度，可以初始化为0.9和0.999，ε为数值稳定的小常数1e-8。

当模型参数优化之后，针对空间植物图像，从中遍历裁剪所有的m*m大小的图像块，然后利用本发明的多尺度融合的深度卷积网络模型对该图像块进行分类，将输出类别作为图像块中心像素点的类别，从而实现对空间植物图像中植物的像素级精细分割。

可选地，在一些实施例中，根据图像分割结果，对空间植物进行分析之前，还包括：

提取图像分割结果中的连通区域；

判断连通区域的面积是否小于预设阈值，如果小于，则去除连通区域。

应理解，由于分割结果中可能存在少量噪声点，并且考虑到植物的整体性，可以采用面积指数来过滤噪声，预设阈值可以根据实际需求设置。

可选地，在一些实施例中，根据图像分割结果，对空间植物进行分析，具体包括：

根据图像分割结果，分别提取空间植物图像中植物的面积，提取植物的骨架长度，提取植物的边缘周长；

根据植物的面积、骨架长度和边缘周长，得到植物的生长态势信息。

应理解，对于植物的生长态势的分析方法多种多样，可以根据实际需求选择和设置。

例如，可以通过植物面积、骨架长度和边缘周长随时间的变化，得到植物的生长情况。

具体地，经过本发明提供的方法，假设在第x日，植物的面积为100，骨架长度为20，边缘周长为40，在第x+1日，植物的面积为110，骨架长度为22，边缘周长为45，则在第x+1日植物的面积增加了10，骨架长度增加了2，边缘长度增加了5，从而可获取植物随时间的生长情况，以便进行下一步科学研究。

可选地，在一些实施例中，提取空间植物图像中植物的面积，具体包括：

统计图像分割结果中属于植物的像素个数，并根据全部像素个数得到植物的面积。

可选地，在一些实施例中，提取植物的骨架长度，具体包括：

根据Hilditch细化算法对图像分割结果中的植物叶片进行细化，得到植物的骨架图像；

根据植物的骨架图像计算得到植物的骨架长度。

可选地，在一些实施例中，提取植物的边缘周长，具体包括：

根据Canny边缘检测算子从图像分割结果中获取植物的边缘轮廓图像；

根据植物的边缘轮廓图像计算得到植物的边缘周长。

可以理解，在一些实施例中，可以包含如上述各实施例中的部分或全部步骤。

在本发明的其他实施例中，还提供一种存储介质，所述存储介质中存储有指令，当计算机读取所述指令时，使所述计算机执行如上述各实施例中任一项所述的方法。

读者应理解，在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims

1.一种空间植物的图像分析方法，其特征在于，包括：

根据所述图像分割结果，对所述空间植物进行分析。

2.根据权利要求1所述的图像分析方法，其特征在于，所述深度卷积网络模型包括依次连接的输入层、至少两个卷积层、超列层、全连接层和输出层。

3.根据权利要求2所述的图像分析方法，其特征在于，所述将待检测的空间植物图像输入到所述深度卷积网络模型中，对所述空间植物图像进行多尺度的特征提取和分类处理，得到图像分割结果，具体包括：

所述输入层获取待检测的所述空间植物图像的各个区域块；

每个所述卷积层分别提取所述空间植物图像的各个区域块的多尺度特征；

所述超列层将所述多尺度特征进行连接，作为所述空间植物图像的各个区域块的特征向量；

所述全连接层对所述特征向量进行分类，得到所述空间植物图像的各个区域块的中心像素的图像分割结果；

所述输出层输出所述图像分割结果。

4.根据权利要求1所述的图像分析方法，其特征在于，所述将待检测的空间植物图像输入到所述深度卷积网络模型中之前，还包括：

获取多张空间植物图像；

分别将每张所述空间植物图像划分成多个大小为预设尺寸的图像区域；

分别对每张所述空间图像的各个所述图像区域进行植物与非植物的标注，并分别将每张所述空间图像的各个所述图像区域的中心像素作为图像标签，将所述中心像素以外的像素作为在训练中提供像素间相关性的特征信息；

根据全部所述图像区域，以及每个所述图像区域的图像标签和特征信息对所述深度卷积网络模型的参数进行优化。

5.根据权利要求1所述的图像分析方法，其特征在于，所述根据所述图像分割结果，对所述空间植物进行分析之前，还包括：

提取所述图像分割结果中的连通区域；

判断所述连通区域的面积是否小于预设阈值，如果小于，则去除所述连通区域。

6.根据权利要求1至5中任一项所述的图像分析方法，其特征在于，所述根据所述图像分割结果，对所述空间植物进行分析，具体包括：

根据所述图像分割结果，分别提取所述空间植物图像中植物的面积、骨架长度和边缘周长；

根据所述植物的面积、骨架长度和边缘周长，得到所述植物的生长态势信息。

7.根据权利要求6所述的图像分析方法，其特征在于，提取所述空间植物图像中植物的面积，具体包括：

统计所述图像分割结果中属于植物的像素个数，并根据全部所述像素个数得到植物的面积。

8.根据权利要求6所述的图像分析方法，其特征在于，提取所述植物的骨架长度，具体包括：

根据Hilditch细化算法对所述图像分割结果中的植物叶片进行细化，得到所述植物的骨架图像；

根据所述植物的骨架图像计算得到所述植物的骨架长度。

9.根据权利要求6所述的图像分析方法，其特征在于，提取所述植物的边缘周长，具体包括：

根据Canny边缘检测算子从所述图像分割结果中获取所述植物的边缘轮廓图像；

根据所述植物的边缘轮廓图像计算得到所述植物的边缘周长。

10.一种存储介质，其特征在于，所述存储介质中存储有指令，当计算机读取所述指令时，使所述计算机执行如权利要求1至9中任一项所述的方法。