CN112381835A - 基于卷积神经网络的作物叶片分割方法及装置 - Google Patents
基于卷积神经网络的作物叶片分割方法及装置 Download PDFInfo
- Publication number
- CN112381835A CN112381835A CN202011183241.6A CN202011183241A CN112381835A CN 112381835 A CN112381835 A CN 112381835A CN 202011183241 A CN202011183241 A CN 202011183241A CN 112381835 A CN112381835 A CN 112381835A
- Authority
- CN
- China
- Prior art keywords
- segmentation
- leaf
- mask
- result
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 167
- 238000000034 method Methods 0.000 title claims abstract description 78
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 41
- 238000000605 extraction Methods 0.000 claims abstract description 38
- 238000012549 training Methods 0.000 claims abstract description 19
- 230000004927 fusion Effects 0.000 claims abstract description 8
- 238000010586 diagram Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 12
- 238000003860 storage Methods 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 230000001629 suppression Effects 0.000 claims description 3
- 238000005286 illumination Methods 0.000 abstract description 5
- 230000006870 function Effects 0.000 description 8
- 238000003709 image segmentation Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 4
- 241000196324 Embryophyta Species 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000012271 agricultural production Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000003337 fertilizer Substances 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30188—Vegetation; Agriculture
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供一种基于卷积神经网络的作物叶片分割方法及装置，该方法包括：将包含不同作物叶片的叶片图像，输入分割模型的多层卷积网络进行特征提取；将提取得到的每层特征图，经特征融合后，分别通过实例类别判别分支，得到实例分类结果，以及通过实例掩码分支，得到掩码分割结果；根据所述实例分类结果和所述掩码分割结果，得到具有类别属性的实例分割结果；其中，所述分割模型，根据已知实例分割结果和掩码分割结果的样本叶片图像训练后得到。该方法分别通过两个分支获取实例分类结果和掩码分割结果，使叶片与叶片之间能很好的分割出来。该方法在不同光照和不同背景噪声干扰等复杂背景下，也具有较高的分割精度和分割速度。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于卷积神经网络的作物叶片分割方法及装置。
背景技术
在作物监测领域中，叶片是植物生长过程中反映作物生长状态的最重要的器官，尤其是在水肥、气候和品种的影响下，通过对作物叶片的监测，可有效感知作物实际的生长状态，因此，叶片的分割是作物生长状态信息获取中十分重要的环节。
传统的作物叶片分割一种方法是直接对生长中的作物叶片进行拍摄，通常采用传统的机器学习算法，如最大类间方差法、标记分水岭法和聚类分割法等。这种传统的方法可以解决部分实时分割的问题，但是其分割结果是成片的区域，叶片与叶片之间并不能很好的分割出来，且传统方法在分割作物叶片的同时，也会把作物茎秆一起分割出来，在背景复杂的情况下，如有杂草、泥土、其他叶片等背景噪声的干扰下，传统方法分割的准确度和完整度会大大降低。
发明内容
本发明实施例提供一种基于卷积神经网络的作物叶片分割方法及装置，用以解决现有技术中的缺陷。
本发明实施例提供一种基于卷积神经网络的作物叶片分割方法，包括：根将包含不同作物叶片的叶片图像，输入分割模型的多层卷积网络进行特征提取；将提取得到的每层特征图，经特征融合后，分别通过实例类别判别分支，得到实例分类结果，以及通过实例掩码分支，得到掩码分割结果；根据所述实例分类结果和所述掩码分割结果，得到具有类别属性的实例分割结果；其中，所述分割模型，根据已知实例分割结果和掩码分割结果的样本叶片图像训练后得到。
根据本发明一个实施例的基于卷积神经网络的作物叶片分割方法，所述将包含不同作物叶片的叶片图像，输入分割模型的多层卷积网络进行特征提取，具体为：将原始图像划分为S*S个网格，通过多层卷积网络对叶片图像进行特征提取；相应地，得到实例分类结果，具体为：得到S*S个网格中每个网格的实例分类结果。
根据本发明一个实施例的基于卷积神经网络的作物叶片分割方法，所述通过实例类别判别分支，得到实例分类结果，包括：将特征提取后的H*W*D特征，融合为H*W特征图，再经上采样变为原图大小；经语义类别分割，得到尺寸为S*S*C的特征图；其中，H、W和D分别为特征图的高宽像素及深度，C为每个对象实例的语义类别概率。
根据本发明一个实施例的基于卷积神经网络的作物叶片分割方法，所述通过实例掩码分支，得到掩码分割结果，包括：将特征提取后的H*W*D特征图，融入像素点坐标，得到H*W*(D+2)的特征张量；将尺寸为H*W*(D+2)特征张量形式的特征图，经过自适应池化和上采样后，输出为尺寸为H*W*S*S的特征图；其中，H、W和D分别为特征图的高宽像素及深度。
根据本发明一个实施例的基于卷积神经网络的作物叶片分割方法，将特征提取后的H*W*D特征图，融入像素点坐标，包括：创建与输入叶片图像具有相同空间大小的张量，张量中包含图像中像素坐标信息，将坐标信息分别进行线性变换，映射到[-1,1]空间；将包含坐标信息的张量与特征提取后的H*W*D特征图进行拼接。
根据本发明一个实施例的基于卷积神经网络的作物叶片分割方法，将包含不同作物叶片的叶片图像，输入分割模型的多层卷积网络进行特征提取之前，还包括：对所述叶片图像进行预处理；所述预处理包括，图像旋转、变换尺寸、翻转、亮度调整和数据集扩充。
根据本发明一个实施例的基于卷积神经网络的作物叶片分割方法，所述根据所述实例分类结果和所述掩码分割结果，得到具有类别属性的实例分割结果，包括：将所有网格的分割结果叠加汇总，采用非极大值抑制方法得到叶片图像最终的有类别属性的实例分割结果。
本发明实施例还提供一种基于卷积神经网络的作物叶片分割装置，包括：特征提取模块，用于将包含不同作物叶片的叶片图像，输入分割模型的多层卷积网络进行特征提取；分类分割模块，用于将提取得到的每层特征图，经特征融合后，分别通过实例类别判别分支，得到实例分类结果，以及通过实例掩码分支，得到掩码分割结果；实例分割模块，用于根据所述实例分类结果和所述掩码分割结果，得到具有类别属性的实例分割结果；其中，所述分割模型，根据已知实例分割结果和掩码分割结果的样本叶片图像训练后得到。
本发明实施例还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于卷积神经网络的作物叶片分割方法的步骤。
本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于卷积神经网络的作物叶片分割方法的步骤。
本发明实施例提供的基于卷积神经网络的作物叶片分割方法及装置，分别通过两个分支获取实例分类结果和掩码分割结果，而非获得成片的区域，使叶片与叶片之间能很好的分割出来。该方法在不同光照和不同背景噪声干扰等复杂背景下，也具有较高的分割精度和分割速度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种基于卷积神经网络的作物叶片分割方法的流程示意图；
图2是本发明实施例提供的一种基于卷积神经网络的作物叶片分割装置的结构示意图；
图3是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
目前，基于图像识别技术的作物叶片分割方法大都仍是传统的机器学习算法，在复杂背景下，尤其是不同光照和不同背景噪声的干扰下，传统方法的分割精度不高，分割速度较慢，这些缺点也很难应用到农业的实际生产生活中，从而难以推广。
下面结合图1-图3描述本发明实施例的基于卷积神经网络的作物叶片分割方法及装置。图1是本发明实施例提供的一种基于卷积神经网络的作物叶片分割方法的流程示意图，如图1所示，本发明实施例提供一种基于卷积神经网络的作物叶片分割方法，包括：
101、将包含不同作物叶片的叶片图像，输入分割模型的多层卷积网络进行特征提取。
具体地，可采集包含不同作物叶片RGB图像数据，进行图像增强后进行特征提取。特征提取网络包括但不限于VGG、ResNet、DenseNet等常见特征提取网络。
分割模型，根据已知实例分割结果和掩码分割结果的样本叶片图像训练后得到。训练时，可将所有图像数据按照MSCOCO数据集的格式制作数据集。
首先获取数据集，该数据集为摄像机拍摄的具有复杂背景的作物叶片图像。相应地，所拍摄到的图像集中包括多张具有完整作物叶片区域的图像，涵盖多叶片和单叶片等数据类型。
进一步地，训练时为了使模型可实现叶片图像分割的功能，需要对数据集中的叶片图像进行标注。需要对图像中的单叶片或多叶片的叶片区域信息按照MSCOCO数据集的格式进行标注。可以理解的是，模型训练过程中，训练数据的数量越多，相应地模型分割精度越高，因此，在进行图像标注之后，需要对待处理图像以及标注后的待处理图像进行数据增强，由于该图像分割模型是通过标注后的数据进行训练后获得的，因此，该图像分割模型能够实现图像分割的效果。
进一步地，将包含不同作物叶片的叶片图像，输入分割模型的多层卷积网络进行特征提取之前，还包括：对叶片图像进行预处理；预处理包括，图像旋转、变换尺寸、翻转、亮度调整和数据集扩充。
作物叶片图像的变换尺寸操作应该在适当的范围内进行，防止图像分辨率太低，从而丢失有效的作物叶片区域，如放大0.1-0.5倍。图像的旋转操作主要是沿垂直轴的镜像旋转、旋转90°和180°。利用这些图像曾倩的方法对原始作物叶片图像进行数据扩充，从而建立样本丰富的作物叶片图像数据集合，经过扩充后的图像数据可以丰富样本特征的多样性，提高算法的普适性和稳定性。
102、将提取得到的每层特征图，经特征融合后，分别通过实例类别判别分支，得到实例分类结果，以及通过实例掩码分支，得到掩码分割结果。
具体地，将原始图像划分为S*S个网格，通过全卷积网络(Full ConvolutionalNetwork，FCN)的多层卷积对原始图像进行作物叶片图像特征提取，获取尺寸为H*W*D特征图。然后，将的特征图输入到特征金字塔网络(Feature Pyramid Networks，FPN)里，在FPN特征层附加两个同级子网络分支，一个分支用于图像中作物叶片实例类别预测，另一个分支用于图像中作物叶片实例掩码分割。
103、根据实例分类结果和掩码分割结果，得到具有类别属性的实例分割结果。
最后，将所划分的每个网格的叶片类别的预测结果和对应的实例掩码联系起来，直接获取每个网格的实例分割结果，进而获取整张图像中的叶片实例分割结果。
可以理解的是，由于该图像分割模型占用内存较小，因此，可以将该图像分割模型安装在终端内，从而可根据该图像分割模型实时进行作物叶片图像分割。
本发明实施例提供的基于卷积神经网络的作物叶片分割方法，分别通过两个分支获取实例分类结果和掩码分割结果，而非获得成片的区域，使叶片与叶片之间能很好的分割出来。该方法在不同光照和不同背景噪声干扰等复杂背景下，也具有较高的分割精度和分割速度。
基于上述实施例的内容，作为一种可选实施例，将包含不同作物叶片的叶片图像，输入分割模型的多层卷积网络进行特征提取，具体为：将原始图像划分为S*S个网格，通过多层卷积网络对叶片图像进行特征提取；相应地，得到实例分类结果，具体为：得到S*S个网格中每个网格的实例分类结果。
将原始图像划分为S*S个网格，再将该图像通过全卷积网络的多层卷积，对输入特征提取网络进行作物叶片图像特征提取，生成尺寸为H*W*D的特征图。经过FPN后，FPN输出的特征图的尺寸为H*W，再将尺寸为H*W的特征图经过上采样，尺寸变为S*S的特征图，输出标有不同语义信息的作物叶片图像。特征图中的信息为分类的概率，从而得到每个网格的类别。通过S*S网格的划分，能够方便的得到整张叶片图像的各部分分类结果。
基于上述实施例的内容，作为一种可选实施例，通过实例类别判别分支，得到实例分类结果，包括：将特征提取后的H*W*D特征，融合为H*W特征图，再经上采样变为原图大小；经语义类别分割，得到尺寸为S*S*C的特征图；其中，H、W和D分别为特征图的高宽像素及深度，C为每个对象实例的语义类别概率。
上采样方法可为双线性插值法，双线性插值法的函数为：
式中，插值后的点P坐标为(x,y)，距离P点坐标最近的四个像素点分别为Q11(x1,y1)，Q21(x2,y1)，Q12(x1,y2)，Q22(x2,y2)，f为对应像素点的像素值。
经过上采样操作将特征图的尺寸与维度还原成原图大小，经过语义类别分支后，输出为S*S*C空间的特征图。语义类别分割可采用现有的方法。其中，S*S的网格中，每个网格必须属于一个实例，只属于一个语义范畴。
类别分支使用的损失函数可为焦点损失函数Lcate，Lcate的函数为：
式中，y’是模型给出的预测类别概率，y是真实样本，γ＝2。
实例类别判别分支即语义类别预测分支，需要给出图像中每个S*S网格的目标叶片对象类别概率。若某网格落入任何真值掩模的中心区域，则该网格被视为正样本，否则该网格被视作负样本。
基于上述实施例的内容，作为一种可选实施例，通过实例掩码分支，得到掩码分割结果，包括：将特征提取后的H*W*D特征图，融入像素点坐标，得到H*W*(D+2)的特征张量；将尺寸为H*W*(D+2)的特征图经过自适应池化和上采样后，输出为尺寸为H*W*S*S的特征图；其中，H、W和D分别为特征图的高宽像素及深度，C为每个对象实例的语义类别概率。
实例掩码分割分支的输出为像素点的实例掩码，可采用现有的掩码分割方法。实例掩码分割分支的输入为尺寸为H*W*D的特征图，输出为H*W*S*S的特征图。
进一步地，将特征提取后的H*W*D特征图，融入像素点坐标，包括：创建与输入叶片图像具有相同空间大小的张量，张量中包含图像中像素坐标信息，将坐标信息分别进行线性变换，映射到[-1,1]空间；将包含坐标信息的张量与特征提取后的H*W*D特征图进行拼接。
具体地，因为FCN在一定程度上具有空间不变性，分支需要基于图像中网格的位置(S*S个通道)，所以需要平移可变性，在原始FCN特征基础上增加坐标信息，将像素点的坐标(x，y)，归一化到[-1,1]空间。
创建一个与输入图像具有相同空间大小的张量，该张量包含图像中像素坐标信息，坐标信息进行线性变换，从而映射到[-1,1]空间。线性变换函数为：
式中，Xmin为样本中最小值，Xmax为样本中最大值，x为归一化前的值，x’为归一化后的值。
将包含坐标信息的张量与输入特征图连接之后传递到下一卷积层，图像中目标叶片的空间位置特征添加到了传统的FCN模型中。
将尺寸为H*W*D特征图融入像素点坐标(x，y)，原始特征张量的大小为H*W*D，则新张量的大小为H*W*(D+2)，其中，最后两个通道为像素坐标(x,y)，从而提供全局位置信息。
尺寸为H*W*(D+2)的特征图经过自适应池化和上采样后，输出为尺寸为H*W*S*S的特征图。上采样方法可采用双线性插值法。
实例掩码分割分支使用的损失函数可为焦点损失函数Lmask，Lmask的函数为：
式中，k为第k个通道负责为坐标为(i,j)的网格中分割实例，i＝k/S，k＝i*S+j，j＝k mod S，Npos为正样本数，p*,m*分别为类别真值和掩码真值。
基于上述实施例的内容，作为一种可选实施例，根据实例分类结果和掩码分割结果，得到具有类别属性的实例分割结果，包括：将所有网格的分割结果叠加汇总，采用非极大值抑制(Non-Maximum Suppression，NMS)方法得到叶片图像最终的有类别属性的实例分割结果。
NMS的实施步骤为：根据置信度得分进行排序；选择置信度最高的比边界框添加到最终输出列表中，将其从边界框列表中删除；计算所有边界框的面积；计算置信度最高的边界框与其它候选框的感兴趣区域(Intersection over Union，IoU)；删除IoU大于阈值的边界框；重复上述过程，直至边界框列表为空。IoU的公式为：
此外，可按照7：3的比例，对初始的样本叶片图像随机分配，分别用于分割模型的训练和测试操作。
训练集的制作主要涉及2个部分，分别是原图文件夹与一个JSON文档。原图文件夹放的是所有训练集的原图，JSON文档中存放的是训练集原图对应的标注信息。具体地，测试集也由两个部分组成，分别是原图文件夹和一个JSON文档。
下面对本发明实施例提供的基于卷积神经网络的作物叶片分割装置进行描述，下文描述的基于卷积神经网络的作物叶片分割装置与上文描述的基于卷积神经网络的作物叶片分割方法可相互对应参照。
图2是本发明实施例提供的一种基于卷积神经网络的作物叶片分割装置的结构示意图，如图2所示，该基于卷积神经网络的作物叶片分割装置包括：特征提取模块201、分类分割模块202和实例分割模块203。其中，特征提取模块201用于将包含不同作物叶片的叶片图像，输入分割模型的多层卷积网络进行特征提取；分类分割模块202用于将提取得到的每层特征图，经特征融合后，分别通过实例类别判别分支，得到实例分类结果，以及通过实例掩码分支，得到掩码分割结果；实例分割模块203用于根据实例分类结果和掩码分割结果，得到具有类别属性的实例分割结果；其中，分割模型，根据已知实例分割结果和掩码分割结果的样本叶片图像训练后得到。
本发明实施例提供的装置实施例是为了实现上述各方法实施例的，具体流程和详细内容请参照上述方法实施例，此处不再赘述。
本发明实施例提供的基于卷积神经网络的作物叶片分割装置，分别通过两个分支获取实例分类结果和掩码分割结果，而非获得成片的区域，使叶片与叶片之间能很好的分割出来。该方法在不同光照和不同背景噪声干扰等复杂背景下，也具有较高的分割精度和分割速度。
图3是本发明实施例提供的一种电子设备的结构示意图，如图3所示，该电子设备可以包括：处理器(processor)301、通信接口(Communications Interface)302、存储器(memory)303和通信总线304，其中，处理器301，通信接口302，存储器303通过通信总线304完成相互间的通信。处理器301可以调用存储器303中的逻辑指令，以执行基于卷积神经网络的作物叶片分割方法，该方法包括：将包含不同作物叶片的叶片图像，输入分割模型的多层卷积网络进行特征提取；将提取得到的每层特征图，经特征融合后，分别通过实例类别判别分支，得到实例分类结果，以及通过实例掩码分支，得到掩码分割结果；根据实例分类结果和掩码分割结果，得到具有类别属性的实例分割结果；其中，分割模型，根据已知实例分割结果和掩码分割结果的样本叶片图像训练后得到。
此外，上述的存储器303中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明实施例还提供一种计算机程序产品，计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，计算机程序包括程序指令，当程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的基于卷积神经网络的作物叶片分割方法，该方法包括：将包含不同作物叶片的叶片图像，输入分割模型的多层卷积网络进行特征提取；将提取得到的每层特征图，经特征融合后，分别通过实例类别判别分支，得到实例分类结果，以及通过实例掩码分支，得到掩码分割结果；根据实例分类结果和掩码分割结果，得到具有类别属性的实例分割结果；其中，分割模型，根据已知实例分割结果和掩码分割结果的样本叶片图像训练后得到。
又一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的基于卷积神经网络的作物叶片分割方法，该方法包括：将包含不同作物叶片的叶片图像，输入分割模型的多层卷积网络进行特征提取；将提取得到的每层特征图，经特征融合后，分别通过实例类别判别分支，得到实例分类结果，以及通过实例掩码分支，得到掩码分割结果；根据实例分类结果和掩码分割结果，得到具有类别属性的实例分割结果；其中，分割模型，根据已知实例分割结果和掩码分割结果的样本叶片图像训练后得到。
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种基于卷积神经网络的作物叶片分割方法，其特征在于，包括：
将包含不同作物叶片的叶片图像，输入分割模型的多层卷积网络进行特征提取；
将提取得到的每层特征图，经特征融合后，分别通过实例类别判别分支，得到实例分类结果，以及通过实例掩码分支，得到掩码分割结果；
根据所述实例分类结果和所述掩码分割结果，得到具有类别属性的实例分割结果；
其中，所述分割模型，根据已知实例分割结果和掩码分割结果的样本叶片图像训练后得到。
2.根据权利要求1所述的基于卷积神经网络的作物叶片分割方法，其特征在于，所述将包含不同作物叶片的叶片图像，输入分割模型的多层卷积网络进行特征提取，具体为：
将原始图像划分为S*S个网格，通过多层卷积网络对叶片图像进行特征提取；
相应地，得到实例分类结果，具体为：
得到S*S个网格中每个网格的实例分类结果。
3.根据权利要求2所述的基于卷积神经网络的作物叶片分割方法，其特征在于，所述通过实例类别判别分支，得到实例分类结果，包括：
将特征提取后的H*W*D特征，融合为H*W特征图，再经上采样变为原图大小；
经语义类别分割，得到尺寸为S*S*C的特征图；
其中，H、W和D分别为特征图的高宽像素及深度，C为每个对象实例的语义类别概率。
4.根据权利要求2所述的基于卷积神经网络的作物叶片分割方法，其特征在于，所述通过实例掩码分支，得到掩码分割结果，包括：
将特征提取后的H*W*D特征图，融入像素点坐标，得到H*W*(D+2)的特征张量；
将尺寸为H*W*(D+2)特征张量形式的特征图，经过自适应池化和上采样后，输出为尺寸为H*W*S*S的特征图；
其中，H、W和D分别为特征图的高宽像素及深度。
5.根据权利要求4所述的基于卷积神经网络的作物叶片分割方法，其特征在于，将特征提取后的H*W*D特征图，融入像素点坐标，包括：
创建与输入叶片图像具有相同空间大小的张量，张量中包含图像中像素坐标信息，将坐标信息分别进行线性变换，映射到[-1,1]空间；
将包含坐标信息的张量与特征提取后的H*W*D特征图进行拼接。
6.根据权利要求1所述的基于卷积神经网络的作物叶片分割方法，其特征在于，将包含不同作物叶片的叶片图像，输入分割模型的多层卷积网络进行特征提取之前，还包括：
对所述叶片图像进行预处理；
所述预处理包括，图像旋转、变换尺寸、翻转、亮度调整和数据集扩充。
7.根据权利要求2所述的基于卷积神经网络的作物叶片分割方法，其特征在于，所述根据所述实例分类结果和所述掩码分割结果，得到具有类别属性的实例分割结果，包括：
将所有网格的分割结果叠加汇总，采用非极大值抑制方法得到叶片图像最终的有类别属性的实例分割结果。
8.一种基于卷积神经网络的作物叶片分割装置，其特征在于，包括：
特征提取模块，用于将包含不同作物叶片的叶片图像，输入分割模型的多层卷积网络进行特征提取；
分类分割模块，用于将提取得到的每层特征图，经特征融合后，分别通过实例类别判别分支，得到实例分类结果，以及通过实例掩码分支，得到掩码分割结果；
实例分割模块，用于根据所述实例分类结果和所述掩码分割结果，得到具有类别属性的实例分割结果；
其中，所述分割模型，根据已知实例分割结果和掩码分割结果的样本叶片图像训练后得到。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述基于卷积神经网络的作物叶片分割方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至7任一项所述基于卷积神经网络的作物叶片分割方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011183241.6A CN112381835A (zh) | 2020-10-29 | 2020-10-29 | 基于卷积神经网络的作物叶片分割方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011183241.6A CN112381835A (zh) | 2020-10-29 | 2020-10-29 | 基于卷积神经网络的作物叶片分割方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112381835A true CN112381835A (zh) | 2021-02-19 |
Family
ID=74577184
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011183241.6A Pending CN112381835A (zh) | 2020-10-29 | 2020-10-29 | 基于卷积神经网络的作物叶片分割方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112381835A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112837330A (zh) * | 2021-03-02 | 2021-05-25 | 中国农业大学 | 基于多尺度双注意力机制和全卷积神经网络的叶分割方法 |
| CN112907621A (zh) * | 2021-02-24 | 2021-06-04 | 华南理工大学 | 一种基于差分和语义信息融合的运动目标提取方法 |
| CN113378842A (zh) * | 2021-05-18 | 2021-09-10 | 浙江大学 | 基于分割图像特征提取的推荐方法 |
| CN113569860A (zh) * | 2021-07-29 | 2021-10-29 | 北京地平线信息技术有限公司 | 实例分割方法和实例分割网络的训练方法及其装置 |
| CN113658206A (zh) * | 2021-08-13 | 2021-11-16 | 江南大学 | 一种植物叶片分割方法 |
| CN115375707A (zh) * | 2022-08-18 | 2022-11-22 | 石河子大学 | 一种复杂背景下植物叶片精准分割方法及系统 |
| CN117011718A (zh) * | 2023-10-08 | 2023-11-07 | 之江实验室 | 一种基于多元损失融合的植物叶片细粒度识别方法和系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108564589A (zh) * | 2018-03-26 | 2018-09-21 | 江苏大学 | 一种基于改进全卷积神经网络的植物叶片分割方法 |
| US20190057507A1 (en) * | 2017-08-18 | 2019-02-21 | Samsung Electronics Co., Ltd. | System and method for semantic segmentation of images |
| CN110348445A (zh) * | 2019-06-06 | 2019-10-18 | 华中科技大学 | 一种融合空洞卷积和边缘信息的实例分割方法 |
| CN111160352A (zh) * | 2019-12-27 | 2020-05-15 | 创新奇智(北京)科技有限公司 | 一种基于图像分割的工件金属表面文字识别方法及系统 |
| CN111339874A (zh) * | 2020-02-18 | 2020-06-26 | 广州麦仑信息科技有限公司 | 一种单级人脸分割的方法 |
| CN111626284A (zh) * | 2020-05-26 | 2020-09-04 | 广东小天才科技有限公司 | 一种手写字体去除的方法、装置、电子设备和存储介质 |
| CN111768415A (zh) * | 2020-06-15 | 2020-10-13 | 哈尔滨工程大学 | 一种无量化池化的图像实例分割方法 |
-
2020
- 2020-10-29 CN CN202011183241.6A patent/CN112381835A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190057507A1 (en) * | 2017-08-18 | 2019-02-21 | Samsung Electronics Co., Ltd. | System and method for semantic segmentation of images |
| CN108564589A (zh) * | 2018-03-26 | 2018-09-21 | 江苏大学 | 一种基于改进全卷积神经网络的植物叶片分割方法 |
| CN110348445A (zh) * | 2019-06-06 | 2019-10-18 | 华中科技大学 | 一种融合空洞卷积和边缘信息的实例分割方法 |
| CN111160352A (zh) * | 2019-12-27 | 2020-05-15 | 创新奇智(北京)科技有限公司 | 一种基于图像分割的工件金属表面文字识别方法及系统 |
| CN111339874A (zh) * | 2020-02-18 | 2020-06-26 | 广州麦仑信息科技有限公司 | 一种单级人脸分割的方法 |
| CN111626284A (zh) * | 2020-05-26 | 2020-09-04 | 广东小天才科技有限公司 | 一种手写字体去除的方法、装置、电子设备和存储介质 |
| CN111768415A (zh) * | 2020-06-15 | 2020-10-13 | 哈尔滨工程大学 | 一种无量化池化的图像实例分割方法 |
Non-Patent Citations (1)
| Title |
|---|
| XINLONG WANG等: "SOLO: Segmenting Objects by Locations", 《ARXIV:1912.04488V3[CS.CV]》, pages 1 - 19 * |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112907621A (zh) * | 2021-02-24 | 2021-06-04 | 华南理工大学 | 一种基于差分和语义信息融合的运动目标提取方法 |
| CN112907621B (zh) * | 2021-02-24 | 2023-02-14 | 华南理工大学 | 一种基于差分和语义信息融合的运动目标提取方法 |
| CN112837330A (zh) * | 2021-03-02 | 2021-05-25 | 中国农业大学 | 基于多尺度双注意力机制和全卷积神经网络的叶分割方法 |
| CN112837330B (zh) * | 2021-03-02 | 2024-05-10 | 中国农业大学 | 基于多尺度双注意力机制和全卷积神经网络的叶分割方法 |
| CN113378842A (zh) * | 2021-05-18 | 2021-09-10 | 浙江大学 | 基于分割图像特征提取的推荐方法 |
| CN113569860A (zh) * | 2021-07-29 | 2021-10-29 | 北京地平线信息技术有限公司 | 实例分割方法和实例分割网络的训练方法及其装置 |
| CN113569860B (zh) * | 2021-07-29 | 2024-02-27 | 北京地平线信息技术有限公司 | 实例分割方法和实例分割网络的训练方法及其装置 |
| CN113658206A (zh) * | 2021-08-13 | 2021-11-16 | 江南大学 | 一种植物叶片分割方法 |
| CN113658206B (zh) * | 2021-08-13 | 2024-04-09 | 江南大学 | 一种植物叶片分割方法 |
| CN115375707A (zh) * | 2022-08-18 | 2022-11-22 | 石河子大学 | 一种复杂背景下植物叶片精准分割方法及系统 |
| CN117011718A (zh) * | 2023-10-08 | 2023-11-07 | 之江实验室 | 一种基于多元损失融合的植物叶片细粒度识别方法和系统 |
| CN117011718B (zh) * | 2023-10-08 | 2024-02-02 | 之江实验室 | 一种基于多元损失融合的植物叶片细粒度识别方法和系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112381835A (zh) | 基于卷积神经网络的作物叶片分割方法及装置 | |
| CN111723860B (zh) | 一种目标检测方法及装置 | |
| CN110148120B (zh) | 一种基于cnn与迁移学习的病害智能识别方法及系统 | |
| CN112837330B (zh) | 基于多尺度双注意力机制和全卷积神经网络的叶分割方法 | |
| CN110516541B (zh) | 文本定位方法、装置、计算机可读存储介质和计算机设备 | |
| CN112183501A (zh) | 深度伪造图像检测方法及装置 | |
| CN112465889B (zh) | 一种基于二维-三维集成的植株点云分割方法、系统和存储介质 | |
| CN112101386B (zh) | 文本检测方法、装置、计算机设备和存储介质 | |
| CN111768415A (zh) | 一种无量化池化的图像实例分割方法 | |
| CN111860537B (zh) | 基于深度学习的绿色柑橘识别方法、设备及装置 | |
| CN113762138A (zh) | 伪造人脸图片的识别方法、装置、计算机设备及存储介质 | |
| Su et al. | Prior guided conditional generative adversarial network for single image dehazing | |
| CN113592807A (zh) | 一种训练方法、图像质量确定方法及装置、电子设备 | |
| CN110969182A (zh) | 基于农田图像的卷积神经网络构建方法及其系统 | |
| CN114331946A (zh) | 一种图像数据处理方法、设备以及介质 | |
| CN114898359B (zh) | 一种基于改进EfficientDet的荔枝病虫害检测方法 | |
| CN110751271B (zh) | 一种基于深度神经网络的图像溯源特征表征方法 | |
| CN117011465A (zh) | 一种树木三维重建方法、装置、电子设备及存储介质 | |
| CN113554568B (zh) | 一种基于自监督约束和不成对数据的无监督循环去雨网络方法 | |
| CN113554655B (zh) | 基于多特征增强的光学遥感图像分割方法及装置 | |
| CN112418256A (zh) | 分类、模型训练、信息搜索方法、系统及设备 | |
| CN111832508B (zh) | 基于die_ga的低照度目标检测方法 | |
| Han et al. | SSMU-Net: A style separation and mode unification network for multimodal remote sensing image classification | |
| CN117635938A (zh) | 花椒点云分割方法、设备、介质及系统 | |
| CN117058554A (zh) | 电力设备目标检测方法、模型训练方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |