CN113240697B - 一种生菜多光谱图像前景分割方法 - Google Patents

一种生菜多光谱图像前景分割方法 Download PDF

Info

Publication number
CN113240697B
CN113240697B CN202110519829.2A CN202110519829A CN113240697B CN 113240697 B CN113240697 B CN 113240697B CN 202110519829 A CN202110519829 A CN 202110519829A CN 113240697 B CN113240697 B CN 113240697B
Authority
CN
China
Prior art keywords
image
lettuce
multispectral
segmentation
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110519829.2A
Other languages
English (en)
Other versions
CN113240697A (zh
Inventor
黄林生
邵松
罗耀武
张娜
施倩
张寒苏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui University
Original Assignee
Anhui University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui University filed Critical Anhui University
Priority to CN202110519829.2A priority Critical patent/CN113240697B/zh
Publication of CN113240697A publication Critical patent/CN113240697A/zh
Application granted granted Critical
Publication of CN113240697B publication Critical patent/CN113240697B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10036—Multispectral image; Hyperspectral image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种生菜多光谱图像前景分割方法，与现有技术相比解决了多镜头多光谱相机各通道之间存在偏差以及传统方法无法精确提取生菜前景区域的缺陷。本发明包括以下步骤：生菜多光谱图像的获取和预处理；行边缘提取操作；生菜多光谱图像的配准；图像分割模型的建立；图像分割模型的训练；待分割图像的获取和处理；待分割图像结果的获得。本发明能够对田间生菜多光谱图像进行各个通道的精确配准并实现前景分割，其单张图像的配准时间为0.92s，配准精确度达到99％。

Description

一种生菜多光谱图像前景分割方法
技术领域
本发明涉及多光谱图像处理技术领域，具体来说是一种生菜多光谱图像前景分割方法。
背景技术
现阶段随着传感器技术和图像分析技术的快速发展，在获取丰富数据的同时，可挖掘的图像信息也越来越丰富。拼接、配准、融合、语义分割和目标识别等技术是图像信息挖掘的基础。
多光谱图像能够获取丰富光谱信息，反映作物的生理生长信息，但由于多镜头多光谱相机各通道之间存在的偏差以及传统分割方法的不适用性，在图像分析处理过程中，往往会出现无法自动化分割或分割精度较低的情况。
同时，目前应用于农业领域的语义分割模型多因细粒度程度不够且分割精度无法满足需求而难以实现生菜多光谱图像精细化表型信息提取，特别是针对生菜多光谱图像的分割，传统的现有模型分割精度不高、均无法满足实际应用需要。
发明内容
本发明的目的是为了解决现有技术中多镜头多光谱相机各通道之间存在偏差以及传统方法无法精确提取生菜前景区域的缺陷，提供一种生菜多光谱图像前景分割方法来解决上述问题。
为了实现上述目的，本发明的技术方案如下：
一种生菜多光谱图像前景分割方法，包括以下步骤：
11)生菜多光谱图像的获取和预处理：将图像采集高度设定为1.5m、图像采集装置移动速度设置为0.05m/s，利用多光谱相机拍摄生菜多光谱图像，剔除高重叠度图像后将图像尺寸从2064x1544像素缩放为512×512像素，形成原始图像数据集；
12)生菜多光谱图像的边缘提取：利用边缘提取算法对生菜多光谱图像进行边缘提取操作；
13)生菜多光谱图像的配准：利用相位相关算法对生菜多光谱图像进行配准处理；
14)图像分割模型的建立：利用U-net网络构建图像分割模型；
15)图像分割模型的训练：利用配准处理后的生菜多光谱图像对图像分割模型进行训练；
16)待分割图像的获取和处理：获取待配准图像并进行预处理，再进行边缘提取和配准处理；
17)待分割图像结果的获得：将配准处理后的待分割图像输入训练后的图像分割模型，对生菜多光谱图像进行前景分割。
所述生菜多光谱图像的边缘提取包括以下步骤：
21)使用5x5的高斯滤波器来平滑和去除噪声，其公式如下：
Figure BDA0003063473990000021
其中，σ为方差，k确定核矩阵的维数，i为x轴方向随机参数，j为y轴方向随机参数；
22)对平滑后的图像使用Sobel算子计算水平方向和竖直方向的一阶导数即图像梯度Gx和Gy，根据得到的这两幅梯度图Gx和Gy找到边界的梯度和方向，其公式如下：
Figure BDA0003063473990000022
Figure BDA0003063473990000023
其中，G为每一个点的梯度值，θ为每一个点的梯度方向；
23)使用非极大值抑制，即寻找像素点的局部最大值，将非极大值所对应的像素点的灰度值设置为0，来消除边缘检测带来的杂散响应；
24)滞后阈值：通过设定两个阈值minVal和maxVal来确定真正的边界，对于低于minVal阈值的像素点直接抛弃，高于maxVal阈值的像素点为真正的边界；处于阈值之间的像素点如果与真正的边界点相连便认为它也是边界点，否则就抛弃；根据选取的阈值，自动对图像进行边缘检测。
所述生菜多光谱图像的配准包括以下步骤：
31)在得到多光谱边缘检测图像后，通过傅里叶变换将其变换到频域中，再求得两张图片的互功率谱，在得到的互功率谱中出现一个异常的波峰，定位到波峰的坐标即求得两张图像的水平平移参数；
32)假设f1(x,y)和f2(x,y)为两个图像的时域信号，满足以下关系式，即是f2(x,y)由f1(x,y)经过简单的平移得到：
f2(x,y)＝f1(x-x0,y-y0)，
根据傅里叶变换的性质得
Figure BDA0003063473990000031
其中，F1(u,v)和F2(u,v)分别为f1(x,y)和f2(x,y)的傅里叶变换；
它们的互功率谱为
Figure BDA0003063473990000032
式中：F1*(u,v)为F1(u,v)的复共轭，F2*(u,v)为F2(u,v)的复共轭；
Figure BDA0003063473990000033
的傅里叶反变换为一个二维脉冲函数δ(x-x0，y-y0)，相位相关法就是求取上式的傅里叶反变换，然后找到最高峰的位置，最高位置的坐标即是平移参数x0和y0；
根据求得的平移参数对多光谱图像进行平移，将五张多光谱图像配准到同一位置。
所述图像分割模型的建立包括以下步骤：
41)使用VGG16作为主干特征提取网络，并使用Imagenet上的预训练权重进行迁移学习，来提高模型的泛化性；
VGG16总共有16层，13个卷积层和3个全连接层，第一次经过64个卷积核的两次卷积后，采用一次pooling，第二次经过两次128个卷积核卷积后，再采用pooling，再重复两次三个512个卷积核卷积后，再pooling，最后经过三次全连接层输出特征图；
42)分割网络U-Net结构主要由主干特征提取网络VGG16和加强特征提取网络构成，其形状可以看作为一个U型，利用VGG16主干特征提取网络获得五个初步的特征层，在加强特征提取网络里，利用这五个初步有效特征层进行特征融合，特征融合的方式就是对特征层进行上采样并且进行堆叠；
为了方便网络的构建和更好的通透性，在加强特征提取网络里，在进行上采样时直接进行两倍上采样再进行特征融合，最终获得的特征层和输入图片的长宽高相同；
43)为了量化本文语义分割方法对生菜冠层多光谱图像的分割效果以及对比不同方法的分割性能，引入平均像素准确率Accuracy、平均交并比MIoU、召回率Rell、精确率Precesions和平衡F分数F1-Score进行评价，其表达式如下：
Figure BDA0003063473990000041
Figure BDA0003063473990000042
Figure BDA0003063473990000043
Figure BDA0003063473990000044
Figure BDA0003063473990000045
Figure BDA0003063473990000046
在此假设共有k+1个分类，TP表示预测是正确的正样本，FP表示预测是错误的正本,TN表示预测是正确的负样本，FP表示预测是错误的负样本。
所述图像分割模型的训练包括以下步骤：
51)将配准后的多光谱图像作为数据集，使用labelimg对其进行标注，使用旋转、镜像、缩放，添加高斯噪声方式进行标记样本数量扩充，将得到的图像数据集送入U-Net模型进行训练；
52)采用非线性函数ReLU来作为模型隐藏层的激活函数，其将所有负值都变为0，不改变正值，使得神经网络具有稀疏激活性；
53)使用的损失函数由Cross Entropy Loss和Dice Loss组成，模型最终输出一个二分类图像，使用Softmax对像素点进行分类的时候使用Cross Entropy Loss作为Loss损失函数，交叉熵用来表达神经网络输入输出的结果差异，交叉熵越小，输入和输出的结果就越接近，
分类的交叉熵损失函数为：
Figure BDA0003063473990000051
Dice loss将语义分割的评价指标作为Loss，Dice系数是一种集合相似度度量函数，用于计算两个样本的相似度，取值范围在[0,1]，越大表示预测结果和真实结果重合度越大，所以Dice系数是越大越好，而如果是作为Loss的话是越小越好，所以使得Dice loss＝1-Dice，将Loss作为语义分割的损失了，计算公式如下：
Figure BDA0003063473990000052
其中，X、Y分别表示预测值的像素点集和真实值像素点集。
有益效果
本发明的一种生菜多光谱图像前景分割方法，与现有技术相比能够对田间生菜多光谱图像进行各个通道的精确配准并实现前景分割，其单张图像的配准时间为0.92s，配准精确度达到99％，与传统的配准算法相比，时间上减少了0.61s,精度提高了3％。
本发明使用Canny算法对多光谱图像进行边缘提取，将提取后的图像使用相位相关法对各个通道的图像进行配准。以VGG16作为主干特征提取网络，直接使用两倍上采样，使最终输出图片和输入图片高宽相等，构建优化的U-Net模型对配准后的图像进行分割，对前景感兴趣区域进行精确提取。本发明单张图像的分割时间为0.11s,mAP与MIoU分别达到99.19％与94.98％，与传统U-Net方法相比提高了1.6％与2.5％，
附图说明
图1为本发明的方法顺序图；
图2a为不同分割方法的训练精度对比图；
图2b为不同分割方法的损失曲线对比图；
图3为本发明所述方法与其他分割方法在测试集上的分割结果对比图。
具体实施方式
为使对本发明的结构特征及所达成的功效有更进一步的了解与认识，用以较佳的实施例及附图配合详细的说明，说明如下：
如图1所示，本发明所述的一种生菜多光谱图像前景分割方法，包括以下步骤：
第一步，生菜多光谱图像的获取和预处理：将图像采集高度设定为1.5m、图像采集装置移动速度设置为0.05m/s，利用多光谱相机拍摄生菜多光谱图像，剔除高重叠度图像后将图像尺寸从2064x1544像素缩放为512×512像素，形成原始图像数据集。
第二步，生菜多光谱图像的边缘提取：利用边缘提取算法对生菜多光谱图像进行边缘提取操作。其具体步骤如下：
(1)使用5x5的高斯滤波器来平滑和去除噪声，其公式如下：
Figure BDA0003063473990000071
其中，σ为方差，k确定核矩阵的维数，i为x轴方向随机参数，j为y轴方向随机参数；
(2)对平滑后的图像使用Sobel算子计算水平方向和竖直方向的一阶导数即图像梯度Gx和Gy，根据得到的这两幅梯度图Gx和Gy找到边界的梯度和方向，其公式如下：
Figure BDA0003063473990000072
Figure BDA0003063473990000073
其中，G为每一个点的梯度值，θ为每一个点的梯度方向。梯度方向被归为垂直、水平、两个对角线。
(3)使用非极大值抑制，即寻找像素点的局部最大值，将非极大值所对应的像素点的灰度值设置为0，来消除边缘检测带来的杂散响应；
(4)滞后阈值：通过设定两个阈值minVal和maxVal来确定真正的边界，对于低于minVal阈值的像素点直接抛弃，高于maxVal阈值的像素点为真正的边界；处于阈值之间的像素点如果与真正的边界点相连便认为它也是边界点，否则就抛弃；根据选取的阈值，自动对图像进行边缘检测。
通过滞后阈值确定哪些边界才是真正的边界，这时需要设置两个阈值，minVal和maxVal的边界会被抛弃。如果介于两者之间的话，就看这个点是否与某个确定为真正的边界点相连，如果是就认为它也是边界点，如果不是就抛弃。
第三步，生菜多光谱图像的配准：利用相位相关算法对生菜多光谱图像进行配准处理。
图像配准是图像处理的基本任务之一，其主要用于将不同时间、不同传感器、不同视角或者不同拍摄场景获取的关于同一目标或者场景或者多幅图像进行最主要几何意义上的匹配过程。
本发明中室内冠层采集装置使用MicaSense Altum多光谱相机进行多光谱数据采集，其采集到的数据是五张不同波段的生菜图片，五张生菜图片来自五个镜头拍摄，生菜图片之间具有水平偏移。生菜图像的平移运动可以通过傅里叶变换将其变换到频域中相位的变化表现出来，所以采用基于相位相关的模板匹配方法来精确的计算出不同波段之间图像的相对平移量。
其具体步骤如下：
(1)在得到多光谱边缘检测图像后，通过傅里叶变换将其变换到频域中，再求得两张图片的互功率谱，在得到的互功率谱中出现一个异常的波峰，定位到波峰的坐标即可求得两张图像的水平平移参数；
(2)假设f1(x,y)和f2(x,y)为两个图像的时域信号，他们满足以下关系式，即是f2(x,y)由f1(x,y)经过简单的平移得到：
f2(x,y)＝f1(x-x0,y-y0)
根据傅里叶变换的性质得
Figure BDA0003063473990000081
其中，F1(u,v)和F2(u,v)分别为f1(x,y)和f2(x,y)的傅里叶变换；
它们的互功率谱为
Figure BDA0003063473990000082
式中：F1*(u,v)为F1(u,v)的复共轭，F2*(u,v)为F2(u,v)的复共轭；
Figure BDA0003063473990000083
的傅里叶反变换为一个二维脉冲函数δ(x-x0,y-y0)，相位相关法就是求取上式的傅里叶反变换，然后找到最高峰的位置，最高位置的坐标即是平移参数x0和y0；
根据求得的平移参数对多光谱图像进行平移，将五张多光谱图像配准到同一位置。
第四步，图像分割模型的建立：为了满足对生菜表型进行精确提取，本方法使用VGG16网络作为主特征提取网络，结合U-net网络结构，在解码部分使用两倍上采样，使最终输出图像与输入图像相同，构建了本方法使用的语义分割模型。其步骤如下：
(1)使用VGG16作为主干特征提取网络，并使用Imagenet上的预训练权重进行迁移学习，来提高模型的泛化性；
VGG16总共有16层，13个卷积层和3个全连接层，第一次经过64个卷积核的两次卷积后，采用一次pooling，第二次经过两次128个卷积核卷积后，再采用pooling，再重复两次三个512个卷积核卷积后，再pooling，最后经过三次全连接层输出特征图；
(2)分割网络U-Net结构主要由主干特征提取网络VGG16和加强特征提取网络构成，其形状可以看作为一个U型，利用VGG16主干特征提取网络可以获得五个初步的特征层，在加强特征提取网络里，利用这五个初步有效特征层进行特征融合，特征融合的方式就是对特征层进行上采样并且进行堆叠；
为了方便网络的构建和更好的通透性，在加强特征提取网络里，在进行上采样时直接进行两倍上采样再进行特征融合，最终获得的特征层和输入图片的而宽高相同；
(3)为了量化本文语义分割方法对生菜冠层多光谱图像的分割效果以及对比不同方法的分割性能，在此引入平均像素准确率Accuracy、平均交并比MIoU、召回率Rell、精确率Precesions和平衡F分数F1-Score来进行评价，其表达式如下：
Figure BDA0003063473990000091
Figure BDA0003063473990000092
Figure BDA0003063473990000093
Figure BDA0003063473990000094
Figure BDA0003063473990000101
Figure BDA0003063473990000102
在此假设共有k+1个分类，TP表示预测是正确的正样本，FP表示预测是错误的正本,TN表示预测是正确的负样本，FP表示预测是错误的负样本。
第五步，图像分割模型的训练：利用配准处理后的生菜多光谱图像对图像分割模型进行训练。其具体步骤如下：
(1)将配准后的多光谱图像作为数据集，使用labelimg对其进行标注，使用旋转，镜像，缩放，添加高斯噪声等方式进行标记样本数量扩充，将得到的图像数据集送入U-Net模型进行训练。
(2)采用非线性函数ReLU来作为模型隐藏层的激活函数，其将所有负值都变为0，不改变正值，使得神经网络具有稀疏激活性；
(3)使用的损失函数由Cross Entropy Loss和Dice Loss组成，模型最终输出一个二分类图像，使用Softmax对像素点进行分类的时候使用Cross Entropy Loss作为Loss损失函数，交叉熵用来表达神经网络输入输出的结果差异，交叉熵越小，输入和输出的结果就越接近，
分类的交叉熵损失函数为：
Figure BDA0003063473990000103
Dice loss将语义分割的评价指标作为Loss，Dice系数是一种集合相似度度量函数，用于计算两个样本的相似度，取值范围在[0,1]，越大表示预测结果和真实结果重合度越大，所以Dice系数是越大越好，而如果是作为Loss的话是越小越好，所以使得Dice loss＝1-Dice，将Loss作为语义分割的损失了，计算公式如下：
Figure BDA0003063473990000104
其中，X、Y分别表示预测值的像素点集和真实值像素点集。
第六步，待分割图像的获取和处理：获取待配准图像并进行预处理，再进行边缘提取和配准处理。
第七步，待分割图像结果的获得：将配准处理后的待分割图像输入训练后的图像分割模型，对生菜多光谱图像进行前景分割。
本发明模型训练将初始学习率设置为1e-4衰减率设置为为0.9,将训练集的1617个训练样本每两幅图片作为一个批次(batch)输入到模型中进行训练，训练一共进行300个epoch迭代循环。为了加快训练速度和训练初期防止权值被破坏，本文在训练的前10个epoch冻结一部分神经网络进行训练，之后把所有神经网络进行解冻训练，同时将学习率调整为1e-5衰减率依然设置为0.9。
为测试本文语义分割模型(UNet_vgg)的性能，对测试集693张生菜多光谱冠层图像采用传统的U-Net方法、Segnet方法、基于VGG特征提取网络的Segnet方法以及PSPnet方法进行语义分割并分析。
对比六个模型的Accuracy曲线和Loss曲线可以看出，U-Net模型对比Segnet模型的收敛速度更快，并且分割的精度也更高。用VGG作为特征提取网络的模型要比传统语义分割模型的分割精度更高，随着迭代次数的增加，模型分割精度不断上升并趋于稳定，当迭代到300epoch时，损失函数值基本收敛，表明模型达到了比较好的训练效果。不同分割方法的训练精度和损失曲线图如下图2a、图2b所示。从图2a、图2b中可以看出，对比六个模型的精度曲线和损失曲线，本发明UNet_vgg方法相较于传统的UNet方法均有不同程度的提升。本发明方法对比Segnet方法的收敛速度更快，精度更高，在对多光谱图进行语义分割时，本方法相较于流行的PSPnet语义分割模型在分割准确度上具有较大的提升。
为了量化本发明分割方法对生菜冠层多光谱图像的分割效果以及对比不同方法的分割性能，在此引入平均像素准确率(mean Pixel Accuracy,mPA)、平均交并比(meanregion intersection over union,MIoU)、召回率(Rell)、精确率(Precesions)和平衡F分数(F1-Score)来进行评价。
在此假设共有k+1个分类，TP表示预测是正确的正样本，FP表示预测是错误的正本,TN表示预测是正确的负样本，FP表示预测是错误的负样本。
考虑到方法的实际使用性能，本发明利用平均处理时间来说明不同方法的时间性能。平均处理时间定义为某个分割方法对单幅图像分割所需时间的平均值。不同分割方法测试集分类结果如下表1所示，本文提出的UNet_vgg方法与其他分割方法在测试集上的分割结果对比如图3所示。从图3中可以看出，本发明UNet_vgg方法在测试集上的分割效果具有跟人工分割相同的分割效果，传统的UNet模型也有较好的分割效果，但是在细节上的分割效果还不够。目前比较流行的Pspnet语义分割模型在生菜多光谱图像测试集上表现出了较差的分割效果。从整体上看，本发明方法相较于其他语义分割方法拥有更好的分割效果，可以满足对生菜前景精细化提取的要求。
表1不同分割方法测试集分类结果对比表
Table 4 Comparison of classification results of samples forvalidation under different segmentation algorithms
Figure BDA0003063473990000121
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。

Claims (4)

1.一种生菜多光谱图像前景分割方法，其特征在于，包括以下步骤：
1)生菜多光谱图像的获取和预处理：将图像采集高度设定为1.5m、图像采集装置移动速度设置为0.05m/s，利用多光谱相机拍摄生菜多光谱图像，剔除高重叠度图像后将图像尺寸从2064x1544像素缩放为512×512像素，形成原始图像数据集；
2)生菜多光谱图像的边缘提取：利用边缘提取算法对生菜多光谱图像进行边缘提取操作；
3)生菜多光谱图像的配准：利用相位相关算法对生菜多光谱图像进行配准处理；
4)图像分割模型的建立：利用U-net网络构建图像分割模型；
所述图像分割模型的建立包括以下步骤：
41)使用VGG16作为主干特征提取网络，并使用Imagenet上的预训练权重进行迁移学习，来提高模型的泛化性；
VGG16总共有16层，13个卷积层和3个全连接层，第一次经过64个卷积核的两次卷积后，采用一次pooling，第二次经过两次128个卷积核卷积后，再采用pooling，再重复两次三个512个卷积核卷积后，再pooling，最后经过三次全连接层输出特征图；
42)分割网络U-Net结构主要由主干特征提取网络VGG16和加强特征提取网络构成，其形状可以看作为一个U型，利用VGG16主干特征提取网络获得五个初步的特征层，在加强特征提取网络里，利用这五个初步有效特征层进行特征融合，特征融合的方式就是对特征层进行上采样并且进行堆叠；
为了方便网络的构建和更好的通透性，在加强特征提取网络里，在进行上采样时直接进行两倍上采样再进行特征融合，最终获得的特征层和输入图片的长宽高相同；
43)为了量化本文语义分割方法对生菜冠层多光谱图像的分割效果以及对比不同方法的分割性能，引入平均像素准确率Accuracy、平均交并比MIoU、召回率Rell、精确率Precesions和平衡F分数F1-Score进行评价，其表达式如下：
Figure FDA0003820380590000021
Figure FDA0003820380590000022
Figure FDA0003820380590000023
Figure FDA0003820380590000024
Figure FDA0003820380590000025
Figure FDA0003820380590000026
在此假设共有k+1个分类，TP表示预测是正确的正样本，FP表示预测是错误的正本,TN表示预测是正确的负样本，FP表示预测是错误的负样本；
5)图像分割模型的训练：利用配准处理后的生菜多光谱图像对图像分割模型进行训练；
6)待分割图像的获取和处理：获取待配准图像并进行预处理，再进行边缘提取和配准处理；
7)待分割图像结果的获得：将配准处理后的待分割图像输入训练后的图像分割模型，对生菜多光谱图像进行前景分割。
2.根据权利要求1所述的一种生菜多光谱图像前景分割方法，其特征在于，所述生菜多光谱图像的边缘提取包括以下步骤：
21)使用5x5的高斯滤波器来平滑和去除噪声，其公式如下：
Figure FDA0003820380590000031
其中，σ为方差，k确定核矩阵的维数，i为x轴方向随机参数，j为y轴方向随机参数；
22)对平滑后的图像使用Sobel算子计算水平方向和竖直方向的一阶导数即图像梯度Gx和Gy，根据得到的这两幅梯度图Gx和Gy找到边界的梯度和方向，其公式如下：
Figure FDA0003820380590000032
Figure FDA0003820380590000033
其中，G为每一个点的梯度值，θ为每一个点的梯度方向；
23)使用非极大值抑制，即寻找像素点的局部最大值，将非极大值所对应的像素点的灰度值设置为0，来消除边缘检测带来的杂散响应；
24)滞后阈值：通过设定两个阈值minVal和maxVal来确定真正的边界，对于低于minVal阈值的像素点直接抛弃，高于maxVal阈值的像素点为真正的边界；处于阈值之间的像素点如果与真正的边界点相连便认为它也是边界点，否则就抛弃；根据选取的阈值，自动对图像进行边缘检测。
3.根据权利要求1所述的一种生菜多光谱图像前景分割方法，其特征在于，所述生菜多光谱图像的配准包括以下步骤：
31)在得到多光谱边缘检测图像后，通过傅里叶变换将其变换到频域中，再求得两张图片的互功率谱，在得到的互功率谱中出现一个异常的波峰，定位到波峰的坐标即求得两张图像的水平平移参数；
32)假设f1(x,y)和f2(x,y)为两个图像的时域信号，满足以下关系式，即是f2(x,y)由f1(x,y)经过简单的平移得到：
f2(x,y)＝f1(x-x0,y-y0)，
根据傅里叶变换的性质得
Figure FDA0003820380590000041
其中，F1(u,v)和F2(u,v)分别为f1(x,y)和f2(x,y)的傅里叶变换；
它们的互功率谱为
Figure FDA0003820380590000042
式中：F1*(u,v)为F1(u,v)的复共轭，F2*(u,v)为F2(u,v)的复共轭；
Figure FDA0003820380590000043
的傅里叶反变换为一个二维脉冲函数δ(x-x0,y-y0)，相位相关法就是求取上式的傅里叶反变换，然后找到最高峰的位置，最高位置的坐标即是平移参数x0和y0；
根据求得的平移参数对多光谱图像进行平移，将五张多光谱图像配准到同一位置。
4.根据权利要求1所述的一种生菜多光谱图像前景分割方法，其特征在于，所述图像分割模型的训练包括以下步骤：
41)将配准后的多光谱图像作为数据集，使用labelimg对其进行标注，使用旋转、镜像、缩放，添加高斯噪声方式进行标记样本数量扩充，将得到的图像数据集送入U-Net模型进行训练；
42)采用非线性函数ReLU来作为模型隐藏层的激活函数，其将所有负值都变为0，不改变正值，使得神经网络具有稀疏激活性；
43)使用的损失函数由Cross Entropy Loss和Dice Loss组成，模型最终输出一个二分类图像，使用Softmax对像素点进行分类的时候使用Cross Entropy Loss作为Loss损失函数，交叉熵用来表达神经网络输入输出的结果差异，交叉熵越小，输入和输出的结果就越接近，
分类的交叉熵损失函数为：
Figure FDA0003820380590000051
Dice_Loss将语义分割的评价指标作为Loss，Dice系数是一种集合相似度度量函数，用于计算两个样本的相似度，取值范围在[0,1]，越大表示预测结果和真实结果重合度越大，所以Dice系数是越大越好，而如果是作为Loss的话是越小越好，所以使得Dice_Loss＝1-Dice，将Loss作为语义分割的损失了，计算公式如下：
Figure FDA0003820380590000052
其中，X、Y分别表示预测值的像素点集和真实值像素点集。
CN202110519829.2A 2021-05-13 2021-05-13 一种生菜多光谱图像前景分割方法 Active CN113240697B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110519829.2A CN113240697B (zh) 2021-05-13 2021-05-13 一种生菜多光谱图像前景分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110519829.2A CN113240697B (zh) 2021-05-13 2021-05-13 一种生菜多光谱图像前景分割方法

Publications (2)

Publication Number Publication Date
CN113240697A CN113240697A (zh) 2021-08-10
CN113240697B true CN113240697B (zh) 2022-10-18

Family

ID=77133921

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110519829.2A Active CN113240697B (zh) 2021-05-13 2021-05-13 一种生菜多光谱图像前景分割方法

Country Status (1)

Country Link
CN (1) CN113240697B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109359787A (zh) * 2018-12-06 2019-02-19 上海海事大学 一种小范围海域多模态海浪预测系统及其预测方法
CN109784205A (zh) * 2018-12-25 2019-05-21 国网河北省电力有限公司电力科学研究院 一种基于多光谱巡检图像的杂草智能识别方法
CN110544274A (zh) * 2019-07-18 2019-12-06 山东师范大学 一种基于多光谱的眼底图像配准方法及系统
CN111582280A (zh) * 2020-05-11 2020-08-25 吉林省森祥科技有限公司 一种面向多光谱救援机器人的数据深层融合图像分割方法
CN111738165A (zh) * 2020-06-24 2020-10-02 中国农业科学院农业信息研究所 一种从高分辨率无人机可见光遥感影像中提取单株植物冠层的方法
CN112435281A (zh) * 2020-09-23 2021-03-02 山东师范大学 一种基于对抗学习的多光谱眼底图像分析方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11645835B2 (en) * 2017-08-30 2023-05-09 Board Of Regents, The University Of Texas System Hypercomplex deep learning methods, architectures, and apparatus for multimodal small, medium, and large-scale data representation, analysis, and applications

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109359787A (zh) * 2018-12-06 2019-02-19 上海海事大学 一种小范围海域多模态海浪预测系统及其预测方法
CN109784205A (zh) * 2018-12-25 2019-05-21 国网河北省电力有限公司电力科学研究院 一种基于多光谱巡检图像的杂草智能识别方法
CN110544274A (zh) * 2019-07-18 2019-12-06 山东师范大学 一种基于多光谱的眼底图像配准方法及系统
CN111582280A (zh) * 2020-05-11 2020-08-25 吉林省森祥科技有限公司 一种面向多光谱救援机器人的数据深层融合图像分割方法
CN111738165A (zh) * 2020-06-24 2020-10-02 中国农业科学院农业信息研究所 一种从高分辨率无人机可见光遥感影像中提取单株植物冠层的方法
CN112435281A (zh) * 2020-09-23 2021-03-02 山东师范大学 一种基于对抗学习的多光谱眼底图像分析方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Factors influencing the use of deep learning for plant disease recognition;Jayme G.A. Barbedo;《biosystems engineering》;20180831;第172卷;第84-91页 *
机载多光谱影像语义分割模型在农田防护林提取中的应用;王学文 等;《地球信息科学》;20200831;第22卷(第8期);第1702-1713页 *
高光谱成像的图谱特征与卷积神经网络的名优大米无损鉴别;翁士状 等;《光谱学与光谱分析》;20200930;第40卷(第9期);第2826-2833页 *

Also Published As

Publication number Publication date
CN113240697A (zh) 2021-08-10

Similar Documents

Publication Publication Date Title
CN108665481B (zh) 多层深度特征融合的自适应抗遮挡红外目标跟踪方法
CN111401384B (zh) 一种变电设备缺陷图像匹配方法
CN112184752A (zh) 一种基于金字塔卷积的视频目标跟踪方法
CN106709472A (zh) 一种基于光流特征的视频目标检测与跟踪方法
CN109034184B (zh) 一种基于深度学习的均压环检测识别方法
CN110399840B (zh) 一种快速的草坪语义分割及边界检测方法
CN112308873B (zh) 多尺度Gabor小波PCA融合图像边缘检测方法
CN113538457B (zh) 利用多频动态空洞卷积的视频语义分割方法
CN109784205B (zh) 一种基于多光谱巡检图像的杂草智能识别方法
CN114782298B (zh) 一种具有区域注意力的红外与可见光图像融合方法
CN112115871B (zh) 适用于行人目标检测的高低频交织边缘特征增强方法
Pu et al. Removing rain based on a cycle generative adversarial network
CN111199245A (zh) 油菜害虫识别方法
CN112785626A (zh) 一种基于多尺度特征融合的孪生网络小目标跟踪方法
CN110458019B (zh) 稀缺认知样本条件下的排除倒影干扰的水面目标检测方法
Zhang et al. Spatial–temporal gray-level co-occurrence aware CNN for SAR image change detection
CN113763417B (zh) 一种基于孪生网络和残差结构的目标跟踪方法
CN114495170A (zh) 一种基于局部抑制自注意力的行人重识别方法及系统
CN112329662B (zh) 基于无监督学习的多视角显著性估计方法
CN113240697B (zh) 一种生菜多光谱图像前景分割方法
CN108765384B (zh) 一种联合流形排序和改进凸包的显著性检测方法
CN106650629A (zh) 一种基于核稀疏表示的快速遥感目标检测识别方法
CN114743045B (zh) 一种基于双分支区域建议网络的小样本目标检测方法
Guangjing et al. Research on static image recognition of sports based on machine learning
Xu et al. Infrared image semantic segmentation based on improved deeplab and residual network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant