CN112418073B - 一种基于无人机图像融合特征的小麦植株氮含量估测方法 - Google Patents

一种基于无人机图像融合特征的小麦植株氮含量估测方法 Download PDF

Info

Publication number
CN112418073B
CN112418073B CN202011308777.6A CN202011308777A CN112418073B CN 112418073 B CN112418073 B CN 112418073B CN 202011308777 A CN202011308777 A CN 202011308777A CN 112418073 B CN112418073 B CN 112418073B
Authority
CN
China
Prior art keywords
wheat
unmanned aerial
aerial vehicle
nitrogen content
vehicle image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011308777.6A
Other languages
English (en)
Other versions
CN112418073A (zh
Inventor
杨宝华
周帅军
武立权
黄正来
张海鹏
高远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Agricultural University AHAU
Original Assignee
Anhui Agricultural University AHAU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Agricultural University AHAU filed Critical Anhui Agricultural University AHAU
Priority to CN202011308777.6A priority Critical patent/CN112418073B/zh
Publication of CN112418073A publication Critical patent/CN112418073A/zh
Application granted granted Critical
Publication of CN112418073B publication Critical patent/CN112418073B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/188Vegetation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/004Artificial life, i.e. computing arrangements simulating life
    • G06N3/006Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/10Image enhancement or restoration using non-spatial domain filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/80Geometric correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/40Analysis of texture
    • G06T7/41Analysis of texture based on statistical description of texture
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Processing (AREA)

Abstract

本发明提出一种基于无人机图像融合特征的小麦植株氮含量估测方法,步骤包括:采集小麦冠层无人机图像和小麦植株氮含量;首先,通过无人机图像预处理,计算灰度共生矩阵;其次,利用小波变换技术实现水平方向、垂直方向和对角方向的多尺度小波纹理特征提取;再次,利用卷积神经网络提取深层特征;最后,构建基于融合特征的粒子群优化支持向量回归模型估测小麦植株氮含量。本发明的方法估测精度高、特征鲁棒性强,适用于小麦全生育期,同时也是目前第一次提出综合无人机图像灰度共生矩阵、小波纹理特征、深层特征构建融合特征估测小麦植株氮含量的方法。

Description

一种基于无人机图像融合特征的小麦植株氮含量估测方法
技术领域
本发明属于作物生长监测领域,尤其是一种基于无人机图像融合特征的小麦植株氮含量估测方法。
背景技术
小麦作为中国重要的粮食作物,在农业生产和战略性粮食储备中占有重要地位。氮(N)是小麦生长所需的最基本营养素之一,氮含量无损遥感监测对于麦田高效管理具有重要意义。定量监测氮素已成为当前农业遥感领域的一个重要研究方向,是智慧农业发展中作物生长监测、精确农作管理及精准施肥实施的关键。
随着无人机的快速发展,无人机遥感在作物高空监测和建模中的广泛应用,展示了该技术的遥感和摄影测量能力(晏磊等,2004;吴云东等,2007;赵鹏等,2008)。研究表明,基于无人机的遥感监测不仅具有广泛的应用潜力,还具有对冠层、作物高度和生长进行定量和定性监测的潜力。Al-Arab等(2013)利用小型无人飞行器监测燕麦的生长状况。Caturegli等(2016)利用无人机影像评估草坪草及其空间内的物种变异的状态。Chosa等(2010)采用携带数码相机的无人机监测水稻生长情况。Du&Noguchi(2016)从获取的无人机图像中提取了可见光波段,通过构建差值植被指数成功地估测籽粒蛋白质含量。Hunt等(2006,2010)利用无人机遥感信息获取平台监测作物的叶面积指数和归一化植被指数。Lelong et al.(2008)采用无人机遥感平台监测小麦生长的物理参数。Rasmussen等(2016)评价了从无人机数码影像中提取波段构建植被指数的可靠性。Swain等(2010)利用无人直升机低空遥感平台,分析不同的遥感数据成功地估算水稻产量。褚洪亮等(2017)利用轻型无人机获取遥感监测数据,构建了叶面积指数反演模型。田振坤等(2013)基于无人机低空航飞获取的遥感监测影像,通过分析、提取不同的光谱特征较好地检测冬小麦。汪小钦等(2015)分析无人机影像中植被与非植被的光谱特性。然而,植被指数在高氮状态下易饱和现象导致了小麦营养监测的局限性。
随着图像处理技术的突破性发展,纹理特征的获取为作物营养监测提供了新的路径,尽管灰度共生矩阵、小波纹理特征可以弥补小麦冠层的空间特征,如何保持无人机图像特征的稳定性和鲁棒性仍需进一步研究。近年来,深度模型因具有局部感受区域和层次结构化的特点,能够实现逐层提取更复杂和抽象的特征而被广泛应用(Nevavuori et al.,2019)。另外,只要有足够数量的隐藏单元,且激活权重和函数具有适当的非线性,从输入到输出的任何连续函数都可以通过深度学习来实现深层特征提取。因此,有必要研究综合利用无人机图像的纹理特征和深层特征,实现不同层次特征的互补,提供准确和可靠的小麦植株氮含量估算方法,为提高小麦氮素营养无损监测的精度及稳定性提供新途径。
发明内容
本发明所解决的技术问题在于提供一种基于无人机图像融合特征的小麦植株氮含量估测方法,结合无人机图像融合特征估测小麦植株氮含量,适用于小麦全生育期,估测精度高。
实现本发明目的的技术解决方案为:
一种基于无人机图像融合特征的小麦植株氮含量估测方法,包括以下步骤:
步骤1:通过无人机搭载的消费级数码相机获取小麦冠层无人机图像数据,同时对小麦植株进行随机破坏性取样,得到小麦植株样本;
步骤2:对小麦冠层无人机图像数据进行预处理,包括镜头畸变及几何校正,得到预处理后的小麦冠层无人机图像数据;
步骤3:提取试验小区小麦冠层无人机图像的灰度共生矩阵,同时测定小麦植株样本的植株氮含量数据;
步骤3-1:利用试验小区小麦冠层无人机图像提取灰度共生矩阵;其中,试验小区的定义为42m×4m的区域;
步骤3-2:将小麦植株样本去根洗净、分离,在烘箱中进行杀青、烘干、称重、测定,得到小麦植株样本的植株氮含量数据;
步骤4:利用离散小波变换对小麦冠层无人机图像提取小波纹理特征;
步骤4-1:利用离散小波变换对小麦冠层无人机图像进行两层小波分解,每层小波分解均获得3个高频子图和1个低频子图;
步骤4-2:根据第一层小波分解获得的3个高频子图和第二层小波分解获得的3个高频子图计算小波纹理特征;
步骤5:利用卷积神经网络对小麦冠层无人机图像提取深层特征;
步骤5-1:以无人机图像中的小麦长势均匀为原则,根据试验小区不同的氮素水平、种植方式和种植密度,裁剪成尺寸为227×227pixel的图像;
步骤5-2:以步骤5-1中裁剪后的无人机图像作为卷积神经网络的输入,利用卷积神经网络提取深层特征,所述卷积神经网络包括五层卷积层、三层池化层和两层全连接层,卷积层提取更多的小麦冠层无人机图像的局部深层特征,池化层提取小麦冠层无人机图像的显著特征,全连接层进行特征扁平化和输出深层特征;
步骤5-3:利用主成分-随机森林分析方法进行深层特征选择:首先利用主成分分析方法根据累计贡献率大于90%确定深层特征的主成分,再利用随机森林方法计算各主成分的相对重要性,最后根据相对重要性由高到低排序前10%确定为优选的深层特征;
步骤6:将灰度共生矩阵、小波纹理特征、优选的深层特征及融合特征作为输入变量,小麦植株氮含量作为目标变量,建立基于粒子群优化支持向量回归PSO-SVR模型估测小麦植株氮含量,所述融合特征是通过并行融合策略融合了灰度共生矩阵、小波纹理特征、优选的深层特征;
计算校正集的决定系数R2和均方根误差RMSE,评定该估测模型在小麦植株氮含量估测上的表现;
步骤7:根据田间试验数据,采用留一交叉验证法对小麦植株氮含量估测模型进行精度验证,并计算测试集的决定系数R2和剩余预测偏差RPD;
通过比较不同估测模型测试集的决定系数R2和剩余预测偏差RPD,得到基于融合特征的粒子群优化支持向量回归PSO-SVR模型为最佳小麦植株氮含量估测模型,所述融合特征包括灰度共生矩阵、小波纹理特征和优选的深层特征。
进一步的,本发明的一种基于无人机图像融合特征的小麦植株氮含量估测方法,步骤1中的小麦冠层无人机图像数据来自不同生育期、不同施氮水平、不同种植密度处理、不同小麦品种类型的小麦田,其中生育期包括开花期、灌浆期和成熟期;
步骤1中对小麦植株进行随机破坏性取样具体为:在每个试验小区随机选取六株小麦植株,连根拔起装入水桶中。
进一步的,本发明的一种基于无人机图像融合特征的小麦植株氮含量估测方法,步骤2中对小麦冠层无人机图像数据进行预处理具体为:
步骤2-1:通过无人机的具有非球面镜的精密镜组消除镜头畸变;
步骤2-2:通过获取无人机拍摄的俯仰角、翻角、航偏角以及航高信息等,进行图像的几何校正。
进一步的,本发明的一种基于无人机图像融合特征的小麦植株氮含量估测方法,步骤3-1中灰度共生矩阵包括:均值Tmean、方差Tvar、协同性Thom、对比度Tcon、相异性Tdis、熵Tent、角二阶矩Tsm和相关性Tcorr
均值:
方差:
协同性:
对比度:
相异性:
熵:
角二阶矩:
相关性:
其中,T代表灰度共生矩阵,L表示纹理分析时窗口的大小,灰度公式中Bi,j表示B矩阵中位于第i行,第j列的像素灰度值。
进一步的,本发明的一种基于无人机图像融合特征的小麦植株氮含量估测方法,步骤3-4中测定小麦植株样本的植株氮含量数据具体为:
将小麦植株样本去根洗净,按照小麦不同器官进行分离,并将所有样品放在105℃的烘箱中30分钟,然后在80℃干燥20h以上,随后称重以获得每个样品的干重,将样品粉碎,利用凯氏定氮法测定小麦植株样本的植株氮含量数据。
进一步的,本发明的一种基于无人机图像融合特征的小麦植株氮含量估测方法,步骤4-1中,小麦冠层无人机图像的第一层小波分解产生1个低频子图LL1以及水平方向HL1、垂直方向LH1、对角方向HH1的3个高频子图,对第一层小波分解产生的低频子图进行第二层小波分解,获得1个低频子图LL2以及水平方向HL2、垂直方向LH2、对角方向HH2的3个高频子图。
进一步的,本发明的一种基于无人机图像融合特征的小麦植株氮含量估测方法,步骤4-2中,任一高频子图Ixy,其大小为M×N,图像像素点(x,y),首先对原始图像沿着水平方向进行滤波和下采样,得到系数矩阵和/>然后再对/>和/>分别沿着垂直方向滤波和下采样,最后得到4个子图,包括Ixy的低频子图/>Ixy的水平方向子图/>Ixy的垂直方向子图/>Ixy的对角线方向子图/>
其中,l(i)(i=0,1,2,...,Nl-1)、h(j)(j=0,1,2,...,Nh-1)分别为低通和高通滤波器的脉冲响应,x=0,2,4...,M,y=0,1,2,...,N,Nl和Nh分别为低通和高通滤波器的长度;HL、LH和HH分别为水平、垂直和对角方向,mod表示模运算符;
利用高频子图分别计算小波纹理特征如下:
均值:
标准方差:
能量:
熵:
其中,Γ=|LH,HL,HH|。
进一步的,本发明的一种基于无人机图像融合特征的小麦植株氮含量估测方法,步骤5-2通过卷积神经网络提取256维深层特征;其中,卷积神经网络的参数设置为:第一个卷积层的卷积核大小为11×11,滑动步长为4,填充为2,经过第一个卷积层处理得到64个55×55大小的特征图;第一个池化层采用最大值下采样处理,大小为3×3,滑动步长为2,边界不做填充处理;第二个卷积层的卷积核大小为5×5,滑动步长为1,填充为2,经过第二个卷积层处理得到192个13×13大小的特征图;第二个池化层采用最大值下采样处理,大小为3×3,滑动步长为2,边界不做填充处理;第三个卷积层的卷积核大小为3×3,滑动步长为1,填充为1,经过第三个卷积层处理得到384个13×13大小的特征图;第四个卷积层的卷积核大小为3×3,滑动步长为1,填充为1,经过第四个卷积层处理得到256个13×13大小的特征图;第五个卷积层的卷积核大小为3×3,滑动步长为1,填充为1,经过第五个卷积层处理得到256个13×13大小的特征图;第三个池化层采用最大值下采样处理,大小为3×3,滑动步长为2,边界不做填充处理;特征图经过第一个全连接层处理被扁平化为1000维的全局特征,经过第二个全连接层降维后输出256维的深层特征。其中卷积核即感受视野中的权重w矩阵的方式获得不同性质的特征来实现特征提取功能,它与上一层的连接方式为局部连接,其计算公式为:
其中,是卷积层l的输入张量,fm,n是维度为H×W的卷积核,/>是该卷积层的输出张量,i,j是张量的坐标,m,n是卷积核的坐标值。
进一步的,本发明的一种基于无人机图像融合特征的小麦植株氮含量估测方法,步骤6中的决定系数R2、均方根误差RMSE的计算公式分别为:
其中,xi为实测值,为实测值的均值,yi为预测值,/>为预测值的均值,n为建模选择的样本数量;
其中,xi为实测值,yi为预测值,n是样本总数。
进一步的,本发明的一种基于无人机图像融合特征的小麦植株氮含量估测方法,步骤6中的剩余预测偏差RPD计算公式为:
其中,xi为实测值,为实测值均值,n为样本数量,RMSEP表示测试集的均方根误差。
本发明采用以上技术方案与现有技术相比,具有以下技术效果:
1、本发明的一种基于无人机图像融合特征的小麦植株氮含量估测方法,适用于小麦全生育期。
2、本发明的一种基于无人机图像融合特征的小麦植株氮含量估测方法估测精度高,特征鲁棒性强,可广泛用于区域尺度遥感监测作物长势。
3、本发明的一种基于无人机图像融合特征的小麦植株氮含量估测方法实现仅用一个模型来准确监测全生育期小麦植株氮含量,并为作物长势监测提供有用参考。
附图说明
图1为小麦无人机图像的灰度共生矩阵可视化图。
图2为小麦冠层无人机图像的小波分解的低频和高频子图。
图3为卷积神经网络结构图。
图4为小麦全生育期基于主成分分析方法的深层特征主成分贡献率及累计贡献率。
图5是基于主成分-随机森林分析(PCA-RF)方法优选的深层特征。
图6是小麦全生育期的灰度共生矩阵、小波纹理特征、优选的深层特征和融合特征的粒子群优化支持向量回归PSO-SVR模型检验图。
具体实施方式
下面详细描述本发明的实施方式,所述实施方式的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的,仅用于解释本发明,而不能解释为对本发明的限制。
实施例1
本发明基于不同生育期、不同施氮水平、不同种植密度处理的小麦田间试验进行,具体表述如表1及表2所示。
表1小麦试验田基本信息
表2小麦冠层影像及农学参数数据采集
从小麦试验田Exp.1、Exp.2获得小麦冠层无人机图像数据,数据获取系统性强、涵盖了主要的两个小麦品种、包含主要生育时期且样本数量大、处理因素多,可以有效地验证本发明的方法在不同环境条件和处理下的准确度和适应性。
一种基于无人机图像融合特征的小麦植株氮含量估测方法,具体步骤如下:
步骤1、小麦冠层无人机图像数据采集:
利用四轴航拍飞行器无人机精灵3P((SZ DJI Technology Co.,Shenzhen,China)搭载HD高清相机(Sony EXMOR 1/2.3英寸)收集小麦试验区域的图像。无人机重量1280g,空载续航约23min;HD高清相机(Sony EXMOR 1/2.3英寸)焦距20mm,像元尺寸2.4um,光圈为f/2.8。航拍照片是无人机距离地面40米的高度拍摄。每次飞行都是在晴朗、无云和无风的天气中进行,地面采样距离为1.77厘米/像素。无人机设置为自动飞行模式,数据采集时按照设定好的航线和参数自动巡航并记录数据,图像是自动捕获的模式,每2秒1帧,JPEG格式,ISO为100;航拍图像的旁向重叠度和纵向重叠度设置为60%~80%。影像数据来自不同生育期、不同施氮水平、不同种植密度处理、不同小麦品种类型的小麦田,其中生育期包括开花期、灌浆期和成熟期。
同时在每个小区随机选取六穴小麦植株样本,连根拔起装入水桶中,运到室内进行植株氮含量测定。
步骤2、对图像数据预处理主要分以下两步进行:
1)通过无人机的具有非球面镜的精密镜组,能够显著消除镜头畸变;
2)通过获取俯仰角、翻角、航偏角以及航高信息等,进行图像的几何校正。
步骤3、对小麦无人机图像处理主要分以下五步进行:
1)将小麦植株样本去根洗净,按照小麦不同器官(叶、茎和穗)进行分离,并将所有样品放在105℃的烘箱中30分钟,然后在80℃干燥20h以上,随后称重以获得每个样品的干重。将样品粉碎,利用凯氏定氮法测定小麦植株样本的植株氮含量数据。
2)对获取的影像运用Agisoft Photoscan 1.2.4(Agisoft LLC,St.Petersburg,Russia)生成正射影像图,以拼接图像中的小麦长势均匀为原则,根据试验小区不同的种植方式,利用ENVI裁剪为小麦均匀分布的图像。其中,小区的定义为42m×4m的区域。
3)计算小麦无人机图像的灰度共生矩阵,包括:均值Tmean、方差Tvar、协同性Thom、对比度Tcon、相异性Tdis、熵Tent、角二阶矩Tsm和相关性Tcorr
均值:
方差:
协同性:
对比度:
相异性:
熵:
角二阶矩:
相关性:
其中,T代表灰度共生矩阵,L表示纹理分析时窗口的大小,灰度公式中Bi,j表示B矩阵中位于第i行,第j列的像素灰度值。
如图1为小麦无人机图像的灰度共生矩阵可视化图。
4)利用离散小波变换方法对小麦冠层无人机图像进行二层小波分解,选择Daubechies作为小波基,利用水平方向和垂直方向滤波的方法实现无人机图像的小波分解。小麦冠层无人机图像的第一层小波分解产生1个低频子图LL1以及水平方向HL1、垂直方向LH1、对角方向HH1的3个高频子图,对第一层小波分解产生的低频子图进行第二层小波分解,获得1个低频子图LL2以及水平方向HL2、垂直方向LH2、对角方向HH2的3个高频子图。
根据获取的两层6个高频子图分别计算小波纹理特征:均值Mv、标准方差Sv、能量Ev和熵ENv,共计24个小波纹理特征。对任一高频子图Ixy,其大小为M×N,图像像素点(x,y),首先对原始图像沿着水平方向进行滤波和下采样,得到系数矩阵和/>然后再对/>和/>分别沿着垂直方向滤波和下采样,最后得到4个子图,包括Ixy的低频子图/>Ixy的水平方向子图/>Ixy的垂直方向子图/>Ixy的对角线方向子图/>
其中,l(i)(i=0,1,2,...,Nl-1)、h(j)(j=0,1,2,...,Nh-1)分别为低通和高通滤波器的脉冲响应,x=0,2,4...,M,y=0,1,2,...,N,Nl和Nh分别为低通和高通滤波器的长度;HL、LH和HH分别为水平、垂直和对角方向,mod表示模运算符;
利用高频子图分别计算小波纹理特征如下:
均值:
标准方差:
能量:
熵:
其中,Γ=|LH,HL,HH|。
如图2为小麦冠层无人机图像的小波变换分解的低频子图和高频子图。
5)将无人机图像切割成尺寸为227×227pixel后作为卷积神经网络输入层,经过卷积层、池化层和全连接层获取扁平化的深层特征,通过全连接层获得256维深层特征,利用主成分-随机森林分析(PCA-RF)方法进行深层特征优选,首选利用主成分分析方法根据累计贡献率大于90%确定80个深层特征的主成分,再利用随机森林方法计算主成分的相对重要性,最后选择相对重要性由高到低排序前10%的深层特征为优选的深层特征。
其中,卷积神经网络的参数设置为:第一个卷积层的卷积核大小为11×11,滑动步长为4,填充为2,经过第一个卷积层处理得到64个55×55大小的特征图;第一个池化层采用最大值下采样处理,大小为3×3,滑动步长为2,边界不做填充处理;第二个卷积层的卷积核大小为5×5,滑动步长为1,填充为2,经过第二个卷积层处理得到192个13×13大小的特征图;第二个池化层采用最大值下采样处理,大小为3×3,滑动步长为2,边界不做填充处理;第三个卷积层的卷积核大小为3×3,滑动步长为1,填充为1,经过第三个卷积层处理得到384个13×13大小的特征图;第四个卷积层的卷积核大小为3×3,滑动步长为1,填充为1,经过第四个卷积层处理得到256个13×13大小的特征图;第五个卷积层的卷积核大小为3×3,滑动步长为1,填充为1,经过第五个卷积层处理得到256个13×13大小的特征图;第三个池化层采用最大值下采样处理,大小为3×3,滑动步长为2,边界不做填充处理;特征图经过第一个全连接层处理被扁平化为1000维的全局特征,经过第二个全连接层降维后输出256维的深层特征。其中卷积核即感受视野中的权重w矩阵的方式获得不同性质的特征来实现特征提取功能,它与上一层的连接方式为局部连接,其计算公式为:
其中是卷积层l的输入张量,fm,n是维度为H×W的卷积核,/>是该卷积层的输出张量,i,j是张量的坐标,m,n是卷积核的坐标值。
如图3为卷积神经网络结构图。图4为小麦全生育期基于主成分分析方法的深层特征主成分贡献率及累计贡献率。图5为基于主成分-随机森林分析(PCA-RF)方法优选的深层特征。
步骤4、利用灰度共生矩阵、小波纹理特征、优选的深层特征依据并行策略构建融合特征。
步骤5、将灰度共生矩阵、小波纹理特征、优选的深层特征及融合特征作为粒子群优化支持向量回归PSO-SVR模型的输入变量,小麦植株氮含量作为目标变量,建立基于粒子群优化支持向量回归模型预测小麦植株氮含量;
计算校正集的决定系数R2和均方根误差RMSE,来评定该估测模型在小麦植株氮含量估测上的表现:
其中,xi为实测值,为实测值的均值,yi为预测值,/>为预测值的均值,n为建模选择的样本数量;
其中,xi为实测值,yi为预测值,n为建模选择的样本数量。
步骤6、根据田间试验数据,采用留一交叉验证法对小麦植株氮含量估测模型进行精度验证,计算测试集的决定系数R2和剩余预测偏差RPD:
其中,xi为实测值,为实测值均值,n为样本数量,RMSEP表示测试集的均方根误差。
如图6为小麦全生育期灰度共生矩阵、小波纹理特征、优选的深层特征和融合特征的粒子群优化支持向量回归PSO-SVR模型检验图。
通过比较不同估测模型测试集的决定系数R2和剩余预测偏差RPD,得到基于融合特征的粒子群优化支持向量回归PSO-SVR模型为最佳小麦植株氮含量估测模型,校正集的R2达到0.8844,测试集的R2达到0.8112,RPD达到2.982,所述融合特征包括8个灰度共生矩阵、24个小波纹理特征、8个深层特征。
如下表所示为全生育时期的小麦植株氮含估测模型:
表 基于不同特征的小麦植株氮含量PSO-SVR估测模型
以上所述仅是本发明的部分实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进,这些改进应视为本发明的保护范围。

Claims (9)

1.一种基于无人机图像融合特征的小麦植株氮含量估测方法,其特征在于,包括以下步骤:
步骤1:通过无人机搭载的消费级数码相机获取小麦冠层无人机图像数据,同时对小麦植株进行随机破坏性取样,得到小麦植株样本;
步骤2:对小麦冠层无人机图像数据进行预处理,包括镜头畸变及几何校正,得到预处理后的小麦冠层无人机图像数据;
步骤3:提取试验小区小麦冠层无人机图像的灰度共生矩阵,同时测定小麦植株样本的植株氮含量数据;
步骤3-1:利用试验小区小麦冠层无人机图像提取灰度共生矩阵;其中,试验小区的定义为42m×4m的区域;
步骤3-2:将小麦植株样本去根洗净、分离,在烘箱中进行杀青、烘干、称重、测定,得到小麦植株样本的植株氮含量数据;
步骤4:利用离散小波变换对小麦冠层无人机图像提取小波纹理特征;
步骤4-1:利用离散小波变换对小麦冠层无人机图像进行两层小波分解,每层小波分解均获得3个高频子图和1个低频子图;
步骤4-2:根据第一层小波分解获得的3个高频子图和第二层小波分解获得的3个高频子图计算小波纹理特征;
步骤5:利用卷积神经网络对小麦冠层无人机图像提取深层特征;
步骤5-1:以无人机图像中的小麦长势均匀为原则,根据试验小区不同的氮素水平、种植方式和种植密度,裁剪成尺寸为227×227pixel的图像;
步骤5-2:以步骤5-1中裁剪后的无人机图像作为卷积神经网络的输入,利用卷积神经网络提取深层特征,所述卷积神经网络包括五层卷积层、三层池化层和两层全连接层,卷积层提取更多的小麦冠层无人机图像的局部深层特征,池化层提取小麦冠层无人机图像的显著特征,全连接层进行特征扁平化和输出深层特征;参数设置为:第一个卷积层的卷积核大小为11×11,滑动步长为4,填充为2,经过第一个卷积层处理得到64个55×55大小的特征图;第一个池化层采用最大值下采样处理,大小为3×3,滑动步长为2,边界不做填充处理;第二个卷积层的卷积核大小为5×5,滑动步长为1,填充为2,经过第二个卷积层处理得到192个13×13大小的特征图;第二个池化层采用最大值下采样处理,大小为3×3,滑动步长为2,边界不做填充处理;第三个卷积层的卷积核大小为3×3,滑动步长为1,填充为1,经过第三个卷积层处理得到384个13×13大小的特征图;第四个卷积层的卷积核大小为3×3,滑动步长为1,填充为1,经过第四个卷积层处理得到256个13×13大小的特征图;第五个卷积层的卷积核大小为3×3,滑动步长为1,填充为1,经过第五个卷积层处理得到256个13×13大小的特征图;第三个池化层采用最大值下采样处理,大小为3×3,滑动步长为2,边界不做填充处理;特征图经过第一个全连接层处理被扁平化为1000维的全局特征,经过第二个全连接层降维后输出256维的深层特征;其中卷积核即感受视野中的权重w矩阵的方式获得不同性质的特征来实现特征提取功能,它与上一层的连接方式为局部连接,其计算公式为:
其中,是卷积层l的输入张量,fm,k是维度为H×W的卷积核,/>是该卷积层的输出张量,p,q是张量的坐标,m,k是卷积核的坐标值;
步骤5-3:利用主成分-随机森林分析方法进行深层特征选择:首先利用主成分分析方法根据累计贡献率大于90%确定深层特征的主成分,再利用随机森林方法计算各主成分的相对重要性,最后根据相对重要性排序前10%确定优选的深层特征;
步骤6:将灰度共生矩阵、小波纹理特征、优选的深层特征及融合特征作为输入变量,小麦植株氮含量作为目标变量,建立基于粒子群优化支持向量回归PSO-SVR模型估测小麦植株氮含量,所述融合特征是通过并行融合策略融合了灰度共生矩阵、小波纹理特征、优选的深层特征;
计算校正集的决定系数R2和均方根误差RMSE,评定该估测模型在小麦植株氮含量估测上的表现;
步骤7:根据田间试验数据,采用留一交叉验证法对小麦植株氮含量估测模型进行精度验证,并计算测试集的决定系数R2和剩余预测偏差RPD;
通过比较不同估测模型测试集的决定系数R2和剩余预测偏差RPD,得到基于融合特征的粒子群优化支持向量回归PSO-SVR模型为最佳小麦植株氮含量估测模型,所述融合特征包括灰度共生矩阵、小波纹理特征和优选的深层特征。
2.根据权利要求1所述的一种基于无人机图像融合特征的小麦植株氮含量估测方法,其特征在于,步骤1中的小麦冠层无人机图像数据来自不同生育期、不同施氮水平、不同种植密度处理、不同小麦品种类型的小麦田,其中生育期包括开花期、灌浆期和成熟期;
步骤1中对小麦植株进行随机破坏性取样具体为:在每个试验小区随机选取六株小麦植株,连根拔起装入水桶中。
3.根据权利要求1所述的一种基于无人机图像融合特征的小麦植株氮含量估测方法,其特征在于,步骤2中对小麦冠层无人机图像数据进行预处理具体为:
步骤2-1:通过无人机的具有非球面镜的精密镜组消除镜头畸变;
步骤2-2:通过获取无人机拍摄的俯仰角、翻角、航偏角以及航高信息,进行图像的几何校正。
4.根据权利要求1所述的一种基于无人机图像融合特征的小麦植株氮含量估测方法,其特征在于,步骤3-1中灰度共生矩阵包括:均值Tmean、方差Tvar、协同性Thom、对比度Tcon、相异性Tdis、熵Tent、角二阶矩Tsm和相关性Tcorr
5.根据权利要求1所述的一种基于无人机图像融合特征的小麦植株氮含量估测方法,其特征在于,步骤3-2中测定小麦植株样本的植株氮含量数据具体为:
将小麦植株样本去根洗净,按照小麦不同器官进行分离,并将所有样品放在105℃的烘箱中30分钟,然后在80℃干燥20h以上,随后称重以获得每个样品的干重,将样品粉碎,利用凯氏定氮法测定小麦植株样本的植株氮含量数据。
6.根据权利要求1所述的一种基于无人机图像融合特征的小麦植株氮含量估测方法,其特征在于,步骤4-1中,小麦冠层无人机图像的第一层小波分解产生1个低频子图LL1以及水平方向HL1、垂直方向LH1、对角方向HH1的3个高频子图,对第一层小波分解产生的低频子图进行第二层小波分解,获得1个低频子图LL2以及水平方向HL2、垂直方向LH2、对角方向HH2的3个高频子图。
7.根据权利要求1所述的一种基于无人机图像融合特征的小麦植株氮含量估测方法,其特征在于,步骤4-2中,任一高频子图Ixy,其大小为M×N,图像像素点(x,y),首先对原始图像沿着水平方向进行滤波和下采样,得到系数矩阵和/>然后再对/>和/>分别沿着垂直方向滤波和下采样,最后得到4个子图,包括Ixy的低频子图/>Ixy的水平方向子图/>Ixy的垂直方向子图/>Ixy的对角线方向子图/>
其中,l(i)(i=0,1,2,...,Nl-1)、h(j)(j=0,1,2,...,Nh-1)分别为低通和高通滤波器的脉冲响应,x=0,2,4...,M,y=0,1,2,...,N,Nl和Nh分别为低通和高通滤波器的长度;HL、LH和HH分别为水平、垂直和对角方向,mod表示模运算符;
利用高频子图分别计算小波纹理特征如下:
均值:
标准方差:
能量:
熵:
其中,Γ=|LH,HL,HH|。
8.根据权利要求1所述的一种基于无人机图像融合特征的小麦植株氮含量估测方法,其特征在于,步骤6中的决定系数R2、均方根误差RMSE的计算公式分别为:
其中,xa为实测值,为实测值的均值,ya为预测值,/>为预测值的均值,n为建模选择的样本数量;
其中,xa为实测值,ya为预测值,n是样本总数。
9.根据权利要求1所述的一种基于无人机图像融合特征的小麦植株氮含量估测方法,其特征在于,步骤6中的剩余预测偏差RPD计算公式为:
其中,xa为实测值,为实测值均值,n为样本数量,RMSE表示测试集的均方根误差。
CN202011308777.6A 2020-11-19 2020-11-19 一种基于无人机图像融合特征的小麦植株氮含量估测方法 Active CN112418073B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011308777.6A CN112418073B (zh) 2020-11-19 2020-11-19 一种基于无人机图像融合特征的小麦植株氮含量估测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011308777.6A CN112418073B (zh) 2020-11-19 2020-11-19 一种基于无人机图像融合特征的小麦植株氮含量估测方法

Publications (2)

Publication Number Publication Date
CN112418073A CN112418073A (zh) 2021-02-26
CN112418073B true CN112418073B (zh) 2023-10-03

Family

ID=74773232

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011308777.6A Active CN112418073B (zh) 2020-11-19 2020-11-19 一种基于无人机图像融合特征的小麦植株氮含量估测方法

Country Status (1)

Country Link
CN (1) CN112418073B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113256567B (zh) * 2021-05-08 2023-09-22 中国农业大学 香蕉叶面积指数检测方法及系统
CN116187100B (zh) * 2023-04-25 2023-07-04 吉林大学 一种结合作物生长模型估算玉米籽粒蛋白质含量的方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102788796A (zh) * 2012-08-21 2012-11-21 江苏大学 基于高光谱图像及荧光图像多信息融合的作物氮营养诊断装置及方法
CN106295714A (zh) * 2016-08-22 2017-01-04 中国科学院电子学研究所 一种基于深度学习的多源遥感图像融合方法
CN107222682A (zh) * 2017-07-11 2017-09-29 西南大学 农作物生长状况检测方法及装置
CN109459392A (zh) * 2018-11-06 2019-03-12 南京农业大学 一种基于无人机多光谱影像的水稻地上部生物量估测方法
CN109580512A (zh) * 2018-12-10 2019-04-05 北京航天泰坦科技股份有限公司 一种基于光谱和纹理特征的小麦氮素营养监测方法
WO2019113998A1 (zh) * 2017-12-11 2019-06-20 江苏大学 一种盆栽生菜的综合长势监测方法及装置
CN110874617A (zh) * 2019-11-26 2020-03-10 南京农业大学 一种冬小麦叶片氮含量估算模型的建立方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8457414B2 (en) * 2009-08-03 2013-06-04 National Instruments Corporation Detection of textural defects using a one class support vector machine

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102788796A (zh) * 2012-08-21 2012-11-21 江苏大学 基于高光谱图像及荧光图像多信息融合的作物氮营养诊断装置及方法
CN106295714A (zh) * 2016-08-22 2017-01-04 中国科学院电子学研究所 一种基于深度学习的多源遥感图像融合方法
CN107222682A (zh) * 2017-07-11 2017-09-29 西南大学 农作物生长状况检测方法及装置
WO2019113998A1 (zh) * 2017-12-11 2019-06-20 江苏大学 一种盆栽生菜的综合长势监测方法及装置
CN109459392A (zh) * 2018-11-06 2019-03-12 南京农业大学 一种基于无人机多光谱影像的水稻地上部生物量估测方法
CN109580512A (zh) * 2018-12-10 2019-04-05 北京航天泰坦科技股份有限公司 一种基于光谱和纹理特征的小麦氮素营养监测方法
CN110874617A (zh) * 2019-11-26 2020-03-10 南京农业大学 一种冬小麦叶片氮含量估算模型的建立方法

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
Comparison Between Traditional Texture Methods and Deep Learning Descriptors for Detection of Nitrogen Deficiency in Maize Crops;Rayner Harold Montes Condori et al;《2017 Workshop of Computer Vision (WVC)》;20180201;第V节、第IV节的第C小节 *
Evaluation of Aboveground Nitrogen Content of Winter Wheat Using Digital Imagery of Unmanned Aerial Vehicles;Baohua Yang et al;《Sensors (Basel)》;20191012;第19卷(第20期);第2.1、2.2、2.3.2、2.4、3.3、4.3、4.4节 *
Spatial-temporal process simulation and prediction of chlorophyll-a concentration in Dianchi Lake based on wavelet analysis and long-short term memory network;Zhenyu Yu 等;《Journal of Hydrology》;第582卷;1-10 *
基于小波变换的番茄缺素识别研究;吴雪梅 等;《计算机应用与软件》(第7期);28-30 *
基于无人机多光谱影像的夏玉米叶片氮含量遥感估测;魏鹏飞 等;《农业工程学报》;20190430;第35卷(第8期);第1.5.3节 *
基于无人机高光谱遥感的东北粳稻生长信息反演建模研究;于丰华;《中国博士学位论文全文数据库 农业科技辑》;第2017年卷(第8期);D047-24 *
基于深度学习的棉花发育期自动观测;胡锦涛 等;《安徽农业科学》;20191231;第47卷(第11期);第237-240+243页 *
孙俊.纹理特征提取.《光谱技术在农作物 农产品信息无损检测中的应用》.南京:东南大学出版社,2017, *

Also Published As

Publication number Publication date
CN112418073A (zh) 2021-02-26

Similar Documents

Publication Publication Date Title
CN112613338B (zh) 基于rgb图像融合特征的小麦叶层氮含量估测方法
Devia et al. High-throughput biomass estimation in rice crops using UAV multispectral imagery
CN110222475B (zh) 一种基于无人机多光谱遥感反演冬小麦植株含水率的方法
CN111815014B (zh) 一种基于无人机低空遥感信息的作物产量预测方法及系统
CN108985588B (zh) 一种农作物单产遥感估算方法、装置与系统
CN112903600B (zh) 一种基于固定翼无人机多光谱影像的水稻氮肥推荐方法
CN112345458A (zh) 一种基于无人机多光谱影像的小麦产量估测方法
WO2021255458A1 (en) System and method for crop monitoring
CN112418073B (zh) 一种基于无人机图像融合特征的小麦植株氮含量估测方法
CN113836779A (zh) 一种基于CNN的Sentinel多源数据的农田地表土壤水分反演方法
CN111161362A (zh) 一种茶树生长状态光谱影像鉴别方法
JP7450838B1 (ja) 背景フィルタリングに基づく少量データ学習の作物樹冠被覆率の計算方法および装置
Zhang et al. Understory biomass measurement in a dense plantation forest based on drone-SfM data by a manual low-flying drone under the canopy
Kutugata et al. Seed rain potential in late-season weed escapes can be estimated using remote sensing
Potena et al. Suckers emission detection and volume estimation for the precision farming of hazelnut orchards
CN114140695B (zh) 一种基于无人机多光谱遥感的茶树氮素诊断及品质指标测定的预测方法和系统
CN111814585A (zh) 无人机近地空作物苗情遥感监测方法、装置及存储介质
CN111191543A (zh) 油菜产量估测方法
CN113514402B (zh) 一种冬小麦叶绿素含量的预测系统及方法
CN115690580A (zh) 一种玉米倒伏遥感监测方法、系统、电子设备及介质
CN115661641A (zh) 一种基于多源无人机遥感评估不同生长阶段茶园重要表型参数的方法及系统
CN115438934A (zh) 一种基于区块链的农作物生长环境监测方法及系统
CN115019205B (zh) 一种基于无人机多光谱影像的油菜花期spad和lai估测方法
Poleshchenko et al. Development of a System for Automated Control of Planting Density, Leaf Area Index and Crop Development Phases by UAV Photos
CN116434052A (zh) 生物量密度估算方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant