CN112613338B - 基于rgb图像融合特征的小麦叶层氮含量估测方法 - Google Patents

基于rgb图像融合特征的小麦叶层氮含量估测方法 Download PDF

Info

Publication number
CN112613338B
CN112613338B CN202011303935.9A CN202011303935A CN112613338B CN 112613338 B CN112613338 B CN 112613338B CN 202011303935 A CN202011303935 A CN 202011303935A CN 112613338 B CN112613338 B CN 112613338B
Authority
CN
China
Prior art keywords
wheat
layer
rgb image
nitrogen content
multiplied
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011303935.9A
Other languages
English (en)
Other versions
CN112613338A (zh
Inventor
朱艳
杨宝华
姚霞
马吉锋
郑恒彪
曹卫星
田永超
程涛
邱小雷
张羽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Agricultural University
Original Assignee
Nanjing Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Agricultural University filed Critical Nanjing Agricultural University
Priority to CN202011303935.9A priority Critical patent/CN112613338B/zh
Publication of CN112613338A publication Critical patent/CN112613338A/zh
Application granted granted Critical
Publication of CN112613338B publication Critical patent/CN112613338B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/188Vegetation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/004Artificial life, i.e. computing arrangements simulating life
    • G06N3/006Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N2021/1793Remote sensing
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N2021/8466Investigation of vegetal material, e.g. leaves, plants, fruits

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Biology (AREA)
  • Pathology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明提出基于RGB图像融合特征的小麦叶层氮含量估测方法,步骤包括:采集小麦冠层RGB图像和实测小麦叶层氮含量;首先,进行RGB图像预处理,计算可见光植被指数;其次,利用离散小波变换方法实现水平方向、垂直方向和对角方向的多尺度小波纹理特征提取;再次,利用卷积神经网络提取RGB图像深层特征;最后,构建基于融合特征的粒子群优化支持向量回归模型估测小麦叶层氮含量。本发明的方法估测精度高、特征鲁棒性强,适用于小麦全生育期,同时也是目前第一次提出综合RGB图像的可见光植被指数、小波纹理特征、优选的深层特征构建融合特征来估测小麦叶层氮含量的方法。

Description

基于RGB图像融合特征的小麦叶层氮含量估测方法
技术领域
本发明属于作物生长监测领域,尤其是基于RGB图像融合特征的小麦叶层氮含量估测方法。
背景技术
小麦作为中国重要的粮食作物,在农业生产和战略性粮食储备中占有重要地位。氮(N)是小麦生长所需的最基本营养素之一,氮含量无损遥感监测对于麦田高效管理具有重要意义。定量监测氮素已成为当前农业遥感领域的一个重要研究方向,是智慧农业发展中作物生长监测、精确农作管理及精准施肥实施的关键。
遥感(remote sensing,RS)技术已成为实时、无损估计作物氮素(Nitrogen,N)状况的重要工具,为作物生产中的氮肥推荐和动态产量预测提供了科学依据(Zhu et al.,2008,2015)。在各类遥感平台中,基于卫星遥感(Vincini et al.,2014)、机载遥感(Zechaet al.,2018)和近地面光谱仪等遥感平台(Guo et al.,2017)取得了良好的监测效果。其中,卫星图像尽管可用于监视大面积区域的作物氮营养状态,但较低的时空分辨率和时间分辨率无法满足高精度的实时监测(Kanning et al.,2018;Zheng et al.,2018;Duan etal.,2017)。机载平台能够提供高分辨率图像,昂贵的基础设施和空中交通管制限制了有人驾驶飞机的广泛应用(Liu et al.,2016)。近地面RS平台操作简单,能够较好地监测小麦冠层氮素营养(黄宇,2015),但是在监测大面积作物时仍然受到限制。相比之下,无人机作为高空和近地面遥感平台的重要补充,突破空间和时间分辨率限制,具有较好的重复性,能够高效率获取遥感信息(Yuan et al.,2018)。
随着图像处理技术的突破性发展,深层特征得到越来越多的关注(Liu et al.,2019)。尽管小波纹理特征可以弥补小麦冠层的空间特征,但是基于浅层神经网络学习仍然无法表达更多的深层特征。近年来,深度模型因具有局部感受区域和层次结构化的特点,能够实现逐层提取更复杂和抽象的特征而被广泛应用(Nevavuori et al.,2019)。另外,只要有足够数量的隐藏单元,且激活权重和函数具有适当的非线性,从输入到输出的任何连续函数都可以通过深度学习来实现深层特征提取。因此,有必要研究综合利用无人机RGB图像的传统特征和深层特征,实现不同层次特征的互补,提供准确和可靠的小麦叶层氮含量估算方法,并为高空间精度的作物田间管理提供有价值的技术基础。
发明内容
本发明所解决的技术问题在于提供一种基于RGB图像融合特征的小麦叶层氮含量估测方法,通过RGB图像融合特征估测小麦叶层氮含量,适用于小麦全生育期,估测精度高。
实现本发明目的的技术解决方案为:
基于RGB图像融合特征的小麦叶层氮含量估测方法,包括以下步骤:
步骤1:通过无人机搭载的消费级数码相机获取小麦冠层RGB图像数据,同时对小麦植株进行随机破坏性取样,得到小麦植株样本;
步骤2:对小麦冠层RGB图像数据进行预处理,包括镜头畸变及几何校正,得到预处理后的小麦冠层RGB图像数据;
步骤3:提取试验小区小麦冠层RGB图像的R、G和B通道的平均像元亮度值并进行归一化处理,计算可见光植被指数,同时测定小麦植株样本的叶层氮含量数据;
步骤3-1:利用ENVI软件根据小麦冠层RGB图像提取试验小区的R、G和B通道的平均像元亮度值DN,其中,小区的定义为42m×4m的区域;
步骤3-2:利用线性函数对DN值归一化到[0,1];
步骤3-3:根据步骤3-2的归一化DN值计算与小麦叶层氮含量估测相关的可见光植被指数;
步骤3-4:将小麦植株样本去根洗净、分离,在烘箱中进行杀青、烘干、称重、测定,得到小麦植株样本的叶层氮含量数据;
步骤4:利用离散小波变换对小麦冠层RGB图像提取小波纹理特征;
步骤4-1:利用离散小波变换对小麦冠层RGB图像进行两层小波分解,每层小波分解均获得3个高频子图和1个低频子图;
步骤4-2:利用第一层小波分解获得的3个高频子图和第二层小波分解获得的3个高频子图计算小波纹理特征;
步骤5:利用卷积神经网络对小麦冠层RGB图像提取深层特征;
步骤5-1:以小麦冠层RGB图像中的小麦长势均匀为原则,根据试验小区不同的氮素水平、种植方式和种植密度,裁剪成尺寸为227×227pixel的图像;
步骤5-2:以步骤5-1中裁剪后的小麦冠层RGB图像作为卷积神经网络的输入层,利用卷积神经网络提取深层特征,所述卷积神经网络包括五层卷积层、三层池化层和两层全连接层,卷积层提取更多的小麦冠层RGB图像的局部深层特征,池化层提取小麦冠层RGB图像的显著特征,全连接层进行特征扁平化和输出深层特征;
步骤6:利用随机森林方法进行深层特征选择,计算深层特征的相对重要性,根据相对重要性排序优选深层特征;
步骤7:将可见光植被指数、小波纹理特征、优选的深层特征及融合特征作为输入变量,小麦叶层氮含量作为目标变量,建立基于粒子群优化支持向量回归PSO-SVR的小麦叶层氮含量估测模型,所述融合特征是通过并行融合策略融合了可见光植被指数、小波纹理特征、优选的深层特征;
计算校正集的决定系数R2和均方根误差RMSE,评定该估测模型在小麦叶层氮含量估测上的表现;
步骤8:根据田间试验数据,采用留一交叉验证法对小麦叶层氮含量估测模型进行精度验证,并计算测试集的决定系数R2和剩余预测偏差RPD;
通过比较不同估测模型测试集的决定系数R2和剩余预测偏差RPD,得到基于融合特征的PSO-SVR模型为最佳小麦叶层氮含量估测模型。
进一步的,本发明的基于RGB图像融合特征的小麦叶层氮含量估测方法,步骤1中的小麦冠层RGB图像数据来自不同生育期、不同施氮水平、不同种植密度处理、不同小麦品种类型的小麦田,其中生育期包括开花期、灌浆期和成熟期;步骤1中对小麦植株进行随机破坏性取样具体为:在每个试验小区随机选取六株小麦植株,连根拔起装入水桶中。
进一步的,本发明的基于RGB图像融合特征的小麦叶层氮含量估测方法,步骤2中对小麦冠层RGB图像数据进行预处理具体为:
步骤2-1:通过无人机的具有非球面镜的精密镜组消除镜头畸变;
步骤2-2:通过获取无人机拍摄的俯仰角、翻角、航偏角以及航高信息等,进行图像的几何校正。
进一步的,本发明的基于RGB图像融合特征的小麦叶层氮含量估测方法,步骤3-2中的DN值进行归一化处理公式如下:
其中,R、G、B分别是地物红、绿和蓝波段的DN值,r、g和b代表归一化处理后红、绿和蓝波段的DN值;
步骤3-3中的可见光植被指数的计算公式如下:
改良绿红植被指数:MGRVI=(g2-r2)/(g2+r2)
红绿蓝植被指数:RGBVI=(g2-br2)/(g2+br2)
绿红植被指数:GRVI=(g-r)/(g+r)
绿叶算法:GLA=(2g-r-b)/(2g+r+b)
超红植被指数:ExR=1.4r-g
超绿植被指数:ExG=2g-r-b
超蓝植被指数:ExB=1.4b-g
绿红差值指数:ExGR=ExG-ExR
植被提取颜色指数:CIVE=0.441r-0.881g+0.385b+18.78745
可见光大气阻抗植被指数:VARI=(g-r)/(g+r-b)
绿叶植被指数:GLI=(2g-b-r)/(2g+b+r)。
进一步的,本发明的基于RGB图像融合特征的小麦叶层氮含量估测方法,步骤3-4中测定小麦植株样本的叶层氮含量数据具体为:
将小麦植株样本去根洗净,按照小麦不同器官进行分离,并将所有样品放在105℃的烘箱中30分钟,然后在80℃干燥20h以上,随后称重以获得每个样品的干重,将样品粉碎,利用凯氏定氮法测定小麦植株样本的叶层氮含量数据。
进一步的,本发明的基于RGB图像融合特征的小麦叶层氮含量估测方法,步骤4-1中,小麦冠层RGB图像的第一层小波分解产生1个低频子图LL1以及水平方向HL1、垂直方向LH1、对角方向HH1的3个高频子图;对第一层小波分解产生的低频子图进行第二层小波分解,获得1个低频子图LL2以及水平方向HL2、垂直方向LH2、对角方向HH2的3个高频子图。
进一步的,本发明的基于RGB图像融合特征的小麦叶层氮含量估测方法,步骤4-2中,任一高频子图Ixy,其大小为M×N,图像像素点(x,y),首先对原始图像沿着水平方向进行滤波和下采样,得到系数矩阵和/>然后再对/>和/>分别沿着垂直方向滤波和下采样,最后得到4个子图,包括Ixy的低频子图/>Ixy的水平方向子图/>Ixy的垂直方向子图/>Ixy的对角线方向子图/>
其中,l(i)(i=0,1,2,...,Nl-1)、h(j)(j=0,1,2,...,Nh-1)分别为低通和高通滤波器的脉冲响应,x=0,2,4...,M,y=0,1,2,...,N,Nl和Nh分别为低通和高通滤波器的长度;HL、LH和HH分别为水平、垂直和对角方向,mod表示模运算符;
第二层小波变换是通过分解第一层的低频子图获取水平方向、垂直方向和对角线方向的高频子图;
利用高频子图分别计算小波纹理特征如下:
均值:
标准方差:
能量:
熵:
其中,Γ=|LH,HL,HH|。
进一步的,本发明的基于RGB图像融合特征的小麦叶层氮含量估测方法,步骤5-2中的卷积神经网络的参数设置为:第一个卷积层的卷积核大小为11×11,滑动步长为4,填充为2,经过第一个卷积层处理得到64个55×55大小的特征图;第一个池化层采用最大值下采样处理,大小为3×3,滑动步长为2,边界不做填充处理;第二个卷积层的卷积核大小为5×5,滑动步长为1,填充为2,经过第二个卷积层处理得到192个13×13大小的特征图;第二个池化层采用最大值下采样处理,大小为3×3,滑动步长为2,边界不做填充处理;第三个卷积层的卷积核大小为3×3,滑动步长为1,填充为1,经过第三个卷积层处理得到384个13×13大小的特征图;第四个卷积层的卷积核大小为3×3,滑动步长为1,填充为1,经过第四个卷积层处理得到256个13×13大小的特征图;第五个卷积层的卷积核大小为3×3,滑动步长为1,填充为1,经过第五个卷积层处理得到256个13×13大小的特征图;第三个池化层采用最大值下采样处理,大小为3×3,滑动步长为2,边界不做填充处理;特征图经过第一个全连接层处理被扁平化为1000维的全局特征,经过第二个全连接层降维后输出256维的深层特征;其中卷积核即感受视野中的权重w矩阵的方式获得不同性质的特征来实现特征提取功能,它与上一层的连接方式为局部连接,其计算公式为:
其中,是卷积层l的输入张量,fm,n是维度为H×W的卷积核,/>是该卷积层的输出张量,i,j是张量的坐标,m,n是卷积核的坐标值。
进一步的,本发明的基于RGB图像融合特征的小麦叶层氮含量估测方法,步骤6中优选的深层特征包括:相对重要性由高到低排序前10%的深层特征为优选的深层特征。
进一步的,本发明的基于RGB图像融合特征的小麦叶层氮含量估测方法,步骤7中的决定系数R2、均方根误差RMSE的计算公式分别为:
其中,xi为实测值,为实测值的均值,yi为预测值,/>为预测值的均值,n为建模选择的样本数量;
其中,xi为实测值,yi为预测值,n是样本总数。
进一步的,本发明的基于RGB图像融合特征的小麦叶层氮含量估测方法,步骤8中的剩余预测偏差RPD的计算公式为:
其中,xi为实测值,为实测值均值,n为样本数量,RMSEP表示测试集的均方根误差。
本发明采用以上技术方案与现有技术相比,具有以下技术效果:
1、本发明的基于RGB图像融合特征的小麦叶层氮含量估测方法,采用RGB图像融合特征来估测小麦叶层氮含量,适用于小麦全生育期。
2、本发明的基于RGB图像融合特征的小麦叶层氮含量估测方法估测精度高,特征鲁棒性强,可广泛用于区域尺度遥感监测作物长势。
3、本发明的基于RGB图像融合特征的小麦叶层氮含量估测方法实现仅用一个模型来准确监测全生育期小麦叶层氮含量,并为作物长势监测提供有用参考。
附图说明
图1为小麦冠层无人机图像的小波分解的低频和高频子图。
图2为卷积神经网络结构图。
图3是基于随机森林方法优选深层特征。
图4是小麦全生育期的可见光植被指数、小波纹理特征、优选的深层特征和融合特征的粒子群优化支持向量回归PSO-SVR模型检验图。
具体实施方式
下面详细描述本发明的实施方式,所述实施方式的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的,仅用于解释本发明,而不能解释为对本发明的限制。
实施例1
本发明基于不同生育期、不同施氮水平、不同种植密度处理的小麦田间试验进行,具体表述如表1及表2所示。
表1小麦试验田基本信息
表2小麦冠层影像及农学参数数据采集
从小麦试验田Exp.1、Exp.2获得小麦冠层无人机RGB图像数据,数据获取系统性强、涵盖了主要的两个小麦品种、包含主要生育时期且样本数量大、处理因素多,可以有效地验证本发明的识别方法在不同环境条件和处理下的准确度和适应性。
基于RGB图像融合特征的小麦叶层氮含量估测方法,具体步骤如下:
步骤1、数据采集:
利用四轴航拍飞行器无人机精灵3P((SZ DJI Technology Co.,Shenzhen,China)搭载HD高清相机(Sony EXMOR 1/2.3英寸)收集小麦试验区域的图像。无人机重量1280g,空载续航约23min;HD高清相机(Sony EXMOR 1/2.3英寸)焦距20mm,像元尺寸2.4um,光圈为f/2.8。航拍照片是无人机距离地面40米的高度拍摄。每次飞行都是在晴朗、无云和无风的天气中进行,地面采样距离为1.77厘米/像素。无人机设置为自动飞行模式,数据采集时按照设定好的航线和参数自动巡航并记录数据,图像是自动捕获的模式,每2秒1帧,JPEG格式,ISO为100;航拍图像的旁向重叠度和纵向重叠度设置为60%~80%。影像数据来自不同生育期、不同施氮水平、不同种植密度处理、不同小麦品种类型的小麦田,其中生育期包括开花期、灌浆期和成熟期。
同时在每个小区随机选取六穴小麦植株样本,连根拔起装入水桶中,运到室内进行叶层氮含量测定。
步骤2、对RGB图像预处理,主要分以下两步进行:
1)通过无人机的具有非球面镜的精密镜组,能够显著消除镜头畸变;
2)通过获取俯仰角、翻角、航偏角以及航高信息等,进行图像的几何校正。
步骤3、对小麦冠层RGB图像处理主要分以下五步进行:
1)将小麦植株样本去根洗净,按照小麦不同器官(叶、茎和穗)进行分离,并将所有样品放在105℃的烘箱中30分钟,然后在80℃干燥20h以上,随后称重以获得每个样品的干重。将样品粉碎,利用凯氏定氮法测定小麦植株样本的叶层氮含量数据。
2)对获取的RGB图像运用Agisoft Photoscan 1.2.4(Agisoft LLC,St.Petersburg,Russia)生成正射影像图,以拼接图像中的小麦长势均匀为原则,根据试验小区不同的种植方式,利用ENVI裁剪为小麦均匀分布的图像,其中,小区的定义为42m×4m的区域。根据RGB图像提取试验小区的R、G和B通道的平均像元亮度值DN并归一化处理如下:其中,R、G、B分别是地物红、绿和蓝波段的DN值,r、g和b代表归一化处理后红、绿和蓝波段的DN值。
3)计算可见光植被指数,包括改良绿红植被指数MGRVI、红绿蓝植被指数RGBVI、绿红植被指数GRVI、绿叶算法GLA、超红植被指数ExR、超绿植被指数ExG、超蓝植被指数ExB、绿红差值指数ExGR、植被提取颜色指数CIVE、可见光大气阻抗植被指数VARI、绿叶植被指数GLI,计算公式如下:
改良绿红植被指数:MGRVI=(g2-r2)/(g2+r2)
红绿蓝植被指数:RGBVI=(g2-br2)/(g2+br2)
绿红植被指数:GRVI=(g-r)/(g+r)
绿叶算法:GLA=(2g-r-b)/(2g+r+b)
超红植被指数:ExR=1.4r-g
超绿植被指数:ExG=2g-r-b
超蓝植被指数:ExB=1.4b-g
绿红差值指数:ExGR=ExG-ExR
植被提取颜色指数:CIVE=0.441r-0.881g+0.385b+18.78745
可见光大气阻抗植被指数:VARI=(g-r)/(g+r-b)
绿叶植被指数:GLI=(2g-b-r)/(2g+b+r)。
4)利用离散小波变换方法对RGB图像进行二层小波分解,选择Daubechies作为小波基,利用水平方向和垂直方向滤波的方法实现无人机RGB图像的小波分解。第一层小波分解产生1个低频子图LL1以及水平方向HL1、垂直方向LH1、对角方向HH1的3个高频子图;第二层小波分解获得1个低频子图LL2以及水平方向HL2、垂直方向LH2、对角方向HH2的3个高频子图。
根据获取的两层共6个高频子图提取小波纹理特征,包括均值Mv、标准方差Sv、能量Ev和熵ENv共计24个小波纹理特征;
其中,任一高频子图Ixy,其大小为M×N,图像像素点(x,y),首先对原始图像沿着水平方向进行滤波和下采样,得到系数矩阵和/>然后再对/>和/>分别沿着垂直方向滤波和下采样,最后得到4个子图,包括Ixy的低频子图/>Ixy的水平方向子图/>Ixy的垂直方向子图/>Ixy的对角线方向子图/>
其中,l(i)(i=0,1,2,...,Nl-1)、h(j)(j=0,1,2,...,Nh-1)分别为低通和高通滤波器的脉冲响应,x=0,2,4...,M,y=0,1,2,...,N,Nl和Nh分别为低通和高通滤波器的长度;HL、LH和HH分别为水平、垂直和对角方向,mod表示模运算符。第二层的小波变换是通过分解第一层的低频子图获取水平方向、垂直方向和对角线方向的高频子图;
利用高频子图分别计算小波纹理特征:
均值:
标准方差:
能量:
熵:
其中,Γ=|LH,HL,HH|。
如图1为小麦冠层无人机图像的小波分解的低频子图和高频子图。
5)将RGB图像切割成尺寸为227×227pixel后作为卷积神经网络输入层,经过卷积层、池化层和全连接层获取扁平化的深层特征,通过全连接层获得256维深层特征,利用随机森林优选深层特征,选择相对重要性由高到低排序的前10%的特征作为优选的深层特征。
其中,卷积神经网络的参数设置为:一个卷积层的卷积核大小为11×11,滑动步长为4,填充为2,经过第一个卷积层处理得到64个55×55大小的特征图;第一个池化层采用最大值下采样处理,大小为3×3,滑动步长为2,边界不做填充处理;第二个卷积层的卷积核大小为5×5,滑动步长为1,填充为2,经过第二个卷积层处理得到192个13×13大小的特征图;第二个池化层采用最大值下采样处理,大小为3×3,滑动步长为2,边界不做填充处理;第三个卷积层的卷积核大小为3×3,滑动步长为1,填充为1,经过第三个卷积层处理得到384个13×13大小的特征图;第四个卷积层的卷积核大小为3×3,滑动步长为1,填充为1,经过第四个卷积层处理得到256个13×13大小的特征图;第五个卷积层的卷积核大小为3×3,滑动步长为1,填充为1,经过第五个卷积层处理得到256个13×13大小的特征图;第三个池化层采用最大值下采样处理,大小为3×3,滑动步长为2,边界不做填充处理;特征图经过第一个全连接层处理被扁平化为1000维的全局特征,经过第二个全连接层降维后输出256维的深层特征;其中卷积核即感受视野中的权重w矩阵的方式获得不同性质的特征来实现特征提取功能,它与上一层的连接方式为局部连接,其计算公式为:
其中是卷积层l的输入张量,fm,n是维度为H×W的卷积核,/>是该卷积层的输出张量,i,j是张量的坐标,m,n是卷积核的坐标值。
如图2为卷积神经网络结构图。如图3为基于随机森林方法优选深层特征。
步骤4、将可见光植被指数、小波纹理特征、优选的深层特征及融合特征作为PSO-SVR模型的输入变量,小麦叶层氮含量作为目标变量,建立基于粒子群优化支持向量回归的小麦叶层氮含量估测模型;其中,利用可见光植被指数、小波纹理特征、优选的深层特征依据并行策略构建融合特征。
步骤5、计算校正集的决定系数R2和均方根误差RMSE,来评定该估测模型在小麦叶层氮含量估测上的表现:
其中,xi为实测值,为实测值的均值,yi为预测值,/>为预测值的均值,n为建模选择的样本数量;
其中,xi为实测值,yi为预测值,n为建模选择的样本数量。
步骤6、根据田间试验数据,采用留一交叉验证法对小麦叶层氮含量估测模型进行精度验证,计算测试集的决定系数R2和剩余预测偏差RPD:
其中,xi为实测值,为实测值均值,n为样本数量,RMSEP表示测试集的均方根误差。
如图4是小麦全生育期的可见光植被指数、小波纹理特征、优选的深层特征和融合特征的粒子群优化支持向量回归PSO-SVR模型检验图。
通过比较不同估测模型测试集的决定系数R2、均方根误差RMSE和剩余预测偏差RPD,得到基于融合特征的PSO-SVR模型为最佳小麦叶层氮含量估测模型,校正集的R2达到0.9364,测试集的R2达到0.8517,RPD达到3.449,所述融合特征包括11个可见光植被指数、24个小波纹理特征、25个深层特征。
如下表所示为全生育时期的小麦叶层氮含估测模型:
表基于不同特征的小麦叶层氮含量PSO-SVR估测模型
以上所述仅是本发明的部分实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进,这些改进应视为本发明的保护范围。

Claims (11)

1.基于RGB图像融合特征的小麦叶层氮含量估测方法,其特征在于,包括以下步骤:
步骤1:通过无人机搭载的消费级数码相机获取小麦冠层RGB图像数据,同时对小麦植株进行随机破坏性取样,得到小麦植株样本;
步骤2:对小麦冠层RGB图像数据进行预处理,包括镜头畸变及几何校正,得到预处理后的小麦冠层RGB图像数据;
步骤3:提取试验小区小麦冠层RGB图像的R、G和B通道的平均像元亮度值并进行归一化处理,计算可见光植被指数,同时测定小麦植株样本的叶层氮含量数据;
步骤3-1:利用ENVI软件根据小麦冠层RGB图像提取试验小区的R、G和B通道的平均像元亮度值DN,其中,小区的定义为42m×4m的区域;
步骤3-2:利用线性函数对DN值归一化到[0,1];
步骤3-3:根据步骤3-2的归一化DN值计算与小麦叶层氮含量估测相关的可见光植被指数;
步骤3-4:将小麦植株样本去根洗净、分离,在烘箱中进行杀青、烘干、称重、测定,得到小麦植株样本的叶层氮含量数据;
步骤4:利用离散小波变换对小麦冠层RGB图像提取小波纹理特征;
步骤4-1:利用离散小波变换对小麦冠层RGB图像进行两层小波分解,每层小波分解均获得3个高频子图和1个低频子图;
步骤4-2:利用第一层小波分解获得的3个高频子图和第二层小波分解获得的3个高频子图计算小波纹理特征;
步骤5:利用卷积神经网络对小麦冠层RGB图像提取深层特征;
步骤5-1:以小麦冠层RGB图像中的小麦长势均匀为原则,根据试验小区不同的氮素水平、种植方式和种植密度,裁剪成尺寸为227×227pixel的图像;
步骤5-2:以步骤5-1中裁剪后的小麦冠层RGB图像作为卷积神经网络的输入层,利用卷积神经网络提取深层特征,所述卷积神经网络包括五层卷积层、三层池化层和两层全连接层,卷积层提取更多的小麦冠层RGB图像的局部深层特征,池化层提取小麦冠层RGB图像的显著特征,全连接层进行特征扁平化和输出深层特征;
步骤6:利用随机森林方法进行深层特征选择,计算深层特征的相对重要性,根据相对重要性排序优选深层特征;
步骤7:将可见光植被指数、小波纹理特征、优选的深层特征及融合特征作为输入变量,小麦叶层氮含量作为目标变量,建立基于粒子群优化支持向量回归PSO-SVR的小麦叶层氮含量估测模型,所述融合特征是通过并行融合策略融合了可见光植被指数、小波纹理特征、优选的深层特征;
计算校正集的决定系数R2和均方根误差RMSE,评定该估测模型在小麦叶层氮含量估测上的表现;
步骤8:根据田间试验数据,采用留一交叉验证法对小麦叶层氮含量估测模型进行精度验证,并计算测试集的决定系数R2和剩余预测偏差RPD;
通过比较不同估测模型测试集的决定系数R2和剩余预测偏差RPD,得到基于融合特征的PSO-SVR模型为最佳小麦叶层氮含量估测模型。
2.根据权利要求1所述的基于RGB图像融合特征的小麦叶层氮含量估测方法,其特征在于,步骤1中的小麦冠层RGB图像数据来自不同生育期、不同施氮水平、不同种植密度处理、不同小麦品种类型的小麦田,其中生育期包括开花期、灌浆期和成熟期;步骤1中对小麦植株进行随机破坏性取样具体为:在每个试验小区随机选取六株小麦植株,连根拔起装入水桶中。
3.根据权利要求1所述的基于RGB图像融合特征的小麦叶层氮含量估测方法,其特征在于,步骤2中对小麦冠层RGB图像数据进行预处理具体为:
步骤2-1:通过无人机的具有非球面镜的精密镜组消除镜头畸变;
步骤2-2:通过获取无人机拍摄的俯仰角、翻角、航偏角以及航高信息等,进行图像的几何校正。
4.根据权利要求1所述的基于RGB图像融合特征的小麦叶层氮含量估测方法,其特征在于,步骤3-2中的DN值进行归一化处理公式如下:
其中,R、G、B分别是地物红、绿和蓝波段的DN值,r、g和b代表归一化处理后红、绿和蓝波段的DN值;
步骤3-3中的可见光植被指数的计算公式如下:
改良绿红植被指数:MGRVI=(g2-r2)/(g2+r2)
红绿蓝植被指数:RGBVI=(g2-br2)/(g2+br2)
绿红植被指数:GRVI=(g-r)/(g+r)
绿叶算法:GLA=(2g-r-b)/(2g+r+b)
超红植被指数:ExR=1.4r-g
超绿植被指数:ExG=2g-r-b
超蓝植被指数:ExB=1.4b-g
绿红差值指数:ExGR=ExG-ExR
植被提取颜色指数:CIVE=0.441r-0.881g+0.385b+18.78745
可见光大气阻抗植被指数:VARI=(g-r)/(g+r-b)
绿叶植被指数:GLI=(2g-b-r)/(2g+b+r)。
5.根据权利要求1所述的基于RGB图像融合特征的小麦叶层氮含量估测方法,其特征在于,步骤3-4中测定小麦植株样本的叶层氮含量数据具体为:
将小麦植株样本去根洗净,按照小麦不同器官进行分离,并将所有样品放在105℃的烘箱中30分钟,然后在80℃干燥20h以上,随后称重以获得每个样品的干重,将样品粉碎,利用凯氏定氮法测定小麦植株样本的叶层氮含量数据。
6.根据权利要求1所述的基于RGB图像融合特征的小麦叶层氮含量估测方法,其特征在于,步骤4-1中,小麦冠层RGB图像的第一层小波分解产生1个低频子图LL1以及水平方向HL1、垂直方向LH1、对角方向HH1的3个高频子图;对第一层小波分解产生的低频子图进行第二层小波分解,获得1个低频子图LL2以及水平方向HL2、垂直方向LH2、对角方向HH2的3个高频子图。
7.根据权利要求1所述的基于RGB图像融合特征的小麦叶层氮含量估测方法,其特征在于,步骤4-2中,任一高频子图Ixy,其大小为M×N,图像像素点(x,y),首先对原始图像沿着水平方向进行滤波和下采样,得到系数矩阵和/>然后再对/>和/>分别沿着垂直方向滤波和下采样,最后得到4个子图,包括Ixy的低频子图/>Ixy的水平方向子图/>Ixy的垂直方向子图/>Ixy的对角线方向子图/>
其中,l(i)(i=0,1,2,...,Nl-1)、h(j)(j=0,1,2,...,Nh-1)分别为低通和高通滤波器的脉冲响应,x=0,2,4...,M,y=0,1,2,...,N,Nl和Nh分别为低通和高通滤波器的长度;HL、LH和HH分别为水平、垂直和对角方向,mod表示模运算符;
第二层小波变换是通过分解第一层的低频子图IxLyL获取水平方向、垂直方向和对角线方向的高频子图;
利用高频子图分别计算小波纹理特征如下:
均值:
标准方差:
能量:
熵:
其中,Γ=|LH,HL,HH|。
8.根据权利要求1所述的基于RGB图像融合特征的小麦叶层氮含量估测方法,其特征在于,步骤5-2中的卷积神经网络的参数设置为:第一个卷积层的卷积核大小为11×11,滑动步长为4,填充为2,经过第一个卷积层处理得到64个55×55大小的特征图;第一个池化层采用最大值下采样处理,大小为3×3,滑动步长为2,边界不做填充处理;第二个卷积层的卷积核大小为5×5,滑动步长为1,填充为2,经过第二个卷积层处理得到192个13×13大小的特征图;第二个池化层采用最大值下采样处理,大小为3×3,滑动步长为2,边界不做填充处理;第三个卷积层的卷积核大小为3×3,滑动步长为1,填充为1,经过第三个卷积层处理得到384个13×13大小的特征图;第四个卷积层的卷积核大小为3×3,滑动步长为1,填充为1,经过第四个卷积层处理得到256个13×13大小的特征图;第五个卷积层的卷积核大小为3×3,滑动步长为1,填充为1,经过第五个卷积层处理得到256个13×13大小的特征图;第三个池化层采用最大值下采样处理,大小为3×3,滑动步长为2,边界不做填充处理;特征图经过第一个全连接层处理被扁平化为1000维的全局特征,经过第二个全连接层降维后输出256维的深层特征;其中卷积核即感受视野中的权重w矩阵的方式获得不同性质的特征来实现特征提取功能,它与上一层的连接方式为局部连接,其计算公式为:
其中,是卷积层l的输入张量,fm,n是维度为H×W的卷积核,/>是该卷积层的输出张量,i,j是张量的坐标,m,n是卷积核的坐标值。
9.根据权利要求1所述的基于RGB图像融合特征的小麦叶层氮含量估测方法,其特征在于,步骤6中优选的深层特征包括:相对重要性由高到低排序前10%的深层特征为优选的深层特征。
10.根据权利要求1所述的基于RGB图像融合特征的小麦叶层氮含量估测方法,其特征在于,步骤7中的决定系数R2、均方根误差RMSE的计算公式分别为:
其中,xi为实测值,为实测值的均值,yi为预测值,/>为预测值的均值,n为建模选择的样本数量;
其中,xi为实测值,yi为预测值,n是样本总数。
11.根据权利要求1所述的基于RGB图像融合特征的小麦叶层氮含量估测方法,其特征在于,步骤8中的剩余预测偏差RPD的计算公式为:
其中,xi为实测值,为实测值均值,n为样本数量,RMSEP表示测试集的均方根误差。
CN202011303935.9A 2020-11-19 2020-11-19 基于rgb图像融合特征的小麦叶层氮含量估测方法 Active CN112613338B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011303935.9A CN112613338B (zh) 2020-11-19 2020-11-19 基于rgb图像融合特征的小麦叶层氮含量估测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011303935.9A CN112613338B (zh) 2020-11-19 2020-11-19 基于rgb图像融合特征的小麦叶层氮含量估测方法

Publications (2)

Publication Number Publication Date
CN112613338A CN112613338A (zh) 2021-04-06
CN112613338B true CN112613338B (zh) 2023-11-24

Family

ID=75225946

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011303935.9A Active CN112613338B (zh) 2020-11-19 2020-11-19 基于rgb图像融合特征的小麦叶层氮含量估测方法

Country Status (1)

Country Link
CN (1) CN112613338B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113390795B (zh) * 2021-04-29 2023-05-26 北京农业信息技术研究中心 基于冠层成像光谱的茶叶鲜叶质量无损监测方法及装置
CN114663788B (zh) * 2022-03-29 2024-07-02 浙江奥脉特智能科技有限公司 一种基于Yolo V5的电塔缺陷检测方法及系统
WO2024019632A1 (ru) * 2022-07-22 2024-01-25 Публичное Акционерное Общество "Сбербанк России" Устройство и способ определения урожайности сельскохозяйственных культур
WO2024085780A1 (ru) * 2022-10-17 2024-04-25 Публичное Акционерное Общество "Сбербанк России" Устройство и способ определения видов сельскохозяйственных культур
CN115546621B (zh) * 2022-11-28 2023-02-28 浙江托普云农科技股份有限公司 一种作物长势分析方法、装置及应用

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107220967A (zh) * 2017-05-08 2017-09-29 新疆农业大学 一种草地土壤退化评价方法
CN110069895A (zh) * 2019-05-20 2019-07-30 中国水利水电科学研究院 冬小麦含氮量全生育时段光谱监测模型建立方法
CN110874617A (zh) * 2019-11-26 2020-03-10 南京农业大学 一种冬小麦叶片氮含量估算模型的建立方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9117140B2 (en) * 2010-05-24 2015-08-25 Board Of Trustees Of The University Of Arkansas System and method of in-season nitrogen measurement and fertilization of non-leguminous crops from digital image analysis

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107220967A (zh) * 2017-05-08 2017-09-29 新疆农业大学 一种草地土壤退化评价方法
CN110069895A (zh) * 2019-05-20 2019-07-30 中国水利水电科学研究院 冬小麦含氮量全生育时段光谱监测模型建立方法
CN110874617A (zh) * 2019-11-26 2020-03-10 南京农业大学 一种冬小麦叶片氮含量估算模型的建立方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于机器学习和可见光光谱的冬小麦叶片氮积累量估算;崔日鲜;刘亚东;付金东;;光谱学与光谱分析(06);207-212 *
基于遗传算法优化的BP神经网络进行水稻氮素营养诊断;罗建军;杨红云;路艳;易文龙;孙爱珍;;中国农业科技导报(08);89-98 *

Also Published As

Publication number Publication date
CN112613338A (zh) 2021-04-06

Similar Documents

Publication Publication Date Title
CN112613338B (zh) 基于rgb图像融合特征的小麦叶层氮含量估测方法
CN110222475B (zh) 一种基于无人机多光谱遥感反演冬小麦植株含水率的方法
GB2618896A (en) System and method for crop monitoring
Huang et al. Phenotypic techniques and applications in fruit trees: a review
CN112345458A (zh) 一种基于无人机多光谱影像的小麦产量估测方法
CN112418188A (zh) 基于无人机视觉的农作物生长全程数字化评估方法
CN102829739A (zh) 一种面向对象的作物叶面积指数遥感反演方法
CN108710864B (zh) 基于多维度识别及图像降噪处理的冬小麦遥感提取方法
CN113836779A (zh) 一种基于CNN的Sentinel多源数据的农田地表土壤水分反演方法
Xu et al. Classification method of cultivated land based on UAV visible light remote sensing
CN114926748A (zh) Sentinel-1/2微波与光学多光谱影像结合的大豆遥感识别方法
CN114140695B (zh) 一种基于无人机多光谱遥感的茶树氮素诊断及品质指标测定的预测方法和系统
CN112418073B (zh) 一种基于无人机图像融合特征的小麦植株氮含量估测方法
CN112528912A (zh) 基于边缘计算的作物生长监测嵌入式系统及方法
CN116602106A (zh) 一种基于无人机的水稻田内变量施肥方法
CN116561509A (zh) 顾及植被类型的城市植被地上生物量精确反演方法及系统
CN115690580A (zh) 一种玉米倒伏遥感监测方法、系统、电子设备及介质
Chen et al. 3D model construction and ecological environment investigation on a regional scale using UAV remote sensing
CN115019205B (zh) 一种基于无人机多光谱影像的油菜花期spad和lai估测方法
CN116124774A (zh) 一种基于无人机光谱多源数据预测冠层氮含量方法
Yang et al. Feature extraction of cotton plant height based on DSM difference method
CN111860038B (zh) 一种农作物前端识别装置及方法
Hosseini et al. Nitrogen estimation in sugarcane fields from aerial digital images using artificial neural network.
Swaminathan et al. Early estimation of nitrogen stress and uptake in cotton based on spectral and morphological features extracted from UAV multispectral images
CN112966579B (zh) 一种基于无人机遥感的大面积油茶林快速估产方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 210043 Jiangsu Nanjing Qixia District Bagua Zhou street Jiangsu Qixia modern agriculture industrial park Nanjing Agricultural University modern horticulture industry science and Technology Innovation Center

Applicant after: NANJING AGRICULTURAL University

Address before: Weigang Xuanwu District of Nanjing Jiangsu province 210095 No. 1

Applicant before: NANJING AGRICULTURAL University

CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Zhu Yan

Inventor after: Zhang Yu

Inventor after: Yang Baohua

Inventor after: Yao Xia

Inventor after: Ma Jifeng

Inventor after: Zheng Hengbiao

Inventor after: Cao Weixing

Inventor after: Tian Yongchao

Inventor after: Cheng Tao

Inventor after: Qiu Xiaolei

Inventor before: Zhu Yan

Inventor before: Zhang Yu

Inventor before: Yang Baohua

Inventor before: Yao Xia

Inventor before: Ma Jifeng

Inventor before: Zheng Hengbiao

Inventor before: Cao Weixing

Inventor before: Tian Yongchao

Inventor before: Cheng Tao

Inventor before: Qiu Xiaolei

GR01 Patent grant
GR01 Patent grant