CN112329856A - 一种基于光谱与rgb-d融合图像的小麦氮积累量预测方法 - Google Patents

一种基于光谱与rgb-d融合图像的小麦氮积累量预测方法 Download PDF

Info

Publication number
CN112329856A
CN112329856A CN202011226965.4A CN202011226965A CN112329856A CN 112329856 A CN112329856 A CN 112329856A CN 202011226965 A CN202011226965 A CN 202011226965A CN 112329856 A CN112329856 A CN 112329856A
Authority
CN
China
Prior art keywords
image
wheat
rgb
spectrum
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011226965.4A
Other languages
English (en)
Other versions
CN112329856B (zh
Inventor
倪军
徐可
曹卫星
朱艳
庞方荣
蒋小平
汤亮
姚霞
张小虎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shennong Intelligent Agricultural Research Institute Nanjing Co ltd
Nanjing Agricultural University
Original Assignee
Shennong Intelligent Agricultural Research Institute Nanjing Co ltd
Nanjing Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shennong Intelligent Agricultural Research Institute Nanjing Co ltd, Nanjing Agricultural University filed Critical Shennong Intelligent Agricultural Research Institute Nanjing Co ltd
Priority to CN202011226965.4A priority Critical patent/CN112329856B/zh
Publication of CN112329856A publication Critical patent/CN112329856A/zh
Application granted granted Critical
Publication of CN112329856B publication Critical patent/CN112329856B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/02—Agriculture; Fishing; Forestry; Mining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Mathematical Physics (AREA)
  • Marketing (AREA)
  • Computing Systems (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Game Theory and Decision Science (AREA)
  • Primary Health Care (AREA)
  • Mining & Mineral Resources (AREA)
  • Marine Sciences & Fisheries (AREA)
  • Animal Husbandry (AREA)
  • Agronomy & Crop Science (AREA)
  • Operations Research (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Development Economics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于光谱与RGB‑D融合图像的小麦氮积累量预测方法，属于精准农业技术领域。该方法根据RGB图像与深度图像对应像素之间的相关性，提出RGB图像与深度图像的像素级融合算法；通过构建结合小麦冠层颜色与结构信息的特征参数，对单一光谱特征预测小麦叶层氮积累量(Leaf layer nitrogen accumulation，LNA)和地上部氮积累量(Shoot nitrogen accumulation，SNA)的模型进行补偿，建立基于多维特征的预测模型。克服了光谱技术在预测小麦氮积累量时忽视冠层结构各向异性特征，导致预测结果精度低、不稳定等弊端，冠层结构特征的加入对基于光谱预测氮积累量模型进行了有效补偿，预测模型具有更好的精度与稳定性。

Description

一种基于光谱与RGB-D融合图像的小麦氮积累量预测方法
技术领域
本发明涉及一种预测方法，尤其是一种基于光谱与RGB-D融合图像的小麦氮积累量预测方法，属于精准农业技术领域。
背景技术
氮素是小麦生长发育所需的关键元素，对小麦的产量和品质的影响至关重要。快速有效地掌握小麦关键生育期的氮素营养指标状况，是实现肥料精准管理的前提。传统的氮素营养指标估算多采用化学分析的方法，费时费力，随着光谱分析技术和图像传感技术的不断发展，氮素营养指标无损检测技术的时效性越来越强、测试方法越来越简便。
光谱分析技术的基础主要是将作物冠层简单化、理想化视为各向同性、均匀的朗伯体，但已有的植被冠层与辐射相互作用机理的研究表明，把植被冠层视为朗伯体的假设与实际情况相差较大，忽略了冠层结构各向异性特征对于光谱的影响，检测结果不够稳定，且精度相对较差。
因此，有必要结合光谱特征和冠层结构特征对作物的氮素营养状况进行检测。目前，冠层结构特征的提取多依赖于数字图像处理技术，通过分析图像特征表达作物冠层的颜色与形态特征差异。由于只使用了可见光波段信息，图像的R、G、B值易受拍摄时光照条件的影响，并且二维数字图像难以反映作物冠层三维形态信息，因此基于二维数字图像构建氮素营养指标估算模型，准确度并不理想。
发明内容
本发明的目的在于针对上述现有技术存在的缺点，提出一种基于光谱与RGB-D融合图像的小麦氮积累量预测方法，通过融合RGB图像和深度图像，构建结合小麦冠层颜色与三维结构信息的特征参数，对单一光谱特征预测小麦氮积累量的模型进行补偿，有效提升模型的精度与稳定性。
为实现上述目的，本发明采取的技术方案是：一种基于光谱与RGB-D融合图像的小麦氮积累量预测方法，其包括以下步骤：
步骤1：在小麦拔节期、孕穗期与抽穗期分别获取冠层的光谱信息、RGB图像和深度图像，并利用敏感波段构建植被指数，提出空洞填充算法修复深度图像；
步骤2：将深度图像和RGB图像对齐后，结合RGB图像的颜色特征和修复后深度图像的高度特征，分割小麦冠层；
步骤3：利用IHS变换将RGB图像分别和深度信息、相位信息进行融合，得到不同空间模型下的小麦冠层图像；
步骤4：计算融合后小麦冠层图像的颜色共生矩阵，提取小麦的冠层结构特征；
步骤5：对小麦的冠层结构特征进行筛选，结合筛选后的结构特征和光谱特征对氮积累量进行预测。
进一步的，所述步骤1中利用敏感波段构建植被指数，提出空洞填充算法修复深度图像，包括如下步骤：
步骤1-1：获取小麦冠层光谱信息，利用小麦氮素敏感波段构建植被指数，生成光谱特征；
步骤1-2：获取小麦冠层的深度图像，根据空洞产生的原因将图像中的空洞分类分析，利用类别特征进行空洞修复。
更进一步的，在深度图像修复时，将空洞出现的情况分为两类进行讨论，第一种为空洞出现在叶片内部，属于局部空洞，第二种是空洞出现在不同区域的交界处，属于大面积空洞；根据不同空洞类别的分析设计空洞填充算法，首先对作物行图像的深度信息进行列遍历，寻找所有空洞点或线的位置，计算该点或线前后非零深度信息的差值H，通过将H与人为设置的阈值T进行比较，对空洞的类型进行区分；当H<T时，则为局部空洞，取空洞点或线前后的非零深度信息均值进行插值，当H≥T时，则为大面积空洞，取空洞点或线前后的非零深度信息分别拟合后插值。
进一步的，所述步骤2中提出的分割小麦冠层方法，包括以下步骤：
步骤2-1：利用不同坐标系的转换方法，将深度图像的坐标系转换到世界坐标系，再转换到RGB图像坐标系，从而实现深度图像与RGB图像的对齐；
步骤2-2：将RGB模型转换至HSI模型，通过色调的定义去除土壤背景，降低光照变化对于作物行提取的影响。
进一步的，所述步骤3中提出的图像融合方法，包括以下步骤：
步骤3-1：根据反平方定律，将深度信息(D)转换为相位信息(P)；
步骤3-2：利用IHS变换将深度信息和相位信息替换I通道的信息，得到融合后的HSP和HSD图像。
更进一步的，采用熵和交叉熵两种指标对融合图像的质量进行评价，在进行图像评价前将HSI空间的图像转换为RGB图像，并进行灰度化操作；图像的熵(E)用于衡量图像信息的丰富程度，熵越大，则表示图像的信息量越多，交叉熵(C)用于评价两幅图像的差异，交叉熵越小，说明融合图像与源图像的差异越小，则该融合方法从源图像中提取的信息量越多；熵和交叉熵其计算公式分别为：
Figure BDA0002763883300000031
Figure BDA0002763883300000032
其中，L表示图像灰度级别，即为256，pi和qi表示灰度值为i的像素占源图像和融合图像中总像素的比例。
进一步的，所述步骤4中提出的冠层结构特征提取方法，包括以下步骤：
步骤4-1：分别计算HS通道、HP通道、HD通道、SD通道和SP通道的颜色共生矩阵；
步骤4-2：计算不同颜色共生矩阵下的纹理特征，包括：比度(CON)、角二阶矩(ASM)、相关系数(COR)、逆差矩(IDM)和熵(ENT)。
更进一步的，所述颜色共生矩阵的计算方法为：首先将RGB图像进行颜色空间转换，计算其在HSD和HSP空间模型中的对应值，将H、S、D、P分量非均匀量化为8个部分，减少信息冗余，在计算CCM时，将四个分量分别设为C1,C2,C3和C4，设m＝Ck，n＝Ck'分别为四个分量组合空间(k,k'∈{1,2,3})中的两个成分，用颜色共生矩阵CCMmn表示对图像中像素的不同成分Ck与Ck'即m与n空间相互作用的测量；对于图像中的任意一个像素，假设其第k个分量值为i即m＝i，第k'个分量值为j即n＝j，则用矩阵中的元素CCMm,n(i,j)来表示图像中这样的像素出现的次数，颜色共生矩阵的计算公式如下：
Figure BDA0002763883300000033
其中，颜色共生矩阵中的第i行第j列元素用p(i,j)表示。
进一步的，所述步骤5中提出的氮积累量预测方法，包括以下步骤：
步骤5-1：将小麦冠层结构特征与小麦氮积累量进行线性拟合，通过比较R2大小进行特征筛选；
步骤5-2：分别利用线性和非线性模型对小麦的氮积累量进行预测，比较单一光谱特征和光谱与冠层结构特征组合后的预测精度。
更进一步的，选取多元回归分析和BP神经网络两种方法分别构建模型；多元线性回归的模型如下：
Figure BDA0002763883300000034
其中，num为不同特征的数量，xi是不同特征的数值，y表示LNA和SNA的值，ai和b表示模型的参数；
在BP神经网络的隐层中设置10个神经元，训练函数为Bayesian Regularization；通过计算R2和RRMSE对模型进行评价，RMSE和RRMSE的计算公式如下：
Figure BDA0002763883300000041
Figure BDA0002763883300000042
其中，ypi，yri和
Figure BDA0002763883300000043
分别代表小麦LNA和SNA的预测值、实测值和实测值的均值，N为样本数量。
与现有技术相比，本发明具有以下有益效果：
(1)提出了一种深度信息的空洞填充算法，有效避免了由于信息丢失造成的特征损失；
(2)利用IHS变换将RGB图像和深度图像进行融合，融合图像的纹理特征中含深度信息，从而能够突破二维图像提取冠层结构特征的局限，表达小麦冠层的三维结构信息。融合图像的特征与光谱特征的组合能够有效提升预测小麦氮积累量的精度和稳定性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施或现有技术描述中所需要使用的附图做一一介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的流程示意图；
图2为小麦的深度图像示意图；
图3为空洞填充算法修复后的深度图像；
图4为小麦的RGB图像示意图；
图5为不同氮素处理下小麦和杂草的高度信息图；
图6为小麦冠层分割后的示意图；
图7为不同光照条件下的RGB-D融合图像；
图8为小麦冠层结构特征的筛选结果。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供了一种基于光谱与RGB-D融合图像的小麦氮积累量预测方法，该方法为：在获取小麦冠层的RGB和深度图像后，利用空洞填充方法对深度图像进行修复，避免由于信息丢失造成的特征损失。将深度图像和RGB图像对齐后，结合RGB图像的颜色特征和修复后深度图像的高度特征，分割小麦冠层。利用IHS变换将RGB图像和深度图像进行融合，计算融合后小麦冠层图像的颜色共生矩阵，提取小麦的冠层结构特征。对小麦的冠层结构进行筛选，结合筛选后的结构特征和光谱特征对氮积累量进行预测。
下面结合附图和具体实施例，对本发明的技术方案做进一步的详细描述。
实施例一：
图1为本发明一种基于光谱与RGB-D融合图像的小麦氮积累量预测方法的流程示意图，如图1所示，该方法可以包括如下步骤：
步骤1：在小麦拔节期、孕穗期与抽穗期分别获取冠层的光谱信息、RGB图像和深度图像。利用敏感波段构建植被指数，利用敏感波段构建植被指数，提出空洞填充算法修复深度图像。
需要补充的是，选用730nm和815nm的光谱反射率红边归一化植被指数(NDRE，Rededge normalized difference vegetation)比值植被指数(RVI，Ratio vegetationindex)。植被指数的计算公式如下：
NDRE＝(R815-R730)/(R815+R730) (1)
RVI＝R815/R730 (2)
其中，R730和R815分别表示小麦在730nm和815nm波段的反射率。
在深度图像修复时，将空洞出现的情况分为两类进行讨论。第一种为空洞出现在叶片内部，主要是受到周围环境的影响，例如光照和振动等，这种空洞的面积通常较小，深度信息与周围深度信息接近，属于局部空洞。第二种是空洞出现在不同区域的交界处，产生原因与传感器的适用范围有关，主要发生在叶片边缘深度信息跳变处，属于大面积空洞。根据不同空洞类别的分析设计空洞填充算法。首先对作物行图像的深度信息进行列遍历，寻找所有空洞点(线)的位置，计算该点(线)前后非零深度信息的差值H。通过将H与人为设置的阈值T进行比较，对空洞的类型进行区分。当H<T时，则为局部空洞，取空洞点(线)前后的非零深度信息均值进行插值。当H≥T时，则为大面积空洞,取空洞点(线)前后的非零深度信息分别拟合后插值。由于图像中央存在呈水平方向的作物行，所以更适合用曲线进行拟合，本文采用二次多项式进行拟合。HF总结如式(3)，其中Hb和Hf分别表示空洞点(线)的前后非零深度信息，x为空洞点对应的列坐标，d(x)为填充的深度信息。
Figure BDA0002763883300000061
对于不同T值下的空洞修复结果，如下表1所示。
表1不同T值下的空洞修复结果
Figure BDA0002763883300000062
步骤2：利用不同坐标系的转换方法，将深度图像的坐标系转换到世界坐标系，再转换到RGB图像坐标系，从而实现深度图像与RGB图像的对齐。将RGB模型转换至HSI模型，通过色调的定义去除土壤背景，降低光照变化对于作物行提取的影响。统计了不同氮素处理下的小麦最大高度和杂草的平均高度。将低于最大高度的10％的像素点视为杂草信息并去除，完成小麦冠层分割。
需要补充的是，在图像对齐的过程中，深度摄像头与RGB摄像头的内参矩阵以及旋转矩阵与平移向量两个外部参数从深度相机提供的SDK中获取。首先将深度图像坐标系的深度点还原到世界坐标系，设Pir为在深度摄像头坐标下某点的空间坐标，pir为该点在像平面上的投影坐标，Hir为深度摄像头的内参矩阵，由小孔成像模型可知，他们满足以下关系：
pir＝HirPir (4)
Pir＝Hir -1pir (5)
再将世界坐标系中的深度点转换到RGB图像坐标系中，设Prgb为在RGB摄像头坐标下同一点的空间坐标，prgb为该点在RGB像平面上的投影坐标，Hrgb为RGB摄像头的内参矩阵。由于深度摄像头的坐标和RGB摄像头的坐标不同，他们之间可以用一个旋转平移变换联系起来，R为旋转矩阵，T为平移向量，即：
Prgb＝RPir+T (6)
prgb＝HrgbPrgb (7)
在HSI空间进行土壤背景分割，HSI颜色模型中的H通道的取值范围为[0,2π]，其中黄色、绿色和青色对应的H值分别为
Figure BDA0002763883300000071
和π。由于小麦的氮素处理不同，导致叶片颜色差异较大，因此保留H通道在区间
Figure BDA0002763883300000072
的值作为作物行信息。同时考虑到田间杂草信息对于提取作物行特征的影响，由于拔节期后小麦封行，杂草不再对后续提取小麦冠层特征产生影响，所以只在拔节期通过从深度图像中获得的高度信息进行杂草去除。通过分析拔节期小麦和杂草的深度信息，统计了不同氮素处理下的小麦最大高度和杂草的平均高度。考虑到小麦不同位置叶片的高度差异，将低于最大高度的10％的像素点视为杂草信息并去除。
步骤3：利用IHS变换将RGB图像分别和深度信息、相位信息进行融合，根据反平方定律，将深度信息(D)转换为相位信息(P)，利用直方图均衡法将深度信息和相位信息替换I通道的信息，得到不同空间模型下的小麦冠层图像，即HSP和HSD图像。
需要补充的是，RGB-D图像融合方法的基本思想是利用强度和相位之间的物理关系。自然环境下，RGB图像中的颜色信息反映了物体的反射强度，强度信息会受到不同光照条件的影响。深度信息的获取原理是传感器会因被摄物体不同的深度区域，而采集不同的相位信息，然后通过运算单元将这种结构的变化换算成深度信息。因此可以用反平方定律可以用来描述强度与相位之间的关系：
d≈IR/φ2 (8)
其中，IR表示RGB图像中每个点的强度信息，对应着RGB图像转换成灰度图像后的灰度值，d表示IR对应的深度信息。通过反平方定律，即可以计算图像中每个像素点的相位信息φ。在进行图像融合时利用IHS变换的思想，将HSI模型中的I分量分别替换成相位信息(φ)和深度信息(d)进行表示，得到基于HSP(P为相位信息)和HSD(D为深度信息)模型的融合图像。由于I通道的取值范围为[0,1]，为了计算简便，将深度信息进行归一化处理，归一化公式如下：
Figure BDA0002763883300000073
其中，d为实际深度信息，dmax和dmin为最大和最小深度信息，
Figure BDA0002763883300000074
为归一化结果。
采用熵和交叉熵两种客观指标对融合图像的质量进行评价，在进行图像评价前将HSI空间的图像转换为RGB图像，并进行灰度化操作。图像的熵(E)是衡量图像信息丰富程度的一个重要指标，熵越大，则表示图像的信息量越多。交叉熵(C)可以用来测定两幅图像灰度分布的信息差异，是评价两幅图像差异的关键指标。交叉熵越小，说明融合图像与源图像的差异越小，则该融合方法从源图像中提取的信息量越多。熵和交叉熵其计算公式分别为：
Figure BDA0002763883300000081
Figure BDA0002763883300000082
其中，L表示图像灰度级别，即为256，pi和qi表示灰度值为i的像素占源图像和融合图像中总像素的比例。
步骤4：分别计算融合后不同模型下小麦冠层图像HS通道、HP通道、HD通道、SD通道和SP通道的颜色共生矩阵，计算不同颜色共生矩阵下的纹理特征包括：对比度(CON)、角二阶矩(ASM)、相关系数(COR)、逆差矩(IDM)和熵(ENT)。
需要补充的是颜色共生矩阵的计算方法，首先要将RGB图像进行颜色空间转换，计算其在HSD和HSP空间模型中的对应值。将H、S、D、P分量非均匀量化为8个部分，减少信息冗余，使得CCM的计算更简单。在计算CCM时，将四个分量分别设为C1,C2,C3和C4，设m＝Ck，n＝Ck'分别为四个分量组合空间(k,k'∈{1,2,3})中的两个成分，用颜色共生矩阵CCMmn表示对图像中像素的不同成分Ck与Ck'即m与n空间相互作用的测量。由此可以计算出CCMHH、CCMSS、CCMPP、CCMDD、CCMHS、CCMHP、CCMSP、CCMHD和CCMSD由于共生矩阵CCMHH、CCMSS、CCMPP、CCMDD只有对角线上有元素出现，这些元素对于区别各种纹理作用不大，因此采用其余四个矩阵进行计算。对于图像中的任意一个像素，假设其第k个分量值为i即m＝i，第k'个分量值为j即n＝j，则用矩阵中的元素CCMm,n(i,j)来表示图像中这样的像素出现的次数。颜色共生矩阵的计算公式如下：
Figure BDA0002763883300000083
其中，颜色共生矩阵中的第i行第j列元素用p(i,j)表示。
在不同光照条件下的源图像与融合图像熵，如下表2所示。
表2不同光照下的源图像与融合图像熵
Figure BDA0002763883300000091
在不同光照条件下的融合图像交叉熵，如下表3所示。
表3不同光照下的融合图像交叉熵
Figure BDA0002763883300000092
步骤5：将小麦冠层结构特征与小麦氮积累量进行线性拟合，通过比较R2大小进行特征筛选。分别利用线性和非线性模型对小麦的氮积累量进行预测，比较单一光谱特征和光谱与冠层结构特征组合后的预测精度。
需要补充的是，从两种融合图像的颜色共生矩阵中提取了共25个特征，将特征数据与小麦LNA与SNA进行线性拟合，通过比较R2大小进行特征筛选。为了在选取在不同生育期适用性均较强的纹理特征，所以在拔节前后期和孕穗期选取来源于CCMHP和CCMHD的角二阶矩和熵共4个特征。但在抽穗期，由于小麦抽穗，冠层结构发生显著变化，选取来源于CCMHS的对比度，来源于CCMHP共生矩阵角二阶矩和熵以及来源于CCMHD中计算的熵4个特征。
选取多元回归分析和BP神经网络两种方法分别构建模型。为了减少过拟合现象，提高模型的泛化能力，BP神经网络模型的预测结果为5次试验的均值，每次随机选取50％的样本作为训练集(单生育期为14个，全生育期为54个)，20％的样本作为验证集(单生育期为5个，全生育期为22个)，30％的样本作为测试集(单生育期为8个，全生育期为32个)。多元线性回归的模型如下：
Figure BDA0002763883300000093
其中，num为不同特征的数量，xi是不同特征的数值，y表示LNA和SNA的值，ai和b表示模型的参数。在BP神经网络的隐层中设置了10个神经元，训练函数为BayesianRegularization。通过计算R2和RRMSE对模型进行评价，RMSE和RRMSE的计算公式如下：
Figure BDA0002763883300000101
Figure BDA0002763883300000102
其中，ypi，yri和
Figure BDA0002763883300000103
分别代表小麦LNA和SNA的预测值、实测值和实测值的均值，N为样本数量。
本实施例的具体结果如表4-8所示，在预测小麦氮积累量时，小麦冠层的三维结构特征对氮积累量预测模型进行了补偿，在不同的模型中，融合图像的特征与光谱特征的组合均能够更加准确地预测小麦氮积累量。
表4拔节早期的小麦氮积累量预测结果
其中F1表示基于融合图像提取的特征集合，F2表示基于融合图像特征和RVI的集合，F3表示基于融合特征图像和NDRE的集合。
Figure BDA0002763883300000104
表5拔节后期的小麦氮积累量预测结果
Figure BDA0002763883300000105
表6孕穗期的小麦氮积累量预测结果
Figure BDA0002763883300000111
表7抽穗期的小麦氮积累量预测结果
Figure BDA0002763883300000112
表8全生育期的小麦氮积累量预测结果
Figure BDA0002763883300000113
以上显示和描述了本发明的基本原理、主要特征和优点。本领域的普通技术人员应该了解，上述实施例不以任何形式限制本发明的保护范围，凡采用等同替换等方式所获得的技术方案，均落于本发明的保护范围内。
本发明未涉及部分均与现有技术相同或可采用现有技术加以实现。

Claims (10)

1.一种基于光谱与RGB-D融合图像的小麦氮积累量预测方法，其特征在于包括以下步骤：
步骤1：在小麦拔节期、孕穗期与抽穗期分别获取冠层的光谱信息、RGB图像和深度图像，并利用敏感波段构建植被指数，提出空洞填充算法修复深度图像；
步骤2：将深度图像和RGB图像对齐后，结合RGB图像的颜色特征和修复后深度图像的高度特征，分割小麦冠层；
步骤3：利用IHS变换将RGB图像分别和深度信息、相位信息进行融合，得到不同空间模型下的小麦冠层图像；
步骤4：计算融合后小麦冠层图像的颜色共生矩阵，提取小麦的冠层结构特征；
步骤5：对小麦的冠层结构特征进行筛选，结合筛选后的结构特征和光谱特征对氮积累量进行预测。
2.根据权利要求1所述的一种基于光谱与RGB-D融合图像的小麦氮积累量预测方法，其特征在于，所述步骤1中利用敏感波段构建植被指数，提出空洞填充算法修复深度图像，包括如下步骤：
步骤1-1：获取小麦冠层光谱信息，利用小麦氮素敏感波段构建植被指数，生成光谱特征；
步骤1-2：获取小麦冠层的深度图像，根据空洞产生的原因将图像中的空洞分类分析，利用类别特征进行空洞修复。
3.根据权利要求2所述的一种基于光谱与RGB-D融合图像的小麦氮积累量预测方法，其特征在于，在深度图像修复时，将空洞出现的情况分为两类进行讨论，第一种为空洞出现在叶片内部，属于局部空洞，第二种是空洞出现在不同区域的交界处，属于大面积空洞；根据不同空洞类别的分析设计空洞填充算法，首先对作物行图像的深度信息进行列遍历，寻找所有空洞点或线的位置，计算该点或线前后非零深度信息的差值H，通过将H与人为设置的阈值T进行比较，对空洞的类型进行区分；当H<T时，则为局部空洞，取空洞点或线前后的非零深度信息均值进行插值，当H≥T时，则为大面积空洞，取空洞点或线前后的非零深度信息分别拟合后插值。
4.根据权利要求1所述的一种基于光谱与RGB-D融合图像的小麦氮积累量预测方法，其特征在于，所述步骤2中提出的分割小麦冠层方法，包括以下步骤：
步骤2-1：利用不同坐标系的转换方法，将深度图像的坐标系转换到世界坐标系，再转换到RGB图像坐标系，从而实现深度图像与RGB图像的对齐；
步骤2-2：将RGB模型转换至HSI模型，通过色调的定义去除土壤背景，降低光照变化对于作物行提取的影响。
5.根据权利要求1所述的一种基于光谱与RGB-D融合图像的小麦氮积累量预测方法，其特征在于，所述步骤3中提出的图像融合方法，包括以下步骤：
步骤3-1：根据反平方定律，将深度信息(D)转换为相位信息(P)；
步骤3-2：利用IHS变换将深度信息和相位信息替换I通道的信息，得到融合后的HSP和HSD图像。
6.根据权利要求5所述的一种基于光谱与RGB-D融合图像的小麦氮积累量预测方法，其特征在于，采用熵和交叉熵两种指标对融合图像的质量进行评价，在进行图像评价前将HSI空间的图像转换为RGB图像，并进行灰度化操作；图像的熵(E)用于衡量图像信息的丰富程度，熵越大，则表示图像的信息量越多，交叉熵(C)用于评价两幅图像的差异，交叉熵越小，说明融合图像与源图像的差异越小，则该融合方法从源图像中提取的信息量越多；熵和交叉熵其计算公式分别为：
Figure FDA0002763883290000021
Figure FDA0002763883290000022
其中，L表示图像灰度级别，即为256，pi和qi表示灰度值为i的像素占源图像和融合图像中总像素的比例。
7.根据权利要求1所述的一种基于光谱与RGB-D融合图像的小麦氮积累量预测方法，其特征在于，所述步骤4中提出的冠层结构特征提取方法，包括以下步骤：
步骤4-1：分别计算HS通道、HP通道、HD通道、SD通道和SP通道的颜色共生矩阵；
步骤4-2：计算不同颜色共生矩阵下的纹理特征，包括：比度(CON)、角二阶矩(ASM)、相关系数(COR)、逆差矩(IDM)和熵(ENT)。
8.根据权利要求7所述的一种基于光谱与RGB-D融合图像的小麦氮积累量预测方法，其特征在于，所述颜色共生矩阵的计算方法为：首先将RGB图像进行颜色空间转换，计算其在HSD和HSP空间模型中的对应值，将H、S、D、P分量非均匀量化为8个部分，减少信息冗余，在计算CCM时，将四个分量分别设为C1,C2,C3和C4，设m＝Ck，n＝Ck'分别为四个分量组合空间(k,k'∈{1,2,3})中的两个成分，用颜色共生矩阵CCMmn表示对图像中像素的不同成分Ck与Ck'即m与n空间相互作用的测量；对于图像中的任意一个像素，假设其第k个分量值为i即m＝i，第k'个分量值为j即n＝j，则用矩阵中的元素CCMm,n(i,j)来表示图像中这样的像素出现的次数，颜色共生矩阵的计算公式如下：
Figure FDA0002763883290000031
其中，颜色共生矩阵中的第i行第j列元素用p(i,j)表示。
9.根据权利要求1所述的一种基于光谱与RGB-D融合图像的小麦氮积累量预测方法，其特征在于，所述步骤5中提出的氮积累量预测方法，包括以下步骤：
步骤5-1：将小麦冠层结构特征与小麦氮积累量进行线性拟合，通过比较R2大小进行特征筛选；
步骤5-2：分别利用线性和非线性模型对小麦的氮积累量进行预测，比较单一光谱特征和光谱与冠层结构特征组合后的预测精度。
10.根据权利要求9所述的一种基于光谱与RGB-D融合图像的小麦氮积累量预测方法，其特征在于，选取多元回归分析和BP神经网络两种方法分别构建模型；多元线性回归的模型如下：
Figure FDA0002763883290000032
其中，num为不同特征的数量，xi是不同特征的数值，y表示LNA和SNA的值，ai和b表示模型的参数；
在BP神经网络的隐层中设置10个神经元，训练函数为Bayesian Regularization；通过计算R2和RRMSE对模型进行评价，RMSE和RRMSE的计算公式如下：
Figure FDA0002763883290000033
Figure FDA0002763883290000034
其中，ypi，yri和
Figure FDA0002763883290000035
分别代表小麦LNA和SNA的预测值、实测值和实测值的均值，N为样本数量。
CN202011226965.4A 2020-11-06 2020-11-06 一种基于光谱与rgb-d融合图像的小麦氮积累量预测方法 Active CN112329856B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011226965.4A CN112329856B (zh) 2020-11-06 2020-11-06 一种基于光谱与rgb-d融合图像的小麦氮积累量预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011226965.4A CN112329856B (zh) 2020-11-06 2020-11-06 一种基于光谱与rgb-d融合图像的小麦氮积累量预测方法

Publications (2)

Publication Number Publication Date
CN112329856A true CN112329856A (zh) 2021-02-05
CN112329856B CN112329856B (zh) 2024-05-14

Family

ID=74316161

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011226965.4A Active CN112329856B (zh) 2020-11-06 2020-11-06 一种基于光谱与rgb-d融合图像的小麦氮积累量预测方法

Country Status (1)

Country Link
CN (1) CN112329856B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110286636A1 (en) * 2010-05-24 2011-11-24 Board Of Trustees Of The University Of Arkansas System and method of determining nitrogen levels from a digital image
US20130044919A1 (en) * 2010-05-24 2013-02-21 Board Of Trustees Of The University Of Arkansas System and method of in-season nitrogen measurement and fertilization of non-leguminous crops from digital image analysis
CN104749134A (zh) * 2015-03-31 2015-07-01 江苏大学 一种检测叶菜类作物冠层水分含量的方法
CN109522929A (zh) * 2018-10-16 2019-03-26 南京农业大学 一种基于多源图像融合的自然环境下麦田杂草识别方法
CN109580512A (zh) * 2018-12-10 2019-04-05 北京航天泰坦科技股份有限公司 一种基于光谱和纹理特征的小麦氮素营养监测方法
CN109934415A (zh) * 2019-03-22 2019-06-25 中国科学院重庆绿色智能技术研究院 一种基于跨模态深度学习的围术期危重事件预测方法
CN110288594A (zh) * 2019-07-02 2019-09-27 河北农业大学 一种植物冠层结构性状分析方法
CN110874617A (zh) * 2019-11-26 2020-03-10 南京农业大学 一种冬小麦叶片氮含量估算模型的建立方法
CN111242934A (zh) * 2020-01-16 2020-06-05 中国科学院地理科学与资源研究所 基于无人机影像光谱与纹理特征的小麦氮浓度反演方法
CN111739031A (zh) * 2020-06-19 2020-10-02 华南农业大学 一种基于深度信息的作物冠层分割方法
CN111855589A (zh) * 2020-08-04 2020-10-30 淮阴师范学院 水稻叶片氮积累量遥感反演模型和方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110286636A1 (en) * 2010-05-24 2011-11-24 Board Of Trustees Of The University Of Arkansas System and method of determining nitrogen levels from a digital image
US20130044919A1 (en) * 2010-05-24 2013-02-21 Board Of Trustees Of The University Of Arkansas System and method of in-season nitrogen measurement and fertilization of non-leguminous crops from digital image analysis
CN104749134A (zh) * 2015-03-31 2015-07-01 江苏大学 一种检测叶菜类作物冠层水分含量的方法
CN109522929A (zh) * 2018-10-16 2019-03-26 南京农业大学 一种基于多源图像融合的自然环境下麦田杂草识别方法
CN109580512A (zh) * 2018-12-10 2019-04-05 北京航天泰坦科技股份有限公司 一种基于光谱和纹理特征的小麦氮素营养监测方法
CN109934415A (zh) * 2019-03-22 2019-06-25 中国科学院重庆绿色智能技术研究院 一种基于跨模态深度学习的围术期危重事件预测方法
CN110288594A (zh) * 2019-07-02 2019-09-27 河北农业大学 一种植物冠层结构性状分析方法
CN110874617A (zh) * 2019-11-26 2020-03-10 南京农业大学 一种冬小麦叶片氮含量估算模型的建立方法
CN111242934A (zh) * 2020-01-16 2020-06-05 中国科学院地理科学与资源研究所 基于无人机影像光谱与纹理特征的小麦氮浓度反演方法
CN111739031A (zh) * 2020-06-19 2020-10-02 华南农业大学 一种基于深度信息的作物冠层分割方法
CN111855589A (zh) * 2020-08-04 2020-10-30 淮阴师范学院 水稻叶片氮积累量遥感反演模型和方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
肖春华等: "基于冠层光谱角算法的小麦氮素营养监测", 《干旱地区农业研究》, vol. 33, no. 4, pages 94 - 97 *

Also Published As

Publication number Publication date
CN112329856B (zh) 2024-05-14

Similar Documents

Publication Publication Date Title
CN110363215B (zh) 基于生成式对抗网络的sar图像转化为光学图像的方法
CN112836610B (zh) 一种基于遥感数据的土地利用变化与碳储量定量估算方法
CN111127374B (zh) 一种基于多尺度密集网络的Pan-sharpening方法
WO2020160641A1 (en) Shadow and cloud masking for remote sensing images in agriculture applications using multilayer perceptron
CN102308306A (zh) 用于图像分离的约束生成器
CN108765359A (zh) 一种基于jskf模型和nsct技术的高光谱遥感影像与全色图像的融合方法
Cointault et al. In‐field Triticum aestivum ear counting using colour‐texture image analysis
CN107491793B (zh) 一种基于稀疏散射全卷积的极化sar图像分类方法
CN112733596A (zh) 一种基于中高空间分辨率遥感影像融合的森林资源变化监测方法及应用
CN113221445B (zh) 利用遥感影像的联合特征对土壤盐分估测的方法及系统
Kang et al. Fog model-based hyperspectral image defogging
CN111783555A (zh) 一种使用统一样本的深度学习卫星数据云检测算法
Zhai Inversion of organic matter content in wetland soil based on Landsat 8 remote sensing image
Chen et al. Spectral unmixing using a sparse multiple-endmember spectral mixture model
CN111008664A (zh) 一种基于空谱联合特征的高光谱海冰检测方法
CN109726649A (zh) 遥感影像云检测方法、系统及电子设备
CN110647932A (zh) 一种种植作物结构遥感影像分类方法及装置
CN109671038A (zh) 一种基于伪不变特征点分类分层的相对辐射校正方法
CN117115669B (zh) 双条件质量约束的对象级地物样本自适应生成方法及系统
CN113256733B (zh) 基于置信度投票卷积神经网络的相机光谱灵敏度重建方法
CN112329733B (zh) 一种基于gee云平台的冬小麦长势监测及分析方法
CN112529828B (zh) 参考数据非敏感的遥感影像时空融合模型构建方法
Eugene et al. Rice modeling using long time series of high temporal resolution vegetation indices in Nepal
CN116883799A (zh) 成分替换模型引导的高光谱图像深度空间光谱融合方法
CN116863341A (zh) 基于时间序列卫星遥感影像的作物分类和识别方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant