CN105021529A - 融合光谱和图像信息的作物病虫害识别和区分方法 - Google Patents

Abstract

本发明公开了一种融合光谱和图像信息的作物病虫害识别和区分方法，本发明提出了光谱图像获取，叶片背景分离，病虫伤斑区域识别和病虫害类型诊断的决策流程，充分利用成像光谱技术“图谱合一”的优势，基于图像和光谱两个维度分别捕捉到的叶片伤害部位呈现的光谱、几何、纹理特征，提出一种综合光谱和图像特征，进行病虫害区分的方法。本发明克服传统方法在区分、诊断上的局限，具有能够对病虫害进行快速、无损、准确诊断的特点。

Description

融合光谱和图像信息的作物病虫害识别和区分方法

技术领域

本发明涉及遥感图像处理和农学技术领域，具体涉及一种应用范围广、可对不同病虫害进行区分、通用性好的融合光谱和图像信息的作物病虫害识别和区分方法。

背景技术

农作物病虫害是我国的主要农业灾害之一，它具有种类多、影响大、并时常暴发成灾的特点，对我国国民经济、特别是农业生产常造成重大损失。因此，实时有效的对作物病虫害进行识别和区分，是实现当今精准农业管理的关键。目前，病虫害的田间调查主要依靠人工的目测手查、田间取样等方式。这些传统方法虽然真实性和可靠性较高，但耗时、费力，且存在代表性、时效性差和主观性强等弊端。基于光谱分析和机器视觉的病虫害监测识别是替代传统目测手查的好方法。在调研现有技术后，目前基于成像光谱技术的植物伤害诊断方法大致存在以下几个方面的问题：(1)现有方法大多限于对特定病虫害类型的识别，缺乏对不同病虫害的区分；(2)现有方法多基于整个高光谱图像立方体，仪器开发成本和计算代价较高，难以在实际中得到广泛应用；(3)现有方法通常对光谱和图像信息单独使用，未结合二者的互补优势，方法通用性较差，且缺乏整体流程设计。

中国专利授权公开号：CN104422660A，授权公开日2015年3月18日，公开了一种高光谱的植物叶片病虫害诊断系统，包括高光谱成像仪、镜头、标定白板、样本放置平台、线光源、线光源支持壁、电控位移台、移动平台控制装置、暗箱、可调支架脚和计算机。该发明的不足之处是，无法对不同病虫害进行区分。

发明内容

本发明的发明目的是为了克服现有技术中的方法仅限于对特定病虫害类型的识别，不能对不同病虫害进行区分的不足，提供了一种应用范围广、可对不同病虫害进行区分、通用性好的融合光谱和图像信息的作物病虫害识别和区分方法。

为了实现上述目的，本发明采用以下技术方案：

一种融合光谱和图像信息的作物病虫害识别和区分方法，包括如下步骤：

(1-1)光谱图像数据采集

将叶片p置于黑板上，使用包含中心波长为570nm，680nm，750nm的三个波段的高光谱相机采集植物叶片光谱图像，上述三波段对不同病虫害敏感且具有区分力；对植物叶片光谱图像进行标定处理，得到与570nm、680nm和750nm分别对应的反射率图像Re f₅₇₀，Re f₆₈₀和Re f₇₅₀；

(1-2)叶片区域与背景分离

设定影像分割阈值W1，对于反射率图像Re f₇₅₀；

当Re f₇₅₀中的像元的反射率≥W1，判定该像元处为叶片；

当Re f₇₅₀中的像元的反射率＜W1，判定该像元处为背景；

设定判定为叶片的区域像元值为1，设定判定为背景的区域像元值为0，得到一幅二值掩膜图像Mask_leaf；利用所述二值掩膜图像Mask_leaf，对Re f₅₇₀，Re f₆₈₀和Re f₇₅₀分别进行掩膜，去除背景，得到叶片区域影像Re f′₅₇₀，Re f′₆₈₀和Re f′₇₅₀；

(1-3)叶片中病虫伤斑提取

利用下述公式计算RTVI指数：

$\mathrm{RTVI}=\frac{110\×(\mathrm{Re}{f}_{750}^{\′}-\mathrm{Re}{f}_{570}^{\′})-180\×(\mathrm{Re}{f}_{680}^{\′}-\mathrm{Re}{f}_{570}^{\′})}{(\mathrm{Re}{f}_{750}^{\′}+\mathrm{Re}{f}_{570}^{\′})\×180}$

基于三个波段的反射率影像Re f′₅₇₀，Re f′₆₈₀和Re f′₇₅₀，利用上式进行波段运算，生成RTVI影像；

设定RTVI阈值W2，将RTVI影像的叶片区域各个像元处的RTVI指数分别与W2做比较；

当RTVI指数≥W2，判定该像元处叶片为正常；

当RTVI指数＜W2，判定该像元处叶片为伤斑；

设定判定为叶片的区域像元值为1，设定判定为病斑的区域像元值为2，背景区域像元值为0，完成对叶片正常区域和病斑区域的区分，得到一幅分类图；

(1-4)计算叶片伤斑区域的光谱特征和图像特征

利用下述公式分别计算与Re f′₅₇₀，Re f′₆₈₀和Re f′₇₅₀相对应的叶片伤斑区域的3个光谱特征：

${\mathrm{Ratio}}_i=\frac{\stackrel{\‾}{\mathrm{Re}{f}_{(i,D)}}}{\stackrel{\‾}{\mathrm{Re}{f}_{(i,H)}}}$

其中，i表示570nm，680nm和750nm中的任一波长，D表示叶片伤斑区域的像元，H代表叶片正常区域的像元，表示叶片样本被判定为胁迫区域的整体反射率均值，表示叶片样本被判定为正常区域整体反射率均值，Ratio_i为中心波长为i的叶片伤斑部分与正常部分整体反射率均值的比值；

结合不同病虫害伤斑的形态特点，得到叶片样本的5个图像特征：方向一致性特征、复杂度特征、等效面积圆半径、纹理对比度和熵；

(1-5)病虫害区分

设定费氏线性判别分析(FLDA)模型，FLDA模型由已知病虫害类型的若干个叶片样本训练构成，FLDA模型包括y种病虫害类型和与其关联的每个叶片的3个光谱特征和5个图像特征；将步骤(1-4)中得到的叶片p的3个光谱特征和5个图像特征输入FLDA模型中，FLDA模型输出叶片p的病虫害类型。

本发明将光谱信息和图像信息结合，利用尽可能少的波段下的图像进行病虫害区分和识别的整体方法。本方法可作为相关仪器设计和开发的核心方法，并可为植物胁迫自动区分识别的应用提供借鉴。

因此，本发明具有可对植物叶片病虫害自动识别和区分，克服传统方法在区分、诊断上的局限，可快速、无损、准确地对病虫害进行诊断，为农药施用管理和病虫害绿色防控提供科学决策的依据。

作为优选，所述对植物叶片光谱图像进行标定处理，得到与570nm、680nm和750nm分别对应的反射率图像Re f₅₇₀，Re f₆₈₀和Re f₇₅₀；包括以下具体步骤：

扫描标准参考白板得到R_white；盖起镜头盖，采集黑板的参考图像，得到R_dark；利用下述公式计算校正后的图像的反射率值R：

$R=\frac{R_{\mathrm{original}}-R_{\mathrm{dark}}}{R_{\mathrm{white}}-R_{\mathrm{dark}}}$

其中，R_original为采集的原始影像的高光谱反射率值，R_dark为黑板的反射率值，R_white为白板的反射率值；

分别计算得到与570nm、680nm和750nm分别对应的反射率图像Re f₅₇₀，Re f₆₈₀和Re f₇₅₀。

作为优选，所述FLDA模型的训练过程包括如下步骤：

采集包含小麦白粉病、条锈病和蚜虫三种病虫害类型的叶片成像高光谱数据，利用步骤(1-1)得到反射率图像Re f₅₇₀，Re f₆₈₀和Re f₇₅₀；利用步骤(1-2)将叶片区域与背景分离，得到叶片区域影像Re f′₅₇₀，Re f′₆₈₀和Re f′₇₅₀；利用步骤(1-3)计算RTVI影像，完成对叶片正常区域和病斑区域的区分；利用步骤(1-4)计算得到3个光谱特征和5个图像特征；利用步骤(1-5)，以上述计算所得光谱、图像特征为输入，以病虫害类型为输出，基于叶片训练样本和费氏线性判别分析建立病虫害区分模型。

作为优选，所述相机每个波段的带宽≤20nm。

作为优选，所述W1的取值范围为0.07至0.09。

作为优选，所述W2的取值范围为0.35至0.45。

本发明的有益效果是：克服传统方法在区分、诊断上的局限，可快速、无损、准确地对病虫害进行诊断；可为农药施用管理和病虫害绿色防控提供科学决策的依据；应用范围广，可对不同病虫害进行区分，通用性好。本发明将光谱信息和图像信息结合，利用尽可能少的波段下的图像进行病虫害区分和识别的整体方法。本方法可作为相关仪器设计和开发的核心方法，并可为植物胁迫自动区分识别的应用提供借鉴。

附图说明

图1是本发明的样本原始照片、基于750nm图像及设定阈值生成的叶片区域与背景区域分割示意图；

图2为本发明的基于RTVI图像及设定阈值生成的叶片病斑区域与正常区域分割的示意图；

图3是本发明的实施例的一种流程图。

具体实施方式

下面结合附图和具体实施方式对本发明做进一步的描述。

如图3所示的实施例是一种融合光谱和图像信息的作物病虫害识别和区分方法，包括如下步骤：

步骤100，光谱图像数据采集：

由于几种病虫害早期症状并不明显，从灌浆期开始出现较明显的叶部症状，同时，灌浆初期亦是利用农药控制病情的重要时间点。因此，本实施例中采集小麦灌浆早期的叶片，实验于2014年4月30日至5月21日间进行，在北京市农林科学院内通过病虫害诱发接种和喷药防控分别设置感染小麦条锈病、白粉病和蚜虫的作物实验小区和正常对照小区。

以ImSpector V10E-QE(Spectral Imaging Ltd.，Finland)成像光谱仪进行光谱图像采集，采集时将叶片p平展在一张反射率接近0的黑板上进行成像光谱测试，使用包含中心波长为570nm，680nm，750nm的三个波段的高光谱相机采集植物叶片光谱图像，相机每个波段的带宽≤20nm；上述三波段对不同病虫害敏感且具有区分力；对植物叶片光谱图像进行标定处理，得到与570nm、680nm和750nm分别对应的反射率图像Re f₅₇₀，Re f₆₈₀和Re f₇₅₀。

扫描标准参考白板得到R_white；盖起镜头盖，采集黑板的参考图像，得到R_dark；利用下述公式计算校正后的图像的反射率值R：

$R=\frac{R_{\mathrm{original}}-R_{\mathrm{dark}}}{R_{\mathrm{white}}-R_{\mathrm{dark}}}$

其中，R_original为采集的原始影像的高光谱反射率值，R_dark为黑板的反射率值，R_white为白板的反射率值；

分别计算得到与570nm、680nm和750nm分别对应的反射率图像Re f₅₇₀，Re f₆₈₀和Re f₇₅₀。

步骤200，叶片区域与背景分离

如图1所示，设定影像分割阈值W1，对于反射率图像Re f₇₅₀；

当Re f₇₅₀中的像元的反射率≥W1，判定该像元处为叶片；

当Re f₇₅₀中的像元的反射率＜W1，判定该像元处为背景；

设定判定为叶片的区域像元值为1，设定判定为背景的区域像元值为0，得到一幅二值掩膜图像Mask_leaf；利用所述二值掩膜图像Mask_leaf，对Re f₅₇₀，Re f₆₈₀和Re f₇₅₀分别进行掩膜，去除背景，得到叶片区域影像Re f′₅₇₀，Re f′₆₈₀和Re f′₇₅₀；

如图1所示，其中左图为所采集的6个样本的原始照片，图中标注了不同样本的病虫害类型，从中可以清晰观察出不同类型病虫害的病斑分布情况；中图为750nm波段下6个样本的影像，该波段下，叶片样本与背景(背景为黑板)之间的对比度较大，在反射率W1＝0.08时，所有叶片与背景都能得到最好的分割，即生成右图所示的用于叶片与背景分割的掩膜图像Mask_leaf。

步骤300，叶片中病虫伤斑提取

利用下述公式计算RTVI指数：

$\mathrm{RTVI}=\frac{110\×(\mathrm{Re}{f}_{750}^{\′}-\mathrm{Re}{f}_{570}^{\′})-180\×(\mathrm{Re}{f}_{680}^{\′}-\mathrm{Re}{f}_{570}^{\′})}{(\mathrm{Re}{f}_{750}^{\′}+\mathrm{Re}{f}_{570}^{\′})\×180}$

基于三个波段的反射率影像Re f′₅₇₀，Re f′₆₈₀和Re f′₇₅₀，利用上式进行波段运算，生成RTVI影像；

设定RTVI阈值W2，将RTVI影像的叶片区域各个像元处的RTVI指数分别与W2做比较；

当RTVI指数≥W2，判定该像元处叶片为正常；

当RTVI指数＜W2，判定该像元处叶片为伤斑；

设定判定为叶片的区域像元值为1，设定判定为病斑的区域像元值为2，背景区域像元值为0，完成对叶片正常区域和病斑区域的区分，得到一幅分类图；

如图2所示，其中左图为所采集的6个样本的RIVI图像，左图不够清晰，选择W2＝0.40的阈值对图像进行分割，分别提取叶片正常和病虫伤斑区域的范围，得到右图叶片病斑与正常区域区分示意图，右图很清晰，并且该阈值下识别精度达到97.47％。

步骤400，计算叶片伤斑区域的光谱特征和图像特征

利用下述公式分别计算与Re f₅₇₀，Re f₆₈₀和Re f₇₅₀相对应的叶片伤斑区域的3个光谱特征：

${\mathrm{Ratio}}_i=\frac{\stackrel{\‾}{\mathrm{Re}{f}_{(i,D)}}}{\stackrel{\‾}{\mathrm{Re}{f}_{(i,H)}}}$

其中，i表示570nm，680nm和750nm中的任一波长，D表示叶片伤斑区域的像元，H代表叶片正常区域的像元，表示叶片样本被判定为胁迫区域的整体反射率均值，表示叶片样本被判定为正常区域整体反射率均值，Ratio_i为中心波长为i的叶片伤斑部分与正常部分整体反射率均值的比值；

结合不同病虫害伤斑的形态特点，得到叶片样本的5个图像特征：方向一致性特征、复杂度特征、等效面积圆半径、纹理对比度和熵；

其中，方向一致性特征的计算方法由郭青等(2013)提出。(郭青等.基于方向一致性特征的小麦条锈病与白粉病识别，农业机械学报，2015，46(1)：26-34.)

复杂度特征和等效面积圆半径特征的计算方法参考朱云(2012)硕士学位论文第四章介绍的方法计算。(朱云.基于数字图像处理的果树病虫害智能化检测[硕士学位论文].北京.华北水利水电学院，2012.)

纹理对比度和熵特征的计算方法参考步亚东(2012)硕士学位论文第三章介绍的方法计算。(步亚东.图像纹理特征提取的研究[硕士学位论文].山东青岛.山东师范大学，2012.)

步骤500，病虫害区分

设定费氏线性判别分析(FLDA)模型，FLDA模型由已知病虫害类型的若干个叶片样本训练构成，FLDA模型包括y种病虫害类型和与其关联的每个叶片的3个光谱特征和5个图像特征；将步骤(1-4)中得到的叶片p的3个光谱特征和5个图像特征输入FLDA模型中，FLDA模型输出叶片p的病虫害类型。

建立费氏线性判别分析(FLDA)模型的过程如下：

采集包含小麦白粉病、条锈病和蚜虫三种病虫害类型的多片叶片成像高光谱数据，利用步骤100得到各个叶片的反射率图像Re f₅₇₀，Re f₆₈₀和Re f₇₅₀；利用步骤200将叶片区域与背景分离，得到各个叶片区域影像Re f′₅₇₀，Re f′₆₈₀和Re f′₇₅₀；利用步骤300计算RTVI影像，完成对各个叶片正常区域和病斑区域的区分；利用步骤400计算得到各个叶片的3个光谱特征和5个图像特征；利用步骤500，将三种病虫害类型与各个叶片的3个光谱特征和5个图像特征相关联，得到费氏线性判别分析(FLDA)模型。

在模型的精度验证方面，考虑到三种病虫害叶片成像高光谱数据样本量较小，采用留一的交叉验证方法对模型精度进行评价。模型精度评价指标包括总体精度，生产者精度，用户精度，kappa系数，错判率和漏判率六个指标。判别模型输出的混淆矩阵以及各项精度评价指标汇总见表1。从表中可以看出，模型的总体精度为97％，kappa系数为0.95。

表1基于叶片光谱和形态学特征的FLDA判别模型混淆矩阵及精度参数

应理解，本实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。

Claims (6)

1.一种融合光谱和图像信息的作物病虫害识别和区分方法，其特征是，包括如下步骤：

(1-1)光谱图像数据采集

将叶片p置于黑板上，使用包含中心波长为570nm，680nm，750nm的三个波段的高光谱相机采集植物叶片光谱图像，上述三波段对不同病虫害敏感且具有区分力；对植物叶片光谱图像进行标定处理，得到与570nm、680nm和750nm分别对应的反射率图像Re f₅₇₀，Re f₆₈₀和Re f₇₅₀；

(1-2)叶片区域与背景分离

设定影像分割阈值W1，对于反射率图像Re f₇₅₀；

当Re f₇₅₀中的像元的反射率≥W1，判定该像元处为叶片；

当Re f₇₅₀中的像元的反射率＜W1，判定该像元处为背景；

设定判定为叶片的区域像元值为1，设定判定为背景的区域像元值为0，得到一幅二值掩膜图像Mask_leaf；利用所述二值掩膜图像Mask_leaf，对Re f₅₇₀，Re f₆₈₀和Re f₇₅₀分别进行掩膜，去除背景，得到叶片区域影像Re f′₅₇₀，Re f′₆₈₀和Re f′₇₅₀；

(1-3)叶片中病虫伤斑提取

利用下述公式计算RTVI指数：

$\mathrm{RTVI}=\frac{100\×(\mathrm{Re}{f}_{750}^{\′}-\mathrm{Re}{f}_{570}^{\′})-180\×(\mathrm{Re}{f}_{680}^{\′}-\mathrm{Re}{f}_{570}^{\′})}{(\mathrm{Re}{f}_{750}^{\′}+\mathrm{Re}{f}_{570}^{\′})\×180}$

基于三个波段的反射率影像Re f′₅₇₀，Re f′₆₈₀和Re f′₇₅₀，利用上式进行波段运算，生成RTVI影像；

设定RTVI阈值W2，将RTVI影像的叶片区域各个像元处的RTVI指数分别与W2做比较；

当RTVI指数≥W2，判定该像元处叶片为正常；

当RTVI指数＜W2，判定该像元处叶片为伤斑；

设定判定为叶片的区域像元值为1，设定判定为病斑的区域像元值为2，背景区域像元值为0，完成对叶片正常区域和病斑区域的区分，得到一幅分类图；

(1-4)计算叶片伤斑区域的光谱特征和图像特征

利用下述公式分别计算与Re f′₅₇₀，Re f′₆₈₀和Re f′₇₅₀相对应的叶片伤斑区域的3个光谱特征：

${\mathrm{Ratio}}_i=\frac{\stackrel{\‾}{\mathrm{Re}{f}_{(i,D)}}}{\stackrel{\‾}{\mathrm{Re}{f}_{(i,H)}}}$

其中，i表示570nm，680nm和750nm中的任一波长，D表示叶片伤斑区域的像元，H代表叶片正常区域的像元，表示叶片样本被判定为胁迫区域的整体反射率均值，表示叶片样本被判定为正常区域整体反射率均值，Ratio_i为中心波长为i的叶片伤斑部分与正常部分整体反射率均值的比值；

结合不同病虫害伤斑的形态特点，得到叶片样本的5个图像特征：方向一致性特征、复杂度特征、等效面积圆半径、纹理对比度和熵；

(1-5)病虫害区分

设定费氏线性判别分析(FLDA)模型，FLDA模型由已知病虫害类型的若干个叶片样本训练构成，FLDA模型包括y种病虫害类型和与其关联的每个叶片的3个光谱特征和5个图像特征；将步骤(1-4)中得到的叶片p的3个光谱特征和5个图像特征输入FLDA模型中，FLDA模型输出叶片p的病虫害类型。

2.根据权利要求1所述的融合光谱和图像信息的作物病虫害识别和区分方法，其特征是，所述对植物叶片光谱图像进行标定处理，得到与570nm、680nm和750nm分别对应的反射率图像Re f₅₇₀，Re f₆₈₀和Re f₇₅₀；包括以下具体步骤：

扫描标准参考白板得到R_white；盖起镜头盖，采集黑板的参考图像，得到R_dark；利用下述公式计算校正后的图像的反射率值R：

$R=\frac{R_{\mathrm{original}}-R_{\mathrm{dark}}}{R_{\mathrm{white}}-R_{\mathrm{dark}}}$

其中，R_original为采集的原始影像的高光谱反射率值，R_dark为黑板的反射率值，R_white为白板的反射率值；

分别计算得到与570nm、680nm和750nm分别对应的反射率图像Re f₅₇₀，Re f₆₈₀和Re f₇₅₀。

3.根据权利要求1所述的融合光谱和图像信息的作物病虫害识别和区分方法，其特征是，所述FLDA模型的训练过程包括如下步骤：

采集包含小麦白粉病、条锈病和蚜虫三种病虫害类型的叶片成像高光谱数据，利用步骤(1-1)得到反射率图像Re f₅₇₀，Re f₆₈₀和Re f₇₅₀；利用步骤(1-2)将叶片区域与背景分离，得到叶片区域影像Re f′₅₇₀，Re f′₆₈₀和Re f′₇₅₀；利用步骤(1-3)计算RTVI影像，完成对叶片正常区域和病斑区域的区分；利用步骤(1-4)计算得到3个光谱特征和5个图像特征；利用步骤(1-5)，以上述计算所得光谱、图像特征为输入，以病虫害类型为输出，基于叶片训练样本和费氏线性判别分析建立病虫害区分模型。

4.根据权利要求1所述的融合光谱和图像信息的作物病虫害识别和区分方法，其特征是，所述相机每个波段的带宽≤20nm。

5.根据权利要求1或2或3或4所述的融合光谱和图像信息的作物病虫害识别和区分方法，其特征是，所述W1的取值范围为0.07至0.09。

6.根据权利要求1或2或3或4所述的融合光谱和图像信息的作物病虫害识别和区分方法，其特征是，所述W2的取值范围为0.35至0.45。