CN102072882B - 一种基于叶片图像特征的植物养分含量指标定量分析方法 - Google Patents

Abstract

本发明属于植物营养学领域，具体涉及一种基于叶片图像特征的植物养分含量指标定量分析方法，是对给定植物做缺素培养后采集具有代表性的样本叶片进行样本叶片的图像采集，经换算获得叶片的色彩特征集和形状特征集；建立叶片养分含量指标量级与上述色彩特征集及形状特征集的关系映射表，建立相应量级色标；然后对待检叶片进行图像采集后，经样本图像分析处理，以欧几里得距离作为匹配评价指标，进行匹配寻优后，然后根据其对应色标，查表得到养分指标量级值。本发明通用性与适应性较强，可以根据待检叶片的图像给出精确的养分含量指标值，过程简单，检测速度快，易于推广。

Description

一种基于叶片图像特征的植物养分含量指标定量分析方法

技术领域

本发明属于植物营养学领域，具体涉及一种基于叶片图像特征的植物养分含量指标定量分析方法，是一种根据植物叶片图像特征提取其养分含量指标的定量分析方法。

背景技术

根据植物叶片图像特征分析获取植物缺素信息为植物栽培精准施肥、产量预测、长势分析以及营养情况分析等农业生产决策提供支持是近年来发展起来的基于机器视觉的植物营养智能分析方法，其特点是撇开复杂的农化分析过程，简单地利用植物营养情况与叶片外观图像特征的强相关性(线性或非线性农化模型)，通过图像分析提取相应叶片图像特征以此得到植物营养情况信息。该技术首先使用图像采集设备拍摄给定区域的冠层叶片或者具有代表性的指定植物叶片样本图像，然后采用图像分析技术提取图像外观特征(如色彩、轮廓形态等)，根据所建立的相应农化模型，得到指定植物营养情况分析结果，农业专家根据分析结果能够有效地指导农民进行合理施肥。

基于机器视觉的植物营养智能分析方法按照图像采集的方式可分为两种类型，即基于区域的航拍(遥感)图像分析以及基于个体的单张叶片图像分析，二者的本质差别取决于其核心内容包括农化模型、图像特征择用以及图像处理算法设计等方面的不同。前者特点在于无损检测，但图像内容干扰素比较多，只适合于分布密集的较大面积营养情况控制场合；后者则需要挑选具有代表性叶片并且摘下来，其特点在于微损检测，图像分析精度高，控制单位可精确到株，适合个体差异大、植物分布稀疏的施肥控制场合。

农化模型的建模方式一般有两类：1)高光谱分析与叶片色彩关系模型：借助农化分析以及高光谱仪、叶绿素仪等昂贵手段研究，目前已经有大量报道证实，植物叶片的外观特征(色彩、轮廓形态等)能够在某种程度上反映植物营养状况。但是，直接采用高端设备检测，成本高、周期长、不利于推广普及。2)非参数(经验)模型：我国古代就有通过目测方法观察水稻叶片色彩判断其营养情况的经验；上世纪70年代日本曾流行过采用“比色卡”方法来判定水稻营养情况，但这些方法都受观察者的视觉因素以及比对对象差异影响过大，判断结果有效性不高。

在图像特征择用方面，由于不同植物的外观差异，目前尚无用以判断植物营养情况的通用图像特征集，大量研究成果主要集中在寻找与植物营养情况具有强相关性的色彩分量特征方面，例如，色度分量R、G、B的相对比值或规范化比值等。但是，由于RGB色度空间是设备相关的，采用不同的采集设备，其色彩取值变化差异较大，尤其是，对于同一组叶片样本集，其色彩变化趋势不一致，出现比较大的差异，因此难以作为稳健的判据指标，实用性不强。有些研究人员提出采用HSB色度空间，能够有效排除环境光照影响，色彩特征相对稳健，但难以解决不同图像采集设备的色度畸变问题。

在图像处理算法设计方面，一般的步骤是：1)采用图像分割技术提取叶片区域，其中由于噪声等因素影响，多数算法需要做滤波平滑预处理以及形态学开闭后处理，尤其是由于环境光线漫反射影响以及成像设备非线性误差作用，色度畸变相对严重，导致后续提取的图像特征不能正确反映叶片本色；2)对叶片区域处理(提取空域、频域特征值)，并根据实验所得强相关性模型，得出营养情况分析结果。可见，营养情况分析结果是否可靠直接取决于色彩特征(有时也包括轮廓形态特征，如缺锌)提取的鲁棒性。

总之，从植物营养情况图像分析技术的有关国内外科技成果来看，目前使用的植物营养智能分析方法存在以下不足：1)采用某种实验性的强相关性模型与预设阈值比较直接给出分析结果，由于这种模型对于不同的植物品种其相关度阈值不同而且与环境条件有关，故大多为定性结果；2)色彩畸变未加考虑(有些计算叶片面积的方法，也考虑了轮廓形状畸变的校正问题，如采用双面胶粘贴在白纸上或者采用标准区域方块计算校正参数等)，计算误差难以控制，检测鲁棒性较差；3)图像特征选择缺乏通用性，不同植物品种有不同的强相关参量；4)采集方法没有明确规定(特殊的图像采集设置仅一例，可参照文献Two new methods for the estimation of leaf area usingdigital photography，International Journal of Agriculture &Biology，11：397-400，2009)。因此，这些方法不具有通用性，其检测鲁棒性也相对比较弱。

发明内容

本发明的目的在于提供一种基于叶片图像特征的植物养分含量指标定量分析方法，它通过获取指定植物品种的具有代表性的单张样本叶片(其判定标准或方法与传统叶片样本一致)图像，进行快速、准确地提取其养分含量指标量级值，从而为植物营养精准施肥提供量化依据，具有通用性强、误差小、速度快等特点，有效地解决了农化模型标准化、图像特征规范化、采集设备通用化、植物养分含量检测定量化等技术问题。

本发明所采用的技术方案：

一种基于叶片图像特征的植物养分含量指标定量分析方法，其步骤如下：

1、构建标准农化模型

1)按照一定量级标准设置对给定植物做缺素培养，然后从植物上采集具有代表性的样本叶片；2)在室内日常光源条件(如日光灯)下将叶片固定在白色背景纸板上，用能够覆盖背景区域的透明圆筒罩住背景纸板，然后用图像采集设备垂直于背景纸板进行拍摄，采集样本叶片的图像；3)采用迭代法或OTSU(大津)法计算全局阈值，根据全局阈值将该图像分割为背景与叶片区域两部分，用计算几何的方法计算包括叶片区域在内的最小矩形限界框，按照最小矩形限界框的面积依回形方式划分为等面积的外、中、内三个子区域；4)分别将三个子区域各有效像素RGB值经IHS变换为HSB值，计算其均值H ₁、S ₁、H ₂、S ₂、H ₃、S ₃及其方差σ₁、σ₂、σ₃，并以此作为叶片的色彩特征集(其中有效像素指，若该像素属于背景，令该值为0，否则属于叶片区域，该值为有效像素，其值取原像素RGB值)；5)计算最小矩形限界框的高宽比以及/或叶片区域的傅里叶形状描述子，并以此作为叶片的形状特征集；6)建立叶片养分含量指标量级与上述色彩特征集及形状特征集的关系映射表，即标准农化模型。

2、建立相应量级色标

1)取已知养分含量指标的叶片区域，计算外、中、内三个子区域各子区域内有效像素RGB值的均值R ₁、G ₁、B ₁，R ₂、G ₂、B ₂，以及R ₃、G ₃、B ₃；2)分别将“R ₁、G ₁、B ₁”、“R ₂、G ₂、B ₂”、“R ₃、G ₃、B ₃”确定为外、中、内三个子区域的标准色，生成由外、中、内三个等面积子区域构成的回形色标或者三个面积相同的色彩分别取上述标准色RGB值的方形色标；3)根据养分指标量级确定色标数量；例如，若取6个量级，则可生成6个回形色标，或者18个方形色标，有些情况，也可以设置更多一些如16个回形色标，48个方形色标等。4)色标生成后采用高质量印刷技术进行印刷得到与其原色差异很小的色标卡。

3、叶片养分指标图像分析检测方法

分析检测方法由待检叶片图像采集及样本图像分析处理两个步骤构成。

待检叶片图像采集：按照植物类别将其相应量级的色标与待检叶片一起固定在背景纸板上，经透明圆筒罩住后，在室内日常光源条件下进行拍摄，得到待检测样本图像。

样本图像分析处理：包括样本图像分割过程、色标图像色彩特征提取过程、叶片图像色彩特征提取过程、叶片图像形状特征提取过程、匹配寻优与查表过程；

样本图像分割过程：

首先，根据预设空间位置关系快速分离叶片与色标所在图像区域。设叶片图像区域最小矩形限界框大小为M×N，其左上角位置为(x₁，y₁)，则提取叶片区域子图像matlab代码为：

I₁＝I(x₁：x₁+M-1，y₁：y₁+N-1，：)；％其中I为待检样本图像

类似地，可以得到每个色标所在区域的子图像J₁，J₂，…，Jn(设有n个色标块)。

其次，对上述各个区域图像的子图像I₁，J₁，J₂，…，Jn采用迭代法或OSTU法确定分割阈值T，然后将阈值T与子图像每个像素逐个比较，当像素值大于或等于T时将该像素确定为背景像素，当像素值小于T时将该像素确定为叶片有效区域像素，然后分别做非线性空域滤波以消除其中噪点，其p×p模板如下：

滤波规则：由窗口K在上述区域图像中滑动，区域图像窗口像素分布用A表示，则：

当K.×A＝0，则令区块A中所有像素值均为0，即A＝0；

当K.×A≠0，则A＝1，为全1矩阵。

经过上述处理，可以得到比较干净的色标及叶片有效区域。

色标图像色彩特征提取过程：

丢弃色标图像外围1-2像素以忽略细微的形状畸变以及边缘色彩干扰，采用传统边缘检测方法(如sobel算子)提取外、中、内三个子区域，分别计算其均值R₁，G₁，B₁，然后采用传统IHS变换将其转换为Hv，Sv，Iv值，并保存在给定特征数组Fv中。

叶片图像色彩特征提取过程：

以给定面积比方式将叶片区域限界框分为外、中、内三个子区域，对每个子区域采用区域二值掩模函数(0-表示非叶片所在位置，1-表示叶片所在位置)提取其有效像素(叶片所在区域的像素)的RGB值，并采用传统IHS变换将其转换为相应的色度值(H_1f)、饱和度(S_1f)和亮度值(I_1f)；分别计算各个子区域的色度均值和饱和度均值及其相应子区域方差，作为色彩特征保存到特征数组变量(F₁)中。

叶片图像形状特征提取过程：

计算各个子区域面积比，计算叶片整体区域的高宽比，追踪叶片的叶片区域轮廓并用多边形离散方式表示，采用归一化算法，计算叶片傅里叶形状描述子，作为叶片形状特征保存到特征数组变量(F₂)中。(其中，由于色标面积原值与其测量值之间的比例可以表示由于拍摄高度不同带来的缩放因子，有经验的技术人员会采取一些简单的校正处理，但这不影响本发明方法的完整性。)

匹配寻优与查表过程：

以欧几里得距离作为匹配评价指标，计算色标外、中、内区域Hv，Sv值与叶片外、中、内区域的色度均值和饱和度均值的欧几里得距离值；选择该值最小的2-3个色标作为匹配候选色标；查表读取对应标准特征参数集中的色彩方差参数值和形状参数值；计算其与特征数组变量(F₁)中方差距离以及特征数组变量(F₂)中形状特征参数距离，取其中总距离最小者作为最优匹配特征，然后根据其对应色标，查表得到养分指标量级值。

本发明与现有植物营养分析方法相比，有以下优点：1)通用性与适应性较强，只要对农化模型中映射表内的数据作相应修改，就能够用于任意给定植物品种的养分含量分析；2)与图像采集设备无关；3)给出精确的养分含量指标值，其误差在植物施肥指导许可量级范围内。4)过程简单，检测速度快，易于推广。

附图说明

图1是图像采集环境预设置俯视示意图；1、白色背景纸板；2、叶片；3、透明圆筒。

图2是单元素缺失关系映射表模型示意图。

图3是叶片图像回形子区域设置示意图。

图4是本发明植物养分含量指标检测方法流程图。

具体实施方式

下面用非限定性实施例对本发明作进一步说明。

实施例

以橡胶树为例进行检测。

1、构建标准农化模型

按照量级标准对橡胶树做缺素培养，然后采集具有代表性的样本叶片2；在室内日常光源条件下将叶片固定在白色背景纸板1上，用能够覆盖背景区域的透明圆筒3罩住背景纸板1，然后用图像采集设备垂直于背景纸板进行拍摄，采集样本叶片的图像；采用迭代法计算全局阈值，根据全局阈值将图像分割为背景与叶片区域两部分，计算最小矩形限界框，划分为等面积的外、中、内三个子区域(如图3)；分别将三个子区域各有效像素RGB值经IHS变换为HSB值，以其均值及其方差作为叶片的色彩特征集；计算最小矩形限界框的高宽比以及/或叶片区域的傅里叶形状描述子，并以此作为叶片的形状特征集；建立叶片养分含量指标量级与上述色彩特征集及形状特征集的关系映射表(如图2)，即标准农化模型。

2、建立相应量级色标

取已知养分含量指标的叶片区域，计算外、中、内三个子区域各子区域内有效像素RGB值的均值并确定为外、中、内三个子区域的标准色，生成由外、中、内三个等面积子区域构成的回形色标；根据养分指标量级确定色标数量；色标生成后采用高质量印刷技术进行印刷得到与其原色差异很小的色标卡。

3、图像分析检测

将色标与待检叶片固定在白色背景纸板上(其中色标设置于白色背景纸板四周，待检叶片设置于白色背景纸板的中间)，加透明圆筒罩住后再在室内日光灯下拍摄，得到样本图像。将样本图像经分割过程、色标图像色彩特征提取过程、叶片图像色彩特征提取过程、叶片图像形状特征提取过程、匹配寻优后获得与待检样本特征距离最小的色标号，然后根据农化模型内相应的色标记录，查表得到其养分指标量级值。下表是某一个待测叶片与两组最接近色标色彩特征集的数据对照表：

上述色彩特征值均值距离可以用matlab代码表示如下：

d1＝sqrt((H1-H)^2+(S1-S)^2)

d2＝sqrt((H2-H)^2+(S2-S)^2)

由上表可看到，从H、S的均值距离差异d1，d2计算得到，待检样本与色标2#最接近，即d2＝11.6＜37.8＝d1。查表得到待检叶片N素含量指标为3.0，其施肥用量结合土壤PH值在0.5～0.75千克/株年之间选定。经将叶片烘干后测定，其N素占干比实际值为3.07％，相比3.0％的标准值，在施肥指导许可误差范围内。

据此可知，通过标准农化模型与量级色标，可以利用色彩特征、形状特征匹配寻优技术定量估计叶片养分含量指标的实际值，其误差在施肥指导许可误差范围内。

橡胶树叶片养分量级设置及其施肥指导方案如下表所示。

注：通过线性插值方法，可以将上述5级设置扩展到更多的量级如10级、12级等。

Claims (1)

1.一种基于叶片图像特征的植物养分含量指标定量分析方法，其步骤如下：

1)、构建标准农化模型

①按照一定量级标准设置对给定植物做缺素培养，然后从植物上采集具有代表性的样本叶片；②在室内日常光源条件下将叶片固定在白色背景纸板上，用能够覆盖背景区域的透明圆筒罩住背景纸板，然后用图像采集设备垂直于背景纸板进行拍摄，采集样本叶片的图像；③采用迭代法或OTSU法计算全局阈值，根据全局阈值将该图像分割为背景与叶片区域两部分，用计算几何的方法计算包括叶片区域在内的最小矩形限界框，按照最小矩形限界框的面积依回形方式划分为等面积的外、中、内三个子区域；④分别将三个子区域各有效像素RGB值经IHS变换为HSB值，计算其均值H ₁、S ₁、H ₂、S ₂、H ₃、S ₃及其方差σ₁、σ₂、σ₃，并以此作为叶片的色彩特征集；5)计算最小矩形限界框的高宽比以及/或叶片区域的傅里叶形状描述子，并以此作为叶片的形状特征集；⑥建立叶片养分含量指标量级与上述色彩特征集及形状特征集的关系映射表，即标准农化模型；

2)、建立相应量级色标

①取已知养分含量指标量级的叶片区域，计算外、中、内三个子区域各子区域内有效像素RGB值的均值“R ₁、G ₁、B ₁”，“R ₂、G ₂、B ₂”以及“R ₃、G ₃、B ₃”；②分别将“R ₁、G ₁、B ₁”、“R ₂、G ₂、B ₂”、“R ₃、G ₃、B ₃”确定为外、中、内三个子区域的标准色，生成由外、中、内三个等面积子区域构成的回形色标或者三个面积相同的色彩分别取上述标准色RGB值的方形色标；③根据养分含量指标量级确定色标数量；④色标生成后采用高质量印刷技术进行印刷得到与其原色差异很小的色标卡；

3)、叶片养分指标图像分析检测方法

分析检测方法由待检叶片图像采集及样本图像分析处理两个步骤构成；

待检叶片图像采集：按照植物类别将其相应量级的色标与待检叶片一起固定在背景纸板上，经透明圆筒罩住后，在室内日常光源条件下进行拍摄，得到待检测样本图像；

样本图像分析处理：包括样本图像分割过程、色标图像色彩特征提取过程、叶片图像色彩特征提取过程、叶片图像形状特征提取过程、匹配寻优与查表过程；

样本图像分割过程：

首先，根据预设空间位置关系快速分离叶片与色标所在图像区域；设叶片图像区域最小矩形限界框大小为M×N，其左上角位置为(x₁，y₁)，则提取叶片区域子图像matlab代码为：

I₁＝I(x₁∶x₁+M-1，y₁∶y₁+N-1，：)；％其中I为待检样本图像；

类似地，可以得到每个色标所在区域的子图像J₁，J₂，…，Jn；

其次，对上述各个区域图像的子图像I₁，J₁，J₂，…，Jn采用迭代法或OSTU法确定分割阈值T，然后将阈值T与子图像每个像素逐个比较，当像素值大于或等于T时将该像素确定为背景像素，当像素值小于T时将该像素确定为叶片有效区域像素，然后分别做非线性空域滤波以消除其中噪点，其p×p模板如下：

滤波规则：由窗口K在上述区域图像中滑动，区域图像窗口像素分布用A表示，则：

当K.×A＝0，则令区域图像窗口像素分布A中所有像素值均为0，即A＝0；

当K.×A≠0，则A＝1，为全1矩阵；

经过上述处理，可以得到比较干净的色标及叶片有效区域；

色标图像色彩特征提取过程：

丢弃色标图像外围1-2像素以忽略细微的形状畸变以及边缘色彩干扰，采用传统边缘检测方法提取外、中、内三个子区域，分别计算其均值R，G，B，然后采用传统IHS变换将其转换为Hv，Sv，Iv值，并保存在给定特征数组Fv中；

叶片图像色彩特征提取过程：

以给定面积比方式将叶片区域最小矩形限界框分为外、中、内三个子区域，对每个子区域采用区域二值掩模函数提取其有效像素的RGB值，并采用传统IHS变换将其转换为相应的色度值、饱和度和亮度值；分别计算各个子区域的色度均值和饱和度均值及其相应子区域方差，作为色彩特征保存到特征数组变量中；

叶片图像形状特征提取过程：

计算各个子区域面积比，计算叶片区域的高宽比，追踪叶片的叶片区域轮廓并用多边形离散方式表示，采用归一化算法，计算叶片傅里叶形状描述子，作为叶片形状特征保存到特征数组变量中；

匹配寻优与查表过程：

以欧几里得距离作为匹配评价指标，计算色标外、中、内区域Hv，Sv值与叶片外、中、内区域的色度均值和饱和度均值的欧几里得距离值；选择该值最小的2-3个色标作为匹配候选色标；查表读取对应标准特征参数集中的色彩方差参数值和形状参数值；计算其与特征数组变量中方差距离以及特征数组变量中形状特征参数距离，取其中总距离最小者作为最优匹配特征，然后根据其对应色标，查表得到养分含量指标量级值。

Images