CN103942555A - 一种植物氮素含量丰缺图像检测方法 - Google Patents

Abstract

本发明涉及一种植物氮素含量丰缺图像检测方法，首先建立标准农化模型、计算设备色差补偿值及环境色差补偿值；在雨天、阴天、多云和晴天和标准五个环境条件下用常见拍摄器材对具有代表性的植物叶片图像进行拍摄采集，并将图像导入氮素丰缺检测应用系统进行检测：若H”≥H_s，则氮素含量为正常以上；否则，若H”<H_s，则氮素处于缺乏状态，需要追肥。本发明通用性与适应性较强，只要对农化模型中映射表内的数据作相应修改，并针对约500个叶片样本采用实验方法确定其判决阈值即可用于指定植物的氮素丰缺检测，与图像采集设备、环境无关，只要选择相应色差补偿值即可，对使用者要求低，易于推广。

Description

一种植物氮素含量丰缺图像检测方法

技术领域

本发明属于植物营养学领域，涉及一种植物养分的检测方法，具体涉及一种利用植物叶片图像特征对植物氮素进行丰缺检测的方法，可快速、准确地判定植物氮素丰缺情况，为植物栽培及时追肥提供可靠的指导依据。

背景技术

根据植物叶片图像特征分析提取植物养分信息尤其是氮素丰缺信息为植物栽培精准施肥、产量预测、长势分析以及营养情况分析等农业生产决策提供支持是近年来发展起来的基于机器视觉的植物营养智能分析技术。这种技术的特点是撇开复杂的农化分析过程，简单地利用植物氮素丰缺情况与叶片外观图像特征的强相关性（线性或非线性农化模型），通过图像分析提取相应叶片图像特征以此得到植物氮素丰缺信息。使用这种技术，用户首先使用图像采集设备拍摄到给定区域的冠层叶片或者公认的具有代表性的指定植物叶片样本图像，然后采用图像分析技术提取图像外观特征（如色彩、轮廓形态等），根据相应农化模型，得到指定植物氮素丰缺分析结果。据此，农业专家能够有效地指导农民进行合理施肥。

按照图像采集的方式可以将这种技术分为两种类型：基于区域的航拍（遥感）图像分析以及基于个体的单张（或多张）叶片图像分析。两种类型又分别对应不同的拍摄条件，前者对应户外拍摄，后者则一般对应户内（也可以在户外）拍摄，并且大多要求把叶片摘下来。前者特点在于无损检测，图像内容干扰素比较多，适合分布密集的较大面积营养情况控制场合；后者则需要挑选具有代表性叶片，其特点在于检测成本低，图像分析精度高，控制单位可精确到株，适合个体差异大、植物分布稀疏的施肥控制场合。这种技术的本质差别取决于其核心内容（包括农化模型、图像采集、图像特征择用以及图像处理算法设计等方面）的不同。

农化模型的建模技术路线一般有两类：1）高光谱分析与叶片色彩关系模型：借助农化分析以及高光谱仪、叶绿素仪等昂贵手段研究，目前已经有大量报道证实，植物叶片的外观特征（色彩、轮廓形态等）能够在某种程度上反映植物营养状况。但是，直接采用高端设备检测，成本高、周期长、不利于推广普及。2）非参数（经验）模型：我国古代就有通过目测方法观察水稻叶片色彩判断其营养情况的经验；上世纪70年代日本曾流行过采用“比色卡”方法来判定水稻营养情况，但这些方法都受观察者的视觉因素以及比对对象差异影响过大，判断结果有效性不高。

在图像采集方面一般按采集环境、采集设备、采集方式进行划分。户外环境的类别与变化十分复杂，包括天气情况、环境光照情况等，差异性比较大，难以统一，但灵活性、便利性很强；户内环境相对稳定，易于采取一些措施进行规范化处理，但灵活性不够。采集设备的差别来自于成像系统等硬件差异，高端设备一般来说分辨率与清晰度较好，形状与色彩畸变失真较小；中低端设备如手机则形状与色彩畸变失真相对较大。此外，不同设备采集的图像之间普遍存在不同程度的色差。这些因素都为基于像素、色素等图像特征进行检测分类的方法带来巨大的难度。采集方式一般可以分为标准化方式与随意性方式。标准化方式按照事先设定的标准规程来完成，其结果具有一定的共性，适宜于相应的比较分析；随意性方式，如不同拍摄角度、距离等差异都会带来明显的差异。

在图像特征择用方面，尽管不同植物具有明显的外观差异，但其氮素丰缺的主要差异从生理过程上说主要表现在叶片色彩的均匀黄化上，因此涉及其氮素丰缺检测的大量研究成果主要集中在寻找与植物氮素丰缺具有强相关性的色彩分量特征方面，例如，色度分量R、G、B的相对比值等。这些指标未考虑不同图像采集过程因采集设备以及环境光照不同的色度畸变问题。

在图像处理算法设计方面，一般的步骤是，1）提取叶片图像特征；2）根据实验所得氮素丰缺情况与叶片图像特征之间的强相关性模型，得出氮素丰缺检测结果。可见，叶片图像特征的选取及其与氮素丰缺之间的相关性决定了检测结果的可靠性。

目前，从植物氮素营养情况图像分析技术的有关国内外科技成果来看，大体有：1）采用某种实验性的强相关性模型与预设阈值比较直接给出分析结果，由于这种模型对于不同的植物品种其相关度阈值不同而且与图像采集环境条件有关，故大多为定性结果；2）色彩畸变未加考虑（有些计算叶片面积的方法，也考虑了轮廓形状畸变的校正问题，如采用双面胶粘贴在白纸上或者采用标准区域方块计算校正参数等），计算误差难以控制，检测鲁棒性较差；3）图像特征选择缺乏通用性，不同植物品种有不同的强相关参量；4）图像采集方法没有明确规定（特殊的图像采集设置仅一例，可参照文献Two new methods for theestimation of leaf area using digital photography,International Journalof Agriculture&Biology,11:397-400,2009）。因此，这些方法不具有通用性，其检测鲁棒性也相对比较弱。

专利号为2010101730643的“一种基于叶片图像特征的植物养分含量指标定量分析方法”采用色标的方法来解决其中色彩畸变问题虽然效果较好，但是实现起来较为繁杂，尤其是需要把叶片摘下来与色标一起贴在专用的白底纸板上，从而不适合户外采集的应用要求。

发明内容

本发明的目的在于提供一种植物氮素含量丰缺图像检测方法，通过采集指定植物品种的具有代表性（叶片是否具有代表性，其判定标准或方法与传统叶片样本采集一致）的单张或相邻的多张样本叶片图像，通过建立标准农化模型，利用设备色差补偿值及环境色差补偿值进行换算，就能够快速、准确地检测并判断植物氮素的丰缺状态，从而为植物营养及时追肥提供可靠依据。

本发明在不受设备与环境影响的情况下快速检测植物氮素丰缺状态，其是在现有技术的基础上做了如下改进：1、选用相对稳健的具有设备无关性的HSI色度空间来描述叶片图像的色彩特征。2、采用统计的方法确定不同采集设备相对标准设备的色差补偿值。3、将常见采集环境分为雨、阴、多云和晴四类，并采用统计的方法分别确定常见采集设备对这四类环境的色差补偿值。4、提取叶片图像区域后采用3×3小模板做平滑滤波，并选取排除叶片区域边界像素后的内层像素集合的平均值作为候选检测像素。5、计算候选像素的色彩特征值，并采用设备色差补偿值和环境色差补偿值进行校正。6、根据校正后的特征值采用标准农化模型计算得出氮素丰缺状态。

本发明所采用的技术方案：

一种植物氮素含量丰缺图像检测方法，其步骤如下：

1、建立标准农化模型、计算设备色差补偿值及环境色差补偿值。

A、建立标准农化模型：设当前叶片图像的色度分量值为H，二分标准色度阈值为H_s，则其氮素丰缺可用下式判断：

其中，上述色度分量值为H、二分标准色度阈值H_s的计算过程具体如下：a)按照氮素丰缺标准配方对给定植物进行缺素培养，待叶片生长为成叶后从植物上采集具有代表性的样本叶片；b）将样本叶片固定在一张白纸中心，然后用不透明材料将其围成一个高为1米的柱状空间，在室内仅有日光灯的条件下用拍摄器材由柱状空间的正上方拍摄该样本叶片的图像；c)采用现有数字图像处理技术中的全局阈值算法分割图像，计算全局阈值，由此将该图像分割为背景BK与叶片区域LF两部分；d)计算LF区域内像素值的平均值，即候选检测像素的RGB分量值；e)采用传统IHS色度空间变换公式（参考吴连喜等人2003年《农业工程学报》06期文章：一种基于IHS变换的改进型图像融合的算法，pp.163-164）将上述候选检测像素的RGB分量转换为HSB分量值，计算其色度分量值即H分量，选择该分量值作为相应像素的色度特征值；f)通过农化分析得出相应样本叶片的氮素含量占干比值，构建色度特征值H与氮素含量占干比值N之间的二元映射关系表；g)采用fisher分类器（参考张学工《模式识别》第3版，清华大学出版社，2010）计算获得判决阈值即为H_s。

B、计算设备色差补偿值：1）选择同一样本叶片，设定某一高分辨率的拍摄器材为标准拍摄器材（如Sony Alpha-900相机），分别用标准拍摄器材和其它常见拍摄器材（如神舟H45T2、华为Y511、摩托罗拉XT615、中兴U819等）进行拍摄采集样本叶片图像；2）根据全局阈值分割方法提取其中叶片所在区域，求取叶片区域内所有像素的平均值并将其作为候选检测像素的RGB分量值；3）采用传统IHS变换公式，依据RGB分量值计算得到其相应的色度分量值；4）取与常见拍摄器材对应的色度分量值与标准相机对应的色度分量值的差作为常见拍摄器材的单样本色差补偿值；5）取大量叶片样本，按如下公式计算：

$H_d=\frac{1}{n}\mathrm{\&Sigma;}(S_i-B_i)$

得到常见拍摄器材的标准色差补偿值H_d，其中S i为常见拍摄器材对应的色度分量值，B_i为标准相机对应的色度分量值。

C、计算环境色差补偿值：1）设定某一拍摄器材为标准拍摄器材（如SonyAlpha-900相机），用标准拍摄器材分别在雨天、阴天、多云和晴天以及标准（按文献Two new methods for the estimation of leaf area using digitalphotography,International Journal of Agriculture&Biology,11:397-400,2009方法设置，其设置过程如标准农化模型建立过程中b步骤）五个环境条件下采集500张叶片样本图像；2）根据全局阈值分割方法提取其中叶片所在区域，求取叶片区域内所有像素的平均值并将其作为候选检测像素的RGB分量值；采用传统IHS变换公式，依据RGB分量值计算得到其相应的色度分量值；3）取各类环境与标准环境下得到的色度分量值的差值作为该类环境的单样本色差补偿值；4）按如下公式计算求平均，得到各类环境的标准色差补偿值H_e。

$H_e=\frac{1}{n}\mathrm{\&Sigma;}(T_i-H_i)$

式中：T_i为各类环境下得到的色度分量值，H_i为标准环境下得到的色度分量值。

2、叶片氮素丰缺检测

在任意环境条件下用常见拍摄器材（如相机、手机）对具有代表性的植物叶片图像进行拍摄采集，并将图像导入氮素丰缺检测应用系统进行检测；

所述氮素丰缺检测应用系统由叶片区域提取、小模板滤波、计算候选检测像素的RGB分量值、计算候选检测像素的H分量值、设备色差补偿、环境色差补偿及氮素丰缺判决七个过程构成，具体步骤如下：

A、叶片区域提取：

首先，对叶片图像采用迭代法或OSTU法确定分割阈值T，按照>=T以及<T将图像分为背景BK和前景LF两类。为了消除其中噪点，需要分别对其做非线性空域滤波，其p×p模板如下：

滤波规则：若由窗口K在上述区域图像中滑动，区域图像窗口像素分布用A表示，则：

若K.*A=0,则令区块A中所有像素值均为0，即A=0；否则，A=1为全1矩阵。

经过上述处理，可以得到比较干净的叶片有效区域。

B、小模板滤波：

在叶片有效区域的结果图像，选取以下3×3平滑小模板K’进行平滑滤波。即：

$K^{\text{'}}=\frac{1}{16}\left[\begin{array}{ccc}1& 2& 1\\ 2& 4& 4\\ 1& 2& 1\end{array}\right]$

滤波规则：若由窗口K’在叶片有效区域的结果图像内逐像素滑动，每次被窗口K’覆盖的区域像素分布用B表示，对应区域的中心像素为C_ij，滤波后为C'_ij，即

C'_ij=K’.*B

（图像处理专家完全可以根据不同光照条件调整小模板的选择以达到更优效果，但这不影响本发明方案的独立性和完整性。）

C、计算候选检测像素的RGB分量值：

令上述经过处理后的图像中叶片边界像素值为0，其中所述叶片边界像素是指叶片区域内与背景像素（提取叶片区域后其像素值为0）相邻的像素。

计算图像内所有非0像素个数，以及所有非0像素值的总和，求其平均值即为候选检测像素的RGB分量值。由于每个像素用RGB三分量来表示，因此所得各分量平均值即所指候选检测像素的RGB分量值。

D、计算候选检测像素的H分量值：

采用传统IHS色度空间变换，将所得候选检测像素的RGB分量转换为HSI值，由此计算得到其色度分量值H。

E、设备色差补偿：

计算设备色差补偿后的色度值H’，即H’=H-H_d。

F、环境色差补偿：

计算环境色差补偿后的色度值H”，即H”=H’-H_e。

G、氮素丰缺判决：

氮素丰缺判决规则是：若H”≥H_s，则氮素含量为正常以上；否则，若H”<H_s，则氮素处于缺乏状态，需要追肥。

所述现有数字图像处理技术中的全局阈值算法是迭代法或OTSU（大津）法。

本发明与现有基于叶片图像特征的植物氮素检测方法相比，有以下优点：1)通用性与适应性较强，只要对农化模型中映射表内的数据作相应修改，并针对约500个叶片样本采用实验方法确定其判决阈值即可用于指定植物的氮素丰缺检测；2）与图像采集设备无关，只要选择相应色差补偿值即可；3）与环境无关，只要选择相应拍摄环境色差补偿值即可；4）对使用者要求低，易于推广。

附图说明

图1是本发明所提供的氮素丰缺检测应用系统流程图。

具体实施方式

下面结合实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。下列实施例中未注明具体条件的实验方法,通常按照常规条件,或按照制造厂商所建议的条件。

本发明首先建立标准农化模型、计算设备色差补偿值及环境色差补偿值，然后在任意环境条件下用常见拍摄器材（如相机、手机）对具有代表性的植物叶片图像进行拍摄采集，并将图像导入氮素丰缺检测应用系统进行检测；所述氮素丰缺检测应用系统由叶片区域提取、小模板滤波、计算候选检测像素的RGB分量值、计算候选检测像素的H分量值、设备色差补偿、环境色差补偿及氮素丰缺判决七个过程构成，其判定模式如图1所示。

下面以橡胶树为例进一步说明具体的实施结果，叶片氮素丰缺状态及其施肥指导方案见表1。

表1叶片氮素丰缺状态及其施肥指导方案

在一个阴天分别用数码相机（设定为标准拍摄器材）和三星S5831i手机（300万像素，设定为常见拍摄器材）采集了300张具有代表性橡胶样本叶片，其中用数码相机采集的150张作为模型样本叶片，用手机采集的另外150张作为待检样本，并对这300张样本统一做农化分析得到其氮素实际占干重值。实验得到其相对于标准相机的设备色差补偿值和环境色差补偿值分别为12.3和-11.5。

针对150个模型样本叶片，可以按照以下方法求出上述农化模型的判决阈值H_s=80：（1）由这150个叶片的RGB颜色分量计算得到其150个色度分量值H；（2）计算这150个H值的平均值M1；（3）以M1作为初始判决阈值将该150个样本分为两类A与B，即H值大于等于M1的记为A类，其它则为B类；（4）分别计算A与B类的H值的平均值Ma与Mb；（5）取Ma与Mb的平均值M’,若M’与M1相差很小如在0.1范围之内，程序结束，M’即所求H_s；否则将M’替换M1,重复上述步骤（3）、（4）、（5）。

以8个不同胶树样本叶片为例，按照本发明方法由候选检测RGB颜色分量计算得出其色度分量H，而通过农化分析得出的其氮素占干比值为N，结果见表2：

表2

序号	N（%）	R	G	B	H	H-Hd-He
							S1	3.32	53	77	15	82.6	81.6>80
S2	3.4	43	62	15	83.7	82.9>80
							S3	3.36	47	69	11	82.1	81.3>80
S4	1.77	58	71	10	71.7	70.9<80
							S5	3.32	49	73	12	83.0	82.2>80
S6	2.47	59	74	23	76.6	75.8<80
							S7	2.00	67	71	12	63.5	62.7<80
S8	3.17	43	61	11	80.8	80=80

采用阴天拍摄的环境色差补偿H_e=-11.5以及三星S5831i手机的设备色差补偿值H_d=12.3，容易计算得出：农化分析结果N≥3.3的为正常有4例，不正常的4例；而用叶片图像H分量≥80的检测模型得到的结果正常的有5例，不正常的3例，与实际情况相符的有7例。而与实际情况不符的那1例中氮素实际含量为3.17与标准阈值3.3相差甚小。

以上所述仅是本发明的一般实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (2)

1.一种植物氮素含量丰缺图像检测方法，其特征在于，其步骤如下：

1）、建立标准农化模型、计算设备色差补偿值及环境色差补偿值

A、建立标准农化模型：设当前叶片图像的色度分量值为H，二分标准色度阈值为H_s，则其氮素丰缺可用下式判断：

其中，上述色度分量值为H、二分标准色度阈值H_s的计算过程具体如下：a)按照氮素丰缺标准配方对给定植物进行缺素培养，待叶片生长为成叶后从植物上采集具有代表性的样本叶片；b）将样本叶片固定在一张白纸中心，然后用不透明材料将其围成一个高为1米的柱状空间，在室内仅有日光灯的条件下用拍摄器材由柱状空间的正上方拍摄该样本叶片的图像；c)采用现有数字图像处理技术中的全局阈值算法分割图像，计算全局阈值，由此将该图像分割为背景BK与叶片区域LF两部分；d)计算LF区域内像素值的平均值，即候选检测像素的RGB分量值；e)采用传统IHS色度空间变换公式将上述候选检测像素的RGB分量转换为HSB分量值，计算其色度分量值即H分量，选择该分量值作为相应像素的色度特征值；f)通过农化分析得出相应样本叶片的氮素含量占干比值，构建色度特征值H与氮素含量占干比值N之间的二元映射关系表；g)采用fisher分类器计算获得判决阈值即为H_s；

B、计算设备色差补偿值：1）选择同一样本叶片，设定某一高分辨率的拍摄器材为标准拍摄器材，分别用标准拍摄器材和其它常见拍摄器材进行拍摄采集样本叶片图像；2）根据全局阈值分割方法提取其中叶片所在区域，求取叶片区域内所有像素的平均值并将其作为候选检测像素的RGB分量值；3）采用传统IHS变换公式，依据RGB分量值计算得到其相应的色度分量值；4）取与常见拍摄器材对应的色度分量值与标准相机对应的色度分量值的差作为常见拍摄器材的单样本色差补偿值；5）取大量叶片样本，按如下公式计算：

$H_d=\frac{1}{n}\mathrm{\&Sigma;}(S_i-B_i)$

得到常见拍摄器材的标准色差补偿值H_d，其中S_i为常见拍摄器材对应的色度分量值，B_i为标准相机对应的色度分量值；

C、计算环境色差补偿值：1）设定某一拍摄器材为标准拍摄器材，用标准拍摄器材分别在雨天、阴天、多云和晴天以及标准五个环境条件下采集500张叶片样本图像，所述标准环境条件与标准农化模型建立过程中b步骤相同；2）根据全局阈值分割方法提取其中叶片所在区域，求取叶片区域内所有像素的平均值并将其作为候选检测像素的RGB分量值；采用传统IHS变换公式，依据RGB分量值计算得到其相应的色度分量值；3）取各类环境与标准环境下得到的色度分量值的差值作为该类环境的单样本色差补偿值；4）按如下公式计算求平均，得到各类环境的标准色差补偿值H_e。

$H_e=\frac{1}{n}\mathrm{\&Sigma;}(T_i-H_i)$

式中：T_i为各类环境下得到的色度分量值，H_i为标准环境下得到的色度分量值；

2）、叶片氮素丰缺检测

在任意环境条件下用常见拍摄器材对具有代表性的植物叶片图像进行拍摄采集，并将图像导入氮素丰缺检测应用系统进行检测；

所述氮素丰缺检测应用系统由叶片区域提取、小模板滤波、计算候选检测像素的RGB分量值、计算候选检测像素的H分量值、设备色差补偿、环境色差补偿及氮素丰缺判决七个过程构成，具体步骤如下：

A、叶片区域提取：

首先，对叶片图像采用迭代法或OSTU法确定分割阈值T，按照>=T以及<T将图像分为背景BK和前景LF两类，分别对其做非线性空域滤波，其p×p模板如下：

滤波规则：若由窗口K在上述区域图像中滑动，区域图像窗口像素分布用A表示，则：

若K.*A=0,则令区块A中所有像素值均为0，即A=0；否则，A=1为全1矩阵；

经过上述处理，可以得到比较干净的叶片有效区域；

B、小模板滤波：

在叶片有效区域的结果图像，选取以下3×3平滑小模板K’进行平滑滤波，即：

$K^{\text{'}}=\frac{1}{16}\left[\begin{array}{ccc}1& 2& 1\\ 2& 4& 4\\ 1& 2& 1\end{array}\right]$

滤波规则：若由窗口K’在叶片有效区域的结果图像内逐像素滑动，每次被窗口K’覆盖的区域像素分布用B表示，对应区域的中心像素为C_ij，滤波后为C'_ij，即

C'_ij=K’.*B

C、计算候选检测像素的RGB分量值：

令上述经过处理后的图像中叶片边界像素值为0，其中所述叶片边界像素是指叶片区域内与背景像素（提取叶片区域后其像素值为0）相邻的像素；

计算图像内所有非0像素个数，以及所有非0像素值的总和，求其平均值即为候选检测像素的RGB分量值；

D、计算候选检测像素的H分量值：

采用传统IHS色度空间变换，将所得候选检测像素的RGB分量转换为HSI值，由此计算得到其色度分量值H；

E、设备色差补偿：

计算设备色差补偿后的色度值H’，即H’=H-H_d；

F、环境色差补偿：

计算环境色差补偿后的色度值H”，即H”=H’-H_e；

G、氮素丰缺判决：

氮素丰缺判决规则是：若H”≥H_s，则氮素含量为正常以上；否则，若H”<H_s，则氮素处于缺乏状态，需要追肥。

2.根据权利要求1所述的方法，其特征在于：所述现有数字图像处理技术中的全局阈值算法是迭代法或OTSU法。