CN102103699B - 一种基于图像检测棉花吐絮的方法 - Google Patents

Abstract

一种基于图像检测棉花是否吐絮的方法，具体包括两个阶段：训练阶段：通过历史图像数据，统计棉田图像中棉絮区域在Lab颜色空间中的变化规律；检测阶段：利用训练阶段统计的棉絮在Lab颜色空间中的变化规律，对实时棉田视频图像进行检测，具体顺序包括：（1）单幅图像棉絮检测，根据统计结果，检测图像中的候选棉絮区域并生成二值结果图像（2）连通域标记和去噪，对二值结果图像进行标记，并通过设定连通域面积阈值，去除较小的噪声干扰，（3）综合判定，利用一天中不同时刻的检测结果，对各候选区域进行投票，选取稳定存在的区域作为最终棉絮区域的检测结果，进一步去除了随机噪声的干扰，（4）输出结果图像。该方法主要利用了棉絮的Lab颜色特征和同一天内图像的连续性，有效克服了光照的影响，准确地检测出棉田图像中是否有棉絮存在。

Description

一种基于图像检测棉花吐絮的方法

技术领域

本发明属于数字图像处理和农业气象观测结合领域，具体涉及一种以棉田图像为对象，从棉花植株上检测棉絮是否出现的方法。

背景技术

棉花是我国主要的经济作物之一，种植面积十分广泛。棉花的发育期、产量和质量容易受到气候变化的影响。长期以来，对于棉花发育期的观测主要是通过人工观测的方式，受观测员主观因素的影响比较大；同时由于观测周期长、地域广，利用人力进行观测也不够经济。因此，通过拍摄棉田视频图像，利用图像处理的手段，对其发育期进行观测是十分必要的。棉花吐絮是棉花生长的一个重要环节，有效而准确的识别这一时期并测量其吐絮多少，是农业气象观测的一个重要内容，本发明即是利用棉田视频图像对棉花吐絮生长期进行识别。

2006年在《江西农业学报》上发表的文章“田间早期成熟棉花识别研究”利用训练好的过绿颜色特征(ExG)区分成熟棉花的棉絮区域和绿色背景；2007年4月在《农业工程学报》上发表的文章“采摘期成熟棉花不同部位颜色识别分析”和在《浙江农业学报》上发表的文章“基于色差信息的田间成熟棉花识别”中利用棉花在RGB颜色空间的色差信息，将成熟的棉桃即棉絮区域从背景中分割出来；2008年在《棉花学报》上发表的文章“基于HSV彩色模型的自然场景下棉花图像分割策略研究”利用HSV彩色模型的棉花图像饱和度分割算法将棉絮区域分割出来；2008年10月在《农业工程学报》上发表的文章“基于竞争学习网络的田间籽棉图像分割”利用RGB颜色空间中，利用训练好的基于B值的竞争学习网络和形态学滤波去噪，分割背景和棉絮；2010年在《作物学报》上发表的文章“基于颜色阈值的田间籽棉图像分割技术”在HSI和Lab颜色空间中利用颜色阈值对籽棉图像进行分割，确定棉絮区域的位置。以上各方法都是应用于棉花自动采摘机器人上，摄像头作用距离近，图像范围小，而且图像中的棉絮区域比较明显。而对于农业气象观测领域，主要通过对棉田中棉花是否吐絮和吐絮的数量进行检测，拍摄的区域广，图像分辨率低，而且单个棉絮区域在图像中的面积较小，图像中的光照变化较为剧烈，上述方法都不可行。

发明内容

本发明的目的在于提供一种基于图像检测棉花是否吐絮的方法，以在棉田采集的实时前下视图像为对象，利用棉絮的Lab颜色特征，自动地检测棉花植株上是否出现棉絮。本发明能够有效检测出棉田中的棉花吐絮区域,同时，在一天中不同时刻，以固定位置和姿态拍摄多幅前下视棉田图像，综合利用同一天内不同时刻的检测结果进行判断，有效消除了随机误差，进一步提高了检测结果的准确性。

为实现本发明的目的所采用的具体技术方案可分为以下两个阶段：

1.训练阶段：该阶段的主要目的是通过历史图像数据，统计吐絮期棉花植株上棉絮区域的Lab颜色特征变化规律，主要包含以下步骤：

（1）样本图像生成，在历史图像数据中，随机选取几天的吐絮期间拍摄的棉田图像，将棉絮区域保留，其它区域置为黑色，生成用于训练的样本图像。

（2）棉絮L-b颜色特征统计，利用棉絮样本图像，生成棉絮的L-b颜色特征表，记录棉絮在亮度为L的情况下，其色彩分量b的变化规律。

2.检测阶段：通过训练阶段生成的棉絮L-b颜色特征表，对实时棉田图像进行检测，具体步骤如下：

（1）单幅图像棉絮检测，通过棉絮L-b特征表，对单幅图像进行检测，生成二值图像，其中棉絮区域置为白色，其它区域为黑色。

（2）连通域标记和去噪，对上一步的二值图像进行连通域标记，并通过设定连通域的面积阈值，去除较小的连通域，降低细小噪声干扰。

（3）综合判定，由于相机是固定不变的，因此综合考虑同一天内不同时刻的单幅图像检测生成的二值图，对各区域进行投票，选取稳定存在的区域作为最终的结果，进一步去除了随机噪声干扰。

（4）输出结果图像，根据综合判定所生成的二值结果图像，在棉花图像上用矩形框将检测出的棉絮区域标注出来。

通过上述过程，自动对实时采集的前下视棉田图像进行检测，并利用检测的结果，判定该块棉田中的棉花是否进入吐絮期。同时，该检测结果对于测定棉花的覆盖度、预估棉花产量及指导相应的农事活动具有非常重要的意义。

附图说明

图1为训练阶段的流程图；

图2为检测阶段的流程图；

图3为任一历史时期的吐絮期棉田图像；

图4是标记了棉絮区域的样本图像；

图5为在棉絮在亮度L值为200的情况下，其色彩分量b的变化范围及出现的次数；

图6(a)是吐絮期上午10点的前下视棉田图像；

图6(b)是吐絮期下午5点的前下视棉田图像；

图7(a)是吐絮期上午10点棉絮检测二值结果图像；

图7(b)是吐絮期下午5点棉絮检测二值结果图像；

图7(c)是吐絮期上午10点棉絮检测结果图像；

图7(d)是吐絮期下午5点棉絮检测结果图像；

图8(a)是吐絮期利用连续图像综合判定后的二值结果图像；

图8(b)是吐絮期利用连续图像综合判定后上午10点棉絮检测结果图像；

图9(a)是未进入吐絮期的上午10点的前下视棉田图像；

图9(b)是未进入吐絮期的利用连续图像综合判定后的二值结果图像；

图9(c)是未进入吐絮期的利用连续图像综合判定后上午10点棉絮检测结果图像；

具体实施方式

本发明提供了一种基于实时前下视棉田图像，利用棉絮的Lab颜色特征和同一天图像的连续性，自动检测图像中是否存在棉絮的方法。下面结合附图来详细说明本发明的具体实施方式和实施步骤，本发明的方案分为训练阶段和检测阶段。

1.训练阶段：通过前一年拍摄的吐絮期棉田图像的历史数据，统计图像中棉絮区域的Lab颜色特征变化规律，分为两步，如附图1所示：

（1）样本图像生成，在历史图像数据中，随机选取几天的吐絮期拍摄的棉田图像100幅左右，如图3所示，然后选出其中的棉絮区域并保留其颜色信息，其它区域置为黑色，得到棉絮样本图像，如图4所示。

（2）棉絮L-b颜色特征统计，在生成棉絮样本图像之后，统计其中棉絮区域的在Lab颜色空间中的变化规律，具体过程如下：

设样本图像为S_m,m=1…70，图像中的第i行第j列像素点在Lab颜色空间的色彩分量分别为L_m(i,j)，a_m(i,j)和b_m(i,j)，取值范围均为[0,255]，由公式：

统计棉絮的L-b特征。其中，T1是一个256×256的统计表，表中各元素的初值为0。T1(l,b)的值表示在图像亮度为L=l的情况下，棉絮区域的像素点的色彩分量b出现的次数。如附图5所示，在亮度L的值为200的情况下，色彩分量b的变化范围及其出现的次数。

在亮度为l的情况下，可以求出棉絮的色彩分量b的均值和方差，公式分别为：

$\stackrel{\‾}{b_l}=\frac{\underset{b=0}{\overset{255}{\mathrm{\Σ}}}T1(l,b)\×b}{\underset{b=0}{\overset{255}{\mathrm{\Σ}}}T1(l,b)},T1(l,b)\≠0$

和

${\mathrm{\σ}}_l^2=\frac{\underset{b=0}{\overset{255}{\mathrm{\Σ}}}{(T1(l,b)-\stackrel{\‾}{b_l})}^2}{\underset{b=1}{\overset{255}{\mathrm{\Σ}}}T1(l,b)},T1(l,b)\≠0.$

因此，可以生成棉絮的L-b颜色特征统计表

$\mathrm{LbTable}=\{l,\stackrel{\‾}{b_l},{\mathrm{\σ}}_l^2|143\≤l\≤255\}.$

其中，l的变化范围由样本图像所确定，本实施例中样本图像数量为100幅左右，其范围为[143,255]，如果样本图像数量更多，其变化范围会随之扩大。

2.检测阶段，利用训练阶段生成的棉絮L-b颜色特征统计表，结合一段时间内（如同一天）图像的连续性信息，对实时前下视棉田视频图像进行检测，具体步骤如附图2所示：

（1）利用棉絮L-b颜色特征统计表，对实时的前下视棉田视频图像进行检测。如附图6（a）和6（b）分别是同一天中上午10点和下午5点的棉田图像。

设一天中共拍摄了N幅实时图像S_n,n=1…N，图像第i行第j列像素点的Lab分量分别为L_n(i,j)，a_n(i,j)和b_n(i,j)，由公式

生成二值图像B_n，其中B_n(i,j)=255表示该像素为候选的棉絮区域，B_n(i,j)=0表示该像素点为背景。

（2）连通域标记和去噪，利用标记算法，对二值图像B_n进行8邻域连通域标记，第r个连通域记为B_n(r)，连通域的面积即像素个数记为num(r)，根据如下的公式：

去除较小的连通域以降低细小噪声的干扰。面积阈值AreaThreshold根据需要进行选择，一般为[4,20],若面积阈值为10，则单幅图像检测结果如附图7所示。

（3）综合判定，由以上四步，已经将图像中候选的棉絮区域检测出来了，但不可避免的会受到噪声的干扰。为了进一步提高算法的准确性，需要对检测结果进行进一步的处理。由于同一天中相机的位置的拍摄姿态是固定不变，而且同一天中棉絮的状态也是基本不变的，所以其在图像中的位置、大小也是相似的。因此，综合考虑不同时刻的检测结果即所有的B_n,n=1…N，对各候选区域进行投票，投票过程如下：

考察某一个二值图像B_t上的第r个区域B_t(r)，像素个数为num_t(r)，其票数记为vote_t(r)。由于该区域在图像B_t中被判定为棉絮区域，所以初始时vote_t(r)=1。定义函数F(B_t(r))为取出区域B_t(r)所有像素点的坐标，Z(B_t(r))为区域B_t(r)中灰度值为255的像素点的个数，此时Z(B_t(r))=num_t(r)。

在其它二值图像B_n,n=1…N且n≠t上，循环执行以下步骤：

上述公式中Z(B_n(F(B_t(r))))/num_t(r)≥MinOverlapRate表示在B_n图像的对应区域中，包含的候选区域的面积与图像B_t上的第r个候选区域的重合度超过阈值MinOverlapRate，此时，图像B_t上的第r个区域的投票增加1。MinOverlapRate表示最小重合度阈值，在范围为[0.3，0.6]取得了很好的效果。

图像B_t上的第r个区域B_t(r)的投票过程结束后，利用如下公式：

其中，N为一天中所拍摄的图像的个数。Min_VoteRate为投票比例的阈值，该阈值根据实际需要确定，一般为[0.4,0.7]，高于该范围所得结果对于棉絮区域的漏检率较高，而低于该范围会使得误检率增大。当图像B_t中的第r个区域的票数与N的比值大于或等于Min_VoteRate时，则判定区域B_t(r)是棉絮，即B_t(r)=255。

对同一天的每一幅二值图像B_n,n=1…N上的所有候选区域均通过上述投票过程进行判定，得到去除随机噪声干扰的二值图像序列B_n,n=1…N。接着，将所有的二值结果图像进行合并得到最终的二值结果图像B。定义B_n(i,j)为二值图像B_n上第i行j列的像素值，B(i,j)为最终二值结果图像B上第i行j列的像素值，则B由以下公式生成：

$B(i,j)=\left\{\begin{array}{c}255,B_{n,\∃n\∈[1,N]}(i,j)=255\\ 0,B_{n,\∀n\∈[1,N]}(i,j)=0\end{array}\right..$

B(i,j)=255表示该像素为棉絮，B(i,j)=0表示该像素为背景，如附图8（a）所示。

（4）输出结果图像，根据最终的二值结果图像B，在前下视棉田图像上用红色矩形框将棉絮区域标注出来，如附图8（b）所示。如果所拍摄的棉田中的棉花未进入吐絮期，即图像中没有棉絮区域存在，则检测结果如附图9所示。

Claims (4)

1.一种基于图像检测棉花吐絮的方法，以棉田图像为对象，利用图像处理自动检测出棉絮区域，该方法具体步骤如下：

（1）训练阶段，即通过历史图像数据，统计吐絮期棉花植株上棉絮区域的Lab颜色特征变化规律，该阶段主要包含以下步骤：

（1.1）样本图像生成：随机选取多幅吐絮期间拍摄的棉田图像，将棉絮区域保留，其它区域置为黑色，生成用于训练的样本图像；

（1.2）棉絮L-b颜色特征统计：利用所述样本图像，生成棉絮的L-b颜色特征表，记录棉絮在亮度为L的情况下，其色彩分量b的变化规律；

（2）检测阶段，即通过训练阶段生成的棉絮L-b颜色特征表，对实时棉田图像进行检测，该阶段具体步骤如下：

（2.1）单幅图像棉絮检测：通过上述L-b颜色特征表，对一段时间内获取的N幅棉田图像分别进行检测，生成对应的N幅二值图像，其中棉絮区域置为白色，其它区域为黑色；

（2.2）连通域标记和去噪，对上述各幅二值图像进行连通域标记，并通过设定连通域的面积阈值，去除小于该面积阈值的连通域；

（2.3）综合判定：对上述经标记和去噪后的各二值图像分别进行投票，判断出各二值图像的棉絮区域，进而经合并获得最终的棉絮区域；

其中，所述步骤（2.3）中对任一二值图像B_t进行投票的具体过程如下：

对其中的任意第r个连通域区域B_t(r)，设定其像素个数为num_t(r)，其票数记为vote_t(r)，初始时vote_t(r)=1，定义函数F(B_t(r))为取出区域B_t(r)所有像素点的坐标，Z(B_t(r))为区域B_t(r)中灰度值为255的像素点的个数，此时Z(B_t(r))=num_t(r)；

在N幅二值图像中的其余二值图像B_n上，循环执行以下步骤：

上述公式中，n=1…N且n≠t，MinOverlapRate表示最小重合度阈值；

然后，利用如下公式确定出棉絮区域：

即值为255的连通域区域B_t(r)所对应的棉田图像区域为棉絮区域，其中N为一天中所拍摄的图像的个数，Min_VoteRate为投票比例的阈值；

完成所述二值图像B_t所有连通域区域的投票，即实现对二值图像B_t的投票；

另外，所述最终的棉絮区域通过对各二值图像投票所获得的棉絮区域合并得到，具体为：

定义B_n(i,j)为二值图像B_n上第i行j列的像素值，B(i,j)为最终二值结果图像B上的第i行j列的像素值，则B由以下公式生成：

$B(i,j)=\left\{\begin{array}{c}255,B_{n,\∃n\∈[1,N]}(i,j)=255\\ 0,B_{n,\∀n\∈[1,N]}(i,j)=0\end{array}\right.,$

即最终二值结果图像B中像素值为255的像素点所组成的区域即为最终的棉絮区域。

2.根据权利要求1所述的方法，其特征在于，所述最小重合度阈值MinOverlapRate的取值范围为[0.3，0.6]。

3.根据权利要求1或2所述的方法，其特征在于，所述投票比例的阈值Min_VoteRate取值范围为[0.4,0.7]。

4.根据权利要求1或2所述的方法，其特征在于，所述面积阈值取值范围为[4,20]。

Images