CN103177445A - 基于分段阈值图像分割及光斑识别的室外番茄识别方法 - Google Patents

Abstract

本发明公开了一种基于分段阈值图像分割及光斑识别的室外番茄识别方法，在计算归一化色差C _d 及颜色分量比r _GB 后，运用分段阈值图像分割实现番茄非光斑区域分割R _r ；运用光斑区域分割算法提取候选番茄光斑区域R _b ，R _r 和R _b 构成初始番茄区域R _t ；对R _t 进行区域标记及去噪处理；统计初始番茄区域面积A _t 及候选番茄光斑区域面积A _b ；同一番茄区域中，若A _b 小于A _t 的三分之一，则将R _b 作为番茄区域予以保留，否则将R _b 作为背景光斑区域予以去除，而只保留R _r ；对最后得到的番茄区域进行区域标记和去噪。本发明的采用分段阈值和光斑识别相结合的方法，克服了自然光照变化的影响，实现了不同自然光照条件下果实的实时识别。

Description

基于分段阈值图像分割及光斑识别的室外番茄识别方法

技术领域

本发明涉及一种图像处理方法，尤其是涉及一种基于分段阈值图像分割及光斑识别的室外番茄识别方法。

背景技术

果蔬采摘机器人是实现自动化采摘作业的一种解决方案，基于机器视觉的果实识别是果蔬采摘机器人获取采摘目标信息的一种手段。

由于果蔬采摘机器人在室外作业，而室外环境光照变化剧烈，因此果实识别极易受环境光照变化的影响。现有室外果实识别系统中的图像接收装置有一定的动态响应范围，若光照强度超出该动态响应范围（光照太强或太弱），会在图像中产生光斑或产生暗区域，某些情况下，两类光照条件会同时出现在同一个作业场景中。虽然现有的室外果实识别系统中，部分图像接收装置具有自动增益功能可以自动适应外界光照强度的变化，或者在图像接收装置前人工加滤光片的方法可以降低图像中光斑出现的概率，但均无法避免果实表面光斑的出现，也无法满足果实表面同时出现亮斑和阴影时果实识别的需求。另外，在室外自然光照条件下，光照较强的情况经常出现，此时果实表面普遍存在光斑，且光斑较大的情况也经常发生。光斑区域的存在将最终导致系统无法正确识别果实。

目前室外果实识别系统基本采用图像接收装置和图像分析处理系统组成的机器视觉系统。应用的室外果实识别方法是根据果实和背景的灰度或颜色差异，选择合适的果实灰度或颜色特征后，使用分类算法实现果实与背景的图像分割，从而实现室外果实的识别。所使用的颜色空间包括：RGB，rgb，HIS，Lab，YIQ等。分类算法研究主要包括：基于阈值的图像分割算法，基于区域生长的图像分割算法，基于颜色聚类的图像分割算法。其中，基于阈值分割的图像分割算法又分为：固定阈值分割，Otsu自动阈值分割。基于颜色聚类的图像分割算法又包括：K均值聚类，LVQ网络，神经网络，SOM，决策函数，近邻域聚类等。

现有室外果实识别方法适应性、实时性、价格等方面还不能满足生产要求。

发明内容

本发明的目的在于提供一种基于分段阈值图像分割及光斑识别的室外番茄识别方法，采用分段阈值和光斑识别相结合实现不同光照条件下果实的实时识别。

本发明采用的技术方案是：

图像接收装置接收到番茄的光学图像后，将其转换为电子图像输出；图像接收装置输出的电子图像输入到图像分析处理系统；图像分析处理系统对输入的番茄图像使用室外番茄实时识别方法实现不同自然光照条件下番茄的识别及番茄表面光斑区域的识别；室外番茄实时识别方法主要由分段阈值图像分割算法、光斑区域分割算法及果实光斑区域识别算法组成，用彩色相机采集室外番茄的彩色图像，读取彩色图像的R、G、B颜色分量；包括以下步骤：

①归一化色差值C_d及颜色分量比值r_GB计算：对彩色图像上的每一个像素点分别按公式（1）和公式（2）计算C_d及r_GB；

C_d＝255(2R+B)/(2R+2G+2B)                         （1）

r_GB＝G/B                                （2）

②番茄非光斑区域R_r分割：对彩色图像上的每一个像素点分别判断C_d及r_GB值是否满足式（3）中的if分支条件，若满足则该像素被判为番茄非光斑区域像素；否则为背景区域像素；全体非光斑区域像素组成番茄非光斑区域R_r；

$T(r,c),F(r,c)=\left\{\begin{array}{cc}1& \mathrm{if}\left\{\begin{array}{cc}R=255& \mathrm{abdG}<255\mathrm{and}{r}_{\mathrm{GB}}>T_r\\ T_{R1}<R\&le;255& \mathrm{and}{C}_d>T_{C1}\\ T_{R2}<R\&le;T_{R1}& \mathrm{and}{C}_d>T_{C2}\\ 0<R\&le;T_{R2}& \mathrm{and}{C}_d>T_{C3}\end{array}\right.\\ 0& \mathrm{else}\end{array}\right.---\left(3\right)$

③候选番茄光斑区域R_b分割：对彩色图像上的每一个像素点分别r_GB值是否满足式（4）中的if分支条件，若满足则将其归入候选番茄光斑区域像素,否则归入背景区域；全体候选番茄光斑像素组成候选番茄光斑区域R_b；

$T(r,c),H(r,c)\text{=}\left\{\begin{array}{ccc}1& \mathrm{if}& R=255\begin{array}{c}\left\{\begin{array}{c}G=255\mathrm{and}{T}_{B1}<B\&le;255\\ B>T_{B2}\left\{\begin{array}{c}{T}_{G1}<G<T_{G2}\mathrm{and}{r}_{\mathrm{GB}}>T_{r1}\\ T_{G2}\&le;G<T_{G3}\mathrm{and}{r}_{\mathrm{GB}}>T_{r2}\\ T_{G3}\&le;G<255\mathrm{amd}{r}_{\mathrm{GB}}>T_{r3}\end{array}\right.\end{array}\right.\end{array}\\ 0& \mathrm{else}& \end{array}\right.---\left(4\right)$

④对初始番茄区域R_t进行8邻域区域标记及去噪处理：记步骤②和③分割出的R_r及R_b的总和为R_t，对R_t进行数学形态学开运算、8邻域区域标记及小面积区域去除的去噪处理，即在8邻域区域标记后，统计二值图像中的各区域面积，将面积小于面积阈值A_min的小面积区域的区域标记改为背景区域标记；

⑤各类区域面积统计：计算步骤④得到的各个R_t中，初始番茄非光斑区域面积A_t，即R_t中的像素总数，以及候选番茄光斑区域面积A_b，即R_b中的像素总数；

⑥候选番茄光斑区域R_b中的背景光斑区域去除：对于任一番茄区域R_t，若A_b小于A_t的三分之一，则将R_b作为番茄区域予以保留，即识别结果为R_t；否则将R_b作为背景光斑区域予以去除，而只保留R_r；如式（5）：

$R_w=\left\{\begin{array}{ccc}{R}_t& \mathrm{if}{A}_b\&le;\frac{1}{3}{A}_t& \mathrm{and}{A}_b>\frac{1}{10}{A}_{b\max }\\ R_r=R_t-R_b& \mathrm{if}\frac{1}{3}{A}_t<A_b\&le;A_t& \end{array}\right.---\left(5\right)$

⑦背景光斑区域去除处理后的番茄区域标记及去噪处理：对步骤⑥得到的各番茄区域进行数学形态学开运算，8邻域区域标记和小面积区域去除的去噪处理，得到最终番茄区域R_w为识别结果。

所述步骤②，番茄非光斑区域R_r分割，对彩色图像上的每一个像素点作如下处理：

所述步骤③，候选番茄光斑区域R_b分割，对彩色图像上的每一个像素点作如下处理：

所述步骤⑥候选番茄光斑区域R_b中的背景光斑区域去除方法，对任一番茄区域R_t的全体像素点作如下处理：

所述步骤⑦中最终番茄区域R_w的获取方法，是将所有T(r,c)为1的像素构成的区域作为识别结果R_w。

所述步骤②中式（3）的T_R1，T_R2，T_C1，T_C2，T_C3，T_r参数建立方法：

提取晴天顺光下采集的1幅番茄彩色图像中番茄光斑区域及叶子光斑区域各M个R=255，G<255，B<255的像素；将数据导入Excel；计算各像素的r_GB值；绘制番茄光斑区域M个像素及叶子光斑区域M个像素的r_GB分布图；根据该分布图设定r_GB阈值；

使用同一相机采集同一番茄植株在同一采集距离不同时间段的图像，照度值的采集通过在番茄正上方放置照度计实现，彩色图像采集距离为300mm，照度范围为1lx到28000lx，彩色图像数为N幅；提取N幅彩色图像中，同一番茄的同一位置，即左上顶点坐标均为（x_lu,y_lu），右下顶点坐标均为（x_rd,y_rd），矩形范围内的RGB值存入文本文件；将文本文件中的RGB值导入Excel；利用式（1）计算各像素的C_d值；以各像素R分量为横坐标，C_d为纵坐标绘制散布图；观察散布图，将R分量分为3个区间，每个区间使用不同的C_d阈值。

所述步骤③中式（4）T_B1，T_B2，T_G1，T_G2，T_G3，T_r1，T_r2，T_r3参数的建立方法：

从晴天顺光条件下采集的X幅番茄彩色图像中，提取Y个番茄光斑区域共Z个像素的RGB值；将数据导入Excel；利用Excel中的SUMPRODUCT函数统计R=255，G=255时像素总数，然后确定95%以上的像素对应的B分量下限；同理，利用Excel中的SUMPRODUCT函数统计R=255，G<255时像素总数，然后确定95%以上的像素对应的B分量下限，再以G分量为横坐标，r_GB为纵坐标，绘制散布图，观察散布图，将G分量分为3个区间，每个区间使用不同的r_GB阈值。

本发明具有的有益效果是：

本发明采用分段阈值和光斑识别相结合的方法，克服了自然光照变化对番茄识别带来的影响，实现不同自然光照条件下果实的实时识别，同时还可以实现果实表面光斑区域的识别。

附图说明

图1是室外番茄实时识别系统示意图。

图2是室外番茄实时识别方法流程图。

图3是室外番茄光斑区域图。

图4是背景光斑区域示意图。

图中：1、番茄，2、双目立体相机，3、电源，4、1394图像采集卡，5、计算机，6、室外番茄识别软件。

具体实施方式

下面结合附图和实施例对本发明作进一步说明。

图1示意了室外番茄实时识别系统的一个具体实施例。图像接收装置采用双目立体相机2（立体相机可获取目标的3维位置信息，为以后获取番茄的三维位置信息考虑），双目立体相机2包含2个彩色Sony ICX204CCD，最大分辨率为1024×768，透镜焦距为6mm。图像采集卡4型号为MOGE1394，带电源适配器，电源3用于对相机供电（在无220V电源时，也可使用蓄电池）。计算机5为Lenovo R400笔记本电脑，内存3G，CPU为Intel Core Duo T6570，WIN7操作系统。使用1394连接线将双目立体相机2与1394图像采集卡4相连，1394图像采集卡4通过7合1读卡器接口安装在计算机5上。

室外番茄实时识别的具体实现如下：

双目立体相机2中的彩色CCD接收到番茄1的光学图像后，将其转换为电子图像输出；双目立体相机2输出的电子图像输入到1394图像采集卡4；1394图像采集卡4将模拟图像信号转换为数字图像信号后输入到计算机5中的室外番茄识别软件6；室外番茄识别软件6使用室外番茄实时识别方法实现自然光照条件下番茄的实时识别。

在以下说明番茄识别方法时，均以C语言为例。其中F(r,c)，H(r,c)，T(r,c)分别为图像中第r行，第c列像素是否为番茄非光斑区域像素，候选番茄光斑区域像素，初始番茄区域像素的标记，为1表示是，为0表示不是。在开始前，将所有像素的F(r,c)，H(r,c)，T(r,c)标记均清零，具体操作如下：

室外番茄实时识别方法主要由分段阈值图像分割算法、光斑区域分割算法及果实光斑区域识别算法组成，用双目立体相机采集室外番茄的彩色图像，读取彩色图像的R、G、B颜色分量；下面对照图2所示，说明室外番茄实时识别方法的具体实现步骤：

①归一化色差值C_d及颜色分量比值r_GB计算。逐点读取图像中各像素的RGB值，根据RGB值计算其C_d及r_GB值。C_d计算如式（6），r_GB计算如式（7）：

C_d=255*(2*R+B)/(2*R+2*G+2*B);                         （6）

r_GB=G/B;                                            （7）

其中，逐点读取番茄彩色图像中各像素RGB值的具体操作如下：

②番茄非光斑区域R_r分割。对彩色图像中的每个像素点做如下处理：

③候选番茄光斑区域R_b分割。对彩色图像中的每个像素点做如下处理：

④初始番茄区域R_t标记及去噪处理。对步骤②和③分割出的初始番茄区域（即T(r,c)为1的像素构成的区域）进行数学形态学开运算，8邻域区域标记及小面积区域去除的处理。将小于二值图像中最大初始番茄区域面积十分之一的区域作为噪声去除，通过将此类小区域内像素的F(r,c)，H(r,c)，T(r,c)均清零实现；

⑤各类区域面积统计。计算步骤④得到的各个R_t中，初始番茄非光斑区域面积A_t（通过计算该番茄初始区域中T(r,c)为1的像素总数实现）及候选番茄光斑区域面积A_b（通过计算该番茄初始区域中H(r,c)为1的像素总数实现）；

⑥作为背景光斑区域的R_b去除。同一番茄区域中，若A_b小于A_t的三分之一，则将R_b作为番茄区域予以保留，即识别结果为R_t，如图3所示；否则将该R_b作为背景光斑区域予以去除，即将该番茄区域内H(r,c)为1的像素的T(r,c)由1改为0，而只保留R_r，如图4所示，具体操作如下：

⑦番茄区域标记及去噪处理。对步骤⑥得到的番茄区域进行数学形态学开运算，8邻域区域标记和小区域去除处理。将小于二值图像中最大番茄区域面积十分之一的区域作为噪声去除，通过将此类区域内像素的F(r,c)，H(r,c)，T(r,c)均清零实现。最后，所有T(r,c)为1的像素为最终番茄区域R_w的像素。

步骤②中，if分支条件的建立方法如下：

提取晴天顺光下采集的1幅番茄彩色图像中番茄光斑区域及叶子光斑区域各257个R=255，G<255，B<255的像素；将数据导入Excel2003；计算各像素的r_GB值；绘制番茄光斑区域257个像素及叶子光斑区域257个像素的r_GB分布图；根据该分布图设定r_GB阈值。

使用同一相机采集同一番茄植株在同一采集距离不同时间段的彩色图像，照度值的采集通过在番茄正上方放置照度计实现，图像采集距离为300mm，时间为2012年8月17日15:49到18:51，照度范围为1lx到28000lx，彩色图像数为82幅；提取82幅彩色图像中，同一番茄区域左上顶点坐标（230,150），右下顶点坐标为(250,160)的同一位置矩形范围内的RGB值存入文本文件；将文本文件中的RGB值导入Excel2003；利用式（6）计算各像素的C_d值；以各像素R分量为横坐标，C_d为纵坐标绘制散布图；观察散布图，将R分量分为3个区间，每个区间使用不同的C_d阈值。

步骤③中，if分支条件的建立方法如下：从晴天顺光条件下采集的50幅番茄彩色图像中，提取86个番茄光斑区域共3540个像素的RGB值；将数据导入Excel2003；利用Excel2003中的SUMPRODUCT函数统计R=255，G=255时像素总数，然后确定95%以上的像素对应的B分量下限；同理，利用Excel2003中的SUMPRODUCT函数统计R=255，G<255时像素总数，然后确定95%以上的像素对应的B分量下限，再以G分量为横坐标，r_GB为纵坐标，绘制散布图，观察散布图，将G分量分为3个区间，每个区间使用不同的r_GB阈值。

Claims (7)

1.一种基于分段阈值分割及光斑识别的室外番茄实时识别方法，用彩色相机采集室外番茄的彩色图像，读取彩色图像的R、G、B颜色分量；其特征在于，包括以下步骤：

①归一化色差值C_d及颜色分量比值r_GB计算：对彩色图像上的每一个像素点分别按公式（1）和公式（2）计算C_d及r_GB；

C_d＝255(2R+B)/(2R+2G+2B)                    （1）

r_GB＝G/B                                  （2）

②番茄非光斑区域R_r分割：对彩色图像上的每一个像素点分别判断C_d及r_GB值是否满足式（3）中的if分支条件，若满足则该像素被判为番茄非光斑区域像素；否则为背景区域像素；全体非光斑区域像素组成番茄非光斑区域R_r；

$T(r,c),F(r,c)=\left\{\begin{array}{cc}1& \mathrm{if}\left\{\begin{array}{cc}R=255& \mathrm{abdG}<255\mathrm{and}{r}_{\mathrm{GB}}>T_r\\ T_{R1}<R\&le;255& \mathrm{and}{C}_d>T_{C1}\\ T_{R2}<R\&le;T_{R1}& \mathrm{and}{C}_d>T_{C2}\\ 0<R\&le;T_{R2}& \mathrm{and}{C}_d>T_{C3}\end{array}\right.\\ 0& \mathrm{else}\end{array}\right.---\left(3\right)$

③候选番茄光斑区域R_b分割：对彩色图像上的每一个像素点分别r_GB值是否满足式（4）中的if分支条件，若满足则将其归入候选番茄光斑区域像素,否则归入背景区域；全体候选番茄光斑像素组成候选番茄光斑区域R_b；

$T(r,c),H(r,c)\text{=}\left\{\begin{array}{ccc}1& \mathrm{if}& R=255\begin{array}{c}\left\{\begin{array}{c}G=255\mathrm{and}{T}_{B1}<B\&le;255\\ B>T_{B2}\left\{\begin{array}{c}{T}_{G1}<G<T_{G2}\mathrm{and}{r}_{\mathrm{GB}}>T_{r1}\\ T_{G2}\&le;G<T_{G3}\mathrm{and}{r}_{\mathrm{GB}}>T_{r2}\\ T_{G3}\&le;G<255\mathrm{amd}{r}_{\mathrm{GB}}>T_{r3}\end{array}\right.\end{array}\right.\end{array}\\ 0& \mathrm{else}& \end{array}\right.---\left(4\right)$

④对初始番茄区域R_t进行8邻域区域标记及去噪处理：记步骤②和③分割出的R_r及R_b的总和为R_t，对R_t进行数学形态学开运算、8邻域区域标记及小面积区域去除的去噪处理，即在8邻域区域标记后，统计二值图像中的各区域面积，将面积小于面积阈值A_min的小面积区域的区域标记改为背景区域标记；

⑤各类区域面积统计：计算步骤④得到的各个R_t中，初始番茄非光斑区域面积A_t，即R_t中的像素总数，以及候选番茄光斑区域面积A_b，即R_b中的像素总数；

⑥候选番茄光斑区域R_b中的背景光斑区域去除：对于任一番茄区域R_t，若A_b小于A_t的三分之一，则将R_b作为番茄区域予以保留，即识别结果为R_t；否则将R_b作为背景光斑区域予以去除，而只保留R_r；如式（5）：

$R_w=\left\{\begin{array}{ccc}{R}_t& \mathrm{if}{A}_b\&le;\frac{1}{3}{A}_t& \mathrm{and}{A}_b>\frac{1}{10}{A}_{b\max }\\ R_r=R_t-R_b& \mathrm{if}\frac{1}{3}{A}_t<A_b\&le;A_t& \end{array}\right.---\left(5\right)$

⑦背景光斑区域去除处理后的番茄区域标记及去噪处理：对步骤⑥得到的各番茄区域进行数学形态学开运算，8邻域区域标记和小面积区域去除的去噪处理，得到最终番茄区域R_w为识别结果。

2.如权利要求1所述的一种基于分段阈值分割及光斑识别的室外番茄实时识别方法，其特征在于：所述步骤②，番茄非光斑区域R_r分割，对彩色图像上的每一个像素点作如下处理：

3.如权利要求1所述的一种基于分段阈值分割及光斑识别的室外番茄实时识别方法，其特征在于：所述步骤③，候选番茄光斑区域R_b分割，对彩色图像上的每一个像素点作如下处理：

4.如权利要求1所述的一种基于分段阈值分割及光斑识别的室外番茄实时识别方法，其特征在于：所述步骤⑥候选番茄光斑区域R_b中的背景光斑区域去除方法，对任一番茄区域R_t的全体像素点作如下处理：

5.如权利要求1所述的一种基于分段阈值分割及光斑识别的室外番茄实时识别方法，其特征在于：所述步骤⑦中最终番茄区域R_w的获取方法，是将所有T(r,c)为1的像素构成的区域作为识别结果R_w。

6.如权利要求1所述的一种基于分段阈值分割及光斑识别的室外番茄实时识别方法，其特征在于：所述步骤②中式（3）的T_R1，T_R2，T_C1，T_C2，T_C3，T_r参数建立方法：

提取晴天顺光下采集的1幅番茄彩色图像中番茄光斑区域及叶子光斑区域各M个R=255，G<255，B<255的像素；将数据导入Excel；计算各像素的r_GB值；绘制番茄光斑区域M个像素及叶子光斑区域M个像素的r_GB分布图；根据该分布图设定r_GB阈值；

使用同一相机采集同一番茄植株在同一采集距离不同时间段的图像，照度值的采集通过在番茄正上方放置照度计实现，彩色图像采集距离为300mm，照度范围为1lx到28000lx，彩色图像数为N幅；提取N幅彩色图像中，同一番茄的同一位置，即左上顶点坐标均为（x_lu,y_lu），右下顶点坐标均为（x_rd,y_rd），矩形范围内的RGB值存入文本文件；将文本文件中的RGB值导入Excel；利用式（1）计算各像素的C_d值；以各像素R分量为横坐标，C_d为纵坐标绘制散布图；观察散布图，将R分量分为3个区间，每个区间使用不同的C_d阈值。

7.如权利要求1所述的一种基于分段阈值分割及光斑识别的室外番茄实时识别方法，其特征在于：所述步骤③中式（4）T_B1，T_B2，T_G1，T_G2，T_G3，T_r1，T_r2，T_r3参数的建立方法：

从晴天顺光条件下采集的X幅番茄彩色图像中，提取Y个番茄光斑区域共Z个像素的RGB值；将数据导入Excel；利用Excel中的SUMPRODUCT函数统计R=255，G=255时像素总数，然后确定95%以上的像素对应的B分量下限；同理，利用Excel中的SUMPRODUCT函数统计R=255，G<255时像素总数，然后确定95%以上的像素对应的B分量下限，再以G分量为横坐标，r_GB为纵坐标，绘制散布图，观察散布图，将G分量分为3个区间，每个区间使用不同的r_GB阈值。

Images