CN105574514A - 温室生西红柿自动识别方法 - Google Patents

Abstract

本发明提供了一种温室生西红柿自动识别方法，包括：步骤1：以廉价相机拍摄的西红柿彩色图像作为单源图像输入，在L*a*b*颜色空间下的a*分量图像和YIQ颜色空间下的I分量图像作为待融合的源图像；步骤2：通过小波变换将两幅特征图像进行像素级融合，根据所融合图像的灰度分布情况，采用一种自适应阈值分割算法获得图像分割的最佳阈值；步骤3：将目标果实从背景图像中区分开来。本发明中的方法可以有效降低光照变化对西红柿识别的干扰影响；同时也能够实现对相互粘连的成熟不一的西红柿进行识别，具有较高的可靠性和自适应性，是一种非常实用并且“廉价”的西红柿采摘机器人视觉解决方案。

Description

温室生西红柿自动识别方法

技术领域

本发明涉及图像处理技术领域，具体地，涉及一种利用图像处理实现温室环境下生长西红柿自动识别方法。

背景技术

近年来随着自动化技术的发展，农业机器人开始成为农业现代化的重要标志。果蔬采摘机器人以其技术的复杂性和综合性成为了农业机器人研究的热点，国内外研究者在这个领域开展了一系列研究工作，其中一个难点是自然生长环境下目标果实的自动识别问题。

果蔬采摘机器人在自然环境下对目标果实的自动识别其实就是采用机器视觉的方法，将成熟的果实影像从其它背景图像中分离出来。在以往的研究中，通常将相机采集到的彩色图像通过颜色空间变换，从单一的分量图像对目标果实进行特征识别。DavidC.Slaughter等提出了通过利用彩色图像的色度(chrominance)和亮度(intensity)信息从自然环境中分离果实的想法；中国农业大学的张铁中分别在L*a*b*、HSV和YCbCr等颜色空间下开展了系列针对西红柿图像目标果实提取的研究工作，并取得了较为理想的图像分割效果。

在本发明之前，专利号为CN103679144.A，发明名称为：一种基于计算机视觉的复杂环境下果蔬识别方法，公开了通过采用自适应加权方法对图像的颜色特征和纹理特征进行加权融合，最后采用最近邻分类算法将果蔬识别出来。但是这些方法的自适应性和鲁棒性都不高，而且所采用的纹理特征提取复杂不利于对实时要求高的应用场合。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种温室生西红柿自动识别方法。

根据本发明提供的温室生西红柿自动识别方法，包括如下步骤：

步骤1：采集温室中RGB格式的西红柿彩色图像；

步骤2：对RGB格式的西红柿彩色图像进行多颜色空间的特征图像提取；

步骤3：将步骤2提取的特征图像分量进行融合，得到融合后的图像；

步骤4：计算分割阈值，根据所述分割阈值对融合后的图像进行分割，得到分割后的图像；

步骤5：对分割后的图像进行去噪处理，得到识别结果图像。

优选地，所述步骤2包括：

步骤2.1：将RGB格式的西红柿彩色图像从RGB颜色空间转换为XYZ颜色空间；

步骤2.2：将XYZ颜色空间转换为L*a*b*颜色空间；

步骤2.3：从L*a*b*颜色空间中提取a*分量特征图像；

步骤2.4：RGB格式的西红柿彩色图像从RGB颜色空间转换为YIQ颜色空间，转换公式如下：

$\left(\begin{array}{c}r\\ I\\ Q\end{array}\right)=\left(\begin{array}{ccc}0.299& 0.587& 0.114\\ 0.596& 0.275& -0.321\\ 0.212& -0.523& 0.311\end{array}\right)\left(\begin{array}{c}R\\ G\\ B\end{array}\right)---\left(1\right);$

式中：R表示图像的红色分量、G表示图像的绿色分量、B表示图像的蓝色分量；Y表示图像的颜色明视度，I表示从橙色到青色的变化，Q表示从紫色到黄绿色的变化；

步骤2.5：从YIQ颜色空间中提取I分量特征图像。

优选地，所述步骤3包括：

步骤3.1：将a*分量特征图像和I分量特征图像进行小波分解，分解级数为三级，得到两个特征图像的小波系数，分别记为系数C1、系数C2；

步骤3.2：确定融合策略，求取小波融合系数；

步骤3.3：按照融合策略进行图像融合，得到多尺度图像；

步骤3.4：将多尺度图像进行小波反变换，得到融合后的图像。

优选地，所述步骤3.2包括：在小波融合策略中，融合系数为C，C＝(1-d)×C1+d×C2，其中C1、C2为a*分量特征图像和I分量特征图像三级小波分解所得系数，d＝X_max－X_min，d的取值范围为[01]，X_max和X_min分别为最大数据矩阵Lmax中的最大和最小值；Lmax表示a*分量图像和I分量图像中较大的矩阵。

优选地，所述步骤4包括：

步骤4.1：设融合后的图像大小为M×N，T表示图像上任意像素点(i，j)的灰度值，计算该图像中最大和最小的灰度值T_max和T_min，则某一次分割阈值的计算公式如下：

T_k＝(T_max+T_min)/2，此时k为自然数；

式中：T_k表示第k次计算得到的分割阈值，M表示融合后图像的像素矩阵的行数，N表示融合后图像的像素矩阵的列数；

步骤4.2：根据阈值T_k将融合后的图像分割成A、B两个区域，分别求取两个区域的平均灰度值T_A和T_B，计算更新的阈值T_k+1，计算公式如下：

T_k+1＝(T_A+T_B)/2；

步骤4.3：判断T_k+1的值是否等于T_k，若两个值相等，取T_k+1的值作为门限阈值T_m；若两个值不相等，则令T_k等于T_k+1的值执行步骤4.2；

步骤4.4：利用Otsu法自动获取图像分割阈值Tn；

步骤4.5：当Tm≥Tn时，令图像分割的阈值Tf＝Tn；当Tm＜Tn时，则令分割阈值Tf＝Tm；

步骤4.6：对融合后的图像进行分割处理，处理方式如公式(2)所示：

$f(i,j)=\left\{\begin{array}{cc}1& (T\≤T_f)\\ 0& (T\≥T_f)\end{array}\right.---\left(2\right);$

式中：f(i,j)表示第i行第j列的像素值，i表示图像的第i行，j表示图像的第j列。

优选地，所述步骤5包括：采用形态学处理的方法构建30×30像素面积的掩膜，通过将分割后的图像中联通区域的像素面积与掩膜面积进行比较，若联通区域面积小于等于掩膜面积则被认为是噪声，并该联通区域剔除；若联通区域面积大于掩膜面积，则将该联通区域保留在图像中。

与现有技术相比，本发明具有如下的有益效果：

1、本发明提供的温室生西红柿自动识别方法可以有效降低光照变化对西红柿识别的干扰影响；同时也能够实现对相互粘连的成熟不一的西红柿进行识别。

2、本发明提供的温室生西红柿自动识别方法具有较高的可靠性和自适应性，是一种非常实用并且“廉价”的西红柿采摘机器人视觉解决方案。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明提供的温室生西红柿自动识别方法流程图；

图2为本发明提供的特征图像融合流程图；

图3为本发明提供的识别方法的效果图；

1-a*分量图像；

2-I分量图像；

3-融合图像；

4-分割后图像；

5-西红柿识别结果图像。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

根据本发明提供的温室生西红柿自动识别方法，以西红柿彩色图像作为单源图像输入，通过多种颜色空间转换，优选了a*分量图像和I分量图像作为待融合的源图像，研究多颜色空间特征图像的融合策略和自适应阈值分割算法，实现对目标果实的自动分割方法。

L*a*b*颜色空间是由色度和亮度组成的3维空间颜色模型，它适用于一切光源色或物体色的表示与计算。其中L*分量表示心理明度，a*分量表示图像中颜色从红色到绿色的颜色分布信息，b*分量表示图像中颜色从黄色到蓝色的分布情况。因为a*和b*分量独立于亮度，所以光照强度的变化不会改变图像中a*、b*分量图像。

YIQ颜色空间是由RGB颜色空间中R、G、B三种分量经过线线性变换得到的，具体转化公式如下：

$\left(\begin{array}{c}r\\ I\\ Q\end{array}\right)=\left(\begin{array}{ccc}0.299& 0.587& 0.114\\ 0.596& 0.275& -0.321\\ 0.212& -0.523& 0.311\end{array}\right)\left(\begin{array}{c}R\\ G\\ B\end{array}\right)---\left(1\right)$

式中R、G、B——RGB颜色空间中R、G、B分量

Y、I、Q——YIQ颜色空间中的三个分量，其中Y表示颜色明视度、I代表从橙色到青色的变化、Q表示从紫色到黄绿色的变化。

图像融合是指将针对同一目标或场景且来源不同的多张图像经过特殊的算法融合为一幅图像，以增强其某一特征信息。当前常用的图像融合的方法主要是基于多尺度图像分析的方法，其中小波变换是比较经典的图像融合方法。本发明即采用小波变换的融合方法，将所提取的a*分量图像和I分量图像进行像素级融合，使得目标果实特征信息得到增强。

由于待融合的源图像是由同一张彩色图像经过颜色空间转换而来，所以相较多源传感图像的融合，可以省略图像配准的步骤。在小波变换融合图像过程中，融合的策略为加权平均的方式，加权系数则采用最大值选取的方法来决定。

如图1所示，包括以下步骤：

步骤S1：输出RGB彩色图像；

具体地，以大棚环境下生长的西红柿图像作为试验对象，试验样本采用从上海孙桥现代农业园区的温室大棚实地拍摄的西红柿图像，拍摄的相机选用大恒图像的MER-500-7UC型数字相机，输出的彩色图像分辨率为2592×1944。

步骤S2：提取多颜色空间特征图像；

具体地，从L*a*b*和YIQ颜色空间分别提取a*分量特征图像和I分量特征图像。包括：

步骤S2.1：将彩色图像从RGB颜色空间转换到XYZ颜色空间；

步骤S2.2：将XYZ颜色空间图像转换为L*a*b*颜色空间图像；

步骤S2.3：将a*分量特征图像从L*a*b*颜色空间中提取出来；

步骤S2.4：将彩色图像从RGB颜色空间转换为YIQ颜色空间，转换公式如公式(1)所示；

步骤S2.5：再将I分量特征图像从YIQ颜色空间中提取出来。

步骤S3：将分别提取出来的a*分量特征图像和I分量特征图像按照小波融合的原理进行像素级融合；

融合过程如图2所示，包括：

步骤S3.1：首先将a*分量特征图像和I分量特征图像进行小波分解，分解级数为3级，得到两个特征图像的小波系数；

步骤S3.2：确定融合策略，求取小波融合系数；

步骤S3.3：按照融合策略进行图像融合，得到多尺度图像；

步骤S3.4：进行小波反变换，得到融合后的图像。

步骤S4：自适应阈值分割；

为了保证图像的分割阈值能够随着自适应调整，采用了一种自适应阈值分割算法，结合迭代算法与最大类间方差法两种阈值求取算法，分别求阈值Tm和Tn作为门限阈值，通过比较这两个阈值，确定最终的分割阈值Tf。

具体地，为了实现从图像中将目标果实有效分割出来，通常采用的是基于阈值的分割方法，其关键是自动选择合适的分割阈值。从灰度分布情况可以看出，融合后的图像灰度直方图呈现双峰分布，成熟西红柿图像区域的灰度位于右侧的低矮峰值，而灰度较低像素数量角度的一侧峰值则代表的是背景图像。本文采用一种自适应阈值分割算法，它结合了迭代算法与最大类间方差法(Otsu)的优点。具体步骤如下：

步骤S4.1：设融合后的图像大小为M×N，T表示图像上任意像素点(i，j)的灰度值，计算该图像中最大和最小的灰度值T_max和T_min，则某一次分割阈值的计算公式如下：

T_k＝(T_max+T_min)/2，此时k为自然数；

步骤S4.2：根据阈值T_k将融合后的图像分割成A、B两个区域，分别求取两个区域的平均灰度值T_A和T_B，计算更新的阈值T_k+1，计算公式如下：

T_k+1＝(T_A+T_B)/2；

步骤S4.3：判断T_k+1的值是否等于T_k，若两个值相等，取T_k+1的值作为门限阈值T_m；若两个值不相等，则令T_k等于T_k+1的值执行步骤S4.2；

步骤S4.4：利用Otsu法自动获取阈值Tn；

步骤S4.5：当Tm≥Tn时，令图像分割的阈值Tf＝Tn；当Tm＜Tn时，则令分割阈值Tf＝Tm；

步骤S4.6：对融合后的图像进行分割处理，处理方式如公式(2)所示：

$f(i,j)=\left\{\begin{array}{cc}1& (T\≤T_f)\\ 0& (T\≥T_f)\end{array}\right.---\left(2\right);$

步骤S5：形态学去噪处理；

如图3中的分割后图像4所示，针对进过分割处理后得到的图像可能存在少量噪声，采用形态学处理的办法，构建30×30像素面积的掩膜，通过将处理后的二值图像中联通区域的像素面积与掩膜面积进行比较，如果面积小于掩膜面积则被认为是噪声，并将其剔除；如果面积大于掩膜面积则保留在图像中。

步骤S6：输出结果。如图3中的西红柿识别结果图像5所示，即为最终输出的识别结果。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (6)

1.一种温室生西红柿自动识别方法，其特征在于，包括如下步骤：

步骤1：采集温室中RGB格式的西红柿彩色图像；

步骤2：对RGB格式的西红柿彩色图像进行多颜色空间的特征图像提取；

步骤3：将步骤2提取的特征图像分量进行融合，得到融合后的图像；

步骤4：计算分割阈值，根据所述分割阈值对融合后的图像进行分割，得到分割后的图像；

步骤5：对分割后的图像进行去噪处理，得到识别结果图像。

2.根据权利要求1所述的温室生西红柿自动识别方法，其特征在于，所述步骤2包括：

步骤2.1：将RGB格式的西红柿彩色图像从RGB颜色空间转换为XYZ颜色空间；

步骤2.2：将XYZ颜色空间转换为L*a*b*颜色空间；

步骤2.3：从L*a*b*颜色空间中提取a*分量特征图像；

步骤2.4：RGB格式的西红柿彩色图像从RGB颜色空间转换为YIQ颜色空间，转换公式如下：

$\left(\begin{array}{c}Y\\ I\\ Q\end{array}\right)=\left(\begin{array}{ccc}0.299& 0.587& 0.114\\ 0.596& 0.275& -0.321\\ 0.212& -0.523& 0.311\end{array}\right)\left(\begin{array}{c}R\\ G\\ B\end{array}\right)---\left(1\right);$

式中：R表示图像的红色分量、G表示图像的绿色分量、B表示图像的蓝色分量；Y表示图像的颜色明视度，I表示从橙色到青色的变化，Q表示从紫色到黄绿色的变化；

步骤2.5：从YIQ颜色空间中提取I分量特征图像。

3.根据权利要求2所述的温室生西红柿自动识别方法，其特征在于，所述步骤3包括：

步骤3.1：将a*分量特征图像和I分量特征图像进行小波分解，分解级数为三级，得到两个特征图像的小波系数，分别记为系数C1、系数C2；

步骤3.2：确定融合策略，求取小波融合系数；

步骤3.3：按照融合策略进行图像融合，得到多尺度图像；

步骤3.4：将多尺度图像进行小波反变换，得到融合后的图像。

4.根据权利要求3所述的温室生西红柿自动识别方法，其特征在于，所述步骤3.2包括：在小波融合策略中，融合系数为C，C＝(1-d)×C1+d×C2，其中C1、C2为a*分量特征图像和I分量特征图像三级小波分解所得系数，d＝X_max－X_min，d的取值范围为[01]，X_max和X_min分别为最大数据矩阵Lmax中的最大和最小值；Lmax表示a*分量图像和I分量图像中较大的矩阵。

5.根据权利要求3所述的温室生西红柿自动识别方法，其特征在于，所述步骤4包括：

步骤4.1：设融合后的图像大小为M×N，T表示图像上任意像素点(i，j)的灰度值，计算该图像中最大和最小的灰度值T_max和T_min，则某一次分割阈值的计算公式如下：

T_k＝(T_max+T_min)/2，此时k为自然数；

式中：T_k表示第k次计算得到的分割阈值，M表示融合后图像的像素矩阵的行数，N表示融合后图像的像素矩阵的列数；

步骤4.2：根据阈值T_k将融合后的图像分割成A、B两个区域，分别求取两个区域的平均灰度值T_A和T_B，计算更新的阈值T_k+1，计算公式如下：

T_k+1＝(T_A+T_B)/2；

步骤4.3：判断T_k+1的值是否等于T_k，若两个值相等，取T_k+1的值作为门限阈值T_m；若两个值不相等，则令T_k等于T_k+1的值执行步骤4.2；

步骤4.4：利用Otsu法自动获取图像分割阈值Tn；

步骤4.5：当Tm≥Tn时，令图像分割的阈值Tf＝Tn；当Tm＜Tn时，则令分割阈值Tf＝Tm；

步骤4.6：对融合后的图像进行分割处理，处理方式如公式(2)所示：

$f(i,j)=\left\{\begin{array}{cc}1& (T\≤T_f)\\ 0& (T\≥T_f)\end{array}\right.---\left(2\right);$

式中：f(i,j)表示第i行第j列的像素值，i表示图像的第i行，j表示图像的第j列。

6.根据权利要求1所述的温室生西红柿自动识别方法，其特征在于，所述步骤5包括：采用形态学处理的方法构建30×30像素面积的掩膜，通过将分割后的图像中联通区域的像素面积与掩膜面积进行比较，若联通区域面积小于等于掩膜面积则被认为是噪声，并该联通区域剔除；若联通区域面积大于掩膜面积，则将该联通区域保留在图像中。