CN113361315B - 基于背景饱和度压缩与差异阈值分割融合的香蕉串识别方法 - Google Patents

Abstract

本发明提出一种基于背景饱和度压缩与差异阈值分割融合的香蕉串识别方法，先压缩原始香蕉串RGB图像的分辨率，再将图像转换至HSV颜色空间，然后对图像背景饱和度做自适应阈值的伽马变换和半值压缩，接着以大、小差异阈值范围，采用阈值分割、孔洞填充和连通域提取等形态学处理方法对背景压缩的饱和度分量与色调分量的差值图像进行分割、融合，从而识别出准确度高、噪声点少的香蕉串。本法对自然香蕉园环境下采集的图像样本正确识别出香蕉串的占比92.56％；在正确识别的图像样本中，香蕉串识别的准确度高于0.85的占比39.29％，介于0.80到0.85的占比46.43％，低于0.80的占比14.28％。本法能较好地适应不同光照和环境颜色下香蕉串的识别，可为机器人采摘作业提供香蕉串的定位依据。

Description

基于背景饱和度压缩与差异阈值分割融合的香蕉串识别方法

技术领域

本发明涉及图像识别领域，更具体地，涉及一种基于图像背景饱和度压缩与差异阈值范围分割融合的香蕉串识别方法。

背景技术

香蕉作为岭南的特色水果和经济作物，种植规模大，适收期的香蕉串重量普遍在30kg左右，目前香蕉采收为人工方式，由多人协作完成，劳动强度大、采摘效率低，同时农业劳动力短缺导致人工成本不断攀升，严重制约香蕉的产业发展和经济效益。而采摘机器人可实现香蕉串采摘的机械化和智能化，不仅可以提高采摘效率、降低生产成本，还能解决农业劳动力短缺等问题。然而，如何准确、快速地识别出香蕉串是机器人完成采摘作业的前提和关键。因此，在自然香蕉园环境下，研究准确度高、鲁棒性强、实时性好的香蕉串识别方法具有重要的实用价值和广阔的应用前景。

基于颜色差异和形状拟合的果蔬识别方法应用于自然环境下香蕉串的识别仍存在一些问题，主要体现在三方面：(1)适收期的香蕉颜色(绿色)与环境背景基本一致，相比苹果、柑橘等颜色差异明显的水果识别难度更大；(2)香蕉串外形不规则，难以像苹果、西红柿等采用类圆形进行拟合；(3)香蕉园自然环境的不确定性和光照变化的干扰，如宽大的香蕉叶片容易反光、透光及遮挡香蕉串，从而影响香蕉串的图像采集质量和识别准确度。

目前，随着人工智能、深度学习和计算机技术的发展，基于卷积神经网络的图像识别已成为研究的热点，被广泛应用于农业等多个领域。虽然卷积神经网络等深度学习方法能获得较好的识别效果，但耗时、费力、应用成本较高。此外，卷积神经网络结构复杂，待训练的参数非常多，故需要的图像样本量巨大、训练时间较长；而且训练好的卷积神经网络部署到采摘机器人上难度也很大，因为它对系统的硬件配置和兼容性要求较高。

综上所述，在香蕉串的识别准确度能满足机器人采摘作业的前提下，传统图像识别方法对视觉系统的硬件要求不高，在机器人上部署便捷，应用成本低、移植性强。但容易受光照变化以及茎叶颜色与香蕉串相似度高等环境因素的影响，导致香蕉串识别的准确度下降。因此，提出一种新的香蕉串识别方法是非常有意义的。

发明内容

本发明为克服上述现有技术所述的至少一种缺陷(不足)，提供一种基于背景饱和度压缩与差异阈值分割融合的香蕉串识别方法，该方法具有准确度高、噪声点少的优点。

为解决上述技术问题，本发明的技术方案如下：

一种基于背景饱和度压缩与差异阈值分割迭代融合的香蕉串识别方法，是对自然香蕉园环境中适收期的香蕉串进行识别的方法，包括以下步骤：

(1)压缩原始香蕉串RGB图像的分辨率；

(2)将压缩后的图像转换到HSV颜色空间；

(3)对图像背景饱和度做自适应阈值的伽马变换和半值压缩；

(4)以大、小差异阈值范围，采用阈值分割、孔洞填充和连通域提取等形态学处理方法对由步骤(3)压缩后的饱和度分量与色调分量的差值图像进行分割、融合，从而识别出准确度高、噪声点少的香蕉串。

优选的，所述HSV颜色空间各分量的范围都转换成0-255。

优选的，步骤(3)对图像背景饱和度做自适应阈值的伽马变换和半值压缩的具体过程为：基于香蕉串的背景饱和度图像，自适应提取香蕉串潜在区域的饱和度阈值，然后对小于饱和度阈值的图像背景做自适应系数的伽马变换；对大于饱和度阈值的图像背景做半值压缩，从而得到背景压缩的香蕉串饱和度图像，增强了香蕉串潜在区域的对比度。

优选的，自适应提取香蕉串潜在区域的饱和度阈值的过程为：

基于图像样本自适应提取香蕉串潜在区域的饱和度阈值，即先根据每个图像样本饱和度分量中各灰度等级的像素个数及其所占比率确定香蕉串潜在区域的饱和度参考阈值，然后在此基础上做相应的修正，进而得到香蕉串潜在区域的饱和度阈值；

假设饱和度图像的分辨率为M×N，统计出灰度等级k的像素个数n_k，则其在图像中所占比率p(k)为：

式中L——饱和度的最高灰度等级，L＝255；

由于饱和度图像中香蕉串潜在区域的灰度等级较高，故可剔除灰度等级较低的区域，以缩小统计范围，提高图像处理速度，因此，选取合适的灰度等级c，仅在高于c的灰度等级区域(c，L)内提取香蕉串潜在区域的饱和度参考阈值m。为了增强可靠性，采用区域灰度等级比率总和最大法来确定香蕉串的饱和度参考阈值m。将灰度等级区域(c，L)按顺序以长度r均分成q个子区域，然后分别统计各子区域中r个灰度等级在图像中所占比率的总和P(i)，其表达式为：

考虑到香蕉串潜在区域的灰度等级在图像中所占比例均较大，由概率统计可知，比率总和最大的子区域即为香蕉串饱和度参考阈值的潜在区域。因此，先由式(3)遍历出q个灰度等级子区域中比率总和最大值P(t)所对应的子区域t，再由式(4)遍历出子区域t内所占图像比率最高的灰度等级，即为香蕉串潜在区域的饱和度参考阈值m：

P(t)＝max(P(i)),i＝1,2,…,q (3)

接着按式(5)、(6)分别对饱和度参考阈值m做适当的修正，即得香蕉串潜在区域的低饱和度阈值η、高饱和度阈值μ：

η＝m-δ (5)

μ＝m+δ (6)

式中δ——饱和度阈值的修正量；

即步骤(3)对图像背景饱和度做自适应阈值的伽马变换和半值压缩的具体过程进一步确定为：基于香蕉串的背景饱和度图像，自适应提取香蕉串潜在区域的高饱和度阈值和低饱和度阈值，然后对小于低饱和度阈值的图像背景做自适应系数的伽马变换；对大于高饱和度阈值的图像背景做半值压缩，从而得到背景压缩的香蕉串饱和度图像。

优选的，对小于低饱和度阈值的图像背景做自适应系数的伽马变换的过程是：

已知伽马变换的基本形式为：

s＝au^γ (7)

式中u——伽马变换输入灰度值

s——伽马变换输出灰度值

γ——伽马系数

a——伽马变换常数

当式(7)中伽马系数γ大于1时，对灰度等级较低的区域压缩效果明显，符合本文对香蕉串低饱和度图像背景区域的压缩要求；

则为了实现基于图像的自适应伽马变换，故以低饱和度阈值η来确定伽马系数γ。因伽马变换的输入和输出灰度值范围均为0-1，而低饱和度阈值η的范围为0-255，故须先进行归一化处理，即η/255；

低饱和度阈值η的压缩率取5/6时能较好地压缩图像背景饱和度，将其代入式(7)可得求解伽马系数γ的表达式，即

由式(8)解算出伽马系数γ后，进行图像遍历，对小于低饱和度阈值η的图像背景饱和度按式(7)进行伽马变换以降低其灰度值，从而增强与香蕉串潜在区域的对比度。

优选的，对大于高饱和度阈值的图像背景做半值压缩的过程是：

式中x——半值压缩的输入饱和度值；

y——半值压缩的输出饱和度值。

优选的，步骤(4)以大、小差异阈值范围，采用阈值分割、孔洞填充和连通域提取等形态学处理方法对由步骤(3)压缩后的饱和度分量与色调分量的差值图像进行分割、融合，从而识别出准确度高、噪声少的香蕉串，其过程是：

为了尽可能减少光照影响，同时进一步提高香蕉串潜在区域的对比度，将背景压缩后的饱和度分量S和色调分量H做差值2S-H，然后采用阈值分割、孔洞填充、连通域提取等形态学处理方法对2S-H差值图像进行香蕉串识别；

根据各灰度等级像素个数在2S-H差值图像中所占比率最大来确定香蕉串潜在区域的中心阈值，并在此基础上作修正得到分割香蕉串的大、小阈值范围；

以大阈值范围进行分割，提取出较为完整的香蕉串，但背景噪声点也较多，需要进一步滤除噪声点；而以小阈值范围进行分割，提取出的香蕉串完整性相对较差，但噪声点大幅减少。因此，将大、小阈值范围分割方法进行结合，提出差异阈值范围分割与融合的香蕉串识别方法，其主要的操作步骤如下：

Step1：以大阈值范围对2S-H差值图像进行分割，提取出完整度高但噪声点多的香蕉串；

Step2：以小阈值范围对2S-H差值图像进行分割，提取出完整度较差但噪声点少的香蕉串；

Step3：对Step2的分割结果进行孔洞填充、连通域提取，并去除最大的连通域，从而获取部分背景噪声；

Step4：由于Step3获取的背景噪声同样存在于Step1分割结果中，故将Step1分割结果与Step3获取的背景噪声做差值融合将其滤除，以切断部分背景噪声与香蕉串区域的连通；

Step5：对Step4的结果做孔洞填充、连通域提取，并去除最大的连通域，即得Step1结果中大部分的背景噪声；

Step6：将Step4的分割结果与Step5提取的背景噪声做差值融合，最终得到准确度高、噪声点少的香蕉串。

优选的，为了评估本文方法对香蕉串的识别效果，采用交并比方式定义香蕉串的识别准确度ρ，其表达式为：

式中T——香蕉串分割区域与实际区域的交集像素

R——香蕉串分割区域与实际区域的并集像素

准确度ρ的数值范围为0-1，其数值越大表明本文方法对香蕉串识别的准确度越高。

与现有技术相比，本发明技术方案的有益效果是：

自然香蕉园环境下适收期香蕉串的快速、准确识别是实现机器人采摘的前提和关键。虽然卷积神经网络等深度学习算法对香蕉串识别的准确率较高，但存在样本需求量大、训练时间长、硬件配置高、机器人上部署难度大等问题。而传统图像识别方法硬件要求不高、移植性强、实时性好，但容易受光照、背景颜色等因素影响导致识别的香蕉串不完整且噪声点多，难以满足机器人的采摘作业要求。

因此，本发明的一种基于图像背景饱和度压缩与差异阈值分割融合的香蕉串识别方法，能够获得噪声点少、准确度高的香蕉串。实验结果表明，本方法对自然香蕉园环境下采集的图像样本正确识别出香蕉串的占比92.56％；而在正确识别的图像样本中，香蕉串识别的准确度高于0.85的占比39.29％，介于0.80到0.85的占比46.43％，低于0.80的占比14.28％。本方法能较好地适应不同光照和环境颜色下香蕉串的识别，可为机器人采摘作业提供香蕉串的定位依据。

附图说明

图1为香蕉串识别流程图；

图2为基于伽马变换和半值压缩的图像背景饱和度压缩流程图；

图3为伽马变换示意图；

图4为差异阈值范围分割与融合的香蕉串识别流程图；

图5为香蕉串RGB图像及其HSV各分量示意图；

图6为受透光区域干扰的香蕉串示意图；

图7为饱和度阈值自适应提取直方图；

图8为图像背景未压缩的饱和度直方图；

图9为图像背景压缩后的饱和度直方图；

图10为不同饱和度背景的区域分割结果示意图；

图11为饱和度分量和色调分量差值直方图；

图12为小阈值范围分割香蕉串示意图；

图13为大阈值范围分割香蕉串示意图；

图14为差异阈值分割与融合识别香蕉串的流程示意图；

图15为香蕉串识别示例。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；

对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。下面结合附图和实施例对本发明的技术方案做进一步的说明。

本发明提出的一种基于图像背景饱和度压缩与差异阈值范围分割融合的香蕉串识别方法，对自然香蕉园环境中适收期的香蕉串进行识别，其主要内容包含三个方面：

(1)根据香蕉串HSV图像的饱和度分量中各灰度等级的像素比例自适应提取香蕉串潜在区域的饱和度阈值并据此确定伽马系数，然后对相应饱和度阈值区域的图像背景做伽马变换或半值压缩以降低其灰度值，从而增强与香蕉串潜在区域的对比度，以便提高香蕉串的识别准确度；

(2)提出基于差异阈值范围分割与融合的方法，以大、小范围的差异阈值，采用阈值分割、孔洞填充和连通域提取等形态学处理技术，对背景压缩后的饱和度S分量与色调H分量差值(2S-H)图像进行香蕉串识别，即由大、小阈值范围分别提取出完整度高但噪声点多的香蕉串和环境背景噪声，再将二者的分割结果做差值融合以去除背景噪声，从而得到准确度高、噪声点少的香蕉串；

(3)通过自然香蕉园环境中以不同距离和视角在多种光照条件下采集的香蕉串图像样本对本文方法的识别效果进行验证，对实验结果进行分析和讨论。

由于适收期的香蕉串颜色与环境背景相似度较高，同时光照变化、叶片和香蕉串反光等因素的影响，使得在RGB图像中识别香蕉串准确度低、噪声点多。而通过分析HSV图像发现，香蕉串的饱和度S值较大，超过大部分的环境背景，可以通过饱和度阈值进行分割；香蕉串的色调H值与环境背景基本一致，难以直接通过阈值识别；此外，光照对图像的影响主要体现在强度分量V中，所以为了减少光照影响，在香蕉串识别时不考虑强度分量。因此，选择在饱和度分量S和色调分量H的差值图像中进行香蕉串识别。显然，要先将采集的香蕉串RGB图像转换成HSV图像，为便于计算，将HSV颜色空间各分量的范围都转换成0-255。

为了提高香蕉串的识别准确度和鲁棒性，提出基于图像背景饱和度压缩与差异阈值分割融合的香蕉串识别方法，实现流程如图1所示。为了减少计算量，提高识别速度，先压缩原始香蕉串RGB图像分辨率，再将图像转换至HSV颜色空间，然后对图像背景饱和度做自适应阈值的伽马变换和半值压缩以增强香蕉串潜在区域与环境背景的对比度，接着以大、小差异阈值范围，采用阈值分割、孔洞填充和连通域提取等形态学处理方法对饱和度分量与色调分量的差值图像进行分割、融合，从而识别出准确度高、噪声点少的香蕉串。

上述过程具体步骤如下：

步骤一：原始香蕉串RGB图像的分辨率压缩和颜色空间转换；

由于适收期的香蕉串颜色与环境背景相似度较高，同时光照变化、叶片和香蕉串反光等因素的影响，使得在RGB图像中识别香蕉串准确度低、噪声点多。而通过分析HSV图像发现，香蕉串的饱和度S值较大，超过大部分的环境背景，可以通过饱和度阈值进行分割；香蕉串的色调H值与环境背景基本一致，难以直接通过阈值识别；光照对图像的影响主要体现在强度分量V中，所以为了减少光照影响，在香蕉串识别时不考虑强度分量。因此，选择在饱和度分量S和色调分量H的差值图像中进行香蕉串识别。显然，需要将采集的香蕉串原始图像从RGB转换至HSV颜色空间，且各分量的范围都为0-255。此外，为了减少计算量，提高识别速度，需先将原始香蕉串RGB图像分辨率压缩至560×300像素。

步骤二：香蕉串潜在区域的饱和度阈值自适应提取；

为了准确地压缩图像中环境背景的饱和度，同时保持香蕉串潜在区域的饱和度不变，必须先确定图像中香蕉串潜在区域的饱和度阈值。然而，由于光照、采集角度等因素的影响，使得不同图像中香蕉串的饱和度阈值存在差异，因此，基于图像样本自适应提取香蕉串潜在区域的饱和度阈值，即先根据每个图像样本饱和度分量中各灰度等级的像素个数及其所占比率确定香蕉串潜在区域的饱和度参考阈值，然后在此基础上做相应的修正，进而得到香蕉串潜在区域的饱和度阈值。显然，准确提取香蕉串潜在区域的饱和度参考阈值是图像背景饱和度取得良好压缩效果的前提和关键。

假设饱和度图像的分辨率为M×N，统计出灰度等级k的像素个数n_k，则其在图像中所占比率p(k)为：

式中L——饱和度的最高灰度等级(L＝255)。

由于饱和度图像中香蕉串潜在区域的灰度等级较高，故可剔除灰度等级较低的区域，以缩小统计范围，提高图像处理速度，因此，选取合适的灰度等级c，仅在高于c的灰度等级区域(c，L)内提取香蕉串潜在区域的饱和度参考阈值m。为了增强可靠性，采用区域灰度等级比率总和最大法来确定香蕉串的饱和度参考阈值m。将灰度等级区域(c，L)按顺序以长度r均分成q个子区域，然后分别统计各子区域中r个灰度等级在图像中所占比率的总和P(i)，其表达式为：

考虑到香蕉串潜在区域的灰度等级在图像中所占比例均较大，由概率统计可知，比率总和最大的子区域即为香蕉串饱和度参考阈值的潜在区域。因此，先由式(3)遍历出q个灰度等级子区域中比率总和最大值P(t)所对应的子区域t，再由式(4)遍历出子区域t内所占图像比率最高的灰度等级，即为香蕉串潜在区域的饱和度参考阈值m：

P(t)＝max(P(i)),i＝1,2,…,q (3)

接着按式(5)、(6)分别对饱和度参考阈值m做适当的修正，即得香蕉串潜在区域的低饱和度阈值η、高饱和度阈值μ：

η＝m-δ (5)

μ＝m+δ (6)

式中δ——饱和度阈值的修正量。

步骤三：低饱和度图像背景自适应系数的伽马变换；

伽马变换的基本形式为：

s＝au^γ (7)

式中u——伽马变换输入灰度值

s——伽马变换输出灰度值

γ——伽马系数

a——伽马变换常数

当式(7)中伽马系数γ取不同值时可得到图3所示的伽马变换曲线，其中伽马系数γ大于1时，对灰度等级较低的区域压缩效果明显，符合本文对香蕉串低饱和度图像背景区域的压缩要求。

为了实现基于图像的自适应伽马变换，故以低饱和度阈值η来确定伽马系数γ。由图3可知，伽马变换的输入和输出灰度值范围均为0-1，而低饱和度阈值η的范围为0-255，故须先进行归一化处理，即η/255。通过实验可知，低饱和度阈值η的压缩率取5/6时可以较好地压缩图像背景饱和度，将其代入式(7)可得求解伽马系数γ的表达式，即

由式(8)解算出伽马系数γ后，进行图像遍历，对小于低饱和度阈值η的图像背景饱和度按式(7)进行伽马变换以降低其灰度值，从而增强与香蕉串潜在区域的对比度。

步骤四：高饱和度图像背景的半值压缩；

香蕉叶片经透光、反光会大幅提高其饱和度值，甚至超过香蕉串，但与香蕉串潜在区域的饱和度值差异并不明显，这将对香蕉串的识别产生干扰。因此，需要对这些高饱和度的图像背景区域进行压缩以提高香蕉串潜在区域的对比度。

对图像中高饱和度的背景区域分析发现，其灰度值归一化后通常大于0.9，由图3可知，该区域的灰度值经伽马变换后压缩率较小，其输出灰度值可能落在香蕉串潜在区域，将会影响香蕉串的识别准确度，因此，高饱和度的图像背景不适合采用伽马变换进行压缩。根据分析结果，香蕉串潜在区域的饱和度值处在180-230的区域，而高饱和度图像背景的饱和度值处在230-255的区域，若半值压缩后其饱和度区域为115-128。显然，高饱和度的图像背景半值压缩后不会与香蕉串潜在区域的饱和度发生重叠，并且具有一定的饱和度差值，所以对高饱和度的图像背景采用半值压缩，即

式中x——半值压缩的输入饱和度值；

y——半值压缩的输出饱和度值。

步骤五：差异阈值范围分割与融合的香蕉串识别；

为了尽可能减少光照影响，同时进一步提高香蕉串潜在区域的对比度，将背景压缩后的饱和度分量S和色调分量H做差值2S-H，然后采用阈值分割、孔洞填充、连通域提取等形态学处理方法对2S-H差值图像进行香蕉串识别。

与自适应确定饱和度阈值的方法类似，根据各灰度等级像素个数在2S-H差值图像中所占比率最大来确定香蕉串潜在区域的中心阈值，并在此基础上作修正得到分割香蕉串的大、小阈值范围。通过实验发现，以大阈值范围进行分割，可提取出较为完整的香蕉串，但背景噪声点也较多，需要进一步滤除噪声点；而以小阈值范围进行分割，提取出的香蕉串完整性相对较差，但噪声点大幅减少。因此，将大、小阈值范围分割方法进行结合，提出差异阈值范围分割与融合的香蕉串识别方法，其实现流程如图4所示，主要的操作步骤如下：

Step1：以大阈值范围对2S-H差值图像进行分割，提取出完整度高但噪声点多的香蕉串；

Step2：以小阈值范围对2S-H差值图像进行分割，提取出完整度较差但噪声点少的香蕉串；

Step3：对Step2的分割结果进行孔洞填充、连通域提取，并去除最大的连通域，从而获取部分背景噪声；

Step4：由于Step3获取的背景噪声同样存在于Step1分割结果中，故将Step1分割结果与Step3获取的背景噪声做差值融合将其滤除，以切断部分背景噪声与香蕉串区域的连通；

Step5：对Step4的结果做孔洞填充、连通域提取，并去除最大的连通域，即得Step1结果中大部分的背景噪声；

Step6：将Step4的分割结果与Step5提取的背景噪声做差值融合，最终得到准确度高、噪声点少的香蕉串。

该方法融合了大、小阈值范围分割的特点，可以将香蕉串潜在区域与背景噪声做高区分度的分割，不仅能提取出准确度高的香蕉串，而且能滤除绝大部分的背景噪声。

为了评估本文方法对香蕉串的识别效果，采用交并比方式定义香蕉串的识别准确度ρ，其表达式为：

式中T——香蕉串分割区域与实际区域的交集像素

R——香蕉串分割区域与实际区域的并集像素

准确度ρ的数值范围为0-1，其数值越大表明本文方法对香蕉串识别的准确度越高。

基于上述方法的实验及结果分析如下：

香蕉串图像背景的饱和度压缩实验

选取图5(a)、(e)所示RGB图像样本，其中香蕉串与香蕉茎叶等环境背景的颜色非常接近，转换至HSV颜色空间后各分量如图5所示。其中，图5(b)、(f)所示色调分量H中香蕉串与环境背景的差异性不大，故难以直接进行分割；图5(c)、(g)所示饱和度分量S中香蕉串亮度高于环境背景，表明其饱和度值较大，可进行阈值分割；而光照的影响主要体现在图5(d)、(h)所示强度分量V中。

为了说明香蕉叶片透光对图像背景的影响，将图6(a)、(c)所示RGB图像样本转换至HSV颜色空间，并做2S-H差值运算、区间提取和二值化处理生成6(b)、(d)所示二值图，其中白色区域主要是香蕉串，但还有部分是叶片透光区域，这是因为强光照射蕉叶产生透光而增强了饱和度，使其接近甚至高于香蕉串，难以直接通过香蕉串阈值将其滤除，故需要压缩叶片透光区域的饱和度，增强与香蕉串的对比度。

以图5(c)所示饱和度图像为例，采用本文所述饱和度阈值自适应提取方法在灰度等级大于c＝150的区域提取出参考阈值m＝204、低饱和度阈值η＝191、高饱和度阈值μ＝217，如直方图7所示。将η值代入式(8)解得伽马系数γ＝1.63，然后对小于阈值η的低饱和度背景区域做伽马变换，对大于阈值μ的高饱和度背景区域做半值压缩。背景饱和度压缩前、后的直方图如图8、9所示，对比可知，香蕉串潜在区域的灰度值基本不变，而压缩后的背景饱和度灰度值分布在160以内，其中80以内的灰度等级区域像素个数明显增多。压缩后的背景饱和度与香蕉串潜在区域的灰度等级差值超过30，较好地增强了香蕉串潜在区域与图像背景的对比度。

为了验证伽马变换和半值压缩的效果，对图像背景饱和度做不同程度的压缩后再进行饱和度分量与色调分量差值运算(2S-H)，并做区域分割与二值化处理，得到图10所示区域分割二值结果。图10(a)中背景未压缩，白色区域较多，表明大部分环境背景的饱和度值较高，在分割时会对香蕉串产生干扰；图10(b)只做了伽马变换，环境背景中白色区域明显减少，表明伽马变换降低了大部分环境背景的饱和度值；而图10(c)中香蕉叶片透光处的白色噪声区域进一步减少，表明半值压缩使图像背景透光处的高饱和度值下降。

由图5(c)所示饱和度图像做伽马变换和半值压缩后，与图5(b)所示色调图像做差值2S-H，统计出该差值图像的直方图如图11所示，其中香蕉串潜在区域的灰度等级集中在190左右，且像素个数较多；而图像背景的饱和度压缩效果明显，其像素个数大幅减少，显然，较好地增强了香蕉串潜在区域的对比度。

差异阈值分割与融合的香蕉串识别实验

由图11可知，香蕉串潜在区域位于饱和度与色调分量差值直方图的峰值区域，先由灰度等级比率最大法提取出峰值195，然后以±10对其修正得到185～205的小阈值范围，对香蕉串进行阈值分割、孔洞填充和连通域提取，结果如图12所示；同理，以±20对峰值修正得到175～215的大阈值范围，同样对香蕉串进行分割，结果如图13所示。

图12中，小阈值范围分割出的香蕉串噪声很少，但香蕉串完整度较差。而图13中大阈值范围分割出的香蕉串完整度较好，但背景噪声较多，这表明以单个阈值范围难以分割出理想的香蕉串。因此，采用大、小差异阈值分割与融合方法，其实现过程如图14所示，其中大阈值分割后香蕉串的识别准确度为0.5602，经第一次差值融合后香蕉串的识别准确度ρ为0.6488，而第二次差值融合后香蕉串的识别准确度ρ为0.8542。由图12-14的结果对比可知，本文方法识别出的香蕉串不仅准确度较高，而且有效滤除了背景噪声。

为了验证本文方法的适用性，对121个图像样本进行香蕉串识别，结果如表1所示，其中正确识别出香蕉串的为112个，占比92.56％；识别错误的9个，占比7.44％。

表1图像样本的香蕉串识别结果

	样本总数	识别正确	识别错误
				图像数量	121	112	9
占比	100％	92.56％	7.44％

对于少数图像样本中香蕉串未能正确识别的主要原因：一是因为图像中存在多个香蕉串，且位于不同的香蕉植株；二是采集距离较远使得香蕉串在图像中所占比例太小，导致分割出的香蕉串区域小于背景区域，从而难以正确识别。而实际应用中，采摘机器人近距离采集香蕉串图像，并且香蕉串体积较大，图像中一般不会出现多个香蕉串或者香蕉串区域太小，因此，可以较好地避免和较少错误识别率。

而对于正确识别的112个图像样本，由式(10)分别计算出香蕉串的识别准确度，统计结果如表2所示，其中准确度高于0.85的占比39.29％；介于0.80～0.85的占比46.43％；低于0.80的占比14.28％。

表2香蕉串的识别准确度

为了进一步验证本文方法的鲁棒性，选取环境背景与香蕉串颜色相似度较高，并且存在光照不均、反光、透光等现象的图像样本进行实验，将识别结果用包含香蕉串所有像素的最小外接矩形标示，如图15所示。各红色矩形框下的数字表示香蕉串的识别准确度ρ，示例图像中香蕉串的识别准确度大都在0.8以上，最高的为0.87746。这表明本文识别方法具有较好的鲁棒性。

由于卷积神经网络等深度学习算法识别香蕉串需要的样本量大、训练时间长、硬件配置高、部署到机器人上难度大，而传统图像识别方法容易受光照、背景颜色等影响导致识别的香蕉串不完整且噪声点多，难以满足机器人采摘作业要求，因此，提出了基于图像背景饱和度压缩与差异阈值范围分割融合的香蕉串识别方法，本文主要的研究工作和创新点如下：

(1)分析了香蕉串图像的RGB和HSV颜色空间各分量特征、区域灰度等级以及像素分布特点。根据香蕉串饱和度图像中各灰度等级的像素比例自适应提取香蕉串潜在区域的高、低饱和度阈值μ和η，然后由低饱和度阈值η求解伽马系数γ并对小于低饱和度阈值η的图像背景做伽马变换，对大于高饱和度阈值μ的图像背景做半值压缩，增强了香蕉串潜在区域的对比度；

(2)基于差异阈值范围分割与迭代融合的方法，以大、小范围的差异阈值，采用阈值分割、孔洞填充和连通域提取等形态学处理技术，对背景压缩后的饱和度分量与色调分量差值图像进行香蕉串识别，即由大、小阈值范围分别分割出完整度高但噪声点多的香蕉串和环境背景噪声，再将二者的分割结果做差值融合以去除背景噪声，从而得到准确度高、噪声点少的香蕉串。

实验结果表明，对自然香蕉园环境中不同角度、光照条件下采集的香蕉串图像样本，本文所述方法具有较好的适用性和鲁棒性，香蕉串的识别准确度较高，能满足采摘机器人的作业要求，对香蕉采摘机器人的应用具有重要意义，并可为其它水果的识别提供新的思路。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (3)

1.一种基于背景饱和度压缩与差异阈值分割融合的香蕉串识别方法，其特征在于，是对自然香蕉园环境中适收期的香蕉串进行识别的方法，包括以下步骤：

(1)压缩原始香蕉串RGB图像的分辨率；

(2)将压缩后的RGB图像转换至HSV颜色空间；

(3)对图像背景饱和度做自适应阈值的伽马变换和半值压缩；

(4)以差异阈值范围，采用阈值分割、孔洞填充和连通域提取的形态学处理方法对由步骤(3)压缩后的饱和度分量与色调分量的差值图像进行分割、融合，从而识别出准确度高、噪声点少的香蕉串；

步骤(3)对图像背景饱和度做自适应阈值的伽马变换和半值压缩的具体过程为：基于香蕉串的背景饱和度图像，自适应提取香蕉串潜在区域的饱和度阈值，然后对小于饱和度阈值的图像背景做自适应系数的伽马变换；对大于饱和度阈值的图像背景做半值压缩，从而得到背景压缩的香蕉串饱和度图像，增强了香蕉串潜在区域的对比度；

自适应提取香蕉串潜在区域的饱和度阈值的过程为：

基于图像样本自适应提取香蕉串潜在区域的饱和度阈值，即先根据每个图像样本饱和度分量中各灰度等级的像素个数及其所占比率确定香蕉串潜在区域的饱和度参考阈值，然后在此基础上做相应的修正，进而得到香蕉串潜在区域的饱和度阈值；

假设饱和度图像的分辨率为M×N，统计出灰度等级k的像素个数n_k，则其在图像中所占比率p(k)为：

式中L——饱和度的最高灰度等级，L＝255；

由于饱和度图像中香蕉串潜在区域的灰度等级较高，故剔除灰度等级较低的区域，以缩小统计范围，提高图像处理速度，因此，选取灰度等级c，仅在高于c的灰度等级区域(c，L)内提取香蕉串潜在区域的饱和度参考阈值m；为了增强可靠性，采用区域灰度等级比率总和最大法来确定香蕉串的饱和度参考阈值m；将灰度等级区域(c，L)按顺序以长度r均分成q个子区域，然后分别统计各子区域中r个灰度等级在图像中所占比率的总和P(i)，其表达式为：

考虑到香蕉串潜在区域的灰度等级在图像中所占比例均较大，由概率统计可知，比率总和最大的子区域即为香蕉串饱和度参考阈值的潜在区域；因此，先由式(3)遍历出q个灰度等级子区域中比率总和最大值P(t)所对应的子区域t，再由式(4)遍历出子区域t内所占图像比率最高的灰度等级，即为香蕉串潜在区域的饱和度参考阈值m：

P(t)＝max(P(i)),i＝1,2,…,q (3)

接着按式(5)、(6)分别对饱和度参考阈值m做适当的修正，即得香蕉串潜在区域的低饱和度阈值η、高饱和度阈值μ：

η＝m-δ (5)

μ＝m+δ (6)

式中δ——饱和度阈值的修正量；

即步骤(3)对图像背景饱和度做自适应阈值的伽马变换和半值压缩的具体过程进一步确定为：基于香蕉串的背景饱和度图像，自适应提取香蕉串潜在区域的高饱和度阈值和低饱和度阈值，对小于低饱和度阈值的图像背景做自适应系数的伽马变换；对大于高饱和度阈值的图像背景做半值压缩，从而得到背景压缩的香蕉串饱和度图像；

对小于低饱和度阈值的图像背景做自适应系数的伽马变换的过程是：

已知伽马变换的基本形式为：

s＝au^γ (7)

式中u——伽马变换输入灰度值

s——伽马变换输出灰度值

γ——伽马系数

a——伽马变换常数

当式(7)中伽马系数γ大于1时，符合对香蕉串低饱和度图像背景区域的压缩要求；

则为了实现基于图像的自适应伽马变换，故以低饱和度阈值η来确定伽马系数γ；因伽马变换的输入和输出灰度值范围均为0-1，而低饱和度阈值η的范围为0-255，故须先进行归一化处理，即η/255；

低饱和度阈值η的压缩率取5/6时能较好地压缩图像背景饱和度，将其代入式(7)可得求解伽马系数γ的表达式，即

由式(8)解算出伽马系数γ后，进行图像遍历，对小于低饱和度阈值η的图像背景饱和度按式(7)进行伽马变换以降低其灰度值，从而增强与香蕉串潜在区域的对比度；

对大于高饱和度阈值的图像背景做半值压缩的过程是：

式中x——半值压缩的输入饱和度值；

y——半值压缩的输出饱和度值；

步骤(4)以大、小差异阈值范围，采用阈值分割、孔洞填充和连通域提取的形态学处理方法对由步骤(3)压缩后的饱和度分量与色调分量的差值图像进行分割、融合，从而识别出准确度高的香蕉串，其过程是：

将背景压缩后的饱和度分量S和色调分量H做差值2S-H，然后采用阈值分割、孔洞填充、连通域提取的形态学处理方法对2S-H差值图像进行香蕉串识别；

根据各灰度等级像素个数在2S-H差值图像中所占比率最大来确定香蕉串潜在区域的中心阈值，并在此基础上作修正得到分割香蕉串的大、小阈值范围；

将大、小阈值范围分割方法进行结合，提出差异阈值范围分割与融合的香蕉串识别方法，其主要的操作步骤如下：

Step1：以大阈值范围对2S-H差值图像进行分割，提取出完整度高但噪声点多的香蕉串；

Step2：以小阈值范围对2S-H差值图像进行分割，提取出完整度较差但噪声点少的香蕉串；

Step3：对Step2的分割结果进行孔洞填充、连通域提取，并去除最大的连通域，从而获取部分背景噪声；

Step4：由于Step3获取的背景噪声同样存在于Step1分割结果中，故将Step1分割结果与Step3获取的背景噪声做差值融合将其滤除，以切断部分背景噪声与香蕉串区域的连通；

Step5：对Step4的结果做孔洞填充、连通域提取，并去除最大的连通域，即得Step1结果中大部分的背景噪声；

Step6：将Step4的分割结果与Step5提取的背景噪声做差值融合，最终得到准确度高、噪声点少的香蕉串。

2.根据权利要求1所述的基于背景饱和度压缩与差异阈值分割融合的香蕉串识别方法，其特征在于，所述HSV颜色空间各分量的范围都转换成0-255。

3.根据权利要求1-2任一项所述的基于背景饱和度压缩与差异阈值分割融合的香蕉串识别方法，其特征在于，还包括采用交并比方式定义香蕉串的识别准确度ρ，其表达式为：

式中T——香蕉串分割区域与实际区域的交集像素；

R——香蕉串分割区域与实际区域的并集像素；

准确度ρ的数值范围为0-1，其数值越大表明对香蕉串识别的准确度越高。

Images