CN118429366A - 一种基于颜色特征和深度信息的水果图像分割方法 - Google Patents

Abstract

本发明涉及一种基于颜色特征和深度信息的水果图像分割方法，属于图像分割领域。该方法包括：将原始RGB图像转换至YCbCr颜色空间，并对Cr通道进行阈值分割，得到单通道的灰度图；对深度图进行二值化处理得到DMask图像；采用改进的能量谷优化算法确定全局分割阈值；对传统中值滤波算法进行改进，并将改进后的中值滤波算法融入Bernsen算法中得到局部分割阈值；将全局分割阈值与局部分割阈值进行加权求和，得到最终分割阈值，再使用最终分割阈值对灰度图进行逐像素二值化处理，得到CrMask图像；将DMask图与CrMask图逐像素执行二进制与运算得到最终分割结果。本发明能够快速而准确地对水果图像进行分割。

Description

一种基于颜色特征和深度信息的水果图像分割方法

技术领域

本发明属于图像分割领域，涉及一种基于颜色特征和深度信息的水果图像分割方法。

背景技术

农业是国民经济的支柱性产业，承担着支持国家经济建设和发展的重要责任。目前，我国的农业生产主要以人工为主，成本高且效率低下，开发能够进行自动化采摘的农业机器人对农业生产具有很大的经济应用价值。视觉系统是采摘机器人的关键组成部分，它负责定位和识别目标物体，并向机械臂提供位置信息以便进行果实采摘。水果通常具有较明显的颜色特征，成簇分布且生长环境复杂，本发明以成熟的圣女果作为典型的实例。目前，国内外学者对采摘机器人的视觉系统进行了大量的研究，已取得较丰富的成果，但仍有诸多问题跟挑战。

图像分割算法是数字图像处理领域的关键技术，被广泛应用于目标识别和图像分析等。它能够将目标果实与背景进行分离，为后续的图像处理奠定基础。在图像分割领域中，主要应用的算法有：阈值分割法、边缘分割算法、区域分割算法等。而对于圣女果等颜色特征较明显的水果，通常会采用阈值分割算法进行处理，其中包括Otsu法、Bernsen算法和Niblack算法等常见方法。

Otsu法是一种基于聚类思想的算法，其算法简单、分割效果明显，被广泛应用于各个领域的图像分割。其主要思想是最大化类间方差，并以此来确定分割的最佳阈值。Otsu法只有在直方图呈现双峰时分割效果最好，如果存在多峰的情况，分割效果则会明显下降。此外，Otsu法也存在计算量较大、迭代次数多，以及难以处理光照不均和背景复杂的情况等问题。

Bernsen算法是一种常用的局部二值化算法。在水果图像分割中，通常仅靠单个的阈值难以将目标与背景准确地分割出来，而采用局部的阈值算法可以根据图像每个部位的光照亮度不同，而对不同的区域分别选取不同的分割阈值进行处理，因此可以解决图像中由于光照不均匀带来的难以确定最佳阈值的问题。虽然Bernsen算法能够解决图像中更复杂的情况，但其算法本身对噪声比较敏感。如果原始图像噪声比较多，那么使用Bernsen算法进行阈值分割会出现图像细节丢失、噪声大量增加以及运算速度受到影响等问题。

农业机械学报2017年第48卷第11期，熊俊涛等对夜间荔枝识别进行研究，通过分析同一串荔枝在白天自然光和夜间的LED灯光下的颜色数据，确定以YIQ颜色空间进行夜间识别的可行性。选择夜间情况下图像的I分量图，利用大津法去除背景，然后使用模糊C均值聚类算法分割果实和果梗图像,得到荔枝果实图像，最后使用Hough圆拟合方法，对图像各个荔枝果实进行识别，达到良好的检测效果。

现代制造工程2021年第6期，伍萍辉等以温室番茄为研究对象，提出了一种改进灰狼算法优化聚类中心的番茄图像自动分割方法，首先对灰狼算法进行改进，然后利用改进灰狼算法对K均值聚类算法的聚类中心进行优化，以提高其聚类效果，接着通过形态学与Hough算法对目标进行提取完成分割。虽然该算法有良好的分割效果，但稳定性不强，受光照不均、背景复杂以及拍摄角度的影响较大。

中国专利CN202010402539.5记载了基于Otsu和改进Bernsen的红外图像分割方法，采用Otsu法计算出分割阈值GT，将图像先分为前景和背景两部分，接着对图像进行高斯平滑滤波，最后使用Bernsen算法判断图像局部窗口内的对比度是否超出阈值范围，得到局部分割阈值T对电器设备的红外图像进行分割。但此技术没有解决大津法迭代次数多的问题，对Bernsen算法改进较小，算法总体运算速度较慢，并且高斯平滑滤波对水果图像的去噪效果较差。

中国专利CN202310634340.9，王方修等提出了基于改进鸡群优化算法的多阈值Otsu图像分割方法。将鸡群算法应用到Otsu灰度图像寻优算法中，并通过混沌映射，非线性权重递减策略以及改进母鸡和小鸡的位置更新过程对算法进行改进，以改进后的鸡群算法来搜索最优的分割阈值。该方法虽然提高了运算速度，但还是会留下许多噪声。

发明内容

有鉴于此，本发明的目的在于提供一种基于颜色特征和深度信息的水果图像分割方法。

为达到上述目的，本发明提供如下技术方案：

一种基于颜色特征和深度信息的水果图像分割方法，该方法包括以下步骤：

S1、输入原始RGB图像和深度图，将原始RGB图像转换至YCbCr颜色空间，并对Cr通道进行阈值分割，得到单通道的灰度图；对深度图进行二值化处理得到DMask图像；

S2、采用改进的能量谷优化算法确定全局分割阈值，其中，将大津法中的最大类间方差函数取负值作为能量谷算法中的目标函数，引入Tent混沌映射对能量谷算法中的粒子进行初始化，引入改进的非线性权重递减策略对β衰变的粒子位置进行更新，再根据目标函数对粒子进行评估并排序，选择能量最低、最稳定的粒子对应的阈值为全局分割阈值；

并对传统中值滤波算法进行改进，再将改进后的中值滤波算法融入Bernsen算法中得到局部分割阈值；

S3、将全局分割阈值与局部分割阈值进行加权求和，得到最终分割阈值，再使用最终分割阈值对灰度图进行逐像素二值化处理，得到CrMask图像；

S4、将DMask图与CrMask图逐像素执行二进制与运算，得到最终分割结果。

进一步，在步骤S2中，采用改进的能量谷优化算法确定全局分割阈值包括以下步骤：

(1)、将大津法中的最大类间方差函数取负值作为能量谷算法的目标函数，将能量谷算法中能量最低、最稳定的粒子对应的阈值作为最优阈值；

(2)、采取Tent混沌映射，在[0，1]区间内生成混沌序列f(Z_n)，对能量谷算法的粒子初始化进行改进，其计算方法如下所示：

X_i＝X_i，min+f(Z_n)·(X_i，max-X_i，min)，i＝1，2，3...n

式中，δ∈(0，1)为混沌状态参数，Z_n为[0，1]之间的随机数，Z_n+1表示为经Tent混沌映射后的状态变量，X_i，max和X_i，min分别表示搜索空间的上界和下界，X_i是粒子初始化后的值；

(3)、采用非线性权重递减策略对β衰变的粒子位置更新过程进行改进，改进后的β衰变的粒子位置更新公式如下：

式中，X_i为当前位置矢量，为更新后的位置矢量，ω_d为第d次迭代时的惯性权重，X_BS为当前最稳定粒子的位置向量，X_CP为搜索空间中的中心粒子的位置矢量，SL_i为当前粒子的稳定性水平，r₁与r₂为属于0到1范围内的随机数；

其中，非线性权重递减策略公式如下：

式中，ω_max表示初始最大惯性权重，ω_min表示到最大迭代次数时的惯性权重，d表示当前迭代次数，D_max为最大迭代次数，e是自然对数函数的底数；

(4)、根据目标函数评估粒子的中子富集水平NEL：

μ＝ω₀(t)·μ₀(t)+ω₁(t)·μ₁(t)

NEL＝-(ω₀(t)(μ₀(t)-μ(t))²+ω₁(t)(μ₁(t)-μ(t))²)

式中，t表示分割的阈值，ω₀表示目标区域占整个图像的比值，ω₁表示背景区域占整个图像的比值，μ₀代表目标区域的平均灰度，μ₁代表背景区域的平均灰度值，μ代表整幅图像的平均灰度；

通过目标函数的评估结果确定粒子的富集界限EB：

式中，NEL_i是第i个粒子的中子富集水平，EB是搜索空间中所有粒子的富集边界；当NEL_i>EB时，粒子通过衰变进行位置更新；

(5)、搜索空间中粒子群进行位置更新，再根据目标函数对粒子进行评估并排序，判断能量谷算法是否达到最大的迭代次数，若是则进行步骤(6)，否则返回步骤(1)；

(6)、选择能量最低、最稳定的粒子对应的阈值作为全局分割阈值T_Evo-Otsu，其中，粒子稳定性评价函数如下：

式中，SL_i是第i个粒子的稳定性水平，BS是当前迭代次数下稳定性最好的粒子，其为当前迭代次数下目标函数的最小值；WS是当前迭代次数下稳定性最差的粒子，其为当前迭代次数下目标函数的最大值。

进一步，在步骤S2中，改进的中值滤波算法包括以下步骤：

(1)选取目标像素点(j，k)，其灰度值为P(j，k)的(3×3)的邻域作为滤波窗口，窗口内所有像素灰度值集合S_j，k的数学描述如下：

A＝{-1，0，1}

S_j，k＝{P(j+l₁，k+l₂)|l₁，l₂∈A}

(2)将滤波窗口内所有像素的灰度值x_i进行排序，取出中位值，计算公式如下：

Y(j，k)＝Med{x₁，x₂，x₃...x₉}

式中，x₁，x₂，x₃...x₉为窗口内9个像素的灰度值，Med{·}表示取x_i序列的中值；

(3)计算出滤波窗口内所有像素点灰度的平均值公式如下：

式中，Average(S_j，k)表示取集合S_j，k的平均值；

(4)进行方差的运算：

(5)设置处理临界值M为：

(6)将滤波窗口中心像素点灰度值与临界值相比较，若中心点灰度值高于临界值，将其灰度值替换为中值Y(j，k)，若临界值高，则将其改为临界值M，约束条件如下所示：

式中，F(j，k)为中心像素点(j，k)处理后的灰度值；

中心点的灰度值处理完毕后，移动滤波窗口，参与下一像素点的比较，直至完成整个灰度图像的处理。

进一步，在步骤S2中，将改进后的中值滤波融入Bernsen算法中，包括：

选取目标像素点(j，k)，其灰度值为P(j，k)的(3×3)的邻域作为滤波窗口，对窗口内的像素应用改进后的中值滤波算法，然后计算滤波窗口内所有像素的最大值max和最小值min，通过如下公式求得max和min的均值，记为T_Med-Bernsen：

目标窗口中心点的灰度值处理完毕后，移动滤波窗口，参与下一像素点的比较，直至完成整个灰度图像的处理。

进一步，在步骤S3中，将全局分割阈值T_Evo-Otsu和局部分割阈值T_Med-Bernsen进行加权求和，最终得到融合全局与局部信息的最终分割阈值T_End，公式如下：

T_End＝α·T_Evo-Otsu+(1-α)·T_Med-Bernsen

式中，α为调节因子，取值范围为0到1；

依次计算出每一个像素点的最终阈值，利用得到的最终阈值对灰度图像进行逐像素二值化，得到CrMask图，处理规则如下：

式中，P(j，k)表示灰度图像在坐标(j，k)的像素值。

进一步，在步骤S4中，通过如下公式对S1中的深度图进行二值化处理得到DMask图：

式中，D(j，k)表示在深度图(j，k)位置的深度值；

将DMask图与CrMask图逐像素执行二进制与运算，得到最终的分割图像，计算公式如下：

式中，DMask(j，k)表示深度图二值化后在坐标(j，k)的像素值，CrMask(j，k)表示Cr通道灰度图二值化后在坐标(j，k)的像素值。

本发明的有益效果在于：

(1)本发明通过Tent混沌映射对能量谷算法的粒子群进行初始化，使粒子均匀地分布在搜索空间，提高初始解的覆盖范围，快速找到最优解，并加快算法的收敛速度。通过提出一种改进的非线性权重递减策略，融入β衰变的粒子位置更新中，能够在初始时有较大的权重，使算法在全局范围内遍历搜索，后期时权重较小，有利于在局部范围寻优，从而达到整个搜索空间的最优解。

(2)本发明通过对中值滤波算法增加一个判断处理的临界值，不仅可以降低普通的中值滤波算法经过排序后，中值恰好为噪声点的值，而又错误地将其赋值给中心像素点的概率，也能在去除噪声的同时也能更好地保护图像的边界信息。这一改进提升了图像的噪声去除效果，使图像更加平滑。

(3)本发明通过将改进后的能量谷算法与大津法相结合，减少了原始大津法的运算量以及迭代次数。通过将改进后的中值滤波算法融入Bernsen算法中，解决了使用传统Bernsen算法时容易导致图像细节丢失以及噪声大量增加的问题。接着将全局阈值T_Evo-Outs跟局部阈值T_Med-Bernsen进行加权求和，得到最终的阈值T_End。依次计算出每一个像素点的最终阈值，然后使用阈值T_End对灰度图进行逐像素二值化，精确地分割出圣女果所在区域，得到CrMask图。结合圣女果采摘机器人的机械臂操作范围，运用深度信息，将圣女果深度图以150mm-1000mm的范围进行二值化，得到DMask图。最后对DMask图与CrMask图逐像素执行二进制与运算生成新的Mask图。对比现有技术，本发明解决了在光照不均以及复杂背景下圣女果分割的难题，并且通过结合深度图的信息，提高了采摘机器人的采摘精确度和效率。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。

附图说明

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：

图1为本发明的图像分割方法的流程图；

图2为YCbCr颜色空间转换过程图，其中左图为原图，右图为转换后的图；

图3为YCbCr三通道直方图；

图4为YCbCr颜色空间Cr通道的灰度图；

图5为非线性权重递减策略的惯性权重ω和迭代次数d的关系曲线图；

图6为改进能量谷算法分割图；

图7为Bernsen算法与改进Bernsen算法的分割对比图，其中左图为Bernsen算法，右图为改进Bernsen算法；

图8为使用最终分割阈值T_End逐像素二值化后的CrMask图；

图9为过滤最近最远距离后的DMask图；

图10为最终150mm至1000mm范围内圣女果分割图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

请参阅图1～图10，为一种基于颜色特征和深度信息的水果图像分割方法。

本发明提出了一种基于颜色特征和深度信息的水果图像分割方法以实现对水果图像进行快速而准确地分割，算法流程见图1，解决了原始图像由于光照不均和背景复杂导致难以确定最佳分割阈值的问题。并且通过改进阈值分割算法，解决了传统算法运算速度慢、精度低和容易产生大量噪声的问题。

实施例

本发明以对圣女果的图像分割为例，本发明的基于颜色特征和深度信息的水果图像分割方法具体包括以下步骤：

步骤一：将原始RGB图像进行颜色空间转换，将其转换至YCbCr颜色空间，并对Cr通道进行阈值分割，得到单通道的灰度图。

步骤二：将大津法中的最大类间方差函数取负值，作为能量谷算法中的目标函数。同时初始化能量谷算法粒子参数、粒子的富集界限EB、稳定性界限SB及各个系数参数。

步骤三：引入Tent混沌映射对能量谷算法中的粒子进行初始化，使其能够更加均匀地分布在整个搜索空间中，使算法达到更快的收敛效果。

步骤四：引入改进的非线性权重递减策略。在能量谷算法中，粒子的寻优方式并不是线性的，线性的权重递减策略会影响粒子的寻优效果，可能导致错过最优解。本发明提出一种非线性的权重递减策略，能够在初始时有较大的权重，使算法在全局范围内遍历搜索，后期时权重较小，有利于在局部范围寻优，从而达到整个搜索空间的最优解。由于进行β衰变的粒子不稳定性较高，前期需要在搜索空间进行大幅度跨越，更符合这种情况。因此，将提出的非线性权重递减策略引入进行β衰变的粒子位置更新中。

步骤五：搜索空间中粒子群进行位置更新，再根据目标函数对粒子进行评估并排序，判断能量谷算法是否达到最大的迭代次数，若是则进行下一步骤，否则返回步骤二。

步骤六：将改进后的能量谷算法搜索到的能量最低，最稳定的粒子所对应的阈值t作为全局最佳分割阈值，并记为T_Evo-Otsu。

步骤七：改进传统中值滤波算法。选取目标像素点(j，k)周围(3×3)的邻域作为滤波窗口，根据公式(9)和公式(10)确定窗口内所有像素灰度值集合。根据公式(11)、公式(12)和公式(13)分别计算出滤波窗口内所有像素点灰度的中位值、平均值以及方差。将平均值和方差代入公式(14)得到滤波算法处理的临界值M。将滤波窗口中心点像素灰度值与临界值相比较，若中心点灰度值高于临界值，将其灰度值替换为中位值大小，若临界值高，则改为临界值M。

步骤八：引入步骤七所改进的中值滤波对Bernsen算法进行改进，能有效滤除噪声的干扰，获得较为平滑的图像。使用改进后的Bernsen算法对图像进行处理，得到局部分割阈值T_Med-Bernsen。

步骤九：通过公式(17)将全局分割阈值T_Evo-Otsu与局部分割阈值T_Med-Bernsen进行加权求和，得到最终的阈值T_End。依次计算出每一个像素点的最终阈值，然后使用阈值T_End对灰度图进行逐像素二值化，得到CrMask图像。

步骤十：将深度图以150mm-1000mm的范围进行二值化，得到DMask图像，再将DMask图与CrMask图逐像素执行二进制与运算，得到新的Mask图，图像仅保留了采摘机器人工作距离范围内的圣女果区域。

通过对传统的阈值分割算法进行对比分析，全局阈值分割算法，如大津法，只对直方图呈现双峰时分割效果最好，如果是多峰，则容易忽略掉局部信息。局部分割阈值法，如Bernsen算法，虽能够更好处理图像的细节信息，但是却对噪声比较敏感，在面对复杂环境时，二值化后的图像会出现大量的噪声。结合本发明实施例中圣女果的生长环境，所采集到的图像存在背景复杂以及光照不均匀的特点。为了更好地分割出圣女果区域，本发明将结合Otsu法和Bernsen算法各自的优点，并对它们存在的不足进行改进，得到新的图像分割算法，以实现对圣女果精确地分割。

针对Bernsen算法存在对噪声敏感，强制二值化可能导致细节丢失等问题，提出了一种结合改进中值滤波算法的二值化方法。鉴于不同图像可能受到不同类型的噪声影响，因此在进行噪声去除时需要采用适当的方法。在水果图像的去噪处理中，中值滤波是一种常用且效果较好的技术。中值滤波是图像处理领域常用的去除噪声的非线性滤波器，它的算法原理比较简单，针对图像上的某一点像素值，先对这个像素点一定临近矩形区域内的所有像素的灰度值进行排序，然后计算出在排序后的中位值，将这个中位数重新赋值给该像素点，以此来达到消除噪声的目的。

进一步，在步骤一中，为了准确地分割出原始图像中的圣女果区域，首先需要将RGB图像转换到YCbCr颜色空间，如图2所示的YCbCr颜色空间转换过程图，其中左图为原图，右图为转换后的图，并计算得到三通道的直方图。通过对直方图中三个分量进行对比分析，其中Cr分量能够较明显地区分出目标区域与背景区域的差别，如图3所示的YCbCr三通道直方图。因此，选取Cr分量作为特征提取的对象，并将其转换为灰度图，如图4所示的YCbCr颜色空间Cr通道的灰度图。

进一步，在步骤二中，针对大津法存在运算量大，迭代次数多等问题，提出将改进的能量谷算法(EVO)与Otsu算法相结合，得到新的图像分割算法。其基本原理是将能量谷算法的目标函数对应于大津法中取负值的最大类间方差函数，大津法的最优阈值对应于能量谷算法中能量最低，稳定性最好的粒子。能量谷算法是一种群智能算法，其灵感来自于物理学中稳定性不同的粒子以及不同衰变形式的原理。能量谷算法模仿物理学上能量谷的概念，通过模拟物理学中粒子的运动来找到全局的最优解，粒子不断移动使能量最低，达到最稳定的状态，从而探索到搜索空间的最优解。

进一步，在步骤三中，群智能算法的种群粒子初始位置对整个算法收敛以及求解的质量有直接影响的关系，而基本能量谷算法在粒子初始化阶段采用了随机初始化策略，这可能导致收敛速度较慢。在初始化过程中，使粒子均匀地分布在搜索空间，能够加快算法的收敛速度。因此，本发明采取Tent混沌映射，在[0,1]区间内生成混沌序列f(Z_n)，对能量谷算法的粒子初始化进行改进，提高初始解的覆盖范围，能快速找到最优解，其计算方法如下所示：

X_i＝X_i，min+f(Z_n)·(X_i，max-X_i，min)，i＝1，2，3...n (2)

式中，δ∈(0，1)，为混沌状态参数，取值为0.5，Z_n为[0，1]之间的随机数，Z_n+1表示为经Tent混沌映射后的状态变量，X_i，max和X_i，min分别表示搜索空间的上界255和下界0，X_i是粒子初始化后的值。

进一步，在步骤四中，能量谷算法是一种基于迭代运算的群智能优化算法，在算法寻优过程中，能否在全局搜索和局部搜索找到一个合适的平衡点，决定着算法的求解速度与质量。惯性权重参数是其中重要的可调节参数，当权重较大时，算法能够以较大速度在全局范围内进行搜索，当权重较小时偏向于局部搜索，找到局部最优值。针对以上问题，有研究者提出了线性权重递减策略、线性权重递增策略、非线性权重递减策略等。线性的权重递减策略的权值下降速度是固定的，算法在初期权值较大有利于全局搜索，但持续时间较短，而在算法后期权值太小，导致粒子陷入局部无法跳出，虽然线性权重递减策略直观且简单，但其寻优效果欠佳。因为在群智能算法中，粒子寻优的过程通常是非线性的，线性的权重递减策略往往会导致粒子错过全局最优解，而陷入局部最优。

基于以上分析，本发明提出一种非线性权重递减策略，其中图5示出了非线性权重递减策略的惯性权重ω和迭代次数d的关系曲线图，融入β衰变的粒子位置更新中，能够在初始时有较大的权重，使算法在全局范围内遍历搜索，后期时权重较小，有利于在局部范围寻优，从而达到整个搜索空间的最优解。改进后的位置更新公式如下：

式中，X_i为当前位置矢量，为更新后的位置矢量，ω_d为第d次迭代时的惯性权重，X_BS是当前最稳定粒子的位置向量，X_CP是在搜索空间中，中心粒子的位置矢量，SL_i是当前粒子的稳定性水平，r₁与r₂是属于0到1范围内的随机数，模拟物理过程中的不确定性，决定粒子的运动量。

进一步，本发明提出的非线性权重递减策略公式如下：

式中，ω_max表示初始最大惯性权重，取值为0.9，ω_min表示到最大迭代次数时的惯性权重，取值为0.4，d表示当前迭代次数，D_max为最大迭代次数，e是自然对数函数的底数。

进一步，在步骤五中，能量谷算法的目标函数对应于取负值的大津法最大类间方差函数，根据目标函数评估粒子的中子富集水平NEL，如公式(5)和(6)所示。

μ＝ω₀(t)·μ₀(t)+ω₁(t)·μ₁(t) (5)

NEL＝-(ω₀(t)(μ₀(t)-μ(t))²+ω₁(t)(μ₁(t)-μ(t))²) (6)

式中，t表示分割的阈值，ω₀表示目标区域占整个图像的比值，ω₁表示背景区域占整个图像的比值，μ₀代表目标区域的平均灰度，μ₁代表背景区域的平均灰度值，μ代表整幅图像的平均灰度。

通过目标函数的评估结果以及公式(7)，确定粒子的富集界限EB，EB可以用来衡量粒子的中子(N)和质子(Z)比值的大小。当NEL_i>EB时，代表粒子具有较大的N/Z，此时粒子通过衰变进行位置更新。

式中，NEL_i是第i个粒子的中子富集水平，EB是搜索空间中所有粒子的富集边界。

进一步，在步骤六中，粒子稳定性评价函数如公式(8)所示，粒子越稳定，代表能量越低。当粒子达到能量最低时所对应的阈值t，即为分割阈值。

式中，SL_i是第i个粒子的稳定性水平，BS是当前迭代次数下稳定性最好的粒子，其为当前迭代次数下目标函数的最小值；WS是当前迭代次数下稳定性最差的粒子，其为当前迭代次数下目标函数的最大值。

搜索空间中粒子群进行位置更新，再根据目标函数对粒子进行评估并排序，记录当前的最优解。在算法进行完一次主循环后，每个粒子会生成新的位置矢量，新生成的向量与当前的粒子群合并，参与下一次的搜索循环。若算法达到最大迭代次数，则输出算法中的最优分割阈值t。

改进后的能量谷算法与大津阈值法相结合，能够解决大津法运算量大以及迭代次数多的问题。其中，图6示出了改进能量谷算法的分割图。将改进后的算法应用于圣女果灰度图像，得到全局的分割阈值t，记为T_Evo-Otsu。

进一步，在步骤七中，传统的中值滤波虽然应用比较广泛，但也存在一些弊端。传统中值滤波算法基于临近的矩形区域内的像素值，当图像的噪声密度比较大的时候，中值滤波的去噪效果并不明显。中值滤波的去噪效果受到滤波窗口的大小影响比较大，而且在滤波窗口移动过程中始终都是保持固定的大小，不能兼顾噪声去除和图像细节的保护。基于以上分析，本发明设计出一种改进型中值滤波算法，尽可能多地去除圣女果图像中存在的噪声。

改进的中值滤波算法基于以下步骤(灰度值动态范围为0到255)：

(1)在算法处理过程中，选取目标像素点(j，k)，其灰度值为P(j，k)的周围(3×3)的邻域作为滤波窗口，窗口内所有像素灰度值集合S_j，k的数学描述如下：

A＝{-1，0，1} (9)

S_j，k＝{P(j+l₁，k+l₂)| l₁，l₂∈A} (10)

(2)将滤波窗口内所有像素的灰度值x_i进行排序，取出中位值，计算公式如下：

Y(j，k)＝Med{x₁，x₂，x₃...x₉} (11)

式中，x₁，x₂，x₃...x₉为窗口内9个像素的灰度值，Med{·}表示取x_i序列的中值。

(3)计算出滤波窗口内所有像素点灰度的平均值公式如下：

式中，Average(S_j，k)表示取集合S_j，k的平均值。

(4)进行方差的运算：

(5)设置处理临界值M为：

(6)将滤波窗口中心像素点灰度值与临界值相比较，若中心点灰度值高于临界值，将其灰度值替换为中值Y(j，k)，若临界值高，则将其改为临界值M，约束条件如公式(15)所示。中心点的灰度值处理完毕后，移动滤波窗口，参与下一像素点的比较，直至完成整个灰度图像的处理。

式中，F(j，k)为中心像素点(j，k)处理后的灰度值。

改进后的中值滤波算法增加了一个判断处理的临界值，不仅可以降低普通的中值滤波算法经过排序后，中值恰好为噪声点的值，而又错误地将其赋值给中心像素点的概率，也能在去除噪声的同时也能更好地保护图像的边界信息。这一改进提升了图像的噪声去除效果，使图像更加平滑。

进一步，在步骤八中，将改进后的中值滤波融入Bernsen算法中，选取目标像素点(j，k)，其灰度值为P(j，k)的(3×3)的邻域作为滤波窗口，对窗口内的像素应用改进后的中值滤波算法，然后计算滤波窗口内所有像素的最大值max和最小值min，通过公式(16)求得max和min的均值，记为T_Med-Bernsen。目标窗口中心点的灰度值处理完毕后，移动滤波窗口，参与下一像素点的比较，直至完成整个灰度图像的处理，如图7示出的Bernsen算法与改进Bernsen算法的分割对比图，其中左图为Bernsen算法，右图为改进Bernsen算法。

进一步，在步骤九中，将全局分割阈值T_Evo-Otsu和局部分割阈值T_Med-Bernsen进行加权求和，最终得到融合全局与局部信息的分割阈值T_End，公式如下：

T_End＝α·T_Evo-Otsu+(1-α)·T_Med-Bernsen (17)

式中，α为调节因子，取值范围为0到1，通过多次实验确定α取值为0.7。

如图8示出的使用最终分割阈值T_End逐像素二值化后得到的CrMask图。依次计算出每一个像素点的最终阈值并对灰度图像进行逐像素二值化，得到CrMask图，处理规则如下：

式中，P(j，k)表示灰度图像在坐标(j，k)的像素值。

进一步，在步骤十中，结合圣女果采摘机器人机械臂工作范围以及应用场景，实际只需要识别150mm到1000mm范围内的圣女果。因此，使用公式(19)将深度图二值化，得到如图9所示的过滤最近最远距离后的DMask图。

式中，D(j，k)表示在深度图(j，k)位置的深度值。

将DMask图与CrMask图逐像素执行二进制与运算，得到新的如图10所示的最终150mm至1000mm范围内圣女果分割图，图像仅保留了采摘机器人工作距离范围内的圣女果区域，计算公式如下：

式中，DMask(j，k)表示深度图二值化后在坐标(j，k)的像素值，CrMask(j，k)表示Cr通道灰度图二值化后在坐标(j，k)的像素值。

综上，本实施例将通过实例来说明基于颜色特征和深度信息的水果分割方法的过程。对采集到的原始圣女果数据集RGB图像进行颜色空间的转换，将其转换到YCbCr颜色空间中，并计算得到三通道的直方图。通过对直方图中三个分量进行对比分析，其中Cr分量能够较明显地区分出目标区域与背景区域的差别。因此，选取Cr分量作为特征提取的对象，并将其转换为灰度图。

根据公式(5)，计算大津法的全局平均灰度，将其代入公式(6)，得到取负值的最大类间方差函数，并将其作为能量谷算法中的目标函数。初始化能量谷算法粒子参数、粒子的富集界限EB、稳定性界限SB及各个系数参数。将公式(1)Tent混沌映射代入公式(2)对能量谷算法的粒子进行初始化，使粒子均匀地分布在搜索空间，提高初始解的覆盖范围，加快算法的收敛速度，快速找到最优解。根据公式(4)建立非线性权重递减策略，将其代入公式(3)中，融入β衰变的粒子位置更新中，能够在初始时有较大的权重，使算法在全局范围内遍历搜索，后期时权重较小，有利于在局部范围寻优，从而达到整个搜索空间的最优解。通过公式(7)确定粒子的富集界限EB，EB用来衡量粒子的中子(N)和质子(Z)比值的大小。当NEL_i>EB时，代表粒子具有较大的N/Z，此时粒子通过衰变进行位置更新。搜索空间中粒子群进行位置更新，再根据目标函数对粒子进行评估并排序，通过公式(8)评价粒子稳定性，粒子达到最稳定状态(目标函数最小)时所对应的阈值t，即为最佳分割阈值。当算法达到最大迭代次数时，则输出最佳分割阈值。将改进后的能量谷算法应用于灰度图像，得到全局的分割阈值，记为T_Evo-Otsu。

为了避免当图像的噪声密度比较大时，中值滤波的去噪效果不明显，不能兼顾噪声去除和图像细节保护的情况，改进传统中值滤波算法。选取目标像素点(j，k)周围(3×3)的邻域作为滤波窗口，根据公式(9)和公式(10)确定窗口内所有像素灰度值集合。根据公式(11)、公式(12)和公式(13)分别计算出滤波窗口内所有像素点灰度的中位值、平均值以及方差。将平均值和方差代入公式(14)得到滤波算法处理的临界值M。将滤波窗口中心点像素灰度值与临界值相比较，若中心点灰度值高于临界值，将其灰度值替换为中位值大小，若临界值高，则改为临界值M，约束条件如公式(15)所示。中心点的灰度值处理完毕后，移动滤波窗口，参与下一像素点的比较，直至完成整个灰度图像的处理。将改进后的中值滤波融入Bernsen算法中，选取目标像素点(j，k)，其灰度值为P(j，k)的(3×3)的邻域作为滤波窗口，对窗口内的像素应用改进后的中值滤波算法，然后计算滤波窗口内所有像素的最大值max和最小值min，通过公式(16)得到max和min的均值，作为局部的分割阈值，记为T_Med-Bernsen。

根据公式(17)计算得到融合全局与局部信息的最终分割阈值T_End。依次计算出每个像素点的最终阈值，然后根据公式(18)对灰度图像进行逐像素二值化，得到CrMask图。结合圣女果采摘机器人机械臂工作范围以及应用场景，实际只需要识别150mm到1000mm范围内的圣女果。使用公式(19)将深度图二值化，得到过滤最近和最远距离的DMask图。

根据公式(20)对DMask图与CrMask图逐像素执行二进制与运算，得到新的Mask图，图像仅保留了采摘机器人工作距离范围内的圣女果区域。

采用上述方法与步骤对圣女果图像数据集进行实验，结果表明：改进的算法能精确地分割出150mm到1000mm范围内的圣女果区域，以辅助采摘机器人进行采摘。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (6)

1.一种基于颜色特征和深度信息的水果图像分割方法，其特征在于：所述方法包括以下步骤：

S1、输入原始RGB图像和深度图，将原始RGB图像转换至YCbCr颜色空间，并对Cr通道进行阈值分割，得到单通道的灰度图；对深度图进行二值化处理得到DMask图像；

S2、采用改进的能量谷优化算法确定全局分割阈值，其中，将大津法中的最大类间方差函数取负值作为能量谷算法中的目标函数，引入Tent混沌映射对能量谷算法中的粒子进行初始化，引入改进的非线性权重递减策略对β衰变的粒子位置进行更新，再根据目标函数对粒子进行评估并排序，选择能量最低、最稳定的粒子对应的阈值为全局分割阈值；

对传统中值滤波算法进行改进，再将改进后的中值滤波算法融入Bernsen算法中得到局部分割阈值；

S3、将全局分割阈值与局部分割阈值进行加权求和，得到最终分割阈值，再使用最终分割阈值对灰度图进行逐像素二值化处理，得到CrMask图像；

S4、将DMask图与CrMask图逐像素执行二进制与运算，得到最终分割结果。

2.根据权利要求1所述的一种基于颜色特征和深度信息的水果图像分割方法，其特征在于：在步骤S2中，采用改进的能量谷优化算法确定全局分割阈值包括以下步骤：

(1)、将大津法中的最大类间方差函数取负值作为能量谷算法的目标函数，将能量谷算法中能量最低、最稳定的粒子对应的阈值作为最优阈值；

(2)、采取Tent混沌映射，在[0,1]区间内生成混沌序列f(Z_n)，对能量谷算法的粒子初始化进行改进，其计算方法如下所示：

X_i＝X_i,min+f(Z_n)·X_i,max-X_i,min),i＝1,2,3…n

式中，δ∈(0,1)为混沌状态参数，Z_n为[0,1]之间的随机数，Z_n+1表示为经Tent混沌映射后的状态变量，X_i,max和X_i,min分别表示搜索空间的上界和下界，X_i是粒子初始化后的值；

(3)、采用非线性权重递减策略对β衰变的粒子位置更新过程进行改进，改进后的β衰变的粒子位置更新公式如下：

式中，X_i为当前位置矢量，为更新后的位置矢量，ω_d为第d次迭代时的惯性权重，X_BS为当前最稳定粒子的位置向量，X_CP为搜索空间中的中心粒子的位置矢量，SL_i为当前粒子的稳定性水平，r₁与r₂为属于0到1范围内的随机数；

其中，非线性权重递减策略公式如下：

式中，ω_max表示初始最大惯性权重，ω_min表示到最大迭代次数时的惯性权重，d表示当前迭代次数，D_max为最大迭代次数，e是自然对数函数的底数；

(4)、根据目标函数评估粒子的中子富集水平NEL：

μ＝ω₀(t)·μ₀(t)+ω₁(t)·μ₁(t)

NEL＝-(ω₀(t)(μ₀(t)-μ(t))²+ω₁(t)(μ₁(t)-μ(t))²)

式中，t表示分割的阈值，ω₀表示目标区域占整个图像的比值，ω₁表示背景区域占整个图像的比值，μ₀代表目标区域的平均灰度，μ₁代表背景区域的平均灰度值，μ代表整幅图像的平均灰度；

通过目标函数的评估结果确定粒子的富集界限EB：

式中，NEL_i是第i个粒子的中子富集水平，EB是搜索空间中所有粒子的富集边界；当NEL_i>EB时，粒子通过衰变进行位置更新；

(5)、搜索空间中粒子群进行位置更新，再根据目标函数对粒子进行评估并排序，判断能量谷算法是否达到最大的迭代次数，若是则进行步骤(6)，否则返回步骤(1)；

(6)、选择能量最低、最稳定的粒子对应的阈值作为全局分割阈值T_Evo-Otsu，其中，粒子稳定性评价函数如下：

式中，SL_i是第i个粒子的稳定性水平，BS是当前迭代次数下稳定性最好的粒子，其为当前迭代次数下目标函数的最小值；WS是当前迭代次数下稳定性最差的粒子，其为当前迭代次数下目标函数的最大值。

3.根据权利要求2所述的一种基于颜色特征和深度信息的水果图像分割方法，其特征在于：在步骤S2中，改进的中值滤波算法包括以下步骤：

(1)选取目标像素点(h,j)，其灰度值为P(j,k)的(3×3)的邻域作为滤波窗口，窗口内所有像素灰度值集合S_j,k的数学描述如下：

A＝{-1,0,1}

S_j,k＝{P(j+l₁,k+l₂)|l₁,l₂∈A}

(2)将滤波窗口内所有像素的灰度值x_i进行排序，取出中位值，计算公式如下：

Y(j,k)＝Med{x₁,x₂,x₃…x₉}

式中，x₁,x₂,x₃…x₉为窗口内9个像素的灰度值，Med{·}表示取x_i序列的中值；

(3)计算出滤波窗口内所有像素点灰度的平均值公式如下：

式中，Average(S_j,k)表示取集合S_j,k的平均值；

(4)进行方差的运算：

(5)设置处理临界值M为：

(6)将滤波窗口中心像素点灰度值与临界值相比较，若中心点灰度值高于临界值，将其灰度值替换为中值Y(j,k)，若临界值高，则将其改为临界值M，约束条件如下所示：

式中，F(j,k)为中心像素点(j,k)处理后的灰度值；

中心点的灰度值处理完毕后，移动滤波窗口，参与下一像素点的比较，直至完成整个灰度图像的处理。

4.根据权利要求3所述的一种基于颜色特征和深度信息的水果图像分割方法，其特征在于：在步骤S2中，将改进后的中值滤波融入Bernsen算法中，包括：

选取目标像素点(j,k)，其灰度值为P(j,k)的(3×3)的邻域作为滤波窗口，对窗口内的像素应用改进后的中值滤波算法，然后计算滤波窗口内所有像素的最大值max和最小值min，通过如下公式求得max和min的均值，记为T_Med-BernsEn：

目标窗口中心点的灰度值处理完毕后，移动滤波窗口，参与下一像素点的比较，直至完成整个灰度图像的处理。

5.根据权利要求4所述的一种基于颜色特征和深度信息的水果图像分割方法，其特征在于：在步骤S3中，将全局分割阈值T_Evo-Otsu和局部分割阈值T_Med-Bernsen进行加权求和，最终得到融合全局与局部信息的最终分割阈值T_End，公式如下：

T_End＝α·T_Evo-Otsu+(1-α)·T_Med-Bernsen

式中，α为调节因子，取值范围为0到1；

依次计算出每一个像素点的最终阈值，利用得到的最终阈值对灰度图像进行逐像素二值化，得到CrMask图，处理规则如下：

式中，P(j,k)表示灰度图像在坐标(j,k)的像素值。

6.根据权利要求5所述的一种基于颜色特征和深度信息的水果图像分割方法，其特征在于：在步骤S4中，通过如下公式对S1中的深度图进行二值化处理得到DMask图：

式中，D(j,k)表示在深度图(j,k)位置的深度值；

将DMask图与CrMask图逐像素执行二进制与运算，得到最终的分割图像，计算公式如下：

式中，DMask(j,k)表示深度图二值化后在坐标(j,k)的像素值，CrMask(j,k)表示Cr通道灰度图二值化后在坐标(j,k)的像素值。