CN113989651A - 一种夜视环境下目标果实的识别方法 - Google Patents

Abstract

本发明公开了一种夜视环境下目标果实的识别方法，包括以下步骤：步骤1：在夜视环境下，获取具有目标果实的环境图像，采用基于边缘方向特征的频域算法对环境图像进行降噪，得到去噪后的环境图像；步骤2：采用a^*CbR融合空间法，从去噪后的环境图像中进行目标果实识别，得到目标果实图像；步骤3：采用遗传算法改进的三点定圆法对步骤2得到的目标果实图像的圆心和对应的半径进行优化，得到最终的目标果实识别结果。

Description

一种夜视环境下目标果实的识别方法

技术领域

本发明属于智能农业机器人技术领域，具体涉及一种夜视环境下目标果实的识别方法。

背景技术

水蜜桃在成熟期内需要密集采摘，而采摘作业是水蜜桃种植生产中最耗时、费力的环节之一，目前还是纯手工完成。近年来，基于机器视觉的采摘机器人成为热点，它旨在通过智能机器人技术实现自动采摘水果。夜视环境下采摘机器人是一个集环境感知、运动规划和伺服控制于一体的综合系统。其中，环境感知是自动采摘的重要基础和前提。水蜜桃图像的检测可以为采摘机器人控制系统提供采摘目标信息。对于夜间环境的快速准确的目标检测可以使机器人长时间工作，降低人工成本，提高生产效率。因此，夜视环境下采摘机器人对水蜜桃目标检测与识别方法对于提高采摘机器人的采摘效率和成功率具有重要意义。

实现采摘机器人全天对目标果实的精准识别，是提高其采摘效率的重要途径。一方面，制约水蜜桃采摘效率的是目标水蜜桃的识别性能，因此，只有解决机器人识别时间长、精度低的问题，才可以实现采摘机器人的实用性应用；另一方面，机器人夜晚作业受光照、温度、湿度等影响，使采集的图片质量不佳，因此，获取精确的夜间图像信息是延长机器人作业时间的关键。

针对水蜜桃检测本质上属于计算机视觉中的目标检测。目前，目标检测方法可以分为传统方法和深度学习方法。传统目标检测方法包括基于穷举策略的区域选择、基于SIFT(尺度不变特征变换)和HOG(方向梯度直方图)等方法的特征提取、基于SVM(支持向量机)和Adaboost(自适应提升)等方法的分类器分类等。传统夜间目标检测方法在复杂背景下的鲁棒性较差，难以满足采摘机器人的工作要求，采摘机器人的视觉系统对夜间目标果实识别的精度、速度仍为研究的重、难点。进一步提高苹果采摘机器人的性能，实现机器人的实时性，需要继续改进及优化算法。

复杂的夜间环境给采摘机器人作业增加了难度，夜间的光照、温度、湿度及图像传输过程等都会影响采集到的图像质量，使图像受到噪声污染，从而干扰机器人对图像信息的正确感知，影响机器人视觉系统后续对图像的处理，最终使采摘效率较低不能满足生产需求。因此，降噪处理作为图像预处理的重要一环，对夜间图像的识别具有至关重要的作用。

发明内容

发明目的：为解决现有采摘机器人无法获取精确的夜间图像信息，进而导致采摘机器人识别时间长、识别精度低等问题，本发明提出了一种夜视环境下目标果实的识别方法，能够显著提识别速度，可以达到实时性要求，且准确率高。

技术方案：一种夜视环境下目标果实的识别方法，包括以下步骤：

步骤1：在夜视环境下，获取具有目标果实的环境图像，采用基于边缘方向特征的频域算法对环境图像进行降噪，得到去噪后的环境图像；

步骤2：采用a^*CbR融合空间法，从去噪后的环境图像中进行目标果实识别，得到目标果实图像；

步骤3：采用遗传算法改进的三点定圆法对步骤2得到的目标果实图像的圆心和对应的半径进行优化，得到最终的目标果实识别结果。

进一步的，所述步骤1的实施步骤包括：

S101：对具有目标果实的环境图像Z使用非下采样shearlet变换，进行k次分解，得到低频子带、带通子带Mp和高频子带Hp；

S102：利用Canny算子对具有目标果实的环境图像Z进行边缘检测，得到边缘矩阵M；

S103：根据式(1)对带通子带Mp进行处理，得到带通子带处理后的子带

式中，l为硬阈值；

对高频子带Hp中的所有系数进行如下处理，当高频子带Hp中所有系数处理完成，得到处理后的高频子带

将处理的系数坐标(x，y)带入到边缘矩阵M中，判断处理的系数是否是边缘：

若M_(x，y)＝1，则使用基于边缘方向的边缘位置像素点的去噪过程，利用式(2)得到对应的权重；式中h为控制滤波程度的平滑参数。

若M_(x，y)＝0，则进行非边缘位置系数处理去噪，通过式(3)得到对应的权重：

其中，式中h为控制滤波程度的平滑参数，D₁(i，j)为在含噪的图像z上以像素点i为中心的相似窗与像素点j为中心的相似窗之间的欧式距离；D₂(i，j)为在边缘矩阵上以像素点i为中心的相似窗与像素点j为中心的相似窗之间的欧式距离；D(i，j)为高斯加权欧式距离；h为控制滤波程度的平滑参数；W(i，j)为权重，表征像素i和像素j之间的相似程度；

低频子带Mp使用与高频子带Hp相同的处理方式，选用合适的平滑参数h进行处理，得到处理后的低频子带

S104：基于处理后的低频子带

带通子带

高频子带

使用逆非下采样shearlet变换得到去噪后的环境图像

进一步的，所述步骤2的实施步骤包括：

S201：在RGB颜色空间中，将去噪后的环境图像中的R分量提取出来；在YCbCr颜色空间中，将去噪后的环境图像中的Cb分量提取出来；在L^*a^*b^*颜色空间中，将去噪后的环境图像中的a^*分量提取出来；

S202：将S201提出来的R分量、Cb分量和a^*分量进行融合，得到融合后的a^*CbR颜色空间；

S203：基于融合后的a^*CbR颜色空间，对去噪后的环境图像进行阈值分割，得到目标果实区域；

S204：对得到的目标果实区域进行孔洞填充，得到目标果实图像。

进一步的，S202中，所述的将S201提出来的R分量、Cb分量和a^*分量进行融合，得到融合后的a^*CbR颜色空间，包括：

采取基于核范数加权方法，根据下式对R分量、Cb分量和a^*分量进行融合；

式中，S_d为R分量细节部分矩阵；μ_d为Cb分量细节部分矩阵；K为输入图像数量，k∈1，…，K；i为分解的级数；j为细节部分矩阵对应的第j列向量；ω_d为a^*分量细节部分矩阵；S_f为融合后的矩阵，

为输出图像。

进一步的，S203中，所述的基于融合后的a^*CbR颜色空间，对去噪后的环境图像进行阈值分割，得到框出目标果实的圆型区域，包括：

将图像灰度值作为阈值，把图像分为若干组，方差最大的一组则将该灰度值作为阈值对去噪后的图像

图像进行分割处理；

分割后的图像中面积最大的区域为目标果实区域，将面积小于最大面积的区域去除，得到目标果实区域。

进一步的，所述步骤3的实施步骤包括：

S301：按照三点定圆法，对步骤2提取到的目标果实图像进行圆心与半径的多次计算，得到多组圆心与半径数据，将该多组圆心与半径数据作为初始种群P(0)，每个圆心及其对应的半径为种群中的每个个体；设置适应度阈值，设置适应度的期望值，设置迭代次数；

S302：将上一代种群P(i-1)中的每个个体δ与真实目标果实的像素点个数η比作为适应度函数，表示为：

根据式(6)，计算每个个体的适应度；

S303：将不小于适应度阈值的个体作为下一代种群P(i)的个体，得到下一代种群P(i)；

S304：判断种群P(i)中是否有适应度达到期望值的个体或迭代次数是否达到最大值，仅满足其一条件时，则结束操作，得到目标果实的圆心及其对应的半径，为采摘机器人采摘提供依据；若两个条件均不满足，则迭代次数+1，且i＝i+1，执行S302。

有益效果：本发明与现有技术相比，具有以下优点：

(1)采用基于边缘方向特征的频域算法对夜间水蜜桃图像进行降噪，该算法以信号处理为基础，将含噪图像看作噪声与源图像的混合体，通过对边缘方向的非局部均值滤波处理；利用边缘方向特征的频域算法对夜间水蜜桃图像进行降噪可以有效提高图像质量，减小噪声影响，以实现提高图像质量，减小噪声影响；为采摘机器人在夜间作业提供了技术支撑，实现缩短采摘时间、提高采摘效率的目的；

(2)本发明通过a*CbR融合空间分割，以及对分割结果执行孔洞填充及小面积阈值操作等改善处理，提取得到目标果实，a*CbR融合空间法重叠系数最大且分割误差小，能够精准有效地将目标水蜜桃从复杂的夜间环境下快速准确地提取出来；

(3)本发明通过遗传算法改进三点定圆法，最大限度优化对目标果实圆心与半径的识别，减小求均值过程产生的误差，实现了夜间目标有枝叶遮挡及重叠果实的目标识别，并提高夜间目标果实识别的精准度。

附图说明

图1为遗传算法改进的三点定圆法。

具体实施方式

下面结合附图和实施例进一步阐述本发明。

由于果实的生长形态多种多样、果园的光线变化无常等原因，若能实现晚上作业，则可以实现缩短采摘时间、提高采摘效率的目的；因此本发明提出了一种夜视环境下目标果实的识别方法，结合了多种颜色空间的优势，克服了传统欧氏距离在聚类算法中的缺陷，提高了图像分割的效率和识别精度，同时能快速准确地对生长状态为相互分离的类圆果实进行检测，对部分被遮挡的类圆果实识别效果也较好。现以采摘水蜜桃为例，对本发明的识别方法做进一步说明，其具体包括以下步骤：

步骤1：在夜视环境下，采集水蜜桃目标图像，基于边缘方向特征的频域算法对夜间水蜜桃图像进行降噪，得到去噪后的图像；

步骤2：为了精准地提取出夜间环境下的目标水蜜桃，通过比较颜色空间单独分量的阈值分割结果并不理想，为了使目标水蜜桃提取更完整，且枝叶剔除最多，本发明通过a^*CbR融合空间法，实现精准有效地将目标水蜜桃从复杂的夜间环境下提取出来；a^*CbR融合空间法重叠系数最大且分割误差小，能够精准有效地将目标水蜜桃从复杂的夜间环境下提取出来，得到目标果实图像；

步骤3：针对夜间目标果实识别精准度不高、识别时间较长的问题，本发明采用遗传算法改进的三点定圆法来最大限度优化对目标果实圆心与半径的识别，减小求均值过程产生的误差，实现了夜间目标有枝叶遮挡及重叠果实的目标识别，并提高夜间目标果实识别的精准度；

其中，步骤1具体包括以下子步骤：

S101：对含噪的图像Z使用非下采样shearlet变换，进行k次分解，得到低频子带、带通子带Mp和高频子带Hp；以及利用Canny算子对含有噪声的图像Z进行边缘检测，得到边缘矩阵M；

S102：对步骤2中的带通子带Mp使用硬阈值l根据式(1)进行处理，得到处理后的带通子带

S103：对高频子带Hp中的所有系数进行如下处理，高频子带Hp中所有系数处理完成，得到处理后的高频子带

通过将处理的高频系数的坐标(x，y)带入到边缘矩阵M中，判断处理的系数是否是边缘：

若M_(x,y)＝1，则使用基于边缘方向的边缘位置像素点的去噪过程，利用式(2)得到对应的权重；式中h为控制滤波程度的平滑参数。

若M_(x,y)＝0，则进行非边缘位置系数处理去噪，通过式(3)得到对应的权重：

其中，式中h为控制滤波程度的平滑参数，D₁(i,j)为在含噪的图像z上以像素点i为中心的相似窗与像素点j为中心的相似窗之间的欧式距离；D₂(i,j)为在边缘矩阵上以像素点i为中心的相似窗与像素点j为中心的相似窗之间的欧式距离；D(i,j)为高斯加权欧式距离；h为控制滤波程度的平滑参数；W(i,j)为权重，表征像素i和像素j之间的相似程度；

低频子带Mp使用与高频子带Hp相同的处理方式，选用合适的平滑参数h进行处理，得到处理后的低频子带

S104：低频子带Mp使用与高频子带Hp相同的处理方式，选用合适的平滑参数h进行处理，得到处理后的低频子带

S105：将处理后的低频子带

带通子带

高频子带

使用逆非下采样shearlet变换得到最终去噪后的图像

由图像

和原图Z对比可知，图像质量有效提高，大大减小了噪声影响，因此通过上述降噪步骤得到的图像在夜间降噪能力上有一定的优越性。

在RGB颜色空间中，通常通过改变红(R)、绿(G)、蓝(B)三个分量并叠加，实现色彩的变化。根据公式C＝r×R+g×G+b×B，C为配色光，r、g、b分别为红、绿、蓝的三色系数。但根据RGB值很难判断该值所代表的颜色，另外，RGB颜色空间为非均匀颜色空间，颜色间的视觉差别不能根据颜色空间中颜色点间的距离表示。

在YCbCr颜色空间中，通常用亮度(Y)和色差分量(Cb、Cr)来描述颜色信息，其中Cb为蓝色色度偏差分量，即为RGB颜色空间的B分量与亮度的偏差；Cr为红色色度偏差分量，即为RGB颜色空间中的红色分量R与亮度值之间的偏差，YCbCr颜色空间数据存储空间小和数据传输的带宽小。

在L^*a^*b^*颜色空间中，L^*为亮度，a^*与b^*为颜色对立的维度。L^*的值为0时，色彩为黑色，L^*的值接近100时，颜色为白色；a^*的值表示色彩由洋红色到绿色的范围；b^*的值表示色彩从蓝色到黄色的范围。

根据综上分析，为了使目标水蜜桃提取更完整，且枝叶剔除最多，步骤2具体包括以下子步骤：

S201：将RGB颜色空间中的R分量提取出来，将YCbCr颜色空间中的Cb分量提取出来，将L^*a^*b^*颜色空间中的a^*分量提取出来；

S202：将S201提出来的R分量、Cb分量和a^*分量进行融合，具体融合操作为：

采取基于核范数加权的策略对细节部分进行融合。核范数的实质是矩阵的奇异值的和。在图像矩阵里奇异值有比较重要的位置，比较大的奇异值代表图像的主要特征，如边缘信息、结构等，较小的奇异值一般对应的是图像里的纹理。运用此方法，核范数大的所占权重大，核范数小的所占权重小，这样可以更好地体现图像细节特征。融合的数学表达见式(4—5)：

采取基于核范数加权方法，根据下式对R分量、Cb分量和a^*分量进行融合；

式中，S_d为R分量细节部分矩阵；μ_d为Cb分量细节部分矩阵；K为输入图像数量，k∈1,…,K；i为分解的级数；j为细节部分矩阵对应的第j列向量；ω_d为a^*分量细节部分矩阵；S_f为融合后的矩阵，

为输出图像。融合后的图像质量好、视觉可视性好，图像更清晰。

S203：基于融合后的a^*CbR颜色空间，对去噪后的图像

进行阈值分割，得到目标果实区域；具体实现步骤为：自然条件生长的水蜜桃背景复杂，采集到的图像通常包括枝干、果柄、树叶及天空等景物元素，不同的景物元素会呈现出不同的颜色特征，灰度值是指将灰度对象转换为RGB时，每个对象的颜色值。把白色与黑色之间按对数关系分成若干级，称为“灰度等级”，使用黑白或灰度扫描仪测量生成的图像通常以灰度显示。本发明将灰度值作为阈值，把图像分为若干组，方差最大的一组则将该灰度值作为阈值对去噪后的图像

图像进行分割处理。分割后的图像存在很多连通区域，面积最大的区域则为目标果实，予以保留，而将其余区域认作干扰，通过将面积小于最大面积的区域去除从而获得目标果实区域。

S204：对得到的目标果实区域进行孔洞填充，得到目标果实图像。

其中，如图1所示，步骤3具体包括以下子步骤：

S301：按照三点定圆法，对步骤2提取到的目标果实图像进行圆心与半径的多次计算，得到多组圆心与半径数据，将该多组数据作为初始种群P(0)，每个圆心及其对应的半径是种群中的每个个体；设置适应度阈值P＝90％，设置适应度的期望值E＝95％，设置迭代次数为T＝100；

S302：计算每个个体的适应度：遗传算法中适应度函数对个体被选择的几率起决定性作用，适应度越好个体越容易被选中，将上一代种群P(i-1)中的每个个体δ与真实目标果实的像素点个数η比作为适应度函数，即重合系数：

S303：由不小于适应度阈值的个体作为下一代种群P(i)的个体或通过交叉、变异的遗传算法产生新的个体，从而产生下一代种群P(i)；

S305：判断种群P(i)中是否有适应度达到期望值的个体或迭代次数是否达到最大值，仅满足其一条件时，则结束操作，得到目标果实的圆心及其对应的半径，为采摘机器人采摘提供依据；若两个条件均不满足，则迭代次数+1，且i＝i+1，执行S302。

Claims (6)

1.一种夜视环境下目标果实的识别方法，其特征在于：包括以下步骤：

步骤1：在夜视环境下，获取具有目标果实的环境图像，采用基于边缘方向特征的频域算法对环境图像进行降噪，得到去噪后的环境图像；

步骤2：采用a^*CbR融合空间法，从去噪后的环境图像中进行目标果实识别，得到目标果实图像；

步骤3：采用遗传算法改进的三点定圆法对步骤2得到的目标果实图像的圆心和对应的半径进行优化，得到最终的目标果实识别结果。

2.根据权利要求1所述的一种夜视环境下目标果实的识别方法，其特征在于：所述步骤1的实施步骤包括：

S101：对具有目标果实的环境图像Z使用非下采样shearlet变换，进行k次分解，得到低频子带、带通子带Mp和高频子带Hp；

S102：利用Canny算子对具有目标果实的环境图像Z进行边缘检测，得到边缘矩阵M；

S103：根据式(1)对带通子带Mp进行处理，得到处理后的带通子带

式中，l为硬阈值；

对高频子带Hp中的所有系数进行如下处理，当高频子带Hp中所有系数处理完成，得到处理后的高频子带

将处理的系数坐标(x，y)带入到边缘矩阵M中，判断处理的系数是否是边缘：

若M_(x，y)＝1，则使用基于边缘方向的边缘位置像素点的去噪过程，利用式(2)得到对应的权重；式中h为控制滤波程度的平滑参数。

若M_(x，y)＝0，则进行非边缘位置系数处理去噪，通过式(3)得到对应的权重：

其中，式中h为控制滤波程度的平滑参数，D₁(i，j)为在含噪的图像z上以像素点i为中心的相似窗与像素点j为中心的相似窗之间的欧式距离；D₂(i，j)为在边缘矩阵上以像素点i为中心的相似窗与像素点j为中心的相似窗之间的欧式距离；D(i，j)为高斯加权欧式距离；h为控制滤波程度的平滑参数；W(i,j)为权重，表征像素i和像素j之间的相似程度；

低频子带Mp使用与高频子带Hp相同的处理方式，选用合适的平滑参数h进行处理，得到处理后的低频子带

S104：基于处理后的低频子带

带通子带

高频子带

使用逆非下采样shearlet变换得到去噪后的环境图像

3.根据权利要求1所述的一种夜视环境下目标果实的识别方法，其特征在于：所述步骤2的实施步骤包括：

S201：在RGB颜色空间中，将去噪后的环境图像中的R分量提取出来；在YCbCr颜色空间中，将去噪后的环境图像中的Cb分量提取出来；在L^*a^*b^*颜色空间中，将去噪后的环境图像中的a^*分量提取出来；

S202：将S201提出来的R分量、Cb分量和a^*分量进行融合，得到融合后的a^*CbR颜色空间；

S203：基于融合后的a^*CbR颜色空间，对去噪后的环境图像进行阈值分割，得到目标果实区域；

S204：对得到的目标果实区域进行孔洞填充，得到目标果实图像。

4.根据权利要求3所述的一种夜视环境下目标果实的识别方法，其特征在于：S202中，所述的将S201提出来的R分量、Cb分量和a^*分量进行融合，得到融合后的a^*CbR颜色空间，包括：

采取基于核范数加权方法，根据下式对R分量、Cb分量和a^*分量进行融合；

式中，S_d为R分量细节部分矩阵；μ_d为Cb分量细节部分矩阵；K为输入图像数量，k∈1，…，K；i为分解的级数；j为细节部分矩阵对应的第j列向量；ω_d为a^*分量细节部分矩阵；S_f为融合后的矩阵，

为输出图像。

5.根据权利要求3所述的一种夜视环境下目标果实的识别方法，其特征在于：S203中，所述的基于融合后的a^*CbR颜色空间，对去噪后的环境图像进行阈值分割，得到框出目标果实的圆型区域，包括：

将图像灰度值作为阈值，把图像分为若干组，取方差最大的一组的灰度值作为阈值，对去噪后的图像

图像进行分割处理；

分割后的图像中面积最大的区域为目标果实区域，将面积小于最大面积的区域去除，得到目标果实区域。

6.根据权利要求1所述的一种夜视环境下目标果实的识别方法，其特征在于：所述步骤3的实施步骤包括：

S301：按照三点定圆法，对步骤2提取到的目标果实图像进行圆心与半径的多次计算，得到多组圆心与半径数据，将该多组圆心与半径数据作为初始种群P(0)，每个圆心及其对应的半径为种群中的每个个体；设置适应度阈值，设置适应度的期望值，设置迭代次数；

S302：将上一代种群P(i-1)中的每个个体δ与真实目标果实的像素点个数η比作为适应度函数，表示为：

根据式(6)，计算每个个体的适应度；

S303：将不小于适应度阈值的个体作为下一代种群P(i)的个体，得到下一代种群P(i)；

S304：判断种群P(i)中是否有适应度达到期望值的个体或迭代次数是否达到最大值，仅满足其一条件时，则结束操作，得到目标果实的圆心及其对应的半径，为采摘机器人采摘提供依据；若两个条件均不满足，则迭代次数+1，且i＝i+1，执行S302。

Images