CN114387343A - 一种成簇平菇的菌柄采摘位置的检测方法 - Google Patents

Abstract

本发明公开了一种成簇平菇的菌柄采摘位置的检测方法，包括：将左右两列平菇培养袋出菇口相对地摆放在地面上，通过深度相机俯拍，得到被拍摄区域的RGB彩色图像和深度图像；将RGB彩色图像输入YOLOv5模型，输出矩形边界框将整簇平菇和整簇平菇菌柄分别包围；对深度图像矩阵处理，确定平菇的生长方向；对矩形边界框包围的整簇平菇菌柄，菌柄采摘位置为矩形边界框的几何中心；对矩形边界框包围的整簇平菇，根据平菇生长方向分别计算菌柄采摘位置的二维坐标；代入深度图像矩阵，得到整簇平菇菌柄的采摘位置的三维坐标。本发明不受菌柄被遮挡的影响，针对菌柄的检测方法鲁棒性能好、准确度高，且能有效降低采摘过程中对菌盖的损伤。

Description

一种成簇平菇的菌柄采摘位置的检测方法

技术领域

本发明涉及视觉检测技术领域，尤其涉及一种成簇平菇的菌柄采摘位置的检测方法。

背景技术

平菇的子实体分为菌盖、和菌柄。菌盖的形状为扇状、贝壳状，以覆瓦状丛生。菌盖表面颜色在生长过程中容易受光线影响，光照强的时候菌盖颜色深，光照弱的时候菌盖颜色浅。未成熟的平菇菌盖，其颜色为淡紫色、黑灰色、灰白色、白色、浅褐色、浅黄色和粉红色等，成熟的平菇菌盖，其颜色变为黑灰色、浅灰色、白色、黄色或红色等。人工培养袋种植下，菌盖直径一般为5cm至18cm。平菇菌柄为白色，直径在1cm-4cm之间，长度在3cm-5cm之间。平菇一般在大棚里采用培养袋种植，采摘时，手需要握住成簇的平菇菌柄部位，并往上提，然后将成簇的平菇摘下。目前市场上没有平菇采摘机械，采摘方式仍然是人工采摘，因此，为了减轻人工采摘劳动力，加快采摘效率，对平菇采摘机器人的研究尤为重要。

现有食用菌采摘机器人的采摘对象大多集中在褐菇、双孢菇、鸡腿菇等形状简单、子实体之间几乎不粘连的食用菌，而平菇覆瓦状丛生、粘连的生长特性，使得用于上述菌菇的检测方法不适用于平菇，鲁棒性和准确度有待提高；而且由于平菇的菌柄较小，容易被菌盖遮挡，针对菌柄检测时，容易出现漏检，而针对菌盖检测时，在后续的采摘阶段容易对平菇菌盖造成损伤。

发明内容

(一)要解决的技术问题

基于上述问题，本发明提供一种成簇平菇的菌柄采摘位置的检测方法，解决现有菌菇检测方法不适用于平菇，鲁棒性和准确度有待提高，平菇菌柄易被菌菇遮挡造成针对菌柄检测时易漏检，针对平菇菌盖检测时后续采摘易损伤菌盖的问题。

(二)技术方案

基于上述的技术问题，本发明提供一种成簇平菇的菌柄采摘位置的检测方法，一种成簇平菇的菌柄采摘位置的检测方法，其特征在于，包括以下步骤：

S1、将左右两列平菇培养袋出菇口相对地摆放在地面上，通过深度相机俯拍平菇和平菇培养袋，得到被拍摄区域的RGB彩色图像帧和深度图像帧；

S2、对所述RGB彩色图像帧提取数据得到RGB彩色图像，输入平菇的YOLOv5深度神经网络模型中，输出矩形边界框将RGB彩色图像中的整簇平菇和整簇平菇菌柄分别包围，以及所述矩形边界框的以像素为单位的宽、高和矩形边界框的几何中心坐标；

S3、对所述深度图像帧提取数据得到深度图像矩阵Z，通过众数膨胀卷积预处理后，根据平菇培养袋区域的深度值与地面的深度值的差异，确定平菇生长方向；

其中，令z_p,q为深度图像矩阵Z中第p行第q列的深度值，r为矩阵的行数，对应图像的高，单位为像素，s为矩阵的列数，对应图像的宽，单位为像素；

S4、计算菌柄采摘位置的二维坐标：对于矩形边界框包围的整簇平菇菌柄，菌柄采摘位置的二维坐标为对应的所述矩形边界框的几何中心坐标；对于矩形边界框包围的整簇平菇，根据所述平菇生长方向计算菌柄采摘位置的二维坐标(P_0x,P_0y)：

P_0y＝P_1y

其中，平菇生长方向从左向右时，P_0x公式为减号，平菇生长方向从右向左时，P_0x公式为加号；(P_1x，P_1y)为整簇平菇的矩形边界框的几何中心坐标，w₁为整簇平菇的矩形边界框的宽度，d为整簇平菇菌柄半轴长度，表示整簇平菇菌柄的采摘位置到整簇平菇菌柄根部附近的整簇平菇的矩形边界框的距离,d和w₁之间的比例关系通过统计得到；

S5、根据所述采摘位置的二维坐标和所述深度图像矩阵Z，得到采摘位置的深度值

得到整簇平菇菌柄的采摘位置在像素坐标系下的三维坐标

控制仿生柔性手指以所述采摘位置为目标进行采摘。

进一步的，所述深度相机安装在六自由度机械臂最末端的机械臂关节上，通过六自由度机械臂调整所述深度相机的姿态。

进一步的，所述深度相机包括RGB彩色相机、左红外相机和右红外相机，所述左红外相机和右红外相机位于同一平面；所述左红外相机和右红外相机相同，获得深度图像帧，每个像素值表示相机与目标表面之间的距离；所述RGB彩色相机获得RGB彩色图像帧，每个像素值提供物体表面的颜色信息和纹理信息。

进一步的，步骤S1之后，还包括将所述RGB彩色图像帧和深度图像帧进行对齐处理。

进一步的，步骤S2中，所述平菇的YOLOv5深度神经网络模型通过将整簇平菇和整簇平菇菌柄分别标框后的平菇图片作为训练数据集，输入YOLOv5深度神经网络模型训练得到。

进一步的，步骤S3包括以下步骤：

S3.1、对所述深度图像帧提取数据得到深度图像矩阵Z，将所述深度图像矩阵Z进行彩色化处理，得到RGB彩色深度图像，提取RGB彩色深度图像的B通道分量，得到B通道灰度图像及其B通道分量图像矩阵M，令m_p,q为B通道分量图像矩阵M中第p行第q列的灰度值，

S3.2、对所述B通道分量图像矩阵M进行众数膨胀卷积，得到众数膨胀卷积后的图像矩阵M′；

令A_i,j为众数膨胀区域矩阵，

其中，k为卷积核的大小，i＝0,k,2k,...,r，j＝0,k,2k,...,s；

令矩阵A_i,j中每个元素m_p,q的状态为a_p,q，则

i≤p≤i+k-1

j≤q≤j+k-1

令矩阵A_i,j中的所有元素的状态之和为σ_i,j，则

将所述B通道分量图像矩阵M中属于A_i,j区域的元素替换成A_i,j中的元素的众数，即

其中，i＝0,k,2k,…,r；j＝0,k,2k,…,s；i≤p≤i+k-1；j≤q≤j+k-1；

得到众数膨胀卷积后的图像矩阵M′，m′_p,q为M′中第p行第q列的灰度值，

S3.3、根据众数膨胀卷积后的图像矩阵M′在行方向对每一列进行遍历，寻找梯度发生变化的列向量，判断平菇生长方向；

将图像矩阵M′第0列的元素进行求和得到S₀，判断得到M′第0列的状态F_l：

对图像矩阵M′在行方向对每一列进行遍历，对列方向的元素进行求和得到每列的元素和S_q，判断得到每列的状态F_q：

当F_l≠F_q时，令C＝q，且F_l＝F_q；

设第C列向量的灰度值梯度为T_C，令灰度值正梯度方向为1，灰度值负梯度方向为0，则

当T_C＝0时，表示平菇从右向左生长，当T_C＝1时，表示平菇从左向右生长。

进一步的，步骤S4中，所述整簇平菇菌柄半轴长度d占整簇平菇矩形边界框宽度w₁的16％。

进一步的，步骤S5中，所述仿生柔性手指安装在六自由度机械臂的最末端的机械臂关节。

本发明也公开了一种成簇平菇的菌柄采摘位置的检测系统，包括：

至少一个处理器；以及与所述处理器通信连接的至少一个存储器，其中：

所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行所述的成簇平菇的菌柄采摘位置的检测方法。

本发明也公开了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行所述的方法。

(三)有益效果

本发明的上述技术方案具有如下优点：

(1)本发明采用深度相机，利用YOLOv5深度神经网络检测得到整簇平菇菌柄和整簇平菇，对两种情况分别计算出菌柄采摘位置的二维坐标，再根据深度相机获取的深度图像信息得到整簇平菇菌柄的采摘位置在像素坐标系下的三维坐标，该方法鲁棒性较好，准确度高，弥补了YOLOv5深度神经网络的不足，克服了平菇菌盖遮挡菌柄，造成菌柄漏检的问题，从而有利于提高检测的准确度；

(2)本发明通过众数膨胀卷积处理，使深度图像的空洞以及纵向培养袋之间的间隙得到了填充，同时还增大了培养袋深度值和地面深度值之间的差异，使得培养袋与地面的边缘纹理特征更加明显，以便更容易确定培养袋深度值和地面深度值的变化方向，得到了平菇生长方向，然后根据平菇生长方向和矩形边界框与菌柄采摘位置之间的位置关系确定平菇菌盖遮挡菌柄时的菌柄采摘位置的二维坐标，通过图像处理和统计的方式，推算出更准确的菌柄采摘位置的二维坐标；

(3)本发明采用左、右红外相机得到深度图像帧，红外相机发射的红外激光不易受环境光照变化的影响，从而保证深度值的准确性，进一步保证检测结果的准确性；

(4)本发明以菌柄采摘位置为仿生柔性手指的抓取目标，能有效降低采摘过程中对平菇菌盖的损伤率，减少成本损失。

附图说明

通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，在附图中：

图1为本发明实施例的一种成簇平菇的菌柄采摘位置的检测方法的流程图；

图2为本发明实施例的具有深度相机和仿生柔性手指的六自由度机械臂的示意图；

图3为本发明实施例的深度相机的示意图；

图4为发明实施例的RGB彩色图像的示意图；

图5为发明实施例的RGB彩色图像从YOLOv5模型中输出的矩形边界框的示意图；

图6为发明实施例的RGB彩色深度图像的示意图；

图7为发明实施例的B通道分量图像的示意图；

图8为发明实施例的经过众数膨胀卷积后的B通道分量图像的示意图；

图9为发明实施例的经过众数膨胀卷积后的B通道分量图像的平菇生长方向的示意图；

图10为发明实施例的RGB彩色图像中菌柄采摘位置的示意图；

图中：1：仿生柔性手指；2：深度相机；21：右红外相机；22：RGB彩色相机；23：左红外相机。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

本发明公开了一种成簇平菇的菌柄采摘位置的检测方法，如图1所示，包括以下步骤：

S1、将左右两列平菇培养袋出菇口相对地摆放在地面上，通过深度相机2俯拍平菇和平菇培养袋，得到被拍摄区域的RGB彩色图像帧和深度图像帧，将所述RGB彩色图像帧和深度图像帧进行对齐处理；

将左右两列平菇培养袋出菇口相对地摆放在地面上，如图4-10所示，左右两列的平菇培养袋均会长出平菇，左侧平菇培养袋的平菇将朝右边生长，右侧平菇培养袋的平菇将朝左边生长。平菇生长时会露出平菇菌柄，平菇菌盖成覆瓦状，但当平菇生长旺盛时，平菇菌盖通常会遮挡平菇菌柄。

本发明的视觉检测系统包括安装在六自由度机械臂最末端的机械臂关节的深度相机2，如图2和图3所示，所述深度相机2包括RGB彩色相机22、左红外相机23和右红外相机21，左红外相机23和右红外相机21的硬件配置是相同的，可以获得相机与目标表面之间的距离得到深度图像，在深度图像中，每个像素值是相机与目标表面之间的距离；RGB彩色相机22可以获得彩色图像，在彩色图像中，每个像素值是物体表面的颜色信息，RGB彩色相机22还提供纹理信息，纹理信息可以覆盖深度图像，从而得到三维彩色点云。检测时，通过六自由度机械臂调整深度相机2的姿态，使深度相机2俯拍平菇和平菇培养袋，即拍摄面与平菇培养袋的出菇方向平行，能尽可能多地拍摄到平菇菌柄，从而得到被拍摄区域的RGB彩色图像帧和深度图像帧。

深度相机2的每一帧图像包含了深度图像帧和RGB彩色图像帧。当获取深度相机2的一帧图像后，对该帧进行对齐处理，使得深度相机2中的深度图像帧和RGB彩色图像帧对齐，得到对齐后的帧。从对齐后的帧中取出对齐后的深度图像帧和齐后的RGB彩色图像帧。

S2、对所述RGB彩色图像帧提取数据得到RGB彩色图像，输入平菇的YOLOv5深度神经网络模型中，输出矩形边界框将RGB彩色图像中的整簇平菇和整簇平菇菌柄分别包围，以及所述矩形边界框的以像素为单位的宽、高和矩形边界框的几何中心坐标；

从对齐后的RGB彩色图像帧中提取数据，转成RGB彩色图像，如图4所示。将RGB彩色图像输入经过训练的平菇的YOLOv5深度神经网络模型，以整簇平菇和整簇平菇菌柄为目标物体进行检测，当检测出目标物体时，平菇的YOLOv5深度神经网络会输出不同颜色的矩形边界框将目标物体分别包围，如图5所示，矩形边界框的几何中心就是目标物体的中心，以像素坐标表示，像素坐标系原点位于彩色RGB彩色图像左上角。图5中最小矩形边界框为黄色，包围的是整簇平菇菌柄，其它三个矩形边界框为红色，包围的是整簇平菇，由于平菇菌柄比较小，该整簇平菇的菌盖遮挡了菌柄。同时，YOLOv5深度神经网络还会输出矩形边界框的宽和高，单位是像素。

所述平菇的YOLOv5深度神经网络模型，先通过深度相机2采集拍摄筛选出3000张平菇图片，经数据增强后得到6000张平菇图片，人工对平菇图片中的整簇平菇和整簇平菇菌柄分别标框后作为数据集，输入现有的YOLOv5深度神经网络模型进行训练，得到平菇的YOLOv5深度神经网络模型。

S3、对所述深度图像帧提取数据得到深度图像矩阵Z，通过众数膨胀卷积预处理后，根据平菇培养袋区域的深度值与地面的深度值的差异，确定平菇生长方向；

从对齐后的深度图像帧中提取数据，可以得到深度图像矩阵Z，令z_p,q为深度图像矩阵Z中第p行第q列的深度值，则

其中，r为矩阵的行数，s为矩阵的列数。将数字图像数据用矩阵来表示，深度图像的像素数据就是一个矩阵，矩阵的行对应图像的高(单位为像素)，矩阵的列对应图像的宽(单位为像素)，矩阵的元素对应图像的像素，矩阵元素的值就是像素的深度值。

由于平菇从培养袋侧边生长，且平菇培养袋和地面存在高度差，也就是平菇培养袋区域的深度值与地面的深度值存在差异，因此，当深度相机2俯拍平菇时，可以得到拍摄区域的深度图像，根据深度值的变化情况来判断高度差变化的方向，从而确定平菇的生长方向。然而，通过深度相机2拍摄得到的深度图像，具有一定的深度值空洞，且培养袋与地面的深度值差异小，因此，需要对深度图像进行预处理，并转成深度值具有明显变化的图像。

S3.1、对所述深度图像帧提取数据得到深度图像矩阵Z，将所述深度图像矩阵Z进行彩色化处理，得到RGB彩色深度图像，提取RGB彩色深度图像的B通道分量，得到B通道灰度图像及其B通道分量图像矩阵M；

将帧对齐后的深度图像帧映射到三通道的图像中，进行彩色化处理，得到RGB彩色深度图像，如图6所示。提取RGB彩色深度图像的B通道分量，并将其设为B通道分量图像矩阵M，如图7所示。

令m_p,q为B通道分量图像矩阵M中第p行第q列的灰度值，则

其中，r为矩阵的行数，s为矩阵的列数，灰度图像的像素数据就是一个矩阵，矩阵的行对应图像的高(单位为像素)，矩阵的列对应图像的宽(单位为像素)，矩阵的元素对应图像的像素，矩阵元素的值就是像素的灰度值。

S3.2、对所述B通道分量图像矩阵M进行众数膨胀卷积，得到众数膨胀卷积后的图像矩阵M′；

令A_i,j为众数膨胀区域矩阵，用于对矩阵M中的元素划定范围，便于对该范围的元素求众数，从而在图像上实现膨胀效果，则

其中，k为卷积核的大小，控制A_i,j区域的大小，

i＝0,k,2k,...,r

j＝0,k,2k,...,s

令矩阵A_i,j中每个元素m_p,q的状态为a_p,q，则

i≤p≤i+k-1

j≤q≤j+k-1

令矩阵A_i,j中的所有元素的状态之和为σ_i,j，则

矩阵M中，m_p,q的值域为[0,255]，由于需要将矩阵M中属于A_i,j区域的元素进行二值化，使成m_p,q等于0或者255，因此，将灰度值大于0的元素归为“255”这一类，将灰度值等于0的元素归为“0”这一类，则求A_i,j中的元素的众数转化为求非0元素个数是否超过A_i,j总元素个数的一半的问题。若非0元素个数大于或等于A_i,j总元素个数的一半，则A_i,j中的元素的众数为255，否则为0。之后，将矩阵M中属于A_i,j区域的元素替换成A_i,j中的元素的众数，即

其中，

i＝0,k,2k,...,r

j＝0,k,2k,...,s

i≤p≤i+k-1

j≤q≤j+k-1

B通道分量图像矩阵M经过众数膨胀卷积后得到众数膨胀卷积后的图像矩阵M′，如图8所示，通过众数膨胀算法对深度图像进行预处理，使得培养袋与地面的深度值二值化，培养袋深度值均为255，地面深度值均为0，且属于培养袋附近的像素的深度值被同化成255，从而使深度图像的空洞以及同列的平菇培养袋之间的间隙得到了填充，同时还增大了平菇培养袋深度值和地面深度值之间的差异，使得平菇培养袋与地面的边缘纹理特征更加明显，有利于确定深度值的变化方向。

S3.3、根据众数膨胀卷积后的图像矩阵M′在行方向对每一列进行遍历，寻找梯度发生变化的列向量，判断平菇生长方向；

对经过众数膨胀卷积后的图像矩阵M′在行方向对每一列进行遍历，寻找梯度发生变化的列向量。首先将图像矩阵M′第0列的元素进行求和得到S₀，则

对S₀进行判断，得到状态F_l，则

对图像矩阵M′在行方向对每一列进行遍历，对列方向的元素进行求和得到S_q，则

对每列的S_q进行判断，得到状态F_q，则

令C等于F_q发生变化时的列数q，即当F_l≠F_q时，

C＝q

且

F_l＝F_q

设第C列向量的灰度值梯度为T_C，令灰度值正梯度方向为1，灰度值负梯度方向为0，则

至此，平菇的生长方向可以由T_C来反映。如图9所示，图中箭头表示平菇生长方向，当T_C＝0时，平菇从右向左生长，当T_C＝1时，平菇从左向右生长。

S4、计算菌柄采摘位置的二维坐标：对于矩形边界框包围的整簇平菇菌柄，菌柄采摘位置的二维坐标为对应的所述矩形边界框的几何中心坐标；对于矩形边界框包围的整簇平菇，根据所述平菇生长方向计算菌柄采摘位置的二维坐标(P_0x,P_0y)，平菇生长方向从左向右时，P_0x公式为减号，平菇生长方向从右向左时，P_0x公式为加号：

P_0y＝P_1y，

S4.1、对矩形边界框包围的整簇平菇菌柄计算菌柄采摘位置的二维坐标；

若检测出整簇平菇菌柄，矩形边界框将包围整簇平菇菌柄，并记录整簇平菇菌柄边界框的几何中心P₂、宽w₂和高h₂，从而得到整簇平菇菌柄中心的像素坐标(P_2x,P_2y)、整簇平菇菌柄的宽度w₂和平菇生长方向上整簇平菇菌柄的高度h₂，且整簇平菇菌柄中心P₂就是菌柄采摘位置的二维坐标，即(P_0x,P_0y)＝(P_2x,P_2y)；

S4.2、对矩形边界框包围的整簇平菇计算菌柄采摘位置的二维坐标；

若只检测到整簇平菇，则记录整簇平菇边界框的几何中心P₁，宽w₁和高h₁，无法直接得到平菇菌柄的采摘位置坐标P₀(P_0x,P_0y)。由于整簇平菇菌柄半轴长度d和整簇平菇边界框宽度w₁存在比例关系，通过整簇平菇边界框确定整簇平菇菌柄的采摘位置，所述整簇平菇菌柄半轴d表示整簇平菇菌柄的采摘位置到整簇平菇菌柄根部附近的整簇平菇边界框的距离。但是平菇生长方向有向左生长和向右生长两种情况，分情况进行求取。

统计整簇平菇菌柄半轴长度d，由实验统计结果可以得到整簇平菇菌柄半轴长度d占整簇平菇边界框宽度w₁的16％，即

d＝0.16w₁

则整簇平菇菌柄的采摘位置P₀的计算公式如下：

当T_C＝1时，

P_0y＝P_1y

当T_C＝0时，

P_0y＝P_1y

其中，P_0x为P₀的横坐标，P_0y为P₀的纵坐标，P_1x为P₁的横坐标，P_1y为P₁的纵坐标。

至此，整簇平菇菌柄的采摘位置坐标已经确定。整簇平菇的菌柄采摘位置的检测结果(即图中短线段)、平菇生长方向、整簇平菇的矩形边界框、整簇平菇菌柄的矩形边界框如图10所示。

S5、根据所述采摘位置的二维坐标和所述深度图像矩阵Z，得到采摘位置的深度值

得到整簇平菇菌柄的采摘位置在像素坐标系下的三维坐标

控制仿生柔性手指1以所述采摘位置为目标进行采摘。

最后，在深度图像矩阵Z中，通过整簇平菇的菌柄采摘位置的二维坐标P₀(P_0x,P_0y)可以得到整簇平菇的菌柄采摘位置的深度值

即矩阵Z中第P_0y行第P_0x列的深度值，最终得到整簇平菇的菌柄采摘位置在像素坐标系下的三维坐标

通过安装在六自由度机械臂的最末端的机械臂关节的仿生柔性手指1采摘整簇平菇，如图2所示，采摘点为平菇菌柄。

最后需要说明的是，上述的检测方法可以转换为软件程序指令，既可以使用包括处理器和存储器的系统来运行实现，也可以通过非暂态计算机可读存储介质中存储的计算机指令来实现。上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

综上可知，通过上述的一种成簇平菇的菌柄采摘位置的检测方法，具有以下有益效果：

(1)本发明采用深度相机，利用YOLOv5深度神经网络检测得到整簇平菇菌柄和整簇平菇，对两种情况分别计算出菌柄采摘位置的二维坐标，再根据深度相机获取的深度图像信息得到整簇平菇菌柄的采摘位置在像素坐标系下的三维坐标，该方法鲁棒性较好，准确度高，弥补了YOLOv5深度神经网络的不足，克服了平菇菌盖遮挡菌柄，造成菌柄漏检的问题，从而有利于提高检测的准确度；

(2)本发明通过众数膨胀卷积处理，使深度图像的空洞以及纵向培养袋之间的间隙得到了填充，同时还增大了培养袋深度值和地面深度值之间的差异，使得培养袋与地面的边缘纹理特征更加明显，以便更容易确定培养袋深度值和地面深度值的变化方向，得到了平菇生长方向，然后根据平菇生长方向和矩形边界框与菌柄采摘位置之间的位置关系确定平菇菌盖遮挡菌柄时的菌柄采摘位置的二维坐标，通过图像处理和统计的方式，推算出更准确的菌柄采摘位置的二维坐标；

(3)本发明采用左、右红外相机得到深度图像帧，红外相机发射的红外激光不易受环境光照变化的影响，从而保证深度值的准确性，进一步保证检测结果的准确性；

(4)本发明以菌柄采摘位置为仿生柔性手指的抓取目标，能有效降低采摘过程中对平菇菌盖的损伤率，减少成本损失。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；虽然结合附图描述了本发明的实施方式，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (10)

1.一种成簇平菇的菌柄采摘位置的检测方法，其特征在于，包括以下步骤：

S1、将左右两列平菇培养袋出菇口相对地摆放在地面上，通过深度相机俯拍平菇和平菇培养袋，得到被拍摄区域的RGB彩色图像帧和深度图像帧；

S2、对所述RGB彩色图像帧提取数据得到RGB彩色图像，输入平菇的YOLOv5深度神经网络模型中，输出矩形边界框将RGB彩色图像中的整簇平菇和整簇平菇菌柄分别包围，以及所述矩形边界框的以像素为单位的宽、高和矩形边界框的几何中心坐标；

S3、对所述深度图像帧提取数据得到深度图像矩阵Z，通过众数膨胀卷积预处理后，根据平菇培养袋区域的深度值与地面的深度值的差异，确定平菇生长方向；

其中，令z_p,q为深度图像矩阵Z中第p行第q列的深度值，r为矩阵的行数，对应图像的高，单位为像素，s为矩阵的列数，对应图像的宽，单位为像素；

S4、计算菌柄采摘位置的二维坐标：对于矩形边界框包围的整簇平菇菌柄，菌柄采摘位置的二维坐标为对应的所述矩形边界框的几何中心坐标；对于矩形边界框包围的整簇平菇，根据所述平菇生长方向计算菌柄采摘位置的二维坐标(P_0x,P_0y)：

P_0y＝P_1y

其中，平菇生长方向从左向右时，P_0x公式为减号，平菇生长方向从右向左时，P_0x公式为加号；(P_1x，P_1y)为整簇平菇的矩形边界框的几何中心坐标，w₁为整簇平菇的矩形边界框的宽度，d为整簇平菇菌柄半轴长度，表示整簇平菇菌柄的采摘位置到整簇平菇菌柄根部附近的整簇平菇的矩形边界框的距离,d和w₁之间的比例关系通过统计得到；

S5、根据所述采摘位置的二维坐标和所述深度图像矩阵Z，得到采摘位置的深度值

得到整簇平菇菌柄的采摘位置在像素坐标系下的三维坐标

控制仿生柔性手指以所述采摘位置为目标进行采摘。

2.根据权利要求1所述的成簇平菇的菌柄采摘位置的检测方法，其特征在于，所述深度相机安装在六自由度机械臂最末端的机械臂关节上，通过六自由度机械臂调整所述深度相机的姿态。

3.根据权利要求1所述的成簇平菇的菌柄采摘位置的检测方法，其特征在于，所述深度相机包括RGB彩色相机、左红外相机和右红外相机，所述左红外相机和右红外相机位于同一平面；所述左红外相机和右红外相机相同，获得深度图像帧，每个像素值表示相机与目标表面之间的距离；所述RGB彩色相机获得RGB彩色图像帧，每个像素值提供物体表面的颜色信息和纹理信息。

4.根据权利要求1所述的成簇平菇的菌柄采摘位置的检测方法，其特征在于，步骤S1之后，还包括将所述RGB彩色图像帧和深度图像帧进行对齐处理。

5.根据权利要求1所述的成簇平菇的菌柄采摘位置的检测方法，其特征在于，步骤S2中，所述平菇的YOLOv5深度神经网络模型通过将整簇平菇和整簇平菇菌柄分别标框后的平菇图片作为训练数据集，输入YOLOv5深度神经网络模型训练得到。

6.根据权利要求1所述的成簇平菇的菌柄采摘位置的检测方法，其特征在于，步骤S3包括以下步骤：

S3.1、对所述深度图像帧提取数据得到深度图像矩阵Z，将所述深度图像矩阵Z进行彩色化处理，得到RGB彩色深度图像，提取RGB彩色深度图像的B通道分量，得到B通道灰度图像及其B通道分量图像矩阵M，令m_p,q为B通道分量图像矩阵M中第p行第q列的灰度值，

S3.2、对所述B通道分量图像矩阵M进行众数膨胀卷积，得到众数膨胀卷积后的图像矩阵M′；

令A_i,j为众数膨胀区域矩阵，

其中，k为卷积核的大小，i＝0,k,2k,…,r，j＝0,k,2k,…,s；

令矩阵A_i,j中每个元素m_p,q的状态为a_p,q，则

i≤p≤i+k-1

j≤q≤j+k-1

令矩阵A_i,j中的所有元素的状态之和为σ_i,j，则

将所述B通道分量图像矩阵M中属于A_i,j区域的元素替换成A_i,j中的元素的众数，即

其中，i＝0,k,2k,…,r；j＝0,k,2k,…,s；i≤p≤i+k-1；j≤q≤j+k-1；

得到众数膨胀卷积后的图像矩阵M′，m′_p,q为M′中第p行第q列的灰度值，

S3.3、根据众数膨胀卷积后的图像矩阵M′在行方向对每一列进行遍历，寻找梯度发生变化的列向量，判断平菇生长方向；

将图像矩阵M′第0列的元素进行求和得到S₀，判断得到M′第0列的状态F_l：

对图像矩阵M′在行方向对每一列进行遍历，对列方向的元素进行求和得到每列的元素和S_q，判断得到每列的状态F_q：

当F_l≠F_q时，令C＝q，且F_l＝F_q；

设第C列向量的灰度值梯度为T_C，令灰度值正梯度方向为1，灰度值负梯度方向为0，则

当T_C＝0时，表示平菇从右向左生长，当T_C＝1时，表示平菇从左向右生长。

7.根据权利要求1所述的成簇平菇的菌柄采摘位置的检测方法，其特征在于，步骤S4中，所述整簇平菇菌柄半轴长度d占整簇平菇矩形边界框宽度w₁的16％。

8.根据权利要求1所述的成簇平菇的菌柄采摘位置的检测方法，其特征在于，步骤S5中，所述仿生柔性手指安装在六自由度机械臂的最末端的机械臂关节。

9.一种成簇平菇的菌柄采摘位置的检测系统，其特征在于，包括：

至少一个处理器；以及与所述处理器通信连接的至少一个存储器，其中：

所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1至8任一项所述的成簇平菇的菌柄采摘位置的检测方法。

10.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如权利要求1至8任一项所述的方法。

Images