CN117426255A - 基于视觉和力觉反馈的双孢菇自动采摘系统及方法 - Google Patents

Abstract

本发明提供了基于视觉和力觉反馈的双孢菇自动采摘系统及方法，属于智慧农业技术领域，包括：区域识别模块，用于在待采摘双孢菇片区图像中识别出株间缝隙区域和双孢菇区域；簇划分模块，用于将双孢菇区域中的每个单连通区域当作双孢菇簇区域，获得双孢菇区域中的所有双孢菇簇区域；策略确定模块，用于基于每个双孢菇簇区域中的株分布特征和株间缝隙区域，生成双孢菇区域的总采摘策略；模糊控制模块，用于基于总采摘策略控制采摘手爪进行移动控制，并在移动过程中基于力位阻抗控制的神经模糊PID算法和采摘手爪内部设置的力传感器控制采摘手爪进行抓取采摘获得自动采摘结果；用以实现双孢菇的自动采摘并提高其采摘效率，减少采摘损伤率。

Description

基于视觉和力觉反馈的双孢菇自动采摘系统及方法

技术领域

本发明涉及智慧农业技术领域，特别涉及基于视觉和力觉反馈的双孢菇自动采摘系统及方法。

背景技术

目前，针对当前双孢菇乃至整个菌菇类种植采收阶段主要依靠人力的问题，以规模化种植基地为实际应用推广场景，相关研究人员研发出一批双孢菇自动采摘机器人。

但是，现存的部分双孢菇自动采摘系统采用固定移动轨迹和抓取方位对种植基地的双孢菇进行摘取，由于双孢菇株群在终止基地中的长势差异和分布差异，导致双孢菇株群在种植基地中分布不均，若采用固定移动轨迹和抓取方位对双孢菇进行摘取不仅影响采摘效率，还会在采摘菇群长势密集的双孢菇菇株时造成菇株损伤。

因此，本发明提出基于视觉和力觉反馈的双孢菇自动采摘系统及方法。

发明内容

本发明提供基于视觉和力觉反馈的双孢菇自动采摘系统及方法，用以实现双孢菇的自动采摘并提高其采摘效率，减少菇株采摘过程中的采摘损伤率。

本发明提供一种基于视觉和力觉反馈的双孢菇自动采摘系统，包括：

区域识别模块，用于在待采摘双孢菇片区图像中识别出株间缝隙区域和双孢菇区域；

簇划分模块，用于将双孢菇区域中的每个单连通区域当作双孢菇簇区域，获得双孢菇区域中的所有双孢菇簇区域；

策略确定模块，用于基于每个双孢菇簇区域中的株分布特征和株间缝隙区域，生成双孢菇区域的总采摘策略；

模糊控制模块，用于基于总采摘策略控制采摘手爪进行移动控制，并在移动过程中基于力位阻抗控制的神经模糊PID算法和采摘手爪内部设置的力传感器控制采摘手爪进行抓取采摘，直至遍历总采摘策略，获得自动采摘结果。

优选的，区域识别模块，包括：

初次划分子模块，用于基于像素阈值对待采摘双孢菇片区图像进行初次划分，获得初始划分株间缝隙区域和初始划分双孢菇区域；

轮廓划分子模块，用于对初始划分双孢菇区域的轮廓进行角点识别，并基于识别出的角点对初始划分双孢菇区域的轮廓进行划分，获得多个轮廓段；

边缘光滑子模块，用于对每个轮廓段进行边缘光滑处理，获得多个光滑轮廓段；

轮廓拟合子模块，用于基于识别出的所有角点对所有光滑轮廓段进行连接拟合，获得完整双孢菇区域轮廓；

二次划分子模块，用于基于完整双孢菇区域轮廓对待采摘双孢菇片区图像进行区域划分，获得株间缝隙区域和双孢菇区域。

优选的，二次划分子模块，包括：

二次划分单元，用于将完整双孢菇区域轮廓在待采摘双孢菇片区图像中所围成的图像区域当作二次划分双孢菇区域，并将待采摘双孢菇片区图像中除二次划分双孢菇区域以外剩余的图像区域当作二次划分株间缝隙区域；

疑似噪音识别单元，用于识别出二次划分株间缝隙区域中的所有单连通区域，当作疑似噪音区域；

去噪类别判定单元，用于在二次划分双孢菇区域中识别出单株轮廓，将被单株轮廓完全包围的疑似噪音区域当作第一待去噪区域，并将被二次划分双孢菇区域完全包围且面积小于面积阈值的疑似噪音区域中除第一待去噪区域以外的疑似噪音区域，当作第二待去噪区域；

最终判定划分单元，用于将二次划分株间缝隙区域中除第一待去噪区域和第二待去噪区域以外剩余的图像区域，当作株间缝隙区域，并将二次划分双孢菇区域和第一待去噪区域汇总后的图像区域，当作双孢菇区域。

优选的，策略确定模块，包括：

局部策略确定子模块，用于基于每个双孢菇簇区域中的株分布特征，确定出每个双孢菇簇区域的至少一种采摘策略；

整体策略确定子模块，用于基于每个双孢菇簇区域的所有采摘策略和株间缝隙区域，生成双孢菇区域的总采摘策略。

优选的，局部策略确定子模块，包括：

第一策略确定单元，用于当双孢菇簇区域中包含的两两单株轮廓之间不存在交叉时，判定双孢菇簇区域的株分布特征为分散分布，并将双孢菇簇区域中的任一单株轮廓当作起始采摘株，并基于最短路径原则确定出双孢菇簇区域的至少一种采摘路径作为双孢菇簇区域的采摘策略；

重叠比计算单元，用于当双孢菇簇区域中包含的两两单株轮廓之间存在交叉时，则判定双孢菇簇区域的株分布特征为重叠分布，并确定出存在交叉的两个单株轮廓的物理中心点之间的线段在对应交叉区域中的部分线段长度，当作交叉宽度，并将交叉宽度与对应的存在交叉的两个单株轮廓的物理中心点之间的线段长度之间的比值，当作重叠比，将双孢菇簇区域中重叠比超出重叠比阈值的两个单株轮廓进行合并，获得更新后的单株轮廓，并将双孢菇簇区域中当前的最外围的任一单株轮廓当作起始采摘株，并以环形路径从外围至内部的原则确定出双孢菇簇区域的以每个起始采摘株为起始的采摘路径作为双孢菇簇区域的采摘策略。

优选的，整体策略确定子模块，包括：

起始采摘区域确定单元，用于对双孢菇簇区域进行采摘难度评估，获得每个双孢菇簇区域的采摘难度，将待采摘双孢菇片区图像中最外围的所有双孢菇簇区域中最小采摘难度的双孢菇簇区域当作起始采摘区域；

起始采摘策略确定单元，用于在株间缝隙区域中确定出与起始采摘区域相邻的部分区域，当作起始遍历区域，基于起始遍历区域的形状和起始采摘区域的所有采摘策略确定出起始采摘部分策略；

总策略确定单元，用于基于起始采摘区域和当前未遍历的双孢菇区域的采摘难度和所有采摘策略，确定出双孢菇区域的总采摘策略。

优选的，总策略确定单元，包括：

部分策略确定子单元，用于将与起始采摘区域相邻的双孢菇簇区域中最小采摘难度的双孢菇簇区域当作下一采摘区域，基于下一采摘区域的所有采摘策略和起始采摘部分策略，确定出新的部分采摘策略；

总策略确定子单元，用于基于新的部分采摘策略和当前未遍历的双孢菇簇区域的采摘难度和所有采摘策略，继续确定出新的部分采摘策略，直至遍历所有待采摘双孢菇片区图像中的所有双孢菇簇区域时，则将当前确定出的起始采摘部分策略和所有部分采摘策略汇总获得双孢菇区域的总采摘策略。

优选的，双孢菇采摘手爪具有两个采摘手指，两个采摘手指通过连杆与抓握舵机连接，抓握舵机转动从而带动连杆运动以驱使采摘手指沿双轴内外滑动，从而实现目标菇的抓取释放；旋转舵机带动手爪主体转动，实现采摘手爪抓握后扭转动作；右侧手指分为上下两部分，内侧悬梁臂式力传感器采用竖直安装的方式并通过螺丝紧固连接右侧采摘手指上下部分；两个采摘手指表面覆有利用3D打印的模具由硅胶浇注而成的柔性保护套。

优选的，模糊控制模块，包括：

移动控制子模块，用于按照总采摘策略中的移动路径和采摘方位对采摘手爪进行实时移动控制，并在采摘手爪移动至采摘位置时控制采摘手爪的两个采摘手指进行收合；

压力检测子模块，用于在采摘手爪的两个采摘手指开始收合时，基于力传感器的采集信号，确定出采摘手爪对当前被抓取双孢菇表面的所施压力；

力反馈模糊控制，用于基于采摘手爪对当前被抓取双孢菇表面的所施压力和力位阻抗控制的神经模糊PID算法，控制采摘手爪进行抓取采摘，直至遍历总采摘策略，获得自动采摘结果。

本发明提供一种基于视觉和力觉反馈的双孢菇自动采摘方法，包括：

S1：在待采摘双孢菇片区图像中识别出株间缝隙区域和双孢菇区域；

S2：将双孢菇区域中的每个单连通区域当作双孢菇簇区域，获得双孢菇区域中的所有双孢菇簇区域；

S3：基于每个双孢菇簇区域中的株分布特征和株间缝隙区域，生成双孢菇区域的总采摘策略；

S4：基于总采摘策略控制采摘手爪进行移动控制，并在移动过程中基于力位阻抗控制的神经模糊PID算法和采摘手爪内部设置的力传感器控制采摘手爪进行抓取采摘，直至遍历总采摘策略，获得自动采摘结果。

本发明相对于现有技术产生的有益效果为：通过对待采摘双孢菇片区图像的视觉分析，实现对双孢菇图像和株间缝隙图像的识别以及双孢菇合理的簇状划分，基于视觉分析出的双孢菇簇图像区域和株间缝隙区域，合理确定出双孢菇区域的总采摘策略，实现了可以根据种植基地内的双孢菇长势差异和分布差异因地制宜地设计采摘策略，基于该总采摘策略进行移动控制，与传统方法中的以固定路径进行移动控制相比，其采摘效率更高，自动化程度和智能化程度也更高，最后再以采摘手爪对双孢菇表面所施加的期望压力与力传感器采集到的采摘手爪对双孢菇表面的所施压力之间的差值作为力觉反馈，利用力位阻抗控制的神经模糊PID算法，保证了抓取过程中对菇株施加的力度适中，减少了采摘过程中的菇株损伤。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明实施例中的基于视觉和力觉反馈的双孢菇自动采摘系统内部功能模块示意图；

图2为本发明实施例中的基于力位阻抗控制的神经模糊PID算法逻辑示意图；

图3为本发明实施例中的基于视觉和力觉反馈的双孢菇自动采摘方法流程图；

图4为本发明实施例中的力传感器调理电路示意图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

实施例1：

本发明提供了基于视觉和力觉反馈的双孢菇自动采摘系统，参考图1和2，包括：

区域识别模块，用于在待采摘双孢菇片区图像(即为需要利用该实施例中基于视觉和力觉反馈的双孢菇采摘系统进行采摘的双孢菇终止基地的图像，该图像是从种植基地上方视角获取的)中识别出株间缝隙区域(即为待采摘双孢菇片区图像中双孢菇之间的缝隙的图像区域，多为种植土壤的图像区域)和双孢菇区域(即为待采摘双孢菇片区图像中双孢菇的图像区域)；

簇划分模块，用于将双孢菇区域中的每个单连通区域当作双孢菇簇区域(即为以簇分布的多个双孢菇株构成的图像区域)，获得双孢菇区域中的所有双孢菇簇区域；

策略确定模块，用于基于每个双孢菇簇区域中的株分布特征(即单株双孢菇在双孢菇簇区域中的分布特征)和株间缝隙区域，生成双孢菇区域的总采摘策略(即为包含对待采摘双孢菇片区图像中包含的所有双孢菇进行采摘的移动路径和采摘方位的控制策略)；

模糊控制模块，用于基于总采摘策略控制采摘手爪进行移动控制，并在移动过程中基于力位阻抗控制的神经模糊PID算法(具体执行方式参考图3)和采摘手爪内部设置的力传感器(即为基于力传感器采集的信号作为力位阻抗控制的神经模糊PID算法模糊控制过程中的反馈变量，以保证抓取过程中对菇株施加的力度适中)控制采摘手爪进行抓取采摘，直至遍历总采摘策略，获得自动采摘结果(即为基于总采摘策略对待采摘双孢菇片区图像中包含的所有双孢菇采摘完毕这一结果)。

通过对待采摘双孢菇片区图像的视觉分析，实现对双孢菇图像和株间缝隙图像的识别以及双孢菇合理的簇状划分，基于视觉分析出的双孢菇簇图像区域和株间缝隙区域，合理确定出双孢菇区域的总采摘策略，实现了可以根据种植基地内的双孢菇长势差异和分布差异因地制宜地设计采摘策略，基于该总采摘策略进行移动控制，与传统方法中的以固定路径进行移动控制相比，其采摘效率更高，自动化程度和智能化程度也更高，最后再以采摘手爪对双孢菇表面所施加的期望压力与力传感器采集到的采摘手爪对双孢菇表面的所施压力之间的差值作为力觉反馈，利用力位阻抗控制的神经模糊PID算法，保证了抓取过程中对菇株施加的力度适中，减少了采摘过程中的菇株损伤。

实施例2：

在实施例1的基础上，区域识别模块，包括：

初次划分子模块，用于基于像素阈值对待采摘双孢菇片区图像进行初次划分，获得初始划分株间缝隙区域和初始划分双孢菇区域(包括：将像素值大于像素阈值的像素点构成的区域当作初始划分双孢菇区域，并将像素值不大于像素阈值的像素点构成的区域当作初始划分株间缝隙区域)；

轮廓划分子模块，用于对初始划分双孢菇区域的轮廓进行角点识别(例如利用Harris角点识别算法进行识别获得)，并基于识别出的角点对初始划分双孢菇区域的轮廓进行划分，获得多个轮廓段(即为以角点为划分带你对初始化分双孢菇区域的轮廓进行划分获得的部分轮廓线)；

边缘光滑子模块，用于对每个轮廓段进行边缘光滑处理，获得多个光滑轮廓段(即为对轮廓段进行光滑处理后获得的轮廓线)；

轮廓拟合子模块，用于基于识别出的所有角点对所有光滑轮廓段进行连接拟合，获得完整双孢菇区域轮廓(光滑轮廓段在完整双孢菇区域轮廓中的位置与轮廓段在初始划分双孢菇区域的轮廓中的位置相同)；

二次划分子模块，用于基于完整双孢菇区域轮廓对待采摘双孢菇片区图像进行区域划分，获得株间缝隙区域和双孢菇区域。

上述过程基于阈值法实现对株间缝隙区域和双孢菇区域的初始划分，再对由划分出的轮廓中的角点为分界点的轮廓段进行分段光滑处理后再连接，获得完整双孢菇区域轮廓，即完成了对株间缝隙区域和双孢菇区域的进一步精细划分。

实施例3：

在实施例2的基础上，二次划分子模块，包括：

二次划分单元，用于将完整双孢菇区域轮廓在待采摘双孢菇片区图像中所围成的图像区域当作二次划分双孢菇区域(即为利用完整双孢菇区域轮廓对待采摘双孢菇片区图像进行第二次划分后获得的双孢菇图像区域)，并将待采摘双孢菇片区图像中除二次划分双孢菇区域以外剩余的图像区域当作二次划分株间缝隙区域(即为利用完整双孢菇区域轮廓对待采摘双孢菇片区图像进行第二次划分后获得的株间缝隙图像区域)；

疑似噪音识别单元，用于识别出二次划分株间缝隙区域中的所有单连通区域，当作疑似噪音区域(即为后续需要判定其属于双孢菇区域或株间缝隙区域或者不属于两者的部分图像区域)；

去噪类别判定单元，用于在二次划分双孢菇区域中识别出单株轮廓(即为基于预先训练好的单株轮廓识别模型识别出的单株轮廓，此处的单株轮廓指从上方视角看到的单个双孢菇株的伞面结构轮廓)，将被单株轮廓完全包围的疑似噪音区域当作第一待去噪区域(即为双孢菇的伞面结构上被被误以为是株间缝隙区域的部分图像区域，可能是双孢菇的伞面结构上表面上覆盖的种植土被误以为是株间缝隙区域的部分图像区域)，并将被二次划分双孢菇区域完全包围且面积(即疑似噪音区域的面积)小于面积阈值(预设的用于判定出第二待去噪区域时参考的面积的阈值)的疑似噪音区域中除第一待去噪区域以外的疑似噪音区域，当作第二待去噪区域(即为双孢菇区域株间极小的缝隙对应的图像区域被当作株间缝隙区域，因为这部分图像区域对于后续基于株间缝隙区域确定采摘策略是无用的干扰数据，因此，应当将其纳入双孢菇区域)；

最终判定划分单元，用于将二次划分株间缝隙区域中除第一待去噪区域和第二待去噪区域以外剩余的图像区域，当作株间缝隙区域，并将二次划分双孢菇区域和第一待去噪区域汇总后的图像区域，当作双孢菇区域。

上述过程在完整双孢菇区域轮廓划分出的二次划分株间缝隙区域和二次划分双孢菇区域的基础上，进一步地细化考虑到其他干扰因素造成的划分误差，排除了由于双孢菇伞面结构上覆盖尘土造成的划分误差和过小的株间缝隙区域对后续策略生成过程的干扰。

实施例4：

在实施例1的基础上，策略确定模块，包括：

局部策略确定子模块，用于基于每个双孢菇簇区域中的株分布特征，确定出每个双孢菇簇区域的至少一种采摘策略(即为对双孢菇簇区域中包含的双孢菇进行采摘的策略，该策略包含对该簇内的所有双孢菇株采摘的顺序(即路径))；

整体策略确定子模块，用于基于每个双孢菇簇区域的所有采摘策略和株间缝隙区域，生成双孢菇区域的总采摘策略。

上述过程完整了由局部至整体的采摘策略的逐步生成。

实施例5：

在实施例4的基础上，局部策略确定子模块，包括：

第一策略确定单元，用于当双孢菇簇区域中包含的两两单株轮廓(即为基于预先训练好的单株轮廓识别模型识别出的单株轮廓，此处的单株轮廓指从上方视角看到的单个双孢菇株的伞面结构轮廓)之间不存在交叉时，判定双孢菇簇区域的株分布特征为分散分布，并将双孢菇簇区域中的任一单株轮廓当作起始采摘株(即为该双孢菇簇区域中第一个被采摘的菇株)，并基于最短路径原则(即确定出的采摘策略必须是以当前的起始采摘株起始的最短遍历路径)确定出双孢菇簇区域的至少一种采摘路径作为双孢菇簇区域的采摘策略(在以最短路径原则确定出以每个起始采摘株为起点的采摘路径中筛选出最短的路径(至少一种)作为最终的采摘策略)；

重叠比计算单元，用于当双孢菇簇区域中包含的两两单株轮廓之间存在交叉时，则判定双孢菇簇区域的株分布特征为重叠分布，并确定出存在交叉的两个单株轮廓的物理中心点之间的线段在对应交叉区域(即为存在交叉的两个单株轮廓形成的交叉区域)中的部分线段长度，当作交叉宽度，并将交叉宽度与对应的存在交叉的两个单株轮廓的物理中心点之间的线段长度之间的比值，当作重叠比(表征存在交叉的两个单株轮廓之间的重叠程度的数值)，将双孢菇簇区域中重叠比超出重叠比阈值(即为判定存在交叉的两个单株轮廓是否需要合并时参考的重叠比的阈值)的两个单株轮廓进行合并，获得更新后的单株轮廓，并将双孢菇簇区域中当前的最外围的任一单株轮廓当作起始采摘株，并以环形路径从外围至内部的原则(即为从从起始采摘株开始株间遍历最外围的双孢菇株，再转入次外围的双孢菇株，路径由环形路径从外围逐渐向内部遍历)确定出双孢菇簇区域的以每个起始采摘株为起始的采摘路径作为双孢菇簇区域的采摘策略。

上述过程以双孢菇簇区域中包含的单株轮廓之间是否存在交叉为条件，确定出株分布特征为分散分布或重叠分布，并以两种株分布特征情况，分别确定出合理的双孢菇簇区域的采摘策略。

实施例6：

在实施例1的基础上，整体策略确定子模块，包括：

起始采摘区域确定单元，用于对双孢菇簇区域进行采摘难度评估(基于预先训练好的采摘难度评估模型进行采摘难度的评估，该模型是经由大量被人工评估出采摘难度的双孢菇簇区域图像训练而成，且该模型可以识别出输入的双孢菇簇区域中的双孢菇簇的采摘难度)，获得每个双孢菇簇区域的采摘难度，将待采摘双孢菇片区图像中最外围的所有双孢菇簇区域中最小采摘难度的双孢菇簇区域当作起始采摘区域(即为最先被采摘的双孢菇簇的图像区域)；

起始采摘策略确定单元，用于在株间缝隙区域中确定出与起始采摘区域相邻的部分区域，当作起始遍历区域(即为采摘手爪最先可能经过的区域)，基于起始遍历区域的形状和起始采摘区域的所有采摘策略确定出起始采摘部分策略(即为将起始采摘区域中与起始遍历区域中局部形状尺寸最大的区域相邻的采摘策略中的起始采摘株当作起始采摘目标，并基于起始采摘目标和起始遍历区域的形状确定出采摘手爪从出发点至第一个采摘点的移动路径，以及对起始采摘目标进行采摘时的位姿(即采摘方向)，总采摘策略中最终采用以该起始采摘目标为起始采摘株的采摘策略)；

总策略确定单元，用于基于起始采摘区域和当前未遍历的双孢菇区域的采摘难度和所有采摘策略，确定出双孢菇区域的总采摘策略。

上述过程通过对双孢菇簇区域中单簇区域中的双孢菇采摘难度的评估，从整体角度确定出第一个被采摘的双孢菇簇区域，并基于与第一个被采摘的双孢菇区域相邻的部分株间缝隙区域，确定出对第一个被采摘的双孢菇簇区域进行采摘的起始策略，即第一步的移动路径和采摘方向，并结合剩下未遍历的双孢菇区域的采摘难度在起始策略的基础上进行逐步完善，最终获得较为合理高效的总采摘策略。

实施例7：

在实施例6的基础上，总策略确定单元，包括：

部分策略确定子单元，用于将与起始采摘区域相邻的双孢菇簇区域中最小采摘难度的双孢菇簇区域当作下一采摘区域(即为采摘完起始采摘区域之后需要继续采摘的双孢菇簇区域)，基于下一采摘区域的所有采摘策略和起始采摘部分策略，确定出新的部分采摘策略(即为将下一采摘区域中所有采摘策略中的所有起始采摘株中与起始采摘区域中最后一个被采摘的单株轮廓的物理中心点距离最近的起始采摘株，当作该下一采摘区域的起始采摘目标，并确定出起始采摘区域中最后一个被采摘的单株轮廓至该下一采摘区域的起始采摘目标的移动路径，并基于起始采摘目标附近的株间缝隙区域的形状确定出采摘方向，也可以基于最新确定出的移动路径的移动方向确定出采摘方向，将该最新确定出的移动路径和采摘方向当作新的部分采摘策略，并按照以该起始采摘目标为起始采摘株的采摘策略当作总采摘策略中对该双孢菇簇进行采摘的策略)；

总策略确定子单元，用于基于新的部分采摘策略和当前未遍历的双孢菇簇区域的采摘难度和所有采摘策略，继续确定出新的部分采摘策略(其确定方式与部分策略确定子单元中的确定方法相同)，直至遍历所有待采摘双孢菇片区图像中的所有双孢菇簇区域时，则将当前确定出的起始采摘部分策略和所有部分采摘策略汇总获得双孢菇区域的总采摘策略。

上述过程以起始采摘区域的起始采摘策略为基础，结合剩下未遍历的双孢菇采摘区域的采摘难度确定出新的移动路径以及新的采摘区域的起始采摘目标，并基于该起始采摘目标在所有采摘策略中筛选出最终被纳入总采摘策略的双孢菇簇的最终采摘策略。

实施例8：

在实施例1的基础上，参考图4，双孢菇采摘手爪具有两个采摘手指，两个采摘手指通过连杆与抓握舵机连接，抓握舵机转动从而带动连杆运动以驱使采摘手指沿双轴内外滑动，从而实现目标菇的抓取释放；旋转舵机带动手爪主体转动，实现采摘手爪抓握后扭转动作；右侧手指分为上下两部分，内侧悬梁臂式力传感器采用竖直安装的方式并通过螺丝紧固连接右侧采摘手指上下部分；两个采摘手指表面覆有利用3D打印的模具由硅胶浇注而成的柔性保护套。

该实施例中的采摘手爪是利用部分3D打印的零部件与紧固件装配，其中，两个采摘手指表面覆有利用3D打印的模具由硅胶浇注而成的柔性保护套，从而避免采摘过程中对双孢菇造成伤害。具有两个采摘手指，两个采摘手指通过连杆与抓握舵机连接，抓握舵机转动从而带动连杆运动以驱使采摘手指沿双轴内外滑动，从而实现目标菇的抓取释放。旋转舵机带动手爪主体转动，实现采摘手爪抓握后扭转动作。其中右侧手指分为上下两部分，通过内侧悬梁臂式力传感器相连，二者通过螺丝紧固连接。

该实施例中采取的悬梁臂式力传感器为HYFD39M，该力传感器最大量程为1KG，精度较高，适用于双孢菇采摘的工作场景；该力传感器利用应变片的形变来测量外部施加的压力，并将其转换为电信号输出，而采摘过程中突起的采摘手指边缘分力、采摘手指接触目标菇的角度、采摘手指内部力传导等因素很大程度上影响着力传感器的测量。目前常用的力传感器有薄膜式何应变片式2种，薄膜式力传感器要求测量过程中薄膜不能弯曲、受力方向垂直于薄膜表面，否则会产生较大误差甚至无法检测力的大小，这不适用于复杂的抓力方向角度难以确定的双孢菇采摘场景。本实施例选用的应变片式力传感器为悬梁臂结构，采用竖直安装的方式连接右侧采摘手指上下部分，通过检测力传感器所采集信号来计算蘑菇表面所施压力，测量结果基本不受采摘手指内部力传导和手指边缘突起分力的影响。

该实施例中，将力传感器水平放置，一端固定，另一端悬空并通过细线悬挂不同质量的砝码，分别记录砝码的质量(W)和相应的力觉调理电路输出电压值(V)(力觉调理电路可参考图4)；悬梁臂式力传感器线性度较好。

实施例9：

在实施例1的基础上，模糊控制模块，包括：

移动控制子模块，用于按照总采摘策略中的移动路径和采摘方位对采摘手爪进行实时移动控制，并在采摘手爪移动至采摘位置(即为采摘手爪按照总采摘策略应该停止在该位置并通过控制采摘手爪的主体转动或张合时对应的所在位置)时控制采摘手爪的两个采摘手指进行收合；

压力检测子模块，用于在采摘手爪的两个采摘手指开始收合时，基于力传感器的采集信号，确定出采摘手爪对当前被抓取双孢菇表面的所施压力；

力反馈模糊控制，用于基于采摘手爪对当前被抓取双孢菇表面的所施压力和力位阻抗控制的神经模糊PID算法(执行逻辑参考图3)，控制采摘手爪进行抓取采摘，直至遍历总采摘策略，获得自动采摘结果。

该实施例中，力位阻抗控制的神经模糊PID算法的具体执行过程为：将采摘手爪(即采摘机械手)对双孢菇表面所施加的期望压力与力传感器(即悬梁臂式力传感器)采集到的采摘手爪(即采摘机械手)对双孢菇表面的所施压力之间的差值作为力觉反馈输入至模糊控制器进行比例调节、微分调节、积分调节，以实现对采摘手爪(即采摘机械手)的模糊控制。

实施例10：

本发明提供了基于视觉和力觉反馈的双孢菇自动采摘方法，参考图2和3，包括：

S1：在待采摘双孢菇片区图像中识别出株间缝隙区域和双孢菇区域；

S2：将双孢菇区域中的每个单连通区域当作双孢菇簇区域，获得双孢菇区域中的所有双孢菇簇区域；

S3：基于每个双孢菇簇区域中的株分布特征和株间缝隙区域，生成双孢菇区域的总采摘策略；

S4：基于总采摘策略控制采摘手爪进行移动控制，并在移动过程中基于力位阻抗控制的神经模糊PID算法和采摘手爪内部设置的力传感器控制采摘手爪进行抓取采摘，直至遍历总采摘策略，获得自动采摘结果。

通过对待采摘双孢菇片区图像的视觉分析，实现对双孢菇图像和株间缝隙图像的识别以及双孢菇合理的簇状划分，基于视觉分析出的双孢菇簇图像区域和株间缝隙区域，合理确定出双孢菇区域的总采摘策略，实现了可以根据种植基地内的双孢菇长势差异和分布差异因地制宜地设计采摘策略，基于该总采摘策略进行移动控制，与传统方法中的以固定路径进行移动控制相比，其采摘效率更高，自动化程度和智能化程度也更高，最后再以采摘手爪对双孢菇表面所施加的期望压力与力传感器采集到的采摘手爪对双孢菇表面的所施压力之间的差值作为力觉反馈，利用力位阻抗控制的神经模糊PID算法，保证了抓取过程中对菇株施加的力度适中，减少了采摘过程中的菇株损伤。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.基于视觉和力觉反馈的双孢菇自动采摘系统，其特征在于，包括：

区域识别模块，用于在待采摘双孢菇片区图像中识别出株间缝隙区域和双孢菇区域；

簇划分模块，用于将双孢菇区域中的每个单连通区域当作双孢菇簇区域，获得双孢菇区域中的所有双孢菇簇区域；

策略确定模块，用于基于每个双孢菇簇区域中的株分布特征和株间缝隙区域，生成双孢菇区域的总采摘策略；

模糊控制模块，用于基于总采摘策略控制采摘手爪进行移动控制，并在移动过程中基于力位阻抗控制的神经模糊PID算法和采摘手爪内部设置的力传感器控制采摘手爪进行抓取采摘，直至遍历总采摘策略，获得自动采摘结果。

2.根据权利要求1所述的基于视觉和力觉反馈的双孢菇自动采摘系统，其特征在于，区域识别模块，包括：

初次划分子模块，用于基于像素阈值对待采摘双孢菇片区图像进行初次划分，获得初始划分株间缝隙区域和初始划分双孢菇区域；

轮廓划分子模块，用于对初始划分双孢菇区域的轮廓进行角点识别，并基于识别出的角点对初始划分双孢菇区域的轮廓进行划分，获得多个轮廓段；

边缘光滑子模块，用于对每个轮廓段进行边缘光滑处理，获得多个光滑轮廓段；

轮廓拟合子模块，用于基于识别出的所有角点对所有光滑轮廓段进行连接拟合，获得完整双孢菇区域轮廓；

二次划分子模块，用于基于完整双孢菇区域轮廓对待采摘双孢菇片区图像进行区域划分，获得株间缝隙区域和双孢菇区域。

3.根据权利要求2所述的基于视觉和力觉反馈的双孢菇自动采摘系统，其特征在于，二次划分子模块，包括：

二次划分单元，用于将完整双孢菇区域轮廓在待采摘双孢菇片区图像中所围成的图像区域当作二次划分双孢菇区域，并将待采摘双孢菇片区图像中除二次划分双孢菇区域以外剩余的图像区域当作二次划分株间缝隙区域；

疑似噪音识别单元，用于识别出二次划分株间缝隙区域中的所有单连通区域，当作疑似噪音区域；

去噪类别判定单元，用于在二次划分双孢菇区域中识别出单株轮廓，将被单株轮廓完全包围的疑似噪音区域当作第一待去噪区域，并将被二次划分双孢菇区域完全包围且面积小于面积阈值的疑似噪音区域中除第一待去噪区域以外的疑似噪音区域，当作第二待去噪区域；

最终判定划分单元，用于将二次划分株间缝隙区域中除第一待去噪区域和第二待去噪区域以外剩余的图像区域，当作株间缝隙区域，并将二次划分双孢菇区域和第一待去噪区域汇总后的图像区域，当作双孢菇区域。

4.根据权利要求1所述的基于视觉和力觉反馈的双孢菇自动采摘系统，其特征在于，策略确定模块，包括：

局部策略确定子模块，用于基于每个双孢菇簇区域中的株分布特征，确定出每个双孢菇簇区域的至少一种采摘策略；

整体策略确定子模块，用于基于每个双孢菇簇区域的所有采摘策略和株间缝隙区域，生成双孢菇区域的总采摘策略。

5.根据权利要求4所述的基于视觉和力觉反馈的双孢菇自动采摘系统，其特征在于，局部策略确定子模块，包括：

第一策略确定单元，用于当双孢菇簇区域中包含的两两单株轮廓之间不存在交叉时，判定双孢菇簇区域的株分布特征为分散分布，并将双孢菇簇区域中的任一单株轮廓当作起始采摘株，并基于最短路径原则确定出双孢菇簇区域的至少一种采摘路径作为双孢菇簇区域的采摘策略；

重叠比计算单元，用于当双孢菇簇区域中包含的两两单株轮廓之间存在交叉时，则判定双孢菇簇区域的株分布特征为重叠分布，并确定出存在交叉的两个单株轮廓的物理中心点之间的线段在对应交叉区域中的部分线段长度，当作交叉宽度，并将交叉宽度与对应的存在交叉的两个单株轮廓的物理中心点之间的线段长度之间的比值，当作重叠比，将双孢菇簇区域中重叠比超出重叠比阈值的两个单株轮廓进行合并，获得更新后的单株轮廓，并将双孢菇簇区域中当前的最外围的任一单株轮廓当作起始采摘株，并以环形路径从外围至内部的原则确定出双孢菇簇区域的以每个起始采摘株为起始的采摘路径作为双孢菇簇区域的采摘策略。

6.根据权利要求1所述的基于视觉和力觉反馈的双孢菇自动采摘系统，其特征在于，整体策略确定子模块，包括：

起始采摘区域确定单元，用于对双孢菇簇区域进行采摘难度评估，获得每个双孢菇簇区域的采摘难度，将待采摘双孢菇片区图像中最外围的所有双孢菇簇区域中最小采摘难度的双孢菇簇区域当作起始采摘区域；

起始采摘策略确定单元，用于在株间缝隙区域中确定出与起始采摘区域相邻的部分区域，当作起始遍历区域，基于起始遍历区域的形状和起始采摘区域的所有采摘策略确定出起始采摘部分策略；

总策略确定单元，用于基于起始采摘区域和当前未遍历的双孢菇区域的采摘难度和所有采摘策略，确定出双孢菇区域的总采摘策略。

7.根据权利要求6所述的基于视觉和力觉反馈的双孢菇自动采摘系统，其特征在于，总策略确定单元，包括：

部分策略确定子单元，用于将与起始采摘区域相邻的双孢菇簇区域中最小采摘难度的双孢菇簇区域当作下一采摘区域，基于下一采摘区域的所有采摘策略和起始采摘部分策略，确定出新的部分采摘策略；

总策略确定子单元，用于基于新的部分采摘策略和当前未遍历的双孢菇簇区域的采摘难度和所有采摘策略，继续确定出新的部分采摘策略，直至遍历所有待采摘双孢菇片区图像中的所有双孢菇簇区域时，则将当前确定出的起始采摘部分策略和所有部分采摘策略汇总获得双孢菇区域的总采摘策略。

8.根据权利要求1所述的基于视觉和力觉反馈的双孢菇自动采摘系统，其特征在于，

双孢菇采摘手爪具有两个采摘手指，两个采摘手指通过连杆与抓握舵机连接，抓握舵机转动从而带动连杆运动以驱使采摘手指沿双轴内外滑动，从而实现目标菇的抓取释放；旋转舵机带动手爪主体转动，实现采摘手爪抓握后扭转动作；右侧手指分为上下两部分，内侧悬梁臂式力传感器采用竖直安装的方式并通过螺丝紧固连接右侧采摘手指上下部分；两个采摘手指表面覆有利用3D打印的模具由硅胶浇注而成的柔性保护套。

9.根据权利要求1所述的基于视觉和力觉反馈的双孢菇自动采摘系统，其特征在于，模糊控制模块，包括：

移动控制子模块，用于按照总采摘策略中的移动路径和采摘方位对采摘手爪进行实时移动控制，并在采摘手爪移动至采摘位置时控制采摘手爪的两个采摘手指进行收合；

压力检测子模块，用于在采摘手爪的两个采摘手指开始收合时，基于力传感器的采集信号，确定出采摘手爪对当前被抓取双孢菇表面的所施压力；

力反馈模糊控制，用于基于采摘手爪对当前被抓取双孢菇表面的所施压力和力位阻抗控制的神经模糊PID算法，控制采摘手爪进行抓取采摘，直至遍历总采摘策略，获得自动采摘结果。

10.基于视觉和力觉反馈的双孢菇自动采摘方法，其特征在于，包括：

S1：在待采摘双孢菇片区图像中识别出株间缝隙区域和双孢菇区域；

S2：将双孢菇区域中的每个单连通区域当作双孢菇簇区域，获得双孢菇区域中的所有双孢菇簇区域；

S3：基于每个双孢菇簇区域中的株分布特征和株间缝隙区域，生成双孢菇区域的总采摘策略；

S4：基于总采摘策略控制采摘手爪进行移动控制，并在移动过程中基于力位阻抗控制的神经模糊PID算法和采摘手爪内部设置的力传感器控制采摘手爪进行抓取采摘，直至遍历总采摘策略，获得自动采摘结果。