CN115067074A - 一种恶劣环境下的水果采摘系统及方法 - Google Patents

Abstract

本发明公开了一种恶劣环境下的水果采摘系统及方法，在系统方面，采摘机构包括转盘、吸盘、夹紧模块，使得既能在固定果树枝干的同时进行水果采摘，又能避免损伤水果。在方法方面，将图像分割算法和图像光流算法结合，可获取水果所在树枝的摆动轨迹，提高了采摘精度。整体来说，本发明采用先固定，后抓取的仿真采摘方法，解决了恶劣环境下水果摆动导致采摘机器人无法抓取的问题。

Description

一种恶劣环境下的水果采摘系统及方法

技术领域

本发明涉及水果采摘的技术领域，尤其涉及到一种恶劣环境下的水果采摘系统及方法。

背景技术

近年来，智能机器人的发展是研究的热点，通过智能机器人的应用，在工业、农业生产中能有效提高作业效率、降低生产的劳动强度和成本。在农业机器人方面，水果采摘机器人是发展现代化农业生产的主要手段之一，但在恶劣环境下，比如刮风下雨，水果会随着树枝来回摆动，以目前水果采摘机器人的视觉算法无法捕获水果的实时位置，即使获取到，水果的位置也在随时摆动，水果采摘机器人的机械臂也无法抓到水果，降低了采摘效率。

因此，开发一种恶劣环境下的水果采摘系统及方法显得尤为重要。

发明内容

本发明的目的在于克服现有技术的不足，提供一种恶劣环境下的水果采摘系统。

为实现上述目的，本发明所提供的技术方案为：

一种恶劣环境下的水果采摘系统，包括采摘机器人、视觉采集模块、控制器；

其中，所述采摘机器人包括AGV小车、机械臂、安装座、采摘机构；

所述控制器安装在AGV小车上；

所述机械臂通过安装座安装在AGV小车上；

所述视觉采集模块和采摘机构均安装在机械臂的末端，视觉采集模块正对着采摘机构，并与控制器连接。

进一步地，所述采摘机构包括转盘、吸盘、夹紧模块；

所述夹紧模块包括固定架、移动架、第一丝杆传动组件、第二丝杠传动组件、夹板；

所述吸盘通过转盘与机械臂的末端连接；

所述固定架与吸盘固定，并位于吸盘的两侧；

所述移动架的一端与固定架铰接；相对的两个移动架之间形成夹持通道，吸盘位于该夹持通道的尽头；

所述第二丝杠传动组件通过第一丝杆传动组件与移动架连接，并在第一丝杆传动组件的带动下沿着移动架的长度方向移动；

所述夹板安装在第二丝杠传动组件上，并置于夹持通道内；

相对的两个夹板在对应的第二丝杠传动组件的配合下夹持处于夹持通道内的水果。

进一步地，所述移动架开有贯穿其左右两侧面且沿着其长度方向延伸的导向孔，以及与导向孔连通且同向的安装导向槽；

所述第一丝杆传动组件安装在所述安装导向槽内；

所述第二丝杠传动组件置于所述导向孔内，在第一丝杆传动组件带动下沿着导向孔的延伸方向移动。

进一步地，所述第一丝杆传动组件包括第一螺杆、第一螺母、第一传动电机；第二丝杠传动组件包括第二螺杆、第二螺母、第二传动电机；

所述第一螺杆与第一传动电机连接，由第一传动电机带动转动；

所述第一螺母安装在第一螺杆上；

所述第二丝杠传动组件通过第二螺母与第一螺母连接，由第一螺母带动移动；

所述夹板安装在第二螺杆置于夹持通道内的一端；

所述第二螺杆在第二传动电机的带动下，带动夹板进行夹持操作。

进一步地，所述视觉采集模块为双目相机，与控制器连接，将采集到的图像发送给控制器。

为实现上述目的，本发明另外提供一种恶劣环境下的水果采摘方法，包括以下步骤：

首选使用双目相机每隔0.5s对果树枝干进行多次采样拍照，并将采集到的图片发送给控制器，接着由控制器进行分析，分析过程包括：(1)确定要固定的果树枝干；(2)识别水果所在枝干的运动轨迹；(3)确定要固定的枝干点；最后控制器控制采摘机构固定枝干并采摘水果。

进一步地，控制器分析过程中，确定要固定的果树枝干，具体包括：

使用部署在控制器中的训练完成的solov2模型对第一张图像进行果树枝干分割，获得果树枝干的2D信息，进而通过双目相机中的深度相机得到果树枝干的3D信息，然后计算得到离采摘机器人最近的果树枝干，将其作为要固定的果树枝干；

其中，所述solov2模型通过以下步骤训练得到:

预先采集多张果树枝干图像，并对图像中的枝干使用label Img进行数据标注，得到数据标注后的数据集；

对数据标注后的数据集进行增强，具体包括配置mixup、随机裁剪、颜色扭曲，从而得到数据增强后的数据集；

构建solov2模型，并通过数据增强后的数据集进行训练；

使用PaddleSlim对步骤3)得到的solov2模型进行裁剪以及量化，最后得到训练完成的solov2模型。

进一步地，控制器分析过程中，识别水果所在枝干的运动轨迹时，分别将另外多张图与第一张图输入至FlowNet网络中，根据第一张图与其他多张图的光流信息，获取固定枝干的运动轨迹；

其中，FlowNet网络首先把两张图片按channel维度堆叠到一起，然后使用一系列卷积层进行下采样提取特征，在解码阶段，为了更好地融合来自不同层的语义信息，每一层的输入除了上一层的输出外，还利用上一层输出预测的光流和来自编码器对应层的特征；在拼接的过程中使用上采样使所有的特征空间分辨率一致。

进一步地，控制器分析过程中，确定要固定的枝干点，具体包括：

基于获取到的枝干运动轨迹，选择运动范围最小的像素点与机械臂末端的采摘机构的最大位移进行比较；若大于末端采摘机构的最大运动范围，则报警，提示用户无法进行采摘；若小于末端采摘机构的最大运动范围，则将该点作为采摘机构中的夹紧模块需要夹紧固定的枝干点。

进一步地，控制器控制采摘机构固定枝干并采摘水果，具体包括：

固定枝干：

控制器控制AGV小车移动并使机械臂运动到需要夹紧固定的枝干点附近，然后机械臂末端的采摘机构开始运动：转动转盘，调整夹紧模块；第一丝杆传动组件沿着安装导向槽带动第二丝杠传动组件和夹板向需要固定的枝干点运动，到达需要固定的枝干点后，第二丝杠传动组件带动夹板夹紧枝干；

采摘水果：

通过双目相机和控制器配合，识别夹紧枝干附近的水果的位置，然后第一丝杆传动组件带动第二丝杠传动组件、夹板、夹紧的枝干、枝干附近的水果沿着安装导向槽往回运动，直至将枝干附近的水果送达吸盘附近，然后吸盘开始工作，吸紧水果，完成采摘，最后夹板松开，将树枝放回，整个采摘过程结束。

与现有技术相比，本方案原理及优点如下：

1、本方案采用先固定，后抓取的仿真采摘方法，解决了恶劣环境下水果摆动导致采摘机器人无法抓取的问题。

2、本方案将图像分割算法和图像光流算法结合，可获取水果所在树枝的摆动轨迹，提高了采摘精度。

3、本方案中，采摘机构包括转盘、吸盘、夹紧模块，使得既能在固定果树枝干的同时进行水果采摘，又能避免损伤水果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的服务作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一种恶劣环境下的水果采摘系统的结构示意图；

图2为本发明一种恶劣环境下的水果采摘系统中安装在机械臂末端处的视觉采集模块和采摘机构的结构示意图；

图3为本发明实施例中水果采摘方法的原理流程图。

附图标记：

1-视觉采集模块；2-控制器；3-AGV小车；4-机械臂；5-转盘；6-吸盘；7-固定架；8-移动架；9-第一丝杆传动组件；10-第二丝杠传动组件；11-夹板；12-导向孔；13-安装导向槽；14-安装座。

具体实施方式

下面结合具体实施例对本发明作进一步说明：

如图1-图2所示，本实施例所述的一种恶劣环境下的水果采摘系统，包括采摘机器人、视觉采集模块1、控制器2；其中，采摘机器人包括AGV小车3、机械臂4、安装座14、采摘机构；控制器2安装在AGV小车3上；机械臂4通过安装座14安装在AGV小车3上；视觉采集模块1和采摘机构均安装在机械臂4的末端，视觉采集模块1正对着采摘机构。

具体地，本实施例中，采摘机构包括转盘5、吸盘6、夹紧模块；

夹紧模块包括固定架7、移动架8、第一丝杆传动组件9、第二丝杠传动组件10、夹板11；吸盘6通过转盘5与机械臂4的末端连接；固定架7与吸盘6固定，并位于吸盘6的两侧；移动架8的一端与固定架7铰接；相对的两个移动架8之间形成夹持通道，吸盘6位于该夹持通道的尽头。

具体地，本实施例中，移动架8开有贯穿其左右两侧面且沿着其长度方向延伸的导向孔12，以及与导向孔12连通且同向的安装导向槽13；第一丝杆传动组件9安装在所述安装导向槽13内；第二丝杠传动组件10置于所述导向孔12内。

具体地，本实施例中，第一丝杆传动组件9包括第一螺杆、第一螺母、第一传动电机；第二丝杠传动组件10包括第二螺杆、第二螺母、第二传动电机；第一螺杆与第一传动电机连接，由第一传动电机带动转动；第一螺母安装在第一螺杆上；第二丝杠传动组件10通过第二螺母与第一螺母连接，由第一螺母带动移动；夹板11安装在第二螺杆置于夹持通道内的一端；第二螺杆在第二传动电机的带动下，带动夹板11进行夹持操作。

具体地，本实施例中，视觉采集模块1为双目相机，与控制器2连接，将采集到的图像发送给控制器2。

如图3所示，本实施例具体的工作原理如下：

首选，使用双目相机每隔0.5s对果树枝干进行五次采样拍照，并将采集到的图片发送给控制器2；

接着，控制器2对采集到的五张图片进行分析，确定要固定的枝干点；

分析过程包括：

(1)确定要固定的果树枝干：

使用部署在控制器2中的训练完成的solov2模型对第一张图像进行果树枝干分割，获得果树枝干的2D信息，进而通过双目相机中的深度相机得到果树枝干的3D信息，然后计算得到离采摘机器人最近的果树枝干，将其作为要固定的果树枝干；

其中，所述solov2模型通过以下步骤训练得到:

1)预先采集多张果树枝干图像，并对图像中的枝干使用label Img进行数据标注，得到数据标注后的数据集；

2)对数据标注后的数据集进行增强，具体包括配置mixup、随机裁剪、颜色扭曲，从而得到数据增强后的数据集；

3)构建solov2模型，并通过数据增强后的数据集进行训练；

4)使用PaddleSlim对步骤3)得到的solov2模型进行裁剪以及量化，最后得到训练完成的solov2模型。

(2)分别将另外四张图与第一张图输入至FlowNet网络中，根据第一张图与其他四张图的光流信息，获取固定枝干的运动轨迹；

其中，FlowNet网络首先把两张图片按channel维度堆叠到一起，然后使用一系列卷积层进行下采样提取特征，在解码阶段，为了更好地融合来自不同层的语义信息，每一层的输入除了上一层的输出外，还利用上一层输出预测的光流和来自编码器对应层的特征；在拼接的过程中使用上采样使所有的特征空间分辨率一致。

(3)确定要固定的枝干点：

基于获取到的枝干运动轨迹，选择运动范围最小的像素点与机械臂4末端的采摘机构的最大位移进行比较；若大于末端采摘机构的最大运动范围，则报警，提示用户无法进行采摘；若小于末端采摘机构的最大运动范围，则将该点作为采摘机构中的夹紧模块需要夹紧固定的枝干点。

最后，控制器2控制采摘机构固定枝干并采摘水果，过程包括：

固定枝干：

控制器2控制AGV小车3移动并使机械臂4运动到需要夹紧固定的枝干点附近，然后机械臂4末端的采摘机构开始运动：转动转盘5，调整夹紧模块；第一丝杆传动组件9(将回转运动转换为直线运动)沿着安装导向槽13带动第二丝杠传动组件10和夹板11向需要固定的枝干点运动，到达需要固定的枝干点后，第二丝杠传动组件10(将直线运动转换为回转运动)带动夹板11夹紧枝干；

采摘水果：

通过双目相机和控制器2配合，识别夹紧枝干附近的水果的位置，然后第一丝杆传动组件9带动第二丝杠传动组件10、夹板11、夹紧的枝干、枝干附近的水果沿着安装导向槽13往回运动，直至将枝干附近的水果送达吸盘6附近，然后吸盘6开始工作，吸紧水果，完成采摘，最后夹板11松开，将树枝枝干放回，整个采摘过程结束。

本实施例采用先固定，后抓取的仿真采摘方法，解决了恶劣环境下水果摆动导致采摘机器人无法抓取的问题。更具体地，采摘方法中，将图像分割算法和图像光流算法结合，可获取水果所在树枝的摆动轨迹，提高了采摘精度。还有的是，系统方面，采摘机构包括转盘5、吸盘6、夹紧模块，使得既能在固定果树枝干的同时进行水果采摘，又能避免损伤水果。

以上所述之实施例子只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。

Claims (10)

1.一种恶劣环境下的水果采摘系统，其特征在于，包括采摘机器人、视觉采集模块(1)、控制器(2)；

其中，所述采摘机器人包括AGV小车(3)、机械臂(4)、安装座(14)、采摘机构；

所述控制器(2)安装在AGV小车(3)上；

所述机械臂(4)通过安装座(14)安装在AGV小车(3)上；

所述视觉采集模块(1)和采摘机构均安装在机械臂(4)的末端，视觉采集模块(1)正对着采摘机构，并与控制器(2)连接。

2.根据权利要求1所述的一种恶劣环境下的水果采摘系统，其特征在于，所述采摘机构包括转盘(5)、吸盘(6)、夹紧模块；

所述夹紧模块包括固定架(7)、移动架(8)、第一丝杆传动组件(9)、第二丝杠传动组件(10)、夹板(11)；

所述吸盘(6)通过转盘(5)与机械臂(4)的末端连接；

所述固定架(7)与吸盘(6)固定，并位于吸盘(6)的两侧；

所述移动架(8)的一端与固定架(7)铰接；相对的两个移动架(8)之间形成夹持通道，吸盘(6)位于该夹持通道的尽头；

所述第二丝杠传动组件(10)通过第一丝杆传动组件(9)与移动架(8)连接，并在第一丝杆传动组件(9)的带动下沿着移动架(8)的长度方向移动；

所述夹板(11)安装在第二丝杠传动组件(10)上，并置于夹持通道内；

相对的两个夹板(11)在对应的第二丝杠传动组件(10)的配合下夹持处于夹持通道内的水果。

3.根据权利要求2所述的一种恶劣环境下的水果采摘系统，其特征在于，所述移动架(8)开有贯穿其左右两侧面且沿着其长度方向延伸的导向孔(12)，以及与导向孔(12)连通且同向的安装导向槽(13)；

所述第一丝杆传动组件(9)安装在所述安装导向槽(13)内；

所述第二丝杠传动组件(10)置于所述导向孔(12)内，在第一丝杆传动组件(9)带动下沿着导向孔(12)的延伸方向移动。

4.根据权利要求3所述的一种恶劣环境下的水果采摘系统，其特征在于，所述第一丝杆传动组件(9)包括第一螺杆、第一螺母、第一传动电机；第二丝杠传动组件(10)包括第二螺杆、第二螺母、第二传动电机；

所述第一螺杆与第一传动电机连接，由第一传动电机带动转动；

所述第一螺母安装在第一螺杆上；

所述第二丝杠传动组件(10)通过第二螺母与第一螺母连接，由第一螺母带动移动；

所述夹板(11)安装在第二螺杆置于夹持通道内的一端；

所述第二螺杆在第二传动电机的带动下，带动夹板(11)进行夹持操作。

5.根据权利要求1-4任一所述的一种恶劣环境下的水果采摘系统，其特征在于，所述视觉采集模块(1)为双目相机，与控制器(2)连接，将采集到的图像发送给控制器(2)。

6.一种恶劣环境下的水果采摘方法，其特征在于，包括以下步骤：

首选使用双目相机每隔0.5s对果树枝干进行多次采样拍照，并将采集到的图片发送给控制器，接着由控制器进行分析，分析过程包括：(1)确定要固定的果树枝干；(2)识别水果所在枝干的运动轨迹；(3)确定要固定的枝干点；最后控制器控制采摘机构固定枝干并采摘水果。

7.根据权利要求6所述的一种恶劣环境下的水果采摘方法，其特征在于，控制器分析过程中，确定要固定的果树枝干，具体包括：

使用部署在控制器中的训练完成的solov2模型对第一张图像进行果树枝干分割，获得果树枝干的2D信息，进而通过双目相机中的深度相机得到果树枝干的3D信息，然后计算得到离采摘机器人最近的果树枝干，将其作为要固定的果树枝干；

其中，所述solov2模型通过以下步骤训练得到:

1)预先采集多张果树枝干图像，并对图像中的枝干使用labelImg进行数据标注，得到数据标注后的数据集；

2)对数据标注后的数据集进行增强，具体包括配置mixup、随机裁剪、颜色扭曲，从而得到数据增强后的数据集；

3)构建solov2模型，并通过数据增强后的数据集进行训练；

4)使用PaddleSlim对步骤3)得到的solov2模型进行裁剪以及量化，最后得到训练完成的solov2模型。

8.根据权利要求6所述的一种恶劣环境下的水果采摘方法，其特征在于，控制器分析过程中，识别水果所在枝干的运动轨迹时，分别将另外多张图与第一张图输入至FlowNet网络中，根据第一张图与其他多张图的光流信息，获取固定枝干的运动轨迹；

其中，FlowNet网络首先把两张图片按channel维度堆叠到一起，然后使用一系列卷积层进行下采样提取特征，在解码阶段，为了更好地融合来自不同层的语义信息，每一层的输入除了上一层的输出外，还利用上一层输出预测的光流和来自编码器对应层的特征；在拼接的过程中使用上采样使所有的特征空间分辨率一致。

9.根据权利要求6所述的一种恶劣环境下的水果采摘方法，其特征在于，控制器分析过程中，确定要固定的枝干点，具体包括：

基于获取到的枝干运动轨迹，选择运动范围最小的像素点与机械臂末端的采摘机构的最大位移进行比较；若大于末端采摘机构的最大运动范围，则报警，提示用户无法进行采摘；若小于末端采摘机构的最大运动范围，则将该点作为采摘机构中的夹紧模块需要夹紧固定的枝干点。

10.根据权利要求6所述的一种恶劣环境下的水果采摘方法，其特征在于，控制器控制采摘机构固定枝干并采摘水果，具体包括：

固定枝干：

控制器控制AGV小车移动并使机械臂运动到需要夹紧固定的枝干点附近，然后机械臂末端的采摘机构开始运动：转动转盘，调整夹紧模块；第一丝杆传动组件沿着安装导向槽带动第二丝杠传动组件和夹板向需要固定的枝干点运动，到达需要固定的枝干点后，第二丝杠传动组件带动夹板夹紧枝干；

采摘水果：

通过双目相机和控制器配合，识别夹紧枝干附近的水果的位置，然后第一丝杆传动组件带动第二丝杠传动组件、夹板、夹紧的枝干、枝干附近的水果沿着安装导向槽往回运动，直至将枝干附近的水果送达吸盘附近，然后吸盘开始工作，吸紧水果，完成采摘，最后夹板松开，将树枝放回，整个采摘过程结束。

Images