CN113207675B - 一种气流振动式设施作物自动授粉装置及方法 - Google Patents

Abstract

本发明提供一种气流振动式设施作物自动授粉装置及方法，气流振动式设施作物自动授粉装置包括移动底盘、定位识别装置、气动装置及控制装置；移动底盘上设有授粉机械臂；定位识别装置用于对设施作物上待授粉的花朵进行识别与定位；气动装置包括气动喷头，气动喷头设于授粉机械臂的执行末端；控制装置分别与移动底盘、授粉机械臂、定位识别装置及气动装置通讯连接。本发明便捷地实现了对雌雄同花的设施作物的精准化授粉，不仅提高了对设施作物的花朵授粉的适用性和可控性，还提高了授粉作业效率。

Description

一种气流振动式设施作物自动授粉装置及方法

技术领域

本发明涉及设施农业技术领域，尤其涉及一种气流振动式设施作物自动授粉装置及方法。

背景技术

随着智能农业的不断发展，智能机器人与农业生产相结合将进一步推动精准农业发展的步伐，是未来农业发展的必要需求。目前，设施温室的人工劳动力需求仍然占比很高，随着人口老龄化和社会劳动力的短缺，设施农业智能作业机器人代替人工劳动力成为必然趋势，这不仅会大大地降低劳动力输出，还比人工操作更加智能化和精准化，有效地提高农产品生产效率和产品质量。

在温室生产中，存在大量的雌雄同花的设施作物，例如：番茄、茄子、辣椒等，这类设施作物可在自然栽培环境中，通过自然风、昆虫等媒介完成自花授粉过程。

然而，在设施栽培过程中，由于温室的密闭性、缺乏自然风和昆虫的活动，设施作物常常会出现授粉不良，并造成落花、落果、畸形果等现象。例如：对于设施作物中常见的设施番茄，设施番茄种植常用的授粉方式包括熊蜂授粉、点施激素授粉、振动棒授粉等，熊蜂授粉依靠熊蜂随机对花朵授粉，熊蜂寿命较短，且授粉存在偶然性和不确定性，存在设施番茄的果实成熟期推迟问题；点施激素授粉和振动棒授粉主要依靠人工，存在主观性强、工作效率低、劳动强度大等问题，且点施激素授粉和振动棒授粉对花朵的识别和定位要求高，安装在自动机械或机器人上适用性较低，点施激素操作不当也易产生药害。

由此可见，当前难以便捷地实现对雌雄同花的设施作物的精准化授粉。

发明内容

本发明提供一种气流振动式设施作物自动授粉装置及方法，用以解决当前难以便捷地实现对雌雄同花的设施作物的精准化授粉的问题。

本发明提供一种气流振动式设施作物自动授粉装置，包括：移动底盘、定位识别装置、气动装置及控制装置；所述移动底盘上设有授粉机械臂；所述定位识别装置用于对设施作物上待授粉的花朵进行识别与定位；所述气动装置包括气动喷头，所述气动喷头设于所述授粉机械臂的执行末端；所述控制装置分别与所述移动底盘、所述授粉机械臂、所述定位识别装置及所述气动装置通讯连接。

根据本发明提供的一种气流振动式设施作物自动授粉装置，所述定位识别装置包括相机支架、旋转平台及3D相机；所述相机支架的底端与所述移动底盘连接，所述旋转平台设于所述相机支架的顶端；所述3D相机设于所述旋转平台上，并用于获取所述设施作物的RGB 图像与点云图像；所述旋转平台及所述3D相机分别与所述控制装置通讯连接。

根据本发明提供的一种气流振动式设施作物自动授粉装置，所述气动装置还包括气阀与气泵；所述气泵的出气端通过所述气阀与所述气动喷头连通；所述控制装置分别与所述气泵及所述气阀通讯连接。

根据本发明提供的一种气流振动式设施作物自动授粉装置，所述授粉机械臂包括电动升降杆或多自由度机械臂；所述控制装置包括工控机、显示器及驱动器；所述定位识别装置、所述显示器分别与所述工控机通讯连接，所述工控机与所述驱动器通讯连接，所述驱动器分别与所述移动底盘、所述授粉机械臂及所述气动装置通讯连接。

根据本发明提供的一种气流振动式设施作物自动授粉装置，所述移动底盘包括底盘框架与行走机构；所述行走机构设于所述底盘框架的底部；所述行走机构包括轨道轮组件与陆地轮组件，所述轨道轮组件用于沿温室内的轨道行走，所述陆地轮组件用于沿所述温室内的路面行走。

根据本发明提供的一种气流振动式设施作物自动授粉装置，所述移动底盘上设有导航装置；所述导航装置包括二维码读码器与激光雷达；所述二维码读码器设于所述底盘框架的底部，并用于读取所述轨道上的二维码标识；所述激光雷达设于所述底盘框架上，并位于所述底盘框架靠近所述移动底盘的行进方向的前端。

根据本发明提供的一种气流振动式设施作物自动授粉装置，所述移动底盘还设有防撞系统；所述防撞系统包括碰撞条及所述激光雷达；所述碰撞条设于所述底盘框架的侧面，并沿所述底盘框架的周向排布，所述碰撞条内设有触碰开关，所述触碰开关用于与报警装置通讯连接。

本发明还提供一种如上所述的气流振动式设施作物自动授粉装置的授粉方法，包括：S1，控制移动底盘行走，并对设施作物的花朵的生理期进行识别，在识别出处于全开期的花朵时，确定处于全开期的花朵的位置信息，控制移动底盘停止；S2，依据所述位置信息，启动对授粉机械臂的姿态调控，使得气动喷头的喷施方向朝向处于全开期的花朵；S3，启动气动装置，控制气动喷头输出的喷施气流，以使得处于全开期的花朵在喷施气流的作用下实现振动授粉。

根据本发明提供的授粉方法，所述对设施作物的花朵的生理期进行识别，包括：获取设施作物的RGB图像；采用空间金字塔池化网络对RGB图像中的花朵进行区域提取，获取多个经过标记的花束图像；采用最小生成树算法对所述多个经过标记的花束图像进行花期识别优先级排序；将经过排序的花束图像输入至多尺度多输入卷积神经网络，获取所述多尺度多输入卷积神经网络输出的各个花束图像所对应的花束的生理期信息；所述确定处于全开期的花朵的位置信息，包括：获取所述设施作物的点云图像；将所述点云图像输入至PointCNN 网络，获取所述PointCNN网络输出的所述点云图像的三维坐标；在识别出所述花束图像中出现开花期的花朵时，将所述RGB图像与所述点云图像融合，获取处于全开期的花朵的位置信息。

根据本发明提供的授粉方法，所述启动气动装置，控制气动喷头输出的喷施气流，以使得处于全开期的花朵在喷施气流的作用下实现振动授粉，包括：以识别出的处于全开期的花朵为目标花朵，设置所述气动喷头与所述目标花朵之间的距离，控制气阀的导通频率，使得所述气动喷头向所述目标花朵输出间歇式的喷施气流，并根据所述目标花朵的类型调节所述喷施气流的强度和喷施的时长。

本发明提供的一种气流振动式设施作物自动授粉装置及方法，在对雌雄同花的设施作物进行授粉时，可通过定位识别装置对设施作物上待授粉的花朵进行识别与定位，控制装置可依据对花朵的识别信息及对应的定位信息，对授粉机械臂的姿态进行调控，使得气动喷头的喷施方向朝向处于全开期的花朵，从而可启动气动装置，控制气动喷头输出喷施气流，以使得处于全开期的花朵在喷施气流的作用下实现振动授粉。

由此可见，本发明便捷地实现了对雌雄同花的设施作物的精准化授粉，与熊蜂授粉、点施激素授粉及振动棒授粉相比，提高了对设施作物的花朵授粉的适用性和可控性，同时提高了授粉作业效率，有效避免雄峰授粉的偶然性和不确定性，同时避免了点施激素授粉和振动棒授粉所存在的主观性强、工作效率低、劳动强度大、适用性差等问题。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的气流振动式设施作物自动授粉装置的结构示意图；

图2是本发明提供的气流振动式设施作物自动授粉装置对设施作物进行授粉的结构示意图；

图3是本发明提供的移动底盘的仰视结构示意图；

图4是本发明提供的气流振动式设施作物自动授粉装置在电动升降杆处于收缩状态的结构示意图；

图5是本发明提供的气流振动式设施作物自动授粉装置在电动升降杆处于伸展状态的结构示意图；

图6是本发明提供的气动喷头在六轴协同机械臂的执行末端的安装结构示意图；

图7是本发明提供的基于气流振动式设施作物自动授粉装置的授粉方法的流程示意图；

图8是本发明提供的基于RGB图像与点云图像对设施作物的花朵进行识别与定位的流程示意图；

附图标记：

1：移动底盘； 2：定位识别装置； 3：授粉机械臂；

4：气动装置； 5：控制装置； 6：激光雷达；

7：二维码读码器； 8：碰撞条； 11：底盘框架；

12：第一轨道轮； 13：第二轨道轮； 14：第一差速轮；

15：第二差速轮； 16：万向轮； 21：相机支架；

22：旋转平台； 23：3D相机； 41：气动喷头；

42：气管； 43：气泵； 9：设施作物。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合图1-图8描述本发明的一种气流振动式设施作物自动授粉装置及方法。

如图1至图2所示，本实施例提供一种气流振动式设施作物自动授粉装置，包括：移动底盘1、定位识别装置2、气动装置4及控制装置5；移动底盘1上设有授粉机械臂3；定位识别装置2用于对设施作物上待授粉的花朵进行识别与定位；气动装置4包括气动喷头 41，气动喷头41设于授粉机械臂3的执行末端；控制装置5分别与移动底盘1、授粉机械臂3、定位识别装置2及气动装置4通讯连接。其中，本实施例在图2中具体示意了气动装置4通过其气动喷头41 对设施作物9定向地输送喷施气流，以对设施作物9上的花朵进行授粉，设施作物9可以为本领域所公知的番茄。

具体地，本实施例在对雌雄同花的设施作物9进行授粉时，可通过定位识别装置2对设施作物上待授粉的花朵进行识别与定位，控制装置5可依据对花朵的识别信息及对应的定位信息，对授粉机械臂3 的姿态进行调控，使得气动喷头41的喷施方向朝向处于全开期的花朵，从而可启动气动装置4，控制气动喷头41输出喷施气流，以使得处于全开期的花朵在喷施气流的作用下实现振动授粉。

由此可见，本实施例所示的授粉装置较为便捷地实现了对雌雄同花的设施作物的精准化授粉，与熊蜂授粉、点施激素授粉及振动棒授粉相比，提高了对设施作物的花朵授粉的适用性和可控性，同时提高授粉作业效率，有效避免雄峰授粉的偶然性和不确定性，同时避免了点施激素授粉和振动棒授粉所存在的主观性强、工作效率低、劳动强度大、适用性差等问题。

在此应指出的是，本实施例所示的授粉机械臂3可以为本领域所公知的电动升降杆或多自由度机械臂，在此不做具体限定。

其中，如图1所示，本实施例所示的授粉机械臂3优选为电动升降杆。如图6所示，在本实施例所示的授粉机械臂3为多自由度机械臂的情况下，多自由度机械臂优选为六轴协同机械臂，气动喷头41 安装于六轴协同机械臂的执行末端，该六轴协同机械臂的授粉作业范围为半径0.88m，六轴协同机械臂由六个运动关节和六个旋转轴组合，可以实现升降、伸缩、旋转等独立运动。六轴协同机械臂根据控制装置5发出相关指令，完成特定动作，以实现对气动喷头41喷施的姿态及喷施位置的调节。

如图1所示，电动升降杆的固定端设于移动底盘1的安装平台上，其中，安装平台离地面的高度为0.5m，电动升降杆具有四个可伸缩的节段。电动升降杆与移动底盘1所在的平面垂直，电动升降杆的升降端与气动喷头41连接；电动升降杆配置有编码器，编码器与电动升降杆上的驱动电机同轴连接，并与控制装置5通讯连接。如此，控制装置5可依据编码器实时反馈的角度信息，对电动升降杆的升降端的高度进行精确地控制。其中，安装平台与移动底盘1的底盘框架 11之间通过剪叉式升降机构连接。

如图4所示，本实施例所示的电动升降杆处于收缩状态，且电动升降杆在收缩状态下的高度为0.9m。如图5所示，电动升降杆处于伸展状态，且电动升降杆在伸展状态下的高度为2.0-2.9m。

由于本实施例所示的气动喷头41设于电动升降杆的升降端，本实施例可基于电动升降杆对气动喷头41的授粉高度进行调节，以适应不同类型的设施作物在不同生长阶段的授粉需求。其中，本实施例所示的气流振动式设施作物自动授粉装置可调节的授粉高度范围为 1.0-3.4m。

与此同时，本实施例所示的控制装置5包括工控机、显示器及驱动器；其中，工控机是本实施例所示的整套授粉装置运转的核心控制器，其配置包括CPU、内存、硬盘等；工控机与外部I/O接口模块相连，接口模块具有20路数字量输出和20数字量输入接口，并支持MODBUS、CANopen、以太网等多种总线协议。本实施例所示的显示器可以为本领域所公知的触摸屏控制器。本实施例所示的定位识别装置2可以为本领域所公知的视觉识别与定位装置及激光雷达6当中的至少一种。

在此，本实施例所示的定位识别装置2、显示器分别与工控机通讯连接，工控机与驱动器通讯连接，驱动器分别与移动底盘1、授粉机械臂3及气动装置4通讯连接。

优选地，本实施例所示的定位识别装置2包括相机支架21、旋转平台22及3D相机23；相机支架21的底端与移动底盘1连接，旋转平台22设于相机支架21的顶端；3D相机23设于旋转平台22上，并用于获取设施作物的RGB图像与点云图像；旋转平台22及3D相机23分别与控制装置5通讯连接。

具体地，本实施例所示的设施作物为番茄时，由于番茄所处的环境复杂，其花朵存在遮挡问题，本实施例可通过旋转平台22驱动3D 相机23在水平面上进行360°旋转，从而使得3D相机23获取多个角度的拍摄图像，提高了对花朵识别的成功率。

如图1与图2所示，本实施例所示的气动装置4还包括气阀与气泵43；气泵43的出气端与气动喷头41之间通过气管42连通，在气管42上装有气阀；控制装置5分别与气泵43及气阀通讯连接。

具体地，在实际授粉过程中，本实施例所示的控制装置5通过控制气阀的导通频率，可使得气动喷头41向花朵输出间歇式的喷施气流，间歇式的喷施气流能够较好地驱使花朵产生振动，在风力和振动力的带动下，花粉会从花朵的雄蕊振落至雌蕊上，从而可通过模拟自然风完成设施作物的花朵的授粉。

在实际应用过程中，可以根据不同设施作物的花朵类型调整授粉时间、气流强度和气流振荡间隔，可设置授粉过程中气动喷头41与花朵的距离，提高授粉作业的可控性和适用性。

如图3所示，本实施例所示的移动底盘1包括底盘框架11与行走机构；行走机构设于底盘框架11的底部；行走机构包括轨道轮组件与陆地轮组件，轨道轮组件用于沿温室内的轨道行走，陆地轮组件用于沿温室内的路面行走。

其中，为了对移动底盘1在温室内的行走进行定位和导引，本实施例所示的导航装置包括二维码读码器7与激光雷达6；二维码读码器7设于底盘框架11的底部，并用于读取轨道上的二维码标识；激光雷达6设于底盘框架11上，并位于底盘框架11靠近移动底盘1的行进方向的前端。

在此应指出的是，本实施例所示的导航装置在采用二维码导航时，每个二维码标识包含位置信息和方向信息，采用二维码读码器7对地面或轨道上的二维码标识进行识别和解析，从而确定移动底盘1行走的位置和方向，以配合激光雷达6，实现移动底盘1在陆地上的自动运行。

与此同时，本实施例还进一步对行走机构进行改进型设计。其中，轨道轮组件包括第一轨道轮12与第二轨道轮13；第一轨道轮12设有两个，两个第一轨道轮12同轴并排设置，并分布于底盘框架11靠近移动底盘1的行进方向的前端；相应地，第二轨道轮13设有两个，两个第二轨道轮13同轴并排设置，并分布于底盘框架11靠近移动底盘1的行进方向的后端。

本实施例所示的陆地轮组件包括差速轮与万向轮16；差速轮设有两个，分别为第一差速轮14与第二差速轮15，第一差速轮14与第二差速轮15呈同轴并排布置，并设于底盘框架11的中部；万向轮 16设有两组，第一组万向轮16设于底盘框架11靠近移动底盘1的行进方向的前端，第二组万向轮16设于底盘框架11靠近移动底盘1 的行进方向的后端。

在此，本实施例采用二维码读码器7和激光雷达6相结合的方式，对移动底盘1进行定位和导航，以实现自动上轨、自动下轨及在温室地面上的行走等功能，实现了底盘作业过程的无人化，具体如下所示：

当移动底盘1在路面上行走时，采用激光雷达6进行导航定位，此时陆地轮组件启动运行。基于对第一差速轮14与第二差速轮15的差速控制，可实现移动底盘1的转向、前进和后退。其中，在控制移动底盘1的转向时，可控制第一差速轮14与第二差速轮15分别以大小相同但旋向相反的转速转动，实现移动底盘1的原地旋转；在控制移动底盘1的左转向时，可控制第一差速轮14反转，第二差速轮15 正转；在控制移动底盘1的右转向时，可控制第一差速轮14正转，第二差速轮15反转；在控制移动底盘1前进时，可控制第一差速轮 14与第二差速轮15以相同速度同步正转，实现移动底盘1的前向运动；在控制移动底盘1后退时，可控制第一差速轮14与第二差速轮 15以相同速度同步反转，实现移动底盘1的后向运动。

当移动底盘1要从地面道路运动到轨道上行驶时，基于二维码读码器7对轨道上二维码标识的读取，对移动底盘1进行导航定位。在二维码读码器7识别到上轨的二维码标识后，控制装置5控制第一轨道轮12与第二轨道轮13同步正转，移动底盘1开始上轨。在移动底盘1上轨后，二维码读码器7识别到完成上轨的二维码标识后，控制装置5停止第一差速轮14与第二差速轮15的转动，移动底盘1完成自动上轨。

当移动底盘1在轨道上运动时，第一轨道轮12与第二轨道轮13 在控制装置5的控制下同步正转或反转，实现移动底盘1在轨道上的前进或后退。移动底盘1在轨道上前进时，第一轨道轮12与第二轨道轮13同时正转，里程编码器实时记录移动底盘1的运行里程，当移动底盘1在轨道上运动到预设的里程，或者二维码读码器7识别到轨道终点对应的二维码标识后，控制装置5给第一轨道轮12与第二轨道轮13发送同步反转命令，移动底盘1开始在轨道上反向运动。

当移动底盘1从轨道上运动到轨道边缘，并在二维码读码器7识别到下轨的二维码标识后，控制装置5控制第一差速轮14与第二差速轮15同时反转，移动底盘1开始下轨。其中，在二维码读码器7 识别到移动底盘1完成下轨的二维码标识后，轨道轮组件停止转动，移动底盘1完成自动下轨，开始路面道路运动。

进一步地，本实施例所示的移动底盘1还设置有防撞系统；防撞系统包括碰撞条8及上述实施例所示的激光雷达6；碰撞条8设于底盘框架11的侧面，并沿底盘框的的周向排布，碰撞条8内设有触碰开关，触碰开关用于与报警装置通讯连接。

具体地，由于激光雷达6安装在移动底盘1靠近移动底盘1的行进方向的前端，激光雷达6设置了两层安全距离，第一层安全距离是基于移动底盘1的减速距离，第二层安全距离是基于移动底盘1的急停距离。

与此同时，由于碰撞条8沿周向安装于底盘框架11的侧面，当碰撞条8接触到其他物体时，碰撞条8内的触碰开关闭合，控制装置 5接收到触碰开关的闭合信号后，会立即控制移动底盘1停止运行，同时触发报警装置，进行报警警示。其中，报警装置可以为本领域所公知的报警灯、蜂鸣器及声光报警器当中的任一种。

在此，结合上述授粉装置对设施番茄的授粉进行如下具体说明。

在番茄处于开花期，并在天气为晴天时，在上午9:00至下午3:00，控制本实施例所示的授粉装置在二维码标识的导引下运行到番茄行间的轨道上，在轨道上行走速度为4-5km/h，当定位识别装置实时识别全开期的番茄花朵后，移动底盘停止，定位识别装置引导授粉装置移动到花朵前方开始授粉，授粉装置喷头以0.5s间隔打开和关闭，向花束输出间歇式的喷施气流，并确保到达花朵时的气流速度为 1.5-3.5m/s，喷施气流持续时间为20-30s，通过喷施气流振荡，使花朵产生振动，在风力和振动力的带动下，花朵上的花粉会从雄蕊上振落在雌蕊上，通过模拟自然风完成番茄花朵授粉。

在一个具体本实施例中，对番茄进行气流振动授粉的授粉装置的具体工作步骤如下所示：

步骤一：首先选择授粉作业区域，开始执行授粉作业，移动底盘沿着铺设的二维码标识运行，在行进过程中，通过激光雷达实时对道路路况进行检测。若激光雷达检测到道路前进方向有障碍物，则将信息反馈到控制系统中，调度系统找到一条从当前位置到避开障碍物的运动路径；若道路无法通行，移动底盘停止前进，并触发警报。

步骤二：当移动底盘进入行间轨道后，3D相机实时检测番茄花朵，通过控制3D相机的旋转，以拍摄多角度图像，提升花朵的检测成功率。当检测到番茄花朵时，移动底盘停止前进。控制系统根据 3D相机采集到的番茄花朵的RGB图像信息，判断花束中是否有花朵处于全开期；若有花朵处于全开期，则通过RGB图像和点云图像融合得到目标番茄花束的姿态以及三维空间坐标；若没有花朵处于全开期，则移动底盘继续前进。

步骤三：授粉机械臂根据花束的三维空间坐标，引导其执行末端的气动喷头移动到花朵前方，打开气阀，通过气动喷头对花束进行精准授粉，当3D相机检测到多个处于全开期的花束时，首先对多个处于全开期的花束进行排序，再按顺序对各个目标花束依次进行授粉作业。

步骤四：当前位置授粉完成后，授粉装置继续向前行走，重复上述步骤二和步骤三，完成一个栽培行授粉作业后，然后进入下一个栽培行，直到执行完第一步设置的授粉作业区域。

步骤五：完成授粉作业后，移动底盘沿着二维码标识回到停车位，等待任务命令。

如图7所示，本实施例还提供一种如上所述的气流振动式设施作物自动授粉装置的授粉方法，包括：S1，控制移动底盘行走，并对设施作物的花朵的生理期进行识别，在识别出处于全开期的花朵时，确定处于全开期的花朵的位置信息，控制移动底盘停止；S2，依据所述位置信息，启动对授粉机械臂的姿态调控，使得气动喷头的喷施方向朝向处于全开期的花朵；S3，启动气动装置，控制气动喷头输出的喷施气流，以使得处于全开期的花朵在喷施气流的作用下实现振动授粉。

如图8所示，本实施例所示的对设施作物的花朵的生理期进行识别，包括：获取设施作物的RGB图像；采用空间金字塔池化网络对 RGB图像中的花朵进行区域提取，获取多个经过标记的花束图像；采用最小生成树算法对所述多个经过标记的花束图像进行花期识别优先级排序；将经过排序的花束图像输入至多尺度多输入卷积神经网络，获取所述多尺度多输入卷积神经网络输出的各个花束图像所对应的花束的生理期信息。

其中，花束的生理期信息包括花蕾期、全开期、谢花期及初果期。本实施例所示的空间金字塔池化网络是以设施作物的RGB图像为样本，以与所述设施作物中对应的多个花束图像为标签进行训练获取的。本实施例所示的多尺度多输入卷积神经网络是以RGB图像中对应的多个花束图像为样本，以与各个花束图像所对应的花束的生理期信息为标签进行训练获取的。

与此同时，本实施例所示的确定处于全开期的花朵的位置信息，包括：获取所述设施作物的点云图像；将点云图像输入至PointCNN 网络，获取所述PointCNN网络输出的所述点云图像的三维坐标；在识别出花束图像中出现开花期的花朵时，将所述RGB图像与所述点云图像融合，获取处于全开期的花朵的位置信息。

其中，本实施例可通过3D相机同时获取设施作物的RGB图像与点云图像。本实施例所示的PointCNN网络是以点云图像为样本，以与所述点云图像对应的三维坐标为标签，进行训练获取的。

具体地，对于设施作物中的番茄而言，由于番茄花朵生长环境为非结构化环境，花朵呈现小目标和多目标分布，一个植株往往含有多个花束，且同一花束中存在不同花期的花朵等特点；传统的卷积神经网络通常采用单一的网络结构进行特征提取，不能同时对花束区域和花期信息同时进行提取，导致提取的花朵特征信息不够充分，网络的识别精度不高。

针对上述问题，本实施例提供一种将两级神经网络级联的方法，实现番茄花束区域的提取和花束中花期的精准识别，并计算全开期花朵在该花束中的占比，作为番茄授粉装置精准作业的关键决策，将目标番茄花朵的RGB图像与3D点云图像中对应的XYZ坐标进行融合，获得花朵的位置和坐标，其实施步骤如下所示：

(1)授粉装置进入初始状态，3D相机对番茄花朵的RGB图像和3D点云图像进行采集，将采集到的RGB图像信息和3D点云信息分别放在各自的训练模型文件中。

(2)系统对3D相机采集到的RGB图像进行预处理。利用加权平均法对采集到的图片进行灰度处理，运用高斯滤波平滑图像，降低图像模糊度以及对图像进行去噪；在去噪后的图像上使用直方图均衡化将像素灰度进行映射变换，得到概率分布均匀的图像灰度，提高图像的对比度。

(3)对图像进行数据增强。采用翻转、旋转、缩放、随机剪裁等方法增加训练样本的多样性，提高模型鲁棒性，避免过拟合。

(4)采用labelImg工具对RGB图像数据集进行标注。

(5)基于空间金字塔池化网络与多尺度多输入卷积神经网络的级联，在复杂环境下对设施番茄的花朵进行精确识别。首先，对原始图像进行曝光度调节、去噪、去除较远目标等预处理，将处理后的图像传入第一级的空间金字塔池化网络，对图像中存在的目标花束进行预测，通过上采样方案对预测特征进行多尺度分割得到花束FS图像 (FlowerSegment；FSA(FSA1、FSA2、FSA3)，FSB(FSB1、FSB2、 FSB3)，…)，同时去除远目标和单花目标花束；然后，使用最小生成树prim算法对分割的多个花束FS图像进行排序，将各尺度花束FS图像放入对应的vector中；接着，将vector按照对应的尺度传入第二级的多尺度多输入卷积神经网络(Yolov3)中，对花朵花蕾期、全开期、谢花期和初果期进行精准识别。最后，计算同一花束中全开期花朵的数量和占比，同时通过初果期花朵数量计算座果率。

(6)将目标番茄花朵与3D点云图中对应的XYZ坐标进行融合。使用PointCNN网络得到目标番茄花朵的姿态以及空间坐标。首先，通过级联神经网络对番茄花朵各个花期的RGB图像进行分割和识别，然后通过PointCNN网络对全开期的花朵点云数据进行分割。将RGB图像识别到的花朵与点云信息进行匹配，得到空间物体的三维成像和位置信息，实现对全开期花朵的定位。

(7)将花朵坐标转换成授粉装置坐标，将模型移植到授粉装置上。

进一步地，本实施例所示的启动气动装置，控制气动喷头输出的喷施气流，以使得处于全开期的花朵在喷施气流的作用下实现振动授粉，包括：以识别出的处于全开期的花朵为目标花朵，设置所述气动喷头与所述目标花朵之间的距离，控制气阀的导通频率，使得所述气动喷头向所述目标花朵输出间歇式的喷施气流，并根据所述目标花朵的类型调节所述喷施气流的强度和喷施的时长。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种气流振动式设施作物自动授粉装置，其特征在于，包括：

移动底盘，所述移动底盘上设有授粉机械臂；

定位识别装置，用于对设施作物上待授粉的花朵进行识别与定位；

气动装置，包括气动喷头，所述气动喷头设于所述授粉机械臂的执行末端；

控制装置，分别与所述移动底盘、所述授粉机械臂、所述定位识别装置及所述气动装置通讯连接；

所述定位识别装置包括相机支架、旋转平台及3D相机；所述相机支架的底端与所述移动底盘连接，所述旋转平台设于所述相机支架的顶端；所述3D相机设于所述旋转平台上，并用于获取所述设施作物的RGB图像与点云图像；所述旋转平台及所述3D相机分别与所述控制装置通讯连接；

所述控制装置用于控制所述移动底盘行走，并对设施作物的花朵的生理期进行识别，在识别出处于全开期的花朵时，确定处于全开期的花朵的位置信息，控制所述移动底盘停止；所述控制装置还用于依据所述位置信息，启动对所述授粉机械臂的姿态调控，使得所述气动喷头的喷施方向朝向处于全开期的花朵；

所述对设施作物的花朵的生理期进行识别，包括：获取设施作物的RGB图像；采用空间金字塔池化网络对RGB图像中的花朵进行区域提取，获取多个经过标记的花束图像；采用最小生成树算法对所述多个经过标记的花束图像进行花期识别优先级排序；将经过排序的花束图像输入至多尺度多输入卷积神经网络，获取所述多尺度多输入卷积神经网络输出的各个花束图像所对应的花束的生理期信息；

所述确定处于全开期的花朵的位置信息，包括：获取所述设施作物的点云图像；将所述点云图像输入至PointCNN网络，获取所述PointCNN网络输出的所述点云图像的三维坐标；在识别出所述花束图像中出现开花期的花朵时，将所述RGB图像与所述点云图像融合，获取处于全开期的花朵的位置信息。

2.根据权利要求1所述的气流振动式设施作物自动授粉装置，其特征在于，所述气动装置还包括气阀与气泵；

所述气泵的出气端通过所述气阀与所述气动喷头连通；所述控制装置分别与所述气泵及所述气阀通讯连接。

3.根据权利要求1所述的气流振动式设施作物自动授粉装置，其特征在于，所述授粉机械臂包括电动升降杆或多自由度机械臂；

所述控制装置包括工控机、显示器及驱动器；所述定位识别装置、所述显示器分别与所述工控机通讯连接，所述工控机与所述驱动器通讯连接，所述驱动器分别与所述移动底盘、所述授粉机械臂及所述气动装置通讯连接。

4.根据权利要求1至3任一所述的气流振动式设施作物自动授粉装置，其特征在于，所述移动底盘包括底盘框架与行走机构；

所述行走机构设于所述底盘框架的底部；所述行走机构包括轨道轮组件与陆地轮组件，所述轨道轮组件用于沿温室内的轨道行走，所述陆地轮组件用于沿所述温室内的路面行走。

5.根据权利要求4所述的气流振动式设施作物自动授粉装置，其特征在于，所述移动底盘上设有导航装置；

所述导航装置包括二维码读码器与激光雷达；所述二维码读码器设于所述底盘框架的底部，并用于读取所述轨道上的二维码标识；所述激光雷达设于所述底盘框架上，并位于所述底盘框架靠近所述移动底盘的行进方向的前端。

6.根据权利要求5所述的气流振动式设施作物自动授粉装置，其特征在于，所述移动底盘还设有防撞系统；

所述防撞系统包括碰撞条及所述激光雷达；所述碰撞条设于所述底盘框架的侧面，并沿所述底盘框架的周向排布，所述碰撞条内设有触碰开关，所述触碰开关用于与报警装置通讯连接。

7.一种基于权利要求1至6任一所述的气流振动式设施作物自动授粉装置的授粉方法，其特征在于，包括：

S1，控制移动底盘行走，并对设施作物的花朵的生理期进行识别，在识别出处于全开期的花朵时，确定处于全开期的花朵的位置信息，控制移动底盘停止；

S2，依据所述位置信息，启动对授粉机械臂的姿态调控，使得气动喷头的喷施方向朝向处于全开期的花朵；

S3，启动气动装置，控制气动喷头输出的喷施气流，以使得处于全开期的花朵在喷施气流的作用下实现振动授粉。

8.根据权利要求7所述的授粉方法，其特征在于，

所述对设施作物的花朵的生理期进行识别，包括：

获取设施作物的RGB图像；

采用空间金字塔池化网络对RGB图像中的花朵进行区域提取，获取多个经过标记的花束图像；

采用最小生成树算法对所述多个经过标记的花束图像进行花期识别优先级排序；

将经过排序的花束图像输入至多尺度多输入卷积神经网络，获取所述多尺度多输入卷积神经网络输出的各个花束图像所对应的花束的生理期信息；

所述确定处于全开期的花朵的位置信息，包括：

获取所述设施作物的点云图像；

将所述点云图像输入至PointCNN网络，获取所述PointCNN网络输出的所述点云图像的三维坐标；

在识别出所述花束图像中出现开花期的花朵时，将所述RGB图像与所述点云图像融合，获取处于全开期的花朵的位置信息。

9.根据权利要求7或8所述的授粉方法，其特征在于，

所述启动气动装置，控制气动喷头输出的喷施气流，以使得处于全开期的花朵在喷施气流的作用下实现振动授粉，包括：

以识别出的处于全开期的花朵为目标花朵，设置所述气动喷头与所述目标花朵之间的距离，控制气阀的导通频率，使得所述气动喷头向所述目标花朵输出间歇式的喷施气流，并根据所述目标花朵的类型调节所述喷施气流的强度和喷施的时长。

Images