CN109272553A - 用于棉花顶心摘除的定位方法、控制器及摘除装置 - Google Patents

Abstract

本发明提供了一种用于棉花顶心摘除的定位方法、控制器及摘除装置，其中，该方法包括：获取待摘除顶心棉花植株的彩色图像数据和深度图像数据；将所述彩色图像数据输入预先训练生成的深度学习识别网络模型，识别棉花顶心，获取棉花顶心在彩色图像中的像素坐标；所述深度学习识别网络模型根据多个待摘除顶心棉花植株样本预先训练生成；根据棉花顶心在彩色图像中的像素坐标，以及所述深度图像数据，确定棉花顶心的三维空间位置信息；所述三维空间位置信息用于棉花顶心摘除的定位机构进行定位。上述技术方案提高了棉花顶心摘除的精度和效率。

Description

用于棉花顶心摘除的定位方法、控制器及摘除装置

技术领域

本发明涉及棉花顶心摘除技术领域，特别涉及一种用于棉花顶心摘除的定位方法、控制器及摘除装置。

背景技术

棉花打顶是棉花生产中的重要环节，通过对棉花打顶解除棉花的顶端优势、促进侧芽长出、使株型更为茂密，同时可以促进扩枝，防止旺长所导致的倒伏，并且有助于多结棉桃、提高产量。

目前，主要的棉花打顶方式有人工打顶、机械打顶、化学药物打顶：

1、最传统的人工打顶质量高、对棉花的伤害小，因此，到目前为止，该方式仍然是最常采用的打顶方式。但随着我国劳动人口逐年下降，农业从业人员向其他产业转移的现象日益严重，用工荒的现象日益突出，进而导致工价过高，种植成本过高。

2、化学药物打顶受外界条件等不可预见因素影响较大，施药技术难度大，不易控制最佳的施药时间，且对环境有一定污染。目前，该方式难以被广大棉花种植户普遍接受。

3、采用机械打顶其效率高，不会对对环境产生危害。该方式必将成为将来棉花打顶的主要趋势。早期棉花打顶机的打顶机构主要是滚筒式和甩刀式，这种方式采用一刀切的方式，将道具固定在一定的高度，对棉花顶部进行切割，这种方式出现大量的过打、漏打现象。近些年，通过红外感应或超声波感应的方式实现对棉花植株高度测量，进而调节打顶机构的高度，实现了高度上的控制，在一定程度上解决了漏打现象。但红外或超声波感应只对高度进行大致的探测，不能识别棉花顶心的位置，打顶机构通常需要聚拢装置将棉花顶心限制在一定的范围内，再加上打顶机构控制精度不高，棉花植株顶部损伤较大，漏打、过打现象仍然严重，该方式的作业效果不能满足棉花打顶农艺要求，在生产中使用较少。最近几年，出现通过图像对棉花高度和顶心识别，进而控制打顶机构实施打顶。然而，受限于传统图像识别方法对环境要求高，光照条件苛刻，识别效果和稳定性差，加之打顶机构的不稳定和不精确因素，打顶效果仍然不能满足实际应用需求。

因此，现有机械打顶技术不能满足棉花机械打顶作业的应用需求，例如不能准确识别棉花顶心及其位置，导致存在不便于实施精确棉花顶心摘除、作业效率低、效果差等问题。

针对上述问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种用于棉花顶心摘除的定位方法，用以提高棉花顶心摘除的精度和效率，该方法包括：

获取待摘除顶心棉花植株的彩色图像数据和深度图像数据；

将所述彩色图像数据输入预先训练生成的深度学习识别网络模型，识别棉花顶心，获取棉花顶心在彩色图像中的像素坐标；所述深度学习识别网络模型根据多个待摘除顶心棉花植株样本预先训练生成；

根据棉花顶心在彩色图像中的像素坐标，以及所述深度图像数据，确定棉花顶心的三维空间位置信息；所述三维空间位置信息用于棉花顶心摘除的定位机构进行定位。

本发明实施例还提供了一种用于棉花顶心摘除的定位控制器，用以提高棉花顶心摘除的精度和效率，该控制器包括：

获取单元，用于获取待摘除顶心棉花植株的彩色图像数据和深度图像数据；

识别单元，用于将所述彩色图像数据输入预先训练生成的深度学习识别网络模型，识别棉花顶心，获取棉花顶心在彩色图像中的像素坐标；所述深度学习识别网络模型根据多个待摘除顶心棉花植株样本预先训练生成；

定位单元，用于根据棉花顶心在彩色图像中的像素坐标，以及所述深度图像数据，确定棉花顶心的三维空间位置信息；所述三维空间位置信息用于棉花顶心摘除的定位机构进行定位。

本发明实施例还提供了一种棉花顶心摘除装置，用以提高棉花顶心摘除的精度和效率，该摘除装置包括：

支架；

相机，设置在所述支架上，用于获取待摘除顶心棉花植株的彩色图像数据和深度图像数据；

如上所述的定位控制器，设置在所述支架上；

定位机构，设置在所述支架上，用于根据所述定位控制器发来的棉花顶心的三维空间位置信息到达棉花顶心的位置；

末端执行器，设置在所述定位机构的机械臂末端，用于在定位机构机械臂末端到达棉花顶心的位置时，执行棉花顶心摘除动作。

本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行用于棉花顶心摘除的定位方法。

本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有执行用于棉花顶心摘除的定位方法的计算机程序。

与现有技术中棉花打顶的方案相比较，本发明实施例提供的技术方案获取待摘除顶心棉花植株的彩色图像数据和深度图像数据后：

首先，将所述彩色图像数据输入预先训练生成的深度学习识别网络模型，识别棉花顶心，获取棉花顶心在彩色图像中的像素坐标，该深度学习识别网络模型根据多个待摘除棉花植株样本预先训练生成，实现了利用深度学习识别网络模型快速且精确地识别棉花顶心，从而提高了棉花顶心定位的精度，进而提高了棉花顶心摘除的精度和效率。

其次，根据棉花顶心在彩色图像中的像素坐标，以及所述深度图像数据，确定棉花顶心的三维空间位置信息，该三维空间位置信息用于棉花顶心摘除的定位机构进行定位，实现了对识别的棉花顶心进行三维空间定位，提高了棉花顶心定位的精度，进而提高了棉花顶心摘除的精度和效率。

本发明实施例提供的技术方案不仅仅可以用于棉花植株顶心摘除，还可以用于其它植物顶心摘除。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。在附图中：

图1是本发明实施例中用于棉花顶心摘除的定位方法的原理示意图；

图2是本发明实施例中用于棉花顶心摘除的定位方法的流程示意图；

图3是本发明实施例中用于棉花顶心摘除的定位控制器的结构示意图；

图4是本发明另一实施例中用于棉花顶心摘除的定位控制器的结构示意图；

图5是本发明实施例中目标处理操作单元的结构示意图；

图6是本发明实施例中棉花顶心摘除装置的立体结构示意图；

图7是本发明实施例中棉花顶心摘除装置另一视角的立体结构示意图。

图8是本发明实施例中棉花顶心摘除装置的主视图；

图9是本发明实施例中棉花顶心摘除装置的侧视图；

图10是本发明实施例中棉花顶心摘除装置的俯视图；

图11是本发明实施例中末端执行器的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施方式和附图，对本发明做进一步详细说明。在此，本发明的示意性实施方式及其说明用于解释本发明，但并不作为对本发明的限定。

发明人发现：现有技术中机械打顶技术不能满足棉花机械打顶作业的应用需求，例如不能准确识别棉花顶心位置，导致存在不便于棉花顶心摘除、作业效率低、效果差等问题：

现有技术一：单目识别式棉花打顶机，该技术中仿形机构为滑轮组机构,采用单目机械视觉识别,通过相机采集图像信息,然后对图像进行分割和特征提取,从而得出棉花的高度信息,一对的扶禾板使得通过的棉株能与扶禾板形成明显的前景和后景,便于图像分割。通过控制系统接收到棉花顶端的高度信息,然后控制可控电机转动,通过钢丝绳,使得割刀上升或下降一定高度,进而实现对棉花顶端的仿形切割。该技术存在的缺点为：只使用单目图像进行前景和背景分割，从而获取高度信息，不对棉花顶心位置进行识别，定位精度低，从而不利于实施准确地摘除棉花顶心。同时，由于需要将棉花植株聚拢，执行机构只进行上下移动，执行机构只有一个自由度，此种处理方法较为盲目，不能准确定位棉花顶心位置。

现有技术二：双目识别式棉花打顶机，该技术中采用双目立体视觉定位,通过相机采集图像信息,然后对图像进行处理和特征标定,从而得出棉花顶端的三维信息,控制系统接收到棉花顶端的三维信息,然后控制可控电机转动,使得割刀上升或下降一定高度,进而实现对棉花顶端的切割,同时涡轮风机所产生的负压通过吸芽软管进行棉花顶尖的收集。该技术存在的缺点为：只使用双目图像获取高度信息，不对棉花顶心进行识别，定位精度低，从而不利于实施准确地摘除棉花顶心。同时也存在问题：由于需要将棉花植株聚拢，执行机构只进行上下移动，执行机构只有一个自由度，此种处理方法较为盲目，不能准确定位棉花顶心位置。因此，该双目识别棉花打顶方式也不能识别棉花顶心，及对识别出的棉花顶心进行定位，从而导致影响摘除棉花顶心的精度和效率。

因此，考虑到上述技术问题，发明人提出了一种用于棉花顶心摘除的定位方法、定位控制器及摘除装置，该方案作业效果好、使用方便，能准确识别棉花顶心及对识别出的棉花顶心进行定位，且准确地到达棉花顶心位置。

如图1所示，其中，该用于棉花顶心摘除的定位方法包括：首先固定RGBD相机和棉花顶心定位机构，建立定位机构于RGBD相机的坐标变换关系。读取RGBD相机的彩色图像数据和深度图像数据，然后使用经过训练的棉花顶心识别网络(深度学习识别网络模型)对RGBD相机的彩色图像数据进行棉花顶心识别，获得棉花顶心的在彩色图像中的像素坐标。通过此像素坐标，在深度图像中获取此坐标对应的深度数据，使用深度数据(深度图像数据)和相机内参计算此像素坐标对应的空间坐标值，联合对应的深度数据(深度图像数据)，获得棉花顶心目标的三维空间位置信息，从而实现对棉花顶心的定位。

通过连续获取的彩色图像和深度图像，计算视场中所有目标的位置，对当前帧所检测到的棉花顶心坐标和前一帧所检测到的棉花顶心坐标进行匹配，实现对摄像机运动估计。同时维护一个目标管理模块，通过运动估计更新已检测的目标位置，并将新检测到的目标位置加入目标管理模块(目标管理模块实现的是多目标管理过程，包括下述实施例中提到的多目标处理操作或目标处理操作单元)。

将目标管理模块中所管理的目标位置从相机坐标系变换到定位机构坐标系，然后计算目标位置是否在定位机构的工作空间中。而后计算所有在定位机构工作空间中的目标距离定位机构原点的距离，将距离定位机构最近的目标送入定位机构控制器，引导定位机构末端到达棉花顶心位置。并将此目标从目标管理模块中删除，继续计算距离最近的目标，直到在定位机构的工作空间中不存在目标管理节点中的目标位置，定位机构停止接受定位指令。

下面对该用于棉花顶心摘除的定位方案，及应用该用于棉花顶心摘除的定位方案的棉花摘除装置进行详细介绍如下。

图2是本发明实施例中用于棉花顶心摘除的定位方法的流程示意图，如图2所示，该定位方法包括如下步骤：

步骤101：获取待摘除顶心棉花植株的彩色图像数据和深度图像数据；

步骤102：将所述彩色图像数据输入预先训练生成的深度学习识别网络模型，识别棉花顶心，获取棉花顶心在彩色图像中的像素坐标；所述深度学习识别网络模型根据多个待摘除顶心棉花植株样本预先训练生成；

步骤103：根据棉花顶心在彩色图像中的像素坐标，以及所述深度图像数据，确定棉花顶心的三维空间位置信息；所述三维空间位置信息用于棉花顶心摘除的定位机构进行定位。

与现有技术中棉花打顶的方案相比较，本发明实施例提供的技术方案获取待摘除顶心棉花植株的彩色图像数据和深度图像数据后：

首先，将所述彩色图像数据输入预先训练生成的深度学习识别网络模型，识别棉花顶心，获取棉花顶心在彩色图像中的像素坐标，该深度学习识别网络模型根据多个待摘除棉花植株样本预先训练生成，实现了利用深度学习识别网络模型快速且精确地识别棉花顶心，从而提高了棉花顶心定位的精度，进而提高了棉花顶心摘除的精度和效率。

其次，根据棉花顶心在彩色图像中的像素坐标，以及所述深度图像数据，确定棉花顶心的三维空间位置信息，该三维空间位置信息用于棉花顶心摘除的定位机构进行定位，实现了对识别的棉花顶心进行三维空间定位，提高了棉花顶心定位的精度，进而提高了棉花顶心摘除的精度和效率。

具体实施时，为了提高定位精度，棉花顶心在彩色图像中的像素坐标可以是棉花顶心轮廓的中心像素坐标，也可以称作棉花顶心边框中心像素坐标(如图1中所示)。另外，后续提到的棉花顶心位置信息，都可以指的是棉花顶心轮廓的中心位置信息。

下面对该定位方法的各个步骤进行详细介绍。

第一，介绍上述步骤102中提到的预先训练生成深度学习识别网络模型的过程。

在一个实施例中，用于棉花顶心摘除的定位方法还包括按照如下方法训练所述深度学习识别网络模型：

获得待摘除顶心棉花植株样本，所述待摘除顶心棉花植株样本图片标记出棉花顶心区域；

将所述待摘除棉花植株样本划分为训练集和测试集；

利用所述训练集对所述深度学习识别网络模型进行初步训练；

利用所述测试集对初步训练好的深度学习识别网络模型性能进行测试，得到所述预先训练生成的深度学习识别网络模型。

具体实施时，通常采用高性能计算机训练深度学习识别网络模型，然后将训练好的深度学习识别网络模型部署在机器人(棉花顶心摘除装置)的定位控制器(详见下述实施例介绍)中，只作为目标预测。

具体实施时，待摘除顶心棉花植株样本包括各种情况下的样本，例如光照条件苛刻情况下的标注出棉花顶心区域的待摘除顶心棉花植株样本，这样经过大量的各种情况下的待摘除顶心棉花植株样本训练而生成的深度学习识别网络模型具有精确且快速的识别能力，将待摘除(待识别)顶心棉花植株的彩色图像数据输入该深度学习识别网络模型，从而可以快速且精确地识别出棉花顶心，后续再根据棉花顶心在彩色图像中的像素坐标，以及所述深度图像数据，确定棉花顶心的三维空间位置信息，对识别出的棉花顶心进行定位，进而提高了棉花顶心摘除的效率和精度。

第二，介绍对当前视场下对多个棉花顶心进行多目标管理，从而一一摘除所有棉花顶心的过程。

在一个实施例中，根据棉花顶心在彩色图像中的像素坐标，以及所述深度图像数据，确定棉花顶心的三维空间位置信息，包括：根据棉花顶心在彩色图像中的像素坐标，以及所述深度图像数据，确定棉花顶心相对于相机坐标系的三维空间位置信息；

所述用于棉花顶心摘除的定位方法还可以包括：对识别出的棉花顶心执行以下多目标处理操作：

在检测到有新的棉花顶心时，将新的棉花顶心目标与已经存在于一待摘除顶心目标集合(以下简称目标集合)中的已有棉花顶心目标进行匹配，获得相机运动估计，以当前相机位置为参考更新所有棉花顶心目标的三维空间位置信息，并将未存在于目标集合中的棉花顶心目标加入所述待摘除顶心目标集合中；

根据预先建立的相机坐标系与定位机构坐标系的变换关系，将目标集合中所有棉花顶心相对于相机坐标系的三维空间位置信息变换为相对于定位机构坐标系的三维空间位置信息；

根据待摘除顶心目标集合中所有棉花顶心相对于定位机构坐标系的三维空间位置信息，确定距离定位机构最近的棉花顶心，将距离定位机构最近的棉花顶心作为目标棉花顶心；

将所述目标棉花顶心的相对于定位机构坐标系的三维空间位置信息传输至定位机构的控制器；所述定位机构的控制器用于根据所述目标棉花顶心的三维空间位置信息，控制定位机构的末端执行器到达目标棉花顶心的位置；

在定位机构的末端执行器将目标棉花顶心摘除后，将所述目标棉花顶心作为已处理目标在所述待摘除顶心目标集合中删除；

继续所述目标处理操作，直到在定位机构的工作空间中不存在待摘除棉花顶心。

具体实施时，可以从一相机(例如RGBD相机)中获取待摘除顶心棉花植株的彩色图像数据和深度图像数据。可以通过一目标管理模块实现多目标棉花顶心管理，将识别出的棉花顶心位置信息加入到一待摘除顶心目标集合中，实现一边识别棉花顶心，一边对识别出的多个棉花顶心进行统一处理(管理)，即进行目标处理操作：首先，更新所有棉花顶心相对于相机坐标系的三维空间位置信息，由于相机是随着棉花顶心摘除装置运动的，实时更新所有棉花顶心相对于相机的位置信息，提高定位精度，其次，根据坐标变换后的所有棉花顶心距离定位机构的距离，确定距离定位机构最近的棉花顶心作为目标棉花顶心(定位机构下一个需要到达的棉花顶心位置)，提高了作业效率；最后，将该目标棉花顶心的相对于定位机构坐标系的三维空间位置信息传输至定位机构的控制器，这样定位机构的控制器就会根据所述目标棉花顶心的三维空间位置信息，控制定位机构的末端执行器到达目标棉花顶心的位置，执行棉花顶心摘除工作。如此循环下去，直到在定位机构的工作空间中不存在待摘除棉花顶心。由此可见，上述多目标管理的处理过程，不会出现漏打现象，保证棉花顶心摘除工作有条不紊地进行，提高了棉花植株顶心摘除的效率和精度。

具体实施时，根据待摘除顶心目标集合中所有棉花顶心相对于定位机构坐标系的三维空间位置信息，确定距离定位机构最近的棉花顶心，将距离定位机构最近的棉花顶心作为目标棉花顶心，可以包括：

确定所有棉花顶心是否都在定位机构的工作空间中；

在确定所有棉花顶心都在定位机构的工作空间中时，根据待摘除顶心目标集合中所有棉花顶心相对于定位机构坐标系的三维空间位置信息，计算在定位机构的工作空间中所有棉花顶心与定位机构的距离；

根据计算结果，确定距离定位机构最近的棉花顶心，将距离定位机构最近的棉花顶心作为目标棉花顶心。

本发明实施例提到的工作空间是定位机构的能够到达的安全区域，通过运动学反解计算目标是否在工作空间中的目的是：当不在工作空间的棉花顶心目标的位置发送给定位机构时，定位机构的末端无法到达。因此，上述确定棉花顶心是否在工作空间中及确定目标棉花顶心的过程，避免处理无法到达的棉花顶心目标。

下面介绍在对棉花顶心多目标管理过程中，通过目标匹配，实现机构运动估，进一步提高多目标处理效率的步骤。

在一个实施例中，在检测到有新的棉花顶心时，将新的棉花顶心目标与已经存在于一待摘除顶心目标集合中的已有棉花顶心目标进行匹配，获得相机运动估计，以当前相机位置为参考更新所有棉花顶心目标的三维空间位置信息，并将未存在于目标集合中的棉花顶心目标加入所述待摘除顶心目标集合中，可以包括：

在检测到有新的棉花顶心目标时，将新的棉花顶心目标与目标集合中的棉花顶心目标匹配，被匹配到的棉花顶心目标为已存在于目标集合中的棉花顶心目标，未被匹配到的棉花顶心目标包括：未存在于目标集合中的棉花顶心目标，以及目标集合中未被匹配到的棉花顶心目标；

根据已存在于目标集合中的棉花顶心的当前位置信息和对应于目标集合中的棉花顶心的位置信息，进行相机运动估计；

更新目标集合中被匹配到的棉花顶心目标的位置信息，根据相机运动估计，更新目标集合中未被匹配到的棉花顶心目标的位置信息，同时将未存在于目标集合中的棉花顶心目标加入所述目标集合中。

举一例子，例如新的棉花顶心目标包括：1、2、3、4，目标集合中棉花顶心目标包括：4、5、6、7，那么，被匹配到的棉花顶心目标，即已存在于目标集合中的棉花顶心目标为：4；未存在于目标集合中的棉花顶心目标为：1、2、3，以及目标集合中未被匹配到的棉花顶心目标为：5、6、7。

具体实施时，上述实施例提供方案的作用是：

(1)通过目标匹配，更新被匹配到的已有棉花顶心目标(已存在于目标集合中棉花顶心目标)的位置。

(2)通过运动估计，更新目标集合中未被当前视野检测的目标位置(未被匹配到的棉花顶心目标的位置信息)。

(3)加入被检测到的目标集合中没有的棉花顶心目标(未存在于目标集合中棉花顶心目标)的位置。

具体实施时，上述实施例提供方案的有益技术效果是：根据新的棉花顶心的与目标集合中已有的待摘除顶心匹配，获得相机运动估计，识别和定位功能(参加下述实施例介绍的识别单元和定位单元)与定位机构之间以目标管理模块(多目标处理操作或目标处理操作单元)为纽带，使目标识别和定位机构处理过程分离，提高了系统工作的稳定性，同时可以提高目标检出率，进一步提高了多目标处理效率，进而提高了棉花植株顶心摘除的质量。

第三，介绍用于棉花顶心摘除的装置的数目为多套时的目标处理过程。

在一个实施例中，用于棉花顶心摘除的定位方法，其特征在于，还可以包括：

在用于棉花顶心摘除的装置的数目为多套时，监测多套棉花顶心摘除的装置的工作状态；

根据监测结果，对所述多套棉花顶心摘除的装置进行调度处理。

具体实施时，为了提高作业效率，利用多套棉花顶心摘除装置进行并行作业摘除棉花顶心时，可以监测多套棉花顶心摘除装置的工作状态，据监测结果，对所述多套棉花顶心摘除的装置进行调度处理，例如：第一套摘除装置首先完成棉花摘除工作，那么这时可以调度该第一套摘除装置来帮助其他套摘除装置进行棉花摘除工作，提高作业效率。

下面再结合附图1至2，举一实例以说明本发明如何实施。

步骤1：从RGBD相机获取彩色图像数据和深度图像数据。

步骤2：将彩色图像数据输入至深度学习后端(经过训练的棉花顶心识别网络，即深度学习识别网络模型)，得到棉花顶心边框(轮廓)和边框所对应的目标是棉花顶心的可能性。

步骤3：计算所检测到的棉花顶心边框的中心像素坐标，匹配深度图像数据，获取棉花顶心的深度数据。通过彩色相机内参和深度数据计算边框中心坐标所对应的物理空间坐标，从而获得棉花顶心相对相机坐标系的三维空间表示，以此实现目标棉花顶心的三维空间定位。

步骤4：将当前探测到的棉花顶心位置信息送入目标管理模块(可以是一待摘除顶心目标集合)，将当前被检测的目标与已有目标匹配，获得相机运动估计，以当前相机位置为参考更新所有目标(待摘除棉花顶心)位置，并加入新探测到的目标到目标集合中。

步骤5：通过坐标变换将相对相机坐标系的棉花顶心位置变换到定位机构坐标系下。

步骤6：通过运动学反解，计算目标棉花顶心是否在定位机构的工作空间中，并计算在工作空间中的距离定位机构最近的棉花顶心位置。

步骤7：将步骤6所获得的棉花顶心位置(三维空间位置信息)输入定位机构的控制器，引导定位机构末端到达棉花顶心位置。等待完成操作，删除已处理目标。继续计算距离最近的目标，直到在定位机构的工作空间中不存在目标管理节点中的目标位置，定位机构停止接受定位指令(该定位指令，根据棉花顶心的三维空间位置信息生成)。

基于同一发明构思，本发明实施例中还提供了一种用于棉花顶心摘除的定位控制器，如下面的实施例。由于用于棉花顶心摘除的定位控制器解决问题的原理与上述用于棉花顶心摘除的定位方法相似，因此用于棉花顶心摘除的定位控制器的实施可以参考上述用于棉花顶心摘除的定位方法的实施，重复之处不再赘述。以下所使用的，术语“模块”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图3是本发明实施例中用于棉花顶心摘除的定位控制器的结构示意图，如图3所示，该定位控制包括：

获取单元01，用于获取待摘除顶心棉花植株的彩色图像数据和深度图像数据；

识别单元02，用于将所述彩色图像数据输入预先训练生成的深度学习识别网络模型，识别棉花顶心，获取棉花顶心在彩色图像中的像素坐标；所述深度学习识别网络模型根据多个待摘除顶心棉花植株样本预先训练生成；

定位单元03，用于根据棉花顶心在彩色图像中的像素坐标，以及所述深度图像数据，确定棉花顶心的三维空间位置信息；所述三维空间位置信息用于棉花顶心摘除的定位机构进行定位。

在一个实施例中，所述定位单元03具体可以用于：根据棉花顶心在彩色图像中的像素坐标，以及所述深度图像数据，确定棉花顶心相对于相机坐标系的三维空间位置信息；

如图4所示，所述用于棉花顶心摘除的定位控制器还可以包括：

目标处理操作单元05，用于对识别出的棉花顶心执行以下多目标处理操作；如图5所示，所述目标处理操作单元05可以包括：

更新模块051，用于在检测到有新的棉花顶心时，将新的棉花顶心目标与已经存在于一待摘除顶心目标集合中的已有棉花顶心目标进行匹配，获得相机运动估计，以当前相机位置为参考更新所有棉花顶心目标的三维空间位置信息，并将未存在于目标集合中的棉花顶心目标加入所述待摘除顶心目标集合中；

坐标变换模块052，用于根据预先建立的相机坐标系与定位机构坐标系的变换关系，将目标集合中所有棉花顶心相对于相机坐标系的三维空间位置信息变换为相对于定位机构坐标系的三维空间位置信息；

目标棉花顶心确定模块053，用于根据待摘除顶心目标集合中所有棉花顶心相对于定位机构坐标系的三维空间位置信息，确定距离定位机构最近的棉花顶心，将距离定位机构最近的棉花顶心作为目标棉花顶心；

传输模块054，用于将所述目标棉花顶心的相对于定位机构坐标系的三维空间位置信息传输至定位机构的控制器；所述定位机构的控制器用于根据所述目标棉花顶心的三维空间位置信息，控制定位机构的末端执行器到达目标棉花顶心的位置；

删除模块055，用于在定位机构的末端执行器将目标棉花顶心摘除后，将所述目标棉花顶心作为已处理目标在所述待摘除顶心目标集合中删除；

循环触发模块056，用于继续所述目标处理操作，直到在定位机构的工作空间中不存在待摘除棉花顶心。

在一个实施例中，所述更新模块051具体可以用于：

在检测到有新的棉花顶心目标时，将新的棉花顶心目标与目标集合中的棉花顶心目标匹配，被匹配到的棉花顶心目标为已存在于目标集合中的棉花顶心目标，未被匹配到的棉花顶心目标包括：未存在于目标集合中的棉花顶心目标，以及目标集合中未被匹配到的棉花顶心目标；

根据已存在于目标集合中的棉花顶心的当前位置信息和对应于目标集合中的棉花顶心的位置信息，进行相机运动估计；

更新目标集合中被匹配到的棉花顶心目标的位置信息，根据相机运动估计，更新目标集合中未被匹配到的棉花顶心目标的位置信息，同时将未存在于目标集合中的棉花顶心目标加入所述目标集合中。

在一个实施例中，上述用于棉花顶心摘除的定位控制器还可以包括训练单元，用于按照如下方法训练所述深度学习识别网络模型：

获得待摘除顶心棉花植株样本，所述待摘除顶心棉花植株样本图片标记出棉花顶心区域；

将所述待摘除棉花植株样本划分为训练集和测试集；

利用所述训练集对所述深度学习识别网络模型进行初步训练；

利用所述测试集对初步训练好的深度学习识别网络模型性能进行测试，得到所述预先训练生成的深度学习识别网络模型。

具体实施时，为了降低控制器成本，该训练单元可以不包括在定位控制器中，通常采用高性能计算机训练深度学习识别网络模型，然后将训练好的深度学习识别网络模型部署在该定位控制器中，只作为目标预测。

在一个实施例中，上述用于棉花顶心摘除的定位控制器还可以包括：

监测单元，用于在用于棉花顶心摘除的装置的数目为多套时，监测多套棉花顶心摘除的装置的工作状态；

调度单元，用于根据监测结果，对所述多套棉花顶心摘除的装置进行调度处理。

基于同一发明构思，本发明实施例中还提供了一种棉花顶心摘除装置，如下面的实施例。由于棉花顶心摘除装置解决问题的原理与上述用于棉花顶心摘除的定位方法及控制器相似，因此棉花顶心摘除装置的实施可以参考上述用于棉花顶心摘除的定位方法及控制器的实施，重复之处不再赘述。以下所使用的，术语“模块”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

如图6至图10所示，该摘除装置包括：

支架1；

相机4，设置在所述支架1上，用于获取待摘除顶心棉花植株的彩色图像数据和深度图像数据；

定位控制器7，该定位控制器7为如上述实施例所述的定位控制器，设置在所述支架1上；

定位机构5，设置在所述支架1上，用于根据所述定位控制器7发来的棉花顶心的三维空间位置信息到达棉花顶心的位置；

末端执行器6，设置在所述定位机构的机械臂末端，用于在定位机构机械臂末端到达棉花顶心的位置时，执行棉花顶心摘除动作。

具体实施时，如图6所示，可以通过相机固定架2将相机4固定在支架1上，可以通过定位机构固定架3将定位机构5固定在支架1上。另外，支架1还可以设置有供摘除装置使用的电源8。

具体实施时，如图11所示，本发明实施例中末端执行器可以包括：用于摘除棉花植株顶心的旋转刀片61，以及驱动该旋转刀片61转动的电机62。该旋转刀片61可以在摘除装置启动时一直运转。另外，为了节约能源，也可以在定位机构末端到达棉花顶心位置那一刻开启(该开启的动作可以有定位机构的控制来控制实现，也可以由定位控制器7来控制)。

在一实施例中，所述棉花顶心摘除装置的数目为多套；所述棉花顶心摘除装置还包括牵引设备，用于牵引多套棉花顶心摘除装置行进；

所述定位控制器还用于监测多套棉花顶心摘除装置的工作状态；根据监测结果，对多套棉花顶心摘除装置进行调度处理。

在一实施例中，所述定位机构为三自由度定位机构，所述相机为RGBD相机。

具体实施时，棉花顶心摘除装置中RGBD相机可以固定于固定架中点，其视场可以正对地面。定位机构固定于定位机构固定架处，定位机构三自由度机械臂(三自由度定位机构)实现将定位机构末端移动至定位机构工作空间的任意位置，到达定位机构在其工作空间上任意定位的目的，与现有技术中只执行大体上的上下一自由度的方式相比较，提高了定位精度，进而提高了棉花植株顶心摘除的精度。

本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行用于棉花顶心摘除的定位方法。

本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有执行用于棉花顶心摘除的定位方法的计算机程序。

本发明实施提供的技术方案的有益技术效果为：

1、本发明实施例采用深度学习技术来实现从彩色图像中进行棉花顶心识别(利用预先训练生成的深度学习识别网络模型识别棉花顶心)，其识别精度高达90％以上。

2、采用深度图像获取顶心边框中心所对应的深度值，通过相机内参计算棉花顶心在物理空间中的三维位置，其定位精度高，定位稳定。

3、用三自由度定位机构实现末端定位，其速度快，定位精度高，对棉花伤害小，打顶质量高，可与人工打顶媲美。

综上所述，本发明实施例提供的技术方案提高了棉花植株顶心摘除的效率和精度。

显然，本领域的技术人员应该明白，上述的本发明实施例的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明实施例不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (13)

1.一种用于棉花顶心摘除的定位方法，其特征在于，包括：

获取待摘除顶心棉花植株的彩色图像数据和深度图像数据；

将所述彩色图像数据输入预先训练生成的深度学习识别网络模型，识别棉花顶心，获取棉花顶心在彩色图像中的像素坐标；所述深度学习识别网络模型根据多个待摘除顶心棉花植株样本预先训练生成；

根据棉花顶心在彩色图像中的像素坐标，以及所述深度图像数据，确定棉花顶心的三维空间位置信息；所述三维空间位置信息用于棉花顶心摘除的定位机构进行定位。

2.如权利要求1所述的用于棉花顶心摘除的定位方法，其特征在于，根据棉花顶心在彩色图像中的像素坐标，以及所述深度图像数据，确定棉花顶心的三维空间位置信息，包括：根据棉花顶心在彩色图像中的像素坐标，以及所述深度图像数据，确定棉花顶心相对于相机坐标系的三维空间位置信息；

所述用于棉花顶心摘除的定位方法还包括：对识别出的棉花顶心执行以下多目标处理操作：

在检测到有新的棉花顶心时，将新的棉花顶心目标与已经存在于一待摘除顶心目标集合中的已有棉花顶心目标进行匹配，获得相机运动估计，以当前相机位置为参考更新所有棉花顶心目标的三维空间位置信息，并将未存在于目标集合中的棉花顶心目标加入所述待摘除顶心目标集合中；

根据预先建立的相机坐标系与定位机构坐标系的变换关系，将所有棉花顶心相对于相机坐标系的三维空间位置信息变换为相对于定位机构坐标系的三维空间位置信息；

根据待摘除顶心目标集合中所有棉花顶心相对于定位机构坐标系的三维空间位置信息，确定距离定位机构最近的棉花顶心，将距离定位机构最近的棉花顶心作为目标棉花顶心；

将所述目标棉花顶心的相对于定位机构坐标系的三维空间位置信息传输至定位机构的控制器；所述定位机构的控制器用于根据所述目标棉花顶心的三维空间位置信息，控制定位机构的末端执行器到达目标棉花顶心的位置；

在定位机构的末端执行器将目标棉花顶心摘除后，将所述目标棉花顶心作为已处理目标在所述待摘除顶心目标集合中删除；

继续所述目标处理操作，直到在定位机构的工作空间中不存在待摘除棉花顶心。

3.如权利要求2所述的用于棉花顶心摘除的定位方法，其特征在于，在检测到有新的棉花顶心时，将新的棉花顶心目标与已经存在于一待摘除顶心目标集合中的已有棉花顶心目标进行匹配，获得相机运动估计，以当前相机位置为参考更新所有棉花顶心目标的三维空间位置信息，并将未存在于目标集合中的棉花顶心目标加入所述待摘除顶心目标集合中，包括：

在检测到有新的棉花顶心目标时，将新的棉花顶心目标与目标集合中的棉花顶心目标匹配，被匹配到的棉花顶心目标为已存在于目标集合中的棉花顶心目标，未被匹配到的棉花顶心目标包括：未存在于目标集合中的棉花顶心目标，以及目标集合中未被匹配到的棉花顶心目标；

根据已存在于目标集合中的棉花顶心的当前位置信息和对应于目标集合中的棉花顶心的位置信息，进行相机运动估计；

更新目标集合中被匹配到的棉花顶心目标的位置信息，根据相机运动估计，更新目标集合中未被匹配到的棉花顶心目标的位置信息，同时将未存在于目标集合中的棉花顶心目标加入所述目标集合中。

4.如权利要求1所述的用于棉花顶心摘除的定位方法，其特征在于，还包括：

在用于棉花顶心摘除的装置的数目为多套时，监测多套棉花顶心摘除的装置的工作状态；

根据监测结果，对所述多套棉花顶心摘除的装置进行调度处理。

5.一种用于棉花顶心摘除的定位控制器，其特征在于，包括：

获取单元，用于获取待摘除顶心棉花植株的彩色图像数据和深度图像数据；

识别单元，用于将所述彩色图像数据输入预先训练生成的深度学习识别网络模型，识别棉花顶心，获取棉花顶心在彩色图像中的像素坐标；所述深度学习识别网络模型根据多个待摘除顶心棉花植株样本预先训练生成；

定位单元，用于根据棉花顶心在彩色图像中的像素坐标，以及所述深度图像数据，确定棉花顶心的三维空间位置信息；所述三维空间位置信息用于棉花顶心摘除的定位机构进行定位。

6.如权利要求5所述的用于棉花顶心摘除的定位控制器，其特征在于，所述定位单元具体用于：根据棉花顶心在彩色图像中的像素坐标，以及所述深度图像数据，确定棉花顶心相对于相机坐标系的三维空间位置信息；

所述用于棉花顶心摘除的定位控制器还包括：

目标处理操作单元，用于对识别出的棉花顶心执行以下多目标处理操作；所述目标处理操作单元包括：

更新模块，用于在检测到有新的棉花顶心时，将新的棉花顶心目标与已经存在于一待摘除顶心目标集合中的已有棉花顶心目标进行匹配，获得相机运动估计，以当前相机位置为参考更新所有棉花顶心目标的三维空间位置信息，并将未存在于目标集合中的棉花顶心目标加入所述待摘除顶心目标集合中；

坐标变换模块，用于根据预先建立的相机坐标系与定位机构坐标系的变换关系，将所有棉花顶心相对于相机坐标系的三维空间位置信息变换为相对于定位机构坐标系的三维空间位置信息；

目标棉花顶心确定模块，用于根据待摘除顶心目标集合中所有棉花顶心相对于定位机构坐标系的三维空间位置信息，确定距离定位机构最近的棉花顶心，将距离定位机构最近的棉花顶心作为目标棉花顶心；

传输模块，用于将所述目标棉花顶心的相对于定位机构坐标系的三维空间位置信息传输至定位机构的控制器；所述定位机构的控制器用于根据所述目标棉花顶心的三维空间位置信息，控制定位机构的末端执行器到达目标棉花顶心的位置；

删除模块，用于在定位机构的末端执行器将目标棉花顶心摘除后，将所述目标棉花顶心作为已处理目标在所述待摘除顶心目标集合中删除；

循环触发模块，用于继续所述目标处理操作，直到在定位机构的工作空间中不存在待摘除棉花顶心。

7.如权利要求6所述的用于棉花顶心摘除的定位控制器，其特征在于，所述更新模块具体用于：

在检测到有新的棉花顶心目标时，将新的棉花顶心目标与目标集合中的棉花顶心目标匹配，被匹配到的棉花顶心目标为已存在于目标集合中的棉花顶心目标，未被匹配到的棉花顶心目标包括：未存在于目标集合中的棉花顶心目标，以及目标集合中未被匹配到的棉花顶心目标；

根据已存在于目标集合中的棉花顶心的当前位置信息和对应于目标集合中的棉花顶心的位置信息，进行相机运动估计；

更新目标集合中被匹配到的棉花顶心目标的位置信息，根据相机运动估计，更新目标集合中未被匹配到的棉花顶心目标的位置信息，同时将未存在于目标集合中的棉花顶心目标加入所述目标集合中。

8.如权利要求5所述的用于棉花顶心摘除的定位控制器，其特征在于，还包括：

监测单元，用于在用于棉花顶心摘除的装置的数目为多套时，监测多套棉花顶心摘除的装置的工作状态；

调度单元，用于根据监测结果，对所述多套棉花顶心摘除的装置进行调度处理。

9.一种棉花顶心摘除装置，其特征在于，包括：

支架；

相机，设置在所述支架上，用于获取待摘除顶心棉花植株的彩色图像数据和深度图像数据；

如权利要求5至8任一所述的定位控制器，设置在所述支架上；

定位机构，设置在所述支架上，用于根据所述定位控制器发来的棉花顶心的三维空间位置信息到达棉花顶心的位置；

末端执行器，设置在所述定位机构的机械臂末端，用于在定位机构机械臂末端到达棉花顶心的位置时，执行棉花顶心摘除动作。

10.如权利要求9所述的棉花顶心摘除装置，其特征在于，所述棉花顶心摘除装置的数目为多套；所述棉花顶心摘除装置还包括牵引设备，用于牵引多套棉花顶心摘除装置行进；

所述定位控制器还用于监测多套棉花顶心摘除装置的工作状态；根据监测结果，对多套棉花顶心摘除装置进行调度处理。

11.如权利要求9所述的棉花顶心摘除装置，其特征在于，所述定位机构为三自由度定位机构，所述相机为RGBD相机。

12.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至4任一所述方法。

13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求1至4任一所述方法的计算机程序。