CN111587665B - 一种四自由度的多目视觉旋飞式采摘机器人及其采摘方法 - Google Patents

Abstract

本发明公开了一种四自由度的多目视觉旋飞式采摘机器人及其采摘方法。该采摘机器人包括无人机、采摘机构和多目视觉装置；所述采摘机构包括伸缩杆、采摘机械手；所述采摘机构和多目视觉装置安装在无人机上；无人机通过线缆或无线方式与工控机、电脑相连通，进行数据传输与系统控制。本发明实现了无人机与采摘机构的一体化设计，为四自由度的采摘机器人，可实现多方位的采摘，扩大采摘范围，提高采摘效率；设计的采摘机械手可以根据果实大小来动态改变三指的中指节的自由伸缩，提高机械手对果实的包容能力，适用性强。

Description

一种四自由度的多目视觉旋飞式采摘机器人及其采摘方法

技术领域

本发明涉及采摘机械领域，特别涉及一种四自由度的多目视觉旋飞式采摘机器人及其采摘方法。

背景技术

我国是水果生产和种植大国，果实采摘是重要环节。目前果实采摘主要是人工采摘，但是人工采摘的成本高、效率低，采摘过程常需要通过梯子等工具，具有一定的危险性。市场上也有一些采摘机器人，但很多果树种植在山区，而大多数的采摘机器人为陆地行走方式，难以适用于崎岖不平的山区果树采摘。

目前采摘机器人存在机体小、负载小、效率低、环境适应性差等问题，对采摘机器人的设计往往注重采摘方面的结构，而对于其是否能够适应采摘环境、功率能否达标等问题的关注相对较少；而且，在采摘精度方面，环境对于采摘精度的影响是不容小觑的，但是现有技术中较少针对此影响开展研究。

发明内容

本发明的目的在于克服现有技术中存在的缺点，提供一种四自由度的多目视觉旋飞式采摘机器人及其采摘方法，该采摘机器人具有四自由度、多目视觉和仿生机械手，超轻量级(总重约4KG左右)，采摘效率、采摘精度和环境适应能力高。

本发明的目的通过下述技术方案实现：

一种四自由度的多目视觉旋飞式采摘机器人，包括无人机1、采摘机构2和多目视觉装置4；所述采摘机构2和多目视觉装置4安装在无人机1上；无人机1通过线缆或无线方式与工控机3、电脑5相连通，进行数据传输与系统控制。

所述采摘机构2包括伸缩杆21、采摘机械手22。

所述伸缩杆21至少有三节，包括首节杆211、中节杆212和末节杆213，其中中节杆为一节以上，首节杆、中节杆和末节杆为阶梯式相互嵌套；首节杆的前端安装在无人机的机体内，末节杆的末端安装有采摘机械手。除末节杆不可伸缩外，其他杆均可伸缩。末节杆213上设置有防护罩214、节环215、弹簧216、滑动导件217和套杆218；所述防护罩为圆底圆锥体，小端装在末节杆的前端(即靠近中节杆一侧的方向)，大端罩住外露线路部分，且大端呈向内凹状，以防止树枝等障碍物破坏线路；所述节环215为空心圆柱体，材料为电磁体，焊接固定在末节杆的前端；所述滑动导件215c为宽空心圆柱体，材料为铁，可在末节杆上滑动；节环215与滑动导件217之间装有弹簧216；套杆218通过螺钉连接固定在末节杆的末端，用于限制滑动导件217的导程，套杆末端圆球体内装有压力传感器。

所述无人机的机体内装有伺服电机与丝杠传动机构，用于控制伸缩杆实现自动伸缩。所述伸缩杆的内部设有控制电路。所述末节杆与中节杆的连接处装有伺服电机，用于控制末节杆的旋转，以进行果实摘取和收获。

所述采摘机械手22包括三个手指，分别为上指、左指和右指；每个手指均包括首指节221、中指节222、末指节223，相邻指节之间铰接。所述首指节呈长方体，首指节的前端通过焊接固定在套杆末端圆球体内；首指节的末端与中指节的前端铰接，在铰接处左右两边装有扭转弹簧224固定架，所述固定架由两板一杆组成，杆穿过扭转弹簧。

所述中指节为自感知可伸缩式关节，呈多节式长方体，中指节的节数为两节以上，前节(靠近首指节的方向)比后节大，可根据需求来选取具体的节数；中指节的内部装有伺服电机和丝杠传动机构，可实现伸缩；中指节与滑动导件217之间连接有长杆225，长杆的前端装扣在滑动导件的后端上，长杆穿过首指节末端一侧设置的平键状孔，长杆的后端通过拉伸弹簧226与中指节的前端一节内侧相连，长杆的内部设有控制电路，用于控制采摘机械手内部的伺服电机实现采摘动作；中指节的末端一节为半圆键状；中指节的内表面存在粗糙纹理。拉伸弹簧的弹簧系数大于扭转弹簧的弹簧系数，保证拉伸弹簧处于拉伸状态时，扭转弹簧能够处于完全压迫状态。

所述末指节223的整体侧面呈镰刀状(镰刀呈120°～145°夹角)，末指节材料为橡胶，内侧曲面具有柔性，存在仿生不规则的粗糙弧形细纹理；末指节的前端(靠近中指节的方向)较厚，外表面平整，侧边呈弧形；末指节的末端较薄，外表面呈弧形，侧边平整，尖端较细(约为10°)，存在弹性。末指节的结构设计具有很好的导向性和柔韧性，既能疏导树枝等物体，又能防止果实变形，其镰刀状的结构很容易包裹果实，其内侧的粗糙弧形细纹理可以增加摩擦力，防止果实掉落。末指节与中指节的铰接处装有伺服电机，用于控制末指节的翻转。

所述左指的中指节的末端一节内装有距离传感器，用于果实采摘的检测。

所述无人机1为圆柱六工位型，每个工位均有支撑架11，支撑架为上下对称结构，每个支撑架呈十字交叉状，支撑架中间装有支撑杆，支撑杆的一端与旋转电机相连，六旋翼12安装在支撑杆上，旋转电机安装在无人机体内；六工位的每个工位之间相隔60°，各个工位之间互不干扰，可分别调整转速，实现无人机多种位姿，在复杂采摘环境中进行灵活避障。无人机1可以通过在其机体下方安装数据线缆13与工控机、电脑进行数据传输和系统控制，也可以通过设置无线设备(如蓝牙)与工控机、电脑进行数据传输和系统控制。无人机1的机体下方装有呈三角布置的支撑板14，用于在降落时起支撑作用。

所述无人机的六旋翼包括两个前旋翼、两个中旋翼、两个后旋翼，左右旋翼的旋转方向设计原则为左右相反、对角相同、中间旋翼相反。

本发明的采摘机器人在空间上具有四自由度，其中两个自由度通过无人机实现：①中旋翼保持匀转速，当前旋翼与后旋翼的转速上形成差异后，实现无人机俯仰运动；②前旋翼和后旋翼保持匀转速，当中旋翼的左右在转速上形成差异后，实现无人机摇摆运动。另外两个自由度通过采摘机构实现：①伸缩杆的伸缩，驱动方式为无人机体内的伺服电机和丝杠传动机构；②伸缩杆的旋转，驱动方式为伸缩杆的中节杆与末节杆连接处内部的伺服电机。

所述多目视觉装置4包括三个摄像头，分别是中间的监控相机41(用于远程监控)、左右两边的定位相机42(用于远程立体定位)，共同用于飞行过程中的图像采集、以及无人机与采摘点位置的测算。

所述采摘机器人安装有多个压力传感器和距离传感器，用于实时反馈采摘机器人与环境的交互信息，包括：(1)所述无人机的上方安装有距离传感器，用于实时检测采摘机器人上方的障碍物，当无人机上方出现无法穿过的障碍，距离传感器发出后退信号，无人机进行后退，重新进行果实定位；(2)所述无人机的左右两边对称安装有距离传感器，用于实时检测采摘机器人左右两侧的障碍物，当无人机左右两侧出现过近的障碍物时，距离传感器发送偏移信号，无人机朝反方向偏移一定距离(该距离一般较小，用于无人机的位置微调)；(3)所述套杆末端圆球体内装有压力传感器，左指的中指节的末端一节内装有距离传感器，这两个传感器共同作用，实现采摘抓取的完成，采摘机器人根据多目视觉装置定位果实后，采摘机械手慢慢逼近果实，等果实触碰套杆上的压力传感器且压力达到阈值后，才进行采摘抓取的动作，在完成该动作后，左指上的距离传感器进行检测(检测距离在阈值范围内，若检测距离过大，则说明果实过小，所测距离为左指与右指之间的横向距离；若检测距离过小，则说明果实过大，果实与左指横向距离很近)，并根据检测结果来调节中指节的长度，再次进行采摘抓取动作，如此反复，直到最终距离传感器所测距离在阈值内。

所述多目视觉装置与多个传感器共同组成检测系统，用于进行果实识别、环境检测、采摘条件判断、采摘动作调整等作用。

所述工控机与电脑实现数字化控制，通过多条数据线缆(或无线蓝牙装置)控制多台采摘机器人进行工作，提高采摘效率。

所述采摘机构的动作包括采摘抓取、采摘伸展、采摘收获，具体如下：

(1)采摘抓取：在进行采摘抓取前要先达到采摘条件，即根据检测系统判断是否可以采摘，如果不行，则需要调节中指节长度；如果可以，则导线通电，节环得电，节环对滑动导件产生电磁力，滑动导件前端压缩弹簧靠近节环，滑动导件后端的长杆跟随滑动导件移动，长杆的后端与拉伸弹簧的一端相连，拉伸弹簧的另一端与中指节的前节相连，拉伸弹簧拉动中指节，中指节内翻，压迫扭转弹簧，再控制末指节内翻，完成采摘抓取动作；

(2)采摘伸展：导线断电，节环失电，节环失去电磁力，滑动导件在压缩弹簧的反作用力下，其前端远离节环，长杆失去拉力，拉伸弹簧失去拉伸状态，扭转弹簧发挥作用，使中指节归位，同时滑动导件被套杆限制滑动，控制末指节外翻归位，完成采摘伸展工作；

(3)采摘收获：①在采摘抓取前，需要将机械手的三指置于合适的位置，即上指在下方，三指呈倒三角形，通过末节杆与中节杆连接处的伺服电机进行控制；②当完成采摘抓取后，控制伺服电机使末节杆能够左右反复旋转，使得果实果梗分离，待果梗分离后，同样需要调整伺服电机，使三指呈正三角形，再进行采摘伸展动作，使得果实顺利入筐。

一种四自由度的多目视觉旋飞式采摘机器人的采摘方法，包括下述步骤：

(1)位置初始化：首先采用基于视觉的自动识别果实方法，识别出果实，以自身原始位置(采摘机械手的中心位置)O为参考，O设为无人机在地面的初始位置，通过定位相机测定来获取收获位置Z，通过双目测距技术计算得到果实的三维空间坐标A₁，即相对于O位置的三维空间坐标；然后通过坐标转换规则将果实的坐标转化为无人机水平、竖直、前后方向的移动距离(X，Y，Z)，由于所获得的距离为目标距离，所以需要加上阈值用于无人机的缓动距离δ，即最后的移动距离为

(2)靠近目标点：根据所获得的竖直方向相对于无人机初始位置的距离无人机先上升，到达指定距离后，根据所获得的水平方向的距离/>以及前后方向的距离/>无人机依次进行运动，直至到达指定位置；

(3)实时检测：无人机起飞时，实时获取监控相机与目标位置的距离，在获取目标果实位置后，返回果实位置T₁，将T₁投影在定位相机坐标系平面上得到投影位置T′₁；计算T′₁与T₁实际距离|T′₁T₁|，当距离|T′₁T₁|小于所设安全距离σ(σ的取值范围为安全距离，为10cm～15cm)时，无人机自动悬停，避免速度过快砸到果实，接着无人机再次缓慢靠近果实，直到压力传感器检测到距离小于所设阈值ρ时(根据不同果实来设定阈值ρ)，则无人机悬停，此时左指的距离传感器开始工作，根据检测的距离τ进行下述判断：

①当(t为左指和右指的中指节之间的距离)时，说明果实过小，中指节过长，判断为中指节需要缩短；

②当时(根据不同果实来设定α值)，说明果实过大，中指节过短，判断为中指节需要伸长；

③当时，说明果实被包围在采摘机械手内，且果实末端只有一小部分被检测到，这符合果实的正常采摘情况，判断为中指节无需运动；

(4)根据不同的检测判断，传回检测系统，进而控制中指节的伸长、收缩和不变化；等距离判断完毕后，节环通电，弹簧被压缩，滑动导杆带动长杆，长杆带动中指节，采摘机械手三指瞬间收拢，通过控制中指节与末指节铰接处的伺服电机使得末指节内翻，实现采摘抓取动作；此时打开控制伸缩杆旋转的伺服电机进行正反转，模拟人手旋转摘取果实，完成采摘抓取，待果梗分离后，无人机向后移动，到达收获位置Z；

(5)等无人机到达收获位置时，进行采摘伸展动作：节环断电，弹簧作用滑动导件，采摘机械手三指瞬间张开，同时控制伺服电机使末指节瞬时张开，果实落入框中，完成一次果实的采摘。

步骤(1)中，所述基于视觉的自动识别果实方法，包括下述步骤：

(1)通过定位相机获取果实的彩色图像；

(2)将彩色图像进行二值化，转为灰度图，即将彩色图像的每个像素点R、G、B值分别乘以不同权值得到此像素点的灰度值：

权值：X＝(R-G) (1)

式中：R--色度；G--纯度；X--灰度化后图像的灰度值即权重

(3)通过邻域平均滤波去除图像噪声；

(4)通过阈值分割法进行图像分割，选择恰当阈值来区分图像的背景和目标，得到二值化图像：

式中：f(x，y)--图像处理前的(x，y)像素点处的灰度值；

g(x，y)--图像处理后的(x，y)像素点处的灰度值；

γ--图像的分割阈值

通过试验样本，选用固定阈值分割法，进行图像分割；

(5)通过Sobel梯度算法使得图像边缘轮廓突出显示，通过梯度算子差分法使得图像纹理突出；

(6)若(4)中灰度值没有高于选取的固定阈值，说明此区域无果实，重新选定区域进行果实搜索。

本发明与现有技术相比具有如下优点和效果：

(1)本发明实现了无人机与采摘机构的一体化设计，为四自由度的采摘机器人，可实现多方位的采摘，扩大采摘范围，提高采摘效率；增加了采摘的灵活性；

(2)本发明设计的无人机为圆柱形旋翼内置式六工位型无人机，可以适用于复杂的采摘环境，避障能力强；

(3)本发明设计的采摘机械手可以根据果实大小来动态改变三指的中指节的自由伸缩，提高机械手对果实的包容能力，适用性强；采摘机械手的中指节和末指节均有一定的粗糙度，类似人手皮肤，采用自适应材料减少对果实损伤；

(4)本发明采用多目视觉装置与多个传感器组成检测系统，能够很好的实现果实识别、环境检测以及采摘条件的判断，为自动化果实采摘提供保障。

附图说明

图1为采摘机器人的结构示意图。

图2为采摘机构的结构示意图。

图3为采摘机械手的首指节与中指节连接处的局部放大示意图。

图4为无人机的剖视图1。

图5为无人机的剖视图2。

图6为正常采摘示意图。

图7为不同距离和角度情况的采摘示意图。

图8为适应不同果实大小的采摘示意图。

图9为果实夹持的采摘示意图。

图10为采摘状态示意图。

图11为收获状态示意图。

图中，

1、无人机；11、支撑架；12、六旋翼；13、数据线；14、支撑板；

2、采摘机构；21、伸缩杆；211、首节杆；212、中间杆；213、末节杆；214、防护罩；215、节环；216、弹簧；217、滑动导件；218、套杆；

22、采摘机械手；221、首指节；222、中指节；223、末指节；224、扭转弹簧；225、长杆；226、拉伸弹簧；

3、工控机；4、多目视觉装置；41、监控相机；42、定位相机；5、电脑。

具体实施方式

下面将结合附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明，若本发明实施例中有涉及方向性指示(诸如上、下、左、右、前、后……)，则该方向性指示仅用于解释在某一特定姿态下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。

另外，若本发明实施例中有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。

实施例1

一种四自由度的多目视觉旋飞式采摘机器人，如图1所示，包括无人机1、采摘机构2和多目视觉装置4；所述采摘机构2和多目视觉装置4安装在无人机1上；无人机1通过线缆或无线方式与工控机3、电脑5相连通，进行数据传输与系统控制。

所述采摘机构2包括伸缩杆21、采摘机械手22，如图2所示。所述伸缩杆21至少有三节，包括首节杆211、中节杆212和末节杆213，其中中节杆为一节以上，首节杆、中节杆和末节杆为阶梯式相互嵌套；首节杆的前端安装在无人机的机体内，末节杆的末端安装有采摘机械手。除末节杆不可伸缩外，其他杆均可伸缩。末节杆213上设置有防护罩214、节环215、弹簧216、滑动导件217和套杆218；所述防护罩为三角圆底圆锥体，小端装在末节杆的前端(即靠近中节杆一侧的方向)，大端罩住外露线路部分，且大端呈向内凹状，以防止树枝等障碍物破坏线路；所述节环215为空心圆柱体，材料为电磁体，焊接固定在末节杆的前端；所述滑动导件215c为宽空心圆柱体，材料为铁，可在末节杆上滑动；节环215与滑动导件217之间装有弹簧216；套杆218通过螺钉连接固定在末节杆的末端，用于限制滑动导件217的导程，套杆末端圆球体内装有压力传感器。

如图2和图3所示，所述采摘机械手22包括三个手指，分别为上指、左指和右指；每个手指均包括首指节221、中指节222、末指节223，相邻指节之间铰接。所述首指节呈长方体，首指节的前端通过焊接固定在套杆末端圆球体内；首指节的末端与中指节的前端铰接，在铰接处左右两边装有扭转弹簧224固定架，所述固定架由两板一杆组成，杆穿过扭转弹簧。所述中指节呈多节式长方体，中指节的节数为两节以上，前节(靠近首指节的方向)比后节大，可根据需求来选取具体的节数；中指节的内部装有伺服电机和丝杠传动机构，可实现伸缩；中指节与滑动导件217之间连接有长杆225，长杆的前端装扣在滑动导件的后端上，长杆穿过首指节末端一侧设置的平键状孔，长杆的后端通过拉伸弹簧226与中指节的前端一节内侧相连，长杆的内部设有控制电路，用于控制采摘机械手内部的伺服电机实现采摘动作；中指节的末端一节为半圆键状；中指节的内表面存在粗糙纹理。拉伸弹簧的弹簧系数大于扭转弹簧的弹簧系数，保证拉伸弹簧处于拉伸状态时，扭转弹簧能够处于完全压迫状态。所述末指节223的整体侧面呈镰刀状(镰刀呈120°～145°夹角)，末指节材料为橡胶，内侧曲面具有柔性，存在仿生不规则的粗糙弧形细纹理；末指节的前端(靠近中指节的方向)较厚，外表面平整，侧边呈弧形；末指节的末端较薄，外表面呈弧形，侧边平整，尖端较细(约为10°)，存在弹性。末指节的结构设计具有很好的导向性和柔韧性，既能疏导树枝等物体，又能防止果实变形，其镰刀状的结构很容易包裹果实，其内侧的粗糙弧形细纹理可以增加摩擦力，防止果实掉落。末指节与中指节的铰接处装有伺服电机，用于控制末指节的翻转。所述左指的中指节的末端一节内装有距离传感器，用于果实采摘的检测。

如图4和图5所示，所述无人机1为圆柱六工位型，每个工位均有支撑架11，支撑架为上下对称结构，每个支撑架呈十字交叉状，支撑架中间装有支撑杆，支撑杆的一端与旋转电机相连，六旋翼12安装在支撑杆上，旋转电机安装在无人机体内；六工位的每个工位之间相隔60°，各个工位之间互不干扰，可分别调整转速，实现无人机多种位姿，在复杂采摘环境中进行灵活避障。无人机1可以通过在其机体下方安装数据线缆13与工控机、电脑进行数据传输和系统控制，也可以通过设置无线设备(如蓝牙)与工控机、电脑进行数据传输和系统控制。无人机1的机体下方装有呈三角布置的支撑板14，用于在降落时起支撑作用。

所述无人机的主体呈圆柱形，半径35cm，其优点是：1.体量大：内部空间大，有利于线路布置；2.环境适应性好：大多数无人机是旋翼外露式，在无障碍物的区域可以很好飞行，但是难以在山林等复杂环境下进行作业，而本发明设计的无人机圆柱形导向性好，可以更好的适应环境；3.六旋翼且为内置式：由于体量较大，负载会比小型无人机更多，所以采用六旋翼来增大功率；内置是指六旋翼被支撑架保护在机体内部，以保证在复杂环境下采摘工作的顺利进行。

所述无人机的每个六旋翼所在工位半径15cm，六旋翼包括两个前旋翼、两个中旋翼、两个后旋翼，左右旋翼的旋转方向设计原则为左右相反、对角相同、中间旋翼相反。

所述多目视觉装置4包括三个摄像头，分别是中间的监控相机41(用于远程监控)、左右两边的定位相机42(用于远程立体定位)，共同用于飞行过程中的图像采集、以及无人机与采摘点位置的测算。

实施例2

如图6所示，基于四自由度的多目视觉的旋飞式采摘机器人，在采摘过程中，首先无人机1在陆地上，记录初始位置，通过测定获取收获位置Z，通过定位相机42获取果实图像，进行位置初始化；再打开采摘手的伸缩杆21，全部伸展，打开伺服电机，旋转末节杆213，带动采摘机械手22，使采摘机械手三指呈倒三角状(如图10所示的采摘状态)，并通过导线，使节环215断电，即可使得弹簧216挤压滑动导件217，进而抵住长杆225，中指节222向外翻转，此时，通过长杆内部导线，控制中指节的全部伸展，末指节223外翻，即可完成采摘伸展动作。接着工控机3启动六旋翼12，无人机不断靠近果实，期间监控相机41实时计算距离，当监控相机所获取的距离小于预设值σ(30-50cm)时，控制无人机缓慢靠近果实，直到果实触碰到套杆218的圆球末端上的压力传感器，与此同时，节环通电，电磁力将滑动导件吸向节环，压迫弹簧，进而长杆带动中指节将采摘手的三指收向内部，末指节内翻，将果实紧紧卡在三指内部，完成果实抓取后，驱动伸缩杆的末节杆213内部的伺服电机，末节杆带动套杆使采摘机械手左右摇拽，辅助果梗分离；最后无人机飞至收获位置Z，进行采摘收获动作中的②动作：末节杆的伺服电机旋转，使得采摘手呈正三角状(如图11所示的收获状态)；接着进行采摘伸展动作：节环断电，控制中指节伸展，末指节打开，采摘手与果实瞬时分离，果实掉入收集筐中，完成一次采摘工作；当再次进行果实采摘时，进行采摘收获动作的动作①：末节杆的伺服电机旋转，使得采摘手三指呈倒三角状(如图10所示的采摘状态)，并且通过定位相机42获取下一个果实的采摘点。在采摘过程中，当无法获取果实图像时，说明该范围内的果实已经采摘完毕或者无果实，即可通过调整各个旋翼12的转速，操控无人机改变位姿，使得定位相机获取更大的视野，从而得到果实图像。当果实采摘完毕后，控制无人机返回起始点O，与此同时收回伸缩杆，节环断电，完成采摘伸展动作，通过无人机下方的支撑板14让无人机慢慢降落。

实施例3

如图7所示，图7中的b图为采摘下方果实，当要重新采摘上面的果实，无需重复定位，直接在原来的位置上，降低后旋翼转速，提高前旋翼转速，中旋翼速度不变，无人机位姿发生改变，完成后仰动作，伸缩杆伸长，即可够到上方果实，即图7中的a图位姿。在此过程中的主要采摘操作均与实施例2相同。

实施例4

如图8所示，当果实出现如图情况，图8中的b图果实较图8中的a图果实大，故本发明效仿蚯蚓爬行方式，通过将中指节设计成自感知可伸缩式关节，由检测系统完成果实大小检测，进行控制指节伸缩，而且中指节可根据需求设计出3节式、4节式、甚至5节式的中指节来满足不同大小果实的采摘情况；当出现图8中的b图果实时，中指节伸长(伸长方式见实施例2)；当出现图8中的a图果实时，中指节缩短(收缩方式见实施例2)。在此过程中的主要采摘操作均与实施例2相同。

实施例5

如图9所示，当果实进入采摘范围后，有时由于果实大小、粗糙度等因素的影响，仅仅依靠三指向内弯曲还无法将果实采摘成功，果实可能因为过大或过小导致无法全部包裹，从而发生掉落，基于此，本发明的末指节可通过伺服电机，绕铰接处旋转，如图9中的b所示，当果实处于待夹紧状态时，末指节绕与中指节的连接处进行旋转，来夹紧果实，从而保证在果实收获状态下落果，实现图9中的a效果。在此过程中的主要采摘操作均与实施例2相同。

以上所述仅为本发明的实施例，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均为等效的置换方式，都包含在本发明的保护范围之内。

Claims (5)

1.一种四自由度的多目视觉旋飞式采摘机器人，其特征在于：包括无人机、采摘机构和多目视觉装置；所述采摘机构包括伸缩杆、采摘机械手；所述采摘机构和多目视觉装置安装在无人机上；无人机通过线缆或无线方式与工控机、电脑相连通，进行数据传输与系统控制；所述伸缩杆至少有三节，包括首节杆、中节杆和末节杆，其中中节杆为一节以上，首节杆、中节杆和末节杆为阶梯式相互嵌套；首节杆的前端安装在无人机的机体内，末节杆的末端安装有采摘机械手；末节杆上设置有防护罩、节环、弹簧、滑动导件和套杆；所述防护罩为圆底圆锥体，小端装在末节杆的前端，大端罩住外露线路部分，且大端呈向内凹状；所述节环为空心圆柱体，材料为电磁体，焊接固定在末节杆的前端；所述滑动导件为宽空心圆柱体，材料为铁，可在末节杆上滑动；节环与滑动导件之间装有弹簧；套杆通过螺钉连接固定在末节杆的末端，用于限制滑动导件的导程；所述采摘机械手包括三个手指，分别为上指、左指和右指；每个手指均包括首指节、中指节、末指节，相邻指节之间铰接；所述首指节呈长方体，首指节的前端通过焊接固定在套杆末端圆球体内；首指节的末端与中指节的前端铰接，在铰接处左右两边装有扭转弹簧固定架，所述固定架由两板一杆组成，杆穿过扭转弹簧；所述中指节为自感知可伸缩式关节，呈多节式长方体，中指节的节数为两节以上，前节比后节大，可根据需求来选取具体的节数；中指节的内部装有伺服电机和丝杠传动机构，可实现伸缩；中指节与滑动导件之间连接有长杆，长杆的前端装扣在滑动导件的后端上，长杆穿过首指节末端一侧设置的平键状孔，长杆的后端通过拉伸弹簧与中指节的前端一节内侧相连，长杆的内部设有控制电路，用于控制采摘机械手内部的伺服电机实现采摘动作；中指节的末端一节为半圆键状；中指节的内表面存在粗糙纹理；所述中指节与末指节铰接处装有伺服电机，用于控制末指节的翻转动作；所述末指节的整体侧面呈镰刀状，末指节材料为橡胶，内侧曲面具有柔性，存在仿生不规则的粗糙弧形细纹理；末指节的前端较厚，外表面平整，侧边呈弧形；末指节的末端较薄，外表面呈弧形，侧边平整，尖端较细，存在弹性；所述无人机为圆柱六工位型，每个工位均有支撑架，支撑架为上下对称结构，每个支撑架呈十字交叉状，支撑架中间装有支撑杆，支撑杆的一端与旋转电机相连，六旋翼安装在支撑杆上，旋转电机安装在无人机体内；六工位的每个工位之间相隔60°，各个工位之间互不干扰，可分别调整转速，实现无人机多种位姿；所述无人机的六旋翼包括两个前旋翼、两个中旋翼、两个后旋翼，左右旋翼的旋转方向设计原则为左右相反、对角相同、中间旋翼相反。

2.根据权利要求1所述的多目视觉旋飞式采摘机器人，其特征在于：所述多目视觉装置包括三个摄像头，分别是中间的监控相机、左右两边的定位相机。

3.根据权利要求1所述的多目视觉旋飞式采摘机器人，其特征在于：所述采摘机器人安装有多个压力传感器和距离传感器，用于实时反馈采摘机器人与环境的交互信息，包括：所述无人机的上方安装有距离传感器；所述无人机的左右两边对称安装有距离传感器；所述套杆末端圆球体内装有压力传感器，左指的中指节的末端一节内装有距离传感器。

4.一种权利要求1-3中任一项所述的四自由度的多目视觉旋飞式采摘机器人的采摘方法，其特征在于包括下述步骤：

(1)位置初始化：首先采用基于视觉的自动识别果实方法，识别出果实，以自身原始位置即采摘机械手的中心位置O为参考，O设为无人机在地面的初始位置，通过定位相机测定来获取收获位置Z，通过双目测距技术计算得到果实的三维空间坐标A1，即相对于O位置的三维空间坐标；然后通过坐标转换规则将果实的坐标转化为无人机水平、竖直、前后方向的移动距离(X，Y，Z)，由于所获得的距离为目标距离，所以需要加上阈值用于无人机的缓动距离δ，即最后的移动距离为

(2)靠近目标点：根据所获得的竖直方向相对于无人机初始位置的距离无人机先上升，到达指定距离后，根据所获得的水平方向的距离/>以及前后方向的距离/>无人机依次进行运动，直至到达指定位置；

(3)实时检测：无人机起飞时，实时获取监控相机与目标位置的距离，在获取目标果实位置后，返回果实位置T₁，将T₁投影在定位相机坐标系平面上得到投影位置T′₁；计算T′₁与T₁实际距离|T′₁T₁|，当距离|T′₁T₁|小于所设安全距离σ时，无人机自动悬停，避免速度过快砸到果实，接着无人机再次缓慢靠近果实，直到压力传感器检测到距离小于所设阈值ρ时，则无人机悬停，此时左指的距离传感器开始工作，根据检测的距离τ进行下述判断：

①当时，说明果实过小，中指节过长，判断为中指节需要缩短，t为左指和右指的中指节之间的距离；

②当时，说明果实过大，中指节过短，判断为中指节需要伸长；

③当时，说明果实被包围在采摘机械手内，且果实末端只有一小部分被检测到，这符合果实的正常采摘情况，判断为中指节无需运动；

(4)根据不同的检测判断，传回检测系统，进而控制中指节的伸长、收缩和不变化；等距离判断完毕后，节环通电，弹簧被压缩，滑动导杆带动长杆，长杆带动中指节，采摘机械手三指瞬间收拢，通过控制中指节与末指节铰接处的伺服电机使得末指节内翻，实现采摘抓取动作；此时打开控制伸缩杆旋转的伺服电机进行正反转，模拟人手旋转摘取果实，完成采摘抓取，待果梗分离后，无人机向后移动，到达收获位置Z；

(5)等无人机到达收获位置时，进行采摘伸展动作：节环断电，弹簧作用滑动导件，采摘机械手三指瞬间张开，同时控制伺服电机使末指节瞬时张开，果实落入框中，完成一次果实的采摘。

5.根据权利要求4所述的四自由度的多目视觉旋飞式采摘机器人的采摘方法，其特征在于：所述基于视觉的自动识别果实方法，包括下述步骤：

(1)通过定位相机获取果实的彩色图像；

(2)将彩色图像进行二值化，转为灰度图，即将彩色图像的每个像素点R、G、B值分别乘以不同权值得到此像素点的灰度值：

权值：X＝(R-G) (1)

式中：R--色度；G--纯度；X--灰度化后图像的灰度值即权重

(3)通过邻域平均滤波去除图像噪声；

(4)通过阈值分割法进行图像分割，选择恰当阈值来区分图像的背景和目标，得到二值化图像：

式中：f(x，y)--图像处理前的(x，y)像素点处的灰度值；

g(x，y)--图像处理后的(x，y)像素点处的灰度值；

γ--图像的分割阈值

通过试验样本，选用固定阈值分割法，进行图像分割；

(5)通过Sobel梯度算法使得图像边缘轮廓突出显示，通过梯度算子差分法使得图像纹理突出；

(6)若(4)中灰度值没有高于选取的固定阈值，说明此区域无果实，重新选定区域进行果实搜索。