CN105773614B - 一种基于双目视觉的空间降维果实采摘顺序规划系统及方法 - Google Patents

Abstract

一种基于双目视觉的空间降维果实采摘顺序规划系统及方法，包括平台支架板，平台支架板上设置有第二电机旋转支架，第二电机旋转支架上设置有第二电机，第二电机顶部设置有转动机构，转动机构上设置有第三电机，第三电机支架顶部设置有能够旋转的第四电机，第四电机顶部设置有能够旋转的双目相机；第二电机下方设置第二陀螺仪，第三电机下方设置有第三陀螺仪，第四电机下方设置有第四陀螺仪，双目相机上设置有第五陀螺仪；运动控制器与第二电机、第三电机、第四电机相连。本发明采用一种空间降维方法，先将采摘目标进行空间降维处理使其在二维平面上，并采用模拟退火算法将二维平面上的待采摘果实进行最优采摘顺序规划，提高了作业效率。

Description

一种基于双目视觉的空间降维果实采摘顺序规划系统及方法

技术领域

本发明属于采摘机器人果实采摘领域，涉及一种基于立体视觉目标识别定位，具体涉及一种基于双目视觉的空间降维果实采摘顺序规划系统及方法。

背景技术

随着科技的不断进步，特别是智能化机械设备的研发，以及设备中各种机械零部件产品、传感设备、动力设备等的普及，为了更好的实现农业的精耕细作，带有操作机械臂的智能农业机械得到了广泛的研制。如日本的生研机构和日本精工开发的草莓采摘机械手、冈山大学的移动式番茄采摘机械手等；国内的中国农业大学研发的棉花采摘、番茄采摘和黄瓜收割机械手等。在这些采摘机器人中，主要以如何实现采摘目标识别定位及控制机械手末端执行机构进行采摘为主。

现有的采摘作业技术中，主要集中在如何使采摘机械臂无碰撞的对目标果实进行采摘任务，而缺乏对整体采摘果实的顺序规划。为了提高作业效率使机械臂能以最优的路径遍历完可采摘区域内的果实，需要对果实的最优采摘顺序进行合理规划。

发明内容

为克服现有技术中的问题，本发明的目的在于提供一种基于双目视觉的空间降维果实采摘顺序规划系统及方法，采用该方法能够使机械臂能以最优的路径遍历完可采摘区域内的果实，提高作业效率。

为实现上述目的，本发明采用如下的技术方案：

一种基于双目视觉的空间降维果实采摘顺序规划系统，包括平台支架板，平台支架板上设置有第一陀螺仪、运动控制器和第二电机旋转支架，第二电机旋转支架上设置有第二电机支架，第二电机支架内设置有第二电机，第二电机顶部设置有第三电机旋转支架，第三电机旋转支架上设置有转动机构，转动机构上设置有第三电机支架，第三电机支架内设置有第三电机，第三电机支架顶部设置有能够旋转的第四电机，第四电机顶部设置有能够旋转的双目相机；其中，第二电机下方设置第二陀螺仪，第三电机下方设置有第三陀螺仪，第四电机下方设置有第四陀螺仪，双目相机上设置有第五陀螺仪；运动控制器与第二电机、第三电机、第四电机相连。

所述平台支架板下方设置有平台底座，平台底座上表面对称设置有第一45°连接件和第二45°连接件，平台支架板下表面对称设置有第三45°连接件和第四45°连接件，第一45°连接件和第三45°连接件之间、第二45°连接件和第四45°连接件之间均设置有钢丝绳减震器。

所述平台支架板下表面还设置有第一电机以及与第一电机、第二电机、第三电机、第四电机相连的驱动器。

所述转动机构包括设置在第三电机旋转支架上的第一旋转轴和第一螺旋齿轮组，第一螺旋齿轮组固定在第一旋转轴和第二电机上，第三电机支架设置在第一旋转轴上。

所述第三电机支架上设置有第四电机旋转支架，第四电机旋转支架上设置有第四电机支架，第四电机设置在第四电机支架内。

所述第四电机支架上设置有第二旋转齿轮组和双相相机支架，第二旋转齿轮组设置在第四电机和第二旋转轴上，双相相机支架设置在第二旋转轴上。

所述双相相机支架上还设置有相机固定框，双目相机设置在相机固定框内。

所述相机固定框上设置有传感器安装板，第五陀螺仪设置在传感器安装板上。

所述第一陀螺仪、运动控制器位于第二电机旋转支架两侧；

所述第二电机旋转支架上设置有第二电机支架，第二电机设置在第二电机支架上。

一种基于双目视觉的空间降维果实采摘顺序规划方法，包括以下步骤：

1)运动控制器获取第一陀螺仪、第二陀螺仪的位姿，同时给驱动器发送指令控制第一电机旋转运动，直到第二陀螺仪的状态与第一陀螺仪一致则第一电机停止转动；

2)运动控制器获取第三陀螺仪的位姿，并给驱动器发送指令控制第二电机旋转运动，通过第一螺旋齿轮组使第一旋转轴做旋转运动，当第三陀螺仪位姿为水平时第二电机停止运动；

3)运动控制器获取第四陀螺仪的位姿，同时给驱动器发送指令控制第三电机旋转运动，直到第四陀螺仪的状态与采摘所需方向一致时候第三电机停止转动；

4)运动控制器获取第五陀螺仪的位姿，并给驱动器发送指令控制第四电机旋转运动，通过第二螺旋齿轮组使第二旋转轴做旋转运动，当双目相机的俯仰角度达到观察视角时，第四电机停止运动；

5)若需要调整新的观察方位则重复步骤1)-4)的过程；

6)获取采摘目标信息，进行降维处理，具体包括以下步骤：

(1)设获取采摘目标位置数据集合X＝{X₁,X₂...X_s...X_n}，其中，X_s＝{x,y,z}，x,y,z为空间坐标值，s∈[1,n]，n为获取的采摘目标总数；

(2)采用isomap降维算法对步骤(1)中产生的20个三维空间采摘目标进行降维处理，将三维空间位置降到二维空间分布；将重新产生的数据集合记录为O＝{O₁,O₂...O_s...O_n}，其中，O_s＝{x,y}，x,y为空间坐标值，s∈[1,n]，n为获取的采摘目标总数；

7)模拟退火算法进行最优采摘顺序规划

(1)随机产生一条路径L(i)遍历各目标点，将O＝{O₁,O₂...O_s...O_n}中的各个目标连接，其中L(i)为路径总长度；

(2)改变任意两个目标点的连接顺序产生新的路径L(i+1)，若L(i+1)<L(i)，则接受新的路径，若L(i+1)≥L(i)，则按蒙特卡洛方法接受新解；

(3)重复循环步骤(1)和(2)，直到迭代温度低于ε时，得到最佳采摘顺序路径，其中，ε＝0.001。

与现有技术相比，本发明具有的有益效果：

由于在果实采摘过程中，果实生长不规范随机性大，不像工业作业环境有特定的工位。在采用双目视觉进行果实检测识别时，需要双目视觉机构能根据需求合理灵活的调整自己的观察视角，根据采摘需求获取采摘对象信息。本发明为了解决这个问题，提供以一种多自由度的双目视觉平台，通过设置多个陀螺仪以及多个电机，通过运动控制器能够调整双目相机的角度，能够根据获取目标信息需要调整自己机构位姿达到对采摘信息获取目的。为了使多自由度的双目平台能很好的观察采摘环境，双目视觉平台采用仿人眼睛左右、上下运动，头部俯仰和旋转运动设计四个自由度，使双目平台具有人的灵活观察能力。

本发明通过调节双目相机的俯仰角度达到观察视角时，为了解决现有的采摘机器人中缺乏对果实采摘顺序规划的问题，在双目平台获取采摘对象的基础上，本发明采用一种空间降维方法先将采摘目标采用iosmap的降维方法进行空间降维处理使其在二维平面上，将采摘目标从三维空降降到二维，并采用模拟退火算法将二维平面上的待采摘果实进行最优采摘顺序规划，提高了作业效效率。

附图说明

图1是多自由度的双目视觉系统主视图；

图2是采摘目标空间分布图。

图3是采摘目标降维后二维分布图。

图4是最佳采摘顺序规划图。

图中，1为平台底座，2为45°连接件，3为平台支架板，4为运动控制器，5为第二陀螺仪，6为第二电机，7为第三电机旋转支架，8为第一螺旋齿轮组，9为第三电机三支架，10为第四电机支架，11为第二螺旋齿轮组，12为双目相机，13为传感器安装板，14为第五陀螺仪，15为相机固定框，16为第二旋转轴，17为双目相机支架，18为第四电机，19为第四陀螺仪，20为第四电机旋转支架，21为第三电机，22为第三陀螺仪，23为第一旋转轴，24为第二电机支架，25为第二电机旋转支架，26为第一陀螺仪，27为第一电机，28为驱动器，29为丝绳减震器。

具体实施方式

下面结合附图对本发明进行详细说明。

参见图1，本发明包括：第一电机27、第二电机6、第三电机21、第四电机18、第一陀螺仪26、第二陀螺仪5、第三陀螺仪22、第四陀螺仪19、第五陀螺仪14、运动控制器4、驱动器28、双目相机12、平台底座1、45°连接件2、钢丝绳减震器29、平台支架板3、第二电机支架24、第三电机支架9、第四电机支架10、第二电机旋转支架25、第三电机旋转支架7、第四电机旋转支架20、双目相机支架17、第一螺旋齿轮组8、第二螺旋齿轮组11、第一旋转轴23、第二旋转轴16、相机固定框15和传感器安装板13。

平台底座1用于和机器人行走机构固定，平台底座1上方设置平台支架板3，平台底座1和平台支架板3上设置45°连接件2，具体的，平台底座1上表面对称设置有第一45°连接件和第二45°连接件，平台支架板3下表面对称设置有第三45°连接件和第四45°连接件，第一45°连接件和第三45°连接件之间、第二45°连接件和第四45°连接件之间均设置有钢丝绳减震器29。

所述平台支架板3下表面还设置有第一电机27以及与第一电机27、第二电机6、第三电机2、第四电机18相连的驱动器28。

平台支架板3上表面设置有用于测定平台支架板3的第一陀螺仪26、运动控制器4和第二电机旋转支架25，第一陀螺仪26、运动控制器4位于第二电机旋转支架25两侧；第二电机旋转支架25上设置有第二电机支架24，第二电机支架24内设置有第二电机6，第二电机6下方设置第二陀螺仪5，第三电机2下方设置有第三陀螺仪22，第四电机18下方设置有第四陀螺仪19，双目相机12上设置有第五陀螺仪14；运动控制器4通过驱动器28与第一电机27、第二电机6、第三电机2、第四电机18相连。

第二电机6顶部设置有第三电机旋转支架7，第三电机旋转支架7上设置有转动机构，转动机构上设置有第三电机支架9，第三电机支架9内设置有第三电机21，第三电机支架9顶部设置有第四电机旋转支架20，第四电机旋转支架20上设置有第四电机支架10，第四电机18设置在第四电机支架10内。第四电机支架10上设置有第二旋转齿轮组11和双相相机支架17，第二旋转齿轮组11设置在第四电机18和第二旋转轴16上，双相相机支架17设置在第二旋转轴16上。双相相机支架17上设置相机固定框15，双目相机12设置在相机固定框15内。相机固定框15顶部设置有传感器安装板13，第五陀螺仪14设置在传感器安装板13上。

所述转动机构包括设置在第三电机旋转支架7上的第一旋转轴23和第一螺旋齿轮组8，第一螺旋齿轮组8固定在第一旋转轴23和第二电机6上，第三电机支架9设置在第一旋转轴23上。

第三陀螺仪22通过支架设置在第一旋转轴23上，第四陀螺仪19通过支架设置在第四电机旋转支架20上。

第一螺旋齿轮组8、第二螺旋齿轮组11均包括两个齿轮，其中一个齿轮固定在电机的输出轴上，另一个齿轮固定在旋转轴上。

本发明基于双目视觉的空间降维果实采摘顺序规划方法，包括如下步骤：

1)运动控制器4获取第一陀螺仪26、第二陀螺仪5的位姿，同时给驱动器28发送指令控制第一电机27旋转运动，直到第二陀螺仪5的状态与第一陀螺仪26一致则第一电机27停止转动；

2)运动控制器4获取第三陀螺仪22的位姿，并给驱动器28发送指令控制第二电机6旋转运动，通过第一螺旋齿轮组8使第一旋转轴23做旋转运动，当第三陀螺仪22位姿为水平时第二电机6停止运动；

3)运动控制器4获取第四陀螺仪19的位姿，同时给驱动器28发送指令控制第三电机21旋转运动，直到第四陀螺仪19的状态与采摘所需方向一致时候第三电机21停止转动；

4)运动控制器4获取第五陀螺仪14的位姿，并给驱动器28发送指令控制第四电机18旋转运动，通过第二螺旋齿轮组11使第二旋转轴16做旋转运动，当双目相机12的俯仰角度达到观察视角时，第四电机18停止运动；

5)若需要调整新的观察方位则重复步骤1)-4)的过程；

6)获取采摘目标信息，进行降维处理，具体包括以下步骤：

(1)设获取采摘目标位置数据集合X＝{X₁,X₂...X_s...X_n}，其中，X_s＝{x,y,z}，x,y,z为空间坐标值，s∈[1,n]，n为获取的采摘目标总数，如图2所示为采摘目标空间分布，本发明拟在matlab中随机产生20个采摘目标；

(2)采用isomap降维算法对(1)中产生的20个三维空间采摘目标进行降维处理，其结果如图3所示，将三维空间位置降到二维空间分布。将重新产生的数据集合记录为O＝{O₁,O₂...O_s...O_n}，其中，O_s＝{x,y}，x,y为空间坐标值，s∈[1,n]，n为获取的采摘目标总数。

7)模拟退火算法进行最优采摘顺序规划：

(1)随机产生一条路径L(i)遍历各目标点，将O＝{O₁,O₂...O_s...O_n}中的各个目标连接，其中L(i)为路径总长度；

(2)改变任意两个目标点的连接顺序产生新的路径L(i+1)，若L(i+1)<L(i)，则接受新的路径，若L(i+1)≥L(i)，则按蒙特卡洛方法接受新解；

(3)重复循环步骤(1)和(2)，直到满足终止条件，即当模拟退火算法中迭代温度低于ε时则得到的采摘顺序路径为所求，在本发明中设ε＝0.001时为程序终止条件。图4为得到的目标的最优采摘顺序路径。

8)对于新的采摘对象重复步骤1)-7)。

Claims (8)

1.一种基于双目视觉的空间降维果实采摘顺序规划系统，其特征在于，包括平台支架板(3)，平台支架板(3)上设置有第一陀螺仪(26)、运动控制器(4)和第二电机旋转支架(25)，第二电机旋转支架(25)上设置有第二电机支架(24)，第二电机支架(24)内设置有第二电机(6)，第二电机(6)顶部设置有第三电机旋转支架(7)，第三电机旋转支架(7)上设置有转动机构，转动机构上设置有第三电机支架(9)，第三电机支架(9)内设置有第三电机(21)，第三电机支架(9)顶部设置有能够旋转的第四电机(18)，第四电机(18)顶部设置有能够旋转的双目相机(12)；其中，第二电机(6)下方设置第二陀螺仪(5)，第三电机(2)下方设置有第三陀螺仪(22)，第四电机(18)下方设置有第四陀螺仪(19)，双目相机(12)上设置有第五陀螺仪(14)；运动控制器(4)与第二电机(6)、第三电机(2)、第四电机(18)相连；

所述平台支架板(3)下表面还设置有第一电机(27)以及与第一电机(27)、第二电机(6)、第三电机(2)、第四电机(18)相连的驱动器(28)；

所述第一陀螺仪(26)、运动控制器(4)位于第二电机旋转支架(25)两侧；

所述第二电机旋转支架(25)上设置有第二电机支架(24)，第二电机(6)设置在第二电机支架(24)上。

2.根据权利要求1所述的基于双目视觉的空间降维果实采摘顺序规划系统，其特征在于，所述平台支架板(3)下方设置有平台底座(1)，平台底座(1)上表面对称设置有第一45°连接件和第二45°连接件，平台支架板(3)下表面对称设置有第三45°连接件和第四45°连接件，第一45°连接件和第三45°连接件之间、第二45°连接件和第四45°连接件之间均设置有钢丝绳减震器(29)。

3.根据权利要求1所述的基于双目视觉的空间降维果实采摘顺序规划系统，其特征在于，所述转动机构包括设置在第三电机旋转支架(7)上的第一旋转轴(23)和第一螺旋齿轮组(8)，第一螺旋齿轮组(8)固定在第一旋转轴(23)和第二电机(6)上，第三电机支架(9)设置在第一旋转轴(23)上。

4.根据权利要求1所述的基于双目视觉的空间降维果实采摘顺序规划系统，其特征在于，所述第三电机支架(9)上设置有第四电机旋转支架(20)，第四电机旋转支架(20)上设置有第四电机支架(10)，第四电机(18)设置在第四电机支架(10)内。

5.根据权利要求4所述的基于双目视觉的空间降维果实采摘顺序规划系统，其特征在于，所述第四电机支架(10)上设置有第二旋转齿轮组(11)和双相相机支架(17)，第二旋转齿轮组(11)设置在第四电机(18)和第二旋转轴(16)上，双相相机支架(17)设置在第二旋转轴(16)上。

6.根据权利要求5所述的基于双目视觉的空间降维果实采摘顺序规划系统，其特征在于，所述双相相机支架(17)上还设置有相机固定框(15)，双目相机(12)设置在相机固定框(15)内。

7.根据权利要求6所述的基于双目视觉的空间降维果实采摘顺序规划系统，其特征在于，所述相机固定框(15)上设置有传感器安装板(13)，第五陀螺仪(14)设置在传感器安装板(13)上。

8.一种基于双目视觉的空间降维果实采摘顺序规划方法，其特征在于，包括以下步骤：

1)运动控制器(4)获取第一陀螺仪(26)、第二陀螺仪(5)的位姿，同时给驱动器(28)发送指令控制第一电机(27)旋转运动，直到第二陀螺仪(5)的状态与第一陀螺仪(26)一致则第一电机(27)停止转动；

2)运动控制器(4)获取第三陀螺仪(22)的位姿，并给驱动器(28)发送指令控制第二电机(6)旋转运动，通过第一螺旋齿轮组(8)使第一旋转轴(23)做旋转运动，当第三陀螺仪(22)位姿为水平时第二电机(6)停止运动；

3)运动控制器(4)获取第四陀螺仪(19)的位姿，同时给驱动器(28)发送指令控制第三电机(21)旋转运动，直到第四陀螺仪(19)的状态与采摘所需方向一致时候第三电机(21)停止转动；

4)运动控制器(4)获取第五陀螺仪(14)的位姿，并给驱动器(28)发送指令控制第四电机(18)旋转运动，通过第二螺旋齿轮组(11)使第二旋转轴(16)做旋转运动，当双目相机(12)的俯仰角度达到观察视角时，第四电机(18)停止运动；

5)若需要调整新的观察方位则重复步骤1)-4)的过程；

6)获取采摘目标信息，进行降维处理，具体包括以下步骤：

(1)设获取采摘目标位置数据集合X＝{X₁,X₂...X_s...X_n}，其中，X_s＝{x,y,z}，x,y,z为空间坐标值，s∈[1,n]，n为获取的采摘目标总数；

(2)采用isomap降维算法对步骤(1)中产生的20个三维空间采摘目标进行降维处理，将三维空间位置降到二维空间分布；将重新产生的数据集合记录为O＝{O₁,O₂...O_s...O_n}，其中，O_s＝{x,y}，x,y为空间坐标值，s∈[1,n]，n为获取的采摘目标总数；

7)模拟退火算法进行最优采摘顺序规划

(1)随机产生一条路径L(i)遍历各目标点，将O＝{O₁,O₂...O_s...O_n}中的各个目标连接，其中L(i)为路径总长度；

(2)改变任意两个目标点的连接顺序产生新的路径L(i+1)，若L(i+1)<L(i)，则接受新的路径，若L(i+1)≥L(i)，则按蒙特卡洛方法接受新解；

(3)重复循环步骤(1)和(2)，直到迭代温度低于ε时，ε表示终止条件阈值，得到最佳采摘顺序路径，其中，ε＝0.001。