CN104067781B - 基于虚拟机器人与真实机器人集成的采摘系统及方法 - Google Patents

Abstract

本发明公开了基于虚拟机器人与真实机器人集成的采摘系统，包括视觉定位系统、真实机器人和虚拟机器人仿真系统，所述视觉定位系统完成采摘目标的定位，获得采摘目标的三维空间坐标信息后，指导真实机器人实时采摘，同时将获取的三维空间坐标信息通过数据传输线传递给虚拟机器人仿真系统，虚拟机器人实时模拟采摘过程。本发明的系统及方法，利用虚拟仿真技术与机器视觉技术相结合，基于视觉定位系统的计算数据，驱动虚拟环境下的机器人与真实机器人同时进行视觉定位与采摘行为，从而实现视觉定位精度的对比和采摘行为的有效性验证。

Description

基于虚拟机器人与真实机器人集成的采摘系统及方法

技术领域

本发明涉及智能机器人领域，特别涉及基于虚拟机器人与真实机器人集成的采摘系统及方法。

背景技术

智能机器人的发展是近年来研究的热点，通过智能机器人的应用，在工业、农业生产中能有效提高作业效率、降低生产的劳动强度和成本。在农业机器人方面，果蔬收获机器人是发展现代化农业生产的主要手段之一，而采摘机器人的视觉定位系统是采摘作业能成功完成的关键技术之一。因此，采摘机器人的视觉定位系统必须能精确、有效地实现采摘目标的识别、定位，包括利用视觉系统进行机器人的行走导航等。

然而，相对于当前国内外农业生产的发展，农业机器人的研究所取得的成果仍然比较少，因农业环境的复杂性，存在采摘机器人的研究成果还只能在单一的实验室环境中进行采摘试验，而且存在采摘成功率不高，视觉定位精度低等问题。这不仅成为了制约采摘机器人走向应用的瓶颈问题，也对采摘机器人自动化技术以及其视觉定位系统的研究提出了更高的要求。

故提出了基于实时数据驱动的虚拟机器人与真实机器人多目视觉定位系统，为机器人视觉精确定位技术提供一种研究手段和思路，也从多领域角度去解决智能机器人实际应用的关键技术。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提供基于虚拟机器人与真实机器人集成的采摘系统及方法。

本发明的另一目的在于提供基于虚拟机器人与真实机器人集成的采摘方法。

本发明的目的通过以下的技术方案实现：

基于虚拟机器人与真实机器人集成的采摘系统，包括视觉定位系统、真实机器人和虚拟机器人仿真系统，所述视觉定位系统完成采摘目标的定位，获得采摘目标的三维空间坐标信息后，指导真实机器人实时采摘，同时将获取的三维空间坐标信息通过数据传输线传递给虚拟机器人仿真系统，虚拟机器人实时模拟采摘过程。

所述的虚拟机器人仿真系统，包括机械手的结构设计模块、误差分析模块、机械手知识手册模块、双目立体视觉模块和机械手的运动仿真模块，所述的机械手的机构设计模块用于设计底座、手臂和末端执行器，用户可以对机械手的各个零部件进行参数化设计，通过类型的选择和尺寸的确定，在该系统中应用VC与SolidWorks的相互通信，将SolidWorks中的模型转换成三维坐标，实现对设计图纸和设计方案进行实时修改并更新；误差分析模块从机构误差、视觉误差和关联误差三方面对采摘点的三维位置误差进行分析；机械手知识手册模块采用树形结构，用于用户查看公式的推导、数据分析结果的比较信息；双目立体视觉模块用来采集采摘水果的图像，通过图像分割、腐蚀与膨胀、立体匹配图像处理算法对果实进行三维重建和定位，从而为机械手提供果实空间位置坐标参数；机械手的运动仿真模块通过EON进行三维视景虚拟仿真，包括正运动和逆运动仿真：正运动仿真是根据用户所输入的参数来驱动机械手按照预定的参数值运动；逆运动仿真是根据用户所给定的待采摘果实空间位置坐标值，反求解各关节具体值来驱动机械手按照计算的参数值运动，系统通过VC与SolidWorks的通信接口，将模型转换为三维坐标，再将坐标导入EON工作平台，来实现对机械手的运动控制，从而完成虚拟的采摘过程。

所述的真实机器人包括机械手、安装机械手的底座以及安装底座的托运小车。

所述的机械手包括关节一、关节二、关节三、关节四、小臂、末端执行器，设定托运小车的前进方向为X方向，Y方向与X方向垂直构成水平面，Z方向垂直水平面向上，关节一与底座的轴连接，使得整个机械手可以在Z轴上的旋转；关节二与关节一之间通过轴连接，实现机械臂绕Y轴上的旋转；机械臂绕Y轴旋转的同时，也可实现机械臂在Z轴方向上和X方向上的移动；关节三与关节二通过轴连接，扩大整个机械臂在Z轴方向上的移动范围；小臂与关节三通过轴连接，实现了小臂在X轴上的旋转；关节四与小臂通过轴连接，配合关节一绕底座旋转的同时，实现了整个机械臂X方向上的移动。

所述的视觉定位系统包括双目摄像头一、双目摄像头二以及安装双目摄像头一的支架1，支架1安装在关节三的顶部，双目摄像头二安装在托运小车上。

本发明的另一目的通过以下的技术方案实现：

基于虚拟机器人与真实机器人集成的采摘方法，包含以下顺序的步骤：

S1.双目摄像头获取采摘目标的图像信息，并通过数据线把图像传入电脑进行处理，视觉处理系统通过对采摘目标图像进行预处理，转化为灰度图像，再进行高斯滤波处理，通过图像匹配算法，利用无畸变对准的双目摄像头和图像预处理得到特征对应点，通过相似三角形计算出目标的深度信息z的坐标值，通过计算目标的中心点与两个主光轴的位移量来计算出目标的x，y坐标值，得到采摘目标的三维空间坐标信息；

S2.控制总线然后把处理后的目标三维空间坐标信息发给电脑中的控制系统以及虚拟机器人仿真系统，所述虚拟机器人仿真系统即虚拟机器人；

S3.虚拟机器人仿真系统对周围环境以及目标进行三维重建，虚拟机器人仿真系统中的机械臂对目标施行预切割：

若虚拟机器人仿真系统中的机械臂采摘路径和姿态可行，则虚拟机器人仿真系统把采摘路径和姿态通过传输总线传输给真实机器人的控制系统，控制系统发出动作指令给机械臂，控制关节一、关节二、关节三和关节四的旋转，机械手运动动作完成后，末端执行器夹住采摘目标并进行切割；同时虚拟机器人同步对目标进行虚拟采摘；

若采摘路径和姿态不可行，则由虚拟采摘系统重新进行计算，直到迭代到最佳采摘路径和姿态；虚拟采摘和真实采摘同步进行，两者的动作通过总线相互反馈：虚拟机器人仿真系统把机械臂c-空间建模的仿真信息传递到真实系统中，指导真实机器人的姿态和轨迹，真实机器人的机械臂到达虚拟机器人仿真系统所要求的姿态和轨迹后，若真实系统没有达到虚拟机器人仿真系统所要求的位置，则真实系统把此时的真实机器人的位置和姿态信息发送给虚拟机器人仿真系统，虚拟机器人仿真系统通过神经网络补偿算法，计算出补偿信息，进而再指导真实系统到达所要求的位置，通过这种互相反馈最终使虚拟机器人仿真系统机械臂和真实机器人机械臂同时达到所要求的位置和姿态

步骤S3中，所述的虚拟机器人仿真系统中的机械臂采摘路径和姿态是否可行是通过以下的方法判断的：利用c-空间建模，通过坐标变换简化障碍物空间的计算，把c-空间三维搜索转化为二维搜索，在路径规划的基础上提出基于抛物线的梯形加减速规划，应用局部轨迹规划方式通过仿真验证其是否路径和姿态可行。

所述的基于虚拟机器人与真实机器人集成的采摘方法，还包括步骤S4：若外界环境有突然变动，则视觉定位系统获取周围环境的图像信息，虚拟机器人仿真系统通过场景建模帧差法来察觉此变动，视觉定位系统把变动传输给虚拟机器人仿真系统，虚拟机器人仿真系统再对环境进行三维重建，把重建后的信息以及采摘路径发给实际采摘控制系统进行动作调整。

本发明与现有技术相比，具有如下优点和有益效果：

1、本发明利用虚拟仿真技术与机器视觉技术相结合，基于视觉定位系统的计算数据，驱动虚拟环境下的机器人与真实机器人同时进行视觉定位与采摘行为，从而实现视觉定位精度的对比和采摘行为的有效性验证。该方法通过虚拟环境模拟机器人的视觉定位与采摘作业，对真实机器人的视觉定位与采摘过程进行对比验证，能修正、引导机器人的视觉技术达到精确性、合理性。

2、本发明的思路能在降低开发成本的同时，利用多领域知识融合实现机器人视觉定位系统的设计与开发，为机器人的视觉精确定位提供一种研究手段与技术方法。

3、本发明在机器人的视觉定位精度、机器人采摘行为合理性、机器人行走的正确性等方面都能进行数据的对比验证，能有效实现采摘机器人的技术开发与指导，同时能有效降低开发成本，加快开发进程，从多角度去研究机器人的关键技术。

附图说明

图1为本发明所述的基于虚拟机器人与真实机器人集成的采摘系统的结构示意图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

如图1，基于虚拟机器人与真实机器人集成的采摘系统包括真实机器人和虚拟机器人采摘仿真系统两部分，这两部分进行实时数据通讯和反馈，两者相互辅助相互矫正。真实机器人定位视觉系统包括托运小车8、双目摄像头一2、机器人及其机械手以及位于计算机10中的视觉定位软件系统。机器人的机械手包括底座6、关节一11、关节二12、关节三13、关节四4、末端执行器5。其中，机器人底座6与托运小车固定连接，该机器人为6自由度机器人。双目摄像机定位系统由Opencv软件开发而成。虚拟机器人系统位于计算机10中，由EONStudio与SolidWorks软件结合开发而成，可独立实现机器人采摘目标过程的模拟，也可以在获得真实目标的三维空间坐标信息后，模拟真实机器人的采摘过程。

虚拟机器人采摘系统主要包括机械手的机构设计、误差分析、机械手知识手册、双目立体视觉和机械手的运动仿真五个模块。其中：机械手的机构设计主要分为底座、手臂和末端执行器的设计。用户可以对机械手的各个零部件进行参数化设计，通过类型的选择和尺寸的确定，在该系统中应用VC与SolidWorks的相互通信，将SolidWorks中的模型转换成三维坐标，实现对设计图纸和设计方案进行实时修改并更新；误差分析主要从机构误差、视觉误差和关联误差三方面进行分析；知识手册则采用树形结构，主要是对一些公式的推导，结果的对比分析等信息，例如：机械手各关节之间位移及旋转角的坐标转换公式等；双目立体视觉用来采集采摘水果的图像，通过图像分割、腐蚀与膨胀、立体匹配等图像处理算法对果实进行三维重建和定位，从而为机械手提供果实空间位置坐标参数；机械手仿真通过EON进行三维视景虚拟仿真，主要有正运动和逆运动仿真。正运动仿真是根据用户所输入的参数(各关节的移动、旋转参数值)来驱动机械手按照预定的参数值运动。逆运动仿真是根据用户所给定的待采摘果实空间位置坐标值，反求解各关节具体值来驱动机械手按照计算的参数值运动。系统通过VC与SolidWorks的通信接口，将模型转换为三维坐标，再将坐标导入EON工作平台，来实现对机械手的运动控制，从而完成虚拟的采摘过程。

基于虚拟机器人与真实机器人集成的采摘方法，包含以下顺序的步骤：

双目摄像头一2获取采摘目标的图像信息，并通过数据线9把图像传入电脑10进行处理，视觉处理系统通过对目标图像进行预处理，转化为灰度图像，再进行高斯滤波处理，通过图像匹配算法，利用无畸变对准的双目摄像机和图像预处理得到特征对应点，通过相似三角形计算出目标的深度信息z的坐标值，通过计算目标的中心点与两个主光轴的位移量来计算出目标的x，y坐标值。控制总线然后把处理后的目标三维空间坐标信息发给电脑10中的控制系统以及虚拟机器人仿真系统，虚拟机器人仿真系统对周围环境以及目标进行三维重建，虚拟机器人仿真系统中的机械臂对目标施行预切割，若虚拟机器人仿真系统中的机械臂采摘路径和姿态可行(利用c-空间建模，通过坐标变换简化障碍物空间的计算，把c-空间三维搜索转化为二维搜索，在路径规划的基础上提出基于抛物线的梯形加减速规划，应用局部轨迹规划方式通过仿真验证其是否路径和姿态可行)，则虚拟机器人仿真系统把采摘路径和姿态通过传输总线传输给真实采摘系统的控制系统。控制系统发出动作指令给机械臂，控制关节一11、关节二12、关节三13和关节四4的旋转，机械手运动动作完成后，末端执行器5夹住目标并进行切割。与此同时，电脑10中的虚拟机器人同步对目标进行虚拟采摘，若采摘路径和姿态不可行，则由虚拟采摘系统重新进行计算，知道迭代到最佳采摘路径和姿态。虚拟采摘和真实采摘同步进行，两者的动作通过总线相互反馈，虚拟机器人仿真系统把机械臂c-空间建模的仿真信息传递到真实系统中，指导真实采摘系统的姿态和轨迹，真实采摘系统的机械臂到达虚拟机器人仿真系统所要求的姿态和轨迹后，若真实系统没有达到虚拟机器人仿真系统所要求的位置，则真实系统把此时的真实采摘系统的位置和姿态信息发送给虚拟机器人仿真系统，虚拟机器人仿真系统通过神经网络补偿算法，计算出补偿信息，进而再指导真实系统到达所要求的位置，通过这种互相反馈最终使虚拟机器人仿真系统机械臂和真实采摘系统机械臂同时达到所要求的位置和姿态，，如若外界环境有突然变动，则视觉定位系统获取周围环境的图像信息，虚拟机器人仿真系统通过场景建模帧差法来察觉此变动，视觉定位系统把变动传输给虚拟机器人仿真系统，虚拟机器人仿真系统再对环境进行三维重建，把重建后的信息以及采摘路径发给实际采摘控制系统进行动作调整。二者相互反馈，相辅相成。

所述的采摘系统进行行走导航的工作原理为：双目摄像头二7获取前方道路信息，把道路信息传入电脑10中，电脑10中的虚拟仿真软件通过所获得的道路信息构建道路地图。通过双目摄像头一2发现目标的位置，并通过双目摄像头二7搜索前进道路，使该系统到达目标所在的平面的具体位置，并由虚拟机器人仿真系统记忆目标的三维空间坐标信息。具体空间采摘目标定位及采摘如实施实例一所述。该基于实时数据驱动的虚拟机器人与真实机器人多目视觉定位系统在自然环境下可大大提高目标定位精度，并记忆目标所在位置，大大提高下次采摘的目标搜索速度。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (7)

1.基于虚拟机器人与真实机器人集成的采摘系统，其特征在于：包括视觉定位系统、真实机器人和虚拟机器人仿真系统，所述视觉定位系统完成采摘目标的定位，获得采摘目标的三维空间坐标信息后，指导真实机器人实时采摘，同时将获取的三维空间坐标信息通过数据传输线传递给虚拟机器人仿真系统，虚拟机器人实时模拟采摘过程；

所述的虚拟机器人仿真系统，包括机械手的结构设计模块、误差分析模块、机械手知识手册模块、双目立体视觉模块和机械手的运动仿真模块，所述的机械手的机构设计模块用于设计底座、机械臂和末端执行器，用户对机械手的各个零部件进行参数化设计，通过类型的选择和尺寸的确定，在该系统中应用VC与SolidWorks的相互通信，将SolidWorks中的模型转换成三维坐标，实现对设计图纸和设计方案进行实时修改并更新；误差分析模块从机构误差、视觉误差和关联误差三方面对采摘点的三维位置误差进行分析；机械手知识手册模块采用树形结构，用于用户查看公式的推导、数据分析结果的比较信息；双目立体视觉模块用来采集采摘水果的图像，通过图像分割、腐蚀与膨胀、立体匹配图像处理算法对果实进行三维重建和定位，从而为机械手提供果实空间位置坐标参数；机械手的运动仿真模块通过EON进行三维视景虚拟仿真，包括正运动和逆运动仿真：正运动仿真是根据用户所输入的参数来驱动机械手按照预定的参数值运动；逆运动仿真是根据用户所给定的待采摘果实空间位置坐标值，反求解各关节具体值来驱动机械手按照计算的参数值运动，系统通过VC与SolidWorks的通信接口，将模型转换为三维坐标，再将坐标导入EON工作平台，来实现对机械手的运动控制，从而完成虚拟的采摘过程。

2.根据权利要求1所述的基于虚拟机器人与真实机器人集成的采摘系统，其特征在于：所述的真实机器人包括机械手、安装机械手的底座以及安装底座的托运小车。

3.根据权利要求2所述的基于虚拟机器人与真实机器人集成的采摘系统，其特征在于：所述的机械手包括关节一、关节二、关节三、关节四、小臂、末端执行器，设定托运小车的前进方向为X方向，Y方向与X方向垂直构成水平面，Z方向垂直水平面向上，关节一与底座的轴连接，使得整个机械手可以在Z轴上的旋转；关节二与关节一之间通过轴连接，实现机械臂绕Y轴上的旋转；机械臂绕Y轴旋转的同时，也可实现机械臂在Z轴方向上和X方向上的移动；关节三与关节二通过轴连接，扩大整个机械臂在Z轴方向上的移动范围；小臂与关节三通过轴连接，实现了小臂在X轴上的旋转；关节四与小臂通过轴连接，配合关节一绕底座旋转的同时，实现了整个机械臂X方向上的移动。

4.根据权利要求3所述的基于虚拟机器人与真实机器人集成的采摘系统，其特征在于：所述的视觉定位系统包括双目摄像头一、双目摄像头二以及安装双目摄像头一的支架，支架安装在关节三的顶部，双目摄像头二安装在托运小车上。

5.基于虚拟机器人与真实机器人集成的采摘方法，其特征在于，包含以下顺序的步骤：

S1.双目摄像头获取采摘目标的图像信息，并通过数据线把图像传入电脑进行处理，视觉处理系统通过对采摘目标图像进行预处理，转化为灰度图像，再进行高斯滤波处理，通过图像匹配算法，利用无畸变对准的双目摄像头和图像预处理得到特征对应点，通过相似三角形计算出目标的深度信息z的坐标值，通过计算目标的中心点与两个主光轴的位移量来计算出目标的x，y坐标值，得到采摘目标的三维空间坐标信息；

S2.控制总线然后把处理后的目标三维空间坐标信息发给电脑中的控制系统以及虚拟机器人仿真系统，所述虚拟机器人仿真系统即虚拟机器人；

S3.虚拟机器人仿真系统对周围环境以及目标进行三维重建，虚拟机器人仿真系统中的机械臂对目标施行预切割：

若虚拟机器人仿真系统中的机械臂采摘路径和姿态可行，则虚拟机器人仿真系统把采摘路径和姿态通过传输总线传输给真实机器人的控制系统，控制系统发出动作指令给机械臂，控制关节一、关节二、关节三和关节四的旋转，机械手运动动作完成后，末端执行器夹住采摘目标并进行切割；同时虚拟机器人同步对目标进行虚拟采摘；

若采摘路径和姿态不可行，则由虚拟采摘系统重新进行计算，直到迭代到最佳采摘路径和姿态；虚拟采摘和真实采摘同步进行，两者的动作通过总线相互反馈：虚拟机器人仿真系统把机械臂c-空间建模的仿真信息传递到真实系统中，指导真实机器人的姿态和轨迹，真实机器人的机械臂到达虚拟机器人仿真系统所要求的姿态和轨迹后，若真实系统没有达到虚拟机器人仿真系统所要求的位置，则真实系统把此时的真实机器人的位置和姿态信息发送给虚拟机器人仿真系统，虚拟机器人仿真系统通过神经网络补偿算法，计算出补偿信息，进而再指导真实系统到达所要求的位置，通过这种互相反馈最终使虚拟机器人仿真系统机械臂和真实机器人机械臂同时达到所要求的位置和姿态。

6.根据权利要求5所述的基于虚拟机器人与真实机器人集成的采摘方法，其特征在于：步骤S3中，所述的虚拟机器人仿真系统中的机械臂采摘路径和姿态是否可行是通过以下的方法判断的：利用c-空间建模，通过坐标变换简化障碍物空间的计算，把c-空间三维搜索转化为二维搜索，在路径规划的基础上提出基于抛物线的梯形加减速规划，应用局部轨迹规划方式通过仿真验证其是否路径和姿态可行。

7.根据权利要求5所述的基于虚拟机器人与真实机器人集成的采摘方法，其特征在于，还包括步骤S4：若外界环境有突然变动，则视觉定位系统获取周围环境的图像信息，虚拟机器人仿真系统通过场景建模帧差法来察觉此变动，视觉定位系统把变动传输给虚拟机器人仿真系统，虚拟机器人仿真系统再对环境进行三维重建，把重建后的信息以及采摘路径发给实际采摘控制系统进行动作调整。