CN109352649B - 一种基于深度学习的机械手控制方法及系统 - Google Patents

Abstract

本发明涉及一种基于深度学习的机械手控制方法及系统，主要用于简化控制机械手控制策略并提高控制精度以及降低相应成本，属于机械设备控制领域，现有的控制方法大多采用专有的数学模型或控制回路，往往需要根据不同设备手工进行参数测量整定，繁琐且适应性不强，本发明基于深度学习神经网络对机械手运动位置和姿态信息以及相应控制量的映射进行自动学习，进而得出针对性的控制方法。与现有技术相比，本发明具有降低设计成本和时间，控制精度高，鲁棒性强，故障率低，抗干扰能力强等优点。

Description

一种基于深度学习的机械手控制方法及系统

技术领域

本发明涉及机械手控制领域，尤其是涉及一种基于深度学习的机械手控制方法及系统。

背景技术

现代工业生产中广泛应用机械手去完成特定的任务，如抓取、搬运和分拣。它们代替人完成繁重且反复的工作任务，能在有害环境下操作以保护人身安全，实现生产的机械化和自动化，极大地解放了生产力，提高了生产效率。

现在工业生产中应用的机械，普遍存在着以下问题：采用高精度执行机构、机械部件紧密咬合以换取更高的控制精度，增加了设计和制造的成本；控制方法具有专用性，需要根据具有结构去设计专门的算法，适应性和可移植性差。如发明专利《一种五自由度机械手控制方法》(申请公布号为CN 106003041 A)提出的机械手控制方法，依赖于对特定自由度特定机械结构机械手的专有数学模型，方法不具备扩展性与可移植性；如发明专利《一种机械手控制系统及其控制方法》(申请公布号为CN 104772553 A)提出的机械手控制方法，依赖于专有的整体高精度系统，且不能在脱离复杂控制电路的情况下完成更复杂动作，控制方法经济性、功能性低。另外尽管近年有提出基于学习等策略的控制方法，如发明专利《基于智能学习评价的柔性机械臂方法》(申请公布号为CN 106773684 A)，但其仍需建立在复杂的运动学模型上进行分析，然后引入神经网络加以辅助提高精度，只能说是一种局限性较大的方法。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于深度学习的机械手控制方法及系统，不仅能够有效地解决一般机械手普遍存在的问题，很大程度上减小了机械手投入生产的时间及成本，而且采用读取关节位置并结合BP神经网络的方法，避免了针对特定机械手进行相关的姿态运动模型建构这一繁琐步骤。

本发明的目的可以通过以下技术方案来实现：

一种基于深度学习的机械手控制方法，包括以下步骤：

步骤01：生成与机械手各关节对应的一组随机控制量，机械手根据随机控制量到达相应位置；

步骤02：读取摄像头单帧图像提取机械手各关节的位置信息；

步骤03：对机械手各关节的位置信息和随机控制量按设定的收集次数进行收集保存，若达到收集次数，执行步骤04，若未达到收集次数，重新执行步骤01；

步骤04：构建深度学习神经网络，读取并将收集保存的机械手各关节的位置信息和随机控制量作为训练集按照指定的训练次数对深度学习神经网络进行训练；

步骤05：保存经过训练的深度学习神经网络模型及训练结果；

步骤06：判断根据随机控制量到达相应位置的机械手各关节的位置信息是否到达期望的目标位置，若是，控制结束，若否，执行步骤07；

步骤07：把期望的目标位置信息输出到步骤05中保存的经过训练的深度学习神经网络模型，得出与期望的目标位置信息相对应控制量，机械手根据与期望的目标位置信息相对应控制量进行动作后执行步骤06形成对机械手的闭环控制。

优选地，所述的深度学习神经网络为BP神经网络，所述BP神经网络的输入量为机械手各关节的位置信息，所述BP神经网络的输出量为机械手各关节的控制量。

优选地，所述的BP神经网络包括多个神经元层，所述神经元层的个数为6个～8个，每个所述神经元层包括多个神经元，所述神经元的个数为16个～20个。

优选地，所述的深度学习神经网络的迭代损失不大于0.2％。

一种采用基于深度学习的机械手控制方法的基于深度学习的机械手控制系统，包括工作台、机械手臂、侧边相机和顶部相机，所述机械手臂通过底座固定于所述工作台的台面上，所述侧边相机夹持安装于所述工作台的侧面，所述顶部相机夹持安装与所述工作台的顶部。

进一步地，所述侧边相机的安装位置需要满足条件一和条件二，所述条件一为所述侧边相机的视野包含所述机械手臂和所述工作台的工作区域，所述条件二为所述侧边相机的主光轴垂直于所述工作台的侧面平面。

进一步地，所述顶部相机的安装位置需要满足条件三和条件四，所述条件三为所述顶部相机的视野包含所述机械手臂和所述工作台的工作区域，所述条件四为所述顶部相机的主光轴垂直于所述工作台的顶部平面。

进一步地，所述机械手臂由所述底座、刚体关节和连杆所组成，所述机械手臂的顶部和侧边上还设有对应的顶部标记和侧边标记，用于形成计算机主控程序内的标记编号。

进一步地，所述的刚体关节为具有可自由独立运动特性的刚体关节。

与现有技术相比，本发明具有以下优点：

(1)采用深度学习方法对机械手位置与控制量参数关系进行完全自动学习，避免了因机械手结构不同而人为重新建模、重新设计控制算法的不便，大大缩减了机械手投入生产的时间，节约了人力成本。

(2)由于深度学习与神经网络的特性，本发明提出的控制方法对粗糙的执行机构依然能有较高的精度，在多干扰存在的工况下亦能保证整个系统运行平稳，工作稳定性好，鲁棒性强，不易出现故障，很大程度上降低了维护成本，提高经济效益。

(3)基于深度学习神经网络对机械手运动位置和姿态信息以及侧边相机和顶部相机及位置条件设置以及相应控制量的映射进行自动学习，进而得出针对性的控制方法，参数整定可自动进行，控制方法简单且可移植性好，控制精度高。

附图说明

图1为本发明的系统示意图；

图2为本发明的系统硬件关系图；

图3为本发明中的神经网络训练流程图；

图4为本发明的机械手的系统工作流程图；

图5为本发明的整体流程示意图；

附图标号说明：

1为工作台；2为机械手臂；3为侧边相机；4为顶部相机；5为顶部标记；6为侧边标记。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。

实施例

如图1所示为本发明的方法应用时的配套系统结构示意图，其采用的机械手为六自由度机械手，但此发明的应用不受机械手自由度的限制，包括工作台1、机械手臂2、侧边相机3和顶部相机4，机械手臂2通过底座固定于工作台1的台面上，侧边相机3夹持安装于工作台1的侧面，顶部相机4夹持安装于工作台1的顶部，机械手臂2由所述底座、刚体关节和连杆所组成，机械手臂2的顶部和侧边上还设有对应的顶部标记5和侧边标记6，用于形成计算机主控程序内的标记编号，所应用的机械手应有以下特点：一、底座固定；二、刚体结构，可抽象成关节和连杆模型；三、各关节可以自由独立运动，机械手末端可以到达工作区域，刚体关节为具有可自由独立运动特性的刚体关节，侧边相机3的安装位置需要满足条件一和条件二，条件一为侧边相机3的视野包含机械手臂2和工作台1的工作区域，条件二为侧边相机3的主光轴垂直于工作台1的侧面平面，顶部相机4的安装位置需要满足条件三和条件四，条件三为顶部相机4的视野包含机械手臂2和工作台1的工作区域，条件四为顶部相机4的主光轴垂直于工作台1的顶部平面。

如图2所示为本发明的方法应用时的配套系统硬件关系图，其示例系统各硬件之间的关系，摄像头抓取机械手图像，主控计算机为主要控制部分，其连接摄像头，用于读取图像、获取位置信息、运行已训练好的神经网络并输出控制信号。

本发明提出的方法在应用前必须对神经网络进行训练，神经网络训练流程图如图3所示，其包括以下步骤：

步骤101：运行计算机中的主控程序生成与机械手各关节对应的一组随机控制量；

步骤102：主控程序通过读取单帧图像来提取机械手各关节的位置信息；

步骤103：按指定次数收集保存机械各关节的位置信息和对应的随机控制量于磁盘中，若达到指定次数执行步骤104，若未达到则重新执行步骤101；

步骤104：构建深度学习神经网络，读取机械各关节的位置信息和对应的随机控制量作为训练集，按照指定训练次数进行训练，达到指定训练次数则执行步骤105；

步骤105：保存深度学习神经网络模型及训练结果，完成训练。

以上步骤运行后的深度学习神经网络模型的类型为BP神经网络模型，BP神经网络模型的输入量为机械手各关节的位置信息，BP神经网络模型的输出量为机械手各关节的控制量，BP神经网络模型包括多个神经元层，神经元层的个数为6个～8个，每个神经元层包括多个神经元，神经元的个数为16个～20个，具体层数及每层神经元数目与机械手关节数有关，整个深度学习神经网络模型的损失值不大于0.2％。

如图4所示为本发明的控制方法对应系统的机械手工作流程图，具体包括以下步骤：

步骤S1：主控程序从摄像头读取一帧图像，提取出机械手各关节的位置信息；

步骤S2：根据检测到的位置信息判断机械手是否以达到期望的目标位置，若是，程序结束，否则执行S3；

步骤S3：把期望的目标位置输入训练好的神经网络，经过计算得出前往预期位置需要的各关节的控制量，再由主控计算机输出该控制量驱动机械手动作，之后执行步骤S1。

如图5所示为本发明控制方法及系统的整体流程示意图，包括以下步骤：

步骤01：生成与机械手各关节对应的一组随机控制量，机械手根据随机控制量到达相应位置；

步骤02：读取摄像头单帧图像提取机械手各关节的位置信息；

步骤03：对机械手各关节的位置信息和随机控制量按设定的收集次数进行收集保存，若达到收集次数，执行步骤04，若未达到收集次数，重新执行步骤01；

步骤04：构建深度学习神经网络，读取并将收集保存的机械手各关节的位置信息和随机控制量作为训练集按照指定的训练次数对深度学习神经网络进行训练；

步骤05：保存经过训练的深度学习神经网络模型及训练结果；

步骤06：判断根据随机控制量到达相应位置的机械手各关节的位置信息是否到达期望的目标位置，若是，控制结束，若否，执行步骤07；

步骤07：把期望的目标位置信息输出到步骤05中保存的经过训练的深度学习神经网络模型，得出与期望的目标位置信息相对应控制量，机械手根据与期望的目标位置信息相对应控制量进行动作后执行步骤06形成对机械手的闭环控制。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (9)

1.一种基于深度学习的机械手控制方法，其特征在于，包括以下步骤：

步骤01：生成与机械手各关节对应的一组随机控制量，机械手根据随机控制量到达相应位置；

步骤02：读取摄像头单帧图像提取机械手各关节的位置信息；

步骤03：对机械手各关节的位置信息和随机控制量按设定的收集次数进行收集保存，若达到收集次数，执行步骤04，若未达到收集次数，重新执行步骤01；

步骤04：构建深度学习神经网络，读取并将收集保存的机械手各关节的位置信息和随机控制量作为训练集按照指定的训练次数对深度学习神经网络进行训练；

步骤05：保存经过训练的深度学习神经网络模型及训练结果；

步骤06：判断根据随机控制量到达相应位置的机械手各关节的位置信息是否到达期望的目标位置，若是，控制结束，若否，执行步骤07；

步骤07：把期望的目标位置信息输出到步骤05中保存的经过训练的深度学习神经网络模型，得出与期望的目标位置信息相对应控制量，机械手根据与期望的目标位置信息相对应控制量进行动作后执行步骤06形成对机械手的闭环控制。

2.根据权利要求1所述的一种基于深度学习的机械手控制方法，其特征在于，所述的深度学习神经网络为BP神经网络，所述BP神经网络的输入量为机械手各关节的位置信息，所述BP神经网络的输出量为机械手各关节的控制量。

3.根据权利要求2所述的一种基于深度学习的机械手控制方法，其特征在于，所述的BP神经网络包括多个神经元层，所述神经元层的个数为6个～8个，每个所述神经元层包括多个神经元，所述神经元的个数为16个～20个。

4.根据权利要求1或2所述的一种基于深度学习的机械手控制方法，其特征在于，所述的深度学习神经网络的迭代损失不大于0.2％。

5.一种采用如权利要求1所述机械手控制方法的基于深度学习的机械手控制系统，其特征在于，包括工作台(1)、机械手臂(2)、侧边相机(3)和顶部相机(4)，所述机械手臂(2)通过底座固定于所述工作台(1)的台面上，所述侧边相机(3)夹持安装于所述工作台(1)的侧面，所述顶部相机(4)夹持安装于所述工作台(1)的顶部。

6.根据权利要求5所述的一种采用所述机械手控制方法的基于深度学习的机械手控制系统，其特征在于，所述侧边相机(3)的安装位置需要满足条件一和条件二，所述条件一为所述侧边相机(3)的视野包含所述机械手臂(2)和所述工作台(1)的工作区域，所述条件二为所述侧边相机(3)的主光轴垂直于所述工作台(1)的侧面平面。

7.根据权利要求5所述的一种采用所述机械手控制方法的基于深度学习的机械手控制系统，其特征在于，所述顶部相机(4)的安装位置需要满足条件三和条件四，所述条件三为所述顶部相机(4)的视野包含所述机械手臂(2)和所述工作台(1)的工作区域，所述条件四为所述顶部相机(4)的主光轴垂直于所述工作台(1)的顶部平面。

8.根据权利要求5所述的一种采用所述机械手控制方法的基于深度学习的机械手控制系统，其特征在于，所述机械手臂(2)由所述底座、刚体关节和连杆所组成，所述机械手臂(2)的顶部和侧边上还设有对应的顶部标记(5)和侧边标记(6)，用于形成计算机主控程序内的标记编号。

9.根据权利要求8所述的一种采用所述机械手控制方法的基于深度学习的机械手控制系统，其特征在于，所述的刚体关节为具有可自由独立运动特性的刚体关节。

Images