CN110202583B - 一种基于深度学习的仿人机械手控制系统及其控制方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的仿人机械手控制系统及其控制方法，系统包括图像采集模块，用于实现工作场景的图像采集及图像预处理功能；物体检测与识别模块，用于实现对所采集图像中的目标物体进行检测，识别出相应的类别；仿人机械手控制决策模块，用于实现仿人机械手运动轨迹规划，根据上述两个模块的处理结果对目标物体所在位置进行运动决策并实现运动轨迹的自我学习。本发明建立了一种自动化控制系统，能在无人为干预条件下自行工作，提高了机器的智能性，可大范围使用于工厂、车间、物流等需要对物品进行分拣等操作的环境下，具有良好的市场前景与潜在价值。

Description

一种基于深度学习的仿人机械手控制系统及其控制方法

技术领域

本发明涉及深度学习图像处理及机械臂控制的技术领域，尤其是指一种基于深度学习的仿人机械手控制系统及其控制方法。

背景技术

自上世纪50年代末美国Unimation研发出世界上第一台工业机器人以来，工业机器人的应用就逐渐普及到生活、生产的方方面面，包括但不限于工业生产、组装、海洋探索开发、太空探索、医疗应用等领域，极大程度的改善了人们的生活与工作条件。随着机器人技术的不断发展，机器人已逐渐走向智能化，面向酒店服务、家庭服务的服务型机器人越来越多，相对应的人机交互技术、机器人智能化控制技术等急需研发、改进与完善。

机器视觉检测与控制技术是采用机器视觉、机器手代替人眼、人脑、人手来进行检测、测量、分析、判断和决策控制的智能测控技术，是人类模仿自身视觉感知能力实现自动化测量和控制的重要手段，能够同时满足智慧工厂环境感知和自主控制的多项需求。机器视觉感知控制技术可用于智慧工厂中的精密制造自动化生产线、智能机器人、在线检测装备、细微操作、工程机械、虚拟现实产品设计等多个领域。

人们一直在探索与开发机械自动化、智能化的理论与算法，相继提出的机器学习、深度学习等理论在这方面存在着巨大的应用前景。特别是2012年后深度学习技术逐渐崛起,因为其良好的特征提取表现被应用在了各个领域,如医学图像、自动驾驶、数据分析等。基于深度学习的目标识别与定位是近年来的研究热点，尤其是深度学习中卷积神经网络的发展直接促进了目标识别和定位任务的进步。仿人机械臂视觉抓取系统中基于深度学习的视觉识别可通过对深度卷积神经网络的训练实现多目标快速识别而不必更改识别算法。此外还有应用于机械臂路径规划的强化学习技术，使得机械臂可以在无监督情况下进行自我反馈与学习。尽管如此，尚缺少足够的对一整套完整的智能化程度高的基于深度学习的仿人机械臂作业系统的研究，现有的系统或多或少存在着不足或者弊端。

基于上述研究现状，需要克服工业机器人传统的感知和交互及学习方法存在着任务确定、离线学习、扩展性差、无法适应多变环境等局限，建立基于选择性注意的目标选择感知方法、基于多因素影响的人机交互方法、具有一定适应性的交互行为学习方法，使工业机器人能够在动态的场景中主动地和选择性地感知及处理来自生产工人和生产环境及生产对象的相关信息，在线地和自主地学习交互行为和以往的经验，从而提高工业机器人的作业技能和适应未知或动态环境的能力。本系统便是基于机器视觉与机器学习相关理论在仿人机械手作业方面进行相应实验与研究，以工业机器人的高度智能化为最终实现目标。

发明内容

本发明的目的在于针对仿人机械手本身特点，以及智能控制、智能识别、智能作业的作业需求，考虑到现有技术的不足，提出了一种基于深度学习的仿人机械手控制系统及其控制方法，该系统具有了深度学习与机械臂控制技术紧密结合的特性，大大提高机械臂作业的智能性、自主性，对于机械臂作业的适用范围提升了一定的广度。

为实现上述目的，本发明所提供的技术方案如下：

一种基于深度学习的仿人机械手控制系统，包括：

图像采集模块，用于实现工作场景的图像采集及图像预处理功能；

物体检测与识别模块，用于实现对所采集图像中的目标物体进行检测，识别出相应的类别；

仿人机械手控制决策模块，用于实现仿人机械手运动轨迹规划，根据上述两个模块的处理结果对目标物体所在位置进行运动决策并实现运动轨迹的自我学习。

进一步，所述图像采集模块利用Kinect v2为主体的计算机视觉模块进行图像采集工作，获取RGB图像，并进行图像预处理工作，裁剪图片使得单张图片像素大小为1000*600。

进一步，所述物体检测与识别模块包含物体检测与识别方法和物体检测与识别模型，其中：

所述物体检测与识别方法使用深度学习方法，使用公开数据集COCO、VOC2007、CIFAR-100、ImageNet进行模型的训练，使用基于Faster-RCNN方法的网络进行模型构建，采用RPN+CNN+ROI结构对图像进行处理与训练，针对特定的类别进行识别效果提升实验；

所述物体检测与识别模型采用卷积神经网络CNN进行构建，包含卷积层、池化层、全连接层和激活层；对于一张输入的图片，先由卷积层通过卷积核对图片进行卷积操作，得到图片中局部区域的特征信息，通过卷积核在图片中的滑动操作获得整张图片的特征信息，卷积核的移动方向是从左往右每次移动1个步长stride，当到达图片右边缘时则回到最左边并往下移动1个步长stride，实际使用时，能够根据需要更改卷积核、步长的大小；池化层紧接卷积层，通过对卷积层的特征信息进行小区域的特征提取以降低整张图片的数据维度，从而降低对图片进行训练的难度以及复杂度；全连接层处于卷积层的末端，将经过卷积层与池化层处理的图像的特征信息进行整合以便于进行分类与预测；区域建议网络RPN在卷积网络CNN之后，根据卷积结果用一个3*3的滑动窗口生成一个长为256维度的全连接特征后分为两个全连接层reg-layer和cls-layer，其中前者用于预测proposal的中心点坐标和高宽、后者用于判定proposal是前景还是背景；区域建立网络RPN处理结果与卷积神经网络CNN的结果一并输入到感兴趣区域池化层ROI pooling layer，该层实现从原图区域映射到RPN区域最后pooling到固定大小的功能；网络最后的损失函数使用smooth L1loss。

进一步，所述仿人机械手控制决策模块包括仿人机械手控制器硬件模块和卷积神经网络运动决策模块，其中：

所述仿人机械手控制器硬件模块为由两个机械手臂和承载该两个机械手臂的承载架组成的仿人机械手，仿照人手臂外形，机械手臂的每只手掌具有五指结构，手臂每个关节由一个转动电机控制，共六个转动电机，即机械手臂具有6个自由度；

所述卷积神经网络运动决策模块，基于物体检测与识别模块的结果进行运动轨迹的规划，利用深度强化学习进行运动轨迹优化与学习任务，快速、准确运动到目标物体坐标点进行目标物体的移动、分拣任务；基于物体检测与识别模块的处理结果，仿人机械手根据当前各个关节信息与图像特征信息进行组合，作为电机控制层的信息输入，仿人机械手上位机接收此信息并根据关节差值控制仿人机械手每个关节运动到对应的关节角度完成一次仿人机械手的整体运动过程，深度强化学习网络根据仿人机械手的运动结果不断进行关节角度的学习优化过程并最终完成完美平稳地移动目标物体的任务。

所述基于深度学习的仿人机械手控制系统的控制方法，包括以下步骤：

S1、图像采集模块利用Kinect v2摄像头进行仿人机械手工作环境的目标物体图像采集，对采集到的图像进行预处理操作，单张图片大小限制在1000*800像素，再将图像输入至物体检测与识别模块；

S2、物体检测与识别模块首先利用深度学习相关知识、基于Faster-CNN方法，对公开数据集COCO、VOC2007、CIFAR-100、ImageNet进行物体检测与识别模型的训练，得到误差达到规定要求的物体检测与识别模型，利用此模型对图像采集模块采集到的图像进行物体检测与识别，得到物体的类别与在图像中的位置，并将识别结果输入到仿人机械手控制决策模块；

S3、仿人机械手控制决策模块基于深度强化学习方法，由当前仿人机械手各关节的关节角及目标物体的位置信息组合输入到仿人机械手上位机，仿人机械手上位机接收此信息并根据关节差值控制仿人机械手每个关节运动到对应的关节角度完成一次仿人机械手的整体运动过程，深度强化学习网络根据仿人机械手的运动结果不断进行关节角度的学习优化过程并最终完成完美平稳地移动目标物体的任务。

本发明与现有技术相比，具有如下优点与有益效果：

1、本发明利用了最前沿、最先进的图像处理与机械臂控制技术，实现了前沿技术的实用化。

2、本发明针对现有的技术成果进行了很大程度的更新与改进。在传统的基于数学、几何建模的机械臂控制系统与基于边缘提取算子、特征点提取等图像处理方法的基础上，创新性的引入深度学习及强化学习技术进行图像处理与机械臂控制，深度优化整个作业系统，在物体检测速度、准确率、处理速度、机械手控制智能化等方面相对于现有的技术有质的提升。

3、本发明在系统优化、更新方面有很大的优势。由于深度学习算法、强化学习算法均可根据特定的机械臂运动需求、特定物体识别准确率等进行相应算法的改进，因此本系统可根据不同的工作场景、业务需求进行定制化，这也体现了本系统的潜在的市场与应用价值。

附图说明

图1是基于深度学习的仿人机械手控制系统结构框图。

图2是目标检测与识别的网络架构图。

图3是强化学习与机械手运动规划的网络架构图。

具体实施方式

下面结合具体实施例对本发明作进一步说明。

如图1所示，本实施例所提供的基于深度学习的仿人机械手控制系统，包括有：

图像采集模块，用于实现工作场景的图像采集及图像预处理功能；

物体检测与识别模块，用于实现对所采集图像中的目标物体进行检测，识别出相应的类别；

仿人机械手控制决策模块，用于实现仿人机械手运动轨迹规划，根据上述两个模块的处理结果对目标物体所在位置进行运动决策并实现运动轨迹的自我学习。

所述图像采集模块利用Kinect v2为主体的计算机视觉模块进行图像采集工作，获取RGB图像，并进行图像预处理工作，裁剪图片使得单张图片像素大小为1000*600。

所述物体检测与识别模块包含物体检测与识别方法、物体检测与识别模型，其中：

所述物体检测与识别方法使用深度学习方法，使用公开数据集COCO、VOC2007、CIFAR-100、ImageNet进行模型的训练，使用基于Faster-RCNN方法的网络进行模型构建，采用RPN+CNN+ROI结构对图像进行处理与训练，针对特定的类别进行识别效果提升实验。

所述物体检测与识别模型采用卷积神经网络CNN进行构建，包含卷积层、池化层、全连接层、激活层。对于一张输入的图片，先由卷积层通过卷积核对图片进行卷积操作，得到图片中局部区域的特征信息，通过卷积核在图片中的滑动操作获得整张图片的特征信息，卷积核的移动方向是从左往右每次移动1个步长stride，当到达图片右边缘时则回到最左边并往下移动1个步长stride，实际使用时，根据需要可更改卷积核、步长的大小；池化层紧接卷积层，通过对卷积层的特征信息进行小区域的特征提取以降低整张图片的数据维度，从而降低对图片进行训练的难度以及复杂度；全连接层处于卷积层的末端，将经过卷积层与池化层处理的图像的特征信息进行整合以便于进行分类与预测。区域建议网络RPN在卷积网络CNN之后，根据卷积结果用一个3*3的滑动窗口生成一个长为256维度的全连接特征后分为两个全连接层reg-layer和cls-layer，其中前者用于预测proposal的中心点坐标和高宽、后者用于判定proposal是前景还是背景；区域建立网络RPN处理结果与卷积神经网络CNN的结果一并输入到感兴趣区域池化层ROI pooling layer，该层实现从原图区域映射到RPN区域最后pooling到固定大小的功能；网络最后的损失函数使用smooth L1loss。

所述仿人机械手控制决策模块包括仿人机械手控制器硬件模块和卷积神经网络运动决策模块。其中：

所述仿人机械手控制器硬件模块为由两个机械手臂和承载该两个机械手臂的承载架组成的仿人机械手，仿照人手臂外形，机械手臂的每只手掌具有五指结构，手臂每个关节由一个转动电机控制，共六个转动电机，即机械手臂具有6个自由度。

所述卷积神经网络运动决策模块，基于物体检测与识别模块的结果进行运动轨迹的规划，利用深度强化学习进行运动轨迹优化与学习任务，快速、准确运动到目标物体坐标点进行目标物体的移动、分拣任务。基于物体检测与识别模块的处理结果，仿人机械手根据当前各个关节信息与图像特征信息进行组合，作为电机控制层的信息输入，仿人机械手上位机接收此信息并根据关节差值控制仿人机械手每个关节运动到对应的关节角度完成一次仿人机械手的整体运动过程，深度强化学习网络根据仿人机械手的运动结果不断进行关节角度的学习优化过程并最终完成完美平稳地移动目标物体的任务。

下面为本实施例上述仿人机械手控制系统的控制方法，包括以下步骤：

S1、图像采集模块利用Kinect v2摄像头进行仿人机械手工作环境的目标物体图像采集，对采集到的图像进行预处理操作，单张图片大小限制在1000*800像素，再将图像输入至物体检测与识别模块。

S2、物体检测与识别模块首先利用深度学习相关知识、基于Faster-CNN方法，对公开数据集COCO、VOC2007、CIFAR-100、ImageNet进行物体检测与识别模型的训练，得到误差较小的物体检测与识别模型，优化网络结构以提升模型对特定物体的成功识别概率。利用此模型对图像采集模块采集到的图像进行物体检测与识别，得到物体的类别与在图像中的位置，并将识别结果输入到仿人机械手系统及其控制决策模块。如图2所示的网络架构，根据输入的图像，对图像进行卷积操作，得到相应的特征图feature map，将特征图作为区域建议网络RPN的输入进行图像中物体的候选框的提取，将此结果结合得到的特征图featuremap输入到全连接层及池化层进行相应的物体类别与概率判定及候选框的界定操作。

S3、仿人机械手控制决策模块基于深度强化学习方法，由当前仿人机械手系统各关节的关节角及目标物体的位置信息组合输入到仿人机械手上位机，仿人机械手上位机接收此信息并根据关节差值控制仿人机械手每个关节运动到对应的关节角度完成一次仿人机械手的整体运动过程，深度强化学习网络根据仿人机械手的运动结果不断进行关节角度的学习优化过程并最终完成完美平稳地移动目标物体的任务。如图3所示的网络架构，以步骤S2中的处理结果作为输入，经过卷积神经网络层首先对相机图像进行处理并输出特征向量信息，利用输出的向量信息结果并与仿人机械手当前的各个关节状态进行组合，以此作为电机控制的输入并最终通过机械手控制终端使得机械手完成一次平稳的运动。对于机械手的每个关节的每一次运动，都有一个评价函数对其进行评分，机械手在不断地训练与运动探索中不断提升评价函数并尽可能的最大化该评价函数。

以上所述实施例只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。

Claims (3)

1.一种基于深度学习的仿人机械手控制系统，其特征在于，包括：

图像采集模块，用于实现工作场景的图像采集及图像预处理功能；

物体检测与识别模块，用于实现对所采集图像中的目标物体进行检测，识别出相应的类别；

仿人机械手控制决策模块，用于实现仿人机械手运动轨迹规划，根据上述两个模块的处理结果对目标物体所在位置进行运动决策并实现运动轨迹的自我学习；

所述物体检测与识别模块包含物体检测与识别方法和物体检测与识别模型，其中：

所述物体检测与识别方法使用深度学习方法，使用公开数据集COCO、VOC2007、CIFAR-100、ImageNet进行模型的训练，使用基于Faster-RCNN方法的网络进行模型构建，采用RPN+CNN+ROI结构对图像进行处理与训练，针对特定的类别进行识别效果提升实验；

所述物体检测与识别模型采用卷积神经网络CNN进行构建，包含卷积层、池化层、全连接层和激活层；对于一张输入的图片，先由卷积层通过卷积核对图片进行卷积操作，得到图片中局部区域的特征信息，通过卷积核在图片中的滑动操作获得整张图片的特征信息，卷积核的移动方向是从左往右每次移动1个步长stride，当到达图片右边缘时则回到最左边并往下移动1个步长stride，实际使用时，能够根据需要更改卷积核、步长的大小；池化层紧接卷积层，通过对卷积层的特征信息进行小区域的特征提取以降低整张图片的数据维度，从而降低对图片进行训练的难度以及复杂度；全连接层处于卷积层的末端，将经过卷积层与池化层处理的图像的特征信息进行整合以便于进行分类与预测；区域建议网络RPN在卷积网络CNN之后，根据卷积结果用一个3*3的滑动窗口生成一个长为256维度的全连接特征后分为两个全连接层reg-layer和cls-layer，其中前者用于预测中心点坐标和高宽、后者用于判定是前景还是背景；区域建立网络RPN处理结果与卷积神经网络CNN的结果一并输入到感兴趣区域池化层ROI pooling layer，该层实现从原图区域映射到RPN区域最后池化到固定大小的功能；网络最后的损失函数使用smooth L1 loss；

所述仿人机械手控制决策模块包括仿人机械手控制器硬件模块和卷积神经网络运动决策模块，其中：

所述仿人机械手控制器硬件模块为由两个机械手臂和承载该两个机械手臂的承载架组成的仿人机械手，仿照人手臂外形，机械手臂的每只手掌具有五指结构，手臂每个关节由一个转动电机控制，共六个转动电机，即机械手臂具有6个自由度；

所述卷积神经网络运动决策模块，基于物体检测与识别模块的结果进行运动轨迹的规划，利用深度强化学习进行运动轨迹优化与学习任务，快速、准确运动到目标物体坐标点进行目标物体的移动、分拣任务；基于物体检测与识别模块的处理结果，仿人机械手根据当前各个关节信息与图像特征信息进行组合，作为电机控制层的信息输入，仿人机械手上位机接收此信息并根据关节差值控制仿人机械手每个关节运动到对应的关节角度完成一次仿人机械手的整体运动过程，深度强化学习网络根据仿人机械手的运动结果不断进行关节角度的学习优化过程并最终完成完美平稳地移动目标物体的任务。

2.根据权利要求1所述的一种基于深度学习的仿人机械手控制系统，其特征在于：所述图像采集模块利用Kinect v2为主体的计算机视觉模块进行图像采集工作，获取RGB图像，并进行图像预处理工作，裁剪图片使得单张图片像素大小为1000*800。

3.一种权利要求1或2所述基于深度学习的仿人机械手控制系统的控制方法，其特征在于，包括以下步骤：

S1、图像采集模块利用Kinect v2摄像头进行仿人机械手工作环境的目标物体图像采集，对采集到的图像进行预处理操作，单张图片大小限制在1000*800像素，再将图像输入至物体检测与识别模块；

S2、物体检测与识别模块首先利用深度学习相关知识、基于Faster-CNN方法，对公开数据集COCO、VOC2007、CIFAR-100、ImageNet进行物体检测与识别模型的训练，得到误差达到规定要求的物体检测与识别模型，利用此模型对图像采集模块采集到的图像进行物体检测与识别，得到物体的类别与在图像中的位置，并将识别结果输入到仿人机械手控制决策模块；

S3、仿人机械手控制决策模块基于深度强化学习方法，由当前仿人机械手各关节的关节角及目标物体的位置信息组合输入到仿人机械手上位机，仿人机械手上位机接收此信息并根据关节差值控制仿人机械手每个关节运动到对应的关节角度完成一次仿人机械手的整体运动过程，深度强化学习网络根据仿人机械手的运动结果不断进行关节角度的学习优化过程并最终完成完美平稳地移动目标物体的任务。

Images