CN108563995B - 基于深度学习的人机协作系统手势识别控制方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的人机协作系统手势识别控制方法，包括以下步骤：步骤1、实时跟踪手势，并获取操作人的手势图像；步骤2、通过深度学习算法自动学习手势图像特征，并对同一手势的多种姿态进行识别和归类；步骤3、根据识别和归类的手势信息，发送相应的预设置机器人控制指令。本发明的方法，工件目标采集可根据工件特性自行选取相机进行处理后传送至处理端，完成通讯配置；操作人员可在远程计算机下进行远程监测，并且在操作人员进行替换后对同一手势动作的多种姿态进行精确识别归类，实现了真正意义上的人机协作。

Description

基于深度学习的人机协作系统手势识别控制方法

技术领域

本发明属于协作机器人控制技术领域，涉及一种基于深度学习的人机协作系统手势识别控制方法。

背景技术

目前，大部分协作机器人系统主要采用事先示教的路径轨迹和动作进行作业，这种方式存在很多盲区和安全隐患。许多恶劣、有害、高温、高压和危险环境下，以及在医疗、化工、工业生产中进行作业时，都存在不可预料的后果和难以近距离操作的问题。例如核电站的检修和维护，高压电带点作业、火山口采样、空间探测等，都需要由机器人代替人去完成。

在近几年的医疗手术，工业生产中的小零件装配，以及具有危险性的化学实验中，机器人虽然有涉入，但由于作业环境复杂多变和精度要求，完全依靠自主机器人来完成任务是不可能的，操作人员必须协同机器人来完成作业。目前，还没有真正意义上的高精度协作机器人，很多只是停留在仿真，或者是复杂环境下对机器人进行遥感控制。

体感控制机器人系统，特别是在手势控制机器人协作系统中，大多数都是依靠指尖数量等信息识别，识别手势单一、识别效果差；随着操作人员的不同，手势的幅度、姿态、轨迹等都会有所变化，会导致判别指令错误与无法识别等意外情况，而引入基于深度学习的神经网络识别具有自动学习手势变化和判别的能力，是机器人控制中的一个重要研究课题。ABB展出的YuMi双臂机器人，是全球首台真正意义上的协作机器人，它能够轻松应对各种小件组装的挑战，进行各种危险实验，手术等，而国内目前针对YuMi机器人化工等实践协作开发领域并未有所研究。

发明内容

本发明的目的是提供一种基于深度学习的人机协作系统手势识别控制方法，解决了现有人机协作技术中存在的精度低，数据量大、机器伤人和不安全隐患等工业机器人协作问题。

本发明所采用的技术方案是，一种基于深度学习的人机协作系统手势识别控制方法，包括以下步骤：

步骤1、实时跟踪手势，并获取操作人的手势图像；

步骤2、通过深度学习算法自动学习手势图像特征，并对同一手势的多种姿态进行识别和归类；

步骤3、根据识别和归类的手势信息，发送相应的预设置机器人控制指令。

本发明的有益效果是，包括以下方面：

1)传统的提取手势识别都是人为寻找特征并分析提取，大多数根据指尖数量信息来识别手势，识别效果差，目标姿态单一；本发明使用深度学习自动学习手势图像特征并归类，可识别同一手势的多种姿态，不仅精度高，更可以对多种手势进行识别归类。

2)本发明实施例采用手势识别与YuMi机器人相结合，解决了协作安全和高精度作业问题，使操作人通过多种手势姿态的变化直接与机器人进行协作任务，可广泛应用于各种途径。

附图说明

图1为本发明实施例的七种手势图；

图2为本发明实施例的三种手势及归类示意图；

图3为本发明实施例的动态手势跟踪与采集流程图；

图4为本发明实施例的手势识别流程图；

图5为本发明实施例深度学习的人机协作系统手势识别整体控制图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明是一种基于深度学习的人机协作系统手势识别控制方法，包括以下步骤：

步骤1、实时跟踪手势，并获取操作人的手势图像；

在步骤1中，实时跟踪手势并获取操作人的手势图像具体包括：采用kinect体感相机采集用户的手势图像；采用camshift跟踪算法确认手势图像在采集范围内，并进行实时跟踪和采样；将采集到的操作人手势RGB图像和深度图像通过USB传送至PC机进行处理。

采用camshift跟踪算法确认手势图像在采集范围内，并进行实时跟踪和采样包括：采用VS软件及C++编程语言，读取操作人员上肢及手势的深度图像及RGB图像；根据所述RGB图像和深度图像，对图像进行滤波后背景剔除，并转换为HSI模型后得到颜色概率分布图。判断是否有手势存在，并根据计算图像中心和图像重心窗口是否覆盖来反复寻找；每隔相同时间进行一次采样，获取二值图像。

实施例中，采用Kincet体感相机进行手势图像采集，该相机可同时得到深度图像和RGB图像，然后经过图像分割处理后，采用camshift跟踪算法对手势进行跟踪和定时图像采集，并处理为二值图像，其在Kinect体感相机的视野范围内准确度和精度都很高，且成本较低。

步骤2、通过深度学习算法自动学习手势图像特征，并对同一手势的多种姿态进行识别和归类；

在步骤2中，通过深度学习自动学习手势图像特征对同一手势的多种姿态进行识别和归类，具体包括：采用开源手势库中的手势图像离线训练RBM网络，自动学习多种手势图像深度特征；采用BP神经网络对经过RBM特征提取的手势集图像进行监督学习分类；根据RBM网络和BP神经网络形成的DBN网络对实时采集的操作人手势图像进行识别，并归类为图1中a-g手势(可根据工作要求增加手势数目，在此仅举7个手势示例)。

实施例中，RBM网络根据手势库中的大量手势图像，不断自动学习和更新网络参数，挖掘多种手势存在的不同特征；然后在使用带标签图像数据的方式下采用BP神经网络对找到特征后的手势集的同一手势可能做出的多种姿态手势进行识别并归类为图1中的(a-g)手势，形成完整的DBN深度学习手势识别网络；最后实时采集动态手势图像送入网络进行识别。

步骤3、根据识别和归类的手势信息，发送相应的预设置机器人控制指令。

在步骤3中，根据识别和归类的手势信息发送相应的预设置机器人控制指令，具体包括：通过获得的手势归类，当检测出归类为图1中的(a-g)手势，分别对应(1-7)数字输出；然后在机器人编程软件上分别编译产生目标1号工件、目标2号工件、伺服系统打开同时自动进行关节运动、夹取命令、开始作业、机器停止相关人机协作系统运动指令、初始化，进行远程人机协作，(若需要更多动作，也可根据其他手势的变化自行配置相关运动及参数)。

如图1、图2所示，为本发明实施例的七种手势及其三种手势归类原理图，以下对归类原理进行详细说明：图1中的(a-g)七种手势为本发明实施例设置的手势标签和归类结果图，其分别映射为(1-7)的数字输出，在机器人上映射为目标1号工件、目标2号工件、伺服系统打开同时自动进行关节运动、夹取命令、开始作业、机器停止相关人机协作系统运动指令、初始化。

图2中，h0、h1、h2三个分类分别表示a、b、c三种手势的多种姿态(近似变形)经过深度学习手势识别最终归类示意图。本发明方法完全可以在指定手势的各种姿态下进行识别，并且并不局限于上述的(a-g)七种手势，用户可根据工件的具体流程自行设定多种姿态的相关手势，设置多种相关输出信号，给机器人编译需要的相关运动指令，可广泛应用于多种途径。

如图3，为本发明实施例的动态手势跟踪与采集流程图(即步骤1的详细步骤)，以下对动态手势跟踪与采集流程进行详细说明：

步骤X101、使用Matlab工具箱，将第一台Kinect体感相机标定于远程手势台上方2m～3m之间；在PC上配置Kinect SDK，并将操作人员上肢及手势的深度图像及RGB图像通过USB传输至PC中；

步骤X102、采用C++在VS软件中对得到的图像进行中值滤波去除噪音影响，利用Kinect SDK中的肤色检测程序进行手势动态检测，同时使用C++编程得到动态深度数据流并转换为高度信息；

步骤X103、Kinect通过在PC处理端编程处理后，实时检测手是否存在，若没有，继续检测，若有，执行下一步；

步骤X104、在VS软件中将RGB图像转换为HSV颜色模型；

步骤X105、通过C++编程对得到的颜色模型只考虑H分量的颜色信息，根据条件B≤G,H＝q；B>G,H＝360-q；将H分量的取值限制在[0,255]，得到颜色概率分布图；

步骤X106、根据得到的颜色概率分布图，确定搜索窗口的几何中心(x,y)；

步骤X107、检查窗口是否覆盖；

步骤X108、在VS环境下对搜索窗口大小和位置进行初始化设置；

步骤X109、通过C++编程计算搜索框内的零阶距M₀₀，设置搜索窗口宽度为使搜索区域应大于搜索窗口；

步骤X110、通过编程在PC上对搜索窗口计算一阶矩和零阶距M₀₁,M₁₀，得到窗口重心x_e＝M₁₀/M₀₀；y_e＝M₀₁/M₀₀；

步骤X111、将搜索窗口中心移到重心处，根据窗口像素值的总和来计算窗口的大小；

步骤X112、如若覆盖，确定手势位置，执行步骤X107，并对手势图像采样，若未覆盖，返回循环重新调整，直至覆盖；并且下一帧图像序列使用上一帧搜索框位置和大小，如此重复动态跟踪手势位置并采集手势数据，将采集到的手势灰度图二值化，形成二值矩阵。

本实施例中的跟踪算法采用camshift跟踪算法，在确认手势存在后，在PC机处理终端使用指令启动Kinect体感相机对框内手势图像进行采集，同时进行二值化；保证了图像矩阵的规范和有效性，为深度学习图像数据提供样本。

如图4，为本发明实施例的手势识别流程图(即步骤2的详细步骤)，以下对手势识别流程进行详细说明：

步骤Z101、从CSDN手势库中下载手势姿态图样本集，在PC机上使用tensorflow框架搭建RBM受限玻尔兹曼机，将手势库中的手势图以二值图的形式送入网络自动学习特征；

本发明实施例中设置隐藏层为5层，设定第一层隐藏节点为1000，第二层和第三层为500，第四层和第五层为200；设置学习率为0.1；设置偏置为0；(注：当训练样本特别大时，也可相应减少各层节点个数)；

步骤Z102、将隐藏层的最后一层设置为BP神经网络，使用(a-g)七种手势为标签数据进行监督学习，最后根据RBM受限玻尔兹曼机识别相对于标签数据得到的最大识别概率进行归类，直到将手势库的所有手势姿态图识别完成，训练结束；

步骤Z104、用户根据标签图像，在相机检测范围内随意选择一种做出对应的各种手势姿态(注：标签图像可根据不同应用自行添加)；

步骤Z103、将用户做出的手势在经过处理后，将手势二值图像数据送入训练好的手势识别网络在线识别；

步骤Z105、根据标签数据，手势识别网络将对用户手势进行一个最大概率的归类；

步骤Z106、对于第一次手势识别归类后对应的数字输出信号为a，为了防止第二次采样手势未做变化，第二次手势识别归类后对应的数字输出信号为β；(注：本发明实施例中设置归类输出a∈(1-7),β∈(1-7)，用户可根据标签需要进行多个设定；)

步骤Z107、每次的数字输出信号作为下一次的基准信号，判断输出a-β＝0是否完成；若满足，则手势未变化，重新在线识别；机器人执行a对应指令一次直至完成；若不满足，则手势变化，机器人执行β对应指令一次直至完成，等待下一次手势识别信号。

本实施例中采用的识别手势库可直接在官方网站下载，网络搭建在PC处理终端进行，每一次的手势姿态变化后进过DBN网络手势识别后都会有一个最大概率的估计归类；其自动学习更新公式为：Δwi_j＝ε(vih_j>_data-<vih_j>_mo_del)，其中<vih_j>_data是给定样本的数学期望，而<vih_j>_mo_del是模型产生的数据期望，ε为学习速率；使用RBM网络的概率分布函数进行概率估计。

如图5，是本发明实施例基于深度学习的手势识别人机协作系统总体控制示意图，包括：

步骤Y101、将Kinect体感相机通过USB与处理端的PC机相接，将PC机得到的操作人手势图像传送至PC机的输出端；

步骤Y102、PC机的输出端与工业机器人通过网线连接，使两部分进行TCP/IP通讯；

步骤Y103、工件图像通过机器人工作台的工业相机(或工业摄像机)获取，编译与通讯配置预置在工业机器人控制软件内，使手势识别信息与预设置的工业机器人指令相对应。

该图5实施例中使用Kinect体感相机在采集图像后，在PC机中进行二值和深度图像获取，同时将得到的归类数字信号通过网线传送至工业机器人，这三个部分是对整个人机协作系统硬件连接以及整体控制的简要描述。

该图5实施例中的工业机器人采用YuMi机器人，工业相机及工件图像采集、处理使用YuMi机器人手臂相机得到；在Robot Studio上使用Rapid指令进行编译，开启运动双臂协调，配置双臂协同地址，设置关节运动指令与运动路径，将TCP坐标设置由工件图像坐标转换得到动态坐标，根据工件硬度和重量，在伺服系统下设置夹取力度3N，夹取距离6cm，夹取初始化距离0cm，碰撞安全距离1cm，使数字信号与工业机器人运动在保证安全与效率的情况下实时对应，完成人机协作。(注：可根据不同工件特性重新设置相关参数，根据YuMi机器人关节校准参数设置关节坐标；)

本发明方法，可以应用于多种机器人，并不局限于工业机器人及YuMi机器人，同时工件目标采集可根据工件特性自行选取相机进行处理后传送至处理端，完成通讯配置。操作人员可在远程计算机下进行远程监测，通过手势的变化对机器人进行抓取，组装，开始，停止等一系列动作；并且在操作人员进行替换后对同一手势动作的多种姿态进行精确识别归类，不仅实现了真正意义上的人机协作，显著解决了现有人机协作技术中存在的精度低，数据量大、机器伤人和不安全隐患等工业机器人协作问题。

Claims (6)

1.一种基于深度学习的人机协作系统手势识别控制方法，其特征在于，包括以下步骤：

步骤1、实时跟踪手势，并获取操作人的手势图像；动态手势跟踪与采集具体包括：

步骤X101、使用Matlab工具箱，将第一台Kinect体感相机标定于远程手势台上方2m～3m之间；在PC上配置Kinect SDK，并将操作人员上肢及手势的深度图像及RGB图像通过USB传输至PC中；

步骤X102、采用C++在VS软件中对得到的图像进行中值滤波去除噪音影响，利用KinectSDK中的肤色检测程序进行手势动态检测，同时使用C++编程得到动态深度数据流并转换为高度信息；

步骤X103、Kinect通过在PC处理端编程处理后，实时检测手势是否存在，若没有，继续检测，若有，执行下一步；

步骤X104、在VS软件中将RGB图像转换为HSV颜色模型；

步骤X105、通过C++编程对得到的颜色模型只考虑H分量的颜色信息，根据条件B≤G，H＝θ；B＞G，H＝360-θ；将H分量的取值限制在[0,255]，得到颜色概率分布图；

步骤X106、根据得到的颜色概率分布图，确定搜索窗口的几何中心(x，y)；

步骤X107、检查窗口是否覆盖；

步骤X108、在VS环境下对搜索窗口大小和位置进行初始化设置；

步骤X109、通过C++编程计算搜索框内的零阶距M00，设置搜索窗口宽度为使搜索区域应大于搜索窗口；

步骤X110、通过编程在PC上对搜索窗口计算一阶矩和零阶距M01，M10，得到窗口重心xe＝M10/M00；ye＝M01/M00；

步骤X111、将搜索窗口中心移到重心处，根据窗口像素值的总和来计算窗口的大小；

步骤X112、如若覆盖，确定手势位置，执行步骤X107，并对手势图像采样，若未覆盖，返回循环重新调整，直至覆盖；并且下一帧图像序列使用上一帧搜索框位置和大小，如此重复动态跟踪手势位置并采集手势数据，将采集到的手势灰度图二值化，形成二值矩阵；

步骤2、通过深度学习算法自动学习手势图像特征，并对同一手势的多种姿态进行识别和归类；

步骤3、根据识别和归类的手势信息，发送相应的预设置机器人控制指令。

2.根据权利要求1所述的基于深度学习的人机协作系统手势识别控制方法，其特征在于：所述的步骤1中，具体包括：采用kinect体感相机采集用户的手势图像；采用camshift跟踪算法确认手势图像在采集范围内，并进行实时跟踪和采样；将采集到的操作人手势RGB图像和深度图像通过USB传送至PC机进行处理。

3.根据权利要求2所述的基于深度学习的人机协作系统手势识别控制方法，其特征在于：采用camshift跟踪算法确认手势图像在采集范围内，并进行实时跟踪和采样包括：采用VS软件及C++编程语言，读取操作人员上肢及手势的深度图像及RGB图像；根据所述RGB图像和深度图像，对图像进行滤波后背景剔除，并转换为HSI模型后得到颜色概率分布图；判断是否有手势存在，并根据计算图像中心和图像重心窗口是否覆盖来反复寻找；每隔相同时间进行一次采样，获取二值图像。

4.根据权利要求1所述的基于深度学习的人机协作系统手势识别控制方法，其特征在于：所述的步骤2中，具体包括：采用开源手势库中的手势图像离线训练RBM网络，自动学习多种手势图像深度特征；采用BP神经网络对经过RBM特征提取的手势集图像进行监督学习分类；根据RBM网络和BP神经网络形成的DBN网络对实时采集的操作人手势图像进行识别，并归类。

5.根据权利要求1所述的基于深度学习的人机协作系统手势识别控制方法，其特征在于：所述的步骤3中，具体包括：通过获得的手势归类，当检测出归类手势，分别对应数字输出；然后在机器人编程软件上分别编译产生相关人机协作系统运动指令、初始化，进行远程人机协作。

6.根据权利要求1所述的基于深度学习的人机协作系统手势识别控制方法，其特征在于：所述的步骤2中，手势识别具体包括：

步骤Z101、从CSDN手势库中下载手势姿态图样本集，在PC机上使用tensorflow框架搭建RBM受限玻尔兹曼机，将手势库中的手势图以二值图的形式送入网络自动学习特征；

步骤Z102、将隐藏层的最后一层设置为BP神经网络，使用多种手势为标签数据进行监督学习，最后根据RBM受限玻尔兹曼机识别相对于标签数据得到的最大识别概率进行归类，直到将手势库的所有手势姿态图识别完成，训练结束；

步骤Z104、用户根据标签图像，在相机检测范围内随意选择一种做出对应的各种手势姿态；

步骤Z103、将用户做出的手势在经过处理后，将手势二值图像数据送入训练好的手势识别网络在线识别；

步骤Z105、根据标签数据，手势识别网络将对用户手势进行一个最大概率的归类；

步骤Z106、对于第一次手势识别归类后对应的数字输出信号为α，为了防止第二次采样手势未做变化，第二次手势识别归类后对应的数字输出信号为β；

步骤Z107、每次的数字输出信号作为下一次的基准信号，判断输出α-β＝0是否完成；若满足，则手势未变化，重新在线识别；机器人执行α对应指令一次直至完成；若不满足，则手势变化，机器人执行β对应指令一次直至完成，等待下一次手势识别信号。