CN107253192A - 一种基于Kinect的无标定人机交互控制系统及方法 - Google Patents
一种基于Kinect的无标定人机交互控制系统及方法 Download PDFInfo
- Publication number
- CN107253192A CN107253192A CN201710374954.2A CN201710374954A CN107253192A CN 107253192 A CN107253192 A CN 107253192A CN 201710374954 A CN201710374954 A CN 201710374954A CN 107253192 A CN107253192 A CN 107253192A
- Authority
- CN
- China
- Prior art keywords
- kinect
- hand
- mtd
- mechanical arm
- human
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 230000002452 interceptive effect Effects 0.000 title abstract 3
- 230000033001 locomotion Effects 0.000 claims abstract description 32
- 239000012636 effector Substances 0.000 claims abstract description 17
- 238000013507 mapping Methods 0.000 claims abstract description 13
- 210000000988 bone and bone Anatomy 0.000 claims abstract description 9
- 238000006243 chemical reaction Methods 0.000 claims abstract description 9
- 238000009499 grossing Methods 0.000 claims description 34
- 230000003993 interaction Effects 0.000 claims description 16
- 238000005516 engineering process Methods 0.000 claims description 13
- 238000004458 analytical method Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 10
- 210000001981 hip bone Anatomy 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 8
- 230000003287 optical effect Effects 0.000 claims description 7
- 238000004891 communication Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 4
- 230000026676 system process Effects 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 3
- 230000007704 transition Effects 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 claims 1
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical compound C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 abstract 1
- 239000000700 radioactive tracer Substances 0.000 abstract 1
- 238000004422 calculation algorithm Methods 0.000 description 11
- 238000012545 processing Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 230000002159 abnormal effect Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 210000000707 wrist Anatomy 0.000 description 2
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000037237 body shape Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011217 control strategy Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 210000003414 extremity Anatomy 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 239000005337 ground glass Substances 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
- B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Manipulator (AREA)
Abstract
一种基于Kinect的无标定人机交互控制系统及方法，该系统包括人体骨骼信息获取、计算机软件系统、机械臂，人体深度图像信息获取主要由Kinect传感器完成。计算机软件系统运用骨骼追踪技术处理获取的景深数据，建立人体20个骨骼点的3D坐标。机械臂的控制系统获取计算机系统转换发出的控制指令，控制末端执行器跟随手部运动，实现人手对机械臂末端执行器的实时引导。本发明构建手部相对于髋骨中心与末端执行器相对于机械臂基座的运动映射关系进行主从控制，实现人手与机器臂的实时交互。实验结果表明该系统能够很好的完成手部跟踪和主从控制任务，具有较高的实时性和交互性。
Description
技术领域
本发明属于信息无障碍工程技术领域，具体地说，涉及一种基于Kinect的无标定人机交互控制系统及方法。
背景技术
主从遥操作机械臂控制系统广泛应用于核反应堆维护、载人航天、医疗手术的模拟训练等高危险性作业中，手部是人体最常用的一个部位。因此，实现机械臂跟随手部运动可以很大程度上提高了人的感知能力和行为能力。研究手部的各种运动，手部与机械臂的交互方式，具有重要的理论意义和现实意义。
目前，现有的手部跟踪定位技术主要有两种，基于数据手套技术和基于图像视觉处理的手势识别。数据手套技术由于本身及其电路连线较为笨重，不方便使用，加上价格昂贵等因素限制了其应用。Weinland等人提出将3D建模和HMM方法用于识别人手的运动。Liu等利用RFID方法在试验者手腕处贴标签来跟踪和识别手部状态，这种方法可以确定试验者的手腕位置。但是，彩色图像容易受光照条件影响，而且传统的基于视觉的运动目标跟踪需要对摄像头内外参数进行标定，但在实际情况下无法精确标定。
发明内容
为克服现有技术中的缺陷，本发明提供一种基于Kinect的无标定人机交互控制系统及方法，构建手部相对于髋骨中心、末端执行器相对于机械臂基座的运动映射关系，进行主从控制，实现人手与机器臂的实时交互。本发明能够很好的完成手部跟踪和主从控制任务，具有较高的实时性和交互性。
本发明所采用的技术方案是：
一种基于Kinect的无标定人机交互控制系统，包括人体骨骼信息获取、计算机软件系统、机械臂。人体深度图像信息获取由Kinect传感器完成，计算机软件系统运用骨骼追踪技术处理获取的景深数据，建立人体20个骨骼点的3D坐标，机械臂的控制系统获取计算机软件系统转换发出的控制指令，控制末端执行器跟随手部运动，实现人手对机械臂末端执行器的实时引导。
一种基于Kinect的无标定人机交互控制系统，包括操作者、Kinect传感器、计算机系统、机械臂控制系统，操作者处于Kinect传感器的工作空间内，Kinect传感器通过USB数据线与计算机系统连接，机械臂控制系统通过RS-232接口与计算机系统连接；
该系统包含：人体深度图像信息获取模块、人体骨骼点追踪模块、逆运动学分析模块、下位机通讯模块，
人体深度图像信息获取模块主要由Kinect传感器完成，它以每秒30帧的速度把深度图像传送给计算机系统；
人体骨骼点追踪模块由计算机系统完成，包括图像预处理、人体关节点识别和骨骼数据的平滑处理；
逆运动学分析模块包括人手相对于自身髋骨中心的运动、与机械臂相对于基座的运动之间的映射转换，以及机械臂逆运动学分析与求解；
下位机通讯模块主要完成控制指令的生成、规范指令格式和指令的收发工作。
1.获取图像深度信息
Kinect传感器采用Light Coding技术(一种光编码技术)利用连续光对相应的测量空间进行编码，通过感应器来接收被编码的光线，之后由处理器来解码和计算，最终形成一张具有深度数据的3D图像。光编码技术的关键是激光散斑，而激光散斑是由激光照射到粗糙物体或者是在穿透毛玻璃之后，将会形成随机的干涉条纹，人们称之为散斑。散斑具有的显著特点是高度随机性，距离不同得到的图案也不相同，因而工作空间中任何两处的散斑都是不同的。根据这一原理，任何不同物体进入该测量空间，或者在该测量空间移动时，由于任何两处的散斑都是不同的，相当于给整个测量空间作上了不同的标记，所以能够确切记录下物体的具体位置。
2.人体骨架追踪：
Kinect传感器的动作感应器能追踪到人的全身骨骼。首先将传感器检测到的深度图像，通过深度图像处理得到人体的关节点信息。上位机软件系统支持2个人的骨骼捕捉，最多可以同时检测到6个人。利用软件计算出人体的主要骨骼位置，计算机可以通过使用者的身形轮廓和肢体的位置识别使用者的姿势，从而捕捉到人体动作。
3.逆运动学分析：
运用逆运动学进行人体骨架分析计算出机械臂各个关节轴所要运动的角度(具体本文后面有详细说明)。
4.最后与上位机的通信：
运用计算机与机械臂的连接，通过信号转换器把机械臂的IO信号转换成计算机能识别的信号，然后通过反馈再进行与机械臂的通信，最终形成一个完整的通信系统。
优选地，为了保证系统的实时性，深度图像我们采用640*480的分辨率，帧率为30f/s；为了保证深度距离的准确性，使用了阈值方法过滤深度数据至1220mm-3810mm这一范围内。因为在深度图形处理时，数据阈值在1220mm-3810mm之间的图像时最清晰，最能获取准确信息，这样才能为我们以后的工作减少麻烦和误差，也能最大程度的实现系统的完整。
一种基于Kinect的无标定人机交互控制方法，包括以下步骤：
步骤一：人体深度图像信息获取；
步骤二：图像预处理、人体关节点识别和骨骼数据的平滑处理；
步骤三：人手相对于自身髋骨中心的运动，与机械臂相对于基座运动之间的映射转换，以及机械臂逆运动学分析与求解；
步骤四：控制指令的生成、规范指令格式和指令的收发。
一种基于位置增量的移动平均轨迹平滑算法，将当前时刻的人手位置信息与前N-1个采样周期内的人手位置信息的平均值，作为当前时刻的主从控制位置信息，并按照时间序列以步长N对Kinect传感器采集到的位置信息进行逐项推移，最终得到整个主从控制过程中期望的位置值，实现对从机械臂末端位置的控制。
一种手部对从动机械臂的主从控制方法，人手与髋骨中心的位置信息在Kinect坐标系下，将其坐标转换到机器人坐标系下，具体实现方法如下：
第一步：从骨骼信息流SkeletonFrame提取出右手在Kinect坐标系{K}下的位置矢量KP1＝[x1,y1,z1]T，以及髋骨中心在{K}下的位置矢量KP2＝[x2,y2,z2]T，由此无需对摄像头进行标定就可以得到Kinect坐标系{K}下操作者右手相对于自身髋骨中心的位置KP：
KP＝KP1-KP2 (3)
第二步：骨骼跟踪坐标系都是在Kinect摄像头坐标系，原点为红外摄像头中心，Z轴为红外摄像头光轴，X轴方向为水平方向，Y轴为垂直方向；为了得到机械臂末端相对于基座的坐标BP，需求出Kinect摄像头坐标系{K}转换到机器人坐标系{B}的旋转矩阵Kinect摄像头坐标系{K}按右手定则绕Z轴旋转-90°，再绕X轴旋转-90°，可得到旋转矩阵
第三步：最终得到机械臂末端相对于基座的坐标BP为：
本发明一种基于Kinect的无标定人机交互控制系统及方法，有益效果在于：
本发明是一种新型的人机交互方式，利用Kinect传感器骨骼追踪技术处理景深数据获取手部位置，构建手部相对于髋骨中心与末端执行器相对于机械臂基座的运动映射关系进行主从控制，实现人手与机器臂的实时交互。并针对手部抖动消除和异常值处理，提出了一种基于位置增量的移动平均轨迹平滑算法。实验结果表明该系统能够很好的完成手部跟踪和主从控制任务，具有较高的实时性和交互性。
附图说明
下面结合附图和实施例对本发明作进一步说明：
图1为本发明的主从控制系统框架图。
图2为本发明的系统流程图。
图3为本发明的轨迹平滑处理的实现过程图。
图4为本发明的连杆坐标系图。
图5为轨迹平滑处理的结果图。
具体实施方式
一种基于Kinect的无标定人机交互控制系统，包括人体骨骼信息获取、计算机软件系统、机械臂，人体深度图像信息获取主要由Kinect传感器完成。计算机软件系统运用骨骼追踪技术处理获取的景深数据，建立人体20个骨骼点的3D坐标。机械臂的控制系统获取计算机系统转换发出的控制指令，控制末端执行器跟随手部运动，实现人手对机械臂末端执行器的实时引导。
1、系统框架：
整个系统可分为三大部分，即人体骨骼信息获取、计算机软件系统、机械臂。系统框图如图1所示，系统运行框图如图2所示。
人体深度图像信息获取主要由Kinect传感器完成。计算机软件系统运用骨骼追踪技术处理获取的景深数据，建立人体20个骨骼点的3D坐标。机械臂的控制系统获取计算机系统转换发出的控制指令，控制末端执行器跟随手部运动，实现人手对机械臂末端执行器的实时引导。
2、获取手部信息及主从控制方法：
2.1、Kinect简介：
Kinect是微软公司开发的一款能够实时获取彩色图像和深度图像数据的设备，同时支持实时的全身和半身骨骼跟踪模式，并可以识别一系列的动作。它由RGB彩色摄像头、红外线发射器和红外线COMS摄像机(IR)三部分组成。
2.2、人体检测及手部信息的获取：
本发明主从控制系统中，一个关键技术就是人手位姿的精确获取。目前运动目标检测和跟踪常用的方法有：帧间差分法、光流法和背景差分法。光流法的缺点是需要多次迭代才可以收敛，计算量大，难以满足实时性要求；帧差法的问题是前后帧运动重叠的区域会有空洞产生，检测效果不精确，而且阈值的选择对结果影响较大，阈值过大会形成空洞，阈值过小则会产生噪声。传统的背景差分法通过建立背景模型，将当前帧图像与背景模型相减，可以确定目标的位置以及形状信息。然而彩色图像易受光照变化、复杂背景的影响，导致目标追踪困难以及分割不精确。有一些学者利用Kinect生成的深度图像进行背景相减，得到了分割化的人体深度图像，取得很好的效果。为此，提出了一种利用Kinect人体骨骼追踪技术非接触获取人手运动信息的方法，具体过程是：将分割化的人体深度图像传送到辨别人体部位的动作捕捉机器学习系统中，利用随机森林的分类方法设计了身体组件的中间表示,将姿势估计问题映射为逐像素分类问题。通过重投影分类器(身体组件估计)的结果，生成人体关节的可信3D估计。本方法省去复杂的摄像头标定过程，相对于通过摄像头标定获取手部位置方法能够获得精度较高的手部位置信息。
2.3、坐标数据平滑处理：
由于Kinect硬件的性能不稳定、操作者动作不够连贯等问题，通过上述方法估计骨骼关节点的相对位置可能在帧与帧之间变动很大，骨骼数据序列中可能含有异常值。因此，在进行逆运动学求解前必须要先对异常值予以识别和剔除，并且对骨骼数据进行降噪和平滑处理。
移动平均轨迹平滑算法的原理是：将当前时刻的人手位置信息与前N-1个采样周期内的人手位置信息的平均值作为当前时刻的主从控制位置信息，并按照时间序列以步长N对Kinect采集到的位置信息进行逐项推移，最终得到整个主从控制过程中期望的位置值，实现对从机械臂末端位置的控制。该算法可以滤除周期性的变动对位置曲线平滑性的影响，轨迹平滑处理的结果如下图5所示。
移动平均轨迹平滑处理算法在消除人手周期性抖动及其他随机干扰的同时，也有可能会滤除操作者期望的位置操作信息。为了在消除人手抖动的同时，尽可能保留操作者期望的位置信息，本发明在移动平滑算法的基础上提高当前位置信息在平滑处理后位置中所占的权重。霍尔特指数平滑法(Holt Double Exponential Smoothing)是一种线性指数平滑方法。与其它平滑算法相比较，霍尔特指数平滑法的优势在于对平滑的数据序列产生较少的延迟，对具有趋势变动时间数列进行平滑的同时能够对原时间数列进行预测，而不是简单的二次指数平滑。霍尔特指数平滑方法包括两个平滑因子和三个公式，其中三个公式包括两个平滑公式和一个预测公式。两个平滑公式分别对时间数列的两种因素进行平滑预测，平滑公式为：
Lt＝αxi+(1-α)(Lt-1+Kt-1) (1)
Kt＝(1-β)Kt-1+β(Lt-Lt-1) (2)
预测公式为：
ft,k＝Lt+KtT,T＝1,2… (3)
其中，α和β为平滑因子，0<α,β<1；xi为平滑前的观测值；T为预测步长；t为选定的平滑周期值。该算法的原理是对一段时间内的实际观测值进行滑动平均和预测。公式(1)，Lt与Lt-1为分别为基于前t周期和t-1周期对第t周期和第t-1周期的估计值，该式是对时间数据序列的实际观测值进行平滑和估计。公式(2)是对实际观测值的趋势增量进行平滑，Kt-1为基于前t-1周期对第t-1周期观测值趋势增量的预测值，Kt为基于先前t周期对第t周期趋势增量的预测值。公式(3)基于当前周期对第t+T时期数据进行预测，其实质就是求t+T时期的最大似然估计值。设置平滑参数没有经验可以遵循，实验中平滑因子α和β的取值分别为0.9与0.4时能够达到要求的性能和效果。
采集到的人手空间运动位置信息中，除了人手部动作不够连贯和抖动产生的干扰，也包含随机性的异常值的干扰。由于本发明是基于位置增量的主从控制策略，因此作者在求解位置增量的过程中，不是直接对采集到的手部位置信息进行轨迹平滑处理算法，而是对相邻时刻人手位置的增量进行平滑处理。采用此方式可以更好的利用移动平均算法滤除采集到的手部位置信息的不规则变动。经验证，采用基于位置增量的移动平均轨迹平滑算法进行处理能够消除手部运动过程中大部分抖动以及异常值的干扰。
2.4、手部对从动机械臂的主从控制方法：
手部控制机械臂时人手的运动必须和机械臂的运动进行映射。主从控制系统中运动映射模式通常有两种，一种是关节空间映射，另一种是笛卡尔空间映射。本发明操作任务主要是针对机械臂末端位姿进行控制，因此系统采取笛卡尔空间映射模式，即：将手部的位姿作为机械臂末端执行器位姿的输入。在控制方式选择上采用增量式控制，将人手的运动位姿增量叠加到当前机器人的末端执行器的位姿上，实现手部对机械臂的实时引导控制。人手与髋骨中心的位置信息是在Kinect坐标系下，为了建立上述的运动映射关系，需将其坐标转换到机器人坐标系下，具体实现方法如下：
第一步：从骨骼信息流SkeletonFrame提取出右手在Kinect坐标系{K}下的位置矢量KP1＝[x1,y1,z1]T，以及髋骨中心在{K}下的位置矢量KP2＝[x2,y2,z2]T。由此无需对摄像头进行标定就可以得到Kinect坐标系{K}下操作者右手相对于自身髋骨中心的位置KP：
KP＝KP1-KP2 (3)
第二步：如图1所示，骨骼跟踪坐标系都是在Kinect摄像头坐标系，原点为红外摄像头中心，Z轴为红外摄像头光轴，X轴方向为水平方向，Y轴为垂直方向。为了得到机械臂末端相对于基座的坐标BP，需求出Kinect摄像头坐标系{K}转换到机器人坐标系{B}的旋转矩阵Kinect摄像头坐标系{K}按右手定则绕Z轴旋转-90°，再绕X轴旋转-90°，可得到旋转矩阵
第三步：最终得到机械臂末端相对于基座的坐标BP为：
3、机械臂逆运动学求解：
本发明使用的五自由度机械臂的连杆坐标系如图4所示，D-H参数如下表1所示：
表1机械臂的D-H参数表
在笛卡尔空间中，机器臂运动学逆问题是已知末端相对基座坐标系的姿态和位置、机器臂几何参数，确定其各关节变量的过程。本发明采用反变换法,即在变换矩阵前乘一个或若干个逆变换矩阵，通过比较方程两边对应元素，达到求解运动学逆解的目的。如上所述,由公式(5)可以得到机械臂末端在基坐标系下的位置矢量Bp＝[x,y,z]T，根据表1得到，基于D-H参数机械臂末端坐标系相对于基座坐标系的齐次变换矩阵为:
其中，
r11＝c1c234c5+s1s5；r12＝-c1c234c5+s1s5；r13＝-c1s234；r21＝s1c234c5-c1s5；r22＝-s1c234c5-c1s5；r23＝-s1s234；r31＝-s234c5；r32＝s234c5；r33＝-c234；px＝c1(a2c2+a3c23-d5s234)；py＝s1(a2c2+a3c23-d5s234)；pz＝-a2s2-a3s23+d1-d5c234。
式中s234＝sin(θ2+θ3+θ4)、c234＝cos(θ2+θ3+θ4)，其它情况类似。
运动学方程为：
由(6)、(7)通过代数法可以求出机械臂各关节角的表达式如下：
θ1＝Atan2(px,py) (8)
θ2＝Atan2(s2,c2) (9)
θ5＝Atan2(r11py-r21px,r12py-r22px) (12)
其中
m＝(r13px+r23py+r33(pz-d1)。
式中θ1、θ2、θ3、θ4、θ5是关节变量s1＝sin(θ1)，c1＝cos(θ1)，s23＝sin(θ2+θ3)，c23＝cos(θ2+θ3)，s234＝sin(θ2+θ3+θ4)、c234＝cos(θ2+θ3+θ4)，其它情况类似。
这样，已知末端执行器的位姿代入公式(8)、(9)、(10)、(11)、(12)就可以求出五自由度机械臂的所有关节角。
由于机械臂某些关节存在对称的角度，上述方法求得机械臂末端执行器的某个位姿可能存在多组逆解的情况。然而关节运动受到自身运动范围的限制，所以某些逆解对应的位姿是不可能实现的。在对机械臂进行实际控制时，本发明利用关节限位和从最优路径的角度来对多组逆解进行了取舍。
Claims (6)
1.一种基于Kinect的无标定人机交互控制系统，包括人体骨骼信息获取、计算机软件系统、机械臂，其特征在于：人体深度图像信息获取由Kinect传感器完成，计算机软件系统运用骨骼追踪技术处理获取的景深数据，建立人体20个骨骼点的3D坐标，机械臂的控制系统获取计算机软件系统转换发出的控制指令，控制末端执行器跟随手部运动，实现人手对机械臂末端执行器的实时引导。
2.一种基于Kinect的无标定人机交互控制系统，包括操作者、Kinect传感器、计算机系统、机械臂控制系统，其特征在于：操作者处于Kinect传感器的工作空间内，Kinect传感器通过USB数据线与计算机系统连接，机械臂控制系统通过RS-232接口与计算机系统连接；
该系统包含：人体深度图像信息获取模块、人体骨骼点追踪模块、逆运动学分析模块、下位机通讯模块，
人体深度图像信息获取模块主要由Kinect传感器完成，它以每秒30帧的速度把深度图像传送给计算机系统；
人体骨骼点追踪模块由计算机系统完成，包括图像预处理、人体关节点识别和骨骼数据的平滑处理；
逆运动学分析模块包括人手相对于自身髋骨中心的运动、与机械臂相对于基座的运动之间的映射转换，以及机械臂逆运动学分析与求解；
下位机通讯模块主要完成控制指令的生成、规范指令格式和指令的收发工作。
3.根据权利要求2所述一种基于Kinect的无标定人机交互控制系统，其特征在于：所述深度图像采用640*480的分辨率，帧率为30f/s，使用阈值方法过滤深度数据至1220mm-3810mm这一范围内。
4.一种基于Kinect的无标定人机交互控制方法，其特征在于包括以下步骤：
步骤一：人体深度图像信息获取；
步骤二：图像预处理、人体关节点识别和骨骼数据的平滑处理；
步骤三：人手相对于自身髋骨中心的运动，与机械臂相对于基座运动之间的映射转换，以及机械臂逆运动学分析与求解；
步骤四：控制指令的生成、规范指令格式和指令的收发。
5.一种基于位置增量的移动平均轨迹平滑计算方法，其特征在于：将当前时刻的人手位置信息与前N-1个采样周期内的人手位置信息的平均值，作为当前时刻的主从控制位置信息，并按照时间序列以步长N对Kinect传感器采集到的位置信息进行逐项推移，最终得到整个主从控制过程中期望的位置值，实现对从机械臂末端位置的控制。
6.一种手部对从动机械臂的主从控制方法，其特征在于：
人手与髋骨中心的位置信息在Kinect坐标系下，将其坐标转换到机器人坐标系下，具体实现方法如下：
第一步：从骨骼信息流SkeletonFrame提取出右手在Kinect坐标系{K}下的位置矢量KP1＝[x1,y1,z1]T，以及髋骨中心在{K}下的位置矢量KP2＝[x2,y2,z2]T，由此无需对摄像头进行标定就可以得到Kinect坐标系{K}下操作者右手相对于自身髋骨中心的位置KP：
KP＝KP1-KP2 (3)
第二步：骨骼跟踪坐标系都是在Kinect摄像头坐标系，原点为红外摄像头中心，Z轴为红外摄像头光轴，X轴方向为水平方向，Y轴为垂直方向；为了得到机械臂末端相对于基座的坐标BP，需求出Kinect摄像头坐标系{K}转换到机器人坐标系{B}的旋转矩阵Kinect摄像头坐标系{K}按右手定则绕Z轴旋转-90°，再绕X轴旋转-90°，可得到旋转矩阵
<mrow>
<mmultiscripts>
<mi>T</mi>
<mi>K</mi>
<mi>B</mi>
</mmultiscripts>
<mo>=</mo>
<msub>
<mi>R</mi>
<mi>Z</mi>
</msub>
<mrow>
<mo>(</mo>
<mo>-</mo>
<mfrac>
<mi>&pi;</mi>
<mn>2</mn>
</mfrac>
<mo>)</mo>
</mrow>
<msub>
<mi>R</mi>
<mi>X</mi>
</msub>
<mrow>
<mo>(</mo>
<mo>-</mo>
<mfrac>
<mi>&pi;</mi>
<mn>2</mn>
</mfrac>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>1</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>4</mn>
<mo>)</mo>
</mrow>
</mrow>
第三步：最终得到机械臂末端相对于基座的坐标BP为：
<mrow>
<mmultiscripts>
<mi>P</mi>
<mi>B</mi>
</mmultiscripts>
<mo>=</mo>
<mmultiscripts>
<mi>T</mi>
<mi>K</mi>
<mi>B</mi>
</mmultiscripts>
<mo>&CenterDot;</mo>
<mmultiscripts>
<mi>P</mi>
<mi>k</mi>
</mmultiscripts>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>5</mn>
<mo>)</mo>
</mrow>
<mo>.</mo>
</mrow>
2
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710374954.2A CN107253192A (zh) | 2017-05-24 | 2017-05-24 | 一种基于Kinect的无标定人机交互控制系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710374954.2A CN107253192A (zh) | 2017-05-24 | 2017-05-24 | 一种基于Kinect的无标定人机交互控制系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107253192A true CN107253192A (zh) | 2017-10-17 |
Family
ID=60027393
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710374954.2A Pending CN107253192A (zh) | 2017-05-24 | 2017-05-24 | 一种基于Kinect的无标定人机交互控制系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107253192A (zh) |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108536292A (zh) * | 2018-03-29 | 2018-09-14 | 深圳市芯汉感知技术有限公司 | 一种数据滤波方法及骨骼点坐标精确定位方法 |
| CN108594657A (zh) * | 2018-04-11 | 2018-09-28 | 福建省德腾智能科技有限公司 | 一种基于神经网络的机械臂自适应控制方法 |
| CN108638069A (zh) * | 2018-05-18 | 2018-10-12 | 南昌大学 | 一种机械臂末端精确运动控制方法 |
| CN108919943A (zh) * | 2018-05-22 | 2018-11-30 | 南京邮电大学 | 一种基于深度传感器的实时手部追踪方法 |
| CN109571513A (zh) * | 2018-12-15 | 2019-04-05 | 华南理工大学 | 一种沉浸式移动抓取服务机器人系统 |
| CN109656355A (zh) * | 2018-10-23 | 2019-04-19 | 西安交通大学 | 一种手机与其他显示设备的交互方法及装置 |
| CN109968310A (zh) * | 2019-04-12 | 2019-07-05 | 重庆渝博创智能装备研究院有限公司 | 一种机械臂交互控制方法及系统 |
| CN110245623A (zh) * | 2019-06-18 | 2019-09-17 | 重庆大学 | 一种实时人体运动姿势矫正方法及系统 |
| CN110834331A (zh) * | 2019-11-11 | 2020-02-25 | 路邦科技授权有限公司 | 一种基于视觉控制的仿生机器人动作控制方法 |
| CN111290575A (zh) * | 2020-01-21 | 2020-06-16 | 中国人民解放军空军工程大学 | 一种防空反导武器的多通道交互控制系统 |
| CN111590560A (zh) * | 2020-04-24 | 2020-08-28 | 郭子睿 | 一种通过摄像头远程操作机械手的方法 |
| CN112164092A (zh) * | 2020-10-13 | 2021-01-01 | 南昌航空大学 | 一种广义马尔可夫稠密光流确定方法及系统 |
| CN112651325A (zh) * | 2020-12-22 | 2021-04-13 | 中国传媒大学 | 表演者与虚拟物体交互方法、装置及计算机设备 |
| CN112703092A (zh) * | 2018-07-16 | 2021-04-23 | 快砖知识产权私人有限公司 | 交互系统的备份跟踪 |
| CN112706158A (zh) * | 2019-10-25 | 2021-04-27 | 中国科学院沈阳自动化研究所 | 基于视觉和惯导定位的工业人机交互系统及方法 |
| CN112891922A (zh) * | 2021-03-18 | 2021-06-04 | 山东梦幻视界智能科技有限公司 | 一种虚拟现实体感交互方法 |
| CN113829343A (zh) * | 2021-09-23 | 2021-12-24 | 浙江工业大学 | 基于环境感知的实时多任务多人人机交互系统 |
| CN115922692A (zh) * | 2022-10-27 | 2023-04-07 | 西北工业大学 | 一种面向遥操作的人-机器人多模态交互方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102830798A (zh) * | 2012-07-31 | 2012-12-19 | 华南理工大学 | 单臂机器人基于Kinect的无标记人手跟踪方法 |
| CN104570731A (zh) * | 2014-12-04 | 2015-04-29 | 重庆邮电大学 | 一种基于Kinect的无标定人机交互控制系统及方法 |
| KR20160099335A (ko) * | 2015-02-12 | 2016-08-22 | 재단법인대구경북과학기술원 | 3d 골격데이터를 스트리밍하여 공격적인 행동을 감지하는 장치 및 그 방법 |
| CN106514667A (zh) * | 2016-12-05 | 2017-03-22 | 北京理工大学 | 基于Kinect骨骼追踪和无标定视觉伺服的人机协作系统 |
-
2017
- 2017-05-24 CN CN201710374954.2A patent/CN107253192A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102830798A (zh) * | 2012-07-31 | 2012-12-19 | 华南理工大学 | 单臂机器人基于Kinect的无标记人手跟踪方法 |
| CN104570731A (zh) * | 2014-12-04 | 2015-04-29 | 重庆邮电大学 | 一种基于Kinect的无标定人机交互控制系统及方法 |
| KR20160099335A (ko) * | 2015-02-12 | 2016-08-22 | 재단법인대구경북과학기술원 | 3d 골격데이터를 스트리밍하여 공격적인 행동을 감지하는 장치 및 그 방법 |
| CN106514667A (zh) * | 2016-12-05 | 2017-03-22 | 北京理工大学 | 基于Kinect骨骼追踪和无标定视觉伺服的人机协作系统 |
Non-Patent Citations (1)
| Title |
|---|
| 尚华强: "基于Kinect的虚拟人物动作仿真研究", 《中国优秀硕士学位论文全文数据库(电子期刊)》 * |
Cited By (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108536292A (zh) * | 2018-03-29 | 2018-09-14 | 深圳市芯汉感知技术有限公司 | 一种数据滤波方法及骨骼点坐标精确定位方法 |
| CN108594657A (zh) * | 2018-04-11 | 2018-09-28 | 福建省德腾智能科技有限公司 | 一种基于神经网络的机械臂自适应控制方法 |
| CN108638069A (zh) * | 2018-05-18 | 2018-10-12 | 南昌大学 | 一种机械臂末端精确运动控制方法 |
| CN108638069B (zh) * | 2018-05-18 | 2021-07-20 | 南昌大学 | 一种机械臂末端精确运动控制方法 |
| CN108919943A (zh) * | 2018-05-22 | 2018-11-30 | 南京邮电大学 | 一种基于深度传感器的实时手部追踪方法 |
| CN112703092A (zh) * | 2018-07-16 | 2021-04-23 | 快砖知识产权私人有限公司 | 交互系统的备份跟踪 |
| CN109656355A (zh) * | 2018-10-23 | 2019-04-19 | 西安交通大学 | 一种手机与其他显示设备的交互方法及装置 |
| CN109571513B (zh) * | 2018-12-15 | 2023-11-24 | 华南理工大学 | 一种沉浸式移动抓取服务机器人系统 |
| CN109571513A (zh) * | 2018-12-15 | 2019-04-05 | 华南理工大学 | 一种沉浸式移动抓取服务机器人系统 |
| CN109968310A (zh) * | 2019-04-12 | 2019-07-05 | 重庆渝博创智能装备研究院有限公司 | 一种机械臂交互控制方法及系统 |
| CN110245623A (zh) * | 2019-06-18 | 2019-09-17 | 重庆大学 | 一种实时人体运动姿势矫正方法及系统 |
| CN112706158A (zh) * | 2019-10-25 | 2021-04-27 | 中国科学院沈阳自动化研究所 | 基于视觉和惯导定位的工业人机交互系统及方法 |
| CN110834331A (zh) * | 2019-11-11 | 2020-02-25 | 路邦科技授权有限公司 | 一种基于视觉控制的仿生机器人动作控制方法 |
| CN111290575A (zh) * | 2020-01-21 | 2020-06-16 | 中国人民解放军空军工程大学 | 一种防空反导武器的多通道交互控制系统 |
| CN111590560A (zh) * | 2020-04-24 | 2020-08-28 | 郭子睿 | 一种通过摄像头远程操作机械手的方法 |
| CN112164092B (zh) * | 2020-10-13 | 2022-09-27 | 南昌航空大学 | 一种广义马尔可夫稠密光流确定方法及系统 |
| CN112164092A (zh) * | 2020-10-13 | 2021-01-01 | 南昌航空大学 | 一种广义马尔可夫稠密光流确定方法及系统 |
| CN112651325A (zh) * | 2020-12-22 | 2021-04-13 | 中国传媒大学 | 表演者与虚拟物体交互方法、装置及计算机设备 |
| CN112891922A (zh) * | 2021-03-18 | 2021-06-04 | 山东梦幻视界智能科技有限公司 | 一种虚拟现实体感交互方法 |
| CN112891922B (zh) * | 2021-03-18 | 2022-11-22 | 山东梦幻视界智能科技有限公司 | 一种虚拟现实体感交互方法 |
| CN113829343A (zh) * | 2021-09-23 | 2021-12-24 | 浙江工业大学 | 基于环境感知的实时多任务多人人机交互系统 |
| CN113829343B (zh) * | 2021-09-23 | 2023-09-29 | 浙江工业大学 | 基于环境感知的实时多任务多人人机交互系统 |
| CN115922692A (zh) * | 2022-10-27 | 2023-04-07 | 西北工业大学 | 一种面向遥操作的人-机器人多模态交互方法 |
| CN115922692B (zh) * | 2022-10-27 | 2024-08-30 | 西北工业大学 | 一种面向遥操作的人-机器人多模态交互方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107253192A (zh) | 一种基于Kinect的无标定人机交互控制系统及方法 | |
| CN110480634B (zh) | 一种针对机械臂运动控制的手臂引导运动控制方法 | |
| CN104570731A (zh) | 一种基于Kinect的无标定人机交互控制系统及方法 | |
| Zou et al. | An end-to-end calibration method for welding robot laser vision systems with deep reinforcement learning | |
| US11504846B2 (en) | Robot teaching system based on image segmentation and surface electromyography and robot teaching method thereof | |
| KR20120025582A (ko) | 로봇의 교시 데이터를 작성하는 방법 및 로봇 교시 시스템 | |
| CN104325268A (zh) | 一种基于智能学习的工业机器人三维空间自主装配方法 | |
| CN105319991B (zh) | 一种基于Kinect视觉信息的机器人环境识别与作业控制方法 | |
| CN113814986B (zh) | 一种基于机器视觉控制scara机器人的方法及系统 | |
| CN109968310A (zh) | 一种机械臂交互控制方法及系统 | |
| CN114536346B (zh) | 一种基于人机协作和视觉检测的机械臂精确路径规划方法 | |
| Fanello et al. | 3D stereo estimation and fully automated learning of eye-hand coordination in humanoid robots | |
| JP2007066094A (ja) | 姿勢推定装置および姿勢推定方法 | |
| CN113829343A (zh) | 基于环境感知的实时多任务多人人机交互系统 | |
| Grigorescu et al. | Robust camera pose and scene structure analysis for service robotics | |
| Zhang et al. | A real-time upper-body robot imitation system | |
| Bimbo et al. | Object pose estimation and tracking by fusing visual and tactile information | |
| CN102830798A (zh) | 单臂机器人基于Kinect的无标记人手跟踪方法 | |
| Han et al. | Grasping control method of manipulator based on binocular vision combining target detection and trajectory planning | |
| CN115576426A (zh) | 一种针对混合现实飞行模拟器的手部交互方法 | |
| CN117428777A (zh) | 一种拆袋机器人的手眼标定方法 | |
| Stoeva et al. | Analytical solution of pepper’s inverse kinematics for a pose matching imitation system | |
| Wang et al. | Towards autonomous control of surgical instruments using adaptive-fusion tracking and robot self-calibration | |
| WO2019153985A1 (zh) | 一种基于陀螺仪的机械手臂热源追踪辅助系统及其方法 | |
| Bonnet et al. | Toward an affordable and user-friendly visual motion capture system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20171017 |
|
| RJ01 | Rejection of invention patent application after publication |