CN104589356A - 基于Kinect人手运动捕捉的灵巧手遥操作控制方法 - Google Patents

Abstract

本发明涉及基于Kinect人手运动捕捉的灵巧手遥操作控制方法。实现所述方法的硬件包括：Kinect传感器，计算机和遥机器人灵巧手系统。首先利用混合活动轮廓模型跟踪手部外轮廓后，应用粒子滤波算法实现手部姿态跟踪。然后通过机器人实时传输的反馈图像信息，观察远端情况，从而实施特定操作任务。本发明采取结合深度信息以及YCbCr肤色检测空间技术的活动轮廓模型，解决了图像含有强噪音或目标具有弱边界时很难得到真实解的问题；本发明采取基于模板匹配的粒子滤波姿态检测方法，可以检测并估计高维特征的人手三维姿态；本发明采用手控模式与程序模式相结合的主从操作方式，简便、快捷，体现了人机交互的指导性、易用性。

Description

基于Kinect人手运动捕捉的灵巧手遥操作控制方法

技术领域

本发明涉及人机交互及远程遥操作机器人控制技术领域，特别是涉及一种通过人手姿态采集实现多指灵巧手的遥操作控制方法。

背景技术

随着人类在复杂环境下的探索活动越来越频繁，在救援、排爆等危险工作中，机器人展现出了独特的优势。在对空间探测、海洋开发、国防建设等领域的研究中，需要大量能够工作在危险环境下的智能机器人，以完成机器检修、装备修理、战场探雷、排爆等灵巧且复杂的操作任务。

遥操作技术是通过分析远程机器人执行端传来的实时现场环境数据，使操作者根据远程机器人执行端所处环境的具体情况对其进行遥操作，以完成特定工作。专业人员通过遥操作技术，对在危险、极端的环境下工作的机器人进行远程控制，不仅可以完成复杂的工作，同时可以保证操作人员的安全。

目前由于传统机械臂的末端一般采用夹持器，虽然可以完成大多数特定任务，但是由于存在灵活性欠缺、抓取方式有限等不足，难于完成机器检修、装备修理、战场探雷、排爆等精细任务。与此同时，操作者由于远离现场，对于现场感知往往面临着大时延、真实性差等问题，使远程操作任务变得更加困难。因此，需要用多指灵巧手取代机器人末端的夹持器，并充分利用机器人获取场景环境信息，通过操作者与遥操作机器人的相互配合，与机器手臂协调工作，共同完成各种灵巧且复杂的操作任务。

为了实现具有良好交互性能的灵巧手实时控制，就需要对控制者手势信息进行采集。目前手势信息的采集方法有采用数据手套和基于计算机视觉等方法。基于视觉采集手势姿态信息的方法具有输入设备简单、造价低廉等优点，但是检测并估计具有高维特征的人手三维姿态仍具有一定难度。

发明内容

本发明提供一种灵巧手的新型遥操作人机交互方法。首先利用先验知识，建立手部模型，同时改进提取手部信息的方法，使用混合活动轮廓模型跟踪手部外轮廓，应用粒子滤波算法实现手部姿态跟踪。为解决大时延的问题，在反馈图像中合成现场实际灵巧手的情况，结合机器人实时传输的反馈图像信息，观察远端情况。为灵巧手遥操作提供了一种新型的人机交互方式，即将人手运动捕捉技术应用于机器人遥操作领域，增强操作者的体验感，提高多自由度灵巧手控制灵活性，提高实施特定操作任务的效率。

一种基于Kinect人手运动捕捉的灵巧手遥操作控制方法，实现所述方法的设备包括：Kinect传感器，计算机，遥机器人灵巧手系统，网络传输设备。Kinect传感器用于获得图像数据；计算机包括图像处理单元和手势识别单元，用于对图像数据进行处理和手势识别；遥机器人灵巧手系统包括操作控制单元、灵巧手执行单元和图像采集处理单元，图像采集处理单元包括双目摄像头、二自由度云台和数据处理器等。遥机器人灵巧手系统用于获取控制信息，远程控制灵巧手执行操作任务，将图像采集处理单元获得的图像信息通过网络传输设备送至计算机的图像处理单元进行处理，并将灵巧手执行单元工作情况信息同时反馈至操作者。其特征在于，所述方法包括以下步骤：

步骤1，Kinect传感器获得操作者的深度和彩色图像数据，同时识别得到操作者的人手位置，并将数据传送给计算机内部的图像处理单元。

步骤2，图像处理单元结合彩色及深度信息RGB-D，应用RGB-D信息融合的活动轮廓算法对图像进行处理，并将处理后的图像数据传送至计算机内部的手势识别单元。

步骤3，手势识别单元通过分析图像数据，采用基于模板匹配的粒子滤波姿态检测方法预测人手姿态进行手势识别，并将手部关节各角度变化值通过网络传输给遥机器人灵巧手系统。

步骤4，遥机器人灵巧手系统通过网络传输设备，将图像采集处理单元获得的远端环境图像和遥机器人灵巧手关节的姿态等信息进行编码压缩处理后传输给计算机，计算机将这些信息进行处理合成后通过计算机的显示器反馈给操作者。

步骤2所述应用RGB-D信息融合的活动轮廓算法包括以下内容：

步骤2.1，活动轮廓模型初始化，之后进行反复迭代获得手部轮廓信息。本发明利用Kinect提取手部中心位置，得到的手部轮廓作为算法的初始值。

步骤2.2，结合深度信息以及YCbCr肤色检测空间定义深度与肤色能量泛函，确定手部区域。

基于肤色高斯混合模型能量泛函E_s(C)为：

其中，下标s表示基于颜色信息的，g_s(p)表示图像任意点p的高斯混合模型的概率密度函数，表示高斯混合模型的概率密度函数均值，λ_si、λ_so分别表示肤色高斯混合模型的轮廓内部、外部的权重系数，inside(C)、outside(C)分别表示在轮廓曲线C内部区域和外部区域。

步骤2.3，将深度信息转化为灰色图像信息，将像素点值相似度评价作为曲线活动的能量泛函E_d(C)，其表达式如下：

其中，下标d表示基于深度信息的参数，λ_di、λ_do分别表示深度灰色图像轮廓的内部、外部的权重系数，表示内部灰度的值的平均值。

步骤2.4，根据步骤2.2、2.3得到全局能量泛函E_m(C，c_in，c_out)，公式如下：

E_m(C,c_in,c_out)＝E_g(C，c_in,c_out)+E_s(C)+E_d(C) (3)其中，E_g(C，c_in，c_out)为经典Chan-Vese模型。

步骤3所述的手势识别方法包括以下内容：

步骤3.1，在对人手模型进行数学分析的基础上，根据初始轮廓长宽，自适应地建立手部各骨骼关节长度值，通过3D Max建模软件建立虚拟三维人手模型。建立骨骼之间的树状的层次关系，各关节点的骨骼变换矩阵。将不同关节角度值对应建立模型的轮廓、深度图等信息，作为粒子滤波评价模板。

步骤3.2，根据手势姿态变化的连续性的特点，通过基于模板匹配的粒子滤波姿态检测方法，从已知的初始姿态，将轮廓信息和深度信息进行融合，采用分析目标轮廓变化的趋势，预测下一帧图像中手部姿态。基于模板匹配的粒子滤波姿态检测方法包含以下步骤：

步骤3.2.1，将初始位置各关节角度作为目标初始状态分布，用表示状态分布。粒子滤波器为每个目标分配N个粒子，其权值w_i，初始化权值为1/N，每个粒子代表目标一个可能的状态。状态转移方程为：

X_t＝f_t(X_t-1，W_t) (4)

其中，W_t为引入的高斯白噪声。

步骤3.2.2，将权值进行更新，将各个粒子进行状态转移，对其进行系统观测，观察每个粒子所代表的目标与上述对应模型的相似程度，接近目标真实的粒子将赋予较大的权值，反之权值较小。

步骤3.2.3，对权值进行重采样，产生N个新的粒子，估计状态并输出。

图像采集处理单元采用双目立体视觉与二维云转动平台的设置方式，可以扩大远程机器人环境感知能力，通过图像数据解析、图像处理、图像特征点匹配、三维环境重构及显示等过程，可以使操作人员更好地了解周围环境的信息。同时，图像信息中反馈了执行操作任务的灵巧手执行情况，与执行器返回的信息进行对比，实现灵巧手工作姿态的精准定位。

由于操作人员直接控制远程机器人，不可避免地会造成疲劳现象，在考虑到机器人工作任务具有重复性，以及充分提高人机交互方式的基础上，本发明提出一种远程遥操作系统远程控制方式，由操作控制单元实现将手控模式与程序模式相结合的主从式操作方式。具体方法如下：

在手控模式时，操作者摆出特定手势，并持续一定时间。这时计算机显示器上的控制系统界面将弹出智能控制菜单。在设定时间内操作者或选择进入程序模式，或保持不动或者动作范围小于规定范围，继续手控模式。进入程序模式时，通过选择菜单中预设的特定动作进行控制。退出菜单时，可以选择退出至手控模式或者退出控制系统界面。

与现有技术相比，本发明具有以下优势：

(1)本发明采取结合深度信息以及YCbCr肤色检测空间技术的活动轮廓模型，解决了图像含有强噪音或目标具有弱边界时很难得到真实解的问题，能得到令人满意的分割、跟踪效果；

(2)采用Kinect主动红外技术获取深度信息，对光照变化不明显，可以解决单纯的颜色跟踪易受光照的问题，且成本较低；

(3)本发明在对人手模型进行数学分析的基础上，采取基于模板匹配的粒子滤波姿态检测方法，可以检测并估计高维特征的人手三维姿态；

(4)本发明采用手控模式与程序模式相结合的主从式操作方式，通过手势选取已定义的常用动作，操作灵巧手执行特定任务，简便、快捷，体现了人机交互的指导性、易用性。

附图说明

图1为实现本发明所述方法的系统结构框图；

图2为实现本发明所述方法的硬件连接示意图；

图3为本发明实施例灵巧手控制流程图；

图4为手掌长度和宽度示意图；

图5为人手三维虚拟模型(包含骨骼)；

图6为手指各关节关系示意图。

具体实施方式

结合附图和实施例对本发明做进一步详细说明。

图1和图2分别展示了实现本发明的系统结构框图以及系统硬件连接示意图。本系统是一种主从式的遥操作系统，系统包括人机接口系统和遥机器人灵巧手系统。人机接口系统由Kinect传感器和计算机组成。Kinect传感器用于获得图像数据。计算机包括图像处理单元和手势识别单元，用于对图像数据进行处理和手势识别。遥机器人灵巧手系统由操作控制单元、灵巧手执行单元和图像采集处理单元组成，图像采集处理单元包括双目摄像头、二自由度云台、数据处理器等。遥机器人灵巧手系统用于获取控制信息，远程控制灵巧手执行操作任务，并将双目视觉信息通过网络传输至图像处理单元进行处理，并将执行器工作情况信息，同时反馈至操作者。

基于Kinect人手运动捕捉的灵巧手遥操作控制方法流程图如图3所示，包括以下步骤：

步骤1，Kinect传感器获得操作者的深度和彩色图像数据，同时识别得到操作者的人手位置，并将数据传送给计算机内部的图像处理单元。

要求操作人员站在距离Kinect前方1m左右的位置，通过OpenNI的API函数，获取操作者手心位置的信息，以及手心的初始深度信息。

步骤2，图像处理单元结合彩色及深度信息RGB-D，应用RGB-D信息融合的活动轮廓算法对图像进行处理，并将处理后的图像数据传送至计算机内部的手势识别单元。

基于RGB-D信息的活动轮廓算法包括以下步骤：

活动轮廓模型需要预先初始化，之后进行反复迭代获得手部轮廓信息。本发明利用Kinect提取手部中心位置(x,y,z)，以中心位置在x-y平面做一个半径为R(＝70像素)的圆形区域为兴趣域，将深度图像设定深度阈值为[z-10,z+10](单位：cm)范围内为有效深度；得到的手部轮廓作为算法的初始值。建立目标初始轮廓结合了彩色、深度等信息，本发明应用C-V模型使其收敛得到目标的最终的轮廓。

结合深度信息以及YCbCr肤色检测空间定义了深度与肤色能量泛函：确定手部区域，将检测目标受光照的影响大大减小，解决了传统的活动轮廓模型用于图像分割往往基于目标的边界信息，在图像含有强噪音或目标具有弱边界时很难得到真实解的问题，能得到令人满意的分割、跟踪效果。

YCbCr肤色模型的优点是可以很好地得到皮肤区域空间通过对肤色区域轮廓提取，融合了深度数据后，手部检测受光照的影响将被大大减小。将上述外轮廓用于基于RGB-D图像活动轮廓算法的初始轮廓，图像是M×N×Channel的矩阵，In(x，y)代表第n幅图像，通过活动轮廓法得到的最小化能量函数为E_g，将手部图像u₀自动分割及跟踪，可以得到视频对象精准的外轮廓。其中经典Chan-Vese模型的表达为：

其中，L(C)为闭合轮廓线C的长度，S(C)为轮廓C内部面积，μ、γ分别为轮廓C长度和面积的能量常数，μ，γ≥0，λ_in、λ_out分别代表彩色图像的内部、外部的权重系数，λ_in，λ_out＞0，c_in、c_out分别表示彩色图像的均值。

高斯混合模型是M个高斯密度函数的线性组合，将图像分为M类按高斯分布的同质区域，像素分布的混合概率函数定义形式如下：

其中，π_i代表混合参数，表示先验概率，N_i(x,μ_i,Σ_i)是以μ_i为均值，Σ_i为方差的高斯分布，概率密度函数为：

在各高斯分布中的参数值(μ_i,Σ_i)是由用K均值聚类算法处理样本X，得到GMM参数的初始值，然后通过EM算法不断迭代计算得到各高斯分布的最终参数值。在一个数据集中，样本以不同概率属于各自的高斯分布，EM算法的目的求解模型分布参数的极大似然估计方法。

在此考虑运算速度的影响，设定K取2。建立GMM模型，基于肤色高斯混合模型能量泛函如公式(1)所示。

将深度信息转化为灰色图像信息，将像素点值相似度评价作为曲线活动的能量泛函，其表达式如公式(2)所示。

从而得到全局能量泛函，如公式(3)所示。

当轮廓逐渐接近人手轮廓时，能量函数逐渐收敛，当小于阈值时ε，转到下一步，否则，继续调整轮廓。

最后，保存轮廓信息，退出该算法。

步骤3，手势识别单元通过分析获取的图像数据，采用基于模板匹配的粒子滤波姿态检测方法预测人手姿态进行手势识别，并将手部关节各角度变化值通过网络传输给遥机器人灵巧手系统。

分析与建立人手虚拟模型的方法如下：

通过点云数据P1，初始化手部模型M，手部状态矩阵p，其中M包括手部长度HL，宽度HB信息，如图4所示，指骨与数据间的具体关系见表1。

表1 手指掌骨长度关系

表2手指其他指骨长度关系

建立虚拟三维人手，采用3D Max三维建模软件画出逼真的人手模型，如图5所示。将建立的虚拟的三维模型使用蒙皮算法绑定骨骼，将模型文件存储为MD5文件格式，用以提取模型的顶点、法向量、渲染信息，以及各骨骼长度、初始位置、向量等数据，之后将其存储到计算机模型缓冲器中。

将各关节节点形成树状结构，如图6所示，其中手腕关节点为五指掌骨末端关节的父节点，各五指掌骨末端关节的父节点为对应五指近骨末端关节的父节点，由于大拇指没有中骨，其余四指的近骨末端关节为其中骨末端关节的父节点，大拇指近骨末端关节为期远骨末端关节的父节点，其余四指的中骨末端关节为其近骨末端关节的父节点。

父节点移动直接先作用到子节点上，子节点也跟着作同样的运动，直到树状结构的末端。每个关节的运动信息可以抽象成一个变换矩阵M_joint，每个时刻给予每个节点一个变换矩阵，变换节点的位置和旋向以驱动骨架。将矩阵依次左乘该节点的树分支上各级父节点的变换矩阵，得到就是基坐标下该节点的真正变换矩阵M_总了。

根据树状的层次关系，得到的各关节点的骨骼变换矩阵：腕骨以及五指的掌骨、近骨、中骨、远骨。通过控制关节的位置和旋转，可以控制整个骨骼，通过蒙皮算法完成绑定骨骼，而整个骨骼也就影响模型的外皮(顶点网格)。

所得到的顶点网格数据通过OpenGL工具模拟显示虚拟模型，可变参数包括五指末端坐标，以及手腕坐标及旋转向量，这些参数设为状态p。通过人手数学模型分析，可以将p带入X＝f(p，M)，其中，X是包括25个关节点在内的变换矩阵；M为人手固有的模型参数，包含各关节的角度约束。建立D-H坐标系，计算各关节坐标系之间的数学关系，求解多指手运动学正反解。通过建立模型函数，可以减少后续粒子滤波的搜索空间范围，加速了优化速率。

基于模板匹配的粒子滤波姿态检测方法主要步骤如下：

基于粒子滤波适用于任何能用状态空间模型表示的线性系统，以及传统卡尔曼滤波无法表示的非线性系统，精度可逼近最有估计。本发明采用改进的粒子滤波算法，融合深度边缘信息，多特征融合的似然模型使粒子滤波算法的稳定性、鲁棒性得到提高。

根据手势姿态变化的连续性，可以从已知的初始姿态，分析目标轮廓变化的趋势，预测出下一帧图像中手部姿态。

从系统状态转移和观测模型方程，建立基于模板匹配的粒子滤波姿态检测方法如下：

建立系统状态转移和观测模型：

将初始位置各关节角度作为目标初始状态分布，用表示状态分布。粒子滤波器为每个目标分配N个粒子，其权值w_i，初始化权值为1/N，每个粒子代表目标一个可能的状态。状态转移方程如公式(4)所示。

将权值进行更新，将各个粒子进行状态转移，对其进行系统观测，观察每个粒子所代表的目标与上述对应模型的相似程度，接近目标真实的粒子将赋予较大的权值，反之权值较小。

评价模型与观测图像目标深度相似程度，采用欧式距离函数：

其中，T(X_t)为模型在状态X_t时的深度值图像，I_t为当前一帧图像。

采用Hausdorff距离评价模型与观测图像目标边缘相似程度：

其中，深度观测似然函数值表示为：

其中，轮廓观测似然函数值p_e(Z_t|X_t)为：

根据p_s(Z_t|X_t)，p_e(Z_t|X_t)可以得到每个粒子对应的深度观测似然函数值以及轮廓观测似然函数值为了提高粒子滤波识别的鲁棒性，本发明使用了基于可信度的多特征融合策略，可信度e_s、e_e可分别由p_s(Z_t|X_t)，p_e(Z_t|X_t)计算得到。两个特征信息根据可信度定义了权重值。所以每个粒子状态对应的总的观测似然函数值为：

根据(13)、(14)式计算每个粒子的权值

重采样，将所有权值累加得到数组acc[j]，即：

产生N个位于区间内的随机数r₁,r₂,…,r_N，如果r_i＜acc[i]，则粒子i产生新粒子，新粒子权值为1/N，位置为x_i+v，v为随机噪声。循环直至产生N个新粒子，重采样结束，估计状态输出：

步骤4，遥机器人灵巧手系统通过网络传输设备，将图像采集处理单元获得的远端环境图像和遥机器人灵巧手关节的姿态等信息进行编码压缩处理后传输给计算机，计算机的图像处理单元将这些信息进行处理合成后通过计算机的显示器反馈给操作者。

反馈图像数据获取及交互主要通过以下方式实现：图像采集通过遥机器人上携带的移动平台视觉系统进行。具有视差的图像经过压缩通过网络传输给人机接口系统，实现分析场景的三维信息，构建三维地图等。同时，将遥机器人灵巧手系统状态传递给操作者。实现了操作者对遥机器人的闭环控制，使操作者可根据远端情况，操作机器人执行特定任务。

具体包括以下步骤：

步骤4.1，旋转二自由度云台至预设位置，以此位置的图像数据确定遥机器人的初始位置信息，使用预先标定好的双目摄像头采集具有视差的图像数据；

步骤4.2，利用数据处理器将步骤4.1获得的两幅具有视差的图像数据进行图像编码压缩，采用JPEG2000格式编码；

步骤4.3，将压缩后的图像数据按照报文格式，打包后发送到计算机的图像处理单元；

步骤4.4，图像处理单元接收到数据后，进行解包操作，并将压缩的图像格式解码为可方便操作的RGB格式数据；

步骤4.5，根据双目摄像头内外参数得到的透视投影矩阵，利用最小二乘法得到三维图像的坐标；

步骤4.6，将采集的三维图像数据与步骤3建立的虚拟人手模型图像合成，并将虚拟人手透明度设为50％，增加视觉临场感，同时在计算机显示器上显示灵巧手执行端各电机动作情况，可以通过立体显示器、视频眼镜等多种方式供操作者参考。

远程通信方式采用基于TCP/IP协议建立的传输方式。遥操作通信网络由局域网、无线路由器、无线网卡组成。首先设置好IP地址、子网掩码等参数，将遥操作机器人与服务器连接在同一个局域网内，可实现远程操作段和控制端的无线通信。本发明选择TCP/IP协议来实现遥操作工程机器人系统的无线网络通信。

网络的建立以及控制信号传输具体包括以下步骤：

(1)创建Socket：设置网络程序所在主机协议为Internet网络通信，设置网络程序所采用的通信协议为TCP/IP协议；

(2)连接服务器：通信端口设置好后，客户端可以向服务器端发送建立连接的请求，发送服务器端的连接信息，包括服务器的IP地址，通信端口号等信息；

(3)数据通信：服务器接受客户端的连接请求后，双方就可以进行通信了发送端将向对应端口发送设定好的报文数据，；

(4)关闭Socket：通讯结束后，关闭连接的套接口文件，关闭后就不再对套接口进行任何读写操作。远程遥操作系统远程控制方式：

本发明采用主从式的遥操作方法，操作人员根据机器人反馈的图像和信息观察机器人所处环境以及操作情况，明确下一步的动作，对机器人灵巧手系统提供必要的修正和改进，辅助器完成任务。由于操作人员直接控制远程机器人，不可避免地会造成疲劳现象，在考虑到机器人工作任务具有重复性，以及充分提高人机交互方式的基础上，提出了一种远程遥操作系统远程控制方式。

在操作者手控模式下，系统将手势信息通过网络对远程机器人灵巧手进行控制，操作者可以通过通信系统与远程机器人进行信息共享，对机器人进行任务的分配和决策。利用手势的多义性，操作者可轻松的实现手动模式与程序模式的转换。本发明采用将手控模式与程序模式相结合的方式。具体方法如下：

(1)进入菜单，选择手控模式，则转至步骤(2)，选择程序模式，则转至步骤(3)；

在遥操作反馈界面中，若操作者摆出特定手势时并持续一定时间，则触发程序控制控件，并保持控件禁止询问是否弹出智能控制菜单，若操作者在设定时间内选择是，则调直步骤3，若操作者保持不动，则继续手控模式；

(2)操做者进入菜单中，选择包含预设的特定动作，通过预设动作操作远程机器人，例如：绕定轴转动动作，抓取动作，展开手掌动作等；菜单控件中同时提供动作设定的接口，增加特定的动作指令，并将指令数据存储到本地数据库中；

(3)退出菜单时，选择退出至手控模式，则跳至步骤(2)，退出遥操作控制，则系统推出。

这种控制方式通过手势选取已定义的常用动作，操作灵巧手执行特定任务，简便、快捷，体现了人机交互的指导性、易用性。

Claims (5)

1.基于Kinect人手运动捕捉的灵巧手遥操作控制方法，实现所述方法的设备包括：Kinect传感器，计算机，遥机器人灵巧手系统，网络传输设备；Kinect传感器用于获得图像数据；计算机包括图像处理单元和手势识别单元，用于对图像数据进行处理和手势识别；遥机器人灵巧手系统包括操作控制单元、灵巧手执行单元和图像采集处理单元，图像采集处理单元包括双目摄像头、二自由度云台和数据处理器；遥机器人灵巧手系统用于获取控制信息，远程控制灵巧手执行操作任务，将图像采集处理单元获得的图像信息通过网络传输设备送至计算机的图像处理单元进行处理，并将灵巧手执行单元工作情况信息同时反馈至操作者；其特征在于，所述方法包括以下步骤：

步骤1，Kinect传感器获得操作者的深度和彩色图像数据，同时识别操作者的人手位置，并将数据传送给计算机内部的图像处理单元；

步骤2，图像处理单元结合彩色及深度信息RGB-D，应用RGB-D信息融合的活动轮廓算法对图像进行处理，并将处理后的图像数据传送至计算机内部的手势识别单元；

步骤3，手势识别单元通过分析图像数据，采用基于模板匹配的粒子滤波姿态检测方法预测人手姿态进行手势识别，并将手部关节各角度变化值通过网络传输设备送给遥机器人灵巧手系统；

步骤4，遥机器人灵巧手系统通过网络传输设备，将图像采集处理单元获得的远端环境图像和遥机器人灵巧手关节的姿态等信息进行编码压缩处理后传输给计算机，计算机的图像处理单元将这些信息进行处理合成后通过计算机的显示器反馈给操作者；具体包括以下步骤：

步骤4.1，旋转二自由度云台至预设位置，以此位置的图像数据确定遥机器人的初始位置信息，使用预先标定好的双目摄像头采集具有视差的图像数据；

步骤4.2，利用数据处理器将步骤4.1获得的两幅具有视差的图像数据进行图像编码压缩，采用JPEG2000格式编码；

步骤4.3，将压缩后的图像数据按照报文格式，打包后发送到计算机的图像处理单元；

步骤4.4，图像处理单元接收到数据后，进行解包操作，并将压缩的图像格式解码为可方便操作的RGB格式数据；

步骤4.5，根据双目摄像头内外参数得到的透视投影矩阵，利用最小二乘法得到三维图像的坐标；

步骤4.6，将采集的三维图像数据与步骤3建立的虚拟人手模型图像合成，并将虚拟人手透明度设为50％，增加视觉临场感，同时在计算机显示器上显示灵巧手执行单元各电机动作情况。

2.根据权利要求1所述的基于Kinect人手运动捕捉的灵巧手遥操作控制方法，其特征在于，步骤2所述应用RGB-D信息融合的活动轮廓算法包括以下内容：

步骤2.1，活动轮廓模型初始化，之后进行反复迭代获得手部轮廓信息；

利用Kinect提取手部中心位置，得到的手部轮廓作为算法的初始值；

步骤2.2，结合深度信息以及YCbCr肤色检测空间定义深度与肤色能量泛函，确定手部区域；

基于肤色高斯混合模型能量泛函E_s(C)为：

其中，下标s表示基于颜色信息的，g_s(p)表示图像任意点p的高斯混合模型的概率密度函数，表示高斯混合模型的概率密度函数均值，λ_si、λ_so分别表示肤色高斯混合模型的轮廓内部、外部的权重系数，inside(C)、outside(C)分别表示在轮廓曲线C内部区域和外部区域；

步骤2.3，将深度信息转化为灰色图像信息，将像素点值相似度评价作为曲线活动的能量泛函E_d(C)，其表达式如下：

其中，下标d表示基于深度信息的参数，λ_di、λ_do分别表示深度灰色图像轮廓的内部、外部的权重系数，表示内部灰度的值的平均值；

步骤2.4，根据步骤2.2、2.3得到全局能量泛函E_m(C，c_in，c_out)，公式如下：

E_m(C,c_in,c_out)＝E_g(C,c_in,c_out)+E_s(C)+E_d(C)

其中，E_g(C，c_in，c_out)为经典Chan-Vese模型。

3.根据权利要求1所述的基于Kinect人手运动捕捉的灵巧手遥操作控制方法，其特征在于，步骤3所述的手势识别方法包括以下内容：

步骤3.1，在对人手模型进行数学分析的基础上，根据初始轮廓长宽，自适应地建立手部各骨骼关节长度值，通过3D Max建模软件建立虚拟三维人手模型；建立骨骼之间的树状的层次关系，各关节点的骨骼变换矩阵；将不同关节角度值对应建立模型的轮廓、深度图信息，作为粒子滤波评价模板；

步骤3.2，根据手势姿态变化的连续性的特点，通过基于模板匹配的粒子滤波姿态检测方法，从已知的初始姿态，将轮廓信息和深度信息进行融合，采用分析目标轮廓变化的趋势，预测下一帧图像中手部姿态。

4.根据权利要求3所述的基于Kinect人手运动捕捉的灵巧手遥操作控制方法，其特征在于，步骤3.2所述基于模板匹配的粒子滤波姿态检测方法包含以下步骤：

(1)将初始位置各关节角度作为目标初始状态分布，用表示状态分布；粒子滤波器为每个目标分配N个粒子，其权值w_i，初始化权值为1/N，每个粒子代表目标一个可能的状态；状态转移方程为：

X_t＝f_t(X_t-1，W_t)

其中，W_t为引入的高斯白噪声；

(2)将权值进行更新，将各个粒子进行状态转移，对其进行系统观测，观察每个粒子所代表的目标与上述对应模型的相似程度，接近目标真实的粒子将赋予较大的权值，反之权值较小；

(3)对权值进行重采样，产生N个新的粒子，估计状态并输出。

5.根据权利要求1所述的基于Kinect人手运动捕捉的灵巧手遥操作控制方法，其特征在于，由所述操作控制单元实现手控模式与程序模式相结合的主从操作方式，具体方法如下：

在手控模式时，操作者摆出特定手势，并持续一定时间；这时计算机显示器上的控制系统界面将弹出智能控制菜单；在设定时间内操作者或选择进入程序模式，或保持不动或者动作范围小于规定范围，继续手控模式；进入程序模式时，通过选择菜单中预设的特定动作进行控制；退出菜单时，选择退出至手控模式或者退出控制系统界面。