CN101256673A - 用于在实时视频跟踪系统中跟踪手臂运动的方法 - Google Patents

Abstract

本发明涉及一种用于在沉浸式交互游戏、危险性工业控制和虚拟现实等领域实现形象化的跟踪手臂运动的方法。目前方法不十分符合人的日常交互习惯。本发明方法是：通过分析实时图像序列中腕部和肘部的标识环颜色信息，对手臂位置进行粗略目标窗口定位；然后对来自两个同步摄像头的粗略目标窗口分别进行标识环提取和特征点三维重建；最后基于模糊预测控制技术对肘部和腕部的三维特征点序列进行鲁棒控制，生成稳定的导航控制信号。本发明方法可以实现六自由度手臂导航操作，交互时人的手臂和手能处于自然状态，使交互者能够以自然的方式进行人机交互，更加符合人类的日常行为习惯。

Description

用于在实时视频跟踪系统中跟踪手臂运动的方法

技术领域

本发明属于自动控制技术领域，涉及一种融合计算机视觉、图形图像处理和自动控制，用于在沉浸式交互游戏、危险性工业控制和虚拟现实等领域实现形象化的跟踪手臂运动的方法。

技术背景

在分布式虚拟现实环境下，为了提供更加和谐友好的人机交互界面，有多种沉浸式交互模式可以选择，如头部运动跟踪、面部表情识别、自然语言理解、手势辨识等。一种比较直接的方式是综合手臂运动跟踪结果和数据手套的手势输出实现人机交互，其中手臂运动跟踪提供位移信息，手势输出用于生成对象选中、平移和旋转等语义。常见的手臂运动估计算法主要有基于电磁场切割理论的方法和基于视觉技术的方法两大类。其中基于磁场切割理论的方法利用三轴线圈发射磁场，用固定在被检测对象上的三轴磁传感器探测磁场的变换信息，然后根据磁场发射信号和磁感应信号之间的耦合关系确定被检测对象的方位，并以位移增量的方式提供手臂在三个坐标轴方向的位置信息。但是，由于此类跟踪设备在国内尚处于起步阶段，而国外的产品价格十分昂贵，再加上目标电磁场容易受到很多机电设备(电脑主机、显示器、投影仪等)干扰，在很大程度上制约了其在并行虚拟现实环境下的推广与应用。基于计算机视觉技术的方法则跟踪和估计交互者手臂的轴线，并通过轴线和显示屏幕求交点来提供更加直观的位置信息。其优点在于交互时人的手臂和手能处于自然状态，使人能够以自然的方式进行人机交互，更加符合人类的日常行为习惯，因而在分布式虚拟环境中具有十分广阔的应用前景。

本发明主要参考以下几篇文献，并以此为基础进行了改进和创新：

【1】任海兵，祝远新，徐光祐等.基于视觉手势识别的研究-综述.电子学报，2000，28(2)：118-121.

【2】M.La Cascia，S.Sclaroff，V.Athitsos.Fast，reliable headtracking under varying illumination：an approach based onregistration of texture mapped 3d models.IEEE Transactions onPattern Analysis and Machine Intelligence，2000，22(4)：322-336.

【3】王修晖，华炜，鲍虎军.面向多投影显示墙的手势交互系统设计与实现.计算机辅助设计与图形学学报，2007，19(3)：318-322.

【4】孙怡，陈顺翔，高大鹏.人体腿部运动图像的跟踪.模式识别与人工智能，2001，14(1)：82-85.

通过对交互者手部、头部、手臂和腿部等信息的跟踪和识别来定义和分类交互语义，是实现沉浸、和谐的人机交互的重要途径。文献【1】从手势建模、手势分析和手势识别等三个方面介绍手势识别的研究及其应用，给出了基于视觉的手势识别系统的一般构成和工作流程。文献【2】中公开了一种在环境光照变化的情况下，对人头部进行快速可靠跟踪的方法。该方法把人头部建模为一个贴图的柱面，从而将头部跟踪问题转化为一个柱面纹理贴图上的图像校正问题。文献【3】中公开了一个整合了满足色彩一致性和特征一致性的特征点跟踪算法来完成交互动作的捕捉，并配合数据手套的有限状态机输出，实现实时沉浸式手势交互的整体方案。在此基础上，利用计算机视觉中的图像匹配、双目融合技术和摄像头、数据手套等传感设备，设计并实现了一个基于多投影显示墙的手势交互系统(Gesture-Based Interaction System，GBIS)。文献【4】针对人体腿部运动图像，所提出的识别腿部关节的方法，在连续30幅(时间为1s)的腿部运动图像上，利用腿部图像本身的信息，自动找出每幅图像中膝关节位置，为进一步的人体运动分析奠定了基础。

发明内容

本发明的目的在于提供一种基于模糊预测控制理论的跟踪手臂运动方法，通过该方法可以实现六自由度手臂导航操作，将游戏者(或操作者)的手臂动作转换为虚拟场景(或工业设备)的控制命令。

本发明的用于在实时视频跟踪系统中跟踪手臂运动的方法包括以下步骤：

a.输入初始时刻的肘部和腕部标识环的二维质心位置和参考显示平面的数据进行三维质心位置重建，得到三维质心位置作为参考控制量；所述的参考显示平面的数据为目标交互环境中参考显示平面的长和宽；

b.根据交互场所的实测数据和预测反馈信息，使用隶属度函数对步骤a中的参考控制量进行模糊化处理，得到模糊论域内的特征环质心语言变量；

c.采用Mamdani最小运算规则，求取在参考控制量作用下手臂状态变量的预测值；

d.采用加权平均法进行清晰化处理，得到清晰化的输出控制量，并根据参考显示平面的数据得到两点式控制输出；

e.采用式(1)计算控制量的性能测量值E_P来评估预测反馈量对模糊控制的影响程度，以防止预测反馈力度过大造成模糊控制发散；如果E_P大于预设阈值E_max，则降低预测反馈量，转步骤b；

$E_P=\frac{W/2\·\cos \left(\mathrm{\β}\left(t\right)\right)+H/2\·\cos \left(\mathrm{\χ}\left(t\right)\right)}{\sqrt{x_{P0}^2+y_{P0}^2+z_{P0}^2}}---\left(1\right)$

其中W和H分别为参考显示平面的宽和高；(x_P0，y_P0，z_P0)是点P0(t)的三个坐标值；

f.将初始时刻的清晰化的输出控制量插入到历史轨迹数据队列，并根据历史n步的模糊控制输出，生成历史轨迹曲线，n＞10；然后根据轨迹曲线对当前帧实时输出信息进行筛选，剔除特征点匹配的扰动和偶然误差，并确定下一时刻的预测反馈量。

其中，步骤a中输入初始时刻的肘部和腕部标识环的二维质心位置和参考显示平面的数据进行三维质心位置重建的具体步骤为：

g.摄像头几何标定：在离线状态，通过两个摄像头分别拍摄五张以上具有深度信息的棋盘格定标板图像以及平铺于地面的棋盘格定标纸图像，然后利用Matlab的摄像机校正扩展工具箱实现几何标定，得到两个摄像机的内外参数；

h.标识环的边缘特征点提取：根据手臂运动的连贯性，从来自两个摄像头的交互图像中分别粗略的目标搜索窗口，以便提高特征提取效率；然后利用标识环的已知颜色特征，分别提取对应于腕部和肘部标识环的边缘点序列；

i.求取标识环的质心：根据标识环的部分几何信息分别对来自两个同步摄像头的边缘点序列进行椭圆拟合，并进一步求取标识环的二维质心坐标对；

j.三维质心位置重建：根据两个摄像头的内外参数信息，对第i步得到的二维质心位置序列进行三维重建，得到对应于腕部和肘部标识环的三维质心位置。

其中，步骤c中求取在参考控制量作用下手臂状态变量的预测值的具体步骤为：

k.确定测量值的论域及语言变量值：通过式(2)确定输入量、反馈量和输出量的值域；然后根据模糊控制的精度要求和计算量限制把输入输出量的值域生成变量等级，得到相应的语言变量值集；

$\left\{\begin{array}{c}{x}_i\∈[-W/2,W/2]\\ y_i\∈[-H/2,H/2]\\ z_i\∈[0,D_m]\\ \mathrm{\α},\mathrm{\β},\mathrm{\χ}\∈\left[\mathrm{0,90}\right]\end{array}\right.---\left(2\right)$

其中，x_i，y_i，z_i(i＝1，2，3)分别表示P_W，P_E0和预测反馈量的对应坐标分量，D_m为交互者与参考显示平面的距离；

l.生成控制规则：确定输入量和反馈量对划分后的值域等级的隶属度，然后计算关键位置时手臂轴线与坐标轴的夹角，并根据实际控制要求对每一组数据生成一条控制规则，以保证规则库的完备性；

m.在一条控制规则中，以各语言变量值的隶属度乘积作为对应的控制规则的强度。由于测量误差的存在，根据测量数据生成的控制规则可能会出现相互抵触的情况，即规则不相容问题。因此，要计算上述生成的规则集中每条控制规则的强度，并只取相互抵触的规则中强度最大的加入最终的控制规则库。这样不但保证了规则库的相容性，还可以有效地减少控制规则的数目。

本发明方法可以实现六自由度手臂导航操作，交互时人的手臂和手能处于自然状态，使交互者能够以自然的方式进行人机交互，更加符合人类的日常行为习惯。

附图说明

图1为本发明的手臂运动估计的工作流程图；

图2为手臂轴线与参考平面的求交示意图，目标交互环境中参考显示平面Ω的长和宽分别为W和H，沿参考显示平面的法向最大位移为D_m，手臂轴线与x、y、z三个坐标轴的夹角分别为α，β，χ；

图3为语言变量值划分示意图。

具体实施方式

本实施例给出一整套手臂运动跟踪方案，主要包括以下三部分内容：

1.手臂标识环的特征提取

1)摄像头几何标定。在离线状态，通过两个摄像头分别拍摄若干张具有深度信息的棋盘格定标板图像以及平铺于地面的棋盘格定标纸图像，然后利用Matlab^TM的摄像机校正扩展工具箱实现几何标定，得到两个摄像机的内外参数。

2)标识环的边缘特征点提取。根据手臂运动的连贯性，从来自两个摄像头的交互图像中分别粗略的目标搜索窗口，以便提高特征提取效率。然后利用标识环的已知颜色特征，分别提取对应于腕部和肘部标识环的边缘点序列。

3)求取标识环的质心。根据标识环的部分几何信息分别对来自两个同步摄像头的边缘点序列进行椭圆拟合，并进一步求取标识环的二维质心坐标对{P_Wi(x，y)，P_Ei(x，y)}(i＝1，2)，其中P_W和P_E分别表示第i个摄像头观测到的腕部和肘部质心位置。

4)根据两个摄像头的内外参数信息，对上一步得到的二维质心坐标序列进行三维重建，得到对应于腕部和肘部标识环的三维质心坐标P_W(x，y，z)，P_E(x，y，z)。

上述2)中，针对每一幅图像得到对应于肘部和腕部标识环的离散点序列，由于手臂的遮挡，每个标识环只能看到一部分图像，本文使用最小二乘法对如下形式的圆锥曲线方程进行了拟合：

Ax²+Bxy+Cy²+Dx+Ey+F＝0    (3)

然后通过下面关系求取标识环的二维质心坐标：

$x0=\frac{\mathrm{BE}-2\mathrm{CD}}{4\mathrm{AC}-B^2};$ $y0=\frac{\mathrm{BD}-2\mathrm{AE}}{4\mathrm{AC}-B^2}---\left(4\right)$

步骤4)中，三维点重建中，分别对肘部和腕部标识环的质心坐标进行了如下变换：

$x=\left(\begin{array}{c}x\\ y\\ 1\end{array}\right)=\mathrm{PX}=K\left[R\right|t]\left(\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right)---\left(5\right)$

其中，x为二维图像坐标点，X为三维参考坐标系下的点，P为对应摄像头的投影矩阵，K为内参矩阵，R为旋转矩阵，t为平移向量。

2.模糊控制规则的生成

模糊控制规则是基于手动控制策略而建立的，而手动控制策略又是人们通过学习、试验以及长期实践经验积累而逐渐形成的一种技术知识集合。手动控制过程一般是通过对被控对象或过程的观测，操作者再根据已有的经验和技术知识，进行综合分析并作出控制决策，调整加到被控对象的控制作用，从而使系统达到预期目标。在模糊预测控制过程中，通过用一组自然语言描述的控制规则来表示专家的知识。对于一个典型的模糊预测控制系统，专家知识的有如下形式的表示方法：

IF(条件1，...，条件n)THEN(结论1，...，结论m)    (6)

在设计模糊控制规则时，必须综合考虑控制规则的完备性、交叉性和相容性。其中完备性要求对于任意输入，规则库中应至少有一个可适用的规则，而且规则的适用程度应该大于一定阈值；交叉性是指控制器的输出总是由一条以上的规则决定，即控制规则之间是相互联系、相互影响的；相容性要求规则库中不存在相互矛盾的规则。本文根据手臂运动估计交互系统的观测值和交互场地的实际测量数据来生成控制规则。

1)确定测量值的论域及语言变量值。根据对系统的观测，确定输入量、反馈量和输出量的值域：

$\left\{\begin{array}{c}{x}_i\∈[-W/2,W/2]\\ y_i\∈[-H/2,H/2]\\ z_i\∈[0,D_m]\\ \mathrm{\α},\mathrm{\β},\mathrm{\χ}\∈\left[\mathrm{0,90}\right]\end{array}\right.---\left(7\right)$

其中，x_i，y_i，z_i(i＝1，2，3)分别表示P_W，P_E0和Δr的对应坐标分量。

然后根据模糊控制的精度要求和计算量限制把x_i，y_i，z_i(i＝1，2，3)的值域分成若干个变量等级，得到相应的语言变量值集{S_k|k＝1...n}，其中n为划分的等级数。假设将由W，H和D_m确定的值域分成S4(小4)，S3(小3)，S2(小2)，S1(小1)，M0(原点)，L1(大1)，L2(大2)，L3(大3)，L4(大4)等9个等级，则：

{S_k|k＝1...n}＝{L4，L3，L2，L1，M0，S1，S2，S3，S4}

以x_i为例，其语言变量值和隶属函数如附图3所示，其中-w/2和w/2为x_i值域的端点，μ(x)为隶属度。

2)根据测量数据生成控制规则。确定输入量和反馈量对{S_k|k＝1...n}的隶属度，然后计算关键位置时手臂轴线与坐标轴的夹角{α_k，β_k，χ_k}，并根据实际控制要求对每一组数据生成一条控制规则，以保证规则库的完备性，生成的控制规则如式(8)～(11)。

其中，

为输入量的模糊控制量，分别为手臂轴线与X，Y，Z轴夹角的模糊控制量，

为手臂轴线与参考显示平面的交点坐标；A₀～A₆、B₀～B₆、C₀～C₆和D₀～D₆分别是输入和输出量的语言变量对应的语言值。

3)计算每条规则的强度。在一条控制规则中，各语言变量值的隶属度乘积，称为该规则的强度。由于测量误差的存在，根据测量数据生成的控制规则可能会出现相互抵触的情况，即规则不相容问题。因此，要计算上述生成的规则集中每条控制规则的强度，并只取相互抵触的规则中强度最大的加入最终的控制规则库。这样不但保证了规则库的相容性，还可以有效地减少控制规则的数目。

3.基于模糊预测控制理论的手臂运动估计方法(FPC-AME)

模糊预测控制是一种模拟人工操作的方法，因此算法设计的目标在于如何根据预定义的模糊控制规则库和手臂的历史运动轨迹，来生成实时控制信息和预测新的运动趋势，从而取舍与修正实时输入信息，实现稳定的手臂轴线信息的稳定输出。如图1所示，手臂运动估计的模糊预测控制过程主要包含了模糊推理和预测反馈量计算两方面内容。与传统的模糊控制系统不同的是，在手臂运动估计的模糊控制中，对输出量的稳定性要求较高，因此需要综合实时输出和历史信息来生成反馈量。

另一方面，由于输入控制信息是具有确定数值的清晰量，而模糊推理过程是基于模糊语言变量进行的，因此在进行模糊推理之前，需要先对输入控制量进行模糊化处理，即将三维交互空间的位移和角度值映射到输入论域上的模糊集合。在三维重建前的二维特征点集中存在识别偏差和扰动信息，造成了输入控制量存在不确定的测量噪声，FPC-AMEA选择菱形函数为隶属度函数，如式(7)所示，通过分割三维交互空间实现交互精度与鲁棒性的折衷。

$\mathrm{\μ}\left(x\right)=\frac{e^{-\frac{x-x_0}{2{\mathrm{\σ}}^2}}}{\mathrm{\Δr}+1}---\left(12\right)$

其中σ表示输入量x的标准差，Δr为根据当前输出生成的预测反馈因子，x₀为x的初始值(默认等于参考屏幕中心点的x坐标)。

综上所述，用于手臂运动估计的模糊预测控制方法具体步骤描述如下：

1)输入t时刻三维重建后的肘部和腕部标识环质心位置{(x_i(t)，y_i(t)，z_i(t))|i＝1，2}和目标交互环境中参考显示平面Ω的长和宽分别为W和H等实测数据。

2)根据交互场所的实测数据和预测反馈信息，由式(12)描述的隶属度函数对上述参考控制量进行模糊化处理，得到模糊论域内的特征环质心语言变量

3)采用Mamdani最小运算规则，根据式(8)～(11)所描述的模糊推理规则R求取在参考控制量

作用下手臂状态变量

的预测值。

4)采用加权平均法进行清晰化计算，得到清晰化的输出控制量{α(t)，β(t)，χ(t)，P0(t)}(如式(13)所示)，并根据参考显示平面的数据得到两点式控制输出

其中P＝{α(t)，β(t)，χ(t)，P0(t)}为输出的清晰控制量，n为规则总数，

为第k条规定对应的模糊量

w_k为相应控制规则的权重。

5)在目标交互环境中参考显示平面Ω的实测数据基础上，由式(14)计算控制量的性能测量值E_P来评估预测反馈量对模糊控制的影响程度，以防止预测反馈力度过大造成模糊控制发散。如果E_P大于预设阈值E_max，则降低预测反馈量Δr，转步骤2)。

$E_P=\frac{W/2\·\cos \left(\mathrm{\β}\left(t\right)\right)+H/2\·\cos \left(\mathrm{\χ}\left(t\right)\right)}{\sqrt{x_{P0}^2+y_{P0}^2+z_{P0}^2}}---\left(14\right)$

其中W和H分别为参考显示平面的宽和高；(x_P0，y_P0，z_P0)是点P0(t)的三个坐标值。如图2，目标交互环境中参考显示平面Ω的长和宽分别为W和H，沿参考显示平面的法向最大位移为D_m，手臂轴线与x、y、z三个坐标轴的夹角分别为α，β，χ；

6)将t时刻的清晰控制量插入到历史轨迹数据队列，并根据历史n(n＞10)步的模糊控制输出，生成历史轨迹曲线；然后根据轨迹曲线对当前帧实时输出信息进行筛选，来剔除特征点匹配的扰动和偶然误差，并根据式(15)确定t+1时刻的预测反馈量Δr。

$\mathrm{\Δr}=\frac{|\mathrm{\α}\left(t\right)-\stackrel{\‾}{\mathrm{\α}}|+|\mathrm{\β}\left(t\right)-\stackrel{\‾}{\mathrm{\β}}|+|\mathrm{\χ}\left(t\right)-\stackrel{\‾}{\mathrm{\χ}}|}{\frac{1}{n}\sqrt{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}[w_i\·({\mathrm{\α}}^2\left(i\right)+{\mathrm{\β}}^2\left(i\right)+{\mathrm{\χ}}^2\left(i\right))]}}---\left(15\right)$

其中α，β，χ分别为手臂轴线与三个坐标轴夹角的历史平均值；w_i(i＝1...n)为历史数据的权重，用来加强较新轨迹数据的影响度。

上述步骤4)中，权重w_k的计算以最近邻优先原则为基础，根据实际交互场所实测数据和参考显示平面尺寸确定；步骤5)中，E_P过大，意味着交互时手臂延长线与参考显示平面的交点始终落在大屏幕的边缘附近，通常是由于预测控制因子过大使得两个特征点区分度下降造成的。步骤6)中，可以利用运动连贯性，对历史轨迹曲线进行复用，从而提高预测反馈信号的生成速度。该算法中{(x_i(t)，y_i(t)，z_i(t))|i＝1，2}和{α(t)，β(t)，χ(t)，P0(t)}是对手臂轴线的两种描述方式，其中{α(t)，β(t)，χ(t)，P0(t)}由于便于进行模糊化处理和模糊推理，因此在算法中将其作为中间数据表示方式。

Claims (3)

1、用于在实时视频跟踪系统中跟踪手臂运动的方法，其特征在于该方法包括以下步骤：

a.输入初始时刻的肘部和腕部标识环的二维质心位置和参考显示平面的数据进行三维质心位置重建，得到三维质心位置作为参考控制量；所述的参考显示平面的数据为目标交互环境中参考显示平面的长和宽；

b.根据交互场所的实测数据和预测反馈信息，使用隶属度函数对步骤a中的参考控制量进行模糊化处理，得到模糊论域内的特征环质心语言变量；

c.采用Mamdani最小运算规则，求取在参考控制量作用下手臂状态变量的预测值；

d.采用加权平均法进行清晰化处理，得到清晰化的输出控制量，并根据参考显示平面的数据得到两点式控制输出；

e.采用式(1)计算控制量的性能测量值E_P来评估预测反馈量对模糊控制的影响程度；如果E_P大于预设阈值E_max，则降低预测反馈量，转步骤b；

$E_P=\frac{W/2\·\cos \left(\mathrm{\β}\left(t\right)\right)+H/2\·\cos \left(\mathrm{\χ}\left(t\right)\right)}{\sqrt{x_{P0}^2+y_{P0}^2+z_{P0}^2}}---\left(1\right)$

其中W和H分别为参考显示平面的宽和高；(x_P0，y_P0，z_P0)是点P0(t)的三个坐标值；

f.将初始时刻的清晰化的输出控制量插入到历史轨迹数据队列，并根据历史n步的模糊控制输出，生成历史轨迹曲线，n＞10；然后根据轨迹曲线对当前帧实时输出信息进行筛选，剔除特征点匹配的扰动和偶然误差，并确定下一时刻的预测反馈量。

2、如权利要求1所述的用于在实时视频跟踪系统中跟踪手臂运动的方法，其特征在于步骤a中输入初始时刻的肘部和腕部标识环的二维质心位置和参考显示平面的数据进行三维质心位置重建的具体步骤为：

g.摄像头几何标定：在离线状态，通过两个摄像头分别采集上具有深度信息的棋盘格定标板图像以及平铺于地面的棋盘格定标纸图像，然后利用摄像机校正扩展工具箱实现几何标定，得到两个摄像机的内外参数；

h.标识环的边缘特征点提取：根据手臂运动的连贯性，从来自两个摄像头的交互图像中分别粗略的目标搜索窗口，然后利用标识环的已知颜色特征，分别提取对应于腕部和肘部标识环的边缘点序列；

i.求取标识环的质心：根据标识环的部分几何信息分别对来自两个同步摄像头的边缘点序列进行椭圆拟合，并进一步求取标识环的二维质心坐标对；

j.三维质心位置重建：根据两个摄像头的内外参数信息，对第i步得到的二维质心位置序列进行三维重建，得到对应于腕部和肘部标识环的三维质心位置。

3、如权利要求1所述的用于在实时视频跟踪系统中跟踪手臂运动的方法，其特征在于步骤c中求取在参考控制量作用下手臂状态变量的预测值的具体步骤为：

k.确定测量值的论域及语言变量值：通过式(2)确定输入量、反馈量和输出量的值域；然后根据模糊控制的精度要求和计算量限制把输入输出量的值域生成变量等级，得到相应的语言变量值集；

$\left\{\begin{array}{c}{x}_i\∈[-W/2,W/2]\\ y_i\∈[-H/2,H/2]\\ z_i\∈[0,D_m]\\ \mathrm{\α},\mathrm{\β},\mathrm{\χ}\∈\left[\mathrm{0,90}\right]\end{array}\right.---\left(2\right)$

其中，x_i，y_i，z_i(i＝1，2，3)分别表示P_W，P_E0和预测反馈量的对应坐标分量，D_m为交互者与参考显示平面的距离；

l.生成控制规则：确定输入量和反馈量对划分后的值域等级的隶属度，然后计算关键位置时手臂轴线与坐标轴的夹角，并根据实际控制要求对每一组数据生成一条控制规则；

m.在一条控制规则中，以各语言变量值的隶属度乘积作为对应的控制规则的强度。

Images