CN115761787A - 一种融合约束的手部姿态测量方法 - Google Patents

Abstract

本发明公开了一种融合约束的手部姿态测量方法，通过数据手套中的惯性传感器获取原始数据，使用卡尔曼滤波器进行传感器的姿态计算，通过相邻骨节上传感器的姿态结果得到其关节的姿态信息，通过投影法将约束融合进卡尔曼滤波器模型中，并将生理学知识中手部的关节约束信息转化为对关节姿态的不等式约束方程组，采用有效集法进行约束求解，得到生理学约束下的手部姿态信息。通过该方法计算出的手部姿态更加符合真实的手部结构，将生理学约束作为一种已知的不等式约束信息融合进姿态测量系统中，也减少了系统姿态计算值与真实手部姿态之间的误差。

Description

一种融合约束的手部姿态测量方法

技术领域

本发明属于人机交互技术领域，具体涉及一种手部姿态测量方法。

背景技术

近年来人机交互技术发展迅速，它主要通过相关设备识别人的各种行为动作、身体姿势等与计算机设备进行交互，为用户提供自然、直观、方便的交互体验。数据手套是人机交互中重要的领域，它通过光纤、弯曲电阻或者惯性器件实现对人手动作的捕捉，进而为增强现实、智能驾驶、遥控操作或者医疗康复等研究课题和应用领域提供数据支撑。

基于惯性传感器的手部姿态计算方法具有便携易用，手势交互不受空间限制；环境适应性强，传感器数据不受周围环境影响；功耗相对较低等优点。已经有研究人员传统的通过卡尔曼滤波系统或互补滤波系统得到惯性传感器的姿态信息，并将其通过组装成数据手套计算手部姿态，由于惯性传感器并不完全贴合手指骨节或者系统误差会随着时间而累计等诸多原因，这些方法测得的手部姿态有时会不能反映真实手部姿态信息，比如掌指关节或者近端指关节角度过大或者过小导致手部姿态出现明显异常，但其中的部分误差可以通过目前已知的生理学中的手部约束去减少或者避免。

发明内容

为了克服现有技术的不足，本发明提供了一种融合约束的手部姿态测量方法，通过数据手套中的惯性传感器获取原始数据，使用卡尔曼滤波器进行传感器的姿态计算，通过相邻骨节上传感器的姿态结果得到其关节的姿态信息，通过投影法将约束融合进卡尔曼滤波器模型中，并将生理学知识中手部的关节约束信息转化为对关节姿态的不等式约束方程组，采用有效集法进行约束求解，得到生理学约束下的手部姿态信息。通过该方法计算出的手部姿态更加符合真实的手部结构，将生理学约束作为一种已知的不等式约束信息融合进姿态测量系统中，也减少了系统姿态计算值与真实手部姿态之间的误差。

本发明解决其技术问题所采用的技术方案包括如下步骤：

步骤1：使用传感器采集并计算手部骨节姿态信息，通过相邻骨节进行四元数乘法运算，得到6个手部关节姿态信息，每个关节姿态用一组四元数形式表示，记作：

x＝[T_ip T_mcp I_pip I_mcp M_pip M_mcp] (1)

式中，T_ip表示拇指指间关节姿态，T_mcp表示拇指掌指关节姿态，I_pip表示食指指间近端关节姿态，I_mcp表示食指掌指关节姿态，M_pip表示中指指间近端关节姿态，M_mcp表示中指掌指关节姿态；

将手部生理关节约束转化为基于四元数的不等式一般形式：

q_i表示关节姿态四元数中的分量值，i＝1，2，3，4，θ₁表示关节弯曲角度，θ₂表示关节外展角度，由此得到与约束相关的等式与不等式方程组集合

步骤2：采用投影法将手部生理关节约束融合到卡尔曼滤波系统的推导中，将生理关节约束作为先验知识对系统状态进行求解，融合进卡尔曼滤波系统的状态方程中，得到符合手部约束先验姿态值，描述为如下公式：

式中，

表示在k时刻下，手部姿态的先验估计值，A则表示由角速度积分得到的状态转移矩阵，ω表示符合高斯分布的系统过程噪声，

则表示在k-1时刻下满足手部约束的手部姿态值，也是上一时刻的符合生理学约束的系统状态；

当系统得到无约束状态下的系统最优解时，采用约束求解方法，在约束范围内求解系统状态的最优解

忽略系统状态的时间标识k，将无约束的状态估计值投影到约束平面上，在约束平面中寻找系统状态的最优解，描述为如下不等式约束优化问题：

式中，

表示在约束方程组所表示的空间平面上求得的最优值，也即满足约束关系的系统状态，x则表示无约束状态下的系统状态，W为单位矩阵，求得约束空间内与当前系统状态计算欧氏距离最小的解，

表示手部姿态满足的等式约束集合，

表示手部姿态需要满足的不等式约束集合；

步骤3：采用有效集的方法对式(3)进行规划求解；

设置初始可行解x₀以及初始的工作集W₀，对式(3)进行迭代更新，获得阶段性可行解x_t以及当前阶段生效的约束工作集W_t；

如果当前阶段下x_t满足不等式约束优化问题式(3)的KKT条件，工作集W_t中每个约束对应的拉格朗日乘数λ皆为非负数，则x_t即为最优解；

如果不满足不等式约束优化问题式(3)的KKT条件且x_t沿着W_t中的约束条件方向在步长α内使得目标函数递减，则取x_t+1＝x_t+α×f(x)，f(x)是关于x_t的微分函数，表示能使得目标函数减小的方向向量；

如果x_t沿着W_t中的约束条件方向在步长α内使得目标函数有最小值，则α取使得目标函数取极小值时的步长；

如果x_t达到约束的边界值，则下一次迭代时，算法将更新工作集W_t，去掉无效约束添加新的约束，而去除约束的判断条件就是计算W_t中每个约束对应的拉格朗日乘数λ是否小于0，删除对应于最小的负乘数的元素，并开始一次新迭代。

优选地，所述传感器为惯性传感器。

本发明的有益效果如下：

本发明是一种能够利用生理学约束的手部姿态测量方法，能够矫正手部姿态测量系统在进行姿态计算时所得到的不符合实际姿态的计算结果；该方法也能够将具有生理学意义的手部结构约束作为一种先验的知识去减少计算所得姿态与真实手部姿态的误差。

附图说明

图1为本发明方法流程图。

图2为手部关节名称示意图。

具体实施方式

下面结合附图和实施例对本发明进一步说明。

本发明要解决的技术问题是：进行姿态计算的方法测得的手部姿态往往会不能反映真实手部姿态信息以及姿态计算系统与真实手部姿态依旧存在可避免的误差，针对上述存在的问题，本发明提出一种融合约束的手部姿态测量方法，可以将生理学上的关节约束信息融合进卡尔曼姿态计算模型中，确保获取到的数据手套多传感器数据在进行姿态解算后的结果更加符合真实的手部结构。

一种融合约束的手部姿态测量方法，主要包括以下步骤：

a)首先通过惯性传感器计算并获得手部骨节姿态，通过四元数乘法计算得到关节姿态信息，将生理学关节约束转化为针对四元数的数值约束形式；其次通过将约束信息作为先验的知识融合进卡尔曼系统的状态方程中，使用投影法将无约束系统状态投影到约束平面上，将其转化为二次规划问题的一般形式。

b)对于存在不等式约束的二次规划问题，采用有效集法进行约束求解，在每次的迭代中，以当前可行解为起点，把在该点起作用的约束作为等式约束，将不起作用约束去掉，在此等式约束下极小化目标函数，求得新的比较好的可行解以后，重复添加约束与去除约束操作，最终计算求解得到符合生理学约束的系统状态。

在第一步中，通过将惯性传感器附着于骨节之上，采集并计算得到骨节姿态信息，每个骨节姿态以四元数形式表示，通过四元数乘法计算相邻骨节姿态差异，可以得到手部关节姿态信息，记作：

x＝[T_ip T_mcp I_pip I_mcp M_pip M_mcp]

在式1中，T_ip表示拇指指间关节姿态，T_mcp表示拇指掌指关节姿态，I_pip表示食指指间近端关节姿态，I_mcp表示食指掌指关节姿态，M_pip表示中指指间近端关节姿态，M_mcp表示中指掌指关节姿态。由于手部多种肌肉和骨骼的共同制约，手部运动具有一定的范围限制，这些限制使得关节进行弯曲与伸展时会有最大活动角度与最小活动角度，这是人体手部的生理学约束。通过映射关系，可以将生理关节约束转化为基于四元数的不等式一般形式：

q_i表示关节姿态四元数中的分量值，i＝1，2，3，4，θ₁表示关节弯曲角度，θ₂表示关节外展角度，由此得到与约束相关的等式与不等式方程组集合

对关节姿态进行约束空间下求解，可以得到符合生理学关节约束的手部姿态信息。

在第一步中通过投影法将约束融合进卡尔曼滤波器模型中，将生理约束作为先验的知识，置于卡尔曼滤波系统的状态方程中，得到符合手部约束先验姿态值，可以描述为如下公式：

式中，

表示在k时刻下，手部姿态的先验估计值，A则表示由角速度积分得到的状态转移矩阵，ω表示符合高斯分布的系统过程噪声，

则表示在k-1时刻下满足手部约束的手部姿态值，也是上一时刻的符合生理学约束的系统状态，当系统得到无约束状态下的系统最优解时，需要采用合适的约束求解方法，在约束范围内求解系统状态的最优解，投影法的主要思想就是为约束建立空间平面，将无约束的状态估计值投影到约束面上，从而求解系统状态，描述为如下不等式约束优化问题：

式中，

表示在约束方程组所表示的空间平面上求得的最优值，也即满足约束关系的系统状态，x则表示无约束状态下的系统状态，W为单位矩阵，求得约束空间内与当前系统状态计算欧氏距离最小的解，

表示关节姿态四元数满足的等式约束集合，

表示关节姿态需要满足的不等式约束集合；所述手部约束的结构化模型与二次规划求解问题的约束建立映射关系，基于该映射关系，可以将手部约束融合到二次规划求解的问题中，从而确保求解得到的手部姿态符合手部关节的约束关系，进而实现融合约束的手部姿态跟踪算法。

对于上述转化为二次规划问题进行约束求解，本发明采用的是有效集的方法进行规划求解。根据上述描述，可以得到将生理约束转化后的二次规划求解问题中的不等式约束方程组，设置初始可行解x₀以及初始的工作集W₀，获得阶段性可行解x_t以及当前阶段生效的约束工作集W_t；如果当前阶段下x_t满足不等式约束优化问题的KKT条件，工作集W_t中每个约束对应的拉格朗日乘数λ皆为非负数，则x_t即为最优解；如果不满足不等式约束优化问题的KKT条件且x_t沿着W_t中的约束条件方向在步长α内使得目标函数递减，则取x_t+1＝x_t+α×f(x)，f(x)是关于x_t的微分函数，表示能使得目标函数减小的方向向量；如果x_t沿着W_t中的约束条件方向在步长α内使得目标函数有最小值，则α取使得目标函数取极小值时的步长；如果x_t达到约束的边界值，则下一次迭代时，算法将更新工作集W_t，去掉无效约束添加新的约束，而去除约束的判断条件就是计算W_t中每个约束对应的拉格朗日乘数λ是否小于0，删除对应于最小的负乘数的元素，并开始一次新迭代。

具体实施例：

本发明针对现有手部姿态的计算方法所存在的一些问题，提出了一种融合生理学手部关节约束的姿态计算方法，通过将生理学约束转化为二次规划求解问题，并将其融合进卡尔曼滤波器中，不仅可以降低在关节特殊角度下系统所得姿态与真实姿态的误差，也可以降低系统由于长时间运行而积累的误差。

如图1所示，本发明提出的一种融合手部约束的姿态测量方法的具体实施流程为：

首先通过惯性传感器获得原始数据，利用传统的卡尔曼滤波器模型计算得到无约束状态下系统姿态的估计值，其次通过投影法将约束融合进卡尔曼滤波器模型中，将无约束的状态估计值投影到约束方程组所形成的约束平面进行求解，并将生理约束转化为二次规划问题的一般形式，采用有效集法进行约束求解，对于存在不等式约束的二次规划，在每次的迭代中，以当前可行解为起点，把在该点起作用的约束作为等式约束，将不起作用约束去掉，在此等式约束下极小化目标函数，求得新的比较好的可行解以后，重复添加约束与去除约束操作，最终计算求解得到符合生理学约束的系统状态。

手部各关节名称如图2所示，其中在本发明的手部姿态计算模型中，由于惯性传感器附着与骨节之上，则可以将计算传感器姿态视为计算其附着的手部骨节姿态信息，每个骨节姿态用四元数形式表示，通过四元数乘法计算相邻骨节姿态差异，可以得到手部关节姿态信息，记作：

x＝[T_ip T_mcp I_pip I_mcp M_pip M_mcp]

在式1中，T_ip表示拇指指间关节姿态，T_mcp表示拇指掌指关节姿态，I_pip表示食指指间近端关节姿态，I_mcp表示食指掌指关节姿态，M_pip表示中指指间近端关节姿态，M_mcp表示中指掌指关节姿态。

举例来说，用户在进行手部姿态计算时，可以通过手背与食指近指指骨两个相邻骨节姿态计算出食指掌指关节的姿态，而这个关节可以进行水平的外展内收，也可以进行垂直于手掌的弯曲伸展的动作，但是无法进行绕食指进行旋转的动作，因此该掌指关节具有两个自由度，并且指尖末端的关节则可以通过关节间的约束信息进行求解。在进行其他关节的姿态计算时，通过上述方法即可计算三指各个关节的姿态信息。

由于手部多种肌肉和骨骼的共同制约，手部运动具有一定的范围限制，这些限制使得关节进行弯曲与伸展时会有最大活动角度与最小活动角度，这是人体手部的生理学约束，通过映射关系，可以将生理关节约束转化为基于四元数的不等式一般形式：

q_i表示关节姿态四元数中的分量值，i＝1，2，3，4，θ₁表示关节弯曲角度，θ₂表示关节外展角度，由此得到与约束相关的等式与不等式方程组集合

对关节姿态进行约束空间下求解，可以得到符合生理学关节约束的手部姿态信息，手部关节约束信息如表1所示：

表1手部关节约束信息

在上表中，弯曲是指手指自然伸展向掌心弯曲的行为，外展是指手指以掌心为轴进行摆动的行为，将手部关节约束转化为数值等式与不等式约束表达如下表所示：

表2手部关节约束转化为数值约束的一般形式

在上表中，食指近端关节中的q_i表示食指近端关节姿态四元数的第i个值，由于该关节只能进行弯曲动作，所以转化为四元数的表示形式上为仅可进行俯仰动作，并且俯仰范围在[0°，110°]之间，不能执行其他自由度的动作。

举例来说，在对用户的手部姿态进行计算时，计算得到食指掌指关节弯曲角度为130°，但是一个正常人的手指一般意义上来说不会形成如此大的弯曲角度，因此该计算结果不具有现实意义，或多或少是因为模型收到了干扰与系统误差增大。在关节约束信息中可以发现，掌指关节的弯曲角度范围为[0°，110°]，将计算所得的系统状态放置于约束空间中进行求解，进行约束求解后所得姿态信息则是满足该关节约束的，也符合一个实际人手的姿态。

根据生理学上的关节约束关系中可以发现，拇指、食指与中指的指间近端关节只有一个自由度，只能进行弯曲的动作，并且需要满足不等式角度约束。而拇指、食指与中指的掌骨关节则有两个自由度，需要满足两种不等式角度约束，基于四元数的特性，当姿态缺失自由度时，还需要对四元数进行一定的等式约束。

之后通过投影法将约束融合进卡尔曼滤波器模型中，将生理约束作为先验的知识，置于卡尔曼滤波系统的状态方程中，得到符合手部约束先验姿态值，可以描述为如下公式：

式中，

表示在k时刻下，手部姿态的先验估计值，A则表示由角速度积分得到的状态转移矩阵，ω表示符合高斯分布的系统过程噪声，

则表示在k-1时刻下满足手部约束的手部姿态值，也是上一时刻的符合生理学约束的系统状态，当系统得到无约束状态下的系统最优解时，需要采用合适的约束求解方法，在约束范围内求解系统状态的最优解，投影法的主要思想就是为约束建立空间平面，将无约束的状态估计值投影到约束平面，从而求解系统状态，描述为如下不等式约束优化问题：

式中，

表示在约束方程组所表示的空间平面上求得的最优值，也即满足约束关系的系统状态，x则表示无约束状态下的系统状态，W为单位矩阵，求得约束空间内与当前系统状态计算欧氏距离最小的解，

表示关节姿态四元数满足的等式约束集合，

表示关节姿态需要满足的不等式约束集合；所述手部约束的结构化模型与二次规划求解问题的约束建立映射关系，基于该映射关系，可以将手部约束融合到二次规划求解的问题中，从而确保求解得到的手部姿态符合手部关节的约束关系，进而实现融合约束的手部姿态跟踪算法。

对于上述转化为二次规划问题进行约束求解，本发明采用的是有效集的方法进行规划求解。根据上述描述，可以得到将生理约束转化后的二次规划求解问题中的不等式约束方程组，设置初始可行解x₀以及初始的工作集W₀，获得阶段性可行解x_t以及当前阶段生效的约束工作集W_t；如果当前阶段下x_t满足不等式约束优化问题的KKT条件，工作集W_t中每个约束对应的拉格朗日乘数λ皆为非负数，则x_t即为最优解；如果不满足不等式约束优化问题的KKT条件且x_t沿着W_t中的约束条件方向在步长α内使得目标函数递减，则取x_t+1＝x_t+α×f(x)，f(x)是关于x_t的微分函数，表示能使得目标函数减小的方向向量；如果x_t沿着W_t中的约束条件方向在步长α内使得目标函数有最小值，则α取使得目标函数取极小值时的步长；如果x_t达到约束的边界值，则下一次迭代时，算法将更新工作集W_t，去掉无效约束添加新的约束，而去除约束的判断条件就是计算W_t中每个约束对应的拉格朗日乘数λ是否小于0，删除对应于最小的负乘数的元素，并开始一次新迭代。

Claims (2)

1.一种融合约束的手部姿态测量方法，其特征在于，包括如下步骤：

步骤1：使用传感器采集并计算手部骨节姿态信息，通过相邻骨节进行四元数乘法运算，得到6个手部关节姿态信息，每个关节姿态用一组四元数形式表示，记作：

x＝[T_ip T_mcp I_pip I_mcp M_pip M_mcp] (1)

式中，T_ip表示拇指指间关节姿态，T_mcp表示拇指掌指关节姿态，I_pip表示食指指间近端关节姿态，I_mcp表示食指掌指关节姿态，M_pip表示中指指间近端关节姿态，M_mcp表示中指掌指关节姿态；

将手部生理关节约束转化为基于四元数的不等式一般形式：

q₄＝0，q_i表示关节姿态四元数中的分量值，i＝1,2,3,4，θ₁表示关节弯曲角度，θ₂表示关节外展角度，由此得到与约束相关的等式与不等式方程组集合

步骤2：采用投影法将手部生理关节约束融合到卡尔曼滤波系统的推导中，将生理关节约束作为先验知识对系统状态进行求解，融合进卡尔曼滤波系统的状态方程中，得到符合手部约束先验姿态值，描述为如下公式：

式中，

表示在k时刻下，手部姿态的先验估计值，A则表示由角速度积分得到的状态转移矩阵，ω表示符合高斯分布的系统过程噪声，

则表示在k-1时刻下满足手部约束的手部姿态值，也是上一时刻的符合生理学约束的系统状态；

当系统得到无约束状态下的系统最优解时，采用约束求解方法，在约束范围内求解系统状态的最优解

忽略系统状态的时间标识k，将无约束的状态估计值投影到约束平面上，在约束平面中寻找系统状态的最优解，描述为如下不等式约束优化问题：

式中，

表示在约束方程组所表示的空间平面上求得的最优值，也即满足约束关系的系统状态，x则表示无约束状态下的系统状态，W为单位矩阵，求得约束空间内与当前系统状态计算欧氏距离最小的解，

表示手部姿态满足的等式约束集合，

表示手部姿态需要满足的不等式约束集合；

步骤3：采用有效集的方法对式(3)进行规划求解；

设置初始可行解x₀以及初始的工作集W₀，对式(3)进行迭代更新，获得阶段性可行解x_t以及当前阶段生效的约束工作集W_t；

如果当前阶段下x_t满足不等式约束优化问题式(3)的KKT条件，工作集W_t中每个约束对应的拉格朗日乘数λ皆为非负数，则x_t即为最优解；

如果不满足不等式约束优化问题式(3)的KKT条件且x_t沿着W_t中的约束条件方向在步长α内使得目标函数递减，则取x_t+1＝x_t+α×f(x)，f(x)是关于x_t的微分函数，表示能使得目标函数减小的方向向量；

如果x_t沿着W_t中的约束条件方向在步长α内使得目标函数有最小值，则α取使得目标函数取极小值时的步长；

如果x_t达到约束的边界值，则下一次迭代时，算法将更新工作集W_t，去掉无效约束添加新的约束，而去除约束的判断条件就是计算W_t中每个约束对应的拉格朗日乘数λ是否小于0，删除对应于最小的负乘数的元素，并开始一次新迭代。

2.根据权利要求1所述的一种融合约束的手部姿态测量方法，其特征在于，所述传感器为惯性传感器。

Images