CN107203271B - 基于多传感器融合技术的双手识别方法 - Google Patents

Abstract

本发明提供了一种基于多传感器融合技术的双手识别方法，它允许操作者在使用双手手势控制机器人时解决双手遮挡问题。所述方法包括步骤：(1)自适应低通滤波；(2)多传感器坐标系转化；(3)自适应加权融合。本发明使用了两种传感器，它可以识别操作者手部的位置和姿态，解决在实际的机器人交互应用中双手在垂直方向上的遮挡问题。

Description

基于多传感器融合技术的双手识别方法

技术领域

本发明属于机器人交互领域，特别涉及一种基于多传感器融合技术的双手识别方法。

背景技术

机器人人机交互是指通过一些输入设备采集人类信息，将人类意图转化为机器人能够理解的指令，从而达到人与机器人进行对话，进而控制机器人运动的技术。据人类控制机器人的方式的不同，又可以分为基于手势控制、语言控制、表情控制、脑电波信号控制等。对于双手手势的交互，一方面是通过避免双手手势的遮挡来简化交互的流程，另一方面通过二维图像来分割估计遮挡情况下的手势，但是对于实时跟踪双手的位置和姿态是较为困难的。针对这些问题，本发明提出一种简易的多角度深度摄像头的方法来长时间稳定地识别任意情况下的双手的三维位置和姿态，实现简单，易于扩展，且能有效解决双手遮挡的识别跟踪问题。

发明内容

这个发明提出了一种基于多传感器融合技术的双手识别方法，它允许操作者使用双手手势与机器人交互。本发明使用了两种传感器，它可以识别操作者手部的位置和姿态，解决在实际的机器人交互应用中双手在垂直方向上的遮挡问题。

本发明包括如下步骤：

S1、自适应低通滤波，将当前时刻的测量值与上一时刻的滤波值进行加权平均作为当前时刻的滤波值，自适应权重因子η_i随当前时刻运动速度进行自适应变化；

S2、多传感器坐标系转化：混合传感器都有基于自身传感器中心的一套局部坐标系系统，识别到的数据也是基于各自的局部坐标系系统，不同传感器获取的数据经过滤波之后需要统一到全局坐标系下，以第一传感器坐标系作为手势数据的全局坐标系，将其他传感器的局部坐标系下的数据转化到第一传感器的坐标系下的数据；

S3、自适应加权融合：综合考虑多个传感器的数据，并对他们进行数据融合，根据总均方误差最小的原则，以自适应的方式寻找每个传感器的最优加权因子，使得融合后的目标观测值达到最优。

所述步骤S1包括以下步骤：

基于速度的自适应滤波算法其基本思想是，将当前时刻的测量值与上一时刻的滤波值进行加权平均作为当前时刻的滤波值，其权重因子随当前时刻运动速度进行自适应变化。

设一只手的位置和姿态的数据表示为X＝(x,y,z,α,β,γ)^T，其中前三位分量(x,y,z)为手的中心位置，后三个分量(α,β,γ)为欧拉角表示形式的手的姿态，因此该滤波模型可以表示为：

其中i是时刻序号，X_i是第i时刻手的位姿测量值，

是上一时刻手的位姿滤波值，

是当前时刻手的位姿滤波值，η_i是一个自适应的权重因子，其值随着运动速度的变化而自适应地变化。

η_i的计算公式如下所示：

其中，T_i是采样时间间隔(本实例中采用时间间隔为0.1s)，τ_i是一个时间变量；

f_ci称为截断频率，其计算公式为：

f_ci＝f_cmin+γ|V_i| (4)

其中f_cmin是最小的截断频率，V_i表示当前时刻的运动速度，包括线速度和角速度，γ是运动速度的权重因子。

综合式(2)，(3)，(4)，可得自适应权重因子η_i的计算公式为：

所述步骤S2包括以下步骤：

混合传感器都有基于自身传感器中心的一套局部坐标系系统，识别到手的数据也是基于各自的局部坐标系系统，不同传感器获取的数据经过滤波之后需要统一到全局坐标系下，在本实例中，采用第一传感器坐标系作为手势数据的全局坐标系，因此需要将第二传感器局部坐标系下的数据转化到第一传感器坐标系下的数据。本发明采用基于正交矩阵形式的迭代算法来求解坐标系变换的参数，其基本思想是基于最小二乘法。

设事先采集N个样本的手的位置数据，假设第一传感器和第二传感器测量的手的位置是同一个点，因此，这N个三维公共点集在第一传感器和第二传感器下的坐标为{L_k}和{K_k},k＝1,2,...,N，将第二传感器坐标系下的点变换到第一传感器坐标系下的点，可构造如下坐标变换模型：

L_k＝T+μRK_k (6)

其中T表示平移矩阵参数，μ表示尺度参数，R表示旋转矩阵参数，由于第一传感器坐标系和第二传感器坐标系都属于右手坐标系，因此其旋转矩阵满足正交矩阵条件约束，即：

其中a₁，a₂，a₃，b₁，b₂，b₃，c₁，c₂，c₃为旋转矩阵R各元素的值。

对于多个样本的共同点集，最小二乘法的基本思路是通过估计最优的参数集

使得式(6)尽可能地成立，即总体的均方误差最小，优化模型的目标方程为：

所述步骤S3包括以下步骤：

综合考虑两个传感器的数据，并对他们进行数据融合，本发明采用一种自适应加权融合算法，其基本思想根据总均方误差最小的原则，以自适应的方式寻找每个传感器的最优加权因子，使得融合后的目标观测值达到最优。

设对于同一时刻手的位姿检测，第一传感器经过滤波后的测量值为z_L，第二传感器经过滤波并转化到第一传感器坐标系下的测量值为z_K，手的真实位姿数据为x，假设测量相互独立，且随机测量误差分别为v_L,v_K，并服从均值为0，方差为σ_L ²,σ_K ²的高斯分布，因此可得:

采用线性加权融合方式，因此手的位姿x的估计值为:

其中{w_L,w_K}分别为第一传感器和第二传感器测量值的权重。

自适应加权融合算法的主要原理是在满足

是x的无偏估计的前提下，优化估计误差的均方差达到最小，设估计误差为

则自适应加权融合算法的模型可表示为如下:

其中对于约束条件进行展开:

将式(12)的推导结果代入式(11)的目标函数，可得：

对式(13)进行求偏导即可求解目标方程达到最小值时的权值，其最优解为：

由上述可知，最优加权因子取决于各个传感器的测量误差的方差，初始方差可根据事先采集传感器的测量值，并依据以下的算法求出：

由于第一传感器和第二传感器的随机测量误差变量相互独立，根据时间域估计方法，其测量误差的方差可由下式计算可得：

其中R_LL为z_L的自协方差函数，R_KK为z_K的自协方差函数，R_LK,R_KL为z_L,z_K的互协方差函数，其数值相等。

设当前时刻传感器测量数据的个数为n，R_LL的时间域估计值为R_LL(n)，R_KK的时间域估计值为R_KK(n)，R_LK的时间域估计值为R_LK(n)，则有：

其中μ为采样数据的均值，

由此，根据时间域估计即可获取第一传感器和第二传感器的测量误差的方差。

本发明相对于现有技术具有如下的优点及效果：

本发明提出了一种基于多传感器融合技术的双手识别方法来解决机器人交互中双手遮挡问题。这种基于混合滤波技术的识别方法允许操作者使用双手手势与机器人交互，混合传感器能够长时间稳定地识别存在遮挡的双手手势，减少交互过程中手势重置的次数，进而提高双手手势交互的效率。

附图说明

图1是基于多传感器融合技术的双手识别方法流程图；

具体实施方式

下面结合实施例对本发明作进一步详细的描述，但本发明的实施方式不限于此实施例。本发明包括如下步骤：

S1、自适应低通滤波；

S2、多传感器坐标系转化；

S3、自适应加权融合。

所述步骤S1包括以下步骤：

基于速度的自适应滤波算法其基本思想是，将当前时刻的测量值与上一时刻的滤波值进行加权平均作为当前时刻的滤波值，其权重因子随当前时刻运动速度进行自适应变化。

设一只手的位置和姿态的数据表示为X＝(x,y,z,α,β,γ)^T，其中前三位分量(x,y,z)为手的中心位置，后三个分量(α,β,γ)为欧拉角表示形式的手的姿态，因此该滤波模型可以表示为：

其中X_i是第i时刻手的位姿测量值，

是上一时刻手的位姿滤波值，

是当前时刻手的位姿滤波值，η_i是一个自适应的权重因子，其值随着运动速度的变化而自适应地变化。

η_i的计算公式如下所示：

其中，T_i是采样时间间隔，在本次实例中，采用时间间隔为0.1s，τ_i是一个时间变量；

f_ci称为截断频率，其计算公式为：

f_ci＝f_cmin+γ|V_i| (4)

其中f_cmin是最小的截断频率，V_i表示当前时刻的运动速度，包括线速度和角速度，γ是运动速度的权重因子。

本实例中，f_cmin取值为1HZ，γ为0.5，因此综合式(2)，(3)，(4)，可得自适应权重因子η_i的计算公式为：

所述步骤S2包括以下步骤：

在本次实例中，使用Leap Motion和Kinect两种传感器，传感器都有基于自身传感器中心的一套局部坐标系系统，识别到手的数据也是基于各自的局部坐标系系统，不同传感器获取的数据经过滤波之后需要统一到全局坐标系下，在本实例中，采用Leap Motion坐标系作为手势数据的全局坐标系，因此需要将Kinect局部坐标系下的数据转化到LeapMotion坐标系下的数据。本发明采用基于正交矩阵形式的迭代算法来求解坐标系变换的参数，其基本思想是基于最小二乘法。

设事先采集N个样本的手的位置数据，假设传感器Leap Motion和传感器Kinect测量的手的位置是同一个点，因此，这N个三维公共点集在传感器Leap Motion和传感器Kinect下的坐标为{L_k}和{K_k},k＝1,2,...,N，将传感器Kinect坐标系下的点变换到传感器Leap Motion坐标系下的点，可构造如下坐标变换模型：

L_k＝T+μRK_k (6)

其中T表示平移矩阵参数，μ表示尺度参数，R表示旋转矩阵参数，由于传感器LeapMotion和传感器Kinect坐标系都属于右手坐标系，因此其旋转矩阵满足正交矩阵条件约束，即：

对于多个样本的共同点集，最小二乘法的基本思路是通过估计最优的参数集

使得式(6)尽可能地成立，即总体的均方误差最小，优化模型的目标方程为：

所述步骤S3包括以下步骤：

综合考虑两个传感器的数据，并对他们进行数据融合，本发明采用一种自适应加权融合算法，其基本思想根据总均方误差最小的原则，以自适应的方式寻找每个传感器的最优加权因子，使得融合后的目标观测值达到最优。

设对于同一时刻手的位姿检测，传感器Leap Motion经过滤波后的测量值为z_L，传感器Kinect经过滤波并转化到Leap Motion坐标系下的测量值为z_K，手的真实位姿数据为x，假设测量相互独立，且随机测量误差分别为v_L,v_K，并服从均值为0，方差为σ_L ²,σ_K ²的高斯分布，因此可得:

采用线性加权融合方式，因此手的位姿x的估计值为:

其中{w_L,w_K}分别为Leap Motion和Kinect测量值的权重。

自适应加权融合算法的主要原理是在满足

是x的无偏估计的前提下，优化估计误差的均方差达到最小，设估计误差为

则自适应加权融合算法的模型可表示为如下:

其中对于约束条件进行展开:

将式(12)的推导结果代入式(11)的目标函数，可得：

对式(13)进行求偏导即可求解目标方程达到最小值时的权值，其最优解为：

由上述可知，最优加权因子取决于各个传感器的测量误差的方差，初始方差可根据事先采集传感器的测量值，并依据以下的算法求出：

由于传感器Leap Motion和传感器Kinect的随机测量误差变量相互独立，根据时间域估计方法，其测量误差的方差可由下式计算可得：

其中R_LL为z_L的自协方差函数，R_KK为z_K的自协方差函数，R_LK,R_KL为z_L,z_K的互协方差函数，其数值相等。

设当前时刻传感器测量数据的个数为n，R_LL的时间域估计值为R_LL(n)，R_KK的时间域估计值为R_KK(n)，R_LK的时间域估计值为R_LK(n)，则有：

其中μ为采样数据的均值，

由此，根据时间域估计即可获取LeapMotion和Kinect传感器的测量误差的方差。

在本次实例中，首先让传感器Leap Motion和传感器Kinect采集100帧的数据稳定之后再开始人机交互，按照上述公式计算当前时刻R_LL,R_KK,R_LK的时间域估计值，并将其作为人机交互的初始时间域估计值。

随着交互的进展，数据的不断采集，不断地计算每一帧时刻下Leap Motion和Kinect传感器的方差，进行自适应地调整每个传感器的权值，从而保证整个人机交互过程中数据融合的精度。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (2)

1.基于多传感器融合技术的双手识别方法，其特征在于，包括如下步骤：

S1、自适应低通滤波，将当前时刻的测量值与上一时刻的滤波值进行加权平均作为当前时刻的滤波值，自适应权重因子η_i随当前时刻运动速度进行自适应变化；具体包括：

设一只手的位置和姿态的数据表示为X＝(x,y,z,α,β,γ)^T，其中前三位分量(x,y,z)为手心的空间直角坐标位置，后三个分量(α,β,γ)为欧拉角表示形式的手的姿态，滤波模型表示为：

其中i为时刻序号，X_i是第i个时刻手的位姿测量值，

是上一时刻手的位姿滤波值，

是当前时刻手的位姿滤波值，η_i是一个自适应权重因子，其值随着运动速度的变化而自适应地变化；

η_i的计算公式如下所示：

其中，T_i是采样时间间隔，τ_i是一个时间变量；

f_ci称为截断频率，其计算公式为：

f_ci＝f_cmin+γ|V_i| (4)

其中f_cmin是最小的截断频率，V_i表示当前时刻的运动速度，包括线速度和角速度，γ是运动速度的权重因子；

综合式(2)，(3)，(4)，可得自适应权重因子η_i的计算公式为：

S2、多传感器坐标系转化：混合传感器都有基于自身传感器中心的一套局部坐标系系统，识别到的数据也是基于各自的局部坐标系系统，不同传感器获取的数据经过滤波之后需要统一到全局坐标系下，以第一传感器坐标系作为手势数据的全局坐标系，将其他传感器的局部坐标系下的数据转化到第一传感器的坐标系下的数据；

S3、自适应加权融合：综合考虑多个传感器的数据，并对他们进行数据融合，根据总均方误差最小的原则，以自适应的方式寻找每个传感器的最优加权因子，使得融合后的目标观测值达到最优；具体包括：

设对于同一时刻手的位姿检测，第一传感器经过滤波后的测量值为z_L，第二传感器经过滤波并转化到第一传感器坐标系下的测量值为z_K，手的真实位姿数据为x，假设测量相互独立，且随机测量误差分别为v_L,v_K，并服从均值为0，方差为σ_L ²,σ_K ²的高斯分布，因此可得:

采用线性加权融合方式，因此手的位姿x的估计值为:

其中{w_L,w_K}分别为第一传感器和第二传感器测量值的权重；

在满足

是x的无偏估计的前提下，优化估计误差的均方差达到最小，设估计误差为

则自适应加权融合算法的模型可表示为如下:

其中对于约束条件进行展开:

将式(12)的推导结果代入式(11)的目标函数，可得：

对式(13)进行求偏导即可求解目标方程达到最小值时的权值，其最优解为：

由上述可知，最优加权因子{w_L,w_K}取决于各个传感器的测量误差的方差，初始方差可根据事先采集传感器的测量值，并依据以下的算法求出：

由于第一传感器和第二传感器的随机测量误差变量相互独立，根据时间域估计方法，其测量误差的方差可由下式计算可得：

其中R_LL为z_L的自协方差函数，R_KK为z_K的自协方差函数，R_LK,R_KL为z_L,z_K的互协方差函数，其数值相等；

设当前时刻传感器测量数据的个数为n，R_LL的时间域估计值为R_LL(n)，R_KK的时间域估计值为R_KK(n)，R_LK的时间域估计值为R_LK(n)，则有：

其中z_L(i)为第一传感器经过滤波后的第i个测量值，z_K(i)为第二传感器经过滤波并转化到第一传感器坐标系下的第i个测量值，μ为采样数据的均值，

由此，根据时间域估计即可获取第一传感器和第二传感器的测量误差的方差。

2.根据权利要求1所述的基于多传感器融合技术的双手识别方法，其特征在于，所述步骤S2具体包括：

采用两种传感器来识别操作者手部的位置和姿态，设事先采集N个样本的手的位置数据，假设第一传感器和第二传感器测量的手的位置是同一个点，因此，这N个三维公共点集在第一传感器和第二传感器下的坐标为{L_k}和{K_k},k＝1,2,...,N，将第二传感器坐标系下的点变换到第一传感器坐标系下的点，可构造如下坐标变换模型：

L_k＝T+μRK_k (6)

其中T表示平移矩阵参数，μ表示尺度参数，R表示旋转矩阵参数，由于第一传感器坐标系和第二传感器坐标系都属于右手坐标系，因此其旋转矩阵满足正交矩阵条件约束，即：

其中a₁，a₂，a₃，b₁，b₂，b₃，c₁，c₂，c₃为旋转矩阵R各元素的值；

对于多个样本的共同点集，最小二乘法是通过估计最优的参数集

其中

分别是T,μ,R的估计值，

使得式(6)尽可能地成立，即总体的均方误差最小，优化模型的目标方程为：

Images