CN110084857B - Kinect和厉动传感器组合传感装置及联合标定方法 - Google Patents

Abstract

本发明公开了一种Kinect和厉动传感器组合传感装置及联合标定方法，利用该装置可实现手势指令引导环境感知，提高家庭服务机器人对环境学习和认知的准确性和高效性，增强人机交互体验；该联合标定方法通过搭建双标定板结构，能够实现在无公共视场情况下，完成Kinect和厉动传感器的联合标定。

Description

Kinect和厉动传感器组合传感装置及联合标定方法

技术领域

本发明涉及人机交互技术，涉及一种Kinect和厉动传感器组合传感装置及联合标定方法。

背景技术

基于手势识别的人机交互是指通过机器视觉技术识别简单的手势来控制或与设备交互，它是一种快速的、无侵入式的、自然的人机交互方式。

通常的手势交互依赖的是单一传感器进行信息获取，无法满足当前人机交互的智能化需求，因此需要将两个或两个以上的传感器组合起来使用。如何标定两传感器间的位姿关系也是智能化人机交互的重要部分。

目前，针对两传感器标定的主要方法都局限于存在公共视场情况下，而实际的人机交互系统中所需的组合传感装置往往没有公共视场，导致两传感器的标定在无公共视场下很难进行，这也使得多传感器组合传感装置无法广泛应用于人机交互领域。

发明内容

发明目的：本发明的目的是提供一种Kinect和厉动传感器组合传感装置，为满足人机交互中的自然性，增强其交互体验；可应用于家庭服务机器人的人机交互层面。

技术方案：本发明所述的Kinect和厉动传感器组合传感装置，包括Kinect和厉动传感器两种传感器，将两者结合搭建一种可实现手势交互的环境感知装置；其中，Kinect用于环境感知，厉动传感器用于捕捉手势动作。

Kinect和厉动传感器朝向相互垂直设置；Kinect镜头坐标系和厉动传感器镜头坐标系在Z轴方向相互垂直设置，其中厉动传感器通过固定装置设置在Kinect的左后方。

通过采用上述技术方案，Kinect用于环境感知，厉动传感器用于捕捉手势动作，可应用于家庭服务机器人的人机交互层面；两传感器的组合方式是：Kinect和厉动传感器朝向垂直，两传感器镜头坐标系的Z轴方向上相互垂直设置，厉动传感器置于Kinect的左后方，Kinect和厉动传感器的设置能够满足人机交互中的自然性，增强其交互体验。

发明目的：本发明的目的是提供一种Kinect和厉动传感器组合传感装置的联合标定方法，能够实现在无公共视场情况下，多传感器组合传感装置进行人机交互。

技术方案：本发明所述的Kinect和厉动传感器组合传感装置的联合标定方法包括以下步骤：

S1、根据Kinect和厉动传感器两传感器的朝向设计标定板装置，其包含两个与传感器对应的标定板，Kinect对应标定板a，厉动传感器对应标定板b；

S2、利用标定板a和标定板b分别对Kinect、厉动传感器进行单独标定，通过多次改变传感器系统相对于标定板装置的位置；

S3、以Kinect的彩色摄像头坐标系为基准，标定两传感器间的位姿关系。

通过采用上述技术方案，步骤S1中，具体设计过程及要求如下：首先针对两传感器的位置朝向要求，标定板装置需包含标定板a和标定板b，标定板a前置于对应Kinect，标定板b后置于对应厉动传感器，且标定板a和标定板b相互垂直设置，标定板a和标定板b采用刚性连接。

步骤S2中，具体包括如下步骤：

(1)保证标定板平面与传感器成像平面不平行的前提下，每次按旋转一定角度且平移的规律来改变传感器系统相对于标定板装置的相对位置；

利用标定板a对Kinect进行标定，利用标定板b对厉动传感器进行标定；得到各传感器的外参矩阵:旋转矩阵R和平移矩阵T；

(3)将两传感器对应的R、T矩阵以

的形式组合，表示两传感器到对应标定板的位姿变换矩阵；

步骤S3中，具体包括如下步骤：

(1)随机选取标定板装置的第i位置记为位置1，可得到Kinect到标定板a的位姿变换关系A₁，厉动传感器到标定板b的位姿变换关系B₁；选择标定板装置第i+3位置记为位置2，得到Kinect到标定板a的位姿变换关系A₂，厉动传感器到标定板b的位姿变换关系B₂；

(2)根据标定板装置处于位置1、2时的结构关系，由两标定板间位置的不变性得到方程AX＝XB，其中A＝A₂*A₁ ^-1,B＝B₂*B₁ ^-1,X为两传感器间的位姿关系；

(3)重复步骤(1)、步骤(2)，得到两组A、B的值，将两组A、B作为输入，利用Navy标定算法解出方程AX＝XB，得到未知量

的值即完成两传感器的位姿标定，其中A＝A₂*A₁ ^-1,B＝B₂*B₁ ^-1,R_X为Kinect到厉动传感器的位姿旋转变换矩阵，T_X为Kinect到厉动传感器的位姿平移矩阵；其具体求解方法如下：

将X移到方程右边，得到A＝X*B*X^T,根据Navy标定算法，在方程的两边取对数，得到logA＝log(X*B*X^T),令logA＝[α]，logB＝[β]，则上式可以化为

[α]＝X[β]X^T＝[X*β],

从而α＝X*β,AX＝XB写成矩阵形式为:

将上式展开可以得到

θ_A*θ_X＝θ_X*θ_B；θ_A*b_X+b_A＝θ_X*b_B+b_X，

然后采用“两步法”求解上述方程，先解算旋转矩阵，再求平移向量。由上述推导可得α＝θ_X*β,存在多组A、B时，求解该方程转化为最小二乘拟合问题:

所以旋转矩阵解为：

其中

最后，根据上述求得的旋转矩阵由(R_Bij-I)T_X＝R_X*T_A-T_Bij即可求得平移向量T_X，其中R_B和T_B分别为厉动传感器在位姿变换时的旋转矩阵和平移向量，T_A为Kinect位姿变换时的平移向量。这样，即可求得R_X、T_X的值，得到厉动传感器和Kinect的位姿变换矩阵，完成两传感器的标定。

有益效果

可实现手势指令引导环境感知，提高家庭服务机器人对环境学习和认知的准确性和高效性，增强人机交互体验；在无公共视场情况下，多传感器组合传感装置进行人机交互。

附图说明

图1为厉动传感器和Kinect标定系统结构图；

图2为厉动传感器和Kinect位置结构图；

图3为两标定板装置结构图；

图4为异构多相机标定算法原理图。

具体实施方式

如图1和2所示，Kinect和厉动传感器组合传感装置，包括Kinect和厉动传感器两种传感器，厉动传感器即leap motion传感器；将两者结合搭建一种可实现手势交互的环境感知装置；其中，Kinect用于环境感知，厉动传感器用于捕捉手势动作。

Kinect和厉动传感器朝向相互垂直设置；Kinect镜头坐标系和厉动传感器镜头坐标系在Z轴方向相互垂直设置，其中厉动传感器通过固定装置设置在Kinect的左后方。

具体为，通过钢材搭建固定装置，将Kinect固定在此结构上方，距离装置底部横杆L1约40cm,镜头向前，便于对室内环境进行感知；厉动传感器固定在装置左后方，距离横杆L2约45cm，镜头向上捕捉手势动作。

如图3和4所示，Kinect和厉动传感器组合装置的联合标定方法，其具体实施方式如下：

S1、根据Kinect和厉动传感器两传感器系统的位置和朝向，其包含两个与传感器对应的标定板，Kinect对应标定板a，厉动传感器对应标定板b；

S11,针对两传感器视角的特性，利用亚克力板制作两块大小不同的棋盘格标定板，标定板a的单个格子边长为48mm,标定板b的单个格子边长31mm；

S12,根据传感器系统的位置，搭建标定板固定结构，将标定板a和标定板b固定到标定板装置上，标定板a前置于对应Kinect，标定板b后置于对应厉动传感器，且标定板a和标定板b相互垂直设置，标定板b末端距标定板a平面40cm，参考图3。

S2、多次改变上述相对位置分别采集标定板图像，使用标定工具箱分别对各视觉传感器单独标定。具体步骤如下：

S21,连接厉动传感器和Kinect传感器，打开各传感器的摄像头。

S22,移动标定板装置的位置，改变其旋转角度和平移向量，两组运动间旋转角度应大约45度。

S23,当标定板系统和传感器系统位置发生相对变化时，使用两传感器分别采集各自对应标定板图像的图片，采集图片约20张，并按相同的顺序命名保存。

S24，首先通过MATLAB标定工具箱的check_active_images函数对图片进行检测预处理，去掉不符合条件的图片，在图片采集和剔除时应保证两传感器采集的图片一致；

S25，然后利用cornerfinder2函数对图片进行角点检测和提取，并通过calib函数对两传感器分别进行标定；

S3、将两视觉传感器单独标定的外参数变换后输入到AX＝XB的求解算法。具体步骤如下：

S31，将两传感器的外参数矩阵(平移和旋转)进行转置；

S32,将转置后的旋转和平移矩阵按照

进行组合作为A_i、B_i，其中A_i为Kinect传感器在第i位置处的外参矩阵运算结果，B_i为厉动传感器在第i位置处的外参矩阵运算结果；

S4、通过对方程AX＝XB的求解，实现对Kinect和厉动传感器的联合标定，求解方法要求输入至少两组A,B,至少发生三个位置变化。具体步骤如下：

S41，将Kinect传感器1,2位置的外参矩阵按步骤S3的方式运算后，以A₂A₁ ^-1的形式计算其相对位置的变化作为A1,同样的方式取另外两个位置计算得到A2；

S42，同样按上述方式取厉动传感器的位置矩阵计算得到B1,B2；

S43，将A1、A2,B1、B2输入到上述提供的AX＝XB的求解算法，对方程进行求解，即完成对两传感器标定；

S5、对传感器系统的标定结果进行分析验证，将上述解出的矩阵带入方程AX＝XB进行验证。

S5、对传感器系统的标定结果进行分析验证，将上述解出的矩阵带入方程AX＝XB进行验证。

Claims (4)

1.一种Kinect和厉动传感器组合传感装置，其特征在于包括Kinect和厉动传感器两种传感器，将两者结合搭建一种可实现手势交互的环境感知装置；其中，Kinect用于环境感知，厉动传感器用于捕捉手势动作；

所述装置的联合标定方法，包括以下步骤：

S1、根据Kinect和厉动传感器两传感器的朝向设计标定板装置，其包含两个与传感器对应的标定板，Kinect对应标定板a，厉动传感器对应标定板b；

S2、利用标定板a和标定板b分别对Kinect、厉动传感器进行单独标定，通过多次改变传感器系统相对于标定板装置的位置；

S3、以Kinect的彩色摄像头坐标系为基准，标定两传感器间的位姿关系；

步骤S3中，以Kinect彩色摄像头坐标系为基准，标定两传感器间的位姿关系，具体包括如下步骤：

(1)随机选取标定板装置的第i位置记为位置1，可得到Kinect到标定板a的位姿变换关系A₁，厉动传感器到标定板b的位姿变换关系B₁；选择标定板装置第i+3位置记为位置2，得到Kinect到标定板a的位姿变换关系A₂，厉动传感器到标定板b的位姿变换关系B₂；

(2)根据标定板装置处于位置1、2时的结构关系，由两标定板间位置的不变性得到方程AX＝XB，其中A＝A₂*A₁ ^-1,B＝B₂*B₁ ^-1,X为两传感器间的位姿关系；

(3)重复步骤(1)、步骤(2)，得到两组A,B的值，将两组A、B作为输入，利用Navy标定算法解出方程AX＝XB，得到未知量

的值即完成厉动传感器和Kinect两传感器间的位姿关系标定，其中A＝A₂*A₁ ^-1,B＝B₂*B₁ ^-1,R_X为Kinect到厉动传感器的位姿旋转变换矩阵，T_X为Kinect到厉动传感器的位姿平移矩阵。

2.根据权利要求1所述的Kinect和厉动传感器组合传感装置，其特征在于Kinect和厉动传感器朝向相互垂直设置；Kinect镜头坐标系和厉动传感器镜头坐标系在Z轴方向相互垂直设置，其中厉动传感器通过固定装置设置在Kinect的左后方。

3.根据权利要求1所述的Kinect和厉动传感器组合传感装置，其特征在于在步骤S1中，标定板a前置于对应的Kinect，标定板b后置于对应的厉动传感器，且标定板a和标定板b相互垂直设置，标定板a和标定板b采用刚性连接。

4.根据权利要求1所述的Kinect和厉动传感器组合传感装置，其特征在于在步骤S2中，对Kinect和厉动传感器两传感器单独标定时，在保证标定板平面与传感器成像平面不平行的前提下，将标定板装置绕厉动传感器的LED指示灯旋转平移，按每次旋转45度且平移5cm的规律进行位置变换。

Images