CN109544606A - 基于多个Kinect的快速自动配准方法及系统 - Google Patents

Abstract

本发明基于多个Kinect的快速自动配准方法及系统，围绕人体布设三个Kinect传感器，每个Kinect传感器获取人体深度数据、人体彩色数据和人体骨骼点数据，使用棋盘格标定法获得每台Kinect的内参，再获得相邻两个Kinect传感器之间的初始变换矩阵；对人体深度数据和人体彩色数据进行处理，利用每台Kinect的内参，生成人体点云数据；利用初始变换矩阵将人体点云数据转换到统一世界坐标系；利用骨骼点数据对人体点云数据进行分类，计算刚体配准变换矩阵；使用最小二乘法优化刚体配准变换矩阵，得到最终的变换矩阵；通过最终的变换矩阵，将三个Kinect传感器获取的人体点云数据配准在一起，得到最终的配准结果。

Description

基于多个Kinect的快速自动配准方法及系统

技术领域

本公开涉及图像处理技术领域，具体涉及基于多个Kinect的快速自动配准方法及系统。

背景技术

实物及场景的重建可以帮助人们更好的处理信息，随着计算机、体感设备等技术的发展，重建真实物体和场景在机器人控制，医疗，教育，计算机应用等领域发挥着日益重要的作用。

随着Kinect这种成像速度快、价格低廉、操作方式简便且能获得物体深度信息的体感设备发布，如何快速、逼真地用Kinect重建真实物体和场景正成为研究的热点问题,而基于Kinect重建真实场景的关键在于如何快速，准确的配准多个Kinect。基于深度图像配准的算法中，比较常用的是迭代最近点算法(ICP)和棋盘格标定法。

迭代最近点(Iterative Closest Points,ICP)的核心思想是针对不同坐标系下的两个点云数据集，找到两个点云集中对应的匹配点，迭代地缩小匹配点间的距离，直到距离小于设定阈值，最终得到对应关系点集间的最优刚体变换，实现点云数据的配准。定义函数E，对点集P₁中的每一个点P_i运用变换关系得到点集P₂，E可以理解为经过变换后的P₂中每个点与M点集中对应点的距离和，重复迭代直到满足终止条件。

ICP在图像匹配上存在以下几个明显的缺点：

(1)该算法假设其中一个点集是另一个点集的子集，这一要求很多时候难以满足；

(2)该算法在搜索对应点的过程中，计算代价很大；

(3)在寻找对应点的时候，认为欧氏距离最近的点就是对应点，会产生一定数量的错误对应点。

棋盘格方法通常也用来标定Kinect，主要步骤如下：

(1)准备棋盘格标定板，连接Kinect深度传感器；

(2)前后转动棋盘格标定板，使用Kinect传感器扫描棋盘格定标板在各个位置的图像，并进行图像数据存储。至少在不同平面内扫描3幅棋盘格在不同方位的图像；

(3)利用Camera Calibration Toolbox，运行calib命令对Kinect传感器拍摄的图片进行标定。

基于棋盘格平面模板的摄像机标定由于其标定模板制作简单，应用也比较广泛。但是从标定实际应用状况和结果来看，有时候会产生标定精度不高，标定系统不稳定，标定操作过程复杂、繁琐、耗时等缺点，导致标定效果并不理想。

由于传统的三维配准方法的通用性和精度不够，难以满足用户的多种需求，在某些应用场合，例如对烧伤病人或者重病在床的患者进行其人体模型的重建时，从获取数据到模型的重建过程，复杂的过程和所消耗的时间都是需要重视的问题。

发明内容

本公开的目的就是为了解决上述问题，提供一种基于多个Kinect的快速自动配准方法及系统，该方法不需要人工标记来进行Kinect的配准,而且提高了Kinect配准速度和精度。

为实现上述目的，本公开采用如下技术方案：

作为本公开的第一方面，提供了基于多个Kinect的快速自动配准方法；

基于多个Kinect的快速自动配准方法，包括：

步骤(1)：围绕人体布设三个Kinect传感器，每个Kinect传感器获取人体深度数据、人体彩色数据和人体骨骼点数据，使用棋盘格标定法获得每台Kinect的内参，再获得相邻两个Kinect传感器之间的初始变换矩阵；

步骤(2)：对人体深度数据和人体彩色数据进行处理，利用每台Kinect的内参，生成人体点云数据；利用初始变换矩阵将人体点云数据转换到统一世界坐标系；

步骤(3)：利用骨骼点数据对人体点云数据进行分类，计算刚体配准变换矩阵；

步骤(4)：使用最小二乘法优化刚体配准变换矩阵，得到最终的变换矩阵；

步骤(5)：通过最终的变换矩阵，将三个Kinect传感器获取的人体点云数据配准在一起，得到最终的配准结果。

作为可能的一种实现方式，所述步骤(1)中，预先将三个Kinect传感器布设在距离人体设定距离的三个位置上，三个Kinect传感器处在一个同心圆上，每个Kinect传感器与圆心的连线与相邻Kinect传感器与圆心的连线之间成120°夹角，待拍摄人体设于同心圆的圆心，每个Kinect传感器用于获取人体深度数据、人体彩色数据和人体骨骼点数据，使用棋盘格标定法获得初始变换矩阵。

作为可能的一种实现方式，每个Kinect传感器用于获取人体深度数据、人体彩色数据和人体骨骼点数据，使用棋盘格标定法获得初始变换矩阵，具体步骤如下：

步骤(1-1)：每个Kinect传感器捕捉人体深度数据、人体彩色数据和人体骨骼点数据；人体深度数据是指人体深度图，人体彩色数据是指人体彩色图，人途骨骼点数据是指人体骨骼点坐标；

步骤(1-2)：将每个Kinect传感器捕捉的人体深度数据、人体彩色数据和人体骨骼点数据保存；

步骤(1-3)：将每个Kinect保存的人体深度数据、人体彩色数据和人体骨骼点数据上传到同一台计算机；

步骤(1-4)：利用棋盘格标定法，即通过MATLAB的Camera Calibration Toolbox工具包的单目标定法对每个Kinect保存的人体深度数据进行计算，得到每台Kinect的内参；再利用Camera Calibration Toolbox工具包的双目标定法对单目标定的计算结果进行计算，得到第i个Kinect传感器与同心圆顺时针方向相邻下一个Kinect传感器之间的初始变换矩阵。

作为可能的一种实现方式，所述步骤(2)中，对人体深度数据和人体彩色数据进行处理，利用每台Kinect的内参，生成人体点云数据；具体步骤如下：

对每个Kinect获得的人体深度图进行处理，利用Kinect软件开发工具包KinectSoftware Development Kit中的人体索引值属性BodyIndex，将人体区域从人体深度图中提取出来，遍历人体深度图将不属于人体区域的深度值都设置为零；

利用Kinect软件开发工具包中映射彩色流到深度坐标属性MapColorFrameToDepthSpace将人体彩色图映射到人体深度图，实现人体彩色图与人体深度图中人体区域坐标的对齐；

利用每个Kinect的内参，生成人体点云数据。

作为可能的一种实现方式，利用每个Kinect的内参，生成人体点云数据的具体步骤为：

由于已经将人体彩色图映射到人体深度图D_ij(d_x,d_y)上了，y_x＝d_x，y_y＝d_y即人体深度图上人体坐标与人体彩色图上人体坐标一一对应，所以得到加入颜色信息的人体点云数据：

p_z＝C_ij/s； (1)

p_x＝(y_x-c_x)·p_z/f_x； (2)

p_y＝(y_y-c_y)·p_z/f_y； (3)

其中，i表示第i个Kinect传感器，i＝1、2或3，j表示第j帧图像，s是深度图的方缩因子，s＝1000。

作为可能的一种实现方式，所述步骤(2)中，还包括：利用初始变换矩阵将人体点云数据转换到统一世界坐标系：

其中，表示每台Kinect初始配准后的人体点云数据。

作为可能的一种实现方式，所述步骤(3)中，利用骨骼点数据对人体点云数据进行分类，计算刚体配准变换矩阵；具体步骤如下：

步骤(3-1)：由Kinect SDK获取到人体的m个关节点的坐标；使用K-Means算法将每个Kinect传感器获取的人体点云数据分成m类；

步骤(3-2)：将人体点云分类为m类后，设定每一类的旋转矩阵和平移矩阵；基于旋转矩阵和平移矩阵，得到每个Kinect传感器每类人体点云数据的刚体配准变换矩阵。

作为可能的一种实现方式，所述步骤(4)中，使用最小二乘法优化刚体配准变换矩阵，得到最终的变换矩阵步骤：

步骤(4-1)：已知分类后的点云定义被转换的点云对应的转换后的目标点云为目标点云即为当前Kinect传感器所在同心圆顺时针方向下一个相邻Kinect传感器分类后对应关节点的点云；

为了确保转换后的目标点云与实际的目标点云贴合，为每类点云定义能量项E_fit：

步骤(4-2)：定义a_ij1、a_ij2和a_ij3是A_ij的类向量，定义能量项E_rig：

步骤(4-3)：定义K_ij(k_x,k_y,k_z)是点云P_ij(p_x,p_y,p_z)在每类临域δ内的相邻节点，为了使得变换平滑，定义能量项E_smo：

其中，ω_ij表示平滑对变换矩阵的影响程度，设置为常数100，qi_j表示四元数，用来表示点云P_ij(p_x,p_y,p_z)的旋转矩阵，T_p表示点云P_ij(p_x,p_y,p_z)的平移矩阵，Tk表示点云K_ij(k_x,k_y,k_z)的平移矩阵

步骤(4-4)：通过最小化能量函数E_tol来实现(q_ij,T_ij)即A_ij的优化估计：

E_tol＝E_fit+E_rig+E_smo； (23)。

作为可能的一种实现方式，所述步骤(5)中，通过优化后的变换矩阵，将三个Kinect传感器获取的人体数据配准在一起，得到最终的配准结果：

对三个Kinect传感器获取j帧数据的生成的点云分别进行分类后，对分类后每一类点云计算得到一个其中，i表示第i个Kinect传感器，i＝1、2或3，j表示第j帧，k表示第k个骨骼点；点云表示为第i台Kinect的第j帧的第k类点云，得到第j帧的配准结果

作为本公开的第二方面，提供了基于多个Kinect的快速自动配准系统；

基于多个Kinect的快速自动配准系统，包括：三个Kinect传感器和一台计算机设备；三个Kinect传感器均与计算机设备连接；

所述计算机设备，包括存储器、处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成如下步骤：

步骤(1)：获取每个Kinect传感器采集的人体深度数据、人体彩色数据和人体骨骼点数据，使用棋盘格标定法获得每台Kinect传感器的内参，再获得相邻两个Kinect传感器之间的初始变换矩阵；

步骤(2)：对人体深度数据和人体彩色数据进行处理，利用每台Kinect传感器的内参，生成人体点云数据；利用初始变换矩阵将人体点云数据转换到统一世界坐标系；

步骤(3)：利用骨骼点数据对人体点云数据进行分类，计算刚体配准变换矩阵；

步骤(4)：使用最小二乘法优化刚体配准变换矩阵，得到最终的变换矩阵；

步骤(5)：通过最终的变换矩阵，将三个Kinect传感器获取的人体点云数据配准在一起，得到最终的配准结果。

本公开的有益效果：

(1)与传统的Kinect配准方法相比，本公开方法不需要借助外物来进行Kinect的配准,而且提高了Kinect配准速度和精度。

(2)与传统的设备注册方法相比，本公开的方法不需要其他对象来访问它，而且提高了注册速度和准确率。

(3)我们提出的方法对噪声和几何缺陷数据具有较好的鲁棒性。

附图说明

图1是本公开的流程示意图；

图2(a)是未处理待配准的图形；

图2(b)是画出了需要配准的连接的曲线；

图2(c)是使用该方法后得到的配准结果；

图3(a)是在我们的实验中测试的人，这个人处于自然状态，不需要做任何处理；

图3(b)是由不同角度的运动所得到的骨骼；

图3(c)是每个骨乘以各自的变换矩阵计算刚体和骨在同一坐标系下的结果；

图4(a)是对获得的深度彩色数据进行预处理，去除背景的结果；

图4(b)是对获得的深度彩色数据进行预处理，去除背景并去噪后的结果；

图5(a)是将三台kinect获取的信息转换到统一的世界坐标系的结果；

图5(b)是三台kinect获取的信息转换到统一的世界坐标系以及对结果的去噪；

图6(a)是利用骨骼点信息，扫描得到的原始点云；

图6(b)是利用骨骼点信息，将点云分类的结果；

图7(a)是人体配准的正面结果；

图7(b)是人体配准的背面结果。

具体实施方式

本公开的内容可以通过以下的仿真结果进一步进行说明。

如图1所示，是本公开的具体流程，先对三台kinect进行棋盘格标定，得到三台机器初始的变换矩阵，再利用每台获取的数据生成三个角度的点云数据，对着三片点云根据骨骼点分成25类，再根据每一类计算优化后的变换矩阵，再根据最终的变换矩阵将三台Kinect获得的数据配准在一起，得到完整的人体点云。

基于多个Kinect的快速自动配准方法，包括：

步骤(1)：围绕人体布设三个Kinect传感器，每个Kinect传感器获取人体深度数据、人体彩色数据和人体骨骼点数据，使用棋盘格标定法获得每台Kinect的内参，再获得相邻两个Kinect传感器之间的初始变换矩阵；

步骤(2)：对人体深度数据和人体彩色数据进行处理，利用每台Kinect的内参，生成人体点云数据；利用初始变换矩阵将人体点云数据转换到统一世界坐标系；

步骤(3)：利用骨骼点数据对人体点云数据进行分类，计算刚体配准变换矩阵；

步骤(4)：使用最小二乘法优化刚体配准变换矩阵，得到最终的变换矩阵；

步骤(5)：通过最终的变换矩阵，将三个Kinect传感器获取的人体点云数据配准在一起，得到最终的配准结果。

作为可能的一种实现方式，所述步骤(1)中，预先将三个Kinect传感器布设在距离人体设定距离的三个位置上，三个Kinect传感器处在一个同心圆上，每个Kinect传感器与圆心的连线与相邻Kinect传感器与圆心的连线之间成120°夹角，待拍摄人体设于同心圆的圆心，每个Kinect传感器用于获取人体深度数据、人体彩色数据和人体骨骼点数据，使用棋盘格标定法获得初始变换矩阵。

作为可能的一种实现方式，每个Kinect传感器用于获取人体深度数据、人体彩色数据和人体骨骼点数据，使用棋盘格标定法获得初始变换矩阵，具体步骤如下：

步骤(1-1)：每个Kinect传感器捕捉人体深度数据、人体彩色数据和人体骨骼点数据；

人体深度数据，是指获取人体深度图D_ij，即424*512的深度值；

人体彩色数据，是指获取人体彩色图即3*424*512的颜色值；

人体骨骼点数据，是指获取骨骼点坐标数据即25个骨骼点坐标；

其中，i表示第i个Kinect传感器，i＝1、2或3，j表示第j帧，RGB表示人体彩色图的三个通道，k表示第k个骨骼点；

步骤(1-2)：将每个Kinect传感器捕捉的人体的深度D_ij(d_x,d_y)、彩色和骨骼点数据保存；

其中，d_x表示对应人体深度图中的横坐标；d_y表示对应人体深度图中的纵坐标；y_x表示对应彩色图RGB三个通道中的横坐标；y_y表示对应彩色图RGB三个通道中的纵坐标；s_x表示骨骼点的x坐标值；s_y表示骨骼点的y坐标值；s_z表示骨骼点的z坐标值；

步骤(1-3)：将每个Kinect保存的人体深度数据、人体彩色数据和人体骨骼点数据上传到同一台计算机；

步骤(1-4)：利用棋盘格标定法，即通过MATLAB的Camera Calibration Toolbox工具包的单目标定法对每个Kinect保存的人体深度数据进行计算，得到每台Kinect的内参(f_x,f_y,c_x,c_y)，其中，f_x和f_y为Kinect传感器焦距，c_x和c_y为Kinect传感器中心点坐标；再利用Camera Calibration Toolbox工具包的双目标定法对单目标定的计算结果进行计算，得到第i个Kinect传感器与同心圆顺时针方向相邻下一个Kinect传感器之间的初始变换矩阵A_i0。

作为可能的一种实现方式，所述步骤(2)中，处理获取人体深度数据和人体彩色数据，生成人体点云数据；具体步骤如下：

步骤(2-1)：对每个Kinect获得的人体深度图进行处理，利用Kinect软件开发工具包Kinect Software Development Kit中的人体索引值属性BodyIndex，将人体区域从人体深度图中提取出来，遍历人体深度图将不属于人体区域的深度值都设置为零；

利用Kinect软件开发工具包中映射彩色流到深度坐标属性MapColorFrameToDepthSpace将人体彩色图映射到人体深度图，实现人体彩色图与人体深度图中人体区域坐标的对齐。

利用每个Kinect的内参(f_x,f_y,c_x,c_y)，生成人体点云数据

生成人体点云数据：

由于已经将人体彩色图映射到人体深度图D_ij(d_x,d_y)上了，y_x＝d_x，y_y＝d_y即人体深度图上人体坐标与人体彩色图上人体坐标一一对应，所以得到加入颜色信息的人体点云数据：

p_z＝C_ij/s； (1)

p_x＝(y_x-c_x)·p_z/f_x； (2)

p_y＝(y_y-c_y)·p_z/f_y； (3)

其中，i表示第i个Kinect传感器，i＝1、2或3，j表示第j帧图像，s是深度图的方缩因子，s＝1000。

步骤(2-2)：利用初始变换矩阵，将每台Kinect生成的人体点云数据，转换到统一的世界坐标系：

其中，表示每台Kinect初始配准后的人体点云数据；

作为可能的一种实现方式，所述步骤(3)中，利用骨骼点数据对人体点云数据进行分类，计算局部刚体配准的变换矩阵的具体步骤如下：

步骤(3-1)：利用25个骨骼点坐标k的取值范围是1到25，由KinectSDK自动获取到人体的25个关节点分别是脊柱底座、脊柱中部、颈部、头部、左肩膀、左手肘、左手腕、左手、右肩膀、右手肘、右手腕、右手、左臀部、左膝盖、左脚踝、左脚、左臀部、右膝盖、右脚踝、右脚、脊柱肩、左手尖、左拇指、右手尖和右拇指；

使用K-Means算法将每个Kinect获取的点云分成25类；

K-Means所要优化的目标函数J：

其中，将每个人体点云的N个数据点被分成K个类，N为每个Kinect获取的点云中包含的点的个数，K为25，x_n为点云中的任一点坐标，μ_k为每一类的中心点坐标；

假设r_nk为点的分类结果，其中r_nk满足：

先固定μ_k，初始的中心点坐标为25个骨骼点坐标，选择最优的r_nk，即将数据点归类到离μ_k最近的中心点就保证目标函数J最小；cluster k是指第k类；

再固定r_nk，求最优μ_k，将J对μ_k求导，并令导数为零，求得J最小时μ_k满足：

即μ_k的值是第k类中的数据点的平均值；

步骤(3-2)：将人体点云分类为25类后，设定每一类的旋转矩阵R_ij，i表示第i个Kinect传感器，j表示第j类，即max(j)＝5；用四元数表示旋转矩阵R_ij来加快配准的计算速度，其中：

其中，T₁₁是旋转矩阵R_ij的第一行第一列元素，T₁₂是旋转矩阵R_ij的第一行第二列元素，T₁₃是旋转矩阵R_ij的第一行第三列元素，T₂₁是旋转矩阵R_ij的第二行第一列元素，T₂₂是旋转矩阵R_ij的第二行第二列元素，T₂₃是旋转矩阵R_ij的第二行第三列元素，T₃₁是旋转矩阵R_ij的第三行第一列元素，T₃₂是旋转矩阵R_ij的第三行第二列元素，T₃₃是旋转矩阵R_ij的第三行第三列元素。

设四元数q_ij＝(q₀,q₁,q₂,q₃),其中q₀、q₁、q₂、q₃是四元数的四个变量，四元数的计算方法如下：

4q₀q₁＝T₂₃-T₃₂； (13)

4q₀q₂＝T₃₁-T₁₃； (14)

4q₀q₃＝T₁₂-T₂₁； (15)

确定q₀、q₁、q₂和q₃的正负符号，即确定旋转的方向：

sign(q₁)＝sign(q₀)sign(T₂₃-T₃₂)； (16)

sign(q₂)＝sign(q₀)sign(T₃₁-T₁₃)； (17)

sign(q₃)＝sign(q₀)sign(T₁₂-T₂₁)； (18)

其中，sign表示该向量的正负号；

设T_ij为平移矩阵，T_ij＝(t₀,t₁,t₂)^T与旋转矩阵R_ij组成变换矩阵A_ij，如下：

其中t₀，t₁，t₂是平移矩阵的三个向量元素，A_ij表示第i台Kinect的第j类点云的刚体配准变换矩阵，A_ij＝(q_ij,T_ij)；

作为可能的一种实现方式，所述步骤(4)中，使用最小二乘法优化刚体配准变换矩阵，得到最终的变换矩阵步骤：

步骤(4-1)：已知分类后的点云定义被转换的点云对应的转换后的目标点云为目标点云即为当前Kinect传感器所在同心圆顺时针方向下一个相邻Kinect传感器分类后对应关节点的点云；

为了确保转换后的目标点云与实际的目标点云贴合，为每类点云定义能量项E_fit：

步骤(4-2)：定义a_ij1、a_ij2和a_ij3是A_ij的类向量，为了使得仿射变换严格，定义能量项E_rig：

步骤(4-3)：定义K_ij(k_x,k_y,k_z)是点云P_ij(p_x,p_y,p_z)在每类临域δ内的相邻节点，为了使得变换平滑，定义能量项E_smo：

其中，ω_ij表示平滑对变换矩阵的影响程度，设置为常数100，qi_j表示四元数，用来表示点云P_ij(p_x,p_y,p_z)的旋转矩阵，T_p表示点云P_ij(p_x,p_y,p_z)的平移矩阵，T_k表示点云K_ij(k_x,k_y,k_z)的平移矩阵

步骤(4-4)：通过最小化能量函数E_tol来实现(q_ij,T_ij)即A_ij的优化估计：

E_tol＝E_fit+E_rig+E_smo； (23)。

作为可能的一种实现方式，所述步骤(5)中，通过优化后的变换矩阵，将三个Kinect传感器获取的人体数据配准在一起，得到最终的配准结果：

对三个Kinect传感器获取j帧数据的生成的点云分别进行分类后，对分类后每一类点云计算得到一个其中，i表示第i个Kinect传感器，i＝1、2或3，j表示第j帧，k表示第k个骨骼点；点云表示为第i台Kinect的第j帧的第k类点云，得到第j帧的配准结果

1、仿真内容：应用本公开方法，对于输入对应的深度图、彩色图进行预处理，以及利用骨架信息的分类后进行图像配准。

2、仿真结果

图2(a)-图2(c)为本公开应用于图片上的匹配结果。其中图2(a)是未处理待配准的图形；图2(b)中画出了需要配准的连接的曲线；图2(c)是使用该方法后得到的配准结果。

从图2(a)-图2(c)可以看出，使用本公开方法能够对图像精准配准，可以得到成功匹配的图形。

图3(a)-图3(c)是本公开应用于把每个骨架的刚体变换得到一个标准的变换的结果。其中图3(a)是在我们的实验中测试的人，这个人处于自然状态，不需要做任何处理；图3(b)是由不同角度的运动所得到的骨骼，每两根骨头之间有一个刚体转换，我们可以用我们的算法把每个骨架的刚体变换得到一个标准的变换；在图3(c)中，每个骨乘以各自的变换矩阵计算刚体和骨在同一坐标系下的结果。

从图3(a)-图3(c)可以看出，使用本公开方法可以完成运动中骨架的配准，将不同Kinect中获取的动态骨架信息转换到一个坐标系中，并且完成骨骼信息的配准。

图4(a)、图4(b)是对获得的深度彩色数据进行预处理，去除背景并去噪后的结果。

图5(a)、图5(b)是将三台kinect获取的信息转换到统一的世界坐标系的结果，以及对结果的去噪。

图6(a)、图6(b)是利用骨骼点信息，将点云分类的结果。

图7(a)、图7(b)是人体配准的结果。

综上，本公开是基于多个Kinect的自动配准.我们结合深度、彩色骨骼数据对Kinect进行配准。本公开通过使用最小二乘算法计算出任意点云数据之间的平移和旋转矩阵，并用四元数来表示变换矩阵。与传统的Kinect配准方法相比，本文方法不需要借助外物来进行Kinect的配准,而且提高了Kinect配准速度和精度。

上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。

Claims (10)

1.基于多个Kinect的快速自动配准方法，其特征是，包括：

步骤(1)：围绕人体布设三个Kinect传感器，每个Kinect传感器获取人体深度数据、人体彩色数据和人体骨骼点数据，使用棋盘格标定法获得每台Kinect的内参，再获得相邻两个Kinect传感器之间的初始变换矩阵；

步骤(2)：对人体深度数据和人体彩色数据进行处理，利用每台Kinect的内参，生成人体点云数据；利用初始变换矩阵将人体点云数据转换到统一世界坐标系；

步骤(3)：利用骨骼点数据对人体点云数据进行分类，计算刚体配准变换矩阵；

步骤(4)：使用最小二乘法优化刚体配准变换矩阵，得到最终的变换矩阵；

步骤(5)：通过最终的变换矩阵，将三个Kinect传感器获取的人体点云数据配准在一起，得到最终的配准结果。

2.如权利要求1所述的基于多个Kinect的快速自动配准方法，其特征是，所述步骤(1)中，预先将三个Kinect传感器布设在距离人体设定距离的三个位置上，三个Kinect传感器处在一个同心圆上，每个Kinect传感器与圆心的连线与相邻Kinect传感器与圆心的连线之间成120°夹角，待拍摄人体设于同心圆的圆心，每个Kinect传感器用于获取人体深度数据、人体彩色数据和人体骨骼点数据，使用棋盘格标定法获得初始变换矩阵。

3.如权利要求1所述的基于多个Kinect的快速自动配准方法，其特征是，每个Kinect传感器用于获取人体深度数据、人体彩色数据和人体骨骼点数据，使用棋盘格标定法获得初始变换矩阵，具体步骤如下：

步骤(1-1)：每个Kinect传感器捕捉人体深度数据、人体彩色数据和人体骨骼点数据；人体深度数据是指人体深度图，人体彩色数据是指人体彩色图，人途骨骼点数据是指人体骨骼点坐标；

步骤(1-2)：将每个Kinect传感器捕捉的人体深度数据、人体彩色数据和人体骨骼点数据保存；

步骤(1-3)：将每个Kinect保存的人体深度数据、人体彩色数据和人体骨骼点数据上传到同一台计算机；

步骤(1-4)：利用棋盘格标定法，即通过MATLAB的Camera Calibration Toolbox工具包的单目标定法对每个Kinect保存的人体深度数据进行计算，得到每台Kinect的内参；再利用Camera Calibration Toolbox工具包的双目标定法对单目标定的计算结果进行计算，得到第i个Kinect传感器与同心圆顺时针方向相邻下一个Kinect传感器之间的初始变换矩阵。

4.如权利要求1所述的基于多个Kinect的快速自动配准方法，其特征是，所述步骤(2)中，对人体深度数据和人体彩色数据进行处理，利用每台Kinect的内参，生成人体点云数据；具体步骤如下：

对每个Kinect获得的人体深度图进行处理，利用Kinect软件开发工具包KinectSoftware Development Kit中的人体索引值属性BodyIndex，将人体区域从人体深度图中提取出来，遍历人体深度图将不属于人体区域的深度值都设置为零；

利用Kinect软件开发工具包中映射彩色流到深度坐标属性MapColorFrameToDepthSpace将人体彩色图映射到人体深度图，实现人体彩色图与人体深度图中人体区域坐标的对齐；

利用每个Kinect的内参，生成人体点云数据。

5.如权利要求1所述的基于多个Kinect的快速自动配准方法，其特征是，利用每个Kinect的内参，生成人体点云数据的具体步骤为：

由于已经将人体彩色图映射到人体深度图D_ij(d_x,d_y)上了，y_x＝d_x，y_y＝d_y即人体深度图上人体坐标与人体彩色图上人体坐标一一对应，所以得到加入颜色信息的人体点云数据：

p_z＝C_ij/s；(1)

p_x＝(y_x-c_x)·p_z/f_x；(2)

p_y＝(y_y-c_y)·p_z/f_y；(3)

其中，i表示第i个Kinect传感器，i＝1、2或3，j表示第j帧图像，s是深度图的方缩因子，s＝1000。

6.如权利要求1所述的基于多个Kinect的快速自动配准方法，其特征是，所述步骤(2)中，还包括：利用初始变换矩阵将人体点云数据转换到统一世界坐标系：

其中，表示每台Kinect初始配准后的人体点云数据。

7.如权利要求1所述的基于多个Kinect的快速自动配准方法，其特征是，所述步骤(3)中，利用骨骼点数据对人体点云数据进行分类，计算刚体配准变换矩阵；具体步骤如下：

步骤(3-1)：由Kinect SDK获取到人体的m个关节点的坐标；使用K-Means算法将每个Kinect传感器获取的人体点云数据分成m类；

步骤(3-2)：将人体点云分类为m类后，设定每一类的旋转矩阵和平移矩阵；基于旋转矩阵和平移矩阵，得到每个Kinect传感器每类人体点云数据的刚体配准变换矩阵。

8.如权利要求1所述的基于多个Kinect的快速自动配准方法，其特征是，所述步骤(4)中，使用最小二乘法优化刚体配准变换矩阵，得到最终的变换矩阵步骤：

步骤(4-1)：已知分类后的点云定义被转换的点云对应的转换后的目标点云为目标点云即为当前Kinect传感器所在同心圆顺时针方向下一个相邻Kinect传感器分类后对应关节点的点云；

为了确保转换后的目标点云与实际的目标点云贴合，为每类点云定义能量项E_fit：

步骤(4-2)：定义a_ij1、a_ij2和a_ij3是A_ij的类向量，定义能量项E_rig：

步骤(4-3)：定义K_ij(k_x,k_y,k_z)是点云P_ij(p_x,p_y,p_z)在每类临域δ内的相邻节点，为了使得变换平滑，定义能量项E_smo：

其中，ω_ij表示平滑对变换矩阵的影响程度，设置为常数100，qi_j表示四元数，用来表示点云P_ij(p_x,p_y,p_z)的旋转矩阵，T_p表示点云P_ij(p_x,p_y,p_z)的平移矩阵，T_k表示点云K_ij(k_x,k_y,k_z)的平移矩阵

步骤(4-4)：通过最小化能量函数E_tol来实现(q_ij,T_ij)即A_ij的优化估计：

E_tol＝E_fit+E_rig+E_smo；(23)。

9.如权利要求1所述的基于多个Kinect的快速自动配准方法，其特征是，所述步骤(5)中，通过优化后的变换矩阵，将三个Kinect传感器获取的人体数据配准在一起，得到最终的配准结果：

对三个Kinect传感器获取j帧数据的生成的点云分别进行分类后，对分类后每一类点云计算得到一个其中，i表示第i个Kinect传感器，i＝1、2或3，j表示第j帧，k表示第k个骨骼点；点云表示为第i台Kinect的第j帧的第k类点云，得到第j帧的配准结果

10.基于多个Kinect的快速自动配准系统，其特征是，包括：三个Kinect传感器和一台计算机设备；三个Kinect传感器均与计算机设备连接；

所述计算机设备，包括存储器、处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成如下步骤：

步骤(1)：获取每个Kinect传感器采集的人体深度数据、人体彩色数据和人体骨骼点数据，使用棋盘格标定法获得每台Kinect传感器的内参，再获得相邻两个Kinect传感器之间的初始变换矩阵；

步骤(2)：对人体深度数据和人体彩色数据进行处理，利用每台Kinect传感器的内参，生成人体点云数据；利用初始变换矩阵将人体点云数据转换到统一世界坐标系；

步骤(3)：利用骨骼点数据对人体点云数据进行分类，计算刚体配准变换矩阵；

步骤(4)：使用最小二乘法优化刚体配准变换矩阵，得到最终的变换矩阵；

步骤(5)：通过最终的变换矩阵，将三个Kinect传感器获取的人体点云数据配准在一起，得到最终的配准结果。