CN108564653B - 基于多Kinect的人体骨架追踪系统及方法 - Google Patents

基于多Kinect的人体骨架追踪系统及方法 Download PDF

Info

Publication number
CN108564653B
CN108564653B CN201810220754.6A CN201810220754A CN108564653B CN 108564653 B CN108564653 B CN 108564653B CN 201810220754 A CN201810220754 A CN 201810220754A CN 108564653 B CN108564653 B CN 108564653B
Authority
CN
China
Prior art keywords
kinects
point cloud
pairing
kinect
matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810220754.6A
Other languages
English (en)
Other versions
CN108564653A (zh
Inventor
叶龙
刘大伟
帖云
方力
张勤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Communication University of China
Original Assignee
Communication University of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Communication University of China filed Critical Communication University of China
Priority to CN201810220754.6A priority Critical patent/CN108564653B/zh
Publication of CN108564653A publication Critical patent/CN108564653A/zh
Application granted granted Critical
Publication of CN108564653B publication Critical patent/CN108564653B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Abstract

本发明提供一种基于多Kinect的人体骨架追踪系统及方法，包括：第一终端包括多个Kinect，采集人体图像变成点云数据；数据传输模块；第二终端包括：数据接收模块，接收点云数据；数据转换模块，统一多个Kinect的相机坐标系、拍摄的标记点坐标系统，得到每两个Kinect的初始变换关系；数据融合模块，每两个Kinect进行初始配对，得到一个Kinect的多种配对方式，通过最小二乘法迭代获得每一个Kinect的最佳配对，根据每两个Kinect的最佳变换关系对多个Kinect的点云数据进行融合；骨架提取模块，根据数据融合模块融合的点云数据进行人体重建。上述系统及方法减弱点云数据配准错位现象。

Description

基于多Kinect的人体骨架追踪系统及方法
技术领域
本发明涉及视觉技术领域，更为具体地，涉及一种基于多Kinect的人体骨架追踪系统及方法。
背景技术
随着人机交互技术的蓬勃发展，体感设备已经被大量运用到商场、娱乐、医疗等多个领域。单台Kinect交互范围较小，且精确度有限。为了满足实际用户和研究者的更大需求，现有的体感设备还有很多不足的方面，比如：单个设备的采集距离较短，人机交互的范围较小，设备自身的采集精度，还有用户的自遮挡、外界的噪声等问题。
目前的体感设备主要有交互范围有限、用户自遮挡和交互精度不足等问题。为了解决这些问题，使用了多个体感设备来进行人机交互。
由于kinect的易用性和价格低廉，为了解决以上的问题提出了多Kinect人机交互技术。多Kinect人机交互技术是一种采用多个Kinect体感设备，获取现实场景和使用者的有关数据，在虚拟世界中进行体感交互设计和开发的技术。
现有的多Kinect人机交互技术为了增加系统中骨架数据的精准性，使用了几何学的三角测量法来精确摆放三台Kinect相机的具体位置和方向，以解决单台Kinect精度不足和用户自遮挡等问题，在物理几何摆放上就必须精确每台Kinect的位置和方向，这样的场景搭建起来难度较大，且再次使用必须再次确定他们的位置信息。另外，现有的多Kinect人机交互技术没有处理掉可能存在的外在干扰和噪声。再者，现有的多Kinect人机交互技术即使精确摆放多台多Kinect人机交互技术，也存在大量的点云数据配准的错位现象，配准精度低。
发明内容
鉴于上述问题，本发明的目的是提供一种减弱点云数据配准的错位现象、配准精度高的提取出人体在场景中的骨架信息的基于多Kinect的人体骨架追踪系统及方法。
根据本发明的一个方面，提供一种基于多Kinect的人体骨架追踪系统，包括：第一终端，包括多个Kinect和数据传输模块，每一个Kinect采集人体图像，将其变换成点云数据通过数据传输模块传输给第二终端；第二终端，从点云数据中提取人体骨架关节点信息，其中，包括：数据接收模块，接收第一终端设备传来的多个Kinect采集的点云数据；数据转换模块，将多个Kinect的相机坐标系、拍摄的标记点坐标系统一到一个坐标系，得到每两个Kinect的初始变换关系，传输给数据融合模块，所述初始变换关系包括使得两个Kinect的相机坐标系和标记点坐标系统一的初始旋转矩阵和初始平移矩阵；数据融合模块，每两个Kinect进行初始配对，得到一个Kinect的多种配对方式，通过最小二乘法迭代获得每一个Kinect的最佳配对，所述最佳配对应的初始变换关系作为最佳变换关系，根据每两个Kinect的最佳变换关系对多个Kinect的点云数据进行融合；骨架提取模块，根据数据融合模块融合的点云数据进行人体重建。
所述的人体骨架追踪系统，其中，所述数据融合模块包括：初始配对单元，将每两个Kinect进行初始配对，得到一个Kinect的多种配对方式；点匹配单元，对每一种配对方式的两个Kinect点云数据中的每一个匹配点按照距离最短进行匹配；配对更新单元，计算每一个Kinect的每一种配对方式的多个匹配点的平均距离，将最小平均距离对应的匹配方式作为每一个Kinect的第二配对，第二配对的两个Kinect之间的初始变换关系作为第二变换关系；均方根误差获得单元，通过配对更新单元更新后的每一个Kinect的第二配对对应的第二变换关系根据下式(1)得到每一个Kinect的第二配对的最小均方根误差，
Figure BDA0001599809720000031
其中，xi为一个Kinect的点云数据X中的第i个匹配点，yi为所述一个Kinect的第二配对的另一个Kinect的点云数据Y中的第i个匹配点，m为两个Kinect的点云数据中较少的匹配点个数，R为第二配对的两个Kinect的第二旋转矩阵，t为第二配对的两个Kinect的第二平移矩阵，e(X,Y)为第二配对的两个Kinect的最小均方根误差；判断单元，判断所述最小均方根误差是否在设定的误差范围内，如果所述最小均方跟误差在所述范围内，将第二配对对应的第二旋转矩阵和第二平移矩阵作为第二配对的两个Kinect的最佳变换关系，如果所述最小均方跟误差在误差范围内，将第二变换关系传输给初始配对单元，在初始配对单元至判断单元之间迭代循环，直到得到最佳变换关系；融合单元，根据每两个Kinect的最佳变换关系对多个Kinect的点云数据进行融合。
所述的人体骨架追踪系统，其中，所述第一终端还包括：提取模块，从每一个Kinect的采集的人体点云数据中提取深度数据。
所述的人体骨架追踪系统，其中，所述骨架提取模块包括：点云建模单元，采用主成分分析方法对提取模块提取的深度数据和数据融合模块融合的点云数据进行三维建模，得到点云模型；骨架提取单元，采用点云骨架提取方法提取点云模型的骨架。
所述的人体骨架追踪系统，其中，所述第二终端还包括：数据预处理模块，采用聚类算法查找每一个点云数据的每一个匹配点最近的设定个数的邻近匹配点，滤除与所述匹配点的距离大于设定阈值的邻近匹配点。
所述的人体骨架追踪系统，其中，所述第一终端还包括：标定模块，将每一个Kinect的相机坐标系变换到其拍摄的标记点坐标系。
根据本发明的另一个方面，提供一种基于多Kinect的人体骨架追踪方法，包括：步骤1，采用多个Kinect采集人体图像，将其变换成点云数据；步骤2，将多个Kinect的相机坐标系、拍摄的标记点坐标系统一到一个坐标系，得到每两个Kinect的初始变换关系，所述初始变换关系包括使得两个Kinect的相机坐标系和标记点坐标系统一的初始旋转矩阵和初始平移矩阵；步骤3，每两个Kinect进行初始配对，得到一个Kinect的多种配对方式，通过最小二乘法迭代获得每一个Kinect的最佳配对，所述最佳配对应的初始变换关系作为最佳变换关系，根据每两个Kinect的最佳变换关系对多个Kinect的点云数据进行融合；步骤4，根据数据融合模块融合的点云数据进行人体重建。
所述的人体骨架追踪方法，其中，所述步骤3包括：将每两个Kinect进行初始配对，得到一个Kinect的多种配对方式；对每一种配对方式的两个Kinect点云数据中的每一个匹配点按照距离最短进行匹配；计算每一个Kinect的每一种配对方式的多个匹配点的平均距离，将最小平均距离对应的匹配方式作为每一个Kinect的第二配对，第二配对的两个Kinect之间的初始变换关系作为第二变换关系；通过每一个Kinect的第二配对对应的第二变换关系根据下式(1)得到每一个Kinect的第二配对的最小均方根误差，
Figure BDA0001599809720000041
其中，xi为一个Kinect的点云数据X中的第i个匹配点，yi为所述一个Kinect的第二配对的另一个Kinect的点云数据Y中的第i个匹配点，m为两个Kinect的点云数据中较少的匹配点个数，R为第二配对的两个Kinect的第二旋转矩阵，t为第二配对的两个Kinect的第二平移矩阵，e(X,Y)为第二配对的两个Kinect的最小均方根误差；判断所述最小均方根误差是否在设定的误差范围内；如果所述最小均方跟误差在误差范围内，将第二配对对应的第二旋转矩阵和第二平移矩阵作为第二配对的两个Kinect的最佳变换关系；如果所述最小均方跟误差在所述范围内，将第二变换关系作为初始变换关系进行迭代直到最小均方跟误差在误差范围内；根据每两个Kinect的最佳变换关系对多个Kinect的点云数据进行融合。
所述的人体骨架追踪方法，其中，还包括：从每一个Kinect的采集的人体点云数据中提取深度数据。
所述的人体骨架追踪方法，其中，还包括：采用主成分分析方法对提取模块提取的深度数据和数据融合模块融合的点云数据进行三维建模，得到点云模型；采用点云骨架提取方法提取点云模型的骨架。
所述的人体骨架追踪方法，其中，在步骤2和步骤3之间还包括：采用聚类算法查找每一个点云数据的每一个匹配点最近的设定个数的邻近匹配点，滤除与所述匹配点的距离大于设定阈值的邻近匹配点。
所述的人体骨架追踪方法，其中，所述步骤1还包括：将每一个Kinect的相机坐标系变换到其拍摄的标记点坐标系。
本发明所述基于多Kinect的人体骨架追踪系统及方法不必精确知道Kinect的位置信息和方向，解决了可能存在的噪声干扰问题，利用了多台Kinect提取点云数据进行融合，从点云数据中再提取关节点骨架信息，这样得到的骨架信息更加准确，接近真实值，更加精确的提取出人体在场景中的骨架信息。
附图说明
通过参考以下结合附图的说明，随着对本发明的更全面理解，本发明的其它目的及结果将更加明白及易于理解。在附图中：
图1是本发明所述基于多Kinect的人体骨架追踪系统的构成框图；
图2是本发明所述基于多Kinect的人体骨架追踪方法的流程图；
图3a和3b是本发明所述两组点云数据数据融合前后的对比示意图。
具体实施方式
在下面的描述中，出于说明的目的，为了提供对一个或多个实施例的全面理解，阐述了许多具体细节。然而，很明显，也可以在没有这些具体细节的情况下实现这些实施例。以下将结合附图对本发明的具体实施例进行详细描述。
以下将结合附图对本发明的具体实施例进行详细描述。
图1是本发明所述基于多Kinect的人体骨架追踪系统的构成框图，如图1所示，本实施例所述人体骨架追踪系统包括：
第一终端1，包括多个Kinect11和数据传输模块12，每一个Kinect11采集人体图像，将其变换成点云数据通过数据传输模块传输给第二终端2；
第二终端2，从点云数据中提取人体骨架关节点信息，其中，包括：
数据接收模块21，接收第一终端设备传来的多个Kinect采集的点云数据；
数据转换模块22，将多个Kinect的相机坐标系、拍摄的标记点坐标系统一到一个坐标系，得到每两个Kinect的初始变换关系，传输给数据融合模块，所述初始变换关系包括使得两个Kinect的相机坐标系和标记点坐标系统一的初始旋转矩阵和初始平移矩阵；
数据融合模块23，每两个Kinect进行初始配对，得到一个Kinect的多种配对方式，通过最小二乘法迭代获得每一个Kinect的最佳配对，所述最佳配对应的初始变换关系作为最佳变换关系，根据每两个Kinect的最佳变换关系对多个Kinect的点云数据进行融合；
骨架提取模块24，根据数据融合模块融合的点云数据进行人体重建。
上述第一终端1可以作为客户端，第二终端2作为服务端，第一终端1的数据传输模块12在系统中必须要保证每个客户端的的数据是同步的，同时满足实验中数据量大的传输，优选地，使用UDP协议编程实现网络同步。当服务端发送一个信号给全部的客户端时，客户端同时采集数据并发送给服务端，当服务端处理完最后一客户端发送来信息同时继续给全部客户端发送下一帧的信号。这样保证了信息采集的同步性。
上述人体骨架追踪系统使用多个体感设备同时从不同的角度来检测用户，在空间上扩大了人机交互时用户的活动范围。同时解决了用户的自遮挡问题、数据丢失和数据误差等问题，增加了交互的精准度，可以使用户在场景中更好的感知世界，与外接设备达成更好的交互。而且，利用了多台Kinect提取点云数据进行融合，从点云数据中再提取关节点骨架信息，这样得到的骨架信息更加准确，接近真实值。
优选地，上述第一终端1还包括：
标定模块13，将每一个Kinect的相机坐标系变换到其拍摄的标记点坐标系，具体地：
根据下式(2)将Kinect的相机坐标系变换到其标记点坐标系
Xm＝Rs(Xs-ts) (2)
其中，Rs为相机坐标系变换到标记点坐标系下的旋转矩阵，ts相机坐标系变换到标记点坐标系下的平移矩阵，Xs为相机坐标系，为标记点坐标系Xm。
通过数据转换模块22将标定模块13标定的多个Kinect的标记点坐标系统一到一个坐标系(世界坐标系)，
Xc＝RmXm+tm (3)
其中，Rm为标记点坐标系变换到世界坐标系下的旋转矩阵，tm为标记点坐标系变换到世界坐标系下的平移矩阵，Xc为世界坐标系。
当然也可以直接实现相机坐标系到世界坐标系的转换，
Xc＝RmRs(XS-ts)+tm (4)。
在基于多Kinect的人体骨架追踪系统中加入了标定模块或/和数据转换模块，通过坐标点标记的方法就可以得到每个Kinect的位置可以操作简单，容易调试，不需要提前确定和测量Kinect的具体位置。
在本发明的一个实施例中，上述数据融合模块23包括：
初始配对单元231，将每两个Kinect进行初始配对，得到一个Kinect的多种配对方式；
点匹配单元232，对每一种配对方式的两个Kinect点云数据中的每一个匹配点按照距离最短进行匹配；
配对更新单元233，计算每一个Kinect的每一种配对方式的多个匹配点的平均距离，将最小平均距离对应的匹配方式作为每一个Kinect的第二配对，第二配对的两个Kinect之间的初始变换关系作为第二变换关系；
均方根误差获得单元234，通过配对更新单元更新后的每一个Kinect的第二配对对应的第二变换关系根据下式(1)得到每一个Kinect的第二配对的最小均方根误差，
Figure BDA0001599809720000081
其中，xi为一个Kinect的点云数据X中的第i个匹配点，yi为所述一个Kinect的第二配对的另一个Kinect的点云数据Y中的第i个匹配点，m为两个Kinect的点云数据中较少的匹配点个数，R为第二配对的两个Kinect的第二旋转矩阵，t为第二配对的两个Kinect的第二平移矩阵，e(X,Y)为第二配对的两个Kinect的最小均方根误差；
判断单元235，判断所述最小均方根误差是否在设定的误差范围内，其中，如果所述最小均方跟误差在所述范围内，将第二配对对应的第二旋转矩阵和第二平移矩阵作为第二配对的两个Kinect的最佳变换关系；如果所述最小均方跟误差在误差范围内，将第二变换关系传输给初始配对单元，在初始配对单元至判断单元之间迭代循环，直到得到最佳变换关系；
融合单元236，根据每两个Kinect的最佳变换关系对多个Kinect的点云数据进行融合。
在本发明的一个实施例中，上述人体骨架追踪系统还包括提取模块14，从每一个Kinect的采集的人体点云数据中提取深度数据，Kinect可以提取RGB-D的数据，通过反射光的原理，测量得到的深度数据D，代表一个被测物体到Kinect的距离。
提取模块14可以包括在第一终端，也可以包括在第二终端。
第二终端21的骨架提取模块24包括：点云建模单元241，采用主成分分析方法对提取模块提取的深度数据和数据融合模块融合的点云数据进行三维建模，得到点云模型，从点云信息中的人体重建是一个三维到三维的过程，由于深度与点云图像中包含了每个点的空间位置坐标，经过配准以后，利将这些点重建为具有结构关系的三角形或者四边形网格，这就形成了具有广泛利用价值的多边形网格模型；骨架提取单元242，采用点云骨架提取方法提取点云模型的骨架，例如，利用离散Reeb图(DRG)提取算法来得到点云模型的精确骨架，Reeb图是一种一维结构，能够精炼地描述模型的形状信息，较好的保持了与原模型的拓扑一致性和空间平移、旋转的不变性，满足模型动画、模型分割等多个领域对股价提取的性能要求，Reeb图能自动的提取任意维度模型的拓扑形状，且对模型拓扑形状的变化具有很好的适应性。
在本发明的一个实施例中，第二终端2还包括：数据预处理模块25，对系统中可能存在的噪声进行滤除，采用聚类算法查找每一个点云数据的每一个匹配点最近的设定个数的邻近匹配点，滤除与所述匹配点的距离大于设定阈值的邻近匹配点，所述设定阈值根据噪声和数据提取延迟要求设定，例如，采用KD-Tree(K-dimensional Tree)算法为多维空间关键数据的搜索提供快速的结构，采用KNN(K-Nearest-Neighbor)算法从数据集中找到距离查询点最近的K个数据，当K个数据中和给定点的距离大于给定的阈值时，判定为噪声将其滤除，其中，所述距离是欧式距离。
上述各实施例中的基于多Kinect的人体骨架追踪系统的第二终端2还可以包括显示模块26，电脑、手机、显示屏、触摸屏等，三维显示重建的人体骨架信息。
图2是本发明基于多Kinect的人体骨架追踪方法的流程图，如图2所示，所述人体骨架追踪方法包括：
步骤1，采用多个Kinect采集人体图像，将其变换成点云数据；
步骤2，将多个Kinect的相机坐标系、拍摄的标记点坐标系统一到一个坐标系，得到每两个Kinect的初始变换关系，所述初始变换关系包括使得两个Kinect的相机坐标系和标记点坐标系统一的初始旋转矩阵和初始平移矩阵；
步骤3，每两个Kinect进行初始配对，得到一个Kinect的多种配对方式，通过最小二乘法迭代获得每一个Kinect的最佳配对，所述最佳配对应的初始变换关系作为最佳变换关系，根据每两个Kinect的最佳变换关系对多个Kinect的点云数据进行融合；
步骤4，根据数据融合模块融合的点云数据进行人体重建。
优选地，所述步骤1还包括：将每一个Kinect的相机坐标系变换到其拍摄的标记点坐标系。
在步骤2和步骤3之间，还包括：采用聚类算法查找每一个点云数据的每一个匹配点最近的设定个数的邻近匹配点，滤除与所述匹配点的距离大于设定阈值的邻近匹配点。
在步骤3中，包括：
将每两个Kinect进行初始配对，得到一个Kinect的多种配对方式；
对每一种配对方式的两个Kinect点云数据中的每一个匹配点按照距离最短进行匹配；
计算每一个Kinect的每一种配对方式的多个匹配点的平均距离，将最小平均距离对应的匹配方式作为每一个Kinect的第二配对，第二配对的两个Kinect之间的初始变换关系作为第二变换关系；
通过每一个Kinect的第二配对对应的第二变换关系根据下式(1)得到每一个Kinect的第二配对的最小均方根误差，
Figure BDA0001599809720000101
其中，xi为一个Kinect的点云数据X中的第i个匹配点，yi为所述一个Kinect的第二配对的另一个Kinect的点云数据Y中的第i个匹配点，m为两个Kinect的点云数据中较少的匹配点个数，R为第二配对的两个Kinect的第二旋转矩阵，t为第二配对的两个Kinect的第二平移矩阵，e(X,Y)为第二配对的两个Kinect的最小均方根误差；
判断所述最小均方根误差是否在设定的误差范围内；
如果所述最小均方跟误差在误差范围内，将第二配对对应的第二旋转矩阵和第二平移矩阵作为第二配对的两个Kinect的最佳变换关系；
如果所述最小均方跟误差在所述范围内，将第二变换关系作为初始变换关系进行迭代直到最小均方跟误差在误差范围内；
根据每两个Kinect的最佳变换关系对多个Kinect的点云数据进行融合。
图3a给出了配对之前两组点云数据的位置示意图，图3b给出了经过上述步骤3数据融合的两组点云数据的，从图3a和3b的对比可以看出，数据融合之前的两组点云图像明显距离比较远，重叠部分较少，而经过数据融合后之后，两组点云就有了很大的重叠部分，这样确保了R和t的精确度。
在步骤4中，包括：
从每一个Kinect的采集的人体点云数据中提取深度数据；
采用主成分分析方法对提取模块提取的深度数据和数据融合模块融合的点云数据进行三维建模，得到点云模型；
采用点云骨架提取方法提取点云模型的骨架。
综上所述，参照附图以示例的方式描述了根据本发明提出的所述基于多Kinect的人体骨架追踪系统及方法。但是，本领域技术人员应当理解，对于上述本发明所提出的系统及方法，还可以在不脱离本发明内容的基础上做出各种改进。因此，本发明的保护范围应当由所附的权利要求书的内容确定。

Claims (10)

1.一种基于多Kinect的人体骨架追踪系统，其特征在于，包括：
第一终端，包括多个Kinect和数据传输模块，每一个Kinect采集人体图像，将其变换成点云数据通过数据传输模块传输给第二终端；
第二终端，从点云数据中提取人体骨架关节点信息，其中，包括：
数据接收模块，接收第一终端设备传来的多个Kinect采集的点云数据；
数据转换模块，将多个Kinect的相机坐标系、拍摄的标记点坐标系统一到一个坐标系，得到每两个Kinect的初始变换关系，传输给数据融合模块，所述初始变换关系包括使得两个Kinect的相机坐标系和标记点坐标系统一的初始旋转矩阵和初始平移矩阵；
数据融合模块，每两个Kinect进行初始配对，得到一个Kinect的多种配对方式，通过最小二乘法迭代获得每一个Kinect的最佳配对，所述最佳配对应的初始变换关系作为最佳变换关系，根据每两个Kinect的最佳变换关系对多个Kinect的点云数据进行融合；
骨架提取模块，根据数据融合模块融合的点云数据进行人体重建，
其中，所述数据融合模块包括：
初始配对单元，将每两个Kinect进行初始配对，得到一个Kinect的多种配对方式；
点匹配单元，对每一种配对方式的两个Kinect点云数据中的每一个匹配点按照距离最短进行匹配；
配对更新单元，计算每一个Kinect的每一种配对方式的多个匹配点的平均距离，将最小平均距离对应的匹配方式作为每一个Kinect的第二配对，第二配对的两个Kinect之间的初始变换关系作为第二变换关系；
均方根误差获得单元，通过配对更新单元更新后的每一个Kinect的第二配对对应的第二变换关系根据下式(1)得到每一个Kinect的第二配对的最小均方根误差，
Figure FDA0003488620900000021
其中，xi为一个Kinect的点云数据X中的第i个匹配点，yi为所述一个Kinect的第二配对的另一个Kinect的点云数据Y中的第i个匹配点，m为两个Kinect的点云数据中较少的匹配点个数，R为第二配对的两个Kinect的第二旋转矩阵，t为第二配对的两个Kinect的第二平移矩阵，e(X,Y)为第二配对的两个Kinect的最小均方根误差；
判断单元，判断所述最小均方根误差是否在设定的误差范围内，如果所述最小均方根误差在所述范围内，将第二配对对应的第二旋转矩阵和第二平移矩阵作为第二配对的两个Kinect的最佳变换关系，如果所述最小均方根误差在误差范围内，将第二变换关系传输给初始配对单元，在初始配对单元至判断单元之间迭代循环，直到得到最佳变换关系；
融合单元，根据每两个Kinect的最佳变换关系对多个Kinect的点云数据进行融合。
2.根据权利要求1所述的人体骨架追踪系统，其特征在于，所述第一终端还包括：
提取模块，从每一个Kinect的采集的人体点云数据中提取深度数据。
3.根据权利要求2所述的人体骨架追踪系统，其特征在于，所述骨架提取模块包括：
点云建模单元，采用主成分分析方法对提取模块提取的深度数据和数据融合模块融合的点云数据进行三维建模，得到点云模型；
骨架提取单元，采用点云骨架提取方法提取点云模型的骨架。
4.根据权利要求1所述的人体骨架追踪系统，其特征在于，所述第二终端还包括：数据预处理模块，采用聚类算法查找每一个点云数据的每一个匹配点最近的设定个数的邻近匹配点，滤除与所述匹配点的距离大于设定阈值的邻近匹配点。
5.根据权利要求1所述的人体骨架追踪系统，其特征在于，所述第一终端还包括：
标定模块，将每一个Kinect的相机坐标系变换到其拍摄的标记点坐标系。
6.一种基于多Kinect的人体骨架追踪方法，其特征在于，包括：
步骤1，采用多个Kinect采集人体图像，将其变换成点云数据；
步骤2，将多个Kinect的相机坐标系、拍摄的标记点坐标系统一到一个坐标系，得到每两个Kinect的初始变换关系，所述初始变换关系包括使得两个Kinect的相机坐标系和标记点坐标系统一的初始旋转矩阵和初始平移矩阵；
步骤3，每两个Kinect进行初始配对，得到一个Kinect的多种配对方式，通过最小二乘法迭代获得每一个Kinect的最佳配对，所述最佳配对应的初始变换关系作为最佳变换关系，根据每两个Kinect的最佳变换关系对多个Kinect的点云数据进行融合；
步骤4，根据数据融合模块融合的点云数据进行人体重建，
其中，所述步骤3包括：
将每两个Kinect进行初始配对，得到一个Kinect的多种配对方式；
对每一种配对方式的两个Kinect点云数据中的每一个匹配点按照距离最短进行匹配；
计算每一个Kinect的每一种配对方式的多个匹配点的平均距离，将最小平均距离对应的匹配方式作为每一个Kinect的第二配对，第二配对的两个Kinect之间的初始变换关系作为第二变换关系；
通过每一个Kinect的第二配对对应的第二变换关系根据下式(1)得到每一个Kinect的第二配对的最小均方根误差，
Figure FDA0003488620900000031
其中，xi为一个Kinect的点云数据X中的第i个匹配点，yi为所述一个Kinect的第二配对的另一个Kinect的点云数据Y中的第i个匹配点，m为两个Kinect的点云数据中较少的匹配点个数，R为第二配对的两个Kinect的第二旋转矩阵，t为第二配对的两个Kinect的第二平移矩阵，e(X,Y)为第二配对的两个Kinect的最小均方根误差；
判断所述最小均方根误差是否在设定的误差范围内；
如果所述最小均方根误差在误差范围内，将第二配对对应的第二旋转矩阵和第二平移矩阵作为第二配对的两个Kinect的最佳变换关系；
如果所述最小均方根误差在所述范围内，将第二变换关系作为初始变换关系进行迭代直到最小均方根误差在误差范围内；
根据每两个Kinect的最佳变换关系对多个Kinect的点云数据进行融合。
7.根据权利要求6所述的人体骨架追踪方法，其特征在于，还包括：
从每一个Kinect的采集的人体点云数据中提取深度数据。
8.根据权利要求7所述的人体骨架追踪方法，其特征在于，还包括：
采用主成分分析方法对提取模块提取的深度数据和数据融合模块融合的点云数据进行三维建模，得到点云模型；
采用点云骨架提取方法提取点云模型的骨架。
9.根据权利要求6所述的人体骨架追踪方法，其特征在于，在步骤2和步骤3之间还包括：
采用聚类算法查找每一个点云数据的每一个匹配点最近的设定个数的邻近匹配点，滤除与所述匹配点的距离大于设定阈值的邻近匹配点。
10.根据权利要求6所述的人体骨架追踪方法，其特征在于，所述步骤1还包括：将每一个Kinect的相机坐标系变换到其拍摄的标记点坐标系。
CN201810220754.6A 2018-03-16 2018-03-16 基于多Kinect的人体骨架追踪系统及方法 Active CN108564653B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810220754.6A CN108564653B (zh) 2018-03-16 2018-03-16 基于多Kinect的人体骨架追踪系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810220754.6A CN108564653B (zh) 2018-03-16 2018-03-16 基于多Kinect的人体骨架追踪系统及方法

Publications (2)

Publication Number Publication Date
CN108564653A CN108564653A (zh) 2018-09-21
CN108564653B true CN108564653B (zh) 2022-05-10

Family

ID=63532970

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810220754.6A Active CN108564653B (zh) 2018-03-16 2018-03-16 基于多Kinect的人体骨架追踪系统及方法

Country Status (1)

Country Link
CN (1) CN108564653B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109544606B (zh) * 2018-11-02 2022-02-15 山东大学 基于多个Kinect的快速自动配准方法及系统
CN111461029B (zh) * 2020-04-03 2023-05-02 西安交通大学 一种基于多视角Kinect的人体关节点数据优化系统及方法
CN111582081A (zh) * 2020-04-24 2020-08-25 西安交通大学 一种多Kinect串联的步态数据时空合并方法与测量装置
CN111932607A (zh) * 2020-06-05 2020-11-13 北京西米兄弟未来科技有限公司 关节点坐标的获取方法、装置和电子设备
CN113345010B (zh) * 2021-06-01 2022-02-11 北京理工大学 基于改进ICP的多Kinect系统坐标标定与转换方法
CN113340266A (zh) * 2021-06-02 2021-09-03 江苏豪杰测绘科技有限公司 一种室内空间测绘系统及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105678689A (zh) * 2015-12-31 2016-06-15 百度在线网络技术（北京）有限公司 高精地图数据配准关系确定方法及装置
CN107123135A (zh) * 2017-01-06 2017-09-01 大连理工大学 一种无序三维点云的无畸变成像方法
CN107767456A (zh) * 2017-09-22 2018-03-06 福州大学 一种基于rgb‑d相机的物体三维重建方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105678689A (zh) * 2015-12-31 2016-06-15 百度在线网络技术（北京）有限公司 高精地图数据配准关系确定方法及装置
CN107123135A (zh) * 2017-01-06 2017-09-01 大连理工大学 一种无序三维点云的无畸变成像方法
CN107767456A (zh) * 2017-09-22 2018-03-06 福州大学 一种基于rgb‑d相机的物体三维重建方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Automatic registration of unordered point clouds acquired by Kinect sensors using an overlap heuristic;T.Weber等;《ISPRS Journal of Photogrammetry and Remote Sensing》;20150209;第102卷;96-102 *
T.Weber等.Automatic registration of unordered point clouds acquired by Kinect sensors using an overlap heuristic.《ISPRS Journal of Photogrammetry and Remote Sensing》.2015,第102卷96-102. *
多视角三维激光点云全局优化整体配准算法;李彩林等;《测绘学报》;20150228;第44卷(第2期);183,185 *

Also Published As

Publication number Publication date
CN108564653A (zh) 2018-09-21

Similar Documents

Publication Publication Date Title
CN108564653B (zh) 基于多Kinect的人体骨架追踪系统及方法
WO2021077720A1 (zh) 获取对象三维模型的方法、装置、电子设备及系统
US9942535B2 (en) Method for 3D scene structure modeling and camera registration from single image
CN109697728B (zh) 数据处理方法、装置、系统和存储介质
Paletta et al. 3D attention: measurement of visual saliency using eye tracking glasses
CN110176032B (zh) 一种三维重建方法及装置
CN108038902A (zh) 一种面向深度相机的高精度三维重建方法和系统
EP3274964B1 (en) Automatic connection of images using visual features
EP3335153B1 (en) Managing feature data for environment mapping on an electronic device
CN102411779B (zh) 基于图像的物体模型匹配姿态测量方法
CN111612731B (zh) 基于双目显微视觉的测量方法、装置、系统及介质
CN111127524A (zh) 一种轨迹跟踪与三维重建方法、系统及装置
CN113239797B (zh) 人体动作识别方法、装置及系统
CN110009745B (zh) 根据平面基元和模型驱动对点云提取平面的方法
KR20230078777A (ko) 3차원 재구성 방법, 장치와 시스템, 매체 및 컴퓨터 기기
CN111915723A (zh) 一种用于室内的三维全景构建方法和系统
CN114627491A (zh) 一种基于极线汇聚的单人三维姿态估计方法
CN112270709A (zh) 地图构建方法及装置、计算机可读存储介质和电子设备
CN113052880A (zh) 一种sfm稀疏重建方法、系统及应用
KR101154436B1 (ko) 콘텍스트 교차에 근거한 라인 매칭 방법
CN104217458A (zh) 一种三维点云的快速配准方法
Price et al. Augmenting crowd-sourced 3d reconstructions using semantic detections
CN110458177A (zh) 图像深度信息的获取方法、图像处理装置以及存储介质
CN114882106A (zh) 位姿确定方法和装置、设备、介质
CN115344113A (zh) 多视角人体运动捕捉方法、装置、系统、介质及终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant