CN111461029B - 一种基于多视角Kinect的人体关节点数据优化系统及方法 - Google Patents

一种基于多视角Kinect的人体关节点数据优化系统及方法 Download PDF

Info

Publication number
CN111461029B
CN111461029B CN202010259610.9A CN202010259610A CN111461029B CN 111461029 B CN111461029 B CN 111461029B CN 202010259610 A CN202010259610 A CN 202010259610A CN 111461029 B CN111461029 B CN 111461029B
Authority
CN
China
Prior art keywords
data
kinect
joint point
human body
cluster
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010259610.9A
Other languages
English (en)
Other versions
CN111461029A (zh
Inventor
刘跃虎
张翰桢
马霜逊
陈成成
何晓娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN202010259610.9A priority Critical patent/CN111461029B/zh
Publication of CN111461029A publication Critical patent/CN111461029A/zh
Application granted granted Critical
Publication of CN111461029B publication Critical patent/CN111461029B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G06V40/25—Recognition of walking or running movements, e.g. gait recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明提供的一种基于多视角Kinect的人体关节点数据优化系统及方法，包括数据采集单元和处理器，其中，所述数据采集单元包括五个Kinect，通过五个Kinect采集被观测者不同视角下的步态数据序列，并将采集到的步态数据序列传输到处理器；所述处理器用于将接收到的步态数据序列进行数据融合，得到一组完整、连续、有效的关节点数据序列；本发明通过异常值检测和数据融合技术，可以有效改善Kinect在采集关节点数据时由于人体遮挡等出现的数据异常和缺失的情况，进而可以得到完整的人体骨架模型，提高了数据的有效性，方便了其他相关计算和分析。

Description

一种基于多视角Kinect的人体关节点数据优化系统及方法
技术领域
本发明属于计算机视觉中多视角的人体关节点数据优化技术领域，涉及一种基于多视角Kinect的人体关节点数据优化系统及方法。
背景技术
人体运动过程可以通过一些关节点的运动轨迹来描述。通过深度信息提取人体关节点数据(关节点三维坐标)构成人体骨架模型，可以直观展现出人体运动过程，可应用于步态分析、动作识别等领域。Kinect作为一种新型深度相机具有价格低廉、操作简单、适用性强等优势。Kinect v2 SDK封装的姿态估计算法，可以实时获取人体25个关节点的空间坐标，这种数据具有特征简单、无背景干扰等优点，基于这种关节点数据构成的人体步态数据序列的研究和应用呈逐年增长的趋势，在运动员姿势矫正、医疗诊断、康复训练评估等方面都已有较广泛的应用。
单个Kinect的深度信息获取范围有限，其对人体关节点的有效检测距离为0.5-4.5米，水平范围为70度，垂直范围为60度。受试者太近或太远都会影响数据采集的精确度，超过此范围的情况下噪声会随着距离变大而变大。同时，在实际应用中会受人体肢体遮挡、测量环境的影响而产生采集的关节点数据异常与错误等问题，会严重影响后期运动分析和相关计算的可靠性和准确性。目前解决Kinect准确性限制的主要措施是采取基于多Kinect数据融合的方法。而目前对Kinect关节点数据优化方法主要是借助卡尔曼滤波、集员滤波等对数据进行处理和融合，但没有分析Kinect关节点数据的噪声特性，缺乏理论依据且大部分方法需要相应的先验知识。
因此亟待解决的问题主要有两方面：1.解决单个Kinect测量范围有限的问题，获取完整连续的关节点数据序列；2.解决Kinect在数据采集时出现的数据异常与错误等问题，提高数据的准确性和有效性。
发明内容
本发明的目的在于提供一种基于多视角Kinect的人体关节点数据优化系统及方法，解决了现有的人体关节点数据获取方法存在准确性不足的缺陷。
为了达到上述目的，本发明采用的技术方案是：
本发明提供的一种基于多视角Kinect的人体关节点数据优化系统，包括数据采集单元和处理器，其中，所述数据采集单元包括五个Kinect，通过五个Kinect采集被观测者不同视角下的步态数据序列，并将采集到的步态数据序列传输到处理器；所述处理器用于将接收到的步态数据序列进行数据融合，得到一组完整、连续、有效的关节点数据序列。
优选地，五个Kinect分别布置在被观测者的左侧、右侧、斜左后侧、斜右后侧和正后侧，且每个Kinect距离被观测者2～2.5m
优选地，所述斜左后侧和斜右后侧分别与正后侧之间的角度为45°。
优选地，每个Kinect连接一个控制器；五个控制器之间为局域网架构。
一种基于多视角Kinect的人体关节点数据优化方法，基于所述的一种基于多视角Kinect的人体关节点数据优化系统，包括以下步骤：
步骤1，通过五个Kinect在不同视角同时采集人体关节节点数据，得到五个视角下的被观测者的步态数据序列；
步骤2，根据步骤1中得到的五个步态数据序列，构造人体25个关节点坐标数据；
步骤3，对每个步态数据序列进行异常值检测，并将检测得到的异常值的坐标置零；
步骤4，将每个步态数据序列中剔除异常值后的关节点数据进行坐标系转换统一；
步骤5，将统一坐标系的关节点数据进行数据融合，得到数据优化后的人体关节点数据序列。
优选地，步骤2中，利用Kinect SDK，根据步骤1中获取的五个步态数据序列并构造人体25个关节点坐标数据。
优选地，步骤3，对每个步态数据序列进行异常值检测，具体方法是：
S1，将每个Kinect坐标系下的关节点数据序列中的某一关节点的检测点个数设为N，并确定该关节点的聚类个数K；
S2，根据S1得到的聚类个数K对该关节点的检测点进行K-means聚类；
S3，统计S2得到的聚类结果中的每个簇内的检测点的个数，若每个簇内的检测点的个数小于N/3K，则该簇内的所有检测点均为异常点，并将该异常点的坐标置零；反之，则进行S4；
S4，计算其余各簇内的各个检测点至簇中心的空间欧式距离；
S5，根据S4中得到的各个检测点至簇中心的空间欧式距离判断该检测点是否异常，其中，若各个检测点至簇中心的空间欧式距离大于阈值，则该检测点为异常点。
优选地，S5中，所述阈值通过下式计算：
δ＝μ+3σ
其中，μ为每个簇内的各个检测点至簇中心距离的平均值，
Figure BDA0002438797230000031
σ为标准偏差，
Figure BDA0002438797230000032
优选地，步骤4中，将每个步态数据序列剔除异常值后的关节点坐标系统一转换到正后侧Kinect的坐标系下。
优选地，步骤5中，将统一坐标系的关节点数据进行数据融合，具体方法是：
在任一时刻t，将五个Kinect测量值中的非零值进行平均加权融合；其中，若某一时刻五个Kinect的测量值均为异常值，则在融合数据序列中选取该时刻前后10帧的数据融合值结合最小二乘法拟合函数对数据空缺帧进行线性插值，得到该时刻的预测值，将利用该预测值填补该时刻的数据空缺帧；最终得到更加准确稳定的人体关节点数据序列。
与现有技术相比，本发明的有益效果是：
本发明提供的一种基于多视角Kinect的人体关节点数据优化系统及方法，利用人体步态的关节点坐标数据采集方案，可以得到大量、完整、连续的人体关节点数据序列，可以有效解决Kinect可采集的关节点数据有限的问题；同时，本发明通过异常值检测和数据融合技术，可以有效改善Kinect在采集关节点数据时由于人体遮挡等出现的数据异常和缺失的情况，进而可以得到完整的人体骨架模型，提高了数据的有效性，方便了其他相关计算和分析。
进一步的，将每个步态数据序列中剔除异常值后的关节点数据进行坐标系转换统一，结合数据融合技术，进而得到完整的人体关节点数据序列。
附图说明
图1是本发明涉及的优化流程图；
图2是本发明涉及的五个Kinect分布图；
图3是人体25个关节点坐标数据图；
图4是异常值检测流程图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明提出的一种基于多视角Kinect的人体关节点数据优化系统，包括数据采集单元和处理器，其中，所述数据采集单元用于采集被观测者的步态数据序列，并将采集到的步态数据序列传输到处理器；所述处理器用于将接收到的步态数据序列进行数据融合，得到一组完整、连续、有效的关节点数据序列。
如图2所示，所述数据采集单元包括五个Kinect，五个Kinect分别布置在被观测者的左侧、右侧、左斜后侧、右斜后侧和正后侧；且每个Kinect距离被观测者2～2.5m。
所述斜左后侧和斜右后侧与正后侧之间的角度为45°。
每个Kinect连接一个控制器；五个控制器之间为局域网架构；保证不同Kinect同时开始采集。
所述每个控制器内安装有Kinect SDK。
如图1所示，本发明提出的一种基于多视角Kinect的人体关节点数据优化方法，包括以下步骤：
步骤1，搭建测量环境：将五个Kinect分别放置于被观测者的左侧、右侧、左斜后侧、右斜后侧以及正后侧，令被观测者在跑步机上行走；通过五个Kinect在不同视角同时开始采集人体关节点数据，每次采集就可以得到五个视角下的被观测者的步态数据序列。
步骤2，通过控制器中安装的Kinect SDK编写Kinect捕捉人体关节点并获取空间坐标数据的程序，单位为米，坐标原点位于Kinect深度摄像机处，进而得到通过Kinect检测的人体25个关节点坐标数据，如图3所示；
步骤3，对每个步态数据序列进行异常值检测，算法流程图如图4所示，具体为：
3.1对于每个步态数据序列中的某一关节点的时序数据序列，将该关节点的检测点个数，即数据序列长度设为N，根据拐点法和轮廓系数法确定该关节点的聚类个数K；
3.2根据3.1得到的聚类个数K对该类关节点的检测点进行K-means聚类；
3.3对于聚类结果的每个簇，如果簇内检测点的个数小于N/3K，则认为是小型稀疏簇，簇内所有检测点均为异常点，并将异常点的坐标置零；
3.4对于簇内检测点的个数大于等于N/3K的簇，计算簇内各检测点到簇中心的空间欧氏距离di，i∈{1,2,…,ni}，ni为簇内检测点的总个数；
3.5计算出簇内各检测点到簇中心距离的平均值
Figure BDA0002438797230000061
以及标准偏差
Figure BDA0002438797230000062
根据拉依达准则，设定阈值δ＝μ+3σ；
3.6如果簇内某检测点到簇中心的距离大于阈值，即di>δ，则该点为异常点，将其坐标置零；
3.7对于某个Kinect检测到的人体25种关节点，每种关节点数据依次重复步骤3.1～3.6，然后完成对所有Kinect采集到的关节点数据的异常检测。
步骤4，坐标系转换：将五个Kinect剔除异常值后的关节点数据进行坐标系转换，统一到图1中正后侧Kinect-3的坐标系下。
步骤5，数据融合，具体为：
5.1对于关节点时序数据序列中的任一时刻t，将五个Kinect测量值中的非零值即非异常值按照下式进行平均加权融合：
Figure BDA0002438797230000063
上式中，
Figure BDA0002438797230000064
为融合值，Xj(t)为在数据采集时刻t下，不同Kinect的测量值，m为该时刻五个测量值中非零值的个数。
5.2若某一时刻五个Kinect的测量值均为异常值，则在融合数据序列中，选取该时刻前后10帧的数据融合值结合最小二乘法拟合函数对该时刻的数据空缺帧进行线性插值，得到该时刻的预测值，填补空缺；
5.3重复5.1与5.2，直至求出关节点时序数据序列所有时刻的融合结果；至此，得到数据优化后的人体关节点时序数据序列。
本发明了设计了一种基于多视角Kinect的用于人体步态的关节点坐标数据采集方案，可以得到大量、完整、连续的人体关节点数据序列，可以有效解决Kinect可采集的关节点数据有限的问题。
本发明通过异常值检测和数据融合技术，可以有效改善Kinect在采集关节点数据时由于人体遮挡等出现的数据异常和缺失的情况，进而可以得到完整的人体骨架模型，提高了数据的有效性，方便了其他相关计算和分析。

Claims (8)

1.一种基于多视角Kinect的人体关节点数据优化方法，其特征在于，包括以下步骤：
步骤1，通过五个Kinect在不同视角同时采集人体关节点数据，得到五个视角下的被观测者的步态数据序列；
步骤2，根据步骤1中得到的五个步态数据序列，构造人体25个关节点坐标数据；
步骤3，对每个步态数据序列进行异常值检测，并将检测得到的异常值的坐标置零；
步骤4，将每个步态数据序列中剔除异常值后的关节点数据进行坐标系转换统一；
步骤5，将统一坐标系的关节点数据进行数据融合，得到数据优化后的人体关节点数据序列；
步骤3中，对每个步态数据序列进行异常值检测，具体方法是：
S1，将每个Kinect坐标系下的关节点数据序列中的某一关节点的检测点个数设为N，并确定该关节点的聚类个数K；
S2，根据S1得到的聚类个数K对该关节点的检测点进行K-means聚类；
S3，统计S2得到的聚类结果中的每个簇内的检测点的个数，若每个簇内的检测点的个数小于N/3K，则该簇内的所有检测点均为异常点，并将该异常点的坐标置零；反之，则进行S4；
S4，计算其余各簇内的各个检测点至簇中心的空间欧式距离；
S5，根据S4中得到的各个检测点至簇中心的空间欧式距离判断该检测点是否异常，其中，若各个检测点至簇中心的空间欧式距离大于阈值，则该检测点为异常点；
S5中，所述阈值通过下式计算：
δ＝μ+3σ
其中，μ为每个簇内的各个检测点至簇中心距离的平均值，σ为标准偏差，
2.根据权利要求1所述的一种基于多视角Kinect的人体关节点数据优化方法，其特征在于，步骤2中，利用Kinect SDK，根据步骤1中获取的五个步态数据序列并构造人体25个关节点坐标数据。
3.根据权利要求1所述的一种基于多视角Kinect的人体关节点数据优化方法，其特征在于，步骤4中，将每个步态数据序列剔除异常值后的关节点坐标系统一转换到正后侧Kinect的坐标系下。
4.根据权利要求1所述的一种基于多视角Kinect的人体关节点数据优化方法，其特征在于，步骤5中，将统一坐标系的关节点数据进行数据融合，具体方法是：
在任一时刻t，将五个Kinect测量值中的非零值进行平均加权融合；其中，若某一时刻五个Kinect的测量值均为异常值，则在融合数据序列中选取该时刻前后10帧的数据融合值结合最小二乘法拟合函数对数据空缺帧进行线性插值，得到该时刻的预测值，将利用该预测值填补该时刻的数据空缺帧；最终得到更加准确稳定的人体关节点数据序列。
5.根据权利要求1所述的一种基于多视角Kinect的人体关节点数据优化方法，其特征在于，包括数据采集单元和处理器，其中，所述数据采集单元包括五个Kinect，通过五个Kinect采集被观测者不同视角下的步态数据序列，并将采集到的步态数据序列传输到处理器；所述处理器用于将接收到的步态数据序列进行数据融合，得到一组完整、连续、有效的关节点数据序列。
6.根据权利要求1所述的一种基于多视角Kinect的人体关节点数据优化方法，其特征在于，五个Kinect分别布置在被观测者的左侧、右侧、左斜后侧、右斜后侧和正后侧，且每个Kinect距离被观测者2～2.5m。
7.根据权利要求6所述的一种基于多视角Kinect的人体关节点数据优化方法，其特征在于，所述左斜后侧和右斜后侧分别与正后侧之间的角度为45°。
8.根据权利要求1所述的一种基于多视角Kinect的人体关节点数据优化方法，其特征在于，每个Kinect连接一个控制器；五个控制器之间为局域网架构。
CN202010259610.9A 2020-04-03 2020-04-03 一种基于多视角Kinect的人体关节点数据优化系统及方法 Active CN111461029B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010259610.9A CN111461029B (zh) 2020-04-03 2020-04-03 一种基于多视角Kinect的人体关节点数据优化系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010259610.9A CN111461029B (zh) 2020-04-03 2020-04-03 一种基于多视角Kinect的人体关节点数据优化系统及方法

Publications (2)

Publication Number Publication Date
CN111461029A CN111461029A (zh) 2020-07-28
CN111461029B true CN111461029B (zh) 2023-05-02

Family

ID=71684468

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010259610.9A Active CN111461029B (zh) 2020-04-03 2020-04-03 一种基于多视角Kinect的人体关节点数据优化系统及方法

Country Status (1)

Country Link
CN (1) CN111461029B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016037486A1 (zh) * 2014-09-10 2016-03-17 深圳大学 人体三维成像方法及系统
CN107993249A (zh) * 2017-08-23 2018-05-04 北京航空航天大学 一种基于多Kinect的人体步态数据融合方法
CN108564653A (zh) * 2018-03-16 2018-09-21 中国传媒大学 基于多Kinect的人体骨架追踪系统及方法
CN110458944A (zh) * 2019-08-08 2019-11-15 西安工业大学 一种基于双视角Kinect关节点融合的人体骨架重建方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9208376B2 (en) * 2013-05-17 2015-12-08 Tata Consultancy Services Identification of people using multiple skeleton recording devices

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016037486A1 (zh) * 2014-09-10 2016-03-17 深圳大学 人体三维成像方法及系统
CN107993249A (zh) * 2017-08-23 2018-05-04 北京航空航天大学 一种基于多Kinect的人体步态数据融合方法
CN108564653A (zh) * 2018-03-16 2018-09-21 中国传媒大学 基于多Kinect的人体骨架追踪系统及方法
CN110458944A (zh) * 2019-08-08 2019-11-15 西安工业大学 一种基于双视角Kinect关节点融合的人体骨架重建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Kinect骨骼数据驱动的人体动作二维特征融合与动作识别;张成权等;《安庆师范大学学报(自然科学版)》(第01期);全文 *

Also Published As

Publication number Publication date
CN111461029A (zh) 2020-07-28

Similar Documents

Publication Publication Date Title
CN106872963B (zh) 一种多组多线激光雷达的自动标定算法
CN104038738B (zh) 一种提取人体关节点坐标的智能监控系统及方法
CN110458944B (zh) 一种基于双视角Kinect关节点融合的人体骨架重建方法
CN107578019B (zh) 一种视觉触觉融合的步态识别系统及识别方法
CN111553229B (zh) 基于三维骨骼与lstm的工人动作识别方法及装置
CN102499687B (zh) 一种基于机器视觉的猪的呼吸频率检测方法及装置
CN110598590A (zh) 基于多视角相机的紧密交互人体姿态估计方法及装置
CN106296694A (zh) 杆塔倾斜智能图像辨识测量方法
CN107941212B (zh) 一种视觉与惯性联合定位方法
CN113158459A (zh) 一种基于视觉和惯性信息融合的人体姿态估计方法
CN107993249A (zh) 一种基于多Kinect的人体步态数据融合方法
CN109766838A (zh) 一种基于卷积神经网络的步态周期检测方法
Guo et al. Obtaining lower-body Euler angle time series in an accurate way using depth camera relying on Optimized Kinect CNN
CN102289801B (zh) 一种运动捕捉的数据修复方法、系统及运动捕捉系统
CN105407496B (zh) 一种识别无线传感器网络中错误测量值的方法
CN111461029B (zh) 一种基于多视角Kinect的人体关节点数据优化系统及方法
CN104992428A (zh) 一种基于k均值聚类分析的图像落石体积测定方法
CN113283373B (zh) 一种用于增强深度相机检测肢体运动参数的方法
WO2024067435A1 (zh) 一种基于视频的多目标位移跟踪监测方法及装置
CN106202926B (zh) 基于多节点协同探测的空间系统偏差配准优化方法
CN115050095A (zh) 一种基于高斯过程回归和渐进滤波的人体姿态预测方法
CN114924268A (zh) 一种大量级形变的三维位移反演方法
CN114440883A (zh) 一种基于脚部和腿部微惯性测量单元的行人定位方法
CN112270357A (zh) Vio视觉系统及方法
CN113066169B (zh) 一种基于骨骼长度约束的人体三维姿态重建方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant