CN108376405B - 基于双体感追踪系统的人体运动捕捉系统及捕捉方法 - Google Patents
基于双体感追踪系统的人体运动捕捉系统及捕捉方法 Download PDFInfo
- Publication number
- CN108376405B CN108376405B CN201810153371.1A CN201810153371A CN108376405B CN 108376405 B CN108376405 B CN 108376405B CN 201810153371 A CN201810153371 A CN 201810153371A CN 108376405 B CN108376405 B CN 108376405B
- Authority
- CN
- China
- Prior art keywords
- joint
- vector
- time
- human body
- tracking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 70
- 230000035807 sensation Effects 0.000 title claims description 28
- 230000003238 somatosensory effect Effects 0.000 claims abstract description 27
- 238000001914 filtration Methods 0.000 claims abstract description 19
- 230000004927 fusion Effects 0.000 claims abstract description 16
- 239000013598 vector Substances 0.000 claims description 101
- 238000005259 measurement Methods 0.000 claims description 56
- 239000011159 matrix material Substances 0.000 claims description 49
- 230000036544 posture Effects 0.000 claims description 19
- 238000006243 chemical reaction Methods 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000004458 analytical method Methods 0.000 claims description 8
- 238000009499 grossing Methods 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims description 6
- 238000013519 translation Methods 0.000 claims description 6
- 210000003423 ankle Anatomy 0.000 claims description 3
- 238000011423 initialization method Methods 0.000 claims description 3
- 210000003127 knee Anatomy 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 229920000642 polymer Polymers 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 238000012546 transfer Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 210000000707 wrist Anatomy 0.000 claims description 3
- 230000001360 synchronised effect Effects 0.000 claims 1
- 230000007547 defect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- QBWCMBCROVPCKQ-UHFFFAOYSA-N chlorous acid Chemical compound OCl=O QBWCMBCROVPCKQ-UHFFFAOYSA-N 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/215—Motion-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种基于双体感追踪系统的人体运动捕捉系统及捕捉方法，所述基于双体感追踪系统的人体运动捕捉系统，包括两台体感追踪系统、棋盘格、数据采集模块、运动分析模块。人体运动捕捉方法包括如下步骤：设备安置、标定图像采集、人体姿态采集、体感追踪系统标定、体感追踪系统同步、融合滤波、关节角输出。本发明的实用性强，避免了在受试者身上标记贴点的复杂操作，可直接对运动员的关节点三维坐标位置进行捕捉；设置简单，仅需要简单的标定图片采集即可完成设置；成本低，相比传统的人体运动捕捉设备的成本大大降低；针对性地对体感追踪传感器的人体姿态捕捉进行了改进，提高其人体运动捕捉的准确性与鲁棒性。
Description
技术领域
本发明涉及运动影像分析领域，尤其涉及人体运行捕捉领域，具体是一种基于双体感追踪系统的人体运动捕捉系统及捕捉方法。
背景技术
人体运动捕捉是运动生物力学所研究的核心问题之一，准确而鲁棒的关节点位置与关节角变化是后续其他运动学分析的合理前提。现在主流的人体运动捕捉方法具有成本高昂，设置复杂和不利于推广使用等一系列缺陷，需要进一步的技术研究以解决并完善这些问题。
现阶段，常用于实验室环境的人体运动捕捉系统与方法为基于红外光的带标记点的人体运动捕捉系统与方法，典型代表是Vicon系统和Qualysis系统。这一类系统对人体动作的采集基于贴于人体表面的具有特殊反光性质的标记点，在具体生物力学实验之前需要在人体表面进行繁杂的贴点操作。这种贴点操作不仅耗时耗力，而且在实际的训练或比赛中运动员的身体上是不被允许贴有这样的标记物的。这种人体运动捕捉的系统与方法还有的一个显著缺点就是成本高昂，全套设备的价格在百万左右，不利于推广，不利于携带，不利于在比赛现场进行使用。
Kinect是微软发明的用于人体姿态捕捉的具有深度相机的体感追踪系统，其主要用途为体感游戏中的动作采集。Kinect2.0是微软于2014年推出的Kinect第二代产品，它的深度相机采用的是光飞跃技术，有效识别范围为相机前0.5m-4.5m，相机分辨率为512*424，相机频率为30Hz，人体姿态的获取原理为基于采集到的深度图对人体深度图进行分类，分析出人体的不同部分进而得到关节点的具体位置。将Kinect直接用于人体运动捕捉其精度一般难以达到要求，特别是在人体不面对Kinect或者有较多自遮挡动作时，Kinect就难以判断某些坐标点的具体位置，进而影响到整个人体姿态的识别。
发明内容
本发明的目的是提供一种精确性和鲁棒性较高的基于双体感追踪系统的人体运动捕捉系统及捕捉方法。
实现上述发明目的，本发明的技术方案是：一种基于双体感追踪系统的人体运动捕捉系统，包括两台用以采集人体姿态与图像信息的体感追踪系统，及将其连接于台式机的适配器；一块由黑白两色塑胶格板交错排列的棋盘格；数据采集模块；运动分析模块；
所述数据采集模块包括标定图像采集模块，采集用于标定的带有棋盘格的图像；人体姿态采集模块，采集运动过程中各体感追踪系统坐标系内人体关节点随时间变化的具体位置；
所述运动分析模块包括用以相机姿态标定的体感追踪系统标定模块；用以对两台体感追踪系统的时间流进行同步的体感追踪系统同步模块；用以对两台体感追踪系统采集的人体关节点进行数据融合与卡尔曼滤波平滑的融合滤波模块；用以基于稳定后的人体关节点位置输出各关节角度随时间的变化曲线的关节角输出模块。
一种基于双体感追踪系统的人体运动捕捉方法，包括如下步骤：
步骤一，将两台体感追踪系统分别通过三脚架放置于可拍摄到全部人体的合理位置，并通过适配器连接至台式机；
步骤二，标定图像采集模块采集棋盘格图像；
步骤三，人体姿态采集模块分别采集一个人体在运动过程中各关节点在两台体感追踪系统的坐标系内随时间变化的三维坐标位置；
步骤四，体感追踪系统标定模块基于采集的棋盘格图像进行体感追踪系统姿态标定，并将两台体感追踪系统内的人体关节点三维坐标位置进行空间转换至一个坐标系内；
步骤五，体感追踪系统同步模块基于两台体感追踪系统采集人体关节点时记录的系统时间对两台体感追踪系统的时间流进行同步；
步骤六，融合滤波模块对步骤四、步骤五中得到的经空间转换和时间融合后的人体关节点坐标位置进行数据融合与卡尔曼滤波平滑；
步骤七，关节点输出模块将步骤六得到的稳定的人体关节点坐标位置进行计算并输出各关节角度随时间的变化曲线。
进一步，所述步骤二中标定图像采集模块采集棋盘格图像的具体步骤包括：
步骤二-1，实验人I手持塑胶板棋盘格放于胸前，站于两台体感追踪系统前，标定图像采集模块获取两台体感追踪系统拍摄的带有完整棋盘格的图像，并进行存储；
步骤二-2，实验人I更换塑胶板棋盘格的在三维空间中的摆放朝向，重复步骤二-1，直至采集15至20幅的两个视角下带有全部棋盘格的图像。
进一步，所述步骤三具体包括：
步骤三-1，两台体感追踪系统开机预热十分钟，避免两台体感追踪系统相互干扰；
步骤三-2，受试者站于两台体感追踪系统拍摄画面的靠中位置，张开双臂完成两台体感追踪系统对人体的识别，人体姿态采集模块采集画面中受试者及其人体关节点的棍图；
步骤三-3，分别将两台体感追踪系统得到的棍图中关节点三维坐标位置进行记录保存；
步骤三-4，两组关节点三维坐标位置均按系统时间，当前帧数，受试者ID，左右肩、肘、腕、髋、膝、踝、颈、头部的三维坐标进行整理统计，并将两组数据各自记录到两个的文本文件。
进一步，所述步骤四具体包括：
步骤四-1，使用数学软件基于采集到的棋盘格图像进行体感追踪系统的相机姿态标定，求得旋转矩阵和平移向量，利用棋盘格标定法进行分析；
步骤四-2，对其中一台体感追踪系统得到的三维坐标位置进行坐标转换，转换公式为：
ptr′＝R(ptr-T) (式1)
式1中R表示旋转矩阵，T表示平移向量，ptr表示原相机坐标系下的关节点三维坐标向量，ptr′表示转换后的关节点三维坐标向量；经上述转换，两台体感追踪系统采集的人体关节点坐标空间转换至同一坐标系。
进一步，所述步骤五具体包括：
步骤五-1，基于一段完整运动过程的帧数应有的连续性对采集的人体关节点三维坐标数据进行分段，若后帧与前帧差距为20帧即可认为是两段运动过程；
步骤五-2，对两台体感追踪系统的对应数据分段进行预处理，若两个数据分段的长度和起终点的帧数都一致，则被认为是有效跟踪过程，接下来进行时间上的同步，若存在不一致的状况，则放弃，并对下一组对应数据分段进行检测处理；
步骤五-3，基于记录的系统时间对有效跟踪过程的对应数据分段进行时间同步，具体包括：
步骤五-3-1，比较两个数据分段的起点的系统时间，取其中的较小值为t1，则另一个系统时间为t2，t1在其数据分段中下一时间的值为tnext，则可将t1所对应的关节点三维坐标pt进行线性插值，以求取它在t2时刻的具体位置，公式如下：
步骤五-3-2，逐个比较两个数据分段除起点外的其他时间，对于当前帧数相同的两个对应时间，取其中较小值为t1，则另一个时间值为t2，t2在其数据分段中下一时间的值为tprev，则可将t2所对应的关节点三维坐标pt进行线性插值，以求取它在t1时刻的具体位置，公式如下：
步骤五-3-2，插值后的两个数据分段分别在对应时刻有着对应的关节点三维坐标，即在时间上完成了同步。
进一步，所述步骤六具体包括：
步骤六-1，基于一段完整运动过程的帧数应有的连续性对采集的人体关节点三维坐标数据进行分段，提取经过空间转换与时间同步后的对应的运动过程；
步骤六-2，对于需要融合的人体关节点三维坐标数据进行初始化，初始化方法为两个对应数据分段起始关节点三维坐标简单的算术平均值，分别初始化第一个时刻点和第二个时刻点，并基于两个时刻的时间差计算初始速度，每一时刻估计的关节点坐标位置和关节点速度用于对未来的关节点位置进行预测；
步骤六-3，基于卡尔曼滤波方法对两个对应数据分段人体关节点三维坐标位置进行融合与滤波，具体包括：
步骤六-3-1，从第三个时刻点开始，基于前一时刻融合后的关节点坐标位置和关节点速度对当前关节点位置进行预测，预测公式如下：
式4中，xi表示第i个时刻的关节点位置向量，ui表示第i个时刻的关节点速度向量，ti表示第i个时刻值，xi和ui的维度为42×1，由14个关节点的三维坐标排列成列向量组成；
预测状态的协方差矩阵计算为：
式5中Pi表示第i个时刻的状态协方差矩阵，Q表示转移噪声的协方差矩阵，Q设为单位矩阵；
步骤六-3-2，基于预测状态估计两台体感追踪系统在当前时刻分别采集人体关节点三维坐标时测量噪声的协方差矩阵并以测量噪声协方差的逆为权重对两台体感追踪系统采集的人体关节点三维坐标进行加权平均，包括以下步骤：
步骤六-3-2-1，基于预测状态估计两台体感追踪系统在当前时刻分别采集人体关节点三维坐标时测量噪声向量v，估计公式表示为：
式6中，
表示第k台体感追踪系统在第i个时刻的关节点三维坐标的测量值向量，对测量噪声向量v的估计是基于测量值
遵循分布于预测状态
的高斯分布的假设，当测量值预测状态越近时，其测量噪声越低，当测量值距离预测状态越远时，其测量噪声越大；
步骤六-3-2-2，对计算得到的两台体感追踪系统的测量噪声向量v进行归一化处理，即向量的每一个元素除以该向量所有元素的均值；
步骤六-3-2-3，基于测量噪声向量构建测量噪声协方差矩阵，测量噪声协方差矩阵是一个对角阵，对角线上的每一个元素是测量噪声向量对应位置元素的平方值；
步骤六-3-2-4，基于测量噪声协方差矩阵对两台体感追踪系统的测量值向量进行加权平均，具体公式为：
式7、式8中
表示平均测量噪声协方差矩阵，
表示第一台体感追踪系统的测量噪声协方差矩阵的逆，
表示第二台体感追踪系统的测量噪声协方差矩阵的逆，
表示测量值向量的平均值，
表示第n台体感追踪系统的测量值向量，其维度同关节点位置向量一致，由14个关节点的三维坐标排列成列向量组成；
步骤六-3-3，基于加权后的测量值向量对预测状态向量进行更新，求取当前时刻的状态向量，包括三维关节点位置向量与速度向量，具体公式为：
式9、式10、式11、式12中，Ki表示卡尔曼增益矩阵，
表示平均测量噪声协方差矩阵，
表示预测状态向量的协方差矩阵，
表示预测的状态向量；
步骤六-3-4，根据这一时刻的计算结果和下一时刻的测量结果计算下一时刻的状态向量，重复步骤六-3-1至步骤六-3-3，直到该完整运动过程的最后一个时刻。
进一步，所述步骤七具体包括：
步骤七-1，基于一段完整运动过程的帧数应有的连续性对融合后的人体关节点三维坐标数据进行分段；
步骤七-2，基于国际运动生物力学协会对于关节角度的定义分别对对应的关节角进行计算，通过计算对应关节向量的内积完成关节角度计算，公式如下：
式13中，deg表示对应的关节角度，z1、z2表示计算特定关节角所需的关节向量，||zi||表示关节向量的L2范数，即关节长度；
步骤七-3，根据上步中的计算结果输出各关节角度随时间的变化曲线。
本发明的有益效果是：
(1)实用性强，避免了在受试者身上标记贴点的复杂操作，可直接对运动员的关节点三维坐标位置进行捕捉；
(2)设置简单，仅需要简单的标定图片采集即可完成设置；
(3)成本低，相比传统的人体运动捕捉设备的成本大大降低；
(4)针对性地对体感追踪传感器的人体姿态捕捉进行了改进，提高其人体运动捕捉的准确性与鲁棒性。
附图说明
图1为本发明的流程示意图；
图2为本发明的数据采集的程序流程示意图；
图3为本发明的运动分析的程序流程示意图。
具体实施方式
下面将结合附图对本发明实施例中的技术方案进行清楚、完整地描述。
一种基于双体感追踪系统的人体运动捕捉系统，包括两台用以采集人体姿态与图像信息的体感追踪系统，及将其连接于台式机的适配器；一块由黑白两色塑胶格板交错排列的棋盘格；数据采集模块；运动分析模块；
所述数据采集模块包括标定图像采集模块，采集用于标定的带有棋盘格的图像；人体姿态采集模块，采集运动过程中各体感追踪系统坐标系内人体关节点随时间变化的具体位置；
所述运动分析模块包括用以相机姿态标定的体感追踪系统标定模块；用以对两台体感追踪系统的时间流进行同步的体感追踪系统同步模块；用以对两台体感追踪系统采集的人体关节点进行数据融合与卡尔曼滤波平滑的融合滤波模块；用以基于稳定后的人体关节点位置输出各关节角度随时间的变化曲线的关节角输出模块。
本发明体感追踪系统采用Kinect2.0作为首选设备。
本发明的基于双Kinect2.0的人体运动捕捉方法，如图1-3所示，包括如下步骤：
步骤一，将两台Kinect2.0分别通过三脚架放置于可拍摄到全部人体的合理位置，并通过适配器连接至台式机。
步骤二，标定图像采集模块采集棋盘格图像，具体步骤包括：
步骤二-1，实验人I手持塑胶板棋盘格放于胸前，站于两台Kinect2.0前，标定图像采集模块获取两台Kinect2.0拍摄的带有完整棋盘格的图像，并进行存储；
步骤二-2，实验人I更换塑胶板棋盘格的在三维空间中的摆放朝向，重复步骤二-1，直至采集15至20幅的两个视角下带有全部棋盘格的图像。
步骤三，人体姿态采集模块分别采集一个人体在运动过程中各关节点在两台Kinect2.0的坐标系内随时间变化的三维坐标位置，具体包括：
步骤三-1，两台Kinect2.0开机预热十分钟，避免两台Kinect2.0相互干扰；
步骤三-2，受试者站于两台Kinect2.0拍摄画面的靠中位置，张开双臂完成两台Kinect2.0对人体的识别，人体姿态采集模块采集画面中受试者及其人体关节点的棍图；
步骤三-3，分别将两台Kinect2.0得到的棍图中关节点三维坐标位置进行记录保存；
步骤三-4，两组关节点三维坐标位置均按系统时间，当前帧数，受试者ID，左右肩、肘、腕、髋、膝、踝、颈、头部的三维坐标进行整理统计，并将两组数据各自记录到两个的文本文件。
步骤四，Kinect2.0标定模块基于采集的棋盘格图像进行Kinect2.0姿态标定，并将两台Kinect2.0内的人体关节点三维坐标位置进行空间转换至一个坐标系内，具体包括：
步骤四-1，使用数学软件基于采集到的棋盘格图像进行Kinect2.0的相机姿态标定，求得旋转矩阵和平移向量，利用棋盘格标定法进行分析；
步骤四-2，对其中一台Kinect2.0得到的三维坐标位置进行坐标转换，转换公式为：
ptr′＝R(ptr-T) (式1)
式1中R表示旋转矩阵，T表示平移向量，ptr表示原相机坐标系下的关节点三维坐标向量，ptr′表示转换后的关节点三维坐标向量；经上述转换，两台Kinect2.0采集的人体关节点坐标空间转换至同一坐标系。
步骤五，Kinect2.0同步模块基于两台Kinect2.0采集人体关节点时记录的系统时间对两台Kinect2.0的时间流进行同步，具体包括：
步骤五-1，基于一段完整运动过程的帧数应有的连续性对采集的人体关节点三维坐标数据进行分段，若后帧与前帧差距为20帧即可认为是两段运动过程；
步骤五-2，对两台Kinect2.0的对应数据分段进行预处理，若两个数据分段的长度和起终点的帧数都一致，则被认为是有效跟踪过程，接下来进行时间上的同步，若存在不一致的状况，则放弃，并对下一组对应数据分段进行检测处理；
步骤五-3，基于记录的系统时间对有效跟踪过程的对应数据分段进行时间同步，具体包括：
步骤五-3-1，比较两个数据分段的起点的系统时间，取其中的较小值为t1，则另一个系统时间为t2，t1在其数据分段中下一时间的值为tnext，则可将t1所对应的关节点三维坐标pt进行线性插值，以求取它在t2时刻的具体位置，公式如下：
步骤五-3-2，逐个比较两个数据分段除起点外的其他时间，对于当前帧数相同的两个对应时间，取其中较小值为t1，则另一个时间值为t2，t2在其数据分段中下一时间的值为tprev，则可将t2所对应的关节点三维坐标pt进行线性插值，以求取它在t1时刻的具体位置，公式如下：
步骤五-3-2，插值后的两个数据分段分别在对应时刻有着对应的关节点三维坐标，即在时间上完成了同步。
步骤六，融合滤波模块对步骤四、步骤五中得到的经空间转换和时间融合后的人体关节点坐标位置进行数据融合与卡尔曼滤波平滑，具体包括：
步骤六-1，基于一段完整运动过程的帧数应有的连续性对采集的人体关节点三维坐标数据进行分段，提取经过空间转换与时间同步后的对应的运动过程；
步骤六-2，对于需要融合的人体关节点三维坐标数据进行初始化，初始化方法为两个对应数据分段起始关节点三维坐标简单的算术平均值，分别初始化第一个时刻点和第二个时刻点，并基于两个时刻的时间差计算初始速度，每一时刻估计的关节点坐标位置和关节点速度用于对未来的关节点位置进行预测；
步骤六-3，基于卡尔曼滤波方法对两个对应数据分段人体关节点三维坐标位置进行融合与滤波，具体包括：
步骤六-3-1，从第三个时刻点开始，基于前一时刻融合后的关节点坐标位置和关节点速度对当前关节点位置进行预测，预测公式如下：
式4中，xi表示第i个时刻的关节点位置向量，ui表示第i个时刻的关节点速度向量，ti表示第i个时刻值，xi和ui的维度为42×1，由14个关节点的三维坐标排列成列向量组成；
预测状态的协方差矩阵计算为：
式5中Pi表示第i个时刻的状态协方差矩阵，Q表示转移噪声的协方差矩阵，Q设为单位矩阵；
步骤六-3-2，基于预测状态估计两台Kinect2.0在当前时刻分别采集人体关节点三维坐标时测量噪声的协方差矩阵并以测量噪声协方差的逆为权重对两台Kinect2.0采集的人体关节点三维坐标进行加权平均，包括以下步骤：
步骤六-3-2-1，基于预测状态估计两台Kinect2.0在当前时刻分别采集人体关节点三维坐标时测量噪声向量v，估计公式表示为：
式6中，
表示第k台Kinect2.0在第i个时刻的关节点三维坐标的测量值向量，对测量噪声向量v的估计是基于测量值
遵循分布于预测状态
的高斯分布的假设，当测量值预测状态越近时，其测量噪声越低，当测量值距离预测状态越远时，其测量噪声越大；
步骤六-3-2-2，对计算得到的两台Kinect2.0的测量噪声向量v进行归一化处理，即向量的每一个元素除以该向量所有元素的均值；
步骤六-3-2-3，基于测量噪声向量构建测量噪声协方差矩阵，测量噪声协方差矩阵是一个对角阵，对角线上的每一个元素是测量噪声向量对应位置元素的平方值；
步骤六-3-2-4，基于测量噪声协方差矩阵对两台Kinect2.0的测量值向量进行加权平均，具体公式为：
式7、式8中
表示平均测量噪声协方差矩阵，
表示第一台Kinect2.0的测量噪声协方差矩阵的逆，
表示第二台Kinect2.0的测量噪声协方差矩阵的逆，
表示测量值向量的平均值，
表示第n台Kinect2.0的测量值向量，其维度同关节点位置向量一致，由14个关节点的三维坐标排列成列向量组成；
步骤六-3-3，基于加权后的测量值向量对预测状态向量进行更新，求取当前时刻的状态向量，包括三维关节点位置向量与速度向量，具体公式为：
式9、式10、式11、式12中，Ki表示卡尔曼增益矩阵，
表示平均测量噪声协方差矩阵，
表示预测状态向量的协方差矩阵，
表示预测的状态向量；
步骤六-3-4，根据这一时刻的计算结果和下一时刻的测量结果计算下一时刻的状态向量，重复步骤六-3-1至步骤六-3-3，直到该完整运动过程的最后一个时刻。
步骤七，关节点输出模块将步骤六得到的稳定的人体关节点坐标位置进行计算并输出各关节角度随时间的变化曲线，具体包括：
步骤七-1，基于一段完整运动过程的帧数应有的连续性对融合后的人体关节点三维坐标数据进行分段；
步骤七-2，基于国际运动生物力学协会对于关节角度的定义分别对对应的关节角进行计算，通过计算对应关节向量的内积完成关节角度计算，公式如下：
式13中，deg表示对应的关节角度，z1、z2表示计算特定关节角所需的关节向量，||zi||表示关节向量的L2范数，即关节长度；
步骤七-3，根据上步中的计算结果输出各关节角度随时间的变化曲线。
所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
Claims (6)
1.一种基于双体感追踪系统的人体运动捕捉方法，其特征在于，所述的双体感追踪系统包括两台用以采集人体姿态与图像信息的体感追踪系统，将两台体感追踪系统连接于台式机的适配器，一块由黑白两色塑胶格板交错排列的棋盘格，数据采集模块，以及运动分析模块；
所述数据采集模块包括：标定图像采集模块，采集用于标定的带有棋盘格的图像；人体姿态采集模块，采集运动过程中各体感追踪系统坐标系内人体关节点随时间变化的具体位置；
所述运动分析模块包括：用以相机姿态标定的体感追踪系统标定模块，用以对两台体感追踪系统的时间流进行同步的体感追踪系统同步模块，用以对两台体感追踪系统采集的人体关节点进行数据融合与卡尔曼滤波平滑的融合滤波模块，用以基于稳定后的人体关节点位置输出各关节角度随时间的变化曲线的关节角输出模块；
所述基于双体感追踪系统的人体运动捕捉方法，包括如下步骤：
步骤一，将两台体感追踪系统分别通过三脚架放置于可拍摄到全部人体的合理位置，并通过适配器连接至台式机；
步骤二，标定图像采集模块采集棋盘格图像；
步骤三，人体姿态采集模块分别采集一个人体在运动过程中各关节点在两台体感追踪系统的坐标系内随时间变化的三维坐标位置；
步骤四，体感追踪系统标定模块基于采集的棋盘格图像进行体感追踪系统姿态标定，并将两台体感追踪系统内的人体关节点三维坐标位置进行空间转换至一个坐标系内；
步骤五，体感追踪系统同步模块基于两台体感追踪系统采集人体关节点时记录的系统时间对两台体感追踪系统的时间流进行同步，具体包括：
步骤五-1，基于一段完整运动过程的帧数应有的连续性对采集的人体关节点三维坐标数据进行分段，若后帧与前帧差距为20帧即可认为是两段运动过程；
步骤五-2，对两台体感追踪系统的对应数据分段进行预处理，若两个数据分段的长度和起终点的帧数都一致，则被认为是有效跟踪过程，接下来进行时间上的同步，若存在不一致的状况，则放弃，并对下一组对应数据分段进行检测处理；
步骤五-3，基于记录的系统时间对有效跟踪过程的对应数据分段进行时间同步，具体包括：
步骤五-3-1，比较两个数据分段的起点的系统时间，取其中的较小值为t1，则另一个系统时间为t2，t1在其数据分段中下一时间的值为tnext，则可将t1所对应的关节点三维坐标pt进行线性插值，以求取它在t2时刻的具体位置，公式如下：
步骤五-3-2，逐个比较两个数据分段除起点外的其他时间，对于当前帧数相同的两个对应时间，取其中较小值为t1，则另一个时间值为t2，t2在其数据分段中下一时间的值为tprev，则可将t2所对应的关节点三维坐标pt进行线性插值，以求取它在t1时刻的具体位置，公式如下：
步骤五-3-2，插值后的两个数据分段分别在对应时刻有着对应的关节点三维坐标，即在时间上完成了同步；式2和式3中
分别表示t1、t2、tnext、tprev所对应的关节点三维坐标；
步骤六，融合滤波模块对步骤四、步骤五中得到的经空间转换和时间融合后的人体关节点坐标位置进行数据融合与卡尔曼滤波平滑；
步骤七，关节点输出模块将步骤六得到的稳定的人体关节点坐标位置进行计算并输出各关节角度随时间的变化曲线。
2.根据权利要求1所述的基于双体感追踪系统的人体运动捕捉方法，其特征在于，所述步骤二中标定图像采集模块采集棋盘格图像的具体步骤包括：
步骤二-1，实验人手持塑胶板棋盘格放于胸前，站于两台体感追踪系统前，标定图像采集模块获取两台体感追踪系统拍摄的带有完整棋盘格的图像，并进行存储；
步骤二-2，实验人更换塑胶板棋盘格的在三维空间中的摆放朝向，重复步骤二-1，直至采集15至20幅的两个视角下带有全部棋盘格的图像。
3.根据权利要求1所述的基于双体感追踪系统的人体运动捕捉方法，其特征在于，所述步骤三具体包括：
步骤三-1，两台体感追踪系统开机预热十分钟，避免两台体感追踪系统相互干扰；
步骤三-2，受试者站于两台体感追踪系统拍摄画面的靠中位置，张开双臂完成两台体感追踪系统对人体的识别，人体姿态采集模块采集画面中受试者及其人体关节点的棍图；
步骤三-3，分别将两台体感追踪系统得到的棍图中关节点三维坐标位置进行记录保存；
步骤三-4，两组关节点三维坐标位置均按系统时间，当前帧数，受试者ID，左右肩、肘、腕、髋、膝、踝、颈、头部的三维坐标进行整理统计，并将两组数据各自记录到两个的文本文件。
4.根据权利要求1所述的基于双体感追踪系统的人体运动捕捉方法，其特征在于，所述步骤四具体包括：
步骤四-1，使用数学软件基于采集到的棋盘格图像进行体感追踪系统的相机姿态标定，求得旋转矩阵和平移向量，利用棋盘格标定法进行分析；
步骤四-2，对其中一台体感追踪系统得到的三维坐标位置进行坐标转换，转换公式为：
ptr′＝R(ptr-T) (式1)
式1中R表示旋转矩阵，T表示平移向量，ptr表示原相机坐标系下的关节点三维坐标向量，ptr′表示转换后的关节点三维坐标向量；经上述转换，两台体感追踪系统采集的人体关节点坐标空间转换至同一坐标系。
5.根据权利要求1所述的基于双体感追踪系统的人体运动捕捉方法，其特征在于，所述步骤六具体包括：
步骤六-1，基于一段完整运动过程的帧数应有的连续性对采集的人体关节点三维坐标数据进行分段，提取经过空间转换与时间同步后的对应的运动过程；
步骤六-2，对于需要融合的人体关节点三维坐标数据进行初始化，初始化方法为两个对应数据分段起始关节点三维坐标简单的算术平均值，分别初始化第一个时刻点和第二个时刻点，并基于两个时刻的时间差计算初始速度，每一时刻估计的关节点坐标位置和关节点速度用于对未来的关节点位置进行预测；
步骤六-3，基于卡尔曼滤波方法对两个对应数据分段人体关节点三维坐标位置进行融合与滤波，具体包括：
步骤六-3-1，从第三个时刻点开始，基于前一时刻融合后的关节点坐标位置和关节点速度对当前关节点位置进行预测，预测的位置向量公式如下：
式4中，xi表示第i个时刻的关节点位置向量，ui表示第i个时刻的关节点速度向量，ti表示第i个时刻值，xi和ui的维度为42×1，由14个关节点的三维坐标排列成列向量组成；
预测状态的协方差矩阵计算为：
式5中Pi表示第i个时刻的状态协方差矩阵，Q表示转移噪声的协方差矩阵，Q设为单位矩阵；
步骤六-3-2，基于预测状态估计两台体感追踪系统在当前时刻分别采集人体关节点三维坐标时测量噪声的协方差矩阵并以测量噪声协方差的逆为权重对两台体感追踪系统采集的人体关节点三维坐标进行加权平均，包括以下步骤：
步骤六-3-2-1，基于预测状态估计两台体感追踪系统在当前时刻分别采集人体关节点三维坐标时测量噪声向量v，估计公式表示为：
式6中，
表示第k台体感追踪系统在第i个时刻的关节点三维坐标的测量值向量，k＝1或2，对测量噪声向量v的估计是基于测量值
遵循分布于预测的位置向量
的高斯分布的假设，σ2表示方差；当测量值预测状态越近时，其测量噪声越低，当测量值距离预测状态越远时，其测量噪声越大；
步骤六-3-2-2，对计算得到的两台体感追踪系统的测量噪声向量v进行归一化处理，即向量的每一个元素除以该向量所有元素的均值；
步骤六-3-2-3，基于测量噪声向量构建测量噪声协方差矩阵，测量噪声协方差矩阵是一个对角阵，对角线上的每一个元素是测量噪声向量对应位置元素的平方值；
步骤六-3-2-4，基于测量噪声协方差矩阵对两台体感追踪系统的测量值向量进行加权平均，具体公式为：
式7、式8中
表示平均测量噪声协方差矩阵，
表示第一台体感追踪系统的测量噪声协方差矩阵的逆，
表示第二台体感追踪系统的测量噪声协方差矩阵的逆，
表示测量值向量的平均值，
和
分别表示第一台和第二台体感追踪系统的测量值向量，其维度同关节点位置向量一致，由14个关节点的三维坐标排列成列向量组成；
步骤六-3-3，基于加权后的测量值向量对预测状态向量进行更新，求取当前时刻的状态向量，包括三维关节点位置向量与速度向量，具体公式为：
式9、式10、式11、式12中，Ki表示卡尔曼增益矩阵，
表示平均测量噪声协方差矩阵，
表示预测状态向量的协方差矩阵，
表示预测的位置向量，I为1的矩阵；
步骤六-3-4，根据这一时刻的计算结果和下一时刻的测量结果计算下一时刻的状态向量，重复步骤六-3-1至步骤六-3-3，直到该完整运动过程的最后一个时刻。
6.根据权利要求1所述的基于双体感追踪系统的人体运动捕捉方法，其特征在于，所述步骤七具体包括：
步骤七-1，基于一段完整运动过程的帧数应有的连续性对融合后的人体关节点三维坐标数据进行分段；
步骤七-2，基于国际运动生物力学协会对于关节角度的定义分别对对应的关节角进行计算，通过计算对应关节向量的内积完成关节角度计算，公式如下：
式13中，deg表示对应的关节角度，z1、z2表示计算特定关节角所需的关节向量，||z1||和||z2||表示关节向量的L2范数，即关节长度；
步骤七-3，根据上步中的计算结果输出各关节角度随时间的变化曲线。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810153371.1A CN108376405B (zh) | 2018-02-22 | 2018-02-22 | 基于双体感追踪系统的人体运动捕捉系统及捕捉方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810153371.1A CN108376405B (zh) | 2018-02-22 | 2018-02-22 | 基于双体感追踪系统的人体运动捕捉系统及捕捉方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108376405A CN108376405A (zh) | 2018-08-07 |
| CN108376405B true CN108376405B (zh) | 2020-11-17 |
Family
ID=63017805
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810153371.1A Expired - Fee Related CN108376405B (zh) | 2018-02-22 | 2018-02-22 | 基于双体感追踪系统的人体运动捕捉系统及捕捉方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108376405B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110458944B (zh) * | 2019-08-08 | 2023-04-07 | 西安工业大学 | 一种基于双视角Kinect关节点融合的人体骨架重建方法 |
| CN110992454B (zh) * | 2019-11-29 | 2020-07-17 | 南京甄视智能科技有限公司 | 基于深度学习的实时动作捕捉和三维动画生成方法与装置 |
| CN111539299B (zh) * | 2020-04-20 | 2024-03-01 | 上海曼恒数字技术股份有限公司 | 一种基于刚体的人体运动捕捉方法、装置、介质及设备 |
| TWI740659B (zh) * | 2020-09-23 | 2021-09-21 | 國立臺灣科技大學 | 復健輔助檢測系統及方法 |
| CN112581574A (zh) * | 2020-12-25 | 2021-03-30 | 江苏环影动漫文化有限公司 | 一种人体动作捕捉系统和方法 |
| CN112927330B (zh) * | 2021-03-17 | 2024-04-26 | 北京七维视觉传媒科技有限公司 | 用于生成虚拟人体图像的方法和系统 |
| CN112891922B (zh) * | 2021-03-18 | 2022-11-22 | 山东梦幻视界智能科技有限公司 | 一种虚拟现实体感交互方法 |
| CN113421286B (zh) * | 2021-07-12 | 2024-01-02 | 北京未来天远科技开发有限公司 | 一种动作捕捉系统及方法 |
| CN115389246B (zh) * | 2022-10-31 | 2023-03-03 | 之江实验室 | 一种动作捕捉系统的速度精度测量方法、系统及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104408760A (zh) * | 2014-10-28 | 2015-03-11 | 燕山大学 | 一种基于双目视觉的高精度虚拟装配系统算法 |
| CN105551059A (zh) * | 2015-12-08 | 2016-05-04 | 国网山西省电力公司技能培训中心 | 光学和惯性体感数据融合的变电仿真人体运动捕捉方法 |
| CN107563295A (zh) * | 2017-08-03 | 2018-01-09 | 中国科学院自动化研究所 | 基于多Kinect的全方位人体追踪方法及处理设备 |
| CN107577451A (zh) * | 2017-08-03 | 2018-01-12 | 中国科学院自动化研究所 | 多Kinect人体骨架坐标变换方法及处理设备、可读存储介质 |
-
2018
- 2018-02-22 CN CN201810153371.1A patent/CN108376405B/zh not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104408760A (zh) * | 2014-10-28 | 2015-03-11 | 燕山大学 | 一种基于双目视觉的高精度虚拟装配系统算法 |
| CN105551059A (zh) * | 2015-12-08 | 2016-05-04 | 国网山西省电力公司技能培训中心 | 光学和惯性体感数据融合的变电仿真人体运动捕捉方法 |
| CN107563295A (zh) * | 2017-08-03 | 2018-01-09 | 中国科学院自动化研究所 | 基于多Kinect的全方位人体追踪方法及处理设备 |
| CN107577451A (zh) * | 2017-08-03 | 2018-01-12 | 中国科学院自动化研究所 | 多Kinect人体骨架坐标变换方法及处理设备、可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108376405A (zh) | 2018-08-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108376405B (zh) | 基于双体感追踪系统的人体运动捕捉系统及捕捉方法 | |
| Liu et al. | Tracking-based 3D human skeleton extraction from stereo video camera toward an on-site safety and ergonomic analysis | |
| CN111881887A (zh) | 基于多摄像头的运动姿态监测和指导方法及装置 | |
| CN102657532B (zh) | 基于人体姿态识别的身高测量方法及装置 | |
| Han | A low-cost visual motion data glove as an input device to interpret human hand gestures | |
| CN106600626B (zh) | 三维人体运动捕获方法与系统 | |
| CN112069933A (zh) | 基于体态识别和人体生物力学的骨骼肌肉受力估计方法 | |
| CN109344694B (zh) | 一种基于三维人体骨架的人体基本动作实时识别方法 | |
| Ning et al. | People tracking based on motion model and motion constraints with automatic initialization | |
| CN104700433A (zh) | 一种基于视觉的实时人体全身体运动捕捉方法及其系统 | |
| CN106295544B (zh) | 一种基于Kinect的视角不变性步态识别方法 | |
| CN109758756B (zh) | 基于3d相机的体操视频分析方法及系统 | |
| Surer et al. | Methods and technologies for gait analysis | |
| CN104821010A (zh) | 基于双目视觉的人手三维信息实时提取方法及系统 | |
| CN111680586B (zh) | 一种羽毛球运动员运动姿态估计方法及系统 | |
| CN104866824A (zh) | 一种基于Leap Motion的手语字母识别方法 | |
| Rani et al. | Kinematic joint descriptor and depth motion descriptor with convolutional neural networks for human action recognition | |
| CN115376034A (zh) | 一种基于人体三维姿态时空关联动作识别的运动视频采集剪辑方法及装置 | |
| CN109993116B (zh) | 一种基于人体骨骼相互学习的行人再识别方法 | |
| CN110477921B (zh) | 基于骨架折线Ridge回归的身高测量方法 | |
| CN109859237B (zh) | 一种基于红外扫描的人体骨骼运动分析方法 | |
| CN116740618A (zh) | 一种运动视频动作评估方法、系统、计算机设备及介质 | |
| CN113033501A (zh) | 一种基于关节四元数的人体分类方法及装置 | |
| CN109740458B (zh) | 一种基于视频处理的体貌特征测量方法及系统 | |
| JP7482471B2 (ja) | 学習モデルの生成方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20201117 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |