CN106846372A - 人体运动质量视觉分析与评价系统及其方法 - Google Patents

Abstract

本发明公开了一种人体运动质量视觉分析与评价系统及其方法。所述系统包括：彩色标签、单目摄像头或具备照相功能的可移动终端设备、嵌入式视觉处理计算机和棋盘格。所述方法的步骤如下：首先，统计参评者身材、性别、年龄、民族、参评关节名称等信息，按照其参评项目的不同建立对应的样本数据库；其次，使用不同颜色的标签纸预先标记各参评关节，采用Hu矩计算出图像中各标签纸的质心坐标，利用光流法计算出视频帧中各质心运动的速度矢量，在此基础上，构建基于Kalman滤波器的运动状态矢量；最后，利用Kalman滤波器的预测机制，不断预测各参评关节的运动状态，记录其历史运动轨迹及运动频率，供人员或机器学习模型分析评价。

Description

人体运动质量视觉分析与评价系统及其方法

技术领域

本发明属于机器视觉技术领域，具体是一种人体运动质量视觉分析与评价系统及其方法。

背景技术

人体运动质量的分析评价是一个长期而循序渐进的过程，对普通人群的运动分析可以更好的指导科学运动，从而指导健康的生活；运动员可以在运动分析的帮助下矫正运动姿态，从而提升竞技水平；对于某些需要理疗的病患，可在运动分析的帮助下，在理疗周期内得到有效地监督评价。传统的运动分析主要依赖于肉眼观察，分析人员的经验决策贯穿于运动周期的各个阶段。而现实生活中，运动分析人员的缺乏、不同分析员之间水平的差异，都会导致参评者在运动周期中难以得到有效的监督和评价。随着科学技术的发展和社会物质文明的提高，人类对于自身运动质量的关注度与日俱增，一系列应运而生的新技术也使得针对人体运动的分析评价逐渐趋于标准化、精准化。

在这类新技术中，较为典型的有申请号为201410306132.7的“一种基于心率和加速度传感器的人体运动分析方法及其装置”专利，利用三轴加速度仪和心率传感器得到人体的运动状态S，利用该运动状态进行交叉对比，能够有效地检测各种有氧运动和无氧运动，以及睡眠，结果更为准确，该发明可以有效地防止因为洗手、叠被子等操作导致产品误提示进入运动状态，特别是判断一些肢体不移动的运动，比如力量训练、瑜伽、举重等，同时带有激励用户保持这种状态的反馈。

申请号为200910237155.6的“一种人体环节惯性参数的估测方法及系统”专利，在获取被测个体运动捕获数据以及被测个体总质量的基础上建立被测个体的人体模型，依据捕获数据、个体总质量以及人体模型，计算出人体环节惯性参数。该发明的突出优势在于无需使用人体密度信息库，适用于任何民族、性别以及群体，并且在估测人体环节惯性的同时，运动捕获数据也得到了校正。

随着人工智能技术的快速发展，以便携式成像设备为工具，采集人体运动的实时视频，进而利用视觉技术进行人体运动分析评价的方法已经成为一种可能，相较于传统的多传感器运动监测仪，采用基于视觉的运动分析与评价方法具有设备简单、成本低、易于维护等优点。

其中，申请号为201610248526.0的“一种基于视觉的运动特征提取方法”专利，通过提取各像素点运动矢量的方向—幅值直方图，构建出对应的立方特征向量，在此基础上通过聚类算法对局部描述子形成编码向量，从而形成运动特征的词典频率。该方法使用聚类算法得到各类描述子质心的方法较为便捷，但所得结果精度欠佳，对于运动的特征的描述不够充分。

申请号为201610056555.7的“一种高实时性机器视觉运动分析方法”专利，通过双目摄像头采集图像，对前后帧左图SURF特征点进行跟踪，得到前后帧跟踪匹配点对集合，在此基础上，采用奇异值分解方法计算运动参数，并利用该参数计算跟踪匹配点误差，剔除误差粗大的跟踪匹配点对，得到有效的匹配点对集合，最后，再次利用奇异值分解方法得到经优化的运动参数。该方法剔除了部分误差较大的匹配点对，提高了运动分析的精度，但针对整幅图像提取SURF特征点的方式适用于全局运动分析，并不适用于针对某一特定物体的局部运动分析，且无法有效的预测特征点的后续运动状态。

申请号为201510443508.3的“一种基于多目视频的人体动画生成方法”专利，利用运动捕获数据，采用高斯过程潜变量模型运动降维方法，学习人体运动的低维空间；其次，利用多摄像机获取的视频，采用多目标粒子群优化人体运动分析方法，计算得到视频中的人体姿态参数；最后，利用人体姿态参数，采用运动重定向方法，驱动三维人体模型生成三维人体动画。该专利在电影动画、虚拟现实等领域具有较好的前景。

综上所述，虽然利用视觉进行运动分析的方案较多，但大多数无法形成一套完整的针对人体运动质量的视觉分析与评价方法，因此难以在运动评估领域得到实际应用。

发明内容

本发明要解决的问题是，提供一种人体运动质量视觉分析与评价系统及其方法，通过实时采集参评关节的位置、运动速度等信息，实现人体运动的分析与评价。

人体运动质量视觉分析与评价系统及其方法是采取以下技术方案实现：

人体运动质量视觉分析与评价系统包括彩色标签、单目摄像头或具备照相功能的可移动终端设备、嵌入式视觉处理计算机和棋盘格。其中单目摄像头经USB接口与嵌入式视觉处理计算机连接，嵌入式视觉处理计算机通过计算视频帧得出人体被观察关节部位的位置、运动速度，记录其历史运动轨迹及运动频率，最后发送给人员或机器学习模型进行分析评价。

本发明公开了一种人体运动质量视觉分析与评价方法，具体步骤如下：

1）统计参评者身高、体重、性别、年龄、民族、参评关节名称，按照其参评项目的不同建立对应的样本数据库；

2）采用标定方法获得摄像头的内外参数矩阵并储存在图像处理单元的存储器中，通过摄像头获取参评者实施运动时的视频图像信息，经内外参数矩阵进行校正，获得无畸变的连续视频帧；

3）在参评者各参评关节部位粘贴不同颜色的标签，通过颜色空间转换，分割出不同关节部位的灰度区域图像，并设置感兴趣区域（Region of interesting）简称ROI；

4）计算各关节标签的ROI的质心坐标；

5）利用LK光流法计算分析不同ROI质心的运动速度及其方向；

6）使用Kalman滤波器对下一时刻关节质心运动速度以及质心位置进行预测，记录其历史运动轨迹及运动频率，供人员或机器学习模型进行分析评价。

所述步骤4）使用Hu矩方式计算步骤3）图像中各关节标签的ROI的质心位置，其中和分别为：

式中：

其中和分别表示ROI所占的行数和列数，表示图像中对应位置的灰度值。

在所述步骤5）中，假设质心周围四邻域内像素点沿X方向的速度u以及沿Y方向的速度v均相等，构建LK光流法等式：

式中，和分别表示延X方向的梯度以及Y方向上的梯度，表示前后两帧质心位置的灰度差异，由于是超定方程，结合最小二乘法求解即可。

步骤6）依据步骤4）以及步骤5）所得结果，构建各ROI质心的初始运动状态向量：

其中，为第i个ROI的质心位置，为该ROI质心沿X方向和Y方向的运动速度，在此基础上，使用Kalman预测方程对该质心下一时刻的运动状态进行预测。最后，对各参评关节质心的历史运动轨迹以及运动频率进行记录，供人员或机器学习模型进行分析评价。

作为上述技术方案的另一种改进，步骤2）中，可以使用具备摄像功能的可移动终端设备（手机、PAD等）进行运动视频帧的获取，然后通过WiFi等无线网络将视频帧发送给嵌入式图像处理计算机。

作为上述技术方案的另一种改进，步骤6）中，可预先选择部分特定运动姿势，针对样本数据库中不同类型的参评者，计算出其正确姿势下参评关节的两两相对距离，对各距离进行归一化操作，以该数据为训练正样本；同理，以其错误姿势下的计算值为负样本，训练机器学习模型。在建立该模型的基础上，可针对某些特定运动姿势的执行过程进行分析评价。

本发明一种人体运动质量视觉分析与评价系统及方法具有如下特点：

1）统计了参评者身高、体重、性别、年龄、民族以及参评关节的名称，并按照其参评项目的不同建立了对应的样本数据库；

2）利用单目摄像头或具备摄像功能的移动终端即可采集参评者的运动视频帧；

3）利用不同颜色的标签纸标记参评者的关节部位，结合Hu矩即可计算出各关节的位置。

4）利用LK光流法计算不同各关节质心的运动速度，及其方向，在此基础上，使用Kalman滤波器对下一时刻关节质心运动速度以及质心位置进行预测，记录其历史运动轨迹及运动频率，供人员或机器学习模型进行分析评价。

附图说明

以下将结合附图对本发明作进一步说明：

图1为本发明实施实例标定摄像头的棋盘格。

图2为本发明实施实例的标签纸。

图3为本发明人体运动质量的视觉分析与评价方法流程图。

图4为本发明人体运动质量的视觉分析与评价系统示意图。

具体实施方式

参照附图1-4，一种人体运动质量视觉分析与评价系统包括：彩色标签、单目摄像头或具备照相功能的可移动终端设备、嵌入式视觉处理计算机、棋盘格。其中单目摄像头经USB接口与嵌入式视觉处理计算机连接，嵌入式视觉处理计算机通过计算视频帧得出参评者被观察关节部位的位置、运动速度，记录其历史运动轨迹及运动频率，然后发送给人员或机器学习模型进行分析评价。

人体运动质量视觉分析与评价方法，统计参评者身材、性别、年龄、民族、参评关节区域等信息，按照其参与项目的不同建立样本数据库；通过摄像头标定得到无畸变的运动视频帧，利用Hu矩获得参评关节部位的标签质心坐标，在此基础上利用LK光流法计算出各质心点的运动速度矢量，使用Kalman滤波器对各关节的运动位置进行预测，并记录各参评关节的历史运动轨迹及运动频率，供人员或机器学习模型进行分析评价。

如图4所示实例中人体运动质量视觉分析与评价系统示意图，系统包括图像采集模块、嵌入式图像处理模块、棋盘格。

本实施例采用单目摄像头，分辨率为640*480，可用帧率为20~33fps，如图1所示为本实施例标定摄像头的棋盘格，焦距可调，可通过USB或其它高速接口将视频信号送入嵌入式图像处理计算机。

首先将如图1所示的棋盘格对单目摄像头进行标定，分别得到摄像头的内/外参数矩阵和畸变参数，并将其储存在嵌入式处理器的存储器中，读入双目摄像头发送的同步视频数据，利用内/外参数矩阵、畸变参数对视频帧进行矫正，获得无畸变的视频帧。

将如图2所示相同形状不同颜色的标签纸固定在各参评关节区域，利用不同颜色标签纸在HSI空间中的H、S通道联合信息划分出其在图像中的区域块，并将其设为不同的ROI，H、S通道值的计算方程如下：

其中，、、分别表示的是标签纸在RGB颜色空间中的通道信息。针对不同的ROI，利用Hu矩计算其质心坐标，以第i个ROI为例，其质心坐标计算方法如下：

式中：

和分别表示ROI所占的行数和列数，表示对应坐标的灰度值。

在得到各ROI质心坐标的基础上，利用LK光流法计算出各质心的运动速度矢量，获得其幅值和方向，假设质心周围四邻域内各像素点沿X方向的速度以及沿Y方向的速度相等，构建LK光流法等式：

式中，和分别表示延X方向的梯度以及Y方向上的梯度，可用Sobel算子求解，表示前后两帧质心点坐标位置的灰度差异。由此可以构建出一个超定方程，利用超定方程即可求解出及，根据帧间时差，亦可确定此时质心位置。

在第二帧的基础上建立针对各质心在第t时刻的运动状态向量，利用Kalman滤波器的运动预测机制，对质心点下一时刻的运动状态进行预测。其中，运动状态估计方程为：

误差协方差估计方程为：

运动状态校正方程为：

增益校正方程为：

误差协方差校正方程为：

上述各式中，、分别为状态转移矩阵以及观测矩阵，为外部控制输入量，由于被跟踪的质心是独立运动的，因此该项不予考虑，为系统上一时刻引入的过程噪声；为系统当前时刻对于被跟踪质心的观测矢量，为当前时刻的观测噪声，以及互不相关且都服从正态分布，本实施例设两者的协方差矩阵为、：

状态转移矩阵设为：

式中为帧间时差。

观察矩阵设为：

本方法假设预测绝缘子质心位置与实际质心位置偏差为3个像素点，各方向速度误差为2个像素点，则误差协方差的初始值为：

具体实施步骤如下：

1）从视频第二帧开始，使用光流法确定质心速度矢量以及坐标位置，初始化Kalman运动状态方程。

2）根据运动状态估计方程、误差协方差估计方程对后续帧中质心的运动状态以及误差协方差进行估计。

3）使用光流法确定物体质心所在位置，利用该位置更新观测矢量。

4）根据公式增益校正方程计算增益，同时利用、以及结合运动状态校正方程、误差协方差校正方程计算出运动状态校正值以及误差协方差校正值。

5）将计算更新的各值作为初始值，重返步骤（2）。

利用各关节点的瞬时速度、运动频率、下一时刻的位置预测以及历史运动信息，可对参评者的运动姿势进行分析评价。此外，可预先选择部分特定运动姿势，针对样本数据库中不同类型的参评者，计算出其正确姿势下参评关节的两两相对距离，对各距离进行归一化操作，以该数据为训练正样本；同理，以其错误姿势下的计算值为负样本，训练机器学习模型。在建立该模型的基础上，可针对某些特定运动姿势的执行过程进行分析评价。

本发明公开了一种人体运动质量视觉分析与评价系统及方法，该方法将光流法和Kalman滤波器结合起来，利用光流法实时的计算出关节质心点的运动速度和方向，利用Kalman滤波器预测出关节下一时刻的运动位置，并记录历史运动轨迹以及运动频率。在上述工作的基础上，人员或机器学习模型可以基于实时和历史信息判断参评者运动时的姿态，防止参评者在无监督的状态下出现动作变形，为进一步实现运动质量的稳定监测和可靠评估打下了良好的预研基础。

Claims (6)

1.一种人体运动质量视觉分析与评价系统，其特征在于，包括彩色标签、单目摄像头或具备照相功能的可移动终端设备、嵌入式视觉处理计算机和棋盘格，其中单目摄像头经USB接口与嵌入式视觉处理计算机连接，嵌入式视觉处理计算机通过计算视频帧得出人体被观察关节部位的位置、运动速度，记录其历史运动轨迹及运动频率，最后发送给人员或机器学习模型进行分析评价。

2.一种人体运动质量视觉分析与评价方法，其特征在于，具体步骤如下：

1）统计参评者身高、体重、性别、年龄、民族、参评关节名称，按照其参评项目的不同建立对应的样本数据库；

2）采用标定方法获得摄像头的内外参数矩阵并储存在图像处理单元的存储器中，通过摄像头获取参评者实施运动时的视频图像信息，经内外参数矩阵进行校正，获得无畸变的连续视频帧；

3）在参评者各参评关节部位粘贴不同颜色的标签，通过颜色空间转换，分割出不同关节部位的灰度区域图像，并设置感兴趣区域（Region of interesting）简称ROI；

4）计算各关节标签的ROI的质心坐标；

5）利用LK光流法计算分析不同ROI质心的运动速度及其方向；

6）使用Kalman滤波器对下一时刻关节质心运动速度以及质心位置进行预测，记录其历史运动轨迹及运动频率，供人员或机器学习模型进行分析评价。

3.根据权利要求2所述人体运动质量视觉分析与评价方法，其特征在于，所述步骤4）利用Hu矩计算图像中各关节标签的ROI的质心位置，其中，，式中的计算方法为：

其中和分别表示ROI所占的行数和列数，表示图像中对应位置的灰度值。

4.根据权利要求2所述人体运动质量视觉分析与评价方法，其特征在于，在所述步骤5）中，假设质心周围四邻域内像素点沿X方向的速度u以及沿Y方向的速度v均相等，构建LK光流法等式：

式中，和分别表示延X方向的梯度以及Y方向上的梯度，表示前后两帧该质心点位置的灰度差异，构建出一个两未知数四个等式的超定方程，利用最小二乘法即可求解出及。

5.根据权利要求2所述人体运动质量视觉分析与评价方法，其特征在于，利用步骤5）光流法所得各ROI质心的位置以及运动速度，构建基于Kalman滤波器的运动状态向量：

其中，为第i个ROI的质心位置，为该ROI质心沿X方向和Y方向的运动速度，在此基础上，使用Kalman预测方程对该质心下一时刻的运动状态进行预测，最后，对各参评关节质心的历史运动轨迹以及运动频率进行记录，供人员或机器学习模型进行实时或后续的评价。

6.根据权利要求2所述人体运动质量视觉分析与评价方法，其特征在于，步骤6）中，可预先选择部分特定运动姿势，针对样本数据库中不同类型的参评者，计算其正确姿势下参评关节的两两相对距离，对各距离进行归一化操作，以该数据为训练正样本；同理，以其错误姿势下的计算值为负样本，训练机器学习模型，在建立该模型的基础上，可针对特定运动姿势的执行过程进行分析评价。