CN106846372B - 人体运动质量视觉分析与评价系统及其方法 - Google Patents

人体运动质量视觉分析与评价系统及其方法 Download PDF

Info

Publication number
CN106846372B
CN106846372B CN201710076916.9A CN201710076916A CN106846372B CN 106846372 B CN106846372 B CN 106846372B CN 201710076916 A CN201710076916 A CN 201710076916A CN 106846372 B CN106846372 B CN 106846372B
Authority
CN
China
Prior art keywords
evaluation
motion
joint
centroid
analysis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710076916.9A
Other languages
English (en)
Other versions
CN106846372A (zh
Inventor
杨骏
杨忠
史翰缨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JIANGSU ZONP TECHNOLOGY Co.,Ltd.
Original Assignee
Nanjing Shengdu Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Shengdu Intelligent Technology Co ltd filed Critical Nanjing Shengdu Intelligent Technology Co ltd
Priority to CN201710076916.9A priority Critical patent/CN106846372B/zh
Publication of CN106846372A publication Critical patent/CN106846372A/zh
Application granted granted Critical
Publication of CN106846372B publication Critical patent/CN106846372B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116—Determining posture transitions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/247—Aligning, centring, orientation detection or correction of the image by affine transforms, e.g. correction due to perspective effects; Quadrilaterals, e.g. trapezoids

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Evolutionary Computation (AREA)
  • Physiology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Veterinary Medicine (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Psychiatry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种人体运动质量视觉分析与评价系统及其方法。所述系统包括：彩色标签、单目摄像头或具备照相功能的可移动终端设备、嵌入式视觉处理计算机和棋盘格。所述方法的步骤如下：首先，统计参评者身材、性别、年龄、民族、参评关节名称等信息，按照其参评项目的不同建立对应的样本数据库；其次，使用不同颜色的标签纸预先标记各参评关节，采用Hu矩计算出图像中各标签纸的质心坐标，利用光流法计算出视频帧中各质心运动的速度矢量，在此基础上，构建基于Kalman滤波器的运动状态矢量；最后，利用Kalman滤波器的预测机制，不断预测各参评关节的运动状态，记录其历史运动轨迹及运动频率，供人员或机器学习模型分析评价。

Description

人体运动质量视觉分析与评价系统及其方法
技术领域
本发明属于机器视觉技术领域，具体是一种人体运动质量视觉分析与评价系统及其方法。
背景技术
人体运动质量的分析评价是一个长期而循序渐进的过程，对普通人群的运动分析可以更好的指导科学运动，从而指导健康的生活；运动员可以在运动分析的帮助下矫正运动姿态，从而提升竞技水平；对于某些需要理疗的病患，可在运动分析的帮助下，在理疗周期内得到有效地监督评价。传统的运动分析主要依赖于肉眼观察，分析人员的经验决策贯穿于运动周期的各个阶段。而现实生活中，运动分析人员的缺乏、不同分析员之间水平的差异，都会导致参评者在运动周期中难以得到有效的监督和评价。随着科学技术的发展和社会物质文明的提高，人类对于自身运动质量的关注度与日俱增，一系列应运而生的新技术也使得针对人体运动的分析评价逐渐趋于标准化、精准化。
在这类新技术中，较为典型的有申请号为201410306132.7的“一种基于心率和加速度传感器的人体运动分析方法及其装置”专利，利用三轴加速度仪和心率传感器得到人体的运动状态S，利用该运动状态进行交叉对比，能够有效地检测各种有氧运动和无氧运动，以及睡眠，结果更为准确，该发明可以有效地防止因为洗手、叠被子等操作导致产品误提示进入运动状态，特别是判断一些肢体不移动的运动，比如力量训练、瑜伽、举重等，同时带有激励用户保持这种状态的反馈。
申请号为200910237155.6的“一种人体环节惯性参数的估测方法及系统”专利，在获取被测个体运动捕获数据以及被测个体总质量的基础上建立被测个体的人体模型，依据捕获数据、个体总质量以及人体模型，计算出人体环节惯性参数。该发明的突出优势在于无需使用人体密度信息库，适用于任何民族、性别以及群体，并且在估测人体环节惯性的同时，运动捕获数据也得到了校正。
随着人工智能技术的快速发展，以便携式成像设备为工具，采集人体运动的实时视频，进而利用视觉技术进行人体运动分析评价的方法已经成为一种可能，相较于传统的多传感器运动监测仪，采用基于视觉的运动分析与评价方法具有设备简单、成本低、易于维护等优点。
其中，申请号为201610248526.0的“一种基于视觉的运动特征提取方法”专利，通过提取各像素点运动矢量的方向—幅值直方图，构建出对应的立方特征向量，在此基础上通过聚类算法对局部描述子形成编码向量，从而形成运动特征的词典频率。该方法使用聚类算法得到各类描述子质心的方法较为便捷，但所得结果精度欠佳，对于运动的特征的描述不够充分。
申请号为201610056555.7的“一种高实时性机器视觉运动分析方法”专利，通过双目摄像头采集图像，对前后帧左图SURF特征点进行跟踪，得到前后帧跟踪匹配点对集合，在此基础上，采用奇异值分解方法计算运动参数，并利用该参数计算跟踪匹配点误差，剔除误差粗大的跟踪匹配点对，得到有效的匹配点对集合，最后，再次利用奇异值分解方法得到经优化的运动参数。该方法剔除了部分误差较大的匹配点对，提高了运动分析的精度，但针对整幅图像提取SURF特征点的方式适用于全局运动分析，并不适用于针对某一特定物体的局部运动分析，且无法有效的预测特征点的后续运动状态。
申请号为201510443508.3的“一种基于多目视频的人体动画生成方法”专利，利用运动捕获数据，采用高斯过程潜变量模型运动降维方法，学习人体运动的低维空间；其次，利用多摄像机获取的视频，采用多目标粒子群优化人体运动分析方法，计算得到视频中的人体姿态参数；最后，利用人体姿态参数，采用运动重定向方法，驱动三维人体模型生成三维人体动画。该专利在电影动画、虚拟现实等领域具有较好的前景。
综上所述，虽然利用视觉进行运动分析的方案较多，但大多数无法形成一套完整的针对人体运动质量的视觉分析与评价方法，因此难以在运动评估领域得到实际应用。
发明内容
本发明要解决的问题是，提供一种人体运动质量视觉分析与评价系统及其方法，通过实时采集参评关节的位置、运动速度等信息，实现人体运动的分析与评价。
人体运动质量视觉分析与评价系统及其方法是采取以下技术方案实现：
人体运动质量视觉分析与评价系统包括彩色标签、单目摄像头或具备照相功能的可移动终端设备、嵌入式视觉处理计算机和棋盘格。其中单目摄像头经USB接口与嵌入式视觉处理计算机连接，嵌入式视觉处理计算机通过计算视频帧得出人体被观察关节部位的位置、运动速度，记录其历史运动轨迹及运动频率，最后发送给人员或机器学习模型进行分析评价。
本发明公开了一种人体运动质量视觉分析与评价方法，具体步骤如下：
1）统计参评者身高、体重、性别、年龄、民族、参评关节名称，按照其参评项目的不同建立对应的样本数据库；
2）采用标定方法获得摄像头的内外参数矩阵并储存在图像处理单元的存储器中，通过摄像头获取参评者实施运动时的视频图像信息，经内外参数矩阵进行校正，获得无畸变的连续视频帧；
3）在参评者各参评关节部位粘贴不同颜色的标签，通过颜色空间转换，分割出不同关节部位的灰度区域图像，并设置感兴趣区域（Region of interesting）简称ROI；
4）计算各关节标签的ROI的质心坐标；
5）利用LK光流法计算分析不同ROI质心的运动速度及其方向；
6）使用Kalman滤波器对下一时刻关节质心运动速度以及质心位置进行预测，记录其历史运动轨迹及运动频率，供人员或机器学习模型进行分析评价。
所述步骤4）使用Hu矩方式计算步骤3）图像中各关节标签的ROI的质心位置
Figure DEST_PATH_IMAGE002
，其中
Figure DEST_PATH_IMAGE004
和
Figure DEST_PATH_IMAGE006
分别为：
Figure DEST_PATH_IMAGE008
式中：
Figure DEST_PATH_IMAGE010
其中
Figure DEST_PATH_IMAGE012
和
Figure DEST_PATH_IMAGE014
分别表示ROI所占的行数和列数，
Figure DEST_PATH_IMAGE016
表示图像中对应位置的灰度值。
在所述步骤5）中，假设质心
Figure DEST_PATH_IMAGE002A
周围四邻域内像素点沿X方向的速度u以及沿Y方向的速度v均相等，构建LK光流法等式：
Figure DEST_PATH_IMAGE019
式中，
Figure DEST_PATH_IMAGE021
和
Figure DEST_PATH_IMAGE023
分别表示延X方向的梯度以及Y方向上的梯度，
Figure DEST_PATH_IMAGE025
表示前后两帧质心位置的灰度差异，由于是超定方程，结合最小二乘法求解即可。
步骤6）依据步骤4）以及步骤5）所得结果，构建各ROI质心的初始运动状态向量：
Figure DEST_PATH_IMAGE027
其中，
Figure DEST_PATH_IMAGE029
为第i个ROI的质心位置，
Figure DEST_PATH_IMAGE031
为该ROI质心沿X方向和Y方向的运动速度，在此基础上，使用Kalman预测方程对该质心下一时刻的运动状态进行预测。最后，对各参评关节质心的历史运动轨迹以及运动频率进行记录，供人员或机器学习模型进行分析评价。
作为上述技术方案的另一种改进，步骤2）中，可以使用具备摄像功能的可移动终端设备（手机、PAD等）进行运动视频帧的获取，然后通过WiFi等无线网络将视频帧发送给嵌入式图像处理计算机。
作为上述技术方案的另一种改进，步骤6）中，可预先选择部分特定运动姿势，针对样本数据库中不同类型的参评者，计算出其正确姿势下参评关节的两两相对距离，对各距离进行归一化操作，以该数据为训练正样本；同理，以其错误姿势下的计算值为负样本，训练机器学习模型。在建立该模型的基础上，可针对某些特定运动姿势的执行过程进行分析评价。
本发明一种人体运动质量视觉分析与评价系统及方法具有如下特点：
1）统计了参评者身高、体重、性别、年龄、民族以及参评关节的名称，并按照其参评项目的不同建立了对应的样本数据库；
2）利用单目摄像头或具备摄像功能的移动终端即可采集参评者的运动视频帧；
3）利用不同颜色的标签纸标记参评者的关节部位，结合Hu矩即可计算出各关节的位置。
4）利用LK光流法计算不同各关节质心的运动速度，及其方向，在此基础上，使用Kalman滤波器对下一时刻关节质心运动速度以及质心位置进行预测，记录其历史运动轨迹及运动频率，供人员或机器学习模型进行分析评价。
附图说明
以下将结合附图对本发明作进一步说明：
图1为本发明实施实例标定摄像头的棋盘格。
图2为本发明实施实例的标签纸。
图3为本发明人体运动质量的视觉分析与评价方法流程图。
图4为本发明人体运动质量的视觉分析与评价系统示意图。
具体实施方式
参照附图1-4，一种人体运动质量视觉分析与评价系统包括：彩色标签、单目摄像头或具备照相功能的可移动终端设备、嵌入式视觉处理计算机、棋盘格。其中单目摄像头经USB接口与嵌入式视觉处理计算机连接，嵌入式视觉处理计算机通过计算视频帧得出参评者被观察关节部位的位置、运动速度，记录其历史运动轨迹及运动频率，然后发送给人员或机器学习模型进行分析评价。
人体运动质量视觉分析与评价方法，统计参评者身材、性别、年龄、民族、参评关节区域等信息，按照其参与项目的不同建立样本数据库；通过摄像头标定得到无畸变的运动视频帧，利用Hu矩获得参评关节部位的标签质心坐标，在此基础上利用LK光流法计算出各质心点的运动速度矢量，使用Kalman滤波器对各关节的运动位置进行预测，并记录各参评关节的历史运动轨迹及运动频率，供人员或机器学习模型进行分析评价。
如图4所示实例中人体运动质量视觉分析与评价系统示意图，系统包括图像采集模块、嵌入式图像处理模块、棋盘格。
本实施例采用单目摄像头，分辨率为640*480，可用帧率为20~33fps，如图1所示为本实施例标定摄像头的棋盘格，焦距可调，可通过USB或其它高速接口将视频信号送入嵌入式图像处理计算机。
首先将如图1所示的棋盘格对单目摄像头进行标定，分别得到摄像头的内/外参数矩阵和畸变参数，并将其储存在嵌入式处理器的存储器中，读入双目摄像头发送的同步视频数据，利用内/外参数矩阵、畸变参数对视频帧进行矫正，获得无畸变的视频帧。
将如图2所示相同形状不同颜色的标签纸固定在各参评关节区域，利用不同颜色标签纸在HSI空间中的H、S通道联合信息划分出其在图像中的区域块，并将其设为不同的ROI，H、S通道值的计算方程如下：
Figure DEST_PATH_IMAGE033
Figure DEST_PATH_IMAGE035
Figure DEST_PATH_IMAGE037
其中，
Figure DEST_PATH_IMAGE039
、
Figure DEST_PATH_IMAGE041
、
Figure DEST_PATH_IMAGE043
分别表示的是标签纸在RGB颜色空间中的通道信息。针对不同的ROI，利用Hu矩计算其质心坐标，以第i个ROI为例，其质心坐标
Figure DEST_PATH_IMAGE002AA
计算方法如下：
Figure DEST_PATH_IMAGE008A
式中：
Figure DEST_PATH_IMAGE010A
Figure DEST_PATH_IMAGE012A
和
Figure DEST_PATH_IMAGE014A
分别表示ROI所占的行数和列数，
Figure DEST_PATH_IMAGE016A
表示对应坐标的灰度值。
在得到各ROI质心坐标的基础上，利用LK光流法计算出各质心的运动速度矢量，获得其幅值和方向，假设质心
Figure DEST_PATH_IMAGE002AAA
周围四邻域内各像素点沿X方向的速度
Figure DEST_PATH_IMAGE052
以及沿Y方向的速度
Figure DEST_PATH_IMAGE054
相等，构建LK光流法等式：
Figure DEST_PATH_IMAGE056
式中，
Figure DEST_PATH_IMAGE021A
和
Figure DEST_PATH_IMAGE023A
分别表示延X方向的梯度以及Y方向上的梯度，可用Sobel算子求解，
Figure DEST_PATH_IMAGE025A
表示前后两帧质心点坐标位置的灰度差异。由此可以构建出一个超定方程，利用超定方程即可求解出
Figure DEST_PATH_IMAGE052A
及
Figure DEST_PATH_IMAGE054A
，根据帧间时差，亦可确定此时质心位置。
在第二帧的基础上建立针对各质心在第t时刻的运动状态向量
Figure DEST_PATH_IMAGE027A
，利用Kalman滤波器的运动预测机制，对质心点下一时刻的运动状态进行预测。其中，运动状态估计方程为：
Figure DEST_PATH_IMAGE064
误差协方差估计方程为：
Figure DEST_PATH_IMAGE066
运动状态校正方程为：
Figure DEST_PATH_IMAGE068
Figure DEST_PATH_IMAGE070
增益校正方程为：
Figure DEST_PATH_IMAGE072
误差协方差校正方程为：
Figure DEST_PATH_IMAGE074
上述各式中，
Figure DEST_PATH_IMAGE076
、
Figure DEST_PATH_IMAGE078
分别为状态转移矩阵以及观测矩阵，
Figure DEST_PATH_IMAGE080
为外部控制输入量，由于被跟踪的质心是独立运动的，因此该项不予考虑，
Figure DEST_PATH_IMAGE082
为系统上一时刻引入的过程噪声；
Figure DEST_PATH_IMAGE084
为系统当前时刻对于被跟踪质心的观测矢量，
Figure DEST_PATH_IMAGE086
为当前时刻的观测噪声，
Figure DEST_PATH_IMAGE086A
以及
Figure DEST_PATH_IMAGE082A
互不相关且都服从正态分布，本实施例设两者的协方差矩阵为
Figure DEST_PATH_IMAGE090
、
Figure DEST_PATH_IMAGE092
：
Figure DEST_PATH_IMAGE094
状态转移矩阵设为：
Figure DEST_PATH_IMAGE096
式中
Figure DEST_PATH_IMAGE098
为帧间时差。
Figure DEST_PATH_IMAGE100
观察矩阵设为：
Figure DEST_PATH_IMAGE102
本方法假设
Figure DEST_PATH_IMAGE100A
预测绝缘子质心位置与实际质心位置偏差为3个像素点，各方向速度误差为2个像素点，则误差协方差的初始值为：
Figure DEST_PATH_IMAGE105
具体实施步骤如下：
1）从视频第二帧开始，使用光流法确定质心速度矢量以及坐标位置，初始化Kalman运动状态方程。
2）根据运动状态估计方程、误差协方差估计方程对后续帧中质心的运动状态
Figure DEST_PATH_IMAGE107
以及误差协方差
Figure DEST_PATH_IMAGE109
进行估计。
3）使用光流法确定物体质心所在位置，利用该位置更新观测矢量
Figure DEST_PATH_IMAGE084A
。
4）根据公式
Figure DEST_PATH_IMAGE070A
增益校正方程计算
Figure DEST_PATH_IMAGE100AA
增益
Figure DEST_PATH_IMAGE114
，同时利用
Figure DEST_PATH_IMAGE114A
、
Figure DEST_PATH_IMAGE117
以及
Figure DEST_PATH_IMAGE107A
结合运动状态校正方程、误差协方差校正方程计算出运动状态校正值
Figure DEST_PATH_IMAGE120
以及误差协方差校正值
Figure DEST_PATH_IMAGE122
。
5）将计算更新的各值作为初始值，重返步骤（2）。
利用各关节点的瞬时速度、运动频率、下一时刻的位置预测以及历史运动信息，可对参评者的运动姿势进行分析评价。此外，可预先选择部分特定运动姿势，针对样本数据库中不同类型的参评者，计算出其正确姿势下参评关节的两两相对距离，对各距离进行归一化操作，以该数据为训练正样本；同理，以其错误姿势下的计算值为负样本，训练机器学习模型。在建立该模型的基础上，可针对某些特定运动姿势的执行过程进行分析评价。
本发明公开了一种人体运动质量视觉分析与评价系统及方法，该方法将光流法和Kalman滤波器结合起来，利用光流法实时的计算出关节质心点的运动速度和方向，利用Kalman滤波器预测出关节下一时刻的运动位置，并记录历史运动轨迹以及运动频率。在上述工作的基础上，人员或机器学习模型可以基于实时和历史信息判断参评者运动时的姿态，防止参评者在无监督的状态下出现动作变形，为进一步实现运动质量的稳定监测和可靠评估打下了良好的预研基础。

Claims (5)

1.一种人体运动质量视觉分析与评价方法，其特征在于，包括彩色标签、单目摄像头或具备照相功能的可移动终端设备、嵌入式视觉处理计算机和棋盘格，其中单目摄像头经USB接口与嵌入式视觉处理计算机连接，嵌入式视觉处理计算机通过计算视频帧得出人体被观察关节部位的位置、运动速度，记录其历史运动轨迹及运动频率，最后发送给人员或机器学习模型进行分析评价；
具体步骤如下：
1）统计参评者身高、体重、性别、年龄、民族、参评关节名称，按照其参评项目的不同建立对应的样本数据库；
2）采用标定方法获得摄像头的内外参数矩阵并储存在图像处理单元的存储器中，通过摄像头获取参评者实施运动时的视频图像信息，经内外参数矩阵进行校正，获得无畸变的连续视频帧；
3）在参评者各参评关节部位粘贴不同颜色的标签，通过颜色空间转换，分割出不同关节部位的灰度区域图像，并设置感兴趣区域Region of interesting，简称ROI；
4）计算各关节标签的ROI的质心坐标；
5）利用LK光流法计算分析不同ROI质心的运动速度及其方向；
6）使用Kalman滤波器对下一时刻关节质心运动速度以及质心位置进行预测，记录其历史运动轨迹及运动频率，供人员或机器学习模型进行分析评价。
2.根据权利要求1所述人体运动质量视觉分析与评价方法，其特征在于，所述步骤4）利用Hu矩计算图像中各关节标签的ROI的质心位置
Figure 521315DEST_PATH_IMAGE001
，其中
Figure 822983DEST_PATH_IMAGE002
，
Figure 183558DEST_PATH_IMAGE003
，式中
Figure 39518DEST_PATH_IMAGE004
的计算方法为：
Figure 409320DEST_PATH_IMAGE005
其中
Figure 893391DEST_PATH_IMAGE006
和
Figure 690445DEST_PATH_IMAGE007
分别表示ROI所占的行数和列数，
Figure 299281DEST_PATH_IMAGE008
表示图像中对应位置的灰度值。
3.根据权利要求1所述人体运动质量视觉分析与评价方法，其特征在于，在所述步骤5）中，假设质心
Figure 941615DEST_PATH_IMAGE001
周围四邻域内像素点沿X方向的速度u以及沿Y方向的速度v均相等，构建LK光流法等式：
Figure 952296DEST_PATH_IMAGE009
式中，
Figure 920252DEST_PATH_IMAGE010
和
Figure 609860DEST_PATH_IMAGE011
分别表示延X方向的梯度以及Y方向上的梯度，
Figure 321464DEST_PATH_IMAGE012
表示前后两帧该质心点位置的灰度差异，构建出一个包含两个未知数及四个等式的超定方程，利用最小二乘法即可求解出
Figure 655493DEST_PATH_IMAGE013
及
Figure 794351DEST_PATH_IMAGE014
。
4.根据权利要求1所述人体运动质量视觉分析与评价方法，其特征在于，利用步骤5）光流法所得各ROI质心的位置以及运动速度，构建基于Kalman滤波器的运动状态向量：
Figure 971254DEST_PATH_IMAGE015
其中，
Figure 220970DEST_PATH_IMAGE016
为第i个ROI的质心位置，
Figure 206243DEST_PATH_IMAGE017
为该ROI质心沿X方向和Y方向的运动速度，在此基础上，使用Kalman预测方程对该质心下一时刻的运动状态进行预测，最后，对各参评关节质心的历史运动轨迹以及运动频率进行记录，供人员或机器学习模型进行实时或后续的评价。
5.根据权利要求1所述人体运动质量视觉分析与评价方法，其特征在于，步骤6）中，可预先选择部分特定运动姿势，针对样本数据库中不同类型的参评者，计算其正确姿势下参评关节的两两相对距离，对各距离进行归一化操作，以该数据为训练正样本；同理，以其错误姿势下的计算值为负样本，训练机器学习模型，在建立该模型的基础上，可针对特定运动姿势的执行过程进行分析评价。
CN201710076916.9A 2017-02-13 2017-02-13 人体运动质量视觉分析与评价系统及其方法 Active CN106846372B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710076916.9A CN106846372B (zh) 2017-02-13 2017-02-13 人体运动质量视觉分析与评价系统及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710076916.9A CN106846372B (zh) 2017-02-13 2017-02-13 人体运动质量视觉分析与评价系统及其方法

Publications (2)

Publication Number Publication Date
CN106846372A CN106846372A (zh) 2017-06-13
CN106846372B true CN106846372B (zh) 2020-04-03

Family

ID=59129138

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710076916.9A Active CN106846372B (zh) 2017-02-13 2017-02-13 人体运动质量视觉分析与评价系统及其方法

Country Status (1)

Country Link
CN (1) CN106846372B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109697387B (zh) * 2017-10-23 2021-07-30 北京京东尚科信息技术有限公司 运动方向预测方法、装置、电子设备及存储介质
CN107818685A (zh) * 2017-10-25 2018-03-20 司法部司法鉴定科学技术研究所 一种基于车载视频获取车辆运动状态的方法
CN108198601B (zh) * 2017-12-27 2020-12-22 Oppo广东移动通信有限公司 运动评分方法、装置、设备及存储介质
CN109409273A (zh) * 2018-10-17 2019-03-01 中联云动力(北京)科技有限公司 一种基于机器视觉的运动状态检测评估方法及系统
CN111539507B (zh) * 2020-03-20 2021-08-31 北京航空航天大学 一种基于粒子群优化算法的康复运动速度计算模型参数辨识方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080114197A (ko) * 2007-06-27 2008-12-31 한양대학교 산학협력단 착용형 다관절 로봇암 및 착용형 다관절의 로봇암의 위치 이동 방법
CN103198492A (zh) * 2013-03-28 2013-07-10 沈阳航空航天大学 一种人体运动捕获方法
CN103323209A (zh) * 2013-07-02 2013-09-25 清华大学 基于双目立体视觉的结构模态参数识别系统
CN103679712A (zh) * 2013-11-29 2014-03-26 马婷 人体姿态估计方法及系统
CN104298964A (zh) * 2014-09-15 2015-01-21 燕山大学 一种人体行为动作快速识别方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080114197A (ko) * 2007-06-27 2008-12-31 한양대학교 산학협력단 착용형 다관절 로봇암 및 착용형 다관절의 로봇암의 위치 이동 방법
CN103198492A (zh) * 2013-03-28 2013-07-10 沈阳航空航天大学 一种人体运动捕获方法
CN103323209A (zh) * 2013-07-02 2013-09-25 清华大学 基于双目立体视觉的结构模态参数识别系统
CN103679712A (zh) * 2013-11-29 2014-03-26 马婷 人体姿态估计方法及系统
CN104298964A (zh) * 2014-09-15 2015-01-21 燕山大学 一种人体行为动作快速识别方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于运动视频的情绪提取方法研究;刘鼎家;《万方学术期刊数据库》;20151203;第24-26页 *

Also Published As

Publication number Publication date
CN106846372A (zh) 2017-06-13

Similar Documents

Publication Publication Date Title
CN109934111B (zh) 一种基于关键点的健身姿态估计方法及系统
CN111144217B (zh) 一种基于人体三维关节点检测的动作评价方法
CN106846372B (zh) 人体运动质量视觉分析与评价系统及其方法
CN110321754B (zh) 一种基于计算机视觉的人体运动姿态纠正方法及系统
US11521373B1 (en) System for estimating a three dimensional pose of one or more persons in a scene
US11348279B1 (en) System for estimating a three dimensional pose of one or more persons in a scene
CN111881887A (zh) 基于多摄像头的运动姿态监测和指导方法及装置
Chen et al. Robust activity recognition for aging society
CN110738154A (zh) 一种基于人体姿态估计的行人摔倒检测方法
CN113850865A (zh) 一种基于双目视觉的人体姿态定位方法、系统和存储介质
US9990857B2 (en) Method and system for visual pedometry
US11790652B2 (en) Detection of contacts among event participants
CN114120168A (zh) 一种目标跑动距离测算方法、系统、设备及存储介质
Labuguen et al. Performance Evaluation of Markerless 3D Skeleton Pose Estimates with Pop Dance Motion Sequence
CN115346272A (zh) 基于深度图像序列的实时摔倒检测方法
CN113221815A (zh) 一种基于骨骼关键点自动检测技术的步态鉴定方法
Napolean et al. Heart rate estimation in intense exercise videos
Scott et al. From kinematics to dynamics: Estimating center of pressure and base of support from video frames of human motion
Scott et al. 4d model-based spatiotemporal alignment of scripted taiji quan sequences
Abd Shattar et al. Experimental setup for markerless motion capture and landmarks detection using OpenPose during dynamic gait index measurement
El-Sallam et al. A low cost 3D markerless system for the reconstruction of athletic techniques
CN114241602A (zh) 一种基于深度学习的多目转动惯量测量和计算方法
Albuquerque et al. Remote Pathological Gait Classification System
Lau et al. Cost-benefit analysis reference framework for human motion capture and analysis systems
CN114359328B (zh) 一种利用单深度相机和人体约束的运动参数测量方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20211026

Address after: 210000 No. 9, Bofu Road, Zhongshan Science Park, Liuhe District, Nanjing, Jiangsu Province

Patentee after: JIANGSU ZONP TECHNOLOGY Co.,Ltd.

Address before: 211505 room 404, building 3, No.9 Bofu Road, Zhongshan Science Park, Liuhe District, Nanjing City, Jiangsu Province

Patentee before: NANJING SHENGDU INTELLIGENT TECHNOLOGY Co.,Ltd.