CN108597578A - 一种基于二维骨架序列的人体运动评估方法 - Google Patents

一种基于二维骨架序列的人体运动评估方法 Download PDF

Info

Publication number
CN108597578A
CN108597578A CN201810394685.0A CN201810394685A CN108597578A CN 108597578 A CN108597578 A CN 108597578A CN 201810394685 A CN201810394685 A CN 201810394685A CN 108597578 A CN108597578 A CN 108597578A
Authority
CN
China
Prior art keywords
frame sequence
point
skeleton
sequence
human
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810394685.0A
Other languages
English (en)
Other versions
CN108597578B (zh
Inventor
钟震宇
雷欢
马敬奇
吴亮生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Intelligent Manufacturing of Guangdong Academy of Sciences
Original Assignee
Guangdong Institute of Intelligent Manufacturing
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Institute of Intelligent Manufacturing filed Critical Guangdong Institute of Intelligent Manufacturing
Priority to CN201810394685.0A priority Critical patent/CN108597578B/zh
Publication of CN108597578A publication Critical patent/CN108597578A/zh
Application granted granted Critical
Publication of CN108597578B publication Critical patent/CN108597578B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
    • A63B2024/0012—Comparing movements or motion sequences with a registered reference
    • A63B2024/0015—Comparing movements or motion sequences with computerised simulations of movements or motion sequences, e.g. for generating an ideal template as reference to be achieved by the user

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Epidemiology (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Image Analysis (AREA)

Abstract

一种基于二维骨架序列的人体运动评估方法，通过摄像头获取包含人体的RGB图像，提取二维人体骨架，人体骨架中具有若干关节点；对人体骨架的初始位姿进行校正；提取关节点坐标、关键部位角度、关节点速度及其波动误差四类特征，形成特征矩阵，并构建对应帧差异度计算模型；建立测试骨架序列与标准骨架序列的矩阵坐标系，对两段序列的前后段进行搜索，得到匹配路径起末点，以之为参考点进行全局双向并行搜索，直至完成测试骨架序列和标准骨架序列的最优路径匹配，得到两段序列的累积差异值，以实现人体运动评估。本发明采用低成本RGB摄像头对人体运动进行准确评估与趋势分析，在体育、武术、舞蹈等动作训练与指导方面的具有较好的应用价值。

Description

一种基于二维骨架序列的人体运动评估方法
技术领域
本发明涉及一种基于二维骨架序列的人体运动评估方法。
背景技术
随着人类社会的进步和人们生活的发展需求，智能视觉识别、自然人机交互、虚拟增强现实等人工智能技术在人们的生活中逐步广泛应用，其中通过视觉信息计算对图像序列中关节式物体(如人体)的姿态进行检测、匹配以及识别，是智能视觉和人机交互领域中的重要研究内容，可广泛应用于医疗康复训练、体育训练动作分析及评估、虚拟现实人机交互等多个领域。
传统的关节式物体的运动分析方法包括在人体上佩戴磁跟踪器、光学标签等接触式方式或者利用深度摄像头进行检测方式。因非接触式的视觉运动捕获方法相比其他方法更自然、更方便、成本更低，已成为当前的主流研究与应用方式。此外，微软Kinect、因特尔Realsense等深度摄像头虽然可采集彩色和深度图像，在人体骨架模型提取方面具有优势，但由于该类摄像头存在成本高、分辨率低等问题，且不适用现有监控设备，无法满足普通用户在运动评估、人机交互、虚拟现实等方面日益增长的需求，不利于推广应用。随着深度学习技术的发展，基于RGB图像的人体骨架提取方法被提出并已成为当前的研究热点，该类方法可在普通低成本摄像头或现有监控设备条件下利用处理单元提取二维人体骨架模型，且在计算机硬件技术的飞速发展下处理单元性能逐渐提升、成本逐步降低，因此，研究基于RGB图像的运动分析与评估方法具有重要的现实意义，一方面可有效缓解医疗康复、体育运动、舞蹈训练等辅助设备资源不足的现状，另一方面将患者或运动者置身于虚拟场景之中，增加功能锻炼的趣味性、规范性和依从性，使得用户可按照合理的方式坚持长期锻炼，增强训练效果。
发明内容
本发明要解决的技术问题是提供一种基于二维骨架序列的人体运动评估方法，在采用低成本RGB摄像头条件下可对人体运动进行准确评估与趋势分析，在体育、武术、舞蹈等动作训练与指导方面的具有较好的应用价值。
为了解决上述技术问题，本发明采取以下技术方案：
一种基于二维骨架序列的人体运动评估方法，包括以下步骤：
通过摄像头获取包含人体的RGB图像，提取该RGB图像中的二维人体骨架，人体骨架中具有若干关节点；
对人体骨架的初始位姿进行校正；
提取人体骨架关节点坐标、关键部位角度、关节点速度及其波动误差四类特征，并形成特征矩阵，关节点包括左眼、右眼、左耳、右耳、嘴巴、左肩、右肩、胸颈处、左肘、右肘、左手、右手、左髋、右髋、左膝、右膝、左脚和右脚，关键部位角度是指相邻的两个关节点之间形成的角度；
建立测试骨架序列与标准骨架序列的矩阵坐标系，根据特征矩阵及对应帧差异度计算模型，对测试骨架序列与标准骨架序列的前后段进行搜索，得到匹配路径起末端点，并分别以起末点为参考点进行双向并行搜索，直至完成测试骨架序列和标准骨架序列的最优路径匹配，得到测试骨架序列与标准骨架序列的累积差异值。
以人体骨架重心位置为原点建立坐标系，对人体骨架中各个关节点的坐标进行归一化处理，设人体骨架重心坐标为即 则归一化前后关节点坐标转换公式：
所述进行初始位姿校正时，获取人体骨架的最小外界矩形，并换算出与标准骨架序列的最小外接矩形的比例因子，同时对运动者骨架进行对称性分析，使得运动者以最佳的位置和方向适配标准骨架序列；
以人体骨架重心位置为坐标系原点，设第i个关节点的坐标为(xi,yi)，所有人体骨架关节点集合表示为R(x,y)，通过对人体张开双臂正向面对摄像头所处姿态的几何分析，可得骨架最小外接矩形计算式为：
left＝x8
right＝x12
则最小外接矩形的宽W、高H分别为：
H＝bottom-top
W＝right-left
设γx为标准骨架与人体初始状态的骨架在x方向上的比例，γy为标准骨架与人体初始状态的骨架在y方向上的比例，计算式如下：
其中W0、H0分别为标准骨架序列宽度和高度；
以坐标系y轴为对称轴对人体的人体初始状态的骨架序列进行对称性分析，定义对称度为C，计算公式如下：
若|C-C0|越小，则代表人体初始状态的骨架序列与标准骨架序列越匹配，其中C0为标准骨架序列对称度。
提取人体运动骨架序列特征，包括人体骨架关节点坐标、关键部位角度、关节点速度及其波动误差四类特征；
关节点坐标：人体在某一时刻的身体各关节位置坐标，设定第m帧第i个关节点的坐标为通过比例校正后的坐标为
关键部位角度：第m帧的第i关节点对应的第j个角度表示为计算式为：
其中p、q关节点为与j关节点成角度的相邻关节点，(γxxp,γyyp)、(γxxq,γyyq)分别p、q关节点的坐标，其中将简写为建立约束条件：
关节点速度：第i个关节点第m帧的速度为：
其中为第i个关节点第m帧的位置，Δt为帧时间间隔，此处设为单位时间即1，N取5，考虑越近邻的帧影响越大，设wk值在保持总和为1情况下随近邻帧逐步变化，上式可简化为：
关节点速度波动误差：引入波动误差进行运动平稳性评估，计算公式为：
所述测试骨架序列与标准骨架序列的对应帧匹配计算过程具体如下：
采用差异度来表征当前测试骨架序列和标准骨架序列的匹配程度，即差异度越小，则越匹配，差异度越大则越不匹配，差异度大于0；
根据关节点坐标关键部位角度关节点速度及速度波动误差Erri m四个参量为特征量来计算对应帧差异程度，并建立运动者运动骨架序列与标准骨架序列的差异度计算模型，其公式如下：
其中Fm、分别为当前运动骨架序列第m帧和标准骨架序列第n帧的差异度特征矩阵，λ为影响因子的权重行向量，E为各关节点的权重列向量，此处将λ和E分别取为等权重的4阶单位行向量和18阶单位列向量。
根据差异度计算模型对测试骨架序列与标准骨架序列对应帧进行计算，并在测试骨架序列和标准骨架序列构成的序列矩阵坐标系中寻找一条时间校准最优匹配路径，即两运动序列累积差异度最小的路径；
设S和T分别是长度为N的标准骨架序列和长度为M的测试骨架序列，即
则Sm和Tn间的差异度为d(Sm,Tn)，简写为d(m,n)，全局匹配路径的差异度累积和为
将差异度计算模型公式代入得
其中，差异度模型公式为
其中K为匹配对应帧数，K取值范围为[1,M+N]；
设置标准骨架序列和测试骨架序列对齐的全局路径为G＝g1,g2,...,gk,...,gK，需要搜索最佳起末匹配点即g1和gK，设起点搜索约束区间为m∈[1,a],n∈[1,b]，末点搜索约束区间为m∈[c,M],n∈[d,N]，起点为(A,B)，末点为(C,D)，则起末点搜索公式如下：
对于末匹配点gk,k∈[2,K-1]，设其局部路径节点为(m,n)，差异度为dk(m,n)，若以起点(A,B)开始，则建立路径向前搜索递推公式：
其中m∈(A,C-1),n∈(B,D-1),e∈[m,m+1],f∈[n,n+1],k∈[1,K-2]；
若以末点(C,D)开始，则建立路径向后搜索递推公式：
其中m∈(A+1,C),n∈(B+1,D),e∈[m-1,m],f∈[n-1,n],k∈[3,K]；
设向前和向后搜索路径的当前搜索节点坐标分别为gf(mf,nf)和gb(mb,nb)，在向前和向后的双向搜索过程中，若mb-mf≤1，则表明向前和向后搜索路径相遇，此时计算向前和向后搜索路径的当前搜索节点的距离dist(gf,gb)，定义两搜索路径对接条件Ω为：dist(gf,gb)≤1或nf-nb≤0，若不满足条件Ω，即表明向前和向后搜索路径无法对接或形成的全局路径不是最优路径，则向前和向后搜索路径继续搜索，且对于向前搜索路径，实时计算当前搜索点与向后搜索路径的最小距离，记最小距离点为gb,min；对于向后搜索路径，需实时计算当前搜索点与向前搜索路径的最小距离，标记最小距离点为gf,min)；在此过程中若任一搜索路径满足条件Ω，则停止搜索，并以将满足条件Ω的搜索路径与另一搜索路径对接，对接点为gb,min或gf,min，得到最优搜索路径。
在搜索时还建立搜索约束条件，在对每个局部路径点搜索完成后，对该搜索点进行约束判断，以避免搜索的路径不合理情况，以起点(A,B)和末点(C,D)为端点构建直线L，求解路径搜索点P到直线L的距离|PQ|，PQ垂直L于Q，则|PQ|≤R，其中R为最大波动幅度，该R为一个预设值。
本发明可在普通低成本摄像头或现有监控设备条件下利用处理单元提取的二维人体骨架模型进行运动分析与评估，解决传统深度摄像头方式存在的成本高、分辨率低、通用性差及推广应用不便等问题，且本发明通过提取关节点坐标、关键部位角度、关节点速度及速度波动误差四类代表性特征及差异度计算模型建立，可准确对测试运动序列和标准运动序列进行评估，提出并行搜索策略可加速运动匹配过程，提高算法的实时性，可广泛应用于医疗康复训练、体育训练动作分析及评估、虚拟现实人机交互等多个领域。
在具体应用时，可有效缓解医疗康复、体育运动、舞蹈训练等辅助设备资源不足的现状；将患者或运动者置身于虚拟场景之中，增加功能锻炼的趣味性、规范性和依从性，使得用户可按照合理的方式坚持长期锻炼，增强训练效果。
附图说明
附图1为本发明流程示意图；
附图2为本发明人体骨架示意图；
附图3为本发明中人体骨架形成角度的状态示意图；
附图4为本发明中人体的运动规整示意图；
附图5为本发明的计算流程示意图。
具体实施方式
为能进一步了解本发明的特征、技术手段以及所达到的具体目的、功能，下面结合附图与具体实施方式对本发明作进一步详细描述。
如附图1-5所示，本发明揭示了一种基于二维骨架序列的人体运动评估方法，包括以下步骤：
通过摄像头获取包含人体的RGB图像，采用深度卷积神经网络模型方法提取该RGB图像中的二维人体骨架，人体骨架中具有若干关节点。关节点包括左眼、右眼、左耳、右耳、嘴巴、左肩、右肩、胸颈处、左肘、右肘、左手、右手、左髋、右髋、左膝、右膝、左脚和右脚，在本实施例中，设定有18个关节点。
对人体骨架的初始位姿进行校正。
提取人体骨架关节点坐标、关键部位角度、关节点速度及其波动误差四类特征，并形成特征矩阵，关键部位角度是指相邻的两个关节之间形成的角度。本实施例中取胸颈处、左肩、右肩、左肘、右肘、左髋、右髋、左膝、右膝关节与邻近关节所成9个角度值为关键部位角度。
建立测试骨架序列与标准骨架序列的矩阵坐标系，根据特征矩阵及对应帧差异度计算模型，对测试骨架序列与标准骨架序列的前后段进行搜索，得到匹配路径起末端点，并分别以起末点为参考点进行双向并行搜索，直至完成测试骨架序列和标准骨架序列的最优路径匹配，得到测试骨架序列与标准骨架序列的累积差异值。
每幅骨架图像用18个节点在摄像机坐标系中的坐标来表示。由于从图像提取的骨架数据为图像坐标系下的像素坐标，为了消除人所处图像位置对运动评估结果的影响，同时考虑到人在运动时重心是整个身体中位置变化最平稳的点，本实施例建立以人体骨架重心位置为原点的坐标系对骨架数据进行坐标归一化处理。人体张开双臂正向面对摄像头，以胸颈处、右髋和左髋三个关节点构成三角形的重心位置近似为人体骨架重心。设原始图像坐标系下人体骨架第i个关节点的坐标为原始图像坐标系下的重心坐标为归一化后人体骨架第i个关节点的坐标为(xi,yi)，为简化计算，以胸颈处、右髋和左髋三个节点构成三角形的重心位置近似为骨架重心坐标为即则归一化前后关节点坐标转换公式：
所述进行初始位姿校正时，获取人体骨架的最小外界矩形，并换算出与标准骨架序列的最小外接矩形的比例因子，同时对运动者骨架进行对称性分析，使得运动者以最佳的位置和方向适配标准骨架序列。
以人体骨架重心位置为坐标系原点，设第i个关节点的坐标为(xi,yi)，所有人体骨架关节点集合表示为R(x,y)，通过对人体张开双臂正向面对摄像头所处姿态的几何分析，可得骨架最小外接矩形计算式为：
left＝x8
right＝x12
则最小外接矩形的宽W、高H分别为：
H＝bottom-top
W＝right-left
设γx为标准骨架与人体初始状态的骨架在x方向上的比例，γy为标准骨架与人体初始状态的骨架在y方向上的比例，计算式如下：
其中W0、H0分别为标准骨架序列宽度和高度；
以坐标系y轴为对称轴对人体的人体初始状态的骨架序列进行对称性分析，定义对称度为C，计算公式如下：
若|C-C0|越小，则代表人体初始状态的骨架序列与标准骨架序列越匹配，其中C0为标准骨架序列对称度。
提取人体运动骨架序列特征，包括人体骨架关节点坐标、关键部位角度、关节点速度及其波动误差四类特征；
人体在某一时刻的身体各关节位置坐标，设定第m帧第i个关节点的坐标为通过比例校正后的坐标为第m帧的第i关节点对应的第j个角度表示为考虑到人体关节之间的约束性，取9个角度作为关键部位角度，计算式为：
其中p、q关节点为与j关节点成角度的相邻关节点，(γxxp,γyyp)、(γxxq,γyyq)分别p、q关节点的坐标，其中将简写为建立约束条件： 比例校正是指采用校正比例因子γx、γy对坐标进行处理，得到
考虑相邻连续多帧的影响进行当前帧速度估计，计算每个关节点相对于人体骨架原点的相对运动速率，考虑相邻N帧之间的关系，第i个关节点第m帧的速度为：
其中为第i个关节点第m帧的位置，Δt为帧时间间隔，此处设为单位时间即1，N取5，考虑越近邻的帧影响越大，设wk值在保持总和为1情况下随近邻帧逐步变化，上式可简化为：
另外，引入波动误差进行运动平稳性评估，计算公式为：
所述测试骨架序列与标准骨架序列的对应帧匹配计算过程具体如下：
采用差异度来表征当前测试骨架序列和标准骨架序列的匹配程度，即差异度越小，则越匹配，差异度越大则越不匹配，差异度大于0；
根据关节点坐标关键部位角度关节点速度及速度波动误差Erri m四个参量为特征量来计算对应帧差异程度，并建立运动者运动骨架序列与标准骨架序列的差异度计算模型，其公式如下：
其中Fm、分别为当前运动骨架序列第m帧和标准骨架序列第n帧的差异度特征矩阵，λ为影响因子的权重行向量，E为各关节点的权重列向量，此处将λ和E分别取为等权重的4阶单位行向量和18阶单位列向量。
为了降低计算复杂度，并保证匹配精度，对运动骨架序列进行隔帧采样。在运动评估过程中，对运动者采集的测试骨架序列的起始和结束部分与标准骨架序列很难保持一致，为了避免测试骨架序列与标准骨架序列前后不对应的情况，对两序列的前后段进行起末端点搜索，同时建立从起末点分别出发的双向搜索规则，提升了计算效率。
所述根据差异度计算模型对测试骨架序列与标准骨架序列对应帧进行计算，并在测试骨架序列和标准骨架序列构成的序列矩阵坐标系中寻找一条时间校准最优匹配路径，即两运动序列累积差异度最小的路径。
设S和T分别是长度为N的标准骨架序列和长度为M的测试骨架序列，即
则Sm和Tn间的差异度为d(Sm,Tn)，简写为d(m,n)，全局匹配路径的差异度累积和为
将差异度计算模型公式代入得到
差异度模型公式为
其中K为匹配对应帧数，K取值范围为[1,M+N]；
设置标准骨架序列和测试骨架序列对齐的全局路径为G＝g1,g2,...,gk,...,gK，需要搜索最佳起末匹配点即g1和gK，设起点搜索约束区间为m∈[1,a],n∈[1,b]，末点搜索约束区间为m∈[c,M],n∈[d,N]，起点为(A,B)，末点为(C,D)，则起末点搜索公式如下：
对于末匹配点gk,k∈[2,K-1]，设其局部路径节点为(m,n)，差异度为dk(m,n)，若以起点(A,B)开始，则建立路径向前搜索递推公式：
其中m∈(A,C-1),n∈(B,D-1),e∈[m,m+1],f∈[n,n+1],k∈[1,K-2]；
若以末点(C,D)开始，则建立路径向后搜索递推公式：
其中m∈(A+1,C),n∈(B+1,D),e∈[m-1,m],f∈[n-1,n],k∈[3,K]；
设向前和向后搜索路径的当前搜索节点坐标分别为gf(mf,nf)和gb(mb,nb)，在向前和向后的双向搜索过程中，若mb-mf≤1，则表明向前和向后搜索路径相遇，此时计算向前和向后搜索路径的当前搜索节点的距离dist(gf,gb)，定义两搜索路径对接条件Ω为：dist(gf,gb)≤1或nf-nb≤0，若不满足条件Ω，即表明向前和向后搜索路径无法对接或形成的全局路径不是最优路径，则向前和向后搜索路径继续搜索，且对于向前搜索路径，实时计算当前搜索点与向后搜索路径的最小距离，记最小距离点为gb,min；对于向后搜索路径，需实时计算当前搜索点与向前搜索路径的最小距离，标记最小距离点为gf,min)；在此过程中若任一搜索路径满足条件Ω，则停止搜索，并以将满足条件Ω的搜索路径与另一搜索路径对接，对接点为gb,min或gf,min，得到最优搜索路径。
搜索时还建立搜索约束条件，在对每个局部路径点搜索完成后，对该搜索点进行约束判断，以避免搜索的路径不合理情况，以起点(A,B)和末点(C,D)为端点构建直线L，求解路径搜索点P到直线L的距离|PQ|，PQ垂直L于Q，则|PQ|≤R，其中R为最大波动幅度，该R为一个预设值。
需要说明的是，以上仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，但是凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于二维骨架序列的人体运动评估方法，包括以下步骤：
通过摄像头获取包含人体的RGB图像，提取该RGB图像中的二维人体骨架，人体骨架中具有若干关节点；
对人体骨架的初始位姿进行校正；
提取人体骨架关节点坐标、关键部位角度、关节点速度及其波动误差四类特征，并形成特征矩阵，关节点包括左眼、右眼、左耳、右耳、嘴巴、左肩、右肩、胸颈处、左肘、右肘、左手、右手、左髋、右髋、左膝、右膝、左脚和右脚，关键部位角度是指相邻的两个关节点之间形成的角度；
建立测试骨架序列与标准骨架序列的矩阵坐标系，根据特征矩阵及对应帧差异度计算模型，对测试骨架序列与标准骨架序列的前后段进行搜索，得到匹配路径起末端点，并分别以起末点为参考点进行双向并行搜索，直至完成测试骨架序列和标准骨架序列的最优路径匹配，得到测试骨架序列与标准骨架序列的累积差异值。
2.根据权利要求1所述的基于二维骨架序列的人体运动评估方法，其特征在于，以人体骨架重心位置为原点建立坐标系，对人体骨架中各个关节点的坐标进行归一化处理，设人体骨架重心坐标为即则归一化前后关节点坐标转换公式：
3.根据权利要求2所述的基于二维骨架序列的人体运动评估方法，其特征在于，所述进行初始位姿校正时，获取人体骨架的最小外界矩形，并换算出与标准骨架序列的最小外接矩形的比例因子，同时对运动者骨架进行对称性分析，使得运动者以最佳的位置和方向适配标准骨架序列；
以人体骨架重心位置为坐标系原点，设第i个关节点的坐标为(xi,yi)，所有人体骨架关节点集合表示为R(x,y)，通过对人体张开双臂正向面对摄像头所处姿态的几何分析，可得骨架最小外接矩形计算式为：
left＝x8
right＝x12
则最小外接矩形的宽W、高H分别为：
H＝bottom-top
W＝right-left
设γx为标准骨架与人体初始状态的骨架在x方向上的比例，γy为标准骨架与人体初始状态的骨架在y方向上的比例，计算式如下：
其中W0、H0分别为标准骨架序列宽度和高度；
以坐标系y轴为对称轴对人体的人体初始状态的骨架序列进行对称性分析，定义对称度为C，计算公式如下：
若|C-C0|越小，则代表人体初始状态的骨架序列与标准骨架序列越匹配，其中C0为标准骨架序列对称度。
4.根据权利要求3所述的基于二维骨架序列的人体运动评估方法，其特征在于，提取人体运动骨架序列特征，包括人体骨架关节点坐标、关键部位角度、关节点速度及其波动误差四类特征；
关节点坐标：人体在某一时刻的身体各关节位置坐标，设定第m帧第i个关节点的坐标为通过比例校正后的坐标为
关键部位角度：第m帧的第i关节点对应的第j个角度表示为计算式为：
其中p、q关节点为与j关节点成角度的相邻关节点，(γxxp,γyyp)、(γxxq,γyyq)分别p、q关节点的坐标，其中将简写为建立约束条件：
关节点速度：第i个关节点第m帧的速度为：
其中为第i个关节点第m帧的位置，Δt为帧时间间隔，此处设为单位时间即1，N取5，考虑越近邻的帧影响越大，设wk值在保持总和为1情况下随近邻帧逐步变化，上式可简化为：
关节点速度波动误差：引入波动误差进行运动平稳性评估，计算公式为：
5.根据权利要求4所述的基于二维骨架序列的人体运动评估方法，其特征在于，所述测试骨架序列与标准骨架序列的对应帧匹配计算过程具体如下：
采用差异度来表征当前测试骨架序列和标准骨架序列的匹配程度，即差异度越小，则越匹配，差异度越大则越不匹配，差异度大于0；
根据关节点坐标关键部位角度关节点速度及速度波动误差四个参量为特征量来计算对应帧差异程度，并建立运动者运动骨架序列与标准骨架序列的差异度计算模型，其公式如下：
其中Fm、分别为当前运动骨架序列第m帧和标准骨架序列第n帧的差异度特征矩阵，λ为影响因子的权重行向量，E为各关节点的权重列向量，此处将λ和E分别取为等权重的4阶单位行向量和18阶单位列向量。
6.根据权利要求5所述的基于二维骨架序列的人体运动评估方法，其特征在于，根据差异度计算模型对测试骨架序列与标准骨架序列对应帧进行计算，并在测试骨架序列和标准骨架序列构成的序列矩阵坐标系中寻找一条时间校准最优匹配路径，即两运动序列累积差异度最小的路径；
设S和T分别是长度为N的标准骨架序列和长度为M的测试骨架序列，即
则Sm和Tn间的差异度为d(Sm,Tn)，简写为d(m,n)，全局匹配路径的差异度累积和为
将差异度计算模型公式代入得
其中，差异度模型公式为
其中K为匹配对应帧数，K取值范围为[1,M+N]；
设置标准骨架序列和测试骨架序列对齐的全局路径为G＝g1,g2,...,gk,...,gK，需要搜索最佳起末匹配点即g1和gK，设起点搜索约束区间为m∈[1,a],n∈[1,b]，末点搜索约束区间为m∈[c,M],n∈[d,N]，起点为(A,B)，末点为(C,D)，则起末点搜索公式如下：
对于末匹配点gk,k∈[2,K-1]，设其局部路径节点为(m,n)，差异度为dk(m,n)，若以起点(A,B)开始，则建立路径向前搜索递推公式：
其中m∈(A,C-1),n∈(B,D-1),e∈[m,m+1],f∈[n,n+1],k∈[1,K-2]；
若以末点(C,D)开始，则建立路径向后搜索递推公式：
其中m∈(A+1,C),n∈(B+1,D),e∈[m-1,m],f∈[n-1,n],k∈[3,K]；
设向前和向后搜索路径的当前搜索节点坐标分别为gf(mf,nf)和gb(mb,nb)，在向前和向后的双向搜索过程中，若mb-mf≤1，则表明向前和向后搜索路径相遇，此时计算向前和向后搜索路径的当前搜索节点的距离dist(gf,gb)，定义两搜索路径对接条件Ω为：dist(gf,gb)≤1或nf-nb≤0，若不满足条件Ω，即表明向前和向后搜索路径无法对接或形成的全局路径不是最优路径，则向前和向后搜索路径继续搜索，且对于向前搜索路径，实时计算当前搜索点与向后搜索路径的最小距离，记最小距离点为gb,min；对于向后搜索路径，需实时计算当前搜索点与向前搜索路径的最小距离，标记最小距离点为gf,min)；在此过程中若任一搜索路径满足条件Ω，则停止搜索，并以将满足条件Ω的搜索路径与另一搜索路径对接，对接点为gb,min或gf,min，得到最优搜索路径。
7.根据权利要求5所述的基于二维骨架序列的人体运动评估方法，其特征在于，在搜索时还建立搜索约束条件，在对每个局部路径点搜索完成后，对该搜索点进行约束判断，以避免搜索的路径不合理情况，以起点(A,B)和末点(C,D)为端点构建直线L，求解路径搜索点P到直线L的距离|PQ|，PQ垂直L于Q，则|PQ|≤R，其中R为最大波动幅度，该R为一个预设值。
CN201810394685.0A 2018-04-27 2018-04-27 一种基于二维骨架序列的人体运动评估方法 Active CN108597578B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810394685.0A CN108597578B (zh) 2018-04-27 2018-04-27 一种基于二维骨架序列的人体运动评估方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810394685.0A CN108597578B (zh) 2018-04-27 2018-04-27 一种基于二维骨架序列的人体运动评估方法

Publications (2)

Publication Number Publication Date
CN108597578A true CN108597578A (zh) 2018-09-28
CN108597578B CN108597578B (zh) 2021-11-05

Family

ID=63610904

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810394685.0A Active CN108597578B (zh) 2018-04-27 2018-04-27 一种基于二维骨架序列的人体运动评估方法

Country Status (1)

Country Link
CN (1) CN108597578B (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109508688A (zh) * 2018-11-26 2019-03-22 平安科技（深圳）有限公司 基于骨架的行为检测方法、终端设备及计算机存储介质
CN109635925A (zh) * 2018-11-30 2019-04-16 北京首钢自动化信息技术有限公司 一种运动员辅助训练数据获取方法、装置及电子设备
CN110544301A (zh) * 2019-09-06 2019-12-06 广东工业大学 一种三维人体动作重建系统、方法和动作训练系统
CN110718304A (zh) * 2019-10-10 2020-01-21 电子科技大学 一种艾滋病患者用药依从性监测方法
CN110728181A (zh) * 2019-09-04 2020-01-24 北京奇艺世纪科技有限公司 行为评价方法、装置、计算机设备和存储介质
CN110765942A (zh) * 2019-10-23 2020-02-07 睿魔智能科技（深圳）有限公司 图像数据的标注方法、装置、设备及存储介质
CN111563443A (zh) * 2020-04-29 2020-08-21 中国科学院重庆绿色智能技术研究院 一种连续运动动作准确度评价方法
CN111883229A (zh) * 2020-07-31 2020-11-03 焦点科技股份有限公司 一种基于视觉ai的智能运动指导方法及系统
CN112435731A (zh) * 2020-12-16 2021-03-02 成都翡铭科技有限公司 一种判断实时姿势是否满足预设规则的方法
CN112686208A (zh) * 2021-01-22 2021-04-20 上海喵眼智能科技有限公司 基于机器视觉的运动识别特征参数算法
CN112836618A (zh) * 2021-01-28 2021-05-25 清华大学深圳国际研究生院 一种三维人体姿态估计方法及计算机可读存储介质
CN113229832A (zh) * 2021-03-24 2021-08-10 清华大学 一种用于获取人体运动信息的系统和方法
CN113673494A (zh) * 2021-10-25 2021-11-19 青岛根尖智能科技有限公司 人体姿态标准运动行为匹配方法及系统
CN113850248A (zh) * 2021-12-01 2021-12-28 中科海微(北京)科技有限公司 运动姿态评估方法、装置、边缘计算服务器及存储介质
WO2022088290A1 (zh) * 2020-10-28 2022-05-05 中国科学院深圳先进技术研究院 运动评估方法、装置、系统及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110306398A1 (en) * 2010-06-11 2011-12-15 Harmonix Music Systems, Inc. Prompting a player of a dance game
US20120214594A1 (en) * 2011-02-18 2012-08-23 Microsoft Corporation Motion recognition
CN105701822A (zh) * 2016-01-15 2016-06-22 上海交通大学 基于二维图像的提取人体侧面腿部骨架的方法
US20160232683A1 (en) * 2015-02-09 2016-08-11 Electronics And Telecommunications Research Institute Apparatus and method for analyzing motion
CN105930767A (zh) * 2016-04-06 2016-09-07 南京华捷艾米软件科技有限公司 一种基于人体骨架的动作识别方法
CN106228109A (zh) * 2016-07-08 2016-12-14 天津大学 一种基于骨骼运动轨迹的动作识别方法
CN107194361A (zh) * 2017-05-27 2017-09-22 成都通甲优博科技有限责任公司 二维姿势检测方法及装置
CN107341476A (zh) * 2017-07-07 2017-11-10 深圳市唯特视科技有限公司 一种基于系统计算原理的无监督人体模型构建方法
CN107463898A (zh) * 2017-08-01 2017-12-12 闽江学院 基于视觉传感网络的舞台表演行为异常监控方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110306398A1 (en) * 2010-06-11 2011-12-15 Harmonix Music Systems, Inc. Prompting a player of a dance game
US20120214594A1 (en) * 2011-02-18 2012-08-23 Microsoft Corporation Motion recognition
US20160232683A1 (en) * 2015-02-09 2016-08-11 Electronics And Telecommunications Research Institute Apparatus and method for analyzing motion
CN105701822A (zh) * 2016-01-15 2016-06-22 上海交通大学 基于二维图像的提取人体侧面腿部骨架的方法
CN105930767A (zh) * 2016-04-06 2016-09-07 南京华捷艾米软件科技有限公司 一种基于人体骨架的动作识别方法
CN106228109A (zh) * 2016-07-08 2016-12-14 天津大学 一种基于骨骼运动轨迹的动作识别方法
CN107194361A (zh) * 2017-05-27 2017-09-22 成都通甲优博科技有限责任公司 二维姿势检测方法及装置
CN107341476A (zh) * 2017-07-07 2017-11-10 深圳市唯特视科技有限公司 一种基于系统计算原理的无监督人体模型构建方法
CN107463898A (zh) * 2017-08-01 2017-12-12 闽江学院 基于视觉传感网络的舞台表演行为异常监控方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
韩丽婷，等: "基于复杂网络的运动能力在线评估系统设计", 《现代电子技术》 *

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020107833A1 (zh) * 2018-11-26 2020-06-04 平安科技（深圳）有限公司 基于骨架的行为检测方法、终端设备及计算机存储介质
CN109508688B (zh) * 2018-11-26 2023-10-13 平安科技（深圳）有限公司 基于骨架的行为检测方法、终端设备及计算机存储介质
CN109508688A (zh) * 2018-11-26 2019-03-22 平安科技（深圳）有限公司 基于骨架的行为检测方法、终端设备及计算机存储介质
CN109635925A (zh) * 2018-11-30 2019-04-16 北京首钢自动化信息技术有限公司 一种运动员辅助训练数据获取方法、装置及电子设备
CN110728181B (zh) * 2019-09-04 2022-07-12 北京奇艺世纪科技有限公司 行为评价方法、装置、计算机设备和存储介质
CN110728181A (zh) * 2019-09-04 2020-01-24 北京奇艺世纪科技有限公司 行为评价方法、装置、计算机设备和存储介质
CN110544301A (zh) * 2019-09-06 2019-12-06 广东工业大学 一种三维人体动作重建系统、方法和动作训练系统
CN110718304A (zh) * 2019-10-10 2020-01-21 电子科技大学 一种艾滋病患者用药依从性监测方法
CN110718304B (zh) * 2019-10-10 2022-09-27 电子科技大学 一种艾滋病患者用药依从性监测方法
CN110765942A (zh) * 2019-10-23 2020-02-07 睿魔智能科技（深圳）有限公司 图像数据的标注方法、装置、设备及存储介质
CN111563443A (zh) * 2020-04-29 2020-08-21 中国科学院重庆绿色智能技术研究院 一种连续运动动作准确度评价方法
CN111883229B (zh) * 2020-07-31 2022-07-15 焦点科技股份有限公司 一种基于视觉ai的智能运动指导方法及系统
CN111883229A (zh) * 2020-07-31 2020-11-03 焦点科技股份有限公司 一种基于视觉ai的智能运动指导方法及系统
WO2022088290A1 (zh) * 2020-10-28 2022-05-05 中国科学院深圳先进技术研究院 运动评估方法、装置、系统及存储介质
CN112435731A (zh) * 2020-12-16 2021-03-02 成都翡铭科技有限公司 一种判断实时姿势是否满足预设规则的方法
CN112435731B (zh) * 2020-12-16 2024-03-19 成都翡铭科技有限公司 一种判断实时姿势是否满足预设规则的方法
CN112686208A (zh) * 2021-01-22 2021-04-20 上海喵眼智能科技有限公司 基于机器视觉的运动识别特征参数算法
CN112686208B (zh) * 2021-01-22 2022-11-08 上海喵眼智能科技有限公司 基于机器视觉的运动识别特征参数算法
CN112836618A (zh) * 2021-01-28 2021-05-25 清华大学深圳国际研究生院 一种三维人体姿态估计方法及计算机可读存储介质
CN112836618B (zh) * 2021-01-28 2023-10-20 清华大学深圳国际研究生院 一种三维人体姿态估计方法及计算机可读存储介质
CN113229832A (zh) * 2021-03-24 2021-08-10 清华大学 一种用于获取人体运动信息的系统和方法
CN113673494A (zh) * 2021-10-25 2021-11-19 青岛根尖智能科技有限公司 人体姿态标准运动行为匹配方法及系统
CN113850248A (zh) * 2021-12-01 2021-12-28 中科海微(北京)科技有限公司 运动姿态评估方法、装置、边缘计算服务器及存储介质
CN113850248B (zh) * 2021-12-01 2022-02-22 中科海微(北京)科技有限公司 运动姿态评估方法、装置、边缘计算服务器及存储介质

Also Published As

Publication number Publication date
CN108597578B (zh) 2021-11-05

Similar Documents

Publication Publication Date Title
CN108597578A (zh) 一种基于二维骨架序列的人体运动评估方法
CN110321754B (zh) 一种基于计算机视觉的人体运动姿态纠正方法及系统
US11967101B2 (en) Method and system for obtaining joint positions, and method and system for motion capture
Islam et al. Yoga posture recognition by detecting human joint points in real time using microsoft kinect
US8175326B2 (en) Automated scoring system for athletics
CN111881887A (zh) 基于多摄像头的运动姿态监测和指导方法及装置
Iwasawa et al. Real-time estimation of human body posture from monocular thermal images
CN104700433B (zh) 一种基于视觉的实时人体全身体运动捕捉方法及其系统
CN104598867B (zh) 一种人体动作自动评估方法及舞蹈评分系统
KR102514697B1 (ko) 골프 동작 분석 장치 및 방법
US10186041B2 (en) Apparatus and method for analyzing golf motion
CN110448870B (zh) 一种人体姿态训练方法
CN109919141A (zh) 一种基于骨架姿态的行人再识别方法
CN108717531A (zh) 基于Faster R-CNN的人体姿态估计方法
KR102238085B1 (ko) 동작분석 장치 및 방법
Anilkumar et al. Pose estimated yoga monitoring system
CN110210284A (zh) 一种人体姿态行为智能评价方法
CN110544302A (zh) 基于多目视觉的人体动作重建系统、方法和动作训练系统
CN106600626A (zh) 三维人体运动捕获方法与系统
CN104353240A (zh) 基于Kinect的跑步机系统
CN110717391A (zh) 一种基于视频图像的身高测量方法、系统、装置和介质
Papic et al. Improving data acquisition speed and accuracy in sport using neural networks
WO2009061283A2 (en) Human motion analysis system and method
Park et al. Accurate and efficient 3d human pose estimation algorithm using single depth images for pose analysis in golf
CN111883229A (zh) 一种基于视觉ai的智能运动指导方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: 510000 13 building, 100 martyrs Road, Yuexiu District, Guangzhou, Guangdong.

Patentee after: Institute of intelligent manufacturing, Guangdong Academy of Sciences

Address before: 510000 13 building, 100 martyrs Road, Yuexiu District, Guangzhou, Guangdong.

Patentee before: GUANGDONG INSTITUTE OF INTELLIGENT MANUFACTURING