CN110008857A - 一种基于关节点的人体动作匹配评分方法 - Google Patents

一种基于关节点的人体动作匹配评分方法 Download PDF

Info

Publication number
CN110008857A
CN110008857A CN201910215317.XA CN201910215317A CN110008857A CN 110008857 A CN110008857 A CN 110008857A CN 201910215317 A CN201910215317 A CN 201910215317A CN 110008857 A CN110008857 A CN 110008857A
Authority
CN
China
Prior art keywords
artis
matching
movement
distance
human action
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910215317.XA
Other languages
English (en)
Inventor
吴哲夫
张楚虹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN201910215317.XA priority Critical patent/CN110008857A/zh
Publication of CN110008857A publication Critical patent/CN110008857A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

一种基于关节点的人体动作匹配评分方法，人体在进行动作时关节点位置会发生改变，于是我们可以利用关节点位置的变化来完成对人体动作的匹配频分，本发明利用开源平台OpenPose获得人体的18个关节点坐标信息，并采用贝塞尔曲线拟合的方法将变化的离散的关节点坐标拟合成关节点的运动轨迹，通过比较动作的关节点运动轨迹的离散弗雷歇距离以及每个关节点所占权重来完成两个动作之间的匹配评分。本发明能够以很低的成本有效实现对人体动作的匹配评分，在动作教学对正、医疗复健等领域具有一定的应用价值。

Description

一种基于关节点的人体动作匹配评分方法
技术领域
本发明涉及人体骨架关节点提取领域，采用目前比较成熟的开源平台OpenPose进行人体骨架关节点的获取，具体涉及一种基于关节点的人体动作匹配评分的方法。
背景技术
利用人体骨架的关节点进行动作姿态估计是一个具有广泛应用前景的研究热点。人们已经尝试了许多方法来定位身体部位的关键点。人体动作识别与匹配应用背景很广泛，主要集中在智能视频监控，病人监护系统，人机交互，虚拟现实，智能家居，智能安防，运动员辅助训练，等等。
在人体动作识别匹配研究领域可以分为三个方向，基于传感器的方法，基于无线的方法和基于图片的方法。基于传感器的方法能够达到较高的识别率但存在携带不方便的问题；基于无线的方法比较便捷，缺点是不稳定。于是我们需要一种便捷的，稳定的方法来进行动作识别和匹配。
发明内容
为了克服现有的动作识别匹配方法的不便捷、不稳定的不足，本发明提出了一种基于图像中人体关节点的动作匹配评分方法，实现对人体动作的匹配评分，不需要任何传感器设备，且稳定性高。
为实现上述的目标，本发明采用的技术方案为：
一种基于关节点的人体动作匹配评分方法，包括以下步骤：
步骤1：获得人体动作匹配评分的动作1和动作2的视频数据；
步骤2：取动作1视频数据；
步骤3：将视频数据进行分帧，得到n帧图片；
步骤4：将步骤3中的n帧图片的加载到OpenPose中；
步骤5：运行OpenPose以获取每帧图片中人体的18个关节点的坐标信息，共有n帧图片，所以每个关节点有n个坐标，设第i个关节点的n个坐标的坐标集为{(x1i,y1i),(x2i,y2i),…,(xni,yni)}，关节点个数为18，所以i的取值为i∈(0,1,…,17)；
步骤6：利用步骤5获得的第i个关节点的坐标集{(x1i,y1i),(x2i,y2i),…,(xni,yni)}，对第i关节点的运动轨迹进行曲线拟合，设第i个关节点的拟合曲线为li，i的取值为i∈(0,1,…,17)；
步骤7：取动作2的视频数据，重复步骤3～步骤6；
步骤8：给18个关节点分配权重fi，i的取值为i∈(0，1，…17)；
步骤8-1：计算每个关节点的最大变化距离di,计算公式如下：
其中di表示第i个关节点的位置变换的最大距离，ximax和ximin分别表示第i个关节点位置变化距离最大的两个点的横坐标，同理，yimax和yimin分别表示第i个关节点位置变化距离最大的两个点的纵坐标；
步骤8-2：运用下列公式计算出第i个关节点的最终权重fi：
步骤9：计算动作1动作2对应关节点之间的运动轨迹拟合曲线li之间的距离Di，i的取值为i∈(0,1,…,17)；
步骤10：利用每个关节点分配的权重fi和两个动作之间的关节运动轨迹拟合曲线之间距离Di计算两个动作的匹配得分。
进一步，所述步骤6中，获得每个关节点的运动轨迹采用的是贝塞尔曲线拟合；
更进一步，所述步骤10中，利用离散弗雷歇距离和关节点权重计算两个动作的匹配得分S的公式为：
其中Dt和St是可以自己定义的变量，Dt越小代表匹配评分标准越高，St是一个参考分数，St将匹配评分S控制在0-100的合理范围内，根据不同的实验数据设置适合的Dt和St，使得动作相同时匹配得分高，不同时匹配得分低，该式仅在在(0,Dt)的范围内成立，当超过(0,Dt)范围时，匹配得分为零，表明动作完全不同。
本发明的有益效果是：
1.利用了开源平台OpenPose来处理动作图片获得动作的关节点，方法简单且效果稳定，对于一些在2维平面遮挡住的关节点也能有效准确的检测出来；
2.本发明不需人体携带设备、不需要购买其他传感器设备等，简单可靠，在动作教学、复健医疗等领域具有一定的应用价值；
3.本发明把关节点检测的思想应用到了动作匹配方面，为动作识别实验提供了一个新的研究思路；
4.本发明不需要复杂的算法程序，运行速度快。
附图说明
图1是人体动作匹配评分系统框图；
图2是关节点的贝塞尔曲线拟合图；
图3是离散弗雷歇距离示意图。
具体实施方式
下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。
参照图1～图3，一种基于关节点的人体动作匹配评分方法，包括以下步骤：
步骤1：获得人体动作匹配评分的动作1和动作2的视频数据；
步骤2：取动作1视频数据；
步骤3：将视频数据进行分帧，得到n帧图片；
步骤4：将步骤3中的n帧图片的加载到OpenPose中；
步骤5：运行OpenPose以获取每帧图片中人体的18个关节点的坐标信息，共有n帧图片，所以每个关节点有n个坐标，设第i个关节点的n个坐标的坐标集为{(x1i,y1i),(x2i,y2i),…,(xni,yni)}，关节点个数为18，所以i的取值为i∈(0,1,…,17)；
步骤6：利用步骤5获得的第i个关节点的坐标集{(x1i,y1i),(x2i,y2i),…,(xni,yni)}，对第i关节点的运动轨迹进行曲线拟合，设第i个关节点的拟合曲线为li，i的取值为i∈(0,1,…,17)；
步骤7：取动作2的视频数据，重复步骤3～步骤6；
步骤8：给18个关节点分配权重fi，i的取值为i∈(0，1，…17)；
步骤8-1：计算每个关节点的最大变化距离di,计算公式如下：
其中di表示第i个关节点的位置变换的最大距离，ximax和ximin分别表示第i个关节点位置变化距离最大的两个点的横坐标，同理，yimax和yimin分别表示第i个关节点位置变化距离最大的两个点的纵坐标；
步骤8-2：运用下列公式计算出第i个关节点的最终权重fi：
步骤9：计算动作1动作2对应关节点之间的运动轨迹拟合曲线li之间的距离Di，i的取值为i∈(0,1,…,17)；
步骤10：利用每个关节点分配的权重fi和两个动作之间的关节运动轨迹拟合曲线之间距离Di计算两个动作的匹配得分。
进一步，所述步骤6中，获得每个关节点的运动轨迹采用的是贝塞尔曲线拟合；
更进一步，所述步骤10中，利用离散弗雷歇距离和关节点权重计算两个动作的匹配得分S的公式为：
其中Dt和St是可以自己定义的变量，Dt越小代表匹配评分标准越高，St是一个参考分数，St将匹配评分S控制在0-100的合理范围内，根据不同的实验数据设置适合的Dt和St，使得动作相同时匹配得分高，不同时匹配得分低，该式仅在在(0,Dt)的范围内成立，当超过(0,Dt)范围时，匹配得分为零，表明动作完全不同。
本实例中，Dt和St的取值分别为80和70，取两个实验者分别做开合跳的运动动作为动作1和动作2，经过上述操作步骤，两个动作的匹配得分达到92分的高分，另取两个实验者分别做开合跳和跳跃动作为动作1和动作2，两个动作的匹配得分为32分。结果表明，本发明对于两个相同动作有很高的评分，不同动作评分则很低。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (5)

1.一种基于关节点的人体动作匹配评分方法，其特征在于，该方法包括如下步骤：
步骤1：获得人体动作匹配评分的动作1和动作2的视频数据；
步骤2：取动作1视频数据；
步骤3：将视频数据进行分帧，得到n帧图片；
步骤4：将步骤3中的n帧图片的加载到OpenPose中；
步骤5：运行OpenPose以获取每帧图片中人体的18个关节点的坐标信息，共有n帧图片，所以每个关节点有n个坐标，设第i个关节点的n个坐标的坐标集为{(x1i,y1i),(x2i,y2i),…,(xni,yni)}，关节点个数为18，所以i的取值为i∈(0,1,…,17)；
步骤6：利用步骤5获得的第i个关节点的坐标集{(x1i,y1i),(x2i,y2i),…,(xni,yni)}，对第i关节点的运动轨迹进行曲线拟合，设第i个关节点的拟合曲线为li，i的取值为i∈(0,1,…,17)；
步骤7：取动作2的视频数据，重复步骤3～步骤6；
步骤8：给18个关节点分配权重fi，i的取值为i∈(0，1，…17)；
步骤9：计算动作1动作2对应关节点之间的运动轨迹拟合曲线li之间的距离Di，i的取值为i∈(0,1,…,17)；
步骤10：利用每个关节点分配的权重和两个动作之间的关节点运动轨迹拟合曲线li之间距离计算两个动作的匹配得分。
2.根据权利要求1所述的基于关节点的人体动作匹配评分方法，其特征在于，所述步骤6中，获得每个关节点的运动轨迹采用的是贝塞尔曲线拟合。
3.根据权利要求1或2所述的基于关节点的人体动作匹配评分方法，其特征在于，所述步骤8中，给每个关节点的分配合适的权重，所述过程如下：
计算每个关节点的最大变化距离di,计算公式如下：
其中di表示第i个关节点的位置变换的最大距离，ximax和ximin分别表示第i个关节点位置变化距离最大的两个点的横坐标，同理，yimax和yimin分别表示第i个关节点位置变化距离最大的两个点的纵坐标，运用下列公式计算出第i个关节点的最终权重fi：
4.根据权利要求1或2所述的基于关节点的人体动作匹配评分方法，其特征在于，所述步骤9中，所述计算对应关节点之间的拟合曲线的距离为离散弗雷歇距离。
5.根据权利要求1或2所述的方法，其特征在于，所述步骤10中，利用所述步骤7计算的关节点权重和所述步骤8中计算的离散弗雷歇距离来计算两个动作的匹配得分S，其公式如下：
其中Dt和St是可以自己定义的变量，Dt越小代表匹配评分标准越高，St是一个参考分数，St将匹配评分S控制在0-100的合理范围内，根据不同的实验数据设置适合的Dt和St，使得两个动作相同时匹配得分高，不同时匹配得分低，该式仅在在(0,Dt)的范围内成立，当超过(0,Dt)范围时，匹配得分为零，表明两个动作完全不同。
CN201910215317.XA 2019-03-21 2019-03-21 一种基于关节点的人体动作匹配评分方法 Pending CN110008857A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910215317.XA CN110008857A (zh) 2019-03-21 2019-03-21 一种基于关节点的人体动作匹配评分方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910215317.XA CN110008857A (zh) 2019-03-21 2019-03-21 一种基于关节点的人体动作匹配评分方法

Publications (1)

Publication Number Publication Date
CN110008857A true CN110008857A (zh) 2019-07-12

Family

ID=67167536

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910215317.XA Pending CN110008857A (zh) 2019-03-21 2019-03-21 一种基于关节点的人体动作匹配评分方法

Country Status (1)

Country Link
CN (1) CN110008857A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110516112A (zh) * 2019-08-28 2019-11-29 北京理工大学 一种基于层次模型的人体动作检索方法及设备
CN111369852A (zh) * 2020-03-03 2020-07-03 山东女子学院 基于虚拟现实的基因编辑实验教学仿真方法及系统
CN111401260A (zh) * 2020-03-18 2020-07-10 南通大学 基于Quick-OpenPose模型的仰卧起坐测试计数方法及系统
CN111488824A (zh) * 2020-04-09 2020-08-04 北京百度网讯科技有限公司 运动提示方法、装置、电子设备和存储介质
CN112233515A (zh) * 2020-10-12 2021-01-15 萱闱(北京)生物科技有限公司 一种应用于医生cpr考核的无人值考和智能评分方法
CN113505738A (zh) * 2021-07-26 2021-10-15 湖南灵之心心理学应用技术有限公司 一种动态手势识别系统及方法
CN113673494A (zh) * 2021-10-25 2021-11-19 青岛根尖智能科技有限公司 人体姿态标准运动行为匹配方法及系统
CN114898342A (zh) * 2022-07-15 2022-08-12 深圳市城市交通规划设计研究中心股份有限公司 行驶中非机动车驾驶员接打电话的检测方法
CN115620248A (zh) * 2022-11-11 2023-01-17 武汉仕云科技有限公司 一种基于交通监控的摄像头调用方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107992858A (zh) * 2017-12-25 2018-05-04 深圳市唯特视科技有限公司 一种基于单一rgb帧的实时三维手势估计方法
CN108108674A (zh) * 2017-12-08 2018-06-01 浙江捷尚视觉科技股份有限公司 一种基于关节点分析的行人再识别方法
CN108664896A (zh) * 2018-04-16 2018-10-16 彭友 基于OpenPose的击剑动作获取方法及计算机存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108108674A (zh) * 2017-12-08 2018-06-01 浙江捷尚视觉科技股份有限公司 一种基于关节点分析的行人再识别方法
CN107992858A (zh) * 2017-12-25 2018-05-04 深圳市唯特视科技有限公司 一种基于单一rgb帧的实时三维手势估计方法
CN108664896A (zh) * 2018-04-16 2018-10-16 彭友 基于OpenPose的击剑动作获取方法及计算机存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SEN QIAO ET AL.: "Real-Time Human Gesture Grading Based on OpenPose", 《2017 10TH INTERNATIONAL CONGRESS ON IMAGE AND SIGNAL PROCESSING, BIOMEDICAL ENGINEERING AND INFORMATICS (CISP-BMEI 2017)》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110516112B (zh) * 2019-08-28 2021-04-27 北京理工大学 一种基于层次模型的人体动作检索方法及设备
CN110516112A (zh) * 2019-08-28 2019-11-29 北京理工大学 一种基于层次模型的人体动作检索方法及设备
CN111369852A (zh) * 2020-03-03 2020-07-03 山东女子学院 基于虚拟现实的基因编辑实验教学仿真方法及系统
CN111401260A (zh) * 2020-03-18 2020-07-10 南通大学 基于Quick-OpenPose模型的仰卧起坐测试计数方法及系统
CN111401260B (zh) * 2020-03-18 2020-09-29 南通大学 基于Quick-OpenPose模型的仰卧起坐测试计数方法及系统
CN111488824A (zh) * 2020-04-09 2020-08-04 北京百度网讯科技有限公司 运动提示方法、装置、电子设备和存储介质
CN111488824B (zh) * 2020-04-09 2023-08-08 北京百度网讯科技有限公司 运动提示方法、装置、电子设备和存储介质
CN112233515A (zh) * 2020-10-12 2021-01-15 萱闱(北京)生物科技有限公司 一种应用于医生cpr考核的无人值考和智能评分方法
CN113505738A (zh) * 2021-07-26 2021-10-15 湖南灵之心心理学应用技术有限公司 一种动态手势识别系统及方法
CN113673494A (zh) * 2021-10-25 2021-11-19 青岛根尖智能科技有限公司 人体姿态标准运动行为匹配方法及系统
CN113673494B (zh) * 2021-10-25 2022-03-08 青岛根尖智能科技有限公司 人体姿态标准运动行为匹配方法及系统
CN114898342A (zh) * 2022-07-15 2022-08-12 深圳市城市交通规划设计研究中心股份有限公司 行驶中非机动车驾驶员接打电话的检测方法
CN114898342B (zh) * 2022-07-15 2022-11-25 深圳市城市交通规划设计研究中心股份有限公司 行驶中非机动车驾驶员接打电话的检测方法
CN115620248A (zh) * 2022-11-11 2023-01-17 武汉仕云科技有限公司 一种基于交通监控的摄像头调用方法及系统

Similar Documents

Publication Publication Date Title
CN110008857A (zh) 一种基于关节点的人体动作匹配评分方法
WO2018120964A1 (zh) 一种基于深度信息和骨骼信息的姿势矫正方法
Guo et al. Multiview cauchy estimator feature embedding for depth and inertial sensor-based human action recognition
CN103678859B (zh) 动作比对方法与动作比对系统
US20160296795A1 (en) Apparatus and method for analyzing golf motion
CN107015646A (zh) 运动状态的识别方法及装置
CN105868779B (zh) 一种基于特征增强和决策融合的行为识别方法
US20110150283A1 (en) Apparatus and method for providing advertising content
CN108875586B (zh) 一种基于深度图像与骨骼数据多特征融合的功能性肢体康复训练检测方法
CN106203423A (zh) 一种融合上下文探测的弱结构感知视觉目标跟踪方法
CN105426882A (zh) 一种人脸图像中快速定位人眼的方法
CN112749684A (zh) 心肺复苏术训练和评估的方法及装置、设备、存储介质
CN112990089B (zh) 一种判断人体运动姿态的方法
Juan Gesture recognition and information recommendation based on machine learning and virtual reality in distance education
Zhang Analyzing body changes of high-level dance movements through biological image visualization technology by convolutional neural network
Liu et al. Trampoline motion decomposition method based on deep learning image recognition
Liu Aerobics posture recognition based on neural network and sensors
Hachaj et al. Real-time recognition of selected karate techniques using GDL approach
CN104898971B (zh) 一种基于视线跟踪技术的鼠标指针控制方法及系统
Dindo et al. Hankelet-based action classification for motor intention recognition
Yamao et al. Development of human pose recognition system by using raspberry pi and posenet model
Ma Design and practice of aerobics teaching design based on data fusion algorithm
CN105975989A (zh) 一种基于九轴运动传感器的肘部运动状态识别方法
Chen et al. Ocean: A new opportunistic computing model for wearable activity recognition
Mei et al. Training more discriminative multi-class classifiers for hand detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190712