CN113780253A - 一种人体关节运动关键点识别方法及系统 - Google Patents

一种人体关节运动关键点识别方法及系统 Download PDF

Info

Publication number
CN113780253A
CN113780253A CN202111335926.2A CN202111335926A CN113780253A CN 113780253 A CN113780253 A CN 113780253A CN 202111335926 A CN202111335926 A CN 202111335926A CN 113780253 A CN113780253 A CN 113780253A
Authority
CN
China
Prior art keywords
point
motion
image frame
closed region
key points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111335926.2A
Other languages
English (en)
Other versions
CN113780253B (zh
Inventor
黄峰
徐硕禹
刘瑞
陈桂平
陈培远
孙雪杨
方馨莹
孔柳倪
洪华旭
王恒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Foshan University
Original Assignee
Foshan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Foshan University filed Critical Foshan University
Priority to CN202111335926.2A priority Critical patent/CN113780253B/zh
Publication of CN113780253A publication Critical patent/CN113780253A/zh
Application granted granted Critical
Publication of CN113780253B publication Critical patent/CN113780253B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明公开了一种人体关节运动关键点识别方法及系统采集被测者活动的视频数据；对视频数据进行目标检测，获取包含目标为被测者的子区域的各个图像帧作为关键帧集合；标记出关键帧集合中各个图像帧中目标为被测者的子区域中的活动部件，由每个图像帧中的活动部件构成一个与当前图像帧对应的活动部件集合，并从活动部件集合中提取运动关键点；根据提取的运动关键点确定为人体关键点坐标，提高了人体关节运动关键点的识别精度，实现人体关节运动关键点的智能化检测，检测更为简单快捷，极大的减少了计算的开销和复杂度，提高了关键点识别的鲁棒性。

Description

一种人体关节运动关键点识别方法及系统
技术领域
本发明属于机器视觉技术、图像处理技术领域，具体涉及一种人体关节运动关键点识别方法及系统。
背景技术
近年来，随着深度学习技术的进一步发展，使用深度学习技术代替传统方法进行人体关节点的目标检测已经成为趋势，但目前大部分针对人体关节点识别的技术多用于姿态识别(包括人体姿势和手姿势识别)，一来是因为主流技术未能很精准地对复杂角度下的关节点进行测量，二来使用流行深度学习流行的目标检测技术，存在计算量多、相关模型结构庞杂的问题，严重影响该技术的实际应用。
由于人体是具有柔韧度的，随着人体的部位变化，关键点会随着视角、穿着动态的变化，会伴随着遮挡、图像变型、光照条件等环境影响，现有的技术一般是通过OpenPose模型识别出人体上的关键点，但是识别得到的关键点并不准确，往往与人体实际的关节运动关键点偏差很大，尤其是应用在人体的小关节运动关键点识别以关节点的定位为基础进行关节活动度的测量，需要计算出实际的活动角度，同时模型在计算上的开销不能太大，使得人体关节运动关键点的识别成为一个极具挑战性的研究热点问题。
发明内容
本发明的目的在于提出一种人体关节运动关键点识别方法及系统，以解决现有技术中所存在的一个或多个技术问题，至少提供一种有益的选择或创造条件。
为了实现上述目的，根据本发明的一方面，提供一种人体关节运动关键点识别方法，所述方法包括以下步骤：
S100，采集被测者活动的视频数据；
S200，对视频数据进行目标检测，获取包含目标为被测者的子区域的各个图像帧作为关键帧集合；
S300，标记出关键帧集合中各个图像帧中目标为被测者的子区域中的活动部件，由每个图像帧中的活动部件构成一个与当前图像帧对应的活动部件集合，并从活动部件集合中提取运动关键点；
S400，根据提取的运动关键点确定人体关键点坐标；
其中，标记出关键帧集合中各个图像帧中目标为被测者的子区域中的活动部件的方法为以下步骤：
对关键帧集合中所有的图像帧进行灰度化并高斯滤波后的灰度图像进行边缘检测获取关键帧集合中各个图像帧的边缘线，由每个图像帧的各个边缘线构成封闭区域，获得每个图像帧的中封闭区域构成的封闭区域集合；
在封闭区域集合中，以各个封闭区域的几何中心点作为各个封闭区域的锚点，通过Shi-Tomasi角点检测算法检测各个封闭区域的各个角点，每个封闭区域都得到各个角点构成的对应的角点集合；在各个图像帧中，以各个封闭区域的锚点为Anchor1，计算各个封闭区域的角点集合中各个角点与Anchor1的欧式距离中的最大的距离值MaxDA1，计算各个封闭区域的角点集合中各个角点与Anchor1的欧式距离中的最小的距离值MinDA1；
当关键帧集合中当前图像帧存在前一个图像帧时（注：由于图像帧是从视频数据中按照时间顺序提取的，因此当前图像帧存在前后的图像帧，当前图像帧存在前一个图像帧意义为当前图像帧不是视频数据中第一帧图像；当前图像帧不存在前一个图像帧意义为当前图像帧是视频数据中第一帧图像），在前一个图像帧中，各个封闭区域以自身的锚点Anchor1的坐标为圆心、以对应的MaxDA1为半径的扫描范围内搜索几何中心点在扫描范围中的封闭区域，将各个几何中心点在扫描范围中的封闭区域作为活动部件集合；
当关键帧集合中当前图像帧不存在前一个图像帧时，在当前图像帧中，各个封闭区域以自身的锚点Anchor1的坐标为圆心、以MaxDA1为半径的扫描范围内搜索几何中心点在扫描范围中的封闭区域，将各个几何中心点在扫描范围中的封闭区域作为活动部件集合。
进一步地，在S100中，被测者活动的视频为由用户拍摄的包含被测者完整活动周期的关节活动的影像；其中，被测者完整活动周期的关节活动为被测者按照待测关节活动的预设规范进行的待测关节活动,待测关节活动的医学规范包括踝关节背屈活动、坐姿状态下双腿各以90度的角度交替转体髋关节、挺胸打开胸腔维持胸椎活动、进行多方位绕肩关节活动中任意一种或多种活动。
进一步地，在S200中，对视频数据进行目标检测的算法包括：yolo算法或者R-CNN算法，以yolo算法或者R-CNN算法的锚框的目标区域作为包含被测者的子区域。
进一步地，在S300中，标记出各个图像帧中目标为被测者的子区域中的活动部件，由每个图像帧中的活动部件构成一个与当前图像帧对应的活动部件集合的方法为：通过参考文献：《Wu B , Nevatia R . Detection of multiple, partially occluded humansin a single image by Bayesian combination of edgelet part detectors[C]//Tenth IEEE International Conference on Computer Vision. IEEE, 2005》中的方法标记出各个图像帧中目标为被测者的子区域中的活动部件，由每个图像帧中的活动部件构成一个与当前图像帧对应的活动部件集合。
进一步地，在S300中，由每个图像帧中的活动部件构成一个与当前图像帧对应的活动部件集合的方法为以下步骤：
在活动部件集合中的封闭区域中，依次计算各个封闭区域的各个角点与对应封闭区域的几何中心点的欧式距离中的最大的距离值构成最大距离值集合MaxD（由每个封闭区域的各个角点与对应封闭区域的几何中心点的最大距离构成最大距离值集合MaxD），依次计算各个封闭区域的各个角点与对应封闭区域的几何中心点的欧式距离中的最小的距离值构成最小距离值集合minD（由每个封闭区域的各个角点与对应封闭区域的几何中心点的最小距离构成最小距离值集合MaxD）；计算运动衡量值U1=(|AVG(MaxD)-MaxDA1|+|AVG(minD)-MinDA1|)÷2；其中，AVG()函数表示取集合中各个元素的算术平均值（运动衡量值为识别出角点之间是否发生过运动）；
从各个封闭区域的角点集合中筛选出各个角点与锚点之间的欧氏距离DL满足活动条件的角点形成运动特征点集合，或者从各个封闭区域的角点集合中筛选出各个角点与锚点之间的欧氏距离DL大于或等于所有各个角点与锚点之间的欧氏距离DL的平均值的角点形成运动特征点集合。
进一步地，在S300中，
活动条件为：
Figure DEST_PATH_IMAGE001
， 其中，Disi4表示角点集合中第i4个角点与当前角点的距离值，或者Disi4表示角点集合中第 i4个角点与封闭区域的锚点的距离值，DL为当前角点与封闭区域的锚点之间的欧氏距离， N3为角点集合中角点的数量，i4为累加变量，i4∈[1,N3]。
进一步地，在S300中，从活动部件集合中提取运动关键点的方法为以下步骤：
在封闭区域中，计算运动特征点集合中各个角点与锚点之间的欧氏距离的算术平均值BN；
计算锚点与各个角点的运动灰度差值k1：
Figure DEST_PATH_IMAGE002
；其中，gr(i5)为运动特征点集合中第i5个点的 灰度值，GA为锚点的灰度值，N4为运动特征点集合中的点的总数量，G(i5)的值取0或1，i5为 累加变量，i5∈[1,N4]；
取运动灰度差值k1最小的值所对应的角点作为运动方向点（即取各角点中与锚点的运动灰度差值k1最小的角点）；以锚点到运动方向点的方向作为运动方向；令封闭区域的锚点到运动方向点的射线为LS，从封闭区域的锚点开始取射线LS上长度为Max(MaxD)+Max(minD)的线段LSD，其中，Max()函数表示取集合中各个元素的最大值；
当LSD与活动部件集合中任意一个除了当前封闭区域之外的封闭区域存在交集时，记存在交集的封闭区域为patT，则标记当前封闭区域的锚点为运动关键点，并且标记所述封闭区域patT与当前封闭区域为互相连接的两个活动部件（此处运动关键点对应于人体的关节，活动部件对应于与关节连接的两个人体的运动的部分）。
进一步地，G(i5)取值的方法为:当关键帧集合中当前图像帧存在后一个图像帧时（注：由于图像帧是从视频数据中按照时间顺序提取的，因此当前图像帧存在后一个图像帧意义为当前图像帧不是视频数据中最后一帧图像；当前图像帧不存在后一个图像帧意义为当前图像帧是视频数据中最后一帧图像），在以运动特征点集合中第i5个点为圆心、以BN为半径的范围内，如果有任意一个后一个图像帧中的封闭区域的几何中心点在所述范围内，则G(i5)取值为1, 否则为0；（注：有可能封闭区域的几何中心点并不在以运动特征点集合中第i5个点为圆心、以BN为半径的范围内，只是封闭区域的一部分在所述范围内，所以有此限定）在以运动特征点集合中第i5个点为圆心、以BN为半径的范围内，当关键帧集合中当前图像帧不存在后一个图像帧时，如果有任意一个当前图像帧中的封闭区域的几何中心点在所述范围内，则G(i5)取值为1, 否则为0。
进一步地，在S400中，将获取的运动关键点的坐标位置映射回被测者活动的视频数据的图像帧从而得到的人体关键点坐标作为修正关键点坐标。
进一步地，在S400中，将运动关键点标记为人体关节运动的关键目点，包括照物部位、头部位、脚部位、臀部的根节点、头节点、左手腕、右手腕、左脚跟和右脚。
进一步地，还包括步骤S500，通过OpenPose模型识别人体关键点，将OpenPose模型识别得到的人体关键点的坐标重新设定为修正关键点坐标从而改变OpenPose模型识别得到的人体关键点的位置（由于现有的OpenPose模型识别出人体上的关键点，识别得到的关键点并不准确，再此对OpenPose模型识别出人体上的关键点进行位置修正）。
进一步地，还包括步骤S500，将提取的运动关键点确定为人体关键点坐标，并显示在空间坐标系上；分别用直线将所有的互相连接的两个活动部件中的运动关键点位置两两连接，分别形成第一关节轴以及第二关节轴；计算所述第一关节轴以及第二关节轴之间的夹角，识别待测关节的活动方向。
本发明还提供了一种人体关节运动关键点识别系统，所述一种人体关节运动关键点识别系统包括：处理器、存储器及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述一种人体关节运动关键点识别方法中的步骤，所述一种人体关节运动关键点识别系统可以运行于桌上型计算机、笔记本、掌上电脑及云端数据中心等计算设备中，可运行的系统可包括，但不仅限于，处理器、存储器、服务器集群，所述处理器执行所述计算机程序运行在以下系统的单元中：
数据采集单元，用于采集被测者活动的视频数据；
关键帧集合提取单元，用于对视频数据进行目标检测，获取包含目标为被测者的子区域的各个图像帧作为关键帧集合；
运动关键点提取单元，用于标记出关键帧集合中各个图像帧中目标为被测者的子区域中的活动部件，由每个图像帧中的活动部件构成一个与当前图像帧对应的活动部件集合，并从活动部件集合中提取运动关键点；
关键点确定单元，用于根据提取的运动关键点确定为人体关键点坐标。
本发明的有益效果为：本发明提供一种人体关节运动关键点识别方法及系统，提高了人体关节运动关键点的识别精度，实现人体关节运动关键点的智能化检测，检测更为简单快捷，极大的减少了计算的开销和复杂度，提高了关键点识别的鲁棒性。
附图说明
通过对结合附图所示出的实施方式进行详细说明，本发明的上述以及其他特征将更加明显，本发明附图中相同的参考标号表示相同或相似的元素，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，在附图中：
图1所示为一种人体关节运动关键点识别方法的流程图；
图2所示为一种人体关节运动关键点识别系统结构图。
具体实施方式
以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本发明的目的、方案和效果。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
如图1所示为一种人体关节运动关键点识别方法的流程图，下面结合图1来阐述根据本发明的实施方式的一种人体关节运动关键点识别方法，所述方法包括以下步骤：
S100，采集被测者活动的视频数据；
S200，对视频数据进行目标检测，获取包含目标为被测者的子区域的各个图像帧作为关键帧集合；
S300，标记出关键帧集合中各个图像帧中目标为被测者的子区域中的活动部件，由每个图像帧中的活动部件构成一个与当前图像帧对应的活动部件集合，并从活动部件集合中提取运动关键点；
S400，根据提取的运动关键点确定为人体关键点坐标。
进一步地，在S100中，被测者活动的视频为由用户拍摄的包含被测者完整活动周期的关节活动的影像；其中，被测者完整活动周期的关节活动为被测者按照待测关节活动的预设规范进行的待测关节活动，所述预设规范为医学规范，医学规范包括踝关节背屈活动、坐姿状态下双腿各以90度的角度交替转体髋关节、挺胸打开胸腔维持胸椎活动、进行多方位绕肩关节活动中任意一种或多种活动。
优选地，所述医学规范包括：
（一）肩关节(shoulder joint)
1．伸-屈
A．活动面：矢状面；
B．检查体位：双肩中立位；
C．测量：以测量器轴心贴于肩峰，测量臂之一平行腋中线放置，另一臂沿上臂纵轴移动，读两臂之夹角；
D．正常活动范围：180°～0°～45°；
2．外展一内收
A．活动面：冠状面；
B．检查体位：双肩中立位；
C．测量：测量角轴心置于肩关节后，一测量臂与身体中线平行，一臂随上臂运动，读两臂之夹角；
D：正常活动范围：外展180°，内收0°；
3．外旋－内旋
A．活动面：矢状面或水平面；
B．检查体位：a．矢状面：肱骨外展90°，肘屈曲90°，前臂旋前手掌向足；
b．水平位：上臂靠近躯干，将肘关节屈曲90°；
C．测量：a．矢状面：测量器轴心对准肘关节，将一臂置于与腋中线平行位，另一臂于前臂纵轴随之活动，测两臂间夹角；b．水平位：测角器轴心置于肘关节固定臂放与地面垂直，另一臂置与尺骨纵轴随之运动；D．正常活动范围：内旋90°，外旋90°。
（二）肘关节(elbow joint)
伸-屈
A．活动面：矢状面；
B．检查体位：中立位；
C．测量：测角器轴心对准肘关节外侧，测量臂之一置于肱骨纵轴，另一置于桡骨纵轴，测两臂之夹角；
D．正常活动范围：145°～0°～5°。
（三）桡尺关节(radioulnar joint)
旋前-旋后
A．活动面：额状面；
B．检查体位：肱骨内收至胸部，肘屈曲90°，前臂桡侧朝向病人头部，作为0°位；
C．测量：可采用罗盘式测角器或双叉式测角器，测量旋前时，将前臂完全旋前，轴心对准尺骨茎突，将一臂干与肱骨纵轴平行，另一臂杆横过腕关节背面，测量旋后方法类同；
D．正常活动范围：旋前：0°～90°；旋后：0°～ 90°。
（四）腕关节( wrist joint)
1．伸－屈
A．活动面：矢状面；
B．检查体位：前臂及手均置于旋前位。；
C．测量：测角器轴心对准尺骨茎突，一臂沿尺侧缘同前臂纵轴平行，另一臂同第
2．掌骨纵轴平行并随第5掌骨移动（测量器也可置于桡侧）；
D．正常活动范围：伸：0°～70°；屈：0°～90°；
2．桡偏－尺偏
A．活动度：水平位；
B．检查体位：肘关节屈曲90°位，前臂旋前，腕关节0°位；
C．测量：测量角置于手背，轴心置于第3掌骨的近体部上方，一臂沿前臂中线放置，另一臂沿第3掌骨纵轴平行放置；
D．正常活动范围：桡偏：0°～ 25°；尺偏：0°～35°。
（五）掌指关节（metacarpophalangeal joints）
伸-屈
A．活动面：矢状面；
B．检查体位：手置任一平静位，拇指与手指伸展；
C．测量：测角器轴心对准测量的掌指关节上方，其一臂置于手背，另一臂置于测量手指背侧并与其纵轴平行；
D．正常活动范围：0°～90°。
（六）指间关节(interphalangeal joints)
伸－屈
A．活动面：矢状面；
B．检查体位：手置于任一平静位；
C．测量：测量器轴心对准被测量的关节上方，一臂置于近侧指背面，在最大限度屈曲和伸展位时记取读数；
D．正常活动范围：
近侧指间关节：0°～ 100°；
远侧指间关节：0～80°。
（七）拇指( thumb)
1．拇指桡侧外展；
A．活动面：在与手掌平行的平面上运动；
B．体位：手置于任一平静位，手指伸展；
C．测量：测量角轴心于腕掌关节，一臂在示指，另一臂在拇指，测两臂间夹角；
D．正常活动范围：0°～60°；
2．拇指尺侧内收：
A．活动面：在与手掌平行的平面上活动；
B．检查体位：手置于任一平面，手指伸展；
C．测量：测量角轴心及两臂位置同上；
D．正常活动范围：0°；
3．拇指掌侧外展：
A．活动面：矢状面；
B．检查体位：手置于任一平静位，手指外展；
C．测量：测量器轴心及两臂放置方法同前；
D．正常活动度：0°～90°；
4．拇指掌侧内收
A．活动面：矢状面；
B．检查体位：手置于任一平静面；
C．测量：方法同前；
D．正常活动度：0°；
5．拇指掌指关节屈曲
A．活动面：矢状面；
B．检查体位：手指伸展位，手置于任一平静位；
C．测量：测量器轴心置于掌指关节，一测量臂于第1掌骨，另一臂于拇指第1节；
D．正常活动度：0°～60°；
6．拇指掌指关节伸直
A．活动面：矢状面；
B．检查体位：同前；
C．测量：方法同前；
D．正常活动度：0°～10°；
7．拇指指间关节
伸-屈
A．活动面：矢状面；
B．检查体位：手指伸直位；
C．测量：测量器于指间关节，固定臂于拇指第一节，另一臂于拇指末节；
D．正常活动度：80°～0°～10°；
8．拇指对掌
A．活动面：在与手掌面平行的平面上活动；
B．检查体位：手置于任一平静位，手指伸展；
C．活动形式：此运动由外展、旋转、屈曲三种因素组成；
9．手指间运动
外展．内收在手掌面以中指为中心，指的离开运动为外展，合拢运动为内收。
（八）髋关节(hip joint)
1．屈-伸
A．活动面：矢状面；
B．检查体位：仰卧、侧卧或站立位；
C．测量：测量器轴心置于股骨大粗隆上，一臂于股骨纵轴平行位置，另一臂置于与躯干平行位置上；
D．正常活动度：
伸：0°～15°：
屈：伸膝时：0°～90°；屈膝时：0°～125°；
2．外展－内收
A．活动面：冠状面；
B．检查体位；仰卧或站立位；
C．测量：测量器轴心于髂前上棘，一臂置于股骨正中线，另一臂于两髂前上棘连线之垂线；
D．正常活动范围：外展：0°～45°；内收：0°～ 20°；
3．外旋－内旋
A．活动面：水平面；
B．检查体位：仰卧，在髋屈曲位测量时，髋和膝均要屈曲近90°；
C．测量：测量器的轴心对准膝关节，其双臂置于胫骨前面，与胫骨纵轴平行。当髋内旋或外旋时，测量器一臂置于胫前位置，另一臂则停留于原位置；
D．正常活动范围：内旋：0°～45°；外旋：0°～45°。
（九）膝关节( knee joint)
屈－伸
A．活动面：矢状面；
B．检查体位：可仰卧或坐在椅子或桌子边缘；
C．测量：测量器轴心对准膝关节外侧，一臂置于大腿外侧，与股骨纵轴平行，另一臂于小腿外侧，与胫骨纵轴平行；
D．正常活动范围：0°～130°。
（十）踝关节(ankle joint)
1．屈－伸（跖屈－背屈）
A．活动面：矢状面；
B．检查体位：可坐位或仰卧位，膝关节屈曲，以允许踝关节最大限度背屈；
C．测量：测量器轴心置于足底处的腓骨纵轴线上，一臂置于小腿外侧，另一臂与第5跖骨纵轴平行放置；
D．正常活动范围：背屈：0°～20°；跖屈：0°～45°；
2．内翻-外翻
A．活动面：冠状面；
B．检查体位：取坐位或仰卧位，踝关节呈中立位；
C．测量：测量器轴心置于足跟底，一臂置于踝内侧或外侧与小腿纵轴平行，另一臂置于足跖面（测量内翻时将测量器置于踝外侧，测量外翻时则反之）；
D．正常活动范围：内翻：30°，外翻：20°；
3．内收-外展
A．活动面：水平面；
B．检查体位：取坐位或仰卧位，关节中立位0°；
C．测量：前足部关节放置测量角轴心，一臂置于第1～2跖骨间的足轴，另一臂初始亦然，当内收和外展时随之活动，两臂夹角即为预测角。
（十一）足趾( toes)
1．足趾活动
A．活动面：矢状面；
B．检查体位：足趾中立位，患者取坐位或仰卧位；
C．测量：a．MP．轴心于MP关节，一臂于第1跖骨，另一臂于跖趾第1节；b．IP:轴心于IP关节，一臂于跖趾第1节，另一臂跖趾末节；
D．正常活动范围：MP：伸0°～ 60°，屈0°～ 35°；IP:伸0°，屈0°～60°；
2．足趾：
A．活动面：矢状面；
B．检查体位：取坐位，足趾中立位0°；
C．测量：MP：轴心于MP关节，一臂置于2～5跖骨，另一臂于第2～5趾第1节处；PIP：轴心于PIP关节，一臂于第2～5趾第1节，另一臂于第2～5第2节；DIP：轴心于DIP关节，一臂于第2～5趾第2节，另一臂于第2～5趾末节；
D．正常活动范围：MP：伸40°，屈0°～ 35 °；PIP:伸0°，屈0°～ 35°；DIP:伸0°，屈0°～50°。
（十二）腰椎关节(joint of lumbar vertebrae)
1．伸－屈：
A．活动面：矢状面；
B．检查体位：腰椎直立位；
C．测量：测量器轴心于L↓5椎体位置，一臂于L↓5垂线，另一臂于L↓5～C↓7连线上；
D．正常活动范围：前屈90°，后伸30°；
2．侧屈：
A．活动面：冠状面；
B．检查体位：腰部直立位；
C．测量：方法同伸-屈测量；
D．正常活动范围：左45°，右45°；
3．旋转：
A．活动面：水平面。
进一步地，在S200中，对视频数据进行目标检测的算法包括：yolo算法或者R-CNN算法。
进一步地，在S300中，标记出各个图像帧中目标为被测者的子区域中的活动部件，由每个图像帧中的活动部件构成一个与当前图像帧对应的活动部件集合的方法为：通过参考文献：《Wu B , Nevatia R . Detection of multiple, partially occluded humansin a single image by Bayesian combination of edgelet part detectors[C]//Tenth IEEE International Conference on Computer Vision. IEEE, 2005》中的方法标记出各个图像帧中目标为被测者的子区域中的活动部件，由每个图像帧中的活动部件构成一个与当前图像帧对应的活动部件集合。
进一步地，在S300中，标记出关键帧集合中各个图像帧中目标为被测者的子区域中的活动部件，由每个图像帧中的活动部件构成一个与当前图像帧对应的活动部件集合，并从活动部件集合中提取运动关键点的方法为以下步骤：
S301，设关键帧集合为CRI={framei1}，其中，framei1为关键帧集合CRI中第i1个图像帧，令N1为关键帧集合CRI中图像帧的数量，i1为变量，i1∈[1, N1]；令i1的初始值为1，i1为关键帧集合中图像帧的序号；对关键帧集合CRI中所有的图像帧进行灰度化并高斯滤波后的灰度图像进行边缘检测获取关键帧集合CRI中各个图像帧的边缘线，每个图像帧的各个边缘线构成封闭区域，由第i1个图像帧中所有的封闭区域构成集合Parti1={pati2}，pati2为集合Parti1中第i2个封闭区域，i2为变量，i2∈[1, N2]；令i2的初始值为1，N2为集合Parti1中封闭区域的数量；
S302，以pati2的几何中心点为封闭区域pati2的锚点，通过Shi-Tomasi角点检测算法检测pati2的各个角点，得到各个角点构成pati2的角点集合GR1={gri3}，gri3为pati2的角点集合GR1中第i3个角点；令N3为GR1中角点的数量，令i3的值为1，i3∈[1, N3]；
以图像帧framei1中封闭区域pati2的锚点为Anchor1，计算pati2的角点集合GR1中各个角点与Anchor1的欧式距离中的最大的距离值MaxDA1，计算pati2的角点集合GR1中各个角点与Anchor1的欧式距离中的最小的距离值MinDA1；
当关键帧集合CRI中存在图像帧framei1-1时，在图像帧framei1-1中在以锚点Anchor1的坐标为圆心、以MaxDA1为半径的扫描范围内搜索几何中心点在扫描范围中的封闭区域，将各个几何中心点在扫描范围中的封闭区域作为活动部件集合；framei1-1为关键帧集合CRI中第i1-1个图像帧；
当关键帧集合CRI中不存在图像帧framei1-1时，在图像帧framei1中在以锚点Anchor1的坐标为圆心、以MaxDA1为半径的扫描范围内搜索几何中心点在扫描范围中的封闭区域，将各个几何中心点在扫描范围中的封闭区域作为活动部件集合；
在活动部件集合中的封闭区域中，依次计算各个封闭区域的各个角点与对应封闭区域的几何中心点的欧式距离中的最大的距离值构成最大距离值集合MaxD，依次计算各个封闭区域的各个角点与对应封闭区域的几何中心点的欧式距离中的最小的距离值构成最小距离值集合minD；
则计算运动衡量值U1=(|AVG(MaxD)-MaxDA1|+|AVG(minD)-MinDA1|)÷2；其中，AVG()函数表示取集合中各个元素的算术平均值；
S303，从集合GR1中筛选出各个角点与锚点之间的欧氏距离DL满足活动条件的角点形成运动特征点集合；
活动条件为：
Figure 395306DEST_PATH_IMAGE001
， 其中，Disi4表示集合GR1中第i4个角点与当前角点的距离值，或者Disi4表示角点集合GR1中 第i4个角点与pati2的锚点之间的距离值，DL为当前角点与pati2的锚点之间的欧氏距离，U1 为运动衡量值；
S304，计算运动特征点集合中各个角点与锚点之间的欧氏距离的算术平均值BN；
计算锚点与各个角点的运动灰度差值k1：
Figure 109184DEST_PATH_IMAGE002
；
或者，计算锚点与各个角点的运动灰度差值k1为：将锚点与各个角点的运动灰度差值k1的值设置为锚点到各个角点的直线段，各个直线段上所有像素点的平均灰度值；
取运动灰度差值k1最小的值所对应的角点作为运动方向点；以锚点到运动方向点的方向作为运动方向；
其中，gr(i5)为运动特征点集合中第i5个点的灰度值，GA为锚点的灰度值，N4为运动特征点集合中的点的总数量，G(i5)为运动辨识函数；
G(i5)的值为:在以运动特征点集合中第i5个点为圆心、以BN为半径的范围内，当关键帧集合CRI中存在图像帧framei1+1时，如果存在任意一个图像帧framei1+1中的封闭区域的几何中心点，则G(i5)取值为1, 否则为0；当关键帧集合CRI中不存在图像帧framei1+1时，如果存在任意一个图像帧framei1中的封闭区域的几何中心点，则G(i5)取值为1, 否则为0；
S305，令封闭区域pati2的锚点到运动方向点的射线为LS，从pati2的锚点开始取射线LS上长度为Max(MaxD)+Max(minD)的线段LSD，其中，Max()函数表示取集合中各个元素的最大值；
S306，当LSD与集合Parti1中任意一个除了pati2之外的封闭区域存在交集时，记存在交集的封闭区域为patT，则标记pati2的锚点为运动关键点，并且标记所述封闭区域patT与pati2为互相连接的两个活动部件；
S307，当i2＜N2时，将变量i2的值增加1并转到步骤S302，当i2≥N2，将变量i2的值设置为1，将角点集合GR1中的元素清空并转到步骤S308；
S308，当i1＜N1时，将变量i1的值增加1，将角点集合GR1中的元素清空并转到步骤S302，当i1≥N1，转到步骤S309；
S309，输出各个运动关键点及其对应的各个互相连接的两个活动部件。
进一步地，在S400中，将获取的运动关键点的坐标位置映射回被测者活动的视频数据的图像帧从而得到的人体关键点坐标作为修正关键点坐标。
进一步地，在S400中，将运动关键点标记为人体关节运动的关键目点，包括照物部位、头部位、脚部位、臀部的根节点、头节点、左手腕、右手腕、左脚跟和右脚。
进一步地，还包括步骤S500，通过OpenPose模型识别人体关键点，将OpenPose模型识别得到的人体关键点的坐标重新设定为修正关键点坐标从而改变OpenPose模型识别得到的人体关键点的位置。
进一步地，还包括步骤S500，
将提取的运动关键点确定为人体关键点坐标，并显示在空间坐标系上；
分别用直线将所有的互相连接的两个活动部件中的运动关键点位置两两连接，分别形成第一关节轴以及第二关节轴；
计算所述第一关节轴以及第二关节轴之间的夹角，识别待测关节的活动方向。
优选地，在本公开的实施例中，一种人体关节运动关键点识别方法的C++语言的部分关键源代码如下：
#采集被测者活动的视频数据；
random_order = i2.random.permutation(numSample).tolist()；
isValidationArray = [framei1[i]['isValidation'] for i in range(numSample)]；
if(validation == 1):
totalWriteCount = isValidationArray.count(0.0);；
else:
totalWriteCount = len(framei1)；
print totalWriteCount；
writeCount = 0；
for count in range(numSample)；
#对视频数据进行目标检测；
if (framei1[i1]['isValidation'] != 0 and validation == 1)；
continue；
print os.path.join(path_header, framei1[i1]['img_paths'])；
img = cv2.imread(os.path.join(path_header, framei1[i1]['img_paths']))；
elif "MPI" in framei1[i1]['framei1set']:
img_i1 = framei1[i1]['img_paths'][-13:-3]；
height = img.shape[0]；
width = img.shape[1]；
if(width < 64):
width = 64；
meta_framei1 = i2.zeros(shape=(height,width,1), dtype=i2.uint8)；
for i in range(len(framei1[i1]['framei1set'])):
meta_framei1[i2][i] = ord(framei1[i1]['framei1set'][i])；
print 'type()=', type(ord(framei1[i1]['framei1set'][i]))；
#获取包含目标为被测者的子区域的各个图像帧作为关键帧集合
i2 = i2 + 1；
height_binary = float2bytes(framei1[i1]['img_height'])
for i in range(len(height_binary)):
meta_framei1[i2][i] = ord(height_binary[i])
width_binary = float2bytes(framei1[i1]['img_width'])
print 'type(width_binary)=',type(width_binary)
for i in range(len(width_binary)):
meta_framei1[i2][4+i] = ord(width_binary[i])
i2 = i2 + 1；
meta_framei1[i2][0] = framei1[i1]['isValidation']
meta_framei1[i2][1] = framei1[i1]['numOtherPeople']
meta_framei1[i2][2] = framei1[i1]['pati2']
print 'type() =', type(framei1[i1]['isValidation'])
# 标记出关键帧集合中各个图像帧中目标为被测者的子区域中的活动部件，
Anchor1_index_binary = float2bytes(framei1[i1]['Anchor1_index'])；
for i in range(len(Anchor1_index_binary))；
meta_framei1[i2][3+i] = ord(Anchor1_index_binary[i])；
count_binary = float2bytes(float(writeCount))；
for i in range(len(count_binary)):
meta_framei1[i2][7+i] = ord(count_binary[i])；
totalWriteCount_binary = float2bytes(float(totalWriteCount))；
for i in range(len(totalWriteCount_binary)):
meta_framei1[i2][11+i] = ord(totalWriteCount_binary[i])；
nop = int(framei1[i1]['numOtherPeople'])；
i2 = i2 + 1；
objpos_binary = float2bytes(framei1[i1]['objpos'])；
for i in range(len(objpos_binary)):
meta_framei1[i2][i] = ord(objpos_binary[i])；
i2 = i2 + 1；
scale_provided_binary = float2bytes(framei1[i1]['scale_provided'])；
for i in range(len(scale_provided_binary)):
meta_framei1[i2][i] = ord(scale_provided_binary[i])；
i2 = i2 + 1；
#由每个图像帧中的活动部件构成一个与当前图像帧对应的活动部件集合
joints = i2.asarray(framei1[i1]['joint_self']).T.tolist() # transposeto 3*16；
for i in range(len(joints)):
row_binary = float2bytes(joints[i])；
for j in range(len(row_binary)):
meta_framei1[i2][j] = ord(row_binary[j])；
i2 = i2 + 1；
if(nop!=0):
if(nop==1):
joint_other = [framei1[i1]['joint_others']]；
objpos_other = [framei1[i1]['objpos_other']]；
scale_provided_other = [framei1[i1]['scale_provided_other']]；
print 'joint_other=',joint_other；
else:
joint_other = framei1[i1]['joint_others']；
objpos_other = framei1[i1]['objpos_other']；
scale_provided_other = framei1[i1]['scale_provided_other']；
print 'joint_others2 =', joint_other；
for i in range(nop):
objpos_binary = float2bytes(objpos_other[i])；
for j in range(len(objpos_binary)):
meta_framei1[i2][j] = ord(objpos_binary[j])；
i2 = i2 + 1；
scale_provided_other_binary = float2bytes(scale_provided_other)；
for j in range(len(scale_provided_other_binary)):
meta_framei1[i2][j] = ord(scale_provided_other_binary[j])；
i2 = i2 + 1；
#从活动部件集合中提取运动关键点；
for n in range(nop):
joints = i2.asarray(joint_other[n]).T.tolist() # transpose to 3*16；
print 'joints=',joints；
print 'joint_other[n]=', joint_other[n]；
for i in range(len(joints)):
row_binary = float2bytes(joints[i])；
for j in range(len(row_binary)):
meta_framei1[i2][j] = ord(row_binary[j])；
i2 = i2 + 1；
img4ch = i2.concatenate((img, meta_framei1, mask_miss[...,None],mask_all[...,None]), axis=2)；
elif "MPI" in framei1[i1]['framei1set']:
img4ch = i2.concatenate((img, meta_framei1, mask_miss[...,None]),axis=2)。
本发明的实施例提供的一种人体关节运动关键点识别系统，如图2所示为本发明的一种人体关节运动关键点识别系统结构图，该实施例的一种人体关节运动关键点识别系统包括：处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述一种人体关节运动关键点识别系统实施例中的步骤。
所述系统包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序运行在以下系统的单元中：
数据采集单元，用于采集被测者活动的视频数据；
关键帧集合提取单元，用于对视频数据进行目标检测，获取包含目标为被测者的子区域的各个图像帧作为关键帧集合；
运动关键点提取单元，用于标记出关键帧集合中各个图像帧中目标为被测者的子区域中的活动部件，由每个图像帧中的活动部件构成一个与当前图像帧对应的活动部件集合，并从活动部件集合中提取运动关键点；
关键点确定单元，用于根据提取的运动关键点确定为人体关键点坐标。
所述一种人体关节运动关键点识别系统可以运行于桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备中。所述一种人体关节运动关键点识别系统，可运行的系统可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，所述例子仅仅是一种人体关节运动关键点识别系统的示例，并不构成对一种人体关节运动关键点识别系统的限定，可以包括比例子更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述一种人体关节运动关键点识别系统还可以包括输入输出设备、网络接入设备、总线等。
所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列 (Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述一种人体关节运动关键点识别系统运行系统的控制中心，利用各种接口和线路连接整个一种人体关节运动关键点识别系统可运行系统的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述一种人体关节运动关键点识别系统的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如声音播放功能、图像播放功能等）等；存储数据区可存储根据手机的使用所创建的数据（比如音频数据、电话本等）等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡（Smart Media Card, SMC），安全数字（SecureDigital, SD）卡，闪存卡（Flash Card）、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
尽管本发明的描述已经相当详尽且特别对几个所述实施例进行了描述，但其并非旨在局限于任何这些细节或实施例或任何特殊实施例，从而有效地涵盖本发明的预定范围。此外，上文以发明人可预见的实施例对本发明进行描述，其目的是为了提供有用的描述，而那些目前尚未预见的对本发明的非实质性改动仍可代表本发明的等效改动。

Claims (10)

1.一种人体关节运动关键点识别方法，其特征在于，所述方法包括以下步骤：
S100，采集被测者活动的视频数据；
S200，对视频数据进行目标检测，获取包含目标为被测者的子区域的各个图像帧作为关键帧集合；
S300，标记出关键帧集合中各个图像帧中目标为被测者的子区域中的活动部件，由每个图像帧中的活动部件构成一个与当前图像帧对应的活动部件集合，并从活动部件集合中提取运动关键点；
S400，根据提取的运动关键点确定人体关键点坐标；
其中，标记出关键帧集合中各个图像帧中目标为被测者的子区域中的活动部件的方法为以下步骤：
对关键帧集合中所有的图像帧进行灰度化并高斯滤波后的灰度图像进行边缘检测获取关键帧集合中各个图像帧的边缘线，由每个图像帧的各个边缘线构成封闭区域，获得每个图像帧的中封闭区域构成的封闭区域集合；
在封闭区域集合中，以各个封闭区域的几何中心点作为各个封闭区域的锚点，通过Shi-Tomasi角点检测算法检测各个封闭区域的各个角点，每个封闭区域都得到各个角点构成的对应的角点集合；在各个图像帧中，以各个封闭区域的锚点为Anchor1，计算各个封闭区域的角点集合中各个角点与Anchor1的欧式距离中的最大的距离值MaxDA1，计算各个封闭区域的角点集合中各个角点与Anchor1的欧式距离中的最小的距离值MinDA1；
当关键帧集合中当前图像帧存在前一个图像帧时，在前一个图像帧中，各个封闭区域以自身的锚点Anchor1的坐标为圆心、以对应的MaxDA1为半径的扫描范围内搜索几何中心点在扫描范围中的封闭区域，将各个几何中心点在扫描范围中的封闭区域作为活动部件集合；
当关键帧集合中当前图像帧不存在前一个图像帧时，在当前图像帧中，各个封闭区域以自身的锚点Anchor1的坐标为圆心、以MaxDA1为半径的扫描范围内搜索几何中心点在扫描范围中的封闭区域，将各个几何中心点在扫描范围中的封闭区域作为活动部件集合。
2.根据权利要求1所述的一种人体关节运动关键点识别方法，其特征在于，在S100中，被测者活动的视频为由用户拍摄的包含被测者完整活动周期的关节活动的影像；其中，被测者完整活动周期的关节活动为被测者按照待测关节活动的预设规范进行的待测关节活动,待测关节活动的医学规范包括踝关节背屈活动、坐姿状态下双腿各以90度的角度交替转体髋关节、挺胸打开胸腔维持胸椎活动、进行多方位绕肩关节活动中任意一种或多种活动。
3.根据权利要求1所述的一种人体关节运动关键点识别方法，其特征在于，在S300中，由每个图像帧中的活动部件构成一个与当前图像帧对应的活动部件集合的方法为以下步骤：
在活动部件集合中的封闭区域中，依次计算各个封闭区域的各个角点与对应封闭区域的几何中心点的欧式距离中的最大的距离值构成最大距离值集合MaxD，依次计算各个封闭区域的各个角点与对应封闭区域的几何中心点的欧式距离中的最小的距离值构成最小距离值集合minD；计算运动衡量值U1=(|AVG(MaxD)-MaxDA1|+|AVG(minD)-MinDA1|)÷2；其中，AVG()函数表示取集合中各个元素的算术平均值；
从各个封闭区域的角点集合中筛选出各个角点与锚点之间的欧氏距离DL满足活动条件的角点形成运动特征点集合，或者从各个封闭区域的角点集合中筛选出各个角点与锚点之间的欧氏距离DL大于或等于所有各个角点与锚点之间的欧氏距离DL的平均值的角点形成运动特征点集合。
4.根据权利要求3所述的一种人体关节运动关键点识别方法，其特征在于，在S300中，
活动条件为：
Figure 9328DEST_PATH_IMAGE001
，其中， Disi4表示角点集合中第i4个角点与当前角点的距离值，或者Disi4表示角点集合中第i4个 角点与封闭区域的锚点的距离值，DL为当前角点与封闭区域的锚点之间的欧氏距离，N3为 角点集合中角点的数量，i4为累加变量，i4∈[1,N3]。
5.根据权利要求3所述的一种人体关节运动关键点识别方法，其特征在于，在S300中，从活动部件集合中提取运动关键点的方法为以下步骤：
在封闭区域中，计算运动特征点集合中各个角点与锚点之间的欧氏距离的算术平均值BN；
计算锚点与各个角点的运动灰度差值k1：
Figure 201275DEST_PATH_IMAGE002
；其中，gr (i5)为运动特征点集合中第i5个点的灰度值，GA为锚点的灰度值，N4为运动特征点集合中 的点的总数量，G(i5)的值取0或1，i5为累加变量，i5∈[1,N4]；
取运动灰度差值k1最小的值所对应的角点作为运动方向点；以锚点到运动方向点的方向作为运动方向；令封闭区域的锚点到运动方向点的射线为LS，从封闭区域的锚点开始取射线LS上长度为Max(MaxD)+Max(minD)的线段LSD，其中，Max()函数表示取集合中各个元素的最大值；
当LSD与活动部件集合中任意一个除了当前封闭区域之外的封闭区域存在交集时，记存在交集的封闭区域为patT，则标记当前封闭区域的锚点为运动关键点，并且标记所述封闭区域patT与当前封闭区域为互相连接的两个活动部件。
6.根据权利要求5所述的一种人体关节运动关键点识别方法，其特征在于，G(i5)取值的方法为:当关键帧集合中当前图像帧存在后一个图像帧时，在以运动特征点集合中第i5个点为圆心、以BN为半径的范围内，如果有任意一个后一个图像帧中的封闭区域的几何中心点在所述范围内，则G(i5)取值为1, 否则为0；在以运动特征点集合中第i5个点为圆心、以BN为半径的范围内，当关键帧集合中当前图像帧不存在后一个图像帧时，如果有任意一个当前图像帧中的封闭区域的几何中心点在所述范围内，则G(i5)取值为1, 否则为0。
7.根据权利要求1所述的一种人体关节运动关键点识别方法，其特征在于，在S400中，将获取的运动关键点的坐标位置映射回被测者活动的视频数据的图像帧从而得到的人体关键点坐标作为修正关键点坐标。
8.根据权利要求5所述的一种人体关节运动关键点识别方法，其特征在于，还包括步骤S500，通过OpenPose模型识别人体关键点，将OpenPose模型识别得到的人体关键点的坐标重新设定为修正关键点坐标从而改变OpenPose模型识别得到的人体关键点的位置。
9.根据权利要求1所述的一种人体关节运动关键点识别方法，其特征在于，还包括步骤S500，将提取的运动关键点确定为人体关键点坐标，并显示在空间坐标系上；分别用直线将所有的互相连接的两个活动部件中的运动关键点位置两两连接，分别形成第一关节轴以及第二关节轴；计算所述第一关节轴以及第二关节轴之间的夹角，识别待测关节的活动方向。
10.一种人体关节运动关键点识别系统，其特征在于，所述一种人体关节运动关键点识别系统包括：处理器、存储器及存储在所述存储器中并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现权利要求1中的一种人体关节运动关键点识别方法中的步骤，所述一种人体关节运动关键点识别系统可以运行于桌上型计算机、笔记本、掌上电脑及云端数据中心的计算设备中。
CN202111335926.2A 2021-11-12 2021-11-12 一种人体关节运动关键点识别方法及系统 Active CN113780253B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111335926.2A CN113780253B (zh) 2021-11-12 2021-11-12 一种人体关节运动关键点识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111335926.2A CN113780253B (zh) 2021-11-12 2021-11-12 一种人体关节运动关键点识别方法及系统

Publications (2)

Publication Number Publication Date
CN113780253A true CN113780253A (zh) 2021-12-10
CN113780253B CN113780253B (zh) 2022-02-18

Family

ID=78957057

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111335926.2A Active CN113780253B (zh) 2021-11-12 2021-11-12 一种人体关节运动关键点识别方法及系统

Country Status (1)

Country Link
CN (1) CN113780253B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114795192A (zh) * 2022-07-01 2022-07-29 佛山科学技术学院 一种关节活动度智能检测方法及系统

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105678792A (zh) * 2016-02-25 2016-06-15 中南大学 一种人体轮廓提取方法及系统
GB201703914D0 (en) * 2017-03-10 2017-04-26 Thirdeye Labs Ltd Action identification using neural networks
EP3274912A1 (en) * 2015-03-26 2018-01-31 Biomet Manufacturing, LLC Method and system for planning and performing arthroplasty procedures using motion-capture data
CN108510491A (zh) * 2018-04-04 2018-09-07 深圳市未来媒体技术研究院 虚化背景下人体骨骼关键点检测结果的过滤方法
US20190102908A1 (en) * 2017-10-04 2019-04-04 Nvidia Corporation Iterative spatio-temporal action detection in video
CN110147717A (zh) * 2019-04-03 2019-08-20 平安科技（深圳）有限公司 一种人体动作的识别方法及设备
CN110532873A (zh) * 2019-07-24 2019-12-03 西安交通大学 一种联合人体检测与姿态估计的深度网络学习方法
CN111680562A (zh) * 2020-05-09 2020-09-18 北京中广上洋科技股份有限公司 一种基于骨骼关键点的人体姿态识别方法、装置、存储介质及终端
WO2020232069A1 (en) * 2019-05-15 2020-11-19 Northeastern University Video 2d multi-person pose estimation using multi-frame refinement and optimization
CN112258555A (zh) * 2020-10-15 2021-01-22 佛山科学技术学院 实时姿态估计运动分析方法、系统、计算机设备及存储介质
CN112560817A (zh) * 2021-02-22 2021-03-26 西南交通大学 人体动作识别方法、装置、电子设备及存储介质
US20210110146A1 (en) * 2019-10-15 2021-04-15 Fujitsu Limited Action recognition method and apparatus and electronic equipment

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3274912A1 (en) * 2015-03-26 2018-01-31 Biomet Manufacturing, LLC Method and system for planning and performing arthroplasty procedures using motion-capture data
CN105678792A (zh) * 2016-02-25 2016-06-15 中南大学 一种人体轮廓提取方法及系统
GB201703914D0 (en) * 2017-03-10 2017-04-26 Thirdeye Labs Ltd Action identification using neural networks
US20190102908A1 (en) * 2017-10-04 2019-04-04 Nvidia Corporation Iterative spatio-temporal action detection in video
CN108510491A (zh) * 2018-04-04 2018-09-07 深圳市未来媒体技术研究院 虚化背景下人体骨骼关键点检测结果的过滤方法
CN110147717A (zh) * 2019-04-03 2019-08-20 平安科技（深圳）有限公司 一种人体动作的识别方法及设备
WO2020232069A1 (en) * 2019-05-15 2020-11-19 Northeastern University Video 2d multi-person pose estimation using multi-frame refinement and optimization
CN110532873A (zh) * 2019-07-24 2019-12-03 西安交通大学 一种联合人体检测与姿态估计的深度网络学习方法
US20210110146A1 (en) * 2019-10-15 2021-04-15 Fujitsu Limited Action recognition method and apparatus and electronic equipment
CN111680562A (zh) * 2020-05-09 2020-09-18 北京中广上洋科技股份有限公司 一种基于骨骼关键点的人体姿态识别方法、装置、存储介质及终端
CN112258555A (zh) * 2020-10-15 2021-01-22 佛山科学技术学院 实时姿态估计运动分析方法、系统、计算机设备及存储介质
CN112560817A (zh) * 2021-02-22 2021-03-26 西南交通大学 人体动作识别方法、装置、电子设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
吕洁等: "基于深度图像的人体关节点定位方法", 《海军航空工程学院学报》 *
黄文柱 等: "基于虚拟现实的康复医学模式", 《医学与哲学(B)》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114795192A (zh) * 2022-07-01 2022-07-29 佛山科学技术学院 一种关节活动度智能检测方法及系统
CN114795192B (zh) * 2022-07-01 2022-09-16 佛山科学技术学院 一种关节活动度智能检测方法及系统

Also Published As

Publication number Publication date
CN113780253B (zh) 2022-02-18

Similar Documents

Publication Publication Date Title
CN110969114B (zh) 一种人体动作功能检测系统、检测方法及检测仪
Smeragliuolo et al. Validation of the Leap Motion Controller using markered motion capture technology
Cerveri et al. Finger kinematic modeling and real-time hand motion estimation
Cerveri et al. Robust recovery of human motion from video using Kalman filters and virtual humans
WO2017014294A1 (ja) 歩行解析方法および歩行解析システム
US11571146B2 (en) Rotation monitoring system and method
Cereatti et al. Hip joint centre location: an ex vivo study
CN113780253B (zh) 一种人体关节运动关键点识别方法及系统
Vox et al. Preprocessing and normalization of 3d-skeleton-data for human motion recognition
Trinler et al. Estimated landmark calibration of biomechanical models for inverse kinematics
Maharaj et al. Modelling the complexity of the foot and ankle during human locomotion: the development and validation of a multi-segment foot model using biplanar videoradiography
Chen et al. IMU-based estimation of lower limb motion trajectory with graph convolution network
Metcalf et al. Quantifying soft tissue artefacts and imaging variability in motion capture of the fingers
US11694360B2 (en) Calibrating 3D motion capture system for skeletal alignment using x-ray data
CN111820902B (zh) 一种基于活动度特征的踝关节韧带损伤智能决策系统
Nichols et al. Decoupling the wrist: A cadaveric experiment examining wrist kinematics following midcarpal fusion and scaphoid excision
Cejnog et al. Hand range of motion evaluation for Rheumatoid Arthritis patients
Ball et al. Modeling of the pliant surfaces of the thigh and leg during gait
Curran et al. Three-dimensional functional workspace of thumb prehension
Suzuki et al. A simple algorithm for assimilating marker-based motion capture data during periodic human movement into models of multi-rigid-body systems
Bakke et al. Shape-model scaled gait models can neglect segment markers without consequential change to inverse kinematics results
Kanko et al. Comparison of Concurrent and Asynchronous Running Kinematics and Kinetics From Marker-Based and Markerless Motion Capture Under Varying Clothing Conditions
JP2017158644A (ja) 測定装置、測定方法及び測定プログラム
JP7455991B2 (ja) 情報処理装置、および情報処理方法
Lahkar et al. Description, development and dissemination of two consistent marker-based and markerless multibody models

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Huang Feng

Inventor after: Wang Heng

Inventor after: Xu Shuoyu

Inventor after: Liu Rui

Inventor after: Chen Guiping

Inventor after: Chen Peiyuan

Inventor after: Sun Xueyang

Inventor after: Fang Xinying

Inventor after: Kong Liuni

Inventor after: Hong Huaxu

Inventor before: Huang Feng

Inventor before: Wang Heng

Inventor before: Xu Shuoyu

Inventor before: Liu Rui

Inventor before: Chen Guiping

Inventor before: Chen Peiyuan

Inventor before: Sun Xueyang

Inventor before: Fang Xinying

Inventor before: Kong Liuni

Inventor before: Hong Huaxu

GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20211210

Assignee: Guangdong KEGU Laboratory Technology Research Institute (L.P.)

Assignor: FOSHAN University

Contract record no.: X2022990000659

Denomination of invention: A method and system for identifying key points of human joint motion

Granted publication date: 20220218

License type: Common License

Record date: 20220921

EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20211210

Assignee: Alway (Guangzhou) Biomedical Technology Co.,Ltd.

Assignor: FOSHAN University

Contract record no.: X2022980018388

Denomination of invention: A method and system for identifying key points of human joint motion

Granted publication date: 20220218

License type: Common License

Record date: 20221014

EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20211210

Assignee: GUANGZHOU JUENUO MEDICAL EQUIPMENT CO.,LTD.

Assignor: FOSHAN University

Contract record no.: X2022990000864

Denomination of invention: A method and system for identifying key points of human joint motion

Granted publication date: 20220218

License type: Common License

Record date: 20221031

EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20211210

Assignee: Shenzhen Yinyou Magic Square Technology Co.,Ltd.

Assignor: FOSHAN University

Contract record no.: X2022980025748

Denomination of invention: A method and system for identifying key points of human joint motion

Granted publication date: 20220218

License type: Common License

Record date: 20221210

Application publication date: 20211210

Assignee: Shenzhen Bangqi Technology Innovation Co.,Ltd.

Assignor: FOSHAN University

Contract record no.: X2022980025802

Denomination of invention: A method and system for identifying key points of human joint motion

Granted publication date: 20220218

License type: Common License

Record date: 20221210

Application publication date: 20211210

Assignee: Shenzhen Huajing Qicai Technology Co.,Ltd.

Assignor: FOSHAN University

Contract record no.: X2022980025787

Denomination of invention: A method and system for identifying key points of human joint motion

Granted publication date: 20220218

License type: Common License

Record date: 20221210

Application publication date: 20211210

Assignee: Shenzhen Hongyun Information Technology Co.,Ltd.

Assignor: FOSHAN University

Contract record no.: X2022980025385

Denomination of invention: A method and system for identifying key points of human joint motion

Granted publication date: 20220218

License type: Common License

Record date: 20221210

EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20211210

Assignee: Shenzhen gongyifu Electronic Technology Co.,Ltd.

Assignor: FOSHAN University

Contract record no.: X2023980034257

Denomination of invention: A Method and System for Identifying Key Points in Human Joint Motion

Granted publication date: 20220218

License type: Common License

Record date: 20230403

Application publication date: 20211210

Assignee: Shenzhen Wanlian Xinneng Technology Co.,Ltd.

Assignor: FOSHAN University

Contract record no.: X2023980034283

Denomination of invention: A Method and System for Identifying Key Points in Human Joint Motion

Granted publication date: 20220218

License type: Common License

Record date: 20230403

Application publication date: 20211210

Assignee: Shenzhen Yikeai Health Industry Co.,Ltd.

Assignor: FOSHAN University

Contract record no.: X2023980034378

Denomination of invention: A Method and System for Identifying Key Points in Human Joint Motion

Granted publication date: 20220218

License type: Common License

Record date: 20230403

EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20211210

Assignee: SHENZHEN JINHONG WIRELESS TECHNOLOGY CO.,LTD.

Assignor: FOSHAN University

Contract record no.: X2023980034312

Denomination of invention: A Method and System for Identifying Key Points in Human Joint Motion

Granted publication date: 20220218

License type: Common License

Record date: 20230404

Application publication date: 20211210

Assignee: Shenzhen dabaoguang Electronic Technology Co.,Ltd.

Assignor: FOSHAN University

Contract record no.: X2023980034293

Denomination of invention: A Method and System for Identifying Key Points in Human Joint Motion

Granted publication date: 20220218

License type: Common License

Record date: 20230404

Application publication date: 20211210

Assignee: Shenzhen Yibai Industrial Co.,Ltd.

Assignor: FOSHAN University

Contract record no.: X2023980034314

Denomination of invention: A Method and System for Identifying Key Points in Human Joint Motion

Granted publication date: 20220218

License type: Common License

Record date: 20230404

EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20211210

Assignee: SHENZHEN ZHIHUA TECHNOLOGY DEVELOPMENT Co.,Ltd.

Assignor: FOSHAN University

Contract record no.: X2023980034471

Denomination of invention: A Method and System for Identifying Key Points in Human Joint Motion

Granted publication date: 20220218

License type: Common License

Record date: 20230406

Application publication date: 20211210

Assignee: Shenzhen Silk Road Shichuang Technology Co.,Ltd.

Assignor: FOSHAN University

Contract record no.: X2023980034422

Denomination of invention: A Method and System for Identifying Key Points in Human Joint Motion

Granted publication date: 20220218

License type: Common License

Record date: 20230404

EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20211210

Assignee: Tianhui Intelligent Technology (Guangzhou) Co.,Ltd.

Assignor: FOSHAN University

Contract record no.: X2023980037313

Denomination of invention: A Method and System for Identifying Key Points in Human Joint Motion

Granted publication date: 20220218

License type: Common License

Record date: 20230630

Application publication date: 20211210

Assignee: GUANGZHOU RANSHAO MEDICAL TECHNOLOGY DEVELOPMENT CO.,LTD.

Assignor: FOSHAN University

Contract record no.: X2023980037204

Denomination of invention: A Method and System for Identifying Key Points in Human Joint Motion

Granted publication date: 20220218

License type: Common License

Record date: 20230630

Application publication date: 20211210

Assignee: Dongguan Xuanyu Technology Co.,Ltd.

Assignor: FOSHAN University

Contract record no.: X2023980037399

Denomination of invention: A Method and System for Identifying Key Points in Human Joint Motion

Granted publication date: 20220218

License type: Common License

Record date: 20230703

Application publication date: 20211210

Assignee: GUANGZHOU YIDE INTELLIGENT TECHNOLOGY Co.,Ltd.

Assignor: FOSHAN University

Contract record no.: X2023980037317

Denomination of invention: A Method and System for Identifying Key Points in Human Joint Motion

Granted publication date: 20220218

License type: Common License

Record date: 20230630

Application publication date: 20211210

Assignee: GUANGZHOU ZHENGSHENG SOFTWARE TECHNOLOGY DEVELOPMENT Co.,Ltd.

Assignor: FOSHAN University

Contract record no.: X2023980037318

Denomination of invention: A Method and System for Identifying Key Points in Human Joint Motion

Granted publication date: 20220218

License type: Common License

Record date: 20230630

Application publication date: 20211210

Assignee: Guangzhou kechuanglian Network Technology Co.,Ltd.

Assignor: FOSHAN University

Contract record no.: X2023980037163

Denomination of invention: A Method and System for Identifying Key Points in Human Joint Motion

Granted publication date: 20220218

License type: Common License

Record date: 20230630

Application publication date: 20211210

Assignee: Dongguan Yijin Trading Co.,Ltd.

Assignor: FOSHAN University

Contract record no.: X2023980037392

Denomination of invention: A Method and System for Identifying Key Points in Human Joint Motion

Granted publication date: 20220218

License type: Common License

Record date: 20230703

EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20211210

Assignee: Changhong (Guangzhou) Information Technology Co.,Ltd.

Assignor: FOSHAN University

Contract record no.: X2023980043906

Denomination of invention: A Method and System for Identifying Key Points in Human Joint Motion

Granted publication date: 20220218

License type: Common License

Record date: 20231019

Application publication date: 20211210

Assignee: Guangzhou xuzhuo Technology Co.,Ltd.

Assignor: FOSHAN University

Contract record no.: X2023980043904

Denomination of invention: A Method and System for Identifying Key Points in Human Joint Motion

Granted publication date: 20220218

License type: Common License

Record date: 20231019

Application publication date: 20211210

Assignee: Guangzhou Shangqing Intelligent Technology Co.,Ltd.

Assignor: FOSHAN University

Contract record no.: X2023980043903

Denomination of invention: A Method and System for Identifying Key Points in Human Joint Motion

Granted publication date: 20220218

License type: Common License

Record date: 20231019

Application publication date: 20211210

Assignee: Guangzhou Ruijie Intelligent Technology Co.,Ltd.

Assignor: FOSHAN University

Contract record no.: X2023980043900

Denomination of invention: A Method and System for Identifying Key Points in Human Joint Motion

Granted publication date: 20220218

License type: Common License

Record date: 20231019

Application publication date: 20211210

Assignee: Guangzhou Daguan Digital Technology Co.,Ltd.

Assignor: FOSHAN University

Contract record no.: X2023980043899

Denomination of invention: A Method and System for Identifying Key Points in Human Joint Motion

Granted publication date: 20220218

License type: Common License

Record date: 20231019

Application publication date: 20211210

Assignee: Guangzhou nuobi Electronic Technology Co.,Ltd.

Assignor: FOSHAN University

Contract record no.: X2023980043898

Denomination of invention: A Method and System for Identifying Key Points in Human Joint Motion

Granted publication date: 20220218

License type: Common License

Record date: 20231019

EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20211210

Assignee: GUANGZHOU XINGYIN TECHNOLOGY Co.,Ltd.

Assignor: FOSHAN University

Contract record no.: X2023980044827

Denomination of invention: A Method and System for Identifying Key Points in Human Joint Motion

Granted publication date: 20220218

License type: Common License

Record date: 20231027

Application publication date: 20211210

Assignee: GUANGZHOU HUAJUE BIOTECHNOLOGY CO.,LTD.

Assignor: FOSHAN University

Contract record no.: X2023980044823

Denomination of invention: A Method and System for Identifying Key Points in Human Joint Motion

Granted publication date: 20220218

License type: Common License

Record date: 20231027

Application publication date: 20211210

Assignee: GUANGZHOU SHANGCHENG TECHNOLOGY Co.,Ltd.

Assignor: FOSHAN University

Contract record no.: X2023980044821

Denomination of invention: A Method and System for Identifying Key Points in Human Joint Motion

Granted publication date: 20220218

License type: Common License

Record date: 20231027

EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20211210

Assignee: Chongqing Baiyi medical supplies Co.,Ltd.

Assignor: FOSHAN University

Contract record no.: X2023980048326

Denomination of invention: A method and system for identifying key points in human joint motion

Granted publication date: 20220218

License type: Common License

Record date: 20231124

EE01 Entry into force of recordation of patent licensing contract
EC01 Cancellation of recordation of patent licensing contract
EC01 Cancellation of recordation of patent licensing contract

Assignee: Guangdong KEGU Laboratory Technology Research Institute (L.P.)

Assignor: FOSHAN University

Contract record no.: X2022990000659

Date of cancellation: 20240408

EC01 Cancellation of recordation of patent licensing contract

Assignee: Shenzhen Yinyou Magic Square Technology Co.,Ltd.

Assignor: FOSHAN University

Contract record no.: X2022980025748

Date of cancellation: 20240426