CN110969114A - 一种人体动作功能检测系统、检测方法及检测仪 - Google Patents

一种人体动作功能检测系统、检测方法及检测仪 Download PDF

Info

Publication number
CN110969114A
CN110969114A CN201911191695.5A CN201911191695A CN110969114A CN 110969114 A CN110969114 A CN 110969114A CN 201911191695 A CN201911191695 A CN 201911191695A CN 110969114 A CN110969114 A CN 110969114A
Authority
CN
China
Prior art keywords
joint
coordinate
dimensional vector
joint point
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911191695.5A
Other languages
English (en)
Other versions
CN110969114B (zh
Inventor
虞亚明
罗小兵
沈海
高丕明
周文琪
胡肄民
吴林飞
周杨诗宇
刘闯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tiantai Pukang Wuhan Technology Co Ltd
SICHUAN ORTHOPAEDIC HOSPITAL
Original Assignee
Tiantai Pukang Wuhan Technology Co Ltd
SICHUAN ORTHOPAEDIC HOSPITAL
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tiantai Pukang Wuhan Technology Co Ltd, SICHUAN ORTHOPAEDIC HOSPITAL filed Critical Tiantai Pukang Wuhan Technology Co Ltd
Priority to CN201911191695.5A priority Critical patent/CN110969114B/zh
Publication of CN110969114A publication Critical patent/CN110969114A/zh
Application granted granted Critical
Publication of CN110969114B publication Critical patent/CN110969114B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Health & Medical Sciences (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明属于人体数据识别技术领域，公开了一种人体动作功能检测系统、检测方法及检测仪，数据采集模块采用深度摄像设备获取人体运动的视频；骨骼节点位置获取模块用于建立分析用的简易人体骨骼模型，并获取人体骨骼的空间坐标数据；数据计算模块用于根据骨骼数据中的各个坐标点的深度位置得到各个关节点之间的空间数据；姿势库匹配模块用于将空间数据与经过大量数据样本进行机器学习而得到的姿势库模板进行匹配；肢体运动识别模块用于进行肢体识别。本发明开创性的实现了举手深蹲、站立体前屈、侧屈等功能动作检测中多部位运动数据的同步检测，实现了功能动作检测数据的定量化。

Description

一种人体动作功能检测系统、检测方法及检测仪
技术领域
本发明属于人体数据识别技术领域，尤其涉及一种人体动作功能检测系统、检测方法及检测仪。
背景技术
目前，业内常用的现有技术是这样的：现有技术研究证实，运动功能的下降、异常和运动损伤的发 生发展存在一定的相关性：
肩峰撞击综合征、肩袖损伤患者胸大、胸小肌紧张程度均高于健康人，同时其背部浅表层肌肉(如 斜方肌、菱形肌、背阔肌等)则呈现力弱、肌肉拉长等特点；非特异性腰痛、腰椎间盘突出等腰椎伤病的 患者则表现出多裂肌、腹横肌、腹斜肌无力、体积减小等特点，而膝关节交叉韧带损伤、膝前痛则与臀外 展肌群力量下降、股直肌紧张等因素高度相关，因此，在以评估运动损伤风险为目的的健康运动体检中， 设计相关检测，评估以上因素就显得十分重要。
目前，人体测量、超声、核磁检查等可以测量肌肉长度，而相关肌肉的力量及激活情况则可通过等 长或等速肌力测试、表面肌电测试等完成，动作捕捉测试系统则可完成复杂动作中人体的运动学分析，但 以上测试一次只能测试一个部位，耗时较长，经济成本较高，且无法进行多部位运动数据的同步测试，尤 其无法在筛查性体检中大规模使用；因此，通常通过若干静态体姿和功能动作对受检者的运动风险进行筛 查、评估，如上文提及的胸大肌、胸小肌紧张常与背部肌肉力弱同时存在，此类人群表现出“圆肩”、“驼 背”等体态特征，被称为“上交叉综合征”；与腰部疼痛高度相关的腹肌、臀肌无力则常与髂腰肌紧张同时存在，此时受检者多表现为骨盆前倾体态，被称为“下交叉综合征”；通过如深蹲等的功能动作测试， 也可对受检者运动功能进行筛查评估，在该动作中，如出现双膝内扣，则提示受检者可能存在髋外展肌力 不足的情况，矢状面膝关节超过足尖则提示臀大肌激活不足。
目前人体行为检测技术可以归类为三维运动捕捉技术，从捕获方式上讲可以分为非视觉和基于视觉 的两类。与非视觉式的动作捕捉系统不同，基于视觉的动作捕捉系统采用光学元件来感知人体的动作，通 常有带标记点式和无标记点式两种方式。VICON就是一套已被广泛应用的标记点式的动作捕捉系统，有 研究使用它进行了人体步态识别与分析相关方面的研究工作。这种系统具有较高的精度，但它往往只能在 专门的环境中使用，人体需要穿戴特设的装备，过程繁琐，费用高昂。而无标记点式系统则无需额外的标 记点辅助即可实现人体动作跟踪，它成功地克服了标记点式系统所带来的一些问题。传统的无标记点式系 统采用多台同步摄像机利用多目视觉技术进行动作跟踪与捕捉，如利用多视角录像机解决了两个彼此交互 重叠的人体对象的骨骼跟踪重建问题，有研究分别在虚拟环境和实验室环境下采用16/8台摄像机来跟踪 人体的运动信息。可想而知，同时采用多台摄像机的动作捕捉系统的成本仍然很高，其对特殊环境的依赖 性依然很强。并且以上检测手段一次只能测试一个部位，耗时较长，经济成本较高，且没有实现多部位运 动数据的同步测试，无法满足大规模筛查性体检中对体姿体态及动作模式检测的简便、快捷的需求。
综上所述，现有技术存在的问题是：(1)现有标记点式人体行为检测技术往往只能在专门的环境中 使用，人体需要穿戴特设的装备，过程繁琐，费用高昂。
(2)现有非标记点式人体行为检测技术成本也很高，对特殊环境的依赖性依然很强；并且以上检测 手段一次只能测试一个部位，耗时较长，经济成本较高，且没有实现多部位运动数据的同步测试，无法满 足大规模筛查性体检中对体姿体态及动作模式检测的简便、快捷的需求。
(3)但当前尚无可定量、快速检测功能动作检查快速筛查受检者运动功能异常的手段和方法。原因 如下：
行业内没有体姿体态、主要关节活动度、动态检测的检测标准。大多数以定性、主观判断为主。
行业内静态检测领域有不少公司已经做到了相应的检测产品，但是动态检测的产品没有。动态检测 的难点在于人体模型的构建以及高精度的动态人体识别算法。
解决上述技术问题的难度：目标姿态变化出现遮挡时的准确跟踪。
目标姿态变化导致的服饰颜色与背景色重合的准确跟踪。
目标姿态变化导致所处环境明暗变化时的准确跟踪。
目标姿态变化降噪算法。
多目标人体中非目标人体祛除算法。
跟踪算法满足实时性要求。
解决上述技术问题的意义：本发明识别目标与非目标，避免非目标姿态影响目标姿态跟踪。
减弱环境对目标姿态的影响。
对目标姿态降噪，祛除不合格图像对统计结果的影响。
优秀的算法可以提高识别精确度和满足实时性要求。
发明内容
针对现有技术存在的问题，本发明提供了一种人体动作功能检测系统、检测方法及检测仪。
本发明是这样实现的，一种人体动作功能检测方法，所述人体动作功能检测方法包括以下步骤：
步骤一，采用深度摄像设备获取人体运动的视频，建立人体骨骼模型，获取人体骨骼的空间坐标数据 以及骨骼关节点位置；
步骤二，根据骨骼数据中的各个坐标点的深度位置得到各个关节点之间的空间数据；
步骤三，建立包含时间参数的三维卷积神经网络，基于所述三维卷积神经网络建立姿势库并进行姿势 库匹配以及肢体运动识别。
进一步，步骤二中各个关节点之间的空间数据计算方法包括：(1)计算骨骼关节点的实际距离：
将d作为人到摄像头的实际距离，则骨骼关节点的实际距离计算公式如下：
d＝K tan(Hdraw+L)-O；
其中，draw为深度值，H＝3.5*10-10rad，K＝12.36cm，L＝1.18rad，O＝3.7cm；
(2)计算两骨骼关节点之间的距离：
骨骼关节点的深度图坐标和实际坐标分别为(Ximage，Yimage，Zimage)与(Xworld，Yworld，Zworld)，则两者之间 的变化公式如下：
Figure BDA0002293726500000031
若A(X1，Y1，Z1),B(X2，Y2，Z2)为坐标系的2个点，则根据骨骼关节点的实际距离计算公式与骨骼 关节点的深度图坐标和实际坐标变化公式可以得到关节点的实际坐标，再利用欧式距离公式：
Figure BDA0002293726500000032
求出两骨骼关节点之间的距离；
(3)计算各个骨骼关节点之间的角度。
进一步，步骤(3)中所述的各个骨骼关节点之间的角度计算方法具体包括：
首先，获取到三个坐标点间的距离，根据两骨骼关节点之间的距离计算公式计算A(X1，Y1，Z1),B(X2， Y2，Z2)，C(X3，Y3，Z3)三个骨骼关节点之间的距离a、b、c；
其次，利用余弦公式：计算任意一个关节点的角度数值；
最后，利用下式计算其他关节点的角度数值：
Figure BDA0002293726500000033
进一步，步骤二中所述各个关节点之间的空间数据计算方法还包括：
在计算骨骼关节点数据时，将髋部中心点、左髋关节点以及右髋关节点所在的平面设置为参考平面， 将除髋部中心点、左髋关节点以及右髋关节点外的骨骼关节点的相对摄像头的位置转换为相对于该平面的 位置，进行视点转换，消除视点偏差；
所述视点转换的方法包括：
1)获取转换后的平面：髋部中心、左髋关节、右髋关节的空间坐标分别为P1(x1，y1，z1)，P2(x2，y2， z2)，P3(x3，y3，z3)，三点所在的平面为S，取平面S的法向量为
Figure BDA0002293726500000034
则平面方程为：
A(x-x0)+B(y-y0)+C(z-z0)＝0；
2)转换骨骼点原始坐标为新坐标：以P1为新坐标系下的原点O，法向量为
Figure BDA0002293726500000035
＝为新坐标系下的
Figure BDA0002293726500000036
由 P1、P2、P3组成的平面三角形P1 P2 P3上经过P1的垂线为新坐标系下的
Figure BDA0002293726500000037
接着由
Figure BDA0002293726500000038
与
Figure BDA0002293726500000039
得到
Figure BDA00022937265000000310
得到基于 人体朝向的新坐标系，并将原骨骼点坐标P(X,Y,Z)转换为P＇(x＇,y＇,z＇)；
3)建立骨骼关节点的球形分布：以O为球心，建立球形空间坐标系，由坐标系转化公式将空间直角 坐标系P＇(x＇,y＇,z＇)转换为球坐标系(γ,θ,
Figure BDA00022937265000000311
)，具体转换公式如下：
Figure BDA00022937265000000312
Figure BDA00022937265000000313
Figure BDA00022937265000000314
其中γ为原点O与骨骼关节点原始坐标P的距离，范围为γ∈[0，+∞)；θ为OP与骨骼关节点转换后z＇ 的正向夹角，范围是θ∈[0，π]；M为点P在x＇Oy＇上的投影，
Figure BDA0002293726500000041
为基于正z＇轴自x＇轴按逆时针方向 到OM所转过的角,范围为
Figure BDA0002293726500000042
4)根据肢体关节组的划分，分别得到各个关节组中与试点无关的骨骼关节点的分布情况信息。
进一步，步骤二中所述各个关节点之间的空间数据计算方法进一步包括站立体前屈各关节点之间空间 数据计算，计算公式如下：
Figure RE-GDA0002381214520000041
checkVal＝一个像素代表的距离；弯腰手腕离地距离＝|Y4-Y3|*checkVal。
进一步，步骤二中所述各个关节点之间的空间数据计算方法进一步包括：
骶髂关节点之间空间数据计算：利用左膝关节点坐标减右膝关节点坐标，得到在相机坐标系下的三维 向量A；计算向量A在Y轴上的距离为两膝垂直间距；左膝关节点坐标为(X13,Y13,Z13),右膝关节点坐标 为(X17,Y17,Z17)，计算公式如下：两膝垂直间距d＝|Y13-Y13|；
颈前屈关节点之间空间数据计算：利用头部关节点坐标减颈部关节点坐标，得到在相机坐标系下的 三维向量A；将A投影到相机坐标系的Y-Z平面内，得到二维向量B，计算向量B和Y轴的夹角即为头部 前伸的角度；头部关节点坐标为(X3,Y3,Z3),颈部关节点坐标为(X2,Y2,Z2)，所以三维向量A等于 (X3-X2,Y3-Y2,Z3-Z2),二维向量B等于(Y3-Y2,Z3-Z2)，计算公式：颈前屈角度
Figure BDA0002293726500000044
Figure BDA0002293726500000045
颈后伸关节点之间空间数据计算：利用头部关节点坐标减颈部关节点坐标，得到在相机坐标系下的 三维向量A；将A投影到相机坐标系的Y-Z平面内，得到二维向量B，计算向量B和Y轴的夹角即为颈 后伸的角度；头部关节点坐标为(X3,Y3,Z3),颈部关节点坐标为(X2,Y2,Z2)，三维向量A等于 (X3-X2,Y3-Y2,Z3-Z2),二维向量B等于(Y3-Y2,Z3-Z2)；计算公式：颈后伸角度
Figure BDA0002293726500000046
颈侧屈关节点之间空间数据计算：利用头部关节点坐标减颈下脊椎关节点坐标，得到在相机坐标系 下的三维向量A；将A投影到相机坐标系的X-Y平面内，得到二维向量B，计算向量B和Y轴的夹角即 为颈侧屈的角度；头部关节点坐标为(X3,Y3,Z3)，颈部关节点坐标为(X20,Y20,Z20)，三维向量A等于 (X3-X20,Y3-Y20,Z3-Z20),二维向量B等于(X3-X20,Y3-Y20)，计算公式：颈侧屈角度
Figure BDA0002293726500000047
脊柱侧屈关节点之间空间数据计算：利用颈下脊椎关节点坐标减脊椎基部关节点坐标，得到在相机坐 标系下的三维矢量A；将A投影到相机坐标系的X-Y平面内，得到二维向量B，计算向量B和Y轴的夹 角即为脊柱侧屈的角度；
利用用左手指关节点坐标减左膝关节点坐标，得到在相机坐标系下的三维矢量C；C在y轴上的投影 向量的绝对值即为侧屈时指尖与膝关节的距离；颈下脊椎关节点坐标为(X20,Y20,Z20),脊椎基部关节点 坐标为(X0,Y0,Z0)，三维向量A等于(X20-X0,Y20-Y0,Z20-Z0)，二维向量B等于(X20-X0,Y20-Y0)； 脊柱侧屈角度
Figure BDA0002293726500000051
设定左手指关节点坐标为(X21,Y21,Z21),左膝关节点坐标为(X13,Y13,Z13)，所以三维向量C等于 (X21-X31,Y21-Y31,Z21-Z31)。
指尖与膝关节的距离D＝|Y21-Y31|。
肩关节前屈关节点之间空间数据计算：利用右肘关节点坐标减右肩关节点坐标，得到在相机坐标系 下的三维矢量A；将A投影到相机坐标系的X-Y平面内，得到二维向量B，计算向量B和Y轴负半轴的 夹角即为肩关节前屈的角度；
右肘关节点坐标为(X9,Y9,Z9)，右肩关节点坐标为(X8,Y8,Z8)，三维向量A等于(X9-X8,Y9-Y8,Z9- Z8)，二维向量B等于(Y3-Y2,Z3-Z2)；
肩关节前屈角度
Figure BDA0002293726500000052
肩关节后伸关节点之间空间数据计算：利用左肘关节点坐标减左肩关节点坐标，得到在相机坐标系 下的三维矢量A；将A投影到相机坐标系的X-Y平面内，得到二维向量B，计算向量B和Y轴负半轴的 夹角即为肩关节前屈的角度；
左肘关节点坐标为(X5,Y5,Z5)，左肩关节点坐标为(X4,Y4,Z4)，三维向量A等于(X5-X4,Y5-Y4,Z5- Z4),二维向量B等于(X5-X4,Y5-Y4)；
肩关节后伸角度
Figure BDA0002293726500000053
肘关节伸展屈曲关节点之间空间数据计算：利用左肘关节点坐标减左腕关节点坐标，得到在相机坐 标系下的三维矢量A；将A投影到相机坐标系的X-Y平面内，得到二维向量B，计算向量B和Y轴的夹 角为肘关节伸展屈曲的角度；
左肘关节点坐标为(X5,Y5,Z5)，左腕关节点坐标为(X6,Y6,Z6)，三维向量A等于(X5-X6,Y5-Y6,Z5- Z6)，二维向量B等于(X5-X6,Y5-Y6)；
肘关节伸展-屈曲角度
Figure BDA0002293726500000054
髋部关节前屈关节点之间空间数据计算：利用左臀关节点坐标减去左膝关节点坐标得到向量A，将A 投影到相机坐标系的X-Y平面内得到二维向量B，计算二维向量B与y轴负半轴的夹角，为髋部关节前屈 角度；
左臀关节点坐标为(X12,Y12,Z12),左膝关节点坐标为(X13,Y13,Z13)，三维向量A等于(X12-X13,Y12- Y13,Z12-Z13)，二维向量B等于(X12-X13,Y12-Y13)；髋部关节前屈角度
Figure BDA0002293726500000055
髋部关节后伸关节点之间空间数据计算：利用左臀关节点坐标减去左膝关节点坐标得到向量A，将A 投影到相机坐标系的X-Y平面内得到二维向量B，计算二维向量B与y轴负半轴的夹角，为髋部关节前屈 角度；
左臀关节点坐标为(X12,Y12,Z12),左膝关节点坐标为(X13,Y13,Z13)，三维向量A等于(X12-X13,Y12- Y13,Z12-Z13),二维向量B等于(X12-X13,Y12-Y13)；髋部关节前屈角度
Figure BDA0002293726500000061
头部前伸关节点之间空间数据计算：利用头部关节点坐标减颈下脊椎关节点坐标，得到在相机坐标系 下的三维向量A；将A投影到相机坐标系的Y-Z平面内，得到二维向量B，计算向量B和Y轴的夹角为 头部前伸的角度；
头部关节点坐标为(X3,Y3,Z3)，颈下脊椎关节点坐标为(X20,Y20,Z20)，三维向量A等于 (X3-X20,Y3-Y20,Z3-Z20)，二维向量B等于(Y3-Y20,Z3-Z20)；头部前伸角度
Figure BDA0002293726500000062
Figure BDA0002293726500000063
头部倾斜关节点之间空间数据计算：利用头部关节点坐标减颈下脊椎关节点坐标，得到在相机坐标系 下的三维向量A，将A投影到相机坐标系的X-Y平面内，得到二维向量B，计算向量B和Y轴的夹角即 为头部倾斜的角度；
头部关节点坐标为(X3,Y3,Z3),颈下脊椎关节点坐标为(X20,Y20,Z20)，三维向量A等于 (X3-X20,Y3-Y20,Z3-Z20)，二维向量B等于(X3-X20,Y3-Y20)；头部倾斜角度
Figure BDA0002293726500000064
Figure BDA0002293726500000065
高低肩关节点之间空间数据计算：利用右肩关节点坐标减左肩关节点坐标，得到在相机坐标系下的三 维向量A，计算向量A在Y轴上的距离为高低肩幅度；
右肩关节点坐标为(X8,Y8,Z8)，左肩关节点坐标为(X4,Y4,Z4)，高低肩幅度d＝|Y8-Y4|；
骨盆倾斜关节点之间空间数据计算：利用左臀关节点坐标减右臀关节点坐标，得到在相机坐标系下 的三维向量A，将A投影到相机坐标系的X-Y平面内，得到二维向量B，计算向量B和X轴的夹角为骨 盆倾斜的角度；左臀关节点坐标为(X12,Y12,Z12)，右臀关节点坐标为(X16,Y16,Z16)，三维向量A等于 (X12-X16,Y12-Y16,Z12-Z16),二维向量B等于(X12-X16,Y12-Y16)；骨盆倾斜角度
Figure BDA0002293726500000066
Figure BDA0002293726500000067
骨盆旋转关节点之间空间数据计算：利用左臀关节点坐标减右臀关节点坐标，得到在相机坐标系下的 三维向量A，将A投影到相机坐标系的X-Z平面内，得到二维向量B，计算向量B和X轴的夹角为骨盆 倾斜的角度；左臀关节点坐标为(X12,Y12,Z12)，右臀关节点坐标为(X16,Y16,Z16)，三维向量A等于(X12- X16,Y12-Y16,Z12-Z16)，二维向量B等于(X12-X16,Z12-Z16)；骨盆倾斜角度
Figure BDA0002293726500000068
深蹲测试关节点之间空间数据计算：右肘为坐标(X6,Y6)，右肩为坐标(X5,Y5)，右臀为坐标(X12,Y12)， 右膝为坐标(X13,Y13)，右踝为坐标(X14,Y14)，右脚大拇指为坐标(X19,Y19)；
肩关节角度a：
向量A1(X5-X6,Y5-Y6)；向量A2(X5-X12,Y5-Y12)；
Figure BDA0002293726500000071
髋关节角度b：
设定向量B1(X12-X5,Y12-Y5)；向量B2(X13-X12,Y13-Y12)；
Figure BDA0002293726500000072
膝关节角度c：
设定向量C1(X13-X12,Y13-Y12)，向量B2(X13-X14,Y13-Y14)；
Figure BDA0002293726500000073
踝关节角度d：
设定向量D1(X14-X13,Y14-Y13)，向量D2(X14-X19,Y14-Y19)；
Figure BDA0002293726500000074
checkVal为一个像素代表的距离，膝盖超出脚尖距离＝|X13-X19|*checkVal。
本发明的另一目的在于提供一种人体动作功能检测系统具体包括：
数据采集模块：采用深度摄像设备获取人体运动的视频；
骨骼节点位置获取模块：用于建立分析用的简易人体骨骼模型，并获取人体骨骼的空间坐标数据；
数据计算模块：用于根据骨骼数据中的各个坐标点的深度位置得到各个关节点之间的空间数据；
姿势库匹配模块：用于将空间数据与经过大量数据样本进行机器学习而得到的姿式库模板进行匹配；
肢体运动识别模块：用于进行肢体识别。
本发明的另一目的在于提供一种应用所述人体动作功能智能检测系统的人体动作功能智能检测仪。
本发明的另一目的在于提供一种实现所述人体动作功能检测方法的信息数据处理终端。
本发明的另一目的在于提供一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算 机执行所述的人体动作功能检测方法。
综上所述，本发明的优点及积极效果为：通过体姿体态及多部位运动数据同步检测的功能动作检查可 快速筛查受检者运动功能异常，作为运动风险评估和进一步检查的依据，但当前尚无可定量、快速检测以 上项目的手段和方法，本发明通过采用深度摄像机捕捉人体动、静图像的硬件系统，开发运动中的人体骨 骼关键点进行跟踪、识别的算法和软件系统，解决这一问题。
本发明开创性的实现了举手深蹲、站立体前屈、侧屈等功能动作检测中多部位运动数据的同步检测， 实现了功能动作检测数据的定量化。
本发明选择采用成本低廉、便携的TOF(Time-of-Flight)深度摄像设备，它能在较高的帧率下提供场景 中每个点的深度测量信息，它不仅能够提供RGB彩色图像数据和深度数据，同时还能实现人体骨骼的实 时追踪功能，使得人体运动跟踪变得更加容易和便捷。可以满足大规模筛查性体检中对体姿体态及动作模 式检测的简便、快捷的需求。
本发明的深度图像具有以下优势：
(1)保护个人隐私。因为深度图像主要是深度检测，没有彩色图像信息，无法识别出深度图片中的 特定个体，在隐私保护方面具有很大的优势；
(2)反映物体的空间位置信息。对于背景分割等具有很好的准确性与鲁棒性；
(3)不受光照条件影响。深度信息是通过红外线生成，而不是可见光，所以具有光照不变性。所以 深度图像不受光照影响，可以在黑暗环境中正常工作，具有非常好的适应性；
(4)TOF的深度计算不受物体表面灰度和特征影响，可以非常准确的进行三维探测。TOF的深度计 算精度不随距离改变而变化，目前基本能稳定在mm级，这对于一些大范围运动的应用场合非常有意义。
(5)相对二维图像，可通过距离信息获取物体之间更加丰富的位置关系，即区分前景与后景；
(6)深度信息依旧可以完成对目标图像的分割、标记、识别、跟踪等传统应用，能够快速完成对目 标的识别与追踪；
(7)主要配件成本相对低廉，包括CCD和普通LED等，对今后的普及化生产及使用有利；
(8)借助CMOS的特性，可获取大量数据及信息，对复杂物体的姿态判断极为有效；
(9)无需扫描设备辅助工作。
本发明采用的基于深度学习的人体姿态估计算法随着检测数据的不断丰富，其取得的精确效果也会逐 年提升，使用深度学习的技术来解决人体的姿态检测以及功能动作检测问题，为医生提供指导意见，将成 为未来智能医疗的一个有效技术途径。
本发明将髋部中心点、左髋关节以及右髋关节这三个点所在的平面设置为参考平面，消除了因为采集 视点的不同，导致的同一运动中的特征提取出现的偏差问题，将其他骨骼关节点的相对摄像头的位置转换 为相对于该平面的位置，达到提高在不同采集视点下提高特征的提取和动作的识别的精确度和效率。
附图说明
图1是本发明实施例提供的人体动作功能检测系统结构示意图。
图2是本发明实施例提供的人体动作功能检测流程图。
图3是本发明实施例提供的人体动作功能检测方法原理图。
图4是本发明实施例提供的三维卷积示意图。
图5是本发明实施例提供的骨骼点相对位置示意图。
图6是本发明实施例提供的系统检测场景示意图。
图7是本发明实施例提供的关节点距离及角度。
图8是本发明实施例提供的球形坐标系示意图。
图9是本发明实施例提供的球形坐标下骨骼坐标图。
图10是本发明实施例提供的二维卷积示意图。
图11是本发明实施例提供的三维卷积示意图。
图12是本发明实施例提供的双中指平行且停止不动时身体姿态图。
图13是本发明实施例提供的人体关键关节点图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说 明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
下面结合附图对本发明的技术方案与技术效果做详细说明。
如图1所示，本发明实施例提供的人体动作功能检测系统具体包括：
数据采集模块：采用深度摄像设备获取人体运动的视频。
骨骼节点位置获取模块：用于建立研究用的简易人体骨骼模型，并获取人体骨骼的空间坐标数据。
数据计算模块：用于根据骨骼数据中的各个坐标点的深度位置得到各个关节点之间的空间数据。
姿势库匹配模块：用于将空间数据与经过大量数据样本进行机器学习而得到的姿式库模板进行匹配。
肢体运动识别模块：用于进行肢体识别。
如图2所示，本发明实施例提供的人体动作功能检测方法具体包括：
S101，采用深度摄像设备获取人体运动的视频，建立研究用的简易人体骨骼模型，获取人体骨骼的空 间坐标数据即骨骼关节点位置。
S102，根据骨骼数据中的各个坐标点的深度位置得到各个关节点之间的空间数据。
S103，建立带有时间参数的三维卷积神经网络，建立的姿式库进行姿式库匹配以及肢体运动识别。
图3是本发明实施例提供的人体动作功能检测方法原理图。
步骤102中，本发明实施例提供的关节点空间数据计算方法具体包括：
(1)计算骨骼关节点的实际距离：
将d作为人到摄像头的实际距离，则骨骼关节点的实际距离计算公式如下：
d＝K tan(Hdraw+L)-O。
其中，draw为深度值，H＝3.5X 10-10rad，K＝12.36cm，L＝1.18rad，O＝3.7cm。
(2)计算两骨骼关节点之间的距离：
骨骼关节点的深度图坐标和实际坐标分别为(Ximage，Yimage，Zimage)与(Xworld，Yworld，Zworld)，则两者之间 的变化公式如下：
Figure BDA0002293726500000091
若A(X1，Y1，Z1),B(X2，Y2，Z2)为坐标系的2个点，则根据骨骼关节点的实际距离计算公式与骨骼 关节点的深度图坐标和实际坐标变化公式可以得到关节点的实际坐标，再利用欧式距离公式：
Figure BDA0002293726500000092
即可求出两骨骼关节点之间的距离。
(3)计算各个骨骼关节点之间的角度。
步骤(3)中，本发明实施例提供的各个骨骼关节点之间的角度计算方法具体包括：
首先获取到三个坐标点间的距离，根据两骨骼关节点之间的距离计算公式计算A(X1，Y1，Z1),B(X2，Y2，Z2)，C(X3，Y3，Z3)三个骨骼关节点之间的距离a、b、c。
其次，利用余弦公式：计算任意一个关节点的角度数值。
最后，利用下式计算其他关节点的角度数值。
Figure BDA0002293726500000101
步骤S102中，本发明实施例提供的关节点空间数据计算方法还包括：
在计算骨骼关节点数据时，将髋部中心点、左髋关节点以及右髋关节点所在的平面设置为参考平面， 将其他骨骼关节点的相对摄像头的位置转换为相对于该平面的位置，进行视点转换，消除视点偏差。
本发明实施例提供的视点转换具体包括：
1)获取转换后的平面：
髋部中心、左髋关节、右髋关节的空间坐标分别为P1(x1，y1，z1)，P2(x2，y2，z2)，P3(x3，y3，z3)， 三点所在的平面为S，取平面S的法向量为
Figure BDA0002293726500000102
则其平面方程为：
A(x-x0)+B(y-y0)+C(z-z0)＝0。
2)转换骨骼点原始坐标为新坐标：
以P1为新坐标系下的原点O，法向量为
Figure BDA0002293726500000103
＝为新坐标系下的
Figure BDA0002293726500000104
由P1、P2、P3组成的平面三角形P1 P2 P3上经过P1的垂线为新坐标系下的
Figure BDA0002293726500000105
接着由
Figure BDA0002293726500000106
与
Figure BDA0002293726500000107
得到
Figure BDA0002293726500000108
最终得到基于人体朝向的新坐标系，最终，可 以将原骨骼点坐标P(X,Y,Z)转换为P＇(x＇,y＇,z＇)。
3)建立骨骼关节点的球形分布：
以O为球心，建立球形空间坐标系，由坐标系转化公式可以将空间直角坐标系P＇(x＇,y＇,z＇)转换 为球坐标系(γ,θ,
Figure BDA0002293726500000109
)，具体转换公式如下：
Figure BDA00022937265000001010
Figure BDA00022937265000001011
Figure BDA00022937265000001012
其中γ为原点O与骨骼关节点原始坐标P的距离，范围为γ∈[0，+∞)；θ为OP与骨骼关节点转换后z＇ 的正向夹角，范围是θ∈[0，π]；M为点P在x＇Oy＇上的投影，则
Figure BDA00022937265000001013
为从正z＇轴来看自x＇轴按逆时针 方向到OM所转过的角,范围为
Figure BDA00022937265000001014
4)根据肢体关节组的划分，分别得到各个关节组中，与试点无关的骨骼关节点的分布情况。
如图4所示，步骤S103中，本发明实施例提供的三维卷积神经网络具体包括：
所述三维卷积神经网络以卷积神经网络结构为深度学习核心算法，由3个卷积层、2个池化层、1个 全连接层构成；
利用公共姿态库的数据进行机器学习，不断优化卷积神经网络的识别率，当其梯度下降并趋于稳定后 进行识别率的验证。
下面结合具体实施例对本发明的技术方案与技术效果做进一步说明。
实施例1：
人体的动作多种多样，大体可以分为移动、跳跃、平衡、旋转和摆动五种基本形式，有站立、下蹲、 跳跃等单一简单的动作，也有跳舞、篮球、吃饭等等与物体或其他人交互的较为复杂的动作。根据人体动 作的复杂程度，由简单到复杂可将人体肢体运动分为运动单元、肢体动作及人体活动三个类别。
(1)运动单元
运动单元是用于描述肢体运动的最基础的单位，它表示了人体运动时的最为直观的肢体行为，例如“抬 头”、“放下左手”、“弯腰”等这类最基础的肢体动作。
(2)肢体动作
肢体动作是由多个运动单元组成的，具有一定意义的人体肢体运动，例如“抬腿”与“摆臂”可以组 成“跑步”这个动作。
(3)人体活动
人体活动是肢体运动的最复杂的表达形式，它由多个肢体动作所组成，例如“跑步”、“投掷”、“跳跃” 等等可以组成“打篮球”这个人体活动。
而肢体运动的识别的基础，本质上就是将所采集视频中的肢体内容匹配到基础的运动单元，再由最基 础的运动单元组合成肢体动作和人体行为。而对于识别基础运动单元而言，首先需要获取到人体骨骼的空 间坐标数据，再由骨骼数据中的各个坐标点的深度位置得到各个关节点之间的空间数据，之后将空间数据 与经过大量数据样本进行机器学习而得到的姿式库模板进行匹配，最终识别出对应的肢体动作。整个流程 如图3所示。具体包括如下步骤：
第一步，获取骨骼关节点位置，对于获取关节点位置而言，由于真实的人体非常精细复杂，因此通常 会用人体中最具代表性的关节点来代替真实的人体骨骼关节，建立研究用的简易人体骨骼模型。例如微软 公司的Kinect2就能够准确的对人体的25个骨骼关节点进行定位与追踪，如图5所示。相对于其他设备 而言，其优势在于对应用场景、光线等环境因素要求低，并且精度准确，更加具有鲁棒性，输出的信息也 更加的丰富，成本也不高。其具体检测场景如图6所示。
第二步，关节点空间数据计算，对于各个骨骼关节点的实际距离而言，假设人到摄像头的实际距离为 d，则其具体公式如下。
d＝K tan(Hdraw+L)-O (1)
其中，draw为深度值，H＝3.5X 10-10rad，K＝12.36cm，L＝1.18rad，O＝3.7cm。设骨骼关节点 的深度图坐标和实际坐标分别为(Ximage，Yimage，Zimage)与(Xworld，Yworld，Zworld)，那么可以得知两者之间的变 化公式如下。
Figure BDA0002293726500000111
若A(X1，Y1，Z1),B(X2，Y2，Z2)为坐标系的2个点，则根据上述的公式(1)与(2)可以得到关节点 的实际坐标，再利用欧式距离公式：
Figure BDA0002293726500000112
可求出两骨骼关节点之间的距离。
对于各个骨骼关节点之间的角度而言，首先需要获取到三个坐标点间的距离，假设有A(X1，Y1，Z1),B (X2，Y2，Z2)，C(X3，Y3，Z3)三个骨骼关节点可依据公式(3)分别求出三个点之间的距离a、b、c，如图 7所示。
以计算B点的角度为例，已知一个三角形的三条边长度，再由余弦公式(4)可以得出角度B的具体数 值，同样其他角度也可以通过公式(4)得出。
Figure BDA0002293726500000121
虽然人体的肢体运动可以看作为在一定时间内，每个骨骼关节点间的具有一定规律的位移变化，可以 以此为机器学习中的特征进行学习和识别，但是因为采集视点的不同，可能会导致同一运动中的特征提取 出现一定偏差，所以在骨骼数据的采集过程中，需要在一定程度上对其差异性进行一定的控制。由于在肢 体运动的过程中，髋部中心点、左髋关节以及右髋关节一般是最不易变动的三个点，因此可以利用这一特 点，将这三个点所在的平面设置为参考平面，将其他骨骼关节点的相对摄像头的位置转换为相对于该平面的位置，这样就可以达到提高在不同采集视点下提高特征的提取和动作的识别的精确度和效率。整个视点 转换的过程分为以下几个步骤。
(1)获取转换后的平面，髋部中心、左髋关节、右髋关节的空间坐标分别为P1(x1，y1，z1)，P2(x2， y2，z2)，P3(x3，y3，z3)，三点所在的平面为S，取平面S的法向量为
Figure BDA0002293726500000122
则其平面方程为：
A(x-x0)+B(y-y0)+C(z-z0)＝0 (5)
(2)转换骨骼点原始坐标为新坐标，以P1为新坐标系下的原点O，法向量为
Figure BDA0002293726500000123
＝为新坐标系下的
Figure BDA0002293726500000124
由 P1、P2、P3组成的平面三角形P1 P2 P3上经过P1的垂线为新坐标系下的
Figure BDA0002293726500000125
接着由
Figure BDA0002293726500000126
与
Figure BDA0002293726500000127
得到
Figure BDA0002293726500000128
最终得到 基于人体朝向的新坐标系，最终，可以将原骨骼点坐标P(X,Y,Z)转换为P＇(x＇,y＇,z＇)。
(3)建立骨骼关节点的球形分布，以O为球心，建立球形空间坐标系，由坐标系转化公式可以将空 间直角坐标系P＇(x＇,y＇,z＇)转换为球坐标系(γ,θ,
Figure BDA0002293726500000129
)，具体转换公式如下：
Figure BDA00022937265000001210
Figure BDA00022937265000001211
Figure BDA00022937265000001212
其中γ为原点O与骨骼关节点原始坐标P的距离，范围为γ∈[0，+∞)；θ为OP与骨骼关节点转换后z＇ 的正向夹角，范围是θ∈[0，π]；设M为点P在x＇Oy＇上的投影，则
Figure BDA00022937265000001213
为从正z＇轴来看自x＇轴按逆时 针方向到OM所转过的角,范围为
Figure BDA00022937265000001214
如图8。
最终就可以根据肢体关节组的划分，分别得到各个关节组中，与试点无关的骨骼关节点的分布情况。 如图9所示。
第三步，姿式库匹配及肢体运动识别，建立带有时间参数的三维卷神经网络，利用所建立的姿式库来 进行肢体动作识别。三维卷积由二维卷积推广而来，其中二维卷积原理公式如下：
fxy＝tan h(∑i,jwijv(x+i)(y+j)+b) (9)
其中fxy代表在点(x,y)生成基于卷积核生成的特征图，tanh为双曲正切函数，wij表示该算法下卷积核 的大小，v(x+i)(y+j)表示在点像素(x+i,y+j)输入，b表示该特征图的偏置，二维卷积示意如图10所示。
除了空间信息以外，视频数据还有联系的时间信息在其中，由于简化后的骨骼数据个数较少，分布较 为稀疏，因此如果直接将视频每帧的分布情况作为时间维度时间点的输入很难看出区别，识别效果太差， 因此需要将多帧的数据合并作为一个时间点作为时间维度的输入。转换后的公式如下：
fxyt＝tan h(∑i,j,kwijv(x+i)(y+j)(k+t)+b) (10)
其中fxyt代表在点(x,y,t)生成基于卷积核生成的特征图，x与y为多帧空间信息，t为时间信息，tanh为 双曲正切函数，wijk表示卷积核大小，v(x+i)(y+j)(k+t)表示在点(x+i,y+j,t+k)的输入，b表示该特征图 的偏置，如图10所示。
由于肢体识别所需的信息由空间维度和时间维度两者共同构成，以卷积神经网络结构为深度学习核心 算法，建立一个由3个卷积层、2个池化层、1个全连接层构成的卷积神经网络，具体构成如图4所示。
第四步，利用公共姿态库的数据进行机器学习(例如MSR-Action3D、RGBD-HuDaAct、NTU RGB+D等)， 不断优化该卷积神经网络的识别率，当其梯度下降并趋于稳定后进行识别率的验证。验证结果与其他算法 相比具有一定的优势，具体数据对比如表1所示。
表1算法识别率对比表
编号 算法 多角度交叉验证 多人交叉验证
1 本算法 73％ 70％
2 Deep RNN 64％ 59％
3 Deep LSTM 67％ 60％
4 Hierarchical RNN 64％ 59％
5 Dynamic Skeleton 65％ 60％
下面结合人体不同动作方式实施例对本发明作进一步描述。
实施例1
站立体前屈主要用于测定髋关节及膝关节后侧韧带、立位体前屈肌腱、肌肉的伸展性。测试时，受试 者立于测量台面上，两腿并立，足尖约分5cm(公分)，足尖与固定直尺的测量台台缘齐平，然后上体慢慢 前屈，同时双手臂充分伸直并拢沿直尺尽力下伸，当双中指平行且停止不动时身体姿态如图12即可读出 相应的数据。其中，关节点中，颈下脊椎为1，脊椎基部为8；手腕关节为4，脚趾指尖为22。
站立体前屈在功能动作检测系统中需要计算体前屈角度和弯腰手腕离地距离。体前屈角度是由颈下脊 椎和脊椎基部的连线和Y轴正半轴形成的夹角。弯腰手腕离地距离取的是左手手腕关节点Y轴分向量和左 脚大拇指关节Y轴分向量的差值。站立体前屈的计算方式是结合专业骨科相关数据获得的结果，是可行的 和准确的。
功能动作视频检测系统中通过kinect摄像头采集图片，OpenPose分析识别图片中人体关键关节点， 关键点从COCO的格式转为openpose的格式，人体关键关节点图13。
颈下脊椎为1坐标(X1,Y1)，脊椎基部为8坐标(X2,Y2)，左手手腕关节点为4坐标(X3,Y3)，左脚 大拇指为22坐标(X4,Y4)。检测过程中受检测者以左侧身面对摄像头，计算公式如下：
Figure RE-GDA0002381214520000131
设定checkVal＝一个像素代表的距离。
弯腰手腕离地距离＝|Y4-Y3|*checkVal。
实施例2
“4字实验”是用于判断骶髂关节病变的一种检查方法。测试时，受试者坐在测量椅上，面朝摄像头， 眼睛平视前方，将患侧下肢的外踝放在健侧的膝关节上。
用左膝关节点坐标减右膝关节点坐标，得到在相机坐标系下的三维向量A。计算向量A在Y轴上的距 离即为两膝垂直间距。
测量公式：
设定左膝关节点坐标为(X13,Y13,Z13),右膝关节点坐标为(X17,Y17,Z17)，计算公式如下：
两膝垂直间距d＝|Y13-Y13|。
实施例3
“颈前屈”用于测量颈部关节正面向前屈曲的活动范围。测试时，受试者立于测量台面上，面朝摄像 头，眼睛平视前方，静立时下颌内收。受试者尽量将自己的脖子往前伸至最大角度后系统读取。
用头部关节点坐标减颈部关节点坐标，得到在相机坐标系下的三维向量A。将A投影到相机坐标系的 Y-Z平面内，得到二维向量B，计算向量B和Y轴的夹角即为头部前伸的角度。
设定头部关节点坐标为(X3,Y3,Z3),颈部关节点坐标为(X2,Y2,Z2)，所以三维向量A等于 (X3-X2,Y3-Y2,Z3-Z2),二维向量B等于(Y3-Y2,Z3-Z2)，计算公式如下：
颈前屈角度
Figure BDA0002293726500000142
实施例4
“颈前屈”用于测量颈部关节正面向前屈曲的活动范围。测试时，受试者立于测量台面上，面朝摄像 头，眼睛平视前方，静立时下颌内收。受试者尽量将自己的脖子往前伸至最大角度后系统读取。
用头部关节点坐标减颈部关节点坐标，得到在相机坐标系下的三维向量A。将A投影到相机坐标系的 Y-Z平面内，得到二维向量B，计算向量B和Y轴的夹角即为头部前伸的角度。
设定头部关节点坐标为(X3,Y3,Z3),颈部关节点坐标为(X2,Y2,Z2)，所以三维向量A等于 (X3-X2,Y3-Y2,Z3-Z2),二维向量B等于(Y3-Y2,Z3-Z2)，计算公式如下：
颈前屈角度
Figure BDA0002293726500000143
实施例5
“颈后伸”用于测量颈部关节正面向后伸展的活动范围。测试时，受试者立于测量台面上，面朝摄像 头，眼睛平视前方，静立时下颌内收。受试者尽量将自己的脖子往后伸至最大角度后系统读取。
用头部关节点坐标减颈部关节点坐标，得到在相机坐标系下的三维向量A。将A投影到相机坐标系的 Y-Z平面内，得到二维向量B，计算向量B和Y轴的夹角即为颈后伸的角度。
设定头部关节点坐标为(X3,Y3,Z3),颈部关节点坐标为(X2,Y2,Z2)，所以三维向量A等于 (X3-X2,Y3-Y2,Z3-Z2),二维向量B等于(Y3-Y2,Z3-Z2)。计算公式如下：
颈后伸角度
Figure BDA0002293726500000151
实施例6
“颈侧屈”用于测量颈部关节侧面伸展的活动范围。测试时，受试者立于测量台面上，面朝摄像头， 眼睛平视前方，静立时下颌内收。受试者尽量将自己的脖子向左右偏离至最大角度后系统读取。
用头部关节点坐标减颈下脊椎关节点坐标，得到在相机坐标系下的三维向量A。将A投影到相机坐标 系的X-Y平面内，得到二维向量B，计算向量B和Y轴的夹角即为颈侧屈的角度。
设定头部关节点坐标为(X3,Y3,Z3),颈部关节点坐标为(X20,Y20,Z20)，所以三维向量A等于 (X3-X20,Y3-Y20,Z3-Z20),二维向量B等于(X3-X20,Y3-Y20)，计算公式如下：
颈侧屈角度
Figure BDA0002293726500000152
实施例7
“脊柱侧屈”用于测量脊柱在左右活动时的范围。测试时，受试者立于测量台面上，面朝摄像头，膝 关节伸直，双手自然下垂，手掌贴住腿部，使脊柱分别尽量向左侧和右侧屈。
1)、脊柱侧屈角度：
(1)用颈下脊椎关节点坐标减脊椎基部关节点坐标，得到在相机坐标系下的三维矢量A。将A投影到相 机坐标系的X-Y平面内，得到二维向量B，计算向量B和Y轴的夹角即为脊柱侧屈的角度。
2)、侧屈时指尖与膝关节的距离：
(1)用左手指关节点坐标减左膝关节点坐标，得到在相机坐标系下的三维矢量C。C在y轴上的投影向量 的绝对值即为侧屈时指尖与膝关节的距离。
设定颈下脊椎关节点坐标为(X20,Y20,Z20),脊椎基部关节点坐标为(X0,Y0,Z0)，所以三维向量A 等于(X20-X0,Y20-Y0,Z20-Z0),二维向量B等于(X20-X0,Y20-Y0)。
脊柱侧屈角度
Figure BDA0002293726500000153
设定左手指关节点坐标为(X21,Y21,Z21),左膝关节点坐标为(X13,Y13,Z13)，所以三维向量C等于 (X21-X31,Y21-Y31,Z21-Z31)。
指尖与膝关节的距离D＝|Y21-Y31|。
实施例8
“肩关节前屈”用于测量肩关节正面向前屈曲的活动范围。测试时，受试者立于测量台面上，侧面朝 摄像头，肘关节伸直，掌心朝前。受试者尽量将使肩关节前屈至最大限度后系统读取。
用右肘关节点坐标减右肩关节点坐标，得到在相机坐标系下的三维矢量A。将A投影到相机坐标系的 X-Y平面内，得到二维向量B，计算向量B和Y轴负半轴的夹角即为肩关节前屈的角度。
设定右肘关节点坐标为(X9,Y9,Z9),右肩关节点坐标为(X8,Y8,Z8)，所以三维向量A等于 (X9-X8,Y9-Y8,Z9-Z8),二维向量B等于(Y3-Y2,Z3-Z2)。
肩关节前屈角度
Figure BDA0002293726500000161
实施例9
“肩关节后伸”用于测量肩关节正面向后屈曲的活动范围。测试时，受试者立于测量台面上，侧面朝 摄像头，肘关节伸直，掌心朝前。受试者尽量将使肩关节前屈至最大限度后系统读取。
用左肘关节点坐标减左肩关节点坐标，得到在相机坐标系下的三维矢量A。将A投影到相机坐标系的 X-Y平面内，得到二维向量B，计算向量B和Y轴负半轴的夹角即为肩关节前屈的角度。
设定左肘关节点坐标为(X5,Y5,Z5),左肩关节点坐标为(X4,Y4,Z4)，所以三维向量A等于 (X5-X4,Y5-Y4,Z5-Z4),二维向量B等于(X5-X4,Y5-Y4)。
肩关节后伸角度
Figure BDA0002293726500000162
实施例10
“肘关节伸展-屈曲”用于测量肘关节正面向前屈曲的活动范围。测试时，受试者立于测量台面上，侧 面朝摄像头，肘关节伸直，掌心朝上握拳。受试者尽量将使肘关节屈曲至最大限度后系统读取。
用左肘关节点坐标减左腕关节点坐标，得到在相机坐标系下的三维矢量A。将A投影到相机坐标系的 X-Y平面内，得到二维向量B，计算向量B和Y轴的夹角即为肘关节伸展屈曲的角度。
设定左肘关节点坐标为(X5,Y5,Z5),左腕关节点坐标为(X6,Y6,Z6)，所以三维向量A等于 (X5-X6,Y5-Y6,Z5-Z6),二维向量B等于(X5-X6,Y5-Y6)。
肘关节伸展-屈曲角度
Figure BDA0002293726500000163
实施例10
“髋部关节前屈”用于测量髋部关节正面向前屈曲的活动范围。测试时，受试者立于测量台面上，侧 面朝摄像头站立，抬腿并屈曲膝关节，然后屈髋使大腿尽可能向上靠近腹部。受试者尽量使髋关节屈曲至 最大限度后系统读取。
用左臀关节点坐标减去左膝关节点坐标得到向量A,将A投影到相机坐标系的X-Y平面内得到二维向 量B,计算二维向量B与y轴负半轴的夹角，即为髋部关节前屈角度。
设定左臀关节点坐标为(X12,Y12,Z12),左膝关节点坐标为(X13,Y13,Z13)，所以三维向量A等于 (X12-X13,Y12-Y13,Z12-Z13),二维向量B等于(X12-X13,Y12-Y13)。
髋部关节前屈角度
Figure BDA0002293726500000164
实施例11
“髋部关节后伸”用于测量髋部关节正面向后屈曲的活动范围。测试时，受试者立于测量台面上，侧 面朝摄像头站立，一条腿后伸，膝关节尽量伸直。受试者尽量使髋关节屈曲至最大限度后系统读取。
用左臀关节点坐标减去左膝关节点坐标得到向量A,将A投影到相机坐标系的X-Y平面内得到二维向 量B,计算二维向量B与y轴负半轴的夹角，即为髋部关节前屈角度。
设定左臀关节点坐标为(X12,Y12,Z12),左膝关节点坐标为(X13,Y13,Z13)，所以三维向量A等于 (X12-X13,Y12-Y13,Z12-Z13),二维向量B等于(X12-X13,Y12-Y13)。
髋部关节前屈角度
Figure BDA0002293726500000171
实施例12
“头部前伸”用于测量人体正常站立时头前倾的角度值。测试时，受试者立于测量台面上，面朝摄像 头，眼睛平视前方，保持双脚间距与肩膀同宽，双脚保持平行对称，脚尖不得朝外。鼻尖、肚脐在同一垂 线，耳垂、肩峰、大转子、外侧髁、外踝在同一垂线。
用头部关节点坐标减颈下脊椎关节点坐标，得到在相机坐标系下的三维向量A。将A投影到相机坐标 系的Y-Z平面内，得到二维向量B，计算向量B和Y轴的夹角即为头部前伸的角度。
设定头部关节点坐标为(X3,Y3,Z3),颈下脊椎关节点坐标为(X20,Y20,Z20)，所以三维向量A等于 (X3-X20,Y3-Y20,Z3-Z20),二维向量B等于(Y3-Y20,Z3-Z20)。
头部前伸角度
Figure BDA0002293726500000172
实施例13
“头部倾斜”用于测量人体正常站立时头左右偏离的角度值。测试时，受试者立于测量台面上，面朝 摄像头，眼睛平视前方，保持双脚间距与肩膀同宽，双脚保持平行对称，脚尖不得朝外。鼻尖、肚脐在同 一垂线，耳垂、肩峰、大转子、外侧髁、外踝在同一垂线。
用头部关节点坐标减颈下脊椎关节点坐标，得到在相机坐标系下的三维向量A。将A投影到相机坐标 系的X-Y平面内，得到二维向量B，计算向量B和Y轴的夹角即为头部倾斜的角度。
设定头部关节点坐标为(X3,Y3,Z3),颈下脊椎关节点坐标为(X20,Y20,Z20)，所以三维向量A等于(X3- X20,Y3-Y20,Z3-Z20),二维向量B等于(X3-X20,Y3-Y20)。
头部倾斜角度
Figure BDA0002293726500000173
实施例14
“高低肩”用于测量人体正常站立时肩部错位的幅度。测试时，受试者立于测量台面上，面朝摄像头， 眼睛平视前方，保持双脚间距与肩膀同宽，双脚保持平行对称，脚尖不得朝外。鼻尖、肚脐在同一垂线， 耳垂、肩峰、大转子、外侧髁、外踝在同一垂线。
用右肩关节点坐标减左肩关节点坐标，得到在相机坐标系下的三维向量A。计算向量A在Y轴上的 距离即为高低肩幅度。
设定右肩关节点坐标为(X8,Y8,Z8),左肩关节点坐标为(X4,Y4,Z4)，
高低肩幅度d＝|Y8-Y4|。
实施例15
“骨盆倾斜”用于测量人体正常站立时骨盆上下偏离的角度值。测试时，受试者立于测量台面上，面 朝摄像头，眼睛平视前方，保持双脚间距与肩膀同宽，双脚保持平行对称，脚尖不得朝外。鼻尖、肚脐在 同一垂线，耳垂、肩峰、大转子、外侧髁、外踝在同一垂线。
用左臀关节点坐标减右臀关节点坐标，得到在相机坐标系下的三维向量A。将A投影到相机坐标系的 X-Y平面内，得到二维向量B，计算向量B和X轴的夹角即为骨盆倾斜的角度。
设定左臀关节点坐标为(X12,Y12,Z12),右臀关节点坐标为(X16,Y16,Z16)，所以三维向量A等于 (X12-X16,Y12-Y16,Z12-Z16),二维向量B等于(X12-X16,Y12-Y16)。
骨盆倾斜角度
Figure BDA0002293726500000181
实施例16
“骨盆旋转”用于测量人体正常站立时骨盆前后偏离的角度值。测试时，受试者立于测量台面上，面 朝摄像头，眼睛平视前方，保持双脚间距与肩膀同宽，双脚保持平行对称，脚尖不得朝外。鼻尖、肚脐在 同一垂线，耳垂、肩峰、大转子、外侧髁、外踝在同一垂线。
用左臀关节点坐标减右臀关节点坐标，得到在相机坐标系下的三维向量A。将A投影到相机坐标系的 X-Z平面内，得到二维向量B，计算向量B和X轴的夹角即为骨盆倾斜的角度。
设定左臀关节点坐标为(X12,Y12,Z12),右臀关节点坐标为(X16,Y16,Z16)，所以三维向量A等于 (X12-X16,Y12-Y16,Z12-Z16),二维向量B等于(X12-X16,Z12-Z16)。
骨盆倾斜角度
Figure BDA0002293726500000182
实施例17
“深蹲测试”主要用于测试受试者下蹲时，躯干与四肢的协调活动能力，特别是肩关节、髋关节、膝 关节和踝关节的活动度，左右两侧是否对称，及胸椎、腰椎的活动度与稳定度。测试时，受试者立于测量 台面上，双脚与肩同宽，脚尖朝前，双手持横杆放在头顶，使肘与杆成90度角，然后推直手臂，让横杆 位于头顶正上方，上身挺直，让受试者缓慢下蹲至尽可能低的姿势，保持双侧脚后跟着地，身体面向前方， 抬头挺胸。
“深蹲测试”在功能动作检测系统中需要计算“肩关节”、“髋关节”、“膝关节”、“踝关节”和 “膝盖超出脚尖距离”。其中“膝盖超出脚尖距离”是由膝盖的水平距离与脚尖的水平距离的差值，距离 L所示。深蹲测试的计算方式是与专业骨科医生商讨的结果，是得到认可的。
功能动作视频检测系统中通过kinect摄像头采集图片，OpenPose分析识别图片中人体关键关节点，关 键点从COCO的格式转为openpose的格式。
设定右肘为6坐标(X6,Y6)，右肩为5坐标(X5,Y5)，右臀为12坐标(X12,Y12)，右膝为13坐标 (X13,Y13)，右踝为14坐标(X14,Y14)，右脚大拇指为19坐标(X19,Y19)。
肩关节角度a：
设定向量A1(X5-X6,Y5-Y6),向量A2(X5-X12,Y5-Y12),
Figure BDA0002293726500000183
髋关节角度b：
设定向量B1(X12-X5,Y12-Y5),向量B2(X13-X12,Y13-Y12),
Figure BDA0002293726500000191
膝关节角度c：
设定向量C1(X13-X12,Y13-Y12),向量B2(X13-X14,Y13-Y14),
Figure BDA0002293726500000192
踝关节角度d：
设定向量D1(X14-X13,Y14-Y13)。向量D2(X14-X19,Y14-Y19)。
Figure BDA0002293726500000193
设定checkVal为一个像素代表的距离，膝盖超出脚尖距离＝|X13-X19|*checkVal。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部 分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或 执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是 通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存 储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可 以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL)或无线 (例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机 可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数 据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、 或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的 任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种人体动作功能检测方法，其特征在于，所述人体动作功能检测方法包括以下步骤：
步骤一，采用深度摄像设备获取人体运动的视频，建立人体骨骼模型，获取人体骨骼的空间坐标数据以及骨骼关节点位置；
步骤二，根据骨骼数据中的各个坐标点的深度位置得到各个关节点之间的空间数据；
步骤三，建立包含时间参数的三维卷积神经网络，基于所述三维卷积神经网络建立姿势库并进行姿势库匹配以及肢体运动识别。
2.如权利要求1所述的人体动作功能检测方法，其特征在于，步骤二中各个关节点之间的空间数据计算方法包括：(1)计算骨骼关节点的实际距离：
将d作为人到摄像头的实际距离，则骨骼关节点的实际距离计算公式如下：
d＝K tan(Hdraw+L)-O；
其中，draw为深度值，H＝3.5*10-10rad，K＝12.36cm，L＝1.18rad，O＝3.7cm；
(2)计算两骨骼关节点之间的距离：
骨骼关节点的深度图坐标和实际坐标分别为(Ximage，Yimage，Zimage)与(Xworld，Yworld，Zworld)，则两者之间的变化公式如下：
Figure FDA0002293726490000011
若A(X1，Y1，Z1),B(X2，Y2，Z2)为坐标系的2个点，根据骨骼关节点的实际距离计算公式与骨骼关节点的深度图坐标和实际坐标变化公式得到关节点的实际坐标，再利用欧式距离公式：
Figure FDA0002293726490000012
求出两骨骼关节点之间的距离；
(3)计算各个骨骼关节点之间的角度。
3.如权利要求2所述的人体动作功能检测方法，其特征在于，步骤(3)中所述的各个骨骼关节点之间的角度计算方法具体包括：
首先，获取到三个坐标点间的距离，根据两骨骼关节点之间的距离计算公式计算A(X1，Y1，Z1),B(X2，Y2，Z2)，C(X3，Y3，Z3)三个骨骼关节点之间的距离a、b、c；
其次，利用余弦公式：计算任意一个关节点的角度数值；
最后，利用下式计算其他关节点的角度数值：
Figure FDA0002293726490000021
4.如权利要求1所述的人体动作功能检测方法，其特征在于，步骤二中所述各个关节点之间的空间数据计算方法还包括：
将髋部中心点、左髋关节点以及右髋关节点所在的平面设置为参考平面，将除髋部中心点、左髋关节点以及右髋关节点外的骨骼关节点的相对摄像头的位置转换为相对于该平面的位置，进行视点转换，消除视点偏差；
所述视点转换的方法包括：
1)获取转换后的平面：髋部中心、左髋关节、右髋关节的空间坐标分别为P1(x1，y1，z1)，P2(x2，y2，z2)，P3(x3，y3，z3)，三点所在的平面为S，取平面S的法向量为
Figure FDA0002293726490000022
则平面方程为：
A(x-x0)+B(y-y0)+C(z-z0)＝0；
2)转换骨骼点原始坐标为新坐标：以P1为新坐标系下的原点O，法向量为
Figure FDA0002293726490000023
由P1、P2、P3组成的平面三角形P1 P2 P3上经过P1的垂线为新坐标系下的
Figure FDA0002293726490000024
接着由
Figure FDA0002293726490000025
与
Figure FDA0002293726490000026
得到
Figure FDA0002293726490000027
得到基于人体朝向的新坐标系，并将原骨骼点坐标P(X,Y,Z)转换为P＇(x＇,y＇,z＇)；
3)建立骨骼关节点的球形分布：以O为球心，建立球形空间坐标系，由坐标系转化公式将空间直角坐标系P＇(x＇,y＇,z＇)转换为球坐标系
Figure FDA0002293726490000028
具体转换公式如下：
Figure FDA0002293726490000031
Figure FDA0002293726490000032
Figure FDA0002293726490000033
其中γ为原点O与骨骼关节点原始坐标P的距离，范围为γ∈[0，+∞)；θ为OP与骨骼关节点转换后z＇的正向夹角，范围是θ∈[0，π]；M为点P在x＇Oy＇上的投影，
Figure FDA0002293726490000034
为基于正z＇轴自x＇轴按逆时针方向到OM所转过的角,范围为
Figure FDA0002293726490000035
4)根据肢体关节组的划分，分别得到各个关节组中与试点无关的骨骼关节点的分布情况信息。
5.如权利要求1所述的人体动作功能检测方法，其特征在于，步骤二中所述各个关节点之间的空间数据计算方法进一步包括站立体前屈各关节点之间空间数据计算，计算公式如下：
Figure FDA0002293726490000036
checkVal＝一个像素代表的距离；弯腰手腕离地距离＝|Y4-Y3|*checkVal。
6.如权利要求1所述的人体动作功能检测方法，其特征在于，步骤二中所述各个关节点之间的空间数据计算方法进一步包括：
骶髂关节点之间空间数据计算：利用左膝关节点坐标减右膝关节点坐标，得到在相机坐标系下的三维向量A；计算向量A在Y轴上的距离为两膝垂直间距；左膝关节点坐标为(X13,Y13,Z13),右膝关节点坐标为(X17,Y17,Z17)，计算公式如下：两膝垂直间距d＝|Y13-Y13|；
颈前屈关节点之间空间数据计算：利用头部关节点坐标减颈部关节点坐标，得到在相机坐标系下的三维向量A；将A投影到相机坐标系的Y-Z平面内，得到二维向量B，计算向量B和Y轴的夹角即为头部前伸的角度；头部关节点坐标为(X3,Y3,Z3),颈部关节点坐标为(X2,Y2,Z2)，所以三维向量A等于(X3-X2,Y3-Y2,Z3-Z2),二维向量B等于(Y3-Y2,Z3-Z2)，计算公式：颈前屈角度
Figure FDA0002293726490000041
颈后伸关节点之间空间数据计算：利用头部关节点坐标减颈部关节点坐标，得到在相机坐标系下的三维向量A；将A投影到相机坐标系的Y-Z平面内，得到二维向量B，计算向量B和Y轴的夹角即为颈后伸的角度；头部关节点坐标为(X3,Y3,Z3),颈部关节点坐标为(X2,Y2,Z2)，三维向量A等于(X3-X2,Y3-Y2,Z3-Z2),二维向量B等于(Y3-Y2,Z3-Z2)；计算公式：颈后伸角度
Figure FDA0002293726490000042
颈侧屈关节点之间空间数据计算：利用头部关节点坐标减颈下脊椎关节点坐标，得到在相机坐标系下的三维向量A；将A投影到相机坐标系的X-Y平面内，得到二维向量B，计算向量B和Y轴的夹角即为颈侧屈的角度；头部关节点坐标为(X3,Y3,Z3)，颈部关节点坐标为(X20,Y20,Z20)，三维向量A等于(X3-X20,Y3-Y20,Z3-Z20),二维向量B等于(X3-X20,Y3-Y20)，计算公式：颈侧屈角度
Figure FDA0002293726490000043
脊柱侧屈关节点之间空间数据计算：利用颈下脊椎关节点坐标减脊椎基部关节点坐标，得到在相机坐标系下的三维矢量A；将A投影到相机坐标系的X-Y平面内，得到二维向量B，计算向量B和Y轴的夹角即为脊柱侧屈的角度；
利用用左手指关节点坐标减左膝关节点坐标，得到在相机坐标系下的三维矢量C；C在y轴上的投影向量的绝对值即为侧屈时指尖与膝关节的距离；颈下脊椎关节点坐标为(X20,Y20,Z20),脊椎基部关节点坐标为(X0,Y0,Z0)，三维向量A等于(X20-X0,Y20-Y0,Z20-Z0)，二维向量B等于(X20-X0,Y20-Y0)；脊柱侧屈角度
Figure FDA0002293726490000051
设定左手指关节点坐标为(X21,Y21,Z21),左膝关节点坐标为(X13,Y13,Z13)，所以三维向量C等于(X21-X31,Y21-Y31,Z21-Z31)；
指尖与膝关节的距离D＝|Y21-Y31|；
肩关节前屈关节点之间空间数据计算：利用右肘关节点坐标减右肩关节点坐标，得到在相机坐标系下的三维矢量A；将A投影到相机坐标系的X-Y平面内，得到二维向量B，计算向量B和Y轴负半轴的夹角即为肩关节前屈的角度；
右肘关节点坐标为(X9,Y9,Z9)，右肩关节点坐标为(X8,Y8,Z8)，三维向量A等于(X9-X8,Y9-Y8,Z9-Z8)，二维向量B等于(Y3-Y2,Z3-Z2)；肩关节前屈角度
Figure FDA0002293726490000052
肩关节后伸关节点之间空间数据计算：利用左肘关节点坐标减左肩关节点坐标，得到在相机坐标系下的三维矢量A；将A投影到相机坐标系的X-Y平面内，得到二维向量B，计算向量B和Y轴负半轴的夹角即为肩关节前屈的角度；左肘关节点坐标为(X5,Y5,Z5)，左肩关节点坐标为(X4,Y4,Z4)，三维向量A等于(X5-X4,Y5-Y4,Z5-Z4),二维向量B等于(X5-X4,Y5-Y4)；
肩关节后伸角度
Figure FDA0002293726490000053
肘关节伸展屈曲关节点之间空间数据计算：利用左肘关节点坐标减左腕关节点坐标，得到在相机坐标系下的三维矢量A；将A投影到相机坐标系的X-Y平面内，得到二维向量B，计算向量B和Y轴的夹角为肘关节伸展屈曲的角度；
左肘关节点坐标为(X5,Y5,Z5)，左腕关节点坐标为(X6,Y6,Z6)，三维向量A等于(X5-X6,Y5-Y6,Z5-Z6)，二维向量B等于(X5-X6,Y5-Y6)；肘关节伸展-屈曲角度
Figure FDA0002293726490000054
髋部关节前屈关节点之间空间数据计算：利用左臀关节点坐标减去左膝关节点坐标得到向量A，将A投影到相机坐标系的X-Y平面内得到二维向量B，计算二维向量B与y轴负半轴的夹角，为髋部关节前屈角度；左臀关节点坐标为(X12,Y12,Z12),左膝关节点坐标为(X13,Y13,Z13)，三维向量A等于(X12-X13,Y12-Y13,Z12-Z13)，二维向量B等于(X12-X13,Y12-Y13)；髋部关节前屈角度
Figure FDA0002293726490000061
髋部关节后伸关节点之间空间数据计算：利用左臀关节点坐标减去左膝关节点坐标得到向量A，将A投影到相机坐标系的X-Y平面内得到二维向量B，计算二维向量B与y轴负半轴的夹角，为髋部关节前屈角度；
左臀关节点坐标为(X12,Y12,Z12),左膝关节点坐标为(X13,Y13,Z13)，三维向量A等于(X12-X13,Y12-Y13,Z12-Z13),二维向量B等于(X12-X13,Y12-Y13)；髋部关节前屈角度
Figure FDA0002293726490000062
头部前伸关节点之间空间数据计算：利用头部关节点坐标减颈下脊椎关节点坐标，得到在相机坐标系下的三维向量A；将A投影到相机坐标系的Y-Z平面内，得到二维向量B，计算向量B和Y轴的夹角为头部前伸的角度；头部关节点坐标为(X3,Y3,Z3)，颈下脊椎关节点坐标为(X20,Y20,Z20)，三维向量A等于(X3-X20,Y3-Y20,Z3-Z20)，二维向量B等于(Y3-Y20,Z3-Z20)；头部前伸角度
Figure FDA0002293726490000063
头部倾斜关节点之间空间数据计算：利用头部关节点坐标减颈下脊椎关节点坐标，得到在相机坐标系下的三维向量A，将A投影到相机坐标系的X-Y平面内，得到二维向量B，计算向量B和Y轴的夹角即为头部倾斜的角度；
头部关节点坐标为(X3,Y3,Z3),颈下脊椎关节点坐标为(X20,Y20,Z20)，三维向量A等于(X3-X20,Y3-Y20,Z3-Z20)，二维向量B等于(X3-X20,Y3-Y20)；头部倾斜角度
Figure FDA0002293726490000064
高低肩关节点之间空间数据计算：利用右肩关节点坐标减左肩关节点坐标，得到在相机坐标系下的三维向量A，计算向量A在Y轴上的距离为高低肩幅度；右肩关节点坐标为(X8,Y8,Z8)，左肩关节点坐标为(X4,Y4,Z4)，高低肩幅度d＝|Y8-Y4|；
骨盆倾斜关节点之间空间数据计算：利用左臀关节点坐标减右臀关节点坐标，得到在相机坐标系下的三维向量A，将A投影到相机坐标系的X-Y平面内，得到二维向量B，计算向量B和X轴的夹角为骨盆倾斜的角度；左臀关节点坐标为(X12,Y12,Z12)，右臀关节点坐标为(X16,Y16,Z16)，三维向量A等于(X12-X16,Y12-Y16,Z12-Z16),二维向量B等于(X12-X16,Y12-Y16)；骨盆倾斜角度
Figure FDA0002293726490000071
骨盆旋转关节点之间空间数据计算：利用左臀关节点坐标减右臀关节点坐标，得到在相机坐标系下的三维向量A，将A投影到相机坐标系的X-Z平面内，得到二维向量B，计算向量B和X轴的夹角为骨盆倾斜的角度；左臀关节点坐标为(X12,Y12,Z12)，右臀关节点坐标为(X16,Y16,Z16)，三维向量A等于(X12-X16,Y12-Y16,Z12-Z16)，二维向量B等于(X12-X16,Z12-Z16)；骨盆倾斜角度
Figure FDA0002293726490000072
深蹲测试关节点之间空间数据计算：右肘为坐标(X6,Y6)，右肩为坐标(X5,Y5)，右臀为坐标(X12,Y12)，右膝为坐标(X13,Y13)，右踝为坐标(X14,Y14)，右脚大拇指为坐标(X19,Y19)；
肩关节角度a：
向量A1(X5-X6,Y5-Y6)；向量A2(X5-X12,Y5-Y12)；
Figure FDA0002293726490000073
髋关节角度b：
设定向量B1(X12-X5,Y12-Y5)；向量B2(X13-X12,Y13-Y12)；
Figure FDA0002293726490000074
膝关节角度c：
设定向量C1(X13-X12,Y13-Y12)，向量B2(X13-X14,Y13-Y14)；
Figure FDA0002293726490000081
踝关节角度d：
设定向量D1(X14-X13,Y14-Y13)，向量D2(X14-X19,Y14-Y19)；
Figure FDA0002293726490000082
checkVal为一个像素代表的距离，膝盖超出脚尖距离＝|X13-X19|*checkVal。
7.一种实现权利要求1～6任意一项所述人体动作功能检测方法的人体动作功能检测系统，其特征在于，所述人体动作功能检测系统具体包括：
数据采集模块：采用深度摄像设备获取人体运动的视频；
骨骼节点位置获取模块：用于建立研究用的简易人体骨骼模型，并获取人体骨骼的空间坐标数据；
数据计算模块：用于根据骨骼数据中的各个坐标点的深度位置得到各个关节点之间的空间数据；
姿势库匹配模块：用于将空间数据与经过大量数据样本进行机器学习而得到的姿式库模板进行匹配；
肢体运动识别模块：用于进行肢体识别。
8.一种搭载如权利要求1所述的人体动作功能智能检测系统的人体动作功能智能检测仪。
9.一种实现权利要求1～6任意一项所述人体动作功能检测方法的信息数据处理终端。
10.一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行如权利要求1-6任意一项所述的人体动作功能检测方法。
CN201911191695.5A 2019-11-28 2019-11-28 一种人体动作功能检测系统、检测方法及检测仪 Active CN110969114B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911191695.5A CN110969114B (zh) 2019-11-28 2019-11-28 一种人体动作功能检测系统、检测方法及检测仪

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911191695.5A CN110969114B (zh) 2019-11-28 2019-11-28 一种人体动作功能检测系统、检测方法及检测仪

Publications (2)

Publication Number Publication Date
CN110969114A true CN110969114A (zh) 2020-04-07
CN110969114B CN110969114B (zh) 2023-06-09

Family

ID=70032251

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911191695.5A Active CN110969114B (zh) 2019-11-28 2019-11-28 一种人体动作功能检测系统、检测方法及检测仪

Country Status (1)

Country Link
CN (1) CN110969114B (zh)

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111275032A (zh) * 2020-05-07 2020-06-12 西南交通大学 基于人体关键点的深蹲检测方法、装置、设备及介质
CN111597975A (zh) * 2020-05-14 2020-08-28 北京万觉科技有限公司 人员动作检测方法方法、装置及电子设备
CN111754619A (zh) * 2020-06-29 2020-10-09 武汉市东旅科技有限公司 骨骼空间数据采集方法、采集装置、电子设备和存储介质
CN111754620A (zh) * 2020-06-29 2020-10-09 武汉市东旅科技有限公司 人体空间运动转换方法、转换装置、电子设备及存储介质
CN111814772A (zh) * 2020-09-07 2020-10-23 科大讯飞(苏州)科技有限公司 人体姿态评估方法、装置、电子设备和存储介质
CN111898574A (zh) * 2020-08-05 2020-11-06 复旦大学附属中山医院 一种起立行走测试分析系统及方法
CN111914790A (zh) * 2020-08-14 2020-11-10 电子科技大学 基于双摄像头的不同场景下实时人体转动角度识别方法
CN111938658A (zh) * 2020-08-10 2020-11-17 陈雪丽 一种用于手部、腕部与前臂的关节活动度监测系统及方法
CN112107318A (zh) * 2020-09-24 2020-12-22 自达康(北京)科技有限公司 一种身体活动能力评估系统
CN112364806A (zh) * 2020-11-23 2021-02-12 南京熊猫电子制造有限公司 一种人机交互环境中特征选择的人类活动识别系统及其识别方法
CN112435731A (zh) * 2020-12-16 2021-03-02 成都翡铭科技有限公司 一种判断实时姿势是否满足预设规则的方法
CN112487965A (zh) * 2020-11-30 2021-03-12 重庆邮电大学 一种基于3d重构的智能健身动作指导方法
CN112818800A (zh) * 2021-01-26 2021-05-18 中国人民解放军火箭军工程大学 一种基于人体骨骼点深度图像的体育动作评估方法及系统
CN112883808A (zh) * 2021-01-23 2021-06-01 招商新智科技有限公司 一种行人搭乘扶梯异常行为检测方法、装置及电子设备
CN112990089A (zh) * 2021-04-08 2021-06-18 重庆大学 一种判断人体运动姿态的方法
CN113063411A (zh) * 2020-06-29 2021-07-02 河北工业大学 外骨骼评价系统及其使用方法
CN113139962A (zh) * 2021-05-26 2021-07-20 北京欧应信息技术有限公司 用于脊柱侧凸概率评估的系统和方法
CN113143256A (zh) * 2021-01-28 2021-07-23 上海电气集团股份有限公司 步态特征提取方法、下肢评估、控制方法、设备及介质
CN113191226A (zh) * 2020-09-15 2021-07-30 方秋菊 基于大数据的学生学习习惯分析系统
CN113705482A (zh) * 2021-08-31 2021-11-26 江苏唯宝体育科技发展有限公司 一种基于人工智能的身体健康监测管理系统及方法
CN113781462A (zh) * 2021-09-17 2021-12-10 平安医疗健康管理股份有限公司 一种人体伤残检测方法、装置、设备及存储介质
WO2022006784A1 (zh) * 2020-07-08 2022-01-13 香港中文大学（深圳） 人体骨架检测方法、装置、系统、设备及存储介质
CN113925497A (zh) * 2021-10-22 2022-01-14 吉林大学 一种基于双目视觉测量系统的汽车乘员乘坐姿态提取方法
CN115116143A (zh) * 2022-08-30 2022-09-27 中国科学院自动化研究所 运动捕捉方法、装置、系统、电子设备和存储介质
JP7169718B1 (ja) 2021-11-12 2022-11-11 株式会社エクサウィザーズ 情報処理方法、装置及びプログラム
CN115813348A (zh) * 2022-12-25 2023-03-21 上海青瞳视觉科技有限公司 一种基于动作捕捉系统的动态脊柱盆骨参数获取方法
CN116309712A (zh) * 2023-03-15 2023-06-23 南通大学 一种基于深度相机的功能运动分析系统及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106022213A (zh) * 2016-05-04 2016-10-12 北方工业大学 一种基于三维骨骼信息的人体动作识别方法
CN106650687A (zh) * 2016-12-30 2017-05-10 山东大学 一种基于深度信息和骨骼信息的姿势矫正方法
CN107180235A (zh) * 2017-06-01 2017-09-19 陕西科技大学 基于Kinect的人体动作识别算法
CN108829232A (zh) * 2018-04-26 2018-11-16 深圳市深晓科技有限公司 基于深度学习的人体骨骼关节点三维坐标的获取方法
US20190303677A1 (en) * 2018-03-30 2019-10-03 Naver Corporation System and method for training a convolutional neural network and classifying an action performed by a subject in a video using the trained convolutional neural network

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106022213A (zh) * 2016-05-04 2016-10-12 北方工业大学 一种基于三维骨骼信息的人体动作识别方法
CN106650687A (zh) * 2016-12-30 2017-05-10 山东大学 一种基于深度信息和骨骼信息的姿势矫正方法
CN107180235A (zh) * 2017-06-01 2017-09-19 陕西科技大学 基于Kinect的人体动作识别算法
US20190303677A1 (en) * 2018-03-30 2019-10-03 Naver Corporation System and method for training a convolutional neural network and classifying an action performed by a subject in a video using the trained convolutional neural network
CN108829232A (zh) * 2018-04-26 2018-11-16 深圳市深晓科技有限公司 基于深度学习的人体骨骼关节点三维坐标的获取方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
孙强等: "基于kinect传感器的全方位运输平台控制系统研究", 《电子设计工程》 *
徐晓龙等: "基于Kinect 3D体感摄影机的健身教练系统设计", 《现代电子技术》 *
李红波等: "基于Kinect骨骼数据的人体动作姿势识别方法", 《计算机工程与设计》 *

Cited By (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111275032A (zh) * 2020-05-07 2020-06-12 西南交通大学 基于人体关键点的深蹲检测方法、装置、设备及介质
CN111597975A (zh) * 2020-05-14 2020-08-28 北京万觉科技有限公司 人员动作检测方法方法、装置及电子设备
CN111597975B (zh) * 2020-05-14 2024-04-19 北京万觉科技有限公司 人员动作检测方法、装置及电子设备
CN113063411A (zh) * 2020-06-29 2021-07-02 河北工业大学 外骨骼评价系统及其使用方法
CN111754619A (zh) * 2020-06-29 2020-10-09 武汉市东旅科技有限公司 骨骼空间数据采集方法、采集装置、电子设备和存储介质
CN111754620A (zh) * 2020-06-29 2020-10-09 武汉市东旅科技有限公司 人体空间运动转换方法、转换装置、电子设备及存储介质
CN111754620B (zh) * 2020-06-29 2024-04-26 武汉市东旅科技有限公司 人体空间运动转换方法、转换装置、电子设备及存储介质
CN111754619B (zh) * 2020-06-29 2024-07-02 武汉市东旅科技有限公司 骨骼空间数据采集方法、采集装置、电子设备和存储介质
WO2022006784A1 (zh) * 2020-07-08 2022-01-13 香港中文大学（深圳） 人体骨架检测方法、装置、系统、设备及存储介质
CN111898574A (zh) * 2020-08-05 2020-11-06 复旦大学附属中山医院 一种起立行走测试分析系统及方法
CN111938658A (zh) * 2020-08-10 2020-11-17 陈雪丽 一种用于手部、腕部与前臂的关节活动度监测系统及方法
CN111938658B (zh) * 2020-08-10 2023-09-01 陈雪丽 一种用于手部、腕部与前臂的关节活动度监测系统及方法
CN111914790A (zh) * 2020-08-14 2020-11-10 电子科技大学 基于双摄像头的不同场景下实时人体转动角度识别方法
CN111914790B (zh) * 2020-08-14 2022-08-02 电子科技大学 基于双摄像头的不同场景下实时人体转动角度识别方法
CN111814772A (zh) * 2020-09-07 2020-10-23 科大讯飞(苏州)科技有限公司 人体姿态评估方法、装置、电子设备和存储介质
CN113191226A (zh) * 2020-09-15 2021-07-30 方秋菊 基于大数据的学生学习习惯分析系统
CN112107318B (zh) * 2020-09-24 2024-02-27 自达康(北京)科技有限公司 一种身体活动能力评估系统
CN112107318A (zh) * 2020-09-24 2020-12-22 自达康(北京)科技有限公司 一种身体活动能力评估系统
CN112364806A (zh) * 2020-11-23 2021-02-12 南京熊猫电子制造有限公司 一种人机交互环境中特征选择的人类活动识别系统及其识别方法
CN112487965B (zh) * 2020-11-30 2023-01-31 重庆邮电大学 一种基于3d重构的智能健身动作指导方法
CN112487965A (zh) * 2020-11-30 2021-03-12 重庆邮电大学 一种基于3d重构的智能健身动作指导方法
CN112435731A (zh) * 2020-12-16 2021-03-02 成都翡铭科技有限公司 一种判断实时姿势是否满足预设规则的方法
CN112435731B (zh) * 2020-12-16 2024-03-19 成都翡铭科技有限公司 一种判断实时姿势是否满足预设规则的方法
CN112883808A (zh) * 2021-01-23 2021-06-01 招商新智科技有限公司 一种行人搭乘扶梯异常行为检测方法、装置及电子设备
CN112818800A (zh) * 2021-01-26 2021-05-18 中国人民解放军火箭军工程大学 一种基于人体骨骼点深度图像的体育动作评估方法及系统
CN113143256A (zh) * 2021-01-28 2021-07-23 上海电气集团股份有限公司 步态特征提取方法、下肢评估、控制方法、设备及介质
CN113143256B (zh) * 2021-01-28 2023-09-26 上海电气集团股份有限公司 步态特征提取方法、下肢评估、控制方法、设备及介质
CN112990089A (zh) * 2021-04-08 2021-06-18 重庆大学 一种判断人体运动姿态的方法
CN112990089B (zh) * 2021-04-08 2023-09-26 重庆大学 一种判断人体运动姿态的方法
CN113139962B (zh) * 2021-05-26 2021-11-30 北京欧应信息技术有限公司 用于脊柱侧凸概率评估的系统和方法
CN113139962A (zh) * 2021-05-26 2021-07-20 北京欧应信息技术有限公司 用于脊柱侧凸概率评估的系统和方法
CN113705482B (zh) * 2021-08-31 2024-03-22 江苏唯宝体育科技发展有限公司 一种基于人工智能的身体健康监测管理系统及方法
CN113705482A (zh) * 2021-08-31 2021-11-26 江苏唯宝体育科技发展有限公司 一种基于人工智能的身体健康监测管理系统及方法
CN113781462A (zh) * 2021-09-17 2021-12-10 平安医疗健康管理股份有限公司 一种人体伤残检测方法、装置、设备及存储介质
CN113925497B (zh) * 2021-10-22 2023-09-15 吉林大学 一种基于双目视觉测量系统的汽车乘员乘坐姿态提取方法
CN113925497A (zh) * 2021-10-22 2022-01-14 吉林大学 一种基于双目视觉测量系统的汽车乘员乘坐姿态提取方法
JP2023072148A (ja) * 2021-11-12 2023-05-24 株式会社エクサウィザーズ 情報処理方法、装置及びプログラム
JP7169718B1 (ja) 2021-11-12 2022-11-11 株式会社エクサウィザーズ 情報処理方法、装置及びプログラム
CN115116143A (zh) * 2022-08-30 2022-09-27 中国科学院自动化研究所 运动捕捉方法、装置、系统、电子设备和存储介质
CN115813348A (zh) * 2022-12-25 2023-03-21 上海青瞳视觉科技有限公司 一种基于动作捕捉系统的动态脊柱盆骨参数获取方法
CN116309712A (zh) * 2023-03-15 2023-06-23 南通大学 一种基于深度相机的功能运动分析系统及方法
CN116309712B (zh) * 2023-03-15 2024-01-30 南通大学 一种基于深度相机的功能运动分析系统及方法

Also Published As

Publication number Publication date
CN110969114B (zh) 2023-06-09

Similar Documents

Publication Publication Date Title
CN110969114B (zh) 一种人体动作功能检测系统、检测方法及检测仪
Viswakumar et al. Human gait analysis using OpenPose
CN111368810A (zh) 基于人体及骨骼关键点识别的仰卧起坐检测系统及方法
CN112069933A (zh) 基于体态识别和人体生物力学的骨骼肌肉受力估计方法
Parks et al. Current low-cost video-based motion analysis options for clinical rehabilitation: a systematic review
CN110210284A (zh) 一种人体姿态行为智能评价方法
CN111883229B (zh) 一种基于视觉ai的智能运动指导方法及系统
Pinzke et al. Marker-less systems for tracking working postures—results from two experiments
Liu et al. Simple method integrating OpenPose and RGB-D camera for identifying 3D body landmark locations in various postures
CN115909487A (zh) 一种基于人体姿态检测的儿童步态异常评估辅助系统
CN113780253B (zh) 一种人体关节运动关键点识别方法及系统
Aslam et al. Automatic measurement of anthropometric dimensions using frontal and lateral silhouettes
Sheng et al. A markless 3D human motion data acquisition method based on the binocular stereo vision and lightweight open pose algorithm
CN117115922A (zh) 坐位体前屈评测方法、系统、电子设备和存储介质
Kertész Physiotherapy exercises recognition based on rgb-d human skeleton models
Lee et al. Real-time motion analysis system using low-cost web cameras and wearable skin markers
CN114052725B (zh) 基于人体关键点检测的步态分析算法设定方法以及装置
Hu et al. Effective evaluation of HGcnMLP method for markerless 3D pose estimation of musculoskeletal diseases patients based on smartphone monocular video
Nakamura et al. Tankendo motion estimation system with robustness against differences in color and size between users' clothes using 4-color markers with elastic belts
CN115937969A (zh) 仰卧起坐考核中目标人物的确定方法、装置、设备及介质
JP7455991B2 (ja) 情報処理装置、および情報処理方法
Ismail et al. The applications of Microsoft Kinect for human motion capture and analysis: A review
Yu et al. Automatic human Gait imitation and recognition in 3D from monocular video with an uncalibrated camera
Barzyk et al. AI‐smartphone markerless motion capturing of hip, knee, and ankle joint kinematics during countermovement jumps
Juri et al. Characterization of a low-cost markerless system for 3D gait analysis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant