CN110084140A - 基于关节向量的通用姿态识别方法 - Google Patents

基于关节向量的通用姿态识别方法 Download PDF

Info

Publication number
CN110084140A
CN110084140A CN201910273536.3A CN201910273536A CN110084140A CN 110084140 A CN110084140 A CN 110084140A CN 201910273536 A CN201910273536 A CN 201910273536A CN 110084140 A CN110084140 A CN 110084140A
Authority
CN
China
Prior art keywords
joint
human body
shoulder
hip
coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910273536.3A
Other languages
English (en)
Inventor
张�杰
逄嘉振
余剑峰
李原
季宝宁
龙腾飞
李娜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN201910273536.3A priority Critical patent/CN110084140A/zh
Publication of CN110084140A publication Critical patent/CN110084140A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明提出了一种基于关节向量的通用姿态识别方法，将人体姿态转化为人体坐标系中的关节向量描述符，通过与姿态库中模板姿态描述符的匹配完成人体姿态识别。匹配算法采用向量夹角余弦值消除不同体型对人体识别准确性的影响，达到适用于不同操作人员的通用姿态识别的目的。该方法通过关节向量表示人体关节坐标数据与连接关系，构建了一种信息存储形式简单、能够准确表达人体姿态的描述符，针对该描述符特点提出向量夹角余弦值方法计算姿态之间的匹配程度，消除人体体型差异对识别的影响，实现人体姿态的通用识别，在人机交互、虚拟现实、人体步态识别等领域具有重要的工程应用价值。人体姿态识别实验表明，该方法可以达到较高的人体姿态识别准确率。

Description

基于关节向量的通用姿态识别方法
技术领域
本发明属于人体姿态识别技术领域，涉及一种基于关节向量的通用姿态识别方法。
背景技术
当前制造业正在向制造智能化方向发展，虚拟现实、增强现实等人机协同模式正在融入生产制造的全过程，制造系统快速、准确识别人体姿态能力显得尤为重要。人体姿态识别技术能够对人体姿态进行实时的分析与比较，有效支持制造系统在人机协同制造过程中理解操作员的行为模式并据此进行后续分析。在识别过程中操作人员的不同体型对目前姿态识别技术的准确度具有一定影响，因此一种能够用于不同体型的通用姿态识别方法对提升制造系统智能化程度具有工程实际意义。目前已经出现了一些基于不同人体信息的姿态识别方法：
文献“Xia L,Chen C C,Aggarwal J K.View invariant human actionrecognition using histograms of 3D joints[C]//Computer Vision and PatternRecognition Workshops.IEEE,2012:20-27.”中提取人体动作关节位置的直方图作为人体动作描述符，使用线性鉴别分析将动作描述符归类，通过训练好的隐马尔科夫模型对人体动作描述符进行识别。然而在将不同体型的动作描述符进行归类过程中，虽然可以减少部分体型差异对识别结果的影响，但是仍然存在由于不同体型导致的动作识别错误。
专利“人体姿态识别方法(CN 103632133B，公开日期：20170524)”中采集绑定在监控对象身上的三轴加速度计的实时加速度数据，通过实时加速度的倾斜角度来识别当前人体的实时姿态。由于人体姿态主要描述的是人体所处状态，而关节加速度在同一个人体姿态维持与变化的状态下具有很大的差异，加速度方法对于同一姿态描述的一致性较差，因此会影响姿态识别准确率。
专利“姿态识别方法及姿态识别装置(CN 104392204B，公开日期：20180309)”中采用目标对象所在的目标空间的空间湿度分布信息建立姿态识别描述符，并以此识别所述目标对象当前时刻的姿态。然而空间湿度信息会根据目标对象、环境湿度的不同产生变化，难以对不同体型的目标对象姿态进行一致性的描述。
发明内容
针对虚拟现实、增强现实等人机协同制造对通用人体姿态高效识别的需求，本发明提出一种基于关节向量的通用姿态识别方法，将人体姿态转化为人体坐标系中的关节向量描述符，通过与姿态库中模板姿态描述符的匹配完成人体姿态识别。匹配算法采用向量夹角余弦值消除不同体型对人体识别准确性的影响，达到适用于不同操作人员的通用姿态识别的目的。
本发明使用关节动作捕捉设备采集人体关节坐标点，将人体姿态模型表示为关节坐标点集合和连接关系矩阵；然后通过坐标变换矩阵将采集得到的关节坐标点在人体坐标系中表示，以关节坐标点与连接关系构建关节向量，并基于关节向量建立人体姿态描述符；最后将姿态描述符与模板姿态库中的描述符进行比较，计算对应向量之间的夹角余弦值，将最高的平均余弦值所对应的模板姿态作为姿态识别结果。
本发明的技术方案为：
所述一种基于关节向量的通用姿态识别方法，其特征在于：包括以下步骤：
步骤1：将需要进行识别的人体姿态以人体姿态模型HM表示，该人体姿态模型HM表示为关节坐标点集合BJ和关节连接关系矩阵CR两部分：HM＝{BJ,CR}；
其中：人体姿态模型HM中关节坐标点集合BJ中包含20个关节坐标点数据bj：BJ＝{bji|i＝1..20}；具体为臀部中心坐标点Hip_center、脊椎坐标点Spine、肩膀中心坐标点Shoulder_center、头部坐标点Head、左肩关节坐标点Shoulder_left、左肘关节坐标点Elbow_left、左腕关节坐标点Wrist_left、左手关节坐标点Hand_left、右肩关节坐标点Shoulder_right、右肘关节坐标点Elbow_right、右腕关节坐标点Wrist_right、右手关节坐标点Hand_right、左臀关节坐标点Hip_left、左膝关节坐标点Knee_left、左踝关节坐标点Ankle_left、左脚关节坐标点Foot_left、右臀关节坐标点Hip_right、右膝关节坐标点Knee_right、右踝关节坐标点Ankle_right、右脚关节坐标点Foot_right；
关节坐标点bj编号及名称为：
而连接关系矩阵CR是表示人体姿态模型中各个关节之间连接关系的对称0-1矩阵，连接关系矩阵中行和列表示关节坐标的编号，其中CR(i,j)＝1指第i个关节和第j个关节连接，CR(i,j)＝0指第i个关节和第j个关节不连接；连接关系矩阵CR中为1的元素所在行-列为：
编号 行—列 编号 行—列 编号 行—列 编号 行—列 编号 行—列 编号 行—列
1 1-2 8 5-6 15 14-15 22 17-1 29 8-7 36 18-17
2 1-13 9 6-7 16 15-16 23 3-2 30 10-9 37 19-18
3 1-17 10 7-8 17 17-18 24 4-3 31 11-10 38 20-19
4 2-3 11 9-10 18 18-19 25 5-3 32 12-11
5 3-4 12 10-11 19 19-20 26 9-3 33 14-13
6 3-5 13 11-12 20 2-1 27 6-5 34 15-14
7 3-9 14 13-14 21 13-1 28 7-6 35 16-15
步骤2：将步骤1获取的关节坐标点数据bj从测量坐标系中转换至人体坐标系；所述人体坐标系中以人体姿态模型中脊椎坐标点Spine与肩膀中心坐标点Shoulder_center之间的连线在X-Y平面上的投影作为人体坐标系Y轴正方向，以测量坐标系Z轴方向作为人体坐标系Z轴方向，然后根据右手定则确定人体坐标系X轴正方向，以臀部中心坐标点Hip_center作为坐标系原点，构建坐标变换矩阵为其中θ为人体坐标系X轴及测量坐标系X轴之间的角度，T＝(tx,ty,tz)为人体坐标系原点与测量坐标系原点之间的位移；根据坐标变换矩阵得变换后的关节坐标点集合BJ′；
步骤3：根据人体坐标系下的关节坐标点集合BJ′和连接关系矩阵CR构建关节向量关节向量以起始关节坐标点为向量起点，以结束关节坐标点为向量终点；基于人体姿态模型得到19个关节向量组成集合建立人体姿态描述符19个关节向量为：
编号 起始点 终止点 编号 起始点 终止点
1 Hip_center Spine 11 Shouler_right Elbow_right
2 Hip_center Hip_left 12 Elbow_right Wrist_right
3 Hip_center Hip_right 13 Wrist_right Hand_right
4 Spine Shoulder_center 14 Hip_left Knee_feft
5 Shoulder_center Head 15 Knee_feft Ankle_left
6 Shoulder_center Shoulder_left 16 Ankle_left Foot_left
7 Shoulder_center Shouler_right 17 Hip_right Knee_right
8 Shoulder_left Elbow_left 18 Knee_right Ankle_right
9 Elbow_left Wrist_left 19 Ankle_right Foot_right
10 Wrist_left Hand_left
步骤4：将姿态模板库中的模板姿态作为待评估姿态的比较对象，计算待评估姿态描述符V与模板姿态描述符VM中第i个关节矢量和之间的夹角余弦值cos(θi)，得到19个关节向量夹角余弦值的平均值作为待评估姿态与模板姿态的整体相似程度：
步骤5：重复进行步骤4，对待评估姿态与姿态模板库中的所有模板姿态分别进行相似度分析，得到待评估姿态对应相似度值最高的模板姿态，完成此次人体姿态的识别。
有益效果
本发明提出了一种基于关节向量的通用姿态识别方法，该方法通过关节向量表示人体关节坐标数据与连接关系，构建了一种信息存储形式简单、能够准确表达人体姿态的描述符，针对该描述符特点提出向量夹角余弦值方法计算姿态之间的匹配程度，消除人体体型差异对识别的影响，实现人体姿态的通用识别，在人机交互、虚拟现实、人体步态识别等领域具有重要的工程应用价值。人体姿态识别实验表明，该方法可以达到较高的人体姿态识别准确率。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1是本发明所提出基于关节向量的通用姿态识别方法的流程图
图2是本发明具体实施方式中两个人体姿态模型HMa、HMb示意图。
图3是本发明具体实施方式中两个姿态描述符Va、Vb实例。
图4是本发明具体实施方式中七种模板姿态的示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
针对男性与女性两个体型不同的人体姿态，本发明基于关节向量的通用姿态识别方法具体步骤如下：
步骤1：将两个需要进行识别的人体姿态以人体姿态模型HMa和HMb表示，分别包含关节坐标点集合BJ和关节连接关系矩阵CR两部分，即
HMa＝{BJa,CRa}，HMb＝{BJb,CRb}。
人体姿态模型HMa和HMb通过关节捕捉设备读取关节坐标点集合BJa及BJb数据，分别20个关节坐标点数据bj，即BJa＝{bji|i＝1..20}和BJb＝{bji|i＝1..20}。关节坐标点数据bj分别为：臀部中心坐标点(Hip_center)、脊椎坐标点(Spine)、肩膀中心坐标点(Shoulder_center)、头部坐标点(Head)、左肩关节坐标点(Shoulder_left)、左肘关节坐标点(Elbow_left)、左腕关节坐标点(Wrist_left)、左手关节坐标点(Hand_left)、右肩关节坐标点(Shoulder_right)、右肘关节坐标点(Elbow_right)、右腕关节坐标点(Wrist_right)、右手关节坐标点(Hand_right)、左臀关节坐标点(Hip_left)、左膝关节坐标点(Knee_left)、左踝关节坐标点(Ankle_left)、左脚关节坐标点(Foot_left)、右臀关节坐标点(Hip_right)、右膝关节坐标点(Knee_right)、右踝关节坐标点(Ankle_right)、右脚关节坐标点(Foot_right)。关节坐标点集合BJa及BJb中关节坐标点编号及数据如下表所示。
本发明具体实施方式中两个人体姿态模型HMa、HMb中关节坐标集合BJa及BJb实例。
ID. BJ<sub>a</sub>关节坐标点 ID. BJ<sub>a</sub>关节坐标点 ID. BJ<sub>a</sub>关节坐标点
1 (-1.9638,0.1018,-0.1724) 8 (-1.8710,-0.0262,-0.1776) 15 (-2.0283,0.0663,-0.8004)
2 (-1.9896,0.1027,0.1282) 9 (-1.9586,0.2465,0.2890) 16 (-1.9208,0.0637,-0.8252)
3 (-2.0032,0.1034,0.4185) 10 (-1.9643,0.2946,0.0447) 17 (-1.9270,0.1663,-0.1696)
4 (-2.0035,0.1133,0.5538) 11 (-1.9251,0.2959,-0.1602) 18 (-1.9862,0.1234,-0.5098)
5 (-1.9694,-0.0526,0.2862) 12 (-1.9096,0.2816,-0.2161) 19 (-2.0304,0.1220,-0.8597)
6 (-1.9672,-0.0841,0.0582) 13 (-1.9336,0.0339,-0.1697) 20 (-1.9780,0.0902,-0.9091)
7 (-1.8577,-0.0477,-0.1197) 14 (-1.9870,0.0852,-0.5098)
ID. BJ<sub>b</sub>关节坐标点 ID. BJ<sub>b</sub>关节坐标点 ID. BJ<sub>b</sub>关节坐标点
1 (-2.1833,0.1505,-0.1171) 8 (-2.1291,-0.0885,-0.1175) 15 (-2.2300,0.0454,-0.7770)
2 (-2.1830,0.1438,0.2205) 9 (-2.1690,0.3218,0.4088) 16 (-2.0851,0.0435,-0.8171)
3 (-2.1695,0.1364,0.5458) 10 (-2.1700,0.3723,0.1425) 17 (-2.1470,0.2307,-0.1144)
4 (-2.1380,0.1511,0.7019) 11 (-2.1056,0.3936,-0.0956) 18 (-2.1969,0.2564,-0.4530)
5 (-2.1797,-0.0496,0.4259) 12 (-2.1037,0.3818,-0.1279) 19 (-2.2400,0.2606,-0.7687)
6 (-2.1902,-.1030,0.1448) 13 (-2.1445,0.0652,-0.1156) 20 (-2.0953,0.2554,-0.8090)
7 (-2.1263,-0.1007,-0.0946) 14 (-2.1935,0.0409,-0.4423)
人体姿态模型HMa和HMb中连接关系矩阵CRa和CRb相同，连接矩阵是表示人体姿态模型中各个关节之间连接关系的对称0-1矩阵，连接关系矩阵中行和列表示关节坐标的编号，其中CR(i,j)＝1指第i个关节和第j个关节连接，CR(i,j)＝0指第i个关节和第j个关节不连接。连接关系矩阵中为1的元素所在行-列如下表所示：
编号 行—列 编号 行—列 编号 行—列 编号 行—列 编号 行—列 编号 行—列
1 1-2 8 5-6 15 14-15 22 17-1 29 8-7 36 18-17
2 1-13 9 6-7 16 15-16 23 3-2 30 10-9 37 19-18
3 1-17 10 7-8 17 17-18 24 4-3 31 11-10 38 20-19
4 2-3 11 9-10 18 18-19 25 5-3 32 12-11
5 3-4 12 10-11 19 19-20 26 9-3 33 14-13
6 3-5 13 11-12 20 2-1 27 6-5 34 15-14
7 3-9 14 13-14 21 13-1 28 7-6 35 16-15
步骤2：将步骤1获取的关节坐标点集合BJa及BJb的坐标从测量坐标系中转换至人体坐标系；所述人体坐标系中以人体姿态模型中脊椎坐标点Spine与肩膀中心坐标点Shoulder_center之间的连线在X-Y平面上的投影作为人体坐标系Y轴正方向，以测量坐标系Z轴方向作为人体坐标系Z轴方向，然后根据右手定则确定人体坐标系X轴正方向，以臀部中心坐标点Hip_center作为坐标系原点，构建坐标变换矩阵为其中θ为人体坐标系X轴及测量坐标系X轴之间的角度，T＝(tx,ty,tz)为人体坐标系原点与测量坐标系原点之间的位移。对于两个人体姿态模型HMa和HMb分别计算坐标变化矩阵，然后根据坐标变换矩阵变换后的关节坐标点集合BJa′及BJb′中关节坐标点编号及数据如下表所示。
本发明具体实施方式中人体坐标系下的关节坐标集合BJa′及BJb′实例
ID. BJ<sub>a</sub>关节坐标点 ID. BJ<sub>a</sub>关节坐标点 ID. BJ<sub>a</sub>关节坐标点
1 (0,0,0) 8 (0.1249,0.0969,-0.0052) 15 (0.0376,-0.0633,-0.6280)
2 (0,-0.0258,0.3006) 9 (-0.1447,0.0005,0.4615) 16 (0.0367,0.0442,-0.6528)
3 (-0.0003,-0.0394,0.5909) 10 (-0.1926,-0.0068,0.2171) 17 (-0.0657,0.0347,0.0028)
4 (-0.0102,-0.0401,0.7262) 11 (-0.1953,0.0323,0.0122) 18 (-0.0209,-0.0231,-0.3374)
5 (0.1546,-0.0006,0.4586 12 (-0.1814,0.0483,-0.0437) 19 (-0.0180,-0.0672,-0.6873)
6 (0.1859,0.0027,0.2306) 13 (0.0669,0.0324,0.0027) 20 (0.0120,-0.0138,-0.7367)
7 (0.1460,0.1109,0.0527) 14 (0.0173,-0.0227,-0.3374)
ID. BJ<sub>b</sub>关节坐标点 ID. BJ<sub>b</sub>关节坐标点 ID. BJ<sub>b</sub>关节坐标点
1 (0,0,0) 8 (0.0428,-0.2413,-0.0004) 15 (-0.0516,-0.1028,-0.6599)
2 (0,-0.0067,0.3376) 9 (0.0225,0.1704,0.5258) 16 (0.0930,-0.1115,-0.7000)
3 (0.0131,-0.0148,0.6629) 10 (0.0238,0.2209,0.2595) 17 (0.0400,0.0784,0.0026)
4 (0.0453,-0.0016,0.8189) 11 (0.0892,0.2391,0.0214) 18 (-0.0085,0.1064,-0.3360)
5 (-0.0059,-0.2001,0.5429) 12 (0.0905,0.2272,-0.0109) 19 (-0.0514,0.1127,-0.6517)
6 (-0.0189,-0.2529,0.2619) 13 (0.0348,-0.0871,0.0014) 20 (0.0929,0.1006,-0.6920)
7 (0.0450,-0.2537,0.0225) 14 (-0.0154,-0.1090,-0.3253)
步骤3：根据人体坐标系下的关节坐标点集合BJa′及BJb′和连接关系矩阵CR构建关节向量与关节向量以起始关节坐标点为向量起点，以结束关节坐标点为向量终点；基于人体姿态模型得到19个关节向量组成集合建立人体姿态描述符19个关节向量为：
编号 起始点 终止点 编号 起始点 终止点
1 Hip_center Spine 11 Shouler_right Elbow_righ
2 Hip_center Hip_left 12 Elbow_right Wrist_right
3 Hip_center Hip_right 13 Wrist_right Hand_right
4 Spine Shoulder_center 14 Hip_left Knee_feft
5 Shoulder_center Head 15 Knee_feft Ankle_left
6 Shoulder_center Shoulder_left 16 Ankle_left Foot_left
7 Shoulder_center Shouler_right 17 Hip_right Knee_right
8 Shoulder_left Elbow_left 18 Knee_right Ankle_right
9 Elbow_left Wrist_left 19 Ankle_right Foot_right
10 Wrist_left Hand_left
基于人体姿态模型HMa和HMb得到的19个关节向量集合建立人体姿态描述符与如图3所示。
步骤4：将两个人体的待评估姿态描述符与姿态模板库中的模板站姿VM1进行相似度计算，分别计算待评估姿态描述符与模板姿态描述符中第i个关节矢量和之间的夹角余弦值cos(θi)，并以此代表待评估姿态和模板姿态的匹配程度，余弦值越接近1表示两个关节向量匹配程度越高。通过计算19个向量夹角余弦值的平均值作为待评估姿态与模板姿态的整体相似程度，按照公式
得到两个人体姿态描述符Va与Vb与站姿模板姿态VM1的相似度计算结果如下表所示。
姿态描述符Va与站姿描述符VM1的余弦相似度
姿态描述符Vb与站姿描述符VM1的余弦相似度
步骤5：重复进行步骤4，将两个人体姿态描述符Va与Vb与站姿、俯姿、坐姿、蹲姿、跪姿、卧姿、仰姿七个模板姿态VM1、VM2、VM3、VM4、VM5、VM6、VM7分别进行相似度分析，七个模板姿态如图4所示。得到两个人体姿态描述符对应相似度计算结果如下表所示，其中相似值最高的模板姿态为站姿，与实际情况相符，表明匹配结果正确。至此完成此次人体姿态的识别。
姿态描述符V<sub>a</sub> 姿态描述符V<sub>b</sub>
站姿描述符V<sub>M1</sub> 0.9862 0.9866
俯姿描述符V<sub>M2</sub> 0.3309 0.1831
坐姿描述符V<sub>M3</sub> 0.6785 0.7776
蹲姿描述符V<sub>M4</sub> -0.2070 -0.212
跪姿描述符V<sub>M5</sub> 0.7680 0.7856
卧姿描述符V<sub>M6</sub> 0.8996 0.9081
仰姿描述符V<sub>M7</sub> 0.7684 0.7219
识别结果 站姿 站姿
此外，两名测试人员在体型方面具有较大差距，身高相差24cm(15.2％)、体重相差35.3kg(72.2％)，而最终评估结果中相似度差异很小(0.4％)，说明本发明所提出的方法可以用于不同体型的人体姿态识别，在人体姿态识别中具有通用性。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (1)

1.一种基于关节向量的通用姿态识别方法，其特征在于：包括以下步骤：
步骤1：将需要进行识别的人体姿态以人体姿态模型HM表示，该人体姿态模型HM表示为关节坐标点集合BJ和关节连接关系矩阵CR两部分：HM＝{BJ,CR}；
其中：人体姿态模型HM中关节坐标点集合BJ中包含20个关节坐标点数据bj：BJ＝{bji|i＝1..20}；具体为臀部中心坐标点Hip_center、脊椎坐标点Spine、肩膀中心坐标点Shoulder_center、头部坐标点Head、左肩关节坐标点Shoulder_left、左肘关节坐标点Elbow_left、左腕关节坐标点Wrist_left、左手关节坐标点Hand_left、右肩关节坐标点Shoulder_right、右肘关节坐标点Elbow_right、右腕关节坐标点Wrist_right、右手关节坐标点Hand_right、左臀关节坐标点Hip_left、左膝关节坐标点Knee_left、左踝关节坐标点Ankle_left、左脚关节坐标点Foot_left、右臀关节坐标点Hip_right、右膝关节坐标点Knee_right、右踝关节坐标点Ankle_right、右脚关节坐标点Foot_right；
关节坐标点bj编号及名称为：
编号 关节坐标点 编号 关节坐标点 编号 关节坐标点 1 Hip_center 8 Hand_left 15 Ankle_left 2 Spine 9 Shouler_right 16 Foot_left 3 Shoulder_center 10 Elbow_right 17 Hip_right 4 Head 11 Wrist_right 18 Knee_right 5 Shoulder_left 12 Hand_right 19 Ankle_right 6 Elbow_left 13 Hip_left 20 Foot_right 7 Wrist_left 14 Knee_feft
而连接关系矩阵CR是表示人体姿态模型中各个关节之间连接关系的对称0-1矩阵，连接关系矩阵中行和列表示关节坐标的编号，其中CR(i,j)＝1指第i个关节和第j个关节连接，CR(i,j)＝0指第i个关节和第j个关节不连接；连接关系矩阵CR中为1的元素所在行-列为：
编号 行—列 编号 行—列 编号 行—列 编号 行—列 编号 行—列 编号 行—列 1 1-2 8 5-6 15 14-15 22 17-1 29 8-7 36 18-17 2 1-13 9 6-7 16 15-16 23 3-2 30 10-9 37 19-18 3 1-17 10 7-8 17 17-18 24 4-3 31 11-10 38 20-19 4 2-3 11 9-10 18 18-19 25 5-3 32 12-11 5 3-4 12 10-11 19 19-20 26 9-3 33 14-13 6 3-5 13 11-12 20 2-1 27 6-5 34 15-14 7 3-9 14 13-14 21 13-1 28 7-6 35 16-15
步骤2：将步骤1获取的关节坐标点数据bj从测量坐标系中转换至人体坐标系；所述人体坐标系中以人体姿态模型中脊椎坐标点Spine与肩膀中心坐标点Shoulder_center之间的连线在X-Y平面上的投影作为人体坐标系Y轴正方向，以测量坐标系Z轴方向作为人体坐标系Z轴方向，然后根据右手定则确定人体坐标系X轴正方向，以臀部中心坐标点Hip_center作为坐标系原点，构建坐标变换矩阵为其中θ为人体坐标系X轴及测量坐标系X轴之间的角度，T＝(tx,ty,tz)为人体坐标系原点与测量坐标系原点之间的位移；根据坐标变换矩阵得变换后的关节坐标点集合BJ′；
步骤3：根据人体坐标系下的关节坐标点集合BJ′和连接关系矩阵CR构建关节向量关节向量以起始关节坐标点为向量起点，以结束关节坐标点为向量终点；基于人体姿态模型得到19个关节向量组成集合建立人体姿态描述符19个关节向量为：
编号 起始点 终止点 编号 起始点 终止点 1 Hip_center Spine 11 Shouler_right Elbow_right 2 Hip_center Hip_left 12 Elbow_right Wrist_right 3 Hip_center Hip_right 13 Wrist_right Hand_right 4 Spine Shoulder_center 14 Hip_left Knee_feft 5 Shoulder_center Head 15 Knee_feft Ankle_left 6 Shoulder_center Shoulder_left 16 Ankle_left Foot_left 7 Shoulder_center Shouler_right 17 Hip_right Knee_right 8 Shoulder_left Elbow_left 18 Knee_right Ankle_right 9 Elbow_left Wrist_left 19 Ankle_right Foot_right 10 Wrist_left Hand_left
步骤4：将姿态模板库中的模板姿态作为待评估姿态的比较对象，计算待评估姿态描述符V与模板姿态描述符VM中第i个关节矢量和之间的夹角余弦值cos(θi)，得到19个关节向量夹角余弦值的平均值作为待评估姿态与模板姿态的整体相似程度：
步骤5：重复进行步骤4，对待评估姿态与姿态模板库中的所有模板姿态分别进行相似度分析，得到待评估姿态对应相似度值最高的模板姿态，完成此次人体姿态的识别。
CN201910273536.3A 2019-04-05 2019-04-05 基于关节向量的通用姿态识别方法 Pending CN110084140A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910273536.3A CN110084140A (zh) 2019-04-05 2019-04-05 基于关节向量的通用姿态识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910273536.3A CN110084140A (zh) 2019-04-05 2019-04-05 基于关节向量的通用姿态识别方法

Publications (1)

Publication Number Publication Date
CN110084140A true CN110084140A (zh) 2019-08-02

Family

ID=67414278

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910273536.3A Pending CN110084140A (zh) 2019-04-05 2019-04-05 基于关节向量的通用姿态识别方法

Country Status (1)

Country Link
CN (1) CN110084140A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110598569A (zh) * 2019-08-20 2019-12-20 江西憶源多媒体科技有限公司 一种基于人体姿态数据的动作识别方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101127078A (zh) * 2007-09-13 2008-02-20 北京航空航天大学 一种基于蚁群智能的无人机机器视觉图像匹配方法
CN102831638A (zh) * 2012-07-06 2012-12-19 南京大学 一种采用手绘草图的三维人体多姿态建模方法
CN103310193A (zh) * 2013-06-06 2013-09-18 温州聚创电气科技有限公司 一种记录体操视频中运动员重要技术动作时刻的方法
CN103598889A (zh) * 2013-11-13 2014-02-26 东南大学常州研究院 基于Kinect视觉步态分析的情景交互康复训练方法
CN106445138A (zh) * 2016-09-21 2017-02-22 中国农业大学 基于3d关节点坐标的一种人体姿态特征提取方法
CN109064486A (zh) * 2018-06-20 2018-12-21 华南理工大学 一种人形机器人与人体姿态相似度评价方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101127078A (zh) * 2007-09-13 2008-02-20 北京航空航天大学 一种基于蚁群智能的无人机机器视觉图像匹配方法
CN102831638A (zh) * 2012-07-06 2012-12-19 南京大学 一种采用手绘草图的三维人体多姿态建模方法
CN103310193A (zh) * 2013-06-06 2013-09-18 温州聚创电气科技有限公司 一种记录体操视频中运动员重要技术动作时刻的方法
CN103598889A (zh) * 2013-11-13 2014-02-26 东南大学常州研究院 基于Kinect视觉步态分析的情景交互康复训练方法
CN106445138A (zh) * 2016-09-21 2017-02-22 中国农业大学 基于3d关节点坐标的一种人体姿态特征提取方法
CN109064486A (zh) * 2018-06-20 2018-12-21 华南理工大学 一种人形机器人与人体姿态相似度评价方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
FANG YU 等: "The General Posture Descriptor of the Human Body for Virtual Reality Simulation", 《2018 IEEE 9TH INTERNATIONAL CONFERENCE ON SOFTWARE ENGINEERING AND SERVICE SCIENCE》 *
李娜: "面向人机交互的单目视频三维人体姿态估计研究", 《中国优秀博硕士学位论文全文数据库(博士) 信息科技辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110598569A (zh) * 2019-08-20 2019-12-20 江西憶源多媒体科技有限公司 一种基于人体姿态数据的动作识别方法
CN110598569B (zh) * 2019-08-20 2022-03-08 江西憶源多媒体科技有限公司 一种基于人体姿态数据的动作识别方法

Similar Documents

Publication Publication Date Title
CN110097639B (zh) 一种三维人体姿态估计方法
Jiang et al. Gesture recognition based on binocular vision
CN104715493B (zh) 一种运动人体姿态估计的方法
CN102567703B (zh) 一种基于分类特征的手部动作识别信息处理方法
CN104573665B (zh) 一种基于改进维特比算法的连续动作识别方法
CN111931804B (zh) 一种基于rgbd摄像机的人体动作自动评分方法
CN106919944B (zh) 一种基于orb算法的大视角图像快速识别方法
CN100369064C (zh) 一种基于视频内容的人体姿态变形方法
CN105512621A (zh) 一种基于Kinect的羽毛球动作指导系统
CN107818318B (zh) 一种人形机器人模仿相似度评价方法
Wu et al. Human 3D pose estimation in a lying position by RGB-D images for medical diagnosis and rehabilitation
CN103942829A (zh) 单幅图像的人体三维姿态重构方法
CN112215172A (zh) 融合彩色图像与深度信息的人体卧姿三维姿态估计方法
CN110135277B (zh) 一种基于卷积神经网络的人体行为识别方法
CN109101864A (zh) 基于关键帧和随机森林回归的人体上半身动作识别方法
CN109977827B (zh) 一种使用多视图匹配方法的多人三维姿态估计方法
CN109993116B (zh) 一种基于人体骨骼相互学习的行人再识别方法
CN102156994B (zh) 一种单视角无标记人体运动跟踪的关节定位方法
CN110084140A (zh) 基于关节向量的通用姿态识别方法
CN109766903A (zh) 一种基于曲面特征的点云模型曲面匹配方法
CN106595595B (zh) 一种基于深度传感器的室内机器人定向方法
CN113065532B (zh) 一种基于rgbd图像的坐姿几何参数检测方法及系统
CN112857215B (zh) 一种基于正二十面体的单目6d位姿估计方法
CN113256789A (zh) 一种三维实时人体姿态重建方法
CN113011344A (zh) 一种基于机器视觉的引体向上数量计算方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190802

WD01 Invention patent application deemed withdrawn after publication