CN115005812B - 人体动作检测方法、基于空间三角形的人体上肢动作检测方法及一致性评价方法 - Google Patents
人体动作检测方法、基于空间三角形的人体上肢动作检测方法及一致性评价方法 Download PDFInfo
- Publication number
- CN115005812B CN115005812B CN202210601226.1A CN202210601226A CN115005812B CN 115005812 B CN115005812 B CN 115005812B CN 202210601226 A CN202210601226 A CN 202210601226A CN 115005812 B CN115005812 B CN 115005812B
- Authority
- CN
- China
- Prior art keywords
- space
- point
- triangle
- spatial
- human body
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000001364 upper extremity Anatomy 0.000 title claims abstract description 63
- 238000001514 detection method Methods 0.000 title claims abstract description 32
- 230000033001 locomotion Effects 0.000 title claims description 44
- 238000011156 evaluation Methods 0.000 title abstract description 5
- 230000009471 action Effects 0.000 claims abstract description 74
- 238000004364 calculation method Methods 0.000 claims abstract description 28
- 238000000034 method Methods 0.000 claims abstract description 26
- 239000013598 vector Substances 0.000 claims abstract description 19
- 239000000546 pharmaceutical excipient Substances 0.000 claims abstract description 16
- 210000003128 head Anatomy 0.000 claims description 21
- 210000000245 forearm Anatomy 0.000 claims description 16
- 210000002310 elbow joint Anatomy 0.000 claims description 11
- 210000000142 acromioclavicular joint Anatomy 0.000 claims description 10
- 210000003857 wrist joint Anatomy 0.000 claims description 10
- 210000000323 shoulder joint Anatomy 0.000 claims description 9
- 210000000038 chest Anatomy 0.000 claims description 8
- 210000001562 sternum Anatomy 0.000 claims description 8
- 210000002758 humerus Anatomy 0.000 claims description 7
- 210000001898 sternoclavicular joint Anatomy 0.000 claims description 5
- 210000001061 forehead Anatomy 0.000 claims description 4
- 210000003414 extremity Anatomy 0.000 claims description 3
- 210000000988 bone and bone Anatomy 0.000 claims description 2
- 239000011159 matrix material Substances 0.000 abstract description 8
- 230000008569 process Effects 0.000 abstract description 7
- 238000005259 measurement Methods 0.000 description 6
- 230000000875 corresponding effect Effects 0.000 description 4
- 210000004247 hand Anatomy 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 210000003109 clavicle Anatomy 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 210000001503 joint Anatomy 0.000 description 1
- 230000005389 magnetism Effects 0.000 description 1
- 210000000236 metacarpal bone Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000010561 standard procedure Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1121—Determining geometric values, e.g. centre of rotation or angular range of movement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1118—Determining activity level
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Public Health (AREA)
- Biophysics (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Surgery (AREA)
- Physiology (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Veterinary Medicine (AREA)
- Pathology (AREA)
- Animal Behavior & Ethology (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Primary Health Care (AREA)
- Physical Education & Sports Medicine (AREA)
- Epidemiology (AREA)
- Geometry (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明涉及一种人体动作检测方法、基于空间三角形的人体上肢动作检测方法及一致性评价方法，其解决了现有人体上肢动作的描述、检测方法准确度低，不能反映上肢每一部分的动作，计算过程复杂，不具有普适性，容易受环境干扰以及在镜像康复系统中如何评价患侧、健侧动作一致性的技术问题；本发明首先从人体选取至少三个空间点，其次获取至少三个空间点的空间坐标值，再其次由至少三个空间点构成至少一个空间三角形，然后分别计算每个空间三角形在X‑Y、X‑Z、Y‑Z平面上的投影分量，再然后根据X、Y和Z轴的单位向量以及得到的投影分量构建矩阵，最后将矩阵引入赋范空间中进行计算。本发明广泛用于人体的动作描述、检测、识别技术领域。
Description
技术领域
本发明涉及人体运动学技术领域，具体而言，涉及一种人体动作检测方法、基于空间三角形的人体上肢动作检测方法及一致性评价方法。
背景技术
人体的动作描述、检测、识别方法以及相应装置在康复、健身、医学、娱乐等领域有重要的作用。人体的上肢(肩部复合体、肱骨、前臂以及手)动作在运动学上具备相当高的复杂性，目前对于上肢动作的描述、检测方法主要有三大类：运动学建模法、信号(表面肌电等信号)分析法，以及机器学习法。其中通过建立运动学模型来度量上肢动作的方法是较为传统的方法，通常是建立上肢的D-H参数(标准法和改进法)来得到上肢正运动学模型，最终得到末端相对于基坐标系的位姿变换，但这种方法存在以下弊端：D-H参数的建立需要连续连杆，所以在上肢建立D-H坐标系时需要极大的简化上肢运动信息，这与上肢真实的运动情况相差较大，准确度低；运动学模型法最终得到的是末端相对于基坐标系的位姿关系，由于人体的上肢动作每一部分都很重要，运动学模型法不能反映反映上肢每一部分的情况。通过相关信号分析上肢动作是近几年比较热门的研究领域，研究人员通常分析上肢的表面肌电信号(SEMG)的变化情况来度量或者划分上肢动作，虽取得不错进展，但准确性却差强人意，并且需要做大量的人体实验来得到上肢的各种信号变化，属于经验类的上肢评判方法，另外由于人体信号的复杂性，这种方法只适合分析某几种动作的信号，并不具有普适性。通过机器学习的方法来度量上肢动作需要建立大量的数据集，且受环境干扰严重，因此这种方法也具备一定的应用弊端。
在上肢镜像康复技术领域，具备主从关系的上肢镜像康复具有很大的发展前景。在上肢镜像康复过程中，主动的健侧(比如正常的左臂)做出动作，从动的患侧(比如待康复的右臂)被康复设备或者康复机器人带动做出相应的动作，从而达到恢复患侧运动的效果，在这个过程中，从动的患侧映射了多少主动的健侧动作，或者如何评判从动的患侧动作与主动的健侧动作的一致性，是镜像康复系统中亟待解决的技术问题。
发明内容
本发明就是为了解决现有人体上肢动作的描述、检测方法准确度低，不能反映上肢每一部分的动作，计算过程复杂，不具有普适性，容易受环境干扰以及在镜像康复系统中如何评价患侧、健侧动作一致性的技术问题，提供了一种准确度高，能够反映上肢每一部分动作，计算量小，具有普适性，不受环境干扰的人体动作检测方法、基于空间三角形的人体上肢动作检测方法及一致性评价方法。
本发明提供一种人体动作检测方法，包括以下步骤：
步骤1，从人体选取至少三个空间点；
步骤2，获取至少三个空间点的空间坐标值；
步骤3，由至少三个空间点构成至少一个空间三角形；
步骤4，分别计算每个空间三角形在X-Y、X-Z、Y-Z平面上的投影分量；
步骤5，根据X、Y和Z轴的单位向量以及步骤4得到的投影分量构建矩阵。
本发明还提供一种基于空间三角形的人体上肢动作检测方法，包括以下步骤：
第一步，从人体的以下部位选择N个上肢空间点：
首先在以下四个区域选取1～4个点：(1)以头部的耳朵为中心，半径4cm的空间圆区域；(2)以头部的鼻子为中心，半径2cm的空间圆区域；(3)以头部的下巴为中心，半径2cm的空间圆区域；(4)以头部的前额为中心，半径2cm的空间圆区域；在以头部的耳朵为中心，半径4cm的空间圆区域必须选取1个空间点；
其次，在以胸腔的胸锁关节为中心，半径3cm的空间圆区域(5)中选取1个点，在以胸骨为中心线，向左3cm形成左侧边，向右3cm形成右侧边，左侧边和和右侧边构成的矩形区域(6)内选取1个点；
再其次，在以肩部的肩锁关节为中心，半径3cm的空间圆区域(7)中选取1个点；
再其次，在以上臂的盂肱关节为中心，半径3cm的空间圆区域(8)中选取1个点，在以上臂的肘关节为中心，半径3cm的空间圆区域(9)中选取1个点；
然后，在以前臂的腕关节为中心，半径3cm的空间圆区域(10)中选取1个点；
再然后，在以手掌的掌骨关节为中心，半径3cm的空间圆区域(11)中选取1个点；或者在以手掌的指骨末端为中心，半径3cm的空间圆区域(12)中选取1个点；
8≤N≤11；
第二步，获取N个空间点的空间坐标值；
第三步，由N个空间点构成M个空间三角形，7≤M≤14，这M个空间三角形同时满足以下六个条件：
条件①，M个空间三角形中，有s个空间三角形均包含位于区域(5)和区域(7)中的点，且2≤s≤5；
条件②，M个空间三角形中，有g个空间三角形均包含位于区域(8)和区域(9)中的点，且3≤g≤7；
条件③，M个空间三角形中，有1个空间三角形包含位于区域(8)、区域(9)、区域(10)中的点；
条件④，M个空间三角形中，有1个空间三角形包含位于区域(9)、区域(10)、区域(11)中的点；
条件⑤，选取空间三角形时，每个空间三角形的三条边有且仅有一条边的长度可以随着锁骨或肱骨或前臂或手的动作的变化而变化；
条件⑥，s+g+2＝M；
第四步，在解剖学坐标系中，每个空间三角形在X-Y、X-Z、Y-Z平面上的投影分量分别是Ti、Tj以及Tk，由此计算每个空间三角形的em：
em＝Ti·i+Tj·j+Tk·k
其中，i、j和k分别为X、Y和Z轴的单位向量；
进一步计算：
Es＝e1+…+es
Eg＝es+1+…+eg
Eq＝eg+1
Eh＝eg+2；
再进一步计算：
E＝Es*Eg*Eq*Eh；
第五步，将E引入赋范空间中进行计算，计算出E的F范数：
或者计算出E的2范数：
或者计算出E的无穷范数：
优选地，通过基于空间三角形的人体上肢动作检测方法计算健侧的E，将E引入赋范空间中进行计算得到W；
通过基于空间三角形的人体上肢动作检测方法计算患侧的E′，将E′引入赋范空间中进行计算得到V；
比较W和V的数值大小，对患侧动作与健侧动作的一致性进行评价。
本发明还提供一种基于空间三角形的人体上肢动作检测方法，包括以下步骤：
第一步，耳朵作为点1，胸骨中心作为点2，胸锁关节作为点3，肩锁关节作为点4，盂肱关节作为点5，肘关节作为点6，腕关节作为点7，手掌的第三根掌骨末端作为点8；
第二步，获取点1、点2、点3、点4、点5、点6、点7、点8的空间坐标值，点1的空间坐标值是P1(x1,y1,z1)，点2的空间坐标值是P2(x2,y2,z2)，点3的空间坐标值是P3(x3,y3,z3)，点4的空间坐标值是P4(x4,y4,z4)，点5的空间坐标值是P5(x5,y5,z5)，点6的空间坐标值是P6(x6,y6,z6)，点7的空间坐标值是P7(x7,y7,z8)，点8的空间坐标值是P8(x8,y8,z8)；
第三步，通过点1、点3、点4构成一个空间三角形△1，通过点2、点3、点4构成一个空间三角形△2，通过点1、点5、点6构成一个空间三角形△3，通过点2、点5、点6构成一个空间三角形△4，通过点4、点5、点6构成一个空间三角形△5，通过点5、点6、点7构成一个空间三角形△6，通过点6、点7、点8构成一个空间三角形△7；
第四步，在解剖学坐标系中，空间三角形△1在X-Y、X-Z、Y-Z平面上的投影分量分别是T1、T2以及T3，空间三角形△2在X-Y、X-Z、Y-Z平面上的投影分量分别是T4、T5以及T6，空间三角形△3在X-Y、X-Z、Y-Z平面上的投影分量分别是T7、T8以及T9，空间三角形△4在X-Y、X-Z、Y-Z平面上的投影分量分别是T10、T11以及T12，空间三角形△5在X-Y、X-Z、Y-Z平面上的投影分量分别是T13、T14以及T15，空间三角形△6在X-Y、X-Z、Y-Z平面上的投影分量分别是T16、T17以及T18，空间三角形△7在X-Y、X-Z、Y-Z平面上的投影分量分别是T19、T20以及T21；
计算e1、e2、e3、e4、e5、e6、e7，
e1＝T1·i+T2·j+T3·k
e2＝T4·i+T5·j+T6·k
e3＝T7·i+T8·j+T9·k
e4＝T10·i+T11·j+T12·k
e5＝T13·i+T14·j+T15·k
e6＝T16·i+T17·j+T18·k
e7＝T19·i+T20·j+T21·k
其中，i、j、k分别是X、Y和Z轴的单位向量；
第五步，针对锁骨的动作，计算E1：
E1＝e1+e2
针对肱骨的动作，计算E2：
E2＝e3+e4+e5
针对前臂的动作，计算E3：
E3＝e6
针对手的动作，计算为E4：
E4＝e7
第六步，针对整个上肢的动作，计算E：
E＝E1*E2*E3*E4
E＝(e1+e2)*(e3+e4+e5)*e6*e7
第七步，将E引入赋范空间中进行计算，计算出E的F范数：
或者计算出E的2范数：
或者计算出E的无穷范数：
优选地，一种应用所述基于空间三角形的人体上肢动作检测方法的健侧与患侧一致性评价方法，
通过基于空间三角形的人体上肢动作检测方法计算健侧的E，将E引入赋范空间中进行计算得到W；
通过基于空间三角形的人体上肢动作检测方法计算患侧的E′，将E′引入赋范空间中进行计算得到V；
比较W和V的数值大小，对患侧动作与健侧动作的一致性进行评价。
本发明还提供一种人体动作检测装置，所述人体动作检测装置被配置为执行以下计算过程：
步骤1，从人体选取至少三个空间点；
步骤2，获取所述至少三个空间点的空间坐标值；
步骤3，由所述至少三个空间点构成至少一个空间三角形；
步骤4，分别计算每个空间三角形在X-Y、X-Z、Y-Z平面上的投影分量；
步骤5，根据X、Y和Z轴的单位向量以及步骤4得到的投影分量构建矩阵。
本发明还提供一种基于空间三角形的人体锁骨动作检测方法，包括以下步骤：
第一步，耳朵作为点1，胸骨中心作为点2，胸锁关节作为点3，肩锁关节作为点4；
第二步，获取点1、点2、点3、点4的空间坐标值，点1的空间坐标值是P1(x1,y1,z1)，点2的空间坐标值是P2(x2,y2,z2)，点3的空间坐标值是P3(x3,y3,z3)；
第三步，通过点1、点3、点4构成一个空间三角形△1，通过点2、点3、点4构成一个空间三角形△2；
第四步，在解剖学坐标系中，空间三角形△1在X-Y、X-Z、Y-Z平面上的投影分量分别是T1、T2以及T3，空间三角形△2在X-Y、X-Z、Y-Z平面上的投影分量分别是T4、T5以及T6；
计算e1、e2，
e1＝T1·i+T2·j+T3·k
e2＝T4·i+T5·j+T6·k
其中，i、j、k分别是X、Y和Z轴的单位向量；
第五步，针对锁骨的动作，计算E1：
E1＝e1+e2。
本发明还提供一种基于空间三角形的人体肱骨动作检测方法，包括以下步骤：
第一步，耳朵作为点1，胸骨中心作为点2，肩锁关节作为点4，盂肱关节作为点5，肘关节作为点6；
第二步，获取点1、点2、点4、点5、点6的空间坐标值，点1的空间坐标值是P1(x1,y1,z1)，点2的空间坐标值是P2(x2,y2,z2)，点4的空间坐标值是P4(x4,y4,z4)，点5的空间坐标值是P5(x5,y5,z5)，点6的空间坐标值是P6(x6,y6,z6)；
第三步，通过点1、点5、点6构成一个空间三角形△3，通过点2、点5、点6构成一个空间三角形△4，通过点4、点5、点6构成一个空间三角形△5；
第四步，在解剖学坐标系中，空间三角形△3在X-Y、X-Z、Y-Z平面上的投影分量分别是T7、T8以及T9，空间三角形△4在X-Y、X-Z、Y-Z平面上的投影分量分别是T10、T11以及T12，空间三角形△5在X-Y、X-Z、Y-Z平面上的投影分量分别是T13、T14以及T15；
计算e3、e4、e5，
e3＝T7·i+T8·j+T9·k
e4＝T10·i+T11·j+T12·k
e5＝T13·i+T14·j+T15·k
其中，i、j、k分别是X、Y和Z轴的单位向量；
针对肱骨的动作，计算E2：
E2＝e3+e4+e5。
本发明还提供一种基于空间三角形的人体前臂动作检测方法，包括以下步骤：
第一步，盂肱关节作为点5，肘关节作为点6，腕关节作为点7；
第二步，获取点点5、点6、点7的空间坐标值，点5的空间坐标值是P5(x5,y5,z5)，点6的空间坐标值是P6(x6,y6,z6)，点7的空间坐标值是P7(x7,y7,z8)；
第三步，通过点5、点6、点7构成一个空间三角形△6；
第四步，在解剖学坐标系中，空间三角形△6在X-Y、X-Z、Y-Z平面上的投影分量分别是T16、T17以及T18；
计算e6，
e6＝T16·i+T17·j+T18·k
其中，i、j、k分别是X、Y和Z轴的单位向量；
第五步，针对前臂的动作，计算E3：
E3＝e6。
本发明还提供一种基于空间三角形的人体手动作检测方法，包括以下步骤：
第一步，肘关节作为点6，腕关节作为点7，手掌的第三根掌骨末端作为点8；
第二步，获取点点6、点7、点8的空间坐标值，点6的空间坐标值是P6(x6,y6,z6)，点7的空间坐标值是P7(x7,y7,z8)，点8的空间坐标值是P8(x8,y8,z8)；
第三步，通过点6、点7、点8构成一个空间三角形△7；
第四步，在解剖学坐标系中，空间三角形△7在X-Y、X-Z、Y-Z平面上的投影分量分别是T19、T20以及T21；
计算e7，
e7＝T19·i+T20·j+T21·k
其中，i、j、k分别是X、Y和Z轴的单位向量；
第五步，针对手的动作，计算为E4：
E4＝e7。
本发明的有益效果是：
从空间几何学的角度出发，构建一个空间三角形来描述、检测人体某一部位的动作。
从空间几何学的角度出发，创新性的构建了检测上肢动作的矩阵，将矩阵引入赋范空间中完成上肢动作的度量。
与传统的运动学建模方法相比，本发明只需要一个传感器获取N个空间点的坐标值，就可以完成上肢动作的度量，不需要简化上肢运动，不需要建立坐标系，且不仅表示末端运动情况，而是关注整体上肢的运动情况，反映上肢每一部分的动作。
本发明共考虑了锁骨、肱骨、前臂以及手的运动动作，度量范围更大。
人体上肢动作检测准确度高，不受环境干扰。
计算量小，计算速度快，实际应用具有良好的实时性。
对于镜像康复系统，能够比较容易的、准确地评价患侧、健侧动作一致性。
本发明进一步的特征和方面，将在以下参考附图的具体实施方式的描述中，得以清楚地记载。
附图说明
图1是上肢空间点定义图；
图2是图1中各个点形成空间三角形示意图；
图3是头部的耳朵为中心，半径4cm的空间圆区域示意图；
图4是胸骨部位空间点选取区域示意图。
图中符号说明：
1.点1；2.点2；3.点3；4.点4；5.点5；6.点6；7.点7；8.点8。
具体实施方式
以下参照附图，以具体实施例对本发明作进一步详细说明。
如图1所示，针对人体上肢运动，在人体上选取八个部位作为检测点，耳朵作为点1，胸骨中心作为点2，胸锁关节作为点3，肩锁关节作为点4，盂肱关节作为点5，肘关节作为点6，腕关节作为点7，手掌的第三根掌骨末端作为点8。
获取点1、点2、点3、点4、点5、点6、点7、点8的空间坐标值，采用深度摄像头或运动捕捉系统(基于光学和磁等)等其他技术手段获取各个点的空间坐标，本发明以光学运动捕捉系统为例，获取相应的关节空间点标值：在耳朵、胸骨中心、胸锁关节、肩锁关节、盂肱关节、肘关节、腕关节和手掌的第三根掌骨末端处分别贴上反光标记点，在光学运动捕捉系统下获取反光标记点的空间坐标的原始数据，而后进行滤波和缺失点的插补，最终得到各个点的空间坐标值。
点1的空间坐标值是P1(x1,y1,z1)，点2的空间坐标值是P2(x2,y2,z2)，点3的空间坐标值是P3(x3,y3,z3)，点4的空间坐标值是P4(x4,y4,z4)，点5的空间坐标值是P5(x5,y5,z5)，点6的空间坐标值是P6(x6,y6,z6)，点7的空间坐标值是P7(x7,y7,z8)，点8的空间坐标值是P8(x8,y8,z8)。
参考图2，点1、点3、点4构成一个空间三角形△1，点2、点3、点4构成一个空间三角形△2；点1、点5、点6构成一个空间三角形△3，点2、点5、点6构成一个空间三角形△4，点4、点5、点6构成一个空间三角形△5；点5、点6、点7构成一个空间三角形△6；点6、点7、点8构成一个空间三角形△7。
在解剖学坐标系中，空间三角形△1在X-Y、X-Z、Y-Z平面上的投影分量分别是T1、T2以及T3，
e1＝T1·i+T2·j+T3·k
其中，i、j、k分别是X、Y和Z轴的单位向量。
空间三角形△2在X-Y、X-Z、Y-Z平面上的投影分量分别是T4、T5以及T6，
e2＝T4·i+T5·j+T6·k
其中，i、j、k分别是X、Y和Z轴的单位向量。
空间三角形△3在X-Y、X-Z、Y-Z平面上的投影分量分别是T7、T8以及T9，
e3＝T7·i+T8·j+T9·k
其中，i、j、k分别是X、Y和Z轴的单位向量。
空间三角形△4在X-Y、X-Z、Y-Z平面上的投影分量分别是T10、T11以及T12，
e4＝T10·i+T11·j+T12·k
其中，i、j、k分别是X、Y和Z轴的单位向量。
空间三角形△5在X-Y、X-Z、Y-Z平面上的投影分量分别是T13、T14以及T15，
e5＝T13·i+T14·j+T15·k
其中，i、j、k分别是X、Y和Z轴的单位向量。
空间三角形△6在X-Y、X-Z、Y-Z平面上的投影分量分别是T16、T17以及T18，
e6＝T16·i+T17·j+T18·k
其中，i、j、k分别是X、Y和Z轴的单位向量。
空间三角形△7在X-Y、X-Z、Y-Z平面上的投影分量分别是T19、T20以及T21，
e7＝T19·i+T20·j+T21·k
其中，i、j、k分别是X、Y和Z轴的单位向量。
接下来，针对锁骨的动作，计算E1
E1＝e1+e2
针对肱骨的动作，计算E2
E2＝e3+e4+e5
针对前臂的动作，计算E3
E3＝e6
针对手的动作，计算为E4
E4＝e7
接下来，针对整个上肢的动作，计算E：
E＝E1*E2*E3*E4
进一步计算得出：
E＝(e1+e2)*(e3+e4+e5)*e6*e7
E为3*3的矩阵，整个上肢作为镜像康复系统中主动的健侧。最后，将E引入赋范空间中进行计算：
由此计算出E的F范数，至此就完成了对整个上肢动作的度量。需要说明的是，计算出E的F范数这一过程可以用计算出E的2范数代替，式中(λmax(ET·E)为ET·E的最大特征值；也可以用计算E的无穷范数代替，
需要说明的是，对于检测锁骨动作的E1，计算E1的F范数：
或者计算出E1的2范数：
或者计算出E1的无穷范数：
，
从而进一步对锁骨动作进行检测。
需要说明的是，对于检测肱骨动作的E2，计算E2的F范数：
或者计算出E2的2范数：
或者计算出E2的无穷范数：
，
从而进一步对肱骨动作进行检测。
需要说明的是，对于检测前臂动作的E3，计算E3的F范数：
或者计算出E3的2范数：
或者计算出E3的无穷范数：
，
从而进一步对前臂动作进行检测。
需要说明的是，对于检测手动作的E4，计算E4的F范数：
或者计算出E4的2范数：
或者计算出E4的无穷范数：
，
从而进一步对手动作进行检测。
当镜像康复机器人带动患者的右手做出相应的动作时(即从动的患侧做出相应的动作)，通过上述方法得到从动的患侧(即从动的右手)的度量动作矩阵E′，再计算E′的F范数，记为‖E′‖F，然后比较‖E′‖F与‖E‖F的数值大小，作为从动的患侧动作与主动的健侧动作的一致性的评判标准，如果两个数值相差较大，则控制系统发出报警信息，工作人员操作镜像康复机器人来调整从动患侧的动作，使两个数值相差较小，提高从动的患侧动作与主动的健侧动作的一致性。如果，‖E′‖F与‖E‖F这两个数值的差值的绝对值大于设定的阈值，则认为从动的患侧动作与主动的健侧动作一致性低，工作人员操作镜像康复机器人调整从动患侧的动作，提高一致性。如果，‖E′‖F与‖E‖F这两个数值的差值的绝对值小于设定的某一阈值，则认为从动的患侧动作与主动的健侧动作一致性高，满足康复训练的要求。需要说明的是，对患侧动作与健侧动作的一致性评价过程中，计算E′的F范数可以用计算E′的2范数代替，也可以用计算E′的无穷范数代替，向对应的，计算E的F范数可以用计算E的2范数代替，也可以用计算E的无穷范数代替；也就是说计算E的2范数的结果与计算E′的2范数的结果比较，计算E的无穷范数的结果与计算E′的无穷范数的结果比较。
前述方法仅是举例，一般性而言，上肢空间点数量为N，8≤N≤11。
第一步，N个上肢空间点从身体的以下部位选取：
首先在以下四个区域选取1～4个点：(1)以头部的耳朵为中心，半径4cm的空间圆区域，参考图3；(2)以头部的鼻子为中心，半径2cm的空间圆区域；(3)以头部的下巴为中心，半径2cm的空间圆区域；(4)以头部的前额为中心，半径2cm的空间圆区域；在以头部的耳朵为中心，半径4cm的空间圆区域必须选取1个空间点，也就是说当选取1个点时，只在以头部的耳朵为中心，半径4cm的空间圆区域中选取，不在其他区域选点；当选取2个点时，在以头部的耳朵为中心，半径4cm的空间圆区域选取1个空间点，第2个点在以头部的鼻子为中心，半径2cm的空间圆区域中选取或者在以头部的下巴为中心，半径2cm的空间圆区域中选取或者在以头部的前额为中心，半径2cm的空间圆区域中选取。当选取3个点时，在以头部的耳朵为中心，半径4cm的空间圆区域选取1个空间点，第2个点和第3个点的选取有三种情况，第一种情况是从区域(2)中选取第2个点，从区域(3)中选取第3个点；第二种情况是从区域(2)中选取第2个点，从区域(4)中选取第3个点；第三种情况是从区域(3)中选取第2个点，从区域(4)中选取第3个点。当选取4个点时，在以头部的耳朵为中心，半径4cm的空间圆区域选取1个空间点，在区域(2)中选取第2个点，在从区域(3)中选取第3个点，在从区域(4)中选取第4个点。所以，选取1个点时就一种情况，即耳朵处；选取2个点时，有三种情况，第一种情况是区域(1)中一个点、区域(2)中一个点，第二种情况是区域(1)中一个点，区域(3)中一个点，第三种情况是区域(1)中一个点，区域(4)中一个点；选取3个点时，有三种情况，第一种情况是区域(1)中一个点，区域(2)中一个点，区域(3)中一个点，第二种情况是第一种情况是区域(1)中一个点，区域(2)中一个点，区域(4)中一个点，第三种情况是第一种情况是区域(1)中一个点，区域(3)中一个点，区域(4)中一个点；当选取4个点时，就只有一种情况，区域(1)中一个点、区域(2)中一个点、区域(3)中一个点、区域(4)中一个点。
其次，在以胸腔的胸锁关节为中心，半径3cm的空间圆区域中选取1个点，以胸腔的胸锁关节为中心，半径3cm的空间圆区域被定义为区域(5)。参考图4，在以胸骨为中心线，向左3cm形成左侧边，向右3cm形成右侧边，左侧边和和右侧边构成的矩形区域内选取1个点，以胸骨为中心线，向左3cm形成左侧边，向右3cm形成右侧边，左侧边和和右侧边构成的矩形区域被定义为区域(6)。
再其次，在以肩部的肩锁关节为中心，半径3cm的空间圆区域中选取1个点。以肩部的肩锁关节为中心，半径3cm的空间圆区域被定义为区域(7)。
再其次，在以上臂的盂肱关节为中心，半径3cm的空间圆区域中选取1个点，在以上臂的肘关节为中心，半径3cm的空间圆区域中选取1个点。以上臂的盂肱关节为中心，半径3cm的空间圆区域被定义为区域(8)，以上臂的肘关节为中心，半径3cm的空间圆区域被定义为区域(9)。
然后，在以前臂的腕关节为中心，半径3cm的空间圆区域中选取1个点。以前臂的腕关节为中心，半径3cm的空间圆区域被定义为的区域(10)。
再然后，在以手掌的掌骨关节为中心，半径3cm的空间圆区域中选取1个点；或者在以手掌的指骨末端为中心，半径3cm的空间圆区域中选取1个点。以手掌的掌骨关节为中心，半径3cm的空间圆区域被定义为区域(11)，以手掌的指骨末端为中心，半径3cm的空间圆区域被定义为区域(12)。
第二步，获取N个点的空间坐标值。
第三步，由N个空间点构成M个空间三角形，7≤M≤14。这M个空间三角形同时满足以下六个条件：
条件①，M个空间三角形中，有s个空间三角形均包含位于区域(5)和区域(7)中的点，且2≤s≤5。
条件②，M个空间三角形中，有g个空间三角形均包含位于区域(8)和区域(9)中的点，且3≤g≤7。
条件③，M个空间三角形中，有1个空间三角形包含位于区域(8)、区域(9)、区域(10)中的点。
条件④，M个空间三角形中，有1个空间三角形包含位于区域(9)、区域(10)、区域(11)中的点。
条件⑤，选取空间三角形时，每个空间三角形的三条边有且仅有一条边的长度可以随着锁骨或肱骨或前臂或手的动作的变化而变化。
条件⑥，s+g+2＝M。
第四步，在解剖学坐标系中，每个空间三角形在X-Y、X-Z、Y-Z平面上的投影分量分别是Ti、Tj以及Tk，由此计算每个空间三角形的em：
em＝Ti·i+Tj·j+Tk·k
其中，i、j和k分别为X、Y和Z轴的单位向量。
进一步计算：
Es＝e1+…+es
Eg＝es+1+…+eg
Eq＝eg+1
Eh＝eg+2
再进一步计算：
E＝Es*Eg*Eq*Eh。
第五步，将E引入赋范空间中进行计算：
由此计算出E的F范数，至此就完成了对整个上肢动作的度量。需要说明的是，计算出E的F范数这一过程可以用计算出E的2范数代替，式中(λmax(ET·E)为ET·E的最大特征值；也可以用计算E的无穷范数代替，
以上所述仅对本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。
Claims (4)
1.一种基于空间三角形的人体上肢动作检测方法，其特征在于，包括以下步骤： 第一步，从人体的以下部位选择N个上肢空间点： 首先在以下四个区域选取1～4个点：(1)以头部的耳朵为中心，半径4cm的空间圆区域；(2)以头部的鼻子为中心，半径2cm的空间圆区域；(3)以头部的下巴为中心，半径2cm的空间圆区域；(4)以头部的前额为中心，半径2cm的空间圆区域；在以头部的耳朵为中心，半径4cm的空间圆区域必须选取1个空间点； 其次，在以胸腔的胸锁关节为中心，半径3cm的空间圆区域(5)中选取1个点，在以胸骨为中心线，向左3cm形成左侧边，向右3cm形成右侧边，左侧边和和右侧边构成的矩形区域(6)内选取1个点； 再其次，在以肩部的肩锁关节为中心，半径3cm的空间圆区域(7)中选取1个点； 再其次，在以上臂的盂肱关节为中心，半径3cm的空间圆区域(8)中选取1个点，在以上臂的肘关节为中心，半径3cm的空间圆区域(9)中选取1个点； 然后，在以前臂的腕关节为中心，半径3cm的空间圆区域(10)中选取1个点； 再然后，在以手掌的掌骨关节为中心，半径3cm的空间圆区域(11)中选取1个点；或者在以手掌的指骨末端为中心，半径3cm的空间圆区域(12)中选取1个点； 8≤N≤11； 第二步，获取N个空间点的空间坐标值； 第三步，由N个空间点构成M个空间三角形，7≤M≤14，这M个空间三角形同时满足以下六个条件： 条件①，M个空间三角形中，有s个空间三角形均包含位于区域(5)和区域(7)中的点，且2≤s≤5； 条件②，M个空间三角形中，有g个空间三角形均包含位于区域(8)和区域(9)中的点，且3≤g≤7； 条件③，M个空间三角形中，有1个空间三角形包含位于区域(8)、区域(9)、区域(10)中的点； 条件④，M个空间三角形中，有1个空间三角形包含位于区域(9)、区域(10)、区域(11)中的点； 条件⑤，选取空间三角形时，每个空间三角形的三条边有且仅有一条边的长度可以随着锁骨或肱骨或前臂或手的动作的变化而变化； 条件⑥，s+g+2＝M； 第四步，在解剖学坐标系中，每个空间三角形在X-Y、X-Z、Y-Z平面上的投影分量分别是Ti、Tj以及Tk，由此计算每个空间三角形的em： em＝Ti·i+Tj·j+Tk·k 其中，i、j和k分别为X、Y和Z轴的单位向量； 进一步计算： Es＝e1+…+es Eg＝es+1+…+eg Eq＝eg+1 Eh＝eg+2； 再进一步计算： E＝Es*Eg*Eq*Eh； 第五步，将E引入赋范空间中进行计算，计算出E的F范数：或者计算出E的2范数： />或者计算出E的无穷范数： />。
2.一种应用权利要求1所述基于空间三角形的人体上肢动作检测方法的健侧与患侧一致性评价方法，其特征在于： 通过基于空间三角形的人体上肢动作检测方法计算健侧的E，将E引入赋范空间中进行计算得到W； 通过基于空间三角形的人体上肢动作检测方法计算患侧的E′，将E′引入赋范空间中进行计算得到V； 比较W和V的数值大小，对患侧动作与健侧动作的一致性进行评价。
3.一种基于空间三角形的人体上肢动作检测方法，其特征在于，包括以下步骤： 第一步，耳朵作为点1，胸骨中心作为点2，胸锁关节作为点3，肩锁关节作为点4，盂肱关节作为点5，肘关节作为点6，腕关节作为点7，手掌的第三根掌骨末端作为点8； 第二步，获取点1、点2、点3、点4、点5、点6、点7、点8的空间坐标值，点1的空间坐标值是P1(x1,y1,z1)，点2的空间坐标值是P2(x2,y2,z2)，点3的空间坐标值是P3(x3,y3,z3)，点4的空间坐标值是P4(x4,y4,z4)，点5的空间坐标值是P5(x5,y5,z5)，点6的空间坐标值是P6(x6,y6,z6)，点7的空间坐标值是P7(x7,y7,z8)，点8的空间坐标值是P8(x8,y8,z8)； 第三步，通过点1、点3、点4构成一个空间三角形Δ1，通过点2、点3、点4构成一个空间三角形Δ2，通过点1、点5、点6构成一个空间三角形Δ3，通过点2、点5、点6构成一个空间三角形Δ4，通过点4、点5、点6构成一个空间三角形Δ5，通过点5、点6、点7构成一个空间三角形Δ6，通过点6、点7、点8构成一个空间三角形Δ7； 第四步，在解剖学坐标系中，空间三角形Δ1在X-Y、X-Z、Y-Z平面上的投影分量分别是T1、T2以及T3，空间三角形Δ2在X-Y、X-Z、Y-Z平面上的投影分量分别是T4、T5以及T6，空间三角形Δ3在X-Y、X-Z、Y-Z平面上的投影分量分别是T7、T8以及T9，空间三角形Δ4在X-Y、X-Z、Y-Z平面上的投影分量分别是T10、T11以及T12，空间三角形Δ5在X-Y、X-Z、Y-Z平面上的投影分量分别是T13、T14以及T15，空间三角形Δ6在X-Y、X-Z、Y-Z平面上的投影分量分别是T16、T17以及T18，空间三角形Δ7在X-Y、X-Z、Y-Z平面上的投影分量分别是T19、T20以及T21； 计算e1、e2、e3、e4、e5、e6、e7， e1＝T1·i+T2·j+T3·k e2＝T4·i+T5·j+T6·k e3＝T7·i+T8·j+T9·k e4＝T10·i+T11·j+T12·k e5＝T13·i+T14·j+T15·k e6＝T16·i+T17·j+T18·k e7＝T19·i+T20·j+T21·k 其中，i、j、k分别是X、Y和Z轴的单位向量； 第五步，针对锁骨的动作，计算E1：E1＝e1+e2 针对肱骨的动作，计算E2： E2＝e3+e4+e5 针对前臂的动作，计算E3： E3＝e6 针对手的动作，计算为E4： E4＝e7 第六步，针对整个上肢的动作，计算E： E＝E1*E2*E3*E4 E＝(e1+e2)*(e3+e4+e5)*e6*e7 第七步，将E引入赋范空间中进行计算，计算出E的F范数：或者计算出E的2范数： />或者计算出E的无穷范数： />。
4.一种应用权利要求3所述基于空间三角形的人体上肢动作检测方法的健侧与患侧一致性评价方法，其特征在于： 通过基于空间三角形的人体上肢动作检测方法计算健侧的E，将E引入赋范空间中进行计算得到W； 通过基于空间三角形的人体上肢动作检测方法计算患侧的E′，将E′引入赋范空间中进行计算得到V； 比较W和V的数值大小，对患侧动作与健侧动作的一致性进行评价。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210601226.1A CN115005812B (zh) | 2022-05-30 | 2022-05-30 | 人体动作检测方法、基于空间三角形的人体上肢动作检测方法及一致性评价方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210601226.1A CN115005812B (zh) | 2022-05-30 | 2022-05-30 | 人体动作检测方法、基于空间三角形的人体上肢动作检测方法及一致性评价方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115005812A CN115005812A (zh) | 2022-09-06 |
| CN115005812B true CN115005812B (zh) | 2024-06-25 |
Family
ID=83070149
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210601226.1A Active CN115005812B (zh) | 2022-05-30 | 2022-05-30 | 人体动作检测方法、基于空间三角形的人体上肢动作检测方法及一致性评价方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115005812B (zh) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112990089A (zh) * | 2021-04-08 | 2021-06-18 | 重庆大学 | 一种判断人体运动姿态的方法 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101483713B1 (ko) * | 2008-06-30 | 2015-01-16 | 삼성전자 주식회사 | 모션 캡쳐 장치 및 모션 캡쳐 방법 |
| CN101639349B (zh) * | 2009-08-25 | 2011-11-09 | 东华大学 | 三维人体模型的全自动测量方法 |
| WO2015162158A1 (en) * | 2014-04-22 | 2015-10-29 | Université Libre de Bruxelles | Human motion tracking |
| CN107080547A (zh) * | 2017-06-01 | 2017-08-22 | 中国科学院宁波材料技术与工程研究所 | 一种人体上肢运动特性与机械阻抗的测量系统及方法 |
| CN107349570A (zh) * | 2017-06-02 | 2017-11-17 | 南京邮电大学 | 基于Kinect的上肢康复训练与评估方法 |
| CN108030496B (zh) * | 2017-12-02 | 2021-03-16 | 北京工业大学 | 一种人体上肢肩部盂肱关节旋转中心与上臂抬升角耦合关系测量方法 |
| CN113143256B (zh) * | 2021-01-28 | 2023-09-26 | 上海电气集团股份有限公司 | 步态特征提取方法、下肢评估、控制方法、设备及介质 |
| CN113618717B (zh) * | 2021-09-07 | 2023-01-24 | 浙江理工大学 | 人体上肢技能动作感测学习装置及方法 |
-
2022
- 2022-05-30 CN CN202210601226.1A patent/CN115005812B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112990089A (zh) * | 2021-04-08 | 2021-06-18 | 重庆大学 | 一种判断人体运动姿态的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115005812A (zh) | 2022-09-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105252532B (zh) | 动作捕捉机器人协同柔性姿态控制的方法 | |
| CN110480634B (zh) | 一种针对机械臂运动控制的手臂引导运动控制方法 | |
| Kang et al. | Toward automatic robot instruction from perception-temporal segmentation of tasks from human hand motion | |
| CN107943283B (zh) | 基于手势识别的机械臂位姿控制系统 | |
| CN107253192A (zh) | 一种基于Kinect的无标定人机交互控制系统及方法 | |
| CN111402290A (zh) | 一种基于骨骼关键点的动作还原方法以及装置 | |
| CN107856014B (zh) | 基于手势识别的机械臂位姿控制方法 | |
| CN109079794B (zh) | 一种基于人体姿态跟随的机器人控制与示教方法 | |
| CN109243575B (zh) | 一种基于移动交互和增强现实的虚拟针灸方法及系统 | |
| CN104424650B (zh) | 一种光学式人体运动捕捉中手臂信息补偿方法 | |
| CN108098780A (zh) | 一种新型的机器人仿人运动系统 | |
| WO2022227664A1 (zh) | 机器人姿态的控制方法、机器人、存储介质及计算机程序 | |
| CN109108970B (zh) | 一种基于骨骼节点信息的交互式机械臂控制方法 | |
| WO2024094227A1 (zh) | 一种基于卡尔曼滤波和深度学习的手势姿态估计方法 | |
| CN112435731A (zh) | 一种判断实时姿势是否满足预设规则的方法 | |
| CN115761787A (zh) | 一种融合约束的手部姿态测量方法 | |
| CN117532609A (zh) | 融合脑肌电与单目视觉的仿人机器人实时控制系统及方法 | |
| CN115005812B (zh) | 人体动作检测方法、基于空间三角形的人体上肢动作检测方法及一致性评价方法 | |
| Lin et al. | Using hybrid sensoring method for motion capture in volleyball techniques training | |
| Ángel-López et al. | Kinematic hand analysis using motion capture technology | |
| Yang et al. | Dance Posture Analysis Based on Virtual Reality Technology and Its Application in Dance Teac. | |
| CN116129467A (zh) | 一种变电运维人员姿态与行为以及工器具姿态的识别方法 | |
| CN109214295B (zh) | 基于Kinect v2和Leap Motion的数据融合的手势识别方法 | |
| Wang et al. | Design and implementation of humanoid robot behavior imitation system based on skeleton tracking | |
| CN109102572A (zh) | 变电仿真vr系统中虚拟手骨骼比例推定方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |