CN112861606A - 基于骨骼动画追踪的虚拟现实手部动作识别与训练方法 - Google Patents
基于骨骼动画追踪的虚拟现实手部动作识别与训练方法 Download PDFInfo
- Publication number
- CN112861606A CN112861606A CN202011573466.2A CN202011573466A CN112861606A CN 112861606 A CN112861606 A CN 112861606A CN 202011573466 A CN202011573466 A CN 202011573466A CN 112861606 A CN112861606 A CN 112861606A
- Authority
- CN
- China
- Prior art keywords
- joint
- detected
- target
- joints
- bending angle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 55
- 238000000034 method Methods 0.000 title claims abstract description 42
- 239000013598 vector Substances 0.000 claims abstract description 65
- 238000005452 bending Methods 0.000 claims abstract description 58
- 230000000007 visual effect Effects 0.000 claims abstract description 13
- 230000009471 action Effects 0.000 claims description 33
- 230000006870 function Effects 0.000 claims description 12
- 210000002478 hand joint Anatomy 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 abstract description 12
- 238000011084 recovery Methods 0.000 abstract description 4
- 210000003811 finger Anatomy 0.000 description 26
- 238000010586 diagram Methods 0.000 description 12
- 230000004064 dysfunction Effects 0.000 description 8
- 208000006011 Stroke Diseases 0.000 description 7
- 210000000236 metacarpal bone Anatomy 0.000 description 7
- 210000000707 wrist Anatomy 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 4
- 210000001145 finger joint Anatomy 0.000 description 4
- 210000004247 hand Anatomy 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 210000003813 thumb Anatomy 0.000 description 3
- 206010008190 Cerebrovascular accident Diseases 0.000 description 2
- 206010033892 Paraplegia Diseases 0.000 description 2
- 210000000988 bone and bone Anatomy 0.000 description 2
- 230000002490 cerebral effect Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 210000003414 extremity Anatomy 0.000 description 2
- 208000024172 Cardiovascular disease Diseases 0.000 description 1
- 206010019468 Hemiplegia Diseases 0.000 description 1
- 208000012902 Nervous system disease Diseases 0.000 description 1
- 208000025966 Neurological disease Diseases 0.000 description 1
- 206010071368 Psychological trauma Diseases 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 208000026106 cerebrovascular disease Diseases 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 230000002526 effect on cardiovascular system Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 210000003857 wrist joint Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1116—Determining posture transitions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1118—Determining activity level
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
- A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Pathology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Physiology (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Animal Behavior & Ethology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请提供一种基于骨骼动画追踪的虚拟现实手部动作识别与训练方法，获取目标对象上待检测部位关节的向量坐标，待检测部位关节的向量坐标为目标对象根据预设提示信息执行指定动作时所获取到的信息；根据待检测部位关节的向量坐标，计算至少一个目标关节的弯曲角度，待检测部位关节包括目标关节；根据各个目标关节的弯曲角度以及预设提示信息对应的预设弯曲角度，确定待检测部位的状态信息。将虚拟现实技术与视觉传感器的传感捕获技术相结合，解决了数据手套穿戴不便，对目标对象的待检测部位造成二次伤害的问题，有利于身体部位关节运动有困难的人进行有效的训练，促进其肢体运动功能的恢复。
Description
技术领域
本申请涉及康复工程和虚拟现实领域，提出了一种基于骨骼动画追踪的虚拟现实手部动作识别与训练方法。
背景技术
在脑卒中的诸多后遗症中，手部功能障碍是脑卒中后偏瘫患者最常见的障碍之一，严重影响患者的日常生活活动，给患者家庭和社会带来了沉重负担。手部康复训练对手部功能障碍患者具有重要意义。
目前，患者的手部数据通过患者穿戴数据手套进行采集，手部数据能够更好地辅助医生对患者的手部康复效果进行评估。根据评估结果对患者的康复训练方式进行调整，实现训练过程的优化进步。
然而，数据手套对于手部功能障碍患者来说穿戴不便，可能对患者手部造成二次伤害。
发明内容
本申请提供一种基于骨骼动画追踪的虚拟现实手部动作识别与训练方法，用以解决数据手套穿戴不便，可能对患者手部造成二次伤害的问题。
第一方面，本申请提供一种基于骨骼动画追踪的虚拟现实手部动作识别与训练方法，包括：
获取目标对象上待检测部位关节的向量坐标，待检测部位关节的向量坐标为目标对象根据预设提示信息执行指定动作时所获取到的信息；
根据待检测部位关节的向量坐标，计算至少一个目标关节的弯曲角度，待检测部位关节包括目标关节；
根据各个目标关节的弯曲角度以及预设提示信息对应的预设弯曲角度，确定待检测部位的状态信息。
可选地，获取目标对象上待检测部位关节的向量坐标，包括：
通过视觉传感器获取待检测部位关节的运动信息；
根据待检测部位关节的运动信息，确定各个子关节的向量坐标，待检测部位关节包括多个子关节，待检测部位关节的向量坐标包括各个子关节的向量坐标。
可选地，根据待检测部位关节的向量坐标，计算至少一个目标关节的弯曲角度，包括：
根据待检测部位关节的向量坐标，计算执行指定动作的各个目标关节所在的三角形的边长；
根据三角形的边长，计算执行指定动作的对应目标关节的弯曲角度。
可选地，根据待检测部位关节的向量坐标，计算执行指定动作的各个目标关节所在的三角形的边长，包括：
根据欧几里得距离公式计算获取三角形的边长，其中，欧几里得距离公式具体包括：
其中，V1，V2是三角形的两个顶点，V1的向量坐标为(V1a，V1b)，V2的向量坐标为(V2a，V2b)。
可选地，根据三角形的边长，计算执行指定动作的对应目标关节的弯曲角度，包括：
根据三角形的边长和反余弦函数，计算执行指定动作的对应目标关节的弯曲角度，其中，反余弦函数具体包括：
其中，V1，V2，V3是三角形的三个顶点，D(V1，V2)，D(V1，V3)，D(V2，V3)是三角形的三条边长，cos-1()是反余弦函数，顶点V1位于目标关节上，flexion是目标关节的弯曲角度。
可选地，待检测部位关节为手部关节。
第二方面，本申请提供一种基于骨骼动画追踪的虚拟现实手部动作识别与训练装置，装置包括：
获取模块，用于获取目标对象上待检测部位关节的向量坐标，待检测部位关节的向量坐标为目标对象根据预设提示信息执行指定动作时所获取到的信息；
处理模块，用于根据待检测部位关节的向量坐标，计算至少一个目标关节的弯曲角度，待检测部位关节包括目标关节；
处理模块，还用于根据各个目标关节的弯曲角度以及预设提示信息对应的预设弯曲角度，确定待检测部位的状态信息。
第三方面，本申请提供一种电子设备，包括：存储器，处理器；
存储器；用于存储处理器可执行指令的存储器；
处理器，用于根据存储器存储的可执行指令，实现第一方面及可选方案涉及的基于骨骼动画追踪的虚拟现实手部动作识别与训练方法。
第四方面，本申请提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，计算机执行指令被处理器执行时用于实现第一方面及可选方案涉及的基于骨骼动画追踪的虚拟现实手部动作识别与训练方法。
第五方面，本申请提供一种计算机程序产品，包括指令，该指令被处理器执行时实现第一方面及可选方案涉及的基于骨骼动画追踪的虚拟现实手部动作识别与训练方法。
本申请提供一种基于骨骼动画追踪的虚拟现实手部动作识别与训练方法，获取目标对象上待检测部位关节的向量坐标，待检测部位关节的向量坐标为目标对象根据预设提示信息执行指定动作时所获取到的信息；根据待检测部位关节的向量坐标，计算至少一个目标关节的弯曲角度，待检测部位关节包括目标关节；根据各个目标关节的弯曲角度以及预设提示信息对应的预设弯曲角度，确定待检测部位的状态信息。将虚拟现实技术与视觉传感器的传感捕获技术相结合，解决了数据手套穿戴不便，对目标对象的待检测部位造成二次伤害的问题，有利于身体部位关节运动有困难的人进行有效的训练，促进其肢体运动功能的恢复。
附图说明
图1为本申请根据一示例性实施例示出的基于骨骼动画追踪的虚拟现实手部动作识别与训练系统的场景示意图；
图2为本申请根据一示例性实施例示出的基于骨骼动画追踪的虚拟现实手部动作识别与训练方法的流程示意图；
图3为本申请根据另一示例性实施例示出的基于骨骼动画追踪的虚拟现实手部动作识别与训练方法的流程示意图；
图4为本实施例提供的方法中手部关节执行屈伸运动的示意图；
图5为本实施例提供的方法中手腕、手掌和手指关节的示意图；
图6为本申请根据一示例性实施例示出的基于骨骼动画追踪的虚拟现实手部动作识别与训练装置的结构示意图；
图7为本申请根据一示例性实施例示出的电子设备的硬件结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请中的附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
下面以具体地实施例对本申请的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
随着这些年我国老龄化人口数量的急剧增加，脑卒中患者越来越多。脑卒中，俗称“中风”，该病不仅给患者造成了沉重的身体和心理创伤，并且愈后具有较高的致残率，给患者留下的后遗症会对患者生活造成较大影响。虽然现代医学技术的不断提高能让更多患者治疗，当是其致残、偏瘫的后遗症依旧存在。在脑卒中的诸多后遗症中，手部功能障碍是脑卒中后偏瘫患者最常见的障碍之一。除此之外，心脑血管和神经性疾病等疾病也可能会造成患者手功能障碍，以及因意外事故造成手部残障，因此手功能障碍患者是非常广泛的。手是人身体器官中非常重要的组成部分，需要使用手进行生活中非常多的行为，手功能障碍严重影响患者的日常生活活动，给患者家庭和社会带来了沉重负担。手部康复训练对手部功能障碍患者具有重要意义。
目前，患者的手部数据通过患者穿戴数据手套进行采集，手部数据能够更好地辅助医生对患者的手部康复效果进行评估。根据评估结果对患者的康复训练方式进行调整，实现训练过程的优化进步。
然而，数据手套对于手部功能障碍患者来说穿戴不便，可能对患者手部造成二次伤害。
本申请的发明构思是：在虚拟现实场景中设置预设提示信息，目标对象根据预设提示信息执行待检测部位关节的指定动作；利用Leap Motion的视觉传感器快速捕捉目标对象待检测部位关节的运动信息，实时获取待检测部位关节的向量坐标，待检测部位关节包括目标关节；确定目标关节所在的三角形，计算三角形的边长；根据三角形的边长，计算目标关节的弯曲角度；根据各个目标关节的弯曲角度，确定待检测部位的状态信息。将虚拟现实技术与视觉传感器的传感捕捉技术相结合，虚拟现实技术作为新兴的技术领域，获得越来越广泛的发展与应用，当其结合到医疗康复时，能有效避免传统康复训练方式的诸多局限性，增加患者主动训练的兴趣，给家庭治疗提供了更多的可能性。视觉传感器的传感捕获技术涵盖的数据采集功能能够让医生更好的分析病情，对患者康复训练进行调整，实现训练过程的优化。
图1为本申请根据一示例性实施例示出的基于骨骼动画追踪的虚拟现实手部动作识别与训练系统的场景示意图。如图1所示，目标对象坐在座位上，头部穿戴虚拟现实头显，虚拟现实场景设置为治疗室虚拟环境。目标对象正前方是矩形显示屏，文字显示为“请根据提示做出相同动作”，右侧文字显示预先设置的待检测部位和训练时间。训练时间为训练次数的10倍，目标对象在规定的训练时间内做完设置的训练次数，根据待检测部位关节动画做出相应的关节屈伸动作。当训练时间倒数至0时，训练结束。Leap Motion的视觉传感器快速捕捉目标对象的待检测部位关节的屈伸动作，获取待检测部位关节的向量坐标。根据待检测部位关节的向量坐标计算目标关节的弯曲角度。
图2为本申请根据一示例性实施例示出的基于骨骼动画追踪的虚拟现实手部动作识别与训练方法的流程示意图。如图2所示，本实施例提供的基于骨骼动画追踪的虚拟现实手部动作识别与训练方法基于图1所示的基于骨骼动画追踪的虚拟现实手部动作识别与训练系统，该基于骨骼动画追踪的虚拟现实手部动作识别与训练方法包括如下步骤：
S101、获取目标对象上待检测部位关节的向量坐标，待检测部位关节的向量坐标为目标对象根据预设提示信息执行指定动作时所获取到的信息。
更具体地，待检测部位关节可以是任意部位关节。在虚拟现实场景中设置预设提示信息。目标对象穿戴虚拟现实头显，根据预设提示信息执行指定动作。在目标对象的部位关节执行指定动作时，Leap Motion的视觉传感器通过红外摄像头实时捕捉待检测部位关节运动信息，并实时获取目标对象待检测部位关节的向量坐标。Leap Motion使用的是右手笛卡尔坐标系，而虚拟现实场景是Unity3D引擎构建的，Unity3D使用的是左手笛卡尔坐标系，即它们的Z轴相反。同时，Unity3D以米为单位，Leap Motion以毫米为单位。因此，LeapMotion在软件开发工具包(Software Development Kit，简称：SDK)的应用程序脚本内部对坐标系统进行了转化，即将单位和坐标转化为Unity3D的标准。
S102、根据待检测部位关节的向量坐标，计算至少一个目标关节的弯曲角度，待检测部位关节包括目标关节。
更具体地，目标关节是根据预设提示信息执行指定动作的关节。待检测部位关节包括多个子关节。多个子关节包括目标关节以及其余子关节。在其余子关节中挑选两个子关节，与目标关节组成三角形。根据Leap Motion获取到的目标关节与其余子关节上的点的向量坐标，计算三角形的边长。根据三角形的边长，计算目标关节的弯曲角度。
S103、根据各个目标关节的弯曲角度以及预设提示信息对应的预设弯曲角度，确定待检测部位的状态信息。
更具体地，各个目标关节的弯曲角度为目标对象执行指定动作时实际的关节弯曲角度，预设弯曲角度为目标对象执行指定动作时期望的关节弯曲角度。将实际的关节弯曲角度与期望的关节弯曲角度进行比较，得到待检测部位的状态信息。若实际的关节弯曲角度与期望的关节弯曲角度存在较大差异，说明待检测部位的状态较差，目标对象无法根据预设提示信息执行指定动作。在之后的关节训练过程中，可以根据这个状态信息，对目标对象的训练方式进行调整，以达到更好的训练效果。
其中，上述步骤可以在一台服务器上执行，也可以在多台服务器上执行。例如，步骤101在一台服务器上执行，步骤102和步骤103在另一台服务器上执行。
在本实施例提供的方法中，目标对象穿戴虚拟现实头显，根据预设提示信息执行指定动作。Leap Motion的视觉传感器通过红外摄像头实时捕捉待检测部位关节运动信息，并实时获取目标对象待检测部位关节的向量坐标。根据待检测部位关节的向量坐标，计算至少一个目标关节的弯曲角度，待检测部位关节包括目标关节。根据各个目标关节的弯曲角度以及预设提示信息对应的预设弯曲角度，确定待检测部位的状态信息。将虚拟现实技术与视觉传感器的传感捕获技术相结合，解决了数据手套穿戴不便，对目标对象的待检测部位造成二次伤害的问题，有利于身体部位关节运动有困难的人进行有效的训练，促进其肢体运动功能的恢复。
图3为本申请根据另一示例性实施例示出的基于骨骼动画追踪的虚拟现实手部动作识别与训练方法的流程示意图。如图3所示，该基于骨骼动画追踪的虚拟现实手部动作识别与训练方法包括如下步骤：
S201、通过视觉传感器获取待检测部位关节的运动信息。
更具体地，Leap Motion的视觉传感器具有两个立体视觉配置的红外摄像机，在135°视场中实时捕捉待检测部位关节的运动信息。当目标对象进入红外摄像机的检测区域，根据虚拟现实环境中的预设提示信息执行指定动作，Leap Motion的视觉传感器获取待检测部位关节的运动信息。
可选地，待检测部位关节为手部关节。
图4为本实施例提供的方法中手部关节执行屈伸运动的示意图。如图4所示，手部关节屈伸运动可以是单个手指执行屈伸运动，也可以是多个手指同时执行屈伸运动。目标对象根据虚拟现实环境中的手指部位动画做出相应的手指屈伸动作，Leap Motion的视觉传感器捕捉每个手指部位关节的运动信息。
S202、根据待检测部位关节的运动信息，确定各个子关节的向量坐标，待检测部位关节包括多个子关节，待检测部位关节的向量坐标包括各个子关节的向量坐标。
更具体地，待检测部位关节包括多个子关节，多个子关节中包括目标关节。根据Leap Motion的视觉传感器获取到的待检测部位关节的运动信息，Leap Motion SDK确定待检测部位关节中多个子关节的3D向量坐标。
例如，待检测部位关节为手部关节，手部关节包括多个子关节，多个子关节为手腕、手掌和手指关节。Leap Motion SDK确定手腕、手掌和手指关节的3D向量坐标。图5为本实施例提供的方法中手腕、手掌和手指关节的示意图。如图5所示，每只手有五根手指，包括大拇指(thumb)、食指(index finger)、中指(middel finger)、无名指(ring finger)、小拇指(pinky)。手腕100位于中指的掌骨下方，手掌110位于中指的掌骨中部，每根手指有四根骨头，包括远节指骨(distal phalanx)120、中节指骨(intermediate phalanx)130、近节指骨(proximal phalanx)140、掌骨(metacarpals)150。每个骨头包含三个向量，包括前向量(prejoint)160、中向量(middeljoint)170、后向量(nextjoint)180。建立坐标系，每个向量具有三个分量(x，y，z)。对于大拇指屈伸，a＝x分量，b＝y分量，即使用了XY平面；对于其余的手指屈伸，a＝y分量，b＝z分量，即使用YZ平面。
S203、根据待检测部位关节的向量坐标，计算执行指定动作的各个目标关节所在的三角形的边长。
更具体地，从各个子关节的向量坐标中，选定执行指定动作的目标关节中的一个点V1，再选定点V2，V3，其中，V2为V1所在关节以外的子关节中的点，V3为V1和V2所在关节以外的子关节中的点。V1，V2，V3组成三角形，根据V1，V2，V3的向量坐标，计算得到三角形的边长D(V1，V2)，D(V1，V3)，D(V2，V3)。
例如，执行屈伸动作的目标关节为食指的近节指骨，则目标关节所在的三角形的三条边长可以为：D(V1，V3)为手腕与食指的掌骨之间的距离，D(V1，V2)为食指的掌骨与食指的近节指骨之间的距离，D(V2，V3)为食指的近节指骨与手腕之间的距离。根据食指的近节指骨中的一个点V1、手腕中的一个点V2、食指的掌骨中的一个点V3的向量坐标，通过距离公式计算目标关节所在三角形的边长。
可选地，根据欧几里得距离公式计算获取三角形的边长，其中，欧几里得距离公式具体包括：
其中，V1，V2是三角形的两个顶点，V1的向量坐标为(V1a，V1b)，V2的向量坐标为(V2a，V2b)。
S204、根据三角形的边长，计算执行指定动作的对应目标关节的弯曲角度。
更具体地，根据三角形的边长D(V1，V2)，D(V1，V3)，D(V2，V3)，计算顶点V1所在角的度数，即为目标对象在执行指定动作时对应目标关节的弯曲角度。
例如，执行屈伸动作的目标关节为食指的近节指骨，根据手腕与食指的掌骨之间的距离D(V1，V3)、食指的掌骨与食指的近节指骨之间的距离D(V1，V2)、食指的近节指骨与手腕之间的距离D(V2，V3)，计算食指的近节指骨的弯曲角度。
可选地，根据三角形的边长和反余弦函数，计算执行指定动作的对应目标关节的弯曲角度，其中，反余弦函数具体包括：
其中，V1，V2，V3是三角形的顶点，D(V1，V2)，D(V1，V3)，D(V2，V3)是三角形的边长，cos-1()是反余弦函数，顶点V1位于目标关节上，flexion是目标关节的弯曲角度。
S205、根据各个目标关节的弯曲角度以及预设提示信息对应的预设弯曲角度，确定待检测部位的状态信息。
其中，步骤S205与图2实施例中的步骤S103实现方式类似，本实施例此处不再赘述。
在本实施例提供的方法中，基于Leap Motion的视觉传感器捕获运动信息，具有高精度和实时性的特性，可以捕捉更多样的运动动作，丰富了手部训练动作的多样性，使用方便高效。使用Leap Motion红外摄像头捕获手部骨骼关节的3D坐标向量，手部模型能够自动匹配不同人手，对不同的使用者具有良好的适配性。通过目标对象待检测部位弯曲角度的比对，确定关节运动有障碍的人的状态信息，以便根据状态信息有目的地调整关节的训练方式。
图6为本申请根据一示例性实施例示出的基于骨骼动画追踪的虚拟现实手部动作识别与训练装置的结构示意图。如图6所示，本申请提供一种基于骨骼动画追踪的虚拟现实手部动作识别与训练装置40，装置40包括：
获取模块41，用于获取目标对象上待检测部位关节的向量坐标，待检测部位关节的向量坐标为目标对象根据预设提示信息执行指定动作时所获取到的信息。
处理模块42，用于根据待检测部位关节的向量坐标，计算至少一个目标关节的弯曲角度，待检测部位关节包括目标关节。
处理模块42，还用于根据各个目标关节的弯曲角度以及预设提示信息对应的预设弯曲角度，确定待检测部位的状态信息。
具体地，本实施例可以参见上述方法实施例，其原理和技术效果类似，不再赘述。
图7为本申请根据一示例性实施例示出的电子设备的硬件结构示意图。如图7所示，本实施例的电子设备50包括：处理器51以及存储器52；其中，
存储器52，用于存储处理器可执行指令的存储器。
处理器51，用于根据存储器存储的可执行指令，以实现上述实施例中的基于骨骼动画追踪的虚拟现实手部动作识别与训练方法。具体可以参见前述方法实施例中的相关描述。
可选地，存储器52既可以是独立的，也可以跟处理器51集成在一起。
当存储器52独立设置时，该电子设备50还包括总线53，用于连接存储器52和处理器51。
本申请还提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机指令，计算机指令被处理器执行时用于实现上述的各种实施方式提供的方法。
其中，计算机可读存储介质可以是计算机存储介质，也可以是通信介质。通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。计算机存储介质可以是通用或专用计算机能够存取的任何可用介质。例如，计算机可读存储介质耦合至处理器，从而使处理器能够从该计算机可读存储介质读取信息，且可向该计算机可读存储介质写入信息。当然，计算机可读存储介质也可以是处理器的组成部分。处理器和计算机可读存储介质可以位于专用集成电路(Application Specific Integrated Circuits，ASIC)中。另外，该ASIC可以位于用户设备中。当然，处理器和计算机可读存储介质也可以作为分立组件存在于通信设备中。
上述计算机可读存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(Static Random-Access Memory，SRAM)，电可擦除可编程只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)，可编程只读存储器(Programmable read-only memory，PROM)，只读存储器(Read-OnlyMemory，ROM)，磁存储器，快闪存储器，磁盘或光盘。存储介质可以是通用或专用计算机能够存取的任何可用介质。
本申请还提供一种计算机程序产品，该程序产品包括执行指令，该执行指令存储在计算机可读存储介质中。设备的至少一个处理器可以从计算机可读存储介质读取该执行指令，至少一个处理器执行该执行指令使得设备实施上述的各种实施方式提供的方法。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
Claims (10)
1.一种基于骨骼动画追踪的虚拟现实手部动作识别与训练方法，其特征在于，包括：
获取目标对象上待检测部位关节的向量坐标，所述待检测部位关节的向量坐标为所述目标对象根据预设提示信息执行指定动作时所获取到的信息；
根据所述待检测部位关节的向量坐标，计算至少一个目标关节的弯曲角度，所述待检测部位关节包括所述目标关节；
根据各个目标关节的弯曲角度以及所述预设提示信息对应的预设弯曲角度，确定所述待检测部位的状态信息。
2.根据权利要求1所述的方法，其特征在于，所述获取目标对象上待检测部位关节的向量坐标，包括：
通过视觉传感器获取所述待检测部位关节的运动信息；
根据所述待检测部位关节的运动信息，确定各个子关节的向量坐标，所述待检测部位关节包括多个子关节，所述待检测部位关节的向量坐标包括各个子关节的向量坐标。
3.根据权利要求1所述的方法，其特征在于，所述根据所述待检测部位关节的向量坐标，计算至少一个目标关节的弯曲角度，包括：
根据所述待检测部位关节的向量坐标，计算执行所述指定动作的各个所述目标关节所在的三角形的边长；
根据所述三角形的边长，计算执行所述指定动作的对应目标关节的弯曲角度。
4.根据权利要求3所述的方法，其特征在于，所述根据所述待检测部位关节的向量坐标，计算执行所述指定动作的各个所述目标关节所在的三角形的边长，包括：
根据欧几里得距离公式计算获取所述三角形的边长，其中，所述欧几里得距离公式具体包括：
其中，V1，V2是三角形的两个顶点，V1的向量坐标为(V1a，V1b)，V2的向量坐标为(V2a，V2b)。
5.根据权利要求3所述的方法，其特征在于，所述根据所述三角形的边长，计算执行所述指定动作的对应目标关节的弯曲角度，包括：
根据所述三角形的边长和反余弦函数，计算执行所述指定动作的对应目标关节的弯曲角度，其中，所述反余弦函数具体包括：
其中，V1，V2，V3是三角形的三个顶点，D(V1，V2)，D(V1，V3)，D(V2，V3)是三角形的三条边长，cos-1()是反余弦函数，顶点V1位于目标关节上，flexion是目标关节的弯曲角度。
6.根据权利要求1-5中任意一项所述的方法，其特征在于，所述待检测部位关节为手部关节。
7.一种基于骨骼动画追踪的虚拟现实手部动作识别与训练装置，其特征在于，所述装置包括：
获取模块，用于获取目标对象上待检测部位关节的向量坐标，所述待检测部位关节的向量坐标为所述目标对象根据预设提示信息执行指定动作时所获取到的信息；
处理模块，用于根据所述待检测部位关节的向量坐标，计算至少一个目标关节的弯曲角度，所述待检测部位关节包括所述目标关节；
处理模块，还用于根据各个目标关节的弯曲角度以及所述预设提示信息对应的预设弯曲角度，确定所述待检测部位的状态信息。
8.一种电子设备，其特征在于，包括：存储器，处理器；
存储器；用于存储所述处理器可执行指令的存储器；
处理器，用于根据所述存储器存储的可执行指令，实现如权利要求1至6中任一项所述的基于骨骼动画追踪的虚拟现实手部动作识别与训练方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1至6任一项所述的基于骨骼动画追踪的虚拟现实手部动作识别与训练方法。
10.一种计算机程序产品，包括指令，其特征在于，该指令被处理器执行时实现权利要求1至6中任一项所述的基于骨骼动画追踪的虚拟现实手部动作识别与训练方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011573466.2A CN112861606A (zh) | 2020-12-24 | 2020-12-24 | 基于骨骼动画追踪的虚拟现实手部动作识别与训练方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011573466.2A CN112861606A (zh) | 2020-12-24 | 2020-12-24 | 基于骨骼动画追踪的虚拟现实手部动作识别与训练方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112861606A true CN112861606A (zh) | 2021-05-28 |
Family
ID=75997495
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011573466.2A Pending CN112861606A (zh) | 2020-12-24 | 2020-12-24 | 基于骨骼动画追踪的虚拟现实手部动作识别与训练方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112861606A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113256770A (zh) * | 2021-06-02 | 2021-08-13 | 天津慧医谷科技有限公司 | 基于骨骼的动画生成方法、装置以及电子设备 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107422852A (zh) * | 2017-06-27 | 2017-12-01 | 掣京机器人科技（上海）有限公司 | 手功能康复训练评估方法和系统 |
| CN107595290A (zh) * | 2017-08-08 | 2018-01-19 | 刘超军 | 一种关节角度测量方法及系统 |
| CN109800645A (zh) * | 2018-12-18 | 2019-05-24 | 武汉西山艺创文化有限公司 | 一种动作捕捉系统及其方法 |
| CN111438673A (zh) * | 2020-03-24 | 2020-07-24 | 西安交通大学 | 基于立体视觉和手势控制的高空作业遥操作方法及系统 |
| CN111492367A (zh) * | 2017-12-13 | 2020-08-04 | 谷歌有限责任公司 | 从2d图像进行手势学习、抬起和消噪 |
| CN112089427A (zh) * | 2020-08-31 | 2020-12-18 | 南京麦澜德医疗科技有限公司 | 一种手指关节康复训练评估方法及系统 |
-
2020
- 2020-12-24 CN CN202011573466.2A patent/CN112861606A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107422852A (zh) * | 2017-06-27 | 2017-12-01 | 掣京机器人科技（上海）有限公司 | 手功能康复训练评估方法和系统 |
| CN107595290A (zh) * | 2017-08-08 | 2018-01-19 | 刘超军 | 一种关节角度测量方法及系统 |
| CN111492367A (zh) * | 2017-12-13 | 2020-08-04 | 谷歌有限责任公司 | 从2d图像进行手势学习、抬起和消噪 |
| CN109800645A (zh) * | 2018-12-18 | 2019-05-24 | 武汉西山艺创文化有限公司 | 一种动作捕捉系统及其方法 |
| CN111438673A (zh) * | 2020-03-24 | 2020-07-24 | 西安交通大学 | 基于立体视觉和手势控制的高空作业遥操作方法及系统 |
| CN112089427A (zh) * | 2020-08-31 | 2020-12-18 | 南京麦澜德医疗科技有限公司 | 一种手指关节康复训练评估方法及系统 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113256770A (zh) * | 2021-06-02 | 2021-08-13 | 天津慧医谷科技有限公司 | 基于骨骼的动画生成方法、装置以及电子设备 |
| CN113256770B (zh) * | 2021-06-02 | 2021-09-28 | 天津慧医谷科技有限公司 | 基于骨骼的动画生成方法、装置以及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111460875B (zh) | 图像处理方法及装置、图像设备及存储介质 | |
| Kuch et al. | Vision based hand modeling and tracking for virtual teleconferencing and telecollaboration | |
| WO2018120964A1 (zh) | 一种基于深度信息和骨骼信息的姿势矫正方法 | |
| US20160048993A1 (en) | Image processing device, image processing method, and program | |
| Zhao et al. | An augmented reality-assisted therapeutic healthcare exercise system based on bare-hand interaction | |
| CN207752446U (zh) | 一种基于Leap Motion设备的手势识别互动系统 | |
| CN112597933B (zh) | 动作评分方法、装置及可读存储介质 | |
| Nissler et al. | Optical myography: detecting finger movements by looking at the forearm | |
| CN110399794B (zh) | 基于人体的姿态识别方法、装置、设备及存储介质 | |
| CN113705540A (zh) | 一种无器械训练动作识别与计数方法及系统 | |
| Klein et al. | A markeless augmented reality tracking for enhancing the user interaction during virtual rehabilitation | |
| WO2020147791A1 (zh) | 图像处理方法及装置、图像设备及存储介质 | |
| CN115346670A (zh) | 基于姿态识别的帕金森病评级方法、电子设备及介质 | |
| CN112734632A (zh) | 图像处理方法、装置、电子设备和可读存储介质 | |
| Vox et al. | Preprocessing and normalization of 3d-skeleton-data for human motion recognition | |
| CN112861606A (zh) | 基于骨骼动画追踪的虚拟现实手部动作识别与训练方法 | |
| CN113496168B (zh) | 手语数据采集方法、设备、存储介质 | |
| Jia et al. | Gesture Recognition of Somatosensory Interactive Acupoint Massage Based on Image Feature Deep Learning Model. | |
| Lin et al. | Using hybrid sensoring method for motion capture in volleyball techniques training | |
| WO2020147797A1 (zh) | 图像处理方法及装置、图像设备及存储介质 | |
| Bakar et al. | Computer vision-based hand deviation exercise for rehabilitation | |
| Zaher et al. | A framework for assessing physical rehabilitation exercises | |
| WO2019152566A1 (en) | Systems and methods for subject specific kinematic mapping | |
| CN115530814A (zh) | 一种基于视觉姿态检测及计算机深度学习的儿童运动康复训练方法 | |
| KR101085536B1 (ko) | 제스처 인식을 이용한 인터페이스 구성방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210528 |