CN111369626A - 基于深度学习的无标志点上肢运动分析方法及系统 - Google Patents

基于深度学习的无标志点上肢运动分析方法及系统 Download PDF

Info

Publication number
CN111369626A
CN111369626A CN202010143073.1A CN202010143073A CN111369626A CN 111369626 A CN111369626 A CN 111369626A CN 202010143073 A CN202010143073 A CN 202010143073A CN 111369626 A CN111369626 A CN 111369626A
Authority
CN
China
Prior art keywords
upper limb
data
model
movement
analyzing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010143073.1A
Other languages
English (en)
Other versions
CN111369626B (zh
Inventor
刘东威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Geng Haokun
Shandong Perui Medical Technology Co.,Ltd.
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202010143073.1A priority Critical patent/CN111369626B/zh
Publication of CN111369626A publication Critical patent/CN111369626A/zh
Application granted granted Critical
Publication of CN111369626B publication Critical patent/CN111369626B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及基于深度学习的无标志点上肢运动分析方法及系统，属于上肢运动分析领域技术领域，其方法包括获取使用者在做上肢功能运动时的图像和深度信息；基于图像和深度信息进行逆运动学计算处理，得到上肢运动角度数据；应用预先训练好的深度学习模型，对上肢运动角度数据进行修正，以得到最终的上肢运动学参数。本申请的技术方案，有利于更准确的分析/评估上肢运动学参数。

Description

基于深度学习的无标志点上肢运动分析方法及系统
技术领域
本申请属于上肢运动分析领域技术领域，具体涉及一种基于深度学习的无标志点上肢运动分析方法及系统。
背景技术
上肢运动学分析(例如对于拿取、推、拉、投掷等进行的运动分析)，在运动控制、运动训练及技术分析、神经生理学、康复训练等领域都有着广泛的应用。现有的上肢运动分析技术大体分可为主观分析和客观分析两种。主观分析中，一般采用临床量表评估，其主要问题是有很大的评估者内部和评估者间的差异，可靠性较低。
而现有的客观上肢运动分析技术中包括应用基于高速摄像机的运动捕捉系统的分析技术。该技术中，人体环节运动数据一般通过基于视频影像的运动捕捉系统来采集和处理，该系统一般由多个高速红外摄像机组成，可以记录贴在人体骨性标记点的被动或主动的反光球在三维空间的运动轨迹，进而应用逆运动学算法计算运动学参数(关节角度、角速度、角加速度)。这类基于标记点的动作捕捉系统(下文简称“标记点系统”)被广泛应用于科学研究和临床评估中。标记点系统的准确性、可靠性和可重复性得到了广泛的验证。但是由于需要多个价格昂贵的摄像头、专门的实验场所和技术员，标记点系统很难应用在经费或场地受限的医疗机构、病人家里、室外、运动场或者其他公共场所中。
现有客观上肢运动分析技术中还包括应用基于深度传感器的无标志点运动分析系统的分析技术。如采用微软的Kinect技术，应用深度传感器和随机决策森林算法来进行运动分析，Kinect SDK 2.0能够实时的获取人体关节点的骨架模型，并能存储各关节位置在运动中的三维空间坐标及对应的时间，进而此类系统通过直接调取关节三维空间和时间信息来进行运动分析。但是由于该系统的空间信息相比于时间信息的准确性更差，尤其是关节运动学参数准确性不能满足相关要求，至今没有直接应用该系统进行关节运动学(角度)评估的可能性。
此外，还存在为改进准确性，相关改进的运动分析技术：
如在关节处贴置彩色标志点，以使关节中心的位置识别更准确，但该方法仅仅用于下肢矢状面角度的运动分析，并未应用到上肢功能运动评估中，且存在引入的标志点在上肢运动分析时无法避免的遮挡问题，增加了实验难度；如应用多台深度传感器同时采集运动学数据来提高准确性，但其存在系统调试困难成本高的问题；再如引入模型拟合算法，将深度传感器无标志点系统得到的上肢运动学数据做为输入，将三维运动分析系统得到的上肢运动学参数作为目标，应用线性回归算法进行模型拟合，但结果证明，该方法仅能够提高肩关节内收/外展角度的准确度，实用度不高。
发明内容
为至少在一定程度上克服相关技术中存在的问题，本申请提供一种基于深度学习的无标志点上肢运动分析方法及系统，有助于提升上肢运动分析中获取的关节运动学参数准确性，更好地实现上肢运动分析。
为实现以上目的，本申请采用如下技术方案：
第一方面，
本申请提供一种基于深度学习的无标志点上肢运动分析方法，其包括：
获取使用者在做上肢功能运动时的图像和深度信息；
基于所述图像和深度信息进行逆运动学计算处理，得到上肢运动角度数据；
应用预先训练好的深度学习模型，对所述上肢运动角度数据进行修正，以得到最终的上肢运动学参数。
可选地，预先进行如下步骤，以得到训练好的深度学习模型：
在受试者进行上肢功能运动任务时，
应用三维运动捕捉分析系统进行运动数据采集及分析，得到第一上肢运动参数数据，
同时应用深度传感器进行运动数据采集并基于采集到的数据进行处理，得到第二上肢运动参数数据；
基于所述第一上肢运动参数数据和第二上肢运动参数数据构建数据集；
基于所述数据集对深度学习模型进行迭代训练，调整优化模型参数，以得到训练好的深度学习模型。
可选地，所述基于所述数据集对深度学习模型进行迭代训练，调整优化模型参数，具体包括：
对数据集中的数据进行标准化，基于标准化后的训练数据对模型进行迭代训练；其中，在每次迭代训练中，
以深度传感器对应的训练数据作为模型输入数据，计算模型输出数据与三维运动捕捉分析系统对应的训练数据之间的均方误差，根据所述均方误差，采用Adam方法对模型参数进行调整。
可选地，所述深度学习模型采用预定层数的LSTM网络架构；
模型中每一个LSTM细胞包含预定个数神经单元，模型输入及模型输出为预定步数时间序列。
可选地，所述预定层数为2至6层，所述预定个数为20-2000个，所述预定步数根据具体任务确定。
可选地，迭代训练中，训练批量大小设为10-100，模型的学习率设为0.0001-0.01。
可选地，所述深度传感器为Kinect系统传感器，所述应用深度传感器进行运动数据采集并基于采集到的数据进行处理，得到第二上肢运动参数数据，具体为：
采集受试者运动时人体骨架模型节点的三维空间坐标数据；
应用逆运动学算法，基于预先构建的躯干坐标系与上臂坐标系之间的转移矩阵，以及所述三维空间坐标数据计算得到所述第二上肢运动参数数据；
其中，所述第二上肢运动参数数据包括肩关节屈/伸角度、肩关节内收/外展角度、肩关节内旋/外旋角度，以及肘关节屈/伸角度。
可选地，所述转移矩阵及肘关节屈/伸角度分别如以下表示式所示：
Figure BDA0002399773770000031
Figure BDA0002399773770000032
其中，转移矩阵R(λ,η)的旋转顺序为Z-X-Y，矩阵各元素值基于人体骨架模型的节点三维空间坐标值、采用逆运动学算法计算确定，
αFE表示肩关节屈/伸角度、αAA表示肩关节内收/外展角度、αIE表示肩关节内旋/外旋角度，αEFE表示肘关节屈/伸角度，
VES是肘关节中心到肩关节中心的单位矢量，VWE是从肘关节中心到腕关节中心的单位矢量。
可选地，所述基于所述图像和深度信息进行逆运动学计算处理，得到上肢运动角度数据，具体包括：
对所述图像和深度信息进行处理分析，得到使用者在运动中的骨架模型三维坐标数据；
根据功能运动任务的开始和结束时刻，截取骨架模型三维空间坐标数据；
将截取的骨架模型三维空间坐标数据重采样到预设时间步；
应用逆运动学算法，基于重采样后的骨架模型三维空间坐标数据进行计算处理，以得到所述上肢运动角度数据。
第二方面，
本申请提供一种上肢运动分析系统，其包括，分析处理装置、输出装置以及一台深度传感器；
所述深度传感器，用于获取使用者在做上肢功能运动时的图像和深度信息；
所述分析处理装置，用于根据所述图像和深度信息，执行上述分析方法，分析得到使用者的上肢运动学参数；
所述输出装置，用于对外输出所述使用者的上肢运动学参数。
本申请采用以上技术方案，至少具备以下有益效果：
本发明应用深度学习技术，基于深度传感器和逆运动学算法，有利于更准确的分析/评估上肢运动学参数，提高肩关节屈伸、内收/外展、内旋/外旋以及肘关节屈伸角度在做上肢功能运动时的准确性，关节活动度和功能运动完成时的关节角度误差能够保持在5度以下。采用基于一台深度传感器的无标志点运动分析系统，价格成本低，使用者不需要佩戴任何标志点或者传感器，评估人员只需要简单培训即可完成实验及数据处理，便于技术推广应用。
附图说明
附图用来提供对本申请的技术方案或现有技术的进一步理解，并且构成说明书的一部分。其中，表达本申请实施例的附图与本申请的实施例一起用于解释本申请的技术方案，但并不构成对本申请技术方案的限制。
图1为本申请一个实施例提供的基于深度学习的无标志点上肢运动分析方法的流程示意图；
图2为本申请另一个实施例提供的基于深度学习的无标志点上肢运动分析方法的流程示意图；
图3为图2所述实施例中UWA模型骨性标记点位置的示意说明图；
图4为图2所述实施例中Kinect系统骨架模型的示意说明图；
图5为本申请一个实施例提供的上肢运动分析系统的系统框图示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将对本申请的技术方案进行详细的描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本申请所保护的范围。
现有的基于深度传感器的无标志点运动分析技术中，存在准确性低，成本高，使用不便等问题，针对于此，本申请提出一种基于深度学习的无标志点上肢运动分析方法，如图1所示，该方法包括如下步骤：
步骤S110，获取使用者在做上肢功能运动时的图像和深度信息。
举例而言，在一具体场景中，配置Kinect V2深度传感器来对使用者进行数据采集，以获得相关信息，如将该深度传感器放置于距离使用者1米-3米间，离地高度为1.2米，来获取使用者在做上肢功能运动时的图像和深度信息。
此外，需要说明的是，这里的上肢功能运动一般包括手模对侧肩膀、模拟喝水、手摸后脑勺、手摸同侧屁股口袋等。
之后，进行步骤S120，基于图像和深度信息进行逆运动学计算处理，得到上肢运动角度数据；
具体的，对得到的图像和深度信息进行处理分析(基于现有Kinect SDK实现)，得到使用者在运动中的骨架模型三维坐标数据；
根据功能运动任务的开始和结束时刻，截取骨架模型三维空间坐标数据；
将截取的骨架模型三维空间坐标数据重采样到预设时间步；
应用逆运动学算法，基于重采样后的骨架模型三维空间坐标数据进行计算处理，以得到上肢运动角度数据。这里的逆运动学算法可见于现有的相关公开文献(如”Biomechanics and Motor Control of Human Movement,Fourth Edition”中CHAPTER 7，“Three-Dimensional Kinematics and Kinetics”)，这里就不进行详细介绍了。
最后，进行步骤S130，应用预先训练好的深度学习模型，对上肢运动角度数据进行修正，以得到最终的上肢运动学参数。这里采用预先训练好的深度学习模型进行误差修正，是本申请提高最终分析准确性的关键，模型架构及训练的具体过程将在后文进行详细说明。
本发明应用深度学习技术，基于深度传感器和逆运动学算法，有利于更准确的分析/评估上肢运动学参数，提高肩关节屈伸、内收/外展、内旋/外旋以及肘关节屈伸角度在做上肢功能运动时的准确性，关节活动度和功能运动完成时的关节角度误差能够保持在5度以下。
下面以另一实施例对本发明进行进一步说明。
如图2所示，为该实施例中基于深度学习的无标志点上肢运动分析方法的流程示意图，主要包括模型训练部分和模型应用部分，下面分别介绍：
模型训练
首先需采集训练数据，招募若干名受试者，这些受试者需身体健康、无上肢疾病，让这些受试者进行上肢功能运动任务，以进行相应的数据采集。
本实施例中，受试者为50名，每个受试者需完成四项上肢功能运动任务，每项任务进行10次，下面对要做的上肢功能运动任务进行简要说明：
任务一把手放在对侧肩膀上。这代表了对侧肩附近的所有活动，比如拉外套拉链或洗腋窝。受试者以解剖学站姿开始，手自然放在身体两侧，保持放松的体位，最后手触碰到对侧肩膀。
任务二是手对嘴或模拟喝水。这代表了吃东西和洗脸等的活动。与任务一相同的起点开始，当手到达受试者的嘴时结束。
任务三是梳头。梳头代表着伸手(后脑勺)和洗头等上肢活动。初始位置相同，最后受试者被要求把手移到脑后。
任务四是把手放在同侧后面的口袋里，这代表手到达后面和清洗屁股等的日常动作。起点位置相同，最后把手放在同侧后兜后结束。
在受试者完成上述上肢功能运动任务过程中，采集相关数据，基于这些数据进行模型训练，来得到训练好的深度学习模型。具体的，进行如下步骤，以得到训练好的深度学习模型：
步骤A、在受试者进行上肢功能运动任务时，
应用三维运动捕捉分析系统进行运动数据采集及分析，得到第一上肢运动参数数据，同时应用深度传感器进行运动数据采集并基于采集到的数据进行处理，得到第二上肢运动参数数据。
该实施例中，具体的如图2所示，三维运动捕捉分析系统为应用UWA模型的三维运动分析系统，该分析系统为有标记点的三维运动分析系统，基于摄像机采集受试者在做功能运动时附着在身体骨性标记点的反光球的三维空间坐标(第一上肢运动参数数据的空间信息)来实现第一上肢运动参数数据的获取。
UWA模型(西澳大利亚大学上肢运动学模型)，包括18个反光点。躯干、上臂、前臂和手部可以基于相应的反光点位置确定，如图3所示，为UWA模型的骨性标记点位置。肩关节中心位置可以通过基于肩膀后部反光点(PSH)、前部反光点(ASH)和肩峰位置反光点位置确定。肘关节中心可以通过肘关节内侧髁(EM)和外侧髁(EL)反光点的位置确定。手腕关节中心位置可以通过尺骨茎突(US)和桡骨茎突(RS)反光点的位置确定。
在该上肢模型中，上臂坐标系相对于躯干坐标系的欧拉角确定了关节的旋转角度。旋转的顺序为屈/伸、内收/外展和内旋/外旋。基于环节坐标系相对于其相对坐标系之间的转移矩阵，UWA逆运动学模型可以计算出上肢肩关节屈/伸、内收/外展和内旋/外旋角度及肘关节屈/伸角度。坐标系的建立如下表一所示：
表一：UWA模型坐标系统
Figure BDA0002399773770000071
该实施例中，具体的如图2所示，在采用三维运动捕捉分析系统获取第一上肢运动参数数据的同时，应用Kinect深度传感器及相关系统获取第二上肢运动参数，具体的：
①、应用Kinect v2系统采集受试者运动时人体骨架模型节点的三维空间坐标数据(图4所示为人体骨架模型示意说明图)；
②、应用逆运动学算法，基于预先构建的躯干坐标系与上臂坐标系之间的转移矩阵，以及三维空间坐标数据计算得到第二上肢运动参数数据；
这里先对躯干坐标系和上臂坐标系进行介绍，躯干坐标系为上臂坐标系的父坐标系。以身体右侧为例，结合图4所示，躯干坐标系Cλ为：
中心：躯干上部(SpineShoulder)，
Y轴：从SpineMid到SpineShoulder的单位向量，
X轴：垂直于Y轴和从ShoulderRight到ShoulderLeft组成的平面的单位向量，
Z轴：垂直于X轴和Y轴的单位向量。
以身体右侧为例，上臂坐标系Cη为
中心：肘关节中心(ElbowRight)，
Y轴：从肘关节中心(ElbowRight)到肩关节中心(ShoulderRight)的单位向量，
Z轴：垂直于Y轴和前臂长轴向量组成的平面的单位向量，
X轴：垂直于Y轴和Z轴的单位向量。
基于以上坐标系，应用逆运动学算法构建躯干坐标系与上臂坐标系之间的转移矩阵。
该实施例中，构建的转移矩阵R(λ,η)的旋转顺序为Z-X-Y，其如以下表达式所示，
Figure BDA0002399773770000081
表达式(1)中，αFE表示肩关节屈/伸角度、αAA表示肩关节内收/外展角度、αIE表示肩关节内旋/外旋角度。
上述R(λ,η)为3x3维矩阵，其也可写成如下形式：
Figure BDA0002399773770000082
表达式(2)中，r1,1,r1,2等矩阵各元素值基于人体骨架模型的节点三维空间坐标值、采用逆运动学算法计算确定。
基于表达式(1)、(2)构成的多元方程组，利用反三角函数计算得到，
肩关节的屈伸角度
Figure BDA0002399773770000091
肩关节内收外展角度
Figure BDA0002399773770000092
肩关节内旋外旋角度
Figure BDA0002399773770000093
而在本实施例中，肘关节屈/伸角度由如下表达式计算，
Figure BDA0002399773770000094
上述表达式(6)中，VES是肘关节中心到肩关节中心的单位矢量，VWE是从肘关节中心到腕关节中心的单位矢量，其都可由人体骨架模型的节点三维空间坐标值、采用逆运动学算法计算确定。
步骤A之后，进行步骤B，基于第一上肢运动参数数据和第二上肢运动参数数据构建数据集；
该步骤中，首先将两个系统(三维运动捕捉分析系统和Kinect系统)得到的所有上肢运动角度在时间上重采样到预定步数(基于尼奎斯特定理，根据具体任务确定)，然后为每一个任务分别构建数据集，以便后续分别进行模型训练。
对每一个任务，将深度传感器和三维运动捕捉分析系统得到的上肢运动角度分别对应构建维度是Ts×Nt×Nj的三维矩阵Kφ和Kr，其中Ts为时间序列(与重采样的步数相对应)，Nt为实验次数，Nj为上肢运动角度的种类数。该实施例中，Ts为101，Nt为500，Nj为4(肩关节屈/伸、内收/外展和内旋/外旋角度及肘关节屈/伸角度，共四种)。
此外，在本实施例中，将数据集按照受试者分成10份，取9份作为训练集，剩下一份作为测试集。
之后进行步骤C，基于所述数据集对深度学习模型进行迭代训练，调整优化模型参数，以得到训练好的深度学习模型。
如图2所示，这里深度学习模型采用预定层数的LSTM网络架构，模型中每一个LSTM细胞包含预定个数神经单元，模型输入及模型输出为预定步数时间序列，每个时间步单元为n维向量。一般的，预定层数为2至6层，预定个数为20-2000个，预定步数和n根据具体任务确定。
本实施例中，预定步数为101步，n为4，而作为一种优选，预定层数为3层，预定个数为100个。
步骤C中，基于数据集对深度学习模型进行迭代训练，调整优化模型参数，具体包括：
对数据集中的数据进行标准化(例如标准化到0-1)，基于标准化后的训练数据对模型进行迭代训练；其中，在每次迭代训练中，
以深度传感器对应的训练数据作为模型输入数据，计算模型输出数据与三维运动捕捉分析系统对应的训练数据之间的均方误差，根据该均方误差，采用Adam方法对模型参数进行调整。
在迭代训练中，一般的，训练批量大小设为10-100，模型的学习率设为0.0001-0.01。作为一种优选，本实施例中，训练批量大小设为20，模型的学习率设为0.006。
模型应用
与前文实施例中类似，如图2所示，采用Kinect V2深度传感器对使用者进行数据采集，获取使用者在做上肢功能运动时的图像和深度信息。容易理解的是，此时Kinect V2深度传感器的安装配置环境应与模型训练阶段时深度传感器的安装配置条件相同或相近。
之后，基于图像和深度信息进行逆运动学计算处理，得到上肢运动角度数据(未修正前)；最后，应用预先训练好的LSTM网络模型，对上肢运动角度数据进行修正(修正系统误差)，以得到最终的上肢运动学参数。
本申请还提出了一种上肢运动分析系统。
如图5所示为该上肢运动分析系统的结构示意图。该上肢运动分析系统包括，分析处理装置520、输出装置530以及一台深度传感器510；
深度传感器510，用于获取使用者在做上肢功能运动时的图像和深度信息；
分析处理装置520，用于根据图像和深度信息，执行上述分析方法，分析得到使用者的上肢运动学参数；
输出装置530，用于对外输出使用者的上肢运动学参数。
本申请中的上肢运动分析系统，仅基于一台深度传感器，整体价格低，且使用者不需要佩戴任何标志点或者传感器，评估人员只需要简单培训即可完成实验及数据处理，便于系统的推广应用。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人员在本发明所揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (10)

1.一种基于深度学习的无标志点上肢运动分析方法，其特征在于，包括：
获取使用者在做上肢功能运动时的图像和深度信息；
基于所述图像和深度信息进行逆运动学计算处理，得到上肢运动角度数据；
应用预先训练好的深度学习模型，对所述上肢运动角度数据进行修正，以得到最终的上肢运动学参数。
2.根据权利要求1所述的无标志点上肢运动分析方法，其特征在于，预先进行如下步骤，以得到训练好的深度学习模型：
在受试者进行上肢功能运动任务时，
应用三维运动捕捉分析系统进行运动数据采集及分析，得到第一上肢运动参数数据，
同时应用深度传感器进行运动数据采集并基于采集到的数据进行处理，得到第二上肢运动参数数据；
基于所述第一上肢运动参数数据和第二上肢运动参数数据构建数据集；
基于所述数据集对深度学习模型进行迭代训练，调整优化模型参数，以得到训练好的深度学习模型。
3.根据权利要求2所述的无标志点上肢运动分析方法，其特征在于，所述基于所述数据集对深度学习模型进行迭代训练，调整优化模型参数，具体包括：
对数据集中的数据进行标准化，基于标准化后的训练数据对模型进行迭代训练；其中，在每次迭代训练中，
以深度传感器对应的训练数据作为模型输入数据，计算模型输出数据与三维运动捕捉分析系统对应的训练数据之间的均方误差，根据所述均方误差，采用Adam方法对模型参数进行调整。
4.根据权利要求3所述的无标志点上肢运动分析方法，其特征在于，所述深度学习模型采用预定层数的LSTM网络架构；
模型中每一个LSTM细胞包含预定个数神经单元，模型输入及模型输出为预定步数时间序列。
5.根据权利要求4所述的无标志点上肢运动分析方法，其特征在于，所述预定层数为2至6层，所述预定个数为20-2000个，所述预定步数根据具体任务确定。
6.根据权利要求3所述的无标志点上肢运动分析方法，其特征在于，在迭代训练中，训练批量大小设为10-100，模型的学习率设为0.0001-0.01。
7.根据权利要求2所述的无标志点上肢运动分析方法，其特征在于，
所述深度传感器为Kinect系统传感器，所述应用深度传感器进行运动数据采集并基于采集到的数据进行处理，得到第二上肢运动参数数据，具体为：
采集受试者运动时人体骨架模型节点的三维空间坐标数据；
应用逆运动学算法，基于预先构建的躯干坐标系与上臂坐标系之间的转移矩阵，以及所述三维空间坐标数据计算得到所述第二上肢运动参数数据；
其中，所述第二上肢运动参数数据包括肩关节屈/伸角度、肩关节内收/外展角度、肩关节内旋/外旋角度，以及肘关节屈/伸角度。
8.根据权利要求7所述的无标志点上肢运动分析方法，其特征在于，所述转移矩阵及肘关节屈/伸角度分别如以下表示式所示：
Figure FDA0002399773760000021
Figure FDA0002399773760000022
其中，转移矩阵R(λ,η)的旋转顺序为Z-X-Y，矩阵各元素值基于人体骨架模型的节点三维空间坐标值、采用逆运动学算法计算确定，
αFE表示肩关节屈/伸角度、αAA表示肩关节内收/外展角度、αIE表示肩关节内旋/外旋角度，αEFE表示肘关节屈/伸角度，
VES是肘关节中心到肩关节中心的单位矢量，VWE是从肘关节中心到腕关节中心的单位矢量。
9.根据权利要求1所述的无标志点上肢运动分析方法，其特征在于，所述基于所述图像和深度信息进行逆运动学计算处理，得到上肢运动角度数据，具体包括：
对所述图像和深度信息进行处理分析，得到使用者在运动中的骨架模型三维坐标数据；
根据功能运动任务的开始和结束时刻，截取骨架模型三维空间坐标数据；
将截取的骨架模型三维空间坐标数据重采样到预设时间步；
应用逆运动学算法，基于重采样后的骨架模型三维空间坐标数据进行计算处理，以得到所述上肢运动角度数据。
10.一种上肢运动分析系统，其特征在于，包括，分析处理装置、输出装置以及一台深度传感器；
所述深度传感器，用于获取使用者在做上肢功能运动时的图像和深度信息；
所述分析处理装置，用于根据所述图像和深度信息，执行权利要求1至9中任一项所述的分析方法，分析得到使用者的上肢运动学参数；
所述输出装置，用于对外输出所述使用者的上肢运动学参数。
CN202010143073.1A 2020-03-04 2020-03-04 基于深度学习的无标志点上肢运动分析方法及系统 Active CN111369626B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010143073.1A CN111369626B (zh) 2020-03-04 2020-03-04 基于深度学习的无标志点上肢运动分析方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010143073.1A CN111369626B (zh) 2020-03-04 2020-03-04 基于深度学习的无标志点上肢运动分析方法及系统

Publications (2)

Publication Number Publication Date
CN111369626A true CN111369626A (zh) 2020-07-03
CN111369626B CN111369626B (zh) 2023-05-16

Family

ID=71210234

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010143073.1A Active CN111369626B (zh) 2020-03-04 2020-03-04 基于深度学习的无标志点上肢运动分析方法及系统

Country Status (1)

Country Link
CN (1) CN111369626B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112949031A (zh) * 2021-01-27 2021-06-11 国家体育总局体育科学研究所 上肢动作空间范围推算系统、其构建方法及使用方法
CN112949084A (zh) * 2021-03-25 2021-06-11 中国人民解放军国防科技大学 一种无力反馈的受力动作捕捉误差修正方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109015631A (zh) * 2018-07-03 2018-12-18 南京邮电大学 基于多工作链的拟人机器人实时模仿人体运动的方法
WO2019021058A2 (en) * 2017-07-25 2019-01-31 Mbl Limited SYSTEMS AND METHODS FOR OPERATING A ROBOTIC SYSTEM AND EXECUTING ROBOTIC INTERACTIONS
WO2019028650A1 (zh) * 2017-08-08 2019-02-14 方超 手势采集系统
CN110570455A (zh) * 2019-07-22 2019-12-13 浙江工业大学 一种面向房间vr的全身三维姿态跟踪方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11097418B2 (en) * 2018-01-04 2021-08-24 X Development Llc Grasping of an object by a robot based on grasp strategy determined using machine learning model(s)
CN110046675A (zh) * 2019-04-25 2019-07-23 河北工业大学 一种基于改进的卷积神经网络的下肢运动能力评估方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019021058A2 (en) * 2017-07-25 2019-01-31 Mbl Limited SYSTEMS AND METHODS FOR OPERATING A ROBOTIC SYSTEM AND EXECUTING ROBOTIC INTERACTIONS
WO2019028650A1 (zh) * 2017-08-08 2019-02-14 方超 手势采集系统
CN109015631A (zh) * 2018-07-03 2018-12-18 南京邮电大学 基于多工作链的拟人机器人实时模仿人体运动的方法
CN110570455A (zh) * 2019-07-22 2019-12-13 浙江工业大学 一种面向房间vr的全身三维姿态跟踪方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ABOBAKR AHMED: "\"RGB-D human posture analysis for ergonomie studies using deep convolutional neural network\"" *
瞿畅: ""体感控制的上肢外骨骼镜像康复机器人系统"" *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112949031A (zh) * 2021-01-27 2021-06-11 国家体育总局体育科学研究所 上肢动作空间范围推算系统、其构建方法及使用方法
CN112949031B (zh) * 2021-01-27 2023-05-12 国家体育总局体育科学研究所 上肢动作空间范围推算系统、其构建方法及使用方法
CN112949084A (zh) * 2021-03-25 2021-06-11 中国人民解放军国防科技大学 一种无力反馈的受力动作捕捉误差修正方法
CN112949084B (zh) * 2021-03-25 2023-04-25 中国人民解放军国防科技大学 一种无力反馈的受力动作捕捉误差修正方法

Also Published As

Publication number Publication date
CN111369626B (zh) 2023-05-16

Similar Documents

Publication Publication Date Title
Slade et al. An open-source and wearable system for measuring 3D human motion in real-time
Sers et al. Validity of the Perception Neuron inertial motion capture system for upper body motion analysis
Yahya et al. Motion capture sensing techniques used in human upper limb motion: A review
CN102567638B (zh) 一种基于微型传感器的交互式上肢康复系统
CN203149575U (zh) 一种基于微型传感器的交互式上肢康复设备
CN104700433A (zh) 一种基于视觉的实时人体全身体运动捕捉方法及其系统
CN109243575B (zh) 一种基于移动交互和增强现实的虚拟针灸方法及系统
CN104274183A (zh) 动作信息处理装置
CN107115102A (zh) 一种骨关节功能评估方法与装置
Surer et al. Methods and technologies for gait analysis
Wei et al. Real-time 3D arm motion tracking using the 6-axis IMU sensor of a smartwatch
CN111369626B (zh) 基于深度学习的无标志点上肢运动分析方法及系统
Wei et al. Real-time limb motion tracking with a single imu sensor for physical therapy exercises
Liu et al. A new IMMU-based data glove for hand motion capture with optimized sensor layout
CN111401340B (zh) 目标对象的运动检测方法和装置
CN110502107A (zh) 可穿戴实时动作指导系统和方法
Panariello et al. Evaluation of human joint angles in industrial tasks using OpenSim
Cotton Kinematic tracking of rehabilitation patients with markerless pose estimation fused with wearable inertial sensors
García-de-Villa et al. Inertial sensors for human motion analysis: A comprehensive review
Lin et al. Using hybrid sensoring method for motion capture in volleyball techniques training
CN110675936B (zh) 一种基于OpenPose和双目视觉的健体代偿评估方法和系统
CN114974506B (zh) 人体姿态数据处理方法及系统
Hwang et al. A novel end-effector robot system enabling to monitor upper-extremity posture during robot-aided planar reaching movements
WO2019152566A1 (en) Systems and methods for subject specific kinematic mapping
Lueken et al. Using synthesized imu data to train a long-short term memory-based neural network for unobtrusive gait analysis with a sparse sensor setup

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20230825

Address after: National Overseas Talent Offshore Innovation and Entrepreneurship Base 312, No. 2 Wanshou Road, Shizhong District, Jinan City, Shandong Province, 250003

Patentee after: Shandong Perui Medical Technology Co.,Ltd.

Patentee after: Geng Haokun

Address before: Room 4004, Unit 2, Building 5, Yundi, Guanlan Times International Garden, Jianggan District, Hangzhou City, Zhejiang Province, 310000

Patentee before: Liu Dongwei

TR01 Transfer of patent right