CN116071827A - 一种康复运动评估方法、装置、电子设备及存储介质 - Google Patents

一种康复运动评估方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN116071827A
CN116071827A CN202310158119.0A CN202310158119A CN116071827A CN 116071827 A CN116071827 A CN 116071827A CN 202310158119 A CN202310158119 A CN 202310158119A CN 116071827 A CN116071827 A CN 116071827A
Authority
CN
China
Prior art keywords
rehabilitation
action
model
detected
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310158119.0A
Other languages
English (en)
Inventor
程洪
何天
王滔
胡德昆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Buffalo Robot Technology Chengdu Co ltd
Original Assignee
Buffalo Robot Technology Chengdu Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Buffalo Robot Technology Chengdu Co ltd filed Critical Buffalo Robot Technology Chengdu Co ltd
Priority to CN202310158119.0A priority Critical patent/CN116071827A/zh
Publication of CN116071827A publication Critical patent/CN116071827A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Social Psychology (AREA)
  • Multimedia (AREA)
  • Psychiatry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明实施例提出一种康复运动评估方法、装置、电子设备及存储介质，该方法包括：根据待测康复动作视频生成待测骨骼点坐标时间序列；将待测骨骼点坐标时间序列输入至预先训练好的动作评估模型中，得到患者的康复动作评分；其中，动作评估模型基于知识专家构建的邻接矩阵、注意力机制、分类训练和评估训练生成；根据康复动作评分生成指导反馈信息。该方法能够适应不同患者之间的不同，对康复运动进行准确评估，更解决了患者在没有专家的情况下进行练习时无法获得对规定锻炼的充分指导和评估的问题。

Description

一种康复运动评估方法、装置、电子设备及存储介质
技术领域
本发明涉及智能学习技术领域，具体而言，涉及一种康复运动评估方法、装置、电子设备及存储介质。
背景技术
康复训练指患者通过训练，进行有助于改善或恢复身体机能的活动。专业治疗师会给患者开运动处方，让患者进行特定的锻炼以康复不同疾病（例如中风、帕金森病、背痛等）。
当患者在没有专家（例如医生/治疗师）的情况下进行康复训练时，无法评估患者康复动作的正确性，因而无法获得对规定锻炼的充分指导和评估。同时，不正确、不规范的康复运动往往治疗效果较低，甚至会导致更严重的损伤，因此人们对于自动康复动作评估方法的需求十分迫切。
发明内容
本发明的目的在于提供一种康复运动评估方法、装置、电子设备及存储介质，其能够适应不同患者之间的不同，对康复运动进行准确评估。
为了实现上述目的，本发明实施例采用的技术方案如下：
第一方面，本发明实施例提供了一种康复运动评估方法，其特征在于，所述方法包括：
根据待测康复动作视频生成待测骨骼点坐标时间序列；
将所述待测骨骼点坐标时间序列输入至预先训练好的动作评估模型中，得到患者的康复动作评分；其中，所述动作评估模型基于知识专家构建的邻接矩阵、注意力机制、分类训练和评估训练生成；
根据所述康复动作评分生成指导反馈信息。
进一步地，所述动作评估模型基于知识专家构建的邻接矩阵和注意力机制生成包括：
将所述知识专家构建的邻接矩阵与初始动作评估模型的邻接矩阵相结合，得到第一中间动作评估模型；
将所述第一中间动作评估模型与所述注意力机制进行融合，得到第二中间动作评估模型；
对所述第二中间动作评估模型进行分类训练，得到第三中间动作评估模型；
利用康复运动评估数据集对所述第三中间动作评估模型进行评估训练和验证，得到所述动作评估模型；其中，所述康复运动评估数据集为知识专家对多个训练康复动作视频的评分。
进一步地，所述第一中间动作评估模型在时间t时刻，层的更新公式如下：
；
其中，代表所述知识专家构建的邻接矩阵的个数；为非线性激活函数；代表对所述知识专家构建的邻接矩阵和所述初始动作评估模型的邻接矩阵进行归一化；代表所述初始动作评估模型的邻接矩阵；Ak代表所述知识专家构建的邻接矩阵；代表在时间t时刻，层的更新公式；为层的可训练参数。
进一步地，所述第二中间动作评估模型的公式如下：
；
其中，代表所述知识专家构建的邻接矩阵的个数；ak代表权重；代表述第一中间动作评估模型的输出特征。
进一步地，所述对所述第二中间动作评估模型进行分类训练，得到第三中间动作评估模型包括：
基于第一损失函数对所述第二中间动作评估模型进行参数更新，得到所述第三中间动作评估模型；其中，所述第一损失函数公式如下：
；
其中，为专家关注重点；代表所述知识专家构建的邻接矩阵的个数；ak代表权重。
进一步地，所述方法还包括：
对所述待测骨骼点坐标时间序列进行滤波处理，得到滤波后的待测骨骼点坐标时间序列。
进一步地，所述方法还包括：
对所述滤波后的待测骨骼点坐标时间序列进行等间隔采样处理。
第二方面，本发明实施例还提供了一种康复运动评估装置，所述装置包括：
时间序列生成模块，用于根据待测康复动作视频生成待测骨骼点坐标时间序列；
评分模块，用于将所述待测骨骼点坐标时间序列输入至预先训练好的动作评估模型中，得到患者的康复动作评分；其中，所述动作评估模型基于知识专家构建的邻接矩阵、注意力机制、分类训练和评估训练生成；
指导反馈生成模块，用于根据所述康复动作评分生成指导反馈信息。
第三方面，本发明实施例还提供了一种电子设备，包括存储器、以及一个或多个处理器，所述存储器用于存储一个或多个程序；所述一个或多个程序被所述一个或多个处理器执行时，实现如第一方面所述的方法。
第四方面，本发明实施例还提供了一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述方法的步骤。
本发明实施例提供的康复运动评估方法、装置、电子设备及存储介质，该方法包括：根据待测康复动作视频生成待测骨骼点坐标时间序列；将待测骨骼点坐标时间序列输入至预先训练好的动作评估模型中，得到患者的康复动作评分；其中，动作评估模型基于知识专家构建的邻接矩阵、注意力机制、分类训练和评估训练生成；根据康复动作评分生成指导反馈信息。通过专家知识根据不同的康复动作要求，人为设置骨骼点邻接矩阵，使模型能更好的提取康复运动的时空特征；引入注意力机制可高效融合时空特征；使得该方法能够适应不同患者之间的不同，对康复运动进行准确评估，更解决了患者在没有专家的情况下进行练习时无法获得对规定锻炼的充分指导和评估的问题。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本发明实施例提供的一种电子设备的结构示意图；
图2示出了本发明实施例提供的一种康复运动评估方法的流程示意图；
图3示出了本发明实施例提供的一种动作评估模型的训练示意图；
图4示出了本发明实施例提供的另一种康复运动评估方法的流程示意图；
图5示出了本发明实施例提供的一种康复运动评估装置的结构框图。
附图标号：100-电子设备；101-存储器；102-处理器；103-通信接口；300-康复运动评估装置；301-时间序列生成模块；302-评分模块；303-指导反馈生成模块；304-模型训练模块。
具体实施方式
下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
请参照图1，为本申请实施例提供的一种电子设备100的结构示意图，该电子设备100包括存储器101、处理器102和通信接口103。该存储器101、处理器102和通信接口103相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。存储器101可用于存储软件程序及模块，如本申请实施例所提供的康复运动评估方法对应的程序指令/模块，处理器102通过执行存储在存储器101内的软件程序及模块，从而执行各种功能应用以及数据处理。该通信接口103可用于与节点设备300和客户端200进行信令或数据的通信。在本申请中该电子设备100可以具有多个通信接口103。
其中，存储器101可以是但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。
处理器102可以是一种集成电路芯片，具有信号处理能力。该处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(Digital Signal Processing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
在本实施例中，还提供一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现康复运动评估方法的步骤。
下面在图1示出的电子设备100的基础上，本申请实施例提供一种康复运动评估方法，请参见图2，图2为本申请实施例提供的一种康复运动评估方法的流程示意图，该康复运动评估方法可以包括以下步骤：
S201，根据待测康复动作视频生成待测骨骼点坐标时间序列。
康复动作视频的获取原理为：在电子设备100上配置图像采集设备相关的软件开发工具包（Azeure Kinect for windows sdk），包含图像采集设备的驱动与接口程序。硬件需要连接并固定Azure Kinect（图像采集设备），使用户距离图像采集设备0.5-3米；通过Azure Kinect 采集用户进行康复运动的视频。
待测康复动作视频可以为实时采集的RGB-D视频，利用Azure Kinect DK将康复动作视频转换为骨骼点坐标时间序列。
S202，将待测骨骼点坐标时间序列输入至预先训练好的动作评估模型中，得到患者的康复动作评分。
其中，动作评估模型基于知识专家构建的邻接矩阵、注意力机制、分类训练和评估训练生成。
如图3所示，动作评估模型的训练原理为：将知识专家构建的邻接矩阵与初始动作评估模型的邻接矩阵相结合，得到第一中间动作评估模型；将第一中间动作评估模型与注意力机制进行融合，得到第二中间动作评估模型；对第二中间动作评估模型进行分类训练，得到第三中间动作评估模型；利用康复运动评估数据集对第三中间动作评估模型进行评估训练和验证，得到动作评估模型；其中，康复运动评估数据集为知识专家对多个训练康复动作视频的评分。
在本实施例中，在进行动作评估模型训练过程中，采用图像采集设备采集多个训练康复动作视频，并将训练康复动作视频生成训练骨骼点坐标时间序列。将训练骨骼点坐标时间序列作为输入，输入至初始动作评估模型。
初始动作评估模型可以为ST-GCN（时空图卷积网络）模型。在初始动作评估模型中，训练骨骼点坐标时间序列为输入X，知识专家构建的邻接矩阵为A，则在时间时刻，层的更新公式如下：
；
其中，为非线性激活函数；代表对知识专家构建的邻接矩阵进行归一化；代表初始动作评估模型的邻接矩阵；=A+I，代表初始动作评估模型的邻接矩阵与自身链接之和；代表在时间t时刻，层的更新公式；为层的可训练参数。
为了更好提取康复运动的时空特征，通过专家知识，根据不同的康复动作要求，人为设置骨骼点邻接矩阵Ak，k的个数由专家知识与康复运动评估数据集本身决定。例如，需要获得上肢、躯干和下肢对应的骨骼点特征，则通过专家知识构建上肢骨骼点邻接矩阵、躯干骨骼点邻接矩阵和下肢骨骼点邻接矩阵，此时k的个数为3；将初始动作评估模型的邻接矩阵与上肢骨骼点邻接矩阵、躯干骨骼点邻接矩阵和下肢骨骼点邻接矩阵相结合，就能得到第一中间动作评估模型，第一中间动作评估模型的输出三项输出特征，分别对应上肢、躯干和下肢的骨骼点特征；即第一中间动作评估模型的k项输出特征分别对应不同康复动作的骨骼点特征。
第一中间动作评估模型在时间t时刻，层的更新公式如下：
；
其中，代表知识专家构建的邻接矩阵的个数；为非线性激活函数；代表对知识专家构建的邻接矩阵和初始动作评估模型的邻接矩阵进行归一化；代表初始动作评估模型的邻接矩阵；Ak代表知识专家构建的邻接矩阵；代表在时间t时刻，层的更新公式；为层的可训练参数。
由于第一中间动作评估模型的输出为k项输出特征，而在进行康复运动评估时，是一项一项的进行动作评估，故需要进行特征融合。本实施例中，将第一中间动作评估模型与注意力机制进行融合，得到第二中间动作评估模型，第二中间动作评估模型的输出为一项输出特征。第二中间动作评估模型可以为ST-AGCN模型。
在本实施例中，注意力机制可以采用门控注意力机制（Gated attentionmechanism），将第一中间动作评估模型输出的k项输出特征进行融合。第二中间动作评估模型的公式如下：
；
其中，代表知识专家构建的邻接矩阵的个数；ak代表权重，即患者在康复运动中应关注的运动细节；代表第一中间动作评估模型的输出特征。
ak由以下公式计算得到：
；
其中，、、为需要进行训练的模型参数，、分别为非线性激活函数。
为了强调向量的表征特征，直接利用向量对康复运动进行关注重点分类，基于第一损失函数对第二中间动作评估模型进行参数更新，得到第三中间动作评估模型。第三中间动作评估模型可以为P-STAGGN模型。
即在患者进行康复运动时，模型并不知道患者做的什么动作，故通过分类学习使得模型知道患者做的什么动作，将患者所做动作对应的权重调节至最大；将第二中间模型的分类结果与专家对该运动的关注重点进行比较计算，对第二中间模型参数进行更新，提高模型收敛速度。
第一损失函数可以采用交叉熵损失函数，其公式如下：
；
其中，为第一损失函数；为专家关注重点；代表所述知识专家构建的邻接矩阵的个数；ak代表权重。
在经过分类训练后，利用康复运动评估数据集对所述第三中间动作评估模型进行评估训练和验证，得到动作评估模型。
在本实施例中，第三中间动作评估模型与动作评估模型相似，在第三中间动作评估模型的基础上增设多层感知机，以构成最终的动作评估模型。
最终的动作评估模型的公式如下：
；
其中，代表第层的可训练参数，代表矩阵形式的输入，代表层的偏置，σ代表relu激活函数，代表向量形式的输出。
最终的动作评估模型也可以采用交叉熵损失函数，定义为Loss，公式如下：
。
在训练过程中，将康复运动评估数据集分为训练集与验证集，采用训练集对第三中间动作评估模型进行训练，采用验证集对第三中间动作评估模型模型进行验证，在验证过程中，选取在验证损失函数值最小的模型为最终的动作评估模型。
康复运动评估数据集的获取原理为：通过知识专家对训练康复动作视频的观看，分析训练康复动作视频，对训练康复动作视频进行打分，评分为0-5分，0分代表动作完全不标准，5分代表动作非常标准；根据训练康复动作视频的评分，为对应的训练骨骼点坐标时间序列打上标签，进而构建康复运动评估数据集。
在本实施例中，动作评估模型的输出不仅可以为康复动作评分，还可以为评分等级，可以设置为0-5的评分等级。
S203，根据所述康复动作评分生成指导反馈信息。
如图4所示，为了减少图像采集设备采集康复动作视频时产生的噪声抖动，在待测骨骼点坐标时间序列输入动作评估模型之前，本实施例的康复运动评估方法还包括以下步骤：
S204，对待测骨骼点坐标时间序列进行滤波处理，得到滤波后的待测骨骼点坐标时间序列。
在本实施例中，可以采用卡尔曼滤波对待测骨骼点坐标时间序列进行滤波处理。
卡尔曼滤波的工作原理为：对需要进行处理的关节点，定义t时刻卡尔曼滤波器的系统状态向量X和系统状态的观察向量Z：
；
；
其中， 和为需要处理的关节点三维坐标,和为关节点中心速度。
卡尔曼滤波的系统方程与观测方程则为：
；
其中，A为状态矩阵，C为驱动矩阵，H表示为状态变换到测量的转换矩阵，为过程噪声，为观测噪声。
利用系统t时刻的状态值，代入方程模型，可预测t+1和t-1时刻的状态值。对t、t+1和t-1时刻的状态值求平均，以提高测量所需的关节点坐标的精度。
为了降低模型的复杂度与计算量，在待测骨骼点坐标时间序列输入动作评估模型之前，请继续参照图4，本实施例的康复运动评估方法还包括以下步骤：
S205，对所述滤波后的待测骨骼点坐标时间序列进行等间隔采样处理。
在本实施例中，等间隔长度可以设置为3秒钟，针对不同的康复动作，等间隔的时间长度有所不同，可根据康复动作的种类和要求进行设置。
为了实现上述S201～S205及其可能的子步骤对应的康复运动评估方法，本申请实施例提供一种康复运动评估装置，请参见图5，图5为本申请实施例提供的一种康复运动评估装置的方框示意图，该康复运动评估装置300包括：时间序列生成模块301、评分模块302、指导反馈生成模块303和模型训练模块304。
时间序列生成模块301，用于根据待测康复动作视频生成待测骨骼点坐标时间序列；
评分模块302，用于将待测骨骼点坐标时间序列输入至预先训练好的动作评估模型中，得到患者的康复动作评分。
指导反馈生成模块303，用于根据康复动作评分生成指导反馈信息。
模型训练模块304，用于基于知识专家构建的邻接矩阵、注意力机制、分类训练和评估训练生成动作评估模型。
应理解，时间序列生成模块301、评分模块302、指导反馈生成模块303和模型训练模块304可以协同实现上述S201～S205及其可能的子步骤。
综上，本申请提供了一种康复运动评估方法、装置、电子设备及存储介质，该方法包括：根据待测康复动作视频生成待测骨骼点坐标时间序列；将待测骨骼点坐标时间序列输入至预先训练好的动作评估模型中，得到患者的康复动作评分；其中，动作评估模型基于知识专家构建的邻接矩阵、注意力机制、分类训练和评估训练生成；根据康复动作评分生成指导反馈信息。通过专家知识根据不同的康复动作要求，人为设置骨骼点邻接矩阵，使模型能更好的提取康复运动的时空特征；引入注意力机制可高效融合时空特征；使得该方法能够适应不同患者之间的不同，对康复运动进行准确评估，更解决了患者在没有专家的情况下进行练习时无法获得对规定锻炼的充分指导和评估的问题。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

Claims (10)

1.一种康复运动评估方法，其特征在于，所述方法包括：
根据待测康复动作视频生成待测骨骼点坐标时间序列；
将所述待测骨骼点坐标时间序列输入至预先训练好的动作评估模型中，得到患者的康复动作评分；其中，所述动作评估模型基于知识专家构建的邻接矩阵、注意力机制、分类训练和评估训练生成；
根据所述康复动作评分生成指导反馈信息。
2.如权利要求1所述的康复运动评估方法，其特征在于，所述动作评估模型基于知识专家构建的邻接矩阵和注意力机制生成包括：
将所述知识专家构建的邻接矩阵与初始动作评估模型的邻接矩阵相结合，得到第一中间动作评估模型；
将所述第一中间动作评估模型与所述注意力机制进行融合，得到第二中间动作评估模型；
对所述第二中间动作评估模型进行分类训练，得到第三中间动作评估模型；
利用康复运动评估数据集对所述第三中间动作评估模型进行评估训练和验证，得到所述动作评估模型；其中，所述康复运动评估数据集为知识专家对多个训练康复动作视频的评分。
3.如权利要求2所述的康复运动评估方法，其特征在于，所述第一中间动作评估模型在时间t时刻,层的更新公式如下：
；
其中，代表所述知识专家构建的邻接矩阵的个数；为非线性激活函数；代表对所述知识专家构建的邻接矩阵和所述初始动作评估模型的邻接矩阵进行归一化；代表所述初始动作评估模型的邻接矩阵；Ak代表所述知识专家构建的邻接矩阵；代表在时间t时刻，层的更新公式；为层的可训练参数。
4.如权利要求2所述的康复运动评估方法，其特征在于，所述第二中间动作评估模型的公式如下：
；
其中，代表所述知识专家构建的邻接矩阵的个数；ak代表权重；代表述第一中间动作评估模型的输出特征。
5.如权利要求2所述的康复运动评估方法，其特征在于，所述对所述第二中间动作评估模型进行分类训练，得到第三中间动作评估模型包括：
基于第一损失函数对所述第二中间动作评估模型进行参数更新，得到所述第三中间动作评估模型；其中，所述第一损失函数公式如下：
；
其中，为专家关注重点；代表所述知识专家构建的邻接矩阵的个数；ak代表权重。
6.如权利要求1所述的康复运动评估方法，其特征在于，所述方法还包括：
对所述待测骨骼点坐标时间序列进行滤波处理，得到滤波后的待测骨骼点坐标时间序列。
7.如权利要求6所述的康复运动评估方法，其特征在于，所述方法还包括：
对所述滤波后的待测骨骼点坐标时间序列进行等间隔采样处理。
8.一种康复运动评估装置，其特征在于，所述装置包括：
时间序列生成模块，用于根据待测康复动作视频生成待测骨骼点坐标时间序列；
评分模块，用于将所述待测骨骼点坐标时间序列输入至预先训练好的动作评估模型中，得到患者的康复动作评分；其中，所述动作评估模型基于知识专家构建的邻接矩阵、注意力机制、分类训练和评估训练生成；
指导反馈生成模块，用于根据所述康复动作评分生成指导反馈信息。
9.一种电子设备，其特征在于，包括存储器、以及一个或多个处理器，所述存储器用于存储一个或多个程序；所述一个或多个程序被所述一个或多个处理器执行时，实现如权利要求1至7任意一项所述的方法。
10.一种计算机存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任意一项所述方法的步骤。
CN202310158119.0A 2023-02-23 2023-02-23 一种康复运动评估方法、装置、电子设备及存储介质 Pending CN116071827A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310158119.0A CN116071827A (zh) 2023-02-23 2023-02-23 一种康复运动评估方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310158119.0A CN116071827A (zh) 2023-02-23 2023-02-23 一种康复运动评估方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN116071827A true CN116071827A (zh) 2023-05-05

Family

ID=86183606

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310158119.0A Pending CN116071827A (zh) 2023-02-23 2023-02-23 一种康复运动评估方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN116071827A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117357103A (zh) * 2023-12-07 2024-01-09 山东财经大学 一种基于cv的肢体运动训练指导方法及系统
CN118016326A (zh) * 2024-04-09 2024-05-10 吉林大学 基于互联网的患者护理智能随访系统及方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117357103A (zh) * 2023-12-07 2024-01-09 山东财经大学 一种基于cv的肢体运动训练指导方法及系统
CN117357103B (zh) * 2023-12-07 2024-03-19 山东财经大学 一种基于cv的肢体运动训练指导方法及系统
CN118016326A (zh) * 2024-04-09 2024-05-10 吉林大学 基于互联网的患者护理智能随访系统及方法
CN118016326B (zh) * 2024-04-09 2024-05-31 吉林大学 基于互联网的患者护理智能随访系统及方法

Similar Documents

Publication Publication Date Title
CN116071827A (zh) 一种康复运动评估方法、装置、电子设备及存储介质
US11763603B2 (en) Physical activity quantification and monitoring
CN111274998B (zh) 帕金森病手指敲击动作识别方法及系统、存储介质及终端
CN111476097A (zh) 人体姿态评估方法、装置、计算机设备及存储介质
CN110478883B (zh) 一种健身动作教学及矫正系统及方法
CN110633004B (zh) 基于人体姿态估计的交互方法、装置和系统
CN112434679B (zh) 康复运动的评估方法及装置、设备、存储介质
CN112668531A (zh) 一种基于动作识别的运动姿态矫正方法
Wu et al. Incorporating motion analysis technology into modular arrangement of predetermined time standard (MODAPTS)
CN112288766B (zh) 运动评估方法、装置、系统及存储介质
CN112597814A (zh) 一种基于改进的Openpose课堂多人异常行为及口罩佩戴检测方法
Zhang et al. Recognizing ping-pong motions using inertial data based on machine learning classification algorithms
WO2021217937A1 (zh) 姿态识别模型的训练方法及设备、姿态识别方法及其设备
Zeng et al. Gait recognition across different walking speeds via deterministic learning
Ma et al. Human motion gesture recognition based on computer vision
CN113392743B (zh) 异常动作检测方法、装置、电子设备和计算机存储介质
Ray et al. Pressim: An end-to-end framework for dynamic ground pressure profile generation from monocular videos using physics-based 3d simulation
CN115238909A (zh) 一种基于联邦学习的数据价值评估方法及其相关设备
Chowdhury et al. Assessment of rehabilitation exercises from depth sensor data
CN109858031A (zh) 神经网络模型训练、上下文预测方法及装置
Du The computer vision simulation of athlete’s wrong actions recognition model based on artificial intelligence
Chu et al. Sign Language Action Recognition System Based on Deep Learning
CN117238026B (zh) 一种基于骨骼和图像特征的姿态重建交互行为理解方法
JP6659011B2 (ja) 検索システム、データ収集装置および検索プログラム
CN115813377B (zh) 一种智能姿势评估方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination