CN116784837A - 一种上肢运动障碍评估方法及装置 - Google Patents
一种上肢运动障碍评估方法及装置 Download PDFInfo
- Publication number
- CN116784837A CN116784837A CN202310988435.0A CN202310988435A CN116784837A CN 116784837 A CN116784837 A CN 116784837A CN 202310988435 A CN202310988435 A CN 202310988435A CN 116784837 A CN116784837 A CN 116784837A
- Authority
- CN
- China
- Prior art keywords
- hand
- information
- gesture
- processing
- upper limb
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000001364 upper extremity Anatomy 0.000 title claims abstract description 81
- 208000012661 Dyskinesia Diseases 0.000 title claims abstract description 53
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000012545 processing Methods 0.000 claims abstract description 99
- 238000005259 measurement Methods 0.000 claims abstract description 68
- 238000000605 extraction Methods 0.000 claims abstract description 41
- 230000004927 fusion Effects 0.000 claims abstract description 37
- 239000011159 matrix material Substances 0.000 claims description 32
- 208000016285 Movement disease Diseases 0.000 claims description 26
- 238000011176 pooling Methods 0.000 claims description 21
- 238000010586 diagram Methods 0.000 claims description 19
- 230000002457 bidirectional effect Effects 0.000 claims description 13
- 230000000007 visual effect Effects 0.000 claims description 12
- 230000003287 optical effect Effects 0.000 claims description 10
- 230000004931 aggregating effect Effects 0.000 claims description 9
- 238000011156 evaluation Methods 0.000 claims description 6
- 210000000707 wrist Anatomy 0.000 claims description 5
- 210000003414 extremity Anatomy 0.000 claims description 4
- 201000010099 disease Diseases 0.000 abstract description 8
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 abstract description 8
- 239000013598 vector Substances 0.000 description 29
- 230000033001 locomotion Effects 0.000 description 7
- 238000003745 diagnosis Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000007405 data analysis Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000010219 correlation analysis Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000007659 motor function Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 208000012902 Nervous system disease Diseases 0.000 description 1
- 208000025966 Neurological disease Diseases 0.000 description 1
- 208000018737 Parkinson disease Diseases 0.000 description 1
- 208000006011 Stroke Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000005057 finger movement Effects 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 210000002478 hand joint Anatomy 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 208000020431 spinal cord injury Diseases 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种上肢运动障碍评估方法及装置，该方法包括：对头戴式设备获取的图像信息进行处理得到手势识别结果；利用预设的第一特征提取模型对彩色图像信息进行处理，得到彩色图像特征信息；利用预设的第二特征提取模型对惯性测量数据信息进行处理，得到惯性测量特征信息；对彩色图像特征信息和惯性测量特征信息进行特征融合得到融合特征信息；对融合特征信息进行处理得到手部2D姿态估计结果；对手部2D姿态估计结果进行处理得到手部3D姿态估计结果；对手势识别结果和手部3D姿态估计结果进行融合得到手势估计结果；将手势估计结果上传到云端。本发明对疾病引起的上肢运动障碍的诊断和复建具有重要意义。
Description
技术领域
本发明涉及人机交互、计算机视觉技术领域，尤其涉及一种上肢运动障碍评估方法及装置。
背景技术
上肢运动障碍是一种常见的神经系统疾病，由多种原因引起，如中风、帕金森病、脊髓损伤等。该疾病导致患者的上肢运动功能受损，对他们的日常生活和工作能力造成了严重影响。因此，准确评估和监测上肢运动障碍的程度，对于制定合理的康复治疗计划至关重要。
传统的上肢运动障碍评估方法主要基于医生的主观观察和患者的自我报告，这种方法存在主观性强、结果不一致等问题。另外，一些现有的评估装置仅能提供局部信息，无法全面、客观地评估患者的上肢运动功能。
目前已有一些研究涉及手势识别、图像处理和姿态估计等领域。一些研究利用深度学习算法和图像处理技术，实现了对手势的自动识别。其他研究则利用惯性测量单元(IMU)采集手部的加速度和角速度信息，实现了手部姿态的估计。然而，这些方法存在一些局限性，如精度不高、信息不全面等问题。
因此，需要一种新的上肢运动障碍评估方法及装置，能够克服现有技术的不足，并能提供准确、全面的上肢运动障碍评估结果。
发明内容
本发明的目的是提供一种上肢运动障碍评估方法及装置，通过头戴式设备获取图像信息和惯性测量数据信息，并利用预设的特征提取模型对其进行处理，得到彩色图像特征信息和惯性测量特征信息。然后，将这些特征信息进行融合和处理，得到手部2D和3D姿态估计结果，从而实现对上肢运动障碍的准确评估，并对指尖运动轨迹进行数据分析，最后进行量化评分并记录分数。本发明的优点包括：准确性高、信息全面、操作方便等。该方法和装置可以被广泛应用于医疗机构、康复中心等场所，为医务人员提供准确的诊断和治疗工具，提高上肢运动障碍患者的康复效果和生活质量。
为了解决上述技术问题，本发明实施例第一方面公开了一种上肢运动障碍评估方法，所述方法包括：
S1，获取上肢运动障碍评估数据信息，所述上肢运动障碍评估数据信息包括头戴式设备获取的图像信息和数据手套获取的惯性测量数据信息；
所述头戴式设备获取的图像信息，包括深度图像信息和彩色图像信息；
S2，对所述头戴式设备获取的图像信息进行处理，得到手势识别结果；
S3，利用预设的第一特征提取模型，对所述彩色图像信息进行处理，得到彩色图像特征信息；
S4，利用预设的第二特征提取模型，对所述惯性测量数据信息进行处理，得到惯性测量特征信息；
所述第二特征提取模型包括4个卷积层和1个双向LSTM循环层；
S5，对所述彩色图像特征信息和所述惯性测量特征信息进行特征融合，得到融合特征信息；
S6，对所述融合特征信息进行处理，得到手部2D姿态估计结果；
S7，对所述手部2D姿态估计结果进行处理，得到手部3D姿态估计结果；
S8，对所述手势识别结果和所述手部3D姿态估计结果进行融合，得到手势估计结果；
S9，将所述手势估计结果上传到云端。
作为一种可选的实施方式，在本发明实施例第一方面中，所述获取上肢运动障碍评估数据信息，包括：
S11，利用头戴式设备前方的双目深度相机，获取以所述双目深度相机为顶点的锥体范围内被测物体的两幅图像；
S12，对所述锥体范围内被测物体的两幅图像进行处理，得到深度图像信息；
S13，利用头戴式设备两侧的广角相机，根据光学原理获取彩色图像信息；
所述深度图像信息和彩色图像信息为头戴式设备获取的图像信息；
S14，使用手部的数据手套中的惯性测量单元获取惯性测量数据信息；
所述头戴式设备获取的图像信息和所述惯性测量数据信息为肢运动障碍评估数据信息。
作为一种可选的实施方式，在本发明实施例第一方面中，所述对所述头戴式设备获取的图像信息进行处理，得到手势识别结果，包括：
S21，当手部出现在所述双目深度相机的锥形范围内时，对所述深度图像信息进行处理，得到深度相机的手势识别结果；
所述深度相机的手势识别结果为手部21个关节点的3D坐标信息；
S22，当手部出现在所述广角相机的范围内时，对所述彩色图像信息进行处理，得到手部21个关节点的2D坐标信息；
S23，对所述手部21个关节点的2D坐标信息进行处理，得到广角相机的手势识别结果；
S24，当手部出现在所述广角相机与所述双目深度相机的视野重合范围内时，对所述深度相机的手势识别结果和所述广角相机的手势识别结果进行融合，得到手势识别结果。
作为一种可选的实施方式，在本发明实施例第一方面中，所述手部21个关节点为手部骨架的关节点；
所述手部骨架的关节点用21个3D关键点来描述，包括每根手指的三个指节和指尖4个3D关键点及手腕处的一个3D关键点；
每个3D关键点有3个自由度，输出维度是21×3。
作为一种可选的实施方式，在本发明实施例第一方面中，所述利用预设的第二特征提取模型，对所述惯性测量数据信息进行处理，得到惯性测量特征信息，包括：
利用所述第二特征提取模型的4个卷积层，对所述惯性测量数据信息进行处理，得到第一特征信息；
利用所述第二特征提取模型的1个双向LSTM循环层，对所述第一特征信息进行处理，得到惯性测量特征信息。
作为一种可选的实施方式，在本发明实施例第一方面中，所述对所述融合特征信息进行处理，得到手部2D姿态估计结果，包括：
S61，利用预设的手部2D姿态估计模型的第一层图卷积，对所述融合特征信息进行处理，得到第一特征矩阵；
S62，利用预设的手部2D姿态估计模型的第二层图卷积，对所述第一特征矩阵进行处理，得到第二特征矩阵；
所述第二特征矩阵为手部2D姿态估计结果。
作为一种可选的实施方式，在本发明实施例第一方面中，所述对所述手部2D姿态估计结果进行处理，得到手部3D姿态估计结果，包括：
利用预设的手部3D姿态估计网络模型，对所述手部2D姿态估计结果进行处理，得到手部3D姿态估计结果；
所述手部3D姿态估计网络模型，包括图嵌入层、编码器和解码器；
所述图嵌入层的输出结果输入所述编码器；
所述编码器的输出结果输入所述解码器；
所述编码器包括两个编码块，每个编码块包括一个图池化层和一个第一图卷积层；
所述图池化层，用于减小图的尺寸以编码更高阶的特征，所述第一图卷积层用于从每个节点的一阶信息中聚合图结构中的拓扑信息；
所述解码器包括两个解码块，每个解码块包括一个图反池化层和一个第二图卷积层；
所述图反池化层用于将图恢复成高分辨率的数据结构；
所述第二图卷积层用于聚合来自邻居节点的信息。
本发明实施例第二方面公开了一种上肢运动障碍评估装置，所述装置包括：
数据获取模块，用于获取上肢运动障碍评估数据信息，所述上肢运动障碍评估数据信息包括头戴式设备获取的图像信息和数据手套获取的惯性测量数据信息；
所述头戴式设备获取的图像信息，包括深度图像信息和彩色图像信息；
手势识别模块，用于对所述头戴式设备获取的图像信息进行处理，得到手势识别结果；
彩色图像特征提取模块，用于利用预设的第一特征提取模型，对所述彩色图像信息进行处理，得到彩色图像特征信息；
惯性测量特征提起模块，用于利用预设的第二特征提取模型，对所述惯性测量数据信息进行处理，得到惯性测量特征信息；
所述第二特征提取模型包括4个卷积层和1个双向LSTM循环层；
特征融合模块，用于对所述彩色图像特征信息和所述惯性测量特征信息进行特征融合，得到融合特征信息；
手部2D姿态估计模块，用于对所述融合特征信息进行处理，得到手部2D姿态估计结果；
手部3D姿态估计模块，用于对所述手部2D姿态估计结果进行处理，得到手部3D姿态估计结果；
手势估计模块，用于对所述手势识别结果和所述手部3D姿态估计结果进行融合，得到手势估计结果；
数据上传模块，用于将所述手势估计结果上传到云端。
作为一种可选的实施方式，在本发明实施例第二方面中，所述获取上肢运动障碍评估数据信息，包括：
S11，利用头戴式设备前方的双目深度相机，获取以所述双目深度相机为顶点的锥体范围内被测物体的两幅图像；
S12，对所述锥体范围内被测物体的两幅图像进行处理，得到深度图像信息；
S13，利用头戴式设备两侧的广角相机，根据光学原理获取彩色图像信息；
所述深度图像信息和彩色图像信息为头戴式设备获取的图像信息；
S14，使用手部的数据手套中的惯性测量单元获取惯性测量数据信息；
所述头戴式设备获取的图像信息和所述惯性测量数据信息为肢运动障碍评估数据信息。
作为一种可选的实施方式，在本发明实施例第二方面中，所述对所述头戴式设备获取的图像信息进行处理，得到手势识别结果，包括：
S21，当手部出现在所述双目深度相机的锥形范围内时，对所述深度图像信息进行处理，得到深度相机的手势识别结果；
所述深度相机的手势识别结果为手部21个关节点的3D坐标信息；
S22，当手部出现在所述广角相机的范围内时，对所述彩色图像信息进行处理，得到手部21个关节点的2D坐标信息；
S23，对所述手部21个关节点的2D坐标信息进行处理，得到广角相机的手势识别结果；
S24，当手部出现在所述广角相机与所述双目深度相机的视野重合范围内时，对所述深度相机的手势识别结果和所述广角相机的手势识别结果进行融合，得到手势识别结果。
作为一种可选的实施方式，在本发明实施例第二方面中，所述手部21个关节点为手部骨架的关节点；
所述手部骨架的关节点用21个3D关键点来描述，包括每根手指的三个指节和指尖4个3D关键点及手腕处的一个3D关键点；
每个3D关键点有3个自由度，输出维度是21×3。
作为一种可选的实施方式，在本发明实施例第二方面中，所述利用预设的第二特征提取模型，对所述惯性测量数据信息进行处理，得到惯性测量特征信息，包括：
利用所述第二特征提取模型的4个卷积层，对所述惯性测量数据信息进行处理，得到第一特征信息；
利用所述第二特征提取模型的1个双向LSTM循环层，对所述第一特征信息进行处理，得到惯性测量特征信息。
作为一种可选的实施方式，在本发明实施例第二方面中，所述对所述融合特征信息进行处理，得到手部2D姿态估计结果，包括：
S61，利用预设的手部2D姿态估计模型的第一层图卷积，对所述融合特征信息进行处理，得到第一特征矩阵；
S62，利用预设的手部2D姿态估计模型的第二层图卷积，对所述第一特征矩阵进行处理，得到第二特征矩阵；
所述第二特征矩阵为手部2D姿态估计结果。
作为一种可选的实施方式，在本发明实施例第二方面中，所述对所述手部2D姿态估计结果进行处理，得到手部3D姿态估计结果，包括：
利用预设的手部3D姿态估计网络模型，对所述手部2D姿态估计结果进行处理，得到手部3D姿态估计结果；
所述手部3D姿态估计网络模型，包括图嵌入层、编码器和解码器；
所述图嵌入层的输出结果输入所述编码器；
所述编码器的输出结果输入所述解码器；
所述编码器包括两个编码块，每个编码块包括一个图池化层和一个第一图卷积层；
所述图池化层，用于减小图的尺寸以编码更高阶的特征，所述第一图卷积层用于从每个节点的一阶信息中聚合图结构中的拓扑信息；
所述解码器包括两个解码块，每个解码块包括一个图反池化层和一个第二图卷积层；
所述图反池化层用于将图恢复成高分辨率的数据结构；
所述第二图卷积层用于聚合来自邻居节点的信息。
本发明第三方面公开了另一种上肢运动障碍评估装置，所述装置包括：
存储有可执行程序代码的存储器；
与所述存储器耦合的处理器；
所述处理器调用所述存储器中存储的所述可执行程序代码，执行本发明实施例第一方面公开的上肢运动障碍评估方法中的部分或全部步骤。
本发明第四方面公开了一种计算机可存储介质，所述计算机可存储介质存储有计算机指令，所述计算机指令被调用时，用于执行本发明实施例第一方面公开的上肢运动障碍评估方法中的部分或全部步骤。
与现有技术相比，本发明实施例具有以下有益效果：
本发明公开了一种上肢运动障碍评估方法及装置，该方法结合智能可穿戴设备和光惯融合技术，通过对手势轨迹的识别和数据分析，实现了对上肢运动能力的量化评估和记录。传统的上肢运动障碍评估方法存在许多限制，例如需要患者到医疗机构进行评估，费时费力。然而，本发明提供了一种更加便捷和实用的评估方法。借助智能可穿戴设备，患者只需佩戴头戴式设备，便可在家中或康复中心进行评估。这大大减轻了患者的负担和时间成本。
本发明采用了光惯融合的手势轨迹识别技术，通过光学图像和惯性测量数据的融合，提高了手势识别的准确性和稳定性。相比传统的单一传感器方法，光惯融合能够更全面地捕捉手势细节，为评估提供更准确的数据基础。在手势轨迹识别的基础上，本发明进行数据分析和量化评分。通过算法和模型的支持，将手势数据转化为可量化的评估结果。这使得医务人员能够更直观地了解患者的上肢运动功能状态。这些量化评分不仅为医生制定康复治疗计划提供了科学依据，还可以用于康复进展的监测和患者间的比较。
同时，本发明支持居家医疗。患者可以在家中进行自我评估和监测，无需频繁前往医疗机构。这对于长期康复和远程医疗具有重要意义。患者可以定期进行评估，了解自身康复进展，并与医生进行沟通和调整康复计划，从而更好地管理和改善上肢运动功能。
综上所述，本发明的上肢运动障碍评估方法及装置，通过智能可穿戴设备、光惯融合的手势轨迹识别和数据分析，为居家医疗提供了技术支持，有效促进疾病自查与医患沟通，对于上肢运动障碍的诊断和康复具有重要意义。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例公开的一种上肢运动障碍评估方法的流程示意图；
图2是本发明实施例公开的另一种上肢运动障碍评估方法的流程示意图；
图3是本发明实施例公开的ConvBLSTM网络模型示意图；
图4是本发明实施例公开的图卷积神经网络的基本框架示意图；
图5是本发明实施例公开的Graph U-net模型框架示意图；
图6是本发明实施例公开的一种上肢运动障碍评估装置示意图；
图7是本发明实施例公开的另一种上肢运动障碍评估装置示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、装置、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
本发明公开了一种上肢运动障碍评估方法及装置，该方法包括：获取上肢运动障碍评估数据信息；对头戴式设备获取的图像信息进行处理，得到手势识别结果；利用预设的第一特征提取模型，对彩色图像信息进行处理，得到彩色图像特征信息；利用预设的第二特征提取模型，对惯性测量数据信息进行处理，得到惯性测量特征信息；对彩色图像特征信息和惯性测量特征信息进行特征融合，得到融合特征信息；对融合特征信息进行处理，得到手部2D姿态估计结果；对手部2D姿态估计结果进行处理，得到手部3D姿态估计结果；对手势识别结果和手部3D姿态估计结果进行融合，得到手势估计结果；将手势估计结果上传到云端。本发明对疾病引起的上肢运动障碍的诊断和复建具有重要意义。
实施例一
请参阅图1，图1是本发明实施例公开的一种上肢运动障碍评估方法的流程示意图。其中，图1所描述的上肢运动障碍评估方法应用于疾病引起的上肢运动障碍的诊断和复建，本发明实施例不做限定。如图1所示，该上肢运动障碍评估方法可以包括以下操作：
S1，获取上肢运动障碍评估数据信息，所述上肢运动障碍评估数据信息包括头戴式设备获取的图像信息和数据手套获取的惯性测量数据信息；
所述头戴式设备获取的图像信息，包括深度图像信息和彩色图像信息；
S2，对所述头戴式设备获取的图像信息进行处理，得到手势识别结果；
S3，利用预设的第一特征提取模型，对所述彩色图像信息进行处理，得到彩色图像特征信息；
S4，利用预设的第二特征提取模型，对所述惯性测量数据信息进行处理，得到惯性测量特征信息；
所述第二特征提取模型包括4个卷积层和1个双向LSTM循环层；
S5，对所述彩色图像特征信息和所述惯性测量特征信息进行特征融合，得到融合特征信息；
S6，对所述融合特征信息进行处理，得到手部2D姿态估计结果；
S7，对所述手部2D姿态估计结果进行处理，得到手部3D姿态估计结果；
S8，对所述手势识别结果和所述手部3D姿态估计结果进行融合，得到手势估计结果；
S9，将所述手势估计结果上传到云端。
可选的，所述获取上肢运动障碍评估数据信息，包括：
S11，利用头戴式设备前方的双目深度相机，获取以所述双目深度相机为顶点的锥体范围内被测物体的两幅图像；
S12，对所述锥体范围内被测物体的两幅图像进行处理，得到深度图像信息；
S13，利用头戴式设备两侧的广角相机，根据光学原理获取彩色图像信息；
所述深度图像信息和彩色图像信息为头戴式设备获取的图像信息；
S14，使用手部的数据手套中的惯性测量单元获取惯性测量数据信息；
所述头戴式设备获取的图像信息和所述惯性测量数据信息为肢运动障碍评估数据信息。
可选的，所述对所述头戴式设备获取的图像信息进行处理，得到手势识别结果，包括：
S21，当手部出现在所述双目深度相机的锥形范围内时，对所述深度图像信息进行处理，得到深度相机的手势识别结果；
所述深度相机的手势识别结果为手部21个关节点的3D坐标信息；
S22，当手部出现在所述广角相机的范围内时，对所述彩色图像信息进行处理，得到手部21个关节点的2D坐标信息；
S23，对所述手部21个关节点的2D坐标信息进行处理，得到广角相机的手势识别结果；
S24，当手部出现在所述广角相机与所述双目深度相机的视野重合范围内时，对所述深度相机的手势识别结果和所述广角相机的手势识别结果进行融合，得到手势识别结果。
可选的，所述手部21个关节点为手部骨架的关节点；
所述手部骨架的关节点用21个3D关键点来描述，包括每根手指的三个指节和指尖4个3D关键点及手腕处的一个3D关键点；
每个3D关键点有3个自由度，输出维度是21×3。
可选的，所述利用预设的第二特征提取模型，对所述惯性测量数据信息进行处理，得到惯性测量特征信息，包括：
利用所述第二特征提取模型的4个卷积层，对所述惯性测量数据信息进行处理，得到第一特征信息；
利用所述第二特征提取模型的1个双向LSTM循环层，对所述第一特征信息进行处理，得到惯性测量特征信息。
可选的，所述对所述融合特征信息进行处理，得到手部2D姿态估计结果，包括：
S61，利用预设的手部2D姿态估计模型的第一层图卷积，对所述融合特征信息进行处理，得到第一特征矩阵；
S62，利用预设的手部2D姿态估计模型的第二层图卷积，对所述第一特征矩阵进行处理，得到第二特征矩阵；
所述第二特征矩阵为手部2D姿态估计结果。
可选的，所述对所述手部2D姿态估计结果进行处理，得到手部3D姿态估计结果，包括：
利用预设的手部3D姿态估计网络模型，对所述手部2D姿态估计结果进行处理，得到手部3D姿态估计结果；
所述手部3D姿态估计网络模型，包括图嵌入层、编码器和解码器；
所述图嵌入层的输出结果输入所述编码器；
所述编码器的输出结果输入所述解码器；
所述编码器包括两个编码块，每个编码块包括一个图池化层和一个第一图卷积层；
所述图池化层，用于减小图的尺寸以编码更高阶的特征，所述第一图卷积层用于从每个节点的一阶信息中聚合图结构中的拓扑信息；
所述解码器包括两个解码块，每个解码块包括一个图反池化层和一个第二图卷积层；
所述图反池化层用于将图恢复成高分辨率的数据结构；
所述第二图卷积层用于聚合来自邻居节点的信息。
实施例二
请参阅图2，图2是本发明实施例公开的另一种上肢运动障碍评估方法的流程示意图。其中，图2所描述的上肢运动障碍评估方法应用于疾病引起的上肢运动障碍的诊断和复建，本发明实施例不做限定。如图2所示，该上肢运动障碍评估方法可以包括以下操作：
S1，使用头戴式设备前方的双目深度相机获取锥形范围内的深度图像信息，同时使用设备两侧的广角相机获取范围内的彩色图像信息；使用手部的数据手套中的惯性测量单元获取IMU(惯性测量)数据。
S2，当手部出现在深度相机的锥形范围内时，通过三维的深度图像信息可以直接得到手部21个关节点的3D坐标信息，直接得到深度相机的手势识别结果。当手部出现在彩色相机的范围内时，利用二维的彩色图像信息预测得到手部21个关节点的2D坐标信息，并利用得到的2D坐标信息估计3D坐标信息从而得到广角相机的手势识别结果。
S3，当手部出现在广角相机与深度相机的视野重合范围内时，可将两者的信息进行融合，并得到用深度相机的3D信息修正广度相机预测结果的手势识别结果。
S4，利用Resnet50残差网络以及ConvBLSTM神经网络对原始数据进行特征提取；通过Resnet50残差网络对彩色图像进行视觉信息特征提取得到图像向量，同时利用ConvBLSTM网络对惯性测量单元中提取的IMU数据进行特征提取得到惯性向量，使用典型相关分析对数据进行处理，将选择的典型相关变量对进行拼接，从而得到将两者融合后得到特征向量。图3是本发明实施例公开的ConvBLSTM网络模型示意图。图3中，输入数据的大小为36×80×1，其中包含了36个通道(6个加速度计和6个角速度计)和80个时间序列的手势样本。
模型的结构如下：
Conv1和Conv4是使用2×2的滤波器进行卷积的层。
Conv2和Conv3是使用3×3的滤波器进行卷积的层。
池化层对提取的特征图进行压缩，大小为1×2，步长为1。
双向LSTM层按照手势采集的时间顺序将特征逐帧正向和反向同时输入。利用BiLSTM可以编码手势样本的时序特征。
每个输出时刻根据前一个输出时刻的输出来判断最优输出，以构建动态手势的前后动作联系。
最终，获得手势样本的对应表达。
S5，利用融合后的特征向量，进行手部2D姿态估计；构建手部2D姿态估计网络；进行手部3D姿态估计；构建手部3D姿态估计网络；根据手部2D姿态估计网络输出的21个关节点的2D坐标，对3D坐标进行估计。
S6，将S5得到的结果与S2/S3得到的结果进行融合得到最终的手势估计结果。
S7，网络训练及测试；利用特征提取网络，手部2D姿态估计网络，手部3D姿态估计网络组成手部姿态估计网络，利用基于ConvBLSTM神经网络的手势识别框架进行手势数据库的建立、数据预处理和训练分类。
S8，将训练好的手部姿态估计网络模型部署到头戴式设备中，通过彩色相机、深度相机以及数据手套，进行实时手部姿态估计。
S9，将得到的手势姿态估计数据上传到云端，并通过公式量化后进行记录。
步骤S1具体包括：
S11，基于双目立体视觉的深度相机获取锥体范围内深度图像；
深度相机位于头戴式设备的中央，其视线只包含视线正前方以深度相机为顶点的锥体范围，并捕获此区域内的深度图像；
基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，视差是指同一物体在左右摄像机中对应像素的水平偏移量，可以表示为：
d＝xL-xR
其中，d为视差值，xL和分别为左右相机中物体的水平像素坐标。
三角测量用于推导物体距离的公式，可以表示为：
其中，Z为物体到相机的距离，B为双目相机的基线长度，f为相机的焦距，d为视差公式中所得视差值。
对于左右摄像机中的像素坐标(uL,vL)，(uR,vR)可以通过以下公式将其转换为实际三维空间中的坐标(X,Y,Z)：
其中，(cx,cy)为相机的光学中心在图像平面上的像素坐标。
对内部参数进行校正，具体公式如下：
xcorrected＝(xoriginal-cx)/f
ycorrected＝(yoriginal-cy)/f
其中，下标为original的为原始图像中像素坐标，下标为corrected的为校正后的像素坐标。
并且利用如下公式进行外部参数校正：
其中，下标original的是原始图像中像素坐标，下标为corrected的为校正后的像素坐标，R为旋转矩阵，T为平移向量，旋转矩阵(R)和平移向量(T)的值需要根据相机的实际安装情况进行标定，以获得准确的相机外部参数。
最终获得深度相机视觉范围内的深度图像。
S12，广角相机获取广角范围内的彩色图像；
广角相机分布在头戴式设备的两侧，其水平方向视角范围大于180度，且两侧广角相机的部分视野与深度相机重叠，广角相机利用光学原理获取广角范围内的彩色图像。
步骤S2所述的手部关节点为手部骨架的关节点，用21个3D关键点来描述，包括每根手指的三个指节和指尖4个点以及手腕处的一个关键点，每个3D关键点有3个自由度，输出维度是21×3。
步骤S2具体包括：
S21，通过Resnet50对深度图像信息进行处理，Resnet50的输入为单张深度图像信息，并在残差网络后连接一个自编码层以用于提取特征，输出手部三维坐标点序列。
S22，通过Resnet50对彩色图像信息进行处理，Resnet50的输入为单张彩色图像信息，通过残差网络处理后可输出一个2048维的图像特征向量。
残差网络的表达式为
H(x)＝F(x)+x
其中x是输入，F(x)是卷积分支的输出，H(x)是整个结构的输出；
步骤S4包括：
视觉信息特征提取：与S22中所述方法相同。
惯性特征特征提取：ConvBLSTM主要由4个卷积层和1个双向LSTM循环层组成，对于输入的IMU数据，由4层卷积层从势序列中提取特征并生成特征映射输入双向LSTM层通过有效计算梯度分量来学习时序数据.
特征连接：首先进行典型相关变量选择，根据典型相关分析的结果，选择相关性最高的典型相关变量对。这些典型相关变量对应于图像向量和惯性向量中的特征。
特征对应关系：确保选择的典型相关变量对应于图像向量和惯性向量中的相同位置。例如，如果第一个典型相关变量对应于图像向量中的第i维特征和惯性向量中的第j维特征，那么确保其他典型相关变量对也按照相同的顺序对应。
特征拼接：将选择的典型相关变量对按顺序进行拼接，形成融合后的特征向量。如果有k个典型相关变量对，那么融合后的特征向量的维度将是2k。
步骤S5包括：图卷积网络构建手部2D姿态估计网络，图卷积神经网络的核心思想是根据一组传播规则，利用边的信息对节点信息进行聚合从而生成新的节点表示，将图数据转换为可分类的特征信息。给定一个图g，GCN的输入分为两个部分：一是N×D维的特征矩阵X，N代表图的节点的数量，D表示每个节点特征向量的维度，也是之后网络中的通道数；二是N×N维的邻接矩阵A，它表示了节点之间的连接关系。图卷积层运算可用如下公式表示：
Hl+1＝f(Hl,A)
其中H1＝X是第一层的输入，H1+1为输出，X∈RN×D，N代表图的节点的数量，D表示每个节点特征向量的维度，A为邻接矩阵，f为对应模型中使用的函数。
输入特征向量维度即位权利要求5中所得特征向量维度，设其为D，则第一层图卷积输入特征矩阵21*D，输出特征矩阵21*64；第二层图卷积输入特征矩阵21*64，输出特征矩阵21*2。此处*表示相乘。
可选的，可以采用如下方法融合图像向量和惯性向量
输入融合图像向量样本集X＝[x1,x2,…,xn]和惯性向量样本集Y＝[y1,y2,…,ym]。
1.初始化
求出样本X的自协方差矩阵∑11、Y的协方差矩阵∑22和X与Y的互协方差矩阵∑12和∑21；为类间矩阵，/>为类内矩阵；/>
2.根据优化目标，构造拉格朗日方程
其中，Q1＝∑11，Q2＝∑22，β、λ、θ为系数常数，由多次实验获得，本发明不做限制。
优化目标为：最小化使得/>
3.对Wx和Wy求偏导，优化问题转化成特征值的求解
4.应用特征分解方法，得到非零向量相应特征矢量组成的矩阵以及X的变换矩阵Wx。
5.根据得到Y的变换矩阵Wy。
6.将变换矩阵代入到式中，得到最终的融合特征Σk。
步骤S5包括基于Graph U-net模型构建手部3D姿态估计网络，首先，通过图嵌入层将输入的高维特征向量转换成低维表示。其次，堆叠两个编码块构建编码器，每个编码块包含一个图池化层(gPool)后跟一个图卷积层GCN)。图池化层负责减小图的尺寸以编码更高阶的特征，而图卷积层负责从每个节点的一阶信息中聚合图结构中的拓扑信息。再次，在解码器部分对应的也有两个解码块，每个解码块包括一个图反池化层(gUnpool)和一个图卷积层。图反池化层负责将图恢复成高分辨率的数据结构，而图卷积层则用来聚合来自邻居节点的信息。对于同一级别的块，网络使用跳跃连接融合来自编码块的低级空间特征，并将空间信息传输到解码块以获得更好的性能。手部3D姿态估计网络可以简化图形，并获得全局特征，并通过跳跃连接获得手部局部特征，从而实现二维坐标到三维坐标的估计。图4是本发明实施例公开的图卷积神经网络的基本框架示意图。图5是本发明实施例公开的GraphU-net模型框架示意图。
步骤S5包括：分别输入一张彩色图像和对应的IMU数据,由Resnet50残差网络提取彩色图像中的视觉信息特征,由ConvBLSTM网络提取IMU数据中的惯性信息特征,将视觉特征向量与惯性特征向量连接后输入手部2D姿态估计网络,得到手部21个主要关节点的2D坐标,再将2D坐标输入手部3D姿态估计网络,得到手部21个主要关节点的3D坐标,完成手部姿态估计。
步骤S9中所述量化公式具体如下：
量化评分＝(W1×A+W2×F+W3×C+W4×T)×100
其中：A代表手势的准确性评分，范围从0到1；F代表手势的流畅性评分，范围从0到1；C代表手势的协调性评分，范围从0到1；T代表手势的时间评分，范围从0到1，W1-W4分别代表每一部分对应的权值。
这个量化公式综合考虑了手势的准确性、流畅性、协调性和时间等因素，并根据不同因素的权重进行加权求和。最终的量化评分范围为0到100，可以全面地评估上肢运动能力的状态。
请注意，这只是一个示例公式，具体的公式需要根据实际需求和数据特点进行设计和调整。
可选的，本发明使用的数据手套参数如下：
传感器数量：7个手指传感器；3个手臂动作传感器；
力反馈：支持5个手指力反馈。
手势种类：包含纯手指动作，含手臂动作，双手组合动作，连续手势组合。
状态感知：每个手势转换完成时，人手可通过手指力反馈感知到系统提示；液晶屏同时进行手势显示。
手套传输接口：同时支持USB接口和蓝牙接口。
支持平台：支持WINDOWS，LINUX开发平台。
使用情景：可实现离线和在线两种手势捕捉。
无线传输范围：20米。
实施例三
请参阅图6，图6是本发明实施例公开的另一种上肢运动障碍评估装置的流程示意图。其中，图6所描述的上肢运动障碍评估装置应用于疾病引起的上肢运动障碍的诊断和复建，本发明实施例不做限定。如图6所示，该上肢运动障碍评估装置可以包括以下操作：
S301，数据获取模块，用于获取上肢运动障碍评估数据信息，所述上肢运动障碍评估数据信息包括头戴式设备获取的图像信息和数据手套获取的惯性测量数据信息；
所述头戴式设备获取的图像信息，包括深度图像信息和彩色图像信息；
S302，手势识别模块，用于对所述头戴式设备获取的图像信息进行处理，得到手势识别结果；
S303，彩色图像特征提取模块，用于利用预设的第一特征提取模型，对所述彩色图像信息进行处理，得到彩色图像特征信息；
S304，惯性测量特征提起模块，用于利用预设的第二特征提取模型，对所述惯性测量数据信息进行处理，得到惯性测量特征信息；
所述第二特征提取模型包括4个卷积层和1个双向LSTM循环层；
S305，特征融合模块，用于对所述彩色图像特征信息和所述惯性测量特征信息进行特征融合，得到融合特征信息；
S306，手部2D姿态估计模块，用于对所述融合特征信息进行处理，得到手部2D姿态估计结果；
S307，手部3D姿态估计模块，用于对所述手部2D姿态估计结果进行处理，得到手部3D姿态估计结果；
S308，手势估计模块，用于对所述手势识别结果和所述手部3D姿态估计结果进行融合，得到手势估计结果；
S309，数据上传模块，用于将所述手势估计结果上传到云端。
实施例四
请参阅图7，图7是本发明实施例公开的另一种上肢运动障碍评估装置的流程示意图。其中，图7所描述的上肢运动障碍评估装置应用于疾病引起的上肢运动障碍的诊断和复建，本发明实施例不做限定。如图7所示，该上肢运动障碍评估装置可以包括以下操作：
存储有可执行程序代码的存储器401；
与存储器401耦合的处理器402；
处理器S02调用存储器401中存储的所述可执行程序代码，用来执行如实施例一和实施例二所描述的上肢运动障碍评估方法。
实施例五
本发明实施例公开了一种计算机可存储介质，其存储用于电子数据交换的计算机指令，其中，该计算机指令被调用时，用来执行如实施例一和实施例二所描述的上肢运动障碍评估方法。
以上所描述的装置实施例仅是示意性的，其中作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施例的具体描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中,存储介质包括只读存储器(Read-Only Memory，ROM)、随机存储器(Random Access Memory，RAM)、可编程只读存储器(Programmable Read-only Memory，PROM)、可擦除可编程只读存储器(ErasableProgrammable Read Only Memory，EPROM)、一次可编程只读存储器(One-timeProgrammable Read-Only Memory，OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
最后应说明的是：本发明实施例公开的一种上肢运动障碍评估方法及装置所揭露的仅为本发明较佳实施例而已，仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解；其依然可以对前述各项实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或替换，并不使相应的技术方案的本质脱离本发明各项实施例技术方案的精神和范围。
Claims (10)
1.一种上肢运动障碍评估方法，其特征在于，所述方法包括：
S1，获取上肢运动障碍评估数据信息，所述上肢运动障碍评估数据信息包括头戴式设备获取的图像信息和数据手套获取的惯性测量数据信息；
所述头戴式设备获取的图像信息，包括深度图像信息和彩色图像信息；
S2，对所述头戴式设备获取的图像信息进行处理，得到手势识别结果；
S3，利用预设的第一特征提取模型，对所述彩色图像信息进行处理，得到彩色图像特征信息；
S4，利用预设的第二特征提取模型，对所述惯性测量数据信息进行处理，得到惯性测量特征信息；
所述第二特征提取模型包括4个卷积层和1个双向LSTM循环层；
S5，对所述彩色图像特征信息和所述惯性测量特征信息进行特征融合，得到融合特征信息；
S6，对所述融合特征信息进行处理，得到手部2D姿态估计结果；
S7，对所述手部2D姿态估计结果进行处理，得到手部3D姿态估计结果；
S8，对所述手势识别结果和所述手部3D姿态估计结果进行融合，得到手势估计结果；
S9，将所述手势估计结果上传到云端。
2.根据权利要求1所述上肢运动障碍评估方法，其特征在于，所述获取上肢运动障碍评估数据信息，包括：
S11，利用头戴式设备前方的双目深度相机，获取以所述双目深度相机为顶点的锥体范围内被测物体的两幅图像；
S12，对所述锥体范围内被测物体的两幅图像进行处理，得到深度图像信息；
S13，利用头戴式设备两侧的广角相机，根据光学原理获取彩色图像信息；
所述深度图像信息和彩色图像信息为头戴式设备获取的图像信息；
S14，使用手部的数据手套中的惯性测量单元获取惯性测量数据信息；
所述头戴式设备获取的图像信息和所述惯性测量数据信息为肢运动障碍评估数据信息。
3.根据权利要求1所述上肢运动障碍评估方法，其特征在于，所述对所述头戴式设备获取的图像信息进行处理，得到手势识别结果，包括：
S21，当手部出现在所述双目深度相机的锥形范围内时，对所述深度图像信息进行处理，得到深度相机的手势识别结果；
所述深度相机的手势识别结果为手部21个关节点的3D坐标信息；
S22，当手部出现在所述广角相机的范围内时，对所述彩色图像信息进行处理，得到手部21个关节点的2D坐标信息；
S23，对所述手部21个关节点的2D坐标信息进行处理，得到广角相机的手势识别结果；
S24，当手部出现在所述广角相机与所述双目深度相机的视野重合范围内时，对所述深度相机的手势识别结果和所述广角相机的手势识别结果进行融合，得到手势识别结果。
4.根据权利要求3所述上肢运动障碍评估方法，其特征在于，所述手部21个关节点为手部骨架的关节点；
所述手部骨架的关节点用21个3D关键点来描述，包括每根手指的三个指节和指尖4个3D关键点及手腕处的一个3D关键点；
每个3D关键点有3个自由度，输出维度是21×3。
5.根据权利要求1所述上肢运动障碍评估方法，其特征在于，所述利用预设的第二特征提取模型，对所述惯性测量数据信息进行处理，得到惯性测量特征信息，包括：
利用所述第二特征提取模型的4个卷积层，对所述惯性测量数据信息进行处理，得到第一特征信息；
利用所述第二特征提取模型的1个双向LSTM循环层，对所述第一特征信息进行处理，得到惯性测量特征信息。
6.根据权利要求1所述上肢运动障碍评估方法，其特征在于，所述对所述融合特征信息进行处理，得到手部2D姿态估计结果，包括：
S61，利用预设的手部2D姿态估计模型的第一层图卷积，对所述融合特征信息进行处理，得到第一特征矩阵；
S62，利用预设的手部2D姿态估计模型的第二层图卷积，对所述第一特征矩阵进行处理，得到第二特征矩阵；
所述第二特征矩阵为手部2D姿态估计结果。
7.根据权利要求1所述上肢运动障碍评估方法，其特征在于，所述对所述手部2D姿态估计结果进行处理，得到手部3D姿态估计结果，包括：
利用预设的手部3D姿态估计网络模型，对所述手部2D姿态估计结果进行处理，得到手部3D姿态估计结果；
所述手部3D姿态估计网络模型，包括图嵌入层、编码器和解码器；
所述图嵌入层的输出结果输入所述编码器；
所述编码器的输出结果输入所述解码器；
所述编码器包括两个编码块，每个编码块包括一个图池化层和一个第一图卷积层；
所述图池化层，用于减小图的尺寸以编码更高阶的特征，所述第一图卷积层用于从每个节点的一阶信息中聚合图结构中的拓扑信息；
所述解码器包括两个解码块，每个解码块包括一个图反池化层和一个第二图卷积层；
所述图反池化层用于将图恢复成高分辨率的数据结构；
所述第二图卷积层用于聚合来自邻居节点的信息。
8.一种上肢运动障碍评估装置，其特征在于，所述装置包括：
数据获取模块，用于获取上肢运动障碍评估数据信息，所述上肢运动障碍评估数据信息包括头戴式设备获取的图像信息和数据手套获取的惯性测量数据信息；
所述头戴式设备获取的图像信息，包括深度图像信息和彩色图像信息；
手势识别模块，用于对所述头戴式设备获取的图像信息进行处理，得到手势识别结果；
彩色图像特征提取模块，用于利用预设的第一特征提取模型，对所述彩色图像信息进行处理，得到彩色图像特征信息；
惯性测量特征提起模块，用于利用预设的第二特征提取模型，对所述惯性测量数据信息进行处理，得到惯性测量特征信息；
所述第二特征提取模型包括4个卷积层和1个双向LSTM循环层；
特征融合模块，用于对所述彩色图像特征信息和所述惯性测量特征信息进行特征融合，得到融合特征信息；
手部2D姿态估计模块，用于对所述融合特征信息进行处理，得到手部2D姿态估计结果；
手部3D姿态估计模块，用于对所述手部2D姿态估计结果进行处理，得到手部3D姿态估计结果；
手势估计模块，用于对所述手势识别结果和所述手部3D姿态估计结果进行融合，得到手势估计结果；
数据上传模块，用于将所述手势估计结果上传到云端。
9.一种上肢运动障碍评估装置，其特征在于，所述装置包括：
存储有可执行程序代码的存储器；
与所述存储器耦合的处理器；
所述处理器调用所述存储器中存储的所述可执行程序代码，执行如权利要求1-7任一项所述的上肢运动障碍评估方法。
10.一种计算机可存储介质，其特征在于，所述计算机可存储介质存储有计算机指令，所述计算机指令被调用时，用于如权利要求1-7任一项所述的上肢运动障碍评估方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310988435.0A CN116784837A (zh) | 2023-08-07 | 2023-08-07 | 一种上肢运动障碍评估方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310988435.0A CN116784837A (zh) | 2023-08-07 | 2023-08-07 | 一种上肢运动障碍评估方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116784837A true CN116784837A (zh) | 2023-09-22 |
Family
ID=88046072
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310988435.0A Pending CN116784837A (zh) | 2023-08-07 | 2023-08-07 | 一种上肢运动障碍评估方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116784837A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104997523A (zh) * | 2014-04-18 | 2015-10-28 | 东北大学 | 一种上肢康复机器人康复训练运动功能评价方法 |
| CN113221726A (zh) * | 2021-05-08 | 2021-08-06 | 天津大学 | 一种基于视觉与惯性信息融合的手部姿态估计方法及系统 |
| CN113269158A (zh) * | 2020-09-29 | 2021-08-17 | 中国人民解放军军事科学院国防科技创新研究院 | 基于广角相机和深度相机的增强现实手势识别方法 |
| WO2022002133A1 (zh) * | 2020-07-01 | 2022-01-06 | 青岛小鸟看看科技有限公司 | 手势追踪方法及装置 |
| US20220351547A1 (en) * | 2019-11-20 | 2022-11-03 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Gesture analysis method and device, and computer-readable storage medium |
-
2023
- 2023-08-07 CN CN202310988435.0A patent/CN116784837A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104997523A (zh) * | 2014-04-18 | 2015-10-28 | 东北大学 | 一种上肢康复机器人康复训练运动功能评价方法 |
| US20220351547A1 (en) * | 2019-11-20 | 2022-11-03 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Gesture analysis method and device, and computer-readable storage medium |
| WO2022002133A1 (zh) * | 2020-07-01 | 2022-01-06 | 青岛小鸟看看科技有限公司 | 手势追踪方法及装置 |
| CN113269158A (zh) * | 2020-09-29 | 2021-08-17 | 中国人民解放军军事科学院国防科技创新研究院 | 基于广角相机和深度相机的增强现实手势识别方法 |
| CN113221726A (zh) * | 2021-05-08 | 2021-08-06 | 天津大学 | 一种基于视觉与惯性信息融合的手部姿态估计方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| YIN X, LIU Z, LIU D, REN X.: "A Novel CNN-based Bi-LSTM parallel model with attention mechanism for human activity recognition with noisy data", 《SCI REP》, pages 168 - 170 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111881887A (zh) | 基于多摄像头的运动姿态监测和指导方法及装置 | |
| CN112069933A (zh) | 基于体态识别和人体生物力学的骨骼肌肉受力估计方法 | |
| US10445930B1 (en) | Markerless motion capture using machine learning and training with biomechanical data | |
| CN110458944B (zh) | 一种基于双视角Kinect关节点融合的人体骨架重建方法 | |
| CN109635820A (zh) | 基于深度神经网络的帕金森病运动迟缓视频检测模型的构建方法 | |
| CN114676956A (zh) | 基于多维数据融合的老人跌倒风险预警系统 | |
| CN110751100A (zh) | 一种体育场馆辅助训练方法与系统 | |
| CN113379904B (zh) | 一种基于隐空间运动编码的多人人体模型重建方法 | |
| US20220072371A1 (en) | System and Method for Human Motion Detection and Tracking | |
| CN111401340B (zh) | 目标对象的运动检测方法和装置 | |
| Chen et al. | Camera networks for healthcare, teleimmersion, and surveillance | |
| WO2024094227A1 (zh) | 一种基于卡尔曼滤波和深度学习的手势姿态估计方法 | |
| CN109064511B (zh) | 一种人体重心高度测量方法、装置及相关设备 | |
| CN112494034B (zh) | 基于3d体态检测分析的数据处理分析系统及方法 | |
| CN113283373A (zh) | 一种用于增强深度相机检测肢体运动参数的方法 | |
| CN117352126A (zh) | 肌肉受力可视化方法、装置、计算机设备以及存储介质 | |
| CN110801227B (zh) | 基于可穿戴设备的立体色块障碍测试的方法和系统 | |
| Ray et al. | Pressim: An end-to-end framework for dynamic ground pressure profile generation from monocular videos using physics-based 3d simulation | |
| Ahmed et al. | Kalman filter-based noise reduction framework for posture estimation using depth sensor | |
| CN117137435A (zh) | 一种基于多模态信息融合的康复动作识别方法和系统 | |
| CN115311186B (zh) | 一种红外与可见光图像跨尺度注意力对抗融合方法及终端 | |
| CN116784837A (zh) | 一种上肢运动障碍评估方法及装置 | |
| CN116416678A (zh) | 一种运用人工智能技术实现动作捕捉及智能评判的方法 | |
| CN116543455A (zh) | 建立帕金森症步态受损评估模型、使用方法、设备及介质 | |
| CN116071827A (zh) | 一种康复运动评估方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |