CN117690583A - 基于物联网的康复护理交互式管理系统及方法 - Google Patents

基于物联网的康复护理交互式管理系统及方法 Download PDF

Info

Publication number
CN117690583A
CN117690583A CN202410140508.5A CN202410140508A CN117690583A CN 117690583 A CN117690583 A CN 117690583A CN 202410140508 A CN202410140508 A CN 202410140508A CN 117690583 A CN117690583 A CN 117690583A
Authority
CN
China
Prior art keywords
patient
rehabilitation training
feature
rehabilitation
change
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202410140508.5A
Other languages
English (en)
Other versions
CN117690583B (zh
Inventor
王秀彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jilin University
Original Assignee
Jilin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jilin University filed Critical Jilin University
Priority to CN202410140508.5A priority Critical patent/CN117690583B/zh
Publication of CN117690583A publication Critical patent/CN117690583A/zh
Application granted granted Critical
Publication of CN117690583B publication Critical patent/CN117690583B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Public Health (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Pathology (AREA)
  • Physical Education & Sports Medicine (AREA)

Abstract

本申请公开了一种基于物联网的康复护理交互式管理系统及方法，涉及康复护理的智能管理领域，其将采集到的待监测康复训练患者的多个预定时间点的康复训练图像数据作为输入数据，然后通过计算机视觉技术和图像处理技术分别对所述康复训练图像数据中的患者面部特征、关节特征以及整体步态特征进行提取和分析，并结合这些特征得到用于表示待监测康复训练患者的康复训练方案是否需要调整的分类结果。也就是，综合分析患者在康复训练过程中的面部特征、关节特征以及整体步态特征，可以对患者康复动作训练进行多方位分析。这样，有助于提供个性化的康复方案，并给予康复建议，以提高康复护理的效率和全面性。

Description

基于物联网的康复护理交互式管理系统及方法
技术领域
本申请涉及康复护理的智能管理领域，且更为具体地，涉及一种基于物联网的康复护理交互式管理系统及方法。
背景技术
当人体下肢骨折经历复位、固定和手术后，通常需要数月的时间才能达到临床愈合。在这段时间，患肢的正常运动会受到限制，患者无法自由活动。这种情况容易导致骨质脱钙、关节肌肉粘连、关节僵硬和肌肉萎缩等问题的发生。这些问题严重影响了患者的生活质量。因此，为了恢复功能，患者通常需要接受一段时间的康复护理。
但是，在现有技术中，患者进行康复训练过程中，往往会忽视患者的心理情绪变化，从而导致患者的康复护理效率降低，同时无法将患者康复动作训练进行多方位分析，导致患者康复动作训练的效率低下，以至于动作训练的针对性缺乏，无法使得患者的康复护理更加高效以及全面。
因此，期待一种基于物联网的康复护理交互式管理系统及方法，通过深度学习技术对康复动作训练过程中的状态进行多方位分析，从而提供个性化的康复方案，并给予康复建议，以提高康复护理的效率和全面性。
发明内容
为了解决上述技术问题，提出了本申请。
根据本申请的第一方面，提供了一种基于物联网的康复护理交互式管理系统，其包括：
康复训练患者数据采集模块，用于采集待监测康复训练患者的多个预定时间点的康复训练图像数据；
康复训练患者特征提取模块，用于对所述待监测康复训练患者的多个预定时间点的康复训练图像数据进行提取和分析以得到患者面部变化特征图以及患者姿态变化特征图；
康复训练患者特征融合模块，用于对所述患者面部变化特征图和所述患者姿态变化特征图进行高维空间单元流形子维度超凸相关性度量以得到患者康复训练特征图；
康复训练患者分类结果生成模块，用于基于所述患者康复训练特征图，以得到分类结果；
其中，所述康复训练患者特征融合模块，用于：以如下公式对所述患者面部变化特征图和所述患者姿态变化特征图进行高维空间单元流形子维度超凸相关性度量以得到患者康复训练特征图；其中，所述公式为：
；
其中，表示所述患者面部变化特征图，表示所述患者姿态变化特征图，表示所述患者面部变化特征图和所述患者姿态变化特征图的均值特征图，表示向量的按位置相减，表示以2为底的对数函数值，和表示权重超参数，表示所述患者康复训练特征图。
在上述基于物联网的康复护理交互式管理系统中，所述康复训练患者特征提取模块，包括：患者面部特征获取单元，用于对所述待监测康复训练患者的多个预定时间点的康复训练图像数据进行卷积编码以得到患者面部变化特征图；
患者关节特征获取单元，用于对所述待监测康复训练患者的多个预定时间点的康复训练图像数据进行卷积编码以得到患者关节变化特征图；
患者步态特征获取单元，用于对所述待监测康复训练患者的多个预定时间点的康复训练图像数据进行卷积编码以得到患者步态变化特征图；
关联特征获取单元，用于将所述患者关节变化特征图和所述患者步态变化特征图进行融合以得到所述患者姿态变化特征图。
在上述基于物联网的康复护理交互式管理系统中，所述患者面部特征获取单元，包括：
面部区域获取子单元，用于将所述待监测康复训练患者的多个预定时间点的康复训练图像数据通过基于第一目标检测网络的面部区域获取模块以得到多个面部感兴趣区域；
面部感兴趣区域排列子单元，用于将所述多个面部感兴趣区域按时间维度排列为三维面部变化输入张量；
面部变化特征获取子单元，用于将所述三维面部变化输入张量通过基于三维卷积神经网络模型的面部变化特征提取模块以得到患者面部变化特征图。
在上述基于物联网的康复护理交互式管理系统中，所述患者关节特征获取单元，包括：关节区域获取子单元，用于将所述待监测康复训练患者的多个预定时间点的康复训练图像数据通过基于第二目标检测网络的关节区域获取模块以得到多个关节感兴趣区域；
关节感兴趣区域排列子单元，用于将所述多个关节感兴趣区域按时间维度排列为三维关节变化输入张量；
关节变化特征获取子单元，用于将所述三维关节变化输入张量通过基于显著目标检测器的关节变化特征提取模块以得到患者关节变化特征图。
在上述基于物联网的康复护理交互式管理系统中，所述患者步态特征获取单元，包括：步态特征获取子单元，用于将所述待监测康复训练患者的多个预定时间点的康复训练图像数据通过基于深浅特征融合模块的步态特征提取器以得到多个步态特征矩阵；
步态变化特征获取子单元，用于将所述多个步态特征矩阵按时间维度排列为三维步态变化输入张量后通过基于空间注意力机制的步态变化特征提取模块以得到患者步态变化特征图。
在上述基于物联网的康复护理交互式管理系统中，所述面部区域获取子单元，用于：
使用基于锚窗的第一目标检测网络以如下公式对待监测康复训练患者的多个预定时间点的康复训练图像数据中的各个康复训练图像数据进行处理以得到所述多个面部感兴趣区域；其中，所述公式为：
；
其中，为康复训练图像数据，为锚框，面部感兴趣区域，表示分类，表示回归。
在上述基于物联网的康复护理交互式管理系统中，所述步态特征获取子单元，用于：从所述步态特征提取器的第i层提取浅层特征矩阵，所述第i层为所述步态特征提取器的第一层至第六层；从所述步态特征提取器的第j层提取深层特征矩阵，所述第j层与所述第i层之间的比值大于等于5；以及使用所述深浅特征融合模块来融合所述浅层特征矩阵和所述深层特征矩阵以得到所述多个步态特征矩阵中各个步态特征矩阵。
根据本申请的第二方面，提供了一种基于物联网的康复护理交互式管理方法，其包括：
采集待监测康复训练患者的多个预定时间点的康复训练图像数据；
对所述待监测康复训练患者的多个预定时间点的康复训练图像数据进行提取和分析以得到患者面部变化特征图以及患者姿态变化特征图；
对所述患者面部变化特征图和所述患者姿态变化特征图进行高维空间单元流形子维度超凸相关性度量以得到患者康复训练特征图；
基于所述患者康复训练特征图，以得到分类结果；
其中，对所述患者面部变化特征图和所述患者姿态变化特征图进行高维空间单元流形子维度超凸相关性度量以得到患者康复训练特征图，用于：以如下公式对所述患者面部变化特征图和所述患者姿态变化特征图进行高维空间单元流形子维度超凸相关性度量以得到患者康复训练特征图；其中，所述公式为：
；
其中，表示所述患者面部变化特征图，表示所述患者姿态变化特征图，表示所述患者面部变化特征图和所述患者姿态变化特征图的均值特征图，表示向量的按位置相减，表示以2为底的对数函数值，和表示权重超参数，表示所述患者康复训练特征图。
与现有技术相比，本申请提供的一种基于物联网的康复护理交互式管理系统及方法，其将采集到的待监测康复训练患者的多个预定时间点的康复训练图像数据作为输入数据，然后通过计算机视觉技术和图像处理技术分别对所述康复训练图像数据中的患者面部特征、关节特征以及整体步态特征进行提取和分析，并结合这些特征得到用于表示待监测康复训练患者的康复训练方案是否需要调整的分类结果。也就是，综合分析患者在康复训练过程中的面部特征、关节特征以及整体步态特征，可以对患者康复动作训练进行多方位分析。这样，有助于提供个性化的康复方案，并给予康复建议，以提高康复护理的效率和全面性。
附图说明
通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1图示了根据本申请实施例的基于物联网的康复护理交互式管理系统的示意性框图。
图2图示了根据本申请实施例的基于物联网的康复护理交互式管理系统中康复训练患者特征提取模块的示意性框图。
图3图示了根据本申请实施例的基于物联网的康复护理交互式管理系统中康复训练患者特征提取模块中患者面部特征获取单元的示意性框图。
图4图示了根据本申请实施例的基于物联网的康复护理交互式管理系统中康复训练患者特征提取模块中患者关节特征获取单元的示意性框图。
图5图示了根据本申请实施例的基于物联网的康复护理交互式管理系统中康复训练患者特征提取模块中患者步态特征获取单元的示意性框图。
图6图示了根据本申请实施例的基于物联网的康复护理交互式管理系统中康复训练患者分类结果生成模块的示意性框图。
图7图示了根据本申请实施例的基于物联网的康复护理交互式管理方法的流程图。
具体实施方式
下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。
示例性系统
图1图示了根据本申请实施例的基于物联网的康复护理交互式管理系统的示意性框图。如图1所示，根据本申请实施例的基于物联网的康复护理交互式管理系统100，包括：康复训练患者数据采集模块110，用于采集待监测康复训练患者的多个预定时间点的康复训练图像数据；康复训练患者特征提取模块120，用于对所述待监测康复训练患者的多个预定时间点的康复训练图像数据进行提取和分析以得到患者面部变化特征图以及患者姿态变化特征图；康复训练患者特征融合模块130，用于对所述患者面部变化特征图和所述患者姿态变化特征图进行高维空间单元流形子维度超凸相关性度量以得到患者康复训练特征图；康复训练患者分类结果生成模块140，用于基于所述患者康复训练特征图，以得到分类结果。
下肢骨折的患者的步态和平衡可能会受到不同程度的影响。康复训练可以通过特定的运动和步态训练来帮助患者恢复正常的步态模式和改善平衡能力，从而减少跌倒和再次受伤的风险。另外，下肢骨折对患者的生活造成了很大的限制和不便。康复训练的目标是帮助患者尽快恢复到正常的日常活动水平，提高生活质量和独立性。因此，为了帮助下肢骨折的患者更高效、快速地恢复，通常需要对其进行针对性的康复训练。
然而，如上述背景技术所述，在现有技术中，患者进行康复训练过程中，往往会忽视患者的心理情绪变化，从而导致患者的康复护理效率降低，同时无法将患者康复动作训练进行多方位分析，导致患者康复动作训练的效率低下，以至于动作训练的针对性缺乏，无法使得患者的康复护理更加高效以及全面。因此，期待一种基于物联网的康复护理交互式管理系统及方法，通过深度学习技术对康复动作训练过程中的状态进行多方位分析，从而提供个性化的康复方案，并给予康复建议，以提高康复护理的效率和全面性。
应可以理解，计算机视觉技术旨在让计算机能够理解和解释图像和视频数据。它涉及图像获取、图像处理、图像分析和图像理解等方面。计算机视觉技术的目标包括图像识别、目标检测与跟踪、姿态估计、三维重建、人脸识别、行为分析等。计算机视觉技术通常利用图像处理、模式识别、机器学习和深度学习等方法和算法来实现。而图像处理技术是指对数字图像进行各种操作和处理的方法和技术。它涉及图像的增强、滤波、压缩、分割、特征提取等方面。图像处理技术的目标是改善图像的质量、提取图像中的有用信息，并为后续的分析和应用提供更好的基础。图像处理技术通常利用数字信号处理、数学建模和算法设计等方法来处理图像数据。
计算机视觉技术和图像处理技术在本系统中发挥着重要的作用。计算机视觉技术可以通过分析患者在康复训练过程中的姿态和动作，实时监测和检测其动作执行的准确性和正确性。通过图像处理技术，可以提取关键点、关节或面部信息，并利用深度学习技术对动作进行识别和分类。因此，在本申请的具体实施例中，通过计算机视觉技术和图像处理技术对输入数据进行特征提取和分析。
在本申请实施例中，所述康复训练患者数据采集模块110，用于采集待监测康复训练患者的多个预定时间点的康复训练图像数据。应可以理解，患者的康复训练图像数据可以反映患者在进行康复训练时的动作准确度。比如，患者的动作准确度高，说明其康复训练状态相对稳定。相反，患者的动作存在错误或不准确，可能意味着其康复训练状态不稳定或需要改进。而通过采集多个预定时间点的康复训练图像数据，系统可以对患者的动作执行情况进行多方位分析。例如，系统可以分析患者的关节活动准确度、步态协调性等指标，以评估患者的康复进展和康复训练的效果。因此，需要采集患者的康复训练图像数据。
具体地，采集待监测康复训练患者的多个预定时间点的康复训练图像数据时，可以在康复训练场所安装摄像头或使用便携式相机进行图像采集。摄像头可以实时捕捉患者的康复训练过程，而相机可以在特定时间点进行快照。
值得一提的是，除了本申请实施例中所述的图像采集，还可以使用传感器和穿戴设备来获取患者的运动数据。例如，加速度计、陀螺仪和压力传感器可以记录患者的运动轨迹、力度和平衡状态。这些数据可以与图像数据结合使用，提供更全面的康复分析和评估。
在本申请实施例中，所述康复训练患者特征提取模块120，用于对所述待监测康复训练患者的多个预定时间点的康复训练图像数据进行提取和分析以得到患者面部变化特征图以及患者姿态变化特征图。应可以理解，采集到这些输入数据之后，进一步对这些输入数据进行特征提取和分析任务。
具体地，图2图示了根据本申请实施例的基于物联网的康复护理交互式管理系统中康复训练患者特征提取模块的示意性框图。如图2所示，所述康复训练患者特征提取模块120，包括：患者面部特征获取单元121，用于对所述待监测康复训练患者的多个预定时间点的康复训练图像数据进行卷积编码以得到患者面部变化特征图；患者关节特征获取单元122，用于对所述待监测康复训练患者的多个预定时间点的康复训练图像数据进行卷积编码以得到患者关节变化特征图；患者步态特征获取单元123，用于对所述待监测康复训练患者的多个预定时间点的康复训练图像数据进行卷积编码以得到患者步态变化特征图；关联特征获取单元124，用于将所述患者关节变化特征图和所述患者步态变化特征图进行融合以得到所述患者姿态变化特征图。
首先对所述待监测康复训练患者的多个预定时间点的康复训练图像数据中患者的面部特征进行提取和分析。应可以理解，患者的情绪状态可以影响其对康复训练任务的投入程度和动作准确度。例如，如果患者表现出焦虑或疼痛等情绪状态，可能需要调整康复训练计划来减轻患者的不适感，提高其参与度和动作准确度。考虑到患者的面部表情是情绪状态的重要表达方式之一。通过监测患者的面部表情，可以了解他们的情绪状态，如快乐、焦虑、疼痛等。因此，为了更好地调整训练计划，并提供个性化的康复指导，还需要通过对患者的面部表情进行分析以判断其在康复训练过程中的情绪状态。
具体地，图3图示了根据本申请实施例的基于物联网的康复护理交互式管理系统中康复训练患者特征提取模块中患者面部特征获取单元的示意性框图。如图3所示，所述患者面部特征获取单元121，包括：面部区域获取子单元121-1，用于将所述待监测康复训练患者的多个预定时间点的康复训练图像数据通过基于第一目标检测网络的面部区域获取模块以得到多个面部感兴趣区域；面部感兴趣区域排列子单元121-2，用于将所述多个面部感兴趣区域按时间维度排列为三维面部变化输入张量；面部变化特征获取子单元121-3，用于将所述三维面部变化输入张量通过基于三维卷积神经网络模型的面部变化特征提取模块以得到患者面部变化特征图。其中，所述第一目标检测网络是基于锚窗的第一目标检测网络。
考虑到直接对整个图像数据进行特征提取可能会导致计算和存储的负担过重。通过先获取面部区域，可以减少需要处理的数据量，提高数据处理的效率。此外，面部区域通常具有较高的分辨率和信息密度，因此，通过分析面部区域可以获得更丰富和准确的特征信息。基于此，为了更准确地捕捉患者的面部变化特征，首先通过基于第一目标检测网络的面部区域获取模块对所述待监测康复训练患者的多个预定时间点的康复训练图像数据中各个康复训练图像数据中的患者面部区域进行获取。进一步地，应可以理解，相比基于无锚窗的目标检测网络，基于锚窗的目标检测网络可以根据目标物体的尺度和形状进行调整，从而更好地适应不同大小和形状的目标。因此，在本申请的具体实施例中，使用基于锚窗的第一目标检测网络对患者的面部区域进行捕捉。其中，所述基于锚窗的第一目标检测网络为Fast R-CNN、Faster R-CNN或RetinaNet。
在本申请的一个具体实施例中，所述面部区域获取子单元121-1，用于：使用所述基于锚窗的第一目标检测网络以如下公式对待监测康复训练患者的多个预定时间点的康复训练图像数据中的各个康复训练图像数据进行处理以得到所述多个面部感兴趣区域；其中，所述公式为：
；
其中，为康复训练图像数据，为锚框，面部感兴趣区域，表示分类，表示回归。
接着，应可以理解，按时间维度排列面部感兴趣区域可以形成一个三维面部变化输入张量。这个张量可以被送入深度学习模型进行训练和特征提取。相比于仅使用单个静态图像进行特征提取，三维面部变化输入张量可以提供更丰富和准确的动态特征信息，更好地反映患者康复训练过程中的状态变化。因此，为了更好地捕捉患者在康复训练过程中的面部变化特征，将所述多个面部感兴趣区域按时间维度进行排列以得到三维面部变化输入张量。
进一步地，考虑到康复训练过程中的面部变化是一个时序的三维数据，包含时间、空间和特征维度。传统的二维卷积神经网络适用于处理静态图像数据，而三维卷积神经网络能够有效地从时序数据中提取动态特征。也就是，通过使用基于三维卷积神经网络模型的面部变化特征提取模块，可以更好地捕捉康复训练过程中的面部变化特征，提高特征提取的准确性和鲁棒性。因此，为了更好地捕捉康复训练过程中的动态特征，进一步使用基于三维卷积神经网络模型的面部变化特征提取模块对所述三维面部变化输入张量进行深度卷积编码以得到患者面部变化特征图。
在本申请的一个具体实施例中，所述面部变化特征获取子单元121-3，用于：使用所述三维卷积神经网络模型的各层在层的正向传递中对输入数据分别进行：对所述输入数据进行基于三维卷积核的卷积处理以得到卷积特征图；对所述卷积特征图进行基于局部特征矩阵的池化处理以得到池化特征图；对所述池化特征图进行非线性激活以得到激活特征图；其中，所述三维卷积神经网络模型的第一层的输入为所述三维面部变化输入张量，所述三维卷积神经网络模型的最后一层的输出为所述患者面部变化特征图。
接着对所述待监测康复训练患者的多个预定时间点的康复训练图像数据中患者的关节特征进行提取和分析。应可以理解，不同患者在康复训练中可能存在不同的关节问题和需求。通过提取和分析患者的关节特征，可以了解患者的关节状况和特点，从而为其设计个性化的康复方案。通过针对患者的具体关节特征进行康复训练，可以提高康复效果和效率。因此，为了更好地监测康复进展并根据需要调整康复方案，还需要对患者的关节特征进行分析。
具体地，图4图示了根据本申请实施例的基于物联网的康复护理交互式管理系统中康复训练患者特征提取模块中患者关节特征获取单元的示意性框图。如图4所示，所述患者关节特征获取单元122，包括：关节区域获取子单元122-1，用于将所述待监测康复训练患者的多个预定时间点的康复训练图像数据通过基于第二目标检测网络的关节区域获取模块以得到多个关节感兴趣区域；关节感兴趣区域排列子单元122-2，用于将所述多个关节感兴趣区域按时间维度排列为三维关节变化输入张量；关节变化特征获取子单元122-3，用于将所述三维关节变化输入张量通过基于显著目标检测器的关节变化特征提取模块以得到患者关节变化特征图。
应可以理解，康复训练图像数据通常具有较高的分辨率和复杂性，直接对整个图像进行特征提取和分析可能会导致计算复杂度较高。通过先获取患者的关节区域，可以减少需要处理的图像区域的数量，降低计算复杂度，提高系统的实时性和效率。因此，为了更高效地捕捉患者的关节部位的特征信息，首先要对患者在康复训练过程中的关节区域进行采集。进一步地，考虑到康复训练图像中可能存在多个关节区域需要捕捉和分析。而目标检测网络具有多目标处理的能力，可以同时检测和定位多个关节区域，提高系统的全面性和效率。因此，为了更全面地捕捉患者的关节区域，使用基于第二目标检测网络的关节区域获取模块对患者在康复训练过程中的关节区域进行捕捉和分析。
在本申请的一个具体实施例中，所述关节区域获取子单元122-1，具体的获取步骤为：1、数据采集：在预定的时间点，使用相应的设备（如摄像头）对康复训练患者进行拍摄，获取康复训练图像数据。这些图像数据可以包含患者进行康复训练时的动作、姿势等信息。2、图像预处理：对采集到的康复训练图像数据进行预处理，包括图像去噪、图像增强等操作，以提高后续处理的准确性和效果。3、第二目标检测网络：使用训练好的第二目标检测网络模型，将预处理后的图像输入网络进行处理。目标检测网络会在图像中定位和识别关节区域，生成关节的边界框位置信息。4、关节感兴趣区域提取：根据目标检测网络生成的关节边界框位置信息，从原始图像中提取关节感兴趣区域。这些区域通常是包含关节的局部图像区域，用于后续的关节特征提取和分析。5、关节感兴趣区域分析：对提取的关节感兴趣区域进行进一步的分析，可以使用计算机视觉和深度学习技术提取关节的特征、运动轨迹等信息。这些分析结果可以用于评估患者的康复状态、动作准确性等，并为个性化的康复方案和建议提供依据。
通过以上步骤，系统可以获取患者多个预定时间点的康复训练图像数据，并通过第二目标检测网络的关节区域获取模块提取多个关节感兴趣区域。这样的设计可以实现对康复训练过程中的状态进行多方位分析，为患者提供个性化的康复方案和建议，从而提高康复护理的效率和全面性。
接着，应可以理解，康复训练是一个时间序列过程，患者的关节状态随着时间的推移而变化。通过按时间维度排列关节感兴趣区域，可以保留康复训练过程中的时序信息。这样的设计可以更好地捕捉到关节状态的动态变化，有助于分析康复训练的进展和效果。因此，为了保留康复训练过程中患者的关节在时间维度上的变化特征，将所述多个关节感兴趣区域按时间维度进行排列以得到三维关节变化输入张量。
进一步地，应可以理解，康复训练的目标是通过监测和改善患者的关节状态来促进康复。关节变化是评估康复训练效果的重要指标之一。通过提取关节变化特征，可以更好地理解患者在康复训练过程中的关节状态变化，从而为个性化的康复方案和建议提供依据。另外，考虑到在关节变化特征提取中，显著目标检测器可以帮助识别和提取关键的关节变化区域。通过使用显著目标检测器，可以自动定位和提取关节变化的重要区域，减少冗余信息的干扰，提高关节变化特征的准确性和可靠性。因此，为了更好地为个性化的康复方案和建议提供更准确和全面的依据，进一步通过基于显著目标检测器的关节变化特征提取模块对所述三维关节变化输入张量进行深度卷积编码以得到患者关节变化特征图。
在本申请的一个具体实施例中，所述关节变化特征获取子单元122-3，用于：使用所述基于显著目标检测器的关节变化特征提取模块的各层在层的正向传递中分别对输入数据进行：使用第一卷积核对所述输入数据进行卷积处理以得到第一卷积特征图；使用第二卷积核对所述第一卷积特征图进行卷积处理以得到第二卷积特征图，其中，所述第一卷积核的尺寸大于所述第二卷积核的尺寸；以及对所述第二卷积特征图进行池化处理以得到池化特征图；以及对所述池化特征图进行激活处理以得到激活特征图；其中，所述关节变化特征提取模块的最后一层的输出为所述患者关节变化特征图，所述关节变化特征提取模块的第一层的输入为所述三维关节变化输入张量。
再接着对所述待监测康复训练患者的多个预定时间点的康复训练图像数据中患者的步态特征进行提取和分析。应可以理解，步态是人体行走的动作表现，包括步伐、步频、步态对称性等方面。通过分析患者的步态特征，可以评估患者的运动能力、平衡性以及康复训练的效果。步态特征在康复护理中被广泛应用，可以帮助医护人员了解患者的康复进展和制定个性化的康复方案。因此，为了为患者提供个性化的康复建议和指导，从而提高康复护理的效率和全面性，还需要对患者的步态特征进行分析。
具体地，图5图示了根据本申请实施例的基于物联网的康复护理交互式管理系统中康复训练患者特征提取模块中患者步态特征获取单元的示意性框图。如图5所示，所述患者步态特征获取单元123，包括：步态特征获取子单元123-1，用于将所述待监测康复训练患者的多个预定时间点的康复训练图像数据通过基于深浅特征融合模块的步态特征提取器以得到多个步态特征矩阵；步态变化特征获取子单元123-2，用于将所述多个步态特征矩阵按时间维度排列为三维步态变化输入张量后通过基于空间注意力机制的步态变化特征提取模块以得到患者步态变化特征图。
应可以理解，患者康复训练过程中的步态是由多个方面的特征组成的，包括步伐、步频、步态对称性、关节角度等。这些特征既包括了康复训练动作的细节信息，也反映了患者康复的整体状态。在这些步态特征中，不仅包含了患者的关节角度、步态参数等浅层特征，还包含患者的姿态、动作轨迹等深层特征。因此，为了更全面地了解患者的康复训练状态，通过深浅特征融合模块的步态特征提取器对所述待监测康复训练患者的多个预定时间点的康复训练图像数据进行卷积编码以获取图像中的深层特征和浅层特征。这样，通过综合分析这些深层特征和浅层特征，可以更全面地了解患者的康复训练状态，为个性化的康复方案和建议提供准确和可靠的依据。
在本申请的一个具体实施例中，所述步态特征获取子单元123-1，用于：从所述步态特征提取器的第i层提取浅层特征矩阵，所述第i层为所述步态特征提取器的第一层至第六层；从所述步态特征提取器的第j层提取深层特征矩阵，所述第j层与所述第i层之间的比值大于等于5；以及使用所述深浅特征融合模块来融合所述浅层特征矩阵和所述深层特征矩阵以得到所述多个步态特征矩阵中各个步态特征矩阵。
接着，应可以理解，康复训练是一个动态的过程，患者的步态在时间上会发生变化。通过按时间维度排列多个步态特征矩阵，可以保留康复训练过程中的时序信息。这样可以更好地分析患者的步态变化趋势和动态特征，为个性化的康复方案和建议提供更准确和全面的依据。因此，首先将所述多个步态特征矩阵按时间维度排列为三维步态变化输入张量。进一步地，考虑到空间注意力机制可以根据图像数据的内容自适应地调整特征的权重。通过使用空间注意力机制，可以增强步态变化特征提取模块对关键区域的特征表达能力，提取出更具代表性和重要性的步态特征。因此，为了充分利用康复训练过程中的时序信息和关键区域信息，使用基于空间注意力机制的步态变化特征提取模块对所述三维步态变化输入张量进行深度卷积编码以得到患者步态变化特征图。这样，可以提高步态特征的准确性和表达能力，进而提高康复分析和个性化方案的准确性和可靠性。
在本申请的一个具体实施例中，所述步态变化特征获取子单元123-2，用于：使用所述步态变化特征提取模块的卷积编码部分对所述三维步态变化输入张量进行深度卷积编码以得到初始卷积特征图；将所述初始卷积特征图输入所述步态变化特征提取模块的空间注意力部分以得到空间注意力图；将所述空间注意力图通过Softmax激活函数以得到空间注意力特征图；计算所述空间注意力特征图和所述初始卷积特征图的按位置点乘以得到所述患者步态变化特征图。
进一步地，考虑到患者的姿态是由关节变化和步态变化共同决定的。关节变化特征图反映了患者关节角度的变化情况，而步态变化特征图反映了患者整体步态的变化情况。通过将这两个特征图进行融合，可以综合考虑关节变化和步态变化对患者姿态的影响，提供更全面和准确的姿态变化特征。因此，为了获取更全面和准确的患者姿态变化特征，为个性化的康复方案和建议提供更可靠和有效的依据，进一步将所述患者关节变化特征图和所述患者步态变化特征图进行融合以得到所述患者姿态变化特征图。
在本申请的一个具体实施例中，所述关联特征获取单元124，用于：以如下公式来融合所述患者关节变化特征图和所述患者步态变化特征图以获得所述患者姿态变化特征图，其中，所述融合公式为：
；
其中，为所述患者姿态变化特征图，为所述患者关节变化特征图，为所述患者步态变化特征图，“”表示所述患者关节变化特征图和所述患者步态变化特征图相对应位置处的元素相加，和为用于控制所述患者姿态变化特征图中所述患者关节变化特征图和所述患者步态变化特征图之间的平衡的加权参数。
在本申请实施例中，所述康复训练患者特征融合模块130，用于对所述患者面部变化特征图和所述患者姿态变化特征图进行高维空间单元流形子维度超凸相关性度量以得到患者康复训练特征图。
特别地，在本申请的技术方案中，考虑到由于患者面部变化特征图和患者姿态变化特征图是通过不同编码方式和不同数据源提取得到的，因此，患者面部变化特征图和患者姿态变化特征图在高维特征空间单元中会存在维度和尺度上的差异。具体地，维度差异指的是面部变化特征图和姿态变化特征图的特征表示在高维特征空间中的维度不同。面部变化特征图可能具有更高的维度，因为面部区域具有更多的细节信息，例如表情、皱纹等。而姿态变化特征图可能具有较低的维度，因为姿态变化主要涉及身体的整体姿势变化。尺度差异指的是面部变化特征图和姿态变化特征图的特征表示在高维特征空间中的尺度不同。面部变化特征图可能具有较小的尺度，因为面部区域的变化通常是微小的，例如微笑、眨眼等。而姿态变化特征图可能具有较大的尺度，因为身体姿态的变化通常涉及到身体的整体姿势变化，例如站立、行走等。由于维度和尺度的差异，当融合面部变化特征图和姿态变化特征图时，可能会出现问题。例如，由于维度差异，特征融合过程中可能会出现部分特征之间的信息丢失或混叠，导致局部结构性崩塌。而由于尺度差异，特征融合过程中可能会出现病态对齐问题，即不同尺度的特征在融合过程中难以对齐，导致融合得到的康复训练特征图不准确或不稳定。基于此，本申请对所述患者面部变化特征图和所述患者姿态变化特征图进行高维空间单元流形子维度超凸相关性度量以得到患者康复训练特征图。
具体地，在本申请的一个具体实施例中，所述康复训练患者特征融合模块130，用于：以如下公式对所述患者面部变化特征图和所述患者姿态变化特征图进行高维空间单元流形子维度超凸相关性度量以得到患者康复训练特征图；其中，所述公式为：
；
其中，表示所述患者面部变化特征图，表示所述患者姿态变化特征图，表示所述患者面部变化特征图和所述患者姿态变化特征图的均值特征图，表示向量的按位置相减，表示以2为底的对数函数值，和表示权重超参数，表示所述患者康复训练特征图。
也就是，考虑到所述患者面部变化特征图和所述患者姿态变化特征图在高维特征空间单元中的特征流形存在维度和尺度上的差异，导致在融合所述患者面部变化特征图和所述患者姿态变化特征图的过程中，会出现因维度和尺度差异而导致融合得到的所述分类特征图容易出现局部结构性崩塌或者病态对齐等技术问题。
针对上述技术问题，在本申请的技术方案中，对所述患者面部变化特征图和所述患者姿态变化特征图进行高维空间单元流形子维度超凸相关性度量，其以所述患者面部变化特征图和所述患者姿态变化特征图的均值特征图作为特征流形伪聚类中心，并通过构建一个基于特征图的特征流形的超凸相关性度量函数，使得特征图间的每个位置的特征值都能够在其子维度上保持与特征流形伪聚类中心的一致性，从而实现特征图的特征流形的超凸相关性匹配，这样有效地衡量特征图间的特征流形的相似性和差异性，增强特征图的特征流形的超凸相关性，提高特征图的特征流形的鲁棒性和准确性。
在本申请实施例中，所述康复训练患者分类结果生成模块140，用于基于所述患者康复训练特征图，以得到分类结果。
具体地，图6图示了根据本申请实施例的基于物联网的康复护理交互式管理系统中康复训练患者分类结果生成模块的示意性框图。如图6所示，所述康复训练患者分类结果生成模块140，包括：患者康复训练融合特征获取单元141，用于将所述患者康复训练特征图通过基于卷积神经网络模型的康复训练特征提取模块以得到患者康复训练分类特征图；患者康复训练特征分类单元142，用于将所述患者康复训练分类特征图通过分类器以得到分类结果。其中，所述分类结果用于表示待监测康复训练患者的康复训练方案是否需要调整。
应可以理解，卷积神经网络（Convolutional Neural Network，CNN）是一种在图像处理领域表现出色的深度学习模型。它能够自动从输入的图像数据中提取有用的特征，并具有良好的特征表达能力。基于此，使用基于卷积神经网络模型的康复训练特征提取模块对所述患者康复训练特征图进行更深层次的特征获取。这样，通过将患者康复训练特征图输入到基于CNN的特征提取模块中，可以利用CNN模型的强大特征提取能力，从中提取出更具代表性和判别性的特征。
在本申请的一个具体实施例中，所述患者康复训练融合特征获取单元141，用于：使用所述卷积神经网络模型的各层在层的正向传递中对输入数据分别进行：对所述输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行基于局部特征矩阵的池化处理以得到池化特征图；对所述池化特征图进行非线性激活以得到激活特征图；其中，所述卷积神经网络模型的最后一层的输出为所述患者康复训练分类特征图。
然后，应可以理解，分类器具有较强的判别能力，能够根据输入的特征对不同的类别进行有效区分。在康复护理中，分类器可以根据患者的康复训练分类特征图中提取的特征，判断患者当前的康复训练情况是否符合预期，是否需要进行调整。通过分类器的判别能力，可以及时发现康复训练中存在的问题，为患者提供个性化的康复训练方案。因此，在本申请实施例中，通过分类器对所述患者康复训练分类特征图进行特征分类以得到分类结果。这样，可以帮助康复护理人员及时了解患者的康复训练情况，判断是否需要调整康复训练方案，为患者提供更加个性化和有效的康复护理服务。
在本申请的一个具体实施例中，所述特征分类单元142，用于：使用所述分类器以如下公式对所述患者康复训练分类特征图进行处理以获得所述分类结果；其中，所述公式为：，其中表示将所述患者康复训练分类特征图投影为向量，为权重矩阵，表示偏置向量，表示归一化指数函数，表示所述分类结果。
值得一提的是，除了使用分类器对所述患者康复训练分类特征图进行特征分类之外，还可以使用回归模型。回归模型可以预测一个连续的输出值，而不是将样本分配到不同的类别中。
在这种方法中，可以使用回归模型来学习患者康复训练分类特征图与康复训练方案调整之间的关系。通过对一组已知康复训练分类特征图和相应康复训练方案调整的样本进行训练，回归模型可以学习到输入特征与输出调整值之间的映射关系。然后，将待监测患者的康复训练分类特征图输入到训练好的回归模型中，即可得到一个连续的预测值，表示康复训练方案的调整程度。
这种方法的优势在于可以提供更加细粒度的调整信息，而不仅仅是简单的分类结果。回归模型可以输出一个连续的数值，表示康复训练方案的调整程度，可以更好地指导康复护理人员进行个性化调整。例如，回归模型可以输出一个调整程度的百分比，表示康复训练方案需要增加或减少的幅度。
需要注意的是，回归模型的训练和使用与分类器略有不同，需要使用回归算法和相应的评估指标来进行模型训练和性能评估。此外，回归模型可能需要更多的数据和更复杂的模型结构来提取和建模康复训练特征图与康复训练方案调整之间的关系。
综上，根据本申请实施例的所述基于物联网的康复护理交互式管理系统被阐明，其将采集到的待监测康复训练患者的多个预定时间点的康复训练图像数据作为输入数据，然后通过计算机视觉技术和图像处理技术分别对所述康复训练图像数据中的患者面部特征、关节特征以及整体步态特征进行提取和分析，并结合这些特征得到用于表示待监测康复训练患者的康复训练方案是否需要调整的分类结果。也就是，综合分析患者在康复训练过程中的面部特征、关节特征以及整体步态特征，可以对患者康复动作训练进行多方位分析。这样，有助于提供个性化的康复方案，并给予康复建议，以提高康复护理的效率和全面性。
如上所述，根据本申请实施例的基于物联网的康复护理交互式管理系统100可以实现在各种无线终端中，例如用于基于物联网的康复护理交互式管理的服务器等。在一个示例中，根据本申请实施例的基于物联网的康复护理交互式管理系统100可以作为一个软件模块和/或硬件模块而集成到无线终端中。例如，该基于物联网的康复护理交互式管理系统100可以是该无线终端的操作系统中的一个软件模块，或者可以是针对于该无线终端所开发的一个应用程序；当然，该基于物联网的康复护理交互式管理系统100同样可以是该无线终端的众多硬件模块之一。
替换地，在另一示例中，该基于物联网的康复护理交互式管理系统100与该无线终端也可以是分立的设备，并且基于物联网的康复护理交互式管理系统100可以通过有线和/或无线网络连接到该无线终端，并且按照约定的数据格式来传输交互信息。
示例性方法
图7图示了根据本申请实施例的基于物联网的康复护理交互式管理方法的流程图。如图7所示，根据本申请实施例的所述基于物联网的康复护理交互式管理方法，包括：S1，采集待监测康复训练患者的多个预定时间点的康复训练图像数据；S2，对所述待监测康复训练患者的多个预定时间点的康复训练图像数据进行提取和分析以得到患者面部变化特征图以及患者姿态变化特征图；S3，对所述患者面部变化特征图和所述患者姿态变化特征图进行高维空间单元流形子维度超凸相关性度量以得到患者康复训练特征图；S4，基于所述患者康复训练特征图，以得到分类结果。
这里，本领域技术人员可以理解，上述基于物联网的康复护理交互式管理方法中的各个步骤的具体功能和操作已经在上面参考图1的基于物联网的康复护理交互式管理系统的描述中得到了详细介绍，并因此，将省略其重复描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等 )执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory )、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种基于物联网的康复护理交互式管理系统，其特征在于，包括：
康复训练患者数据采集模块，用于采集待监测康复训练患者的多个预定时间点的康复训练图像数据；
康复训练患者特征提取模块，用于对所述待监测康复训练患者的多个预定时间点的康复训练图像数据进行提取和分析以得到患者面部变化特征图以及患者姿态变化特征图；
康复训练患者特征融合模块，用于对所述患者面部变化特征图和所述患者姿态变化特征图进行高维空间单元流形子维度超凸相关性度量以得到患者康复训练特征图；
康复训练患者分类结果生成模块，用于基于所述患者康复训练特征图，以得到分类结果；
其中，所述康复训练患者特征融合模块，用于：以如下公式对所述患者面部变化特征图和所述患者姿态变化特征图进行高维空间单元流形子维度超凸相关性度量以得到患者康复训练特征图；其中，所述公式为：
；
其中，表示所述患者面部变化特征图，表示所述患者姿态变化特征图，表示所述患者面部变化特征图和所述患者姿态变化特征图的均值特征图，表示向量的按位置相减，表示以2为底的对数函数值，和表示权重超参数，表示所述患者康复训练特征图。
2.根据权利要求1所述的基于物联网的康复护理交互式管理系统，其特征在于，所述康复训练患者特征提取模块，包括：
患者面部特征获取单元，用于对所述待监测康复训练患者的多个预定时间点的康复训练图像数据进行卷积编码以得到患者面部变化特征图；
患者关节特征获取单元，用于对所述待监测康复训练患者的多个预定时间点的康复训练图像数据进行卷积编码以得到患者关节变化特征图；
患者步态特征获取单元，用于对所述待监测康复训练患者的多个预定时间点的康复训练图像数据进行卷积编码以得到患者步态变化特征图；
关联特征获取单元，用于将所述患者关节变化特征图和所述患者步态变化特征图进行融合以得到所述患者姿态变化特征图。
3.根据权利要求2所述的基于物联网的康复护理交互式管理系统，其特征在于，所述患者面部特征获取单元，包括：
面部区域获取子单元，用于将所述待监测康复训练患者的多个预定时间点的康复训练图像数据通过基于第一目标检测网络的面部区域获取模块以得到多个面部感兴趣区域；
面部感兴趣区域排列子单元，用于将所述多个面部感兴趣区域按时间维度排列为三维面部变化输入张量；
面部变化特征获取子单元，用于将所述三维面部变化输入张量通过基于三维卷积神经网络模型的面部变化特征提取模块以得到患者面部变化特征图。
4.根据权利要求3所述的基于物联网的康复护理交互式管理系统，其特征在于，所述患者关节特征获取单元，包括：
关节区域获取子单元，用于将所述待监测康复训练患者的多个预定时间点的康复训练图像数据通过基于第二目标检测网络的关节区域获取模块以得到多个关节感兴趣区域；
关节感兴趣区域排列子单元，用于将所述多个关节感兴趣区域按时间维度排列为三维关节变化输入张量；
关节变化特征获取子单元，用于将所述三维关节变化输入张量通过基于显著目标检测器的关节变化特征提取模块以得到患者关节变化特征图。
5.根据权利要求4所述的基于物联网的康复护理交互式管理系统，其特征在于，所述患者步态特征获取单元，包括：
步态特征获取子单元，用于将所述待监测康复训练患者的多个预定时间点的康复训练图像数据通过基于深浅特征融合模块的步态特征提取器以得到多个步态特征矩阵；
步态变化特征获取子单元，用于将所述多个步态特征矩阵按时间维度排列为三维步态变化输入张量后通过基于空间注意力机制的步态变化特征提取模块以得到患者步态变化特征图。
6.根据权利要求5所述的基于物联网的康复护理交互式管理系统，其特征在于，所述面部区域获取子单元，用于：
使用基于锚窗的第一目标检测网络以如下公式对待监测康复训练患者的多个预定时间点的康复训练图像数据中的各个康复训练图像数据进行处理以得到所述多个面部感兴趣区域；其中，所述公式为：
；
其中，为康复训练图像数据，为锚框，面部感兴趣区域，表示分类，表示回归。
7.根据权利要求6所述的基于物联网的康复护理交互式管理系统，其特征在于，所述步态特征获取子单元，用于：
从所述步态特征提取器的第i层提取浅层特征矩阵，所述第i层为所述步态特征提取器的第一层至第六层；
从所述步态特征提取器的第j层提取深层特征矩阵，所述第j层与所述第i层之间的比值大于等于5；
使用所述深浅特征融合模块来融合所述浅层特征矩阵和所述深层特征矩阵以得到所述多个步态特征矩阵中各个步态特征矩阵。
8.根据权利要求7所述的基于物联网的康复护理交互式管理系统，其特征在于，所述康复训练患者分类结果生成模块，包括：
患者康复训练融合特征获取单元，用于将所述患者康复训练特征图通过基于卷积神经网络模型的康复训练特征提取模块以得到患者康复训练分类特征图；
患者康复训练特征分类单元，用于将所述患者康复训练分类特征图通过分类器以得到分类结果。
9.根据权利要求8所述的基于物联网的康复护理交互式管理系统，其特征在于，所述分类结果用于表示待监测康复训练患者的康复训练方案是否需要调整。
10.一种基于物联网的康复护理交互式管理方法，其特征在于,包括：
采集待监测康复训练患者的多个预定时间点的康复训练图像数据；
对所述待监测康复训练患者的多个预定时间点的康复训练图像数据进行提取和分析以得到患者面部变化特征图以及患者姿态变化特征图；
对所述患者面部变化特征图和所述患者姿态变化特征图进行高维空间单元流形子维度超凸相关性度量以得到患者康复训练特征图；
基于所述患者康复训练特征图，以得到分类结果；
其中，对所述患者面部变化特征图和所述患者姿态变化特征图进行高维空间单元流形子维度超凸相关性度量以得到患者康复训练特征图，用于：以如下公式对所述患者面部变化特征图和所述患者姿态变化特征图进行高维空间单元流形子维度超凸相关性度量以得到患者康复训练特征图；其中，所述公式为：
；
其中，表示所述患者面部变化特征图，表示所述患者姿态变化特征图，表示所述患者面部变化特征图和所述患者姿态变化特征图的均值特征图，表示向量的按位置相减，表示以2为底的对数函数值，和表示权重超参数，表示所述患者康复训练特征图。
CN202410140508.5A 2024-02-01 2024-02-01 基于物联网的康复护理交互式管理系统及方法 Active CN117690583B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410140508.5A CN117690583B (zh) 2024-02-01 2024-02-01 基于物联网的康复护理交互式管理系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410140508.5A CN117690583B (zh) 2024-02-01 2024-02-01 基于物联网的康复护理交互式管理系统及方法

Publications (2)

Publication Number Publication Date
CN117690583A true CN117690583A (zh) 2024-03-12
CN117690583B CN117690583B (zh) 2024-04-09

Family

ID=90135659

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410140508.5A Active CN117690583B (zh) 2024-02-01 2024-02-01 基于物联网的康复护理交互式管理系统及方法

Country Status (1)

Country Link
CN (1) CN117690583B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117995411A (zh) * 2024-04-03 2024-05-07 吉林大学 患者护理的运动数据采集分析系统及方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008161228A (ja) * 2006-12-27 2008-07-17 Yokogawa Electric Corp 歩行解析システム
CN112434655A (zh) * 2020-12-07 2021-03-02 安徽大学 一种基于自适应置信度图卷积网络的步态识别方法
KR20210157929A (ko) * 2020-06-22 2021-12-30 주식회사 휴메닉 운동 병합형 가상현실 기반 인지재활 훈련 시스템 및 방법
CN115248355A (zh) * 2022-08-24 2022-10-28 温州诚呈新材料技术有限公司 机械设备故障检测系统及其检测方法
WO2022227275A1 (zh) * 2021-04-27 2022-11-03 浙江工商大学 基于深度学习的端到端的多模态步态识别方法
CN115439927A (zh) * 2022-08-09 2022-12-06 南方科技大学 基于机器人的步态监测方法、装置、设备及存储介质
CN115578749A (zh) * 2022-09-07 2023-01-06 浙江大华技术股份有限公司 步态特征提取及其训练方法、步态识别方法及相关设备
CN116704611A (zh) * 2023-06-15 2023-09-05 山东大学深圳研究院 一种基于运动特征混合和细粒度多阶段特征提取的跨视角步态识别方法
CN116721469A (zh) * 2023-06-29 2023-09-08 中国铁道科学研究院集团有限公司 一种步态识别改进方法、系统及设备和介质
CN117038006A (zh) * 2023-07-21 2023-11-10 筋斗云易行科技(西安)有限责任公司 一种上下肢骨科术后康复训练ai辅助诊断决策的方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008161228A (ja) * 2006-12-27 2008-07-17 Yokogawa Electric Corp 歩行解析システム
KR20210157929A (ko) * 2020-06-22 2021-12-30 주식회사 휴메닉 운동 병합형 가상현실 기반 인지재활 훈련 시스템 및 방법
CN112434655A (zh) * 2020-12-07 2021-03-02 安徽大学 一种基于自适应置信度图卷积网络的步态识别方法
WO2022227275A1 (zh) * 2021-04-27 2022-11-03 浙江工商大学 基于深度学习的端到端的多模态步态识别方法
CN115439927A (zh) * 2022-08-09 2022-12-06 南方科技大学 基于机器人的步态监测方法、装置、设备及存储介质
CN115248355A (zh) * 2022-08-24 2022-10-28 温州诚呈新材料技术有限公司 机械设备故障检测系统及其检测方法
CN115578749A (zh) * 2022-09-07 2023-01-06 浙江大华技术股份有限公司 步态特征提取及其训练方法、步态识别方法及相关设备
CN116704611A (zh) * 2023-06-15 2023-09-05 山东大学深圳研究院 一种基于运动特征混合和细粒度多阶段特征提取的跨视角步态识别方法
CN116721469A (zh) * 2023-06-29 2023-09-08 中国铁道科学研究院集团有限公司 一种步态识别改进方法、系统及设备和介质
CN117038006A (zh) * 2023-07-21 2023-11-10 筋斗云易行科技(西安)有限责任公司 一种上下肢骨科术后康复训练ai辅助诊断决策的方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117995411A (zh) * 2024-04-03 2024-05-07 吉林大学 患者护理的运动数据采集分析系统及方法

Also Published As

Publication number Publication date
CN117690583B (zh) 2024-04-09

Similar Documents

Publication Publication Date Title
CN117690583B (zh) 基于物联网的康复护理交互式管理系统及方法
WO2020018469A1 (en) System and method for automatic evaluation of gait using single or multi-camera recordings
Loureiro et al. Using a skeleton gait energy image for pathological gait classification
CN111401435B (zh) 一种基于运动手环的人体运动模式识别方法
CN117643461B (zh) 基于人工智能的心率智能监测系统及方法
CN113128585B (zh) 一种基于多尺寸卷积核的深度神经网络实现心电异常检测分类方法
CN117995411B (zh) 患者护理的运动数据采集分析系统及方法
US11779260B2 (en) Cognitive function evaluation method, cognitive function evaluation device, and non-transitory computer-readable recording medium in which cognitive function evaluation program is recorded
CN115346670A (zh) 基于姿态识别的帕金森病评级方法、电子设备及介质
Zhang et al. Comparison of OpenPose and HyperPose artificial intelligence models for analysis of hand-held smartphone videos
Gaud et al. Human gait analysis and activity recognition: A review
KR20230120341A (ko) 2차원 영상을 이용한 3차원 인체 관절 각도 예측 방법 및 시스템
CN112487902B (zh) 面向外骨骼的基于tcn-hmm的步态相位分类方法
CN112107290B (zh) 预测对象的多个步态周期的kam的系统、方法和软件应用程序
CN116543455A (zh) 建立帕金森症步态受损评估模型、使用方法、设备及介质
Khokhlova et al. Kinematic covariance based abnormal gait detection
Sethi et al. Multi‐feature gait analysis approach using deep learning in constraint‐free environment
Albuquerque et al. Remote Pathological Gait Classification System
Katiyar et al. Clinical gait data analysis based on spatio-temporal features
Benenaula et al. Classification of Gait Anomalies By Using Space-Time Parameters Obtained With Pose Estimation
CN114999648B (zh) 基于婴儿动态姿态估计的脑性瘫痪早期筛查系统、设备及存储介质
CN116504393B (zh) 基于多模态数据的脊髓型颈椎病运动功能辅助评估系统
Shen et al. MADS: A Deep Learning-Based Toolkit for Motion Analysis in Movement Disorders
CN116831565A (zh) 一种人体步态监测及评估方法
Albuquerque et al. Remote Gait Type Classification System Using Markerless 2D Video. Diagnostics 2021, 11, 1824

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant