CN118051861A - 基于多模态数据的患者运动功能分析系统及方法 - Google Patents

基于多模态数据的患者运动功能分析系统及方法 Download PDF

Info

Publication number
CN118051861A
CN118051861A CN202410451059.6A CN202410451059A CN118051861A CN 118051861 A CN118051861 A CN 118051861A CN 202410451059 A CN202410451059 A CN 202410451059A CN 118051861 A CN118051861 A CN 118051861A
Authority
CN
China
Prior art keywords
feature
feature map
convolution
map
nonlinear
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202410451059.6A
Other languages
English (en)
Other versions
CN118051861B (zh
Inventor
刘志伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jilin University
Original Assignee
Jilin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jilin University filed Critical Jilin University
Priority to CN202410451059.6A priority Critical patent/CN118051861B/zh
Publication of CN118051861A publication Critical patent/CN118051861A/zh
Application granted granted Critical
Publication of CN118051861B publication Critical patent/CN118051861B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/112—Gait analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/389—Electromyography [EMG]
    • A61B5/397—Analysis of electromyograms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2323—Non-hierarchical techniques based on graph theory, e.g. minimum spanning trees [MST] or graph cuts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G06V40/25—Recognition of walking or running movements, e.g. gait recognition
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Engineering & Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Physiology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Psychiatry (AREA)
  • Multimedia (AREA)
  • Dentistry (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Probability & Statistics with Applications (AREA)
  • Radiology & Medical Imaging (AREA)
  • Discrete Mathematics (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)

Abstract

本发明公开一种基于多模态数据的患者运动功能分析系统及方法，涉及患者运动功能分析领域，其对被监控对象在运动过程中的肌电活动参数数据和运行状态监控视频数据进行步态特征提取和时序关联分析以得到局部显著化步态能量特征图和肌电活动参数时序关联特征向量，然后，将所述局部显著化步态能量特征图和所述肌电活动参数时序关联特征向量通过多模态特征交互分析器以得到多模态运动模式表征特征图，最后，基于所述多模态运动模式表征特征图来确定诊断结果，从而全面地评估患者的运动状态并识别患者在运动中的异常模式。

Description

基于多模态数据的患者运动功能分析系统及方法
技术领域
本发明涉及患者运动功能分析领域，具体涉及一种基于多模态数据的患者运动功能分析系统及方法。
背景技术
运动功能分析对于患者的康复治疗至关重要。通过对患者日常活动和运动的动作分析，医生可以了解患者的功能恢复情况，为制定康复计划提供依据。例如，对于冠心病患者，通过有效强度的运动刺激，可以改善血管内皮功能，稳定冠状动脉斑块，促进侧支循环建立，改善心功能，降低再住院率和死亡率，提高生活质量。
现有的运动功能分析主要依赖于复杂的人体运动力学分析。这种方法通常需要运用静力学、运动学和动力学的基本原理，结合解剖学、生理学等知识，对人体运动进行定量研究。这种方式耗时较长，且需要专业的技术人员进行研究和分析，同时更偏重于应用在竞技体育专项领域中，对于患者的康复监测少有应用。因此，期待一种基于多模态数据的优化的患者运动功能分析系统及方法。
发明内容
为了解决上述技术问题而做出了本发明，方案如下：
本发明提供了一种基于多模态数据的患者运动功能分析系统，其包括：
肌电参数采集模块，用于获取由生物传感器采集的被监控对象在运动过程中的肌电活动参数的时间序列；
视频采集模块，用于获取由摄像头采集的所述被监控对象的运行状态监控视频；
步态特征提取与显化模块，用于对所述运行状态监控视频进行步态特征提取与局部特征显著化以得到局部显著化步态能量特征图；
肌电参数时序分析模块，用于对所述肌电活动参数的时间序列进行时序关联分析以得到肌电活动参数时序关联特征向量；
多模态融合表征模块，用于将所述局部显著化步态能量特征图和所述肌电活动参数时序关联特征向量通过多模态特征交互分析器以得到多模态运动模式表征特征图；
诊断结果生成模块，用于基于所述多模态运动模式表征特征图来确定诊断结果；
其中，所述步态特征提取与显化模块，包括：
步态能量分析单元，用于将所述运行状态监控视频通过步态能量分析器以得到步态能量图；
步态特征提取单元，用于利用深度学习网络模型对所述步态能量图进行特征提取以得到步态能量特征图；
局部特征显著化单元，用于将所述步态能量特征图通过局部特征显著器以得到所述局部显著化步态能量特征图；
其中，所述局部特征显著化单元，用于：
将所述步态能量特征图通过多尺度卷积核组进行非线性卷积操作以得到第一非线性卷积特征图、第二非线性卷积特征图、第三非线性卷积特征图和第四非线性卷积特征图；
以如下全局表示公式对所述第一非线性卷积特征图、所述第二非线性卷积特征图、所述第三非线性卷积特征图和所述第四非线性卷积特征图进行处理以得到全局表征特征向量；其中，所述全局表示公式为：
；
；
其中，、/>、/>和/>分别为所述第一非线性卷积特征图、所述第二非线性卷积特征图、所述第三非线性卷积特征图和所述第四非线性卷积特征图，/>为多尺度非线性卷积融合特征图，/>表示级联处理，/>表示所述全局表征特征向量中第/>个特征值，/>表示对所述多尺度非线性卷积融合特征图中第/>个特征矩阵进行全局均值池化处理，/>和/>分别为所述多尺度非线性卷积融合特征图中第/>个特征矩阵的高度和宽度，/>为所述多尺度非线性卷积融合特征图中第/>个特征矩阵中/>位置处的特征值；
对所述全局表征特征向量进行激活处理以得到浓缩全局表征特征向量；
以如下注意力权重施加公式对所述第一非线性卷积特征图、所述第二非线性卷积特征图、所述第三非线性卷积特征图、所述第四非线性卷积特征图和所述浓缩全局表征特征向量进行处理以得到所述局部显著化步态能量特征图；其中，所述注意力权重施加公式为：
；
；
；
；
；
；
其中，、/>、/>、/>分别表示所述第一非线性卷积特征图/>、所述第二非线性卷积特征图/>、所述第三非线性卷积特征图/>和所述第四非线性卷积特征图的权重概率向量，/>表示所述浓缩全局表征特征向量中与所述第一非线性卷积特征图对应的/>通道的向量元素，/>、/>和/>则分别表示所述浓缩全局表征特征向量中与所述第二非线性卷积特征图、所述第三非线性卷积特征图和所述第四非线性卷积特征图对应的/>通道的向量元素，/>为所述局部显著化步态能量特征图，/>表示级联处理。
在上述基于多模态数据的患者运动功能分析系统中，所述步态特征提取单元，用于：
将所述步态能量图通过基于卷积神经网络模型的步态能量特征提取器以得到所述步态能量特征图。
在上述基于多模态数据的患者运动功能分析系统中，所述肌电参数时序分析模块，包括：
肌电活动参数嵌入编码单元，用于将所述肌电活动参数的时间序列中的各个肌电活动参数分别通过基于全连接层的肌电参数嵌入编码器以得到肌电活动参数嵌入编码向量的序列；
一维时序特征提取单元，用于将所述肌电活动参数嵌入编码向量的序列通过基于一维扩展卷积神经网络模型的肌电活动参数时序模式特征提取器以得到所述肌电活动参数时序关联特征向量。
在上述基于多模态数据的患者运动功能分析系统中，所述一维时序特征提取单元，用于：
以如下一维扩展卷积公式对所述肌电活动参数嵌入编码向量的序列进行处理以得到所述肌电活动参数时序关联特征向量；其中，所述一维扩展卷积公式为：
；
；
；
；
其中，至/>为所述肌电活动参数嵌入编码向量的序列中第1至/>个肌电活动参数嵌入编码向量，/>为所述肌电活动参数嵌入编码向量的序列的长度，/>表示级联操作，/>为肌电活动参数嵌入级联编码向量，一维扩展卷积核/>的尺寸为1×/>，/>为原始卷积核的长度，/>为扩展率，/>表示以所述肌电活动参数嵌入级联编码向量中第/>个位置的特征值为首的长度为/>的时间窗口，/>是偏置项，且/>，是非线性激活函数，/>是第/>个局部卷积编码特征向量，/>为所述肌电活动参数嵌入级联编码向量的维度，/>是所述肌电活动参数时序关联特征向量。
在上述基于多模态数据的患者运动功能分析系统中，所述多模态融合表征模块，用于：
将所述肌电活动参数时序关联特征向量通过点卷积层以得到第一卷积特征向量；
将所述第一卷积特征向量通过基于ReLU函数的修正线性单元以得到第一修正卷积特征向量；
将所述第一修正卷积特征向量通过点卷积层以得到第二卷积特征向量；
将所述第二卷积特征向量通过基于Sigmoid函数的修正线性单元以得到第二修正卷积特征向量；
融合所述第二修正卷积特征向量与所述局部显著化步态能量特征图以得到所述多模态运动模式表征特征图。
在上述基于多模态数据的患者运动功能分析系统中，所述诊断结果生成模块，包括：
特征分布聚类优化单元，用于对所述多模态运动模式表征特征图进行特征分布聚类优化以得到优化后多模态运动模式表征特征图；
异常诊断单元，用于将所述优化后多模态运动模式表征特征图通过基于分类器的异常模式诊断器以得到诊断结果，所述诊断结果用于表示是否存在运动异常。
在上述基于多模态数据的患者运动功能分析系统中，所述异常诊断单元，用于：
将所述优化后多模态运动模式表征特征图按照行向量或者列向量展开为优化分类特征向量；
使用所述基于分类器的异常模式诊断器的全连接层对所述优化分类特征向量进行全连接编码以得到编码分类特征向量；
将所述编码分类特征向量输入所述基于分类器的异常模式诊断器的Softmax分类函数以得到所述诊断结果。
本发明还提供了一种基于多模态数据的患者运动功能分析方法，其包括：
获取由生物传感器采集的被监控对象在运动过程中的肌电活动参数的时间序列；
获取由摄像头采集的所述被监控对象的运行状态监控视频；
对所述运行状态监控视频进行步态特征提取与局部特征显著化以得到局部显著化步态能量特征图；
对所述肌电活动参数的时间序列进行时序关联分析以得到肌电活动参数时序关联特征向量；
将所述局部显著化步态能量特征图和所述肌电活动参数时序关联特征向量通过多模态特征交互分析器以得到多模态运动模式表征特征图；
基于所述多模态运动模式表征特征图来确定诊断结果；
其中，对所述运行状态监控视频进行步态特征提取与局部特征显著化以得到局部显著化步态能量特征图，包括：
将所述运行状态监控视频通过步态能量分析器以得到步态能量图；
利用深度学习网络模型对所述步态能量图进行特征提取以得到步态能量特征图；
将所述步态能量特征图通过局部特征显著器以得到所述局部显著化步态能量特征图；
其中，将所述步态能量特征图通过局部特征显著器以得到所述局部显著化步态能量特征图，包括：
将所述步态能量特征图通过多尺度卷积核组进行非线性卷积操作以得到第一非线性卷积特征图、第二非线性卷积特征图、第三非线性卷积特征图和第四非线性卷积特征图；
以如下全局表示公式对所述第一非线性卷积特征图、所述第二非线性卷积特征图、所述第三非线性卷积特征图和所述第四非线性卷积特征图进行处理以得到全局表征特征向量；其中，所述全局表示公式为：
；
；
其中，、/>、/>和/>分别为所述第一非线性卷积特征图、所述第二非线性卷积特征图、所述第三非线性卷积特征图和所述第四非线性卷积特征图，/>为多尺度非线性卷积融合特征图，/>表示级联处理，/>表示所述全局表征特征向量中第/>个特征值，/>表示对所述多尺度非线性卷积融合特征图中第/>个特征矩阵进行全局均值池化处理，/>和/>分别为所述多尺度非线性卷积融合特征图中第/>个特征矩阵的高度和宽度，/>为所述多尺度非线性卷积融合特征图中第/>个特征矩阵中/>位置处的特征值；
对所述全局表征特征向量进行激活处理以得到浓缩全局表征特征向量；
以如下注意力权重施加公式对所述第一非线性卷积特征图、所述第二非线性卷积特征图、所述第三非线性卷积特征图、所述第四非线性卷积特征图和所述浓缩全局表征特征向量进行处理以得到所述局部显著化步态能量特征图；其中，所述注意力权重施加公式为：
；
；
；
；
；
；
其中，、/>、/>、/>分别表示所述第一非线性卷积特征图/>、所述第二非线性卷积特征图/>、所述第三非线性卷积特征图/>和所述第四非线性卷积特征图的权重概率向量，/>表示所述浓缩全局表征特征向量中与所述第一非线性卷积特征图对应的/>通道的向量元素，/>、/>和/>则分别表示所述浓缩全局表征特征向量中与所述第二非线性卷积特征图、所述第三非线性卷积特征图和所述第四非线性卷积特征图对应的/>通道的向量元素，/>为所述局部显著化步态能量特征图，/>表示级联处理。
本发明的基于多模态数据的患者运动功能分析系统及方法，其综合利用被监控对象在运动过程中的肌电活动参数数据和运行状态监控视频数据，结合步态能量分析技术和基于深度学习的人工智能技术来对两者所蕴含的关于被监控对象的运动模式进行特征提取和多模态特征交互分析，从而全面地评估患者的运动状态并识别患者在运动中的异常模式。
附图说明
图1示出了本发明实施例中基于多模态数据的患者运动功能分析系统的应用架构示意图；
图2示出了本发明实施例中基于多模态数据的患者运动功能分析系统的结构示意图；
图3示出了本发明实施例中基于多模态数据的患者运动功能分析系统的步态特征提取与显化模块的结构示意图；
图4示出了本发明实施例中基于多模态数据的患者运动功能分析系统的肌电参数时序分析模块的结构示意图；
图5示出了本发明实施例中基于多模态数据的患者运动功能分析系统的诊断结果生成模块的结构示意图；
图6示出了本发明实施例中基于多模态数据的患者运动功能分析方法的流程图；
图7示出了本发明实施例中基于多模态数据的患者运动功能分析系统的应用场景图；
图8示出了根据本发明的实施例的存储介质的示意图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显而易见地，所描述的实施例仅仅是本发明的部分实施例，而不是全部的实施例。基于本发明实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，也属于本发明保护的范围。
本说明书中使用的术语是考虑到关于本发明的功能而在本领域中当前广泛使用的那些通用术语，但是这些术语可以根据本领域普通技术人员的意图、先例或本领域新技术而变化。此外，特定术语可以由申请人选择，并且在这种情况下，其详细含义将在本发明的详细描述中描述。因此，说明书中使用的术语不应理解为简单的名称，而是基于术语的含义和本发明的总体描述。
本发明中使用了流程图来说明本发明的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，根据需要，可以按照倒序或同时处理各种步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
图1示出了本发明实施例中基于多模态数据的患者运动功能分析系统的应用架构示意图，包括服务器100、终端设备200。
终端设备200与服务器100之间可以通过互联网相连，实现相互之间的通信。可选地，上述的互联网使用标准通信技术和/或协议。互联网通常为因特网、但也可以是任何网络，包括但不限于局域网（Local Area Network，LAN）、城域网（MetropolitanAreaNetwork，MAN）、广域网（Wide Area Network，WAN）、移动、有线或者无线网络、专用网络或者虚拟专用网络的任何组合。在一些实施例中，使用包括超文本标记语言（Hyper TextMarkupLanguage，HTML）、可扩展标记语言（Extensible Markup Language，XML）等的技术和/或格式来代表通过网络交换的数据。此外还可以使用诸如安全套接字层（SecureSocketLayer，SSL）、传输层安全（Transport Layer Security，TLS）、虚拟专用网络（VirtualPrivate Network，VPN）、网际协议安全（Internet Protocol Security，IPsec）等常规加密技术来加密所有或者一些链路。在另一些实施例中，还可以使用定制和/或专用数据通信技术取代或者补充上述数据通信技术。
服务器100可以为终端设备200提供各种网络服务，其中，服务器100可以是一台服务器、若干台服务器组成的服务器集群或云计算中心。具体地，服务器100可以包括处理器110（Center Processing Unit，CPU）、存储器120、输入设备130和输出设备140等，输入设备130可以包括键盘、鼠标、触摸屏等，输出设备140可以包括显示设备，如液晶显示器（LiquidCrystal Display，LCD）、阴极射线管（Cathode Ray Tube，CRT）等。
存储器120可以包括只读存储器（ROM）和随机存取存储器（RAM），并向处理器110提供存储器120中存储的程序指令和数据。在本发明实施例中，存储器120可以用于存储本发明实施例中基于多模态数据的患者运动功能分析系统相应的方法。
处理器110通过调用存储器120存储的程序指令，处理器110用于按照获得的程序指令执行本发明实施例中任一种基于多模态数据的患者运动功能分析方法的步骤。
另外，本发明实施例中的应用架构图是为了更加清楚地说明本发明实施例中的技术方案，并不构成对本发明实施例提供的技术方案的限制，当然，对于其它的应用架构和业务应用，本发明实施例提供的技术方案对于类似的问题，同样适用。
下面通过几个示例或实施例对根据本发明至少一个实施例提供的基于多模态数据的患者运动功能分析系统进行非限制性的说明，如下面所描述的，在不相互抵触的情况下这些具体示例或实施例中不同特征可以相互组合，从而得到新的示例或实施例，这些新的示例或实施例也都属于本发明保护的范围。
针对上述技术问题，本申请的技术构思是：综合利用被监控对象在运动过程中的肌电活动参数数据和运行状态监控视频数据，结合步态能量分析技术和基于深度学习的人工智能技术来对两者所蕴含的关于被监控对象的运动模式进行特征提取和多模态特征交互分析，从而全面地评估患者的运动状态并识别患者在运动中的异常模式。
基于此，图2示出了本发明实施例中基于多模态数据的患者运动功能分析系统800的结构示意图。该基于多模态数据的患者运动功能分析系统800，包括：肌电参数采集模块810，用于获取由生物传感器采集的被监控对象在运动过程中的肌电活动参数的时间序列；视频采集模块820，用于获取由摄像头采集的所述被监控对象的运行状态监控视频；步态特征提取与显化模块830，用于对所述运行状态监控视频进行步态特征提取与局部特征显著化以得到局部显著化步态能量特征图；肌电参数时序分析模块840，用于对所述肌电活动参数的时间序列进行时序关联分析以得到肌电活动参数时序关联特征向量；多模态融合表征模块850，用于将所述局部显著化步态能量特征图和所述肌电活动参数时序关联特征向量通过多模态特征交互分析器以得到多模态运动模式表征特征图；以及，诊断结果生成模块860，用于基于所述多模态运动模式表征特征图来确定诊断结果。
具体地，在本申请的技术方案中，首先，获取由生物传感器采集的被监控对象在运动过程中的肌电活动参数的时间序列；并获取由摄像头采集的所述被监控对象的运行状态监控视频。其中，所述肌电活动参数的时间序列能够客观反映所述被监控对象在运动过程中肌肉的活动情况，揭示在运动过程中肌肉的协调性和活动程度。而所述运行状态监控视频可以提供所述被监控对象全面的运动姿势信息，反映运动中的状态。
然后，将所述运行状态监控视频通过步态能量分析器以得到步态能量图。这里，所述步态能量图是通过分析所述被监控对象在运动过程中的步态信息而生成的图像化表示。它通常显示了步态周期内不同时间点或步态周期间的能量分布情况，反映了所述被监控对象在步行或奔跑等运动过程中的能量消耗和分布情况。步态能量图可以帮助评估步态质量、步态稳定性以及步态异常，对于运动功能分析和康复监测具有重要意义。具体来说，在本申请的技术方案中，所述步态能量分析器能够从所述运行状态监控视频中提取步态特征，如步频、步幅、步态稳定性等，这些特征对于评估患者的步态质量和步态异常至关重要。
与此同时，将所述肌电活动参数的时间序列中的各个肌电活动参数分别通过基于全连接层的肌电参数嵌入编码器以得到肌电活动参数嵌入编码向量的序列。这里，通过所述基于全连接层的肌电参数嵌入编码器可以将原始源域数据的各个肌电活动参数转化为更具代表性的向量化表示。这有助于提取和压缩关键信息，减少数据的维度，同时保留重要的特征。这样以后，将所述肌电活动参数嵌入编码向量的序列通过基于一维扩展卷积神经网络模型的肌电活动参数时序模式特征提取器以得到肌电活动参数时序关联特征向量。其中，所述一维扩展卷积神经网络在处理序列数据中具有良好的特征提取能力，能够有效地捕捉序列数据中的模式和特征。在本申请的技术方案中，一维扩展卷积神经网络可以通过卷积操作来提取局部邻域关联特征，并通过池化操作和激活操作将这些局部邻域关联特征进行降维处理和抽象化表示，从而学习到所述肌电活动参数嵌入编码向量的序列中的肌电活动时序关联模式，理解肌电活动参数之间的关联性和规律性。
随后，将所述步态能量图通过基于卷积神经网络模型的步态能量特征提取器以得到步态能量特征图。其中，卷积神经网络（CNN）在图像处理中具有出色的空间特征提取能力。通过CNN模型，可以有效地捕捉所述步态能量图中的局部特征、纹理信息和空间结构，从而提取更具代表性的步态能量特征。具体来说，CNN模型可以通过多层卷积和池化操作逐渐学习到数据的抽象特征表示。在步态能量图中，不同层级的特征可以帮助理解步态能量的复杂结构和模式，提高特征的表征能力。
进一步地，将所述步态能量特征图通过局部特征显著器以得到局部显著化步态能量特征图。其中，所述局部特征显著器将所述步态能量特征图通过多尺度卷积核组进行非线性卷积操作以提取所述步态能量特征图中不同局部空间邻域内的关联特征，提高特征的表达能力和区分度。之后，同时考虑通道和卷积核两个方面的重要程度，通过权重信息来指导网络给具有不同尺寸的卷积核分配不同的关注度。通过这样的方式来提取有用特征的卷积核所捕获的特征分布，忽略无用背景特征或噪声的卷积核的目标信息。
相应地，如图3所示，所述步态特征提取与显化模块830，包括：步态能量分析单元831，用于将所述运行状态监控视频通过步态能量分析器以得到步态能量图；步态特征提取单元832，用于利用深度学习网络模型对所述步态能量图进行特征提取以得到步态能量特征图；以及，局部特征显著化单元833，用于将所述步态能量特征图通过局部特征显著器以得到所述局部显著化步态能量特征图。
其中，在一个具体示例中，所述步态特征提取单元832，用于：将所述步态能量图通过基于卷积神经网络模型的步态能量特征提取器以得到所述步态能量特征图。
其中，在一个具体示例中，所述局部特征显著化单元833，用于：将所述步态能量特征图通过多尺度卷积核组进行非线性卷积操作以得到第一非线性卷积特征图、第二非线性卷积特征图、第三非线性卷积特征图和第四非线性卷积特征图；以如下全局表示公式对所述第一非线性卷积特征图、所述第二非线性卷积特征图、所述第三非线性卷积特征图和所述第四非线性卷积特征图进行处理以得到全局表征特征向量；其中，所述全局表示公式为：
；
；
其中，、/>、/>和/>分别为所述第一非线性卷积特征图、所述第二非线性卷积特征图、所述第三非线性卷积特征图和所述第四非线性卷积特征图，/>为多尺度非线性卷积融合特征图，/>表示级联处理，/>表示所述全局表征特征向量中第/>个特征值，/>表示对所述多尺度非线性卷积融合特征图中第/>个特征矩阵进行全局均值池化处理，/>和/>分别为所述多尺度非线性卷积融合特征图中第/>个特征矩阵的高度和宽度，/>为所述多尺度非线性卷积融合特征图中第/>个特征矩阵中/>位置处的特征值；对所述全局表征特征向量进行激活处理以得到浓缩全局表征特征向量；以如下注意力权重施加公式对所述第一非线性卷积特征图、所述第二非线性卷积特征图、所述第三非线性卷积特征图、所述第四非线性卷积特征图和所述浓缩全局表征特征向量进行处理以得到所述局部显著化步态能量特征图；其中，所述注意力权重施加公式为：
；
；
；
；
；
；
其中，、/>、/>、/>分别表示所述第一非线性卷积特征图/>、所述第二非线性卷积特征图/>、所述第三非线性卷积特征图/>和所述第四非线性卷积特征图的权重概率向量，/>表示所述浓缩全局表征特征向量中与所述第一非线性卷积特征图对应的/>通道的向量元素，/>、/>和/>则分别表示所述浓缩全局表征特征向量中与所述第二非线性卷积特征图、所述第三非线性卷积特征图和所述第四非线性卷积特征图对应的/>通道的向量元素，/>为所述局部显著化步态能量特征图，/>表示级联处理。
相应地，如图4所示，所述肌电参数时序分析模块840，包括：肌电活动参数嵌入编码单元841，用于将所述肌电活动参数的时间序列中的各个肌电活动参数分别通过基于全连接层的肌电参数嵌入编码器以得到肌电活动参数嵌入编码向量的序列；以及，一维时序特征提取单元842，用于将所述肌电活动参数嵌入编码向量的序列通过基于一维扩展卷积神经网络模型的肌电活动参数时序模式特征提取器以得到所述肌电活动参数时序关联特征向量。
其中，在一个具体示例中，所述一维时序特征提取单元842，用于：以如下一维扩展卷积公式对所述肌电活动参数嵌入编码向量的序列进行处理以得到所述肌电活动参数时序关联特征向量；其中，所述一维扩展卷积公式为：
；
；
；
；
其中，至/>为所述肌电活动参数嵌入编码向量的序列中第1至/>个肌电活动参数嵌入编码向量，/>为所述肌电活动参数嵌入编码向量的序列的长度，/>表示级联操作，/>为肌电活动参数嵌入级联编码向量，一维扩展卷积核/>的尺寸为1×/>，/>为原始卷积核的长度，/>为扩展率，/>表示以所述肌电活动参数嵌入级联编码向量中第/>个位置的特征值为首的长度为/>的时间窗口，/>是偏置项，且/>，是非线性激活函数，/>是第/>个局部卷积编码特征向量，/>为所述肌电活动参数嵌入级联编码向量的维度，/>是所述肌电活动参数时序关联特征向量。
继而，将所述局部显著化步态能量特征图和所述肌电活动参数时序关联特征向量通过多模态特征交互分析器以得到多模态运动模式表征特征图。其中，所述多模态特征交互分析器使一维特征向量，即所述肌电活动参数时序关联特征向量与高维特征图，即所述局部显著化步态能量特征图进行交互，直接控制每个特征通道的相关特性，帮助网络专注于每个特征通道的特定部分，以在特征融合过程中考虑不同特征通道之间的关联性和重要性。这有助于更好地融合步态能量状态模式和肌电状态的特征，使得融合后的特征更具有代表性和区分度，从而更全面地描述所述被监控对象在运动过程中的关键运动状态信息和运动模式。
相应地，所述多模态融合表征模块850，用于：将所述肌电活动参数时序关联特征向量通过点卷积层以得到第一卷积特征向量；将所述第一卷积特征向量通过基于ReLU函数的修正线性单元以得到第一修正卷积特征向量；将所述第一修正卷积特征向量通过点卷积层以得到第二卷积特征向量；将所述第二卷积特征向量通过基于Sigmoid函数的修正线性单元以得到第二修正卷积特征向量；以及，融合所述第二修正卷积特征向量与所述局部显著化步态能量特征图以得到所述多模态运动模式表征特征图。
最后，将所述多模态运动模式表征特征图通过基于分类器的异常模式诊断器以得到诊断结果，所述诊断结果用于表示是否存在运动异常。
相应地，如图5所示，所述诊断结果生成模块860，包括：特征分布聚类优化单元861，用于对所述多模态运动模式表征特征图进行特征分布聚类优化以得到优化后多模态运动模式表征特征图；以及，异常诊断单元862，用于将所述优化后多模态运动模式表征特征图通过基于分类器的异常模式诊断器以得到诊断结果，所述诊断结果用于表示是否存在运动异常。
在上述技术方案中，所述局部显著化步态能量特征图表达所述步态能量图的局部图像特征空间分布强化的图像语义特征，这样，将所述局部显著化步态能量特征图和所述肌电活动参数时序关联特征向量通过多模态特征交互分析器后，会基于所述肌电活动参数时序关联特征向量表达的所述肌电活动参数的嵌入编码时序关联特征来对所述局部显著化步态能量特征图进行通道维度的约束，使得所述多模态运动模式表征特征图一方面具有通道维度的混合约束，一方面具有空间特征分布维度和通道特征分布维度的混合维度分布，导致所述多模态运动模式表征特征图作为整体具有局部特征分布离散性。
这样，所述多模态运动模式表征特征图通过分类器进行分类回归时，会由于所述多模态运动模式表征特征图的局部特征分布离散性导致通过分类器进行分类回归时面向预定类概率的收敛困难，从而影响分类器的训练速度和最终得到的分类结果的准确性。
基于此，本申请的申请人对所述多模态运动模式表征特征图进行聚类优化，也就是，首先对所述多模态运动模式表征特征图的各个特征值进行聚类，例如基于特征值间距离的聚类，再基于聚类后的特征类内和类外表征进行优化。
相应地，在一个示例中，所述特征分布聚类优化单元861，用于：以如下优化公式对所述多模态运动模式表征特征图进行特征分布聚类优化以得到所述优化后多模态运动模式表征特征图；其中，所述优化公式为：；
其中，是所述多模态运动模式表征特征图的各个特征值，/>是所述多模态运动模式表征特征图对应的特征集合数目，即所述多模态运动模式表征特征图的宽度乘以高度乘以通道数，/>是聚类特征数目，/>表示聚类特征集合，/>是所述优化后多模态运动模式表征特征图。
具体地，通过将所述多模态运动模式表征特征图的类内特征和类外特征作为不同的实例角色来进行基于聚类比例分布的类实例描述，并引入基于类内和类外动态上下文的聚类响应历史，来对所述多模态运动模式表征特征图的整体特征的类内分布和类外分布保持协调的全局视角，使得对所述多模态运动模式表征特征图的优化的特征聚类操作可以维持类内和类外特征的连贯一致的响应，从而在类回归过程中基于特征聚类的回归收敛路径保持连贯一致，提升所述多模态运动模式表征特征图的面向预定类概率的收敛效果，以改进分类器的训练速度和分类结果的准确性。
进一步地，所述异常诊断单元862，用于：将所述优化后多模态运动模式表征特征图按照行向量或者列向量展开为优化分类特征向量；使用所述基于分类器的异常模式诊断器的全连接层对所述优化分类特征向量进行全连接编码以得到编码分类特征向量；以及，将所述编码分类特征向量输入所述基于分类器的异常模式诊断器的Softmax分类函数以得到所述诊断结果。
应可以理解，分类器的作用是利用给定的类别、已知的训练数据来学习分类规则和分类器，然后对未知数据进行分类（或预测）。逻辑回归（logistics）、SVM等常用于解决二分类问题，对于多分类问题（multi-class classification），同样也可以用逻辑回归或SVM，只是需要多个二分类来组成多分类，但这样容易出错且效率不高，常用的多分类方法有Softmax分类函数。
基于上述实施例，参阅图6所示，为本发明实施例中一种基于多模态数据的患者运动功能分析方法的流程图。例如，该基于多模态数据的患者运动功能分析方法可以由服务器来执行，该服务器可以是图1中所示的服务器100。如图6所示，本发明实施例的基于多模态数据的患者运动功能分析方法，包括步骤：S510，获取由生物传感器采集的被监控对象在运动过程中的肌电活动参数的时间序列；S520，获取由摄像头采集的所述被监控对象的运行状态监控视频；S530，对所述运行状态监控视频进行步态特征提取与局部特征显著化以得到局部显著化步态能量特征图；S540，对所述肌电活动参数的时间序列进行时序关联分析以得到肌电活动参数时序关联特征向量；S550，将所述局部显著化步态能量特征图和所述肌电活动参数时序关联特征向量通过多模态特征交互分析器以得到多模态运动模式表征特征图；以及，S560，基于所述多模态运动模式表征特征图来确定诊断结果。
这里，本领域技术人员可以理解，上述基于多模态数据的患者运动功能分析方法中的各个步骤的具体操作已经在上面参考图2到图5的基于多模态数据的患者运动功能分析系统800的描述中得到了详细介绍，并因此，将省略其重复描述。
图7为根据本发明实施例的基于多模态数据的患者运动功能分析系统的应用场景图。如图7所示，在该应用场景中，首先，获取由生物传感器采集的被监控对象在运动过程中的肌电活动参数的时间序列（例如，图7中所示意的D1），以及，获取由摄像头采集的所述被监控对象的运行状态监控视频（例如，图7中所示意的D2），然后，将所述肌电活动参数的时间序列和所述运行状态监控视频输入至部署有基于多模态数据的患者运动功能分析算法的服务器（例如，图7中所示意的S）中，其中，所述服务器能够使用所述基于多模态数据的患者运动功能分析算法对所述肌电活动参数的时间序列和所述运行状态监控视频进行处理以得到用于表示是否存在运动异常的诊断结果。
基于上述实施例，本发明实施例中还提供了另一示例性实施方式的电子设备。在一些可能的实施方式中，本发明实施例中电子设备可以包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，处理器执行程序时可以实现上述实施例中基于多模态数据的患者运动功能分析方法的步骤。
例如，以电子设备为本发明图1中的服务器100为例进行说明，则该电子设备中的处理器即为服务器100中的处理器110，该电子设备中的存储器即为服务器100中的存储器120。
本发明的实施例还提供了一种计算机可读存储介质。图8示出了根据本发明的实施例的计算机可读存储介质1000的示意图。如图8所示，所述计算机可读存储介质1000上存储有计算机可执行指令1001。当所述计算机可执行指令1001由处理器运行时，可以执行参照以上附图描述的根据本发明实施例的基于多模态数据的患者运动功能分析方法。所述计算机可读存储介质包括但不限于例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器（RAM）和/或高速缓冲存储器（cache）等。所述非易失性存储器例如可以包括只读存储器（ROM）、硬盘、闪存等。
本发明的实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行根据本发明实施例的基于多模态数据的患者运动功能分析方法。
此外，虽然本发明对根据本发明的实施例的系统中的某些单元做出了各种引用，然而，任何数量的不同单元可以被使用并运行在客户端和/或服务器上。所述单元仅是说明性的，并且所述系统和方法的不同方面可以使用不同单元。
本领域普通技术人员可以理解上述方法中的全部或部分的步骤可通过程序来指令相关硬件完成，所述程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现。相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本发明并不限制于任何特定形式的硬件和软件的结合。
除非另有定义，这里使用的所有术语（包括技术和科学术语）具有与本发明所属领域的普通技术人员共同理解的相同含义。还应当理解，诸如在通常字典里定义的那些术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义，而不应用理想化或极度形式化的意义来解释，除非这里明确地这样定义。
以上是对本发明的说明，而不应被认为是对其的限制。尽管描述了本发明的若干示例性实施例，但本领域技术人员将容易地理解，在不背离本发明的新颖教学和优点的前提下可以对示例性实施例进行许多修改。因此，所有这些修改都意图包含在权利要求书所限定的本发明范围内。应当理解，上面是对本发明的说明，而不应被认为是限于所公开的特定实施例，并且对所公开的实施例以及其他实施例的修改意图包含在所附权利要求书的范围内。本发明由权利要求书及其等效物限定。

Claims (8)

1.一种基于多模态数据的患者运动功能分析系统，其特征在于，包括：
肌电参数采集模块，用于获取由生物传感器采集的被监控对象在运动过程中的肌电活动参数的时间序列；
视频采集模块，用于获取由摄像头采集的所述被监控对象的运行状态监控视频；
步态特征提取与显化模块，用于对所述运行状态监控视频进行步态特征提取与局部特征显著化以得到局部显著化步态能量特征图；
肌电参数时序分析模块，用于对所述肌电活动参数的时间序列进行时序关联分析以得到肌电活动参数时序关联特征向量；
多模态融合表征模块，用于将所述局部显著化步态能量特征图和所述肌电活动参数时序关联特征向量通过多模态特征交互分析器以得到多模态运动模式表征特征图；
诊断结果生成模块，用于基于所述多模态运动模式表征特征图来确定诊断结果；
其中，所述步态特征提取与显化模块，包括：
步态能量分析单元，用于将所述运行状态监控视频通过步态能量分析器以得到步态能量图；
步态特征提取单元，用于利用深度学习网络模型对所述步态能量图进行特征提取以得到步态能量特征图；
局部特征显著化单元，用于将所述步态能量特征图通过局部特征显著器以得到所述局部显著化步态能量特征图；
其中，所述局部特征显著化单元，用于：
将所述步态能量特征图通过多尺度卷积核组进行非线性卷积操作以得到第一非线性卷积特征图、第二非线性卷积特征图、第三非线性卷积特征图和第四非线性卷积特征图；
以如下全局表示公式对所述第一非线性卷积特征图、所述第二非线性卷积特征图、所述第三非线性卷积特征图和所述第四非线性卷积特征图进行处理以得到全局表征特征向量；其中，所述全局表示公式为：
；
；
其中，、/>、/>和/>分别为所述第一非线性卷积特征图、所述第二非线性卷积特征图、所述第三非线性卷积特征图和所述第四非线性卷积特征图，/>为多尺度非线性卷积融合特征图，/>表示级联处理，/>表示所述全局表征特征向量中第/>个特征值，表示对所述多尺度非线性卷积融合特征图中第/>个特征矩阵进行全局均值池化处理，/>和/>分别为所述多尺度非线性卷积融合特征图中第/>个特征矩阵的高度和宽度，/>为所述多尺度非线性卷积融合特征图中第/>个特征矩阵中/>位置处的特征值；
对所述全局表征特征向量进行激活处理以得到浓缩全局表征特征向量；
以如下注意力权重施加公式对所述第一非线性卷积特征图、所述第二非线性卷积特征图、所述第三非线性卷积特征图、所述第四非线性卷积特征图和所述浓缩全局表征特征向量进行处理以得到所述局部显著化步态能量特征图；其中，所述注意力权重施加公式为：
；
；
；
；
；
；
其中，、/>、/>、/>分别表示所述第一非线性卷积特征图/>、所述第二非线性卷积特征图/>、所述第三非线性卷积特征图/>和所述第四非线性卷积特征图的权重概率向量，/>表示所述浓缩全局表征特征向量中与所述第一非线性卷积特征图对应的/>通道的向量元素，/>、/>和/>则分别表示所述浓缩全局表征特征向量中与所述第二非线性卷积特征图、所述第三非线性卷积特征图和所述第四非线性卷积特征图对应的/>通道的向量元素，/>为所述局部显著化步态能量特征图，/>表示级联处理。
2.根据权利要求1所述的基于多模态数据的患者运动功能分析系统，其特征在于，所述步态特征提取单元，用于：
将所述步态能量图通过基于卷积神经网络模型的步态能量特征提取器以得到所述步态能量特征图。
3.根据权利要求2所述的基于多模态数据的患者运动功能分析系统，其特征在于，所述肌电参数时序分析模块，包括：
肌电活动参数嵌入编码单元，用于将所述肌电活动参数的时间序列中的各个肌电活动参数分别通过基于全连接层的肌电参数嵌入编码器以得到肌电活动参数嵌入编码向量的序列；
一维时序特征提取单元，用于将所述肌电活动参数嵌入编码向量的序列通过基于一维扩展卷积神经网络模型的肌电活动参数时序模式特征提取器以得到所述肌电活动参数时序关联特征向量。
4.根据权利要求3所述的基于多模态数据的患者运动功能分析系统，其特征在于，所述一维时序特征提取单元，用于：
以如下一维扩展卷积公式对所述肌电活动参数嵌入编码向量的序列进行处理以得到所述肌电活动参数时序关联特征向量；其中，所述一维扩展卷积公式为：
；
；
；
；
其中，至/>为所述肌电活动参数嵌入编码向量的序列中第1至/>个肌电活动参数嵌入编码向量，/>为所述肌电活动参数嵌入编码向量的序列的长度，/>表示级联操作，/>为肌电活动参数嵌入级联编码向量，一维扩展卷积核/>的尺寸为1×/>，/>为原始卷积核的长度，/>为扩展率，/>表示以所述肌电活动参数嵌入级联编码向量中第/>个位置的特征值为首的长度为/>的时间窗口，/>是偏置项，且/>，/>是非线性激活函数，/>是第/>个局部卷积编码特征向量，/>为所述肌电活动参数嵌入级联编码向量的维度，/>是所述肌电活动参数时序关联特征向量。
5.根据权利要求4所述的基于多模态数据的患者运动功能分析系统，其特征在于，所述多模态融合表征模块，用于：
将所述肌电活动参数时序关联特征向量通过点卷积层以得到第一卷积特征向量；
将所述第一卷积特征向量通过基于ReLU函数的修正线性单元以得到第一修正卷积特征向量；
将所述第一修正卷积特征向量通过点卷积层以得到第二卷积特征向量；
将所述第二卷积特征向量通过基于Sigmoid函数的修正线性单元以得到第二修正卷积特征向量；
融合所述第二修正卷积特征向量与所述局部显著化步态能量特征图以得到所述多模态运动模式表征特征图。
6.根据权利要求5所述的基于多模态数据的患者运动功能分析系统，其特征在于，所述诊断结果生成模块，包括：
特征分布聚类优化单元，用于对所述多模态运动模式表征特征图进行特征分布聚类优化以得到优化后多模态运动模式表征特征图；
异常诊断单元，用于将所述优化后多模态运动模式表征特征图通过基于分类器的异常模式诊断器以得到诊断结果，所述诊断结果用于表示是否存在运动异常。
7.根据权利要求6所述的基于多模态数据的患者运动功能分析系统，其特征在于，所述异常诊断单元，用于：
将所述优化后多模态运动模式表征特征图按照行向量或者列向量展开为优化分类特征向量；
使用所述基于分类器的异常模式诊断器的全连接层对所述优化分类特征向量进行全连接编码以得到编码分类特征向量；
将所述编码分类特征向量输入所述基于分类器的异常模式诊断器的Softmax分类函数以得到所述诊断结果。
8.一种基于多模态数据的患者运动功能分析方法，其特征在于，包括：
获取由生物传感器采集的被监控对象在运动过程中的肌电活动参数的时间序列；
获取由摄像头采集的所述被监控对象的运行状态监控视频；
对所述运行状态监控视频进行步态特征提取与局部特征显著化以得到局部显著化步态能量特征图；
对所述肌电活动参数的时间序列进行时序关联分析以得到肌电活动参数时序关联特征向量；
将所述局部显著化步态能量特征图和所述肌电活动参数时序关联特征向量通过多模态特征交互分析器以得到多模态运动模式表征特征图；
基于所述多模态运动模式表征特征图来确定诊断结果；
其中，对所述运行状态监控视频进行步态特征提取与局部特征显著化以得到局部显著化步态能量特征图，包括：
将所述运行状态监控视频通过步态能量分析器以得到步态能量图；
利用深度学习网络模型对所述步态能量图进行特征提取以得到步态能量特征图；
将所述步态能量特征图通过局部特征显著器以得到所述局部显著化步态能量特征图；
其中，将所述步态能量特征图通过局部特征显著器以得到所述局部显著化步态能量特征图，包括：
将所述步态能量特征图通过多尺度卷积核组进行非线性卷积操作以得到第一非线性卷积特征图、第二非线性卷积特征图、第三非线性卷积特征图和第四非线性卷积特征图；
以如下全局表示公式对所述第一非线性卷积特征图、所述第二非线性卷积特征图、所述第三非线性卷积特征图和所述第四非线性卷积特征图进行处理以得到全局表征特征向量；其中，所述全局表示公式为：
；
；
其中，、/>、/>和/>分别为所述第一非线性卷积特征图、所述第二非线性卷积特征图、所述第三非线性卷积特征图和所述第四非线性卷积特征图，/>为多尺度非线性卷积融合特征图，/>表示级联处理，/>表示所述全局表征特征向量中第/>个特征值，表示对所述多尺度非线性卷积融合特征图中第/>个特征矩阵进行全局均值池化处理，/>和/>分别为所述多尺度非线性卷积融合特征图中第/>个特征矩阵的高度和宽度，/>为所述多尺度非线性卷积融合特征图中第/>个特征矩阵中/>位置处的特征值；
对所述全局表征特征向量进行激活处理以得到浓缩全局表征特征向量；
以如下注意力权重施加公式对所述第一非线性卷积特征图、所述第二非线性卷积特征图、所述第三非线性卷积特征图、所述第四非线性卷积特征图和所述浓缩全局表征特征向量进行处理以得到所述局部显著化步态能量特征图；其中，所述注意力权重施加公式为：
；
；
；
；
；
；
其中，、/>、/>、/>分别表示所述第一非线性卷积特征图/>、所述第二非线性卷积特征图/>、所述第三非线性卷积特征图/>和所述第四非线性卷积特征图的权重概率向量，/>表示所述浓缩全局表征特征向量中与所述第一非线性卷积特征图对应的/>通道的向量元素，/>、/>和/>则分别表示所述浓缩全局表征特征向量中与所述第二非线性卷积特征图、所述第三非线性卷积特征图和所述第四非线性卷积特征图对应的/>通道的向量元素，/>为所述局部显著化步态能量特征图，/>表示级联处理。
CN202410451059.6A 2024-04-16 2024-04-16 基于多模态数据的患者运动功能分析系统及方法 Active CN118051861B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410451059.6A CN118051861B (zh) 2024-04-16 2024-04-16 基于多模态数据的患者运动功能分析系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410451059.6A CN118051861B (zh) 2024-04-16 2024-04-16 基于多模态数据的患者运动功能分析系统及方法

Publications (2)

Publication Number Publication Date
CN118051861A true CN118051861A (zh) 2024-05-17
CN118051861B CN118051861B (zh) 2024-06-21

Family

ID=91050366

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410451059.6A Active CN118051861B (zh) 2024-04-16 2024-04-16 基于多模态数据的患者运动功能分析系统及方法

Country Status (1)

Country Link
CN (1) CN118051861B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118236040A (zh) * 2024-05-27 2024-06-25 吉林大学 盆底康复数据采集系统及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101807245A (zh) * 2010-03-02 2010-08-18 天津大学 基于人工神经网络的多源步态特征提取与身份识别方法
CN106529499A (zh) * 2016-11-24 2017-03-22 武汉理工大学 基于傅里叶描述子和步态能量图融合特征的步态识别方法
CN112754468A (zh) * 2021-01-07 2021-05-07 华南理工大学 一种基于多源信号的人体下肢运动检测及识别方法
CN116704600A (zh) * 2023-05-22 2023-09-05 浙江中医药大学附属第三医院(浙江省中山医院) 一种基于多源信息融合的步态分析方法和系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101807245A (zh) * 2010-03-02 2010-08-18 天津大学 基于人工神经网络的多源步态特征提取与身份识别方法
CN106529499A (zh) * 2016-11-24 2017-03-22 武汉理工大学 基于傅里叶描述子和步态能量图融合特征的步态识别方法
CN112754468A (zh) * 2021-01-07 2021-05-07 华南理工大学 一种基于多源信号的人体下肢运动检测及识别方法
CN116704600A (zh) * 2023-05-22 2023-09-05 浙江中医药大学附属第三医院(浙江省中山医院) 一种基于多源信息融合的步态分析方法和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JIANING LI ET AL.: "Global-Local Temporal Representations For Video Person Re-Identification", ARXIV, 27 August 2019 (2019-08-27), pages 1 - 10 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118236040A (zh) * 2024-05-27 2024-06-25 吉林大学 盆底康复数据采集系统及方法

Also Published As

Publication number Publication date
CN118051861B (zh) 2024-06-21

Similar Documents

Publication Publication Date Title
Chen et al. Identifying crop diseases using attention embedded MobileNet-V2 model
CN118051861B (zh) 基于多模态数据的患者运动功能分析系统及方法
Peng et al. GFIL: A unified framework for the importance analysis of features, frequency bands, and channels in EEG-based emotion recognition
WO2019091181A1 (zh) 图像处理方法、处理装置和处理设备
Sadiq et al. A matrix determinant feature extraction approach for decoding motor and mental imagery EEG in subject-specific tasks
Nahiduzzaman et al. Hybrid CNN-SVD based prominent feature extraction and selection for grading diabetic retinopathy using extreme learning machine algorithm
Saeed et al. Sense and learn: Self-supervision for omnipresent sensors
Jyoti et al. Expression empowered residen network for facial action unit detection
Nguyen et al. Tensor-variate restricted Boltzmann machines
Wan et al. EEG fading data classification based on improved manifold learning with adaptive neighborhood selection
Zhang et al. Dual-CNN based multi-modal sleep scoring with temporal correlation driven fine-tuning
CN117598674A (zh) 多参数心脏功能监测系统及方法
Helaly et al. DTL-I-ResNet18: facial emotion recognition based on deep transfer learning and improved ResNet18
Qadri et al. A novel transfer learning-based model for diagnosing malaria from parasitized and uninfected red blood cell images
Taori et al. Cross-task cognitive load classification with identity mapping-based distributed CNN and attention-based RNN using gabor decomposed data images
Wong et al. Ultra-efficient edge cardiac disease detection towards real-time precision health
Ramkumar et al. Attention induced multi-head convolutional neural network organization with MobileNetv1 transfer learning and COVID-19 diagnosis using jellyfish search optimization process on chest X-ray images
Salekin et al. Attentional generative multimodal network for neonatal postoperative pain estimation
CN116631619A (zh) 术后弯腿训练监控系统及其方法
Alshamrani Remote intelligent healthcare system based on the ROCKET technique
CN110516611B (zh) 一种自闭症检测系统及自闭症检测装置
Li et al. MTS-LOF: medical time-series representation learning via occlusion-invariant features
Tang et al. Multi-Domain Based Dynamic Graph Representation Learning for EEG Emotion Recognition
Gao et al. Error related potential classification using a 2-D convolutional neural network
Bisogni et al. Walk as you feel: Privacy preserving emotion recognition from gait patterns

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant