CN115316982A - 一种基于多模态传感的肌肉形变智能检测系统及方法 - Google Patents
一种基于多模态传感的肌肉形变智能检测系统及方法 Download PDFInfo
- Publication number
- CN115316982A CN115316982A CN202211072556.2A CN202211072556A CN115316982A CN 115316982 A CN115316982 A CN 115316982A CN 202211072556 A CN202211072556 A CN 202211072556A CN 115316982 A CN115316982 A CN 115316982A
- Authority
- CN
- China
- Prior art keywords
- sensing
- data
- information
- scale
- muscle deformation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000003205 muscle Anatomy 0.000 title claims abstract description 47
- 238000001514 detection method Methods 0.000 title claims abstract description 38
- 238000000034 method Methods 0.000 title claims abstract description 31
- 239000013598 vector Substances 0.000 claims abstract description 69
- 230000000007 visual effect Effects 0.000 claims abstract description 34
- 238000013528 artificial neural network Methods 0.000 claims abstract description 25
- 238000012545 processing Methods 0.000 claims abstract description 23
- 230000004927 fusion Effects 0.000 claims abstract description 17
- 210000001097 facial muscle Anatomy 0.000 claims abstract description 9
- 239000011159 matrix material Substances 0.000 claims description 27
- 238000005070 sampling Methods 0.000 claims description 10
- 238000007781 pre-processing Methods 0.000 claims description 5
- 230000001953 sensory effect Effects 0.000 claims description 4
- 239000002131 composite material Substances 0.000 claims description 3
- 208000027045 facial muscle twitching Diseases 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 2
- 238000012986 modification Methods 0.000 claims description 2
- 230000004048 modification Effects 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 8
- 238000013135 deep learning Methods 0.000 abstract description 7
- 230000006870 function Effects 0.000 abstract description 5
- 230000005021 gait Effects 0.000 abstract description 5
- 230000003044 adaptive effect Effects 0.000 abstract 1
- 208000012661 Dyskinesia Diseases 0.000 description 9
- 230000003993 interaction Effects 0.000 description 8
- 230000008859 change Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 208000024891 symptom Diseases 0.000 description 3
- 206010017577 Gait disturbance Diseases 0.000 description 2
- 206010052904 Musculoskeletal stiffness Diseases 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000036544 posture Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 208000012639 Balance disease Diseases 0.000 description 1
- 206010006100 Bradykinesia Diseases 0.000 description 1
- 208000023105 Huntington disease Diseases 0.000 description 1
- 208000006083 Hypokinesia Diseases 0.000 description 1
- 208000002740 Muscle Rigidity Diseases 0.000 description 1
- 206010050031 Muscle strain Diseases 0.000 description 1
- 206010049816 Muscle tightness Diseases 0.000 description 1
- 208000018737 Parkinson disease Diseases 0.000 description 1
- 206010035664 Pneumonia Diseases 0.000 description 1
- 206010071390 Resting tremor Diseases 0.000 description 1
- 206010044565 Tremor Diseases 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000007620 mathematical function Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1107—Measuring contraction of parts of the body, e.g. organ, muscle
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/112—Gait analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
- A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/40—Detecting, measuring or recording for evaluating the nervous system
- A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
- A61B5/4082—Diagnosing or monitoring movement diseases, e.g. Parkinson, Huntington or Tourette
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
- A61B5/4519—Muscles
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/6813—Specially adapted to be attached to a specific body part
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/6813—Specially adapted to be attached to a specific body part
- A61B5/6814—Head
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Animal Behavior & Ethology (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Physiology (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Neurology (AREA)
- Artificial Intelligence (AREA)
- Neurosurgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Physics (AREA)
- Fuzzy Systems (AREA)
- Rheumatology (AREA)
- Psychiatry (AREA)
- Signal Processing (AREA)
- Developmental Disabilities (AREA)
- Orthopedic Medicine & Surgery (AREA)
- Evolutionary Computation (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及本发明涉及肌肉形变的智能医疗领域，具体为一种基于多模态传感的肌肉形变智能检测系统及方法，系统结合了传感数据建模、计算机视觉和深度学习技术。本系统包括传感信息采集模块、数据处理模块和智能检测模块。传感信息采集模块包括柔性可穿戴应变传感器和视觉传感器，应变传感器负责获得面部肌肉以及各关节点的运动数据，视觉传感器负责获取病人的步态数据；数据处理模块负责将运动传感数据与视觉传感数据通过深度学习技术进行特征提取，结合传感数据的时间与空间信息，采用ASFF方法进行特征融合，得到多尺度的特征向量；智能检测模块通过将多尺度的特征向量作为输入，通过深度神经网络分析多尺度的特征向量进行分类，获得肌肉形变结果。
Description
技术领域
本发明涉及传感数据处理、计算机视觉与深度学习技术，具体为一种基于多模态传感方式的肌肉形变智能检测系统及方法，属于医疗器械制作技术领域。
背景技术
近年来，帕金森病、亨廷顿病等运动障碍疾病的社会关注度有所提升，病例数量也呈逐年上升趋势。该类疾病的早期症状主要有静止性震颤、运动迟缓、肌强直和姿势步态障碍等。病人的主要表现为：静止时手、手臂或腿发生振动或颤抖；肌肉僵硬、面部表情异常；运动行走协调性、步态异常，以及姿势、平衡障碍等。上述病人的症状与肌张力的异常变化有着密不可分的关系，故发展肌肉形变的智能检测系统及方法，对运动障碍类疾病的及时干预有着重要意义。
目前，在临床和科研方面国内外的重点是对运动障碍的病情进行评估，并根据运动障碍症状的轻重来进行评分。该方法在临床应用方面面临的主要问题在于：评分由训练有素、经验丰富的神经学家进行，完整的运动评估非常耗时，且获得的结果主观性太强，评分误差较大；病人病情的跟踪调查和及时随访也给患者的医疗服务带来巨大挑战，尤其在医疗资源分配有差异、新冠肺炎疫情存在的当下，发展基于人工智能的肌肉形变自动检测技术具有重大的应用价值。
运动障碍的智能量化是实现病患运动功能智能评估的关键。目前的智能检测方法可分为运动传感和视觉传感两大类。有研究者通过病人身上的运动传感器组成传感器网络，在时域和频域提取病人的运动学特征，再进行分析。由于运动传感器的运动信号准确，这些基于传感器的方法大都可以得到良好的效果。然而，大多数金属传感器都直接接触患者的身体，且存在触感冰冷、佩戴不适等缺点，不可避免地影响患者指定的运动，进而影响识别的准确率。基于视觉传感的方法，研究者通过Kinect传感器和彩色摄像机采集的视频中获取病人的关节坐标，并从图像序列中提取人体轮廓特征，通过多元回归模型进行进一步的分析。但由于病人宽松的病号服的遮挡，不可避免地影响了视觉特征点的检测。除此之外，基于视觉传感的方案由于图像分辨率的问题，难以识别病人面部肌肉的异常。利用传统特征，设计数学函数来表征步态运动的细微差异，是个具有挑战性的艰难工作。
发明内容
针对上述技术不足，本发明的目的是提供一种基于多模态传感的肌肉形变智能检测系统及方法。该系统通过传感信息采集模块，获取多模态传感数据；通过数据处理模块将传感数据进行分析与处理得到多尺度的特征向量，再由智能检测模块将多尺度的特征向量作为输入，通过深度学习技术进行分类，获得肌肉形变结果。
相对于视觉传感方式，应变传感器通常有更高的传感精度。单一的传感方式各有各的问题，但不难发现两种传感方式的优势互补，因此，如何结合两种传感方式各自的优点，利用多模态传感信息的融合，以提高肌肉形变人的智能检测效率和识别率。
为实现上述技术目标，本发明所提出的技术方案是：一种基于多模态传感的肌肉形变智能检测系统，包括：
传感信息采集模块，用于获取多模态传感信息；所述多模态传感信息中的运动传感数据纳入数据类信息，视觉传感数据纳入图像类信息；
数据处理模块，用于分别对数据类信息和图像类信息进行处理并进行特征融合，得到同一尺度的特征向量；
智能检测模块，用于将同一尺度的特征向量与部分数据类信息构成多尺度的特征向量作为输入，通过深度神经网络进行分类，以表示肌肉形变状态。
所述传感信息采集模块包括应变传感器与视觉传感器；
所述应变传感器，用于采集面部肌肉抽动或人体各关节形变的运动传感数据，所述运动传感数据纳入数据类信息；
所述视觉传感器，用于采集人体行走的视觉传感数据；所述视觉传感数据纳入图像类信息。
所述应变传感器为可穿戴的应变传感器。
所述应变传感器为压阻式传感器、压电式传感器、电容式传感器、或以上复合式的传感器阵列。
所述运动传感数据包括压力分布、弹性分布、三维形态信息中的一种或多种。
一种基于多模态传感的肌肉形变智能检测方法，包括以下步骤：
S1.通过传感信息采集模块获得多模态传感信息；所述多模态传感信息中的运动传感数据纳入数据类信息，视觉传感数据纳入图像类信息；
S2.将数据类信息进行预处理存为一维数据向量，按照等时间间隔采样将n个一维数据向量合并成一个矩阵，通过卷积操作生成多尺度的传感数据矩阵；
对与数据类信息具有同时间戳的图像类信息进行卷积核操作，得到与传感数据矩阵相同大小的多尺度图像块；
将传感数据矩阵与多尺度图像块通过ASFF方法进行特征融合，得到同一尺度的特征向量；
S3.将同一尺度的特征向量与部分数据类信息构成多尺度的特征向量作为输入，通过深度神经网络进行分类，以表示肌肉形变状态。
所述将数据类信息进行预处理存为一维数据向量，按照等时间间隔采样将n个一维数据向量合并成一个矩阵，包括以下步骤：
将数据类信息进行离散化、归一化操作之后，存为一维数据向量：
f＝(v1,v2,...,vM)T
式中，Vi表示第i个的传感器在某时刻获取的传感数据，M是传感器的数目；i＝1…M；
按照等时间间隔采样t生成n个一维数据向量ft,f2t,...,fnt，并生成多尺度的传感数据矩阵F＝[f1 f2...fn]。
所述将传感数据矩阵与图像块通过ASFF方法进行特征融合，得到多尺度的特征向量，包括以下步骤：
通过ASFF方法，将传感数据矩阵与图像块分别通过大小为1*1、3*3、5*5的卷积核得到两组不同尺度的特征图I1,I2,I3，对于每组特征图I1,I2,I3，通过插值及修改步幅将各层级的特征图变为同一尺度，作为融合后的统一尺度特征向量，用于输入深度神经网络。
所述深度神经网络预先进行训练，包括以下步骤：
将融合后多尺度的特征向量进行池化操作后作为输入，用textCNN神经网络进行特征提取，提取出来的信息既包含用于表征人体宏观动作的全局特征，，又包含用于表征人体微观动作的局部特征；最后通过softmax层，得到分类结果，即关节肌肉形变的程度。
所述将多尺度的特征向量作为输入，通过深度神经网络进行分类，以表示肌肉形变状态，包括以下步骤：
同一尺度的特征向量与用于采集面部的数据类信息构成多尺度的特征向量，通过深度神经网络进行分类，得到面部肌肉形变的结果、以及关节处肌肉形变的结果。
本发明具有以下有益效果及优点：
1.本发明提出了一种基于多模态传感的肌肉形变智能检测系统，创新性地结合了运动传感信息和视觉传感信息，并将多尺度、多模态的传感数据有效地进行了特征融合，实现肌肉形变人的智能检测。
2.本发明集成了可穿戴的柔性应变传感器、视觉传感器和处理器，对所获取的多模态传感信息进行记录、分析与处理。可对单一病人在不同时间或治疗过程中的运动障碍情况进行跟踪分析，在智能医疗领域有很大的应用潜力。
3.本发明综合采用两种传感方式对病人进行检测，相对于单一的传感方式识别率更高。可同时精准检测病人的面部肌肉异常、行走步态僵硬和身体协调性问题等三种运动障碍，检测非常全面。
附图说明
图1是系统组成示意图；
图2是面部肌肉应变传感器分布示意图；
图3是人体关节应变传感器分布示意图；
图4是数据库信息录入流程图；
图5是输入传感数据特征融合示意图；
图6是系统整体流程示意图。
具体实施方式
下面结合实施例对本发明做进一步的详细说明。
本发明涉及肌肉形变的智能医疗领域，具体为一种基于多模态传感的肌肉形变智能检测系统及方法，系统结合了传感数据建模、计算机视觉和深度学习技术。本系统包括传感信息采集模块、数据处理模块和智能检测模块。传感信息采集模块包括柔性可穿戴应变传感器和视觉传感器，应变传感器负责获得面部肌肉以及各关节点的运动数据，视觉传感器负责获取病人的步态数据；数据处理模块负责将运动传感数据与视觉传感数据通过深度学习技术进行特征提取，集合传感数据的时间与空间信息，采用ASFF方法进行特征融合，得到多尺度的特征向量；智能检测模块通过将多尺度的特征向量作为输入，通过深度神经网络分析多尺度的特征向量进行分类，获得肌肉形变结果。
一种基于多模态传感的肌肉形变智能检测系统，包括传感信息采集模块、数据处理模块和智能检测模块，所述传感信息采集模块负责采集多模态传感数据；所述数据处理模块将传感数据进行分析与处理得到多尺度的特征向量；所述智能检测模块将多尺度的特征向量作为输入，通过深度学习技术进行分类，获得肌肉形变结果。所述多模态传感信息采集装置与处理器通信；所述数据处理模块和智能检测模块由处理器和人机交互界面构成；所述处理器，用于对多模态传感数据信息的采集、记录、分析与处理；所述人机交互界面，用于实现肌肉形变结果的可视化，以及病人数据的记录与查询。
所述传感信息采集模块包括柔性可穿戴应变传感器和视觉传感器中的一种或多种。所述柔性可穿戴应变传感器为压阻式、压电式、电容式、或以上复合式的传感器或传感器阵列；其中，用于面部贴附的应变传感器应具有高灵敏度，当应变为0.1％-10％时，其灵敏因子应高于200。用于躯干贴附的应变传感器应具有高应变响应范围，其应变检测范围应高于200％
所述视觉传感器包括彩色相机、深度相机、红外相机中的一种或多种。
所述深度神经网络包含CNN，GCN，RNN中的一种或多种。
所述传感信息采集模块包括应变传感器与视觉传感器。用于采集疑似病人的面部肌肉抽动、人体各关节的形变情况等运动传感数据；行走的视频、图像等视觉传感数据等多模态传感数据信息；
所述应变传感器为柔性可穿戴的应变传感器，具体为压阻式、压电式、电容式、或以上复合式的传感器阵列；
所述运动传感信息包括压力分布、弹性分布、三维形态信息中的一种或多种。
所述视觉传感器包括彩色相机、深度相机、红外相机中的一种或多种。
所述视觉传感数据包括彩色RGB图像、深度图像、红外图像的一种或多种。
所述传感信息采集模块与数据处理模块通信；
所述数据处理模块和智能检测模块由处理器和人机交互界面构成；
所述处理器，用于对多模态传感数据信息的采集、记录、分析与处理；
所述人机交互界面，用于实现肌肉形变结果的可视化，以及病人数据的记录与查询。
一种基于多模态传感的肌肉形变智能检测方法，包括以下步骤：
S1.通过传感信息采集模块获得多模态传感信息；多模态传感信息中的运动传感数据纳入数据类信息，视觉传感数据纳入图像类信息；
S2.用户信息、数据类信息、图像类信息一同存入数据处理模块；处理流程如下：将数据类信息进行离散化、归一化操作之后，存为一维数据向量；按照等时间间隔采样生成数个上述列向量，并将列向量合并成一个矩阵，通过卷积操作，改变矩阵的大小，生成多尺度的传感数据矩阵；通过视觉算法检测出人的图像，并通过将含人的图像与具有同时间戳的图像类信息，通过卷积核操作得到与传感数据矩阵相同大小的图像块；将传感数据矩阵与图像块通过ASFF方法进行特征融合，得到多尺度的特征向量，而后通过深度神经网络进行分类和识别。
S3.所述智能检测模块而后通过将多尺度的特征向量作为输入，通过深度神经网络分析多尺度的特征向量，进行分类，用大尺度的特征向量度量各个关节点的形变，用小尺度的特征向量度量肌肉的微观变化，并提供给人机交互界面。
本实施例的一种基于多模态传感的肌肉形变智能检测方法，具体为：
通过传感信息采集模块获得多模态传感信息；多模态传感信息中的运动传感数据纳入数据类信息，视觉传感数据纳入图像类信息；
用户信息、数据类信息、图像类信息一同存入数据处理模块；
数据处理模块处理流程如下：
将数据类信息进行离散化、归一化操作之后，存为一维数据向量；
f＝(v1,v2,...,vM)T
式中，M,Vi分别是传感器的数目及编号为i的传感器在某时刻获取的传感数据。大写字母T代表矩阵转置操作。
按照等时间间隔采样t生成数个上述列向量ft,f2t,...,fnt，并生成多尺度的传感数据矩阵F＝[f1 f2...fn]；
将具有同时间戳的图像类信息通过卷积核操作得到与传感数据矩阵相同大小的图像块；
具体为，读取视觉传感器在时间t,2t,...,nt的图像gt,g2t,...,gnt，通过卷积核操作得到与传感数据矩阵相同大小的图像块Gn×M＝[g1 g2...gn]；
深度神经网络中与浅层的语义信息弱，但具有丰富的位置信息；相反，越深层的语义信息强，但位置信息弱。通过ASFF方法，将传感数据矩阵与图像块进行特征融合，得到多尺度的特征向量，而后通过深度神经网络进行分类和识别。具体为，通过大小为1*1，3*3，5*5的卷积核得到不同尺度的特征图I1,I2,I3。通过插值及修改步幅的方法，将各层级的特征图变为同一尺度。
在通过上、下采样和池化操作，对特征图进行尺度统一后，下一步进行特征融合。将不同尺度的特征图在层级l，在每个(i,j)与各自的权重矩阵α,β,γ的(i,j)处相乘再相加，得到融合后的ASFF-L。
记
为层级n缩放到层级l的特征图中位置为(i,j)的特征向量，则对应层级l中融合的特征为
表示三个不同层级到l层特征图的空间重要性权重，可以由网络自适应学习。
所述智能检测模块而后通过将多尺度的特征向量作为输入，通过深度神经网络分析多尺度的特征向量，进行分类，获得肌肉形变结果。
将数据类信息通过预处理得到带病人标签的数据特征，提供给人机交互界面。
一种基于多模态传感的肌肉形变智能检测系统及方法，如图1所示，系统包括：由柔性应变传感器、彩色相机和处理器组成的传感信息采集模块和处理器。系统软件功能包括对数据信息的采集、记录、分析与处理功能，以及图形化的人机交互界面。
多模态传感信息采集装置，采集数据包括：面部肌肉的运动传感信息、人体关节点处的运动传感信息、基于人体骨架结构的视觉传感信息。面部、人体关节处的应变传感器分布如图2、图3所示，这些传感信息被进一步分析与处理后分别纳入图像传感信息和运动传感信息。
该系统既可对单一病人的运动障碍情况或在不同时间的变化情况做记录和对比，因此在软件内部设有存储信息的数据库。数据库信息的录入过程，如图4所示。首先，多模态传感信息经分析与处理后，分别纳入视觉传感数据与运动传感数据，在对相同时间戳的多尺度的传感数据进行特征融合(如图5所示)得到数据特征向量。在处理器端，通过基于深度神经的网络的方法，进行分类与识别。获得病人在面部肌肉、行走步态和整体协调性3个方面获得评分。并录入数据库，以便用户通过人机交互界面进行分析与病情跟踪，整体流程如图6所示。
在人机交互界面上，用户可以调取病人相应的传感信息以及结果进行对比和参考。随着数据库信息的不断完善，对病人运动障碍信息的不断跟踪补充，可以对肌肉形变人的病情为用户提供重要的参考。
Claims (10)
1.一种基于多模态传感的肌肉形变智能检测系统，其特征在于，包括：
传感信息采集模块，用于获取多模态传感信息；所述多模态传感信息中的运动传感数据纳入数据类信息，视觉传感数据纳入图像类信息；
数据处理模块，用于分别对数据类信息和图像类信息进行处理并进行特征融合，得到同一尺度的特征向量；
智能检测模块，用于将同一尺度的特征向量与部分数据类信息构成多尺度的特征向量作为输入，通过深度神经网络进行分类，以表示肌肉形变状态。
2.根据权利要求1所述的一种基于多模态传感的肌肉形变智能检测系统，其特征在于：所述传感信息采集模块包括应变传感器与视觉传感器；
所述应变传感器，用于采集面部肌肉抽动或人体各关节形变的运动传感数据，所述运动传感数据纳入数据类信息；
所述视觉传感器，用于采集人体行走的视觉传感数据；所述视觉传感数据纳入图像类信息。
3.根据权利要求1所述的一种基于多模态传感的肌肉形变智能检测系统，其特征在于：所述应变传感器为可穿戴的应变传感器。
4.根据权利要求1或3所述的一种基于多模态传感的肌肉形变智能检测系统，其特征在于：所述应变传感器为压阻式传感器、压电式传感器、电容式传感器、或以上复合式的传感器阵列。
5.根据权利要求1或2所述的一种基于多模态传感的肌肉形变智能检测系统，其特征在于：所述运动传感数据包括压力分布、弹性分布、三维形态信息中的一种或多种。
6.一种基于多模态传感的肌肉形变智能检测方法，其特征在于，包括以下步骤：
S1.通过传感信息采集模块获得多模态传感信息；所述多模态传感信息中的运动传感数据纳入数据类信息，视觉传感数据纳入图像类信息；
S2.将数据类信息进行预处理存为一维数据向量，按照等时间间隔采样将n个一维数据向量合并成一个矩阵，通过卷积操作生成多尺度的传感数据矩阵；
对与数据类信息具有同时间戳的图像类信息进行卷积核操作，得到与传感数据矩阵相同大小的多尺度图像块；
将传感数据矩阵与多尺度图像块通过ASFF方法进行特征融合，得到同一尺度的特征向量；
S3.将同一尺度的特征向量与部分数据类信息构成多尺度的特征向量作为输入，通过深度神经网络进行分类，以表示肌肉形变状态。
7.根据权利要求6所述的一种基于多模态传感的肌肉形变智能检测方法，其特征在于，所述将数据类信息进行预处理存为一维数据向量，按照等时间间隔采样将n个一维数据向量合并成一个矩阵，包括以下步骤：
将数据类信息进行离散化、归一化操作之后，存为一维数据向量：
f＝(v1,v2,...,vM)T
式中，Vi表示第i个的传感器在某时刻获取的传感数据，M是传感器的数目；i＝1…M；
按照等时间间隔采样t生成n个一维数据向量ft,f2t,...,fnt，并生成多尺度的传感数据矩阵F＝[f1 f2...fn]。
8.根据权利要求6所述的一种基于多模态传感的肌肉形变智能检测方法，其特征在于，所述将传感数据矩阵与图像块通过ASFF方法进行特征融合，得到多尺度的特征向量，包括以下步骤：
通过ASFF方法，将传感数据矩阵与图像块分别通过大小为1*1、3*3、5*5的卷积核得到两组不同尺度的特征图I1,I2,I3，对于每组特征图I1,I2,I3，通过插值及修改步幅将各层级的特征图变为同一尺度，作为融合后的统一尺度特征向量，用于输入深度神经网络。
9.根据权利要求6所述的一种基于多模态传感的肌肉形变智能检测方法，其特征在于，所述深度神经网络预先进行训练，包括以下步骤：
将融合后多尺度的特征向量进行池化操作后作为输入，用textCNN神经网络进行特征提取，提取出来的信息既包含用于表征人体宏观动作的全局特征，又包含用于表征人体微观动作的局部特征；最后通过softmax层，得到分类结果，即关节肌肉形变的程度。
10.根据权利要求6所述的一种基于多模态传感的肌肉形变智能检测方法，其特征在于，所述将多尺度的特征向量作为输入，通过深度神经网络进行分类，以表示肌肉形变状态，包括以下步骤：
同一尺度的特征向量与用于采集面部的数据类信息构成多尺度的特征向量，通过深度神经网络进行分类，得到面部肌肉形变的结果、以及关节处肌肉形变的结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211072556.2A CN115316982A (zh) | 2022-09-02 | 2022-09-02 | 一种基于多模态传感的肌肉形变智能检测系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211072556.2A CN115316982A (zh) | 2022-09-02 | 2022-09-02 | 一种基于多模态传感的肌肉形变智能检测系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115316982A true CN115316982A (zh) | 2022-11-11 |
Family
ID=83929878
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211072556.2A Pending CN115316982A (zh) | 2022-09-02 | 2022-09-02 | 一种基于多模态传感的肌肉形变智能检测系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115316982A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116310217A (zh) * | 2023-03-15 | 2023-06-23 | 精创石溪科技(成都)有限公司 | 基于三维数字图像相关法的人体运动中肌肉动态评估方法 |
| CN116392715A (zh) * | 2023-06-09 | 2023-07-07 | 北京大学口腔医学院 | 一种调控神经肌肉的装置和方法 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06197325A (ja) * | 1992-12-22 | 1994-07-15 | Sony Corp | 動画像分析と合成方法およびその装置 |
| US20170359518A1 (en) * | 2016-06-10 | 2017-12-14 | Movea | Systems and methods for synchronizing sensor data |
| DE202018000408U1 (de) * | 2018-01-26 | 2018-05-04 | Apple Inc. | Gesichtserfassung, Posenabschätzung, und Abschätzung eines Abstands von einer Kamera unter Verwendung eines einzelnen Netzwerks |
| CN109199417A (zh) * | 2018-09-06 | 2019-01-15 | 中山大学 | 一种用于运动康复治疗的增强现实方法及系统 |
| CN109528203A (zh) * | 2019-01-21 | 2019-03-29 | 郑州大学 | 一种基于多源信息融合的交互式脑卒中患者步态训练及评测系统 |
| WO2021056304A1 (zh) * | 2019-09-26 | 2021-04-01 | 深圳市大疆创新科技有限公司 | 图像处理方法、装置、可移动平台及机器可读存储介质 |
| CN112836640A (zh) * | 2021-02-04 | 2021-05-25 | 浙江工业大学 | 一种单摄像头多目标行人跟踪方法 |
| WO2021151290A1 (zh) * | 2020-07-30 | 2021-08-05 | 平安科技（深圳）有限公司 | 基于机器学习的面部信息识别监控方法及装置 |
| CN113505640A (zh) * | 2021-05-31 | 2021-10-15 | 东南大学 | 一种基于多尺度特征融合的小尺度行人检测方法 |
| WO2022020493A1 (en) * | 2020-07-21 | 2022-01-27 | MedRhythms, Inc. | Systems and methods for augmented neurologic rehabilitation |
| CN114092760A (zh) * | 2021-11-05 | 2022-02-25 | 通号通信信息集团有限公司 | 卷积神经网络中自适应特征融合方法及系统 |
-
2022
- 2022-09-02 CN CN202211072556.2A patent/CN115316982A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06197325A (ja) * | 1992-12-22 | 1994-07-15 | Sony Corp | 動画像分析と合成方法およびその装置 |
| US20170359518A1 (en) * | 2016-06-10 | 2017-12-14 | Movea | Systems and methods for synchronizing sensor data |
| DE202018000408U1 (de) * | 2018-01-26 | 2018-05-04 | Apple Inc. | Gesichtserfassung, Posenabschätzung, und Abschätzung eines Abstands von einer Kamera unter Verwendung eines einzelnen Netzwerks |
| CN109199417A (zh) * | 2018-09-06 | 2019-01-15 | 中山大学 | 一种用于运动康复治疗的增强现实方法及系统 |
| CN109528203A (zh) * | 2019-01-21 | 2019-03-29 | 郑州大学 | 一种基于多源信息融合的交互式脑卒中患者步态训练及评测系统 |
| WO2021056304A1 (zh) * | 2019-09-26 | 2021-04-01 | 深圳市大疆创新科技有限公司 | 图像处理方法、装置、可移动平台及机器可读存储介质 |
| WO2022020493A1 (en) * | 2020-07-21 | 2022-01-27 | MedRhythms, Inc. | Systems and methods for augmented neurologic rehabilitation |
| WO2021151290A1 (zh) * | 2020-07-30 | 2021-08-05 | 平安科技（深圳）有限公司 | 基于机器学习的面部信息识别监控方法及装置 |
| CN112836640A (zh) * | 2021-02-04 | 2021-05-25 | 浙江工业大学 | 一种单摄像头多目标行人跟踪方法 |
| CN113505640A (zh) * | 2021-05-31 | 2021-10-15 | 东南大学 | 一种基于多尺度特征融合的小尺度行人检测方法 |
| CN114092760A (zh) * | 2021-11-05 | 2022-02-25 | 通号通信信息集团有限公司 | 卷积神经网络中自适应特征融合方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| QIANG WANG，等: "Towards collaborative appearance and semantic adaptation for medical image segmentation", 《NEUROCOMPUTING》, vol. 491, 18 December 2021 (2021-12-18), XP087034534, DOI: 10.1016/j.neucom.2021.12.040 * |
| XIAOMIN PEI，等: "Temporal pyramid attention‐based spatiotemporal fusion model for Parkinson\'s disease diagnosis from gait data", 《IET SIGNAL PROCESSING》, vol. 15, no. 2, 22 February 2021 (2021-02-22) * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116310217A (zh) * | 2023-03-15 | 2023-06-23 | 精创石溪科技(成都)有限公司 | 基于三维数字图像相关法的人体运动中肌肉动态评估方法 |
| CN116310217B (zh) * | 2023-03-15 | 2024-01-30 | 精创石溪科技(成都)有限公司 | 基于三维数字图像相关法的人体运动中肌肉动态评估方法 |
| CN116392715A (zh) * | 2023-06-09 | 2023-07-07 | 北京大学口腔医学院 | 一种调控神经肌肉的装置和方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Khatamino et al. | A deep learning-CNN based system for medical diagnosis: an application on Parkinson’s disease handwriting drawings | |
| CN115316982A (zh) | 一种基于多模态传感的肌肉形变智能检测系统及方法 | |
| CN111274998B (zh) | 帕金森病手指敲击动作识别方法及系统、存储介质及终端 | |
| Alrubayi et al. | A pattern recognition model for static gestures in malaysian sign language based on machine learning techniques | |
| Guo et al. | Sparse adaptive graph convolutional network for leg agility assessment in Parkinson’s disease | |
| Benalcázar et al. | Real-time hand gesture recognition based on artificial feed-forward neural networks and EMG | |
| Fahim et al. | A visual analytic in deep learning approach to eye movement for human-machine interaction based on inertia measurement | |
| Nogales et al. | Hand gesture recognition using machine learning and infrared information: a systematic literature review | |
| Ashwini et al. | Compressive sensing based recognition of human upper limb motions with kinect skeletal data | |
| Chen et al. | Surface-electromyography-based gesture recognition using a multistream fusion strategy | |
| Sharma et al. | Trbaggboost: An ensemble-based transfer learning method applied to Indian Sign Language recognition | |
| CN113901891A (zh) | 帕金森病握拳任务的评估方法及系统、存储介质及终端 | |
| Liu et al. | A CNN-transformer hybrid recognition approach for sEMG-based dynamic gesture prediction | |
| CN111046715B (zh) | 一种基于图像检索的人体动作对比分析方法 | |
| Peng et al. | MSFF-Net: multi-stream feature fusion network for surface electromyography gesture recognition | |
| Alhersh et al. | Learning human activity from visual data using deep learning | |
| CN114550299A (zh) | 基于视频的老年人日常生活活动能力评估系统和方法 | |
| Wang et al. | Application of optimized convolutional neural networks for early aided diagnosis of essential tremor: automatic handwriting recognition and feature analysis | |
| Quach et al. | Evaluation of the efficiency of the optimization algorithms for transfer learning on the rice leaf disease dataset | |
| Li et al. | Touch gesture recognition using spatiotemporal fusion features | |
| CN115147768B (zh) | 一种跌倒风险评估方法及系统 | |
| Vaijayanthi et al. | Human emotion recognition from body posture with machine learning techniques | |
| Srisuphab et al. | Artificial neural networks for gesture classification with inertial motion sensing armbands | |
| Du et al. | Multivariate time series classification based on fusion features | |
| Peng | Research on Emotion Recognition Based on Deep Learning for Mental Health |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |