CN111134670A - 一种基于生成对抗网络多模态平衡障碍量化评估方法及系统 - Google Patents

一种基于生成对抗网络多模态平衡障碍量化评估方法及系统 Download PDF

Info

Publication number
CN111134670A
CN111134670A CN202010033833.3A CN202010033833A CN111134670A CN 111134670 A CN111134670 A CN 111134670A CN 202010033833 A CN202010033833 A CN 202010033833A CN 111134670 A CN111134670 A CN 111134670A
Authority
CN
China
Prior art keywords
level
balance
training
modal
parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010033833.3A
Other languages
English (en)
Inventor
李修寒
吴小玲
王伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University
Nanjing Medical University
Original Assignee
Nanjing Medical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Medical University filed Critical Nanjing Medical University
Priority to CN202010033833.3A priority Critical patent/CN111134670A/zh
Publication of CN111134670A publication Critical patent/CN111134670A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/389—Electromyography [EMG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/1036—Measuring load distribution, e.g. podologic studies
    • A61B5/1038—Measuring plantar pressure during gait
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/112—Gait analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/02—Preprocessing
    • G06F2218/04—Denoising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Physiology (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Multimedia (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Biology (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明涉及平衡障碍评估技术领域，具体地说，涉及一种基于生成对抗网络多模态平衡障碍量化评估方法及系统。其方法包括如下步骤：采集获取下肢平衡多模态参数；将平衡障碍分级分为四级；将采集的平衡多模态参数按照平衡障碍分级类别分别标注；抽取训练集；训练集分别进行训练。该基于生成对抗网络多模态平衡障碍评估方法及系统中，利用动态捕捉器采集到步态运动学参数，利用足底压力传感器获取步态的动力学参数，利用肌电信号采集设备得到下肢运动的肌电信号，明确等级的多模态数据为基础，采用生成对抗网络进行分类训练，测试时，把对应的测试数据通过训练结果文件进行测试，实现对数据的分类，完成量化评估。

Description

一种基于生成对抗网络多模态平衡障碍量化评估方法及系统
技术领域
本发明涉及平衡障碍评估技术领域，具体地说，涉及一种基于生成对抗网络多模态平衡障碍量化评估方法及系统。
背景技术
目前临床医学中常见的用于平衡能力评定的量表法包括Berg量表、站立—行走测试、摔倒风险指数和Tinetti量表等。Berg量表主要包括14项测试，每一项测试有0-4分五个评分等级，满分为56分。Berg量表的分数越高，就代表受试者的平衡能力越好。但采用Berg量表对平衡障碍进行评估时，需要参考的测试众多，过程繁琐，无法实现量化评估。
发明内容
本发明的目的在于提供一种基于生成对抗网络多模态平衡障碍量化评估方法及系统，以解决上述背景技术中提出的问题。
为实现上述技术问题的解决，本发明的目的之一在于，提供一种基于生成对抗网络多模态平衡障碍量化评估方法，其方法包括如下步骤：
S1、采集获取下肢平衡多模态参数；
S2、将平衡障碍分级分为四级，分别为Ⅰ级、Ⅱ级、Ⅲ级和Ⅳ级；
S3、将采集的平衡多模态参数按照平衡障碍分级类别分别标注；
S4、抽取训练集，训练时将某类样本归为一类,其余样本归为另一类，共有四个训练集；
S5、使用这四个训练集分别进行训练，然后的得到四个训练结果文件。
作为优选，所述S1中，采集获取下肢平衡多模态参数的方法包括肌电信号处理及特征提取方法、动作捕捉特征提取方法和人体足底压力中心特征提取方法。
作为优选，所述肌电信号处理及特征提取方法包括如下步骤：
S1.1、利用经验模态分解对表面肌电信号进行去基线、去噪；
S1.2、利用基本尺度熵来对表面肌电信号进行特征提取(基本尺度熵具有近似熵抗噪声干扰能力强的优点，并且由于采用了动态规划的方法，因此其计算复杂度较近似熵和样本熵较小)。
肌电信号(EMG)是一种幅值不大于5毫伏的微弱信号，表面肌电信号(sEMG)信号噪声干扰包括有：
电极附近肌群的串扰；
采集设备自身的干扰；
电源干扰、环境干扰等。
作为优选，所述动作捕捉特征提取方法包括如下步骤：
S2.1、利用动作捕捉系统(多点)获得人体相应节点三维坐标；
S2.2、对关键部位的三维坐标进行一阶特征、二阶特征的推导。
作为优选，所述人体足底压力中心特征提取方法包括如下步骤：
S3.1、轨迹面积计算，轨迹面积指的是在一次实验周期内，压力中心所覆盖的区域面积，因为轨迹面积能够反映身体的摆动范围，所以是一种常见的评价平衡能力的特征；
S3.2、左右重心分布比和前后重心分布比计算，如果以压力平台的几何中心为坐标原点，左右重心分布比和前后重心分布比分别指的是压力中心分布在纵轴左右的个数的比值和分布在横轴上下个数的比值；
S3.3、COP的轨迹长度计算，其计算公式如下：
COP的左右轨迹长度计算公式：
Figure BDA0002365314570000021
COP的前后轨迹长度计算公式：
Figure BDA0002365314570000022
x、y为压力中心的坐标值，n＝采样频率×t。
S3.4、动摇径计算，动摇径指的是压力中心的最大偏差范围，按照重心的偏移方向，可以分为左右动摇径和前后动摇径，动摇径和重心分布比类似，可以分为左右动摇径和前后动摇径，分别表示为：
Dx＝xmax-xmin；
Dy＝ymax-ymin；
其中xmax指的是压力中心在横轴正向的最大偏移，而xmin指的是压力中心在横轴反方向的最大偏移；同理，ymax和ymin分别代表压力中心在纵轴正向和反向的最大偏移。
作为优选，所述S4中，抽取训练集的方法包括有：
1)、Ⅰ级所对应的数据作为正集，Ⅱ级、Ⅲ级和Ⅳ级所对应的数据作为负集；
2)、Ⅱ级所对应的数据作为正集，Ⅰ级、Ⅲ级和Ⅳ级所对应的数据作为负集；
3)、Ⅲ级所对应的数据作为正集，Ⅰ级、Ⅱ级和Ⅳ级所对应的数据作为负集；
4)、Ⅳ级所对应的数据作为正集，Ⅰ级、Ⅱ级和Ⅲ级所对应的数据作为负集。
作为优选，所述S5中，训练集分别进行训练的方法包括如下步骤：
S4.1、建立四个生成器G，分别对应Ⅰ级、Ⅱ级、Ⅲ级和Ⅳ级，并将每级的负集数据输入对应的生成器G内；
S4.2、建立四个判别器D，分别对应Ⅰ级、Ⅱ级、Ⅲ级和Ⅳ级，并将每级的正集数据输入对应的判别器D内；
S4.3、生成器G采用多层感知机的网络结构，用MLP的参数来表示可导映射G(z)；
S4.4、判别器D采用带有参数的多层感知机，记为D(x)；
S4.5、优化目标函数，函数V(G,D)表示最终优化目标公式如下：
Figure BDA0002365314570000031
其中，优化目标函数包括优化判别器D目标和优化生成器G目标。
优化判别器D目标的方法如下：
S5.1、从Ⅰ级、Ⅱ级、Ⅲ级或Ⅳ级其中一个训练集的正集数据内抽取m个样本；
S5.2、从对应的训练集的负集数据内抽取m个噪声样本；
S5.3、将m个样本和m个噪声样本输入生成器G，生成数据
Figure BDA0002365314570000041
S5.4、通过梯度上升法跟新迭代判别器D的参数，
Figure BDA0002365314570000042
以使得极大化
Figure BDA0002365314570000043
优化判别器D目标的函数公式入下：
Figure BDA0002365314570000044
其中，优化生成器G目标的方法如下：
S6.1、从Ⅰ级、Ⅱ级、Ⅲ级或Ⅳ级其中一个训练集的负集数据内抽取m个噪声样本{z1,z2,...zm}；
S6.2、通过梯度下降法，更新迭代生成器G参数
Figure BDA0002365314570000045
以使得极大化
Figure BDA0002365314570000046
优化生成器G目标的函数公式如下：
Figure BDA0002365314570000047
本发明的目的之二在于，提供一种基于生成对抗网络多模态平衡障碍量化评估系统，包括：
参数采集模块：用于采集获取下肢平衡多模态参数；
分级模块：用于将平衡障碍分级分为四级；
标注模块：用于将采集的平衡多模态参数按照平衡障碍分级类别进行标注；
抽取训练集模块：用于对参数进行抽取，并建立训练集；
训练模块：用于对训练集进行生成对抗网络训练。
本发明的目的之三在于，提供一种基于生成对抗网络多模态平衡障碍量化评估装置，包括处理器、存储器以及存储在所述存储器中并在所述处理器上运行的计算机程序，所述处理器执行上述的计算机程序时实现如上述中任一所述的基于生成对抗网络多模态平衡障碍量化评估方法的步骤。
本发明的目的之四在于，一种计算机可读存储介质，所述存储介质中存储有至少一段程序，所述至少一段程序由上述的处理器执行以实现如上述中任一所述的基于生成对抗网络多模态平衡障碍量化评估方法的步骤。
与现有技术相比，本发明的有益效果：该基于生成对抗网络多模态平衡障碍量化评估方法及系统中，利用动态捕捉器采集到步态运动学参数，利用足底压力传感器获取步态的动力学参数，利用肌电信号采集设备得到下肢运动的肌电信号，提取以上三种方式获取的多模态数据特征，明确等级的多模态数据为基础，采用生成对抗网络进行分类训练，测试时，把对应的测试数据通过训练结果文件进行测试，实现对数据的分类，完成量化评估。
附图说明
图1为本发明的整体流程框图；
图2为本发明肌电信号处理及特征提取方法的流程图；
图3为本发明动作捕捉特征提取方法的流程图；
图4为本发明人体足底压力中心特征提取方法的流程图；
图5为本发明的训练集分别进行训练的方法流程图；
图6为本发明的优化判别器D目标的方法流程图；
图7为本发明的优化生成器G目标的方法流程图；
图8为本发明的基于生成对抗网络多模态平衡障碍评估装置结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-图8所示，本发明提供一种技术方案：
本发明提供一种基于生成对抗网络多模态平衡障碍量化评估方法，其方法包括如下步骤：
S1、采集获取下肢平衡多模态参数；
S2、将平衡障碍分级分为四级，分别为Ⅰ级、Ⅱ级、Ⅲ级和Ⅳ级；
S3、将采集的平衡多模态参数按照平衡障碍分级类别分别标注；
S4、抽取训练集，训练时将某类样本归为一类,其余样本归为另一类，共有四个训练集；
S5、使用这四个训练集分别进行训练，然后的得到四个训练结果文件。
本实施例中，S1中，采集获取下肢平衡多模态参数的方法包括肌电信号处理及特征提取方法、动作捕捉特征提取方法和人体足底压力中心特征提取方法。
进一步的，肌电信号处理及特征提取方法包括如下步骤：
S1.1、利用经验模态分解对表面肌电信号进行去基线、去噪；
S1.2、利用基本尺度熵来对表面肌电信号进行特征提取(基本尺度熵具有近似熵抗噪声干扰能力强的优点，并且由于采用了动态规划的方法，因此其计算复杂度较近似熵和样本熵较小)。
其中，肌电信号(EMG)是一种幅值不大于5毫伏的微弱信号，表面肌电信号(sEMG)信号噪声干扰包括有：
电极附近肌群的串扰；
采集设备自身的干扰；
电源干扰、环境干扰等。
具体的，动作捕捉特征提取方法包括如下步骤：
S2.1、利用动作捕捉系统(多点)获得人体相应节点三维坐标；
S2.2、对关键部位的三维坐标进行一阶特征、二阶特征的推导。
此外，人体足底压力中心特征提取方法包括如下步骤：
S3.1、轨迹面积计算，轨迹面积指的是在一次实验周期内，压力中心所覆盖的区域面积，因为轨迹面积能够反映身体的摆动范围，所以是一种常见的评价平衡能力的特征；
S3.2、左右重心分布比和前后重心分布比计算，如果以压力平台的几何中心为坐标原点，左右重心分布比和前后重心分布比分别指的是压力中心分布在纵轴左右的个数的比值和分布在横轴上下个数的比值；
S3.3、COP的轨迹长度计算，其计算公式如下：
COP的左右轨迹长度计算公式：
Figure BDA0002365314570000071
COP的前后轨迹长度计算公式：
Figure BDA0002365314570000072
x、y为压力中心的坐标值，n＝采样频率×t。
S3.4、动摇径计算，动摇径指的是压力中心的最大偏差范围，按照重心的偏移方向，可以分为左右动摇径和前后动摇径，动摇径和重心分布比类似，可以分为左右动摇径和前后动摇径，分别表示为：
Dx＝xmax-xmin；
Dy＝ymax-ymin；
其中xmax指的是压力中心在横轴正向的最大偏移，而xmin指的是压力中心在横轴反方向的最大偏移；同理，ymax和ymin分别代表压力中心在纵轴正向和反向的最大偏移。
除此之外，S4中，抽取训练集的方法包括有：
1)、Ⅰ级所对应的数据作为正集，Ⅱ级、Ⅲ级和Ⅳ级所对应的数据作为负集；
2)、Ⅱ级所对应的数据作为正集，Ⅰ级、Ⅲ级和Ⅳ级所对应的数据作为负集；
3)、Ⅲ级所对应的数据作为正集，Ⅰ级、Ⅱ级和Ⅳ级所对应的数据作为负集；
4)、Ⅳ级所对应的数据作为正集，Ⅰ级、Ⅱ级和Ⅲ级所对应的数据作为负集。
值得说明的是，S5中，训练集分别进行训练的方法包括如下步骤：
S4.1、建立四个生成器G，分别对应Ⅰ级、Ⅱ级、Ⅲ级和Ⅳ级，并将每级的负集数据输入对应的生成器G内；
S4.2、建立四个判别器D，分别对应Ⅰ级、Ⅱ级、Ⅲ级和Ⅳ级，并将每级的正集数据输入对应的判别器D内；
S4.3、生成器G采用多层感知机的网络结构，用MLP的参数来表示可导映射G(z)；
S4.4、判别器D采用带有参数的多层感知机，记为D(x)；
S4.5、优化目标函数，函数V(G,D)表示最终优化目标公式如下：
Figure BDA0002365314570000081
其中，优化目标函数包括优化判别器D目标和优化生成器G目标。
具体的，优化判别器D目标的方法如下：
S5.1、从Ⅰ级、Ⅱ级、Ⅲ级或Ⅳ级其中一个训练集的正集数据内抽取m个样本；
S5.2、从对应的训练集的负集数据内抽取m个噪声样本；
S5.3、将m个样本和m个噪声样本输入生成器G，生成数据
Figure BDA0002365314570000082
S5.4、通过梯度上升法跟新迭代判别器D的参数，
Figure BDA0002365314570000083
以使得极大化
Figure BDA0002365314570000084
进一步的，优化判别器D目标的函数公式入下：
Figure BDA0002365314570000085
其中，优化生成器G目标的方法如下：
S6.1、从Ⅰ级、Ⅱ级、Ⅲ级或Ⅳ级其中一个训练集的负集数据内抽取m个噪声样本{z1,z2,...zm}；
S6.2、通过梯度下降法，更新迭代生成器G参数
Figure BDA0002365314570000086
以使得极大化
Figure BDA0002365314570000087
其中，优化生成器G目标的函数公式如下：
Figure BDA0002365314570000088
本发明的目的之二在于，提供一种基于生成对抗网络多模态平衡障碍评估系统，包括：
参数采集模块：用于采集获取下肢平衡多模态参数；
分级模块：用于将平衡障碍分级分为四级；
标注模块：用于将采集的平衡多模态参数按照平衡障碍分级类别进行标注；
抽取训练集模块：用于对参数进行抽取，并建立训练集；
训练模块：用于对训练集进行生成对抗网络训练。
需要说明的是，参数采集模块、分级模块、标注模块、抽取训练集模块和训练模块的功能具体参见各模块对应的方法部分的描述，这里就不再赘述。
参阅图8，示出了本发明实施例所涉及的提供基于生成对抗网络多模态平衡障碍量化评估装置结构示意图，该装置包括处理器、存储器和总线。
处理器包括一个或一个以上处理核心，处理器通过总线与处理器相连，存储器用于存储程序指令，处理器执行存储器中的程序指令时实现上述的基于生成对抗网络多模态平衡障碍量化评估方法。
可选的，存储器可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随时存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
此外，本发明还提供一种计算机可读存储介质，存储介质中存储有至少一段程序，至少一段程序由上述的处理器执行以实现如上述中任一的基于生成对抗网络多模态平衡障碍量化评估方法的步骤。
可选的，本发明还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各方面基于生成对抗网络多模态平衡障碍评估方法的步骤。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储与一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的仅为本发明的优选例，并不用来限制本发明，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (10)

1.一种基于生成对抗网络多模态平衡障碍量化评估方法，其方法包括如下步骤：
S1、采集获取下肢平衡多模态参数；
S2、将平衡障碍分级分为四级，分别为Ⅰ级、Ⅱ级、Ⅲ级和Ⅳ级；
S3、将采集的平衡多模态参数按照平衡障碍分级类别分别标注；
S4、抽取训练集，训练时将某类样本归为一类,其余样本归为另一类，共有四个训练集；
S5、使用四个训练集分别进行训练，然后的得到四个训练结果文件。
2.根据权利要求1所述的基于生成对抗网络多模态平衡障碍量化评估方法，其特征在于：所述S1中，采集获取下肢平衡多模态参数的方法包括肌电信号处理及特征提取方法、动作捕捉特征提取方法和人体足底压力中心特征提取方法。
3.根据权利要求2所述的基于生成对抗网络多模态平衡障碍量化评估方法，其特征在于：所述肌电信号处理及特征提取方法包括如下步骤：
S1.1、利用经验模态分解对表面肌电信号进行去基线、去噪；
S1.2、利用基本尺度熵来对表面肌电信号进行特征提取。
4.根据权利要求2所述的基于生成对抗网络多模态平衡障碍量化评估方法，其特征在于：所述动作捕捉特征提取方法包括如下步骤：
S2.1、利用动作捕捉系统(多点)获得人体相应节点三维坐标；
S2.2、对关键部位的三维坐标进行一阶特征、二阶特征的推导。
5.根据权利要求2所述的基于生成对抗网络多模态平衡障碍量化评估方法，其特征在于：所述人体足底压力中心特征提取方法包括如下步骤：
S3.1、轨迹面积计算；
S3.2、左右重心分布比和前后重心分布比计算；
S3.3、COP的轨迹长度计算，其计算公式如下：
COP的左右轨迹长度计算公式：
Figure FDA0002365314560000021
COP的前后轨迹长度计算公式：
Figure FDA0002365314560000022
x、y为压力中心的坐标值，n＝采样频率×t；
S3.4、动摇径计算，其公式为：
Dx＝xmax-xmin；
Dy＝ymax-ymin；
其中xmax指的是压力中心在横轴正向的最大偏移，而xmin指的是压力中心在横轴反方向的最大偏移；ymax和ymin分别代表压力中心在纵轴正向和反向的最大偏移。
6.根据权利要求1所述的基于生成对抗网络多模态平衡障碍量化评估方法，其特征在于：所述S4中，抽取训练集的方法包括有：
1)、Ⅰ级所对应的数据作为正集，Ⅱ级、Ⅲ级和Ⅳ级所对应的数据作为负集；
2)、Ⅱ级所对应的数据作为正集，Ⅰ级、Ⅲ级和Ⅳ级所对应的数据作为负集；
3)、Ⅲ级所对应的数据作为正集，Ⅰ级、Ⅱ级和Ⅳ级所对应的数据作为负集；
4)、Ⅳ级所对应的数据作为正集，Ⅰ级、Ⅱ级和Ⅲ级所对应的数据作为负集。
7.根据权利要求6所述的基于生成对抗网络多模态平衡障碍量化评估方法，其特征在于：所述S5中，训练集分别进行训练的方法包括如下步骤：
S4.1、建立四个生成器G，分别对应Ⅰ级、Ⅱ级、Ⅲ级和Ⅳ级，并将每级的负集数据输入对应的生成器G内；
S4.2、建立四个判别器D，分别对应Ⅰ级、Ⅱ级、Ⅲ级和Ⅳ级，并将每级的正集数据输入对应的判别器D内；
S4.3、生成器G采用多层感知机的网络结构，用MLP的参数来表示可导映射G(z)；
S4.4、判别器D采用带有参数的多层感知机，记为D(x)；
S4.5、优化目标函数，函数V(G,D)表示最终优化目标公式如下：
Figure FDA0002365314560000031
8.一种基于生成对抗网络多模态平衡障碍量化评估系统，包括：
参数采集模块：用于采集获取下肢平衡多模态参数；
分级模块：用于将平衡障碍分级分为四级；
标注模块：用于将采集的平衡多模态参数按照平衡障碍分级类别进行标注；
抽取训练集模块：用于对参数进行抽取，并建立训练集；
训练模块：用于对训练集进行生成对抗网络训练。
9.一种基于生成对抗网络多模态平衡障碍量化评估装置，其特征在于：包括处理器、存储器以及存储在所述存储器中并在所述处理器上运行的计算机程序，所述处理器执行上述的计算机程序时实现如权利要求1-7中任一所述的基于生成对抗网络多模态平衡障碍量化评估方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一段程序，所述至少一段程序由上述的处理器执行以实现如权利要求1-7中任一所述的基于生成对抗网络多模态平衡障碍量化评估方法的步骤。
CN202010033833.3A 2020-01-13 2020-01-13 一种基于生成对抗网络多模态平衡障碍量化评估方法及系统 Pending CN111134670A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010033833.3A CN111134670A (zh) 2020-01-13 2020-01-13 一种基于生成对抗网络多模态平衡障碍量化评估方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010033833.3A CN111134670A (zh) 2020-01-13 2020-01-13 一种基于生成对抗网络多模态平衡障碍量化评估方法及系统

Publications (1)

Publication Number Publication Date
CN111134670A true CN111134670A (zh) 2020-05-12

Family

ID=70524713

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010033833.3A Pending CN111134670A (zh) 2020-01-13 2020-01-13 一种基于生成对抗网络多模态平衡障碍量化评估方法及系统

Country Status (1)

Country Link
CN (1) CN111134670A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117100255A (zh) * 2023-10-25 2023-11-24 四川大学华西医院 一种基于神经网络模型进行防摔倒判定的方法和相关产品

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017058913A1 (en) * 2015-09-28 2017-04-06 Case Western Reserve University Wearable and connected gait analytics system
CN107368752A (zh) * 2017-07-25 2017-11-21 北京工商大学 一种基于生成式对抗网络的深度差分隐私保护方法
CN110176302A (zh) * 2019-04-17 2019-08-27 南京医科大学 利用生成对抗网络模型的下肢力线智能标定确认方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017058913A1 (en) * 2015-09-28 2017-04-06 Case Western Reserve University Wearable and connected gait analytics system
CN107368752A (zh) * 2017-07-25 2017-11-21 北京工商大学 一种基于生成式对抗网络的深度差分隐私保护方法
CN110176302A (zh) * 2019-04-17 2019-08-27 南京医科大学 利用生成对抗网络模型的下肢力线智能标定确认方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
王新栋: "平衡能力感知的多角度刺激与测量评估研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *
臧文华: "基于生成对抗网络的迁移学习算法研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117100255A (zh) * 2023-10-25 2023-11-24 四川大学华西医院 一种基于神经网络模型进行防摔倒判定的方法和相关产品
CN117100255B (zh) * 2023-10-25 2024-01-23 四川大学华西医院 一种基于神经网络模型进行防摔倒判定的方法和相关产品

Similar Documents

Publication Publication Date Title
CN104523266B (zh) 一种心电信号自动分类方法
CN107714023A (zh) 基于人工智能自学习的静态心电图分析方法和装置
CN105184325A (zh) 一种人体动作识别方法和移动智能终端
Pinzón-Arenas et al. Convolutional neural network for hand gesture recognition using 8 different EMG signals
CN103610466A (zh) 基于emd排列组合熵的肌电信号跌倒识别方法
CN106419938B (zh) 一种基于运动能量释放估算的注意缺陷多动障碍(adhd)检测系统
CN108511055A (zh) 基于分类器融合及诊断规则的室性早搏识别系统及方法
CN107016233A (zh) 运动行为和认知能力的关联分析方法及系统
CN105868712A (zh) 基于后验概率模型的脑电与机器视觉目标图像检索方法
CN103886184A (zh) 一种心脏病理识别模型的构建方法
CN115906002B (zh) 一种基于多粒度数据融合的学习投入状态评估方法
CN113807314A (zh) 一种基于微多普勒效应的毫米波雷达视频融合方法
CN110032987B (zh) 一种基于小脑神经网络模型的表面肌电信号分类方法
CN115713246A (zh) 一种关于虚拟场景的多模态人机交互的性能评估方法
CN111134670A (zh) 一种基于生成对抗网络多模态平衡障碍量化评估方法及系统
CN111317448A (zh) 一种分析视觉空间认知的方法及系统
Raghu et al. Automated biomedical signal quality assessment of electromyograms: Current challenges and future prospects
CN106073802A (zh) 运动状态下的血氧饱和度监测装置
CN110801227A (zh) 基于可穿戴设备的立体色块障碍测试的方法和系统
TW201731458A (zh) 心律不整診斷資料庫建立方法與心電圖心律不整判斷方法與心電圖心律不整判斷系統
CN116186561A (zh) 基于高维时序图网络的跑步姿势识别纠正方法及系统
CN111227796A (zh) 一种基于支持向量机多模态融合下的平衡障碍量化评估方法及系统
Wu et al. A New EMG Decomposition Framework for Upper Limb Prosthetic Systems
CN109919101A (zh) 一种基于手机客户端的用户体验评价方法及系统
CN113171102B (zh) 基于持续深度学习的ecg数据分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200512

RJ01 Rejection of invention patent application after publication