CN110801227A - 基于可穿戴设备的立体色块障碍测试的方法和系统 - Google Patents

基于可穿戴设备的立体色块障碍测试的方法和系统 Download PDF

Info

Publication number
CN110801227A
CN110801227A CN201911248610.2A CN201911248610A CN110801227A CN 110801227 A CN110801227 A CN 110801227A CN 201911248610 A CN201911248610 A CN 201911248610A CN 110801227 A CN110801227 A CN 110801227A
Authority
CN
China
Prior art keywords
modal
neural network
color block
signal
signals
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911248610.2A
Other languages
English (en)
Other versions
CN110801227B (zh
Inventor
陈益强
张迎伟
于汉超
吕泽平
商盼
欧阳奕奕
杨晓东
卢旺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Computing Technology of CAS
Original Assignee
Institute of Computing Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Computing Technology of CAS filed Critical Institute of Computing Technology of CAS
Priority to CN201911248610.2A priority Critical patent/CN110801227B/zh
Publication of CN110801227A publication Critical patent/CN110801227A/zh
Application granted granted Critical
Publication of CN110801227B publication Critical patent/CN110801227B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/389—Electromyography [EMG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116—Determining posture transitions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1118—Determining activity level
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
    • A61B5/4088—Diagnosing of monitoring cognitive diseases, e.g. Alzheimer, prion diseases or dementia
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/725—Details of waveform analysis using specific filters therefor, e.g. Kalman or adaptive filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219—Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Physiology (AREA)
  • Artificial Intelligence (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Neurology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Hospice & Palliative Care (AREA)
  • Mathematical Physics (AREA)
  • Psychology (AREA)
  • Neurosurgery (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于可穿戴设备的立体色块障碍测试模型的训练方法，包括：通过可穿戴设备采集用户在立体色块障碍测试中产生的多模态信号；对所述多模态信号进行预处理并划分为多个信号片段；根据所述用户的动作类型标定所述多模态信号片段；利用所述标定后的多模态信号片段训练神经网络。

Description

基于可穿戴设备的立体色块障碍测试的方法和系统
技术领域
本发明涉及医疗康复以及深度学习领域，尤其涉及一种基于可穿戴设备的立体色块障碍测试的方法和系统。
背景技术
本部分的陈述仅仅是为了提供与本发明相关的背景信息，以帮助理解本发明，这些背景信息并不一定构成现有技术。
人类的认知能力会随着年龄的增长逐渐衰退，表现出语言表达、视觉空间、执行力、专注度、记忆力、信息接收和处理能力等多个方面不同程度的减弱，同时轻度认知功能障碍、阿尔兹海默综合症、帕金森综合症等神经类疾病的发病率也逐年升高。针对上述神经类疾病的诊断中，运动能力评估是其中一项重要环节，尤其是上肢灵活度的临床评估，能够为患者确诊提供除问询外的有效衡量标准，对患者的精准诊断和干预治疗至关重要。
立体色块障碍测试(Box and Block Test，BBT)通过检测患者能否在单位时间内成功移动若干数量的立体色块来评估其上肢灵活性和运动协调能力。立体色块障碍测试因简单易用，被广泛应用在脑卒中、阿尔兹海默和轻度认知功能障碍等疾病的诊断中。然而，在传统的立体色块障碍测试评估方法中，治疗师往往需要录制患者测试过程中的视频并在测试后对视频进行分析。这一方面需耗费较多人力和时间，效率低下；另一方面也因人工分析具有较大的主观性，评分可靠性较低。
相较于传统立体色块障碍测试，自动化的测试方法更为便捷。目前，大多数自动化测试方法基于深度摄像头实现，如Kinect等，但该方法存在如下缺陷：首先，该类识别方法依赖于外部的图像采集设备，因此适用范围被限制在相关设备的应用环境中，且要求用户处在能够被图像采集设备所观察到的区域中：其次，由于图像能够传达的信息非常丰富，因此存在着除了测试活动之外其他隐私信息被泄漏的风险；最后，图像处理，尤其是视频流中的图像处理，需要很高的网络带宽和计算能力，因此很难在现有的设备中实现实时的处理。
发明内容
本发明的目的在于克服上述现有技术的缺陷，提供一种基于可穿戴设备的立体色块障碍测试的方法和系统。
根据本发明的一方面，提供一种基于可穿戴设备的立体色块障碍测试模型的训练方法，包括：通过可穿戴设备采集用户在立体色块障碍测试中产生的多模态信号；对所述多模态信号进行预处理并划分为多个信号片段；根据所述用户的动作类型标定所述多模态信号片段；利用所述标定后的多模态信号片段训练神经网络。
可选的，其中，所述多模态信号包括肌电信号、加速度信号、陀螺仪信号、方位计信号以及欧几里得空间中方位计信号。
可选的，其中，所述对所述多模态信号进行预处理包括：滤波、升采样和标准化。
可选的，其中，所述神经网络为卷积神经网络、长短时神经网络或卷积-长短时神经网络。
可选的，其中，所述利用所述标定后的多模态信号片段训练神经网络包括：将所述多模态信号片段在数据层进行融合，将融合后的多模态信号片段输入所述神经网络进行识别。
可选的，其中，所述利用所述标定后的多模态信号片段训练神经网络包括：将所述多模态信号片段输入所述神经网络，在特征层进行融合，由所述神经网络进行识别并输出结果。
可选的，其中，所述利用所述标定后的多模态信号片段训练神经网络包括：将所述多模态信号片段输入所述神经网络，在决策层进行融合，并由所述神经网络输出最终识别结。
根据本发明的另一方面，提供一种基于可穿戴设备的立体色块障碍测试方法，该方法包括：通过可穿戴设备采集用户在立体色块障碍测试中产生的多模态信号；对所述多模态信号进行预处理并划分为多个信号片段；通过所述立体色块障碍测试模型对所述多模态信号片段进行识别；根据所述识别结果获得所述用户立体色块障碍测试结果。
可选的，其中，所述根据所述识别结果获得所述用户立体色块障碍测试结果包括：当所述识别结果为移动动作片段时，统计最长连续移动动作片段的数量；判断所述最长连续移动动作片段的数量是否达到设定的阈值，若达到所述阈值，则判定为完成一次立体色块移动；统计完成所述立体色块移动的数量并输出测试结果。
根据本发明的另一方面，提供一种基于可穿戴设备的立体色块障碍测试系统，该系统包括：立体色块障碍测试装置；可穿戴设备；处理器；以及存储装置，其中存储有计算机程序，在所述计算机程序被处理器执行时，能够用于实现上述任一种立体色块障碍的测试方法。
与现有技术相比，本发明的优点在于：利用可穿戴设备对用户进行立体色块障碍测试，可以突破传统测试中空间和时间的限制，减少医务人员人力成本并增加该测试的普适度；通过将多模态信号进行融合，可以基于不同模态信号之间的互补信息实现对用户的动作特征更加准确的识别；此外，利用神经网络进行动作识别，能够降低计算复杂度，自动、快速、准确地获得立体色块障碍测试结果。
附图说明
以下附图仅对本发明作示意性的说明和解释，并不用于限定本发明的范围，其中：
图1示出了立体色块障碍测试示意图；
图2示出了根据本发明一个实施例的立体色块障碍测试方法示意图；
图3示出了根据本发明一个实施例的立体色块障碍测试方法；
图4示出了根据本发明一个实施例的利用可穿戴设备采集多模态信号的示意图；
图5示出了根据本发明一个实施例的经过升采样后的多模态信号示意图；
图6出了根据本发明一个实施例的将多模态信号在数据层融合后输入CNN网络的示意图；
图7示出了CNN的结构特征示意图；
图8示出了根据本发明一个实施例的立体色块障碍测试方法；
图9示出了根据本发明一个实施例的采用最长连续序列算法进行色块统计的方法；
图10示出了根据本发明一个实施例的最长连续序列算法的原理图；
图11示出了根据本发明中实施例的9种网络结构模型测试结果的准确率、精准度、召回率、F-measure的平均值及方差；
图12示出了根据本发明中实施例的9种网络结构模型测试结果的训练耗时及测试耗时；
图13示出了采用数据层融合、特征层融合以及决策层融合的测试结果对比图；
图14示出了采用CNN、LSTM和CNN-LSTM三种网络单元的测试结果对比图。
具体实施方式
为了使本发明的目的、技术方案、设计方法及优点更加清楚明了，以下结合附图通过具体实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
立体色块障碍测试中，受试者通常被要求在特定时间内使用其上肢移动测试装置中不同颜色的立体色块。图1示出了立体色块障碍测试示意图。如图1所示，测试装置内放置有若干不同颜色的立体色块，其中部设置一挡板，将该装置从中间隔开分成两部分。测试开始前，测试装置中一端(例如右半部分)放置有立体色块，另一端(例如左半部分)为空。测试过程中，受试者逐一将立体色块从一端(例如右半部分)移动到另一端(例如左半部分)。测试结束后，通过统计被移动的立体色块的个数来评估受试者上肢灵活性和运动协调能力。在立体色块障碍测试中，可以通过可穿戴设备采集受试者在执行测试中的产生的各项与运动相关的生理参数(即多模态信号)。基于对这些生理参数的分析可以识别受试者的移动动作特征进而获得被移动的色块的数量，即立体色块障碍测试的结果。
图2示出了根据一个实施例的基于可穿戴设备的立体色块障碍测试的方法的示意图。如图2所示，受试者将可穿戴设备佩戴在执行测试的手臂上以采集受试者在测试中产生的多种模态的信号；可穿戴设备将采集到的多模态信号通过WIFI或蓝牙等通信方式发送给例如可以包括智能手机、个人客户端或云端服务器等的智能设备；智能设备将接收到的多模态信号进行预处理，利用训练好的立体色块障碍测试模型判定是否完成色块移动，并通过统计移动色块的数量确定立体色块障碍测试的最终结果。立体色块障碍测试模型通过训练获得，用于融合可穿戴设备采集到的多模态信号，并进行动作识别。
图3示出了根据一个实施例的基于可穿戴设备的立体色块障碍测试模型的训练方法。如图3所示，该方法包括：
步骤S310，通过可穿戴设备采集受试者在立体色块障碍测试中产生的多模态信号。
多模态数据是指对于同一描述对象，通过不同领域或视角获取到的数据，其中描述数据的每一个领域或视角称为一个模态。表征运动的多模态信号可以包括肌电(Electromyographic，EMG)、加速度(Accelerometer)、陀螺仪(Gyroscope)、方位计(Orientation)、欧几里得空间中方位计(OrientationEuler)等。由于多模态数据之间具有互补性，其信息表示往往比传统的单模态数据呈现更好的性能和效果。
可穿戴设备上可以集成有各种生物传感器，通过将其直接穿戴在受试者身上可以方便、快捷地采集受试者在色块障碍测试中的多种模态信号。常见的可穿戴设备包括智能手表、腕带、臂环等，其上可以集成有各种动作传感器，例如可以包括：加速度传感器，用于采集设备运动的加速度值；陀螺仪，用于采集设备绕三个轴旋转的角速度；磁力计，用于采集设备自身坐标系中三个正交轴上地球磁场的强度以及设备相对于地球坐标系的朝向，通常和加速度传感器一起用来估计设备的朝向，并结合陀螺仪采集到的角速度计算设备实时的方向和姿态；皮肤传感器，用于采集用户的肌电信号；以及心率传感器和声音传感器等。可穿戴设备可以同步或非同步传输地将获取的多模态信号发送至智能设备，方便后续的数据处理。
图4示出了根据一个实施例的利用可穿戴设备采集多模态信号的示意图。如图4(a)所示，受试者将无线可穿戴设备(如图4(b)所示)佩戴于进行立体色块的前臂上端以感知多模态运动信号。该设备能采集8轴肌电信号、3轴加速度信号、3轴陀螺仪信号、4轴方位计信号、可以计算获得3轴欧几里得空间中的方位计信号，并能够通过蓝牙将多模态信号发送至个人电脑，并显示在个人电脑的可视化数据分析平台上(如图4(c)所示)。
步骤S320，对采集到的多模态信号进行预处理并划分为多个信号片段。
在动作识别任务中，对于流类型的原始数据可以先进行预处理操作，例如包括去噪、滤波、欠采样、比例缩放、量纲统一或归一化操作等，具体选择的处理操作由数据特点和任务目标决定。本发明中，基于传感器采集到多模态信号的不同特性，数据预处理至少可以包括原始数据的滤波、升采样(插值)和标准化(归一化)。
数据预处理中的滤波常用来降低噪声并提高数据质量。由于肌电信号是一种非常微弱的电生理信号，在数据采集过程中很容易受到环境噪声的干扰。为了提高信号的信噪比，避免噪声信号对后续动作识别的影响，在一个实施例中，可以首先将采集到的表面肌电信号经过一个频带范围是20-500Hz的4阶巴特沃斯带通滤波器滤除高频噪声和运动伪迹，同时加速度、陀螺仪等其他四种运动信号通过一个平滑滤波器滤除信号采集过程中产生的一些尖峰脉冲。
升采样是将数据原有的频率从低频转换为高频。升采样因增加了有效的采样率，又可称为插值。由于肌电信号采样频率为200Hz，而加速度、陀螺仪等其他四种运动信号的采样频率仅为50Hz，为保证后续运动片段分割的同步进行，在一个实施例中，可以使用3次样条插值对齐不同模态信号使所有模态信号采样频率均为200Hz。该信号插值过程可以在MATLAB R2016a平台实现。原始多模态信号和3次样条插值后的信号如图5所示。
此外，由于采集到的多模态信号是多个维度的，不同维度的信号往往具有不同的量纲和量纲单位，这会影响到数据分析的结果。为了消除多模态信号之间的量纲影响，需要对数据进行标准化处理，使各信号处于同一数量级，适合进行综合对比评价。在一个实施例中，可以对采集到的多模态信号进行min-max标准化，对原始的多模态信号进行线性变换，使结果值映射到0到1之间，从而减小不同信号间的误差。
片段划分是将近似无限长的数据流分割为长度有限且较为短暂的片段，这样可以使得对于原始数据的处理和分析更加方便，同时也更加有利于实时的活动识别。在一个实施例中，可以采用滑窗的方式对预处理后的多模态信号数据进行片段划分，通过将一个固定长度的窗口沿着时间序列移动并提取窗口中的数据作为片段实现对时间序列的划分。
步骤S330，根据受试者的动作类型标定划分好的多模态信号片段。
基于神经网络的机器学习是一种有监督的学习方式，训练集中的数据应当是有标签的类别数据。在一个实施例中，可以在采集多模态信号阶段按照时间序列依次记录受试者的动作类型，并根据受试者在不同时间序列内的动作类型对相应时间序列内的信号片段进行标定。例如，若受试者在T0到T1时间段内未发生移动动作，则T0到T1时间序列内采集到的所有信号片段均可标定为“0”；若受试者在T1到T2时间段发生移动动作，则在T1到T2时间序列内采集到的所有信号片段均可标定为“1”。
步骤S340，利用标定后的多模态信号片段训练神经网络。
通过可穿戴设备采集到的多模态信号中，每个模态的信号仅针对于被描述对象的一个领域或视角，因此需要将各个模态的信号片段进行融合，以便从多个方面综合判定其是否构成移动动作片段。信号(或数据)融合是将来自多个传感器的多模态的信号加以智能化合成，以消除不同信号之间可能存在的冗余和矛盾，并且通过不同信号间的互补，改善数据提取的及时性和可靠性，提高数据使用效率。
在一个实施例中，可以将标定后的多模态信号片段在数据层融合(data-levelfusion)进行融合。数据层融合又称前端融合，是指在进行特征提取和动作识别之前，将多个独立的数据集融合成一个单一的数据，然后输入到神经网络中。图6示出了多模态信号在数据层融合后输入CNN网络的示意图，如图6所示，所有模态的数据(T×W矩阵，其中，T表示信号片段长度，W表示信号通道总数)融合之后输入包含3层卷积层的CNN网络。在本发明其他实施例中，也可以将标定后的多模态信号片段由神经网络特征提取后在特征层融合(feature-level fusion)或在决策层融合(decision-level fusion)。
融合后的信号片段可以由神经网络进行特征提取和动作识别并最终判定是否构成移动动作片段。特征是动作识别中一种常用的数据描述手段，通过特征提取一方面可以缩小原始数据的规模，另一方面可以抽象出能反映和区分对象所属类别的重要信息。在提取特征之后，可以根据每个片段的特征向量识别该片段对应的动作类型，即动作识别。神经网络具有强大的数据抽象和表达能力，其通过模仿神经元及其连接进行信息处理。
在一个实施例中，可以采用卷积神经网络(Convolutional Neural Network,CNN)对多模态信号片段进行特征提取及动作识别。色块测试中产生的多模态信号片段的识别通常是基于时域特征和频域特征的分析完成的，需要克服多模态信号所面临的各种各样的多样性，包括人的动作力度、动作幅度以及环境的影响等。将CNN提供的在时间和空间上的平移不变形卷积应用到动作识别中，可以有效克服信号本身的多样性。
图7示出了CNN的结构特征示意图，如图7所示，与传统的神经网络不同，CNN包含一个由卷积层(Convolutional)和池化层(Pool)构成的特征抽取器，避免了传统神经网络随着层数加深造成参数过多的问题。此外，与传统的神经网络不同，CNN卷积层中的神经元只和部分的邻层神经元相连，其利用局部空间相关性将当前层的神经元与其相邻的前一层的局部区域的神经元相连，大幅度地减少了权值数量并降低了模型复杂度和训练难度。CNN中每个卷积层包含若干个特征图(Feature Map)，同一特征图中的所有神经元共享权值，这些共享的权值即被称为卷积核。卷积核一般为一个n×n的矩阵，该矩阵中的元素初始值一般初始化为一个随机的分布，然后通过网络的训练不断更新。卷积神经网络中共享权值的设计不仅可以减少网络各层间的连接以及网络的训练复杂度，而且可以降低网络出现过拟合的风险。网络中每个特征图的输入由前一层的特征图通过一个卷积核卷积，再加上一个偏置，最后通过一个激活函数得到。核卷积运算子是CNN的核心，能够用于从输入数据中提取信号特征，其本质是一种特殊的线性运算操作，具体公式如下：
其中，
Figure BDA0002308396070000092
表示l层的第j个特征，τ是非线性函数，Fl是l层的特征映射数目，是用于通过l层特征映射f计算l+1层特征映射j的卷积核，pl和ql是l层卷积核的大小，bl是偏置项。
经过卷积层运算后维数比较大，因此CNN通过在卷积层之间加入池化层以进一步降低网络的复杂度。池化层可以看作是一种特殊的卷积过程，池化层中常用的池化方式包括最大值池化(Max Pooling)和平均值池化(Mean Pooling)。以一个2×2池化层为例，最大值池化通过一个2×2的池化层，选取前一层特征图中的每4个神经元的最大值，作为后一层特征图的1个神经元的值；而平均值池化通过2×2的池化层，选取前一层特征图中的每4个神经元的平均值，作为后一层特征图的1个神经元的值。CNN通过池化层降低了网络中特征图的尺寸，从而降低了网络的复杂度，在一定程度上也去除了图像中的噪声。
在一个实施例中，可以使用线性整流函数(Rectified Linear Unit,ReLU)作为卷积层激活函数。将线性整流函数作为激活函数的主要优势在于速度快。和传统的Sigmoid函数需要计算指数和倒数相比，ReLU函数是一个max(0，x)函数，计算代价要小很多。其次ReLU函数能够减少梯度消失问题。由于ReLU函数的导数是1，不会导致梯度变小。使用ReLU激活函数可以训练深度神经网络。
在本发明其他实施例中，测试模型中的神经网络也可以采用长短时记忆神经网络(Long short-term memory，LSTM)，或CNN与LSTM结合形成的CNN-LSTM网络。
利用标定后的多模态信号片段对神经网络拓扑结构进行训练以获得最佳性能的网络模型，并基于训练好的网络模型进行立体色块障碍测试。图8示出了本发明一个实施例的立体色块障碍测试方法，如图8所示，其中步骤S810、S820与上述步骤S310、S320类似，在此不再赘述，其余步骤如下：
步骤S830，通过上述立体色块障碍测试模型对分割后的多模态信号片段进行识别。
利用训练好的立体色块障碍测试模型对采集到的多模型信号片段进行识别。在一个实施例中，当识别为移动动作片段时，测试模型输出结果为“1”；当识别为非移动动作片段时，输出结果为“0”。
步骤S840，基于最长连续序列算法判断是否完成一次色块移动动作。
一次立体色块移动动作由多个移动动作片段构成，多个连续的移动动作片段构成一个完整的立体色块移动动作。因此，经神经网络识别后的单个移动动作片段不能单独作为判定一次色块移动的依据。
在一个实施例中，可以采用最长连续序列算法实现色块移动统计。图9示出了一个实施例中采用最长连续序列算法进行色块统计的方法，该方法包括：统计最长连续移动动作片段的数量，判断所述最长连续移动动作片段的数量是否达到设定的阈值，若达到所述阈值，则判定为完成一次立体色块移动。
图10示出了本发明一个实施例中最长连续序列算法的原理图。如图10所示，图中的圆圈代表一次色块移动动作中的动作片段，其中标“0”圆圈代表无立体色块移动动作的片段，标“1”灰色圆圈代表包含色块移动动作的片段。考虑到动作识别中产生的误差，可以根据上下文动作片段判断，修正动作片段标注，例如：若“0”动作片段上下文均为“1”，则将其修正为“1”，若“1”动作片段上下文均为“0”，则将其修正为“0”。在修正后的动作片段序列中找出最长标“1”连续动作片段序列，即最长移动动作片段序列，判断该最长连续动作片段的长度是否达到最小长度(即设定的阈值)，若达到最小长度，则判断为完成一次立体色块移动；若不符合最小长度，则判断未发生色块移动。
在本发明的其他实施例中，也可采用序列遍历等其他计数方式统计移动动作片段数量。
步骤S850，重复步骤S810-S840至测试结束，统计最终完成立体色块移动的次数并输出测试结果。
为了验证本发明的方法的有效性，发明人设计了一个实验。在该实验中征募了37名受试，其中包括25名MCI患者(年龄66.75±4.90，其中16名男性，9名女性，23名右利手，2名左利手)以及12名正常人(23.36±2.31，其中7名男性，5名女性，12名右利手，0名左利手)。
总的来说，经实验测试，与传统的立体色块障碍测试相比，使用本发明测试方法获得的结果在准确率、精准度、召回率、F-measure及其标准差以及耗时等多个方面都获得了显著提高。下面对本实验的过程进行详细描述。
在本实验中设计了9种不同的数据融合网络，包含数据层融合、特征层融合、决策层融合3种不同的数据融合方法以及CNN网络、LSTM网络、CNN-LSTM网络3种不同神经网络单元，具体如下：
网络1：该网络中多模态信号在数据层融合，基本网络单元为CNN，即所有模态数据(T×W矩阵)融合之后输入包含3层卷积层的CNN网络；
网络2：该网络中多模态信号在数据层融合，即所有模态数据(T×W矩阵)融合之后输入LSTM网络，网络2主要关注多模态信号的时序关联；
网络3：该网络中多模态信号在数据层融合，即所有模态数据(T×W矩阵)融合之后输入CNN-LSTM网络，网络3同时关注多模态信号的时序、空间关联；
网络4：该网络中第i个CNN的输入为第i模态信号(T×Wi矩阵)，多模态信号在特征层融合；
网络5：该网络中第i个LSTM的输入为第i模态信号(T×Wi矩阵)，多模态信号在特征层融合；
网络6：该网络中第i个CNN-LSTM的输入为第i模态信号(T×Wi矩阵)，多模态信号在特征层融合；
网络7：该网络中第i个CNN的输入为第i模态信号(T×Wi矩阵)，多模态信号在决策层通过多数投票的方式融合；
网络8：该网络中第i个LSTM的输入为第i模态信号(T×Wi矩阵)，多模态信号在决策层通过多数投票的方式融合；
网络9：该网络中第i个CNN-LSTM的输入为第i模态信号(T×Wi矩阵)，多模态信号在决策层通过多数投票的方式融合。
其中，T表示信号片段长度，M表示多模态信号数量，W1，W2，...，WM分别表示每一模态信号的通道数，W＝W1+W2+…+WM表示信号通道总数。
实验设备包括传统立体色块障碍测试设备、Myo臂环及戴尔灵越7510(Intel Corei7-6820HQ/16GB DDR3)构成，软件开发环境为Visual Studio(VS)2017集成开发环境及OpenCV 2.4.11、Qt5.10。实验过程中，受试佩戴臂环Myo于前臂上端采集肌电、加速度、陀螺仪、方位计及欧几里得空间下方位计5种多模态信号。为接受和可视化获取的多模态信号，该实验通过VS 2017设计了一个数据存储及分析平台。
实验开始前，每名受试均有15秒的练习时间，练习结束后，受试开始正式测试，每次测试持续60s，重复3次。测试过程收集，肌电信号采样频率为200Hz，其他4种信号采样频率为50Hz。实验使用3次样条插值对齐不同模态信号使所有模态信号采样频率均为200Hz，该信号插值过程在MATLAB R2016a平台实现。原始多模态信号和3次样条插值后的信号。实验使用滑动窗口划分信号片段，每个信号窗口长度为0.64秒，步长为0.08秒，完成数据分段后，将获得约80000个数据片段，每个数据片段形状为128×21，其中每一名受试其数据量约为750段/秒×3秒。实验过程中，使用前2秒数据做训练集，最后1秒数据作为测试集。实验中存在正样本和负样本非均衡的问题，正样本数量约占总样本数的20％，负样本数量约占总样本数的80％，因此，使用上采样方法平衡正负样本数量，经过上采样，每名受试样本总数为约3600条。
图11示出了9种网络结构模型测试的准确率、精准度、召回率、F-measure的平均值及方差，图12示出了9种不同网络结构的训练耗时及测试耗时。如图11、图12所示，与真实情况相比，本发明中的测试方法平均准确率为99.31％，最低准确率为95.71％，其中，网络1，即将多模态信号在数据层融合并使用CNN网络进行动作识别的测试方法综合性能最好。
图13示出了数据层融合、特征层融合以及决策层融合三种不同数据融合策略下的色块测试准确率、精准度、召回率、F-measure及其标准差。如图13所示，数据层融合取得了最好的测试准确率、召回率和F-measure，结果分别为93.50％、95.35％和93.65％。在标准差方面，数据层融合在准确率、精准度、召回率及F-measure方面也取得了最好的效果，分别为4.48％、5.50％、5.07％和4.38％。
图14示出了CNN、LSTM和CNN-LSTM三种不同网络单元的测试准确率、精准度、召回率、F-measure及其标准差，如图14所示，CNN网络单元取得最好的测试性能，与另外两种网络单元相比，准确率、精准度、召回率、F-measure的均值均为最优，分别为93.91％、93.14％、95.20％和94％，准确率、精准度、召回率、F-measure的标准差也是最低的，分别为4.06％、5.38％、5.28％和4.04％。
综上所述，本发明中基于可穿戴设备的立体色块障碍测试方法，通过将可穿戴设备采集到的多模态信号进行融合并由神经网络识别，最终实现色块移动统计，可以自动、快速、准确地获得测试结果，具有较强的普适性。
在本发明的一个实施例中，可以将立体色块障碍测试装置、可穿戴设备、处理器以及存储器共同构成立体色块障碍测试系统，以实现上述测试方法。
在本发明的一个实施例中，可以以计算机程序的形式来实现本发明。计算机程序可以存储于各种存储介质(例如，硬盘、光盘、闪存等)中，当该计算机程序被处理器执行时，能够用于实现本发明的方法。
在本发明的另一个实施例中，可以以电子设备的形式来实现本发明。该电子设备包括处理器和存储器，在存储器中存储有计算机程序，当该计算机程序被处理器执行时，能够用于实现本发明的方法。
本文中针对“各个实施例”、“一些实施例”、“一个实施例”、或“实施例”等的参考指代的是结合所述实施例所描述的特定特征、结构、或性质包括在至少一个实施例中。因此，短语“在各个实施例中”、“在一些实施例中”、“在一个实施例中”、或“在实施例中”等在整个本文中各处的出现并非必须指代相同的实施例。此外，特定特征、结构、或性质可以在一个或多个实施例中以任何合适方式组合。因此，结合一个实施例中所示出或描述的特定特征、结构或性质可以整体地或部分地与一个或多个其他实施例的特征、结构、或性质无限制地组合，只要该组合不是不符合逻辑的或不能工作。本文中出现的类似于“根据A”、“基于A”、“通过A”或“使用A”的表述意指非排他性的，也即，“根据A”可以涵盖“仅仅根据A”，也可以涵盖“根据A和B”，除非特别声明其含义为“仅仅根据A”。在本申请中为了清楚说明，以一定的顺序描述了一些示意性的操作步骤，但本领域技术人员可以理解，这些操作步骤中的每一个并非是必不可少的，其中的一些步骤可以被省略或者被其他步骤替代。这些操作步骤也并非必须以所示的方式依次执行，相反，这些操作步骤中的一些可以根据实际需要以不同的顺序执行，或者并行执行，只要新的执行方式不是不符合逻辑的或不能工作。
由此描述了本发明的至少一个实施例的几个方面，可以理解，对本领域技术人员来说容易地进行各种改变、修改和改进。这种改变、修改和改进意于在本发明的精神和范围内。虽然本发明已经通过优选实施例进行了描述，然而本发明并非局限于这里所描述的实施例，在不脱离本发明范围的情况下还包括所作出的各种改变以及变化。

Claims (10)

1.一种基于可穿戴设备的立体色块障碍测试模型的训练方法，包括：
通过可穿戴设备采集用户在立体色块障碍测试中产生的多模态信号；
对所述多模态信号进行预处理并划分为多个信号片段；
根据所述用户的动作类型标定所述多模态信号片段；
利用所述标定后的多模态信号片段训练神经网络。
2.根据权利要求1所述的训练方法，其中，所述多模态信号包括肌电信号、加速度信号、陀螺仪信号、方位计信号以及欧几里得空间中方位计信号。
3.根据权利要求1所述的训练方法，其中，所述对所述多模态信号进行预处理包括：滤波、升采样和标准化。
4.根据权利要求1所述的训练方法，其中，所述神经网络为卷积神经网络、长短时神经网络或卷积-长短时神经网络。
5.根据权利要求4所述的训练方法，其中，所述利用所述标定后的多模态信号片段训练神经网络包括：将所述多模态信号片段在数据层进行融合，将融合后的多模态信号片段输入所述神经网络进行识别。
6.根据权利要求4所述的训练方法，其中，所述利用所述标定后的多模态信号片段训练神经网络包括：将所述多模态信号片段输入所述神经网络，在特征层进行融合，由所述神经网络进行识别并输出结果。
7.根据权利要求4所述的训练方法，其中，所述利用所述标定后的多模态信号片段训练神经网络包括：将所述多模态信号片段输入所述神经网络，在决策层进行融合，并由所述神经网络输出最终识别结果。
8.一种利用权利要求1-7任一方法建立的立体色块障碍测试模型进行测试的方法，包括：
通过可穿戴设备采集用户在立体色块障碍测试中产生的多模态信号；
对所述多模态信号进行预处理并划分为多个信号片段；
通过所述立体色块障碍测试模型对所述多模态信号片段进行识别；
根据所述识别结果获得所述用户立体色块障碍测试结果。
9.根据权利要求8所述的测试方法，其中，所述根据所述识别结果获得所述用户立体色块障碍测试结果包括：
当所述识别结果为移动动作片段时，统计最长连续移动动作片段的数量；
判断所述最长连续移动动作片段的数量是否达到设定的阈值，若达到所述阈值，则判定为完成一次立体色块移动；
统计完成所述立体色块移动的数量并输出测试结果。
10.一种立体色块障碍测试系统，该系统包括：
立体色块障碍测试装置；
可穿戴设备；
处理器；以及
存储装置，其中存储有计算机程序，在所述计算机程序被处理器执行时，能够用于实现权利要求1-7之一的立体色块障碍测试模型的训练方法或者权利要求8-9中之一的立体色块障碍的测试方法。
CN201911248610.2A 2019-12-09 2019-12-09 基于可穿戴设备的立体色块障碍测试的方法和系统 Active CN110801227B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911248610.2A CN110801227B (zh) 2019-12-09 2019-12-09 基于可穿戴设备的立体色块障碍测试的方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911248610.2A CN110801227B (zh) 2019-12-09 2019-12-09 基于可穿戴设备的立体色块障碍测试的方法和系统

Publications (2)

Publication Number Publication Date
CN110801227A true CN110801227A (zh) 2020-02-18
CN110801227B CN110801227B (zh) 2021-07-20

Family

ID=69492713

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911248610.2A Active CN110801227B (zh) 2019-12-09 2019-12-09 基于可穿戴设备的立体色块障碍测试的方法和系统

Country Status (1)

Country Link
CN (1) CN110801227B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112101235A (zh) * 2020-09-16 2020-12-18 济南大学 一种基于老年人行为特征的老年人行为识别检测方法
CN113712711A (zh) * 2021-09-13 2021-11-30 北京信息科技大学 假肢接受腔体的舒适度评估方法、装置及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2156815A1 (de) * 2008-08-22 2010-02-24 Rüdiger Dr. Buschfort Anordnung zum Trainieren von Bewegungsabläufen
CN105208746A (zh) * 2015-10-26 2015-12-30 刘鸿飞 基于运动和肌电流信号控制的立方体led台灯及方法
CN107609572A (zh) * 2017-08-15 2018-01-19 中国科学院自动化研究所 基于神经网络和迁移学习的多模态情感识别方法、系统
CN107957783A (zh) * 2017-12-21 2018-04-24 北京航天测控技术有限公司 一种基于脑电与肌电信息的多模式智能控制系统及方法
CN108805087A (zh) * 2018-06-14 2018-11-13 南京云思创智信息科技有限公司 基于多模态情绪识别系统的时序语义融合关联判断子系统
CN109508677A (zh) * 2018-11-15 2019-03-22 电子科技大学 一种基于改进cnn网络的空中手写动作识别
US20190216388A1 (en) * 2016-08-11 2019-07-18 Indiana University Research And Technology Corporation Systems and methods for accurate measurement of proprioception

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2156815A1 (de) * 2008-08-22 2010-02-24 Rüdiger Dr. Buschfort Anordnung zum Trainieren von Bewegungsabläufen
CN105208746A (zh) * 2015-10-26 2015-12-30 刘鸿飞 基于运动和肌电流信号控制的立方体led台灯及方法
US20190216388A1 (en) * 2016-08-11 2019-07-18 Indiana University Research And Technology Corporation Systems and methods for accurate measurement of proprioception
CN107609572A (zh) * 2017-08-15 2018-01-19 中国科学院自动化研究所 基于神经网络和迁移学习的多模态情感识别方法、系统
CN107957783A (zh) * 2017-12-21 2018-04-24 北京航天测控技术有限公司 一种基于脑电与肌电信息的多模式智能控制系统及方法
CN108805087A (zh) * 2018-06-14 2018-11-13 南京云思创智信息科技有限公司 基于多模态情绪识别系统的时序语义融合关联判断子系统
CN109508677A (zh) * 2018-11-15 2019-03-22 电子科技大学 一种基于改进cnn网络的空中手写动作识别

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
都明宇 等: "《多模式人手动作分类识别方法》", 《中国机械工程》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112101235A (zh) * 2020-09-16 2020-12-18 济南大学 一种基于老年人行为特征的老年人行为识别检测方法
CN112101235B (zh) * 2020-09-16 2022-09-23 济南大学 一种基于老年人行为特征的老年人行为识别检测方法
CN113712711A (zh) * 2021-09-13 2021-11-30 北京信息科技大学 假肢接受腔体的舒适度评估方法、装置及存储介质

Also Published As

Publication number Publication date
CN110801227B (zh) 2021-07-20

Similar Documents

Publication Publication Date Title
CN111728609B (zh) 脑电信号的分类方法、分类模型的训练方法、装置及介质
Kour et al. Computer-vision based diagnosis of Parkinson’s disease via gait: A survey
US11663845B2 (en) Method and apparatus for privacy protected assessment of movement disorder video recordings
de San Roman et al. Saliency driven object recognition in egocentric videos with deep CNN: toward application in assistance to neuroprostheses
CN110991268B (zh) 一种基于深度图像的帕金森手部运动量化分析方法和系统
Bourbakis Detecting abnormal patterns in WCE images
CN110659677A (zh) 一种基于可移动传感器组合设备的人体跌倒检测方法
CN110801227B (zh) 基于可穿戴设备的立体色块障碍测试的方法和系统
CN112200162A (zh) 基于端到端网络的非接触式心率测量方法、系统和装置
Gong et al. Deepmotion: A deep convolutional neural network on inertial body sensors for gait assessment in multiple sclerosis
CN112800908B (zh) 一种基于视频中个体步态分析的焦虑感知模型的建立方法
CN113128585B (zh) 一种基于多尺寸卷积核的深度神经网络实现心电异常检测分类方法
Zhang et al. Comparison of OpenPose and HyperPose artificial intelligence models for analysis of hand-held smartphone videos
CN114220543A (zh) 一种肿瘤患者身心痛苦指数评估方法以及系统
Ali et al. Detection and analysis of transitional activity in manifold space
CN117690583A (zh) 基于物联网的康复护理交互式管理系统及方法
CN108962379B (zh) 一种脑神经系统疾病的手机辅助检测系统
Tarekegn et al. Enhancing human activity recognition through sensor fusion and hybrid deep learning model
CN116543455A (zh) 建立帕金森症步态受损评估模型、使用方法、设备及介质
Kastaniotis et al. Using kinect for assesing the state of Multiple Sclerosis patients
CN113768471B (zh) 一种基于步态分析的帕金森疾病辅助诊断系统
Yin et al. Neural networks for pathological gait classification using wearable motion sensors
CN108903911B (zh) 一种中医脉象信息远程采集处理的方法
Albuquerque et al. Remote Pathological Gait Classification System
Meland Automated detection and classification of movement cycles in cross-country skiing through analysis of inertial sensor data movement patterns

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant