CN109635820B - 基于深度神经网络的帕金森病运动迟缓视频检测模型的构建方法 - Google Patents

基于深度神经网络的帕金森病运动迟缓视频检测模型的构建方法 Download PDF

Info

Publication number
CN109635820B
CN109635820B CN201811434416.9A CN201811434416A CN109635820B CN 109635820 B CN109635820 B CN 109635820B CN 201811434416 A CN201811434416 A CN 201811434416A CN 109635820 B CN109635820 B CN 109635820B
Authority
CN
China
Prior art keywords
curve
neural network
characteristic
palm
peak
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811434416.9A
Other languages
English (en)
Other versions
CN109635820A (zh
Inventor
尹建伟
林博
张金迪
罗巍
罗智凌
邓水光
李莹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Publication of CN109635820A publication Critical patent/CN109635820A/zh
Application granted granted Critical
Publication of CN109635820B publication Critical patent/CN109635820B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Public Health (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Primary Health Care (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Epidemiology (AREA)
  • Evolutionary Biology (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明公开了一种基于深度神经网络的帕金森病运动迟缓视频检测模型的构建方法，其结合了计算机视觉和深度学习技术，通过短视频对受测试者的运动模式进行评估，并判断存在运动迟缓症状的可能性。本发明同时考虑了运动行为和运动过程，提出了详细的数据采集方法和运动轨迹定义方法，并设计了三种新颖的度量指标和一种周期运动网络模型PMNet来处理运动迟缓症状判断问题。与传统方法不同，本发明具有可扩展性和可移植性的特点，基于卷积神经网络的关键点提取方法可以被其它更为精准的模型所替换，还可以添加更多特征来描述运动行为。此外，本发明能够胜任其它类似的周期性运动评估，如MDS‑UPDRS量表3.4项的手指敲击动作。

Description

基于深度神经网络的帕金森病运动迟缓视频检测模型的构建 方法
技术领域
本发明属于计算机视觉应用技术领域，具体涉及一种基于深度神经网络的帕金森病运动迟缓视频检测模型的构建方法。
背景技术
帕金森病是一种常见的中枢神经系统退行性疾病，主要影响人的运动系统，其临床表现主要包括静止性震颤、运动迟缓、肌强直和姿势步态障碍，同时患者可伴有抑郁、便秘和睡眠障碍等非运动症状。临床医生和相关学者针对这些临床症状设计了许多标准来帮助医生进行全面评估，如Hoehn-Yahr分级表、英国Queen Square脑库标准、蒙特利尔认知评估量表、统一帕金森氏病评分量表(UPDRS)等。目前，最常用的量表是由国际运动障碍协会(MDS)修订发布的UPDRS，即所谓的MDS-UPDRS。尽管帕金森病没有彻底治愈的方法，但如果患者得到早期诊断和早期治疗，其生活质量可以得到显著改善。
在MDS-UPDRS中，手部运动是运动迟缓诊断的临床评估方法之一，这个动作要求患者将手掌朝向临床评估专家，并尽可能快地重复完成张开-握紧动作，临床评估专家将根据MDS-UPDRS的评估标准判断患者是否出现运动迟缓。在评估过程中，三个主要因素可能会影响结果：①临床评估者的资历；②受测试者的动作过快，无法看清细节；③动作伴有其它症状。相对地，计算机辅助诊断系统具有处理快速和复杂环境的优点，该系统只关注重要的数据并排除其它噪声(例如并发的震颤)，这为医生提供了一种可靠稳定的辅助诊断方法。
许多现有产品都是基于可穿戴式传感器的解决方案(如陀螺仪、加速度计等)，这些传感器通常根据不同的任务固定在手指、手腕或腿上。研究人员利用传感器采集到的数据设计了许多不同的特征，如距离和角度、速度和加速度等，也包含了许多统计量，如均方根、互相关、标准差等；然后将提取的特征输入到机器学习模型中，如多任务学习、神经网络、决策树、支持向量机等，最后输出评估结果。
由于数据传输、电池供电和设备成本的问题，这类基于接触式传感器的解决方案限制了受测试者的活动范围，具有一定的局限性。随着智能手机的普及，拍摄视频对于每个人来说都非常方便，因此本发明通过拍摄视频的形式对运动迟缓提供一种辅助评估方法，这种方案简化了数据采集过程，弥补了现有方案的不足，适用范围更广：任何人可以很方便的拍摄一段视频并上传到云端，相应的辅助诊断服务通过计算然后反馈评估结果。这不但有助于帮助基层医生提高诊断的准确性，医疗水平不发达的偏远地区群众也将从中受益。
发明内容
鉴于上述，本发明提供了一种基于深度神经网络的帕金森病运动迟缓视频检测模型的构建方法，通过手机录制的重复抓握运动视频，模拟运动过程和量化的运动行为，用以判断是否有运动迟缓症状。
一种基于深度神经网络的帕金森病运动迟缓视频检测模型的构建方法，包括如下步骤：
(1)拍摄受试者手部连续周期性抓握动作的过程，将视频图像依次输入至模型HandSegNet和PoseNet中获得每帧图像中五个关键点的位置坐标，这五个关键点包括掌心以及除拇指外的其余四指的指尖；进而利用曼哈顿距离计算出每帧图像中四个指尖关键点与掌心关键点之间的相对距离，进而得到四组相对距离-图像帧的变化曲线；
(2)对所述变化曲线进行平滑滤波处理并计算确定每一次抓握过程中变化曲线峰值和谷值的图像帧索引位置，进而将变化曲线分成上下两部分：上面部分对应为手掌舒张阶段且包含n个∩型波，下面部分对应为手掌合拢阶段且包含n个∪型波，n为抓握次数；
(3)分别利用稳定性、完成度和自相似性三种度量方法对四组变化曲线分别进行特征提取，并将提取得到的特征依次排列成向量的形式；
(4)根据步骤(1)～(3)对不同的受试者进行视频图像采集、预处理以及特征提取，从而得到大量样本，每个样本包含特征向量及其对应的标签，所述标签由0或1表示，0代表对应的特征向量源自未患有帕金森病运动迟缓症状的受试者，1代表对应的特征向量源自患有帕金森病运动迟缓症状的受试者；
(5)将所有样本分为训练集、验证集和测试集，利用训练集样本对深度神经网络进行训练，利用验证集样本对训练完成的网络进行参数配置选择，利用测试集对网络模型进行评估，从而得到帕金森病运动迟缓视频检测模型。
进一步地，所述步骤(2)中计算距离阈值SPA在相对距离-图像帧坐标平面中对应的直线，并利用该直线将变化曲线分割成两部分，其中SPA＝αHo+(1-α)Hc，Ho为变化曲线中的最大峰值，Hc为变化曲线中的平均谷值，α为给定的权重系数。
进一步地，所述步骤(3)中变化曲线的稳定性特征包括以下六个特征参量：
Figure BDA0001883417980000031
Figure BDA0001883417980000032
Figure BDA0001883417980000033
Figure BDA0001883417980000034
Figure BDA0001883417980000035
Figure BDA0001883417980000036
其中：
Figure BDA0001883417980000037
和
Figure BDA0001883417980000038
分别为变化曲线中手掌舒张阶段第i+1个∩型波和第i个∩型波的持续图像帧数，
Figure BDA0001883417980000039
和
Figure BDA00018834179800000310
分别为变化曲线中手掌合拢阶段第i+1个∪型波和第i个∪型波的持续图像帧数，
Figure BDA00018834179800000311
和
Figure BDA00018834179800000312
分别为变化曲线中第i+1个和第i个的峰值。
进一步地，所述步骤(3)中变化曲线的完成度特征包括全局完成度和局部完成度两个特征参量，其中全局完成度特征参量即为变化曲线中所有峰值经最小二乘法拟合得到直线的斜率；局部完成度特征参量的求解方法为：将变化曲线中前i个峰值经最小二乘法拟合成直线并记该直线斜率的绝对值为
Figure BDA00018834179800000313
根据上述方法使i从2遍历至n，共得到n-1个斜率绝对值
Figure BDA00018834179800000314
取这n-1个斜率绝对值中的最小值，以该最小值所在峰值索引位置为分界点将峰值序列分成前后两个子序列，若后子序列为空则局部完成度特征参量为1，否则局部完成度特征参量为后子序列归一化后的平均值。
进一步地，所述步骤(3)中变化曲线的自相似性特征的求解方法为：首先给定划分策略Ω＝{β1，β2，...，βk}，对于变化曲线中手掌舒张阶段的任一∩型波，根据划分策略Ω将该∩型波分解为2k+1个状态，k为大于1的自然数，β1～βk均为给定的划分参数；然后计算每一状态占所在∩型波的持续图像帧数比率并作为本次手掌舒张阶段的特征编码，编码长度为4(2k+1)；进而根据上述方法遍历变化曲线中手掌舒张阶段所有的∩型波，得到n组有序的特征编码，而组成特征编码序列作为变化曲线的自相似性特征。
进一步地，根据划分策略Ω通过以下公式计算出每一划分参数所对应的分割线，k条分割线与∩型波之间的交点确定每个状态的边界，从而使得∩型波被分解成2k+1个状态；
SPj＝βjHo+(1-βj)SPA
SPA＝αHo+(1-α)Hc
其中：SPj为距离阈值且其在相对距离-图像帧坐标平面中对应的直线即为划分参数βj所对应的分割线，Ho为变化曲线中的最大峰值，Hc为变化曲线中的平均谷值，α为给定的权重系数，j为自然数且1≤j≤k。
进一步地，所述步骤(5)在训练深度神经网络之前，利用基于编码器-解码器结构的长短时记忆神经网络对特征编码序列进行预训练；然后利用训练好的编码器网络对特征编码序列进行压缩降维，得到运动过程在低维空间的表示。
本发明方法实施简单方便，只需拍摄短时间的动作视频并输出判别结果。本发明结合了计算机视觉和深度学习技术，通过短视频对受测试者的运动模式进行评估，并判断存在运动迟缓症状的可能性。本发明同时考虑了运动行为和运动过程，提出了详细的数据采集方法和运动轨迹定义方法，并设计了三种新颖的度量指标和一种周期运动网络(Periodic Motion Net，PMNet)模型来处理运动迟缓症状判断问题。
与传统方法不同，本发明具有可扩展性和可移植性的特点，基于卷积神经网络的关键点提取方法可以被其它更为精准的模型所替换，还可以添加更多特征来描述运动行为。此外，本发明能够胜任其它类似的周期性运动评估，如MDS-UPDRS量表3.4项的手指敲击动作。
附图说明
图1为本发明方法的步骤流程示意图。
图2为PoseNet模型中手掌关键点的分布示意图。
图3为相对距离-图像帧的运动轨迹示意图。
图4为运动自相似性划分策略示意图。
图5为PMNet网络的结构示意图。
具体实施方式
为了更为具体地描述本发明，下面结合附图及具体实施方式对本发明的技术方案进行详细说明。
如图1所示，本发明基于深度神经网络的帕金森病运动迟缓视频检测模型的构建方法，包括如下步骤：
步骤1：数据获取。
本发明仅需要一部智能手机和一副三脚架作为数据采集设备。本实施方式中使用的智能手机型号为iPhone 6s Plus，其支持每秒240帧的采样频率及1280×720像素分辨率的视频录制。利用三脚架固定智能手机以避免录制过程中的镜头抖动，并放置于病人正前方约50～70厘米处；调整三脚架的高度使手掌位于取景器中心。
在视频采集过程中，受测试者需要卷起袖子并摘下手表，戒指等配饰。临床评估专家将在整个采集过程陪同受测试者，根据MDS-UPDRS的细则向受测试者演示标准的抓握动作，并对采集过程中任何非标准动作进行纠正。
将抓握动作的视频图像依次输入至HandSegNet和PoseNet模型(C.Zimmermannand T.Brox“Learning to estimate 3d hand pose from single rgb images”inInternational Conference on Computer Vision，2017)，其中HandSegNet能分割出每帧图像中的手部，PoseNet能获得每帧图像如图2所示的手部21个关键点坐标，即每根手指的四个关键点(一个指尖、两个指间关节、一个掌指关节)和掌心的坐标，并选取其中五个关键点进行处理：除拇指外的四根手指的指尖被视为运动点，掌心为参考点。
给定帧数t、运动点的坐标序列
Figure BDA0001883417980000061
和参考点坐标序列
Figure BDA0001883417980000062
Figure BDA0001883417980000063
使用曼哈顿距离计算运动轨迹：
Figure BDA0001883417980000064
测量四个运动点与掌心距离，获得如图3所示的相对距离-图像帧变化曲线。
步骤2：运动轨迹划分。
抓握运动是一种周期性运动，对于单次抓握动作，根据以下步骤将相对距离-图像帧变化曲线所表示的运动轨迹划分为手掌舒张阶段和手掌合拢阶段。
2.1降噪：本实施方式应用均值滤波器来平滑原始数据，滤波器的窗口大小设置为0.1FPS。
2.2自适应极值点搜索：应用自适应极值点搜索(Adaptive Extreme PointSearch，AEPS)算法自适应地在少数几次迭代后确定搜索窗口的大小，并且去除噪声点和重复点，从而在运动轨迹中查找峰值和谷值索引位置。
2.3划分：由AEPS搜索得到的极值索引位置集E，根据峰值和谷值分为两个不相交的子集，其中E＝{Eo，Ec}，Eo为峰值索引位置，Ec为谷值索引位置；计算Eo集合对应峰值中的最大峰值与Ec集合对应谷值的平均谷值，分别标记为Ho和Hc，抓握动作的分割位置SPA的计算公式为：
SPA＝αHo+(1-α)Hcα∈(0，1)
其中：参数α用以平衡So和Sc的侧重度，本实施方式中α设置为0.45，图3中虚线表示SPA，其将单次抓握动作划分成手掌舒张阶段So与手掌合拢阶段Sc。
步骤3：数据特征提取。
本发明基于运动轨迹从稳定性(时间)、完成度(空间)和自相似性(动作间)三个方面度量手部运动。根据SPA的划分，运动轨迹可以表示为：
Figure BDA0001883417980000065
其中：
Figure BDA0001883417980000066
表示第i次抓握动作在So阶段的运动轨迹集合，
Figure BDA0001883417980000067
表示第i次抓握动作在Sc阶段的运动轨迹集合，n为抓握动作的次数，本实施方案中n为10。
稳定性：
在评估中，存在运动迟缓的患者可能出现动作的犹豫、中断或暂停，而抓握动作节奏的突然变化会导致动作的持续时间显著增加或减少，因此使用两种稳定性指标来衡量抓握运动中节律的一致性：
①全局：
Figure BDA0001883417980000071
Figure BDA0001883417980000072
Figure BDA0001883417980000073
②局部：
Figure BDA0001883417980000074
Figure BDA0001883417980000075
Figure BDA0001883417980000076
其中：
Figure BDA0001883417980000077
和
Figure BDA0001883417980000078
分别为变化曲线中手掌舒张阶段第i+1个∩型波和第i个∩型波的持续图像帧数，
Figure BDA0001883417980000079
和
Figure BDA00018834179800000710
分别为变化曲线中手掌合拢阶段第i+1个∪型波和第i个∪型波的持续图像帧数，
Figure BDA00018834179800000711
和
Figure BDA00018834179800000712
分别为变化曲线中第i+1个和第i个的峰值。
完成度：
在评估中，存在运动迟缓的患者可能出现动作幅度的不自主减少，并随着时间的推移逐渐变小的情况。
①全局：全局完整性COMPg使用最小二乘法计算变化曲线中所有峰值经拟合得到直线的斜率b1：
Figure BDA00018834179800000713
y＝b0+b1x
②局部：
首先将变化曲线中前i个峰值经最小二乘法拟合成直线并记该直线斜率的绝对值为
Figure BDA0001883417980000081
根据上述方法使i从2遍历至n，共得到n-1个斜率绝对值
Figure BDA0001883417980000082
取这n一1个斜率绝对值中的最小值，以该最小值为分界点将改为峰值序列分成前后两个子序列，若后子序列为空则局部完整性特征参量为1，否则局部完整性特征参量为后子序列归一化后的平均值。
自相似性：
一个标准的周期性运动在相邻动作之间应具有一定的相似性，因此对手张开阶段的动作
Figure BDA0001883417980000083
进行编码来衡量抓握运动的自相似性。
首先给定划分策略Ω＝{β1，β2，...，βk}，对于变化曲线中手掌舒张阶段的任一∩型波，根据划分策略Ω将该∩型分解为2k+1个状态，k为大于1的自然数，β1～βk为给定的划分参数；然后计算每一状态占所在∩型波的持续图像帧数比率并作为本次手掌舒张阶段的特征编码，编码长度为4(2k+1)；进而根据上述方法遍历变化曲线中手掌张开阶段所有的∩型波，共得到n组有序的特征编码，即特征编码序列组成变化曲线的自相似性特征：
Hist(1)，Hist(2)，...，Hist(n)
其中：Hist(i)表示第i次手掌舒张阶段的特征编码。
根据划分策略Ω通过以下公式计算出每一划分参数所对应的分割线，k条分割线与∩型波之间的交点确定每个状态的边界，从而使得∩型波被分解成2k+1个状态。
SPj＝βjHo+(1-βj)SPA
SPA＝αHo+(1-α)Hc
其中：SPj为距离阈值且其在相对距离-图像帧坐标平面中对应的直线即为划分参数βj所对应的分割线，Ho为变化曲线中的最大峰值，Hc为变化曲线中的平均谷值，α为给定的权重系数，j为自然数且1≤j≤k。
在本实施方式中，设置划分策略B＝{0.3，0.7，0.85}，计算出每一划分参数所对应的分割线，3条分割线与∩型波之间的交点确定每个状态的边界从而使得∩型波被分解成7个状态，如图4所示。在本实施方式中，4个运动点在每次抓握动作的手掌舒张阶段将得到编码长度为4×7的特征编码，10次抓握动作共得到10个有序特征编码，即特征编码序列组成变化曲线的自相似性特征。
步骤4：周期运动网络进行运动迟缓判断。
周期运动网络(Periodic Motion Net，PMNet)是一种针对帕金森病评估量表中基于周期性运动来评估运动迟缓的辅助识别模型，它能同时对受测试者的运动行为特征和运动过程特征进行建模。本实施方案基于MDS-UPDRS 3.5项的手部抓握动作对模型的工作流程进行解释，图5显示了由两个模块组成的PMNet结构。
(1)循环神经网络模块：
首先，采用基于自编码器框架(Autoencoder)的堆叠循环神经网络(Stacked-RNN)对自相似性特征进行独立编码，自编码器网络是一类无监督的学习框架，它通常包含一个具有对称结构的编码器网络和解码器网络，在本发明中编码器和解码器网络均由基于长短时记忆单元(Long short term memory，LSTM)的循环神经网络组成。循环神经网络将当前数据和上一时刻的网络状态作为输入，并输出下一时刻的状态。LSTM单元由一个输入门、一个输出门、一个遗忘门和一个存储单元组成，这些门用于控制数据流，即判断是否在存储单元中保留有用的信息，并丢弃其它噪声。
本实施方式中对于每一个样本，将自相似性特征作为输入，编码器网络将输入映射到较低维空间，本实施方式中为9维；解码器则尝试将低维空间的特征表示恢复到原始输入，根据损失函数计算输出与输入的误差，利用反向传播算法调整循环神经网络的参数。
本实施方式将训练集训练30轮，批处理(batch)大小为16个样本，损失函数使用均方误差(Mean Square Loss)，优化器使用梯度下降的优化方法Adam。
(2)全连接神经网络模块：
首先，利用循环神经网络模块训练好的编码器对自相似性特征进行编码，将输入映射到低维空间，本实施方式中为9维，然后将运动过程特征的压缩编码与量化的稳定性、完成度等运动行为特征进行拼接，共得到9+32＝41个特征，混合特征向量被输入到全连接网络；全连接网络共4层，在最后一层通过sigmoid激活函数输出运动迟缓症状的可能性，数值在[0，1]之间，根据损失函数计算输出与样本实际类别的误差，利用反向传播算法调整全连接网络的参数。
本实施方式将训练集训练4000轮，批处理(batch)大小为16个样本，损失函数使用二值交叉熵(Binary Cross Entropy)，优化器使用梯度下降的优化方法Adam。
(3)神经网络运动迟缓识别：
首先，采用循环神经网络对自相似性特征进行独立编码，编码器将输入映射到低维空间，本实施方式中为9维，然后将运动过程特征的压缩编码与量化的稳定性、完成度等运动行为特征进行拼接，共得到9+32＝41个特征，混合特征向量被输入到全连接网络，输出预测结果，即判断受测试者存在运动迟缓症状的可能性。
上述对实施例的描述是为便于本技术领域的普通技术人员能理解和应用本发明。熟悉本领域技术的人员显然可以容易地对上述实施例做出各种修改，并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此，本发明不限于上述实施例，本领域技术人员根据本发明的揭示，对于本发明做出的改进和修改都应该在本发明的保护范围之内。

Claims (4)

1.一种基于深度神经网络的帕金森病运动迟缓视频检测模型的构建方法，包括如下步骤：
(1)拍摄受试者手部连续周期性抓握动作的过程，将视频图像依次输入至模型HandSegNet和PoseNet中获得每帧图像中五个关键点的位置坐标，这五个关键点包括掌心以及除拇指外的其余四指的指尖；进而利用曼哈顿距离计算出每帧图像中四个指尖关键点与掌心关键点之间的相对距离，进而得到四组相对距离-图像帧的变化曲线；
(2)对所述变化曲线进行平滑滤波处理并计算确定每一次抓握过程中变化曲线峰值和谷值的图像帧索引位置，进而将变化曲线分成上下两部分：上面部分对应为手掌舒张阶段且包含n个∩型波，下面部分对应为手掌合拢阶段且包含n个∪型波，n为抓握次数；
(3)分别利用稳定性、完成度和自相似性三种度量方法对四组变化曲线分别进行特征提取，并将提取得到的特征依次排列成向量的形式；
变化曲线的稳定性特征包括以下六个特征参量：
Figure FDA0002458022670000011
Figure FDA0002458022670000012
Figure FDA0002458022670000013
Figure FDA0002458022670000014
Figure FDA0002458022670000015
Figure FDA0002458022670000016
其中：
Figure FDA0002458022670000017
和
Figure FDA0002458022670000018
分别为变化曲线中手掌舒张阶段第i+1个∩型波和第i个∩型波的持续图像帧数，
Figure FDA0002458022670000021
和
Figure FDA0002458022670000022
分别为变化曲线中手掌合拢阶段第i+1个∪型波和第i个∪型波的持续图像帧数，
Figure FDA0002458022670000023
和
Figure FDA0002458022670000024
分别为变化曲线中第i+1个和第i个的峰值；
变化曲线的完成度特征包括全局完成度和局部完成度两个特征参量，其中全局完成度特征参量即为变化曲线中所有峰值经最小二乘法拟合得到直线的斜率；局部完成度特征参量的求解方法为：将变化曲线中前i个峰值经最小二乘法拟合成直线并记该直线斜率的绝对值为
Figure FDA0002458022670000025
根据上述方法使i从2遍历至n，共得到n-1个斜率绝对值
Figure FDA0002458022670000026
取这n-1个斜率绝对值中的最小值，以该最小值所在峰值索引位置为分界点将峰值序列分成前后两个子序列，若后子序列为空则局部完成度特征参量为1，否则局部完成度特征参量为后子序列归一化后的平均值；
变化曲线的自相似性特征的求解方法为：首先给定划分策略Ω＝{β1,β2,...,βk}，对于变化曲线中手掌舒张阶段的任一∩型波，根据划分策略Ω将该∩型波分解为2k+1个状态，k为大于1的自然数，β1～βk均为给定的划分参数；然后计算每一状态占所在∩型波的持续图像帧数比率并作为本次手掌舒张阶段的特征编码，编码长度为4(2k+1)；进而根据上述方法遍历变化曲线中手掌舒张阶段所有的∩型波，得到n组有序的特征编码，进而组成特征编码序列作为变化曲线的自相似性特征；
(4)根据步骤(1)～(3)对不同的受试者进行视频图像采集、预处理以及特征提取，从而得到大量样本，每个样本包含特征向量及其对应的标签，所述标签由0或1表示，0代表对应的特征向量源自未患有帕金森病运动迟缓症状的受试者，1代表对应的特征向量源自患有帕金森病运动迟缓症状的受试者；
(5)将所有样本分为训练集、验证集和测试集，利用训练集样本对深度神经网络进行训练，利用验证集样本对训练完成的网络进行参数配置选择，利用测试集对网络模型进行评估，从而得到帕金森病运动迟缓视频检测模型。
2.根据权利要求1所述的构建方法，其特征在于：所述步骤(2)中计算距离阈值SPA在相对距离-图像帧坐标平面中对应的直线，并利用该直线将变化曲线分割成两部分，其中SPA＝αHo+(1-α)Hc，Ho为变化曲线中的最大峰值，Hc为变化曲线中的平均谷值，α为给定的权重系数。
3.根据权利要求1所述的构建方法，其特征在于：根据划分策略Ω通过以下公式计算出每一划分参数所对应的分割线，k条分割线与∩型波之间的交点确定每个状态的边界，从而使得∩型波被分解成2k+1个状态；
SPj＝βjHo+(1-βj)SPA
SPA＝αHo+(1-α)Hc
其中：SPj为距离阈值且其在相对距离-图像帧坐标平面中对应的直线即为划分参数βj所对应的分割线，Ho为变化曲线中的最大峰值，Hc为变化曲线中的平均谷值，α为给定的权重系数，j为自然数且1≤j≤k。
4.根据权利要求1所述的构建方法，其特征在于：所述步骤(5)在训练深度神经网络之前，利用基于编码器-解码器结构的长短时记忆神经网络对特征编码序列进行预训练；然后利用训练好的编码器网络对特征编码序列进行压缩降维，得到运动过程在低维空间的表示。
CN201811434416.9A 2018-08-06 2018-11-28 基于深度神经网络的帕金森病运动迟缓视频检测模型的构建方法 Active CN109635820B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2018108847902 2018-08-06
CN201810884790.2A CN109063714A (zh) 2018-08-06 2018-08-06 基于深度神经网络的帕金森病运动迟缓视频检测模型的构建方法

Publications (2)

Publication Number Publication Date
CN109635820A CN109635820A (zh) 2019-04-16
CN109635820B true CN109635820B (zh) 2020-07-17

Family

ID=64831642

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201810884790.2A Withdrawn CN109063714A (zh) 2018-08-06 2018-08-06 基于深度神经网络的帕金森病运动迟缓视频检测模型的构建方法
CN201811434416.9A Active CN109635820B (zh) 2018-08-06 2018-11-28 基于深度神经网络的帕金森病运动迟缓视频检测模型的构建方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201810884790.2A Withdrawn CN109063714A (zh) 2018-08-06 2018-08-06 基于深度神经网络的帕金森病运动迟缓视频检测模型的构建方法

Country Status (1)

Country Link
CN (2) CN109063714A (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11607167B2 (en) 2019-06-05 2023-03-21 Tencent America LLC User device based parkinson disease detection
CN110638458A (zh) * 2019-08-26 2020-01-03 广东省人民医院(广东省医学科学院) 一种基于步态数据的康复训练效果评估方法、装置
CN110738192B (zh) * 2019-10-29 2024-09-06 腾讯科技（深圳）有限公司 人体运动功能辅助评估方法、装置、设备、系统及介质
CN111128369A (zh) * 2019-11-18 2020-05-08 创新工场(北京)企业管理股份有限公司 一种用于评估患者的帕金森病情的方法和装置
CN111048205A (zh) * 2019-12-17 2020-04-21 创新工场(北京)企业管理股份有限公司 对帕金森病症状进行评估的方法与装置
CN111310798B (zh) * 2020-01-19 2023-05-16 浙江大学 基于几何特征和纹理特征的脸部运动迟缓的检测模型的构建方法
CN111292851A (zh) * 2020-02-27 2020-06-16 平安医疗健康管理股份有限公司 数据分类方法、装置、计算机设备和存储介质
CN111695195B (zh) * 2020-05-15 2023-07-18 北京控制工程研究所 一种基于长短时间记忆网络的空间物理运动体建模方法
CN114190921B (zh) * 2020-09-02 2024-05-17 中国科学院沈阳自动化研究所 一种可适应变步频行走的步态相位识别方法
CN112674762A (zh) * 2020-12-28 2021-04-20 江苏省省级机关医院 一种基于可穿戴惯性传感器的帕金森震颤评估装置
CN112691292B (zh) * 2021-01-12 2023-01-31 天津大学 基于可穿戴智能设备的帕金森闭环深部脑刺激系统
CN115486815B (zh) * 2022-06-27 2024-07-16 青岛大学 一种帕金森病手颤的三维姿态实时分析系统及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102227750A (zh) * 2009-07-31 2011-10-26 松下电器产业株式会社 移动体检测装置及移动体检测方法
CN104523282A (zh) * 2015-01-09 2015-04-22 大连理工大学 一种穿戴式人马动作监测方法和系统
CN105022471A (zh) * 2014-04-23 2015-11-04 王建勤 基于压力传感器阵列进行手势识别的装置与方法
KR20160107587A (ko) * 2015-03-04 2016-09-19 한국전자통신연구원 스테레오 이미지를 이용한 동작인식 장치 및 방법
CN106295612A (zh) * 2016-08-23 2017-01-04 广西科技大学 一种手部康复训练中手指运动的视觉监测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105320944B (zh) * 2015-10-24 2019-09-27 西安电子科技大学 一种基于人体骨架运动信息的人体行为预测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102227750A (zh) * 2009-07-31 2011-10-26 松下电器产业株式会社 移动体检测装置及移动体检测方法
CN105022471A (zh) * 2014-04-23 2015-11-04 王建勤 基于压力传感器阵列进行手势识别的装置与方法
CN104523282A (zh) * 2015-01-09 2015-04-22 大连理工大学 一种穿戴式人马动作监测方法和系统
KR20160107587A (ko) * 2015-03-04 2016-09-19 한국전자통신연구원 스테레오 이미지를 이용한 동작인식 장치 및 방법
CN106295612A (zh) * 2016-08-23 2017-01-04 广西科技大学 一种手部康复训练中手指运动的视觉监测方法

Also Published As

Publication number Publication date
CN109063714A (zh) 2018-12-21
CN109635820A (zh) 2019-04-16

Similar Documents

Publication Publication Date Title
CN109635820B (zh) 基于深度神经网络的帕金森病运动迟缓视频检测模型的构建方法
CN110991268B (zh) 一种基于深度图像的帕金森手部运动量化分析方法和系统
CN110490109B (zh) 一种基于单目视觉的在线人体康复动作识别方法
CN110956139B (zh) 一种基于时间序列回归预测的人体运动动作分析方法
CN116261749A (zh) 识别用户动作的方法和系统
CN113974612B (zh) 一种卒中患者上肢运动功能自动化评估方法与系统
CN110991340A (zh) 一种基于图像压缩的人体动作分析方法
CN110956141B (zh) 一种基于局部识别的人体连续动作快速分析方法
CN111274998A (zh) 帕金森病手指敲击动作识别方法及系统、存储介质及终端
CN113901891A (zh) 帕金森病握拳任务的评估方法及系统、存储介质及终端
CN114550027A (zh) 基于视觉的运动视频精细分析方法和装置
CN117409454B (zh) 一种基于面部肌肉运动监测的情绪动态识别方法和装置
Chen et al. Surface-electromyography-based gesture recognition using a multistream fusion strategy
CN111488857A (zh) 一种三维人脸识别模型训练方法及装置
CN111783719A (zh) 一种肌电控制方法及装置
CN114863013A (zh) 一种目标物体三维模型重建方法
CN110801227B (zh) 基于可穿戴设备的立体色块障碍测试的方法和系统
CN116525061B (zh) 一种基于远程人体姿态评估的训练监控方法及系统
CN117150292A (zh) 一种基于增量学习对手势识别模型训练的方法
CN115147768B (zh) 一种跌倒风险评估方法及系统
CN116543455A (zh) 建立帕金森症步态受损评估模型、使用方法、设备及介质
CN116189301A (zh) 一种基于姿态估计的立定跳远动作规范性评估方法
CN115154828A (zh) 一种基于脑机接口技术的大脑功能重塑方法、系统、设备
CN114550299A (zh) 基于视频的老年人日常生活活动能力评估系统和方法
CN118366225B (zh) 基于图像处理的手部康复锻炼监控方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant