CN113768471B - 一种基于步态分析的帕金森疾病辅助诊断系统 - Google Patents

Abstract

本发明公开了一种基于步态分析的帕金森疾病辅助诊断系统，所述系统包括：数据采集装置，用于采集运动数据并发送至上位机；上位机，用于对运动数据进行预处理并发送至本地服务器；本地服务器，用于基于运动数据进行步态特征提取，并发送至云平台；云平台，用于对根据所述步态特征进行可视化。本发明基于惯性传感器和摄像头进行运动数据采集，提取不同的步态特征并进行量化，以及可视化，以低成本、高便利性的特点有效解决了帕金森病诊断时运动特征靠肉眼观察、病情难诊断的问题，为帕金森病诊断提供了有利的辅助。

Description

一种基于步态分析的帕金森疾病辅助诊断系统

技术领域

本发明属于智慧医疗技术领域，尤其涉及一种基于步态分析的帕金森疾病辅助诊断系统。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

帕金森病(Parkinson’s disease,PD)是一种常见的神经系统退行性疾病。帕金森病临床病症包括运动症状和非运动症状，其中运动症状有：静止性震颤、肌强直、运动迟缓、步态障碍等；非运动症状包括情绪低落、睡眠障碍等。帕金森病虽然致死率低，但致残率高，对患者日常生活影响极大。此外帕金森起病隐袭、逐渐进展，因此早发现、早治疗是减少帕金森病对患者日常生活影响的最有效手段。

在帕金森病的临床诊断中，病人体征的严重程度主要由医生肉眼观察判断，由专业医生根据帕金森综合评分量表(UPDRS)根据病人表现进行评估，按照评分得到病人的帕金森五级诊断结果。而帕金森病早期各体征并不明显，极易漏诊。同时帕金森病体征多样，包括：静止震颤、步态短促、摆臂不对称和启动时间慢等特征，特征出现的顺序不一、严重程度不一，给医生的主观感受不同，同样容易造成误诊。因此，以上两种情况都造成了帕金森病的早期诊断率较低。此外，由于帕金森病的诊断过度依赖于医生的临床经验，而专业医生数量少且集中于大中城市，医疗资源的紧缺和高成本造成民众对帕金森病的早期诊断率过低，一经发现就是晚期，错过了最佳治疗时间。

目前关于帕金森疾病辅助诊断的研究多着眼于使用病人步态数据训练深度学习模型，将待检测者数据输入训练好的模型中进行自动检测判断患有帕金森疾病的概率，如马许等人基于mLSTM网络对惯性传感器进行推断来识别帕金森病，钱晓华等人利用神经网络模型分析帕金森患者的步态视频来评估步态障碍的严重程度。由于深度学习自身可解释性差，上述检测方法只能提供预测结果，无法量化病人的步态特征数据，在辅助诊断过程中不利于向病患展示及治疗效果跟踪。

发明内容

为克服上述现有技术的不足，本发明提供了一种基于步态分析的帕金森疾病辅助诊断系统，基于惯性传感器和摄像头进行运动数据采集，提取不同的步态特征并进行量化，以及可视化，以低成本、高便利性的特点有效解决了帕金森病诊断时运动特征靠肉眼观察、病情难诊断的问题，为帕金森病诊断提供了有利的辅助。

为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：

一种基于步态分析的帕金森疾病辅助诊断系统，包括：

数据采集装置，用于采集运动数据并发送至上位机；

上位机，用于对运动数据进行预处理并发送至本地服务器；

本地服务器，用于基于运动数据进行步态特征提取，并发送至云平台；

云平台，用于对根据所述步态特征进行可视化。

进一步地，所述数据采集装置包括惯性传感器。

进一步地，所述本地服务器包括：

摆臂特征提取模块，用于对手部惯性传感器采集的角度数据进行峰值提取，得到每次摆臂动作在身前和身后的最大角度；根据身前和身后的最大角度，计算摆臂幅度和对称性。

进一步地，所述本地服务器包括：

转身特征提取模块，用于根据一个手部惯性传感器采集的角度数据，通过模式识别方法检测转身的开始和结束时刻，得到转身时间。

进一步地，所述本地服务器包括：

步长特征提取模块，用于根据脚部惯性传感器采集的加速度数据，识别起步时间及行走时步态周期中的足部摆动过程；对足部摆动时的加速度数据进行二次积分累加得到步长。

进一步地，所述本地服务器包括：

启动特征提取模块，通过预训练的语音识别模型识别预设启动词，当识别到启动词时，记录第一时间戳；用于根据脚部惯性传感器采集的加速度数据，识别起步时间，即第二时间戳；第一时间戳和第二时间戳之间的差值即启动时间。

进一步地，所述识别起步时间方法为：

获取当前时刻的惯性传感器数据，所述惯性传感器数据包括加速度、角速度和角度数据；

基于预训练的起步时间识别模型识别速度为零时的时刻，得到起步时间；其中，所述起步时间识别模型采用长短期记忆网络，采用标记运动数据集训练得到，所述标记运动数据集中每一条数据均包括加速度、角速度、角度数据以及对应此刻的零速度标签。

进一步地，所述数据采集装置还包括单目摄像头，用于采集侧面步态视频。

进一步地，所述本地服务器包括：

躯干前倾特征提取模块，用于根据侧面步态视频，基于对脚部关键点的识别，寻找每一次迈步结束的关键帧；根据所述关键帧中人物的质心和双脚之间的中心点坐标，计算质心偏移量，即躯干前倾特征。

进一步地，所述单目摄像头设于移动机器人上；所述移动机器人上还设有深度摄像头和控制器，所述控制器用于获取深度摄像头采集的患者侧面运动视频，基于所述侧面运动视频解析所述移动机器人与患者之间的相对位置关系，控制所述移动机器人平行跟随所述患者。

以上一个或多个技术方案存在以下有益效果：

本发明着眼于帕金森病人摆臂幅度小、转身时间慢、步长短促和冻结步态等多项临床医生上较关注的运动特征，综合利用数据采集、数据传输、特征提取等多项技术，对检测者的步态特征进行数字量化，协助专业医生进行临床诊断；同时建立病人的电子档案，从而能够长期监测病人疾病变化发展情况。

对于摆臂幅度特征的提取，基于手部的惯性传感器角度数据进行峰值检测，基于峰值之间的角度差得到摆臂幅度；对于转身时间，基于手部的惯性传感器角度数据斜率差值检测转身开始和结束时刻，计算方法简单，且准确性高。

对于步长特征和启动时间特征，提出了一种基于LSTM网络的“零速度检测”方法，用于基于脚部的惯性传感器识别脚部是否处于运动状态，当病人初始迈步时用判定为运动状态的时间作为启动时间，当判断为运动状态时对足部加速度进行二次积分得到步长。该检测方法相对于传统的设置固定加速度阈值，准确性更高，鲁棒性更好。

对于躯干前倾特征，提供了一种基于侧面视频检测的方法，通过识别一步结束时的关键帧，计算人物的质心偏移情况，从而衡量躯干的前倾特征。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1为本发明实施例中基于步态分析的帕金森疾病辅助诊断系统框架图；

图2为本发明实施例中基于视频数据和运动数据进行步态分析的过程示意图；

图3为本发明实施例中帕金森疾病辅助诊断系统的界面示意图。

具体实施方式

应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

本实施例公开了一种基于步态分析的帕金森疾病辅助诊断系统，着眼于帕金森病人最常见的步态体征，结合惯性传感器采集的运动数据和摄像头采集视频数据，针对临床诊断时关注较多的行走时摆臂幅度、转身时间、步长和躯干前倾度等特征进行提取。将检测者的步态特征量化，为专业医生提供客观诊断依据，同时可将数字化特征建立电子档案，用于患者日常体征监测和康复工作。

所述系统包括数据采集装置、上位机、本地服务器和云平台。其中，数据采集装置针对病人行进时加速度、角度等运动数据及侧面视频数据两种不同模态的步态信息，分别设计采集方案并整理出病人志愿者的步态数据集：运动数据采用惯性传感器进行采集，视频数据使用自动跟随机器人在侧面同步跟踪病人，同时采用单目摄像头拍摄行走时的侧面图像。其中惯性传感器主要采集病人运动和静止状态下四肢加速度、角速度和角度等原始数据，并通过ZigBee模块发送至上位机，上位机进行降噪等数据预处理后转发至本地服务器进行下一步的特征提取工作；摄像头主要采集病人行走时的视频序列，采集得到的原始数据经过二值化等预处理后传输至本地服务器做特征提取。经过特征提取的传感器数据及视频数据将特征通过4G模块上传至云平台进行可视化及管理。

所述惯性传感器和单目摄像头均与上位机通信连接。具体地，所述惯性传感器与上位机之间通过Zigbee模块通信连接。采用Zigbee主要是由于惯性传感器数量较多，原始数据上传至上位机时，惯性传感器与上位机的通信需保持稳定。而ZigBee无线通信模块具有低功耗、组网能力强及数据传输稳定的特性。所述摄像头通过数据线与上位机连接。

所述数据采集装置，所述数据采集装置包括惯性传感器和摄像头，用于采集用户运动过程中的运动数据和侧面步态视频。

本实施例中，在步态数据采集过程中，为检测者四肢佩戴无线惯性传感器，优选为，在左右手腕、左右脚腕和左右大腿上分别佩戴惯性传感器，并指引患者沿直线行进3米左右的一次往返运动，对此过程进行数据采集。

所述惯性传感器用于采集患者运动时的四肢加速度、角速度，角度等运动数据。惯性测量单元(IMU)在人体运动和临床研究领域变得越来越流行，因为它们有着显著的优点：体积小、便携、重量轻且成本低。惯性传感器由三轴惯性传感器、磁力计和加速度计组成，在运动过程中提供准确的加速度、角速度及角度方向测量值。

所述摄像头，用于采集用户运动时的侧面视频。

对于侧面视频数据的采集，为了进一步解放人力，拍摄出高质量的侧面运动视频，本实施例采用轮式机器人自动跟随拍摄。具体地，所述轮式机器人上设有深度摄像头、单目摄像头和控制器。其中，深度摄像头用于实时拍摄用户侧面运动视频并发送至控制器，本实施例中所述控制器采用控制板Jetson nano，所述控制板基于实时的用户侧面运动视频，根据深度摄像头与用户之间的距离以及用户的运动趋势，控制所述轮式机器人平行跟随所述用户。所述单目摄像头用于拍摄用户的侧面步态视频，并发送至上位机，用于步态分析。

为保证获取准确的侧面步态特征，轮式机器人需平行跟随拍摄，本实施例提供了一种自动平行跟随的方法。采集视频数据时，深度摄像头随轮式机器人同时启动，当检测者行走时，轮式机器人于人体侧面保持一定距离自动跟随，跟随过程中，所述控制板实时执行以下步骤：

(1)根据深度数据进行人体关键点识别，并定位人体骨骼关键点，确定人体关键点与成像传感器之间的距离；本实施例中，选择待检测者髋部关键点作为人体骨骼关键点；

(2)将人体关键点、深度摄像头、深度摄像头到人体前进直线的垂线构成的三角形记为参考三角形，为使机器人与人体保持距离不变，用深度摄像头测得的距离乘摄像头视角角度值一半的余弦值，此时得到的距离即为轮式机器人应前进的位移，实时计算行进时轮式机器人需前进的长度值，实现平行跟随。

所述上位机，用于：(1)获取惯性传感器采集的运动数据，并进行降噪等预处理。(2)获取单目摄像头采集的侧面步态视频。

所述本地服务器，用于：(1)根据预处理后的惯性传感器数据提取摆臂幅度及对称性、转身时间、步长和启动时间等特征；(2)基于所述侧面步态视频提取驱干前倾角度等特征。

具体说明如下：

(1)基于惯性传感器采集的运动数据进行特征提取。

A、摆臂幅度及对称性特征

本实施例根据病人行走过程中左右手惯性传感器收集到的角度数据中的峰值进行摆臂幅度和对称性特征的提取。在帕金森病初期，患者表现为走路时患侧上肢摆臂幅度减小或摆臂不对称的体征。对于不同的患者，由于体型的差异，摆臂的真实角度相差很大，因此考虑通过相对值表示病人摆臂的幅度。通过对比左手摆动幅度和右手摆动幅度的差值，可以得到手臂摆动幅度对称性的特征。具体地，根据病人摆臂过程中，基于设于腕部的惯性传感器，获取每一次摆臂相应的身前和身后的角度峰值(即摆臂到身前和身后的最高点)；根据身前和身后的角度峰值得到不同方向上的最大摆臂角度，从而计算每一次摆臂的幅度。通过对比左手摆动幅度和右手摆动幅度的差值，可以得到手臂摆动幅度对称性的特征。

B、转身时间特征

对于转身时间特征，由于帕金森患者存在转身困难的问题，在转弯时会停顿，因此转身时间较常人更长。通过实验发现病人在转身过程中较正常行进时角度值会存在明显的变化，本实施例根据检测者右手惯性传感器记录的角度数据，经实验分析病人进行转弯时，惯性传感器角度值Z轴的斜率发生了明显的变化，与X、Y轴差异较大。通过分析三轴斜率，设定斜率变化阈值，当超过该阈值时即可说明病人正在转弯从而得到转身时间特征值。

C、步长特征

对于步长特征，由于帕金森患者存在步态短促的临床症状，因此帕金森患者在行走刚起步时步长较常人更短。本实施例通过对患者足部佩戴的惯性传感器收集加速度数据进行二次积分，即可求得被检测者的步长数据。但是由于只有处于运动状态的位移才作为步长数据，因此需判断检测者足部何时处于运动状态，由于不同的患者具有不同的运动特点，设置固定的加速度阈值作为是否运动的方案无法取得较好的鲁棒性，由于惯性传感器的数据多为时序数据，本实施例通过设计并训练LSTM网络实现“零速度检测”来提高检测精度，从而实现对步态周期中运动状态的检测。具体地，将两次零速度时刻之间的数据记为运动状态，将运动状态过程中加速度数据进行二次积分得到步长特征。

具体地，本实施例设计LSTM网络结构，通过标记运动数据集对网络进行训练，可判断输入的足部惯性传感器数据任意时刻是否为运动状态，仅对运动状态的加速度数据进行二次积分即可得到每一步的距离，从而得到步长特征。LSTM网络模型结构由6个LSTM层组成，每层80个单元。在LSTM之后加入了一个全连接的层，这将网络的输出减少到二维。一个softmax函数被用来约束输出SUM为1。用于训练该网络的数据集为根据采集的20段行走数据处理得到的零速度数组。所述零速度数组包括三轴加速度，角速度，角度值以及对应在这一刻的零速度标签(即此刻速度是否为零，为零时标签设为1，非零时标签为0)。

具体地，数据集采集包括数据预处理模块、标签生成模块，数据预处理包括删除时间戳等操作，标签生成包括将人工调整的固定阈值法得到的零速度数组与姿态传感器加速度、角速度、角度等值相结合。具体采集过程为：三名成年人在足部佩戴上传感器，在3米的直线距离上以不同的速度折返行走一趟，共搜集了20组数据。步态数据由每一赫兹惯性传感器测量的三轴加速度，角速度，角度值以及对应在这一刻的零速度标签组成。将上述搜集到的数据使用固定阈值检测方法来判断在某一帧是否为零速度，由于受试者具有不同的步态习惯，所以需要针对每一组数据调整阈值，直到在图像上能够正确的反应出零速度状态，然后将该调优后的得到的零速度数组作为标签。将采集到的数据集用在LSTM网络中进行训练，在训练时将参数为LR＝0.0003、BATCH_SIZE＝600、NUM_EPOCHS＝300、HIDDEN_SIZE＝12时模型的预测结果最优，达到了91％左右。

D、启动时间特征

对于启动时间特征，由于帕金森患者存在行动迟缓的临床症状，因此其启动时间较常人更长。本实施例同样利用“零速度检测”实现对启动时间特征的提取。具体地，通过启动词如“启动”给予检测者开始行走的指示。系统通过调用训练好的离线语音识别模块识别启动词，当识别到启动词时，系统得到开始时间戳，此时测试者开始行走，利用“零速度检测”可以判断测试者由静止状态变为运动状态的时刻，系统得到另一时间戳，两时间戳之间的差值为启动时间，从而得到启动时间特征。

(2)基于单目摄像头采集的侧面步态视频进行特征提取。

帕金森病人的一个重要特征是存在着躯干前倾，本实施例通过分析病人侧面视频数据提取该特征。具体包括以下步骤：

步骤1：对于侧面视频数据，首先对采集得到的视频数据进行处理，将其分段转换成图片序列。

为了更精准的测量躯干重心偏移量，本实施例采用提取图片序列中患者步态周期内迈步最大的一帧的方式。

步骤2：对图片进行人像提取，并进行二值化。

人像去背景采用deeplab V3+算法的图像分割技术将病人从图像中提取出来，然后将图像二值化来减少计算量。

步骤3：对脚部关键点进行识别，寻找一次迈步结束的关键帧。

由人行走的一般规律可知，当人体两个脚后跟同时落地时表示患者此时完成一次迈步，此时患者左右脚后跟之间的距离即为一次迈步的长度。提取关键帧算法思想为找到一个步态周期内患者两个脚踝之间距离最大的一帧，该算法需要准确的对患者的脚踝、脚后跟等关键位置进行识别。因此，采用关键点识别技术，从视频中提取出的图像进行关键点识别，主要针对患者的脚踝等位置进行定位，可对原始的图像进行筛选，只保留脚踝间距离最大的的图片。

步骤4：根据所述关键帧，计算躯干重心偏移量，具体算法为：

步骤4.1：计算人体轮廓图的质心，取质心的x轴绝对值COG_x；

步骤4.2：根据Simple Baseline语义分析结果定位到双足，计算双足所占像素区域的中点坐标COS_x；

步骤4.3：质心前移COG_shift＝|COG_x-COS_x|。

通过上述算法，能够准确的提取出视频数据中病人躯干重心偏移量。

所述云平台，用于对步态特征进行可视化。具体地，对于本次运动的启动时间；运动过程中每一步的步长、摆臂幅度及对称性，和躯干前倾幅度；以及转身时的时间进行可视化。

为了方便医生查看可视化步态信息和管理病人诊疗信息，设计了管理展示云平台。主要包含四个模块：运动特征可视化、辅助诊断结果展示。云平台采用了基于MVC模式的B/S架构，应用目前应用广泛的Spring Boot+VUE的前后端分离技术架构，实现对帕金森病检测数据的展示和管理。

本发明在得到检测者的各项体征数据后，上传至云平台上进行数据可视化，此举不仅能够为专业医生提供帕金森诊断的客观依据，同样可以将病人多次的检测数据形成电子档案。对于检测者，电子档案能够记录其所有检测记录，从而通过对比分析为专业医生提供更多临床信息；对于确诊患者，电子档案能够通过展示患者历史体征数据，从而分析患者的病情进展情况或康复疗养情况，为医生和患者及其家属提供更多信息，指导医生进行下一步的诊疗。

本领域技术人员应该明白，上述本发明的各模块或各步骤可以用通用的计算机装置来实现，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本发明不限制于任何特定的硬件和软件的结合。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (5)

1.一种基于步态分析的帕金森疾病辅助诊断系统，其特征在于，包括：

数据采集装置，用于采集运动数据并发送至上位机；上位机用于对运动数据进行预处理并发送至本地服务器；本地服务器用于基于运动数据进行步态特征提取，并发送至云平台；云平台用于对根据所述步态特征进行可视化；

其中：

所述数据采集装置包括惯性传感器；还包括单目摄像头，用于采集侧面步态视频；

所述单目摄像头设于移动机器人上，移动机器人上还设有深度摄像头和控制器，所述控制器用于获取深度摄像头采集的患者侧面运动视频，基于侧面运动视频解析移动机器人与患者之间的相对位置关系，控制移动机器人平行跟随患者；所述控制器实时执行以下步骤：根据深度数据进行人体关键点识别，并定位人体骨骼关键点，确定人体关键点与成像传感器之间的距离；将人体关键点、深度摄像头、深度摄像头到人体前进直线的垂线构成的三角形记为参考三角形，为使机器人与人体保持距离不变，用深度摄像头测得的距离乘深度摄像头视角角度值一半的余弦值，此时得到的距离即为移动机器人应前进的位移，实时计算行进时移动机器人需前进的长度值，实现平行跟随；

所述本地服务器，用于根据预处理后的惯性传感器数据提取摆臂幅度及对称性、转身时间、步长和启动时间特征；还用于基于所述侧面步态视频提取驱干前倾角度特征；

所述本地服务器包括：启动特征提取模块，通过预训练的语音识别模型识别预设启动词，当识别到启动词时，记录第一时间戳；用于根据脚部惯性传感器采集的加速度数据，识别起步时间，即第二时间戳；第一时间戳和第二时间戳之间的差值即启动时间；

所述识别起步时间方法为：获取当前时刻的惯性传感器数据，所述惯性传感器数据包括加速度、角速度和角度数据；基于预训练的起步时间识别模型识别速度为零时的时刻，得到起步时间；其中，所述起步时间识别模型采用长短期记忆网络，采用标记运动数据集训练得到，所述标记运动数据集中每一条数据均包括加速度、角速度、角度数据以及对应此刻的零速度标签。

2.如权利要求1所述的基于步态分析的帕金森疾病辅助诊断系统，其特征在于，所述本地服务器还包括：

摆臂特征提取模块，用于对手部惯性传感器采集的角度数据进行峰值提取，得到每次摆臂动作在身前和身后的最大角度；根据身前和身后的最大角度，计算摆臂幅度和对称性。

3.如权利要求1所述的基于步态分析的帕金森疾病辅助诊断系统，其特征在于，所述本地服务器还包括：

转身特征提取模块，用于根据一个手部惯性传感器采集的角度数据，通过模式识别方法检测转身的开始和结束时刻，得到转身时间。

4.如权利要求1所述的基于步态分析的帕金森疾病辅助诊断系统，其特征在于，所述本地服务器还包括：

步长特征提取模块，用于根据脚部惯性传感器采集的加速度数据，识别起步时间及行走时步态周期中的足部摆动过程；对足部摆动时的加速度数据进行二次积分累加得到步长。

5.如权利要求1所述的基于步态分析的帕金森疾病辅助诊断系统，其特征在于，所述本地服务器还包括：

躯干前倾特征提取模块，用于根据侧面步态视频，基于对脚部关键点的识别，寻找每一次迈步结束的关键帧；根据所述关键帧中人物的质心和双脚之间的中心点坐标，计算质心偏移量，即躯干前倾特征。