CN114098714A

CN114098714A - 基于机器视觉建立冻结步态识别模型的方法

Info

Publication number: CN114098714A
Application number: CN202111342992.2A
Authority: CN
Inventors: 邹海强; 陈绣君; 李文丹; 凌云; 陈仲略; 任康
Original assignee: Gyenno Technologies Co ltd
Current assignee: Gyenno Technologies Co ltd
Priority date: 2021-11-12
Filing date: 2021-11-12
Publication date: 2022-03-01
Anticipated expiration: 2041-11-12

Abstract

本发明公开了一种基于机器视觉建立冻结步态识别模型的方法，包括以下步骤：S1:让受试者进行步态实验并进行视频录制；S2:对受试者的试验视频中的人体骨架的关键点位置信号进行提取，完成2D人体运动感知；S3:根据2D人体运动感知，构建多组识别模型，识别模型包括动作识别模型、直行FoG识别模型和转身FoG识别模型。S4:以LOSO方法评估建立的识别模型进行算法评估，本发明采用机器视觉技术，对视频信息进行提取，采用基于Openpose的RGB技术提取人体的运动特征，并开发了一种分割动作阶段识别FoG的端到端FoG识别模型，从而对帕金森的早期筛查具有重要的意义。

Description

基于机器视觉建立冻结步态识别模型的方法

技术领域

本发明涉及帕金森病领域，尤其涉及一种基于机器视觉建立冻结步态识别模型的方法。

背景技术

帕金森病(Parkinson’s disease,PD)是目前最常见的运动障碍性和第二大神经退行性疾病，其在全部人群中的患病率大约为0.3％，60岁以上的老年人中患病率可以达到1％，估计全球有700-1000万人受到影响。帕金森病的主要病理特征是中枢神经系统某些区域的细胞进行性和选择性丢失；并导致经典帕金森样运动表现：运动迟缓、肌强直、静止性震颤以及姿势和步态障碍，而冻结步态(Freezing of gait，FoG)是帕金森病患者临床表现中较常见的一种症状，多发生于帕金森病的中晚期。

目前用于评估冻结步态的方法主要有以下几类，但都存在着一些不足：

一、基于特定的步态试验或相关量表的评估方式。量表的评估方式有较高的临床使用频率，但它容易受环境和主观因素的影响，而且对于有认知障碍的患者难以开展。

二、基于神经影像学检查的评估方式。这些技术都为研究FOG提供了有潜力的影像学生物标记物，但也存在着检查不便(需用专用昂贵设备、能够开展的医院有限)、费用高以及检查结果与疾病的因果关系并不确定(可能有相关性但因果关系不能证实)等问题。

三、基于智能设备的评估方式：它是一种客观的评估方法，可以去除人的主观因素的影响。

而基于可穿戴设备进行FoG评估的方法：基于传感器相关技术对帕金森病患者FoG检测有较高的灵敏度和特异度。但不足之处在于这些设备穿戴不便与不适；此外，传感器会干扰患者的自然步态，使FoG评估产生偏差，因此如何准确对FoG进行评估，是我们急需解决的问题。

发明内容

针对上述技术中存在的不足之处，本发明提供一种基于机器视觉建立冻结步态识别模型的方法，从而采用机器视觉技术，对视频信息进行提取，采用基于Openpose的RGB技术提取人体的运动特征，并开发了一种分割动作阶段识别FoG的端到端FoG识别模型，从而对帕金森的早期筛查具有重要的意义。

为实现上述目的，请参阅图1，本发明提供一种基于机器视觉建立冻结步态识别模型的方法，包括以下步骤：

S1:让受试者进行步态实验并进行视频录制；

S2:对受试者的试验视频中的人体骨架的关键点位置信号进行提取，完成2D人体运动感知；

S3:根据2D人体运动感知，构建多组识别模型，识别模型包括动作识别模型、直行FoG识别模型和转身FoG识别模型。

S4:以LOSO方法评估建立的识别模型进行算法评估。

作为优选，在步骤S1前，需要对受试者进行筛选，筛选按照以下标准进行：(1)基于MDS标准诊断为帕金森病；(2)根据临床表现及FoG问卷确定存在冻结步态；(3)处于药物“开期”状态；(4)能独立行走20米以上；(5)无认知功能障碍(MMSE>24分)；(5)没有任何影响步行能力的疾病如脑积水、心脑血管病、认知障碍、风湿、骨科疾病。

作为优选，在视频的拍摄过程中，视频的帧率为每秒30帧，分辨率为544*960，并且对拍摄到的视频进行转身阶段和冻结阶段的标注，得到完整的原始视频数据。

作为优选，在步骤S2中，利用Openpose对原始视频数据进行关键点提取，利用试验视频中人体骨架的25个关键点来建立完整的2D人体运动感知。

作为优选，在步骤S2中，还需要采用归一化法对位置信号进行预处理，将人体25个关键点计算出人体的最小外接矩形并将其长宽分别扩大30％，然后将原始坐标系转换到以人体外接矩形左上角顶点为坐标原点的坐标系，得到25个关键点转换坐标系后的位置坐标。接着，将80与人体外接矩形高的比值作为尺度因子，再分别将尺度因子乘以每个关键点的位置坐标，得到归一化的位置坐标。最后，计算出关键点的速度信号、加速度信号、膝盖关节角度信号以及8对关键点位置差的绝对值信号。

作为优选，在步骤S3中，根据整理好的数据信息分别构建动作识别模型、直行FoG识别模型和转身FoG识别模型，在构建动作识别模型中，先使用基于XGBoost的前向特征选择策略来做筛选特征。其次构建基于XGBoost的动作识别模型，采取网格搜索和LOSO方法获得最优模型参数组合，模型参数包括：learning_rate，n_estimators，max_depth，subsample，colsample_bytree；最后采用移动平均的方法对动作识别模型的动作识别结果进行了修正。

作为优选，构建直行FoG识别模型和转身FoG识别模型时，先基于XGBoost算法对模型进行了特征选择，特征选择的方法与动作识别模型一致。

作为优选，将动作识别模型用于分割直行和转身阶段，将直行FoG识别模型和转身FoG识别模型分别用于直行和转身阶段的FoG识别；以先分割动作阶段再识别FoG的策略，组成一个端到端的FoG识别模型。

作为优选，统一取所有标注的FoG持续时间的10％分位数作为阈值，将该值作为FoG事件的最小持续时长，若FoG事件的持续时间小于该值，则此事件是非冻结事件，否则为冻结事件。

本发明的有益效果是：与现有技术相比，本发明提供了一种基于机器视觉建立冻结步态识别模型的方法，利用视频提取的运动特征的端到端FoG识别模型，该识别模型获得了较好的识别结果：灵敏度为87.5％；特异度为79.82％。模型中的部分特征有较强的可解释性，且特征在组间有统计学上的差异(p-value<0.05)。采用与分阶段的FoG识别模型相同的方法构建了不分阶段FoG识别模型，并对比了这两个模型的性能。结果发现，分阶段FoG识别模型的灵敏度和特异度都提升了约3％，这印证了分阶段的FoG识别模型的识别性能比不分阶段的FoG识别模型要好。该系统能够部署在移动手机中，从而方便患者进行自我评估，并将结果传递给医生，做到PD-FOG人群的全程管理和及时干预。

附图说明

图1为本发明的步骤流程图。

具体实施方式

为了更清楚地表述本发明，下面结合附图和实施例对本发明作进一步地描述。本领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。

请参阅图1；本发明公开一种基于机器视觉建立冻结步态识别模型的方法，包括以下步骤：S1:让受试者进行步态实验并进行视频录制；S2:对受试者的试验视频中的人体骨架的关键点位置信号进行提取，完成2D人体运动感知；S3:根据2D人体运动感知，构建多组识别模型，识别模型包括动作识别模型、直行FoG识别模型和转身FoG识别模型。S4:以LOSO方法评估建立的识别模型进行算法评估。在本实施例中，本申请利用机器视觉来代替人眼来进行评估，相较于穿戴传感器的方法，基于机器视觉的方法没有穿戴上的不适，也不会影响被评估者的行动，是一种比较理想的客观评估方法。这种方法的运动信息提取主要有2类，(1)加入辅助识别标示，(2)使用深度相机为代表的深度视觉技术。增加辅助标记的方式和深度相机的运动信息提取方式难以在居家环境下普及，最终使用以Openpose(人体姿态识别项目，是美国卡耐基梅隆大学(CMU)基于卷积神经网络和监督学习并以caffe为框架开发的开源库)为代表的2D关键点识别的RGB技术，并在此基础上开发了一种分割动作阶段识别FoG的端到端FoG识别模型，从而为帕金森的早期发现提供相对应的数据支持。

在步骤S1前，需要对受试者进行筛选，筛选按照以下标准进行：(1)基于MDS(骨髓增生异常综合征)标准诊断为帕金森病；(2)根据临床表现及FoG问卷确定存在冻结步态；(3)处于药物“开期”状态；(4)能独立行走20米以上；(5)无认知功能障碍；(5)没有任何影响步行能力的疾病如脑积水、心脑血管病、认知障碍、风湿、骨科疾病。这些标准的建立是为了排出有炎症、药物、中毒、血管等因素引发的继发性帕金森病、进行性核上性麻痹或多系统萎缩等帕金森叠加综合征的患者，避免这些疾病在后续的数据采集过程中造成的不利数据，从而影响整个模型的建立。

在视频的拍摄过程中，视频的帧率为每秒30帧，分辨率为544*960，并且对拍摄到的视频进行转身阶段和冻结阶段的标注，得到完整的原始视频数据。在步骤S2中，利用Openpos对原始视频数据进行关键点提取，利用试验视频中人体骨架的25个关键点来建立完整的2D人体运动感知。在步骤S2中，还需要采用归一化法进行处理信号进行预处理，将人体25个关键点计算出人体的最小外接矩形并将其长宽分别扩大30％，然后将原始坐标系转换到以人体外接矩形左上角顶点为坐标原点的坐标系，得到25个关键点转换坐标系后的位置坐标。接着，将80与人体外接矩形高的比值作为尺度因子，再分别将尺度因子乘以每个关键点的位置坐标，得到归一化的位置坐标。最后，计算出关键点的速度信号、加速度信号、膝盖关节角度信号以及8对关键点位置差的绝对值信号(右臀与左臀、右膝盖与左膝盖、右脚踝与左脚踝、右边大拇指与左边大拇指、右肩与左肩、右肘与左肘、右手腕与左手腕、右耳与左耳)。在具体实施例中，因为是利用机器视觉进行评估，因此利用机器对视频中人体进行关键点提取时，就需要保证一定的视频清晰度，因此采用544*960的分辨率，且每秒30帧；更高的分辨率当然也是可以满足需求的，但是利用更高分辨率进行拍摄后得到的视频容量较大，对于本申请在移动端的使用是不利的，而对于每秒帧数的选择，也是为了方便机器视觉进行数据获取，在从这些视频中获取2D图像后，由于2D图像天然会存在近大远小的问题，导致远近的尺度不同，为了消除拍摄距离所造成的影响，进行归一化处理；得到归一化的位置坐标后，计算得到25个关键点的速度信号、加速度信号、膝盖关节角度信号以及8对关键点位置差的绝对值信号(右臀与左臀、右膝盖与左膝盖、右脚踝与左脚踝、右边大拇指与左边大拇指、右肩与左肩、右肘与左肘、右手腕与左手腕、右耳与左耳)。在进行特征提取前，对于信号还做了滑窗处理，采用步长为0.1s，窗口大小为2s的滑窗方式将信号分为多个窗口，并对每个窗口计算时域和频域特征

为了实现上述目的，在步骤S3中，根据整理好的数据信息分别构建动作识别模型、直行FoG识别模型和转身FoG识别模型，在构建动作识别模型中，先使用基于XGBoost(全称为eXtreme Gradient Boosting)的前向特征选择策略来做筛选特征。其次构建基于XGBoost的动作识别模型，采取网格搜索和LOSO方法获得最优模型参数组合，模型参数包括：学习率(learning_rate)，n_估计量(n_estimators)，最大深度(max_depth)，子样本(subsample)，colsample_bytree；最后采用移动平均的方法对模型的识别结果进行了修正。构建直行FoG识别模型和转身FoG识别模型时，我们先基于XGBoost算法对模型进行了特征选择，特征选择的方法与动作识别模型一致。考虑到过渡阶段的样本难以划分其究竟是non-FoG还是FoG，如果将其放入模型训练，会导致模型的训练结果受到不明确的标签的影响导致性能下降。为了得到一个更精确的模型，我们去除训练集中冻结与非冻结的过渡阶段的样本。(分别去除冻结事件TP和非冻结事件TN各持续时间为0.5s的样本)。然后，使用了smote算法来平衡训练集的样本。最后，我们构建基于XGBoost的直行FoG识别模型和转身FoG识别模型，采取网格搜索和LOSO方法获得最优模型参数组合，从而获得性能最优的直行FoG识别模型和转身FoG识别模型。

我们以先分割动作阶段再识别FoG的策略，组成一个端到端的FoG识别模型：首先，将动作识别模型用于分割直行和转身阶段；然后，将直行FoG识别模型和转身FoG识别模型分别用于直行和转身阶段的FoG识别。我们以事件来评估模型对FoG的识别结果；其中事件包括冻结事件和非冻结事件，一段由不间断的冻结窗口组成的冻结序列是一个冻结事件；一段由不间断的非冻结窗口组成的非冻结序列是一个非冻结事件。统一取所有标注的FoG持续时间的10％分位数作为阈值，将该值作为FoG事件的最小持续时长，若FoG事件的持续时间小于该值，则此事件是非冻结事件，否则为冻结事件。

对于模型的评估，包括以下几个部分，首先对于动作识别模型的评估指标，是基于窗口的灵敏度、特异度、准确度、GM和AUC，对于直行FoG识别模型、转身FoG识别模型、端到端的FoG识别模型的评估指标。这三个模型的评估指标是基于事件的灵敏度、特异度、准确度和GM。灵敏度的定义是正确预测的冻结事件(在冻结事件中至少有一个窗口被预测为冻结)的数量占所有冻结事件数量的比例；特异度的定义是正确预测的非冻结事件(非冻结事件中没有一个窗口被预测为冻结)的数量占所有非冻结事件数量的比例；准确度是所有预测准确的事件占所有事件数的比例；GM(G-mean)是灵敏度和特异度的平方根。为了客观评价模型的性能，采用leave-one-subject-out(LOSO)方法评估此算法在该数据集上的表现。采用50个受试者的数据集，因此有50折交叉验证；每一折的交叉验证，保留一个受试者的数据用于测试，其余受试者的数据用于训练。经过反应验算后，本识别模型获得了较好的识别结果：灵敏度为87.5％；特异度为79.82％。模型中的部分特征有较强的可解释性，且特征在组间有统计学上的差异(p-value<0.05)。我们采用与分阶段的FoG识别模型相同的方法构建了不分阶段FoG识别模型，并对比了这两个模型的性能。结果发现，分阶段FoG识别模型的灵敏度和特异度都提升了约3％，这印证了分阶段的FoG识别模型的识别性能比不分阶段的FoG识别模型要好，并且该方法能应用在移动手机中，从而方便患者进行自我评估，并将结果传递给医生，做到PD-FOG人群的全程管理和及时干预，具备一定的可应用性。

以上公开的仅为本发明的几个具体实施例，但是本发明并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围。

Claims

1.一种基于机器视觉建立冻结步态识别模型的方法，其特征在于，包括以下步骤：

S1:让受试者进行步态实验并进行视频录制；

S4:以LOSO方法评估建立的识别模型进行算法评估。

2.根据权利要求1所述的基于机器视觉建立冻结步态识别模型的方法，其特征在于，在步骤S1前，需要对受试者进行筛选，筛选按照以下标准进行：(1)基于MDS标准诊断为帕金森病；(2)根据临床表现及FoG问卷确定存在冻结步态；(3)处于药物“开期”状态；(4)能独立行走20米以上；(5)无认知功能障碍(MMSE>24分)；(5)没有任何影响步行能力的疾病如脑积水、心脑血管病、认知障碍、风湿、骨科疾病。

3.根据权利要求1所述的基于机器视觉建立冻结步态识别模型的方法，其特征在于，在视频的拍摄过程中，视频的帧率为每秒30帧，分辨率为544*960，并且对拍摄到的视频进行转身阶段和冻结阶段的标注，得到完整的原始视频数据。

4.根据权利要求1所述的基于机器视觉建立冻结步态识别模型的方法，其特征在于，在步骤S2中，利用Openpose对原始视频数据进行关键点提取，利用试验视频中人体骨架的25个关键点来建立完整的2D人体运动感知。

5.根据权利要求4所述的基于机器视觉建立冻结步态识别模型的方法，其特征在于，在步骤S2中，还需要采用归一化法对位置信号进行预处理，将人体25个关键点计算出人体的最小外接矩形并将其长宽分别扩大30％，然后将原始坐标系转换到以人体外接矩形左上角顶点为坐标原点的坐标系，得到25个关键点转换坐标系后的位置坐标。接着，将80与人体外接矩形高的比值作为尺度因子，再分别将尺度因子乘以每个关键点的位置坐标，得到归一化的位置坐标。最后，计算出关键点的速度信号、加速度信号、膝盖关节角度信号以及8对关键点位置差的绝对值信号。

6.根据权利要求1所述的基于机器视觉建立冻结步态识别模型的方法，其特征在于，在步骤S3中，根据整理好的数据信息分别构建动作识别模型、直行FoG识别模型和转身FoG识别模型，在构建动作识别模型中，先使用基于XGBoost的前向特征选择策略来做筛选特征。其次构建基于XGBoost的动作识别模型，采取网格搜索和LOSO方法获得最优模型参数组合，模型参数包括：learning_rate，n_estimators，max_depth，subsample，colsample_bytree；最后采用移动平均的方法对动作识别模型的动作识别结果进行了修正。

7.根据权利要求6所述的基于机器视觉建立冻结步态识别模型的方法，其特点在于，构建直行FoG识别模型和转身FoG识别模型时，先基于XGBoost算法对模型进行了特征选择，特征选择的方法与动作识别模型一致。

8.根据权利要求6所述的基于机器视觉建立端到端的冻结步态识别模型的方法，其特征在于，将动作识别模型用于分割直行和转身阶段，将直行FoG识别模型和转身FoG识别模型分别用于直行和转身阶段的FoG识别；以先分割动作阶段再识别FoG的策略，组成一个端到端的FoG识别模型。

9.根据权利要求8所述的基于机器视觉建立冻结步态识别模型的方法，其特征在于，统一取所有标注的FoG持续时间的10％分位数作为阈值，将该值作为FoG事件的最小持续时长，若FoG事件的持续时间小于该值，则此事件是非冻结事件，否则为冻结事件。