CN113066260A - 一种基于日常行为分析的帕金森症预警系统 - Google Patents

Abstract

本发明公开了一种基于日常行为分析的帕金森症预警系统；涉及计算机视觉与深度学习技术领域；包括视频采集模块、视频分析模块、控制器、数据库、处理终端、行为分析模块、报警模块以及特定行为任务模块；本发明采用多方位高空间分辨率摄像头，利用计算机视觉与深度学习技术，无需借助其他硬件设备，通过对人的躯干19个关节点进行识别追踪与骨骼分析，准确捕获TIA相关症状的行为特征，如：睡眠障碍、失去平衡、认知功能障碍、运动功能障碍，实现了日常活动行为捕捉与特定行为任务模块评分分析，与正常的日常行为和行为评分值进行比较，客观判断测试者是否患有帕金森症风险；进而达到帕金森患者早期预警作用。

Description

一种基于日常行为分析的帕金森症预警系统

技术领域

本发明涉及计算机视觉与深度学习技术领域，应用于测试者日常生活；具体涉及一种基于日常行为分析的帕金森症预警系统。

背景技术

帕金森病(PD)是一种常见的中老年神经系统退行性疾病，主要以黑质多巴胺能神经元进行性退变和路易小体形成的病理变化，纹状体区多巴胺递质降低、多巴胺与乙酰胆碱递质失平衡的生化改变，震颤、肌强直、动作迟缓、姿势平衡障碍的运动症状和睡眠障碍、嗅觉障碍、自主神经功能障碍、认知和精神障碍等非运动症状的临床表现为显著特征。同时，帕金森病是仅次于阿尔茨海默氏病的第二大最常见的神经退行性疾病。我国65岁以上人群患病率为1.7％，未来我国帕金森病患病人数将从2005年的199万人上升到2030年的500万人，几乎占到全球帕金森病患病人数的一半。随着疾病的进展，帕金森病的运动和非运动症状会逐渐加重，一方面会损害患者本身的日常活动，另一方面，也会带来巨大的社会和医疗负担。因此，早发现、早治疗对于帕金森症患者生活质量、生存与社会发展而言具备重大意义；

帕金森病发展过程中可以分为三个阶段：临床前、前驱期与运动受损期。当帕金森病被患者发现并被临床医生诊断时，黑质(SN)中约50％甚至超过50％的多巴胺能细胞发生变性。从神经退行性变开始到典型运动症状出现之间的时间间隔称为帕金森病的前驱期。在初步诊断为帕金森病之前，这一阶段的持续时间仍然是一个有争议的问题，据估计将持续几年甚至数十年。帕金森病病程发展不可逆，而目前所有药物和手术治疗均只能改善患者的临床症状，无法治愈疾病。已开展的针对发病患者的神经保护药物临床试验尚未获得确切的阳性结果，可能原因之一是干预治疗的时间太晚，已错过疾病的代偿期。因此，实现帕金森病患者前驱期精确诊断对于早期帕金森病预警具有重要作用；

帕金森前驱期患者在临床上存在运动功能障碍、睡眠异常、失去平衡等一系列症状，在日常活动中会表现出异常行为。在临床上，通常通过行为评分量表、影像检测手段进行疾病诊断与评估。此外，与依据运动症状作为帕金森病临床诊断的核心症状不同，帕金森病前驱期依赖的核心证据为非运动症状，包括快动眼睡眠期行为障碍(RBD)、嗅觉障碍、视觉障碍、便秘、抑郁或焦虑、白日嗜睡、体位性低血压、排尿障碍及性功能障碍等。同时，帕金森病前驱期可以存在独立且轻微的运动症状，甚至有证据表明部分患者在帕金森病诊断前10年即出现震颤。然而，以上症状在人们日常生活中，不易被发觉或容易被人们忽略，耽误及时的医院就诊时间，最终导致晚期帕金森病危及生命。因此，在日常生活中精确智能自动检测前驱期帕金森病患者异常行为，实现疾病检测，对于早期帕金森病预警起着重要作用。

发明内容

针对现有技术存在的不足，本发明目的是提供一种基于日常行为分析的帕金森症预警系统。本发明利用计算机视觉与深度学习技术；在居家、养老院环境下布置多个高空间分辨率摄像头，实现全自动化对人的躯干多个身体关节点识别与追踪，应用于测试者日常生活中，实现了日常活动行为捕捉与特定行为任务模块评分分析，与正常的日常行为和行为评分值进行比较，客观判断测试者是否患有帕金森症风险，进而达到帕金森患者早期预警作用。

本发明的目的可以通过以下技术方案实现：一种基于日常行为分析的帕金森症预警系统，包括视频采集模块、视频分析模块、控制器、数据库、处理终端、行为分析模块、报警模块以及特定行为任务模块；

所述视频分析模块用于接收高空间分辨率摄像头拍摄的视频并进行分析，具体分析步骤为：

步骤一：获取高空间分辨率摄像头拍摄的视频，所述视频分析模块根据视频自动对人的躯干19个关节骨骼点进行识别追踪；

步骤二：对拍摄的视频进行每帧实时分析，每帧照片大小由相机分辨率(1920×1080)决定，分析时以1920数值为Y轴，1080数值为X轴建立二维坐标系；

步骤三：利用多个高空间分辨率摄像头，对使用人员的躯干进行三维分析；得到视频分析结果；所述视频分析模块用于将视频分析结果经控制器传输至处理终端进行存储；

所述行为分析模块用于对处理终端存储的视频分析结果进行行为分析，具体分析步骤为：

S1：获取处理终端存储的视频分析结果，通过各个躯干关节点坐标及其各骨骼长度与方向的变化规律，自动识别目标行为指标的次数、频率、时长与速度；得到目标行为指标参数；

S2：将得到的目标行为指标参数与数据库中存储的目标行为指标参数的正常范围与帕金森病前驱期预兆范围相匹配，若目标行为指标参数处于帕金森病前驱期预兆范围内，则生成预警信号；所述行为分析模块用于将预警信号传输至控制器，所述控制器用于接收预警信号后驱动控制报警模块发出警报。

进一步地，所述视频采集模块为若干个分布在客厅、卧室、楼梯间的多角度高空间分辨率摄像头，用于在居家和养老院环境下进行视频拍摄，所述处理终端用于接收高空间分辨率摄像头拍摄的视频并进行存储；所述视频采集模块与特定行为任务模块通信连接，当特定行为任务模块运行时，使用人员联动打开高空间分辨率摄像头进行视频拍摄。

进一步地，所述特定行为任务包括平衡测试、步态测试、定时端坐起立测试(TUG)、后拉测试、穿衣能力测试、睡眠障碍测试；所述行为评分量表包括平衡测试评分量表、步态和摔倒评分量表、后拉试验评分量表、上半身穿衣评分量表；所述视频分析结果为追踪视频、运动轨迹图、运动热点图、身体关节点像素值、骨架长度、骨架方向角及其各个数据的可能性。

进一步地，所述特定行为任务模块用于使用人员进行特定行为任务，通过各类行为指标识别，基于行为评分量表，进行行为评分；具体步骤为：

V1：使用人员通过特定行为任务模块进行特定行为任务，通过高空间分辨率摄像头进行录像并上传至处理终端；

V2：通过各类行为指标识别，基于行为评分量表，得到行为评分值；

V3：将得到的行为评分值与数据库中存储的正常得分范围和帕金森病前驱期预兆范围相匹配；若行为评分值处于帕金森病前驱期预兆范围，则生成预警信号；所述特定行为任务模块用于将预警信号传输至控制器。

本发明的有益效果是：本发明采用多方位高空间分辨率摄像头，利用计算机视觉与深度学习技术，无需借助其他硬件设备，通过对人的躯干19个关节点进行识别追踪与骨骼分析，准确捕获TIA相关症状的行为特征，如：睡眠障碍、失去平衡(如跌倒)、认知功能障碍、运动功能障碍(如：步态异常、上肢运动障碍)，实现了日常活动行为捕捉与特定行为任务模块评分分析，与正常的日常行为和行为评分值进行比较，客观判断测试者是否患有帕金森症风险；进而达到帕金森患者早期预警作用。

附图说明

为了便于本领域技术人员理解，下面结合附图对本发明作进一步的说明。

图1为本发明的系统框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

如图1所示，一种基于日常行为分析的帕金森症预警系统，包括视频采集模块、视频分析模块、控制器、数据库、处理终端、行为分析模块、报警模块以及特定行为任务模块；

所述视频采集模块为若干个分布在客厅、卧室、楼梯间的多角度高空间分辨率摄像头，用于在居家和养老院环境下进行视频拍摄，采集视频数据，并将视频数据传输至视频分析模块；

所述视频采集模块与特定行为任务模块通信连接，当特定行为任务模块运行时，使用人员联动打开高空间分辨率摄像头进行视频拍摄；

所述处理终端用于接收高空间分辨率摄像头录制的视频并进行处理；

所述视频分析模块用于接收高空间分辨率摄像头拍摄的视频并进行分析，具体分析步骤为：

步骤一：获取高空间分辨率摄像头拍摄的视频，所述视频分析模块根据视频自动对人的躯干19个关节骨骼点进行识别追踪；所述19个关节骨骼点为：头、双眼、脖子、双肩、双肘、双手、脊椎、双臀、双膝、双脚尖和双脚跟；同时对人的躯干骨架方向与长度进行分析，包括头-脖子、脖子-肩、肩-肘；

步骤二：对拍摄的视频进行每帧实时分析，每帧照片大小由相机分辨率(1920×1080)决定，分析时以1920数值为Y轴，1080数值为X轴建立二维坐标系；

步骤三：利用多个高空间分辨率摄像头，对使用人员的活动进行三维检测；在不同的场景中，放置3个或3个以上的高空间分辨率摄像头，计算出高空间分辨率摄像头原点、视点方向和方向向量，定义出每个高空间分辨率摄像头视点的三维空间，对使用人员的躯干进行三维分析；得到视频分析结果；

所述视频分析结果为追踪视频、运动轨迹图、运动热点图、身体关节点像素值、骨架长度、骨架方向角及其各个数据的可能性；所述躯干关节点像素值表示为：所识别与追踪的啮齿动物各个身体关节点所对应的X、Y轴的坐标值；所述骨架长度表示为：所连接骨架之间的长度，以像素点为单位；所述骨架方向角(0°-360°)表示为：以头-脖子骨架为例；以鼻尖为原点建立二维坐标系，鼻尖-尾根向量与X轴正方向所成的夹角；若鼻尖-尾根向量与X正方向重合则为0°；顺时针旋转角度不断增加，逆时针旋转角度不断减小；所述可能性表示为：由于人在运动过程中会出现遮挡现象，系统会自动进行预测并且给出给定的可能性值；所述视频分析模块用于将视频分析结果经控制器传输至处理终端进行存储；

所述行为分析模块用于对处理终端存储的视频分析结果进行行为分析，具体分析步骤为：

S1：获取处理终端存储的视频分析结果，通过各个躯干关节点坐标及其各骨骼长度与方向的变化规律，自动识别目标行为指标的次数、频率、时长与速度；得到目标行为指标参数；所述目标行为指标包括行走活动、站立、坐、躺、腿部摆动、手臂摆动、转身、步态、爬楼梯、穿衣、四肢或头部、睡觉、手臂伸直/弯曲、抬腿、跌倒以及徘徊；所述步态包括步态速度、步长以及双支撑、单支撑时长和步幅；其中，行为指标识别均基于躯干多骨骼关节点识别，通过分析躯干骨骼关节点空间坐标其骨架长度与方向变化规律进行行为指标识别；

S2：所述数据库存储有目标行为指标参数的正常范围与帕金森病前驱期预兆范围；将步骤S1中得到的目标行为指标参数与目标行为指标参数的正常范围与帕金森病前驱期预兆范围相匹配，若目标行为指标参数处于帕金森病前驱期预兆范围内，则生成预警信号；其中帕金森前驱期与正常情况下对比，行为指标参数变化情况，例如：失去平衡(跌倒风险增加)、步态异常(步幅和摆动时间增加)、睡眠异常(包括：白天瞌睡、挥拳与床上掉下来)、穿衣能力减低等；

所述行为分析模块用于将预警信号传输至控制器，所述控制器用于接收预警信号后驱动控制报警模块发出警报；

所述特定行为任务模块用于使用人员进行特定行为任务，通过各类行为指标识别，基于行为评分量表，进行行为评分；具体步骤为：

V1：使用人员通过特定行为任务模块进行特定行为任务，通过高空间分辨率摄像头进行录像并上传至处理终端；

V2：通过各类行为指标识别，基于行为评分量表，进行行为评分，得到行为评分值；

V3：所述数据库存储有各类行为指标的正常得分范围值与帕金森病前驱期预兆范围值，将得到的行为评分值与对应的正常得分范围和帕金森病前驱期预兆范围相匹配；若行为评分值处于帕金森病前驱期预兆范围，则生成预警信号；

所述特定行为任务模块用于将预警信号传输至控制器；

所述特定行为任务包括平衡测试、步态测试、定时端坐起立测试(TUG)、后拉测试、穿衣能力测试、睡眠障碍测试；所述行为评分量表包括平衡测试评分量表、步态和摔倒评分量表、后拉试验评分量表、上半身穿衣评分量表；

所述睡眠障碍测试表现为：利用视频追踪技术，判断使用人员在家中的位置(如：卧室、客厅、厕所等)，若在卧室时，结合人体躯体的速度判断人是否处于静止和运动状态，同时利用人体姿势各类特征(如：站立、坐、躺等)，可以判断人是否处于睡眠状态；同时，通过捕获挥拳、踢腿等行为，进而判断相关人员是否处于异常睡眠状态；

所述定时端坐起立测试表现为：基于计算机视觉与深度学习技术，识别双脚脚后跟、脚尖，分析脚尖与脚后跟抬起与落地时间、脚尖-脚后跟运动方向，计算TUG时间段，包括：步行时间、转弯时间、返回时间；所述步行时间为TUG测试的第一步和最后一步之间的时间；所述转弯时间为TUG测试的第一步和转弯步骤之间的时间；所述返回时间为TUG测试的转弯步骤和最后一步之间的时间；所述步行时间、转弯时间和返回时间可作为平衡性能评价与预测跌倒风险的强指标；

步态测试中步态指标包括：步幅时间、双支撑占比、单支撑占比、摆动时间、步速、步长、行走时双手摆动情况；其中，步幅时间为一只脚的脚后跟着地与另一只脚的脚后跟着地之间的时间；双支撑占比为双脚与地面接触的每个步态周期的百分比；单支撑占比为单脚与地面接触的每个步态周期的百分比；摆动时间为同一只脚的脚尖离开地面和脚跟落在地面之间的时间；

正确步态周期：(如果从右脚后跟着地开始)将遵循序列1、2、3、4；1：右脚后跟着地、2：左脚尖着地、3：左脚后跟着地、4：右脚尖着地；

步数、步频、双支撑百分比和步长均可作为平衡性能评价与跌倒风险的强相关性指标；

穿衣能力测试分10个阶段进行评分(共10分)：1.将瘫痪的上肢插入袖子，2.袖子向上拉过肘关节，3.袖子向上拉过肩关节，4.将衬衫穿过背部拉到对侧肩关节，5.将完整的上肢插入另一个袖子中，6.排列衣领，7.扣紧第一个钮扣，8.扣紧第二个钮扣，9.扣紧第三个钮扣，10.扣紧第四个钮扣；

本发明采用多方位高空间分辨率摄像头，利用计算机视觉与深度学习技术，无需借助其他硬件设备，通过对人的躯干19个关节点进行识别追踪与骨骼分析，准确捕获TIA相关症状的行为特征，如：睡眠障碍、失去平衡(如跌倒)、认知功能障碍、运动功能障碍(如：步态异常、上肢运动障碍)，进而达到早期帕金森预警作用；当以上相关症状评分超过给定阈值后，就算为帕金森风险患者。

本发明的工作原理是：

一种基于日常行为分析的帕金森症预警系统，在工作时，在居家和养老院环境下，利用多角度高空间分辨率摄像头在客厅、卧室、楼梯间等多场景下进行视频拍摄，或者在特定行为任务模块下使用人员可以自愿打开高空间分辨率摄像头进行视频拍摄；所述视频分析模块用于接收高空间分辨率摄像头拍摄的视频并进行分析；根据视频自动对人的躯干19个关节骨骼点进行识别追踪；对拍摄的视频进行每帧实时分析，对使用人员的活动进行三维检测；得到视频分析结果；所述行为分析模块用于视频分析结果进行行为分析，通过各个躯干关节点坐标及其各骨骼长度与方向的变化规律，自动识别目标行为指标的次数、频率、时长与速度；得到目标行为指标参数；将目标行为指标参数与目标行为指标参数的正常范围与帕金森病前驱期预兆范围相匹配，若目标行为指标参数处于帕金森病前驱期预兆范围内，则生成预警信号；所述控制器用于接收预警信号后驱动控制报警模块发出警报；

所述特定行为任务模块用于使用人员进行特定行为任务，通过各类行为指标识别，基于行为评分量表，进行行为评分；使用人员通过特定行为任务模块进行特定行为任务，通过高空间分辨率摄像头进行录像并上传至处理终端；通过各类行为指标识别，基于行为评分量表，进行行为评分，得到行为评分值；将得到的行为评分值与对应的正常得分范围和帕金森病前驱期预兆范围相匹配；若行为评分值处于帕金森病前驱期预兆范围，则生成预警信号；

本发明采用多方位高空间分辨率摄像头，利用计算机视觉与深度学习技术，无需借助其他硬件设备，通过对人的躯干19个关节点进行识别追踪与骨骼分析，准确捕获TIA相关症状的行为特征，如：睡眠障碍、失去平衡(如跌倒)、认知功能障碍、运动功能障碍(如：步态异常、上肢运动障碍)，实现了日常活动行为捕捉与特定行为任务模块评分分析，与正常的日常行为和行为评分值进行比较，客观判断测试者是否患有帕金森症风险；当以上相关症状评分超过给定阈值后，就算为帕金森风险患者，进而达到帕金森患者早期预警作用。

以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (4)

1.一种基于日常行为分析的帕金森症预警系统，其特征在于，包括视频采集模块、视频分析模块、控制器、数据库、处理终端、行为分析模块、报警模块以及特定行为任务模块；

所述视频分析模块用于接收高空间分辨率摄像头拍摄的视频并进行分析，具体分析步骤为：

步骤一：获取高空间分辨率摄像头拍摄的视频，所述视频分析模块根据视频自动对人的躯干19个关节骨骼点进行识别追踪；

步骤二：对拍摄的视频进行每帧实时分析，每帧照片大小由相机分辨率决定，分析时以1920数值为Y轴，1080数值为X轴建立二维坐标系；

步骤三：利用多个高空间分辨率摄像头，对使用人员的躯干进行三维分析；得到视频分析结果；所述视频分析模块用于将视频分析结果经控制器传输至处理终端进行存储；

所述行为分析模块用于对处理终端存储的视频分析结果进行行为分析，具体分析步骤为：

S1：获取处理终端存储的视频分析结果，通过各个躯干关节点坐标及其各骨骼长度与方向的变化规律，自动识别目标行为指标的次数、频率、时长与速度；得到目标行为指标参数；

S2：将得到的目标行为指标参数与数据库中存储的目标行为指标参数的正常范围与帕金森病前驱期预兆范围相匹配，若目标行为指标参数处于帕金森病前驱期预兆范围内，则生成预警信号；所述行为分析模块用于将预警信号传输至控制器，所述控制器用于接收预警信号后驱动控制报警模块发出警报。

2.根据权利要求1所述的一种基于日常行为分析的帕金森症预警系统，其特征在于，所述视频采集模块为若干个分布在客厅、卧室、楼梯间的多角度高空间分辨率摄像头，用于在居家和养老院环境下进行视频拍摄，所述处理终端用于接收高空间分辨率摄像头拍摄的视频并进行存储；所述视频采集模块与特定行为任务模块通信连接，当特定行为任务模块运行时，使用人员联动打开高空间分辨率摄像头进行视频拍摄。

3.根据权利要求1所述的一种基于日常行为分析的帕金森症预警系统，其特征在于，所述特定行为任务包括平衡测试、步态测试、定时端坐起立测试、后拉测试、穿衣能力测试、睡眠障碍测试；所述行为评分量表包括平衡测试评分量表、步态和摔倒评分量表、后拉试验评分量表、上半身穿衣评分量表；所述视频分析结果为追踪视频、运动轨迹图、运动热点图、身体关节点像素值、骨架长度、骨架方向角及其各个数据的可能性。

4.根据权利要求1所述的一种基于日常行为分析的帕金森症预警系统，其特征在于，所述特定行为任务模块用于使用人员进行特定行为任务，通过各类行为指标识别，基于行为评分量表，进行行为评分；具体步骤为：

V1：使用人员通过特定行为任务模块进行特定行为任务，通过高空间分辨率摄像头进行录像并上传至处理终端；

V2：通过各类行为指标识别，基于行为评分量表，得到行为评分值；

V3：将得到的行为评分值与数据库中存储的正常得分范围和帕金森病前驱期预兆范围相匹配；若行为评分值处于帕金森病前驱期预兆范围，则生成预警信号；所述特定行为任务模块用于将预警信号传输至控制器。

Images