CN109815858B - 一种日常环境中的目标用户步态识别系统及方法 - Google Patents

Abstract

本发明公开了一种日常环境中的目标用户步态识别系统及方法。本系统包括若干视频采集单元，用于实时地收集和监测摄像机视野内所有人物的深度步态数据和彩色数据流，并将其发送给数据处理单元；所述数据处理单元，用于从彩色数据流中识别出目标用户；对于包含目标用户的每个视频帧，将该视频帧中每一目标用户的面部位置坐标变换为相机空间点的坐标；计算该视频帧中每一面部位置，在该面部位置最近的骨骼上标注该面部位置对应的面部ID；将视频切割为多个步态分段，提取每个步态分段中目标用户的步态特征，利用分类器来判断对应目标用户是否在进行行走动作，如果为行走，则提取对应目标用户的步态特征。本发明为步态数据处理与应用提供了帮助。

Description

一种日常环境中的目标用户步态识别系统及方法

技术领域

本发明属于智能医疗领域，具体涉及一种日常环境中的目标用户步态识别系统及方法。

背景技术

帕金森病(PD)和脑血管病(CVD)等中枢神经系统疾病严重影响患者的生活质量，包括步态，震颤，僵硬和吞咽困难。作为典型的衰老慢性疾病，PD近年来老年人口的增长率越来越高。2015年，PD影响了620万人，导致全球约117,400人死亡(参考文献：GBD 2015Disease and Injury Incidence and Prevalence,Collaborators.(8 October 2016)."Global,regional,and national incidence,prevalence,and years lived withdisability for 310 diseases and injuries,1990–2015:a systematic analysis forthe Global Burden of Disease Study 2015".Lancet.388(10053):1545–1602.doi:10.1016/S0140-6736(16)31678-6.PMC 5055577)。传统上，PD和其他CNS疾病必须通过医院医生的复杂认知和运动功能测试以及神经学评估工具来诊断。这种诊断程序对于医生和患者来说都是乏味的。然而，中枢神经系统疾病很可能受到虐待，因为它们难以发现且成本高，特别是在早期阶段。日常监测和评估成为协助CNS疾病诊断和治疗的必要方法。以前的研究表明，中枢神经系统疾病可能会导致运动功能障碍，这些损伤往往会导致步态异常的症状。因此，研究人员发现人类步态与中枢神经系统疾病有很强的关系(参考文献：N.L.W.Keijsers,M.W.I.M.Horstink,and C.C.A.M.Gielen.Ambulatory motorassessment in Parkinson’s disease.Movement Disorders,21(1):34–44,2006)，并且开发了通过步态运动监测中枢神经系统疾病的有效工具(参考文献：Yiqiang Chen,MeiyuHuang,Chunyu Hu,Yicheng Zhu,Fei Han,Chunyan Miao:A coarse-to-fine featureselection method for accurate detection of cerebral small vesseldisease.IJCNN 2016:2609-2616.)。除了高度监测灵敏度外，步行活动无处不在的性质使得人们日常生活中的步态异常成为可能，并在早期发现中枢神经系统疾病的症状。

中枢神经系统疾病在临床上可诊断为神经系统的评估工具，包括考试，测验和特别程序等行动研究臂试验(ARAT)，Wolf运动功能测试(WMFT)(参考文献：Steven L Wolf,Pamela A Catlin,Michael G Ellis,Audrey Link Archer,Bryn Morgan,A GPiacentino.2001.Assessing Wolf Motor Function Test as Outcome Measure forResearch in Patients After Stroke.Stroke 32,7,1635-1639.DOI:http://dx.doi.org/10.1161/01.STR.32.7.1635.)和临床痴呆评级(CDR)(参考文献：Morris,JohnC.1993.The Clinical Dementia Rating(CDR)Current version and scoringrules.Neurology 43,2412-2414.DOI:http://dx.doi.org/10.1212/WNL.43.11.2412-a.)。Wisconison步态量表(WGS)(参考文献：Rodriquez AA,Black PO,Kile KA,et al.Gaittraining efficacy using a home-based practice model in chronic hemiplegia[J].Arch Phys Med Rehabil,1996,77(8):801-805.)和步态异常量表(GARS)(参考文献：Wolfson L,Whipple R,Amerman P,et al.Gait assessment in the elderly:a gaitabnormality rating scale and its relation to falls[J].J Gerontol,1990,45(1):M12-M19.)是两种广泛用于临床步态检查的运动功能评定量表。WGS主观评分考生的同侧站立阶段，同侧行走阶段和同侧足跟罢工。它的许多应用(参考文献：Turani N,KemiksizogluA,Karatas M,et al.Assessment of hemiplegic gait using the Wisconsin GaitScale[J].Scand J Caring Sci,2004,18(1):103-108.)已被证明在临床诊断中是可信的。GARS及其改进版本称为GARS-M也被广泛用于预测老年人跌倒(参考文献：VanswearingenJM,Paschal KA,Bonino P,et al.The modified Gait Abnormality Rating Scale forrecognizing the risk of recurrent falls in community-dwelling elderly adults[J].Phys Ther,1996,76(9):994-1002.)。Tinetti面向绩效的流动性评估(Tinetti POMA)(参考文献：Tinetti ME.Performance-oriented assessment of mobility problems inelderly patients[J].Am Geriatr Soc,1986,34:119-126.)提供主观评估，包括犹豫起始，步高，步长，步态对称和阶梯连续性等方面，以及评估和评估共济失调(SARA)的比例(参考文献：Schmitz-Hubsch T,du Montcel ST,Baliko L,et al.Scale for the assessmentand rating of ataxia:development of a new clinical scales[j].Neurology,2006,66:1717-1720.)包括步态评估，姿势评估，语言评估，手指跟踪测试等，给出了患者运动功能的总体评分，以识别中枢神经系统疾病。然而，这些程序对于医生和患者来说都是耗时的，并且只能提供通常因不同专家而异的主观评估。随着信息技术的发展，可以定量评估中枢神经系统疾病的症状。研究人员使用基于图像的算法处理MRI图像，用于脑部病变检测(参考文献：Lihong Juang,Mingni Wu.2010.MRI brain lesion image detection basedon color-converted K-means clustering segmentation.Measurement.43,7,941-949.DOI:http://dx.doi.org/10.1016/j.measurement.2010.03.013.)和肿瘤检测。多相机动作捕捉系统用于记录脑瘫患儿上肢运动的异常模式(参考文献：Erin E.Butler,Jessica Rose.2012.The Pediatric Upper Limb Motion Index and a temporal-spatial logistic regression:Quantitative analysis of upper limb movementdisorders during the Reach&Grasp Cycle.Journal of Biomechanics,45,6,945-951.DOI:http://dx.doi.org/10.1016/j.jbiomech.2012.01.018.)。在跑步机周围设置超声发射器，以记录早期PD诊断的步态相关手臂摆动测量值(参考文献：Andreas Plate,D.Sedunko,O.Pelykh,Cornelia Schlick,J.Ilmberger,Kai Botzel.2015.Normativedata for arm swing asymmetry:How(a)symmetrical are we？Gait&Posture.41,1,13-18.DOI:http://dx.doi.org/10.1016/j.gaitpost.2014.07.011R)。加速度计数据用于评估帕金森病患者临床症状和运动并发症的严重程度(参考文献：Patel,S.,Lorincz,K.,Hughes,R.,Huggins,N.,Growdon,J.,Standaert,D.,...&Bonato,P.(2009).Monitoringmotor fluctuations in patients with Parkinson's disease using wearablesensors.IEEE transactions on information technology in biomedicine,13(6),864873)。尽管这些方法产生了一致且准确的客观诊断措施，但其中许多方法必须由具有专业医疗设施的医学专家进行，每日监测中枢神经系统疾病的挑战仍然存在。

普适计算和人机交互(HCI)社区的研究表明，人类活动受其运动和认知功能的影响，这表明通过这种运动模式评估人体功能的可行性(参考文献：James E Birren,LaurelM Fisher.1995.Aging and Speed of Behavior:Possible Consequences forPsychological Functioning.Annual Review of Psychology.46,1,329–353.DOI:http://dx.doi.org/10.1146/annurev.ps.46.020195.001553)。越来越多的这些领域的研究已经开发出辅助CNS疾病监测和诊断的技术。例如，研究表明眼镜技术是可以接受的并且可以为家庭PD患者提供帮助(参考文献：McNaney,R.,Poliakov,I.,Vines,J.,Balaam,M.,Zhang,P.,&Olivier,P.LApp:a speech loudness application for people withParkinson's on Google glass.In Proceedings of CHI2015.)，他们提供了有关此类技术的未来自我监测和管理应用设计的见解。智能手机是最受欢迎的日常使用的可穿戴设备之一，并且通过隐式感知和分析用户与智能手机的日常交互来进行研究以测试在PD中检测运动损伤的可行性(参考文献：Jing Gao,Feng Tian,Junjun Fan,Dakuo Wang,XiangminFan,Yicheng Zhu,Shuai Ma,Jin Huang,Hongan Wang.Implicit Detection of MotorImpairment in Parkinson's Disease from Everyday Smartphone Interactions.CHIExtended Abstracts 2018.)。正如本发明所提到的，步态异常是与中枢神经系统疾病相关的主要症状之一，因此全身步态分析也引起了研究人员对普适计算和人机交互界的关注。运动传感器还用于分析步态活动中的步态功能和CNS障碍之间的关系(参考文献：Macko,RF,Haeuber,E,Shaughnessy,M,Coleman,K L,Boone,D A,Smith,G V,&Silver,K.H.(2002).Microprocessor-based ambulatory activity monitoring in stroke patients[J].Medicine and science in sports and exercise,34(3),394-399.)，减少步行和不稳定(参考文献：Herman,T,Giladi,N,Gurevich,T,&Hausdorff,J M(2005).Gait instabilityand fractal dynamics of older adults with a“cautious”gait:why do certainolder adults walk fearfully[J].Gait&posture,21(2),178-185.)。最近，通过Microsoft Kinect设备，研究人员开发了一种经济且非侵入性的精确步态分析系统(参考文献：Yiqiang Chen,Meiyu Huang,Chunyu Hu,Yicheng Zhu,Fei Han,Chunyan Miao:Acoarse-to-fine feature selection method for accurate detection of cerebralsmall vessel disease.IJCNN 2016:2609-2616.)，并且证明该系统可以从身体的各个部位提取全面的步态信息。这种方法仍然依赖于专门的步行任务，需要通过执行临床访问期间的医生。由于患者在早期阶段可能不知道中枢神经系统疾病时的症状，因此大多数患者可能无法及时进行临床随访。

发明内容

本发明的目的是提供一种日常环境中的目标用户步态识别系统及方法，针对日常场景下的行走活动，隐式地无任务地收集用户步态数据，精准地识别场景中的目标用户，进而从全天候的用户复杂的行为动作中有效地提取出与步行相关的分段(即本发明只利用与走路相关的数据)，从而为进一步地使用和分析步态数据构建基础。

为达到上述目的，本发明采用如下技术方案：

一种日常环境中的目标用户步态识别系统，其特征在于，包括若干视频采集单元，每一所述视频采集单元分别设置于一设定位置，各所述视频采集单元与数据处理单元连接；其中

所述视频采集单元，用于实时地收集和监测摄像机视野内所有人物的深度步态数据和彩色数据流，并将其发送给数据处理单元；

所述数据处理单元，用于通过人脸识别算法从彩色数据流中识别出设定的目标用户，并获取每一目标用户面部位置坐标、所在视频帧编号以及目标用户的面部ID；对于包含目标用户的每个视频帧，将该视频帧中每一目标用户的2D面部位置坐标变换为3D相机空间点的坐标；然后计算该视频帧中每一面部位置和该视频帧中各骨骼头部关节之间的欧几里德距离，在该面部位置最近的一个骨骼上标注该面部位置对应的面部ID，从而得到每一目标用户的骨骼数据；然后通过划窗算法将收到的视频切割为一系列设定时间间隔的步态分段，针对每个步态分段根据目标用户的骨骼数据提取该目标用户的步态特征，根据目标用户的步态特征构建分类器来判断对应目标用户是否在进行行走动作，如果为行走，则提取对应目标用户的步态特征。

进一步的，按照视频帧的时间顺序，将各步态分段里每一帧中出现的面部ID组合在一起，并在其上实现多数投票算法，根据投票结果在骨骼上标注对应的面部ID。

进一步的，所述数据处理单元计算目标用户的骨架中右脚趾和左脚趾之间的足矢量，然后根据足矢量的分量最大值和最小值之间的时间段设置该目标用户的步态周期；然后该目标用户的分类器根据该目标用户的步态周期和监控视频来判断该目标用户是否在进行行走动作。

进一步的，使用2倍于步态周期时间的滑窗算法，将监控视频切分为若干个连续的视频分段，然后利用所述分类器识别出目标用户行走的视频分段。

进一步的，所述步态特征包括步速、右步速均值、右步速方差、左步速均值、左步速方差、周期歩速均值、周期歩速方差、右步长均值、右步长方差、左步长均值、左步长方差、左右步长协调性、右步高均值、右步高方差、左步高均值、左步高方差、左右步高协调性、步宽均值、步宽方差、步距均值、步距方差、身体上部份前倾角度的均值、身体上部分前倾角度的方差、足部骨骼节点相对脊柱垂线的距离均值、足部骨骼节点相对脊柱垂线的距离方差、膝部骨骼节点相对脊柱垂线的距离均值和膝部骨骼节点相对脊柱垂线的距离方差。

一种日常环境中的目标用户步态识别方法，其步骤包括：

1)在各设定位置分别设置一视频采集单元；

2)各所述视频采集单元实时地收集和监测摄像机视野内所有人物的深度步态数据和彩色数据流，并将其发送给数据处理单元；

3)所述数据处理单元通过人脸识别算法从彩色数据流中识别出设定的目标用户，并获取每一目标用户面部位置坐标、所在视频帧编号以及目标用户的面部ID；其中，对于包含目标用户的每个视频帧，将该视频帧中每一目标用户的2D面部位置坐标变换为3D相机空间点的坐标；然后计算该视频帧中每一面部位置和该视频帧中各骨骼头部关节之间的欧几里德距离，在该面部位置最近的一个骨骼上标注该面部位置对应的面部ID，从而得到每一目标用户的骨骼数据；然后通过划窗算法将收到的视频切割为一系列设定时间间隔的步态分段，针对每个步态分段根据目标用户的骨骼数据提取该目标用户的步态特征，根据目标用户的步态特征构建分类器来判断对应目标用户是否在进行行走动作，如果为行走，则提取对应目标用户的步态特征。

在日常场景中布置Microsoft Kinect摄像机，并保持开机录像状态；

获取镜头视野范围内目标用户的骨骼数据(包括人体主要骨骼在三维空间中的位置、长度、方向朝向等)和深度数据(深度数据在此研究中指的是镜头中的目标人物与Kinect摄像机镜头之间的距离)，根据该目标用户的骨骼数据和深度数据提取相关的特征，利用提取到的特征分析用户是否在走路，得到用户是否在走路之后就可以针对性地提取用户走路相关的医学特征，精确地应用在医疗领域；

所述镜头视野范围为Kinect运行期间，所有镜头内出现的人群都能被监测到。

所述目标用户为本系统所要监测的人群，既可以是特定某个人，也可以是多个人。

所述骨骼数据由Kinect SDK提供，通过此SDK提供的接口，编写简单的程序即可获得镜头中出现的人的骨骼节点。

所述行走动作为用户步行或跑步时的动作，区别于人在镜头中所进行的其他动作。

利用人脸识别技术，将镜头中出现的人脸与目标用户的脸部进行匹配，满足一定置信度的人脸被确认为目标用户。

得到目标用户的脸部之后，将识别到的面部ID与骨骼ID进行匹配，从而得到目标用户的骨骼数据。

为解决镜头视野范围内多目标共存所造成的误识别问题，使用Majority Vote算法快速对其进行区分。

为提取目标用户的有效步行视频段，使用2倍于步态周期时间的滑窗算法，将全天无间断的视频切分为若干个连续的易于处理的视频分段。

为判断出用户是否在行走，从上述得到的骨骼数据和深度数据中通过数值计算的方法提取与步态相关的27维特征，用于训练机器学习算法对步行动作与其他动作进行有效的区分。

本发明用人机交互技术和设备24小时全天候地采集深度摄像机镜头前的视频，然后通过人脸识别算法精准地识别出哪些是我们的目标用户，我们通过坐标变换、计算欧式距离和多数投票的算法将存储的面部识别数据映射到骨架框架并解决人脸识别错误或面部和骨架不匹配问题，之后通过划窗算法将原始的长时间视频切割为一系列小时间间隔的步态分段，针对每个步态分段提取有效的步态特征构建分类器来判断当前用户是否在进行行走动作，通过带标签的数据有监督地训练了逻辑回归分类器，交叉验证达到91％的准确率、90.5％的精确度、96％的召回率和88％的F1测度，从而达到日常情境下的目标用户全天候步行监测的目的。

与现有技术相比，本发明具有的优点和积极效果如下：

1)本发明为后续的步态数据的处理与应用提供了基础性的帮助，不局限于应用于根据步态进行疾病诊断，还可以应用于所有与步态相关的场景中，因为本发明提供的是一种步态监测和分割的方法，可以适用于多种与步态相关的应用场景。

2)本发明旨在24小时全天候地监测用户行为动作，不限制用户何时做何动作，用户无需要为本系统做出任何日常行为上的改变，是无任务无监督地隐式的自然交互，可应用于家居、办公室等多种场景。

3)本发明具有良好的适应性和延展性，不仅可以任意调整要监测的人物，还可以适应于各时段和场地，此外，本发明中所体现的步态匹配和识别的思想还可以应用于与Kinect和肢体行为相关的的其他动作识别中去。

附图说明

图1为系统的处理工作流程图；

图2为面部骨骼匹配方法的工作流程图；

图3为步态周期分割和滑动时间窗口示意图；

图4为某场景下24小时监测的部分结果，以确定人们是否进行行走动作。

具体实施方式

本发明采用人机交互技术和Microsoft Kinect来收集人们的日常步态数据——只需在Kinect摄像机前面自然活动而无需执行任何预定任务。我们首先使用Kinect来24小时实时地收集和监测摄像机视野内所有人物的深度步态数据，然后通过人脸识别算法精准地识别出哪些是我们的目标用户，之后通过划窗算法将原始的长时间视频切割为一系列小时间间隔的步态分段，针对每个步态分段提取有效的步态特征构建分类器来判断当前用户是否在进行行走动作，从而达到日常情境下的目标用户全天候步行监测的目的。

本发明具有以下2个关键功能：

一是识别视频流中的目标用户，将视频中骨架的深度信息进行提取并映射到目标用户。该系统可以在任何日常环境(例如工作场所，家庭)中运行，因此摄像机的视野范围内可能出现不止一个人，并且很多人可能与评估无关(例如，我们想监测用户A的日常步态特征，但是A的同事或家庭成员也会出现在摄像头中)。

二是在视频流中识别人们的活动，从视频中提取属于步行活动的视频片段。对于每日监测CNS障碍，摄像机应该在现场不间断地24小时运行，因此目标可以在摄像机前执行各种活动(例如，坐着，站立)而不仅仅是走路。

为了实现该系统，我们在我们的系统中构建了一个处理工作流程，以收集、处理和分析步态数据。首先，人脸识别技术被用于视频中的人们。其次，我们使用划窗算法并且实时地提取了一些特征在视频中识别了步态段。该系统的整体处理工作流程包括视频记录，面部骨架匹配和步态段识别与提取(图1)。

-视频录制：我们把用来记录人们行走的深度摄像机放置在办公室、医院甚至家中。收集色彩数据流和深度数据流数小时。在捕获原始数据之后，使用数据处理技术对它们进行预处理，包括对噪声数据进行过滤和清洗来获得可用的数据等。

-面部识别：为了识别摄像头捕捉到的视频中的不同的人，我们为每个目标人员(我们想监测的用户)拍照，或者上传他们的脸部照片，然后使用深度学习技术来跟踪和识别色彩数据流中的面部，与目标用户的面部进行匹配识别。

-骨架提取：Kinect SDK帮助我们在深度数据流中同时获取最多6个人的骨架数据。

-面部与骨架进行匹配：在人脸识别后，我们可以获得检测到的面部位置及其ID(哪一个用户)。我们将彩色帧的坐标转换到3D相机空间，然后在此帧中找到匹配的骨架。

具体的技术细节在下面阐述。

1.视频录制：

我们使用Kinect 2.0相机，以30fps提供彩色边框(1920*1080)和深度边框(512*424)来录制视频。我们分别保存色彩流和深度流，为以下面部识别和骨架提取步骤做准备。色彩流和深度流分别用x264H.264和Kinect 2.0的默认格式编码，以减少硬盘消耗。

2.人脸识别与骨骼提取

如图2所示，实现了面部和骨骼匹配方法。我们使用Davis King的Dlib模型来识别我们的彩色视频中的脸部。该模型是一个具有29层卷积层的卷积神经网络，能够以99.38％的准确率判断给定的两个人脸图像是否同一个人。为了初始化我们的系统，我们拍摄每个目标任务的面部的照片，并使用上述模型进行面部编码。我们检测分离的彩色视频的每一帧中的面部，然后将这些检测到的面部的编码与初始目标人物的面部编码进行比较。如果匹配到该目标用户，我们存储面部位置坐标，当前帧编号以及目标用户的面部ID，准备下一步的面部骨架匹配。

使用Kinect 2.0内置API提取镜头中全部用户的骨架数据。

3.面部骨架匹配

Kinect可以为我们提供最多属于6个不同人的骨架数据，速率为30fps。该骨架数据是步态特征计算的基础。为了获得特定人的步态特征，我们需要知道深度流中的哪个骨架属于目标人。当逐帧处理骨架数据时，我们将存储的面部识别数据映射到骨架框架。首先，对于包含检测到的面部信息的每个帧(即包含目标用户的每个帧)，从该帧对应的深度步态数据中提取每一用户的骨骼数据，然后我们通过Kinect Coordinate Mapper将2D面部位置坐标变换为3D相机空间点的坐标。其次，我们计算面部位置和每个骨骼头部关节之间的欧几里德距离，在最近的一个骨骼将标上面部ID。最后，为了防止人脸识别错误或面部和骨架不匹配，我们按照视频帧的时间顺序，将某一个时间序列(时间段，即上述划分得到的各步态分段)里每一帧中出现的面部ID组合在一起，并在其上实现多数投票算法。之所以要使用多数投票(Majority Vote)算法，是因为每一帧中都可能含有至多6个骨架，我们通过上面描述的映射匹配算法，为每一帧中每一个骨架匹配了一个面部ID，但是同一个骨架在不同帧里可能匹配到的面容ID是不一致的，比如骨架分为1-6号，骨架1号在第一帧里匹配到A用户，在第二帧里匹配到B用户，在第三帧里匹配到A用户，那么通过在这3帧的时间段里进行多数投票算法，我们就可以得到骨架1号对应的是A用户(因为A用户匹配到该骨架的帧数比B用户的多)。

如算法1所示，我们最终得到一个在时间序列中最常出现的面部ID作为一骨架的匹配ID。该算法的时间复杂度为O(n)，运行速度非常快。也就是说，镜头中会出现多个目标用户和其他非目标用户，每一用户对应一骨架，步骤3的结果是要得到镜头中每一目标用户的面部ID与对应骨架ID的对应关系(即用面部ID去标记对应骨架)。得到该结果之后，我们就可以有针对性的对每一目标用户的骨架进行下一步的处理(非目标用户的骨架我们进行舍弃)。

4.步态分割

我们通过4个步骤实施分类方法，以确定目标在视频中是在步行中还是在执行其他活动。首先，我们计算目标骨架中右脚趾和左脚趾之间的足矢量。其次，我们计算足矢量的正常分量并找出其最大值和最小值；最大和最小之间的时间段定义了步态周期。第三，我们将2个周期的时间定义为滑动时间窗的大小，即2个“步态周期”的时长作为“步态分段的时间间隔”；当时间窗口在包含骨架数据的视频帧上滑动时，我们计算运动学和统计学特征。最后，我们训练步行活动分类器以识别目标人物是否在当前时间窗口中行走。步行活动分类器通过反映目标运动状态的表1中27个特征进行训练，其中第27维特征为腿部和足部骨骼节点相对颈部骨骼节点的相对位置。图3显示了步态周期分割和滑动窗口大小。

下面介绍本发明的应用场景。

1.工作场所的日常监控

Kinect摄像机安置在办公室的通道上，每天有8个人在这里工作，我们选择5个作为监控目标。我们相信在大多数公司和办公室中很容易找到类似的通道。

在录制视频之前，我们会将每个目标人物的脸部照片作为基线。我们将这5张照片放入我们的人脸识别模型中以获得他们的脸部编码。然后我们从晚上10点开始录制视频，到第二天晚上10点共计24小时。无论人们何时出现在视频中，只要检测到他们的脸部，我们都会计算他们的面部编码，并尝试将它们与基线面部编码进行比较，以找到最匹配的面部编码。在找到匹配目标后，我们存储他的面部位置和ID以进一步进行面部骨架匹配。但是，超出我们目标的人也可能出现在视频中，我们的面部检测器也可以检测到他们的脸部。我们计算这些面部编码，它们的不匹配程度将高于默认值(在我们的实验中为0.6)。然后我们将其ID标记为未知，并且还传递这些面部位置以查找其匹配的骨架，以帮助我们排除这些不必要的骨架数据。在ALGORITHM 1的多数表决的帮助下，可以容忍一些匹配错误。

在面骨骼匹配之后，我们计算每个滑动窗口中表1中显示的所有27个特征。本发明使用40个仅行走的视频数据和40个不行走的视频数据(包括站立，坐下和站立或人们在办公室经常出现的人们聊天)和20个混合视频进行训练，训练了一个Logistic Regression分类器。我们将40个仅限行走的视频标记为正数据，将其他40个视频标记为负数据，20个混合视频被随机标记为弱监督数据。分类结果如表2所示。

表1 27维步态相关特征及其计算方法

上述表1同时给出了27维步态相关特征的计算方法，其中以人体为笛卡尔三维坐标系的原点，X为身体正侧方向，Y为竖直方向，Z为身体正前后方向。

由于，机器学习建模中会发生过拟合情况，因此，所述模型利用线性判别式分析对27维特征进行了降维处理，让模型取得拥有更好的泛化能力。

在每个滑动窗口中，我们计算27个特征并将它们放入我们的分类器中以获得行走的可能性和预测标签。如果当前窗口的标签为正，我们会将这些功能存储在缓冲区中，否则，我们会放弃该窗口的数据。最后，我们使用平均值作为目标人物的最终特征。图4显示了我们办公室24小时监控的部分结果。

表1逻辑回归分类器关于是否是步行的分类结果

准确率	精确度	召回率	F1度量
				0.9100	0.9053	0.9600	0.8800

通过上述步骤可以实现从24小时日常环境中隐式地捕捉目标用户的步态行为和数据，基于这些数据，我们可以进一步地提取医学中有效的步态特征，用于进一步的医疗方面的诊断和分析。

以上通过形式表达和实施案例对本发明所述的一种基于步态的神经辅助疾病诊断方法进行了详细的说明，但本发明的具体实现形式并不局限于此。本领域的一般技术人员，可以在不背离本发明所述方法的精神和原则的情况下对其进行各种显而易见的变化与修改。本发明的保护范围应以权利要求书所述为准。

Claims (10)

1.一种日常环境中的目标用户步态识别系统，其特征在于，包括若干视频采集单元，每一所述视频采集单元分别设置于一设定位置，各所述视频采集单元与数据处理单元连接；其中

所述视频采集单元，用于实时地收集和监测摄像机视野内所有人物的深度步态数据和彩色数据流，并将其发送给数据处理单元；

所述数据处理单元，用于通过人脸识别算法从彩色数据流中识别出设定的目标用户，并获取每一目标用户面部位置坐标、所在视频帧编号以及目标用户的面部ID；对于包含目标用户的每个视频帧，将该视频帧中每一目标用户的2D面部位置坐标变换为3D相机空间点的坐标；然后计算该视频帧中每一面部位置和该视频帧中各骨骼头部关节之间的欧几里德距离，在该面部位置最近的一个骨骼上标注该面部位置对应的面部ID，从而得到每一目标用户的骨骼数据；然后通过滑窗算法将收到的视频切割为一系列设定时间间隔的步态分段，针对每个步态分段根据目标用户的骨骼数据提取该目标用户的步态特征，根据目标用户的步态特征构建分类器来判断对应目标用户是否在进行行走动作，如果为行走，则提取对应目标用户的步态特征。

2.如权利要求1所述的系统，其特征在于，按照视频帧的时间顺序，将各步态分段里每一帧中出现的面部ID组合在一起，并在其上实现多数投票算法，根据投票结果在骨骼上标注对应的面部ID。

3.如权利要求1或2所述的系统，其特征在于，所述数据处理单元计算目标用户的骨架中右脚趾和左脚趾之间的足矢量，然后根据足矢量的分量最大值和最小值之间的时间段设置该目标用户的步态周期；然后该目标用户的分类器根据该目标用户的步态周期和监控视频来判断该目标用户是否在进行行走动作。

4.如权利要求3所述的系统，其特征在于，使用2倍于步态周期时间的滑窗算法，将监控视频切分为若干个连续的视频分段，然后利用所述分类器识别出目标用户行走的视频分段。

5.如权利要求1所述的系统，其特征在于，所述步态特征包括步速、右步速均值、右步速方差、左步速均值、左步速方差、周期歩速均值、周期歩速方差、右步长均值、右步长方差、左步长均值、左步长方差、左右步长协调性、右步高均值、右步高方差、左步高均值、左步高方差、左右步高协调性、步宽均值、步宽方差、步距均值、步距方差、身体上部份前倾角度的均值、身体上部分前倾角度的方差、足部骨骼节点相对脊柱垂线的距离均值、足部骨骼节点相对脊柱垂线的距离方差、膝部骨骼节点相对脊柱垂线的距离均值和膝部骨骼节点相对脊柱垂线的距离方差。

6.一种日常环境中的目标用户步态识别方法，其步骤包括：

1)在各设定位置分别设置一视频采集单元；

2)各所述视频采集单元实时地收集和监测摄像机视野内所有人物的深度步态数据和彩色数据流，并将其发送给数据处理单元；

3)所述数据处理单元通过人脸识别算法从彩色数据流中识别出设定的目标用户，并获取每一目标用户面部位置坐标、所在视频帧编号以及目标用户的面部ID；其中，对于包含目标用户的每个视频帧，将该视频帧中每一目标用户的2D面部位置坐标变换为3D相机空间点的坐标；然后计算该视频帧中每一面部位置和该视频帧中各骨骼头部关节之间的欧几里德距离，在该面部位置最近的一个骨骼上标注该面部位置对应的面部ID，从而得到每一目标用户的骨骼数据；然后通过滑窗算法将收到的视频切割为一系列设定时间间隔的步态分段，针对每个步态分段根据目标用户的骨骼数据提取该目标用户的步态特征，根据目标用户的步态特征构建分类器来判断对应目标用户是否在进行行走动作，如果为行走，则提取对应目标用户的步态特征。

7.如权利要求6所述的方法，其特征在于，按照视频帧的时间顺序，将各步态分段里每一帧中出现的面部ID组合在一起，并在其上实现多数投票算法，根据投票结果在骨骼上标注对应的面部ID。

8.如权利要求6或7所述的方法，其特征在于，所述数据处理单元计算目标用户的骨架中右脚趾和左脚趾之间的足矢量，然后根据足矢量的分量最大值和最小值之间的时间段设置该目标用户的步态周期；然后该目标用户的分类器根据该目标用户的步态周期和监控视频来判断该目标用户是否在进行行走动作。

9.如权利要求8所述的方法，其特征在于，使用2倍于步态周期时间的滑窗算法，将监控视频切分为若干个连续的视频分段，然后利用所述分类器识别出目标用户行走的视频分段。

10.如权利要求6所述的方法，其特征在于，所述步态特征包括步速、右步速均值、右步速方差、左步速均值、左步速方差、周期歩速均值、周期歩速方差、右步长均值、右步长方差、左步长均值、左步长方差、左右步长协调性、右步高均值、右步高方差、左步高均值、左步高方差、左右步高协调性、步宽均值、步宽方差、步距均值、步距方差、身体上部份前倾角度的均值、身体上部分前倾角度的方差、足部骨骼节点相对脊柱垂线的距离均值、足部骨骼节点相对脊柱垂线的距离方差、膝部骨骼节点相对脊柱垂线的距离均值和膝部骨骼节点相对脊柱垂线的距离方差。

Images