CN113255462A - 步态评分方法、系统、计算机程序产品及可读存储介质 - Google Patents

Abstract

本发明公开了一种步态评分方法、系统、计算机程序产品及可读存储介质，方法包括：获取目标对象行走时的视频流数据，并通过预设关节点识别算法读取视频流数据，以识别出目标对象在视频流数据中的目标关节点；确定各目标关节点对应的目标点云，并根据目标点云确定目标对象的步态参数；计算步态参数对应的权重系数，并根据步态参数和所述权重系数确定目标对象的步态评分。本发明不仅可以通过步态评分更为直观地判断目标对象在步行时的异常程度，还可以通过权重系数来反映步态参数的重要程度，以此提高步态分析评价的准确性。

Description

步态评分方法、系统、计算机程序产品及可读存储介质

技术领域

本发明涉及机器视觉技术领域，尤其涉及步态评分方法、系统、计算机程序产品及可读存储介质。

背景技术

由于步态可以反映出人体在生理、心理和病理上的一些状况，因此，对步态进行分析可以有效地反映出人体的健康状况，能够为临床诊断与治疗提供更多有效的建议与参考。

传统上对步态进行分析评价时，一般只能通过目标对象自己的双眼来判断步行的异常程度，这种方法缺乏判断依据，难免会出现判断错误的情况；此外，目前普遍是通过单个参数之间的比较来对步态进行分析与评价，缺乏能够反映各个参数信息的综合指标，以至于无法对目标对象的步态进行准确的分析与评价。

发明内容

本发明的主要目的在于提出一种步态评分方法、系统、计算机程序产品及可读存储介质，旨在更加直观地反映目标对象的步行质量，并提高步态分析评价的准确性。

为实现上述目的，本发明提供一种步态评分方法，所述方法包括如下步骤：

获取目标对象行走时的视频流数据，并识别出所述目标对象在所述视频流数据中的目标关节点；

确定各所述目标关节点对应的目标点云，并根据所述目标点云确定所述目标对象的步态参数；

计算所述步态参数对应的权重系数，并根据所述步态参数和所述权重系数输出所述目标对象的步态评分。

优选地，所述视频流数据包括彩色图像，所述识别出所述目标对象在所述视频流数据中的目标关节点的步骤包括：

对所述目标对象的彩色图像进行读取，以识别出所述彩色图像中的人体区域，并从所述人体区域中获取所述目标对象的骨骼信息；

根据所述骨骼信息提取所述彩色图像中的关节点，作为所述目标对象在所述彩色图像中的目标关节点。

优选地，所述视频流数据还包括深度图像，所述确定各所述目标关节点对应的目标点云的步骤包括：

将所述彩色图像和对应的深度图像进行对齐处理，并根据对齐处理后的彩色图像和对应的深度图像生成点云阵；

分别确定各所述目标关节点在对应的彩色图像中的二维坐标信息；

从所述点云阵中确定与各所述二维坐标信息匹配的点云，得到各所述目标关节点对应的目标点云。

优选地，所述根据所述目标点云确定所述目标对象的步态参数的步骤包括：

根据所述视频流数据确定所述目标对象的三维运动轨迹；

对所述三维运动轨迹进行滤波处理，并根据滤波处理后的三维运动轨迹确定所述目标对象的步态周期；

根据所述目标点云和所述滤波处理后的三维运动轨迹，计算所述目标对象在所述步态周期内的步态参数。

优选地，所述根据所述步态参数和所述权重系数输出所述目标对象的步态评分的步骤包括：

将所述步态参数进行标准化处理，得到标准步态参数；

根据所述标准步态参数和所述权重系数确定所述目标对象的步态评分，并输出所述步态评分。

优选地，所述计算所述步态参数对应的权重系数，并根据所述步态参数和所述权重系数输出所述目标对象的步态评分的步骤包括：

对所述步态参数进行分组处理，得到多个参数分组；

分别确定多个所述参数分组中各所述参数分组对应的权重系数，将各所述参数分组和各所述参数分组对应的权重系数进行加权求和，得到所述目标对象的步态评分，并输出所述步态评分。

优选地，所述根据所述步态参数和所述权重系数输出所述目标对象的步态评分的步骤之后，还包括：

根据所述步态评分确定所述目标对象的步态训练计划；

根据所述步态训练计划对所述目标对象进行步态指导。

此外，为实现上述目的，本发明还提供一种步态评分装置，所述步态评分装置包括：

节点识别模块，用于获取目标对象行走时的视频流数据，并识别出所述目标对象在所述视频流数据中的目标关节点；

参数确定模块，用于确定各所述目标关节点对应的目标点云，并根据所述目标点云确定所述目标对象的步态参数；

评分计算模块，用于计算所述步态参数对应的权重系数，并根据所述步态参数和所述权重系数输出所述目标对象的步态评分。

优选地，所述视频流数据包括彩色图像，所述节点识别模块还用于：

对所述目标对象的彩色图像进行读取，以识别出所述彩色图像中的人体区域，并从所述人体区域中获取所述目标对象的骨骼信息；

根据所述骨骼信息提取所述彩色图像中的关节点，作为所述目标对象在所述彩色图像中的目标关节点。

优选地，所述视频流数据还包括深度图像，所述参数确定模块还用于：

将所述彩色图像和对应的深度图像进行对齐处理，并根据对齐处理后的彩色图像和对应的深度图像生成点云阵；

分别确定各所述目标关节点在对应的彩色图像中的二维坐标信息；

从所述点云阵中确定与各所述二维坐标信息匹配的点云，得到各所述目标关节点对应的目标点云。

优选地，所述参数确定模块还用于：

根据所述视频流数据确定所述目标对象的三维运动轨迹；

对所述三维运动轨迹进行滤波处理，并根据滤波处理后的三维运动轨迹确定所述目标对象的步态周期；

根据所述目标点云和所述滤波处理后的三维运动轨迹，计算所述目标对象在所述步态周期内的步态参数。

优选地，所述评分计算模块还用于：

将所述步态参数进行标准化处理，得到标准步态参数；

根据所述标准步态参数和所述权重系数确定所述目标对象的步态评分，并输出所述步态评分。

优选地，所述评分计算模块还用于：

对所述步态参数进行分组处理，得到多个参数分组；

分别确定多个所述参数分组中各所述参数分组对应的权重系数，将各所述参数分组和各所述参数分组对应的权重系数进行加权求和，得到所述目标对象的步态评分，并输出所述步态评分。

优选地，所述步态评分装置还包括步态指导模块，所述步态指导模块用于：

根据所述步态评分确定所述目标对象的步态训练计划；

根据所述步态训练计划对所述目标对象进行步态指导。

此外，为实现上述目的，本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上所述的步态评分方法的步骤。

此外，为实现上述目的，本发明还提供一种步态评分系统，所述步态评分系统包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的步态评分程序，所述步态评分程序被所述处理器执行时实现如上所述的步态评分方法的步骤。

此外，为实现上述目的，本发明还提供一种可读存储介质，所述可读存储介质上存储有步态评分程序，所述步态评分程序被处理器执行时实现如上所述的步态评分方法的步骤。

本发明提出的步态评分方法，通过获取目标对象行走时的视频流数据，并通过预设关节点识别算法读取视频流数据，以识别出目标对象在视频流数据中的目标关节点；确定各目标关节点对应的目标点云，并根据目标点云确定目标对象的步态参数；计算步态参数对应的权重系数，并根据步态参数和所述权重系数确定目标对象的步态评分。本发明不仅可以通过步态评分更为直观地判断目标对象在步行时的异常程度，还可以通过权重系数来反映步态参数的重要程度，以此提高步态分析评价的准确性。

附图说明

图1是本发明实施例方案涉及的硬件运行环境的系统结构示意图；

图2为本发明步态评分方法第一实施例的流程示意图；

图3为本发明步态评分方法较佳实施例的系统结构流程图；

图4为本发明步态评分方法较佳实施例的人体骨骼结构节点图；

图5为本发明步态评分方法较佳实施例的步态参数分类图；

图6为本发明步态评分方法较佳实施例中一个步态周期内的支撑相和摆动相示意图；

图7为本发明步态评分方法较佳实施例右腿经历三个步态周期的示例图；

图8为本发明步态评分方法较佳实施例的步长、步宽示意图；

图9为本发明步态评分方法较佳实施例的层次结构模型图；

图10为本发明步态评分方法较佳实施例的步态评分ROC曲线；

图11为本发明步态评分方法较佳实施例的功能模块示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，图1是本发明实施例方案涉及的硬件运行环境的系统结构示意图。

本发明实施例系统包括视频流数据采集模块、目标点云提取模块、步态参数获取模块、步态评分输出模块等。

如图1所示，该系统可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图1中示出的系统结构并不构成对系统的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及步态评分程序。

其中，操作系统是管理和控制步态评分系统与软件资源的程序，支持网络通信模块、用户接口模块、步态评分程序以及其他程序或软件的运行；网络通信模块用于管理和控制网络接口1002；用户接口模块用于管理和控制用户接口1003。

在图1所示的步态评分系统中，所述步态评分系统通过处理器1001调用存储器1005中存储的步态评分程序，并执行下述步态评分方法各个实施例中的操作。

基于上述硬件结构，提出本发明步态评分方法实施例。

参照图2，图2为本发明步态评分方法第一实施例的流程示意图，所述方法包括：

步骤S10，获取目标对象行走时的视频流数据，并识别出所述目标对象在所述视频流数据中的目标关节点；

本实施例步态评分方法运用于步态评分系统中，尤其是临床诊断与治疗的步态评分系统中。如图3所示，图3为本发明步态评分方法较佳实施例的系统结构流程图，其中，步态评分系统包括视频流数据采集模块、目标点云提取模块、步态参数获取模块、步态评分输出模块等，具体的，视频流数据采集模块用于采集目标对象在行走时的彩色图像和深度图像；目标点云提取模块用于识别目标对象的关节点，并根据彩色图像和深度图像对关节点进行点云提取，得到各个关节点对应的三维坐标；步态参数获取模块用于根据各个关节点的三维坐标计算对应的步态参数；步态评分输出模块用于输出根据步态参数计算出来的步态评分。

目前，步态分析评价方法主要包括基于标记点的步态分析评价方法和基于无标记点的步态分析评价方法，其中，基于标记点的步态分析评价方法，一般应用于VICON、SELSPOT-II、Coda motion(人体工程学测量系统)等三维动作捕捉系统，且系统都由测力板、红外摄像系统、专用数据处理机、计算机等组成，测力板主要用于测量人体行走时地面的反作用力，而各个关节部位在人体中的位置及其运动情况，均由红外摄像系统来确定，在测试之前，需要先将红外标记点贴在人体的待测关节部位上，再通过红外摄像机接收由它发出并被红外标记点反射回来的红外线信号，再由专用的数据处理机生成人体的运动位置坐标，最后将地面反作用力、人体运动位置等信息输入计算机，从而计算出步行时人体的质心运动、能量变化、消耗的功率、运动位置、关节受力和肌肉力矩等参数信息，最后根据参数信息对人体步态进行评价。但是，基于标记点的步态分析评价方法，必须要在测试之前将标志点放置在待测试对象身体上的正确部位，且通过该方法进行步态分析时，所使用的设备价格昂贵、不易移动、维护复杂、占用空间大，因此，基于标记点的步态分析评价方法不易在家庭中使用。而基于无标记点的步态分析评价，一般利用X-Tion等传感器来采集步行中的人体骨骼流数据，得到对应的骨架模型，在通过骨架模型来分析人体步态。因此，基于无标记点的步态评价分析方法，只是根据患者运动姿态给予评价，虽然也结合了步态参数进行分析，也没有给出具体评分，因此，患者不易直观看到自己步行质量，此外单靠视觉类传感器来识别关节点，容易受到光照、遮挡物、拍摄角度等因素的影响，使得步态参数转化不准确，导致步态评价结果出现偏差。

在本实施例中，先通过Kinect相机提供的SDK(Software Development Kit，软件开发工具)来进行设备连接，然后用户可通过用户界面设置好Kinect相机中的图像存储路径，再通过用户界面上的采集开始按键和采集结束按键来控制Kinect相机对目标对象在行走过程中的步态图像信息进行采集，从而得到对应的视频流数据。另外，在采集过程中可展示Kinect相机当前的采集画面，让用户可及时、直观地观察到采集效果，再将获取到的视频流数据同步存入预先设置的存储路径内，通过AlphaPose(人体姿态估计)算法对视频流信息进行读取，以识别出该目标对象在视频流数据中的目标关节点。通过结合AlphaPose算法和Kinect相机来识别目标对象的目标关节点，操作简单、使用条件宽松、系统自动化程度高，且摆脱了可穿戴传感器或步道压力传感器等操作复杂的设备，更适合居家使用。

进一步地，所述视频流数据包括彩色图像，所述识别出所述目标对象在所述视频流数据中的目标关节点的步骤包括：

步骤a1，对所述目标对象的彩色图像进行读取，以识别出所述彩色图像中的人体区域，并从所述人体区域中获取所述目标对象的骨骼信息；

步骤a2，根据所述骨骼信息提取所述彩色图像中的关节点，作为所述目标对象在所述彩色图像中的目标关节点。

在本实施例中，可通过AlphaPose算法读取目标对象RGB图像中的标注和文件索引，然后使用姿态估计器从该目标对象的彩色图像中识别出人体区域，从人体区域中估计该目标对象的骨骼信息，再通过预设的识别方向，如自顶向下的方式，从骨骼信息中识别出该目标对象的目标关节点。如图4所示，图4为本发明步态评分方法较佳实施例的人体骨骼结构节点图，例如，可从该目标对象的RGB图像中提取出编号为0至17的18个目标关节点，包括嘴巴部位0、颈部节点1、左右肩关节节点2和5、左右肘关节节点3和6、左右腕关节节点4和7、左右髋关节节点8和11、左右膝关节节点9和12、左右踝关节节点10和13、左右眼节点14和15、左右耳节点16和17。

需要说明的是，获取到视频流数据之后，还可包括对视频流数据进行预处理，例如，可对RGB图像进行降采样操作，以减少图像的带宽占用，提升后续目标点云提取的速度；将获取到的视频流数据保存到预设的存储路径时，可将视频流数据以PNG的格式进行存储，而且，在保存视频流数据的同时，还可以同步保存对应的时间戳信息，方便后续对步态参数进行提取。

步骤S20，确定各所述目标关节点对应的目标点云，并根据所述目标点云确定所述目标对象的步态参数；

在本实施例中，由于Kinect相机每进行一次图像采集，就能得到一张彩色的图片和一张带有深度信息的图片，即得到一张彩色图像(RGB图像)和一张深度图像。将Kinect采集到的RGB图像作为输入端，输入到AlphaPose模型中，从而在RGB图像中识别出该目标对象的目标关节点。结合彩色图像中的目标关节点以及目标关节点在对应深度图像中的深度信息，即可确定各个目标关节点对应的目标点云，从而可根据各个目标关节点对应的目标点云来计算目标对象的步态参数。通过结合图形学、步态周期、步态参数的物理意义等方面，生成用于步态评价的步态参数，有利于更加全面且准确地对目标对象进行步态分析与评价。

步骤S30，计算所述步态参数对应的权重系数，并根据所述步态参数和所述权重系数输出所述目标对象的步态评分。

在本实施例中，可通过层次分析法分别计算不同步态参数对应的权重系数，例如，先根据各个步态参数建立层次结构模型，并建立对应的判断矩阵，通过判断矩阵将步态参数两两进行互相比较，以确定各个步态参数的重要程度，再根据重要程度对步态参数进行排序，在层次结构模型通过一致性检验后，即可通过层次结构模型计算出各个步态参数对应的权重系数。再结合各个步态参数与对应的权重系数，即可更为准确、科学地计算出目标对象的步态评分，并输出该目标对象的步态评分，例如，可通过语音播报的方式输出步态评分，也可以将步态评分输出在预设终端等。

本实施例的步态评分方法，通过获取目标对象行走时的视频流数据，并通过预设关节点识别算法读取视频流数据，以识别出目标对象在视频流数据中的目标关节点；确定各目标关节点对应的目标点云，并根据目标点云确定目标对象的步态参数；计算步态参数对应的权重系数，并根据步态参数和所述权重系数确定目标对象的步态评分。本发明不仅可以通过步态评分更为直观地判断目标对象在步行时的异常程度，还可以通过权重系数来反映步态参数的重要程度，以此提高步态分析评价的准确性。

进一步地，基于本发明步态评分方法第一实施例，提出本发明步态评分方法第二实施例。

步态评分方法的第二实施例与步态评分方法的第一实施例的区别在于，所述视频流数据还包括深度图像，所述确定各所述目标关节点对应的目标点云的步骤包括：

步骤b1，将所述彩色图像和对应的深度图像进行对齐处理，并根据对齐处理后的彩色图像和对应的深度图像生成点云阵；

在本实施例中，由于Kinect相机采集的是不同时间戳对应的视频流数据，因此，需要根据时间戳信息将彩色图像与对应的深度图像进行对齐处理，并根据对齐处理后的彩色图像和对应的深度图像，以及Kinect相机的相机参数，生成点云阵，由于Kinect相机中包含彩色相机和深度相机，因此，相机参数包括彩色相机及深度相机的焦距、中心点坐标、内参矩阵等。由于点云是由多个三维坐标点组成的，而点云阵又是由多个点云组成的，因此，生成的点云阵可以按照视频流数据的采集顺序，使用三维坐标点来记录，并以PCD文件的形式存储下来。

步骤b2，分别确定各所述目标关节点在对应的彩色图像中的二维坐标信息；

步骤b3，从所述点云阵中确定与各所述二维坐标信息匹配的点云，得到各所述目标关节点对应的目标点云。

在本实施例中，由于彩色相机采集的是二维的彩色图像，因此，彩色图像中包含各个目标关节点对应的二维坐标信息。在识别出目标对象的目标关节点后，可通过输出各个目标关节点在彩色图像中的二维坐标信息来确定各个目标关节点对应的二维坐标信息。然后从点云阵中找到与各目标关节点的二维坐标信息相匹配的点云，例如，可根据深度图像中每个像素点对应的像素值，为深度图像中的每一个像素点附上对应的RGB颜色，方便在同步的点云阵中检索出与各个目标关节点的二维关坐标信息对应的点云，从而确定各个目标关节点对应的目标点云。

本实施例的步态评分方法，通过将彩色图像和深度图像进行对齐处理，并根据各个目标关节点的二维坐标信息确定对应的目标点云，可保证各个目标关节点位置的准确性。

进一步地，基于本发明步态评分方法第一、第二实施例，提出本发明步态评分方法第三实施例。

步态评分方法的第三实施例与步态评分方法的第一、第二实施例的区别在于，所述根据所述目标点云确定所述目标对象的步态参数的步骤包括：

步骤c1，根据所述视频流数据确定所述目标对象的三维运动轨迹；

步骤c2，对所述三维运动轨迹进行滤波处理，并根据滤波处理后的三维运动轨迹确定所述目标对象的步态周期；

步骤c3，根据所述目标点云和所述滤波处理后的三维运动轨迹，计算所述目标对象在所述步态周期内的步态参数。

在本实施例中，由于Kinect相机采集的是目标对象在步行过程中的彩色图像和深度图像，因此，将彩色图像和对应的深度图像进行对齐处理后，即可确定该目标对象在各个时间相的三维坐标位置，从而可确定该目标对象的三维运动轨迹，再对三维运动轨迹进行滤波处理，例如，采用中值滤波的方法对步行过程中踝关节点的三维运动轨迹进行滤波处理，中值滤波是基于排序统计理论的非线性信号平滑处理技术，它将每一像素点的灰度值设置为该像素点某邻域窗口内所有像素点灰度值的中值，从而把图像中某一像素点的值用该像素点在某个邻域中各个像素点值的中值来代替，使得周围像素点的像素值接近真实值，从而消除孤立的噪声点，能够有效抑制噪声的影响。

在对目标对象的三维运动轨迹进行滤波处理后，利用三维运动轨迹中的时间及空间数据，可确定目标对象的步态周期，例如，可用各个对应位置的目标关节点y坐标值关于时间变化的曲线来表达步态周期，例如，可通过步行过程中该目标对象左/右踝关节点或左/右膝关节点的位移与时间关系曲线，以及位移与时间的导数曲线来判断一个步态周期的起始。根据一个步态周期内各个目标关节点对应的目标点云和运动轨迹，再结合步态参数的物理意义得到用于步态评价的步态参数。例如，如图5所示，步态参数可包括步态时间参数、步态空间参数、步态对称性参数、步态时相比例参数等类别，其中，步态时间参数可包括步态周期、左/右支撑相T_stand、左/右摆动相T_sway、步速等；步态空间参数可包括步宽L_width、左/右步长L_step等；步态对称性参数可包括支撑相对称性参数、摆动相对称参数、步长对称性参数等；步态对称性参步态时相比例参数包括左/右单支撑相比例参数、左/右摆动相比例参数等。

如图6所示，图6为本发明步态评分方法较佳实施例中一个步态周期内的支撑相和摆动相示意图。若以目标对象双脚对称支撑开始计时，那么在一个步态周期内，该目标对象会经过第一个双腿支撑期、第一个单腿支撑期、第二个双腿支撑期、第二个单腿支撑期。

具体的，支撑相表现为在步态周期内踝关节点云对应的三维坐标(x，y，z)中y值处于波谷的时间。如图7所示，图7为本发明步态评分方法较佳实施例右腿经历三个步态周期的示例图，图像中凹处的部分为右侧足着地的时段，凸出的部分为右侧足摆动的时段。以右支撑相为例，当目标对象右侧踝关节点的y坐标值处于右腿踝关节y值-时间曲线的凹段，左侧踝关节点的y坐标值处于该侧y值-时间曲线的凸段时，统计一个步态周期内符合该条件的帧数及其对应的时间戳，累计时间即为右支撑相。而当两侧踝关节点同时处于各自y值-时间曲线的凹段时，此时目标对象处于双支撑相阶段。

而摆动相为在该步态周期内单侧下肢在空中摆动的时间，具体表现为踝关节点云对应的三维坐标(x，y，z)中，y值处于波峰的时间。以右摆动相为例，右侧踝关节点y坐标值处于右侧y值-时间曲线的凸段，左侧踝关节点处于右侧y值-时间曲线的凹段，摆动相同样区分左右，当目标对象处于单腿支撑期时也说明该目标对象处于摆动相阶段，也即，单侧摆动相应等于单支撑相，因为行走过程中，人体的双脚不会同时离地。

步宽是指步行中两侧足中心线之间的距离，具体含义如图8所示。在本实施例中体现为左右踝关节点对应的点云中x坐标的差值绝对值。同理地，步长是指在行走过程中，一侧足跟着地到紧接着另一侧足跟着地之间的距离，具体表现为左右踝关节点点云中y坐标的差值绝对值。而步长区分左右，其中，左/右步长可根据实际情况进行设定，在此不作具体限定。

一般而言，正常行走时的步态是左右下肢对称交互移动的，若目标对象存在生理或者病理性缺陷时，往往会导致左右下肢不是对称交互移动的，导致左右下肢的活动范围不一致，而步态对称性参数用于反映步态时空参数的对称性，主要表现为步态周期中各个时相的对称程度和下肢运动范围的对称程度。步态对称性参数包括摆动相对称性参数S_sway、支撑相对称性参数S_stand和步长对称性参数S_step，其中，支撑相对称性参数S_stand可通过比较同一个步态周期内左支撑相、右支撑相这两个支撑相得到，那么同理地，通过比较同一步态周期内左摆动相、右摆动相，即可得到该步态周期内的摆动相对称性参数S_sway；通过比较同一步态周期内左步长、右步长，即可得到该步态周期内的步长对称性参数S_step。由于步态对称性参数是由同一步态周期内对应步态参数的两两比较得到的，那么，可用T_{sway_larger}、T_{stand_larger}与L_{step_larger}分别表示各个步态周期内左/右下肢的摆动相、支撑相以及步长值中相对较大的步态参数，T_{sway_smaller}、T_{stand_smaller}与L_{step_smaller}分别表示左右下肢摆动相、支撑相及步长值中相对较小的步态参数。具体的计算公式可如下所示：

S_sway＝T_{sway_larger}/T_{sway_smaller}

S_stand＝T_{stand_larger}/T_{stand_smaller}

S_step＝L_{step_larger}/L_{step_smaller}

从上述步态对称性参数的定义来看，步态对称性参数是指同一步态周期内步态参数的较大值与较小值之间的比值，因此，步态对称性参数总是大于1，而当步态对称性参数越接近于1时，其对称性越高，说明左右下肢的对称度越高。

本实施例的步态评分方法，通过对目标对象在步行过程中的三维运动轨迹进行滤波处理，可有效地抑制噪声的影响，有利于更加准确地计算该目标对象在各个步态周期内的步态参数。

进一步地，基于本发明步态评分方法第一、第二、第三实施例，提出本发明步态评分方法第四实施例。

步态评分方法的第四实施例与步态评分方法的第一、第二、第三实施例的区别在于，步骤S30还包括：

步骤d1，将所述步态参数进行标准化处理，得到标准步态参数；

步骤d2，根据所述标准步态参数和所述权重系数确定所述目标对象的步态评分。

在本实施例中，计算出目标对象的步态参数后，为了不改变同一步态参数内部数据的差距，避免不同单位、量纲、数量级的步态参数影响目标对象在行走过程中的综合评分，可采用离差标准化方法对步态参数进行标准化处理，即用步态参数中的观察值减去步态参数中的最小值，然后除以该步态参数最大值与最小值之间的极差，以将各个步态参数映射到[0,1]之间。

离差标准化的计算公式如公式(1)所示：

Y_i＝(X_i-X_min)/(X_max-X_min) (1)

其中，i＝1，2，3...，n表示步态参数样本的序列号；X_i为第i个步态参数的实际值，即待标准化的某个步态参数；Y_i为X_i对应的标准步态参数；X_min为该步态参数各实际值中的最小值；X_max为该步态参数各实际值中的最大值。通过对步态参数进行标准化处理，可以避免不同单位、量纲、数量级的步态参数影响目标对象在行走过程中的综合评分，然后根据标准步态参数和权重系数来确定该目标对象的步态评分，可以进一步提高步态评分的准确度。

进一步地，步骤S30还包括：

步骤e1，对所述步态参数进行分组处理，得到多个参数分组；

步骤e2，分别确定多个所述参数分组中各所述参数分组对应的权重系数，将各所述参数分组和各所述参数分组对应的权重系数进行加权求和，得到所述目标对象的步态评分，并输出所述步态评分。

在本实施例中，先对各个参数分组中的步态参数进行标准化处理，再对步态参数进行分组处理，例如，可将各个步态参数分别作为一组，也可以按照步态参数对应的参数类别进行分组，从而得到多个不同的参数分组，然后计算各个参数分组对应的权重系数，将不同参数分组和对应的权重系数进行加权求和，就能得到该目标对象在步行过程中的步态评分。例如，可采用层次分析法计算各个参数分组对应的权重系数。层次分析法是以一个复杂的多目标决策问题作为一个系统，将系统中的目标方案分解为多个目标或准则，进而分解为多指标(或准则、约束)的若干层次，通过定性指标模糊量化方法算出层次单排序(权重系数)和总排序，以作为目标(多指标)、多方案优化决策的系统方法。运用层次分析法建模，大体上包括：建立步态评价的层次结构模型、构造判断矩阵、计算各步态参数占步态评分的权重这三个步骤。

如图9所示，图9为本发明步态评分方法较佳实施例的层次结构模型图。层次结构模型包括方案层、准则层、目标层等，首先，依据步态评分与各个步态参数在步态评价过程中承担的不同角色分解成三个层次，第一层步态评分为最终的决策目的，处于目标层；准则层元素为各个步态参数代表步态评分时所要考虑的准则；最下层参数的类别为方案层。在建立好层次结构模型后，对于同一层次的各个因素关于上一层次中某一准则的重要性进行两两比较，以构造两两比较矩阵(判断矩阵)，从而确定每一层次中两两比较矩阵之间的权重系数。在确定每一层次中两两比较矩阵之间的权重系数时，一般采用一致矩阵法，将步态参数成对比较，采用相对尺度来削弱性质不同的各步态参数，以解决性质不同的各步态参数难以相互比较的障碍。

例如，判断矩阵用S＝(u_ij)_n×n表示，判断矩阵S可用步态参数u_i相对另一参数u_j的重要性来表示，从而对层次重要性进行判断。

矩阵如公式(2)所示：

其中，u_i与u_j代表准则层中的各个步态参数；u_ij表示第i个步态参数相对于第j个步态参数的重要程度对比结果；若i，j＝1-9，那么，u_ij的值由1-9的相对比较尺度得到。重要程度不同的两个因素对应的量化值可如表1所示。

表1：

因素u<sub>i</sub>、u<sub>j</sub>相比较	u<sub>ij</sub>量化值
		u<sub>i</sub>与u<sub>j</sub>同等重要	1
u<sub>i</sub>比u<sub>j</sub>稍微重要	3
		u<sub>i</sub>比u<sub>j</sub>明显重要	5
u<sub>i</sub>比u<sub>j</sub>十分重要	7
		u<sub>i</sub>比u<sub>j</sub>极其重要	9
u<sub>i</sub>比u<sub>j</sub>处于上述两相邻判断之间	2,4,6,8

在判断矩阵中，u_ij满足u_ij>0，u_ii＝1，

这3个条件。

在本实施例中，为了描述方便，以各个步态参数分别作为一个参数分组为例进行描述。假设u₁为左/患侧支撑相，u₂为右/健侧支撑相，u₃为左/患侧摆动相，u₄为右/健侧摆动相，u₅为左/患侧支撑相比例参数，u₆为右/健侧摆动相比例参数，u₇为支撑相对称性参数，u₈为摆动相对称性参数，且获得的步态参数在健康组与障碍组之间的数值表现及差异性分析，对应的各步态参数在步态评分过程中相对重要程度的判断矩阵A₁，如式(3)所示：

其中，左/患侧支撑相比例参数u₅及右/健侧摆动相比例参数u₆在整个评价过程中所占权重最大，这是由于u₅及u₆在正常人群及下肢运动障碍人群间数值差异最大，且表现出非常显著性差异；那么相应地，右/健侧支撑相u₂及左/患侧摆动相u₃在整个评价过程中所占的权重最小。

由判断矩阵A₁，求得其最大特征根λ_max及特征向量ω，其中，ω代表各步态参数在步态评分过程中的权重系数，计算方法如式(4)所示：

A₁ω＝λ_maxω (4)

在得到权重向量后，需要用一致性检验来判断层次排序得到的排序权值是否合理，只有一致性检验通过后，权重系数的计算才有意义。验证方法如式(5)所示：

CR＝CI/RI (5)

其中，CR为判断矩阵的随机一致性比率，主要用于检验判断矩阵的一致程度；RI为判断矩阵的平均随机一致性指标；CI是判断矩阵的一致性指标，若n为判断矩阵的阶数，CI的计算公式可如式(6)所示：

CI＝(λ_max-n)/(n-1) (6)

具体的，若CI越接近0，则说明判断矩阵的一致性越好，并且当判断矩阵完全一致时，CI＝0；当CR≤0.1时，则说明判断矩阵在步态参数成对比较的过程中符合一致性条件。需要说明的是，由于随着n的增加，判断误差也会增加，因此，判断一致性检验时应当考虑n的影响。一般情况下，n不超过9。

RI为判断矩阵的平均随机一致性指标，可根据判断矩阵的阶数查表得到，9阶判断矩阵RI表如下表2所示。

表2：

n	1	2	3	4	5	6	7	8	9
										RI	0	0	0.58	0.90	1.12	1.24	1.32	1.41	1.45

例如，结合式(3)和(4)，求得判断矩阵A₁的最大特征值λ_max＝8.1296，以及对应的特征向量ω。根据式(5)和式(6)，可求得判断矩阵A₁的一致性比率CR＝0.0131<0.1，因此，可确定判断矩阵A₁通过一致性检验。

通过判断矩阵A₁求得各步态参数占步态评分权重如表3所示。

表3：

在求出各个步态参数的权重系数后，将各个步态参数和对应的权重系数进行加权求和，从而得到目标对象的步态评分。

步态评分的具体计算公式如式(7)所示：

S＝P₁×X₁+P₂×X₂+...+P_i×X_i+...P_n×X_n (7)

其中，S为最终的步态评分；

X_i为标准化处理后的样本参数，即标准步态参数；

P_i为各个步态参数对应的权重系数。

本实施例的步态评分方法，通过对步态参数进行标准化处理，以避免不同单位、量纲、数量级的步态参数影响目标对象在行走过程中的综合评分，并将步态参数进行分组，不需要逐一确定各个步态参数对应的权重系数，可在保证步态评分准确度的同时，提高步态评分的计算速度。

进一步地，基于本发明步态评分方法第一、第二、第三、第四实施例，提出本发明步态评分方法第五实施例。

步态评分方法的第五实施例与步态评分方法的第一、第二、第三、第四实施例的区别在于，步骤S30之后，还包括：

步骤f1，根据所述步态评分确定所述目标对象的步态训练计划；

步骤f2，根据所述步态训练计划对所述目标对象进行步态指导。

在本实施例中，由于对步态进行分析可以有效地反映出人体的健康状况，因此，输出的步态评分可以更为直观地反映目标对象在步行时的异常程度，且一般情况下，步态评分越高，即说明步行质量越高步行时的异常程度越低。例如，在医疗领域的方方面面，对步态进行分析评价，能够为临床诊断与治疗提供更多有效的建议与参考。

具体的，由于步态参数为经过标准化处理的标准步态参数，权重系数也是小于1的数值，因此，将步态参数和对应的权重参数进行加权求和之后，求得的步态评分也是小于1的数值，可更加直观地反映出目标对象的步行质量，以便于根据输出的步态评分更加准确地为目标对象制定相应的步态训练计划。例如，在本实施例中，若对33人进行步态评分，其中，健康组有25人，障碍组有8人，且健康组的步态评分均值为0.4126，均方差为0.0169，障碍组的步态评分均值为0.5978，均方差为0.0235。用于评分的步态参数是由在正常人群与障碍人群中表现出显著差异，且与年龄、性别等其他因素无显著相关的参数构成，分别对所得到的步态评分进行与年龄的相关性分析(p＝0.0017)，及与性别间的相关性分析(p＝0.004)，均未发现显著相关。

假设区分是否患有下肢运动障碍疾病的步态评分临界值为0.4557，那么，当目标对象的步态评分大于0.4557时，则可认为该目标对象患有步态障碍的相关疾病。

如图10所示，图10为本发明步态评分方法较佳实施例的步态评分ROC曲线(receiver operating characteristic curve，接受者操作特性曲线)。通过对步态评分进行分析处理，可得到步态评分对应的验证结果，如下表4所示。

表4：

可以理解的，当目标对象的步态评分越接近1时，可确定该目标对象的步行质量较高，基本不存在步行异常的情况，可不为该目标对象制定步态训练计划，也可以制定较为轻松的步态训练计划，以进一步改善目标对象的步态；若目标对象的步态评分为0.3700时，由于该目标对象的步态评分小于步态评分的临界值0.4557，因此，可确定该目标对象存在较大的步行障碍，需要针对该目标对象当前步行时的异常程度，更有针对性地制定步态训练计划。然后根据步态训练计划对该目标对象进行步态指导，可更有针对性地帮助目标对象进行复健，有利于目标对象早日恢复到正常的步行姿态。通过设置正常步行姿态的正常组，对待评分的目标对象组与正常组进行组间显著性、相关性分析，可以保证评价体系的有效性。

本实施例的步态评分方法，根据输出的步态评分可更加准确、更有针对性地为目标对象制定步态训练计划，并对目标对象根据步态训练计划进行步态指导，有利于目标对象早日恢复到正常的步行姿态。

本发明还提供一种步态评分装置。参照图11，本发明步态评分装置包括：

节点识别模块10，用于获取目标对象行走时的视频流数据，并识别出所述目标对象在所述视频流数据中的目标关节点；

参数确定模块20，用于确定各所述目标关节点对应的目标点云，并根据所述目标点云确定所述目标对象的步态参数；

评分计算模块30，用于计算所述步态参数对应的权重系数，并根据所述步态参数和所述权重系数输出所述目标对象的步态评分。

优选地，所述视频流数据包括彩色图像，所述节点识别模块还用于：

对所述目标对象的彩色图像进行读取，以识别出所述彩色图像中的人体区域，并从所述人体区域中获取所述目标对象的骨骼信息；

根据所述骨骼信息提取所述彩色图像中的关节点，作为所述目标对象在所述彩色图像中的目标关节点。

优选地，所述视频流数据还包括深度图像，所述参数确定模块还用于：

将所述彩色图像和对应的深度图像进行对齐处理，并根据对齐处理后的彩色图像和对应的深度图像生成点云阵；

分别确定各所述目标关节点在对应的彩色图像中的二维坐标信息；

从所述点云阵中确定与各所述二维坐标信息匹配的点云，得到各所述目标关节点对应的目标点云。

优选地，所述参数确定模块还用于：

根据所述视频流数据确定所述目标对象的三维运动轨迹；

对所述三维运动轨迹进行滤波处理，并根据滤波处理后的三维运动轨迹确定所述目标对象的步态周期；

根据所述目标点云和所述滤波处理后的三维运动轨迹，计算所述目标对象在所述步态周期内的步态参数。

优选地，所述评分计算模块还用于：

将所述步态参数进行标准化处理，得到标准步态参数；

根据所述标准步态参数和所述权重系数确定所述目标对象的步态评分，并输出所述步态评分。

优选地，所述评分计算模块还用于：

对所述步态参数进行分组处理，得到多个参数分组；

分别确定多个所述参数分组中各所述参数分组对应的权重系数，将各所述参数分组和各所述参数分组对应的权重系数进行加权求和，得到所述目标对象的步态评分，并输出所述步态评分。

优选地，所述步态评分装置还包括步态指导模块，所述步态指导模块用于：

根据所述步态评分确定所述目标对象的步态训练计划；

根据所述步态训练计划对所述目标对象进行步态指导。

本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上所述的违约率确定方法的步骤。

本发明还提供一种可读存储介质。

本发明可读存储介质上存储有步态评分程序，所述步态评分程序被处理器执行时实现如上所述的步态评分方法的步骤。

其中，本发明步态评分系统、计算机程序产品和存储介质的各实施例，均可参照本发明步态评分方法各个实施例，此处不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端系统(可以是手机，计算机，服务器，空调器，或者网络系统等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书与附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种步态评分方法，其特征在于，所述方法包括如下步骤：

获取目标对象行走时的视频流数据，并识别出所述目标对象在所述视频流数据中的目标关节点；

确定各所述目标关节点对应的目标点云，并根据所述目标点云确定所述目标对象的步态参数；

计算所述步态参数对应的权重系数，并根据所述步态参数和所述权重系数输出所述目标对象的步态评分。

2.如权利要求1所述的步态评分方法，其特征在于，所述视频流数据包括彩色图像，所述识别出所述目标对象在所述视频流数据中的目标关节点的步骤包括：

对所述目标对象的彩色图像进行读取，以识别出所述彩色图像中的人体区域，并从所述人体区域中获取所述目标对象的骨骼信息；

根据所述骨骼信息提取所述彩色图像中的关节点，作为所述目标对象在所述彩色图像中的目标关节点。

3.如权利要求2所述的步态评分方法，其特征在于，所述视频流数据还包括深度图像，所述确定各所述目标关节点对应的目标点云的步骤包括：

将所述彩色图像和对应的深度图像进行对齐处理，并根据对齐处理后的彩色图像和对应的深度图像生成点云阵；

分别确定各所述目标关节点在对应的彩色图像中的二维坐标信息；

从所述点云阵中确定与各所述二维坐标信息匹配的点云，得到各所述目标关节点对应的目标点云。

4.如权利要求1所述的步态评分方法，其特征在于，所述根据所述目标点云确定所述目标对象的步态参数的步骤包括：

根据所述视频流数据确定所述目标对象的三维运动轨迹；

对所述三维运动轨迹进行滤波处理，并根据滤波处理后的三维运动轨迹确定所述目标对象的步态周期；

根据所述目标点云和所述滤波处理后的三维运动轨迹，计算所述目标对象在所述步态周期内的步态参数。

5.如权利要求1所述的步态评分方法，其特征在于，所述根据所述步态参数和所述权重系数输出所述目标对象的步态评分的步骤包括：

将所述步态参数进行标准化处理，得到标准步态参数；

根据所述标准步态参数和所述权重系数确定所述目标对象的步态评分，并输出所述步态评分。

6.如权利要求1所述的步态评分方法，其特征在于，所述计算所述步态参数对应的权重系数，并根据所述步态参数和所述权重系数输出所述目标对象的步态评分的步骤包括：

对所述步态参数进行分组处理，得到多个参数分组；

分别确定多个所述参数分组中各所述参数分组对应的权重系数，将各所述参数分组和各所述参数分组对应的权重系数进行加权求和，得到所述目标对象的步态评分，并输出所述步态评分。

7.如权利要求1至6任一项所述的步态评分方法，其特征在于，所述根据所述步态参数和所述权重系数输出所述目标对象的步态评分的步骤之后，还包括：

根据所述步态评分确定所述目标对象的步态训练计划；

根据所述步态训练计划对所述目标对象进行步态指导。

8.一种步态评分系统，其特征在于，所述步态评分系统包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的步态评分程序，所述步态评分程序被所述处理器执行时实现如权利要求1至7中任一项所述的步态评分方法的步骤。

9.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的步态评分方法的步骤。

10.一种可读存储介质，其特征在于，所述可读存储介质上存储有步态评分程序，所述步态评分程序被处理器执行时实现如权利要求1至7中任一项所述的步态评分方法的步骤。

Images