CN114052725B

CN114052725B - 基于人体关键点检测的步态分析算法设定方法以及装置

Info

Publication number: CN114052725B
Application number: CN202210047013.9A
Authority: CN
Inventors: 张元鸣飞; 李涛; 周谋望
Original assignee: Peking University Third Hospital Peking University Third Clinical Medical College
Current assignee: Peking University Third Hospital Peking University Third Clinical Medical College
Priority date: 2022-01-17
Filing date: 2022-01-17
Publication date: 2022-04-15
Anticipated expiration: 2042-01-17
Also published as: CN114052725A

Abstract

本发明公开了一种基于人体关键点检测的步态分析算法设定方法以及装置，主要构思在于，分别创建公开数据集和私有数据集，其中私有数据集的构建方式按预设帧率及分辨率拍摄特定受试者的步态异常视频流，并根据步行视频对受试者进行运动学分析，得到受试者的时空参数和关节运动角度，然后利用公开数据集对预选算法及其参数进行调试，其中预选算法包含用于人体及单人关键点检测的算法及用于关键点检测及聚类的算法，根据调试后算法的输出结果对其中较佳的算法运用私有数据集进行测试，结合算法测试阶段的运动学分析结果，确定目标步态分析算法。本发明提供的算法构建机制，能够为步态分析提供使用成本低、适用范围广且使用要求低的运动学分析模型。

Description

基于人体关键点检测的步态分析算法设定方法以及装置

技术领域

本发明涉及人体运动分析技术领域，尤其涉及一种基于人体关键点检测的步态分析算法设定方法以及装置。

背景技术

步态分析在康复评定中的应用十分广泛。例如在脑瘫患儿手术和康复策略的制定，脑卒中、骨关节炎、帕金森、脊髓灰质炎、假肢适配后的步态矫正等方面都起到至关重要的作用。步态分析包括运动学分析、动力学分析和肌电图分析等三个方面。其中，运动学分析是指从几何的角度描述和研究步行时肢体位置随时间的变化规律，多种传感系统可运用不同原理对步态不同维度进行运动学分析。目前，电子步态垫、足开关是运动学分析步态参数测定的标准方法；可穿戴传感器主要用于运动学分析中的不同相位；此外，加速度计、陀螺仪、惯性测量单元和肌电图信号等也应用于相位识别。室内环境中，三维数字化分析或测力平台等非穿戴式传感器可运用于运动学或动力学分析，而超声传感器和电子神经成像方法也在现有文献中被提及。

但是，现有的上述运动学分析方案均具有不同程度的局限：

第一，使用成本高。电子步态垫、测力平台、同步摄影分析、三维数字化分析等所需设备和场地要求高，其成本导致难以在大多数医院推广；而足开关和电子步态垫的使用寿命较短，也需要频繁更换。

第二，适用范围小。现有设备的测定粒度有限，可穿戴设备仅能准确识别两个粒度，即站立相和摆动相；足开关或电子步态垫的粒度小于等于6，即能分别识别站立相和摆动相中的三个时期；在粒度需求为8的情况下，根据文献，唯一可行的系统是基于 EMG信号的系统，但其准确率不佳；而超声传感器、测力平台和三维数字化分析系统仅能于室内使用，对于患者家庭及社区内步行的步态分析是不适用的。

第三，使用要求高。现有与身体接触的步态分析系统对装置的放置位置有较高的要求。足开关需分别置于足底和前脚掌，若增加分析粒度则需区分足趾和跖骨的开关位置；加速度计和陀螺仪的推荐位置是足力线与矢状轴交叉的位置，难以把握；肌电图信号的推荐位置时股直肌，在设备的实际使用过程中传感器滑落会使其敏感性大为下降；电子神经成像、肌电图和超声传感器还需较为复杂的数据采集后进行分析，对使用人员的专业背景有较高要求。以上三个局限使得步态分析在医疗机构的临床应用受到限制。

发明内容

鉴于上述，本发明旨在提供一种基于人体关键点检测的步态分析算法设定方法以及装置，为人体运动分析提供不受前述局限的解决方案。

本发明采用的技术方案如下：

第一方面，本发明提供了一种基于人体关键点检测的步态分析算法设定方法，其中包括：

获取人体关键点检测公开数据集并构建私有数据集，其中所述构建私有数据集包括：结合预设要求筛选出受试者，并按预设的帧率以及分辨率采集所述受试者的步态异常的步行视频；基于所述步行视频对受试者进行运动学分析，获取受试者的时空参数和关节运动角度；

利用所述人体关键点检测公开数据集分别调试预先选取的第一检测算法以及第二检测算法，所述第一检测算法用于人体检测以及单人人体关键点检测，所述第二检测算法用于人体关键点检测以及关键点聚类；

基于算法调试，将输出结果准确率较佳的若干个检测算法运用所述私有数据集进行测试；

根据测试阶段各算法计算出的受试者的运动学分析结果，最终确定目标步态分析算法。

在其中至少一种可能的实现方式中，所述时空参数包括：距离参数和时间参数。

在其中至少一种可能的实现方式中，所述距离参数包括步长、跨步长、步宽以及足夹角。

在其中至少一种可能的实现方式中，所述时间参数包括步频、步行速度、跨步时间、同侧站立相和迈步相时间及比例、左右侧站立相之比或迈步相之比、站立相各分期发生时间及所占时间百分比。

在其中至少一种可能的实现方式中，所述关节运动角度包括步行周期内随时间变化的双侧髋膝踝关节角度。

在其中至少一种可能的实现方式中，所述采集所述受试者的步态异常的步行视频包括：采集受试者以异常步态行进且超过预设距离的视频，且视频画面中受试者的像素占比大于或等于50%。

在其中至少一种可能的实现方式中，所述设定方法还包括：将所述目标步态分析算法的计算结果与运动学分析结果对比，并进行假设检验。

第二方面，本发明提供了一种基于人体关键点检测的步态分析算法设定装置，其中包括：

数据集创建模块，用于获取人体关键点检测公开数据集并构建私有数据集，其中所述构建私有数据集包括：结合预设要求筛选出受试者，并按预设的帧率以及分辨率采集所述受试者的步态异常的步行视频；基于所述步行视频对受试者进行运动学分析，获取受试者的时空参数和关节运动角度；

算法调试模块，用于利用所述人体关键点检测公开数据集分别调试预先选取的第一检测算法以及第二检测算法，所述第一检测算法用于人体检测以及单人人体关键点检测，所述第二检测算法用于人体关键点检测以及关键点聚类；

算法测试模块，用于基于算法调试，将输出结果准确率较佳的若干个检测算法运用所述私有数据集进行测试；

算法确定模块，用于根据测试阶段各算法计算出的受试者的运动学分析结果，最终确定目标步态分析算法。

在其中至少一种可能的实现方式中，所述数据集创建模块包括视频采集单元，所述视频采集单元用于采集受试者以异常步态行进且超过预设距离的视频，且视频画面中受试者的像素占比大于或等于50%。

在其中至少一种可能的实现方式中，所述设定装置还包括验证模块，所述验证模块用于将所述目标步态分析算法的计算结果与运动学分析结果对比，并进行假设检验。

第三方面，本发明提供了一种电子设备，其中包括：

一个或多个处理器、存储器以及一个或多个计算机程序，所述存储器可以采用非易失性存储介质，其中所述一个或多个计算机程序被存储在所述存储器中，所述一个或多个计算机程序包括指令，当所述指令被所述设备执行时，使得所述设备执行如第一方面或者第一方面的任一可能实现方式中的所述方法。

本发明的主要设计构思在于，分别创建公开数据集和私有数据集，其中私有数据集的构建方式是按预设帧率及分辨率拍摄特定受试者的步态异常视频流，并根据拍摄的步行视频对受试者进行运动学分析，从而得到受试者的时空参数和关节运动角度，然后利用公开数据集对预先选取的算法及参数进行调试，其中预选算法至少包含用于人体及单人关键点检测的算法以及用于关键点检测及关键点聚类的算法，根据调试后算法的输出结果的准确率，对其中较佳的算法运用私有数据集进行测试，最后结合算法测试阶段的运动学分析结果，确定目标步态分析算法。本发明提供的算法构建机制，能够为运动学分析，尤其是针对步态分析提供使用成本低、适用范围广且使用要求低的人体关键点识别模型。

附图说明

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步描述，其中：

图1为本发明实施例提供的基于人体关键点检测的步态分析算法设定方法的流程图；

图2为本发明实施例提供的基于人体关键点检测的步态分析算法设定装置的示意图；

图3为本发明实施例提供的电子设备的示意图。

具体实施方式

下面详细描述本发明的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

在对本发明方案进行具体展开之前，首先对本发明的构思基础做如下介绍：人体关键点检测始于上世纪80年代，也是目前人工智能计算机视觉的热点之一，在其他相关领域的研发中起到了基础性的作用，如行为识别、人物跟踪等领域。目前，该技术的具体应用场景仍主要集中在智能视频监控、监护系统、人机交互、虚拟现实、智能家居、智能安防等。此外，人体关键点检测算法均是在几何先验的基础上基于模版匹配的思路进行，核心在于如何用模版表示整个人体结构，包括关键点的表示、肢体结构的表示以及不同肢体结构之间的关系表示。成熟的算法模版可以模拟更多的姿态范围，以至于能够更好地匹配、检测出对应的人体姿态，即自动检测人体的指定关键点，如关节、五官等，通过关键点描述人体信息，并由自动识别出的人形物的头、颈、肩肘腕髋膝踝等人体信息构造球棍模型。

站位于此，本发明提出将人体关键点检测技术运用到人体运动学分析（步态分析）之中，从而弥补现有的步态分析方式的诸多缺陷。具体地，本发明提出了一种基于人体关键点检测的步态分析算法设定方法的实施例，具体来说，如图1所示，其中包括：

步骤S1、获取人体关键点检测公开数据集并构建私有数据集；

所述人体关键点检测优选采用如下：MPII（MPII Human Pose Dataset），单人及多人人体关键点检测数据集，关键点个数为16，样本数25K；MSCOCO，多人关键点检测数据集，关键点个数为17，样本数多于30W，目前的相关研究基本上还需要在该数据集上进行验证；AI Challenger，多人关键点检测数据集，关键点个数为14，样本数约38W，竞赛数据集；PoseTrack，最新的关于人体骨骼关键点的数据集，多人关键点跟踪数据集，包含单帧关键点检测、多帧关键点检测、多人关键点跟踪三个人物，多于500个视频序列，帧数超过20K，关键点个数为15。

前述构建所述私有数据集的方式包括：

结合预设要求筛选出受试者，并按预设的帧率以及分辨率采集所述受试者的步态异常的步行视频，例如帧率大于15帧每秒，分辨率大于720P。在实际操作中，可采用目前较为先进的数字视频技术，例如由激光摄像头拍摄视频流信息，并使用人体关键点反光标记进行光点轨迹采样，具体地，标志点可分别置于人体、手部、腿部等处的诸如趾、踝、膝、髋、肩等关节处，从而利用所拍摄的视频绘制出相关轮廓线。

然后，基于所述步行视频对受试者进行运动学分析，获取受试者的时空参数和关节运动角度；

这里所述时空参数包括：距离参数和时间参数；进一步地，所述距离参数包括步长、跨步长、步宽和足夹角；所述时间参数包括步频、步行速度、跨步时间、同侧站立相和迈步相时间及比例、左右侧站立相之比或迈步相之比、站立相各分期发生时间及所占时间百分比。在实际操作中，前述时空参数可由足开关和电子步态垫测得。

接续前文，所述关节运动角度包括步行周期内随时间变化的双侧髋膝踝关节角度。在实际操作中，前述关节运动角度可由计算机识别出所述步行视频中人体关键点标记及其坐标计算得到，进一步地，还可以将求取到的关节运动角度绘制成曲线，本发明对此不作限定。

而可以补充说明的是，所述预设要求可以参考如下：步态异常、可独立行走6m及以上、年龄大于18岁。并在实际操作中，还可结合医学要求对初选的受试者作进一步排除，排除标准可参考但不限于如下：（1）具有骨折急性期、术后早期等可能因步行而加重的情况；（2）具有心肺肝肾等严重疾病，心功能分级大于 I 级（NYHA），有呼吸衰竭等症状体征或检查结果；（3）精神、心理状态不能配合完成实验；（4）跌倒风险高（berg评分≤20分）；（5）不能配合使用步态运动学分析设备。

此外，关于前述采集所述受试者的步态异常的步行视频包括：采集受试者以异常步态行进且超过预设距离（如6米）的视频，其中，受试者的像素占比大于或等于50%，也即是视频中人体像素占据图像主要像素比。

步骤S2、利用所述人体关键点检测公开数据集分别调试预先选取的第一检测算法以及第二检测算法，所述第一检测算法用于人体检测以及单人人体关键点检测，所述第二检测算法用于人体关键点检测以及关键点聚类；

具体来说，第一检测算法可以是“自上而下”的人体骨骼关键点定位算法，其处理方式是首先通过目标检测算法将每一个人体检测出来，然后在检测框的基础上针对单个人体进行人体骨骼关键点检测，在实际操作中，代表性的算法模型有G-RMI、CFN、RMPE、MaskR-CNN以及CPN等。而第二检测算法则为“自下而上”的处理方式，即首先需要将图片中所有的人体关键点都检测出后，然后结合关键点的关联将所有的关键点聚类成不同的个体，对关键点之间关系进行建模的代表性算法模型有PAF、Associative Embedding、PartSegmentation、Mid-Range offsets等。需指出的是，在此步骤环节不对预先选取的第一检测算法及第二检测算法的数量进行限定。

步骤S3、基于算法调试，将输出结果的准确率较佳的若干个检测算法运用所述私有数据集进行测试；

步骤S4、根据测试阶段各算法计算出的受试者的运动学分析结果，最终确定用于步态分析的人体关键点识别算法。这里的运动学分析结果包括时空参数和关节运动角度等。

最后还可以补充的是，为了使得最终确定的目标算法其更为可靠，还可以对目标算法进行验证，例如将其计算结果与现有设备运动学分析结果作对比，分别作假设检验，实验假说为人体关键点检测技术与现有步态分析运动学分析结果无显著差异，以及人为规定准确范围，实验目标为人体关键点检测算法识别算法可达预设准确率（如98%以上）。

综上所述，本发明的主要设计构思在于，分别创建公开数据集和私有数据集，其中私有数据集的构建方式是按预设帧率及分辨率拍摄特定受试者的步态异常视频流，并根据拍摄的步行视频对受试者进行运动学分析，从而得到受试者的时空参数和关节运动角度，然后利用公开数据集对预先选取的算法及参数进行调试，其中预选算法至少包含用于人体及单人关键点检测的算法以及用于关键点检测及关键点聚类的算法，根据调试后算法的输出结果的准确率，对其中较佳的算法运用私有数据集进行测试，最后结合算法测试阶段的运动学分析结果，确定目标步态分析算法。本发明提供的算法构建机制，能够为运动学分析，尤其是针对步态分析提供使用成本低、适用范围广且使用要求低的人体关键点识别模型。

相应于上述各实施例及优选方案，本发明还提供了一种基于人体关键点检测的步态分析算法设定装置的实施例，如图2所示，具体可以包括如下部件：

数据集创建模块1，用于获取人体关键点检测公开数据集并构建私有数据集，其中所述构建私有数据集包括：结合预设要求筛选出受试者，并按预设的帧率以及分辨率采集所述受试者的步态异常的步行视频；基于所述步行视频对受试者进行运动学分析，获取受试者的时空参数和关节运动角度；

算法调试模块2，用于利用所述人体关键点检测公开数据集分别调试预先选取的第一检测算法以及第二检测算法，所述第一检测算法用于人体检测以及单人人体关键点检测，所述第二检测算法用于人体关键点检测以及关键点聚类；

算法测试模块3，用于基于算法调试，将输出结果准确率较佳的若干个检测算法运用所述私有数据集进行测试；

算法确定模块4，用于根据测试阶段各算法计算出的受试者的运动学分析结果，最终确定目标步态分析算法。

进一步地，所述数据集创建模块包括视频采集单元，所述视频采集单元用于采集受试者以异常步态行进且超过预设距离的视频，且视频画面中受试者的像素占比大于或等于50%。

进一步地，所述设定装置还包括验证模块，所述验证模块用于将所述目标步态分析算法的计算结果与运动学分析结果对比，并进行假设检验。

应理解以上图2所示的基于人体关键点检测的步态分析算法设定装置中各个部件的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些部件可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分部件以软件通过处理元件调用的形式实现，部分部件通过硬件的形式实现。例如，某个上述模块可以为单独设立的处理元件，也可以集成在电子设备的某一个芯片中实现。其它部件的实现与之类似。此外这些部件全部或部分可以集成在一起，也可以独立实现。在实现过程中，上述方法的各步骤或以上各个部件可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。

例如，以上这些部件可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路（Application Specific Integrated Circuit；以下简称：ASIC），或，一个或多个微处理器（Digital Signal Processor；以下简称：DSP），或，一个或者多个现场可编程门阵列（Field Programmable Gate Array；以下简称：FPGA）等。再如，这些部件可以集成在一起，以片上系统（System-On-a-Chip；以下简称：SOC）的形式实现。

综合上述各实施例及其优选方案，本领域技术人员可以理解的是，在实际操作中，本发明所涉及的技术构思可适用于多种实施方式，本发明以下述载体作为示意性说明：

一种电子设备。该设备具体可以包括：一个或多个处理器、存储器以及一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，所述一个或多个计算机程序包括指令，当所述指令被所述设备执行时，使得所述设备执行前述实施例或者等效实施方式的步骤/功能。

该电子设备具体可以为与计算机相关的电子设备，例如但不限于各类交互终端及电子产品等，例如具体的医用计算机终端、智能终端等。

图3为本发明提供的电子设备的实施例的结构示意图，具体地，电子设备900包括处理器910和存储器930。其中，处理器910和存储器930之间可以通过内部连接通路互相通信，传递控制和/或数据信号，该存储器930用于存储计算机程序，该处理器910用于从该存储器930中调用并运行该计算机程序。上述处理器910可以和存储器930可以合成一个处理装置，更常见的是彼此独立的部件，处理器910用于执行存储器930中存储的程序代码来实现上述功能。具体实现时，该存储器930也可以集成在处理器910中，或者，独立于处理器910。

除此之外，为了使得电子设备900的功能更加完善，该电子设备900还可以包括输入单元960、显示单元970、音频电路980、摄像头990和传感器901等中的一个或多个，所述音频电路还可以包括扬声器982、麦克风984等。其中，显示单元970可以包括显示屏。

进一步地，上述电子设备900还可以包括电源950，用于给该电子设备900中的各种器件或电路提供电能。

应理解，该电子设备900中的各个部件的操作和/或功能，具体可参见前文中关于方法、系统等实施例的描述，为避免重复，此处适当省略详细描述。

应理解，图3所示的电子设备900中的处理器910可以是片上系统SOC，该处理器910中可以包括中央处理器（Central Processing Unit；以下简称：CPU），还可以进一步包括其他类型的处理器，例如：图像处理器（Graphics Processing Unit；以下简称：GPU）等，具体在下文中再作介绍。

总之，处理器910内部的各部分处理器或处理单元可以共同配合实现之前的方法流程，且各部分处理器或处理单元相应的软件程序可存储在存储器930中。

本发明实施例中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示单独存在A、同时存在A和B、单独存在B的情况。其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项”及其类似表达，是指的这些项中的任意组合，包括单项或复数项的任意组合。例如，a，b和c中的至少一项可以表示：a，b，c，a和b，a和c，b和c或a和b和c，其中a，b，c可以是单个，也可以是多个。

以上依据图式所示的实施例详细说明了本发明的构造、特征及作用效果，但以上仅为本发明的较佳实施例，需要言明的是，上述实施例及其优选方式所涉及的技术特征，本领域技术人员可以在不脱离、不改变本发明的设计思路以及技术效果的前提下，合理地组合搭配成多种等效方案；因此，本发明不以图面所示限定实施范围，凡是依照本发明的构想所作的改变，或修改为等同变化的等效实施例，仍未超出说明书与图示所涵盖的精神时，均应在本发明的保护范围内。

Claims

1.一种基于人体关键点检测的步态分析算法设定方法，其特征在于，包括：

2.根据权利要求1所述的基于人体关键点检测的步态分析算法设定方法，其特征在于，所述时空参数包括：距离参数和时间参数。

3.根据权利要求2所述的基于人体关键点检测的步态分析算法设定方法，其特征在于，所述距离参数包括步长、跨步长、步宽以及足夹角。

4.根据权利要求2所述的基于人体关键点检测的步态分析算法设定方法，其特征在于，所述时间参数包括步频、步行速度、跨步时间、同侧站立相和迈步相时间及比例、左右侧站立相之比或迈步相之比、站立相各分期发生时间及所占时间百分比。

5.根据权利要求1所述的基于人体关键点检测的步态分析算法设定方法，其特征在于，所述关节运动角度包括步行周期内随时间变化的双侧髋膝踝关节角度。

6.根据权利要求1所述的基于人体关键点检测的步态分析算法设定方法，其特征在于，所述采集所述受试者的步态异常的步行视频包括：采集受试者以异常步态行进且超过预设距离的视频，且视频画面中受试者的像素占比大于或等于50%。

7.根据权利要求1~6任一项所述的基于人体关键点检测的步态分析算法设定方法，其特征在于，所述设定方法还包括：将所述目标步态分析算法的计算结果与运动学分析结果对比，并进行假设检验。

8.一种基于人体关键点检测的步态分析算法设定装置，其特征在于，包括：

9.根据权利要求8所述的基于人体关键点检测的步态分析算法设定装置，其特征在于，所述数据集创建模块包括视频采集单元，所述视频采集单元用于采集受试者以异常步态行进且超过预设距离的视频，且视频画面中受试者的像素占比大于或等于50%。

10.根据权利要求8或9所述的基于人体关键点检测的步态分析算法设定装置，其特征在于，所述设定装置还包括验证模块，所述验证模块用于将所述目标步态分析算法的计算结果与运动学分析结果对比，并进行假设检验。