CN111079535B

CN111079535B - 一种人体骨架动作识别方法、装置及终端

Info

Publication number: CN111079535B
Application number: CN201911124255.8A
Authority: CN
Inventors: 赵欢; 巫晓康; 唐敏杰; 丁汉
Original assignee: Huazhong University of Science and Technology
Current assignee: Huazhong University of Science and Technology
Priority date: 2019-11-18
Filing date: 2019-11-18
Publication date: 2022-09-16
Anticipated expiration: 2039-11-18
Also published as: CN111079535A

Abstract

本发明公开了一种人体骨架动作识别方法及装置，该方法包括：获取人体骨架数据，其中，人体骨架数据包括多个关节点位置；处理人体骨架数据，并提取动作序列中的特征向量；基于特征向量和预先动作识别模型，确定动作序列的类型。本发明以髋关节中心为坐标原点建立正交坐标系，将人体骨架数据由原始坐标系转移到该坐标系下表达，从而保证提取得到的特征是相对于位向具有不变性的，即不会因相机拍摄的角度和相机与人之间的距离而导致提取到的特征存在差异,可以提高人体骨架动作识别的效率和精准度。

Description

一种人体骨架动作识别方法、装置及终端

技术领域

本发明属于模式识别技术与人机协作技术领域，更具体地，涉及一种人体骨架动作识别方法、装置及终端。

背景技术

随着科学技术的不断发展，机器人越来越融入到人类社会中，应用也越来越广泛。机器人与人产生交互协作的场景也越来越多，二者之间共融是未来的重要发展趋势。得益于近年来价格低廉的深度相机的广泛的应用以及利用深度图估计人体关节位置的方法不断完善，机器人感知环境中人类的行为的能力得到了极大地提高。根据人体骨架对人类动作进行识别的方法成为了亟待解决的难题。

目前机器人感知环境中的人类的主要方式是深度相机中提取的人类骨架，其具有数据量小、易于实现实时处理的特点，更适应于当前人机协作的应用场景。但仅仅通过离线编程的方式让机器人机械地对人类骨架运动进行响应是远远不够的，机器人无法理解人类正在进行动作的含义，从而无法智能地对协作任务进行规划。因此，行业内仍然缺乏针对人类骨架的高效动作识别算法以实现机器人对于人类活动的智能感知。

相应地，本领域亟待一种人类骨架的动作识别的算法，以实现人机交互过程中机器人对于环境中的人类行为理解。

发明内容

针对现有技术问题，本发明提供一种人体骨架动作识别方法和装置，所述技术方案如下：

第一方面，本发明提供一种人体骨架动作识别方法，包括：获取人体骨架数据，其中，所述人体骨架数据包括多个关节点位置；

处理所述人体骨架数据，并提取动作序列中的特征向量；

基于所述特征向量和预先动作识别模型，确定所述动作序列的类型。

进一步地，以所述人体骨架数据中的髋关节中心为原点，构建坐标系，确定各关节点与所述髋关节中心之间的距离。

进一步地，处理所述人体骨架数据，包括，获取所述各关节点的平均骨架长度，将所述各关节的长度替换为所述各关节点的平均骨架长度。

进一步地，从训练集中学习所述人体骨架数据中各关节的平均骨架长度，具体公式如下；

其中，l_i对应关节的平均骨架长度，n对应训练集中的帧数总和，l_ik表示第k帧中对应关节i处的骨架长度；

根据广度优先搜索的方式在保持所述各关节方向不变的前提下，将其替换为所述各关节点的平均骨架长度。

进一步地，根据所述广度优先搜索的方式从所述髋关节中心开始，对所述动作序列中的关节长度进行替换，并保持方向不变，具体公式如下：

其中，pos_old和pos_new分别表示之前关节点的位置和新的关节点位置，pos_root表示根关节的位置，即与该需替换关节最接近且相较于该关节更靠近髋关节中心的关节，norm(·)表示求二范数的函数。

进一步地，将所述处理后的人体骨架数据，围绕所述坐标系多次旋转处理后，得到相对应的多个特征向量。

进一步地，将所述多个特征向量进行并联，得到特征矩阵，其中，所述特征矩阵与所述动作序列相对应。

进一步地，从所述特征矩阵中提取特征向量，输入所述动作识别模型，确定所述动作序列的类型。

第二方面，本发明提供一种人体骨架动作识别装置，包括：

获取模块，用于获取人体骨架数据，其中，所述人体骨架数据包括多个关节点位置；

处理模块，用于处理所述人体骨架数据，并提取动作序列中的特征向量；

确定模块，用于基于所述特征向量和预先动作识别模型，确定所述动作序列的类型。

进一步地，所述处理模块，包括以所述人体骨架数据中的髋关节中心为原点，构建坐标系，确定各关节点与所述髋关节中心之间的距离；

进一步地，处理所述人体骨架数据，包括，获取所述各关节点的平均骨架长度，将所述各关节的长度替换为所述各关节点的平均骨架长度；

进一步地，将所述处理后的人体骨架数据，围绕所述坐标系多次旋转处理后，得到相对应的多个特征向量；

进一步地，所述确定模块，用于从所述特征矩阵中提取特征向量，输入所述动作识别模型，确定所述动作序列的类型。

第三方面，本发明提供一种终端，包括：

存储器，用于存储程序指令；

处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行一种人体骨架动作识别方法，包括：获取人体骨架数据，其中，所述人体骨架数据包括多个关节点位置；

处理所述人体骨架数据，并提取动作序列中的特征向量；

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

1.本发明以髋关节中心为坐标原点建立正交坐标系，将人体骨架数据由原始坐标系转移到该坐标系下表达，从而保证提取得到的特征是相对于位向具有不变性的，即不会因相机拍摄的角度和相机与人之间的距离而导致提取到的特征存在差异。

2.本发明针对人体骨架大小具有个体差异的特点，学习得到训练集合中的平均骨架长度，在保证关节方向不变的前提下，将关节长度替换为平均骨架长度，从而保证提取到的特征具有一致性。

3.本发明采用旋转投影的方式来提取特征，保证单帧所包含的特征充分，空间特征足以描述人类的动作，并且处理速度快，耗费计算时间少。

附图说明

图1是本发明实施例提供的一种系统架构的示意图；

图2是本发明实施提供的一种人体骨架动作识别方法的流程图；

图3是本发明实施提供的一种人体骨架的示意说明；

图4是本发明实施提供的一种人体骨架动作识别装置的结构示意图；

图5为本发明实施提供的滑动窗口法示意图.

在所有附图中，同样的附图标记表示相同的技术特征，具体为：101为脊柱关节，102为髋关节中心，103为左髋关节，104为右髋关节。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

图1示例性的示出了本发明实施例所适用的一种系统架构，该系统架构可以服务器100，该服务器100可以包括处理器110、通信接口120和存储器130。

其中，通信接口120用于终端设备进行通信，收发终端设备传输的信息，实现通信。

处理器110是服务器100的控制中心，利用各种接口和路线连接整个服务器100的各个部分，通过运行或执行存储在存储器130内的软件程序/或模块，以及调用存储在存储器130内的数据，执行服务器100的各种功能和处理数据。可选地，处理器110可以包括一个或多个处理单元。

存储器130可用于存储软件程序以及模块，处理器110通过运行存储在存储器130的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器130可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据业务处理所创建的数据等。此外，存储器130可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

需要说明的是，上述图1所示的结构仅是一种人体骨架动作识别方法示例，本发明实施例对此不做限定。

基于上述描述，图2详细的示出了本发明实施例提供的一种人体骨架动作识别方法的流程，该流程可以由应急突发场景专题图生成的装置执行，该装置可以位于如图1所示服务器100内，也可以是该服务器100。

如图2所示，该流程具体包括：

步骤S201，获取人体骨架数据，其中，人体骨架数据包括多个关节点位置；

步骤S202，如图3所示，根据人体骨架的构型来构建以髋关节中心为原点的正交坐标系，具体的方法如下：

求出右髋关节、左髋关节和脊柱关节三个者所构成平面的法向量，使得该法向量过髋关节中心，并对该向量进行单位化，得到坐标系的y轴。

进一步地，计算坐标轴y轴与右髋关节、左髋关节和脊柱关节三个者所构成平面之间的交点P,连接P点与脊柱关节，得到向量

向量的方向指向脊柱关节，将该向量的起点平移到髋关节中心位置，并对该向量进行单位化，得到坐标系的z轴。

进一步地，计算z轴方向单位向量与y轴方向单位向量的向量积，得到坐标系的x轴。即，

其中

分别表示沿坐标轴方向的单位向量。

进一步地，将原骨架坐标系转换到新的坐标系当中：

P＝R*P′+T

其中，

T＝[x_h,y_h,z_h]^-1

P和P′分别代表原坐标系和新建立的坐标系，R代表两坐标之间的旋转矩阵，(a₁,a₂,a₃)、(a₄,a₄,a₅)、(a₇,a₈,a₉)分别表示新的坐标系中x轴、y轴、z轴方向上的单位向量，T代表髋关节中心的位置坐标。

本发明实施例以髋关节中心建立正交坐标系，将骨架数据由原始坐标系转移到该坐标系下表达，从而保证提取得到的特征是相对于位向具有不变性的，即不会因相机拍摄的角度和相机与人之间的距离而导致提取到的特征存在差异。

步骤S203，从训练集中学习各关节平均骨架的长度，优选的，利用广度优先搜索的方式在保持关节方向不变的前提下替换为学习得到的关节长度，具体的方法如下:

从所有训练集中的对应的各关节的骨架长度，提取出来求平均值得到各关节的平均骨架长度。

其中，l_i对应关节的平均骨架长度，n对应训练集中的帧数总和，l_ik表示第k帧中对应关节i处的骨架长度。

优选地，利用广度优先搜索的方式从髋关节中心开始，对各个动作序列中的关节长度进行替换，并保持关节的方向不变。

本发明实施例针对人体骨架大小具有个体差异的特点，学习得到训练集合中的平均骨架长度，利用广度优先搜索的方法，在保证关节方向不变的前提下，将关节长度替换为平均骨架长度，从而保证提取到的特征具有一致性。

步骤S204，获取动作序列中单帧的特征向量。具体方法如下：

进一步地，将人体骨架绕着新建立的坐标系进行旋转。

Skeleton_rot＝R_XYZ·Skeleton

其中，

Skeleton和Skeleton_rot分别代表旋转前的骨架位置和旋转后的骨架位置。R_XYZ代表一次绕x轴、y轴、z轴分别旋转θ的旋转矩阵，θ代表旋转的角度，n_rot代表总共旋转骨架的次数。

进一步地，将旋转后得到的骨架向xoy平面进行投影，并在xoy平面内计算各个关节位置到髋关节中心位置之间的距离，将距离按照既定的关节顺序进行排序。

进一步地，将多次旋转投影的结果进行串联，得到当前帧的特征向量，特征向量的维度应该为n_rot×(n_skeleton-1)，其中n_skeleton代表人体骨架中关节点个数。

本发明实施例采用旋转投影的方式来提取特征，保证单帧所包含的特征充分，空间特征足以描述人类的动作，并且处理速度快，耗费计算时间少。

步骤S205，将得到的单个动作序列的所有帧级特征进行并联，得到单个动作序列对应的特征矩阵。

特征矩阵的维度应该为(n_rot×(n_skeleton-1))×n_frames，其中n_frames代表该动作序列中的帧数。

步骤S206，对整个特征矩阵利用方向梯度直方图(HOG)的方法来提取进一步的特征表达。具体方法如下：

进一步地，对特征矩阵进行分割，将整个特征当成图片分割为多个小块，以50％重叠的方式对整个特征矩阵进行遍历。

进一步地，计算每个区块的方向梯度直方图。

其中，I_x和I_y分别表示水平和垂直方向上的梯度值，M(x,y)代表梯度的幅度值，θ(x,y)则代表梯度的方向。

进一步地，将2π划分为n_bin个区间，将上述计算得到的方向和梯度归并到各个区间当中。

进一步地，将各个区间中得到的直方图进行串联得到最终的重表达特征。

步骤S207，将得到的特征放到支持向量机(SVM)中进行训练，得到分类器。

步骤S208，将需要识别的动作序列进行上述类似的特征提取流程，将动作序列对应的特征放到分类器中获取当前动作的类型。

本发明实施例实现的动作分类准确率较高，在多个数据集上测试均获得较高的分类准确率。

在本发明的实施例中，步骤S204中可以将旋转后的骨架投影到其他平面，如yoz平面、xoz平面，或者投影到多个平面后将各个平面得到的特征进行串联得到合并的特征。

在本发明的实施方式中，人体骨架动作识别可以结合滑动窗口的方式实现实时的人体骨架动作识别；

进一步地，由于在实际中人的动作是连续的，而识别需要单个动作片段，采用滑动窗口法将实际的连续动作序列截取为一个个动作片段，如图5所示，如果所要识别的动作持续时间较短，滑动窗口的窗口大小可以设置为30帧，步长设置为10帧。

进一步地，滑动窗口法包括，获取待处理的连续动作序列，并生成待处理动作序列地多个候选裁剪框；

进一步地，上述待处理的连续动作序列可以是计算机设备接收到的其它设备发送的待处理的连续动作序列，如拍摄装置、其它计算机设备等，也可以是计算机设备本地存储的待处理的连续动作序列，或者是其它来源的待处理的连续动作序列；总之，计算机设备需要对待处理的连续动作序列进行裁剪处理。

进一步地，上述多个候选裁剪框的生成过程可以如下：生成不同大小、不同纵横比的滑动窗口，然后基于不同滑动窗口，在待处理动作序列上采用不同滑动幅度对滑动窗口进行滑动，可以是水平滑动，也可以是竖直滑动；滑动幅度可以自定义，取决于期望的候选裁剪框的数量；滑动窗口的纵横比可以自定义，如常见的4:3，3:4，2:3等，也可以基于待处理动作序列的纵横比，确定与该纵横比接近的一系列纵横比作为滑动窗口的纵横比；滑动窗口的大小也可以自定义，如原图的10％、30％、40％、……、100％等；当然，也可以将上述比例，作为滑动窗口与待处理动作序列的长度之比，和/或，宽度之比，以此计算滑动窗口的大小。

当然，上述各候选裁剪框也不限于是长方形，也可以是圆形、椭圆形、心形、扇形等，可以自行定义，本发明实施例对此并不限制。

在本发明的其他实施方式中，可以结合时间权重化方法实现实时的人体骨架动作识别。

基于相同的技术构思，图4示例性的示出了本发明实施例提供的一种人体骨架动作识别装置的结构，该装置可以执行应急突发场景专题图生成的流程，该装置可以位于图1所示的服务器100内，也可以是该服务器100。

如图4所示，该装置具体包括：

获取模块401，用于获取人体骨架数据，其中，所述人体骨架数据包括多个关节点位置；

处理模块402，用于处理所述人体骨架数据，并提取动作序列中的特征向量；

确定模块403，用于基于所述特征向量和预先动作识别模型，确定所述动作序列的类型。

进一步地，处理模块，包括以人体骨架数据中的髋关节中心为原点，构建坐标系，确定各关节点与所述髋关节中心之间的距离；

进一步地，处理人体骨架数据，包括，获取各关节点的平均骨架长度，将各关节的长度替换为所述各关节点的平均骨架长度；

进一步地，将处理后的人体骨架数据，围绕所述坐标系多次旋转处理后，得到相对应的多个特征向量；

进一步地，将多个特征向量进行并联，得到特征矩阵，其中，特征矩阵与动作序列相对应。

进一步地，确定模块用于从特征矩阵中提取特征向量，输入动作识别模型，确定动作序列的类型。

基于相同的技术构思，本发明提供一种终端，包括：

存储器，用于存储程序指令；

处理所述人体骨架数据，并提取动作序列中的特征向量；

基于相同的技术构思，本发明实施例还提供了一种终端，包括：

存储器，用于存储程序指令；

处理器，用于调用存储器中存储的程序指令，按照获得的程序执行上述应急突发场景专题图生成的方法。

基于相同的技术构思，本发明实施例还提供了一种计算机可读非易失性存储介质，包括计算机可读指令，当计算机读取并执行计算机可读指令时，使得计算机执行上述应急突发场景专题图生成的方法。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。