CN115171152A - 一种基于骨骼关节点识别的人体姿态特征提取方法 - Google Patents

Abstract

本发明是一种基于骨骼关节点识别的人体姿态特征提取方法，包括特征提取坐标系建立和骨骼关节点特征提取两个阶段，在特征提取坐标系建立阶段，首先根据预选取的图片构造特征提取坐标系参照图片序列，然后提取各参照图片中包含骨骼关节点数据，构造包含人体对象序列数据的特征提取参照坐标系；在骨骼关节点特征提取阶段，针对待特征提取的目标图片，首先提取该图片中人物的骨骼关节点数据，构造该图片对应的人体对象数据；然后参照特征提取坐标系，对该目标图片中的人体对象进行对齐校正处理；最后，利用OKS算法，计算目标图片中人物姿态与特征提取坐标系中的各参照图片的人物姿态的相似度，生成表示目标图片中人物的人体姿态的特征向量。

Description

一种基于骨骼关节点识别的人体姿态特征提取方法

技术领域

本发明属于计算机视觉领域，具体的说是涉及一种基于骨骼关节点识别的人体姿态特征提取方法。

背景技术

动作识别是计算机视觉领域的基本问题之一，在智能监测、运动评估、医疗看护等具有动作识别需求的应用领域具有一定的实用价值。近些年伴随着网络视频数据量的急剧增长，动作识别的重心由原来传统的机器学习方法转向基于图像的深度学习方法，而基于图像的深度学习方法在进行网络训练前需要对视频数据进行特征提取，受视频质量和场景信息复杂的影响，特征提取的方法往往也不相同。光流特征、骨骼特征、时空特征是目前人体动作识别中最常用的方法。随着图卷积神经网络的提出，因为人体骨骼中含有关节的位置信息，基于骨骼关节点的特征提取方法成为主流。

目前基于骨骼关节点的特征提取方法主要通过提取骨骼关节点的静态和动态特征来描述人体姿态。静态特征包括肢体夹角和相对距离，在静态特征的提取中，虽然实现了对视频中每一帧动作的表达，但是对于近邻帧之间的变化却无法表达，使用动态特征，如关节动能和肢体夹角的角加速度等，可以更加有利地进行人体动作的识别。而动态特征的提取对动作边界的确定性有一定的要求，对于包括多个动作，且每个动作的持续时间不同、速度变化快，不能在时间上对动作边界进行准确地定位的场景识别效果较差。

发明内容

为了解决上述问题，本发明提供了一种基于骨骼关节点识别的人体姿态特征提取方法，该特征提取方法分析了骨骼关节点数据的特征，精炼构建了人体特征向量。

为了达到上述目的，本发明是通过以下技术方案实现的：

本发明是一种基于骨骼关节点识别的人体姿态特征提取方法，包括特征提取坐标系建立和骨骼关节点特征提取两个阶段。在特征提取坐标系建立阶段，首先选取人物动作差异明显的多张图片，构造特征提取坐标系参照图片序列；然后提取图片序列内各图片中人物的骨骼关节点数据得到基于骨骼关节点描述的人体对象序列。在骨骼关节点特征提取阶段，首先对于待特征提取的包含目标人物的图片利用人体骨骼关节点识别模型提取图片中目标人物的骨骼关节点构造图片中目标人物的人体对象；然后利用OKS算法计算图片中人物姿态与特征提取坐标系参照图片序列中各图片的人物姿态的相似度，生成表示图片中人物的人体姿态的特征向量。

特征提取坐标系建立阶段：

(1)选取m张图片，构造特征提取坐标系参照图片序列R＝<r₁,r₂,…,r_m>，其中每张图片只包含一个人，且无遮挡、骨骼关节点清晰，不同图片中人物动作具有差异性。

(2)提取R中各图片中人物的骨骼关节点，得到基于骨骼关节点描述的人体对象序列S＝<s₁,s₂,…,s_m>，每一个人体对象s_i包含k个骨骼关节点N＝{n₁,n₂,…,n_k}的像素坐标，即有s_i＝{“n₁”:(x_i,1,y_i,1,conf_i,1),“n₂”:(x_i,2,y_i,2,conf_i,2),…,“n_k”:(x_i,k,y_i,k,conf_i,k)}，其中，n_j表示人体对象s_i中某个骨骼关节点的唯一标签，x_i,j和y_i,j表示s_i的骨骼关节点n_j在图片中的横纵像素坐标，conf_i,j表示s_i的骨骼关节点n_j的坐标的置信度。这里的S即为用于计算人体姿态特征向量的坐标系。

骨骼关节点特征提取阶段：

(1)对于待特征提取的包含目标人物的图片p，利用人体骨骼关节点识别模型提取图片p中目标人物的骨骼关节点，构造图片p中的人体对象o＝{“n₁”:(x₁,y₁,conf₁),“n₂”:(x₂,y₂,conf₂),…,“n_k”:(x_k,y_k,conf_k)}，其中，n_i表示人体中某个骨骼关节点的唯一标签，x_i和y_i表示骨骼关节点n_i在图片中的横纵像素坐标，conf_i表示骨骼关节点n_i坐标的置信度。

(2)利用OKS算法计算图片p中人物姿态与坐标系参照图片序列R中各图片的人物姿态的相似度，生成表示图片p中人物的人体姿态特征向量V_p，具体步骤如下：

(2a)参照坐标系S中每一个人体对象s_i的骨骼关节点数据，对人体对象o中的骨骼关节点数据进行对齐处理，得到与S中各人体对象对应的对齐校正后的人体对象序列O＝<o′₁，o′₂，...，o′_m>，具体步骤如下：

(2a1)根据预设的中心点参照骨骼关节点集合

计算人体对象o的中心点坐标C_O＝(C_{o_x}，C_{o_y})，C_{o_x}和C_{o_y}表示中心点的横纵坐标，其计算公式如下：

其中x_i和y_i表示F中第i个骨骼关节点的横纵坐标。

然后按照相同的中心点计算方法，计算坐标系S中每一个人体对象s_i的中心点坐标C_si＝(C_{si_x}，C_{si_y})。

(2a2)计算o与S中每一个人体对象s_i的中心偏移量(offset_i，x，offset_i，y)，其计算公式如下：

offset_i，x＝C_{si_x}-C_{o_x}

offset_i，y＝C_{si_y}-C_{o_y}

(2a3)参照o相对于S中每一个人体对象s_i的中心偏移量，根据如下计算公式生成o校正后的与s_i对应骨骼关节点序列o_i’＝{“n₁”：(x′_i，1，y′_i，1，conf₁)，“n₂”：(x′_i，2，y′_i，2，conf₂)，…，“n_k”：(x′_i，k，y′_i，k，conf_k)}，

x′_i，j＝x_j-offset_i，x

y′_i，j＝y_j-offset_i，y

其中x_j和y_j表示o中第j个骨骼关节点的横纵坐标。最终形成校正后的人体对象序列O＝<o′₁，o′₂，…，o′_m>。

(2b)根据校正后的人体对象序列O，利用OKS算法计算图片p中目标人物的基于坐标系S的人体姿态特征向量V_p，具体步骤如下：

(2b1)使用OKS算法，计算O中的每一个校正后人体对象o′_i与S中对应的人体对象s_i的相似度sim_i，该值表示图片p中目标人物的人体姿态与坐标系参照图片r_i中人物的人体姿态的相似度，计算公式如下：

其中：

d_ij表示o′_i中第j个骨骼关节点和s_i中第j个骨骼关节点间的欧氏距离；A_p表示图片p中目标人物的人体姿态尺度因子，其值等于能够覆盖该人体所有骨骼关节点的最小矩形框的面积的平方根；

表示第j个骨骼点的归一化因子；conf_j表示p中第j个骨骼关节点像素坐标的置信度；Z为骨骼关节点筛选因子，Z∈[0,1]。

(2b2)根据上述步骤中计算得到的O中的每一个校正后人体对象o′_i与S中对应的人体对象s_i的相似度sim_i，构造图片p中目标人物的基于坐标系S的人体姿态特征向量V_p＝[sim₁,sim₂,…,sim_m]。

本发明的有益效果是：本发明将构建参考系作为特征提取的一个重要步骤，所构建的是一套能够反映不同动作间差异性的参考系，存在一种一对多的关系，并且采用了OKS算法来区分动作相似度并将数据归一化，能够考虑全面、识别准确，相比其他特征提取方法不直接使用骨骼关节点坐标特征，而是构建参考系使用相对坐标并通过连续的相似度序列反映时间位移，不但在空间和时间上获取具有判断力的特征，而且能联系两者之间的共同关系，能够提高识别性能。

附图说明

图1是本发明的执行流程图。

图2是人体骨骼关节点位置信息图。

图3是从R的一张图片中提取的人体骨骼关节点数据示例图。

具体实施方式

以下将以图式揭露本发明的实施方式，为明确说明起见，许多实务上的细节将在以下叙述中一并说明。然而，应了解到，这些实务上的细节不应用以限制本发明。也就是说，在本发明的部分实施方式中，这些实务上的细节是非必要的。

如图1所示，本发明是一种基于骨骼关节点识别的人体姿态特征提取方法，该方法包括特征提取坐标系建立和骨骼关节点特征提取两个阶段。在特征提取坐标系建立阶段，首先选取人物动作差异明显的多张图片，构造特征提取坐标系参照图片序列；然后提取图片序列内各图片中人物的骨骼关节点数据得到基于骨骼关节点描述的人体对象序列。在骨骼关节点特征提取阶段，首先对于待特征提取的包含目标人物的图片利用人体骨骼关节点识别模型提取图片中目标人物的骨骼关节点构造图片中目标人物的人体对象；然后利用OKS算法计算图片中人物姿态与特征提取坐标系参照图片序列中各图片的人物姿态的相似度，生成表示图片中人物的人体姿态的特征向量。

下面，通过一个具体示例，描述本发明的具体实施方式：选取25张分辨率为1280×720的图片构造特征提取坐标系参照图片序列R＝<r₁,r₂,…,r₂₅>，每张图片提取的骨骼关节点如图2所示，包含17个骨骼关节点：nose、l_eye、r_eye、l_ear、r_ear，l_shoulder，r_shoulder，l_elbow，r_elbow，l_hand，r_hand，l_buttocks，r_buttocks，l_knee，r_knee，l_foot和r_foot，分别表示鼻子、左眼、右眼、左耳、右耳、左肩、右肩、左肘、右肘、左手、右手、左臀、右臀、左膝、右膝、左脚和右脚。

具体步骤如下：

特征提取坐标系建立阶段：

(1)根据选取的25张图片，构造特征提取坐标系参照图片序列R＝<r₁,r₂,…,r₂₅>，其中每张图片只包含一个人，且无遮挡、骨骼关节点清晰，不同图片中人物动作具有差异性。

(2)提取R中各图片中人物的骨骼关节点，得到基于骨骼关节点描述的人体对象序列S＝<s₁,s₂,…,s₂₅>，实施中每一个人体对象s_i包含17个骨骼关节点N＝{n₁,n₂,…,n₁₇}的像素坐标，即有s_i＝{“n₁”:(x_i,1,y_i,1,conf_i,1),“n₂”:(x_i,2,y_i,2,conf_i,2),…,“n₁₇”:(x_i,17,y_i,17,conf_i,17)}。其中，n_j表示人体对象s_i中某个骨骼关节点的唯一标签，x_i,j和y_i,j表示s_i的骨骼关节点n_j在图片中的横纵像素坐标，conf_i,j表示s_i的骨骼关节点n_j的坐标的置信度。这里的S即为用于计算人体姿态特征向量的坐标系。图3为从R的一张图片中提取的人体骨骼关节点数据示例。

骨骼关节点特征提取阶段：

(1)对于待特征提取的包含目标人物的图片p，利用人体骨骼关节点识别模型提取图片p中目标人物的骨骼关节点，构造图片p中的人体对象o＝{“n₁”:(x₁,y₁,conf₁),“n₂”:(x₂,y₂,conf₂),…,“n₁₇”:(x₁₇,y₁₇,conf₁₇)}，其中，n_i表示人体中某个骨骼关节点的唯一标签，x_i和y_i表示骨骼关节点n_i在图片中的横纵像素坐标，conf_i表示骨骼关节点n_i坐标的置信度。

(2)利用OKS算法计算图片p中人物姿态与坐标系参照图片序列R中各图片的人物姿态的相似度，生成表示图片p中人物的人体姿态特征向量V_p，具体步骤如下：

(2a)参照坐标系S中每一个人体对象s_i的骨骼关节点数据，对人体对象o中的骨骼关节点数据进行对齐处理，得到与S中各人体对象对应的对齐校正后的人体对象序列O＝<o′₁，o′₂，…，o′_2S>，具体步骤如下：

(2a1)根据预设的中心点参照骨骼关节点集合

计算人体对象o的中心点坐标C_O＝(C_{o_x},C_{o_y})，C_{o_x}和C_{o_y}表示中心点的横纵坐标，其计算公式如下：

其中x_i和y_i表示F中第i个骨骼关节点的横纵坐标。

然后按照相同的中心点计算方法，计算坐标系S中每一个人体对象s_i的中心点坐标C_si＝(C_{si_x}，C_{si_y})。

(2a2)计算o与S中每一个人体对象s_i的中心偏移量(offset_i，x，offset_i，y)，其计算公式如下：

offset_i，x＝C_{si_x}-C_{o_x}

offset_i，y＝C_{si_y}-C_{o_y}

(2a3)参照o相对于S中每一个人体对象s_i的中心偏移量，根据如下计算公式生成o校正后的与s_i对应骨骼关节点序列o_i’＝{“n₁”：(x′_i，1，y′_i，1，conf₁)，“n₂”：(x′_i，2，y′_i，2，conf₂)，…，“n_k”：(x′_i，k，y′_i，k，conf_k)}，

x′_i，j＝x_j-offset_i，x

y′_i，j＝y_j-offset_i，y

其中x_j和y_j表示o中第j个骨骼关节点的横纵坐标。最终形成校正后的人体对象序列O＝<o′₁，o′₂，...，o′₂₅>。

(2b)根据校正后的人体对象序列O，利用OKS算法计算图片p中目标人物的基于坐标系S的人体姿态特征向量V_p，具体步骤如下：

(2b1)使用OKS算法，计算O中的每一个校正后人体对象o′_i与S中对应的人体对象s_i的相似度sim_i，该值表示图片p中目标人物的人体姿态与坐标系参照图片r_i中人物的人体姿态的相似度，计算公式如下：

其中：

d_ij表示o′_i中第j个骨骼关节点和s_i中第j个骨骼关节点间的欧氏距离；A_p表示图片p中目标人物的人体姿态尺度因子，其值等于能够覆盖该人体所有骨骼关节点的最小矩形框的面积的平方根；

表示第j个骨骼点的归一化因子；conf_j表示p中第j个骨骼关节点像素坐标的置信度；Z为骨骼关节点筛选因子，Z∈[0,1]。

(2b2)根据上述步骤中计算得到的O中的每一个校正后人体对象o′_i与S中对应的人体对象s_i的相似度sim_i，构造图片p中目标人物的基于坐标系S的人体姿态特征向量V_p＝[sim₁,sim₂,…,sim₂₅]。

该特征提取方法分析了骨骼关节点数据的特征，精炼构建了人体特征向量。

以上所述仅为本发明的实施方式而已，并不用于限制本发明。对于本领域技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原理的内所作的任何修改、等同替换、改进等，均应包括在本发明的权利要求范围之内。

Claims (6)

1.一种基于骨骼关节点识别的人体姿态特征提取方法，其特征在于：所述人体姿态特征提取方法包括如下步骤：

步骤1：特征提取坐标系建立阶段：选取图片，构造特征提取坐标系参照图片序列，提取图片中人物的骨骼关节点，得到基于骨骼关节点描述的人体对象序列，从而获得用于计算人体姿态特征向量的坐标系；

步骤2：骨骼关节点特征提取阶段：对于待特征提取的包含目标人物的图片，利用人体骨骼关节点识别模型提取图片中目标人物的骨骼关节点，利用OKS算法计算待特征提取的包含目标人物的图片中人物姿态与步骤1坐标系参照图片序列中各图片的人物姿态的相似度，生成人体姿态特征向量。

2.根据权利要求1所述一种基于骨骼关节点识别的人体姿态特征提取方法，其特征在于：所述步骤2骨骼关节点特征提取阶段具体包括如下步骤：

步骤2-1:对于待特征提取的包含目标人物的图片p，利用人体骨骼关节点识别模型提取图片p中目标人物的骨骼关节点，构造图片p中的人体对象o＝{“n₁”:(x₁,y₁,conf₁),“n₂”:(x₂,y₂,conf₂),…,“n_k”:(x_k,y_k,conf_k)}，其中，n_i表示人体中某个骨骼关节点的唯一标签，x_i和y_i表示骨骼关节点n_i在图片中的横纵像素坐标，conf_i表示骨骼关节点n_i坐标的置信度；

步骤2-2:利用OKS算法计算图片p中人物姿态与坐标系参照图片序列R中各图片的人物姿态的相似度，生成表示图片p中人物的人体姿态特征向量V_p。

3.根据权利要求2所述一种基于骨骼关节点识别的人体姿态特征提取方法，其特征在于：所述步骤2-2具体包括如下步骤：

步骤2-2-1：参照步骤1中的坐标系S中每一个人体对象s_i的骨骼关节点数据，对人体对象o中的骨骼关节点数据进行对齐处理，得到与坐标系S中各人体对象对应的对齐校正后的人体对象序列O＝<o′₁,o′₂，...，o′_m>；

步骤2-2-2:根据校正后的人体对象序列O，利用OKS算法计算图片p中目标人物的基于坐标系S的人体姿态特征向量V_p。

4.根据权利要求3所述一种基于骨骼关节点识别的人体姿态特征提取方法，其特征在于：步骤2-2-1中，对人体对象o中的骨骼关节点数据进行对齐处理，得到与坐标系S中各人体对象对应的对齐校正后的人体对象序列O＝<o′₁,o′₂，...，o′_m>，具体步骤为：

步骤2-2-1-1：根据预设的中心点参照骨骼关节点集合

计算人体对象o的中心点坐标C_O＝(C_{o_x},C_{o_y})，C_{o_x}和C_{o_y}表示中心点的横纵坐标，其计算公式如下：

其中x_i和y_i表示F中第i个骨骼关节点的横纵坐标，

然后按照相同的中心点计算方法，计算坐标系S中每一个人体对象s_i的中心点坐标C_si＝(C_{si_x},C_{si_y})；

步骤2-2-1-2：计算人体对象o与坐标系S中每一个人体对象s_i的中心偏移量offset_i,x,offset_i,y，其计算公式如下：

offset_i，x＝C_{si_x}-C_{o_x}

offset_i，y＝C_{si_y}-C_{o_y}；

步骤2-2-1-3:：参照人体对象o相对于坐标系S中每一个人体对象s_i的中心偏移量，根据如下计算公式生成人体对象o校正后的与s_i对应骨骼关节点序列o_i’＝{“n₁”:(x′_i，1,y′_i，1,conf₁),“n₂”:(x′_i，2,y′_i，2,conf₂),…,“n_k”:(x′_i，k,y′_i，k,conf_k)}，

x′_i，j＝xj-offset_i，x

y′_i，j＝y_j-offset_i，y

其中x_j和y_j表示o中第j个骨骼关节点的横纵坐标，

最终形成校正后的人体对象序列O＝<o′₁,o′₂，...，o′_m>。

5.根据权利要求3所述一种基于骨骼关节点识别的人体姿态特征提取方法，其特征在于：所述步骤2-2-2具体包括如下步骤：

步骤2-2-2-1：使用OKS算法，计算人体对象序列O中的每一个校正后人体对象o′i与S中对应的人体对象s_i的相似度sim_i，该值表示图片p中目标人物的人体姿态与坐标系参照图片r_i中人物的人体姿态的相似度，计算公式如下：

其中：

d_ij表示o′_i中第j个骨骼关节点和s_i中第j个骨骼关节点间的欧氏距离；A_p表示图片p中目标人物的人体姿态尺度因子，其值等于能够覆盖该人体所有骨骼关节点的最小矩形框的面积的平方根；

表示第j个骨骼点的归一化因子；conf_j表示p中第j个骨骼关节点像素坐标的置信度；Z为骨骼关节点筛选因子，Z∈[0,1]；

步骤2-2-2-2：根据上述步骤中计算得到的人体对象序列O中的每一个校正后人体对象o′_i与S中对应的人体对象s_i的相似度sim_i，构造图片p中目标人物的基于坐标系S的人体姿态特征向量V_p＝[sim₁,sim₂,…,sim_m]。

6.根据权利要求1所述一种基于骨骼关节点识别的人体姿态特征提取方法，其特征在于：所述步骤1特征提取坐标系建立阶段具体包括如下步骤：

步骤1-1：选取m张图片，构造特征提取坐标系参照图片序列R＝<r₁,r₂,…,r_m>，其中每张图片只包含一个人，且无遮挡、骨骼关节点清晰，不同图片中人物动作具有差异性；

步骤1-2：提取步骤1-1中特征提取坐标系参照图片序列R中各图片中人物的骨骼关节点，得到基于骨骼关节点描述的人体对象序列S＝<s₁,s₂,…,s_m>，每一个人体对象s_i包含k个骨骼关节点N＝{n₁,n₂,…,n_k}的像素坐标，即有s_i＝{“n₁”:(x_i,1,y_i,1,conf_i,1),“n₂”:(x_i,2,y_i,2,conf_i,2),…,“n_k”:(x_i,k,y_i,k,conf_i,k)}，其中，n_j表示人体对象s_i中某个骨骼关节点的唯一标签，x_i,j和y_i,j表示s_i的骨骼关节点n_j在图片中的横纵像素坐标，conf_i,j表示s_i的骨骼关节点n_j的坐标的置信度，所述基于骨骼关节点描述的人体对象序列S即为用于计算人体姿态特征向量的坐标系。

Images