CN112800990B - 一种实时人体动作识别和计数方法 - Google Patents

Abstract

本发明提供一种实时人体动作识别和计数方法，包括：获取视频数据，得到人体骨骼点数据，生成时间序列的动作数据；对该动作数据根据骨骼点在时间上下文的位置信息进行定点判断，确定其动作类别；按一时间区间进行动作数据的截取，对其相关骨骼点进行解析，生成该动作数据对应的骨骼点的动作模式序列，并计算该动作模式序列与预先定义的标准动作序列的动作模式序列之间的模式距离；判断该模式距离是否小于一阈值，若是，则计数加1，否则计数不变；返回动作类别和计数结果，在用户界面进行更新并展示。本发明通过定点识别判断动作类别并结合模式设定与距离计算实现对动作的计数，为用户提供实时、精准的动作识别与计数操作。

Description

一种实时人体动作识别和计数方法

技术领域

本发明涉及人体动作识别领域，尤其涉及一种实时人体动作识别和计数方法。

背景技术

现有的人体动作识别技术中，提供了基本的动作识别框架，可实现对单人或多人的骨骼点位置的识别，并实现人体动作、面部表情、手指运动等姿态估计。基于该框架可对人体的姿态进行描绘和骨骼关键点的识别，但仍缺乏对于人体运动过程中的动作识别，现有的人体动作识别也无法实现实时的精确计数。

发明内容

本发明要解决的技术问题，在于提供一种实时人体动作识别和计数方法，可实现实时的，精确的人体动作分类与计数。

本发明提供了一种实时人体动作识别和计数方法，包括：

步骤10、获取视频数据，得到人体骨骼点数据，生成时间序列的动作数据；

步骤20、对所述动作数据根据骨骼点在时间上下文的位置信息进行定点判断，确定其动作类别；

步骤30、获取已确定动作类别的动作数据，按一时间区间进行动作数据的截取，对截取到的动作数据所涉及的相关骨骼点进行解析，生成对应的骨骼点的动作模式序列，并计算所述动作模式序列与预先定义的标准动作序列的动作模式序列之间的模式距离，判断所述模式距离是否小于一阈值，若是，则计数加1，否则计数不变；

步骤40、返回动作类别和计数结果，在用户界面进行更新并展示。

进一步的，所述步骤10进一步包括：

步骤11、通过动作识别框架得到视频数据中的人体骨骼点数据，生成相应的骨骼点空间坐标x和y，用v表示骨骼点数据v＝(x,y)，并定义人体骨骼点集合为V；

步骤12、在骨骼点之间生成对应的连接线，具体以骨骼点的邻接矩阵A表示，A＝{a_ij∈(0,1)；i∈V,j∈V}，其中，a_ij表示第i个骨骼点和第j个骨骼点之间的连接关系，矩阵元素取值为0时，表示两个骨骼点之间无连接关系，矩阵元素取值为1时，表示两个骨骼点之间有连接关系；

步骤13、获取骨骼点数据以及骨骼点间的连接关系，生成一段时间序列的动作数据。

进一步的，所述步骤20进一步包括：

步骤21、根据不同动作在运动过程中所涉及的相关骨骼点以及这些骨骼点在运动过程中的空间位置信息，预先制定手写规则，用于划分标准动作类别；

步骤22、基于时间序列上的动作数据，根据预设的手写规则，对于每个骨骼点在时间上下文的位置信息进行定点判定，确定其动作特点符合的动作类别，所述定点判定方式如下：通过邻接矩阵A所产生的连接关系，得到一组骨骼连接向集合E＝{e_ij＝v_iv_j|v_i∈V,v_j∈V}，其中v_i为第i个骨骼点数据，且为向量起始点，v_j为第j个骨骼点数据，且为向量终点，e_ij为两向量之间的点乘结果，结合点乘结果和手写规则判定所述动作数据所属的标准动作类别。

进一步的，所述手写规则具体包括：根据两骨骼点的点乘结果，得到两个骨骼点之间的夹角；

若在一段连续的动作数据中，手臂的两骨骼点的夹角始终为钝角，并且手肘骨骼点横坐标位于肩膀骨骼点横坐标外侧，则将所述动作数据判为叉腰动作类别；

若在一段连续的动作数据中，手臂的两骨骼点的夹角为锐角，手臂上半部分骨骼与肩膀所成夹角为钝角，并且手掌骨骼点纵坐标由位于肩膀骨骼点下侧运动至上侧，手掌骨骼点横坐标位于肩膀骨骼点横坐标内侧，则将所述动作数据判为抱头动作类别；

若在一段连续的动作数据中，任一手臂的两骨骼点的夹角由钝角不断缩小，但并不要求最终缩小为锐角，并且手掌骨骼点纵坐标由位于肩膀骨骼点下侧运动至上侧，则将所述动作数据判为举手动作类别；

若在一段连续的动作数据中，两手臂的两个骨骼点的夹角为锐角，手臂上半部分骨骼与肩膀所成夹角为锐角，并且两手掌骨骼点横坐标位于肩膀骨骼点横坐标内侧，则将所述动作数据判为抱手动作类别。

进一步的，所述步骤30进一步包括：

步骤31、获取已确定动作类别的动作数据，按一时间区间进行动作数据的截取；

步骤32、依次获取所述动作类别所涉及的相关骨骼点，对所述骨骼点进行解析，解析过程如下：根据每一骨骼点的时间序列数据生成x轴的动作模式序列和y轴的两段动作模式序列，每一段动作模式序列用M表示，M＝{(s₁，t₁)，(s₂，t₂)，…，(s_m，t_m)}，其中，t_m表示所述骨骼点在m帧时间节点坐标，sm表示所述骨骼点在第m帧的动作模式，其中，s＝{1，-1，0}，s的取值为0时表示不变模式，取值为1时表示上升模式，取值为-1时表示下降模式；

步骤33、将所生成的动作模式序列与对应动作类型的标准动作模式序列进行比对，通过计算两段序列的欧氏距离，得到动作模式序列的动作模式距离，分别对每一骨骼点的x轴和y轴计算动作模式距离后取均值，得到所述骨骼点的动作模式距离，累计相关骨骼点的动作模式距离；

步骤34、若累计结果小于系统预设的阈值M，则该动作计数加1，否则，计数保持不变。

进一步的，所述步骤33还包括，在计算两段序列的欧式距离前进行等模式处理：对待比对的两段动作模式序列中时间节点较少的一段动作模式序列进行时间拆分，使得两段动作模式序列在节点个数上达到一致，即完成等模式化处理。

进一步的，所述阈值M的计算公式为：M＝动作模式序列长度×骨骼点个数/0.6。

本发明的优点在于：通过获取并解析骨骼点数据，进行定点识别相关的动作，结合动作模式判断与欧式距离，将所识别截取的动作数据片段与对应的标准动作数据片段进行数据比对计算，在所设定的时间区间内进行动作计数，可实现实时的识别人体动作并进行精准的计数。

附图说明

下面参照附图结合实施例对本发明作进一步的说明。

图1为本发明一种实时人体动作识别和计数方法的执行流程图。

图2为本发明在一种实时人体动作识别和计数方法的原理示意图。

具体实施方式

如图1和图2所示，本发明的一种实时人体动作识别和计数方法，包括：

步骤10、获取视频数据，得到人体骨骼点数据，生成时间序列的动作数据；

步骤20、对所述动作数据根据骨骼点在时间上下文的位置信息进行定点判断，确定其动作类别；

步骤30、获取已确定动作类别的动作数据，按一时间区间进行动作数据的截取，对截取到的动作数据所涉及的相关骨骼点进行解析，生成对应的骨骼点的动作模式序列，并计算所述动作模式序列与预先定义的标准动作序列的动作模式序列之间的模式距离，判断所述模式距离是否小于一阈值，若是，则计数加1，否则计数不变；

步骤40、返回动作类别和计数结果，在用户界面进行更新并展示。具体的，可以将分类和计数结果封装成json格式数据返回前端页面，进行显示。

较佳的，所述步骤10进一步包括：

步骤11、通过现有的动作识别框架得到视频数据中的人体骨骼点数据，生成相应的骨骼点空间坐标x和y，用v表示骨骼点数据v＝(x,y)，并定义人体骨骼点集合为V；

步骤12、在骨骼点之间生成对应的连接线，具体以骨骼点的邻接矩阵A表示，A＝{a_ij∈(0,1)；i∈V,j∈V}，其中，a_ij表示第i个骨骼点和第j个骨骼点之间的连接关系，矩阵元素取值为0时，表示两个骨骼点之间无连接关系，矩阵元素取值为1时，表示两个骨骼点之间有连接关系；

步骤13、获取骨骼点数据以及骨骼点间的连接关系，生成一段时间序列的动作数据。

较佳的，所述步骤20进一步包括：

步骤21、根据不同动作在运动过程中所涉及的相关骨骼点以及这些骨骼点在运动过程中的空间位置信息，预先制定手写规则，用于划分标准动作类别；

步骤22、基于时间序列上的动作数据，根据预设的手写规则，对于每个骨骼点在时间上下文的位置信息进行定点判定，确定其动作特点符合的动作类别，所述定点判定方式如下：通过邻接矩阵A所产生的连接关系，得到一组骨骼连接向集合E＝{e_ij＝v_iv_j|v_i∈V,v_j∈V}，其中v_i为第i个骨骼点数据，且为向量起始点，v_j为第j个骨骼点数据，且为向量终点，e_ij为两向量之间的点乘结果，结合点乘结果和手写规则判定所述动作数据所属的标准动作类别。本发明中是结合不同动作在运动过程中所涉及的相关骨骼点，以及这些骨骼点在运动过程中的空间位置信息是否符合某个动作的相应特点来确定该段时间序列的动作数据符合哪一动作类别。

较佳的，所述手写规则具体包括：

由于点乘结果可用于计算两向量(即两骨骼)之间的夹角，这里我们将夹角的计算结果分为两类，分别为锐角(0<夹角<90)和钝角(90<夹角<180)，并定义以下手写规则：

根据两骨骼点的点乘结果，得到两个骨骼点之间的夹角，

若在一段连续的动作数据中，手臂的两骨骼点的夹角始终为钝角，并且手肘骨骼点横坐标位于肩膀骨骼点横坐标外侧，则将所述动作数据判为叉腰动作类别；

若在一段连续的动作数据中，手臂的两骨骼点的夹角为锐角，手臂上半部分骨骼与肩膀所成夹角为钝角，并且手掌骨骼点纵坐标由位于肩膀骨骼点下侧运动至上侧，手掌骨骼点横坐标位于肩膀骨骼点横坐标内侧，则将所述动作数据判为抱头动作类别；

若在一段连续的动作数据中，任一手臂的两骨骼点的夹角由钝角不断缩小，但并不要求最终缩小为锐角，并且手掌骨骼点纵坐标由位于肩膀骨骼点下侧运动至上侧，则将所述动作数据判为举手动作类别；

若在一段连续的动作数据中，两手臂的两个骨骼点的夹角为锐角，手臂上半部分骨骼与肩膀所成夹角为锐角，并且两手掌骨骼点横坐标位于肩膀骨骼点横坐标内侧，则将所述动作数据判为抱手动作类别。

较佳的，所述步骤30进一步包括：

步骤31、获取已确定动作类别的动作数据，按一时间区间进行动作数据的截取；

步骤32、依次获取所述动作类别所涉及的相关骨骼点，对所述骨骼点进行解析，解析过程如下：根据每一骨骼点的时间序列数据生成x轴的动作模式序列和y轴的两段动作模式序列，每一段动作模式序列用M表示，M＝{(s₁，t₁)，(s₂，t₂)，…，(s_m，t_m)}，其中，t_m表示所述骨骼点在m帧时间节点坐标，sm表示所述骨骼点在第m帧的动作模式，其中，s＝{1，-1，0}，s的取值为0时表示不变模式，取值为1时表示上升模式，取值为-1时表示下降模式；所述动作模式s的计算方式为：将骨骼点在当前帧的空间坐标信息减去所述骨骼点在前一帧的空间坐标信息，得到当前帧空间坐标的动作模式值，以第t帧和第t-1帧的数据为例计算第t帧的动作模式，设某一骨骼点第t帧和第t-1帧的空间坐标分别为f_t＝(x_t，y_t)和f_t-1＝(x_t-1，y_t-1)，将两者相减，得到x_st＝(x_t-x_t-1)和y_st＝(y_t-y_t-1)即该公式计算结果若大于0，则为上升，小于0，则为下降，等于0，则为不变，经过上述计算生成每一骨骼点在x轴和y轴上的两段动作模式序列。

步骤33、将所生成的动作模式序列与对应动作类型的标准动作模式序列进行比对，通过计算两段序列的欧氏距离，得到动作模式序列的动作模式距离，分别对每一骨骼点的x轴和y轴计算动作模式距离后取均值，得到所述骨骼点的动作模式距离，累计相关骨骼点的动作模式距离；

步骤34、若累计结果小于系统预设的阈值M，则该动作计数加1，否则，计数保持不变。较佳的，所述阈值M的计算公式为：M＝动作模式序列长度×骨骼点个数/0.6。

较佳的，所述步骤33还包括，在计算两段序列的欧式距离前进行等模式处理：对待比对的两段动作模式序列中时间节点较少的一段动作模式序列进行时间拆分，使得两段动作模式序列在节点个数上达到一致，即完成等模式化处理；比如，一段标准动作序列的动作模式为M₁＝{(s₁₁，t₁₁)，(s₁₂，t₁₂)，…，(s_1m，t_1m)}，一段用户动作序列的动作模式为M₂＝{(s₂₁，t₂₁)，(s₂₂，t₂₂)，…，(s_2n，t_2n)}，两段动作序列在时间长度上相等，即t_1m＝t_2n，但由于不同人做同一动作的时间不一定相等，并且姿态识别框架在采集动作时的时间间隔存在细微偏差，m不一定等于n，为了能够进行序列比对，需对动作模式序列进行等模式化，使得m＝n，假设标准序列的时间长度为t₁＝{t₁₁，t₁₂，t₁₃}，用户序列的时间长度为t₂＝{t₂₁，t₂₂}，t₁时间等于t₂，但在时间节点上不一致，等模式化后t₁＝{t₁₁，t₁₂，t₁₃，t₁₄}，t₂＝{t₂₁，t₂₂，t₂₃，t₂₄}，即两段时间长度仍相等，但是时间经过拆分后，在节点上达成一致，至此完成了序列的等模式化。将等模式化后的序列进行欧氏距离的计算，具有相同时间节点的序列片段进行计算，d_t＝(s_1t-s_2t)，将所有片段的计算结果相加，

即两段动作序列的动作模式距离。因为每个骨骼点有x和y两段序列，因此计算结果取该骨骼点的两段序列的平均值作为所述骨骼点的动作模式距离。

本发明采用现有的姿态识别框架(比如南威姿态识别框架)所识别得到的人体骨骼点框架数据，并每一帧的数据进行一个定点识别判断，对识别结果进行分类，通过识别的动作数据，再进行一定时间范围内的数据采集，形成一段动作序列，在该段动作序列基础上，利用piece-wise linear representation的算法，对该动作序列所涉及的动作类型，与同类型的标准动作序列进行序列匹配，完成动作计数，实现实时的动作分类与动作计数，满足用户的应用需求，比如可满足对用户的健身过程中的动作的分类与实时计数要求。

虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。

Claims (4)

1.一种实时人体动作识别和计数方法，其特征在于：包括：

步骤10、获取视频数据，得到人体骨骼点数据，生成时间序列的动作数据；

步骤20、对所述动作数据根据骨骼点在时间上下文的位置信息进行定点判断，确定其动作类别；

步骤30、获取已确定动作类别的动作数据，按一时间区间进行动作数据的截取，对截取到的动作数据所涉及的相关骨骼点进行解析，生成对应的骨骼点的动作模式序列，并计算所述动作模式序列与预先定义的标准动作序列的动作模式序列之间的模式距离，判断所述模式距离是否小于一阈值，若是，则计数加1，否则计数不变；

步骤40、返回动作类别和计数结果，在用户界面进行更新并展示；

所述步骤20进一步包括：

步骤21、根据不同动作在运动过程中所涉及的相关骨骼点以及这些骨骼点在运动过程中的空间位置信息，预先制定手写规则，用于划分标准动作类别；

步骤22、基于时间序列上的动作数据，根据预设的手写规则，对于每个骨骼点在时间上下文的位置信息进行定点判定，确定其动作特点符合的动作类别，所述定点判定方式如下：通过邻接矩阵A所产生的连接关系，得到一组骨骼连接向集合E＝{e_ij＝v_iv_j|v_i∈V,v_j∈V}，其中v_i为第i个骨骼点数据，且为向量起始点，v_j为第j个骨骼点数据，且为向量终点，e_ij为两向量之间的点乘结果，结合点乘结果和手写规则判定所述动作数据所属的标准动作类别；

所述手写规则具体包括：根据两骨骼点的点乘结果，得到两个骨骼点之间的夹角；

若在一段连续的动作数据中，手臂的两骨骼点的夹角始终为钝角，并且手肘骨骼点横坐标位于肩膀骨骼点横坐标外侧，则将所述动作数据判为叉腰动作类别；

若在一段连续的动作数据中，手臂的两骨骼点的夹角为锐角，手臂上半部分骨骼与肩膀所成夹角为钝角，并且手掌骨骼点纵坐标由位于肩膀骨骼点下侧运动至上侧，手掌骨骼点横坐标位于肩膀骨骼点横坐标内侧，则将所述动作数据判为抱头动作类别；

若在一段连续的动作数据中，任一手臂的两骨骼点的夹角由钝角不断缩小，但并不要求最终缩小为锐角，并且手掌骨骼点纵坐标由位于肩膀骨骼点下侧运动至上侧，则将所述动作数据判为举手动作类别；

若在一段连续的动作数据中，两手臂的两个骨骼点的夹角为锐角，手臂上半部分骨骼与肩膀所成夹角为锐角，并且两手掌骨骼点横坐标位于肩膀骨骼点横坐标内侧，则将所述动作数据判为抱手动作类别；

所述步骤30进一步包括：

步骤31、获取已确定动作类别的动作数据，按一时间区间进行动作数据的截取；

步骤32、依次获取所述动作类别所涉及的相关骨骼点，对所述骨骼点进行解析，解析过程如下：根据每一骨骼点的时间序列数据生成x轴的动作模式序列和y轴的两段动作模式序列，每一段动作模式序列用M表示，M＝{(s₁，t₁)，(s₂，t₂)，…，(s_m，t_m)}，其中，t_m表示所述骨骼点在m帧时间节点坐标，s_m表示所述骨骼点在第m帧的动作模式，其中，s＝{1，-1，0}，s的取值为0时表示不变模式，取值为1时表示上升模式，取值为-1时表示下降模式；

步骤33、将所生成的动作模式序列与对应动作类型的标准动作模式序列进行比对，通过计算两段序列的欧氏距离，得到动作模式序列的动作模式距离，分别对每一骨骼点的x轴和y轴计算动作模式距离后取均值，得到所述骨骼点的动作模式距离，累计相关骨骼点的动作模式距离；

步骤34、若累计结果小于系统预设的阈值M，则该动作计数加1，否则，计数保持不变。

2.如权利要求1所述的一种实时人体动作识别和计数方法，其特征在于：所述步骤10进一步包括：

步骤11、通过动作识别框架得到视频数据中的人体骨骼点数据，生成相应的骨骼点空间坐标x和y，用v表示骨骼点数据v＝(x,y)，并定义人体骨骼点集合为V；

步骤12、在骨骼点之间生成对应的连接线，具体以骨骼点的邻接矩阵A表示，A＝{a_ij∈(0,1)；i∈V,j∈V}，其中，a_ij表示第i个骨骼点和第j个骨骼点之间的连接关系，矩阵元素取值为0时，表示两个骨骼点之间无连接关系，矩阵元素取值为1时，表示两个骨骼点之间有连接关系；

步骤13、获取骨骼点数据以及骨骼点间的连接关系，生成一段时间序列的动作数据。

3.如权利要求1所述的一种实时人体动作识别和计数方法，其特征在于：所述步骤33还包括，在计算两段序列的欧式距离前进行等模式处理：对待比对的两段动作模式序列中时间节点较少的一段动作模式序列进行时间拆分，使得两段动作模式序列在节点个数上达到一致，完成等模式化处理。

4.如权利要求1所述的一种实时人体动作识别和计数方法，其特征在于：所述阈值M的计算公式为：M＝动作模式序列长度×骨骼点个数/0.6。

Images