CN110472554B - 基于姿态分割和关键点特征的乒乓球动作识别方法及系统 - Google Patents

Abstract

本发明公开了一种基于姿态分割和关键点特征的乒乓球动作识别方及系统，方法包括以下过程：获取拍摄了乒乓球运动员训练时接发球动作的视频；从视频中分割出仅包含手臂区域的视频帧图像；对仅包含手臂区域的视频帧图像进行手臂区域的骨架关节点估计，获取每个视频帧图像中手臂骨架关键点信息；根据每个视频帧图像中骨架关键点信息，获取每帧内骨架关键点的空间结构特征和时序特征；根据骨架关键点的空间结构特征和时序特征，对运动员接发球动作进行识别分类。本发明分析了接发球动作的时空关系建立了时空特征，提高了动作识别的准确率。

Description

基于姿态分割和关键点特征的乒乓球动作识别方法及系统

技术领域

本发明涉及图像与视频分析技术领域，具体涉及一种基于人体姿态分割结合骨架关键点特征的乒乓球接发球动作识别方法及系统。

背景技术

随着信息化进程的加快以及人工智能领域技术的不断发展，体育运动作为社会活动的组成部分,人工智能的应用将极大影响传统的运动训练、竞赛、竞技体育管理的组织形式。传统的乒乓球接发球训练主要靠教练员从旁指导，随着技术的发展逐渐出现了嵌入智能设备的运动装备，用于采集运动信息和人体指标等数据，通过网对数据进行储存和分析,用于指导运动员的训练方式和规范，为教练员制定训练计划提供参考。但是，传统方法人工代价较大耗时费力，智能设备成本高制作复杂不易于普及。

随着计算机视觉的迅速发展，尤其是深度学习在视频理解、行为识别、目标检测、图像与视频分析等诸多领域都取得了巨大成功。因此，基于机器视觉实现乒乓球运动员接发球训练的动作识别评判是一种能够广泛应用和推广的手段。

发明内容

本发明的目的在于克服现有技术中的不足，提出了一种基于姿态分割和关键点特征的乒乓球动作识别方法及系统，分析了接发球动作的时空关系建立了时空特征，提高了动作识别的准确率。

为解决上述技术问题，本发明提供了一种基于姿态分割和关键点特征的乒乓球动作识别方法，其特征是，包括以下过程：

获取拍摄了乒乓球运动员训练时接发球动作的视频；

从视频中分割出仅包含手臂区域的视频帧图像；

对仅包含手臂区域的视频帧图像进行手臂区域的骨架关节点估计，获取每个视频帧图像中手臂骨架关键点信息；

根据每个视频帧图像中骨架关键点信息，获取每帧内骨架关键点的空间结构特征和时序特征；

根据骨架关键点的空间结构特征和时序特征，对运动员接发球动作进行识别分类。

进一步的，从视频中分割出仅包含手臂区域的视频帧图像包括：

利用实例分割架构Mask RCNN网络从视频中分割出仅包含手臂区域的视频帧图像。

进一步的，利用实例分割架构Mask RCNN网络从视频中分割出仅包含手臂区域的视频帧图像的具体过程为：

(1)通过训练过的RPN网络将当前视频帧图像经过多次卷积操作提取生成多目标特征图，在目标特征图上运用滑动窗口框选目标区域，并通过卷积层和全连接层计算生成目标区域；

(2)将RPN提取出的目标区域划分为k x k个小特征图并通过双线性插值法对这些区域计算固定尺寸的像素值来代表不同目标区域更精确的特征；

(3)对每个目标区域的特征图输出二进制图像掩码，通过卷积提供的像素间的关系为每个目标区域生成一个掩码表示，根据获取到的掩码将每帧图像中包含动作信息的手臂区域分割出来，剔出与动作信息无关的区域。

进一步的，对仅包含手臂区域的视频帧图像进行手臂区域的骨架关节点估计包括：

利用OpenCV技术进行手臂区域的骨架关节点估计。

进一步的，根据每个视频帧图像中骨架关键点信息获取每帧内骨架关键点的空间结构特征和时序特征的具体过程为：

首先将提取的骨架关键点坐标矢量映射进行初步编码处理，接着，将所有关键点坐标馈入GCN网络进行训练，将关键点坐标构建成图的结构，以此表示出每帧图像手臂部位关键点的空间结构特征；

将得到的空间结构特征通过LSTM进行时序建模，获得每帧图像手臂部位关键点的时序特征。

相应的，本发明还提供了一种基于姿态分割和关键点特征的乒乓球动作识别系统，其特征是，视频获取模块、图像分割模块、关键点提取模块、特征提取模块和动作识别模块；

视频获取模块，用于获取拍摄了乒乓球运动员训练时接发球动作的视频；

图像分割模块，用于从视频中分割出仅包含手臂区域的视频帧图像；

关键点提取模块，用于对仅包含手臂区域的视频帧图像进行手臂区域的骨架关节点估计，获取每个视频帧图像中手臂骨架关键点信息；

特征提取模块，用于根据每个视频帧图像中骨架关键点信息，获取每帧内骨架关键点的空间结构特征和时序特征；

动作识别模块，用于根据骨架关键点的空间结构特征和时序特征，对运动员接发球动作进行识别分类。

进一步的，图像分割模块中，从视频中分割出仅包含手臂区域的视频帧图像包括：

利用实例分割架构Mask RCNN网络从视频中分割出仅包含手臂区域的视频帧图像。

进一步的，图像分割模块中，利用实例分割架构Mask RCNN网络从视频中分割出仅包含手臂区域的视频帧图像的具体过程为：

(1)通过训练过的RPN网络将当前视频帧图像经过多次卷积操作提取生成多目标特征图，在目标特征图上运用滑动窗口框选目标区域，并通过卷积层和全连接层计算生成目标区域；

(2)将RPN提取出的目标区域划分为k x k个小特征图并通过双线性插值法对这些区域计算固定尺寸的像素值来代表不同目标区域更精确的特征；

(3)对每个目标区域的特征图输出二进制图像掩码，通过卷积提供的像素间的关系为每个目标区域生成一个掩码表示，根据获取到的掩码将每帧图像中包含动作信息的手臂区域分割出来，剔出与动作信息无关的区域。

进一步的，关键点提取模块中，对仅包含手臂区域的视频帧图像进行手臂区域的骨架关节点估计包括：

利用OpenCV技术进行手臂区域的骨架关节点估计。

进一步的，特征提取模块中，根据每个视频帧图像中骨架关键点信息获取每帧内骨架关键点的空间结构特征和时序特征的具体过程为：

首先将提取的骨架关键点坐标矢量映射进行初步编码处理，接着，将所有关键点坐标馈入GCN网络进行训练，将关键点坐标构建成图的结构，以此表示出每帧图像手臂部位关键点的空间结构特征；

将得到的空间结构特征通过LSTM进行时序建模，获得每帧图像手臂部位关键点的时序特征。

与现有技术相比，本发明所达到的有益效果是：

1、本发明所需硬件设备简单，无需运动员穿戴设备完全基于网络摄像机传输视频流，获取运动员训练视频数据；

2、利用实例分割框架分割出用于主要区分动作类别的手臂区域，弱化和剔除静态背景及人体其他躯干，使得动作特征提取更专注于关键区域。通过姿态分割后的视频帧图像进行关节点估计，在空间上利用注意机制提取关节点信息，在时间上通过多个LSTM的时序堆叠网络获取详细的时序动态特征作为多分类器进行分类的标签，该方法充分分析了接发球动作的时空关系，建立了鲁棒的时空特征，提高了动作识别的准确率。

附图说明

图1为本发明方法的流程图示意图。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

本发明的一种基于姿态分割和关键点特征的乒乓球动作识别方法，参见图1所示，包括以下步骤：

步骤1，获取拍摄了乒乓球运动员训练时接发球动作的视频；

将网络摄像头放置在运动员前方，用于拍摄乒乓球运动员训练时的接发球动作，从网络摄像头获取此拍摄了乒乓球运动员训练时接发球动作的视频。

步骤2，从视频中分割出仅包含手臂区域的视频帧图像；

由于乒乓球接发球动作的动作类别主要由手臂的动作进行区分，因此手臂区域的动作包含能用于动作识别的主要特征信息。构建实例分割框架Mask RCNN网络(此网络是现有技术)，将上一部获取的视频帧图像作为网络输入，该网络包括含有五层卷积层和全连接层的Reginal Proposal Network(RPN)网络用于提取候选目标区域(即手臂区域、人体其他区域以及背景)，并将由RPN提取出的候选框进行精确定位分割出不同区域的位置，接着对分割出的每个区域生成二进制掩码用于代表不同区域的类别，根据掩码对图像中的区域进行分类分割，获取用于提取动作特征的手臂区域的视频帧图像。

利用实例分割架构Mask RCNN网络进行运动员手臂区域分割的具体过程为：

(1)通过训练过的RPN网络将当前视频帧图像经过多次卷积操作提取生成多目标特征图，表示选取的包含手臂区域、人体其他区域以及背景等k个目标区域的特征，在目标特征图上运用滑动窗口框选目标区域(大概位置)，并通过卷积层和全连接层计算生成目标区域；

(2)将RPN提取出的目标区域划分为k x k个小特征图并通过双线性插值法(一种图像缩放算法，它充分的利用了原图中虚拟点四周的四个真实存在的像素值来共同决定目标图中的一个像素值)对这些区域计算固定尺寸的像素值来代表不同目标区域更精确的特征，避免引入量化操作引起误差，使原图中的像素和特征图中的像素完全对齐(即同一帧图像的特征图和原图的相对位置相同不产生空间位置的偏移)，有利于提高目标检测和实例分割的精度；

(3)对每个目标区域的特征图输出二进制图像掩码(通过卷积核算子重新计算图像中各个像素的值并根据权重因子对原像素点进行加权平均)，通过卷积提供的像素间的关系为每个目标区域生成一个掩码表示，根据获取到的掩码将每帧图像中包含动作信息的手臂区域分割出来，剔出与动作信息无关的区域。

步骤3，对仅包含手臂区域的视频帧图像利用OpenCV技术进行手臂区域的骨架关节点估计，获取每个视频帧图像中手臂骨架关键点信息；

步骤4，根据每个视频帧图像中骨架关键点信息，获取每帧内骨架关键点的空间结构特征和时序特征。

首先将提取的骨架关键点坐标矢量映射进行初步编码处理，即将坐标归一化到[0,255]避免异常数据的影响。接着，将所有关键点坐标馈入图卷积网络(GraphConvolutional Networks，GCN)进行训练，将关键点坐标构建成图的结构，将相邻的关键点称为邻近节点。将每一节点的坐标编码后的特征向量发送给邻近节点，接着每个节点将邻近节点的特征信息聚集起来进行局部结构信息的融合，通过GCN网络反复迭代更新参数最终将各个节点的信息进行融合，以此表示出每帧图像手臂部位关键点的空间结构特征。

从所有邻近节点接收的关键点信息为

其中

表示从节点i接收的节点k的信息，

是时间步骤t-1的节点i的状态，W_m是共享的线性权重，b_m为偏差。提取节点级输出作为每帧内关键点间的空间结构关系

最后将各节点的信息融合计算每一帧关键点的高维空间结构特征序列。

将得到的空间结构特征序列通过LSTM(长短期记忆网络)进行时序建模。LSTM网络包含遗忘门，输入门和输出门。将门的开闭状态用于判断模型网络的记忆态(之前网络的状态)在该层输出的结果是否达到阈值从而加入到当前该层的计算中。每一层包括阀门节点的权重都会在每一次模型反向传播训练过程中更新。时间序列是依赖于视频前后帧的相互关系，而LSTM对时间序列的记忆能力能够提取出视频动作在时间上的详细特征。

将长时特征序列划分为多个连续的短时片段，每个片段通过LSTM网络进行时序建模，不同片段之间的LSTM共享参数。将每个短时片段最后的隐含层的状态用来表示这个片段，再将当前片段及之前的所有片段的参数进行累加，得到所包含的所有详细的时序特征。为了更好地保持表示从开始到当前片段的长时序列之间的时序关系，可以将该动态特征作为下一个短时片段的LSTM网络的初始化参数。利用增量式损失函数提升网络对细微动作的理解，加速网络收敛防止过拟合，最终获取详细的时序特征。

步骤5，将以上获得的包含动作信息的骨架关键点空间结构特征和时序特征作为多分类器进行分类的标签，对视频中运动员接发球动作进行识别分类，将识别结果发送到前端系统进行展示并存储到数据库中，作为运动员在训练时进行动作的评判和训练制定计划的辅助参考。

本发明利用实例分割框架分割出用于主要区分动作类别的手臂区域，弱化和剔除静态背景及人体其他躯干，使得动作特征提取更专注于关键区域。通过姿态分割后的视频帧图像进行关节点估计，在空间上利用注意机制提取关节点信息，在时间上通过多个LSTM的时序堆叠网络获取详细的时序动态特征作为多分类器进行分类的标签，该方法充分分析了接发球动作的时空关系，建立了鲁棒的时空特征，提高了动作识别的准确率。

相应的，本发明还提供了一种基于姿态分割和关键点特征的乒乓球动作识别系统，其特征是，视频获取模块、图像分割模块、关键点提取模块、特征提取模块和动作识别模块；

视频获取模块，用于获取拍摄了乒乓球运动员训练时接发球动作的视频；

图像分割模块，用于从视频中分割出仅包含手臂区域的视频帧图像；

关键点提取模块，用于对仅包含手臂区域的视频帧图像进行手臂区域的骨架关节点估计，获取每个视频帧图像中手臂骨架关键点信息；

特征提取模块，用于根据每个视频帧图像中骨架关键点信息，获取每帧内骨架关键点的空间结构特征和时序特征；

动作识别模块，用于根据骨架关键点的空间结构特征和时序特征，对运动员接发球动作进行识别分类。

进一步的，图像分割模块中，从视频中分割出仅包含手臂区域的视频帧图像包括：

利用实例分割架构Mask RCNN网络从视频中分割出仅包含手臂区域的视频帧图像。

进一步的，图像分割模块中，利用实例分割架构Mask RCNN网络从视频中分割出仅包含手臂区域的视频帧图像的具体过程为：

(1)通过训练过的RPN网络将当前视频帧图像经过多次卷积操作提取生成多目标特征图，在目标特征图上运用滑动窗口框选目标区域，并通过卷积层和全连接层计算生成目标区域；

(2)将RPN提取出的目标区域划分为k x k个小特征图并通过双线性插值法对这些区域计算固定尺寸的像素值来代表不同目标区域更精确的特征；

(3)对每个目标区域的特征图输出二进制图像掩码，通过卷积提供的像素间的关系为每个目标区域生成一个掩码表示，根据获取到的掩码将每帧图像中包含动作信息的手臂区域分割出来，剔出与动作信息无关的区域。

进一步的，关键点提取模块中，对仅包含手臂区域的视频帧图像进行手臂区域的骨架关节点估计包括：

利用OpenCV技术进行手臂区域的骨架关节点估计。

进一步的，特征提取模块中，根据每个视频帧图像中骨架关键点信息获取每帧内骨架关键点的空间结构特征和时序特征的具体过程为：

首先将提取的骨架关键点坐标矢量映射进行初步编码处理，接着，将所有关键点坐标馈入GCN网络进行训练，将关键点坐标构建成图的结构，以此表示出每帧图像手臂部位关键点的空间结构特征；

将得到的空间结构特征通过LSTM进行时序建模，获得每帧图像手臂部位关键点的时序特征。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变型，这些改进和变型也应视为本发明的保护范围。

Claims (6)

1.一种基于姿态分割和关键点特征的乒乓球动作识别方法，其特征是，包括以下过程：

获取拍摄了乒乓球运动员训练时接发球动作的视频；

从视频中分割出仅包含手臂区域的视频帧图像；

对仅包含手臂区域的视频帧图像进行手臂区域的骨架关节点估计，获取每个视频帧图像中手臂骨架关键点信息；

根据每个视频帧图像中骨架关键点信息，获取每帧内骨架关键点的空间结构特征和时序特征；

根据骨架关键点的空间结构特征和时序特征，对运动员接发球动作进行识别分类；

从视频中分割出仅包含手臂区域的视频帧图像包括：

利用实例分割架构Mask RCNN网络从视频中分割出仅包含手臂区域的视频帧图像；

利用实例分割架构Mask RCNN网络从视频中分割出仅包含手臂区域的视频帧图像的具体过程为：

(1)通过训练过的RPN网络将当前视频帧图像经过多次卷积操作提取生成多目标特征图，在目标特征图上运用滑动窗口框选目标区域，并通过卷积层和全连接层计算生成目标区域；

(2)将RPN提取出的目标区域划分为k x k个小特征图并通过双线性插值法对这些区域计算固定尺寸的像素值来代表不同目标区域更精确的特征；

(3)对每个目标区域的特征图输出二进制图像掩码，通过卷积提供的像素间的关系为每个目标区域生成一个掩码表示，根据获取到的掩码将每帧图像中包含动作信息的手臂区域分割出来，剔出与动作信息无关的区域。

2.根据权利要求1所述的一种基于姿态分割和关键点特征的乒乓球动作识别方法，其特征是，对仅包含手臂区域的视频帧图像进行手臂区域的骨架关节点估计包括：

利用OpenCV进行手臂区域的骨架关节点估计。

3.根据权利要求1所述的一种基于姿态分割和关键点特征的乒乓球动作识别方法，其特征是，根据每个视频帧图像中骨架关键点信息获取每帧内骨架关键点的空间结构特征和时序特征的具体过程为：

首先将提取的骨架关键点坐标矢量映射进行初步编码处理，接着，将所有关键点坐标馈入GCN网络进行训练，将关键点坐标构建成图的结构，以此表示出每帧图像手臂部位关键点的空间结构特征；

将得到的空间结构特征通过LSTM进行时序建模，获得每帧图像手臂部位关键点的时序特征。

4.一种基于姿态分割和关键点特征的乒乓球动作识别系统，其特征是，视频获取模块、图像分割模块、关键点提取模块、特征提取模块和动作识别模块；

视频获取模块，用于获取拍摄了乒乓球运动员训练时接发球动作的视频；

图像分割模块，用于从视频中分割出仅包含手臂区域的视频帧图像；

关键点提取模块，用于对仅包含手臂区域的视频帧图像进行手臂区域的骨架关节点估计，获取每个视频帧图像中手臂骨架关键点信息；

特征提取模块，用于根据每个视频帧图像中骨架关键点信息，获取每帧内骨架关键点的空间结构特征和时序特征；

动作识别模块，用于根据骨架关键点的空间结构特征和时序特征，对运动员接发球动作进行识别分类；

图像分割模块中，从视频中分割出仅包含手臂区域的视频帧图像包括：

利用实例分割架构Mask RCNN网络从视频中分割出仅包含手臂区域的视频帧图像；

图像分割模块中，利用实例分割架构Mask RCNN网络从视频中分割出仅包含手臂区域的视频帧图像的具体过程为：

(1)通过训练过的RPN网络将当前视频帧图像经过多次卷积操作提取生成多目标特征图，在目标特征图上运用滑动窗口框选目标区域，并通过卷积层和全连接层计算生成目标区域；

(2)将RPN提取出的目标区域划分为k x k个小特征图并通过双线性插值法对这些区域计算固定尺寸的像素值来代表不同目标区域更精确的特征；

(3)对每个目标区域的特征图输出二进制图像掩码，通过卷积提供的像素间的关系为每个目标区域生成一个掩码表示，根据获取到的掩码将每帧图像中包含动作信息的手臂区域分割出来，剔出与动作信息无关的区域。

5.根据权利要求4所述的一种基于姿态分割和关键点特征的乒乓球动作识别系统，其特征是，关键点提取模块中，对仅包含手臂区域的视频帧图像进行手臂区域的骨架关节点估计包括：

利用OpenCV技术进行手臂区域的骨架关节点估计。

6.根据权利要求4所述的一种基于姿态分割和关键点特征的乒乓球动作识别系统，其特征是，特征提取模块中，根据每个视频帧图像中骨架关键点信息获取每帧内骨架关键点的空间结构特征和时序特征的具体过程为：

首先将提取的骨架关键点坐标矢量映射进行初步编码处理，接着，将所有关键点坐标馈入GCN网络进行训练，将关键点坐标构建成图的结构，以此表示出每帧图像手臂部位关键点的空间结构特征；

将得到的空间结构特征通过LSTM进行时序建模，获得每帧图像手臂部位关键点的时序特征。

Images