CN110472554A - 基于姿态分割和关键点特征的乒乓球动作识别方法及系统 - Google Patents
基于姿态分割和关键点特征的乒乓球动作识别方法及系统 Download PDFInfo
- Publication number
- CN110472554A CN110472554A CN201910739254.8A CN201910739254A CN110472554A CN 110472554 A CN110472554 A CN 110472554A CN 201910739254 A CN201910739254 A CN 201910739254A CN 110472554 A CN110472554 A CN 110472554A
- Authority
- CN
- China
- Prior art keywords
- key point
- video
- video frame
- frame images
- arm regions
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于姿态分割和关键点特征的乒乓球动作识别方及系统,方法包括以下过程:获取拍摄了乒乓球运动员训练时接发球动作的视频;从视频中分割出仅包含手臂区域的视频帧图像;对仅包含手臂区域的视频帧图像进行手臂区域的骨架关节点估计,获取每个视频帧图像中手臂骨架关键点信息;根据每个视频帧图像中骨架关键点信息,获取每帧内骨架关键点的空间结构特征和时序特征;根据骨架关键点的空间结构特征和时序特征,对运动员接发球动作进行识别分类。本发明分析了接发球动作的时空关系建立了时空特征,提高了动作识别的准确率。
Description
技术领域
本发明涉及图像与视频分析技术领域,具体涉及一种基于人体姿态分割结合骨架关键点特征的乒乓球接发球动作识别方法及系统。
背景技术
随着信息化进程的加快以及人工智能领域技术的不断发展,体育运动作为社会活动的组成部分,人工智能的应用将极大影响传统的运动训练、竞赛、竞技体育管理的组织形式。传统的乒乓球接发球训练主要靠教练员从旁指导,随着技术的发展逐渐出现了嵌入智能设备的运动装备,用于采集运动信息和人体指标等数据,通过网对数据进行储存和分析,用于指导运动员的训练方式和规范,为教练员制定训练计划提供参考。但是,传统方法人工代价较大耗时费力,智能设备成本高制作复杂不易于普及。
随着计算机视觉的迅速发展,尤其是深度学习在视频理解、行为识别、目标检测、图像与视频分析等诸多领域都取得了巨大成功。因此,基于机器视觉实现乒乓球运动员接发球训练的动作识别评判是一种能够广泛应用和推广的手段。
发明内容
本发明的目的在于克服现有技术中的不足,提出了一种基于姿态分割和关键点特征的乒乓球动作识别方法及系统,分析了接发球动作的时空关系建立了时空特征,提高了动作识别的准确率。
为解决上述技术问题,本发明提供了一种基于姿态分割和关键点特征的乒乓球动作识别方法,其特征是,包括以下过程:
获取拍摄了乒乓球运动员训练时接发球动作的视频;
从视频中分割出仅包含手臂区域的视频帧图像;
对仅包含手臂区域的视频帧图像进行手臂区域的骨架关节点估计,获取每个视频帧图像中手臂骨架关键点信息;
根据每个视频帧图像中骨架关键点信息,获取每帧内骨架关键点的空间结构特征和时序特征;
根据骨架关键点的空间结构特征和时序特征,对运动员接发球动作进行识别分类。
进一步的,从视频中分割出仅包含手臂区域的视频帧图像包括:
利用实例分割架构Mask RCNN网络从视频中分割出仅包含手臂区域的视频帧图像。
进一步的,利用实例分割架构Mask RCNN网络从视频中分割出仅包含手臂区域的视频帧图像的具体过程为:
(1)通过训练过的RPN网络将当前视频帧图像经过多次卷积操作提取生成多目标特征图,在目标特征图上运用滑动窗口框选目标区域,并通过卷积层和全连接层计算生成目标区域;
(2)将RPN提取出的目标区域划分为k x k个小特征图并通过双线性插值法对这些区域计算固定尺寸的像素值来代表不同目标区域更精确的特征;
(3)对每个目标区域的特征图输出二进制图像掩码,通过卷积提供的像素间的关系为每个目标区域生成一个掩码表示,根据获取到的掩码将每帧图像中包含动作信息的手臂区域分割出来,剔出与动作信息无关的区域。
进一步的,对仅包含手臂区域的视频帧图像进行手臂区域的骨架关节点估计包括:
利用OpenCV技术进行手臂区域的骨架关节点估计。
进一步的,根据每个视频帧图像中骨架关键点信息获取每帧内骨架关键点的空间结构特征和时序特征的具体过程为:
首先将提取的骨架关键点坐标矢量映射进行初步编码处理,接着,将所有关键点坐标馈入GCN网络进行训练,将关键点坐标构建成图的结构,以此表示出每帧图像手臂部位关键点的空间结构特征;
将得到的空间结构特征通过LSTM进行时序建模,获得每帧图像手臂部位关键点的时序特征。
相应的,本发明还提供了一种基于姿态分割和关键点特征的乒乓球动作识别系统,其特征是,视频获取模块、图像分割模块、关键点提取模块、特征提取模块和动作识别模块;
视频获取模块,用于获取拍摄了乒乓球运动员训练时接发球动作的视频;
图像分割模块,用于从视频中分割出仅包含手臂区域的视频帧图像;
关键点提取模块,用于对仅包含手臂区域的视频帧图像进行手臂区域的骨架关节点估计,获取每个视频帧图像中手臂骨架关键点信息;
特征提取模块,用于根据每个视频帧图像中骨架关键点信息,获取每帧内骨架关键点的空间结构特征和时序特征;
动作识别模块,用于根据骨架关键点的空间结构特征和时序特征,对运动员接发球动作进行识别分类。
进一步的,图像分割模块中,从视频中分割出仅包含手臂区域的视频帧图像包括:
利用实例分割架构Mask RCNN网络从视频中分割出仅包含手臂区域的视频帧图像。
进一步的,图像分割模块中,利用实例分割架构Mask RCNN网络从视频中分割出仅包含手臂区域的视频帧图像的具体过程为:
(1)通过训练过的RPN网络将当前视频帧图像经过多次卷积操作提取生成多目标特征图,在目标特征图上运用滑动窗口框选目标区域,并通过卷积层和全连接层计算生成目标区域;
(2)将RPN提取出的目标区域划分为k x k个小特征图并通过双线性插值法对这些区域计算固定尺寸的像素值来代表不同目标区域更精确的特征;
(3)对每个目标区域的特征图输出二进制图像掩码,通过卷积提供的像素间的关系为每个目标区域生成一个掩码表示,根据获取到的掩码将每帧图像中包含动作信息的手臂区域分割出来,剔出与动作信息无关的区域。
进一步的,关键点提取模块中,对仅包含手臂区域的视频帧图像进行手臂区域的骨架关节点估计包括:
利用OpenCV技术进行手臂区域的骨架关节点估计。
进一步的,特征提取模块中,根据每个视频帧图像中骨架关键点信息获取每帧内骨架关键点的空间结构特征和时序特征的具体过程为:
首先将提取的骨架关键点坐标矢量映射进行初步编码处理,接着,将所有关键点坐标馈入GCN网络进行训练,将关键点坐标构建成图的结构,以此表示出每帧图像手臂部位关键点的空间结构特征;
将得到的空间结构特征通过LSTM进行时序建模,获得每帧图像手臂部位关键点的时序特征。
与现有技术相比,本发明所达到的有益效果是:
1、本发明所需硬件设备简单,无需运动员穿戴设备完全基于网络摄像机传输视频流,获取运动员训练视频数据;
2、利用实例分割框架分割出用于主要区分动作类别的手臂区域,弱化和剔除静态背景及人体其他躯干,使得动作特征提取更专注于关键区域。通过姿态分割后的视频帧图像进行关节点估计,在空间上利用注意机制提取关节点信息,在时间上通过多个LSTM的时序堆叠网络获取详细的时序动态特征作为多分类器进行分类的标签,该方法充分分析了接发球动作的时空关系,建立了鲁棒的时空特征,提高了动作识别的准确率。
附图说明
图1为本发明方法的流程图示意图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案,而不能以此来限制本发明的保护范围。
本发明的一种基于姿态分割和关键点特征的乒乓球动作识别方法,参见图1所示,包括以下步骤:
步骤1,获取拍摄了乒乓球运动员训练时接发球动作的视频;
将网络摄像头放置在运动员前方,用于拍摄乒乓球运动员训练时的接发球动作,从网络摄像头获取此拍摄了乒乓球运动员训练时接发球动作的视频。
步骤2,从视频中分割出仅包含手臂区域的视频帧图像;
由于乒乓球接发球动作的动作类别主要由手臂的动作进行区分,因此手臂区域的动作包含能用于动作识别的主要特征信息。构建实例分割框架Mask RCNN网络(此网络是现有技术),将上一部获取的视频帧图像作为网络输入,该网络包括含有五层卷积层和全连接层的Reginal Proposal Network(RPN)网络用于提取候选目标区域(即手臂区域、人体其他区域以及背景),并将由RPN提取出的候选框进行精确定位分割出不同区域的位置,接着对分割出的每个区域生成二进制掩码用于代表不同区域的类别,根据掩码对图像中的区域进行分类分割,获取用于提取动作特征的手臂区域的视频帧图像。
利用实例分割架构Mask RCNN网络进行运动员手臂区域分割的具体过程为:
(1)通过训练过的RPN网络将当前视频帧图像经过多次卷积操作提取生成多目标特征图,表示选取的包含手臂区域、人体其他区域以及背景等k个目标区域的特征,在目标特征图上运用滑动窗口框选目标区域(大概位置),并通过卷积层和全连接层计算生成目标区域;
(2)将RPN提取出的目标区域划分为k x k个小特征图并通过双线性插值法(一种图像缩放算法,它充分的利用了原图中虚拟点四周的四个真实存在的像素值来共同决定目标图中的一个像素值)对这些区域计算固定尺寸的像素值来代表不同目标区域更精确的特征,避免引入量化操作引起误差,使原图中的像素和特征图中的像素完全对齐(即同一帧图像的特征图和原图的相对位置相同不产生空间位置的偏移),有利于提高目标检测和实例分割的精度;
(3)对每个目标区域的特征图输出二进制图像掩码(通过卷积核算子重新计算图像中各个像素的值并根据权重因子对原像素点进行加权平均),通过卷积提供的像素间的关系为每个目标区域生成一个掩码表示,根据获取到的掩码将每帧图像中包含动作信息的手臂区域分割出来,剔出与动作信息无关的区域。
步骤3,对仅包含手臂区域的视频帧图像利用OpenCV技术进行手臂区域的骨架关节点估计,获取每个视频帧图像中手臂骨架关键点信息;
步骤4,根据每个视频帧图像中骨架关键点信息,获取每帧内骨架关键点的空间结构特征和时序特征。
首先将提取的骨架关键点坐标矢量映射进行初步编码处理,即将坐标归一化到[0,255]避免异常数据的影响。接着,将所有关键点坐标馈入图卷积网络(GraphConvolutional Networks,GCN)进行训练,将关键点坐标构建成图的结构,将相邻的关键点称为邻近节点。将每一节点的坐标编码后的特征向量发送给邻近节点,接着每个节点将邻近节点的特征信息聚集起来进行局部结构信息的融合,通过GCN网络反复迭代更新参数最终将各个节点的信息进行融合,以此表示出每帧图像手臂部位关键点的空间结构特征。
从所有邻近节点接收的关键点信息为 其中表示从节点i接收的节点k的信息,是时间步骤t-1的节点i的状态,Wm是共享的线性权重,bm为偏差。提取节点级输出作为每帧内关键点间的空间结构关系最后将各节点的信息融合计算每一帧关键点的高维空间结构特征序列。
将得到的空间结构特征序列通过LSTM(长短期记忆网络)进行时序建模。LSTM网络包含遗忘门,输入门和输出门。将门的开闭状态用于判断模型网络的记忆态(之前网络的状态)在该层输出的结果是否达到阈值从而加入到当前该层的计算中。每一层包括阀门节点的权重都会在每一次模型反向传播训练过程中更新。时间序列是依赖于视频前后帧的相互关系,而LSTM对时间序列的记忆能力能够提取出视频动作在时间上的详细特征。
将长时特征序列划分为多个连续的短时片段,每个片段通过LSTM网络进行时序建模,不同片段之间的LSTM共享参数。将每个短时片段最后的隐含层的状态用来表示这个片段,再将当前片段及之前的所有片段的参数进行累加,得到所包含的所有详细的时序特征。为了更好地保持表示从开始到当前片段的长时序列之间的时序关系,可以将该动态特征作为下一个短时片段的LSTM网络的初始化参数。利用增量式损失函数提升网络对细微动作的理解,加速网络收敛防止过拟合,最终获取详细的时序特征。
步骤5,将以上获得的包含动作信息的骨架关键点空间结构特征和时序特征作为多分类器进行分类的标签,对视频中运动员接发球动作进行识别分类,将识别结果发送到前端系统进行展示并存储到数据库中,作为运动员在训练时进行动作的评判和训练制定计划的辅助参考。
本发明利用实例分割框架分割出用于主要区分动作类别的手臂区域,弱化和剔除静态背景及人体其他躯干,使得动作特征提取更专注于关键区域。通过姿态分割后的视频帧图像进行关节点估计,在空间上利用注意机制提取关节点信息,在时间上通过多个LSTM的时序堆叠网络获取详细的时序动态特征作为多分类器进行分类的标签,该方法充分分析了接发球动作的时空关系,建立了鲁棒的时空特征,提高了动作识别的准确率。
相应的,本发明还提供了一种基于姿态分割和关键点特征的乒乓球动作识别系统,其特征是,视频获取模块、图像分割模块、关键点提取模块、特征提取模块和动作识别模块;
视频获取模块,用于获取拍摄了乒乓球运动员训练时接发球动作的视频;
图像分割模块,用于从视频中分割出仅包含手臂区域的视频帧图像;
关键点提取模块,用于对仅包含手臂区域的视频帧图像进行手臂区域的骨架关节点估计,获取每个视频帧图像中手臂骨架关键点信息;
特征提取模块,用于根据每个视频帧图像中骨架关键点信息,获取每帧内骨架关键点的空间结构特征和时序特征;
动作识别模块,用于根据骨架关键点的空间结构特征和时序特征,对运动员接发球动作进行识别分类。
进一步的,图像分割模块中,从视频中分割出仅包含手臂区域的视频帧图像包括:
利用实例分割架构Mask RCNN网络从视频中分割出仅包含手臂区域的视频帧图像。
进一步的,图像分割模块中,利用实例分割架构Mask RCNN网络从视频中分割出仅包含手臂区域的视频帧图像的具体过程为:
(1)通过训练过的RPN网络将当前视频帧图像经过多次卷积操作提取生成多目标特征图,在目标特征图上运用滑动窗口框选目标区域,并通过卷积层和全连接层计算生成目标区域;
(2)将RPN提取出的目标区域划分为k x k个小特征图并通过双线性插值法对这些区域计算固定尺寸的像素值来代表不同目标区域更精确的特征;
(3)对每个目标区域的特征图输出二进制图像掩码,通过卷积提供的像素间的关系为每个目标区域生成一个掩码表示,根据获取到的掩码将每帧图像中包含动作信息的手臂区域分割出来,剔出与动作信息无关的区域。
进一步的,关键点提取模块中,对仅包含手臂区域的视频帧图像进行手臂区域的骨架关节点估计包括:
利用OpenCV技术进行手臂区域的骨架关节点估计。
进一步的,特征提取模块中,根据每个视频帧图像中骨架关键点信息获取每帧内骨架关键点的空间结构特征和时序特征的具体过程为:
首先将提取的骨架关键点坐标矢量映射进行初步编码处理,接着,将所有关键点坐标馈入GCN网络进行训练,将关键点坐标构建成图的结构,以此表示出每帧图像手臂部位关键点的空间结构特征;
将得到的空间结构特征通过LSTM进行时序建模,获得每帧图像手臂部位关键点的时序特征。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明技术原理的前提下,还可以做出若干改进和变型,这些改进和变型也应视为本发明的保护范围。
Claims (10)
1.一种基于姿态分割和关键点特征的乒乓球动作识别方法,其特征是,包括以下过程:
获取拍摄了乒乓球运动员训练时接发球动作的视频;
从视频中分割出仅包含手臂区域的视频帧图像;
对仅包含手臂区域的视频帧图像进行手臂区域的骨架关节点估计,获取每个视频帧图像中手臂骨架关键点信息;
根据每个视频帧图像中骨架关键点信息,获取每帧内骨架关键点的空间结构特征和时序特征;
根据骨架关键点的空间结构特征和时序特征,对运动员接发球动作进行识别分类。
2.根据权利要求1所述的一种基于姿态分割和关键点特征的乒乓球动作识别方法,其特征是,从视频中分割出仅包含手臂区域的视频帧图像包括:
利用实例分割架构Mask RCNN网络从视频中分割出仅包含手臂区域的视频帧图像。
3. 根据权利要求2所述的一种基于姿态分割和关键点特征的乒乓球动作识别方法,其特征是,利用实例分割架构Mask RCNN网络从视频中分割出仅包含手臂区域的视频帧图像的具体过程为:
(1)通过训练过的RPN网络将当前视频帧图像经过多次卷积操作提取生成多目标特征图,在目标特征图上运用滑动窗口框选目标区域,并通过卷积层和全连接层计算生成目标区域;
(2)将RPN提取出的目标区域划分为k x k个小特征图并通过双线性插值法对这些区域计算固定尺寸的像素值来代表不同目标区域更精确的特征;
(3)对每个目标区域的特征图输出二进制图像掩码,通过卷积提供的像素间的关系为每个目标区域生成一个掩码表示,根据获取到的掩码将每帧图像中包含动作信息的手臂区域分割出来,剔出与动作信息无关的区域。
4.根据权利要求1所述的一种基于姿态分割和关键点特征的乒乓球动作识别方法,其特征是,对仅包含手臂区域的视频帧图像进行手臂区域的骨架关节点估计包括:
利用OpenCV进行手臂区域的骨架关节点估计。
5.根据权利要求1所述的一种基于姿态分割和关键点特征的乒乓球动作识别方法,其特征是,根据每个视频帧图像中骨架关键点信息获取每帧内骨架关键点的空间结构特征和时序特征的具体过程为:
首先将提取的骨架关键点坐标矢量映射进行初步编码处理,接着,将所有关键点坐标馈入GCN网络进行训练,将关键点坐标构建成图的结构,以此表示出每帧图像手臂部位关键点的空间结构特征;
将得到的空间结构特征通过LSTM进行时序建模,获得每帧图像手臂部位关键点的时序特征。
6.一种基于姿态分割和关键点特征的乒乓球动作识别系统,其特征是,视频获取模块、图像分割模块、关键点提取模块、特征提取模块和动作识别模块;
视频获取模块,用于获取拍摄了乒乓球运动员训练时接发球动作的视频;
图像分割模块,用于从视频中分割出仅包含手臂区域的视频帧图像;
关键点提取模块,用于对仅包含手臂区域的视频帧图像进行手臂区域的骨架关节点估计,获取每个视频帧图像中手臂骨架关键点信息;
特征提取模块,用于根据每个视频帧图像中骨架关键点信息,获取每帧内骨架关键点的空间结构特征和时序特征;
动作识别模块,用于根据骨架关键点的空间结构特征和时序特征,对运动员接发球动作进行识别分类。
7.根据权利要求6所述的一种基于姿态分割和关键点特征的乒乓球动作识别系统,其特征是,图像分割模块中,从视频中分割出仅包含手臂区域的视频帧图像包括:
利用实例分割架构Mask RCNN网络从视频中分割出仅包含手臂区域的视频帧图像。
8. 根据权利要求7所述的一种基于姿态分割和关键点特征的乒乓球动作识别系统,其特征是,图像分割模块中,利用实例分割架构Mask RCNN网络从视频中分割出仅包含手臂区域的视频帧图像的具体过程为:
(1)通过训练过的RPN网络将当前视频帧图像经过多次卷积操作提取生成多目标特征图,在目标特征图上运用滑动窗口框选目标区域,并通过卷积层和全连接层计算生成目标区域;
(2)将RPN提取出的目标区域划分为k x k个小特征图并通过双线性插值法对这些区域计算固定尺寸的像素值来代表不同目标区域更精确的特征;
(3)对每个目标区域的特征图输出二进制图像掩码,通过卷积提供的像素间的关系为每个目标区域生成一个掩码表示,根据获取到的掩码将每帧图像中包含动作信息的手臂区域分割出来,剔出与动作信息无关的区域。
9.根据权利要求6所述的一种基于姿态分割和关键点特征的乒乓球动作识别系统,其特征是,关键点提取模块中,对仅包含手臂区域的视频帧图像进行手臂区域的骨架关节点估计包括:
利用OpenCV技术进行手臂区域的骨架关节点估计。
10.根据权利要求6所述的一种基于姿态分割和关键点特征的乒乓球动作识别系统,其特征是,特征提取模块中,根据每个视频帧图像中骨架关键点信息获取每帧内骨架关键点的空间结构特征和时序特征的具体过程为:
首先将提取的骨架关键点坐标矢量映射进行初步编码处理,接着,将所有关键点坐标馈入GCN网络进行训练,将关键点坐标构建成图的结构,以此表示出每帧图像手臂部位关键点的空间结构特征;
将得到的空间结构特征通过LSTM进行时序建模,获得每帧图像手臂部位关键点的时序特征。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910739254.8A CN110472554B (zh) | 2019-08-12 | 2019-08-12 | 基于姿态分割和关键点特征的乒乓球动作识别方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910739254.8A CN110472554B (zh) | 2019-08-12 | 2019-08-12 | 基于姿态分割和关键点特征的乒乓球动作识别方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110472554A true CN110472554A (zh) | 2019-11-19 |
CN110472554B CN110472554B (zh) | 2022-08-30 |
Family
ID=68510486
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910739254.8A Active CN110472554B (zh) | 2019-08-12 | 2019-08-12 | 基于姿态分割和关键点特征的乒乓球动作识别方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110472554B (zh) |
Cited By (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110969133A (zh) * | 2019-12-05 | 2020-04-07 | 浙江大学 | 一种乒乓球比赛视频的智能数据采集方法 |
CN111160395A (zh) * | 2019-12-05 | 2020-05-15 | 北京三快在线科技有限公司 | 图像识别方法、装置、电子设备和存储介质 |
CN111310616A (zh) * | 2020-02-03 | 2020-06-19 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、电子设备和存储介质 |
CN111368685A (zh) * | 2020-02-27 | 2020-07-03 | 北京字节跳动网络技术有限公司 | 关键点的识别方法、装置、可读介质和电子设备 |
CN111401270A (zh) * | 2020-03-19 | 2020-07-10 | 南京未艾信息科技有限公司 | 一种人体运动姿态识别评价方法及其系统 |
CN111553247A (zh) * | 2020-04-24 | 2020-08-18 | 上海锘科智能科技有限公司 | 一种基于改进骨干网络的视频结构化系统、方法及介质 |
CN112151194A (zh) * | 2020-09-25 | 2020-12-29 | 泰康保险集团股份有限公司 | 康体训练监测系统及方法、存储介质及电子设备 |
CN112381760A (zh) * | 2020-10-12 | 2021-02-19 | 萱闱(北京)生物科技有限公司 | 一种人体姿态骨节点和手部mask掩码识别方法 |
CN112434666A (zh) * | 2020-12-11 | 2021-03-02 | 东莞先知大数据有限公司 | 重复动作识别方法、装置、介质及设备 |
CN112464847A (zh) * | 2020-12-07 | 2021-03-09 | 北京邮电大学 | 视频中人体动作切分方法及装置 |
WO2021098573A1 (zh) * | 2019-11-20 | 2021-05-27 | Oppo广东移动通信有限公司 | 手部姿态估计方法、装置、设备以及计算机存储介质 |
CN113052061A (zh) * | 2021-03-22 | 2021-06-29 | 中国石油大学(华东) | 一种基于人体姿态估计的速度滑冰运动员动作识别方法 |
CN113111842A (zh) * | 2021-04-26 | 2021-07-13 | 浙江商汤科技开发有限公司 | 一种动作识别方法、装置、设备及计算机可读存储介质 |
CN113239848A (zh) * | 2021-05-27 | 2021-08-10 | 数智引力(厦门)运动科技有限公司 | 动作感知方法、系统、终端设备及存储介质 |
CN113515998A (zh) * | 2020-12-28 | 2021-10-19 | 腾讯科技(深圳)有限公司 | 一种视频数据处理方法、设备以及可读存储介质 |
CN113642498A (zh) * | 2021-08-20 | 2021-11-12 | 浙江大学 | 一种基于多层次时空特征融合的视频目标检测系统及方法 |
CN114302234A (zh) * | 2021-12-29 | 2022-04-08 | 杭州当虹科技股份有限公司 | 一种空中技巧快速包装方法 |
US11417078B2 (en) | 2020-02-03 | 2022-08-16 | Beijing Sensetime Technology Development Co., Ltd. | Image processing method and apparatus, and storage medium |
CN114949825A (zh) * | 2020-10-19 | 2022-08-30 | 上海名图软件有限公司 | 羽毛球比赛自动记分系统及其计分方法 |
CN116189028A (zh) * | 2022-11-29 | 2023-05-30 | 北京百度网讯科技有限公司 | 图像识别方法、装置、电子设备以及存储介质 |
CN113312973B (zh) * | 2021-04-25 | 2023-06-02 | 北京信息科技大学 | 一种手势识别关键点特征提取方法及系统 |
CN117953588A (zh) * | 2024-03-26 | 2024-04-30 | 南昌航空大学 | 一种融合场景信息的羽毛球运动员动作智能识别方法 |
CN117953591A (zh) * | 2024-03-27 | 2024-04-30 | 中国人民解放军空军军医大学 | 一种智能肢体康复辅助方法及设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106709453A (zh) * | 2016-12-24 | 2017-05-24 | 北京工业大学 | 一种基于深度学习的体育视频关键姿态提取方法 |
CN108388876A (zh) * | 2018-03-13 | 2018-08-10 | 腾讯科技(深圳)有限公司 | 一种图像识别方法、装置以及相关设备 |
CN108985259A (zh) * | 2018-08-03 | 2018-12-11 | 百度在线网络技术(北京)有限公司 | 人体动作识别方法和装置 |
CN110096950A (zh) * | 2019-03-20 | 2019-08-06 | 西北大学 | 一种基于关键帧的多特征融合行为识别方法 |
-
2019
- 2019-08-12 CN CN201910739254.8A patent/CN110472554B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106709453A (zh) * | 2016-12-24 | 2017-05-24 | 北京工业大学 | 一种基于深度学习的体育视频关键姿态提取方法 |
CN108388876A (zh) * | 2018-03-13 | 2018-08-10 | 腾讯科技(深圳)有限公司 | 一种图像识别方法、装置以及相关设备 |
CN108985259A (zh) * | 2018-08-03 | 2018-12-11 | 百度在线网络技术(北京)有限公司 | 人体动作识别方法和装置 |
CN110096950A (zh) * | 2019-03-20 | 2019-08-06 | 西北大学 | 一种基于关键帧的多特征融合行为识别方法 |
Cited By (35)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021098573A1 (zh) * | 2019-11-20 | 2021-05-27 | Oppo广东移动通信有限公司 | 手部姿态估计方法、装置、设备以及计算机存储介质 |
CN110969133A (zh) * | 2019-12-05 | 2020-04-07 | 浙江大学 | 一种乒乓球比赛视频的智能数据采集方法 |
CN111160395A (zh) * | 2019-12-05 | 2020-05-15 | 北京三快在线科技有限公司 | 图像识别方法、装置、电子设备和存储介质 |
CN110969133B (zh) * | 2019-12-05 | 2023-04-07 | 浙江大学 | 一种乒乓球比赛视频的智能数据采集方法 |
CN111310616B (zh) * | 2020-02-03 | 2023-11-28 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、电子设备和存储介质 |
CN111310616A (zh) * | 2020-02-03 | 2020-06-19 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、电子设备和存储介质 |
WO2021155632A1 (zh) * | 2020-02-03 | 2021-08-12 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、电子设备和存储介质 |
US11417078B2 (en) | 2020-02-03 | 2022-08-16 | Beijing Sensetime Technology Development Co., Ltd. | Image processing method and apparatus, and storage medium |
CN111368685A (zh) * | 2020-02-27 | 2020-07-03 | 北京字节跳动网络技术有限公司 | 关键点的识别方法、装置、可读介质和电子设备 |
CN111368685B (zh) * | 2020-02-27 | 2023-09-29 | 北京字节跳动网络技术有限公司 | 关键点的识别方法、装置、可读介质和电子设备 |
CN111401270A (zh) * | 2020-03-19 | 2020-07-10 | 南京未艾信息科技有限公司 | 一种人体运动姿态识别评价方法及其系统 |
CN111553247A (zh) * | 2020-04-24 | 2020-08-18 | 上海锘科智能科技有限公司 | 一种基于改进骨干网络的视频结构化系统、方法及介质 |
CN111553247B (zh) * | 2020-04-24 | 2023-08-08 | 上海锘科智能科技有限公司 | 一种基于改进骨干网络的视频结构化系统、方法及介质 |
CN112151194B (zh) * | 2020-09-25 | 2023-12-19 | 泰康保险集团股份有限公司 | 康体训练监测系统及方法、存储介质及电子设备 |
CN112151194A (zh) * | 2020-09-25 | 2020-12-29 | 泰康保险集团股份有限公司 | 康体训练监测系统及方法、存储介质及电子设备 |
CN112381760A (zh) * | 2020-10-12 | 2021-02-19 | 萱闱(北京)生物科技有限公司 | 一种人体姿态骨节点和手部mask掩码识别方法 |
CN114949825A (zh) * | 2020-10-19 | 2022-08-30 | 上海名图软件有限公司 | 羽毛球比赛自动记分系统及其计分方法 |
CN112464847A (zh) * | 2020-12-07 | 2021-03-09 | 北京邮电大学 | 视频中人体动作切分方法及装置 |
CN112434666A (zh) * | 2020-12-11 | 2021-03-02 | 东莞先知大数据有限公司 | 重复动作识别方法、装置、介质及设备 |
CN112434666B (zh) * | 2020-12-11 | 2022-03-08 | 东莞先知大数据有限公司 | 重复动作识别方法、装置、介质及设备 |
CN113515998A (zh) * | 2020-12-28 | 2021-10-19 | 腾讯科技(深圳)有限公司 | 一种视频数据处理方法、设备以及可读存储介质 |
CN113052061A (zh) * | 2021-03-22 | 2021-06-29 | 中国石油大学(华东) | 一种基于人体姿态估计的速度滑冰运动员动作识别方法 |
CN113312973B (zh) * | 2021-04-25 | 2023-06-02 | 北京信息科技大学 | 一种手势识别关键点特征提取方法及系统 |
CN113111842A (zh) * | 2021-04-26 | 2021-07-13 | 浙江商汤科技开发有限公司 | 一种动作识别方法、装置、设备及计算机可读存储介质 |
CN113239848A (zh) * | 2021-05-27 | 2021-08-10 | 数智引力(厦门)运动科技有限公司 | 动作感知方法、系统、终端设备及存储介质 |
CN113239848B (zh) * | 2021-05-27 | 2024-02-02 | 数智引力(厦门)运动科技有限公司 | 动作感知方法、系统、终端设备及存储介质 |
CN113642498A (zh) * | 2021-08-20 | 2021-11-12 | 浙江大学 | 一种基于多层次时空特征融合的视频目标检测系统及方法 |
CN113642498B (zh) * | 2021-08-20 | 2024-05-03 | 浙江大学 | 一种基于多层次时空特征融合的视频目标检测系统及方法 |
CN114302234B (zh) * | 2021-12-29 | 2023-11-07 | 杭州当虹科技股份有限公司 | 一种空中技巧快速包装方法 |
CN114302234A (zh) * | 2021-12-29 | 2022-04-08 | 杭州当虹科技股份有限公司 | 一种空中技巧快速包装方法 |
CN116189028A (zh) * | 2022-11-29 | 2023-05-30 | 北京百度网讯科技有限公司 | 图像识别方法、装置、电子设备以及存储介质 |
CN116189028B (zh) * | 2022-11-29 | 2024-06-21 | 北京百度网讯科技有限公司 | 图像识别方法、装置、电子设备以及存储介质 |
CN117953588A (zh) * | 2024-03-26 | 2024-04-30 | 南昌航空大学 | 一种融合场景信息的羽毛球运动员动作智能识别方法 |
CN117953588B (zh) * | 2024-03-26 | 2024-06-21 | 南昌航空大学 | 一种融合场景信息的羽毛球运动员动作智能识别方法 |
CN117953591A (zh) * | 2024-03-27 | 2024-04-30 | 中国人民解放军空军军医大学 | 一种智能肢体康复辅助方法及设备 |
Also Published As
Publication number | Publication date |
---|---|
CN110472554B (zh) | 2022-08-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110472554A (zh) | 基于姿态分割和关键点特征的乒乓球动作识别方法及系统 | |
CN110781838B (zh) | 一种复杂场景下行人的多模态轨迹预测方法 | |
CN110135375B (zh) | 基于全局信息整合的多人姿态估计方法 | |
CN109829436B (zh) | 基于深度表观特征和自适应聚合网络的多人脸跟踪方法 | |
CN109919122A (zh) | 一种基于3d人体关键点的时序行为检测方法 | |
CN106384093B (zh) | 一种基于降噪自动编码器和粒子滤波的人体动作识别方法 | |
Liu et al. | Human pose estimation in video via structured space learning and halfway temporal evaluation | |
CN110490901A (zh) | 抗姿态变化的行人检测跟踪方法 | |
CN114582030B (zh) | 一种基于服务机器人的行为识别方法 | |
Cheng et al. | Graph and temporal convolutional networks for 3d multi-person pose estimation in monocular videos | |
CN109919977A (zh) | 一种基于时间特征的视频运动人物跟踪与身份识别方法 | |
CN111310659A (zh) | 基于增进式图卷积神经网络的人体动作识别方法 | |
CN104461000B (zh) | 一种基于少量缺失信号的在线连续人体运动识别方法 | |
CN113822254B (zh) | 一种模型训练方法及相关装置 | |
CN113989928B (zh) | 一种动作捕捉和重定向方法 | |
CN111401192A (zh) | 基于人工智能的模型训练方法和相关装置 | |
Yan et al. | Human-object interaction recognition using multitask neural network | |
CN114743273A (zh) | 基于多尺度残差图卷积网络的人体骨骼行为识别方法及系统 | |
CN113988269A (zh) | 一种基于改进孪生网络的回环检测及优化方法 | |
CN117711066A (zh) | 一种三维人体姿态估计方法、装置、设备及介质 | |
CN113240714A (zh) | 一种基于情境感知网络的人体运动意图预测方法 | |
GB2430830A (en) | Image sequence movement analysis system using object model, likelihood sampling and scoring | |
CN116958872A (zh) | 一种羽毛球运动的智能化辅助训练方法及系统 | |
CN116030533A (zh) | 运动场景的高速动作捕捉与识别方法及系统 | |
CN103021009B (zh) | 基于非线性流形学习的运动图过渡点选取方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |