CN113052061A - 一种基于人体姿态估计的速度滑冰运动员动作识别方法 - Google Patents

一种基于人体姿态估计的速度滑冰运动员动作识别方法 Download PDF

Info

Publication number
CN113052061A
CN113052061A CN202110305362.1A CN202110305362A CN113052061A CN 113052061 A CN113052061 A CN 113052061A CN 202110305362 A CN202110305362 A CN 202110305362A CN 113052061 A CN113052061 A CN 113052061A
Authority
CN
China
Prior art keywords
network
action
posture
human body
athletes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110305362.1A
Other languages
English (en)
Inventor
刘玉杰
张敏杰
孙奉钰
仵宇
李宗民
李冠林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Petroleum East China
Original Assignee
China University of Petroleum East China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Petroleum East China filed Critical China University of Petroleum East China
Priority to CN202110305362.1A priority Critical patent/CN113052061A/zh
Publication of CN113052061A publication Critical patent/CN113052061A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于深度学习与图形图像处理领域，具体公开了一种基于人体姿态估计的速度滑冰运动员动作识别方法，该方法包括如下步骤：s1、获取速度滑冰视频中运动员的人体关键节点序列；s2、将获取到的姿态序列输入到图卷积动作识别网络中；s3、利用图卷积网络判断速度滑冰运动员的动作类别；s4、将动作姿态以及动作类别显示到视频，辅助教练员分析。本发明方法通过使用深度神经网络对于速度滑冰运动员的动作姿态进行分析，反馈给教练员，帮助提高运动员的运动水平。

Description

一种基于人体姿态估计的速度滑冰运动员动作识别方法
技术领域
本发明属于深度学习与图形图像处理领域，涉及一种基于人体姿态估计的速度滑冰运动员动作识别方法。
背景技术
如何提高速度滑冰运动员的竞技水平是每个教练员面临的一大挑战。速度滑冰运动员要想提高自己的水平就必须关注滑冰过程中的每一个细节，尤其各种动作，如何判断远动员动作的时机尤为重要。
目前，判断运动员的姿态以及动作都需要运动员佩戴传感器，这显然影响到了运动员的正常发挥，为了更加接近真实的判断运动员的竞技状态，我们采用计算机视觉的方法来解决这个问题。通过处理比赛视频来获得运动员的动作信息更加方便快捷，因此，我们设计了一种基于人体姿态估计的速度滑冰运动员动作识别方法，通过该方法为教练员和运动员提供辅助信息以提高竞技水平。
发明内容
本发明的目的在于提出一种基于人体姿态估计的速度滑冰运动员动作识别方法，其采用如下方案：
一种基于人体姿态估计的速度滑冰运动员动作识别方法，包括如下步骤：
s1、通过人体姿态估计网络获取比赛视频中运动员的姿态时序序列；
s2、将姿态时序序列输入到图卷积动作识别网络中；
s3、利用图卷积网络判断速度滑冰运动员的动作类别；
s4、将动作姿态以及动作类别显示到视频，辅助教练员分析。
进一步，上述步骤s1中进一步包括：
s11、利用多目标跟踪算法，跟踪多个运动员，得到运动员的时序目标检测框
s12、将是s11获取的目标检测框输入到人体姿态估计网络提取运动员的时序姿态序列；
进一步，上述步骤s12中，需要将对于s12中获取到的信息存储到缓存中。
进一步，上述步骤s2中，将缓存中的运动员时序姿态序列分别输入到图卷积动作识别网络中
进一步，利用图卷积网络判断速度滑冰运动员的动作类别：
s31、判断比赛运动员的个数，设置对应的缓存空间
s32、将对应的运动员的时序姿态读入缓存；
s33、缓存空间满足图卷积动作识别时，将它输入网络，判断当前运动员的动作类别；
进一步，将动作姿态以及动作类别显示到视频，辅助教练员分析：
进一步，上述步骤s1中，人体姿态估计网络模型的详细结构为：
s11、通过简化的DenseNet网络提取特征；
s12、特征通过一个双分支网络进一步提取；
s13、结合传统的每个关键节点一个标签和我们提出的全局姿态标签进行训练；
s14、叠加两种方法的损失，快速准确地获取时序姿态。
本发明具有如下优点：
本发明方法通过深度神经网络与图像处理的方法，通过结合人体姿态估计网络和图卷积动作识别网络来获得竞赛视频中速度滑冰运动员的动作状态。该方法避免了运动员佩戴传感器，直接使用录制的比赛视频进行分析，速度快，精度高，可以推广使用。
附图说明
图1为本发明中基于人体姿态估计的速度滑冰运动员动作识别方法的流程框图；
具体实施方法
下面结合附图以及具体实施方式对本发明作进一步详细说明：
结合图1所示，一种基于人体姿态估计的速度滑冰运动员动作识别方法，包括如下步骤：
s1、通过人体姿态估计网络获取比赛视频中运动员的姿态时序序列；
由于速度滑冰比赛视频中，运动员遮挡严重，所以我们使用最前进的目标追踪算法对赛场中的运动员进行多目标追踪，得到多目标追踪的结果后，进行后面的姿态估计任务。
s11、调用多目标追踪的结果，分别裁剪每一帧视频中运动员的图片；
s12、将裁剪的运动员图片输入到姿态估计网络中，获取运动员的姿态信息；
s2、将姿态时序序列输入到图卷积动作识别网络中；
由于任务复杂，并有着明显的时序关系，所以需要将姿态估计的结果放入缓存中，便于后期调用。
s3、利用图卷积网络判断速度滑冰运动员的动作类别；
由于图卷积动作识别网络的输入有着严格的要求，所以需要判断缓存中的姿态信息是否满足图卷积网络的输入要求。
s31、分别判断每个速度滑冰运动员姿态缓存空间中是否满足图卷积动作识别网络的输入，如果满足则输入图卷积动作识别网络中进行动作判别。
s32、通过图卷积动作识别判别得到动作类别；
s33、将动作类别保存在缓存中；
通过以上操作，完成对于运动员动作的判断。
s4、将动作姿态以及动作类别显示到视频，辅助教练员分析。
分别读取缓存的每个运动员动作类别，将动作类别绘制到视频每一帧中。

Claims (6)

1.一种基于人体姿态估计的速度滑冰运动员动作识别方法，其特征在于，包括如下步骤：
s1、通过人体姿态估计网络获取比赛视频中运动员的姿态时序序列；
s2、将姿态时序序列输入到图卷积动作识别网络中；
s3、利用图卷积网络判断速度滑冰运动员的动作类别；
s4、将动作姿态以及动作类别显示到视频，辅助教练员分析。
2.根据权利要求1所述的一种基于人体姿态估计的速度滑冰运动员动作识别方法，其特征在于，所述步骤s1中，利用多目标跟踪算法，跟踪多个运动员，得到运动员的时序目标检测框，并将将获取的目标检测框输入到人体姿态估计网络提取运动员的时序姿态序列。
3.根据权利要求1所述的一种基于人体姿态估计的速度滑冰运动员动作识别方法，其特征在于，所述步骤s2中，完成对于s1中获取到的数据保存到开辟的缓存空间中。
4.根据权利要求1所述的一种基于人体姿态估计的速度滑冰运动员动作识别方法，其特征在于，所述步骤s3中，将时序姿态信息输入到图卷积动作识别网络中判别运动员的动作，具体处理步骤如下:
s31、判断比赛运动员的个数，设置对应的缓存空间
s32、将对应的运动员的时序姿态读入缓存；
s33、缓存空间满足图卷积动作识别时，将它输入网络，判断当前运动员的动作类别。
5.根据权利要求1所述的一种基于人体姿态估计的速度滑冰运动员动作识别方法，其特征在于，所述步骤s4中，将得到的姿态和动作信息绘制到每一帧中。
6.根据权利要求2所述的一种基于人体姿态估计的速度滑冰运动员动作识别方法，其特征在于，所述步骤s1中，深度神经网络具体模型如下：
s11、通过简化的DenseNet网络提取特征；
s12、特征通过一个双分支网络进一步提取；
s13、结合传统的每个关键节点一个标签和我们提出的全局姿态标签进行训练；
s14、叠加两种方法的损失，快速准确地获取时序姿态。
CN202110305362.1A 2021-03-22 2021-03-22 一种基于人体姿态估计的速度滑冰运动员动作识别方法 Pending CN113052061A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110305362.1A CN113052061A (zh) 2021-03-22 2021-03-22 一种基于人体姿态估计的速度滑冰运动员动作识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110305362.1A CN113052061A (zh) 2021-03-22 2021-03-22 一种基于人体姿态估计的速度滑冰运动员动作识别方法

Publications (1)

Publication Number Publication Date
CN113052061A true CN113052061A (zh) 2021-06-29

Family

ID=76514303

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110305362.1A Pending CN113052061A (zh) 2021-03-22 2021-03-22 一种基于人体姿态估计的速度滑冰运动员动作识别方法

Country Status (1)

Country Link
CN (1) CN113052061A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113963206A (zh) * 2021-10-20 2022-01-21 中国石油大学(华东) 一种基于姿态指引的速滑运动员目标检测方法
CN114353789A (zh) * 2021-12-21 2022-04-15 北京冰锋科技有限责任公司 融合uwb和imu的数据采集分析方法、系统及装置
CN114627560A (zh) * 2022-05-13 2022-06-14 浙江大华技术股份有限公司 一种动作识别方法、动作识别模型训练方法及相关装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109492581A (zh) * 2018-11-09 2019-03-19 中国石油大学(华东) 一种基于tp-stg框架的人体动作识别方法
CN109919122A (zh) * 2019-03-18 2019-06-21 中国石油大学(华东) 一种基于3d人体关键点的时序行为检测方法
CN109948459A (zh) * 2019-02-25 2019-06-28 广东工业大学 一种基于深度学习的足球动作评估方法与系统
CN110472554A (zh) * 2019-08-12 2019-11-19 南京邮电大学 基于姿态分割和关键点特征的乒乓球动作识别方法及系统
CN110837778A (zh) * 2019-10-12 2020-02-25 南京信息工程大学 一种基于骨架关节点序列的交警指挥手势识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109492581A (zh) * 2018-11-09 2019-03-19 中国石油大学(华东) 一种基于tp-stg框架的人体动作识别方法
CN109948459A (zh) * 2019-02-25 2019-06-28 广东工业大学 一种基于深度学习的足球动作评估方法与系统
CN109919122A (zh) * 2019-03-18 2019-06-21 中国石油大学(华东) 一种基于3d人体关键点的时序行为检测方法
CN110472554A (zh) * 2019-08-12 2019-11-19 南京邮电大学 基于姿态分割和关键点特征的乒乓球动作识别方法及系统
CN110837778A (zh) * 2019-10-12 2020-02-25 南京信息工程大学 一种基于骨架关节点序列的交警指挥手势识别方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113963206A (zh) * 2021-10-20 2022-01-21 中国石油大学(华东) 一种基于姿态指引的速滑运动员目标检测方法
CN114353789A (zh) * 2021-12-21 2022-04-15 北京冰锋科技有限责任公司 融合uwb和imu的数据采集分析方法、系统及装置
CN114353789B (zh) * 2021-12-21 2023-11-10 北京冰锋科技有限责任公司 融合uwb和imu的数据采集分析方法、系统及装置
CN114627560A (zh) * 2022-05-13 2022-06-14 浙江大华技术股份有限公司 一种动作识别方法、动作识别模型训练方法及相关装置

Similar Documents

Publication Publication Date Title
CN110472554B (zh) 基于姿态分割和关键点特征的乒乓球动作识别方法及系统
CN108256433B (zh) 一种运动姿态评估方法及系统
CN109919031B (zh) 一种基于深度神经网络的人体行为识别方法
CN113052061A (zh) 一种基于人体姿态估计的速度滑冰运动员动作识别方法
US9600717B1 (en) Real-time single-view action recognition based on key pose analysis for sports videos
JP4640155B2 (ja) 画像処理装置および方法、並びにプログラム
CN109919977B (zh) 一种基于时间特征的视频运动人物跟踪与身份识别方法
US9744421B2 (en) Method of analysing a video of sports motion
Rangasamy et al. Deep learning in sport video analysis: a review
CN109902565B (zh) 多特征融合的人体行为识别方法
KR20190038409A (ko) 동체 추적 장치, 동체 추적 방법, 동체 추적 프로그램
CN104063871B (zh) 可穿戴设备的图像序列场景分割方法
Nibali et al. Extraction and classification of diving clips from continuous video footage
Hsu et al. Coachai: A project for microscopic badminton match data collection and tactical analysis
CN111680660B (zh) 基于多源异构数据流的人体行为检测方法
Zahan et al. Learning sparse temporal video mapping for action quality assessment in floor gymnastics
Bhuyan et al. An automated method for identification of key frames in Bharatanatyam dance videos
Lee et al. A study on sports player tracking based on video using deep learning
Rokade et al. Hand gesture recognition using object based key frame selection
CN111898471B (zh) 一种行人跟踪方法和装置
Putro et al. Multiple layered deep learning based real-time face detection
CN114494972A (zh) 一种结合通道选择与位置优化的目标跟踪方法及系统
Huo et al. Modality-convolutions: Multi-modal gesture recognition based on convolutional neural network
CN113673327A (zh) 一种基于人体姿态估计的罚球命中预测方法
Xin et al. Multi-object tracking with spatial-temporal correlation memory networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination