CN111346358A - 基于卷积神经网络的游泳训练评估系统和方法 - Google Patents

基于卷积神经网络的游泳训练评估系统和方法 Download PDF

Info

Publication number
CN111346358A
CN111346358A CN202010165876.7A CN202010165876A CN111346358A CN 111346358 A CN111346358 A CN 111346358A CN 202010165876 A CN202010165876 A CN 202010165876A CN 111346358 A CN111346358 A CN 111346358A
Authority
CN
China
Prior art keywords
swimming
athlete
definition camera
action
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010165876.7A
Other languages
English (en)
Other versions
CN111346358B (zh
Inventor
童晓星
余国
郑晓辉
王绅宇
周盼盼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JIAXING TECHNICIAN INSTITUTE
Original Assignee
JIAXING TECHNICIAN INSTITUTE
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JIAXING TECHNICIAN INSTITUTE filed Critical JIAXING TECHNICIAN INSTITUTE
Priority to CN202010165876.7A priority Critical patent/CN111346358B/zh
Publication of CN111346358A publication Critical patent/CN111346358A/zh
Application granted granted Critical
Publication of CN111346358B publication Critical patent/CN111346358B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00Training appliances or apparatus for special sports
    • A63B69/12Arrangements in swimming pools for teaching swimming or for training
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/23Recognition of whole body movements, e.g. for sport training
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B2071/0647Visualisation of executed movements

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于卷积神经网络的游泳训练评估系统和方法。水下高清摄像机装在泳池底部导轨上从泳池底部向上拍摄;水面高清摄像机装在泳池侧面池壁轨道上从泳池侧面水平拍摄;包括高空高清摄像机装在泳池上方轨道上向下俯拍,均随游泳前进移动;方法是间隔取样图像,分析处理获得游泳动作数据,一个完整游泳动作周期内多次取样作为输入,游泳成绩作为输出,利用卷积神经网络建立游泳评估模型,模拟调整运动员游泳姿势,计算模拟调整姿势后的成绩,进而改进游泳姿势。本发明用在游泳训练的辅助中,通过摄像机捕捉游泳姿势、动作的间隔图像,对采样游泳动作数据,通过神经网络模型进行调整和预测,并反馈以期望帮助提高游泳成绩。

Description

基于卷积神经网络的游泳训练评估系统和方法
技术领域
本发明涉及了一种游泳硬件系统和游泳图像数据处理方法,尤其是涉及了一种基于图像算法和卷积神经网络算法的游泳训练评估系统和方法。
背景技术
传统的游泳训练评估主要以教练的经验、肉眼的判断为主,通过运动员水面姿势、动作、位置和最终的成绩来评估该趟游泳成效,效率相对较低。
市面上较为先进的方法是通过摄像机来拍摄对运动员游泳过程进行全程拍摄,赛后教练组对游进过程中的动作、姿势进行人工分析、判断,根据成绩提出动作矫正计划,在随后的训练中继续进行摄像机拍摄,再根据拍摄影像进行分析,周而反复,以提升训练效果。这种方法费时费力,受教练训练经验的约束,且人工主观判断影响较大。
现有技术中缺少了针对游泳训练有效帮助的硬件设备和软件方法。
发明内容
为了解决背景技术中存在的问题,本发明提出了基于图像算法和卷积神经网络算法的游泳训练评估系统和方法,本发明可根据训练动作,对训练效果提出一种综合性的评估,并且进而获得能帮助提到训练动作的数据结果。
本发明采用的技术方案是:
一、一种基于卷积神经网络的游泳训练评估系统:
包括计算机、传输线缆和高清摄像机,所述的高清摄像机包括:
包括水下高清摄像机,安装在泳池底部平行于泳道的导轨上,从泳池底部向上拍摄运动员游泳姿势,随运动员游泳前进而移动;
包括水面高清摄像机,安装在泳池侧面池壁平行于泳道的轨道上,从泳池侧面水平拍摄运动员游泳姿势,随运动员游泳前进而移动;
包括高空高清摄像机,安装在泳池上方平行于泳道的轨道上,向下俯拍运动员游泳姿势,随运动员游泳前进而移动;
水下高清摄像机、水面高清摄像机和高空高清摄像机通过线缆连接到计算机,水下高清摄像机、水面高清摄像机和高空高清摄像机采集的视频或者图像实时通过线缆传输给图像处理器。
所述的水下高清摄像机和水面高清摄像机均位于水面以下。
所述计算机位于远程或者现场。也可以为服务器。
二、一种基于卷积神经网络的游泳训练评估方法:
方法采用水下高清摄像机、水面高清摄像机和高空高清摄像机实时跟随运动员游泳前进而移动,并实时不间断拍摄采集运动员游泳的视频;计算机接收到视频后,以0.2S间隔对游泳动作进行视频截图取样,通过OpenPose算法对每个采样截图进行处理获得运动员游泳动作的取样数据,取样数据包括头部、四肢和身体躯干的位置和长度,在运动员每一个完整游泳动作周期内获得多次取样数据作为输入,每次游泳的成绩作为输出,利用卷积神经网络建立关于动作和成绩的游泳评估模型;根据游泳评估模型,模拟调整运动员游泳姿势数据,并计算出模拟运动员调整姿势后的成绩,进而利用调整的姿势数据改进运动员的游泳姿势。
所述的完整游泳动作周期是指单个可循环的游泳动作过程。例如蛙泳为一个手腿伸出、缩回再伸出的往复过程。
通过泳池底部的导轨来安装并移动水下高清摄像机1,摄像机随运动员位置移动而移动;通过泳池两侧池壁的导轨来安装并移动水面高清摄像机2,摄像机随运动员位置移动而移动;通过高空导轨(顶棚)来安装并移动高空高清摄像机3,摄像机随运动员位置移动而移动;通过线缆将水下高清摄像机、水面高清摄像机和高空高清摄像机实时图像传输给计算机/服务器。
方法图像处理中,在这个图像集合中选出游泳的动作点,一个完整动作周期内游泳动作进行分解,分界成多个子动作,针对每个子动作瞬时采样拍摄图像,通过OpenPose算法对图像中运动员的头部、手掌、手臂、腿、脚、身体躯干的长度进行处理取样,取样将图片变换成一个一维数组,多个子动作中不同身体部位的长度形成一个多维数矩形特征矩阵;以一次完整游程的N个完整动作周期产生的特征矩阵作为输入,以最后游泳成绩为输出,建立卷积神经网络的游泳评估模型,同一位运动员进行多次完整游程,经过调整学习率系数、卷积核、卷积核大小的参数进行训练获得最终的游泳评估模型;根据游泳评估模型,模拟调整运动员游泳姿势数据,将模拟调整后运动员的动作用OpenPose算法进行同样计算和处理获得特征矩阵作为输入,通过游泳评估模型进行计算输出调整姿势后的成绩,运动员各种动作调整对应选取最优成绩对应的游泳姿势数据结果。
本发明的有益效果是:
本发明主要应用在游泳训练的辅助中,通过水下、水面、高空摄像机对运动员游泳姿势、动作的捕捉,对采样截图中的运动员头部、四肢、身体躯干的位置、手掌形、脚掌形进行取样,通过卷积神经网络建立神经网络模型。
根据神经网络模型,模拟不同的调整训练动作进行调整和预测,根据最佳成绩的最佳训练动作数据,进而反馈给运动员以期望帮助提高游泳成绩。
附图说明
图1是本发明设备布置图;
图2是本发明工作流程图。
图3是实施例图像集合中以蛙泳为例选出典型动作点的分解动作图。
图中:水下高清摄像机1,水面高清摄像机2,高空高清摄像机3,线缆4。
具体实施方式
下面结合附图和实施例对本发明作进一步说明。
如图1所示,本发明具体实施的主要硬件设施包含三种高清摄像机、线缆、处理器等设施。高清摄像机包括水下高清摄像机1、水面高清摄像机2和高空高清摄像机3。
水下高清摄像机1安装在泳池底部平行于泳道的导轨上,从泳池底部向上拍摄运动员游泳姿势,随运动员游泳前进而移动;
水面高清摄像机2安装在泳池侧面池壁平行于泳道的轨道上,从泳池侧面水平拍摄运动员游泳姿势,随运动员游泳前进而移动;
高空高清摄像机3安装在泳池上方顶棚平行于泳道的轨道上,向下俯拍运动员游泳姿势,随运动员游泳前进而移动;
水下高清摄像机1、水面高清摄像机2和高空高清摄像机3通过线缆4连接到计算机,水下高清摄像机1、水面高清摄像机2和高空高清摄像机3采集的视频或者图像实时通过线缆4传输给图像处理器,计算机的图像处理器通过算法对图像进行图像分析和处理。
如图2所示,本发明的主要工作流程如下:
1)采用水下高清摄像机1、水面高清摄像机2和高空高清摄像机3实时跟随运动员游泳前进而移动,并实时不间断拍摄采集运动员游泳的视频;
2)计算机接收到视频后,以0.2S间隔对游泳动作进行视频截图取样,通过OpenPose算法对每个采样截图进行处理获得运动员的取样数据,取样数据包括头部、四肢和身体躯干的位置和长度。
在运动员每一个完整游泳动作周期内获得多次取样数据作为输入,以蛙泳为例,如50米长池进行划臂蹬腿一整套动作共计20次,则该20次取样数据为输入,该次游泳的成绩作为输出,利用卷积神经网络建立动作和成绩的游泳评估模型。
模型建立方式如下:在这个图像集合中选出典型动作点,如图3所示,上图为正常拍摄的蛙泳泳姿,下图为OpenPose分解下的姿态检测,以蛙泳为例,一个完整动作周期内蛙泳主要动作一共可分解成六个子动作,分别是向外划水、抓水、向内划水、双手前伸、踢水伸直、腿部夹水滑行等六个子动作,一整个动作里,每个字动作都进行瞬时采样拍摄,产生六张图片,通过OpenPose算法对图像中运动员的头部、手掌、手臂、腿、脚、身体躯干的长度进行取样,取样将图片变换成一个长度为六(分别代表投、手掌、手臂、腿、脚、身体躯干) 的一维数组,六个子动作中六个不同身体部位的长度可形成一个6*6的特征矩阵,以50米长池蛙泳为例,比如说一个游程中需要做20个完整动作周期(忽略出发的跳水和长划臂动作),就有20个不同的特征矩阵。
以一次完整游程(如50米蛙泳)的N个动作周期产生的特征矩阵作为输入,最后的成绩为输出端,建立卷积神经网络,同一位运动员多次完整游程(如多次进行50米蛙泳测试),经过调整学习率系数(lr_mult)、卷积核(num_output)、卷积核大小(kernel_size)等参数,提高模型拟合率,从而建立较精准的模型。
3)根据游泳评估模型,模拟调整运动员游泳姿势,将模拟调整后运动员的动作用OpenPose进行计算,六个子动作中六个不同身体部位的长度作为6*6的特征矩阵(方法跟步骤2相同),将模拟调整后的特征矩阵作为输入,通过游泳评估的卷积神经网络进行计算,输出结果即为调整姿势后的成绩。在运动员各种动作调整建议对应的结果中选取最优成绩对应的游泳姿势数据结果,施加到运动员上进行复杂训练。
以上所述仅为本发明的实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (6)

1.一种基于卷积神经网络的游泳训练评估系统,包括计算机、传输线缆(4)和高清摄像机,其特征在于:所述的高清摄像机包括:
包括水下高清摄像机(1),安装在泳池底部平行于泳道的导轨上,从泳池底部向上拍摄运动员游泳姿势,随运动员游泳前进而移动;
包括水面高清摄像机(2),安装在泳池侧面池壁平行于泳道的轨道上,从泳池侧面水平拍摄运动员游泳姿势,随运动员游泳前进而移动;
包括高空高清摄像机(3),安装在泳池上方平行于泳道的轨道上,向下俯拍运动员游泳姿势,随运动员游泳前进而移动;
水下高清摄像机(1)、水面高清摄像机(2)和高空高清摄像机(3)通过线缆(4)连接到计算机。
2.根据权利要求1所述的一种基于卷积神经网络的游泳训练评估系统,其特征在于:所述的水下高清摄像机(1)和水面高清摄像机(2)均位于水面以下。
3.根据权利要求1所述的一种基于卷积神经网络的游泳训练评估系统,其特征在于:所述计算机位于远程或者现场。
4.应用于权利要求1所述系统的基于卷积神经网络的游泳训练评估方法,其特征在于:采用水下高清摄像机(1)、水面高清摄像机(2)和高空高清摄像机(3)实时跟随运动员游泳前进而移动,并实时不间断拍摄采集运动员游泳的视频;
计算机接收到视频后,以0.2S间隔对游泳动作进行视频截图取样,通过OpenPose算法对每个采样截图进行处理获得运动员游泳动作的取样数据,取样数据包括头部、四肢和身体躯干的位置和长度,在运动员每一个完整游泳动作周期内获得多次取样数据作为输入,每次游泳的成绩作为输出,利用卷积神经网络建立关于动作和成绩的游泳评估模型;
根据游泳评估模型,模拟调整运动员游泳姿势数据,并计算出模拟运动员调整姿势后的成绩,进而利用调整的姿势数据改进运动员的游泳姿势。
5.根据权利要求4所述的基于卷积神经网络的游泳训练评估方法,其特征在于:所述的完整游泳动作周期是指单个可循环的游泳动作过程。
6.根据权利要求4所述的基于卷积神经网络的游泳训练评估方法,其特征在于:方法图像处理中,在这个图像集合中选出游泳的动作点,一个完整动作周期内游泳动作进行分解,分界成多个子动作,针对每个子动作瞬时采样拍摄图像,通过OpenPose算法对图像中运动员的头部、手掌、手臂、腿、脚、身体躯干的长度进行处理取样,取样将图片变换成一个一维数组,多个子动作中不同身体部位的长度形成一个特征矩阵;以一次完整游程的N个完整动作周期产生的特征矩阵作为输入,以最后游泳成绩为输出,建立卷积神经网络的游泳评估模型,同一位运动员进行多次完整游程,经过调整学习率系数、卷积核、卷积核大小的参数进行训练获得最终的游泳评估模型;根据游泳评估模型,模拟调整运动员游泳姿势数据,将模拟调整后运动员的动作用OpenPose算法进行同样计算和处理获得特征矩阵作为输入,通过游泳评估模型进行计算输出调整姿势后的成绩,运动员各种动作调整对应选取最优成绩对应的游泳姿势数据结果。
CN202010165876.7A 2020-03-11 2020-03-11 基于卷积神经网络的游泳训练评估系统和方法 Active CN111346358B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010165876.7A CN111346358B (zh) 2020-03-11 2020-03-11 基于卷积神经网络的游泳训练评估系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010165876.7A CN111346358B (zh) 2020-03-11 2020-03-11 基于卷积神经网络的游泳训练评估系统和方法

Publications (2)

Publication Number Publication Date
CN111346358A true CN111346358A (zh) 2020-06-30
CN111346358B CN111346358B (zh) 2024-04-09

Family

ID=71188774

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010165876.7A Active CN111346358B (zh) 2020-03-11 2020-03-11 基于卷积神经网络的游泳训练评估系统和方法

Country Status (1)

Country Link
CN (1) CN111346358B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113422932A (zh) * 2021-06-25 2021-09-21 成都智敏实业有限公司 游泳池水下影像采集识别系统及其安装方式
CN114365704A (zh) * 2021-03-30 2022-04-19 中国人民解放军空军军医大学 一种小动物游泳训练状态评估系统及方法
WO2022116860A1 (en) * 2020-12-02 2022-06-09 The University Of Hong Kong Swimmer performance analysis system

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109858406A (zh) * 2019-01-17 2019-06-07 西北大学 一种基于关节点信息的关键帧提取方法
CN110180151A (zh) * 2019-05-06 2019-08-30 南昌嘉研科技有限公司 一种游泳训练辅助系统
CN110210323A (zh) * 2019-05-09 2019-09-06 浙江大学 一种基于机器视觉的溺水行为在线识别方法
CN110705390A (zh) * 2019-09-17 2020-01-17 平安科技(深圳)有限公司 基于lstm的形体姿态识别方法、装置及存储介质
CN212235908U (zh) * 2020-03-11 2020-12-29 嘉兴技师学院 一种用于游泳训练评估图像采集的拍摄装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109858406A (zh) * 2019-01-17 2019-06-07 西北大学 一种基于关节点信息的关键帧提取方法
CN110180151A (zh) * 2019-05-06 2019-08-30 南昌嘉研科技有限公司 一种游泳训练辅助系统
CN110210323A (zh) * 2019-05-09 2019-09-06 浙江大学 一种基于机器视觉的溺水行为在线识别方法
CN110705390A (zh) * 2019-09-17 2020-01-17 平安科技(深圳)有限公司 基于lstm的形体姿态识别方法、装置及存储介质
CN212235908U (zh) * 2020-03-11 2020-12-29 嘉兴技师学院 一种用于游泳训练评估图像采集的拍摄装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022116860A1 (en) * 2020-12-02 2022-06-09 The University Of Hong Kong Swimmer performance analysis system
CN114365704A (zh) * 2021-03-30 2022-04-19 中国人民解放军空军军医大学 一种小动物游泳训练状态评估系统及方法
CN113422932A (zh) * 2021-06-25 2021-09-21 成都智敏实业有限公司 游泳池水下影像采集识别系统及其安装方式

Also Published As

Publication number Publication date
CN111346358B (zh) 2024-04-09

Similar Documents

Publication Publication Date Title
CN111346358B (zh) 基于卷积神经网络的游泳训练评估系统和方法
CN212235908U (zh) 一种用于游泳训练评估图像采集的拍摄装置
US11727728B2 (en) Monitoring the performance of physical exercises
CN108564596B (zh) 一种高尔夫挥杆视频的智能比对分析系统及方法
CN108452504B (zh) 基于传感器的游泳姿势分析装置及分析方法
CN112487965B (zh) 一种基于3d重构的智能健身动作指导方法
CN110222665A (zh) 一种基于深度学习和姿态估计的监控中人体动作识别方法
CN112422946B (zh) 一种基于3d重构的智能瑜伽动作指导系统
Nagarkoti et al. Realtime indoor workout analysis using machine learning & computer vision
Zecha et al. Swimmer detection and pose estimation for continuous stroke-rate determination
CN116824369A (zh) 基于边缘计算与yolov7-tiny的荔枝病害实时检测系统及其方法
CN116030533A (zh) 运动场景的高速动作捕捉与识别方法及系统
Lin et al. Mushroom detection and positioning method based on neural network
CN115253243A (zh) 一种用于击剑训练的带视觉监控的训练设备
CN114187663A (zh) 基于雷达探测灰度图与神经网络的体态控制无人机的方法
de Jesus et al. Effects of fatigue on kinematical parameters during submaximal and maximal 100-m butterfly bouts
Liu et al. A novel model for intelligent pull-ups test based on key point estimation of human body and equipment
CN114596625A (zh) 一种基于边缘计算的鱼群轨迹监测系统
Elipot A new paradigm to do and understand the race analyses in swimming: The application of convolutional neural networks
Xie et al. Producing a Standard Dataset of Speed Climbing Training Videos Using Deep Learning Techniques
Mason et al. Propulsion in breaststroke swimming
Cheng et al. Motion Estimation and Path Planning for Assistive Robotic Devices
Mason Biomechanics and elite competitive swimming
Xie et al. Research on Intelligent Training System of Athletes Assisted by Computer and Cloud Computing
Tanaka Automatic Evaluation System for Online Physical Education

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant