CN111617464A - 一种动作识别的跑步机健身方法 - Google Patents

一种动作识别的跑步机健身方法 Download PDF

Info

Publication number
CN111617464A
CN111617464A CN202010466417.2A CN202010466417A CN111617464A CN 111617464 A CN111617464 A CN 111617464A CN 202010466417 A CN202010466417 A CN 202010466417A CN 111617464 A CN111617464 A CN 111617464A
Authority
CN
China
Prior art keywords
action
user
building
virtual
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010466417.2A
Other languages
English (en)
Other versions
CN111617464B (zh
Inventor
杨恒占
王晨帆
黄育延
谷志勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Technological University
Original Assignee
Xian Technological University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Technological University filed Critical Xian Technological University
Priority to CN202010466417.2A priority Critical patent/CN111617464B/zh
Publication of CN111617464A publication Critical patent/CN111617464A/zh
Application granted granted Critical
Publication of CN111617464B publication Critical patent/CN111617464B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/214Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads
    • A63F13/2145Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads the surface being also a display device, e.g. touch screens
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50Controlling the output signals based on the game progress
    • A63F13/52Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80Special adaptations for executing a specific game genre or game mode
    • A63F13/816Athletics, e.g. track-and-field sports
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/23Recognition of whole body movements, e.g. for sport training
    • G06V40/25Recognition of walking or running movements, e.g. gait recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种动作识别的跑步机健身方法,具体包括以下步骤:步骤S1:人体数据采集;步骤S2:人物建模及虚拟场景搭建;步骤S3:骨骼点信息获取与绑定;步骤S4:动作识别判断。本发明用户可以使用肢体动作通过屏幕提示对系统发送操作指令,控制虚拟人物在设计的场景中进行走路、跑步、跳跃等动作,人机交互体验感强。系统中设计的跑步路线分为虚拟游戏路线和实景路线,避免了人们在传统的跑步机长时间运动时枯燥无味的运动体验。

Description

一种动作识别的跑步机健身方法
技术领域
本发明涉及图像处理和运动健身技术领域,更具体地,涉及一种动作识别的跑步机健身方法。
背景技术
近些年,随着生活品质的提高,运动健身行业获得了越来越高的关注度。在目前大多数健身房中的跑步机都是传统式跑步机,用户只能通过自己携带的电子设备听音乐或者看视频来进行娱乐,在跑步机进行较长时间的运动会有些枯燥无味。其次,如果没有健身教练指导,跑步动作不标准无法得到提示纠正,使得健身效果欠佳。
发明内容
本发明提供一种动作识别的跑步机健身方法,解决了锻炼者在传统的跑步机长时间运动时枯燥无味的问题。
为了达到上述目的,本发明的技术方案如下:
动作识别的跑步机健身方法,具体包括以下步骤:
步骤S1:人体数据采集;
步骤S2:人物建模及虚拟场景搭建;
步骤S3:骨骼点信息获取与绑定;
步骤S4:动作识别判断;
所述步骤S4具体包括:
S401、训练过程:通过分类器对现有的大量3D动作数据集进行训练,确定一个最高识别率的聚类值,为每一种动作行为轨迹训练出相应的模板和最佳阈值;
S402、识别过程:针对不同用户身高体型的差异性,对获取到的用户动作行为轨迹进行中心归一化处理,对一个动作序列中的多个骨骼点进行权重分析,根据在此动作中每个点的偏移量确定贡献值,贡献值大的点获得的权值也越大;将实时获取到的运动轨迹与训练好的动作模板库进行相似度计算,依据阈值大小将此动作进行分类识别;
S403、实现过程:结合Unity3D的Animator功能,通过用户不同的肢体指令动作控制虚拟人物在设计好的场景中进行走路、跑步、跳跃、左右转向等动作,达到虚拟现实的效果。
进一步的,所述步骤S1具体包括:S101、深度传感摄像头AstraPro获取深度图像数据流;S102、分割遮罩消除背景噪声;S103、通过骨骼追踪得到用户的19个关键骨骼点坐标。
进一步的,所述步骤S2具体包括:
S201、使用3DMax进行人物建模、蒙皮、赋予材质、人物动作动画设计及分割,为后续骨骼点绑定虚拟人物做好准备工作;
S202、使用Unity3D进行虚拟场景搭建,包括场景素材选取、道路关卡设置、UI界面设计、粒子特效、跑步游戏整体策划、用户数据存储及与服务器的交互。
4.根据权利要求3所述的动作识别的跑步机健身方法,其特征在于,所述步骤S3具体包括:
S301、在Unity3D中搭建虚拟人物骨骼数据模板,将AstraPro采集到的骨骼点数据进行对应绑定;
S302、随着跑步机上用户的运动,骨骼点数据会不断更新,系统获取到不同的动作轨迹指令。
本发明的有益效果:
本发明用户可以使用肢体动作通过屏幕提示对系统发送操作指令,控制虚拟人物在设计的场景中进行走路、跑步、跳跃等动作,人机交互体验感强。系统中设计的跑步路线分为虚拟游戏路线和实景路线,在虚拟游戏路线中,用户可以通过肢体指令操作虚拟人物在虚拟场景中进行闯关类游戏,竞技性较强;在实景路线中,屏幕会播放事先录制好的世界各地风景路线视频,用户在欣赏风景的同时也能锻炼身体,休闲性十足。避免了人们在传统的跑步机长时间运动时枯燥无味的运动体验。操作系统分为触屏模式和体感模式,在体感模式中,用户可通过手势模拟鼠标点击界面进行选择操作。在用户进行跑步路线体验中,可以在屏幕中观察到自己的速度、运动距离、跑步时长、消耗卡路里等实时参数。在用户退出系统后,会将用户本次的运动数据上传服务器进行存储,可在历史记录中查询自己的历史运动数据,为用户在健身计划的制定中提供数据支持。本系统还能将用户的跑步姿势与标准跑步姿势分析对比后,若相似度相差过大,在屏幕上会进行提示纠正。
附图说明
图1为动作识别的跑步机健身系统的结构示意图;
图2为动作识别的跑步机健身方法的骨骼模板绑定图;
图3为动作识别的跑步机健身方法的动作识别模型图;
图4为动作识别的跑步机健身方法的框架流程图;
图中,1为AstraPro深度传感摄像头,2位高清液晶显示屏,3为跑步机,4为健身用户。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附和实施例对本发明作进一步地详细描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
本发明的目的是提供一种动作识别的跑步机健身方法,用户可以使用肢体动作通过屏幕提示对系统发送操作指令,控制虚拟人物在设计的场景中进行走路、跑步、跳跃等动作,人机交互体验感强。
参见图1,本实施例提供一种基于Unity3D动作识别的跑步机健身系统的结构示意图,该跑步机健身系统包括AstraPro深度传感摄像头1,高清液晶显示屏2,跑步机3,健身用户4。系统通过固定在跑步机上方的高清液晶显示屏进行显示,用户可以通过触屏或者肢体动作指令操作系统。
图2是一种基于Unity3D动作识别的跑步机健身方法的骨骼模板绑定图。图中的彩色图和深度图通过AstraPro直接获取,祛除噪声背景后得到彩色抠图和深度背景抠图。能更直观的看出人在大环境中的运动变化,祛除了外界因素的干扰。将摄像头获取到的19个用户骨骼数据点与Unity3D中创建的人体骨骼模型进行对应绑定,建立一个映射关系的人形骨骼模板,通过骨骼模板在 Unity3D世界坐标系中坐标点值的改变来进行动作指令判断。
图3是一种基于Unity3D动作识别的跑步机健身方法的动作识别模型图。主要包含两部分,一是对动作模型的训练过程,二是对用户实时动作的识别过程。由于每个人做同一种动作的运动轨迹不同,包括身高体型影响,对获得到的运动轨迹需先进行中心归一化处理,随后通过聚类算法对用户的运动轨迹进行编码数据压缩处理,最后进行相似度计算,将计算结果作为实时动作轨迹和训练模板相似度的对比标准。
图4是位一种基于Unity3D动作识别的跑步机健身方法的框架流程图。框架主要分为:
1、数据采集模块:包含AstraPro初始化,深度数据流获取,人体部分识别。主要功能是将AstraPro获取到的深度数据流及骨骼点信息发送给Unity3D 端,对人体部位进行分类,提取动作特征,这对于分析用户当前运动状态具有重要意义。
2、人物建模与场景搭建模块:包含角色建模,蒙皮绑定,场景搭建,最终生成场景。主要功能是使用3Dmax和Unity3D对虚拟游戏路线进行整体性设计,增强跑步游戏的趣味性和可玩性。
3、骨骼点信息获取和绑定模块:包含骨骼点数据更新,绑定Unity3D中的骨骼模板。主要功能是将AstraPro获取到的骨骼数据点在Unity3D中进行数据绑定,建立映射关系的骨骼模板,保证动作指令的实时性,否则会导致用户与虚拟人物的动作不匹配。
4、动作识别判断模块:判断动作轨迹是否匹配动作模板库。若匹配,则控制动画状态机播放虚拟人物相应动作动画;若不匹配,则获取下一序列的动作轨迹。主要功能是对用户当前动作轨迹与通过动作识别模型训练后的动作轨迹进行相似度计算,如满足要求,则输出识别结果。
在Unity3D中搭建好虚拟人物和场景,然后通过深度传感摄像头AstraPro 深度传感摄像头获取人体动作数据,控制虚拟人物模型运行不同动作,达到虚拟现实的体验效果。
以上应用了具体个例对本发明进行阐述,只是用于帮助理解本发明,并不用以限制本发明。任何熟悉该技术的人在本发明所揭露的技术范围内的局部修改或替换,都应涵盖在本发明的包含范围之内。

Claims (4)

1.动作识别的跑步机健身方法,其特征在于:
具体包括以下步骤:
步骤S1:人体数据采集;
步骤S2:人物建模及虚拟场景搭建;
步骤S3:骨骼点信息获取与绑定;
步骤S4:动作识别判断;
所述步骤S4具体包括:
S401、训练过程:通过分类器对现有的大量3D动作数据集进行训练,确定一个最高识别率的聚类值,为每一种动作行为轨迹训练出相应的模板和最佳阈值;
S402、识别过程:针对不同用户身高体型的差异性,对获取到的用户动作行为轨迹进行中心归一化处理,对一个动作序列中的多个骨骼点进行权重分析,根据在此动作中每个点的偏移量确定贡献值,贡献值大的点获得的权值也越大;将实时获取到的运动轨迹与训练好的动作模板库进行相似度计算,依据阈值大小将此动作进行分类识别;
S403、实现过程:结合Unity3D的Animator功能,通过用户不同的肢体指令动作控制虚拟人物在设计好的场景中进行走路、跑步、跳跃、左右转向等动作,达到虚拟现实的效果。
2.根据权利要求1所述的动作识别的跑步机健身方法,其特征在于,所述步骤S1具体包括:S101、深度传感摄像头AstraPro获取深度图像数据流;S102、分割遮罩消除背景噪声;S103、通过骨骼追踪得到用户的19个关键骨骼点坐标。
3.根据权利要求2所述的动作识别的跑步机健身方法,其特征在于,所述步骤S2具体包括:
S201、使用3DMax进行人物建模、蒙皮、赋予材质、人物动作动画设计及分割,为后续骨骼点绑定虚拟人物做好准备工作;
S202、使用Unity3D进行虚拟场景搭建,包括场景素材选取、道路关卡设置、UI界面设计、粒子特效、跑步游戏整体策划、用户数据存储及与服务器的交互。
4.根据权利要求3所述的动作识别的跑步机健身方法,其特征在于,所述步骤S3具体包括:
S301、在Unity3D中搭建虚拟人物骨骼数据模板,将AstraPro采集到的骨骼点数据进行对应绑定;
S302、随着跑步机上用户的运动,骨骼点数据会不断更新,系统获取到不同的动作轨迹指令。
CN202010466417.2A 2020-05-28 2020-05-28 一种动作识别的跑步机健身方法 Active CN111617464B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010466417.2A CN111617464B (zh) 2020-05-28 2020-05-28 一种动作识别的跑步机健身方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010466417.2A CN111617464B (zh) 2020-05-28 2020-05-28 一种动作识别的跑步机健身方法

Publications (2)

Publication Number Publication Date
CN111617464A true CN111617464A (zh) 2020-09-04
CN111617464B CN111617464B (zh) 2023-02-24

Family

ID=72267382

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010466417.2A Active CN111617464B (zh) 2020-05-28 2020-05-28 一种动作识别的跑步机健身方法

Country Status (1)

Country Link
CN (1) CN111617464B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112891922A (zh) * 2021-03-18 2021-06-04 山东梦幻视界智能科技有限公司 一种虚拟现实体感交互方法
CN113190104A (zh) * 2021-01-18 2021-07-30 郭奕忠 智能设备利用视觉分析识别人物动作实现人机交互的方法
CN113963435A (zh) * 2021-10-07 2022-01-21 哈尔滨理工大学 一种基于图卷积神经网络的人体行为识别系统
CN116385608A (zh) * 2023-06-05 2023-07-04 广州悦跑信息科技有限公司 一种虚拟人物的跑步路线轨迹重现方法
CN117766098A (zh) * 2024-02-21 2024-03-26 江苏森讯达智能科技有限公司 一种基于虚拟现实技术的健身优化训练方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104353240A (zh) * 2014-11-27 2015-02-18 北京师范大学珠海分校 基于Kinect的跑步机系统
WO2018120964A1 (zh) * 2016-12-30 2018-07-05 山东大学 一种基于深度信息和骨骼信息的姿势矫正方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104353240A (zh) * 2014-11-27 2015-02-18 北京师范大学珠海分校 基于Kinect的跑步机系统
WO2018120964A1 (zh) * 2016-12-30 2018-07-05 山东大学 一种基于深度信息和骨骼信息的姿势矫正方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113190104A (zh) * 2021-01-18 2021-07-30 郭奕忠 智能设备利用视觉分析识别人物动作实现人机交互的方法
CN112891922A (zh) * 2021-03-18 2021-06-04 山东梦幻视界智能科技有限公司 一种虚拟现实体感交互方法
CN112891922B (zh) * 2021-03-18 2022-11-22 山东梦幻视界智能科技有限公司 一种虚拟现实体感交互方法
CN113963435A (zh) * 2021-10-07 2022-01-21 哈尔滨理工大学 一种基于图卷积神经网络的人体行为识别系统
CN116385608A (zh) * 2023-06-05 2023-07-04 广州悦跑信息科技有限公司 一种虚拟人物的跑步路线轨迹重现方法
CN116385608B (zh) * 2023-06-05 2023-08-18 广州悦跑信息科技有限公司 一种虚拟人物的跑步路线轨迹重现方法
CN117766098A (zh) * 2024-02-21 2024-03-26 江苏森讯达智能科技有限公司 一种基于虚拟现实技术的健身优化训练方法及系统

Also Published As

Publication number Publication date
CN111617464B (zh) 2023-02-24

Similar Documents

Publication Publication Date Title
CN111617464B (zh) 一种动作识别的跑步机健身方法
Trejo et al. Recognition of yoga poses through an interactive system with kinect device
CN105797349A (zh) 实景跑步装置、方法及系统
CN109758157A (zh) 基于增强现实的步态康复训练评估方法与系统
CN110428486B (zh) 虚拟互动的健身方法、电子设备及存储介质
US20110300933A1 (en) Method for interacting with a video and game simulation system
US11995754B2 (en) Enhanced animation generation based on motion matching using local bone phases
CN110298220B (zh) 动作视频直播方法、系统、电子设备、存储介质
CN107551554A (zh) 基于虚拟现实的实现室内运动场景模拟系统和方法
CN102222342A (zh) 人体运动跟踪及其识别方法
Wei et al. Exploring the application of artificial intelligence in sports training: a case study approach
US11954869B2 (en) Motion recognition-based interaction method and recording medium
CN107224713A (zh) 一种基于vr设备的智能运动健身器材及其使用方法
CN107272884A (zh) 一种基于虚拟现实技术的控制方法及其控制系统
EP4315261A1 (en) Artificial intelligence for capturing facial expressions and generating mesh data
Shen et al. Posture-based and action-based graphs for boxing skill visualization
CN104258555A (zh) 采用rgbd视觉传感的双拳击球健身交互系统
Tang et al. Research on Sports Dance Movement Detection Based on Pose Recognition.
Xiong et al. Object-level trajectories based fine-grained action recognition in visual IoT applications
Zhang et al. The framework and implementation of virtual network marathon
CN109107124A (zh) 一种智能运动模拟方法、装置、系统及存储介质
Shum et al. Skillvis: a visualization tool for boxing skill assessment
CN208865163U (zh) 一种基于蹦床的虚拟现实交互装置
US10864422B1 (en) Augmented extended realm system
Sun Aerobics movement decomposition action teaching system based on intelligent vision sensor

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant