CN114642867B - 一种具有划船运动姿态自动纠错功能的ai教练机系统 - Google Patents

一种具有划船运动姿态自动纠错功能的ai教练机系统 Download PDF

Info

Publication number
CN114642867B
CN114642867B CN202210399638.1A CN202210399638A CN114642867B CN 114642867 B CN114642867 B CN 114642867B CN 202210399638 A CN202210399638 A CN 202210399638A CN 114642867 B CN114642867 B CN 114642867B
Authority
CN
China
Prior art keywords
gesture
standard
rowing
user
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210399638.1A
Other languages
English (en)
Other versions
CN114642867A (zh
Inventor
张胜志
唐莹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenglan Technology Hangzhou Co ltd
Original Assignee
Shenglan Technology Hangzhou Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenglan Technology Hangzhou Co ltd filed Critical Shenglan Technology Hangzhou Co ltd
Priority to CN202210399638.1A priority Critical patent/CN114642867B/zh
Publication of CN114642867A publication Critical patent/CN114642867A/zh
Application granted granted Critical
Publication of CN114642867B publication Critical patent/CN114642867B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00Training appliances or apparatus for special sports
    • A63B69/06Training appliances or apparatus for special sports for rowing or sculling
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • A63B2071/0625Emitting sound, noise or music
    • A63B2071/0627Emitting sound, noise or music when used improperly, e.g. by giving a warning
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • A63B2071/06363D visualisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明公开了一种具有划船运动姿态自动纠错功能的AI教练机系统,属于健身器材领域。本发明所提供的教练机系统,包括划船机、姿态检测装置和姿态纠错提醒装置,它可以通过对运动者的划船速度控制、划船姿态检测以及纠错提示,来帮助用户更好的进行锻炼,规避使用过程中的错误姿势及方法,避免训练姿势不当而造成的受伤,降低用户的使用过程中的风险,达到更好的健身效果。此类教练机系统可通过人工智能来实现自动纠错,从而无需教练就可使用,大大减少了划船机的使用门槛,同时也减少了训练费用。

Description

一种具有划船运动姿态自动纠错功能的AI教练机系统
技术领域
本发明属于健身器材领域,具体涉及一种具备运动姿态纠错功能的划船机。
背景技术
划船机是以训练为目的,用来模拟水上赛艇运动的机器。划船机对腿部、腰 部、上肢、胸部、背部的肌肉增强有较好的作用。每划一次,上肢、下肢、腰腹 部、背部在过程中都会完成一次完整的收缩与伸展,可以达到一个全身肌肉有氧 练习效果。尤其对腰腹部和上臂部脂肪较多的人群,划船器运动带来意想不到的 塑身效果。
传统的划船机不具备姿态检测和语音提示功能。当用户在专业的划船机上进 行运动时,若没有专业的指导人员在旁指导,初次接触该项运动的用户容易因为 运动姿势的不正确或运动过度导致肌肉拉伤或过度劳损。
因此,提供一种能够自动实现划船运动姿态纠错功能的划船机,是目前亟待 解决的技术问题。
发明内容
本发明的目的在于解决现有技术中存在的问题,并提供一种具有划船运动姿 态自动纠错功能的AI教练机系统。
本发明所采用的具体技术方案如下:
一种具有划船运动姿态自动纠错功能的AI教练机系统,其包括划船机、姿 态检测装置和姿态纠错提醒装置;
所述姿态检测装置包括三个用于拍摄划船机用户在划船过程中不同身体区 域的摄像头,其中第一摄像头用于实时拍摄头部和肩部区域并形成第一用户图像, 第二摄像头用于拍摄身体的腿部区域并形成第二用户图像,第三摄像头用于拍摄 身体的背部区域并形成第三用户图像,同一时刻的第一用户图像、第二用户图像 和第三用户图像形成该时刻的用户姿态图像;
所述姿态检测装置包括标准存储模块和姿态对比模块;所述标准存储模块用 于存储一个划船动作周期中的多组标准姿态图像,且每一组标准姿态图像中均包 含单个标准姿态下不同身体区域的三张标准图像,其中第一标准图像对应于头部 和肩部区域,第二标准图像对应于身体的腿部区域,第三标准图像对应于身体的 背部区域;所述姿态对比模块用于在检测到用户开始划船后不断获取所述姿态检 测装置得到的用户姿态图像,并针对不同身体区域,将用户姿态图像与所述标准 存储模块中存储的标准姿态图像进行分区域对比,判断当前划船机用户的划船姿 态是否标准;
所述姿态纠错提醒装置用于在所述姿态检测装置检测到当前划船机用户的 划船姿态不标准时,向用户发出姿态纠错提醒。
作为优选,所述划船机由后底座、水平滑轨、连接台面和前底座顺次相连形 成主体结构,所述连接台面上安装有脚蹬,所述前底座上安装有风轮,所述水平 滑轨安装有由可调速电机驱动的滑动坐垫且两者构成滑动副,风轮内部的驱动机 构与可复位回缩的拉链相连接,通过拉动拉链驱动风轮转动;所述连接台面上通 过支架安装有划船机的控制面板以及所述第一摄像头,所述第二摄像头安装于连 接台面上,所述第三摄像头安装于所述水平滑轨的末端。
作为优选,所述第一摄像头、第二摄像头和第三摄像头均采用高清摄像头。
作为优选,所述支架为可旋转支架。
作为优选,所述姿态纠错提醒装置集成于所述控制面板中,包括姿态纠错语 音提醒模块和/或展示标准姿态的显示模块。
作为优选,所述姿态对比模块中,判断当前划船机用户的划船姿态是否标准 的方法如下:
S1、获取训练好的姿态检测网络,姿态检测网络包括VGG13骨干网络及关 节点检测模块,所述关节点检测模块由7个卷积块和两个1*1卷积层级联而成, 每一个卷积块由2个1*1卷积层和1个3*3卷积层级联而成,且每个卷积层后均 带有ReLu激活函数,卷积块的原始输入与最后一层3*3卷积层的输出通过残差 连接后作为卷积块的输出;姿态检测网络的输入图像首先经过VGG13骨干网络 进行特征提取得到第一特征图,然后将第一特征图输入所述关节点检测模块中, 在关节点检测模块中第一特征图依次经过7个卷积块和两个1*1卷积层后得到第 二特征图,将第一特征图和第二特征图通过残差连接后重新作为新的第一特征图, 继续输入所述关节点检测模块中,所述关节点检测模块迭代若干次后最终输出的 特征图再经过1*1卷积层输出与输入图像相同大小的掩膜,将掩膜叠加至输入图 像上形成关节点检测结果;
S2、针对所述标准存储模块存储的每一组标准姿态图像,获取通过所述姿态 检测网络生成的标准姿态图像中第一标准图像、第二标准图像和第三标准图像的 关节点标准结果;
S3、在检测到用户开始划船后,不断从所述姿态检测装置中实时获取用户姿 态图像,且每获取到一组用户姿态图像后,先需要依次遍历其中的每张用户图像, 通过所述姿态检测网络分别生成第一用户图像、第二用户图像和第三用户图像的 关节点检测结果;
S4、将用户的单个划船动作周期中所有时刻的关节点检测结果,与S2中生 成的所有标准姿态图像的关节点标准结果进行区分身体区域的匹配,若一组标准 姿态图像无法在用户的单个划船动作周期中匹配到结果,则判定为用户关于该组 标准姿态图像对应的划船姿态不标准。
作为优选,所述S4中,在进行关节点检测结果和关节点标准结果的匹配时, 需计算两个结果中所有关节点的相似度,若相似度超过阈值则视为匹配,否则视 为不匹配。
作为优选,在进行匹配时,需按照一个划船动作周期中各标准姿态的顺序顺 次进行匹配。
作为优选,所述标准存储模块中存储的多组标准姿态图像由专业运动员在划 船机上按照标准姿态划船过程中采集并标定得到。
作为优选,所述姿态纠错提醒装置在向用户发出姿态纠错提醒时,需要根据 不同身体区域的匹配结果确定实际不匹配的身体区域,并向用户播放该实际不匹 配的身体区域所对应的姿态纠错语音片段或标准姿态动作视频。
本发明相对于现有技术而言,具有以下有益效果:
本发明所提供的具有划船运动姿态自动纠错功能的AI教练机系统,可以通 过对运动者的划船速度控制、划船姿态检测以及纠错提示,来帮助用户更好的进 行锻炼,规避使用过程中的错误姿势及方法,避免训练姿势不当而造成的受伤, 降低用户的使用过程中的风险,达到更好的健身效果。此类教练机系统可通过人 工智能来实现自动纠错,从而无需教练就可使用,大大减少了划船机的使用门槛, 同时也减少了训练费用。
附图说明
图1为具有划船运动姿态自动纠错功能的AI教练机系统机械结构示意图;
图2为划船机的标准动作流程;
图3为姿态检测网络的结构示意图。
图中附图标记如下:拉杆1、拉绳2、后底座3、控制面板4、支架5、连接 台面6、前底座7、风轮8、脚蹬9、水平滑轨10、滑动坐垫11、第一摄像头12、 第二摄像头13、第三摄像头14。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图对本 发明的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于 充分理解本发明。但是本发明能够以很多不同于在此描述的其它方式来实施,本 领域技术人员可以在不违背本发明内涵的情况下做类似改进,因此本发明不受下 面公开的具体实施例的限制。本发明各个实施例中的技术特征在没有相互冲突的 前提下,均可进行相应组合。
在本发明的描述中,需要理解的是,术语“第一”、“第二”仅用于区分描述目 的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。 由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。
在本发明的一个较佳实施例中,提供了一种具有划船运动姿态自动纠错功能 的AI教练机系统,其包括划船机、姿态检测装置和姿态纠错提醒装置。
本发明所提供的划船机与传统划船机的机械结构基本一致,其区别之处在于 教练机系统中的划船机能够根据用户设定的速度进行划船并能够对用户进行指 导和运动纠错。该划船机控制划船速度的关键点在于划船机座垫内置有可控制的 驱动电机,从而使滑动坐垫可控制滑动速度。座垫内置电机转动速度可由用户进 行更改。该电机能够控制坐垫前后移动的速度,运动者坐在座垫上随座垫运动并 蹬腿拉杆,这个过程模拟的是划船过程。座垫前后运动速度模拟划船的运动强度, 电机转动越快,代表划船的速度也就越快。
其中,姿态检测装置包括三个用于拍摄划船机用户在划船过程中不同身体区 域的摄像头。本发明中人体的身体区分分为三部分,第一部分是头部和肩部区域, 第二部分是腿部区域,第三部分是背部区域。姿态检测装置的三个摄像头分别为 第一摄像头12、第二摄像头13、第三摄像头14,其中:第一摄像头12用于实 时拍摄头部和肩部区域并形成第一用户图像,第二摄像头13用于拍摄身体的腿 部区域并形成第二用户图像,第三摄像头14用于拍摄身体的背部区域并形成第 三用户图像,同一时刻的第一用户图像、第二用户图像和第三用户图像形成该时 刻的用户姿态图像。
如图1所示,展示了划船机的一种具体机械结构,其包括拉杆1、拉绳2、 后底座3、控制面板4、支架5、连接台面6、前底座7、风轮8、脚蹬9、水平 滑轨10和滑动坐垫11,而第一摄像头12、第二摄像头13、第三摄像头14也同 样安装于该划船机上。该划船机由后底座3、水平滑轨10、连接台面6和前底座 7顺次相连形成主体结构,主体结构通过后底座3和前底座7平稳支撑在地面上, 其中用户使用划船机使朝向前底座7。连接台面6包含一个平台面和一个斜面, 连接台面6的斜面上安装有脚蹬9,前底座7上安装有风轮8。水平滑轨10安装有由可调速电机驱动的滑动坐垫11且两者构成滑动副。风轮8内部的驱动机构 与可复位回缩的拉链2相连接,通过拉动拉链2驱动风轮8转动;连接台面6 的平台面上通过支架5安装有划船机的控制面板4以及所述第一摄像头12,所 述第二摄像头13安装于连接台面6上,所述第三摄像头14安装于所述水平滑轨 10的末端。
需说明的是,滑动坐垫11上的电极可以采用任意可行的电机驱动形式。在 本实施例中,滑动坐垫11上安装有可调速的步进电机,步进电机与所述控制面 板4相连,由控制面板4控制滑动坐垫11在滑动坐垫11上的滑动速度。控制面 板4中可通过UI界面提供滑动坐垫11对应滑动速度的设定端口,进而供用户自 行调节划船速度。
需注意的是,第一摄像头12、第二摄像头13、第三摄像头14的拍摄视角需 要进行调整,使其能够准确拍摄到所需的身体区域控制面板4处的第一摄像头 12用来捕捉人体运动时头部及肩部的运动,处于斜面上的第二摄像头13负责捕 捉运动过程中腿部蹬腿和收腿的运动过程,处于滑轨后端的第三摄像头14用于 捕捉运动过程中背部的后仰以及前倾动作。
作为一种优选实现方式,为了保证识别效果,第一摄像头12、第二摄像头 13和第三摄像头14均最好采用高清摄像头。
作为一种优选实现方式,为了便于控制面板4和第一摄像头12的调节,用 于支撑两者的支架5优选采用可旋转支架,不同用户可通过调节可旋转支架使得 控制面板4和第一摄像头12处于运动使的最佳视野区域。
作为一种优选实现方式,第一摄像头12可以集成在控制面板4上,即直接 采用带有摄像头的一体化控制面板。
在该较佳实施例中,姿态检测装置包括标准存储模块和姿态对比模块。其中, 标准存储模块用于存储一个划船动作周期中的多组标准姿态图像,且每一组标准 姿态图像中均包含单个标准姿态下不同身体区域的三张标准图像,其中第一标准 图像对应于头部和肩部区域,第二标准图像对应于身体的腿部区域,第三标准图 像对应于身体的背部区域。不同组的标准姿态图像对应于不同的标准姿态,具体 的标准姿态可由相关的运动学专家进行选择确定。而姿态对比模块用于在检测到 用户开始划船后不断获取所述姿态检测装置得到的用户姿态图像,并针对不同身 体区域,将用户姿态图像与所述标准存储模块中存储的标准姿态图像进行分区域 对比,判断当前划船机用户的划船姿态是否标准。
在该较佳实施例中,姿态纠错提醒装置用于在所述姿态检测装置检测到当前 划船机用户的划船姿态不标准时,向用户发出姿态纠错提醒。
需要说明的是,姿态纠错提醒装置的形式可以是多样的,例如语音提示、光 信号提示、显示界面提示等。作为一种优选实现方式,姿态纠错提醒装置可以直 接集成于控制面板4中,它可以是姿态纠错语音提醒模块,或展示标准姿态的显 示模块,或者两者的结合。在实际应用时,可以直接安装一个带有控制系统的平 板形式上位机,上位机中集成摄像头、发声单元和显示界面。姿态纠错提醒信息 可以直接显示在控制面板的显示界面上,用户可在显示界面上看到标准姿势,同 时还可根据语音提示引导并矫正运动姿态。
需要注意的是,上述标准存储模块和姿态对比模块实际也可以集成于控制面 板4中,从硬件角度来看,标准存储模块相当于存储器,而姿态对比模块则可以 是处理器中执行的软件程序。因此,本发明中控制面板4相当于一个边缘计算设 备,在获取图像的过程中涉及到边缘计算设备的视频监控技术,通过对视频图像 进行计算处理,去除图像冗余信息,使得部分或全部视频分析迁移到边缘处,由 此降低传统依赖云中心的图像处理对计算、存储和网络带宽的需求,提高视频分 析的速度。
本发明实现用户划船运动过程中姿态自动纠错功能的核心在于姿态检测装 置和姿态对比模块,姿态检测装置通过图像采集获取用户实时帧信息即实时的用 户姿态图像,而姿态对比模块则基于人工智能AI技术来对用户姿态图像和标准 姿态图像进行自动对比,判断用户在划船运动过程中是否存在不标准的姿势。姿 态对比模块中的姿态识别过程本质上是一个目标检测过程,其通过连续视频流中 可以提取一个完整动作的时序帧,并做进一步的特征抽取,进而获取的图像上的 人体关节点(也可以称为关键点)信息,对这一阶段的动作做准确识别。
作为一种优选实现方式,本发明中提供了在姿态对比模块中,判断当前划船 机用户的划船姿态是否标准的一种优选方法,其具体流程如下:
S1、获取训练好的姿态检测网络。
其中,如图2所示,该姿态检测网络包括VGG13骨干网络及关节点检测模 块,所述关节点检测模块由7个卷积块和两个1*1卷积层级联而成。每一个卷积 块由2个1*1卷积层和1个3*3卷积层级联而成,且每个卷积层后均带有ReLu 激活函数以加快模型收敛速度,卷积块的原始输入与最后一层3*3卷积层的输出 通过残差连接后作为卷积块的输出。两个1*1的卷积层的作用是调整特征图的通 道数使其适应下一轮节点检测模块的输入要求。姿态检测网络中的流程如下:姿 态检测网络的输入图像首先经过VGG13骨干网络进行特征提取得到第一特征图, 然后将第一特征图输入所述关节点检测模块中,在关节点检测模块中第一特征图 依次经过7个卷积块和两个1*1卷积层后得到第二特征图,将第一特征图和第二特征图通过残差连接后重新作为新的第一特征图,继续输入所述关节点检测模块 中,所述关节点检测模块继续迭代N-1次后最终输出第三特征图(即包含首次在 内,关节点检测模块一共执行了N次),第三特征图再经过1*1卷积层后输出与 输入图像相同大小的掩膜,将掩膜叠加至姿态检测网络的输入图像上,从而形成 关节点检测结果。
需注意的是,上述掩膜是一维的,其与输入图像的叠加可以通过逻辑“与” 操作来实现。另外,关节点检测模块的具体迭代次数N可以根据实际需要调整, 可设置为至少5次,优选为5次。
上述姿态检测网络与经典的姿态检测模型OpenPose相比,考虑了本发明所 涉场景不存在多人姿态检测问题,其改进可以分为以下三方面:
1、本发明的姿态检测网络使用的骨干网络使用了VGG13网络结构,实验 表明,对于单人姿态检测问题,VGG13网络结构通过减少特征提取中的卷积层 层数,也可以得到足够好的特征提取效果,并且能够大量减少模型参数量,提高 运行效率;
2、本发明相比于经典OpenPose模型可以缺省关节点检测模块的第二阶段, 该阶段对第一阶段的检测结果进行进一步优化,实验表明,针对本发明场景,第 二阶段缺省几乎不会降低检测效果,但可以提高模型的运行效率。
3、在关节点检测模块中,将采用了7层卷积块结构,进一步加强模型的检 测效果,而且本发明对每个卷积块的结构进行了优化,新的卷积块的结构可以使 更深的网络结构更加难以发生过拟合。
需注意的是,上述图2所示的姿态检测网络在使用前需要进行训练,该训练 过程可额外离线进行,训练完毕后的姿态检测网络可以在教练机系统出厂时预先 置于控制面板4中。当然也可以将训练完毕后的姿态检测网络置于云端,在教练 机系统启用时通过访问云端进行下载,以便于后续更新同步。
姿态检测网络的训练与常规的神经网络训练流程类似,可以预先建立用于训 练姿态检测网络的训练样本集,训练样本集中包含多个样本图像,然后采用该训 练样本集对所述预设神经网络模型进行训练,得到人体运动姿态识别模型。标记 每张样本图像中人物对象不同身体区域的多个关节点。一般而言,样本图像中需 要标记的关节点包括:左耳、右耳、颈部、左肩、右肩、左肘、右肘、左手、右 手、腰部、左胯、右胯、左膝、右膝、左脚以及右脚。进一步的,还需要标记各 关节点之间的匹配信息,匹配信息为各关节点之间的匹配连接关系。
作为一种实现方式,训练样本集可以直接采用COCO数据集,该数据集中包 含了人体关节点的坐标、类型信息,并标记了各关节点之间的连接匹配关系。
当然,如果考虑划船机中图像的场景独特性,作为另一种实现方式,也可以 以专业划船运动员作为检测对象,当运动员用划船机进行标准的划船运动时,三 个摄像头捕捉不同身体区域连续的人体动作,获取若干图像样本,将所获取的图 像样本中的人体对象的各个关节点添加为标签,生成训练样本集。
一般而言,标准划船运动是一个周期的过程,如图3所示,单个划船动作周 期的流程如下:
第一步:划船机启动后,双臂伸直,握住拉杆,身体前倾。身体开始随着座 垫向后移动,同时腿部发力,呈现蹬腿动作。
第二步:头部和肩部保持不动,当大腿与小腿呈接近45°时,背部向后仰 一定角度,同时手臂握住拉杆由伸直状态开始弯曲向后拉。
第三步:待双腿由弯曲至接近伸直后,电机控制座垫上的滚轮反向转动,划 船动作开始回程。此时仍保持头部和肩部不动,大腿与小腿呈接近45°时,背 部结束后仰动作,恢复正常状态。
第四步:身体随着座垫返程,双臂由弯曲收缩逐渐伸直打开,腿部也由近伸 直状态开始逐渐弯曲,直至恢复初始状态,身体前倾,准备开始下一次运动周期。
因此,如果需要以专业划船运动员作为检测对象生成训练样本集,则可以让 专业划船运动员不断往复执行上述标准划船运动,进而收集大量的图像样本。
单个划船动作周期中以哪些动作可以作为标准姿态可以由运动学专家进行 指定,指定好标准姿态后,可以在专业划船运动员在教练机系统上执行标准划船 运动的过程中通过第一摄像头12、第二摄像头13和第三摄像头14来采集每一 个标准姿态下的不同身体区域图像,进而将每一个标准姿态下的三个身体区域图 像组成一组标准姿态图像,然后存储至标准存储模块中。当然,标准存储模块中 存储的多组标准姿态图像可以是教练机系统出厂时预置的,也可以是出厂后由用 户或者安装人员后续指定录入的,对此不作限制。
S2、针对所述标准存储模块存储的每一组标准姿态图像,获取通过所述姿态 检测网络生成的标准姿态图像中第一标准图像、第二标准图像和第三标准图像的 关节点标准结果。
需要注意的是,该步骤中每一组标准姿态图像中都含有第一标准图像、第二 标准图像和第三标准图像,因此每一组标准姿态图像的第一标准图像、第二标准 图像和第三标准图像都需要通过所述姿态检测网络生成关节点标准结果。但是该 生成过程即可以是在执行完S1步骤后进行的,也可以是在执行S1步骤前预先 进行的。在预先进行的情况下,每一组标准姿态图像的各关节点标准结果预先生 成后直接在出厂时存储在控制面板4中,本步骤中直接调用即可。
S3、在检测到用户开始划船后,不断从所述姿态检测装置中实时获取用户姿 态图像,且每获取到某一时刻的一组用户姿态图像后,先需要依次遍历其中包括 第一用户图像、第二用户图像和第三用户图像在内的每张用户图像,分别将第一 用户图像、第二用户图像和第三用户图像作为输入图像输入所述姿态检测网络中, 通过所述姿态检测网络分别生成第一用户图像、第二用户图像和第三用户图像的 关节点检测结果。
由于所述姿态检测装置是不断通过三个摄像头在实时获取用户姿态图像的, 因此其生成的第一用户图像、第二用户图像和第三用户图像的关节点检测结果也 都构成了连续的视频流。而划船动作是一个周期性重复的过程,从中根据图像的 周期性变化可以划分用户的不同划船动作周期。当然,除了根据图像的周期性变 化来划分用户的不同划船动作周期之外,也可以通过划船机中其他与划船动作存 在感应信号的组件来识别不同划船动作周期。例如,由于滑动坐垫11上安装有 可调速的步进电机,而步进电机的信号会反馈至所述控制面板4中,因此通过步 进电机的信号也可以识别视频流中的划船动作周期。同理,划船动作中会往复拉 动风轮8,而风轮8的转动信号同样会反馈至所述控制面板4中,因此通过风轮 8的转动信号也可以识别视频流中的划船动作周期。
S4、将用户的单个划船动作周期中所有时刻的关节点检测结果,与S2中生 成的所有标准姿态图像的关节点标准结果进行区分身体区域的匹配,若一组标准 姿态图像无法在用户的单个划船动作周期中匹配到结果,则判定为用户关于该组 标准姿态图像对应的划船姿态不标准。
需要注意的是,在S4步骤中,可以对用户的每一个划船动作周期都进行划 船姿态的评估,也可以按照一定的间隔采用部分划船动作周期进行划船姿态的评 估,对此不作限制。
需要注意的是,在S4步骤中,在进行关节点检测结果和关节点标准结果的 匹配时,需要计算匹配度。而一种优选的匹配度计算方式是计算关节点检测结果 和关节点标准结果中所有关节点的相似度,若相似度超过阈值则视为匹配,否则 视为不匹配。而且,由于关节点检测结果和关节点标准结果都是对应于不同身体 区域的,因此计算相似度的时候需要区分身体区域,即将同一个身体区域的关节 点检测结果和关节点标准结果进行相似度计算。
另外,由于单个划船动作周期中的多个标准姿态本身是存在动作顺序的,因 此作为一种优选方式,为了避免匹配出错,在进行匹配时,需按照一个划船动作 周期中各标准姿态的顺序顺次进行匹配,即先判断划船过程中第一个标准姿态是 否能够匹配到结果,如果能那么继续对第二个标准姿态进行匹配,而且其允许的 匹配范围为视频流中第一个标准姿态已匹配结果的后续时段,依次类推。当出现 某一个标准姿态无法匹配时,说明用户从该位置开始出现姿态错误,进而向用户 发出该姿态的纠错提醒。
当然,在另一种优选方式中,由于本发明中划船机上的滑动坐垫11是由电 机控制速度的,因此实际也可以利用电机反馈的控制信号来识别用户的一个划船 动作周期中所有的标准姿态所对应的匹配范围。每一个标准姿态仅在各自的范围 内进行匹配。例如,某一标准姿态X发生在双腿接近伸直时,此时可通过电机 反馈的控制信号判断该标准动作发生的时间戳,以该时间戳为中心即可确定一定 时间范围内的用户姿态图像,进而与标准姿态X对应的标准姿态图像进行匹配。
另外需要注意的是,上述S4步骤中的标准姿态匹配可以是离线的,也可以 在线的。对于在线匹配的情况,可以在单个划船动作周期完成后再依次对各标准 姿态进行匹配,也可以在单个划船动作周期执行过程中对各标准姿态实时进行匹 配,对此不做限制。
另外,在S4步骤中,进行匹配时由于任一时刻都存在三个不同摄像头拍摄 的三个身体区域,这三个身体区域中可能存在部分或者全部姿态不标准的问题。 因此,姿态纠错提醒装置在向用户发出姿态纠错提醒时,不同身体区域的用户姿 态都可以各自与标准姿态进行比对,从而根据不同身体区域的匹配结果确定实际 不匹配的身体区域,并向用户播放该实际不匹配的身体区域所对应的姿态纠错语 音片段或标准姿态动作视频。每个身体区域在每一个标准姿态下的姿态纠错语音 片段或标准姿态动作视频都可以提前录制,后续直接调用即可。
以上所述的实施例只是本发明的一种较佳的方案,然其并非用以限制本发明。 有关技术领域的普通技术人员,在不脱离本发明的精神和范围的情况下,还可以 做出各种变化和变型。因此凡采取等同替换或等效变换的方式所获得的技术方案, 均落在本发明的保护范围内。

Claims (9)

1.一种具有划船运动姿态自动纠错功能的AI教练机系统,其特征在于,包括划船机、姿态检测装置和姿态纠错提醒装置;
所述划船机上带有可控制滑动速度的滑动坐垫;
所述姿态检测装置包括三个用于拍摄划船机用户在划船过程中不同身体区域的摄像头,其中第一摄像头(12)用于实时拍摄头部和肩部区域并形成第一用户图像,第二摄像头(13)用于拍摄身体的腿部区域并形成第二用户图像,第三摄像头(14)用于拍摄身体的背部区域并形成第三用户图像,同一时刻的第一用户图像、第二用户图像和第三用户图像形成该时刻的用户姿态图像;
所述姿态检测装置包括标准存储模块和姿态对比模块;所述标准存储模块用于存储一个划船动作周期中的多组标准姿态图像,且每一组标准姿态图像中均包含单个标准姿态下不同身体区域的三张标准图像,其中第一标准图像对应于头部和肩部区域,第二标准图像对应于身体的腿部区域,第三标准图像对应于身体的背部区域;所述姿态对比模块用于在检测到用户开始划船后不断获取所述姿态检测装置得到的用户姿态图像,并针对不同身体区域,将用户姿态图像与所述标准存储模块中存储的标准姿态图像进行分区域对比,判断当前划船机用户的划船姿态是否标准;
所述姿态纠错提醒装置用于在所述姿态检测装置检测到当前划船机用户的划船姿态不标准时,向用户发出姿态纠错提醒;
所述姿态对比模块中,判断当前划船机用户的划船姿态是否标准的方法如下:
S1、获取训练好的姿态检测网络,姿态检测网络包括VGG13骨干网络及关节点检测模块,所述关节点检测模块由7个卷积块和两个1*1卷积层级联而成,每一个卷积块由2个1*1卷积层和1个3*3卷积层级联而成,且每个卷积层后均带有ReLu激活函数,卷积块的原始输入与最后一层3*3卷积层的输出通过残差连接后作为卷积块的输出;姿态检测网络的输入图像首先经过VGG13骨干网络进行特征提取得到第一特征图,然后将第一特征图输入所述关节点检测模块中,在关节点检测模块中第一特征图依次经过7个卷积块和两个1*1卷积层后得到第二特征图,将第一特征图和第二特征图通过残差连接后重新作为新的第一特征图,继续输入所述关节点检测模块中,所述关节点检测模块迭代若干次后最终输出的特征图再经过1*1卷积层输出与输入图像相同大小的掩膜,将掩膜叠加至输入图像上形成关节点检测结果;
S2、针对所述标准存储模块存储的每一组标准姿态图像,获取通过所述姿态检测网络生成的标准姿态图像中第一标准图像、第二标准图像和第三标准图像的关节点标准结果;
S3、在检测到用户开始划船后,不断从所述姿态检测装置中实时获取用户姿态图像,且每获取到一组用户姿态图像后,先需要依次遍历其中的每张用户图像,通过所述姿态检测网络分别生成第一用户图像、第二用户图像和第三用户图像的关节点检测结果;
S4、将用户的单个划船动作周期中所有时刻的关节点检测结果,与S2中生成的所有标准姿态图像的关节点标准结果进行区分身体区域的匹配,若一组标准姿态图像无法在用户的单个划船动作周期中匹配到结果,则判定为用户关于该组标准姿态图像对应的划船姿态不标准。
2.如权利要求1所述的具有划船运动姿态自动纠错功能的AI教练机系统,其特征在于,所述划船机由后底座(3)、水平滑轨(10)、连接台面(6)和前底座(7)顺次相连形成主体结构,所述连接台面(6)上安装有脚蹬(9),所述前底座(7)上安装有风轮(8),所述水平滑轨(10)安装有由可调速电机驱动的滑动坐垫(11)且两者构成滑动副,风轮(8)内部的驱动机构与可复位回缩的拉链(2)相连接,通过拉动拉链(2)驱动风轮(8)转动;所述连接台面(6)上通过支架(5)安装有划船机的控制面板(4)以及所述第一摄像头(12),所述第二摄像头(13)安装于连接台面(6)上,所述第三摄像头(14)安装于所述水平滑轨(10)的末端。
3.如权利要求2所述的具有划船运动姿态自动纠错功能的AI教练机系统,其特征在于,所述第一摄像头(12)、第二摄像头(13)和第三摄像头(14)均采用高清摄像头。
4.如权利要求2所述的具有划船运动姿态自动纠错功能的AI教练机系统,其特征在于,所述支架(5)为可旋转支架。
5.如权利要求2所述的具有划船运动姿态自动纠错功能的AI教练机系统,其特征在于,所述姿态纠错提醒装置集成于所述控制面板(4)中,包括姿态纠错语音提醒模块和/或展示标准姿态的显示模块。
6.如权利要求2所述的具有划船运动姿态自动纠错功能的AI教练机系统,其特征在于,所述滑动坐垫(11)上安装有可调速的步进电机,步进电机与所述控制面板(4)相连,由控制面板(4)控制滑动坐垫(11)在滑动坐垫(11)上的滑动速度。
7.如权利要求1所述的具有划船运动姿态自动纠错功能的AI教练机系统,其特征在于,所述S4中,在进行关节点检测结果和关节点标准结果的匹配时,需计算两个结果中所有关节点的相似度,若相似度超过阈值则视为匹配,否则视为不匹配,且在进行匹配时,需按照一个划船动作周期中各标准姿态的顺序顺次进行匹配。
8.如权利要求1所述的具有划船运动姿态自动纠错功能的AI教练机系统,其特征在于,所述标准存储模块中存储的多组标准姿态图像由专业运动员在划船机上按照标准姿态划船过程中采集并标定得到。
9.如权利要求1所述的具有划船运动姿态自动纠错功能的AI教练机系统,其特征在于,所述姿态纠错提醒装置在向用户发出姿态纠错提醒时,需要根据不同身体区域的匹配结果确定实际不匹配的身体区域,并向用户播放该实际不匹配的身体区域所对应的姿态纠错语音片段或标准姿态动作视频。
CN202210399638.1A 2022-04-15 2022-04-15 一种具有划船运动姿态自动纠错功能的ai教练机系统 Active CN114642867B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210399638.1A CN114642867B (zh) 2022-04-15 2022-04-15 一种具有划船运动姿态自动纠错功能的ai教练机系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210399638.1A CN114642867B (zh) 2022-04-15 2022-04-15 一种具有划船运动姿态自动纠错功能的ai教练机系统

Publications (2)

Publication Number Publication Date
CN114642867A CN114642867A (zh) 2022-06-21
CN114642867B true CN114642867B (zh) 2023-07-18

Family

ID=81996595

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210399638.1A Active CN114642867B (zh) 2022-04-15 2022-04-15 一种具有划船运动姿态自动纠错功能的ai教练机系统

Country Status (1)

Country Link
CN (1) CN114642867B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI810009B (zh) * 2022-08-05 2023-07-21 林家慶 虛擬運動教練系統及其控制方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050085348A1 (en) * 2003-10-17 2005-04-21 Kiefer Thomas N. Apparatus for the improvement of rowing technique
KR20110080737A (ko) * 2010-01-07 2011-07-13 임정수 경련 감지 기능이 포함된 로윙머신 운동 보조장치
CN105903157B (zh) * 2016-04-19 2018-08-10 深圳泰山体育科技股份有限公司 电子教练实现方法及系统
US10682546B2 (en) * 2017-12-21 2020-06-16 David P. Dubin Proper rowing technique
CN109847263B (zh) * 2018-12-29 2020-11-24 中国科学院合肥物质科学研究院 一种基于划船器的柔韧协调性训练系统

Also Published As

Publication number Publication date
CN114642867A (zh) 2022-06-21

Similar Documents

Publication Publication Date Title
US4891748A (en) System and method for teaching physical skills
US5184295A (en) System and method for teaching physical skills
US10186041B2 (en) Apparatus and method for analyzing golf motion
JP6045139B2 (ja) 映像生成装置、映像生成方法及びプログラム
CN108597578A (zh) 一种基于二维骨架序列的人体运动评估方法
CN112422946B (zh) 一种基于3d重构的智能瑜伽动作指导系统
US20090042661A1 (en) Rule based body mechanics calculation
US10049483B2 (en) Apparatus and method for generating animation
CN112487965B (zh) 一种基于3d重构的智能健身动作指导方法
CN109274883B (zh) 姿态矫正方法、装置、终端及存储介质
CN114642867B (zh) 一种具有划船运动姿态自动纠错功能的ai教练机系统
JP2019166311A (ja) スイング判定装置、スイング判定方法、および、プログラム。
KR20200022776A (ko) 4d 아바타를 이용한 동작가이드장치 및 방법
Li et al. Baseball swing pose estimation using openpose
CN111259716A (zh) 基于计算机视觉的人体跑步姿势识别分析方法及装置
KR20100033205A (ko) 골프연습 보조 시스템 및 그 방법
JP7078577B2 (ja) 動作類似度評価装置、方法およびプログラム
CN113368487A (zh) 基于OpenPose的3D私人健身系统及其工作方法
CN116805433B (zh) 一种人体运动轨迹数据分析系统
CN111359159A (zh) 颈椎康复训练方法
CN106235733A (zh) 一种控制电脑椅
Unzueta et al. dependent 3d human body posing for sports legacy recovery from images and video
Shimizu et al. Technique types of preparatory and take-off motions for elite male long jumpers
JP2021191356A (ja) 矯正内容学習装置、動作矯正装置およびプログラム
Tomas et al. Comparative Study on Model Skill of ERT and LSTM in Classifying Proper or Improper Execution of Free Throw, Jump Shot, and Layup Basketball Maneuvers

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant