CN115331314A - 一种基于app筛查功能的运动效果评估方法和系统 - Google Patents

一种基于app筛查功能的运动效果评估方法和系统 Download PDF

Info

Publication number
CN115331314A
CN115331314A CN202211141961.5A CN202211141961A CN115331314A CN 115331314 A CN115331314 A CN 115331314A CN 202211141961 A CN202211141961 A CN 202211141961A CN 115331314 A CN115331314 A CN 115331314A
Authority
CN
China
Prior art keywords
video
standard
motion
video image
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211141961.5A
Other languages
English (en)
Inventor
谢方莹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guowu Times International Culture Media Beijing Co ltd
Original Assignee
Guowu Times International Culture Media Beijing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guowu Times International Culture Media Beijing Co ltd filed Critical Guowu Times International Culture Media Beijing Co ltd
Priority to CN202211141961.5A priority Critical patent/CN115331314A/zh
Publication of CN115331314A publication Critical patent/CN115331314A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Public Health (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Biophysics (AREA)
  • Psychiatry (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于计算机视觉技术领域，具体涉及一种基于APP筛查功能的运动效果评估方法和系统。该方法包括：基于APP录制的标准健身视频进行播放显示，并多维度采集用户跟随标准健身视频进行运动的视频数据；对采集得到的多维度视频数据进行分帧处理，获得所有维度的视频图像帧后进行图像识别处理，确定每个健身动作的起止视频图像帧以及每个视频图像帧中关键特征点；基于关键特征点确定每个视频图像帧中健身动作的运动特征参数，并将运动特征参数输入至APP内与标准健身视频中同步的标准运动参数对比，确定用户的运动效果数据；根据运动效果数据对用户在完成一个阶段运动效果进行计分，并将计分数据进行显示，对用户线下运动的动作进行评估。

Description

一种基于APP筛查功能的运动效果评估方法和系统
技术领域
本发明属于计算机视觉技术领域，具体涉及一种基于APP筛查功能的运动效果评估方法和系统。
背景技术
随着经济发展和生活水平的提升，人们也越来越注重身体锻炼。人们在健身运动时，除专业教练指导外，更多的选择跟随健身软件进行锻炼。由于各类健身APP通常只能为用户提供一些专业的运动课程进行指导，包括健身训练、技术指导、运动频率和运动量指导。
然而，针对用户在线下的实际运动效果并不具备相关的评估以及检验，在跟随运动课程进行健身训练的过程中，虽然可以根据APP录制的标准健身视频进行边播放边训练，配合语音以及时间节奏的控制，起到很好的引导效果，但是，在引导和鼓励用户跟随标准健身视频进行健身训练运动时，若用户健身训练运动的动作不标准或不规范则无法达到预期的运动效果，反而会因为动作的股规范，给用户的身体造成不必要的损害。为此，需要提供一种基于APP筛查功能的运动效果评估方法及系统，保证用户在跟随标准健身。
发明内容
本发明实施例提供了一种基于APP筛查功能的运动效果评估方法及系统，以至少解决相关技术中的健身训练只是跟随标准视频的演示进行锻炼，指导用户进行训练，无法对用户线下运动的动作进行评估，以保证用户的锻炼能达到所需运动效果的技术问题。
本发明采用以下技术方案实现：
一种基于APP筛查功能的运动效果评估方法，所述方法包括：
基于APP录制的标准健身视频进行播放显示，并多维度采集用户跟随所述标准健身视频进行运动的视频数据；
对采集得到的多维度视频数据进行分帧处理，获得所有维度的视频图像帧后进行图像识别处理，确定每个健身动作的起止视频图像帧以及每个视频图像帧中关键特征点；
基于所述关键特征点确定每个视频图像帧中健身动作的运动特征参数，并将所述运动特征参数输入至APP内与标准健身视频中同步的标准运动参数对比，确定用户的运动效果数据；
根据所述运动效果数据对所述用户在完成一个阶段的标准健身视频的运动效果进行计分，并将计分数据进行显示。
可选的，所述多维度采集用户跟随所述标准健身视频进行运动的视频数据，包括至少一组与播放显示的标准健身视频同一视角的视频数据，该视频数据由与所述APP登录设备绑定的采集设备拍摄，其中，所述采集设备包括数码相机、摄像机或摄像头。
可选的，确定每个健身动作的起止视频图像帧，包括：
将多维度采集的用户跟随所述标准健身视频进行运动的视频数据按照维度分别进行分帧处理，得到按时序排列的视频图像帧；采用人体骨骼关键点检测技术识别用户的身体及骨骼的关键点数据；将每个维度分帧后视频图像帧的关键点数据输入至K近邻算法，在APP内标准健身视频的标准运动参数数据库中找出与每个视频图像帧最邻近的标准动作及标准运动参数；将属于同一类型标准动作的视频图像帧按照起止视频图像帧进行划分，确定每个健身动作的起止视频图像帧。
可选的，采用人体骨骼关键点检测技术识别用户的身体及骨骼的关键点数据，包括：基于MobilePose轻量级网络从视频图像帧中进行3D目标检测，识别视频图像帧中人体关键点；根据识别的人体关键点生成单人姿态的人体骨架，将人体骨架数据导出后生成用户的身体及骨骼的关键点数据。
可选的，将每个维度分帧后视频图像帧的关键点数据输入至K近邻算法，在APP内标准健身视频的标准运动参数数据库中找出与每个视频图像帧最邻近的标准动作及标准运动参数，包括：
基于用户的身体及骨骼的关键点数据，将人体不同特征部分抽象为设定数量的特征点，由所述特征点组成人体骨架反应当前时刻用户的人体姿态，并得到对应视频图像帧中人体骨架的关节角度值，作为视频图像帧中健身动作的运动特征参数；
将APP内与标准健身视频中同步的标准运动参数作为比对范本，与输入的用户视频图像帧中健身动作的运动特征参数进行对比，评判出用户的训练动作、对应的标准动作、以及与标准运动参数之间角度值的差值，并进行分析得到训练者的动作是否标准，确定用户的运动效果数据。
可选的，由所述特征点组成人体骨架反应当前时刻用户的人体姿态，并得到对应视频图像帧中人体骨架的关节角度值时，人体骨架中两个特征点之间的长度通过计算欧式距离得出，并使用余弦定理计算得出人体动作的关节间夹角的角度值；
其中，计算两个特征点之间的长度时，提取视频图像帧中人体骨架到图像边框的一维距离数据，并求其中最小值、次最小值、最大值、次最大值作为肢体不同部位的位置，两特征点之间的间距由两特征点的欧式距离计算得出；
并根据所述特征点的分布计算人体骨架的高度、节点之间的夹角以及相对于图像底边的倾斜角度，根据余弦定理计算得出人体动作的关节间夹角的角度值。
可选的，将每个维度分帧后视频图像帧的关键点数据输入至K近邻算法，在APP内标准健身视频的标准运动参数数据库中找出与每个视频图像帧最邻近的标准动作及标准运动参数，还包括：
基于视频图像帧的关键点数据进行用户运动行为识别，将关键点数据与APP内加载的数据库进行比对，对用户运动行为分类，其中，数据库中存储有预先将动作分割好并进行分类存储的数据集，每个数据集对应一个类型的运动动作，且包含人体标准的骨架信息及运动特征参数；
根据每个视频图像帧的关键点数据进行行为检测，根据关键点数据从APP内加载的数据库中匹配出目标动作。
可选的，根据所述运动效果数据对所述用户在完成一个阶段的标准健身视频的运动效果进行计分，并将计分数据进行显示之前，还包括：将APP内与标准健身视频中同步的标准运动参数对应的标准动作映射到视频图像帧中，并突出显示与标准动作不重合的区域，并将运动特征参数的差异标记于视频图像帧中；将处理后的视频图像帧进行组合生成处理后的运动效果评估视频，保存并进行显示。
本发明还包括一种基于APP筛查功能的运动效果评估系统，包括：视频采集单元，用于基于APP录制的标准健身视频进行播放显示，并多维度采集用户跟随所述标准健身视频进行运动的视频数据；关键特征点提取单元，用于对采集得到的多维度视频数据进行分帧处理，获得所有维度的视频图像帧后进行图像识别处理，确定每个健身动作的起止视频图像帧以及每个视频图像帧中关键特征点；参数比对单元，用于基于所述关键特征点确定每个视频图像帧中健身动作的运动特征参数，并将所述运动特征参数输入至APP内与标准健身视频中同步的标准运动参数对比，确定用户的运动效果数据；效果计分单元，用于根据所述运动效果数据对所述用户在完成一个阶段的标准健身视频的运动效果进行计分，并将计分数据进行显示。
可选的，还包括动作映射单元，用于将APP内与标准健身视频中同步的标准运动参数对应的标准动作映射到视频图像帧中，并突出显示与标准动作不重合的区域，并将运动特征参数的差异标记于视频图像帧中。
本发明还包括一种计算机设备，包括存储器和处理器，所述存储器存储有计算机可读指令，所述处理器加载并执行所述计算机可读指令时实现基于APP筛查功能的运动效果评估方法的步骤。
本发明还包括一种存储介质，存储有计算机可读指令，所述计算机可读指令被处理器加载并执行时实现基于APP筛查功能的运动效果评估方法的步骤。
本发明提供的技术方案，具有如下有益效果：
本发明提供的基于APP筛查功能的运动效果评估方法和系统，基于APP录制的标准健身视频进行播放显示，并多维度采集用户跟随标准健身视频进行运动的视频数据；对采集得到的多维度视频数据进行分帧处理，获得所有维度的视频图像帧后进行图像识别处理，确定每个健身动作的起止视频图像帧以及每个视频图像帧中关键特征点；基于关键特征点确定每个视频图像帧中健身动作的运动特征参数，并将运动特征参数输入至APP内与标准健身视频中同步的标准运动参数对比，确定用户的运动效果数据；根据运动效果数据对用户在完成一个阶段的标准健身视频的运动效果进行计分，并将计分数据进行显示。通过对用户健身动作进行识别，与标准健身训练视频进行比对，确定用户健身的运动效果，达到了将用户线下的运动效果实时进行反馈，并将最终的运动计分进行反馈的目的，从而实现了与用户健身训练运动进行互动，并根据运动效果和计分数据的显示提高用户的互动频率和互动效果，进而提高用户趣味性，提高健身训练结果的技术效果，本发明解决了相关技术中的健身训练只是跟随标准视频的演示进行锻炼，指导用户进行训练，无法对用户线下运动的动作进行评估，以保证用户的锻炼能达到所需运动效果的技术问题。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明一个实施例的基于APP筛查功能的运动效果评估方法的流程图。
图2为本发明一个实施例的基于APP筛查功能的运动效果评估方法中MobilePose轻量级网络进行单人目标检测的示意图。
图3为本发明一个实施例的基于APP筛查功能的运动效果评估方法中MobilePose轻量级网络进行多人目标检测的示意图。
图4为本发明一个实施例中的基于APP筛查功能的运动效果评估系统的系统框图。
图5为适于用来实现本发明实施例的计算机设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。
根据本发明实施例，提供了一种基于APP筛查功能的运动效果评估方法的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明公开及其应用或使用的任何限制。
由于针对用户在线下的实际运动效果并不具备相关的评估以及检验，在跟随运动课程进行健身训练的过程中，虽然可以根据APP录制的标准健身视频进行边播放边训练，配合语音以及时间节奏的控制，起到很好的引导效果，但是，在引导和鼓励用户跟随标准健身视频进行健身训练运动时，若用户健身训练运动的动作不标准或不规范则无法达到预期的运动效果，反而会起到相反的健身效果，给用户的身体造成不必要的损害。
鉴于此，本发明的实施例中提供了一种基于APP筛查功能的运动效果评估方法和系统，通过对用户健身动作进行识别，与标准健身训练视频进行比对，确定用户健身的运动效果，达到了将用户线下的运动效果实时进行反馈，并将最终的运动计分进行反馈的目的，从而实现了与用户健身训练运动进行互动，并根据运动效果和计分数据的显示提高用户的互动频率和互动效果，进而提高用户趣味性，提高健身训练结果的技术效果，以至少解决相关技术中的健身训练只是跟随标准视频的演示进行锻炼，指导用户进行训练，无法对用户线下运动的动作进行评估，以保证用户的锻炼能达到所需运动效果的技术问题。
本申请实施例提供了一种基于APP筛查功能的运动效果评估方法可以应用于安装有APP的移动终端或服务器，具体可应用于终端设备安装的APP、或者服务器和终端设备组成的系统框架内，所述APP和终端设备之间以及所述服务器和终端设备之间通过有线或无线网络连通。终端设备上还可以安装有各种APP客户端应用，例如图像处理类应用、美图应用、即时通讯等软件。
具体地，下面结合附图，对本申请实施例作进一步阐述。
请参阅图1所示，图1示出了根据本发明的实施例提供了一种基于APP筛查功能的运动效果评估方法的一个实施例的流程的流程图。为了便于说明，仅示出与本发明实施例相关的部分。在本发明实施例中，本实施例提供了一种基于APP筛查功能的运动效果评估方法，包括以下步骤：
S10、基于APP录制的标准健身视频进行播放显示，并多维度采集用户跟随所述标准健身视频进行运动的视频数据；
在本实施例中，所述多维度采集用户跟随所述标准健身视频进行运动的视频数据，包括至少一组与播放显示的标准健身视频同一视角的视频数据，该视频数据由与所述APP登录设备绑定的采集设备拍摄，其中，所述采集设备包括数码相机、摄像机或摄像头。
在采集时，除采集与播放显示的标准健身视频同一视角的视频数据外，还可以包括至少一组其他维度视角的视频数据，在与播放显示的标准健身视频同一视角的视频数据进行与标准健身训练视频进行比对的基础上，还可以采用其他维度视角的视频数据加以验证。
S20、对采集得到的多维度视频数据进行分帧处理，获得所有维度的视频图像帧后进行图像识别处理，确定每个健身动作的起止视频图像帧以及每个视频图像帧中关键特征点。
在本实施例中，所述多维度视频数据进行分帧处理可以将采集的多维度视频数据按照不同的维度进行任一时段的视频分帧处理，得到视频图像帧。
在本发明的一个实施例中，多维度视频数据进行分帧处理时，对获取的视频数据进行帧率变换，得到分帧处理的视频帧数据，以时间周期获取视频图像帧，得到视频图像帧数据集，按照分帧时间顺序对视频图像帧逐一处理。例如，以每秒1帧的帧率获取视视频图像帧，视频图像帧按照时间顺序排序作为视频图像帧数据集。
S30、基于所述关键特征点确定每个视频图像帧中健身动作的运动特征参数，并将所述运动特征参数输入至APP内与标准健身视频中同步的标准运动参数对比，确定用户的运动效果数据。
S40、根据所述运动效果数据对所述用户在完成一个阶段的标准健身视频的运动效果进行计分，并将计分数据进行显示。
本发明实施例的基于APP筛查功能的运动效果评估方法，通过上述操作确定用户的运动效果数据；根据运动效果数据对用户在完成一个阶段的标准健身视频的运动效果进行计分，并将计分数据进行显示。通过对用户健身动作进行识别，与标准健身训练视频进行比对，确定用户健身的运动效果，达到了将用户线下的运动效果实时进行反馈，并将最终的运动计分进行反馈的目的，从而实现了与用户健身训练运动进行互动，并根据运动效果和计分数据的显示提高用户的互动频率和互动效果，进而提高用户趣味性，提高健身训练结果的技术效果，本发明解决了相关技术中的健身训练只是跟随标准视频的演示进行锻炼，指导用户进行训练，无法对用户线下运动的动作进行评估，以保证用户的锻炼能达到所需运动效果的技术问题。
在本发明的一些实施例中，在步骤S20中，确定每个健身动作的起止视频图像帧，包括：
将多维度采集的用户跟随所述标准健身视频进行运动的视频数据按照维度分别进行分帧处理，得到按时序排列的视频图像帧；采用人体骨骼关键点检测技术识别用户的身体及骨骼的关键点数据；将每个维度分帧后视频图像帧的关键点数据输入至K近邻算法，在APP内标准健身视频的标准运动参数数据库中找出与每个视频图像帧最邻近的标准动作及标准运动参数；将属于同一类型标准动作的视频图像帧按照起止视频图像帧进行划分，确定每个健身动作的起止视频图像帧。
在本实施例中，参见图1和图2所示，采用人体骨骼关键点检测技术识别用户的身体及骨骼的关键点数据，包括：基于MobilePose轻量级网络从视频图像帧中进行3D目标检测，识别视频图像帧中人体关键点；根据识别的人体关键点生成单人姿态的人体骨架，将人体骨架数据导出后生成用户的身体及骨骼的关键点数据。
在本实施例中，在对用户线下的行为动作识别时，采用MobilePose轻量级网络进行人体关键点估计，针对用户线下运动时跑、跳、蹲、走、蹦以及各类伸展运动的姿态，利用轻量级神经网络来识别用户行为，可以将视频数据分成单帧图片或连续帧图片进行识别。
基于MobilePose轻量神经网络对单人姿态的人体骨架信息进行识别，在针对视频图像帧处理时可以有效排除不同用户体型、衣着、背景等复杂因素的干扰，采用轻量级网络即可识别人体关键点，其次，参见图1和图3所示，还可以通过增加yoloV5侦测到人的位置，然后在识别骨架，可以实现多人姿态识别。
在应用时，在基于MobilePose轻量级网络进行骨架提取时，可以将其通过APP应用进行安装或在移动端部署，实现轻量级版本的应用，在移动端可以实现的单人行为识别、动作匹配等作用。
在应用前，还可以通过获取人体骨架的数据，或者人体骨架的坐标点或者向量进行训练，采用机器学习的方式如SVM，也可以采用全连接网络。在人体骨架提取出来后，单独做一张掩码图，做个简单的卷积网络训练，其中，MobilePose轻量级网络的源码中包括ResNet18、MobileNetV2、ShuffleNetV2、SqueezeNet1.1轻量级的网络。
在本发明的一些实施例中，还可以采用AlphaPose先检测人体，再得到关键点和骨架，或者采用PoseC3D，基于3D-CNN的骨骼行为识别框架，使用2维人体骨架热图堆叠作为输入，就能达到更好的识别效果。
其中，将每个维度分帧后视频图像帧的关键点数据输入至K近邻算法，在APP内标准健身视频的标准运动参数数据库中找出与每个视频图像帧最邻近的标准动作及标准运动参数，包括：
基于用户的身体及骨骼的关键点数据，将人体不同特征部分抽象为设定数量的特征点，由所述特征点组成人体骨架反应当前时刻用户的人体姿态，并得到对应视频图像帧中人体骨架的关节角度值，作为视频图像帧中健身动作的运动特征参数；
将APP内与标准健身视频中同步的标准运动参数作为比对范本，与输入的用户视频图像帧中健身动作的运动特征参数进行对比，评判出用户的训练动作、对应的标准动作、以及与标准运动参数之间角度值的差值，并进行分析得到训练者的动作是否标准，确定用户的运动效果数据。
在动作比对时，根据人体的不同特征部分将用户的身体及骨骼的关键点数据抽象为N个特征点，由这些特征点组成的人体骨架即可反映此刻人体的姿态，而特定关节间的角度值可以用于判断一个人动作的准确性。其中，对标准动作图片进行处理，得出该图片人体骨架的关节角度值，作为比对范本。输入需要进行评判的训练者动作图片，得出关节角度值，将两者的角度值进行分析即可得出训练者动作是否标准，达到动作比对的效果。
在本发明的一些实施例中，由所述特征点组成人体骨架反应当前时刻用户的人体姿态，并得到对应视频图像帧中人体骨架的关节角度值时，人体骨架中两个特征点之间的长度通过计算欧式距离得出，并使用余弦定理计算得出人体动作的关节间夹角的角度值；
其中，计算两个特征点之间的长度时，提取视频图像帧中人体骨架到图像边框的一维距离数据，并求其中最小值、次最小值、最大值、次最大值作为肢体不同部位的位置，两特征点之间的间距由两特征点的欧式距离计算得出；
并根据所述特征点的分布计算人体骨架的高度、节点之间的夹角以及相对于图像底边的倾斜角度，根据余弦定理计算得出人体动作的关节间夹角的角度值。
在本实施例中，将每个维度分帧后视频图像帧的关键点数据输入至K近邻算法，在APP内标准健身视频的标准运动参数数据库中找出与每个视频图像帧最邻近的标准动作及标准运动参数，还包括：
基于视频图像帧的关键点数据进行用户运动行为识别，将关键点数据与APP内加载的数据库进行比对，对用户运动行为分类，其中，数据库中存储有预先将动作分割好并进行分类存储的数据集，每个数据集对应一个类型的运动动作，且包含人体标准的骨架信息及运动特征参数；
根据每个视频图像帧的关键点数据进行行为检测，根据关键点数据从APP内加载的数据库中匹配出目标动作。
在本发明的实施例中，根据所述运动效果数据对所述用户在完成一个阶段的标准健身视频的运动效果进行计分，并将计分数据进行显示之前，还包括：将APP内与标准健身视频中同步的标准运动参数对应的标准动作映射到视频图像帧中，并突出显示与标准动作不重合的区域，并将运动特征参数的差异标记于视频图像帧中；将处理后的视频图像帧进行组合生成处理后的运动效果评估视频，保存并进行显示。
如图4所示，图4是本申请实施例提供的一种基于APP筛查功能的运动效果评估系统的结构框图，该基于APP筛查功能的运动效果评估系统可以应用于用户线下运动的动作进行筛查以及运动效果评估，能够执行上述任一方法实施例中的种基于用户运动特征提取的纠偏指导的方法。具体的，在本发明的一个实施例中提供了一种基于APP筛查功能的运动效果评估系统包括视频采集单元100、关键特征点提取单元200、参数比对单元300、效果计分单元400以及动作映射单元500。
其中，所述视频采集单元100，用于基于APP录制的标准健身视频进行播放显示，并多维度采集用户跟随所述标准健身视频进行运动的视频数据。
所述关键特征点提取单元200，用于对采集得到的多维度视频数据进行分帧处理，获得所有维度的视频图像帧后进行图像识别处理，确定每个健身动作的起止视频图像帧以及每个视频图像帧中关键特征点。
所述参数比对单元300，用于基于所述关键特征点确定每个视频图像帧中健身动作的运动特征参数，并将所述运动特征参数输入至APP内与标准健身视频中同步的标准运动参数对比，确定用户的运动效果数据。
所述效果计分单元400，用于根据所述运动效果数据对所述用户在完成一个阶段的标准健身视频的运动效果进行计分，并将计分数据进行显示。
所述动作映射单元500，用于将APP内与标准健身视频中同步的标准运动参数对应的标准动作映射到视频图像帧中，并突出显示与标准动作不重合的区域，并将运动特征参数的差异标记于视频图像帧中。
在本实施例中，基于APP筛查功能的运动效果评估系统在执行时还可以采用如前述的一种基于APP筛查功能的运动效果评估方法的步骤。
本发明可以通过对用户健身动作进行识别，与标准健身训练视频进行比对，确定用户健身的运动效果，达到了将用户线下的运动效果实时进行反馈，并将最终的运动计分进行反馈的目的，从而实现了与用户健身训练运动进行互动，并根据运动效果和计分数据的显示提高用户的互动频率和互动效果，进而提高用户趣味性，提高健身训练结果的技术效果，本发明解决了相关技术中的健身训练只是跟随标准视频的演示进行锻炼，指导用户进行训练，无法对用户线下运动的动作进行评估，以保证用户的锻炼能达到所需运动效果的技术问题。其中，基于APP筛查功能的运动效果评估系统在执行时采用如前述的一种基于APP筛查功能的运动效果评估方法的步骤。因此，本实施例中对基于APP筛查功能的运动效果评估系统的运行过程不再详细介绍。
参见图5所示，在本发明的一个实施例中还提供了一种计算机设备1000，包括存储器1001和处理器1002，存储器1001中存储有计算机可读指令，该处理器1002加载并执行计算机可读指令时实现上述基于APP筛查功能的运动效果评估方法实施例中的步骤，包括：
基于APP录制的标准健身视频进行播放显示，并多维度采集用户跟随所述标准健身视频进行运动的视频数据；
对采集得到的多维度视频数据进行分帧处理，获得所有维度的视频图像帧后进行图像识别处理，确定每个健身动作的起止视频图像帧以及每个视频图像帧中关键特征点；
基于所述关键特征点确定每个视频图像帧中健身动作的运动特征参数，并将所述运动特征参数输入至APP内与标准健身视频中同步的标准运动参数对比，确定用户的运动效果数据；
根据所述运动效果数据对所述用户在完成一个阶段的标准健身视频的运动效果进行计分，并将计分数据进行显示。
其中，本技术领域技术人员可以理解，这里的计算机设备1000是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路、可编程门阵列、数字处理器、嵌入式设备等。所述计算机设备1000可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备1000可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
此外，本发明的一些实施例中，还包括具有用于在计算机上执行本说明书中记载的方法的程序的存储介质，其上存储有计算机可读指令，该计算机可读指令被处理器1002加载并执行时实现上述各方法实施例中的步骤，所述计算机可读记录介质的示例包括为了存储并执行程序命令而专门构成的硬件装置:诸如硬盘、软盘及磁带的磁介质、诸如CD-ROM、DVD的光记录介质、诸如软盘的磁光介质及ROM、RAM、闪存等。程序命令的示例可包括:由编译器编写的机器语言代码以及使用解释器等而由计算机来执行的高级语言代。
其中，处理器1002在一些实施例中可以是中央处理器、控制器、微控制器、微处理器、或其他数据处理芯片。本实施例中，所述处理器1002用于运行所述存储器1001中存储的计算机可读指令或者处理数据，例如运行所述基于图像的健康状态识别方法的计算机可读指令。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机可读指令来指令相关的硬件来完成，所述的计算机可读指令可存储于一非易失性计算机可读取存储介质中，该计算机可读指令在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器1001、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。
综上所述，本发明提供的基于APP筛查功能的运动效果评估方法和系统，基于APP录制的标准健身视频进行播放显示，并多维度采集用户跟随标准健身视频进行运动的视频数据；对采集得到的多维度视频数据进行分帧处理，获得所有维度的视频图像帧后进行图像识别处理，确定每个健身动作的起止视频图像帧以及每个视频图像帧中关键特征点；基于关键特征点确定每个视频图像帧中健身动作的运动特征参数，并将运动特征参数输入至APP内与标准健身视频中同步的标准运动参数对比，确定用户的运动效果数据；根据运动效果数据对用户在完成一个阶段的标准健身视频的运动效果进行计分，并将计分数据进行显示。通过对用户健身动作进行识别，与标准健身训练视频进行比对，确定用户健身的运动效果，达到了将用户线下的运动效果实时进行反馈，并将最终的运动计分进行反馈的目的，从而实现了与用户健身训练运动进行互动，并根据运动效果和计分数据的显示提高用户的互动频率和互动效果，进而提高用户趣味性，提高健身训练结果的技术效果，本发明解决了相关技术中的健身训练只是跟随标准视频的演示进行锻炼，指导用户进行训练，无法对用户线下运动的动作进行评估，以保证用户的锻炼能达到所需运动效果的技术问题。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于APP筛查功能的运动效果评估方法，其特征在于，包括：
基于APP录制的标准健身视频进行播放显示，并多维度采集用户跟随所述标准健身视频进行运动的视频数据；
对采集得到的多维度视频数据进行分帧处理，获得所有维度的视频图像帧后进行图像识别处理，确定每个健身动作的起止视频图像帧以及每个视频图像帧中关键特征点；
基于所述关键特征点确定每个视频图像帧中健身动作的运动特征参数，并将所述运动特征参数输入至APP内与标准健身视频中同步的标准运动参数对比，确定用户的运动效果数据；
根据所述运动效果数据对所述用户在完成一个阶段的标准健身视频的运动效果进行计分，并将计分数据进行显示。
2.根据权利要求1所述的基于APP筛查功能的运动效果评估方法，其特征在于，所述多维度采集用户跟随所述标准健身视频进行运动的视频数据，包括至少一组与播放显示的标准健身视频同一视角的视频数据，该视频数据由与所述APP登录设备绑定的采集设备拍摄，其中，所述采集设备包括数码相机、摄像机或摄像头。
3.根据权利要求1所述的基于APP筛查功能的运动效果评估方法，其特征在于，确定每个健身动作的起止视频图像帧，包括：
将多维度采集的用户跟随所述标准健身视频进行运动的视频数据按照维度分别进行分帧处理，得到按时序排列的视频图像帧；
采用人体骨骼关键点检测技术识别用户的身体及骨骼的关键点数据；
将每个维度分帧后视频图像帧的关键点数据输入至K近邻算法，在APP内标准健身视频的标准运动参数数据库中找出与每个视频图像帧最邻近的标准动作及标准运动参数；
将属于同一类型标准动作的视频图像帧按照起止视频图像帧进行划分，确定每个健身动作的起止视频图像帧。
4.根据权利要求3所述的基于APP筛查功能的运动效果评估方法，其特征在于，采用人体骨骼关键点检测技术识别用户的身体及骨骼的关键点数据，包括：
基于MobilePose轻量级网络从视频图像帧中进行3D目标检测，识别视频图像帧中人体关键点；
根据识别的人体关键点生成单人姿态的人体骨架，将人体骨架数据导出后生成用户的身体及骨骼的关键点数据。
5.根据权利要求4所述的基于APP筛查功能的运动效果评估方法，其特征在于，将每个维度分帧后视频图像帧的关键点数据输入至K近邻算法，在APP内标准健身视频的标准运动参数数据库中找出与每个视频图像帧最邻近的标准动作及标准运动参数，包括：
基于用户的身体及骨骼的关键点数据，将人体不同特征部分抽象为设定数量的特征点，由所述特征点组成人体骨架反应当前时刻用户的人体姿态，并得到对应视频图像帧中人体骨架的关节角度值，作为视频图像帧中健身动作的运动特征参数；
将APP内与标准健身视频中同步的标准运动参数作为比对范本，与输入的用户视频图像帧中健身动作的运动特征参数进行对比，评判出用户的训练动作、对应的标准动作、以及与标准运动参数之间角度值的差值，并进行分析得到训练者的动作是否标准，确定用户的运动效果数据。
6.根据权利要求5所述的基于APP筛查功能的运动效果评估方法，其特征在于，由所述特征点组成人体骨架反应当前时刻用户的人体姿态，并得到对应视频图像帧中人体骨架的关节角度值时，人体骨架中两个特征点之间的长度通过计算欧式距离得出，并使用余弦定理计算得出人体动作的关节间夹角的角度值；
其中，计算两个特征点之间的长度时，提取视频图像帧中人体骨架到图像边框的一维距离数据，并求其中最小值、次最小值、最大值、次最大值作为肢体不同部位的位置，两特征点之间的间距由两特征点的欧式距离计算得出；
并根据所述特征点的分布计算人体骨架的高度、节点之间的夹角以及相对于图像底边的倾斜角度，根据余弦定理计算得出人体动作的关节间夹角的角度值。
7.根据权利要求3所述的基于APP筛查功能的运动效果评估方法，其特征在于，将每个维度分帧后视频图像帧的关键点数据输入至K近邻算法，在APP内标准健身视频的标准运动参数数据库中找出与每个视频图像帧最邻近的标准动作及标准运动参数，还包括：
基于视频图像帧的关键点数据进行用户运动行为识别，将关键点数据与APP内加载的数据库进行比对，对用户运动行为分类，其中，数据库中存储有预先将动作分割好并进行分类存储的数据集，每个数据集对应一个类型的运动动作，且包含人体标准的骨架信息及运动特征参数；
根据每个视频图像帧的关键点数据进行行为检测，根据关键点数据从APP内加载的数据库中匹配出目标动作。
8.根据权利要求1所述的基于APP筛查功能的运动效果评估方法，其特征在于，根据所述运动效果数据对所述用户在完成一个阶段的标准健身视频的运动效果进行计分，并将计分数据进行显示之前，还包括：
将APP内与标准健身视频中同步的标准运动参数对应的标准动作映射到视频图像帧中，并突出显示与标准动作不重合的区域，并将运动特征参数的差异标记于视频图像帧中；
将处理后的视频图像帧进行组合生成处理后的运动效果评估视频，保存并进行显示。
9.一种基于APP筛查功能的运动效果评估系统，其特征在于，包括：
视频采集单元，用于基于APP录制的标准健身视频进行播放显示，并多维度采集用户跟随所述标准健身视频进行运动的视频数据；
关键特征点提取单元，用于对采集得到的多维度视频数据进行分帧处理，获得所有维度的视频图像帧后进行图像识别处理，确定每个健身动作的起止视频图像帧以及每个视频图像帧中关键特征点；
参数比对单元，用于基于所述关键特征点确定每个视频图像帧中健身动作的运动特征参数，并将所述运动特征参数输入至APP内与标准健身视频中同步的标准运动参数对比，确定用户的运动效果数据；
效果计分单元，用于根据所述运动效果数据对所述用户在完成一个阶段的标准健身视频的运动效果进行计分，并将计分数据进行显示。
10.根据权利要求9所述的基于APP筛查功能的运动效果评估系统，其特征在于，还包括：
动作映射单元，用于将APP内与标准健身视频中同步的标准运动参数对应的标准动作映射到视频图像帧中，并突出显示与标准动作不重合的区域，并将运动特征参数的差异标记于视频图像帧中。
CN202211141961.5A 2022-09-20 2022-09-20 一种基于app筛查功能的运动效果评估方法和系统 Pending CN115331314A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211141961.5A CN115331314A (zh) 2022-09-20 2022-09-20 一种基于app筛查功能的运动效果评估方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211141961.5A CN115331314A (zh) 2022-09-20 2022-09-20 一种基于app筛查功能的运动效果评估方法和系统

Publications (1)

Publication Number Publication Date
CN115331314A true CN115331314A (zh) 2022-11-11

Family

ID=83914806

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211141961.5A Pending CN115331314A (zh) 2022-09-20 2022-09-20 一种基于app筛查功能的运动效果评估方法和系统

Country Status (1)

Country Link
CN (1) CN115331314A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116579898A (zh) * 2023-07-12 2023-08-11 山东尚可网络科技有限公司 一种信息化体育教育平台
CN116758109A (zh) * 2023-06-20 2023-09-15 杭州光线数字科技有限公司 一种基于智能设备的动作仪态同步性监测系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116758109A (zh) * 2023-06-20 2023-09-15 杭州光线数字科技有限公司 一种基于智能设备的动作仪态同步性监测系统
CN116758109B (zh) * 2023-06-20 2023-11-14 杭州光线数字科技有限公司 一种基于智能设备的动作仪态同步性监测系统
CN116579898A (zh) * 2023-07-12 2023-08-11 山东尚可网络科技有限公司 一种信息化体育教育平台

Similar Documents

Publication Publication Date Title
CN108256433B (zh) 一种运动姿态评估方法及系统
WO2021051579A1 (zh) 形体姿态识别方法、系统、装置及存储介质
US8824802B2 (en) Method and system for gesture recognition
US9183431B2 (en) Apparatus and method for providing activity recognition based application service
JP4481663B2 (ja) 動作認識装置、動作認識方法、機器制御装置及びコンピュータプログラム
CN115331314A (zh) 一种基于app筛查功能的运动效果评估方法和系统
WO2018069981A1 (ja) 運動認識装置、運動認識プログラムおよび運動認識方法
CN110298220B (zh) 动作视频直播方法、系统、电子设备、存储介质
CN110428486B (zh) 虚拟互动的健身方法、电子设备及存储介质
CN109308437B (zh) 动作识别纠错方法、电子设备、存储介质
Bloom et al. G3di: A gaming interaction dataset with a real time detection and evaluation framework
CN107832736A (zh) 实时人体动作的识别方法和实时人体动作的识别装置
US11954869B2 (en) Motion recognition-based interaction method and recording medium
CN112101315A (zh) 一种基于深度学习的运动评判指导方法和系统
CN115131879B (zh) 一种动作评价方法及装置
WO2023108842A1 (zh) 基于健身教学训练的动作评价方法及系统
CN111223549A (zh) 一种基于姿态矫正的疾病预防的移动端系统及方法
CN114513694A (zh) 评分确定方法、装置、电子设备和存储介质
US20170154441A1 (en) Orientation estimation method, and orientation estimation device
CN111353347B (zh) 动作识别纠错方法、电子设备、存储介质
CN114550071B (zh) 田径视频动作关键帧自动识别和抓取方法、装置及介质
CN111353345A (zh) 提供训练反馈的方法、装置、系统、电子设备、存储介质
CN113837112A (zh) 一种视频数据处理方法及电子设备
CN113392744A (zh) 舞蹈动作美感确认方法、装置、电子设备及存储介质
CN110276249A (zh) 立体手掌图像摆正方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination