CN116580454A - 一种基于目标检测和人体姿态估计的运动评估方法及装置 - Google Patents

一种基于目标检测和人体姿态估计的运动评估方法及装置 Download PDF

Info

Publication number
CN116580454A
CN116580454A CN202310474749.9A CN202310474749A CN116580454A CN 116580454 A CN116580454 A CN 116580454A CN 202310474749 A CN202310474749 A CN 202310474749A CN 116580454 A CN116580454 A CN 116580454A
Authority
CN
China
Prior art keywords
key
motion
motion state
estimation
human body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310474749.9A
Other languages
English (en)
Inventor
余天驰
徐文峰
胡文博
聂磊
潘连军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Xinji Intelligent Technology Co ltd
Original Assignee
Shanghai Xinji Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Xinji Intelligent Technology Co ltd filed Critical Shanghai Xinji Intelligent Technology Co ltd
Priority to CN202310474749.9A priority Critical patent/CN116580454A/zh
Publication of CN116580454A publication Critical patent/CN116580454A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种基于目标检测和人体姿态估计的运动评估方法及装置，包括获取待评估对象的运动视频，提取运动视频的关键帧，基于人体姿态估计神经网络对关键帧进行人体姿态估计，得到待评估对象在进行运动时的第一关键点的归一化的第一位置信息，将第一位置信息还原为关键帧上的第一坐标信息，从第一关键点中选取部分关键点构建多个第一关键三角形，根据第一坐标信息计算第一关键三角形的第一关键角度，对第一关键角度进行指数平滑处理，获取第一平滑结果输入预先训练得到的目标检测模型中，获取检测结果，根据检测结果生成待评估对象的运动评估结果。本申请方案可以克服现有技术的不足，提高运动状态评估的准确性和客观性。

Description

一种基于目标检测和人体姿态估计的运动评估方法及装置
技术领域
本发明涉及计算机视觉技术领域，特别是涉及一种基于目标检测和人体姿态估计的运动评估方法、装置、计算机设备及存储介质。
背景技术
中学生体育中考是对学生体育素质的全面评估，其中考试项目及辅助训练项目包括俯卧撑、仰卧起坐、立定跳远、引体向上等多个项目。对于学生来说，合理的训练和正确的技术动作对于取得好成绩至关重要。
传统的中学生体育中考状态评估方法主要依靠人工测量和判定，如裁判员手动计时、手动计数、手动判断动作是否规范等。这种方法需要裁判员进行人工操作，不仅费时费力，而且评估结果存在主观性和误差性，对于准确评估学生的体育水平不够理想。
近年来，随着计算机视觉技术的发展，基于目标检测和分类的中学生体育中考状态评估方法逐渐成为研究热点。这种方法利用计算机视觉技术对学生的运动状态进行识别和监测，实现对学生运动状态的实时评估。然而，目前的方法存在着一些问题，如准确率不高、分类效果不稳定等。
因此，亟需基于计算机视觉提出一种新的的体育项目状态评估方案，以解决上述问题。
发明内容
为了解决现有技术的问题，本发明提供了一种基于目标检测和人体姿态估计的运动评估方法、装置、计算机设备以及存储介质，以解决现有技术中的利用计算机视觉技术对运动状态进行识别和监测的方法存在的准确率不高、分类效果不稳定等问题。
为解决上述一个或多个技术问题，本申请采用的技术方案是：
第一方面，提供了一种基于目标检测和人体姿态估计的运动评估方法，所述方法包括：
获取待评估对象的运动视频，提取所述运动视频的关键帧；
基于人体姿态估计神经网络对所述关键帧进行人体姿态估计，得到所述待评估对象在进行运动时的第一关键点的归一化的第一位置信息；
将所述第一位置信息还原为所述关键帧上的第一坐标信息；
从所述第一关键点中选取部分关键点构建多个第一关键三角形，根据所述第一坐标信息计算所述第一关键三角形的第一关键角度；
对所述第一关键角度进行指数平滑处理，获取第一平滑结果；
将所述第一平滑结果输入预先训练得到的目标检测模型中，获取检测结果，所述检测结果包括运动状态和错误姿势；
根据所述检测结果生成所述待评估对象的运动评估结果。
在一个具体的实施例中，每一所述第一关键三角形由三个所述第一关键点组成，且每一所述第一关键三角形对应于所述待评估对象的预设部位。
在一个具体的实施例中，所述运动状态至少包括不是该运动、起始运动状态、过程运动状态和最终运动状态，所述错误姿势至少包括一个。
在一个具体的实施例中，所述方法还包括：
初始化视频流姿态估计参数，设置标准动作个数和非标准动作个数均为0；
创建运动状态序列以及错误姿势集合，所述运动状态序列初始为空数组，所述错误姿势集合中各元素对应初始值为0，所述错误姿态集合中的元素分别对应其中一个错误姿势；
所述根据所述检测结果生成所述待评估对象的运动评估结果包括：
根据所述检测结果中的所述运动状态更新所述运动状态序列以及根据所述检测结果中的所述错误姿势更新所述错误姿态集合中各元素对应的值。
在一个具体的实施例中，所述根据所述检测结果中的所述运动状态更新所述运动状态序列以及根据所述检测结果中的所述错误姿势更新所述错误姿态集合中各元素对应的值包括：
在所述检测结果中的所述运动状态为起始运动状态时，若所述运动状态序列的长度为3且所述错误姿态集合中各元素对应的值均为0，则标准动作个数加1，若所述运动状态序列为只包括过程运动状态，则非标准动作个数加1并将所述错误姿态集合中相关元素对应的值设为1，若所述运动状态序列的长度为3且所述错误姿态集合中各元素对应的值不均为0，则非标准动作个数加1；
在所述检测结果中的所述运动状态为过程运动状态，且所述运动状态序列为空数组或包括过程运动状态和最终运动状态时，在所述运动状态序列中添加过程运动状态；
在所述检测结果中的所述运动状态为最终运动状态，且所述运动状态序列为包括过程运动状态时，在所述运动状态序列中添加最终运动状态。
在一个具体的实施例中，所述方法还包括所述目标检测模型的训练过程，包括：
获取目标对象的运动图像，并对所述运动图像进行标注得到标签数据；
基于人体姿态估计神经网络对所述运动图像进行人体姿态估计，得到所述目标对象在进行运动时的第二关键点的归一化的第二位置信息；
将所述第二位置信息还原为所述运动图像上的第二坐标信息；
从所述第二关键点中选取部分关键点构建多个第二关键三角形，根据所述第二坐标信息计算所述第二关键三角形的第二关键角度；
对所述第二关键角度进行指数平滑处理，获取第二平滑结果；
将所述第二平滑结果作为输入，所述标签数据作为输出，对神经网络模型进行训练，得到目标检测模型。
在一个具体的实施例中，所述标签数据至少包括所述运动状态和所述错误姿态。
第二方面，对应于上述基于目标检测和人体姿态估计的运动评估方法，还提供了一种基于目标检测和人体姿态估计的运动评估装置，所述装置包括：
视频提取模块，用于获取待评估对象的运动视频，提取所述运动视频的关键帧；
姿态估计模块，用于基于人体姿态估计神经网络对所述关键帧进行人体姿态估计，得到所述待评估对象在进行运动时的第一关键点的归一化的第一位置信息；
第一计算模块，用于将所述第一位置信息还原为所述关键帧上的第一坐标信息；
第二计算模块，用于从所述第一关键点中选取部分关键点构建多个第一关键三角形，根据所述第一坐标信息计算所述第一关键三角形的第一关键角度；
平滑处理模块，用于对所述第一关键角度进行指数平滑处理，获取第一平滑结果；
目标检测模块，用于将所述第一平滑结果输入预先训练得到的目标检测模型中，获取检测结果，所述检测结果包括运动状态和错误姿势；
运动评估模块，用于根据所述检测结果生成所述待评估对象的运动评估结果。
第三方面，还提供了一种计算机设备，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，当所述计算机程序被所述处理器执行时，实现所述基于目标检测和人体姿态估计的运动评估方法。
第四方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被执行时，实现所述基于目标检测和人体姿态估计的运动评估方法。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明提供的基于目标检测和人体姿态估计的运动评估方法、装置、计算机设备以及存储介质，方法包括获取待评估对象的运动视频，提取所述运动视频的关键帧；基于人体姿态估计神经网络对所述关键帧进行人体姿态估计，得到所述待评估对象在进行运动时的第一关键点的归一化的第一位置信息；将所述第一位置信息还原为所述关键帧上的第一坐标信息；从所述第一关键点中选取部分关键点构建多个第一关键三角形，并计算所述第一关键三角形的第一关键角度；对所述第一关键角度进行指数平滑处理，获取第一平滑结果；将所述第一平滑结果输入预先训练得到的目标检测模型中，获取检测结果，所述检测结果包括运动状态和错误姿势；根据所述检测结果生成所述待评估对象的运动评估结果。本申请方案可以克服现有技术的不足，提高运动状态评估的准确性和客观性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1和图2是本申请实施例提供的基于目标检测和人体姿态估计的运动评估方法的流程图：
图3是本申请实施例提供的目标检测模型的训练过程的流程图；
图4是本申请实施例提供的基于目标检测和人体姿态估计的运动评估装置的结构示意图；
图5是本申请实施例提供的计算机设备的架构图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
如背景技术所述，目前利用计算机视觉技术对学生的运动状态进行识别和监测以实现对学生运动状态的实时评估的方案中，存在着一些问题，如准确率不高、分类效果不稳定等。
面对上述需求与缺陷，本申请基于计算机视觉提出了一种新的运动状态评估方法，具体实施时，基于目标检测和人体姿态估计算法对待评估对象(如学生等)的运动状态进行识别和监测，实现对待评估对象的运动状态的实时评估，并且可以克服现有技术的不足，提高状态评估的准确性和客观性。
下面将结合附图和各个实施例，对本申请的方案进行详细介绍。
实施例一
图1和图2是本申请实施例提供的基于目标检测和人体姿态估计的运动评估方法的流程图，参照图1和图2所示，该方法主要包括如下步骤：
S110：获取待评估对象的运动视频，提取所述运动视频的关键帧。
本申请方案主要适用于运动状态评估，其中，待评估对象指需要评估运动状态的对象，例如，在应用于体育考试场景时，待评估对象主要包括参加考试的学生等。具体实施时，首先获取待评估对象的运动视频，对该运动视频进行帧处理，提取出运动视频中的关键帧。
S120：基于人体姿态估计神经网络对所述关键帧进行人体姿态估计，得到所述待评估对象在进行运动时的第一关键点的归一化的第一位置信息。
具体地，本申请实施例中采用的人体姿态估计神经网络包括但不限于BlazePose卷积神经网络。作为一种较优的示例，本申请实施例中的第一关键点可以为待评估对象的主要关节点，优选地，可以选取待评估对象的32个关节点作为第一关键点。基于BlazePose卷积神经网络对提出的关键帧进行人体姿态估计，得到待评估对象在进行运动时各个主要关节点(即第一关键点)的归一化的第一位置信息，记为J(x，y，z，v)，其中x和y表示为图像关节点归一化的坐标位置，z表示以胯部为原点的关节点深度，v表示关节点可见的可能性。
S130：将所述第一位置信息还原为所述关键帧上的第一坐标信息。
具体地，将上述各主要关节点的第一位置信息还原为具体图像(即关键帧)上的第一坐标信息，其中，图像上的关节点的第一坐标信息的X坐标表示为：
X＝x×image_width
Y坐标表示为：
Y＝y×image_height
其中image_width为原图像宽度，image_height为原图像高度。
S140：从所述第一关键点中选取部分关键点构建多个第一关键三角形，根据所述第一坐标信息计算所述第一关键三角形的第一关键角度。
具体地，本申请实施例中，第一关键三角形可以由3个关键点组成的三角形，每一关键点对应于三角形的其中一个顶点。其中每个三角形对应于人体的一个主要部位(如头部、手臂、腿等)。通过组合这些关键点，可以准确地表示人体的姿态和动作。
作为一种较优的示例，第一关键角度ang1可以使用三角余弦函数进行计算，通过计算关键三角形之间的角度，可以准确地估计人体的姿态和动作。第一关键角度angA具体公式如下：
其中b和c是角度angA相邻的两个边，a是angA相对的边。
S150：对所述第一关键角度进行指数平滑处理，获取第一平滑结果。
具体地，指数平滑法实际上是一种特殊的加权移动平均法，对第一关键角度进行指数平滑处理，可以减少姿态识别误差带来的影响。指数平滑算法包含两个需要初始化的参数：滑动窗口大小n和平滑参数α。滑动窗口为一个集合，表示为：
data_in_window＝[angcur，angcur-1，.....angcur-n]
指数平均的公式为：
其中Y为输出平滑结果，α为平滑参数。
S160：将所述第一平滑结果输入预先训练得到的目标检测模型中，获取检测结果，所述检测结果包括运动状态和错误姿势。
具体地，对选取的第一关键角度平滑过后的输出值Y(即第一平滑结果)组成数组进行区域缩放后作为目标检测模型的输入值，模型的输出结果为预测到的运动状态和错误姿势组成的数组。
S170：根据所述检测结果生成所述待评估对象的运动评估结果。
作为一种较优的实施方式，本申请实施例中，每一所述第一关键三角形由三个所述第一关键点组成，且每一所述第一关键三角形对应于所述待评估对象的预设部位。
具体地，预设部位包括但不限于人体的一个主要部位，如头部、手臂、腿等。作为一种较优的示例，本申请实施例中，第一关键三角形的边长可以通过组成其的相邻的两个第一关键点的欧式距离来表示。例如，组成某一第一关键三角形的相邻的两个第一关键点分别为A(xa，ya，za，va)和B(xb，yb，zb，Vb)，则该关键点A和B对应的边长为关键点A和B之间的欧氏距离，表示为：
其中xa，ya是原图像中的A的坐标位置(即A的第一坐标信息)，xb，yb是原图像中B的坐标位置(即B的第一坐标信息)。
作为一种较优的实施方式，本申请实施例中，所述运动状态至少包括不是该运动、起始运动状态s1、过程运动状态s2和最终运动状态s3，所述错误姿势至少包括一个，如错误姿态1，错误姿态2、错误姿态3等，具体的错误姿态可根据实际运动进行设置，这里不做限制。
作为一种较优的实施方式，本申请实施例中，所述方法还包括：
初始化视频流姿态估计参数，设置标准动作个数和非标准动作个数均为0；
创建运动状态序列以及错误姿势集合，所述运动状态序列初始为空数组，所述错误姿势集合中各元素对应初始值为0，所述错误姿态集合中的元素分别对应其中一个错误姿势；
所述根据所述检测结果生成所述待评估对象的运动评估结果包括：
根据所述检测结果中的所述运动状态更新所述运动状态序列以及根据所述检测结果中的所述错误姿势更新所述错误姿态集合中各元素对应的值。
具体地，在进行评估前，首先初始化视频流姿态估计参数，将标准动作个数和非标准动作个数均设置为O；其次，创建一个运动状态序列和一个错误姿势集合，运动状态序列表示为state_seq，运动状态序列初始为空数组，错误姿势集表示为INCORRECT_POSTURE为{″0″：0，″1″：0，″2″：0，″3″：0}，其中”1”、”2”、″3″分别对应错误姿态1、错误姿态2和错误姿态3，如果没有，则其对应的数值一直为0，″0″代表动作未达标；最后，在通过训练的目标检测模型进行预测，获取到检测结果后，根据检测结果中的运动状态更新运动状态序列、根据检测结果中的错误姿势更新错误姿态集合中各元素对应的值。
作为一种较优的实施方式，本申请实施例中，所述根据所述检测结果中的所述运动状态更新所述运动状态序列以及根据所述检测结果中的所述错误姿势更新所述错误姿态集合中各元素对应的值包括：
在所述检测结果中的所述运动状态为起始运动状态时，若所述运动状态序列的长度为3且所述错误姿态集合中各元素对应的值均为0，则标准动作个数加1，若所述运动状态序列为只包括过程运动状态，则非标准动作个数加1并将所述错误姿态集合中相关元素对应的值设为1，若所述运动状态序列的长度为3且所述错误姿态集合中各元素对应的值不均为0，则标准动作个数加1；
在所述检测结果中的所述运动状态为过程运动状态，且所述运动状态序列为空数组或包括过程运动状态和最终运动状态时，在所述运动状态序列中添加过程运动状态；
在所述检测结果中的所述运动状态为最终运动状态，且所述运动状态序列为包括过程运动状态时，在所述运动状态序列中添加最终运动状态。
具体地，如果检测结果中的运动状态为起始运动状态s1，此时，若运动状态序列state_seq的长度为3且错误姿态集合INCORRECT_POSTURE集合中值都为0，则运动标准个数加1；若运动状态序列state_seq＝[s2]，则非标准动作个数加1，并将错误姿态集合中相关元素对应的值设为1，并在视频中显示错误，表示该错误姿态运动未达标，例如，如果是仰卧起坐则为起身未达标，如果为俯卧撑则为下压未达标；若state_seq的长度为3，且错误姿态集合INCORRECT POSTURE不为空，则非标准动作个数加1。
如果检测结果中的运动状态为过程运动状态s2，且state_seq＝[]或state_seq＝[s2，s3]，在state_seq中添加s2。
如果检测结果中的运动状态为最终运动状态s3，且state_seq＝[s2]，在state_seq中添加s3。
作为一种较优的实施方式，本申请实施例中，在完成一次计数判断后，对运动状态序列以及错误姿态集合进行初始化处理，初始化后state_seq为空数组，INCORRECT_POSTURE＝{″0″：0，″1″：0，″2″：0，″3″：0}。然后再进行视频下一关键帧处理，如果视频结束则输出标准动作个数、非标准动作个数、运动历史等参数，并根据这些参数改进指导运动提示运动成绩。
作为一种较优的实施方式，本申请实施例中，所述方法还包括所述目标检测模型的训练过程，包括：
S210：获取目标对象的运动图像，并对所述运动图像进行标注得到标签数据。
具体地，对于每个运动图像，要标注其运动状态和错误姿态，标注其运动状态可以用一个one-hot编码来表示，作为一种较优的示例，每项运动有四个运动状态：不是该运动、起始运动状态s1、过程运动态s2、最终运动状态s3。例如，运动图像处于状态s2，则标注为[0，0，1，0]，若是有错误姿态1，没有错误姿态2和错误姿态3，则标签为[0，0，1，0，1，0，0]。例如仰卧起坐处于过程运动状态s3，只有一个姿态错误为屈膝未达标图像中未发生错误，则标签为[0，0，0，1，0]。例如俯卧撑处于运动状态s2，有膝盖为伸直和腰部为伸直两个姿态错误且都发生，则标签为[0，0，1，0，1，1]。
S220：基于人体姿态估计神经网络对所述运动图像进行人体姿态估计，得到所述目标对象在进行运动时的第二关键点的归一化的第二位置信息。
S230：将所述第二位置信息还原为所述运动图像上的第二坐标信息。
S240：从所述第二关键点中选取部分关键点构建多个第二关键三角形，根据所述第二坐标信息计算所述第二关键三角形的第二关键角度。
S250：对所述第二关键角度进行指数平滑处理，获取第二平滑结果。
具体的，步骤S220-S250可参照步骤S120-S150的相关内容，这里不在赘述。
S260：将所述第二平滑结果作为输入，所述标签数据作为输出，对神经网络模型进行训练，得到目标检测模型。
具体地，对选取的第二关键角度平滑过后的输出值组成数组进行区域缩放后作为神经网络模型的输入值，标注的运动状态和错误姿势组成的数组作为输出值，进行模型训练。其中，选用softmax作为分类器，神经网络的损失函数的值为预测状态分类损失和错误姿态估计损失的和，对超参数进行调整，训练出精确度最高的模型作为本申请的目标检测模型。
实施例二
对应于上述实施例一，本申请还提供了一种基于目标检测和人体姿态估计的运动评估装置，其中，本实施例中，与上述实施例一相同或相似的内容，可以参考上文介绍，后续不在赘述。参照图4所示，该装置包括：
视频提取模块，用于获取待评估对象的运动视频，提取所述运动视频的关键帧；
姿态估计模块，用于基于人体姿态估计神经网络对所述关键帧进行人体姿态估计，得到所述待评估对象在进行运动时的第一关键点的归一化的第一位置信息；
第一计算模块，用于将所述第一位置信息还原为所述关键帧上的第一坐标信息；
第二计算模块，用于从所述第一关键点中选取部分关键点构建多个第一关键三角形，根据所述第一坐标信息计算所述第一关键三角形的第一关键角度；
平滑处理模块，用于对所述第一关键角度进行指数平滑处理，获取第一平滑结果；
目标检测模块，用于将所述第一平滑结果输入预先训练得到的目标检测模型中，获取检测结果，所述检测结果包括运动状态和错误姿势；
运动评估模块，用于根据所述检测结果生成所述待评估对象的运动评估结果。
实施例三
对应上述实施例一和二，本申请还提供了一种计算机设备，包括：处理器和存储器，存储器上存储有可在处理器上运行的计算机程序，当计算机程序被处理器执行时，执行上述任意一个实施例提供的基于目标检测和人体姿态估计的运动评估方法。
其中，图5示例性的展示出了计算机设备，具体可以包括处理器1510，视频显示适配器1511，磁盘驱动器1512，输入/输出接口1513，网络接口1514，以及存储器1520。上述处理器1510、视频显示适配器1511、磁盘驱动器1512、输入/输出接口1513、网络接口1514，与存储器1520之间可以通过通信总线1530进行通信连接。
其中，处理器1510可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本发明所提供的技术方案。
存储器1520可以采用ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器1520可以存储用于控制电子设备运行的操作系统1521，用于控制电子设备的低级别操作的基本输入输出系统(BIOS)。另外，还可以存储网页浏览器1523，数据存储管理系统1524，以及设备标识信息处理系统1525等等。上述设备标识信息处理系统1525就可以是本发明实施例中具体实现前述各步骤操作的应用程序。总之，在通过软件或者固件来实现本发明所提供的技术方案时，相关的程序代码保存在存储器1520中，并由处理器1510来调用执行。
输入/输出接口1513用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。
网络接口1514用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。
总线包括一通路，在设备的各个组件(例如处理器1510、视频显示适配器1511、磁盘驱动器1512、输入/输出接口1513、网络接口1514，与存储器1520)之间传输信息。
另外，该电子设备还可以从虚拟资源对象领取条件信息数据库中获得具体领取条件的信息，以用于进行条件判断，等等。
需要说明的是，尽管上述设备仅示出了处理器1510、视频显示适配器1511、磁盘驱动器1512、输入/输出接口1513、网络接口1514，存储器1520，总线等，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本发明方案所必需的组件，而不必包含图中所示的全部组件。
实施例四
对应于上述实施例一至三，本申请实施例还提供了一种计算机可读存储介质，其中，本实施例中，与上述实施例一至三相同或相似的内容，可以参考上文介绍，后续不再赘述。
所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上所述的基于目标检测和人体姿态估计的运动评估方法。
在一些实施方式中，本申请实施例中，所述计算机程序被处理器执行时，还可以实现与实施例一所述方法对应的步骤，可以参考实施例一中的详细描述，此处不作赘述。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上对本发明所提供的技术方案，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于目标检测和人体姿态估计的运动评估方法，其特征在于，所述方法包括：
获取待评估对象的运动视频，提取所述运动视频的关键帧；
基于人体姿态估计神经网络对所述关键帧进行人体姿态估计，得到所述待评估对象在进行运动时的第一关键点的归一化的第一位置信息；
将所述第一位置信息还原为所述关键帧上的第一坐标信息；
从所述第一关键点中选取部分关键点构建多个第一关键三角形，根据所述第一坐标信息计算所述第一关键三角形的第一关键角度；
对所述第一关键角度进行指数平滑处理，获取第一平滑结果；
将所述第一平滑结果输入预先训练得到的目标检测模型中，获取检测结果，所述检测结果包括运动状态和错误姿势；
根据所述检测结果生成所述待评估对象的运动评估结果。
2.根据权利要求1所述的基于目标检测和人体姿态估计的运动评估方法，其特征在于，每一所述第一关键三角形由三个所述第一关键点组成，且每一所述第一关键三角形对应于所述待评估对象的预设部位。
3.根据权利要求1所述的基于目标检测和人体姿态估计的运动评估方法，其特征在于，所述运动状态至少包括不是该运动、起始运动状态、过程运动状态和最终运动状态，所述错误姿势至少包括一个。
4.根据权利要求3所述的基于目标检测和人体姿态估计的运动评估方法，其特征在于，所述方法还包括：
初始化视频流姿态估计参数，设置标准动作个数和非标准动作个数均为0；
创建运动状态序列以及错误姿势集合，所述运动状态序列初始为空数组，所述错误姿势集合中各元素对应初始值为0，所述错误姿态集合中的元素分别对应其中一个错误姿势；
所述根据所述检测结果生成所述待评估对象的运动评估结果包括：
根据所述检测结果中的所述运动状态更新所述运动状态序列以及根据所述检测结果中的所述错误姿势更新所述错误姿态集合中各元素对应的值。
5.根据权利要求4所述的基于目标检测和人体姿态估计的运动评估方法，其特征在于，所述根据所述检测结果中的所述运动状态更新所述运动状态序列以及根据所述检测结果中的所述错误姿势更新所述错误姿态集合中各元素对应的值包括：
在所述检测结果中的所述运动状态为起始运动状态时，若所述运动状态序列的长度为3且所述错误姿态集合中各元素对应的值均为0，则标准动作个数加1，若所述运动状态序列为只包括过程运动状态，则非标准动作个数加1并将所述错误姿态集合中相关元素对应的值设为1，若所述运动状态序列的长度为3且所述错误姿态集合中各元素对应的值不均为0，则非标准动作个数加1；
在所述检测结果中的所述运动状态为过程运动状态，且所述运动状态序列为空数组或包括过程运动状态和最终运动状态时，在所述运动状态序列中添加过程运动状态；
在所述检测结果中的所述运动状态为最终运动状态，且所述运动状态序列为包括过程运动状态时，在所述运动状态序列中添加最终运动状态。
6.根据权利要求1至5任一项所述的基于目标检测和人体姿态估计的运动评估方法，其特征在于，所述方法还包括所述目标检测模型的训练过程，包括：
获取目标对象的运动图像，并对所述运动图像进行标注得到标签数据；
基于人体姿态估计神经网络对所述运动图像进行人体姿态估计，得到所述目标对象在进行运动时的第二关键点的归一化的第二位置信息；
将所述第二位置信息还原为所述运动图像上的第二坐标信息；
从所述第二关键点中选取部分关键点构建多个第二关键三角形，根据所述第二坐标信息计算所述第二关键三角形的第二关键角度；
对所述第二关键角度进行指数平滑处理，获取第二平滑结果；
将所述第二平滑结果作为输入，所述标签数据作为输出，对神经网络模型进行训练，得到目标检测模型。
7.根据权利要求6所述的基于目标检测和人体姿态估计的运动评估方法，其特征在于，所述标签数据至少包括所述运动状态和所述错误姿态。
8.一种基于目标检测和人体姿态估计的运动评估装置，其特征在于，所述装置包括：
视频提取模块，用于获取待评估对象的运动视频，提取所述运动视频的关键帧；
姿态估计模块，用于基于人体姿态估计神经网络对所述关键帧进行人体姿态估计，得到所述待评估对象在进行运动时的第一关键点的归一化的第一位置信息；
第一计算模块，用于将所述第一位置信息还原为所述关键帧上的第一坐标信息；
第二计算模块，用于从所述第一关键点中选取部分关键点构建多个第一关键三角形，根据所述第一坐标信息计算所述第一关键三角形的第一关键角度；
平滑处理模块，用于对所述第一关键角度进行指数平滑处理，获取第一平滑结果；
目标检测模块，用于将所述第一平滑结果输入预先训练得到的目标检测模型中，获取检测结果，所述检测结果包括运动状态和错误姿势；
运动评估模块，用于根据所述检测结果生成所述待评估对象的运动评估结果。
9.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，当所述计算机程序被所述处理器执行时，实现权利要求1～7中任一项所述的基于目标检测和人体姿态估计的运动评估方法。
10.一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，其特征在于，所述计算机程序被执行时，实现权利要求1～7中任一项所述的基于目标检测和人体姿态估计的运动评估方法。
CN202310474749.9A 2023-04-27 2023-04-27 一种基于目标检测和人体姿态估计的运动评估方法及装置 Pending CN116580454A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310474749.9A CN116580454A (zh) 2023-04-27 2023-04-27 一种基于目标检测和人体姿态估计的运动评估方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310474749.9A CN116580454A (zh) 2023-04-27 2023-04-27 一种基于目标检测和人体姿态估计的运动评估方法及装置

Publications (1)

Publication Number Publication Date
CN116580454A true CN116580454A (zh) 2023-08-11

Family

ID=87536883

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310474749.9A Pending CN116580454A (zh) 2023-04-27 2023-04-27 一种基于目标检测和人体姿态估计的运动评估方法及装置

Country Status (1)

Country Link
CN (1) CN116580454A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117216313A (zh) * 2023-09-13 2023-12-12 中关村科学城城市大脑股份有限公司 姿态评价音频输出方法、装置、电子设备和可读介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117216313A (zh) * 2023-09-13 2023-12-12 中关村科学城城市大脑股份有限公司 姿态评价音频输出方法、装置、电子设备和可读介质

Similar Documents

Publication Publication Date Title
US20190220657A1 (en) Motion recognition device and motion recognition method
CN110458061B (zh) 一种识别老年人跌倒的方法及陪伴机器人
CN108205654B (zh) 一种基于视频的动作检测方法及装置
CN109376631B (zh) 一种基于神经网络的回环检测方法及装置
US11417095B2 (en) Image recognition method and apparatus, electronic device, and readable storage medium using an update on body extraction parameter and alignment parameter
CN111597975B (zh) 人员动作检测方法、装置及电子设备
US11074713B2 (en) Recognition device, recognition system, recognition method, and non-transitory computer readable recording medium
CN110688929A (zh) 一种人体骨架关节点定位方法及装置
CN110765946B (zh) 一种跑姿评估方法、装置、设备和存储介质
CN116580454A (zh) 一种基于目标检测和人体姿态估计的运动评估方法及装置
US20220222975A1 (en) Motion recognition method, non-transitory computer-readable recording medium and information processing apparatus
CN111932568A (zh) 人体图像分割方法、人体图像分割模型的训练方法和装置
CN115738219A (zh) 引体向上测评方法、装置、电子设备及存储介质
CN116188695A (zh) 三维手部姿态模型的构建方法和三维手部姿态估计方法
CN109002758B (zh) 人脸特征点定位方法、装置、设备及存储介质
CN114343618A (zh) 训练动作检测方法及装置
CN111353347B (zh) 动作识别纠错方法、电子设备、存储介质
CN111353345B (zh) 提供训练反馈的方法、装置、系统、电子设备、存储介质
CN116453222A (zh) 目标对象姿态确定方法、训练方法、装置以及存储介质
CN116343007A (zh) 目标检测方法、装置、设备和存储介质
CN115346640A (zh) 一种功能性康复训练闭环反馈的智能监测方法及系统
CN115019399A (zh) 一种人体姿态检测方法
CN112257642B (zh) 人体连续动作相似性评价方法及评价装置
CN114758354A (zh) 坐姿检测方法、装置、电子设备、存储介质及程序产品
CN113392743A (zh) 异常动作检测方法、装置、电子设备和计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination