CN116246350A - 基于动作捕捉的运动监测方法、装置、设备及存储介质 - Google Patents

基于动作捕捉的运动监测方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN116246350A
CN116246350A CN202310524593.0A CN202310524593A CN116246350A CN 116246350 A CN116246350 A CN 116246350A CN 202310524593 A CN202310524593 A CN 202310524593A CN 116246350 A CN116246350 A CN 116246350A
Authority
CN
China
Prior art keywords
motion
skeleton
image frame
human
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202310524593.0A
Other languages
English (en)
Inventor
薄金龙
许治
姬广博
孙娜娜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Engineering Vocational and Technical University
Original Assignee
Shandong Engineering Vocational and Technical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Engineering Vocational and Technical University filed Critical Shandong Engineering Vocational and Technical University
Priority to CN202310524593.0A priority Critical patent/CN116246350A/zh
Publication of CN116246350A publication Critical patent/CN116246350A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于运动数据处理技术领域，具体涉及基于动作捕捉的运动监测方法、装置、设备及存储介质。该方法包括：将采集的运动视频按照时序分解形成动作编号的图像帧，并基于人体运动捕捉模型提取图像帧中的骨骼点数据；根据骨骼点数据拟合人体骨骼姿势，生成人体骨骼姿势数据并在三维空间中呈现出对应的三维人体骨骼模型；将图像帧中当前图像帧及相邻图像帧的骨骼点数据输入动作趋势模型，根据骨骼点数据的移动轨迹方向确定人体骨骼姿势的运动趋势；将当前图像帧的人体骨骼姿势以及运动趋势与预存的标准动作图库进行比对，确定当前图像帧的动作姿势并计算出异常运动数据。本发明提高了运动监测的准确率及效率。

Description

基于动作捕捉的运动监测方法、装置、设备及存储介质
技术领域
本发明属于运动数据处理技术领域，具体涉及一种基于动作捕捉的运动监测方法、装置、设备及存储介质。
背景技术
随着人们对运动锻炼的注重，锻炼的强度、运动量以及正确与否直接关系到人们长期运动的效果。在诸多运动中都需要人们保持正确的锻炼姿势，掌握正确的锻炼方法。但是锻炼的正确与否仅凭自身感知难以察觉，缺乏系统的监测与分析，导致人们需要在健身教练的帮助下方可完成正确的锻炼，但这将导致时间成本及人力成本的成倍增加。
而目前随着计算机视觉相关理论与应用研究，部分健身设备或健身器械已经初步具备通过采集人们健身数据进行运动数据识别和提取操作，进而结合存储的指标进行分析，辅助人们进行锻炼，但是仍处于初步的监控及分析阶段。针对目标对象的检测也是进行当前帧的分析，无法结合前后帧的运动情况进行系统性分析，进而导致监测分析不准确的问题，仅基于动作捕捉的运动监测无法满足目标对象的运动监测需求。
发明内容
为解决上述问题，本发明提供了一种基于动作捕捉的运动监测方法、装置、设备及存储介质，通过对目标对象连续的视频监测，进行目标对象动作捕捉完成运动监测分析。
为实现上述目的，本发明实施例提供了如下的技术方案：
第一方面，在本发明提供的一个实施例中，提供了一种基于动作捕捉的运动监测方法，包括以下步骤：
将采集的运动视频按照时序分解形成动作编号的图像帧，并基于人体运动捕捉模型提取所述图像帧中的骨骼点数据；
根据所述骨骼点数据拟合人体骨骼姿势，生成人体骨骼姿势数据并在三维空间中呈现出对应的三维人体骨骼模型；
将所述图像帧中当前图像帧及相邻图像帧的骨骼点数据输入动作趋势模型，根据骨骼点数据的移动轨迹方向确定人体骨骼姿势的运动趋势；
将当前图像帧的人体骨骼姿势以及运动趋势与预存的标准动作图库进行比对，确定当前图像帧的动作姿势并计算出异常运动数据，将异常运动数据通过三维人体骨骼模型显示。
作为本发明的进一步方案，将采集的运动视频按照时序分解形成动作编号的图像帧时，还包括：
获取至少一个包含目标对象的视频数据，并通过分帧处理获得所述视频数据的图像集；
基于面部识别算法对所述图像集上定位的目标对象检测，使用人脸嵌入进行特征提取，筛选出包含目标对象人脸特征的图像帧；
其中，使用人脸嵌入进行特征提取时，包括：对获取的目标对象的面部图像进行人脸局部区域特征提取，根据提取的样本训练得到变换矩阵，将人脸图像向量映射为目标对象的人脸特征向量；采用分类器对每个人脸特征向量进行分类，得到特征提取结果。
作为本发明的进一步方案，基于人体运动捕捉模型提取所述图像帧中的骨骼点数据时，包括：
基于AlphaPose检测所述图像帧中的人体图像特征，并根据所述人体图像特征识别人体每个骨骼点及坐标数据；
根据每个骨骼点的坐标数据确定肢体候选位置，并将肢体候选位置的骨骼点拟合连接形成人体骨骼姿势。
作为本发明的进一步方案，根据骨骼点数据的移动轨迹方向确定人体骨骼姿势的运动趋势，包括以下步骤：
从图像帧中使用AlphaPose算法识别人体图像并采用矩形框捕捉目标对象活动区域；
在所述目标对象活动区域中根据坐标数据确定骨骼点位置，将每个骨骼点在当前图像帧及相邻图像帧中的位置按照移动轨迹方向进行拟合，确定目标对象对应的人体骨骼姿势的动作趋势。
作为本发明的进一步方案，将当前图像帧的人体骨骼姿势以及运动趋势与预存的标准动作图库进行比对时，根据当前图像帧的人体骨骼姿势进行相似度筛选，获取初步标准动作图像；
基于相邻图像帧以及运动趋势，从初步标准动作图像中确定目标对象运动的当前图像帧对应的标准动作图像；
根据当前图像帧中人体骨骼姿势的骨骼点之间的倾斜角度进行比对，当与标准动作图像的倾斜角度差值超过预设阈值是判定为异常。
作为本发明的进一步方案，所述基于动作捕捉的运动监测方法，还包括基于异常运动数据对运动监测动作修正，基于异常运动数据对运动监测动作修正的方法，包括以下步骤：
基于确定的当前图像帧的动作姿势进行关键点选取，确定标准动作图库中相同动作姿的标准骨骼模型的基准点；
调整当前图像帧对应的三维人体骨骼模型的关键点位置，通过移动当前图像帧对应的三维人体骨骼模型的关键点位置至与标准骨骼模型的基准点重合；
计算所述三维人体骨骼模型与标准骨骼模型的倾斜角度误差并进行运动方向提示；
实时采集运动目标修正后的运动图像，将修正后的三维人体骨骼模型与标准骨骼模型对比，无误后完成对当前图像帧运动监测及修正。
第二方面，在本发明提供的另一个实施例中，提供了一种基于动作捕捉的运动监测装置，所述基于动作捕捉的运动监测装置采用上述基于动作捕捉的运动监测方法监测目标对象的运动状态；所述基于动作捕捉的运动监测装置包括骨骼点提取模块、骨骼模型拟合模块、运动趋势确定模块以及异常运动监测模块。
所述骨骼点提取模块，用于将采集的运动视频按照时序分解形成动作编号的图像帧，并基于人体运动捕捉模型提取所述图像帧中的骨骼点数据；
所述骨骼模型拟合模块，用于根据所述骨骼点数据拟合人体骨骼姿势，生成人体骨骼姿势数据并在三维空间中呈现出对应的三维人体骨骼模型；
所述运动趋势确定模块，用于将所述图像帧中当前图像帧及相邻图像帧的骨骼点数据输入动作趋势模型，根据骨骼点数据的移动轨迹方向确定人体骨骼姿势的运动趋势；
所述异常运动监测模块，用于将当前图像帧的人体骨骼姿势以及运动趋势与预存的标准动作图库进行比对，确定当前图像帧的动作姿势并计算出异常运动数据，将异常运动数据通过三维人体骨骼模型显示。
第三方面，在本发明提供的又一个实施例中，提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器加载并执行所述计算机程序时实现基于动作捕捉的运动监测方法的步骤。
第四方面，在本发明提供的再一个实施例中，提供了一种可读存储介质，存储有计算机程序，所述计算机程序被处理器加载并执行时实现所述基于动作捕捉的运动监测方法的步骤。
本发明提供的技术方案，具有如下有益效果：
本发明提供的基于动作捕捉的运动监测方法、装置、设备及存储介质，针对目标对象进行骨骼点数据提取，拟合出人体骨骼姿势并生成三维人体骨骼模型，根据前后帧运动状态确定人体骨骼姿势的运动趋势，与标准动作图库进行比对后确定当前图像帧的动作姿势并计算出异常运动数据；自动提取获得动作骨骼点，提高了运动监测的准确率及效率，在相邻图像帧的辅助下更加准确的确定动作姿势，避免误判，并能进行运动异常的提醒，便于对健身运动实时识别匹配以及能够实现实时反馈修正运动姿势。
本发明的这些方面或其他方面在以下实施例的描述中会更加简明易懂。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例。在附图中：
图1为本发明实施例的一种基于动作捕捉的运动监测方法的流程图。
图2为本发明实施例的一种基于动作捕捉的运动监测方法中视频文件按照时序分解的流程图。
图3为本发明实施例的一种基于动作捕捉的运动监测方法中提取骨骼点数据的流程图。
图4为本发明实施例的一种基于动作捕捉的运动监测方法中确定运动趋势的流程图。
图5为本发明实施例的一种基于动作捕捉的运动监测方法中与标准动作图库进行比对的流程图。
图6为本发明实施例的一种基于动作捕捉的运动监测方法中对运动监测动作修正的流程图。
图7为本发明实施例的一种基于动作捕捉的运动监测装置的结构框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
由于现有的运动数据识别和提取操作方式仍处于初步的监控及分析阶段，无法结合前后帧的运动情况进行系统性分析，进而导致监测分析不准确的问题，仅基于动作捕捉的运动监测无法满足目标对象的运动监测需求。有鉴于此，本发明提供的一种基于动作捕捉的运动监测方法、装置、设备及存储介质，通过对目标对象连续的视频监测，进行目标对象动作捕捉完成运动监测分析。
具体地，下面结合附图，对本申请实施例作进一步阐述。
如图1所示，本发明的一个实施例提供一种基于动作捕捉的运动监测方法，包括如下步骤：
S10：将采集的运动视频按照时序分解形成动作编号的图像帧，并基于人体运动捕捉模型提取所述图像帧中的骨骼点数据。
在本实施例中，参见图2所示，将采集的运动视频按照时序分解形成动作编号的图像帧时，还包括：
S101、获取至少一个包含目标对象的视频数据，并通过分帧处理获得所述视频数据的图像集；
S102、基于面部识别算法对所述图像集上定位的目标对象检测，使用人脸嵌入进行特征提取，筛选出包含目标对象人脸特征的图像帧。
在针对目标对象人脸特征识别时，本实施例基于目标对象的面部标志并分析面部标志的空间参数及相关特征，将人脸视为一个整体嵌入人工神经网络以进行特征提取。
在执行人脸特征识别时，使用人脸嵌入进行特征提取可以检测图像、视频以及实时检测画面中的人脸；在人工神经网络中建立人脸的数学模型，将模型与训练集或数据库进行比较以识别或验证目标对象。其中，使用人脸嵌入进行特征提取时，包括：对获取的目标对象的面部图像进行人脸局部区域特征提取，根据提取的样本训练得到变换矩阵，将人脸图像向量映射为目标对象的人脸特征向量；采用分类器对每个人脸特征向量进行分类，得到特征提取结果。
在本实施例中，人工神经网络优选卷积神经网络（CNN），利用CNN神经网络的卷积层和池化层学习检测不同的人脸特征以确定图像集中包含目标对象人脸特征的图像帧。
在本实施例中，参见图3所示，基于人体运动捕捉模型提取所述图像帧中的骨骼点数据时，包括：
S111、基于AlphaPose检测所述图像帧中的人体图像特征，并根据所述人体图像特征识别人体每个骨骼点及坐标数据。其中，AlphaPose采用自顶向下的方法提出了区域多人姿态检测框架，能够在不精准的区域框中提取到高质量的人体区域；基于前述筛选出包含目标对象人脸特征的图像帧，锁定目标对象的人体区域，确定图像帧中的人体图像特征。
在进行人体每个骨骼点及坐标数据识别时，可以将人体的部位划分为28个骨骼点，针对人体的左臂、右臂、左腿、右腿、头部、颈部以及躯干进行全方位均匀分布，骨骼点之间便于形成人体骨骼姿势。
S112、根据每个骨骼点的坐标数据确定肢体候选位置，并将肢体候选位置的骨骼点拟合连接形成人体骨骼姿势。
在根据上述骨骼点的坐标数据确定人体的肢体候选位置后，进行骨骼点之间的拟合可以连接形成人体骨骼姿势。
S20：根据所述骨骼点数据拟合人体骨骼姿势，生成人体骨骼姿势数据并在三维空间中呈现出对应的三维人体骨骼模型。
其中，针对拟合形成人体骨骼姿势，在构建的三维空间中，利用三维坐标系将骨骼点的坐标数据加载于其中，在三维空间中构建出三维人体骨骼模型，形成与运动视频中目标对象运动一致的人体骨骼模型，以进行直观展示。
S30：将所述图像帧中当前图像帧及相邻图像帧的骨骼点数据输入动作趋势模型，根据骨骼点数据的移动轨迹方向确定人体骨骼姿势的运动趋势。
在本实施例中，参见图4所示，根据骨骼点数据的移动轨迹方向确定人体骨骼姿势的运动趋势，包括以下步骤：
S201、从图像帧中使用AlphaPose算法识别人体图像并采用矩形框捕捉目标对象活动区域；
S202、在所述目标对象活动区域中根据坐标数据确定骨骼点位置，将每个骨骼点在当前图像帧及相邻图像帧中的位置按照移动轨迹方向进行拟合，确定目标对象对应的人体骨骼姿势的动作趋势。
本实施例中，根据当前帧与前后帧之间的骨骼点的位置差异进行移动轨迹方向的拟合，进行确定出目标对象的运动趋势，并以人体骨骼姿势的方式演示。
S40：将当前图像帧的人体骨骼姿势以及运动趋势与预存的标准动作图库进行比对，确定当前图像帧的动作姿势并计算出异常运动数据，将异常运动数据通过三维人体骨骼模型显示。
通过人体骨骼姿势以及运动趋势确定当前图像帧对应标准动作的动作姿势，并计算出与标准动作的差异数据，超出预设阈值的数据判断为异常运动数据，例如左臂上骨骼点之间的倾斜角度超出标准动作的倾斜角度阈值，则判断当前左臂的动作姿势与标准动作不一致，左臂部分的运动数据则判断为异常运动数据，针对异常运动数据对应的部位通过三维人体骨骼模型显示。
在本实施例中，参见图5所示，将当前图像帧的人体骨骼姿势以及运动趋势与预存的标准动作图库进行比对时，包括：
S401、根据当前图像帧的人体骨骼姿势进行相似度筛选，获取初步标准动作图像；
S402、基于相邻图像帧以及运动趋势，从初步标准动作图像中确定目标对象运动的当前图像帧对应的标准动作图像；
S403、根据当前图像帧中人体骨骼姿势的骨骼点之间的倾斜角度进行比对，当与标准动作图像的倾斜角度差值超过预设阈值是判定为异常。
在本发明的一些实施例中，参见图6所示，所述基于动作捕捉的运动监测方法，还包括基于异常运动数据对运动监测动作修正，基于异常运动数据对运动监测动作修正的方法，包括以下步骤：
S501、基于确定的当前图像帧的动作姿势进行关键点选取，确定标准动作图库中相同动作姿的标准骨骼模型的基准点；
S502、调整当前图像帧对应的三维人体骨骼模型的关键点位置，通过移动当前图像帧对应的三维人体骨骼模型的关键点位置至与标准骨骼模型的基准点重合；
S503、计算所述三维人体骨骼模型与标准骨骼模型的倾斜角度误差并进行运动方向提示；
S504、实时采集运动目标修正后的运动图像，将修正后的三维人体骨骼模型与标准骨骼模型对比，无误后完成对当前图像帧运动监测及修正。
在本实施例中，先对当前图像帧的动作姿势进行关键点选取，在标准动作图库中的标准骨骼模型上确定一个基准点；将当前图像帧的三维人体骨骼模型的关键点位置移动到与基准点重合位置，此时对比标准骨骼模型与三维人体骨骼模型的区别，将不一致位置的倾斜角度误差计算出，并提示目标对象所需移动部位的方向，在通过对运动动作校正后，再次对比修正后的三维人体骨骼模型，无误后完成对当前图像帧运动监测及修正，可以有效对运动监测并对每个动作进行校正。
本发明的基于动作捕捉的运动监测方法，针对目标对象进行骨骼点数据提取，拟合出人体骨骼姿势并生成三维人体骨骼模型，根据前后帧运动状态确定人体骨骼姿势的运动趋势，与标准动作图库进行比对后确定当前图像帧的动作姿势并计算出异常运动数据；自动提取获得动作骨骼点，提高了运动监测的准确率及效率，在相邻图像帧的辅助下更加准确的确定动作姿势，避免误判，并能进行运动异常的提醒，便于对健身运动实时识别匹配以及能够实现实时反馈修正运动姿势。
在本发明的一个实施例中，参见图7所示，本发明还公开了一种基于动作捕捉的运动监测装置，所述基于动作捕捉的运动监测装置采用上述基于动作捕捉的运动监测方法监测目标对象的运动状态；所述基于动作捕捉的运动监测装置包括骨骼点提取模块100、骨骼模型拟合模块200、运动趋势确定模块300以及异常运动监测模块400。
所述骨骼点提取模块100，用于将采集的运动视频按照时序分解形成动作编号的图像帧，并基于人体运动捕捉模型提取所述图像帧中的骨骼点数据。其中，所述骨骼点提取模块100在将采集的运动视频按照时序分解形成动作编号的图像帧时，获取至少一个包含目标对象的视频数据，并通过分帧处理获得所述视频数据的图像集；基于面部识别算法对所述图像集上定位的目标对象检测，使用人脸嵌入进行特征提取，筛选出包含目标对象人脸特征的图像帧。
所述骨骼模型拟合模块200，用于根据所述骨骼点数据拟合人体骨骼姿势，生成人体骨骼姿势数据并在三维空间中呈现出对应的三维人体骨骼模型。具体的，基于AlphaPose检测所述图像帧中的人体图像特征，并根据所述人体图像特征识别人体每个骨骼点及坐标数据；根据每个骨骼点的坐标数据确定肢体候选位置，并将肢体候选位置的骨骼点拟合连接形成人体骨骼姿势。
所述运动趋势确定模块300，用于将所述图像帧中当前图像帧及相邻图像帧的骨骼点数据输入动作趋势模型，根据骨骼点数据的移动轨迹方向确定人体骨骼姿势的运动趋势。其中，在根据骨骼点数据的移动轨迹方向确定人体骨骼姿势的运动趋势时，从图像帧中使用AlphaPose算法识别人体图像并采用矩形框捕捉目标对象活动区域；在所述目标对象活动区域中根据坐标数据确定骨骼点位置，将每个骨骼点在当前图像帧及相邻图像帧中的位置按照移动轨迹方向进行拟合，确定目标对象对应的人体骨骼姿势的动作趋势。
所述异常运动监测模块400，用于将当前图像帧的人体骨骼姿势以及运动趋势与预存的标准动作图库进行比对，确定当前图像帧的动作姿势并计算出异常运动数据，将异常运动数据通过三维人体骨骼模型显示。
通过人体骨骼姿势以及运动趋势确定当前图像帧对应标准动作的动作姿势，并计算出与标准动作的差异数据，超出预设阈值的数据判断为异常运动数据，例如左臂上骨骼点之间的倾斜角度超出标准动作的倾斜角度阈值，则判断当前左臂的动作姿势与标准动作不一致，左臂部分的运动数据则判断为异常运动数据，针对异常运动数据对应的部位通过三维人体骨骼模型显示。
在本实施例中，基于动作捕捉的运动监测装置在执行时采用如前述的一种基于动作捕捉的运动监测方法的步骤，因此，本实施例中对基于动作捕捉的运动监测装置的运行过程不再详细介绍。
在一个实施例中，在本发明的实施例中还提供了一种计算机设备，包括至少一个处理器，以及与所述至少一个处理器通信连接的存储器，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行所述的基于动作捕捉的运动监测方法，该处理器执行指令时实现上述基于动作捕捉的运动监测方法中的步骤：
将采集的运动视频按照时序分解形成动作编号的图像帧，并基于人体运动捕捉模型提取所述图像帧中的骨骼点数据；
根据所述骨骼点数据拟合人体骨骼姿势，生成人体骨骼姿势数据并在三维空间中呈现出对应的三维人体骨骼模型；
将所述图像帧中当前图像帧及相邻图像帧的骨骼点数据输入动作趋势模型，根据骨骼点数据的移动轨迹方向确定人体骨骼姿势的运动趋势；
将当前图像帧的人体骨骼姿势以及运动趋势与预存的标准动作图库进行比对，确定当前图像帧的动作姿势并计算出异常运动数据，将异常运动数据通过三维人体骨骼模型显示。
在一些实施例中，所述基于动作捕捉的运动监测方法，还包括基于异常运动数据对运动监测动作修正，基于异常运动数据对运动监测动作修正的方法，包括以下步骤：
基于确定的当前图像帧的动作姿势进行关键点选取，确定标准动作图库中相同动作姿的标准骨骼模型的基准点；
调整当前图像帧对应的三维人体骨骼模型的关键点位置，通过移动当前图像帧对应的三维人体骨骼模型的关键点位置至与标准骨骼模型的基准点重合；
计算所述三维人体骨骼模型与标准骨骼模型的倾斜角度误差并进行运动方向提示；
实时采集运动目标修正后的运动图像，将修正后的三维人体骨骼模型与标准骨骼模型对比，无误后完成对当前图像帧运动监测及修正。
在本发明的一个实施例中还提供了一种可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述基于动作捕捉的运动监测方法中的步骤：
将采集的运动视频按照时序分解形成动作编号的图像帧，并基于人体运动捕捉模型提取所述图像帧中的骨骼点数据；
根据所述骨骼点数据拟合人体骨骼姿势，生成人体骨骼姿势数据并在三维空间中呈现出对应的三维人体骨骼模型；
将所述图像帧中当前图像帧及相邻图像帧的骨骼点数据输入动作趋势模型，根据骨骼点数据的移动轨迹方向确定人体骨骼姿势的运动趋势；
将当前图像帧的人体骨骼姿势以及运动趋势与预存的标准动作图库进行比对，确定当前图像帧的动作姿势并计算出异常运动数据，将异常运动数据通过三维人体骨骼模型显示。
在一些实施例中，所述基于动作捕捉的运动监测方法，还包括基于异常运动数据对运动监测动作修正，基于异常运动数据对运动监测动作修正的方法，包括以下步骤：
基于确定的当前图像帧的动作姿势进行关键点选取，确定标准动作图库中相同动作姿的标准骨骼模型的基准点；
调整当前图像帧对应的三维人体骨骼模型的关键点位置，通过移动当前图像帧对应的三维人体骨骼模型的关键点位置至与标准骨骼模型的基准点重合；
计算所述三维人体骨骼模型与标准骨骼模型的倾斜角度误差并进行运动方向提示；
实时采集运动目标修正后的运动图像，将修正后的三维人体骨骼模型与标准骨骼模型对比，无误后完成对当前图像帧运动监测及修正。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取可读存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。
综上所述，本发明提供的基于动作捕捉的运动监测方法、装置、设备及存储介质，针对目标对象进行骨骼点数据提取，拟合出人体骨骼姿势并生成三维人体骨骼模型，根据前后帧运动状态确定人体骨骼姿势的运动趋势，与标准动作图库进行比对后确定当前图像帧的动作姿势并计算出异常运动数据；自动提取获得动作骨骼点，提高了运动监测的准确率及效率，在相邻图像帧的辅助下更加准确的确定动作姿势，避免误判，并能进行运动异常的提醒，便于对健身运动实时识别匹配以及能够实现实时反馈修正运动姿势。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于动作捕捉的运动监测方法，包括以下步骤：
将采集的运动视频按照时序分解形成动作编号的图像帧，并基于人体运动捕捉模型提取所述图像帧中的骨骼点数据；
根据所述骨骼点数据拟合人体骨骼姿势，生成人体骨骼姿势数据并在三维空间中呈现出对应的三维人体骨骼模型；
其特征在于，还包括以下步骤：
将所述图像帧中当前图像帧及相邻图像帧的骨骼点数据输入动作趋势模型，根据骨骼点数据的移动轨迹方向确定人体骨骼姿势的运动趋势；
将当前图像帧的人体骨骼姿势以及运动趋势与预存的标准动作图库进行比对，确定当前图像帧的动作姿势并计算出异常运动数据，将异常运动数据通过三维人体骨骼模型显示；
将当前图像帧的人体骨骼姿势以及运动趋势与预存的标准动作图库进行比对时，根据当前图像帧的人体骨骼姿势进行相似度筛选，获取初步标准动作图像；
基于相邻图像帧以及运动趋势，从初步标准动作图像中确定目标对象运动的当前图像帧对应的标准动作图像；
根据当前图像帧中人体骨骼姿势的骨骼点之间的倾斜角度进行比对，当与标准动作图像的倾斜角度差值超过预设阈值是判定为异常；
其中，基于动作捕捉的运动监测方法，还包括基于异常运动数据对运动监测动作修正，基于异常运动数据对运动监测动作修正的方法，包括以下步骤：
基于确定的当前图像帧的动作姿势进行关键点选取，确定标准动作图库中相同动作姿的标准骨骼模型的基准点；
调整当前图像帧对应的三维人体骨骼模型的关键点位置，通过移动当前图像帧对应的三维人体骨骼模型的关键点位置至与标准骨骼模型的基准点重合；
计算所述三维人体骨骼模型与标准骨骼模型的倾斜角度误差并进行运动方向提示；
实时采集运动目标修正后的运动图像，将修正后的三维人体骨骼模型与标准骨骼模型对比，无误后完成对当前图像帧运动监测及修正。
2.如权利要求1所述的基于动作捕捉的运动监测方法，其特征在于，将采集的运动视频按照时序分解形成动作编号的图像帧时，还包括：
获取至少一个包含目标对象的视频数据，并通过分帧处理获得所述视频数据的图像集；
基于面部识别算法对所述图像集上定位的目标对象检测，使用人脸嵌入进行特征提取，筛选出包含目标对象人脸特征的图像帧。
3.如权利要求2所述的基于动作捕捉的运动监测方法，其特征在于，使用人脸嵌入进行特征提取时，包括：对获取的目标对象的面部图像进行人脸局部区域特征提取，根据提取的样本训练得到变换矩阵，将人脸图像向量映射为目标对象的人脸特征向量；采用分类器对每个人脸特征向量进行分类，得到特征提取结果。
4.如权利要求1所述的基于动作捕捉的运动监测方法，其特征在于，基于人体运动捕捉模型提取所述图像帧中的骨骼点数据时，包括：
基于AlphaPose检测所述图像帧中的人体图像特征，并根据所述人体图像特征识别人体每个骨骼点及坐标数据；
根据每个骨骼点的坐标数据确定肢体候选位置，并将肢体候选位置的骨骼点拟合连接形成人体骨骼姿势。
5.如权利要求4所述的基于动作捕捉的运动监测方法，其特征在于，根据骨骼点数据的移动轨迹方向确定人体骨骼姿势的运动趋势，包括以下步骤：
从图像帧中使用AlphaPose算法识别人体图像并采用矩形框捕捉目标对象活动区域；
在所述目标对象活动区域中根据坐标数据确定骨骼点位置，将每个骨骼点在当前图像帧及相邻图像帧中的位置按照移动轨迹方向进行拟合，确定目标对象对应的人体骨骼姿势的动作趋势。
6.一种基于动作捕捉的运动监测装置，其特征在于，所述基于动作捕捉的运动监测装置采用权利要求1-5中任意一项所述基于动作捕捉的运动监测方法监测目标对象的运动状态；所述基于动作捕捉的运动监测装置包括：
骨骼点提取模块，用于将采集的运动视频按照时序分解形成动作编号的图像帧，并基于人体运动捕捉模型提取所述图像帧中的骨骼点数据；
骨骼模型拟合模块，用于根据所述骨骼点数据拟合人体骨骼姿势，生成人体骨骼姿势数据并在三维空间中呈现出对应的三维人体骨骼模型；
运动趋势确定模块，用于将所述图像帧中当前图像帧及相邻图像帧的骨骼点数据输入动作趋势模型，根据骨骼点数据的移动轨迹方向确定人体骨骼姿势的运动趋势；
异常运动监测模块，用于将当前图像帧的人体骨骼姿势以及运动趋势与预存的标准动作图库进行比对，确定当前图像帧的动作姿势并计算出异常运动数据，将异常运动数据通过三维人体骨骼模型显示。
7.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器加载并执行所述计算机程序时实现权利要求1-5中任一项所述的基于动作捕捉的运动监测方法的步骤。
8.一种可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器加载并执行时实现权利要求1-5中任一项所述的基于动作捕捉的运动监测方法的步骤。
CN202310524593.0A 2023-05-11 2023-05-11 基于动作捕捉的运动监测方法、装置、设备及存储介质 Withdrawn CN116246350A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310524593.0A CN116246350A (zh) 2023-05-11 2023-05-11 基于动作捕捉的运动监测方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310524593.0A CN116246350A (zh) 2023-05-11 2023-05-11 基于动作捕捉的运动监测方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN116246350A true CN116246350A (zh) 2023-06-09

Family

ID=86633446

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310524593.0A Withdrawn CN116246350A (zh) 2023-05-11 2023-05-11 基于动作捕捉的运动监测方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN116246350A (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190251341A1 (en) * 2017-12-08 2019-08-15 Huawei Technologies Co., Ltd. Skeleton Posture Determining Method and Apparatus, and Computer Readable Storage Medium
CN110728220A (zh) * 2019-09-30 2020-01-24 上海大学 基于人体动作骨骼信息的体操辅助训练方法
CN110910426A (zh) * 2019-11-26 2020-03-24 爱菲力斯(深圳)科技有限公司 动作过程和动作趋势识别方法、存储介质和电子装置
WO2021169839A1 (zh) * 2020-02-29 2021-09-02 华为技术有限公司 一种基于骨骼关键点的动作还原方法以及装置
CN113392742A (zh) * 2021-06-04 2021-09-14 北京格灵深瞳信息技术股份有限公司 异常动作确定方法、装置、电子设备及存储介质
CN114724241A (zh) * 2022-03-29 2022-07-08 平安科技（深圳）有限公司 基于骨骼点距离的动作识别方法、装置、设备及存储介质
CN115205737A (zh) * 2022-07-05 2022-10-18 北京甲板智慧科技有限公司 基于Transformer模型的运动实时计数方法和系统
CN115346640A (zh) * 2022-10-14 2022-11-15 佛山科学技术学院 一种功能性康复训练闭环反馈的智能监测方法及系统
US11562523B1 (en) * 2021-08-02 2023-01-24 Electronic Arts Inc. Enhanced animation generation based on motion matching using local bone phases

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190251341A1 (en) * 2017-12-08 2019-08-15 Huawei Technologies Co., Ltd. Skeleton Posture Determining Method and Apparatus, and Computer Readable Storage Medium
CN110728220A (zh) * 2019-09-30 2020-01-24 上海大学 基于人体动作骨骼信息的体操辅助训练方法
CN110910426A (zh) * 2019-11-26 2020-03-24 爱菲力斯(深圳)科技有限公司 动作过程和动作趋势识别方法、存储介质和电子装置
WO2021169839A1 (zh) * 2020-02-29 2021-09-02 华为技术有限公司 一种基于骨骼关键点的动作还原方法以及装置
CN113392742A (zh) * 2021-06-04 2021-09-14 北京格灵深瞳信息技术股份有限公司 异常动作确定方法、装置、电子设备及存储介质
US11562523B1 (en) * 2021-08-02 2023-01-24 Electronic Arts Inc. Enhanced animation generation based on motion matching using local bone phases
CN114724241A (zh) * 2022-03-29 2022-07-08 平安科技（深圳）有限公司 基于骨骼点距离的动作识别方法、装置、设备及存储介质
CN115205737A (zh) * 2022-07-05 2022-10-18 北京甲板智慧科技有限公司 基于Transformer模型的运动实时计数方法和系统
CN115346640A (zh) * 2022-10-14 2022-11-15 佛山科学技术学院 一种功能性康复训练闭环反馈的智能监测方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HENG SUN; GUO-AN ZHU; XU CUI; JIN-XIANG WANG: "Kinect-based intelligent monitoring and warning of students\' sitting posture", 2021 6TH INTERNATIONAL CONFERENCE ON AUTOMATION, CONTROL AND ROBOTICS ENGINEERING (CACRE) *
段俊臣;梁美祥;王瑞;: "基于人体骨骼点检测与多层感知机的人体姿态识别", 电子测量技术, no. 12 *
陈燕军;: "基于Kinect的人体骨骼信息提取与手势识别", 机械工程与自动化, no. 04 *

Similar Documents

Publication Publication Date Title
CN108256433B (zh) 一种运动姿态评估方法及系统
CN108399367B (zh) 手部动作识别方法、装置、计算机设备及可读存储介质
KR101864380B1 (ko) 수술영상데이터 학습시스템
US11763603B2 (en) Physical activity quantification and monitoring
US9075453B2 (en) Human eye controlled computer mouse interface
CN110751022A (zh) 基于图像识别的城市宠物活动轨迹监测方法及相关设备
US20050201594A1 (en) Movement evaluation apparatus and method
US20100208038A1 (en) Method and system for gesture recognition
KR20190088375A (ko) 수술영상데이터 학습시스템
CN105426929A (zh) 对象形状对准装置、对象处理装置及其方法
CN114022512A (zh) 运动辅助方法、装置及介质
CN112200074A (zh) 一种姿态对比的方法和终端
CN110910426A (zh) 动作过程和动作趋势识别方法、存储介质和电子装置
CN114092971A (zh) 一种基于视觉图像的人体动作评估方法
US20160140395A1 (en) Adaptive sampling for efficient analysis of ego-centric videos
JP6773825B2 (ja) 学習装置、学習方法、学習プログラム、及び対象物認識装置
Canavan et al. Fitting and tracking 3D/4D facial data using a temporal deformable shape model
CN116246350A (zh) 基于动作捕捉的运动监测方法、装置、设备及存储介质
CN110826495A (zh) 基于面部朝向的身体左右肢体一致性跟踪判别方法及系统
CN114638921B (zh) 动作捕捉方法、终端设备及存储介质
CN114092862A (zh) 一种基于最优帧选取的动作评估方法
CN114092863A (zh) 一种用于多视角视频图像的人体动作评估方法
CN114612526A (zh) 一种关节点追踪方法、帕金森辅助诊断方法及装置
CN112766230A (zh) 一种视频流人员在线时长估计方法及对应系统
JP2021077230A (ja) 動作認識装置、動作認識方法、動作認識プログラム及び動作認識システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20230609