CN114937230A - 一种基于计算机视觉的健身动作危险性评估方法及系统 - Google Patents

一种基于计算机视觉的健身动作危险性评估方法及系统 Download PDF

Info

Publication number
CN114937230A
CN114937230A CN202210855742.7A CN202210855742A CN114937230A CN 114937230 A CN114937230 A CN 114937230A CN 202210855742 A CN202210855742 A CN 202210855742A CN 114937230 A CN114937230 A CN 114937230A
Authority
CN
China
Prior art keywords
characteristic
abnormal
fitness
value
polyhedron
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210855742.7A
Other languages
English (en)
Other versions
CN114937230B (zh
Inventor
郑小琴
丁文芹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Haimen Sande Sporting Goods Co ltd
Original Assignee
Haimen Sande Sporting Goods Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Haimen Sande Sporting Goods Co ltd filed Critical Haimen Sande Sporting Goods Co ltd
Priority to CN202210855742.7A priority Critical patent/CN114937230B/zh
Publication of CN114937230A publication Critical patent/CN114937230A/zh
Application granted granted Critical
Publication of CN114937230B publication Critical patent/CN114937230B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及计算机视觉技术领域，具体涉及一种基于计算机视觉的健身动作危险性评估方法及系统，该方法首先提取出感兴趣区域，检测感兴趣区域中的关键点，由关键点构建特征多面体；获取特征多面体的特征值，根据特征值和特征多面体对应的健身视频图像帧数构建特征矩阵；计算特征矩阵对应的第一异常特征值、第二异常特征值和第三异常特征值，大于预设异常阈值的第三异常特征值为异常特征值；对异常特征值进行聚类得到多个异常类别，得到异常特征值的离散程度和密度；根据离散程度和密度得到健身人员动作的危害程度。本发明利用健身人员的特征多面体的特征值变化获得异常特征值，达到了提高其对健身动作危害程度评估的可靠性的目的。

Description

一种基于计算机视觉的健身动作危险性评估方法及系统
技术领域
本发明涉及计算机视觉技术领域，具体涉及一种基于计算机视觉的健身动作危险性评估方法及系统。
背景技术
在健身房健身的过程中，很有可能因为健身动作不标准而导致健身无效或者肌肉拉伤的情况。现在社会越来越注重身体素质教育，去健身房锻炼的人日益增多，在健身需求日益增大的环境下，有效的去避免不当的健身动作带来的伤害是必要的。
目前，避免不当的健身动作带来危害的方法通常为，健身人员佩戴相关传感器，通过传感器得到健身人员的实时健身动作，将实时健身动作和设定好的标准动作进行对比来反映健身人员的动作标准程度，从而得到危险程度。但是通过一套动作标准来判断所有健身人员的动作危害程度，特别是对于初学者和老年健身人员来说，用一套统一的动作标准来判断动作危害程度的方法，其可靠性较低。
发明内容
为了解决上述技术问题，本发明的目的在于提供一种基于计算机视觉的健身动作危险性评估方法及系统，所采用的技术方案具体如下：
采集多帧健身视频图像，提取出健身人员和健身器械作为感兴趣区域；
检测所述感兴趣区域中的关键点，由所述关键点构建特征多面体；获取所述特征多面体的特征值，所述特征值包括边数、面数和凸性；根据所述特征值和特征多面体对应的健身视频图像帧数构建特征矩阵；所述特征矩阵的列为三个所述特征值，行为所述特征多面体对应的健身视频图像帧数；
所述特征矩阵的行划分为多个周期，计算每个周期内所述特征矩阵每列的排列熵，相邻周期中每列的排列熵的差值的绝对值作为第一异常特征值；计算相邻行所述特征值之间的关联特征值，每个相邻周期同一位置处的所述关联特征值的差值的绝对值作为第二异常特征值；所述第一异常特征值和所述第二异常特征值相加得到第三异常特征值，大于预设异常阈值的第三异常特征值为异常特征值；
根据所述异常特征值在特征矩阵中的行列数对所述异常特征值进行聚类得到多个异常类别，由异常类别得到所述异常特征值的离散程度和密度；根据所述离散程度和所述密度得到健身人员动作的危害程度。
优选的，所述检测所述感兴趣区域中的关键点的关键点检测网络为：OpenPose网络或者3D Pose网络。
优选的，所述由所述关键点构建特征多面体，包括：
所述关键点包括健身人员关键点和健身器械关键点；
对健身视频图像进行连续帧光流分析，获取每帧健身视频图像中所述关键点对应的光流信息；
选取所述健身人员关键点中的头部关键点、膝部关键点和腰部关键点作为聚类中心点，根据各关键点的距离对所述关键点进行聚类得到三个关键点类别；
基于三个关键点类别，将有光流信息的关键点所在的关键点类别作为目标关键点类别；由所述目标关键点类别中的关键点构建特征多面体。
优选的，所述构建特征多面体的方法为：各所述关键点均与相邻的关键点两两相连构建特征多面体。
优选的，所述特征矩阵的行划分为多个周期，包括：
对特征矩阵的行进行任意划分周期得到多个周期序列，获取每个周期序列对应的排列熵；
迭代选取最优目标排列熵，以目标排列熵对应的周期序列中元素的数量为周期对特征矩阵的行划分为多个周期。
优选的，所述计算相邻行所述特征值之间的关联特征值，包括：
计算每行边数和面数之差作为第一特征值差、边数和凸性之差作为第二特征值差以及面数和凸性之差作为第三特征值差；计算相邻两行第一特征值差的差值、第二特征值差的差值和第三特征值差的差值的均值作为所述关联特征值。
优选的，所述由异常类别得到所述异常特征值的离散程度和密度，包括：
获取异常特征值的数量作为第一数量，所述异常类别中包括多个离散点和多个异常簇；
对于所述离散点，获取离散点到各异常簇中心点的最小距离，各离散点对应的所述最小距离之和作为所述离散程度；
对于所述异常簇，获取异常簇内异常特征值的数量作为第二数量，所述第二数量和所述第一数量的比值作为所述密度。
优选的，所述根据所述离散程度和所述密度得到健身人员动作的危害程度，包括：
所述离散程度和预设距离约束系数相乘得到第一危害程度；
所述第一危害程度和所述密度之和为危害程度。
第二方面，本发明一个实施例提供了一种基于计算机视觉的健身动作危险性评估系统，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述一种基于计算机视觉的健身动作危险性评估方法。
本发明实施例至少具有如下有益效果：
本发明实施例利用计算机视觉技术，首先采集健身视频图像，并提取出健身人员和健身器械作为感兴趣区域，检测感兴趣区域中的关键点，由关键点构建特征多面体，利用关键点构建特征多面体，能够达到实时监测评估的目的，且能够根据特征多面体的变化反映健身人员动作的灵敏度和协调性。获取特征多面体的特征值，根据特征多面体的特征值和特征多面体对应的健身视频图像帧数构建特征矩阵，其中特征矩阵的列为特征值，行为特征多面体对应的健身视频图像的帧数，通过对该特征矩阵进行分析能够得到特征多面体的特征值之间的变化程度。特征矩阵的行划分为多个周期，计算每个周期内特征矩阵每列的排列熵，相邻周期中每列的排列熵的差值的绝对值作为第一异常特征值，并计算相邻行特征值之间的关联特征值，其相邻周期同一位置处的关联特征值的差值的绝对值作为第二异常特征值，由第一异常特征值和第二异常特征值得到异常特征值，该异常特征值为当健身人员动作发生突变或者动作过量时导致的动作逐渐趋于不标准化的情形；对异常特征值进行聚类得到多个异常类别，计算异常特征值的离散程度和密度，根据离散程度和密度得到健身人员动作的危害程度。通过对比健身人员自身的对应的特征多面体的特征值的变化，避免了因不同人员的不同身体素质与标准动作对比判断，导致对其健身动作的危害程度评估可靠性低的情况。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1为本发明一个实施例所提供的一种基于计算机视觉的健身动作危险性评估方法的方法流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于计算机视觉的健身动作危险性评估方法及系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
本发明实施例提供了一种基于计算机视觉的健身动作危险性评估方法及系统的具体实施方法，该方法适用于健身房健身场景。健身房内每个健身区域均有对应的RGB-D深度相机，用于采集健身视频图像，不同的健身区域有不同的健身器械，不同的健身器械有不同的器械关键点。为了解决通过一套动作标准来判断所有健身人员的动作危害程度其可靠性低的问题，本发明实施例利用对比健身人员自身的对应的特征多面体的特征值的变化获得异常特征值的手段，达到了提高其对健身动作危害程度评估的可靠性的目的。
下面结合附图具体的说明本发明所提供的一种基于计算机视觉的健身动作危险性评估方法及系统的具体方案。
请参阅图1，其示出了本发明一个实施例提供的一种基于计算机视觉的健身动作危险性评估方法的步骤流程图，该方法包括以下步骤：
步骤S100，采集多帧健身视频图像，提取出健身人员和健身器械作为感兴趣区域。
利用深度相机采集健身房内的健身视频，并采集各健身区域内健身人员的健身视频图像，该健身视频图像为RGB-D图像。对健身视频图像进行连续帧光流分析，获取连续帧健身视频图像中存在光流信息的健身视频图像，对存在光流信息的健身视频图像进行关键帧存储，后续步骤中提到的健身视频图像均为进行关键帧存储后的健身视频图像。在本发明实施例中，光流分析法采用稀疏光流法。
对健身视频图像进行图像分割，提取出健身人员和健身器械作为感兴趣区域。在本发明实施例中采用语义分割网络进行图像分割，该语义分割网络的网络结构为Encoder-Decoder模型，损失函数为交叉熵损失函数。对健身视频图像进行图像分割的步骤，具体的：
将健身视频图像进行灰度化处理，对灰度图像进行像素点标记。其中，健身人员和健身器械区域像素点标记为1，其他区域像素点标记为0。
进行像素点标记后的灰度图像输入语义分割网络，通过语义分割编码器进行卷积、池化，得到灰度图像的标记像素点区域的特征向量，在经过语义分割解码器进行反卷积输出语义分割图像，该语义分割图像即为仅含有健身人员和健身器材图像，即提取出健身人员和健身器械作的区域为感兴趣区域。
步骤S200，检测感兴趣区域中的关键点，由关键点构建特征多面体；获取特征多面体的特征值，特征值包括边数、面数和凸性；根据特征值和特征多面体对应的健身视频图像帧数构建特征矩阵；特征矩阵的列为三个特征值，行为特征多面体对应的健身视频图像帧数。
通过关键点检测网络对感兴趣区域进行关键点检测获取多个关键点，该关键点包括健身人员的健身人员关键点和健身器械的器械关键点，根据关键点的分布构建特征多面体，由该特征多面体能够更加高效准确的识别当前健身人员的行为特征。在本发明实施例中健身人员关键点包括：头部关键点、双手关键点、胸部关键点、腰部关键点、双膝关键点、双脚关键点、双肩关键点和双肘关键点，共13个健身人员关键点，健身人员关键点在其他实施例中实施者可根据实际情况调整人员关键点的选取；器械关键点包括：哑铃关键点、杠铃杆关键点等，健身器械关键点在其他实施例中实施者可以根据健身房内实际包含的器械进行器械关键点选取；关键点检测网络为OpenPose网络或者3D Pose网络。
由关键点构建特征多面体的步骤，具体的：
对健身视频图像进行连续帧光流分析，获取每帧健身视频图像中关键点对应的光流信息。根据每帧健身视频图像中各关键点的分布进行全身锻炼和局部锻炼的判断，其中全身锻炼指的是健身人员进行全身整体锻炼，如在跑步机上跑步；局部锻炼指的是身体局部锻炼，其他身体部位保持静止，如杠铃卧推，只需要上肢运动，而腿部保持稳定即可。
对健身人员关键点和器械关键点进行聚类，该聚类的目的是为了能够判断健身人员当前的动作特征是全身锻炼还是局部锻炼。
选取健身人员关键点中的头部关键点、膝部关键点和腰部关键点作为聚类中心，这三个聚类中心分别为上肢力量训练，腰腹核心力量训练和下肢力量训练三个训练区域的聚类中心。根据实时的健身视频图像中的各关键点在度量空间中的欧式距离对关键点进行KNN聚类得到三个关键点类别。
基于三个关键点类别，将有光流信息的关键点所在的关键点类别作为目标关键点类别，由目标关键点类别中的关键点构建特征多面体。
若三个关键点类别中仅有一个关键点类别含有光流信息的关键点，则将该关键点类别作为目标关键点类别；
若三个关键点类别中有两个关键点类别含有光流信息的关键点，则将该两个关键点类别作为目标关键点类别；
若三个关键点类别中三个关键点类别均含有光流信息的关键点，则将该三个关键点类别作为目标关键点类别。
仅用目标关键点类别中的关键点构建特征多面体，是为了避免当健身人员在做局部锻炼时，用所有关键点构建特征多面体导致后续的计算比较复杂，仅用局部锻炼区域的关键点构建特征多面体比用所有关键点构建特征多面体计算更简单。
由目标关键点类别中的关键点构建特征多面体的方法为，将目标关键点类别中的关键点与其相邻的关键点两两相连构建特征多面体，使最终得到的特征多面体内部不存在关键点，也即每个关键点都作为特征多面体的一个顶点。
利用特征多面体的特征值变化对健身人员动作进行分析，能够反映健身人员动作的灵敏度和协调性，用于后续对健身动作危害程度评估，同时还能够实现实时监测评估的目的。
获取连续帧健身视频图像所对应的特征多面体以及该特征多面体对应的特征值，该特征值包括特征多面体的边数、面数和凸性。需要说明的是，凸性为与凸多面体各个角的顶点关联的平面和顶点处的水平面之间的夹角均值的方差，该夹角均值即为各个角的凸性特征值。其中，顶点处的水平面指的是：得到与顶点相关联的各平面的法向量的交点，与交点和顶点的连线垂直且过顶点的水平面，即为该顶点对应的水平面；当与顶点相关联的各平面是同一个平面时，该同一个平面即为顶点的水平面，此时该顶点对应的夹角均值为0。得到特征多面体的各个角或者顶点对应的夹角均值，计算多个夹角均值的方差，该方差即为特征多面体所对应的凸性。
基于连续帧健身视频图像，根据特征多面体对应的特征值和特征多面体对应的健身视频图像的帧数构建特征矩阵。特征矩阵的列为特征多面体的三个特征值：边数、面数和凸性，即每列对应一个特征值，特征矩阵的行为特征多面体对应的健身视频图像帧数。
步骤S300，特征矩阵的行划分为多个周期，计算每个周期内特征矩阵每列的排列熵，相邻周期中每列的排列熵的差值的绝对值作为第一异常特征值；计算相邻行特征值之间的关联特征值，每个相邻周期同一位置处的关联特征值的差值的绝对值作为第二异常特征值；第一异常特征值和第二异常特征值相加得到第三异常特征值，大于预设异常阈值的第三异常特征值为异常特征值。
由于健身人员的健身动作存在重复特性，故特征矩阵每列对应的特征值必然存在 周期性，故利用每个动作的周期性将特征矩阵的行划分为多个周期，设每个周期的帧数为
Figure 982647DEST_PATH_IMAGE001
，也即每个周期的行数为
Figure 634208DEST_PATH_IMAGE001
。如若健身人员的健身动作为每连续20帧健身视频图像重复一 次，则每20行划分为一个周期。
在本发明实施例中健身动作周期性的获取方法为：对特征矩阵的列先任意的进行周期划分，对于划分后的周期获取每个周期所对应的排列熵，构建排列熵序列。选取该排列熵序列中相同值最多的排列熵作为目标排列熵，目标排列熵所对应的周期序列中元素的数量为该健身人员的待定健身动作周期，也可以说目标排列熵对应的行数即为该健身人员的待定健身动作周期。多次任意周期划分之后，比较各排列熵序列中目标排列熵数量，选取目标排列熵数量最大的排列熵序列作为目标排列熵序列，目标排列熵序列的目标排列熵所对应的待定健身动作周期即为健身动作周期。该过程也可以说是一个迭代选取最优排列熵的过程，根据划分后的周期对应的排列熵选取最优的排列熵分割。如对应的特征矩阵的某一列特征值序列为{1,2,3,1,2,3,1,2,4,1,2,3}，当以3为周期做分割时，该序列为{1,2,3；1,2,3；1,2,4；1,2,3}，设其对应的排列熵序列为{a，a，b，a}，{1,2,3}所对应的排列熵为a，{1,2,4}所对应的排列熵为b，则此时序列{1,2,3}对应的排列熵a数量最多，将a作为目标排列熵，目标排列熵对应的周期序列{1,2,3}中元素的数量即为该健身动作的待定健身动作周期或者说是待定特征序列的周期。
利用排列熵计算每个周期内特征矩阵每列的复杂程度，其每个周期内每列特征值 的变化越规则，变化情况越少，则对应的排列熵的数据越小，即对应的复杂程度越小。需要 说明的是排列熵需要人为设定嵌入维度
Figure 86049DEST_PATH_IMAGE002
和一个时间延迟
Figure 91046DEST_PATH_IMAGE003
，在本发明实施例中设置嵌入 维度
Figure 577522DEST_PATH_IMAGE004
，时间延迟
Figure 134405DEST_PATH_IMAGE005
。每个周期内每列特征值的排列熵记为
Figure 73542DEST_PATH_IMAGE006
，排列熵的取值范围为
Figure 616650DEST_PATH_IMAGE007
，越接近于1表示该周期内的像素值的变化越复杂，越接近于0表示该周期内的像素值 的变化越简单。
获取整个特征矩阵每列特征值对应的多个排列熵，构建排列熵序列，在本发明实 施例中特征多面体的特征值共有三个，有边数、面数和凸性，故特征矩阵共有三列，每列均 按照周期
Figure 754370DEST_PATH_IMAGE001
划分。构建排列熵序列时，每列均得到一个排列熵序列，故共得到三个排列熵序 列。
对得到的排列熵序列进行分析，计算相邻周期中每列的排列熵的差值的绝对值作为第一异常特征值，即排列熵序列中相邻排列熵的差值的绝对值作为第一异常特征值，能够反映相邻周期特征多面体特征值的变化程度。
不仅相邻周期内特征序列存在变化关系，特征矩阵中同行不同列之间也存在着关联关系。如当健身人员的健身动作变形或者动作有突变时，特征多面体的边数、面数和凸性都会发生变化。对特征矩阵中同行不同列的特征值作差，得到不同特征值之间的特征值差。
计算每行边数和面数之差作为第一特征值差、边数和凸性之差作为第二特征值差以及面数和凸性之差作为第三特征值差。再计算同一个周期内相邻两行第一特征值差的差值、第二特征值差的差值和第三特征值差的差值的均值作为相邻两行的关联特征值。
该关联特征值
Figure 91942DEST_PATH_IMAGE008
的计算公式为：
Figure DEST_PATH_IMAGE009
其中，
Figure 246937DEST_PATH_IMAGE010
为第
Figure 593735DEST_PATH_IMAGE011
行的第一特征值差；
Figure 789225DEST_PATH_IMAGE012
为第
Figure 953490DEST_PATH_IMAGE013
行的第一特征值差；
Figure 867219DEST_PATH_IMAGE014
为第
Figure 80026DEST_PATH_IMAGE011
行的第二特征值差；
Figure 333284DEST_PATH_IMAGE015
为第
Figure 340554DEST_PATH_IMAGE013
行的第二特征值差；
Figure 803896DEST_PATH_IMAGE016
为第
Figure 820394DEST_PATH_IMAGE011
行的第三特征值差；
Figure 990475DEST_PATH_IMAGE017
为第
Figure 371909DEST_PATH_IMAGE013
行的第三特征值差。
通过相邻两行的特征值差进行作差得到不同行之间的特征值的变化。一个健身动作周期内随着健身人员做不同的健身动作，虽然对于连续帧健身视频图像来说，每帧健身视频图像之间关键点的位移比较小，但特征多面体的特征值边数、面数和凸性总有发生变化的时刻。
为了避免因一个周期内的健身动作变化引起的一个周期内不同行之间的关联特征值变化较大，而影响异常检测结果准确性的情况。利用一个周期内相邻行之间的关联特征值与相邻周期内同一位置处的关联特征值的差值的绝对值作为第二异常特征值，因为相邻周期内相同位置处健身动作应该是相似或者一致的，用相邻周期内相同位置处的关联特征值的差异能够反映健身人员作的重复的健身动作是否有突变。
该第二异常特征值
Figure 277809DEST_PATH_IMAGE018
的计算公式为：
Figure 832418DEST_PATH_IMAGE019
其中，
Figure 122585DEST_PATH_IMAGE008
为关联特征值；
Figure 533975DEST_PATH_IMAGE020
为关联特征值
Figure 909592DEST_PATH_IMAGE008
相邻周期内相同位置处的关联特征 值。
通过特征矩阵的列方向上各周期的特征值的排列熵的第一异常特征值和行方向上各周期的关联特征值的第二异常特征值得到特征矩阵中的第三异常特征值。
将第一异常特征值和第二异常特征值相加得到第三异常特征值，对特征矩阵中各特征值对应的第三异常特征值进行归一化处理。
预设异常阈值，大于预设异常阈值的第三异常特征值为异常特征值。在本发明实施例中，预设异常阈值的取值为0.6，在其他实施例中实施者可根据实际情况调整该阈值。
步骤S400，根据异常特征值在特征矩阵中的行列数对异常特征值进行聚类得到多个异常类别，由异常类别得到异常特征值的离散程度和密度；根据离散程度和密度得到健身人员动作的危害程度。
通过特征矩阵中异常特征值的分布区域进行统计，对特征矩阵进行分割，获取异常特征值在特征矩阵中的行列数。
根据各异常特征值所对应的行列数对异常特征值进行聚类得到多个异常类别，该异常类别包括离散点和异常簇。在本发明实施例中对异常特征值进行KNN聚类，聚类时K的取值为3。
对聚类后的异常类别进行分析，其中离散点反映健身人员在做健身动作的时候做出了突发性的动作，如正在做一套完整的健身动作的时候突然的做了一个不协调的动作或者突然做错了一个动作；异常簇反映健身人员重复做错一个动作，如因过量运动而导致周期性的一套完整的健身动作中某一个动作不标准。
计算健身人员对应的特征矩阵中所有异常特征值所对应的离散程度和密度。具体的：
首先，获取特征矩阵中异常特征值的数量作为第一数量。
对于离散点，获取离散点到各异常簇中心点的最小距离，各离散点对应的最小距离之和作为离散程度；对于异常簇，获取异常簇内异常特征值的数量作为第二数量，第二数量和第一数量的比值作为密度。
将离散程度和预设距离约束系数相乘得到第一危害程度。在本发明实施例中预设距离约束系数的取值为0.1，该距离约束系数是为了避免因距离过大造成在危害程度中离散程度的占比过大，而影响危险程度的准确性。
第一危害程度和密度之和为危害程度，对危害程度进行归一化处理，排除量纲的影响。
根据归一化后的危害程度对健身房内的健身人员进行危害评估，预设危害程度阈值，在本发明实施例中危害程度阈值的取值为0.5。当健身人员的危害程度超过预设危害程度阈值时，进行安全警报，提醒健身房教练进行查看和指导，及时纠正健身人员的健身动作问题，有助于健身人员进行有效安全的健身，避免因健身动作不当导致的肌肉拉伤或者是无效锻炼等。
综上所述，本发明实施例利用计算机视觉技术，首先采集健身视频图像，并提取出健身人员和健身器械作为感兴趣区域，检测感兴趣区域中的关键点，由关键点构建特征多面体；获取特征多面体的特征值，根据特征多面体的特征值和特征多面体对应的健身视频图像帧数构建特征矩阵，其中特征矩阵的列为特征值，行为特征多面体对应的健身视频图像的帧数。特征矩阵的行划分为多个周期，计算每个周期内特征矩阵每列的排列熵，相邻周期中每列的排列熵的差值的绝对值作为第一异常特征值，并计算相邻行特征值之间的关联特征值，其相邻周期同一位置处的关联特征值的差值的绝对值作为第二异常特征值，由第一异常特征值和第二异常特征值得到异常特征值；对异常特征值进行聚类得到多个异常类别，计算异常特征值的离散程度和密度，根据离散程度和密度得到健身人员动作的危害程度。通过对比健身人员自身的对应的特征多面体的特征值的变化，避免了因不同人员的不同身体素质与标准动作对比判断，导致对其健身动作的危害程度评估可靠性低的情况。
一种基于计算机视觉的健身动作危险性评估系统，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。由于一种基于计算机视觉的健身动作危险性评估方法在上述给出了详细描述，不再赘述。
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于计算机视觉的健身动作危险性评估方法，其特征在于，该方法包括以下步骤：
采集多帧健身视频图像，提取出健身人员和健身器械作为感兴趣区域；
检测所述感兴趣区域中的关键点，由所述关键点构建特征多面体；获取所述特征多面体的特征值，所述特征值包括边数、面数和凸性；根据所述特征值和特征多面体对应的健身视频图像帧数构建特征矩阵；所述特征矩阵的列为三个所述特征值，行为所述特征多面体对应的健身视频图像帧数；
所述特征矩阵的行划分为多个周期，计算每个周期内所述特征矩阵每列的排列熵，相邻周期中每列的排列熵的差值的绝对值作为第一异常特征值；计算相邻行所述特征值之间的关联特征值，每个相邻周期同一位置处的所述关联特征值的差值的绝对值作为第二异常特征值；所述第一异常特征值和所述第二异常特征值相加得到第三异常特征值，大于预设异常阈值的第三异常特征值为异常特征值；
根据所述异常特征值在特征矩阵中的行列数对所述异常特征值进行聚类得到多个异常类别，由异常类别得到所述异常特征值的离散程度和密度；根据所述离散程度和所述密度得到健身人员动作的危害程度。
2.根据权利要求1所述的一种基于计算机视觉的健身动作危险性评估方法，其特征在于，所述检测所述感兴趣区域中的关键点的关键点检测网络为：OpenPose网络或者3D Pose网络。
3.根据权利要求1所述的一种基于计算机视觉的健身动作危险性评估方法，其特征在于，所述由所述关键点构建特征多面体，包括：
所述关键点包括健身人员关键点和健身器械关键点；
对健身视频图像进行连续帧光流分析，获取每帧健身视频图像中所述关键点对应的光流信息；
选取所述健身人员关键点中的头部关键点、膝部关键点和腰部关键点作为聚类中心点，根据各关键点的距离对所述关键点进行聚类得到三个关键点类别；
基于三个关键点类别，将有光流信息的关键点所在的关键点类别作为目标关键点类别；由所述目标关键点类别中的关键点构建特征多面体。
4.根据权利要求3所述的一种基于计算机视觉的健身动作危险性评估方法，其特征在于，所述构建特征多面体的方法为：各所述关键点均与相邻的关键点两两相连构建特征多面体。
5.根据权利要求1所述的一种基于计算机视觉的健身动作危险性评估方法，其特征在于，所述特征矩阵的行划分为多个周期，包括：
对特征矩阵的行进行任意划分周期得到多个周期序列，获取每个周期序列对应的排列熵；
迭代选取最优目标排列熵，以目标排列熵对应的周期序列中元素的数量为周期对特征矩阵的行划分为多个周期。
6.根据权利要求1所述的一种基于计算机视觉的健身动作危险性评估方法，其特征在于，所述计算相邻行所述特征值之间的关联特征值，包括：
计算每行边数和面数之差作为第一特征值差、边数和凸性之差作为第二特征值差以及面数和凸性之差作为第三特征值差；计算相邻两行第一特征值差的差值、第二特征值差的差值和第三特征值差的差值的均值作为所述关联特征值。
7.根据权利要求1所述的一种基于计算机视觉的健身动作危险性评估方法，其特征在于，所述由异常类别得到所述异常特征值的离散程度和密度，包括：
获取异常特征值的数量作为第一数量，所述异常类别中包括多个离散点和多个异常簇；
对于所述离散点，获取离散点到各异常簇中心点的最小距离，各离散点对应的所述最小距离之和作为所述离散程度；
对于所述异常簇，获取异常簇内异常特征值的数量作为第二数量，所述第二数量和所述第一数量的比值作为所述密度。
8.根据权利要求1所述的一种基于计算机视觉的健身动作危险性评估方法，其特征在于，所述根据所述离散程度和所述密度得到健身人员动作的危害程度，包括：
所述离散程度和预设距离约束系数相乘得到第一危害程度；
所述第一危害程度和所述密度之和为危害程度。
9.一种基于计算机视觉的健身动作危险性评估系统，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1~8所述方法的步骤。
CN202210855742.7A 2022-07-21 2022-07-21 一种基于计算机视觉的健身动作危险性评估方法及系统 Active CN114937230B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210855742.7A CN114937230B (zh) 2022-07-21 2022-07-21 一种基于计算机视觉的健身动作危险性评估方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210855742.7A CN114937230B (zh) 2022-07-21 2022-07-21 一种基于计算机视觉的健身动作危险性评估方法及系统

Publications (2)

Publication Number Publication Date
CN114937230A true CN114937230A (zh) 2022-08-23
CN114937230B CN114937230B (zh) 2022-10-04

Family

ID=82868335

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210855742.7A Active CN114937230B (zh) 2022-07-21 2022-07-21 一种基于计算机视觉的健身动作危险性评估方法及系统

Country Status (1)

Country Link
CN (1) CN114937230B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110425005A (zh) * 2019-06-21 2019-11-08 中国矿业大学 矿井下皮带运输人员人机交互行为安全监控与预警方法
CN111738044A (zh) * 2020-01-06 2020-10-02 西北大学 一种基于深度学习行为识别的校园暴力评估方法
CN113642896A (zh) * 2021-08-16 2021-11-12 江苏动泰运动用品有限公司 基于人工智能的健身房安全风险预警方法及系统
CN114511931A (zh) * 2022-02-22 2022-05-17 平安科技（深圳）有限公司 基于视频图像的动作识别方法、装置、设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110425005A (zh) * 2019-06-21 2019-11-08 中国矿业大学 矿井下皮带运输人员人机交互行为安全监控与预警方法
CN111738044A (zh) * 2020-01-06 2020-10-02 西北大学 一种基于深度学习行为识别的校园暴力评估方法
CN113642896A (zh) * 2021-08-16 2021-11-12 江苏动泰运动用品有限公司 基于人工智能的健身房安全风险预警方法及系统
CN114511931A (zh) * 2022-02-22 2022-05-17 平安科技（深圳）有限公司 基于视频图像的动作识别方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN114937230B (zh) 2022-10-04

Similar Documents

Publication Publication Date Title
US11727728B2 (en) Monitoring the performance of physical exercises
Bargshady et al. Enhanced deep learning algorithm development to detect pain intensity from facial expression images
CN112435221A (zh) 一种基于生成式对抗网络模型的图像异常检测方法
CN111368791B (zh) 基于Quick-OpenPose模型的引体向上测试计数方法及系统
US20060269145A1 (en) Method and system for determining object pose from images
CN110659665A (zh) 一种异维特征的模型构建方法及图像识别方法、装置
CN104200203B (zh) 一种基于动作字典学习的人体动作检测方法
CN113701825B (zh) 一种基于人工智能的健身设施异常检测方法及系统
CN115527234A (zh) 一种基于改进YOLOv5模型的红外图像笼内死鸡识别方法
KR20190061538A (ko) 멀티 인식모델의 결합에 의한 행동패턴 인식방법 및 장치
CN113570497A (zh) 图像处理方法、装置、计算机设备和存储介质
CN115690902A (zh) 一种健身动作的异常姿态预警方法
CN116311497A (zh) 一种基于机器视觉的隧道工人异常行为检测方法及系统
CN112116236A (zh) 一种基于人工智能的蹦床危险行为检测提醒方法
CN114937230B (zh) 一种基于计算机视觉的健身动作危险性评估方法及系统
CN110427894A (zh) 一种人群异常运动监控方法、系统、设备及介质
CN116543419B (zh) 基于嵌入式平台的酒店卫勤人员穿戴检测方法及系统
CN113095295A (zh) 一种基于改进关键帧提取的跌倒检测方法
CN117037264A (zh) 一种基于目标和关键点检测的监狱人员异常行为识别方法
CN112818801B (zh) 运动计数方法、识别装置、识别系统及存储介质
CN113657186A (zh) 一种基于行人重识别的特征提取方法、装置和存储介质
CN115311610B (zh) 一种用于健身器材异常识别的方法
Li A method for recognising wrong actions of martial arts athletes based on keyframe extraction
KR102568538B1 (ko) 이동 로봇을 이용한 휴먼 자세 평가 장치 및 방법
Utochkin et al. Highly invariant recognition memory spaces for real-world objects revealed with signal-detection analysis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant