CN115205750B - 基于深度学习模型的运动实时计数方法和系统 - Google Patents

基于深度学习模型的运动实时计数方法和系统 Download PDF

Info

Publication number
CN115205750B
CN115205750B CN202210846652.1A CN202210846652A CN115205750B CN 115205750 B CN115205750 B CN 115205750B CN 202210846652 A CN202210846652 A CN 202210846652A CN 115205750 B CN115205750 B CN 115205750B
Authority
CN
China
Prior art keywords
motion
target
matrix
motion gesture
deep learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210846652.1A
Other languages
English (en)
Other versions
CN115205750A (zh
Inventor
李长霖
李海洋
侯永弟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Deck Intelligent Technology Co ltd
Original Assignee
Beijing Deck Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Deck Intelligent Technology Co ltd filed Critical Beijing Deck Intelligent Technology Co ltd
Priority to CN202210846652.1A priority Critical patent/CN115205750B/zh
Publication of CN115205750A publication Critical patent/CN115205750A/zh
Application granted granted Critical
Publication of CN115205750B publication Critical patent/CN115205750B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种基于深度学习模型的运动实时计数方法和系统，所述方法包括：通过摄像设备实时采集人体运动视频数据；通过人体检测算法检测出位于视频图像中心位置的运动者，计算目标运动者在运动视频的各帧图像中的运动姿态向量；进而将各帧图像得到运动姿态向量以时间顺序进行排列，得到运动姿态矩阵；基于预先训练的深度学习模型对运动姿态矩阵进行分析，以得到目标动作的计数结果；其中，所述深度学习模型是基于运动姿态矩阵样本构成的训练数据集训练得到的，所述运动姿态矩阵样本是由多种类型运动的视频数据样本计算得到的，每个所述视频数据样本只包含一种目标运动样本的一次完整动作。解决了动作识别和计数准确性较差的技术问题。

Description

基于深度学习模型的运动实时计数方法和系统
技术领域
本发明涉及运动监测技术领域，具体涉及一种基于深度学习模型的运动实时计数方法和系统。
背景技术
随着智能健身、云赛事、虚拟运动等新兴运动的兴起，AI健身得到了广泛推广，为了保证远程健身效果，AI健身软件中多嵌入运动计数模块。在现有技术中，在进行运动计数时，多通过摄像头捕捉人体姿态，再结合AI识别算法进行动作识别及计数。但是，现有方法对于动作速度较快或者较慢的运动，其动作识别和计数的准确性较差。
发明内容
为此，本发明实施例提供一种基于深度学习模型的运动实时计数方法和系统，以至少部分解决现有技术中运动动作识别和计数准确性较差的技术问题。
为了实现上述目的，本发明实施例提供如下技术方案：
一种基于深度学习模型的运动实时计数方法，所述方法包括：
通过摄像设备实时采集人体运动视频数据；
通过人体检测算法检测出位于视频图像中心位置的运动者，以该运动者作为目标运动者，计算所述目标运动者在所述运动视频的各帧图像中的运动姿态向量；
将各帧图像得到运动姿态向量以时间顺序进行排列，得到运动姿态矩阵；
基于预先训练的深度学习模型对所述运动姿态矩阵进行分析，以得到目标动作的计数结果；
其中，所述深度学习模型是基于运动姿态矩阵样本构成的训练数据集训练得到的，所述运动姿态矩阵样本是由多种类型运动的视频数据样本计算得到的，每个所述视频数据样本只包含一种目标运动样本的一次完整动作。
进一步地，计算所述目标运动者在所述运动视频的各帧图像中的运动姿态向量，具体包括：
检测所述运动视频中每一帧图像中所述目标运动者的骨骼关键点的三维坐标，以得到每一帧图像中所述目标运动者的姿态图；
基于所述姿态图，获取多个目标骨骼关键点，并以任意三个所述目标骨骼关键点作为一个骨骼关键点序列，以得到多个骨骼关键点序列；
计算各所述骨骼关键点序列之间的夹角，得到序列夹角，并将所有序列夹角构成运动姿态向量。
进一步地，计算各所述骨骼关键点序列之间的夹角，得到序列夹角，并将所有序列夹角构成运动姿态向量，具体包括：
设定骨骼关键点n通过三维坐标(xn,yn,zn)描述，假设有[w,p,q]三个骨骼关键点序列，关键点的坐标为：(xw,yw,zw),(xp,yp,zp),(xq,yq,zq)，其中，w点和p点可以形成线段l1，q和p可以构成线段l2；
计算l1和l2之间的夹角即为w,p,q三个骨骼关键点形成的序列夹角；
计算其他骨骼关键点序列的序列夹角，并得到所有的序列夹角；
所有序列夹角的值构成运动姿态向量：[θ1,θ2,…,θn]。
进一步地，基于预先训练的深度学习模型对所述运动姿态矩阵进行分析，以得到目标动作的计数结果，具体包括：
将所述运动姿态矩阵输入预先训练的深度学习模型，计算所述运动姿态矩阵相对于任一目标动作的输出概率；
判定所述输出概率大于或等于预设阈值，则在所述目标动作的计数上加1，并将窗口w向前滑动p帧；
其中，p为窗口w的长度，p的取值范围为[l，r]，l表示训练数据集中所述目标动作的视频帧数的最小值，r表示训练数据集中所述目标动作的视频帧数的最大值。
进一步地，将所述运动姿态矩阵输入预先训练的深度学习模型，计算所述运动姿态矩阵相对于任一目标动作的输出概率，之后还包括：
判定所述输出概率小于预设阈值，则将窗口w向前滑动1帧。
进一步地，所述深度学习模型的模型结构包括:
Embedding层，所述Embedding层的输入是运动姿态矩阵，并对输入的运动姿态矩阵中的每个元素进行embedding编码后输出处理后的矩阵；
位置编码模块，所述位置编码模块的输入是经过Embedding层处理后的得到的矩阵，并对经过Embedding层处理后的得到的矩阵中的任意元素的位置进行编码，得到经过位置编码后的矩阵；
编码网络层，所述编码网络层的输入是经过位置编码后的矩阵，编码网络层中堆叠了多个编码模块，每个编码模块中采用多头注意力机制，所述编码模块对经过位置编码后的矩阵进行编码，以得到经过编码模块编码的矩阵；
多层感知机层，所述多层感知机层的输入是编码模块输出的矩阵；
Softmax层，Softmax层的输入数据是多层感知机层的输出数据，通过Softmax层计算运动姿态矩阵相对于任一目标动作的输出概率。
本发明还提供一种基于深度学习模型的运动实时计数系统，所述系统包括：
数据获取单元，用于通过摄像设备实时采集人体运动视频数据；
姿态向量计算单元，用于通过人体检测算法检测出位于视频图像中心位置的运动者，以该运动者作为目标运动者，计算所述目标运动者在所述运动视频的各帧图像中的运动姿态向量；
姿态矩阵生成单元，用于将各帧图像得到运动姿态向量以时间顺序进行排列，得到运动姿态矩阵；
计数结果输出单元，用于基于预先训练的深度学习模型对所述运动姿态矩阵进行分析，以得到目标动作的计数结果；
其中，所述深度学习模型是基于运动姿态矩阵样本构成的训练数据集训练得到的，所述运动姿态矩阵样本是由多种类型运动的视频数据样本计算得到的，每个所述视频数据样本只包含一种目标运动样本的一次完整动作。
本发明还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如上所述方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述方法的步骤。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上所述方法的步骤。
本发明所提供的基于深度学习模型的运动实时计数方法，
通过摄像设备实时采集人体运动视频数据；通过人体检测算法检测出位于视频图像中心位置的运动者，以该运动者作为目标运动者，计算所述目标运动者在所述运动视频的各帧图像中的运动姿态向量；进而将各帧图像得到运动姿态向量以时间顺序进行排列，得到运动姿态矩阵；基于预先训练的深度学习模型对所述运动姿态矩阵进行分析，以得到目标动作的计数结果；其中，所述深度学习模型是基于运动姿态矩阵样本构成的训练数据集训练得到的，所述运动姿态矩阵样本是由多种类型运动的视频数据样本计算得到的，每个所述视频数据样本只包含一种目标运动样本的一次完整动作。这样，该运动实时计数方法将视频帧序列作为输入，通过实时动作分析，并结合预先训练的深度学习模型，实现对各种体育动作的计数，可方便应用于各类体育项目，具有较好的动作识别性和技术准确性，解决了现有技术中存在的动作识别和计数准确性较差的技术问题。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。
图1为本发明所提供的基于深度学习模型的运动实时计数方法一种具体实施方式的流程图之一；
图2为本发明所提供的基于深度学习模型的运动实时计数方法一种具体实施方式的流程图之二；
图3为本发明所提供的基于深度学习模型的运动实时计数方法一种具体实施方式的流程图之三；
图4为本发明所提供的深度学习模型一种具体实施方式的流程图；
图5为本发明所提供的深度学习模型的模型结构图；
图6为本发明所提供的基于深度学习模型的运动实时计数系统一种具体实施方式的结构框图；
图7为本发明所提供的电子设备的实体结构示意图。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
对于同一种体育动作而言，当不同的人做的动作速度过快或者过慢时，都会影响算法的计数效果。为了解决这一问题，本发明提供了一种基于深度学习模型的运动实时计数方法，利用以时间顺序排列的运动姿势矩阵和预先训练的深度学习模型，得到目标时段内较为准确的运动计数结果。
请参考图1，图1为本发明所提供的基于深度学习模型的运动实时计数方法一种具体实施方式的流程图之一。
在一种具体实施方式中，本发明所提供的基于深度学习模型的运动实时计数方法包括以下步骤：
S101：通过摄像设备实时采集人体运动视频数据。
S102：通过人体检测算法检测出位于视频图像中心位置的运动者，以该运动者作为目标运动者，计算所述目标运动者在所述运动视频的各帧图像中的运动姿态向量。运动视频会包括很多帧图像，每一帧图像都会得到一个运动姿态向量，则运动视频会得到多个运动姿态向量。
S103：将各帧图像得到运动姿态向量以时间顺序进行排列，得到运动姿态矩阵。以1分钟的运动视频为例，在该运动视频中，得到了多个运动姿态向量，这些运动姿态向量分别对应运动视频中的每一帧图像，这些帧图像在运动视频中是具有时间顺序的，则每帧图像在运动视频中的时间顺序将运动姿态向量进行排列，即可得到运动姿态矩阵。
S104：基于预先训练的深度学习模型对所述运动姿态矩阵进行分析，以得到目标动作的计数结果；其中，所述深度学习模型是基于运动姿态矩阵样本构成的训练数据集训练得到的，所述运动姿态矩阵样本是由多种类型运动的视频数据样本计算得到的，每个所述视频数据样本只包含一种目标运动样本的一次完整动作。
在一些实施例中，如图2所示，计算所述目标运动者在所述运动视频的各帧图像中的运动姿态向量，具体包括以下步骤：
S201：检测所述运动视频中每一帧图像中所述目标运动者的骨骼关键点的三维坐标，以得到每一帧图像中所述目标运动者的姿态图。在实际使用场景中，通常拍摄的运动视频都是2D的视频帧图，通过3D人体骨骼关键点检测算法分析后，可以检测出每一帧图中人体的骨骼关键点的三维坐标，运动视频经过分析后，每一帧都变成了由3D人体的骨骼关键点构成的姿态图。
S202：基于所述姿态图，获取多个目标骨骼关键点，并以任意三个所述目标骨骼关键点作为一个骨骼关键点序列，以得到多个骨骼关键点序列。
人体的运动姿态可以通过不同骨骼关节点之间形成的角度来描述。一个骨骼关键点n可以通过三维坐标(xn,yn,zn)来描述。假设有[w,p,q]三个骨骼关键点序列，关键点的坐标为：(xw,yw,zw),(xp,yp,zp),(xq,yq,zq)，其中，w点和p点可以形成线段l1，q和p可以构成线段l2。l1和l2之间的夹角即为w,p,q三个骨骼关键点形成的夹角。在该实施例中，定义了用于描述人体运动姿态的骨骼关键点序列有18个：[左踝关节，左膝关节，左髋关节]，[右踝关节，右膝关节，右髋关节]，[左膝关节，左髋关节，骨盆]，[右膝关节，右髋关节，骨盆]，[左手腕，左肘关节，左肩关节]，[右手腕，右肘关节，右肩关节]，[右肘关节，右肩关节,左肩关节],[左肘关节，左肩关节,右肩关节]，[头顶、脖子、盆骨]，[右手腕，头顶，脖子]，[左手腕，头顶，脖子]，[左肘关节，头顶，脖子]，[右肘关节，头顶，脖子]，[头顶，左耳，脖子]，[头顶，右耳，脖子]，[左耳，脖子，右肩关节]，[右耳，脖子，左肩关节]，[左髋关节，骨盆，右髋关节]。
S203：计算各所述骨骼关键点序列之间的夹角，得到序列夹角，并将所有序列夹角构成运动姿态向量。
具体地，已知设定了骨骼关键点n通过三维坐标(xn,yn,zn)描述，假设有[w,p,q]三个骨骼关键点序列，关键点的坐标为：(xw,yw,zw),(xp,yp,zp),(xq,yq,zq)，其中，w点和p点可以形成线段l1，q和p可以构成线段l2；计算l1和l2之间的夹角即为w,p,q三个骨骼关键点形成的序列夹角；计算其他骨骼关键点序列的序列夹角，并得到所有的序列夹角；所有序列夹角的值构成运动姿态向量：[θ1,θ2,…,θn]。
也就是说，所有序列夹角的值可以构成一个向量，该向量可以用于描述运动姿态，称为运动姿态向量：[θ1,θ2,…,θn]。运动视频中的每一帧都对应了一个运动姿态向量，视频中全部帧的运动姿态向量按照时间顺序排列后，构成运动姿态矩阵。
在一些实施例中，如图3所示，基于预先训练的深度学习模型对所述运动姿态矩阵进行分析，以得到目标动作的计数结果，具体包括以下步骤：
S301：将所述运动姿态矩阵输入预先训练的深度学习模型，计算所述运动姿态矩阵相对于任一目标动作的输出概率；
S302：判定所述输出概率大于或等于预设阈值，则在所述目标动作的计数上加1，并将窗口w向前滑动p帧；
S303：判定所述输出概率小于预设阈值，则将窗口w向前滑动1帧；
其中，p为窗口w的长度，p的取值范围为[l，r]，l表示训练数据集中所述目标动作的视频帧数的最小值，r表示训练数据集中所述目标动作的视频帧数的最大值。
下面以Vision Transformer模型作为深度学习模型为例，简单介绍模型的线下训练、线上检测过程，以及模型结构，通过训练基于Vision Transformer算法的模型，从而实现精准的动作计数。
如图4所示，具体地，在线下训练阶段，首先，采集需要进行实时计数的多种不同类型的体育运动的视频数据，其中，每段视频只包含一种体育运动的一次动作，例如，一段俯卧撑的视频只包含了一次俯卧撑动作。然后，对每段视频的体育运动类别进行标注。最后，计算每段视频对应的运动姿态矩阵，所有运动姿态矩阵构成训练数据，输入图5中的模型进行训练，最终生成训练好的模型。
如图5所示，该深度学习模型的模型结构包括五部分：Embedding层，位置编码层，编码网络层，多层感知机层和Softmax层。
其中，Embedding层的输入是运动姿态矩阵，并对输入的运动姿态矩阵中的每个元素进行embedding编码后输出处理后的矩阵；Embedding层的输入是运动姿态矩阵，该层对矩阵中的每个元素进行embedding编码，假设运动姿态向量中有n个元素，embedding编码层的输出维度是d维，则该层最终输出的是n*d维的矩阵。
位置编码模块的输入是经过Embedding层处理后的得到的矩阵，并对经过Embedding层处理后的得到的矩阵中的任意元素的位置进行编码，得到经过位置编码后的矩阵；位置编码模块的输入是经过Embedding层处理的n*d维矩阵，该层通过VisionTransformer模型中的位置编码算法对位置进行编码，位置的计算方式是：假设位置矩阵中的某个元素处于矩阵的第i行第j列，则其位置计算公式是i*j。
编码网络层的输入是经过位置编码后的矩阵，编码网络层中堆叠了多个编码模块，每个编码模块中采用多头注意力机制，所述编码模块对经过位置编码后的矩阵进行编码，以得到经过编码模块编码的矩阵；编码网络层的输入是经过位置编码的矩阵，其中堆叠了n个Transformer算法中的Encoder模块，每个Encoder模块中采用多头注意力机制。
多层感知机层的输入是编码模块输出的矩阵；多层感知机层的输入是编码模块输出的矩阵，多层感知机层使用m层线性全连接，全连接层的输出维度是动作类别的种类数。
Softmax层的输入数据是多层感知机层的输出数据，通过Softmax层计算运动姿态矩阵相对于任一目标动作的输出概率；Softmax层的输入是多层感知机层的输出，通过该层最终计算出动作类别的概率。
在线上检测时，对于实时录制的用户线上动作视频数据，算法会以窗口w从左向右滑动，每次滑动1帧。w的长度p可以选取[l,r]区间中的一个值，其中l表示训练数据中该类动作视频帧数的最小值，r表示训练数据中该类动作视频帧数的最大值。在该实施例中，选取窗口长度p为训练数据中该类动作视频帧数的平均值。然后，计算窗口w中视频段的运动姿态矩阵。最后，将运动姿态矩阵输入图4的模型中，计算该段视频的输出概率：如果该段视频属于某类动作的概率大于等于阈值，则该类动作的计数加1。并且窗口w向前滑动p帧。如果该段视频属于某类动作的概率小于阈值，则窗口w向前滑动1帧。
在上述具体实施方式中，本发明所提供的基于深度学习模型的运动实时计数方法，通过摄像设备实时采集人体运动视频数据；通过人体检测算法检测出位于视频图像中心位置的运动者，以该运动者作为目标运动者，计算所述目标运动者在所述运动视频的各帧图像中的运动姿态向量；进而将各帧图像得到运动姿态向量以时间顺序进行排列，得到运动姿态矩阵；基于预先训练的深度学习模型对所述运动姿态矩阵进行分析，以得到目标动作的计数结果；其中，所述深度学习模型是基于运动姿态矩阵样本构成的训练数据集训练得到的，所述运动姿态矩阵样本是由多种类型运动的视频数据样本计算得到的，每个所述视频数据样本只包含一种目标运动样本的一次完整动作。这样，该运动实时计数方法将视频帧序列作为输入，通过实时动作分析，并结合预先训练的深度学习模型，实现对各种体育动作的计数，可方便应用于各类体育项目，具有较好的动作识别性和技术准确性，解决了现有技术中存在的动作识别和计数准确性较差的技术问题。
除了上述方法，本发明还提供一种基于深度学习模型的运动实时计数系统，如图6所示，所述系统包括：
数据获取单元601，用于通过摄像设备实时采集人体运动视频数据；
姿态向量计算单元602，用于通过人体检测算法检测出位于视频图像中心位置的运动者，以该运动者作为目标运动者，计算所述目标运动者在所述运动视频的各帧图像中的运动姿态向量；
姿态矩阵生成单元603，用于将各帧图像得到运动姿态向量以时间顺序进行排列，得到运动姿态矩阵；
计数结果输出单元604，用于基于预先训练的深度学习模型对所述运动姿态矩阵进行分析，以得到目标动作的计数结果；
其中，所述深度学习模型是基于运动姿态矩阵样本构成的训练数据集训练得到的，所述运动姿态矩阵样本是由多种类型运动的视频数据样本计算得到的，每个所述视频数据样本只包含一种目标运动样本的一次完整动作。
在上述具体实施方式中，本发明所提供的基于深度学习模型的运动实时计数系统，通过摄像设备实时采集人体运动视频数据；通过人体检测算法检测出位于视频图像中心位置的运动者，以该运动者作为目标运动者，计算所述目标运动者在所述运动视频的各帧图像中的运动姿态向量；进而将各帧图像得到运动姿态向量以时间顺序进行排列，得到运动姿态矩阵；基于预先训练的深度学习模型对所述运动姿态矩阵进行分析，以得到目标动作的计数结果；其中，所述深度学习模型是基于运动姿态矩阵样本构成的训练数据集训练得到的，所述运动姿态矩阵样本是由多种类型运动的视频数据样本计算得到的，每个所述视频数据样本只包含一种目标运动样本的一次完整动作。这样，该运动实时计数方法将视频帧序列作为输入，通过实时动作分析，并结合预先训练的深度学习模型，实现对各种体育动作的计数，可方便应用于各类体育项目，具有较好的动作识别性和技术准确性，解决了现有技术中存在的动作识别和计数准确性较差的技术问题。
图7示例了一种电子设备的实体结构示意图，如图7所示，该电子设备可以包括：处理器(processor)710、通信接口(Communications Interface)720、存储器(memory)730和通信总线740，其中，处理器710，通信接口720，存储器730通过通信总线740完成相互间的通信。处理器710可以调用存储器730中的逻辑指令，以执行交易请求处理方法，该方法包括：通过摄像设备实时采集人体运动视频数据；通过人体检测算法检测出位于视频图像中心位置的运动者，以该运动者作为目标运动者，计算所述目标运动者在所述运动视频的各帧图像中的运动姿态向量；将各帧图像得到运动姿态向量以时间顺序进行排列，得到运动姿态矩阵；基于预先训练的深度学习模型对所述运动姿态矩阵进行分析，以得到目标动作的计数结果；其中，所述深度学习模型是基于运动姿态矩阵样本构成的训练数据集训练得到的，所述运动姿态矩阵样本是由多种类型运动的视频数据样本计算得到的，每个所述视频数据样本只包含一种目标运动样本的一次完整动作。
此外，上述的存储器730中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请实施例提供的电子设备中的处理器710可以调用存储器730中的逻辑指令，其实施方式与本申请提供的交易请求处理方法的实施方式一致，且可以达到相同的有益效果，此处不再赘述。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的交易请求处理方法，该方法包括：通过摄像设备实时采集人体运动视频数据；通过人体检测算法检测出位于视频图像中心位置的运动者，以该运动者作为目标运动者，计算所述目标运动者在所述运动视频的各帧图像中的运动姿态向量；将各帧图像得到运动姿态向量以时间顺序进行排列，得到运动姿态矩阵；基于预先训练的深度学习模型对所述运动姿态矩阵进行分析，以得到目标动作的计数结果；其中，所述深度学习模型是基于运动姿态矩阵样本构成的训练数据集训练得到的，所述运动姿态矩阵样本是由多种类型运动的视频数据样本计算得到的，每个所述视频数据样本只包含一种目标运动样本的一次完整动作。
本申请实施例提供的计算机程序产品被执行时，实现上述交易请求处理方法，其具体的实施方式与前述方法的实施例中记载的实施方式一致，且可以达到相同的有益效果，此处不再赘述。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的交易请求处理方法，该方法包括：通过摄像设备实时采集人体运动视频数据；通过人体检测算法检测出位于视频图像中心位置的运动者，以该运动者作为目标运动者，计算所述目标运动者在所述运动视频的各帧图像中的运动姿态向量；将各帧图像得到运动姿态向量以时间顺序进行排列，得到运动姿态矩阵；基于预先训练的深度学习模型对所述运动姿态矩阵进行分析，以得到目标动作的计数结果；其中，所述深度学习模型是基于运动姿态矩阵样本构成的训练数据集训练得到的，所述运动姿态矩阵样本是由多种类型运动的视频数据样本计算得到的，每个所述视频数据样本只包含一种目标运动样本的一次完整动作。
本申请实施例提供的非暂态计算机可读存储介质上存储的计算机程序被执行时，实现上述交易请求处理方法，其具体的实施方式与前述方法的实施例中记载的实施方式一致，且可以达到相同的有益效果，此处不再赘述。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件与软件组合来实现。当应用软件时，可以将相应功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
以上的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (7)

1.一种基于深度学习模型的运动实时计数方法，其特征在于，所述方法包括：
通过摄像设备实时采集人体运动视频数据；
通过人体检测算法检测出位于视频图像中心位置的运动者，以该运动者作为目标运动者，计算所述目标运动者在所述运动视频的各帧图像中的运动姿态向量；
将各帧图像得到运动姿态向量以时间顺序进行排列，得到运动姿态矩阵；
基于预先训练的深度学习模型对所述运动姿态矩阵进行分析，以得到目标动作的计数结果；
其中，所述深度学习模型是基于运动姿态矩阵样本构成的训练数据集训练得到的，所述运动姿态矩阵样本是由多种类型运动的视频数据样本计算得到的，每个所述视频数据样本只包含一种目标运动样本的一次完整动作；
其中，基于预先训练的深度学习模型对所述运动姿态矩阵进行分析，以得到目标动作的计数结果，具体包括：
将所述运动姿态矩阵输入预先训练的深度学习模型，计算所述运动姿态矩阵相对于任一目标动作的输出概率；
判定所述输出概率大于或等于预设阈值，则在所述目标动作的计数上加1，并将窗口
Figure QLYQS_1
向前滑动/>
Figure QLYQS_2
帧；
其中，
Figure QLYQS_3
为窗口/>
Figure QLYQS_4
的长度，/>
Figure QLYQS_5
的取值范围为/>
Figure QLYQS_6
，/>
Figure QLYQS_7
表示训练数据集中所述目标动作的视频帧数的最小值，/>
Figure QLYQS_8
表示训练数据集中所述目标动作的视频帧数的最大值；判定所述输出概率小于预设阈值，则将窗口/>
Figure QLYQS_9
向前滑动1帧。
2.根据权利要求1所述的运动实时计数方法，其特征在于，计算所述目标运动者在所述运动视频的各帧图像中的运动姿态向量，具体包括：
检测所述运动视频中每一帧图像中所述目标运动者的骨骼关键点的三维坐标，以得到每一帧图像中所述目标运动者的姿态图；
基于所述姿态图，获取多个目标骨骼关键点，并以任意三个所述目标骨骼关键点作为一个骨骼关键点序列，以得到多个骨骼关键点序列；
计算各所述骨骼关键点序列之间的夹角，得到序列夹角，并将所有序列夹角构成运动姿态向量。
3.根据权利要求2所述的运动实时计数方法，其特征在于，计算各所述骨骼关键点序列之间的夹角，得到序列夹角，并将所有序列夹角构成运动姿态向量，具体包括：
设定骨骼关键点n通过三维坐标
Figure QLYQS_11
描述，假设有[/>
Figure QLYQS_15
]三个骨骼关键点序列，关键点的坐标为： />
Figure QLYQS_18
,/>
Figure QLYQS_12
, />
Figure QLYQS_14
，其中，/>
Figure QLYQS_17
点和/>
Figure QLYQS_20
点可以形成线段/>
Figure QLYQS_10
，
Figure QLYQS_13
和/>
Figure QLYQS_16
可以构成线段/>
Figure QLYQS_19
；
计算
Figure QLYQS_21
和/>
Figure QLYQS_22
之间的夹角即为/>
Figure QLYQS_23
三个骨骼关键点形成的序列夹角；
计算其他骨骼关键点序列的序列夹角，并得到所有的序列夹角；
所有序列夹角的值构成运动姿态向量：
Figure QLYQS_24
。
4.根据权利要求1所述的运动实时计数方法，其特征在于，所述深度学习模型的模型结构包括:
Embedding层，所述Embedding层的输入是运动姿态矩阵，并对输入的运动姿态矩阵中的每个元素进行embedding编码后输出处理后的矩阵；
位置编码模块，所述位置编码模块的输入是经过Embedding层处理后的得到的矩阵，并对经过Embedding层处理后的得到的矩阵中的任意元素的位置进行编码，得到经过位置编码后的矩阵；
编码网络层，所述编码网络层的输入是经过位置编码后的矩阵，编码网络层中堆叠了多个编码模块，每个编码模块中采用多头注意力机制，所述编码模块对经过位置编码后的矩阵进行编码，以得到经过编码模块编码的矩阵；
多层感知机层， 所述多层感知机层的输入是编码模块输出的矩阵；
Softmax层， Softmax层的输入数据是多层感知机层的输出数据，通过Softmax层计算运动姿态矩阵相对于任一目标动作的输出概率。
5.一种基于深度学习模型的运动实时计数系统，其特征在于，所述系统包括：
数据获取单元，用于通过摄像设备实时采集人体运动视频数据；
姿态向量计算单元，用于通过人体检测算法检测出位于视频图像中心位置的运动者，以该运动者作为目标运动者，计算所述目标运动者在所述运动视频的各帧图像中的运动姿态向量；
姿态矩阵生成单元，用于将各帧图像得到运动姿态向量以时间顺序进行排列，得到运动姿态矩阵；
计数结果输出单元，用于基于预先训练的深度学习模型对所述运动姿态矩阵进行分析，以得到目标动作的计数结果；
其中，所述深度学习模型是基于运动姿态矩阵样本构成的训练数据集训练得到的，所述运动姿态矩阵样本是由多种类型运动的视频数据样本计算得到的，每个所述视频数据样本只包含一种目标运动样本的一次完整动作；
其中，基于预先训练的深度学习模型对所述运动姿态矩阵进行分析，以得到目标动作的计数结果，具体包括：
将所述运动姿态矩阵输入预先训练的深度学习模型，计算所述运动姿态矩阵相对于任一目标动作的输出概率；
判定所述输出概率大于或等于预设阈值，则在所述目标动作的计数上加1，并将窗口
Figure QLYQS_25
向前滑动/>
Figure QLYQS_26
帧；
其中，
Figure QLYQS_27
为窗口/>
Figure QLYQS_28
的长度，/>
Figure QLYQS_29
的取值范围为/>
Figure QLYQS_30
，/>
Figure QLYQS_31
表示训练数据集中所述目标动作的视频帧数的最小值，/>
Figure QLYQS_32
表示训练数据集中所述目标动作的视频帧数的最大值；
判定所述输出概率小于预设阈值，则将窗口
Figure QLYQS_33
向前滑动1帧。
6.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至4任一项所述方法的步骤。
7.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述方法的步骤。
CN202210846652.1A 2022-07-05 2022-07-05 基于深度学习模型的运动实时计数方法和系统 Active CN115205750B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210846652.1A CN115205750B (zh) 2022-07-05 2022-07-05 基于深度学习模型的运动实时计数方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210846652.1A CN115205750B (zh) 2022-07-05 2022-07-05 基于深度学习模型的运动实时计数方法和系统

Publications (2)

Publication Number Publication Date
CN115205750A CN115205750A (zh) 2022-10-18
CN115205750B true CN115205750B (zh) 2023-06-13

Family

ID=83582520

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210846652.1A Active CN115205750B (zh) 2022-07-05 2022-07-05 基于深度学习模型的运动实时计数方法和系统

Country Status (1)

Country Link
CN (1) CN115205750B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117253290B (zh) * 2023-10-13 2024-05-10 景色智慧(北京)信息科技有限公司 基于yolopose模型的跳绳计数实现方法、装置及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130100393A (ko) * 2012-03-01 2013-09-11 박규호 스마트기기 센서를 이용한 사용자 행동패턴인식 방법
CN113936339A (zh) * 2021-12-16 2022-01-14 之江实验室 基于双通道交叉注意力机制的打架识别方法和装置
CN114581945A (zh) * 2022-02-21 2022-06-03 中国科学院大学 一种融合时空特征的单目三维人体姿态估计方法及系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7653605B1 (en) * 2005-04-15 2010-01-26 Science Applications International Corporation Method of and apparatus for automated behavior prediction
US11074711B1 (en) * 2018-06-15 2021-07-27 Bertec Corporation System for estimating a pose of one or more persons in a scene
US20200097810A1 (en) * 2018-09-25 2020-03-26 Oracle International Corporation Automated window based feature generation for time-series forecasting and anomaly detection
CN112668359A (zh) * 2019-10-15 2021-04-16 富士通株式会社 动作识别方法、动作识别装置和电子设备
US11482047B2 (en) * 2020-01-06 2022-10-25 Kaia Health Software GmbH ML model arrangement and method for evaluating motion patterns
CN112464808B (zh) * 2020-11-26 2022-12-16 成都睿码科技有限责任公司 一种基于计算机视觉的跳绳姿态及个数识别方法
CN113392742A (zh) * 2021-06-04 2021-09-14 北京格灵深瞳信息技术股份有限公司 异常动作确定方法、装置、电子设备及存储介质
CN114299473A (zh) * 2021-12-24 2022-04-08 杭州电子科技大学 一种基于多源信息融合的驾驶员行为识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130100393A (ko) * 2012-03-01 2013-09-11 박규호 스마트기기 센서를 이용한 사용자 행동패턴인식 방법
CN113936339A (zh) * 2021-12-16 2022-01-14 之江实验室 基于双通道交叉注意力机制的打架识别方法和装置
CN114581945A (zh) * 2022-02-21 2022-06-03 中国科学院大学 一种融合时空特征的单目三维人体姿态估计方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
OadTR: Online Action Detection with Transformers;X. Wang et al.;2021 IEEE/CVF International Conference on Computer Vision (ICCV);第7545-7555页 *
基于深度学习的在线人体动作分析;吴艳春;中国优秀硕士学位论文全文数据库 (信息科技辑)(第01期);第I138-1606页 *
基于深度学习的视频跟踪研究进展综述;戴凤智等;计算机工程与应用;第55卷(第10期);第16-29页 *

Also Published As

Publication number Publication date
CN115205750A (zh) 2022-10-18

Similar Documents

Publication Publication Date Title
CN111402290B (zh) 一种基于骨骼关键点的动作还原方法以及装置
CN111819568B (zh) 人脸旋转图像的生成方法及装置
WO2020108362A1 (zh) 人体姿态检测方法、装置、设备及存储介质
CN110633004B (zh) 基于人体姿态估计的交互方法、装置和系统
CN107704813B (zh) 一种人脸活体识别方法及系统
CN111680550B (zh) 情感信息识别方法、装置、存储介质及计算机设备
CN104821010A (zh) 基于双目视觉的人手三维信息实时提取方法及系统
CN111062263A (zh) 手部姿态估计的方法、设备、计算机设备和存储介质
CN111444488A (zh) 一种基于动态手势的身份认证方法
CN112200074A (zh) 一种姿态对比的方法和终端
CN115035546B (zh) 三维人体姿态检测方法、装置及电子设备
CN115205750B (zh) 基于深度学习模型的运动实时计数方法和系统
CN112906520A (zh) 一种基于姿态编码的动作识别方法及装置
CN115205737B (zh) 基于Transformer模型的运动实时计数方法和系统
Zhang et al. Human deep squat detection method based on MediaPipe combined with Yolov5 network
CN116580169B (zh) 一种数字人驱动方法及装置、电子设备和存储介质
CN115223240B (zh) 基于动态时间规整算法的运动实时计数方法和系统
CN117593792A (zh) 一种基于视频帧的异常姿态检测方法和装置
CN116758212A (zh) 基于自适应去噪算法的3d重建方法、装置、设备及介质
TWI812053B (zh) 定位方法、電子設備及電腦可讀儲存媒體
CN115100745B (zh) 基于Swin Transformer模型的运动实时计数方法和系统
Quan et al. Multi-view 3d human pose tracking based on evolutionary robot vision
CN117671732B (zh) 一种检测体态的方法、装置、设备及存储介质
CN117423138B (zh) 基于多分支结构的人体跌倒检测方法、装置及系统
Wang et al. DB-HRNet: Dual Branch High-Resolution Network for Human Pose Estimation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant