CN115035601A - 跳跃动作识别方法、装置、计算机设备及存储介质 - Google Patents

跳跃动作识别方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN115035601A
CN115035601A CN202210690889.5A CN202210690889A CN115035601A CN 115035601 A CN115035601 A CN 115035601A CN 202210690889 A CN202210690889 A CN 202210690889A CN 115035601 A CN115035601 A CN 115035601A
Authority
CN
China
Prior art keywords
motion
jumping
speed
neural network
joint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210690889.5A
Other languages
English (en)
Inventor
黄伟聪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Flexwarm Advanced Materials & Technology Co ltd
Original Assignee
Guangdong Flexwarm Advanced Materials & Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Flexwarm Advanced Materials & Technology Co ltd filed Critical Guangdong Flexwarm Advanced Materials & Technology Co ltd
Priority to CN202210690889.5A priority Critical patent/CN115035601A/zh
Publication of CN115035601A publication Critical patent/CN115035601A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了跳跃动作识别方法、装置、计算机设备及存储介质，跳跃动作识别方法应用于包括体感设备的计算机设备，方法包括：通过体感设备检测用户的人体动作，得到包括关节点坐标数据的跳跃动作数据；获取跳跃动作数据的特征参数，基于特征参数构建跳跃动作样本集；将跳跃动作样本集输入至预设的神经网络，训练得到跳跃动作识别神经网络；将待识别动作数据输入至跳跃动作识别神经网络，得到跳跃动作识别神经网络输出的动作类别。通过体感设备获取人体关节的关节点坐标数据，避免了采集跳跃动作数据时受光照条件、遮挡物等环境因素影响。通过训练得到跳跃动作识别神经网络识别跳跃动作类别，提高了计算机设备识别跳跃动作的准确率。

Description

跳跃动作识别方法、装置、计算机设备及存储介质
技术领域
本发明涉及动作识别领域，尤其涉及一种跳跃动作识别方法、装置、计算机设备及存储介质。
背景技术
随着信号处理、模式识别、人工智能等技术领域的快速发展，人体动作识别技术的应用价值逐渐提高，其中，人体的动作识别是指通过传感器完成对人体动作信息的获取与特征提取，进而使得计算机设备能够主动识别人体动作的类型。当前人体动作识别技术广泛应用智能监控、医疗康复、人机交互、体育运动分析等领域。
跳跃动作的识别是人体动作识别的重要研究内容，若通过穿戴式设备进行跳跃动作识别，需要用户佩戴好穿戴式设备之后，才能进行跳跃动作识别。然而，穿戴式设备会对用户的跳跃动作造成影响，导致用户的跳跃动作变形，进而导致设备无法准确识别到用户的跳跃动作。若通过图像采集设备如彩色相机、红外相机等获取用户的跳跃动作图像帧，容易受光照条件、遮挡物等环境因素影响，同样会导致设备无法准确识别到用户的跳跃动作。显然，现有的人体动作识别设备应用限制较大，不能准确地识别用户的跳跃动作。
发明内容
有鉴于此，本发明的目的是为了克服现有技术中的不足，提供跳跃动作识别方法、装置、计算机设备及存储介质，以解决无法准确识别到用户的跳跃动作的问题。
第一方面，本申请提供一种跳跃动作识别方法，应用于包括体感设备的计算机设备，所述方法包括：
通过所述体感设备检测用户的人体动作，得到包括关节点坐标数据的跳跃动作数据；
获取所述跳跃动作数据的特征参数，基于所述特征参数构建跳跃动作样本集，其中，所述特征参数包括髋关节的速度、腕关节的速度、踝关节的速度；
将所述跳跃动作样本集输入至预设的神经网络，训练得到跳跃动作识别神经网络；
将待识别动作数据输入至所述跳跃动作识别神经网络，得到所述跳跃动作识别神经网络输出的动作类别。
结合第一方面，在第一种可能的实现方式中，所述通过所述体感设备检测用户的人体动作，得到包括关节点坐标数据的跳跃动作数据，包括：
通过所述体感设备获取用户的髋关节的速度、腕关节的速度、踝关节的速度；
当所述髋关节的速度、所述腕关节的速度、所述踝关节的速度中任意一个速度的绝对值大于或等于预设速度阈值时，采集包括关节点坐标数据的跳跃动作数据，直到所述髋关节的速度、所述腕关节的速度、所述踝关节的速度中任意一个速度的绝对值小于所述预设速度阈值。
结合第一方面，在第二种可能的实现方式中，所述跳跃动作数据包括逐帧排列的跳跃动作图像帧；
所述特征参数还包括所述跳跃动作图像帧的帧数、预设帧的跳跃动作图像帧中的关节速度、预设坐标轴的区间、所述预设坐标轴的均方根、所述预设坐标轴的波长；
所述髋关节的速度包括所述髋关节沿预设坐标轴的最大速度，所述腕关节的速度包括所述腕关节沿预设坐标轴的最大速度，所述踝关节的速度包括所述踝关节沿预设坐标轴的最大速度。
结合第一方面，在第三种可能的实现方式中，所述体感设备为Kinnect传感器。
结合第一方面，在第四种可能的实现方式中，所述预设的神经网络为BP神经网络，所述BP神经网络包括输入层、输出层及预设数量的隐含层。
结合第一方面，在第五种可能的实现方式中，所述获取所述跳跃动作数据的特征参数，基于所述特征参数构建跳跃动作样本集，包括：
获取所述跳跃动作数据的特征参数，归一化处理所述特征参数，得到归一化特征，基于所述归一化特征构建所述跳跃动作样本集。
结合第一方面，在第六种可能的实现方式中，所述获取所述跳跃动作数据的特征参数，基于所述特征参数构建跳跃动作样本集，包括：
获取所述跳跃动作数据的特征参数和类别，基于所述特征参数和所述类别构建所述跳跃动作样本集。
第二方面，本申请提供一种跳跃动作识别装置，应用于包括体感设备的计算机设备，所述装置包括：
数据获取模块，用于通过所述体感设备检测用户的人体动作，得到包括关节点坐标数据的跳跃动作数据；
样本集构建模块，用于获取所述跳跃动作数据的特征参数，基于所述特征参数构建跳跃动作样本集，其中，所述特征参数包括髋关节的速度、腕关节的速度、踝关节的速度；
神经网络训练模块，用于将所述跳跃动作样本集输入至预设的神经网络，训练得到跳跃动作识别神经网络；
神经网络识别模块，用于将待识别动作数据输入至所述跳跃动作识别神经网络，得到所述跳跃动作识别神经网络输出的动作类别。
第三方面，本申请提供一种计算机设备，所述计算机设备包括体感设备、存储器及处理器，所述存储器存储有计算机程序，所述计算机程序在所述处理器执行时，实现如第一方面所述的跳跃动作识别方法。
第四方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现如第一方面所述的跳跃动作识别方法。
本申请提供了一种跳跃动作识别方法，应用于包括体感设备的计算机设备，所述方法包括：通过所述体感设备检测用户的人体动作，得到包括关节点坐标数据的跳跃动作数据；获取所述跳跃动作数据的特征参数，基于所述特征参数构建跳跃动作样本集；将所述跳跃动作样本集输入至预设的神经网络，训练得到跳跃动作识别神经网络；将待识别动作数据输入至所述跳跃动作识别神经网络，得到所述跳跃动作识别神经网络输出的动作类别。通过体感设备获取人体关节的关节点坐标数据，避免了采集跳跃动作数据时受光照条件、遮挡物等环境因素影响。通过训练得到跳跃动作识别神经网络识别跳跃动作类别，提高了计算机设备识别跳跃动作的准确率。
附图说明
为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对本发明保护范围的限定。在各个附图中，类似的构成部分采用类似的编号。
图1示出了本发明实施例提供的跳跃动作识别方法的流程图；
图2示出了本发明实施例提供的人体关节的示例图；
图3示出了本发明实施例提供的跳跃动作识别装置的结构示意图。
具体实施方式
下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
在下文中，可在本发明的各种实施例中使用的术语“包括”、“具有”及其同源词仅意在表示特定特征、数字、步骤、操作、元件、组件或前述项的组合，并且不应被理解为首先排除一个或更多个其它特征、数字、步骤、操作、元件、组件或前述项的组合的存在或增加一个或更多个特征、数字、步骤、操作、元件、组件或前述项的组合的可能性。
此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
除非另有限定，否则在这里使用的所有术语(包括技术术语和科学术语)具有与本发明的各种实施例所属领域普通技术人员通常理解的含义相同的含义。所述术语(诸如在一般使用的词典中限定的术语)将被解释为具有与在相关技术领域中的语境含义相同的含义并且将不被解释为具有理想化的含义或过于正式的含义，除非在本发明的各种实施例中被清楚地限定。
实施例1
请参阅图1，图1示出了本发明实施例提供的跳跃动作识别方法的流程图。图1中的跳跃动作识别方法应用于包括体感设备的计算机设备，图1中的跳跃动作识别方法包括以下步骤：
步骤101，通过所述体感设备检测用户的人体动作，得到包括关节点坐标数据的跳跃动作数据。
体感设备用于将用户的肢体动作转换为可计算机设备识别的信号，其中，体感设备的类型可根据实际需求选择，在此不做限定。体感设备通过适配器与计算机设备的处理器连接，并运行监测程序。体感设备获取图像采集范围内用户的肢体动作，得到包括关节点坐标数据的跳跃动作数据。
跳跃动作包括了多种不同的动作，在此不做赘述。为便于理解本申请，本实施例中，用户在体感设备的视野范围内进行原地跳、开合跳、深蹲跳及抱膝跳四种动作。当用户进行跳跃动作时，通过体感设备逐帧检测得到用户的跳跃动作的图像。对跳跃动作的图像进行图像处理，得到包括关节点坐标数据的跳跃动作数据，将得到跳跃动作数据分类别存储。
作为一个示例，所述体感设备为Kinnect传感器。
需要理解的是，Kinnect传感器的类型型号是根据实际需求选择的，在此不做限定。本实施例中，体感设备为Kinnect V2传感器。当用户在Kinnect传感器的红外视野范围内进行原地跳、开合跳、深蹲跳及抱膝跳四种动作时，通过Kinnect传感器获取深度图像，并对深度图像进行图像处理，得到人体关节的关节点三维坐标。通过Kinnect传感器检测用户的人体动作，得到包括关节点坐标数据的跳跃动作数据，降低了光照条件等环境影响，具有更好的鲁棒性，提高了计算机设备识别跳跃动作的准确率。
步骤102，获取所述跳跃动作数据的特征参数，基于所述特征参数构建跳跃动作样本集。
特征参数是用于表征跳跃动作的参数信息，其中，特征参数包括髋关节的速度、腕关节的速度、踝关节的速度。需要理解的是，腕关节包括了左腕关节与右腕关节，踝关节包括了左踝关节与右踝关节。本实施例中，从跳跃动作数据中提取髋关节的速度、左腕关节的速度、左踝关节的速度作为跳跃动作的特征参数。基于获取到的特征参数构建跳跃动作样本集，以通过跳跃动作样本集训练神经网络。
作为一个示例，所述跳跃动作数据包括逐帧排列的跳跃动作图像帧；
所述特征参数还包括所述跳跃动作图像帧的帧数、预设帧的跳跃动作图像帧中的关节速度、预设坐标轴的区间、所述预设坐标轴的均方根、所述预设坐标轴的波长；
所述髋关节的速度包括所述髋关节沿预设坐标轴的最大速度，所述腕关节的速度包括所述腕关节沿预设坐标轴的最大速度，所述踝关节的速度包括所述踝关节沿预设坐标轴的最大速度。
通过体感设备检测用户的人体动作，并采集包括人体动作的逐帧排列的跳跃动作图像帧。基于逐帧排列的跳跃动作图像帧，获取用户的人体关节的关节点三维坐标序列和时间戳序列。将关节点坐标从3*25的矩阵转换为75维的行向量，并基于帧顺序逐行排列为矩阵，时间戳基于帧顺序逐行排列为列向量，将包括关节点坐标和时间戳的跳跃动作数据保存为txt格式，以快速读取采集得到的跳跃动作数据。
提取跳跃动作数据，得到包括跳跃动作图像帧的帧数、髋关节的速度、腕关节的速度、踝关节的速度、预设帧的跳跃动作图像帧中的关节速度、预设坐标轴的区间、预设坐标轴的均方根、预设坐标轴的波长的特征参数。
请一并参阅图2，图2示出了本发明实施例提供的人体关节的示例图。人体关节包括髋关节210、左腕关节220、左踝关节230、左肩关节、左肘关节等25个关节点。
由于用户向上跳跃的过程中，不一定存在关节点向前的速度，即不存在关节点沿x轴方向的速度。在此不做赘述。为便于理解本申请，本实施例中，将y轴设置为预设坐标轴，并获取关节点沿y轴的速度。基于跳跃动作数据，提取得到髋关节210沿y轴的最大速度、左腕关节220沿y轴的最大速度、左踝关节230沿y轴的最大速度。
预设坐标轴的均方根为y轴的坐标均方根，预设坐标轴的均方根计算公式如下：
Figure BDA0003699672670000091
其中，RMS为第n帧的跳跃动作图像帧的y轴的坐标均方根。
预设坐标轴的波长为y轴的坐标波长，预设坐标轴的波长计算公式如下：
Figure BDA0003699672670000101
其中，WL为第n帧的跳跃动作图像帧的y轴的坐标波长。
需要理解的是，跳跃动作图像帧的帧数为采用跳跃动作数据时，得到跳跃动作图像帧的数量。预设坐标轴的区间为y轴的坐标值的区间大小。预设帧的跳跃动作图像帧是根据实际需求选择的，在此不做限定。本实施例中，预设帧的跳跃动作图像帧为体感设备采集的跳跃动作图像帧序列中的中间三帧图像。举例而言，若跳跃动作图像帧序列包括了7帧的跳跃动作图像帧，则第3帧的跳跃动作图像帧、第4帧的跳跃动作图像帧、第5帧的跳跃动作图像帧为预设帧的跳跃动作图像。获取得到预设帧的跳跃动作图像帧的关节沿y轴的速度。
基于采集得到的跳跃动作数据，提取共计16个特征参数。基于提取得到多个特征参数，构建跳跃动作样本集，以提高神经网络识别跳跃动作的准确率。
本实施例中，特征参数包括关节点沿y轴的速度。作为一个示例，所述通过所述体感设备检测用户的人体动作，得到包括关节点坐标数据的跳跃动作数据，包括：
通过所述体感设备获取用户的髋关节的速度、腕关节的速度、踝关节的速度；
当所述髋关节的速度、所述腕关节的速度、所述踝关节的速度中任意一个速度的绝对值大于或等于预设速度阈值时，采集包括关节点坐标数据的跳跃动作数据，直到所述髋关节的速度、所述腕关节的速度、所述踝关节的速度中任意一个速度的绝对值小于所述预设速度阈值。
由于用户向上跳跃的过程中，不一定存在沿x轴的速度。当通过体感设备检测到用户的人体动作时，获取用户的髋关节210沿y轴的速度、左腕关节220沿y轴的速度、左踝关节230沿y轴的速度。
当髋关节210沿y轴的速度、左腕关节220沿y轴的速度、左踝关节230沿y轴的速度中任意一个速度的绝对值大于或等于预设速度阈值时，则确定用户开始进行人体动作，采集包括关节点坐标数据的跳跃动作数据。当210沿y轴的速度、左腕关节220沿y轴的速度、左踝关节230沿y轴的速度中任意一个速度的绝对值小于预设速度阈值时，则确定人体动作已完成，停止采集跳跃动作数据。特征参数是基于y轴的竖直方向提取的，不受用户的朝向体感设备的方向影响。
需要理解的是，预设速度阈值是根据实际需求设置的，在此不做限定。此外，还可以对应髋关节210、左腕关节220、左踝关节230分别设置预设速度阈值，在此不做赘述。每个关节点的实时速度的计算公式为：
Figure BDA0003699672670000111
其中，yn为第n帧的跳跃动作图像帧的关节点y轴坐标值，tn为第n帧的跳跃动作图像帧的时间戳，vn为第n帧的跳跃动作图像帧的关节点沿y轴的速度绝对值。
还需要理解的是，采集包括关节点坐标数据的跳跃动作数据之后，根据跳跃动作数据，得到髋关节210沿y轴的速度变化趋势、左腕关节220沿y轴的速度变化趋势、左踝关节230沿y轴的速度变化趋势。通过关节点的速度变化趋势，将得到的跳跃动作数据区分为原地跳、开合跳、深蹲跳、抱膝跳四种跳跃动作类别。同时，还可以根据关节点的速度变化趋势，确定采集到的数据是跳跃动作数据，还是步态动作数据等人体动作数据，若采集到的数据不为跳跃动作数据，可舍弃采集到的数据，在此不做赘述。本实施例中提取得到的特征参数具有尺度不变性和视角不变性，具有更好的适应性。
作为一个示例，所述获取所述跳跃动作数据的特征参数，基于所述特征参数构建跳跃动作样本集，包括：
获取所述跳跃动作数据的特征参数，归一化处理所述特征参数，得到归一化特征，基于所述归一化特征构建所述跳跃动作样本集。
对获取到的特征参数进行归一化处理，将特征参数的值归一化至[-1，1]区间中，具体地：
Figure BDA0003699672670000121
其中，
Figure BDA0003699672670000122
为进行归一化之前第i个样本的第j个特征参数，
Figure BDA0003699672670000123
为进行归一化之后第i个样本的第j个特征参数。
Figure BDA0003699672670000124
为输入样本第j个特征参数中的最大值，
Figure BDA0003699672670000125
为输入样本第j个特征参数中的最小值。
作为一个示例，所述获取所述跳跃动作数据的特征参数，基于所述特征参数构建跳跃动作样本集，包括：
获取所述跳跃动作数据的特征参数和类别，基于所述特征参数和所述类别构建所述跳跃动作样本集。
基于跳跃动作的类型和特征参数构建跳跃动作样本，通过多个跳跃动作样本构建跳跃动作样本集，以保证通过跳跃动作样本集训练的神经网络的可靠性。样本包括输入变量和输出变量，其中，输入变量为提取得到的特征参数，输出变量为跳跃动作的类别。
本实施例中，跳跃动作类别包括原地跳、开合跳、深蹲跳、抱膝跳四种类别。跳跃动作样本集包括800个跳跃动作样本，具体地，包括了200份类别为原地跳的跳跃动作样本、200份类别为开合跳的跳跃动作样本、200份类别为深蹲跳的跳跃动作样本、200份类别为抱膝跳的跳跃动作样本。每种跳跃动作类别提取175份的跳跃动作样本，得到共计660份的训练样本。每种跳跃动作类别提取40份的跳跃动作样本，得到共计200份的测试样本。通过训练样本训练神经网络，并通过测试样本测试训练后的神经网络的可靠性。
步骤103，将所述跳跃动作样本集输入至预设的神经网络，训练得到跳跃动作识别神经网络。
预设的神经网络的类型是根据实际需求选择的，在此不做限定。将构建的跳跃动作样本集输入至预设的神经网络，训练预设的神经网络，得到用于识别跳跃动作的跳跃动作识别神经网络。
训练得到跳跃动作识别神经网络之后，通过测试样本对跳跃动作识别神经网络进行识别测试。具体地，将测试样本的输入变量输入至跳跃动作识别神经网络，并判断跳跃动作识别神经网络输出的变量与测试样本的输出变量是否匹配，以判断训练得到跳跃动作识别神经网络能够有效识别跳跃动作的类别。
作为一个示例，所述预设的神经网络为BP(back propagation，反向传播)神经网络，所述BP神经网络包括输入层、输出层及预设数量的隐含层。
需要理解的是，预设数量的隐含层是根据实际需求设置的，在此不做限定。BP神经网络具有很强的非线性映射能力和柔性的网络结构。BP神经网络还可以根据实际需求设定网络的中间层数及各层的神经元数量。通过修改各个神经元的权值，使得传播的误差信号值最小，提高对跳跃动作的识别准确性。
本实施例中，预设数量为3，即预设的神经网络为5层的BP神经网络，其中，BP神经网络包括输入层、输出层及3层的隐含层。输入层包括16个神经元，输出层包括4个神经元，第一层的隐含层包括40个神经元，第二层的隐含层包括12个神经元，第三层的隐含层包括4个神经元。
步骤104，将待识别动作数据输入至所述跳跃动作识别神经网络，得到所述跳跃动作识别神经网络输出的动作类别。
将待识别动作数据输入至跳跃动作识别神经网络，以通过跳跃动作识别神经网络识别跳跃动作类别。为便于理解本申请，本实施例中，若跳跃动作识别神经网络输出的向量为[1，0，0，0]，则确定待识别动作的跳跃动作类别为抱膝跳。若跳跃动作识别神经网络输出的向量为[0，1，0，0]，则确定待识别动作的跳跃动作类别为开合跳。若跳跃动作识别神经网络输出的向量为[0，0，1，0]，则确定待识别动作的跳跃动作类别为原地跳。若跳跃动作识别神经网络输出的向量为[0，0，0，1]，则确定待识别动作的跳跃动作类别为深蹲跳。
需要理解的是，跳跃动作识别神经网络还可用于识别的抱膝跳、开合跳、原地跳、深蹲跳以外的其他跳跃动作类别，其他的跳跃动作类别是根据实际需求选择，在此不做限定。通过跳跃动作识别神经网络识别跳跃动作的类别，避免了光照条件、遮挡物等环境因素影响，提高了计算机设备识别跳跃动作的准确率。
本申请提供了一种跳跃动作识别方法，应用于包括体感设备的计算机设备，所述方法包括：通过所述体感设备检测用户的人体动作，得到包括关节点坐标数据的跳跃动作数据；获取所述跳跃动作数据的特征参数，基于所述特征参数构建跳跃动作样本集；将所述跳跃动作样本集输入至预设的神经网络，训练得到跳跃动作识别神经网络；将待识别动作数据输入至所述跳跃动作识别神经网络，得到所述跳跃动作识别神经网络输出的动作类别。通过体感设备获取人体关节的关节点坐标数据，避免了采集跳跃动作数据时受光照条件、遮挡物等环境因素影响。通过训练得到跳跃动作识别神经网络识别跳跃动作类别，提高了计算机设备识别跳跃动作的准确率。
实施例2
请参阅图3，图3示出了本发明实施例提供的跳跃动作识别装置的结构示意图。图3中的跳跃动作识别装置300应用于包括体感设备的计算机设备，图3中的跳跃动作识别装置300包括：
数据获取模块310，用于通过所述体感设备检测用户的人体动作，得到包括关节点坐标数据的跳跃动作数据；
样本集构建模块320，用于获取所述跳跃动作数据的特征参数，基于所述特征参数构建跳跃动作样本集，其中，所述特征参数包括髋关节的速度、腕关节的速度、踝关节的速度；
神经网络训练模块330，用于将所述跳跃动作样本集输入至预设的神经网络，训练得到跳跃动作识别神经网络；
神经网络识别模块340，用于将待识别动作数据输入至所述跳跃动作识别神经网络，得到所述跳跃动作识别神经网络输出的动作类别。
作为一个示例，所述数据获取模块310，包括：
速度获取子模块，用于通过所述体感设备获取用户的髋关节的速度、腕关节的速度、踝关节的速度；
数据采集子模块，用于当所述髋关节的速度、所述腕关节的速度、所述踝关节的速度中任意一个速度的绝对值大于或等于预设速度阈值时，采集包括关节点坐标数据的跳跃动作数据，直到所述髋关节的速度、所述腕关节的速度、所述踝关节的速度中任意一个速度的绝对值小于所述预设速度阈值。
作为一个示例，所述跳跃动作数据包括逐帧排列的跳跃动作图像帧；
所述特征参数还包括所述跳跃动作图像帧的帧数、预设帧的跳跃动作图像帧中的关节速度、预设坐标轴的区间、所述预设坐标轴的均方根、所述预设坐标轴的波长；
所述髋关节的速度包括所述髋关节沿预设坐标轴的最大速度，所述腕关节的速度包括所述腕关节沿预设坐标轴的最大速度，所述踝关节的速度包括所述踝关节沿预设坐标轴的最大速度。
作为一个示例，所述体感设备为Kinnect传感器。
作为一个示例，所述预设的神经网络为BP神经网络，所述BP神经网络包括输入层、输出层及预设数量的隐含层。
作为一个示例，神经网络训练模块330，还用于获取所述跳跃动作数据的特征参数，归一化处理所述特征参数，得到归一化特征，基于所述归一化特征构建所述跳跃动作样本集。
作为一个示例，样本集构建模块320，还用于获取所述跳跃动作数据的特征参数和类别，基于所述特征参数和所述类别构建所述跳跃动作样本集。
跳跃动作识别装置200用于执行上述的跳跃动作识别方法中的对应步骤，各个功能的具体实施，在此不再一一描述。此外，实施例1中可选示例也同样适用于实施例2的跳跃动作识别装置200。
本申请实施例还提供一种计算机设备，所述计算机设备包括体感设备、存储器及处理器，所述存储器存储有计算机程序，所述计算机程序在所述处理器执行时，实现如实施例1所述的跳跃动作识别方法。
本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现如实施例1所述的跳跃动作识别方法。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和结构图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，结构图和/或流程图中的每个方框、以及结构图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本发明各个实施例中的各功能模块或单元可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或更多个模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是智能手机、个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种跳跃动作识别方法，其特征在于，应用于包括体感设备的计算机设备，所述方法包括：
通过所述体感设备检测用户的人体动作，得到包括关节点坐标数据的跳跃动作数据；
获取所述跳跃动作数据的特征参数，基于所述特征参数构建跳跃动作样本集，其中，所述特征参数包括髋关节的速度、腕关节的速度、踝关节的速度；
将所述跳跃动作样本集输入至预设的神经网络，训练得到跳跃动作识别神经网络；
将待识别动作数据输入至所述跳跃动作识别神经网络，得到所述跳跃动作识别神经网络输出的动作类别。
2.根据权利要求1所述的跳跃动作识别方法，其特征在于，所述通过所述体感设备检测用户的人体动作，得到包括关节点坐标数据的跳跃动作数据，包括：
通过所述体感设备获取用户的髋关节的速度、腕关节的速度、踝关节的速度；
当所述髋关节的速度、所述腕关节的速度、所述踝关节的速度中任意一个速度的绝对值大于或等于预设速度阈值时，采集包括关节点坐标数据的跳跃动作数据，直到所述髋关节的速度、所述腕关节的速度、所述踝关节的速度中任意一个速度的绝对值小于所述预设速度阈值。
3.根据权利要求1所述的跳跃动作识别方法，其特征在于，所述跳跃动作数据包括逐帧排列的跳跃动作图像帧；
所述特征参数还包括所述跳跃动作图像帧的帧数、预设帧的跳跃动作图像帧中的关节速度、预设坐标轴的区间、所述预设坐标轴的均方根、所述预设坐标轴的波长；
所述髋关节的速度包括所述髋关节沿预设坐标轴的最大速度，所述腕关节的速度包括所述腕关节沿预设坐标轴的最大速度，所述踝关节的速度包括所述踝关节沿预设坐标轴的最大速度。
4.根据权利要求1所述的跳跃动作识别方法，其特征在于，所述体感设备为Kinnect传感器。
5.根据权利要求1所述的跳跃动作识别方法，其特征在于，所述预设的神经网络为BP神经网络，所述BP神经网络包括输入层、输出层及预设数量的隐含层。
6.根据权利要求1所述的跳跃动作识别方法，其特征在于，所述获取所述跳跃动作数据的特征参数，基于所述特征参数构建跳跃动作样本集，包括：
获取所述跳跃动作数据的特征参数，归一化处理所述特征参数，得到归一化特征，基于所述归一化特征构建所述跳跃动作样本集。
7.根据权利要求1所述的跳跃动作识别方法，其特征在于，所述获取所述跳跃动作数据的特征参数，基于所述特征参数构建跳跃动作样本集，包括：
获取所述跳跃动作数据的特征参数和类别，基于所述特征参数和所述类别构建所述跳跃动作样本集。
8.一种跳跃动作识别装置，其特征在于，应用于包括体感设备的计算机设备，所述装置包括：
数据获取模块，用于通过所述体感设备检测用户的人体动作，得到包括关节点坐标数据的跳跃动作数据；
样本集构建模块，用于获取所述跳跃动作数据的特征参数，基于所述特征参数构建跳跃动作样本集，其中，所述特征参数包括髋关节的速度、腕关节的速度、踝关节的速度；
神经网络训练模块，用于将所述跳跃动作样本集输入至预设的神经网络，训练得到跳跃动作识别神经网络；
神经网络识别模块，用于将待识别动作数据输入至所述跳跃动作识别神经网络，得到所述跳跃动作识别神经网络输出的动作类别。
9.一种计算机设备，其特征在于，所述计算机设备包括体感设备、存储器及处理器，所述存储器存储有计算机程序，所述计算机程序在所述处理器执行时，实现如权利要求1至7中任一项所述的跳跃动作识别方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现如权利要求1至7中任一项所述的跳跃动作识别方法。
CN202210690889.5A 2022-06-17 2022-06-17 跳跃动作识别方法、装置、计算机设备及存储介质 Pending CN115035601A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210690889.5A CN115035601A (zh) 2022-06-17 2022-06-17 跳跃动作识别方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210690889.5A CN115035601A (zh) 2022-06-17 2022-06-17 跳跃动作识别方法、装置、计算机设备及存储介质

Publications (1)

Publication Number Publication Date
CN115035601A true CN115035601A (zh) 2022-09-09

Family

ID=83124729

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210690889.5A Pending CN115035601A (zh) 2022-06-17 2022-06-17 跳跃动作识别方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN115035601A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115966016A (zh) * 2022-12-19 2023-04-14 天翼爱音乐文化科技有限公司 一种跳跃状态识别方法、系统、电子设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115966016A (zh) * 2022-12-19 2023-04-14 天翼爱音乐文化科技有限公司 一种跳跃状态识别方法、系统、电子设备及存储介质

Similar Documents

Publication Publication Date Title
Galvão et al. A multimodal approach using deep learning for fall detection
Singh et al. Transforming sensor data to the image domain for deep learning—An application to footstep detection
Wang et al. Fall detection based on dual-channel feature integration
CN110674785A (zh) 一种基于人体关键点跟踪的多人姿态分析方法
Kucukoglu et al. Application of the artificial neural network method to detect defective assembling processes by using a wearable technology
Verlekar et al. Using transfer learning for classification of gait pathologies
Khodabandelou et al. Attention-based gated recurrent unit for gesture recognition
CN104156717A (zh) 基于图像处理技术的驾驶员驾车打电话违章识别方法
Wang et al. Multimodal adaptive identity-recognition algorithm fused with gait perception
CN111274932B (zh) 基于视频中人体步态的状态识别方法、装置及存储介质
CN115035601A (zh) 跳跃动作识别方法、装置、计算机设备及存储介质
CN117372917A (zh) 一种基于多维特征融合的安防异常行为识别方法
CN117438087A (zh) 基于健康监测数据分析的健康管理方法及系统
Badave et al. Evaluation of person recognition accuracy based on OpenPose parameters
Liu et al. Automatic fall risk detection based on imbalanced data
CN114881079A (zh) 面向穿戴式传感器的人体运动意图异常检测方法及系统
KR20230080938A (ko) 컨볼루션 블록 어텐션 모듈을 이용한 동작 인식 및 분류 방법 및 장치
CN112102951B (zh) 一种基于人体体态估计算法的健康监测方法和装置
CN117133057A (zh) 基于人体姿态识别的体育运动计数和违规动作判别方法
CN116115239A (zh) 基于多模态数据融合的建筑工人尴尬工作姿势识别方法
Hwang et al. Cut and continuous paste towards real-time deep fall detection
CN114332990A (zh) 一种情绪识别方法、装置、设备及介质
CN111860100A (zh) 行人数量的确定方法、装置、电子设备及可读存储介质
Pradeep et al. Advancement Of Sign Language Recognition Through Technology Using Python And OpenCV
CN110334646A (zh) 一种基于ssd的单类别障碍物识别的检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination