CN114627546A - 跑步姿态的识别方法、装置和计算机设备 - Google Patents

跑步姿态的识别方法、装置和计算机设备 Download PDF

Info

Publication number
CN114627546A
CN114627546A CN202011349062.5A CN202011349062A CN114627546A CN 114627546 A CN114627546 A CN 114627546A CN 202011349062 A CN202011349062 A CN 202011349062A CN 114627546 A CN114627546 A CN 114627546A
Authority
CN
China
Prior art keywords
key point
current
pair
point pair
running
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011349062.5A
Other languages
English (en)
Inventor
栗晓燕
薇静初
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Yuandong Smart Sports Technology Co Ltd
Original Assignee
Guangzhou Yuandong Smart Sports Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Yuandong Smart Sports Technology Co Ltd filed Critical Guangzhou Yuandong Smart Sports Technology Co Ltd
Priority to CN202011349062.5A priority Critical patent/CN114627546A/zh
Priority to PCT/CN2020/139929 priority patent/WO2022110453A1/zh
Publication of CN114627546A publication Critical patent/CN114627546A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种跑步姿态的识别方法、装置和计算机设备，系统采集用户跑步时的下半身图像，然后调用底层骨架提取算法对下半身图像进行解析，从而得到多张关键点热力图。其中，单张关键点热力图对应单个关键点。系统对各关键点热力图进行解码，得到各关键点热力图分别对应的关键点坐标。最后，系统根据各关键点坐标生成当前关键点对，并将当前关键点对和基准关键点对进行比对，分析得到所述用户的跑步姿态。本申请中系统所采集的下半身图像包括用户的脚部图像，从而通过底层骨架提取算法解析得到包括了用户脚部的关键点热力图，增加了对用户跑步时脚部关键点的预测，进而可以分析得到用户的脚部姿态，使得最终识别到的跑步姿态更加全面和准确。

Description

跑步姿态的识别方法、装置和计算机设备
技术领域
本申请涉及姿态识别技术领域，特别涉及一种跑步姿态的识别方法、装置和计算机设备。
背景技术
随着跑步机进入大众的视野、成为越来越多人运动的便利选择时，正确的跑步姿态对用户的运动效果和形体塑造均具有重要的作用。现有针对用户在跑步机上跑步时的姿态识别，通常是借助计算机视觉对人体关键点进行提取，并进一步对关键点形成的人体姿态进行分析(比如通过低成本的普通RGB相机输出图像，对图像进行人体骨架关键点提取；或者通过Kinect等三维传感器捕捉人体深度信息，从而进一步地对人体建模，获得姿态信息)。但是，这类姿态识别方法通常无法通过仅有的下半身图像信息准确地提取下半身的骨架，对用户跑步姿态的识别准确度较低。
发明内容
本申请的主要目的为提供一种跑步姿态的识别方法、装置和计算机设备，旨在解决现有针对用户在跑步机上跑步时的姿态识别准确度较低的弊端。
为实现上述目的，本申请提供了一种跑步姿态的识别方法，包括：
采集用户跑步时的下半身图像，所述下半身图像包括脚部图像；
调用底层骨架提取算法对所述下半身图像进行解析，得到多张关键点热力图，单张关键点热力图对应单个关键点；
对各所述关键点热力图进行解码，得到各所述关键点热力图分别对应的关键点坐标；
根据各所述关键点坐标生成当前关键点对，并将所述当前关键点对和预先构建的基准关键点对进行比对，分析得到所述用户的跑步姿态。
本申请还提供了一种跑步姿态的识别装置，包括：
采集模块，用于采集用户跑步时的下半身图像，所述下半身图像包括脚部图像；
解析模块，用于调用底层骨架提取算法对所述下半身图像进行解析，得到多张关键点热力图，单张关键点热力图对应单个关键点；
解码模块，用于对各所述关键点热力图进行解码，得到各所述关键点热力图分别对应的关键点坐标；
分析模块，用于根据各所述关键点坐标生成当前关键点对，并将所述当前关键点对和预先构建的基准关键点对进行比对，分析得到所述用户的跑步姿态。
进一步的，所述解析模块，包括：
提取单元，用于将所述下半身图像输入编码器进行编码，提取得到语义特征，所述编码器由多个深度可分离卷积及一个空洞卷积组成；
预测单元，用于通过卷积层叠加，从所述语义特征中预测得到多张粗糙关键点热力图；
精炼单元，用于对各所述粗糙关键点热力图进行精炼，得到各所述关键点热力图。
进一步的，所述精炼单元，包括：
提取子单元，用于将所述粗糙关键点热力图通过空洞空间金字塔池化，提取得到二次关键点热力图；
细化子单元，用于基于全局的空间注意力机制对所述二次关键点热力图进行细化，得到所述关键点热力图。
进一步的，所述解码模块，包括：
第一计算单元，用于使用波峰取点法分别对各所述关键点热力图进行计算，得到各所述关键点热力图各自对应的高斯点峰值；
判断单元，用于判断各所述关键点热力图各自对应的高斯点峰值是否为一个；
标记单元，用于若各所述关键点热力图各自对应的高斯点峰值为一个，则将所述高斯点峰值所在的坐标，作为对应的所述关键点坐标。
进一步的，所述解码模块，还包括：
筛选单元，用于若各所述关键点热力图各自对应的高斯点峰值为多个，则从多个所述高斯点峰值中筛选出第一高斯点峰值和第二高斯点峰值，所述第一高斯点峰值为最大高斯点峰值，所述第二高斯点峰值仅小于所述第一高斯点峰值；
第二计算单元，用于计算计算所述第一高斯点峰值的坐标与所述第二高斯点峰值的坐标之间的距离；
调整单元，用于根据所述距离对所述第一高斯点峰值在X方向上和Y方向上的坐标值进行偏移调整，得到所述关键点热力图对应的所述关键点坐标。
进一步的，各所述关键点坐标包括腿型关键点坐标和脚型关键点坐标，所述基准关键点对包括预设腿型关键点对和预设脚型关键点对，所述当前关键点对包括当前腿型关键点对和当前脚型关键点对，所述跑步姿态包括跑步腿型和跑步脚型，所述分析模块，包括：
构建单元，用于根据各所述腿型关键点坐标构建所述当前腿型关键点对，并根据各所述脚型关键点坐标构建所述当前脚型关键点对；
比对单元，用于将所述当前腿型关键点对与所述预设腿型关键点对进行比对，计算得到在垂直方向上的第一夹角信息；并将所述当前脚型关键点对与所述预设腿型关键点对进行比对，计算得到在垂直方向上的第二夹角信息；
分析单元，用于根据所述第一夹角信息与第一角度阈值分析得到所述跑步腿型，并根据所述第二夹角信息与第二角度阈值分析得到所述跑步脚型脚。
进一步的，所述预设腿型关键点对包括预设左大腿关键点对、预设右大腿关键点对、预设左小腿关键点对和预设右小腿关键点对；
所述当前腿型关键点对包括当前左大腿关键点对、当前右大腿关键点对、当前左小腿关键点对和当前右小腿关键点对；
所述第一夹角信息包括所述当前左大腿关键点对与所述预设左大腿关键点对之间的夹角a1、所述当前右大腿关键点对与所述预设右大腿关键点对之间的夹角a2、所述当前左小腿关键点对与所述预设左小腿关键点对之间的夹角a3、所述当前右小腿关键点对与所述预设右小腿关键点对之间的夹角a4；
所述第一角度阈值为ε；
所述分析单元包括：第一分析子单元，用于当a1>ε°、a2>-ε°、a3>-ε°且a4>ε°时，判定所述跑步腿型为X型腿。
进一步的所述预设脚型关键点对包括预设左脚掌关键点对和预设右脚掌关键点对；
所述当前脚型关键点对包括当前左脚掌关键点对和当前右脚掌关键点对；
所述第二夹角信息包括所述当前左脚掌关键点对与所述预设左脚掌关键点对之间的夹角b1、所述当前右脚掌关键点对与所述预设右脚掌关键点对之间的夹角b2；
所述第二角度阈值为β；
所述分析单元还包括：第二分析子单元，用于当b1>β°且b2>-β°时，判定所述跑步脚型为内八脚。
进一步的，所述识别装置，还包括：
输出模块，用于根据所述当前腿型关键点对、所述当前脚型关键点对、所述跑步腿型和所述跑步脚型生成跑步姿态分析信息，实时输出到显示界面。
本申请还提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。
本申请还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。
本申请中提供的一种跑步姿态的识别方法，跑步机采集用户跑步时的下半身图像，然后调用底层骨架提取算法对下半身图像进行解析，从而得到多张关键点热力图。其中，单张关键点热力图对应单个关键点。跑步机对各关键点热力图进行解码，得到各关键点热力图分别对应的关键点坐标。最后，跑步机根据各关键点坐标生成当前关键点对，并将当前关键点对和预先构建的基准关键点对进行比对，分析得到所述用户的跑步姿态。本申请中跑步机所采集的下半身图像包括用户的脚部图像，从而通过底层骨架提取算法解析得到包括了用户脚部的关键点热力图，增加了对用户跑步时脚部关键点的预测，进而可以分析得到用户的脚部姿态，使得最终识别到的跑步姿态更加全面和准确。
附图说明
图1是本申请一实施例中跑步姿态的识别方法步骤示意图；
图2是本申请一实施例中跑步姿态的识别装置整体结构框图；
图3a—3d是本申请一实施例中关键点对的结构示意图；
图4是本申请一实施例的计算机设备的结构示意框图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
参照图1、图3a、3b，本申请一实施例中提供了一种跑步姿态的识别方法，包括：
S1:采集用户跑步时的下半身图像，所述下半身图像包括脚部图像；
S2:调用底层骨架提取算法对所述下半身图像进行解析，得到多张关键点热力图，单张关键点热力图对应单个关键点；
S3:对各所述关键点热力图进行解码，得到各所述关键点热力图分别对应的关键点坐标；
S4:根据各所述关键点坐标生成当前关键点对，并将所述当前关键点对和预先构建的基准关键点对进行比对，分析得到所述用户的跑步姿态。
本实施例中，跑步姿态的识别方法具体应用于跑步机，跑步机的控制系统(以下简称系统)通过摄像头实时捕捉用户跑步时的下半身图像，该下半身图像涵盖了从髋骨、膝盖、脚踝、最后到脚尖的人体下半身。系统调用底层骨架提取算法对捕捉到的下半身图像进行解析，从而得到多张关键点热力图，其中，单张关键点热力图对应单个关键点(比如关键点为左髋骨对应关键点热力图A，关键点为右髋骨对应关键点热力图B)。具体地，为了保证实时性，系统将下半身图像输入轻量型的编码器进行编码，提取得到对应的语义特征。再通过简单的卷积层叠加，从提取到的语义特征中预测得到多张粗糙的关键点热力图(每张粗糙的关键点热力图同样对应一个关键点)。系统通过级联空洞空间金字塔池化和加入全局的空间注意力机制对各张粗糙的关键点热力图进行精炼，得到各自对应的准确的关键点热力图。系统使用波峰取点法分别对各张关键点热力图进行计算，得到各关键点热力图各自对应的高斯点峰值，系统判断各张关键点热力图是否均为存在一个高斯点峰值，如果各张关键点热力图均为存在一个高斯点峰值，则高斯点峰值所在的坐标，即为对应的关键点热力图所对应的关键点在原图(即下半身图像)中的坐标。因此，系统将各高斯点峰值所在的坐标作为对应的关键点的坐标(即关键点坐标)，各个关键点分别对应的关键点坐标组成关键点坐标信息。系统根据各个关键点坐标生成当前关键点对，并将当前关键点对和预先构建的基准关键点对(基准关键点对有开发人员预先构建后存储在跑步机的内部数据库中，作为基准信息)进行比对，分析得到用户的跑步姿态。具体地，关键点坐标信息包括多个腿型关键点坐标(左髋骨关键点坐标、右髋骨关键点坐标、左膝盖关键点坐标、右膝盖关键点坐标、左脚踝关键点坐标和右脚踝关键点坐标)和多个脚型关键点坐标(左脚踝关键点坐标、右脚踝关键点坐标、左脚尖关键点坐标和右脚尖关键点坐标)；基准关键点对包括与正常腿型骨架对应的预设腿型关键点对、与正常脚型骨架对应的预设脚型关键点对；当前关键点对包括当前脚型关键点对和当前腿型关键点对，跑步姿态包括跑步腿型和跑步脚型。系统根据各个腿型关键点坐标构建用户的当前腿型关键点对，即根据左髋骨关键点坐标、左膝盖关键点坐标和左脚踝关键点坐标构建用户左腿的腿型关键点对，与用户当前的左腿骨架形状对应；根据右髋骨关键点坐标、右膝盖关键点坐标和右脚踝关键点坐标构建用户右腿的腿型关键点对，与用户当前的右腿骨架形状对应。同时，系统还根据各个脚型关键点坐标构建用户的当前脚型关键点对，即根据左脚踝关键点坐标和左脚尖关键点坐标构建用户左脚掌的脚型关键点对，与用户当前的左脚掌骨架形状对应；根据右脚踝关键点坐标和右脚尖关键点坐标构建用户右脚掌的脚型关键点对，与用户当前的右脚掌骨架形状对应。系统将当前腿型关键点对与对应的预设腿型关键点对进行比对，计算得到两者在垂直方向上的第一夹角信息(包括对应用户当前左大腿骨架的左大腿关键点对与对应正常左大腿骨架的预设左大腿关键点之间的夹角a1、对应户当前右大腿骨架的右大腿关键点对与对应正常右大腿骨架的预设右大腿关键点之间的夹角a2、对应用户当前左小腿骨架的左小腿关键点对与对应正常左小腿骨架的预设左小腿关键点之间的夹角a3、对应户当前右小腿骨架的右小腿关键点对与对应正常右小腿骨架的预设右小腿关键点之间的夹角a4)；并将当前脚型关键点对与预设腿型关键点对进行比对，计算得到两者在垂直方向上的第二夹角信息(包括对应用户当前左脚掌骨架的左脚掌关键点对与对应正常左脚掌骨架的预设左脚掌关键点之间的夹角b1、对应用户当前右脚掌骨架的右脚掌关键点对与对应正常右脚掌骨架的预设右脚掌关键点之间的夹角b2)。系统根据第一夹角信息与第一角度阈值之间的大小关系，分析得到用户当前的跑步腿型；并根据第二夹角信息与第二角度阈值之间的大小关系，分析得到用户当前的跑步脚型。比如，当a1>ε°、a2>-ε°、a3>-ε°且a4>ε°时，系统判定用户当前的跑步腿型为X型腿(如图3b所示)；当a1∈(-ε°，ε°)、a2∈(-ε°，ε°)、a3>-ε°且a4>ε°时，系统判定用户当前的跑步腿型为XO型腿。系统综合跑步腿型和跑步脚型，得到用户的跑步姿态。
本实施例提供的一种跑步姿态的识别方法，系统采集用户跑步时的下半身图像，然后调用底层骨架提取算法对下半身图像进行解析，从而得到多张关键点热力图。其中，单张关键点热力图对应单个关键点。系统对各关键点热力图进行解码，得到各关键点热力图分别对应的关键点坐标。最后，系统根据各关键点坐标生成当前关键点对，并将当前关键点对和预先构建的基准关键点对进行比对，分析得到所述用户的跑步姿态。本申请中系统所采集的下半身图像包括用户的脚部图像，从而通过底层骨架提取算法解析得到包括了用户脚部的关键点热力图，增加了对用户跑步时脚部关键点的预测，进而可以分析得到用户的脚部姿态，使得最终识别到的跑步姿态更加全面和准确。
进一步的，所述调用底层骨架提取算法对所述下半身图像进行解析，得到多张关键点热力图的步骤，包括：
S201:将所述下半身图像输入编码器进行编码，提取得到语义特征，所述编码器由多个深度可分离卷积及一个空洞卷积组成；
S202:通过卷积层叠加，从所述语义特征中预测得到多张粗糙关键点热力图；
S203:对各所述粗糙关键点热力图进行精炼，得到各所述关键点热力图。
本实施例中，为了保证对用户跑步姿态识别的实时性，系统将捕捉的下半身图像输入轻量型的编码器中进行编码。其中，该编码器由多个深度可分离卷积及一个空洞卷积组成，通过以上卷积层进行编码，进而从下半身图像中获得对应的语义特征(语义特征通过网络的学习最终可以从包含了复杂背景的图片中捕捉到人体的语义信息)。在每张关键点热力图生成的初始阶段，通过简单的卷积层叠加，系统从上一步骤提取的语义特征中预测得到粗糙关键点热力图。为了提高关键点热力图的准确度，系统首先将粗糙关键点热力图通过空洞空间金字塔池化，提取得到二次关键点热力图。然后，基于全局的空间注意力机制对二次关键点热力图进行细化，得到准确的关键点热力图。本实施例的编码器由多个深度可分离卷积及一个空洞卷积组成，属于轻量型的编码器，从而能够提高对信息的处理速度。并且，通过对粗糙关键点热力图进行空洞空间金字塔池化、基于全局的空间注意力机制，能够提高对最后提取得到的关键点热力图的准确度。
进一步的，所述对各所述粗糙关键点热力图进行精炼，得到各所述关键点热力图的步骤中，单张粗糙关键点热力图的精炼步骤包括：
S2031:将所述粗糙关键点热力图通过空洞空间金字塔池化，提取得到二次关键点热力图；
S2032:基于全局的空间注意力机制对所述二次关键点热力图进行细化，得到所述关键点热力图。
本实施例中，系统在粗糙关键点热力图的基础上对其进行精炼，首先为了充分利用粗糙关键点热力图中的信息，并且保证实时性的情况下，通过对空洞空间金字塔池化(ASPP)进行级联来获得更大的感受野，从而提取得到更加有效的信息，即二次关键点热力图。并且，为了忽略复杂背景等干扰因素的影响，在每个ASPP模块的末端加入全局的空间注意力机制，不断对提取得到的更加有效的信息(二次关键点热力图)进行细化，从而获得更加准确的关键点热力图，即关键点热力图。本实施例通过对空洞空间金字塔池化进行联级，能够获得更大的感受野，从而提取更加有效的信息。在此基础上，在每个空洞空间金字塔池化模块的末端加入基于全局的空间注意力机制，能够对二次关键点热力图进行细化，从而得到更加准确的关键点热力图。
进一步的，对各所述关键点热力图进行解码，得到各所述关键点热力图分别对应的关键点坐标的步骤，包括：
S301:使用波峰取点法分别对各所述关键点热力图进行计算，得到各所述关键点热力图各自对应的高斯点峰值；
S302:判断各所述关键点热力图各自对应的高斯点峰值是否为一个；
S303:若各所述关键点热力图各自对应的高斯点峰值为一个，则将各所述高斯点峰值所在的坐标，作为对应的所述关键点坐标。
本实施例中，单张关键点热力图对应单个关键点(比如关键点为左髋骨对应关键点热力图A，关键点为右髋骨对应关键点热力图B)，系统采用波峰取点法，分别对每张关键点热力图进行计算，从而获取得到各张关键点热力图各自对应的高斯点峰值。由于关键点热力图中可能存在不止一个高斯点峰值，因此系统需要先判断各张关键点热力图各自对应的高斯点峰值是否仅为一个。如果每张关键点热力图均为仅存在一个高斯点峰值，则高斯点峰值所在的坐标，即为该关键点热力图对应关键点在原图中的坐标。因此，系统将各个高斯点峰值所在的坐标直接作为对应的关键点的关键点坐标，从而组合得到关键点坐标信息。本实施例通过对每张关键点热力图各自对应的高斯点峰值的个数识别，在单张关键点热力图对应的高斯点峰值的个数仅为一个的情况下，选定高斯点峰值所在的坐标为关键点坐标，确保了选定后的关键点坐标的准确度。
进一步的，所述判断各所述关键点热力图各自对应的高斯点峰值是否为一个的步骤之后，还包括：
S304:若各所述关键点热力图各自对应的高斯点峰值为多个，则从多个所述高斯点峰值中筛选出第一高斯点峰值和第二高斯点峰值，所述第一高斯点峰值为最大高斯点峰值，所述第二高斯点峰值仅小于所述第一高斯点峰值；
S305:计算所述第一高斯点峰值的坐标与所述第二高斯点峰值的坐标之间的距离；
S306:根据所述距离对所述第一高斯点峰值在X方向上和Y方向上的坐标值进行偏移调整，得到所述关键点热力图对应的所述关键点坐标。
本实施例中，如果某张关键点热力图中存在多个高斯点峰值，则系统遍历该关键点热力图所对应的所有高斯点峰值，从而筛选出最大值的第一高斯点峰值，并保存与第一高斯点峰值存在交叠第二高斯点峰值。系统根据两者之间的坐标进行计算，得到第一高斯点峰值的坐标和第二高斯点峰值的坐标的距离，从而使得系统可以借助第二高斯点峰值的坐标对第一高斯点峰值的坐标进行微调，以获得更加精确的关键点坐标。具体地，系统根据上述计算得到的距离，在X方向上，取X方向上的偏移量(即上述第一高斯点的峰值坐标和第二高斯点的峰值坐标的距离)的1/4调整第一高斯点的峰值坐标中X的值；Y方向上，取Y方向上的偏移量的1/4调整第一高斯点的峰值坐标中Y的值。本实施例通计算出第一高斯点峰值的坐标和第二高斯点峰值的坐标之间的距离作为偏移量，再基于偏移量对第一高斯点峰值的坐标进行调整，从而使得最终获得关键点坐标的准确度更高。
参照图3a—3d，进一步的，各所述关键点坐标包括腿型关键点坐标和脚型关键点坐标，所述基准关键点对包括预设腿型关键点对和预设脚型关键点对，所述当前关键点对包括当前腿型关键点对和当前脚型关键点对，所述跑步姿态包括跑步腿型和跑步脚型，所述根据各所述关键点坐标生成当前关键点对，并将所述当前关键点对和预先构建的基准关键点对进行比对，分析得到所述用户的跑步姿态的步骤，包括：
S401:根据各所述腿型关键点坐标构建所述当前腿型关键点对，并根据各所述脚型关键点坐标构建所述当前脚型关键点对；
S402:将所述当前腿型关键点对与所述预设腿型关键点对进行比对，计算得到在垂直方向上的第一夹角信息；并将所述当前脚型关键点对与所述预设腿型关键点对进行比对，计算得到在垂直方向上的第二夹角信息；
S403:根据所述第一夹角信息与第一角度阈值分析得到所述跑步腿型，并根据所述第二夹角信息与第二角度阈值分析得到所述跑步脚型。
优选的，所述预设腿型关键点对包括预设左大腿关键点对、预设右大腿关键点对、预设左小腿关键点对和预设右小腿关键点对；
所述当前腿型关键点对包括当前左大腿关键点对、当前右大腿关键点对、当前左小腿关键点对和当前右小腿关键点对；
所述第一夹角信息包括所述当前左大腿关键点对与所述预设左大腿关键点对之间的夹角a1、所述当前右大腿关键点对与所述预设右大腿关键点对之间的夹角a2、所述当前左小腿关键点对与所述预设左小腿关键点对之间的夹角a3、所述当前右小腿关键点对与所述预设右小腿关键点对之间的夹角a4；
所述第一角度阈值为ε；
所述根据所述第一夹角信息与第一角度阈值分析得到所述跑步腿型的步骤，包括：
S4031:当a1>ε°、a2>-ε°、a3>-ε°且a4>ε°时，判定所述跑步腿型为X型腿。
优选的，所述预设脚型关键点对包括预设左脚掌关键点对和预设右脚掌关键点对；
所述当前脚型关键点对包括当前左脚掌关键点对和当前右脚掌关键点对；
所述第二夹角信息包括所述当前左脚掌关键点对与所述预设左脚掌关键点对之间的夹角b1、所述当前右脚掌关键点对与所述预设右脚掌关键点对之间的夹角b2；
所述第二角度阈值为β；
所述根据所述第二夹角信息与第二角度阈值分析得到所述跑步脚型的步骤，包括：
S4032:当b1>β°且b2>-β°时，判定所述跑步脚型为内八脚。
本实施例中，关键点坐标信息包括多个腿型关键点坐标(左髋骨关键点坐标、右髋骨关键点坐标、左膝盖关键点坐标、右膝盖关键点坐标、左脚踝关键点坐标和右脚踝关键点坐标)和多个脚型关键点坐标(左脚踝关键点坐标、右脚踝关键点坐标、左脚尖关键点坐标和右脚尖关键点坐标)；预先构建的基准关键点对包括与正常腿型骨架对应的预设腿型关键点对(如图3a所示)、与正常脚型骨架对应的预设脚型关键点对(如图3c所示)；当前关键点对包括当前脚型关键点对和当前腿型关键点对，跑步姿态包括跑步腿型和跑步脚型。系统根据各个腿型关键点坐标构建用户的当前腿型关键点对，即根据左髋骨关键点坐标、左膝盖关键点坐标和左脚踝关键点坐标构建用户左腿的腿型关键点对，与用户当前的左腿骨架形状对应；根据右髋骨关键点坐标、右膝盖关键点坐标和右脚踝关键点坐标构建用户右腿的腿型关键点对，与用户当前的右腿骨架形状对应。同时，系统还根据各个脚型关键点坐标构建用户的当前脚型关键点对，即根据左脚踝关键点坐标和左脚尖关键点坐标构建用户左脚掌的脚型关键点对，与用户当前的左脚掌骨架形状对应；根据右脚踝关键点坐标和右脚尖关键点坐标构建用户右脚掌的脚型关键点对，与用户当前的右脚掌骨架形状对应。系统将当前腿型关键点对与对应的预设腿型关键点对进行比对，计算得到两者在垂直方向上的第一夹角信息(包括对应用户当前左大腿骨架的左大腿关键点对与对应正常左大腿骨架的预设左大腿关键点之间的夹角a1、对应户当前右大腿骨架的右大腿关键点对与对应正常右大腿骨架的预设右大腿关键点之间的夹角a2、对应用户当前左小腿骨架的左小腿关键点对与对应正常左小腿骨架的预设左小腿关键点之间的夹角a3、对应户当前右小腿骨架的右小腿关键点对与对应正常右小腿骨架的预设右小腿关键点之间的夹角a4)；并将当前脚型关键点对与预设腿型关键点对进行比对，计算得到两者在垂直方向上的第二夹角信息(包括对应用户当前左脚掌骨架的左脚掌关键点对与对应正常左脚掌骨架的预设左脚掌关键点之间的夹角b1、对应用户当前右脚掌骨架的右脚掌关键点对与对应正常右脚掌骨架的预设右脚掌关键点之间的夹角b2)。系统根据第一夹角信息与第一角度阈值之间的大小关系，分析得到用户当前的跑步腿型；并根据第二夹角信息与第二角度阈值之间的大小关系，分析得到用户当前的跑步脚型。具体地，第一角度阈值为ε，当a1>ε°、a2>-ε°、a3>-ε°且a4>ε°时，系统判定用户当前的跑步腿型为X型腿(如图3a所示)；当a1>-ε°、a2>ε°、a3>ε°且a4>-ε°时，系统判定用户当前的跑步腿型为X型腿；当a1∈(-ε°，ε°)、a2∈(-ε°，ε°)、a3>-ε°且a4>ε°时，系统判定用户当前的跑步腿型为XO型腿；其余情况则判定为正常腿型。第二角度阈值为β，当b1>β°且b2>-β°时，系统判定用户当前的跑步脚型为内八脚(如图3d所示)；当b1>-β°且b2>β°时，系统判定用户当前的跑步脚型为外八脚；其余情况则判定为正常脚型。本实施例基于当前腿型关键点对与预设腿型关键点计算得到两者之间的第一夹角信息，以及基于当前脚型关键点对与预设腿型关键点对计算得到两者之间的第二夹角信息。再将第一夹角信息与第一角度阈值、第二夹角信息与第二角度阈值进行大小比对，从而准确识别到用户的跑步姿态。
进一步的，所述根据各所述关键点坐标生成当前关键点对，并将所述当前关键点对和预先构建的基准关键点对进行比对，分析得到所述用户的跑步姿态的步骤之后，包括：
S5:根据所述当前腿型关键点对、所述当前脚型关键点对、所述跑步腿型和所述跑步脚型生成跑步姿态分析信息，实时输出到显示界面。
本实施例中，跑步姿态分析信息包括用户跑步时的下半身的骨架姿态的图像以及上述分析得到的跑步姿态。系统根据当前腿型关键点对和当前脚型关键点对生成用户跑步时下半身骨架姿态的图像(包括腿部图像和脚部图像)，同时将分析得到的跑步腿型(比如为正常腿型或X型腿)和跑步脚型(比如正常脚型或外八脚)作为文字信息，实时输出到系统的显示界面(比如跑步机的显示屏)，从而为健身用户直观地提供跑步时的姿态信息。本实施例使得用户可以通过跑步姿态分析信息实时对自身的跑步姿态进行调整，提高健身效果。
参照图2、图3a、3b，本申请一实施例中还提供了一种跑步姿态的识别装置，包括：
采集模块1，用于采集用户跑步时的下半身图像，所述下半身图像包括脚部图像；
解析模块2，用于调用底层骨架提取算法对所述下半身图像进行解析，得到多张关键点热力图，单张关键点热力图对应单个关键点；
解码模块3，用于对各所述关键点热力图进行解码，得到各所述关键点热力图分别对应的关键点坐标；
分析模块4，用于根据各所述关键点坐标生成当前关键点对，并将所述当前关键点对和预先构建的基准关键点对进行比对，分析得到所述用户的跑步姿态。
进一步的，所述解析模块2，包括：
提取单元，用于将所述下半身图像输入编码器进行编码，提取得到语义特征，所述编码器由多个深度可分离卷积及一个空洞卷积组成；
预测单元，用于通过卷积层叠加，从所述语义特征中预测得到多张粗糙关键点热力图；
精炼单元，用于对各所述粗糙关键点热力图进行精炼，得到各所述关键点热力图。
进一步的，所述精炼单元，包括：
提取子单元，用于将所述粗糙关键点热力图通过空洞空间金字塔池化，提取得到二次关键点热力图；
细化子单元，用于基于全局的空间注意力机制对所述二次关键点热力图进行细化，得到所述关键点热力图。
进一步的，所述解码模块3，包括：
第一计算单元，用于使用波峰取点法分别对各所述关键点热力图进行计算，得到各所述关键点热力图各自对应的高斯点峰值；
判断单元，用于判断各所述关键点热力图各自对应的高斯点峰值是否为一个；
标记单元，用于若各所述关键点热力图各自对应的高斯点峰值为一个，则将所述高斯点峰值所在的坐标，作为对应的所述关键点坐标。
进一步的，所述解码模块3，还包括：
筛选单元，用于若各所述关键点热力图各自对应的高斯点峰值为多个，则从多个所述高斯点峰值中筛选出第一高斯点峰值和第二高斯点峰值，所述第一高斯点峰值为最大高斯点峰值，所述第二高斯点峰值仅小于所述第一高斯点峰值；
第二计算单元，用于计算所述第一高斯点峰值的坐标与所述第二高斯点峰值的坐标之间的距离；
调整单元，用于根据所述距离对所述第一高斯点峰值在X方向上和Y方向上的坐标值进行偏移调整，得到所述关键点热力图对应的所述关键点坐标标。
参照图3a—3d，进一步的，各所述关键点坐标包括腿型关键点坐标和脚型关键点坐标，所述基准关键点对包括预设腿型关键点对和预设脚型关键点对，所述当前关键点对包括当前腿型关键点对和当前脚型关键点对，所述跑步姿态包括跑步腿型和跑步脚型，所述分析模块4，包括：
构建单元，用于根据各所述腿型关键点坐标构建所述当前腿型关键点对，并根据各所述脚型关键点坐标构建所述当前脚型关键点对；
比对单元，用于将所述当前腿型关键点对与所述预设腿型关键点对进行比对，计算得到在垂直方向上的第一夹角信息；并将所述当前脚型关键点对与所述预设腿型关键点对进行比对，计算得到在垂直方向上的第二夹角信息；
分析单元，用于根据所述第一夹角信息与第一角度阈值分析得到所述跑步腿型，并根据所述第二夹角信息与第二角度阈值分析得到所述跑步脚型。
进一步的，所述预设腿型关键点对包括预设左大腿关键点对、预设右大腿关键点对、预设左小腿关键点对和预设右小腿关键点对；
所述当前腿型关键点对包括当前左大腿关键点对、当前右大腿关键点对、当前左小腿关键点对和当前右小腿关键点对；
所述第一夹角信息包括所述当前左大腿关键点对与所述预设左大腿关键点对之间的夹角a1、所述当前右大腿关键点对与所述预设右大腿关键点对之间的夹角a2、所述当前左小腿关键点对与所述预设左小腿关键点对之间的夹角a3、所述当前右小腿关键点对与所述预设右小腿关键点对之间的夹角a4；
所述第一角度阈值为ε；
所述分析单元包括：第一分析子单元，用于当a1>ε°、a2>-ε°、a3>-ε°且a4>ε°时，判定所述跑步腿型为X型腿。
进一步的所述预设脚型关键点对包括预设左脚掌关键点对和预设右脚掌关键点对；
所述当前脚型关键点对包括当前左脚掌关键点对和当前右脚掌关键点对；
所述第二夹角信息包括所述当前左脚掌关键点对与所述预设左脚掌关键点对之间的夹角b1、所述当前右脚掌关键点对与所述预设右脚掌关键点对之间的夹角b2；
所述第二角度阈值为β；
所述分析单元还包括：第二分析子单元，用于当b1>β°且b2>-β°时，判定所述跑步脚型为内八脚。
进一步的，所述识别装置，还包括：
输出模块5，用于根据所述当前腿型关键点对、所述当前脚型关键点对、所述跑步腿型和所述跑步脚型生成跑步姿态分析信息，实时输出到显示界面。
本实施例中，识别装置各模块、单元以及子单元用于对应执行与上述跑步姿态的识别方法中的各个步骤，其具体实施过程在此不做详述
本实施例提供的一种跑步姿态的识别装置，识别装置采集用户跑步时的下半身图像，然后调用底层骨架提取算法对下半身图像进行解析，从而得到多张关键点热力图。其中，单张关键点热力图对应单个关键点。识别装置对各关键点热力图进行解码，得到各关键点热力图分别对应的关键点坐标。最后，识别装置根据各关键点坐标生成当前关键点对，并将当前关键点对和预先构建的基准关键点对进行比对，分析得到所述用户的跑步姿态。本申请中识别装置所采集的下半身图像包括用户的脚部图像，从而通过底层骨架提取算法解析得到包括了用户脚部的关键点热力图，增加了对用户跑步时脚部关键点的预测，进而可以分析得到用户的脚部姿态，使得最终识别到的跑步姿态更加全面和准确。
参照图3，本申请实施例中还提供一种计算机设备，该计算机设备可以是服务器，其内部结构可以如图3所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储预先构建的基准关键点对等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种跑步姿态的识别方法。
上述处理器执行上述跑步姿态的识别方法的步骤：
S1:采集用户跑步时的下半身图像，所述下半身图像包括脚部图像；
S2:调用底层骨架提取算法对所述下半身图像进行解析，得到多张关键点热力图，单张关键点热力图对应单个关键点；
S3:对各所述关键点热力图进行解码，得到各所述关键点热力图分别对应的关键点坐标；
S4:根据各所述关键点坐标生成当前关键点对，并将所述当前关键点对和预先构建的基准关键点对进行比对，分析得到所述用户的跑步姿态。
进一步的，所述调用底层骨架提取算法对所述下半身图像进行解析，得到多张关键点热力图的步骤，包括：
S201:将所述下半身图像输入编码器进行编码，提取得到语义特征，所述编码器由多个深度可分离卷积及一个空洞卷积组成；
S202:通过卷积层叠加，从所述语义特征中预测得到多张粗糙关键点热力图；
S203:对各所述粗糙关键点热力图进行精炼，得到各所述关键点热力图。
进一步的，所述对各所述粗糙关键点热力图进行精炼，得到各所述关键点热力图的步骤中，单张粗糙关键点热力图的精炼步骤包括：
S2031:将所述粗糙关键点热力图通过空洞空间金字塔池化，提取得到二次关键点热力图；
S2032:基于全局的空间注意力机制对所述二次关键点热力图进行细化，得到所述关键点热力图。
进一步的，对各所述关键点热力图进行解码，得到各所述关键点热力图分别对应的关键点坐标的步骤，包括：
S301:使用波峰取点法分别对各所述关键点热力图进行计算，得到各所述关键点热力图各自对应的高斯点峰值；
S302:判断各所述关键点热力图各自对应的高斯点峰值是否为一个；
S303:若各所述关键点热力图各自对应的高斯点峰值为一个，则将各所述高斯点峰值所在的坐标，作为对应的所述关键点坐标。
进一步的，所述判断各所述关键点热力图各自对应的高斯点峰值是否为一个的步骤之后，还包括：
S304:若各所述关键点热力图各自对应的高斯点峰值为多个，则从多个所述高斯点峰值中筛选出第一高斯点峰值和第二高斯点峰值，所述第一高斯点峰值为最大高斯点峰值，所述第二高斯点峰值仅小于所述第一高斯点峰值；
S305:计算所述第一高斯点峰值的坐标与所述第二高斯点峰值的坐标之间的距离；
S306:根据所述距离对所述第一高斯点峰值在X方向上和Y方向上的坐标值进行偏移调整，得到所述关键点热力图对应的所述关键点坐标。
参照图3a—3d，进一步的，各所述关键点坐标包括腿型关键点坐标和脚型关键点坐标，所述基准关键点对包括预设腿型关键点对和预设脚型关键点对，所述当前关键点对包括当前腿型关键点对和当前脚型关键点对，所述跑步姿态包括跑步腿型和跑步脚型，所述根据各所述关键点坐标生成当前关键点对，并将所述当前关键点对和预先构建的基准关键点对进行比对，分析得到所述用户的跑步姿态的步骤，包括：
S401:根据各所述腿型关键点坐标构建所述当前腿型关键点对，并根据各所述脚型关键点坐标构建所述当前脚型关键点对；
S402:将所述当前腿型关键点对与所述预设腿型关键点对进行比对，计算得到在垂直方向上的第一夹角信息；并将所述当前脚型关键点对与所述预设腿型关键点对进行比对，计算得到在垂直方向上的第二夹角信息；
S403:根据所述第一夹角信息与第一角度阈值分析得到所述跑步腿型，并根据所述第二夹角信息与第二角度阈值分析得到所述跑步脚型。
优选的，所述预设腿型关键点对包括预设左大腿关键点对、预设右大腿关键点对、预设左小腿关键点对和预设右小腿关键点对；
所述当前腿型关键点对包括当前左大腿关键点对、当前右大腿关键点对、当前左小腿关键点对和当前右小腿关键点对；
所述第一夹角信息包括所述当前左大腿关键点对与所述预设左大腿关键点对之间的夹角a1、所述当前右大腿关键点对与所述预设右大腿关键点对之间的夹角a2、所述当前左小腿关键点对与所述预设左小腿关键点对之间的夹角a3、所述当前右小腿关键点对与所述预设右小腿关键点对之间的夹角a4；
所述第一角度阈值为ε；
所述根据所述第一夹角信息与第一角度阈值分析得到所述跑步腿型的步骤，包括：
S4031:当a1>ε°、a2>-ε°、a3>-ε°且a4>ε°时，判定所述跑步腿型为X型腿。
优选的，所述预设脚型关键点对包括预设左脚掌关键点对和预设右脚掌关键点对；
所述当前脚型关键点对包括当前左脚掌关键点对和当前右脚掌关键点对；
所述第二夹角信息包括所述当前左脚掌关键点对与所述预设左脚掌关键点对之间的夹角b1、所述当前右脚掌关键点对与所述预设右脚掌关键点对之间的夹角b2；
所述第二角度阈值为β；
所述根据所述第二夹角信息与第二角度阈值分析得到所述跑步脚型的步骤，包括：
S4032:当b1>β°且b2>-β°时，判定所述跑步脚型为内八脚。
进一步的，所述根据各所述关键点坐标生成当前关键点对，并将所述当前关键点对和预先构建的基准关键点对进行比对，分析得到所述用户的跑步姿态的步骤之后，包括：
S5:根据所述当前腿型关键点对、所述当前脚型关键点对、所述跑步腿型和所述跑步脚型生成跑步姿态分析信息，实时输出到显示界面。
本申请一实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现一种跑步姿态的识别方法，所述跑步姿态的识别方法具体为：
S1:采集用户跑步时的下半身图像；
S2:调用底层骨架提取算法对所述下半身图像进行解析，得到多张关键点热力图，单张关键点热力图对应单个关键点；
S3:对各所述关键点热力图进行解码，得到各所述关键点热力图分别对应的关键点坐标；
S4:根据各所述关键点坐标生成当前关键点对，并将所述当前关键点对和预先构建的基准关键点对进行比对，分析得到所述用户的跑步姿态。
进一步的，所述调用底层骨架提取算法对所述下半身图像进行解析，得到多张关键点热力图的步骤，包括：
S201:将所述下半身图像输入编码器进行编码，提取得到语义特征；
S202:通过卷积层叠加，从所述语义特征中预测得到多张粗糙关键点热力图；
S203:对各所述粗糙关键点热力图进行精炼，得到各所述关键点热力图。
进一步的，所述对各所述粗糙关键点热力图进行精炼，得到各所述关键点热力图的步骤中，单张粗糙关键点热力图的精炼步骤包括：
S2031:将所述粗糙关键点热力图通过空洞空间金字塔池化，提取得到二次关键点热力图；
S2032:基于全局的空间注意力机制对所述二次关键点热力图进行细化，得到所述关键点热力图。
进一步的，对各所述关键点热力图进行解码，得到各所述关键点热力图分别对应的关键点坐标的步骤，包括：
S301:使用波峰取点法分别对各所述关键点热力图进行计算，得到各所述关键点热力图各自对应的高斯点峰值；
S302:判断各所述关键点热力图是否均为仅存在一个高斯点峰值；
S303:若各所述关键点热力图均为仅存在一个高斯点峰值，则将各所述高斯点峰值所在的坐标，作为对应的所述关键点的所述关键点坐标。
进一步的，所述判断各所述关键点热力图是否均为仅存在一个高斯点峰值的步骤之后，包括：
S304:若所述关键点热力图存在多个高斯点峰值，则从各所述高斯点峰值中筛选出最大值的第一高斯点，以及与所述第一高斯点交叠的第二高斯点，所述第二高斯点对应的高斯点峰值仅小于所述第一高斯点对应的高斯点峰值；
S305:计算所述第一高斯点的峰值坐标与所述第二高斯点的峰值坐标之间的距离；
S306:根据所述距离对所述第一高斯点的峰值坐标进行调整，得到所述关键点热力图对应的所述关键点坐标。
参照图3a—3d，进一步的，各所述关键点坐标包括腿型关键点坐标和脚型关键点坐标，所述基准关键点对包括预设腿型关键点对和预设脚型关键点对，所述当前关键点对包括当前腿型关键点对和当前脚型关键点对，所述跑步姿态包括跑步腿型和跑步脚型，所述根据各所述关键点坐标生成当前关键点对，并将所述当前关键点对和预先构建的基准关键点对进行比对，分析得到所述用户的跑步姿态的步骤，包括：
S401:根据各所述腿型关键点坐标构建所述当前腿型关键点对，并根据各所述脚型关键点坐标构建所述当前脚型关键点对；
S402:将所述当前腿型关键点对与所述预设腿型关键点对进行比对，计算得到在垂直方向上的第一夹角信息；并将所述当前脚型关键点对与所述预设腿型关键点对进行比对，计算得到在垂直方向上的第二夹角信息；
S403:根据所述第一夹角信息与第一角度阈值分析得到所述跑步腿型，并根据所述第二夹角信息与第二角度阈值分析得到所述跑步脚型。
优选的，所述预设腿型关键点对包括预设左大腿关键点对、预设右大腿关键点对、预设左小腿关键点对和预设右小腿关键点对；
所述当前腿型关键点对包括当前左大腿关键点对、当前右大腿关键点对、当前左小腿关键点对和当前右小腿关键点对；
所述第一夹角信息包括所述当前左大腿关键点对与所述预设左大腿关键点对之间的夹角a1、所述当前右大腿关键点对与所述预设右大腿关键点对之间的夹角a2、所述当前左小腿关键点对与所述预设左小腿关键点对之间的夹角a3、所述当前右小腿关键点对与所述预设右小腿关键点对之间的夹角a4；
所述第一角度阈值为ε；
所述根据所述第一夹角信息与第一角度阈值分析得到所述跑步腿型的步骤，包括：
S4031:当a1>ε°、a2>-ε°、a3>-ε°且a4>ε°时，判定所述跑步腿型为X型腿。
优选的，所述预设脚型关键点对包括预设左脚掌关键点对和预设右脚掌关键点对；
所述当前脚型关键点对包括当前左脚掌关键点对和当前右脚掌关键点对；
所述第二夹角信息包括所述当前左脚掌关键点对与所述预设左脚掌关键点对之间的夹角b1、所述当前右脚掌关键点对与所述预设右脚掌关键点对之间的夹角b2；
所述第二角度阈值为β；
所述根据所述第二夹角信息与第二角度阈值分析得到所述跑步脚型的步骤，包括：
S4032:当b1>β°且b2>-β°时，判定所述跑步脚型为内八脚。
进一步的，所述根据各所述关键点坐标生成当前关键点对，并将所述当前关键点对和预先构建的基准关键点对进行比对，分析得到所述用户的跑步姿态的步骤之后，包括：
S5:根据所述当前腿型关键点对、所述当前脚型关键点对、所述跑步腿型和所述跑步脚型生成跑步姿态分析信息，实时输出到显示界面。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储与一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM通过多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双速据率SDRAM(SSRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
以上所述仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (12)

1.一种跑步姿态的识别方法，其特征在于，包括：
采集用户跑步时的下半身图像，所述下半身图像包括脚部图像；
调用底层骨架提取算法对所述下半身图像进行解析，得到多张关键点热力图，单张关键点热力图对应单个关键点；
对各所述关键点热力图进行解码，得到各所述关键点热力图分别对应的关键点坐标；
根据各所述关键点坐标生成当前关键点对，并将所述当前关键点对和预先构建的基准关键点对进行比对，分析得到所述用户的跑步姿态。
2.根据权利要求1所述的跑步姿态的识别方法，其特征在于，所述调用底层骨架提取算法对所述下半身图像进行解析，得到多张关键点热力图的步骤，包括：
将所述下半身图像输入编码器进行编码，提取得到语义特征，所述编码器由多个深度可分离卷积及一个空洞卷积组成；
通过卷积层叠加，从所述语义特征中预测得到多张粗糙关键点热力图；
对各所述粗糙关键点热力图进行精炼，得到各所述关键点热力图。
3.根据权利要求2所述的跑步姿态的识别方法，其特征在于，所述对各所述粗糙关键点热力图进行精炼，得到各所述关键点热力图的步骤中，单张粗糙关键点热力图的精炼步骤包括：
将所述粗糙关键点热力图通过空洞空间金字塔池化，提取得到二次关键点热力图；
基于全局的空间注意力机制对所述二次关键点热力图进行细化，得到所述关键点热力图。
4.根据权利要求1所述的跑步姿态的识别方法，其特征在于，对各所述关键点热力图进行解码，得到各所述关键点热力图分别对应的关键点坐标的步骤，包括：
使用波峰取点法分别对各所述关键点热力图进行计算，得到各所述关键点热力图各自对应的高斯点峰值；
判断各所述关键点热力图各自对应的高斯点峰值是否为一个；
若各所述关键点热力图各自对应的高斯点峰值为一个，则将所述高斯点峰值所在的坐标，作为对应的所述关键点坐标。
5.根据权利要求4所述的跑步姿态的识别方法，其特征在于，所述判断各所述关键点热力图各自对应的高斯点峰值是否为一个的步骤之后，还包括：
若各所述关键点热力图各自对应的高斯点峰值为多个，则从多个所述高斯点峰值中筛选出第一高斯点峰值和第二高斯点峰值，所述第一高斯点峰值为最大高斯点峰值，所述第二高斯点峰值仅小于所述第一高斯点峰值；
计算所述第一高斯点峰值的坐标与所述第二高斯点峰值的坐标之间的距离；
根据所述距离对所述第一高斯点峰值在X方向上和Y方向上的坐标值进行偏移调整，得到所述关键点热力图对应的所述关键点坐标。
6.根据权利要求1所述的跑步姿态的识别方法，其特征在于，各所述关键点坐标包括腿型关键点坐标和脚型关键点坐标，所述基准关键点对包括预设腿型关键点对和预设脚型关键点对，所述当前关键点对包括当前腿型关键点对和当前脚型关键点对，所述跑步姿态包括跑步腿型和跑步脚型；
所述根据各所述关键点坐标生成当前关键点对，并将所述当前关键点对和预先构建的基准关键点对进行比对，分析得到所述用户的跑步姿态的步骤，包括：
根据各所述腿型关键点坐标构建所述当前腿型关键点对，并根据各所述脚型关键点坐标构建所述当前脚型关键点对；
将所述当前腿型关键点对与所述预设腿型关键点对进行比对，计算得到在垂直方向上的第一夹角信息；并将所述当前脚型关键点对与所述预设腿型关键点对进行比对，计算得到在垂直方向上的第二夹角信息；
根据所述第一夹角信息与第一角度阈值分析得到所述跑步腿型，并根据所述第二夹角信息与第二角度阈值分析得到所述跑步脚型。
7.根据权利要求6所述的跑步姿态的识别方法，其特征在于，所述预设腿型关键点对包括预设左大腿关键点对、预设右大腿关键点对、预设左小腿关键点对和预设右小腿关键点对；
所述当前腿型关键点对包括当前左大腿关键点对、当前右大腿关键点对、当前左小腿关键点对和当前右小腿关键点对；
所述第一夹角信息包括所述当前左大腿关键点对与所述预设左大腿关键点对之间的夹角a1、所述当前右大腿关键点对与所述预设右大腿关键点对之间的夹角a2、所述当前左小腿关键点对与所述预设左小腿关键点对之间的夹角a3、所述当前右小腿关键点对与所述预设右小腿关键点对之间的夹角a4；
所述第一角度阈值为ε；
所述根据所述第一夹角信息与第一角度阈值分析得到所述跑步腿型的步骤，包括：
当a1>ε°、a2>-ε°、a3>-ε°且a4>ε°时，判定所述跑步腿型为X型腿。
8.根据权利要求6所述的跑步姿态的识别方法，其特征在于，所述预设脚型关键点对包括预设左脚掌关键点对和预设右脚掌关键点对；
所述当前脚型关键点对包括当前左脚掌关键点对和当前右脚掌关键点对；
所述第二夹角信息包括所述当前左脚掌关键点对与所述预设左脚掌关键点对之间的夹角b1、所述当前右脚掌关键点对与所述预设右脚掌关键点对之间的夹角b2；
所述第二角度阈值为β；
所述根据所述第二夹角信息与第二角度阈值分析得到所述跑步脚型的步骤，包括：
当b1>β°且b2>-β°时，判定所述跑步脚型为内八脚。
9.根据权利要求6所述的跑步姿态的识别方法，其特征在于，所述根据各所述关键点坐标生成当前关键点对，并将所述当前关键点对和预先构建的基准关键点对进行比对，分析得到所述用户的跑步姿态的步骤之后，还包括：
根据所述当前腿型关键点对、所述当前脚型关键点对、所述跑步腿型和所述跑步脚型生成跑步姿态分析信息，实时输出到显示界面。
10.一种跑步姿态的识别装置，其特征在于，包括：
采集模块，用于采集用户跑步时的下半身图像，所述下半身图像包括脚部图像；
解析模块，用于调用底层骨架提取算法对所述下半身图像进行解析，得到多张关键点热力图，单张关键点热力图对应单个关键点；
解码模块，用于对各所述关键点热力图进行解码，得到各所述关键点热力图分别对应的关键点坐标；
分析模块，用于根据各所述关键点坐标生成当前关键点对，并将所述当前关键点对和预先构建的基准关键点对进行比对，分析得到所述用户的跑步姿态。
11.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至9中任一项所述方法的步骤。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至9中任一项所述的方法的步骤。
CN202011349062.5A 2020-11-26 2020-11-26 跑步姿态的识别方法、装置和计算机设备 Pending CN114627546A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011349062.5A CN114627546A (zh) 2020-11-26 2020-11-26 跑步姿态的识别方法、装置和计算机设备
PCT/CN2020/139929 WO2022110453A1 (zh) 2020-11-26 2020-12-28 跑步姿态的识别方法、装置和计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011349062.5A CN114627546A (zh) 2020-11-26 2020-11-26 跑步姿态的识别方法、装置和计算机设备

Publications (1)

Publication Number Publication Date
CN114627546A true CN114627546A (zh) 2022-06-14

Family

ID=81755278

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011349062.5A Pending CN114627546A (zh) 2020-11-26 2020-11-26 跑步姿态的识别方法、装置和计算机设备

Country Status (2)

Country Link
CN (1) CN114627546A (zh)
WO (1) WO2022110453A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116645699B (zh) * 2023-07-27 2023-09-29 杭州华橙软件技术有限公司 一种关键点检测方法、装置、终端及计算机可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108629306A (zh) * 2018-04-28 2018-10-09 北京京东金融科技控股有限公司 人体姿态识别方法及装置、电子设备、存储介质
CN109948590A (zh) * 2019-04-01 2019-06-28 启霖世纪（北京）教育科技有限公司 姿态问题检测方法及装置
CN110443148A (zh) * 2019-07-10 2019-11-12 广州市讯码通讯科技有限公司 一种动作识别方法、系统和存储介质
CN110728209A (zh) * 2019-09-24 2020-01-24 腾讯科技（深圳）有限公司 一种姿态识别方法、装置、电子设备及存储介质
CN110765946A (zh) * 2019-10-23 2020-02-07 北京卡路里信息技术有限公司 一种跑姿评估方法、装置、设备和存储介质
CN111488824A (zh) * 2020-04-09 2020-08-04 北京百度网讯科技有限公司 运动提示方法、装置、电子设备和存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110135375B (zh) * 2019-05-20 2021-06-01 中国科学院宁波材料技术与工程研究所 基于全局信息整合的多人姿态估计方法
CN110495889B (zh) * 2019-07-04 2022-05-27 平安科技（深圳）有限公司 体态评估方法、电子装置、计算机设备及存储介质
CN111265817A (zh) * 2020-03-19 2020-06-12 广东省智能制造研究所 一种智能跑步机系统
CN111358471B (zh) * 2020-04-15 2023-04-28 青岛一小步科技有限公司 一种身体姿态检测装置及检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108629306A (zh) * 2018-04-28 2018-10-09 北京京东金融科技控股有限公司 人体姿态识别方法及装置、电子设备、存储介质
CN109948590A (zh) * 2019-04-01 2019-06-28 启霖世纪（北京）教育科技有限公司 姿态问题检测方法及装置
CN110443148A (zh) * 2019-07-10 2019-11-12 广州市讯码通讯科技有限公司 一种动作识别方法、系统和存储介质
CN110728209A (zh) * 2019-09-24 2020-01-24 腾讯科技（深圳）有限公司 一种姿态识别方法、装置、电子设备及存储介质
CN110765946A (zh) * 2019-10-23 2020-02-07 北京卡路里信息技术有限公司 一种跑姿评估方法、装置、设备和存储介质
CN111488824A (zh) * 2020-04-09 2020-08-04 北京百度网讯科技有限公司 运动提示方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
WO2022110453A1 (zh) 2022-06-02

Similar Documents

Publication Publication Date Title
CN108764031B (zh) 识别人脸的方法、装置、计算机设备和存储介质
CN107784282B (zh) 对象属性的识别方法、装置及系统
CN111263953B (zh) 动作状态评估系统及其装置、服务器、方法以及存储介质
CN111275032B (zh) 基于人体关键点的深蹲检测方法、装置、设备及介质
Radwan et al. Monocular image 3D human pose estimation under self-occlusion
CN109829356B (zh) 神经网络的训练方法及基于神经网络的行人属性识别方法
CN109960962B (zh) 图像识别方法、装置、电子设备以及可读存储介质
CN111753747B (zh) 基于单目摄像头和三维姿态估计的剧烈运动检测方法
US11759126B2 (en) Scoring metric for physical activity performance and tracking
CN111275031B (zh) 基于人体关键点的平板支撑检测方法、装置、设备及介质
CN108153421A (zh) 体感交互方法、装置及计算机可读存储介质
KR20220004009A (ko) 키 포인트 검출 방법, 장치, 전자 기기 및 저장 매체
CN112200074A (zh) 一种姿态对比的方法和终端
CN108875586A (zh) 一种基于深度图像与骨骼数据多特征融合的功能性肢体康复训练检测方法
CN114022512A (zh) 运动辅助方法、装置及介质
CN114627546A (zh) 跑步姿态的识别方法、装置和计算机设备
CN115346670A (zh) 基于姿态识别的帕金森病评级方法、电子设备及介质
CN116682171A (zh) 训练慌张步态识别模型的方法、步态识别方法及相关装置
CN115188062B (zh) 一种用户跑步姿态分析方法、装置、跑步机及存储介质
CN111354463B (zh) 人体健康测量方法、装置、计算机设备及存储介质
US20230401740A1 (en) Data processing method and apparatus, and device and medium
CN113378691A (zh) 基于实时用户行为分析的智能家居管理系统及方法
CN117392746A (zh) 康复训练评估辅助方法、装置、计算机设备和存储介质
CN114821803A (zh) 人体运动的评分方法、装置、计算机设备及存储介质
CN113158710B (zh) 一种视频分类的方法、装置、终端及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20220614