CN108198601B - 运动评分方法、装置、设备及存储介质 - Google Patents

运动评分方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN108198601B
CN108198601B CN201711441496.6A CN201711441496A CN108198601B CN 108198601 B CN108198601 B CN 108198601B CN 201711441496 A CN201711441496 A CN 201711441496A CN 108198601 B CN108198601 B CN 108198601B
Authority
CN
China
Prior art keywords
motion
target
human body
parameters
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201711441496.6A
Other languages
English (en)
Other versions
CN108198601A (zh
Inventor
刘耀勇
陈岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201711441496.6A priority Critical patent/CN108198601B/zh
Publication of CN108198601A publication Critical patent/CN108198601A/zh
Application granted granted Critical
Publication of CN108198601B publication Critical patent/CN108198601B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请公开了一种运动评分方法、装置、设备及存储介质,属于图像数据处理领域。该方法包括:获取目标视频,目标视频包括人体运动影像,人体运动影像是目标对象根据标准运动影像进行运动时的影像;从目标视频中提取目标人体运动参数,目标人体运动参数包括目标对象不同部位的运动参数;将目标人体运动参数输入运动评价模型,得到运动评分,运动评价模型用于对人体运动影像与标准运动影像的相似度进行评分。本申请实施例中,运动评价模型能够对人体运动影像与标准运动影像的相似度进行评分,用户在自主健身的过程中,能够根据运动评分知悉与标准运动影像之间的相似度,并能够进一步根据运动评分调整自己运动姿势,进而提高了用户自主健身的效果。

Description

运动评分方法、装置、设备及存储介质
技术领域
本申请实施例涉及图像数据处理领域,特别涉及一种运动评分方法、装置、设备及存储介质。
背景技术
随着人们生活水平的不断提高,越来越多的用户开始进行健身,为了方便人们进行自主健身,大量的健身应用程序应运而生。
终端运行健身应用程序时,通过语音、动画或图片的形式,向用户展示健身动作,用户即通过模仿该健身动作进行自主健身。
发明内容
本申请实施例提供的运动评分方法、装置、设备及存储介质,可以解决用户进行自主健身时,无法确定健身动作是否符合标准,导致健身效果不佳的问题。所述技术方案如下:
第一方面,提供了一种运动评分方法,所述方法包括:
获取目标视频,所述目标视频包括人体运动影像,所述人体运动影像是目标对象根据标准运动影像进行运动时的影像;
从所述目标视频中提取目标人体运动参数,所述目标人体运动参数包括所述目标对象不同部位的运动参数;
将所述目标人体运动参数输入运动评价模型,得到运动评分,所述运动评价模型用于对所述人体运动影像与所述标准运动影像的相似度进行评分。
第二方面,提供了一种运动评分装置,所述装置包括:
视频获取模块,用于获取目标视频,所述目标视频包括人体运动影像,所述人体运动影像是目标对象根据标准运动影像进行运动时的影像;
参数提取模块,用于从所述目标视频中提取目标人体运动参数,所述目标人体运动参数包括所述目标对象不同部位的运动参数;
评分模块,用于将所述目标人体运动参数输入运动评价模型,得到运动评分,所述运动评价模型用于对所述人体运动影像与所述标准运动影像的相似度进行评分。
第三方面,提供了一种运动评分设备,所述设备包括处理器、与所述处理器相连的存储器,以及存储在所述存储器上的程序指令,所述处理器执行所述程序指令时实现第一方面提供的运动评分方法。
第四方面,一种计算机可读介质,其上存储有程序指令,所述程序指令被处理器执行时实现第一方面提供的运动评分方法。
本申请实施例提供的技术方案带来的有益效果是:
通过获取目标对象根据标准运动影像进行运动时的影像,并基于该影像提取目标对象的目标人体运动参数,从而将目标人体运动参数输入运动评价模型,得到运动评分;由于预先训练的运动评价模型能够对人体运动影像与标准运动影像的相似度进行评分,因此,用户在自主健身的过程中,能够根据运动评分知悉与标准运动影像之间的相似度,并能够进一步根据运动评分调整自己运动姿势,进而提高了用户自主健身的效果。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请的一个实施例示出的实施环境的环境示意图;
图2是本申请的一个示例性实施例示出的运动评分方法的流程图;
图3是图2所示运动评分方法的实施示意图;
图4是本申请的另一个示例性实施例示出的运动评分方法的流程图;
图5是人体特征点的示意图;
图6示出了本申请一个实施例提供的运动评分装置的结构方框图;
图7示出了本申请一个示例性实施例提供的运动评分设备的结构方框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
首先,对本申请涉及到的名词进行介绍。
运动评分模型:是一种用于根据输入的人体运动参数,对用户动作与标准动作的相似度进行评分的数学模型。
可选地,运动评分模型包括但不限于:深度神经网络(Deep Neural Network,DNN)模型、循环神经网络(Recurrent Neural Networks,RNN)模型、嵌入(embedding)模型、梯度提升决策树(Gradient Boosting Decision Tree,GBDT)模型、逻辑回归(LogisticRegression,LR)模型中的至少一种。
DNN模型是一种深度学习框架。DNN模型包括输入层、至少一层隐层(或称,中间层)和输出层。可选地,输入层、至少一层隐层(或称,中间层)和输出层均包括至少一个神经元,神经元用于对接收到的数据进行处理。可选地,不同层之间的神经元的数量可以相同;或者,也可以不同。
RNN模型是一种具有反馈结构的神经网络。在RNN模型中,神经元的输出可以在下一个时间戳直接作用到自身,即,第i层神经元在m时刻的输入,除了(i-1)层神经元在该时刻的输出外,还包括其自身在(m-1)时刻的输出。
embedding模型是基于实体和关系分布式向量表示,将每个三元组实例中的关系看作从实体头到实体尾的翻译。其中,三元组实例包括主体、关系、客体,三元组实例可以表示成(主体,关系,客体);主体为实体头,客体为实体尾。比如:小张的爸爸是大张,则通过三元组实例表示为(小张,爸爸,大张)。
GBDT模型是一种迭代的决策树算法,该算法由多棵决策树组成,所有树的结果累加起来作为最终结果。决策树的每个节点都会得到一个预测值,以年龄为例,预测值为属于年龄对应的节点的所有人年龄的平均值。
LR模型是指在线性回归的基础上,套用一个逻辑函数建立的模型。
图1是本申请的一个实施例示出的实施环境的环境示意图,该实施环境中包括至少一个终端110和服务器120。
终端110是具有图像采集以及网络通信功能的电子设备,该电子设备可以是智能手机、平板电脑、可穿戴式设备、智能家居设备、膝上型便携计算机和台式计算机中的至少一种。
终端110与服务器120之间通过有线或无线网络相连。
服务器120可以为独立的一台服务器主机;或者,也可以是多台服务器主机构成的服务器集群或云计算中心。
在一种可能的实施方式中,终端110中安装有健身类应用程序,且在运行健身类应用程序的过程中,终端110通过摄像头采集包含目标对象(即使用终端110的用户)人体运动影像的目标视频,并将目标视频上传至服务器120,服务器120接收到目标视频后,从目标视频中提取人体运动参数,并将人体运动参数作为模型输入数据,输入预先构建的运动评价模型,得到模型输出的运动评分,从而将运动评分反馈给终端110,由终端110进行显示。
可选的,针对不同身材的目标对象,服务器120中构建有不同的运动评价模型。在应用运动评价模型进行运动评分前,服务器120获取目标对象的目标人体参数,获取该目标人体参数对应的目标运动评价模型,进而使用目标运动评价模型进行运动评分,以提高运动评分的准确性。
可选的,终端110还可以向服务器120发送运动评分修正信息,服务器120即基于该运动评分修正信息对运动评价模型进行修正,进一步提高后续运动评分的准确性。
在其他可能的实施方式中,当终端110中构建有上述运动评分模型时,终端110无需将采集到目标视频上传服务器120,而是直接在本地进行运动评分。
可选地,本申请中,无线网络或有线网络使用标准通信技术和/或协议。网络通常为因特网、但也可以是任何网络,包括但不限于局域网(Local Area Network,LAN)、城域网(Metropolitan Area Network,MAN)、广域网(Wide Area Network,WAN)、移动、有线或者无线网络、专用网络或者虚拟专用网络的任何组合)。在一些实施例中,使用包括超文本标记语言(HyperText Mark-up Language,HTML)、可扩展标记语言(Extensible MarkupLanguage,XML)等的技术和/或格式来代表通过网络交换的数据。此外还可以使用诸如安全套接字层(Secure Socket Layer,SSL)、传输层安全(Trassport Layer Security,TLS)、虚拟专用网络(Virtual Private Network,VPN)、网际协议安全(Internet ProtocolSecurity,IPsec)等常规加密技术来加密所有或者一些链路。在另一些实施例中,还可以使用定制和/或专用数据通信技术取代或者补充上述数据通信技术。
为了方便描述,下述各个实施例以运动评分方法应用于服务器为例进行说明,但并不对本申请构成限定。
图2是本申请的一个示例性实施例示出的运动评分方法的流程图。该运动评分方法包括以下几个步骤。
步骤201,获取目标视频,目标视频包括人体运动影像,人体运动影像是目标对象根据标准运动影像进行运动时的影像。
在一种可能的实施方式中,当用户需要使用终端中的健身类应用程序进行自主健身时,终端即显示标准运动影像,以便用户通过模仿标准运动影像中的动作来进行自主健身。在模仿过程中,终端即通过摄像头采集包含人体运动影像的目标视频,并将该目标视频上传至服务器。相应的,服务器获取终端上传的目标视频。
可选的,为了提高后续运动评分的准确性,使用终端拍摄目标视频时,终端的界面中显示相应的拍摄提示,提示用户按照预定角度和预定距离放置终端,确保目标视频中包含用户完整的人体运动影像。比如的,终端显示的拍摄提示用于提示用户将终端放置在正前方2米处进行拍摄。
可选的,当标准运动影像中包含n组动作影像时(对应不同的健身动作)时,每播放完一组动作影像,终端即上传一段采集到的目标视频,相应的,服务器共接收到n段目标视频;或者,当播放完n组动作影像时,终端上传一段完整的目标视频(设置有区分不同动作影像的标识),相应的,服务器共接收到一段目标视频。本申请实施例并不对终端上传目标视频的方式进行限定。
步骤202,从目标视频中提取目标人体运动参数,目标人体运动参数包括目标对象不同部位的运动参数。
对于获取到目标视频,服务器进一步从其中的人体运动影像进行图像识别,从而识别出目标对象各个部位的运动图像,进而基于运动图像提取各个部位对应的运动参数。其中,该运动参数包括各个部位的运动距离、转动角度、弯曲角度等等。
针对提取目标人体运动参数的具体方式,在一种可能的实施方式中,服务器获取到目标视频后,采用预定的图像识别算法,对人体运动影像进行色彩和轮廓识别,从而根据识别结果的标定人体运动影像中各个人体部位对应人体特征点,进而根据人体特征点的位置变化情况,计算人体特征点对应人体部位的运动参数。
示意性的,如图3所示,服务器从目标对象的人体运动影像31中,提取到头部图像32、手部图像33、腰部图像34和腿部图像35,从而根据上述图像定位人体特征点,并根据人体特征点的位置变化,计算出目标对象的目标人体运动参数。
步骤203,将目标人体运动参数输入运动评价模型,得到运动评分,运动评价模型用于对人体运动影像与标准运动影像的相似度进行评分。
服务器中预先构建有运动评价模型,该运动评价模型根据预先采集的样本人体运动参数、标准人体运动参数和样本运动评分训练生成。
在模型构建阶段,在一种可能的实施方式中,采用人工标定的方式设置样本对象的运动评分,将该运动评分作为样本运动评分,并采用人工拍摄的方式,拍摄样本对象运动过程中的运动影像,从而提取该运动影像中的人体运动参数作为样本人体运动参数。
进一步的,服务器将样本人体运动参数以及标准人体运动参数作为样本输入数据,将样本运动评分作为样本输出数据,训练运动评价模型。可选的,该运动评价模型可以采用误差反向传播算法训练得到。
在模型使用阶段,如图3所示,服务器将提取到的目标人体运动参数以及标准人体运动参数作为运动评价模型的输入,借助运动评价模型进行运动评价,最终得到模型输出的运动评分,其中,运动评分可采用百分制表示,且运动评分越高,指示人体运动影像与标准运动影像的相似度越高,运动评分越低,指示人体运动影像与标准运动影像的相似度越低。
示意性的,如图3所示,服务器将提取到的目标人体运动参数作为输入,输入到运动评价模型36中,得到模型输出的运动评分。
可选的,服务器将得到的运动评分反馈给终端,以便用户根据终端显示的运动评分知悉健身动作是否准确。
可选的,当标准运动影像中包含n组动作影像(对应不同的健身动作),且服务器共接收到n段目标视频时,服务器针对用户执行的每组动作给出相应的运动评分,以便用户准确知悉各组动作的执行情况。
本实施例中,用户在使用健身类应用程序的过程中,终端自动拍摄包含用户人体运动影像的视频,并由服务器根据该视频对用户的动作进行评分,使得用户在模仿健身动作的同时,能够查看到动作完成情况,方便用户进行自主调整,提高自主健身的效果。
综上所述,本实施例中,通过获取目标对象根据标准运动影像进行运动时的影像,并基于该影像提取目标对象的目标人体运动参数,从而将目标人体运动参数输入运动评价模型,得到运动评分;由于预先训练的运动评价模型能够对人体运动影像与标准运动影像的相似度进行评分,因此,用户在自主健身的过程中,能够根据运动评分知悉与标准运动影像之间的相似度,并能够进一步根据运动评分调整自己运动姿势,进而提高了用户自主健身的效果。
需要说明的是,上述实施例中,以目标人体运动参数由服务器提取为例进行示意性说明,在其他可能的实施方式中,为了降低服务器的处理压力,终端采集到目标视频后,可以在本地提取目标人体运动参数,并将提取到的目标人体运动参数上传至服务器(即步骤202可以由终端执行),本实施例对此并不进行限定。
针对运动评价模型的训练方式,在一种可能的实施方式中,运动评价模型的训练过程包括如下步骤。
一、获取训练样本集,训练样本集中包括至少一组训练样本,每组训练样本中包括样本人体运动参数、标准人体运动参数和样本运动评分,其中,样本人体运动参数是从样本对象的样本人体运动影像中提取,标准人体运动参数是从标准运动影像中提取,样本运动评分为预先标定。
在一种可能的实施方式中,预先指示样本对象按照标准运动影像进行运动,通过人工拍摄的方式采集样本对象的样本人体运动影像,并进一步提取样本人体运动影像中的样本人体运动参数以及标准运动影像中的标准人体运动参数,从而将样本人体运动参数、标准人体运动参数作为训练样本输入参数。同时,采用人工标定的方式,为样本人体运动影像标定样本运动评分,从而将样本运动评分作为训练样本输出参数。通过指示不同样本对象进行运动,并指示同一样本对象进行多次运动,最终获取到包含多组训练样本的训练样本集。
二、采用误差反向传播算法对至少一组训练样本进行训练,得到运动评价模型。
获取到训练样本集后,服务器即根据各组训练样本进行模型训练,可选的,本实施例中,服务器采用误差反向传播算法训练模型。
1、对于至少一组训练样本中的每组训练样本,将样本人体运动参数和标准人体运动参数输入原始评价模型,得到训练结果。
可选的,原始评价模型基于神经网络模型建立,比如,基于DNN模型或者RNN模型建立原始评价模型。
示意性的,对于每组训练样本,服务器创建该训练样本对应的输入输出对,输入输出对的输入参数为训练样本中的样本人体运动参数和标准人体运动参数,输出参数则为样本运动评分。在训练时,服务器将输入参数输入原始评价模型,得到训练结果。
比如,以训练样本数据包括样本人体运动参数“75°”(例如手肘弯曲角度),标准人体运动参数“90°”,样本运动评分85为例,服务器创建的输入输出对为(75°,90°)→(85),其中,(75°,90°)为输入参数,(85)为输出参数。
可选的,输入输出对通过特征向量表示。
2、对于每组训练样本,将训练结果与样本运动评分进行比较,得到计算损失,计算损失用于指示训练结果与样本运动评分之间的误差。
可选地,计算损失通过交叉商(cross-entropy)来表示,
可选地,服务器通过下述公式计算得到计算损失H(p,q):
Figure BDA0001526748090000081
其中,p(x)和q(x)是长度相等的离散分布向量,p(x)表示表示训练结果;q(x)表示输出参数;x为训练结果或输出参数中的一个向量。
3、根据至少一组训练样本各自对应的计算损失,采用误差反向传播算法训练得到运动评价模型。
可选地,服务器通过反向传播算法根据计算损失确定运动评价模型的梯度方向,从运动评价模型的输出层逐层向前更新运动评价模型中的模型参数。
针对不同体格和不同身体素质的用户,其完成健身动作的程度和标准可能不同,因此,为了提高后续运动评价的准确性,在一种可能的实施方式中,服务器中预先训练针对不同类型用户的运动评价模型,在进行运动评价是,服务器首先获取目标对象的人体参数,从而利用该人体参数对应的运动评价模型进行运动评价。下面采用示意性的实施例进行说明。
图4是本申请的另一个示例性实施例示出的植物浇灌提醒方法的流程图。该植物浇灌提醒方法包括以下几个步骤。
步骤401,获取目标视频,目标视频包括人体运动影像,人体运动影像是目标对象根据标准运动影像进行运动时的影像。
本步骤的实施方式与上述步骤201相似,本实施例在此不再赘述。
步骤402,识别人体运动影像中包含的人体特征点,人体特征点包括头部特征点、手部特征点、腰部特征点和腿部特征点中的至少一种。
在一种可能的实施方式中,服务器采用图像识别技术对人体运动影像进行颜色和轮廓识别,从而确定出人体运动影像中包含的人体特征点,以便后续基于人体特征点确定人体不同部位的运动参数。
可选的,人体特征点包括头部特征点、手部特征点、腰部特征点和腿部特征点中的至少一种,在其他可能的实施方式中,人体特征点还可以细分为(左右)肩部特征点、(左右)肘部特征点、(左右)手掌特征点、(左右)膝部特征点和(左右)脚踝特征点等等,本申请实施例并不对人体特征点的具体划分方式进行限定。
示意性的,如图5所示,服务器通过图像识别技术,识别出人体运动影像中包含的头部特征点51、左手特征点52、右手特征点53、腰部特征点54、左腿特征点55以及右腿特征点56。
可选的,服务器识别出人体特征点后,向终端返回识别结果,终端接收到识别结果后,即对该人体特征点进行显示。进一步的,服务器接收终端发送的反馈。若反馈信息指示人体特征点识别准确,则进行下述步骤403;若反馈信息指示人体特征点识别有误,则根据反馈信息中携带的特征点修正信息重新识别人体特征点。
步骤403,根据人体特征点的位置变化,计算不同人体特征点对应的人体部位运动参数,人体部位运动参数包括头部运动参数、手部运动参数、腰部运动参数和腿部运动参数中的至少一种。
进一步的,识别出人体特征点后,服务器根据人体特征点在人体运动影响中的位置变化情况,计算各个人体特征点对应的人体部位运动参数。
在一种可能的实施方式中,服务器以视频画面的左下角为坐标原点建立坐标系,并在第一时刻获取人体特征点的第一坐标,在第二时刻获取人体特征点的第二坐标,从而根据第一坐标和第二坐标计算得到该人体特征点对应人体部位的运动参数。比如,该运动参数可以是手部的摆动角度和/或手部的摆动距离。
步骤404,将人体部位运动参数确定为目标人体运动参数。
进一步的,服务器将获取到各个部位的人体部位运动参数确定为目标对象的目标人体运动参数。
步骤405,获取目标对象的目标人体参数,目标人体参数包括身高、体重、臂长和腿长中的至少一种。
在实际健身场景下,不同用户执行相同健身动作的程度不同,比如,身材匀称的用户执行的健身动作与标准动作接近一致,而身材肥胖的用户执行的健身动作与标准动作相差较大,因此,统一的运动评价模型无法适用于不同的用户。
为了使运动评价方法适用于不同用户,可选的,服务器中预先构建有针对不同类型用户的运动评价模型,相应的,在利用运动评价模型进行运动评价前,服务器首先获取当前用户的目标人体参数,进而根据目标人体参数确定采用何种运动评价模型对用户的运动进行评价。
在一种可能的实施方式中,服务器通过对目标视频中的人体运动影像进行分析,从而得到用户的身高、体重、臂长和腿长等人体参数;在另一种可能的实施方式中,服务器接收终端发送的目标人体参数,该目标人体运动参数由用户手动输入。
步骤406,获取目标人体参数对应的目标运动评价模型,目标运动评价模型根据样本对象运动时的样本人体运动参数训练得到,样本对象符合目标人体参数。
进一步的,获取到目标人体参数后,服务器从运动评价模型库中获取对应的目标运动评价模型,进而利用该目标运动评价模型进行运行评分。
在一种可能的实施方式中,服务器中存储有身材类型与运动评价模型之间的对应关系,获取到目标人体参数后,服务器即根据目标人体参数确定用户所属的目标身材类型,从而根据目标身材类型获取目标运动评价模型。示意性,身材类型与运动评价模型之间的对应关系如表一所示。
表一
身材类型 运动评价模型
偏瘦 第一运动评价模型
匀称 第二运动评价模型
肥胖 第三运动评价模型
比如,服务器根据目标人体参数“170cm,80kg”确定目标对象的身材类型为肥胖,从而将第三运动评价模型确定为目标运动评价模型。
需要说明的是,上述步骤405至406与步骤402至404之间不存在严格的先后关系,即步骤405至406与步骤402至404可以同时执行,本实施例并不对此进行限定。
步骤407,将目标人体运动参数输入目标运动评价模型,得到目标运动评分。
进一步的,服务器将目标人体运动参数输入确定出的目标运动评价模型,从而得到目标运动评分。
可选的,服务器首次向终端反馈到目标运动评分时,将该目标运动评价模型发送至终端,后续终端即可根据该目标运动评价模型在本地进行运动评价,从而降低处理器的处理压力,本申请并不对此进行限定。
步骤408,接收运动评分修正信息。
为了提高运动评分的准确性,服务器接收终端上报的反馈信息,当反馈信息指示运动评分不准确时,服务器进一步将人体运动影像上传至人工评分系统,并接收人工评分系统反馈的运动评分修正信息,该运动评分修正信息包括评分修正值。比如,运动评分修正信息指示将原始运动评分由60提高至65分。
步骤409,将目标人体运动参数、标准人体运动参数以及运动评分修正信息添加至训练样本集。
进一步的,服务器将目标人体运动参数、标准人体运动参数以及运动评分修正信息添加至训练样本集,从而利用更新后的训练样本集对运动评价模型进行更新修正。
步骤410,根据更新后的训练样本集对运动评价模型进行训练,得到更新后的运动评价模型。
其中,根据更新后的训练样本集对运动评价模型进行训练,得到更新后的运动评价模型的过程可类比参考上述实施例中运动评价模型的训练过程本实施例在此不再赘述。
本实施例中,服务器通过识别人体运动影像中包含的人体特征点,从而根据人体特征点的位置变化情况,计算出不同部位的人体运动参数,进而将计算得到的人体运动参数输入运动评价模型中,得到运动评分,提高了运动评分的准确性。
进一步的,针对不同类型的用户,服务器预先训练不同的运动评价模型,并在进行运动评价时,选用与当前用户人体参数匹配的目标运动评价模型进行运动评价,进一步提高了得到的运动评分的准确性。
本实施例中,服务器根据收到的运动评分修正信息,更新训练样本集,并利用更新后的训练样本集对运动评价模型进行更新,从而提高后续运动评分的准确性。
下述为本申请装置实施例,可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节,请参照本申请方法实施例。
请参考图6,其示出了本申请一个实施例提供的运动评分装置的结构方框图,该运动评分装置可通过软件、硬件或者两者的结合实现成为运动评分设备的部分或者全部。该装置可以包括:视频获取模块610、参数提取模块620和评分模块630;
视频获取模块610,用于获取目标视频,所述目标视频包括人体运动影像,所述人体运动影像是目标对象根据标准运动影像进行运动时的影像;
参数提取模块620,用于从所述目标视频中提取目标人体运动参数,所述目标人体运动参数包括所述目标对象不同部位的运动参数;
评分模块630,用于将所述目标人体运动参数输入运动评价模型,得到运动评分,所述运动评价模型用于对所述人体运动影像与所述标准运动影像的相似度进行评分。
可选的,所述参数提取模块620,包括:
识别单元,用于识别所述人体运动影像中包含的人体特征点,所述人体特征点包括头部特征点、手部特征点、腰部特征点和腿部特征点中的至少一种;
计算单元,用于根据所述人体特征点的位置变化,计算不同人体特征点对应的人体部位运动参数,所述人体部位运动参数包括头部运动参数、手部运动参数、腰部运动参数和腿部运动参数中的至少一种;
确定单元,用于将所述人体部位运动参数确定为所述目标人体运动参数。
可选的,所述装置,还包括:
参数获取模块,用于获取所述目标对象的目标人体参数,所述目标人体参数包括身高、体重、臂长和腿长中的至少一种
所述评分模块630,包括:
模型获取单元,用于获取所述目标人体参数对应的目标运动评价模型,所述目标运动评价模型根据样本对象运动时的样本人体运动参数训练得到,所述样本对象符合所述目标人体参数;
评分单元,用于将所述目标人体运动参数输入所述目标运动评价模型,得到所述目标运动评分。
可选的,所述装置还包括:
样本集获取模块,用于获取训练样本集,所述训练样本集中包括至少一组训练样本,每组训练样本中包括样本人体运动参数、标准人体运动参数和样本运动评分,其中,所述样本人体运动参数是从样本对象的样本人体运动影像中提取,所述标准人体运动参数是从所述标准运动影像中提取,所述样本运动评分为预先标定;
训练模块,用于采用误差反向传播算法对所述至少一组训练样本进行训练,得到所述运动评价模型。
可选的,所述训练模块,包括:
输入单元,用于对于所述至少一组训练样本中的每组所述训练样本,将所述样本人体运动参数和所述标准人体运动参数输入原始评价模型,得到训练结果;
计算单元,用于对于每组所述训练样本,将所述训练结果与所述样本运动评分进行比较,得到计算损失,所述计算损失用于指示所述训练结果与所述样本运动评分之间的误差;
训练单元,用于根据所述至少一组训练样本各自对应的计算损失,采用所述误差反向传播算法训练得到所述运动评价模型。
可选的,所述装置,还包括:
接收模块,用于接收运动评分修正信息;
添加模块,用于将所述目标人体运动参数、所述标准人体运动参数以及所述运动评分修正信息添加至所述训练样本集;
更新模块,用于根据更新后的训练样本集对所述运动评价模型进行训练,得到更新后的运动评价模型。
综上所述,本实施例中,通过获取目标对象根据标准运动影像进行运动时的影像,并基于该影像提取目标对象的目标人体运动参数,从而将目标人体运动参数输入运动评价模型,得到运动评分;由于预先训练的运动评价模型能够对人体运动影像与标准运动影像的相似度进行评分,因此,用户在自主健身的过程中,能够根据运动评分知悉与标准运动影像之间的相似度,并能够进一步根据运动评分调整自己运动姿势,进而提高了用户自主健身的效果。
本实施例中,服务器通过识别人体运动影像中包含的人体特征点,从而根据人体特征点的位置变化情况,计算出不同部位的人体运动参数,进而将计算得到的人体运动参数输入运动评价模型中,得到运动评分,提高了运动评分的准确性。
进一步的,针对不同类型的用户,服务器预先训练不同的运动评价模型,并在进行运动评价时,选用与当前用户人体参数匹配的目标运动评价模型进行运动评价,进一步提高了得到的运动评分的准确性。
本实施例中,服务器根据收到的运动评分修正信息,更新训练样本集,并利用更新后的训练样本集对运动评价模型进行更新,从而提高后续运动评分的准确性。
参考图7,其示出了本申请一个示例性实施例提供的运动评分设备的结构方框图。本申请中的运动评分设备可以包括一个或多个如下部件:处理器710和存储器720。
处理器710可以包括一个或者多个处理核心。处理器710利用各种接口和线路连接整个设备内的各个部分,通过运行或执行存储在存储器720内的指令、程序、代码集或指令集,以及调用存储在存储器720内的数据,执行终端的各种功能和处理数据。可选地,处理器710可以采用数字信号处理(Digital Signal Processing,DSP)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、可编程逻辑阵列(Programmable LogicArray,PLA)中的至少一种硬件形式来实现。处理器710可集成中央处理器(CentralProcessing Unit,CPU)和调制解调器等中的一种或几种的组合。其中,CPU主要处理操作系统和应用程序等;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器710中,单独通过一块芯片进行实现。
可选地,处理器710执行存储器720中的程序指令时实现下上述各个方法实施例提供的运动评分方法。
存储器720可以包括随机存储器(Random Access Memory,RAM),也可以包括只读存储器(Read-Only Memory)。可选地,该存储器920包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器720可用于存储指令、程序、代码、代码集或指令集。存储器720可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令、用于实现上述各个方法实施例的指令等;存储数据区可存储根据设备的使用所创建的数据等。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
本申请还提供一种计算机可读介质,其上存储有程序指令,程序指令被处理器执行时实现上述各个方法实施例提供的运动评分方法。
本申请还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述各个方法实施例提供的运动评分方法。
以上所述仅为本申请的较佳实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (12)

1.一种运动评分方法,其特征在于,所述方法包括:
获取目标视频,所述目标视频包括人体运动影像,所述人体运动影像是目标对象根据标准运动影像进行运动时的影像;
从所述目标视频中提取目标人体运动参数,所述目标人体运动参数包括所述目标对象不同部位的运动参数;
获取所述目标对象的目标人体参数,所述目标人体参数包括身高、体重、臂长和腿长中的至少一种,所述目标人体参数用于确定所述目标对象对应的目标身材类型;
获取所述目标人体参数对应的目标运动评价模型,其中,不同目标身材类型对应不同目标运动评价模型,所述目标运动评价模型用于对所述人体运动影像与所述标准运动影像的相似度进行评分,且所述目标运动评价模型根据样本对象运动时的样本人体运动参数、所述标准运动影像中的标准人体运动参数和样本运动评分训练得到,所述样本对象符合所述目标人体参数;
将所述目标人体运动参数输入所述目标运动评价模型,得到目标运动评分,所述目标运动评分与所述人体运动影像和所述标准运动影像的相似度呈正相关关系。
2.根据权利要求1所述的方法,其特征在于,所述从所述目标视频中提取目标人体运动参数,包括:
识别所述人体运动影像中包含的人体特征点,所述人体特征点包括头部特征点、手部特征点、腰部特征点和腿部特征点中的至少一种;
根据所述人体特征点的位置变化,计算不同人体特征点对应的人体部位运动参数,所述人体部位运动参数包括头部运动参数、手部运动参数、腰部运动参数和腿部运动参数中的至少一种;
将所述人体部位运动参数确定为所述目标人体运动参数。
3.根据权利要求1或2所述的方法,其特征在于,所述获取目标视频之前,所述方法还包括:
获取训练样本集,所述训练样本集中包括至少一组训练样本,每组训练样本中包括所述样本人体运动参数、所述标准人体运动参数和所述样本运动评分,其中,所述样本人体运动参数是从样本对象的样本人体运动影像中提取,所述标准人体运动参数是从所述标准运动影像中提取,所述样本运动评分为预先标定;
采用误差反向传播算法对所述至少一组训练样本进行训练,得到所述目标运动评价模型。
4.根据权利要求3所述的方法,其特征在于,所述采用误差反向传播算法对所述至少一组训练样本进行训练,得到所述目标运动评价模型,包括:
对于所述至少一组训练样本中的每组所述训练样本,将所述样本人体运动参数和所述标准人体运动参数输入原始评价模型,得到训练结果;
对于每组所述训练样本,将所述训练结果与所述样本运动评分进行比较,得到计算损失,所述计算损失用于指示所述训练结果与所述样本运动评分之间的误差;
根据所述至少一组训练样本各自对应的计算损失,采用所述误差反向传播算法训练得到所述目标运动评价模型。
5.根据权利要求3所述的方法,其特征在于,所述将所述目标人体运动参数输入所述目标运动评价模型,得到目标运动评分之后,所述方法还包括:
接收运动评分修正信息;
将所述目标人体运动参数、所述标准人体运动参数以及所述运动评分修正信息添加至所述训练样本集;
根据更新后的训练样本集对所述目标运动评价模型进行训练,得到更新后的目标运动评价模型。
6.一种运动评分装置,其特征在于,所述装置包括:
视频获取模块,用于获取目标视频,所述目标视频包括人体运动影像,所述人体运动影像是目标对象根据标准运动影像进行运动时的影像;
参数提取模块,用于从所述目标视频中提取目标人体运动参数,所述目标人体运动参数包括所述目标对象不同部位的运动参数;
参数获取模块,用于获取所述目标对象的目标人体参数,所述目标人体参数包括身高、体重、臂长和腿长中的至少一种,所述目标人体参数用于确定所述目标对象对应的目标身材类型;
包括模型获取单元和评分单元的评分模块;所述模型获取单元,用于获取所述目标人体参数对应的目标运动评价模型,其中,不同目标身材类型对应不同目标运动评价模型,所述目标运动评价模型用于对所述人体运动影像与所述标准运动影像的相似度进行评分,且所述目标运动评价模型根据样本对象运动时的样本人体运动参数、所述标准运动影像中的标准人体运动参数和样本运动评分训练得到,所述样本对象符合所述目标人体参数;
所述评分单元,用于将所述目标人体运动参数输入所述目标运动评价模型,得到目标运动评分,所述目标运动评分与所述人体运动影像和所述标准运动影像的相似度呈正相关关系。
7.根据权利要求6所述的装置,其特征在于,所述参数提取模块,包括:
识别单元,用于识别所述人体运动影像中包含的人体特征点,所述人体特征点包括头部特征点、手部特征点、腰部特征点和腿部特征点中的至少一种;
计算单元,用于根据所述人体特征点的位置变化,计算不同人体特征点对应的人体部位运动参数,所述人体部位运动参数包括头部运动参数、手部运动参数、腰部运动参数和腿部运动参数中的至少一种;
确定单元,用于将所述人体部位运动参数确定为所述目标人体运动参数。
8.根据权利要求6或7所述的装置,其特征在于,所述装置还包括:
样本集获取模块,用于获取训练样本集,所述训练样本集中包括至少一组训练样本,每组训练样本中包括所述样本人体运动参数、所述标准人体运动参数和所述样本运动评分,其中,所述样本人体运动参数是从样本对象的样本人体运动影像中提取,所述标准人体运动参数是从所述标准运动影像中提取,所述样本运动评分为预先标定;
训练模块,用于采用误差反向传播算法对所述至少一组训练样本进行训练,得到所述目标运动评价模型。
9.根据权利要求8所述的装置,其特征在于,所述训练模块,包括:
输入单元,用于对于所述至少一组训练样本中的每组所述训练样本,将所述样本人体运动参数和所述标准人体运动参数输入原始评价模型,得到训练结果;
计算单元,用于对于每组所述训练样本,将所述训练结果与所述样本运动评分进行比较,得到计算损失,所述计算损失用于指示所述训练结果与所述样本运动评分之间的误差;
训练单元,用于根据所述至少一组训练样本各自对应的计算损失,采用所述误差反向传播算法训练得到所述目标运动评价模型。
10.根据权利要求8所述的装置,其特征在于,所述装置,还包括:
接收模块,用于接收运动评分修正信息;
添加模块,用于将所述目标人体运动参数、所述标准人体运动参数以及所述运动评分修正信息添加至所述训练样本集;
更新模块,用于根据更新后的训练样本集对所述目标运动评价模型进行训练,得到更新后的目标运动评价模型。
11.一种运动评分设备,其特征在于,所述设备包括处理器、与所述处理器相连的存储器,以及存储在所述存储器上的程序指令,所述处理器执行所述程序指令时实现如权利要求1至5任一所述的运动评分方法。
12.一种计算机可读存储介质,其特征在于,其上存储有程序指令,所述程序指令被处理器执行时实现如权利要求1至5任一所述的运动评分方法。
CN201711441496.6A 2017-12-27 2017-12-27 运动评分方法、装置、设备及存储介质 Expired - Fee Related CN108198601B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711441496.6A CN108198601B (zh) 2017-12-27 2017-12-27 运动评分方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711441496.6A CN108198601B (zh) 2017-12-27 2017-12-27 运动评分方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN108198601A CN108198601A (zh) 2018-06-22
CN108198601B true CN108198601B (zh) 2020-12-22

Family

ID=62584447

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711441496.6A Expired - Fee Related CN108198601B (zh) 2017-12-27 2017-12-27 运动评分方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN108198601B (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108921907B (zh) * 2018-07-26 2022-03-08 上海慧子视听科技有限公司 一种运动测试评分的方法、装置、设备及存储介质
CN109146960A (zh) * 2018-09-03 2019-01-04 吴佳雨 一种基于智能数据采集的实心球投掷姿势矫正方法
CN108830381A (zh) * 2018-09-03 2018-11-16 陈怡� 一种基于Elman神经网络和遗传算法的掷实心球姿势矫正方法
CN109243562A (zh) * 2018-09-03 2019-01-18 陈怡� 一种基于Elman神经网络和遗传算法的形象气质提升方法
CN109472217B (zh) * 2018-10-19 2021-08-31 广州慧睿思通信息科技有限公司 智能化运动训练模型构建方法及装置、训练方法及装置
CN109508656A (zh) * 2018-10-29 2019-03-22 重庆中科云丛科技有限公司 一种舞蹈评级自动判别方法、系统及计算机可读存储介质
CN109491915B (zh) * 2018-11-09 2022-02-08 网易有道信息技术(杭州)有限公司 数据处理方法及装置、介质和计算设备
CN109376705A (zh) * 2018-11-30 2019-02-22 努比亚技术有限公司 舞蹈训练评分方法、装置及计算机可读存储介质
CN109543652B (zh) * 2018-12-06 2020-04-17 北京奥康达体育产业股份有限公司 一种智慧滑雪训练器及其训练结果显示方法、云服务器
CN109550222A (zh) * 2019-01-09 2019-04-02 浙江强脑科技有限公司 电子健身训练方法、系统及可读存储介质
CN110191365A (zh) * 2019-05-30 2019-08-30 深圳创维-Rgb电子有限公司 一种用于动作模仿的方法、存储介质及系统
CN110414453A (zh) * 2019-07-31 2019-11-05 电子科技大学成都学院 一种基于机器视觉的多重视角下人体动作状态监测方法
CN113128283A (zh) * 2019-12-31 2021-07-16 沸腾时刻智能科技(深圳)有限公司 评估方法、模型构建方法、教学机、教学系统及电子设备
JP7412265B2 (ja) * 2020-04-27 2024-01-12 株式会社日立製作所 動作評価システム、動作評価装置、および動作評価方法
CN111552269B (zh) * 2020-04-27 2021-05-28 武汉工程大学 一种基于姿态估计的多工业机器人安全性检测方法及系统
CN111814557A (zh) * 2020-06-09 2020-10-23 珠海格力电器股份有限公司 动作流检测方法、装置、设备及存储介质
CN112528768A (zh) * 2020-11-26 2021-03-19 腾讯科技(深圳)有限公司 视频中的动作处理方法、装置、电子设备及存储介质
CN113392746A (zh) * 2021-06-04 2021-09-14 北京格灵深瞳信息技术股份有限公司 动作标准挖掘方法、装置、电子设备和计算机存储介质
CN113392744A (zh) * 2021-06-04 2021-09-14 北京格灵深瞳信息技术股份有限公司 舞蹈动作美感确认方法、装置、电子设备及存储介质
WO2024055192A1 (zh) * 2022-09-14 2024-03-21 深圳市韶音科技有限公司 对运动数据进行标记以及生成运动评估模型的方法和系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102074034A (zh) * 2011-01-06 2011-05-25 西安电子科技大学 多模型人体运动跟踪方法
CN103390174A (zh) * 2012-05-07 2013-11-13 深圳泰山在线科技有限公司 基于人体姿态识别的体育教学辅助系统和方法
CN106846372A (zh) * 2017-02-13 2017-06-13 南京升渡智能科技有限公司 人体运动质量视觉分析与评价系统及其方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105069829B (zh) * 2015-07-24 2017-12-05 中国电子科技集团公司第二十八研究所 一种基于多目视频的人体动画生成方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102074034A (zh) * 2011-01-06 2011-05-25 西安电子科技大学 多模型人体运动跟踪方法
CN103390174A (zh) * 2012-05-07 2013-11-13 深圳泰山在线科技有限公司 基于人体姿态识别的体育教学辅助系统和方法
CN106846372A (zh) * 2017-02-13 2017-06-13 南京升渡智能科技有限公司 人体运动质量视觉分析与评价系统及其方法

Also Published As

Publication number Publication date
CN108198601A (zh) 2018-06-22

Similar Documents

Publication Publication Date Title
CN108198601B (zh) 运动评分方法、装置、设备及存储介质
CN109191588B (zh) 运动教学方法、装置、存储介质及电子设备
KR20220066366A (ko) 예측적 개인별 3차원 신체 모델
WO2020156245A1 (zh) 动作识别方法、装置、设备及存储介质
CN106600626B (zh) 三维人体运动捕获方法与系统
CN111191599A (zh) 姿态识别方法、装置、设备及存储介质
CN109960962B (zh) 图像识别方法、装置、电子设备以及可读存储介质
CN109815776A (zh) 动作提示方法和装置、存储介质及电子装置
CN112446302A (zh) 一种人体姿态检测方法、系统、电子设备和存储介质
US11963741B2 (en) Systems and methods for human pose and shape recovery
CN111967407B (zh) 动作评价方法、电子设备和计算机可读存储介质
CN112164091A (zh) 基于三维骨架提取的移动设备人体位姿估计方法
CN114022512A (zh) 运动辅助方法、装置及介质
CN112288766A (zh) 运动评估方法、装置、系统及存储介质
KR20140043174A (ko) 승마 시뮬레이터 및 승마 시뮬레이션 방법
CN116844084A (zh) 一种融合区块链的体育运动动作分析与纠正方法及系统
CN111259700B (zh) 用于生成步态识别模型的方法和装置
CN112418046B (zh) 一种基于云机器人的健身指导方法、存储介质及系统
AU2020436768B2 (en) Joint rotation inferences based on inverse kinematics
CN107944754A (zh) 康复治疗质量评定的方法、装置、存储介质及电子设备
CN116012942A (zh) 手语教学方法、装置、设备及存储介质
CN113842622B (zh) 一种运动教学方法、装置、系统、电子设备及存储介质
CN112633224B (zh) 一种社交关系识别方法、装置、电子设备及存储介质
KR102324690B1 (ko) 딥러닝을 적용한 탁구 로봇 시스템
CN110148202B (zh) 用于生成图像的方法、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18

Applicant after: GUANGDONG OPPO MOBILE TELECOMMUNICATIONS Corp.,Ltd.

Address before: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18

Applicant before: GUANGDONG OPPO MOBILE TELECOMMUNICATIONS Corp.,Ltd.

GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20201222