CN108205654B - 一种基于视频的动作检测方法及装置 - Google Patents

Abstract

本申请实施例提供了一种基于视频的动作检测方法及装置，涉及视频处理技术领域，其中，上述方法包括：检测待检测视频的视频帧中的肢体关键点；根据所述肢体关键点，获得对应的行为特征；基于所述行为特征及全局动作评估模型，进行动作完成度检测，获得全局检测结果，其中，所述全局动作评估模型用于检测视频中人体动作相对于标准动作的完成度。应用本申请实施例提供的方案在检测人们运动过程中动作是否规范时，降低了检测结果的主观性，提高了检测结果的准确率。

Description

一种基于视频的动作检测方法及装置

技术领域

本申请涉及视频处理技术领域，特别是涉及一种基于视频的动作检测方法及装置。

背景技术

运动是人们生活中必不可少的一部分，例如，人们为提高身体素质而进行的运动、运动员为提高成绩而进行的运动等等，然而人们在运动过程中不可避免的会存在动作不规范的情况，也就是，存在未完成标准动作所规定动作的情况。上述动作不规范的情况容易引起运动损伤，进而给人们的生活、工作带来影响。

鉴于上述情况，需要检测人们在运动过程中的动作是否规范，以在发现人们动作不规范的情况下及时进行纠正。现有技术中，检测人们运动过程中动作是否规范时，通常是采用人为观察的方式进行检测，这与观察者的经验息息相关，进而导致现有技术中检测人们运动过程中动作是否规范时，检测结果主观性强、准确率低。

发明内容

本申请实施例的目的在于提供一种基于视频的动作检测方法及装置，以在检测人们运动过程中动作是否规范时，降低检测结果的主观性，提高检测结果的准确率。具体技术方案如下：

第一方面，本申请实施例提供了一种基于视频的动作检测方法，所述方法包括：

检测待检测视频的视频帧中的肢体关键点；

根据所述肢体关键点，获得对应的行为特征；

基于所述行为特征及全局动作评估模型，进行动作完成度检测，获得全局检测结果，其中，所述全局动作评估模型用于检测视频中人体动作相对于标准动作的完成度。

本申请的一种实现方式中，所述基于所述行为特征及动作评估模型，进行动作完成度检测，获得全局检测结果，之后还包括：

当所述全局检测结果为动作完成度在预设范围内时，基于所述行为特征及局部动作评估模型，进行各关节完成度检测，所述局部动作评估模型用于检测视频帧中人体关节动作相对于关节标准动作的完成度。

本申请的一种实现方式中，所述局部动作评估模型包括各关节分别对应的局部动作评估子模型；

所述基于所述行为特征及局部动作评估模型，进行各关节完成度检测，包括：

根据所述肢体关键点，获得各关节特征；

基于所述各关节特征及分别对应的局部动作评估子模型，进行各关节完成度检测,获得各局部检测结果。

本申请的一种实现方式中，所述基于视频的动作检测方法还包括：

基于所述各局部检测结果，确定动作完成度在预设范围内的视频帧；

生成动作提示信息，其中，所述动作提示信息包括：所述视频帧标识、对应的局部检测结果信息及全局检测结果信息。

本申请的一种实现方式中，所述基于视频的动作检测方法还包括：

获得样本视频中人体动作的完成度标注信息；

检测所述样本视频的样本肢体关键点；

根据所述样本肢体关键点，获得对应的样本行为特征；

基于所述样本行为特征及所述全局动作评估模型，进行动作完成度检测，获得全局样本检测结果；

基于所述完成度标注信息和所述全局样本检测结果，对所述全局动作评估模型进行训练。

本申请的一种实现方式中，所述基于视频的动作检测方法还包括：

获得样本视频中人体的各关节完成度标注信息；

根据所述样本肢体关键点，获得各样本关节特征；

基于所述各样本关节特征及所述局部动作评估模型，进行各关节完成度检测，获得各局部样本检测结果；

基于所述各关节完成度标注信息和所述各局部样本检测结果，对所述局部动作评估模型进行训练。

本申请的一种实现方式中，所述行为特征包括以下信息中的任意一种或任意组合：

人体关节相对于人体的位置；

人体关节的角度；

人体的身体朝向；

人体倾斜角度。

第二方面，本申请实施例提供了一种基于视频的动作检测装置，所述装置包括：

第一关键点检测模块，用于检测待检测视频的视频帧中的肢体关键点；

第一行为特征获得模块，用于根据所述肢体关键点，获得对应的行为特征；

第一完成度检测模块，用于基于所述行为特征及全局动作评估模型，进行动作完成度检测，获得全局检测结果，其中，所述全局动作评估模型用于检测视频中人体动作相对于标准动作的完成度。

本申请的一种实现方式中，所述基于视频的动作检测装置还包括：

第二完成度检测模块，用于在所述全局检测结果为动作完成度在预设范围内时，基于所述行为特征及局部动作评估模型，进行各关节完成度检测，所述局部动作评估模型用于检测视频帧中人体关节动作相对于关节标准动作的完成度。

本申请的一种实现方式中，所述局部动作评估模型包括各关节分别对应的局部动作评估子模型；

所述第二完成度检测模块，包括：

关节特征获得单元，用于根据所述肢体关键点，获得各关节特征；

完成度检测单元，用于基于所述各关节特征及分别对应的局部动作评估子模型，进行各关节完成度检测,获得各局部检测结果。

本申请的一种实现方式中，所述基于视频的动作检测装置还包括：

视频帧确定模块，用于基于所述各局部检测结果，确定动作完成度在预设范围内的视频帧；

提示信息生成模块，用于生成动作提示信息，其中，所述动作提示信息包括：所述视频帧标识、对应的局部检测结果信息及全局检测结果信息。

本申请的一种实现方式中，所述基于视频的动作检测装置还包括：

第一标注信息获得模块，用于获得样本视频中人体动作的完成度标注信息；

第二关键点检测模块，用于检测所述样本视频的样本肢体关键点；

第二行为特征获得模块，用于根据所述样本肢体关键点，获得对应的样本行为特征；

第三完成度检测模块，用于基于所述样本行为特征及所述全局动作评估模型，进行动作完成度检测，获得全局样本检测结果；

第一模型训练模块，用于基于所述完成度标注信息和所述全局样本检测结果，对所述全局动作评估模型进行训练。

本申请的一种实现方式中，所述基于视频的动作检测装置还包括：

第二标注信息获得模块，用于获得样本视频中人体的各关节完成度标注信息；

关节特征获得模块，用于根据所述样本肢体关键点，获得各样本关节特征；

第四完成度检测模块，用于基于所述各样本关节特征及所述局部动作评估模型，进行各关节完成度检测，获得各局部样本检测结果；

第二模型训练模块，用于基于所述各关节完成度标注信息和所述各局部样本检测结果，对所述局部动作评估模型进行训练。

本申请的一种实现方式中，所述行为特征包括以下信息中的任意一种或任意组合：

人体关节相对于人体的位置；

人体关节的角度；

人体的身体朝向；

人体倾斜角度。

第三方面，本申请实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现本申请实施例提供的基于视频的动作检测方法步骤。

第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现本申请实施例提供的基于视频的动作检测方法步骤。

由以上可见，本申请实施例提供的方案中，检测到待检测视频的视频帧中的肢体关键点后，根据上述肢体关键点，获得对应的行为特征，然后基于行为特征及全局动作评估模型，进行动作完成度检测，获得全局检测结果，其中，所述全局动作评估模型用于检测视频中人体动作相对于标准动作的完成度。与现有技术对比，应用本申请实施例提供的方案进行动作检测时，摆脱了人为检测动作是否标准的方式，检测结果的准确性不再受限于观察者的经验，即可以降低检测结果的主观性，从而可以提高动作标准程度的检测准确率。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种基于视频的动作检测方法的流程示意图；

图2为本申请实施例提供的另一种基于视频的动作检测方法的流程示意图；

图3为本申请实施例提供的一种基于视频的动作检测装置的结构示意图；

图4为本申请实施例提供的另一种基于视频的动作检测装置的结构示意图；

图5为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

由于现有技术中检测人们运动过程中动作是否规范时，主要采用人为观察的方式进行检测，与观察者的经验息息相关，进而导致检测结果主观性强、准确率低。为解决这一技术问题，本申请的一个实施例中，提供了一种基于视频的动作检测方法，该方法包括：

检测待检测视频的视频帧中的肢体关键点；

根据所述肢体关键点，获得对应的行为特征；

基于所述行为特征及全局动作评估模型，进行动作完成度检测，获得全局检测结果，其中，所述全局动作评估模型用于检测视频中人体动作相对于标准动作的完成度。

本实施例中，检测到待检测视频的视频帧中的肢体关键点后，根据上述肢体关键点，获得对应的行为特征，然后基于行为特征及全局动作评估模型，进行动作完成度检测，获得全局检测结果，其中，所述全局动作评估模型用于检测视频中人体动作相对于标准动作的完成度。与现有技术对比，应用本实施例提供的方案进行动作检测时，摆脱了人为检测动作是否标准的方式，检测结果的准确性不再受限于观察者的经验，即可以降低检测结果的主观性，从而可以提高动作标准程度的检测准确率。

本申请各个实施例中共涉及两个模型，全局动作评估模型和局部动作评估模型。

其中，全局动作评估模型是用于检测视频中人体动作相对于标准动作的完成度的模型。

局部动作评估模型是用于检测视频帧中人体关节的动作相对于关节的标准动作的完成度的模型。

在运动过程中，不管是人体的全局动作，还是关节的局部动作，均有要求，这一要求可以称之为标准动作，人们在运动时，会努力做出接近或者达到标准动作的动作，以使得所做出的动作规范。基于此，上述完成度可以理解为：人们所做出的动作完成该动作对应的标准动作的程度。完成度越高，说明人们做出的动作越接近于标准动作。上述人们所作出的动作可以指代的是人体的全局动作，当然，也可以指代的是关节的局部动作。

具体的，上述人体关节可以是肘关节、膝关节、腕关节等等，本申请并不对此进行限定。

为了更加清楚的理解本申请实施例提供的基于视频的动作检测方法，下面先通过具体实施例对本申请实施例中涉及的全局动作评估模型和局部动作评估模型的训练过程进行介绍。

实施例一

可以通过以下方式进行模型训练，获得上述全局动作评估模型：

获得样本视频中人体动作的完成度标注信息；

检测样本视频的样本肢体关键点；

根据样本肢体关键点，获得对应的样本行为特征；

基于样本行为特征及全局动作评估模型，进行动作完成度检测，获得全局样本检测结果；

基于完成度标注信息和全局样本检测结果，对全局动作评估模型进行训练。

在进行模型训练时，为了使得训练得到的全局动作评估模型具有较强的鲁棒性，需要收集大量的样本视频，这些样本视频可以包括：包含标准动作的正样本视频和包含非标准动作的负样本视频。另外，所收集的样本视频种类越丰富，采用收集到的样本视频进行模型训练后，得到的全局动作评估模型鲁棒性会越强，因此，在收集样本视频时，可以收集在不同拍摄角度拍摄的视频、在不同光照强度下拍摄的视频、运动人员着装不同的视频等等。

在收集到各种样本视频后，需要对收集到的样本视频进行标注，以标注出各个样本视频所包含人体动作的完成度，也就是，获得样本视频中人体动作的完成度标注信息。基于此，上述完成度标注信息可以理解为：对样本视频中人体动作所标注的完成度。

本申请实施例中将样本视频所包含的视频帧称之为样本视频帧。上述样本肢体关键点可以理解为：样本视频帧中用于描述肢体特征部位的像素点，其中，肢体特征部位可以是人体关节，如，肘关节、膝关节、肩关节等等。具体的，用于描述肘关节的像素点可以是大臂与小臂连接处的像素点等等。

一种实现方式中，肢体关键点对应的行为特征可以包括以下信息中的任意一种或任意组合：人体关节相对于人体的位置、人体关节的角度、人体的身体朝向、人体倾斜角度等。

可选的，上述人体关节相对于人体的位置可以以人体关节相对于人体中心的位置进行表示。假设，人体关节的位置以X表示，人体中心的位置以Y表示，则人体关节相对于人体的位置Z可以表示为：Z＝X-Y。

由于人体关节连接着人体的两个部位，例如，肘关节连接着人体的大臂和小臂，所以人体关节的角度可以通过图像中上述人体关节所连接的人体的两个部位的信息计算得到，例如，从图像中获得用于描述人体大臂的第一向量和用于描述人体小臂的第二向量，然后计算第一向量和第二向量之间的余弦值，根据计算得到的余弦值获得人体关节的角度。

一种实现方式中，获得上述人体朝向时，可以先根据图像获得用于描述人体腰部中间位置至颈部的连接向量、用于描述水平线的水平向量，然后计算上述连接向量与水平向量之间的夹角，根据计算得到的夹角确定人体朝向。

其中，连接向量与水平向量之间的夹角，可以根据余弦公式，通过计算连接向量与水平向量之间的余弦值而得到。

具体的，对上述全局动作评估模型进行训练时，这一模型具有一初始模型，上述初始模型可以是神经网络模型，例如，卷积神经网络模型、循环神经网络模型等等，本申请仅仅以此为例进行说明，并不对本申请构成限定。

基于样本行为特征及全局动作评估模型，进行动作完成度检测后，所得到的全局样本检测结果可能与完成度标注信息一致，也可能与完成度标注信息不一致，而用户希望采用全局动作评估模型对样本视频进行检测后，检测结果与完成度标注信息一致，为此，需要基于完成度标注信息以及全局样本检测结果，对全局动作评估模型进行训练。

本实施例中所提及的完成度标注信息均为：对样本视频中人体动作的完成度标注信息。

实施例二

可以通过以下方式进行模型训练，获得上述局部动作评估模型：

获得样本视频中人体的各关节完成度标注信息；

根据样本肢体关键点，获得各样本关节特征；

基于各样本关节特征及局部动作评估模型，进行各关节完成度检测，获得各局部样本检测结果；

基于各关节完成度标注信息和各局部样本检测结果，对局部动作评估模型进行训练。

由前面的描述可以得知，人体关节可以划分为不同的类型，例如，肘关节、腕关节、膝关节等等，这些不同类型的关节具有不同的特征，且这些关节在人们运动过程中会做出不同的动作，基于此，在进行模型训练得到上述局部动作评估模型时需要考虑各个类型人体关节的关节特征。

本实施例中，上述各关节完成度标注信息可以理解为：对样本视频中人体的各个关节所做出动作标注的完成度。

一种实现方式中，上述局部动作评估模型可以是一个单独的模型，适用于所有关节类型。

另一种实现方式中，上述局部动作评估模型可以包括各个关节分别对应的局部动作评估子模型。这种情况下，基于各样本关节特征及局部动作评估模型，进行各关节完成度检测，获得各局部样本检测结果时，对于样本视频中的每一关节而言，根据这一关节的样本关节特征和这一关节对应的局部动作评估子模型，进行关节所作出动作的完成度检测，获得局部样本检测结果，在此之后进行模型训练时，是采用这一关节的关节完成度标注信息和局部样本检测结果，对这一关节对应的局部动作评估子模型进行训练。

具体的，上述局部动作评估模型也存在初始模型，其初始模型可以是神经网络模型，例如，卷积神经网络模型、循环神经网络模型等等，本申请仅仅以此为例进行说明，并不对本申请构成限定。与此相对应，上述各个局部动作评估子模型也具有初始模型，各个局部动作评估子模型的初始模型可以是相同的，也可以是不同，本申请并不对此进行限定。

采用大量的样本视频进行模型训练，得到局部动作评估模型时，整个训练过程中模型通过不断学习，学习到各种类型的人体关节在运动过程中关节相对于人体的位置、关节角度等等有效范围，也可以称之为学习到各种类型的人体关节的特征分布，进而在后期采用这一模型检测图像中人体关节的动作是否标准时，可以得到较为准确的检测结果。

下面再通过具体实施例对本申请实施例提供的基于视频的动作检测方法进行详细介绍。

图1为本申请实施例提供的一种基于视频的动作检测方法的流程示意图，该方法包括：

S101：检测待检测视频的视频帧中的肢体关键点。

上述待检测视频可以是实时采集的视频，还可以是离线采集的视频，本申请并不对此进行限定。

为便于描述，本申请实施例中将待检测视频所包含的视频帧称之为待检测视频帧。

一种实现方式中，可以基于神经网络模型，检测每一待检测视频帧中的肢体关键点，例如，上述神经网络模型可以是基于convolutional pose machine算法的神经网络模型、基于hourglass pose estimation算法的神经网络模型等等。

S102：根据上述肢体关键点，获得对应的行为特征。

一种实现方式中，上述行为特征可以包括以下信息中的任意一种或任意组合：人体关节相对于人体的位置、人体关节的角度、人体的身体朝向、人体倾斜角度等。

肢体的一个动作往往是由多个关节配合完成的，受图像采集角度等因素的影响，一帧视频帧中可能会包含一个人体关节，也可能会包含一个以上人体关节，基于此，上述行为特征可以是用于描述人体一个关节动作的行为特征，还可以描述人体多个关节动作的行为特征。

S103：基于上述行为特征及全局动作评估模型，进行动作完成度检测，获得全局检测结果。

其中，上述全局动作评估模型为：用于检测视频中人体动作相对于标准动作的完成度的模型。

具体的，根据所获得的肢体关键点，获得对应的行为特征时，可以理解为：根据所获得的肢体关键点，按照肢体关键点所对应待检测视频帧的采集时间由先到后的顺序，获得行为特征。

上述全局检测结果中至少包含待检测视频中人体的动作完成度。另外，由于人体的动作完成度反映的是人体动作相对于标准动作的完成程度，因此，得到待检测视频中人体的动作完成度后，即可以通过完成度判断出待检测视频中人体动作是否标准。

例如，当待检测视频中人体的动作完成度大于预设的完成度阈值时，认为该人体动作是标准的，上述预设的完成度阈值可以是80％、90％等等。

由以上可见，本实施例提供的方案中，检测到待检测视频的视频帧中的肢体关键点后，根据上述肢体关键点，获得对应的行为特征，然后基于行为特征及全局动作评估模型，进行动作完成度检测，获得全局检测结果，其中，所述全局动作评估模型用于检测视频中人体动作相对于标准动作的完成度。与现有技术对比，应用本实施例提供的方案进行动作检测时，摆脱了人为检测动作是否标准的方式，检测结果的准确性不再受限于观察者的经验，即可以降低检测结果的主观性，从而可以提高动作标准程度的检测准确率。

图2为本申请实施例提供的另一种基于视频的动作检测方法的流程示意图，该方法包括：

S201：检测待检测视频的视频帧中的肢体关键点。

S202：根据上述肢体关键点，获得对应的行为特征。

S203：基于上述行为特征及全局动作评估模型，进行动作完成度检测，获得全局检测结果。

需要说明的是，上述步骤S201-S203与图1中步骤S101-S103相同，这里不再一一赘述。

S204：当上述全局检测结果为动作完成度在预设范围内时，基于上述行为特征及局部动作评估模型，进行各关节完成度检测。

其中，上述局部动作评估模型为：用于检测视频帧中人体关节的动作相对于关节的标准动作的完成度的模型。

当全局检测结果中包含的动作完成度在预设范围内时，基于上述行为特征及局部动作评估模型，进行各个关节完成度检测后，得到各个关节的关节完成度。

上述预设范围可以是表示动作完成度较低的一个范围，例如，[0，50％]、[0，60％]等等，这种情况下可以认为人体所作出的动作不够标准，这种情况下对人体各个关节的关节完成度进行检测，有利于找出哪个关节的动作不够标准。

另外，上述预设范围还可以是表示动作完成度较高的一个范围，例如，[80％，90％]等，这种情况下，可以认为人体所作出的动作比较标准，但是还想进一步提高的话，可以对各个关节的动作进行进一步分析，以有针对性的进行动作改进。

需要说明的是，本申请仅仅以上述为例进行说明，实际应用中上述预设范围对应的情况并不仅限于此。

从前面实施例二的描述可以得知，上述局部动作评估模型可以是一个独立的模型，还可以是由多个子模型构成的复合模型。

本申请的一种实现方式中，当上述局部动作评估模型包括各关节分别对应的局部动作评估子模型时，基于上述行为特征及局部动作评估模型，进行各关节完成度检测时，可以根据上述肢体关键点，获得各关节特征；然后基于各关节特征及分别对应的局部动作评估子模型，进行各关节完成度检测,获得各局部检测结果。

由以上可见，本实施例提供的方案中，在全局检测结果为动作完成度在预设范围内时，基于行为特征及局部动作评估模型，进行各关节完成度检测，这样实现对每一待检测视频帧中人体关节的动作的完成度检测，使得人们能够了解到其每一关节的动作是否规范，有助于人们更加详尽的了解自己的动作。

基于上述图2所示的实施例，本申请的一种实现方式中，还可以基于各局部检测结果，确定动作完成度在预设范围内的视频帧；然后生成动作提示信息，其中，上述动作提示信息包括：视频帧标识、对应的局部检测结果信息及全局检测结果信息。需要说明的是，本段中所提及的“预设范围”与S204中所提及的“预设范围”可以相同，也可以不相同。

其中，提示信息中所包含视频帧标识可以理解为：局部检测结果中，动作完成度在预设范围内的视频帧的标识；

提示信息中所包含的对应的局部检测结果信息可以理解为：局部检测结果中，动作完成度在预设范围内的视频帧对应的局部检测结果。

当动作完成度位于一个较低的范围内时，也就是，动作完成度小于一定阈值时，可以认为这一动作是不规范的，这种情况下生成动作提示信息可以有助于人们有针对性的调整自己的动作，防止产生运动损伤。

上述提示信息中包含对应的局部检测结果信息以及全局检测结果信息，可以保证用户在了解到人体关节的不规范动作的同时，还能够掌握整体动作以及每一关节的动作的情况。

具体的，上述动作提示信息可以是直接展示于用户界面的提示信息，还可以是文件信息是的提示信息，本申请仅仅以此为例进行说明，并不对动作提示信息的具体形式进行限定。

综合以上信息，采用本申请各个实施例提供的方案进行动作检测，可以应用在运动员的训练过程中、对学生的教学过程中、群众的健身过程中等等，不仅能够检测出整体动作是否规范，还可以检测出各个关节的动作是否规范，这些检测结果不仅可以对运动者的动作具有预警、提示的作用，以预防运动损伤，还可以为运动损伤的检测、治疗、伤后恢复等等提供大量的分析数据，从而降低运动损伤判断过程的工作量。

与上述基于视频额动作检测方法相对应，本申请实施例还提供了一种基于视频的动作检测装置。

图3为本申请实施例提供的一种基于视频的动作检测装置的结构示意图，该装置包括：

第一关键点检测模块301，用于检测待检测视频的视频帧中的肢体关键点；

第一行为特征获得模块302，用于根据所述肢体关键点，获得对应的行为特征；

第一完成度检测模块302，用于基于所述行为特征及全局动作评估模型，进行动作完成度检测，获得全局检测结果，其中，所述全局动作评估模型用于检测视频中人体动作相对于标准动作的完成度。

由以上可见，本实施例提供的方案中，检测到待检测视频的视频帧中的肢体关键点后，根据上述肢体关键点，获得对应的行为特征，然后基于行为特征及全局动作评估模型，进行动作完成度检测，获得全局检测结果，其中，所述全局动作评估模型用于检测视频中人体动作相对于标准动作的完成度。与现有技术对比，应用本实施例提供的方案进行动作检测时，摆脱了人为检测动作是否标准的方式，检测结果的准确性不再受限于观察者的经验，即可以降低检测结果的主观性，从而可以提高动作标准程度的检测准确率。

图4为本申请实施例提供的另一种基于视频的动作检测装置的结构示意图，该装置包括：

第一关键点检测模块401，用于检测待检测视频的视频帧中的肢体关键点；

第一行为特征获得模块402，用于根据所述肢体关键点，获得对应的行为特征；

第一完成度检测模块402，用于基于所述行为特征及全局动作评估模型，进行动作完成度检测，获得全局检测结果，其中，所述全局动作评估模型用于检测视频中人体动作相对于标准动作的完成度；

第二完成度检测模块404，用于在所述全局检测结果为动作完成度在预设范围内时，基于所述行为特征及局部动作评估模型，进行各关节完成度检测，所述局部动作评估模型用于检测视频帧中人体关节动作相对于关节标准动作的完成度。

本申请的一种实现方式中，所述局部动作评估模型包括各关节分别对应的局部动作评估子模型；

所述第二完成度检测模块404可以包括：

关节特征获得单元，用于根据所述肢体关键点，获得各关节特征；

完成度检测单元，用于基于所述各关节特征及分别对应的局部动作评估子模型，进行各关节完成度检测,获得各局部检测结果。

由以上可见，本实施例提供的方案中，在全局检测结果为动作完成度在预设范围内时，基于行为特征及局部动作评估模型，进行各关节完成度检测，这样实现对每一待检测视频帧中人体关节的动作的完成度检测，使得人们能够了解到其每一关节的动作是否规范，有助于人们更加详尽的了解自己的动作。

本申请的一种实现方式中，上述基于视频的动作检测装置还可以包括：

视频帧确定模块，用于基于所述各局部检测结果，确定动作完成度在预设范围内的视频帧；

提示信息生成模块，用于生成动作提示信息，其中，所述动作提示信息包括：所述视频帧标识、对应的局部检测结果信息及全局检测结果信息。

上述提示信息中包含对应的局部检测结果信息以及全局检测结果信息，可以保证用户在了解到人体关节的不规范动作的同时，还能够掌握整体动作以及每一关节的动作的情况。

本申请的一种实现方式中，上述基于视频的动作检测装置还可以包括：

第一标注信息获得模块，用于获得样本视频中人体动作的完成度标注信息；

第二关键点检测模块，用于检测所述样本视频的样本肢体关键点；

第二行为特征获得模块，用于根据所述样本肢体关键点，获得对应的样本行为特征；

第三完成度检测模块，用于基于所述样本行为特征及所述全局动作评估模型，进行动作完成度检测，获得全局样本检测结果；

第一模型训练模块，用于基于所述完成度标注信息和所述全局样本检测结果，对所述全局动作评估模型进行训练。

本申请的一种实现方式中，上述基于视频的动作检测装置还可以包括：

第二标注信息获得模块，用于获得样本视频中人体的各关节完成度标注信息；

关节特征获得模块，用于根据所述样本肢体关键点，获得各样本关节特征；

第四完成度检测模块，用于基于所述各样本关节特征及所述局部动作评估模型，进行各关节完成度检测，获得各局部样本检测结果；

第二模型训练模块，用于基于所述各关节完成度标注信息和所述各局部样本检测结果，对所述局部动作评估模型进行训练。

本申请的一种实现方式中，所述行为特征包括以下信息中的任意一种或任意组合：

人体关节相对于人体的位置；

人体关节的角度；

人体的身体朝向；

人体倾斜角度。

与前述基于视频的动作检测方法和基于视频的动作检测装置相对，本申请实施例还提供了一种电子设备，如图5所示，包括处理器501、通信接口502、存储器503和通信总线504，其中，处理器501，通信接口502，存储器503通过通信总线504完成相互间的通信，

存储器503，用于存放计算机程序；

处理器501，用于执行存储器503上所存放的程序时，实现本申请实施例提供的基于视频的动作检测方法。

一种实现方式中，上述基于视频的动作检测方法，包括：

检测待检测视频的视频帧中的肢体关键点；

根据所述肢体关键点，获得对应的行为特征；

基于所述行为特征及全局动作评估模型，进行动作完成度检测，获得全局检测结果，其中，所述全局动作评估模型用于检测视频中人体动作相对于标准动作的完成度。

处理器501执行存储器503上所存放的程序而实现基于视频的动作检测方法的其他实施例，与前述方法实施例部分所提供的实施例相同，这里不再赘述。

上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口用于上述电子设备与其他设备之间的通信。

存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

由以上可见，本实施例提供的方案中，电子设备检测到待检测视频的视频帧中的肢体关键点后，根据上述肢体关键点，获得对应的行为特征，然后基于行为特征及全局动作评估模型，进行动作完成度检测，获得全局检测结果，其中，所述全局动作评估模型用于检测视频中人体动作相对于标准动作的完成度。与现有技术对比，应用本实施例提供的方案进行动作检测时，摆脱了人为检测动作是否标准的方式，检测结果的准确性不再受限于观察者的经验，即可以降低检测结果的主观性，从而可以提高动作标准程度的检测准确率。

与前述基于视频的动作检测方法和基于视频的动作检测装置相对，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现本申请实施例提供的基于视频的动作检测方法。

一种实现方式中，上述基于视频的动作检测方法，包括：

检测待检测视频的视频帧中的肢体关键点；

根据所述肢体关键点，获得对应的行为特征；

基于所述行为特征及全局动作评估模型，进行动作完成度检测，获得全局检测结果，其中，所述全局动作评估模型用于检测视频中人体动作相对于标准动作的完成度。

上述计算机程序被处理器执行而实现基于视频的动作检测方法的其他实施例，与前述方法实施例部分所提供的实施例相同，这里不再赘述。

由以上可见，本实施例提供的方案中，通过执行计算机可读存储介质中存存储的计算机程序，检测到待检测视频的视频帧中的肢体关键点后，根据上述肢体关键点，获得对应的行为特征，然后基于行为特征及全局动作评估模型，进行动作完成度检测，获得全局检测结果，其中，所述全局动作评估模型用于检测视频中人体动作相对于标准动作的完成度。与现有技术对比，应用本实施例提供的方案进行动作检测时，摆脱了人为检测动作是否标准的方式，检测结果的准确性不再受限于观察者的经验，即可以降低检测结果的主观性，从而可以提高动作标准程度的检测准确率。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备、计算机可读存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。

Claims (12)

1.一种基于视频的动作检测方法，其特征在于，所述方法包括：

检测待检测视频的视频帧中的肢体关键点；

根据所述肢体关键点，获得对应的行为特征；

基于所述行为特征及全局动作评估模型，进行动作完成度检测，获得全局检测结果，其中，所述全局动作评估模型用于检测视频中人体动作相对于标准动作的完成度；所述全局动作评估模型是经过训练的神经网络模型；

所述基于所述行为特征及动作评估模型，进行动作完成度检测，获得全局检测结果，之后还包括：

当所述全局检测结果为动作完成度在预设范围内时，基于所述行为特征及局部动作评估模型，进行各关节完成度检测，所述局部动作评估模型用于检测视频帧中人体关节动作相对于关节标准动作的完成度；

所述局部动作评估模型包括各关节分别对应的局部动作评估子模型；所述局部动作评估子模型是经过训练的神经网络模型；

所述基于所述行为特征及局部动作评估模型，进行各关节完成度检测，包括：

根据所述肢体关键点，获得各关节特征；

基于所述各关节特征及分别对应的局部动作评估子模型，进行各关节完成度检测，获得各局部检测结果。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

基于所述各局部检测结果，确定动作完成度在预设范围内的视频帧；

生成动作提示信息，其中，所述动作提示信息包括：所述视频帧标识、对应的局部检测结果信息及全局检测结果信息。

3.根据权利要求1-2中任一项所述的方法，其特征在于，所述方法还包括：

获得样本视频中人体动作的完成度标注信息；

检测所述样本视频的样本肢体关键点；

根据所述样本肢体关键点，获得对应的样本行为特征；

基于所述样本行为特征及所述全局动作评估模型，进行动作完成度检测，获得全局样本检测结果；

基于所述完成度标注信息和所述全局样本检测结果，对所述全局动作评估模型进行训练。

4.根据权利要求1-2中任一项所述的方法，其特征在于，所述方法还包括：

获得样本视频中人体的各关节完成度标注信息；

根据所述样本肢体关键点，获得各样本关节特征；

基于所述各样本关节特征及所述局部动作评估模型，进行各关节完成度检测，获得各局部样本检测结果；

基于所述各关节完成度标注信息和所述各局部样本检测结果，对所述局部动作评估模型进行训练。

5.根据权利要求1-2中任一项所述的方法，其特征在于，所述行为特征包括以下信息中的任意一种或任意组合：

人体关节相对于人体的位置；

人体关节的角度；

人体的身体朝向；

人体倾斜角度。

6.一种基于视频的动作检测装置，其特征在于，所述装置包括：

第一关键点检测模块，用于检测待检测视频的视频帧中的肢体关键点；

第一行为特征获得模块，用于根据所述肢体关键点，获得对应的行为特征；

第一完成度检测模块，用于基于所述行为特征及全局动作评估模型，进行动作完成度检测，获得全局检测结果，其中，所述全局动作评估模型用于检测视频中人体动作相对于标准动作的完成度；所述全局动作评估模型是经过训练的神经网络模型；

所述装置还包括：

第二完成度检测模块，用于在所述全局检测结果为动作完成度在预设范围内时，基于所述行为特征及局部动作评估模型，进行各关节完成度检测，所述局部动作评估模型用于检测视频帧中人体关节动作相对于关节标准动作的完成度；

所述局部动作评估模型包括各关节分别对应的局部动作评估子模型；所述局部动作评估子模型是经过训练的神经网络模型；

所述第二完成度检测模块，包括：

关节特征获得单元，用于根据所述肢体关键点，获得各关节特征；

完成度检测单元，用于基于所述各关节特征及分别对应的局部动作评估子模型，进行各关节完成度检测，获得各局部检测结果。

7.根据权利要求6所述的装置，其特征在于，所述装置还包括：

视频帧确定模块，用于基于所述各局部检测结果，确定动作完成度在预设范围内的视频帧；

提示信息生成模块，用于生成动作提示信息，其中，所述动作提示信息包括：所述视频帧标识、对应的局部检测结果信息及全局检测结果信息。

8.根据权利要求6-7中任一项所述的装置，其特征在于，所述装置还包括：

第一标注信息获得模块，用于获得样本视频中人体动作的完成度标注信息；

第二关键点检测模块，用于检测所述样本视频的样本肢体关键点；

第二行为特征获得模块，用于根据所述样本肢体关键点，获得对应的样本行为特征；

第三完成度检测模块，用于基于所述样本行为特征及所述全局动作评估模型，进行动作完成度检测，获得全局样本检测结果；

第一模型训练模块，用于基于所述完成度标注信息和所述全局样本检测结果，对所述全局动作评估模型进行训练。

9.根据权利要求6-7中任一项所述的装置，其特征在于，所述装置还包括：

第二标注信息获得模块，用于获得样本视频中人体的各关节完成度标注信息；

关节特征获得模块，用于根据所述样本肢体关键点，获得各样本关节特征；

第四完成度检测模块，用于基于所述各样本关节特征及所述局部动作评估模型，进行各关节完成度检测，获得各局部样本检测结果；

第二模型训练模块，用于基于所述各关节完成度标注信息和所述各局部样本检测结果，对所述局部动作评估模型进行训练。

10.根据权利要求6-7中任一项所述的装置，其特征在于，所述行为特征包括以下信息中的任意一种或任意组合：

人体关节相对于人体的位置；

人体关节的角度；

人体的身体朝向；

人体倾斜角度。

11.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现权利要求1-5任一所述的方法步骤。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-5任一所述的方法步骤。

Images