CN110008814A - 视频处理方法、视频处理装置和电子设备 - Google Patents

Abstract

公开了一种视频处理方法、视频处理装置和电子设备。该视频处理方法、视频处理装置和电子设备用于解决用户在拍摄了包含动作的视频，并上传到视频网站之后，无法得到对于动作的反馈，从而无法纠正错误动作，影响了用户体验的问题。通过该视频处理方法、视频处理装置和电子设备，可以向用户提供反馈机制，以帮助用户通过查看反馈来参照标准动作来修正动作。并且，用户基于反馈也可以重新上传新的动作片段来让该反馈机制继续进行反馈。

Description

视频处理方法、视频处理装置和电子设备

技术领域

本申请涉及视频处理领域，且更为具体地，涉及一种视频处理方法、视频处理装置和电子设备。

背景技术

模仿类节目是综艺类节目的一大类型，在模仿类节目中，选手利用一些道具和行为(包括肢身语言，声音，表情等)来模仿明星(特定场合也包括非明星)的形象和举止的行为。

在其它综艺类节目中，也有各种模仿行为，例如，在舞蹈类综艺节目中，舞蹈模仿也越来越被大家接受并乐在其中，尤其是“骑马舞”等更是深受各大综艺青睐，纷纷在节目中模仿。

受到这些模仿表演和演出的影响，越来越多的用户也在学习这些模仿动作，并且将视频上传到视频网站上，从而造成更广泛的传播。

但是，用户在进行模仿时，难免会存在动作不规范的情况，而目前并没有一种机制能够向用户反馈动作的评价，从而造成用户的不便。

因此，期望提供改进的视频处理方案，能够向用户提供动作的反馈。

发明内容

为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种视频处理方法、视频处理装置和电子设备，其能够通过对视频进行人体姿态识别以获得动作数据，并再通过与基准动作视频的基准动作数据比较来确定动作的准确度和/或完整度，从而向用户提供包含动作的视频的反馈机制，促进了用户对动作的学习，并改善了用户的交互体验。

根据本申请的一方面，提供了一种视频处理方法，其中，所述视频处理方法包括：接收包含动作的第一视频；对所述第一视频进行人体姿态识别，以确定所述第一视频中的动作对应的动作数据；获取所述第一视频对应的基准动作视频的基准动作数据；以及，比较所述动作数据和所述基准动作数据，以生成第一比较结果，所述比较结果用于指示动作的准确度和/或完整度。

在上述视频处理方法中，生成第一比较结果包括：在所述第一视频上标记所述动作数据和所述基准动作数据不匹配的时间戳；以及，生成带有标记所述时间戳的所述包含动作的视频。

在上述视频处理方法中，生成第一比较结果包括：在所述包含动作的视频上标记所述动作数据和所述基准动作数据不匹配的时间戳，截取第一不匹配片段；以及，生成所述第一不匹配片段。

在上述视频处理方法中，生成第一比较结果包括：在所述基准动作视频上标记所述动作数据和所述基准动作数据不匹配的时间戳；以及，生成带有标记所述时间戳的所述基准动作视频。

在上述视频处理方法中，生成第一比较结果包括：在所述基准动作视频上标记所述动作数据和所述基准动作数据不匹配的时间戳，截取第二不匹配片段；以及，生成所述第二不匹配片段。

在上述视频处理方法中，生成第一比较结果后进一步包括：反馈第一比较结果。

在上述视频处理方法中，反馈第一比较结果之后又进一步包括：接收包含动作的第二视频；以及，生成第二比较结果。

在上述视频处理方法中，生成第二比较结果之后又进一步包括：反馈第二比较结果。

在上述视频处理方法中，反馈第一比较结果还包括：反馈所述第一不匹配片段的背景音乐。

在上述视频处理方法中，对所述第一视频进行人体姿态识别，以确定所述第一视频中的动作对应的动作数据包括：对所述第一视频进行人体姿态识别，以确定所述第一视频中的每个动作以及对应于所述每个动作的视频分段。

在上述视频处理方法中，对所述第一视频进行人体姿态识别，以确定所述第一视频中的动作对应的动作数据包括：以预定人体姿态识别算法处理所述第一视频，以识别出预定数目的关键标识点及其坐标；以及，基于所述预定数目的关键标识点及其坐标进行分析以获得以下的至少其中之一作为动作数据：上肢动作姿态、上肢动作幅度、下肢躯干姿态、脚步动作、脚步移动方向、脚步幅度、水平姿态动作、水平幅度、水平持续时间。

在上述视频处理方法中，获取所述第一视频对应的基准动作视频的基准动作数据包括：获取所述第一视频对应的基准动作视频；以及，对所述基准动作视频进行所述人体姿态识别以确定所述基准动作视频中的基准动作对应的基准动作数据。

在上述视频处理方法中，比较所述动作数据和所述基准动作数据，以生成第一比较结果包括：将所述动作数据与所述基准动作数据按照身体各部分划分为相应的各部分动作数据；对于每一部分的所述动作数据与所述基准动作数据进行比较以获得部分比较分数；以及，将所述部分比较分数进行加权求和以生成所述第一比较结果。

在上述视频处理方法中，对于每一部分的所述动作数据与所述基准动作数据进行比较以获得部分比较分数包括：对于每一部分的所述动作数据与所述基准动作数据进行基于一致性的比较；以及，基于预先确定的一致性等级获得与所述一致性等级对应的一致性分数以作为所述部分比较分数。

在上述视频处理方法中，所述生成第一比较结果还包括：生成包含与较低的一致性分数对应的部位的名称。

在上述视频处理方法中，所述视频处理方法还包括：接受录制视频指令。

根据本申请的另一方面，提供了一种视频处理装置，其中，所述视频处理方法装置：接收单元，用于接收包含动作的第一视频；识别单元，用于对所述第一视频进行人体姿态识别，以确定所述第一视频中的动作对应的动作数据；获取单元，用于获取所述第一视频对应的基准动作视频的基准动作数据；以及，比较单元，用于比较所述动作数据和所述基准动作数据，以生成第一比较结果，所述比较结果用于指示动作的准确度和/或完整度。

在上述视频处理装置中，所述比较单元包括：标记子单元，用于在所述第一视频上标记所述动作数据和所述基准动作数据不匹配的时间戳；以及，生成子单元，用于生成带有标记所述时间戳的所述包含动作的视频。

在上述视频处理装置中，所述比较单元包括：截取子单元，用于在所述包含动作的视频上标记所述动作数据和所述基准动作数据不匹配的时间戳，截取第一不匹配片段；以及，生成子单元，用于生成所述第一不匹配片段。

在上述视频处理装置中，所述比较单元包括：标记子单元，用于在所述基准动作视频上标记所述动作数据和所述基准动作数据不匹配的时间戳；以及，生成子单元，用于生成带有标记所述时间戳的所述基准动作视频。

在上述视频处理装置中，所述比较单元包括：截取子单元，用于在所述基准动作视频上标记所述动作数据和所述基准动作数据不匹配的时间戳，截取第二不匹配片段；以及，生成子单元，用于生成所述第二不匹配片段。

在上述视频处理装置中，进一步包括：反馈单元，用于在生成第一比较结果后，反馈第一比较结果。

在上述视频处理装置中，所述接收单元进一步用于在反馈第一比较结果之后，接收包含动作的第二视频；以及，所述比较单元进一步用于生成第二比较结果。

在上述视频处理装置中，所述反馈单元进一步用于在生成第二比较结果之后，反馈第二比较结果。

在上述视频处理装置中，所述反馈单元用于：反馈所述第一不匹配片段的背景音乐。

在上述视频处理装置中，所述识别单元用于：对所述第一视频进行人体姿态识别，以确定所述第一视频中的每个动作以及对应于所述每个动作的视频分段。

在上述视频处理装置中，所述识别单元包括：处理子单元，用于以预定人体姿态识别算法处理所述第一视频，以识别出预定数目的关键标识点及其坐标；以及，分析子单元，用于基于所述预定数目的关键标识点及其坐标进行分析以获得以下的至少其中之一作为动作数据：上肢动作姿态、上肢动作幅度、下肢躯干姿态、脚步动作、脚步移动方向、脚步幅度、水平姿态动作、水平幅度、水平持续时间。

在上述视频处理装置中，所述获取单元包括：获取子单元，用于获取所述第一视频对应的基准动作视频；以及，识别子单元，用于对所述基准动作视频进行所述人体姿态识别以确定所述基准动作视频中的基准动作对应的基准动作数据。

在上述视频处理装置中，所述比较单元包括：划分子单元，用于将所述动作数据与所述基准动作数据按照身体各部分划分为相应的各部分动作数据；比较子单元，用于对于每一部分的所述动作数据与所述基准动作数据进行比较以获得部分比较分数；以及，求和子单元，用于将所述部分比较分数进行加权求和以生成所述第一比较结果。

在上述视频处理装置中，所述比较子单元用于：对于每一部分的所述动作数据与所述基准动作数据进行基于一致性的比较；以及，基于预先确定的一致性等级获得与所述一致性等级对应的一致性分数以作为所述部分比较分数。

在上述视频处理装置中，所述比较单元还用于：生成包含与较低的一致性分数对应的部位的名称。

在上述视频处理装置中，还包括：录制单元，用于接受录制视频指令。

根据本申请的再一方面，提供了一种电子设备，包括：处理器；以及，存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如上所述的视频处理方法。

根据本申请的又一方面，提供了一种计算机可读介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如上所述的视频处理方法。

与现有技术相比，本申请提供的视频处理方法、视频处理装置和电子设备能够通过对视频进行人体姿态识别以获得动作数据，并再通过与基准动作视频的基准动作数据比较来确定动作的准确度和/或完整度，并向用户反馈结果。这样，用户可以获得包含动作的视频的反馈机制，基于准确度和/或完整度来促进用户对动作的学习，并且改善了用户的交互体验。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1图示了根据本申请实施例的视频处理方法的应用场景的示意图。

图2图示了根据本申请实施例的视频处理方法的流程图。

图3图示了人体姿态识别时与人体骨架对应的人体标识点的示意图。

图4图示了根据本申请实施例的视频处理方法中的示例性动作评分过程的流程图。

图5图示了根据本申请实施例的视频处理装置的框图。

图6图示了根据本申请实施例的电子设备的框图。

具体实施方式

下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

申请概述

如上所述，用户在拍摄了包含动作的视频，并上传到视频网站之后，无法得到对于动作的反馈，从而无法纠正错误动作，也影响了用户体验。

另外，传统的评分机制一般通过现场打分和统计分数的环节，显得不够方便，并且也无法向终端用户提供良好的交互体验。

针对上述技术问题，本申请的基本构思是通过对视频进行人体姿态识别以获得动作数据，并再通过与基准动作视频的基准动作数据比较来确定动作的准确度和/或完整度，并向用户反馈结果。

具体来说，本申请提供的视频处理方法、视频处理装置和电子设备首先接收包含动作的第一视频，然后对所述第一视频进行人体姿态识别，以确定所述第一视频中的动作对应的动作数据，再获取所述第一视频对应的基准动作视频的基准动作数据，最后比较所述动作数据和所述基准动作数据，以生成第一比较结果，所述比较结果用于指示动作的准确度和/或完整度。

因此，本申请提供的视频处理方法、视频处理装置和电子设备可以向用户提供包含动作的视频的反馈机制，从而基于准确度和/或完整度来促进用户对动作的学习，并且改善了用户的交互体验。

并且，本申请提供的视频处理方法、视频处理装置和电子设备还可以应用于用户的动作评分，其不需要通过专门的评分人员进行评分，仅通过用于获取包含用户的动作的视频的图像采集设备，例如手机的摄像头就可以获得比较结果，提高了用户的便利度。

另外，本申请提供的视频处理方法、视频处理装置和电子设备当应用于演出或者表演现场的模仿评分时，不需要邀请专门的评分人员，也不需要在评分环节浪费过多时间，降低了成本并提高了便利度。

并且，本申请提供的视频处理方法、视频处理装置和电子设备在进行评分时，不受评分人员的认知和主观因素的影响，可以全面而客观地评价用户的动作。

当然，本领域技术人员可以理解，本申请提供的视频处理方法、视频处理装置和电子设备可以对用户进行的各种特定动作，例如舞蹈动作、歌唱动作或者其它舞台动作等进行比较并反馈比较结果，本申请并不意在对此进行任何限制。

在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。

示例性系统

图1图示了根据本申请实施例的视频处理方法的应用场景的示意图。

如图1所示，当用户100在进行特定动作，例如模仿舞蹈“骑马舞”时，由图像采集设备110获取用户的视频IM，这里，所述图像采集设备110可以是用户的手机，也可以是手持摄像机、或者笔记本电脑的内置摄像头等其它图像采集设备。

在图像采集设备110获得用户的视频IM之后，由处理设备120对所述视频进行人体姿态识别，以获得动作数据。

然后，所述处理设备120进一步获得用户的特定动作对应的基准动作，例如，被模仿的舞蹈的基准动作数据Rdata。并通过模范动作数据与基准动作数据的比较来获得比较结果，例如反馈视频Comp，所述比较结果能够指示动作的准确度和/或完整度。

接下来，所述处理设备120通过视频或者音频等方式将所述比较结果，例如通过显示器将所述反馈视频Comp呈现给用户，从而使得用户能够基于所述比较结果来纠正自己的动作，例如，舞蹈动作。

需要注意的是，所述图像采集设备110和所述处理设备120可以集成在同一终端设备中，例如用户的手机，也就是说，可以通过手机拍摄用户进行动作时的视频，并通过人体姿态识别和进一步分析处理来获得动作数据。具体地，用户可以通过打开某特定应用，调用摄像头拍摄视频并获得动作数据。并且，所述特定应用可以是专门的动作分析应用，也可以集成到其它类型的应用，例如优酷视频应用中，以集成到优酷主客户端或者小视频客户端中作为一种有特色的视频拍摄生产服务。

另外，所述图像采集设备110和所述处理设备120也可以是分开的终端设备，例如所述图像采集设备110为手持摄像机，所述处理设备120为用户的手机或者计算机等。本领域技术人员可以理解，本申请并不意在对此进行任何限制。

下面，将进一步说明根据本申请实施例的视频处理方法。

示例性方法

图2图示了根据本申请实施例的视频处理方法的流程图。

如图2所示，根据本申请实施例的视频处理方法包括：S210，接收包含动作的第一视频；S220，对所述第一视频进行人体姿态识别，以确定所述第一视频中的动作对应的动作数据；S230，获取所述第一视频对应的基准动作视频的基准动作数据；以及S240，比较所述动作数据和所述基准动作数据，以生成第一比较结果，所述比较结果用于指示动作的准确度和/或完整度。

在步骤S210中，接收包含动作的第一视频。这里，如上所述，所述动作可以是用户需要获得反馈的各种模仿动作，例如舞蹈模仿、歌唱动作模仿或者其它舞台动作模仿等。下面，将以所述动作为舞蹈为例说明根据本申请实施例的视频处理方法。

在本申请实施例中，为了获得全面的动作数据，可以获得用户在进行动作时的各个角度的视频，例如，获取用户在进行所述动作时的正面视频、侧面视频和背面视频。当然，本领域技术人员可以理解，所获取的视频取决于实际需要，可以仅包括所述正面视频、侧面视频和背面视频中的一个或多个或者包括更多其它角度的视频。

在步骤S220中，对所述第一视频进行人体姿态识别，以确定所述第一视频中的动作对应的动作数据。具体地，可以通过人工智能方法，通过人体姿态数据中的标记点来从第一视频自动识别人体的动作。具体地，可以采用诸如openpose、densepose，poseseg等各种开源的人体姿态识别软件来进行人体姿态识别。

在进行人体姿态识别时，可以对所述第一视频中的动作进行分析，以确定所述第一视频中的每个动作。例如，以所述第一视频包括动作A、B和C为例，通过人体姿态识别，可以确定所述动作A、B和C以及分别与所述动作A、B和C对应的视频分段。

也就是，在根据本申请实施例的视频处理方法中，对所述第一视频进行人体姿态识别，以确定所述第一视频中的动作对应的动作数据包括：对所述第一视频进行人体姿态识别，以确定所述第一视频中的每个动作以及对应于所述每个动作的视频分段。

另外，为了提高人体姿态识别的准确性，可以通过从视频中截取连续的各帧图像来进行人体姿态识别。例如，可以拍摄用户在舞蹈时的正面视频、侧面视频和背面视频，并通过以0.1秒为间隔截取所述正面视频、侧面视频和背面视频中的图像帧来进行人体姿态识别。

图3图示了人体姿态识别时与人体骨架对应的人体标识点的示意图。如图3所示，对于诸如openpose的开源软件，可以输出各种格式的姿态识别数据，例如，其中一种输出格式名为BODY_25，用于在图像中识别出如图3所示的人体的25个关键点，并且给出坐标。

例如，这25个关键点的数据如下：{0，“鼻”}，{1，“右肩”}，{2，“右肘”}，{4，“右腕”}，{5，“左肩”}，{6，“左肘”}，{7，“左腕”}，{8，“中臀”}，{9，“右臀”}，{10，“右膝”}，{11，“右踝”}，{12，“左臀”}，{13，“左膝”}，{14，“左踝”}，{15，“右眼”}，{16，“左眼”}，{17，“右耳”}，{18，“左耳”}，{19，“左脚拇指”}，{20，“左脚小指”}，{21，“左脚跟”}，{22，“右脚拇指”}，{23，“右脚小指”}，{24，“右脚跟”}。

通过这些关键点及坐标，可以进一步分析以获得模仿动作数据。例如，通过正面数据，可以计算出用户的上肢动作姿态、上肢动作幅度、下肢躯干姿态、脚步动作、脚步移动方向、脚步幅度等数据。另外，还可以计算出用户的腕部、肩部、肘部等坐标点位数据，以及头部动作数据，包括基于鼻部、眼部等数据获得的表情数据等。

另外，结合侧面数据和背面数据，还可以进一步计算出用户的水平姿态动作、水平幅度、水平持续时间等数据。

在根据本申请实施例的视频处理方法中，对所述第一视频进行人体姿态识别，以确定所述第一视频中的动作对应的动作数据包括：以预定人体姿态识别算法处理所述第一视频，以识别出预定数目的关键标识点及其坐标；以及，基于所述预定数目的关键标识点及其坐标进行分析以获得以下的至少其中之一作为动作数据：上肢动作姿态、上肢动作幅度、下肢躯干姿态、脚步动作、脚步移动方向、脚步幅度、水平姿态动作、水平幅度、水平持续时间。

在步骤S230中，获取所述第一视频对应的基准动作视频的基准动作数据。具体地，可以预先存储所述第一视频对应的基准动作视频的基准动作数据。例如，针对用户模仿的“骑马舞”动作，可以预先对原始表演者的“骑马舞”视频进行人体姿态识别，以获得基准动作数据。当然，本领域技术人员可以理解，当用户模仿“骑马舞”时，也可以模仿其它表演者的“骑马舞”动作，因此所述基准动作视频实际上是所述用户的预定模仿动作的被模仿对象。

值得注意的是，为了保证用户的动作的比较结果的准确性，在获得所述基准动作视频的基准动作数据时，优选地利用与获得所述动作数据相同的人体姿态识别算法，例如上述openpose的开源人体姿态识别算法来获得基准动作数据。

这里，在例如模仿秀表演或者竞赛等多人模仿的场景下，由于存在多人模仿同一特定动作的情况，可以预先存储被模仿的基准动作视频的基准动作数据，以便于在获得动作数据之后直接进行比较以快速获得比较结果。

相对地，在例如个人进行例如舞蹈动作的训练等场景下，可以与所述动作数据类似地，通过被模仿动作的视频进行人体姿态识别来获得基准动作数据。

也就是，在根据本申请实施例的模仿动作数据处理方法中，获取所述第一视频对应的基准动作视频的基准动作数据包括：获取所述第一视频对应的基准动作视频；以及，对所述基准动作视频进行所述人体姿态识别以确定所述基准动作视频中的基准动作对应的基准动作数据。

在步骤S240中，比较所述动作数据和所述基准动作数据，以生成第一比较结果，所述比较结果用于指示动作的准确度和/或完整度。也就是，通过人体姿态识别以及数据分析，可以获得诸如上肢动作姿态、上肢动作幅度、下肢躯干姿态、脚步动作、脚步移动方向、脚步幅度、水平姿态动作、水平幅度、水平持续时间等动作数据。相应地，也可以获得上述基准动作数据，通过将所述动作数据与所述基准动作数据中的相应项目进行比较，就可以获得用于指示动作的准确度和/或完整度的比较结果。

这里，所述动作的准确度指的是所述动作数据与所述基准动作数据中相同类型的数据的匹配程度，例如，所述动作数据中的某个动作的水平持续时间为10s，且所述基准动作数据中的该动作的水平持续时间也为10s，则表示该动作的准确度高，相应地，如果所述动作数据中的每个动作的准确度都高，则该视频对应的比较结果的准确度高。另外，所述动作的完整度指的是所述动作数据中是否完全包括了所述基准动作数据中的各个动作对应的数据，例如，所述动作数据中包含了10个动作，且所述基准动作数据中也包含了相同的10个动作，则表示该视频对应的比较结果的完整度高。

如上所述，根据本申请实施例的视频处理方法通过使用用于指示动作的准确度和/或完整度的比较结果，可以存储用户的动作数据并进行数据分析，或者与其它数据进一步结合再向用户反馈。

进一步地，在根据本申请实施例的视频处理方法中，具体地可以通过向用户反馈包含不准确动作的视频的方式来促进用户的动作学习。

在一个示例中，通过在包含用户动作的第一视频上进行标记，具体地，标记错误动作所对应的时间，来向用户反馈错误动作。也就是，在根据本申请实施例的视频处理方法中，生成第一比较结果包括：在所述第一视频上标记所述动作数据和所述基准动作数据不匹配的时间戳；以及，生成带有标记所述时间戳的所述包含动作的视频。

进一步地，为了便于用户对于错误动作的定位，在所述第一视频上进行标记之后，可以进一步截取错误动作所对应的视频片段，并将所述视频片段反馈给用户，以使得用户可以直接基于视频片段来纠正动作。也就是，在根据本申请实施例的视频处理方法中，生成第一比较结果包括：在所述包含动作的视频上标记所述动作数据和所述基准动作数据不匹配的时间戳，截取第一不匹配片段；以及，生成所述第一不匹配片段。

在另一示例中，可以在基准动作视频上进行标记，同样地，标记错误动作所对应的时间，从而向用户反馈与错误动作对应的正确动作。这样，用户可以获得与错误动作对应的正确动作的直观反馈，进一步有助于用户对错误动作的纠正。因此，在根据本申请实施例的视频处理方法中，生成第一比较结果包括：在所述基准动作视频上标记所述动作数据和所述基准动作数据不匹配的时间戳；以及，生成带有标记所述时间戳的所述基准动作视频。

类似地，为了便于用户对于错误动作的定位，在所述基准动作视频上进行标记之后，可以进一步截取错误动作所对应的视频片段，并将所述视频片段反馈给用户，以使得用户可以直接基于视频片段来纠正动作。也就是，在根据本申请实施例的视频处理方法中，生成第一比较结果包括：在所述基准动作视频上标记所述动作数据和所述基准动作数据不匹配的时间戳，截取第二不匹配片段；以及，生成所述第二不匹配片段。

接下来，在生成第一比较结果后，向用户反馈第一比较结果。例如，可以将视频呈现在用户的终端设备，例如手机上，使得用户可以通过播放反馈的视频，来对错误动作进行纠正。或者，用户的终端设备在获得反馈的所述第一比较结果，例如如上所述标记了不匹配部分的视频或者视频片段之后，也可以不即时观看，而是收藏之后在其它时间观看。

因此，根据本申请实施例的视频处理方法通过创新用户的包含动作的视频的反馈机制，从而使得用户可以获得指示动作的准确度和/或完整度的比较结果，以基于所述比较结果来纠正动作，促进动作的学习。

另外，在反馈第一比较结果之后，可以进一步接收用户的包含动作的第二视频，并通过相同的方式生成第二比较结果。并且，以相同方式，在生成第二比较结果之后，进一步向用户反馈第二比较结果。

并且，在根据本申请实施例的视频处理方法中，在反馈第一比较结果时，还可以反馈所述第一不匹配片段的背景音乐，以使得用户可以再次通过播放背景音乐来进行动作的纠正，提升了用户的使用体验。

因此，在根据本申请实施例的视频处理方法中，用户可以通过上传一段自己拍摄的动作视频，例如跳舞视频，并与终端中的视频内容进行对比。根据本申请实施例的视频处理方法类似于一个自动作业反馈系统，分解用户上传视频的每个动作，进行动作纠错打分，整体完成度的打分等，并且通过反馈可定位到动作不正确的视频位置，截取错误动作的视频片段供用户学习查看、收藏。

因为根据本申请实施例的自动作业反馈系统将结果反馈给用户后，用户需要进行作业的察看和更正，所以要直接反馈给用户哪个动作不合格，并给出标准动作的视频片段。相应地，用户可以重新上传新的动作片段来让系统继续“判作业”以对作业反馈。

此外，因为动作可能涉及到身体的各个部分，为了获得更准确的评价结果，以及帮助用户掌握动作要领、修正不规范动作等，可以按照身体各部分对于所述动作数据与所述基准动作数据进行比较，以获得针对身体各部分的评价分数。

也就是，在根据本申请实施例的视频处理方法中，比较所述动作数据和所述基准动作数据，以生成第一比较结果包括：将所述动作数据与所述基准动作数据按照身体各部分划分为相应的各部分动作数据；对于每一部分的所述动作数据与所述基准动作数据进行比较以获得部分比较分数；以及，将所述部分比较分数进行加权求和以生成所述第一比较结果。

针对各部分的比较评分，可以按照动作数据与基准动作数据的一致性，划分多个一致性等级，例如完全一致、基本一致、偏差、较大偏差等，并设置于每个一致性等级对应的一致性分数，例如，90分、80分、60分、40分等，作为各部分的比较分数。

也就是，在根据本申请实施例的视频处理方法中，对于每一部分的所述动作数据与所述基准动作数据进行比较以获得部分比较分数包括：对于每一部分的所述动作数据与所述基准动作数据进行基于一致性的比较；以及，基于预先确定的一致性等级获得与所述一致性等级对应的一致性分数以作为所述部分比较分数。

这样，通过按照各部分进行比较和评分，可以确定用户哪部分的模仿动作存在较大不足，从而将一致性分数较低的部分名称反馈给用户，例如，“上肢动作分数较低”或者“脚步动作分数较低”，从而使得用户能够有效地进行动作检查和校正。

也就是，在根据本申请实施例的视频处理方法中，所述生成第一比较结果还包括：生成包含与较低的一致性分数对应的部位的名称。

另外，值得注意的是，针对身体各部分的动作数据和基准动作数据的比较，也可以按照细分的数据项目，即上肢动作姿态、上肢动作幅度、下肢躯干姿态、脚步动作、水平姿态动作、水平持续时间等进行比较，并设置每个数据项目的相应权重，通过加权求和获得身体各部分的评价分数。因此，相应地，也可以向用户反馈与较低的一致性分数对应的部分名称和数据项目名称。例如，“上肢动作幅度分数较低”等。

图4图示了根据本申请实施例的视频处理方法中的示例性动作评分过程的流程图。如图4所示，所述动作评分过程的实例包括：S310，将所述动作数据与所述基准动作数据按照用户的身体各部分划分为相应的各部分动作数据；S320，对于每一部分的所述动作数据与所述基准动作数据按照各项数据进行基于一致性的比较；S330，基于预先确定的一致性等级获得与所述一致性等级对应的一致性分数以作为各项数据对应的比较分数；S340，基于各项数据的权重对所述比较分数进行加权求和以获得所述身体各部分的部分比较分数；S350，将所述部分比较分数进行加权求和以获得所述动作数据的第一比较结果；以及S360，向用户反馈与较低的一致性分数对应的部位名称和数据项目名称。

例如，首先将身体划分为左右上肢、左右下肢、躯干及头部四个部分，并且设置每个部分的分数权重为25％。并且，针对这四个部分中的每个部分，还可以进一步进行细分，例如，将左右上肢划分为左上肢部分和右上肢部分。

并且，针对每个细分部分，可以比较动作数据和基准动作数据中的某个数据项目，例如，左上肢正面姿态数据及幅度数据的一致性，按照一致性等级获得一致性分数，例如，将基本一致(偏差20％内)作为60分，将完美一致(偏差10％内)作为90分，将完全一致(偏差5％内)作为100分，等待。

又例如，通过比较动作数据和基准动作数据中的左上肢侧面及背面水平姿态数据、幅度数据及持续时间的一致性，按照一致性等级获得一致性分数，例如，基本一致(偏差20％内)作为60分，完美一致(偏差10％内)作为90分，完全一致(偏差5％内)作为100分；偏差较大(偏差大于20％)作为鼓励分，例如30分。

接下来，根据各个数据项目各自的分数，计算出动作数据的左上肢总得分；例如，左上肢正面姿态及幅度完美一致90分，左上肢侧面及背面水平姿态、幅度及持续时间完全一致100分，那么左上肢最后总得分就是(90+100)*1/2*1/4＝23.75分。

然后，针对左右下肢、躯干及头部，计算出相应的总分，并将所有总分求和就获得了动作数据的评分结果。并且在此过程中，记录偏差较大部分，例如分数为30分的部位名称和数据项目名称，将其反馈给用户以作为指导建议。

当然，在本申请实施例中，也可以将例如上述评分输出给用户，以作为所述用户进行的动作的评分结果。

因此，根据本申请实施例的视频处理方法例如可以基于智能手机的视频拍摄结合人工智能分析，通过拍摄用户进行动作，例如跳舞时正面、侧面和背面的舞蹈视频，自动分析出舞蹈的各项重要数据，并与被模仿的舞蹈进行比较，从而方便地获得客观并且全面的评分结果。

并且，在获得上述评分结果的同时，可以进一步向用户提示偏差较大的部分，包括身体部分和动作部分，从而解决用户在模仿时的动作检查和纠正问题，帮助用户掌握动作要领，校正不规范动作等。

另外，如上所述，根据本申请实施例的视频处理方法可以作为视频应用的特色视频服务，来吸引模仿爱好者或者模仿表演者来使用视频应用。例如，舞蹈模仿爱好者可以在舞蹈时使用视频应用来拍摄舞蹈的视频，通过根据本申请实施例的视频处理方法来获得舞蹈的反馈，并在舞蹈模仿爱好者群体或者社交网络中分享舞蹈视频及其反馈结果，从而提供一种特色的视频拍摄生产服务。

也就是说，在根据本申请实施例的视频处理方法中，还包括：接受录制视频指令。

示例性装置

图5图示了根据本申请实施例的视频处理装置的框图。

如图5所示，所述视频处理装置400包括：接收单元410，用于接收包含动作的第一视频；识别单元420，用于对所述接收单元410所接收的所述第一视频进行人体姿态识别，以确定所述第一视频中的动作对应的动作数据；获取单元430，用于获取所述接收单元410所接收的所述第一视频对应的基准动作视频的基准动作数据；以及，比较单元440，用于比较所述识别单元420所确定的所述动作数据和所述获取单元430所获取的所述基准动作数据，以生成第一比较结果，所述比较结果用于指示动作的准确度和/或完整度。

在一个示例中，在上述视频处理装置400中，所述比较单元440包括：标记子单元，用于在所述第一视频上标记所述动作数据和所述基准动作数据不匹配的时间戳；以及，生成子单元，用于生成带有标记所述时间戳的所述包含动作的视频。

在一个示例中，在上述视频处理装置400中，所述比较单元440包括：截取子单元，用于在所述包含动作的视频上标记所述动作数据和所述基准动作数据不匹配的时间戳，截取第一不匹配片段；以及，生成子单元，用于生成所述第一不匹配片段。

在一个示例中，在上述视频处理装置400中，所述比较单元440包括：标记子单元，用于在所述基准动作视频上标记所述动作数据和所述基准动作数据不匹配的时间戳；以及，生成子单元，用于生成带有标记所述时间戳的所述基准动作视频。

在一个示例中，在上述视频处理装置400中，所述比较单元440包括：截取子单元，用于在所述基准动作视频上标记所述动作数据和所述基准动作数据不匹配的时间戳，截取第二不匹配片段；以及，生成子单元，用于生成所述第二不匹配片段。

在一个示例中，在上述视频处理装置400中，进一步包括：反馈单元，用于在所述比较单元440生成第一比较结果后，反馈第一比较结果。

在一个示例中，在上述视频处理装置400中，所述接收单元410进一步用于在反馈第一比较结果之后，接收包含动作的第二视频；以及，所述比较单元440进一步用于生成第二比较结果。

在一个示例中，在上述视频处理装置400中，所述反馈单元进一步用于在所述比较单元440生成第二比较结果之后，反馈第二比较结果。

在一个示例中，在上述视频处理装置400中，所述反馈单元用于：反馈所述第一不匹配片段的背景音乐。

在一个示例中，在上述视频处理装置400中，所述识别单元420用于：对所述第一视频进行人体姿态识别，以确定所述第一视频中的每个动作以及对应于所述每个动作的视频分段。

在一个示例中，在上述视频处理装置400中，所述识别单元420包括：处理子单元，用于以预定人体姿态识别算法处理所述第一视频，以识别出预定数目的关键标识点及其坐标；以及，分析子单元，用于基于所述预定数目的关键标识点及其坐标进行分析以获得以下的至少其中之一作为动作数据：上肢动作姿态、上肢动作幅度、下肢躯干姿态、脚步动作、脚步移动方向、脚步幅度、水平姿态动作、水平幅度、水平持续时间。

在一个示例中，在上述视频处理装置400中，所述获取单元430包括：获取子单元，用于获取所述第一视频对应的基准动作视频；以及，识别子单元，用于对所述基准动作视频进行所述人体姿态识别以确定所述基准动作视频中的基准动作对应的基准动作数据。

在一个示例中，在上述视频处理装置400中，所述比较单元440包括：划分子单元，用于将所述动作数据与所述基准动作数据按照身体各部分划分为相应的各部分动作数据；比较子单元，用于对于每一部分的所述动作数据与所述基准动作数据进行比较以获得部分比较分数；以及，求和子单元，用于将所述部分比较分数进行加权求和以生成所述第一比较结果。

在一个示例中，在上述视频处理装置400中，所述比较子单元用于：对于每一部分的所述动作数据与所述基准动作数据进行基于一致性的比较；以及，基于预先确定的一致性等级获得与所述一致性等级对应的一致性分数以作为所述部分比较分数。

在一个示例中，在上述视频处理装置400中，所述比较单元440还用于：生成包含与较低的一致性分数对应的部位的名称。

在一个示例中，在上述视频处理装置400中，还包括：录制单元，用于接受录制视频指令。

这里，本领域技术人员可以理解，上述视频处理装置400中的各个单元和模块的具体功能和操作已经在上面参考图2到图4的视频处理方法的描述中得到了详细介绍，并因此，将省略其重复描述。

如上所述，根据本申请实施例的视频处理装置400可以实现在各种终端设备中，例如用户的智能手机，或者视频服务商的服务器等。在一个示例中，根据本申请实施例的视频处理装置400可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该视频处理装置400可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该视频处理装置400同样可以是该终端设备的众多硬件模块之一。

替换地，在另一示例中，该视频处理装置400与该终端设备也可以是分立的设备，并且该视频处理装置400可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。

示例性电子设备

下面，参考图6来描述根据本申请实施例的电子设备。

图6图示了根据本申请实施例的电子设备的框图。

如图6所示，电子设备10包括一个或多个处理器11和存储器12。

处理器6可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。

存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本申请的各个实施例的视频处理方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如第一视频、动作数据、基准动作数据等各种内容。

在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。

该输入装置13可以包括例如键盘、鼠标等等。

该输出装置14可以向外部输出各种信息，包括向用户反馈的视频片段等。该输出装置14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图6中仅示出了该电子设备10中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。

示例性计算机程序产品和计算机可读存储介质

除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的视频处理方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的视频处理方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (18)

1.一种视频处理方法，其特征在于，所述视频处理方法包括：

接收包含动作的第一视频；

对所述第一视频进行人体姿态识别，以确定所述第一视频中的动作对应的动作数据；

获取所述第一视频对应的基准动作视频的基准动作数据；以及

比较所述动作数据和所述基准动作数据，以生成第一比较结果，所述比较结果用于指示动作的准确度和/或完整度。

2.根据权利要求1所述的视频处理方法，其特征在于，生成第一比较结果包括：

在所述第一视频上标记所述动作数据和所述基准动作数据不匹配的时间戳；以及

生成带有标记所述时间戳的所述包含动作的视频。

3.根据权利要求1所述的视频处理方法，其特征在于，生成第一比较结果包括：

在所述包含动作的视频上标记所述动作数据和所述基准动作数据不匹配的时间戳，截取第一不匹配片段；以及

生成所述第一不匹配片段。

4.根据权利要求1所述的视频处理方法，其特征在于，生成第一比较结果包括：

在所述基准动作视频上标记所述动作数据和所述基准动作数据不匹配的时间戳；以及

生成带有标记所述时间戳的所述基准动作视频。

5.根据权利要求1所述的视频处理方法，其特征在于，生成第一比较结果包括：

在所述基准动作视频上标记所述动作数据和所述基准动作数据不匹配的时间戳，截取第二不匹配片段；以及

生成所述第二不匹配片段。

6.根据权利要求1-5所述的视频处理方法，其特征在于，生成第一比较结果后进一步包括：

反馈第一比较结果。

7.根据权利要求6所述的视频处理方法，其特征在于，反馈第一比较结果之后又进一步包括：

接收包含动作的第二视频；以及

生成第二比较结果。

8.根据权利要求7所述的视频处理方法，其特征在于，生成第二比较结果之后又进一步包括：

反馈第二比较结果。

9.根据权利要求6所述的一种视频处理方法，其特征在于，反馈第一比较结果还包括：

反馈所述第一不匹配片段的背景音乐。

10.根据权利要求1所述的视频处理方法，其特征在于，对所述第一视频进行人体姿态识别，以确定所述第一视频中的动作对应的动作数据包括：

对所述第一视频进行人体姿态识别，以确定所述第一视频中的每个动作以及对应于所述每个动作的视频分段。

11.根据权利要求10所述的视频处理方法，其特征在于，对所述第一视频进行人体姿态识别，以确定所述第一视频中的动作对应的动作数据包括：

以预定人体姿态识别算法处理所述第一视频，以识别出预定数目的关键标识点及其坐标；

基于所述预定数目的关键标识点及其坐标进行分析以获得以下的至少其中之一作为动作数据：上肢动作姿态、上肢动作幅度、下肢躯干姿态、脚步动作、脚步移动方向、脚步幅度、水平姿态动作、水平幅度、水平持续时间。

12.根据权利要求1所述的视频处理方法，其特征在于，获取所述第一视频对应的基准动作视频的基准动作数据包括：

获取所述第一视频对应的基准动作视频；以及

对所述基准动作视频进行所述人体姿态识别以确定所述基准动作视频中的基准动作对应的基准动作数据。

13.根据权利要求1所述的视频处理方法，其特征在于，比较所述动作数据和所述基准动作数据，以生成第一比较结果包括：

将所述动作数据与所述基准动作数据按照身体各部分划分为相应的各部分动作数据；

对于每一部分的所述动作数据与所述基准动作数据进行比较以获得部分比较分数；以及

将所述部分比较分数进行加权求和以生成所述第一比较结果。

14.根据权利要求13所述的视频处理方法，其特征在于，对于每一部分的所述动作数据与所述基准动作数据进行比较以获得部分比较分数包括：

对于每一部分的所述动作数据与所述基准动作数据进行基于一致性的比较；以及

基于预先确定的一致性等级获得与所述一致性等级对应的一致性分数以作为所述部分比较分数。

15.根据权利要求14所述的视频处理方法，其特征在于，所述生成第一比较结果还包括：

生成包含与较低的一致性分数对应的部位的名称。

16.根据权利要求6所述的视频处理方法，其特征在于，所述视频处理方法还包括：

接受录制视频指令。

17.一种如权利要求1所述的视频处理装置，包括：

接收单元，用于接收包含动作的第一视频；

识别单元，用于对所述第一视频进行人体姿态识别，以确定所述第一视频中的动作对应的动作数据；

获取单元，用于获取所述第一视频对应的基准动作视频的基准动作数据；以及

比较单元，用于比较所述动作数据和所述基准动作数据，以生成第一比较结果，所述比较结果用于指示动作的准确度和/或完整度。

18.一种电子设备，包括：

处理器；以及

存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如权利要求1-16中任一项所述的视频处理方法。