CN111027495A - 用于检测人体关键点的方法和装置 - Google Patents

Abstract

本公开的实施例公开了用于检测人体关键点的方法和装置。该用于检测人体关键点的方法的一具体实施方式包括：从待检测视频中选取视频帧，作为待检测视频帧；在待检测视频帧满足预设人体关键点检测条件的情况下，基于待检测视频帧的在前视频帧中的人体关键点位置信息和待检测视频帧，生成待检测视频帧中的人体关键点位置信息。该实施方式可以提高视频帧中人体关键点检测的准确度和速度，降低了人体关键点检测过程中对CPU等资源的占用。

Description

用于检测人体关键点的方法和装置

技术领域

本公开的实施例涉及计算机技术领域，具体涉及用于检测人体关键点的方法和装置。

背景技术

人体关键点检测也称人体姿态估计，其任务是：在给定的图片中定位人体的身体关键部位，例如头部，颈部，肩部，手部等。在不同数据集上，需要检测的具体部位也不尽相同。实践中，人体关键点检测的应用场景主要有：人类行为识别、人类行为识别、服装解析等。

现有技术中，通常采用基于深度学习的计算机视觉算法模型。首先使用一个人体对象检测模型，对视频中的视频帧检测出人体对象的位置，截取视频帧中包含人体对象的矩形框的图像区域；然后，采用关键点检测模型预测图像区域中的人体关键点的位置。

发明内容

本公开提出了用于检测人体关键点的方法和装置。

第一方面，本公开的实施例提供了一种用于检测人体关键点的方法，该方法包括：从待检测视频中选取视频帧，作为待检测视频帧；响应于待检测视频帧满足预设人体关键点检测条件，基于待检测视频帧的在前视频帧中的人体关键点位置信息和待检测视频帧，生成待检测视频帧中的人体关键点位置信息。

在一些实施例中，基于待检测视频帧的在前视频帧中的人体关键点位置信息和待检测视频帧，生成待检测视频帧中的人体关键点位置信息，包括：将待检测视频帧的在前视频帧中的人体关键点位置信息和待检测视频帧输入至预先训练的人体关键点检测模型，得到待检测视频帧中的人体关键点位置信息，其中，人体关键点检测模型用于表征待检测视频帧的在前视频帧中的人体关键点位置信息、待检测视频帧与待检测视频帧中的人体关键点位置信息之间的对应关系。

在一些实施例中，人体关键点检测模型通过如下步骤训练得到：获取训练样本集，其中，训练样本集中的训练样本包括输入数据和与输入数据相对应的期望输出数据，输入数据包括待检测视频帧的在前视频帧中的人体关键点位置信息和待检测视频帧，与输入数据相对应的期望输出数据包括待检测视频帧中的人体关键点位置信息；采用机器学习算法，将训练样本集中的训练样本包括的输入数据作为输入，将与输入的输入数据相对应的期望输出数据作为期望输出，训练得到人体关键点检测模型。

在一些实施例中，与输入数据相对应的期望输出数据还包括：用于表征期望输出数据包括的待检测视频帧中的人体关键点位置信息的准确度的准确度信息。

在一些实施例中，准确度信息基于以下至少一项确定：待检测视频帧与待检测视频帧的在前视频帧之间间隔的视频帧数；待检测视频帧与待检测视频帧的在前视频帧之间的光流；包含待检测视频帧和待检测视频帧的在前视频帧的视频中的视频帧之间的平均光流。

在一些实施例中，预设人体关键点检测条件包括：已获得待检测视频帧的在前视频帧中的人体关键点位置信息，并且，所获得的人体关键点位置信息的准确度大于或等于预设准确度阈值。

在一些实施例中，响应于用于训练人体关键点检测模型的训练样本中包括用于指示期望输出数据包括的待检测视频帧中的人体关键点位置信息的准确度的准确度信息，预设人体关键点检测条件中，人体关键点位置信息的准确度由人体关键点检测模型生成。

在一些实施例中，待检测视频帧的在前视频帧为：包含待检测视频帧的视频中，待检测视频帧的前一帧视频帧。

在一些实施例中，该方法还包括：响应于待检测模型不满足预设人体关键点检测条件，将待检测视频帧输入至预先训练的人体对象检测模型，得到待检测视频帧中的人体位置信息，其中，人体对象检测模型用于检测视频帧中的人体位置；将待检测视频帧中的人体位置信息指示的图像区域输入至预先训练的人体关键点辅助检测模型，生成图像区域中的人体关键点位置信息，其中，人体关键点辅助检测模型用于检测输入的图像区域中的人体关键点。

第二方面，本公开的实施例提供了一种用于检测人体关键点的装置，该装置包括：选取单元，被配置成从待检测视频中选取视频帧，作为待检测视频帧；生成单元，被配置成响应于待检测视频帧满足预设人体关键点检测条件，基于待检测视频帧的在前视频帧中的人体关键点位置信息和待检测视频帧，生成待检测视频帧中的人体关键点位置信息。

在一些实施例中，生成单元包括：输入模块，被配置成将待检测视频帧的在前视频帧中的人体关键点位置信息和待检测视频帧输入至预先训练的人体关键点检测模型，得到待检测视频帧中的人体关键点位置信息，其中，人体关键点检测模型用于表征待检测视频帧的在前视频帧中的人体关键点位置信息、待检测视频帧与待检测视频帧中的人体关键点位置信息之间的对应关系。

在一些实施例中，人体关键点检测模型通过如下步骤训练得到：获取训练样本集，其中，训练样本集中的训练样本包括输入数据和与输入数据相对应的期望输出数据，输入数据包括待检测视频帧的在前视频帧中的人体关键点位置信息和待检测视频帧，与输入数据相对应的期望输出数据包括待检测视频帧中的人体关键点位置信息；采用机器学习算法，将训练样本集中的训练样本包括的输入数据作为输入，将与输入的输入数据相对应的期望输出数据作为期望输出，训练得到人体关键点检测模型。

在一些实施例中，与输入数据相对应的期望输出数据还包括：用于表征期望输出数据包括的待检测视频帧中的人体关键点位置信息的准确度的准确度信息。

在一些实施例中，准确度信息基于以下至少一项确定：待检测视频帧与待检测视频帧的在前视频帧之间间隔的视频帧数；待检测视频帧与待检测视频帧的在前视频帧之间的光流；包含待检测视频帧和待检测视频帧的在前视频帧的视频中的视频帧之间的平均光流。

在一些实施例中，预设人体关键点检测条件包括：已获得待检测视频帧的在前视频帧中的人体关键点位置信息，并且，所获得的人体关键点位置信息的准确度大于或等于预设准确度阈值。

在一些实施例中，响应于用于训练人体关键点检测模型的训练样本中包括用于指示期望输出数据包括的待检测视频帧中的人体关键点位置信息的准确度的准确度信息，预设人体关键点检测条件中，人体关键点位置信息的准确度由人体关键点检测模型生成。

在一些实施例中，待检测视频帧的在前视频帧为：包含待检测视频帧的视频中，待检测视频帧的前一帧视频帧。

在一些实施例中，该装置还包括：第一输入单元，被配置成响应于待检测模型不满足预设人体关键点检测条件，将待检测视频帧输入至预先训练的人体对象检测模型，得到待检测视频帧中的人体位置信息，其中，人体对象检测模型用于检测视频帧中的人体位置；第二输入单元，被配置成将待检测视频帧中的人体位置信息指示的图像区域输入至预先训练的人体关键点辅助检测模型，生成图像区域中的人体关键点位置信息，其中，人体关键点辅助检测模型用于检测输入的图像区域中的人体关键点。

第三方面，本公开的实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序，当上述一个或多个程序被上述一个或多个处理器执行，使得该一个或多个处理器实现如上述第一方面中的用于检测人体关键点的方法中任一实施例的方法。

第四方面，本公开的实施例提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面中的用于检测人体关键点的方法中任一实施例的方法。

本公开的实施例提供的用于检测人体关键点的方法和装置，通过从待检测视频中选取视频帧，作为待检测视频帧，然后，在待检测视频帧满足预设人体关键点检测条件的情况下，基于待检测视频帧的在前视频帧中的人体关键点位置信息和待检测视频帧，生成待检测视频帧中的人体关键点位置信息，从而提高了视频中人体关键点检测的准确度和速度，降低了人体关键点检测过程中对CPU等资源的占用。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本公开的其它特征、目的和优点将会变得更明显：

图1是本公开的一些实施例可以应用于其中的示例性系统架构图；

图2是根据本公开的用于检测人体关键点的方法的一个实施例的流程图；

图3A-图3B是根据本公开的用于检测人体关键点的方法的一个应用场景的示意图；

图4是根据本公开的用于检测人体关键点的方法的又一个实施例的流程图；

图5是根据本公开的用于检测人体关键点的装置的一个实施例的结构示意图；

图6是适于用来实现本公开的一些实施例的电子设备的计算机系统的结构示意图。

具体实施方式

下面结合附图和实施例对本公开作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。

图1示出了可以应用本公开的实施例的用于检测人体关键点的方法或用于检测人体关键点的装置的实施例的示例性系统架构100。

如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送数据(例如训练样本集、待检测视频)等。终端设备101、102、103上可以安装有各种客户端应用，例如视频录制软件、视频播放软件、新闻资讯类应用、图像处理类应用、网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。

终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是具有显示屏并且支持视频播放的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务的软件或软件模块)，也可以实现成单个软件或软件模块。在此不做具体限定。

服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上播放的视频进行人体关键点检测的后台服务器。后台服务器可以从待检测视频中选取待检测视频帧，从而，在待检测视频帧满足预设人体关键点检测条件的情况下，基于预先训练的人体关键点检测模型，生成待检测视频帧中的人体关键点位置信息。可选的，后台服务器还可以将待检测视频帧中的人体关键点位置信息反馈给终端设备。作为示例，服务器105可以是云端服务器。

需要说明的是，服务器可以是硬件，也可以是软件。当服务器为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务的软件或软件模块)，也可以实现成单个软件或软件模块。在此不做具体限定。

还需要说明的是，本公开的实施例所提供的用于检测人体关键点的方法可以由服务器执行，也可以由终端设备执行，还可以由服务器和终端设备彼此配合执行。相应地，用于检测人体关键点的装置包括的各个部分(例如各个单元)可以全部设置于服务器中，也可以全部设置于终端设备中，还可以分别设置于服务器和终端设备中。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。当用于检测人体关键点的方法运行于其上的电子设备在执行该方法的过程中，不需要与其他电子设备进行数据传输时，该系统架构可以仅包括用于检测人体关键点的方法运行于其上的电子设备(例如服务器或终端设备)。

继续参考图2，示出了根据本公开的用于检测人体关键点的方法的一个实施例的流程200。该用于检测人体关键点的方法，包括以下步骤：

步骤201，从待检测视频中选取视频帧，作为待检测视频帧。

在本实施例中，用于检测人体关键点的方法的执行主体(例如图1所示的终端设备)可以从待检测视频中选取视频帧，作为待检测视频帧。

其中，上述待检测视频可以是待对其中的视频帧进行人体关键点检测的视频。作为示例，上述待检测视频中的视频帧可以包含人体对象。

在这里，上述执行主体可以随机地从待检测视频中选取视频帧；也可以按照待检测视频中的各个视频帧的顺序从待检测视频中选取视频帧，从而获得待检测视频帧。

步骤202，响应于待检测视频帧满足预设人体关键点检测条件，基于待检测视频帧的在前视频帧中的人体关键点位置信息和待检测视频帧，生成待检测视频帧中的人体关键点位置信息。

在本实施例中，在待检测视频帧满足预设人体关键点检测条件的情况下，上述执行主体可以基于待检测视频帧的在前视频帧中的人体关键点位置信息和待检测视频帧，生成待检测视频帧中的人体关键点位置信息。

上述预设人体关键点检测条件可以用于指示可以采用图2中的用于训练人体关键点检测模型的方法中任一实施例的方法训练得到的人体关键点检测模型，对步骤401中选取的待检测视频帧进行人体关键点检测。作为示例，预设人体关键点检测条件可以为“1＝＝true”。当预设人体关键点检测条件为“1＝＝true”时，上述执行主体可以直接基于预先训练的人体关键点检测模型，生成步骤401中选取的待检测视频帧中的人体关键点位置信息。

作为示例，上述执行主体可以采用如下方式基于待检测视频帧的在前视频帧中的人体关键点位置信息和待检测视频帧，生成待检测视频帧中的人体关键点位置信息：

首先，在待检测视频帧中确定与上述在前视频帧中的人体关键点位置信息相对应的图像区域。

然后，将上述图像区域进行放大处理，得到放大后图像区域。

之后，将上述放大后图像区域输入至预先训练的检测模型，生成放大后图像区域中的人体关键点位置信息。其中，上述检测模型可以用于生成所输入的图像区域中的人体关键点位置信息。

最后，基于放大后图像区域中的人体关键点位置信息，生成待检测视频帧中的人体关键点位置信息。

可以理解，由于放大后图像区域为待检测视频帧的一部分，因而，可以基于放大后图像区域中的人体关键点位置信息，生成待检测视频帧中的人体关键点位置信息。

在这里，上述检测模型可以是采用机器学习算法，基于训练样本集训练得到的卷积神经网络模型。其中，上述训练样本集中的训练样本包括图像区域和图像区域中的人体关键点位置信息。

继续参见图3A-图3B，图3A-图3B是根据本实施例的用于检测人体关键点的方法的一个应用场景的示意图。在图3A的应用场景中，终端设备301首先从待检测视频中选取视频帧，作为待检测视频帧3001，然后，请参考图3B，在待检测视频帧3001满足预设人体关键点检测条件的情况下，终端设备301基于待检测视频帧3001的在前视频帧中的人体关键点位置信息3002和待检测视频帧3001，生成待检测视频帧中的人体关键点位置信息3003。

现有技术中，通常采用基于深度学习的计算机视觉算法模型，针对待检测的每个视频帧，首先使用一个人体对象检测模型检测该视频帧中的人体的位置，截取该视频帧中包含人体对象的图像区域；然后，采用关键点检测模型预测图像区域中的人体关键点的位置。

本公开的上述实施例提供的用于检测人体关键点的方法，通过从待检测视频中选取视频帧，作为待检测视频帧，然后，在待检测视频帧满足预设人体关键点检测条件的情况下，基于待检测视频帧的在前视频帧中的人体关键点位置信息和待检测视频帧，生成待检测视频帧中的人体关键点位置信息，从而简化了预测人体关键点位置的步骤，提高了视频中人体关键点检测的准确度和速度，降低了人体关键点检测过程中对CPU等资源的占用。

在本实施例的一些可选的实现方式中，上述执行主体可以通过如下步骤，执行上述步骤202中的“基于待检测视频帧的在前视频帧中的人体关键点位置信息和待检测视频帧，生成待检测视频帧中的人体关键点位置信息”：

将待检测视频帧的在前视频帧中的人体关键点位置信息和待检测视频帧输入至预先训练的人体关键点检测模型，得到待检测视频帧中的人体关键点位置信息。其中，人体关键点检测模型用于表征待检测视频帧的在前视频帧中的人体关键点位置信息、待检测视频帧与待检测视频帧中的人体关键点位置信息之间的对应关系。

作为示例，上述人体关键点检测模型可以是经过统计汇总而得到的、存储有待检测视频帧的在前视频帧中的人体关键点位置信息、待检测视频帧，以及待检测视频帧中的人体关键点位置信息的二维表或数据库。

在本实施例的一些可选的实现方式中，人体关键点检测模型也可以采用机器学习算法训练得到。在此应用场景下，人体关键点检测模型可以通过如下步骤训练得到：

步骤一，获取训练样本集。其中，训练样本集中的训练样本包括输入数据和与输入数据相对应的期望输出数据。输入数据包括待检测视频帧的在前视频帧中的人体关键点位置信息和待检测视频帧。与输入数据相对应的期望输出数据包括待检测视频帧中的人体关键点位置信息。

上述待检测视频帧可以是视频中包括人体对象的视频帧。

待检测视频帧的在前视频帧可以是包括该待检测视频帧的视频中该待检测视频帧之前的视频帧。可以理解，视频可以由视频帧序列组成，由此，可以根据视频中的视频帧的顺序，确定出待检测视频帧之前的视频帧。

在这里，上述待检测视频帧的在前视频帧可以是：包括该待检测视频帧的视频中，该待检测视频帧的前一帧视频帧；也可以是：包括该待检测视频帧的视频中，从该待检测视频帧起算的、位于该待检测视频帧之前的第N帧视频帧，其中，N可以是大于1的整数，例如，N可以是2、3、4等等。

作为示例，假设视频中各个视频帧按照如下顺序排列：视频帧1、视频帧2、视频帧3、视频帧4。那么，视频帧2的在前视频帧可以是视频帧1；视频帧3的在前视频帧可以是视频帧1或视频帧2；视频帧4的在前视频帧可以是视频帧1、视频帧2、视频帧3中的任一视频帧。在此场景下，训练样本集中的一个训练样本包括的输入数据可以是：视频帧2和视频帧1中的人体关键点位置信息，该训练样本包括的期望输出数据可以是：视频帧2中的人体关键点位置信息。

人体关键点位置信息可以用于指示视频帧中人体关键点所在的位置。具体地，人体关键点位置信息可以通过人体关键点在视频帧中的像素点的坐标表征，也可以通过包含人体关键点的矩形框(例如最小外接矩形框)在视频帧中的位置和大小表征。

上述人体关键点可以是用于表征一个或多个预先确定的人体部位的位置。作为示例，人体关键点可以表征但不限于以下至少一项人体部位的位置：左右手肘、左右手腕、左右肩膀、头、脖子、左右脚踝、左右膝盖和左右臀等。

可以理解，由于视频中的各个视频帧中包含的人体对象通常会由于人的姿态改变而有所不同，因而待检测视频帧中的人体关键点位置信息与待检测视频帧的在前视频帧中的人体关键点位置信息通常也会不同。

实践中，可以采用人工或者自动标注的方式，确定视频帧(包括待检测视频帧、待检测视频帧的在前视频帧)中的人体关键点位置信息。从而获得训练样本集。

步骤二，采用机器学习算法，将训练样本集中的训练样本包括的输入数据作为输入，将与输入的输入数据相对应的期望输出数据作为期望输出，训练得到人体关键点检测模型。

具体地，上述执行主体可以通过如下步骤训练得到人体关键点检测模型：

首先，获取用于生成人体关键点检测模型的初始模型(例如卷积神经网络模型)。

然后，确定是否满足预先确定的训练结束条件。若不满足上述训练结束条件，则从训练样本集中选取训练样本，并执行以下训练步骤：将所选取的训练样本中的输入数据包括的待检测视频帧的在前视频帧中的人体关键点位置信息和待检测视频帧输入初始模型，得到实际输出数据。其中，实际输出数据是将输入数据输入至初始模型之后，经运算(例如卷积运算等)后初始模型实际输出的数据。之后，采用梯度下降法、反向传播法，基于期望输出数据和实际输出的数据，调整初始模型的模型参数，并将参数调整后的初始模型用作下次执行训练步骤时使用的初始模型。其中，实际输出数据为初始模型实际输出的待检测视频帧中的人体关键点位置信息。

从训练样本集中选取未被选取过的训练样本，继续执行上述训练步骤。若满足上述训练结束条件，则将满足训练结束条件的初始模型作为人体关键点检测模型。

其中，上述训练结束条件可以包括但不限于以下至少一项：训练时间超过预设时长；训练次数超过预设次数；基于期望输出数据和实际输出数据计算所得的差异小于预设差异阈值。

在这里，上述执行主体可以采用随机训练或批量训练的训练方式，训练得到人体关键点检测模型。

需要说明的是，可以根据实际需求设定初始模型的运算流程。作为示例，在训练过程中，初始模型可以先从待检测视频帧中提取待检测视频帧的在前视频帧中的人体关键点位置信息指示的图像区域，然后采用机器学习算法，基于所提取的图像区域和待检测视频帧中的人体关键点位置信息训练得到人体关键点检测模型；还可以先从待检测视频帧中提取待检测视频帧的在前视频帧中的人体关键点位置信息指示的图像区域，并对所提取的图像区域进行放大处理，得到待检测视频帧中的、经放大处理的图像区域，然后采用机器学习算法，基于待检测视频帧中的、经放大处理的图像区域和待检测视频帧中的人体关键点位置信息训练得到人体关键点检测模型。

在这里，一方面，为了提升现有技术中检测人体关键点的准确度，通常可以采用模型参数更多、模型结构更复杂的人体关键点检测模型来检测视频帧中的人体关键点。另一方面，现有技术通常需要人体框检测和人体关键点检测两个模型，并且人体对象检测模型的计算量通常较大。

可以理解，本公开的上述可选的实施例训练得到的人体关键点检测模型可以提高视频帧中人体关键点检测的准确度和速度，并且，训练得到的人体关键点检测模型相对于现有技术中用于检测人体关键点的模型的结构复杂程度、参数数量相当，由此，相对于采用模型参数更多、模型结构更复杂的人体关键点检测模型来提高人体关键点的准确度的方案，可以降低人体关键点检测过程中对CPU等资源的占用。此外，本公开的上述实施例提供的用于训练人体关键点检测模型的方法，可以无需配合使用人体对象检测模型，只需所生成的人体关键点检测模型一个模型，即可实现人体关键点检测，由此，相对于现有技术中采用人体对象检测模型和人体关键点检测模型两个模型实现人体关键点检测的方案，可以提高人体关键点检测的速度，降低人体关键点检测过程中对CPU等资源的占用时间，进而使得本实施例中的用于检测人体关键点的方法可以经由硬件配置较低的终端设备来执行，进而有助于提高视频中的各个待检测视频帧中的人体关键点检测的实时性。

在本实施例的一些可选的实现方式中，与输入数据相对应的期望输出数据还包括：用于表征期望输出数据包括的待检测视频帧中的人体关键点位置信息的准确度的准确度信息。

在本可选的实现方式中，上述执行主体可以采用如下步骤训练得到人体关键点检测模型：

首先，获取用于生成人体关键点检测模型的初始模型(例如卷积神经网络模型)。

然后，确定是否满足预先确定的训练结束条件。若不满足上述训练结束条件，则从训练样本集中选取训练样本，并执行以下训练步骤：将所选取的训练样本中的输入数据包括的待检测视频帧的在前视频帧中的人体关键点位置信息和待检测视频帧输入初始模型，得到实际输出数据。其中，实际输出数据是将输入数据输入至初始模型之后，经运算(例如卷积运算等)后初始模型实际输出的数据。之后，采用梯度下降法、反向传播法，基于期望输出数据和实际输出的数据，调整初始模型的模型参数，并将参数调整后的初始模型用作下次执行训练步骤时使用的初始模型。其中，实际输出数据包括初始模型实际输出的待检测视频帧中的人体关键点位置信息，以及用于表征该实际输出数据包括的待检测视频帧中的人体关键点位置信息的准确度的准确度信息。

从训练样本集中选取未被选取过的训练样本，继续执行上述训练步骤。若满足上述训练结束条件，则将满足训练结束条件的初始模型作为人体关键点检测模型。

其中，上述训练结束条件可以包括但不限于以下至少一项：训练时间超过预设时长；训练次数超过预设次数；基于期望输出数据和实际输出数据计算所得的差异小于预设差异阈值。

上述执行主体可以采用随机训练或批量训练的训练方式，训练得到人体关键点检测模型。

在这里，上述准确度信息可以通过如下步骤确定：

将待检测视频帧和待检测视频帧中的人体关键点位置输入至预先训练的第一准确度确定模型，生成用于指示所输入的待检测视频帧中的人体关键点位置信息的准确度的准确度信息。其中，上述第一准确度确定模型可以用于确定所输入的待检测视频帧中的人体关键点位置信息的准确度。该第一准确度确定模型可以是采用机器学习算法，基于包含待检测视频帧和待检测视频帧中的人体关键点位置，以及待检测视频帧中的人体关键点位置信息的准确度的准确度信息，训练得到的卷积神经网络；也可以是经过大量的统计，而制定的存储有待检测视频帧、待检测视频帧中的人体关键点位置，以及待检测视频帧中的人体关键点位置信息的准确度的准确度信息的二维表或数据库。

在这里，在训练样本中的期望输出数据包括待检测视频帧中的人体关键点位置信息的准确度的准确度信息的情况下，上述第一准确度确定模型可以作为人体关键点检测模型包含的子模型；在训练样本中的期望输出数据不包括待检测视频帧中的人体关键点位置信息的准确度的准确度信息的情况下，上述第一准确度确定模型可以作为独立于人体关键点检测模型之外的模型，也即，在此场景下，人体关键点检测模型可以不包含上述第一准确度确定模型。

可以理解，本可选的实现方式可以训练得到能够生成人体关键点位置信息的准确度的准确度信息的人体关键点检测模型，由此，可以结合人体关键点检测模型的输出，来确定所得到的待检测视频帧中的人体关键点位置信息的准确度，在准确度大于或等于预设准确度阈值的情况下，可以采用该人体关键点检测模型确定待检测视频帧中的人体关键点位置信息，在准确度小于预设准确度阈值的情况下，可以采用其他方式(例如现有的人体关键点检测方式)确定待检测视频帧中的人体关键点位置信息，从而有助于提高最终获得的待检测视频帧中的人体关键点位置信息的准确度。

在本实施例的一些可选的实现方式中，准确度信息基于以下至少一项确定：

待检测视频帧与待检测视频帧的在前视频帧之间间隔的视频帧数；

待检测视频帧与待检测视频帧的在前视频帧之间的光流；

包含待检测视频帧和待检测视频帧的在前视频帧的视频中的视频帧之间的平均光流。

其中，视频帧之间(例如待检测视频帧与待检测视频帧的在前视频帧之间)的光流(Optical Flow)可以用于表征视频帧中的对象(例如人体对象)的移动速度。视频帧之间(例如待检测视频帧和待检测视频帧的在前视频帧的视频中的视频帧之间)的平均光流可以用于表征视频中的对象(例如人体对象)的平均移动速度。

在这里，可以采用Lucas Kanade、Brox等光流算法计算视频帧之间的光流或平均光流。

作为示例，在准确度信息基于待检测视频帧与待检测视频帧的在前视频帧之间间隔的视频帧数，以及待检测视频帧与待检测视频帧的在前视频帧之间的光流确定的情况下，上述执行主体可以采用如下步骤确定准确度信息：

将待检测视频帧与待检测视频帧的在前视频帧之间间隔的视频帧数，以及待检测视频帧与待检测视频帧的在前视频帧之间的光流，输入至预先确定的第二准确度确定模型，生成表征待检测视频帧中的人体关键点位置信息的准确度的准确度信息。其中，上述第二准确度确定模型用于基于待检测视频帧与待检测视频帧的在前视频帧之间间隔的视频帧数，以及待检测视频帧与待检测视频帧的在前视频帧之间的光流，生成表征待检测视频帧中的人体关键点位置信息的准确度的准确度信息。该第二准确度确定模型可以是基于待检测视频帧与待检测视频帧的在前视频帧之间间隔的视频帧数，以及待检测视频帧与待检测视频帧的在前视频帧之间的光流，计算表征待检测视频帧中的人体关键点位置信息的准确度的公式，也可以是采用机器学习算法，基于待检测视频帧与待检测视频帧的在前视频帧之间间隔的视频帧数、待检测视频帧与待检测视频帧的在前视频帧之间的光流、表征待检测视频帧中的人体关键点位置信息的准确度，训练得到的模型。

可以理解，本可选的实现方式可以基于上述至少一项来确定准确度信息，从而可以提高所确定的准确度信息的准确性。

在本实施例的一些可选的实现方式中，待检测视频帧的在前视频帧为：包含待检测视频帧的视频中，待检测视频帧的前一帧视频帧。

可以理解，本可选的实现方式将待检测视频帧的前一帧视频帧作为该待检测视频帧的在前视频帧，从而将待检测视频帧和待检测视频帧的前一帧视频帧中的人体关键点位置信息输入至训练得到的人体关键点检测模型后，可以更准确的确定出上述待检测视频帧中的人体关键点位置信息。

在本实施例的一些可选的实现方式中，预设人体关键点检测条件包括：已获得待检测视频帧的在前视频帧中的人体关键点位置信息，并且，所获得的人体关键点位置信息的准确度大于或等于预设准确度阈值。

在这里，待检测视频帧的在前视频帧中的人体关键点位置信息可以采用本实施例中所描述的方式获得，人体关键点位置信息的准确度可以按照上述可选的实现方式中所描述的方式获得，在此不再赘述。

可以理解，本可选的实现方式可以在满足上述预设人体关键点检测条件的情况下，才基于预先训练的人体关键点检测模型，生成步骤201中选取的待检测视频帧中的人体关键点位置信息；而在不满足上述预设人体关键点检测条件的情况下，可以采用其他方式(例如现有的人体关键点检测方式)确定待检测视频帧中的人体关键点位置信息，从而有助于提高最终获得的待检测视频帧中的人体关键点位置信息的准确度。

在本实施例的一些可选的实现方式中，在用于训练人体关键点检测模型的训练样本中包括用于指示期望输出数据包括的待检测视频帧中的人体关键点位置信息的准确度的准确度信息的情况下，预设人体关键点检测条件中，人体关键点位置信息的准确度由人体关键点检测模型生成。

可以理解，在用于训练人体关键点检测模型的训练样本中，包括用于指示期望输出数据包括的待检测视频帧中的人体关键点位置信息的准确度的准确度信息的情况下，在将待检测视频帧的在前视频帧中的人体关键点位置信息和待检测视频帧输入至人体关键点检测模型之后，人体关键点检测模型可以直接生成人体关键点位置信息的准确度，从而提高了生成人体关键点位置信息的准确度信息的速度。

进一步参考图4，其示出了用于检测人体关键点的方法的又一个实施例的流程400。该用于检测人体关键点的方法的流程400，包括以下步骤：

步骤401，从待检测视频中选取视频帧，作为待检测视频帧。之后，执行步骤402。

在本实施例中，步骤401与图2对应实施例中的步骤201基本一致，这里不再赘述。

步骤402，确定待检测视频帧是否满足预设人体关键点检测条件。之后，若是(即待检测视频帧满足预设人体关键点检测条件)，则执行步骤403；若否，(即待检测视频帧不满足预设人体关键点检测条件)，则执行步骤404。

在本实施例中，上述执行主体可以确定待检测视频帧是否满足预设人体关键点检测条件。

作为示例，预设人体关键点检测条件可以包括：已获得待检测视频帧的在前视频帧中的人体关键点位置信息，并且，所获得的人体关键点位置信息的准确度大于或等于预设准确度阈值。

步骤403，基于预先训练的人体关键点检测模型，生成待检测视频帧中的人体关键点位置信息。

在本实施例中，在待检测视频帧满足预设人体关键点检测条件的情况下，上述执行主体可以基于预先训练的人体关键点检测模型，生成待检测视频帧中的人体关键点位置信息。其中，人体关键点检测模型采用如上述图2中所描述的方法训练得到。

在这里，该步骤403的执行方式可以参考上文针对图2的相关描述，在此不再赘述。

步骤404，将待检测视频帧输入至预先训练的人体对象检测模型，得到待检测视频帧中的人体位置信息。之后，执行步骤405。

在本实施例中，在待检测视频帧不满足上述预设人体关键点检测条件的情况下，上述执行主体可以将待检测视频帧输入至预先训练的人体对象检测模型，得到待检测视频帧中的人体位置信息。其中，人体对象检测模型用于检测视频帧中的人体位置。该人体对象检测模型可以是采用机器学习算法，基于包括视频帧和视频帧中的人体位置的训练样本，训练得到的卷积神经网络模型。

步骤405，将待检测视频帧中的人体位置信息指示的图像区域输入至预先训练的人体关键点辅助检测模型，生成图像区域中的人体关键点位置信息。

在本实施例中，上述执行主体可以将待检测视频帧中的人体位置信息指示的图像区域输入至预先训练的人体关键点辅助检测模型，生成图像区域中的人体关键点位置信息。其中，人体关键点辅助检测模型用于检测输入的图像区域中的人体关键点。该人体关键点辅助检测模型可以是采用机器学习算法，基于包括图像区域和图像区域中的人体关键点位置信息，训练得到的卷积神经网络模型。

从图4中可以看出，本实施例中的用于检测人体关键点的方法的流程400通过在待检测视频帧满足预设人体关键点检测条件的情况下，基于预先训练的人体关键点检测模型，生成待检测视频帧中的人体关键点位置信息；在待检测模型不满足预设人体关键点检测条件的情况下，将待检测视频帧输入至预先训练的人体对象检测模型，得到待检测视频帧中的人体位置信息，以及将待检测视频帧中的人体位置信息指示的图像区域输入至预先训练的人体关键点辅助检测模型，生成图像区域中的人体关键点位置信息，进而基于图像区域中的人体关键点位置信息，确定待检测视频帧中的人体关键点位置信息，由此可以在不同的情况下，采用不同的方式，来生成待检测视频帧中的人体关键点位置信息，这样可以更准确的确定出上述待检测视频帧中的人体关键点位置信息。

在本实施例的一些可选的实现方式中，在执行步骤405之后，上述执行主体还可以执行如下步骤：

步骤406，基于图像区域中的人体关键点位置信息，生成待检测视频帧中的人体关键点位置信息。之后，执行步骤407。

可以理解，由于图像区域提取自待检测视频帧中，因而可以基于图像区域中的人体关键点位置信息，生成待检测视频帧中的人体关键点位置信息。

在本实施例的一些可选的实现方式中，在执行上述步骤403之后，上述执行主体还可以继续执行以下步骤407。

步骤407，从待检测视频中选取未被选取过的视频帧，作为待检测视频帧。之后，执行上述步骤402。

在一些情况下，上述执行主体还可以从待检测视频中选取上次选取的视频帧的在后视频帧(例如后一帧视频帧)，作为待检测视频帧。

可以理解，本可选的实现方式可以针对待检测视频中的各个待检测视频帧，依次检测其中的人体关键点，从而可以提高视频中的各个待检测视频帧中的人体关键点检测的实时性。

进一步参考图5，作为对上述图2所示方法的实现，本公开提供了一种用于检测人体关键点的装置的一个实施例，该用于检测人体关键点的装置实施例与图2所示的方法实施例相对应，除下面所记载的特征外，该装置实施例还可以包括与图2所示的方法实施例相同或相应的特征，以及产生与图2所示的方法实施例相同或相应的效果。该装置具体可以应用于各种电子设备中。

如图5所示，本实施例的用于检测人体关键点的装置500包括：选取单元501和生成单元502。其中，选取单元501被配置成从待检测视频中选取视频帧，作为待检测视频帧；生成单元502被配置成响应于待检测视频帧满足预设人体关键点检测条件，基于待检测视频帧的在前视频帧中的人体关键点位置信息和待检测视频帧，生成待检测视频帧中的人体关键点位置信息。

在本实施例中，用于检测人体关键点的装置500的选取单元501可以从待检测视频中选取视频帧，作为待检测视频帧。其中，上述待检测视频可以是待对其中的视频帧进行人体关键点检测的视频。作为示例，上述待检测视频中的视频帧可以包含人体对象。

在本实施例中，在待检测视频帧满足预设人体关键点检测条件的情况下，上述生成单元502可以基于待检测视频帧的在前视频帧中的人体关键点位置信息和待检测视频帧，生成待检测视频帧中的人体关键点位置信息。

在本实施例的一些可选的实现方式中，生成单元502可以包括：输入模块(图中未示出)被配置成将待检测视频帧的在前视频帧中的人体关键点位置信息和待检测视频帧输入至预先训练的人体关键点检测模型，得到待检测视频帧中的人体关键点位置信息，其中，人体关键点检测模型用于表征待检测视频帧的在前视频帧中的人体关键点位置信息、待检测视频帧与待检测视频帧中的人体关键点位置信息之间的对应关系。

在本实施例的一些可选的实现方式中，人体关键点检测模型通过如下步骤训练得到：获取训练样本集，其中，训练样本集中的训练样本包括输入数据和与输入数据相对应的期望输出数据，输入数据包括待检测视频帧的在前视频帧中的人体关键点位置信息和待检测视频帧，与输入数据相对应的期望输出数据包括待检测视频帧中的人体关键点位置信息；采用机器学习算法，将训练样本集中的训练样本包括的输入数据作为输入，将与输入的输入数据相对应的期望输出数据作为期望输出，训练得到人体关键点检测模型。

在本实施例的一些可选的实现方式中，与输入数据相对应的期望输出数据还包括：用于表征期望输出数据包括的待检测视频帧中的人体关键点位置信息的准确度的准确度信息。

在本实施例的一些可选的实现方式中，准确度信息基于以下至少一项确定：待检测视频帧与待检测视频帧的在前视频帧之间间隔的视频帧数；待检测视频帧与待检测视频帧的在前视频帧之间的光流；包含待检测视频帧和待检测视频帧的在前视频帧的视频中的视频帧之间的平均光流。

在本实施例的一些可选的实现方式中，预设人体关键点检测条件包括：已获得待检测视频帧的在前视频帧中的人体关键点位置信息，并且，所获得的人体关键点位置信息的准确度大于或等于预设准确度阈值。

在本实施例的一些可选的实现方式中，响应于用于训练人体关键点检测模型的训练样本中包括用于指示期望输出数据包括的待检测视频帧中的人体关键点位置信息的准确度的准确度信息，预设人体关键点检测条件中，人体关键点位置信息的准确度由人体关键点检测模型生成。

在本实施例的一些可选的实现方式中，待检测视频帧的在前视频帧为：包含待检测视频帧的视频中，待检测视频帧的前一帧视频帧。

在本实施例的一些可选的实现方式中，该装置500还可以包括：第一输入单元(图中未示出)被配置成响应于待检测模型不满足预设人体关键点检测条件，将待检测视频帧输入至预先训练的人体对象检测模型，得到待检测视频帧中的人体位置信息，其中，人体对象检测模型用于检测视频帧中的人体位置；第二输入单元(图中未示出)被配置成将待检测视频帧中的人体位置信息指示的图像区域输入至预先训练的人体关键点辅助检测模型，生成图像区域中的人体关键点位置信息，其中，人体关键点辅助检测模型用于检测输入的图像区域中的人体关键点。

本公开的上述实施例提供的用于检测人体关键点的装置，通过选取单元501从待检测视频中选取视频帧，作为待检测视频帧，然后，在待检测视频帧满足预设人体关键点检测条件的情况下，生成单元502基于待检测视频帧的在前视频帧中的人体关键点位置信息和待检测视频帧，生成待检测视频帧中的人体关键点位置信息，从而简化了预测人体关键点位置的步骤，提高了视频中人体关键点检测的准确度和速度，降低了人体关键点检测过程中对CPU等资源的占用。

下面参考图6，其示出了适于用来实现本公开的实施例的电子设备(例如图1中的服务器或终端设备)600的结构示意图。本公开的实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图6示出的终端设备/服务器仅仅是一个示例，不应对本公开的实施例的功能和使用范围带来任何限制。

如图6所示，电子设备600可以包括处理装置(例如中央处理器、图形处理器等)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储装置608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有电子设备600操作所需的各种程序和数据。处理装置601、ROM 602以及RAM603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。

通常，以下装置可以连接至I/O接口605：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置606；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置607；包括例如磁带、硬盘等的存储装置608；以及通信装置609。通信装置609可以允许电子设备600与其他设备进行无线或有线通信以交换数据。虽然图6示出了具有各种装置的电子设备600，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。图6中示出的每个方框可以代表一个装置，也可以根据需要代表多个装置。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置609从网络上被下载和安装，或者从存储装置608被安装，或者从ROM 602被安装。在该计算机程序被处理装置601执行时，执行本公开的实施例的方法中限定的上述功能。

需要说明的是，本公开的实施例所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开的实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开的实施例中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。

上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：从待检测视频中选取视频帧，作为待检测视频帧；响应于待检测视频帧满足预设人体关键点检测条件，基于待检测视频帧的在前视频帧中的人体关键点位置信息和待检测视频帧，生成待检测视频帧中的人体关键点位置信息。

可以以一种或多种程序设计语言或其组合来编写用于执行本公开的实施例的操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开的实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括选取单元和生成单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，选取单元还可以被描述为“从待检测视频中选取视频帧的单元”。

以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (12)

1.一种用于检测人体关键点的方法，包括：

从待检测视频中选取视频帧，作为待检测视频帧；

响应于所述待检测视频帧满足预设人体关键点检测条件，基于所述待检测视频帧的在前视频帧中的人体关键点位置信息和所述待检测视频帧，生成所述待检测视频帧中的人体关键点位置信息。

2.根据权利要求1所述的方法，其中，所述基于所述待检测视频帧的在前视频帧中的人体关键点位置信息和所述待检测视频帧，生成所述待检测视频帧中的人体关键点位置信息，包括：

将所述待检测视频帧的在前视频帧中的人体关键点位置信息和所述待检测视频帧输入至预先训练的人体关键点检测模型，得到所述待检测视频帧中的人体关键点位置信息，其中，所述人体关键点检测模型用于表征待检测视频帧的在前视频帧中的人体关键点位置信息、待检测视频帧与待检测视频帧中的人体关键点位置信息之间的对应关系。

3.根据权利要求1所述的方法，其中，所述人体关键点检测模型通过如下步骤训练得到：

获取训练样本集，其中，所述训练样本集中的训练样本包括输入数据和与输入数据相对应的期望输出数据，输入数据包括待检测视频帧的在前视频帧中的人体关键点位置信息和待检测视频帧，与输入数据相对应的期望输出数据包括待检测视频帧中的人体关键点位置信息；

采用机器学习算法，将所述训练样本集中的训练样本包括的输入数据作为输入，将与输入的输入数据相对应的期望输出数据作为期望输出，训练得到人体关键点检测模型。

4.根据权利要求3所述的方法，其中，与输入数据相对应的期望输出数据还包括：用于表征期望输出数据包括的待检测视频帧中的人体关键点位置信息的准确度的准确度信息。

5.根据权利要求4所述的方法，其中，准确度信息基于以下至少一项确定：

待检测视频帧与待检测视频帧的在前视频帧之间间隔的视频帧数；

待检测视频帧与待检测视频帧的在前视频帧之间的光流；

包含待检测视频帧和待检测视频帧的在前视频帧的视频中的视频帧之间的平均光流。

6.根据权利要求1-5之一所述的方法，其中，所述预设人体关键点检测条件包括：已获得所述待检测视频帧的在前视频帧中的人体关键点位置信息，并且，所获得的人体关键点位置信息的准确度大于或等于预设准确度阈值。

7.根据权利要求6所述的方法，其中，响应于用于训练所述人体关键点检测模型的训练样本中包括用于指示期望输出数据包括的待检测视频帧中的人体关键点位置信息的准确度的准确度信息，所述预设人体关键点检测条件中，人体关键点位置信息的准确度由所述人体关键点检测模型生成。

8.根据权利要求1-5之一所述的方法，其中，待检测视频帧的在前视频帧为：包含待检测视频帧的视频中，待检测视频帧的前一帧视频帧。

9.根据权利要求1-5之一所述的方法，其中，所述方法还包括：

响应于所述待检测模型不满足所述预设人体关键点检测条件，将所述待检测视频帧输入至预先训练的人体对象检测模型，得到所述待检测视频帧中的人体位置信息，其中，所述人体对象检测模型用于检测视频帧中的人体位置；

将所述待检测视频帧中的人体位置信息指示的图像区域输入至预先训练的人体关键点辅助检测模型，生成所述图像区域中的人体关键点位置信息，其中，所述人体关键点辅助检测模型用于检测输入的图像区域中的人体关键点。

10.一种用于检测人体关键点的装置，包括：

选取单元，被配置成从待检测视频中选取视频帧，作为待检测视频帧；

生成单元，被配置成响应于所述待检测视频帧满足预设人体关键点检测条件，基于所述待检测视频帧的在前视频帧中的人体关键点位置信息和所述待检测视频帧，生成所述待检测视频帧中的人体关键点位置信息。

11.一种电子设备，包括：

一个或多个处理器；

存储装置，其上存储有一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-9中任一所述的方法。

12.一种计算机可读介质，其上存储有计算机程序，其中，所述程序被处理器执行时实现如权利要求1-9中任一所述的方法。

Images