CN109871800B - 一种人体姿态估计方法、装置和存储介质 - Google Patents

Abstract

本发明公开了一种人体姿态估计方法、装置和存储介质，用以在移动设备上实现人体姿态估计，降低移动设备的资源开销。人体姿态估计方法，包括：获取帧图像；利用目标检测算法从所述帧图像中检测出人体轮廓；针对检测出的人体轮廓，利用预先训练得到的姿态估计模型确定所述人体轮廓中的关节点位置，其中，所述姿态估计模型为利用标注有关节点位置的样本帧图像进行训练得到的。

Description

一种人体姿态估计方法、装置和存储介质

技术领域

本发明涉及人工智能技术领域，尤其涉及一种人体姿态估计方法、装置和存储介质。

背景技术

人体姿态估计是指给定一幅图像或一段视频，恢复其中人体关节点位置的过程。根据输入图像的类型，人体姿态估计算法可以分为两类：基于深度图的算法以及直接基于RGB图像的算法。相较于深度图对图像采集设备要求过高而带来的应用易于受限的问题，基于RGB图像的人体姿态估计算法在人机交互、游戏、动画等领域具有更广的应用前景。最近几年深度学习在图像处理上取了巨大的成功，人体姿态估计领域也出现了许多基于深度学习和RGB图像的的算法，并取得了很好的识别效果。随着移动设备的推广，能够快速高效地在移动设备上部署深度学习模型就变成亟待解决的技术问题之一。

发明内容

本发明实施例提供了一种人体姿态估计方法、装置和存储介质，用以在移动设备上实现人体姿态估计，降低移动设备的资源开销。

第一方面，提供一种人体姿态估计方法，包括：

获取帧图像；

利用目标检测算法从所述帧图像中检测出人体轮廓；

针对检测出的人体轮廓，利用预先训练得到的姿态估计模型确定所述人体轮廓中的关节点位置，其中，所述姿态估计模型为利用标注有关节点位置的样本帧图像进行训练得到的。

可选地，利用标注有关节点位置的样本帧图像按照以下流程进行训练得到所述姿态估计模型：

读取样本帧图像；

将读取的样本帧图像输入到预先搭建的神经网络中输出关节点位置预测结果；

确定所述关节点位置预测结果与预先标注的关节点位置的差值；

如果所述差值在预设范围内，则结束训练得到所述姿态训练模型；

如果所述差值不在预设范围内，则读取下一样本帧图像，并返回执行将读取的样本帧图像输入到预先搭建的神经网络中输出关节点位置预测结果的步骤。

可选地，将训练得到的姿态估计模型转换为预设格式文件存储于移动设备中；以及

在针对检测出的人体轮廓，利用预先训练得到的姿态估计模型确定所述人体轮廓中的关节点位置之前，还包括：

读取所述预设格式文件。

可选地，获取帧图像，具体包括：

从用户相册中读取二维图像；或者

调用移动设备的摄像头采集图像。

第二方面，提供一种人体姿态估计装置，包括：

获取单元，用于获取帧图像；

目标检测单元，用于利用目标检测算法从所述帧图像中检测出人体轮廓；

估计单元，用于针对检测出的人体轮廓，利用预先训练得到的姿态估计模型确定所述人体轮廓中的关节点位置，其中，所述姿态估计模型为利用标注有关节点位置的样本帧图像进行训练得到的。

可选地，所述人体姿态估计装置，还包括：

第一读取单元，用于读取样本帧图像；

训练单元，用于将读取的样本帧图像输入到预先搭建的神经网络中输出关节点位置预测结果；确定所述关节点位置预测结果与预先标注的关节点位置的差值；如果所述差值在预设范围内，则结束训练得到所述姿态训练模型；如果所述差值不在预设范围内，则读取下一样本帧图像，并返回执行将读取的样本帧图像输入到预先搭建的神经网络中输出关节点位置预测结果的步骤。

可选地，所述人体姿态估计装置，还包括：

转换单元，用于将训练得到的姿态估计模型转换为预设格式文件；

存储单元，用于存储所述预设格式文件；

第二读取单元，用于在所述估计单元针对检测出的人体轮廓，利用预先训练得到的姿态估计模型确定所述人体轮廓中的关节点位置之前，读取所述预设格式文件。

可选地，所述获取单元，用于从用户相册中读取二维图像；或者调用移动设备的摄像头采集图像。

第三方面，提供一种计算装置，包括至少一个处理器、以及至少一个存储器，其中，所述存储器存储有计算机程序，当所述程序被所述处理器执行时，使得所述处理器执行上述任一人体姿态估计方法所述的步骤。

第四方面，提供一种计算机可读介质，其存储有可由移动设备执行的计算机程序，当所述程序在移动设备上运行时，使得所述移动设备执行上述任一人体姿态估计方法所述的步骤。

本发明实施例提供的人体姿态估计方法、装置和存储介质中，利用标注有关节点位置的样本帧图像训练得到姿态估计模型，这样，在进行人体姿态估计时，首先获取待测帧图像，并从其中检测出人体轮廓，利用预先训练得到的姿态估计模型确定检测出的人体轮廓中的关节点位置，由此实现了在移动设备上对人体姿态进行估计，由于预先训练模型，移动设备只需利用训练好的模型进行人体姿态估计即可，从而降低了移动设备的资源开销。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明实施例中，人体姿态估计模型的训练流程示意图；

图2为本发明实施例提供的人体姿态估计方法的实施流程示意图；

图3为本发明实施例提供的人体姿态估计装置的结构示意图；

图4为本发明实施例提供的计算装置的结构示意图。

具体实施方式

为了实现在移动设备上实现人体姿态估计，降低移动设备的开销，本发明实施例提供了一种人体姿态估计方法、装置和存储介质。

本发明实施例中的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。

在本文中提及的“多个或者若干个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

需要说明的是，本发明中的移动设备可以是个人电脑(英文全称：PersonalComputer，PC)、平板电脑、个人数字助理(Personal Digita l Assistant，PDA)、个人通信业务(英文全称：Personal Communication Service，PCS)电话、笔记本和手机等移动设备，也可以是具有移动终端的计算机，例如，可以是便携式、袖珍式、手持式、计算机内置的或者车载的移动装置，它们能够向用户提供语音和/或数据连通性的设备，以及与无线接入网交换语言和/或数据。

以下结合说明书附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明，并且在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

为了在移动设备上实现人体姿态估计，本发明实施例中，首先利用神经网络算法对姿态估计模型进行训练。具体实施是，对于训练使用的帧图像样本，需要预先标注其中的关节点位置，并生成文本文件，该文本文件中包含有所述帧图像样本中的所有关节点位置，其中，关节点位置可以采用关节点坐标表示。

为了提高姿态估计模型预测的准确性，本发明实施例中，使用了框架tensorflow(人工智能学习系统)进行第一部分网络的搭建，网络架构采用CPM(关键路径法)算法所采用架构，另外，本发明实施例中，同时为了提升运算速度，减少参数数量，具体如下：1、使用了一种称之为depthwise separable convolution(深度可分离卷积结构)的卷积方式来替代原有传统的卷积，实现了spatial(空间)和channel(通道)之间的解耦。2、为了保证模型的表达能力，采用Linear Bottlenecks(线性瓶颈)结构，去掉了小维度输出层后面的非线性激活层。3、采用了Inverted Residual block(反向残差模块)结构。该结构和传统residual block(残差模块)中维度先缩减再扩增正好相反，因此shotcut(快捷路径)也就变成了连接的是维度缩减后的feature map(特征映射图)。

如图1所示，其为本发明实施例中，姿态估计模型训练流程示意图，包括以下步骤：

S11、读取样本帧图像；

S12、将读取的样本帧图像输入到预先搭建的神经网络中输出关节点位置预测结果。

S13、确定关节点位置预测结果与预先标注的关节点位置的差值。

S14、判断所述差值是否在预设范围内，如果是，流程结束，如果否，执行步骤S15。

具体实施时，如果关节点位置预测结果与预先标注的关节点位置的差值在预设范围内，则结束训练得到所述姿态训练模型。

S15、读取下一样本帧图像，并执行步骤S12。

利用训练得到的姿态估计模型，本发明实施例中，可以按照图2所示的流程估计人体姿态：

S21、获取帧图像。

具体实施时，可以从用户相册中读取二维图像；或者调用移动设备的摄像头采集图像。

S22、利用目标检测算法从所述帧图像中检测出人体轮廓。

S23、针对检测出的人体轮廓，利用预先训练得到的姿态估计模型确定所述人体轮廓中的关节点位置。

本发明实施例中，为了减少移动设备资源开销，具体实施时，在训练得到姿态估计模型之后，可以将姿态估计模型转换为特定格式文件后存储于移动设备中，例如，可以转换为.tflite格式文件并部署在移动设备中。当需要进行人体姿态估计时，读取待测的二维图像或者调用移动设备摄像头采集图像之后，系统选择存储的文件，在移动设备的CPU上进行计算得到图像中人体的关节点并进行展示。

本发明实施例提供的人体姿态估计方法，利用标注有关节点位置的样本帧图像训练得到姿态估计模型，这样，在进行人体姿态估计时，首先获取待测帧图像，并从其中检测出人体轮廓，利用预先训练得到的姿态估计模型确定检测出的人体轮廓中的关节点位置，由此实现了在移动设备上对人体姿态进行估计，由于预先训练模型，移动设备只需利用训练好的模型进行人体姿态估计即可，从而降低了移动设备的资源开销。

基于同一发明构思，本发明实施例中还提供了一种人体姿态估计装置，由于上述装置解决问题的原理与人体姿态估计方法相似，因此上述装置的实施可以参见方法的实施，重复之处不再赘述。

如图3所示，其为本发明实施例提供的人体姿态估计装置的结构示意图，包括：

获取单元31，用于获取帧图像；

目标检测单元32，用于利用目标检测算法从所述帧图像中检测出人体轮廓；

估计单元33，用于针对检测出的人体轮廓，利用预先训练得到的姿态估计模型确定所述人体轮廓中的关节点位置，其中，所述姿态估计模型为利用标注有关节点位置的样本帧图像进行训练得到的。

可选地，所述人体姿态估计装置，还包括：

第一读取单元，用于读取样本帧图像；

训练单元，用于将读取的样本帧图像输入到预先搭建的神经网络中输出关节点位置预测结果；确定所述关节点位置预测结果与预先标注的关节点位置的差值；如果所述差值在预设范围内，则结束训练得到所述姿态训练模型；如果所述差值不在预设范围内，则读取下一样本帧图像，并返回执行将读取的样本帧图像输入到预先搭建的神经网络中输出关节点位置预测结果的步骤。

可选地，所述人体姿态估计装置，还包括：

转换单元，用于将训练得到的姿态估计模型转换为预设格式文件；

存储单元，用于存储所述预设格式文件；

第二读取单元，用于在所述估计单元针对检测出的人体轮廓，利用预先训练得到的姿态估计模型确定所述人体轮廓中的关节点位置之前，读取所述预设格式文件。

可选地，所述获取单元，用于从用户相册中读取二维图像；或者调用移动设备的摄像头采集图像。

为了描述的方便，以上各部分按照功能划分为各模块(或单元)分别描述。当然，在实施本发明时可以把各模块(或单元)的功能在同一个或多个软件或硬件中实现。

在介绍了本发明示例性实施方式的人体姿态估计方法和装置之后，接下来，介绍根据本发明的另一示例性实施方式的计算装置。

所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

在一些可能的实施方式中，根据本发明的计算装置可以至少包括至少一个处理器、以及至少一个存储器。其中，所述存储器存储有程序代码，当所述程序代码被所述处理器执行时，使得所述处理器执行本说明书上述描述的根据本发明各种示例性实施方式的人体姿态估计方法中的步骤。例如，所述处理器可以执行如图2中所示的步骤S21、获取帧图像，和步骤S22、利用目标检测算法从所述帧图像中检测出人体轮廓；以及步骤S23、针对检测出的人体轮廓，利用预先训练得到的姿态估计模型确定所述人体轮廓中的关节点位置。

下面参照图4来描述根据本发明的这种实施方式的计算装置40。图4显示的计算装置40仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图4所示，计算装置40以通用计算设备的形式表现。计算装置40的组件可以包括但不限于：上述至少一个处理器41、上述至少一个存储器42、连接不同系统组件(包括存储器42和处理器41)的总线43。

总线43表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器、外围总线、处理器或者使用多种总线结构中的任意总线结构的局域总线。

存储器42可以包括易失性存储器形式的可读介质，例如随机存取存储器(RAM)421和/或高速缓存存储器422，还可以进一步包括只读存储器(ROM)423。

存储器42还可以包括具有一组(至少一个)程序模块424的程序/实用工具425，这样的程序模块424包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

计算装置40也可以与一个或多个外部设备44(例如键盘、指向设备等)通信，还可与一个或者多个使得用户能与计算装置40交互的设备通信，和/或与使得该计算装置40能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口45进行。并且，计算装置40还可以通过网络适配器46与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器46通过总线43与用于计算装置40的其它模块通信。应当理解，尽管图中未示出，可以结合计算装置40使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

在一些可能的实施方式中，本发明提供的人体姿态估计方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在计算机设备上运行时，所述程序代码用于使所述计算机设备执行本说明书上述描述的根据本发明各种示例性实施方式的人体姿态估计方法中的步骤，例如，所述计算机设备可以执行如图2中所示的步骤S21、获取帧图像，和步骤S22、利用目标检测算法从所述帧图像中检测出人体轮廓；以及步骤S23、针对检测出的人体轮廓，利用预先训练得到的姿态估计模型确定所述人体轮廓中的关节点位置。

所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

本发明的实施方式的用于人体姿态估计的程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在计算设备上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

应当注意，尽管在上文详细描述中提及了装置的若干单元或子单元，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。

此外，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (4)

1.一种人体姿态估计方法，其特征在于，包括：

获取帧图像；

利用目标检测算法从所述帧图像中检测出人体轮廓；

针对检测出的人体轮廓，利用预先训练得到的姿态估计模型确定所述人体轮廓中的关节点位置，其中，所述姿态估计模型为利用标注有关节点位置的样本帧图像进行训练得到的；

其中，利用标注有关节点位置的样本帧图像按照以下流程进行训练得到所述姿态估计模型：

读取样本帧图像；

将读取的样本帧图像输入到预先搭建的神经网络中输出关节点位置预测结果；

确定所述关节点位置预测结果与预先标注的关节点位置的差值；

如果所述差值在预设范围内，则结束训练得到所述姿态估计 模型；

如果所述差值不在预设范围内，则读取下一样本帧图像，并返回执行将读取的样本帧图像输入到预先搭建的神经网络中输出关节点位置预测结果的步骤；

其中，所述姿态估计 模型，采用Linear Bottlenecks线性瓶颈结构，去掉了小维度输出层后面的非线性激活层，同时采用了Inverted Residual block反向残差模块结构；

其中，将训练得到的姿态估计模型转换为预设格式文件存储于移动设备中；以及

在针对检测出的人体轮廓，利用预先训练得到的姿态估计模型确定所述人体轮廓中的关节点位置之前，还包括：读取所述预设格式文件；

获取帧图像，具体包括：从用户相册中读取二维图像；或者调用移动设备的摄像头采集图像。

2.一种人体姿态估计装置，其特征在于，包括：

获取单元，用于获取帧图像；

目标检测单元，用于利用目标检测算法从所述帧图像中检测出人体轮廓；

估计单元，用于针对检测出的人体轮廓，利用预先训练得到的姿态估计模型确定所述人体轮廓中的关节点位置，其中，所述姿态估计模型为利用标注有关节点位置的样本帧图像进行训练得到的；

第一读取单元，用于读取样本帧图像；

训练单元，用于将读取的样本帧图像输入到预先搭建的神经网络中输出关节点位置预测结果；确定所述关节点位置预测结果与预先标注的关节点位置的差值；如果所述差值在预设范围内，则结束训练得到所述姿态估计 模型；如果所述差值不在预设范围内，则读取下一样本帧图像，并返回执行将读取的样本帧图像输入到预先搭建的神经网络中输出关节点位置预测结果的步骤；

其中，所述姿态估计 模型，采用Linear Bottlenecks线性瓶颈结构，去掉了小维度输出层后面的非线性激活层，同时采用了Inverted Residual block反向残差模块结构；

还包括：

转换单元，用于将训练得到的姿态估计模型转换为预设格式文件；

存储单元，用于存储所述预设格式文件；

第二读取单元，用于在所述估计单元针对检测出的人体轮廓，利用预先训练得到的姿态估计模型确定所述人体轮廓中的关节点位置之前，读取所述预设格式文件；

所述获取单元，用于从用户相册中读取二维图像；或者调用移动设备的摄像头采集图像。

3.一种计算装置，其特征在于，包括至少一个处理器、以及至少一个存储器，其中，所述存储器存储有计算机程序，当所述程序被所述处理器执行时，使得所述处理器执行权利要求1所述方法的步骤。

4.一种计算机可读介质，其特征在于，其存储有可由移动设备执行的计算机程序，当所述程序在移动设备上运行时，使得所述移动设备执行权利要求1所述方法的步骤。

Images