CN110210402A - 特征提取方法、装置、终端设备及存储介质 - Google Patents

Abstract

本发明公开了特征提取方法、装置、终端设备及存储介质。所述方法包括：获取用户的图像；将所述图像输入预先确定的增强模型进行增强处理后，得到对应所述图像的关节特征和肢体特征，所述增强处理包括如下至少之一特征融合、特征迁移和特征提炼。利用该方法，能够提高特征提取的精度。

Description

特征提取方法、装置、终端设备及存储介质

技术领域

本发明实施例涉及计算机视觉技术领域，尤其涉及特征提取方法、装置、终端设备及存储介质。

背景技术

随着科学技术的进步，实现机器自主分析、理解和决策正在成为现实。人体姿态估计(关节点定位)就是实现这种功能其中的一项关键技术。该技术在生活和工业领域有很广泛的应用，包括视频监控、自动驾驶、游戏娱乐、智能家居、视频检索和工业控制等。借助该技术，智能设备将走入我们的生活，更好的服务人类。

人体姿态估计是定位出视频或图像数据中人体部位关节所在位置的过程。目前大多采用神经网络模型进行人体姿态估计，具体估计过程为，输入图像至神经网络模型，经过神经网络模型得到该图像的关节位置。然而，现有神经网络模型提取关节位置时，提取精度较低。

发明内容

本发明实施例提供了特征提取方法、装置、终端设备及存储介质，以提高特征提取的精度。

第一方面，本发明实施例提供了一种特征提取方法，包括：

获取用户的图像；

将所述图像输入预先确定的增强模型进行增强处理后，得到对应所述图像的关节特征和肢体特征，所述增强处理包括如下至少之一特征融合、特征迁移和特征提炼。

可选的，将所述图像输入预先确定的增强模型进行增强处理后，得到对应所述图像的关节特征和肢体特征，包括：

将图像输入至预先确定的提取模型进行特征增强处理，得到增强关节特征和增强肢体特征；

将所述增强关节特征和所述图像对应的目标元素区域输入关节提炼模型，得到对应所述图像的关节特征；

将所述增强肢体特征和所述图像对应的目标元素区域输入肢体提炼模型，得到对应所述图像的肢体特征。

可选的，将图像输入至预先确定的提取模型进行特征增强处理，得到增强关节特征和增强肢体特征，包括：

将图像输入至预先确定的主干网络，得到对应所述图像的目标元素区域；

将所述目标元素区域进行特征增强处理，得到增强关节特征和增强肢体特征。

可选的，将所述目标元素区域进行特征增强处理，得到增强关节特征和增强肢体特征，包括：

将所述目标元素区域输入至关节模型，得到初增关节特征和关节融合特征，所述关节融合特征为对所述关节模型中关节卷积层集合的特征融合得到，所述关节卷积层集合为所述关节模型中除输出初增关节特征的卷积层外的卷积层，所述初增关节特征为对所述关节融合特征卷积得到；

将所述目标元素区域输入肢体模型，得到初增肢体特征和肢体融合特征，所述肢体融合特征为对所述肢体模型中肢体卷积层集合的特征融合得到，所述肢体卷积层集合为所述肢体模型中除输出初增肢体特征的卷积层外的卷积层，所述初增肢体特征为对所述肢体融合特征卷积得到；

将所述关节融合特征输入关节迁移模型，得到迁移肢体特征，并将所述迁移肢体特征与所述初增肢体特征融合，得到增强肢体特征；

将所述肢体融合特征输入肢体迁移模型，得到迁移关节特征，并将所述迁移关节特征和所述初增关节特征融合，得到增强关节特征。

可选的，所述关节提炼模型和肢体提炼模型分别包括至少一个卷积层；所述关节迁移模型包括至少一个卷积层，所述肢体迁移模型包括至少一个卷积层，所述关节模型包括至少两个卷积层和一个关节融合层，所述关节融合层将关节卷积层集合的特征进行融合，所述肢体模型包括至少两个卷积层和一个肢体融合层，所述肢体融合层将所述肢体卷积层集合的特征进行融合。

可选的，该方法，还包括：

将第一设定数量的历史图像、对应各所述历史图像的关节位置和对应各所述历史图像的肢体位置输入待训练提取模型进行训练，得到提取模型。

可选的，该方法，还包括：

将第二设定数量的历史目标元素区域、对应所述历史目标元素区域的历史增强关节特征和历史关节特征输入待训练的关节提炼模型进行训练，得到关节提炼模型；

将第三设定数量的历史目标元素区域、对应所述历史目标元素区域的历史增强肢体特征和历史肢体特征输入待训练的肢体提炼模型进行训练，得到肢体提炼模型。

第二方面，本发明实施例还提供了一种特征提取装置，包括：

获取模块，用于获取用户的图像；

处理模块，用于将所述图像输入预先确定的增强模型进行增强处理后，得到对应所述图像的关节特征和肢体特征，所述增强处理包括如下至少之一特征融合、特征迁移和特征提炼。

第三方面，本发明实施例还提供了一种终端设备，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例提供的特征提取方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明实施例提供的特征提取方法。

本发明实施例提供了特征提取方法、装置、终端设备及存储介质，利用上述技术方案，能够将获取的用户的图像输入预先确定的增强模型进行增强处理，以得到对应该图像的关节特征和肢体特征。增强模型对图像的增强处理包括如下至少之一特征融合、特征迁移和特征提炼，对图像进行特征融合可以得到增强的特征，对图像进行特征迁移可以形成互补的特征，对特征进行提炼可以得到更加精确的特征，准确高效的提取了用户的肢体特征和关节特征，在对多个用户进行特征提取时，避免了各用户间特征的混淆，如将第一用户的关节认为是第二用户的关节，从而提高了特征的检测精度。

附图说明

图1为本发明实施例一提供的一种特征提取方法的流程示意图；

图2a为本发明实施例二提供的一种特征提取方法的流程示意图；

图2b为本发明实施例提供的增强模型的结构示意图；

图3为本发明实施例三提供的一种特征提取装置的结构示意图；

图4为本发明实施例四提供的一种终端设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。此外，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

实施例一

图1为本发明实施例一提供的一种特征提取方法的流程示意图，该方法可适用于对用户进行特征提取的情况，具体的，该方法可适用于对用户进行肢体特征和关节特征提取的情况。该方法可以由特征提取装置来执行，其中该装置可由软件和/或硬件实现，并一般集成在终端设备上，在本实施例中终端设备包括但不限于：计算机、个人数字助理等设备。

如图1所示，本发明实施例一提供的一种特征提取方法，包括如下步骤：

S101、获取用户的图像。

在本实施例中，图像可以为包括用户的照片。该图像可以用于对用户的姿态进行估计，如对用户的行为进行分析。该图像可以为通过图像采集装置实时获取的用户的整张图像；也可以为在通过图像采集装置实时获取用户的整张图像后进行图像裁剪处理得到的部分图像，该区域中可以包括有用户的整个身体或部分身体；还可以为用户的历史用户图像，历史用户图像可以为用户历史健身时获取的图像。

示例性的，若本实施例的特征提取方法应用至健身场景下，则本步骤可以在用户进行健身课程学习时，通过终端设备的图像采集装置实时获取用户的图像，以便于对用户的健身动作进行打分或纠正。

需要注意的是，用户的数量可以为至少一个，相应的，本步骤获取的图像中的人数可以为至少一个。当图像包括多人时，可以通过增强模型对每个用户进行特征提炼。该增强模型在训练阶段可以针对每个用户进行模型训练，以使得训练后的增强模型能够提取各用户的肢体特征和关节特征；当图像中用户的个数为一个时，可以认为图像为直接通过图像采集装置获取的整张图像，也可以认为图像为对整张图像进行裁剪处理后得到的包含一个用户的部分图像。即在图像采集装置获取用户的整张图像后，若整张图像中包括多人，则将图像进行裁剪，使得每幅裁剪后的图像仅包括一个用户，本步骤获取的用户的图像可以为裁剪后的图像。依次对每幅裁剪后的图像进行特征提取，即可得到整张图像所包括全部用户的特征。

S102、将所述图像输入预先确定的增强模型进行增强处理后，得到对应所述图像的关节特征和肢体特征。

增强模型可以理解为对图像进行增强处理的模型。即在对图像中的肢体特征和关节特征提取时，对图像进行增强处理，以提升特征提取准确度的模型。

增强处理的手段可以为对图像中的特征进行增强以提取对应的关节特征和肢体特征；还可以为对图像中的特征进行增强，并将增强后的特征进行提炼，得到更加精准的关节特征和肢体特征。对特征进行增强处理的手段可以包括但不限于特征增强处理，即特征融合和/或特征迁移。增强处理还可以包括特征提炼。即增强处理包括如下至少之一特征融合、特征迁移和特征提炼。

特征融合可以理解为对不同层次特征进行融合，即对不同卷积层的特征进行融合。融合可以采用通道对应元素相加的方式实现。特征迁移可以理解为对提取到的关节的特征和肢体的特征互相进行迁移，迁移可以采用卷积操作一次性变换关节或肢体类型。可以理解的是，图像可以以三维矩阵的形式表示，通道可以理解为矩阵的维度。

关节特征可以理解为图像中关节的位置信息，该关节特征可以表示图像中关节的精确位置信息。关节特征的输出形式不作限定，如可以在图像中标记关节特征，标记方式包括但不限于高亮。在对关节特征进行后续处理时，可以读取图像中被标记的位置，然后基于读取出的位置进行操作。

肢体特征可以理解为图像中肢体的位置信息，该肢体特征可以表示图像中肢体的精确位置信息。肢体特征的输出形式不作限定，如可以在图像中标记肢体特征，标记方式包括但不限于高亮。在对肢体特征进行后续处理时，可以读取图像中被标记的位置，然后基于读取出的位置进行操作。

需要注意的是，关节特征和肢体特征可以由增强模型的两个分支输出，即第一分支输出关节特征，第二分支输出肢体特征。

增强模型的两个分支在训练时，可以输入各自的样本对进行训练。如将图像和该图像中关节位置作为第一分支的样本对；将图像和该图像中肢体位置作为第二分支的样本对。

此外，在对特征进行迁移处理时，可以采用迁移模型，迁移模型包括关节迁模型和肢体迁移模型。如通过关节迁移模型将图像中关节的特征转换为对应该关节的肢体的特征，即迁移肢体特征。再如通过肢体迁移模型将图像中肢体的特征转换为图像中关节的特征，即迁移关节特征。采用迁移模型对图像中的特征进行处理，能够使得迁移后的特征和对应分支产生的特征形成互补特征，达到了增强特征提取效率的效果。

在一种实施方式中，增强模型在提取关节特征和肢体特征时，可以对图像中的特征进行融合和迁移处理，得到对应图像的关节特征和肢体特征。

在另一实施方式中，增强模型对图像中的特征进行融合和迁移处理后，还可以基于处理后的特征进行特征提炼，以得到更加精确的特征。特征提炼处理可以通过训练好的提炼模型实现，提炼模型可以包括关节提炼模型和肢体提炼模型，以分别实现关节的提炼和肢体的提炼。

本实施例还可以包括训练增强模型的操作，训练增强模型时所采用的样本对可以包括图像、该图像中关节的特征和该图像中肢体的特征。

得到关节特征和肢体特征后，本实施例可以将关节特征和肢体特征进行关联，得到用户的骨架。具体的，按照人体骨架结构，对关节特征和肢体特征进行拼接，得到对应的骨架。如从颈部开始依次将肢体连接对应的关节，再连接下一肢体，比如颈部连接左肩，然后左肩连接左肘，直到构成一个完整的人体骨架。

得到用户的骨架后可以对该骨架进行分析，如对骨架的位姿进行分析，从而用于对用户的动作进行打分。相比于直接对用户的图像进行分析而言，对用户的骨架进行分析的分析结果更加精准。

本发明实施例一提供的一种特征提取方法，利用上述方法，能够将获取的用户的图像输入预先确定的增强模型进行增强处理，以得到对应该图像的关节特征和肢体特征。增强模型对图像的增强处理包括如下至少之一特征融合、特征迁移和特征提炼，对图像进行特征融合可以得到增强的特征，对图像进行特征迁移可以形成互补的特征，对特征进行提炼可以得到更加精确的特征，准确高效的提取了用户的肢体特征和关节特征，在对多个用户进行特征提取时，避免了各用户间特征的混淆，如将第一用户的关节认为是第二用户的关节。从而提高了特征的检测精度。

本实施例进一步提供了可选实施例，在该可选实施例中，将所述图像输入预先确定的增强模型进行增强处理后，得到对应所述图像的关节特征和肢体特征，包括：

将图像输入至预先确定的提取模型进行特征增强处理，得到增强关节特征和增强肢体特征；

将所述增强关节特征和所述图像对应的目标元素区域输入关节提炼模型，得到对应所述图像的关节特征；

将所述增强肢体特征和所述图像对应的目标元素区域输入肢体提炼模型，得到对应所述图像的肢体特征。

增强模型可以包括提取模型、关节提炼模型和肢体提炼模型。提取模型可以对图像进行特征增强处理，特征增强处理的手段包括特征融合和特征迁移。目标元素区域可以理解为图像中包括用户的区域，该区域中可以仅包括用户或包括用户和部分背景。

在将图像进行特征增强处理时，可以提取图像中的特征进行特征增强处理，也可以从图像中筛选出目标元素区域，然后对目标元素区域内特征进行特征增强处理。

图像对应的目标元素区域的确定手段不作限定，如在获取图像时标记在该图像中，或通过主干网络对图像进行处理，得到目标元素区域。

提取模型接收图像然后对图像进行特征增强处理，得到增强关节特征和增强肢体特征。增强关节特征可以理解为对图像中关节进行特征增强处理后提取出的关节的特征。增强肢体特征可以理解为对图像中肢体进行特征增强处理后提取出的肢体的特征。

得到增强关节特征和增强肢体特征后，可以进一步对特征进行特征提炼操作，提升特征提取的准确度。可以理解的是，增强关节特征可以理解为由提取模型提取出的关节的粗略位置，关节特征可以理解为经过关节提炼模型提炼后的关节的精确位置。增强肢体特征可以理解为由提取模型提取出的肢体的粗略位置，肢体特征可以理解为经过肢体提炼模型提炼后的肢体的精确位置。

具体的，在对关节进行提炼时，可以将增强关节特征、图像对应的目标元素区域输入关节提炼模型处理，得到关节特征。关节提炼模型输出的关节特征相比于增强关节特征而言，准确度更高，即关节特征能够更加精确的表示关节的位置。

在对肢体进行提炼时，可以将增强肢体特征、图像对应的目标元素区域输入肢体提炼模型处理，得到肢体特征。肢体提炼模型输出的肢体特征相比于增强肢体特征而言，准确度更高，即肢体特征能够更加精确的表示肢体的位置。

本实施例进一步提供了可选实施例，在该可选实施例中，将图像输入至预先确定的提取模型进行特征增强处理，得到增强关节特征和增强肢体特征，包括：

将图像输入至预先确定的主干网络，得到对应所述图像的目标元素区域；

将所述目标元素区域进行特征增强处理，得到增强关节特征和增强肢体特征。

主干网络可以理解为确定图像的目标元素区域的模型。该主干网络可以实现对图像中目标元素区域的检测，此处不对主干网络的结构进行限定，主干网络包括vgg19或残余神经网络(residual neural network，resnet)等。

将图像输入提取模型进行特征增强处理时，可以首先通过主干网络得到图像的目标元素区域。然后在目标元素区域进行特征增强处理，得到增强关节特征和增强肢体特征，提升了增强关节特征和增强肢体特征确定的效率。

实施例二

图2a为本发明实施例二提供的一种特征提取方法的流程示意图，本实施例二在上述各实施例的基础上进行优化。在本实施例中，将所述目标元素区域进行特征融合和特征迁移，得到增强关节特征和增强肢体特征，进一步具体化为：将所述目标元素区域输入至关节模型，得到初增关节特征和关节融合特征，所述关节融合特征为对所述关节模型中关节卷积层集合的特征融合得到，所述关节卷积层集合为所述关节模型中除输出初增关节特征的卷积层外的卷积层，所述初增关节特征为对所述关节融合特征卷积得到；

将所述目标元素区域输入肢体模型，得到初增肢体特征和肢体融合特征，所述肢体融合特征为对所述肢体模型中肢体卷积层集合的特征融合得到，所述肢体卷积层集合为所述肢体模型中除输出初增肢体特征的卷积层外的卷积层，所述初增肢体特征为对所述肢体融合特征卷积得到；

将所述关节融合特征输入关节迁移模型，得到迁移肢体特征，并将所述迁移肢体特征与所述初增肢体特征融合，得到增强肢体特征；

将所述肢体融合特征输入肢体迁移模型，得到迁移关节特征，并将所述迁移关节特征和所述初增关节特征融合，得到增强关节特征。

进一步地，本实施例还优化包括：将第一设定数量的历史图像、对应各所述历史图像的关节位置和对应各所述历史图像的肢体位置输入待训练提取模型进行训练，得到提取模型。

进一步地，本实施例还优化包括：将第二设定数量的历史目标元素区域、对应所述历史目标元素区域的历史增强关节特征和历史关节特征输入待训练的关节提炼模型进行训练，得到关节提炼模型；将第三设定数量的历史目标元素区域、对应所述历史目标元素区域的历史增强肢体特征和历史肢体特征输入待训练的肢体提炼模型进行训练，得到肢体提炼模型。本实施例尚未详尽的内容请参考实施例一。

如图2a所示，本发明实施例二提供的一种特征提取方法，包括如下步骤：

S201、将第一设定数量的历史图像、对应各所述历史图像的关节位置和对应各所述历史图像的肢体位置输入待训练提取模型进行训练，得到提取模型。

历史图像可以理解为包括至少一个用户的图像。此处不对待训练的提取模型的结构进行限定，本领域技术人员可以根据实际情况选取。

当历史图像包括多个用户时，可以分别对各用户对应的关节位置和肢体位置进行标记，以训练待训练的提取模型。训练待训练的提取模型时，可以将多个用户同时训练，如对多个用户设置不同的标识，以进行区分；也可以依次对每个用户进行训练。

进行特征提取前，本实施例可以首先获取提取模型，即得到训练完备的提取模型。在训练待训练的提取模型时，本步骤可以将第一设定数量的样本对输入待训练的提取模型进行训练。训练提取模型的样本对可以包括历史图像、对应所述历史图像的关节位置和对应所述历史图像的肢体位置。

其中历史图像中可以包括用户的身体和/或其余用户的身体。对应历史图像的关节位置可以理解为历史图像中的关节位置，此处不对历史图像中哪一关节位置被标记进行限定，本领域技术人员可以根据实际应用场景进行设定。对应历史图像的肢体位置可以理解为历史图像中的肢体位置，此处不对历史图像中哪一肢体位置被标注进行限定，本领域技术人员可以根据实际应用场景进行设定，如对所需部位的关节和肢体进行标记或对用户全部关节和肢体进行标记。

示例性的，当特征提取方法应用至背部健身训练时，历史图像对应的关节位置可以仅包括背部及相邻位置处的关节。相应的，在提取模型应用阶段，也可以仅提取背部及相连位置处的关节。在关联关节和肢体时，可以拼接出用户的背部。

在对提取模型进行训练时，可以设置损失函数，以对训练进行监督。可以理解的是，训练提取模型时的损失函数可以与训练提炼模型时的损失函数相同或偏差在设定范围内。

第一设定数量不作限定，本领域技术人员可以根据实际情况设置，可以理解的是，第一设定数量越大，训练后的提取模型的准确度可以越高。

S202、将第二设定数量的历史目标元素区域、对应所述历史目标元素区域的历史增强关节特征和历史关节特征输入待训练的关节提炼模型进行训练，得到关节提炼模型；将第三设定数量的历史目标元素区域、对应所述历史目标元素区域的历史增强肢体特征和历史肢体特征输入待训练的肢体提炼模型进行训练，得到肢体提炼模型。

历史目标元素区域可以理解为包含用户或其余用户的图像区域。历史目标元素区域相比于历史图像而言，用户或其余用户占比更大，即包括更少的背景区域。若提取模型、关节提炼模型和肢体提炼模型同时训练，则本步骤的历史目标元素区域可以为对历史图像进行处理得到的，即标记出历史图像中用户或其余用户所在区域。

对应历史目标元素区域的历史增强关节特征可以理解为历史目标元素区域中的关节的粗略位置。历史关节特征可以理解为历史目标元素区域中关节的精确位置。对应历史目标元素区域的历史增强肢体特征可以理解为历史目标元素区域中肢体的粗略位置。历史肢体特征可以理解为历史目标元素区域中肢体的精确位置。

本步骤中包括了得到关节提炼模型和肢体提炼模型的步骤，此处不限定关节提炼模型和肢体提炼模型的训练顺序，可以同时训练也可以单独训练。若同时训练关节提炼模型和肢体提炼模型，则关节提炼模型和肢体提炼模型的历史目标元素区域为相同数据。此处不限定待训练的关节提炼模型和待训练的肢体提炼模型的模型结构，本领域技术人员可以根据实际情况进行选取。

训练关节提炼模型和肢体提炼模型时可以为各模型设置对应的损失函数，以实现监督。第二设定数量和第三设定数量不作限定，本领域技术人员可以根据实际情况进行设定，第二设定数量和第三设定数量的数值越大，则训练后的关节提炼模型和肢体提炼模型的准确度可以越高。

可以理解的是，提取模型、关节提炼模型和肢体提炼模型可以同时训练，也可以单独训练。若同时进行训练，则关节提炼模型和肢体提炼模型输入的历史目标元素区域可以为经过历史图像处理后得到的。即历史图像输入待训练的提取模型进行训练，历史图像对应的历史目标元素区域输入待训练的肢体提炼模型和关节提炼模型进行训练。

此外，提取模型中提取关节的分支的损失函数与关节提炼模型的损失函数相同或偏差在第一偏差值；提取模型中提取肢体的分支的损失函数与肢体提炼模型的损失函数相同或偏差在第二偏差值。第一偏差值和第二偏差值不作限定，可以根据实际情况设定。

训练后的肢体提炼模型可以实现对肢体的提炼，即基于增强肢体特征和目标元素区域确定出肢体特征，以得到更加精确的肢体位置。训练后的关节提炼模型可以实现对关节的提炼，即基于增强关节特征和目标元素区域确定出关节特征，以得到更加精确的关节位置。

S203、获取用户的图像。

S204、将图像输入至预先确定的主干网络，得到对应所述图像的目标元素区域。

S205、将所述目标元素区域输入至关节模型，得到初增关节特征和关节融合特征，所述关节融合特征为对所述关节模型中关节卷积层集合的特征融合得到，所述关节卷积层集合为所述关节模型中除输出初增关节特征的卷积层外的卷积层，所述初增关节特征为对所述关节融合特征卷积得到。

关节模型可以理解为对关节进行融合处理的模型。初增关节特征可以理解为对图像中的关节进行了增强的特征。对初增关节特征进行再次增强处理后可以得到增强关节特征。关节融合特征可以理解为对关节卷积层集合的特征融合得到的关节的特征。融合可以为采用通道对应元素相加的方式实现。

关节模型可以包括至少两个卷积层，一个卷积层用于得到初增关节特征，其余卷积层的特征进行融合得到关节融合特征。关节融合特征经过一个卷积层处理后得到初增关节特征。

S206、将所述目标元素区域输入肢体模型，得到初增肢体特征和肢体融合特征，所述肢体融合特征为对所述肢体模型中肢体卷积层集合的特征融合得到，所述肢体卷积层集合为所述肢体模型中除输出初增肢体特征的卷积层外的卷积层，所述初增肢体特征为对所述肢体融合特征卷积得到。

肢体模型可以理解为对肢体进行融合处理的模型。初增肢体特征可以理解为对图像中肢体进行了增强的特征。对初增肢体特征进行再次增强处理后可以得到增强肢体特征。肢体融合特征可以理解为对肢体卷积层集合的特征融合得到的肢体的特征。融合采用通道对应元素相加的方式实现。

肢体模型可以包括至少两个卷积层，一个卷积层用于得到初增肢体特征，其余卷积层的特征进行融合得到肢体融合特征。肢体融合特征经过一个卷积层处理后得到初增肢体特征。

S205和S206的执行顺序不作限定，可以顺序执行，即先执行S205，再执行S206或先执行S206，再执行S205，也可以并行执行。

S207、将所述关节融合特征输入关节迁移模型，得到迁移肢体特征，并将所述迁移肢体特征与所述初增肢体特征融合，得到增强肢体特征。

关节迁移模型可以理解为将关节的特征变换为肢体的特征的模型。迁移肢体特征可以理解为由关节融合特征进行迁移变换后得到的肢体的特征。

关节迁移模型训练时采用的样本对可以包括历史关节融合特征和历史迁移肢体特征。历史关节融合特征可以为关节模型的历史输出的关节融合特征。历史迁移肢体特征可以为对应历史关节融合特征的肢体。对应历史关节融合特征的肢体可以根据实际情况设定，如将临近历史关节融合特征的肢体作为对应历史关节融合特征的肢体。训练后的关节迁移模型可以基于关节融合特征得到对应关节融合特征的迁移肢体特征。

S208、将所述肢体融合特征输入肢体迁移模型，得到迁移关节特征，并将所述迁移关节特征和所述初增关节特征融合，得到增强关节特征。

肢体迁移模型可以理解为将肢体的特征变换为关节的特征的模型。迁移关节特征可以理解为由肢体融合特征进行迁移变换后得到的关节特征。

肢体迁移模型训练时采用的样本对可以包括历史肢体融合特征和历史迁移关节特征。历史肢体融合特征可以理解为肢体模型历史输出的肢体融合特征。历史迁移关节特征可以为对应历史肢体融合特征的关节。对应历史肢体融合特征的关节可以根据实际情况设定，如将临近历史肢体融合特征的关节作为对应历史肢体融合特征的关节。训练后的肢体迁移模型可以基于肢体融合特征得到对应的迁移关节特征。

肢体迁移模型和关节迁移模型训练时，可以与关节模型和肢体模型一起训练。将关节模型输出的历史关节融合特征输入关节迁移模型。将肢体模型输出的历史肢体融合特征输入肢体迁移模型。

S209、将所述增强关节特征和所述图像对应的目标元素区域输入关节提炼模型，得到对应所述图像的关节特征。

S210、将所述增强肢体特征和所述图像对应的目标元素区域输入肢体提炼模型，得到对应所述图像的肢体特征。

本发明实施例二提供的一种特征提取方法，具体化了得到增强肢体特征和增强关节特征的操作，还优化增加了确定提取模型、关节提炼模型和肢体提炼模型的操作。利用该方法，能够基于训练好的提取模型对不同层次的特征进行融合，并对融合后得到的特征并进行迁移操作，以实现特征增强处理。基于训练好的关节提炼模型和肢体提炼模型得到关节特征和肢体特征，进一步优化特征提取的精度。

进一步地，关节提炼模型和肢体提炼模型分别包括至少一个卷积层；所述关节迁移模型包括至少一个卷积层，所述肢体迁移模型包括至少一个卷积层，所述关节模型包括至少两个卷积层和一个关节融合层，所述关节融合层将关节卷积层集合的特征进行融合，所述肢体模型包括至少两个卷积层和一个肢体融合层，所述肢体融合层将所述肢体卷积层集合的特征进行融合。

关节融合层可以理解为将关节的特征进行融合的层。关节融合层将关节卷积层集合得到的特征进行融合。肢体融合层可以理解为将肢体进行融合的层。肢体融合层将肢体卷积层集合得到的特征进行融合。

示例性的，关节模型包括三个卷积层，即卷积层1、卷积层2和卷积层3。卷积层3用于得到初增关节特征，关节融合层融合卷积层1和卷积层2输出的特征。

图2b为本发明实施例提供的增强模型的结构示意图。参见图2b，增强模型21包括提取模型211、关节提炼模型212和肢体提炼模型213。关节提炼模型212和肢体提炼模型213包括至少一个卷积层。如关节提炼模型212和肢体提炼模型213分别包括7个或6个卷积层。关节提炼模型212和肢体提炼模型213可以实现关节和肢体的精准定位。

提取模型211包括主干网络2111、关节模型2112、肢体模型2113、关节迁移模型2114和肢体迁移模型2115。

主干网络可以为vgg19的十层构成。关节模型2112和肢体模型2113分别至少包括两个卷积层。关节迁移模型2114和肢体迁移模型2115分别至少包括一个卷积层，如关节迁移模型2114和肢体迁移模型2115可以包括4个卷积层。

以图2b所示的增强模型为例，对本实施例提供的特征提取方法进行说明：

图像输入主干网络2111，经过主干网络2111进行处理生成两个分支特征数据，主干网络2111可以有多种类型，比如vgg19或resnet等。第一分支，即关节模型所在分支用于检测关节，即关节特征；第二分支，即肢体模型所在分支用于检测肢体，即肢体特征。

第一分支和第二分支不同层次特征进行融合构成增强的特征，融合形式采用通道对应元素相加的方式。即卷积层1至卷积层4的特征进行融合。

示例性的，第一分支中卷积层1生成的特征a1、卷积层2生成的特征a2、卷积层3生成的特征a3和卷积层4生成的特征a4融合得到关节融合特征a5。第二分支中卷积层1生成的特征b1、卷积层2生成的特征b2、卷积层3生成的特征b3和卷积层4生成的特征b4融合得到肢体融合特征b5。

将提取的关节和肢体的特征互相进行迁移，迁移采用卷积操作一次性变换所有关节或肢体类型特征。迁移后的特征与原本的特征进行融合，融合仍采用通道对应元素相加的方式，形成互补的特征。

具体地，将关节融合特征a5迁移至第二分支生成迁移肢体特征A2，迁移肢体特征A2和初增关节特征融合生成增强关节特征A3。b5迁移至第一分支生成迁移关节特征B2，迁移关节特征B2与初增肢体特征融合生成增强肢体特征B3。肢体融合特征b5经过关节模型2112中的卷积层5处理后得到初增肢体特征，关节融合特征a5经过肢体模型2113中的卷积层5处理后得到初增关节特征。

将增强肢体特征B3和图像对应的目标元素区域输入肢体提炼模型213，得到肢体特征。将增强关节特征A3和图像对应的目标元素区域输入关节提炼模型212，得到关节特征。关节提炼模型212和肢体提炼模型213采用大的卷积核以增大其感知范围，同时多个卷积层堆叠，从而提取具有全局性的特征。

得到关节特征和肢体特征后，将关节特征和肢体特征进行关联，得到完整的人体骨架。

因为进行特征提取时对提取的特征进行了增强和迁移，故提取的关节特征和肢体特征精度较高，此外，本实施例中的增强模型所用的网络层数减少，检测速度得到了明显的提升。

实施例三

图3为本发明实施例三提供的一种特征提取装置的结构示意图，该装置可适用于对用户进行特征提取的情况，具体的，该方法可适用于对用户进行肢体特征和关节特征提取的情况。其中该装置可由软件和/或硬件实现，并一般集成在终端设备上。

如图3所示，该装置包括：获取模块31和处理模块32；

其中，获取模块31，用于获取用户的图像；

处理模块32，用于将所述图像输入预先确定的增强模型进行增强处理后，得到对应所述图像的关节特征和肢体特征，所述增强处理包括如下至少之一特征融合、特征迁移和特征提炼。

在本实施例中，该装置首先通过获取模块31获取用户的图像；最后通过处理模块32将所述图像输入预先确定的增强模型进行增强处理后，得到对应所述图像的关节特征和肢体特征，所述增强处理包括如下至少之一特征融合、特征迁移和特征提炼。

本实施例提供了一种特征提取装置，能够将获取的用户的图像输入预先确定的增强模型进行增强处理，以得到对应该图像的关节特征和肢体特征。增强模型对图像的增强处理包括如下至少之一特征融合、特征迁移和特征提炼，对图像进行特征融合可以得到增强的特征，对图像进行特征迁移可以形成互补的特征，对特征进行提炼可以得到更加精确的特征，准确高效的提取了用户的肢体特征和关节特征，在对多个用户进行特征提取时，避免了各用户间特征的混淆，如将第一用户的关节认为是第二用户的关节，从而提高了特征的检测精度。

在上述优化的基础上，处理模块32，包括：

增强子模块，用于将图像输入至预先确定的提取模型进行特征增强处理，得到增强关节特征和增强肢体特征；

第一输入子模块，用于将所述增强关节特征和所述图像对应的目标元素区域输入关节提炼模型，得到对应所述图像的关节特征；

第二输入模块，用于将所述增强肢体特征和所述图像对应的目标元素区域输入肢体提炼模型，得到对应所述图像的肢体特征。

进一步地，增强子模块，包括：

输入单元，用于将图像输入至预先确定的主干网络，得到对应所述图像的目标元素区域；

增强单元，用于将所述目标元素区域进行特征增强处理，得到增强关节特征和增强肢体特征。

进一步地，增强单元具体用于：

将所述目标元素区域输入至关节模型，得到初增关节特征和关节融合特征，所述关节融合特征为对所述关节模型中关节卷积层集合的特征融合得到，所述关节卷积层集合为所述关节模型中除输出初增关节特征的卷积层外的卷积层，所述初增关节特征为对所述关节融合特征卷积得到；

将所述目标元素区域输入肢体模型，得到初增肢体特征和肢体融合特征，所述肢体融合特征为对所述肢体模型中肢体卷积层集合的特征融合得到，所述肢体卷积层集合为所述肢体模型中除输出初增肢体特征的卷积层外的卷积层，所述初增肢体特征为对所述肢体融合特征卷积得到；

将所述关节融合特征输入关节迁移模型，得到迁移肢体特征，并将所述迁移肢体特征与所述初增肢体特征融合，得到增强肢体特征；

将所述肢体融合特征输入肢体迁移模型，得到迁移关节特征，并将所述迁移关节特征和所述初增关节特征融合，得到增强关节特征。

进一步地，所述关节提炼模型和肢体提炼模型分别包括至少一个卷积层；所述关节迁移模型包括至少一个卷积层，所述肢体迁移模型包括至少一个卷积层，所述关节模型包括至少两个卷积层和一个关节融合层，所述关节融合层将关节卷积层集合的特征进行融合，所述肢体模型包括至少两个卷积层和一个肢体融合层，所述肢体融合层将所述肢体卷积层集合的特征进行融合。

进一步地，该装置还包括：

第一训练模块，用于将第一设定数量的历史图像、对应各所述历史图像的关节位置和对应各所述历史图像的肢体位置输入待训练提取模型进行训练，得到提取模型。

进一步地，该装置还包括：

第二训练模块，用于将第二设定数量的历史目标元素区域、对应所述历史目标元素区域的历史增强关节特征和历史关节特征输入待训练的关节提炼模型进行训练，得到关节提炼模型；

第三训练模块，用于将第三设定数量的历史目标元素区域、对应所述历史目标元素区域的历史增强肢体特征和历史肢体特征输入待训练的肢体提炼模型进行训练，得到肢体提炼模型。

上述特征提取装置可执行本发明任意实施例所提供的特征提取方法，具备执行方法相应的功能模块和有益效果。

实施例四

图4为本发明实施例四提供的一种终端设备的结构示意图。如图4所示，本发明实施例四提供的终端设备包括：一个或多个处理器41和存储装置42；该终端设备中的处理器41可以是一个或多个，图4中以一个处理器41为例；存储装置42用于存储一个或多个程序；所述一个或多个程序被所述一个或多个处理器41执行，使得所述一个或多个处理器41实现如本发明实施例中任一项所述的特征提取方法。

所述终端设备还可以包括：输入装置43和输出装置44。

终端设备中的处理器41、存储装置42、输入装置43和输出装置44可以通过总线或其他方式连接，图4中以通过总线连接为例。

该终端设备中的存储装置42作为一种计算机可读存储介质，可用于存储一个或多个程序，所述程序可以是软件程序、计算机可执行程序以及模块，如本发明实施例一或二所提供特征提取方法对应的程序指令/模块(例如，附图3所示的特征提取装置中的模块，包括：获取模块31和处理模块32)。处理器41通过运行存储在存储装置42中的软件程序、指令以及模块，从而执行终端设备的各种功能应用以及数据处理，即实现上述方法实施例中特征提取方法。

存储装置42可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储装置42可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置42可进一步包括相对于处理器41远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置43可用于接收输入的数字或字符信息，以及产生与终端设备的用户设置以及功能控制有关的键信号输入。输出装置44可包括显示屏等显示设备。

并且，当上述终端设备所包括一个或者多个程序被所述一个或者多个处理器41执行时，程序进行如下操作：

获取用户的图像；

将所述图像输入预先确定的增强模型进行增强处理后，得到对应所述图像的关节特征和肢体特征，所述增强处理包括如下至少之一特征融合、特征迁移和特征提炼。

实施例五

本发明实施例五提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时用于执行特征提取方法，该方法包括：

获取用户的图像；

将所述图像输入预先确定的增强模型进行增强处理后，得到对应所述图像的关节特征和肢体特征，所述增强处理包括如下至少之一特征融合、特征迁移和特征提炼。

可选的，该程序被处理器执行时还可以用于执行本发明任意实施例所提供的特征提取方法。

本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(Random AccessMemory，RAM)、只读存储器(Read Only Memory，ROM)、可擦式可编程只读存储器(ErasableProgrammable Read Only Memory，EPROM)、闪存、光纤、便携式CD-ROM、光存储器件、磁存储器件、或者上述的任意合适的组合。计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于：电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、无线电频率(Radio Frequency，RF)等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种特征提取方法，其特征在于，包括：

获取用户的图像；

将所述图像输入预先确定的增强模型进行增强处理后，得到对应所述图像的关节特征和肢体特征，所述增强处理包括如下至少之一特征融合、特征迁移和特征提炼。

2.根据权利要求1所述的方法，其特征在于，将所述图像输入预先确定的增强模型进行增强处理后，得到对应所述图像的关节特征和肢体特征，包括：

将图像输入至预先确定的提取模型进行特征增强处理，得到增强关节特征和增强肢体特征；

将所述增强关节特征和所述图像对应的目标元素区域输入关节提炼模型，得到对应所述图像的关节特征；

将所述增强肢体特征和所述图像对应的目标元素区域输入肢体提炼模型，得到对应所述图像的肢体特征。

3.根据权利要求2所述的方法，其特征在于，将图像输入至预先确定的提取模型进行特征增强处理，得到增强关节特征和增强肢体特征，包括：

将图像输入至预先确定的主干网络，得到对应所述图像的目标元素区域；

将所述目标元素区域进行特征增强处理，得到增强关节特征和增强肢体特征。

4.根据权利要求3所述的方法，其特征在于，将所述目标元素区域进行特征增强处理，得到增强关节特征和增强肢体特征，包括：

将所述目标元素区域输入至关节模型，得到初增关节特征和关节融合特征，所述关节融合特征为对所述关节模型中关节卷积层集合的特征融合得到，所述关节卷积层集合为所述关节模型中除输出初增关节特征的卷积层外的卷积层，所述初增关节特征为对所述关节融合特征卷积得到；

将所述目标元素区域输入肢体模型，得到初增肢体特征和肢体融合特征，所述肢体融合特征为对所述肢体模型中肢体卷积层集合的特征融合得到，所述肢体卷积层集合为所述肢体模型中除输出初增肢体特征的卷积层外的卷积层，所述初增肢体特征为对所述肢体融合特征卷积得到；

将所述关节融合特征输入关节迁移模型，得到迁移肢体特征，并将所述迁移肢体特征与所述初增肢体特征融合，得到增强肢体特征；

将所述肢体融合特征输入肢体迁移模型，得到迁移关节特征，并将所述迁移关节特征和所述初增关节特征融合，得到增强关节特征。

5.根据权利要求4所述的方法，其特征在于，所述关节提炼模型和肢体提炼模型分别包括至少一个卷积层；所述关节迁移模型包括至少一个卷积层，所述肢体迁移模型包括至少一个卷积层，所述关节模型包括至少两个卷积层和一个关节融合层，所述关节融合层将关节卷积层集合的特征进行融合，所述肢体模型包括至少两个卷积层和一个肢体融合层，所述肢体融合层将所述肢体卷积层集合的特征进行融合。

6.根据权利要求2所述的方法，其特征在于，还包括：

将第一设定数量的历史图像、对应各所述历史图像的关节位置和对应各所述历史图像的肢体位置输入待训练提取模型进行训练，得到提取模型。

7.根据权利要求2所述的方法，其特征在于，还包括：

将第二设定数量的历史目标元素区域、对应所述历史目标元素区域的历史增强关节特征和历史关节特征输入待训练的关节提炼模型进行训练，得到关节提炼模型；

将第三设定数量的历史目标元素区域、对应所述历史目标元素区域的历史增强肢体特征和历史肢体特征输入待训练的肢体提炼模型进行训练，得到肢体提炼模型。

8.一种特征提取装置，其特征在于，包括：

获取模块，用于获取用户的图像；

处理模块，用于将所述图像输入预先确定的增强模型进行增强处理后，得到对应所述图像的关节特征和肢体特征，所述增强处理包括如下至少之一特征融合、特征迁移和特征提炼。

9.一种终端设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的特征提取方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的特征提取方法。