CN114419738A - 一种姿态检测方法、装置、电子设备以及存储介质 - Google Patents

Abstract

本公开提供了一种姿态检测方法、装置、电子设备以及存储介质，其中，包括：获取包含多个具有连接关系的网络模块的模型搜索空间；利用搜索参数，在模型搜索空间的多个网络模块中搜索满足计算资源约束条件的多组目标网络，并确定每组目标网络的网络连接信息；每组目标网络包括多个子网络，多个子网络包含用于进行躯干姿态检测的第一子网络和用于进行局部肢体检测的第二子网络，目标网络的多个子网络为对多个网络模块进行结构调整之后得到，网络连接信息用于表征第一子网络输出的多层次特征中与第二子网络的输入数据相匹配的第一特征的属性信息；基于每组目标网络和每组目标网络的网络连接信息确定用于对待处理图片进行姿态检测的目标姿态检测网络。

Description

一种姿态检测方法、装置、电子设备以及存储介质

技术领域

本公开涉及人工智能的技术领域，具体而言，涉及一种姿态检测方法、装置、电子设备以及存储介质。

背景技术

全身姿态估计是计算机视觉的重要问题，在动作分析、增强现实等领域存在诸多应用场景。具体而言，进行全身关键点检测，可以提供更丰富的姿态数据，从而在实际使用中有更广的应用场景。目前，一般选用现有的神经网络作为全身姿态估计模型。现有神经网络为了保证处理精度，网络结构较为复杂，从而导致现有的全身姿态估计网络的计算量较大，增加了全身姿态估计模型在终端设备的部署难度。

发明内容

本公开实施例至少提供一种姿态检测方法、装置、电子设备以及存储介质。

第一方面，本公开实施例提供了一种姿态检测方法，包括：获取模型搜索空间；所述模型搜索空间中包含多个具有连接关系的网络模块；利用搜索参数，在所述模型搜索空间的多个网络模块中搜索满足计算资源约束条件的多组目标网络，并确定每组目标网络的网络连接信息；每组所述目标网络包括多个子网络，所述多个子网络包含用于进行躯干姿态检测的第一子网络和用于进行局部肢体检测的第二子网络，所述目标网络的多个子网络为对所述多个网络模块进行结构调整之后得到，所述网络连接信息用于表征所述第一子网络输出的多层次特征中与所述第二子网络的输入数据相匹配的第一特征的属性信息；基于每组所述目标网络和每组所述目标网络的网络连接信息确定目标姿态检测网络，其中，所述目标姿态检测网络用于对待处理图片进行姿态检测。

上述实施方式中，通过搜索参数在模型搜索空间的多个网络模块中搜索满足计算资源约束条件的多组目标网络，可以实现第一子网络和第二子网络之间计算资源的自动分配，以得到结构更加简单的姿态检测网络，从而降低姿态检测网络的计算复杂度。通过搜索参数在模型搜索空间中搜索每个目标网络的网络连接信息，可以在第一子网络输出的多层次特征中确定与第二子网络的输入数据相匹配的第一特征的属性信息，从而提高姿态检测网络的网络处理精度。

一种可选的实施方式中，所述利用搜索参数，在所述模型搜索空间的多个网络模块中搜索满足计算资源约束条件的多组目标网络，并确定每组目标网络的网络连接信息，包括：基于所述搜索参数中的结构搜索参数对所述多个网络模块进行结构搜索，得到所述多组目标网络；基于所述搜索参数中的特征搜索参数确定每组所述目标网络的第一子网络和该组目标网络的第二子网络之间的网络连接信息。

上述实施方式中，通过不同类型的搜索参数（例如，结构搜索参数和特征搜索参数）对目标网络和每组目标网络的网络连接参数进行搜索的方式，可以实现在降低姿态检测网络的计算复杂度，保证姿态检测网络的处理精度。

一种可选的实施方式中，每个所述网络模块中包含多个网络层；所述基于所述搜索参数中的结构搜索参数对所述多个网络模块进行结构搜索，得到所述多组目标网络，包括：基于所述结构搜索参数确定每个所述网络模块中各个网络层所执行的计算操作的执行方式；通过所述执行方式对所述多个网络模块进行搜索，得到满足计算资源约束条件的所述多组目标网络。

上述实施方式中，通过各网络层所执行的计算操作的执行方式对网络模块进行结构搜索，可以进一步完善网络结构搜索的方式，扩大对网络模块进行搜索的范围，从而得到与计算资源约束条件更加匹配的目标网络。

一种可选的实施方式中，所述基于所述搜索参数中的特征搜索参数确定每组所述目标网络的第一子网络和该组目标网络的第二子网络之间的网络连接信息，包括：基于所述特征搜索参数在每组所述目标网络的第一子网络中确定第一特征的特征输出位置；确定在所述第一特征中感兴趣区域的区域尺寸；其中，所述感兴趣区域为进行特征截取的特征截取区域，所述感兴趣区域中所包含肢体的肢体类型与所述第二子网络所检测的局部肢体的肢体类型匹配；基于所述特征输出位置和所述感兴趣区域的区域尺寸，确定每组所述目标网络的第一子网络和该组目标网络的第二子网络之间的网络连接信息。

上述实施方式中，可以确定出满足第二子网络的处理需求的第一特征，以及确定出与第一特征相匹配的感兴趣区域的区域尺寸，进而得到第一子网络和第二子网络之间更加匹配的网络连接信息，进而提高姿态检测网络的网络处理精度。

一种可选的实施方式中，所述结构搜索参数包括以下至少之一：模块深度参数、卷积层通道数、卷积核大小参数、卷积层分组数量参数、注意力模块参数和输入数据的分辨率。

上述实施例中，通过设置模型深度参数、卷积层参数、注意力模块参数和输入数据的分辨率，可以在模型搜索空间中扩大神经网络模型的搜索空间，从而搜索出处理精度满足要求的轻量级神经网络模型。

一种可选的实施方式中，所述利用搜索参数，在所述模型搜索空间的多个网络模块中搜索满足计算资源约束条件的多组目标网络，包括：获取多组搜索参数，其中，一组搜索参数用于搜索该组目标网络中的一个子网络；基于每组所述搜索参数在所述模型搜索空间的多个网络模块中进行并行搜索，得到所述多组目标网络。

上述实施方式中，通过为每个第一子网络和每个第二子网络分别设置对应的搜索参数，以根据对应的搜索参数在模型搜索空间中进行搜索的方式，可以得到满足计算资源约束条件的结构更加简单的姿态检测网络，从而降低姿态检测网络的计算复杂度。通过在多个网络模块中进行并行搜索，可以提高目标网络的搜索效率，缩短目标网络的搜索时间。

一种可选的实施方式中，所述方法还包括：确定各个所述网络模块的模块类型，其中，所述模块类型与该网络模块中网络层所执行的计算操作的操作类型相关联；基于各个所述网络模块的模块类型，确定所述搜索参数。

上述实施方式中，通过基于模块类型确定搜索参数中的结构搜索参数，并根据该结构搜索参数对网络模块进行结构搜索的方式，可以提高目标的搜索效率，缩短搜索时间，提高搜索精度。

一种可选的实施方式中，所述基于每组所述目标网络和每组所述目标网络的网络连接信息确定目标姿态检测网络，包括：按照每组所述目标网络的网络连接信息，对该组目标网络中的第一子网络和第二子网络进行连接，得到多个备选姿态检测网络；通过测试样本对每个所述备选姿态检测网络进行测试，得到测试结果；通过所述测试结果中满足预测测试精度的备选姿态检测网络确定所述目标姿态检测网络。

上述实施方式中，通过对筛选出的满足计算资源约束条件的多个备选姿态检测网络进行测试的方式，可以得到处理精度最优的备选姿态检测网络，从而可以在保证姿态检测网络的处理精度的同时，选择出满足实时性要求较高的实际应用的姿态检测网络。

一种可选的实施方式中，所述方法还包括：在检测到所述计算资源约束条件的更新信息的情况下，获取满足新计算资源约束条件的新目标姿态检测网络；其中，所述新目标姿态检测网络用于对待处理图片进行姿态检测。

上述实施方式中，通过获取新目标姿态检测网络，可以实现目标姿态检测网络的动态更新，从而保证目标姿态检测网络的正常稳定运行。

第二方面，本公开实施例提供了一种姿态检测方法，包括：获取待处理图片，并通过目标姿态检测网络中的第一子网络对所述待处理图片中的目标对象进行躯干姿态检测，得到躯干姿态检测结果，所述躯干姿态检测结果包括：局部肢体部位的肢体检测框和躯干关键点；通过所述目标姿态检测网络中的第二子网络利用所述肢体检测框对所述第一子网络的输出特征中与所述第二子网络相匹配的输出特征进行处理，得到局部肢体关键点；基于所述躯干关键点和所述局部肢体关键点确定所述待处理图片的姿态检测结果。其中，所述目标姿态检测网络为通过上述第一方面中任一项所述的方法确定的。

一种可选的实施方式中，所述通过所述目标姿态检测网络中的第二子网络利用所述肢体检测框对所述第一子网络的输出特征中与所述第二子网络相匹配的输出特征进行处理，得到局部肢体关键点，包括：在所述第一子网络输出的多层次特征中确定与所述第二子网络相匹配的第二特征，并基于所述肢体检测框在所述第二特征中截取局部肢体特征；通过所述第二子网络对所述局部肢体特征进行处理，得到局部肢体关键点。

本公开实施例中所描述的目标姿态检测网络的网络结构更加简单，在通过目标姿态检测网络对待处理图片进行姿态检测时，就可以简化数据处理的过程，从而提高姿态检测的效率，进而能够满足实时性要求较高的场景。通过第二子网络利用肢体检测框对第一子网络的输出的与第二子网络相匹配的输出特征进行处理，可以提高姿态检测网络的网络处理精度，从而得到更加准确的姿态检测结果。

一种可选的实施方式中，所述基于所述肢体检测框在所述第二特征中截取局部肢体特征，包括：按照预设区域尺寸对所述肢体检测框进行缩放处理，并基于缩放处理之后的肢体检测框在所述第二特征中截取局部肢体特征。

上述实施方式中，通过对肢体检测框进行缩放处理，可以得到更加准确的局部肢体特征，从而进一步提高姿态检测的准确度。

第三方面，本公开实施例提供了一种姿态检测装置，包括：第一获取单元，用于获取模型搜索空间；所述模型搜索空间中包含多个具有连接关系的网络模块；搜索单元，用于利用搜索参数，在所述模型搜索空间的多个网络模块中搜索满足计算资源约束条件的多组目标网络，并确定每组目标网络的网络连接信息；每组所述目标网络包括多个子网络，所述多个子网络包含用于进行躯干姿态检测的第一子网络和用于进行局部肢体检测的第二子网络，所述目标网络的多个子网络为对所述多个网络模块进行结构调整之后得到，所述网络连接信息用于表征所述第一子网络输出的多层次特征中与所述第二子网络的输入数据相匹配的第一特征的属性信息；第一确定单元，用于基于每组所述目标网络和每组所述目标网络的网络连接信息确定目标姿态检测网络，其中，所述目标姿态检测网络用于对待处理图片进行姿态检测。

第四方面，本公开实施例提供了一种姿态检测装置，包括：第二获取单元，用于获取待处理图片，并通过目标姿态检测网络中的第一子网络对所述待处理图片中的目标对象进行躯干姿态检测，得到躯干姿态检测结果，所述躯干姿态检测结果包括：局部肢体部位的肢体检测框和躯干关键点，特征处理单元，用于通过所述目标姿态检测网络中的第二子网络利用所述肢体检测框对所述第一子网络的输出特征进行处理，得到局部肢体关键点；第二确定单元，用于基于所述躯干关键点和所述局部肢体关键点确定所述待处理图片的姿态检测结果。其中，所述目标姿态检测网络为通过上述第一方面中任一项所述的方法确定的。

第五方面，本公开实施例还提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。

第六方面，本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。

为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本公开实施例所提供的一种姿态检测方法的结构流程图；

图2示出了本公开实施例所提供的一种姿态检测方法的流程图；

图3示出了本公开实施例所提供的一种可选的基于模型深度参数进行模型搜索的展示示意图；

图4示出了本公开实施例所提供的一种可选的基于卷积层通道数进行模型搜索的展示示意图；

图5示出了本公开实施例所提供的一种可选的基于卷积核大小参数进行模型搜索的展示示意图；

图6示出了本公开实施例所提供的一种可选的基于卷积层分组数量参数进行模型搜索的展示示意图；

图7示出了本公开实施例所提供的一种可选的基于注意力模块参数进行模型搜索的展示示意图；

图8示出了本公开实施例所提供的另一种姿态检测方法的结构流程图

图9示出了本公开实施例所提供的一种姿态检测装置的示意图；

图10示出了本公开实施例所提供的另一种姿态检测装置的示意图；

图11示出了本公开实施例所提供的一种电子设备的示意图；

图12示出了本公开实施例所提供的另一种电子设备的示意图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

本文中术语“和/或”，仅仅是描述一种关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。

经研究发现，全身姿态估计是计算机视觉的重要问题，在动作分析、增强现实等领域存在诸多应用场景。具体而言，进行全身关键点检测，可以提供更丰富的姿态数据，从而在实际使用中有更广的应用场景。

当前实现目标姿态估计问题效果较好的方案为：采用多分支的模型分尺度进行各个部分的关键点检测，如图1所示：

首先用一个肢体网络BodyNet，同时预测人体关键点，以及预测人脸框和人手框，然后利用人脸框和人手框裁剪特征提取网络FeatureNet中提取的图像特征，再用脸部分支网络FaceHead和手部分支网络HandHead根据裁剪得到的特征预测人脸关键点和人手关键点。

目前，一般选用现有的神经网络作为全身姿态估计模型。现有神经网络为了保证处理精度，网络结构较为复杂，从而导致现有的全身姿态估计网络的计算量较大，增加了全身姿态估计模型在终端设备的部署难度。

基于上述研究，本公开提供了一种姿态检测方法、装置、电子设备以及存储介质。在本公开实施例中，利用搜索参数，在模型搜索空间的多个网络模块中搜索满足计算资源约束条件的多组目标网络，并确定每组目标网络的网络连接信息。这里，每组目标网络包括多个子网络，多个子网络包含用于进行躯干姿态检测的第一子网络和用于进行局部肢体检测的第二子网络，目标网络的多个子网络为对所述多个网络模块进行结构调整之后得到；网络连接信息用于表征所述第一子网络输出的多层次特征中与所述第二子网络的输入数据相匹配的第一特征的属性信息。之后，可以基于每组目标网络和该组目标网络的网络连接信息确定目标姿态检测网络，用于对待处理图片进行姿态检测。

由此可以实现目标网络中第一子网络和第二子网络之间计算资源的自动分配，以得到结构更加简单的姿态检测网络，从而降低姿态检测网络的计算复杂度。通过搜索参数在模型搜索空间中搜索每个目标网络的网络连接信息，可以在第一子网络输出的多层次特征中确定与第二子网络的输入数据相匹配的第一特征的属性信息，从而提高姿态检测网络的网络处理精度。

为便于对本实施例进行理解，首先对本公开实施例所公开的一种姿态检测方法进行详细介绍，本公开实施例所提供的姿态检测方法的执行主体一般为具有一定计算能力的电子设备，该电子设备例如包括：终端设备或服务器或其它处理设备，终端设备可以为用户设备（User Equipment，UE）、移动设备、用户终端、终端、车载设备、可穿戴设备等。在一些可能的实现方式中，该姿态检测方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。

参见图2所示，为本公开实施例提供的一种姿态检测方法的流程图，所述方法包括步骤S201~S205，其中：

S201：获取模型搜索空间；所述模型搜索空间中包含多个具有连接关系的网络模块。

这里，模型搜索空间中的每个网络模块可以包含多个网络层，其中，每个网络层可以包含卷积层、池化层、归一化层、全连接层中的至少之一，本公开对此不做具体限定。

模型搜索空间中网络模块之间所包含的网络层的种类和/或数量不完全相同。例如，网络模块1中包含卷积层和池化层，网络模块2中包含卷积层和全连接层等。

在本公开实施例中，模型搜索空间中的每个网络模块可以输入对应的特征（例如，图像特征）。其中，模型搜索空间中每个网络模块所输出的特征尺度不相同，且模型搜索空间中依次连接的多个网络模块所输出特征的特征尺度可以按照预设规律进行变化，例如，多个网络模块所输出特征的特征尺度依次降低（或者增大）。

除此之外，模型搜索空间中依次连接的多个网络模块所输出特征的特征尺度可以不按照预设规律进行变化，本公开对此不做具体限定。

这里，模型搜索空间中多个网络模块之间的连接关系可以为串联连接关系，还可以为并联连接关系，还可以为串联连接和并联连接的混合连接关系，本公开对此不做具体限定，以能够实现为准。

S203：利用搜索参数，在所述模型搜索空间的多个网络模块中搜索满足计算资源约束条件的多组目标网络，并确定每组目标网络的网络连接信息；每组所述目标网络包括多个子网络，所述多个子网络包含用于进行躯干姿态检测的第一子网络和用于进行局部肢体检测的第二子网络，所述目标网络的多个子网络为对所述多个网络模块进行结构调整之后得到，所述网络连接信息用于表征所述第一子网络输出的多层次特征中与所述第二子网络的输入数据相匹配的第一特征的属性信息。

其中，第一特征的属性信息可以理解为第一特征信息的位置信息和/或尺寸信息，其中，位置信息可以理解为第一特征在第一子网络中的输出位置，例如，第一特征在第一子网络输出的多层次特征中的位置，尺寸信息可以理解为基于该第一特征确定的第二子网络的输入数据的数据尺寸。

这里，可以通过搜索参数对多个网络模块进行结构搜索，从而得到多组目标网络。其中，结构搜索可以理解为对多个网络模块中网络层的结构进行调整，从而得到满足计算资源约束条件的各个子网络，进而根据各个子网络确定多组目标网络。

通过搜索参数对多个网络模块进行结构搜索第一种可能的实施方式为：在不改变模型搜索空间中预先设定的网络模块的结构的前提下，在模型搜索空间中搜索出满足计算资源约束条件的子网络。

假设，模型搜索空间中包含串联连接的：网络模块1、网络模块2、网络模块3和网络模块4；假设，对该模型搜索空间进行搜索之后，得到满足计算资源约束条件的网络模块为：网络模块1、网络模块2和网络模块4。此时，可以将网络模块1、网络模块2和网络模块4之间依次串联之后得到一个子网络。

通过搜索参数对多个网络模块进行结构搜索的第二种可能的实施方式为：通过对模型搜索空间中预先设定的网络模块的结构进行修剪，从而实现在模型搜索空间中搜索出满足计算资源约束条件的目标网络。其中，对网络模块的结构进行修剪依据为上述搜索参数。

假设，模型搜索空间中包含串联连接的：网络模块1、网络模块2、网络模块3和网络模块4；假设，对该模型搜索空间进行搜索之后，得到满足计算资源约束条件的网络模块为：网络模块1’、网络模块2’、网络模块3’和网络模块4’，其中，网络模块1’为对网络模块1进行剪枝处理之后得到的模块，网络模块2’为对网络模块2进行剪枝处理之后得到的模块，网络模块3’为对网络模块3进行剪枝处理之后得到的模块，网络模块4’为对网络模块4进行剪枝处理之后得到的模块。此时，可以按照网络模块1、网络模块2、网络模块3和网络模块4之间的连接关系，将网络模块1’、网络模块2’、网络模块3’和网络模块4’进行串联连接，得到子网络。

除此之外，还可以结合上述所描述的第一种和第二种可能的实施方式搜索满足计算资源约束条件的目标网络。

在本公开实施例中，可以通过以下方式设置计算资源约束条件：

这里，可以模拟待搜索的目标姿态检测网络的部署环境，为待搜索的目标姿态检测网络设置任意计算资源约束条件，例如：网络中的浮点运算数（FLOPs），网络的运算时间（FPS），网络的参数量（Parameters）等。其中，浮点运算数（FLOPs）用于衡量网络的计算复杂度。

在本公开实施例中，搜索参数可以包括多种不同类型的搜索参数，每种类型的搜索参数中可以包含多个子参数。其中，搜索参数的类型与该搜索参数所对应的搜索内容相关联。

例如，搜索内容包含多个目标网络以及每个目标网络的网络连接信息。此时，搜索参数的类型可以包含第一类型和第二类型，其中，第一类型的搜索参数用于搜索多组目标网络，第二类型的搜索参数用于搜索每组目标网络的网络连接信息。第一子网络和第二子网络之间的网络连接信息用于表征第一子网络输出的多层次特征中与第二子网络的输入数据相匹配的第一特征的属性信息。

S205：基于每组所述目标网络和每组所述目标网络的网络连接信息确定目标姿态检测网络，其中，所述目标姿态检测网络用于对待处理图片进行姿态检测。

在本公开实施例中，在确定出每组目标网络，以及每组目标网络的网络连接信息之后，就可以根据网络连接信息对该组目标网络中的第一子网络和第二子网络进行连接，从而得到备选姿态检测网络，并在备选姿态检测模型中确定目标姿态检测网络。

这里，针对每组目标网络包含第一子网络和第二子网络，其中，第一子网络用于进行躯干姿态检测，第二子网络用于进行局部肢体的姿态检测，比如，进行手部关键点的检测和/或脸部关键点的检测。

在本公开实施例中，针对不同类型的局部肢体，均设置了对应的第二子网络，因此，第二子网络的数量可以为多个，每个第二子网络用于对一种类型的局部肢体进行姿态检测。例如，第二子网络可以包含用于对手部关键点进行检测的子网络和/或包含用于对脸部关键点进行检测的子网络。

上述实施方式中，通过搜索参数在模型搜索空间的多个网络模块中搜索满足计算资源约束条件的多组目标网络，可以实现第一子网络和第二子网络之间计算资源的自动分配，以得到结构更加简单的姿态检测网络，从而降低姿态检测网络的计算复杂度。通过搜索参数在模型搜索空间中搜索每个目标网络的网络连接信息，可以在第一子网络输出的多层次特征中确定与第二子网络的输入数据相匹配的第一特征的属性信息，从而提高姿态检测网络的网络处理精度。

下面将结合具体实施例对上述步骤进行详细介绍。

在一个可选的实施方式中，上述步骤S103：利用搜索参数，在所述模型搜索空间的多个网络模块中搜索满足计算资源约束条件的多组目标网络，并确定每组目标网络的网络连接信息，具体包括如下步骤：

步骤S2031，基于所述搜索参数中的结构搜索参数对所述多个网络模块进行结构搜索，得到所述多组目标网络；

步骤S2032，基于所述搜索参数中的特征搜索参数确定每组所述目标网络的第一子网络和该组目标网络的第二子网络之间的网络连接信息。

在本公开实施例中，搜索参数包括结构搜索参数（即，上述第一类型的搜索参数）和特征搜索参数（即，上述第二类型的搜索参数）。

具体实施时，可以基于结构搜索参数对多个网络模块中网络层的结构进行调整，从而得到满足计算资源约束条件的各个子网络，并根据各个子网络确定多组目标网络。还可以基于特征搜索参数确定该组目标网络中第一子网络和第二子网络之间的网络连接信息。

通过上述描述可知，第一子网络和第二子网络之间的网络连接信息用于表征第一子网络输出的多层次特征中与第二子网络的输入数据相匹配的第一特征的属性信息。这里，相匹配的第一特征可以理解为第一子网络输出的多层次特征中用于确定第二子网络的输入数据的特征。

在第二子网络的数量为多个的情况下，不同的第二子网络所检测的局部肢体的肢体类型不相同，因此，不同的第二子网络对于特征的尺度需求也不相同。基于此，在本公开实施例中，可以确定第一子网络输出的多层次特征中与各个第二子网络的输入数据相匹配的第一特征的属性信息。通过该处理方式，可以降低姿态检测网络的计算复杂度，保证姿态检测网络的处理精度。

这里，属性信息可以理解为位置信息和/或尺寸信息，其中，位置信息可以理解为第一特征在第一子网络中的输出位置，尺寸信息可以理解为基于该第一特征确定的第二子网络的输入数据的数据尺寸。

上述实施方式中，通过不同类型的搜索参数（例如，结构搜索参数和特征搜索参数）对目标网络和每组目标网络的网络连接参数进行搜索的方式，可以实现在降低姿态检测网络的计算复杂度，保证姿态检测网络的处理精度。

在一个可选的实施方式中，在每个网络模块中包含多个网络层的情况下，上述步骤S2031基于所述搜索参数中的结构搜索参数对所述多个网络模块进行结构搜索，得到所述多组目标网络，包括如下步骤：

步骤S11，基于所述结构搜索参数确定每个所述网络模块中各个网络层所执行的计算操作的执行方式；

步骤S12，通过所述执行方式对所述多个网络模块进行搜索，得到满足计算资源约束条件的所述多组目标网络。

在本公开实施例中，每个所述网络模块中可以包含多个网络层，每个网络层可以执行该网络层所对应的计算操作，例如，卷积计算操作，池化计算操作等。

具体实施时，可以基于结构搜索参数确定每个网络模块中各个网络层的执行方式，例如，该执行方式可以为：删除（或者舍弃）、修改、保持不变。这里，“修改”可以理解为对网络层的计算方式进行修改，其中，该计算方式的具体修改内容与结构搜索参数的具体参数内容相关联，具体将在下述实施方式中进行介绍。在确定出执行方式之后，就可以基于该执行方式对多个网络模块进行搜索，得到满足计算资源约束条件的所述多组目标网络。

这里，结构搜索参数可以包括以下至少之一：模块深度参数、卷积层参数（包括卷积层通道数、卷积核大小参数、卷积层分组参数）、注意力模块参数和输入数据的分辨率。

模型深度参数用于表征执行搜索任务网络模块的模块数量。卷积层参数用于表征以下至少之一：执行所述搜索任务网络模块输出特征的卷积层通道数、执行所述搜索任务卷积层的卷积核大小、执行所述搜索任务卷积层分组数量。注意力模块参数用于指示是否使用每个网络模块中预先设置的注意力模块。输入数据的分辨率用于指示第一子网络和第二子网络的输入数据的分辨率。

针对每个结构搜索参数，可以为一个具体的参数数值，还可以为一个参数范围，本公开对此不做具体限定。

下面将具体介绍每个结构搜索参数的具体搜索方式。

参数一：模型深度参数，下面结合图3对模型深度参数进行介绍。

如图3所示的为一种可选的基于模型深度参数进行模型搜索的展示示意图。

通过上述描述可知，在模型搜索空间中包含多个串联连接的网络模块。如图3所示的任意一个网络模块的展示示意图。从图3中可以看出，在该网络模块中包含网络层1（block1）、网络层2（block2）、网络层3（block3）和网络层4（block4），以及输出层。

从图3中可以看出，当模型深度参数=2时，表示通过网络层1（block1）和网络层2（block2）对输入数据进行数据，并跳过网络层3（block3）和网络层4（block4），直接将网络层2处理之后的数据输入至输出层。

当模型深度参数=4时，表示通过网络层1（block1）至网络层4（block4）对输入数据进行数据，并将网络层4处理之后的数据输入至输出层。

通过上述描述可知，本公开所提供的技术方案可以根据模型深度参数在网络模块中搜索指定数量的网络层进行处理。比如，搜索前N个网络层对输入数据进行处理，对于该网络层中的其他网络层，则不对该输入数据进行任何的数据处理，也即，直接跳过该其他网络层。

参数二：卷积层参数。

卷积层参数用于表征以下至少之一：执行所述搜索任务网络层输出特征的卷积层通道数、执行所述搜索任务卷积层的卷积核大小、执行所述搜索任务卷积层分组数量。

针对上述所描述卷积层参数，卷积层参数可以包含以下至少之一：卷积层通道数、卷积核大小参数、卷积层分组数量参数。

如图4所示的任意一个网络模块中基于卷积层通道数进行模型搜索的展示示意图。从图4中可以看出，在未设置卷积层通道数的情况下，3通道的输入数据经过大小为I*O*K*K的卷积核进行计算之后，可以得到4通道的输出数据，其中，I=3，O=4，K=3。

从图4中可以看出，在设置了卷积层通道数之后，就可以在网络层所输出数据的全部特征通道中选择指定数量的特征通道，从而减少输入数据的宽度，以实现减少神经网络模型的计算量，比如，选择输出数据中的前N个特征通道的数据作为该网络层的输出数据。

例如，卷积层通道数=2，此时，如图4所示，可以在4特征通道的特征数据中选择前2个特征通道的数据作为该网络层的输出数据。

在本公开实施例中，卷积核大小参数用于表征执行搜索任务卷积层的卷积核大小。

如图5所示的一种可选的基于卷积核大小参数进行模型搜索的展示示意图。在网络模块的卷积层中，初始卷积核的大小可以为4*4，在设定该卷积核大小参数之后，可以按照卷积核大小参数在该初始卷积核中选择2*2大小的卷积核作为该卷积层的卷积核。

在本公开实施例中，如图5所示，可以在初始卷积核的中间位置选择2*2大小的卷积核。除此之外，还可以在初始卷积核中的选择其他大小的卷积核，本公开对此不作具体限定。

按照上述所描述方式，本公开技术方案可以实现在最大的初始卷积核中保留K*K大小的卷积核来实现卷积核大小的改变，其中，K为卷积核的尺寸。

在本公开实施例中，卷积层分组数量参数用于表征执行搜索任务卷积层的分组数量。这里，卷积层分组是指将输入数据拆分为多组子数据，进而，对每组子数据分别进行卷积计算。

如图6中“分组前”所示的卷积计算可知，输入数据为4通道的特征数据，输出数据为2通道的特征数据，此时，要求卷积核的数量为2个，且每个卷积核的大小为4*K*K。

也就是说，假设，输入数据的通道数量为Cin，输出数据的通道数量为Cout，此时，卷积核的数量为Cout个，且每个卷积核大小为Cin*K*K，此时卷积层中卷积核的大小为：Cout*Cin*K*K。

基于此，假设，如图6中“分组后”所示，卷积层分组数量参数=2，表示将输入数据拆分成2组子数据，每组子数据为2通道的特征数据，相应的每组子数据所对应的输出数据为1通道的特征数据。针对2通道的子数据，所对应的卷积核的大小为1*2*K*K（或者，(Cout/2)*(Cin/2) *K*K）。

上述实施方式中，通过对卷积层进行分组，可以减少卷积计算的参数量，从而简化神经网络模型的计算流程，加快神经网络模型的计算效率。

参数三：注意力模块参数。

这里，注意力模块参数用于指示是否使用为网络模块的各个网络层中预先设置的注意力模块。

在本公开实施例中，可以通过注意力模块参数确定针对每个网络模块中的每个网络层是否需要设置注意力模块。如图7所示，当需要使用注意力模块时，每个网络层的输出数据经过相应的注意力模块之后，输入至下一个网络模块（或者，该网络模块的下一个网络层）进行处理；当不需要使用注意力模块，直接跳过该注意力模块。

参数四：输入数据的分辨率。

这里，输入数据的分辨率用于指示第一子网络和第二子网络的输入数据的分辨率。

在本公开实施例中，可以预先设定多个分辨率，进而在多个分辨率中确定第一子网络和第二子网络的输入数据的分辨率。其中，可以为第一子网络和第二子网络设置不同的分辨率，还可以设置相同分辨率，本公开对此不做具体限定。

上述实施例中，通过设置模型深度参数、卷积层参数、注意力模块参数和输入数据的分辨率，可以在模型搜索空间中扩大神经网络模型的搜索空间，从而搜索出处理精度满足要求的轻量级神经网络模型。

在一个可选的实施方式中，上述步骤S2032：基于所述搜索参数中的特征搜索参数确定每组所述目标网络的第一子网络和该组目标网络的第二子网络之间的网络连接信息，具体包括如下步骤：

步骤S21：基于所述特征搜索参数在每组所述目标网络的第一子网络中确定第一特征的特征输出位置；

步骤S22：确定在所述第一特征中感兴趣区域的区域尺寸；其中，所述感兴趣区域为进行特征截取的特征截取区域，所述感兴趣区域中所包含肢体的肢体类型与所述第二子网络所检测的局部肢体的肢体类型匹配；

步骤S23：基于所述特征输出位置和所述感兴趣区域的区域尺寸，确定每组所述目标网络的第一子网络和该组目标网络的第二子网络之间的网络连接信息。

在本公开实施例中，特征搜索参数中可以包含位置参数和尺寸参数。针对每个特征搜索参数，可以为一个具体的参数数值，还可以为一个参数范围，本公开对此不做具体限定。

特征搜索参数中的位置参数用于在每组目标网络的第一子网络中确定第一特征的特征输出位置。例如，该特征输出位置可以为第一子网络中输出该第一特征的网络模块的位置，其中，第一子网络中的网络模块可以理解为基于结构搜索参数对模型搜索空间中的多个网络模块进行结构搜索之后的网络模块。

在确定出特征输出位置之后，就可以根据第一子网络所输出的检测框在第一特征中确定感兴趣区域，也即待进行特征截取的特征截取区域，并基于该特征搜索参数中的尺寸参数，确定该感兴趣区域的区域尺寸。

具体实施时，可以确定第二子网络所检测的局部肢体的肢体类型，并在第一子网络中确定与该肢体类型相匹配的检测框，并基于该检测框在第一特征中确定感兴趣区域。

在确定出特征输出位置和感兴趣区域的区域尺寸之后，就可以将该特征输出位置和区域尺寸作为对应组目标网络中第一子网络和该组目标网络的第二子网络之间的网络连接信息。

上述实施方式中，通过特征搜索参数在模型搜索空间中搜索每个目标网络的网络连接信息，可以在第一子网络输出的多层次特征中确定与第二子网络的输入数据相匹配的第一特征的属性信息，从而提高姿态检测网络的网络处理精度。

在一个可选的实施方式中，上述步骤S203：利用搜索参数，在所述模型搜索空间的多个网络模块中搜索满足计算资源约束条件的多组目标网络，具体还包括如下步骤：

步骤S31：获取多组搜索参数，其中，一组搜索参数用于搜索该组目标网络中的一个子网络；

步骤S32：基于每组所述搜索参数在所述模型搜索空间的多个网络模块中进行并行搜索，得到所述多组目标网络。

在本公开实施例中，步骤S31中所获取的多组搜索参数的组数与每组目标网络中所包含子网络的数量相同。也即，针对每组目标网络中每个子网络（即，第一子网络和第二子网络）均预先设置了一组对应的搜索参数。

在此情况下，就可以基于每个子网络的搜索参数在模型搜索空间的多个网络模块中进行并行搜索，从而得到多组目标网络和每组目标网络的网络连接信息，具体搜索过程描述如下：

假设，每组目标网络包含一个第一子网络和两个第二子网络；其中，针对第一子网络设置了一组对应的搜索参数a，针对两个第二子网络分别设置了一组对应的搜索参数b1和一组对应的搜索参数b2。

此时，可以基于搜索参数a、搜索参数b1和搜索参数b2在搜索模型空间中分别搜索得到第一子网络A1，第二子网络B11和第二子网络B12，其中，第一子网络A1，第二子网络B11和第二子网络B12就可以作为一组目标网络。然后，还可以基于搜索参数a、搜索参数b1和搜索参数b2在搜索模型空间中再次搜索得到第一子网络A2，第二子网络B21和第二子网络B22，其中，第一子网络A2，第二子网络B21和第二子网络B22就可以作为另一组目标网络。

上述实施方式中，通过为每个第一子网络和每个第二子网络分别设置对应的搜索参数，以根据对应的搜索参数在模型搜索空间中进行搜索的方式，可以得到满足计算资源约束条件的结构更加简单的姿态检测网络，从而降低姿态检测网络的计算复杂度。

在一个可选的实施方式中，在上述图2所描述实施例的基础上，该方法还包括：

确定各个所述网络模块的模块类型，其中，所述模块类型与该网络模块中网络层所执行的计算操作的操作类型相关联；并基于各个所述网络模块的模块类型，确定所述搜索参数。

在本公开实施例中，由于模型搜索空间中不同网络模块所包含的网络层的类型和结构不完全相同，因此，不同网络模块的模块类型不相同。此时，可以基于每个网络模块中网络层所执行的计算操作的操作类型确定该网络模块的模块类型。例如，该网络模块的模块类型为包含卷积操作的网络模块，又例如，该网络模块的模块类型为不包含卷积操作的网络模块。

在确定出网络模块的模块类型之后，就可以基于该模块类型确定上述搜索参数，例如，确定上述搜索参数中的结构搜索参数。

具体实施时，针对每个网络模块，可以根据该网络模块的模块类型确定对该网络模块进行结构搜索的子结构搜索参数。例如，为网络模块1确定的子结构搜索参数中包含卷积层参数，为网络模块2确定的子结构搜索参数中不包含卷积层参数。

在得到对每个网络模块进行结构搜索的子结构搜索参数之后，就可以将全部网络模块的子结构搜索参数进行汇总，得到上述搜索参数中的结构搜索参数。

上述实施方式中，通过基于模块类型确定搜索参数中的结构搜索参数，并根据该结构搜索参数对网络模块进行结构搜索的方式，可以提高目标的搜索效率，缩短搜索时间，提高搜索精度。

在一个可选的实施方式中，上述步骤S105：基于每组所述目标网络和每组所述目标网络的网络连接信息确定目标姿态检测网络，具体包括如下步骤：

步骤S1051：按照每组所述目标网络的网络连接信息，对该组目标网络中的第一子网络和第二子网络进行连接，得到多个备选姿态检测网络；

步骤S1052：通过测试样本对每个所述备选姿态检测网络进行测试，得到测试结果；

步骤S1053：通过所述测试结果中满足预测测试精度的备选姿态检测网络确定所述目标姿态检测网络。

在本公开实施例中，在搜索出满足计算资源约束条件的多组目标网络和每组目标网络的网络连接信息之后，可以基于搜索到的每组目标网络和该组目标网络的网络连接信息确定多个备选姿态检测网络，并在多个备选姿态检测网络中确定目标姿态检测网络。

具体地，可以获取预测测试集，然后，模拟待搜索的神经网络模型的部署环境，通过每个备选姿态检测网络对预设测试集中的每个测试样本进行处理，得到相应的测试结果，其中，每个备选姿态检测网络对应一个测试结果。

在至少一个测试结果中确定满足测试条件的目标测试结果可以包含以下几种实现方式：

实现方式一：

这里，可以在多个测试结果中选择最优测试结果所对应的备选姿态检测网络作为该目标姿态检测网络。

实现方式二：

这里，可以在多个测试结果中选择大于预设测试阈值的测试结果；然后，确定所选择出的测试结果所对应的备选姿态检测网络，并确定各个备选姿态检测网络的模型结构的复杂度。然后，为复杂度和测试结果设置对应的权重值，并对复杂度和测试结果进行加权求和，从而根据加权求和结果确定目标姿态检测网络，例如，可以将最大加权求和结果所对应的备选姿态检测网络确定为目标姿态检测网络。

上述实施方式中，通过预设测试集对筛选出的满足计算资源约束条件的多个备选姿态检测网络进行测试的方式，可以得到处理精度最优的备选姿态检测网络，从而可以在保证姿态检测网络的处理精度的同时，选择出满足实时性要求较高的实际应用的姿态检测网络。

在一个可选的实施方式中，该方法还包括如下步骤：

（1）、在检测到所述计算资源约束条件的更新信息的情况下，获取满足所述新计算资源约束条件的新目标姿态检测网络；

（2）、通过所述新目标姿态检测网络对待处理图片进行姿态检测。

在本公开实施例中，可以实时检测目标姿态检测网络的部署环境的剩余计算资源，在剩余计算资源无法满足该目标姿态检测网络计算需求的情况下，可以更新计算资源约束条件。

在检测到该计算资源约束条件的更新信息的情况下，就可以确定满足所述新计算资源约束条件的多组新目标网络和每组新目标网络的网络连接信息，具体确定过程描述如下：

方式一：重新搜索。

通过搜索参数在所述模型搜索空间的多个网络模块中搜索满足所述新计算资源约束条件的多组新目标网络和每组新目标网络的网络连接信息；并基于所述多组新目标网络和所述新目标网络的网络连接信息确定新目标姿态检测网络，并通过所述新目标姿态检测网络对待处理图片进行姿态检测。

具体实施时，电子设备可以向服务器发送重新搜索的请求，从而请求服务器搜索得到多组新目标网络和每组新目标网络的网络连接信息，并基于所述多组新目标网络和所述新目标网络的网络连接信息确定新目标姿态检测网络，并通过所述新目标姿态检测网络对待处理图片进行姿态检测。服务器在搜索结束之后，可以向电子设备下发新目标姿态检测网络。

方式二：间接查表搜索。

在本公开实施例中，可以预先设定一个关联表格，该关联表格中包含各个计算资源约束条件和对应的目标网络之间的对应关系。

此时，就可以基于新计算资源约束条件在网络库中确定满足所述新计算资源约束条件的多组新目标网络和每组新目标网络的网络连接信息，并基于所述多组新目标网络和所述新目标网络的网络连接信息确定新目标姿态检测网络，并通过所述新目标姿态检测网络对待处理图片进行姿态检测。

方式三：直接查表搜索。

在本公开实施例中，可以预先设定一个关联表格，该关联表格中包含各个计算资源约束条件和对应的目标姿态检测网络之间的对应关系。

此时，就可以基于新计算资源约束条件在网络库中确定满足所述新计算资源约束条件的新目标姿态检测网络，并通过所述新目标姿态检测网络对待处理图片进行姿态检测。

上述实施方式中，通过获取新目标姿态检测网络，可以实现目标姿态检测网络的动态更新，从而保证目标姿态检测网络的正常稳定运行。

下面将介绍上述模型搜索空间的获取过程：

（1）、获取训练样本集，其中，所述训练样本集中包含多个训练样本；

（2）、在所述待训练的超网络中为每个训练样本抽取至少一个子网络模型；

（3）、基于所述训练样本集中的多个训练样本对抽取到的所述至少一个子网络模型进行训练，训练之后得到模型搜索空间。

针对训练样本集中的每个训练样本，根据上述所描述的多个搜索维度，在超网络中抽取了N个子网络模型，分别为：待训练的超网络中结构最大的子网络模型，待训练的超网络中结构最小的子网络模型，以及N-2个随机抽取的子网络模型。

接下来，就可以基于训练样本集对抽取到的N个子网络模型进行训练，得到模型搜索空间。

在本公开实施例中，每个训练样本所对应的样本标签为所述至少一个子网络模型中结构最大的子网络模型对该训练样本的预测结果。

这里，在通过每个训练样本对抽取到的每个子网络模型进行训练时，可以使用结构最大的子网络模型对该训练样本的预测结果作为其他子网络模型的训练标签，以对其他子网络模型进行监督训练。通过这样的训练方式，使得每个子网都有良好的全身人体姿态预测能力。

待训练的超网络训练完成后，就可以在给定计算资源限制下采样得到多组目标网络，并在测试集对每组目标网络进行测试。不同于对于每组目标网络中的每个子网络BodyNet/FaceHead/HandHead设定计算资源限制，本公开实施例针对每组目标网络设置总的计算资源约束条件，而每一个子网络的计算资源约束条件可在搜索过程中自由选择；最终选择一个效果最好的全身人体姿态估计网络（包括BodyNet/FaceHead/HandHead），从而实现计算资源在子网络间的自动分配。

上述实施方式中，通过随机抽取至少一个子网络模型，并对抽取到的每个子网络模型进行训练的方式，可以实现通过对超网络的一次训练过程得到满足不同计算资源约束条件的子网络模型，从而使得该超网络能够适应更为广泛的应用场景，从而减少了网络结构搜索的开销。

参见图8所示，为本公开实施例提供的一种姿态检测方法的流程图，所述方法包括步骤S801~S805，其中：

步骤S801：获取待处理图片，并通过目标姿态检测网络中的第一子网络对所述待处理图片中的目标对象进行躯干姿态检测，得到躯干姿态检测结果，所述躯干姿态检测结果包括：局部肢体部位的肢体检测框和躯干关键点，所述目标姿态检测网络为通过上述实施例中任一项所述的方法确定的。

这里，目标姿态检测网络为通过上述图2至图7所对应的实施例确定的姿态检测网络。目标姿态检测网络中的第一子网络为用于进行躯干姿态检测的网络模型。局部肢体部位的数量可以至少为一个，例如，手部和/或脸部；躯干关键点可以为目标对象的躯干部位的关键点，例如，目标对象的上肢部位和下肢部位的关键点，其中，躯干关键点的数量可以为用户预先设定好的数量，本公开对此不做具体限定。

步骤S803：通过所述目标姿态检测网络中的第二子网络利用所述肢体检测框对所述第一子网络的输出特征中与所述第二子网络相匹配的输出特征进行处理，得到局部肢体关键点。

这里，目标姿态检测网络中的第二子网络用于进行局部肢体的姿态检测，比如，进行手部关键点的检测和/或脸部关键点的检测。

具体实施时，可以通过肢体检测框在上述相匹配的输出特征中截取对应的特征位置作为局部肢体特征，此时第二子网络就可以对局部肢体特征进行处理，从而得到局部肢体关键点。

步骤S805：基于所述躯干关键点和所述局部肢体关键点确定所述待处理图片的姿态检测结果。

假设，局部肢体部位包括手部和脸部，目标姿态检测网络中包含用于进行躯干姿态检测的第一子网络BodyNet，以及用于对手部进行姿态检测的第二子网络HandHead，以及用于对脸部进行姿态检测的第二子网络FaceHead。

在本公开实施例中，首先通过第一子网络BodyNet对所述待处理图片中的目标对象进行躯干姿态检测，得到手部检测框，脸部检测框和躯干关键点。之后，可以通过第二子网络HandHead利用手部检测框对第一子网络BodyNet的输出特征进行处理，得到手部关键点，并通过第二子网络FaceHead利用脸部检测框对第一子网络BodyNet的输出特征进行处理，得到脸部关键点。最后，就可以基于脸部关键点、手部关键点和躯干关键点确定所述待处理图片的姿态检测结果。

在本公开实施例中的目标姿态检测网络为通过上述图2所描述的姿态检测方法确定的网络。因此，本公开实施例中所描述的目标姿态检测网络的网络结构更加简单，在通过目标姿态检测网络对待处理图片进行姿态检测时，就可以简化数据处理的过程，从而提高姿态检测的效率，进而能够满足实时性要求较高的场景。通过第二子网络利用肢体检测框对第一子网络的输出的与第二子网络相匹配的输出特征进行处理，可以提高姿态检测网络的网络处理精度，从而得到更加准确的姿态检测结果。

在一个可选的实施方式中，上述步骤S803通过所述目标姿态检测网络中的第二子网络利用所述肢体检测框对所述第一子网络的输出特征中与所述第二子网络相匹配的输出特征进行处理，得到局部肢体关键点，包括：

步骤S8031：在所述第一子网络输出的多层次特征中确定与所述第二子网络相匹配的第二特征，并基于所述肢体检测框在所述第二特征中截取局部肢体特征；

步骤S8032：通过所述第二子网络对所述局部肢体特征进行处理，得到局部肢体关键点。

具体实施时，可以基于第一子网络和第二子网络之间的网络连接信息确定第二特征，比如，可以将第一子网络中与第二子网络相连接的网络模块所输出的特征作为第二特征。

承接上例，可以确定第一子网络BodyNet中的第二特征P和第二特征Q，并基于手部检测框在第二特征P中截取对应的手部特征（即，局部肢体特征），以及基于脸部检测框在第二特征Q中截取对应的脸部特征（即，局部肢体特征），其中，第二特征P和第二特征Q可以相同，或者不同。

之后，就可以将手部特征输入至第二子网络HandHead中进行处理，得到脸部关键点，并将脸部特征输入至第二子网络FaceHead中进行处理，得到手部关键点。

在本公开实施例中，在基于所述肢体检测框在所述第二特征中截取局部肢体特征时，还可以按照预设区域尺寸对所述肢体检测框进行缩放处理，并基于缩放处理之后的肢体检测框在所述第二特征中截取局部肢体特征。

具体实施时，可以按照预设区域尺寸X对脸部检测框进行缩放处理，并基于缩放处理之后的脸部检测框在所述第二特征Q中截取脸部特征；还可以按照预设区域尺寸Y对手部检测框进行缩放处理，并基于缩放处理之后的手部检测框在所述第二特征P中截取手部特征。其中，预设区域尺寸X和预设区域尺寸Y可以相同，或者不同。

上述实施方式中，通过对肢体检测框进行缩放处理，可以得到更加准确的局部肢体特征，从而进一步提高姿态检测的准确度。

本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

基于同一发明构思，本公开实施例中还提供了与姿态检测方法对应的姿态检测装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述姿态检测方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。

参照图9所示，为本公开实施例提供的一种姿态检测装置的示意图，所述装置包括：第一获取单元10、搜索单元20、确定单元30；其中，

第一获取单元10，用于获取模型搜索空间；所述模型搜索空间中包含多个具有连接关系的网络模块；

搜索单元20，用于利用搜索参数，在所述模型搜索空间的多个网络模块中搜索满足计算资源约束条件的多组目标网络，并确定每组目标网络的网络连接信息；每组所述目标网络包括多个子网络，所述多个子网络包含用于进行躯干姿态检测的第一子网络和用于进行局部肢体检测的第二子网络，所述目标网络的多个子网络为对所述多个网络模块进行结构调整之后得到，所述网络连接信息用于表征所述第一子网络输出的多层次特征中与所述第二子网络的输入数据相匹配的第一特征的属性信息；

第一确定单元30，用于基于每组所述目标网络和每组所述目标网络的网络连接信息确定目标姿态检测网络，其中，所述目标姿态检测网络用于对待处理图片进行姿态检测。

一种可能的实施方式中，搜索单元，还用于：基于所述搜索参数中的结构搜索参数对所述多个网络模块进行结构搜索，得到所述多组目标网络；基于所述搜索参数中的特征搜索参数确定每组所述目标网络的第一子网络和该组目标网络的第二子网络之间的网络连接信息。

一种可能的实施方式中，搜索单元，还用于：基于所述结构搜索参数确定每个所述网络模块中各个网络层所执行的计算操作的执行方式；通过所述执行方式对所述多个网络模块进行搜索，得到满足计算资源约束条件的所述多组目标网络。

一种可能的实施方式中，搜索单元，还用于：基于所述特征搜索参数在每组所述目标网络的第一子网络中确定第一特征的特征输出位置；确定在所述第一特征中感兴趣区域的区域尺寸；其中，所述感兴趣区域为进行特征截取的特征截取区域，所述感兴趣区域中所包含肢体的肢体类型与所述第二子网络所检测的局部肢体的肢体类型匹配；基于所述特征输出位置和所述感兴趣区域的区域尺寸，确定每组所述目标网络的第一子网络和该组目标网络的第二子网络之间的网络连接信息。

一种可能的实施方式中，所述结构搜索参数包括以下至少之一：模块深度参数、卷积层通道数、卷积核大小参数、卷积层分组数量参数、注意力模块参数和输入数据的分辨率。

一种可能的实施方式中，搜索单元，还用于：获取多组搜索参数，其中，一组搜索参数用于搜索该组目标网络中的一个子网络；基于每组所述搜索参数在所述模型搜索空间的多个网络模块中进行并行搜索，得到所述多组目标网络。

一种可能的实施方式中，该装置，还用于：确定各个所述网络模块的模块类型，其中，所述模块类型与该网络模块中网络层所执行的计算操作的操作类型相关联；基于各个所述网络模块的模块类型，确定所述搜索参数。

一种可能的实施方式中，确定单元，还用于：按照每组所述目标网络的网络连接信息，对该组目标网络中的第一子网络和第二子网络进行连接，得到多个备选姿态检测网络；通过测试样本对每个所述备选姿态检测网络进行测试，得到测试结果；通过所述测试结果中满足预测测试精度的备选姿态检测网络确定所述目标姿态检测网络。

一种可能的实施方式中，该装置，还用于：在检测到所述计算资源约束条件的更新信息的情况下，获取满足新计算资源约束条件的新目标姿态检测网络；其中，所述新目标姿态检测网络用于对待处理图片进行姿态检测。

参照图10所示，为本公开实施例提供的另一种姿态检测装置的示意图，所述装置包括：第二获取单元40、特征处理单元50、第二确定单元60；其中，

第二获取单元40，用于获取待处理图片，并通过目标姿态检测网络中的第一子网络对所述待处理图片中的目标对象进行躯干姿态检测，得到躯干姿态检测结果，所述躯干姿态检测结果包括：局部肢体部位的肢体检测框和躯干关键点，所述目标姿态检测网络为通过上述图2至图7中任一实施例所述的姿态检测方法确定的；

特征处理单元50，用于通过所述目标姿态检测网络中的第二子网络利用所述肢体检测框对所述第一子网络的输出特征中与所述第二子网络相匹配的输出特征进行处理，得到局部肢体关键点；

第二确定单元60，用于基于所述躯干关键点和所述局部肢体关键点确定所述待处理图片的姿态检测结果。

一种可能的实施方式中，特征处理单元50，还用于：在所述第一子网络输出的多层次特征中确定与所述第二子网络相匹配的第二特征，并基于所述肢体检测框在所述第二特征中截取局部肢体特征；通过所述第二子网络对所述局部肢体特征进行处理，得到局部肢体关键点。

一种可能的实施方式中，第二确定单元，还用于：按照预设区域尺寸对所述肢体检测框进行缩放处理，并基于缩放处理之后的肢体检测框在所述第二特征中截取局部肢体特征。

关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。

对应于图2中的姿态检测方法，本公开实施例还提供了一种电子设备1100，如图11所示，为本公开实施例提供的电子设备1100结构示意图，包括：

处理器111、存储器112、和总线113；存储器112用于存储执行指令，包括内存1121和外部存储器1122；这里的内存1121也称内存储器，用于暂时存放处理器111中的运算数据，以及与硬盘等外部存储器1122交换的数据，处理器111通过内存1121与外部存储器1122进行数据交换，当所述电子设备1100运行时，所述处理器111与所述存储器112之间通过总线113通信，使得所述处理器111执行以下指令：

获取模型搜索空间；所述模型搜索空间中包含多个具有连接关系的网络模块；

利用搜索参数，在所述模型搜索空间的多个网络模块中搜索满足计算资源约束条件的多组目标网络，并确定每组目标网络的网络连接信息；每组所述目标网络包括多个子网络，所述多个子网络包含用于进行躯干姿态检测的第一子网络和用于进行局部肢体检测的第二子网络，所述目标网络的多个子网络为对所述多个网络模块进行结构调整之后得到，所述网络连接信息用于表征所述第一子网络输出的多层次特征中与所述第二子网络的输入数据相匹配的第一特征的属性信息；

基于每组所述目标网络和每组所述目标网络的网络连接信息确定目标姿态检测网络，其中，所述目标姿态检测网络用于对待处理图片进行姿态检测。

对应于图8中的姿态检测方法，本公开实施例还提供了另一种电子设备1200，如图12所示，为本公开实施例提供的电子设备1200结构示意图，包括：

处理器121、存储器122、和总线123；存储器122用于存储执行指令，包括内存1221和外部存储器1222；这里的内存1221也称内存储器，用于暂时存放处理器121中的运算数据，以及与硬盘等外部存储器1222交换的数据，处理器121通过内存1221与外部存储器1222进行数据交换，当所述电子设备1200运行时，所述处理器121与所述存储器122之间通过总线123通信，使得所述处理器121执行以下指令：

获取待处理图片，并通过目标姿态检测网络中的第一子网络对所述待处理图片中的目标对象进行躯干姿态检测，得到躯干姿态检测结果，所述躯干姿态检测结果包括：局部肢体部位的肢体检测框和躯干关键点，所述目标姿态检测网络为通过上述权利要求1至9中任一项所述的方法确定的；

通过所述目标姿态检测网络中的第二子网络利用所述肢体检测框对所述第一子网络的输出特征中与所述第二子网络相匹配的输出特征进行处理，得到局部肢体关键点；

基于所述躯干关键点和所述局部肢体关键点确定所述待处理图片的姿态检测结果。

本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的姿态检测方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。

本公开实施例还提供一种计算机程序产品，该计算机程序产品承载有程序代码，所述程序代码包括的指令可用于执行上述方法实施例中所述的姿态检测方法的步骤，具体可参见上述方法实施例，在此不再赘述。

其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包（Software Development Kit，SDK）等等。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台电子设备（可以是个人计算机，服务器，或者网络设备等）执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（Read-OnlyMemory，ROM）、随机存取存储器（Random Access Memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。

Claims (16)

1.一种姿态检测方法，其特征在于，包括：

获取模型搜索空间；所述模型搜索空间中包含多个具有连接关系的网络模块；

利用搜索参数，在所述模型搜索空间的多个网络模块中搜索满足计算资源约束条件的多组目标网络，并确定每组目标网络的网络连接信息；每组所述目标网络包括多个子网络，所述多个子网络包含用于进行躯干姿态检测的第一子网络和用于进行局部肢体检测的第二子网络，所述目标网络的多个子网络为对所述多个网络模块进行结构调整之后得到，所述网络连接信息用于表征所述第一子网络输出的多层次特征中与所述第二子网络的输入数据相匹配的第一特征的属性信息；

基于每组所述目标网络和每组所述目标网络的网络连接信息确定目标姿态检测网络，其中，所述目标姿态检测网络用于对待处理图片进行姿态检测。

2.根据权利要求1所述的方法，其特征在于，所述利用搜索参数，在所述模型搜索空间的多个网络模块中搜索满足计算资源约束条件的多组目标网络，并确定每组目标网络的网络连接信息，包括：

基于所述搜索参数中的结构搜索参数对所述多个网络模块进行结构搜索，得到所述多组目标网络；

基于所述搜索参数中的特征搜索参数确定每组所述目标网络的第一子网络和该组目标网络的第二子网络之间的网络连接信息。

3.根据权利要求2所述的方法，其特征在于，每个所述网络模块中包含多个网络层；所述基于所述搜索参数中的结构搜索参数对所述多个网络模块进行结构搜索，得到所述多组目标网络，包括：

基于所述结构搜索参数确定每个所述网络模块中各个网络层所执行的计算操作的执行方式；

通过所述执行方式对所述多个网络模块进行搜索，得到满足计算资源约束条件的所述多组目标网络。

4.根据权利要求2所述的方法，其特征在于，所述基于所述搜索参数中的特征搜索参数确定每组所述目标网络的第一子网络和该组目标网络的第二子网络之间的网络连接信息，包括：

基于所述特征搜索参数在每组所述目标网络的第一子网络中确定第一特征的特征输出位置；

确定在所述第一特征中感兴趣区域的区域尺寸；其中，所述感兴趣区域为进行特征截取的特征截取区域，所述感兴趣区域中所包含肢体的肢体类型与所述第二子网络所检测的局部肢体的肢体类型匹配；

基于所述特征输出位置和所述感兴趣区域的区域尺寸，确定每组所述目标网络的第一子网络和该组目标网络的第二子网络之间的网络连接信息。

5.根据权利要求2所述的方法，其特征在于，所述结构搜索参数包括以下至少之一：模块深度参数、卷积层通道数、卷积核大小参数、卷积层分组数量参数、注意力模块参数和输入数据的分辨率。

6.根据权利要求1所述的方法，其特征在于，所述利用搜索参数，在所述模型搜索空间的多个网络模块中搜索满足计算资源约束条件的多组目标网络，包括：

获取多组搜索参数，其中，一组搜索参数用于搜索该组目标网络中的一个子网络；

基于每组所述搜索参数在所述模型搜索空间的多个网络模块中进行并行搜索，得到所述多组目标网络。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

确定各个所述网络模块的模块类型，其中，所述模块类型与该网络模块中网络层所执行的计算操作的操作类型相关联；

基于各个所述网络模块的模块类型，确定所述搜索参数。

8.根据权利要求1所述的方法，其特征在于，所述基于每组所述目标网络和每组所述目标网络的网络连接信息确定目标姿态检测网络，包括：

按照每组所述目标网络的网络连接信息，对该组目标网络中的第一子网络和第二子网络进行连接，得到多个备选姿态检测网络；

通过测试样本对每个所述备选姿态检测网络进行测试，得到测试结果；

通过所述测试结果中满足预测测试精度的备选姿态检测网络确定所述目标姿态检测网络。

9.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在检测到所述计算资源约束条件的更新信息的情况下，获取满足新计算资源约束条件的新目标姿态检测网络；其中，所述新目标姿态检测网络用于对待处理图片进行姿态检测。

10.一种姿态检测方法，其特征在于，包括：

获取待处理图片，并通过目标姿态检测网络中的第一子网络对所述待处理图片中的目标对象进行躯干姿态检测，得到躯干姿态检测结果，所述躯干姿态检测结果包括：局部肢体部位的肢体检测框和躯干关键点；

通过所述目标姿态检测网络中的第二子网络利用所述肢体检测框对所述第一子网络的输出特征中与所述第二子网络相匹配的输出特征进行处理，得到局部肢体关键点；

基于所述躯干关键点和所述局部肢体关键点确定所述待处理图片的姿态检测结果。

11.根据权利要求10所述的方法，其特征在于，所述通过所述目标姿态检测网络中的第二子网络利用所述肢体检测框对所述第一子网络的输出特征中与所述第二子网络相匹配的输出特征进行处理，得到局部肢体关键点，包括：

在所述第一子网络输出的多层次特征中确定与所述第二子网络相匹配的第二特征，并基于所述肢体检测框在所述第二特征中截取局部肢体特征；

通过所述第二子网络对所述局部肢体特征进行处理，得到局部肢体关键点。

12.根据权利要求11所述的方法，其特征在于，所述基于所述肢体检测框在所述第二特征中截取局部肢体特征，包括：

按照预设区域尺寸对所述肢体检测框进行缩放处理，并基于缩放处理之后的肢体检测框在所述第二特征中截取局部肢体特征。

13.一种姿态检测装置，其特征在于，包括：

第一获取单元，用于获取模型搜索空间；所述模型搜索空间中包含多个具有连接关系的网络模块；

搜索单元，用于利用搜索参数，在所述模型搜索空间的多个网络模块中搜索满足计算资源约束条件的多组目标网络，并确定每组目标网络的网络连接信息；每组所述目标网络包括多个子网络，所述多个子网络包含用于进行躯干姿态检测的第一子网络和用于进行局部肢体检测的第二子网络，所述目标网络的多个子网络为对所述多个网络模块进行结构调整之后得到，所述网络连接信息用于表征所述第一子网络输出的多层次特征中与所述第二子网络的输入数据相匹配的第一特征的属性信息；

第一确定单元，用于基于每组所述目标网络和每组所述目标网络的网络连接信息确定目标姿态检测网络，其中，所述目标姿态检测网络用于对待处理图片进行姿态检测。

14.一种姿态检测装置，其特征在于，包括：

第二获取单元，用于获取待处理图片，并通过目标姿态检测网络中的第一子网络对所述待处理图片中的目标对象进行躯干姿态检测，得到躯干姿态检测结果，所述躯干姿态检测结果包括：局部肢体部位的肢体检测框和躯干关键点；

特征处理单元，用于通过所述目标姿态检测网络中的第二子网络利用所述肢体检测框对所述第一子网络的输出特征进行处理，得到局部肢体关键点；

第二确定单元，用于基于所述躯干关键点和所述局部肢体关键点确定所述待处理图片的姿态检测结果。

15.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至12任一所述的姿态检测方法的步骤。

16.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至12任一所述的姿态检测方法的步骤。

Images