CN109448090B - 图像处理方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请实施例提供了一种图像处理方法、装置、电子设备及存储介质，涉及图像处理技术领域。方法包括：获得包含目标对象的子图像；根据子图像，确定目标对象的身体部位的多个关节点在子图像上的多个二维坐标，以及确定目标对象在子图像中的区域信息；根据多个二维坐标，确定多个关节点对应在三维空间中的多个三维坐标；基于多个二维坐标、多个三维坐标和区域信息，生成目标对象的三维姿态模型，其中，三维姿态模型与目标对象在子图像中的二维姿态匹配。基于对图像的处理便可以自动生成对象的三维姿态模型的操作流程简单，且由于无需位置检测的设备故也极大的降低了成本。

Description

图像处理方法、装置、电子设备及存储介质

技术领域

本申请涉及图像处理技术领域，具体而言，涉及一种图像处理方法、装置、电子设备及存储介质。

背景技术

目前，若需要捕捉某个对象三维姿态模型，一般需要该对象在身上佩戴多个位置传感器，这样就可以通过位置传感器检测到的位置信息来生成该对象的三维姿态模型，但这种实现方式操作起来过于复杂且设备成本太高。

发明内容

本申请在于提供一种图像处理方法、装置、电子设备及存储介质，以实现方便且低成本的生成对象的三维姿态模型。

为了实现上述目的，本申请的实施例通过如下方式实现：

第一方面，本申请实施例提供了一种图像处理方法，所述方法包括：

获得包含目标对象的子图像；

根据所述子图像，确定所述目标对象的身体部位的多个关节点在所述子图像上的多个二维坐标，以及确定所述目标对象在所述子图像中的所在区域的区域信息；

根据所述多个二维坐标，确定所述多个关节点对应在三维空间中的多个三维坐标；

基于所述多个二维坐标、所述多个三维坐标和所述区域信息，生成所述目标对象的三维姿态模型，其中，所述三维姿态模型与所述目标对象在所述子图像中的二维姿态匹配。

结合第一方面，在一些可能的实现方式中，所述基于所述多个二维坐标、所述多个三维坐标和所述区域信息，生成所述目标对象的三维姿态模型，包括：

将所述多个二维坐标和所述多个三维坐标输入参数生成模型的全连接层进行计算，得到所述目标对象的多个动作参数；以及将所述区域信息输入所述参数生成模型的全连接层进行计算，得到所述目标对象的多个体态参数和多个相机角度参数；

将所述多个动作参数、所述多个体态参数和所述多个相机角度参数输入SMPL模型进行计算，生成所述目标对象的三维姿态模型。

结合第一方面，在一些可能的实现方式中，

所述多个动作参数包括：所述多个关节点中的每个非根关节点的旋转角度和根关节点的三维坐标，其中，每个非根关节点的旋转角度为每个非根关节点的三维坐标较于所述多个关节点中的根关节点的三维坐标在三维空间的每个坐标轴上的旋转角度；

所述体态参数为多个体态中每个体态对应的数值，其中，每个体态表示对应一种胖瘦程度。

结合第一方面，在一些可能的实现方式中，所述将所述多个动作参数、所述多个体态参数和所述多个相机角度参数输入所述SMPL模型进行计算，生成所述目标对象的三维姿态模型，包括：

将每个体态对应的数值输入所述SMPL模型进行计算，确定出所述目标对象在所述多个体态中的目标体态；

将每个非根关节点的旋转角度、所述根关节点的三维坐标、所述目标体态和所述多个相机角度参数输入所述SMPL模型进行计算，生成所述目标对象的三维姿态模型。

结合第一方面，在一些可能的实现方式中，在所述生成所述目标对象的三维姿态模型之后，所述方法还包括：

将所述三维姿态模型的数据输入所述SMPL模型进行计算，还原出所述目标对象在所述子图像中所在区域的还原区域信息，以及还原出所述多个关节点在所述子图像中的多个还原二维坐标；

根据所述还原区域信息、所述区域信息、所述多个还原二维坐标和所述多个二维坐标，调整所述参数生成模型而得到调整后的参数生成模型。

结合第一方面，在一些可能的实现方式中，所述根据所述还原区域信息、所述区域信息、所述多个还原二维坐标和所述多个二维坐标，调整所述参数生成模型而得到调整后的参数生成模型，包括：

根据所述还原区域信息和所述区域信息，确定所述还原区域信息和区域信息之间的差异区域信息，以及根据所述多个还原二维坐标和所述多个二维坐标，确定所述多个还原二维坐标和所述多个二维坐标之间的差异坐标；

根据所述差异区域信息调整所述参数生成模型中用于计算所述区域信息的第一相关参数集中各数值的当前值，以及根据所述差异坐标调整所述参数生成模型中用于计算所述多个二维坐标和所述多个三维坐标的第二相关参数集中各数值的当前值，得到调整后的参数生成模型。

结合第一方面，在一些可能的实现方式中，所述根据所述多个二维坐标，确定所述多个关节点对应在三维空间中的多个三维坐标，包括：

将所述多个二维坐标输入关节点转换模型的多个卷积层进行计算，得到所述多个二维坐标的特征参数；

将所述多个二维坐标的特征参数输入所述关节点转换模型的全连接层进行计算，得到所述多个关节点对应在三维空间中的多个三维坐标。

结合第一方面，在一些可能的实现方式中，在所述得到所述多个关节点对应在三维空间中的多个三维坐标之后，所述方法还包括：

对所述多个关节点进行分组，得到至少一组关节点，其中，所述至少一组关节点中每组关节点对应所述目标对象的一个身体部位；

根据每组关节点在所述多个二维坐标中对应的二维坐标，确定每个身体部位的尺寸；

根据每个身体部位的尺寸和每个身体部位的预设尺寸，调整所述关节点转换模型而得到调整后的关节点转换模型。

结合第一方面，在一些可能的实现方式中，所述根据每个身体部位的尺寸和每个身体部位的预设尺寸，调整所述关节点转换模型而得到调整后的关节点转换模型，包括：

确定每个身体部位的尺寸和每个身体部位的预设尺寸之间的差异尺寸；

根据所述差异尺寸调整所述关节点转换模型中用于计算所述多个二维坐标的第三相关参数集中各数值的当前值，得到调整后的关节点转换模型。

结合第一方面，在一些可能的实现方式中，所述根据所述子图像，确定所述目标对象的身体部位的多个关节点在所述子图像上的多个二维坐标，包括：

将所述子图像输入关节点检测模型重复对所述子图像进行多次不同尺度的特征处理，得到不同尺度的多张特征图像，其中，每次特征处理包括对所述子图像进行下采样处理、卷积处理、池化处理和上采样处理；

将所述多张特征图像输入所述关节点检测模型进行计算，得到所述多个关节点在所述子图像上多个关节点热力范围；

将所述多个关节点热力范围输入所述关节点检测模型进行计算，得到所述目标对象的身体部位的所述多个关节点在所述子图像上的多个二维坐标。

结合第一方面，在一些可能的实现方式中，所述确定所述目标对象在所述子图像中的区域信息，包括：

将所述子图像输入图像分割模型中的FCN网络进行计算，得到所述目标对象在所述子图像中的区域信息；

其中，所述区域信息为：C*H*W，C为0或1，1表示每个像素点属于所述子图像中的所述目标对象，0表示每个像素点属于所述子图像中的背景，H为所述子图像上像素点的行数，W为所述子图像上像素点的列数。

结合第一方面，在一些可能的实现方式中，所述获得包含目标对象的子图像，包括：

获得包含至少一个对象的原图像，所述至少一个对象包括所述目标对象；

从所述原图像上分割出包含所述目标对象的子图像。

第二方面，本申请实施例提供了一种图像处理装置，所述装置包括：

图像获得模块，用于获得包含目标对象的子图像。

坐标确定模块，用于根据所述子图像，确定所述目标对象的身体部位的多个关节点在所述子图像上的多个二维坐标，以及确定所述目标对象在所述子图像中的所在区域的区域信息。

坐标转换模块，用于根据所述多个二维坐标，确定所述多个关节点对应在三维空间中的多个三维坐标。

三维生成模块，用于基于所述多个二维坐标、所述多个三维坐标和所述区域信息，生成所述目标对象的三维姿态模型，其中，所述三维姿态模型与所述目标对象在所述子图像中的二维姿态匹配。

结合第二方面，在一些可能的实现方式中，

所述三维生成模块，还用于将所述多个二维坐标和所述多个三维坐标输入参数生成模型的全连接层进行计算，得到所述目标对象的多个动作参数；以及将所述区域信息输入所述参数生成模型的全连接层进行计算，得到所述目标对象的多个体态参数和多个相机角度参数。将所述多个动作参数、所述多个体态参数和所述多个相机角度参数输入SMPL模型进行计算，生成所述目标对象的三维姿态模型。

结合第二方面，在一些可能的实现方式中，

所述多个动作参数包括：所述多个关节点中的每个非根关节点的旋转角度和根关节点的三维坐标，其中，每个非根关节点的旋转角度为每个非根关节点的三维坐标较于所述多个关节点中的根关节点的三维坐标在三维空间的每个坐标轴上的旋转角度；

所述体态参数为多个体态中每个体态对应的数值，其中，每个体态表示对应一种胖瘦程度。

结合第二方面，在一些可能的实现方式中，

所述三维生成模块，还用于将每个体态对应的数值输入所述SMPL模型进行计算，确定出所述目标对象在所述多个体态中的目标体态；将每个非根关节点的旋转角度、所述根关节点的三维坐标、所述目标体态和所述多个相机角度参数输入所述SMPL模型进行计算，生成所述目标对象的三维姿态模型。

结合第二方面，在一些可能的实现方式中，所述装置还包括：

坐标还原模块，用于将所述三维姿态模型的数据输入所述SMPL模型进行计算，还原出所述目标对象在所述子图像中所在区域的还原区域信息，以及还原出所述多个关节点在所述子图像中的多个还原二维坐标；

第一模块调整模块，用于根据所述还原区域信息、所述区域信息、所述多个还原二维坐标和所述多个二维坐标，调整所述参数生成模型而得到调整后的参数生成模型。

结合第二方面，在一些可能的实现方式中，

所述第一模块调整模块，还用于根据所述还原区域信息和所述区域信息，确定所述还原区域信息和区域信息之间的差异区域信息，以及根据所述多个还原二维坐标和所述多个二维坐标，确定所述多个还原二维坐标和所述多个二维坐标之间的差异坐标。根据所述差异区域信息调整所述参数生成模型中用于计算所述区域信息的第一相关参数集中各数值的当前值，以及根据所述差异坐标调整所述参数生成模型中用于计算所述多个二维坐标和所述多个三维坐标的第二相关参数集中各数值的当前值，得到调整后的参数生成模型。

结合第二方面，在一些可能的实现方式中，

所述坐标转换模块，还用于将所述多个二维坐标输入关节点转换模型的多个卷积层进行计算，得到所述多个二维坐标的特征参数；将所述多个二维坐标的特征参数输入所述关节点转换模型的全连接层进行计算，得到所述多个关节点对应在三维空间中的多个三维坐标。

结合第二方面，在一些可能的实现方式中，所述装置还包括：

节点分组模块，用于对所述多个关节点进行分组，得到至少一组关节点，其中，所述至少一组关节点中每组关节点对应所述目标对象的一个身体部位。

尺寸确定模块，用于根据每组关节点在所述多个二维坐标中对应的二维坐标，确定每个身体部位的尺寸；

第二模型调整模块，用于根据每个身体部位的尺寸和每个身体部位的预设尺寸，调整所述关节点转换模型而得到调整后的关节点转换模型。

结合第二方面，在一些可能的实现方式中，

所述第二模型调整模块，还用于确定每个身体部位的尺寸和每个身体部位的预设尺寸之间的差异尺寸；根据所述差异尺寸调整所述关节点转换模型中用于计算所述多个二维坐标的第三相关参数集中各数值的当前值，得到调整后的关节点转换模型。

结合第二方面，在一些可能的实现方式中，

所述坐标确定模块，还用于将所述子图像输入关节点检测模型重复对所述子图像进行多次不同尺度的特征处理，得到不同尺度的多张特征图像，其中，每次特征处理包括对所述子图像进行下采样处理、卷积处理、池化处理和上采样处理；将所述多张特征图像输入所述关节点检测模型进行计算，得到所述多个关节点在所述子图像上多个关节点热力范围；将所述多个关节点热力范围输入所述关节点检测模型进行计算，得到所述目标对象的身体部位的所述多个关节点在所述子图像上的多个二维坐标。

结合第二方面，在一些可能的实现方式中，所述坐标确定模块，还用于将所述子图像输入图像分割模型中的FCN网络进行计算，得到所述目标对象在所述子图像中的区域信息；其中，所述区域信息为：C*H*W，C为0或1，1表示每个像素点属于所述子图像中的所述目标对象，0表示每个像素点属于所述子图像中的背景，H为所述子图像上像素点的行数，W为所述子图像上像素点的列数。

第三方面，本申请实施例提供了一种电子设备，所述电子设备包括：处理器，存储器，总线和通信接口；所述处理器、所述通信接口和存储器通过所述总线连接。

所述存储器，用于存储程序。

所述处理器，用于通过调用存储在所述存储器中的程序，以执行如第一方面，以及第一方面的任一实现方式所述的图像处理方法。

第四方面，本申请实施例提供了一种具有计算机可执行的非易失程序代码的计算机可读储存介质，所述程序代码使所述计算机执行如第一方面，以及第一方面的任一实现方式所述的图像处理方法。

本申请实施例的有益效果是：

通过基于对子图像的处理，可以得到目标对象的身体部位的多个关节点的多个二维坐标、目标对象在子图像中的区域信息和多个关节点对应在三维空间中的多个三维坐标，那么基于多个二维坐标、区域信息和多个三维坐标，则可以生成该目标对象与该目标对象在子图像中的二维姿态匹配的三维姿态模型。相较于现有技术，基于对图像的处理便可以自动生成对象的三维姿态模型的操作流程简单，且由于无需位置检测的设备故也极大的降低了成本。

为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本申请第一实施例提供的一种电子设备的结构框图；

图2示出了本申请第二实施例提供的一种图像处理方法的第一流程图；

图3示出了本申请第二实施例提供的一种图像处理方法的第二流程图；

图4示出了本申请第二实施例提供的一种图像处理方法的第三流程图；

图5示出了本申请第三实施例提供的一种图像处理装置的结构框图。

具体实施方式

下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有进行出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

第一实施例

请参阅图1，本申请实施例提供了一种电子设备10，电子设备10可以为终端设备或者为服务器。其中，终端设备可以为个人电脑(personal computer，PC)、平板电脑、智能手机、个人数字助理(personal digital assistant，PDA)等；服务器可以为网络服务器、数据库服务器、云服务器或由多个子服务器构成的服务器集成等。

本实施例中，该电子设备10可以包括：存储器11、通信接口11、总线13和处理器14。其中，处理器14、通信接口11和存储器11通过总线13连接。处理器14用于执行存储器11中存储的可执行模块，例如计算机程序。图1所示的电子设备10的组件和结构只是示例性的，而非限制性的，根据需要，电子设备10也可以具有其他组件和结构。

存储器11可能包含高速随机存取存储器(Random Access Memory RAM)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。本实施例中，存储器11存储了执行图像处理方法所需要的程序。

总线13可以是ISA总线、PCI总线或EISA总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图1中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

处理器14可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器14中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器14可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。

本发明实施例任意实施例揭示的流过程或定义的装置所执行的方法可以应用于处理器14中，或者由处理器14实现。处理器14在接收到执行指令后，通过总线13调用存储在存储器11中的程序后，处理器14通过总线13控制通信接口11则可以执行图像处理方法的方法流程。

另外，在一些情况下，电子设备10还可以具有摄像头15，摄像头15可以常规的高清线摄像头。摄像头15可以与总线13连接，且摄像头15可以用于拍摄包含对象的图像，使得电子设备10的处理器14基于总线13获得摄像头15拍摄的图像而执行图像处理方法的方法流程。

第二实施例

本实施例提供了一种图像处理方法，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。以下对本实施例进行详细介绍。

请参阅图3，在本实施例提供的图像处理方法中，该图像处理方法包括：步骤S110、步骤S120、步骤S130和步骤S140。

步骤S110：获得包含目标对象的子图像。

步骤S120：根据所述子图像，确定所述目标对象的身体部位的多个关节点在所述子图像上的多个二维坐标，以及确定所述目标对象在所述子图像中的所在区域的区域信息。

步骤S130：根据所述多个二维坐标，确定所述多个关节点对应在三维空间中的多个三维坐标。

步骤S140：基于所述多个二维坐标、所述多个三维坐标和所述区域信息，生成所述目标对象的三维姿态模型，其中，所述三维姿态模型与所述目标对象在所述子图像中的二维姿态匹配。

下面将结合图2至图4，对本申请各步骤进行详细地描述。

步骤S110：获得包含目标对象的子图像。

电子设备可以获得包含至少一个对象的原图像，其中，电子设备可以针对至少一个对象的每个对象进行处理，那么电子设备进行针对处理的每个对象则可以作为目标对象，故该至少一个对象则包含需要电子设备处理的目标对象。可以理解到，电子设备对至少一个对象中每个对象进行处理，且对每个对象的处理流程可以相同，那么为便于说明和理解，本实施例以电子设备对至少一个对象中的某一个目标对象处理为例来进行说明。

本实施例中，电子设备获得原图像的方式可以为：电子设备上的摄像头对至少一个对象进行拍摄，这样电子设备便可以获得摄像头拍摄的包含至少一个对象的原图像。或者，电子设备获得原图像的方式也可以为：电子设备上的通信接口通过网络或数据线与作为存储介质的其它设备连接，例如通过通信接口与移动硬盘、U盘、终端或服务器连接，那么电子设备便可以通过通信接口从作为存储介质的其它设备上获得其它设备上存储的包含至少一个对象的原图像。其中，每个对象可以为：人、物体或动物，本实施例可以以每个对象为人为例来进行说明，但并不作为对本实施例的限定。

电子设备获得原图像后，基于对原图像包含的至少一个对象中的目标对象进行处理，那么电子设备可以对原图像进行分割，以提取出可以仅包含目标对象的子图像。

可选地，电子设备中可以预先设置训练好的图像分割模型，图像分割模型可以为深度卷积神经网络(Visual Geometry Group，VGG)或深度残差网络(Deep residualnetwork，ResNet)进行训练而得到模型。当然，对于图像分割模型的实现方式来说，图像分割模型的实现方式可以为FasterRCNN、SSD、RetinaNet、RefineDet或YOLOv2等。

电子设备可以调用该图像分割模型，并将原图像作为输入参数输入到该图像分割模型中，图像分割模型中的神经网络可以对该原图像进行计算，图像分割模型经过计算就可以输出从原图像上分割出的包含目标对象的子图像。

为便理解，图像分割模型对原图像的处理过程可以理解为图像分割模型在原图像上标识出一个矩形框，该矩形框可以仅框选住目标对象，那么图像分割模型可以基于矩形框框选住的部分图像而生成子图像。这样，电子设备就得到了包含目标对象的子图像。

步骤S120：根据所述子图像，确定所述目标对象的身体部位的多个关节点在所述子图像上的多个二维坐标，以及确定所述目标对象在所述子图像中的所在区域的区域信息。

为对目标对象的身体部位的关节点在子图像中的二维坐标进行提取，电子设备中可以预先设置用于确定二维坐标的关节点检测模型。关节点检测模型可以为基于深度神经网络训练得到hourglass模型，即沙漏模型，或者关节点检测模型也可以为基于深度神经网络训练得到级联金字塔网络模型(Cascaded Pyramid Network，CPN)。

电子设备可将子图像作为关节点检测模型的输入参数输入到关节点检测模型中，那么关节点检测模型则可以对子图像进行计算，以得到每个关节点在子图像中的二维坐标。

于本实施例中，多个关节点可以包括：头关节点、脖子关节点、左手关节点、左肘关节点、左肩关节点、右手关节点、右肘关节点、右肩关节点、盆骨关节点、左脚关节点、左膝关节点、左臀关节点、右脚关节点、右膝关节点、右臀关节点，但并不限于上述列举的关节点。

可选地，关节点检测模型对子图像进行计算可以为关节点检测模型可以重复对子图像进行多次不同尺度的特征处理，得到不同尺度的多张特征图像，其中，每次特征处理可以包括对子图像进行依次下采样处理、卷积处理、池化处理和上采样处理。

例如，关节点检测模型对子图像进行多次重复但尺度不同的特征处理的过程可以为：关节点检测模型可以对子图像进行下采样处理得到缩小的子图像，再依次对该缩小的子图像的进行卷积处理、池化处理和上采样处理，从而可以得到第一尺度的特征图像。当然，关节点检测模型也可以基于第一尺度的特征图像进行下采样处理得到缩小的子图像，再依次对该缩小的子图像的进行卷积处理、池化处理和上采样处理，从而可以得到第二尺度的特征图像。与此同时，关节点检测模型还可以再基于第二尺度的特征图像再进行下采样处理得到缩小的子图像，再依次对该缩小的子图像的进行卷积处理、池化处理和上采样处理，从而可以得到第三尺度的特征图像。故对子图像进行3次重复但尺度不同的特征处理后，则可以得到尺度大小不同的第一尺度的特征图像、第二尺度的特征图像和第三尺度的特征图像。

需要说明的是，根据关节点检测模型处理能力的强弱，若关节点检测模型的处理能够强大，那么多次重复但尺度不同的特征处理可以同时进行，反之，多次重复但尺度不同的特征处理可以依次进行或者部分次数重复进行。

本实施例中，得到的多张特征图像可以为便于计算出关节点的关节点热力范围，电子设备便可以将多张特征图像继续输入到关节点检测模型进行计算，从而可以得到多个关节点在子图像上多个关节点热力范围。

可以理解到，关节点的关节点热力范围可以为一个图形范围，例如，该图形范围的形状可以为呈圆形或椭圆形，该图形范围可以表示出目标对象的身体部位上的关节点位于该图形范围内的概率，且在该图形范围中越靠近图形范围的中心部分的位置为关节点的概率则越大。

再者，多个关节点在子图像上的多个关节点热力范围可以为：多个关节点热力范围中每个关节点热力范围覆盖在子图像上的每个关节点处，即得到的多个关节点热力范围实际上可以为将多个关节点热力范围覆盖在子图像上多个关节点处的一张图像。或者，多个关节点在子图像上的多个关节点热力范围也可以为：在一张尺寸与子图像的尺寸对应的新的图像上，将多个关节点热力范围中每个关节点热力范围均覆盖在该新的图像上每个相应的位置处，其中，该图像上每个相应的位置可以为与子图像上每个关键点对应的位置，例如，关节点A位于子图像上长的1/3宽的2/3处，那么新的图像上与该关节点A对应的位置则为位于新的图像上长的1/3宽的2/3处的位置，这样便能够保证后续确定出的二维坐标是准确的。

电子设备可以再将多个关节点热力范围继续输入到关节点检测模型进行计算，关节点检测模型可以基于每个关节点热力范围表示的每个关节点的概率对每个关节点的位置进行预测计算，从而可以得到并输出目标对象的身体部位的多个关节点在子图像上的多个二维坐标。其中，每个关节点二维坐标可以采用位于图像中哪一比例位置的形式表示出来，即每个关节点二维坐标可以表示为每个关节点位于子图像长的多少比例处，以及位于子图像宽的多少比例处。当然，采用比例的方式可以本实施例可选地的一种方式，其可以在不同尺度上更便捷表示出关节点的位置，但并不作为限定，例如，每个关节点的坐标也可以采用坐标参数的方式表示。

若实际使用中基于关节点检测模型确定多个二维坐标，那么可以不基于该过程对关节点检测模型进行优化调整，但若训练过程中基于关节点检测模型确定出多个二维坐标，那么可以基于该过程对关节点检测模型进行优化调整。

作为本实施例中优化调整关节点检测模型的一种可选方式，电子设备中还预先设了该目标对象的身体部位的多个关节点在子图像上的多个预设二维坐标，故电子设备可以基于多个二维坐标和多个预设二维坐标，确定出多个二维坐标和多个预设二维坐标中的差异二维坐标。因此，便可以基于差异二维坐标去优化调整该关节点检测模型。

详细地，关节点检测模型可以基于差异二维坐标，调整关节点检测模型中用于处理子图像得到多张特征图像、用于处理多张特征图像得到多个关节点热力范围、以及用于处理多个关节点热力范围得到多个二维坐标的第四相关参数集中各数值的当前值。其中，调整第四相关参数集中各数值的当前值可以为对第四相关参数集的各数值中的部分数值的当前值进行调整，或也可以对第四相关参数集中每个数值的每个当前值均进行调整。这样，基于对第四相关参数集中各数值的当前值进行调整，便可以得到优化调整后的关节点检测模型，并使得较于调整前的关节点检测模型，调整后的关节点检测模型的计算准确度得到提升。

为便于后续三维姿态模型的生成，电子设备还需要对子图像进行区域分割，以确定出子图像中目标对象的所在区域。相应的，为进行区域分割，电子设备中可以预先设置用于区域分割的图像分割模型，且图像分割模型也可以为基于深度神经网络训练得到。

电子设备可将子图像作为图像分割模型的输入参数输入到图像分割模型中，那么图像分割模型则可以基于图像分割模型中的FCN网络(Fully Convolutional Networks，全卷积网络)对子图像进行计算，以得到目标对象在子图像中的区域信息。

可选地，区域信息可以以概率矩阵的形式得到，即区域信息为：C*H*W，C为0或1，为1可以表示子图像中的每个像素点属于子图像中的目标对象，为0则可以表示每个像素点属于子图像中的背景，H为子图像上像素点的行数，W为子图像上像素点的列数。因而，通过概率矩阵，便可以表示出子图像上的每个像素点属于目标对象还是背景，进而便可以表示出子图像中目标对象的所在区域。

若实际使用中基于图像分割模型确定区域信息，那么可以不基于该过程对图像分割模型进行优化调整，但若训练过程中基于图像分割模型确定区域信息，那么可以基于该过程对图像分割模型进行优化调整。

作为本实施例中优化调整图像分割模型的一种可选方式，电子设备中还预先设了该目标对象在子图像中所在区域的预设区域信息，故电子设备可以基于预设区域信息和区域信息，确定出预设区域信息和区域信息之间的区域差异信息。因此，可以基于区域差异信息去优化调整该图像分割模型。

详细地，图像分割模型可以基于区域差异信息，调整图像分割模型中用于处理子图像得到区域信息的第五相关参数集中各数值的当前值。其中，调整第五相关参数集中各数值的当前值也可以为对第五相关参数集的各数值中的部分数值的当前值进行调整，或也可以对第五相关参数集中每个数值的每个当前值均进行调整。这样，基于对第五相关参数集中各数值的当前值进行调整，便可以得到优化调整后的图像分割模型，并使得较于调整前的图像分割模型，调整后的图像分割模型的计算准确度得到提升。

本实施例中以确定出区域信息的流程为步骤S120执行为例来进行说明，但确定出区域信息的流程并不限于步骤S120执行，确定出区域信息的流程可以位于各步骤中生成三维姿态模型前的任一步骤。

获得多个二维坐标后，电子设备可以继续执行步骤S130。

步骤S130：根据所述多个二维坐标，确定所述多个关节点对应在三维空间中的多个三维坐标。

为便于后续三维姿态模型的生成，电子设备还需要将多个二维坐标对应转换成在三维空间下的三维坐标。相应的，为将多个二维坐标对应转换成在三维空间下的三维坐标，电子设备中可以预先设置用于坐标转换的关节点转换模型，且关节点转换模型也可以为基于深度神经网络训练得到的包含多个卷积层和全连接层的模型。

电子设备可将多个二维坐标作为关节点转换模型的输入参数输入到关节点转换模型中，那么关节点转换模型可以将多个二维坐标输入到关节点转换模型中多个卷积层，使得多个卷积层对多个二维坐标中每个二维坐标进行计算，从而可以得到多个二维坐标的特征参数。以及关节点转换模型还可以将多个二维坐标的特征参数输入到关节点转换模型的全连接层，使得全连接层对多个二维坐标的特征参数进行计算而得到并输出多个关节点对应在三维空间中的多个三维坐标。

若实际使用中关节点转换模型转换出多个三维坐标，那么也可以不基于该过程对关节点转换模型进行优化调整，但若训练过程中基于关节点转换模型转换出多个三维坐标，那么可以基于该过程对关节点转换模型进行优化调整。

本实施例中，对关节点转换模型进行优化调整的方法流程可以包括：步骤S201、步骤S202和步骤S203。

步骤S201：对所述多个关节点进行分组，得到至少一组关节点，其中，所述至少一组关节点中每组关节点对应所述目标对象的一个身体部位。

步骤S202：根据每组关节点在所述多个二维坐标中对应的二维坐标，确定每个身体部位的尺寸。

步骤S203：根据每个身体部位的尺寸和每个身体部位的预设尺寸，调整所述关节点转换模型而得到调整后的关节点转换模型。

下面将对步骤S201、步骤S202和步骤S203进行详细说明。

步骤S201：根据每组关节点在所述多个二维坐标中对应的二维坐标，确定每个身体部位的尺寸。

对关节点转换模型的优化的目的可以是为了让关节点转换模型转换出的多个三维坐标更加准确，那么则可以将目标对象的多个关节点在实际环境中的多个三维坐标作为多个预设三维坐标来对关节点转换模型进行优化。但实际上，由于获得目标对象的多个关节点在实际环境中的多个三维坐标非常困难且成本也高，例如，需要目标对象穿戴关节点的位置检测设备才能够获得目标对象的多个关节点在实际环境中的多个三维坐标。所以本实施例需要采用其它的方式来实现对关节点转换模型进行优化和调整。

详细地，若目标对象的手臂垂向地面，则二维图像中目标对象的手臂的尺寸为第一长度，但若目标对象的抬起指向拍摄的原图像的机位，则二维图像中目标对象的手臂的尺寸则为小于第一长度的第二长度。因此，目标对象的身体部位在二维图像的尺寸实际上可以反映出目标对象的身体部位在实际的三维空间中的姿态，因此，可以通过目标对象的身体部位在二维图像的尺寸反映出身体部位在三维空间中的姿态的特点来对关节点转换模型进行优化和调整。

本实施例中，电子设备可以基于多个二维坐标来得到身体部位的尺寸。电子设备可以根据预设的规则对多个关节点进行分组，从而得到至少一组关节点，其中，至少一组关节点中每组关节点对应目标对象的一个身体部位。例如，将右手关节点和右肘关节点作为一组关节点则对应目标对象的身体部位可以为右手小臂，将左臀关节点和左膝关节点作为一组关节点则对应目标对象的身体部位可以为左大腿。

步骤S202：根据每组关节点在所述多个二维坐标中对应的二维坐标，确定每个身体部位的尺寸。

电子设备再根据每组关节点在多个二维坐标中对应的二维坐标，计算对应的二维坐标，则可以确定出每个身体部位的尺寸。例如，电子设备计算右手关节点的二维坐标和右肘关节点的二维坐标之间的距离，便可以确定得到的第一距离值为右手小臂的尺寸；以及电子设备再计算左臀关节点的二维坐标和左膝关节点的二维坐标之间的距离，便可以确定得到的第二距离值为左大腿的尺寸。

再者，电子设备中还预先设置了该子图像中目标对象的每个身体部位的预设尺寸，故以每个身体部位的预设尺寸为基准，根据每个身体部位的尺寸和每个身体部位的预设尺寸，便可以实现该调整关节点转换模型而得到调整后的关节点转换模型。可选地，电子设备可以将每个身体部位的尺寸和每个身体部位的预设尺寸做差，从而可以确定出每个身体部位的尺寸和每个身体部位的预设尺寸之间的差异尺寸。例如，电子设备计算出左大腿的第二距离值与左大腿预设的第三距离值之间的差异值，该差异值则为左大腿的差异尺寸。

步骤S203：根据每个身体部位的尺寸和每个身体部位的预设尺寸，调整所述关节点转换模型而得到调整后的关节点转换模型。

基于此，关节点转换模型可以基于确定的每个身体部位的差异尺寸，调整关节点转换模型中用于计算多个二维坐标而得到多个三维坐标的第三相关参数集中各数值的当前值。其中，调整第三相关参数集中各数值的当前值也可以为对第三相关参数集的各数值中的部分数值的当前值进行调整，或也可以对第三相关参数集中每个数值的每个当前值均进行调整。这样，基于对第三相关参数集中各数值的当前值进行调整，便可以得到优化调整后的关节点转换模型，并使得较于调整前的关节点转换模型，调整后的关节点转换模型的计算准确度得到提升。

于本实施例中，无论对关节点转换模型调整与否，电子设备在获得多个三维坐标后，电子设备可以继续执行步骤S140。

步骤S140：基于所述多个二维坐标、所述多个三维坐标和所述区域信息，生成所述目标对象的三维姿态模型，其中，所述三维姿态模型与所述目标对象在所述子图像中的二维姿态匹配。

本实施例中，电子设备还不能够直接基于多个二维坐标、多个三维坐标和区域信息来生成三维姿态模型，故电子设备可以将多个二维坐标、多个三维坐标和区域信息进行转换，基于转换后得到的数据生成三维姿态模型。

作为可选地的方式，电子设备也可以预先设置用于将多个二维坐标、多个三维坐标和区域信息转换的参数生成模型，且该参数生成模型可以为基于深度升级网络训练得到的包含全连接层的模型。

电子设备可以将多个二维坐标和多个三维坐标作为参数生成模型的输入参数输入到参数生成模型中，使得参数生成模型将多个二维坐标和多个三维坐标输入参数生成模型中的全连接层进行计算，从而得到并输出该目标对象的多个动作参数。相应的，电子设备还可以将区域信息也作为参数生成模型的输入参数输入到参数生成模型中，使得参数生成模型将区域信息输入参数生成模型中的全连接层进行计算，从而得到并输出多个相机角度参数和该目标对象的多个体态参数。

需要说明的是，经参数生成模型中的全连接层计算得到的多个动作参数可以包括：多个关节点中的每个非根关节点的旋转角度和根关节点的三维坐标。其中，每个非根关节点的旋转角度可以为每个非根关节点的三维坐标较于该多个关节点中的根关节点的三维坐标在三维空间的每个坐标轴上的旋转角度，而根关节点则可以为多个关节点中的盆骨关节点。

作为一种示例，关节点的数量可以为24个，每个关节点在每个坐标轴距具有一旋转角度，故三维空间中三个坐标轴使得每个关节点的旋转角度为三个，这样，23个非根关节点可以共具有69个旋转角度，该69个旋转角度可以作为多个动作参数中的69个动作参数。再者，三维空间中三个坐标轴也使得根关节点的三维坐标为三个坐标值，且该三个坐标值也可以作为多个动作参数中的3个动作参数。因此，得到多个动作参数可以共72个。

也需要说明的是，经参数生成模型中的全连接层计算得到体态参数可以为多个体态中每个体态对应的数值，其中，每个体态表示对应一种胖瘦程度，每个体态对应的数值表示目标图像的体态为该体态的可能性，数值越高则可能性也可以越高。

也作为一种示例，多个体态的数量可以为10个，即表示对象从瘦到胖之间可以有10种体态，例如，10种体态可以分别为非常瘦、比较瘦、廋、正常、壮硕、比较壮硕、非常壮硕、微胖、胖、非常胖。10种体态中每种体态对应的一个数值作为一个参数，那么体态参数则可以包含10个参数。当然，体态也可以不限于10种，可以更多，例如为20种，体态划分的种类越多，可以实现生成的三维体态更加准确反映出目标对象的实际体态。

本实施例中，电子设备预先设了SMPL模型(Skinned Multi-Person LinearModel)，故电子设备在获得多个动作参数、多个体态参数和多个相机角度参数后，电子设备可以将多个动作参数、多个体态参数和多个相机角度参数作为SMPL模型的输入参数输入到SMPL模型，那么SMPL模型可以对多个动作参数、多个体态参数和多个相机角度参数进行计算，从而生成该目标对象的与目标对象在子图像中的二维姿态相似的三维姿态模型。

详细地，电子设备可以将每个体态对应的数值输入到SMPL模型中进行计算，故SMPL模型可以通过计算确定出该目标对象在多个体态中的目标体态。电子设备则可以再将得到的目标体态、每个非根关节点的旋转角度、根关节点的三维坐标和多个相机角度参数输入SMPL模型进行计算，这样SMPL模型基于与目标体态、每个非根关节点的旋转角度、根关节点的三维坐标和多个相机角度参数进行计算，则可以生成该目标对象的三维姿态模型。

再者，电子设备所具备显示能力，则可以将该目标对象的三维姿态模型显示出来，并也可以响应用户的操作将该三维姿态模型以任意角度显示。

在本实施例中，参数生成模型输出的多个动作参数、多个体态参数和多个相机角度参数准确度会影响到SMPL模型生成的目标对象的三维姿态模型准确度，即参数生成模型输出的多个动作参数、多个体态参数和多个相机角度参数越准确，则SMPL模型生成的目标对象的三维姿态模型则越与目标对象在子图像中的二维姿态相似。

故在训练过程中，可以对参数生成模型进行优化调整。

本实施例中，对参数生成模型进行优化调整的方法流程可以包括：步骤S301和步骤S302。

步骤S301：将所述三维姿态模型的数据输入所述SMPL模型进行计算，还原出所述目标对象在所述子图像中所在区域的还原区域信息，以及还原出所述多个关节点在所述子图像中的多个还原二维坐标。

步骤S302：根据所述还原区域信息、所述区域信息、所述多个还原二维坐标和所述多个二维坐标，调整所述参数生成模型而得到调整后的参数生成模型。

下面将对步骤S301和步骤S302进行详细说明。

步骤S301：将所述三维姿态模型的数据输入所述SMPL模型进行计算，还原出所述目标对象在所述子图像中所在区域的还原区域信息，以及还原出所述多个关节点在所述子图像中的多个还原二维坐标。

本实施例中，SMPL模型可以将三维姿态模型还原到二维状态的数据，因此，若参数生成模型输出的参数准确，那么SMPL模型基于三维姿态模型还原出的二维状态的数据则可以越接近参数生成模型输出的参数。因此，可以基于SMPL模型可以将三维姿态模型还原到二维状态的数据来对参数生成模型进行优化调整。

可选地，电子设备可以将生成的三维姿态模型在一个固定视角下的参数作为输入参数输入到SMPL模型中，SMPL模型则可以对该三维姿态模型进行计算从而还原出目标对象在子图像中所在区域的还原区域信息，以及SMPL模型还可以还原出多个关节点在子图像中的多个还原二维坐标。

步骤S302：根据所述还原区域信息、所述区域信息、所述多个还原二维坐标和所述多个二维坐标，调整所述参数生成模型而得到调整后的参数生成模型。

电子设备可以基于还原得到的所在区域的还原区域信息和前述流程确定出的区域信息，确定出还原得到的所在区域的还原区域信息和前述流程确定出的区域信息之间的差异区域信息。相应的，电子设备也可以基于还原得到的多个还原二维坐标和前述流程确定出的多个二维坐标，确定出还原得到的多个还原二维坐标和前述流程确定出的多个二维坐标之间的差异坐标。

因此，参数生成模型可以基于差异区域信息，调整参数生成模型中用于计算区域信息的第一相关参数集中各数值的当前值。其中，调整第一相关参数集中各数值的当前值也可以为对第一相关参数集的各数值中的部分数值的当前值进行调整，或也可以对第一相关参数集中每个数值的每个当前值均进行调整。以及，参数生成模型还可以基于差异坐标，调整参数生成模型中用于计算多个二维坐标和多个三维坐标的第二相关参数集中各数值的当前值。其中，调整第二相关参数集中各数值的当前值也可以为对第二相关参数集的各数值中的部分数值的当前值进行调整，或也可以对第二相关参数集中每个数值的每个当前值均进行调整。这样，基于对第一相关参数集和第二相关参数集进行调整，就可以得到调整后的参数生成模型，并使得较于调整前的参数生成模型，调整后的参数生成模型的计算准确度得到提升。

第三实施例

请参阅图5，本申请实施例提供了一种图像处理装置100，该图像处理装置100可以应用于电子设备，该图像处理装置100包括：

图像获得模块110，用于获得包含目标对象的子图像。

坐标确定模块120，用于根据所述子图像，确定所述目标对象的身体部位的多个关节点在所述子图像上的多个二维坐标，以及确定所述目标对象在所述子图像中的所在区域的区域信息。

坐标转换模块130，用于根据所述多个二维坐标，确定所述多个关节点对应在三维空间中的多个三维坐标。

三维生成模块140，用于基于所述多个二维坐标、所述多个三维坐标和所述区域信息，生成所述目标对象的三维姿态模型，其中，所述三维姿态模型与所述目标对象在所述子图像中的二维姿态匹配。

需要说明的是，由于所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本领域内的技术人员应明白，本申请实施例可提供为方法、系统、或计算机程序产品。因此，本申请实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

综上所述，本申请实施例提供了一种图像处理方法、装置、电子设备及存储介质。方法包括：获得包含目标对象的子图像；根据子图像，确定目标对象的身体部位的多个关节点在子图像上的多个二维坐标，以及确定目标对象在子图像中的区域信息；根据多个二维坐标，确定多个关节点对应在三维空间中的多个三维坐标；基于多个二维坐标、多个三维坐标和区域信息，生成目标对象的三维姿态模型，其中，三维姿态模型与目标对象在子图像中的二维姿态匹配。

通过基于对子图像的处理，可以得到目标对象的身体部位的多个关节点的多个二维坐标、目标对象在子图像中的区域信息和多个关节点对应在三维空间中的多个三维坐标，那么基于多个二维坐标、区域信息和多个三维坐标，则可以生成该目标对象与该目标对象在子图像中的二维姿态匹配的三维姿态模型。相较于现有技术，基于对图像的处理便可以自动生成对象的三维姿态模型的操作流程简单，且由于无需位置检测的设备故也极大的降低了成本。

以上仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

以上，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (14)

1.一种图像处理方法，其特征在于，所述方法包括：

获得包含目标对象的子图像；

根据所述子图像，确定所述目标对象的身体部位的多个关节点在所述子图像上的多个二维坐标，以及确定所述目标对象在所述子图像中的所在区域的区域信息；

根据所述多个二维坐标，确定所述多个关节点对应在三维空间中的多个三维坐标；

基于所述多个二维坐标、所述多个三维坐标和所述区域信息，生成所述目标对象的三维姿态模型，其中，所述三维姿态模型与所述目标对象在所述子图像中的二维姿态匹配；

所述基于所述多个二维坐标、所述多个三维坐标和所述区域信息，生成所述目标对象的三维姿态模型，包括：

将所述多个二维坐标和所述多个三维坐标输入参数生成模型的全连接层进行计算，得到所述目标对象的多个动作参数；以及将所述区域信息输入所述参数生成模型的全连接层进行计算，得到所述目标对象的多个体态参数和多个相机角度参数；

将所述多个动作参数、所述多个体态参数和所述多个相机角度参数输入SMPL模型进行计算，生成所述目标对象的三维姿态模型。

2.根据权利要求1所述的图像处理方法，其特征在于，

所述多个动作参数包括：所述多个关节点中的每个非根关节点的旋转角度和根关节点的三维坐标，其中，每个非根关节点的旋转角度为每个非根关节点的三维坐标较于所述多个关节点中的根关节点的三维坐标在三维空间的每个坐标轴上的旋转角度；

所述体态参数为多个体态中每个体态对应的数值，其中，每个体态表示对应一种胖瘦程度。

3.根据权利要求2所述的图像处理方法，其特征在于，所述将所述多个动作参数、所述多个体态参数和所述多个相机角度参数输入所述SMPL模型进行计算，生成所述目标对象的三维姿态模型，包括：

将每个体态对应的数值输入所述SMPL模型进行计算，确定出所述目标对象在所述多个体态中的目标体态；

将每个非根关节点的旋转角度、所述根关节点的三维坐标、所述目标体态和所述多个相机角度参数输入所述SMPL模型进行计算，生成所述目标对象的三维姿态模型。

4.根据权利要求1所述的图像处理方法，其特征在于，在所述生成所述目标对象的三维姿态模型之后，所述方法还包括：

将所述三维姿态模型的数据输入所述SMPL模型进行计算，还原出所述目标对象在所述子图像中所在区域的还原区域信息，以及还原出所述多个关节点在所述子图像中的多个还原二维坐标；

根据所述还原区域信息、所述区域信息、所述多个还原二维坐标和所述多个二维坐标，调整所述参数生成模型而得到调整后的参数生成模型。

5.根据权利要求4所述的图像处理方法，其特征在于，所述根据所述还原区域信息、所述区域信息、所述多个还原二维坐标和所述多个二维坐标，调整所述参数生成模型而得到调整后的参数生成模型，包括：

根据所述还原区域信息和所述区域信息，确定所述还原区域信息和区域信息之间的差异区域信息，以及根据所述多个还原二维坐标和所述多个二维坐标，确定所述多个还原二维坐标和所述多个二维坐标之间的差异坐标；

根据所述差异区域信息调整所述参数生成模型中用于计算所述区域信息的第一相关参数集中各数值的当前值，以及根据所述差异坐标调整所述参数生成模型中用于计算所述多个二维坐标和所述多个三维坐标的第二相关参数集中各数值的当前值，得到调整后的参数生成模型。

6.根据权利要求1所述的图像处理方法，其特征在于，所述根据所述多个二维坐标，确定所述多个关节点对应在三维空间中的多个三维坐标，包括：

将所述多个二维坐标输入关节点转换模型的多个卷积层进行计算，得到所述多个二维坐标的特征参数；

将所述多个二维坐标的特征参数输入所述关节点转换模型的全连接层进行计算，得到所述多个关节点对应在三维空间中的多个三维坐标。

7.根据权利要求6所述的图像处理方法，其特征在于，在所述得到所述多个关节点对应在三维空间中的多个三维坐标之后，所述方法还包括：

对所述多个关节点进行分组，得到至少一组关节点，其中，所述至少一组关节点中每组关节点对应所述目标对象的一个身体部位；

根据每组关节点在所述多个二维坐标中对应的二维坐标，确定每个身体部位的尺寸；

根据每个身体部位的尺寸和每个身体部位的预设尺寸，调整所述关节点转换模型而得到调整后的关节点转换模型。

8.根据权利要求7所述的图像处理方法，其特征在于，所述根据每个身体部位的尺寸和每个身体部位的预设尺寸，调整所述关节点转换模型而得到调整后的关节点转换模型，包括：

确定每个身体部位的尺寸和每个身体部位的预设尺寸之间的差异尺寸；

根据所述差异尺寸调整所述关节点转换模型中用于计算所述多个二维坐标的第三相关参数集中各数值的当前值，得到调整后的关节点转换模型。

9.根据权利要求1所述的图像处理方法，其特征在于，所述根据所述子图像，确定所述目标对象的身体部位的多个关节点在所述子图像上的多个二维坐标，包括：

将所述子图像输入关节点检测模型重复对所述子图像进行多次不同尺度的特征处理，得到不同尺度的多张特征图像，其中，每次特征处理包括对所述子图像进行下采样处理、卷积处理、池化处理和上采样处理；

将所述多张特征图像输入所述关节点检测模型进行计算，得到所述多个关节点在所述子图像上多个关节点热力范围；

将所述多个关节点热力范围输入所述关节点检测模型进行计算，得到所述目标对象的身体部位的所述多个关节点在所述子图像上的多个二维坐标。

10.根据权利要求1所述的图像处理方法，其特征在于，所述确定所述目标对象在所述子图像中的区域信息，包括：

将所述子图像输入图像分割模型中的FCN网络进行计算，得到所述目标对象在所述子图像中的区域信息；

其中，所述区域信息为：C*H*W，C为0或1，1表示每个像素点属于所述子图像中的所述目标对象，0表示每个像素点属于所述子图像中的背景，H为所述子图像上像素点的行数，W为所述子图像上像素点的列数。

11.根据权利要求1-10任一权项所述的图像处理方法，其特征在于，所述获得包含目标对象的子图像，包括：

获得包含至少一个对象的原图像，所述至少一个对象包括所述目标对象；

从所述原图像上分割出包含所述目标对象的子图像。

12.一种图像处理装置，其特征在于，所述装置包括：

图像获得模块，用于获得包含目标对象的子图像；

坐标确定模块，用于根据所述子图像，确定所述目标对象的身体部位的多个关节点在所述子图像上的多个二维坐标，以及确定所述目标对象在所述子图像中的所在区域的区域信息；

坐标转换模块，用于根据所述多个二维坐标，确定所述多个关节点对应在三维空间中的多个三维坐标；

三维生成模块，用于基于所述多个二维坐标、所述多个三维坐标和所述区域信息，生成所述目标对象的三维姿态模型，其中，所述三维姿态模型与所述目标对象在所述子图像中的二维姿态匹配；

所述三维生成模块基于所述多个二维坐标、所述多个三维坐标和所述区域信息，生成所述目标对象的三维姿态模型，包括：

将所述多个二维坐标和所述多个三维坐标输入参数生成模型的全连接层进行计算，得到所述目标对象的多个动作参数；以及将所述区域信息输入所述参数生成模型的全连接层进行计算，得到所述目标对象的多个体态参数和多个相机角度参数；

将所述多个动作参数、所述多个体态参数和所述多个相机角度参数输入SMPL模型进行计算，生成所述目标对象的三维姿态模型。

13.一种电子设备，其特征在于，所述电子设备包括：处理器，存储器，总线和通信接口；所述处理器、所述通信接口和存储器通过所述总线连接；

所述存储器，用于存储程序；

所述处理器，用于通过调用存储在所述存储器中的程序，以执行如权利要求1-11任一权项所述的图像处理方法。

14.一种具有计算机可执行的非易失程序代码的计算机可读储存介质，其特征在于，所述程序代码使所述计算机执行如权利要求1-11任一权项所述的图像处理方法。

Images