CN111325830B - 图像处理方法、装置、电子设备及存储介质 - Google Patents

Abstract

本公开提供了一种图像处理方法、装置、电子设备及存储介质，其中，该图像处理方法包括：获取包含目标对象的待处理图像；提取所述待处理图像的特征信息，并对所述目标对象的形态类别进行分类，得到所述目标对象对应的分类信息；获取与所述分类信息指示的目标形态类别匹配的预设三维模型参数；基于所述特征信息和所述分类信息，对所述目标形态类别匹配的预设三维模型参数进行调整，得到用于表征所述目标对象的目标三维模型参数。

Description

图像处理方法、装置、电子设备及存储介质

技术领域

本公开涉及计算机视觉技术领域，具体而言，涉及一种图像处理方法、装置、电子设备及存储介质。

背景技术

随着互联网技术的发展，逐步兴起的多种场景均需要应用到三维模型，比如可以涉及到虚拟换装场景、增强现实场景以及一些电影特效拍摄和游戏制作场景，因此，如何来获取准确的三维模型就显示尤为重要。

发明内容

本公开实施例至少提供一种图像处理方案。

第一方面，本公开实施例提供了一种图像处理方法，包括：

获取包含目标对象的待处理图像；提取所述待处理图像的特征信息，并对所述目标对象的形态类别进行分类，得到所述目标对象对应的分类信息；获取与所述分类信息指示的目标形态类别匹配的预设三维模型参数；基于所述特征信息和所述分类信息，对所述目标形态类别匹配的预设三维模型参数进行调整，得到用于表征所述目标对象的目标三维模型参数。

本公开实施例中，在确定目标对象的目标三维模型参数时，不仅考虑了待处理对象的特征信息，还引入了目标对象的形态类别的分类信息，以及与分类信息指示的目标形态类别匹配的预设三维模型参数，利用特征信息和分类信息对预设三维模型参数进行调整，可以使得到的目标三维模型参数与目标对象的目标形态类别更为匹配，从而能够有效提高目标模型参数的准确度。

在一种可能的实施方式中，所述获取与所述分类信息指示的目标形态类别匹配的预设三维模型参数，包括：所述分类信息，确定所述目标对象所属的目标形态类别；在预先建立的对象原型库中获取与所述目标形态类别匹配的预设三维模型数；所述对象原型库中包含多种预设三维模型参数，每种预设三维模型参数用于表示所述目标对象的一种形态类别。

本公开实施例中，可以在预先建立的对象原型库中选择与待处理图像中目标对象的形态类别最接近的预设三维模型参数，进而便于基于该最接近的预设三维模型参数进一步准确得到目标对象的目标三维模型参数。

在一种可能的实施方式中，所述基于所述特征信息和所述分类信息，对所述目标形态类别匹配的预设三维模型参数进行调整，得到用于表征所述目标对象的目标三维模型参数，包括：基于所述特征信息和所述分类信息，确定三维模型参数残差，所述三维模型参数残差用于表征所述目标对象的实际三维模型参数和所述目标形态类别匹配的预设三维模型参数之间的差异信息；基于所述三维模型参数残差，对所述目标形态类别匹配的预设三维模型参数进行调整后，得到用于表征所述目标对象的目标三维模型参数。

引入通过特征信息和分类信息来确定用于表征目标对象的实际三维模型参数和目标形态类别匹配的预设三维模型参数之间的差异信息，然后基于该差异信息对预设三维模型参数进行调整，可以得到更靠近实际三维模型参数的目标三维模型参数，进一步提高目标对象对应的目标三维模型参数的准确度。

在一种可能的实施方式中，所述提取所述待处理图像的特征信息，并对所述目标对象的形态类别进行分类，得到所述目标对象对应的分类信息，包括：基于所述待处理图像和预先训练的图像解码器，提取所述待处理图像的特征信息；基于所述特征信息和预先训练的分类器，对所述目标对象的形态类别进行分类，得到所述目标对象对应的分类信息。

在一种可能的实施方式中，所述分类信息包含在多个形态类别下的分值构成的分值序列；所述基于所述分类信息，确定所述目标对象所属的目标形态类别，包括：获取所述分值序列中最高的分值对应的形态类别作为目标形态类别。

在一种可能的实施方式中，在得到用于表征所述目标对象的目标三维模型参数之后，所述图像处理方法还包括：基于所述目标三维模型参数，渲染并输出与所述目标对象对应的三维模型。

在一种可能的实施方式中，所述图像处理方法通过预先训练的神经网络实现；所述神经网络利用包含了样本对象的样本图像以及预先标注的与所述样本对象对应的实际对象信息训练得到，所述实际对象信息包含样本对象对应的实际三维模型参数。

在一种可能的实施方式中，所述神经网络按照以下方式训练得到：提取所述样本图像的样本特征信息，并对所述样本对象的样本形态类别进行分类，得到所述样本对象对应的样本分类信息；获取与所述样本分类信息指示的样本形态类别匹配的预设样本三维模型参数；基于所述样本特征信息和所述样本分类信息，对所述预设样本三维模型参数进行调整，得到用于表征所述样本对象的目标样本三维模型参数；基于所述样本对象对应的目标样本三维模型参数和所述样本对象对应的实际三维模型参数，对初始神经网络中的网络参数值进行调整，在训练完成后得到所述神经网络。

在该训练过程中，通过样本对象对应的目标样本三维模型参数和样本对象对应的实际三维模型参数，对神经网络中的网络参数值进行调整，以便准确得到神经网络。

在一种可能的实施方式中，所述获取与所述样本分类信息指示的样本形态类别匹配的预设样本三维模型参数，包括：基于所述样本分类信息，确定所述样本对象所属的样本形态类别；在预先建立的样本对象原型库中获取与所述样本形态类别匹配的预设样本三维模型参数；所述样本对象原型库中包含多种预设样本三维模型参数，每种预设样本三维模型参数用于表示所述样本对象的一种样本形态类别。

在一种可能的实施方式中，所述基于所述样本特征信息和所述样本分类信息，对所述预设样本三维模型参数进行调整，得到用于表征所述样本对象的目标样本三维模型参数，包括：基于所述样本特征信息和所述样本分类信息，确定样本三维模型参数残差，所述样本三维模型参数残差用于表征所述样本对象对应的实际样本三维模型参数和所述样本形态类别匹配的预设样本三维模型参数之间的差异信息；基于所述样本三维模型参数残差对所述样本对象对应的预设样本三维模型参数进行调整后，得到用于表征所述样本对象的目标样本三维模型参数。

在一种可能的实施方式中，所述实际对象信息还包括所述样本对象的实际形态类别对应的实际预设样本三维模型参数；所述网络参数值包括用于提取样本特征信息的图像解码器对应的第一网络参数值，用于确定所述样本分类信息的分类器对应的第二网络参数值，以及用于确定所述样本三维模型参数残差的参数估计器对应的第三网络参数值；所述基于所述样本对象对应的目标样本三维模型参数和所述样本对象对应的实际三维模型参数，对初始神经网络中的网络参数值进行调整，包括：基于所述预设样本三维模型参数和所述实际预设样本三维模型参数，确定所述预设样本三维模型参数对应的第一损失函数；基于所述样本对象对应的目标样本三维模型参数和所述样本对象对应的实际三维模型参数，确定所述目标样本三维模型参数对应的第二损失函数；基于所述第一损失函数和所述第二损失函数，对所述第一网络参数值、所述第二网络参数值和所述第三网络参数值进行调整。

该过程在调整神经网络中的网络参数值时，增加了对预设样本三维模型参数对应的第一损失函数的调整过程，对分类器和图像解码器中的网络参数值进行了额外调整，从而使得能够得到与样本对象更加匹配的预设样本三维模型参数，这样在对与样本对象更加匹配的预设样本三维模型参数进行修正后，可以得到与样本对象更加匹配的目标样本三维模型参数，以便通过不断调整网络参数值准确得到神经网络。

在一种可能的实施方式中，所述神经网络的网络参数值还包括所述预先建立的样本对象原型库中各个预设样本三维模型参数对应的参数调整值，所述基于所述第一损失函数和所述第二损失函数，对所述第一网络参数值、所述第二网络参数值和所述第三网络参数值进行调整，包括：基于所述参数调整值，确定所述样本对象原型库中各个预设样本三维模型参数对应的参数调整损失函数；基于所述第一损失函数、所述第二损失函数和所述参数调整损失函数，对所述第一网络参数值、所述第二网络参数值、所述第三网络参数值和所述参数调整值进行调整。

在一种可能的实施方式中，所述图像处理方法还包括：基于所述预先建立的样本对象原型库中的每个预设样本三维模型参数各自对应的调整后的参数调整值，对所述样本对象原型库中各个预设样本三维模型参数进行调整，得到包含多个预设三维模型参数的对象原型库。

本公开实施例引入预设样本三维模型参数对应的参数调整损失函数，这样在对神经网络中的网络参数值进行调整时，同时可以确定出样本对象原型库中各个初始的预设样本三维模型参数对应的参数调整量，进而可以基于该参数调整量对样本对象原型库中各个初始的预设样本三维模型参数进行动态调整，使得最终得到的预先建立的对象原型库中的形态类别的预设三维模型参数更加准确。

第二方面，本公开实施例提供了一种图像处理装置，包括：

图像获取模块，用于获取包含目标对象的待处理图像；类别确定模块，用于提取所述待处理图像的特征信息，并对所述目标对象的形态类别进行分类，得到所述目标对象对应的分类信息；参数确定模块，用于获取与所述分类信息指示的目标形态类别匹配的预设三维模型参数；参数调整模块，用于基于所述特征信息和所述分类信息，对所述目标形态类别匹配的预设三维模型参数进行调整，得到用于表征所述目标对象的目标三维模型参数。

在一种可能的实施方式中，所述参数确定模块在用于获取与所述分类信息指示的目标形态类别匹配的预设三维模型参数时，包括：基于所述分类信息，确定所述目标对象所属的目标形态类别；在预先建立的对象原型库中获取与所述目标形态类别匹配的预设三维模型参数；所述对象原型库中包含多种预设三维模型参数，每种预设三维模型参数用于表示所述目标对象的一种形态类别。

在一种可能的实施方式中，所述参数调整模块在用于基于所述特征信息和所述分类信息，对所述目标形态类别匹配的预设三维模型参数进行调整，得到用于表征所述目标对象的目标三维模型参数时，包括：基于所述特征信息和所述分类信息，确定三维模型参数残差，所述三维模型参数残差用于表征所述目标对象的实际三维模型参数和所述目标形态类别匹配的预设三维模型参数之间的差异信息；基于所述三维模型参数残差，对所述目标形态类别匹配的预设三维模型参数进行调整后，得到用于表征所述目标对象的目标三维模型参数。

在一种可能的实施方式中，所述类别确定模块在用于提取所述待处理图像的特征信息，并对所述目标对象的形态类别进行分类，得到所述目标对象对应的分类信息时，包括：基于所述待处理图像和预先训练的图像解码器，提取所述待处理图像的特征信息；基于所述特征信息和预先训练的分类器，对所述目标对象的形态类别进行分类，得到所述目标对象对应的分类信息。

在一种可能的实施方式中，所述分类信息包含在多个形态类别下的分值构成的分值序列；所述参数确定模块在用于基于所述分类信息，确定所述目标对象所属的目标形态类别时，包括：获取所述分值序列中最高的分值对应的形态类别作为目标形态类别。

在一种可能的实施方式中，所述图像处理装置还包括模型生成模块，在得到用于表征所述目标对象的目标三维模型参数之后，所述模型生成模块用于：基于所述目标三维模型参数，渲染并输出与所述目标对象对应的三维模型。

在一种可能的实施方式中，所述图像处理装置还包括网络训练模块，所述网络训练模块用于：训练进行图像处理的神经网络实现；所述神经网络利用包含了样本对象的样本图像以及预先标注的与所述样本对象对应的实际对象信息训练得到，所述实际对象信息包含样本对象对应的实际三维模型参数。

在一种可能的实施方式中，所述网络训练模块按照以下方式训练得到所述神经网络：提取所述样本图像的样本特征信息，对所述样本对象的样本形态类别进行分类，得到所述样本对象对应的样本分类信息；获取与所述样本分类信息指示的样本形态类别匹配的预设样本三维模型参数；基于所述样本特征信息和所述样本分类信息，对所述预设样本三维模型参数进行调整，得到用于表征所述样本对象的目标样本三维模型参数；基于所述样本对象对应的目标样本三维模型参数和所述样本对象对应的实际三维模型参数，对初始神经网络中的网络参数值进行调整，在训练完成后得到所述神经网络。

在一种可能的实施方式中，所述网络训练模块在用于获取与所述样本分类信息指示的样本形态类别匹配的预设样本三维模型参数时，包括：基于所述样本分类信息，确定所述样本对象所属的样本形态类别；在预先建立的样本对象原型库中获取与所述样本形态类别匹配的预设样本三维模型参数；所述样本对象原型库中包含多种预设样本三维模型参数，每种预设样本三维模型参数用于表示所述样本对象的一种样本形态类别。

在一种可能的实施方式中，所述网络训练模块在用于基于所述样本特征信息和所述样本分类信息，对所述预设样本三维模型参数进行调整，得到用于表征所述样本对象的目标样本三维模型参数时，包括：基于所述样本特征信息和所述样本分类信息，确定样本三维模型参数残差，所述样本三维模型参数残差用于表征所述样本对象对应的实际样本三维模型参数和所述样本形态类别匹配的预设样本三维模型参数之间的差异信息；基于所述样本三维模型参数残差对所述样本对象对应的预设样本三维模型参数进行调整后，得到用于表征所述样本对象的目标样本三维模型参数。

在一种可能的实施方式中，所述实际对象信息还包括所述样本对象的实际形态类别对应的实际预设样本三维模型参数；所述网络参数值包括用于提取样本特征信息的图像解码器对应的第一网络参数值，用于确定所述样本分类信息的分类器对应的第二网络参数值，以及用于确定所述样本三维模型参数残差的参数估计器对应的第三网络参数值；

所述网络训练模块在用于基于所述样本对象对应的目标样本三维模型参数和所述样本对象对应的实际三维模型参数，对初始神经网络中的网络参数值进行调整时，包括：基于所述预设样本三维模型参数和所述实际预设样本三维模型参数，确定所述预设样本三维模型参数对应的第一损失函数；基于所述样本对象对应的目标样本三维模型参数和所述样本对象对应的实际三维模型参数，确定所述目标样本三维模型参数对应的第二损失函数；基于所述第一损失函数和所述第二损失函数，对所述第一网络参数值、所述第二网络参数值和所述第三网络参数值进行调整。

在一种可能的实施方式中，所述神经网络的网络参数值还包括所述预先建立的样本对象原型库中各个预设样本三维模型参数对应的参数调整值，所述网络训练模块在用于基于所述第一损失函数和所述第二损失函数，对所述第一网络参数值、所述第二网络参数值和所述第三网络参数值进行调整时，包括：基于所述参数调整值，确定所述样本对象原型库中各个预设样本三维模型参数对应的参数调整损失函数；基于所述第一损失函数、所述第二损失函数和所述参数调整损失函数，对所述第一网络参数值、所述第二网络参数值、所述第三网络参数值和所述参数调整值进行调整。

在一种可能的实施方式中，所述网络训练模块还用于：基于所述预先建立的样本对象原型库中的每个预设样本三维模型参数各自对应的调整后的参数调整值，对所述样本对象原型库中各个预设样本三维模型参数进行调整，得到包含多个预设三维模型参数的对象原型库。

第三方面，本公开实施例提供了一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如第一方面所述的图像处理方法的步骤。

第四方面，本公开实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如第一方面所述的图像处理方法的步骤。

为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本公开实施例所提供的一种图像处理方法的流程图；

图2示出了本公开实施例所提供的一种进行图像处理的神经网络的结构示意图；

图3示出了本公开实施例所提供的一种进行图像处理方法的神经网络的训练方法流程图；

图4示出了本公开实施例所提供的一种网络参数值的调整方法流程图；

图5示出了本公开实施例所提供的一种图像处理装置的结构示意图；

图6示出了本公开实施例所提供的一种电子设备的结构示意图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。

随着互联网技术的发展，越来越多的场景需要使用到三维模型，比如动漫制作、增强现实等，在构建三维模型时，可以基于单张图像确定图像中的目标对象对应的三维模型，比如，以确定人体三维模型为例，可以基于单张图像中包含的特征信息来确定该单张图像中的人体对应的人体三维模型，该过程可以通过提取单张图像中的特征信息，然后基于提取的特征信息来预测该单张图像中的人体信息对应的人体三维模型，但是，通过该方式确定人体三维模型时，存在针对细微动作的预测不够准确，尤其是当单张图像中的人体动作较为罕见时，基于该方式确定的人体三维模型与单张图像中的人体动作存在较大差异。

本公开提供了一种图像处理方案，在确定目标对象的目标三维模型参数时，不仅考虑了待处理对象的特征信息，还引入了目标对象的形态类别的分类信息，以及与分类信息指示的目标形态类别匹配的预设三维模型参数，利用特征信息和分类信息对预设三维模型参数进行调整，可以使得到的目标三维模型参数与目标对象的目标形态类别更为匹配，从而能够有效提高目标模型参数的准确度。

下面将结合本公开中附图，对本公开中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

为便于对本实施例进行理解，首先对本公开实施例所公开的一种图像处理方法进行详细介绍，本公开实施例所提供的图像处理方法的执行主体一般为具有一定计算能力的计算机设备，该计算机设备例如包括：终端设备或服务器或其它处理设备。

参见图1所示，为本公开实施例提供的图像处理方法的流程图，该方图像处理方法包括步骤S101～S104：

S101，获取包含目标对象的待处理图像。

示例性的，目标对象可以为人、动物等，为便于理解，本公开以获取人体三维模型为例，则的目标对象以人为例。

示例性的，可以通过摄像机拍摄动作连续变化的目标对象，比如拍摄动作连续变化的目标人物，可以得到多张含该目标人物的待处理图像，后期通过对该待处理图像进行处理，可以得到该目标人物在不同动作下对应的三维模型。

S102，提取待处理图像的特征信息，并对目标对象的形态类别进行分类，得到目标对象对应的分类信息。

提取的待处理图像的特征信息，该过程将图像中的目标对象和背景区域转换为通过数值表示的特征信息，进一步地，可以趋向于提取待处理图像中用于表征目标对象的特征信息。

在得到待处理图像的特征信息后，可以基于该特征信息来对目标对象的形态类别进行分类，从而得到目标对象对应的分类信息。分类信息可以是用于表征目标对象的形态类别的信息，比如可以通过分类得分来表示，在后文进行详细阐述。目标对象的形态类别可以包含多种，以目标对象是人为例，形态类别可以是指目标对象的动作类别，比如可以包括坐姿、站姿、走路姿势、蹲姿、跳姿等，本申请对此并不限定。

S103，获取与分类信息指示的目标形态类别匹配的预设三维模型参数。

目标形态类别是指与待处理图像中的目标对象匹配的形态类别，目标形态类别匹配的预设三维模型参数是指用于表示该目标形态类别对应的三维模型的参数值，比如目标形态类别为人体坐姿，则预设三维模型参数是指用来表示人体坐姿的三维模型的参数值。

S104，基于特征信息和分类信息，对目标形态类别匹配的预设三维模型参数进行调整，得到用于表征目标对象的目标三维模型参数。

上述得到的目标形态类别匹配的预设三维模型参数能够粗略表征目标对象的形态类别，这里提出基于特征信息和分类信息，对该预设三维模型参数进行调整，特征信息能够趋向于表征待处理图像中目标对象的特征，基于该特征信息和分类信息，可以首先确定出需要调整的参数值，然后基于确定的需要调整的参数值对预设三维模型参数进行调整，可以得到目标三维模型参数。具体调整过程，将在后文进行详细阐述。

下面将针对上述S101～S104将结合具体的实施例进行详细阐述。

针对上述步骤S102，可以包括：

(1)基于待处理图像和预先训练的图像解码器，提取待处理图像的特征信息；

(2)基于特征信息和预先训练的分类器，确定目标对象的形态类别进行分类，得到目标对象对应的分类信息。

在一些实施例中，图像解码器可以用于对待处理图像进行尺寸压缩，并提取待处理图像中的特征信息，图像解码器在提取特征信息时，可以趋向于提取待处理图像中的目标对象的特征信息。

在一些实施例中，分类器可以基于待处理图像的特征信息，对待处理图像中的目标对象的形态类别进行分类，得到目标对象对应的分类信息。

示例性的，分类信息可以包含在多个形态类别下的分值构成的分值序列，预先训练的分类器可以基于特征信息对目标对象属于每个形态类别进行打分，得到该分值序列。

在一些实施例中，获取与该分类信息指示的目标形态类别匹配的预设三维模型参数，具体可以包括：

(1)基于分类信息，确定目标对象所属的目标形态类别。

其中，分类信息可以包含在多个形态类别下的分值构成的分值序列，在基于分类信息，确定目标对象所属的目标形态类别时，可以获取该分值序列中最高的分值对应的形态类别作为该目标形态类别。

(2)在预先建立的对象原型库中获取与目标形态类别匹配的预设三维模型参数，其中，对象原型库中包含多种预设三维模型参数，每种预设三维模型参数用于表示目标对象的一种形态类别。

以构建人体三维模型为例，对象原型库可以为人体原型库，该人体原型库中可以包括多个人体形态类别对应的预设三维模型参数，每种预设三维模型参数可以用于表示一种人体形态类别，比如对象原型库中的每种三维模型参数可以用于表示一种预设人体动作。

示例性的，人体形态类别对应的预设三维模型参数可以包括用来表示人体高矮胖瘦、头身比、躯干和腿部比等比例的参数值，以及包括用来表示人体整体运动位姿和关节相对角度的参数，示例性的，每个人体形态类别对应的三维模型参数均可以通过SMPL模型来表示，通过一种参数化人体模型来进行表示。

预先建立的对象原型库在建立过程中可以先预先采集多种不同人形态类别，然后通过不断调整这些不同人体形态类别各自对应的三维模型参数信息，得到建立好的对象原型库，该过程将在后文进行详细说明，在此不进行赘述。

在得到目标对象的所属的目标形态类别后，可以基于该目标形态类别在预先建立的对象原型库中提取出与该目标形态类别对应的预设三维模型参数，该预设三维模型参数能够表示待处理图像中的目标对象的动作类别，比如，当待处理图像中的目标对象为站立的人时，则基于目标形态类别提取的预设三维模型参数表征的为站立的三维人体模型。

示例性的，当分类信息包含在多个形态类别下的分值构成的分值序列时，分值序列中包含的分值个数与对象原型库中包含的形态类别的个数相同，可以基于分值序列中分值的高低，在预先建立的对象原型库中获取与该目标形态类别对应的预设三维模型参数。

比如，可以预先为分值序列中每个位置的分值设置对应的形态类别标识，比如针对对象原型库中包含n个形态类别对应的预设三维模型参数时，可以同样预先为分值序列设置n个分值，每个分值对应一个形态类别标识，比如分值序列中的第一个分值对应的形态类别标识为001，第二个分值对应的形态类别标识为002，依次类推，第n个分值对应的形态类别标识为n。

对应地，预先建立的对象原型库中包含的形态类别也可以设置与分值序列中的形态类别标识对应的标识，比如对象原型库中包含的n个形态类别，可以将这n个形态类别的标识依次记为1～n，这样，可以在确定分值序列中最高的分值对应的形态类别标识后，按照该形态类别标识和对象原型库中的各个形态类别对应的标识，提取与最高分值的形态类别标识对应标识的预设三维模型参数作为与目标形态类别匹配的预设三维模型参数，比如，获取到的分值序列中最高的分值对应的类别标识为002，则在预先建立的对象原型库中，选择第2个形态类别的预设三维模型参数作为与目标形态类别对应的预设三维模型参数。

本公开实施例中，按照上述方式可以在预先建立的对象原型库中选择与待处理图像中目标对象的形态类别最接近的预设三维模型参数，进而便于基于该最接近的预设三维模型参数进一步准确得到目标对象的目标三维模型参数。

在得到待处理图像中的目标对象对应的预设三维模型参数后，可以进一步基于待处理图像的特征信息和目标对象对应的分类信息，对预设三维模型参数进行调整，得到用于表征目标对象的目标三维模型参数，具体可以包括：

(1)基于特征信息和分类信息，确定三维模型参数残差，该三维模型参数残差用于表征目标对象的实际三维模型参数和目标形态类别匹配的预设三维模型参数之间的差异信息；

(2)基于该三维模型参数残差，对目标形态类别匹配的预设三维模型参数进行调整后，得到用于表征目标对象的目标三维模型参数。

基于待处理图像的特征信息和目标对象对应的分类信息，来确定三维模型参数残差，确定目标对象对应的实际模型参数信息与原型参数信息之间的差异信息，具体可以基于预先训练的神经网络来确定，将在后文进行解释。

引入的三维模型参数残差用来表示目标对象对应的预设三维模型参数与实际三维模型参数之间的差异，比如，目标对象为身高为180cm的用户，该目标对象对应的实际模型参数中表示身高的参数值为180cm，而通过分类信息，在对象原型库中获取的与该目标对象对应的预设三维模型参数中展示的该目标对象身高的参数值为178cm，若三维模型参数残差中可以包含表示身高差异的参数值为1.5cm，这样，通过该三维模型参数残差对目标对象对应的预设三维模型参数进行修正后，能够得到更接近目标对象真实身高的目标三维模型参数。

在得到三维模型参数残差后，可以通过将预设三维模型参数和三维模型参数残差进行求和，可得到目标对象对应的目标三维模型参数。

引入通过特征信息和分类信息来确定用于表征目标对象的实际三维模型参数和目标形态类别匹配的预设三维模型参数之间的差异信息，然后基于该差异信息对预设三维模型参数进行调整，可以得到更靠近实际三维模型参数的目标三维模型参数，进一步提升目标三维模型参数的准确度。

针对上述提到的基于特征信息和分类信息，确定三维模型参数残差的过程，可以按照以下方式确定：

(1)对特征信息和分类信息进行拼接，得到拼接信息；

(2)基于拼接信息和预先训练的参数估计器，得到三维模型参数残差。

示例性的，基于图像解码器提取到的待处理图像的特征信息，以及目标对象对应的分类信息均可以通过同一个维度上的数值进行表示，比如特征信息可以包括X轴上的m个数值组合的数值序列，而分类信息也可以包括X轴上的n个分值组成的分值序列，对特征信息和分类信息进行拼接后，就得到X轴上m+n个数值构成的数值序列。

然后将拼接构成的数值序列输入预先训练的参数估计器，可以得到的三维模型参数残差。

得到三维模型参数残差后，可以基于该三维模型参数残差对目标形态类别匹配的预设三维模型参数进行调整，得到目标对象对应的目标三维模型参数信息，具体如下：

将目标形态类别匹配的的预设三维模型参数与三维模型参数残差进行相加，可以得到目标对象对应的目标三维模型参数。

对象原型库中包含的形态类别的预设三维模型参数可以通过多个向量构成的矩阵来表示，每个形态类别的预设三维模型参数可以通过包含多个参数值的向量表示，这样，若对象原型库中包括n个形态类别，每个形态类别的预设三维模型参数包含t个参数时，则对象原型库中的预设三维模型参数的矩阵可以由n个t维度的向量构成。

对象原型库中的每个预设三维模型参数中包含参数类别与三维模型参数残差中包含的参数类别相同，以及，每个预设三维模型参数中的参数类别顺序与三维模型参数残差中的参数类别顺序相同，比如，若某个目标对象对应的预设三维模型参数是对象原型库中第1个形态类别的预设三维模型参数，若该预设三维模型参数包含t个参数，则该预设三维模型参数可以通过向量M₁表示，示例性的，M₁可以记为M₁＝(m₁...m_t)，预设三维模型参数中的每个预设参数表示的含义不同，比如可以包括表示个人体高矮胖瘦、头身比、关节角度等含义的预设参数，这些预设参数整体可以用于表示目标对象的形态类别，对应地，与该目标对象对应的三维模型参数残差同样是由t个参数残差构成的向量，可以记录为ΔN₁，可以记为ΔN₁＝(Δn₁ ... Δn_t)，三维模型参数残差中的每个位置的参数残差的含义可以表示目标对象在该位置对应的实际参数值与预设参数值之间的差值，基于此，可以使得预设三维模型参数和三维模型参数残差中相同位置处的参数值相加，可以得到该目标对象对应的目标三维模型参数M₁'，目标三维模型参数可以为由t个参数值构成的向量，具体可以记为M₁'＝(m₁+Δn₁ ... m_t+Δn_t)。

进一步地，得到与目标对象对应的目标三维模型参数之后，本公开实施例提供的图像处理方法还包括：

基于目标三维模型参数，渲染并输出与目标对象对应的三维模型。

因为目标三维模型参数中包含有表示目标对象形态类别的参数值，则基于这些参数值可以渲染展示出该目标对象对应的三维模型。

将与目标对象对应的三维模型输出后，可以基于该三维模型进行后续应用，比如进行虚拟换装，在三维模型上渲染不同的服装，可以直观观看到服装效果；或者可以应用于增强现实，通过三维模型将目标对象渲染成不同的人物形象；或者还可以应用于影视和游戏特效。

以上过程中的图像处理方法可以通过预先训练的神经网络来实现，该神经网络的结构示意图可以如图2所示，示例性的，该神经网络可以包括图像解码器、分类器、参数估计器，另外，为了得到更加准确的特征信息，图2中给出的神经网络还可以包含对特征信息进一步进行特征提取的特征解码器，下面结合图2对上述图像处理方法进行说明：

获取到待处理图像，如图2所示，该待处理图像包含的目标对象为摆出滑雪姿势的人物，将该待处理图像输入至图像解码器，得到特征信息f1，然后将该特征信息f1输入分类器，对目标对象的形态类别进行分类，得到目标对象对应的分类得分；另外，将特征信息f1输入特征解码器进一步进行特征提取，得到特征信息f2，然后通过分类得分，在对象原型库中提取出与目标对象的目标形态类别匹配的预设三维模型参数，以及通过对分类得分和特征信息f2进行拼接后，输入参数估计器，得到三维模型参数残差，进一步基于三维模型参数残差对目标形态类别匹配的预设三维模型参数进行调整后，得到目标对象对应的目标三维模型参数，然后基于该目标三维模型参数可以得到与目标对象匹配的人体三维模型。

以上过程是针对如何对待处理图像进行处理，得到待处理图像中的目标对象对应的三维模型的过程，下面，将针对上文提到的神经网络的训练过程进行详细阐述，该神经网络利用包含了样本对象的样本图像以及预先标注的与样本对象对应的实际对象信息训练得到，实际对象信息包含样本对象对应的实际三维模型参数，具体过程如下。

如图3所示，本公开实施例提供的神经网络可以按照以下方式训练得到：

S301，提取样本图像的样本特征信息，并对样本对象的样本形态类别进行分类，得到样本对象对应的样本分类信息。

若上文的待处理图像中包含的目标对象是人物，要得到人体三维图像，则样本图像中的样本对象也为人物，可以通过摄像机拍摄动作连续变化的样本对象，得到多张样本图像，针对每张样本图像中的样本人物，均可以预先采集该人物在该样本图像中对应的实际对象信息。

样本对象对应的实际对象信息，可以包括表征该样本对象的实际样本形态类别的实际三维模型参数，根据该实际三维模型参数可以生成该样本对象对应的实际三维模型。

特别地，实际对象信息还可以包含样本对象在样本图像中的平面关键点位置和三维关节位置，比如平面关键点位置可以包括五官的关键点在样本图像中的位置，三维关节位置可以包括膝盖、踝关节、肘关节等三维关节在样本图像中的位置。

提取样本图像的样本特征信息与上文介绍的提取待处理图像的特征信息的过程相似，以及确定样本对象的样本分类信息与上文介绍的确定目标对象的分类信息的过程相似，在此不再进行赘述。

S302，获取与样本分类信息指示的样本形态类别匹配的预设样本三维模型参数。

获取与样本分类信息指示的样本形态类别匹配的预设样本三维模型参数的过程与上文获取目标形态类别匹配的预设三维模型参数的过程详细，在此不进行赘述。

S303，基于样本特征信息和样本分类信息，对预设样本三维模型参数进行调整，得到用于表征样本对象的目标样本三维模型参数。

得到用于表征样板对象的目标样本三维模型参数的过程，与上文得到目标对象的目标三维模型参数的过程相似，在此不进行赘述。

S304，基于样本对象对应的目标样本三维模型参数和样本对象对应的实际三维模型参数，对初始神经网络中的网络参数值进行调整，在训练完成后得到神经网络。

可以将样本图像输入神经网络中的图像解码器后，最终得到样本图像中样本对象对应的目标三维模型参数，然后基于样本对象对应的目标三维模型参数以及预先标注的与样本对象对应的实际三维模型参数，确定样本对象的目标样本三维模型参数对应的损失函数，然后通过不断调整损失函数的损失值，对神经网络中的网络参数值进行调整。

本公开上述步骤S301～S304提出的神经网络的训练过程，在该训练过程中，通过样本对象对应的目标样本三维模型参数和样本对象对应的实际三维模型参数，对神经网络中的网络参数值进行调整，可以得到能够对待处理图像进行处理，准确得到待处理图像中的目标对象对应的目标三维模型参数的神经网络。

上述在神经网络的训练过程中，步骤S302提出的获取与样本分类信息指示的样本形态类别匹配的预设样本三维模型参数的过程，包括：

(1)基于样本分类信息，确定样本对象所属的样本形态类别；

(2)在预先建立的样本对象原型库中获取与样本形态类别匹配的预设样本三维模型参数；样本对象原型库中包含多种预设样本三维模型参数，每种预设样本三维模型参数用于表示样本对象的一种样本形态类别。

预先建立的样本对象原型库中可以包含设定个数的样本形态类别对应的预设样本三维模型参数，为了提高神经网络的准确度，也会调整样本对象原型库中各个样本形态类别对应的预设样本三维模型参数，该过程在后续进行介绍。

基于样本分类信息，确定样本对象所属的样本形态类别的过程，与上文基于分类信息，确定目标对象所属的目标形态类别的过程相似，在此不进行赘述，以及在预先建立的样本对象原型库中获取与样本形态类别匹配的预设样本三维模型参数的过程，与上文提到的在预先建立的对象原型库中获取与目标形态类别匹配的预设三维模型参数的过程相似，在此不再赘述。

上述在神经网络的训练过程中，步骤S303提出基于样本特征信息和样本分类信息，对预设样本三维模型参数进行调整，得到用于表征样本对象的目标样本三维模型参数的过程，包括：

(1)基于样本特征信息和样本分类信息，确定样本三维模型参数残差，样本三维模型参数残差用于表征样本对象对应的实际样本三维模型参数和样本形态类别匹配的预设样本三维模型参数之间的差异信息；

(2)基于样本三维模型参数残差对样本对象对应的预设样本三维模型参数进行调整后，得到用于表征样本对象的目标样本三维模型参数。

基于样本特征信息和样本分类信息，确定样本三维模型参数残差的过程与上文提到的基于特征信息和分类信息，确定三维模型参数残差的过程相似，在此不再赘述。

基于样本三维模型参数残差对样本对象对应的预设样本三维模型参数进行调整，得到样本对象对应的目标样本三维模型参数的过程，与上文基于三维模型参数残差对预设三维模型参数进行调整，得到与目标对象对应的目标三维模型参数的过程相似，在此不再赘述。

特别地，针对上文提到的神经网络中包括的图像解码器、分类器、参数估计器等情况，在对神经网络中的网络参数值进行调整时，可以包含对本公开提出的图像解码器、分类器、参数估计器中的网络参数值进行调整。

示例性的，上述提到的实际对象信息还包括样本对象的实际形态类别对应的实际预设三维模型参数，在获取到样本图像的同时，也获取到该样本图像中的样本对象在样本对象原型库中对应的实际预设三维模型参数；网络参数值包括用于提取样本特征信息的图像解码器对应的第一网络参数值，用于确定样本分类信息的分类器对应的第二网络参数值，以及用于确定样本三维模型参数残差的参数估计器对应的第三网络参数值。

上述步骤S304提出的，基于样本对象对应的目标样本三维模型参数和样本对象对应的实际三维模型参数，对初始神经网络中的网络参数值进行调整时，如图4所示，具体可以包括以下步骤：

S401，基于预设样本三维模型参数和实际预设样本三维模型参数，确定预设样本三维模型参数对应的第一损失函数。

在根据样本分类信息确定预设样本三维模型参数，可能存在误差，比如样本分类信息中包含的分值序列中，最高的分值对应的类别标识为002，这样基于该分类信息提取到的预设样本三维模型参数为与类别标识002对应的预设样本三维模型参数，此时若样本对象对应的实际预设样本三维模型参数为类别标识003对应的预设样本三维模型参数，则可以表明分类器和图像解码器在预测样本分类信息时不够准确，这样，基于多个样本对象对应的预设样本三维模型参数和实际预设样本三维模型参数，可以确定预设样本三维模型参数对应的第一损失函数。

S402，基于样本对象对应的目标样本三维模型参数和样本对象对应的实际三维模型参数，确定目标样本三维模型参数对应的第二损失函数。

在确定目标样本三维模型参数时，涉及到图像解码器、分类器以及参数估计器，当然，若需要对图像解码器得到的样本特征信息进行进一步提取特征时，在确定目标样本三维模型参数时，还包括特征解码器。

特别地，在得到样本对象对应的目标样本三维模型参数后，可以基于该目标样本三维模型参数提取样本图像中样本对象的平面关键点位置和三维关节位置，这样，结合实际对象信息包含的样本对象实际对应的平面关键点位置和三维关节位置，确定的目标样本三维模型参数对应的第二损失函数还可以包含平面关键点位置对应的损失函数和三维关节位置对应的损失函数。

S403，基于第一损失函数和第二损失函数，对第一网络参数值、第二网络参数值和第三网络参数值进行调整。

在得到第一损失函数和第二损失函数后，可以对第一损失函数和第二损失函数求和，得到神经网络对应的损失函数之和，然后通过不断地调整第一损失函数中的网络参数值，以及第二损失函数中的网络参数值，使得损失函数之和的损失值达到最小，或者训练达到设定次数，可以得到上述提到的第一网络参数值、第二网络参数值和第三网络参数值。

本公开实施例提出的上述S401～S403，在调整神经网络中的网络参数值时，增加了对预设样本三维模型参数对应的第一损失函数的调整过程，对分类器和图像解码器中的网络参数值进行了额外调整，从而使得能够得到与样本对象更加匹配的预设样本三维模型参数，这样在对与样本对象更加匹配的预设样本三维模型参数进行修正后，可以得到与样本对象更加匹配的目标样本三维模型参数，以便通过不断调整网络参数值准确得到神经网络。

上文提到，随着对神经网络的不断训练，为了提高神经网络的准确度，也会调整样本对象原型库中各个样本形态类别对应的预设样本三维模型参数，下面对该过程进行介绍。

神经网络的网络参数值还包括预先建立的样本对象原型库中各个预设样本三维模型参数对应的参数调整值，每个预设样本三维模型参数对应的参数调整值为在神经网络的训练过程中，需要确定对该预设样本三维模型参数进行动态调整时的调整量，比如，样本对象原型库中的各个样本形态类别均对应有初始的预设样本三维模型参数，随着对神经网络的训练，可以基于每次训练得到的每个预设样本三维模型参数对应的参数调整值，对该预设样本三维模型参数进行动态更新。

示例性的，样本对象原型库中各个预设样本三维模型参数对应的参数调整值的确定过程，与神经网络中针对网络参数值的调整相关，示例性的，在上述S403中，在基于第一损失函数和第二损失函数，对第一网络参数值、第二网络参数值和第三网络参数值进行调整时，可以包括：

(1)基于参数调整值，确定样本对象原型库中各个预设样本三维模型参数对应的参数调整损失函数。

参数调整损失函数与参数调整值有关，基于样本对象原型库中各个预设样本三维模型参数对应的参数调整值，可以得到与样本对象原型库中各个预设样本三维模型参数对应的参数调整损失函数。

(2)基于第一损失函数、第二损失函数和参数调整损失函数，对第一网络参数值、第二网络参数值、第三网络参数值和参数调整值进行调整。

然后进一步地，对第一损失函数、第二损失函数和参数调整损失函数进行求和，得到神经网络对应的损失函数之和，通过设置第一网络参数值、第二网络参数值、第三网络参数值和参数调整值各自对应的初始值，然后在每次对神经网络进行训练过程中，按照第一网络参数值对应的调整变化量、第二网络参数值对应的调整变化量、第三网络参数值对应的调整变化量以及参数调整值对应的调整变化量，分别对第一网络参数值、第二网络参数值、第三网络参数值和参数调整值各自对应的初始值进行调整，直至神经网络对应的损失函数之和的损失值达到最小，或者达到预设的训练次数后，可以得到第一网络参数值、第二网络参数值、第三网络参数值和调整后的参数调整值。

示例性的，在确定样本对象原型库中初始的预设样本三维模型参数时，可以采用平衡K-Means聚类算法，通过获取大量的样本对象，选取K个样本形态类别作为初始的聚类中心，然后计算每个样本对象对应的形样本态类别与各个聚类中心之间的距离，采用平衡K-Means聚类算法，统计出大量的样本对象的样本形态类别包含的种类，将最终得到的每个聚类中心的样本形态类别作为初始的样本形态类别，这些初始的样本形态类别各自对应的样本三维模型参数作为样本对象原型库中的初始的预设样本三维模型参数。

进一步地，在对参数调整值进行调整确定预先建立的样本对象原型库中的每个预设样本三维模型参数各自对应的调整后的参数调整值后，本公开实施例提供图像处理方法还包括：

基于预先建立的样本对象原型库中的每个预设样本三维模型参数各自对应的调整后的参数调整值，对样本对象原型库中各个预设样本三维模型参数进行调整，得到包含多个预设三维模型参数的对象原型库。

比如，若样本对象原型库中包含n个样本形态类别，且每个样本形态类别的预设样本三维模型参数包含t个参数值，则样本对象原型库中的初始的预设样本三维模型参数可以通过矩阵

表示，该矩阵

由n个维度为t的向量构成，参数调整值同样也可以由n个维度为t的向量构成，对应可以记录为ΔM，在基于每个预设样本三维模型参数各自对应的调整后的参数调整值，对样本对象原型库中各个预设样本三维模型参数进行调整时，可以对矩阵

和矩阵ΔM进行求和，得到通过矩阵M进行表示的预设三维模型参数，同样，矩阵M同样由n个维度为t的向量构成，在对样本对象原型库中的各个预设样本三维模型参数进行调整后，得到上文提到的预先建立的对象原型库。

本公开实施例引入预设样本三维模型参数对应的参数调整损失函数，这样在对神经网络中的网络参数值进行调整时，同时可以确定出样本对象原型库中各个初始的预设样本三维模型参数对应的参数调整量，进而可以基于该参数调整量对样本对象原型库中各个初始的预设样本三维模型参数进行动态调整，使得最终得到的预先建立的对象原型库中的形态类别的预设三维模型参数更加准确。

本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

基于同一技术构思，本公开实施例中还提供了与图像处理方法对应的图像处理装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述图像处理方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。

参照图5所示，为本公开实施例提供的一种图像处理装置500的结构示意图，该图像处理装置500包括：图像获取模块501、类别确定模块502、参数确定模块503和参数调整模块504。

图像获取模块501，用于获取包含目标对象的待处理图像；

类别确定模块502，用于提取待处理图像的特征信息，并对目标对象的形态类别进行分类，得到目标对象对应的分类信息；

参数确定模块503，用于获取与分类信息指示的目标形态类别匹配的预设三维模型参数；

参数调整模块504，用于基于特征信息和分类信息，对目标形态类别匹配的预设三维模型参数进行调整，得到用于表征目标对象的目标三维模型参数。

在一种可能的实施方式中，参数确定模块503在用于获取与分类信息指示的目标形态类别匹配的预设三维模型参数时，包括：

基于分类信息，确定目标对象所属的目标形态类别；

在预先建立的对象原型库中获取与目标形态类别匹配的预设三维模型参数；对象原型库中包含多种预设三维模型参数，每种预设三维模型参数用于表示目标对象的一种形态类别。

在一种可能的实施方式中，参数调整模块504在用于基于特征信息和分类信息，对目标形态类别匹配的预设三维模型参数进行调整，得到用于表征目标对象的目标三维模型参数时，包括：

基于特征信息和分类信息，确定三维模型参数残差，三维模型参数残差用于表征目标对象的实际三维模型参数和目标形态类别匹配的预设三维模型参数之间的差异信息；

基于三维模型参数残差，对目标形态类别匹配的预设三维模型参数进行调整后，得到用于表征目标对象的目标三维模型参数。

在一种可能的实施方式中，类别确定模块502在用于提取待处理图像的特征信息，并对目标对象的形态类别进行分类，得到目标对象对应的分类信息时，包括：

基于待处理图像和预先训练的图像解码器，提取待处理图像的特征信息；

基于特征信息和预先训练的分类器，对目标对象的形态类别进行分类，得到目标对象对应的分类信息。

在一种可能的实施方式中，分类信息包含在多个形态类别下的分值构成的分值序列；

参数确定模块503在用于基于分类信息，确定目标对象所属的目标形态类别时，包括：获取分值序列中最高的分值对应的形态类别作为目标形态类别。

在一种可能的实施方式中，图像处理装置500还包括模型生成模块505，在得到用于表征目标对象的目标三维模型参数之后，模型生成模块505用于：

基于目标三维模型参数，渲染并输出与目标对象对应的三维模型。

在一种可能的实施方式中，图像处理装置500还包括网络训练模块506，网络训练模块506用于：

训练进行图像处理的神经网络实现；神经网络利用包含了样本对象的样本图像以及预先标注的与样本对象对应的实际对象信息训练得到，实际对象信息包含样本对象对应的实际三维模型参数。

在一种可能的实施方式中，网络训练模块506按照以下方式训练得到神经网络：

提取样本图像的样本特征信息，对样本对象的样本形态类别进行分类，得到样本对象对应的样本分类信息；

获取与样本分类信息指示的样本形态类别匹配的预设样本三维模型参数；

基于样本特征信息和样本分类信息，对预设样本三维模型参数进行调整，得到用于表征样本对象的目标样本三维模型参数；

基于样本对象对应的目标样本三维模型参数和样本对象对应的实际三维模型参数，对初始神经网络中的网络参数值进行调整，在训练完成后得到神经网络。

在一种可能的实施方式中，网络训练模块506在用于获取与样本分类信息指示的样本形态类别匹配的预设样本三维模型参数时，包括：

基于样本分类信息，确定样本对象所属的样本形态类别；

在预先建立的样本对象原型库中获取与样本形态类别匹配的预设样本三维模型参数；样本对象原型库中包含多种预设样本三维模型参数，每种预设样本三维模型参数用于表示样本对象的一种样本形态类别。

在一种可能的实施方式中，网络训练模块506在用于基于样本特征信息和样本分类信息，对预设样本三维模型参数进行调整，得到用于表征样本对象的目标样本三维模型参数时，包括：

基于样本特征信息和样本分类信息，确定样本三维模型参数残差，样本三维模型参数残差用于表征样本对象对应的实际样本三维模型参数和样本形态类别匹配的预设样本三维模型参数之间的差异信息；

基于样本三维模型参数残差对样本对象对应的预设样本三维模型参数进行调整后，得到用于表征样本对象的目标样本三维模型参数。

在一种可能的实施方式中，实际对象信息还包括样本对象的实际形态类别对应的实际预设样本三维模型参数；网络参数值包括用于提取样本特征信息的图像解码器对应的第一网络参数值，用于确定样本分类信息的分类器对应的第二网络参数值，以及用于确定样本三维模型参数残差的参数估计器对应的第三网络参数值；

网络训练模块506在用于基于样本对象对应的目标样本三维模型参数和样本对象对应的实际三维模型参数，对初始神经网络中的网络参数值进行调整时，包括：

基于预设样本三维模型参数和实际预设样本三维模型参数，确定预设样本三维模型参数对应的第一损失函数；

基于样本对象对应的目标样本三维模型参数和样本对象对应的实际三维模型参数，确定目标样本三维模型参数对应的第二损失函数；

基于第一损失函数和第二损失函数，对第一网络参数值、第二网络参数值和第三网络参数值进行调整。

在一种可能的实施方式中，神经网络的网络参数值还包括预先建立的样本对象原型库中各个预设样本三维模型参数对应的参数调整值，网络训练模块506在用于基于第一损失函数和第二损失函数，对第一网络参数值、第二网络参数值和第三网络参数值进行调整时，包括：

基于参数调整值，确定样本对象原型库中各个预设样本三维模型参数对应的参数调整损失函数；

基于第一损失函数、第二损失函数和参数调整损失函数，对第一网络参数值、第二网络参数值、第三网络参数值和参数调整值进行调整。

在一种可能的实施方式中，网络训练模块506还用于：

基于预先建立的样本对象原型库中的每个预设样本三维模型参数各自对应的调整后的参数调整值，对样本对象原型库中各个预设样本三维模型参数进行调整，得到包含多个预设三维模型参数的对象原型库。

本公开实施例还提供了一种电子设备600，如图6所示，为本公开实施例提供的电子设备600结构示意图，包括：

处理器61、存储器62、和总线63；存储器62用于存储执行指令，包括内存621和外部存储器622；的内存621也称内存储器，用于暂时存放处理器61中的运算数据，以及与硬盘等外部存储器622交换的数据，处理器61通过内存621与外部存储器622进行数据交换，当电子设备600运行时，处理器61与存储器62之间通过总线63通信，使得处理器61执行以下指令：

获取包含目标对象的待处理图像；

提取待处理图像的特征信息，并对目标对象的形态类别进行分类，得到目标对象对应的分类信息；

获取与分类信息指示的目标形态类别匹配的预设三维模型参数；

基于特征信息和分类信息，对目标形态类别匹配的预设三维模型参数进行调整，得到用于表征目标对象的目标三维模型参数。

本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的图像处理方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。

本公开实施例所提供的图像处理方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行上述方法实施例中所述的图像处理方法的步骤，具体可参见上述方法实施例，在此不再赘述。

本公开实施例还提供一种计算机程序，该计算机程序被处理器执行时实现前述实施例的任意一种方法。该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software DevelopmentKit，SDK)等等。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。

Claims (18)

1.一种图像处理方法，其特征在于，包括：

获取包含目标对象的待处理图像；

利用预先训练的神经网络，提取所述待处理图像的特征信息，并对所述目标对象的形态类别进行分类，得到所述目标对象对应的分类信息；

获取与所述分类信息指示的目标形态类别匹配的预设三维模型参数；

基于所述特征信息和所述分类信息，对所述目标形态类别匹配的预设三维模型参数进行调整，得到用于表征所述目标对象的目标三维模型参数；

所述神经网络按照以下方式训练得到：

提取包含了样本对象的样本图像的样本特征信息，并对所述样本对象的样本形态类别进行分类，得到所述样本对象对应的样本分类信息；

获取与所述样本分类信息指示的样本形态类别匹配的预设样本三维模型参数；

基于所述样本特征信息和所述样本分类信息，对所述预设样本三维模型参数进行调整，得到用于表征所述样本对象的目标样本三维模型参数；

基于所述样本对象对应的目标样本三维模型参数和所述样本对象对应的实际三维模型参数，对初始神经网络中的网络参数值进行调整，在训练完成后得到所述神经网络，所述实际三维模型参数包含于预先标注的与所述样本对象对应的实际对象信息中。

2.根据权利要求1所述的图像处理方法，其特征在于，所述获取与所述分类信息指示的目标形态类别匹配的预设三维模型参数，包括：

基于所述分类信息，确定所述目标对象所属的目标形态类别；

在预先建立的对象原型库中获取与所述目标形态类别匹配的预设三维模型参数；所述对象原型库中包含多种预设三维模型参数，每种预设三维模型参数用于表示所述目标对象的一种形态类别。

3.根据权利要求1所述的图像处理方法，其特征在于，所述基于所述特征信息和所述分类信息，对所述目标形态类别匹配的预设三维模型参数进行调整，得到用于表征所述目标对象的目标三维模型参数，包括：

基于所述特征信息和所述分类信息，确定三维模型参数残差，所述三维模型参数残差用于表征所述目标对象的实际三维模型参数和所述目标形态类别匹配的预设三维模型参数之间的差异信息；

基于所述三维模型参数残差，对所述目标形态类别匹配的预设三维模型参数进行调整后，得到用于表征所述目标对象的目标三维模型参数。

4.根据权利要求1所述的图像处理方法，其特征在于，所述提取所述待处理图像的特征信息，并对所述目标对象的形态类别进行分类，得到所述目标对象对应的分类信息，包括：

基于所述待处理图像和预先训练的图像解码器，提取所述待处理图像的特征信息；

基于所述特征信息和预先训练的分类器，对所述目标对象的形态类别进行分类，得到所述目标对象对应的分类信息。

5.根据权利要求2所述的图像处理方法，其特征在于，所述分类信息包含在多个形态类别下的分值构成的分值序列；

所述基于所述分类信息，确定所述目标对象所属的目标形态类别，包括：获取所述分值序列中最高的分值对应的形态类别作为目标形态类别。

6.根据权利要求1至5任一所述的图像处理方法，其特征在于，在得到用于表征所述目标对象的目标三维模型参数之后，所述图像处理方法还包括：

基于所述目标三维模型参数，渲染并输出与所述目标对象对应的三维模型。

7.根据权利要求1所述的图像处理方法，其特征在于，所述获取与所述样本分类信息指示的样本形态类别匹配的预设样本三维模型参数，包括：

基于所述样本分类信息，确定所述样本对象所属的样本形态类别；

在预先建立的样本对象原型库中获取与所述样本形态类别匹配的预设样本三维模型参数；所述样本对象原型库中包含多种预设样本三维模型参数，每种预设样本三维模型参数用于表示所述样本对象的一种样本形态类别。

8.根据权利要求7所述的图像处理方法，其特征在于，所述基于所述样本特征信息和所述样本分类信息，对所述预设样本三维模型参数进行调整，得到用于表征所述样本对象的目标样本三维模型参数，包括：

基于所述样本特征信息和所述样本分类信息，确定样本三维模型参数残差，所述样本三维模型参数残差用于表征所述样本对象对应的实际样本三维模型参数和所述样本形态类别匹配的预设样本三维模型参数之间的差异信息；

基于所述样本三维模型参数残差对所述样本对象对应的预设样本三维模型参数进行调整后，得到用于表征所述样本对象的目标样本三维模型参数。

9.根据权利要求8所述的图像处理方法，其特征在于，所述实际对象信息还包括所述样本对象的实际形态类别对应的实际预设样本三维模型参数；所述网络参数值包括用于提取样本特征信息的图像解码器对应的第一网络参数值，用于确定所述样本分类信息的分类器对应的第二网络参数值，以及用于确定所述样本三维模型参数残差的参数估计器对应的第三网络参数值；

所述基于所述样本对象对应的目标样本三维模型参数和所述样本对象对应的实际三维模型参数，对初始神经网络中的网络参数值进行调整，包括：

基于所述预设样本三维模型参数和所述实际预设样本三维模型参数，确定所述预设样本三维模型参数对应的第一损失函数；

基于所述样本对象对应的目标样本三维模型参数和所述样本对象对应的实际三维模型参数，确定所述目标样本三维模型参数对应的第二损失函数；

基于所述第一损失函数和所述第二损失函数，对所述第一网络参数值、所述第二网络参数值和所述第三网络参数值进行调整。

10.根据权利要求9所述的图像处理方法，其特征在于，所述神经网络的网络参数值还包括所述预先建立的样本对象原型库中各个预设样本三维模型参数对应的参数调整值，所述基于所述第一损失函数和所述第二损失函数，对所述第一网络参数值、所述第二网络参数值和所述第三网络参数值进行调整，包括：

基于所述参数调整值，确定所述样本对象原型库中各个预设样本三维模型参数对应的参数调整损失函数；

基于所述第一损失函数、所述第二损失函数和所述参数调整损失函数，对所述第一网络参数值、所述第二网络参数值、所述第三网络参数值和所述参数调整值进行调整。

11.根据权利要求10所述的图像处理方法，其特征在于，所述图像处理方法还包括：

基于所述预先建立的样本对象原型库中的每个预设样本三维模型参数各自对应的调整后的参数调整值，对所述样本对象原型库中各个预设样本三维模型参数进行调整，得到包含多个预设三维模型参数的对象原型库。

12.一种图像处理装置，其特征在于，包括：

图像获取模块，用于获取包含目标对象的待处理图像；

类别确定模块，用于利用预先训练的神经网络，提取所述待处理图像的特征信息，并对所述目标对象的形态类别进行分类，得到所述目标对象对应的分类信息；

参数确定模块，用于获取与所述分类信息指示的目标形态类别匹配的预设三维模型参数；

参数调整模块，用于基于所述特征信息和所述分类信息，对所述目标形态类别匹配的预设三维模型参数进行调整，得到用于表征所述目标对象的目标三维模型参数；

其中，所述图像处理装置还包括网络训练模块，所述网络训练模块用于按照以下方式训练得到所述神经网络：

提取包含了样本对象的样本图像的样本特征信息，并对所述样本对象的样本形态类别进行分类，得到所述样本对象对应的样本分类信息；

获取与所述样本分类信息指示的样本形态类别匹配的预设样本三维模型参数；

基于所述样本特征信息和所述样本分类信息，对所述预设样本三维模型参数进行调整，得到用于表征所述样本对象的目标样本三维模型参数；

基于所述样本对象对应的目标样本三维模型参数和所述样本对象对应的实际三维模型参数，对初始神经网络中的网络参数值进行调整，在训练完成后得到所述神经网络，所述实际三维模型参数包含于预先标注的与所述样本对象对应的实际对象信息中。

13.根据权利要求12所述的图像处理装置，其特征在于，所述参数确定模块在用于获取与所述分类信息指示的目标形态类别匹配的预设三维模型参数时，包括：

基于所述分类信息，确定所述目标对象所属的目标形态类别；

在预先建立的对象原型库中获取与所述目标形态类别匹配的预设三维模型参数；所述对象原型库中包含多种预设三维模型参数，每种预设三维模型参数用于表示所述目标对象的一种形态类别。

14.根据权利要求12或13所述的图像处理装置，其特征在于，所述参数调整模块在用于基于所述特征信息和所述分类信息，对所述目标形态类别匹配的预设三维模型参数进行调整，得到用于表征所述目标对象的目标三维模型参数时，包括：

基于所述特征信息和所述分类信息，确定三维模型参数残差，所述三维模型参数残差用于表征所述目标对象的实际三维模型参数和所述目标形态类别匹配的预设三维模型参数之间的差异信息；

基于所述三维模型参数残差，对所述目标形态类别匹配的预设三维模型参数进行调整后，得到用于表征所述目标对象的目标三维模型参数。

15.根据权利要求12所述的图像处理装置，其特征在于，所述类别确定模块在用于提取所述待处理图像的特征信息，并对所述目标对象的形态类别进行分类，得到所述目标对象对应的分类信息时，包括：

基于所述待处理图像和预先训练的图像解码器，提取所述待处理图像的特征信息；

基于所述特征信息和预先训练的分类器，对所述目标对象的形态类别进行分类，得到所述目标对象对应的分类信息。

16.根据权利要求13所述的图像处理装置，其特征在于，所述分类信息包含在多个形态类别下的分值构成的分值序列；

所述参数确定模块在用于基于所述分类信息，确定所述目标对象所属的目标形态类别时，包括：获取所述分值序列中最高的分值对应的形态类别作为目标形态类别。

17.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至11任一所述的图像处理方法的步骤。

18.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至11任一所述的图像处理方法的步骤。

Images