CN110322416B - 图像数据处理方法、装置以及计算机可读存储介质 - Google Patents

Abstract

本申请实施例提供了一种图像数据处理方法、装置以及计算机可读存储介质，该方法包括：获取源图像与目标图像变形属性，从源图像中确定与目标图像变形属性相关联的关键像素点，获取关键像素点对应的变形信息，根据变形信息确定自变化域；基于自变化域，对源图像进行转换，得到转换图像；转换图像与目标图像变形属性相匹配。采用本申请实施例，可以提高图像变形的准确率，以优化图像的转换质量。

Description

图像数据处理方法、装置以及计算机可读存储介质

技术领域

本申请涉及互联网技术领域，尤其涉及一种图像数据处理方法、装置以及计算机可读存储介质。

背景技术

随着图像技术的不断发展和各种社交娱乐软件的涌现，用户使用图像进行社交的频率日益增加。在用户分享图片的场景中，为体现个性化，用户往往需要对图像进行人为后期处理，或者重新拍摄才能获得用户真正需要的图像，而图像转换技术的应用，可以为用户自动转换图像风格。

现有技术中，图像转换过程可以通过编码器和解码器提取原始图像对应的特征信息，并生成该原始图像对应的转换图像。通过现有技术虽然实现了图像风格的转换，但是通过编码器和解码器直接生成风格转换后的图像，转换过程中仅考虑到了原始图像相对于目标风格（即转换后的图像所属的风格）之间的差异，造成转换后的图像与原始图像在几何结构上并不匹配，进而降低图像变形的准确率。

发明内容

本申请实施例提供一种图像数据处理方法、装置以及计算机可读存储介质，可以提高图像变形的准确率，以优化图像的转换质量。

本申请实施例一方面提供了一种图像数据处理方法，包括：

获取源图像与目标图像变形属性，从所述源图像中确定与所述目标图像变形属性相关联的关键像素点；

获取所述关键像素点对应的变形信息，根据所述变形信息确定自变化域；所述自变化域包括所述源图像所包含的所述关键像素点与转换图像所包含的映射像素点之间的映射关系，所述映射关系包括所述关键像素点和所述映射像素点之间的变形信息；

基于所述自变化域，对所述源图像进行转换，得到所述转换图像；所述转换图像与所述目标图像变形属性相匹配。

其中，所述获取源图像与目标图像变形属性，从所述源图像中确定与所述目标图像变形属性相关联的关键像素点，包括：

获取源图像与目标图像变形属性，将所述源图像与所述目标图像变形属性组合为输入矩阵；

基于生成器网络中的编码器，对所述输入矩阵进行下采样，提取所述源图像中与所述目标图像变形属性相关联的关键像素点；

则所述获取所述关键像素点对应的变形信息，根据所述变形信息确定自变化域，包括：

在所述编码器中，并确定所述关键像素点对应的变形信息，生成包含所述变形信息的特征图；

基于所述生成器网络中的解码器，将所述特征图进行解码，生成所述源图像针对所述目标图像变形属性的自变化域。

其中，所述解码器包括第一反卷积层和第一激活函数；

所述基于所述生成器网络中的解码器，将所述特征图进行解码，生成所述源图像对应的自变化域，包括：

基于所述解码器中的第一反卷积层，对所述特征图进行反卷积，生成所述特征图对应的可视化特征图；

基于所述第一激活函数，生成所述可视化特征图对应的归一化特征图；

获取变形优化参数，基于所述变形优化参数与所述归一化特征图，确定所述源图像针对所述目标图像变形属性的自变化域。

其中，所述生成器网络还包括目标增强神经网络；

所述获取变形优化参数，基于所述变形优化参数与所述归一化特征图，确定所述源图像针对所述目标图像变形属性的自变化域，包括：

获取变形优化参数，基于所述变形优化参数与所述归一化特征图，确定所述源图像对应的待定自变化域；

将所述待定自变化域进行双线性插值，并将双线性插值后的待定自变化域输入至所述目标增强神经网络；

基于所述目标增强神经网络，对双线性插值后的待定自变化域进行增强处理，得到所述源图像针对所述目标图像变形属性的自变化域；所述自变化域的分辨率高于所述待定自变化域的分辨率。

其中，所述基于所述自变化域，对所述源图像进行转换，得到转换图像，包括：

基于所述自变化域，将所述源图像进行变形，得到待转换图像；

基于所述生成器网络中的调整网络，获取所述待转换图像中所包含的像素点对应的目标调整值；

根据所述目标调整值，对所述待转换图像进行调整，得到所述待转换图像对应的转换图像。

其中，所述调整网络包括残差网络和掩码网络；

所述基于所述生成器网络中的调整网络，获取所述待转换图像中所包含的像素点对应的目标调整值，包括：

将待转换图像输入至所述残差网络，从所述残差网络中，获取所述待转换图像中所包含的像素点对应的待处理调整值；

将编码器生成的特征图输入至所述掩码网络，基于所述掩码网络，确定用于标识所述源图像中与目标图像变形属性相关区域的注意力掩码；

根据所述注意力掩码与所述待处理调整值，确定所述待转换图像中所包含像素点对应的目标调整值。

其中，所述掩码网络包括第二反卷积层与第二激活函数；

所述将编码器生成的特征图输入至所述掩码网络，基于所述掩码网络，确定用于标识所述源图像中与目标图像变形属性相关区域的注意力掩码，包括：

将编码器生成的特征图输入至所述第二反卷积层，基于所述第二反卷积层，对所述特征图进行反卷积，得到用于标识所述源图像中与目标图像变形属性相关区域的待处理掩码向量；

基于所述第二激活函数，对所述待处理掩码向量进行归一化处理，得到所述待处理掩码向量对应的注意力掩码。

其中，所述源图像包括人脸图像，所述目标图像变形属性包括人脸变形属性；

所述获取所述关键像素点对应的变形信息，根据所述变形信息确定自变化域，包括：

获取人脸关键像素点对应的人脸变形信息，根据所述人脸变形信息确定人脸自变化域；所述人脸关键像素点包括所述人脸图像中与所述人脸变形属性相关联的关键像素点；

则所述基于所述自变化域，对所述源图像进行转换，得到所述转换图像，包括：

基于所述人脸自变化域，对所述人脸图像进行转换，得到人脸转换图像；所述人脸转换图像与所述人脸变形属性相匹配。

本申请实施例一方面提供了一种图像数据处理方法，包括：

获取样本图像与样本图像变形属性，基于初始生成器网络，确定所述样本图像中与所述样本图像变形属性相关联的样本关键像素点，获取所述样本关键像素点对应的待定变形信息，将所述待定变形信息确定为待判别自变化域；

基于所述待判别自变化域，对所述样本图像进行转换，得到待判别图像；

根据所述待判别图像与所述待判别自变化域，修正所述初始生成器网络的网络参数；

将包含修正后的网络参数的初始生成器网络确定为生成器网络；所述生成器网络用于生成源图像对应的转换图像，所述转换图像与目标图像变形属性相匹配。

其中，所述根据所述待判别图像与所述待判别自变化域，修正所述初始生成器网络的网络参数，包括：

基于所述待判别图像与初始判别器网络对应的第一分类损失函数，确定与所述待判别图像相关联的第一误差；

基于所述待判别自变化域与变化域分类器对应的第二分类损失函数，确定与所述待判别自变化域相关联的第二误差；

根据所述第一误差与所述第二误差，修正所述初始生成器网络的网络参数。

其中，所述基于所述待判别图像与初始判别器网络对应的第一分类损失函数，确定与所述待判别图像相关联的第一误差，包括：

将所述待判别图像输入至初始判别器网络中，基于所述初始判别器网络，确定所述待判别图像对应的判别结果；所述判别结果包括所述待判别图像对应的属性标签，以及所述待判别图像对应的真假标签；

基于所述初始判别器网络对应的第一分类损失函数，确定所述判别结果与预期判别结果之间的第一误差。

其中，所述基于所述待判别自变化域与变化域分类器对应的第二分类损失函数，确定与所述待判别自变化域相关联的第二误差，包括：

将所述待判别自变化域输入至变化域分类器中，基于所述变化域分类器，确定所述待判别自变化域对应的分类结果；

基于所述变化域分类器对应的第二分类损失函数，确定所述分类结果与期望分类结果之间的第二误差。

其中，所述根据所述第一误差与所述第二误差，修正所述初始生成器网络的网络参数，包括：

获取用于特征选择的正则化项，根据所述第一误差、所述第二误差以及所述正则化项，修正所述初始生成器网络的网络参数。

其中，所述初始生成器网络包括初始编码器、初始解码器、初始残差网络以及初始掩码网络；

所述将包含修正后的网络参数的初始生成器网络确定为生成器网络，包括：

将包含修正后的网络参数的初始生成器网络确定为待训练生成器网络，从所述待训练生成器网络中获取待训练自变化域、待训练调整值以及待训练掩码；所述待训练自变化域是由修正后的初始编码器和修正后的初始解码器所确定，所述待训练调整值是由修正后的初始残差网络所确定，所述待训练掩码是由修正后的初始掩码网络所确定；

对所述待训练自变化域、所述待训练调整值以及所述待训练掩码进行双线性插值；

获取初始增强神经网络，将双线性插值后的待训练自变化域、待训练调整值以及待训练掩码输入至所述初始增强神经网络中；

基于所述初始增强神经网络的输出结果，对包含所述初始增强神经网络的待训练生成器网络的网络参数进行重新修正，将重新修正后的待训练生成器网络确定为生成器网络，将重新修正后的初始增强神经网络确定为目标增强神经网络。

其中，所述基于所述初始增强神经网络的输出结果，对包含所述初始增强神经网络的待训练生成器网络的网络参数进行重新修正，包括：

基于所述初始增强神经网络，得到所述待训练自变化域对应的更新自变化域、待训练调整值对应的更新调整值以及待训练掩码对应的更新掩码；所述更新自变化域的分辨率高于所述待训练自变化域的分辨率，所述更新调整值的分辨率高于所述待训练调整值的分辨率，所述更新掩码的分辨率高于所述待训练掩码的分辨率；

根据所述更新自变化域、所述更新调整值以及所述更新掩码，对包含所述初始增强神经网络的待训练生成器网络的网络参数进行重新修正。

本申请实施例一方面提供了一种图像数据处理装置，包括：

第一获取模块，用于获取源图像与目标图像变形属性，从所述源图像中确定与所述目标图像变形属性相关联的关键像素点；

第一确定模块，用于获取所述关键像素点对应的变形信息，根据所述变形信息确定自变化域；所述自变化域包括所述源图像所包含的所述关键像素点与转换图像所包含的映射像素点之间的映射关系，所述映射关系包括所述关键像素点和所述映射像素点之间的变形信息；

第一转换模块，用于基于所述自变化域，对所述源图像进行转换，得到转换图像；所述转换图像与所述目标图像变形属性相匹配。

其中，所述第一获取模块包括：

组合单元，用于获取源图像与目标图像变形属性，将所述源图像与所述目标图像变形属性组合为输入矩阵；

提取单元，用于基于生成器网络中的编码器，对所述输入矩阵进行下采样，提取所述源图像中与所述目标图像变形属性相关联的关键像素点；

则所述第一确定模块包括：

编码单元，用于在所述编码器中，确定所述关键像素点对应的变形信息，生成包含所述变形信息的特征图；

解码单元，用于基于所述生成器网络中的解码器，将所述特征图进行解码，生成所述源图像针对所述目标图像变形属性的自变化域。

其中，所述解码器包括第一反卷积层和第一激活函数；所述解码单元包括：

第一反卷积子单元，用于基于所述解码器中的第一反卷积层，对所述特征图进行反卷积，生成所述特征图对应的可视化特征图；

第一归一化子单元，用于基于所述第一激活函数，生成所述可视化特征图对应的归一化特征图；

变化域确定子单元，用于获取变形优化参数，基于所述变形优化参数与所述归一化特征图，确定所述源图像针对所述目标图像变形属性的自变化域。

其中，所述生成器网络还包括目标增强神经网络；所述变化域确定子单元包括：

乘积子单元，用于获取变形优化参数，基于所述变形优化参数与所述归一化特征图，确定所述源图像对应的待定自变化域；

插值子单元，用于将所述待定自变化域进行双线性插值，并将双线性插值后的待定自变化域输入至所述目标增强神经网络；

增强子单元，用于基于所述目标增强神经网络，对双线性插值后的待定自变化域进行增强处理，得到所述源图像针对所述目标图像变形属性的自变化域；所述自变化域的分辨率高于所述待定自变化域的分辨率。

其中，第一转换模块包括：

变形单元，用于基于所述自变化域，将所述源图像进行变形，得到待转换图像；

调整值获取单元，用于基于所述生成器网络中的调整网络，获取所述待转换图像中所包含的像素点对应的目标调整值；

调整单元，用于根据所述目标调整值，对所述待转换图像进行调整，得到所述待转换图像对应的转换图像。

其中，所述调整网络包括残差网络和掩码网络；所述调整值获取单元包括：

待处理调整值获取子单元，用于将待转换图像输入至所述残差网络，从所述残差网络中，获取所述待转换图像中所包含的像素点对应的待处理调整值；

掩码确定子单元，用于将编码器生成的特征图输入至所述掩码网络，基于所述掩码网络，确定用于标识所述源图像中与目标图像变形属性相关区域的注意力掩码；

目标调整值确定子单元，用于根据所述注意力掩码与所述待处理调整值，确定所述待转换图像中所包含像素点对应的目标调整值。

其中，所述掩码网络包括第二反卷积层与第二激活函数；所述掩码确定子单元包括：

第二反卷积子单元，用于将编码器生成的特征图输入至所述第二反卷积层，基于所述第二反卷积层，对所述特征图进行反卷积，得到用于标识所述源图像中与目标图像变形属性相关区域的待处理掩码向量；

第二归一化子单元，用于基于所述第二激活函数，对所述待处理掩码向量进行归一化处理，得到所述待处理掩码向量对应的注意力掩码。

其中，所述源图像包括人脸图像，所述目标图像变形属性包括人脸变形属性；

所述第一确定模块具体用于：

获取人脸关键像素点对应的人脸变形信息，根据所述人脸变形信息确定人脸自变化域；所述人脸关键像素点包括所述人脸图像中与所述人脸变形属性相关联的关键像素点；

则所述第一转换模块具体用于：

基于所述人脸自变化域，对所述人脸图像进行转换，得到人脸转换图像；所述人脸转换图像与所述人脸变形属性相匹配。

本申请实施例一方面提供了一种图像数据处理装置，包括：

第二获取模块，用于获取样本图像与样本图像变形属性，基于初始生成器网络，确定所述样本图像中与所述样本图像变形属性相关联的样本关键像素点，获取所述样本关键像素点对应的待定变形信息，将所述待定变形信息确定为待判别自变化域；

第二转换模块，用于基于所述待判别自变化域，对所述样本图像进行转换，得到待判别图像；

修正模块，用于根据所述待判别图像与所述待判别自变化域，修正所述初始生成器网络的网络参数；

第二确定模块，用于将包含修正后的网络参数的初始生成器网络确定为生成器网络；所述生成器网络用于生成源图像对应的转换图像，所述转换图像与目标图像变形属性相匹配。

其中，所述修正模块包括：

第一误差确定单元，用于基于所述待判别图像与初始判别器网络对应的第一分类损失函数，确定与所述待判别图像相关联的第一误差；

第二误差确定单元，用于基于所述待判别自变化域与变化域分类器对应的第二分类损失函数，确定与所述待判别自变化域相关联的第二误差；

网络参数修正单元，用于根据所述第一误差与所述第二误差，修正所述初始生成器网络的网络参数。

其中，所述第一误差确定单元包括：

判别结果确定子单元，用于将所述待判别图像输入至初始判别器网络中，基于所述初始判别器网络，确定所述待判别图像对应的判别结果；所述判别结果包括所述待判别图像对应的属性标签，以及所述待判别图像对应的真假标签；

第一确定子单元，用于基于所述初始判别器网络对应的第一分类损失函数，确定所述判别结果与预期判别结果之间的第一误差。

其中，所述第二误差确定子单元，包括：

分类结果确定子单元，用于将所述待判别自变化域输入至变化域分类器中，基于所述变化域分类器，确定所述待判别自变化域对应的分类结果；

第二确定子单元，用于基于所述变化域分类器对应的第二分类损失函数，确定所述分类结果与期望分类结果之间的第二误差。

其中，所述网络参数修正单元具体用于：

获取用于特征选择的正则化项，根据所述第一误差、所述第二误差以及所述正则化项，修正所述初始生成器网络的网络参数。

其中，所述初始生成器网络包括初始编码器、初始解码器、初始残差网络以及初始掩码网络；

所述第二确定模块包括：

待训练网络确定单元，用于将包含修正后的网络参数的初始生成器网络确定为待训练生成器网络，从所述待训练生成器网络中获取待训练自变化域、待训练调整值以及待训练掩码；所述待训练自变化域是由修正后的初始编码器和修正后的初始解码器所确定，所述待训练调整值是由修正后的初始残差网络所确定，所述待训练掩码是由修正后的初始掩码网络所确定；

双线性插值单元，用于对所述待训练自变化域、所述待训练调整值以及所述待训练掩码进行双线性插值；

输入单元，用于获取初始增强神经网络，将双线性插值后的待训练自变化域、待训练调整值以及待训练掩码输入至所述初始增强神经网络中；

重新修正单元，用于基于所述初始增强神经网络的输出结果，对包含所述初始增强神经网络的待训练生成器网络的网络参数进行重新修正，将重新修正后的待训练生成器网络确定为生成器网络，将重新修正后的初始增强神经网络确定为目标增强神经网络。

其中，所述重新修正单元，包括：

更新子单元，用于基于所述初始增强神经网络，得到所述待训练自变化域对应的更新自变化域、待训练调整值对应的更新调整值以及待训练掩码对应的更新掩码；所述更新自变化域的分辨率高于所述待训练自变化域的分辨率，所述更新调整值的分辨率高于所述待训练调整值的分辨率，所述更新掩码的分辨率高于所述待训练掩码的分辨率；

网络参数重新修正子单元，用于根据所述更新自变化域、所述更新调整值以及所述更新掩码，对包含所述初始增强神经网络的待训练生成器网络的网络参数进行重新修正。

本申请实施例一方面提供了一种图像数据处理装置，包括：处理器和存储器；

所述处理器和存储器相连，其中，所述存储器用于存储计算机程序，所述处理器用于调用所述计算机程序，以执行如本申请实施例中一方面中的方法。

本申请实施例一方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时，执行如本申请实施例中一方面中的方法。

本申请实施例通过获取源图像和目标图像变形属性，可以从源图像中确定与目标图像变形属性相关联的关键像素点，获取关键像素点对应的变形信息，将获得的变形信息确定为自变化域，进而可以基于自变化域，对源图像进行变形操作，进而得到转换图像。上述可知，可以根据用户选择的源图像与目标图像变形属性，确定源图像中与目标图像变形属性相关联的每个像素点的变形信息，为源图像变形提供更为准确的位置信息，可以提高图像变形的准确率，以优化图像的转换质量。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种网络架构图；

图2是本申请实施例提供的一种图像数据处理方法的场景示意图；

图3是本申请实施例提供的一种图像数据处理方法的流程示意图；

图4是本申请实施例提供的一种确定图像特征图的示意图；

图5是本申请实施例提供的一种确定图像可视化特征图的示意图；

图6是本申请实施例提供的一种生成转换图像的示意图；

图7是本申请实施例提供的另一种图像数据处理方法的流程示意图；

图8a和图8b是本申请实施例提供的一种训练初始生成器网络的示意图；

图9是本申请实施例提供的一种图像数据处理的框架示意图；

图10是本申请实施例提供的一种图像数据处理装置的结构示意图；

图11是本申请实施例提供的另一种图像数据处理装置的结构示意图；

图12是本申请实施例提供的又一种图像数据处理装置的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

请参见图1，是本申请实施例提供的一种网络架构图。该网络架构可以包括服务器200a以及多个终端设备（如图1所示，具体包括终端设备100a、终端设备100b以及终端设备100c），服务器200a可以通过网络与每个终端设备进行数据传输。

以终端设备100a为例，当终端设备100a获取到用户输入的源图像时，终端设备100a可以将获取到的源图像发送至服务器200a。服务器200a可以从源图像中确定与目标图像变形属性相关联的关键像素点，并获取关键像素点对应的变形信息，将变形信息确定为源图像对应的自变化域，进而根据自变化域对源图像进行转换，得到转换图像。例如，源图像为一张女性的脸部图像，目标图像变形属性可以为男性属性标签，则服务器200a可以将该源图像转换成一张男性的脸部图像。服务器200a可以将得到的转换图像发送至终端设备100a，终端设备100a可以在屏幕上显示该转换图像，以便用户对该转换图像进行预览。

当然，若用户终端100a集成了图像转换功能，也可以直接由终端设备100a确定源图像对应的自变化域，进而根据自变化域对源图像进行转换。下述均以终端设备100a如何确定自变化域，以及如何对源图像进行转换为例进行具体说明。其中，终端设备100a、终端设备100b以及终端设备100c等可以包括手机、平板电脑、笔记本电脑、掌上电脑、移动互联网设备（mobile internet device，MID）、可穿戴设备（例如智能手表、智能手环等）等。

请参见图2，是本申请实施例提供的一种图像数据处理方法的场景示意图。下面以人脸图像为例对图像转换过程进行说明，如图2所示，用户可以从终端设备100a中打开存储图像或视频的应用（例如图库应用，视频应用等），从应用中选择图像20a作为需要转换的源图像，当然用户也可以打开终端设备100a中的相机应用并实时拍摄照片或者视频，将实时拍摄的照片或者视频的视频帧作为源图像。可选的，用户还可以打开终端设备100a中的浏览器应用并从网页上下载图像，将下载的图像作为源图像。用户在选择出图像20a后，可以进一步选择图像20a对应的转换属性（也可以称为图像变形属性），即用户想要达到的转换效果。其中，转换属性可以包括表情属性、五官属性以及发色属性等，表情属性可以包括：伤心、难过、震惊以及愤怒等，五官属性可以包括鼻子变大、鼻子变尖、眼睛变大、眉毛变粗等，发色属性可以包括：棕发、白发、黑发等。用户可以选择表情属性中的“难过20b”作为图像20a对应的目标图像变形属性，即将图像20a中所包含的人脸转换为难过的表情。可以理解的是，针对不同类型的图像，可以对应不同的转换属性，如小狗图像为源图像时，转换属性可以包括：卷毛、短尾、白色毛发等；风景图像为源图像时，转换属性可以包括：夏天、冬天、油画、国画等。

终端设备100a可以获取生成器网络20c，该生成器网络20c已经基于生成对抗式网络完成训练，具备图像转换功能，即该生成器网络20c可以基于源图像生成具有目标图像变形属性的新图像（也可以称为转换图像）。换言之，终端设备100a可以将图像20a以及目标图像变形属性“难过20b”输入至生成器网络20c中，基于该生成器网络20c，确定出图像20a中与目标图像变形属性“难过20b”相关联的关键像素点，并获取上述关键像素点对应的变形信息，可以将变形信息确定为自变化域20d。利用自变化域20d对图像20a进行变形操作，可以得到转换之后的新图像20e，此时新图像20e所包含的人脸对应的表情为：难过。其中，变形信息可以理解为图像20a中与目标图像变形属性“难过20b”相关联的关键像素点变形的坐标信息，可以理解的是，与目标图像变形属性“难过20b”相关联的关键像素点主要集中在图像20a中人脸的嘴巴所在区域和眼睛所在区域，因此自变化域20d所包含的变形信息主要为嘴巴所在区域像素点的变形信息和眼睛所在区域像素点的变形信息。基于自变化域20d进行变形得到的新图像20e，与图像20a的区别在于人脸中的嘴巴所在区域和眼睛所在区域发生了变化，其余区域则基本上保持不变。

若小狗图像作为源图像，目标图像变形属性为“短尾”，则基于生成器网络可以确定与“短尾”相关联的关键像素点为该小狗图像中尾巴所在区域的像素点，即该小狗图像对应的自变化域为尾巴所在区域的像素点所对应的变形信息，基于自变化域进行变形得到的新图像所对应的属性为：短尾；若风景图像作为源图像，目标图像变形属性为“油画”，则基于生成器网络可以确定与“油画”相关联的像素点为该风景图像所包含的所有像素点，即该风景图像对应的自变化域为所有像素点所对应的变形信息，基于自变化域进行变形得到的新图像所对应的属性为：油画。

在生成新图像20e后，终端设备100a可以将新图像20e显示在终端屏幕上以供用户进行预览，若用户满意上述生成的新图像20e，可以通过点击“确定”按钮将上述新图像20e保存在终端设备100a本地文件夹中或者直接上传至社交网站（例如，微信朋友圈，QQ空间等）；若用户不满意上述新图像20e，可以通过点击“取消”按钮，删除该新图像20e。

请参见图3，是本申请实施例提供的一种图像数据处理方法的流程示意图。如图3所示，该图像数据处理方法可以包括：

步骤S101，获取源图像与目标图像变形属性，从所述源图像中确定与所述目标图像变形属性相关联的关键像素点；

具体的，终端设备（如上述图2所对应实施例中的终端设备100a）可以获取源图像（如上述图2所对应实施例中的图像20a）和目标图像变形属性（如上述图2所对应实施例中的表情属性“难过20b”），其中，目标图像变形属性可以用独热码（one-hotcode）来表示，独热码是指向量中只包含一个1，其余均为0的向量。如图像变形属性包括伤心、难过、震惊以及愤怒时，则可以将图像变形属性“伤心”对应的独热码确定为：[1,0,0,0]，将图像变形属性“难过”对应的独热码确定为：[0,1,0,0]，将图像变形属性“震惊”对应的独热码确定为：[0,0,1,0]，将图像变形属性“愤怒”对应的独热码确定为：[0,0,0,1]。终端设备获取到的目标图像变形属性为“难过”，即表示获取独热码[0,1,0,0]。

终端设备可以获取生成器网络（如上述图2所对应实施例中的生成器网络20c），该生成器网络可以包括编码器和解码器，其中，编码器可以由多个卷积层和多个残差层构成，用于对输入矩阵进行下采样；解码器可以由多个反卷积层（可以称为第一反卷积层）构成，用于对编码器下采样后得到的图像特征进行上采样。终端设备将源图像与目标图像变形属性组合为输入矩阵，并将该输入矩阵确定为生成器网络的输入，输入矩阵首先输入至生成器网络中的编码器，基于编码器中的多个卷积层，可以确定源图像中与目标图像变形属性相关联关键像素点。

步骤S102，在所述编码器中，确定所述关键像素点对应的变形信息，生成包含所述变形信息的特征图；所述自变化域包括所述源图像所包含的所述关键像素点与转换图像所包含的映射像素点之间的映射关系，所述映射关系包括所述关键像素点和所述映射像素点之间的变形信息；

具体的，将上述输入矩阵输入编码器中后，编码器中的多个卷积层可以对上述输入矩阵进行卷积运算，得到包含关键像素点变形信息的特征图，特征图的尺寸可以表示为

，也可以将特征图理解为由

个高为

宽为

的单位图像特征信息组合而成。其中，每个卷积层可以对应1个或者多个卷积核（kernel，也可以称为滤波器，或者称为感受野），每个卷积层的输出数据（即图像特征图）的通道数是由该卷积层中的卷积核的数量来决定的，且输出数据中的图像特征图高度

和图像特征图宽度

（即输出数据中的第二维和第三维）是由输入数据的大小、卷积核的大小、步长（stride）以及边界填充（padding）共同决定的，即

，

。

，

分别表示输入数据中图像特征图的高度和卷积核的高度；

，

分别表示输入数据中图像特征图的宽度和卷积核的宽度。

请一并参见图4，是本申请实施例提供的一种确定图像特征图的示意图。以第一个卷积层为例，若前述输入矩阵的具体尺寸为

（第一维度用于标识通道数，即输入矩阵的数量，第二维度用于标识输入矩阵的高度，第三维度用于标识输入矩阵的宽度），即为1通道的

矩阵；卷积核是尺寸为

（第一维度用于标识卷积核通道数，即卷积核的个数，第二维度用于标识卷积核高度，第三维度用于标识卷积核宽度），即为1通道的

矩阵。

设stride=1，padding=0，卷积运算的具体过程为：首先将矩阵30a中虚线框中的数值与卷积核进行点乘计算，即：1*1+0*(-1)+1*1+1*(-1)=1，可以确定矩阵30e；

然后将矩阵30b中虚线框中的数值与卷积核进行点乘计算，即：0*1+1*(-1)+1*1+1*(-1)=-1；可以确定矩阵30f；

再将矩阵30c中虚线框中的数值与卷积核进行点乘计算，即：1*1+1*(-1)+1*1+0*(-1)=1；可以确定矩阵30g；

最后将矩阵30d中虚线框中的数值与卷积核进行点乘计算，即：1*1+1*(-1)+0*1+1*(-1)=-1；可以确定矩阵30h。矩阵30h是尺寸为

的图像特征图。可见，经过卷积运算后，得到的图像特征图的尺寸比输入矩阵的尺寸要小。

终端设备可以在每个卷积层的后面连接归一化层和非线性层（也可以称为ReLU层，ReLU为一种激活函数），归一化层用于将卷积层输出的每个通道的图像特征图进行归一化，即使得每个特征图的元素均处于0-1之间，非线性层可以将卷积层的输出结果做非线性映射。归一化层与非线性层不会改变输入数据的尺寸，即当输入归一化层和非线性层的单个图像特征图的尺寸为

时，经过归一化层和非线性层之后，得到的新的图像特征图仍然为

。对于编码器中的第一个卷积层，输入数据为上述源图像与目标图像变形属性组合的输入矩阵，第二个卷积层的输入数据为第一个卷积层的输出数据在通过归一化层和非线性层后得到的结果等。

根据编码器中的残差层，对上述通过归一化层和整流层得到的新的图像特征进行残差连接，可以得到优化之后的图像特征图。残差层的数量可以为多个，且每个残差层的输入数据的维度与输出数据的维度都是相同的，因此，通过编码器中的残差层，对尺寸为

的图像特征图进行残差连接后，所得到的优化后的特征图的尺寸仍然为

。

根据编码器中的残差层，可以得到上述输入矩阵对应的特征图。由于输入矩阵中包括源图像和目标图像变形属性，因此得到的特征图中不仅包含源图像中的图像特征，还具备了目标图像变形属性。通过对上述特征图进行解码，可以得到具有目标图像变形属性的自变化域（如上述图2所对应实施例中的自变化域20d）。

解码器中的多个反卷积层可以对上述编码器提取到的特征图进行反卷积（Deconvolution，也可以称为转置卷积，或者小数步长的卷积）运算，得到源图像对应的可视化特征图。若将卷积运算理解为源图像压缩与编码的过程，则反卷积运算可以理解为源图像的解压缩与解码过程。每个反卷积层的输出数据（即图像可视化特征图）中的图像高度

和图像宽度

（即输出数据中的第二维和第三维）同样是由输入数据的大小、卷积核的大小、步长（stride）以及边界填充（padding）共同决定的。

请一并参见图5，是本申请实施例提供的一种确定图像可视化特征图的示意图。若前述输入反卷积层的特征图的具体尺寸为

（第一维度用于标识通道数，即特征图的数量，第二维度用于标识特征图的高度，第三维度用于标识特征图的宽度），即为1通道的

矩阵；卷积核是尺寸为

（第一维度用于标识卷积核通道数，即卷积核的个数，第二维度用于标识卷积核高度，第三维度用于标识卷积核宽度），即为1通道的

矩阵。

设stride=1，padding=1，反卷积运算的具体过程为：首先对输入的特征图进行边界填充（在特征图的边界进行零填充，此时特征图的尺寸变为

，即为1通道的

矩阵），将矩阵40a中虚线框中的数值与卷积核进行点乘计算，即：0*1+0*(-1)+0*1+1*(-1)=-1，可以确定矩阵40j；

然后将矩阵40b中虚线框中的数值与卷积核进行点乘计算，即：0*1+0*(-1)+1*1+1*(-1)=0，可以确定矩阵40k；

其次将矩阵40c中虚线框中的数值与卷积核进行点乘计算，即：0*1+0*(-1)+1*1+0*(-1)=1，可以确定矩阵40l；

其次将矩阵40d中虚线框中的数值与卷积核进行点乘计算，即：0*1+1*(-1)+ 0*1+1*(-1)=-2，可以确定矩阵40m；

以此类推，最后将矩阵40i中虚线框中的数值与卷积核进行点乘计算，即：1*1+0*(-1)+0*1+0*(-1)=1；可以确定矩阵40s。矩阵40s是尺寸为

的图像可视化特征图。可见，经过反卷积运算后，得到的图像可视化特征图的尺寸比输入的特征图的尺寸要大。

由于经过多个反卷积层得到的可视化特征图所对应的数值与源图像的数值相关，数值的取值范围大，为降低后续的处理复杂度，可以在多个反卷积层的后面添加Tanh()函数（一种激活函数，该激活函数的取值范围为：-1~1），将多个反卷积层得到的输出结果限制在[-1,1]范围内，Tanh()函数的输出结果也可以称为归一化特征图。为了优化最终的图像变形结果，还可以引入变形优化参数，将该变形优化参数作为乘子乘以上述归一化特征图，可以得到多通道自变化域（自变化域的通道数与归一化特征图的通道数相关联），该自变化域可以理解为源图像所包含的关键像素点与转换图像所包含的映射像素点之间的映射关系，该映射关系可以包括关键像素点与映射像素点之间的变形信息，即源图像针对目标图像变形属性的变形信息，例如源图像为人脸图像，目标图像变形属性为愤怒，则自变化域中可以包括将人脸图像转换为愤怒表情的变形信息。其中，上述变形优化参数可以为根据经验确定的数值。

步骤S103，基于所述自变化域，对所述源图像进行转换，得到转换图像；所述转换图像与所述目标图像变形属性相匹配。

具体的，终端设备可以根据编码器和解码器最终得到的自变化域，对源图像中所包含的像素点进行变形，即更新源图像所包含的像素点的数值，得到转换图像，即通过生成器网络生成的新图像，该转换图像与目标图像变形属性相匹配。

请一并参见图6，是本申请实施例提供的一种生成转换图像的示意图。如图6所示，将源图像与目标图像变形属性输入生成器网络中，生成器网络中的编码器可以通过多个卷积层（卷积层的数量可以为3个）以及多个残差层（残差层的数量可以为6个），获取源图像与目标图像变形属性组成的输入矩阵所对应的特征图。生成器网络中的解码器通过多个反卷积层（反卷积层的数量可以为3个）以及激活函数（激活函数可以为Tanh()函数），对编码器生成的特征图进行上采样，得到归一化特征图。再引入变形优化参数，将上述归一化特征图与变形优化参数相乘，得到的结果可以确定为自变化域，自变化域可以为多通道，如自变化域的通道数为2个。基于解码器生成的自变化域，可以对源图像进行变形，得到源图像对应的转换图像，该转换图像与目标图像变形属性相关联，转换图像与源图像的区别在于，与目标图像变形属性相关联的区域发生了变化，其余区域仍保持不变，例如源图像为人脸图像，目标图像变形属性为愤怒，则转换图像与源图像的区别在于嘴巴所在区域和眼睛所在区域发生了变化。

本申请实施例通过获取源图像和目标图像变形属性，可以从源图像中确定与目标图像变形属性相关联的关键像素点，获取关键像素点对应的变形信息，将获得的变形信息确定为自变化域，进而可以基于自变化域，对源图像进行变形操作，进而得到转换图像。上述可知，可以根据用户选择的源图像与目标图像变形属性，确定源图像中与目标图像变形属性相关联的每个像素点的变形信息，为源图像变形提供更为准确的位置信息，可以提高图像变形的准确率，以优化图像的转换质量。

请参见图7，是本申请实施例提供的另一种图像数据处理方法的流程示意图。如图7所示，该图像数据处理方法可以包括：

步骤S201，获取样本图像与样本图像变形属性，基于初始生成器网络，确定所述样本图像中与所述样本图像变形属性相关联的样本关键像素点，获取所述样本关键像素点对应的待定变形信息，将所述待定变形信息确定为待判别自变化域；

在采用生成器网络对源图像进行转换之前，需要对生成器网络进行训练，下述步骤S201-步骤S204对网络的训练过程进行具体说明。

具体的，终端设备获取初始生成器网络，即终端设备对需要训练的生成器网络进行初始化，将完成初始化的生成器网络称为初始生成器网络。终端设备获取样本图像与样本图像变形属性，并将样本图像对应的图像矩阵与样本图像变形属性对应的向量相连，得到样本输入矩阵。将样本输入矩阵输入初始生成器网络中，基于初始生成器网络中的初始编码器，对样本输入矩阵进行编码，得到样本输入矩阵对应的样本特征图，基于初始生成器网络中的初始解码器，对初始编码器生成的样本特征图进行解码，得到样本图像针对样本图像变形属性的待判别自变化域。在通过初始生成器网络中的初始编码器对样本输入矩阵编码，以及初始解码器对编码器输出的样本特征图进行解码的过程中，初始生成器网络可以通过初始编码器从样本图像中确定与样本图像变形属性相关联的样本关键像素点，即提取样本图像中的图像内容特征，并得到样本关键像素点相对于样本图像变形属性所对应的待定变形信息，进而根据待定变形信息生成待判别自变化域。

步骤S202，基于所述待判别自变化域，对所述样本图像进行转换，得到待判别图像；

具体的，终端设备可以根据初始生成器网络中生成的待判别自变化域，对样本图像进行变形，即根据待判别自变化域中所包含的样本关键像素点对应的变形信息，对样本图像进行变形，得到样本图像对应的待判别图像。

初始生成器网络还可以包括初始残差网络和初始掩码网络，则可以将上述根据待判别自变化域进行变形的图像称为中间样本图像，采用初始残差网络和初始掩码网络对中间样本图像进行调整，消除中间样本图像中的瑕疵。终端设备将中间样本图像输入初始残差网络中，基于初始残差网络（该初始残差网络可以包括多个残差层），获取上述中间样本图像中所包含的每个像素点对应的样本调整值。同时，将初始生成器网络中初始编码器生成的样本特征图输入初始掩码网络中，基于初始掩码网路（该初始掩码网络可以包括3个反卷积层），可以确定用于标识样本图像中与样本图像变形属性相关区域的样本掩码，样本掩码可以理解为掩码图像，可以在样本图像中标识出与样本图像变形属性相关联的关键区域，通过将样本调整值对应的向量与样本掩码对应的向量进行向量点乘，得到中间样本图像中所包含的每个像素点最终对应的样本调整值，进而将样本调整值与样本掩码点乘后得到的最终样本调整值，加上中间样本图像，可以得到样本图像对应的待判别图像。

步骤S203，根据所述待判别图像与所述待判别自变化域，修正所述初始生成器网络的网络参数；

具体的，终端设备获取与初始生成器网络对应的初始判别器网络，该初始判别器网络包括生成判别网络和属性判别网络，生成判别网络可以用于识别图像属于真实图像类型的概率，即可以用于区分真实图像和初始生成器网络生成的假图像；属性判别网络也可以称为图像分类器，属性判别网络可以用于识别图像与多种图像属性之间的匹配度。例如，所有样本图像中所包含的多种属性类型分别为棕发、黑发、黄发以及白发，则属性判别网络可以用于识别图像中的对象具有棕发的概率、黑发的概率、黄发的概率以及白发的概率。

下面对如何获取生成判别网络和属性判别网络进行具体说明：由于生成判别网络是用于二分类问题，因此终端设备初始化二分类模型，可以称为初始分类模型，将该初始分类模型作为生成判别网络。训练生成判别网络的数据可以包括终端设备从样本数据集中获取的采集图像和初始生成器网络生成的待判别图像，训练生成判别器网络的最终目的在于生成判别器可以将采集图像确定为真实图像类别，将初始生成器网络生成的待判别图像确定为假图像类型。

图像分类器用于解决多分类问题，终端设备初始化多分类模型，可以称为初始多分类模型，将该初始多分类模型作为图像分类器。图像分类器可以识别图像与多种图像属性之间的匹配度，上述多种图像属性可以为属于不同属性类型，例如，多种图像属性可以为发色属性类型中的棕发、黑发、黄发以及白发等，也可以为表情属性类型中的伤心、难过、震惊以及愤怒等。训练好的图像分类器即可用于识别图像中的对象的属性类型，如图像分类器可以识别图像中的发色为棕色、黑色、黄色还是白色等，表情为伤心、难过、震惊还是愤怒等。

在训练初始判别器网络阶段，训练图像分类器的损失函数可以表示为公式(1)：

(1)

其中，

表示在训练初始判别器网络阶段，图像分类器的损失值（也可以理解为图像分类器针对初始判别器网络的分类误差），

表示图像分类器，

表示用于训练图像分类器的真实图像（如上述样本图像），

表示真实图像对应的图像属性。

需要说明的是，后续训练初始生成器网络时，图像分类器中的参数取值是保持不变的，而生成判别网络的参数的取值还需要不断调整。

由于生成判别网络的训练数据与采集图像和初始生成器网络生成的待判别图像有关，可以获取生成对抗损失函数，该生对抗损失函数可以表示为公式(2)：

] (2)

其中，

表示初始判别器网络中生成判别网络的损失值（该损失值可以理解为对抗误差），

表示生成判别网络，

表示用于采集到的真实图像，

表示样本图像变形属性，

表示初始生成器网络，

表示初始生成器网络生成的具有样本图像变形属性的仿真图像（也可以称为假图像，如待判别图像），因此

表示初始生成器网络生成的样本图像

所对应的待判别图像属于真实图像类型的概率，

表示样本图像

属于真实图像类型的概率。

基于上述公式(1)和公式(2)，可以确定初始判别器网络对应的完整损失函数，可以表示为公式(3)：

(3)

其中，

表示用于控制分类误差相对于对抗误差的相对权重的超参数，也可以称为权重参数。公式(3)可以理解为图像分类器的分类误差与生成判别器的对抗误差之和。通过最小化公式(3)，即最小化初始判别器网络的完整损失值，可以对初始判别器网络的网络参数进行修正，以获取初始判别器网络的最优网络参数。

初始生成器网络与初始判别器网络的训练过程可以看成是一个博弈过程，即初始判别器网络与初始生成器网络的目的是相反的，初始判别器网络训练的目的在于：对于任意输入初始判别器网络的图像，可以准确区分出输入图像为真实图像还是仿真图像。当生成判别网络

输出的概率值大于0.5时，则该输入图像被判别为真实图像；当生成判别网络

输出的概率值小于0.5时，则该输入图像被判别为仿真图像（可以称为假图像），换言之，对于初始判别器网络而言，公式(2)中

的值越大越好（最大值为1），公式(2)中

的值越小越好（最小值为0）。初始生成器网络训练的目的在于：提高初始生成器网络仿造图像的能力，使得初始判别器网络无法判别初始生成器网络生成的图像是真实图像还是仿真图像，换言之，对于初始生成器网络而言，公式(2)中

的值越大越好，

的值越大，表示初始生成器网络生成的仿真图像与真实图像越接近。因此初始生成器网络与初始判别器网络的训练过程是交替进行的，可以不断提高初始判别器网络判别真假图像的能力和初始生成器网络生成仿真图像的能力。

下面对初始生成器网络的完整损失函数进行描述。

在训练初始生成器网络阶段，训练图像分类器的损失函数可以表示为公式(4)：

(4)

上述公式(4)中的

表示在训练初始生成器网络阶段，图像分类器的损失值（也可以理解为图像分类器针对初始生成器网络的分类误差），公式(4)表示对初始生成器网络生成的待判别图像

所对应的属性分类，通过最小化公式(4)，可以使得初始生成器网络生成的仿真图像被图像分类器

判别为样本图像变形属性

。

终端设备可以将公式(2)和公式(4)相加，作为初始生成器网络的第一分类损失函数，通过最小化第一分类损失函数，可以对初始生成器网络的网络参数进行优化。终端设备通过将初始生成器网络生成的待判别图像（即仿真图像）输入初始判别器网络（包括生成判别网络

和图像分类器

）中，可以基于生成判别网络

得到待判别图像的真假标签，即待判别图像为真实图像还是假图像，基于图像分类器

得到待判别图像的属性标签，即与待判别图像相匹配的属性类型。真假标签与属性标签作为判别结果，基于第一分类损失函数可以确定出判别结果与期望判别结果之间的误差（可以称为第一误差）。例如，样本图像属性变形属性为发色属性中的黑发时，初始生成器网络期望图像分类器

对待判别图像的属性分类结果为黑发对应的标签，期望生成判别网络

对待判别图像的判别为真实图像对应的标签，而实际的判别结果可能为：待判别图像的属性分类结果为棕发，且被判别为假图像，因此实际的判别结果与期望判别结果之间存在差异，即第一误差。

为了增强初始生成器网络仿造图像的能力，终端设备可以获取变化域分类器，该变化域分类器可以用于约束初始生成器网络中待判别自变化域的生成。变化域分类器可以用于识别自变化域属于样本图像变形属性的概率，也就是可以用于区分自变化域对应的图像属性为样本图像变形属性和非样本图像变形属性（即所有样本图像中所包含的多种属性类型除了样本图像变形属性之外的剩余图像属性称为其余图像属性）。

变化域分类器的损失函数（也可以称为第二分类损失函数）可以表示为公式(5)：

] (5)

其中，

表示变化域分类器，

表示变化域分类器的损失值，

（Spontaneous Motion，自变化模块）表示初始生成器网络中编码器和解码器部分，

表示样本图像

和样本图像变形属性

通过编码器和解码器生成的待判别自变化域。通过最小化公式(5)可以对初始生成器网络中的编码器和解码器的网络参数进行修正。

终端设备将初始生成器网络生成的待判别自变化域输入变化域分类器中，可以基于变化域分类器得到待判别自变化域对应的分类结果，即待判别自变化域与变化域分类器中的样本图像变形属性的匹配概率，基于第二分类损失函数，可以得到实际分类结果与期望分类结果（变化域分类器的目的在于将待判别自变化域分类为样本图像变形属性）之间的误差，即第二误差。

需要说明的是，通过上述第一分类损失函数和第二分类损失函数，对初始生成器网络进行网络参数的修正，可能会造成最终生成的待判别图像所对应的判别结果是好的（如该待判别图像被判别为真实图像的概率为0.8，且该待判别图像被分类为样本图像变形属性的概率为0.85），但该待判别图像与所对应的样本图像相差很大，如样本图像变形属性为表情属性中的开心，样本图像中的对象为人脸A，而待判别图像中的对象尽管表情为开心，但是所包含的对象变成了人脸B，为了避免上述情况，使得初始生成器网络生成的待判别图像在对样本图像进行转换的同时保留样本图像中的大部分内容，因此采用的重构损失函数，重构损失函数可以表示为公式(6)：

] (6)

其中，

表示重构损失值（也称为重构误差），

表示为1范数，

表示将初始生成器网络

生成的待判别图像

作为输入图像，样本图像

对应的图像属性作为样本图像变形属性，输入到初始生成器网络中，努力重构出原来的样本图像

，将初始生成器网络重构出来的图像称为重构图像。通过最小化样本图像

与重构图像之间的误差，对初始生成器网络的网络参数进行修正。

需要说明的是，生成待判别图像与得到重构图像的网络为同一个生成器网络，即通过初始生成器网络可以将生成的仿真图像进行还原。

初始生成器网络中还包括初始掩码网络，为了防止初始掩码网络生成的样本掩码退化至整个掩码均为1（即样本图像中所有的区域均被视为关键区域），可以为样本掩码的学习添加一个正则化项，以保证样本掩码的稀疏性，该正则化项可以表示为公式(7)：

(7)

其中，

表示正则化，

表示初始生成器网络中初始编码器生成的样本特征图的通道数，即样本特征图的数量，

表示样本特征图的高度，

表示样本特征图的宽度，

表示第i通道第j行第k列的样本掩码值。

由上述可知，初始生成器网络的完整损失函数可以表示为公式(8)：

(8)

其中，

、

、

以及

均为权重参数，表示用于控制图像分类误差、变化域分类误差、重构误差以及正则化项相对于对抗误差的相对权重的超参数，

也可以称为正则化参数。公式(8)可以理解为图像分类器的分类误差、变化域的分类误差、重构误差以及生成判别器的对抗误差之和，通过最小化公式(8)，即最小化初始生成器网络的完整损失值，对初始生成器网络的网络参数进行修正，通过不断迭代，直至公式(8)对应的完整损失值小于目标阈值，或者完整损失值的变化率小于变化率阈值，或者迭代的次数达到目标次数时，此时得到的初始生成器网络的网络参数为最优参数。

可以知道，在生成器网络训练过程中才会使用判别器网络和变化域分类器，使用生成器网络也就是生成图像的过程中，是不使用判别器网络和变化域分类器的。

请一并参见图8a和图8b，是本申请实施例提供的一种训练初始生成器网络的示意图。如图8a所示，初始生成器网络的训练过程具体包括：将样本图像和样本图像变形属性输入初始生成器网络中，基于初始生成器网络中的初始编码器和初始解码器可以生成待判别自变化域，将待判别自变化域输入变化域分类其器中，可以对该待判别自变化域进行分类，得到该待判别自变化域对应的自变化域属性，自变化域属性可以包括样本图像变形属性和非样本图像变形属性，可以根据变化域分类器得到的结果对初始生成器网络终的初始编码器和初始解码器进行参数优化。初始生成器网络最终可以生成与样本图像变形属性相关联的待判别图像，该待判别图像可以与原样本图像对应的属性输入到初始生成器网络中，通过该初始生成器网络对待判别图像进行重构，基于重构结果可以对初始生成器网络的网络参数进行优化。与此同时，上述待判别图像可以输入初始判别网络中，基于初始判别器网络可以识别该待判别图像为真实图像还是假图像，并且识别出该待识别图像所属的图像属性。

需要说明的是，上述初始生成器网络的训练过程为非监督学习过程，换言之，进行初始生成器网络训练的样本数据是不携带样本标签的，初始生成器网络需要自行学习不同属性的图像之间的映射关系。例如，将样本图像A输入初始生成器网络中，初始生成器网络只知道该样本图像A的属性类型（如开心、愤怒等），而不需要知道该样本图像A是小明的人脸图像或者小红的人脸图像或者小狗的图像等。

基于上述训练过程，可以得到一个具有较强的仿造图像能力的初始生成器网络，且该初始生成器网络可以学习具有不同图像属性的图像之间的映射关系，如图8b所示，若存在5种不同图像属性的样本图像，上述5种图像属性分别为属性1、属性2、属性3、属性4以及属性5，通过对具有上述5种属性的图像进行训练，可以只用一个初始生成器网络就能学习到属性1、属性2、属性3、属性4以及属性5分别对应图像之间的映射关系。换言之，训练完成的初始生成器网络可以实现多种图像属性之间的转换，例如，将具有属性1的图像转换为具有属性2的图像，或者转换为具有属性3的图像，或者转换为具有属性4的图像，或者转换为具有属性5的图像，只需将需要转换的属性与需要进行转换的图像共同输入该初始生成器网络模型中即可，如要将具有属性1的图像A转换为具有属性2的图像B，则将图像A和属性2输入训练完成的初始生成器网络中，可以生成具有属性2的图像B。

步骤S204，将包含修正后的网络参数的初始生成器网络确定为生成器网络；所述生成器网络用于生成源图像对应的转换图像，所述转换图像与目标图像变形属性相匹配；

具体的，基于上述训练过程，完成初始生成器网络的网络参数修正过程，得到最终的网络参数，终端设备将包含最终修正后的网络参数的初始生成器网络确定为生成器网络，即生成器网络具备了生成图像的能力，可以直接用来使用。

为了生成更高分辨率的图像，终端设备可以对上述训练完成的初始生成器网络的网络参数进行再次修正，使得再次修正后的初始生成器网络可以生成高分辨率的图像，提高生成图像的质量，因此可以将完成第一次训练（即步骤S204中的训练过程）的初始生成器网络确定为待训练生成器网络，基于待训练生成器网络，可以得到许多待训练自变化域、待训练掩码以及待训练调整值。其中，初始生成器网络可以包括初始编码器、初始解码器、初始残差网络以及初始掩码网络；待训练自变化域是通过完成第一次训练的初始编码器和初始解码器得到的，待训练调整值是是通过完成第一次训练的初始残差网络得到的，待训练掩码是是通过完成第一次训练的初始掩码网络得到的。

终端设备可以对待训练自变化域、待训练调整值以及待训练掩码进行双线性插值，双线性插值是指在两个方向上分别进行一次线性插值，即分别对横轴和纵轴均进行插值，双线性插值即可看成是对待训练自变化域、待训练调整值以及待训练掩码的一次上采样操作。

由于通过双线性插值得到的结果往往是模糊的，因此终端设备可以获取三个小的初始增强神经网络，分别为第一初始增强神经网络，第二初始增强神经网络，第三初始增强神经网络。可以将双线性插值后的待训练自变化域输入第一初始增强神经网络中，基于第一初始增强神经网络对双线性插值后的待训练自变化域进行微调，得到更新自变化域，可以通过下述公式(9)来实现：

=

(9)

其中，w表示待训练自变化域，

表示双线性插值后的待训练自变化域，

表示第一初始增强神经网络，

表示通过第一初始增强神经网络进行微调之后得到的更新自变化域。

将双线性插值后的待训练调整值输入第二初始增强神经网络中，基于第二初始增强神经网络对双线性插值后的待训练调整值进行微调，得到更新调整值，可以通过下述公式(10)来实现：

(10)

其中，r表示待训练调整值，

表示双线性插值后的待训练调整值，

表示第二初始增强神经网络，

表示通过第二初始增强神经网络进行微调之后得到的更新调整值。

将双线性插值后的待训练掩码输入第三初始增强神经网络中，基于第三初始增强神经网络对双线性插值后的待训练掩码进行微调，得到更新掩码，可以通过下述公式(11)来实现：

(11)

其中，m表示待训练掩码，

表示双线性插值后的待训练掩码，

表示第三初始增强神经网络，

表示通过第三初始增强神经网络进行微调之后得到的更新掩码。

其中，更新自变化域的分辨率高于待训练自变化域的分辨率，更新调整值的分辨率高于待训练调整值的分辨率，更新掩码的分辨率高于待训练掩码的分辨率。

终端设备可以根据上述更新自变化域、更新调整值以及更新掩码对包含初始增强神经网络（包括第一初始增强神经网络，第二初始增强神经网络，第三初始增强神经网络）的待训练生成器网络的网络参数进行重新修正，得到最佳网络参数。终端设备将重新修正后的待训练生成器网络确定为最终的生成器网络，将重新修正后的初始增强神经网络确定为目标增强神经网络（可以包括第一目标增强神经网络，第二目标增强神经网络，第三目标增强神经网络）。此时得到的生成器网络可以用于生成元图像对应的转换图像。

步骤S205，获取源图像与目标图像变形属性，从所述源图像中确定与所述目标图像变形属性相关联的关键像素点，获取所述关键像素点对应的变形信息，根据所述变形信息确定自变化域；

具体的，生成器网络中不包括目标增强神经网络时，步骤S205的具体实现方式可以参见上述图1所对应实施例中对步骤S101-步骤S102的描述，这里不再进行赘述。若在实际应用中，需要对高分辨率的源图像进行转换，即生成器网络中包括目标增强神经网络，终端设备可以将步骤S102中变形优化参数与归一化特征图的乘积确定为待定自变化域，通过对该待定自变化域进行双线性插值，双线性插值的方式与训练过程中的双线性插值方式相同。终端设备可以将双线性插值后的待定自变化域输入目标增强神经网络（目标增强神经网络可以为多个，则此时的目标神经网络可理解为第一目标增强神经网络），基于目标增强神经网络对双线性插值后的待定自变化域进行微调（具体实现过程可以参见训练过程中对初始增强神经网络的描述），可以得到源图像针对目标图像变形属性的自变化域，此时得到的自变化域具有高分辨率。

步骤S206，基于所述自变化域，将所述源图像进行变形，得到待转换图像；

具体的，终端设备可以根据目标增强神经网络输出的自变化域，对源图像所包含的像素点进行变形，即更新源图像所包含的像素点的数值，得到变形之后的图像，可以称为待转换图像。

步骤S207，将待转换图像输入至残差网络，从所述残差网络中，获取所述待转换图像中所包含的像素点对应的待处理调整值；

具体的，生成器网络中还包括调整网络，该调整网络可以用于对上述待转换图像进行调整，该调整网络可以包括残差网络和掩码网络，因此在得到待转换图像后，终端设备可以将待转换图像输入残差网络中，基于残差网络得到待转换图像中所包含的像素点对应的待处理调整值，即待转换图像与最终生成的转换图像之间的差值。该残差网络可以包括多个残差层，且每个残差层的输入数据的维度与输出数据的维度都是相同的，残差网络可以在细粒度上对待转换图像进行微调。

可选的，终端设备还可以待处理调整值进行双线性插值处理，并将双线性插值处理之后的待处理调整值输入第二目标增强神经网络（这里的第二目标增强神经网络是为了区分上述第一目标增强神经网络），基于第二目标增强神经网络，对双线性插值后的待处理调整值进行微调，可以得到具有更高分辨率的待处理调整值。

步骤S208，将编码器生成的特征图输入至所述掩码网络，基于所述掩码网络，确定用于标识所述源图像中与目标图像变形属性相关区域的注意力掩码；

具体的，掩码网络可以包括多个反卷积层（可以称为第二反卷积层，这里的第二反卷积层是为了与解码器中的第一反卷积层进行区分，第一反卷积层与第二反卷积层的结构是相同的，只是反卷积层中的权重不一样）和激活函数（如Sigmod函数）。

终端设备可以将生成器网络中编码器生成的特征图输入掩码网络中，根据掩码网络中的反卷积层，对特征图进行反卷积运算，得到用于标识源图像中与目标图像变形属性相关区域的待处理掩码向量，并基于Sigmod函数，对待处理掩码向量进行归一化处理，得到注意力掩码。其中反卷积运算的具体过程可以参见上述图5所对应的实施例，这里不再进行赘述。

可选的，终端设备可以对上述注意力掩码进行双线性插值，并将进行双线性插值处理之后的注意力掩码输入第三目标增强神经网络中，与上述待处理调整值的处理过程相同，得到具有更高分辨率的注意力掩码。

步骤S209，根据所述注意力掩码与所述待处理调整值，确定所述待转换图像中所包含像素点对应的目标调整值；

具体的，将上述注意力掩码和待处理调整值进行点乘，得到待转换图像中所包含的像素点对应的目标调整值，该目标调整值可以表示为：r*m。其中，r表示基于残差网络确定的待处理调整值，m表示基于掩码网络确定的注意力掩码。

步骤S210，根据所述目标调整值，对所述待转换图像进行调整，得到所述待转换图像对应的转换图像。

具体的，终端设备可以根据目标调整值，对待转换图像进行调整，得到最终的转换图像，即

。其中，

表示生成器网络最终生成的转换图像，

表示待转换图像。

请一并参见图9，是本申请实施例提供的一种图像数据处理的框架示意图。如图9所示，

表示变化域分类器，D表示初始判别器网络，D可以包括生成判别网络

和图像分类器

（或者属性判别网络），变化域分类器

、生成判别网络

以及图像分类器

只在网络模型进行训练时使用，在进行图像转换时不使用，下面基于图9中所示的框架，对图像转换过程进行具体说明。源图像

与目标图像变形属性

输入生成器网络（图9中除

和D之外的部分）中，基于自变化模块中的编码器生成特征图，并基于自变化模块中的解码器，得到源图像

针对目标图像变形属性

的自变化域w，利用自变化域w对源图像

进行变形操作，得到待转换图像

，将待转换图像

输入残差网络R中，可以得到待处理调整值r。另外，可以将编码器生成的特征图输入掩码网络M中，基于掩码网络M可以得到注意力掩码m，将注意力掩码m与待处理调整值r进行点乘，并将点乘结果加上待转换图像

，可以得到最终的转换图像

，转换图像

对应的图像属性为目标图像变形属性

。

本申请实施例通过获取源图像和目标图像变形属性，可以从源图像中确定与目标图像变形属性相关联的关键像素点，获取关键像素点对应的变形信息，将获得的变形信息确定为自变化域，进而可以基于自变化域，对源图像进行变形操作，进而得到转换图像。上述可知，可以根据用户选择的源图像与目标图像变形属性，确定源图像中与目标图像变形属性相关联的每个像素点的变形信息，为源图像变形提供更为准确的位置信息，可以提高图像变形的准确率，以优化图像的转换质量；并采用了一种由粗到细的网络训练策略，可以从低分辨率图像生成高分辨率图像，有利于优化生成图像的显示效果。

请参见图10，是本申请实施例提供的一种图像数据处理装置的结构示意图。如图10所示，该图像数据处理装置1可以包括：第一获取模块11，第一确定模块12，第一转换模块13；

第一获取模块11，用于获取源图像与目标图像变形属性，从所述源图像中确定与所述目标图像变形属性相关联的关键像素点；

第一确定模块12，用于获取所述关键像素点对应的变形信息，根据所述变形信息确定自变化域；所述自变化域包括所述源图像所包含的所述关键像素点与转换图像所包含的映射像素点之间的映射关系，所述映射关系包括所述关键像素点和所述映射像素点之间的变形信息；

第一转换模块13，用于基于所述自变化域，对所述源图像进行转换，得到所述转换图像；所述转换图像与所述目标图像变形属性相匹配。

其中，所述源图像包括人脸图像，所述目标图像变形属性包括人脸变形属性；

所述第一确定模块12，具体用于：

获取人脸关键像素点对应的人脸变形信息，根据所述人脸变形信息确定人脸自变化域；所述人脸关键像素点包括所述人脸图像中与所述人脸变形属性相关联的关键像素点；

则所述第一转换模块13具体用于：

基于所述人脸自变化域，对所述人脸图像进行转换，得到人脸转换图像；所述人脸转换图像与所述人脸变形属性相匹配。

其中，第一获取模块11，第一确定模块12，第一转换模块13的具体功能实现方式可以参见上述图3所对应实施例中的步骤S101-步骤S103，这里不再进行赘述。

请一并参见图10，第一获取模块11可以包括：组合单元111，提取单元112；

组合单元111，用于获取源图像与目标图像变形属性，将所述源图像与所述目标图像变形属性组合为输入矩阵；

提取单元112，用于基于生成器网络中的编码器，对所述输入矩阵进行下采样，提取所述源图像中与所述目标图像变形属性相关联的关键像素点。

其中，组合单元111，提取单元112的具体功能实现方式可以参见上述图3所对应实施例中的步骤S101，这里不再进行赘述。

请一并参见图10，第一确定模块12可以包括：编码单元121，解码单元122；

编码单元121，用于在所述编码器中，确定所述关键像素点对应的变形信息，生成包含所述变形信息的特征图；

解码单元122，用于基于所述生成器网络中的解码器，将所述特征图进行解码，生成所述源图像针对所述目标图像变形属性的自变化域。

其中，编码单元121，解码单元122的具体功能实现方式可以参见上述图3所对应实施例中的步骤S102，这里不再进行赘述。

请一并参见图10，第一转换模块13可以包括：变形单元131，调整值获取单元132，调整单元133；

变形单元131，用于基于所述自变化域，将所述源图像进行变形，得到待转换图像；

调整值获取单元132，用于基于所述生成器网络中的调整网络，获取所述待转换图像中所包含的像素点对应的目标调整值；

调整单元133，用于根据所述目标调整值，对所述待转换图像进行调整，得到所述待转换图像对应的转换图像。

其中，变形单元131，调整值获取单元132，调整单元133的具体功能实现方式可以参见上述图7所对应实施例中的步骤S206-步骤S210，这里不再进行赘述。

请一并参见图10，所述解码器包括第一反卷积层和第一激活函数；

解码单元122可以包括：第一反卷积子单元1221，第一归一化子单元1222，变化域确定子单元1223；

第一反卷积子单元1221，用于基于所述解码器中的第一反卷积层，对所述特征图进行反卷积，生成所述特征图对应的可视化特征图；

第一归一化子单元1222，用于基于所述第一激活函数，生成所述可视化特征图对应的归一化特征图；

变化域确定子单元1223，用于获取变形优化参数，基于所述变形优化参数与所述归一化特征图，确定所述源图像针对所述目标图像变形属性的自变化域。

其中，第一反卷积子单元1221，第一归一化子单元1222，变化域确定子单元1223的具体功能实现方式可以参见上述图3所对应实施例中的步骤S102，这里不再进行赘述。

请一并参见图10，所述调整网络包括残差网络和掩码网络；

调整值获取单元132可以包括：待处理调整值获取子单元1321，掩码确定子单元1322，目标调整值确定子单元1323；

待处理调整值获取子单元1321，用于将待转换图像输入至所述残差网络，从所述残差网络中，获取所述待转换图像中所包含的像素点对应的待处理调整值；

掩码确定子单元1322，用于将编码器生成的特征图输入至所述掩码网络，基于所述掩码网络，确定用于标识所述源图像中与目标图像变形属性相关区域的注意力掩码；

目标调整值确定子单元1323，用于根据所述注意力掩码与所述待处理调整值，确定所述待转换图像中所包含像素点对应的目标调整值。

其中，待处理调整值获取子单元1321，掩码确定子单元1322，目标调整值确定子单元1323的具体功能呢个实现方式可以参见上述图7所对应实施例中的步骤S207-步骤S209，这里不再进行赘述。

请一并参见图10，所述生成器网络还包括目标增强神经网络；

变化域确定子单元1223可以包括：乘积子单元12231，插值子单元12232，增强子单元12233；

乘积子单元12231，用于获取变形优化参数，基于所述变形优化参数与所述归一化特征图，确定所述源图像对应的待定自变化域；

插值子单元12232，用于将所述待定自变化域进行双线性插值，并将双线性插值后的待定自变化域输入至所述目标增强神经网络；

增强子单元12233，用于基于所述目标增强神经网络，对双线性插值后的待定自变化域进行增强处理，得到所述源图像针对所述目标图像变形属性的自变化域；所述自变化域的分辨率高于所述待定自变化域的分辨率。

其中，乘积子单元12231，插值子单元12232，增强子单元12233的具体功能实现方式可以参见上述图7所对应实施例中的步骤S205，这里不再进行赘述。

请一并参见图10，所述掩码网络包括第二反卷积层与第二激活函数；

掩码确定子单元1322可以包括：第二反卷积子单元13221，第二归一化子单元13222；

第二反卷积子单元13221，用于将编码器生成的特征图输入至所述第二反卷积层，基于所述第二反卷积层，对所述特征图进行反卷积，得到用于标识所述源图像中与目标图像变形属性相关区域的待处理掩码向量；

第二归一化子单元13222，用于基于所述第二激活函数，对所述待处理掩码向量进行归一化处理，得到所述待处理掩码向量对应的注意力掩码。

其中，第二反卷积子单元13221，第二归一化子单元13222的具体功能实现方式可以参见上述图7所对应实施例中的步骤S208，这里不再进行赘述。

本申请实施例通过获取源图像和目标图像变形属性，可以从源图像中确定与目标图像变形属性相关联的关键像素点，获取关键像素点对应的变形信息，将获得的变形信息确定为自变化域，进而可以基于自变化域，对源图像进行变形操作，进而得到转换图像。上述可知，可以根据用户选择的源图像与目标图像变形属性，确定源图像中与目标图像变形属性相关联的每个像素点的变形信息，为源图像变形提供更为准确的位置信息，可以提高图像变形的准确率，以优化图像的转换质量。

请参见图11，是本申请实施例提供的另一种图像数据处理装置的结构示意图。如图11所示，该图像数据处理装置2可以包括：第二获取模块21，第二转换模块22，修正模块23，第二确定模块24；

第二获取模块21，用于获取样本图像与样本图像变形属性，基于初始生成器网络，确定所述样本图像中与所述样本图像变形属性相关联的样本关键像素点，获取所述样本关键像素点对应的待定变形信息，将所述待定变形信息确定为待判别自变化域；

第二转换模块22，用于基于所述待判别自变化域，对所述样本图像进行转换，得到待判别图像；

修正模块23，用于根据所述待判别图像与所述待判别自变化域，修正所述初始生成器网络的网络参数；

第二确定模块24，用于将包含修正后的网络参数的初始生成器网络确定为生成器网络；所述生成器网络用于生成源图像对应的转换图像，所述转换图像与目标图像变形属性相匹配。

其中，第二获取模块21，第二转换模块22，修正模块23，第二确定模块24的具体功能实现方式可以参见上述图7所对应实施例中的步骤S201-步骤S204，这里不再进行赘述。

请一并参见图11，修正模块23可以包括：第一误差确定单元231，第二误差确定单元232，网络参数修正单元233；

第一误差确定单元231，用于基于所述待判别图像与初始判别器网络对应的第一分类损失函数，确定与所述待判别图像相关联的第一误差；

第二误差确定单元232，用于基于所述待判别自变化域与变化域分类器对应的第二分类损失函数，确定与所述待判别自变化域相关联的第二误差；

网络参数修正单元233，用于根据所述第一误差与所述第二误差，修正所述初始生成器网络的网络参数；

所述网络参数修正单元233，具体用于获取用于特征选择的正则化项，根据所述第一误差、所述第二误差以及所述正则化项，修正所述初始生成器网络的网络参数。

其中，第一误差确定单元231，第二误差确定单元232，网络参数修正单元233的具体功能实现方式可以参见上述图7所对应实施例中的步骤S203，这里不再进行赘述。

请一并参见图11，所述初始生成器网络包括初始编码器、初始解码器、初始残差网络以及初始掩码网络；

第二确定模块24可以包括：待训练网络确定单元241，双线性插值单元242，输入单元243，重新修正单元244；

待训练网络确定单元241，用于将包含修正后的网络参数的初始生成器网络确定为待训练生成器网络，从所述待训练生成器网络中获取待训练自变化域、待训练调整值以及待训练掩码；所述待训练自变化域是由修正后的初始编码器和修正后的初始解码器所确定，所述待训练调整值是由修正后的初始残差网络所确定，所述待训练掩码是由修正后的初始掩码网络所确定；

双线性插值单元242，用于对所述待训练自变化域、所述待训练调整值以及所述待训练掩码进行双线性插值；

输入单元243，用于获取初始增强神经网络，将双线性插值后的待训练自变化域、待训练调整值以及待训练掩码输入至所述初始增强神经网络中；

重新修正单元244，用于基于所述初始增强神经网络的输出结果，对包含所述初始增强神经网络的待训练生成器网络的网络参数进行重新修正，将重新修正后的待训练生成器网络确定为生成器网络，将重新修正后的初始增强神经网络确定为目标增强神经网络。

其中，待训练网络确定单元241，双线性插值单元242，输入单元243，重新修正单元244的具体功能实现方式可以参见上述图7所对应实施例中的步骤S204，这里不再进行赘述。

请一并参见图11，第一误差确定单元231可以包括：判别结果确定子单元2311，第一确定子单元2312；

判别结果确定子单元2311，用于将所述待判别图像输入至初始判别器网络中，基于所述初始判别器网络，确定所述待判别图像对应的判别结果；所述判别结果包括所述待判别图像对应的属性标签，以及所述待判别图像对应的真假标签；

第一确定子单元2312，用于基于所述初始判别器网络对应的第一分类损失函数，确定所述判别结果与预期判别结果之间的第一误差。

其中，判别结果确定子单元2311，第一确定子单元2312的具体功能实现方式可以参见上述图7所对应实施例中的步骤S203，这里不再进行赘述。

请一并参见图11，第二误差确定单元232可以包括：分类结果确定子单元2321，第二确定子单元2322；

分类结果确定子单元2321，用于将所述待判别自变化域输入至变化域分类器中，基于所述变化域分类器，确定所述待判别自变化域对应的分类结果；

第二确定子单元2322，用于基于所述变化域分类器对应的第二分类损失函数，确定所述分类结果与期望分类结果之间的第二误差。

其中，分类结果确定子单元2321，第二确定子单元2322的具体功能实现方式可以参见上述图7所对应实施例中的步骤S203，这里不再进行赘述。

请一并参见图11，重新修正单元244可以包括：更新子单元2441，网络参数重新修正子单元2442；

更新子单元2441，用于基于所述初始增强神经网络，得到所述待训练自变化域对应的更新自变化域、待训练调整值对应的更新调整值以及待训练掩码对应的更新掩码；所述更新自变化域的分辨率高于所述待训练自变化域的分辨率，所述更新调整值的分辨率高于所述待训练调整值的分辨率，所述更新掩码的分辨率高于所述待训练掩码的分辨率；

网络参数重新修正子单元2442，用于根据所述更新自变化域、所述更新调整值以及所述更新掩码，对包含所述初始增强神经网络的待训练生成器网络的网络参数进行重新修正。

其中，更新子单元2441，网络参数重新修正子单元2442的具体功能实现方式可以参见上述图7所对应实施例中的步骤S204，这里不再进行赘述。

本申请实施例通过在初始生成器网络的训练过程中，引入变化域分类器，可以用于对初始生成器网络生成的待判别自变化域进行分类，基于分类结果对初始生成器网络的网络参数进行优化，另外，采用了一种由粗到细的网络训练策略，可以从低分辨率图像生成高分辨率图像，有利于优化生成图像的显示效果。

请参见图12，是本申请实施例提供的又一种图像数据处理装置的结构示意图。如图12所示，该图像数据处理装置1000可以包括：处理器1001，网络接口1004和存储器1005，此外，上述图像数据处理装置1000还可以包括：用户接口1003，和至少一个通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。其中，用户接口1003可以包括显示屏（Display）、键盘（Keyboard），可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口（如WI-FI接口）。存储器1004可以是高速RAM存储器，也可以是非不稳定的存储器（non-volatile memory），例如至少一个磁盘存储器。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图12所示，作为一种计算机可读存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及设备控制应用程序。

在如图12所示的图像数据处理装置1000中，网络接口1004可提供网络通讯功能；而用户接口1003主要用于为用户提供输入的接口；而处理器1001可以用于调用存储器1005中存储的设备控制应用程序，以实现：

获取源图像与目标图像变形属性，从所述源图像中确定与所述目标图像变形属性相关联的关键像素点，获取所述关键像素点对应的变形信息，将所述变形信息确定为自变化域；

基于所述自变化域，对所述源图像进行转换，得到转换图像；所述转换图像与所述目标图像变形属性相匹配。

应当理解，本申请实施例中所描述的图像数据处理装置1000可执行前文图3、图7任一个所对应实施例中对所述图像数据处理方法的描述，也可执行前文图10所对应实施例中对所述图像数据处理装置1和图11所对应实施例中对所述图像数据处理装置2的描述，在此不再赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。

此外，这里需要指出的是：本申请实施例还提供了一种计算机可读存储介质，且所述计算机可读存储介质中存储有前文提及的图像数据处理装置1和图像数据处理装置2所执行的计算机程序，且所述计算机程序包括程序指令，当所述处理器执行所述程序指令时，能够执行前文图3、图7任一个所对应实施例中对所述图像数据处理方法的描述，因此，这里将不再进行赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。对于本申请所涉及的计算机可读存储介质实施例中未披露的技术细节，请参照本申请方法实施例的描述。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储存储器（Read-Only Memory，ROM）或随机存储存储器（Random AccessMemory，RAM）等。

以上所揭露的仅为本申请较佳实施例而已，当然不能以此来限定本申请之权利范围，因此依本申请权利要求所作的等同变化，仍属本申请所涵盖的范围。

Claims (14)

1.一种图像数据处理方法，其特征在于，包括：

获取源图像与目标图像变形属性，从所述源图像中确定与所述目标图像变形属性相关联的关键像素点；

获取所述关键像素点对应的变形信息，根据所述变形信息确定自变化域；所述自变化域包括所述源图像所包含的所述关键像素点与转换图像所包含的映射像素点之间的映射关系，所述映射关系包括所述关键像素点和所述映射像素点之间的变形信息；

基于所述自变化域，将所述源图像进行变形，得到待转换图像；

基于生成器网络中的调整网络，获取所述待转换图像中所包含的像素点对应的目标调整值；

根据所述目标调整值，对所述待转换图像进行调整，得到所述待转换图像对应的转换图像；所述转换图像与所述目标图像变形属性相匹配。

2.根据权利要求1所述的方法，其特征在于，所述获取源图像与目标图像变形属性，从所述源图像中确定与所述目标图像变形属性相关联的关键像素点，包括：

获取源图像与目标图像变形属性，将所述源图像与所述目标图像变形属性组合为输入矩阵；

基于生成器网络中的编码器，对所述输入矩阵进行下采样，提取所述源图像中与所述目标图像变形属性相关联的关键像素点；

则所述获取所述关键像素点对应的变形信息，根据所述变形信息确定自变化域，包括：

在所述编码器中，确定所述关键像素点对应的变形信息，生成包含所述变形信息的特征图；

基于所述生成器网络中的解码器，将所述特征图进行解码，生成所述源图像针对所述目标图像变形属性的自变化域。

3.根据权利要求2所述的方法，其特征在于，所述解码器包括第一反卷积层和第一激活函数；

所述基于所述生成器网络中的解码器，将所述特征图进行解码，生成所述源图像对应的自变化域，包括：

基于所述解码器中的第一反卷积层，对所述特征图进行反卷积，生成所述特征图对应的可视化特征图；

基于所述第一激活函数，生成所述可视化特征图对应的归一化特征图；

获取变形优化参数，基于所述变形优化参数与所述归一化特征图，确定所述源图像针对所述目标图像变形属性的自变化域。

4.根据权利要求3所述的方法，其特征在于，所述生成器网络还包括目标增强神经网络；

所述获取变形优化参数，基于所述变形优化参数与所述归一化特征图，确定所述源图像针对所述目标图像变形属性的自变化域，包括：

获取变形优化参数，基于所述变形优化参数与所述归一化特征图，确定所述源图像对应的待定自变化域；

将所述待定自变化域进行双线性插值，并将双线性插值后的待定自变化域输入至所述目标增强神经网络；

基于所述目标增强神经网络，对双线性插值后的待定自变化域进行增强处理，得到所述源图像针对所述目标图像变形属性的自变化域；所述自变化域的分辨率高于所述待定自变化域的分辨率。

5.根据权利要求1所述的方法，其特征在于，所述调整网络包括残差网络和掩码网络；

所述基于生成器网络中的调整网络，获取所述待转换图像中所包含的像素点对应的目标调整值，包括：

将待转换图像输入至所述残差网络，从所述残差网络中，获取所述待转换图像中所包含的像素点对应的待处理调整值；

将编码器生成的特征图输入至所述掩码网络，基于所述掩码网络，确定用于标识所述源图像中与目标图像变形属性相关区域的注意力掩码；

根据所述注意力掩码与所述待处理调整值，确定所述待转换图像中所包含像素点对应的目标调整值。

6.根据权利要求5所述的方法，其特征在于，所述掩码网络包括第二反卷积层与第二激活函数；

所述将编码器生成的特征图输入至所述掩码网络，基于所述掩码网络，确定用于标识所述源图像中与目标图像变形属性相关区域的注意力掩码，包括：

将编码器生成的特征图输入至所述第二反卷积层，基于所述第二反卷积层，对所述特征图进行反卷积，得到用于标识所述源图像中与目标图像变形属性相关区域的待处理掩码向量；

基于所述第二激活函数，对所述待处理掩码向量进行归一化处理，得到所述待处理掩码向量对应的注意力掩码。

7.根据权利要求1所述的方法，其特征在于，所述自变化域包括人脸自变化域；所述源图像包括人脸图像，所述目标图像变形属性包括人脸变形属性；

所述获取所述关键像素点对应的变形信息，根据所述变形信息确定自变化域，包括：

获取人脸关键像素点对应的人脸变形信息，根据所述人脸变形信息确定人脸自变化域；所述人脸关键像素点包括所述人脸图像中与所述人脸变形属性相关联的关键像素点；

其中，所述转换图像包括基于所述人脸自变化域对所述人脸图像进行转换所得到的人脸转换图像；所述人脸转换图像与所述人脸变形属性相匹配。

8.一种图像数据处理方法，其特征在于，包括：

获取样本图像与样本图像变形属性，基于初始生成器网络，确定所述样本图像中与所述样本图像变形属性相关联的样本关键像素点，获取所述样本关键像素点对应的待定变形信息，将所述待定变形信息确定为待判别自变化域；

基于所述待判别自变化域，对所述样本图像进行转换，得到待判别图像；

根据所述待判别图像与所述待判别自变化域，修正所述初始生成器网络的网络参数；

将包含修正后的网络参数的初始生成器网络确定为生成器网络；所述生成器网络用于生成源图像对应的转换图像，所述转换图像与目标图像变形属性相匹配。

9.根据权利要求8所述的方法，其特征在于，所述根据所述待判别图像与所述待判别自变化域，修正所述初始生成器网络的网络参数，包括：

基于所述待判别图像与初始判别器网络对应的第一分类损失函数，确定与所述待判别图像相关联的第一误差；

基于所述待判别自变化域与变化域分类器对应的第二分类损失函数，确定与所述待判别自变化域相关联的第二误差；

根据所述第一误差与所述第二误差，修正所述初始生成器网络的网络参数。

10.根据权利要求9所述的方法，其特征在于，所述根据所述第一误差与所述第二误差，修正所述初始生成器网络的网络参数，包括：

获取用于特征选择的正则化项，根据所述第一误差、所述第二误差以及所述正则化项，修正所述初始生成器网络的网络参数。

11.根据权利要求8-10任一项所述的方法，其特征在于，所述初始生成器网络包括初始编码器、初始解码器、初始残差网络以及初始掩码网络；

所述将包含修正后的网络参数的初始生成器网络确定为生成器网络，包括：

将包含修正后的网络参数的初始生成器网络确定为待训练生成器网络，从所述待训练生成器网络中获取待训练自变化域、待训练调整值以及待训练掩码；所述待训练自变化域是由修正后的初始编码器和修正后的初始解码器所确定，所述待训练调整值是由修正后的初始残差网络所确定，所述待训练掩码是由修正后的初始掩码网络所确定；

对所述待训练自变化域、所述待训练调整值以及所述待训练掩码进行双线性插值；

获取初始增强神经网络，将双线性插值后的待训练自变化域、待训练调整值以及待训练掩码输入至所述初始增强神经网络中；

基于所述初始增强神经网络的输出结果，对包含所述初始增强神经网络的待训练生成器网络的网络参数进行重新修正，将重新修正后的待训练生成器网络确定为生成器网络，将重新修正后的初始增强神经网络确定为目标增强神经网络。

12.根据权利要求11所述的方法，其特征在于，所述基于所述初始增强神经网络的输出结果，对包含所述初始增强神经网络的待训练生成器网络的网络参数进行重新修正，包括：

基于所述初始增强神经网络，得到所述待训练自变化域对应的更新自变化域、待训练调整值对应的更新调整值以及待训练掩码对应的更新掩码；所述更新自变化域的分辨率高于所述待训练自变化域的分辨率，所述更新调整值的分辨率高于所述待训练调整值的分辨率，所述更新掩码的分辨率高于所述待训练掩码的分辨率；

根据所述更新自变化域、所述更新调整值以及所述更新掩码，对包含所述初始增强神经网络的待训练生成器网络的网络参数进行重新修正。

13.一种图像数据处理装置，其特征在于，包括：处理器和存储器；

所述处理器和存储器相连，其中，所述存储器用于存储计算机程序，所述处理器用于调用所述计算机程序，以执行如权利要求1-12任一项所述的方法。

14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时，执行如权利要求1-12任一项所述的方法。

Images