CN113706369A - 图像处理方法、装置、电子设备及存储介质 - Google Patents

Abstract

本公开关于一种图像处理方法、装置、电子设备及存储介质，以至少解决利用生成式对抗网络GAN，将形状与参考对象的形状差异大的待处理对象处理为参考对象的类型的图片时，准确性差的问题。该方法包括：获取原始图像；原始图像包括待处理对象；对待处理对象进行图像变形处理，将图像变形处理后的待处理对象的形状处理为参考对象的形状，得到中间图像；对中间图像中图像变形处理后的待处理对象进行纹理处理，将纹理处理后的待处理对象的纹理处理为参考对象的纹理，得到目标图像。

Description

图像处理方法、装置、电子设备及存储介质

技术领域

本公开涉及图像处理技术领域，尤其涉及图像处理方法、装置、电子设备及存储介质。

背景技术

图像处理技术是将一种类型的图像转换为另一种类型的图像的技术。例如：将语义分割图像转换为真实街景图像，灰色图像转换为彩色图像，白天的图像转换为黑夜的图像，低像素图像转换为高像素的图像等。

生成式对抗网络(generative adversarial network，GAN)是一种深度学习模型。生成式对抗网络GAN用于建立一个源数据集到目标数据集的映射关系。生成式对抗网络GAN包括生成器和判别器。其中，生成器用于对源数据集进行预测，得到预测数据集。判别器用于判别预测数据集为目标数据集的概率，并将判别结果反馈给生成器用于指导生成器的训练，直至生成器预测得到的预测数据集被判别器判别为目标数据集的概率大于一个阈值之后，将最新得到的预测数据集作为目标数据集。近年，生成式对抗网络GAN广泛应用于图像处理技术领域，例如：应用程序中的年龄变化功能、性别变化功能、漫画脸功能等都应用了生成式对抗网络GAN对原始图像进行处理得到目标图像。

但是，使用生成式对抗网络GAN对形状与参考对象的形状差异大的待处理对象进行处理得到的目标图像的准确性差。例如，将原始图像中的成年人对象进行处理得到包括小孩对象的图像时，得到的包括小孩对象的图像存在阴影或五官比例不协调等图像失真问题。当前，为了解决生成式对抗网络GAN对形变处理不足的常用解决方案就是在生成式对抗网络GAN模型中引入形状注意力机制，但是引入形状注意力机制的生成式对抗网络GAN，在对形状与参考对象形状差异大的待处理对象进行处理时，得到的目标图像的准确性仍然比较差，而且会带来更大的网络开销。

发明内容

本公开提供一种图像处理方法、装置、电子设备及存储介质，以解决利用生成式对抗网络GAN，将形状与参考对象的形状差异大的待处理对象，处理为参考对象的类型的图片时，准确性差的问题。

本公开的技术方案如下：

根据本公开实施例的第一方面，本公开实施例提供一种图像处理方法，该方法包括：获取原始图像；原始图像包括待处理对象；对待处理对象进行图像变形处理，将图像变形处理后的待处理对象的形状处理为参考对象的形状，得到中间图像；对中间图像中图像变形处理后的待处理对象进行纹理处理，将纹理处理后的待处理对象的纹理处理为参考对象的纹理，得到目标图像。

本公开实施例通过将图像处理中的图像变形处理与纹理处理分离的图像处理方案，首先通过图像变形处理，得到中间图像，使得中间图像中待处理对象的形状与参考对象的形状接近，然后将经图像变形处理后的原始图像中的待处理对象的纹理映射为参考对象的纹理，得到目标图像。提高了利用生成式对抗网络GAN将形状与参考对象的形状差异大的待处理对象处理为参考对象的类型的图片时的准确性差，另一方面，在生成式对抗网络GAN之外对待处理对象的形状进行处理，不会增加生成式对抗网络GAN的运算复杂度。

结合第一方面，在第一种可能的实现方式中，上述“对待处理对象进行图像变形处理，将图像变形处理后的待处理对象的形状处理为参考对象的形状，得到中间图像”，包括：获取待处理对象的多个第一关键点；获取参考对象的多个第二关键点；根据多个第一关键点和多个第二关键点，对待处理对象进行图像变形处理，将图像变形处理后的待处理对象的形状处理为参考对象的形状，得到中间图像。

结合第一方面，在第二种可能的实现方式中，上述“根据多个第一关键点和多个第二关键点，对待处理对象进行图像变形处理，将图像变形处理后的待处理对象的形状处理为参考对象的形状，得到中间图像”，包括：根据多个第一关键点和多个第二关键点，得到具有位置对应关系的第一关键点和第二关键点；基于具有位置对应关系的第一关键点和第二关键点获取待处理对象与参考对象的像素点变换矩阵；基于像素点变换矩阵对待处理对象进行图像变形处理，将图像变形处理后的待处理对象的形状处理为参考对象的形状，得到中间图像。

结合第一方面，在第三种可能的实现方式中，上述“根据多个第一关键点和多个第二关键点，对待处理对象进行图像变形处理，将图像变形处理后的待处理对象的形状处理为参考对象的形状，得到中间图像”，包括：根据多个第一关键点将待处理对象进行三角面片切分；根据多个第二关键点将参考对象进行三角面片切分；获取具有位置对应关系的待处理对象的三角面片和参考对象的三角面片；根据具有位置对应关系的待处理对象的三角面片和参考对象的三角面片，对待处理对象进行图像变形处理，将图像变形处理后的待处理对象的形状处理为参考对象的形状，得到中间图像。

结合第一方面，在第四种可能的实现方式中，上述“对中间图像中图像变形处理后的待处理对象进行纹理处理，将纹理处理后的待处理对象的纹理处理为参考对象的纹理”，包括：将中间图像输入生成式对抗网络GAN；生成式对抗网络GAN根据参考对象的纹理特征，将中间图像中图像变形处理后的待处理对象的纹理，处理为参考对象的纹理，得到目标图像并输出。

结合第一方面，在第五种可能的实现方式中，上述“生成式对抗网络GAN根据参考对象的纹理特征，将中间图像中图像变形处理后的待处理对象的纹理，处理为参考对象的纹理，得到目标图像并输出”，包括：生成式对抗网络GAN中的生成网络根据中间图像生成输出图像并将输出图像输入生成式对抗网络GAN中的判别网络；判别网络是基于参考对象构建的；判别网络判断输出图像的真假，并将判断结果反馈给生成网络；生成网络根据判断结果调整生成输出图像的参数，并生成新的输出图像，直至判别网络确定生成网络生成的新的输出图像为真，生成式对抗网络GAN将确定为真的新的输出图像作为目标图像输出。

根据本公开实施例的第二方面，提供一种图像处理装置，包括：获取模块，被配置为获取原始图像；原始图像包括待处理对象；图像变形处理模块，被配置为对待处理对象进行图像变形处理，将图像变形处理后的待处理对象的形状处理为参考对象的形状，得到中间图像；图像纹理处理模块，被配置为对中间图像中图像变形处理后的待处理对象进行纹理处理，将纹理处理后的待处理对象的纹理处理为参考对象的纹理，得到目标图像。

结合第二方面，在第一种可能的实现方式中，获取模块还被配置为：获取待处理对象的多个第一关键点；获取参考对象的多个第二关键点；图像变形处理模块，具体被配置为：根据多个第一关键点和多个第二关键点，对待处理对象进行图像变形处理。

结合第二方面，在第二种可能的实现方式中，获取模块还被配置为：根据多个第一关键点和多个第二关键点，得到具有位置对应关系的第一关键点和第二关键点；基于具有位置对应关系的第一关键点和第二关键点获取待处理对象与参考对象的像素点变换矩阵；图像变形处理模块，具体被配置为基于像素点变换矩阵对待处理对象进行图像变形处理，将图像变形处理后的待处理对象的形状处理为参考对象的形状，得到中间图像。

结合第二方面，在第三种可能的实现方式中，图像变形处理模块具体被配置为：根据多个第一关键点将待处理对象进行三角面片切分；根据多个第二关键点将参考对象进行三角面片切分；获取具有位置对应关系的待处理对象的三角面片和参考对象的三角面片；根据具有位置对应关系的待处理对象的三角面片和参考对象的三角面片，对待处理对象进行图像变形处理，将图像变形处理后的待处理对象的形状处理为参考对象的形状，得到中间图像。

结合第二方面，在第四种可能的实现方式中，图像纹理处理模块具体被配置为：将中间图像输入生成式对抗网络GAN；生成式对抗网络GAN根据参考对象的纹理特征，将中间图像中图像变形处理后的待处理对象的纹理，处理为参考对象的纹理，得到目标图像并输出。

结合第二方面，在第五种可能的实现方式中，图像纹理处理模块具体被配置为：生成式对抗网络GAN中的生成网络根据中间图像生成输出图像并将输出图像输入生成式对抗网络GAN中的判别网络；判别网络是基于参考对象构建的；判别网络判断输出图像的真假，并将判断结果反馈给生成网络；生成网络根据判断结果调整生成输出图像的参数，并生成新的输出图像，直至判别网络确定生成网络生成的新的输出图像为真，生成式对抗网络GAN将确定为真的新的输出图像作为目标图像输出。

根据本公开实施例的第三方面，提供一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器。其中，处理器被配置为执行所述指令，以实现上述第一方面以及第一方面的任一种可能的实现方式所示的图像处理方法。

根据本公开实施例的第四方面，提供一种计算机可读存储介质，当该存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如第一方面以及第一方面的任一种可能的实现方式所示的图像处理方法。

根据本公开实施例的第五方面，提供一种计算机程序产品，可直接加载到计算机的内部存储器中，并含有软件代码，该计算机程序经由计算机载入并执行后能够实现第一方面以及第一方面的任一种可能的实现方式所示的图像处理方法。

上述提供的任一种图像处理装置、电子设备或计算机可读存储介质或计算机程序产品用于执行上文所提供的对应的方法，因此，其所能达到的有益效果可参考上文提供的对应的方法中对应方案的有益效果，此处不再赘述。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。

图1是根据一示例性实施例示出的本公开的网络架构；

图2是根据一示例性实施例示出的一种图像处理方法的流程示意图；

图3是根据一示例性实施例示出的人脸关键点的示意图；

图4是根据一示例性实施例示出的原始图像与目标图像的示意图；

图5是根据另一示例性实施例示出的一种图像处理方法的流程示意图；

图6是根据一示例性实施例示出的一种图像处理装置框图。

具体实施方式

在本公开的实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本公开实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

在本公开实施例中，“至少一个”是指一个或多个。“多个”是指两个或两个以上。

在本公开实施例中，“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

如图1所示，为根据一示例性实施例示出的本公开的网络架构。图1所示的网络架构可以包括服务器101和多个终端设备102。图1中以两个终端设备102为例进行说明。其中，服务器101与每个终端设备102均通过网络连接。

终端设备102可以用于接收原始图像，并对原始图像进行处理。

可选的，终端设备102可以向服务器101发送原始图像，并接收服务器101发送的原始图像的处理结果。

终端设备102可以是掌上电脑、笔记本电脑、智能手机、平板电脑或台式电脑等计算设备中的任意一种。

服务器101可以用于接收终端设备102发送的原始图像，并对接收的原始图像进行处理后，将原始图像的处理结果发送给终端设备102。

服务器101可以是一台服务器，也可以是由多台服务器组成的服务器集群，或者是一个云计算服务中心。

图2是根据一示例性实施例示出的一种图像处理方法的流程示意图。应用于终端设备102，图2所示的方法可以包括以下步骤：

S100：获取原始图像，原始图像包括待处理对象。

本公开实施例对原始图像的获取方式不进行限定。在一种可能的实现方式中，终端设备102通过摄像头实时获取原始图像。在另一种可能的实现方式中，终端设备102根据接收到的用户选择指令，从存储的图像中选择该用户选择指令所指示的原始图像。其中，用户选择指令可以是终端设备102接收用户通过输入单元发出的用户选择指令。原始图像包括的待处理对象可以是人物、动物、植物或其他物品等中的至少一种。在一个示例中，当用户在使用终端设备中的应用程序时，终端设备接收用户选择的应用程序中“将原始图像中的待处理对象处理为参考对象相同类型的对象”的图像处理指令。其中，原始图像为该终端设备的摄像头实时获取的图像。待处理对象为原始图像中的成年人，参考对象相同类型的对象为幼儿。该图像处理指令用于将原始图像中的成年人处理为该成年人对应的幼儿。

S101：对待处理对象进行图像变形处理，将图像变形处理后的待处理对象的形状处理为参考对象的形状，得到中间图像。

具体的，终端设备102可以通过如下步骤将原始图像中的待处理对象进行图像变形处理，将图像变形处理后的待处理对象的形状处理为参考对象的形状，得到中间图像。

步骤一：终端设备102获取用于表征待处理对象的多个第一关键点。多个第一关键点中的一个第一关键点用于表征待处理对象的一个部分。其中，关键点，是图像中一种稳定的、旋转不变、能克服灰度反转的像素点。关键点在含有相同场景或相同目标的相似图像中以一种相同的或至少非常相似的不变形式表示图像或目标的像素点。例如，人脸中的眼球的中间点，从不同的角度采集多幅图像，不同图像中的人脸的眼球的中间点都能够被识别。

终端设备102可以采用关键点提取算法获取待处理对象中的第一关键点。其中，关键点是一种稳定的、旋转不变、能克服灰度反转的像素点。关键点提取算法可以是Moravec算子、Forstner算子或harris算子等。

示例性的，当待处理对象为人脸时，如图3是根据一示例性实施例示出的人脸关键点的示意图。

步骤二：终端设备102获取参考对象的多个第二关键点。多个第二关键点用于表征目参考对象的形状。

基于S100中的示例，参考对象可以是根据多个包含幼儿脸的图像得到的幼儿的平均脸。其中，平均脸指经过计算机技术处理得到的某一群体的合成性面部。

步骤三：终端设备102根据多个第一关键点和多个第二关键点，对待处理对象进行图像变形处理，将图像变形处理后的待处理对象的形状处理为参考对象的形状，得到中间图像。

具体的，终端设备102根据多个第一关键点和多个第二关键点，对待处理对象进行图像变形处理，得到图像变形处理后的待处理对象的实现方式包括：

方式a:终端设备102通过液化模型或液化算法对原始图像中的待处理对象进行图像变形处理，将图像变形处理后的待处理对象的形状处理为参考对象的形状，得到中间图像。其中，液化模型或液化算法用于：首先，根据原始图像中待处理对象的多个第一关键点将原始图像中的待处理对象进行三角面片切分，得到多个第一三角面片。根据参考对象的多个第二关键点，将参考对象进行三角面片切分，得到多个第二三角面片。然后，获取具有位置对应关系的待处理对象的三角面片和参考对象的三角面片。再然后，根据具有位置对应关系的待处理对象的三角面片和参考对象的三角面片，对待处理对象进行图像变形处理，得到图像变形处理后的待处理对象。

方式b：首先，终端设备102根据多个第一关键点和多个第二关键点，匹配多个第一关键点和该多个第二关键点，得到多个具有位置对应关系的第一关键点和第二关键点。

终端设备102可以采用关键点匹配算法建立第一关键点与第二关键点的位置对应关系，其中，关键点匹配算法可以是相关系数法、松弛法或最小二乘法等。

然后，终端设备102基于具有位置对应关系的第一关键点和第二关键点获取待处理对象与参考对象的像素点变换矩阵。

再然后，终端设备102基于获取的像素点变换矩阵对待处理对象进行图像变形处理得到图像变形处理后的待处理对象。

这样，参考对象的第二关键点表征了参考对象的形状，而待处理对象的第一关键点表征了待处理对象的形状。终端设备102基于参考对象的第二关键点与待处理对象的第一关键点，将待处理对象的第一关键点，根据与其匹配的参考对象的第二关键点进行处理。从而使得图像变形处理后的待处理对象更接近于参考对象的形状。

可以理解的是，终端设备102还可以使用相似变换、仿射变换或投影变换等中的任意一种算法将原始图像进行形状映射处理，得到中间图像。

S102：将中间图像中图像变形处理后的待处理对象进行纹理处理，将纹理处理后的待处理对象的纹理处理为参考对象的纹理，得到目标图像。

具体的，终端设备102将中间图像输入生成式对抗网络GAN，生成式对抗网络GAN根据参考对象的纹理特征，将中间图像中图像变形处理后的待处理对象的纹理，处理为参考对象的纹理，得到目标图像并输出。其中，生成式对抗网络GAN中的生成网络根据中间图像生成输出图像并将输出图像输入生成式对抗网络GAN中的判别网络；判别网络是基于参考对象构建的；判别网络判断输出图像的真假，并将判断结果反馈给生成网络；生成网络根据判断结果调整生成输出图像的参数，并生成新的输出图像，直至判别网络确定生成网络生成的新的输出图像为真，生成式对抗网络GAN将确定为真的新的输出图像作为目标图像输出。

后续，终端设备102将目标图像通过输出设备展现给用户。基于S101的示例，终端设备102将目标图像通过终端设备102的显示器(例如：屏幕)展现给用户。

示例性的，如图4是根据一示例性实施例示出的原始图像与目标图像的示意图。图4中第一列图像为原始图像，第二列图像为将原始图像处理后的目标图像。

本公开实施例通过将图像处理中的形变与纹理映射分离的图像处理方案，首先通过对原始图像进行图像变形处理，得到中间图像，使得中间图像中待处理对象的形状与参考对象的形状接近，然后通过生成式对抗网络GAN将中间图像中图像变形处理后的待处理对象的纹理处理为参考对象的纹理，得到目标图像。一方面，提高了原始图像中待处理对象的形状与参考对象的形状差异大时，对原始图像进行图像处理得到的目标图像的准确性。

另一方面，由于图像变形处理与纹理处理分离，使得终端设备102在进行图像变形处理的时候只专注于原始图像中的待处理对象的形状与参考对象的形状映射，不用考虑其他因素，在对中间图像进行纹理处理的时候，只专注于待处理对象的纹理与参考对象的纹理映射。从而相较于“在生成式对抗网络GAN中引入注意力机制模块，使得生成式对抗网络GAN增加对形状映射的处理”，降低了终端设备102的开销(例如：处理器、内存等终端设备102的计算资源的开销)。

图5是根据另一示例性实施例示出的一种图像处理方法的流程示意图。图5所示的方法可以包括以下步骤：

S200：终端设备102获取原始图像，原始图像包括待处理对象。

具体的，参考上述实施例S100中的描述，不再赘述。

S201：终端设备102向服务器101发送原始图像以及图像处理指令。

本公开实施例中终端设备102可以分两次分别向服务器101发送原始图像以及图像处理指令，或者，终端设备102一次向服务器101发送原始图像以及图像处理指令。

S202：服务器101根据原始图像以及图像处理指令，对原始图像中的待处理对象进行图像变形处理，将图像变形处理后的待处理对象的形状处理为参考对象的形状，得到中间图像。

具体的，参考上述实施例中S101中终端设备102所执行的步骤，不再赘述。

S203：服务器101对中间图像中图像变形处理后的待处理对象进行纹理处理，将纹理处理后的待处理对象的纹理处理为参考对象的纹理，得到目标图像。

具体的，参考上述S102中终端设备102将中间图像中图像变形处理后的待处理对象进行纹理处理，将纹理处理后的待处理对象的纹理处理为参考对象的纹理的方式。

S204：服务器101向终端设备102发送目标图像。

后续，终端设备102通过输出设备将目标图像展现给用户。

本公开实施例通过将图像处理中的形变与纹理映射分离的图像处理方案，首先通过图像变形处理，得到中间图像，使得中间图像中待处理对象的形状与参考对象的形状接近，然后通过纹理映射方法将中间图像中的待处理对象的纹理处理为参考对象的纹理，得到目标图像。一方面，提高了原始图像中待处理对象的形状与参考对象的形状差异大时，对原始图像进行图像处理得到的目标图像的准确性。

另一方面，由于图像变形处理与纹理映射分离，使得服务器101在进行图像变形处理的时候只专注于原始图像中的待处理对象的形状与参考对象的形状映射，不用考虑其他因素，在对中间图像进行纹理处理的时候，只专注于中间图像中待处理对象的纹理与参考对象的纹理映射。从而相较于“在生成式对抗网络GAN中引入注意力机制模块，使得生成式对抗网络GAN增加对形状映射的处理”降低了服务器101的开销(例如：处理器、内存等服务器101的计算资源的开销)。

上述主要从方法的角度对本申请实施例提供的方案进行了介绍。为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的方法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

本申请实施例可以根据上述方法示例对图像处理装置进行功能模块的划分，例如可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

图6是根据一示例性实施例示出的一种图像处理装置框图。参照图6，该图像处理装置90包括获取模块901，被配置为获取原始图像；原始图像包括待处理对象；图像变形处理模块902，被配置为对待处理对象进行图像变形处理，将图像变形处理后的待处理对象的形状处理为参考对象的形状，得到中间图像；图像纹理处理模块903，被配置为对中间图像中图像变形处理后的待处理对象进行纹理处理，将纹理处理后的待处理对象的纹理处理为参考对象的纹理，得到目标图像。例如：当图像处理装置90为终端设备时，结合图2，获取模块901被配置为用于执行S100,图像变形处理模块902被配置为用于执行S101,图像纹理处理模块903被配置为用于执行S102。当图像处理装置90为服务器时，结合图5，获取模块901被配置为用于执行S201中的接收步骤，图像变形处理模块902被配置为用于S202，图像纹理处理模块903被配置为用于执行S203。

可选的，获取模块901还被配置为：获取待处理对象的多个第一关键点；获取参考对象的多个第二关键点；图像变形处理模块902，具体被配置为：根据多个第一关键点和多个第二关键点，对待处理对象进行图像变形处理。

可选的，获取模块901还被配置为：根据多个第一关键点和多个第二关键点，得到具有位置对应关系的第一关键点和第二关键点；基于具有位置对应关系的第一关键点和第二关键点获取待处理对象与参考对象的像素点变换矩阵；图像变形处理模块902，具体被配置为基于像素点变换矩阵对待处理对象进行图像变形处理，将图像变形处理后的待处理对象的形状处理为参考对象的形状，得到中间图像。

可选的，图像变形处理模块902具体被配置为：根据多个第一关键点将待处理对象进行三角面片切分；根据多个第二关键点将参考对象进行三角面片切分；获取具有位置对应关系的待处理对象的三角面片和参考对象的三角面片；根据具有位置对应关系的待处理对象的三角面片和参考对象的三角面片，对待处理对象进行图像变形处理，将图像变形处理后的待处理对象的形状处理为参考对象的形状，得到中间图像。

可选的，图像纹理处理模块903具体被配置为：将中间图像输入生成式对抗网络GAN；生成式对抗网络GAN根据参考对象的纹理特征，将中间图像中图像变形处理后的待处理对象的纹理，处理为参考对象的纹理，得到目标图像并输出。

可选的，图像纹理处理模块903具体被配置为：生成式对抗网络GAN中的生成网络根据中间图像生成输出图像并将输出图像输入生成式对抗网络GAN中的判别网络；判别网络是基于参考对象构建的；判别网络判断输出图像的真假，并将判断结果反馈给生成网络；生成网络根据判断结果调整生成输出图像的参数，并生成新的输出图像，直至判别网络确定生成网络生成的新的输出图像为真，生成式对抗网络GAN将确定为真的新的输出图像作为目标图像输出。

本公开实施例提供的图像处理装置，采用将图像处理中的形变与纹理映射分离的图像处理方案，首先通过形状映射处理，得到中间图像，使得中间图像中待处理对象的形状与目标类型的对象的形状接近，然后通过纹理映射方法进行原始图像向中间图像的纹理映射，得到目标图像。一方面，提高了原始图像中待处理对象的形状与目标对象的形状差异大时，对原始图像进行图像处理得到的目标图像的准确性。

另一方面，由于形变与纹理映射分离，使得图像处理装置在进行图像变形处理的时候只专注于原始图像中的待处理对象的形状与目标类型的对象的形状映射，不用考虑其他因素，在对原始图像和中间图像进行纹理映射的时候，只专注于原始图像与中间图像的纹理映射。从而相较于在生成式对抗网络GAN中引入注意力机制模块，使得生成式对抗网络GAN增加对形状映射的处理降低了图像处理装置的开销(例如：处理器、内存等图像处理装置的计算资源的开销)。

关于上述实施例中的图像处理装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

关于上述可选方式的具体描述参见前述的方法实施例，此处不再赘述。此外，上述提供的任一种图像处理装置90的解释以及有益效果的描述均可参考上述对应的方法实施例，不再赘述。

需要说明的是，上述各个模块对应执行的动作仅是具体举例，各个单元实际执行的动作参照上述基于图2、图5所述的实施例的描述中提及的动作或步骤。

本公开实施例还提供了一种电子设备，包括：存储器和处理器；该存储器用于存储计算机程序，该处理器用于调用该计算机程序，以执行上文提供的任一实施例中提及的动作或步骤。

本公开实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，当该计算机程序在计算机上运行时，使得该计算机执行上文提供的任一实施例中提及的动作或步骤。

本公开实施例还提供了一种芯片。该芯片中集成了用于实现上述处图像处理装置的功能的电路和一个或者多个接口。可选的，该芯片支持的功能可以包括基于图2或图5所述的实施例中的处理动作，此处不再赘述。本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可通过程序来指令相关的硬件完成。所述的程序可以存储于一种计算机可读存储介质中。上述提到的存储介质可以是只读存储器，随机接入存储器等。上述处理单元或处理器可以是中央处理器，通用处理器、特定集成电路(application specificintegrated circuit，ASIC)、微处理器(digital signal processor，DSP)，现场可编程门阵列(field programmable gate array，FPGA)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。

本公开实施例还提供了一种包含指令的计算机程序产品，当该指令在计算机上运行时，使得计算机执行上述实施例中的任意一种方法。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或者数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriberline，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可以用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质(例如，软盘、硬盘、磁带)，光介质(例如，DVD)、或者半导体介质(例如固态硬盘(solidstate disk，SSD))等。

应注意，本申请实施例提供的上述用于存储计算机指令或者计算机程序的器件，例如但不限于，上述存储器、计算机可读存储介质和通信芯片等，均具有非易失性(non-transitory)。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种图像处理方法，其特征在于，所述方法包括：

获取原始图像；所述原始图像包括待处理对象；

对所述待处理对象进行图像变形处理，将图像变形处理后的所述待处理对象的形状处理为参考对象的形状，得到中间图像；

对所述中间图像中图像变形处理后的所述待处理对象进行纹理处理，将纹理处理后的所述待处理对象的纹理处理为所述参考对象的纹理，得到目标图像。

2.根据权利要求1所述的方法，其特征在于，所述对所述待处理对象进行图像变形处理，将图像变形处理后的所述待处理对象的形状处理为参考对象的形状，得到中间图像，包括：

获取所述待处理对象的多个第一关键点；获取所述参考对象的多个第二关键点；根据所述多个第一关键点和所述多个第二关键点，对所述待处理对象进行图像变形处理，将图像变形处理后的所述待处理对象的形状处理为参考对象的形状，得到中间图像。

3.根据权利要求2所述的方法，其特征在于，所述根据所述多个第一关键点和所述多个第二关键点，对所述待处理对象进行图像变形处理，将图像变形处理后的所述待处理对象的形状处理为参考对象的形状，得到中间图像，包括：

根据所述多个第一关键点和所述多个第二关键点，得到具有位置对应关系的第一关键点和第二关键点；

基于具有位置对应关系的第一关键点和第二关键点获取所述待处理对象与所述参考对象的像素点变换矩阵；

基于所述像素点变换矩阵对所述待处理对象进行图像变形处理，将图像变形处理后的所述待处理对象的形状处理为参考对象的形状，得到中间图像。

4.根据权利要求2所述的方法，其特征在于，所述根据所述多个第一关键点和所述多个第二关键点，对所述待处理对象进行图像变形处理，将图像变形处理后的所述待处理对象的形状处理为参考对象的形状，得到中间图像，包括：

根据所述多个第一关键点将所述待处理对象进行三角面片切分；

根据所述多个第二关键点将所述参考对象进行三角面片切分；

获取具有位置对应关系的所述待处理对象的三角面片和所述参考对象的三角面片；

根据具有位置对应关系的所述待处理对象的三角面片和所述参考对象的三角面片，对所述待处理对象进行图像变形处理，将图像变形处理后的所述待处理对象的形状处理为参考对象的形状，得到中间图像。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述对所述中间图像中图像变形处理后的所述待处理对象进行纹理处理，将纹理处理后的所述待处理对象的纹理处理为所述参考对象的纹理，得到目标图像，包括：

将所述中间图像输入生成式对抗网络GAN；

所述生成式对抗网络GAN根据所述参考对象的纹理特征，将所述中间图像中图像变形处理后的所述待处理对象的纹理，处理为所述参考对象的纹理，得到目标图像并输出。

6.根据权利要求5所述的方法，其特征在于，所述生成式对抗网络GAN根据所述参考对象的纹理特征，将所述中间图像中图像变形处理后的所述待处理对象的纹理，处理为所述参考对象的纹理，得到目标图像并输出，包括：

所述生成式对抗网络GAN中的生成网络根据中间图像生成输出图像并将所述输出图像输入所述生成式对抗网络GAN中的判别网络；所述判别网络是基于所述参考对象构建的；

所述判别网络判断所述输出图像的真假，并将判断结果反馈给所述生成网络；

所述生成网络根据所述判断结果调整生成输出图像的参数，并生成新的输出图像，直至所述判别网络确定所述生成网络生成的新的输出图像为真，所述生成式对抗网络GAN将确定为真的新的输出图像作为目标图像输出。

7.一种图像处理装置，其特征在于，所述图像处理装置包括：

获取模块，被配置为获取原始图像；所述原始图像包括待处理对象；

图像变形处理模块，被配置为对所述待处理对象进行图像变形处理，将图像变形处理后的所述待处理对象的形状处理为参考对象的形状，得到中间图像；

图像纹理处理模块，被配置为对所述中间图像中图像变形处理后的所述待处理对象进行纹理处理，将纹理处理后的所述待处理对象的纹理处理为所述参考对象的纹理，得到目标图像。

8.根据权利要求7所述的图像处理装置，其特征在于，所述获取模块还被配置为：

获取所述待处理对象的多个第一关键点；获取所述参考对象的多个第二关键点；

所述图像变形处理模块，具体被配置为：

根据所述多个第一关键点和所述多个第二关键点，对所述待处理对象进行图像变形处理，将图像变形处理后的所述待处理对象的形状处理为参考对象的形状，得到中间图像。

9.一种电子设备，其特征在于，包括：

处理器和用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述可执行指令，以实现如权利要求1至6中任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至6中任一项所述的方法。

Images