CN108846793B - 基于图像风格转换模型的图像处理方法和终端设备 - Google Patents
基于图像风格转换模型的图像处理方法和终端设备 Download PDFInfo
- Publication number
- CN108846793B CN108846793B CN201810515119.0A CN201810515119A CN108846793B CN 108846793 B CN108846793 B CN 108846793B CN 201810515119 A CN201810515119 A CN 201810515119A CN 108846793 B CN108846793 B CN 108846793B
- Authority
- CN
- China
- Prior art keywords
- image
- face
- target
- style
- face image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 105
- 238000003672 processing method Methods 0.000 title claims abstract description 53
- 238000000034 method Methods 0.000 claims abstract description 35
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 34
- 238000012549 training Methods 0.000 claims description 30
- 239000011159 matrix material Substances 0.000 claims description 26
- 210000001061 forehead Anatomy 0.000 claims description 21
- 230000006870 function Effects 0.000 claims description 18
- 210000000887 face Anatomy 0.000 claims description 15
- 230000001815 facial effect Effects 0.000 claims description 14
- 230000009466 transformation Effects 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 6
- 210000005069 ears Anatomy 0.000 claims 4
- 238000012545 processing Methods 0.000 abstract description 16
- 238000011161 development Methods 0.000 abstract description 11
- 230000000694 effects Effects 0.000 abstract description 7
- 230000008569 process Effects 0.000 description 15
- 238000004891 communication Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 210000001508 eye Anatomy 0.000 description 8
- 238000001514 detection method Methods 0.000 description 5
- 238000013461 design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 210000000088 lip Anatomy 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 238000005549 size reduction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于图像风格转换模型的图像处理方法和终端设备。该方法包括：获取第一风格的样本人脸图像。将样本人脸图像输入到目标生成模型中，根据目标生成模型得到目标人脸图像，并根据目标判决模型确定出目标人脸图像的真伪值。将目标人脸图像输入到辅助生成模型中，通过辅助生成模型将目标人脸图像转换成第一风格的还原图像，并确定出样本人脸图像和还原图像之间的像素差异值。根据真伪值和像素差异值修正目标生成模型的模型参数。当上述真伪值和像素差异值都处于收敛状态时，将目标生成模型确定为图像风格转换模型。采用本发明实施例，可提升基于图像风格转换模型的图像处理方法的开发效率和图像处理效果。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种基于图像风格转换模型的图像处理方法和终端设备。
背景技术
随着计算机技术的不断发展，诸如图像识别方法、图像风格处理方法等图像处理技术的应用也越来越受到人们的重视。其中，人脸图像风格处理方法就是将具有某种特定风格的人脸图像转换成另一种特定风格的图像处理方法。随着人脸图像风格处理方法的应用范围越来越广，人们对于人脸图像风格处理方法的开发效率和图像处理质量的要求也越来越高。
现有技术中，常用的人脸图像风格处理方法一般根据某种特定风格的人脸图片进行人工设计特征，然后使用该特征对人脸图片进行风格处理。这种方法需要手工设计特征，算法开发周期较长。并且，采用这种方法处理得到的人脸图片的色彩较单一生硬，并且存在处理前后人脸信息丢失的情况。这就使得现有人脸图像风格处理方法的开发效率低、图像处理效果差。
发明内容
本发明实施例提供了一种基于图像风格转换模型的图像处理方法和终端设备，可提升基于图像风格转换模型的图像处理方法的开发效率和图像处理效果。
第一方面，本发明实施例提供了一种基于图像风格转换模型的图像处理方法，该方法包括：
获取第一风格的样本人脸图像。将上述样本人脸图像输入到目标生成模型中。通过上述目标生成模型将上述样本人脸图像转换成目标人脸图像，并根据目标判决模型确定出上述目标人脸图像的真伪值。其中，上述真伪值用于表述上述目标人脸图像为第二风格的图像的可信度。将上述目标人脸图像输入到辅助生成模型中，通过上述辅助生成模型将上述目标人脸图像转换成第一风格的还原图像，并确定出上述样本人脸图像和上述还原图像之间的像素差异值。根据上述真伪值和上述像素差异值修正上述目标生成模型的模型参数，当上述真伪值和像素差异值都处于收敛状态时，将上述目标生成模型确定为图像风格生成模型。其中，上述图像风格转换模型用于将输入的人脸图像的图像风格转换成第二风格。
在一些可行的实施方式中，上述获取第一风格的样本人脸图像包括：
获取第一风格的源人脸图像。在上述源人脸图像中确定出人脸轮廓，并根据上述人脸轮廓对上述源人脸图像进行图像裁剪，以得到人脸区域图像。其中，上述人脸区域图像中至少包括耳朵、下巴和额头刘海。根据预设的标准图像尺寸对上述人脸区域图像进行尺寸调整，以得到符合上述标准图像尺寸的样本人脸图像。通过图像裁剪和图像尺寸调整操作，可得到符合后续目标生成模型的输入图像尺寸要求的样本人脸图像，并且上述样本人脸图像中仅包含了人脸区域，可减少目标生成模型的数据处理量，提升人脸图像风格的转换方法的开发效率。
在一些可行的实施方式中，上述获取第一风格的样本人脸图像包括：
获取第一风格的源人脸图像。在上述源人脸图像中确定出人脸轮廓，并根据上述人脸轮廓对上述源人脸图像进行图像裁剪，以得到人脸区域图像。其中，上述人脸区域图像中至少包括耳朵、下巴和额头刘海。根据预设的标准图像尺寸对上述人脸区域图像进行尺寸调整，以得到符合上述标准图像尺寸的待处理人脸图像。根据预设的N个目标人脸关键点的标准位置信息对上述待处理人脸图像进行人脸关键点位置调整，以得到样本人脸图像。其中，上述样本人脸图像中上述N个目标人脸关键点的位置信息与上述预设的N个目标人脸关键点的标准位置信息一致。通过图像调整和人脸关键点位置调整以得到样本人脸图像，可减少目标生成模型的数据处理量，提升目标生成模型的风格转换质量，提升人脸图像风格的转换方法的开发效率和转换质量。
在一些可行的实施方式中，上述根据预设的N个目标人脸关键点的标准位置信息对上述待处理人脸图像进行人脸关键点位置调整包括：
获取预设的N个目标人脸关键点的标准位置信息。在上述待处理人脸图像中定位出上述N个目标人脸关键点，并获取上述N个目标人脸关键点中各人脸关键点的第一位置信息。根据上述N个目标人脸关键点的标准位置信息和上述N个目标人脸关键点中各人脸关键点的第一位置信息确定出目标仿射矩阵。根据上述目标仿射矩阵对上述待处理人脸图像进行仿射变换，以将上述待处理图像中各目标人脸关键点由上述第一位置信息确定的第一位置移动至上述标准位置信息确定的标准位置。
在一些可行的实施方式中，上述根据上述真伪值和上述像素差异值修正上述目标生成模型的模型参数包括：
根据上述真伪值和上述像素差异值之和确定出上述目标生成模型的损失函数。根据上述损失函数更新上述目标生成模型的模型参数。
第二方面，本发明实施例提供了一种基于图像风格转换模型的图像处理方法，该方法包括：
获取第一风格的待转换人脸图像。
将上述待转换人脸图像输入到图像风格转换模型中，并根据上述图像风格生成模型确定出第二风格的目标人脸图像，上述图像风格转换模型由第一方面提供的基于图像风格转换模型的图像处理方法训练得到。
在一些可行的实施方式中，所述获取第一风格的待转换人脸图像包括：
获取第一风格的待调整人脸图像。在所述待调整人脸图像中确定出人脸轮廓，并根据所述人脸轮廓对所述待调整人脸图像进行图像裁剪，以得到目标人脸区域图像。其中，所述目标人脸区域图像中至少包括耳朵、下巴和额头刘海。根据预设的标准图像尺寸对所述目标人脸区域图像进行尺寸调整，以得到待转换人脸图像。
在一些可行的实施方式中，所述获取第一风格的待转换人脸图像包括：
获取第一风格的待调整人脸图像。在所述待调整人脸图像中确定出人脸轮廓，并根据所述人脸轮廓对所述待调整人脸图像进行图像裁剪，以得到目标人脸区域图像。其中，所述人脸区域图像中至少包括耳朵、下巴和额头刘海。根据预设的标准图像尺寸对所述目标人脸区域图像进行尺寸调整，以得到标准尺寸人脸图像。根据预设的N个目标人脸关键点的标准位置信息对所述标准尺寸人脸图像进行人脸关键点位置调整，以得到待转换人脸图像。其中，所述待转换人脸图像中所述N个目标人脸关键点的位置信息与所述预设的N个目标人脸关键点的标准位置信息一致。
在一些可行的实施方式中，所述根据预设的N个目标人脸关键点的标准位置信息对所述标准尺寸人脸图像进行人脸关键点位置调整包括：
获取预设的N个目标人脸关键点的标准位置信息。在所述标准尺寸人脸图像中定位出所述N个目标人脸关键点，并获取所述N个目标人脸关键点中各目标人脸关键点的第二位置信息。根据所述N个目标人脸关键点的标准位置信息和所述N个目标人脸关键点中各人脸关键点的第二位置信息确定出转换仿射矩阵。根据所述转换仿射矩阵对所述标准尺寸人脸图像进行仿射变换，以将所述标准尺寸人脸图像中各目标人脸关键点由所述第二位置信息确定的第二位置移动至所述标准位置信息确定的标准位置。
第三方面，本发明实施例提供了一种终端设备，上述终端设备包括：
样本获取单元，用于获取第一风格的样本人脸图像。
第一转换单元，用于将上述样本获取单元获取的上述样本人脸图像输入到目标生成模型中。通过上述目标生成模型将上述样本人脸图像转换成第二风格的目标人脸图像，并根据目标判决模型确定出上述目标人脸图像的真伪值。其中，上述真伪值用于表述上述目标人脸图像为第二风格的图像的可信度。
第二转换单元，用于将上述第一转换单元获取的目标人脸图像输入到辅助生成模型中，通过上述辅助生成模型将上述目标人脸图像转换成第一风格的还原图像，并确定出上述样本人脸图像和上述还原图像之间的像素差异值。
模型确定单元，用于根据上述第一转换单元获取的真伪值和上述第二转换单元获取的像素差异值修正上述目标生成模型的模型参数，当上述真伪值和上述像素差异值都处于收敛状态时，将上述目标生成模型确定为图像风格生成模型。其中，上述图像风格转换模型用于将输入的人脸图像的图像风格转换成第二风格。
在一些可行的实施方式中，上述样本获取单元用于：
获取第一风格的源人脸图像；
在上述源人脸图像中确定出人脸轮廓，并根据上述人脸轮廓对上述源人脸图像进行图像裁剪，以得到人脸区域图像，其中，上述人脸区域图像中至少包括耳朵、下巴和额头刘海；
根据预设的标准图像尺寸对上述人脸区域图像进行尺寸调整，以得到符合上述标准图像尺寸的样本人脸图像。
在一些可行的实施方式中，上述样本获取单元用于：
获取第一风格的源人脸图像。在上述源人脸图像中确定出人脸轮廓，并根据上述人脸轮廓对上述源人脸图像进行图像裁剪，以得到人脸区域图像。其中，上述人脸区域图像中至少包括耳朵、下巴和额头刘海。根据预设的标准图像尺寸对上述人脸区域图像进行尺寸调整，以得到符合上述标准图像尺寸的待处理人脸图像。根据预设的N个目标人脸关键点的标准位置信息对上述待处理人脸图像进行人脸关键点位置调整，以得到样本人脸图像。其中，上述样本人脸图像中上述N个目标人脸关键点的位置信息与上述预设的N个目标人脸关键点的标准位置信息一致。
在一些可行的实施方式中，上述获取单元用于：
获取预设的N个目标人脸关键点的标准位置信息。在上述待处理人脸图像中定位出上述N个目标人脸关键点，并获取上述N个目标人脸关键点中各人脸关键点的第一位置信息。根据上述N个目标人脸关键点的标准位置信息和上述N个目标人脸关键点中各人脸关键点的第一位置信息确定出目标仿射矩阵。根据上述目标仿射矩阵对上述待处理人脸图像进行仿射变换，以将上述待处理人脸图像中各目标人脸关键点由上述第一位置信息确定的第一位置移动至上述标准位置信息确定的标准位置。
在一些可行的实施方式中，上述模型确定单元用于：
根据上述第一转换单元获取的上述真伪值和上述像素差异值之和确定出上述目标生成模型的损失函数。根据上述损失函数更新上述目标生成模型的模型参数。
第四方面，本发明实施例提供了一种转换设备。上述转换设备包括：
获取单元，用于获取第一风格的待转换人脸图像；
转换单元，用于将上述获取单元获取的上述待转换人脸图像输入到图像风格转换模型中，并根据该图像风格转换模型确定出第二风格的已转换人脸图像，其中，上述图像风格转换模型由第三方面提供的终端设备训练得到。
在一些可行的实施方式中，所述获取单元用于：
获取第一风格的待调整人脸图像。在所述待调整人脸图像中确定出人脸轮廓，并根据所述人脸轮廓对所述待调整人脸图像进行图像裁剪，以得到目标人脸区域图像。其中，所述目标人脸区域图像中至少包括耳朵、下巴和额头刘海。根据预设的标准图像尺寸对所述目标人脸区域图像进行尺寸调整，以得到待转换人脸图像。
在一些可行的实施方式中，所述获取单元还用于：
获取第一风格的待调整人脸图像。在所述待调整人脸图像中确定出人脸轮廓，并根据所述人脸轮廓对所述待调整人脸图像进行图像裁剪，以得到目标人脸区域图像。其中，所述人脸区域图像中至少包括耳朵、下巴和额头刘海。根据预设的标准图像尺寸对所述目标人脸区域图像进行尺寸调整，以得到标准尺寸人脸图像。根据预设的N个目标人脸关键点的标准位置信息对所述标准尺寸人脸图像进行人脸关键点位置调整，以得到待转换人脸图像，其中，所述待转换人脸图像中所述N个目标人脸关键点的位置信息与所述预设的N个目标人脸关键点的标准位置信息一致。
在一些可行的实施方式中，所述获取单元还用于：
获取预设的N个目标人脸关键点的标准位置信息。在所述标准尺寸人脸图像中定位出所述N个目标人脸关键点，并获取所述N个目标人脸关键点中各目标人脸关键点的第二位置信息。根据所述N个目标人脸关键点的标准位置信息和所述N个目标人脸关键点中各人脸关键点的第二位置信息确定出转换仿射矩阵。根据所述转换仿射矩阵对所述标准尺寸人脸图像进行仿射变换，以将所述标准尺寸人脸图像中各目标人脸关键点由所述第二位置信息确定的第二位置移动至所述标准位置信息确定的标准位置。
第五方面，本发明实施例提供了一种计算机可读存储介质。该计算机可读存储介质中存储有指令，当该指令在计算机上运行时，使得计算机执行上述第一方面提供的基于图像风格转换模型的图像数据处理方法或者上述第二方面提供的基于图像风格转换模型的图像数据处理方法，也能实现上述第一方面提供的基于图像风格转换模型的图像数据处理方法或者上述第二方面提供的基于图像风格转换模型的图像数据处理方法所具备的有益效果。
第六方面，本发明实施例提供了一种电子设备，该电子设备包括处理器、输入设备、存储器，所述处理器、输入设备和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，上述第一方面提供的基于图像风格转换模型的图像数据处理方法或者上述第二方面提供的基于图像风格转换模型的图像数据处理方法，也能实现上述一方面提供的基于图像风格转换模型的图像数据处理方法或者上述第二方面提供的基于图像风格转换模型的图像数据处理方法所具备的有益效果。
采用本发明实施例，可提升基于图像风格转换模型的图像处理方法的开发效率和图像处理效果，提升基于图像风格转换模型的图像处理方法的用户体验。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。
图1是本发明实施例提供的基于图像风格转换模型的图像处理方法的一流程示意图；
图2是本发明实施例提供的人脸关键点位置调整示意图；
图3是本发明实施例提供的基于图像风格转换模型的图像处理方法的另一流程示意图；
图4是本发明实施例提供的一种终端设备的结构示意图；
图5是本发明实施例提供的一种转换设备的结构示意图；
图6是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，具体实现中，本发明实施例中所描述的图像处理方法的可由手机、电脑等具备图像处理功能的终端设备来实现，此处不作限定。在本发明实施例中，以终端设备为执行主体进行描述。
实施例一
请参见图1，图1是本发明实施例提供的基于图像风格转换模型的图像处理方法的一流程示意图。本发明实施例提供的基于图像风格转换模块的图像处理方法可包括步骤：
S101，获取第一风格的样本人脸图像。
在一些可行的实施方式中，终端设备可直接从预先设定好的人脸数据库中获取到M张上述第一风格的样本人脸图像，上述样本人脸图像为符合目标生成模型图像尺寸要求的人脸图像。上述样本人脸图像用于对目标生成模型进行训练。可选的，上述人脸数据库可存储于终端设备的内部存储器中，也可存储于与终端设备相连接的外部存储器中。上述存储器可包括软盘、移动硬盘、U盘等，此处不作限定。上述人脸数据库可包括PERET人脸数据库或CUM-PI E人脸数据库，此处不作限定。
需要说明的是，对上述目标生成模型进行训练的目的在于不断优化目标生成模型的模型参数，直至目标生成模型的模型参数收敛，则可认为目标生成模型的训练完成，即可得到理想的图像风格转换模型。在具体实现中，终端设备可根据目标生成模型完成训练的次数来判断模型参数的收敛程度。当目标生成模型完成训练的次数等于预设训练次数时，则终端设备可确定上述目标生成模型训练完成。所以终端设备需获取多张第一风格的样本人脸图像。可选的，获取到的样本人脸图像的张数M可根据目标生成模型的预设训练次数来确定。目标生成模型的预设训练次数可由多次训练实验得到的经验值来确定。例如，假设通过实验得出对目标生成模型进行N次或者更多次训练才可使得目标生成模型的模型参数收敛，则可将N确定为目标生成模型的预设训练次数。
在一些可行的实施方式中，终端设备也可通过有线通信或无线通信的方式获取到M张第一风格的源人脸图像。可选的，获取到的样本人脸图像的张数M可根据目标生成模型的预设训练次数来确定。下面以M张第一风格的源人脸图像中的任意一张源人脸图像P为例进行描述。通过人脸检测算法对上述源人脸图像P进行人脸检测，并在上述源人脸图像P中确定出人脸轮廓。其中，上述人脸检测算法可包括基于小波变换的人脸检测方法、基于面部双眼结构特征的人脸检测算法等，此处不作限定。其后，终端设备可根据确定出的人脸轮廓对上述源人脸图像P进行图像裁剪，以得到人脸区域图像。需要说明的是，上述人脸轮廓图像至少包括耳朵、下巴和额头刘海。通过上述操作，可去除源人脸图像中除人脸区域以外的无效区域，这样可减少后续的数据处理量，可提升图像处理方法的效率。在终端设备获取到上述人脸区域图像后，可获取预设的标准图像尺寸，并根据上述标准图像尺寸对上述人脸区域图像进行尺寸调整，以得到满足目标生成模型图像尺寸要求的样本人脸图像。例如，假设获取到的人脸区域图像的尺寸为175*175，预设的标准图像尺寸为128*128，则终端设备可通过双线性图像收缩方法对人脸区域图像进行尺寸收缩，以得到128*128大小的样本人脸图像。同理，终端设备重复上述操作，即可获取M张样本人脸图像。
在一些可行的实施方式中，终端设备可通过有线通信或无线通信的方式获取到M张第一风格的源人脸图像。可选的，获取到的样本人脸图像的张数M可根据目标生成模型的预设训练次数来确定。下面以M张第一风格的源人脸图像中的任意一张源人脸图像Q为例进行描述。终端设备可对上述源人脸图像Q进行图像裁剪和尺寸调整，以得到满足标准图像尺寸的待处理人脸图像。图像裁剪和尺寸调整的过程可参见上文所述，此处便不再赘述。请一并参见图2，图2是本发明实施例提供的人脸关键点位置调整示意图。终端设备获取到上述待处理人脸图像后，可对上述待处理人脸图像中的目标人脸关键点进行位置调整。具体的，终端设备可获取预设的N个目标人脸关键点的标准位置信息。上述N个目标人脸关键点为待处理人脸图像中可表征人脸五官位置信息的像素点。可选的，上述预设的目标人脸关键点可包括左眼中心点(即待处理人脸图像中左眼瞳孔的中心位置上的像素点)、右眼中心点(即待处理人脸图像中右眼瞳孔的中心位置上的像素点)和嘴巴中心点(即待处理人脸图像中左侧嘴角和右侧嘴角连线的中点上的像素点)这3个目标人脸关键点。上述位置信息可包括水平位置信息和垂直位置信息，此处不作限定。
终端设备可在上述待处理人脸图像中确定出上述N个目标人脸关键点中每个目标人脸关键点的第一位置信息。具体的，终端设备可通过人脸关键点定位算法在上述待处理人脸图像中定位出人脸关键点，上述人脸关键点为人脸图像中用于定位人脸轮廓、眼睛、眉毛、嘴唇以及鼻子轮廓的像素点。在定位出人脸关键点后，可根据上述人脸关键点在待处理人脸图像中的位置信息确定出上述N个目标人脸关键点中每个目标人脸关键点的第一位置信息。例如，假设终端设备通过人脸定位算法在上述待处理人脸图像中确定出的左嘴角关键点和右嘴角关键点的位置信息为(x1，y1)、(x2，y2)，则上述嘴巴中心点的位置信息即为((x1+x2)/2,(y1+y2)/2)。然后，终端设备可根据上述每个目标人脸关键点的标准位置信息和第一位置信息确定出仿射矩阵。上述放射矩阵用于对上述待处理人脸图像进行仿射变形，已达到调整目标关键点位置的目的。最后，通过上述仿射矩阵对上述待处理人脸图像进行仿射变换，即可得到样本人脸图像。其中，上述样本人脸图像中的各目标人脸关键点的位置信息和上述各目标人脸关键点的标准位置信息保持一致。同理，终端设备重复上述操作，即可获取M张样本人脸图像。通过上述目标人脸关键点的位置调整，可使得终端设备获取到的样本人脸头像保持人脸关键点的位置的统一，可提升后续目标生成模型的收敛速度，提升基于图像风格转换模型的图像处理方法的开发效率。
可选的，上述目标人脸关键点的标准位置信息可由终端设备对M张源人脸图像进行图像裁剪和尺寸调整后获取到的M张待处理人脸图像中各个目标人脸关键点的位置信息来确定。下面以左眼中心点的标准位置信息的获取过程为例，终端设备可对每张待处理人脸图像进行左眼中心点的定位，以得到M组位置信息，上述M组位置信息包括了M个水平位置信息和M个垂直位置信息。终端设备可将上述M个水平位置信息的平均值确定为左眼中心点的标准水平位置信息，可将上述M个垂直位置信息的平均值确定为左眼中心点的标准垂直位置信息，从而确定出左眼中心点的标准位置信息。上述右眼中心点和嘴巴中心点的标准位置信息的获取过程可参考上述左眼中心点的标准位置信息的获取过程，此处便不再赘述。
S102，将上述样本人脸图像输入到目标生成模型中，通过该目标生成模型将样本人脸图像转换成目标人脸图像，并根据目标判决模型确定出上述目标人脸图像的真伪值。
在一些可行的实施方式中，终端设备获取到M张样本人脸图像后，可将M张样本人脸图像依次输入到预先设定的目标生成模型中，以对目标生成模型进行训练。由于每张样本人脸图像的训练过程相同，下面以一张样本人脸图像训练过程为例进行描述。需要说明的是，上述目标生成模型为预设的生成对抗网络模型中未收敛的生成模型。上述目标生成模型具备将输入图像生成为第二风格的图像的能力。上述预设的生成对抗网络模型中还应该包括一个与上述生成模型相对应的已训练完成的判决模型，为方便描述和理解，下文以目标判决模型代替描述。例如，终端设备可预先初始化生成一个高斯网络核作为上述目标生成模型，再获取一个完整的全连接网络作为上述目标判决模型。上述目标判决模型用于判定目标生成模型成生成的图像为第二风格的图像的可信度。
终端设备根据上述目标生成模型的输出确定出目标人脸图像后，可将上述目标人脸图像输入到上述目标判决模型中，然后根据目标判决模型确定出上述目标人脸图像的真伪值。其中，上述真伪值用于表述上述目标人脸图像为第二风格的图像的可信度。真伪值的范围为[0,1]，真伪值越大，则目标人脸图像为第二风格的图像的可信度越高，反之则越低。可选的，上述真伪值可由公式
其中，DA(i)为上述目标判决模型的模型函数，上述XA为上述目标人脸图像对应的图像矩阵，
即为求取到的真伪值。
在一些可行的实施方式中，为了增加训练样本的丰富度，在将上述样本人脸图像输入到目标生成模型之前，可对上述样本人脸图像进行线性放大，然后在放大后的样本人脸图像中随机截取出上述标准图像尺寸大小的图像，并将其输入到上述目标生成模型中。
S103，将上述目标人脸图像输入到辅助生成模型中，通过该辅助生成模型将上述目标人脸图像转换成第一风格的还原图像，并确定出上述样本人脸图像和上述还原图像之间的像素差异值。
在一些可行的实施方式中，终端设备在获取到上述目标人脸图像后，可将上述目标人脸图像输入到预设的已训练完成的辅助生成模型中。其中，上述辅助生成模型已训练完成，其可用于将输入图像的图像风格转换成第一风格。终端设备可根据上述辅助生成模型对上述第二风格的目标人脸图像进行图像风格转换，以得到第一风格的目标人脸图像(为方便理解和描述，下文以还原图像代替描述)。终端设备在获取到第一风格的还原图像后，可计算出上述第一风格的样本人脸图像和上述第一风格的还原图像之间的像素差异值。需要说明的是，这里样本人脸图像的尺寸和还原图像的尺寸一致。可选的，假设样本人脸图像对应的图像矩阵为XA，还原图像对应的图像矩阵为XA′,则样本人脸图像和还原图像之间的像素差异值可由公式LA＝|XA-XA′|计算得到。
S104，根据上述真伪值和上述像素差异值修正上述目标生成模型的模型参数，当上述目标生成模型的模型参数的修正次数达到预设次数时，将上述目标生成模型确定为图像风格生成模型。
在一些可行的实施方式中，终端设备在获取到上述目标人脸图像的真伪值以及样本人脸图像和还原图像的像素差异值之后，可根据上述真伪值和上述像素差异值确定出目标生成模型的损失函数。可选的，终端设备可将上述真伪值和上述像素差异值之和确定上述目标生成模型的损失函数。然后，终端设备可根据目标生成模型的损失函数对目标生成模型进行梯度反转，以更新目标生成模型的模型参数。当上述真伪值和像素差异值都处于收敛状态时，可将上述目标生成模型确定为图像风格生成模型。在具体实现中，终端设备可根据目标生成模型完成训练的次数来判断模型参数的收敛程度。当目标生成模型完成训练的次数等于预设训练次数时，则终端设备可确定上述目标生成模型训练完成。上诉预设训练次数可由经验值的到，此处不作限定。使用真伪值和差异值来更新目标生成模型的模型参数，可使得目标生成模型仅转换输入图像的风格，而不会改变输入图像的图像内容，提升了目标生成模型的风格转换质量，保证基于图像风格转换模型的图像处理方法的图像处理效果。
可选的，上述辅助生成模型也可为未训练完成的生成模型，并且终端设备可初始化得到与该辅助生成模型相对应的辅助判决模型。当终端设备通过上述方法获取到目标生成模型损失函数时，也可通过相同的方式获取到辅助生成模型对应的损失函数，然后同步更新目标生成模型和辅助生成模型的模型参数。可以理解的是，同时更新目标生成模型和辅助生成模型的模型参数的方法中，上述目标生成模型和辅助生成模型为互相辅助的关系。采用此方法，可提升模型的训练效率。
本发明实施例提供的方法，先获取第一风格的样本人脸图像。将样本人脸图像输入到目标生成模型中，根据目标生成模型得到目标人脸图像，并根据目标判决模型确定出目标人脸图像的真伪值。将目标人脸图像输入到辅助生成模型中，通过辅助生成模型将目标人脸图像转换成第一风格的还原图像，并确定出样本人脸图像和还原图像之间的像素差异值。当上述真伪值和像素差异值都处于收敛状态时，可将上述目标生成模型确定为图像风格转换模型。采用本发明实施例，可提升基于图像风格转换模型的图像处理方法的开发效率和图像处理效果。
实施例二
请参见图3，图3是本发明实施例提供的一种基于图像风格转换模型的图像处理方法的另一流程示意图。该方法包括步骤：
S201，获取第一风格的待转换人脸图像。
在一些可行的实施方式中，终端设备可通过其具备的摄像头等图像采集设备获取第一风格的待转换人脸图像。或者，终端设备还可从与其相连接的外部存储设备中获取到第一风格的待转换人脸图像。其中，上述外部存储设备可包括软盘、移动硬盘、U盘等，此处不作限定。
在一些可行的实施方式中，终端设备在可通过有线通信或者无线通信的方式获取到待调整人脸图像。如，通过蓝牙接收其他设备传输的待调整人脸图像。对上述待调整人脸图像进行图像裁剪，以得到目标人脸区域图像。终端设备在获取到上述目标人脸区域图像后，可根据上述标准图像尺寸对上述目标人脸区域图像进行图像尺寸调整，以得到第一风格的待转换人脸图像。终端设备对待调整人脸图像进行图像裁剪和尺寸调整的过程可参见上述步骤S101中所描述的对源人脸图像进行图像裁剪和尺寸调整的过程，此处便不再赘述。
在一些可行的实施方式中，终端设备可通过有线通信或者无线通信的方式获取到待调整人脸图像，对上述待调整人脸图像进行图像裁剪，以得到目标人脸区域图像。终端设备在获取到上述目标人脸区域图像后，可根据上述标准图像尺寸对上述目标人脸区域图像进行图像尺寸调整，以得到标准尺寸人脸图像。终端设备对待调整人脸图像进行图像裁剪和尺寸调整的过程可参见上述步骤S101中所描述的对源人脸图像进行图像裁剪和尺寸调整的过程，此处便不再赘述。然后，终端设备可根据预设的N个目标人脸关键点的标准位置信息对所述标准尺寸人脸图像进行人脸关键点位置调整，以得到第一风格的待转换人脸图像。具体位置调整过程可参见步骤S101中所描述的位置调整过程，此处便不再赘述。
S202，将上述待转换人脸图像输入到图像风格转换模型中，并根据该图像风格转换模型确定出第二风格的已转换人脸图像。
在一些可行的实施方式中，终端设备在获取到上述待转换人脸图像后，即可将待转换人脸图像输入到图像风格转换模型中，以得到第二风格的已转换人脸图像。其中，上述图像风格转换模型由实施例一中所描述的基于图像风格转换模型的图像处理方法训练得到。
本发明实施例所提供的基于图像风格转换模型的图像处理方法，通过图像风格转换模型对获取到的待转换图像进行图像风格转换，可保证风格转换过程中人脸图像中的人脸信息不改变，可提升基于图像风格转换模型的图像处理方法图像处理效果，提升基于图像风格转换模型的图像处理方法的用户体验。
实施例三
请参见图4，图4是本发明实施例提供一种终端设备的结构示意图。该终端设备适用于上述实施例一中描述的基于图像风格转换模型的图像处理方法。该终端设备包括：样本获取单元10、第一转换单元20、第二转换单元30和模型确定单元40。
样本获取单元10，用于获取第一风格的样本人脸图像。
第一转换单元20，用于将上述样本获取单元10获取的上述样本人脸图像输入到目标生成模型中。通过上述目标生成模型将上述样本人脸图像转换成目标人脸图像，并根据目标判决模型确定出上述目标人脸图像的真伪值。其中，上述真伪值用于表述上述目标人脸图像为第二风格的图像的可信度。
第二转换单元30，用于将上述第一转换单元20获取到的目标人脸图像输入到辅助生成模型中，通过上述辅助生成模型将上述目标人脸图像转换成第一风格的还原图像，并确定出上述样本人脸图像和上述还原图像之间的像素差异值。
模型确定单元40，用于根据上述第一转换单元20获取的上述真伪值和上述第二转换单元30获取到的像素差异值修正上述目标生成模型的模型参数，当上述真伪值和像素差异值都处于收敛状态时，将上述目标生成模型确定为图像风格生成模型。其中，上述图像风格转换模型用于将输入的人脸图像的图像风格转换成第二风格。
在一些可行的实施方式中，上述样本获取单元10用于：
获取第一风格的源人脸图像。在上述源人脸图像中确定出人脸轮廓，并根据上述人脸轮廓对上述源人脸图像进行图像裁剪，以得到人脸区域图像。其中，上述人脸区域图像中至少包括耳朵、下巴和额头刘海。
根据预设的标准图像尺寸对上述人脸区域图像进行尺寸调整，以得到符合上述标准图像尺寸的样本人脸图像。
在一些可行的实施方式中，上述样本获取单元用于10：
获取第一风格的源人脸图像。在上述源人脸图像中确定出人脸轮廓，并根据上述人脸轮廓对上述源人脸图像进行图像裁剪，以得到人脸区域图像。其中，上述人脸区域图像中至少包括耳朵、下巴和额头刘海。根据预设的标准图像尺寸对上述人脸区域图像进行尺寸调整，以得到符合上述标准图像尺寸的待处理人脸图像。根据预设的N个目标人脸关键点的标准位置信息对上述待处理人脸图像进行人脸关键点位置调整，以得到样本人脸图像。其中，上述样本人脸图像中上述N个目标人脸关键点的位置信息与上述预设的N个目标人脸关键点的标准位置信息一致。
在一些可行的实施方式中，上述获取单元10用于：
获取预设的N个目标人脸关键点的标准位置信息。在上述待处理人脸图像中定位出上述N个目标人脸关键点，并获取上述N个目标人脸关键点中各人脸关键点的第一位置信息。根据上述N个目标人脸关键点的标准位置信息和上述N个目标人脸关键点中各人脸关键点的第一位置信息确定出目标仿射矩阵。根据上述目标仿射矩阵对上述待处理人脸图像进行仿射变换，以将上述待处理人脸图像中各人脸关键点由第一位置移动至标准位置。
在一些可行的实施方式中，上述模型确定单元30用于：
根据上述第一转换单元获取的上述真伪值和上述像素差异值之和确定出上述目标生成模型的损失函数。根据上述损失函数更新上述目标生成模型的模型参数。
具体实现中，本发明实施例中所描述的样本获取单元10、第一转换单元20、第二转换单元30和模型确定单元40可执行本发明实施例提供的基于图像风格转换模型的图像处理方法的实施例一中所描述的实现方式，在此不再赘述。
实施例四
请参见图5，图5是本发明实施例提供的一种转换设备的结构示意图，该转换设备适用于上述实施例二中描述的基于图像风格转换模型的图像处理方法。该转换设备包括：获取单元60和转换单元70。
获取单元60，用于获取第一风格的待转换人脸图像；
转换单元70，用于将上述获取单元60获取的上述待转换人脸图像输入到上述图像风格生成模型中，并根据上述图像风格转换模型确定出第二风格的已转换人脸图像
在一些可行的实施方式中，上述获取单元60，还用于获取第一风格的待调整人脸图像。在所述待调整人脸图像中确定出人脸轮廓，并根据所述人脸轮廓对所述待调整人脸图像进行图像裁剪，以得到目标人脸区域图像。其中，所述目标人脸区域图像中至少包括耳朵、下巴和额头刘海。根据预设的标准图像尺寸对所述目标人脸区域图像进行尺寸调整，以得到待转换人脸图像。
在一些可行的实施方式中，上述获取单元60，还用于获取第一风格的待调整人脸图像。在所述待调整人脸图像中确定出人脸轮廓，并根据所述人脸轮廓对所述待调整人脸图像进行图像裁剪，以得到目标人脸区域图像。其中，所述人脸区域图像中至少包括耳朵、下巴和额头刘海。根据预设的标准图像尺寸对所述目标人脸区域图像进行尺寸调整，以得到标准尺寸人脸图像。根据预设的N个目标人脸关键点的标准位置信息对所述标准尺寸人脸图像进行人脸关键点位置调整，以得到待转换人脸图像，其中，所述待转换人脸图像中所述N个目标人脸关键点的位置信息与所述预设的N个目标人脸关键点的标准位置信息一致。
在一些可行的实施方式中，上述获取单元60，还用于获取预设的N个目标人脸关键点的标准位置信息。在所述标准尺寸人脸图像中定位出所述N个目标人脸关键点，并获取所述N个目标人脸关键点中各目标人脸关键点的第二位置信息。根据所述N个目标人脸关键点的标准位置信息和所述N个目标人脸关键点中各人脸关键点的第二位置信息确定出转换仿射矩阵。根据所述转换仿射矩阵对所述标准尺寸人脸图像进行仿射变换，以将所述标准尺寸人脸图像中各目标人脸关键点由所述第二位置信息确定的第二位置移动至所述标准位置信息确定的标准位置。
具体实现中，本发明实施例中所描述的获取单元60和转换单元70可执行本发明实施例提供的基于图像风格转换模型的图像处理方法的实施例二中所描述的实现方式，在此不再赘述。
请参见图6，图6是本发明实施例提供的一种电子设备示意框图。如图6所示的本实施例中的电子设备可以包括：一个或多个处理器601、总线系统604、一个或多个输入设备603、存储器602。上述处理器601、输入设备603、和存储器602通过总线系统604连接。存储器602用于存储计算机程序，上述计算机程序包括程序指令，处理器601用于执行存储器602存储的程序指令。其中，处理器601被配置用于调用上述程序指令执行：
获取第一风格的样本人脸图像。将样本人脸图像输入到目标生成模型中，根据目标生成模型得到目标人脸图像，并根据目标判决模型确定出目标人脸图像的真伪值。将目标人脸图像输入到辅助生成模型中，通过辅助生成模型将目标人脸图像转换成第一风格的还原图像，并确定出样本人脸图像和还原图像之间的像素差异值。根据真伪值和像素差异值修正目标生成模型的模型参数，当上述真伪值和上述像素差异值都处于收敛状态时，将上述目标生成模型确定为图像风格生成模型。也可执行：获取第一风格的待转换人脸图像。将上述待转换人脸图像输入到图像风格转换模型中，并根据上述图像风格转换模型确定出第二风格的已转换人脸图像。
应当理解，在本发明实施例中，所称处理器601可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
输入设备603可以包括摄像头、摄影机等具备拍照功能的设备。
存储器602可以包括只读存储器和随机存取存储器，并向处理器601提供指令和数据。存储器602的一部分还可以包括非易失性随机存取存储器。例如，存储器602还可以存储设备类型的信息。
具体实现中，本发明实施例中所描述的处理器601、存储器602和输入设备603可执行本发明实施例提供的基于图像风格转换模型的图像处理方法的实施例一和实施例二所描述的实现方式，在此不再赘述。
本发明实施例中提供一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当该指令在计算机上运行时实现：获取第一风格的样本人脸图像。将样本人脸图像输入到目标生成模型中，根据目标生成模型得到目标人脸图像，并根据目标判决模型确定出目标人脸图像的真伪值。将目标人脸图像输入到辅助生成模型中，通过辅助生成模型将目标人脸图像转换成第一风格的还原图像，并确定出样本人脸图像和还原图像之间的像素差异值。根据真伪值和像素差异值修正目标生成模型的模型参数。当上述真伪值和像素差异值都处于收敛状态时，将上述目标生成模型确定为图像风格转换模型。也可以实现：获取第一风格的待转换人脸图像。将上述待转换人脸图像输入到图像风格转换模型中，并根据上述图像风格转换模型确定出第二风格的已转换人脸图像。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，上述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
Claims (18)
1.一种基于图像风格转换模型的图像处理方法，其特征在于，所述方法包括：
获取第一风格的样本人脸图像；
将所述样本人脸图像输入到目标生成模型中，通过所述目标生成模型将所述样本人脸图像转换成目标人脸图像，并根据目标判决模型确定出所述目标人脸图像的真伪值，其中，所述真伪值用于表述所述目标人脸图像为第二风格的图像的可信度；
将所述目标人脸图像输入到辅助生成模型中，通过所述辅助生成模型将所述目标人脸图像转换成第一风格的还原图像，并确定出所述样本人脸图像和所述还原图像之间的像素差异值；
多次/迭代训练所述目标生成模型，根据所述真伪值和所述像素差异值修正所述目标生成模型的模型参数，当所述目标生成模型收敛时，将所述目标生成模型确定为图像风格转换模型，其中，所述图像风格转换模型用于将输入的人脸图像的图像风格转换成第二风格；
所述根据所述真伪值和所述像素差异值修正所述目标生成模型的模型参数包括：
根据所述真伪值和所述像素差异值之和确定出所述目标生成模型的损失函数；
根据所述损失函数更新所述目标生成模型的模型参数。
2.根据权利要求1所述的图像处理方法，其特征在于，所述获取第一风格的样本人脸图像包括：
获取第一风格的源人脸图像；
在所述源人脸图像中确定出人脸轮廓，并根据所述人脸轮廓对所述源人脸图像进行图像裁剪，以得到人脸区域图像，其中，所述人脸区域图像中至少包括耳朵、下巴和额头刘海；
根据预设的标准图像尺寸对所述人脸区域图像进行尺寸调整，以得到符合所述标准图像尺寸的样本人脸图像。
3.根据权利要求1所述的图像处理方法，其特征在于，所述获取第一风格的样本人脸图像包括：
获取第一风格的源人脸图像；
在所述源人脸图像中确定出人脸轮廓，并根据所述人脸轮廓对所述源人脸图像进行图像裁剪，以得到人脸区域图像，其中，所述人脸区域图像中至少包括耳朵、下巴和额头刘海；
根据预设的标准图像尺寸对所述人脸区域图像进行尺寸调整，以得到符合所述标准图像尺寸的待处理人脸图像；
根据预设的N个目标人脸关键点的标准位置信息对所述待处理人脸图像进行人脸关键点位置调整，以得到样本人脸图像，其中，所述样本人脸图像中所述N个目标人脸关键点的位置信息与所述预设的N个目标人脸关键点的标准位置信息一致。
4.根据权利要求3所述的图像处理方法，其特征在于，所述根据预设的N个目标人脸关键点的标准位置信息对所述待处理人脸图像进行人脸关键点位置调整包括：
获取预设的N个目标人脸关键点的标准位置信息；
在所述待处理人脸图像中定位出所述N个目标人脸关键点，并获取所述N个目标人脸关键点中各目标人脸关键点的第一位置信息；
根据所述N个目标人脸关键点的标准位置信息和所述N个目标人脸关键点中各人脸关键点的第一位置信息确定出目标仿射矩阵；
根据所述目标仿射矩阵对所述待处理人脸图像进行仿射变换，以将所述待处理人脸图像中各目标人脸关键点由所述第一位置信息确定的第一位置移动至所述标准位置信息确定的标准位置。
5.一种基于图像风格转换模型的图像处理方法，其特征在于，所述方法包括：
获取第一风格的待转换人脸图像；
将所述待转换人脸图像输入到图像风格转换模型中，并根据所述图像风格转换模型确定出第二风格的已转换人脸图像，其中，所述图像风格转换模型由所述权利要求1-4任一项所述的图像处理方法训练得到。
6.根据权利要求5所述的方法，其特征在于，所述获取第一风格的待转换人脸图像包括：
获取第一风格的待调整人脸图像；
在所述待调整人脸图像中确定出人脸轮廓，并根据所述人脸轮廓对所述待调整人脸图像进行图像裁剪，以得到目标人脸区域图像，其中，所述目标人脸区域图像中至少包括耳朵、下巴和额头刘海；
根据预设的标准图像尺寸对所述目标人脸区域图像进行尺寸调整，以得到待转换人脸图像。
7.根据权利要求5所述的图像处理方法，其特征在于，所述获取第一风格的待转换人脸图像包括：
获取第一风格的待调整人脸图像；
在所述待调整人脸图像中确定出人脸轮廓，并根据所述人脸轮廓对所述待调整人脸图像进行图像裁剪，以得到目标人脸区域图像，其中，所述人脸区域图像中至少包括耳朵、下巴和额头刘海；
根据预设的标准图像尺寸对所述目标人脸区域图像进行尺寸调整，以得到标准尺寸人脸图像；
根据预设的N个目标人脸关键点的标准位置信息对所述标准尺寸人脸图像进行人脸关键点位置调整，以得到待转换人脸图像，其中，所述待转换人脸图像中所述N个目标人脸关键点的位置信息与所述预设的N个目标人脸关键点的标准位置信息一致。
8.根据权利要求7所述的方法，其特征在于，所述根据预设的N个目标人脸关键点的标准位置信息对所述标准尺寸人脸图像进行人脸关键点位置调整包括：
获取预设的N个目标人脸关键点的标准位置信息；
在所述标准尺寸人脸图像中定位出所述N个目标人脸关键点，并获取所述N个目标人脸关键点中各目标人脸关键点的第二位置信息；
根据所述N个目标人脸关键点的标准位置信息和所述N个目标人脸关键点中各人脸关键点的第二位置信息确定出转换仿射矩阵；
根据所述转换仿射矩阵对所述标准尺寸人脸图像进行仿射变换，以将所述标准尺寸人脸图像中各目标人脸关键点由所述第二位置信息确定的第二位置移动至所述标准位置信息确定的标准位置。
9.一种终端设备，其特征在于，所述终端设备包括：
样本获取单元，用于获取第一风格的样本人脸图像；
第一转换单元，用于将所述样本获取单元获取的所述样本人脸图像输入到目标生成模型中，通过所述目标生成模型将所述样本人脸图像转换成目标人脸图像，并根据目标判决模型确定出所述目标人脸图像的真伪值，其中，所述真伪值用于表述所述目标人脸图像为第二风格的图像的可信度；
第二转换单元，用于将所述第一转换单元获取的所述目标人脸图像输入到辅助生成模型中，通过所述辅助生成模型将所述目标人脸图像转换成第一风格的还原图像，并确定出所述样本人脸图像和所述还原图像之间的像素差异值；
模型确定单元，用于多次/迭代训练所述目标生成模型，根据所述第一转换单元获取的所述真伪值和所述第二转换单元获取的所述像素差异值修正所述目标生成模型的模型参数，当所述目标生成模型收敛时，将所述目标生成模型确定为图像风格生成模型，其中，所述图像风格转换模型用于将输入的人脸图像的图像风格转换成第二风格；
所述模型确定单元用于：
根据所述第一转换单元获取的所述真伪值和所述像素差异值之和确定出所述目标生成模型的损失函数；根据所述损失函数更新所述目标生成模型的模型参数。
10.根据权利要求9所述的终端设备，其特征在于，所述样本获取单元用于：
获取第一风格的源人脸图像；
在所述源人脸图像中确定出人脸轮廓，并根据所述人脸轮廓对所述源人脸图像进行图像裁剪，以得到人脸区域图像，其中，所述人脸区域图像中至少包括耳朵、下巴和额头刘海；
根据预设的标准图像尺寸对所述人脸区域图像进行尺寸调整，以得到符合所述标准图像尺寸的样本人脸图像。
11.根据权利要求9所述的终端设备，其特征在于，所述样本获取单元用于：
获取第一风格的源人脸图像；
在所述源人脸图像中确定出人脸轮廓，并根据所述人脸轮廓对所述源人脸图像进行图像裁剪，以得到人脸区域图像，其中，所述人脸区域图像中至少包括耳朵、下巴和额头刘海；
根据预设的标准图像尺寸对所述人脸区域图像进行尺寸调整，以得到符合所述标准图像尺寸的待处理人脸图像；
根据预设的N个目标人脸关键点的标准位置信息对所述待处理人脸图像进行人脸关键点位置调整，以得到样本人脸图像，其中，所述样本人脸图像中所述N个目标人脸关键点的位置信息与所述预设的N个目标人脸关键点的标准位置信息一致。
12.根据权利要求11所述的终端设备，其特征在于，所述样本获取单元用于：
获取预设的N个目标人脸关键点的标准位置信息；
在所述待处理人脸图像中定位出所述N个目标人脸关键点，并获取所述N个目标人脸关键点中各目标人脸关键点的第一位置信息；
根据所述N个目标人脸关键点的标准位置信息和所述N个目标人脸关键点中各目标人脸关键点的第一位置信息确定出目标仿射矩阵；
根据所述目标仿射矩阵对所述待处理人脸图像进行仿射变换，以将所述待处理图像中各目标人脸关键点由所述第一位置信息确定的第一位置移动至所述标准位置信息确定的标准位置。
13.一种转换设备，其特征在于，所述转换设备包括：
获取单元，用于获取第一风格的待转换人脸图像；
转换单元，用于将所述获取单元获取的所述待转换人脸图像输入到所述图像风格转换模型中，并根据图像风格转换模型确定出第二风格的已转换人脸图像，其中，所述图像风格转换模型由所述权利要求9-12任一项所述的终端设备训练得到。
14.根据权利要求13所述的转换设备，其特征在于，所述获取单元用于：
获取第一风格的待调整人脸图像；
在所述待调整人脸图像中确定出人脸轮廓，并根据所述人脸轮廓对所述待调整人脸图像进行图像裁剪，以得到目标人脸区域图像，其中，所述目标人脸区域图像中至少包括耳朵、下巴和额头刘海；
根据预设的标准图像尺寸对所述目标人脸区域图像进行尺寸调整，以得到待转换人脸图像。
15.根据权利要求13所述的转换设备，其特征在于，所述获取单元还用于：
获取第一风格的待调整人脸图像；
在所述待调整人脸图像中确定出人脸轮廓，并根据所述人脸轮廓对所述待调整人脸图像进行图像裁剪，以得到目标人脸区域图像，其中，所述人脸区域图像中至少包括耳朵、下巴和额头刘海；
根据预设的标准图像尺寸对所述目标人脸区域图像进行尺寸调整，以得到标准尺寸人脸图像；
根据预设的N个目标人脸关键点的标准位置信息对所述标准尺寸人脸图像进行人脸关键点位置调整，以得到待转换人脸图像，其中，所述待转换人脸图像中所述N个目标人脸关键点的位置信息与所述预设的N个目标人脸关键点的标准位置信息一致。
16.根据权利要求15所述的转换设备，其特征在于，所述获取单元还用于：
获取预设的N个目标人脸关键点的标准位置信息；
在所述标准尺寸人脸图像中定位出所述N个目标人脸关键点，并获取所述N个目标人脸关键点中各目标人脸关键点的第二位置信息；
根据所述N个目标人脸关键点的标准位置信息和所述N个目标人脸关键点中各人脸关键点的第二位置信息确定出转换仿射矩阵；
根据所述转换仿射矩阵对所述标准尺寸人脸图像进行仿射变换，以将所述标准尺寸人脸图像中各目标人脸关键点由所述第二位置信息确定的第二位置移动至所述标准位置信息确定的标准位置。
17.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被执行时实现如权利要求1-4或权利要求5-8任一项所述的方法。
18.一种电子设备，其特征在于，包括处理器、输入设备、存储器，所述处理器、输入设备和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如权利要求1-4或权利要求5-8任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810515119.0A CN108846793B (zh) | 2018-05-25 | 2018-05-25 | 基于图像风格转换模型的图像处理方法和终端设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810515119.0A CN108846793B (zh) | 2018-05-25 | 2018-05-25 | 基于图像风格转换模型的图像处理方法和终端设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108846793A CN108846793A (zh) | 2018-11-20 |
| CN108846793B true CN108846793B (zh) | 2022-04-22 |
Family
ID=64213573
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810515119.0A Active CN108846793B (zh) | 2018-05-25 | 2018-05-25 | 基于图像风格转换模型的图像处理方法和终端设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108846793B (zh) |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111488768B (zh) * | 2019-01-28 | 2023-09-05 | 百度在线网络技术（北京）有限公司 | 人脸图像的风格转换方法、装置、电子设备及存储介质 |
| CN111612699B (zh) * | 2019-02-22 | 2024-05-17 | 北京京东尚科信息技术有限公司 | 图像处理方法、装置和计算机可读存储介质 |
| CN109833025A (zh) * | 2019-03-29 | 2019-06-04 | 广州视源电子科技股份有限公司 | 一种视网膜的异常检测方法、装置、设备和存储介质 |
| CN112330526B (zh) * | 2019-08-05 | 2024-02-09 | 深圳Tcl新技术有限公司 | 一种人脸转换模型的训练方法、存储介质及终端设备 |
| CN110838084B (zh) * | 2019-09-24 | 2023-10-17 | 咪咕文化科技有限公司 | 一种图像的风格转移方法、装置、电子设备及存储介质 |
| CN110675312B (zh) * | 2019-09-24 | 2023-08-29 | 腾讯科技（深圳）有限公司 | 图像数据处理方法、装置、计算机设备以及存储介质 |
| CN111145082A (zh) * | 2019-12-23 | 2020-05-12 | 五八有限公司 | 人脸图像处理方法、装置、电子设备及存储介质 |
| CN111833242A (zh) * | 2020-07-17 | 2020-10-27 | 北京字节跳动网络技术有限公司 | 人脸变换方法、装置、电子设备和计算机可读介质 |
| CN111738244B (zh) * | 2020-08-26 | 2020-11-24 | 腾讯科技（深圳）有限公司 | 图像检测方法、装置、计算机设备和存储介质 |
| CN112989904B (zh) * | 2020-09-30 | 2022-03-25 | 北京字节跳动网络技术有限公司 | 风格图像生成方法、模型训练方法、装置、设备和介质 |
| CN112330533A (zh) * | 2020-11-13 | 2021-02-05 | 北京字跳网络技术有限公司 | 混血人脸图像生成方法、模型训练方法、装置和设备 |
| CN112330534A (zh) * | 2020-11-13 | 2021-02-05 | 北京字跳网络技术有限公司 | 动物脸风格图像生成方法、模型训练方法、装置和设备 |
| CN112861805B (zh) * | 2021-03-17 | 2023-07-18 | 中山大学 | 一种基于内容特征和风格特征的人脸图像生成方法 |
| CN112734634B (zh) * | 2021-03-30 | 2021-07-27 | 中国科学院自动化研究所 | 换脸方法、装置、电子设备和存储介质 |
| CN113822794A (zh) * | 2021-07-23 | 2021-12-21 | 腾讯科技（深圳）有限公司 | 一种图像风格转换方法、装置、计算机设备和存储介质 |
| CN114004905B (zh) * | 2021-10-25 | 2024-03-29 | 北京字节跳动网络技术有限公司 | 人物风格形象图的生成方法、装置、设备及存储介质 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003006645A (ja) * | 2001-06-20 | 2003-01-10 | Secom Co Ltd | 本人認証用の顔画像照合装置 |
| JP2007251319A (ja) * | 2006-03-14 | 2007-09-27 | Seiko Epson Corp | 画像処理装置、画像処理方法、画像処理プログラムおよび画像データ変換プロファイル |
| CN101527049A (zh) * | 2009-03-31 | 2009-09-09 | 西安交通大学 | 一种基于样本学习的多风格人脸卡通画生成方法 |
| CN102984526A (zh) * | 2011-09-02 | 2013-03-20 | 索尼公司 | 图像处理装置和方法以及程序 |
| CN104732506A (zh) * | 2015-03-27 | 2015-06-24 | 浙江大学 | 一种基于人脸语义分析的人物照片颜色风格转换方法 |
| CN106327422A (zh) * | 2015-07-01 | 2017-01-11 | 北京大学 | 一种图像风格化重建方法及装置 |
| CN106778928A (zh) * | 2016-12-21 | 2017-05-31 | 广州华多网络科技有限公司 | 图像处理方法及装置 |
| GB201715568D0 (en) * | 2016-11-28 | 2017-11-08 | Adobe Systems Inc | Facilitating sketch to painting transformations |
| CN107392973A (zh) * | 2017-06-06 | 2017-11-24 | 中国科学院自动化研究所 | 像素级手写体汉字自动生成方法、存储设备、处理装置 |
| CN107705242A (zh) * | 2017-07-20 | 2018-02-16 | 广东工业大学 | 一种结合深度学习与深度感知的图像风格化迁移方法 |
| CN107977414A (zh) * | 2017-11-22 | 2018-05-01 | 西安财经学院 | 基于深度学习的图像风格迁移方法及其系统 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10726560B2 (en) * | 2014-10-31 | 2020-07-28 | Fyusion, Inc. | Real-time mobile device capture and generation of art-styled AR/VR content |
| CN106156692B (zh) * | 2015-03-25 | 2019-12-13 | 阿里巴巴集团控股有限公司 | 一种用于人脸边缘特征点定位的方法及装置 |
| US10055659B2 (en) * | 2015-05-04 | 2018-08-21 | King Fahd University Of Petroleum And Minerals | Systems and associated methods for arabic handwriting using synthetic extension concatenation and synthesis |
| WO2018042388A1 (en) * | 2016-09-02 | 2018-03-08 | Artomatix Ltd. | Systems and methods for providing convolutional neural network based image synthesis using stable and controllable parametric models, a multiscale synthesis framework and novel network architectures |
| CN107818554B (zh) * | 2016-09-12 | 2023-04-21 | 索尼公司 | 信息处理设备和信息处理方法 |
-
2018
- 2018-05-25 CN CN201810515119.0A patent/CN108846793B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003006645A (ja) * | 2001-06-20 | 2003-01-10 | Secom Co Ltd | 本人認証用の顔画像照合装置 |
| JP2007251319A (ja) * | 2006-03-14 | 2007-09-27 | Seiko Epson Corp | 画像処理装置、画像処理方法、画像処理プログラムおよび画像データ変換プロファイル |
| CN101527049A (zh) * | 2009-03-31 | 2009-09-09 | 西安交通大学 | 一种基于样本学习的多风格人脸卡通画生成方法 |
| CN102984526A (zh) * | 2011-09-02 | 2013-03-20 | 索尼公司 | 图像处理装置和方法以及程序 |
| CN104732506A (zh) * | 2015-03-27 | 2015-06-24 | 浙江大学 | 一种基于人脸语义分析的人物照片颜色风格转换方法 |
| CN106327422A (zh) * | 2015-07-01 | 2017-01-11 | 北京大学 | 一种图像风格化重建方法及装置 |
| GB201715568D0 (en) * | 2016-11-28 | 2017-11-08 | Adobe Systems Inc | Facilitating sketch to painting transformations |
| CN106778928A (zh) * | 2016-12-21 | 2017-05-31 | 广州华多网络科技有限公司 | 图像处理方法及装置 |
| CN107392973A (zh) * | 2017-06-06 | 2017-11-24 | 中国科学院自动化研究所 | 像素级手写体汉字自动生成方法、存储设备、处理装置 |
| CN107705242A (zh) * | 2017-07-20 | 2018-02-16 | 广东工业大学 | 一种结合深度学习与深度感知的图像风格化迁移方法 |
| CN107977414A (zh) * | 2017-11-22 | 2018-05-01 | 西安财经学院 | 基于深度学习的图像风格迁移方法及其系统 |
Non-Patent Citations (2)
| Title |
|---|
| Convolution Neutral Nerworks With Two Pathways for Image Style Recognition;Tiancheng Sun等;《IEEE》;20171231;4102-4113 * |
| 大规模虚拟地形的图像径向权混合生成算法;庞明勇等;《南京理工大学学报(自然科学版)》;20090830(第04期);38-43 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108846793A (zh) | 2018-11-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108846793B (zh) | 基于图像风格转换模型的图像处理方法和终端设备 | |
| US11410284B2 (en) | Face beautification method and apparatus, computer device, and storage medium | |
| JP7129502B2 (ja) | 顔画像処理方法及び装置、画像機器並びに記憶媒体 | |
| WO2020181900A1 (zh) | 图像处理方法及装置、图像设备及存储介质 | |
| EP3992919B1 (en) | Three-dimensional facial model generation method and apparatus, device, and medium | |
| US11238569B2 (en) | Image processing method and apparatus, image device, and storage medium | |
| CN111339928B (zh) | 眼神调节方法、装置及存储介质 | |
| CN107452049B (zh) | 一种三维头部建模方法及装置 | |
| US20220375258A1 (en) | Image processing method and apparatus, device and storage medium | |
| CN111311733A (zh) | 三维模型处理方法及装置、处理器、电子设备及存储介质 | |
| WO2023143126A1 (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN113327191A (zh) | 人脸图像合成方法及装置 | |
| CN109087240B (zh) | 图像处理方法、图像处理装置及存储介质 | |
| CN112991208B (zh) | 图像处理方法及装置、计算机可读介质和电子设备 | |
| CN111988525A (zh) | 图像处理方法及相关装置 | |
| WO2023132790A2 (zh) | 表情驱动方法和装置、表情驱动模型的训练方法和装置 | |
| US10354125B2 (en) | Photograph processing method and system | |
| CN116051722A (zh) | 三维头部模型重建方法、装置及终端 | |
| CN110097622B (zh) | 渲染图像的方法、装置、电子设备和计算机可读存储介质 | |
| CN115937009A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN112785490A (zh) | 图像处理方法、装置及电子设备 | |
| CN113920005B (zh) | 一种构造单一人脸皮肤差异图片对的方法 | |
| WO2024077792A1 (zh) | 视频生成方法、装置、设备与计算机可读存储介质 | |
| CN116109479B (zh) | 虚拟形象的面部调整方法、装置、计算机设备和存储介质 | |
| US20230065675A1 (en) | Method of processing image, method of training model, electronic device and medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |