CN113066005A - 图像处理方法、装置、电子设备及可读存储介质 - Google Patents
图像处理方法、装置、电子设备及可读存储介质 Download PDFInfo
- Publication number
- CN113066005A CN113066005A CN202110450020.9A CN202110450020A CN113066005A CN 113066005 A CN113066005 A CN 113066005A CN 202110450020 A CN202110450020 A CN 202110450020A CN 113066005 A CN113066005 A CN 113066005A
- Authority
- CN
- China
- Prior art keywords
- image
- face
- cartoon
- target
- processed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 21
- 238000000034 method Methods 0.000 claims abstract description 44
- 238000012545 processing Methods 0.000 claims description 51
- 238000012549 training Methods 0.000 claims description 32
- 230000008569 process Effects 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 230000009471 action Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000005012 migration Effects 0.000 description 3
- 238000013508 migration Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000010422 painting Methods 0.000 description 2
- 230000008485 antagonism Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请的实施例提供了一种图像处理方法、装置、电子设备及可读存储介质，涉及计算机领域。该方法包括：从待处理图像中获得包括人脸的目标局部图像；将目标局部图像输入至训练好的漫画脸生成模型，获得漫画脸图像；将目标局部图像中的人脸区域内容替换为漫画脸图像中的人脸区域内容，得到目标漫画脸图像；将待处理图像中与目标局部图像对应的区域替换为目标漫画脸图像，得到人脸漫画化的结果图像。由此，可基于待处理图像及漫画脸生成模型，自动获得人脸漫画化的结果图像，并且该结果图像中的人脸区域与其他区域过度自然。
Description
技术领域
本申请涉及计算机领域，具体而言，涉及一种图像处理方法、装置、电子设备及可读存储介质。
背景技术
漫画是在日常生活中我们能够广泛接触到的一种艺术形式。除了艺术本身之外，它的适用范围从出版媒体到儿童教育。然而，使用卡通漫画风格手绘人脸是一个费时费力的工作，而且需要很多专业的绘画技能。为了获得高质量的画面，原画作者必须仔细绘制每个线条，并对人脸的每种颜色区域进行涂色。然而，手绘人脸这种方式的工作量比较大，不便于使用。比如，若采用手绘的方式，则不能实现直播场景的人脸漫画化。因此，如何自动将真人的照片转换为令人满意的漫画风格画面，是本领域技术人员亟需解决的技术问题。
发明内容
本申请实施例提供了一种图像处理方法、装置、电子设备及可读存储介质，其能够基于待处理图像及漫画脸生成模型，自动获得人脸漫画化的结果图像，并且该结果图像中的人脸区域与其他区域过度自然。
本申请实施例可以这样实现：
第一方面，本申请实施例提供一种图像处理方法，所述方法包括：
从待处理图像中获得包括人脸的目标局部图像；
将所述目标局部图像输入至训练好的漫画脸生成模型，获得漫画脸图像；
将所述目标局部图像中的人脸区域内容替换为所述漫画脸图像中的人脸区域内容，得到目标漫画脸图像；
将所述待处理图像中与所述目标局部图像对应的区域替换为所述目标漫画脸图像，得到人脸漫画化的结果图像。
第二方面，本申请实施例提供一种图像处理装置，所述装置包括：
预处理模块，用于从待处理图像中获得包括人脸的目标局部图像；
漫画脸获得模块，用于将所述目标局部图像输入至训练好的漫画脸生成模型，获得漫画脸图像；
处理模块，用于将所述目标局部图像中的人脸区域内容替换为所述漫画脸图像中的人脸区域内容，得到目标漫画脸图像；
所述处理模块，还用于将所述待处理图像中与所述目标局部图像对应的区域替换为所述目标漫画脸图像，得到人脸漫画化的结果图像。
第三方面，本申请实施例提供一种电子设备，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器可执行所述机器可执行指令以实现前述实施方式中任意一项所述的图像处理方法。
第四方面，本申请实施例提供一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如前述实施方式中任意一项所述的图像处理方法。
本申请实施例提供的图像处理方法、装置、电子设备及可读存储介质，将从待处理图像中获得的包括人脸的目标局部图像输入至训练好的漫画脸生成模型，得到漫画脸图像；接着，将目标局部图像中的人脸区域内容替换为漫画脸图像中的人脸区域内容，得到目标漫画脸图像；最后，将待处理图像中与目标局部图像对应的区域替换为目标漫画脸图像，得到人脸漫画化的结果图像。由此，可基于待处理图像及漫画脸生成模型，自动获得人脸漫画化的结果图像，同时在获得结果图像的过程中无需输入风格图像，使用比较方便；并且，在获得结果图像的过程中，是将经过人脸区域内容替换得到的目标漫画脸图像贴回原位置，而不是直接将漫画脸生成模型输出的漫画脸图像贴回至原位置，因而可以避免结果图像中漫画部分与其他部分有明显的色彩差距/纹理差距，过度比较自然。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的电子设备的方框示意图；
图2为本申请实施例提供的图像处理方法的流程示意图之一；
图3为本申请实施例提供的获得结果图像的示意图；
图4为本申请实施例提供的图像处理方法的流程示意图之二；
图5为本申请实施例提供的生成器网络的结构示意图；
图6为本申请实施例提供的判别器网络的结构示意图；
图7为本申请实施例提供的图像处理装置的方框示意图之一；
图8为本申请实施例提供的图像处理装置的方框示意图之二。
图标：100-电子设备；110-存储器；120-处理器；130-通信单元；200-图像处理装置；210-训练模块；220-预处理模块；230-漫画脸获得模块；240-处理模块。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
从计算机视觉算法的角度来看，人脸漫画化的目标是将真人照片映射到二次元风格中，同时确保其中的内容不变。然而目前大多数内容风格迁移算法都是需要一张内容图(也即，待处理的图像)和一张风格图作为输入，这就导致所使用的网络结构臃肿，难以应用于实时的风格化中。并且，二次元人脸具有平滑色彩和清晰边界等特点，采用现有普遍的风格迁移算法是得不到具有二次元特征的风格迁移结果的。
基于上述情况，本申请实施例提供了一种图像处理方法、装置、电子设备及可读存储介质，其能够基于待处理图像及漫画脸生成模型，自动快速获得人脸漫画化的结果图像，可应用于实时的风格化中；并且，该结果图像中的人脸区域与其他区域过度自然。
下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
请参照图1，图1为本申请实施例提供的电子设备100的方框示意图。所述电子设备100可以是，但不限于，智能手机、电脑、服务器等。所述电子设备100包括存储器110、处理器120及通信单元130。所述存储器110、处理器120以及通信单元130各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。
其中，存储器110用于存储程序或者数据。所述存储器110可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-Only Memory，PROM)，可擦除只读存储器(ErasableProgrammable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric ErasableProgrammable Read-Only Memory，EEPROM)等。
处理器120用于读/写存储器110中存储的数据或程序，并执行相应地功能。比如，存储器110中存储有图像处理装置200，所述图像处理装置200包括至少一个可以软件或固件(firmware)的形式存储于所述存储器110中的软件功能模块。所述处理器120通过运行存储在存储器110内的软件程序以及模块，如本申请实施例中的图像处理装置200，从而执行各种功能应用以及数据处理，即实现本申请实施例中的图像处理方法。
通信单元130用于通过网络建立所述电子设备100与其它通信终端之间的通信连接，并用于通过所述网络收发数据。
应当理解的是，图1所示的结构仅为电子设备100的结构示意图，所述电子设备100还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。
请参照图2，图2为本申请实施例提供的图像处理方法的流程示意图之一。所述方法可以应用于上述电子设备100。下面对图像处理方法的具体流程进行详细阐述。所述方法可以包括步骤S120～步骤S150。
步骤S120，从待处理图像中获得包括人脸的目标局部图像。
在本实施例中，可对待处理图像进行预处理，从而得到包括人脸的目标局部图像。所述预处理的具体操作可以由训练好的漫画脸生成模型确定，比如，若漫画脸生成模型对输入图片有尺寸要求，则可以根据所述漫画脸生成模型的尺寸要求对所述待处理图像进行处理，以获得满足尺寸要求的目标局部图像。其中，所述漫画脸生成模型可以是采用无监督训练方式训练得到的，也可以是采用有监督方式训练得到的。
所述目标局部图像中所包括的内容可以少于所述待处理图像中所包括的内容，也即，所述目标局部图像为所述待处理图像中包括人脸的局部区域图像。由此既可以满足人脸漫画化的需求，同时加快图像处理速度，避免无关内容影响速度。当然可以理解的是，若所述待处理图像中主要内容即为人脸，那么从该待处理图像中获得的目标局部图像所包括的内容，可以与所述待处理图像所包括的内容相同。
步骤S130，将所述目标局部图像输入至训练好的漫画脸生成模型，获得漫画脸图像。
步骤S140，将所述目标局部图像中的人脸区域内容替换为所述漫画脸图像中的人脸区域内容，得到目标漫画脸图像。
步骤S150，将所述待处理图像中与所述目标局部图像对应的区域替换为所述目标漫画脸图像，得到人脸漫画化的结果图像。
在获得所述目标局部图像的情况下，将所述目标局部图像输入所述漫画脸生成模型，该漫画脸生成模型的输出为所述漫画脸图像。漫画脸图像是漫画脸生成模型生成的，相较于不经过任何网络处理的待处理图像，可能有色彩的稍微变动，若直接将漫画脸贴回至所述待处理图像中的对应位置，则漫画脸图像与待处理图像之间可能会有明显的色彩/纹理差距。
请参照图3，图3为本申请实施例提供的获得结果图像的示意图。在直接将漫画脸贴回至所述待处理图像中的对应位置的情况下，得到的结果图像中区域1与区域2的颜色不同，区域1与区域2之间有明显的色彩/纹理差距，该结果图像的背景有割裂感。
为了消除这种断层感，在本实施例中，将所述目标局部图像中的人脸区域内容替换为所述漫画脸图像中的人脸区域内容，得到目标漫画脸图像，再将该目标漫画脸图像贴回至所述待处理图像的对应位置，从而得到人脸漫画化的结果图像。目标漫画脸图像中除了人脸区域内容，其余的内容都是待处理图像原有的内容，因而可以避免产生色彩差距，使得人脸区域能够保持漫画风的内容，同时漫画与原图之间的过度也自然，也即结果图像的背景无割裂感。由此，可完成对所述待处理图像的图像翻译，得到人脸漫画化的结果图像。
请参照图4，图4为本申请实施例提供的图像处理方法的流程示意图之二。在本实施例中，在步骤S120之前，所述方法还可以包括步骤S110，通过步骤S110获得所述漫画脸生成模型。
步骤S110，根据样本人脸图像及与样本人脸图像对应的样本漫画脸图像，对初始网络进行训练，以得到所述漫画脸生成模型。
在本实施例中，可首先获得样本集，并获得所述初始网络，然后利用样本集对初始网络进行训练，从而在达到训练停止条件时得到所述漫画脸生成模型。其中，所述初始网络可以是现有的网络(比如，pix2pix网络和pix2pixhd网络等)，也可以是自行搭建的网络。
采用有监督训练方式得到的模型的生成结果比较稳定，因此，在本实施例的一种实施方式中，所述样本集中包括样本人脸图像及与样本人脸图像对应的样本漫画脸图像，基于该样本集采用有监督训练方式训练得到所述漫画脸生成模型。
为了能覆盖所有人脸漫画化，选用的数据可以尽可能接近现实生活中的各种肤色各种年龄各种角度的人脸。对于现实图片库，可以选用开源数据集FFHQ人脸数据集，数量13k张。在准备好人脸数据集的情况下，可以对人脸数据集进行人脸对齐处理，从而得到多张样本人脸图像，进而基于每张样本人脸图像，通过手绘或其他方式获得每张样本人脸图像对应的样本漫画脸图像。
其中，人脸对齐的意义在于规范化网络模型的输入，大幅降低网络收敛难度，提升网络收敛速度。人脸对齐的过程可如下所示：对一张人脸图像进行人脸关键点检测；旋转该人脸图像使得眼部关键点连线方向为水平；裁剪缩放图片，使得眼部关键点之间的间距及双眼中点到鼻子间距的都固定为统一数值，最后得到的图像即为一张样本人脸图像。由此可知，样本人脸图像的尺寸可以为预设尺寸、且眼部关键点连线方向为水平。
可选地，在本实施例中，在训练过程中，在计算所述初始网络的损失值时，该损失值包括眼睛区域对应的局部损失值。该局部损失值可以是，但不限于，L1损失。由此，可以使得基于漫画脸生成模型得到的漫画脸图像中的眼睛区域更加清晰。
作为一种可选的实施方式，所述初始网络可以为轻量级生成对抗网络，能够实时推理且风格化效果良好。该初始网络可以是基于pix2pix网络或pix2pixhd网络等构建的网络。
在本实施例的一种实施方式中，所述初始网络为基于pix2pixhd网络构建的网络。pix2pix基于GAN框架，与普通GAN不同的是，pix2pix的D(判别器)接收的输入是一个<x,y>的pair，而不是生成图。其中x代表真人图，y是动漫图。而D要判断的是这个pair是不是真的，也即判断该动漫图是不是该真人图所对应(或者匹配)的漫画图像，这样就保证了Mapping。因为真人图和不真实的动漫图像显然不能被认同为一个pair，所以D在判断是不是能够成为一对的时候就已经包含了要生成真实图像的信息。其中，真实图像表示与真人图对应的漫画图像(即真实动漫图像)。在训练过程中通过G和D的互相博弈，使生成图不断拟合groundtruth。
所述初始网络可以包括生成器网络及判别器网络。所述漫画脸生成模型为训练好的生成器网络。如图5所示，所述生成器网络(G)用于基于样本人脸图像生成漫画风格图像，也即用于将输入图像映射到漫画风格。如图6所示，所述判别器网络(D)用于接收真实对图像、生成对图像，并判断真实对图像和生成对图像各自是否是匹配的。
其中，所述真实对图像中包括本次使用的样本人脸图像及该样本人脸图像对应的样本漫画脸图像，所述生成对图像中包括本次使用的样本人脸图像、生成器网络基于该样本人脸图像生成的漫画风格图像。所述判别器网络判别所述真实对图像是否匹配，表示判断所述漫画风格图像与所述样本人脸图像是否匹配；所述判别器网络判断所述生成对图像是否匹配，表示判断所述样本漫画脸图像与所述样本人脸图像是否匹配；经过上述判断得到的两个判别结果，可用于表示所述漫画风格图像与所述样本漫画脸图像是否相似。
可选地，在两个判别结果均为匹配时，可确定样本漫画脸图像与生成的漫画风格图像是相似的，也即此时判别器网络无法将生成器网络生成的漫画风格图像与样本漫画脸图像区分开。当生成器网络生成的漫画风格图像与样本漫画脸图像相似时，可将该生成器网络作为训练好的漫画脸生成模型。
下面对通过训练所述初始网络获得所述漫画脸生成模型的方式进行简要说明。
该初始网络中包括生成器网络及判别器网络。可将样本人脸图像输入到所述生成器网络中，获得漫画风格图像，该漫画风格图像为所述生成器网络基于输入的样本人脸图像生成生成的图像。
接着，将该样本人脸图像、该样本人脸图像对应的样本漫画脸图像、经过生成器网络得到的漫画风格图像，输入到所述判别器网络中。其中，由于所述判别器网络是对一对图像进行判断，因此，在输入时，可以将样本人脸图像与漫画风格图像作为生成对图像输入到判别器网络中，并将样本人脸图像与样本漫画脸图像作为真实对图像输入到判别器网络中。
判别器网络根据输入的图像进行判断，得到两个判别结果。其中，所述两个判别结果中，一个判别结果表示所述漫画风格图像与所述样本人脸图像是匹配的，或者不是匹配的；另一个判别结果表示所述样本漫画脸图像与所述样本人脸图像是匹配的，或者不是匹配的。
将生成对图像判定为不匹配，说明此时的生成器网络生成的漫画风格图像与样本漫画脸图像还不是无限接近，此时的生成器网络需要进行修正。
在获得上述两个判别结果的情况下，可以根据上述两个判别结果以及设定的停止训练条件，判断是否要继续训练。比如，结合本次得到的两个判别结果以及历史次数的两个判别结果，确定是否有预设次数将真实对图像判定为匹配、并将生成对图像判定为匹配，若有，则可以确定满足停止训练条件。当然可以理解的是，也可以基于实际需求设定其他的停止训练条件，只要能达到以下目的即可：最终训练得到的生成器网络，能够生成与样本漫画脸图像无限接近的漫画风格图像。
在确定要继续训练的情况下，可根据设定的损失函数、所述漫画风格图像、所述样本人脸图像及该样本人脸图像，计算得到所述初始网络的损失值。然后基于该损失值对生成器网络和/或判别器网络进行调整，比如，调整生成器网络和判别器网络中的参数，获得调整后的初始网络。
接着，可向调整后的初始网络，再次输入样本人脸图像，重复上述过程，直到确定停止训练。在确定停止训练的情况下，将停止训练时的生成器网络作为所述漫画脸生成模型。
可选地，作为一种可能的实现方式，如图5所示，所述生成器网络可以依次包括：4个下卷积区块、4个残差区块及4个反卷积区块。所述生成器网络从连续4个下卷积区块开始，以对输入的图像进行空间压缩和编码，在该阶段提取有用的本地信号，用于风格转换。随后使用相同布局的4个残差块residual blocks(图5中的示例只示出了2个残差块)来构造内容和风格特征。也即，4个残差区块用于做非线性映射，将输入的图像的特征转换为二次元特征。最后，通过4个反卷积区块重构输出漫画风格图像。由此，既可以基于该生成器网络得到漫画风格图像，同时结构为轻量级结构。
可选地，所述判别器网络可以为常规的判别器网络结构，也可以为轻量级结构。判别图像是否为漫画是个要求不高的任务，因此在一种可能的实现方式中，可以使用D中参数较少的简单鉴别器，而不是常规全图鉴别器。与图像分类任务不同，漫画风格鉴别任务依赖于图像的局部特征，因此，所述判别器网络被设计地较浅。如图6所示，所述判别器网络可以依次包括：平层(即图6中最靠近真实对及生成对的两个竖块)、2个步进卷积块、2个特征构造块及2个下卷积块。
在该判别器网络中，首先进行平层卷积，平层卷积是为了提取特征低纬的特征信息。在平层之后，采用2个步进卷积块降低分辨率并编码，得到用于分类的基本局部特征。随后，使用2个特征构造块和2个下卷积块来获得分类返回。其中，2个特征构造块用于进行非线性变换，增加网络的表达能力。2个下卷积块是为了进行下采样，提取高纬特征信息。其中，2个下卷积块可以为2个3×3的下卷积块。由此，可基于图5及图6所示的初始网络，即保证生成效果，同时保证模型性能，使得所述初始网络和/或漫画脸生成模型可以实时运行在电脑或智能手机等小型智能设备上。
在本实施方式中，所述初始网络的损失函数如下：
其中：LGAN(G,Dk)＝E[(logDk(y))]+E[log(1-Dk(G(x)))]
LVGG(G,F)＝||F(y)-F(G(x))||1
Leye(G,y)＝||G(y)eye_roi-yeye_roi||1
其中，G表示生成器网络，D表示判别器网络，F表示VGG网络；x表示真人脸(即样本人脸图像)，y表示真动漫脸(即样本漫画脸图像)，G(x)表示生成动漫脸(即生成器网络生成的漫画风格图像)，k表示第k个D网络，i表示D网络中的第i层，T表示D网络中的所有层；LGAN(G,Dk)表示对抗损失，LFM(G,Dk)表示判别器网络的特征匹配损失，LVGG(G,F)表示VGG损失，Leye(G,y)表示眼睛清晰度损失。λfm、λvgg、λeye均表示预设值，可选地，λfm＝100，λvgg＝100，λeye＝100。
可基于上述轻量级结构的初始网络、样本集及损失函数，训练得到所述漫画脸生成模型。可选地，可以在计算出的初始网络的损失值小于预设值或者训练预设次数或者满足其他设定条件的情况下，确定训练完成。在训练完成后，可通过所述漫画脸生成模型实时进行漫画风格化。
可选地，可对所述待处理图像进行人脸对齐处理，从而得到尺寸为预设尺寸的目标局部图像。在进行人脸对齐时，可对所述待处理图像进行人脸关键点检测，从而确定所述待处理图像中人脸关键点的位置。接着，基于人脸关键点的位置，对所述待处理图像进行旋转、裁剪、缩放处理，获得所述目标局部图像。比如，按照获得样本人脸图像的方式，将待处理图像中的眼部关键点进行连线，然后旋转该待处理图像，使得眼部关键点的连线方式为水平；之后，则裁剪缩放旋转后的待处理图像，使得眼部关键点之间的间距及双眼中点到鼻子间距的都固定为统一数值，从而得到人脸转正的目标局部图像。
其中，为了避免裁剪时遗漏脸部特征，所述目标局部图像中的内容多于旋转后的待处理图像中脸部区域的内容，但可以少于待处理图像所包括的内容。比如，待处理图像中包括头部及身体，得到的目标局部图像中可以包括头部但不包括身体。
可以理解的是，上述获得目标局部图像的方式仅为举例说明，也可以根据实际需求采用其他方式获得用于输入所述漫画脸生成模型的图像，在此不对其进行具体限定。
接着，则可以将所述目标局部图像输入到所述漫画脸生成模型中，获得所述漫画脸图像。之后，可采用任意方式将所述目标局部图像中的人脸区域内容替换为所述漫画脸图像中的人脸区域内容，得到目标漫画脸图像。
作为一种可选的实施方式，可预先设置好的掩膜图像，该掩膜图像中包括前景区域及背景区域。如图3所示，白色部分为前景区域，黑色部分为背景区域。其中，掩膜图像的尺寸可以为所述漫画脸生成脸模型要求的输入图像的尺寸。该掩膜图像可以是，但不限于，高斯mask模板。
可以通过所述掩膜图像对所述目标局部图像进行处理，得到第一背景图像，所述第一背景图像中包括除人脸之外的内容，也即包括背景内容。并通过所述掩膜图像对所述漫画脸图像进行处理，得到第一前景图像，所述第一前景图像中包括人脸区域内的内容，不包括人脸区域之外的内容，也即包括前景内容。之后，则可以根据所述第一背景图像及第一前景图像得到所述目标漫画脸图像，完成人脸融合。上述过程可简单描述为：将掩膜图像的白色部分乘以漫画脸图像，将掩膜图像的黑色部分乘以目标局部图像，然后得到一个blend(混合)后的图，即目标漫画脸图像。由此，可利用掩膜图像快速获得目标漫画脸图像。
当然可以理解的是，上述方式仅为举例说明，在此不对获得目标漫画脸图像的方式进行具体限定，也可以采用其他方式获得所述目标漫画脸图像。比如，检测目标局部图像中的人脸关键点及漫画脸图像中的人脸关键点，然后基于人脸关键点，将所述目标局部图像中的人脸区域内容替换为所述漫画脸图像中的人脸区域内容，以得到目标漫画脸图像。
在获得所述目标漫画脸图像的情况下，可按照从所述待处理图像中获得所述目标局部图像的方式，对应地对所述目标漫画脸图像进行处理，并确定处理后的目标漫画图像在所述待处理图像中的位置，然后基于该位置将处理后的目标漫画图像贴回所述待处理图像，从而得到所述结果图像。
例如，在经人脸对齐获得所述目标局部图像的情况下，可根据所述人脸对齐处理，对所述目标漫画脸图像进行反向处理(即图3所示的反转正)，得到反向处理后的目标漫画脸图像。根据所述人脸对齐处理，确定反向处理后的目标漫画脸图像在所述待处理图像中的位置，并根据所述位置将反向处理后的目标漫画脸图像融合至所述待处理图像中，得到所述结果图像。
可选地，可将人脸对齐时使用的仿射变换矩阵进行保存，在进行反向处理时，则可基于该仿射变换矩阵，对目标漫画脸图像进行一次反射变化，让目标漫画脸图像恢复原本的脸角度和尺寸。之后，将角度和尺寸恢复后的目标漫画脸图像贴回至原位置，从而得到所述结果图像。由此，可快速完成反向处理，得到所述结果图像。
作为一种可选的实施方式，所述待处理图像为直播图像，在得到所述结果图像之后，还可以将该结果图像发送给直播接收端进行显示。由此，可以实现直播场景的人脸漫画化，该方式能够帮助用户进行内容创作，降低艺术创作成本，提升内容趣味性。值得说明的是，可以是直播发送端对待处理图像进行处理，获得所述结果图像，然后将结果图像经直播服务器发送给直播接收端；也可以是直播服务器对待处理图像进行处理，获得所述结果图像，然后将结果图像发送给直播接收端。具体可以根据实际需求进行设置。
为了执行上述实施例及各个可能的方式中的相应步骤，下面给出一种图像处理装置200的实现方式，可选地，该图像处理装置200可以采用上述图1所示的电子设备100的器件结构。进一步地，请参照图7，图7为本申请实施例提供的图像处理装置200的方框示意图之一。需要说明的是，本实施例所提供的图像处理装置200，其基本原理及产生的技术效果和上述实施例相同，为简要描述，本实施例部分未提及之处，可参考上述的实施例中相应内容。所述图像处理装置200可以作为一种AI(Artificial Intelligence，人工智能)视频内容创作工具，帮助用户进行内容创作，降低艺术创作成本，提升内容趣味性。所述图像处理装置200可以包括：预处理模块220、漫画脸获得模块230及处理模块240。
所述预处理模块220，用于从待处理图像中获得包括人脸的目标局部图像。
所述漫画脸获得模块230，用于将所述目标局部图像输入至训练好的漫画脸生成模型，获得漫画脸图像。
所述处理模块240，用于将所述目标局部图像中的人脸区域内容替换为所述漫画脸图像中的人脸区域内容，得到目标漫画脸图像。
所述处理模块240，还用于将所述待处理图像中与所述目标局部图像对应的区域替换为所述目标漫画脸图像，得到人脸漫画化的结果图像。
请参照图8，图8为本申请实施例提供的图像处理装置200的方框示意图之二。所述图像处理装置200还可以包括训练模块210。
所述训练模块210，用于根据样本人脸图像及与样本人脸图像对应的样本漫画脸图像，对初始网络进行训练，以得到所述漫画脸生成模型。其中，在训练过程中，所述初始网络的损失值包括眼睛区域对应的局部损失值。
可选地，在本实施例中，所述待处理图像为直播图像，所述处理模块240还用于将所述结果图像发送给直播接收端进行显示。
可选地，上述模块可以软件或固件(Firmware)的形式存储于图1所示的存储器110中或固化于电子设备100的操作系统(Operating System，OS)中，并可由图1中的处理器120执行。同时，执行上述模块所需的数据、程序的代码等可以存储在存储器110中。
本申请实施例还提供一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的图像处理方法。
综上所述，本申请实施例提供一种图像处理方法、装置、电子设备及可读存储介质，将从待处理图像中获得的包括人脸的目标局部图像输入至训练好的漫画脸生成模型，得到漫画脸图像；接着，将目标局部图像中的人脸区域内容替换为漫画脸图像中的人脸区域内容，得到目标漫画脸图像；最后，将待处理图像中与目标局部图像对应的区域替换为目标漫画脸图像，得到人脸漫画化的结果图像。由此，可基于待处理图像及漫画脸生成模型，自动获得人脸漫画化的结果图像，同时在获得结果图像的过程中无需输入风格图像，使用比较方便；并且，在获得结果图像的过程中，是将经过人脸区域内容替换得到的目标漫画脸图像贴回原位置，而不是直接将漫画脸生成模型输出的漫画脸图像贴回至原位置，因而可以避免结果图像中漫画部分与其他部分有明显的色彩差距/纹理差距，过度比较自然。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (12)
1.一种图像处理方法，其特征在于，所述方法包括：
从待处理图像中获得包括人脸的目标局部图像；
将所述目标局部图像输入至训练好的漫画脸生成模型，获得漫画脸图像；
将所述目标局部图像中的人脸区域内容替换为所述漫画脸图像中的人脸区域内容，得到目标漫画脸图像；
将所述待处理图像中与所述目标局部图像对应的区域替换为所述目标漫画脸图像，得到人脸漫画化的结果图像。
2.根据权利要求1所述的方法，其特征在于，在将所述目标局部图像中的人脸区域内容替换为所述漫画脸图像中的人脸区域内容，得到目标漫画脸图像之前，所述方法还包括：
根据样本人脸图像及与样本人脸图像对应的样本漫画脸图像，对初始网络进行训练，以得到所述漫画脸生成模型，其中，在训练过程中，所述初始网络的损失值包括眼睛区域对应的局部损失值。
3.根据权利要求2所述的方法，其特征在于，所述初始网络包括生成器网络及判别器网络，所述根据样本人脸图像及与样本人脸图像对应的样本漫画脸图像，对初始网络进行训练，以得到所述漫画脸生成模型，包括：
将所述样本人脸图像输入到所述生成器网络中，获得漫画风格图像；
将所述漫画风格图像、所述样本人脸图像及该样本人脸图像对应的样本漫画脸图像，输入到所述判别器网络中，获得两个判别结果，其中，所述两个判别结果用于表示所述漫画风格图像与所述样本漫画脸图像是否相似；
在根据所述两个判别结果确定要继续训练的情况下，根据所述漫画风格图像、所述样本人脸图像及该样本人脸图像，计算得到所述初始网络的损失值；
根据所述损失值对所述生成器网络和/或判别器网络进行调整，并继续对调整后的初始网络进行训练，直到确定停止训练，其中，所述漫画脸生成模型为停止训练时得到的生成器网络。
4.根据权利要求2所述的方法，其特征在于，所述初始网络包括生成器网络及判别器网络，所述漫画脸生成模型为训练好的生成器网络，所述生成器网络依次包括：4个下卷积区块、4个残差区块及4个反卷积区块。
5.根据权利要求4所述的方法，其特征在于，所述判别器网络依次包括：平层、2个步进卷积块、2个特征构造块及2个下卷积块。
6.根据权利要求1-5中任意一项所述的方法，其特征在于，
所述从待处理图像中获得包括人脸的目标局部图像，包括：
对所述待处理图像进行人脸对齐处理，获得所述目标局部图像，其中，所述目标局部图像的尺寸为预设尺寸；
所述将所述待处理图像中与所述目标局部图像对应的区域替换为所述目标漫画脸图像，得到人脸漫画化的结果图像，包括：
根据所述人脸对齐处理，对所述目标漫画脸图像进行反向处理，得到反向处理后的目标漫画脸图像；
根据所述人脸对齐处理，确定反向处理后的目标漫画脸图像在所述待处理图像中的位置，并根据所述位置将反向处理后的目标漫画脸图像融合至所述待处理图像中，得到所述结果图像。
7.根据权利要求6所述的方法，其特征在于，所述对所述待处理图像进行人脸对齐处理，获得所述目标局部图像，包括：
对所述待处理图像进行人脸关键点检测，确定人脸关键点；
基于所述人脸关键点，对所述待处理图像进行旋转、裁剪、缩放处理，获得所述目标局部图像。
8.根据权利要求6所述的方法，其特征在于，所述将所述目标局部图像中的人脸区域内容替换为所述漫画脸图像中的人脸区域内容，得到目标漫画脸图像，包括：
通过掩膜图像对所述目标局部图像进行处理，得到第一背景图像，其中，所述掩膜图像包括前景区域及背景区域；
通过所述掩膜图像对所述漫画脸图像进行处理，得到第一前景图像；
根据所述第一背景图像及第一前景图像，得到所述目标漫画脸图像。
9.根据权利要求6所述的方法，其特征在于，所述待处理图像为直播图像，所述方法还包括：
将所述结果图像发送给直播接收端进行显示。
10.一种图像处理装置，其特征在于，所述装置包括：
预处理模块，用于从待处理图像中获得包括人脸的目标局部图像；
漫画脸获得模块，用于将所述目标局部图像输入至训练好的漫画脸生成模型，获得漫画脸图像；
处理模块，用于将所述目标局部图像中的人脸区域内容替换为所述漫画脸图像中的人脸区域内容，得到目标漫画脸图像；
所述处理模块，还用于将所述待处理图像中与所述目标局部图像对应的区域替换为所述目标漫画脸图像，得到人脸漫画化的结果图像。
11.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器可执行所述机器可执行指令以实现权利要求1-9中任意一项所述的图像处理方法。
12.一种可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-9中任意一项所述的图像处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110450020.9A CN113066005A (zh) | 2021-04-25 | 2021-04-25 | 图像处理方法、装置、电子设备及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110450020.9A CN113066005A (zh) | 2021-04-25 | 2021-04-25 | 图像处理方法、装置、电子设备及可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113066005A true CN113066005A (zh) | 2021-07-02 |
Family
ID=76568400
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110450020.9A Pending CN113066005A (zh) | 2021-04-25 | 2021-04-25 | 图像处理方法、装置、电子设备及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113066005A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115358917A (zh) * | 2022-07-14 | 2022-11-18 | 北京汉仪创新科技股份有限公司 | 一种手绘风格非对齐人脸迁移方法、设备、介质和系统 |
-
2021
- 2021-04-25 CN CN202110450020.9A patent/CN113066005A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115358917A (zh) * | 2022-07-14 | 2022-11-18 | 北京汉仪创新科技股份有限公司 | 一种手绘风格非对齐人脸迁移方法、设备、介质和系统 |
| CN115358917B (zh) * | 2022-07-14 | 2024-05-07 | 北京汉仪创新科技股份有限公司 | 一种手绘风格非对齐人脸迁移方法、设备、介质和系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11798132B2 (en) | Image inpainting method and apparatus, computer device, and storage medium | |
| Din et al. | A novel GAN-based network for unmasking of masked face | |
| CN110619676B (zh) | 一种基于神经网络的端到端的三维人脸重建方法 | |
| CN108875935B (zh) | 基于生成对抗网络的自然图像目标材质视觉特征映射方法 | |
| WO2022001509A1 (zh) | 图像优化方法、装置、计算机存储介质以及电子设备 | |
| US10922860B2 (en) | Line drawing generation | |
| CN111489287A (zh) | 图像转换方法、装置、计算机设备和存储介质 | |
| CN112541864A (zh) | 一种基于多尺度生成式对抗网络模型的图像修复方法 | |
| CN111507333B (zh) | 一种图像矫正方法、装置、电子设备和存储介质 | |
| CN110148088B (zh) | 图像处理方法、图像去雨方法、装置、终端及介质 | |
| CN110660020A (zh) | 一种基于融合互信息的对抗生成网络的图像超分辨率方法 | |
| CN110895795A (zh) | 改进的语义图像修补模型方法 | |
| CN113361387A (zh) | 人脸图像融合方法及装置、存储介质及电子设备 | |
| Han et al. | PIINET: A 360-degree panoramic image inpainting network using a cube map | |
| CN111833360A (zh) | 一种图像处理方法、装置、设备以及计算机可读存储介质 | |
| Zeng et al. | Joint 3D facial shape reconstruction and texture completion from a single image | |
| Hovhannisyan et al. | AED-Net: A single image dehazing | |
| Li et al. | Line drawing guided progressive inpainting of mural damages | |
| CN113066005A (zh) | 图像处理方法、装置、电子设备及可读存储介质 | |
| CN117274605B (zh) | 一种从无人机拍摄的照片中提取水域轮廓的方法及装置 | |
| WO2023088276A1 (zh) | 漫画化模型构建方法、装置、设备、存储介质及程序产品 | |
| CN115116468A (zh) | 一种视频生成方法、装置、存储介质及电子设备 | |
| Ghanem et al. | Face completion using generative adversarial network with pretrained face landmark generator | |
| Parihar et al. | UndarkGAN: Low-light Image Enhancement with Cycle-consistent Adversarial Networks | |
| Zhang et al. | Fast Mesh Reconstruction from Single View Based on GCN and Topology Modification. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |