CN115100312B - 一种图像动漫化的方法和装置 - Google Patents

Abstract

本发明提供了一种图像动漫化的方法和装置，涉及图像数据处理技术领域，其中，所述方法包括：对进行动漫化处理图像进行语义分割获得多个分割结果，对多个分割结果进行灰度化处理以及下采样处理，并将处理结果输入分辨率生成对抗模型，获得动漫化图像；对多个分割结果进行色彩饱和度调整处理并将结果集合输入饱和度生成对抗模型，获得饱和度图像；将动漫化图像进行拼接处理，并基于饱和度图像进行拼接结果的饱和度调整，获得动漫化图像。解决了现有技术中动漫化处理生成图像成本高效率低，且生成的动漫图像存在颜色和内容损失的技术问题。达到了快速高效低成本的实现动漫化图像的生成，生成图像的内容保存完整且颜色损失较少的技术效果。

Description

一种图像动漫化的方法和装置

技术领域

本发明涉及图像数据处理技术领域，具体涉及一种图像动漫化的方法和装置。

背景技术

图像风格迁移以及图像裁剪是优化拍摄图片艺术效果的常规方法。摄影师基于自我审美水平进行图像裁剪，使图像传达的信息重点以及视觉中心发生变化，同时采用滤镜图像，在不改变像素颜色，仅改变像素颜色的条件下实现图像风格的变化，即进行图像风格迁移。

随着技术的进步，图像风格迁移从简单的图像“渐晕”和“颗粒”迁移，延伸至将其他图像中的风格特征和纹理特征移植到目标图像中，使目标图像的颜色、像素皆发生变化。曾经风靡一时的“动漫头像滤镜”就是图像风格纹理皆发生变化的图像风格迁移应用。

现有技术中存在进行图像动漫化的成本较高且图像动漫化效率较低，所生成的动漫图像存在颜色和内容损失，导致图像动漫化效果不理想的技术问题。

发明内容

本申请提供了一种图像动漫化的方法和装置，用于针对解决现有技术中存在进行图像动漫化的成本较高且图像动漫化效率较低，所生成的动漫图像存在颜色和内容损失，导致图像动漫化效果不理想的技术问题。

鉴于上述问题，本申请提供了一种图像动漫化的方法和装置。

本申请的第一个方面，提供了一种图像动漫化的方法，所述方法包括：确定需要进行动漫化处理的图像，获得待处理图像；对所述待处理图像进行语义分割处理，获得多个分割结果，每个分割结果内包括至少部分的所述待处理图像；对多个所述分割结果进行灰度化处理，并进行下采样处理，获得多个第一分割结果集合；对多个所述分割结果进行色彩饱和度调整处理，获得饱和度不同的多个分割结果，获得多个第二分割结果集合；构建动漫化图像生成对抗模型，其中，所述图像生成对抗模型包括分辨率生成对抗模型和饱和度生成对抗模型；将多个所述第一分割结果集合输入所述分辨率生成对抗模型，获得多个动漫化的第一分割生成图像；将多个所述第二分割结果集合输入所述饱和度生成对抗模型，获得多个饱和度动漫化的第二分割生成图像；将多个所述第一分割生成图像进行拼接处理，并基于多个所述第二分割生成图像对所述拼接处理的结果进行饱和度调整，获得所述待处理图像动漫化处理的动漫化图像。

本申请的第二个方面，提供了一种图像动漫化的装置，所述装置包括：图像处理确定模块，用于确定需要进行动漫化处理的图像，获得待处理图像；语义分割执行模块，用于对所述待处理图像进行语义分割处理，获得多个分割结果，每个分割结果内包括至少部分的所述待处理图像；分割结果获得模块，用于对多个所述分割结果进行灰度化处理，并进行下采样处理，获得多个第一分割结果集合；分割结果处理模块，用于对多个所述分割结果进行色彩饱和度调整处理，获得饱和度不同的多个分割结果，获得多个第二分割结果集合；对抗模型构建模块，用于构建动漫化图像生成对抗模型，其中，所述图像生成对抗模型包括分辨率生成对抗模型和饱和度生成对抗模型；分辨率模型执行模块，用于将多个所述第一分割结果集合输入所述分辨率生成对抗模型，获得多个动漫化的第一分割生成图像；饱和度模型执行模块，用于将多个所述第二分割结果集合输入所述饱和度生成对抗模型，获得多个饱和度动漫化的第二分割生成图像；图形拼接处理模块，用于将多个所述第一分割生成图像进行拼接处理，并基于多个所述第二分割生成图像对所述拼接处理的结果进行饱和度调整，获得所述待处理图像动漫化处理的动漫化图像。

本申请的第三个方面，提供了一种计算机可读存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述方法的步骤。

本申请中提供的一个或多个技术方案，至少具有如下技术效果或优点：

本申请实施例提供的方法通过确定需要进行动漫化处理的图像，获得待处理图像；对待处理图像进行语义分割处理，获得多个分割结果，每个分割结果内包括至少部分的待处理图像；降低了进行图像动漫化处理数据量和处理难度。对多个分割结果进行灰度化处理，并进行下采样处理，获得多个第一分割结果集合，为获得图像动漫化的风格线条提供数据基础。对多个分割结果进行色彩饱和度调整处理，获得饱和度不同的多个分割结果，获得多个第二分割结果集合，为获得图像动漫化颜色饱和度调节提供参考。构建包括分辨率生成对抗模型和饱和度生成对抗模型的图像生成对抗模型，提高输出动漫画图像线条和颜色饱和度真实性。将多个第一分割结果集合输入分辨率生成对抗模型，获得多个动漫化的第一分割生成图像；将多个第二分割结果集合输入饱和度生成对抗模型，获得多个饱和度动漫化的第二分割生成图像；将多个第一分割生成图像进行拼接处理，并基于多个第二分割生成图像对拼接处理的结果进行饱和度调整，获得待处理图像动漫化处理的动漫化图像。达到了快速高效低成本的实现动漫化图像的生成，生成图像的内容保存完整且颜色损失较少的技术效果。

附图说明

图1为本申请提供的一种图像动漫化的方法流程示意图；

图2为本申请提供的一种图像动漫化的方法中进行图像语义分割处理的流程示意图；

图3为本申请提供的一种图像动漫化的方法中构建动漫化图像生成对抗模型的流程示意图；

图4为本申请提供的一种图像动漫化的装置结构示意图。

附图标记说明：图像处理确定模块11，语义分割执行模块12，分割结果获得模块13，分割结果处理模块14，对抗模型构建模块15，分辨率模型执行模块16，饱和度模型执行模块17，图形拼接处理模块18。

具体实施方式

本申请提供了一种图像动漫化的方法和装置，用于针对解决现有技术中存在进行图像动漫化的成本较高且图像动漫化效率较低，所生成的动漫图像存在颜色和内容损失，导致图像动漫化效果不理想的技术问题。

针对上述技术问题，本申请提供的技术方案总体思路如下：

对待进行动漫化处理的图像进行语义分割，并基于语义分割结果分块进行部分图像的线条生成以及颜色饱和度调整，降低图像动漫化处理的工作量，最后将完成线条风格处理的分割图像进行拼接以及颜色饱和度调节，生成动漫化图像。实现快速高效且低成本的生成内容保存完整且颜色损失较少的动漫化图像。

实施例一

如图1所示，本申请提供了一种图像动漫化的方法，所述方法包括:

S100:确定需要进行动漫化处理的图像，获得待处理图像；

具体而言，应理解的，所述动漫化处理即为将某一动漫画风或某一类型的动漫画风中的图像风格特征和纹理特征移植到目标画像中。在本实施例中，所述待处理图像即为待进行动漫画风迁移处理的目标画像。本实施例对所述待处理图像的图像内容不做限制，所述待处理图像优选为图像色彩变化复杂，图像线条较多，难以进行饱和度处理和/或线条纹理特征动漫化的图像，例如花鸟古画图像、人流街景图像、人脸图像等。

S200:对所述待处理图像进行语义分割处理，获得多个分割结果，每个分割结果内包括至少部分的所述待处理图像；

进一步的，如图2所示，对所述待处理图像进行语义分割处理，本申请提供的方法步骤S200还包括：

S210:采集获取分割训练图像，获得分割训练图像集合；

S220:对所述分割训练图像集合进行人工语义分割，获得语义分割结果集合；

S230:基于全卷积神经网络，构建编码器和解码器；

S240:采用所述分割训练图像集合和所述语义分割结果集合，对所述编码器和解码器进行监督训练和验证；

S250:基于验证完毕后的所述编码器和解码器，获得语义分割模型；

S260:将所述待处理图像输入所述语义分割模型，获得多个所述分割结果。

所述语义分割指将图像分割成具有一定语义含义的区域块，并识别标记每一区域块的语义类别，将图像中的每个像素链接到语义标签，最终获得一副具有逐像素语义标注标签的分割图像。语义标签包括但不限于人、车、家具、人体结构等。

在本实施例中，对所述待处理图像进行所述语义分割处理，获得多个分割结果，每个分割结果内包括至少部分的所述待处理图像，理论上，多个分割结果拼接后复原形成所述待处理图像，进行所述语义分割前后图像的信息量不发生变化，本实施例通过构建并训练语义分割模型实现降低后续图像语义分割执行过程的人工参与度。

具体的，本实施例通过采集获取具有语义分割代表性的分割训练图像组成所述分割训练图像集合，对所述分割训练图像集合进行人工语义分割，基于人工语义分割获得经高精度分割的语义分割结果集合作为训练数据。

例如，当待处理图像属于人像时，通过人工语义分割对大量人脸图像进行高精度的语义分割，将人脸图像分割为毛发、眼睛、鼻子、耳朵、嘴巴，并对每一分割图像对应进行标签标注，获得经高精度分割的人像语义分割结果作为人像图像动漫化的语义分割模型构建过程用训练数据。

所述全卷积神经网络的优势在于对输入图片的大小不做严格限制，因而本实施例基于所述全卷积神经网络构建编码器和解码器，并将所述分割训练图像集合和所述语义分割结果集合作为训练数据和验证数据对所述编码器和解码器进行监督训练和验证，基于验证完毕后的所述编码器和解码器，生成所述语义分割模型。将所述待处理图像输入所述语义分割模型，基于所述语义分割模型对待处理图像进行卷积识别和语义分割标签标记，获得多个所述分割结果，多个所述分割结果的图像分割精度满足后续进行图像动漫化处理的精度要求。

本实施例通过采集与待处理图像具有相关性的大量图像作为分割训练图像，并通过人工语义分割进行分割训练图像的高精度语义分割，根据人工语义分割结果以及分割训练图像对语义分割模型进行训练，获得了可对待处理图像进行高精度语义分割的语义分割模型。达到了提高图像语义分割的准确度，降低语义分割过程的人力资源浪费的技术效果。

S300:对多个所述分割结果进行灰度化处理，并进行下采样处理，获得多个第一分割结果集合；

进一步的，所述下采样处理，本申请提供的方法步骤S300还包括：

S310:对每个所述分割结果进行分辨率调整下采样，获得多个所述分割结果具有不同分辨率的图像，作为分割结果集合；

S320:直到下采样获得图像的分辨率大小为原分割结果图像的十分之一时，停止下采样，获得多个所述第一分割结果集合。

具体而言，应理解的，颜色有红色（R）、绿色（G）、蓝色（B）组成，计算机中所有颜色皆由RGB数值决定，处理三个通道的数据比较复杂，为减少图像处理过程中的复杂度，通过将彩色图像灰度化处理，将彩色图像每个像素点的RGB值统一，经过灰度化处理后的所述待处理图像分割结果由三通道变为单通道，基于所述灰度化处理降低待处理图像的分割结果的数据处理复杂度。

所述下采样处理为缩小原图，生产对应图像的缩略图，降低图像特征的维度并保留有效信息。

应理解的，动漫化图像相较于真实图像线条更为简约。因而在对待处理图像进行动漫化处理时，所获动漫化图像的结构风格与所述待处理图像的结构风格相一致即具有还原感，而图像结构风格取决于像素点的位置分布情况。

因而在本实施例中，对每个所述分割结果进行分辨率调整下采样，获得多个所述分割结果具有不同分辨率的图像，不断对所述分割结果图像进行分辨率调整下采样，使所述分割结果图像不断缩略，直至下采样获得图像的分辨率大小为原分割结果图像的十分之一时，停止下采样，获得多个所述第一分割结果集合。所述第一分割结果集合为对每一分割结果图像进行灰度化处理以及分辨率调整下采样后的低分辨率分割结果图像集合，所述第一分割结果集合中包含每个分割结果的多个分辨率图像。

本实施例通过对所述分割结果进行所述下采样处理，使得分割结果缩略，分辨率降低同时保留有效像素信息，达到了降低色彩数据处理以及分辨率数据处理的运算量，提高图像动漫化数据处理效率的技术效果。

S400:对多个所述分割结果进行色彩饱和度调整处理，获得饱和度不同的多个分割结果，获得多个第二分割结果集合；

进一步的，对多个所述分割结果进行色彩饱和度调整处理，本申请提供的方法步骤S400还包括：

S410:对每个所述分割结果进行色彩饱和度调整处理，获得多个具有不同饱和度的分割结果，其中，所述色彩饱和度调整处理包括提升饱和度处理和降低饱和度处理；

S420:根据多个具有不同饱和度的分割结果，获得多个所述第二分割结果集合。

具体而言，所述饱和度为颜色的纯度，通过调整饱和度可以修正过度曝光或者未充分曝光的图片，使图像看上去更加自然。应理解的，动漫化图像相较于真实图像，画面的色彩饱和度变化更为明显，因而对所述分割结果进行色彩饱和度调整，使待处理图像的各个分割结果当前的图像颜色强度更接近于动漫化图像的饱和度。

在本实施例中，通过首先读取每个分割结果的像素RGB值然后再转换到色彩空间得到饱和度与亮度值，调整以后再从色彩空间转换到RGB空间的RGB值，对每个像素完成调整从而完成图像的亮度与饱和度调整。对每个所述分割结果进行提升饱和度处理和/或降低饱和度处理，获得多个具有不同图像色彩饱和度的分割结果。根据所述多个具有不同饱和度的分割结果，生成多个所述第二分割结果集合。

本实施例通过对待处理图像的各个语义分割结果进行图像色彩饱和度调整，获得多个具有不同色彩饱和度的图像，为后续进行图像动漫化，获得具有待处理图像还原感的动漫化图像提供较为准确的色调参考。

S500:构建动漫化图像生成对抗模型，其中，所述图像生成对抗模型包括分辨率生成对抗模型和饱和度生成对抗模型；

进一步的，如图3所示，所述构建动漫化图像生成对抗模型，本申请提供的方法步骤S500还包括：

S510:根据每个所述第一分割结果集合内图像的分辨率，构建多个层级的分辨率生成对抗网络，其中，每个层级的分辨率生成对抗网络均包括生成器和判别器；

S520:将多个所述第一分割结果集合内的图像按照分辨率从小到大的顺序，进行排序，获得多个第一分割结果集合序列；

S530:根据每个所述第一分割结果集合序列，依次逐级训练多个所述分辨率生成对抗网络；

S540:直至对多个层级的分辨率生成对抗网络训练完毕，获得所述分辨率生成对抗模型；

S550:根据多个所述第二分割结果集合，构建多个饱和度生成对抗网络；

S560:基于训练完成的多个所述饱和度生成对抗网络，获得所述饱和度生成对抗模型。

进一步的，所述构建多个饱和度生成对抗网络，本申请提供的方法步骤S550还包括：

S551:采集获取多个所述第二分割结果集合动漫化后的图像集合，获得目标图像集合；

S552:基于多个所述第二分割结果集合和所述目标图像集合，对多个所述饱和度生成对抗网络进行监督训练，获得多个所述饱和度生成对抗网络。

在本实施例中，所述生成对抗网络为通过对抗训练方式使得生成网络产生的样本服从真实图像数据分布。在所述生成对抗网络中，有两个网络进行对抗训练，其一为所述判别器（判别网络），目标是尽量准确地判断一个图像样本是来自于真实数据还是生成网络产生；其一为生成器（生成网络），目标是尽量生成判别网络无法区分来源的图像样本。两个目标相反的网络不断地进行交替训练。直至所述判别器无法判断出一个图像样本的来源，此时所述生成器可以生成符合真实图像数据分布的样本。

为提高待处理图像分割结果的图像分辨率处理效果和图像颜色饱和度处理效果，本实施例构建包括分辨率生成对抗模型和饱和度生成对抗模型的动漫化图像生成对抗模型，并对所述分辨率生成对抗模型和饱和度生成对抗模型进行训练，使模型输出的所述分割结果的分辨率和颜色饱和度满足动漫化处理需求。

具体构建分辨率生成对抗模型的操作步骤如下：

对应构建待处理图像的每个分割结果的多个层级的分辨率对抗生成网络。所述分辨率对抗生成网络的数量与所述待处理图像分割结果的数量相一致。

将多个所述第一分割结果集合内的图像按照分辨率从小到大的顺序，进行排序，获得多个第一分割结果集合序列，根据每个所述第一分割结果集合序列，以最小分辨率作为第一层级分辨率生成对抗网络，以此类推分辨率越高，层级越高，依次逐级训练多个所述分辨率生成对抗网络，直至对多个分辨率层级的分辨率生成对抗网络训练完毕，基于训练完成的多个层级的分辨率生成对抗网络构建所述分辨率生成对抗模型。

具体构建饱和度生成对抗模型的操作步骤如下：

根据多个所述第二分割结果集合，构建多个饱和度生成对抗网络，采集获取多个所述第二分割结果集合动漫化后的图像集合，获得目标图像集合，采用所述目标图像集合，通过所述饱和度生成对抗网络内的判别器对所述饱和度生成对抗网络内生成器输出的生成图像进行判别，对所述饱和度生成对抗网络进行监督训练，所述饱和度生成对抗网络的生成器不断进行饱和度分割生成图像的输出，判断器基于所述目标图像集合内与当前分割图像具有对应关系的动漫化目标图像对饱和度分割生成图像进行判别，在判断器与生成器经历N次博弈后，N为正整数，所述饱和度生成对抗网络的生成器输出足以“以假乱真”的所述饱和度分割生成图像，所述饱和度生成对抗网络训练完成。基于多个所述第二分割结果集合和所述目标图像集合，对多个所述饱和度生成对抗网络进行监督训练，获得多个所述饱和度生成对抗网络。基于训练完成的多个所述饱和度生成对抗网络，获得所述饱和度生成对抗模型。

本实施例通过构建包括分辨率生成对抗模型和饱和度生成对抗模型的动漫化图像生成对抗模型，并基于动漫化后的目标图像集合进行模型训练，达到了获得输出结果具有准确性和稳定性的动漫化图像生成对抗模型，为获得准确稳定的动漫化分割生成图像提供模型基础。最终获得的分辨率生成对抗模型和饱和度生成对抗模型，可分别根据待处理图像的各分割结果输出具有动漫化线条分割的灰度图像，以及可根据不同色彩饱和度的待处理图像的分割结果均输出具有动漫化色彩饱和度的图像。

S600:将多个所述第一分割结果集合输入所述分辨率生成对抗模型，获得多个动漫化的第一分割生成图像；

S700:将多个所述第二分割结果集合输入所述饱和度生成对抗模型，获得多个饱和度动漫化的第二分割生成图像；

具体而言，在本实施例中，所述第一分割生成图像为所述待处理图像的分割结果进行动漫化处理后的图像结构风格线条，所述第二风格生成图像为所述待处理图像的分割结果进行颜色饱和度处理后的图像色彩表现，将多个所述第一分割结果集合输入所述分辨率生成对抗模型，获得多个动漫化的所述第一分割生成图像；将多个所述第二分割结果集合输入所述饱和度生成对抗模型，获得多个饱和度动漫化的所述第二分割生成图像。所述第一分割生成图像与所述第二分割生成图像对应于所述待处理图像的同一分割结果。多个所述第一分割生成图像与多个所述第二分割生成图像对应于所述待处理图像的各个分割结果。

S800:将多个所述第一分割生成图像进行拼接处理，并基于多个所述第二分割生成图像对所述拼接处理的结果进行饱和度调整，获得所述待处理图像动漫化处理的动漫化图像。

进一步的，所述将多个所述第一分割生成图像进行拼接处理，并基于多个所述第二分割生成图像对所述拼接处理的结果进行饱和度调整，本申请提供的方法步骤S800还包括：

S810:基于所述语义分割处理，将多个所述第一分割生成图像进行拼接处理；

S820:对所述拼接处理中各所述第一分割生成图像的拼接边缘，进行滤波处理，获得灰度化的拼接结果；

S830:基于多个所述第二分割生成图像，对所述拼接结果进行色彩和饱和度调整，获得所述动漫化图像。

所述滤波处理优选中值滤波，消除图像噪声，使得各个分割图像对应的所述第一分割生成图像之间拼接平滑。

具体而言，应理解的，图像动漫化基于图像线条动漫化处理以及图像色彩饱和度动漫化处理。在本实施例中，首先进行待处理图像的线条动漫化，基于步骤S100的所述语义分割处理获得的所述多个分割结果，将与多个分割结果之间具有一一对应关系的多个所述第一分割生成图像进行拼接处理，初步还原所述待处理图像的动漫化图像线条，对所述拼接处理中各所述第一分割生成图像的拼接边缘，进行所述滤波处理，获得完整的待处理图像的灰度化拼接结果。基于多个所述第二分割生成图像，对所述拼接结果饱和度对抗生成模型生成的图像，对拼接结果中各分割部分的色彩和饱和度进行调整，获得所述动漫化图像。

本实施例通过先进行待处理图像的动漫化图像线条生成，以及滤波处理使得拼接平滑，再进行动漫化图像“初稿”的颜色饱和度调节，达到了获得颜色线条皆满足动漫化审美，且图像质感比例对于待处理图像具有还原性的动漫化图像的技术效果。

本实施例提供的方法通过确定需要进行动漫化处理的图像，获得待处理图像；对待处理图像进行语义分割处理，获得多个分割结果，每个分割结果内包括至少部分的待处理图像；降低了进行图像动漫化处理数据量和处理难度。对多个分割结果进行灰度化处理，并进行下采样处理，获得多个第一分割结果集合，为获得图像动漫化的风格线条提供数据基础。对多个分割结果进行色彩饱和度调整处理，获得饱和度不同的多个分割结果，获得多个第二分割结果集合，为获得图像动漫化颜色饱和度调节提供参考。构建包括分辨率生成对抗模型和饱和度生成对抗模型的图像生成对抗模型，提高输出动漫画图像线条和颜色饱和度真实性。将多个第一分割结果集合输入分辨率生成对抗模型，获得多个动漫化的第一分割生成图像；将多个第二分割结果集合输入饱和度生成对抗模型，获得多个饱和度动漫化的第二分割生成图像；将多个第一分割生成图像进行拼接处理，并基于多个第二分割生成图像对拼接处理的结果进行饱和度调整，获得待处理图像动漫化处理的动漫化图像。达到了快速高效低成本的实现动漫化图像的生成，生成图像的内容保存完整且颜色损失较少的技术效果。

进一步的，所述依次逐级训练多个所述生成对抗网络，本申请提供的方法步骤S530还包括：

S531:采集获取多个所述第一分割结果集合动漫化后的图像集合，获得目标图像集合；

S532:将最低分辨率的所述第一分割结果集合内的图像结合随机噪声输入对应的最低分辨率生成对抗网络内，获得生成器生成的最低分辨率生成图像；

S533:根据所述目标图像集合，获得最低分辨率的所述第一分割结果集合对应的最低分辨率目标图像；

S534:采用所述最低分辨率目标图像，通过最低分辨率生成对抗网络内的判别器对所述生成图像进行判别；

S535:对最低分辨率生成对抗网络进行迭代监督训练；

S536:在所述最低分辨率生成对抗网络训练完成后，将所述最低分辨率生成对抗网络的生成图像进行上采样，并结合随机噪声输入上一级分辨率的第一分割结果集合对应的生成对抗网络中，进行迭代监督训练，完成多个层级的分辨率生成对抗网络的逐级训练。

具体而言，在本实施例中，根据分辨率大小对步骤S300获得的多个所述第一分割结果进行排序，将最低分辨率（优选分辨率为原分割结果图像十分之一的图像）的所述第一分割结果集合内的图像结合随机噪声输入对应的最低分辨率生成对抗网络内，获得生成器生成的最低分辨率生成图像。

采集多个所述第一分割结果集合动漫化处理后的图像集合，生成所述目标图像集合。生成检索指令，对所述目标图像集合进行检索，获得最低分辨率的所述第一分割结果集合对应的实际动漫化处理所获最低分辨率目标图像。

采用所述最低分辨率目标图像，通过最低分辨率生成对抗网络内的判别器对所述生成图像进行判别，对最低分辨率生成对抗网络进行监督训练，所述分辨率生成对抗网络的生成器不断进行分辨率分割生成图像的输出，判断器基于所述最低分辨率目标图像对所述生成图像进行判别，在判断器与生成器经历多次博弈后，所述最低分辨率层级的分辨率生成对抗网络的生成器输出足以“以假乱真”的所述分辨率分割生成图像，所述最低分辨率生成对抗网络训练完成。

在所述最低分辨率生成对抗网络训练完成后，将所述最低分辨率生成对抗网络的生成图像进行上采样，并结合随机噪声输入上一级分辨率的第一分割结果集合对应的生成对抗网络中，进行迭代监督训练，从最低分辨率层级的分辨率生成对抗网络训练直至最高分辨率层级的分辨率生成对抗网络训练，完成多个层级的分辨率生成对抗网络的逐级训练。

本实施按照分割结果的图像分辨率进行从低到高排序，并逐级进行多层级分辨率对抗生成网络的训练，实现了多层级分辨率生成对抗网络模型无遗漏的完成训练。达到了分辨率生成对抗模型的输入图像分辨率无限制要求，降低待处理图像的图像特征限制条件的技术效果，为构建图像处理能力较强的分辨率生成对抗模型提供多层分辨率生成对抗网络。

实施例二

基于与前述实施例中一种图像动漫化的方法相同的发明构思，如图4所示，本申请提供了一种图像动漫化的装置，其中，所述装置包括：

图像处理确定模块11，用于确定需要进行动漫化处理的图像，获得待处理图像；

语义分割执行模块12，用于对所述待处理图像进行语义分割处理，获得多个分割结果，每个分割结果内包括至少部分的所述待处理图像；

分割结果获得模块13，用于对多个所述分割结果进行灰度化处理，并进行下采样处理，获得多个第一分割结果集合；

分割结果处理模块14，用于对多个所述分割结果进行色彩饱和度调整处理，获得饱和度不同的多个分割结果，获得多个第二分割结果集合；

对抗模型构建模块15，用于构建动漫化图像生成对抗模型，其中，所述图像生成对抗模型包括分辨率生成对抗模型和饱和度生成对抗模型；

分辨率模型执行模块16，用于将多个所述第一分割结果集合输入所述分辨率生成对抗模型，获得多个动漫化的第一分割生成图像；

饱和度模型执行模块17，用于将多个所述第二分割结果集合输入所述饱和度生成对抗模型，获得多个饱和度动漫化的第二分割生成图像；

图形拼接处理模块18，用于将多个所述第一分割生成图像进行拼接处理，并基于多个所述第二分割生成图像对所述拼接处理的结果进行饱和度调整，获得所述待处理图像动漫化处理的动漫化图像。

进一步的，所述语义分割执行模块12还包括：

训练数据采集单元，用于采集获取分割训练图像，获得分割训练图像集合；

语义分割执行单元，用于对所述分割训练图像集合进行人工语义分割，获得语义分割结果集合；

神经网络构建单元，用于基于全卷积神经网络，构建编码器和解码器；

模型组件训练单元，用于采用所述分割训练图像集合和所述语义分割结果集合，对所述编码器和解码器进行监督训练和验证；

分割模型构建单元，用于基于验证完毕后的所述编码器和解码器，获得语义分割模型；

分割模型执行单元，用于将所述待处理图像输入所述语义分割模型，获得多个所述分割结果。

进一步的，所述分割结果获得模块13还包括：

分辨率图像采样单元，用于对每个所述分割结果进行分辨率调整下采样，获得多个所述分割结果具有不同分辨率的图像，作为分割结果集合；

分割结果获得单元，用于直到下采样获得图像的分辨率大小为原分割结果图像的十分之一时，停止下采样，获得多个所述第一分割结果集合。

进一步的，所述分割结果处理模块14还包括：

图像饱和度处理单元，用于对每个所述分割结果进行色彩饱和度调整处理，获得多个具有不同饱和度的分割结果，其中，所述色彩饱和度调整处理包括提升饱和度处理和降低饱和度处理；

饱和度结果获得单元，用于根据多个具有不同饱和度的分割结果，获得多个所述第二分割结果集合。

进一步的，所述对抗模型构建模块15还包括：

分辨率对抗网络构建单元，用于根据每个所述第一分割结果集合内图像的分辨率，构建多个层级的分辨率生成对抗网络，其中，每个层级的分辨率生成对抗网络均包括生成器和判别器；

分割结果排序单元，用于将多个所述第一分割结果集合内的图像按照分辨率从小到大的顺序，进行排序，获得多个第一分割结果集合序列；

分辨率对抗网络训练单元，用于根据每个所述第一分割结果集合序列，依次逐级训练多个所述分辨率生成对抗网络；

分辨率模型获得单元，用于直至对多个层级的分辨率生成对抗网络训练完毕，获得所述分辨率生成对抗模型；

饱和度对抗网络构建单元，用于根据多个所述第二分割结果集合，构建多个饱和度生成对抗网络；

饱和度模型获得单元，用于基于训练完成的多个所述饱和度生成对抗网络，获得所述饱和度生成对抗模型。

进一步的，所述分辨率对抗网络训练单元还包括：

目标图像采集单元，用于采集获取多个所述第一分割结果集合动漫化后的图像集合，获得目标图像集合；

随机图像处理单元，用于将最低分辨率的所述第一分割结果集合内的图像结合随机噪声输入对应的最低分辨率生成对抗网络内，获得生成器生成的最低分辨率生成图像；

目标图像处理单元，用于根据所述目标图像集合，获得最低分辨率的所述第一分割结果集合对应的最低分辨率目标图像；

图像判别处理单元，用于采用所述最低分辨率目标图像，通过最低分辨率生成对抗网络内的判别器对所述生成图像进行判别；

迭代监督训练单元，用于对最低分辨率生成对抗网络进行迭代监督训练；

模型逐级训练单元，用于在所述最低分辨率生成对抗网络训练完成后，将所述最低分辨率生成对抗网络的生成图像进行上采样，并结合随机噪声输入上一级分辨率的第一分割结果集合对应的生成对抗网络中，进行迭代监督训练，完成多个层级的分辨率生成对抗网络的逐级训练。

进一步的，所述饱和度对抗网络构建单元还包括：

目标图像获取单元，用于采集获取多个所述第二分割结果集合动漫化后的图像集合，获得目标图像集合；

对抗网络训练单元，用于基于多个所述第二分割结果集合和所述目标图像集合，对多个所述饱和度生成对抗网络进行监督训练，获得多个所述饱和度生成对抗网络。

进一步的，所述图形拼接处理模块18还包括：

图像拼接执行单元，用于基于所述语义分割处理，将多个所述第一分割生成图像进行拼接处理；

拼接图像处理单元，用于对所述拼接处理中各所述第一分割生成图像的拼接边缘，进行滤波处理，获得灰度化的拼接结果；

图像处理获得单元，用于基于多个所述第二分割生成图像，对所述拼接结果进行色彩和饱和度调整，获得所述动漫化图像。

实施例三

基于与前述实施例中一种图像动漫化的方法相同的发明构思，本申请还提供了一种计算机可读存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如实施例一内的方法。

综上所述的任意一项方法或者步骤可作为计算机指令或程序存储在各种不限类型的计算机存储器中，通过各种不限类型的计算机处理器识别计算机指令或程序，进而实现上述任一项方法或者步骤。

基于本发明的上述具体实施例，本技术领域的技术人员在不脱离本发明原理的前提下，对本发明所作的任何改进和修饰，皆应落入本发明的专利保护范围。

Claims (8)

1.一种图像动漫化的方法，其特征在于，所述方法包括：

确定需要进行动漫化处理的图像，获得待处理图像；

对所述待处理图像进行语义分割处理，获得多个分割结果，每个分割结果内包括至少部分的所述待处理图像；

对多个所述分割结果进行灰度化处理，并进行下采样处理，获得多个第一分割结果集合；

对多个所述分割结果进行色彩饱和度调整处理，获得饱和度不同的多个分割结果，获得多个第二分割结果集合；

构建动漫化图像生成对抗模型，其中，所述图像生成对抗模型包括分辨率生成对抗模型和饱和度生成对抗模型；

将多个所述第一分割结果集合输入所述分辨率生成对抗模型，获得多个动漫化的第一分割生成图像；

将多个所述第二分割结果集合输入所述饱和度生成对抗模型，获得多个饱和度动漫化的第二分割生成图像；

将多个所述第一分割生成图像进行拼接处理，并基于多个所述第二分割生成图像对所述拼接处理的结果进行饱和度调整，获得所述待处理图像动漫化处理的动漫化图像；

所述下采样处理，包括：

对每个所述分割结果进行分辨率调整下采样，获得多个所述分割结果具有不同分辨率的图像，作为分割结果集合；

直到下采样获得图像的分辨率大小为原分割结果图像的十分之一时，停止下采样，获得多个所述第一分割结果集合；

对多个所述分割结果进行色彩饱和度调整处理，包括：

对每个所述分割结果进行色彩饱和度调整处理，获得多个具有不同饱和度的分割结果，其中，所述色彩饱和度调整处理包括提升饱和度处理和降低饱和度处理；

根据多个具有不同饱和度的分割结果，获得多个所述第二分割结果集合。

2.根据权利要求1所述的方法，其特征在于，对所述待处理图像进行语义分割处理，包括：

采集获取分割训练图像，获得分割训练图像集合；

对所述分割训练图像集合进行人工语义分割，获得语义分割结果集合；

基于全卷积神经网络，构建编码器和解码器；

采用所述分割训练图像集合和所述语义分割结果集合，对所述编码器和解码器进行监督训练和验证；

基于验证完毕后的所述编码器和解码器，获得语义分割模型；

将所述待处理图像输入所述语义分割模型，获得多个所述分割结果。

3.根据权利要求1所述的方法，其特征在于，所述构建动漫化图像生成对抗模型，包括：

根据每个所述第一分割结果集合内图像的分辨率，构建多个层级的分辨率生成对抗网络，其中，每个层级的分辨率生成对抗网络均包括生成器和判别器；

将多个所述第一分割结果集合内的图像按照分辨率从小到大的顺序，进行排序，获得多个第一分割结果集合序列；

根据每个所述第一分割结果集合序列，依次逐级训练多个所述分辨率生成对抗网络；

直至对多个层级的分辨率生成对抗网络训练完毕，获得所述分辨率生成对抗模型；

根据多个所述第二分割结果集合，构建多个饱和度生成对抗网络；

基于训练完成的多个所述饱和度生成对抗网络，获得所述饱和度生成对抗模型。

4.根据权利要求3所述的方法，其特征在于，所述依次逐级训练多个所述分辨率生成对抗网络，包括：

采集获取多个所述第一分割结果集合动漫化后的图像集合，获得目标图像集合；

将最低分辨率的所述第一分割结果集合内的图像结合随机噪声输入对应的最低分辨率生成对抗网络内，获得生成器生成的最低分辨率生成图像；

根据所述目标图像集合，获得最低分辨率的所述第一分割结果集合对应的最低分辨率目标图像；

采用所述最低分辨率目标图像，通过最低分辨率生成对抗网络内的判别器对所述生成图像进行判别；

对最低分辨率生成对抗网络进行迭代监督训练；

在所述最低分辨率生成对抗网络训练完成后，将所述最低分辨率生成对抗网络的生成图像进行上采样，并结合随机噪声输入上一级分辨率的第一分割结果集合对应的生成对抗网络中，进行迭代监督训练，完成多个层级的分辨率生成对抗网络的逐级训练。

5.根据权利要求3所述的方法，其特征在于，所述构建多个饱和度生成对抗网络，包括：

采集获取多个所述第二分割结果集合动漫化后的图像集合，获得目标图像集合；

基于多个所述第二分割结果集合和所述目标图像集合，对多个所述饱和度生成对抗网络进行监督训练，获得多个所述饱和度生成对抗网络。

6.根据权利要求1所述的方法，其特征在于，所述将多个所述第一分割生成图像进行拼接处理，并基于多个所述第二分割生成图像对所述拼接处理的结果进行饱和度调整，包括：

基于所述语义分割处理，将多个所述第一分割生成图像进行拼接处理；

对所述拼接处理中各所述第一分割生成图像的拼接边缘，进行滤波处理，获得灰度化的拼接结果；

基于多个所述第二分割生成图像，对所述拼接结果进行色彩和饱和度调整，获得所述动漫化图像。

7.一种图像动漫化的装置，其特征在于，所述装置包括：

图像处理确定模块，用于确定需要进行动漫化处理的图像，获得待处理图像；

语义分割执行模块，用于对所述待处理图像进行语义分割处理，获得多个分割结果，每个分割结果内包括至少部分的所述待处理图像；

分割结果获得模块，用于对多个所述分割结果进行灰度化处理，并进行下采样处理，获得多个第一分割结果集合；

分割结果处理模块，用于对多个所述分割结果进行色彩饱和度调整处理，获得饱和度不同的多个分割结果，获得多个第二分割结果集合；

对抗模型构建模块，用于构建动漫化图像生成对抗模型，其中，所述图像生成对抗模型包括分辨率生成对抗模型和饱和度生成对抗模型；

分辨率模型执行模块，用于将多个所述第一分割结果集合输入所述分辨率生成对抗模型，获得多个动漫化的第一分割生成图像；

饱和度模型执行模块，用于将多个所述第二分割结果集合输入所述饱和度生成对抗模型，获得多个饱和度动漫化的第二分割生成图像；

图形拼接处理模块，用于将多个所述第一分割生成图像进行拼接处理，并基于多个所述第二分割生成图像对所述拼接处理的结果进行饱和度调整，获得所述待处理图像动漫化处理的动漫化图像；

所述下采样处理，包括：

对每个所述分割结果进行分辨率调整下采样，获得多个所述分割结果具有不同分辨率的图像，作为分割结果集合；

直到下采样获得图像的分辨率大小为原分割结果图像的十分之一时，停止下采样，获得多个所述第一分割结果集合；

对多个所述分割结果进行色彩饱和度调整处理，包括：

对每个所述分割结果进行色彩饱和度调整处理，获得多个具有不同饱和度的分割结果，其中，所述色彩饱和度调整处理包括提升饱和度处理和降低饱和度处理；

根据多个具有不同饱和度的分割结果，获得多个所述第二分割结果集合。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被执行时实现权利要求1-6任一项所述方法的步骤。