CN107578367A - 一种风格化图像的生成方法及装置 - Google Patents

Abstract

本申请公开了一种风格化图像的生成方法及装置。所述方法包括：确定用户通过预设的画图工具绘制的输入图像以及选定的风格图像；根据所述输入图像生成原始图像；根据所述风格图像对所述原始图像进行风格转换，生成风格化图像。本申请可以通过用户主导的方式，提高用户在生成风格化图像过程中的参与程度。

Description

一种风格化图像的生成方法及装置

技术领域

本申请涉及搜索技术领域，尤其涉及一种风格化图像的生成方法及装置。

背景技术

随着技术的发展，利用计算机图像处理技术对图像进行风格转换，生成风格化图像逐渐流行。风格转换可以是指通过某种算法，将原始图像转换成拥有特定风格的图像，从而生成风格化图像。图像的风格主要通过是通过图像中的细节纹理，线条的表达方式和着色风格体现，所以图像的风格转换就是将原始图片中的纹理和着色风格转换为指定的风格。比如可以将用户的照片进行风格化处理，生成不同风格的风格化照片等。

但现有技术，仅可以对内容已经完整的图像进行风格转换而生成风格化图像，即使可以对图像内容进行修补，也是在内容完整的基础上进行少量修补，再进行风格转换，留给用户自己的原创空间较小。所以现有技术在对图像进行风格转换的过程中，用户的参与程度不高。

发明内容

本申请的多个方面提供一种风格化图像的生成方法及装置，通过用户主导的方式，提高用户在生成风格化图像过程中的参与程度。

本申请实施例提供一种风格化图像的生成方法，包括：

确定用户通过预设的画图工具绘制的输入图像以及选定的风格图像；

根据所述输入图像生成原始图像；

根据所述风格图像对所述原始图像进行风格转换，生成风格化图像。

在一可选实施方式中，其特征在于，所述方法还包括：

对所述风格化图像进行超分辨率，生成高分风格化图像，所述高分风格化图像的分辨率高于所述原始图像。

在一可选实施方式中，根据所述风格图像对所述原始图像进行风格转换，生成风格化图像之前，所述方法还包括：

对所述原始图像进行超分辨率，生成高分原始图像；则

根据所述风格图像对所述原始图像进行风格转换，生成风格化图像，包括：

根据所述风格图像对所述高分原始图像进行风格转换，生成高分风格化图像，所述高分风格化图像的分辨率高于所述原始图像。

在一可选实施方式中，确定用户通过预设的画图工具绘制的输入图像，包括：

确定用户通过预设的线条画图工具以及颜色画图工具绘制的输入图像。

在一可选实施方式中，所述方法应用于终端。

本申请实施例还提供一种风格化图像的生成装置，包括：确定单元、第一生成单元以及第二生成单元，其中，

所述确定单元，用于确定用户通过预设的画图工具绘制的输入图像以及选定的风格图像；

所述第一生成单元，用于根据所述输入图像生成原始图像；

所述第二生成单元，用于根据所述风格图像对所述原始图像进行风格转换，生成风格化图像。

在一可选实施方式中，所述第二生成单元，还用于：

对所述风格化图像进行超分辨率，生成高分风格化图像，所述高分风格化图像的分辨率高于所述原始图像。

在一可选实施方式中，所述第二生成单元，还用于：在根据所述风格图像对所述原始图像进行风格转换，生成风格化图像之前，

对所述原始图像进行超分辨率，生成高分原始图像；则

所述第二生成单元，用于：

根据所述风格图像对所述高分原始图像进行风格转换，生成高分风格化图像，所述高分风格化图像的分辨率高于所述原始图像。

在一可选实施方式中，所述确定单元，用于：

确定用户通过预设的线条画图工具以及颜色画图工具绘制的输入图像。

在一可选实施方式中，所述装置应用于终端。

在本申请中，将用户通过预设的画图工具绘制的图像作为输入图像，根据输入图像生成原始图像，再根据用户选定的风格图像对原始图像进行风格转换。由于输入图像是用户绘制的，所以最终生成的风格化图像也是根据用户在绘制时的想法生成的，通过用户主导的方式，提高用户在生成风格化图像过程中的参与程度；另外，通过为用户提供较为简单的画图工具，使用户的绘制难度降低，进一步提高用户的参与意愿；此外，本实施例可以在风格化的同时进行超分辨率，提高了风格化图像的显示效果。作为用户，仅需要通过较为简单的画图工具绘制出较为简单的输入图像，并且选定期望风格化的风格图像即可实现用户主导生成期望的风格化图像，此外还可以通过超分辨率，提高期望的风格化图像的显示效果。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请一实施例提供的风格化图像的生成方法的流程示意图；

图2为用户通过线条画图工具以及颜色画图工具绘制的输入图像的示意图；

图3为根据输入图像生成原始图像的示意图；

图4为用户选定的风格化图像的示意图；

图5为生成的高分风格化图像的示意图；

图6为本申请又一实施例提供的风格化图像的生成方法的流程示意图；

图7为本申请又一实施例提供的风格化图像的生成方法的示意图；

图8为本申请又一实施例提供的风格化图像的生成装置的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在现有技术中，仅可以对内容已经完整的图像进行风格转换而生成风格化图像，比如用户可以输入一张自己拍摄的照片，并选定一张风格图像，从而根据这张风格图像对照片进行风格转换，生成风格化图像，但照片已经是拍摄完成的，内容相对完整，即使是通过编辑应用对照片进行编辑，由于照片内容已经很完整，往往也仅仅是少量的修补，留给用户自己的原创空间较小，所以现有技术在生成风格化图像时，用户的参与程度较低。

针对上述问题，本申请提供一种解决方案，主要原理是：由用户主导，通过预设的画图工具绘制图像并作为输入图像，根据输入图像生成原始图像，再根据用户选定的风格图像对原始图像进行风格转换。由于输入图像是用户绘制的，所以最终生成的风格化图像也是根据用户在绘制时的想法生成的，通过用户主导的方式，提高用户在生成风格化图像过程中的参与程度；另外，通过为用户提供较为简单的画图工具，使用户的绘制难度降低，进一步提高用户的参与意愿；此外，本申请可以在风格化的同时进行超分辨率，提高了风格化图像的显示效果。

以下结合附图，详细说明本申请各实施例提供的技术方案。

图1为本申请一实施例提供的风格化图像的生成方法的流程示意图。如图1所示，该方法包括：

101、确定用户通过预设的画图工具绘制的输入图像以及选定的风格图像。

前文已经分析，现有技术之所以用户的参与度较低，是由于仅可以对内容已经完整的图像进行风格转换，虽然已经存在很多针对图像进行编辑的应用，但用户通常不会花费大量时间去修改，而往往是简单的修补，参与度不高。所以本步骤中，对于需要进行风格转换的图像，由用户自己绘制，达到用户主导生成图像的目的。具体地，可以预设至少一个画图工具，比如可以包含不同类型的画笔工具(铅笔、毛笔、钢笔等)、不同颜色的填充工具、橡皮工具、不同形状的图形工具(矩形、圆形、三角形等)、颜色采集工具等。将这些画图工具展示在界面中，以便用户调取并绘制，用户在绘制过程中可以决定绘制完成，当接收到绘制完成的指令后，就可以确定用户通过预设的画图工具绘制的输入图像。

在实际应用中，为了进一步降低用户绘制图像的难度，减少用户绘制图像的时间，可以为用户提供尽量少的画图工具，在一可选实施方式中，确定用户通过预设的画图工具绘制的输入图像，可以包括：确定用户通过预设的线条画图工具以及颜色画图工具绘制的输入图像。具体地，为了降低用户绘制图像的难度以及减少绘制时间，可以仅提供给用户线条画图工具以及颜色画图工具，用户也仅可以通过这两个工具绘制图像，此时用户在一定程度上也并不会认为绘制图像存在较大难度。如图2所示，为用户仅通过线条画图工具以及颜色画图工具绘制的图像。

对于风格图像而言，可以为用户预设若干张，也可以接收用户提供的风格图像，比如图3所示的风格图像，可以是已经存在的、由用户选定的，也可以是用户输入的。

102、根据该输入图像生成原始图像。

本步骤中，可以通过GAN(Generative adversarial networks，生成式对抗网络)生成原始图像。具体地，为了使用户绘制的图像可以转换为用于生成图片的变量，需要能够在向量空间中搜索到对应的向量。为此可以训练一个浅层神经网络来实现空间的映射，从而可以在向量空间寻找到图像的大概位置。其中，颜色画图工具映射的结果为对应的影响范围内的固定像素值；线条画图工具映射的结果为在该位置的HOG(Histogram ofOriented Gradient，方向梯度直方图)算子产生相应的变化。如图3所示，为根据用户绘制的输入图像通过GAN生成的原始图像。

103、根据风格图像对该原始图像进行风格转换，生成风格化图像。

在根据用户绘制的比较简易的输入图像，通过GAN生成原始图像后，本步骤就可以根据风格图像对原始图像进行风格转换，从而生成风格化图像。具体地，可以预先对如何根据风格图像的风格转换过程进行训练，即对风格转换网络进行训练。比如有n张如图4所示的风格图像，可以采用神经网络代价函数与像素代价函数相结合确定最终代价函数。所以，本步骤中，可以根据已有的风格图像预先训练风格转换网络，在101中将风格图像提供给用户，以便用户选定，也可以接收用户输入的风格图像，在本步骤中重新训练风格转换网络，以便根据用户选定的风格图像，生成风格化图像。

在实际应用中，由于现有的GAN技术有限，根据输入图像生成的原始图像分辨率较低，比如通常生成的原始图像的分辨率为64×64像素，这显然无法满足目前的显示需求，所以为了提高风格化图像的显示效果，本方法还可以包括：

104、对风格化图像进行超分辨率，生成高分风格化图像。

具体地，超分辨率是提高原有图像的分辨率，通过低分辨率的图像来得到高分辨率的图像过程就是超分辨率重建。本步骤中，可以预先进行超分辨率训练，比如针对图像中的一个像素，如何在周围添加固定个数的、与这个像素颜色匹配的像素，以达到超分辨率的目的，具体比如对于2×2像素的图像，在每个像素周围各添加8个与之匹配的像素，生成一个6×6像素的图像。最终的效果就可以是高分风格化图像的分辨率高于原始图像的分辨率。

在实际应用中，可以将103和104合并在一起进行训练，使风格转换网络即具有风格化的功能又具有超分辨率的功能。比如可以通过loss网络进行训练，具体地，可以采用图片数据库(比如MSCOCO图片数据库)进行训练。从中选取10k张图片作为训练图片，因为在一个网络中需要同时训练超分辨率和风格转换两个任务，所以可以生成训练图片的低分辨率版本。比如在训练4倍版本的模型时，可以先在(图片数据库中的)原始图片中切分出大小为512×512的图像块，生成对应的低分辨率图片的方法是使用标准差为1的高斯滤波对图像块进行处理。然后将图像块缩小到128×128的大小。这样我们便拥有了包含高低分辨率图像对的训练数据库。训练过程中，风格转换网络输入低分辨率图片生成高分辨率风格化的图片，然后再将生成的图片和高分辨率内容图和风格图一起传入到loss网络中计算styleloss和content loss然后进行梯度回传，以实现反复对风格转换网络的训练，在实际中，可以使用Adam梯度更新算法进行优化，学习率可以设置为0.001，batchsize(批大小)可以为4，迭代40000次完成训练。如图5所示，为对原始图像进行风格转换以及超分辨率后的示意图，其中风格转换是根据图4的风格图像进行的，在进行超分辨率后，分辨率要高于原始图像。

在实际应用中，步骤103和步骤104也可以调换顺序，具体地，在一可选实施方式中，103和104可以包括下述步骤：

1031、对原始图像进行超分辨率，生成高分原始图像。

1041、根据风格图像对该高分原始图像进行风格转换，生成高分风格化图像。

具体地，也可以将1031和1041合并在一起进行训练，如前文所述的方式对风格转换网络进行训练，利用训练结果可以先对原始图像进行超分辨率，再对超分辨率后的原始图像进行风格转换，最终也可以达到高分风格化图像的分辨率高于原始图像的分辨率的效果。

值得说明的是，前文所描述的训练风格转换网络的方式，为了减少计算资源的浪费，均可以在服务端进行训练，完成后将训练结果(包括GAN、风格图像以及风格图像对应的风格转换网络)发送至各终端，以便终端直接利用。而为了减少服务器的压力，尤其是针对用户自定义的风格图像，也可以在终端对风格转换网络进行训练，使之具有超分辨率以及根据用户自定义的风格图像进行风格转换的功能。

由上述可见，采用本实施例的方法，将用户通过预设的画图工具绘制的图像作为输入图像，根据输入图像生成原始图像，再根据用户选定的风格图像对原始图像进行风格转换。由于输入图像是用户绘制的，所以最终生成的风格化图像也是根据用户在绘制时的想法生成的，通过用户主导的方式，提高用户在生成风格化图像过程中的参与程度；另外，通过为用户提供较为简单的画图工具，使用户的绘制难度降低，进一步提高用户的参与意愿；此外，本实施例可以在风格化的同时进行超分辨率，提高了风格化图像的显示效果。作为用户，仅需要通过较为简单的画图工具绘制出较为简单的输入图像，并且选定期望风格化的风格图像即可实现用户主导生成期望的风格化图像，此外还可以通过超分辨率，提高期望的风格化图像的显示效果。

本实施例提供的方法可应用于终端中，如图6所示，本申请一实施例提供的风格化图像的生成方法的流程示意图，该方法包括：

201、确定用户在终端中通过预设的线条画图工具以及颜色画图工具绘制的输入图像以及在终端中选定的风格图像。

202、根据该输入图像生成原始图像。

203、根据选定的风格图像对原始图像进行风格转换，生成风格化图像。

204、对风格化图像进行超分辨率，生成高分风格化图像。

如图7所示，为本实施例的风格化图像的生成方法的示意图，用户可以在终端中通过铅笔和笔刷工具限定图像的大概内容，作为输入图像，并且选定一张风格图像作为风格化的依据，此后，用户无需任何操作，终端可以通过GAN将输入图像生成为分辨率较低的原始图像，在根据为该风格图像训练完成的具有超分辨率功能以及风格转换功能的风格转换网络对原始图像进行超分辨率以及风格转换，生成比原始图像的分辨率高的高分风格化图像。

由上述可见，采用本实施例的方法，为用户提供较为简单的画图工具，使用户按照自己的想法主导、并通过简单的绘制生成输入图像，在根据用户选定的风格图像最终生成具有较高分辨率的风格化图像，在难度较低的前提下极大提高用户的参与程度。

图8为本申请又一实施例提供的风格化图像的生成装置的结构示意图。该装置包括：确定单元31、第一生成单元32以及第二生成单元33，其中，

确定单元31，可以用于确定用户通过预设的画图工具绘制的输入图像以及选定的风格图像；

第一生成单元32，可以用于根据输入图像生成原始图像；

第二生成单元33，可以用于根据风格图像对原始图像进行风格转换，生成风格化图像。

在一可选实施方式中，第二生成单元33，还可以用于：

对风格化图像进行超分辨率，生成高分风格化图像，高分风格化图像的分辨率高于原始图像。

在一可选实施方式中，第二生成单元33，还可以用于：在根据风格图像对原始图像进行风格转换，生成风格化图像之前，

对原始图像进行超分辨率，生成高分原始图像；则

第二生成单元33，可以用于：

根据风格图像对高分原始图像进行风格转换，生成高分风格化图像，高分风格化图像的分辨率高于原始图像。

在一可选实施方式中，确定单元31，可以用于：

确定用户通过预设的线条画图工具以及颜色画图工具绘制的输入图像。

在一可选实施方式中，该装置可以应用于终端。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种风格化图像的生成方法，其特征在于，包括：

确定用户通过预设的画图工具绘制的输入图像以及选定的风格图像；

根据所述输入图像生成原始图像；

根据所述风格图像对所述原始图像进行风格转换，生成风格化图像。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

对所述风格化图像进行超分辨率，生成高分风格化图像，所述高分风格化图像的分辨率高于所述原始图像。

3.根据权利要求1所述的方法，其特征在于，根据所述风格图像对所述原始图像进行风格转换，生成风格化图像之前，所述方法还包括：

对所述原始图像进行超分辨率，生成高分原始图像；则

根据所述风格图像对所述原始图像进行风格转换，生成风格化图像，包括：

根据所述风格图像对所述高分原始图像进行风格转换，生成高分风格化图像，所述高分风格化图像的分辨率高于所述原始图像。

4.根据权利要求1所述的方法，其特征在于，确定用户通过预设的画图工具绘制的输入图像，包括：

确定用户通过预设的线条画图工具以及颜色画图工具绘制的输入图像。

5.根据权利要求1所述的方法，其特征在于，所述方法应用于终端。

6.一种风格化图像的生成装置，其特征在于，包括：确定单元、第一生成单元以及第二生成单元，其中，

所述确定单元，用于确定用户通过预设的画图工具绘制的输入图像以及选定的风格图像；

所述第一生成单元，用于根据所述输入图像生成原始图像；

所述第二生成单元，用于根据所述风格图像对所述原始图像进行风格转换，生成风格化图像。

7.根据权利要求6所述的装置，其特征在于，所述第二生成单元，还用于：

对所述风格化图像进行超分辨率，生成高分风格化图像，所述高分风格化图像的分辨率高于所述原始图像。

8.根据权利要求6所述的装置，其特征在于，所述第二生成单元，还用于：在根据所述风格图像对所述原始图像进行风格转换，生成风格化图像之前，

对所述原始图像进行超分辨率，生成高分原始图像；则

所述第二生成单元，用于：

根据所述风格图像对所述高分原始图像进行风格转换，生成高分风格化图像，所述高分风格化图像的分辨率高于所述原始图像。

9.根据权利要求6所述的装置，其特征在于，所述确定单元，用于：

确定用户通过预设的线条画图工具以及颜色画图工具绘制的输入图像。

10.根据权利要求6所述的装置，其特征在于，所述装置应用于终端。