CN112017257B - 图像处理方法、设备及存储介质 - Google Patents

Abstract

本公开实施例提供一种图像处理方法、设备及存储介质，包括：通过获取初始绘画图像；将所述初始绘画图像映射为实景图像；将所述实景图像转换为目标绘画图像，由于初始绘画图像映射为实景图像后，实景图像具有更加丰富的纹理细节信息，基于实景图像中丰富的纹理细节信息进行实景图像转换，可以形成多种不同绘画风格的目标绘画图像。使用户输入的简单的初始绘画图像，能够生成具有特定风格的高质量图像，提高图像的表现力，使没有绘画基础的用户也能够自由创作出高品质的图像，提高用户使用体验。

Description

图像处理方法、设备及存储介质

技术领域

本公开实施例涉及图像处理技术领域，尤其涉及一种图像处理方法、设备及存储介质。

背景技术

随着多媒体技术的快速发展，图像和视频逐渐取代文字成为互联网信息的主要载体，相比起注释信息，图像信息的表达更加立体和丰富，能起到更好的信息传播效果。但同时，绘画图像的绘制和制作也相应具有较高的门槛，未受过专业训练的人，难以绘制出高质量的绘画图像。

由于用户根据自己的构思进行图画绘制，能够更好地体现出用户真正想要表达的意义，因此，当前通过绘制图画进行信息表达的应用场景越来越多，也越来越受到用户的重视。

然而，由于用户的绘画水平有限，当用户想要按照自己的构思绘制高质量的绘画图像时，目前的图像生成技术难以满足用户需求，存在输出的绘画图像质量低，表现效果差，图像风格单一等问题。

发明内容

本公开实施例提供一种图像处理方法、设备及存储介质，以克服输出的绘画图像质量低，表现效果差，图像风格单一等问题。

第一方面，本公开实施例提供一种图像处理方法，包括：

获取初始绘画图像；将所述初始绘画图像映射为实景图像；将所述实景图像转换为目标绘画图像。

第二方面，本公开实施例提供一种图像处理设备，包括：

获取单元，用于获取初始绘画图像；

映射单元，用于将所述初始绘画图像映射为实景图像；

转换单元，用于将所述实景图像转换为目标绘画图像。

第三方面，本公开实施例提供一种电子设备，包括：至少一个处理器和存储器；

所述存储器存储计算机执行指令；

所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如上第一方面以及第一方面各种可能的设计所述的图像处理方法。

第四方面，本公开实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上第一方面以及第一方面各种可能的设计所述的图像处理方法。

本实施例提供的图像处理方法、设备及储存介质，通过获取初始绘画图像；将所述初始绘画图像映射为实景图像；将所述实景图像转换为目标绘画图像，由于初始绘画图像映射为实景图像后，实景图像具有更加丰富的纹理细节信息，基于实景图像中丰富的纹理细节信息进行实景图像转换，可以形成多种不同绘画风格的目标绘画图像。使用户输入的简单的初始绘画图像，能够生成具有特定风格的高质量图像，提高图像的表现力，使没有绘画基础的用户也能够自由创作出高品质的图像，提高用户使用体验。

附图说明

为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本公开实施例提供的一种应用场景图；

图2为本公开实施例提供的图像处理方法流程示意图一；

图3为本公开实施例提供的一种获取简笔画绘制信息的示意图；

图4为本公开实施例提供的一种GUI示意图；

图5为本公开实施例提供的一种初始绘画图像映射为实景图像的示意图；

图6为本公开实施例提供的一种实景图像转换为目标绘画图像的示意图；

图7为本公开实施例提供的图像处理方法流程示意图二；

图8为本申请实施例提供的一种初始绘画图像的示意图；

图9为图7所示实施例中步骤S202的流程图；

图10为本申请实施例提供的一种根据标注信息确定对应的语义信息示意图；

图11为本公开实施例提供的一种GUI示意图；

图12为本公开实施例提供的一种信令图；

图13为本公开实施例提供的一种图像处理设备的结构框图；

图14为本公开实施例提供的另一种图像处理设备的结构框图；

图15为本公开实施例提供的一种电子设备的结构示意图；

图16为本公开实施例提供的另一种电子设备的结构示意图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。

图1为本公开实施例提供的一种应用场景图，如图1所示，本公开实施例提供图像处理方法可以应用于终端设备，例如，智能手机。示例性地，智能手机上运行有用于实现本公开实施例提供的图像处理方法的应用程序(Application，APP)，用户通过智能手机的触摸显示屏，向智能手机输入初始绘画图像，智能手机通过本公开实施例提供的方法对该初始绘画图像进行处理，快速生成与初始绘画图像对应，且具有高质量、特定图像风格的目标绘画图像。目标绘画图像中的主体内容与用户绘制输入的简笔画内容一致，但目标绘画图像具有更加丰富的细节和纹理，图像质量更好，能提供了更好的图像表现效果。

目前，由于图像的绘制和制作具有较高的门槛，对于未受过专业训练的人，难以绘制出高质量的绘画图像。例如，在多媒体教育的应用场景下，教师作为用户，想通过水墨山水画，向学生表达诗词内容，以达到更好的表现诗词意境的目的。但对于绝大多数普通用户，难以绘制出此类高质量的山水画，因此，虽然图像信息相比于文字信息，具有更好的信息传播和表达效果，但受限于图像的绘制难度，用户通过自己的构思绘制的自定义图像，往往质量较低，表现力较差，难以满足各应用场景下的需要。

相关技术中，为了实现增强用户按照自己的构思绘制的自定义图像的图像质量和表现力，可以通过收集图像训练集，并进行模型的训练，得到图像处理模型，通过图像处理模型对用户输入的初始绘画图像进行处理，从而提高图像的表现力。然而，现有的图像训练集中，一般是针对普通图片的图片集，而对于用户自定义的初始绘画图像，由于没有更多图像风格的匹配数据集，因此无法得到具有指定风格的输出图像。因此，此类方法只适用于用户输入具有较高质量的固定图像，例如照片，而不适用于用户输入的自定义的绘画图像。根据现有技术对用户输入的自定义的绘画图像进行处理，会导致难以得到高质量的输出图像，存在输出图像的表现效果差、质量低的问题。本公开实施例提供一种图像处理方法以解决上述问题。

参考图2，图2为本公开实施例提供的图像处理方法流程示意图一。本实施例的方法可以应用在终端设备或服务器中，本实施例中，主要以终端设备为执行主体进行说明，该图像处理方法包括：

S101：获取初始绘画图像。

图3为本公开实施例提供的一种获取初始绘画图像的示意图，如图3所示，在一种可能的实现方式中，本实施例提供的方法的执行主体为终端设备，例如为智能手机，终端设备上设置有用于人机交互的触摸显示屏，用户通过该触摸显示屏，绘制绘画图像，实现绘画图像的输入。终端设备根据用户输入的绘画图像，获取相应的描述该绘画图像的信息，进行后续的图像处理，该描述该绘画图像的信息即为初始绘画图像。

更加具体地，终端设备上运行有实现本实施例提供的方法的APP，APP的图形用户界面(Graphical User Interface，GUI)显示在终端设备的触摸显示屏上，图4为本公开实施例提供的一种GUI示意图，如图4所示，示例性地，初始绘画图像对应通过简单线条构成的简笔画图像，GUI上设置有绘制区域，用户通过在GUI上的绘制区域绘制该简笔画图像，完成绘画图像的输入，同时，终端设备通过获取GUI上绘制区域的信息，得到初始绘画图像。

示例性地，初始绘画图像中包括图像的结构特征和语义特征，具体地，初始绘画图像中包括多个内容区域，每个内容区域对应一个具体的绘制内容。其中，初始绘画图像的结构特征是指初始绘画图像中各内容区域以及各内容区域之间的结构关系，例如内容区域的大小、内容区域间的距离等。初始绘画图像的语义特征是指初始绘画图像中各内容区域所指代的绘制内容，例如，A内容区域为山，B内容区域为河流等。通过初始绘画图像中的结构特征和语义特征，可以确定初始绘画图像要表现的内容。

在另一种可能的实现方式中，本实施例提供的方法的执行主体为服务器。服务器与终端设备通信连接，服务器可以通过有线或无线的方式，获得用户通过终端设备输入的初始绘画图像。其中，该初始绘画图像可以是服务器主动向终端设备请求而获得的，也可以是终端设备主动向服务器上传，从而使服务器获得的，此处，不对获取初始绘画图像的方式进行具体限定。

S102：将初始绘画图像映射为实景图像。

实景图像，是指具有丰富的细节信息和纹理信息的高质量图片，实景图像可以是根据真实的影像资料形成的图像，例如照片，或者拍摄的视频中的帧图像，实景图像还可以是与真实物体具有高相似度的绘画作品等，此处不对实景图片的具体实现形式进行限定，只有相对初始绘画图像具有更多的细节信息和纹理信息的图像，均可视为实景图像。

由于用户输入的初始绘画图像的线条简单，纹理细节少，并且自由度高，差异性大，因此相对的，在对初始绘画图像进行处理，使初始绘画图像能够按照用户的构思，表现出例如漫画风格、山水画风格等特定图像风格的，难以实现对初始绘画图像正确处理。而将初始绘画图像映射为实景图像后，由于实景图像的细节信息和纹理信息更加丰富，可以在实景图像的细节信息和纹理信息的基础上，对图像进行处理，实现多样化的图像风格转换，使用户输入的初始绘画图像能够按照用户的构思表现出指定的图像风格。

图5为本公开实施例提供的一种初始绘画图像映射为实景图像的示意图，如图5所示，将初始绘画图像映射为实景图像的过程，通过一个训练完毕的图像生成模型实现，将初始绘画图像输入图像生成模型中，输出与初始绘画图像相匹配的实景图像。

在一种可能的实现方式中，图像生成模型是预先训练至收敛的神经网络模型。图像生成模型采用GAN构建，并通过采用全监督的方式，利用对初始绘画图像进行标注后形成的训练数据进行模型训练，直至模型收敛，得到能够将初始绘画图像映射为实景图像的图像生成模型。其中具体的训练过程，此处不进行赘述。

S103：将实景图像转换为目标绘画图像。

示例性地，目标绘画图像具有不同的图像风格。其中，图像风格是指绘画图像的整体表现风格，例如包括漫画风格，水墨画风格，油画风格等。不同的图像风格，会改变绘画图像的表现效果，使绘画图像展现出更好的表现力，但是不会改变图像中的主体内容。例如，实景图像为一幅山水图像，根据实景图像中的内容，水墨画风格最能体现原本的图像中的意境，因此将内容为山水图像的实景图像转换为水墨画风格的目标绘画图像，能够提高图像的表现效果，同时，目标绘画图像中的主体内容，依然和实景图像中相同，即描绘山水风景的元素。

图6为本公开实施例提供的一种实景图像转换为目标绘画图像的示意图，如图6所示，示例性地，将实景图像转换为目标绘画图像的过程，通过一个训练完毕的风格转化模型实现，将实景图像输入该风格转换模型中，经过风格转换模型的处理，对实景图像的边缘、纹理、细节以及构图等方面进行映射，最终得到带有预设图像风格的目标绘画图像。示例性地，该预设图像风格是根据用户输入的风格配置参数确定的。用户根据风格配置参数，可以使同一输入的初始绘画图像，最终呈现出不同的图像风格。

示例性地，该风格转换模型，在使用前需要进行模型训练。由于实景图像中的细节纹理较之其他图像风格的图像更为丰富，即使采用无监督训练获得的网络模型仍然具有足够的抽象能力，因此，风格转换模型可以采用无监督训练，以降低模型训练成本。具体地，通过收集非匹配的实景图像和指定风格的图像，例如山水画、漫画等，作为训练集，采用GAN模型进行训练，利用无监督的方式在非匹配的数据集对网络的生成器进行训练。同时考虑到不同风格图像在边缘和纹理上的巨大变化，在一种可能的实现方式中，使用第一损失函数对风格转换模型进行训练，其中，第一损失函数用于表征预设图像风格的图像的边缘特征和纹理特征，以使该风格转换模型能够学习到不同风格图像的特征。

在本实施例中，通过获取初始绘画图像；将初始绘画图像映射为实景图像；将实景图像转换为目标绘画图像，由于初始绘画图像映射为实景图像后，实景图像具有更加丰富的纹理细节信息，基于实景图像中丰富的纹理细节信息进行实景图像转换，可以形成多种不同绘画风格的目标绘画图像。使用户输入的简单的初始绘画图像，能够生成具有特定风格的高质量图像，提高图像的表现力，使没有绘画基础的用户也能够自由创作出高品质的图像，提高用户使用体验。

图7为本公开实施例提供的图像处理方法流程示意图二。本实施例在图2所示实施例的基础上，进一步细化了S102的步骤，并增加了输出目标绘画图像的步骤，该图像处理方法包括：

S201、获取初始绘画图像，初始绘画图像包括内容区域，以及与内容区域对应的标注信息，其中，标注信息用于表征内容区域的语义信息。

示例性地，初始绘画图像包括图像线条，内容区域为在初始绘画图像中图像线条划分出的区域。具体地，初始绘画图像通过图像线条进行区域分割，形成多个内容区域，并通过标注信息的方式分别对各内容区域的语义信息进行描述，从而实现对初始绘画图像对应的内容的描述。具体地，初始绘画图像可以为语义分割图。更加具体地，图像线条信息可以是一组或多组有序二维像素坐标点，通过该一组或多组坐标点，可以实现对简笔画图像主体内容的描述。图8为本申请实施例提供的一种初始绘画图像的示意图，由于初始绘画图像对应用户输入的绘制图像，其结构比较简单，没有复杂的纹理及细节信息，因此，初始绘画图像可以通过简单的区域分割，形成多个内容区域，每个内容区域对应有标注信息，标注信息用于描述内容区域的语义信息。例如，如图8所示，初始绘画图像具有四个分割后的内容区域，其中内容区域A的标注信息为汉字“天”，对应的语义信息为“天空”，内容区域B的标注信息为汉字“草”，对应语义信息为“草地”，内容区域C的标注信息为汉字“山”，对应的语义信息为“山石”，内容区域D的标注信息为汉字“水”对应的语义信息为“水塘”。其中，不同内容区域的标注信息的实现方式可能有多种，例如，通过文字、符号、数字等作为标注信息，也可以通过绘图颜色作为标注信息，此处不对此进行限定。

S202、根据标注信息，确定与内容区域对应的语义信息。

示例性地，标注信息包括语义标识，语义标识与语义信息具有第一映射关系，如图9所示，S202包括：

S2021、获取预设的第一映射关系。

S2022、根据第一映射关系，确定语义标识对应的语义信息。

具体地，第一映射关系是用户预先设置的，用于表征语义标识与语义信息之间映射关系的信息。例如，例如，语音标识为字母“A”，其映射至语义信息“天空”；语音标识为汉字“水”，其映射至语义信息“河流”。第一映射关系可以是具体地映射表，也可以是训练至收敛的分类器模型，可根据需要进行设置，此处不对此进行具体限定。

图10为本申请实施例提供的一种根据标注信息确定对应的语义信息示意图，如图10所示，在一种可能的实现方式中，用户通过终端设备内运行的APP的GUI界面，输入简笔画图像，更加具体地，包括绘制简笔画的线条，以及由线条构成的不同区域，并对不同区域进行标注，例如涂色或绘制标识，形成初始绘画图像。之后，终端设备根据用户输入的初始绘画图像，确定内容区域以及对应的语义标识，再根据第一映射关系，确定语义标识对应的语义信息。

在一种可能的实现方式中，在步骤S2022之前，还包括：

对标注信息进行图像识别，得到标注信息中的语义标识。具体地，由于标注信息是由用户通过交互界面输入的信息，例如为手写的汉字、字母等。因此，在获取标注信息后，需要对标注信息进行图像识别，以获取标注信息中的具体的语义标识。此处不再对该过程进行赘述。

S203、根据语义信息，为内容区域添加纹理细节信息，生成实景图像。

示例性地，为内容区域添加纹理细节信息，生成实景图像的过程通过一个训练完毕的图像生成模型实现，图像生成模型能够更加语义信息，为内容区域添加不同的纹理细节信息，生成高质量的实景图片。具体的，图像生成模型可以为基于GAN的神经网络模型，即图像生成网络。图像生成网络能够接收输入的初始绘画图像，输出实景图像，通过图像生成网络的图像处理能力，恢复出物体的细节和纹理。特别需要说明的是，由于存在大量开源的包含内容区域与语义信息的初始绘画图像与实景图像的匹配数据集，该图像生成网络利用匹配的数据集实现全监督方式对网络的生成器进行训练。该图像生成网络的生成器包括解码器(decoder)构成，其中用户输入的初始绘画图像的内容信息通过一个空间自适应的实例归一化模块(SPADE)引入网络，从而确保其类别信息有效的保留在图像特征中。通过全监督的训练方式，生成器能够在满足语义分割图的内容约束下，稳定地生成各类物体的高质量细节和纹理，进而保证实景图像的真实性和自洽性，为后续功能提供稳定的输入。

S204、获取风格配置参数。

S205、根据风格配置参数，确定预设图像风格。

示例性地，当生成实景图像后，为更好地表现用户的绘画构思，提高用户绘制图像的表现力，可能将实景图像转换为预设风格图像的绘画图像，例如，将山水风景的实景图像，转换为水墨画风格的绘画图像；或者，将人物的实景图像，转化为漫画风格的绘画图像。为了更好地体现用户的绘画构思，该预设图像风格是通过风格配置参数确定的。用户通过用户界面，输入该风格配置参数，从而确定预设图像风格。

S206、将实景图像转换为预设图像风格的目标绘画图像。

S207、将目标绘画图像显示在用户界面。

其中，用户界面包括第一显示区域和第二显示区域，第一显示区域用于显示用户输入的初始绘画图像；第二显示区域用于同步显示目标绘画图像。

具体地，根据本实施例提供的方法的执行主体的不同，将目标绘画图像显示在用户界面的实现方式也相应不同。

在一种可能的实现方式中，本实施例提供的方法的执行主体为终端设备，例如为智能手机，终端设备具有触摸显示屏，能够接收用户输入的初始绘画图像，并在终端设备得到目标绘画图像后，对目标绘画图像进行同步显示。进一步，示例性地，有终端设备上运行有实现本实施例提供的方法的APP，APP的GUI显示在终端设备的触摸显示屏上。图11为本公开实施例提供的一种GUI示意图，如图11所示，GUI上设置有第一显示区域和第二显示区域，用户通过在GUI上的第一显示区域绘制简笔画图像，终端设备对该简笔画图像进行处理，并将处理后得到的目标绘画图像同步显示在GUI上的第二显示区域。本实施例中，通过将目标绘画图像同步显示在GUI上的第二显示区域，能够使用户能够实时的观察输入的简笔画图像最终的图像表现效果，并进行实时调整，提高用户的创作自由度和图像表现力。

在另一种可能的实现方式中，本实施例提供的方法的执行主体为云服务器，云服务器与终端设备之间通信连接，图12为本公开实施例提供的一种信令图，如图12所示，用户通过终端设备输入绘画图像后，终端设备将对应的初始绘画图像发送给云服务器，由云服务器执行如上S201-S206的步骤，得到目标绘画图像，并将目标绘画图像传输至终端设备，由终端设备对该目标绘画图像进行显示。其中，终端设备接收到云服务输出的目标绘画图像后，可以通过如图11所示的GUI对该目标绘画图像进行实时或非实时的显示，此处不再进行赘述。本实施例中，通过将对目标绘画图像进行处理的步骤设置在云端服务器执行，并将处理后的目标绘画图像输出至终端设备进行显示，可以避免由于终端设备的硬件配置差异性而导致的问题，同时，终端设备只进行输入和显示，主要的图像处理过程设置在云服务器一侧，因此无需对具有不同硬件配置的终端设备进行多版本适配，降低本实施方法的实现成本，保证图像处理的质量和效率。

对应于上文实施例的图像处理方法，图13为本公开实施例提供的一种图像处理设备的结构框图。为了便于说明，仅示出了与本公开实施例相关的部分。参照图13，图像处理设备3包括：

获取单元31，用于获取初始绘画图像。

映射单元32，用于将初始绘画图像映射为实景图像。

转换单元33，用于将实景图像转换为目标绘画图像其中，获取单元31、映射单元32和转换单元33依次连接。本实施例提供的图像处理设备3可以执行如图2所示的方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

图14为本公开实施例提供的另一种图像处理设备的结构框图，本公开实施例提供的图像处理设备4在图13所示的图像处理设备的基础上，还包括：配置单元41、交互单元42，其中：

在本公开的一个实施例中，初始绘画图像包括内容区域，以及与内容区域对应的标注信息，其中，标注信息用于表征内容区域的语义信息；映射单元32具体用于：根据标注信息，确定与内容区域对应的语义信息；根据语义信息，为内容区域添加纹理细节信息，生成实景图像。

在本公开的一个实施例中，初始绘画图像包括图像线条，内容区域为在初始绘画图像中图像线条划分出的区域。

在本公开的一个实施例中，映射单元32在根据语义信息，为内容区域添加纹理细节信息，生成实景图像时，具体用于：将内容区域以及与内容区域对应的语义信息输入图像生成模型，得到图像生成模型输出的实景图像；其中，图像生成模型为基于生成式对抗网络GAN的神经网络模型。

在本公开的一个实施例中，标注信息包括语义标识，语义标识与语义信息具有第一映射关系，映射单元32在根据标注信息，确定与内容区域对应的语义信息时，具体用于：获取预设的第一映射关系；根据第一映射关系，确定语义标识对应的语义信息。

在本公开的一个实施例中，映射单元32还用于：对标注信息进行图像识别，得到标注信息中的语义标识。

在本公开的一个实施例中，目标绘画图像具有预设图像风格，转换单元33具体用于：将实景图像输入风格转换模型，根据预设图像风格对实景图像的纹理细节信息进行处理，得到预设图像风格的目标绘画图像；其中，风格转换模型为基于生成式对抗网络GAN的神经网络模型，风格转换模型是通过无监督训练得到的。

在本公开的一个实施例中，风格转换模型是通过第一损失函数进行训练得到的，其中，第一损失函数用于表征预设图像风格的图像的边缘特征和纹理特征。

在本公开的一个实施例中，本实施例提供的图像处理装置还包括：

配置单元41，用于获取风格配置参数；根据风格配置参数，确定预设图像风格。

在本公开的一个实施例中，本实施例提供的图像处理装置还包括：

交互单元42，用于将目标绘画图像显示在用户界面；其中，用户界面包括第一显示区域和第二显示区域，第一显示区域用于显示用户输入的初始绘画图像；第二显示区域用于同步显示目标绘画图像。

本实施例提供的图像处理设备4可以执行如图2-图11所示的方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

参考图15，其示出了适于用来实现本公开实施例的一种电子设备的结构示意图，该电子设备5可以为终端设备或服务器。其中，终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、个人数字助理(Personal Digital Assistant，简称PDA)、平板电脑(Portable Android Device，简称PAD)、便携式多媒体播放器(Portable MediaPlayer，简称PMP)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图15示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图15所示，电子设备5可以包括处理装置(例如中央处理器、图形处理器等)51，其可以根据存储在只读存储器(Read Only Memory，简称ROM)52中的程序或者从存储装置58加载到随机访问存储器(Random Access Memory，简称RAM)53中的程序而执行各种适当的动作和处理。在RAM53中，还存储有电子设备5操作所需的各种程序和数据。处理装置51、ROM52以及RAM 53通过总线54彼此相连。输入/输出(I/O)接口55也连接至总线54。

通常，以下装置可以连接至I/O接口55：包括例如触摸显示屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置56；包括例如液晶显示器(Liquid CrystalDisplay，简称LCD)、扬声器、振动器等的输出装置57；包括例如磁带、硬盘等的存储装置58；以及通信装置59。通信装置59可以允许电子设备5与其他设备进行无线或有线通信以交换数据。虽然图15示出了具有各种装置的电子设备5，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置59从网络上被下载和安装，或者从存储装置58被安装，或者从ROM 52被安装。在该计算机程序被处理装置51执行时，执行本公开实施例的方法中限定的上述功能。

需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。

上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。

上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备执行上述实施例所示的方法。

可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LocalArea Network，简称LAN)或广域网(Wide Area Network，简称WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定，例如，第一获取单元还可以被描述为“获取至少两个网际协议地址的单元”。

本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

图16为本公开实施例提供的另一种电子设备的结构示意图，如图16所示，本实施例提供的电子设备6包括：存储器61，处理器62以及计算机程序。

其中，计算机程序存储在存储器61中，并被配置为由处理器62执行以实现本申请图2-图12所对应的实施例中任一实施例提供的图像处理方法。

其中，存储器61和处理器62通过总线63连接。

相关说明可以对应参见图2-图11所对应的实施例中的步骤所对应的相关描述和效果进行理解，此处不做过多赘述。

本申请一个实施例提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行以实现本申请图2-图12所对应的实施例中任一实施例提供的图像处理方法。

其中，计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

第一方面，根据本公开的一个或多个实施例，提供了一种图像处理方法，包括：

获取初始绘画图像；将初始绘画图像映射为实景图像；将实景图像转换为目标绘画图像。

根据本公开的一个或多个实施例，初始绘画图像包括内容区域，以及与内容区域对应的标注信息，其中，标注信息用于表征内容区域的语义信息；将初始绘画图像映射为实景图像，包括：根据标注信息，确定与内容区域对应的语义信息；根据语义信息，为内容区域添加纹理细节信息，生成实景图像。

根据本公开的一个或多个实施例，初始绘画图像包括图像线条，内容区域为在初始绘画图像中图像线条划分出的区域。

根据本公开的一个或多个实施例，根据语义信息，为内容区域添加纹理细节信息，生成实景图像，包括：将内容区域以及与内容区域对应的语义信息输入图像生成模型，得到图像生成模型输出的实景图像；其中，图像生成模型为基于生成式对抗网络GAN的神经网络模型。

根据本公开的一个或多个实施例，标注信息包括语义标识，语义标识与语义信息具有第一映射关系，根据标注信息，确定与内容区域对应的语义信息，包括：获取预设的第一映射关系；根据第一映射关系，确定语义标识对应的语义信息。

根据本公开的一个或多个实施例，方法还包括：对标注信息进行图像识别，得到标注信息中的语义标识。

根据本公开的一个或多个实施例，目标绘画图像具有预设图像风格，将实景图像转换为目标绘画图像，包括：将实景图像输入风格转换模型，根据预设图像风格对实景图像的纹理细节信息进行处理，得到预设图像风格的目标绘画图像；其中，风格转换模型为基于生成式对抗网络GAN的神经网络模型，风格转换模型是通过无监督训练得到的。

根据本公开的一个或多个实施例，风格转换模型是通过第一损失函数进行训练得到的，其中，第一损失函数用于表征预设图像风格的图像的边缘特征和纹理特征。

根据本公开的一个或多个实施例，方法还包括：获取风格配置参数；根据风格配置参数，确定预设图像风格。

根据本公开的一个或多个实施例，方法还包括：将目标绘画图像显示在用户界面；其中，用户界面包括第一显示区域和第二显示区域，第一显示区域用于显示用户输入的初始绘画图像；第二显示区域用于同步显示目标绘画图像。

第二方面，根据本公开的一个或多个实施例，提供了一种图像处理设备，包括：

获取单元，用于获取初始绘画图像；

映射单元，用于将初始绘画图像映射为实景图像；

转换单元，用于将实景图像转换为目标绘画图像。

根据本公开的一个或多个实施例，初始绘画图像包括内容区域，以及与内容区域对应的标注信息，其中，标注信息用于表征内容区域的语义信息；映射单元具体用于：根据标注信息，确定与内容区域对应的语义信息；根据语义信息，为内容区域添加纹理细节信息，生成实景图像。

根据本公开的一个或多个实施例，初始绘画图像包括图像线条，内容区域为在初始绘画图像中图像线条划分出的区域。

根据本公开的一个或多个实施例，映射单元在根据语义信息，为内容区域添加纹理细节信息，生成实景图像时，具体用于：将内容区域以及与内容区域对应的语义信息输入图像生成模型，得到图像生成模型输出的实景图像；其中，图像生成模型为基于生成式对抗网络GAN的神经网络模型。

根据本公开的一个或多个实施例，标注信息包括语义标识，语义标识与语义信息具有第一映射关系，映射单元在根据标注信息，确定与内容区域对应的语义信息时，具体用于：获取预设的第一映射关系；根据第一映射关系，确定语义标识对应的语义信息。

根据本公开的一个或多个实施例，映射单元还用于：对标注信息进行图像识别，得到标注信息中的语义标识。

根据本公开的一个或多个实施例，目标绘画图像具有预设图像风格，转换单元具体用于：将实景图像输入风格转换模型，根据预设图像风格对实景图像的纹理细节信息进行处理，得到预设图像风格的目标绘画图像；其中，风格转换模型为基于生成式对抗网络GAN的神经网络模型，风格转换模型是通过无监督训练得到的。

根据本公开的一个或多个实施例，风格转换模型是通过第一损失函数进行训练得到的，其中，第一损失函数用于表征预设图像风格的图像的边缘特征和纹理特征。

根据本公开的一个或多个实施例，本实施例提供的图像处理装置还包括：配置单元，用于获取风格配置参数；根据风格配置参数，确定预设图像风格。

在本公开的一个实施例中，本实施例提供的图像处理装置还包括：交互单元，用于将目标绘画图像显示在用户界面；其中，用户界面包括第一显示区域和第二显示区域，第一显示区域用于显示用户输入的初始绘画图像；第二显示区域用于同步显示目标绘画图像。

第三方面，根据本公开的一个或多个实施例，提供了一种电子设备，包括：至少一个处理器和存储器；

存储器存储计算机执行指令；

至少一个处理器执行存储器存储的计算机执行指令，使得至少一个处理器执行如上第一方面以及第一方面各种可能的设计的图像处理方法。

第四方面，根据本公开的一个或多个实施例，提供了一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，当处理器执行计算机执行指令时，实现如上第一方面以及第一方面各种可能的设计的图像处理方法。

以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。

尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (12)

1.一种图像处理方法，其特征在于，包括：

获取初始绘画图像；

将所述初始绘画图像映射为实景图像；

将所述实景图像转换为目标绘画图像；

所述初始绘画图像包括内容区域，以及与所述内容区域对应的标注信息，其中，所述标注信息用于表征所述内容区域的语义信息；将所述初始绘画图像映射为实景图像，包括：

根据所述标注信息，确定与所述内容区域对应的语义信息；

根据所述语义信息，为所述内容区域添加纹理细节信息，生成所述实景图像。

2.根据权利要求1所述的方法，其特征在于，所述初始绘画图像包括图像线条，所述内容区域为在所述初始绘画图像中所述图像线条划分出的区域。

3.根据权利要求1所述的方法，其特征在于，根据所述语义信息，为所述内容区域添加纹理细节信息，生成实景图像，包括：

将所述内容区域以及与所述内容区域对应的语义信息输入图像生成模型，得到所述图像生成模型输出的实景图像；

其中，所述图像生成模型为基于生成式对抗网络GAN的神经网络模型。

4.根据权利要求1所述的方法，其特征在于，所述标注信息包括语义标识，所述语义标识与所述语义信息具有第一映射关系，根据所述标注信息，确定与所述内容区域对应的语义信息，包括：

获取预设的第一映射关系；

根据所述第一映射关系，确定所述语义标识对应的语义信息。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

对所述标注信息进行图像识别，得到所述标注信息中的语义标识。

6.根据权利要求1所述的方法，其特征在于，所述目标绘画图像具有预设图像风格，将所述实景图像转换为目标绘画图像，包括：

将所述实景图像输入风格转换模型，根据预设图像风格对所述实景图像的纹理细节信息进行处理，得到预设图像风格的目标绘画图像；

其中，所述风格转换模型为基于生成式对抗网络GAN的神经网络模型，所述风格转换模型是通过无监督训练得到的。

7.根据权利要求6所述的方法，其特征在于，所述风格转换模型是通过第一损失函数进行训练得到的，其中，所述第一损失函数用于表征预设图像风格的图像的边缘特征和纹理特征。

8.根据权利要求6所述的方法，其特征在于，所述方法还包括：

获取风格配置参数；

根据所述风格配置参数，确定所述预设图像风格。

9.根据权利要求1-7任一项所述的方法，其特征在于，所述方法还包括：

将所述目标绘画图像显示在用户界面；

其中，所述用户界面包括第一显示区域和第二显示区域，所述第一显示区域用于显示用户输入的所述初始绘画图像；所述第二显示区域用于同步显示所述目标绘画图像。

10.一种图像处理设备，其特征在于，包括：

获取单元，用于获取初始绘画图像；

映射单元，用于将所述初始绘画图像映射为实景图像；

转换单元，用于将所述实景图像转换为目标绘画图像；

所述初始绘画图像包括内容区域，以及与所述内容区域对应的标注信息，其中，所述标注信息用于表征所述内容区域的语义信息；所述映射单元，具体用于：根据所述标注信息，确定与所述内容区域对应的语义信息；根据所述语义信息，为所述内容区域添加纹理细节信息，生成所述实景图像。

11.一种电子设备，其特征在于，包括：至少一个处理器和存储器；

所述存储器存储计算机执行指令；

所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如权利要求1至9任一项所述的图像处理方法。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如权利要求1至9任一项所述的图像处理方法。

Images