CN110544287A - 一种配图处理方法及电子设备 - Google Patents

一种配图处理方法及电子设备 Download PDF

Info

Publication number
CN110544287A
CN110544287A CN201910819122.6A CN201910819122A CN110544287A CN 110544287 A CN110544287 A CN 110544287A CN 201910819122 A CN201910819122 A CN 201910819122A CN 110544287 A CN110544287 A CN 110544287A
Authority
CN
China
Prior art keywords
target
input
image
user
matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910819122.6A
Other languages
English (en)
Other versions
CN110544287B (zh
Inventor
刘行
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vivo Mobile Communication Co Ltd
Original Assignee
Vivo Mobile Communication Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vivo Mobile Communication Co Ltd filed Critical Vivo Mobile Communication Co Ltd
Priority to CN201910819122.6A priority Critical patent/CN110544287B/zh
Publication of CN110544287A publication Critical patent/CN110544287A/zh
Application granted granted Critical
Publication of CN110544287B publication Critical patent/CN110544287B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/206—Drawing of charts or graphs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching

Abstract

本发明公开了一种配图处理方法及电子设备，方法包括：接收用户的第一输入，所述第一输入用于选取配图模式；响应于所述第一输入，确定与所述第一输入所选取的目标配图模式匹配的目标生成式对抗网络；接收用户的第二输入，所述第二输入用于输入目标对象；响应于所述第二输入，显示目标配图，所述目标配图是基于所述第二输入所输入的目标对象，通过所述目标生成式对抗网络生成的。由此可见，本发明通过基于用户输入的目标对象，利用与用户选取的目标配图模式匹配的目标生成式对抗网络，生成与用户输入的目标对象相匹配的目标配图，从而能够达到更便捷地生成个性化配图的目的。

Description

一种配图处理方法及电子设备
技术领域
本发明实施例涉及人工智能领域，尤其涉及一种配图处理方法及电子设备。
背景技术
用户在发布社交动态时，可能需要在本机相册或者网上搜索图像，并从中选出合适的社交动态的配图。
然而由于图像搜索过程比较费时，且网上图像的重复率较高，从而导致配图效率低下、配图不够个性化的问题。
发明内容
本发明实施例提供一种配图处理方法及电子设备，以解决配图效率低下的问题。
第一方面，提供了一种配图处理的方法，该方法包括：
接收用户的第一输入，所述第一输入用于选取配图模式；
响应于所述第一输入，确定与所述第一输入所选取的目标配图模式匹配的目标生成式对抗网络；
接收用户的第二输入，所述第二输入用于输入目标对象；
响应于所述第二输入，显示目标配图，所述目标配图是基于所述第二输入所输入的目标对象，通过所述目标生成式对抗网络生成的。
第二方面，提供了一种电子设备，该电子设备包括：
第一接收模块，用于接收用户的第一输入，所述第一输入用于选取配图模式；
第一响应模块，用于响应于所述第一输入，确定与所述第一输入所选取的目标配图模式匹配的目标生成式对抗网络；
第二接收模块，用于接收用户的第二输入，所述第二输入用于输入目标对象；
第二响应模块，用于响应于所述第二输入，显示目标配图，所述目标配图是基于所述第二输入所输入的目标对象，通过所述目标生成式对抗网络生成的。
第三方面，提供了一种电子设备，所述电子设备包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如第一方面所述的方法的步骤。
第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的方法的步骤。
在本发明实施例中，通过基于用户输入的目标对象，利用与用户选取的目标配图模式匹配的目标生成式对抗网络，生成与用户输入的目标对象相匹配的目标配图，从而能够达到更便捷地生成个性化配图的目的。
附图说明
图1是本发明的一个实施例提供的一种配图处理方法的流程示意图；
图2是本发明的一个实施例提供的一种配图模式选择界面示意图；
图3b是本发明的一个实施例提供的一种配图模式为智能生成模式时的配图处理方法的界面示意图；
图4b是本发明的另一个实施例提供的一种配图模式为全智能生成模式时的配图处理方法的界面示意图；
图5b是本发明的一个实施例提供的一种配图模式为智能转换模式的魔法子模式配图处理方法的界面示意图；
图6b是本发明的一个实施例提供的一种配图模式为智能转换模式的DIY 子模式的配图处理方法的界面示意图；
图6c是本发明的一个实施例提供的一种原始图像和其对应的简化图像(语义像素图像)的转换示意图；
图7是本发明的一个实施例提供的一种电子设备的结构示意图；
图8是本发明的另一个实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是本发明的一个实施例提供的一种配图处理方法的流程示意图，参见图1，该方法具体可以包括如下步骤：
步骤102：接收用户的第一输入，所述第一输入用于选取配图模式。
参见图2，步骤102具体可以示例为：
用户在社交平台的动态编辑界面编辑文本信息，得到文本内容“xxxxxxxxxx”，然后，进行模式唤醒操作，例如：连续眨眼两次；电子设备响应所述模式唤醒操作，显示包含多种配图模式的智能配图模式选择窗口，供用户从中选出所需的目标配图模式。
不难理解的是，若无需编辑文本信息，则可直接在动态编辑界面进行模式唤醒操作，以唤醒智能配图模式选择窗口。
步骤104：响应于所述第一输入，确定与所述第一输入所选取的目标配图模式匹配的目标生成式对抗网络。
需要说明的是，该智能配图模式选择窗口中可能包括多个配图模式，参见图2，智能配图模式选择窗口中至少包括：智能生成模式、全智能生成模式和智能转换模式等；而且，由于不同配图模式对应的处理流程不相同，因此，可基于用户选择的目标配图模式的不同，选择与目标配图模式匹配的目标生成式对抗网络。
参见图3b，假设用户选取的目标配图模式为“智能生成模式”，则步骤104 具体可以示例为：
电子设备接收到用户对界面301中“智能生成模式”按钮的点击，跳转至界面302；用户将界面302向右滑动，以调出语义标签列表303；电子设备将语义标签列表303中的语义标签对应的生成式对抗网络确定为与“智能生成模式”匹配的目标生成式对抗网络。
步骤106：接收用户的第二输入，所述第二输入用于输入目标对象。具体可以示例为：
示例1、参见图3b，假设目标配图模式为“智能生成模式”，则展示语义标签列表，以供用户选择；接收用户的选择输入，以确定用户选择的目标语义标签并作为目标对象。
示例2、参见图4b，假设目标配图模式为“全智能生成模式”，则确定用户在社交平台的动态编辑界面编辑的文本信息并作为目标对象。
示例3、参见图5b，假设目标配图模式为“智能转换模式”的子模式“魔法模式”，则确定所述用户从本地图像库中选出的目标图像，并展示风格标签列表，以供用户选择，接收用户的选择输入，以确定用户选择的目标风格标签，并将所述目标图像和所述目标风格标签作为目标对象。
示例4、参见图6b，假设目标配图模式为“智能转换模式”的子模式“DIY 模式”，则展示画布窗口，确定所述用户在画布窗口绘制的简化图像并作为目标对象。
需要说明的是，在步骤106的示例4之前，方法还包括第三接收和响应步骤，该步骤的一种实现方式可以为：
步骤1051：接收用户的第三输入；
步骤1052：响应于所述第三输入，显示绘画界面；
则步骤106的一种实现方式可以为：
步骤1061：接收用户在所述绘画界面上绘制的简化图像。
参见图6b，步骤1051、步骤1052和步骤1061具体可以示例为：
电子设备接收到用户对界面602中“DIY模式”按钮的点击，跳转至界面603所示的绘画界面(画布窗口)，并接收用户在所述绘画界面上绘制的简化图像(如界面604中的简化图像)。
基于此，通过显示绘画界面，并接收用户在所述绘画界面上绘制的简化图像，能够方便用户绘制简化图像，从而提高由简化图像生成具象风格的目标配图的效率。
步骤108：响应于所述第二输入，显示目标配图，所述目标配图是基于所述第二输入所输入的目标对象，通过所述目标生成式对抗网络生成的。其第一种实现方式可以为：
假设目标配图模式为“智能生成模式”且用户选择了目标语义标签，则确定所述目标语义标签对应的第一目标生成式对抗网络，并基于所述第一目标生成式对抗网络，生成与所述目标语义标签相匹配的目标配图并显示。
其中，所述第一目标生成式对抗网络为基于与所述目标语义标签相匹配的图像样本训练的；所述语义标签列表中的语义标签可以是预先设定的图像分类，用于匹配不同类别的文本信息，语义标签可以是“动漫”、“开心”、“搞笑”或“摇滚”等。
参见图3b，假设用户预编辑的文本信息是“最近看了几部有关巴黎的动漫，好想以后能有机会去巴黎旅游！”，则步骤108的第一种实现方式具体可以示例为：
用户向右滑动语义标签列表303中的“动漫”语义标签，以选定“动漫”语义标签，并将其作为“最近看了几部有关巴黎的动漫，好想以后能有机会去巴黎旅游！”的目标语义标签；电子设备确定“动漫”语义标签对应的目标生成式对抗网络，所述目标生成式对抗网络经由大量的动漫类图像训练而成；电子设备基于所述“动漫”语义标签对应的目标生成式对抗网络，生成多个与“动漫”语义标签相匹配的目标配图并显示在界面305所示的智能生成图像预览窗口以供用户选择。
基于此，通过将用户输入的语义标签作为文本信息的目标语义标签，并使用所述目标语义标签对应的第一目标生成式对抗网络，生成与所述目标语义标签相匹配的图像，作为文本信息的目标配图，从而能够提高文本信息的目标配图的生成效率和个性化。
进一步地，本实施例在步骤108之后，还公开了目标配图重生成步骤，该步骤的一种实现方式可以为：
接收用户的第四输入，所述第四输入用于指示重新生成一张配图；响应于所述用户的第四输入，重新生成一张配图。具体可以示例为：
参见图3b，若用户对生成的目标配图目标均不满意，则可点击界面305 中的“再次生成”按钮，由电子设备基于第一目标生成式对抗网络重新生成一组新的目标配图，且新的目标配图与之前生成的目标配图不同。
基于此，本实施例通过在用户对生成的目标配图不满意时，重新生成目标配图，为用户提供更多的配图选择，以尽可能的满足用户的个性化需求。
需要说明的是，步骤108的第二种实现方式可以为：
假设目标配图模式为“全智能生成模式”，所述目标对象为所述用户预编辑的文本信息，则对所述文本信息进行语义分析，得到所述文本信息的目标语义标签，并确定所述目标语义标签对应的第一目标生成式对抗网络，并基于所述第一目标生成式对抗网络，生成与所述目标语义标签相匹配的目标配图并显示。
其中，所述第一目标生成式对抗网络为基于与所述目标语义标签相匹配的图像样本训练的。
参见图4b，假设用户预编辑的文本信息是“最近看了几部有关巴黎的动漫，好想以后能有机会去巴黎旅游！”，则步骤108的第二种实现方式具体可以示例为：
电子设备对“最近看了几部有关巴黎的动漫，好想以后能有机会去巴黎旅游！”进行语义分析，得到语义标签“动漫”和“巴黎”，并将其作为“最近看了几部有关巴黎的动漫，好想以后能有机会去巴黎旅游！”的目标语义标签；电子设备首先确定“动漫”语义标签对应的目标生成式对抗网络，所述目标生成式对抗网络经由大量的动漫类图像训练而成，电子设备再确定“巴黎”语义标签对应的目标生成式对抗网络，所述目标生成式对抗网络经由大量与巴黎有关的图像训练而成；电子设备分别基于所述“动漫”语义标签和“巴黎”语义标签对应的目标生成式对抗网络，生成多个与“动漫”语义标签和“巴黎”语义标签相匹配的目标配图并显示在界面402所示的智能生成图像预览窗口以供用户选择。
基于此，不仅可以由用户从语义标签列表中选出文本信息的目标语义标签，还可以直接由电子设备对用户编辑的文本信息进行语义分析得到文本信息的目标语义标签，不需用户选择，从而提高了语义标签确定的自动化程度、灵活性和多样性；进而能够基于所述目标语义标签对应的第一目标生成式对抗网络，生成与所述目标语义标签相匹配的图像，作为文本信息的目标配图，从而能够提高文本信息的目标配图的生成效率和个性化。
需要说明的是，步骤108的第三种实现方式可以为：
假设目标配图模式为“智能转换模式”的子模式“魔法模式”，且用户从本地图像库中选择了目标图像，并从风格标签列表中选择了目标风格标签，则确定所述目标风格标签对应的第二目标生成式对抗网络，并基于所述第二目标生成式对抗网络，对所述目标图像进行所述目标风格标签对应的风格转换处理，得到目标配图并显示。
其中，所述第二目标生成式对抗网络为基于第一图像对样本训练的，所述第一图像对样本包括：原始图像和所述原始图像对应的目标风格的图像，所述目标风格的图像为对所述原始图像进行变换处理得到的；所述目标风格标签可以是预先设定的图像变换风格，可以指示原始图像需要变换成的图像的目标风格，目标风格标签可以是“卡通”、“素描”、“梵高”等。
参见图5b，步骤108的第三种实现方式具体可以示例为：
电子设备接收用户从本地图像库中选取的如界面503所示的目标图像，用户向右滑动风格标签列表504中的“卡通”风格标签，并将其作为目标图像的目标风格标签；电子设备确定“卡通”风格标签对应的第二目标生成式对抗网络，所述第二目标生成式对抗网络预先经大量原始图像和原始图像对应的卡通风格图像的图像对训练而成；电子设备基于所述“卡通”风格标签对应的第二目标生成式对抗网络，将所述目标图像转换为所述“卡通”风格标签相匹配的目标配图并显示在界面505以供用户选择。
进一步地，假设目标图像为人像图像，目标风格标签为“卡通”风格标签，则第二目标生成式对抗网络训练的具体原理如下所示：
(1)首先可以通过爬虫工具很方便地收集n张(十几万级)人像图像，经过提取人脸区域的图像预处理之后获得图像集X；
(2)通过编写图像处理代码，将图像集X内的每张图像进行随机的扭曲、局部区域或整体的卡通图像变换包括头发也进行各种随机的颜色渲染，生成对应随机变换后的图像集Z，获取X和Z之后就构成了卡通生成式对抗网络 (Cartoon Generative AdversarialNetworks，CGAN)(训练卡通的GAN网络命名为CGAN)的训练集；
(3)CGAN网络接受原始图像集X和随机变换后的卡通图像集Z，在训练过程中，CGAN中的生成网络G的目标就是尽量生成该张图像对应的卡通图像去欺骗CGAN中判别网络D。而D的目标就是尽量把G生成的卡通图像和输入的卡通图像Z区分开来，这样，G和D构成了一个动态的“博弈过程”。
原理公式如下所示：
min(G)max(D)V(D,G)＝Ez(log(D(z))+Ex(log(1-D(G(x))))
上式中：
Ez表示从卡通图像集Z中选择图像样本，Ex表示从输入人像图像集X中选择图像样本，D(z)表示CGAN中的生成网络D判断卡通图像是否真实合理的概率(因为z是我们编写图像处理代码转换的，是我们的目标图像，所以对于 D来说，这个值越接近1越好)。
D(G(x))是为了判断生成网络G生成的图像是否真实的概率，G当然应该希望自己生成的图像“越接近目标卡通图像越好”。故G希望D(G(x))尽可能的大，这时V(D,G)会变小。需要最小化G，即min(G)。
CGAN的判别网络D训练的越好，D(x)应该越大，D(G(x))应该越小。这时V(D,G)会变大。需要最大化D，即max(D)。
(4)随着CGAN网络地不断训练，当训练完全收敛之后，判别网络G可以生成符合目标期望的卡通图像G(z)。对于D来说，它难以判定G生成的图像究竟是不是符合目标的，因此此时D(G(x))＝0.5，这样我们就训练获得了一个完美的CGAN生成模型G，如下图5b所示，当我们输入一张人像图像时给生成模型G时，它就可以获得对应的卡通风格的图像。
基于此，通过将用户输入的风格标签作为用户从本地图像库中选择的目标图像的目标风格标签，并使用所述目标风格标签对应的第二目标生成式对抗网络，将所述目标图像转换成与所述目标风格标签相匹配的图像，从而能够提高目标配图的生成效率和个性化。
需要说明的是，步骤108的第四种实现方式可以为：
假设目标配图模式为“智能转换模式”中的“DIY模式”，且用户绘制了简化图像，则确定预设风格标签对应的第三目标生成式对抗网络，并基于所述第三目标生成对抗式网络，对所述简化图像进行所述预设风格标签对应的风格转换处理，得到目标配图并显示。
其中，所述预设风格标签用于指示将所述简化图像转换为具象风格的图像；所述第三目标生成式对抗网络为基于第二图像对样本训练的，所述第二图像对样本包括：原始图像和所述原始图像对应的简化图像，所述原始图像为具象风格的图像，所述简化图像为对所述原始图像进行语义分割处理得到的。
参见图6b，步骤108的第四种实现方式具体可以示例为：
电子设备接收到用户在画布窗口绘制简化图像，并确定预设风格标签对应的第三目标生成式对抗网络，所述第三目标生成式对抗网络预先经由大量原始图像和原始图像对应的简化图像的图像对训练而成；电子设备基于所述第三目标生成式对抗网络，对界面604中的简化图像进行具象风格的转换处理，生成一张具象风格的目标配图并显示在界面605以供用户选择。
基于此，通过将用户绘制的简化图像转换为具象风格的目标配图，从而能够提高目标配图的生成效率和个性化。
进一步地，步骤108的第四种实现方式中的“基于所述第三目标生成对抗式网络，对所述简化图像进行具象风格标签对应的风格转换处理，得到目标配图并显示”的一种实现方式可以为：
步骤1081：确定所述简化图像中各元素的语义像素标签值；
步骤1082：基于所述第三目标生成式对抗网络，结合所述各元素的语义像素标签值，对所述各元素进行具象风格转换处理。
其中，简化图像中的元素可以是简化图像的组成部分，元素的语义标签值用于区分不同类别的元素，不用类别的元素的语义标签值不同，同一类别的元素的语义标签值相同。
需要说明的是，第三目标生成式对抗网络训练的具体原理如下所示：
(1)首先需要获取大量的图像，这些图像没有任何限制，可以是任意场景下的图像，这些图像作为ANYGAN(该方案下的GAN网络命名为ANYGAN) 的真实图像的输入；
(2)利用开源的场景分析网络模型工具对(1)中的图像进行内容分割，会对图像场景中的每一类物体产生不同的语义信息，即不同类物体的像素标签值是不一样的，而同一类物体的像素标签值是一样的，如图6c所示，原始图像经过场景分析开源模型之后，会将相同毛色的绵羊分成了一类，人分成了一类，狗分成了一类，草地也分成了一类，并且每一类都有各自的语义像素标签值。这样ANYGAN网络的训练图像集就有原始真实图像和对应的语义像素图像构成。
(3)然后将原始真实图像X和对应的语义像素图像Y输入给ANYGAN 网络，ANYGAN的生成器网络D对语义像素图像Y进行卷积层进行下采样提取卷积特征，然后通过上采样生成与原始真实图像X特别接近的图像D(Y)，然后D(Y)和X会输入给ANYGAN的判别器网络，判别器网络是一个分类网络，会对生成器生成的图像D(Y)与X进行判断，如果判别是真的(判别网络输出分数值很高)就输出1，否则就输出为0。判别网络目的是为了促使生成器网络不断训练出高质量的模型即生成更加真实的图像，不然生成的图像 D(Y)会很假不真实。
ANYGAN为判别器D提供平滑且非饱和梯度的损失函数，从而构造出最小二乘GANLOSS来训练网络，这样就缓解了GAN训练时的不稳定，提高了生成图像的质量和多样性。
判别器损失(loss)为：
min(D)＝EX((D(X)-b)2)+EY((D(G(Y))-a)2)
生成网络损失(loss)为：
EY((D(G(Y))-c)2)
上述loss中，EX表示从真实图像集中选择样本，EY表示从语义像素图像集中选择样本。D(X)是判别网络的输出，G(Y)是生成网络的输出，这里a,b,c是常量，满足b-c＝1和b-a＝2。
(4)循环交替地分别优化G和D的loss值来训练所需要的生成式网络与判别式网络，直到完全收敛。当训练优化完成后，就可以获得需要的生成模型，当用户随意画出简笔画涂色之后就可以生成高质量的真实图像。
基于此，通过基于所述第三目标生成式对抗网络，结合所述各元素的语义像素标签值，对所述各元素进行具象风格转换处理，从而能够使得生成的目标配图更准确。
本实施例中，通过基于用户输入的目标对象，利用与用户选取的目标配图模式匹配的目标生成式对抗网络，生成与用户输入的目标对象相匹配的目标配图，从而能够达到更便捷地生成个性化配图的目的。
图7是本发明的一个实施例提供的一种电子设备的结构示意图，参见图7，该电子设备具体可以包括：第一接收模块702、第一响应模块704、第二接收模块706和第二响应模块708，其中：
第一接收模块702，用于接收用户的第一输入，所述第一输入用于选取配图模式；
第一响应模块704，用于响应于所述第一输入，确定与所述第一输入所选取的目标配图模式匹配的目标生成式对抗网络；
第二接收模块706，用于接收用户的第二输入，所述第二输入用于输入目标对象；
第二响应模块708，用于响应于所述第二输入，显示目标配图，所述目标配图是基于所述第二输入所输入的目标对象，通过所述目标生成式对抗网络生成的。
可选的，所述目标对象为所述用户从语义标签列表中选出的目标语义标签；
其中，所述第二响应模块708，包括：
第一确定子模块，用于确定所述目标语义标签对应的第一目标生成式对抗网络；
第一生成子模块，用于基于所述第一目标生成式对抗网络，生成与所述目标语义标签相匹配的目标配图并显示；
其中，所述第一目标生成式对抗网络为基于与所述目标语义标签相匹配的图像样本训练的。
可选的，所述目标对象为所述用户预编辑的文本信息；
其中，所述第二响应模块708，包括：
分析子模块，用于对所述文本信息进行语义分析，得到所述文本信息的目标语义标签；
第二确定子模块，用于确定所述目标语义标签对应的第一目标生成式对抗网络；
第二生成子模块，用于基于所述第一目标生成式对抗网络，生成与所述目标语义标签相匹配的目标配图并显示；
其中，所述第一目标生成式对抗网络为基于与所述目标语义标签相匹配的图像样本训练的。
可选的，所述目标对象为所述用户从本地图像库中选出的目标图像和所述用户从风格标签列表中选出的目标风格标签；
其中，所述第二响应模块708，包括：
第三确定子模块，用于确定所述目标风格标签对应的第二目标生成式对抗网络；
第三生成子模块，用于基于所述第二目标生成式对抗网络，对所述目标图像进行所述目标风格标签对应的风格转换处理，得到目标配图并显示；
其中，所述第二目标生成式对抗网络为基于第一图像对样本训练的，所述第一图像对样本包括：原始图像和所述原始图像对应的目标风格的图像，所述目标风格的图像为对所述原始图像进行变换处理得到的。
可选的，所述目标图像为所述用户绘制的简化图像；
其中，所述第二响应模块708，包括：
第四确定子模块，用于确定预设风格标签对应的第三目标生成式对抗网络；
第四生成子模块，用于基于所述第三目标生成对抗式网络，对所述简化图像进行所述预设风格标签对应的风格转换处理，得到目标配图并显示；
其中，所述预设风格标签用于指示将所述简化图像转换为具象风格的图像；所述第三目标生成式对抗网络为基于第二图像对样本训练的，所述第二图像对样本包括：原始图像和所述原始图像对应的简化图像，所述简化图像为对所述原始图像进行语义分割处理得到的。
可选的，所述第四生成子模块，包括：
第四确定单元，用于确定所述简化图像中各元素的语义像素标签值；
第四生成单元，用于基于所述第三目标生成式对抗网络，结合所述各元素的语义像素标签值，对所述各元素进行具象风格转换处理。
可选的，电子设备还包括：
第三接收模块，用于接收用户的第三输入；
第三响应模块，用于响应于所述第三输入，显示绘画界面；
其中，所述第二接收模块，包括：
第二接收子模块，用于接收用户在所述绘画界面上绘制的简化图像。
可选的，电子设备还包括：
第四接收模块，用于接收用户的第四输入，所述第四输入用于指示重新生成一张配图；
第四响应模块，用于响应于所述用户的第四输入，重新生成一张配图。
可见，本实施例通过基于用户输入的目标对象，利用与用户选取的目标配图模式匹配的目标生成式对抗网络，生成与用户输入的目标对象相匹配的目标配图，从而能够达到更便捷地生成个性化配图的目的。
本发明实施例提供的装置能够实现图1至图6c的方法实施例中装置实现的各个过程，为避免重复，这里不再赘述。而且，应当注意的是，在本发明的装置的各个部件中，根据其要实现的功能而对其中的部件进行了逻辑划分，但是，本发明不受限于此，可以根据需要对各个部件进行重新划分或者组合。
图8为实现本发明各个实施例的一种电子设备的硬件结构示意图，
该电子设备800包括但不限于：射频单元801、网络模块802、音频输出单元803、输入单元804、传感器805、显示单元806、用户输入单元807、接口单元808、存储器809、处理器810、以及电源811等部件。本领域技术人员可以理解，图8中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。在本发明实施例中，电子设备包括但不限于手机、平板电脑、笔记本电脑、掌上电脑、车载终端、可穿戴设备、以及计步器等。
其中，处理器810，接收用户的第一输入，所述第一输入用于选取配图模式；
响应于所述第一输入，确定与所述第一输入所选取的目标配图模式匹配的目标生成式对抗网络；
接收用户的第二输入，所述第二输入用于输入目标对象；
响应于所述第二输入，显示目标配图，所述目标配图是基于所述第二输入所输入的目标对象，通过所述目标生成式对抗网络生成的。
通过基于用户输入的目标对象，利用与用户选取的目标配图模式匹配的目标生成式对抗网络，生成与用户输入的目标对象相匹配的目标配图，从而能够达到更便捷地生成个性化配图的目的。
应理解的是，本发明实施例中，射频单元801可用于收发信息或通话过程中，信号的接收和发送，具体的，将来自基站的下行数据接收后，给处理器810 处理；另外，将上行的数据发送给基站。通常，射频单元801包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外，射频单元801还可以通过无线通信系统与网络和其他设备通信。
电子设备通过网络模块802为用户提供了无线的宽带互联网访问，如帮助用户收发电子邮件、浏览网页和访问流式媒体等。
音频输出单元803可以将射频单元801或网络模块802接收的或者在存储器809中存储的音频数据转换成音频信号并且输出为声音。而且，音频输出单元803还可以提供与电子设备800执行的特定功能相关的音频输出(例如，呼叫信号接收声音、消息接收声音等等)。音频输出单元803包括扬声器、蜂鸣器以及受话器等。
输入单元804用于接收音频或视频信号。输入单元804可以包括图形处理器(Graphics Processing Unit，GPU)8041和麦克风8042，图形处理器8041 对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元806上。经图形处理器8041处理后的图像帧可以存储在存储器809(或其它存储介质) 中或者经由射频单元801或网络模块802进行发送。麦克风8042可以接收声音，并且能够将这样的声音处理为音频数据。处理后的音频数据可以在电话通话模式的情况下转换为可经由射频单元801发送到移动通信基站的格式输出。
电子设备800还包括至少一种传感器805，比如光传感器、运动传感器以及其他传感器。具体地，光传感器包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板8061的亮度，接近传感器可在电子设备800移动到耳边时，关闭显示面板8061和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别电子设备姿态(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击) 等；传感器805还可以包括指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等，在此不再赘述。
显示单元806用于显示由用户输入的信息或提供给用户的信息。显示单元 806可包括显示面板8061，可以采用液晶显示器(Liquid Crystal Display，LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板8061。
用户输入单元807可用于接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。具体地，用户输入单元807包括触控面板8071以及其他输入设备8072。触控面板8071，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板8071上或在触控面板8071附近的操作)。触控面板8071 可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器810，接收处理器810发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板8071。除了触控面板8071，用户输入单元807还可以包括其他输入设备8072。具体地，其他输入设备8072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。
进一步的，触控面板8071可覆盖在显示面板8061上，当触控面板8071 检测到在其上或附近的触摸操作后，传送给处理器810以确定触摸事件的类型，随后处理器810根据触摸事件的类型在显示面板8061上提供相应的视觉输出。虽然在图8中，触控面板8071与显示面板8061是作为两个独立的部件来实现电子设备的输入和输出功能，但是在某些实施例中，可以将触控面板8071与显示面板8061集成而实现电子设备的输入和输出功能，具体此处不做限定。
接口单元808为外部装置与电子设备800连接的接口。例如，外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/ 输出(I/O)端口、视频I/O端口、耳机端口等等。接口单元808可以用于接收来自外部装置的输入(例如，数据信息、电力等等)并且将接收到的输入传输到电子设备800内的一个或多个元件或者可以用于在电子设备800和外部装置之间传输数据。
存储器809可用于存储软件程序以及各种数据。存储器809可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器 809可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
处理器810是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器809内的软件程序和/或模块，以及调用存储在存储器809内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。处理器810可包括一个或多个处理单元；优选的，处理器810可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器810中。
电子设备800还可以包括给各个部件供电的电源811(比如电池)，优选的，电源811可以通过电源管理系统与处理器810逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
另外，电子设备800包括一些未示出的功能模块，在此不再赘述。
优选的，本发明实施例还提供一种电子设备，包括处理器，存储器，存储在存储器上并可在所述处理器上运行的计算机程序，该计算机程序被处理器执行时实现上述配图处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述配图处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本发明的保护之内。

Claims (10)

1.一种配图方法，其特征在于，包括：
接收用户的第一输入，所述第一输入用于选取配图模式；
响应于所述第一输入，确定与所述第一输入所选取的目标配图模式匹配的目标生成式对抗网络；
接收用户的第二输入，所述第二输入用于输入目标对象；
响应于所述第二输入，显示目标配图，所述目标配图是基于所述第二输入所输入的目标对象，通过所述目标生成式对抗网络生成的。
2.根据权利要求1所述的方法，其特征在于，所述目标对象为所述用户从语义标签列表中选出的目标语义标签；
其中，所述响应于所述第二输入，显示目标配图，包括：
确定所述目标语义标签对应的第一目标生成式对抗网络；
基于所述第一目标生成式对抗网络，生成与所述目标语义标签相匹配的目标配图并显示；
其中，所述第一目标生成式对抗网络为基于与所述目标语义标签相匹配的图像样本训练的。
3.根据权利要求1所述的方法，其特征在于，所述目标对象为所述用户预编辑的文本信息；
其中，所述响应于所述第二输入，显示目标配图，包括：
对所述文本信息进行语义分析，得到所述文本信息的目标语义标签；
确定所述目标语义标签对应的第一目标生成式对抗网络；
基于所述第一目标生成式对抗网络，生成与所述目标语义标签相匹配的目标配图并显示；
其中，所述第一目标生成式对抗网络为基于与所述目标语义标签相匹配的图像样本训练的。
4.根据权利要求1所述的方法，其特征在于，所述目标对象为所述用户从本地图像库中选出的目标图像和所述用户从风格标签列表中选出的目标风格标签；
其中，所述响应于所述第二输入，显示目标配图，包括：
确定所述目标风格标签对应的第二目标生成式对抗网络；
基于所述第二目标生成式对抗网络，对所述目标图像进行所述目标风格标签对应的风格转换处理，得到目标配图并显示；
其中，所述第二目标生成式对抗网络为基于第一图像对样本训练的，所述第一图像对样本包括：原始图像和所述原始图像对应的目标风格的图像，所述目标风格的图像为对所述原始图像进行变换处理得到的。
5.根据权利要求1所述的方法，其特征在于，所述目标图像为所述用户绘制的简化图像；
其中，所述响应于所述第二输入，显示目标配图，包括：
确定预设风格标签对应的第三目标生成式对抗网络；
基于所述第三目标生成对抗式网络，对所述简化图像进行所述预设风格标签对应的风格转换处理，得到目标配图并显示；
其中，所述预设风格标签用于指示将所述简化图像转换为具象风格的图像；所述第三目标生成式对抗网络为基于第二图像对样本训练的，所述第二图像对样本包括：原始图像和所述原始图像对应的简化图像，所述简化图像为对所述原始图像进行语义分割处理得到的。
6.根据权利要求5所述的方法，其特征在于，所述基于所述第三目标生成式对抗网络，对所述简化图像进行所述预设风格标签对应的风格转换处理，包括：
确定所述简化图像中各元素的语义像素标签值；
基于所述第三目标生成式对抗网络，结合所述各元素的语义像素标签值，对所述各元素进行具象风格转换处理。
7.根据权利要求5所述的方法，其特征在于，所述接收用户的第二输入之前，还包括：
接收用户的第三输入；
响应于所述第三输入，显示绘画界面；
所述接收用户的第二输入，包括：
接收用户在所述绘画界面上绘制的简化图像。
8.根据权利要求1至7中任一项所述的方法，其特征在于，在所述响应于所述第二输入，显示目标配图之后，还包括：
接收用户的第四输入，所述第四输入用于指示重新生成一张配图；
响应于所述用户的第四输入，重新生成一张配图。
9.一种电子设备，其特征在于，包括：
第一接收模块，用于接收用户的第一输入，所述第一输入用于选取配图模式；
第一响应模块，用于响应于所述第一输入，确定与所述第一输入所选取的目标配图模式匹配的目标生成式对抗网络；
第二接收模块，用于接收用户的第二输入，所述第二输入用于输入目标对象；
第二响应模块，用于响应于所述第二输入，显示目标配图，所述目标配图是基于所述第二输入所输入的目标对象，通过所述目标生成式对抗网络生成的。
10.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至8中任一项所述的方法的步骤。
CN201910819122.6A 2019-08-30 2019-08-30 一种配图处理方法及电子设备 Active CN110544287B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910819122.6A CN110544287B (zh) 2019-08-30 2019-08-30 一种配图处理方法及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910819122.6A CN110544287B (zh) 2019-08-30 2019-08-30 一种配图处理方法及电子设备

Publications (2)

Publication Number Publication Date
CN110544287A true CN110544287A (zh) 2019-12-06
CN110544287B CN110544287B (zh) 2023-11-10

Family

ID=68711014

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910819122.6A Active CN110544287B (zh) 2019-08-30 2019-08-30 一种配图处理方法及电子设备

Country Status (1)

Country Link
CN (1) CN110544287B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111553854A (zh) * 2020-04-21 2020-08-18 维沃移动通信有限公司 一种图像处理方法及电子设备
CN111639208A (zh) * 2020-04-30 2020-09-08 维沃移动通信有限公司 动画显示方法及装置
CN113377970A (zh) * 2020-03-10 2021-09-10 阿里巴巴集团控股有限公司 信息的处理方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108961157A (zh) * 2018-06-19 2018-12-07 Oppo广东移动通信有限公司 图片处理方法、图片处理装置及终端设备
CN110086999A (zh) * 2019-05-28 2019-08-02 维沃移动通信有限公司 图像信息的反馈方法及终端设备
US20190251612A1 (en) * 2018-02-15 2019-08-15 Adobe Inc. Generating user-customized items using a visually-aware image generation network
CN110135574A (zh) * 2018-02-09 2019-08-16 北京世纪好未来教育科技有限公司 神经网络训练方法、图像生成方法及计算机存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110135574A (zh) * 2018-02-09 2019-08-16 北京世纪好未来教育科技有限公司 神经网络训练方法、图像生成方法及计算机存储介质
US20190251612A1 (en) * 2018-02-15 2019-08-15 Adobe Inc. Generating user-customized items using a visually-aware image generation network
CN108961157A (zh) * 2018-06-19 2018-12-07 Oppo广东移动通信有限公司 图片处理方法、图片处理装置及终端设备
CN110086999A (zh) * 2019-05-28 2019-08-02 维沃移动通信有限公司 图像信息的反馈方法及终端设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
何剑华等: "基于改进的CycleGAN模型非配对的图像到图像转换", 《玉林师范学院学报》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113377970A (zh) * 2020-03-10 2021-09-10 阿里巴巴集团控股有限公司 信息的处理方法和装置
CN111553854A (zh) * 2020-04-21 2020-08-18 维沃移动通信有限公司 一种图像处理方法及电子设备
CN111639208A (zh) * 2020-04-30 2020-09-08 维沃移动通信有限公司 动画显示方法及装置

Also Published As

Publication number Publication date
CN110544287B (zh) 2023-11-10

Similar Documents

Publication Publication Date Title
CN109857905B (zh) 一种视频编辑方法及终端设备
CN112101329B (zh) 一种基于视频的文本识别方法、模型训练的方法及装置
CN111209423B (zh) 一种基于电子相册的图像管理方法、装置以及存储介质
CN113395542B (zh) 基于人工智能的视频生成方法、装置、计算机设备及介质
CN111325699B (zh) 图像修复方法和图像修复模型的训练方法
CN112689201B (zh) 弹幕信息识别方法、显示方法、服务器及电子设备
CN109284081B (zh) 一种音频的输出方法、装置及音频设备
CN110544287B (zh) 一种配图处理方法及电子设备
CN109495616B (zh) 一种拍照方法及终端设备
CN111491123A (zh) 视频背景处理方法、装置及电子设备
CN109815462B (zh) 一种文本生成方法及终端设备
CN113050860B (zh) 一种控件识别方法和相关装置
CN109246474B (zh) 一种视频文件编辑方法及移动终端
CN111372029A (zh) 视频显示方法、装置及电子设备
CN107864353A (zh) 一种视频录制方法及移动终端
CN110766081A (zh) 一种界面图像检测的方法、模型训练的方法以及相关装置
CN108460817A (zh) 一种拼图方法及移动终端
CN107704514A (zh) 一种照片管理方法、装置及计算机可读存储介质
CN109993234B (zh) 一种无人驾驶训练数据分类方法、装置及电子设备
CN110706679B (zh) 一种音频处理方法及电子设备
CN109669710B (zh) 便签处理方法及终端
CN110808019A (zh) 一种歌曲生成方法及电子设备
CN108765522B (zh) 一种动态图像生成方法及移动终端
CN109166164B (zh) 一种表情图片的生成方法及终端
CN112818733B (zh) 信息处理方法、装置、存储介质及终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant