CN111710011B - 一种漫画生成方法、系统、电子设备及介质 - Google Patents

一种漫画生成方法、系统、电子设备及介质 Download PDF

Info

Publication number
CN111710011B
CN111710011B CN202010524346.7A CN202010524346A CN111710011B CN 111710011 B CN111710011 B CN 111710011B CN 202010524346 A CN202010524346 A CN 202010524346A CN 111710011 B CN111710011 B CN 111710011B
Authority
CN
China
Prior art keywords
cartoon
picture
feature
network
loss
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010524346.7A
Other languages
English (en)
Other versions
CN111710011A (zh
Inventor
雷杨
刘鹏
黄跃中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Mengying Animation Network Technology Co ltd
Original Assignee
Guangzhou Mengying Animation Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Mengying Animation Network Technology Co ltd filed Critical Guangzhou Mengying Animation Network Technology Co ltd
Priority to CN202010524346.7A priority Critical patent/CN111710011B/zh
Publication of CN111710011A publication Critical patent/CN111710011A/zh
Application granted granted Critical
Publication of CN111710011B publication Critical patent/CN111710011B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种漫画生成方法、系统、电子设备及介质,所述的方法:提供多维元素,所述多维元素包括图片以下之一:漫画图片、预处理漫画图片和实际图片;提供神经网络,将所述多维元素输入所述神经网络进行训练,获取生成模型;将所述多维元素输入所述生成模型,获取目标漫画。不仅考虑实际图片转化为漫画图片的内容损失,而且考虑到实际图片转化过程中的风格损失,通过训练,降低内容损失和风格损失,达到实际图片的风格迁移的目的。

Description

一种漫画生成方法、系统、电子设备及介质
技术领域
本发明涉及图像处理技术,特别是涉及一种漫画生成方法、系统、电子设备及介质。
背景技术
在动画及漫画创作过程中,需要依据实际图片进行风格迁移,以获取相关的漫画作品,目前,通常采用降低实际图片与生成漫画之间的内容损失方法获取理想的生成漫画,往往造成生成漫画的风格与理想的生成漫画的风格产生偏差。
发明内容
鉴于以上所述现有技术的缺点,本发明的目的在于提供一种漫画生成方法、系统、电子设备及介质,用于解决现有技术中生成漫画效果不佳的问题。
为实现上述目的及其他相关目的,本发明提供一种漫画生成方法,包括:
提供多维元素,所述多维元素包括图片以下之一:漫画图片、预处理漫画图片和实际图片;
提供神经网络,将所述多维元素输入所述神经网络进行训练,获取生成模型;
将所述多维元素输入所述生成模型,获取目标漫画。
可选的,所述预处理漫画图片的生成过程包括:对所述漫画图片边缘进行平滑处理,获取所述预处理漫画图片。
可选的,提供神经网络,将所述多维元素输入所述神经网络进行训练,获取生成模型的步骤包括:
所述神经网络包括生成网络和鉴别网络,将所述实际图片输入所述生成网络,获取转化漫画图片;
分别将所述漫画图片、所述转化漫画图片以及所述预处理漫画图片输入所述鉴别网络,获取对应的鉴别结果;
依据所述漫画图片、所述转化漫画图片以及所述预处理漫画图片所对应的鉴别结果、内容特征、风格特征确定第一损失函数和第二损失函数,其中,所述第一损失函数为鉴别网络的损失函数,所述第二损失函数为生成网络的损失函数;
通过配置所述第一损失函数对所述鉴别网络进行训练,通过所述第二损失函数对所述生成网络进行训练,获取所述生成模型。
可选的,所述第一损失函数的数学表达为:
d_total_loss=BCELoss(D_real,1)+BCELoss(D_fake,0)+BCELoss(D_edge,0)
其中,d_total_loss为所述第一损失函数,BCELoss为二进制交叉熵损失函数,D_real为所述漫画图片的鉴别结果,D_fake为所述转化漫画图片的鉴别结果,D_edge为所述预处理漫画图片的鉴别结果。
BCELoss的数学表达如下:
Figure GDA0003034930590000021
ln=-[yn·log(xn)+(1-yn·log(1-xn)]
其中,xn为输入值,yn为目标向量值,yn的所有元素取值0到1区间,BCELoss用于衡量输入xn与目标二进制值yn之间的差异。
可选的,所述第二损失函数的数学表达为:
g_total_loss=BCELoss(D_fake,1)+
L1Loss(x_feature,G_feature)+
L1Loss(y_feature,G_feature)
其中,g_total_loss为第二损失函数,L1Loss为L1范数损失度量函数,D_fake为所述转化漫画图片的鉴别结果,x_feature为实际图片经VGG网络提取的内容特征,G_feature为转化漫画图片经VGG网络提取的风格特征,y_feature为所述漫画图片经VGG网络提取的风格特征;L1Loss的数学定义如下:
Figure GDA0003034930590000022
其中:
dn=|xn-yn|。
可选的,所述实际图片的内容特征、所述转化漫画图片的风格特征以及所述漫画图片的风格特征的提取过程包括:
提供VGG神经网络,去掉VGG网络的全连接层,仅保留VGG的所有卷积层输出作为风格特征提取器,由VGG网络对所述实际图片提取内容特征,对所述漫画图片及所述转化漫画图片提取风格特征。
可选的,所述神经网络包括GAN网络,所述生成网络包括G网络,所述鉴别网络包括D网络。
一种漫画生成系统,包括:
数据集模块,用于提供多维元素,所述多维元素包括图片以下之一:漫画图片、预处理漫画图片和实际图片;
神经网络模块,用于提供神经网络,将所述多维元素输入所述神经网络进行训练,获取生成模型;
生成模块,用于将所述多维元素输入所述生成模型,获取目标漫画。
一种电子设备,包括:
一个或多个处理器;和
其上存储有指令的一个或多个机器可读介质,当所述一个或多个处理器执行时,使得所述设备执行中一个或多个所述的方法。
一个或多个机器可读介质,其上存储有指令,当由一个或多个处理器执行时,使得设备执行如一个或多个所述的方法。
如上所述,本发明提供的一种漫画生成方法、系统、电子设备及介质,具有以下有益效果:
不仅考虑实际图片转化为漫画图片的内容损失,而且考虑到实际图片转化过程中的风格损失,通过训练,降低内容损失和风格损失,达到实际图片的风格迁移的目的。
附图说明
图1为本发明实施例中漫画生成方法的流程示意图。
图2为本发明实施例中S2的流程示意图。
图3为本发明实施例中生成网络的结构示意图。
图4为本发明实施例中鉴别网络的结构示意图。
图5为本发明实施例中漫画生成系统的结构示意图。
图6为一实施例提供的终端设备的硬件结构示意图。
图7为另一实施例提供的终端设备的硬件结构示意图。
元件标号说明
10 数据集模块
20 神经网络模块
30 生成模块
1100 输入设备
1101 第一处理器
1102 输出设备
1103 第一存储器
1104 通信总线
1200 处理组件
1201 第二处理器
1202 第二存储器
1203 通信组件
1204 电源组件
1205 多媒体组件
1206 语音组件
1207 输入/输出接口
1208 传感器组件
具体实施方式
以下通过特定的具体实例说明本发明的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神下进行各种修饰或改变。需说明的是,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。
需要说明的是,以下实施例中所提供的图示仅以示意方式说明本发明的基本构想,遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制,其实际实施时各组件的型态、数量及比例可为一种随意的改变,且其组件布局型态也可能更为复杂。
请参阅图1,本发明提供一种漫画生成方法,包括:
S1:提供多维元素,所述多维元素包括图片以下之一:漫画图片、预处理漫画图片和实际图片;
S2:提供神经网络,将所述多维元素输入所述神经网络进行训练,不仅降低转化漫画图片与实际图片之间的内容损失,而且减低了转化漫画图片与漫画图片之间的风格损失,获取生成模型;
S3:将所述实际图片输入所述生成模型,获取目标漫画。通过降低转化漫画图片与实际图片之间的内容损失,提高了漫画的接近程度,通过降低转化漫画图片与漫画图片之间的风格损失,使得目标漫画更接近设定风格,通过调控、训练和降低内容损失以及风格损失大小,达到实际图片转化为特定风格的目标漫画的目的。
在一些实施过程中,所述预处理漫画图片的生成过程包括:对所述漫画图片边缘进行平滑处理,且不对图片的其他部位进行平滑处理,进而获取边缘模糊的漫画预处理图片。该漫画预处理图片用于训练鉴别网络,鉴别边缘模糊的漫画,以避免生成网络生成模糊效果。
请参阅图2,在一些实施过程中,提供神经网络,将所述多维元素输入所述神经网络进行训练,获取生成模型的步骤S2包括:
S21:所述神经网络包括生成网络和鉴别网络,将所述实际图片输入所述生成网络,获取转化漫画图片;
S22:分别将所述漫画图片、所述转化漫画图片以及所述预处理漫画图片输入所述鉴别网络,获取对应的输出鉴别结果;例如,设定xn为漫画图片、yn为实际图片、D为鉴别网络,D对漫画图片进行鉴别,输出鉴别结果为D_real;D对转化漫画图片G_做鉴别,输出鉴别结果为D_fake;D对预处理漫画图片鉴别输出鉴别结果为D_edge;鉴别网络D最理想情况下,D_real趋向于1(判断为真漫画图片),D_fake趋向于0(判断为假漫画图片),D_edge趋向于0(判断为假漫画图片),此时D能够鉴别所有多维元素是否为漫画图片,与此同时,需要不断地增强和训练生成网络G,G的损失函数设计会驱使G网络努力使D_fake趋向于1;
S23:依据所述漫画图片、所述转化漫画图片以及所述预处理漫画图片所对应的鉴别结果、内容特征、风格特征确定第一损失函数和第二损失函数,其中,所述第一损失函数为鉴别网络的损失函数,所述第二损失函数为生成网络的损失函数,例如,可采取一次训练和二次训练,一次训练过程包括对生成网络G和鉴别网络D的更新,鉴别网络D的更新过程:对D定义一个总的损失函数d_total_loss,它由三部分组成,a、D对漫画图片yn的鉴别损失为BCELoss(D_real,1),其中BCELoss用于衡量输入xn与目标二进制值yn之间的差异;b、D对转化漫画图片的鉴别损失为BCELoss(D_fake,0);c、D对预处理漫画图片鉴别损失为BCELoss(D_edge,0);所以,第一损失函数:d_total_loss=BCELoss(D_real,1)+BCELoss(D_fake,0)+BCELoss(D_edge,0);以此损失函数为最小化为目标,更新参数,即为D的一个优化步骤。生成网络G的更新过程:分别对实际图片xn和转化漫画图片G_使用VGG神经网络分别提取内容特征和风格特征,分别得到x_feature,G_feature,以x_feature与G_feature间的l1损失为目标函数,更新G的参数。在二次训练中:网络G的损失函数由以下几部分组成:a、D鉴别G_(转化漫画图片)的结果D_fake损失,定义为BCELoss(D_fake,1);b、实际图片xn与转化漫画之间的风格损失:L1Loss(x_feature-G_feature);c、漫画图片与转化漫画图片之间的风格损失L1Loss(y_feature-G_feature);所以G的第二损失函数可以这样表达:g_total_loss=BCELoss(D_fake,1)+L1Loss(x_feature-G_feature)+L1Loss(y_feature-G_feature)。然后按该损失函数不断更新G,最终可使G:1、生成的转化漫画图片越来越逼真(D_fake趋向于1);2、生成的转化漫画图片的风格与实际图片的风格很像(L1Loss(x_feature-G_feature)差异越来越小);3、生成的转化漫画图片的风格与漫画图片的风格很像(L1Loss(y_feature-G_feature)差异越来越小).综上,对损失函数增加风格损失的方式,可使生成效果即保留实际图片的风格,又保留漫画图片的风格。实际训练过程中,不同损失之间需要加一定的系数进行控制。否则,如果实际图片的特征太强,转化漫画图片太像实际图片;如果漫画图片的风格太强,则生成的图会失去原实际图片的样貌,风格损失间的系数是经过不断训练、测试调整的;
S24:通过配置所述第一损失函数对所述鉴别网络进行训练,通过所述第二损失函数对所述生成网络进行训练,获取所述生成模型。其中,生成网络G的结构如图3所示,鉴别网络D的结构如图4所示,k表示了卷积核大小,n表示卷积层输出通道数,s表示步长,conv表示卷积层,norm表示归一化层,ReLU表示激活函数,ES表示全连接层。
在一些实施过程中,所述第一损失函数的数学表达为:
d_total_loss=BCELoss(D_real,1)+BCELoss(D_fake,0)+BCELoss(D_edge,0)
其中,d_total_loss为所述第一损失函数,BCELoss为二进制交叉熵损失函数,D_real为所述漫画图片的鉴别结果,D_fake为所述转化漫画图片的鉴别结果,D_edge为所述预处理漫画图片的鉴别结果;
BCELoss的数学表达如下:
Figure GDA0003034930590000061
ln=-[yn·log(xn)+(1-yn·log(1-xn)]
其中,xn为输入值,yn为目标向量值,其所有元素取值0到1区间,BCELoss用于衡量输入xn与目标二进制值yn之间的差异。
在一些实施过程中,所述第二损失函数的数学表达为:
g_total_loss=BCELoss(D_fake,1)+L1Loss(x_feature,G_feature)+L1Loss(y_feature,G_feature)
其中,g_total_loss为第二损失函数,L1Loss为L1范数损失度量函数,D_fake为所述转化漫画图片的鉴别结果,x_feature为实际图片的内容特征,G_feature为转化漫画图片的风格特征,y_feature为所述漫画图片的风格特征,L1Loss的数学定义如下:
Figure GDA0003034930590000071
其中:
dn=|xn-yn|
L1Loss度量了两个输入之间差异的绝对值的均值,反应了两个输入间的内容绝对差异。
在一些实施过程中,所述实际图片的内容特征、所述转化漫画图片的风格特征以及所述漫画图片的风格特征的提取过程包括:
提供VGG神经网络,去掉VGG网络的全连接层,仅保留VGG的所有卷积层输出作为风格特征提取器。由VGG网络对所述实际图片提取内容特征,对所述漫画图片及所述转化漫画图片提取风格特征。
请参阅图5,一种漫画生成系统,包括:
数据集模块10,用于提供多维元素,所述多维元素包括图片以下之一:漫画图片、预处理漫画图片和实际图片;
神经网络模块20,用于提供神经网络,将所述多维元素输入所述神经网络进行训练,获取生成模型;
生成模块30,用于将所述多维元素输入所述生成模型,获取目标漫画。
可选的,所述预处理漫画图片的生成过程包括:对所述漫画图片进行边缘进行平滑处理,获取所述预处理漫画图片。
可选的,提供神经网络,将所述多维元素输入所述神经网络进行训练,获取生成模型的步骤包括:所述神经网络包括生成网络和鉴别网络,将所述实际图片输入所述生成网络,获取转化漫画图片;分别将所述漫画图片、所述转化漫画图片以及所述预处理漫画图片输入所述鉴别网络,获取对应的鉴别结果;依据所述漫画图片、所述转化漫画图片以及所述预处理漫画图片所对应的鉴别结果、内容特征、风格特征确定第一损失函数和第二损失函数,其中,所述第一损失函数为鉴别网络的损失函数,所述第二损失函数为生成网络的损失函数;通过配置所述第一损失函数对所述鉴别网络进行训练,通过所述第二损失函数对所述生成网络进行训练,获取所述生成模型。
可选的,所述第一损失函数的数学表达为:
d_total_loss=BCELoss(D_real,1)+BCELoss(D_fake,0)+BCELoss(D_edge,0)
其中,d_total_loss为所述第一损失函数,BCELoss为二进制交叉熵损失函数,D_real为所述漫画图片的鉴别结果,D_fake为所述转化漫画图片的鉴别结果,D_edge为所述预处理漫画图片的鉴别结果;
BCELoss的数学表达如下:
Figure GDA0003034930590000081
ln=-[yn·log(xn)+(1-yn·log(1-xn)]
其中,xn为输入值,yn为目标向量值,其所有元素取值0到1区间。
可选的,所述第二损失函数的数学表达为:
g_total_loss=BCELoss(D_fake,1)+L1Loss(x_feature,G_feature)+L1Loss(y_feature,G_feature)
其中,g_total_loss为第二损失函数,L1Loss为L1范数损失度量函数,D_fake为所述转化漫画图片的鉴别结果,x_feature为实际图片的内容特征,G_feature为转化漫画图片的风格特征,y_feature为所述漫画图片的风格特征,L1Loss的数学定义如下:
Figure GDA0003034930590000082
其中:
dn=|xn-yn|
L1Loss度量了两个输入之间差异的绝对值的均值,反应了两个输入间的内容绝对差异。
可选的,所述实际图片的内容特征、所述转化漫画图片的风格特征以及所述漫画图片的风格特征的提取过程包括:
提供VGG神经网络,去掉VGG网络的全连接层,仅保留VGG的所有卷积层输出作为风格特征提取器。由VGG网络对所述实际图片提取内容特征,对所述漫画图片及所述转化漫画图片提取风格特征。
可选的,所述神经网络包括GAN网络,所述生成网络包括G网络,所述鉴别网络包括D网络。
本申请实施例还提供了一种设备,该设备可以包括:一个或多个处理器;和其上存储有指令的一个或多个机器可读介质,当由所述一个或多个处理器执行时,使得所述设备执行图1所述的方法。在实际应用中,该设备可以作为终端设备,也可以作为服务器,终端设备的例子可以包括:智能手机、平板电脑、电子书阅读器、MP3(动态影像专家压缩标准语音层面3,Moving Picture Experts Group Audio Layer III)播放器、MP4(动态影像专家压缩标准语音层面4,Moving Picture Experts Group Audio Layer IV)播放器、膝上型便携计算机、车载电脑、台式计算机、机顶盒、智能电视机、可穿戴设备等等,本申请实施例对于具体的设备不加以限制。
本申请实施例还提供了一种非易失性可读存储介质,该存储介质中存储有一个或多个模块(programs),该一个或多个模块被应用在设备时,可以使得该设备执行本申请实施例的图1中数据处理方法所包含步骤的指令(instructions)。
图6为本申请一实施例提供的终端设备的硬件结构示意图。如图所示,该终端设备可以包括:输入设备1100、第一处理器1101、输出设备1102、第一存储器1103和至少一个通信总线1104。通信总线1104用于实现元件之间的通信连接。第一存储器1103可能包含高速RAM存储器,也可能还包括非易失性存储NVM,例如至少一个磁盘存储器,第一存储器1103中可以存储各种程序,用于完成各种处理功能以及实现本实施例的方法步骤。
可选的,上述第一处理器1101例如可以为中央处理器(Central ProcessingUnit,简称CPU)、应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,该第一处理器1101通过有线或无线连接耦合到上述输入设备1100和输出设备1102。
可选的,上述输入设备1100可以包括多种输入设备,例如可以包括面向用户的用户接口、面向设备的设备接口、软件的可编程接口、摄像头、传感器中至少一种。可选的,该面向设备的设备接口可以是用于设备与设备之间进行数据传输的有线接口、还可以是用于设备与设备之间进行数据传输的硬件插入接口(例如USB接口、串口等);可选的,该面向用户的用户接口例如可以是面向用户的控制按键、用于接收语音输入的语音输入设备以及用户接收用户触摸输入的触摸感知设备(例如具有触摸感应功能的触摸屏、触控板等);可选的,上述软件的可编程接口例如可以是供用户编辑或者修改程序的入口,例如芯片的输入引脚接口或者输入接口等;输出设备1102可以包括显示器、音响等输出设备。
在本实施例中,该终端设备的处理器包括用于执行各设备中语音识别装置各模块的功能,具体功能和技术效果参照上述实施例即可,此处不再赘述。
图7为本申请的一个实施例提供的终端设备的硬件结构示意图。图7是对图6在实现过程中的一个具体的实施例。如图所示,本实施例的终端设备可以包括第二处理器1201以及第二存储器1202。
第二处理器1201执行第二存储器1202所存放的计算机程序代码,实现上述实施例中图4所述方法。
第二存储器1202被配置为存储各种类型的数据以支持在终端设备的操作。这些数据的示例包括用于在终端设备上操作的任何应用程序或方法的指令,例如消息,图片,视频等。第二存储器1202可能包含随机存取存储器(random access memory,简称RAM),也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
可选地,第二处理器1201设置在处理组件1200中。该终端设备还可以包括:通信组件1203,电源组件1204,多媒体组件1205,语音组件1206,输入/输出接口1207和/或传感器组件1208。终端设备具体所包含的组件等依据实际需求设定,本实施例对此不作限定。
处理组件1200通常控制终端设备的整体操作。处理组件1200可以包括一个或多个第二处理器1201来执行指令,以完成上述数据处理方法中的全部或部分步骤。此外,处理组件1200可以包括一个或多个模块,便于处理组件1200和其他组件之间的交互。例如,处理组件1200可以包括多媒体模块,以方便多媒体组件1205和处理组件1200之间的交互。
电源组件1204为终端设备的各种组件提供电力。电源组件1204可以包括电源管理系统,一个或多个电源,及其他与为终端设备生成、管理和分配电力相关联的组件。
多媒体组件1205包括在终端设备和用户之间的提供一个输出接口的显示屏。在一些实施例中,显示屏可以包括液晶显示器(LCD)和触摸面板(TP)。如果显示屏包括触摸面板,显示屏可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。
语音组件1206被配置为输出和/或输入语音信号。例如,语音组件1206包括一个麦克风(MIC),当终端设备处于操作模式,如语音识别模式时,麦克风被配置为接收外部语音信号。所接收的语音信号可以被进一步存储在第二存储器1202或经由通信组件1203发送。在一些实施例中,语音组件1206还包括一个扬声器,用于输出语音信号。
输入/输出接口1207为处理组件1200和外围接口模块之间提供接口,上述外围接口模块可以是点击轮,按钮等。这些按钮可包括但不限于:音量按钮、启动按钮和锁定按钮。
传感器组件1208包括一个或多个传感器,用于为终端设备提供各个方面的状态评估。例如,传感器组件1208可以检测到终端设备的打开/关闭状态,组件的相对定位,用户与终端设备接触的存在或不存在。传感器组件1208可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在,包括检测用户与终端设备间的距离。在一些实施例中,该传感器组件1208还可以包括摄像头等。
通信组件1203被配置为便于终端设备和其他设备之间有线或无线方式的通信。终端设备可以接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合。在一个实施例中,该终端设备中可以包括SIM卡插槽,该SIM卡插槽用于插入SIM卡,使得终端设备可以登录GPRS网络,通过互联网与服务器建立通信。
由上可知,在图7实施例中所涉及的通信组件1203、语音组件1206以及输入/输出接口1207、传感器组件1208均可以作为图6实施例中的输入设备的实现方式。
上述实施例仅例示性说明本发明的原理及其功效,而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下,对上述实施例进行修饰或改变。因此,举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变,仍应由本发明的权利要求所涵盖。

Claims (7)

1.一种漫画生成方法,其特征在于,包括:
提供多维元素,所述多维元素包括:漫画图片、预处理漫画图片和实际图片;
提供神经网络,将所述多维元素输入所述神经网络进行训练,获取生成模型,其步骤包括:所述神经网络包括生成网络和鉴别网络,将所述实际图片输入所述生成网络,获取转化漫画图片;分别将所述漫画图片、所述转化漫画图片以及所述预处理漫画图片输入所述鉴别网络,获取对应的鉴别结果;依据所述漫画图片、所述转化漫画图片以及所述预处理漫画图片所对应的鉴别结果、内容特征、风格特征确定第一损失函数和第二损失函数,其中,所述第一损失函数为鉴别网络的损失函数,所述第二损失函数为生成网络的损失函数;通过配置所述第一损失函数对所述鉴别网络进行训练,通过所述第二损失函数对所述生成网络进行训练,获取所述生成模型;
将所述多维元素输入所述生成模型,获取目标漫画;
所述第一损失函数的数学表达为:
d_total_loss=BCELoss(D_real,1)+BCELoss(D_fake,0)+BCELoss(D_edge,0)
其中,d_total_loss为所述第一损失函数,BCELoss为二进制交叉熵损失函数,D_real为所述漫画图片的鉴别结果,D_fake为所述转化漫画图片的鉴别结果,D_edge为所述预处理漫画图片的鉴别结果;
BCELoss的数学表达如下:
Figure FDA0003046004470000011
ln=-[yn·log(xn)+(1-yn)·log(1-xn)]
其中,xn为输入值,yn为目标向量值;
所述第二损失函数的数学表达为:
g_total_loss=BCELoss(D_fake,1)+L1Loss(x_feature,G_feature)+L1Loss(y_feature,G_feature)
其中,g_total_loss为第二损失函数,L1Loss为L1范数损失度量函数,D_fake为所述转化漫画图片的鉴别结果,x_feature为实际图片经VGG网络提取的内容特征,G_feature为转化漫画图片经VGG网络提取的风格特征,y_feature为所述漫画图片经VGG网络提取的风格特征,L1Loss(x_feature,G_feature)衡量实际图片与转化漫画间的内容损失,L1Loss(y_feature,G_feature)衡量漫画图片与转化漫画间的风格损失,
L1Loss的数学定义如下:
Figure FDA0003046004470000021
其中:
dn=|xn-yn|。
2.根据权利要求1所述的漫画生成方法,其特征在于,所述预处理漫画图片的生成过程包括:对所述漫画图片边缘进行平滑处理,获取所述预处理漫画图片。
3.根据权利要求1所述的漫画生成方法,其特征在于,所述实际图片的内容特征、所述转化漫画图片的风格特征以及所述漫画图片的风格特征的提取过程包括:
提供VGG神经网络,去掉VGG网络的全连接层,仅保留VGG的所有卷积层输出作为风格特征提取器,由VGG网络对所述实际图片提取内容特征,对所述漫画图片及所述转化漫画图片提取风格特征。
4.根据权利要求1至3任一项所述的漫画生成方法,其特征在于,所述神经网络包括GAN网络,所述生成网络包括G网络,所述鉴别网络包括D网络。
5.一种漫画生成系统,其特征在于,包括:
数据集模块,用于提供多维元素,所述多维元素包括:漫画图片、预处理漫画图片和实际图片;
神经网络模块,用于提供神经网络,将所述多维元素输入所述神经网络进行训练,获取生成模型,其步骤包括:所述神经网络包括生成网络和鉴别网络,将所述实际图片输入所述生成网络,获取转化漫画图片;分别将所述漫画图片、所述转化漫画图片以及所述预处理漫画图片输入所述鉴别网络,获取对应的鉴别结果;依据所述漫画图片、所述转化漫画图片以及所述预处理漫画图片所对应的鉴别结果、内容特征、风格特征确定第一损失函数和第二损失函数,其中,所述第一损失函数为鉴别网络的损失函数,所述第二损失函数为生成网络的损失函数;通过配置所述第一损失函数对所述鉴别网络进行训练,通过所述第二损失函数对所述生成网络进行训练,获取所述生成模型;
生成模块,用于将所述多维元素输入所述生成模型,获取目标漫画;
所述第一损失函数的数学表达为:
d_total_loss=BCELoss(D_real,1)+BCELoss(D_fake,0)+BCELoss(D_edge,0)
其中,d_total_loss为所述第一损失函数,BCELoss为二进制交叉熵损失函数,D_real为所述漫画图片的鉴别结果,D_fake为所述转化漫画图片的鉴别结果,D_edge为所述预处理漫画图片的鉴别结果;
BCELoss的数学表达如下:
Figure FDA0003046004470000031
ln=-[yn·log(xn)+(1-yn·log(1-xn)]
其中,xn为输入值,yn为目标向量值;
所述第二损失函数的数学表达为:
g_total_loss=BCELoss(D_fake,1)+L1Loss(x_feature,G_feature)+L1Loss(y_feature,G_feature)
其中,g_total_loss为第二损失函数,L1Loss为L1范数损失度量函数,D_fake为所述转化漫画图片的鉴别结果,x_feature为实际图片经VGG网络提取的内容特征,G_feature为转化漫画图片经VGG网络提取的风格特征,y_feature为所述漫画图片经VGG网络提取的风格特征,L1Loss(y_feature,G_feature)衡量实际图片与转化漫画间的内容损失,L1Loss(y_feature,G_feature)衡量漫画图片与转化漫画间的风格损失,
L1Loss的数学定义如下:
Figure FDA0003046004470000032
其中:
dn=|xn-yn|。
6.一种电子设备,其特征在于,包括:
一个或多个处理器;和
其上存储有指令的一个或多个机器可读介质,当所述一个或多个处理器执行时,使得所述设备执行如权利要求1-4中的方法。
7.一个或多个机器可读介质,其特征在于,其上存储有指令,当由一个或多个处理器执行时,使得设备执行如权利要求1-4中的方法。
CN202010524346.7A 2020-06-10 2020-06-10 一种漫画生成方法、系统、电子设备及介质 Active CN111710011B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010524346.7A CN111710011B (zh) 2020-06-10 2020-06-10 一种漫画生成方法、系统、电子设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010524346.7A CN111710011B (zh) 2020-06-10 2020-06-10 一种漫画生成方法、系统、电子设备及介质

Publications (2)

Publication Number Publication Date
CN111710011A CN111710011A (zh) 2020-09-25
CN111710011B true CN111710011B (zh) 2021-06-25

Family

ID=72540328

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010524346.7A Active CN111710011B (zh) 2020-06-10 2020-06-10 一种漫画生成方法、系统、电子设备及介质

Country Status (1)

Country Link
CN (1) CN111710011B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108205803A (zh) * 2017-07-19 2018-06-26 北京市商汤科技开发有限公司 图像处理方法、神经网络模型的训练方法及装置
CN110895795A (zh) * 2018-09-13 2020-03-20 北京工商大学 改进的语义图像修补模型方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10803391B2 (en) * 2015-07-29 2020-10-13 Google Llc Modeling personal entities on a mobile device using embeddings
US10565757B2 (en) * 2017-06-09 2020-02-18 Adobe Inc. Multimodal style-transfer network for applying style features from multi-resolution style exemplars to input images
CN107767343B (zh) * 2017-11-09 2021-08-31 京东方科技集团股份有限公司 图像处理方法、处理装置和处理设备
CN107767408B (zh) * 2017-11-09 2021-03-12 京东方科技集团股份有限公司 图像处理方法、处理装置和处理设备
CN109035356B (zh) * 2018-07-05 2020-07-10 四川大学 一种基于pet图形成像的系统及方法
US10685282B2 (en) * 2018-07-25 2020-06-16 WaveOne Inc. Machine-learning based video compression
CN109859096A (zh) * 2018-12-28 2019-06-07 北京达佳互联信息技术有限公司 图像风格迁移方法、装置、电子设备及存储介质
CN111161359B (zh) * 2019-12-12 2024-04-16 东软集团股份有限公司 一种图像处理方法及设备
CN111259812B (zh) * 2020-01-17 2023-04-18 上海交通大学 基于迁移学习的内河船舶重识别方法、设备及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108205803A (zh) * 2017-07-19 2018-06-26 北京市商汤科技开发有限公司 图像处理方法、神经网络模型的训练方法及装置
CN110895795A (zh) * 2018-09-13 2020-03-20 北京工商大学 改进的语义图像修补模型方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
GAN网络概述及LOSS函数详解;yongGAN得有CPU;《https://blog.csdn.net/qq_41967539/article/details/102844372》;20191031;第1-6页 *

Also Published As

Publication number Publication date
CN111710011A (zh) 2020-09-25

Similar Documents

Publication Publication Date Title
US20150149925A1 (en) Emoticon generation using user images and gestures
CN111539412B (zh) 一种基于ocr的图像分析方法、系统、设备及介质
CN111598012B (zh) 一种图片聚类管理方法、系统、设备及介质
CN112420069A (zh) 一种语音处理方法、装置、机器可读介质及设备
CN111898495B (zh) 一种动态阈值管理方法、系统、设备及介质
CN111062276A (zh) 基于人机交互的人体姿态推荐方法、装置、机器可读介质及设备
CN111310725A (zh) 一种对象识别方法、系统、机器可读介质及设备
CN108898549A (zh) 图片处理方法、图片处理装置及终端设备
CN111914693A (zh) 一种人脸姿态调整方法、系统、装置、设备及介质
CN112241789A (zh) 用于轻量化神经网络的结构化剪枝方法、装置、介质及设备
CN112529939A (zh) 一种目标轨迹匹配方法、装置、机器可读介质及设备
CN112101252B (zh) 一种基于深度学习的图像处理方法、系统、设备及介质
CN111582353B (zh) 一种图像特征检测方法、系统、设备以及介质
CN110363187B (zh) 一种人脸识别方法、装置、机器可读介质及设备
CN111710011B (zh) 一种漫画生成方法、系统、电子设备及介质
CN111091152A (zh) 图像聚类方法、系统、设备及机器可读介质
CN112417197B (zh) 一种排序方法、装置、机器可读介质及设备
CN112051270B (zh) 一种输电线缺陷检测方法、系统、设备及介质
CN110929767B (zh) 一种字形处理方法、系统、设备和介质
CN111428652B (zh) 一种生物特征管理方法、系统、设备及介质
CN114943872A (zh) 目标检测模型的训练方法、装置、目标检测方法、装置、介质及设备
CN112258392A (zh) 一种超分辨图像训练方法、装置、介质及设备
CN112580472A (zh) 一种快速轻量的人脸识别方法、装置、机器可读介质及设备
CN112257581A (zh) 一种人脸检测方法、装置、介质及设备
CN112347982A (zh) 基于视频的无监督难例数据挖掘方法、装置、介质及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant