CN107277391B - 图像转换网络处理方法、服务器、计算设备及存储介质 - Google Patents

图像转换网络处理方法、服务器、计算设备及存储介质 Download PDF

Info

Publication number
CN107277391B
CN107277391B CN201710556176.9A CN201710556176A CN107277391B CN 107277391 B CN107277391 B CN 107277391B CN 201710556176 A CN201710556176 A CN 201710556176A CN 107277391 B CN107277391 B CN 107277391B
Authority
CN
China
Prior art keywords
image
network
sample image
sample
style
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710556176.9A
Other languages
English (en)
Other versions
CN107277391A (zh
Inventor
申发龙
颜水成
曾钢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Qihoo Technology Co Ltd
Original Assignee
Beijing Qihoo Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Qihoo Technology Co Ltd filed Critical Beijing Qihoo Technology Co Ltd
Priority to CN201710556176.9A priority Critical patent/CN107277391B/zh
Publication of CN107277391A publication Critical patent/CN107277391A/zh
Application granted granted Critical
Publication of CN107277391B publication Critical patent/CN107277391B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本发明公开了一种图像转换网络处理方法、服务器、终端、计算设备及计算机存储介质，其中，图像转换网络处理方法基于经过训练的第一网络而执行，该方法包括：获取由终端上传的一第一图像；将第一图像输入至第一网络中，得到与第一图像的风格对应的第二网络；将第二网络传输至终端，以供终端利用第二网络对待处理的第二图像进行风格化处理。根据本发明提供的技术方案，利用经过训练的第一网络能够快速地得到对应的图像转换网络，提高了获得图像转换网络的效率，优化了图像转换网络处理方式。

Description

图像转换网络处理方法、服务器、计算设备及存储介质
技术领域
本发明涉及图像处理技术领域，具体涉及一种图像转换网络处理方法、服务器、终端、计算设备及计算机存储介质。
背景技术
利用图像风格化处理技术，能够将风格图像上的风格转移到日常拍摄的图像上，使得图像能够获得更好的视觉效果。在现有技术中，是将一个给定的风格图像直接输入至一个神经网络(neural network)中，然后利用大量的内容图像作为样本图像，经过多次迭代训练得到与给定的风格图像对应的图像转换网络，利用该图像转换网络实现输入内容图像的风格转换。
现有技术中，对于任意给定的风格图像，都需要进行成千上万次的迭代运算对神经网络进行训练，得到该风格对应的图像转换网络。在图像转换网络的训练过程中，成千上万次的迭代运算造成计算量巨大，这将会需要很长的训练时间，导致获得图像转换网络的效率低下。另外，当用户想要对图像进行风格化处理时，还需要通过终端将想要处理的图像上传至服务器，由服务器对图像进行风格化处理，当服务器处理完毕后，再将处理后的图像返回至终端。在这个过程中，耗时较长，导致图像风格化处理效率低下。
发明内容
鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的图像转换网络处理方法、服务器、终端、计算设备及计算机存储介质。
根据本发明的一个方面，提供了一种图像转换网络处理方法，该方法基于经过训练的第一网络而执行，该方法包括：
获取由终端上传的一第一图像；
将第一图像输入至第一网络中，得到与第一图像的风格对应的第二网络；
将第二网络传输至终端，以供终端利用第二网络对待处理的第二图像进行风格化处理。
进一步地，第一网络训练所用的样本图像包含：风格图像库存储的多个第一样本图像和内容图像库存储的多个第二样本图像。
进一步地，第一网络的训练过程通过多次迭代完成；在一次迭代过程中，从风格图像库中提取一个第一样本图像，从内容图像库中提取至少一个第二样本图像，利用一个第一样本图像和至少一个第二样本图像实现第一网络的训练。
进一步地，在多次迭代过程中，固定提取一个第一样本图像，替换地提取至少一个第二样本图像；当内容图像库中的第二样本图像提取完毕后，替换下一个第一样本图像，再替换地提取至少一个第二内容样本图像。
进一步地，第一网络的训练过程通过多次迭代完成；其中一次迭代过程包括：
利用与第一样本图像的风格对应的第二网络，生成与第二样本图像对应的第三样本图像；
根据第三样本图像与第一样本图像之间的风格损失以及第三样本图像与第二样本图像之间的内容损失，得到第一网络损失函数，利用第一网络损失函数实现第一网络的训练。
进一步地，第一网络的训练步骤包括：
从风格图像库中提取一个第一样本图像，从内容图像库中提取至少一个第二样本图像；
将第一样本图像输入至第一网络中，得到与第一样本图像的风格对应的第二网络；
利用与第一样本图像的风格对应的第二网络，分别针对至少一个第二样本图像生成对应的第三样本图像；
根据至少一个第三样本图像与第一样本图像之间的风格损失以及至少一个第三样本图像与对应的第二样本图像之间的内容损失，得到第一网络损失函数，根据第一网络损失函数更新第一网络的权重参数；
迭代执行第一网络的训练步骤，直至满足预定收敛条件。
进一步地，预定收敛条件包括：迭代次数达到预设迭代次数；和/或，第一网络损失函数的输出值小于预设阈值；和/或，与第二样本图像对应的第三样本图像的视觉效果参数达到预设视觉效果参数。
进一步地，将第一图像输入至第一网络中，得到与第一图像的风格对应的第二网络进一步包括：
将第一图像输入至第一网络中，在第一网络中进行一次前向传播运算，得到与第一图像的风格对应的第二网络。
进一步地，将第一样本图像输入至第一网络中，得到与第一样本图像的风格对应的第二网络进一步包括：
从第一样本图像中提取风格纹理特征；
将风格纹理特征输入至第一网络中，得到与风格纹理特征对应的第二网络。
进一步地，第一网络为对神经网络进行训练得到的元网络，第二网络为图像转换网络。
根据本发明的另一方面，提供了一种图像风格化处理方法，该方法包括：
将一第一图像上传至服务器，以供服务器根据第一图像得到与第一图像的风格对应的第二网络；
从服务器下载第二网络；
利用第二网络对待处理的第二图像进行风格化处理，得到与第二图像对应的第三图像。
进一步地，在利用第二网络对待处理的第二图像进行风格化处理，得到与第二图像对应的第三图像之前，该方法还包括：
获取待处理的第二图像。
进一步地，获取待处理的第二图像进一步包括：
获取由终端拍摄的图像和/或从网络中下载的图像和/或从视频中提取的帧图像。
进一步地，第二网络为图像转换网络。
根据本发明的另一方面，提供了一种服务器，该服务器基于经过训练的第一网络而运行，该服务器包括：
获取模块，适于获取由终端上传的一第一图像；
映射模块，适于将第一图像输入至第一网络中，得到与第一图像的风格对应的第二网络；
传输模块，适于将第二网络传输至终端，以供终端利用第二网络对待处理的第二图像进行风格化处理。
进一步地，第一网络训练所用的样本图像包含：风格图像库存储的多个第一样本图像和内容图像库存储的多个第二样本图像。
进一步地，该服务器还包括：第一网络训练模块；第一网络的训练过程通过多次迭代完成；
第一网络训练模块适于：在一次迭代过程中，从风格图像库中提取一个第一样本图像，从内容图像库中提取至少一个第二样本图像，利用一个第一样本图像和至少一个第二样本图像实现第一网络的训练。
进一步地，第一网络训练模块进一步适于：
固定提取一个第一样本图像，替换地提取至少一个第二样本图像；当内容图像库中的第二样本图像提取完毕后，替换下一个第一样本图像，再替换地提取至少一个第二样本图像。
进一步地，该服务器还包括：第一网络训练模块；第一网络的训练过程通过多次迭代完成；
第一网络训练模块适于：在一次迭代过程中，利用与第一样本图像的风格对应的第二网络，生成与第二样本图像对应的第三样本图像；根据第三样本图像与第一样本图像之间的风格损失以及第三样本图像与第二样本图像之间的内容损失，得到第一网络损失函数，利用第一网络损失函数实现第一网络的训练。
进一步地，该服务器还包括：第一网络训练模块；
第一网络训练模块包括：
提取单元，适于从风格图像库中提取一个第一样本图像，从内容图像库中提取至少一个第二样本图像；
生成单元，适于将第一样本图像输入至第一网络中，得到与第一样本图像的风格对应的第二网络；
处理单元，适于利用与第一样本图像的风格对应的第二网络，分别针对至少一个第二样本图像生成对应的第三样本图像；
更新单元，适于根据至少一个第三样本图像与第一样本图像之间的风格损失以及至少一个第三样本图像与对应的第二样本图像之间的内容损失，得到第一网络损失函数，根据第一网络损失函数更新第一网络的权重参数；
第一网络训练模块迭代运行，直至满足预定收敛条件。
进一步地，预定收敛条件包括：迭代次数达到预设迭代次数；和/或，第一网络损失函数的输出值小于预设阈值；和/或，与第二样本图像对应的第三样本图像的视觉效果参数达到预设视觉效果参数。
进一步地，映射模块进一步适于：
将第一图像输入至第一网络中，在第一网络中进行一次前向传播运算，得到与第一图像的风格对应的第二网络。
进一步地，生成单元进一步适于：
从第一样本图像中提取风格纹理特征；
将风格纹理特征输入至第一网络中，得到与风格纹理特征对应的第二网络。
进一步地，第一网络为对神经网络进行训练得到的元网络，第二网络为图像转换网络。
根据本发明的另一方面，提供了一种终端，该终端包括：
上传模块，适于将一第一图像上传至服务器，以供服务器根据第一图像得到与第一图像的风格对应的第二网络；
下载模块，适于从服务器下载第二网络；
处理模块，适于利用第二网络对第二图像进行风格化处理，得到与第二图像对应的第三图像。
进一步地，该终端还包括：
图像获取模块，适于获取待处理的第二图像。
进一步地，图像获取模块进一步适于：
获取由终端拍摄的图像和/或从网络中下载的图像和/或从视频中提取的帧图像。
进一步地，第二网络为图像转换网络。
根据本发明的另一方面，提供了一种计算设备，包括：处理器、存储器、通信接口和通信总线，处理器、存储器和通信接口通过通信总线完成相互间的通信；
存储器用于存放至少一可执行指令，可执行指令使处理器执行上述图像转换网络处理方法对应的操作。
根据本发明的另一方面，提供了一种计算机存储介质，存储介质中存储有至少一可执行指令，可执行指令使处理器执行如上述图像转换网络处理方法对应的操作。
根据本发明的又一方面，提供了一种计算设备，包括：处理器、存储器、通信接口和通信总线，处理器、存储器和通信接口通过通信总线完成相互间的通信；
存储器用于存放至少一可执行指令，可执行指令使处理器执行上述图像风格化处理方法对应的操作。
根据本发明的再一方面，提供了一种计算机存储介质，存储介质中存储有至少一可执行指令，可执行指令使处理器执行如上述图像风格化处理方法对应的操作。
根据本发明提供的技术方案，获取由终端上传的一第一图像，接着将第一图像输入至第一网络中，得到与第一图像的风格对应的第二网络，然后将第二网络传输至终端，以供终端利用第二网络对待处理的第二图像进行风格化处理。与现有技术相比，本发明提供的技术方案利用经过训练的第一网络能够快速地得到对应的图像转换网络，有效地提高了获得图像转换网络的效率，优化了图像转换网络处理方式。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了根据本发明一个实施例的图像转换网络处理方法的流程示意图；
图2a示出了第一图像的示例图；
图2b示出了第二图像的示例图；
图2c示出了第三图像的示例图；
图3示出了根据本发明一个实施例的网络训练方法的流程示意图；
图4示出了根据本发明另一个实施例的图像转换网络处理方法的流程示意图；
图5示出了根据本发明一个实施例的图像风格化处理方法的流程示意图；
图6示出了根据本发明另一个实施例的图像风格化处理方法的流程示意图；
图7示出了根据本发明一个实施例的服务器和终端的连接结构框图；
图8示出了根据本发明另一个实施例的服务器和终端的连接结构框图；
图9示出了根据本发明实施例的一种计算设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
图1示出了根据本发明一个实施例的图像转换网络处理方法的流程示意图，该方法基于经过训练的第一网络而执行，如图1所示，该方法包括如下步骤：
步骤S100，获取由终端上传的一第一图像。
当用户想要将图像处理成与某一个第一图像具有一致风格的图像时，可通过终端上传该第一图像，那么在步骤S100中服务器获取该第一图像。其中，终端可为手机、PAD、电脑等终端。第一图像可以是具有任意风格的风格图像，并不限于具有某些特定风格的风格图像。为了与第一图像进行区分，在本发明中将用户想要处理的图像称为待处理的第二图像。
步骤S101，将第一图像输入至第一网络中，得到与第一图像的风格对应的第二网络。
第一网络是经过训练的，具体地，第一网络训练所用的样本图像包含：风格图像库存储的多个第一样本图像和内容图像库存储的多个第二样本图像。其中，第一样本图像为风格样本图像，第二样本图像为内容样本图像。经训练得到的第一网络能够很好地适用于任意风格图像和任意内容图像，所以在步骤S101中将步骤S100所获取的第一图像输入至第一网络中后，无需再针对该第一图像进行训练，就能够快速地映射得到与该第一图像的风格对应的第二网络。
其中，第一网络的训练过程通过多次迭代完成。可选地，在一次迭代过程中，从风格图像库中提取一个第一样本图像，从内容图像库中提取至少一个第二样本图像，利用一个第一样本图像和至少一个第二样本图像对第一网络进行训练。
可选地，一次迭代过程包括：利用与第一样本图像的风格对应的第二网络，生成与第二样本图像对应的第三样本图像；根据第三样本图像与第一样本图像之间的风格损失以及第三样本图像与第二样本图像之间的内容损失，得到第一网络损失函数，根据第一网络损失函数更新第一网络的权重参数。
在本发明具体实施例中，第一网络为对神经网络进行训练得到的元网络(metanetwork)，第二网络为图像转换网络。在现有技术中，是直接利用神经网络经长时间训练得到对应的图像转换网络，而在本发明中是对神经网络进行训练，由于经训练得到的元网络能够很好地适用于任意风格图像和任意内容图像，那么利用元网络就能够快速地映射得到对应的图像转换网络，而并不是直接利用神经网络训练得到图像转换网络，因此与现有技术相比，极大地了提高了获得图像转换网络的速度。
步骤S102，将第二网络传输至终端。
在得到了第二网络之后，在步骤S102中，可以将第二网络传输至终端，终端可将第二网络存储在本地，然后终端就能够方便地利用第二网络对待处理的第二图像进行风格化处理，从而将第二图像处理成具有与第一图像一致的风格的图像。
具体地，终端利用与第一图像的风格对应的第二网络对第二图像进行风格化处理，经风格化处理后所得到的第三图像即为与第二图像对应的风格迁移图像，该风格迁移图像具有与第一图像一致的风格。图2a和图2b分别示出了第一图像和第二图像的示例图，终端利用与图2a所示的第一图像的风格对应的第二网络对图2b所示的第二图像进行风格化处理，所得到的对应的第三图像如图2c所示。如图2c所示，该第三图像已具有了图2a所示的第一图像的风格。
根据本发明实施例提供的图像转换网络处理方法，获取由终端上传的一第一图像，接着将第一图像输入至第一网络中，得到与第一图像的风格对应的第二网络，然后将第二网络传输至终端，以供终端利用第二网络对待处理的第二图像进行风格化处理。与现有技术中相比，本发明提供的技术方案利用经过训练的第一网络能够快速地得到对应的图像转换网络，有效地提高了获得图像转换网络的效率，优化了图像转换网络处理方式。
图3示出了根据本发明一个实施例的网络训练方法的流程示意图，如图3所示，第一网络的训练步骤包括如下步骤：
步骤S300，从风格图像库中提取一个第一样本图像，从内容图像库中提取至少一个第二样本图像。
在具体训练过程中，风格图像库存储了10万个第一样本图像，内容图像库存储了10万个第二样本图像，其中，第一样本图像为风格图像，第二样本图像为内容图像。在步骤S300中，从风格图像库中提取一个第一样本图像，从内容图像库中提取至少一个第二样本图像。本领域技术人员可根据实际需要设置第二样本图像的数量，此处不做限定。
步骤S301，将第一样本图像输入至第一网络中，得到与第一样本图像的风格对应的第二网络。
在本发明的一个具体实施例中，第一网络为对神经网络进行训练得到的元网络。例如，神经网络可为VGG-16卷积神经网络(convolutional neural network)。具体地，在步骤S301中，从第一样本图像中提取风格纹理特征，然后将所提取的风格纹理特征输入至第一网络中，在第一网络中进行前向传播(forward propagation)运算，得到与风格纹理特征对应的第二网络。
步骤S302，利用与第一样本图像的风格对应的第二网络，分别针对至少一个第二样本图像生成对应的第三样本图像。
在得到了与第一样本图像的风格对应的第二网络之后，就可利用与第一样本图像的风格对应的第二网络，分别针对至少一个第二样本图像生成对应的第三样本图像，第三样本图像即为与第二样本图像对应的风格迁移图像，风格迁移图像具有与第一样本图像一致的风格。当在步骤S300中提取了8个第二样本图像，那么在步骤S302中，分别针对8个第二样本图像生成对应的第三样本图像，即针对每一个第二样本图像生成了一个对应的第三样本图像。
步骤S303，根据至少一个第三样本图像与第一样本图像之间的风格损失以及至少一个第三样本图像与对应的第二样本图像之间的内容损失，得到第一网络损失函数，根据第一网络损失函数更新第一网络的权重参数。
其中，本领域技术人员可根据实际需要设置第一网络损失函数的具体内容，此处不做限定。在一个具体实施例中，第一网络损失函数可以为：
Figure BSA0000147380510000111
其中，Ic为第二样本图像，Is为第一样本图像，I为第三样本图像，CP为用于感知内容差别的感知函数，SP为用于感知风格差别的感知函数，
Figure BSA0000147380510000112
为第三样本图像与对应的第二样本图像之间的内容损失，
Figure BSA0000147380510000113
为第三样本图像与第一样本图像之间的风格损失，θ为第一网络的权重参数，λc为预设内容损失权重，λs为预设风格损失权重。根据上述第一网络损失函数，进行反向传播(back propagation)运算，通过运算结果更新第一网络的权重参数θ。
在一个具体的训练过程中，第一网络为对神经网络进行训练得到的元网络，第二网络为图像转换网络。利用随机梯度下降(stochastic gradient descent)算法训练第一网络。具体地训练过程包括：
1.设置一个第一样本图像的迭代次数k和第二样本图像Ic的个数m。例如，可将迭代次数k设置为20，将第二样本图像Ic的个数m设置为8，表示在元网络的训练过程中，针对一个第一样本图像需要迭代20次，每次迭代需要从内容图像库中提取8个第二样本图像Ic。
2.从风格图像库中固定提取一个第一样本图像Is。
3.将第一样本图像Is输入至第一网络N(·；θ)中，在第一网络N(·；θ)中进行前馈传播(feed-forward propagation)运算，得到与第一样本图像Is的风格对应的第二网络w。其中，第二网络w与第一网络N(·；θ)的映射公式为：w←N(Is；θ)。
4.输入m个第二样本图像Ic。其中，m个第二样本图像Ic可用
Figure BSA0000147380510000114
表示。
5.利用第二网络w，分别针对每一个第二样本图像Ic生成对应的第三样本图像I。
6.根据第一网络损失函数更新第一网络的权重参数θ。
其中，第一网络损失函数具体为：
Figure BSA0000147380510000121
在第一网络损失函数中，λc为预设内容损失权重，λs为预设风格损失权重。
步骤S304，迭代执行第一网络的训练步骤，直至满足预定收敛条件。
其中，本领域技术人员可根据实际需要设置预定收敛条件，此处不做限定。例如，预定收敛条件可包括：迭代次数达到预设迭代次数；和/或，第一网络损失函数的输出值小于预设阈值；和/或，与第二样本图像对应的第三样本图像的视觉效果参数达到预设视觉效果参数。具体地，可以通过判断迭代次数是否达到预设迭代次数来判断是否满足预定收敛条件，也可以根据第一网络损失函数的输出值是否小于预设阈值来判断是否满足预定收敛条件，还可以通过判断与第二样本图像对应的第三样本图像的视觉效果参数是否达到预设视觉效果参数来判断是否满足预定收敛条件。在步骤S304中，迭代执行第一网络的训练步骤，直至满足预定收敛条件，从而得到经过训练的第一网络。
值得注意的是，为了提升训练过程中第一网络的稳定性，本发明在多次迭代过程中，固定提取一个第一样本图像，替换地提取至少一个第二样本图像；当内容图像库中的第二样本图像提取完毕后，替换下一个第一样本图像，再替换地提取至少一个第二样本图像。
通过先固定第一样本图像并不断替换第二样本图像的方式，能够高效地训练得到适用于该第一样本图像和任意第二样本图像的第一网络，接着再替换下一个第一样本图像并不断替换第二样本图像，从而训练得到适用于上述两个第一样本图像和任意第二样本图像的第一网络。重复上述过程直至风格图像库中的第一样本图像和内容图像库中的第二样本图像均提取完毕，就能够训练得到适用于任意第一样本图像和任意第二样本图像的第一网络，相当于训练得到了适用于任意风格图像和任意内容图像的第一网络，从而有效地缩减了训练第一网络所需的时间，提高了第一网络的训练效率。
图4示出了根据本发明另一个实施例的图像转换网络处理方法的流程示意图，该方法基于经过训练的第一网络而执行，如图4所示，该方法包括如下步骤：
步骤S400，获取由终端上传的一第一图像。
服务器获取由终端上传的第一图像。其中，第一图像可以是具有任意风格的风格图像，并不限于具有某些特定风格的风格图像。具体地，第一图像可以是终端从网站中获取的风格图像，也可以是其他用户分享的风格图像。
步骤S401，将第一图像输入至第一网络中，在第一网络中进行一次前向传播运算，得到与第一图像的风格对应的第二网络。
由于第一网络是经过训练的，该第一网络能够很好地适用于任意风格图像和任意内容图像，所以将第一图像输入至第一网络中后，无需再针对该第一图像进行训练，只需在第一网络中进行一次前向传播运算，就能够快速地映射得到与该第一图像的风格对应的第二网络。在具体应用中，将第一图像输入至第一网络中后，只需0.02s就能够得到与该第一图像的风格对应的第二网络，与现有技术相比，有效地提高了获得图像转换网络的速度。
步骤S402，将第二网络传输至终端。
具体地，所得到的第二网络的数据量比较小，大约为1MB左右，而且利用该第二网络能够快速地对待处理的第二图像进行风格化处理，因此，可以将第二网络传输至终端，终端将第二网络存储在本地，然后终端就能够方便地利用第二网络对第二图像进行风格化处理，从而将第二图像快速地处理成具有与第一图像一致的风格的图像。
下面通过与现有技术中的两种图像转换网络处理方法进行对比说明本发明提供的图像转换网络处理方法所具有的优势。其中，表1示出了本方法与现有技术中的两种图像转换网络处理方法的比较结果。
如表1所示，盖提斯等人于2015年提交了论文《一种艺术风格的神经算法》，该论文中所提出的方法无法得到图像转换网络，但能够适用于任何风格，需耗时9.52s才能得到对应的风格迁移图像。
表1
Figure BSA0000147380510000141
约翰逊等人于2016年在欧洲计算机视觉会议中发表了论文《实时风格转换和超分辨率的感知损失》，该论文中所提出的方法需耗时4h才得到相应的图像转换网络，且只能适用于一种风格，但只需耗时0.015s得到对应的风格迁移图像。
而本发明提供的图像转换网络处理方法与上述两种方法相比，不仅能够适用于任何风格，而且仅需耗时0.022s得到相应的图像转换网络，另外，利用图像转换网络只需耗时0.015s得到对应的风格迁移图像，有效地提高了获得图像转换网络的速度和获得风格迁移图像的效率。
根据本发明实施例提供的图像转换网络处理方法，获取由终端上传的一第一图像，接着将第一图像输入至第一网络中，在第一网络中进行一次前向传播运算，得到与第一图像的风格对应的第二网络，然后将第二网络传输至终端，以供终端利用第二网络对待处理的第二图像进行风格化处理。与现有技术相比，本发明提供的技术方案在经过训练的第一网络中进行一次前向传播运算，就能够快速地映射得到对应的图像转换网络，有效地提高了获得图像转换网络的效率，优化了图像转换网络处理方式；另外，所得到的图像转换网络的数据量不仅比较小，而且能够快速地对图像进行风格化处理。
图5示出了根据本发明一个实施例的图像风格化处理方法的流程示意图，如图5所示，该方法包括如下步骤：
步骤S500，将一第一图像上传至服务器。
当用户想要将待处理的第二图像处理成与某一个第一图像具有一致风格的图像时，可通过终端上传该第一图像至服务器，然后服务器根据该第一图像并利用第一网络预先构建的第二网络得到与第一图像的风格对应的第二网络，第二网络即为图像转换网络。
步骤S501，从服务器下载第二网络。
在服务器得到了与第一图像的风格对应的第二网络之后，在步骤S501中，终端可从服务器下载该第二网络，并存储至本地。由于该第二网络的数据量比较小，因此不会给终端带来存储压力。
步骤S502，利用第二网络对待处理的第二图像进行风格化处理，得到与第二图像对应的第三图像。
在下载了第二网络之后，终端就可方便地利用第二网络对待处理的第二图像进行风格化处理，得到与第二图像对应的第三图像，而无需由服务器对第二图像进行风格化处理。具体地，用户可利用第二网络对终端中所拍摄的任意图像进行风格化处理。另外，利用该第二网络能够快速地得到第三图像，提高了图像风格化处理的效率。
根据本发明实施例提供的图像风格化处理方法，将一第一图像上传至服务器，接着从服务器下载第二网络，然后利用第二网络对待处理的第二图像进行风格化处理，得到与第二图像对应的第三图像。本发明提供的技术方案能够从服务器下载图像转换网络，并利用图像转换网络方便地对图像进行风格化处理，提高了图像风格化处理的效率以及便利性，优化了图像风格化处理方式。
图6示出了根据本发明另一个实施例的图像风格化处理方法的流程示意图，如图6所示，该方法包括如下步骤：
步骤S600，将一第一图像上传至服务器。
当用户想要将待处理的第二图像处理成与某一个第一图像具有一致风格的图像时，可通过终端上传该第一图像至服务器，以供服务器根据第一图像得到与第一图像的风格对应的第二网络。
步骤S601，从服务器下载第二网络。
终端从服务器下载与第一图像的风格对应的第二网络，并存储至本地，该第二网络的数据量比较小，因此不会给终端带来存储压力。
步骤S602，获取待处理的第二图像。
其中，待处理的第二图像可为任意的需要风格化处理的图像，例如可为由终端拍摄的图像和/或从网络中下载的图像和/或从视频中提取的帧图像。具体地，在步骤S602中，可获取由终端拍摄的图像和/或从网络中下载的图像和/或从视频中提取的帧图像。
步骤S603，利用第二网络对待处理的第二图像进行风格化处理，得到与第二图像对应的第三图像。
在下载了第二网络之后，终端就可方便地利用第二网络对待处理的第二图像进行风格化处理，得到与第二图像对应的第三图像，而无需由服务器对第二图像进行风格化处理。具体地，用户可利用第二网络对终端中所拍摄的图像进行风格化处理，用户还可利用第二网络对从网络中下载的图像进行风格化处理，另外，用户还可在直播过程中利用第二网络对从直播视频中提取的帧图像进行风格化处理。利用该第二网络能够快速地得到第三图像，提高了图像风格化处理的效率。
根据本发明实施例提供的图像风格化处理方法，能够从服务器下载图像转换网络，并利用图像转换网络方便地对由终端拍摄的图像、从网络中下载的图像以及从视频中提取的帧图像等进行风格化处理，不仅提高了图像风格化处理的效率以及便利性，而且扩大了图像风格化处理的适用范围，优化了图像风格化处理方式。
图7示出了根据本发明一个实施例的服务器和终端的连接结构框图，该服务器基于经过训练的第一网络而运行，如图7所示，服务器710包括：获取模块711、映射模块712和传输模块713；终端720包括：上传模块721、下载模块722和处理模块723。
获取模块711适于：获取由终端720上传的一第一图像。
其中，第一图像可以是具有任意风格的风格图像，并不限于具有某些特定风格的风格图像。当用户想要将一个第二图像处理成与某一个第一图像具有一致风格的图像时，用户可通过终端720上传该第一图像，获取模块711获取由终端720上传的该第一图像。
映射模块712适于：将第一图像输入至第一网络中，得到与第一图像的风格对应的第二网络。
具体地，第一网络训练所用的样本图像包含：风格图像库存储的多个第一样本图像和内容图像库存储的多个第二样本图像。映射模块712将获取模块711所获取的第一图像输入至经训练得到的第一网络中后，无需针对该第一图像进行训练，就能够快速地映射得到与第一图像的风格对应的第二网络。
传输模块713适于：将第二网络传输至终端720，以供终端720利用第二网络对第二图像进行风格化处理。
上传模块721适于：将一第一图像上传至服务器710，以供服务器710根据第一图像得到与第一图像的风格对应的第二网络。
下载模块722适于：从服务器710下载第二网络。
处理模块723适于：利用第二网络对待处理的第二图像进行风格化处理，得到与第二图像对应的第三图像。
处理模块723利用下载模块722下载得到的第二网络对第二图像进行风格化处理，方便地得到与第二图像对应的第三图像，该第三图像具有与第一图像一致的风格。
与现有技术中相比，本发明实施例提供的技术方案利用经过训练的第一网络能够快速地得到对应的图像转换网络，有效地提高了获得图像转换网络的效率，优化了图像转换网络处理方式；另外，终端能够从服务器下载图像转换网络，并利用图像转换网络方便地对图像进行风格化处理，提高了图像风格化处理的效率以及便利性，优化了图像风格化处理方式。
图8示出了根据本发明另一个实施例的服务器和终端的连接结构框图，如图8所示，服务器810包括：获取模块811、第一网络训练模块812、映射模块813和传输模块814；终端820包括：上传模块821、下载模块822、图像获取模块823和处理模块824。
获取模块811适于：获取由终端820上传的一第一图像。
其中，第一网络的训练过程通过多次迭代完成。第一网络训练模块812适于：在一次迭代过程中，从风格图像库中提取一个第一样本图像，从内容图像库中提取至少一个第二样本图像，利用一个第一样本图像和至少一个第二样本图像对第一网络进行训练。
可选地，第一网络训练模块812适于：在一次迭代过程中，利用与第一样本图像的风格对应的第二网络，生成与第二样本图像对应的第三样本图像；根据第三样本图像与第一样本图像之间的风格损失以及第三样本图像与第二样本图像之间的内容损失，得到第一网络损失函数，根据第一网络损失函数更新第一网络的权重参数。
在一个具体实施例中，第一网络训练模块812可包括：提取单元8121、生成单元8122、处理单元8123和更新单元8124。
具体地，提取单元8121适于：从风格图像库中提取一个第一样本图像，从内容图像库中提取至少一个第二样本图像。
生成单元8122适于：将第一样本图像输入至第一网络中，得到与第一样本图像的风格对应的第二网络。
在本发明的一个具体实施例中，第一网络为对神经网络进行训练得到的元网络。生成单元8122进一步适于：从第一样本图像中提取风格纹理特征；将风格纹理特征输入至第一网络中，得到与风格纹理特征对应的第二网络。
处理单元8123适于：利用与第一样本图像的风格对应的第二网络，分别针对至少一个第二样本图像生成对应的第三样本图像。
更新单元8124适于：根据至少一个第三样本图像与第一样本图像之间的风格损失以及至少一个第三样本图像与对应的第二样本图像之间的内容损失，得到第一网络损失函数，根据第一网络损失函数更新第一网络的权重参数。其中，本领域技术人员可根据实际需要设置第一网络损失函数的具体内容，此处不做限定。在一个具体实施例中，第一网络损失函数可以为：
Figure BSA0000147380510000181
其中，Ic为第二样本图像，Is为第一样本图像，I为第三样本图像，CP为用于感知内容差别的感知函数，SP为用于感知风格差别的感知函数，
Figure BSA0000147380510000182
为第三样本图像与对应的第二样本图像之间的内容损失，
Figure BSA0000147380510000183
为第三样本图像与第一样本图像之间的风格损失，θ为神经网络的权重参数，λc为预设内容损失权重，λs为预设风格损失权重。
第一网络训练模块812迭代运行，直至满足预定收敛条件。第一网络训练模块812进一步适于：固定提取一个第一样本图像，不断替换地提取至少一个第二样本图像；当内容图像库中的第二样本图像提取完毕后，替换下一个第一样本图像，再不断替换地提取至少一个第二样本图像。通过上述方式，能够高效地训练得到适用于任意风格图像和任意内容图像的第一网络，从而有效地缩减了训练第一网络所需的时间，提高了第一网络的训练效率。
映射模块813适于：将第一图像输入至第一网络中，在第一网络中进行一次前向传播运算，得到与第一图像的风格对应的第二网络。
由于第一网络是经过第一网络训练模块812训练的，该第一网络能够很好地适用于任意风格图像和任意内容图像，所以映射模块813将获取模块811所获取的第一图像输入至第一网络训练模块812训练得到的第一网络中，无需再针对该第一图像进行训练，只需在第一网络中进行一次前向传播运算，就能够快速地映射得到与该第一图像的风格对应的第二网络。
传输模块814适于：将第二网络传输至终端820，以供终端820利用第二网络对第二图像进行风格化处理。
上传模块821适于：将一第一图像上传至服务器810，以供服务器810根据第一图像得到与第一图像的风格对应的第二网络。
下载模块822适于：从服务器810下载第二网络。
图像获取模块823适于：获取待处理的第二图像。
图像获取模块823进一步适于：获取由终端拍摄的图像和/或从网络中下载的图像和/或从视频中提取的帧图像。
处理模块824适于：利用第二网络对待处理的第二图像进行风格化处理，得到与第二图像对应的第三图像。
与现有技术相比，本发明实施例提供的技术方案在经过训练的第一网络中进行一次前向传播运算，就能够快速地映射得到对应的图像转换网络，有效地提高了获得图像转换网络的效率，优化了图像转换网络处理方式；另外，终端能够从服务器下载图像转换网络，并利用图像转换网络方便地对图像进行风格化处理，提高了图像风格化处理的效率以及便利性，优化了图像风格化处理方式。
本发明还提供了一种非易失性计算机存储介质，计算机存储介质存储有至少一可执行指令，该计算机可执行指令可执行上述任意方法实施例中的图像转换网络处理方法。
图9示出了根据本发明实施例的一种计算设备的结构示意图，本发明具体实施例并不对计算设备的具体实现做限定。
如图9所示，该计算设备可以包括：处理器(processor)902、通信接口(Communications Interface)904、存储器(memory)906、以及通信总线908。
其中：
处理器902、通信接口904、以及存储器906通过通信总线908完成相互间的通信。
通信接口904，用于与其它设备比如客户端或其它服务器等的网元通信。
处理器902，用于执行程序910，具体可以执行上述图像转换网络处理方法实施例中的相关步骤。
具体地，程序910可以包括程序代码，该程序代码包括计算机操作指令。
处理器902可能是中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。计算设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。
存储器906，用于存放程序910。存储器906可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
程序910具体可以用于使得处理器902执行上述任意方法实施例中的图像转换网络处理方法。程序910中各步骤的具体实现可以参见上述图像转换网络处理实施例中的相应步骤和单元中对应的描述，在此不赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。
本发明还提供了一种非易失性计算机存储介质，计算机存储介质存储有至少一可执行指令，该计算机可执行指令可执行上述任意方法实施例中的图像风格化处理方法。其中，计算机存储介质可为手机的存储卡、PAD的存储卡、电脑的磁盘、摄像设备的存储卡等。
本发明还提供了一种计算设备，包括：处理器、存储器、通信接口和通信总线，处理器、存储器和通信接口通过通信总线完成相互间的通信；存储器用于存放至少一可执行指令，可执行指令使处理器执行上述的图像风格化处理方法对应的操作。其中，计算设备可为手机、PAD、电脑、摄像设备等。该计算设备的结构示意图与图9所示的计算设备的结构示意图相同，此处不再赘述。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (26)

1.一种图像转换网络处理方法，所述方法基于经过训练的第一网络而执行，所述方法包括：
获取由终端上传的一第一图像；
将所述第一图像输入至所述第一网络中，在所述第一网络中进行一次前向传播运算，得到与所述第一图像的风格对应的第二网络；其中，所述第一网络训练所用的样本图像包含：风格图像库存储的多个第一样本图像和内容图像库存储的多个第二样本图像；
将所述第二网络传输至所述终端，以供所述终端利用所述第二网络对待处理的第二图像进行风格化处理；
其中，所述第一网络的训练过程通过多次迭代完成；在多次迭代过程中，固定提取一个第一样本图像，替换地提取至少一个第二样本图像；当所述内容图像库中的第二样本图像提取完毕后，替换下一个第一样本图像，再替换地提取至少一个第二样本图像。
2.根据权利要求1所述的方法，其中，在一次迭代过程中，从所述风格图像库中提取一个第一样本图像，从所述内容图像库中提取至少一个第二样本图像，利用所述一个第一样本图像和所述至少一个第二样本图像实现第一网络的训练。
3.根据权利要求1所述的方法，其中一次迭代过程包括：
利用与第一样本图像的风格对应的第二网络，生成与第二样本图像对应的第三样本图像；
根据所述第三样本图像与所述第一样本图像之间的风格损失以及所述第三样本图像与所述第二样本图像之间的内容损失，得到第一网络损失函数，利用所述第一网络损失函数实现第一网络的训练。
4.根据权利要求1所述的方法，其中，所述第一网络的训练步骤包括：
从所述风格图像库中提取一个第一样本图像，从所述内容图像库中提取至少一个第二样本图像；
将所述第一样本图像输入至第一网络中，得到与所述第一样本图像的风格对应的第二网络；
利用与所述第一样本图像的风格对应的第二网络，分别针对至少一个第二样本图像生成对应的第三样本图像；
根据至少一个第三样本图像与所述第一样本图像之间的风格损失以及至少一个第三样本图像与对应的第二样本图像之间的内容损失，得到第一网络损失函数，根据所述第一网络损失函数更新所述第一网络的权重参数；
迭代执行所述第一网络的训练步骤，直至满足预定收敛条件。
5.根据权利要求4所述的方法，其中，所述预定收敛条件包括：迭代次数达到预设迭代次数；和/或，所述第一网络损失函数的输出值小于预设阈值；和/或，与所述第二样本图像对应的第三样本图像的视觉效果参数达到预设视觉效果参数。
6.根据权利要求4所述的方法，所述将所述第一样本图像输入至第一网络中，得到与所述第一样本图像的风格对应的第二网络进一步包括：
从所述第一样本图像中提取风格纹理特征；
将所述风格纹理特征输入至第一网络中，得到与所述风格纹理特征对应的第二网络。
7.根据权利要求1-6任一项所述的方法，所述第一网络为对神经网络进行训练得到的元网络，所述第二网络为图像转换网络。
8.一种图像风格化处理方法，所述方法包括：
将一第一图像上传至服务器，以供所述服务器将所述第一图像输入至第一网络中，在所述第一网络中进行一次前向传播运算，得到与所述第一图像的风格对应的第二网络；其中，所述第一网络训练所用的样本图像包含：风格图像库存储的多个第一样本图像和内容图像库存储的多个第二样本图像；
从所述服务器下载所述第二网络；
利用所述第二网络对待处理的第二图像进行风格化处理，得到与所述第二图像对应的第三图像；
其中，所述第一网络的训练过程通过多次迭代完成；在多次迭代过程中，固定提取一个第一样本图像，替换地提取至少一个第二样本图像；当所述内容图像库中的第二样本图像提取完毕后，替换下一个第一样本图像，再替换地提取至少一个第二样本图像。
9.根据权利要求8所述的方法，在所述利用所述第二网络对待处理的第二图像进行风格化处理，得到与所述第二图像对应的第三图像之前，所述方法还包括：
获取待处理的第二图像。
10.根据权利要求9所述的方法，所述获取待处理的第二图像进一步包括：
获取由终端拍摄的图像和/或从网络中下载的图像和/或从视频中提取的帧图像。
11.根据权利要求8-10任一项所述的方法，所述第二网络为图像转换网络。
12.一种服务器，所述服务器基于经过训练的第一网络而运行，所述服务器包括：
获取模块，适于获取由终端上传的一第一图像；
映射模块，适于将所述第一图像输入至所述第一网络中，在所述第一网络中进行一次前向传播运算，得到与所述第一图像的风格对应的第二网络；其中，所述第一网络训练所用的样本图像包含：风格图像库存储的多个第一样本图像和内容图像库存储的多个第二样本图像；
传输模块，适于将所述第二网络传输至所述终端，以供所述终端利用所述第二网络对待处理的第二图像进行风格化处理；
其中，所述第一网络的训练过程通过多次迭代完成；在多次迭代过程中，固定提取一个第一样本图像，替换地提取至少一个第二样本图像；当所述内容图像库中的第二样本图像提取完毕后，替换下一个第一样本图像，再替换地提取至少一个第二样本图像。
13.根据权利要求12所述的服务器，其中，所述服务器还包括：第一网络训练模块；所述第一网络训练模块适于：在一次迭代过程中，从所述风格图像库中提取一个第一样本图像，从所述内容图像库中提取至少一个第二样本图像，利用所述一个第一样本图像和所述至少一个第二样本图像实现第一网络的训练。
14.根据权利要求12所述的服务器，其中，所述服务器还包括：第一网络训练模块；所述第一网络训练模块适于：在一次迭代过程中，利用与第一样本图像的风格对应的第二网络，生成与第二样本图像对应的第三样本图像；根据所述第三样本图像与所述第一样本图像之间的风格损失以及所述第三样本图像与所述第二样本图像之间的内容损失，得到第一网络损失函数，利用所述第一网络损失函数实现第一网络的训练。
15.根据权利要求12所述的服务器，其中，所述服务器还包括：第一网络训练模块；
所述第一网络训练模块包括：
提取单元，适于从所述风格图像库中提取一个第一样本图像，从所述内容图像库中提取至少一个第二样本图像；
生成单元，适于将所述第一样本图像输入至第一网络中，得到与所述第一样本图像的风格对应的第二网络；
处理单元，适于利用与所述第一样本图像的风格对应的第二网络，分别针对至少一个第二样本图像生成对应的第三样本图像；
更新单元，适于根据至少一个第三样本图像与所述第一样本图像之间的风格损失以及至少一个第三样本图像与对应的第二样本图像之间的内容损失，得到第一网络损失函数，根据所述第一网络损失函数更新所述第一网络的权重参数；
所述第一网络训练模块迭代运行，直至满足预定收敛条件。
16.根据权利要求15所述的服务器，其中，所述预定收敛条件包括：迭代次数达到预设迭代次数；和/或，所述第一网络损失函数的输出值小于预设阈值；和/或，与所述第二样本图像对应的第三样本图像的视觉效果参数达到预设视觉效果参数。
17.根据权利要求15所述的服务器，所述生成单元进一步适于：
从所述第一样本图像中提取风格纹理特征；
将所述风格纹理特征输入至第一网络中，得到与所述风格纹理特征对应的第二网络。
18.根据权利要求12-17任一项所述的服务器，所述第一网络为对神经网络进行训练得到的元网络，所述第二网络为图像转换网络。
19.一种终端，所述终端包括：
上传模块，适于将一第一图像上传至服务器，以供所述服务器将所述第一图像输入至第一网络中，在所述第一网络中进行一次前向传播运算，得到与所述第一图像的风格对应的第二网络；其中，所述第一网络训练所用的样本图像包含：风格图像库存储的多个第一样本图像和内容图像库存储的多个第二样本图像；
下载模块，适于从所述服务器下载所述第二网络；
处理模块，适于利用所述第二网络对待处理的第二图像进行风格化处理，得到与所述第二图像对应的第三图像；
其中，所述第一网络的训练过程通过多次迭代完成；在多次迭代过程中，固定提取一个第一样本图像，替换地提取至少一个第二样本图像；当所述内容图像库中的第二样本图像提取完毕后，替换下一个第一样本图像，再替换地提取至少一个第二样本图像。
20.根据权利要求19所述的终端，所述终端还包括：
图像获取模块，适于获取待处理的第二图像。
21.根据权利要求20所述的终端，所述图像获取模块进一步适于：
获取由终端拍摄的图像和/或从网络中下载的图像和/或从视频中提取的帧图像。
22.根据权利要求19-21任一项所述的终端，所述第二网络为图像转换网络。
23.一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-7中任一项所述的图像转换网络处理方法对应的操作。
24.一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如权利要求1-7中任一项所述的图像转换网络处理方法对应的操作。
25.一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求8-11任一项所述的图像风格化处理方法对应的操作。
26.一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如权利要求8-11任一项所述的图像风格化处理方法对应的操作。
CN201710556176.9A 2017-06-30 2017-06-30 图像转换网络处理方法、服务器、计算设备及存储介质 Active CN107277391B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710556176.9A CN107277391B (zh) 2017-06-30 2017-06-30 图像转换网络处理方法、服务器、计算设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710556176.9A CN107277391B (zh) 2017-06-30 2017-06-30 图像转换网络处理方法、服务器、计算设备及存储介质

Publications (2)

Publication Number Publication Date
CN107277391A CN107277391A (zh) 2017-10-20
CN107277391B true CN107277391B (zh) 2020-06-23

Family

ID=60073301

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710556176.9A Active CN107277391B (zh) 2017-06-30 2017-06-30 图像转换网络处理方法、服务器、计算设备及存储介质

Country Status (1)

Country Link
CN (1) CN107277391B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107730474B (zh) 2017-11-09 2022-02-22 京东方科技集团股份有限公司 图像处理方法、处理装置和处理设备
CN108876726A (zh) * 2017-12-12 2018-11-23 北京旷视科技有限公司 图像处理的方法、装置、系统及计算机存储介质
CN108733439A (zh) * 2018-03-26 2018-11-02 西安万像电子科技有限公司 图像处理方法及装置
CN110163794B (zh) * 2018-05-02 2023-08-29 腾讯科技（深圳）有限公司 图像的转换方法、装置、存储介质和电子装置
CN108765278B (zh) * 2018-06-05 2023-04-07 Oppo广东移动通信有限公司 一种图像处理方法、移动终端及计算机可读存储介质
CN110580677A (zh) * 2018-06-08 2019-12-17 北京搜狗科技发展有限公司 一种数据处理方法、装置和用于数据处理的装置
CN109685749B (zh) * 2018-09-25 2023-04-18 平安科技（深圳）有限公司 图像风格转换方法、装置、设备和计算机存储介质
CN109670476A (zh) * 2018-12-28 2019-04-23 网易（杭州）网络有限公司 用户头像的生成方法及装置、电子设备、存储介质
CN113112397A (zh) * 2021-03-25 2021-07-13 北京工业大学 一种基于风格与内容解耦的图像风格迁移方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2542890A (en) * 2015-10-02 2017-04-05 Adobe Systems Inc Searching using specific attributes found in images
CN106709532A (zh) * 2017-01-25 2017-05-24 京东方科技集团股份有限公司 图像处理方法和装置
CN106780363A (zh) * 2016-11-21 2017-05-31 北京金山安全软件有限公司 一种图片处理方法、装置及电子设备
CN106847294A (zh) * 2017-01-17 2017-06-13 百度在线网络技术（北京）有限公司 基于人工智能的音频处理方法和装置
CN106886975A (zh) * 2016-11-29 2017-06-23 华南理工大学 一种可实时运行的图像风格化方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016057918A (ja) * 2014-09-10 2016-04-21 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2542890A (en) * 2015-10-02 2017-04-05 Adobe Systems Inc Searching using specific attributes found in images
CN106780363A (zh) * 2016-11-21 2017-05-31 北京金山安全软件有限公司 一种图片处理方法、装置及电子设备
CN106886975A (zh) * 2016-11-29 2017-06-23 华南理工大学 一种可实时运行的图像风格化方法
CN106847294A (zh) * 2017-01-17 2017-06-13 百度在线网络技术（北京）有限公司 基于人工智能的音频处理方法和装置
CN106709532A (zh) * 2017-01-25 2017-05-24 京东方科技集团股份有限公司 图像处理方法和装置

Also Published As

Publication number Publication date
CN107277391A (zh) 2017-10-20

Similar Documents

Publication Publication Date Title
CN107277391B (zh) 图像转换网络处理方法、服务器、计算设备及存储介质
CN107392842B (zh) 图像风格化处理方法、装置、计算设备及计算机存储介质
CN107277615B (zh) 直播风格化处理方法、装置、计算设备及存储介质
CN107516290B (zh) 图像转换网络获取方法、装置、计算设备及存储介质
CN107610146B (zh) 图像场景分割方法、装置、电子设备及计算机存储介质
CN108875523B (zh) 人体关节点检测方法、装置、系统和存储介质
CN107392316B (zh) 网络训练方法、装置、计算设备及计算机存储介质
CN110555795A (zh) 高解析度风格迁移
CN107730514B (zh) 场景分割网络训练方法、装置、计算设备及存储介质
CN107590811B (zh) 基于场景分割的风景图像处理方法、装置及计算设备
CN107644423B (zh) 基于场景分割的视频数据实时处理方法、装置及计算设备
CN111476708A (zh) 模型生成方法、模型获取方法、装置、设备及存储介质
JP2016521391A (ja) 文脈的ローカル画像認識データセット
CN107563357B (zh) 基于场景分割的直播服饰装扮推荐方法、装置及计算设备
CN108595211B (zh) 用于输出数据的方法和装置
US20240020810A1 (en) UNIVERSAL STYLE TRANSFER USING MULTl-SCALE FEATURE TRANSFORM AND USER CONTROLS
CN107808394B (zh) 一种基于卷积神经网络的图像处理方法及移动终端
CN107766803B (zh) 基于场景分割的视频人物装扮方法、装置及计算设备
CN110211017B (zh) 图像处理方法、装置及电子设备
US10445921B1 (en) Transferring motion between consecutive frames to a digital image
JP2023545052A (ja) 画像処理モデルの訓練方法及び装置、画像処理方法及び装置、電子機器並びにコンピュータプログラム
US11250542B2 (en) Mosaic generation apparatus and method
CN107147732A (zh) 图片处理方法、装置、客户端及服务端
CN107622498B (zh) 基于场景分割的图像穿越处理方法、装置及计算设备
CN116596748A (zh) 图像风格化处理方法、装置、设备、存储介质和程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant