CN110070484A - 图像处理、图像美化方法、装置和存储介质 - Google Patents
图像处理、图像美化方法、装置和存储介质 Download PDFInfo
- Publication number
- CN110070484A CN110070484A CN201910260909.3A CN201910260909A CN110070484A CN 110070484 A CN110070484 A CN 110070484A CN 201910260909 A CN201910260909 A CN 201910260909A CN 110070484 A CN110070484 A CN 110070484A
- Authority
- CN
- China
- Prior art keywords
- beautification
- beautifying picture
- image
- sample
- beautifying
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000003860 storage Methods 0.000 title claims abstract description 21
- 238000012549 training Methods 0.000 claims abstract description 171
- 238000000605 extraction Methods 0.000 claims abstract description 111
- 238000012545 processing Methods 0.000 claims description 41
- 238000003672 processing method Methods 0.000 claims description 14
- 238000004458 analytical method Methods 0.000 claims description 13
- 230000004927 fusion Effects 0.000 claims description 9
- 230000000694 effects Effects 0.000 abstract description 26
- 230000006870 function Effects 0.000 description 42
- 239000000284 extract Substances 0.000 description 21
- 238000005286 illumination Methods 0.000 description 14
- 230000003796 beauty Effects 0.000 description 12
- 230000008859 change Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 238000004519 manufacturing process Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 230000004069 differentiation Effects 0.000 description 8
- 238000005070 sampling Methods 0.000 description 8
- 238000009826 distribution Methods 0.000 description 7
- 238000011478 gradient descent method Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 230000001815 facial effect Effects 0.000 description 5
- 241000282326 Felis catus Species 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000012512 characterization method Methods 0.000 description 3
- 230000002708 enhancing effect Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 208000003351 Melanosis Diseases 0.000 description 2
- 241001396014 Priacanthus arenatus Species 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000005303 weighing Methods 0.000 description 2
- 230000002087 whitening effect Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003255 anti-acne Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000001404 mediated effect Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 230000000452 restraining effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/002—Image coding using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例公开了一种图像处理、图像美化方法、装置和存储介质；本发明实施例可以先获取样本图像对，所述样本图像对包括待美化图像样本和已美化图像样本，再根据已美化图像样本提取待美化图像样本的美化特征样本，然后，利用所述待美化图像样本及其美化特征样本，通过预设美化模型生成美化图像样本，接着，根据所述美化图像样本和已美化图像样本对预设美化模型进行收敛，得到训练后美化模型，再然后，基于所述训练后美化模型对待美化图像进行美化处理，得到美化图像。该方案可以有效地提高图像处理的美化效果。
Description
技术领域
本发明涉及通信技术领域，具体涉及一种图像处理、图像美化方法、装置和存储介质。
背景技术
人脸美颜是指对人脸图片进行美白、祛斑、祛痘、磨皮或者瘦脸等美化操作。刚开始人脸美颜主要依靠专业人士对图片进行美化操作，工作量较大，对于大量的图片任务较为繁重。
随着技术的发展，出现了人脸美颜算法，可以对人脸进行自动美颜，但是传统的人脸美颜算法主要基于双边滤波、泊松融合以及整体滤镜叠加来进行，这种方式往往会使得照片整体视觉效果不够自然，美颜效果生硬。
发明内容
本发明实施例提供一种图像处理、图像美化方法、装置和存储介质，可以提高图像处理的美化效果。
本发明实施例提供一种图像处理方法，包括：
获取样本图像对，所述样本图像对包括待美化图像样本和已美化图像样本；
根据已美化图像样本提取待美化图像样本的美化特征样本；
利用所述待美化图像样本及其美化特征样本，通过预设美化模型生成美化图像样本；
根据所述美化图像样本和已美化图像样本对预设美化模型进行收敛，得到训练后美化模型；
基于所述训练后美化模型对待美化图像进行美化处理，得到美化图像。
相应的，本发明实施例还提供一种图像美化方法，包括：
获取待美化图像；
采用训练后美化模型对所述待美化图像进行美化特征和图像特征提取，得到美化特征和图像语义特征，所述训练后美化模型由待美化图像样本和已美化图像样本训练而成；
将所述图像语义特征和所述美化特征进行级联，得到级联特征；
利用所述级联特征，通过所述训练后美化模型生成美化图像。
可选的，在一些实施例中，所述训练后美化模型包括训练后条件特征网络、训练后生成网络解码模块和训练后生成网络解码模块，
所述采用训练后美化模型对所述待美化图像进行美化特征和图像特征提取，得到美化特征和图像语义特征，包括：
采用训练后条件特征网络对所述待美化图像进行美化特征提取，得到美化特征；
采用训练后生成网络解码模块对所述待美化图像进行图像特征提取，得到图像语义特征；
所述利用所述级联特征，通过所述训练后美化模型生成美化图像，包括：
利用训练后生成网络解码模块将所述级联特征进行上采样至待美化图像大小；以及
获取生成网络编码模块中与生成网络解码模块具有相同特征层级的图像语义特征；
采用级联方式将获取到的图像语义特征融合至生成网络解码模块，生成美化图像。
可选的，在一些实施例中，所述采用训练后美化模型对所述待美化图像进行美化特征和图像特征提取之前，还包括：
获取样本图像对，所述样本图像对包括待美化图像样本和已美化图像样本；
根据已美化图像样本提取待美化图像样本的美化特征样本；
利用所述待美化图像样本及其美化特征样本，通过预设美化模型生成美化图像样本；
根据所述美化图像样本和已美化图像样本对预设美化模型进行收敛，得到训练后美化模型。
可选的，在一些实施例中，所述预设美化模型包括条件特征网络，所述根据已美化图像样本提取待美化图像样本的美化特征样本，包括：
利用条件特征网络对所述样本图像对进行特征提取；
根据提取到的特征进行分析，基于分析结果确定待美化图像样本的美化特征样本。
相应的，本发明实施例还提供一种图像处理装置，包括：
获取单元，用于获取样本图像对，所述样本图像对包括待美化图像样本和已美化图像样本；
提取单元，用于根据已美化图像样本提取待美化图像样本的美化特征样本；
生成单元，用于利用所述待美化图像样本及其美化特征样本，通过预设美化模型生成美化图像样本；
训练单元，用于根据所述美化图像样本和已美化图像样本对预设美化模型进行收敛，得到训练后美化模型；
处理单元，用于基于所述训练后美化模型对待美化图像进行美化处理，得到美化图像。
可选的，在一些实施例中，所述预设美化模型包括条件特征网络，所述提取单元可以包括第一提取子单元和分析子单元，如下：
所述第一提取子单元，用于利用条件特征网络对所述样本图像对进行特征提取；
所述分析子单元，用于根据提取到的特征进行分析，基于分析结果确定待美化图像样本的美化特征样本。
可选的，在一些实施例中，所述预设美化模型包括生成网络编码模块和生成网络解码模块，所述生成单元可以包括第二提取子单元、级联子单元和生成子单元，如下：
所述第二提取子单元，用于采用生成网络编码模块对所述待美化图像样本进行图像特征提取，得到图像语义特征样本；
所述级联子单元，用于将所述图像语义特征样本和所述美化特征样本进行级联，得到级联特征样本；
所述生成子单元，用于利用所述生成网络解码模块将所述级联特征样本生成美化图像样本。
可选的，在一些实施例中，所述生成子单元，具体可以用于利用所述生成网络解码模块将所述级联特征样本进行上采样至图像特征提取前大小；以及获取生成网络编码模块中与生成网络解码模块具有相同特征层级的图像语义特征样本；采用级联方式将获取到的图像语义特征样本融合至生成网络解码模块，生成美化图像样本。
可选的，在一些实施例中，所述训练单元可以包括构建子单元和收敛子单元，如下：
所述构建子单元，用于构建所述美化图像样本与已美化图像样本的损失函数；
所述收敛子单元，用于基于所述损失函数对预设美化模型进行收敛，得到训练后美化模型。
可选的，在一些实施例中，所述构建子单元，具体可以用于计算所述美化图像样本和所述已美化图像样本之间的像素误差；以及计算所述美化图像样本和所述已美化图像样本之间的对抗误差；根据所述像素误差和所述对抗误差构建预设美化模型的损失函数。
可选的，在一些实施例中，所述构建子单元，具体可以用于设置所述像素误差的权重和所述对抗误差的权重；根据所述像素误差的权重和所述对抗误差的权重构建预设美化模型的损失函数。
可选的，在一些实施例中，所述处理单元可以包括获取子单元、第三提取子单元和生成子单元，如下：
所述获取子单元，用于获取待美化图像；
所述第三提取子单元，用于采用训练后美化模型对所述待美化图像进行美化特征提取，得到美化特征，对所述待美化图像进行图像特征提取，得到图像语义特征；
所述生成子单元，用于根据所述图像语义特征和所述美化特征生成美化图像。
可选的，在一些实施例中，所述训练后美化模型包括训练后生成网络解码模块，所述生成子单元，具体可以用于将所述图像语义特征和所述美化特征进行级联，得到级联特征；利用训练后生成网络解码模块将所述级联特征生成美化图像。
可选的，在一些实施例中，所述生成子单元，具体可以用于利用训练后生成网络解码模块将所述级联特征进行上采样至图像特征提取前大小；以及获取生成网络编码模块中与生成网络解码模块具有相同特征层级的图像语义特征；采用级联方式将获取到的图像语义特征融合至生成网络解码模块，生成美化图像。
相应的，本发明实施例还提供一种图像美化装置，包括：
获取单元，用于获取待美化图像；
提取单元，用于采用训练后美化模型对所述待美化图像进行美化特征和图像特征提取，得到美化特征和图像语义特征，所述训练后美化模型由待美化图像样本和已美化图像样本训练而成；
级联单元，用于将所述图像语义特征和所述美化特征进行级联，得到级联特征；
生成单元，用于利用所述级联特征，通过所述训练后美化模型生成美化图像。
可选的，在一些实施例中，所述训练后美化模型包括训练后条件特征网络、训练后生成网络解码模块和训练后生成网络解码模块，
所述提取单元，具体用于采用训练后条件特征网络对所述待美化图像进行美化特征提取，得到美化特征；采用训练后生成网络解码模块对所述待美化图像进行图像特征提取，得到图像语义特征；
所述生成单元，具体用于利用训练后生成网络解码模块将所述级联特征进行上采样至待美化图像大小；以及获取生成网络编码模块中与生成网络解码模块具有相同特征层级的图像语义特征；采用级联方式将获取到的图像语义特征融合至生成网络解码模块，生成美化图像。
可选的，在一些实施例中，该图像美化装置，还可以包括训练单元，所述训练单元可以包括获取子单元、提取子单元、生成子单元和训练子单元，如下：
所述获取子单元，用于获取样本图像对，所述样本图像对包括待美化图像样本和已美化图像样本；
所述提取子单元，用于根据已美化图像样本提取待美化图像样本的美化特征样本；
所述生成子单元，用于利用所述待美化图像样本及其美化特征样本，通过预设美化模型生成美化图像样本；
所述训练子单元，用于根据所述美化图像样本和已美化图像样本对预设美化模型进行收敛，得到训练后美化模型。
可选的，在一些实施例中，所述预设美化模型包括条件特征网络，所述提取子单元具体用于利用条件特征网络对所述样本图像对进行特征提取；根据提取到的特征进行分析，基于分析结果确定待美化图像样本的美化特征样本。
此外，本发明实施例还提供一种存储介质，所述存储介质存储有多条指令，所述指令适于处理器进行加载，以执行本发明实施例提供的任一种图像处理方法中的步骤，或者图像美化方法中的步骤。
本发明实施例可以先获取样本图像对，所述样本图像对包括待美化图像样本和已美化图像样本，再根据已美化图像样本提取待美化图像样本的美化特征样本，然后，利用所述待美化图像样本及其美化特征样本，通过预设美化模型生成美化图像样本，接着，根据所述美化图像样本和已美化图像样本对预设美化模型进行收敛，得到训练后美化模型，再然后，基于所述训练后美化模型对待美化图像进行美化处理，得到美化图像。该方案可以有效地提高图像处理的美化效果。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1a是本发明实施例提供的图像处理方法的场景示意图；
图1b是本发明实施例提供的图像美化方法的场景示意图；
图1c是本发明实施例提供的图像处理方法的流程图；
图1d是本发明实施例提供的图像美化方法的流程图；
图2a是本发明实施例提供的图像处理方法的另一流程图；
图2b是本发明实施例提供的美化模型的结构示意图；
图2c是本发明实施例提供的生成网络的结构示意图；
图2d是本发明实施例提供的生成网络的另一结构示意图；
图2e是本发明实施例提供的图像处理方法的使用示意图；
图2f是本发明实施例提供的用户处理图像的过程示意图；
图3a是本发明实施例提供的图像处理装置的结构示意图；
图3b是本发明实施例提供的图像美化装置的结构示意图；
图4是本发明实施例提供的网络设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供一种图像处理方法、装置和存储介质。其中，该图像处理可以集成在网络设备中，该网络设备可以是服务器，也可以是终端等设备。
例如，参见图1a，首先，用户发送待美化图像给网络设备，该集成了图像处理装置的网络设备获取样本图像对，该样本图像对包括待美化图像样本和已美化图像样本，再根据已美化图像样本提取待美化图像样本的美化特征样本，然后，利用该待美化图像样本及其美化特征样本，通过预设美化模型生成美化图像样本，接着，根据该美化图像样本和已美化图像样本对预设美化模型进行收敛，得到训练后美化模型，再然后，基于该训练后美化模型对待美化图像进行美化处理，得到美化图像，网络设备再将美化图像发送给用户。该方案可以有效地提高图像处理的美化效果。
由于在采用美化模型进行图像美化之前，先根据已美化图像样本提取待美化图像样本的美化特征样本，以获取美化特征的表达内容，再利用待美化图像样本及其美化特征样本对预设美化模型进行训练，以得到可以将待美化图像生成与已美化图像样本更相似更自然的美化图像的美化模型，所以，相对于仅仅普通的美颜方案而言，可以有效地提高图像处理的美化效果，相对于仅仅依靠人工对图像进行美化的方案而言，可以有效地提高图像处理的效率。
相应的，本发明实施例还提供了一种图像美化方法、装置和存储介质，其中，该图像美化方法是利用图像处理方法中的训练后美化模型进行实现。其中，图像美化装置具体可以集成在网络设备，如终端或服务器等设备中，例如，参考图1b，用户发送待美化图像给网络设备，网络设备获取待美化图像；采用训练后美化模型对该待美化图像进行美化特征和图像特征提取，得到美化特征和图像语义特征，该训练后美化模型由待美化图像样本和已美化图像样本训练而成；将该图像语义特征和该美化特征进行级联，得到级联特征；利用该级联特征，通过该训练后美化模型生成美化图像，网络设备再将美化图像发送给用户。
以下分别进行详细说明。需说明的是，以下实施例的描述顺序不作为对实施例优选顺序的限定。
本实施例将从图像处理装置的角度进行描述，该图像处理装置具体可以集成在网络设备中，该网络设备可以是服务器，也可以是终端等设备；其中，该终端可以包括手机、平板电脑、笔记本电脑、以及个人计算(Personal Computer，PC)等设备。
一种图像处理方法，包括：获取样本图像对，该样本图像对包括待美化图像样本和已美化图像样本，再根据已美化图像样本提取待美化图像样本的美化特征样本，然后，利用该待美化图像样本及其美化特征样本，通过预设美化模型生成美化图像样本，接着，根据该美化图像样本和已美化图像样本对预设美化模型进行收敛，得到训练后美化模型，再然后，基于该训练后美化模型对待美化图像进行美化处理，得到美化图像。
如图1c所示，该图像处理方法的具体流程可以如下：
101、获取样本图像对，该样本图像对包括待美化图像样本和已美化图像样本。
例如，具体可以采集一批成对的样本图像对，即一批成对的待美化图像样本和已美化图像样本对，进而提供给图像处理装置，比如，可以由终端采集发送给图像处理装置，或者也可以由图像处理装置进行采集，即，图像处理装置具体可以接收图像采集设备或者终端等发送的样本图像对，也可以自行采集样本图像对。
其中，采集一批成对的待美化图像样本和已美化图像样本对的方式可以由很多种，比如，可以从网络中获取一批待美化图像样本，也可以使用照相机进行拍摄以获得一批待美化图像样本，等等。待美化图像样本指的是未经过人工编辑前的原始图像。而已美化图像样本可以是将获取到的一批待美化图像样本通过人工编辑的方式得到对应的图像，比如，在人工编辑过程中，可以对图像的光照和噪声等方面做出相应的优化处理，等等，以达到局部平衡光照以及增强清晰度的效果。通过人工编辑的方式获得一批成对的样本图像对后，可以直接发送给图像处理装置，也可以通过终端或者其他设备发给图像处理装置，等等。
102、根据已美化图像样本提取待美化图像样本的美化特征样本。
例如，具体可以根据已美化图像样本通过预设美化模型提取待美化图像样本的美化特征样本。为了使美化模型的美化效果更自然，更接近人工编辑的美化效果，该预设美化模型可以包括条件特征网络，即可以利用条件特征网络对该样本图像对进行特征提取，根据提取到的特征进行分析，基于分析结果确定待美化图像样本的美化特征样本。
其中，预设美化模型可以包括生成式对抗网络(Generative AdversarialNetworks，GAN)和条件特征网络。生成式对抗网络是一种深度学习模型，模型通过框架中(至少)两个模块：生成模型(Generative Model)和判别模型(Discriminative Model)的互相博弈学习产生相当好的输出。原始GAN理论中，并不要求G和D都是神经网络，只需要是能拟合相应生成和判别的函数即可。但实用中一般均使用深度神经网络作为G和D。一个优秀的GAN应用需要有良好的训练方法，否则可能由于神经网络模型的自由性而导致输出不理想。
其中，判别模型需要输入变量，通过某种模型来预测。生成模型是给定某种隐含信息，来随机产生观测数据。比如，判别模型：给定一张图，判断这张图里的动物是猫还是狗。生成模型：给一系列猫的图片，生成一张新的猫咪(不在数据集里)
其中，条件特征网络可以是用来提取特定条件特征的，比如，提取特定的美化特征。该特定条件特征的设定方式可以有很多种，比如，可以根据实际应用的需求灵活设定，也可以预先训练好条件特征网络设定存储在网络设备中。此外，特定条件特征可以内置于网络设备中，或者，也可以保存在存储器中并发送给网络设备，等等。
比如，条件特征网络可以有一个二分类网络。顾名思义，二分类网络就是对输入进网络的数据分为两类，如0或1，是或否，等等。比如，该二分类网络可以先通过先期训练具有识别未美化图像和已美化图像的能力。待美化图像样本的美化特征样本指的是待美化图像样本与已美化图像样本中的美化特征对应的特征。比如，可以利用条件特征网络对该样本图像对进行特征提取，条件特征网络中的二分类网络对提取到的特征进行分析，以此确定已美化图像样本和待美化图像样本，并确定已美化图像样本与待美化图像样本的区别特征，然后，抽取该条件特征网络中待美化图像样本与已美化图像样本中的美化特征对应的特征，即待美化图像样本的美化特征样本。
103、利用该待美化图像样本及其美化特征样本，通过预设美化模型生成美化图像样本。
例如，具体可以对该待美化图像样本进行图像特征提取，得到图像语义特征样本，然后，将该图像语义特征样本和该美化特征样本进行级联，得到级联特征样本，再利用该生成网络解码模块将该级联特征样本生成美化图像样本。比如，为了提高模型的训练效率，使模型更智能，预设美化模型中的生成式对抗网络可以是神经网络，生成模型可以为生成网络，判别模型可以为判别网络。生成网络可以包括编码模块和解码模块，即预设美化模型可以包括生成网络编码模块和生成网络解码模块，则“利用该待美化图像样本及其美化特征样本，通过预设美化模型生成美化图像样本”，可以包括：
采用生成网络编码模块对该待美化图像样本进行图像特征提取，得到图像语义特征样本；将该图像语义特征样本和该美化特征样本进行级联，得到级联特征样本；利用该生成网络解码模块将该级联特征样本生成美化图像样本。
其中，图像语义是从图像的属性中提取信息，形成低级信息向高级语义传递、映射和融合过程的一个概念，来描述或表达原图像。图像语义特征就是利用图像的语义信息，用来描述图像的特征。比如，具体可以采用生成网络编码模块对该待美化图像样本进行卷积和下采样，以获得表征图像语义特征的表达，得到图像语义特征样本，然后，将该图像语义特征样本和该美化特征样本进行级联操作，得到级联特征样本，再将级联特征样本作为生成网络解码模块的输入，通过解码模块的反卷积和上采样还原图像像素域的分布，获得解码模块的输出，即生成美化图像样本。
为了提升解码模块的特征表达，帮助恢复出更好的像素域分布，对于编码模块和解码模块结构中具有相同特征尺度的层级，可以采用特征图在级联方式将编码模块特征融合至解码模块，即“利用该生成网络解码模块将该级联特征样本生成美化图像样本”，可以包括：
利用该生成网络解码模块将该级联特征样本进行上采样至图像特征提取前大小；以及获取生成网络编码模块中与生成网络解码模块具有相同特征层级的图像语义特征样本；采用级联方式将获取到的图像语义特征样本融合至生成网络解码模块，生成美化图像样本。
104、根据该美化图像样本和已美化图像样本对预设美化模型进行收敛，得到训练后美化模型。
例如，具体可以构建该美化图像样本与已美化图像样本的损失函数，基于该损失函数对预设美化模型进行收敛，得到训练后美化模型。比如，可以基于该损失函数利用随机梯度下降法对该预设美化模型的权值进行调整，返回执行获取样本图像对的步骤，直到该预设美化模型收敛，得到训练后美化模型。
为了使模型的美化效果更逼真，对图像的细节处理更好，“构建该美化图像样本与已美化图像样本的损失函数”，可以包括：
计算该美化图像样本和该已美化图像样本之间的像素误差；以及计算该美化图像样本和该已美化图像样本之间的对抗误差；根据该像素误差和该对抗误差构建预设美化模型的损失函数。
进一步的，为了增强美化图像的清晰度、有效平衡光照、去除图像噪声等等，“根据该像素误差和该对抗误差构建预设美化模型的损失函数”，可以包括：
设置该像素误差的权重和该对抗误差的权重；根据该像素误差的权重和该对抗误差的权重构建预设美化模型的损失函数。比如，为了获得更加逼真的生成结果，加入了判别网络方法，所谓判别网络可以为一个二分类网络，用于区分由生成网络生成的美化图像样本和真实的已美化图像样本，整个网络结果通过同时更新生成网络与判别网络的权值达到对抗学习的目的，其中，构建该美化图像样本与已美化图像样本的损失函数可以如下：
计算美化图像样本与已美化图像样本之间的像素误差(LossPixel)，该像素误差可以采用欧式距离计算，如：
LossPixel＝||f(x)-Y||2
其中，f(x)为美化图像样本的像素值，Y为已美化图像样本的像素值。
计算美化图像样本与已美化图像样本之间的对抗误差(LossGan)，该误差可以为：
LossG＝log(1-D(G(z))
LossD＝-(log(D(x))+log(1-D(G(z)))
LossGan＝a*LossG+b*LossD
其中，LossG为生成网络误差函数，LossD为判别网络误差函数，a、b为比例系数，G(x)为生成网络的输出，D(x)为判别网络的输出。然后，构建损失函数可以为：
Loss＝p*LossPixel+q*LossGan
其中，p、q为误差权重，通过随机梯度下降方法优化误差Loss，并更新网络中每一层结构的权值，返回执行获取样本图像对的步骤，直至网络误差Loss收敛。
105、基于该训练后美化模型对待美化图像进行美化处理，得到美化图像。
例如，具体可以获取待美化图像，再采用训练后美化模型对该待美化图像进行美化特征提取，得到美化特征，然后，对该待美化图像进行图像特征提取，得到图像语义特征，接着，根据该图像语义特征和该美化特征生成美化图像。在“根据该图像语义特征和该美化特征生成美化图像”可以包括：
根据该图像语义特征和该美化特征进行融合，并将融合后的特征进行预处理，得到美化图像。
比如，当美化模型训练完成后，就可以利用已训练完成的模型进行前向推理，在进行前向推理过程中，首先将输入图像，即待美化图像，经过条件特征网络获取美化特征，其次，将该特征连同输入图片一起送入生成网络，此后获得该生成网络的输出，将该输出的像素值进行归一化，然后将图像大小还原至原始大小并以图像格式进行访问，就可以得到最终的美化图像。也就是说，训练后美化模型可以包括训练后生成网络解码模块，则“根据该图像语义特征和该美化特征生成美化图像”，可以包括：
将该图像语义特征和该美化特征进行级联，得到级联特征；利用训练后生成网络解码模块将该级联特征生成美化图像。
而“利用训练后生成网络解码模块将该级联特征生成美化图像”，可以包括：
利用训练后生成网络解码模块将该级联特征进行上采样至图像特征提取前大小；以及获取生成网络编码模块中与生成网络解码模块具有相同特征层级的图像语义特征；采用级联方式将获取到的图像语义特征融合至生成网络解码模块，生成美化图像。
由上可知，本发明实施例可以先获取样本图像对，该样本图像对包括待美化图像样本和已美化图像样本，再根据已美化图像样本提取待美化图像样本的美化特征样本，然后，利用该待美化图像样本及其美化特征样本，通过预设美化模型生成美化图像样本，接着，根据该美化图像样本和已美化图像样本对预设美化模型进行收敛，得到训练后美化模型，再然后，基于该训练后美化模型对待美化图像进行美化处理，得到美化图像；由于该方案可以先根据已美化图像样本提取待美化图像样本的美化特征样本，以获取美化特征的表达内容，再利用待美化图像样本及其美化特征样本对预设美化模型进行训练，以得到可以将待美化图像生成与已美化图像样本更相似更自然的美化图像的美化模型，所以，相对于普通的美颜方案而言，该方案通过训练端到端的生成式对抗学习网络模型，能够一键获得良好的图像美化效果，有效地提高了图像处理的美化效果，增强美化图像的清晰度，有效平衡光照，去除图像噪声，提高美化效率。
在本发明实施例中，将从图像美化装置的角度进行描述，该图像美化装置具体可以集成在网络设备如终端或服务器等设备中。
一种图像美化方法，包括：获取待美化图像；采用训练后美化模型对该待美化图像进行美化特征和图像特征提取，得到美化特征和图像语义特征，该训练后美化模型由待美化图像样本和已美化图像样本训练而成；将该图像语义特征和该美化特征进行级联，得到级联特征；利用该级联特征，通过该训练后美化模型生成美化图像。
如图1d所示，该图像美化方法的具体流程可以如下：
111、获取待美化图像。
其中，采集待美化图像的设备可以有多种，例如，具体可以由图像采集设备采集待美化图像后发送给图像美化装置，也可以由图像美化装置集成在的网络设备对待美化图像进行采集，还可以由图像美化装置自行采集，等等。其中，采集的方式也可以有多种，比如，可以由摄像头对需要美化的画面进行拍摄，也可以获取采集设备相册中的图像，还可以通过网络获取网站中的图像，等等。
112、采用训练后美化模型对该待美化图像进行美化特征和图像特征提取，得到美化特征和图像语义特征，该训练后美化模型由待美化图像样本和已美化图像样本训练而成。
例如，具体可以采用训练后美化模型对该待美化图像进行美化特征提取，得到美化特征，采用训练后美化模型对该待美化图像进行图像特征提取，得到图像语义特征。
其中，该训练后美化模型包括训练后条件特征网络、训练后生成网络解码模块和训练后生成网络解码模块，则该采用训练后美化模型对该待美化图像进行美化特征和图像特征提取，得到美化特征和图像语义特征，可以包括：
采用训练后条件特征网络对该待美化图像进行美化特征提取，得到美化特征；采用训练后生成网络解码模块对该待美化图像进行图像特征提取，得到图像语义特征。
该利用该级联特征，通过该训练后美化模型生成美化图像，可以包括：
利用训练后生成网络解码模块将该级联特征进行上采样至待美化图像大小；以及获取生成网络编码模块中与生成网络解码模块具有相同特征层级的图像语义特征；采用级联方式将获取到的图像语义特征融合至生成网络解码模块，生成美化图像。
为了提高图像的美化效率，在采用训练后美化模型对该待美化图像进行美化特征和图像特征提取之前，还包括：
获取样本图像对，该样本图像对包括待美化图像样本和已美化图像样本；根据已美化图像样本提取待美化图像样本的美化特征样本；利用该待美化图像样本及其美化特征样本，通过预设美化模型生成美化图像样本；根据该美化图像样本和已美化图像样本对预设美化模型进行收敛，得到训练后美化模型。
其中，该预设美化模型包括条件特征网络，该根据已美化图像样本提取待美化图像样本的美化特征样本，包括：
利用条件特征网络对该样本图像对进行特征提取；根据提取到的特征进行分析，基于分析结果确定待美化图像样本的美化特征样本。
例如，具体可以利用条件特征网络对该样本图像对进行特征提取，条件特征网络中的二分类网络对提取到的特征进行分析，以此确定已美化图像样本和待美化图像样本，并确定已美化图像样本与待美化图像样本的区别特征，然后，基于分析结果抽取该条件特征网络中待美化图像样本与已美化图像样本中的美化特征对应的特征，即待美化图像样本的美化特征样本。
训练后美化模型的具体训练过程可以参考上述实施例描述。
113、将该图像语义特征和该美化特征进行级联，得到级联特征。
例如，具体可以将N维的图像语义特征向量和N维的美化特征向量级联成为一个2N维的级联特征向量。其中，一组向量可以表示一个矩阵表示的空间的特征，他们的特征值就表示了各个角度上的能量，因此，通过特征向量/值可以完全描述某一几何空间这一特点。
114、利用该级联特征，通过该训练后美化模型生成美化图像。
例如，具体可以利用训练后生成网络解码模块将该级联特征进行上采样至待美化图像大小；以及获取生成网络编码模块中与生成网络解码模块具有相同特征层级的图像语义特征；采用级联方式将获取到的图像语义特征融合至生成网络解码模块，生成美化图像。
例如，具体可以将该级联特征作为生成网络解码模块的输入，得到生成网络解码模块的输出，将该解码模块的输出进行预处理，生成美化图像，比如，可以将解码模块的输出中元素进行归一化，再将图像还原至待美化图像的大小，并生成图像格式，得到美化图像。
由上可知，本发明实施例可以先获取待美化图像，再采用训练后美化模型对该待美化图像进行美化特征和图像特征提取，得到美化特征和图像语义特征，该训练后美化模型由待美化图像样本和已美化图像样本训练而成，然后，将该图像语义特征和该美化特征进行级联，得到级联特征，接着，利用该级联特征，通过该训练后美化模型生成美化图像；由于该方案可以利用训练后美化模型对该待美化图像进行美化特征，以获取美化特征的表达内容，并对待美化图像进行图像特征提取，再将图像语义特征和美化特征进行级联，以得到更自然更接近人工编辑的美化图像，所以，相对于普通的美颜方案而言，该方案通过利用训练后美化模型，能够一键获得良好的图像美化效果，有效地提高了图像的美化效果，增强美化图像的清晰度，有效平衡光照，去除图像噪声，提高美化效率。
根据上述实施例所描述的方法，以下将举例作进一步详细说明。
在本实施例中，将以该图像处理装置具体集成在网络设备，以人脸图像美颜为例进行说明。
如图2a所示，一种图像处理方法，具体流程可以如下：
201、网络设备获取样本图像对，该样本图像对包括待美颜图像样本和已美颜图像样本。
比如，可以由终端采集一批成对的样本图像对，即一批成对的待美颜图像样本和已美颜图像样本对发送给网络设备，网络设备可以接收终端发送的样本图像对。
其中，待美颜图像样本指的是终端通过网络获取到的未经过人工编辑的原始图像。而已美颜图像样本可以是将终端获取到的待美颜图像样本通过人工编辑的方式得到对应的图像，比如，可以对图像的光照和噪声等方面做出相应的优化处理，等等，以达到局部平衡光照以及增强清晰度的效果，还可以对人脸的五官进行处理，比如瘦脸、美白、祛斑等等。
202、网络设备根据已美颜图像样本提取待美颜图像样本的美颜特征样本。
例如，网络设备具体可以利用获取到的样本图像对对预设美颜模型进行训练。其中，预设美颜模型的训练过程可以如图2b所示，首先，可以通过预设美颜模型提取待美颜图像样本的美颜特征样本。
为了使美颜模型的美颜效果更自然，更接近人工编辑的美颜效果，可以利用预设美颜模型的条件特征网络对该样本图像对进行特征提取，根据提取到的特征进行分析，基于分析结果确定待美颜图像样本的美颜特征样本。比如，条件特征网络有一个二分类网络，该二分类网络可以通过先期训练具有识别未美颜图像和已美颜图像的能力，可以利用条件特征网络对该样本图像对进行特征提取，条件特征网络中的二分类网络对提取到的特征进行分析，以此确定已美颜图像样本和待美颜图像样本，并确定已美颜图像样本与待美颜图像样本的区别特征，比如，已美颜图像样本在待美颜图像样本的基础上进行了瘦脸、大眼等等操作，则已美颜图像样本与待美颜图像样本的区别特征为瘦脸、大眼等等，然后，抽取该条件特征网络中待美颜图像样本与已美颜图像样本中的美颜特征对应的特征，即待美颜图像样本的美颜特征样本，比如，美颜特征样本可以为脸部轮廓特征、眼睛轮廓特征等等。
203、网络设备对该待美颜图像样本进行图像特征提取，得到图像语义特征样本。
例如，为了提高模型的训练效率，使模型更智能，预设美颜模型中的生成式对抗网络可以是神经网络，生成模型可以为生成网络，判别模型可以为判别网络。生成网络可以包括编码模块和解码模块，即预设美颜模型可以包括生成网络编码模块和生成网络解码模块，则网络设备可以利用生成网络编码模块对该待美颜图像样本进行图像特征提取，得到图像语义特征样本。例如，如图2c所示，该生成网络的编码模块部分包括编码器1、编码器2、编码器3、编码器4和编码器5。比如，具体可以将待美颜图像样本输入至该生成网络后，依次由编码器1、编码器2、编码器3、编码器4和编码器5对该待美颜图像样本进行编码，即卷积和下采样操作，以获得表征图像语义特征的表达，得到图像语义特征样本。
204、网络设备将该图像语义特征样本和该美颜特征样本进行级联，得到级联特征样本。
例如，网络设备具体可以将生成网络编码模块对该待美颜图像样本提取到的图像语义特征样本与条件特征网络提取到的待美颜图像样本的美颜特征样本进行级联操作，得到级联特征样本，然后，将该级联特征样本输入生成网络解码模块，执行步骤205的操作。
205、网络设备利用该生成网络解码模块将该级联特征样本生成美颜图像样本。
例如，网络设备具体可以利用该生成网络解码模块将该级联特征样本进行上采样至图像特征提取前大小；以及获取生成网络编码模块中与生成网络解码模块具有相同特征层级的图像语义特征样本；采用级联方式将获取到的图像语义特征样本融合至生成网络解码模块，生成美颜图像样本。
为了提升解码模块的特征表达，帮助恢复出更好的像素域分布，对于编码模块和解码模块结构中具有相同特征尺度的层级，可以采用特征图在级联方式将编码模块特征融合至解码模块，例如，如图2c所示，该生成网络的解码模块部分可以包括解码器1、解码器2、解码器3和解码器4。比如，将待美颜图像样本输入至该生成网络后，依次由编码器1、编码器2、编码器3、编码器4和编码器5对该待美颜图像样本进行编码，即卷积和下采样操作后，编码器1～4的输出均具有两个分支，一个传送给下一个编码器，另一个传送给相应的解码器。然后，将级联特征样本作为生成网络解码模块的输入，通过解码模块的反卷积和上采样还原图像像素域的分布，获得解码模块的输出，即生成美颜图像样本。比如，编码器1在将输出传送给编码器2的同时，也将输出传送给解码器1；编码器2在将输出传送给编码器3的同时，也将输出传送给解码器2；编码器3在将输出传送给编码器3的同时，也将输出传送给解码器3；编码器4在将输出传送给编码器5的同时，也将输出传送给解码器4，以此类推，等等。编码器5则略有不同，它的只有一个输出，传送给解码器4。也就是说，解码器1～4均具有两个输入，比如，解码器4除了可以将编码器4传送的输出作为其中一个输入之外，还需要通过对编码器5的输出和美颜特征样本进行级联操作，得到级联特征样本进行上采样来获取另一个输入；而解码器3则一方面将编码器3传送的输出作为其中一个输入，另一个方面通过对解码器4的输出进行上采样来获取另一个输入；解码器2和解码器1与解码器3类似。通过解码模块的解码，即反卷积和上采样操作，还原图像像素域的分布，进而获得解码模块的输出，即生成美颜图像样本。
可选的，各个编码器中卷积层的数量和参数、以及解码器的参数均可以根据实际应用的需求而定，比如，具体数量和参数可以如图2d所示。
206、网络设备根据该美颜图像样本和已美颜图像样本对预设美颜模型进行收敛，得到训练后美颜模型。
例如，网络设备具体可以构建该美颜图像样本与已美颜图像样本的损失函数，比如，为了使模型的美颜效果更逼真，对图像的细节处理更好，可以通过计算该美颜图像样本和该已美颜图像样本之间的像素误差；以及计算该美颜图像样本和该已美颜图像样本之间的对抗误差；根据该像素误差和该对抗误差构建预设美颜模型的损失函数。然后，基于该损失函数对预设美颜模型进行收敛，得到训练后美颜模型。比如，可以基于该损失函数利用随机梯度下降法对该预设美颜模型的权值进行调整，返回执行获取样本图像对的步骤，直到该预设美颜模型收敛，得到训练后美颜模型。
比如，为了增强美颜图像的清晰度、有效平衡光照、去除图像噪声等等，便于突出图像的其中一方面美颜效果，可以设置该像素误差的权重和该对抗误差的权重，然后根据像素误差和对抗误差以及该像素误差的权重和该对抗误差的权重构建预设美颜模型的损失函数。
比如，为了获得更加逼真的生成结果，在预设美化模型中加入了判别网络方法，判别网络中有一个二分类网络，可以用于区分由生成网络生成的美颜图像样本和由人工编辑过的已美颜图像样本，整个网络结果通过同时更新生成网络与判别网络的权值达到对抗学习的目的。
其中，构建该美颜图像样本与已美颜图像样本的损失函数可以如下：
计算美颜图像样本与已美颜图像样本之间的像素误差(LossPixel)，该像素误差可以采用欧式距离计算，如：
LossPixel＝||f(x)-Y||2
其中，f(x)为美颜图像样本的像素值，Y为已美颜图像样本的像素值。
计算美颜图像样本与已美颜图像样本之间的对抗误差(LossGan)，该误差可以为：
LossG＝log(1-D(G(z))
LossD＝-(log(D(x))+log(1-D(G(z)))
LossGan＝a*LossG+b*LossD
其中，LossG为生成网络误差函数，LossD为判别网络误差函数，a、b为比例系数，G(x)为生成网络的输出，D(x)为判别网络的输出。然后，构建损失函数可以为：
Loss＝p*LossPixel+q*LossGan
其中，p、q为误差权重，在本实施例中，可以使p＝1和q＝1，通过随机梯度下降方法优化误差Loss，并更新网络中每一层结构的权值，返回执行获取样本图像对的步骤，直至网络误差Loss收敛。
207、网络设备获取待美颜图像。
例如，网络设备具体可以由网络设备对待美颜图像进行采集，比如，可以由网络设备中的摄像头对需要美颜的人脸进行拍摄，也可以获取网络设备相册中的人脸图像，网络设备还可以通过网络获取网站中的人脸图像，等等。
208、网络设备采用训练后美颜模型对该待美颜图像进行美颜特征和图像特征提取，得到美颜特征和图像语义特征。
例如，网络设备具体可以采用训练后条件特征网络对该待美颜图像进行美颜特征提取，比如，人脸图像中的眉毛、眼睛、肤色等特征，得到美颜特征；采用训练后生成网络解码模块对该待美颜图像进行图像特征提取，比如，图像的属性信息等，得到图像语义特征。
209、网络设备将该图像语义特征和该美颜特征进行级联，得到级联特征。
例如，网络设备具体可以将N维的图像语义特征向量和N维的美颜特征向量级联成为一个2N维的级联特征向量，比如，图像语义特征向量a＝[1,2,3]，美颜特征向量b＝[4,5,6]，则图像语义特征向量a级联美颜特征向量b得到级联特征向量c＝[1,2,3,4,5,6]。
210、网络设备利用该级联特征，通过该训练后美颜模型生成美颜图像。
例如，网络设备具体可以利用训练后生成网络解码模块将该级联特征进行上采样至待美颜图像大小；以及获取生成网络编码模块中与生成网络解码模块具有相同特征层级的图像语义特征；采用级联方式将获取到的图像语义特征融合至生成网络解码模块，得到生成网络解码模块的输出，将该解码模块的输出进行预处理，生成美颜图像，比如，可以将解码模块的输出中元素进行归一化，再将图像还原至待美颜图像的大小，并生成图像格式，得到美颜图像。
比如，当美颜模型训练完成后，可以利用已训练完成的模型对人脸图像进行美颜，在美颜过程中，可以先输入待美颜图像到训练后美颜模型中，经过条件特征网络获取美颜特征，其次，将该美颜特征连同输入的待美颜图像一起输入生成网络，此后获得该生成网络的输出，然后将该输出的像素值归一化至[0,255]，将图像大小还原至原始大小并以图像格式进行访问，就可以得到最终的美颜图像。为了提高美颜效率，该美颜模型可以同时对多张图片进行美颜。
比如，利用训练后美颜模型对待美颜图像进行美颜处理具体可以如图2e所示，用户可以上传需要美颜的图片到网络设备，网络设备对用户已上传的图片进行美颜处理，然后，网络设备将处理好的已美颜图片返回给用户。比如，用户的具体操作可以如图2f所示，用户可以在终端点击“选择”按钮，选择一张或多张需要美颜的图片，再点击“美颜”按钮，对选中的图片进行美颜，然后终端将选中的图片发送到网络设备，网络设备对图片进行美颜后再将美颜图片在终端上进行显示，用户可以点击“对比”按钮，对比美颜前后的图片，如果需要对美颜后的图片进行保存，可以点击“保存”按钮，图片就被保存到终端，用户可终端相册中随时进行查看。
由上可知，本发明实施例可以先获取样本图像对，该样本图像对包括待美颜图像样本和已美颜图像样本，再根据已美颜图像样本提取待美颜图像样本的美颜特征样本，然后，利用该待美颜图像样本及其美颜特征样本，通过预设美颜模型生成美颜图像样本，接着，根据该美颜图像样本和已美颜图像样本对预设美颜模型进行收敛，得到训练后美颜模型，再然后，获取待美化图像，采用训练后美化模型对该待美化图像进行美化特征和图像特征提取，得到美化特征和图像语义特征，将该图像语义特征和该美化特征进行级联，得到级联特征，利用该级联特征，通过该训练后美化模型生成美化图像；由于该方案可以先根据已美颜图像样本提取待美颜图像样本的美颜特征样本，以获取美颜特征的表达内容，再利用待美颜图像样本及其美颜特征样本对预设美颜模型进行训练，以得到可以将待美颜图像生成与已美颜图像样本更相似更自然的美颜图像的美颜模型，所以，相对于普通的美颜方案而言，该方案通过训练端到端的生成式对抗学习网络模型，能够一键获得良好的图像美颜效果，有效地提高了图像处理的美颜效果，增强美颜图像的清晰度，有效平衡光照，去除图像噪声，提高美颜效率。
为了更好地实施以上方法，相应的，本发明实施例还提供一种图像处理装置，该图像处理装置具体可以集成在网络设备中，该网络设备可以是服务器，也可以是终端等设备。
例如，如图3a所示，该图像处理装置可以包括获取单元301、提取单元302、生成单元303、训练单元304和处理单元305，如下：
(1)获取单元301；
获取单元301，用于获取样本图像对，该样本图像对包括待美化图像样本和已美化图像样本。
例如，获取单元301具体可以采集一批成对的样本图像对，即一批成对的待美化图像样本和已美化图像样本对，进而提供给图像处理装置，比如，可以由终端采集发送给图像处理装置，或者也可以由图像处理装置进行采集，即，图像处理装置具体可以接收图像采集设备或者终端等发送的样本图像对，也可以自行采集样本图像对。
其中，采集一批成对的待美化图像样本和已美化图像样本对的方式可以由很多种，比如，可以从网络中获取一批待美化图像样本，也可以使用照相机进行拍摄以获得一批待美化图像样本，等等。待美化图像样本指的是未经过人工编辑前的原始图像。而已美化图像样本可以是将获取到的一批待美化图像样本通过人工编辑的方式得到对应的图像，比如，在人工编辑过程中，可以对图像的光照和噪声等方面做出相应的优化处理，等等，以达到局部平衡光照以及增强清晰度的效果。通过人工编辑的方式获得一批成对的样本图像对后，可以直接发送给图像处理装置，也可以通过终端或者其他设备发给图像处理装置，等等。
(2)提取单元302；
提取单元302，用于根据已美化图像样本提取待美化图像样本的美化特征样本。
例如，提取单元302具体可以根据已美化图像样本通过预设美化模型提取待美化图像样本的美化特征样本。为了使美化模型的美化效果更自然，更接近人工编辑的美化效果，可选的，预设美化模型可以包括条件特征网络，即提取单元302可以包括：
第一提取子单元，用于利用条件特征网络对该样本图像对进行特征提取；
分析子单元，用于根据提取到的特征进行分析，基于分析结果确定待美化图像样本的美化特征样本。
其中，预设美化模型可以包括生成式对抗网络和条件特征网络。其中，条件特征网络可以是用来提取特定条件特征的，比如，提取特定的美化特征。该特定条件特征的设定方式可以有很多种，比如，可以根据实际应用的需求灵活设定，也可以预先训练好条件特征网络设定存储在网络设备中。此外，特定条件特征可以内置于网络设备中，或者，也可以保存在存储器中并发送给网络设备，等等。
比如，条件特征网络可以有一个二分类网络。顾名思义，二分类网络就是对输入进网络的数据分为两类，如0或1，是或否，等等。比如，该二分类网络可以先通过先期训练具有识别未美化图像和已美化图像的能力。待美化图像样本的美化特征样本指的是待美化图像样本与已美化图像样本中的美化特征对应的特征。比如，可以利用条件特征网络对该样本图像对进行特征提取，条件特征网络中的二分类网络对提取到的特征进行分析，以此确定已美化图像样本和待美化图像样本，并确定已美化图像样本与待美化图像样本的区别特征，然后，抽取该条件特征网络中待美化图像样本与已美化图像样本中的美化特征对应的特征，即待美化图像样本的美化特征样本。
(3)生成单元303；
生成单元303，用于利用该待美化图像样本及其美化特征样本，通过预设美化模型生成美化图像样本。
例如，生成单元303具体可以对该待美化图像样本进行图像特征提取，得到图像语义特征样本，然后，将该图像语义特征样本和该美化特征样本进行级联，得到级联特征样本，再利用该生成网络解码模块将该级联特征样本生成美化图像样本。比如，为了提高模型的训练效率，使模型更智能，可选的，预设美化模型中的生成式对抗网络可以是神经网络，生成模型可以为生成网络，判别模型可以为判别网络。生成网络可以包括编码模块和解码模块，即预设美化模型可以包括生成网络编码模块和生成网络解码模块，生成单元303，可以包括：
第二提取子单元，用于采用生成网络编码模块对该待美化图像样本进行图像特征提取，得到图像语义特征样本；
级联子单元，用于将该图像语义特征样本和该美化特征样本进行级联，得到级联特征样本；
生成子单元，用于利用该生成网络解码模块将该级联特征样本生成美化图像样本。
比如，具体可以采用生成网络编码模块对该待美化图像样本进行卷积和下采样，以获得表征图像语义特征的表达，得到图像语义特征样本，然后，将该图像语义特征样本和该美化特征样本进行级联操作，得到级联特征样本，再将级联特征样本作为生成网络解码模块的输入，通过解码模块的反卷积和上采样还原图像像素域的分布，获得解码模块的输出，即生成美化图像样本。
为了提升解码模块的特征表达，帮助恢复出更好的像素域分布，对于编码模块和解码模块结构中具有相同特征尺度的层级，可以采用特征图在级联方式将编码模块特征融合至解码模块，即生成子单元，具体可以用于利用该生成网络解码模块将该级联特征样本进行上采样至图像特征提取前大小；以及获取生成网络编码模块中与生成网络解码模块具有相同特征层级的图像语义特征样本；采用级联方式将获取到的图像语义特征样本融合至生成网络解码模块，生成美化图像样本。
(4)训练单元304；
训练单元304，用于根据该美化图像样本和已美化图像样本对预设美化模型进行收敛，得到训练后美化模型。
可选的，训练单元304，可以包括构建子单元和收敛子单元，如下：
构建子单元，用于构建该美化图像样本与已美化图像样本的损失函数；
收敛子单元，用于基于该损失函数对预设美化模型进行收敛，得到训练后美化模型。
比如，可以基于该损失函数利用随机梯度下降法对该预设美化模型的权值进行调整，返回执行获取样本图像对的步骤，直到该预设美化模型收敛，得到训练后美化模型。
为了使模型的美化效果更逼真，对图像的细节处理更好，构建子单元具体可以用于计算该美化图像样本和该已美化图像样本之间的像素误差；以及计算该美化图像样本和该已美化图像样本之间的对抗误差；根据该像素误差和该对抗误差构建预设美化模型的损失函数。
进一步的，为了增强美化图像的清晰度、有效平衡光照、去除图像噪声等等，构建子单元具体可以用于设置该像素误差的权重和该对抗误差的权重；根据该像素误差的权重和该对抗误差的权重构建预设美化模型的损失函数。比如，为了获得更加逼真的生成结果，加入了判别网络方法，所谓判别网络可以为一个二分类网络，用于区分由生成网络生成的美化图像样本和真实的已美化图像样本，整个网络结果通过同时更新生成网络与判别网络的权值达到对抗学习的目的，其中，构建该美化图像样本与已美化图像样本的损失函数可以如下：
计算美化图像样本与已美化图像样本之间的像素误差(LossPixel)，该像素误差可以采用欧式距离计算，如：
LossPixel＝||f(x)-Y||2
其中，f(x)为美化图像样本的像素值，Y为已美化图像样本的像素值。
计算美化图像样本与已美化图像样本之间的对抗误差(LossGan)，该误差可以为：
LossG＝log(1-D(G(z))
LossD＝-(log(D(x))+log(1-D(G(z)))
LossGan＝a*LossG+b*LossD
其中，LossG为生成网络误差函数，LossD为判别网络误差函数，a、b为比例系数，G(x)为生成网络的输出，D(x)为判别网络的输出。然后，构建损失函数可以为：
Loss＝p*LossPixel+q*LossGan
其中，p、q为误差权重，通过随机梯度下降方法优化误差Loss，并更新网络中每一层结构的权值，返回执行获取样本图像对的步骤，直至网络误差Loss收敛。
(5)处理单元305；
处理单元305，用于基于该训练后美化模型对待美化图像进行美化处理，得到美化图像。
可选的，处理单元可以包括获取子单元、第三提取子单元和生成子单元，如下：
获取子单元，用于获取待美化图像；
第三提取子单元，用于采用训练后美化模型对该待美化图像进行美化特征提取，得到美化特征，对该待美化图像进行图像特征提取，得到图像语义特征；
生成子单元，用于根据该图像语义特征和该美化特征生成美化图像。
比如，当模型训练完成后，就可以利用已训练完成的模型进行前向推理，在进行前向推理过程中，首先将输入图像，即待美化图像，经过条件特征网络获取美化特征，其次，将该特征连同输入图片一起送入生成网络，此后获得该生成网络的输出，将该输出的像素值归一化至[0,255]，然后将图像大小还原至原始大小并以图像格式进行访问，就可以得到最终的美化图像。也就是说，训练后美化模型可以包括训练后生成网络解码模块，则生成子单元，具体可以用于将该图像语义特征和该美化特征进行级联，得到级联特征；利用训练后生成网络解码模块将该级联特征生成美化图像。
可选的，在一些实施例中，生成子单元，具体可以用于利用训练后生成网络解码模块将该级联特征进行上采样至图像特征提取前大小；以及获取生成网络编码模块中与生成网络解码模块具有相同特征层级的图像语义特征；采用级联方式将获取到的图像语义特征融合至生成网络解码模块，生成美化图像。
由上可知，本发明实施例可以先由获取单元301获取样本图像对，该样本图像对包括待美化图像样本和已美化图像样本，再由提取单元302根据已美化图像样本提取待美化图像样本的美化特征样本，然后，由生成单元303利用该待美化图像样本及其美化特征样本，通过预设美化模型生成美化图像样本，接着，由训练单元304根据该美化图像样本和已美化图像样本对预设美化模型进行收敛，得到训练后美化模型，再然后，由处理单元305基于该训练后美化模型对待美化图像进行美化处理，得到美化图像；由于该方案可以先根据已美化图像样本提取待美化图像样本的美化特征样本，以获取美化特征的表达内容，再利用待美化图像样本及其美化特征样本对预设美化模型进行训练，以得到可以将待美化图像生成与已美化图像样本更相似更自然的美化图像的美化模型，所以，相对于普通的美颜方案而言，该方案通过训练端到端的生成式对抗学习网络模型，能够一键获得良好的图像美化效果，有效地提高了图像处理的美化效果，增强美化图像的清晰度，有效平衡光照，去除图像噪声，提高美化效率。
为了更好地实施以上方法，相应的，本发明实施例还提供一种图像美化装置，该图像美化装置具体可以集成在网络设备中，该网络设备可以是服务器，也可以是终端等设备。
例如，如图3b所示，该图像美化装置可以包括获取单元311、提取单元312、级联单元313、和生成单元314，如下：
获取单元311，用于获取待美化图像。
提取单元312，用于采用训练后美化模型对该待美化图像进行美化特征和图像特征提取，得到美化特征和图像语义特征，该训练后美化模型由待美化图像样本和已美化图像样本训练而成。
可选的，在一些实施例中，该训练后美化模型包括训练后条件特征网络、训练后生成网络解码模块和训练后生成网络解码模块，该提取单元，具体用于采用训练后条件特征网络对该待美化图像进行美化特征提取，得到美化特征；采用训练后生成网络解码模块对该待美化图像进行图像特征提取，得到图像语义特征。
级联单元313，用于将该图像语义特征和该美化特征进行级联，得到级联特征。
生成单元314，用于利用该级联特征，通过该训练后美化模型生成美化图像。
可选的，在一些实施例中，生成单元，具体用于利用训练后生成网络解码模块将该级联特征进行上采样至待美化图像大小；以及获取生成网络编码模块中与生成网络解码模块具有相同特征层级的图像语义特征；采用级联方式将获取到的图像语义特征融合至生成网络解码模块，生成美化图像。
可选的，在一些实施例中，该图像美化装置，还可以包括训练单元，该训练单元可以包括获取子单元、提取子单元、生成子单元和训练子单元，如下：
获取子单元，用于获取样本图像对，该样本图像对包括待美化图像样本和已美化图像样本。
提取子单元，用于根据已美化图像样本提取待美化图像样本的美化特征样本。
生成子单元，用于利用该待美化图像样本及其美化特征样本，通过预设美化模型生成美化图像样本。
训练子单元，用于根据该美化图像样本和已美化图像样本对预设美化模型进行收敛，得到训练后美化模型。
可选的，在一些实施例中，该预设美化模型包括条件特征网络，该提取子单元具体用于利用条件特征网络对该样本图像对进行特征提取；根据提取到的特征进行分析，基于分析结果确定待美化图像样本的美化特征样本。
具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。
由上可知，本发明实施例可以先由获取单元311获取待美化图像，再由提取单元312采用训练后美化模型对该待美化图像进行美化特征和图像特征提取，得到美化特征和图像语义特征，该训练后美化模型由待美化图像样本和已美化图像样本训练而成，然后，由级联单元313将该图像语义特征和该美化特征进行级联，得到级联特征，接着，由生成单元314利用该级联特征，通过该训练后美化模型生成美化图像；由于该方案可以利用训练后美化模型对该待美化图像进行美化特征，以获取美化特征的表达内容，并对待美化图像进行图像特征提取，再将图像语义特征和美化特征进行级联，以得到更自然更接近人工编辑的美化图像，所以，相对于普通的美颜方案而言，该方案通过利用训练后美化模型，能够一键获得良好的图像美化效果，有效地提高了图像的美化效果，增强美化图像的清晰度，有效平衡光照，去除图像噪声，提高美化效率。
此外，本发明实施例还提供一种网络设备，如图4所示，其示出了本发明实施例所涉及的网络设备的结构示意图，具体来讲：
该网络设备可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403和输入单元404等部件。本领域技术人员可以理解，图4中示出的网络设备结构并不构成对网络设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
处理器401是该网络设备的控制中心，利用各种接口和线路连接整个网络设备的各个部分，通过运行或执行存储在存储器402内的软件程序和/或模块，以及调用存储在存储器402内的数据，执行网络设备的各种功能和处理数据，从而对网络设备进行整体监控。可选的，处理器401可包括一个或多个处理核心；优选的，处理器401可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器401中。
存储器402可用于存储软件程序以及模块，处理器401通过运行存储在存储器402的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据网络设备的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器402还可以包括存储器控制器，以提供处理器401对存储器402的访问。
网络设备还包括给各个部件供电的电源403，优选的，电源403可以通过电源管理系统与处理器401逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该网络设备还可包括输入单元404，该输入单元404可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出，网络设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，网络设备中的处理器401会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中，并由处理器401来运行存储在存储器402中的应用程序，从而实现各种功能，如下：
获取样本图像对，该样本图像对包括待美化图像样本和已美化图像样本，再根据已美化图像样本提取待美化图像样本的美化特征样本，然后，利用该待美化图像样本及其美化特征样本，通过预设美化模型生成美化图像样本，接着，根据该美化图像样本和已美化图像样本对预设美化模型进行收敛，得到训练后美化模型，再然后，基于该训练后美化模型对待美化图像进行美化处理，得到美化图像。
或者
获取待美化图像；采用训练后美化模型对该待美化图像进行美化特征和图像特征提取，得到美化特征和图像语义特征，该训练后美化模型由待美化图像样本和已美化图像样本训练而成；将该图像语义特征和该美化特征进行级联，得到级联特征；利用该级联特征，通过该训练后美化模型生成美化图像。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
由上可知，本发明实施例可以先获取样本图像对，该样本图像对包括待美化图像样本和已美化图像样本，再根据已美化图像样本提取待美化图像样本的美化特征样本，然后，利用该待美化图像样本及其美化特征样本，通过预设美化模型生成美化图像样本，接着，根据该美化图像样本和已美化图像样本对预设美化模型进行收敛，得到训练后美化模型，再然后，基于该训练后美化模型对待美化图像进行美化处理，得到美化图像；由于该方案可以先根据已美化图像样本提取待美化图像样本的美化特征样本，以获取美化特征的表达内容，再利用待美化图像样本及其美化特征样本对预设美化模型进行训练，以得到可以将待美化图像生成与已美化图像样本更相似更自然的美化图像的美化模型，所以，相对于仅仅普通的美颜方案而言，可以有效地提高图像处理的美化效果。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
为此，本发明实施例还提供一种存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本发明实施例所提供的任一种图像处理方法或者图像美化方法中的步骤。例如，该指令可以执行如下步骤：
获取样本图像对，该样本图像对包括待美化图像样本和已美化图像样本，再根据已美化图像样本提取待美化图像样本的美化特征样本，然后，利用该待美化图像样本及其美化特征样本，通过预设美化模型生成美化图像样本，接着，根据该美化图像样本和已美化图像样本对预设美化模型进行收敛，得到训练后美化模型，再然后，基于该训练后美化模型对待美化图像进行美化处理，得到美化图像。
或者
获取待美化图像；采用训练后美化模型对该待美化图像进行美化特征和图像特征提取，得到美化特征和图像语义特征，该训练后美化模型由待美化图像样本和已美化图像样本训练而成；将该图像语义特征和该美化特征进行级联，得到级联特征；利用该级联特征，通过该训练后美化模型生成美化图像。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
其中，该存储介质可以包括：只读存储器(Read Only Memory，ROM)、随机存取记忆体(Random Access Memory，RAM)、磁盘或光盘等。
由于该存储介质中所存储的指令，可以执行本发明实施例所提供的任一种图像处理方法或者图像美化方法中的步骤，因此，可以实现本发明实施例所提供的任一种图像处理方法或者图像美化方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
以上对本发明实施例所提供的一种图像处理、图像美化方法、装置和存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (15)
1.一种图像处理方法，其特征在于，包括：
获取样本图像对，所述样本图像对包括待美化图像样本和已美化图像样本；
根据已美化图像样本提取待美化图像样本的美化特征样本；
利用所述待美化图像样本及其美化特征样本，通过预设美化模型生成美化图像样本；
根据所述美化图像样本和已美化图像样本对预设美化模型进行收敛，得到训练后美化模型；
基于所述训练后美化模型对待美化图像进行美化处理，得到美化图像。
2.根据权利要求1所述的方法，其特征在于，所述预设美化模型包括生成网络编码模块和生成网络解码模块，所述利用所述待美化图像样本及其美化特征样本，通过预设美化模型生成美化图像样本，包括：
采用生成网络编码模块对所述待美化图像样本进行图像特征提取，得到图像语义特征样本；
将所述图像语义特征样本和所述美化特征样本进行级联，得到级联特征样本；
利用所述生成网络解码模块将所述级联特征样本生成美化图像样本。
3.根据权利要求2所述的方法，其特征在于，所述利用所述生成网络解码模块将所述级联特征样本生成美化图像样本，包括：
利用所述生成网络解码模块将所述级联特征样本进行上采样至图像特征提取前大小；以及
获取生成网络编码模块中与生成网络解码模块具有相同特征层级的图像语义特征样本；
采用级联方式将获取到的图像语义特征样本融合至生成网络解码模块，生成美化图像样本。
4.根据权利要求1所述的方法，其特征在于，所述根据所述美化图像样本和已美化图像样本对预设美化模型进行收敛，得到训练后美化模型，包括：
构建所述美化图像样本与已美化图像样本的损失函数；
基于所述损失函数对预设美化模型进行收敛，得到训练后美化模型。
5.根据权利要求4所述的方法，其特征在于，所述构建所述美化图像样本与已美化图像样本的损失函数，包括：
计算所述美化图像样本和所述已美化图像样本之间的像素误差；以及
计算所述美化图像样本和所述已美化图像样本之间的对抗误差；
根据所述像素误差和所述对抗误差构建预设美化模型的损失函数。
6.根据权利要求5所述的方法，其特征在于，所述根据所述像素误差和所述对抗误差构建预设美化模型的损失函数，包括：
设置所述像素误差的权重和所述对抗误差的权重；
根据所述像素误差的权重和所述对抗误差的权重构建预设美化模型的损失函数。
7.根据权利要求1至6任一项所述的方法，其特征在于，所述预设美化模型包括条件特征网络，所述根据已美化图像样本提取待美化图像样本的美化特征样本，包括：
利用条件特征网络对所述样本图像对进行特征提取；
根据提取到的特征进行分析，基于分析结果确定待美化图像样本的美化特征样本。
8.根据权利要求1至6任一项所述的方法，其特征在于，所述基于所述训练后美化模型对待美化图像进行美化处理，得到美化图像，包括：
获取待美化图像；
采用训练后美化模型对所述待美化图像进行美化特征提取，得到美化特征；
对所述待美化图像进行图像特征提取，得到图像语义特征；
根据所述图像语义特征和所述美化特征生成美化图像。
9.一种图像美化方法，其特征在于，包括：
获取待美化图像；
采用训练后美化模型对所述待美化图像进行美化特征和图像特征提取，得到美化特征和图像语义特征，所述训练后美化模型由待美化图像样本和已美化图像样本训练而成；
将所述图像语义特征和所述美化特征进行级联，得到级联特征；
利用所述级联特征，通过所述训练后美化模型生成美化图像。
10.根据权利要求9所述的方法，其特征在于，所述训练后美化模型包括训练后条件特征网络、训练后生成网络解码模块和训练后生成网络解码模块，
所述采用训练后美化模型对所述待美化图像进行美化特征和图像特征提取，得到美化特征和图像语义特征，包括：
采用训练后条件特征网络对所述待美化图像进行美化特征，得到美化特征；
采用训练后生成网络解码模块对所述待美化图像进行图像特征提取，得到图像语义特征；
所述利用所述级联特征，通过所述训练后美化模型生成美化图像，包括：
利用训练后生成网络解码模块将所述级联特征进行上采样至待美化图像大小；以及
获取生成网络编码模块中与生成网络解码模块具有相同特征层级的图像语义特征；
采用级联方式将获取到的图像语义特征融合至生成网络解码模块，生成美化图像。
11.根据权利要求9所述的方法，其特征在于，所述采用训练后美化模型对所述待美化图像进行美化特征和图像特征提取之前，还包括：
获取样本图像对，所述样本图像对包括待美化图像样本和已美化图像样本；
根据已美化图像样本提取待美化图像样本的美化特征样本；
利用所述待美化图像样本及其美化特征样本，通过预设美化模型生成美化图像样本；
根据所述美化图像样本和已美化图像样本对预设美化模型进行收敛，得到训练后美化模型。
12.根据权利要求11所述的方法，其特征在于，所述预设美化模型包括条件特征网络，所述根据已美化图像样本提取待美化图像样本的美化特征样本，包括：
利用条件特征网络对所述样本图像对进行特征提取；
根据提取到的特征进行分析，基于分析结果确定待美化图像样本的美化特征样本。
13.一种图像处理装置，其特征在于，包括：
获取单元，用于获取样本图像对，所述样本图像对包括待美化图像样本和已美化图像样本；
提取单元，用于根据已美化图像样本提取待美化图像样本的美化特征样本；
生成单元，用于利用所述待美化图像样本及其美化特征样本，通过预设美化模型生成美化图像样本；
训练单元，用于根据所述美化图像样本和已美化图像样本对预设美化模型进行收敛，得到训练后美化模型；
处理单元，用于基于所述训练后美化模型对待美化图像进行美化处理，得到美化图像。
14.一种图像美化装置，其特征在于，包括：
获取单元，用于获取待美化图像；
提取单元，用于采用训练后美化模型对所述待美化图像进行美化特征和图像特征提取，得到美化特征和图像语义特征，所述训练后美化模型由待美化图像样本和已美化图像样本训练而成；
级联单元，用于将所述图像语义特征和所述美化特征进行级联，得到级联特征；
生成单元，用于利用所述级联特征，通过所述训练后美化模型生成美化图像。
15.一种存储介质，其特征在于，所述存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1至8任一项所述的图像处理方法中的步骤，或者执行权利要求9至12任一项所述的图像美化方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910260909.3A CN110070484A (zh) | 2019-04-02 | 2019-04-02 | 图像处理、图像美化方法、装置和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910260909.3A CN110070484A (zh) | 2019-04-02 | 2019-04-02 | 图像处理、图像美化方法、装置和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110070484A true CN110070484A (zh) | 2019-07-30 |
Family
ID=67367019
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910260909.3A Pending CN110070484A (zh) | 2019-04-02 | 2019-04-02 | 图像处理、图像美化方法、装置和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110070484A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112132744A (zh) * | 2020-11-24 | 2020-12-25 | 北京蜜莱坞网络科技有限公司 | 一种美颜参数调整方法、装置、电子设备及存储介质 |
| CN112860932A (zh) * | 2021-02-19 | 2021-05-28 | 电子科技大学 | 抵御恶意样本攻击的图像检索方法、装置、设备及存储介质 |
| WO2022166897A1 (zh) * | 2021-02-07 | 2022-08-11 | 北京字跳网络技术有限公司 | 脸型调整图像生成方法、模型训练方法、装置和设备 |
| WO2022237633A1 (zh) * | 2021-05-08 | 2022-11-17 | 北京字跳网络技术有限公司 | 一种图像处理方法、装置、设备及介质 |
| WO2024088111A1 (zh) * | 2022-10-28 | 2024-05-02 | 北京字跳网络技术有限公司 | 图像处理方法、装置、设备、介质及程序产品 |
-
2019
- 2019-04-02 CN CN201910260909.3A patent/CN110070484A/zh active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112132744A (zh) * | 2020-11-24 | 2020-12-25 | 北京蜜莱坞网络科技有限公司 | 一种美颜参数调整方法、装置、电子设备及存储介质 |
| WO2022166897A1 (zh) * | 2021-02-07 | 2022-08-11 | 北京字跳网络技术有限公司 | 脸型调整图像生成方法、模型训练方法、装置和设备 |
| CN112860932A (zh) * | 2021-02-19 | 2021-05-28 | 电子科技大学 | 抵御恶意样本攻击的图像检索方法、装置、设备及存储介质 |
| WO2022237633A1 (zh) * | 2021-05-08 | 2022-11-17 | 北京字跳网络技术有限公司 | 一种图像处理方法、装置、设备及介质 |
| WO2024088111A1 (zh) * | 2022-10-28 | 2024-05-02 | 北京字跳网络技术有限公司 | 图像处理方法、装置、设备、介质及程序产品 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110070484A (zh) | 图像处理、图像美化方法、装置和存储介质 | |
| AU2019430859B2 (en) | Generative adversarial mechanism and attention mechanism-based standard face generation method | |
| CN106982359B (zh) | 一种双目视频监控方法、系统和计算机可读存储介质 | |
| CN110110617A (zh) | 医学影像分割方法、装置、电子设备和存储介质 | |
| CN102741875B (zh) | 内容管理装置、内容管理方法、内容管理程序及集成电路 | |
| CN108388876A (zh) | 一种图像识别方法、装置以及相关设备 | |
| CN108898579A (zh) | 一种图像清晰度识别方法、装置和存储介质 | |
| CN107516110A (zh) | 一种基于集成卷积编码的医疗问答语义聚类方法 | |
| CN109173263A (zh) | 一种图像数据处理方法和装置 | |
| CN109223002A (zh) | 自闭症患病预测方法、装置、设备及存储介质 | |
| CN109117897A (zh) | 基于卷积神经网络的图像处理方法、装置及可读存储介质 | |
| CN109829537A (zh) | 基于深度学习gan网络童装服装的风格转移方法及设备 | |
| CN110033023A (zh) | 一种基于绘本识别的图像数据处理方法及系统 | |
| CN111292262B (zh) | 图像处理方法、装置、电子设备以及存储介质 | |
| CN109584992A (zh) | 交互方法、装置、服务器、存储介质及沙盘治疗系统 | |
| CN109977250A (zh) | 融合语义信息和多级相似性的深度哈希图像检索方法 | |
| CN110321761A (zh) | 一种行为识别方法、终端设备及计算机可读存储介质 | |
| CN110119477A (zh) | 一种信息推送方法、装置和存储介质 | |
| CN110232413A (zh) | 基于gru网络的绝缘子图像语义描述方法、系统、装置 | |
| CN110288513A (zh) | 用于改变人脸属性的方法、装置、设备和存储介质 | |
| Deng et al. | Transvg++: End-to-end visual grounding with language conditioned vision transformer | |
| CN107766828A (zh) | 基于小波卷积神经网络的无人机着陆地貌分类方法 | |
| CN110175990A (zh) | 人脸图像质量判定方法、装置及计算机设备 | |
| CN109740734A (zh) | 一种优化卷积神经网络中神经元空间排布的方法 | |
| CN110096991A (zh) | 一种基于卷积神经网络的手语识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |