CN109308679B - 一种图像风格转换方法及装置、设备、存储介质 - Google Patents

一种图像风格转换方法及装置、设备、存储介质 Download PDF

Info

Publication number
CN109308679B
CN109308679B CN201810917979.7A CN201810917979A CN109308679B CN 109308679 B CN109308679 B CN 109308679B CN 201810917979 A CN201810917979 A CN 201810917979A CN 109308679 B CN109308679 B CN 109308679B
Authority
CN
China
Prior art keywords
image
gradient
model
pixel
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810917979.7A
Other languages
English (en)
Other versions
CN109308679A (zh
Inventor
贺高远
柳一村
陈晓濠
任思捷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Sensetime Technology Co Ltd
Original Assignee
Shenzhen Sensetime Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Sensetime Technology Co Ltd filed Critical Shenzhen Sensetime Technology Co Ltd
Priority to CN201810917979.7A priority Critical patent/CN109308679B/zh
Priority to PCT/CN2018/117293 priority patent/WO2020034481A1/zh
Priority to SG11202000062RA priority patent/SG11202000062RA/en
Priority to JP2019569805A priority patent/JP6874168B2/ja
Publication of CN109308679A publication Critical patent/CN109308679A/zh
Priority to TW108128796A priority patent/TWI749356B/zh
Priority to US16/726,885 priority patent/US11200638B2/en
Application granted granted Critical
Publication of CN109308679B publication Critical patent/CN109308679B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例公开了一种图像风格转换方及装置、设备、存储介质，其中，所述方法包括：获取待进行风格转换的初始图像；将所述初始图像的梯度输入到图像风格转换模型，从所述图像风格转换模型获得所述初始图像的在梯度域上的特征图；所述图像风格转换模型是在梯度域基于像素级损失和感知损失训练得到；根据所述初始图像的在梯度域上的特征图进行图像重构，得到风格图像。

Description

一种图像风格转换方法及装置、设备、存储介质
技术领域
本发明涉及图像技术，尤其涉及一种图像风格转换方法及装置、设备、存储介质。
背景技术
基于深度学习的图像风格转换是近年来新起的一个研究问题。图像风格转换问题虽然一直都存在，但是2015年德国的研究员Gatys才第一次使用神经网络的方法打开了用深度学习创造图像艺术风格的大门。目前的技术并没有对人脸照片的风格转换进行优化，例如，现有的方法应用到自拍图像上时，普遍存在的缺点是：图像风格转换后导致的人脸边缘的变形及人脸肤色不一致。
发明内容
有鉴于此，本发明实施例为解决现有技术中存在的至少一个问题而提供一种图像风格转换方法及装置、设备、存储介质。
本发明实施例的技术方案是这样实现的：
本发明实施例提供一种图像风格转换方法，所述方法包括：
获取待进行风格转换的初始图像；
将所述初始图像的梯度输入到图像风格转换模型，从所述图像风格转换模型获得所述初始图像的在梯度域上的特征图；所述图像风格转换模型是在梯度域基于像素级损失和感知损失训练得到；
根据所述初始图像的在梯度域上的特征图进行图像重构，得到风格图像。
在其他实施例中，所述方法还包括：
训练所述图像风格转换模型；
其中，所述图像风格转换模型的训练目标为总的损失Ltotal最小，其中，Ltotal采用下式来表示：
Ltotal＝αLfeat+βLpixel；
其中，所述Lfeat表示感知损失，所述Lpixel表示像素级损失，所述α和所述β的取值均为实数。
在其他实施例中，所述图像风格转换模型包括像素级损失模型和感知损失模型，其中所述像素级损失模型是通过在梯度域将像素级损失最小作为训练目标而得到的，所述感知损失模型是通过在梯度域训练将感知损失最小作为训练目标而得到的。
在其他实施例中，所述像素级损失模型和所述感知损失模型的训练过程包括：
将训练样本的梯度输入所述像素级损失模型，从所述像素级损失模型获得所述训练样本的样本输出结果；
确定所述训练样本对应的风格化的参考图像的梯度；
根据所述参考图像的梯度在所述感知损失模型的第j层卷积层的第一输出特征图，和根据样本输出结果在所述感知损失模型的第j层卷积层的第二输出特征图，训练所述感知损失模型。
在其他实施例中，所述根据所述参考图像的梯度在所述感知损失模型的第j层卷积层的第一输出特征图，和根据样本输出结果在所述感知损失模型的第j层卷积层的第二输出特征图，训练所述感知损失模型，包括：
采用下式训练所述感知损失模型：
Figure GDA0003710725230000021
其中，
Figure GDA0003710725230000022
表示第i个训练样本的梯度，FW表示像素级损失模型，
Figure GDA0003710725230000023
表示第i个训练样本的梯度经过像素级损失模型的输出结果；
Figure GDA0003710725230000024
表示第i个训练样本的风格化的参考图像的梯度；ψj()表示感知损失模型采用感知损失模型时的第j层卷积层的输出特征图，CjHjWj别表示第j层卷积层对应的特征图的通道数、高和宽。
在其他实施例中，所述像素级损失模型的训练过程包括：
将训练样本的梯度作为所述像素级损失模型的输入，从所述像素级损失模型获得样本输出结果；
确定所述训练样本对应的风格化的参考图像的梯度；
根据所述参考图像的梯度和样本输出结果训练所述像素级损失模型。
在其他实施例中，所述像素级损失模型包括第一卷积层集合、上采样层和第二卷积层集合，所述根据所述参考图像的梯度和样本输出结果训练所述像素级损失模型包括：
将所述训练样本的梯度输入到所述第一卷积层集合，得到样本特征图；
将所述样本特征图输入到所述上采样层，上采样至所述初始图像的像素尺寸；
将上采样后的样本特征图输入到所述第二卷积层集合，得到样本输出结果。
在其他实施例中，所述根据所述参考图像的梯度和样本输出结果训练所述像素级损失模型，包括：
根据每一训练样本的
Figure GDA0003710725230000031
与对应的
Figure GDA0003710725230000032
之差的绝对值训练所述像素级损失模型；
其中，
Figure GDA0003710725230000033
表示第i个训练样本的梯度，FW表示像素级损失模型，
Figure GDA0003710725230000034
表示第i个训练样本的梯度经过像素级损失模型FW的输出结果；
Figure GDA0003710725230000035
表示第i个训练样本的风格化的参考图像的梯度。
在其他实施例中，所述根据每一训练样本的
Figure GDA0003710725230000036
与对应的
Figure GDA0003710725230000037
之差的绝对值训练所述像素级损失模型，包括：
采用下式训练所述像素级损失模型：
Figure GDA0003710725230000038
其中，
Figure GDA0003710725230000039
表示第i个训练样本的梯度，FW表示像素级损失模型，
Figure GDA00037107252300000310
表示第i个训练样本的梯度经过像素级损失模型FW的输出结果；
Figure GDA00037107252300000311
表示第i个训练样本的风格化的参考图像的梯度，D表示训练样本集合中的样本数。
在其他实施例中，所述根据所述初始图像的在梯度域上的特征图进行图像重构，得到风格图像，包括：将与所述初始图像的在梯度域上的特征图满足结构相似度条件的图像，作为所述风格图像；
其中，所述与所述初始图像的在梯度域上的特征图满足结构相似度条件，包括：
所述风格图像与所述初始图像的结构差异程度小于相似度阈值，或者，所述风格图像与所述初始图像的结构差异程度最小，其中，结构差异程度为梯度域上的风格图像与所述初始图像的在梯度域上的特征图在至少一个参考方向的变化趋势。
在其他实施例中，所述根据所述初始图像的在梯度域上的特征图进行图像重构，得到风格图像，包括：
根据
Figure GDA0003710725230000041
进行图像重构，得到风格图像；
其中：
Figure GDA0003710725230000042
表示所述初始图像在x方向的梯度，
Figure GDA0003710725230000043
表示所述初始图像在x方向的梯度经过所述图像风格转换模型的在梯度域上的特征图，
Figure GDA0003710725230000044
表示所述初始图像在y方向的梯度，
Figure GDA0003710725230000045
表示所述初始图像在y方向的梯度经过所述图像风格转换模型的在梯度域上的特征图,
Figure GDA0003710725230000046
表示风格图像在x方向的梯度，
Figure GDA0003710725230000047
表示风格图像在y方向的梯度。
在其他实施例中，所述根据所述初始图像的在梯度域上的特征图进行图像重构，得到风格图像，包括：
根据所述初始图像的颜色信息和所述初始图像的在梯度域上的特征图进行图像重构，得到风格图像。
在其他实施例中，所述根据所述初始图像的颜色信息和所述初始图像的在梯度域上的特征图进行图像重构，得到风格图像，包括：
将与所述初始图像的在梯度域上的特征图满足结构相似度条件的图像，且将与所述初始图像满足颜色相似度条件的图像，作为所述风格图像。
在其他实施例中，所述方法还包括：
对所述初始图像进行特征提取，得到所述初始图像中的人脸区域；
对应地，所述根据所述初始图像的颜色信息和所述初始图像的在梯度域上的特征图进行图像重构，得到风格图像，包括：将与所述初始图像的在梯度域上的特征图满足结构相似度条件的图像，且将与所述初始图像中的人脸区域满足颜色相似度条件的图像，作为所述风格图像。
在其他实施例中，所述将与所述初始图像的在梯度域上的特征图满足结构相似度条件的图像，且将与所述初始图像满足颜色相似度条件的图像，作为所述风格图像，包括：
根据
Figure GDA0003710725230000051
进行图像重构，得到风格图像；
其中：I表示初始图像，S表示风格图像，
Figure GDA0003710725230000052
表示所述初始图像在x方向的梯度，
Figure GDA0003710725230000053
表示所述初始图像在x方向的梯度经过所述图像风格转换模型的在梯度域上的特征图，
Figure GDA0003710725230000054
表示所述初始图像在y方向的梯度，
Figure GDA0003710725230000055
表示所述初始图像在y方向的梯度经过所述图像风格转换模型的在梯度域上的特征图，
Figure GDA0003710725230000056
表示风格图像在x方向的梯度，
Figure GDA0003710725230000057
表示风格图像在y方向的梯度。
在其他实施例中，所述将所述初始图像的梯度输入到图像风格转换模型，从所述图像风格转换模型获得初始图像的在梯度域上的特征图，包括：
确定所述初始图像在至少一个参考方向的梯度；
将在至少一个参考方向的梯度输入到图像风格转换模型，从所述图像风格转换模型对应获得初始图像在至少一个参考方向的在梯度域上的特征图；
对应地，根据在至少一个参考方向的在梯度域上的特征图进行图像重构，得到风格图像。
在其他实施例中，所述至少一个参考方向包括在平面参考坐标系中的x、y方向上，对应地，
确定所述初始图像分别在x、y方向上的梯度；
分别将在x、y方向上的梯度输入到图像风格转换模型，从所述图像风格转换模型对应获得初始图像在x、y方向上的在梯度域上的特征图；
对应地，根据在x、y方向上的在梯度域上的特征图进行图像重构，得到风格图像。
本发明实施例提供一种图像风格转换装置，所述装置包括：
获取单元，用于获取待进行风格转换的初始图像；
获得单元，用于将所述初始图像的梯度输入到图像风格转换模型，从所述图像风格转换模型获得所述初始图像的在梯度域上的特征图；所述图像风格转换模型是在梯度域基于像素级损失和感知损失训练得到；
重构单元，用于根据所述初始图像的在梯度域上的特征图进行图像重构，得到风格图像。
在其他实施例中，所述装置还包括：
训练单元，用于训练所述图像风格转换模型，其中所述图像风格转换模型的训练目标为总的损失Ltotal最小，其中，Ltotal采用下式来表示：
Ltotal＝αLfeat+βLpixel；
其中，所述Lfeat表示感知损失，所述Lpixel表示像素级损失，所述α和所述β的取值均为实数。
在其他实施例中，所述图像风格转换模型包括像素级损失模型和感知损失模型，其中所述像素级损失模型是通过在梯度域将像素级损失最小作为训练目标而得到，所述感知损失模型是通过在梯度域训练将感知损失最小作为训练目标而得到。
在其他实施例中，所述训练单元包括：
第一输入模块，用于将训练样本的梯度输入所述像素级损失模型，从所述像素级损失模型获得所述训练样本的样本输出结果；
第一确定模块，用于确定所述训练样本对应的风格化的参考图像的梯度；
第一训练模块，用于根据所述参考图像的梯度在所述感知损失模型的第j层卷积层的第一输出特征图，和根据样本输出结果在所述感知损失模型的第j层卷积层的第二输出特征图训练所述感知损失模型。
在其他实施例中，所述第一训练模块，用于采用下式训练所述感知损失模型：
Figure GDA0003710725230000071
其中，
Figure GDA0003710725230000072
表示第i个训练样本的梯度，FW表示像素级损失模型，
Figure GDA0003710725230000073
表示第i个训练样本的梯度经过像素级损失模型的输出结果；
Figure GDA0003710725230000074
表示第i个训练样本的风格化的参考图像的梯度；ψj()表示感知损失模型采用感知损失模型时的第j层卷积层的输出特征图，CjHjWj别表示第j层卷积层对应的特征图的通道数、高和宽。
在其他实施例中，所述训练单元包括：
第二确定模块，用于确定训练样本的梯度；
第二输入模块，用于将所述训练样本的梯度作为所述像素级损失模型的输入，从所述像素级损失模型获得样本输出结果；
第三确定模块，用于确定所述训练样本对应的风格化的参考图像的梯度；
第二训练模块，用于根据所述参考图像的梯度和样本输出结果训练所述像素级损失模型。
在其他实施例中，所述像素级损失模型包括第一卷积层集合、上采样层和第二卷积层集合，所述第二训练模块包括：
第一输入子模块，用于将所述训练样本的梯度输入到所述第一卷积层集合，得到样本特征图；
上采样子模块，用于将所述样本特征图输入到所述上采样层，上采样至所述初始图像的像素尺寸；
第二输入子模块，用于将上采样后的样本特征图输入到所述第二卷积层集合，得到样本输出结果。
在其他实施例中，所述第二训练模块，用于根据每一训练样本的
Figure GDA0003710725230000075
与对应的
Figure GDA0003710725230000076
之差的绝对值训练所述像素级损失模型；
其中，
Figure GDA0003710725230000081
表示第i个训练样本的梯度，FW表示像素级损失模型，
Figure GDA0003710725230000082
表示第i个训练样本的梯度经过像素级损失模型FW的输出结果；
Figure GDA0003710725230000083
表示第i个训练样本的风格化的参考图像的梯度。
在其他实施例中，所述第二训练模块，用于采用下式训练所述像素级损失模型：
Figure GDA0003710725230000084
其中，
Figure GDA0003710725230000085
表示第i个训练样本的梯度，FW表示像素级损失模型，
Figure GDA0003710725230000086
表示第i个训练样本的梯度经过像素级损失模型FW的输出结果；
Figure GDA0003710725230000087
表示第i个训练样本的风格化的参考图像的梯度，D表示训练样本集合中的样本数。
在其他实施例中，所述重构单元，用于将与所述初始图像的在梯度域上的特征图满足结构相似度条件的图像，作为所述风格图像；
其中，所述与所述初始图像的在梯度域上的特征图满足结构相似度条件，包括：
所述风格图像与所述初始图像的结构差异程度小于相似度阈值，或者，所述风格图像与所述初始图像的结构差异程度最小，其中，结构差异程度为梯度域上的风格图像与所述初始图像的在梯度域上的特征图在至少一个参考方向的变化趋势。
在其他实施例中，所述重构单元，用于：
根据
Figure GDA0003710725230000088
进行图像重构，得到风格图像；
其中：
Figure GDA0003710725230000089
表示所述初始图像在x方向的梯度，
Figure GDA00037107252300000810
表示所述初始图像在x方向的梯度经过所述图像风格转换模型的在梯度域上的特征图，
Figure GDA00037107252300000811
表示所述初始图像在y方向的梯度，
Figure GDA00037107252300000812
表示所述初始图像在y方向的梯度经过所述图像风格转换模型的在梯度域上的特征图，
Figure GDA00037107252300000813
表示风格图像在x方向的梯度，
Figure GDA00037107252300000814
表示风格图像在y方向的梯度。
在其他实施例中，所述重构单元，用于根据所述初始图像的颜色信息和所述初始图像的在梯度域上的特征图进行图像重构，得到风格图像。
在其他实施例中，所述重构单元，用于将与所述初始图像的在梯度域上的特征图满足结构相似度条件的图像，且将与所述初始图像满足颜色相似度条件的图像，作为所述风格图像。
在其他实施例中，所述装置还包括：
提取单元，用于对所述初始图像进行特征提取，得到所述初始图像中的人脸区域；
对应地，所述重构单元，用于将与所述初始图像的在梯度域上的特征图满足结构相似度条件的图像，且将与所述初始图像中的人脸区域满足颜色相似度条件的图像，作为所述风格图像。
在其他实施例中，所述重构单元，用于根据
Figure GDA0003710725230000091
Figure GDA0003710725230000092
进行图像重构，得到风格图像；
其中：I表示初始图像，S表示风格图像，
Figure GDA0003710725230000093
表示所述初始图像在x方向的梯度，
Figure GDA0003710725230000094
表示所述初始图像在x方向的梯度经过所述图像风格转换模型的在梯度域上的特征图，
Figure GDA0003710725230000095
表示所述初始图像在y方向的梯度，
Figure GDA0003710725230000096
表示所述初始图像在y方向的梯度经过所述图像风格转换模型的在梯度域上的特征图，
Figure GDA0003710725230000097
表示风格图像在x方向的梯度，
Figure GDA0003710725230000098
表示风格图像在y方向的梯度。
在其他实施例中，所述获得单元，包括：
第四确定模块，用于确定所述初始图像在至少一个参考方向的梯度；
获得模块，用于将在至少一个参考方向的梯度输入到图像风格转换模型，从所述图像风格转换模型对应获得初始图像在至少一个参考方向的在梯度域上的特征图；
对应地，所述重构单元，用于根据在至少一个参考方向的在梯度域上的特征图进行图像重构，得到风格图像。
在其他实施例中，所述至少一个参考方向包括在平面参考坐标系中的x、y方向上，对应地，
确定单元，用于确定所述初始图像分别在x、y方向上的梯度；
所述获得单元，用于分别将在x、y方向上的梯度输入到图像风格转换模型，从所述图像风格转换模型对应获得初始图像在x、y方向上的在梯度域上的特征图；
对应地，所述重构单元，用于根据在x、y方向上的在梯度域上的特征图进行图像重构，得到风格图像。
本发明实施例提供一种计算机设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述程序时上述图像风格转换方法中的步骤。
本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述图像风格转换方法中的步骤。
本发明实施例提供的图像风格转换方法及装置、设备、存储介质，其中，获取待进行风格转换的初始图像；将所述初始图像的梯度输入到图像风格转换模型，从所述图像风格转换模型获得所述初始图像的在梯度域上的特征图；所述图像风格转换模型是在梯度域基于像素级损失和感知损失训练得到；根据所述初始图像的在梯度域上的特征图进行图像重构，得到风格图像；如此，通过在梯度域基于像素级损失和感知损失训练得到的图像风格转换模型，能够克服相关技术中人脸的边缘变形和颜色不一致的缺点，能够在实现图像风格转换的同时，对输入的初始图像进行美化和增强。
附图说明
图1为本发明实施例网络架构的组成结构示意图；
图2A为本发明实施例图像风格转换方法的实现流程示意图；
图2B为本发明实施例的下载场景示意图；
图3A为本发明实施例的实施场景示意图一；
图3B为本发明实施例的实施场景示意图二；
图4A为本发明实施例的实施场景示意图三；
图4B为本发明实施例的实施场景示意图四；
图5A为本发明实施例提供的卷积神经网络模型的组成结构示意图；
图5B为本发明实施例像素级损失模型的组成结构示意图；
图6为本发明实施例图像风格转换装置的组成结构示意图；
图7为本发明实施例中计算机设备的一种硬件实体示意图。
具体实施方式
使用神经网络的方法生成风格图的过程一般是这样的：利用神经网络模型例如VGG16模型或VGG19，对一张原图(Content Image)和一张风格图像(Style Image)分别进行图像特征提取，即对原图提取内容特征，对风格图提取风格特征。通过利用对内容特征和风格特征构造损失函数，对一张随机初始化图像进行损失值计算并反馈重绘图像得到生成图(Generated Image)，这张生成图在内容上会与原图相似，在风格上会与风格图像相似。但是这个算法每一次生成一张图像都需要进行一次训练，需要耗费的时间比较长。
基于快速风格转移算法，训练一个网络，对于任意一张图像都可以转换成为网络对应的风格，所以每次生成一张图像仅仅是前向传播一次网络，速度会很快。
快速转移算法一般包含两个网络：一个为图像转换网络(Image TransformNetwork)，一个为损失网络(Loss Network)。图像转换网络用来对图像进行转换，它的参数是变化的，而损失网络的参数是保持不变的，可以用在ImageNet图像库训练好的VGG-16网络作为损失网络，原图经过图像转换网络的结果图、风格图和原图这3张图都通过损失网络，对其提取感知损失(Perceptual Loss)，利用感知损失来对图像转换网络进行训练。在训练阶段利用大量图像对图像转换网络进行训练得到模型，在输出阶段套用模型进行输出得到生成图，这样得出的网络相对Gatys的模型得到生成图的速度快上三个数量级。
但是，目前的技术并没有对人脸照片的风格转换进行优化，例如：现有的方法应用到自拍图像上时，普遍存在两个明显的缺点：1)人脸的边缘可能会偏离与原始的图像，即输出图像的结构信息发生变化；2)人脸的肤色可能与原始的肤色不一致，即输出图像的颜色信息发生变化。这样导致一个后果就是，在风格化之后，会让用户觉得不像是本人，例如初始图像中用户A的人像是圆脸，经过风格化之后，输出的风格图像中用户A的人像是锥子脸；再如，用户B的皮肤白皙，风格化之后，输出的风格图像的用户B的皮肤黝黑。即如何更好地保持原初始图像的结构信息和颜色信息成为需要解决的问题。
为了解决目前技术中的问题，本发明实施例提出了一种完全基于图像梯度域的图像风格转换的卷积神经网络(Convolutional Neural Networks，CNN)结构；由于梯度域学习的保边性，使得本实施例提供的图像风格转换网络可以克服以前方法的边缘形变的缺点。
本发明实施例中，在图像风格转换的图像重构阶段，引入了称为颜色置信度(color confidence)的术语来保持结果图像皮肤颜色上的逼真性。图像重构阶段既利用了原图的结构信息，也利用了原图的颜色信息，这样可以使得结果更为自然。
本发明实施例中，首次直接在梯度域使用感知损失(perceptual loss)，使得学习到的风格信息更聚焦在笔画上而不是颜色上，使得其更适合与人脸的风格转换任务。
为了更好地理解本发明的各实施例，现对有关名词进行解释：
采样操作，通常采样操作指的是下采样(subsampled)操作或降采样(down-sampled)，如果采样对象是连续信号，那么连续信号经过下采样操作之后，得到的是离散信号。对于图像来说，下采样操作的目的可能是为了在计算上比较方便而缩小图像。下采样操作的原理：对于一幅图像I尺寸为M*N，对其进行s倍下采样，即得到(M/s)*(N/s)尺寸的得分辨率图像，当然s应该是M和N的公约数才行，如果考虑的是矩阵形式的图像，就是把原始图像s*s窗口内的图像变成一个像素，这个像素点的值就是窗口内所有像素的均值。
上采样操作，是下采样操作的逆过程，也称增取样(Up-sampling)或内插(Interpolating)。对于图像而言，经过上采样操作可以得到高分辨率的图像。上采样操作的原理：图像放大几乎都是采用内插值方法，即在原有图像像素的基础上在像素点之间采用合适的插值算法插入新的像素。
通道(channel)，该词语有两种不同的含义，第一种是对于样本图像(图像作为训练样本)，通道是指颜色通道(Number of color channels in the example images)，下面将用颜色通道来表示样本图像的通道；第二种是输出空间的维数，例如卷积操作中输出通道的个数(The dimensionality of the output space,i.e.the number of outputchannels(filters)in the convolution)，或者说每个卷积层中卷积核的数量。
颜色通道，把图像分解成一个或多个颜色成分或颜色分量。
单颜色通道，一个像素点只需一个数值表示，只能表示灰度，0为黑色。
三颜色通道，如果采用红绿蓝(Red Green Blue，RGB)色彩模式，把图像分为红绿蓝三个颜色通道，可以表示彩色，全0表示黑色。
四颜色通道，在RGB色彩模式的基础上加上alpha通道，表示透明度，alpha＝0表示全透明。
卷积神经网络，是一种多层的监督学习神经网络，隐含层的卷积层和池采样层是实现卷积神经网络特征提取功能的核心模块。卷积神经网络的低隐层是由卷积层和最大池采样层交替组成，高层是全连接层对应传统多层感知器的隐含层和逻辑回归分类器。第一个全连接层的输入是由卷积层和子采样层进行特征提取得到的特征图像。最后一层输出层是一个分类器，可以采用逻辑回归，Softmax回归甚至是支持向量机对初始图像进行分类。CNN中每一层的由多个map组成，每个map由多个神经单元组成，同一个map的所有神经单元共用一个卷积核(即权重)，卷积核往往代表一个特征，比如某个卷积核代表一段弧，那么把这个卷积核在整个图像上卷积一遍，卷积值较大的区域就很有可能是一段弧。CNN一般采用卷积层与采样层交替设置，即一层卷积层接一层采样层，采样层后接一层卷积；当然也可以多个卷积层接一个采样层，这样卷积层提取出特征，再进行组合形成更抽象的特征，最后形成对图像对象的描述特征，CNN后面还可以跟全连接层。
卷积神经网络结构包括卷积层、降采样层和全连接层。每一层有多个特征图，每个特征图通过一种卷积滤波器提取输入的一种特征，每个特征图有多个神经元。
卷积层，使用卷积层的原因是卷积运算的一个重要特点是，通过卷积运算，可以使原信号特征增强，并且降低噪音。
降采样层，使用降采样的原因是，根据图像局部相关性的原理，对图像进行子采样可以减少计算量，同时保持图像旋转不变性。
全连接层，采用softmax全连接，得到的激活值即卷积神经网络提取到的图像特征。
激活函数，神经元是一个多层感知机的基本单元，它的函数就成为激活传输。即对于一个神经元来说，输入是部分或全部的卷积神经网络的输入或部分或全部的前一层的输出，经过激活函数的计算，得出的结果作为神经元的输出结果。常用的激活函数有sigmoid函数、tanh函数、线性整流函数(Rectified Linear Unit，ReLu)。
ReLu函数，其公式即为个ReLu(x)＝max(0,x)，从ReLu函数的图形可以看出ReLu与其他激活函数例如sigmoid函数相比，主要变化有三点：①单侧抑制；②相对宽阔的兴奋边界；③稀疏激活性。
像素级损失(Pixel-wise Loss)，假设Iest是卷积神经网络的输出结果，IHR是原始高分辨率图像，那么pixel-wise loss强调的是两幅图像Iest和IHR之间每个对应像素的匹配，这与人眼的感知结果有所区别。一般来说，通过pixel-wise loss训练的图像通常会较为平滑，缺少高频信息。
感知损失(Perceptual Loss)，假设Iest表示卷积神经网络的输出结果，IHR表示原始高分辨率图像，将Iest和IHR分别输入到一个可微分的函数Φ中，这样避免了要求网络输出图像与原始高分辨率图像在pixel-wise上的一致。
VGG模型，VGG模型结构简单有效，前几层仅使用3×3卷积核来增加网络深度，通过最大池化(max pooling)依次减少每层的神经元数量，最后三层分别是2个有4096个神经元的全连接层和一个softmax层。“16”和“19”表示网络中的需要更新需要权重(即weight，要学习的参数)的网络层数，VGG16模型和VGG19模型的权重都由ImageNet训练而来。
模型参数，一般可以理解为模型内部的配置变量，可以用历史数据或训练样本估计模型参数的值，或者说，模型参数是可以通过历史数据或训练样本自动学习出的变量。在某种程度上，模型参数有以下特征：进行模型预测时需要模型参数；模型参数值可以定义模型功能；模型参数用数据估计或数据学习得到；模型参数一般不由实践者手动设置；模型参数通常作为学习模型的一部分保存；通常使用优化算法估计模型参数，优化算法是对参数的可能值进行的一种有效搜索。在人工神经网络中，网络模型的权重、偏差一般称为模型参数。
模型超参数，一般可以理解为模型外部的配置，其值不能从数据估计得到。在某种程度上，模型超参数特征有：模型超参数常应用于估计模型参数的过程中；模型超参数通常由实践者直接指定；模型超参数通常可以使用启发式方法来设置；模型超参数通常根据给定的预测建模问题而调整。换句话说，模型超参数就是用来确定模型的一些参数，超参数不同，模型是不同的。这个模型不同的意思就是有微小的区别，比如假设都是CNN模型，如果层数不同，模型不一样，虽然都是CNN模型哈。在深度学习中，超参数有：学习速率、迭代次数、层数、每层神经元的个数等等。
下面结合附图和实施例对本发明的技术方案进一步详细阐述。
本实施例先提供一种网络架构，图1为本发明实施例网络架构的组成结构示意图，如图1所示，该网络架构包括两个或多个电子设备11至1N和服务器31，其中电子设备11至1N与服务器31之间通过网络21进行交互。电子设备在实现的过程中可以为各种类型的具有信息处理能力的计算机设备，例如所述电子设备可以包括手机、平板电脑、台式机、个人数字助理、导航仪、数字电话、电视机等。
本实施例提出一种图像风格转换方法，能够有效解决输出图像的结构信息与初始图像相比发生变化的问题，该方法应用于电子设备，该方法所实现的功能可以通过电子设备中的处理器调用程序代码来实现，当然程序代码可以保存在计算机存储介质中，可见，该电子设备至少包括处理器和存储介质。
图2A为本发明实施例图像风格转换方法的实现流程示意图，如图2A所示，该方法包括：
步骤S201，获取待进行风格转换的初始图像；
本实施例提供的图像风格转换方法在实现的过程中可以通过客户端(应用程序)来体现。参见图2B所示，用户在自己上的电子设备12上从服务器31下载客户端，例如，电子设备12向服务器31发送下载请求，该下载请求用于下载客户端，服务器31响应该下载请求，服务器31向电子设备12发送下载响应，该下载响应中携带有客户端，例如安卓系统时的安卓应用包(Android Package，APK)然后用户在自己的电子设备上安装下载的客户端，然后电子设备运行客户端，即电子设备可以实现本实施例提供的图像风格转换方法。
如果步骤S201是在电子设备侧实现，那么实现过程可以是这样的：当用户从相册中选择一张图片，客户端接收用户的选择图片的操作，即客户端将选择的图片确定为待进行风格转换的初始图像；或者，用户用电子设备的相机或外置相机拍摄一张照片，客户端接收用户拍摄照片的操作，即客户端将拍摄的照片确定为待进行风格转换的初始图像。本领域的技术人员应当理解，该步骤还可以有其他的实施方式。
步骤S202，将所述初始图像的梯度输入到图像风格转换模型，从所述图像风格转换模型获得所述初始图像的在梯度域上的特征图；
这里，所述图像风格转换模型是经过训练的，并且在梯度域基于像素级损失和感知损失训练得到。在其他实施例中，所述图像风格转换模型是通过在梯度域将像素级损失和感知损失作为训练目标而得到的；
步骤S203，根据所述初始图像的在梯度域上的特征图进行图像重构，得到风格图像。
其中风格图像，是重构的进行风格化的图像。
在实现的过程中，经过训练的图像风格转换模型可以在电子设备的本地，也可以是在服务器端。当经过训练的图像风格转换模型在电子设备本地时，可以是电子设备安装客户端的时候，即安装了经过训练的图像风格转换模型，这样，参见图3A所示，电子设备通过步骤S201获得初始图像，然后通过步骤S202获得所述初始图像的在梯度域上的特征图(即输出结果)，最后通过步骤S203获得输出的风格图像。从以上过程可以看出，电子设备在安装完客户端之后，上述的步骤S201至步骤S203都在电子设备本地执行，最后，电子设备将得到的风格图像输出给用户。
在其他的实施例中，经过训练的图像风格转换模型也可以位于服务器端，参见图3B所示，这样电子设备将初始图像发送给服务器，这样服务器接收电子设备发送的初始图像，这样服务器实现了步骤S201，换句话说，如果上述的方法是在服务器端实现，那么步骤S201，包括：服务器接收电子设备发送的初始图像，即服务器获取待进行风格转换的初始图像，然后服务器通过步骤S202获得所述初始图像的在梯度域上的特征图，最后通过步骤S203获得输出的风格图像；从以上过程可以看出，上述的步骤S201至步骤S203都在服务器端执行，最后服务器还可以将风格图像发送给电子设备，这样电子设备接收到风格图像后，输出风格图像给用户。本实施例中，电子设备在安装完客户端之后，用户上传用户的初始图像，以及接收服务器发送的风格图像，并将风格图像输出给用户。
在其他的实施例中，上述的步骤S201至步骤S203还可以有部分是由电子设备来完成的，也可以有部分是由服务器来完成，例如，参见图4A，步骤S201和步骤S202可以由电子设备在本地来执行，然后电子设备将初始图像的在梯度域上的特征图发送给服务器，服务器执行步骤S203之后，得到风格图像，然后再将风格图像发送给电子设备，由电子设备输出风格图像。又如，参见图4B，步骤S201和步骤S202可以由服务器来执行，服务器将初始图像的在梯度域上的特征图发送给电子设备，电子设备执行步骤S203之后，得到风格图像，然后再将风格图像输出给用户。
在其他的实施例中，所述方法还包括：训练所述图像风格转换模型，其中，所述图像风格转换模型的训练目标为总的损失Ltotal最小，其中，Ltotal采用下式来表示：
Ltotal＝αLfeat+βLpixel；
其中，所述Lfeat表示感知损失，所述Lpixel表示像素级损失，所述α和所述β的取值均为实数。所述α与所述β的比值大于10且小于10的五次方。本领域的例如，所述α的取值为10000，所述β的取值为1。本领域的技术人员应当理解，所述α与所述β的取值可以根据具体的应用场景而进行相应设置，本发明实施例对其取值不作限定。
在其他的实施例中，所述图像风格转换模型包括像素级损失模型和感知损失模型，其中，所述像素级损失模型是通过在梯度域将像素级损失最小作为训练目标而得到的像素级损失模型，所述的感知损失模型是通过在梯度域训练将感知损失最小作为训练目标而得到的。
其中，所述像素级损失模型为像素级损失模型，且所述感知损失模型为感知损失模型时的训练过程，包括：
步骤S11，确定训练样本的梯度；
假设用Ii表示第i个训练样本时，确定第i个训练样本Ii的梯度为
Figure GDA0003710725230000181
步骤S12，将所述训练样本的梯度输入所述像素级损失模型，从所述像素级损失模型获得所述训练样本的样本输出结果；
其中，将第i个训练样本Ii的梯度
Figure GDA0003710725230000182
输入所述像素级损失模型FW，从像素级损失模型获得训练样本的样本输出结果
Figure GDA0003710725230000183
步骤S13，确定所述训练样本对应的风格化的参考图像的梯度；
其中，风格化的参考图像可以为用现有的风格化算法得到的令人不满意的风格化参考图片，那么假设所述训练样本Ii对应的风格化的参考图像为
Figure GDA0003710725230000184
那么参考图像的梯度为
Figure GDA0003710725230000185
步骤S14，根据所述参考图像的梯度在所述感知损失模型的第j层卷积层的第一输出特征图，和根据样本输出结果在所述感知损失模型的第j层卷积层的第二输出特征图训练所述感知损失模型。
其中，第j卷积层可以是卷积神经网络模型中的任意一层，当该卷积神经网络为VGG16时，第j卷积层可以为VGG16中的conv3-3层。
在其他的实施例中，所述像素级损失模型包括第一卷积层集合、上采样层和第二卷积层集合，所述根据所述参考图像的梯度和样本输出结果训练所述像素级损失模型包括：
将所述训练样本的梯度输入到所述第一卷积层集合，得到样本特征图；
将所述样本特征图输入到所述上采样层，上采样至所述初始图像的像素尺寸；
将上采样后的样本特征图输入到所述第二卷积层集合，得到样本输出结果。
在其他的实施例中，所述根据所述参考图像的梯度在所述感知损失模型的第j层卷积层的第一输出特征图，和根据样本输出结果在所述感知损失模型的第j层卷积层的第二输出特征图，训练所述感知损失模型，包括：
采用下式训练所述感知损失模型：
Figure GDA0003710725230000191
其中，
Figure GDA0003710725230000192
表示第i个训练样本的梯度，FW表示像素级损失模型，
Figure GDA0003710725230000193
表示第i个训练样本的梯度经过像素级损失模型的输出结果；
Figure GDA0003710725230000194
表示第i个训练样本的风格化的参考图像的梯度；ψj()表示感知损失模型采用卷积神经网络模型时的第j层卷积层的输出特征图，CjHjWj别表示第j层卷积层对应的特征图的通道数、高和宽。
在其他的实施例中，当所述卷积神经网络模型采用VGG16时，第j层卷积层为conv3-3。
在其他的实施例中，所述像素级损失模型为像素级损失模型时的训练过程包括：
步骤S21，确定训练样本的梯度；
步骤S22，将所述训练样本的梯度作为所述像素级损失模型的输入，从所述像素级损失模型获得样本输出结果；
步骤S23，确定所述训练样本对应的风格化的参考图像的梯度；
步骤S24，根据所述参考图像的梯度和样本输出结果训练所述像素级损失模型。
其中，所述根据所述参考图像的梯度和样本输出结果训练所述像素级损失模型，包括：
根据每一训练样本的
Figure GDA0003710725230000201
与对应的
Figure GDA0003710725230000202
之差的绝对值训练所述像素级损失模型；
其中，
Figure GDA0003710725230000203
表示第i个训练样本的梯度，FW表示像素级损失模型，
Figure GDA0003710725230000204
表示第i个训练样本的梯度经过像素级损失模型FW的输出结果；
Figure GDA0003710725230000205
表示第i个训练样本的风格化的参考图像的梯度。
在其他的实施例中，所述根据每一训练样本的
Figure GDA0003710725230000206
与对应的
Figure GDA0003710725230000207
之差的绝对值训练所述像素级损失模型，包括：
采用下式训练所述像素级损失模型：
Figure GDA0003710725230000208
其中，
Figure GDA0003710725230000209
表示第i个训练样本的梯度，FW表示像素级损失模型，
Figure GDA00037107252300002010
表示第i个训练样本的梯度经过像素级损失模型的输出结果；
Figure GDA00037107252300002011
表示第i个训练样本的风格化的参考图像的梯度，D表示训练样本集合中的样本数。
在其他的实施例中，所述根据所述初始图像的在梯度域上的特征图进行图像重构，得到风格图像，包括：
将与所述初始图像的在梯度域上的特征图满足结构相似度条件的图像，作为所述风格图像。
其中，所述与所述初始图像的在梯度域上的特征图满足结构相似度条件，包括：所述风格图像与所述初始图像的结构差异程度小于相似度阈值或者，所述风格图像与所述初始图像的结构差异程度最小，其中，结构差异程度为梯度域上的风格图像与所述初始图像的在梯度域上的特征图在至少一个参考方向的变化趋势。
其中，参考方向可以取图像的在平面参考坐标系中的x、y方向，当然可以有其他更多的方向，或者只使用一个方向。差异程度可以采用差值或差值的绝对值或基于差值的各种数学变形运算(例如在x、y方向差值的绝对值的平方和，即
Figure GDA0003710725230000211
其中I表示初始图像，S表示风格图像，‖‖表示绝对值符号)。
在其他的实施例中，所述根据所述初始图像的在梯度域上的特征图进行图像重构，得到风格图像，包括：
根据
Figure GDA0003710725230000212
进行图像重构，得到风格图像；
其中：
Figure GDA0003710725230000213
表示所述初始图像在x方向的梯度，
Figure GDA0003710725230000214
表示所述初始图像在x方向的梯度经过所述图像风格转换模型的在梯度域上的特征图，
Figure GDA0003710725230000215
表示所述初始图像在y方向的梯度，
Figure GDA0003710725230000216
表示所述初始图像在y方向的梯度经过所述图像风格转换模型的在梯度域上的特征图，
Figure GDA0003710725230000217
表示风格图像在x方向的梯度，
Figure GDA0003710725230000218
表示风格图像在y方向的梯度。
在其他的实施例中，所述根据所述初始图像的在梯度域上的特征图进行图像重构，得到风格图像，包括：
根据所述初始图像的颜色信息和所述初始图像的在梯度域上的特征图进行图像重构，得到风格图像。
其中，所述根据所述初始图像的颜色信息和所述初始图像的在梯度域上的特征图进行图像重构，得到风格图像，包括：
将与所述初始图像的在梯度域上的特征图满足结构相似度条件的图像，且将与所述初始图像满足颜色相似度条件的图像，作为所述风格图像。
在其他的实施例中，所述方法还包括：对所述初始图像进行特征提取，得到所述初始图像中的人脸区域；
对应地，所述根据所述初始图像的颜色信息和所述初始图像的在梯度域上的特征图进行图像重构，得到风格图像，包括：将与所述初始图像的在梯度域上的特征图满足结构相似度条件的图像，且将与所述初始图像中的人脸区域满足颜色相似度条件的图像，作为所述风格图像。
其中颜色相似度条件，即颜色信息满足的颜色相似条件，即风格图像与初始图像的颜色的差异程度即小于设定值或最小，其中，颜色的差异程度采用待处理图像与目标图像的采样点的颜色值的差值表示，即采用‖S-I‖表示，其中I表示初始图像，S表示风格图像)。
本实施例中，为了不改变初始图像的颜色或者人脸的脸色，因此设置了颜色相似度条件，其中，颜色相似度条件中可以整个初始图像的颜色，也可以是初始图像中人脸的颜色。
需要说明的是，上述两个条件结构相似度条件和颜色相似度条件，从理论上可以单独使用，即只使用一个条件来计算风格图像；也可以同时采用两个，同时分配对应的系数(权重)，例如λ的取值为实数。
在其他的实施例中，所述将与所述初始图像的在梯度域上的特征图满足结构相似度条件的图像，且将与所述初始图像满足颜色相似度条件的图像，作为所述风格图像，包括：
根据
Figure GDA0003710725230000221
进行图像重构，得到风格图像；
其中：I表示初始图像，S表示风格图像，
Figure GDA0003710725230000222
表示所述初始图像在x方向的梯度，
Figure GDA0003710725230000223
表示所述初始图像在x方向的梯度经过所述图像风格转换模型的在梯度域上的特征图，
Figure GDA0003710725230000224
表示所述初始图像在y方向的梯度，
Figure GDA0003710725230000225
表示所述初始图像在y方向的梯度经过所述图像风格转换模型的在梯度域上的特征图，
Figure GDA0003710725230000226
表示风格图像在x方向的梯度，
Figure GDA0003710725230000227
表示风格图像在y方向的梯度。
在其他的实施例中，所述将所述初始图像的梯度输入到图像风格转换模型，从所述图像风格转换模型获得初始图像的在梯度域上的特征图，包括：
步骤S31，确定所述初始图像在至少一个参考方向的梯度；
步骤S32，将在至少一个参考方向的梯度输入到图像风格转换模型，从所述图像风格转换模型对应获得初始图像在至少一个参考方向的在梯度域上的特征图；
对应地，根据在至少一个参考方向的在梯度域上的特征图进行图像重构，得到风格图像。
在其他的实施例中，所述至少一个参考方向包括在平面参考坐标系中的x、y方向上，对应地，
所述确定所述初始图像在至少一个参考方向的梯度，包括：确定所述初始图像分别在x、y方向上的梯度；
所述将在至少一个参考方向的梯度输入到图像风格转换模型，从所述图像风格转换模型对应获得初始图像在至少一个参考方向的在梯度域上的特征图，包括：分别将在x、y方向上的梯度输入到图像风格转换模型，从所述图像风格转换模型对应获得初始图像在x、y方向上的在梯度域上的特征图；
对应地，所述根据在至少一个参考方向的在梯度域上的特征图进行图像重构，得到风格图像，包括：根据在x、y方向上的在梯度域上的特征图进行图像重构，得到风格图像。
下面分三阶段来介绍本实施例的技术方案：第一阶段先绍一下本发明实施例提供的卷积神经网络模型的结构，然后在第二阶段介绍一下提供的卷积神经网络模型的训练过程，接着在第三阶段介绍一下利用训练的卷积神经网络进行图像重建的过程，即对初始图像进行图像风格转换的方法。
第一阶段：卷积神经网络模型的结构
图5A为本发明实施例提供的卷积神经网络模型的组成结构示意图，如图5A所示，该卷积神经网络网络由两部分构成：
第一部分是要训练的卷积神经网络51(第一卷积神经网络)，其将自拍图像的梯度作为输入，后面接连续的卷积层和ReLu层，然后采用上采样操作将特征图(feature map)上采样至原图大小，最后与艺术风格的参考图像的梯度计算像素级损失(Pixel-wise Loss)Lpixel；
其中，将自拍图像的梯度作为输入包括：将自拍图像在x方向上的梯度
Figure GDA0003710725230000241
和自拍图像在y方向上的梯度
Figure GDA0003710725230000242
分别作为卷积神经网络的输入。
在卷积神经网络中，卷积层的每一个卷积滤波器重复的作用于整个感受野中，对输入的自拍图像进行卷积，卷积的结果构成了输入的自拍图像的特征图，这样就提取出了自拍图像的局部特征。
卷积神经网络的一个特点就是：最大池化(max-pooling)采样，它是一种非线性降采样方法，从最大池化的数学公式可以看出，最大池化即对邻域内特征点取最大。在通过卷积获取图像特征之后是利用这些特征进行分类，在获取图像的卷积的特征图后，要通过最大池采样方法对卷积特征进行降维。将卷积特征划分为数个的不相交区域，用这些区域的最大(或平均)特征来表示降维后的卷积特征。最大池采样方法的作用体现在两个方面：(1)、它减小了来自上层隐藏层的计算复杂度；(2)、这些池化单元具有平移不变性，即使图像有小的位移，提取到的特征依然会保持不变。由于增强了对位移的鲁棒性，最大池采样方法是一个高效的降低数据维度的采样方法。
第二部分是在ImageNet中已经训练好的VGG-16网络52(第二卷积神经网络)，用来计算感知损失(perceptual loss)Lfeat。实际使用VGG-16的conv3-3层的输出来计算感知损失。
最后，将第一部分的Lpixel和第二部分的Lfeat加在一起就是要计算的最终的总的目标函数(即总的损失Ltotal)。
在一种实施例中，总的目标函数Ltotal可以采用下面的公式(3-1)来计算。
Ltotal＝αLfeat+βLpixel (3-1)；
其中，α和β的取值均为实数。例如，在训练中可以将α和β分别设为整数。
下面简单介绍一下图像梯度，图像梯度是描述图像像素之间差异的一种方法，可以作为图像的一种特征表征图像。从数学角度而言，图像梯度是指像素的一阶导数，可以用下面的公式来表示图像x方向的梯度
Figure GDA0003710725230000251
和y方向的梯度
Figure GDA0003710725230000252
分别用下面的公式(3-2)和公式(3-3)来表示：
Figure GDA0003710725230000253
Figure GDA0003710725230000254
需要说明的是，计算图像的梯度本身就有很多计算方法，只要能够描述像素之间的差异即可，本领域的技术人员应当理解，计算图像的梯度并不是一定用上述公式(3-2)和公式(3-3)，事实上通常用的也是其它公式。例如，如果是叠加卷积操作来计算图像梯度，那么所使用的模板，通常为称其为梯度算子，常见的梯度算子有Sobel算子、Robinson算子、Laplace算子等。
第二阶段：对第一部分的卷积神经网络的训练过程
首先，确定训练样本，假设采集了D组训练图像
Figure GDA0003710725230000255
Figure GDA0003710725230000256
其中Ii表示第i张原始图像，
Figure GDA0003710725230000257
表示对第i张原始图像Ii采用现有的风格化算法得到的令人不满意的风格化参考图像。
图3中第一部分所计算的像素级损失Lpixel的定义如公式(4-1)所示：
Figure GDA0003710725230000258
Figure GDA0003710725230000259
公式(4-1)中，
Figure GDA00037107252300002510
表示第i张原始图像Ii在x方向的梯度或梯度表示，
Figure GDA00037107252300002511
表示y方向的梯度或梯度表示。
Figure GDA00037107252300002512
表示原始图像的梯度，
Figure GDA00037107252300002513
表示原始图像Ii的在x方向上的梯度，
Figure GDA00037107252300002514
表示原始图像Ii的在y方向上的梯度。FW表示第一部分的卷积神经网络模型，所以
Figure GDA00037107252300002515
表示第i张原始图像Ii的梯度经过卷积神经网络网络的结果，
Figure GDA00037107252300002516
表示第i张原始图像Ii在x方向上的梯度经过卷积神经网络网络的结果，
Figure GDA00037107252300002517
表示第i张原始图像Ii在y方向上的梯度经过卷积神经网络网络的结果。
Figure GDA0003710725230000261
表示第i张原始图像Ii的风格化参考图像的梯度，
Figure GDA0003710725230000262
表示第i张原始图像Ii的风格化参考图像在x方向上的梯度，
Figure GDA0003710725230000263
表示第i张原始图像Ii的风格化参考图像在y方向上的梯度。
图3中第二部分所计算的感知损失Lfeat的定义如公式(4-2)所示：
Figure GDA0003710725230000264
Figure GDA0003710725230000265
公式(4-2)中，ψj()表示VGG-16网络的第j层卷积层的输出特征图(feature map)，Cj、Hj、Wj分别表示第j层卷积层对应的特征图的通道数、高和宽。
在实施的过程中，使用VGG-16的conv3-3层。
Figure GDA0003710725230000266
和
Figure GDA0003710725230000267
的含义同第一部分相同，
Figure GDA0003710725230000268
表示原始图像的梯度经过网络的结果；
Figure GDA0003710725230000269
表示原始图像的风格化参考图像的梯度。
总的目标函数是感知损失Lfeat与像素级损失Lpixel二者的和；
Ltotal＝αLfeat+βLpixel (4-3)；
公式(4-3)中，α和β的取值均为实数。例如，在训练中可以将α和β分别设为整数。
在训练中将α和β分别设为了10000和1，用英伟达的Titan X GPU进行了100K次的迭代，使用adam优化方法来对目标函数公式3进行优化，前50K次迭代，将学习率设为10-8，后50K次，将学习率设为10-9。
需要说明的是，本领域的技术人员在实施的过程中，可以对公式(4-1)和公式(4-2)进行一些修改。对公式(4-1)，只要这些修改能够表示出像素级损失即可，例如，将公式(4-1)中的
Figure GDA00037107252300002610
修改为别的数值，例如
Figure GDA00037107252300002611
或
Figure GDA00037107252300002612
等等，将将公式(4-1)中的绝对值的平方修改为绝对值，或者，将将公式(4-1)中的绝对值的平方修改为绝对值的平方根。
第三阶段、图像重建过程
当新输入一张图像，如新的自拍图像，为得到其对应的风格图像，采用如下的公式(5)来确定输出的风格化的图像。
Figure GDA0003710725230000271
公式(5)中，I表示新的自拍图像即初始图像，S表示新的自拍图像对应的风格图像。
Figure GDA0003710725230000272
表示自拍图像x方向的梯度，
Figure GDA0003710725230000273
表示自拍图像x方向的梯度经过训练好的模型的输出，同样的
Figure GDA0003710725230000274
是自拍图像y方向的梯度，
Figure GDA0003710725230000275
表示自拍图像y方向的梯度经过训练好的模型的输出,
Figure GDA0003710725230000276
表示风格图像x方向的梯度，
Figure GDA0003710725230000277
表示风格图像y方向的梯度。
在上式中‖S-I‖是利用了原图的色彩信息进行图像重构，可以称为颜色置信度(color confidence)；
Figure GDA0003710725230000278
是利用了原图的结构信息进行图像重构，λ表示这两个信息的权重参数。
在实施的过程中，λ取10。通过对上式进行优化，即可得到S，即新的自拍图像的风格图像。
从以上实施例可以看出，本实施例实现了一种面向自拍的图像风格转换算法，克服了之前的风格转换方法应用到人脸上时的两个重要缺点：一，人脸边缘的变形；二，人脸肤色的不一致。本实施例的神经网络结构完全是在梯度域进行学习。相比于其他的图像风格转换方法，本方法在自拍照片的风格转换，会克服之前方法边缘形变和颜色不一致的缺点，能够在实现图像风格转换的同时，对图像进行美化和增强。
在其他的实施例中，第一部分是要训练的卷积神经网络51(第一卷积神经网络)可以采用如图5B的卷积神经网络，图5B为本发明实施例卷积神经网络模型的组成结构示意图，如图5B所示，该模型的结构包括：
输入层(input)501，自拍图像在x或y方向上的梯度作为输入；
需要说明的是，h表示自拍图像在x或y方向上的梯度的高(high)，w表示自拍图像在x或y方向的梯度的宽(width)。对于一幅自拍图像I来说，对自拍图像I在x方向上求梯度得到
Figure GDA0003710725230000281
和对自拍图像I在y方向上求梯度得到
Figure GDA0003710725230000282
然后将
Figure GDA0003710725230000283
和
Figure GDA0003710725230000284
的每一个颜色通道(或颜色分量)作为输入。如果采用RGB(Red Green Blue，红绿蓝)颜色模型，则有三个颜色通道；对应地，对于一幅自拍图像来说，就有6个输入，分别是
Figure GDA0003710725230000285
在R颜色通道、
Figure GDA0003710725230000286
在G颜色通道和
Figure GDA0003710725230000287
在B颜色通道，
Figure GDA0003710725230000288
在R颜色通道、
Figure GDA0003710725230000289
在G颜色通道和
Figure GDA00037107252300002810
在B颜色通道。
conv1+ReLu1层、conv2+ReLu2层、conv3+ReLu3层、conv4+ReLu4层、conv5+ReLu5层、conv6+ReLu6层和conv7+ReLu7层；
经过卷积层和ReLu层后，输出的结果是一个特征图502，该特征图502的高为
Figure GDA00037107252300002811
该特征图502的宽为
Figure GDA00037107252300002812
该特征图502的通道数为c，其中，r是系数，r和c的取值与本实施例中的卷积神经网络模型的模型超参数有关，在本实施例中，模型超参数包括卷积核的大小(size)、卷积核的移动步长(stride)、输入特征图补的数据(padding)。一般来说，卷积核的个数决定输出特征图的通道数c。
上采样层，输入为511至51C，输出为521至52C。
将输出的特征图按照通道数c拆解开，这样得到c个特征图511至51C，对511至51C中的每一个特征图上采样至初始图像的大小。在输入层501中提到初始图像即自拍图像，自拍图像的大小为h*w，那么上采样层输出的上采样图像的大小521至52C也为h*w。在上采样层中，输入511对应的输出为521，输入512对应的输出为522，以此类推，输入51C对应的输出为52C。
合成层531，输入为521至52C，输出为531；
将上采样图像521至52C进行合并，得到特征图531；
输出层，输入为531，输出为541；
对特征图531进行卷积和激励，即先后输入到conv8、ReLu8和conv9，最终得到输出541，输出541的大小为原图的大小h*w。
需要说明的是，图5B所示的卷积神经网络模型可以用于替换图5A中网络部分53。在本实施例中，在上采样之前的卷积过程有7层，分别为conv1至conv7，在上采样之前的激励过程也有7层，分别为ReLu1至ReLu7。其中，7层卷积层(conv1至conv7)可以认为是像素级损失模型的第一卷积层集合，当然，还可以将7层卷积层和7层激励层(ReLu1至ReLu7)认为是像素级损失模型的第一卷积层集合。在上采样之后的也有两层卷积，分别为conv8和conv9；在上采样之后还有一层的激励过程，即激励层ReLu8。其中，2层卷积层(conv8和conv9)可以认为是像素级损失模型的第二卷积层集合，当然，还可以将2层卷积层和1层激励层(ReLu8)认为是像素级损失模型的第二卷积层集合。
本领域的技术人员应当理解的是，在上采样之前的卷积层的层数(第一卷积层集合中卷积层的层数)可以有变化，例如采用5层，9层、10层或者几十层，对应的，在上采样之前的激励层的层数(第一卷积层集合中激励层的层数)也可以有变化，例如采用5层、6层、9层、15层等等。在实施例中，在上采样之前，卷积层后面会跟随一个激励层，即上采样之前，一个卷积层与一个激励层是交替地，本领域的技术人员应当理解的是，上述卷积层与激励层的交替层数也可以变化，例如两个卷积层后跟随一个激励层，然后一个卷积层后跟随两个激励层。本实施例中，激励层采用的激励函数为ReLu，在其他的实施例中，激励层还可以采用其他的激励函数，例如sigmoid函数。在图5B所述的实施例中未表现出池化层，在其他的实施例中，还可以加入池化层。在上采样之后，卷积层的层数(第二卷积层集合中卷积层的层数)、以及卷积层与激励层的顺序都是可以变化的。
基于前述的实施例，本发明实施例提供一种图像风格转换装置，该装置包括所包括的各单元、以及各单元所包括的各模块，可以通过电子设备中的处理器来实现；当然也可通过具体的逻辑电路实现；在实施的过程中，处理器可以为中央处理器(CPU)、微处理器(MPU)、数字信号处理器(DSP)或现场可编程门阵列(FPGA)等。
图6为本发明实施例图像风格转换装置的组成结构示意图，如图6所示，所述装置600包括获取单元601、获得单元602和重构单元603，其中：
获取单元601，用于获取待进行风格转换的初始图像；
获得单元602，用于将所述初始图像的梯度输入到图像风格转换模型，从所述图像风格转换模型获得所述初始图像的在梯度域上的特征图；所述图像风格转换模型是在梯度域基于像素级损失和感知损失训练得到；
重构单元603，用于根据所述初始图像的在梯度域上的特征图进行图像重构，得到风格图像。
在其他的实施例中，所述装置还包括训练单元，用于训练所述图像风格转换模型，所述图像风格转换模型的训练目标为总的损失Ltotal最小，其中，Ltotal采用下式来表示：
Ltotal＝αLfeat+βLpixel；
其中，所述Lfeat表示感知损失，所述Lpixel表示像素级损失，所述α和所述β的取值均为实数。
在其他的实施例中，所述α与所述β的比值大于10且小于10的五次方。
在其他的实施例中，所述图像风格转换模型包括像素级损失模型和感知损失模型，其中，所述感知损失模型是通过在梯度域将像素级损失最小作为训练目标而得到的像素级损失模型，所述感知损失模型是通过在梯度域训练将感知损失最小作为训练目标而得到的。
在其他的实施例中，所述训练单元包括：
第一输入模块，用于将训练样本的梯度输入所述像素级损失模型，从所述像素级损失模型获得所述训练样本的样本输出结果；
第一确定模块，用于确定所述训练样本对应的风格化的参考图像的梯度；
第一训练模块，用于根据所述参考图像的梯度在所述感知损失模型的第j层卷积层的第一输出特征图，和根据样本输出结果在所述感知损失模型的第j层卷积层的第二输出特征图训练所述感知损失模型。
在其他的实施例中，所述第一训练模块，用于采用下式训练所述感知损失模型：
Figure GDA0003710725230000311
其中，
Figure GDA0003710725230000312
表示第i个训练样本的梯度，FW表示像素级损失模型，
Figure GDA0003710725230000313
表示第i个训练样本的梯度经过像素级损失模型的输出结果；
Figure GDA0003710725230000314
表示第i个训练样本的风格化的参考图像的梯度；ψj()表示感知损失模型采用感知损失模型时的第j层卷积层的输出特征图，CjHjWj别表示第j层卷积层对应的特征图的通道数、高和宽。
在其他的实施例中，当所述感知损失模型采用VGG16时，第j层卷积层为conv3-3。
在其他的实施例中，所述训练单元还包括：
第二确定模块，用于确定训练样本的梯度；
第二输入模块，用于将所述训练样本的梯度作为所述像素级损失模型的输入，从所述像素级损失模型获得样本输出结果；
第三确定模块，用于确定所述训练样本对应的风格化的参考图像的梯度；
第二训练模块，用于根据所述参考图像的梯度和样本输出结果训练所述像素级损失模型。
在其他的实施例中，所述像素级损失模型包括第一卷积层集合、上采样层和第二卷积层集合，所述根据所述参考图像的梯度和样本输出结果训练所述像素级损失模型包括：
将所述训练样本的梯度输入到第一卷积层集合，得到作为样本特征图；
将所述样本特征图输入到上采样层，上采样至所述初始图像的像素尺寸；
将上采样后的样本特征图输入到第二卷积层集合，得到样本输出结果。
在其他的实施例中，所述第二训练模块，用于根据每一训练样本的
Figure GDA0003710725230000315
与对应的
Figure GDA0003710725230000316
之差的绝对值训练所述像素级损失模型；
其中，
Figure GDA0003710725230000317
表示第i个训练样本的梯度，FW表示像素级损失模型，
Figure GDA0003710725230000318
表示第i个训练样本的梯度经过像素级损失模型FW的输出结果；
Figure GDA0003710725230000321
表示第i个训练样本的风格化的参考图像的梯度。
在其他的实施例中，所述第二训练模块，用于采用下式训练所述像素级损失模型：
Figure GDA0003710725230000322
其中，
Figure GDA0003710725230000323
表示第i个训练样本的梯度，FW表示像素级损失模型，
Figure GDA0003710725230000324
表示第i个训练样本的梯度经过像素级损失模型FW的输出结果；
Figure GDA0003710725230000325
表示第i个训练样本的风格化的参考图像的梯度，D表示训练样本集合中的样本数。
在其他的实施例中，所述重构单元，用于将与所述初始图像的在梯度域上的特征图满足结构相似度条件的图像，作为所述风格图像。
在其他的实施例中，所述与所述初始图像的在梯度域上的特征图满足结构相似度条件，包括：
所述风格图像与所述初始图像的结构差异程度小于相似度阈值或者，所述风格图像与所述初始图像的结构差异程度最小，其中，结构差异程度为梯度域上的风格图像与所述初始图像的在梯度域上的特征图在至少一个参考方向的变化趋势。
在其他的实施例中，所述重构单元，用于：
根据
Figure GDA0003710725230000326
进行图像重构，得到风格图像；
其中：
Figure GDA0003710725230000327
表示所述初始图像在x方向的梯度，
Figure GDA0003710725230000328
表示所述初始图像在x方向的梯度经过所述图像风格转换模型的在梯度域上的特征图，
Figure GDA0003710725230000329
表示所述初始图像在y方向的梯度，
Figure GDA00037107252300003210
表示所述初始图像在y方向的梯度经过所述图像风格转换模型的在梯度域上的特征图，
Figure GDA00037107252300003211
表示风格图像在x方向的梯度，
Figure GDA00037107252300003212
表示风格图像在y方向的梯度。
在其他的实施例中，所述重构单元，用于根据所述初始图像的颜色信息和所述初始图像的在梯度域上的特征图进行图像重构，得到风格图像。
在其他的实施例中，所述重构单元，用于将与所述初始图像的在梯度域上的特征图满足结构相似度条件的图像，且将与所述初始图像满足颜色相似度条件的图像，作为所述风格图像。
在其他的实施例中，所述装置还包括：提取单元，用于对所述初始图像进行特征提取，得到所述初始图像中的人脸区域；对应地，所述重构单元，用于将与所述初始图像的在梯度域上的特征图满足结构相似度条件的图像，且将与所述初始图像中的人脸区域满足颜色相似度条件的图像，作为所述风格图像。
在其他的实施例中，所述重构单元，用于根据
Figure GDA0003710725230000331
Figure GDA0003710725230000332
进行图像重构，得到风格图像；
其中：I表示初始图像，S表示风格图像，
Figure GDA0003710725230000333
表示所述初始图像在x方向的梯度，
Figure GDA0003710725230000334
表示所述初始图像在x方向的梯度经过所述图像风格转换模型的在梯度域上的特征图，
Figure GDA0003710725230000335
表示所述初始图像在y方向的梯度，
Figure GDA0003710725230000336
表示所述初始图像在y方向的梯度经过所述图像风格转换模型的在梯度域上的特征图，
Figure GDA0003710725230000337
表示风格图像在x方向的梯度，
Figure GDA0003710725230000338
表示风格图像在y方向的梯度。
在其他的实施例中，所述获得单元，包括：
第四确定模块，用于确定所述初始图像在至少一个参考方向的梯度；
获得模块，用于将在至少一个参考方向的梯度输入到图像风格转换模型，从所述图像风格转换模型对应获得初始图像在至少一个参考方向的在梯度域上的特征图；
对应地，所述重构单元，用于根据在至少一个参考方向的在梯度域上的特征图进行图像重构，得到风格图像。
在其他的实施例中，所述至少一个参考方向包括在平面参考坐标系中的x、y方向上，对应地，
确定单元，用于确定所述初始图像分别在x、y方向上的梯度；
所述获得单元，用于分别将在x、y方向上的梯度输入到图像风格转换模型，从所述图像风格转换模型对应获得初始图像在x、y方向上的在梯度域上的特征图；
对应地，所述重构单元，用于根据在x、y方向上的在梯度域上的特征图进行图像重构，得到风格图像。
以上装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本发明装置实施例中未披露的技术细节，请参照本发明方法实施例的描述而理解。
需要说明的是，本发明实施例中，如果以软件功能模块的形式实现上述的图像风格转换方法，并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个电子设备或服务器等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read OnlyMemory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本发明实施例不限制于任何特定的硬件和软件结合。
对应地，本发明实施例提供一种计算机设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的图像风格转换方法中的步骤。
本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时上述的图像风格转换方法中的步骤。
本发明实施例提供一种计算机程序产品，所述计算机程序产品包括计算机可执行指令，该计算机可执行指令被执行后，能够实现上述图像风格转换方法中的步骤。
这里需要指出的是：以上存储介质和设备实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本发明存储介质和设备实施例中未披露的技术细节，请参照本发明方法实施例的描述而理解。
需要说明的是，图7为本发明实施例中计算机设备的一种硬件实体示意图，如图7所示，该计算机设备700的硬件实体包括：处理器701、通信接口702和存储器703，其中
处理器701通常控制计算机设备700的总体操作。
通信接口702可以使计算机设备通过网络与其他终端或服务器通信。
存储器703配置为存储由处理器701可执行的指令和应用，还可以缓存待处理器701以及计算机设备700中各模块待处理或已经处理的数据(例如，图像数据、音频数据、语音通信数据和视频通信数据)，可以通过闪存(FLASH)或随机访问存储器(Random AccessMemory，RAM)实现。
应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本发明的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是电子设备或者服务器等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (36)

1.一种图像风格转换方法，其特征在于，所述方法包括：
获取待进行风格转换的初始图像；
将所述初始图像的梯度输入到图像风格转换模型，从所述图像风格转换模型获得所述初始图像的在梯度域上的特征图；所述图像风格转换模型是在梯度域基于像素级损失和感知损失训练得到；
根据所述初始图像的在梯度域上的特征图进行图像重构，得到风格图像。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
训练所述图像风格转换模型；
其中，所述图像风格转换模型的训练目标为总的损失Ltotal最小，其中，Ltotal采用下式来表示：
Ltotal＝αLfeat+βLpixel；
其中，所述Lfeat表示感知损失，所述Lpixel表示像素级损失，所述α和所述β的取值均为实数。
3.根据权利要求2所述的方法，其特征在于，所述图像风格转换模型包括像素级损失模型和感知损失模型，其中所述像素级损失模型是通过在梯度域将像素级损失最小作为训练目标而得到的，所述感知损失模型是通过在梯度域训练将感知损失最小作为训练目标而得到的。
4.根据权利要求3所述的方法，其特征在于，所述像素级损失模型和所述感知损失模型的训练过程包括：
将训练样本的梯度输入所述像素级损失模型，从所述像素级损失模型获得所述训练样本的样本输出结果；
确定所述训练样本对应的风格化的参考图像的梯度；
根据所述参考图像的梯度在所述感知损失模型的第j层卷积层的第一输出特征图，和根据样本输出结果在所述感知损失模型的第j层卷积层的第二输出特征图，训练所述感知损失模型。
5.根据权利要求4所述的方法，其特征在于，所述根据所述参考图像的梯度在所述感知损失模型的第j层卷积层的第一输出特征图，和根据样本输出结果在所述感知损失模型的第j层卷积层的第二输出特征图，训练所述感知损失模型，包括：
采用下式训练所述感知损失模型：
Figure FDA0003739875950000021
其中，
Figure FDA0003739875950000022
表示第i个训练样本的梯度，FW表示像素级损失模型，
Figure FDA0003739875950000023
表示第i个训练样本的梯度经过像素级损失模型的输出结果；
Figure FDA0003739875950000024
表示第i个训练样本的风格化的参考图像的梯度；ψj()表示感知损失模型采用感知损失模型时的第j层卷积层的输出特征图，CjHjWj别表示第j层卷积层对应的特征图的通道数、高和宽。
6.根据权利要求3所述的方法，其特征在于，所述像素级损失模型的训练过程包括：
将训练样本的梯度作为所述像素级损失模型的输入，从所述像素级损失模型获得样本输出结果；
确定所述训练样本对应的风格化的参考图像的梯度；
根据所述参考图像的梯度和样本输出结果训练所述像素级损失模型。
7.根据权利要求6所述的方法，其特征在于，所述像素级损失模型包括第一卷积层集合、上采样层和第二卷积层集合，所述根据所述参考图像的梯度和样本输出结果训练所述像素级损失模型包括：
将所述训练样本的梯度输入到所述第一卷积层集合，得到样本特征图；
将所述样本特征图输入到所述上采样层，上采样至所述初始图像的像素尺寸；
将上采样后的样本特征图输入到所述第二卷积层集合，得到样本输出结果。
8.根据权利要求7所述的方法，其特征在于，所述根据所述参考图像的梯度和样本输出结果训练所述像素级损失模型，包括：
根据每一训练样本的
Figure FDA0003739875950000031
与对应的
Figure FDA0003739875950000032
之差的绝对值训练所述像素级损失模型；
其中，
Figure FDA0003739875950000033
表示第i个训练样本的梯度，FW表示像素级损失模型，
Figure FDA0003739875950000034
表示第i个训练样本的梯度经过像素级损失模型FW的输出结果；
Figure FDA0003739875950000035
表示第i个训练样本的风格化的参考图像的梯度。
9.根据权利要求8所述的方法，其特征在于，所述根据每一训练样本的
Figure FDA0003739875950000036
与对应的
Figure FDA0003739875950000037
之差的绝对值训练所述像素级损失模型，包括：
采用下式训练所述像素级损失模型：
Figure FDA0003739875950000038
其中，
Figure FDA0003739875950000039
表示第i个训练样本的梯度，FW表示像素级损失模型，
Figure FDA00037398759500000310
表示第i个训练样本的梯度经过像素级损失模型FW的输出结果；
Figure FDA00037398759500000311
表示第i个训练样本的风格化的参考图像的梯度，D表示训练样本集合中的样本数。
10.根据权利要求1至9任一项所述的方法，其特征在于，所述根据所述初始图像的在梯度域上的特征图进行图像重构，得到风格图像，包括：将与所述初始图像的在梯度域上的特征图满足结构相似度条件的图像，作为所述风格图像；
其中，所述与所述初始图像的在梯度域上的特征图满足结构相似度条件，包括：
所述风格图像与所述初始图像的结构差异程度小于相似度阈值，或者，所述风格图像与所述初始图像的结构差异程度最小，其中，结构差异程度为梯度域上的风格图像与所述初始图像的在梯度域上的特征图在至少一个参考方向的变化趋势。
11.根据权利要求10所述的方法，其特征在于，所述根据所述初始图像的在梯度域上的特征图进行图像重构，得到风格图像，包括：
根据
Figure FDA00037398759500000312
进行图像重构，得到风格图像；
其中：
Figure FDA00037398759500000313
表示所述初始图像在x方向的梯度，
Figure FDA00037398759500000314
表示所述初始图像在x方向的梯度经过所述图像风格转换模型的在梯度域上的特征图，
Figure FDA0003739875950000041
表示所述初始图像在y方向的梯度，
Figure FDA0003739875950000042
表示所述初始图像在y方向的梯度经过所述图像风格转换模型的在梯度域上的特征图，
Figure FDA0003739875950000043
表示风格图像在x方向的梯度，
Figure FDA0003739875950000044
表示风格图像在y方向的梯度。
12.根据权利要求1至9任一项所述的方法，其特征在于，所述根据所述初始图像的在梯度域上的特征图进行图像重构，得到风格图像，包括：
根据所述初始图像的颜色信息和所述初始图像的在梯度域上的特征图进行图像重构，得到风格图像。
13.根据权利要求12所述的方法，其特征在于，所述根据所述初始图像的颜色信息和所述初始图像的在梯度域上的特征图进行图像重构，得到风格图像，包括：
将与所述初始图像的在梯度域上的特征图满足结构相似度条件的图像，且将与所述初始图像满足颜色相似度条件的图像，作为所述风格图像。
14.根据权利要求12所述的方法，其特征在于，所述方法还包括：
对所述初始图像进行特征提取，得到所述初始图像中的人脸区域；
对应地，所述根据所述初始图像的颜色信息和所述初始图像的在梯度域上的特征图进行图像重构，得到风格图像，包括：将与所述初始图像的在梯度域上的特征图满足结构相似度条件的图像，且将与所述初始图像中的人脸区域满足颜色相似度条件的图像，作为所述风格图像。
15.根据权利要求13所述的方法，其特征在于，所述将与所述初始图像的在梯度域上的特征图满足结构相似度条件的图像，且将与所述初始图像满足颜色相似度条件的图像，作为所述风格图像，包括：
根据
Figure FDA0003739875950000045
进行图像重构，得到风格图像；
其中：I表示初始图像，S表示风格图像，
Figure FDA0003739875950000046
表示所述初始图像在x方向的梯度，
Figure FDA0003739875950000047
表示所述初始图像在x方向的梯度经过所述图像风格转换模型的在梯度域上的特征图，
Figure FDA0003739875950000051
表示所述初始图像在y方向的梯度，
Figure FDA0003739875950000052
表示所述初始图像在y方向的梯度经过所述图像风格转换模型的在梯度域上的特征图，
Figure FDA0003739875950000053
表示风格图像在x方向的梯度，
Figure FDA0003739875950000054
表示风格图像在y方向的梯度。
16.根据权利要求1至9任一项所述的方法，其特征在于，所述将所述初始图像的梯度输入到图像风格转换模型，从所述图像风格转换模型获得初始图像的在梯度域上的特征图，包括：
确定所述初始图像在至少一个参考方向的梯度；
将在至少一个参考方向的梯度输入到图像风格转换模型，从所述图像风格转换模型对应获得初始图像在至少一个参考方向的在梯度域上的特征图；
对应地，根据在至少一个参考方向的在梯度域上的特征图进行图像重构，得到风格图像。
17.根据权利要求16所述的方法，其特征在于，所述至少一个参考方向包括在平面参考坐标系中的x、y方向上，对应地，
确定所述初始图像分别在x、y方向上的梯度；
分别将在x、y方向上的梯度输入到图像风格转换模型，从所述图像风格转换模型对应获得初始图像在x、y方向上的在梯度域上的特征图；
对应地，根据在x、y方向上的在梯度域上的特征图进行图像重构，得到风格图像。
18.一种图像风格转换装置，其特征在于，所述装置包括：
获取单元，用于获取待进行风格转换的初始图像；
获得单元，用于将所述初始图像的梯度输入到图像风格转换模型，从所述图像风格转换模型获得所述初始图像的在梯度域上的特征图；所述图像风格转换模型是在梯度域基于像素级损失和感知损失训练得到；
重构单元，用于根据所述初始图像的在梯度域上的特征图进行图像重构，得到风格图像。
19.根据权利要求18所述的装置，其特征在于，所述装置还包括：
训练单元，用于训练所述图像风格转换模型，其中所述图像风格转换模型的训练目标为总的损失Ltotal最小，其中，Ltotal采用下式来表示：
Ltotal＝αLfeat+βLpixel；
其中，所述Lfeat表示感知损失，所述Lpixel表示像素级损失，所述α和所述β的取值均为实数。
20.根据权利要求19所述的装置，其特征在于，所述图像风格转换模型包括像素级损失模型和感知损失模型，其中所述像素级损失模型是通过在梯度域将像素级损失最小作为训练目标而得到，所述感知损失模型是通过在梯度域训练将感知损失最小作为训练目标而得到。
21.根据权利要求20所述的装置，其特征在于，所述训练单元包括：
第一输入模块，用于将训练样本的梯度输入所述像素级损失模型，从所述像素级损失模型获得所述训练样本的样本输出结果；
第一确定模块，用于确定所述训练样本对应的风格化的参考图像的梯度；
第一训练模块，用于根据所述参考图像的梯度在所述感知损失模型的第j层卷积层的第一输出特征图，和根据样本输出结果在所述感知损失模型的第j层卷积层的第二输出特征图训练所述感知损失模型。
22.根据权利要求21所述的装置，其特征在于，所述第一训练模块，用于采用下式训练所述感知损失模型：
Figure FDA0003739875950000061
其中，
Figure FDA0003739875950000062
表示第i个训练样本的梯度，FW表示像素级损失模型，
Figure FDA0003739875950000063
表示第i个训练样本的梯度经过像素级损失模型的输出结果；
Figure FDA0003739875950000064
表示第i个训练样本的风格化的参考图像的梯度；ψj()表示感知损失模型采用感知损失模型时的第j层卷积层的输出特征图，CjHjWj别表示第j层卷积层对应的特征图的通道数、高和宽。
23.根据权利要求20所述的装置，其特征在于，所述训练单元包括：
第二确定模块，用于确定训练样本的梯度；
第二输入模块，用于将所述训练样本的梯度作为所述像素级损失模型的输入，从所述像素级损失模型获得样本输出结果；
第三确定模块，用于确定所述训练样本对应的风格化的参考图像的梯度；
第二训练模块，用于根据所述参考图像的梯度和样本输出结果训练所述像素级损失模型。
24.根据权利要求23所述的装置，其特征在于，所述像素级损失模型包括第一卷积层集合、上采样层和第二卷积层集合，所述第二训练模块包括：
第一输入子模块，用于将所述训练样本的梯度输入到所述第一卷积层集合，得到样本特征图；
上采样子模块，用于将所述样本特征图输入到所述上采样层，上采样至所述初始图像的像素尺寸；
第二输入子模块，用于将上采样后的样本特征图输入到所述第二卷积层集合，得到样本输出结果。
25.根据权利要求24所述的装置，其特征在于，所述第二训练模块，用于根据每一训练样本的
Figure FDA0003739875950000071
与对应的
Figure FDA0003739875950000072
之差的绝对值训练所述像素级损失模型；
其中，
Figure FDA0003739875950000073
表示第i个训练样本的梯度，FW表示像素级损失模型，
Figure FDA0003739875950000074
表示第i个训练样本的梯度经过像素级损失模型FW的输出结果；
Figure FDA0003739875950000075
表示第i个训练样本的风格化的参考图像的梯度。
26.根据权利要求25所述的装置，其特征在于，所述第二训练模块，用于采用下式训练所述像素级损失模型：
Figure FDA0003739875950000076
其中，
Figure FDA0003739875950000077
表示第i个训练样本的梯度，FW表示像素级损失模型，
Figure FDA0003739875950000078
表示第i个训练样本的梯度经过像素级损失模型FW的输出结果；
Figure FDA0003739875950000079
表示第i个训练样本的风格化的参考图像的梯度，D表示训练样本集合中的样本数。
27.根据权利要求18至26任一项所述的装置，其特征在于，所述重构单元，用于将与所述初始图像的在梯度域上的特征图满足结构相似度条件的图像，作为所述风格图像；
其中，所述与所述初始图像的在梯度域上的特征图满足结构相似度条件，包括：
所述风格图像与所述初始图像的结构差异程度小于相似度阈值，或者，所述风格图像与所述初始图像的结构差异程度最小，其中，结构差异程度为梯度域上的风格图像与所述初始图像的在梯度域上的特征图在至少一个参考方向的变化趋势。
28.根据权利要求27所述的装置，其特征在于，所述重构单元，用于：
根据
Figure FDA0003739875950000081
进行图像重构，得到风格图像；
其中：
Figure FDA0003739875950000082
表示所述初始图像在x方向的梯度，
Figure FDA0003739875950000083
表示所述初始图像在x方向的梯度经过所述图像风格转换模型的在梯度域上的特征图，
Figure FDA0003739875950000084
表示所述初始图像在y方向的梯度，
Figure FDA0003739875950000085
表示所述初始图像在y方向的梯度经过所述图像风格转换模型的在梯度域上的特征图，
Figure FDA0003739875950000086
表示风格图像在x方向的梯度，
Figure FDA0003739875950000087
表示风格图像在y方向的梯度。
29.根据权利要求18至26任一项所述的装置，其特征在于，所述重构单元，用于根据所述初始图像的颜色信息和所述初始图像的在梯度域上的特征图进行图像重构，得到风格图像。
30.根据权利要求29所述的装置，其特征在于，所述重构单元，用于将与所述初始图像的在梯度域上的特征图满足结构相似度条件的图像，且将与所述初始图像满足颜色相似度条件的图像，作为所述风格图像。
31.根据权利要求29所述的装置，其特征在于，所述装置还包括：
提取单元，用于对所述初始图像进行特征提取，得到所述初始图像中的人脸区域；
对应地，所述重构单元，用于将与所述初始图像的在梯度域上的特征图满足结构相似度条件的图像，且将与所述初始图像中的人脸区域满足颜色相似度条件的图像，作为所述风格图像。
32.根据权利要求30所述的装置，其特征在于，所述重构单元，用于根据
Figure FDA0003739875950000091
进行图像重构，得到风格图像；
其中：I表示初始图像，S表示风格图像，
Figure FDA0003739875950000092
表示所述初始图像在x方向的梯度，
Figure FDA0003739875950000093
表示所述初始图像在x方向的梯度经过所述图像风格转换模型的在梯度域上的特征图，
Figure FDA0003739875950000094
表示所述初始图像在y方向的梯度，
Figure FDA0003739875950000095
表示所述初始图像在y方向的梯度经过所述图像风格转换模型的在梯度域上的特征图，
Figure FDA0003739875950000096
表示风格图像在x方向的梯度，
Figure FDA0003739875950000097
表示风格图像在y方向的梯度。
33.根据权利要求18至26任一项所述的装置，其特征在于，所述获得单元，包括：
第四确定模块，用于确定所述初始图像在至少一个参考方向的梯度；
获得模块，用于将在至少一个参考方向的梯度输入到图像风格转换模型，从所述图像风格转换模型对应获得初始图像在至少一个参考方向的在梯度域上的特征图；
对应地，所述重构单元，用于根据在至少一个参考方向的在梯度域上的特征图进行图像重构，得到风格图像。
34.根据权利要求33所述的装置，其特征在于，所述至少一个参考方向包括在平面参考坐标系中的x、y方向上，对应地，
确定单元，用于确定所述初始图像分别在x、y方向上的梯度；
所述获得单元，用于分别将在x、y方向上的梯度输入到图像风格转换模型，从所述图像风格转换模型对应获得初始图像在x、y方向上的在梯度域上的特征图；
对应地，所述重构单元，用于根据在x、y方向上的在梯度域上的特征图进行图像重构，得到风格图像。
35.一种计算机存储介质，其特征在于，所述计算机存储介质上存储有计算机可执行指令，该计算机可执行指令被执行后，能够实现权利要求1至17任一项所述图像风格转换方法中的步骤。
36.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器上存储有可在处理器上运行的计算机程序，所述处理器执行所述程序时实现权利要求1至17任一项所述图像风格转换方法中的步骤。
CN201810917979.7A 2018-08-13 2018-08-13 一种图像风格转换方法及装置、设备、存储介质 Active CN109308679B (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201810917979.7A CN109308679B (zh) 2018-08-13 2018-08-13 一种图像风格转换方法及装置、设备、存储介质
PCT/CN2018/117293 WO2020034481A1 (zh) 2018-08-13 2018-11-23 一种图像风格转换方及装置、设备、存储介质
SG11202000062RA SG11202000062RA (en) 2018-08-13 2018-11-23 Image style transform methods and apparatuses, devices and storage media
JP2019569805A JP6874168B2 (ja) 2018-08-13 2018-11-23 画像スタイル変換方法および装置、機器、ならびに記憶媒体
TW108128796A TWI749356B (zh) 2018-08-13 2019-08-13 一種圖像風格轉換方法及設備、儲存介質
US16/726,885 US11200638B2 (en) 2018-08-13 2019-12-25 Image style transform methods and apparatuses, devices and storage media

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810917979.7A CN109308679B (zh) 2018-08-13 2018-08-13 一种图像风格转换方法及装置、设备、存储介质

Publications (2)

Publication Number Publication Date
CN109308679A CN109308679A (zh) 2019-02-05
CN109308679B true CN109308679B (zh) 2022-08-30

Family

ID=65223859

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810917979.7A Active CN109308679B (zh) 2018-08-13 2018-08-13 一种图像风格转换方法及装置、设备、存储介质

Country Status (6)

Country Link
US (1) US11200638B2 (zh)
JP (1) JP6874168B2 (zh)
CN (1) CN109308679B (zh)
SG (1) SG11202000062RA (zh)
TW (1) TWI749356B (zh)
WO (1) WO2020034481A1 (zh)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018033137A1 (zh) * 2016-08-19 2018-02-22 北京市商汤科技开发有限公司 在视频图像中展示业务对象的方法、装置和电子设备
CN109308679B (zh) * 2018-08-13 2022-08-30 深圳市商汤科技有限公司 一种图像风格转换方法及装置、设备、存储介质
CN109766895A (zh) * 2019-01-03 2019-05-17 京东方科技集团股份有限公司 用于图像风格迁移的卷积神经网络的训练方法和图像风格迁移方法
CN111583165B (zh) * 2019-02-19 2023-08-08 京东方科技集团股份有限公司 图像处理方法、装置、设备及存储介质
CN110070482B (zh) * 2019-03-14 2023-05-02 北京字节跳动网络技术有限公司 图像处理方法、装置和计算机可读存储介质
EP3731154A1 (en) * 2019-04-26 2020-10-28 Naver Corporation Training a convolutional neural network for image retrieval with a listwise ranking loss function
CN111860823B (zh) * 2019-04-30 2024-06-11 北京市商汤科技开发有限公司 神经网络训练、图像处理方法及装置、设备及存储介质
CN110232401B (zh) * 2019-05-05 2023-08-04 平安科技（深圳）有限公司 基于图片转换的病灶判断方法、装置、计算机设备
CN110189246B (zh) * 2019-05-15 2023-02-28 北京字节跳动网络技术有限公司 图像风格化生成方法、装置及电子设备
CN112561778A (zh) * 2019-09-26 2021-03-26 北京字节跳动网络技术有限公司 图像风格化处理方法、装置、设备及存储介质
US11625576B2 (en) * 2019-11-15 2023-04-11 Shanghai United Imaging Intelligence Co., Ltd. Systems and methods for image style transformation
US11080833B2 (en) * 2019-11-22 2021-08-03 Adobe Inc. Image manipulation using deep learning techniques in a patch matching operation
KR102172644B1 (ko) * 2020-01-13 2020-11-02 (주)에스프레소미디어 스타일 변환 외부 연동 시스템, 그리고 스타일 변환 외부 연동 서버
CN111340905B (zh) * 2020-02-13 2023-08-04 北京百度网讯科技有限公司 图像风格化方法、装置、设备和介质
CN113496238A (zh) * 2020-03-20 2021-10-12 北京京东叁佰陆拾度电子商务有限公司 模型训练方法、点云数据风格化方法、装置、设备及介质
CN111494946B (zh) * 2020-04-23 2021-05-18 腾讯科技（深圳）有限公司 图像处理方法、装置、设备及计算机可读存储介质
CN113570508A (zh) * 2020-04-29 2021-10-29 上海耕岩智能科技有限公司 图像修复方法及装置、存储介质、终端
CN111652846B (zh) * 2020-04-30 2022-08-16 成都数之联科技股份有限公司 一种基于特征金字塔卷积神经网络的半导体缺陷识别方法
CN111402143B (zh) * 2020-06-03 2020-09-04 腾讯科技（深圳）有限公司 图像处理方法、装置、设备及计算机可读存储介质
CN111667401B (zh) * 2020-06-08 2022-11-29 武汉理工大学 多层次渐变图像风格迁移方法及系统
CN111932445A (zh) * 2020-07-27 2020-11-13 广州市百果园信息技术有限公司 对风格迁移网络的压缩方法及风格迁移方法、装置和系统
CN111986075B (zh) * 2020-08-12 2022-08-09 兰州交通大学 一种目标边缘清晰化的风格迁移方法
CN112070668A (zh) * 2020-08-18 2020-12-11 西安理工大学 一种基于深度学习和边缘增强的图像超分辨方法
CN112102154B (zh) * 2020-08-20 2024-04-26 北京百度网讯科技有限公司 图像处理方法、装置、电子设备和存储介质
US20220122222A1 (en) * 2020-10-16 2022-04-21 Adobe Inc. Multi-scale output techniques for generative adversarial networks
CN112288622B (zh) * 2020-10-29 2022-11-08 中山大学 一种基于多尺度生成对抗网络的伪装图像生成方法
CN112233041A (zh) * 2020-11-05 2021-01-15 Oppo广东移动通信有限公司 图像美颜处理方法、装置、存储介质与电子设备
CN112348739B (zh) * 2020-11-27 2021-09-28 广州博冠信息科技有限公司 图像处理方法、装置、设备及存储介质
KR102573822B1 (ko) * 2021-02-04 2023-09-04 (주)비케이 벡터 이미지의 화풍 변환 및 재생 방법
US11195080B1 (en) * 2021-03-29 2021-12-07 SambaNova Systems, Inc. Lossless tiling in convolution networks—tiling configuration
CN113240576B (zh) * 2021-05-12 2024-04-30 北京达佳互联信息技术有限公司 风格迁移模型的训练方法、装置、电子设备及存储介质
CN113344772B (zh) * 2021-05-21 2023-04-07 武汉大学 一种用于地图艺术化的迁移模型的训练方法和计算机设备
CN113256750B (zh) * 2021-05-26 2023-06-23 武汉中科医疗科技工业技术研究院有限公司 医疗图像风格重建方法、装置、计算机设备和存储介质
CN113052786B (zh) * 2021-05-31 2021-09-03 北京星天科技有限公司 一种声呐图像合成方法和装置
TWI779824B (zh) * 2021-09-10 2022-10-01 瑞昱半導體股份有限公司 卷積神經網路的圖像處理方法與系統
US11989916B2 (en) * 2021-10-11 2024-05-21 Kyocera Document Solutions Inc. Retro-to-modern grayscale image translation for preprocessing and data preparation of colorization
CN114004905B (zh) * 2021-10-25 2024-03-29 北京字节跳动网络技术有限公司 人物风格形象图的生成方法、装置、设备及存储介质
CN114818803A (zh) * 2022-04-25 2022-07-29 上海韶脑传感技术有限公司 基于神经元优化的单侧肢体患者运动想象脑电建模方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106780367A (zh) * 2016-11-28 2017-05-31 上海大学 基于字典学习的hdr照片风格转移方法
AU2017101166A4 (en) * 2017-08-25 2017-11-02 Lai, Haodong MR A Method For Real-Time Image Style Transfer Based On Conditional Generative Adversarial Networks
CN107481185A (zh) * 2017-08-24 2017-12-15 深圳市唯特视科技有限公司 一种基于视频图像优化的风格转换方法
CN108280814A (zh) * 2018-02-08 2018-07-13 重庆邮电大学 基于感知损失的光场图像角度超分辨率重建方法

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6064768A (en) * 1996-07-29 2000-05-16 Wisconsin Alumni Research Foundation Multiscale feature detector using filter banks
AUPS170902A0 (en) * 2002-04-12 2002-05-16 Canon Kabushiki Kaisha Face detection and tracking in a video sequence
US6862024B2 (en) * 2002-04-17 2005-03-01 Mitsubishi Electric Research Laboratories, Inc. Enhancing textured range images using a 2D editor
US8306366B2 (en) * 2007-08-23 2012-11-06 Samsung Electronics Co., Ltd. Method and apparatus for extracting feature points from digital image
US8009921B2 (en) * 2008-02-19 2011-08-30 Xerox Corporation Context dependent intelligent thumbnail images
US8705847B2 (en) * 2011-09-30 2014-04-22 Cyberlink Corp. Method and system of two-dimensional to stereoscopic conversion
CN102360490B (zh) * 2011-09-30 2012-11-28 北京航空航天大学 基于颜色转换和编辑传播的图像季节特征增强方法
US9208539B2 (en) * 2013-11-30 2015-12-08 Sharp Laboratories Of America, Inc. Image enhancement using semantic components
WO2015192263A1 (en) * 2014-06-16 2015-12-23 Xiaoou Tang A method and a system for face verification
US10147017B2 (en) * 2014-06-20 2018-12-04 Qualcomm Incorporated Systems and methods for obtaining structural information from a digital image
US9826149B2 (en) * 2015-03-27 2017-11-21 Intel Corporation Machine learning of real-time image capture parameters
CN105719327B (zh) * 2016-02-29 2018-09-07 北京中邮云天科技有限公司 一种艺术风格化图像处理方法
CN106022221B (zh) * 2016-05-09 2021-11-30 腾讯科技（深圳）有限公司 一种图像处理方法及处理系统
US20180197317A1 (en) * 2017-01-06 2018-07-12 General Electric Company Deep learning based acceleration for iterative tomographic reconstruction
US10659773B2 (en) * 2017-04-13 2020-05-19 Facebook, Inc. Panoramic camera systems
CN107578367B (zh) * 2017-04-25 2020-10-02 北京陌上花科技有限公司 一种风格化图像的生成方法及装置
CN107171932B (zh) * 2017-04-27 2021-06-08 腾讯科技（深圳）有限公司 一种图片风格转换方法、装置及系统
US10565757B2 (en) * 2017-06-09 2020-02-18 Adobe Inc. Multimodal style-transfer network for applying style features from multi-resolution style exemplars to input images
CN107277615B (zh) * 2017-06-30 2020-06-23 北京奇虎科技有限公司 直播风格化处理方法、装置、计算设备及存储介质
TWM558943U (zh) 2017-11-22 2018-04-21 Aiwin Technology Co Ltd 運用深度學習技術之智慧影像資訊及大數據分析系統
US10783622B2 (en) * 2018-04-25 2020-09-22 Adobe Inc. Training and utilizing an image exposure transformation neural network to generate a long-exposure image from a single short-exposure image
CN109308679B (zh) * 2018-08-13 2022-08-30 深圳市商汤科技有限公司 一种图像风格转换方法及装置、设备、存储介质
US10896534B1 (en) * 2018-09-19 2021-01-19 Snap Inc. Avatar style transformation using neural networks
US11310475B2 (en) * 2019-08-05 2022-04-19 City University Of Hong Kong Video quality determination system and method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106780367A (zh) * 2016-11-28 2017-05-31 上海大学 基于字典学习的hdr照片风格转移方法
CN107481185A (zh) * 2017-08-24 2017-12-15 深圳市唯特视科技有限公司 一种基于视频图像优化的风格转换方法
AU2017101166A4 (en) * 2017-08-25 2017-11-02 Lai, Haodong MR A Method For Real-Time Image Style Transfer Based On Conditional Generative Adversarial Networks
CN108280814A (zh) * 2018-02-08 2018-07-13 重庆邮电大学 基于感知损失的光场图像角度超分辨率重建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
图像艺术风格化的研究现状;邓盈盈等;《南京信息工程大学学报(自然科学版)》;20171128(第06期);31-36 *

Also Published As

Publication number Publication date
TW202009800A (zh) 2020-03-01
JP2020533660A (ja) 2020-11-19
WO2020034481A1 (zh) 2020-02-20
US20200134778A1 (en) 2020-04-30
US11200638B2 (en) 2021-12-14
JP6874168B2 (ja) 2021-05-19
SG11202000062RA (en) 2020-03-30
TWI749356B (zh) 2021-12-11
CN109308679A (zh) 2019-02-05

Similar Documents

Publication Publication Date Title
CN109308679B (zh) 一种图像风格转换方法及装置、设备、存储介质
Lim et al. DSLR: Deep stacked Laplacian restorer for low-light image enhancement
US11501415B2 (en) Method and system for high-resolution image inpainting
Cao et al. Image Super-Resolution via Adaptive $\ell _ {p}(0< p< 1) $ Regularization and Sparse Representation
CN110210524B (zh) 一种图像增强模型的训练方法、图像增强方法及装置
WO2023279936A1 (en) Methods and systems for high definition image manipulation with neural networks
CN112419153A (zh) 图像超分辨率重建方法、装置、计算机设备和存储介质
CN113706388B (zh) 图像超分辨率重建方法及装置
CN110809126A (zh) 一种基于自适应可变形卷积的视频帧插值方法及系统
US20240020810A1 (en) UNIVERSAL STYLE TRANSFER USING MULTl-SCALE FEATURE TRANSFORM AND USER CONTROLS
CN114612289A (zh) 风格化图像生成方法、装置及图像处理设备
Jiang et al. Fast and high quality image denoising via malleable convolution
KR101795952B1 (ko) 2d 영상에 대한 깊이 영상 생성 방법 및 장치
CN111667401B (zh) 多层次渐变图像风格迁移方法及系统
CN111145103B (zh) 基于细节保留神经网络模型的蒙特卡洛去噪方法
Bricman et al. CocoNet: A deep neural network for mapping pixel coordinates to color values
Chen et al. Adaptive visual field multi-scale generative adversarial networks image inpainting base on coordinate-attention
CN116128722A (zh) 基于频域-纹理特征融合的图像超分辨率重建方法及系统
Viriyavisuthisakul et al. A regularization-based generative adversarial network for single image super-resolution
Huang et al. Weighted Nuclear Norm Minimization-based regularization method for image restoration
CN112581362A (zh) 用于调整图像细节的图像处理方法和装置
CN110706167A (zh) 一种遥感图像待修复区域的精细补全处理方法及装置
Ahmed et al. Digital image inpainting techniques for cultural heritage preservation and restoration
Shang et al. Frequency-aware network for low-light image enhancement
Wang et al. Single image super-resolution based on approximated Heaviside functions and iterative refinement

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40008029

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant