CN108596830A - 一种图像风格迁移模型训练方法以及图像风格迁移方法 - Google Patents

一种图像风格迁移模型训练方法以及图像风格迁移方法 Download PDF

Info

Publication number
CN108596830A
CN108596830A CN201810404755.6A CN201810404755A CN108596830A CN 108596830 A CN108596830 A CN 108596830A CN 201810404755 A CN201810404755 A CN 201810404755A CN 108596830 A CN108596830 A CN 108596830A
Authority
CN
China
Prior art keywords
pixel
feature
image
style
gray
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810404755.6A
Other languages
English (en)
Other versions
CN108596830B (zh
Inventor
孙源良
刘萌
樊雨茂
李彩虹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guoxin Youe Data Co Ltd
Original Assignee
Guoxin Youe Data Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guoxin Youe Data Co Ltd filed Critical Guoxin Youe Data Co Ltd
Priority to CN201810404755.6A priority Critical patent/CN108596830B/zh
Publication of CN108596830A publication Critical patent/CN108596830A/zh
Application granted granted Critical
Publication of CN108596830B publication Critical patent/CN108596830B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请提供了一种图像风格迁移模型训练方法以及图像风格迁移方法，图像风格迁移模型训练方法包括：获取风格参考图像以及内容图像；将风格参考图像以及内容图像输入第一神经网络，为内容图像提取第一特征向量，并为风格参考图像提取第二特征向量；基于第一特征向量对内容图像进行还原，得到内容图像的迁移图像；将风格参考图像和迁移图像输入第一神经网络，为迁移图像提取第三特征向量；基于第二特征向量和第三特征向量，计算风格参考图像以及迁移图像之间的色调损失；根据色调损失，对第一神经网络进行训练。该方法能够以更快的速度得到训练好的图像风格迁移模型。

Description

一种图像风格迁移模型训练方法以及图像风格迁移方法
技术领域
本申请涉及图像处理技术领域，具体而言，涉及一种图像风格迁移模型训练方法以及图像风格迁移方法。
背景技术
图像风格迁移的目的是要对图像的纹理、色彩、内容等进行定向的改变，使得图像由一种风格风变化为另外一种；例如将人的照片进行风格迁移，得到具有油画风格的图像，将光线较昏暗条件下拍摄得到的风景照片进行风格迁移，得到在光线较明亮条件下的图像等。
现有技术中通常通过为图像增加对应处理效果的滤镜实现图像的风格迁移，但是通过滤镜的形式仅是在图像上增加一个层(mask)而并没有对图像的像素进行修改，也就是图像本身并没有真正的做到风格迁移，并且滤镜的种类有限，对于滤镜对应风格之外的风格无法进行风格迁移。
发明内容
有鉴于此，本申请实施例的目的在于提供一种图像风格迁移模型训练方法图像风格迁移方法，通过机器学习的方式对图像进行风格迁移，与现有技术中增加滤镜的方式相比，使的图像的像素得到修改，图像本身真正实现了风格迁移，并且迁移的风格不受滤镜风格的限制，即使不存在滤镜的风格也可以实现风格迁移。
第一方面，本申请实施例提供了一种图像风格迁移模型训练方法，包括：
获取风格参考图像以及内容图像；
将所述风格参考图像以及所述内容图像输入第一神经网络，为所述内容图像提取第一特征向量，并为所述风格参考图像提取第二特征向量；
基于所述第一特征向量对所述内容图像进行还原，得到所述内容图像的迁移图像；
将所述风格参考图像和所述迁移图像输入所述第一神经网络，为所述迁移图像提取第三特征向量；
基于所述第二特征向量和所述第三特征向量，计算所述风格参考图像以及所述迁移图像之间的色调损失；
根据所述色调损失，对所述第一神经网络进行训练。
第二方面，本申请实施例还提供一种图像风格迁移方法，该方法包括：
获取待迁移图像；
将所述待迁移图像输入至通过本申请任意一项实施例所述的图像风格迁移模型训练方法得到的图像风格迁移模型中；所述图像风格迁移模型包括第一神经网络以及第二神经网络；
所用所述第一神经网络为所述待迁移图像提取特征向量，并基于所述特征向量使用所述第二神经网络对所述待迁移图像进行还原，得到的所述待迁移图像的迁移图像。
本申请实施例通过使用第一神经网络对风格参考图像和内容图像进行特征学习，提取内容图像的第一特征向量，并提取内容图像的第二特征向量后，基于第一特征向量对内容图像进行还原得到内容图像的迁移图像，然后使用第一神经网络为迁移图像提取第三特征向量，并基于第二特征向量和第三特征向量计算风格参考图像和迁移图像之间的色调损失，根据该色调损失，通过基于色调损失的约束条件，对第一神经网络进行训练。本发明实施例通过机器学习的方式对图像进行风格迁移，与现有技术中增加滤镜的方式相比，使的图像的像素得到修改，图像本身真正实现了风格迁移，并且迁移的风格不受滤镜风格的限制，即使不存在滤镜的风格也可以实现风格迁移，并且在模型训练过程中增加了色调损失这一约束条件，该约束条件的可控性抢，基于该约束条件对模型进行训练，使得模型在训练过程中基于该约束条件控制神经网络受到风格餐卡图像的影响程度，对神经网络参数调整比较少，能够更快收敛，能够以更快的速度得到训练好的图像风格迁移模型。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例一提供的图像风格迁移模型训练方法的流程图；
图2示出了本申请实施例一所提供的图像风格迁移模型训练方法中，计算色调损失的具体方法的流程图；
图3示出了本申请实施例一所提供的图像风格迁移模型训练方法中，计算第二特征图和第三特征图在不同颜色通道的通道损失的具体方法的流程图；
图4示出了本申请实施例一所提供的图像风格迁移模型训练方法中，另外一种计算色调损失的具体方法的流程图；
图5示出了本申请实施例一所提供的图像风格迁移模型训练方法中，色调比对操作的具体方法的流程图；
图6示出了本申请实施例二提供的图像风格迁移模型训练方法的流程图；
图7示出了本申请实施例二提供的图像风格迁移模型训练方法中，计算内容损失的具体方法的流程图；
图8示出了本申请实施例二提供的图像风格迁移模型训练方法中，计算第一灰度图和第三灰度图之间的差异值的具体方法的流程图；
图9示出了本申请实施例二所提供的图像风格迁移模型训练方法中，内容比对操作的具体方法的流程图；
图10示出了本申请实施例三提供的图像风格迁移方法的流程图；
图11示出了本申请实施例四提供的图像风格迁移模型训练装置的结构示意图；
图12示出了本申请实施例五提供的图像风格迁移装置的结构示意图；
图13示出了本申请实施例所提供的一种计算机设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
为便于对本实施例进行理解，首先对本申请实施例所公开的一种图像风格迁移模型训练方法进行详细介绍，该方法用于对任意一种图像风格进行图像风格迁移。
参见图1所示，本申请实施例一提供的图像风格迁移模型训练方法，具体包括：
S101：获取风格参考图像以及内容图像。
具体实现的时候，风格参考图像具有在进行图像风格迁移过程中，想要让内容图像呈现的图像风格。内容图像则是要进行图像风格迁移的图像。所生成的迁移图像呈现的内容为内容图像的内容，风格则为风格参考图像的风格。
所获取的风格参考图像可以有多张；且多张风格参考图像都应当具有同一种图像风格，以便在将风格参考图像输入至第一神经网络后，第一神经网络能够对风格参考图像中用于表征风格的特征进行更好的学习。
内容图像可以是一张也可以是多张；当内容图像有多张的时候，多张内容图像可以不具备相同的图像风格，也可以具备相同的图像风格。内容图像所具备的图像风格与风格参考图像所具备的图像风格不同。
S102：将风格参考图像以及内容图像输入第一神经网络，为内容图像提取第一特征向量，并为风格参考图像提取第二特征向量。
在具体实现的时候，神经网络可以采用卷积神经网络(Convolutional NeuralNetwork，CNN)来为内容图像提取第一特征向量，为风格参考图像提取第二特征向量。
将风格参考图像以及内容图像输入第一神经网络，是要让第一神经网络能够对风格参考图像以及内容图像进行学习，学习到内容图像中用于表征内容的特征，以及学习到风格参考图像中用于表征图像风格的特征。模型在训练过程在多轮训练过程中，第一神经网络由于已经受到风格参考图像的影响，因此为内容图像提取的特征向量，会向风格参考图像有一定程度的偏移。在第一特征向量中，内容图像中的某些特征会被弱化，例如用于表征内容图像中原本具有的图像风格的特征；被第一神经网络学习到的风格参考图像中的特征会影响第一特征向量向风格参考图像进行迁移。
对于风格参考图像来说与上述情况类似，即，在多轮训练过程中，第一神经网络为风格参考图像所提取的第二特征向量，都会向内容图像有一定的偏移。在第二特征向量中，某些特征被弱化，而某些特征则被加强，例如用于表征风格参考图像所具有的图像风格的特征会得到强化，令第二特征向量向内容图像的方向迁移。
S103：基于第一特征向量对内容图像进行还原，得到内容图像的迁移图像。
在具体实现的时候，基于第一特征向量对内容图像进行还原时，由于第一特征向量已经向风格参考图像发生了偏移，因此还原得到的内容图像的迁移图像也会和内容图像存在一定的差异。且在还原过程中，由于在对模型训练过程中，模型中的某些参数会被弱化甚至忽略，也会导致还原得到的迁移图像和内容图像之间存在差异。
具体地，本申请实施例还提供一种基于所述第一特征向量对所述内容图像进行还原的方法，该方法包括：
将所述第一特征向量输入与所述第一神经网络具有对称结构的第二神经网络对所述内容图像进行还原。
此处，第二神经网络和第一神经网络具有对称结构，是指第二神经网络和第一神经网络的特征提取层的构成上是对称的，并且第一神经网络中的特征提取层和第二神经网络中对称位置的特征提取层的参数也是一致的。
本申请实施例中，第一神经网络和第二神经网络可以采用编码器(Encoder)-解码器(Decoder)结构的神经网络。其中，Encoder为本申请中的第一神经网络，Decoder为本申请中的第二神经网络。该结构的神经网络能够保证风格参考图像和内容图像在从Encoder输入时的输入维度，和从Decoder输出时的输出维度是一致的，且能够避免模型训练过程中的许多无关参数。图像在Encoder-Decoder结构的神经网络中进行处理的时候，维度逐渐下降，然后再逐渐上升，能够减少参数量，防止过拟合。
另外，第一神经网络和第二神经网络均包括了多层特征提取层，也即卷积层、池化(Pooling)层，也可以包括全连接层；可以使用空间金字塔池化层(Spatial PyramidPooling，SPP)代替第一神经网络和第二神经网络中的池化层，由于SPP能够保证自身的输出的特征向量被编码到一个固定的维度，使得任意尺寸的图像输入图像风格迁移模型进行特征向量提取时不需要进行额外的统一维度处理。较佳地，可以将第一神经网络和第二神经网络中，输入图像经过的第一个池化层用SPP代替，其他部分的池化层是否需要SPP代替可以根据实际需要确定，这里并不限定。
S104：将风格参考图像和迁移图像输入所述第一神经网络，为迁移图像提取第三特征向量。
在具体实现的时候，将所述风格参考图像和所述迁移图像输入所述第一神经网络，使用第一神经网络继续对风格参考图像和迁移图像进行特征学习，使得第一神经网络能过进一步的学习到风格参考图像中用于表征图像风格的特征，使得第一神经网络为迁移图像提取的第三特征向量进一步的受到风格参考图像的图像风格的影响。
S105：基于所述第二特征向量和所述第三特征向量，计算所述风格参考图像以及所述迁移图像之间的色调损失。
风格参考图像和迁移图像之间的色调损失，是指风格参考图像和迁移图像之间的色调差。该色调损失，能够表征迁移图像向风格参考图像迁移的程度。
由于迁移图像要保证内容图像的内容不做过多改变的前提下，图像风格为风格参考图像的图像风格，因此，为了能够保证内容图像的图像风格向风格参考图像迁移，得到迁移图像，需要通过某一个参数来衡量迁移图像和风格参考图像之间图像风格的接近程度。本申请中，采用风格参考图像和迁移图像之间的色调损失来衡量迁移图像和风格参考图像之间图像风格的接近程度。风格参考图像和迁移图像之间的色调损失越大，则迁移图像和风格参考图像之间的图像风格差别越大，风格参考图像和迁移图像之间的色调损失越小，则迁移图像和风格参考图像之间的图像风格越接近。
因此，可以为色调损失设置预设的色调损失阈值，基于该色调损失阈值对迁移图像与风格参考图像的图像风格的接近程度做出约束，首先能够加快模型训练过程的收敛速度，其次能够根据实际需要对色调损失阈值进行修改，以随时修改迁移图像与风格参考图像的图像风格的接近程度。
参见图2所示，本申请实施例还提供一种根据第二特征向量和第三特征向量，计算风格参考图像和迁移图像之间的色调损失的具体方法，该方法包括：
S201：获取第二特征向量对应的第二特征图，以及获取第三特征向量对应的第三特征图。
在具体实现的时候，第二特征向量是风格参考图像的原始特征向量的映射。第二特征向量中一个特征值，能够表征风格参考图像的原始特征向量中的多个特征值，因而能够将第二特征向量转化为对应的第二特征图。第三特征向量是迁移图像的原始特征向量的映射，第三特征向量中的一个特征值，能够表征迁移图像的原始特征向量中的多个特征值。
S202：计算第二特征图和所述第三特征图在不同颜色通道的通道损失。
具体地，参见图3所示，可以通下述步骤计算第二特征图和第三特征图在不同颜色通道的通道损失：
S301：将第二特征图和第三特征图在不同颜色通道位置对应的像素点的像素值相减，得到各个像素点在不同颜色通道分别对应的通道差值；
S302：对通道差值进行噪声消除处理；
S303：将各像素点在不同颜色通道下进行了噪声消除处理后通道差值相加，得到不同颜色通道的通道损失。
在具体实现的时候，不同格式的图像的颜色通道实际上是不一样的；例如CMYK图像默认有四个颜色通道，分别为青色通道、洋红色通道、黄色通道以及黑色通道；位图、灰度图、双色调图和索引颜色图一般只有一个颜色通道；RGB图像有三个颜色道，分别为红色(red，R)通道、绿色(Green，G)通道以及蓝色(Blue，B)通道。因此要根据不同的特征图的类型计算不同颜色通道的通道损失。
本申请以RGB图像为例对颜色通道的通道损失的计算方法加以说明。RGB图像包括三个颜色通道，R通道、G通道以及B通道；将所述第二特征图和所述第三特征图在不同颜色通道位置对应的像素点的像素值相减，就是要依次将第二特征图和第三特征图在R通道位置对应的像素点的像素值相减，将第二特征图和第三特征图在G通道位置对应的像素点的像素值相减，以及，将第二特征图和第三特征图在B通道位置对应的像素点的像素值相减。
示例一：将第二特征图和第三特征图在R通道位置对应的像素点的像素值相减；第一特征图5个像素点A、B、C、D以及E在该R通道的值分别为：235、233、232、230和240。第三特征图上与第二特征图上像素点位置分别对应的像素点A′、B′、C′、D′以及E′在R通道的值分别为：125、127、124、130、132。将第二特征图和第三特征图在R通道位置对应的像素点的像素值相减，得到的各个像素点在R通道分别对应的通道差值依次为：110、106、108、100和108。
对通道差值进行噪声消除处理，其过程为：检测各个像素点在各个通道分别对应的通道差值是否大于1，若大于1，则求像素点在该通道的通道损失求平方；若差值不大于1，则保持该像素点在该通道的通道损失不变。
例如在上述示例一中，对第二特征图的5个像素点在R通道进行噪声消除，其结果为；1102、1062、1082、1002和1082。
然后将各个像素点在R通道下进行了噪声消除处理后的通道差值相加，得到R通道的通道损失。
在上述示例一中，第一特征图在R通道的通道损失为：1102+1062+1082+1002+1082。
在得到第二特征图在不同颜色通道的通道损失后，将不同颜色通道的通道损失相加，得到色调损失。
在上述实例一中，将第一特征在R通道的通道损失、在G通道的通道损失和在B通道的通道损失相加，得到色调损失。
这里，为了计算的方便，还可以在将第二特征图和第三特征图在不同颜色通道位置对应的像素点的像素值相减之前，将第二特征图和第三特征图的像素点在不同颜色通道的像素值进行归一化。在归一化之后，再执行将第二特征图和第三特征图在不同颜色通道位置对应的像素点的像素值相减的操作。
在将第二特征图和第三特征图的像素点在不同颜色通道的像素值进行归一化后，计算过程中所得到个颜色通道的通道损失能够更直观的表现出第二特征向量和第三特征向量分别表征的风格参考图像和迁移图像之间的风格差异。
参见图4所示，本申请实施例还提供另外一种根据第二特征向量和第三特征向量，计算风格参考图像和迁移图像之间的色调损失的具体方法，该方法包括：
S401：根据第二特征向量，计算第二特征向量对应的第二特征图上各像素点在不同颜色通道的像素值均值；
S402：根据第三特征向量，计算第三特征向量对应的第三特征图上各像素点在不同颜色通道的像素值均值；
S403：计算第二特征图中的像素点的像素值均值，和第三特征图中对应位置的像素点的像素值均值之间的均值差值，并对该均值差值进行噪声消除处理；
S404：将各个像素点对应的进行了噪声消除处理的均值差值相加，得到所述色调损失。
此处，仍然以RGB图像为例对颜色通道的色调损失的计算方法加以说明。
示例二：第二特征图包括A、D、C三个像素点，且像素点A在R、G、B三个通道上的像素值分别为：255,167,220；像素点D在R、G、B三个通道上的像素值分别为250，162,221；像素点C在R、G、B三个通道上的像素值分别为240，150,190；
则像素点A在R、G、B三个颜色通道的像素均值为：(255+167+220)/3＝214；
像素点B在R、G、B三个颜色通道的像素均值为：(250+162+221)/3＝211；
像素点C在R、G、B三个颜色通道的像素均值为：(240+150+190)/3＝193。
假设第三特征图中与计算像素点A、B、C三个像素点位置对应的像素点依次为：A′、B′、C′，且像素点A′在R、G、B三个颜色通道的像素均值为230，像素点B′在R、G、B三个颜色通道的像素均值为202，像素点C′在R、G、B三个颜色通道的像素均值为188，则
则第二特征图和第三特征图中对应位置的像素点之间的均值差值分别为：214-230,211-202,193-188，也即分别为：16、9、5。
对该均值差值进行噪声消除处理，也即将三个均值差值平方后求和，得到的色调损失为：162+92+52＝362。
S106：根据所述色调损失，对第一神经网络进行训练。
具体地，可以通过执行下述色调比对操作，直至色调损失小于预设的色调损失阈值，来实现对第一神经网路进行训练。
参见图5所示，色调比对操作包括：
S501：比对色调损失是否小于预设的色调损失阈值；若否，则执行S502；若是，则结束本轮对第一神经网络进行训练的步骤；
S502：调整第一神经网络的参数；
S503：使用调整了参数的第一神经网络重新为内容图像提取新的第一特征向量，并为风格参考图像提取新的第二特征向量；
S504：基于新的第一特征向量对内容图像进行还原，得到内容图像的新的迁移图像；
S505：使用调整了参数的第一神经网络为新的迁移图像提取新的第三特征向量；
S506：基于新的第二特征向量和新的第三特征向量，计算风格参考图像和新的迁移图像之间的色调损失；并再次执行色调比对操作。
本申请实施例通过使用第一神经网络对风格参考图像和内容图像进行特征学习，提取内容图像的第一特征向量，并提取内容图像的第二特征向量后，基于第一特征向量对内容图像进行还原得到内容图像的迁移图像，然后使用第一神经网络为迁移图像提取第三特征向量，并基于第二特征向量和第三特征向量计算风格参考图像和迁移图像之间的色调损失，根据该色调损失，通过基于色调损失的约束条件，对第一神经网络进行训练。本申请实施例通过机器学习的方式对图像进行风格迁移，与现有技术中增加滤镜的方式相比，使的图像的像素得到修改，图像本身真正实现了风格迁移，并且迁移的风格不受滤镜风格的限制，即使不存在滤镜的风格也可以实现风格迁移，并且在模型训练过程中增加了色调损失这一约束条件，该约束条件的可控性抢，基于该约束条件对模型进行训练，使得模型在训练过程中基于该约束条件控制神经网络受到风格餐卡图像的影响程度，对神经网络参数调整比较少，能够更快收敛，能够以更快的速度得到训练好的图像风格迁移模型。
参见图6所示，本申请实施例二还提供另外一种图像风格迁移模型训练方法，该方法还包括：
S601：基于第一特征向量和第三特征向量，计算内容图像和迁移图像之间的内容损失。
在具体实现的时候，第一特征向量用于和第三特征向量的内容损失，用于表征在将内容图像进行图像风格迁移后得到的迁移图像和内容图像之间的内容差异。
在对内容图像进行图像风格迁移的时候，要根据实际的迁移需求，将内容图像的风格向风格参考图像所具有的风格靠拢，但是要尽量保持内容图像的内容不变。但是由于第一神经网络会受到风格参考图像的影响，要保持内容图像的内容完全不变是不可能的，因此要使得迁移图像的内容与内容图像的内容差异在可接受范围之内。
本申请通过迁移图像和内容图像之间的内容差异来对模型训练过程进行约束，以保证在对内容图像进行图像风格迁移后，所得到的迁移图像的内容和内容图像的内容之间的差异在可接受范围之内。
具体的，参见图7所示，本申请实施例提供一种基于第一特征向量和第三特征向量计算内容图像和迁移图像之间的内容损失的具体方法，该方法包括：
S701：获取与第一特征向量对应的第一特征图的第一灰度图；以及，获取与第三特征向量对应的第三特征图的第三灰度图。
在具体实现的时候，获取第一特征向量对应的第一特征图的第一灰度图，可以采用下述过程：根据第一特征向量，获取第一特征图中各个像素点在不同颜色通道的像素值，依次将第一特征图中各像素点分别在不同颜色通道的像素值归一化，获得各像素点在不同颜色通道下的归一化像素值后，并分别将各像素点在不同颜色通道下的归一化像素值叠加，获得各像素点的灰度像素值；基于第一特征图中各个像素点的灰度像素值，获得第一灰度图，
示例三：假设第一特征图包括A、B、C三个像素点，且像素点A在R、G、B三个通道上的像素值分别为：255,167,220；像素点B在R、G、B三个通道上的像素值分别为250，162,221；像素点C在R、G、B三个通道上的像素值分别为240，150,190；
将第一特征图中各个像素点分别在不同颜色通道的像素值归一化，就是要将第一特征图中各个像素点分别在不同颜色通道的像素值除以255。
例如在该示例三中，像素点A在R、G、B三个通道上的像素值的归一化结果分别为：255/255,167/255,220/255；像素点B在R、G、B三个通道上的像素值的归一化结果分别为：250/255，162/255，221/255；像素点C在R、G、B三个通道上的像素值的归一化结果分别为：240/255,150/255,190/255。
然后将各像素点在不同颜色通道下的归一化像素值叠加，得到各像素点的灰度像素值，其中：
像素点A的灰度像素值为：
255/255+250/255+240/255＝1+0.980392+0.941176＝2.921568
像素点B的灰度像素值为：
167/255+162/255+150/255＝0.654902+0.635294+0.588235＝1.878431
像素点C的灰度像素值为：
220/255+221/255+190/255＝0.862745+0.866667+0.745098＝2.454510
第一特征图中所有像素点的灰度像素值共同构成第一灰度图。
类似的，获取第三特征向量对应的第三特征图的第三灰度图，可以采用下述过程：根据所述第三特征向量，获取所述第三特征图中各像素点分别在不同颜色通道的像素值；依次将所述第三特征图中各像素点分别在不同颜色通道的像素值归一化，获得各像素点在不同颜色通道下的归一化像素值后，并分别将各像素点在不同颜色通道下的归一化像素值叠加，获得各像素点的灰度像素值；基于所述第三特征图中各个像素点的灰度像素值，获得所述第三灰度图。
其具体过程与获取第一特征向量对应的第一特征图的第一灰度图的过程类似，在此不再赘述。
S702：计算第一灰度图以及第三灰度图之间的差异值，并将差异值作为所述内容损失。
具体地，参见图8所示，可以采用下述步骤计算第一灰度图和第三灰度图之间的差异值：
S801：依次计算第一灰度图中的像素点的灰度像素值，和第三灰度图中对应位置的像素点的灰度像素值之间的灰度差值，并对该灰度差值求平方，得到各像素点分别对应的差值平方值。
S802：对所有像素点分别对应的差值平方值求和，得到所述差异值。
具体地，在上述示例三中，第一灰度图中，三个像素点的灰度像素值分别为：2.921568、1.878431、2.454510。假设第三灰度图中与第一灰度图中像素点位置对应的三个像素点的灰度像素值分别为：2.235235、2.122152、2.256223，则对应位置的像素点之间的灰度差值分别为：
2.921568-2.235235＝0.686333；
1.878431-2.122152＝-0.243721；
2.454510-2.256223＝0.198287。
得到的像素点分别对应的差值平方值为：0.6863332、(-0.243721)2、0.1982872。
差异值为：0.6863332+(-0.243721)2+0.1982872
通过上述实施例能够基于第一特征向量和第三特征向量得到第一特征向量表征的内容图像和第三特征向量表征的迁移图像之间的内容差异，基于该内容差异后，还包括：
S602：根据内容损失和所述色调损失，对第一神经网络进行训练。
此处，通过内容损失和色调损失对第一神经网络进行训练，是要在对第一神经网络进行训练的过程中，使用内容损失和色调损失共同对第一神经网络的参数进行约束。
其中，使用色调损失对第一神经网络的参数进行约束的过程，可以参见上述图5对应的实施例，在此不再赘述。
使用内容损失对第一神经网络的参数进行约束，可以通过执行内容损失比对操作，直至内容损失小于预设的内容损失阈值。
参见图9所示，内容损失比对操作包括：
S901：比对内容损失是否小于预设的内容损失阈值；若否，则执行S902；若是，则结束本轮对第一神经网络进行训练的步骤；
S902：调整第一神经网络的参数；
S903：使用调整了参数的第一神经网络重新为内容图像提取新的第一特征向量，并为风格参考图像提取新的第二特征向量；
S904：基于新的第一特征向量对内容图像进行还原，得到内容图像的新的迁移图像；
S905：使用调整了参数的第一神经网络为新的迁移图像提取新的第三特征向量；
S906：基于新的第一特征向量和新的第三特征向量，计算内容图像和新的迁移图像之间的内容损失；并再次执行色调比对操作。
通过上述内容损失和色调损失的共同约束，使得在对内容图像进行图像风格迁移的时候，得到的迁移图像的内容不会较之内容图像作出超出预想的改变，并且迁移图像的图像风格满足用户所预想的图像风格要求。
参见图10所示，本申请实施例三还提供一种图像风格迁移方法，该方法包括：
S1001：获取待迁移图像；
S1002：将待迁移图像输入至通过本申请任一实施例所述的图像风格迁移模型训练方法得到的图像风格迁移模型中；图像风格迁移模型包括第一神经网络以及第二神经网络；
S1003：用第一神经网络为待迁移图像提取特征向量，并基于特征向量使用所述第二神经网络对所述待迁移图像进行还原，得到的待迁移图像的迁移图像。
本申请实施例通过使用第一神经网络对风格参考图像和内容图像进行特征学习，提取内容图像的第一特征向量，并提取内容图像的第二特征向量后，基于第一特征向量对内容图像进行还原得到内容图像的迁移图像，然后使用第一神经网络为迁移图像提取第三特征向量，并基于第二特征向量和第三特征向量计算风格参考图像和迁移图像之间的色调损失，根据该色调损失，通过基于色调损失的约束条件，对第一神经网络进行训练。本发明实施例通过机器学习的方式对图像进行风格迁移，与现有技术中增加滤镜的方式相比，使的图像的像素得到修改，图像本身真正实现了风格迁移，并且迁移的风格不受滤镜风格的限制，即使不存在滤镜的风格也可以实现风格迁移，并且在模型训练过程中增加了色调损失这一约束条件，该约束条件的可控性抢，基于该约束条件对模型进行训练，使得模型在训练过程中基于该约束条件控制神经网络受到风格餐卡图像的影响程度，对神经网络参数调整比较少，能够更快收敛，能够以更快的速度得到训练好的图像风格迁移模型。
基于同一发明构思，本申请实施例中还提供了与图像风格迁移模型训练方法对应的图像风格迁移模型训练装置，由于本申请实施例中的装置解决问题的原理与本申请实施例上述图像风格迁移模型训练方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
参见图11所示，本申请实施例四提供的一种图像风格迁移模型训练装置包括：
获取模块111，用于获取风格参考图像以及内容图像；
第一特征提取模块112，用于将所述风格参考图像以及所述内容图像输入第一神经网络，为所述内容图像提取第一特征向量，并为所述风格参考图像提取第二特征向量；
还原模块113，用于基于所述第一特征向量对所述内容图像进行还原，得到所述内容图像的迁移图像；
第二特征提取模块114，用于将所述风格参考图像和所述迁移图像输入所述第一神经网络，为所述迁移图像提取第三特征向量；
第一计算模块115，用于基于所述第二特征向量和所述第三特征向量，计算所述风格参考图像以及所述迁移图像之间的色调损失；
训练模块116，用于根据所述色调损失，对所述第一神经网络进行训练。
本申请实施例通过使用第一神经网络对风格参考图像和内容图像进行特征学习，提取内容图像的第一特征向量，并提取内容图像的第二特征向量后，基于第一特征向量对内容图像进行还原得到内容图像的迁移图像，然后使用第一神经网络为迁移图像提取第三特征向量，并基于第二特征向量和第三特征向量计算风格参考图像和迁移图像之间的色调损失，根据该色调损失，通过基于色调损失的约束条件，对第一神经网络进行训练。在模型训练过程中增加了色调损失这一约束条件，该约束条件的可控性抢，基于该约束条件对模型进行训练，使得模型在训练过程中基于该约束条件控制神经网络受到风格餐卡图像的影响程度，对神经网络参数调整比较少，能够更快收敛，能够以更快的速度得到训练好的图像风格迁移模型。
可选地，还原模块113具体用于：基于所述第一特征向量对所述内容图像进行还原，包括：
将所述第一特征向量输入与所述第一神经网络具有对称结构的第二神经网络对所述内容图像进行还原。
可选地，还包括第二计算模块117：用于基于所述第一特征向量和所述第三特征向量，计算所述内容图像和所述迁移图像之间的内容损失；
训练模块116，具体用于：根据所述内容损失和所述色调损失，对所述第一神经网络进行训练。
可选地，第二计算模块117具体用于使用下述步骤计算所述内容图像和所述迁移图像之间的内容损失：
获取与所述第一特征向量对应的第一特征图的第一灰度图；以及，
获取与所述第三特征向量对应的第三特征图的第三灰度图；
计算所述第一灰度图以及所述第三灰度图之间的差异值，并将所差异值作为所述内容损失。
可选地，第二计算模块117具体用于使用下述步骤获取与所述第一特征向量对应的第一特征图的第一灰度图：
根据所述第一特征向量，获取所述第一特征图中各像素点分别在不同颜色通道的像素值；
依次将所述第一特征图中各像素点分别在不同颜色通道的像素值归一化，获得各像素点在不同颜色通道下的归一化像素值后，并分别将各像素点在不同颜色通道下的归一化像素值叠加，获得各像素点的灰度像素值；
基于所述第一特征图中各个像素点的灰度像素值，获得所述第一灰度图，
以及，所述根据所述第三特征向量，获取与所述第三特征向量对应的第三特征图的灰度图，具体包括：
根据所述第三特征向量，获取所述第三特征图中各像素点分别在不同颜色通道的像素值；
依次将所述第三特征图中各像素点分别在不同颜色通道的像素值归一化，获得各像素点在不同颜色通道下的归一化像素值后，并分别将各像素点在不同颜色通道下的归一化像素值叠加，获得各像素点的灰度像素值；
基于所述第三特征图中各个像素点的灰度像素值，获得所述第三灰度图。
可选地，第二计算模块117具体用于使用下述步骤计算所述第一灰度图以及所述第三灰度图之间的差异：
依次计算所述第一灰度图中的像素点的灰度像素值，和所述第三灰度图中对应位置的像素点的灰度像素值之间的灰度差值，并对该灰度差值求平方，得到各像素点分别对应的差值平方值；
对所有像素点分别对应的差值平方值求和，得到所述差异值。
可选地，第一计算模块115，具体用于：根据所述第二特征向量，计算所述第二特征向量对应的第二特征图上各像素点在所有颜色通道的像素值均值；
根据所述第三特征向量，计算所述第三特征向量对应的第三特征图上各像素点在所有颜色通道的像素值均值；
计算所述第二特征图中的像素点的像素值均值，和所述第三特征图中对应位置的像素点的像素值均值之间的均值差值，并对该均值差值进行噪声消除处理；
将各个像素点对应的进行了噪声消除处理的均值差值相加，得到所述色调损失。
可选地，第一计算模块115，具体用于：获取所述第二特征向量对应的第二特征图，以及获取所述第三特征向量对应的第三特征图；
计算所述第二特征图和所述第三特征图在不同颜色通道的通道损失；
将不同颜色通道的通道损失相加，获得所述色调损失。
可选地，第一计算模块115，用于根据下述步骤计算第二特征图和第三特征图在不同颜色通道的通道损失：
将所述第二特征图和所述第三特征图在不同颜色通道位置对应的像素点的像素值相减，得到各个像素点在不同颜色通道分别对应的通道差值；
对所述通道差值进行噪声消除处理；
将各像素点在不同颜色通道下进行了噪声消除处理后通道差值相加，得到不同颜色通道的通道损失。
参见图12所示，本申请实施例五还提供一种图像风格迁移装置，包括：
待迁移图像获取模块121，用于获取待迁移图像；
输入模块122，用于将所述待迁移图像输入至通过本申请任一实施例所述的图像风格迁移模型训练方法得到的图像风格迁移模型中；图像风格迁移模型包括第一神经网络以及第二神经网络；
迁移模块123，使用第一神经网络为待迁移图像提取特征向量，并基于所述特征向量使用所述第二神经网络对所述待迁移图像进行还原，得到的所述待迁移图像的迁移图像。
对应于图1中的图像风格迁移模型训练方法，本申请实施例还提供了一种计算机设备，如图13所示，该设备包括存储器1000、处理器2000及存储在该存储器1000上并可在该处理器2000上运行的计算机程序，其中，上述处理器2000执行上述计算机程序时实现上述图像风格迁移模型训练方法的步骤。
具体地，上述存储器1000和处理器2000能够为通用的存储器和处理器，这里不做具体限定，当处理器2000运行存储器1000存储的计算机程序时，能够执行上述图像风格迁移模型训练方法，从而神经网络受到风格参考图像的影响程度可控性差，为了让迁移图像呈现用户想要的风格，需要对神经网络的参数进行反复调整，模型训练过程收敛速度慢，导致模型需要较长的时间才能够训练好的问题，进而达到在模型训练过程中增加了可控的约束条件，基于该约束条件对模型进行训练，使得模型在训练过程中基于该约束条件控制神经网络受到风格餐卡图像的影响程度，对神经网络参数调整比较少，能够更快收敛，能够以更快的速度得到训练好的图像风格迁移模型的效果。
对应于图1中的图像风格迁移模型训练方法，本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述图像风格迁移模型训练方法的步骤。
具体地，该存储介质能够为通用的存储介质，如移动磁盘、硬盘等，该存储介质上的计算机程序被运行时，能够执行上述图像风格迁移模型训练方法，从而神经网络受到风格参考图像的影响程度可控性差，为了让迁移图像呈现用户想要的风格，需要对神经网络的参数进行反复调整，模型训练过程收敛速度慢，导致模型需要较长的时间才能够训练好的问题，进而达到在模型训练过程中增加了可控的约束条件，基于该约束条件对模型进行训练，使得模型在训练过程中基于该约束条件控制神经网络受到风格餐卡图像的影响程度，对神经网络参数调整比较少，能够更快收敛，能够以更快的速度得到训练好的图像风格迁移模型的效果。
本申请实施例所提供的图像风格迁移模型训练方法以及图像风格迁移方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种图像风格迁移模型训练方法，其特征在于，包括：
获取风格参考图像以及内容图像；
将所述风格参考图像以及所述内容图像输入第一神经网络，为所述内容图像提取第一特征向量，并为所述风格参考图像提取第二特征向量；
基于所述第一特征向量对所述内容图像进行还原，得到所述内容图像的迁移图像；
将所述风格参考图像和所述迁移图像输入所述第一神经网络，为所述迁移图像提取第三特征向量；
基于所述第二特征向量和所述第三特征向量，计算所述风格参考图像以及所述迁移图像之间的色调损失；
根据所述色调损失，对所述第一神经网络进行训练。
2.根据权利要求1所述的方法，其特征在于，基于所述第一特征向量对所述内容图像进行还原，包括：
将所述第一特征向量输入与所述第一神经网络具有对称结构的第二神经网络对所述内容图像进行还原。
3.根据权利要求1所述的方法，其特征在于，还包括：
基于所述第一特征向量和所述第三特征向量，计算所述内容图像和所述迁移图像之间的内容损失；
根据所述色调损失，对所述第一神经网络进行训练，包括：
根据所述内容损失和所述色调损失，对所述第一神经网络进行训练。
4.根据权利要求3所述的方法，其特征在于，所述基于所述第一特征向量和所述第三特征向量，计算所述内容图像和所述迁移图像之间的内容损失，具体包括：
获取与所述第一特征向量对应的第一特征图的第一灰度图；以及，
获取与所述第三特征向量对应的第三特征图的第三灰度图；
计算所述第一灰度图以及所述第三灰度图之间的差异值，并将所差异值作为所述内容损失。
5.根据权利要求4所述的方法，其特征在于，所述根据所述第一特征向量，获取与所述第一特征向量对应的第一特征图的第一灰度图，具体包括：
根据所述第一特征向量，获取所述第一特征图中各像素点分别在不同颜色通道的像素值；
依次将所述第一特征图中各像素点分别在不同颜色通道的像素值归一化，获得各像素点在不同颜色通道下的归一化像素值后，并分别将各像素点在不同颜色通道下的归一化像素值叠加，获得各像素点的灰度像素值；
基于所述第一特征图中各个像素点的灰度像素值，获得所述第一灰度图，
以及，所述根据所述第三特征向量，获取与所述第三特征向量对应的第三特征图的灰度图，具体包括：
根据所述第三特征向量，获取所述第三特征图中各像素点分别在不同颜色通道的像素值；
依次将所述第三特征图中各像素点分别在不同颜色通道的像素值归一化，获得各像素点在不同颜色通道下的归一化像素值后，并分别将各像素点在不同颜色通道下的归一化像素值叠加，获得各像素点的灰度像素值；
基于所述第三特征图中各个像素点的灰度像素值，获得所述第三灰度图。
6.根据权利要求5所述的方法，其特征在于，所述计算所述第一灰度图以及所述第三灰度图之间的差异，具体包括：
依次计算所述第一灰度图中的像素点的灰度像素值，和所述第三灰度图中对应位置的像素点的灰度像素值之间的灰度差值，并对该灰度差值求平方，得到各像素点分别对应的差值平方值；
对所有像素点分别对应的差值平方值求和，得到所述差异值。
7.根据权利要求1所述的方法，其特征在于，所述根据所述第二特征向量和所述第三特征向量，计算所述风格参考图像以及所述迁移图像之间的色调损失，具体包括：
根据所述第二特征向量，计算所述第二特征向量对应的第二特征图上各像素点在所有颜色通道的像素值均值；
根据所述第三特征向量，计算所述第三特征向量对应的第三特征图上各像素点在所有颜色通道的像素值均值；
计算所述第二特征图中的像素点的像素值均值，和所述第三特征图中对应位置的像素点的像素值均值之间的均值差值，并对该均值差值进行噪声消除处理；
将各个像素点对应的进行了噪声消除处理的均值差值相加，得到所述色调损失。
8.根据权利要求1所述的方法，其特征在于，所述根据所述第二特征向量和所述第三特征向量，计算所述风格参考图像以及所述迁移图像之间的色调损失，具体包括：
获取所述第二特征向量对应的第二特征图，以及获取所述第三特征向量对应的第三特征图；
计算所述第二特征图和所述第三特征图在不同颜色通道的通道损失；
将不同颜色通道的通道损失相加，获得所述色调损失。
9.根据权利要求8所述的方法，其特征在于，所述计算所述第二特征图和所述第三特征图在不同颜色通道的通道损失，具体包括：
将所述第二特征图和所述第三特征图在不同颜色通道位置对应的像素点的像素值相减，得到各个像素点在不同颜色通道分别对应的通道差值；
对所述通道差值进行噪声消除处理；
将各像素点在不同颜色通道下进行了噪声消除处理后通道差值相加，得到不同颜色通道的通道损失。
10.一种图像风格迁移方法，其特征在于，该方法包括：
获取待迁移图像；
将所述待迁移图像输入至通过权利要求1-9任意一项所述的图像风格迁移模型训练方法得到的图像风格迁移模型中；所述图像风格迁移模型包括第一神经网络以及第二神经网络；
所用所述第一神经网络为所述待迁移图像提取特征向量，并基于所述特征向量使用所述第二神经网络对所述待迁移图像进行还原，得到的所述待迁移图像的迁移图像。
CN201810404755.6A 2018-04-28 2018-04-28 一种图像风格迁移模型训练方法以及图像风格迁移方法 Active CN108596830B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810404755.6A CN108596830B (zh) 2018-04-28 2018-04-28 一种图像风格迁移模型训练方法以及图像风格迁移方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810404755.6A CN108596830B (zh) 2018-04-28 2018-04-28 一种图像风格迁移模型训练方法以及图像风格迁移方法

Publications (2)

Publication Number Publication Date
CN108596830A true CN108596830A (zh) 2018-09-28
CN108596830B CN108596830B (zh) 2022-04-22

Family

ID=63620153

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810404755.6A Active CN108596830B (zh) 2018-04-28 2018-04-28 一种图像风格迁移模型训练方法以及图像风格迁移方法

Country Status (1)

Country Link
CN (1) CN108596830B (zh)

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109166087A (zh) * 2018-09-29 2019-01-08 上海联影医疗科技有限公司 医学图像的风格转换方法、装置、医学设备、影像系统及存储介质
CN109255390A (zh) * 2018-09-30 2019-01-22 京东方科技集团股份有限公司 训练图像的预处理方法及模块、鉴别器、可读存储介质
CN109272568A (zh) * 2018-10-10 2019-01-25 南京大学 一种采用基元发现的人脸风格图像处理方法
CN109376830A (zh) * 2018-10-17 2019-02-22 京东方科技集团股份有限公司 二维码生成方法及装置
CN109712093A (zh) * 2018-12-21 2019-05-03 中国电子科技集团公司第三研究所 一种基于海天背景的图像颜色还原方法及装置
CN109859096A (zh) * 2018-12-28 2019-06-07 北京达佳互联信息技术有限公司 图像风格迁移方法、装置、电子设备及存储介质
CN109949214A (zh) * 2019-03-26 2019-06-28 湖北工业大学 一种图像风格迁移方法及系统
CN110097604A (zh) * 2019-05-09 2019-08-06 杭州筑象数字科技有限公司 图像颜色风格转移方法
CN110197459A (zh) * 2019-05-15 2019-09-03 北京字节跳动网络技术有限公司 图像风格化生成方法、装置及电子设备
CN110880016A (zh) * 2019-10-18 2020-03-13 平安科技（深圳）有限公司 图像风格迁移方法、装置、设备及存储介质
WO2020062846A1 (en) * 2018-09-30 2020-04-02 Boe Technology Group Co., Ltd. Apparatus and method for image processing, and system for training neural network
CN110956654A (zh) * 2019-12-02 2020-04-03 Oppo广东移动通信有限公司 图像处理方法、装置、设备及存储介质
CN111127309A (zh) * 2019-12-12 2020-05-08 杭州格像科技有限公司 肖像风格迁移模型训练方法、肖像风格迁移方法以及装置
CN111161132A (zh) * 2019-11-15 2020-05-15 上海联影智能医疗科技有限公司 用于图像风格转换的系统和方法
CN111340745A (zh) * 2020-03-27 2020-06-26 成都安易迅科技有限公司 一种图像生成方法、装置、存储介质及电子设备
CN111583352A (zh) * 2020-04-24 2020-08-25 天津大学 一种用于移动终端的风格化图标智能生成方法
CN112819715A (zh) * 2021-01-29 2021-05-18 北京百度网讯科技有限公司 数据还原方法、网络训练方法、相关装置及电子设备
CN113554047A (zh) * 2020-04-24 2021-10-26 京东方科技集团股份有限公司 图像处理模型的训练方法、图像处理方法及对应的装置
CN114266943A (zh) * 2021-12-28 2022-04-01 中移（杭州）信息技术有限公司 图像风格迁移方法、装置、设备及存储介质
CN114663428A (zh) * 2022-05-16 2022-06-24 网思科技股份有限公司 基于人工智能的物体表面异常检测方法、装置及相关设备
US20230156349A1 (en) * 2020-02-10 2023-05-18 Samsung Electronics Co., Ltd. Method for generating image and electronic device therefor
CN117710373A (zh) * 2024-02-05 2024-03-15 中国科学院宁波材料技术与工程研究所 一种抗干扰的octa视网膜血管提取方法和装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106408595A (zh) * 2016-08-31 2017-02-15 上海交通大学 一种基于神经网络画风学习的图像渲染方法
CN106651766A (zh) * 2016-12-30 2017-05-10 深圳市唯特视科技有限公司 一种基于深度卷积神经网络的图像风格迁移方法
CN107180410A (zh) * 2017-04-11 2017-09-19 中国农业大学 一种图像的风格化重建方法及装置
GB201715568D0 (en) * 2016-11-28 2017-11-08 Adobe Systems Inc Facilitating sketch to painting transformations
CN107705242A (zh) * 2017-07-20 2018-02-16 广东工业大学 一种结合深度学习与深度感知的图像风格化迁移方法
CN107767328A (zh) * 2017-10-13 2018-03-06 上海交通大学 基于少量样本生成的任意风格和内容的迁移方法和系统
US20180068463A1 (en) * 2016-09-02 2018-03-08 Artomatix Ltd. Systems and Methods for Providing Convolutional Neural Network Based Image Synthesis Using Stable and Controllable Parametric Models, a Multiscale Synthesis Framework and Novel Network Architectures
US20180075581A1 (en) * 2016-09-15 2018-03-15 Twitter, Inc. Super resolution using a generative adversarial network
US20180082407A1 (en) * 2016-09-22 2018-03-22 Apple Inc. Style transfer-based image content correction
WO2018075927A1 (en) * 2016-10-21 2018-04-26 Google Llc Stylizing input images

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106408595A (zh) * 2016-08-31 2017-02-15 上海交通大学 一种基于神经网络画风学习的图像渲染方法
US20180068463A1 (en) * 2016-09-02 2018-03-08 Artomatix Ltd. Systems and Methods for Providing Convolutional Neural Network Based Image Synthesis Using Stable and Controllable Parametric Models, a Multiscale Synthesis Framework and Novel Network Architectures
US20180075581A1 (en) * 2016-09-15 2018-03-15 Twitter, Inc. Super resolution using a generative adversarial network
US20180082407A1 (en) * 2016-09-22 2018-03-22 Apple Inc. Style transfer-based image content correction
WO2018075927A1 (en) * 2016-10-21 2018-04-26 Google Llc Stylizing input images
GB201715568D0 (en) * 2016-11-28 2017-11-08 Adobe Systems Inc Facilitating sketch to painting transformations
CN106651766A (zh) * 2016-12-30 2017-05-10 深圳市唯特视科技有限公司 一种基于深度卷积神经网络的图像风格迁移方法
CN107180410A (zh) * 2017-04-11 2017-09-19 中国农业大学 一种图像的风格化重建方法及装置
CN107705242A (zh) * 2017-07-20 2018-02-16 广东工业大学 一种结合深度学习与深度感知的图像风格化迁移方法
CN107767328A (zh) * 2017-10-13 2018-03-06 上海交通大学 基于少量样本生成的任意风格和内容的迁移方法和系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
GATYS L A 等: "Image style transfer using convolutional neural networks", 《IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION(CVPR)》 *
ZHU J Y等: "Unpaired image-to-image translation using cycle-consistent adversarial networks", 《IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION》 *
栾五洋: "基于深度学习的图像风格转换浅论", 《数字通信世界》 *
谢志峰等: "基于字典学习的HDR照片风格转移方法", 《图学学报》 *

Cited By (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109166087A (zh) * 2018-09-29 2019-01-08 上海联影医疗科技有限公司 医学图像的风格转换方法、装置、医学设备、影像系统及存储介质
US11449751B2 (en) 2018-09-30 2022-09-20 Boe Technology Group Co., Ltd. Training method for generative adversarial network, image processing method, device and storage medium
CN109255390A (zh) * 2018-09-30 2019-01-22 京东方科技集团股份有限公司 训练图像的预处理方法及模块、鉴别器、可读存储介质
US11348005B2 (en) 2018-09-30 2022-05-31 Boe Technology Group Co., Ltd. Apparatus, method, and computer-readable medium for image processing, and system for training a neural network
US11615505B2 (en) 2018-09-30 2023-03-28 Boe Technology Group Co., Ltd. Apparatus and method for image processing, and system for training neural network
US11361222B2 (en) 2018-09-30 2022-06-14 Boe Technology Group Co., Ltd. System, method, and computer-readable medium for image classification
CN109255390B (zh) * 2018-09-30 2021-01-29 京东方科技集团股份有限公司 训练图像的预处理方法及模块、鉴别器、可读存储介质
RU2762144C1 (ru) * 2018-09-30 2021-12-16 Боэ Текнолоджи Груп Ко., Лтд. Устройство и способ для обработки изображения и система для обучения нейроной сети
WO2020062846A1 (en) * 2018-09-30 2020-04-02 Boe Technology Group Co., Ltd. Apparatus and method for image processing, and system for training neural network
CN109272568A (zh) * 2018-10-10 2019-01-25 南京大学 一种采用基元发现的人脸风格图像处理方法
CN109272568B (zh) * 2018-10-10 2020-07-17 南京大学 一种采用基元发现的人脸风格图像处理方法
CN109376830B (zh) * 2018-10-17 2022-01-11 京东方科技集团股份有限公司 二维码生成方法及装置
US11164059B2 (en) 2018-10-17 2021-11-02 Boe Technology Group Co., Ltd. Two-dimensional code image generation method and apparatus, storage medium and electronic device
CN109376830A (zh) * 2018-10-17 2019-02-22 京东方科技集团股份有限公司 二维码生成方法及装置
CN109712093A (zh) * 2018-12-21 2019-05-03 中国电子科技集团公司第三研究所 一种基于海天背景的图像颜色还原方法及装置
CN109859096A (zh) * 2018-12-28 2019-06-07 北京达佳互联信息技术有限公司 图像风格迁移方法、装置、电子设备及存储介质
CN109949214A (zh) * 2019-03-26 2019-06-28 湖北工业大学 一种图像风格迁移方法及系统
CN110097604B (zh) * 2019-05-09 2021-05-11 杭州筑象数字科技有限公司 图像颜色风格转移方法
CN110097604A (zh) * 2019-05-09 2019-08-06 杭州筑象数字科技有限公司 图像颜色风格转移方法
CN110197459A (zh) * 2019-05-15 2019-09-03 北京字节跳动网络技术有限公司 图像风格化生成方法、装置及电子设备
CN110880016B (zh) * 2019-10-18 2022-07-15 平安科技（深圳）有限公司 图像风格迁移方法、装置、设备及存储介质
CN110880016A (zh) * 2019-10-18 2020-03-13 平安科技（深圳）有限公司 图像风格迁移方法、装置、设备及存储介质
CN111161132B (zh) * 2019-11-15 2024-03-05 上海联影智能医疗科技有限公司 用于图像风格转换的系统和方法
CN111161132A (zh) * 2019-11-15 2020-05-15 上海联影智能医疗科技有限公司 用于图像风格转换的系统和方法
CN110956654B (zh) * 2019-12-02 2023-09-19 Oppo广东移动通信有限公司 图像处理方法、装置、设备及存储介质
CN110956654A (zh) * 2019-12-02 2020-04-03 Oppo广东移动通信有限公司 图像处理方法、装置、设备及存储介质
CN111127309B (zh) * 2019-12-12 2023-08-11 杭州格像科技有限公司 肖像风格迁移模型训练方法、肖像风格迁移方法以及装置
CN111127309A (zh) * 2019-12-12 2020-05-08 杭州格像科技有限公司 肖像风格迁移模型训练方法、肖像风格迁移方法以及装置
US20230156349A1 (en) * 2020-02-10 2023-05-18 Samsung Electronics Co., Ltd. Method for generating image and electronic device therefor
CN111340745A (zh) * 2020-03-27 2020-06-26 成都安易迅科技有限公司 一种图像生成方法、装置、存储介质及电子设备
CN113554047A (zh) * 2020-04-24 2021-10-26 京东方科技集团股份有限公司 图像处理模型的训练方法、图像处理方法及对应的装置
WO2021213188A1 (zh) * 2020-04-24 2021-10-28 京东方科技集团股份有限公司 图像处理模型的训练方法、图像处理方法及对应的装置
CN111583352B (zh) * 2020-04-24 2023-10-13 天津大学 一种用于移动终端的风格化图标智能生成方法
CN111583352A (zh) * 2020-04-24 2020-08-25 天津大学 一种用于移动终端的风格化图标智能生成方法
CN112819715A (zh) * 2021-01-29 2021-05-18 北京百度网讯科技有限公司 数据还原方法、网络训练方法、相关装置及电子设备
CN112819715B (zh) * 2021-01-29 2024-04-05 北京百度网讯科技有限公司 数据还原方法、网络训练方法、相关装置及电子设备
CN114266943A (zh) * 2021-12-28 2022-04-01 中移（杭州）信息技术有限公司 图像风格迁移方法、装置、设备及存储介质
CN114663428B (zh) * 2022-05-16 2022-09-02 网思科技股份有限公司 基于人工智能的物体表面异常检测方法、装置及相关设备
CN114663428A (zh) * 2022-05-16 2022-06-24 网思科技股份有限公司 基于人工智能的物体表面异常检测方法、装置及相关设备
CN117710373A (zh) * 2024-02-05 2024-03-15 中国科学院宁波材料技术与工程研究所 一种抗干扰的octa视网膜血管提取方法和装置
CN117710373B (zh) * 2024-02-05 2024-06-04 中国科学院宁波材料技术与工程研究所 一种抗干扰的octa视网膜血管提取方法和装置

Also Published As

Publication number Publication date
CN108596830B (zh) 2022-04-22

Similar Documents

Publication Publication Date Title
CN108596830A (zh) 一种图像风格迁移模型训练方法以及图像风格迁移方法
Niklaus et al. Video frame interpolation via adaptive convolution
TWI742690B (zh) 人體檢測方法、裝置、電腦設備及儲存媒體
KR102281017B1 (ko) 이미지 처리를 위한 신경망 모델 훈련 방법, 장치 및 저장 매체
Funt et al. Retinex in MATLAB™
Shi et al. Total variation image restoration using hyper-Laplacian prior with overlapping group sparsity
Hwang et al. Image colorization with deep convolutional neural networks
KR20200014842A (ko) 이미지 조명 방법, 장치, 전자 기기 및 저장 매체
EP2525561B1 (en) Data-generating device, data-generating method, data-generating program, and recording medium
CN110738609A (zh) 一种去除图像摩尔纹的方法及装置
CN108921220A (zh) 图像复原模型训练方法、装置及图像复原方法和装置
Cheng et al. Zero-shot image super-resolution with depth guided internal degradation learning
CN106485199A (zh) 一种车身颜色识别的方法及装置
CN106709872B (zh) 一种快速图像超分辨率重构方法
WO2013106984A1 (en) Learning painting styles for painterly rendering
CN108154487A (zh) 基于多通道分解的屏摄图像摩尔纹消除方法
CN108734668B (zh) 图像色彩恢复方法、装置、计算机可读存储介质及终端
CN113723385A (zh) 视频处理方法及装置、神经网络的训练方法及装置
JP7463186B2 (ja) 情報処理装置、情報処理方法及びプログラム
Lee et al. Correction of the overexposed region in digital color image
CN115082328A (zh) 用于图像校正的方法和设备
CN110580696A (zh) 一种细节保持的多曝光图像快速融合方法
Koo Automatic colorization with deep convolutional generative adversarial networks
Brown et al. Autogeneration of fractal photographic mosaic images
US20170274285A1 (en) Method and apparatus for automating the creation of a puzzle pix playable on a computational device from a photograph or drawing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 101-8, 1st floor, building 31, area 1, 188 South Fourth Ring Road West, Fengtai District, Beijing

Applicant after: Guoxin Youyi Data Co., Ltd

Address before: 100070, No. 188, building 31, headquarters square, South Fourth Ring Road West, Fengtai District, Beijing

Applicant before: SIC YOUE DATA Co.,Ltd.

GR01 Patent grant
GR01 Patent grant