CN110111291A - 基于局部和全局优化融合图像卷积神经网络风格迁移方法 - Google Patents
基于局部和全局优化融合图像卷积神经网络风格迁移方法 Download PDFInfo
- Publication number
- CN110111291A CN110111291A CN201910388700.5A CN201910388700A CN110111291A CN 110111291 A CN110111291 A CN 110111291A CN 201910388700 A CN201910388700 A CN 201910388700A CN 110111291 A CN110111291 A CN 110111291A
- Authority
- CN
- China
- Prior art keywords
- image
- style
- loss function
- style transfer
- convolutional neural
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000012546 transfer Methods 0.000 title claims abstract description 62
- 238000005457 optimization Methods 0.000 title claims abstract description 40
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 30
- 238000002156 mixing Methods 0.000 title claims abstract description 15
- 238000011478 gradient descent method Methods 0.000 claims abstract description 10
- 238000003062 neural network model Methods 0.000 claims description 15
- 238000000605 extraction Methods 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000005484 gravity Effects 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 239000000284 extract Substances 0.000 abstract description 7
- 230000004927 fusion Effects 0.000 abstract 1
- 230000006870 function Effects 0.000 description 34
- 230000005012 migration Effects 0.000 description 4
- 238000013508 migration Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000001537 neural effect Effects 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于局部和全局优化融合图像卷积神经网络风格迁移方法，首先选定需转换的内容图像和风格图像，采用深度卷积神经网络VGG‑19作为图像高级风格特征提取基础模型。然后在VGG‑19模型中挑选局部优化内容约束层和风格约束层，建立新的网络模型F1，并定义基于局部优化的图像风格迁移损失函数；然后在VGG‑19模型中选择全局优化风格约束层，建立新的网络模型F2，然后把图像风格迁移局部优化损失函数和图像风格迁移全局优化损失函数进行线性融合得到总的损失函数。最后初始化一张噪声图像，依据图像风格迁移损失函数，采用网络模型F1、F2分别提取内容图像和风格图像和特征图，利用梯度下降法，经多次迭代最小化损失函数，最后生成风格迁移结果图像。
Description
技术领域
本发明涉及深度学习技术领域，具体为基于局部和全局优化融合图像卷积神经网络风格迁移方法。
背景技术
将一幅图像的风格转移到另外一幅图像上被认为是一个图像纹理风格转移问题。在图像纹理风格转移中，目标是利用一幅图像(风格图像)提供纹理风格，另一幅图像提供内容(内容图像)，要求合成的图像即有风格图像的纹理风格，但需要保留内容图像的语义内容。
对于纹理合成，有大量强有力的非参数方法，其中使用CNN将一张图片的语义内容与不同风格融合起来的过程被称为神经风格迁移(Neural Style Transfer)，Gatys等人在CVPR2016(国际地模式识别大会)上的一篇口头报告文章“image Style Transfer UsingConvolutional Neural Networks”证实了卷积神经网络(CNN)的在图像风格迁移中表现出惊人的能力，基于神经网络的风格迁移方法，可以从图像中学习提取高层语义信息，实现对包括纹理识别和艺术风格分离。
目前，基于神经网络的风格迁移方法按，依据优化图像的方式不同，在线图像优化方法又可细分为全局特征优化和局部特征优化两大类，区别在于前都把神网络模型中的特征图(feature maps)作为优化目标，而后者是把每个特征图分割成块(local pacth)进行优化。它们基本思想是分别从内容和风格图像中提取内容和风格特征，并将这两个特征重新组合成为目标图像，之后在线迭代地重建目标图像，依据是生成图像与内容和风格图像之间的差异。对于内容图像和风格图像，定义损失函数，然后在线优化的目标是最小化损失函数。与基于全局特征优化的风格迁移方法相比，基于局部特征优化的方法更加灵活，能够更好地处理视觉样式或元素在图像中发生变化的情况。然而，当存在局部匹配错误时，它们也可能产生严重的错误。与基于局部特征优化方法的方法相比，全局特征优化方法可以更好地保留风格图像的结构和颜色，而细节风格可能无法完全捕获。
发明内容
本发明的目的在于提供基于局部和全局优化融合图像卷积神经网络风格迁移方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：基于局部和全局优化融合图像卷积神经网络风格迁移方法,包括以下步骤：
步骤1，选取一张需要进行风格迁移的内容图像和一张作为风格来源的风格图像；
步骤2，采用深度卷积神经网络VGG-19作为图像高级特征提取原始模型，并以relu5_3为内容约束特征提取层，以relu3_1和relu4_1为风格局部约束特征提取层；提取relu5_1，relu3_1和relu4_1生成一个新的神经网络模型F1，用于对图像风格迁移的局部优化；
步骤3，从VGG-19模型中，选取relu2_1，relu3_1和relu4_1为风格全局约束特征提取层；生成一个新的深神经网络模型F2，用于对图像风格迁移的全局优化；
步骤4，随机生成高斯噪声图像为初始化新图像；
步骤5，根据内容图像的尺寸大小来调整初始化新图像的尺寸；
步骤6，将风格图像和初始化的新图像输入到卷积神经网络模型F1中，再利用马尔可夫随机场，利用局部风格约束层上的特征图，计算局部风格约束层损失函数；
步骤7，将内容图像和初始化新图像输入到卷积神经网络模型F1中，利用马尔可夫随机场模型，在神经网络模型F1中在内容约束层上，计算的内容约束损失函数；
步骤8，将风格图像和初始化的新图像输入到卷积神经网络模型F2中，利用全局风格约束层上的特征图，计算全局风格约束层损失函数；
步骤9，综合步骤6，步骤7和步骤8的结果，得到总的损失函数，
步骤10，采用基于梯度下降法的优化算法生成图像风格迁移结果，即采用梯度下降法，通过迭代计算生成风格迁移图像的梯度，并利用总的损失函数，沿负梯度方向逼近原内容图像和风格图像，以让每次迭代生成的风格迁移图像尽可能地分别与原内容图像和风格图像相似；
步骤11，重复步骤6-10进行100次迭代，再调整内容图像的大小，重复步骤5-10进行3次迭代，输出最终的图像风格迁移图像。
优选的，所述的步骤5中，将初始化新图像的大小设置为其中wc，hc分别为内容图像的长和宽，L为调整图像大小的参数，每次迭代L分别取3、2、1。
优选的，所述的步骤6中，局部风格约束层损失函数为：
其中，φ(x)为x的特征图，i表示第i个，j表示第j个,将φ(x)按r*r大小的局部块即local patch进行分割，每个local patch即Φ(φ(x))，将φ(x)分割生成p1个localpatch，表示风格图像，R表示实数集，ws，hs分别为风格图像的长和宽，其中R表示实数集，wc，hc分别为内容图像的长和宽；
Φi(φ(x))表示Φ(φ(x))中的第i个local patch，而ΦTT(i)(φ(xs))表示Ψ(Φ(xs))中与Φi(φ(x))最匹配的一个local patch；其中，local patch选取规则定义为
优选的，所述的步骤7中，内容约束损失函数为
Ec(φ(x),φ(xc))＝||φ(x)-φ(xc)||2。
优选的，所述的步骤8中，全局风格约束损失函数为
其中w为每一层在重构误差中的比重，取值范围为w∈[0,1]。Nl表示在第l层中，特征图的个数。Sl表示在第l层中，特征图的面积。表示在第l层中第i个特征图，Ψ为gram矩阵，其中表示和内积，因此，Ψl为表示第l层中所有特征图φ(x)两两相互内积之和。
优选的，所述的步骤9中，总的损失函数为
E(x)＝α1Elocal(Φ(x),Φ(xs))+α2Eglobal(Φ(x),Φ(xs))+α3Ec(Φ(x),Φ(xc))
其中α1，α2和α3分别为用于调节生成图像中包含的原内容图像和风格图像的强度的调节参数，取值范围为α1∈[10-5,10-3]，α2∈[0,100]，α3∈[0,100]。
优选的，所述的步骤10中，所述的基于梯度下降法的优化算法包括以下步骤：
(1)初始化，迭代参数i＝0，j＝m，定义矩阵H并初始化为元素都为1的对角矩阵，允许误差ε＝10-5，利用神经网络模型F1，把x0作为输入，调用网络模型反向函数，计算梯度利用神经网络模型F2，把x0作为输入，调用网络模型反向函数，得到梯度得到初始梯度x0为步骤4中随机生成的高斯噪声图像；
(2)如果i<＝itr或者如果则输出第i次迭代结果xi+1，并结束优化算法；否则转步骤(3)；其中itr为最高迭代次数；
(3)定义pi为第i次迭代的负梯度方向pi＝-gi；
(4)更新第i次迭代的结果，xi+1＝xi+pi；
(5)定义si为上一步的结果xi和本次迭代的结果误差，即si＝xi+1-xi，定义yi为上一步的结果梯度的和本次迭代结果的梯度误差，即定义其中T表示矩阵转制；
(6)更新
(7)定义变量q为xi的梯度
(8)j＝1迭代计算
取更新q,q＝q-aiyi-j，直到j＝m，m为预设的迭代次数；
(9)更新gi,gi＝Hiq；
(10)j＝1迭代计算
取，更新gi，gi＝gi+si-j(aj-b)，直到j＝m
(11)更新迭代步骤，i＝i+1,跳转到步骤(2)。
优选的，在执行步骤(5)后，还包括保留最近m次的结果的步骤，如果i>m，则删除si-m、si-m-1...s1和yi-m、yi-m-1...y1。
与现有技术相比，本发明的有益效果是：
(1)本发明利用VGG-19作为图像高级风格特征提取基础模型，通过选取全局特征提取层，先建立新的网络模型F1，用于对图像风格迁移的局部优化；然后选取局部特征提取层，建立新的网络模型F2，用于对图像风格迁移的全局优化。分别采用网络模型F1和F2提取内容图像和风格图像的特征图。
(2)本发明定义一个新的图像迁移损失函数，最小化函数包含两部分，其中局部特征优化损失函数，通过图生成的特征图进行更细分块，使得生成的合成图像具有更好的细节特征，而全局特征优化损失函数，用于保存源风格图像的全局特征，减少或避免迁移错误的发生。然后，利用梯度下降法，经多次迭代最小化损失函数，最后生成风格迁移结果图像。
(3)本方法实现了在图像风格迁移过程中，更好地利用源图像局部特征，同时保存源图像全局特征。
附图说明
图1是本发明的系统流程图；
图2是本发明的模型架构图；
图3是本发明实施采用的一个内容图像；
图4是本发明实施采用的一个风格图像；
图5是本发明图像风格迁移方法的风格迁移结果示意图；
图6是采用传统方法图像风格迁移方法的风格迁移结果示意图；
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-4，本发明提供一种技术方案：基于局部和全局优化融合图像卷积神经网络风格迁移方法,包括以下步骤：
步骤1，选取一张需要进行风格迁移的内容图像和一张作为风格来源的风格图像；
步骤2，采用深度卷积神经网络VGG-19作为图像高级特征提取原始模型，并以relu5_3为内容约束特征提取层，以relu3_1和relu4_1为风格局部约束特征提取层；提取relu5_1，relu3_1和relu4_1生成一个新的神经网络模型F1，用于对图像风格迁移的局部优化；
步骤3，从VGG-19模型中，选取relu2_1，relu3_1和relu4_1为风格全局约束特征提取层；生成一个新的深神经网络模型F2，用于对图像风格迁移的全局优化；
步骤4，随机生成高斯噪声图像为初始化新图像；
步骤5，根据内容图像的尺寸大小来调整初始化新图像的尺寸；
步骤6，将风格图像和初始化的新图像输入到卷积神经网络模型F1中，再利用马尔可夫随机场，利用局部风格约束层上的特征图，计算局部风格约束层损失函数；
步骤7，将内容图像和初始化新图像输入到卷积神经网络模型F1中，利用马尔可夫随机场模型，在神经网络模型F1中在内容约束层上，计算的内容约束损失函数；
步骤8，将风格图像和初始化的新图像输入到卷积神经网络模型F2中，利用全局风格约束层上的特征图，计算全局风格约束层损失函数；
步骤9，综合步骤6，步骤7和步骤8的结果，得到总的损失函数，
步骤10，采用基于梯度下降法的优化算法生成图像风格迁移结果，即采用梯度下降法，通过迭代计算生成风格迁移图像的梯度，并利用总的损失函数，沿负梯度方向逼近原内容图像和风格图像，以让每次迭代生成的风格迁移图像尽可能地分别与原内容图像和风格图像相似；
步骤11，重复步骤6-10进行100次迭代，再调整内容图像的大小，重复步骤5-10进行3次迭代，输出最终的图像风格迁移图像。
本发明中，步骤5中，将初始化新图像的大小设置为其中wc，hc分别为内容图像的长和宽，L为调整图像大小的参数，每次迭代L分别取3、2、1。
优选的，所述的步骤6中，局部风格约束层损失函数为：
其中，φ(x)为x的特征图，i表示第i个，j表示第j个,将φ(x)按r*r大小的局部块即local patch进行分割，每个local patch即Φ(φ(x))，将φ(x)分割生成p1个localpatch，表示风格图像，R表示实数集，ws，hs分别为风格图像的长和宽，其中R表示实数集，wc，hc分别为内容图像的长和宽；
Φi(φ(x))表示Φ(φ(x))中的第i个local patch，而ΦTT(i)(φ(xs))表示Ψ(Φ(xs))中与Φi(φ(x))最匹配的一个local patch；其中，local patch选取规则定义为
本发明中，步骤7中，内容约束损失函数为
Ec(φ(x),φ(xc))＝||φ(x)-φ(xc)||2。
本发明中，步骤8中，全局风格约束损失函数为
其中w为每一层在重构误差中的比重，取值范围为w∈[0,1]。Nl表示在第l层中，特征图的个数。Sl表示在第l层中，特征图的面积。表示在第l层中第i个特征图，Ψ为gram矩阵，其中表示和内积，因此，Ψl为表示第l层中所有特征图φ(x)两两相互内积之和。
本发明中，步骤9中，总的损失函数为
E(x)＝α1Elocal(Φ(x),Φ(xs))+α2Eglobal(Φ(x),Φ(xs))+α3Ec(Φ(x),Φ(xc))
其中α1，α2和α3分别为用于调节生成图像中包含的原内容图像和风格图像的强度的调节参数，取值范围为α1∈[10-5,10-3]，α2∈[0,100]，α3∈[0,100]。
本发明中，步骤10中，所述的基于梯度下降法的优化算法包括以下步骤：
(1)初始化，迭代参数i＝0，j＝m，定义矩阵H并初始化为元素都为1的对角矩阵，允许误差ε＝10-5，利用神经网络模型F1，把x0作为输入，调用网络模型反向函数，计算梯度利用神经网络模型F2，把x0作为输入，调用网络模型反向函数，得到梯度得到初始梯度x0为步骤4中随机生成的高斯噪声图像；
(2)如果i<＝itr或者如果则输出第i次迭代结果xi+1，并结束优化算法；否则转步骤(3)；其中itr为最高迭代次数；
(3)定义pi为第i次迭代的负梯度方向pi＝-gi；
(4)更新第i次迭代的结果，xi+1＝xi+pi；
(5)定义si为上一步的结果xi和本次迭代的结果误差，即si＝xi+1-xi，定义yi为上一步的结果梯度的和本次迭代结果的梯度误差，即定义其中T表示矩阵转制；
(6)更新
(7)定义变量q为xi的梯度
(8)j＝1迭代计算
取更新q,q＝q-aiyi-j，直到j＝m，m为预设的迭代次数；
(9)更新gi,gi＝Hiq；
(10)j＝1迭代计算
取，更新gi，gi＝gi+si-j(aj-b)，直到j＝m
(11)更新迭代步骤，i＝i+1,跳转到步骤(2)。
本发明中，在执行步骤(5)后，还包括保留最近m次的结果的步骤，如果i>m，则删除si-m、si-m-1...s1和yi-m、yi-m-1...y1。
生成的风格转移效果图像如图5；
实验结果表面，本发明能够有效地实现图像的风格转移功能。
综上所述，本发明利用VGG-19作为图像高级风格特征提取基础模型，通过选取全局特征提取层，先建立新的网络模型F1，用于对图像风格迁移的局部优化；然后选取局部特征提取层，建立新的网络模型F2，用于对图像风格迁移的全局优化。分别采用网络模型F1和F2提取内容图像和风格图像的特征图；本发明定义一个新的图像迁移损失函数，最小化函数包含两部分，其中局部特征优化损失函数，通过图生成的特征图进行更细分块，使得生成的合成图像具有更好的细节特征，而全局特征优化损失函数，用于保存源风格图像的全局特征，减少或避免迁移错误的发生。然后，利用梯度下降法，经多次迭代最小化损失函数，最后生成风格迁移结果图像；本方法实现了在图像风格迁移过程中，更好地利用源图像局部特征，同时保存源图像全局特征。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
Claims (8)
1.基于局部和全局优化融合图像卷积神经网络风格迁移方法,其特征在于：包括以下步骤：
步骤1，选取一张需要进行风格迁移的内容图像和一张作为风格来源的风格图像；
步骤2，采用深度卷积神经网络VGG-19作为图像高级特征提取原始模型，并以relu5_3为内容约束特征提取层，以relu3_1和relu4_1为风格局部约束特征提取层；提取relu5_1，relu3_1和relu4_1生成一个新的神经网络模型F1，用于对图像风格迁移的局部优化；
步骤3，从VGG-19模型中，选取relu2_1，relu3_1和relu4_1为风格全局约束特征提取层；生成一个新的深神经网络模型F2，用于对图像风格迁移的全局优化；
步骤4，随机生成高斯噪声图像为初始化新图像；
步骤5，根据内容图像的尺寸大小来调整初始化新图像的尺寸；
步骤6，将风格图像和初始化的新图像输入到卷积神经网络模型F1中，再利用马尔可夫随机场，利用局部风格约束层上的特征图，计算局部风格约束层损失函数；
步骤7，将内容图像和初始化新图像输入到卷积神经网络模型F1中，利用马尔可夫随机场模型，在神经网络模型F1中在内容约束层上，计算的内容约束损失函数；
步骤8，将风格图像和初始化的新图像输入到卷积神经网络模型F2中，利用全局风格约束层上的特征图，计算全局风格约束层损失函数；
步骤9，综合步骤6，步骤7和步骤8的结果，得到总的损失函数，
步骤10，采用基于梯度下降法的优化算法生成图像风格迁移结果，即采用梯度下降法，通过迭代计算生成风格迁移图像的梯度，并利用总的损失函数，沿负梯度方向逼近原内容图像和风格图像，以让每次迭代生成的风格迁移图像尽可能地分别与原内容图像和风格图像相似；
步骤11，重复步骤6-10进行100次迭代，再调整内容图像的大小，重复步骤5-10进行3次迭代，输出最终的图像风格迁移图像。
2.根据权利要求1所述的基于局部和全局优化融合图像卷积神经网络风格迁移方法，其特征在于：所述的步骤5中，将初始化新图像的大小设置为其中wc，hc分别为内容图像的长和宽，L为调整图像大小的参数，每次迭代L分别取3、2、1。
3.根据权利要求1所述的基于局部和全局优化融合图像卷积神经网络风格迁移方法，其特征在于：所述的步骤6中，局部风格约束层损失函数为：
其中，φ(x)为x的特征图，i表示第i个，j表示第j个,将φ(x)按r*r大小的局部块即local patch进行分割，每个local patch即Φ(φ(x))，将φ(x)分割生成p1个localpatch，表示风格图像，R表示实数集，ws，hs分别为风格图像的长和宽，其中R表示实数集，wc，hc分别为内容图像的长和宽；
Φi(φ(x))表示Φ(φ(x))中的第i个local patch，而ΦTT(i)(φ(xs))表示Ψ(Φ(xs))中与Φi(φ(x))最匹配的一个local patch；其中，local patch选取规则定义为
4.根据权利要求1所述的基于局部和全局优化融合图像卷积神经网络风格迁移方法，其特征在于：所述的步骤7中，内容约束损失函数为
Ec(φ(x),φ(xc))＝||φ(x)-φ(xc)||2。
5.根据权利要求1所述的基于局部和全局优化融合图像卷积神经网络风格迁移方法，其特征在于：所述的步骤8中，全局风格约束损失函数为
其中w为每一层在重构误差中的比重，取值范围为w∈[0,1]。Nl表示在第l层中，特征图的个数。Sl表示在第l层中，特征图的面积。表示在第l层中第i个特征图，Ψ为gram矩阵，其中表示和内积，因此，Ψl为表示第l层中所有特征图φ(x)两两相互内积之和。
6.根据权利要求1所述的基于局部和全局优化融合图像卷积神经网络风格迁移方法，其特征在于：所述的步骤9中，总的损失函数为
E(x)＝α1Elocal(Φ(x),Φ(xs))+α2Eglobal(Φ(x),Φ(xs))+α3Ec(Φ(x),Φ(xc))
其中α1，α2和α3分别为用于调节生成图像中包含的原内容图像和风格图像的强度的调节参数，取值范围为α1∈[10-5,10-3]，α2∈[0,100]，α3∈[0,100]。
7.根据权利要求1所述的基于局部和全局优化融合图像卷积神经网络风格迁移方法，其特征在于：所述的步骤10中，所述的基于梯度下降法的优化算法包括以下步骤：
(1)初始化，迭代参数i＝0，j＝m，定义矩阵H并初始化为元素都为1的对角矩阵，允许误差ε＝10-5，利用神经网络模型F1，把x0作为输入，调用网络模型反向函数，计算梯度利用神经网络模型F2，把x0作为输入，调用网络模型反向函数，得到梯度得到初始梯度x0为步骤4中随机生成的高斯噪声图像；
(2)如果i<＝itr或者如果则输出第i次迭代结果xi+1，并结束优化算法；否则转步骤(3)；其中itr为最高迭代次数；
(3)定义pi为第i次迭代的负梯度方向pi＝-gi；
(4)更新第i次迭代的结果，xi+1＝xi+pi；
(5)定义si为上一步的结果xi和本次迭代的结果误差，即si＝xi+1-xi，定义yi为上一步的结果梯度的和本次迭代结果的梯度误差，即定义其中T表示矩阵转制；
(6)更新
(7)定义变量q为xi的梯度
(8)j＝1迭代计算
取更新q,q＝q-aiyi-j，直到j＝m，m为预设的迭代次数；
(9)更新gi,gi＝Hiq；
(10)j＝1迭代计算
取，更新gi，gi＝gi+si-j(aj-b)，直到j＝m
(11)更新迭代步骤，i＝i+1,跳转到步骤(2)。
8.根据权利要求1所述的基于局部和全局优化融合图像卷积神经网络风格迁移方法，其特征在于：在执行步骤(5)后，还包括保留最近m次的结果的步骤，如果i>m，则删除si-m、si-m-1...s1和yi-m、yi-m-1...y1。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910388700.5A CN110111291A (zh) | 2019-05-10 | 2019-05-10 | 基于局部和全局优化融合图像卷积神经网络风格迁移方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910388700.5A CN110111291A (zh) | 2019-05-10 | 2019-05-10 | 基于局部和全局优化融合图像卷积神经网络风格迁移方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110111291A true CN110111291A (zh) | 2019-08-09 |
Family
ID=67489308
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910388700.5A Withdrawn CN110111291A (zh) | 2019-05-10 | 2019-05-10 | 基于局部和全局优化融合图像卷积神经网络风格迁移方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110111291A (zh) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110910303A (zh) * | 2019-10-26 | 2020-03-24 | 湖北讯獒信息工程有限公司 | 一种图像风格迁移方法 |
| CN111161134A (zh) * | 2019-12-30 | 2020-05-15 | 桂林理工大学 | 基于伽马变换的图像艺术风格转换方法 |
| CN111223039A (zh) * | 2020-01-08 | 2020-06-02 | 广东博智林机器人有限公司 | 图像风格转换方法、装置、电子设备及存储介质 |
| CN111242841A (zh) * | 2020-01-15 | 2020-06-05 | 杭州电子科技大学 | 一种基于语义分割和深度学习的图片背景风格迁移方法 |
| CN111768335A (zh) * | 2020-07-02 | 2020-10-13 | 北京工商大学 | 一种基于cnn的用户交互式图像局部服饰风格迁移方法 |
| CN111986075A (zh) * | 2020-08-12 | 2020-11-24 | 兰州交通大学 | 一种目标边缘清晰化的风格迁移方法 |
| CN112085649A (zh) * | 2020-07-27 | 2020-12-15 | 深圳瀚维智能医疗科技有限公司 | 乳腺超声图像风格转换方法、装置、乳腺扫查设备及介质 |
| CN112101546A (zh) * | 2020-09-01 | 2020-12-18 | 浙江大学 | 生成多样化结果的风格迁移方法、装置、计算机设备和存储介质 |
| CN112288621A (zh) * | 2020-09-21 | 2021-01-29 | 山东师范大学 | 基于神经网络的图像风格迁移方法及系统 |
| CN112541856A (zh) * | 2020-12-07 | 2021-03-23 | 重庆邮电大学 | 一种结合马尔科夫场和格拉姆矩阵特征的医学类图像风格迁移方法 |
| CN113160089A (zh) * | 2021-05-10 | 2021-07-23 | 福州大学 | 基于局部密度损失的图像去噪方法 |
| CN113256503A (zh) * | 2020-02-13 | 2021-08-13 | 北京小米移动软件有限公司 | 图像优化方法及装置、移动终端及存储介质 |
| GB2606253A (en) * | 2021-01-27 | 2022-11-02 | Nvidia Corp | Image synthesis using one or more neural networks |
| WO2023124391A1 (zh) * | 2021-12-30 | 2023-07-06 | 上海商汤智能科技有限公司 | 妆容迁移及妆容迁移网络的训练方法和装置 |
| CN116912502A (zh) * | 2023-09-08 | 2023-10-20 | 南方医科大学珠江医院 | 全局视角辅助下图像关键解剖结构的分割方法及其设备 |
-
2019
- 2019-05-10 CN CN201910388700.5A patent/CN110111291A/zh not_active Withdrawn
Cited By (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110910303A (zh) * | 2019-10-26 | 2020-03-24 | 湖北讯獒信息工程有限公司 | 一种图像风格迁移方法 |
| CN111161134A (zh) * | 2019-12-30 | 2020-05-15 | 桂林理工大学 | 基于伽马变换的图像艺术风格转换方法 |
| CN111223039A (zh) * | 2020-01-08 | 2020-06-02 | 广东博智林机器人有限公司 | 图像风格转换方法、装置、电子设备及存储介质 |
| CN111242841B (zh) * | 2020-01-15 | 2023-04-18 | 杭州电子科技大学 | 一种基于语义分割和深度学习的图片背景风格迁移方法 |
| CN111242841A (zh) * | 2020-01-15 | 2020-06-05 | 杭州电子科技大学 | 一种基于语义分割和深度学习的图片背景风格迁移方法 |
| CN113256503B (zh) * | 2020-02-13 | 2024-03-08 | 北京小米移动软件有限公司 | 图像优化方法及装置、移动终端及存储介质 |
| CN113256503A (zh) * | 2020-02-13 | 2021-08-13 | 北京小米移动软件有限公司 | 图像优化方法及装置、移动终端及存储介质 |
| CN111768335A (zh) * | 2020-07-02 | 2020-10-13 | 北京工商大学 | 一种基于cnn的用户交互式图像局部服饰风格迁移方法 |
| CN111768335B (zh) * | 2020-07-02 | 2023-08-04 | 北京工商大学 | 一种基于cnn的用户交互式图像局部服饰风格迁移方法 |
| CN112085649A (zh) * | 2020-07-27 | 2020-12-15 | 深圳瀚维智能医疗科技有限公司 | 乳腺超声图像风格转换方法、装置、乳腺扫查设备及介质 |
| CN111986075A (zh) * | 2020-08-12 | 2020-11-24 | 兰州交通大学 | 一种目标边缘清晰化的风格迁移方法 |
| CN111986075B (zh) * | 2020-08-12 | 2022-08-09 | 兰州交通大学 | 一种目标边缘清晰化的风格迁移方法 |
| CN112101546A (zh) * | 2020-09-01 | 2020-12-18 | 浙江大学 | 生成多样化结果的风格迁移方法、装置、计算机设备和存储介质 |
| CN112101546B (zh) * | 2020-09-01 | 2024-01-05 | 浙江大学 | 生成多样化结果的风格迁移方法、装置、计算机设备和存储介质 |
| CN112288621A (zh) * | 2020-09-21 | 2021-01-29 | 山东师范大学 | 基于神经网络的图像风格迁移方法及系统 |
| CN112541856B (zh) * | 2020-12-07 | 2022-05-03 | 重庆邮电大学 | 一种结合马尔科夫场和格拉姆矩阵特征的医学类图像风格迁移方法 |
| CN112541856A (zh) * | 2020-12-07 | 2021-03-23 | 重庆邮电大学 | 一种结合马尔科夫场和格拉姆矩阵特征的医学类图像风格迁移方法 |
| GB2606253A (en) * | 2021-01-27 | 2022-11-02 | Nvidia Corp | Image synthesis using one or more neural networks |
| CN113160089B (zh) * | 2021-05-10 | 2022-10-04 | 福州大学 | 基于局部密度损失的图像去噪方法 |
| CN113160089A (zh) * | 2021-05-10 | 2021-07-23 | 福州大学 | 基于局部密度损失的图像去噪方法 |
| WO2023124391A1 (zh) * | 2021-12-30 | 2023-07-06 | 上海商汤智能科技有限公司 | 妆容迁移及妆容迁移网络的训练方法和装置 |
| CN116912502A (zh) * | 2023-09-08 | 2023-10-20 | 南方医科大学珠江医院 | 全局视角辅助下图像关键解剖结构的分割方法及其设备 |
| CN116912502B (zh) * | 2023-09-08 | 2024-01-16 | 南方医科大学珠江医院 | 全局视角辅助下图像关键解剖结构的分割方法及其设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110111291A (zh) | 基于局部和全局优化融合图像卷积神经网络风格迁移方法 | |
| CN108805803A (zh) | 一种基于语义分割与深度卷积神经网络的肖像风格迁移方法 | |
| Luan et al. | Deep photo style transfer | |
| CN101950365B (zh) | 基于ksvd字典学习的多任务超分辨率图像重构方法 | |
| CN113112411B (zh) | 基于多尺度特征融合的人脸图像语义修复方法 | |
| CN106991440B (zh) | 一种基于空间金字塔的卷积神经网络的图像分类方法 | |
| CN110084741A (zh) | 基于显著性检测和深度卷积神经网络的图像风络迁移方法 | |
| CN102156875B (zh) | 基于多任务ksvd字典学习的图像超分辨率重构方法 | |
| CN108416752A (zh) | 一种基于生成式对抗网络进行图像去运动模糊的方法 | |
| CN110148081A (zh) | 图像处理模型的训练方法、图像处理方法、装置及存储介质 | |
| CN108717732B (zh) | 一种基于MobileNets模型的表情追踪方法 | |
| CN109087273A (zh) | 基于增强的神经网络的图像复原方法、存储介质及系统 | |
| CN108121975A (zh) | 一种联合原始数据和生成数据的人脸识别方法 | |
| CN112883826B (zh) | 一种基于学习几何和纹理风格迁移的人脸漫画生成方法 | |
| CN110322529A (zh) | 一种基于深度学习辅助艺术绘画的方法 | |
| Tseng et al. | Active contour model via multi-population particle swarm optimization | |
| CN112686816A (zh) | 一种基于内容注意力机制和掩码先验的图像补全方法 | |
| CN111028335B (zh) | 一种基于深度学习的点云数据的分块面片重建方法 | |
| CN111986075A (zh) | 一种目标边缘清晰化的风格迁移方法 | |
| CN109410133A (zh) | 一种基于3dmm的人脸纹理修复方法 | |
| CN112184547B (zh) | 红外图像的超分辨率方法及计算机可读存储介质 | |
| CN109658508B (zh) | 一种多尺度细节融合的地形合成方法 | |
| CN112686817B (zh) | 一种基于不确定性估计的图像补全方法 | |
| CN111368734A (zh) | 一种基于正常表情辅助的微表情识别方法 | |
| CN117496072B (zh) | 一种三维数字人生成和交互方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20190809 |