CN110084741A - 基于显著性检测和深度卷积神经网络的图像风络迁移方法 - Google Patents
基于显著性检测和深度卷积神经网络的图像风络迁移方法 Download PDFInfo
- Publication number
- CN110084741A CN110084741A CN201910345273.2A CN201910345273A CN110084741A CN 110084741 A CN110084741 A CN 110084741A CN 201910345273 A CN201910345273 A CN 201910345273A CN 110084741 A CN110084741 A CN 110084741A
- Authority
- CN
- China
- Prior art keywords
- style
- content
- image
- images
- loss function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 26
- 238000001514 detection method Methods 0.000 title claims abstract description 26
- 238000012546 transfer Methods 0.000 claims abstract description 50
- 239000000284 extract Substances 0.000 claims abstract description 16
- 238000011478 gradient descent method Methods 0.000 claims abstract description 10
- 238000000605 extraction Methods 0.000 claims description 16
- 238000013528 artificial neural network Methods 0.000 claims description 15
- 238000012360 testing method Methods 0.000 claims description 12
- 238000004422 calculation algorithm Methods 0.000 claims description 11
- 238000005457 optimization Methods 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 description 25
- 230000000694 effects Effects 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 230000001537 neural effect Effects 0.000 description 3
- 238000013508 migration Methods 0.000 description 2
- 230000005012 migration Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了基于显著性检测和深度卷积神经网络的图像风络迁移方法，首先选定需转换的内容图像和风格图像，然后对两幅图像进行显著性检测，采用Multi‑Task FCNN显著性检测模型分别提取两个图像的显著性特征图；然后，采用深度卷积神经网络VGG‑19作为图像高级风格特征提取基础模型，设定内容约束层和风格约束层后，分别提取内容约束层和风格约束层特征图集合，并把内容图像和风格图像的显著性特征图分别加入到内容图像特征图集合和风格图像的特征图集合中；定义了风格迁移损失函数，损失函数由三部分组成，分别是风格图像特征损失函数，内容图像特征损失函数和内容图像显著性特征损失函数。采用梯度下降法，经多次迭代最小化损失函数，最后生成风格迁移结果图像。
Description
技术领域
本发明涉及深度学习技术领域，具体为基于显著性检测和深度卷积神经网络的图像风络迁移方法。
背景技术
随着科技技术迅速发展，在深度神经网格在众多领域得到了广泛的应用。基于深度神经网格的风格迁移是近来人工智能领域内的一个新的热门研究主题，它的基本原理是利用神经网络模型对于两幅输已知的图像(分别叫做风格图像和内容图像)，是将风格(style)从“风格图像”迁移到“内容图像”的过程。目的是能够根据不同的风格图像生成同一内容的不同风格的新图像。
Gatys等人率先在在2016年CVPR(国际计算机视觉与模式识别大会上)的发表了文章“image Style Transfer Using Convolutional Neural Networks”证实了卷积神经网络(CNN)的在图像风格迁移中表现出惊人的能力：通过分离和重新组合图片内容与风格，CNN可以创作出具有艺术魅力的作品。从那以后，在学术研究和产业应用对神经风格迁移产生极大的兴趣，短短几年间，基于深度神经网格的图像风格迁移它已成为学术界和工业界中的热点研究问题之一。包括清华大学，北京大学，Stanford大学和UC Berkeley大学等国内外世界知名大学、研究院(所)和实验室在内的团队，对风格迁移进行了广泛且深入的研究。
现有的风格迁移方法存在的问题主要有：图像的风格迁移具有很大的随意性，导致很多情况下，效果很不理想，有时候还会产生一些错误，比如说把风格图像中眼睛部分特征迁移到嘴巴上去了，或者图像背景特征迁移到前景物体上，迁移效果非常不理想。
发明内容
本发明的目的在于提供基于显著性检测和深度卷积神经网络的图像风络迁移方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：基于显著性检测和深度卷积神经网络的图像风络迁移方法,包括以下步骤：
步骤1，选取一张需要进行风格迁移的内容图像和一张作为风格来源的风格图像，利用Multi-Task FCNN网络模型，并对内容图像和风格图像分别进行显著性检测，得到内容图像和风格图像显著性特征图；
步骤2，采用深度卷积神经网络VGG-19作为图像高级特征提取原始模型，并以relu5_1和为内容约束特征提取层，以relu2_1、relu3_1和relu4_1为风格约束特征提取层，并把它们提取出来，生成新的神经网络风格迁移模型；
步骤3，将风格图像和内容图像输入到神经网络风格迁移模型中，分别在内容约束特征提取层和风格约束特征提取层，提取内容图像特征图，生成内容图像特征图集，提取风格图像特征图，生成风格图像特征图集；
步骤4，风格图像和内容图像输入到Multi-Task FCNN网络模型中，生成内容图像显著性特征图和风格图像显著性特征图，根据内容图像特征图和风格图像特征图的大小，分别把内容图像显著性特征图和风格图像显著性特征图分别加入到内容图像特征图集和风格图像特征图集中；
步骤5，随机生成高斯噪声图像为初始化新图像；
步骤6，根据内容图像的尺寸大小来调整初始化新图像的尺寸；
步骤7，将初始化新图像输入到神经网络风格迁移模型中，在马尔可夫随机场下，分别计算图像在内容约束层relu5_1和风格约束层relu2_1,relu3_1和relu4_1上的内容约束层损失函数和风格约束层损失函数；
步骤8，将初始化新图像输入到卷积神经网络Multi-Task FCNN中，生成图像显著性特征检测结果；计算图像显著性特征损失函数；
步骤9，综合步骤7和8的结果，得到总的损失函数，并对于不同层，分别采用基于梯度下降法的优化算法生成风格迁移结果，即采用梯度下降法，通过迭代计算生成风格迁移的梯度，并利用总的损失函数，沿负梯度方向逼近原内容和风格，以让每次迭代生成的风格迁移尽可能地分别与原内容和风格相似；
步骤10，重复步骤7-9进行100次迭代，再重复步骤6-9进行3次迭代，输出最终的风格迁移图像。
优选的，所述步骤1中，采用Multi-Task FCNN网络模型，并对内容图像和风格图像分别进行显著性检测，得到内容图像和风格图像显著性特征图。
优选的，所述步骤3中，利用步骤2生成的神经网络风格迁移模型，提取内容约束特征的特征图集其中l表示所对应的VGG-19中所在的内容约束特征提取层，即relu5_1，把内容图像显著性特征图加入到特征图集中，生成新的内容特征图集β为显著性特征权重调节参数，其取值范围[0,200]；利用步骤2生成的神经网络风格迁移模型，提取风格约束特征的特征图集其中l表示所对应的VGG-19中所在的内容约束特征提取层，即relu2_1，relu3_1和relu4_1，把风格图像显著性特征图加入到风格特征图集中，生成新的风格特征图集
优选的，所述的步骤5中，将初始化新图像的大小设置为其中hc分别为内容图像的长和宽，L为调整图像大小的参数，每次迭代L分别取3、2、1。
优选的，所述步骤7中，风格约束层损失函数为：
其中，Ψ*(Φ(x))＝(Ψ(Φ(x)),βΨ(mcontent))，Ψ*(Φ(xstyle))＝(Ψ(Φ(xstyle)),βΨ(mstyle))，Φ(x)为特征图，将Φ(x)和mcontent按r*r大小的局部块即localpatch进行分割，每个local patch即Ψ(Φ(x))，Ψ(Φ(x))将Φ(x)分割生成p1个localpatch，Ψ(mcontent)将mcontent分割生成p2个local patch，R表示实数集，wc，hc分别为内容图像的长和宽，表示风格图像，ws，hs分别为内容图像的长和宽，mcontent表示内容图像显著性检测结果，mstyle表示风格图像显著性检测结果；
表示Ψ*(Φ(x))中的第i个local patch，Ψi(mstyle)表示Ψ(mstyle)中的第i个local patch，而和ΨNN(i)(mstyle)分别表示Ψ*(Φ(xstyle))中与最匹配的一个local patch；
其中，local patch选取规则定义为
优选的，所述步骤7中，内容约束损失函数为
Econtent(Φ(x),Φ(xcontent))＝||Φ(x)-Φ(xcontent)||2。
优选的，所述步骤7中，显著性特征约束损失函数为
Esaliency(Υ(x),mcontent))＝||Υ(x)-mcontent||2，其中，Υ(x)为生成新的风格迁移图像的显著性检测结果。
优选的，所述步骤8中，总的损失函数为
E(x)＝α1Estyle(Φ(x),Φ(xstyle),mcontent,mstyle)+α2Econtent(Φ(x),Φ(xcontent))+α3Esaliency(Υ(x),mcontent))，
其中α1，α2，α3分别为用于调节生成图像中包含的原内容图像和风格图像的强度的调节参数，取值范围为α1∈[0,1]，α2∈[0,200]，α3∈[0,5]。
优选的，所述步骤8中，所述的基于梯度下降法的优化算法包括以下步骤：
(1)初始化，迭代参数i＝0，j＝m，定义矩阵H并初始化为元素都为1的对角矩阵，允许误差ε＝10-5，利用VGG-19模型，计算初始梯度利用Multi-Task FCNN网络模型，把x0做为输入，调用网络模型反向函数，得到显著性变化梯度x0为步骤4中随机生成的高斯噪声图像；
(2)如果i<＝itr或者如果则输出第i次迭代结果xi+1，并结束优化算法；否则转步骤(3)；其中itr为最高迭代次数；
(3)定义pi为第i次迭代的负梯度方向pi＝-gi；
(4)更新第i次迭代的结果，xi+1＝xi+pi；
(5)定义si为上一步的结果xi和本次迭代的结果误差，即si＝xi+1-xi，定义yi为上一步的结果梯度的和本次迭代结果的梯度误差，即定义其中T表示矩阵转制；
(6)更新
(7)定义变量q为xi的梯度
(8)j＝1迭代计算
取更新q,q＝q-aiyi-j，直到j＝m，m为预设的迭代次数；
(9)更新gi,gi＝Hiq；
(10)j＝1迭代计算
取，更新gi，gi＝gi+si-j(aj-b)，直到j＝m
(11)更新迭代步骤，i＝i+1,跳转到步骤(2)。
优选的，基于梯度下降法的优化算法中，在执行步骤(5)后，还包括保留最近m次的结果的步骤，如果i>m，则删除si-m、si-m-1...s1和yi-m、yi-m-1...y1。
与现有技术相比，本发明的有益效果是：
(1)本发明通过对风格图像和内容图像进行显著性检测，得到显著性特征图，并把显著性特征图增加到VGG-19网络模型中选定的层，为图像风格迁移方法提供更多的特征供选取，从而使得生成的具有更好的细节特征。
(2)本发明定义一个新损失函数,与传统的风格迁移损失函数相比，增加了显著性特征对输出结果的约束。避免了风格迁移中一些错误的产生,能更好的保存原内容图像的结构特征，提高了风格迁移的效果。
附图说明
图1是本发明的系统流程图；
图2是本发明的模型架构图；
图3是本发明实施例采用的一个内容图像；
图4是本发明实施例采用的一个风格图像；
图5是本发明图像风格迁移方法的风格迁移结果示。
图6是采用传统方法风格迁移方法的风格迁移结果示。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-6，本发明提供一种技术方案：基于显著性检测和深度卷积神经网络的图像风络迁移方法,包括以下步骤：
步骤1，选取一张需要进行风格迁移的内容图像和一张作为风格来源的风格图像，利用文献1提出的Multi-Task FCNN网络模型，并对内容图像和风格图像分别进行显著性检测，得到内容图像和风格图像显著性特征图；
步骤2，采用深度卷积神经网络VGG-19作为图像高级特征提取原始模型，并以relu5_1和为内容约束特征提取层，以relu2_1、relu3_1和relu4_1为风格约束特征提取层，并把它们提取出来，生成新的神经网络风格迁移模型；
步骤3，将风格图像和内容图像输入到神经网络风格迁移模型中，分别在内容约束特征提取层和风格约束特征提取层，提取内容图像特征图，生成内容图像特征图集，提取风格图像特征图，生成风格图像特征图集；
步骤4，风格图像和内容图像输入到Multi-Task FCNN网络模型中，生成内容图像显著性特征图和风格图像显著性特征图，根据内容图像特征图和风格图像特征图的大小，分别把内容图像显著性特征图和风格图像显著性特征图分加入到内容图像特征图集和风格图像特征图集中；
步骤5，随机生成高斯噪声图像为初始化新图像；
步骤6，根据内容图像的尺寸大小来调整初始化新图像的尺寸；
步骤7，将初始化新图像输入到神经网络风格迁移模型中，在马尔可夫随机场下，分别计算图像在内容约束层relu5_1和风格约束层relu2_1,relu3_1和relu4_1上的内容约束层损失函数和风格约束层损失函数；
步骤8，将初始化新图像输入到卷积神经网络Multi-Task FCNN中，生成图像显著性特征检测结果；计算图像显著性特征损失函数；
步骤9，综合步骤7和8的结果，得到总的损失函数，并对于不同层，分别采用基于梯度下降法的优化算法生成风格迁移结果，即采用梯度下降法，通过迭代计算生成风格迁移的梯度，并利用总的损失函数，沿负梯度方向逼近原内容和风格，以让每次迭代生成的风格迁移尽可能地分别与原内容和风格相似；
步骤10，重复步骤7-9进行100次迭代，再重复步骤6-9进行3次迭代，输出最终的风格迁移图像。
本发明中，步骤1中，采用Multi-Task FCNN网络模型，并对内容图像和风格图像分别进行显著性检测，得到内容图像和风格图像显著性特征图。
本发明中，步骤3中，利用步骤2生成的神经网络风格迁移模型，提取内容约束特征的特征图集其中l表示所对应的VGG-19中所在的内容约束特征提取层，即relu5_1，把内容图像显著性特征图加入到特征图集中，生成新的内容特征图集β为显著性特征权重调节参数，其取值范围[0,200]；利用步骤2生成的神经网络风格迁移模型，提取风格约束特征的特征图集其中l表示所对应的VGG-19中所在的内容约束特征提取层，即relu2_1，relu3_1和relu4_1，把风格图像显著性特征图加入到风格特征图集中，生成新的风格特征图集
本发明中，所述的步骤5中，将初始化新图像的大小设置为其中hc分别为内容图像的长和宽，L为调整图像大小的参数，每次迭代L分别取3、2、1。
本发明中，步骤7中，风格约束层损失函数为：
其中，Ψ*(Φ(x))＝(Ψ(Φ(x)),βΨ(mcontent))，Ψ*(Φ(xstyle))＝(Ψ(Φ(xstyle)),βΨ(mstyle))，Φ(x)为特征图，将Φ(x)和mcontent按r*r大小的局部块即localpatch进行分割，每个local patch即Ψ(Φ(x))，Ψ(Φ(x))将Φ(x)分割生成p1个localpatch，Ψ(mcontent)将mcontent分割生成p2个local patch，R表示实数集，wc，hc分别为内容图像的长和宽，表示风格图像，ws，hs分别为内容图像的长和宽，mcontent表示内容图像显著性检测结果，mstyle表示风格图像显著性检测结果；
表示Ψ*(Φ(x))中的第i个local patch，Ψi(mstyle)表示Ψ(mstyle)中的第i个local patch，而和ΨNN(i)(mstyle)分别表示Ψ*(Φ(xstyle))中与最匹配的一个local patch；
其中，local patch选取规则定义为
本发明中，步骤7中，内容约束损失函数为
Econtent(Φ(x),Φ(xcontent))＝||Φ(x)-Φ(xcontent)||2。
本发明中，步骤7中，显著性特征约束损失函数为
Esaliency(Υ(x),mcontent))＝||Υ(x)-mcontent||2，其中，Υ(x)为生成新的风格迁移图像的显著性检测结果。
本发明中，步骤8中，总的损失函数为
E(x)＝α1Estyle(Φ(x),Φ(xstyle),mcontent,mstyle)+α2Econtent(Φ(x),Φ(xcontent))+α3Esaliency(Υ(x),mcontent))，
其中α1，α2，α3分别为用于调节生成图像中包含的原内容图像和风格图像的强度的调节参数，取值范围为α1∈[0,1]，α2∈[0,200]，α3∈[0,5]。
本发明中，步骤8中，所述的基于梯度下降法的优化算法包括以下步骤：
(1)初始化，迭代参数i＝0，j＝m，定义矩阵H并初始化为元素都为1的对角矩阵，允许误差ε＝10-5，利用VGG-19模型，计算初始梯度利用Multi-Task FCNN网络模型，把x0做为输入，调用网络模型反向函数，得到显著性变化梯度x0为步骤4中随机生成的高斯噪声图像；
(2)如果i<＝itr或者如果则输出第i次迭代结果xi+1，并结束优化算法；否则转步骤(3)；其中itr为最高迭代次数；
(3)定义pi为第i次迭代的负梯度方向pi＝-gi；
(4)更新第i次迭代的结果，xi+1＝xi+pi；
(5)定义si为上一步的结果xi和本次迭代的结果误差，即si＝xi+1-xi，定义yi为上一步的结果梯度的和本次迭代结果的梯度误差，即定义其中T表示矩阵转制；
(6)更新
(7)定义变量q为xi的梯度
(8)j＝1迭代计算
取更新q,q＝q-aiyi-j，直到j＝m，m为预设的迭代次数；
(9)更新gi,gi＝Hiq；
(10)j＝1迭代计算
取，更新gi，gi＝gi+si-j(aj-b)，直到j＝m
(11)更新迭代步骤，i＝i+1,跳转到步骤(2)。
本发明中，基于梯度下降法的优化算法中，在执行步骤(5)后，还包括保留最近m次的结果的步骤，如果i>m，则删除si-m、si-m-1...s1和yi-m、yi-m-1...y1。
本发明基于卷积神经网络中的高级语义表示建立图像内容模型和图像风格模型，然后优化一张初始图像(例如随机噪声图像)使其在同一个卷积神经网络中具有与内容图像相似的内容表示、与风格图像相似的风格表示，从而生成融合内容图像的内容和风格图像的风格的图像，实现风格转移功能。
综上所述，本发明通过对风格图像和内容图像进行显著性检测，得到显著性特征图，并把显著性特征图增加到VGG-19网络模型中选定的层，为图像风格迁移方法提供更多的特征供选取，从而使得生成的具有更好的细节特征；本发明定义一个新损失函数,与传统的风格迁移损失函数相比，增加了显著性特征对输出结果的约束。避免了风格迁移中一些错误的产生,能更好的保存原内容图像的结构特征，提高了风格迁移的效果。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
Claims (10)
1.基于显著性检测和深度卷积神经网络的图像风络迁移方法,其特征在于：包括以下步骤：
步骤1，选取一张需要进行风格迁移的内容图像和一张作为风格来源的风格图像，利用文献1提出的Multi-Task FCNN网络模型，并对内容图像和风格图像分别进行显著性检测，得到内容图像和风格图像显著性特征图；
步骤2，采用深度卷积神经网络VGG-19作为图像高级特征提取原始模型，并以relu5_1和为内容约束特征提取层，以relu2_1、relu3_1和relu4_1为风格约束特征提取层，并把它们提取出来，生成新的神经网络风格迁移模型；
步骤3，将风格图像和内容图像输入到神经网络风格迁移模型中，分别在内容约束特征提取层和风格约束特征提取层，提取内容图像特征图，生成内容图像特征图集，提取风格图像特征图，生成风格图像特征图集；
步骤4，风格图像和内容图像输入到Multi-Task FCNN网络模型中，生成内容图像显著性特征图和风格图像显著性特征图，根据内容图像特征图和风格图像特征图的大小，分别把内容图像显著性特征图和风格图像显著性特征图分加入到内容图像特征图集和风格图像特征图集中；
步骤5，随机生成高斯噪声图像为初始化新图像；
步骤6，根据内容图像的尺寸大小来调整初始化新图像的尺寸；
步骤7，将初始化新图像输入到神经网络风格迁移模型中，在马尔可夫随机场下，分别计算图像在内容约束层relu5_1和风格约束层relu2_1,relu3_1和relu4_1上的内容约束层损失函数和风格约束层损失函数；
步骤8，将初始化新图像输入到卷积神经网络Multi-Task FCNN中，生成图像显著性特征检测结果；计算图像显著性特征损失函数；
步骤9，综合步骤7和8的结果，得到总的损失函数，并对于不同层，分别采用基于梯度下降法的优化算法生成风格迁移结果，即采用梯度下降法，通过迭代计算生成风格迁移的梯度，并利用总的损失函数，沿负梯度方向逼近原内容和风格，以让每次迭代生成的风格迁移尽可能地分别与原内容和风格相似；
步骤10，重复步骤7-9进行100次迭代，再重复步骤6-9进行3次迭代，输出最终的风格迁移图像。
2.根据权利要求1所述的基于显著性检测和深度卷积神经网络的图像风络迁移方法，其特征在于：所述步骤1中，采用Multi-Task FCNN网络模型，并对内容图像和风格图像分别进行显著性检测，得到内容图像和风格图像显著性特征图。
3.根据权利要求1所述的基于显著性检测和深度卷积神经网络的图像风络迁移方法，其特征在于：所述步骤3中，利用步骤2生成的神经网络风格迁移模型，提取内容约束特征的特征图集其中l表示所对应的VGG-19中所在的内容约束特征提取层，即relu5_1，把内容图像显著性特征图加入到特征图集中，生成新的内容特征图集β为显著性特征权重调节参数，其取值范围[0,200]；利用步骤2生成的神经网络风格迁移模型，提取风格约束特征的特征图集其中l表示所对应的VGG-19中所在的内容约束特征提取层，即relu2_1，relu3_1和relu4_1，把风格图像显著性特征图加入到风格特征图集中，生成新的风格特征图集
4.根据权利要求1所述的基于显著性检测和深度卷积神经网络的图像风络迁移方法，其特征在于：所述的步骤5中，将初始化新图像的大小设置为其中wc，hc分别为内容图像的长和宽，L为调整图像大小的参数，每次迭代L分别取3、2、1。
5.根据权利要求1所述的基于显著性检测和深度卷积神经网络的图像风络迁移方法，其特征在于：所述步骤7中，风格约束层损失函数为：
其中，Ψ*(Φ(x))＝(Ψ(Φ(x)),βΨ(mcontent))，Ψ*(Φ(xstyle))＝(Ψ(Φ(xstyle)),βΨ(mstyle))，Φ(x)为特征图，将Φ(x)和mcontent按r*r大小的局部块即local patch进行分割，每个local patch即Ψ(Φ(x))，Ψ(Φ(x))将Φ(x)分割生成p1个local patch，Ψ(mcontent)将mcontent分割生成p2个local patch，R表示实数集，wc，hc分别为内容图像的长和宽，表示风格图像，ws，hs分别为内容图像的长和宽，mcontent表示内容图像显著性检测结果，mstyle表示风格图像显著性检测结果；
表示Ψ*(Φ(x))中的第i个local patch，Ψi(mstyle)表示Ψ(mstyle)中的第i个local patch，而和ΨNN(i)(mstyle)分别表示Ψ*(Φ(xstyle))中与最匹配的一个local patch；
其中，local patch选取规则定义为
6.根据权利要求5所述的基于显著性检测和深度卷积神经网络的图像风络迁移方法，其特征在于：所述步骤7中，内容约束损失函数为
Econtent(Φ(x),Φ(xcontent))＝||Φ(x)-Φ(xcontent)||2。
7.根据权利要求5所述的基于显著性检测和深度卷积神经网络的图像风络迁移方法，其特征在于：所述步骤7中，显著性特征约束损失函数为
Esaliency(Υ(x),mcontent))＝||Υ(x)-mcontent||2，其中，Υ(x)为生成新的风格迁移图像的显著性检测结果。
8.根据权利要求6所述的基于显著性检测和深度卷积神经网络的图像风络迁移方法，其特征在于：所述步骤8中，总的损失函数为
E(x)＝α1Estyle(Φ(x),Φ(xstyle),mcontent,mstyle)+α2Econtent(Φ(x),Φ(xcontent))+α3Esaliency(Υ(x),mcontent))，
其中α1，α2，α3分别为用于调节生成图像中包含的原内容图像和风格图像的强度的调节参数，取值范围为α1∈[0,1]，α2∈[0,200]，α3∈[0,5]。
9.根据权利要求1所述的基于显著性检测和深度卷积神经网络的图像风络迁移方法，其特征在于：所述步骤8中，所述的基于梯度下降法的优化算法包括以下步骤：
(1)初始化，迭代参数i＝0，j＝m，定义矩阵H并初始化为元素都为1的对角矩阵，允许误差ε＝10-5，利用VGG-19模型，计算初始梯度利用Multi-Task FCNN网络模型，把x0做为输入，调用网络模型反向函数，得到显著性变化梯度x0为步骤4中随机生成的高斯噪声图像；
(2)如果i<＝itr或者如果则输出第i次迭代结果xi+1，并结束优化算法；否则转步骤(3)；其中itr为最高迭代次数；
(3)定义pi为第i次迭代的负梯度方向pi＝-gi；
(4)更新第i次迭代的结果，xi+1＝xi+pi；
(5)定义si为上一步的结果xi和本次迭代的结果误差，即si＝xi+1-xi，定义yi为上一步的结果梯度的和本次迭代结果的梯度误差，即定义其中T表示矩阵转制；
(6)更新
(7)定义变量q为xi的梯度
(8)j＝1迭代计算
取更新q,q＝q-aiyi-j，直到j＝m，m为预设的迭代次数；
(9)更新gi,gi＝Hiq；
(10)j＝1迭代计算
取，更新gi，gi＝gi+si-j(aj-b)，直到j＝m
(11)更新迭代步骤，i＝i+1,跳转到步骤(2)。
10.根据权利要求8所述的基于显著性检测和深度卷积神经网络的图像风络迁移方法，其特征在于：基于梯度下降法的优化算法中，在执行步骤(5)后，还包括保留最近m次的结果的步骤，如果i>m，则删除si-m、si-m-1...s1和yi-m、yi-m-1...y1。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910345273.2A CN110084741A (zh) | 2019-04-26 | 2019-04-26 | 基于显著性检测和深度卷积神经网络的图像风络迁移方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910345273.2A CN110084741A (zh) | 2019-04-26 | 2019-04-26 | 基于显著性检测和深度卷积神经网络的图像风络迁移方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110084741A true CN110084741A (zh) | 2019-08-02 |
Family
ID=67417052
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910345273.2A Pending CN110084741A (zh) | 2019-04-26 | 2019-04-26 | 基于显著性检测和深度卷积神经网络的图像风络迁移方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110084741A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110570377A (zh) * | 2019-09-11 | 2019-12-13 | 辽宁工程技术大学 | 一种基于组归一化的快速图像风格迁移方法 |
| CN110991516A (zh) * | 2019-11-28 | 2020-04-10 | 哈尔滨工程大学 | 一种基于风格迁移的侧扫声呐图像目标分类方法 |
| CN111340964A (zh) * | 2020-03-05 | 2020-06-26 | 长春中国光学科学技术馆 | 一种基于迁移学习的3d模型图像的构建方法 |
| CN111583352A (zh) * | 2020-04-24 | 2020-08-25 | 天津大学 | 一种用于移动终端的风格化图标智能生成方法 |
| CN111951359A (zh) * | 2020-08-17 | 2020-11-17 | 北京中科深智科技有限公司 | 一种基于神经网络的交互式运动控制方法及系统 |
| CN111986075A (zh) * | 2020-08-12 | 2020-11-24 | 兰州交通大学 | 一种目标边缘清晰化的风格迁移方法 |
| CN112102167A (zh) * | 2020-08-31 | 2020-12-18 | 西安工程大学 | 一种基于视觉感知的图像超分辨率方法 |
| CN112969007A (zh) * | 2021-02-02 | 2021-06-15 | 东北大学 | 一种面向虚拟三维背景的视频后期制作方法 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170139572A1 (en) * | 2015-11-17 | 2017-05-18 | Adobe Systems Incorporated | Image Color and Tone Style Transfer |
| CN106952224A (zh) * | 2017-03-30 | 2017-07-14 | 电子科技大学 | 一种基于卷积神经网络的图像风格转移方法 |
| CN107705242A (zh) * | 2017-07-20 | 2018-02-16 | 广东工业大学 | 一种结合深度学习与深度感知的图像风格化迁移方法 |
| US20180082407A1 (en) * | 2016-09-22 | 2018-03-22 | Apple Inc. | Style transfer-based image content correction |
| CN108805803A (zh) * | 2018-06-13 | 2018-11-13 | 衡阳师范学院 | 一种基于语义分割与深度卷积神经网络的肖像风格迁移方法 |
| CN108961350A (zh) * | 2018-07-17 | 2018-12-07 | 北京工业大学 | 一种基于显著度匹配的画风迁移方法 |
| CN109165682A (zh) * | 2018-08-10 | 2019-01-08 | 中国地质大学（武汉） | 一种融合深度特征和显著性特征的遥感图像场景分类方法 |
| CN109636764A (zh) * | 2018-11-01 | 2019-04-16 | 上海大学 | 一种基于深度学习与显著性检测的图像风格转移方法 |
| US20200151849A1 (en) * | 2017-04-20 | 2020-05-14 | Microsoft Technology Licensing, Llc | Visual style transfer of images |
| US20200219274A1 (en) * | 2017-08-01 | 2020-07-09 | 3M Innovative Properties Company | Neural style transfer for image varietization and recognition |
-
2019
- 2019-04-26 CN CN201910345273.2A patent/CN110084741A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170139572A1 (en) * | 2015-11-17 | 2017-05-18 | Adobe Systems Incorporated | Image Color and Tone Style Transfer |
| US20180082407A1 (en) * | 2016-09-22 | 2018-03-22 | Apple Inc. | Style transfer-based image content correction |
| CN106952224A (zh) * | 2017-03-30 | 2017-07-14 | 电子科技大学 | 一种基于卷积神经网络的图像风格转移方法 |
| US20200151849A1 (en) * | 2017-04-20 | 2020-05-14 | Microsoft Technology Licensing, Llc | Visual style transfer of images |
| CN107705242A (zh) * | 2017-07-20 | 2018-02-16 | 广东工业大学 | 一种结合深度学习与深度感知的图像风格化迁移方法 |
| US20200219274A1 (en) * | 2017-08-01 | 2020-07-09 | 3M Innovative Properties Company | Neural style transfer for image varietization and recognition |
| CN108805803A (zh) * | 2018-06-13 | 2018-11-13 | 衡阳师范学院 | 一种基于语义分割与深度卷积神经网络的肖像风格迁移方法 |
| CN108961350A (zh) * | 2018-07-17 | 2018-12-07 | 北京工业大学 | 一种基于显著度匹配的画风迁移方法 |
| CN109165682A (zh) * | 2018-08-10 | 2019-01-08 | 中国地质大学（武汉） | 一种融合深度特征和显著性特征的遥感图像场景分类方法 |
| CN109636764A (zh) * | 2018-11-01 | 2019-04-16 | 上海大学 | 一种基于深度学习与显著性检测的图像风格转移方法 |
Non-Patent Citations (3)
| Title |
|---|
| XI LI, LIMING ZHAO等: "DeepSaliency: Multi-Task Deep Neural Network Model for Salient Object Detection", IEEE TRANSACTIONS ON IMAGE PROCESSING, vol. 25, no. 8, 31 August 2016 (2016-08-31), XP011615339, DOI: 10.1109/TIP.2016.2579306 * |
| 李岳云;许悦雷;马时平;史鹤欢;: "深度卷积神经网络的显著性检测", 中国图象图形学报, vol. 21, no. 1, 16 January 2016 (2016-01-16) * |
| 杨帆;李建平;李鑫;陈雷霆: "基于多任务深度卷积神经网络的显著性对象检测算法", 计算机应用, vol. 38, no. 1, 10 January 2018 (2018-01-10) * |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110570377A (zh) * | 2019-09-11 | 2019-12-13 | 辽宁工程技术大学 | 一种基于组归一化的快速图像风格迁移方法 |
| CN110991516A (zh) * | 2019-11-28 | 2020-04-10 | 哈尔滨工程大学 | 一种基于风格迁移的侧扫声呐图像目标分类方法 |
| CN111340964A (zh) * | 2020-03-05 | 2020-06-26 | 长春中国光学科学技术馆 | 一种基于迁移学习的3d模型图像的构建方法 |
| CN111340964B (zh) * | 2020-03-05 | 2023-03-24 | 长春中国光学科学技术馆 | 一种基于迁移学习的3d模型图像的构建方法 |
| CN111583352A (zh) * | 2020-04-24 | 2020-08-25 | 天津大学 | 一种用于移动终端的风格化图标智能生成方法 |
| CN111583352B (zh) * | 2020-04-24 | 2023-10-13 | 天津大学 | 一种用于移动终端的风格化图标智能生成方法 |
| CN111986075A (zh) * | 2020-08-12 | 2020-11-24 | 兰州交通大学 | 一种目标边缘清晰化的风格迁移方法 |
| CN111951359A (zh) * | 2020-08-17 | 2020-11-17 | 北京中科深智科技有限公司 | 一种基于神经网络的交互式运动控制方法及系统 |
| CN112102167A (zh) * | 2020-08-31 | 2020-12-18 | 西安工程大学 | 一种基于视觉感知的图像超分辨率方法 |
| CN112102167B (zh) * | 2020-08-31 | 2024-04-26 | 深圳市航宇数字视觉科技有限公司 | 一种基于视觉感知的图像超分辨率方法 |
| CN112969007A (zh) * | 2021-02-02 | 2021-06-15 | 东北大学 | 一种面向虚拟三维背景的视频后期制作方法 |
| CN112969007B (zh) * | 2021-02-02 | 2022-04-12 | 东北大学 | 一种面向虚拟三维背景的视频后期制作方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110084741A (zh) | 基于显著性检测和深度卷积神经网络的图像风络迁移方法 | |
| CN108805803A (zh) | 一种基于语义分割与深度卷积神经网络的肖像风格迁移方法 | |
| CN110111291A (zh) | 基于局部和全局优化融合图像卷积神经网络风格迁移方法 | |
| CN106952224B (zh) | 一种基于卷积神经网络的图像风格转移方法 | |
| CN108038821A (zh) | 一种基于生成式对抗网络的图像风格迁移方法 | |
| CN104778448B (zh) | 一种基于结构自适应卷积神经网络的人脸识别方法 | |
| CN104299263B (zh) | 一种基于单幅图像建模云场景的方法 | |
| CN111079795B (zh) | 基于cnn的分片多尺度特征融合的图像分类方法 | |
| CN106650789A (zh) | 一种基于深度lstm网络的图像描述生成方法 | |
| Hädrich et al. | Interactive modeling and authoring of climbing plants | |
| CN107798726B (zh) | 三维漫画的制作方法和装置 | |
| CN107832558B (zh) | 数字舞台创意场景智能生成方法 | |
| Liao et al. | SynthText3D: synthesizing scene text images from 3D virtual worlds | |
| CN107179077A (zh) | 一种基于elm‑lrf的自适应视觉导航方法 | |
| US20130271460A1 (en) | Apparatus and method for generating 3d tree images | |
| Zhao et al. | The application of traditional Chinese painting technique and stroke effect in digital ink painting | |
| Dollens | A system of digital-botanic architecture | |
| CN104572581A (zh) | 复解析多项式的非线性ifs迭代函数系构造分形方法 | |
| Guljajeva et al. | Psychedelic Forms-Ceramics and Physical Form in Conversation with Deep Learning | |
| Gorczyca | Motion as modern way of expressing architecture | |
| Xue | Application research of digital fractal image technology in intelligent art design | |
| Tian et al. | Research on data enhanced ancient pictogram recognition method based on convolutional neural network | |
| Chen et al. | An automatic skinning method for real-time deformation | |
| McCormack | Codeform: A balancing act between variation and utility in evolutionary art | |
| Huang et al. | Interactive GA flock brush for non-photorealistic rendering |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |