CN109712081B - 一种融合深度特征的语义风格迁移方法和系统 - Google Patents
一种融合深度特征的语义风格迁移方法和系统 Download PDFInfo
- Publication number
- CN109712081B CN109712081B CN201811349865.3A CN201811349865A CN109712081B CN 109712081 B CN109712081 B CN 109712081B CN 201811349865 A CN201811349865 A CN 201811349865A CN 109712081 B CN109712081 B CN 109712081B
- Authority
- CN
- China
- Prior art keywords
- image
- style
- feature
- fusion
- semantic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000005012 migration Effects 0.000 title claims abstract description 86
- 238000013508 migration Methods 0.000 title claims abstract description 86
- 238000000034 method Methods 0.000 title claims abstract description 53
- 230000004927 fusion Effects 0.000 claims abstract description 85
- 239000011159 matrix material Substances 0.000 claims abstract description 21
- 238000009499 grossing Methods 0.000 claims abstract description 4
- 230000011218 segmentation Effects 0.000 claims description 51
- 230000006870 function Effects 0.000 claims description 29
- 238000004364 calculation method Methods 0.000 claims description 25
- 238000013136 deep learning model Methods 0.000 claims description 13
- 239000004576 sand Substances 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 230000007704 transition Effects 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims 1
- 238000012545 processing Methods 0.000 abstract description 4
- 238000012512 characterization method Methods 0.000 abstract 1
- 239000010410 layer Substances 0.000 description 12
- 238000013135 deep learning Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 239000003643 water by type Substances 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种融合深度特征的语义风格迁移方法和系统,其中方法包括:步骤1,针对内容图像和风格图像,分别处理得到对应的内容图像语义图和风格图像语义图;步骤2,计算表征内容图像和生成图像的内容特征差异的损失函数Lc;步骤3,计算表征最匹配区域对差异的损失函数Lp;步骤4,计算表征风格图像融合特征全局特征相关性矩阵和生成图像融合特征全局特征相关性矩阵差异的损失函数LGR;步骤5,计算使生成图像更加平滑的总变差损失Ltv;步骤6,顺次重复步骤2~步骤5,迭代更新生成图像像素值,直至损失函数Lc、损失函数Lp、损失函数LGR和总变差损失Ltv之和不再下降,得到最终的生成图像。本发明提供的语义风格迁移方法,能够兼顾局部和全局表现。
Description
技术领域
本发明涉及深度学习技术领域,特别是涉及一种融合深度特征的语义风格迁移方法和系统。
背景技术
首次将深度学习应用到风格迁移领域的是盖茨(Gatys)等人,他们在2015年提出了一种艺术风格神经算法,通过计算一个深度神经网络输出的各层特征的全局相关性来抽取风格图像的风格特征。但是这种方法仅考虑了特征之间的全局相关性,而忽略了局部像素之间的相似度,所以这种方法比较适用于艺术风格迁移,而对于以照片作为风格并且有严格的局部相似性要求的真实感风格迁移,往往不能得到令人满意的结果。
为了解决这个问题,在2016年,李(Li)和万德(Wand)等人结合了卷积神经网络和马尔科夫随机场(Markov Random Fields,MRFs),通过从特征图中抽取若干个patch区域,然后再用最近邻的方法匹配最相似的patch来提高风格迁移过程中的局部相似性。后来,基于这种方法,尚帕达(Champandard)在patch匹配的过程中结合了语义图约束,并大大提升了语义风格迁移的效果。
再后来,也有一些新的方法被陆续提出,如陈(Chen)和徐(Hsu)等人提供了一种利用掩膜化过程来约束空间对应和高阶样式特征统计从而进一步改善结果的另类方法;而陆(Lu)等人主要致力于解决迁移过程中的计算瓶颈,提出了一种快速的语义风格迁移方法;更近地,迈尔雷兹(Mechrez)等人提出一种可替代的上下文损失,实现了无分割方式的语义风格迁移。
总结目前语义风格迁移领域的上述方法,仍然没有一种方法能够在保持精细的局部细节相似度迁移效果的基础上还能够在全局上得到很好的表现,而这方面的研究将更有助于我们创造更加精致的风格迁移作品。
发明内容
基于此,有必要提供一种融合深度特征的语义风格迁移方法,能够在保持精细的局部细节相似度迁移效果的基础上,还能够在全局上得到很好的表现。
一种融合深度特征的语义风格迁移方法,用于将风格图像的对应语义风格迁移至内容图像,得到生成图像,包括:
步骤1,针对内容图像和风格图像,分别依次进行图像风格种类识别和语义分割,得到对应的内容图像语义图和风格图像语义图;
步骤2,选择内容图像或风格图像作为生成图像的初始图像,利用融合深度特征的深度学习模型分别提取内容图像和生成图像的内容特征,并计算表征内容图像和生成图像的内容特征差异的损失函数Lc;
步骤3,利用融合深度特征的深度学习模型分别提取风格图像和生成图像融合特征,在通道维度连接风格图像融合特征和风格图像语义图,得到连接后的特征Ss,在通道维度连接生成图像融合特征和内容图像语义图,得到连接后的特征Sg;
针对特征Ss和特征Sg,分别按预定步长提取若干区域,在特征Ss的区域集合和特征Sg的区域集合中寻找最匹配的区域对,计算表征最匹配区域对差异的损失函数Lp;
步骤4,分别计算风格图像融合特征和生成图像融合特征的全局特征相关性矩阵,然后计算表征风格图像融合特征全局特征相关性矩阵和生成图像融合特征全局特征相关性矩阵差异的损失函数LGR;
步骤5,计算使生成图像更加平滑的总变差损失Ltv;
步骤6,顺次重复步骤2~步骤5,迭代更新生成图像像素值,直至损失函数Lc、损失函数Lp、损失函数LGR和总变差损失Ltv之和不再下降,得到最终的生成图像。
所述融合深度特征的语义风格迁移方法,能够克服传统风格迁移方法在局部和全局表现上不能兼顾的缺陷,同时也在局部细节的表现上有所提升,在深度学习和风格迁移的基础上将两者结合,设计并提出了一种集成完备、操作简单的语义风格迁移方法和系统,能够根据用户提交的任意内容图像和风格图像,通过少量的人机交互手段,高度自动化地生成十分精美的风格迁移结果,可辅助用户进行高质量的艺术创作。
以下还提供了若干可选方式,但并不作为对上述总体方案的额外限定,仅仅是进一步的增补或优选,在没有技术或逻辑矛盾的前提下,各可选方式可单独针对上述总体方案进行组合,还可以是多个可选方式之间进行组合。
可选地,所述融合深度特征的深度学习模型基于VGG19模型构建,利用VGG19模型中的Conv1_1、Conv2_1、Conv3_1、Conv4_1四层卷积网络,(Convi_1表示第i个卷积块的第一个卷积层),输入图像依次经Conv1_1、Conv2_1、Conv3_1、Conv4_1后,计算得到内容特征;
对输入图像经Conv1_1的计算结果进行双线性下采样,然后与Conv2_1的输出结果进行通道连接,得到第一融合特征;对第一融合特征进行双线性下采样,然后与Conv3_1的输出结果进行通道连接,得到第二融合特征;对第二融合特征进行双线性下采样,然后与Conv4_1的输出结果进行通道连接,得到最终输出的融合特征。
可选地,损失函数Lc的计算公式如下:
式中:Fcij为内容图像的内容特征中的某一位置处的特征点,i,j为内容图像的内容特征中的特征点位置编号;
Fgij为生成图像的内容特征中的某一位置处的特征点,i,j为生成图像的内容特征中的特征点位置编号。
可选地,步骤3中,针对特征Ss和特征Sg,按步长1分别提取若干3×3的区域。
可选地,针对特征Sg的区域集合中的每个区域,使用如下归一化互相关方法寻找最匹配的区域对:
式中:Θi(Sg)为特征Sg的区域集合中的第i个区域;
Θj(Ss)为特征Ss的区域集合中的第j个区域;
ms为特征Ss的区域集合中的区域数量。
可选地,损失函数Lp的计算公式如下:
式中:Θi(Sg)为特征Sg的区域集合中的第i个区域;
ΘBM(i)(Ss)为特征Ss的区域集合中与Θi(Sg)最匹配的区域;
mg为特征Sg的区域集合中的区域数量。
可选地,风格图像融合特征的全局特征相关性矩阵和生成图像融合特征全局特征相关性矩阵计算方法相同,风格图像融合特征全局特征相关性矩阵计算方法如下:
将风格图像融合特征FSs的大小调整为N×M,其中N=c,M=h×w,h为风格图像融合特征的高,w为风格图像融合特征的宽,c为风格图像融合特征的通道数,风格图像融合特征的全局特征相关性矩阵GRs的计算公式如下:
GRs=<FSs,FSs T>。
可选地,损失函数LGR的计算公式如下:
式中:GRsij为风格图像融合特征的全局特征相关性矩阵GRs中的第i行第j列的元素;
GRgij为生成图像融合特征的全局特征相关性矩阵GRg中的第i行第j列的元素;
N=c,M=h×w,h为风格图像融合特征的高,w为风格图像融合特征的宽,c为风格图像融合特征的通道数。
可选地,总变差损失Ltv的计算公式如下:
式中:M为完成风格迁移后的生成图像;
H为完成风格迁移后的生成图像的高,i为高度方向上的像素编号;
W为完成风格迁移后的生成图像的宽,j为宽度方向上的像素编号;
C为完成风格迁移后的生成图像的通道,k为通道的编号。
一种融合深度特征的语义风格迁移系统,包括客户端和服务器,所述服务器包括存储器和处理器,所述存储器内存储有计算机程序,所述服务器从客户端获取内容图像和风格图像;所述存储器自动按类存储内容图像、风格图像和风格迁移的中间生成图像;所述处理器执行所述计算机程序时,实现所述的融合深度特征的语义风格迁移方法。
本发明提供的融合深度特征的语义风格迁移方法和系统,能够针对用户提交的任意内容图像和风格图像自动进行语义分割和风格迁移,在用户可视和可控的范围内得到精美的语义风格迁移结果,其有益效果是:
1、本发明与传统的深度学习特征提取方法相比,使用了融合特征而非单层特征,不仅能够保留更多的特征信息,而且相比较于逐层处理,直接对最终的融合特征进行处理将节省更多的计算资源和运算时间。
2、本发明与传统的深度学习风格迁移方法相比,融合了局部和全局的特征信息,不仅能够在细节风格迁移上表现得更好,而且在整体风格迁移上也有很好的表现,能够生成更加精美的风格迁移结果图像。
3、本发明与其他风格迁移应用系统相比,将耗费时间和计算资源的语义分割和风格迁移任务移交到了服务器,用户只需在客户端提交一些简单的指令即可获得精美的语义风格迁移结果,对本地客户端硬件要求低,便于用户部署和使用。
4、本发明与其他语义风格迁移应用系统相比,集成了基于深度学习的自动语义分割模型和方法,用户可交替使用全自动或半自动的方式快速、精确地按照自身需求得到语义分割结果图像。
附图说明
图1为一个实施例中融合深度特征的语义风格迁移系统的流程图;
图2为一个实施例中语义风格迁移算法的流程图;
图3为一个实施例中融合深度特征的深度学习模型的示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,一种融合深度特征的语义风格迁移系统,用于将风格图像的语义风格迁移至内容图像,包括:
图像风格种类识别采用现有技术,即利用深度学习分类模型对图像风格进行自动分类,自动判断内容图像和风格图像所属的类别,然后进行语义分割。
语义分割采用现有技术,语义分割方式包括:
(1)全自动语义分割方式:针对多种全自动端到端的深度学习语义分割模型,分别按人物、动物、山水、植物、混合等类别进行预训练,针对不同类别的图像均能达到较好的语义分割效果。
(2)半自动语义分割方式:利用半自动深度学习语义分割模型对具有少量标注的图像进行语义分割,用户可以不断提交新的标注来完善语义分割结果,一方面可以更加方便用户进行个性化的语义分割,同时对于一些复杂的图像能够达到更加精确的语义分割效果。
用户通过发送指令完成全自动语义分割,也可以通过提供标注和指令完成半自动语义分割。全自动语义分割可以和半自动语义分割结合使用,以达到更加精确的语义分割效果。用户可根据当前语义分割结果不断提交新的标注来完善语义分割结果。
如图2所示,步骤2,选择内容图像或风格图像作为生成图像的初始图像,利用融合深度特征的深度学习模型分别提取内容图像的内容特征Fc和生成图像的内容特征Fg,并计算表征内容图像和生成图像的内容特征差异的损失函数Lc。
如图3所示,在其中一个实施例中,融合深度特征的深度学习模型基于VGG19模型构建,利用VGG19模型中的Conv1_1、Conv2_1、Conv3_1、Conv4_1四层卷积网络(Convi_1表示第i个卷积块的第一个卷积层),输入图像依次经Conv1_1、Conv2_1、Conv3_1、Conv4_1后,计算得到内容特征;
对输入图像经Conv1_1的计算结果进行双线性下采样,然后与Conv2_1的输出结果进行通道连接,得到第一融合特征;对第一融合特征进行双线性下采样,然后与Conv3_1的输出结果进行通道连接,得到第二融合特征;对第二融合特征进行双线性下采样,然后与Conv4_1的输出结果进行通道连接,得到最终输出的融合特征。
融合深度特征的深度学习模型从最浅层开始,通过不断迭代融合深度神经网络中更深层次的输出特征,通过双线性插值的方式下采样中间特征,并将各层特征在通道维度连接起来从而得到融合特征。
所述的融合深度特征的深度学习模型在深度模型VGG19的基础上对其中的{Conv1_1,Conv2_1,Conv3_1,Conv4_1}四层的输出做了融合,由于各层输出的特征分辨率不同,所以使用了双线性下采样的方式来缩小浅层特征的尺寸,并通过迭代的方式不断与更深层的特征在通道维度上连接起来,从而得到最终的融合特征。同时,直接将Conv4_1层的输出特征作为内容特征,用于图2中的内容匹配过程。
利用损失函数Lc评价内容图像的内容特征Fc和生成图像的内容特征Fg的差异,损失函数Lc的计算公式如下:
式中:Fcij为内容图像的内容特征中的某一位置处的特征点,i,j为内容图像的内容特征中的特征点位置编号;
Fgij为生成图像的内容特征中的某一位置处的特征点,i,j为生成图像的内容特征中的特征点位置编号。
步骤3,利用融合深度特征的深度学习模型分别提取风格图像融合特征FSs和生成图像融合特征FSg,在通道维度连接风格图像融合特征FSs和风格图像语义图得到连接后的特征Ss,在通道维度连接生成图像融合特征FSg和内容图像语义图得到连接后的特征Sg;
针对特征Ss和特征Sg,分别按预定步长提取若干区域(即patch区域),在特征Ss的区域集合和特征Sg的区域集合中寻找最匹配的区域对,计算表征最匹配区域对差异的损失函数Lp。
在其中一个实施例中,步骤3中,针对特征Ss和特征Sg,按步长1分别提取若干3×3的区域,特征Ss的区域集合记为Θ(Ss),特征Sg的区域集合记为Θ(Sg)。
在其中一个实施例中,针对特征Sg的区域集合中的每个区域,使用如下归一化互相关方法寻找最匹配的区域对:
式中:Θi(Sg)为特征Sg的区域集合中的第i个区域;
Θj(Ss)为特征Ss的区域集合中的第j个区域;
ms为特征Ss的区域集合中的区域数量。
利用损失函数Lp评价最匹配的区域对之间的差异,在其中一个实施例中,损失函数Lp的计算公式如下:
式中:Θi(Sg)为特征Sg的区域集合中的第i个区域;
ΘBM(i)(Ss)为特征Ss的区域集合中与Θi(Sg)最匹配的区域;
mg为特征Sg的区域集合中的区域数量。
步骤4,分别计算风格图像融合特征FSg和生成图像融合特征FSg的全局特征相关性矩阵,然后计算表征风格图像融合特征全局特征相关性矩阵和生成图像融合特征全局特征相关性矩阵差异的损失函数LGR。
在其中一个实施例中,风格图像融合特征的全局特征相关性矩阵和生成图像融合特征全局特征相关性矩阵计算方法相同,风格图像融合特征全局特征相关性矩阵计算方法如下:
将风格图像融合特征FSs的大小调整为N×M,其中N=c,M=h×w,h为风格图像融合特征的高,w为风格图像融合特征的宽,c为风格图像融合特征的通道数,风格图像融合特征的全局特征相关性矩阵GRs的计算公式如下:
GRs=<FSs,FSs T>。
在其中一个实施例中,损失函数LGR的计算公式如下:
式中:GRsij为风格图像融合特征的全局特征相关性矩阵GRs中的第i行第j列的元素;
GRgij为生成图像融合特征的全局特征相关性矩阵GRg中的第i行第j列的元素;
N=c,M=h×w,h为风格图像融合特征的高,w为风格图像融合特征的宽,c为风格图像融合特征的通道数。
步骤5,计算使生成图像更加平滑的总变差损失Ltv。
在其中一个实施例中,总变差损失Ltv的计算公式如下:
式中:M为完成风格迁移后的生成图像;
H为完成风格迁移后的生成图像的高,i为高度方向上的像素编号;
W为完成风格迁移后的生成图像的宽,j为宽度方向上的像素编号;
C为完成风格迁移后的生成图像的通道,k为通道的编号。
步骤6,顺次重复步骤2~步骤5,使用拟牛顿L-BFGS算法和反向传播算法迭代更新生成图像像素值,直至损失函数Lc、损失函数Lp、损失函数LGR和总变差损失Ltv之和不再下降,即完成将风格图像的对应语义风格迁移至内容图像。
每次重复步骤2~步骤5时,会得到新的中间生成图像,再次进行步骤2~步骤5的操作时,各步骤中的生成图像均指前一次循环中得到的中间生成图像,从初始图像到最终的生成图像,会经历若干次对中间生成图像的迭代处理。
所述的融合深度特征的语义风格迁移方法可以在同一计算机设备中实现,也可以实现在具有交互的不同设备的客户端和服务器中。
在其中一个实施例中,提供了一种融合深度特征的语义风格迁移系统,包括客户端和服务器,服务器包括存储器和处理器,存储器内存储有计算机程序,服务器从客户端获取内容图像和风格图像;存储器自动按类存储内容图像、风格图像和风格迁移的中间生成图像;处理器执行计算机程序时,实现所述的融合深度特征的语义风格迁移方法。
如图1所示,每项操作后面括号内标记了执行该操作的对象(S表示服务器,C表示客户端)。当服务器机器运行服务器脚本后,允许多个客户端远程接入并同时执行操作。
所述融合深度特征的语义风格迁移系统在服务器中嵌入多种全自动或半自动端到端的深度学习语义分割模型,其中全自动的语义分割模型已分别按人物、动物、山水、植物、混合等类别进行了预训练,并可智能地根据内容图像和风格图像的种类识别结果进行对应种类的语义分割。这样做的好处是:一方面,可根据不同种类的图像单独训练语义分割模型,不仅在分割精度上有良好的保障,而且在后续系统的完善和再集成一些新种类语义分割模型上更加灵活;另一方面,对于半自动的语义分割模型,可结合用户提交的一些简单的标注来帮助完善语义分割效果,同时用户可通过观察当前结果并根据自身需求来提供新的标注从而不断提高分割精度。这种方法更加方便用户按照自身需求进行个性化的语义分割,同时对于结构复杂的图像也能够得到更加精确的分割结果。当然,用户也可以结合全自动和半自动的方式来进行更加方便和快速的语义分割。
所述融合深度特征的语义风格迁移系统的工作流程包括:
首先,客户端上传内容图像和风格图像,经过字节流传输后,服务器自动对客户端上传的内容图像和风格图像分别进行风格种类识别,并按识别后的种类将图像存储在对应数据库中;
其次,服务器根据客户端发送过来的指令或提交过来的标注进行全自动或半自动的语义分割操作,并循环执行上述操作直到满足客户端用户需求时停止,此时服务器进入等待阶段;
最后,待客户端用户发送开始指令后,服务器开始进行风格迁移操作,每经过若干轮的迭代后(此值可自行设置,一般为10),服务器将迁移结果反馈到客户端,客户端可随时发送中断指令来中止风格迁移过程,并能将当前风格迁移结果导出到本地。
一台服务器可同时服务于多台客户端,用户在客户端在线提交本地的内容图像和风格图像,并向服务器发送指令,完成对风格迁移过程的控制,服务器接收到内容图像和风格图像后,执行所述的融合深度特征的语义风格迁移方法,并将风格迁移结果返回至客户端,用户可在客户端下载并保存风格迁移的结果。
图像风格种类识别和语义分割过程均在服务器执行,服务器接收到客户端发送的指令以及对图像的标注信息后,对图像进行图像风格种类识别和语义分割操作。
所述融合深度特征的语义风格迁移系统中集成了图像风格种类识别、全自动语义分割学习模型、半自动语义分割模型等深度学习模型,通过这些高效的模型和方法相互之间的协同合作,使得整个系统能够给用户提供一套完整的、有效的和高质量的风格迁移创作服务,帮助越来越多的艺术创作者们创造更加精致、更加光彩夺目的艺术作品。
所述融合深度特征的语义风格迁移系统使用套接字(socket)协议建立服务器和客户端之间的远程连接,客户端通过字节流向服务器传输内容图像和风格图像,还可发送指令或传输一些人工标注来控制服务器进行语义分割。服务器完成语义分割后实时返回结果到客户端,用户可观察客户端界面呈现的分割结果并根据需求不断提交新的标注来继续完善结果。完成语义分割后,客户端可发送开始指令控制服务器开始进行风格迁移,服务器每进行n轮迭代(n可自主设定,一般为10),迭代结果都会返回并呈现在客户端界面,用户可随时发送中断指令来中止服务器的风格迁移过程,并且可保存当前已完成的迁移结果图到本地。
所述融合深度特征的语义风格迁移系统将耗费时间和计算资源的语义分割以及风格迁移任务交给服务器端,用户只需在客户端提交一些简单的指令即可获得精美的语义风格迁移结果。在易于用户部署和操作的基础上,能够高度自动化地生成十分精美的风格迁移结果,辅助用户进行高质量的艺术创作。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。
Claims (9)
1.一种融合深度特征的语义风格迁移方法,用于将风格图像的对应语义风格迁移至内容图像,得到生成图像,其特征在于,包括:
步骤1,针对内容图像和风格图像,分别依次进行图像风格种类识别和语义分割,得到对应的内容图像语义图和风格图像语义图;
步骤2,选择内容图像或风格图像作为生成图像的初始图像,利用融合深度特征的深度学习模型分别提取内容图像和生成图像的内容特征,并计算表征内容图像和生成图像的内容特征差异的损失函数Lc;
步骤3,利用融合深度特征的深度学习模型分别提取风格图像和生成图像融合特征,在通道维度连接风格图像融合特征和风格图像语义图,得到连接后的特征Ss,在通道维度连接生成图像融合特征和内容图像语义图,得到连接后的特征Sg;
针对特征Ss和特征Sg,分别按预定步长提取若干区域,在特征Ss的区域集合和特征Sg的区域集合中寻找最匹配的区域对,计算表征最匹配区域对差异的损失函数Lp,
损失函数Lp的计算公式如下:
式中:Θi(Sg)为特征Sg的区域集合中的第i个区域;
ΘBM(i)(Ss)为特征Ss的区域集合中与Θi(Sg)最匹配的区域;
mg为特征Sg的区域集合中的区域数量;
步骤4,分别计算风格图像融合特征和生成图像融合特征的全局特征相关性矩阵,然后计算表征风格图像融合特征全局特征相关性矩阵和生成图像融合特征全局特征相关性矩阵差异的损失函数LGR;
步骤5,计算使生成图像更加平滑的总变差损失Ltv;
步骤6,顺次重复步骤2~步骤5,迭代更新生成图像像素值,直至损失函数Lc、损失函数Lp、损失函数LGR和总变差损失Ltv之和不再下降,得到最终的生成图像。
2.如权利要求1所述的融合深度特征的语义风格迁移方法,其特征在于,所述融合深度特征的深度学习模型基于VGG19模型构建,利用VGG19模型中的Conv1_1、Conv2_1、Conv3_1、Conv4_1四层卷积网络,输入图像依次经Conv1_1、Conv2_1、Conv3_1、Conv4_1后,计算得到内容特征;
对输入图像经Conv1_1的计算结果进行双线性下采样,然后与Conv2_1的输出结果进行通道连接,得到第一融合特征;对第一融合特征进行双线性下采样,然后与Conv3_1的输出结果进行通道连接,得到第二融合特征;对第二融合特征进行双线性下采样,然后与Conv4_1的输出结果进行通道连接,得到最终输出的融合特征。
4.如权利要求1所述的融合深度特征的语义风格迁移方法,其特征在于,步骤3中,针对特征Ss和特征Sg,按步长1分别提取若干3×3的区域。
6.如权利要求1所述的融合深度特征的语义风格迁移方法,其特征在于,风格图像融合特征的全局特征相关性矩阵和生成图像融合特征全局特征相关性矩阵计算方法相同,风格图像融合特征全局特征相关性矩阵计算方法如下:
将风格图像融合特征FSs的大小调整为N×M,其中N=c,M=h×w,h为风格图像融合特征的高,w为风格图像融合特征的宽,c为风格图像融合特征的通道数,风格图像融合特征的全局特征相关性矩阵GRs的计算公式如下:
GRs=<FSs,FSs T>。
9.一种融合深度特征的语义风格迁移系统,包括客户端和服务器,所述服务器包括存储器和处理器,所述存储器内存储有计算机程序,其特征在于,所述服务器从客户端获取内容图像和风格图像;所述处理器执行所述计算机程序时,实现如权利要求1~8任一项所述的融合深度特征的语义风格迁移方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811349865.3A CN109712081B (zh) | 2018-11-14 | 2018-11-14 | 一种融合深度特征的语义风格迁移方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811349865.3A CN109712081B (zh) | 2018-11-14 | 2018-11-14 | 一种融合深度特征的语义风格迁移方法和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109712081A CN109712081A (zh) | 2019-05-03 |
CN109712081B true CN109712081B (zh) | 2021-01-29 |
Family
ID=66254817
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811349865.3A Expired - Fee Related CN109712081B (zh) | 2018-11-14 | 2018-11-14 | 一种融合深度特征的语义风格迁移方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109712081B (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110503626B (zh) * | 2019-07-09 | 2021-11-23 | 上海交通大学 | 基于空间-语义显著性约束的ct图像模态对齐方法 |
CN110399834B (zh) * | 2019-07-25 | 2021-06-15 | 北京邮电大学 | 一种基于人工智能的艺术特征迁移系统及应用 |
CN111986075B (zh) * | 2020-08-12 | 2022-08-09 | 兰州交通大学 | 一种目标边缘清晰化的风格迁移方法 |
CN112101546B (zh) * | 2020-09-01 | 2024-01-05 | 浙江大学 | 生成多样化结果的风格迁移方法、装置、计算机设备和存储介质 |
CN112102269B (zh) * | 2020-09-01 | 2024-01-05 | 浙江大学 | 计算风格迁移质量相似度的方法、装置、计算机设备和存储介质 |
CN113240573B (zh) * | 2020-10-26 | 2022-05-13 | 杭州火烧云科技有限公司 | 局部和全局并行学习的高分辨率图像风格变换方法及系统 |
CN112541856B (zh) * | 2020-12-07 | 2022-05-03 | 重庆邮电大学 | 一种结合马尔科夫场和格拉姆矩阵特征的医学类图像风格迁移方法 |
CN112950454B (zh) * | 2021-01-25 | 2023-01-24 | 西安电子科技大学 | 一种基于多尺度语义匹配的图像风格迁移方法 |
CN113419342A (zh) * | 2021-07-01 | 2021-09-21 | 重庆邮电大学 | 一种基于深度学习的自由照明光学设计方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107977414A (zh) * | 2017-11-22 | 2018-05-01 | 西安财经学院 | 基于深度学习的图像风格迁移方法及其系统 |
CN108229478A (zh) * | 2017-06-30 | 2018-06-29 | 深圳市商汤科技有限公司 | 图像语义分割及训练方法和装置、电子设备、存储介质和程序 |
CN108470320A (zh) * | 2018-02-24 | 2018-08-31 | 中山大学 | 一种基于cnn的图像风格化方法及系统 |
CN108537720A (zh) * | 2017-03-01 | 2018-09-14 | 杭州九言科技股份有限公司 | 一种图像处理方法和装置 |
CN108734653A (zh) * | 2018-05-07 | 2018-11-02 | 商汤集团有限公司 | 图像风格转换方法及装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3507773A1 (en) * | 2016-09-02 | 2019-07-10 | Artomatix Ltd. | Systems and methods for providing convolutional neural network based image synthesis using stable and controllable parametric models, a multiscale synthesis framework and novel network architectures |
-
2018
- 2018-11-14 CN CN201811349865.3A patent/CN109712081B/zh not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108537720A (zh) * | 2017-03-01 | 2018-09-14 | 杭州九言科技股份有限公司 | 一种图像处理方法和装置 |
CN108229478A (zh) * | 2017-06-30 | 2018-06-29 | 深圳市商汤科技有限公司 | 图像语义分割及训练方法和装置、电子设备、存储介质和程序 |
CN107977414A (zh) * | 2017-11-22 | 2018-05-01 | 西安财经学院 | 基于深度学习的图像风格迁移方法及其系统 |
CN108470320A (zh) * | 2018-02-24 | 2018-08-31 | 中山大学 | 一种基于cnn的图像风格化方法及系统 |
CN108734653A (zh) * | 2018-05-07 | 2018-11-02 | 商汤集团有限公司 | 图像风格转换方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN109712081A (zh) | 2019-05-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109712081B (zh) | 一种融合深度特征的语义风格迁移方法和系统 | |
JP6891351B2 (ja) | 多特徴検索と変形に基づく人体髪型の生成方法 | |
CN109543502B (zh) | 一种基于深度多尺度神经网络的语义分割方法 | |
CN111340814B (zh) | 一种基于多模态自适应卷积的rgb-d图像语义分割方法 | |
WO2020244434A1 (zh) | 面部表情的识别方法、装置、电子设备及存储介质 | |
CN110084307B (zh) | 一种基于深度强化学习的移动机器人视觉跟随方法 | |
US9129191B2 (en) | Semantic object selection | |
CN112446302B (zh) | 一种人体姿态检测方法、系统、电子设备和存储介质 | |
CN113255813B (zh) | 一种基于特征融合的多风格图像生成方法 | |
CN113240691A (zh) | 一种基于u型网络的医学图像分割方法 | |
CN111143617A (zh) | 一种图片或视频文本描述自动生成方法及系统 | |
US20220318946A1 (en) | Method for image shape transformation based on generative adversarial network | |
CN117033609B (zh) | 文本视觉问答方法、装置、计算机设备和存储介质 | |
CN113361387A (zh) | 人脸图像融合方法及装置、存储介质及电子设备 | |
CN112966644A (zh) | 用于手势检测和手势识别的多模态多任务模型及其训练方法 | |
Deverall et al. | Using generative adversarial networks to design shoes: the preliminary steps | |
CN115291864A (zh) | 一种基于图神经网络的零碎图层检测方法及装置 | |
CN110598097A (zh) | 一种基于cnn的发型推荐系统、方法、设备及存储介质 | |
CN112561785B (zh) | 基于风格迁移的丝绸文物图像数据扩充方法 | |
CN116486112A (zh) | 一种基于轻量化跨模态融合网络的rgb-d显著性目标检测方法 | |
CN117036876A (zh) | 一种基于三维视角对齐的可泛化目标重识别模型构建方法 | |
CN112861944B (zh) | 一种基于混合模态输入的图像检索方法及装置 | |
CN116188720A (zh) | 数字人的生成方法、装置、电子设备和存储介质 | |
CN109785435A (zh) | 一种墙体重建方法及装置 | |
CN113822790B (zh) | 一种图像处理方法、装置、设备及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB03 | Change of inventor or designer information |
Inventor after: Wang Zhizhong Inventor after: Zhao Lei Inventor after: Wang Ji Inventor after: Xing Wei Inventor after: Lu Dongming Inventor before: Wang Zhizhong Inventor before: Zhao Lei Inventor before: Xing Wei Inventor before: Lu Dongming |
|
CB03 | Change of inventor or designer information | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210129 |