CN111353964B - 基于卷积神经网络的结构一致立体图像风格迁移方法 - Google Patents
基于卷积神经网络的结构一致立体图像风格迁移方法 Download PDFInfo
- Publication number
- CN111353964B CN111353964B CN202010120862.3A CN202010120862A CN111353964B CN 111353964 B CN111353964 B CN 111353964B CN 202010120862 A CN202010120862 A CN 202010120862A CN 111353964 B CN111353964 B CN 111353964B
- Authority
- CN
- China
- Prior art keywords
- image
- loss function
- view
- stylized
- right view
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000013508 migration Methods 0.000 title claims abstract description 28
- 230000005012 migration Effects 0.000 title claims abstract description 28
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 16
- 230000006870 function Effects 0.000 claims abstract description 83
- 230000011218 segmentation Effects 0.000 claims abstract description 32
- 238000013441 quality evaluation Methods 0.000 claims abstract description 7
- 238000011156 evaluation Methods 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 16
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000000638 solvent extraction Methods 0.000 claims description 6
- 238000012937 correction Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000003672 processing method Methods 0.000 claims description 3
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于卷积神经网络的结构一致立体图像风格迁移方法,包括以下步骤:S1、对输入的参考图像和立体图像的左、右视图分别进行语义分割,并提取卷积层特征;S2、分别计算参考图像和左、右视图的特征损失函数;S3、在特征损失函数中添加正则化损失函数,引入拉普拉斯惩罚项,防止图像结构失真,生成风格化后的左、右视图;S4、利用两种质量评估算法分别评估风格化后的左、右视图与输入图像的相似度,对比两个相似性度量值,用相似性度量值较高的图像来校正相似度较低的图像,获得最终的结果图像。该方法有利于在对立体图像进行风格迁移的同时保持立体结构一致性,获得风格化后结构一致的立体图像。
Description
技术领域
本发明属于图像和视频处理及计算机视觉领域,具体涉及一种基于卷积神经网络的结构一致立体图像风格迁移方法。
背景技术
立体图像和立体视频技术即将成为大众消费媒体,当前3D电影,电视和游戏逐渐开始流行起来。而且随着头戴式AR/VR眼镜和双镜头智能手机的发展,立体图像和视频技术引起了越来越多的关注,并产生了许多有趣的研究工作,例如立体图像拼接,立体图像颜色校正,立体图像风格迁移,图像/视频风格迁移和全景。在这些研究中,图像的风格迁移是一种比较有趣的研究课题,而将风格迁移运用于立体图像或视频又是当下比较新的一个研究内容。
受到卷积神经网络的启发,Gatys等人开创性的提出了一种解决方案,可以将给定图像风格自动转移到任何图像上,使该图像呈现出指定图像的风格。这种方法基于卷积神经网络,分别建立内容图像和风格图像的损失函数,通过不断地迭代使损失函数最小化,生成风格化的结果图像。尽管此方法能够产生令人满意的任意风格的结果,但由于优化过程非常耗时,不能进行实际应用。在此之后提出了许多改进或扩展算法,Johnson等人提出基于前馈CNN的模型,希望提升风格迁移的速率,该模型在不降低图像风格质量的情况下获得了实时性能,达到了实时风格迁移的目的。近年来,一些研究者花费了许多努力将单一图像神经网络风格迁移应用到了视频领域。而当前视频神经网络风格迁移的主要挑战在于如何防止由于时间不一致导致的前后帧的闪烁伪影,为了解决这个问题,Ruder等人在Gatys等人提出的算法的基础上引入了时间损失,来降低耗时,并提升时间一致性。Huang等人在训练过程中,在前馈网络中引入时间一致性,来提升视频在时间上的一致性,消除闪烁伪影。
在立体图像领域,风格迁移的主要困难在于抑制图像边缘的抽象化和保持左右视图的一致性。Lee等人提出了一种基于层的立体图像尺寸调整方法,利用图像的变形来处理左右视图的相关性。Luo等人提出了基于块的立体图像的联合搜索框架,以增强立体图像左右视图一致性。Basha等人通过考虑立体图像像素之间的可视性关系,成功地将单一图像风格迁移扩展到了立体图像。后来Northam等人提出了一种视图一致的简单图像滤镜的风格迁移算,但由于逐层对图像进行处理而造成了严重的伪影,降低了图像的质量。以上的风格迁移算法,通常都是基于绘画风格的抽象风格迁移,且不适用于立体图像,不能保持图像的结构一致性。
已有的算法在保持立体图像结构一致性和抑制图像边缘形变这两方面显示出不足。这种不一致会导致立体图像重建时的深度感知问题,并给观看者带来了3D疲劳,而图像边缘的抽象化反而会降低视觉感受。因此需要建立一种既能保持立体图像结构一致性,又能实现真实图像风格迁而非抽象化风格迁移的算法,即提出一种全新的保持立体图像结构一致性的风格迁移算法,来满足这种需求。
发明内容
本发明的目的在于提供一种基于卷积神经网络的结构一致立体图像风格迁移方法,该方法有利于在对立体图像进行风格迁移的同时保持立体结构一致性,获得风格化后结构一致的立体图像。
为实现上述目的,本发明采用的技术方案是:一种基于卷积神经网络的结构一致立体图像风格迁移方法,包括以下步骤:
步骤S1:利用deepLabV3算法对输入的参考图像和立体图像的左、右视图分别进行语义分割,然后利用VGG-19分别提取参考图像和左、右视图的卷积层特征;
步骤S2:分别计算参考图像和左、右视图的特征损失函数,以利用卷积层特征之间的近似程度来刻画图像的相似度;
步骤S3:在特征损失函数中添加正则化损失函数,引入拉普拉斯惩罚项,对图像进行边缘约束,防止图像结构失真,生成风格化后的左、右视图;
步骤S4:利用质量评估算法分别评估风格化后的左、右视图与包括参考图像和立体图像的输入图像的相似度,对比两个相似性度量值,用相似性度量值较高的图像来校正相似度较低的图像,获得最终的结果图像。
进一步地,所述步骤S1的具体方法为:首先利用deepLabV3算法分别对参考图像、左视图和右视图进行区域分割,并对三个图像中对应的分割区域采用相同的颜色进行标记,以保证三个图像分割区域相对应;然后建立一个基于VGG-19的风格化网络,依次对参考图像和左、右视图进行处理,用VGG-19分别提取各幅图像的五个卷积层特征,分别为conv1_1、conv2_1、conv3_1、conv4_1和conv5_1。
进一步地,所述步骤S2具体包括以下步骤:
步骤S21:计算左视图的特征损失函数,处理过程在左视图和参考图像对应的分割区域内进行:
在每个分割区域内,分别计算特征损失函数,每个分割区域的特征损失函数包括基于图像内容的内容特征损失函数和基于图像风格的风格特征损失函数两部分;将每个分割区域内的像素值分别设置成1,2,...,n,n表示图像的分割总数;再将参考图像和左、右视图的分割图像依次缩放至conv1_1,conv2_1,conv3_1,conv4_1和conv5_1卷积层图像对应尺寸的大小,分别得到E1,E2,E3,E4,E5分割图;然后选择左视图的conv2_1卷积层特征来计算内容特征损失函数,该层损失函数的系数αl=1,其他层的系数αl=0;而后计算风格特征损失函数,选参考图像的五个卷积层conv1_1、conv2_1、conv3_1、conv4_1和conv5_1作为风格特征,这些卷积层对应的系数均设置成βl=1,因此左视图的特征损失函数计算公式如下:
其中,L是卷积层的总数,l表示卷积神经网络的第l个卷积层,j表示第j个分割区域,n表示图像的分割区域总数;Lf是左视图的特征损失函数,是第j个分割区域的特征损失函数,是第j个分割区域的第l层的内容特征损失函数,是第j个分割区域的第l层的风格特征损失函数,和分别表示内容图像和风格图像的第j个分割区域的第l层的掩码图,和分别表示内容图像和风格图像对应的第l层的分割图的像素值,像素值为j表示该像素属于第j个分割区域;O表示输出图像,C表示内容图像,是立体图像的左、右视图中的一个,在这一步中C是左视图,在步骤S22中C是右视图,S表示风格图像,即输入的参考图像,Fl是第l层的卷积层特征,Fl(O)、Fl(C)和Fl(S)分别是输出图像、内容图像和风格图像的第l层的卷积层特征,G是Gram矩阵,G(·)=Fl[·]×Fl[·]T,αl和βl是每个卷积层特征损失的权重,γ是内容特征损失函数和风格特征损失函数之间的权重;
步骤S22:采用与步骤S21相同的处理方法计算右视图的特征损失函数,这一步的处理过程在右视图和参考图像对应的分割区域内进行。
进一步地,所述步骤S3具体包括以下步骤:
步骤S31:在左视图的特征损失函数Lf后面添加正则化损失函数,即引入一个拉普拉斯惩罚项来惩罚图像的失真,以确保在迭代传输过程中不会丢失图像的结构属性,防止图像结构失真,所述正则化损失函数用Lm表示:
其中,c表示图像RGB通道中第i个通道,Vc[O]表示输出图像第i个通道的向量化(N×1),其中N表示图像宽和高的乘积,在这一步中输出图像是左视图的输出图像,在步骤S32中输出图像是右视图的输出图像,MI表示对应图像I的拉普拉斯矩阵,I是立体图像中的左视图或右视图,在这一步中I是左视图,在步骤S32中I是右视图;
生成总损失函数,表示如下:
其中,n表示分割区域总数,θ表示特征损失函数权重;最小化以上总损失函数,生成风格化后的左视图Ils;
步骤S32:在右视图的特征损失函数中,进行与步骤S31相同的处理,生成风格化后的右视图Irs。
进一步地,所述步骤S4的具体方法为:
所述质量评估算法包括SSIM评估算法和颜色直方图评估算法,利用SSIM评估算法和颜色直方图评估算法分别评估风格化后的左、右视图与包括参考图像和立体图像的输入图像的相似度,计算方法如下:
Cκ=μ×SSIM(Ic,Iκs)+(1-μ)×D(Iκ,Iκs)
其中,Iκs表示风格化后的立体图像的左视图或右视图,κ=l时Iκs表示风格化后立体图像的左视图,κ=r时Iκs表示风格化后立体图像的右视图;SSIM(Ic,Iκs)表示参考图像Ic与立体图像风格化后的左视图或右视图Iκs之间的SSIM评估值;Iκ表示立体图像的左视图或右视图,κ=l时Iκ表示立体图像的左视图,κ=r时Iκ表示立体图像的右视图,D(Iκ,Iκs)表示立体图像的左视图或右视图Iκ与风格化后的左视图或右视图Iκs之间的像素直方图的距离,μ≤1表示权重,和表示立体图像的左视图或右视图Iκ与风格化后的左视图或右视图Iκs对应像素的直方图中第i个区间内的统计数值,m表示直方图的区间数目;
当κ=l时,Cl表示风格化后的左视图与输入图像的相似度,当κ=r时,Cr表示风格化后的右视图与输入图像的相似度;然后,比较Cl和Cr的数值,用相似性度量值较高的图像来校正相似性度量值较低的风格化图像,然后采用颜色校正结果替换风格化后相似度较低的视图,与风格化后相似度较高的视图构成风格化后结构一致的立体图像。
相较于现有技术,本发明具有以下有益效果:提出了一种基于卷积神经网络的结构一致立体图像风格迁移方法,该方法将抽象化的风格迁移应用于立体图像风格迁移,生成风格化的图像,并通过分割区域进行处理,大大降低全局算法带来的局部不一致问题,然后利用结构一致颜色校正和残差优化对风格化后的立体图像进行一致性处理,获得风格化后结构一致的立体图像,具有很强的实用性和广阔的应用前景。
附图说明
图1是本发明的方法实现流程图。
图2是本发明实施例的立体图像处理过程示意图。
具体实施方式
下面结合附图及具体实施例对本发明作进一步的详细说明。
本发明提供一种基于卷积神经网络的结构一致立体图像风格迁移方法,如图1、2所示,包括以下步骤:
步骤S1:利用deepLabV3算法对输入的参考图像和立体图像的左、右视图分别进行语义分割,然后利用VGG-19分别提取参考图像和左、右视图的卷积层特征。具体方法为:
首先利用deepLabV3算法分别对参考图像、左视图和右视图进行区域分割,并对三个图像中对应的分割区域采用相同的颜色进行标记,以保证三个图像分割区域相对应;然后建立一个基于VGG-19的风格化网络,依次对参考图像和左、右视图进行处理,用VGG-19分别提取各幅图像的五个卷积层特征,分别为conv1_1、conv2_1、conv3_1、conv4_1和conv5_1。
步骤S2:分别计算参考图像和左、右视图的特征损失函数,以利用卷积层特征之间的近似程度来刻画图像的相似度。具体包括以下步骤:
步骤S21:计算左视图的特征损失函数,处理过程在左视图和参考图像对应的分割区域内进行:
在每个分割区域内,分别计算特征损失函数,每个分割区域的特征损失函数包括基于图像内容的内容特征损失函数和基于图像风格的风格特征损失函数两部分;将每个分割区域内的像素值分别设置成1,2,...,n,n表示图像的分割总数;再将参考图像和左、右视图的分割图像依次缩放至conv1_1,conv2_1,conv3_1,conv4_1和conv5_1卷积层图像对应尺寸的大小,分别得到E1,E2,E3,E4,E5分割图;然后选择左视图的conv2_1卷积层特征来计算内容特征损失函数,该层损失函数的系数αl=1,其他层的系数αl=0;而后计算风格特征损失函数,选参考图像的五个卷积层conv1_1、conv2_1、conv3_1、conv4_1和conv5_1作为风格特征,这些卷积层对应的系数均设置成βl=1,因此左视图的特征损失函数计算公式如下:
其中,L是卷积层的总数,l表示卷积神经网络的第l个卷积层,j表示第j个分割区域,n表示图像的分割区域总数;Lf是左视图的特征损失函数,是第j个分割区域的特征损失函数,是第j个分割区域的第l层的内容特征损失函数,是第j个分割区域的第l层的风格特征损失函数,和分别表示内容图像和风格图像的第j个分割区域的第l层的掩码图,和分别表示内容图像和风格图像对应的第l层的分割图的像素值,像素值为j表示该像素属于第j个分割区域;O表示输出图像,C表示内容图像,是立体图像的左、右视图中的一个,在这一步中C是左视图,在步骤S22中C是右视图,S表示风格图像,即输入的参考图像,Fl是第l层的卷积层特征,Fl(O)、Fl(C)和Fl(S)分别是输出图像、内容图像和风格图像的第l层的卷积层特征,G是Gram矩阵,G(·)=Fl[·]×Fl[·]T,αl和βl是每个卷积层特征损失的权重,γ是内容特征损失函数和风格特征损失函数之间的权重,在本实施例中,内容特征损失函数的整体权重设置成γ=0.7。
步骤S22:采用与步骤S21相同的处理方法计算右视图的特征损失函数,这一步的处理过程在右视图和参考图像对应的分割区域内进行。
步骤S3:在特征损失函数中添加正则化损失函数,引入拉普拉斯惩罚项,对图像进行边缘约束,防止图像结构失真,生成风格化后的左、右视图。具体包括以下步骤:
步骤S31:在左视图的特征损失函数Lf后面添加正则化损失函数,即引入一个拉普拉斯惩罚项来惩罚图像的失真,以确保在迭代传输过程中不会丢失图像的结构属性,防止图像结构失真,所述正则化损失函数用Lm表示:
其中,c表示图像RGB通道中第i个通道,Vc[O]表示输出图像第i个通道的向量化(N×1),其中N表示图像宽和高的乘积,在这一步中输出图像是左视图的输出图像,在步骤S32中输出图像是右视图的输出图像,MI表示对应图像I的拉普拉斯矩阵,I是立体图像中的左视图或右视图,在这一步中I是左视图,在步骤S32中I是右视图;
为防止结果图像丢失过多的结构信息,在训练时通常会设置数值较大的系数γ和α,正则化损失函数Lm用于优化图像的边缘结构,防止图像出现边缘扭曲,并添加系数θ和λ来平衡这两部分损失函数;
生成总损失函数,表示如下:
其中,n表示分割区域总数,θ表示特征损失函数权重;最小化以上总损失函数,生成风格化后的左视图Ils。
步骤S32:在右视图的特征损失函数中,进行与步骤S31相同的处理,生成风格化后的右视图Irs。
步骤S4:利用质量评估算法分别评估风格化后的左、右视图与包括参考图像和立体图像的输入图像的相似度,对比两个相似性度量值,用相似性度量值较高的图像来校正相似度较低的图像,获得最终的结果图像。具体方法为:
所述质量评估算法包括SSIM评估算法和颜色直方图评估算法,利用SSIM评估算法(即结构相似度评估算法)和颜色直方图评估算法分别评估风格化后的左、右视图与包括参考图像和立体图像的输入图像的相似度,计算方法如下:
Cκ=μ×SSIM(Ic,Iκs)+(1-μ)×D(Iκ,Iκs)
其中,Iκs表示风格化后的立体图像的左视图或右视图,κ=l时Iκs表示风格化后立体图像的左视图,κ=r时Iκs表示风格化后立体图像的右视图;SSIM(Ic,Iκs)表示参考图像Ic与立体图像风格化后的左视图或右视图Iκs之间的SSIM评估值;Iκ表示立体图像的左视图或右视图,κ=l时Iκ表示立体图像的左视图,κ=r时Iκ表示立体图像的右视图,D(Iκ,Iκs)表示立体图像的左视图或右视图Iκ与风格化后的左视图或右视图Iκs之间的像素直方图的距离,μ≤1表示权重,和表示立体图像的左视图或右视图Iκ与风格化后的左视图或右视图Iκs对应像素的直方图中第i个区间内的统计数值,m表示直方图的区间数目;
当κ=l时,Cl表示风格化后的左视图与输入图像的相似度,当κ=r时,Cr表示风格化后的右视图与输入图像的相似度;然后,比较Cl和Cr的数值,用相似性度量值较高的图像来校正相似性度量值较低的风格化图像,所用的校正算法可以是任意的性能较好的颜色校正算法,然后采用颜色校正结果替换风格化后相似度较低的视图,与风格化后相似度较高的视图构成风格化后结构一致的立体图像。
以上是本发明的较佳实施例,凡依本发明技术方案所作的改变,所产生的功能作用未超出本发明技术方案的范围时,均属于本发明的保护范围。
Claims (4)
1.一种基于卷积神经网络的结构一致立体图像风格迁移方法,其特征在于,包括以下步骤:
步骤S1:利用deepLabV3算法对输入的参考图像和立体图像的左、右视图分别进行语义分割,然后利用VGG-19分别提取参考图像和左、右视图的卷积层特征;
步骤S2:分别计算参考图像和左、右视图的特征损失函数,以利用卷积层特征之间的近似程度来刻画图像的相似度;
步骤S3:在特征损失函数中添加正则化损失函数,引入拉普拉斯惩罚项,对图像进行边缘约束,生成风格化后的左、右视图;
步骤S4:利用质量评估算法分别评估风格化后的左、右视图与包括参考图像和立体图像的输入图像的相似度,对比两个相似性度量值,用相似性度量值较高的图像来校正相似性 度量值 较低的图像,获得最终的结果图像;
所述步骤S2具体包括以下步骤:
步骤S21:计算左视图的特征损失函数,处理过程在左视图和参考图像对应的分割区域内进行:
在每个分割区域内,分别计算特征损失函数,每个分割区域的特征损失函数包括基于图像内容的内容特征损失函数和基于图像风格的风格特征损失函数两部分;将每个分割区域内的像素值分别设置成1,2,...,n,n表示图像的分割总数;再将参考图像和左、右视图的分割图像依次缩放至conv1_1,conv2_1,conv3_1,conv4_1和conv5_1卷积层图像对应尺寸的大小,分别得到E1,E2,E3,E4,E5分割图;然后选择左视图的conv2_1卷积层特征来计算内容特征损失函数,该层损失函数的系数αl=1,其他层的系数αl=0;而后计算风格特征损失函数,选参考图像的五个卷积层conv1_1、conv2_1、conv3_1、conv4_1和conv5_1作为风格特征,这些卷积层对应的系数均设置成βl=1,因此左视图的特征损失函数计算公式如下:
其中,L是卷积层的总数,l表示卷积神经网络的第l个卷积层,j表示第j个分割区域,n表示图像的分割区域总数;Lf是左视图的特征损失函数,是第j个分割区域的特征损失函数,是第j个分割区域的第l层的内容特征损失函数,是第j个分割区域的第l层的风格特征损失函数,和分别表示内容图像和风格图像的第j个分割区域的第l层的掩码图,和分别表示内容图像和风格图像对应的第l层的分割图的像素值,像素值为j表示该像素属于第j个分割区域;O表示输出图像,C表示内容图像,是立体图像的左、右视图中的一个,在这一步中C是左视图,在步骤S22中C是右视图,S表示风格图像,即输入的参考图像,Fl是第l层的卷积层特征,Fl(O)、Fl(C)和Fl(S)分别是输出图像、内容图像和风格图像的第l层的卷积层特征,G是Gram矩阵,G(·)=Fl[·]×Fl[·]T,αl和βl是每个卷积层特征损失的权重,γ是内容特征损失函数和风格特征损失函数之间的权重;
步骤S22:采用与步骤S21相同的处理方法计算右视图的特征损失函数,这一步的处理过程在右视图和参考图像对应的分割区域内进行。
2.根据权利要求1所述的基于卷积神经网络的结构一致立体图像风格迁移方法,其特征在于,所述步骤S1的具体方法为:首先利用deepLabV3算法分别对参考图像、左视图和右视图进行区域分割,并对三个图像中对应的分割区域采用相同的颜色进行标记;然后建立一个基于VGG-19的风格化网络,依次对参考图像和左、右视图进行处理,用VGG-19分别提取各幅图像的五个卷积层特征,分别为conv1_1、conv2_1、conv3_1、conv4_1和conv5_1。
3.根据权利要求1所述的基于卷积神经网络的结构一致立体图像风格迁移方法,其特征在于,所述步骤S3具体包括以下步骤:
步骤S31:在左视图的特征损失函数Lf后面添加正则化损失函数,即引入一个拉普拉斯惩罚项来惩罚图像的失真,所述正则化损失函数用Lm表示:
其中,c表示图像RGB通道中第i个通道,Vc[O]表示输出图像第i个通道的向量化(N×1),其中N表示图像宽和高的乘积,在这一步中输出图像是左视图的输出图像,在步骤S32中输出图像是右视图的输出图像,MI表示对应图像I的拉普拉斯矩阵,I是立体图像中的左视图或右视图,在这一步中I是左视图,在步骤S32中I是右视图;
生成总损失函数,表示如下:
其中,n表示分割区域总数,θ表示特征损失函数权重;最小化以上总损失函数,生成风格化后的左视图Ils;
步骤S32:在右视图的特征损失函数中,进行与步骤S31相同的处理,生成风格化后的右视图Irs。
4.根据权利要求3所述的基于卷积神经网络的结构一致立体图像风格迁移方法,其特征在于,所述步骤S4的具体方法为:
所述质量评估算法包括SSIM评估算法和颜色直方图评估算法,利用SSIM评估算法和颜色直方图评估算法分别评估风格化后的左、右视图与包括参考图像和立体图像的输入图像的相似度,计算方法如下:
Cκ=μ×SSIM(Ic,Iκs)+(1-μ)×D(Iκ,Iκs)
其中,Iκs表示风格化后的立体图像的左视图或右视图,κ=l时Iκs表示风格化后立体图像的左视图,κ=r时Iκs表示风格化后立体图像的右视图;SSIM(Ic,Iκs)表示参考图像Ic与立体图像风格化后的左视图或右视图Iκs之间的SSIM评估值;Iκ表示立体图像的左视图或右视图,κ=l时Iκ表示立体图像的左视图,κ=r时Iκ表示立体图像的右视图,D(Iκ,Iκs)表示立体图像的左视图或右视图Iκ与风格化后的左视图或右视图Iκs之间的像素直方图的距离,μ≤1表示权重,和表示立体图像的左视图或右视图Iκ与风格化后的左视图或右视图Iκs对应像素的直方图中第i个区间内的统计数值,m表示直方图的区间数目;
当κ=l时,Cl表示风格化后的左视图与输入图像的相似度,当κ=r时,Cr表示风格化后的右视图与输入图像的相似度;然后,比较Cl和Cr的数值,用相似性度量值较高的图像来校正相似性度量值较低的风格化图像,然后采用颜色校正结果替换风格化后相似度较低的视图,与风格化后相似度较高的视图构成风格化后结构一致的立体图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010120862.3A CN111353964B (zh) | 2020-02-26 | 2020-02-26 | 基于卷积神经网络的结构一致立体图像风格迁移方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010120862.3A CN111353964B (zh) | 2020-02-26 | 2020-02-26 | 基于卷积神经网络的结构一致立体图像风格迁移方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111353964A CN111353964A (zh) | 2020-06-30 |
CN111353964B true CN111353964B (zh) | 2022-07-08 |
Family
ID=71195816
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010120862.3A Active CN111353964B (zh) | 2020-02-26 | 2020-02-26 | 基于卷积神经网络的结构一致立体图像风格迁移方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111353964B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111988593B (zh) * | 2020-08-31 | 2022-06-14 | 福州大学 | 一种基于深度残差优化的立体图像颜色校正方法及系统 |
CN112686906B (zh) * | 2020-12-25 | 2022-06-14 | 山东大学 | 基于均匀分布迁移引导的图像分割方法及系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107705242A (zh) * | 2017-07-20 | 2018-02-16 | 广东工业大学 | 一种结合深度学习与深度感知的图像风格化迁移方法 |
CN109697690A (zh) * | 2018-11-01 | 2019-04-30 | 北京达佳互联信息技术有限公司 | 图像风格迁移方法和系统 |
CN109766895A (zh) * | 2019-01-03 | 2019-05-17 | 京东方科技集团股份有限公司 | 用于图像风格迁移的卷积神经网络的训练方法和图像风格迁移方法 |
CN110166759A (zh) * | 2018-05-28 | 2019-08-23 | 腾讯科技(深圳)有限公司 | 图像的处理方法和装置、存储介质、电子装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10825219B2 (en) * | 2018-03-22 | 2020-11-03 | Northeastern University | Segmentation guided image generation with adversarial networks |
-
2020
- 2020-02-26 CN CN202010120862.3A patent/CN111353964B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107705242A (zh) * | 2017-07-20 | 2018-02-16 | 广东工业大学 | 一种结合深度学习与深度感知的图像风格化迁移方法 |
CN110166759A (zh) * | 2018-05-28 | 2019-08-23 | 腾讯科技(深圳)有限公司 | 图像的处理方法和装置、存储介质、电子装置 |
CN109697690A (zh) * | 2018-11-01 | 2019-04-30 | 北京达佳互联信息技术有限公司 | 图像风格迁移方法和系统 |
CN109766895A (zh) * | 2019-01-03 | 2019-05-17 | 京东方科技集团股份有限公司 | 用于图像风格迁移的卷积神经网络的训练方法和图像风格迁移方法 |
Non-Patent Citations (2)
Title |
---|
Partial style transfer using weakly supervised semantic segmentation;Shin Matsuo et al.;《2017 IEEE International Conference on Multimedia & Expo Workshops (ICMEW)》;20170907;第267-272页 * |
基于卷积神经网络的图像局部风格迁移;缪永伟 等;《计算机科学》;20190915;第46卷(第09期);第259-264页 * |
Also Published As
Publication number | Publication date |
---|---|
CN111353964A (zh) | 2020-06-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107492070B (zh) | 一种双通道卷积神经网络的单图像超分辨率计算方法 | |
CN108932693B (zh) | 基于人脸几何信息的人脸编辑补全方法及装置 | |
CN111784602B (zh) | 一种生成对抗网络用于图像修复的方法 | |
CN108876735A (zh) | 一种基于深度残差网络的真实图像盲去噪方法 | |
CN111739082B (zh) | 一种基于卷积神经网络的立体视觉无监督深度估计方法 | |
WO2020015330A1 (zh) | 基于增强的神经网络的图像复原方法、存储介质及系统 | |
US20190379883A1 (en) | Stereoscopic video generation method based on 3d convolution neural network | |
CN111353964B (zh) | 基于卷积神经网络的结构一致立体图像风格迁移方法 | |
CN107292842B (zh) | 基于先验约束和离群值抑制的图像去模糊方法 | |
CN110706151B (zh) | 一种面向视频的非均匀风格迁移方法 | |
CN107301635B (zh) | 一种红外图像细节增强方法与装置 | |
CN111598918B (zh) | 一种基于参考帧优选和前后景分离的视频稳像运动估计方法 | |
CN104809706B (zh) | 一种基于图像颜色平缓变化先验的单透镜计算成像方法 | |
CN107133923A (zh) | 一种基于自适应梯度稀疏模型的模糊图像非盲去模糊方法 | |
Gu et al. | Example-based color transfer with Gaussian mixture modeling | |
CN114972134A (zh) | 一种提取并融合局部和全局特征的低光图像增强方法 | |
CN107545570A (zh) | 一种半参考图的重构图像质量评价方法 | |
CN114663603B (zh) | 一种基于神经辐射场的静态对象三维网格模型生成方法 | |
Song et al. | Multi-scale joint network based on Retinex theory for low-light enhancement | |
CN109462748B (zh) | 一种基于单应性矩阵的立体视频颜色校正算法 | |
Liu et al. | Color enhancement using global parameters and local features learning | |
CN113011438B (zh) | 基于节点分类和稀疏图学习的双模态图像显著性检测方法 | |
CN111311517B (zh) | 基于抠图的颜色校正优化方法 | |
CN111010605B (zh) | 一种视频画中画窗口的显示方法 | |
Wei et al. | Facial image inpainting with deep generative model and patch search using region weight |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |