CN112884682A - 一种基于匹配与融合的立体图像颜色校正方法及系统 - Google Patents
一种基于匹配与融合的立体图像颜色校正方法及系统 Download PDFInfo
- Publication number
- CN112884682A CN112884682A CN202110022806.0A CN202110022806A CN112884682A CN 112884682 A CN112884682 A CN 112884682A CN 202110022806 A CN202110022806 A CN 202110022806A CN 112884682 A CN112884682 A CN 112884682A
- Authority
- CN
- China
- Prior art keywords
- image
- loss
- initial
- color correction
- fusion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012937 correction Methods 0.000 title claims abstract description 157
- 230000004927 fusion Effects 0.000 title claims abstract description 76
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000012549 training Methods 0.000 claims abstract description 35
- 230000003287 optical effect Effects 0.000 claims abstract description 28
- 230000006870 function Effects 0.000 claims description 72
- 238000010586 diagram Methods 0.000 claims description 27
- 239000011159 matrix material Substances 0.000 claims description 25
- 230000004913 activation Effects 0.000 claims description 24
- 238000000605 extraction Methods 0.000 claims description 18
- 238000004364 calculation method Methods 0.000 claims description 17
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 15
- 230000008447 perception Effects 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 15
- 238000005457 optimization Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 12
- 125000004122 cyclic group Chemical group 0.000 claims description 10
- 230000003044 adaptive effect Effects 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 8
- 238000004458 analytical method Methods 0.000 claims description 6
- 238000006073 displacement reaction Methods 0.000 claims description 6
- 238000009499 grossing Methods 0.000 claims description 6
- 230000007246 mechanism Effects 0.000 claims description 5
- 238000009423 ventilation Methods 0.000 claims description 5
- 238000005259 measurement Methods 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 3
- 238000011524 similarity measure Methods 0.000 claims description 2
- 239000011800 void material Substances 0.000 claims description 2
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 238000004422 calculation algorithm Methods 0.000 description 12
- 238000013507 mapping Methods 0.000 description 11
- 235000019587 texture Nutrition 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000013508 migration Methods 0.000 description 4
- 230000005012 migration Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000009826 distribution Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 208000006440 Open Bite Diseases 0.000 description 1
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 235000019580 granularity Nutrition 0.000 description 1
- 230000003116 impacting effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20228—Disparity calculation for image-based rendering
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于匹配与融合的立体图像颜色校正方法及系统,该方法包括:S1、建立包括无失真立体图像和失真立体图像的训练集;S2、构建基于视差注意力的颜色校正初始模型及其损失函数,训练得到训练好的颜色校正初始模型,利用其对目标图像进行初步颜色校正得到初始校正图;S3、利用光流网络计算从初始校正图到参考图像的光流,并对参考图像进行图像变形和空洞填充得到匹配目标图;S4、构建基于U‑net模型架构的图像融合网络模型及其损失函数,训练得到训练好的图像融合网络模型;S5、利用步骤S2到S4训练好的模型对待校正的失真立体图像进行颜色校正。该方法及系统有利于快速高效地校正立体图像左右视图间的颜色差异。
Description
技术领域
本发明涉及图像处理和计算机视觉领域,特别是一种基于匹配与融合的立体图像颜色校正方法及系统。
背景技术
随着计算机视觉的飞速发展和多媒体技术的不断进步,双目立体视觉以其沉浸式视觉效果吸引了人们的广泛关注,并得以快速发展。与传统二维图像的平面感相比,双目立体视觉给人们带来了更加真实、自然而震撼的体验。在一些特定的研究中,如立体图像颜色校正、多视点视频颜色校正、全景图像拼接、遥感图像融合等,人们希望获得的图像组之间具备较好的颜色一致性。但是受摄像机参数设置与摆放位置、光源分布变化以及物体表面漫反射等不同因素的影响,相同物体在不同视点摄像机捕获到的图像中所呈现的亮度和颜色会存在一定差别。人类视觉系统可以自动调节并消除各种因素对颜色和亮度的影响,正确感知所观察物体的颜色。而计算机进行图像分析时,这种颜色差异不仅会影响到与颜色一致性有关的后期制作,在双目立体视觉中也会影响到深度信息重建,进而使观众感到视觉疲劳。因此计算机也需要这种处理图像组间颜色差异的能力,避免对其他颜色一致性相关算法的效果造成负面影响。立体图像颜色校正也因而成为一种非常重要的图像预处理技术。
颜色校正就是使用某种映射关系改变目标图像的颜色值使其具有与参考图像相似的分布,也被称为颜色迁移。可以用于消除图像组间的颜色失真,也可以用于改变目标图像的整体颜色风格,使其与参考图像一致。目前国内外已经提出了很多颜色校正算法,根据映射函数的数量来划分,颜色校正可以分为全局颜色校正算法和局部颜色校正算法两个类别。
全局颜色校正方法的映射函数通常由图像的简单统计信息计算得到,在图像色彩纹理较为简单的情况下可以得到很好的校正效果,并且具有较高的效率。但是它们在寻找最优颜色校正方案时缺乏对局部纹理信息的关注,若目标图像纹理过于复杂,算法的校正效果就无法达到要求。例如Reinhard最早提出的一种全局颜色迁移方法在无相关性的Lab颜色空间内用各通道的标准差与平均值对目标图像逐个通道进行颜色转换。Xiao等人认为Lab空间与RGB空间的转换带来了额外时间开销,为了消除这个转换过程,他们在RGB颜色空间下使用协方差矩阵转换实现了全局颜色迁移。Yao等人基于直方图提出了一种梯度保留颜色迁移算法,通过建立拉普拉斯金字塔使直方图误差和梯度误差同时最小化,以达到将参考图像的颜色映射到源图像,同时保持源图像的梯度的目的。
与全局颜色校正方法对比,局部颜色校正算法能为目标图像提供更加精确的映射关系。由于局部颜色校正对不同区域的像素使用不同的颜色映射函数,参考图像与目标图像的区域分割和对应关系匹配就成为影响算法性能非常重要的一个环节,并且对应关系匹配的稳定性和准确性也成为影响校正结果好坏的关键。例如,Zhang等人提出的主要区域映射方法先利用配准算法对图像进行重叠区域匹配,在重叠区域中通过HSV颜色空间中的颜色直方图峰值配对找出匹配的主区域,最后在每个主区域计算一个独立的映射函数。由于没有提供像素对应关系,只进行直方图的峰值匹配,该算法得到的映射函数不够准确,颜色校正结果容易出现异常的颜色值。Wang等人在2011年提出了一种基于尺度不变特征变换的颜色校正算法,通过匹配参考图像和目标图像中不同区域内的稀疏SIFT(Scale InvariantFeature Transform,SIFT)特征点,根据区域内特征点的颜色值求出各区域的颜色映射函数,再进行逐区域的颜色校正。由于稀疏特征点较少,图像中容易出现无匹配特征区域或者错误匹配区域,导致得到错误的校正结果。后来,学者们提出了一些基于稠密像素匹配的立体图像颜色校正方法,利用SIFT Flow进行参考图像与目标图像的逐像素配准,然后通过将全局颜色校正结果与配准图融合得到初始结果,最后使用不同的优化策略得到校正结果。这些方法能得到较好的局部颜色校正结果,但是耗费时间过长,且使用的图像融合策略会导致部分结果出现结构变形。
发明内容
本发明的目的在于提供一种基于匹配与融合的立体图像颜色校正方法及系统,该方法及系统有利于快速高效地校正立体图像左右视图间的颜色差异。
为实现上述目的,本发明采用的技术方案是:一种基于匹配与融合的立体图像颜色校正方法,包括以下步骤:
步骤S1:对数据集中无失真立体图像的左或右视图进行颜色失真处理,产生具有颜色差异的失真立体图像,失真立体图像中进行了颜色失真处理的视图为目标图像,另一个视图为参考图像,建立包括无失真立体图像和失真立体图像的训练集;
步骤S2:构建基于视差注意力的颜色校正初始模型及其损失函数,以参考图像和目标图像作为颜色校正初始模型的输入,在训练集上通过最小化损失函数学习颜色校正初始模型的最优参数得到训练好的颜色校正初始模型,利用颜色校正初始模型对目标图像进行初步颜色校正得到初始校正图;
步骤S3:将初始校正图和参考图像作为预训练的光流网络FlowNet2.0的输入,得到从初始校正图到参考图像的光流,并利用光流对参考图像进行图像变形和空洞填充得到匹配目标图;
步骤S4:构建基于U-net模型架构的图像融合网络模型以及适用于颜色校正的损失函数,在训练集上使用该损失函数训练图像融合网络模型,通过最小化损失函数学习图像融合网络模型的最优参数得到训练好的图像融合网络模型,将参考图像、目标图像、初始校正图和匹配目标图共同作为图像融合网络模型的输入,融合四张图像的特征得到校正结果;
步骤S5:利用步骤S2到S4训练好的模型对待校正的失真立体图像进行颜色校正。
进一步地,所述步骤S1具体包括以下步骤:
步骤S11:将无失真立体图像的左视图作为参考图像,右视图作为理想目标图像;对数据集中每幅无失真立体图像的右视图进行多种颜色失真处理,得到多幅目标图像,每幅目标图像与相应的参考图像组成参考-目标图像对,每个参考图像-目标图像对构成一幅失真立体图像,从而由每幅无失真立体图像得到多幅失真立体图像;所有无失真立体图像和失真立体图像组成训练集;
步骤S12:对训练集中的无失真立体图像和失真立体图像进行一致的尺寸调整及裁剪,即每幅失真立体图像及其对应的无失真立体图像的尺寸调整及裁剪操作使用的参数相同,从而得到新的更多的无失真立体图像和失真立体图像,将每幅失真立体图像及其对应的无失真立体图像按照参考图像-目标图像-理想目标图像对的形式存储,从而由步骤S11中的每幅无失真立体图像得到多个参考图像-目标图像-理想目标图像对,并形成新的训练集。
进一步地,所述步骤S2具体包括以下步骤:
步骤S21:构建基于视差注意力的颜色校正初始模型;首先通过共享参数的多尺度特征提取模块分别提取参考图像和目标图像具有密集像素采样率的多尺度特征,所述多尺度特征提取模块先通过卷积层和残差块进行初步特征提取,然后将提取的初步特征经过残差空洞空间金字塔模块得到多尺度特征,再经过残差块进行多尺度特征融合,接下来再经过另一组空洞空间金字塔模块和残差块进行进一步的多尺度特征提取和融合,最终得到具有丰富上下文信息和强判别力的特征表示;然后将提取出的多尺度特征同时输入视差注意力模块生成立体图像对,即参考图像-目标图像对的视差注意力图Mleft→right和Mright→left,视差注意力图可以反映出参考图像与目标图像的像素对应关系,利用视差注意力图和有效掩膜指导两张图像特征,使用1×1的卷积进行信息融合,使结果保留目标图像的结构且像素颜色与参考图像中对应位置一致;最后将融合后的特征通过残差块、像素重组(PixelShuffle)和卷积层进行图像重建得到初始校正图;
步骤S22:构建适用于颜色校正初始模型的损失函数,颜色校正初始模型的损失函数包含两个部分,分别用于辅助捕获立体图像对之间对应关系的损失和用于辅助完成颜色校正任务的损失;
辅助捕获立体图像对之间对应关系的损失主要由光度损失Lphotometric、平滑损失Lsmooth和循环损失Lcycle组成;光度损失Lphotometric使用平均绝对误差损失来进行图像间的距离度量,计算公式如下:
其中,Ileft表示输入的左视图,Iright表示输入的右视图,假设Ileft是参考图像,Iright是目标图像,对于Iright表示参考图像,Ileft表示目标图像的情况同理;符号表示批次化矩阵乘法运算,表示右视图到左视图的视差注意力图与右视图进行批次化矩阵乘法运算得到I′left,同理表示左视图到右视图的视差注意力图与左视图进行批次化矩阵乘法运算得到I′right,Vleft→right表示左视图到右视图的有效掩码,Vright→left表示右视图到左视图的有效掩码,p表示非遮挡区域的像素点,Ileft(p)和Iright(p)分别表示左视图和右视图中像素点p处的颜色值,|*|表示绝对值;上式第一项针对左视图到右视图的对应关系,第二项针对右视图到左视图的对应关系;有效掩码Vleft→right和Vright→left的计算公式如下:
其中τ是阈值,W是立体图像的宽,(i,k,j)表示视差注意力图中的像素位置;根据视差注意力机制,视差注意图上的值Mleft→right(i,k,j)表示左视图中位置(i,j)对右视图中位置(i,k)的贡献,Mright→left(i,k,j)表示右视图中位置(i,j)对左视图中位置(i,k)的贡献,由于左视图(右视图)中被遮挡的像素无法在右视图(左视图)中找到具有对应关系的像素,因此这些像素的有效掩膜Vleft→right(i,j)和Vright→left(i,j)的值被设为0,这类像素被认定为遮挡像素;
在视差注意力图Mleft→right和Mright→left上定义平滑损失Lsmooth:
其中,M∈{Mleft→right,Mright→left},上式中的第一项和第二项分别用于实现垂直注意一致性和水平注意一致性;
循环损失Lcycle为:
其中由H个单位矩阵堆叠而成,H同时也表示输入图像的高,Mleft→right→left和Mright→left→right为循环注意图;p表示非遮挡区域的像素点,Mleft→right→left(p)和Mright→left→right(p)表示循环注意图中p处的值,E(p)表示堆叠单位矩阵中p处的值,计算公式如下:
辅助完成颜色校正任务的损失主要由逐像素损失Lper-pixel和感知损失Lperceptual组成,其中逐像素损失Lper-pixel是初始校正图Iinitial与理想目标图像的均方误差损失,计算公式如下所示:
其中φi()表示预训练的VGG19网络模型的第i个激活层,Ni为第i个激活层的总元素数,||*||1表示1范数;
结合上述损失,基于视差注意力的颜色校正初始模型的损失函数如下:
L=Lper-pixel+λ1Lperceptual+λ2(Lphotometric+Lsmooth+Lcycle)
其中,λ1表示感知损失的权重,λ2用于调节辅助对应关系获取的三种损失的权重;
步骤S23:按照步骤S22的损失函数公式计算损失函数并进行反向传播,通过多次迭代最小化损失函数,在每次迭代中,训练集被分成多个批次进行分批优化,采用基于梯度方差的ADAM方法自适应控制每个参数的分批优化学习率,得到训练好的基于视差注意力的颜色校正初始模型。
进一步地,所述步骤S3具体包括以下步骤:
步骤S31:将初始校正图和参考图像作为预训练的光流网络FlowNet2.0的输入,得到从初始校正图到参考图像的逆向光流Finitial→left;
步骤S32:利用光流对参考图像进行图像变形得到初始匹配目标图I'match,计算公式如下:
I'match(x,y)=Ileft(x-u,y-v)
其中,Ileft表示参考图像,I'match表示初始匹配目标图,I(x,y)表示图像中像素点(x,y)的值,(u,v)=Finitial→left(x,y)表示像素点(x,y)的光流,其中u和v分别代表像素点(x,y)发生水平位移和垂直位移的变化率;
步骤S33:使用双线性插值对初始匹配目标图I'match进行空洞填充,得到匹配目标图Imatch。
进一步地,所述步骤S4具体包括以下步骤:
步骤S41:构建基于U-net模型架构的图像融合网络模型,首先把参考图像、目标图像、初始校正图和匹配目标图分别输入编码器进行特征提取得到对应的四个特征图,编码器的结构表示为[Conv1+LeakyReLU],[Conv2+BN],其中Conv表示卷积层,用四元组(输入通道数,输出通道数,卷积核尺寸,步长)表示卷积层的参数设置,Conv1=(3,32,5,2),Conv2=(32,64,5,2),LeakyReLU为激活函数,BN表示批标准化,编码器之间不进行参数共享;然后拼接四个特征图并输入融合层[LeakyReLU+Conv3+BN]进行特征融合,Conv3=(256,256,5,2),接着将融合后的特征输入残差块;最后使用解码器进行反卷积输出残差图,解码器结构表示为[ReLU+TConv1+BN],[ReLU+TConv2+BN],[ReLU+TConv3+BN+ReLU+Conv4],其中ReLU为激活函数,TConv表示反卷积,卷积参数设置分别为:TConv1=(512,128,5,2),TConv2=(384,128,5,2),TConv3=(256,32,5,2),Conv4=(32,3,1,1);将解码器输出的残差图与目标图像相加得到最终的校正结果图像Iresult,通过这种残差训练的方式保持结果与目标图像的结构一致性和清晰度;
步骤S42:构建图像融合网络模型适用于立体图像颜色校正的损失函数;图像融合网络模型的损失函数包括L1损失、感知损失、风格损失以及多尺度结构相似性MS-SSIM损失,其中,L1损失和多尺度结构相似性损失用于最小化理想目标图像与校正结果图像Iresult的颜色和结构不一致,感知损失和风格损失最小化参考图像Ileft与校正结果图像Iresult之间的距离度量,保持校正结果与参考图像的感知风格一致;
L1损失公式如下:
MS-SSIM损失的计算公式如下:
其中,m表示不同的图像尺度,M为最高尺度;指数αM、βm、γm用于调节不同分量的重要性,l()、c()和s()分别代表亮度、对比度以及结构三种相似性度量分量,具体计算过程如下所示:
感知损失和风格损失计算校正结果图像与参考图像之间的一致性,将校正结果图和参考图像分别输入预训练的VGG19网络模型提取激活层特征进行距离度量;感知损失的计算公式如下:
其中,Iresult为校正结果图像,Ileft为参考图像,φi()表示预训练VGG19网络的第i个激活层,Ni为第i个激活层的总元素数,||*||1表示1范数;
风格损失在预训练的VGG19网络中进行特征提取;使用四个激活层进行风格损失计算,对每一个激活层都求出格拉姆矩阵,然后对应层间计算两个格拉姆矩阵的欧式距离并累加求和,得到风格损失;具体公式如下:
结合以上四种损失函数,图像融合网络模型的损失函数如下:
上式中,α1、α2、α3和α4分别用于调节L1损失、MS-SSIM损失、感知损失和风格损失的权重;
步骤S43:按照步骤S42构建的损失函数公式计算融合损失函数并进行反向传播,通过多次迭代最小化损失函数,在每次迭代中,训练集被分成多个批次进行分批优化,采用基于梯度方差的ADAM方法自适应控制每个参数的分批优化学习率,得到训练好的图像融合网络模型。
进一步地,所述步骤S5具体包括以下步骤:
步骤S51:使用步骤S2训练好的基于视差注意力的颜色校正初始模型得到初始校正图;
步骤S52:通过步骤S3获取初始校正图和参考图像的光流图并进行图像变形和空洞填充得到匹配目标图;
步骤S53:使用步骤S4训练好的图像融合网络模型对参考图像、目标图像、初始校正图和匹配目标图进行特征融合得到校正结果。
本发明还提供了一种基于匹配与融合的立体图像颜色校正系统,包括存储器、处理器以及存储于存储器上并能够在处理器上运行的计算机程序,当处理器运行该计算机程序时,实现如上所述的方法步骤。
相较于现有技术,本发明具有以下有益效果:本发明适用于多种颜色差异类型的、不同失真程度的立体图像颜色校正,本发明首先通过基于视差注意力的立体图像颜色校正模型进行参考图像与目标图像对应关系匹配和初步颜色校正得到初始校正图,再利用基于光流的图像变形得到匹配目标图像以弥补视差注意力机制对于垂直视差和细节匹配的不足,最后融合参考图像、目标图像、初始校正图和匹配目标图得到颜色与理想目标图像更加一致,感知风格与参考图像一致,且结构保持不变的校正结果图像。整个过程都是基于卷积神经网络设计,与传统局部颜色校正算法相比,不管是效率上还是校正效果上都能得到提升。
附图说明
图1是本发明实施例的立体图像颜色校正方法实现流程图。
图2是本发明实施例的立体图像颜色校正系统的原理框图。
图3是本发明实施例中基于视差注意力的颜色校正初始模型的原理框图。
具体实施方式
下面结合附图及具体实施例对本发明作进一步的详细说明。
如图1-2所示,本发明提供了一种基于深度残差优化的立体图像颜色校正方法,包括以下步骤:
步骤S1:对数据集中无失真立体图像的左或右视图进行颜色失真处理,产生具有颜色差异的失真立体图像,失真立体图像中进行了颜色失真处理的视图为目标图像,另一个视图为参考图像,建立包括无失真立体图像和失真立体图像的训练集。具体包括以下步骤:
步骤S11:不失一般性的,将无失真立体图像的左视图作为参考图像,右视图作为理想目标图像;对数据集中每幅无失真立体图像的右视图进行多种颜色失真处理,得到多幅目标图像,每幅目标图像与相应的参考图像组成参考-目标图像对,每个参考图像-目标图像对构成一幅失真立体图像,从而由每幅无失真立体图像得到多幅失真立体图像;所有无失真立体图像和失真立体图像组成训练集。
在本实施例中,以立体图像的左视图为参考图像,进行后续处理,但并不影响该处理方法的通用性。在本发明其他实施例中,完全可以立体图像的右视图为参考图像。
在本实施例中,对无失真立体图像的右视图进行六种不同的颜色失真处理,包括修改曝光度、亮度、对比度、RG通道、色相以及饱和度,每一种失真处理方式都有低、中、高3种修改粒度,从而得到多幅目标图像。
步骤S12:对训练集中的无失真立体图像和失真立体图像进行一致的尺寸调整及裁剪,即每幅失真立体图像及其对应的无失真立体图像的尺寸调整及裁剪操作使用的参数相同,从而得到新的更多的无失真立体图像和失真立体图像,将每幅失真立体图像及其对应的无失真立体图像按照参考图像-目标图像-理想目标图像对的形式存储,从而由步骤S11中的每幅无失真立体图像得到多个参考图像-目标图像-理想目标图像对,并形成新的训练集。具体方法为:每个视图的短边缩放到400像素,长边进行相应的等比缩放,再将缩放后的立体图像随机数裁剪出多个大小为128×128的图像块,每一次裁剪时一对无失真立体图像和失真立体图像的左右视图按照统一的方式裁剪得到新的无失真立体图像和失真立体图像对,从而增加训练数据集的多样性。训练集中每一幅立体图像的尺寸为128×128。
步骤S2:如图3所示,构建基于视差注意力的颜色校正初始模型及其损失函数,以参考图像和目标图像作为颜色校正初始模型的输入,在训练集上通过最小化损失函数学习颜色校正初始模型的最优参数得到训练好的颜色校正初始模型,利用颜色校正初始模型对目标图像进行初步颜色校正得到初始校正图。具体包括以下步骤:
步骤S21:构建基于视差注意力的颜色校正初始模型;首先通过共享参数的多尺度特征提取模块分别提取参考图像和目标图像具有密集像素采样率的多尺度特征,所述多尺度特征提取模块先通过卷积层和残差块进行初步特征提取,然后将提取的初步特征经过残差空洞空间金字塔模块得到多尺度特征,再经过残差块进行多尺度特征融合,接下来再经过另一组空洞空间金字塔模块和残差块进行进一步的多尺度特征提取和融合,最终得到具有丰富上下文信息和强判别力的特征表示;然后将提取出的多尺度特征同时输入视差注意力模块生成立体图像对,即立体图像对,即参考图像-目标图像对的视差注意力图Mleft→right和Mright→left,视差注意力图可以反映出参考图像与目标图像的像素对应关系,利用视差注意力图和有效掩膜指导两张图像特征,使用1×1的卷积进行信息融合,使结果保留目标图像的结构且像素颜色与参考图像中对应位置一致;最后将融合后的特征通过残差块、像素重组(Pixel Shuffle)和卷积层进行图像重建得到初始校正图。
步骤S22:构建适用于颜色校正初始模型的损失函数,基于视差注意力的颜色校正初始模型可以看作是一个学习立体对应关系和颜色校正的多任务网络,因此颜色校正初始模型的损失函数包含两个部分,分别用于辅助捕获立体图像对之间对应关系的损失和用于辅助完成颜色校正任务的损失。
辅助捕获立体图像对之间对应关系的损失主要由光度损失Lphotometric、平滑损失Lsmooth和循环损失Lcycle组成;由视差注意力机制中的左右一致性约束可知:理想情况下,左视图到右视图的视差注意力图Mleft→right与输入的右视图Iright进行批次化矩阵乘法后可以得到左视图I′left(只适用于立体图像的非遮挡区域);根据这一性质,最小化原始输入图像Ileft和由视差注意力图运算所得图像I′left的逐像素差值,就能使该视差注意力图Mleft→right接近真实视差注意力,对于右视图到左视图的映射Mright→left同理;因此,光度损失Lphotometric使用平均绝对误差损失(MeanAbsolute Error,MAE)来进行图像间的距离度量,计算公式如下:
其中,Ileft表示输入的左视图,Iright表示输入的右视图,假设Ileft是参考图像,Iright是目标图像,对于Iright表示参考图像,Ileft表示目标图像的情况同理;符号表示批次化矩阵乘法(Batch-wise Matrix Multiplication)运算,表示右视图到左视图的视差注意力图与右视图进行批次化矩阵乘法运算得到I′left,同理表示左视图到右视图的视差注意力图与左视图进行批次化矩阵乘法运算得到I′right,Vleft→right表示左视图到右视图的有效掩码,Vright→left表示右视图到左视图的有效掩码,p表示非遮挡区域的像素点(即对应有效掩码值不为0的像素),Ileft(p)和Iright(p)分别表示左视图和右视图中像素点p处的颜色值,|*|表示绝对值;上式第一项针对左视图到右视图的对应关系,第二项针对右视图到左视图的对应关系;有效掩码Vleft→right和Vright→left的计算公式如下:
其中τ是阈值,W是立体图像的宽,(i,k,j)表示视差注意力图中的像素位置;根据视差注意力机制,视差注意图上的值Mleft→right(i,k,j)表示左视图中位置(i,j)对右视图中位置(i,k)的贡献,Mright→left(i,k,j)表示右视图中位置(i,j)对左视图中位置(i,k)的贡献,由于左视图(右视图)中被遮挡的像素无法在右视图(左视图)中找到具有对应关系的像素,因此这些像素的有效掩膜Vleft→right(i,j)和Vright→left(i,j)的值被设为0,这类像素被认定为遮挡像素。
为了使图像中纹理结构不清晰的区域产生准确一致的视差注意力,可以在视差注意力图Mleft→right和Mright→left上定义平滑损失Lsmooth:
其中,M∈{Mleft→right,Mright→left},上式中的第一项和第二项分别用于实现垂直注意一致性和水平注意一致性。
除了光度损失和平滑损失,视差注意力模块进一步引入循环损失,以实现周期一致性;循环损失Lcycle为:
其中由H个单位矩阵堆叠而成,H同时也表示输入图像的高,Mleft→right→left和Mright→left→right为循环注意图,实际上是单位矩阵;p表示非遮挡区域的像素点(即对应有效掩码值不为0的像素),Mleft→right→left(p)和Mright→left→right(p)表示循环注意图中p处的值,E(p)表示堆叠单位矩阵中p处的值,计算公式如下:
辅助完成颜色校正任务的损失主要由逐像素损失Lper-pixel和感知损失Lperceptual组成,其中逐像素损失Lper-pixel是初始校正图Iinitial与理想目标图像的均方误差(MeanSquare Error,MSE)损失,计算公式如下所示:
感知损失Lperceptual计算初始校正图Iinitial与理想目标图像在预训练的VGG19网络模型中五个激活层(relu1_1、relu2_1、relu3_1、relu4_1、relu5_1)的距离度量:
其中φi()表示预训练的VGG19网络模型的第i个激活层,Ni为第i个激活层的总元素数,||*||1表示1范数。
结合上述损失,基于视差注意力的颜色校正初始模型的损失函数如下:
L=Lper-pixel+λ1Lperceptual+λ2(Lphotometric+Lsmooth+Lcycle)
其中,λ1表示感知损失的权重,λ2用于调节辅助对应关系获取的三种损失的权重。
步骤S23:按照步骤S22的损失函数公式计算损失函数并进行反向传播,通过多次迭代最小化损失函数,在每次迭代中,训练集被分成多个批次进行分批优化,采用基于梯度方差的ADAM方法自适应控制每个参数的分批优化学习率,得到训练好的基于视差注意力的颜色校正初始模型。
步骤S3:将初始校正图和参考图像作为预训练的光流网络FlowNet2.0的输入,得到从初始校正图到参考图像的光流,并利用光流对参考图像进行图像变形和空洞填充得到匹配目标图。具体包括以下步骤:
步骤S31:将初始校正图和参考图像作为预训练的光流网络FlowNet2.0的输入,得到从初始校正图到参考图像的逆向光流Finitial→left。
步骤S32:利用光流对参考图像进行图像变形得到初始匹配目标图I'match,计算公式如下:
I'match(x,y)=Ileft(x-u,y-v)
其中,Ileft表示参考图像,I'match表示初始匹配目标图,I(x,y)表示图像中像素点(x,y)的值,(u,v)=Finitial→left(x,y)表示像素点(x,y)的光流,其中u和v分别代表像素点(x,y)发生水平位移和垂直位移的变化率。
步骤S33:使用双线性插值对初始匹配目标图I'match进行空洞填充,得到匹配目标图Imatch。
步骤S4:构建基于U-net模型架构的图像融合网络模型以及适用于颜色校正的损失函数,在训练集上使用该损失函数训练图像融合网络模型,通过最小化损失函数学习图像融合网络模型的最优参数得到训练好的图像融合网络模型,将参考图像、目标图像、初始校正图和匹配目标图共同作为图像融合网络模型的输入,融合四张图像的特征得到校正结果。具体包括以下步骤:
步骤S41:构建基于U-net模型架构的图像融合网络模型,首先把参考图像、目标图像、初始校正图和匹配目标图分别输入编码器进行特征提取得到对应的四个特征图,编码器的结构表示为[Conv1+LeakyReLU],[Conv2+BN],其中Conv表示卷积层,用四元组(输入通道数,输出通道数,卷积核尺寸,步长)表示卷积层的参数设置,Conv1=(3,32,5,2),Conv2=(32,64,5,2),LeakyReLU为激活函数,BN表示批标准化(Batch Normalization),编码器之间不进行参数共享;然后拼接四个特征图并输入融合层[LeakyReLU+Conv3+BN]进行特征融合,Conv3=(256,256,5,2),接着将融合后的特征输入残差块;最后使用解码器进行反卷积输出残差图,解码器结构表示为[ReLU+TConv1+BN],[ReLU+TConv2+BN],[ReLU+TConv3+BN+ReLU+Conv4],其中ReLU为激活函数,TConv表示反卷积,卷积参数设置分别为:TConv1=(512,128,5,2),TConv2=(384,128,5,2),TConv3=(256,32,5,2),Conv4=(32,3,1,1);从编码器到解码器之间的跳跃连接(SkipConnection)可以避免模型发生梯度爆炸和梯度消失问题,同时可以防止低层信息丢失;由于网络输出图像的值并非实际的像素值,而是预测的像素值与目标图像像素值的残差,因此将解码器输出的残差图与目标图像相加得到最终的校正结果图像Iresult,通过这种残差训练的方式保持结果与目标图像的结构一致性和清晰度。
步骤S42:构建图像融合网络模型适用于立体图像颜色校正的损失函数;图像融合网络模型的损失函数包括L1损失、感知损失、风格损失以及多尺度结构相似性MS-SSIM损失,其中,L1损失和多尺度结构相似性损失用于最小化理想目标图像与校正结果图像Iresult的颜色和结构不一致,感知损失和风格损失最小化参考图像Ileft与校正结果图像Iresult之间的距离度量,保持校正结果与参考图像的感知风格一致。
多尺度结构相似性损失对局部结构变化的感知敏感,可以更好地使图像边缘和纹理细节等高频信息保持不变,但是容易导致亮度或颜色产生偏差,而L1损失函数与之相反,可以使结果的亮度和颜色更接近理想图像,因此将L1损失和多尺度结构相似性损失两相结合互补能够得到更好的效果。L1损失公式如下:
结构相似性指标(SSIM)分别计算两幅图像的亮度相似度、对比度相似度以及结构相似度,并将三者相乘得到两张图像的相似度,贴近人类视觉系统的特性,而MS-SSIM质量评价指标通过对图像在不同尺度(分辨率)下的相似性进行评价,是对SSIM的改进。MS-SSIM损失的计算公式如下:
其中,m表示不同的图像尺度,M为最高尺度,对输入图像迭代应用低通滤波和倍数为2的下采样,输入图像原始尺度设为1,迭代进行M-1次即可得到最高图像尺度M;指数αM、βm、γm用于调节不同分量的重要性,实验中为了简化参数选择令αm=βm=γm,并且规范跨尺度参数设置使得l()、c()和s()分别代表亮度、对比度以及结构三种相似性度量分量,具体计算过程如下所示:
感知损失和风格损失计算校正结果图像与参考图像之间的一致性,将校正结果图和参考图像分别输入预训练的VGG19网络模型提取激活层特征进行距离度量;感知损失的计算公式如下:
其中,Iresult为校正结果图像,Ileft为参考图像,φi()表示预训练VGG19网络的第i个激活层,Ni为第i个激活层的总元素数,||*||1表示1范数;
风格损失可以提高校正结果和参考图像之间的风格一致性,与感知损失类似,也是在预训练的VGG19网络中进行特征提取;使用四个激活层(relu2-2、relu3-4、relu4-4、relu5-2)进行风格损失计算,对每一个激活层都求出格拉姆(Gram)矩阵,然后对应层间计算两个格拉姆矩阵的欧式距离并累加求和,得到风格损失;具体公式如下:
结合以上四种损失函数,图像融合网络模型的损失函数如下:
上式中,α1、α2、α3和α4分别用于调节L1损失、MS-SSIM损失、感知损失和风格损失的权重。
步骤S43:按照步骤S42构建的损失函数公式计算融合损失函数并进行反向传播,通过多次迭代最小化损失函数,在每次迭代中,训练集被分成多个批次进行分批优化,采用基于梯度方差的ADAM方法自适应控制每个参数的分批优化学习率,得到训练好的图像融合网络模型。
步骤S5:利用步骤S2到S4训练好的模型对待校正的失真立体图像进行颜色校正。具体包括以下步骤:
步骤S51:使用步骤S2训练好的基于视差注意力的颜色校正初始模型得到初始校正图。
步骤S52:通过步骤S3获取初始校正图和参考图像的光流图并进行图像变形和空洞填充得到匹配目标图。
步骤S53:使用步骤S4训练好的图像融合网络模型对参考图像、目标图像、初始校正图和匹配目标图进行特征融合得到校正结果。
本发明还提供了用于实现上述方法的基于匹配与融合的立体图像颜色校正系统,包括存储器、处理器以及存储于存储器上并能够在处理器上运行的计算机程序,当处理器运行该计算机程序时,实现如上所述的方法步骤。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述,仅是本发明的较佳实施例而已,并非是对本发明作其它形式的限制,任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型,仍属于本发明技术方案的保护范围。
Claims (7)
1.一种基于匹配与融合的立体图像颜色校正方法,其特征在于,包括以下步骤:
步骤S1:对数据集中无失真立体图像的左或右视图进行颜色失真处理,产生具有颜色差异的失真立体图像,失真立体图像中进行了颜色失真处理的视图为目标图像,另一个视图为参考图像,建立包括无失真立体图像和失真立体图像的训练集;
步骤S2:构建基于视差注意力的颜色校正初始模型及其损失函数,以参考图像和目标图像作为颜色校正初始模型的输入,在训练集上通过最小化损失函数学习颜色校正初始模型的最优参数得到训练好的颜色校正初始模型,利用颜色校正初始模型对目标图像进行初步颜色校正得到初始校正图;
步骤S3:将初始校正图和参考图像作为预训练的光流网络FlowNet2.0的输入,得到从初始校正图到参考图像的光流,并利用光流对参考图像进行图像变形和空洞填充得到匹配目标图;
步骤S4:构建基于U-net模型架构的图像融合网络模型以及适用于颜色校正的损失函数,在训练集上使用该损失函数训练图像融合网络模型,通过最小化损失函数学习图像融合网络模型的最优参数得到训练好的图像融合网络模型,将参考图像、目标图像、初始校正图和匹配目标图共同作为图像融合网络模型的输入,融合四张图像的特征得到校正结果;
步骤S5:利用步骤S2到S4训练好的模型对待校正的失真立体图像进行颜色校正。
2.根据权利要求1所述的一种基于匹配与融合的立体图像颜色校正方法,其特征在于,所述步骤S1具体包括以下步骤:
步骤S11:将无失真立体图像的左视图作为参考图像,右视图作为理想目标图像;对数据集中每幅无失真立体图像的右视图进行多种颜色失真处理,得到多幅目标图像,每幅目标图像与相应的参考图像组成参考-目标图像对,每个参考图像-目标图像对构成一幅失真立体图像,从而由每幅无失真立体图像得到多幅失真立体图像;所有无失真立体图像和失真立体图像组成训练集;
步骤S12:对训练集中的无失真立体图像和失真立体图像进行一致的尺寸调整及裁剪,即每幅失真立体图像及其对应的无失真立体图像的尺寸调整及裁剪操作使用的参数相同,从而得到新的更多的无失真立体图像和失真立体图像,将每幅失真立体图像及其对应的无失真立体图像按照参考图像-目标图像-理想目标图像对的形式存储,从而由步骤S11中的每幅无失真立体图像得到多个参考图像-目标图像-理想目标图像对,并形成新的训练集。
3.根据权利要求2所述的一种基于匹配与融合的立体图像颜色校正方法,其特征在于,所述步骤S2具体包括以下步骤:
步骤S21:构建基于视差注意力的颜色校正初始模型;首先通过共享参数的多尺度特征提取模块分别提取参考图像和目标图像具有密集像素采样率的多尺度特征,所述多尺度特征提取模块先通过卷积层和残差块进行初步特征提取,然后将提取的初步特征经过残差空洞空间金字塔模块得到多尺度特征,再经过残差块进行多尺度特征融合,接下来再经过另一组空洞空间金字塔模块和残差块进行进一步的多尺度特征提取和融合,最终得到具有丰富上下文信息和强判别力的特征表示;然后将提取出的多尺度特征同时输入视差注意力模块生成立体图像对,即参考图像-目标图像对的视差注意力图Mleft→right和Mright→left,视差注意力图可以反映出参考图像与目标图像的像素对应关系,利用视差注意力图和有效掩膜指导两张图像特征,使用1×1的卷积进行信息融合,使结果保留目标图像的结构且像素颜色与参考图像中对应位置一致;最后将融合后的特征通过残差块、像素重组(Pixel Shuffle)和卷积层进行图像重建得到初始校正图;
步骤S22:构建适用于颜色校正初始模型的损失函数,颜色校正初始模型的损失函数包含两个部分,分别用于辅助捕获立体图像对之间对应关系的损失和用于辅助完成颜色校正任务的损失;
辅助捕获立体图像对之间对应关系的损失主要由光度损失Lphotometric、平滑损失Lsmooth和循环损失Lcycle组成;光度损失Lphotometric使用平均绝对误差损失来进行图像间的距离度量,计算公式如下:
其中,Ileft表示输入的左视图,Iright表示输入的右视图,假设Ileft是参考图像,Iright是目标图像,对于Iright表示参考图像,Ileft表示目标图像的情况同理;符号表示批次化矩阵乘法运算,表示右视图到左视图的视差注意力图与右视图进行批次化矩阵乘法运算得到I′left,同理表示左视图到右视图的视差注意力图与左视图进行批次化矩阵乘法运算得到I′right,Vleft→right表示左视图到右视图的有效掩码,Vright→left表示右视图到左视图的有效掩码,p表示非遮挡区域的像素点,Ileft(p)和Iright(p)分别表示左视图和右视图中像素点p处的颜色值,|*|表示绝对值;上式第一项针对左视图到右视图的对应关系,第二项针对右视图到左视图的对应关系;有效掩码Vleft→right和Vright→left的计算公式如下:
其中τ是阈值,W是立体图像的宽,(i,k,j)表示视差注意力图中的像素位置;根据视差注意力机制,视差注意图上的值Mleft→right(i,k,j)表示左视图中位置(i,j)对右视图中位置(i,k)的贡献,Mright→left(i,k,j)表示右视图中位置(i,j)对左视图中位置(i,k)的贡献,由于左视图(右视图)中被遮挡的像素无法在右视图(左视图)中找到具有对应关系的像素,因此这些像素的有效掩膜Vleft→right(i,j)和Vright→left(i,j)的值被设为0,这类像素被认定为遮挡像素;
在视差注意力图Mleft→right和Mright→left上定义平滑损失Lsmooth:
其中,M∈{Mleft→right,Mright→left},上式中的第一项和第二项分别用于实现垂直注意一致性和水平注意一致性;
循环损失Lcycle为:
其中由H个单位矩阵堆叠而成,H同时也表示输入图像的高,Mleft→right→left和Mright→left→right为循环注意图;p表示非遮挡区域的像素点,Mleft→right→left(p)和Mright→left→right(p)表示循环注意图中p处的值,E(p)表示堆叠单位矩阵中p处的值,计算公式如下:
辅助完成颜色校正任务的损失主要由逐像素损失Lper-pixel和感知损失Lperceptual组成,其中逐像素损失Lper-pixel是初始校正图Iinitial与理想目标图像的均方误差损失,计算公式如下所示:
其中φi()表示预训练的VGG19网络模型的第i个激活层,Ni为第i个激活层的总元素数,||*||1表示1范数;
结合上述损失,基于视差注意力的颜色校正初始模型的损失函数如下:
L=Lper-pixel+λ1Lperceptual+λ2(Lphotometric+Lsmooth+Lcycle)
其中,λ1表示感知损失的权重,λ2用于调节辅助对应关系获取的三种损失的权重;
步骤S23:按照步骤S22的损失函数公式计算损失函数并进行反向传播,通过多次迭代最小化损失函数,在每次迭代中,训练集被分成多个批次进行分批优化,采用基于梯度方差的ADAM方法自适应控制每个参数的分批优化学习率,得到训练好的基于视差注意力的颜色校正初始模型。
4.根据权利要求3所述的一种基于匹配与融合的立体图像颜色校正方法,其特征在于,所述步骤S3具体包括以下步骤:
步骤S31:将初始校正图和参考图像作为预训练的光流网络FlowNet2.0的输入,得到从初始校正图到参考图像的逆向光流Finitial→left;
步骤S32:利用光流对参考图像进行图像变形得到初始匹配目标图I'match,计算公式如下:
I'match(x,y)=Ileft(x-u,y-v)
其中,Ileft表示参考图像,I'match表示初始匹配目标图,I(x,y)表示图像中像素点(x,y)的值,(u,v)=Finitial→left(x,y)表示像素点(x,y)的光流,其中u和v分别代表像素点(x,y)发生水平位移和垂直位移的变化率;
步骤S33:使用双线性插值对初始匹配目标图I'match进行空洞填充,得到匹配目标图Imatch。
5.根据权利要求4所述的一种基于匹配与融合的立体图像颜色校正方法,其特征在于,所述步骤S4具体包括以下步骤:
步骤S41:构建基于U-net模型架构的图像融合网络模型,首先把参考图像、目标图像、初始校正图和匹配目标图分别输入编码器进行特征提取得到对应的四个特征图,编码器的结构表示为[Conv1+LeakyReLU],[Conv2+BN],其中Conv表示卷积层,用四元组(输入通道数,输出通道数,卷积核尺寸,步长)表示卷积层的参数设置,Conv1=(3,32,5,2),Conv2=(32,64,5,2),LeakyReLU为激活函数,BN表示批标准化,编码器之间不进行参数共享;然后拼接四个特征图并输入融合层[LeakyReLU+Conv3+BN]进行特征融合,Conv3=(256,256,5,2),接着将融合后的特征输入残差块;最后使用解码器进行反卷积输出残差图,解码器结构表示为[ReLU+TConv1+BN],[ReLU+TConv2+BN],[ReLU+TConv3+BN+ReLU+Conv4],其中ReLU为激活函数,TConv表示反卷积,卷积参数设置分别为:TConv1=(512,128,5,2),TConv2=(384,128,5,2),TConv3=(256,32,5,2),Conv4=(32,3,1,1);将解码器输出的残差图与目标图像相加得到最终的校正结果图像Iresult,通过这种残差训练的方式保持结果与目标图像的结构一致性和清晰度;
步骤S42:构建图像融合网络模型适用于立体图像颜色校正的损失函数;图像融合网络模型的损失函数包括L1损失、感知损失、风格损失以及多尺度结构相似性MS-SSIM损失,其中,L1损失和多尺度结构相似性损失用于最小化理想目标图像与校正结果图像Iresult的颜色和结构不一致,感知损失和风格损失最小化参考图像Ileft与校正结果图像Iresult之间的距离度量,保持校正结果与参考图像的感知风格一致;
L1损失公式如下:
MS-SSIM损失的计算公式如下:
其中,m表示不同的图像尺度,M为最高尺度;指数αM、βm、γm用于调节不同分量的重要性,l()、c()和s()分别代表亮度、对比度以及结构三种相似性度量分量,具体计算过程如下所示:
感知损失和风格损失计算校正结果图像与参考图像之间的一致性,将校正结果图和参考图像分别输入预训练的VGG19网络模型提取激活层特征进行距离度量;感知损失的计算公式如下:
其中,Iresult为校正结果图像,Ileft为参考图像,φi()表示预训练VGG19网络的第i个激活层,Ni为第i个激活层的总元素数,||*||1表示1范数;
风格损失在预训练的VGG19网络中进行特征提取;使用四个激活层进行风格损失计算,对每一个激活层都求出格拉姆矩阵,然后对应层间计算两个格拉姆矩阵的欧式距离并累加求和,得到风格损失;具体公式如下:
结合以上四种损失函数,图像融合网络模型的损失函数如下:
上式中,α1、α2、α3和α4分别用于调节L1损失、MS-SSIM损失、感知损失和风格损失的权重;
步骤S43:按照步骤S42构建的损失函数公式计算融合损失函数并进行反向传播,通过多次迭代最小化损失函数,在每次迭代中,训练集被分成多个批次进行分批优化,采用基于梯度方差的ADAM方法自适应控制每个参数的分批优化学习率,得到训练好的图像融合网络模型。
6.根据权利要求5所述的一种基于匹配与融合的立体图像颜色校正方法,其特征在于,所述步骤S5具体包括以下步骤:
步骤S51:使用步骤S2训练好的基于视差注意力的颜色校正初始模型得到初始校正图;
步骤S52:通过步骤S3获取初始校正图和参考图像的光流图并进行图像变形和空洞填充得到匹配目标图;
步骤S53:使用步骤S4训练好的图像融合网络模型对参考图像、目标图像、初始校正图和匹配目标图进行特征融合得到校正结果。
7.一种基于匹配与融合的立体图像颜色校正系统,其特征在于,包括存储器、处理器以及存储于存储器上并能够在处理器上运行的计算机程序,当处理器运行该计算机程序时,实现如权利要求1-6任一项所述的方法步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110022806.0A CN112884682B (zh) | 2021-01-08 | 2021-01-08 | 一种基于匹配与融合的立体图像颜色校正方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110022806.0A CN112884682B (zh) | 2021-01-08 | 2021-01-08 | 一种基于匹配与融合的立体图像颜色校正方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112884682A true CN112884682A (zh) | 2021-06-01 |
CN112884682B CN112884682B (zh) | 2023-02-21 |
Family
ID=76047147
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110022806.0A Active CN112884682B (zh) | 2021-01-08 | 2021-01-08 | 一种基于匹配与融合的立体图像颜色校正方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112884682B (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113393371A (zh) * | 2021-06-28 | 2021-09-14 | 北京百度网讯科技有限公司 | 一种图像处理方法、装置及电子设备 |
CN113506332A (zh) * | 2021-09-09 | 2021-10-15 | 北京的卢深视科技有限公司 | 目标对象识别的方法、电子设备及存储介质 |
CN113658074A (zh) * | 2021-08-16 | 2021-11-16 | 福州大学 | 基于lab颜色空间多尺度融合网络的单幅图像雨滴去除方法 |
CN114187261A (zh) * | 2021-12-07 | 2022-03-15 | 天津大学 | 一种基于多维注意力机制的无参考立体图像质量评价方法 |
CN115205710A (zh) * | 2022-09-16 | 2022-10-18 | 北京理工大学 | 一种结合色彩校正的双时相遥感图像变化检测方法 |
WO2023046136A1 (zh) * | 2021-09-27 | 2023-03-30 | 北京字跳网络技术有限公司 | 一种特征融合方法、图像去雾方法及装置 |
CN116438568A (zh) * | 2022-05-23 | 2023-07-14 | 上海玄戒技术有限公司 | 位置差异图生成方法及装置、电子设备、芯片及介质 |
CN116782041A (zh) * | 2023-05-29 | 2023-09-19 | 武汉工程大学 | 一种基于液晶微透镜阵列的图像质量提高方法及系统 |
CN117094966A (zh) * | 2023-08-21 | 2023-11-21 | 青岛美迪康数字工程有限公司 | 基于图像扩增的舌图像识别方法、装置和计算机设备 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0440158A (ja) * | 1990-06-06 | 1992-02-10 | Seiko Instr Inc | 色補正係数算出方法 |
CN101729911A (zh) * | 2009-12-23 | 2010-06-09 | 宁波大学 | 一种基于视觉感知的多视点图像颜色校正方法 |
JP2016021603A (ja) * | 2014-07-11 | 2016-02-04 | 株式会社東芝 | 電子機器、方法及びプログラム |
CN109671124A (zh) * | 2018-12-27 | 2019-04-23 | 湖南师范大学 | 一种矿物浮选泡沫图像颜色校正方法及泡沫颜色检测系统 |
CN110097609A (zh) * | 2019-04-04 | 2019-08-06 | 上海凌笛数码科技有限公司 | 一种基于样本域的精细化绣花纹理迁移方法 |
CN110400275A (zh) * | 2019-07-22 | 2019-11-01 | 中电健康云科技有限公司 | 一种基于全卷积神经网络和特征金字塔的颜色校正方法 |
AU2020101501A4 (en) * | 2020-07-27 | 2020-09-03 | Shandong Jiaotong University | Image optimization system based on fitting approximation algorithm |
CN111988593A (zh) * | 2020-08-31 | 2020-11-24 | 福州大学 | 一种基于深度残差优化的立体图像颜色校正方法及系统 |
-
2021
- 2021-01-08 CN CN202110022806.0A patent/CN112884682B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0440158A (ja) * | 1990-06-06 | 1992-02-10 | Seiko Instr Inc | 色補正係数算出方法 |
CN101729911A (zh) * | 2009-12-23 | 2010-06-09 | 宁波大学 | 一种基于视觉感知的多视点图像颜色校正方法 |
JP2016021603A (ja) * | 2014-07-11 | 2016-02-04 | 株式会社東芝 | 電子機器、方法及びプログラム |
CN109671124A (zh) * | 2018-12-27 | 2019-04-23 | 湖南师范大学 | 一种矿物浮选泡沫图像颜色校正方法及泡沫颜色检测系统 |
CN110097609A (zh) * | 2019-04-04 | 2019-08-06 | 上海凌笛数码科技有限公司 | 一种基于样本域的精细化绣花纹理迁移方法 |
CN110400275A (zh) * | 2019-07-22 | 2019-11-01 | 中电健康云科技有限公司 | 一种基于全卷积神经网络和特征金字塔的颜色校正方法 |
AU2020101501A4 (en) * | 2020-07-27 | 2020-09-03 | Shandong Jiaotong University | Image optimization system based on fitting approximation algorithm |
CN111988593A (zh) * | 2020-08-31 | 2020-11-24 | 福州大学 | 一种基于深度残差优化的立体图像颜色校正方法及系统 |
Non-Patent Citations (5)
Title |
---|
XIAOHUA ZHENG ET AL.: "Color correction for stereoscopic image based on matching and optimization", 《2017 INTERNATIONAL CONFERENCE ON 3D IMMERSION (IC3D)》 * |
孟念鹏等: "一种基于SIFT的多视点视频颜色校正方法", 《电子测量技术》 * |
袁雪姣等: "面向双目立体视觉的迭代式局部颜色校正", 《计算机辅助设计与图形学学报》 * |
邵杭等: "基于并行对抗与多条件融合的生成式高分辨率图像修复", 《模式识别与人工智能》 * |
郑愈明等: "视差注意力的立体图像颜色校正方法", 《小型微型计算机系统》 * |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113393371B (zh) * | 2021-06-28 | 2024-02-27 | 北京百度网讯科技有限公司 | 一种图像处理方法、装置及电子设备 |
CN113393371A (zh) * | 2021-06-28 | 2021-09-14 | 北京百度网讯科技有限公司 | 一种图像处理方法、装置及电子设备 |
CN113658074B (zh) * | 2021-08-16 | 2023-07-28 | 福州大学 | 基于lab颜色空间多尺度融合网络的单幅图像雨滴去除方法 |
CN113658074A (zh) * | 2021-08-16 | 2021-11-16 | 福州大学 | 基于lab颜色空间多尺度融合网络的单幅图像雨滴去除方法 |
CN113506332B (zh) * | 2021-09-09 | 2021-12-17 | 北京的卢深视科技有限公司 | 目标对象识别的方法、电子设备及存储介质 |
CN113506332A (zh) * | 2021-09-09 | 2021-10-15 | 北京的卢深视科技有限公司 | 目标对象识别的方法、电子设备及存储介质 |
WO2023046136A1 (zh) * | 2021-09-27 | 2023-03-30 | 北京字跳网络技术有限公司 | 一种特征融合方法、图像去雾方法及装置 |
CN114187261A (zh) * | 2021-12-07 | 2022-03-15 | 天津大学 | 一种基于多维注意力机制的无参考立体图像质量评价方法 |
CN116438568A (zh) * | 2022-05-23 | 2023-07-14 | 上海玄戒技术有限公司 | 位置差异图生成方法及装置、电子设备、芯片及介质 |
CN115205710A (zh) * | 2022-09-16 | 2022-10-18 | 北京理工大学 | 一种结合色彩校正的双时相遥感图像变化检测方法 |
CN115205710B (zh) * | 2022-09-16 | 2022-12-09 | 北京理工大学 | 一种结合色彩校正的双时相遥感图像变化检测方法 |
CN116782041A (zh) * | 2023-05-29 | 2023-09-19 | 武汉工程大学 | 一种基于液晶微透镜阵列的图像质量提高方法及系统 |
CN116782041B (zh) * | 2023-05-29 | 2024-01-30 | 武汉工程大学 | 一种基于液晶微透镜阵列的图像质量提高方法及系统 |
CN117094966A (zh) * | 2023-08-21 | 2023-11-21 | 青岛美迪康数字工程有限公司 | 基于图像扩增的舌图像识别方法、装置和计算机设备 |
CN117094966B (zh) * | 2023-08-21 | 2024-04-05 | 青岛美迪康数字工程有限公司 | 基于图像扩增的舌图像识别方法、装置和计算机设备 |
Also Published As
Publication number | Publication date |
---|---|
CN112884682B (zh) | 2023-02-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112884682B (zh) | 一种基于匹配与融合的立体图像颜色校正方法及系统 | |
US20230334687A1 (en) | Systems and Methods for Hybrid Depth Regularization | |
CN111988593B (zh) | 一种基于深度残差优化的立体图像颜色校正方法及系统 | |
JP6438403B2 (ja) | 結合された深度キューに基づく平面視画像からの深度マップの生成 | |
Nalpantidis et al. | Stereo vision for robotic applications in the presence of non-ideal lighting conditions | |
WO2018000752A1 (zh) | 一种基于多尺度cnn和连续crf的单目图像深度估计方法 | |
JP6489551B2 (ja) | 画像のシーケンスにおいて前景を背景から分離する方法およびシステム | |
Correal et al. | Automatic expert system for 3D terrain reconstruction based on stereo vision and histogram matching | |
KR20210053202A (ko) | 컴퓨터 비전 훈련 시스템 및 그 방법 | |
KR100681320B1 (ko) | 헬름홀츠 교환조건으로부터 유도되는 편미분 방정식의레벨셋 풀이 방법을 이용한 물체의 3차원 형상 모델링 방법 | |
US9883167B2 (en) | Photometric three-dimensional facial capture and relighting | |
CN110189294B (zh) | 基于深度可信度分析的rgb-d图像显著性检测方法 | |
CN113128428B (zh) | 基于深度图预测的活体检测方法和相关设备 | |
US20220343525A1 (en) | Joint depth prediction from dual-cameras and dual-pixels | |
CN109218706B (zh) | 一种由单张图像生成立体视觉图像的方法 | |
Hirner et al. | FC-DCNN: A densely connected neural network for stereo estimation | |
CN110120012A (zh) | 基于双目摄像头的同步关键帧提取的视频拼接方法 | |
CN107403448A (zh) | 代价函数生成方法和代价函数生成装置 | |
CN118247352A (zh) | 基于深度学习的双目立体匹配方法、装置、设备及介质 | |
CN107194931A (zh) | 一种基于双目图像匹配获取目标深度信息的方法和系统 | |
CN113132706A (zh) | 基于逆向映射的可控位置虚拟视点生成方法及装置 | |
Venkatesh et al. | On the application of a modified self-organizing neural network to estimate stereo disparity | |
CN117315152B (zh) | 双目立体成像方法及其系统 | |
CN111508071B (zh) | 基于双目相机的3d建模方法及拍摄终端 | |
CN115082537B (zh) | 单目自监督水下图像深度估计方法、装置及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |