CN107203985A - 一种端到端深度学习框架下的多曝光图像融合方法 - Google Patents
一种端到端深度学习框架下的多曝光图像融合方法 Download PDFInfo
- Publication number
- CN107203985A CN107203985A CN201710353492.6A CN201710353492A CN107203985A CN 107203985 A CN107203985 A CN 107203985A CN 201710353492 A CN201710353492 A CN 201710353492A CN 107203985 A CN107203985 A CN 107203985A
- Authority
- CN
- China
- Prior art keywords
- image
- deep learning
- learning framework
- individual
- methods under
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 32
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 32
- 230000004927 fusion Effects 0.000 claims abstract description 32
- 238000012549 training Methods 0.000 claims abstract description 19
- 238000005070 sampling Methods 0.000 claims abstract description 11
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 10
- 238000000034 method Methods 0.000 claims description 32
- 238000013461 design Methods 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 18
- 238000004364 calculation method Methods 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 8
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 238000002156 mixing Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000007499 fusion processing Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000007935 neutral effect Effects 0.000 description 2
- 238000005267 amalgamation Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003707 image sharpening Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种端到端深度学习框架下的多曝光图像融合方法,包括通过训练获取参数,还包括以下步骤:将所述原始图像基于卷积神经网络进行融合处理,得到输出图像;对所述原始图像进行N下采样,得到N2个原始子图像;将N2个所述原始子图像基于卷积神经网络分别进行融合处理,得到N2个输出子图像;把N2个所述输出子图像进行合并,得到合并子图像;输出图像和合并子图像进行权重平均后生成结果融合图像。本发明利用深度学习框架,实现一种端到端的多曝光融合方法,改变了传统方式通过网络只是计算融合系数的方式,大大降低了算法的复杂性。
Description
技术领域
本发明涉及图像处理的技术领域,特别是一种端到端深度学习框架下的多曝光图像融合方法。
背景技术
在日常生活和工作中对高质量的图像具有强烈的需求,比如照片编辑,手机等便携设备的高质量成像,医用图像增强等领域。通过对多曝光图像序列进行融合理论上可以获取到细节信息丰富的高质量图像。多曝光图像融合技术已是计算机视觉领域里的一个研究热点。多曝光融合算法的最终目标是使生成的结果图像在被显示后,人类所获得的感知要和其置身于真实环境中获得的一样,即被观察图像与真实场景不但展现的信息一致,而且给人类带来的视觉感觉也要是一致的。经过处理后得到的结果图像,不仅有助于人眼对场景的辨识,而且对边缘检测、图像分割、图像锐化等数字图像后续处理和计算机视觉系统研究也具有积极的意义。这项技术弥补了普通数码摄像及显示器材的动态范围窄于现实场景的局限性,使得人们仅利用消费级数码产品就可以获得专业级的高质量图像。
由于场景亮度变化范围的影响会导致低曝光和高曝光图像的细节信息丢失严重,主要原因当采用低曝光度获取时,图像高亮区细节信息可见,但暗区的细节由于过于黑暗导致细节丢失严重;相反,用高曝光度获取图像时,暗区细节可见,但高亮区由于曝光过度信息同样会丢失。为了恢复场景更多的细节信息,产生了多曝光融合技术。多曝光融合过程可描述为:对同一场景,获取不同曝光度的图像序列,经过融合处理,提取各自的清晰信息而合成一幅新的图像,它能够有效地提高图像信息的利用率,便于人眼观察或计算机进一步处理。
传统的多曝光融合算法通常要解决两个关键问题:图像特征表示和融合规则设计。现有的融合方式大多是分别解决这两个问题以达到融合目的。数码相机在某一高动态范围场景进行成像时,由于场景中的亮度范围跨度很大,超出了其显示范围,想一次成像就把整个场景的信息获取到是非常困难的。当采用低曝光度获取时,图像高亮区细节信息可见,但暗区的细节由于过于黑暗导致细节丢失严重;相反,用高曝光度获取图像时,暗区细节可见,但高亮区由于曝光过度信息同样会丢失。为了解决这个问题,产生了多曝光融合技术,它能够很好地保留场景的细节信息。曝光融合过程可描述为:对同一场景,获取不同曝光度的图像序列,经过融合处理,提取各自的清晰信息合成一幅新的图像。它能够有效地提高图像信息的利用率,便于人眼观察或计算机进一步处理。如何设计融合规则是多曝光融合算法的核心问题。在基于空间域的融合规则里,普遍采用加权平均、最大值或最小值等规则进行图像融合处理。在设计该类融合规则时,不对源图像进行任何图像变换,也不考虑像素之间的相关性,而是直接对源图像中的各对应像素点直接进行融合处理,得到一幅新的图像。虽然这些方法具有简便、计算量小的特点,比较适用于对融合效率要求较高的应用中。但是,它们不能够较好地表现源图像中的特征,纹理细节丢失也比较严重。因此,需要对现有基于空间域的融合规则进行改进和优化,在不过多影响计算复杂度的前提下,提升图像融合的质量。
公开号为CN104112263A的发明专利公开了一种基于深度神经网络的全色图像与多光谱图像融合的方法,具体步骤如下:步骤1,构建高分辨与低分辨图像块对的训练集;步骤2,利用改进的稀疏去噪自编码器学习训练神经网络模型中第一层的初始化参数;步骤3,利用改进的稀疏去噪自编码器对神经网络进行逐层的预训练;步骤4,对经过预训练的深度神经网络的参数进行微调;步骤5,根据已知的低空间分辨的多光谱图像,利用该深度神经网络重构出高分辨的多光谱图像。该申请提出的方法步骤较多,计算复杂,而且仅能实现光谱图像的融合。不适用于普通图像。
发明内容
为了解决上述的技术问题,本发明提出利用卷积神经网络实现端到端的多曝光融合技术,卷积神经网络的输入是多幅具有不同曝光度的图像序列,经过网络直接得到一幅高质量融合结果图像。
本发明提供一种端到端深度学习框架下的多曝光图像融合方法,包括通过训练获取参数Θ,,还包括以下步骤:
步骤1:将所述原始图像基于卷积神经网络进行融合处理,得到输出图像;
步骤2:对所述原始图像进行N下采样,得到N2个原始子图像;
步骤3:将N2个所述原始子图像基于卷积神经网络分别进行融合处理,得到N2个输出子图像;
步骤4:把N2个所述输出子图像进行合并,得到合并子图像;
步骤5:生成结果融合图像。
优选的是,所述原始图像为一个图像组,包含m张曝光度不同的图像。
在上述任一方案中优选的是,所述融合处理包含以下步骤:
步骤A:灰度化输入图像序列,得到N个具有不同曝光度的图像序列,设为Y;
步骤B:进行第一卷积层设计;
步骤C:进行第二卷积层设计;
步骤D:进行重构层的设计。
在上述任一方案中优选的是,所述步骤B的计算公式为:F1(Y)=max(0,W1*Y+B1),其中W1和B1表示滤波器和偏置,W1是n1个f1×f1卷积核,可以看出W1是对原始图像序列进行n1次卷积操作,每个卷积操作采用f1×f1大小的卷积核,第一层卷积输出n1个特征图,该层可看做原始图像序列的一种非线性表示,max是非线性函数,其中f1为卷积模板的大小。
在上述任一方案中优选的是,所述步骤C的计算公式为:F2(Y)=max(0,W2*F1(Y)+B2),其中W2是一个n1×n2个f2×f2大小的卷积核,B2是第二层卷积层的偏置。
在上述任一方案中优选的是,所述步骤D的计算公式为F(Y)=W3*F2(Y)+B3,其中W3是n2个f3×f3大小的卷积核,其中B3为重构层的偏置。
在上述任一方案中优选的是,所述W1、W2、W3、B1、B2和B3通过所述参数Θ得到,计算公式为Θ={W1,W2,W3,B1,B2,B3}。
在上述任一方案中优选的是,所述参数Θ可以通过优化损失函数得到。
在上述任一方案中优选的是,所述损失函数是利用网络的重构融合图像F(Y;Θ)和标准曝光下的图像X间的最小平方误差定义的,公式定义为其中n表示训练样本的个数。
在上述任一方案中优选的是,所述损失函数的优化过程采用随机梯度下降方法实现。1.在上述任一方案中优选的是,所述随机梯度下降方法为在训练阶段,batch的大小设置为128,momentum值设为0.9,权重衰减设置为0.0005,利用下面公式进行权重更新,
其中是momentum变量,i表示迭代次数,α是学习率(0.0001为默认值),L是上面定义的损失函数,表示损失函数对权重的偏导,所述训练过程采用Caffe框架实现。
在上述任一方案中优选的是,所述步骤2还包括按照空间位置在所述图原始图像中每间隔N-1行N-1列采集一个像素。
在上述任一方案中优选的是,所述步骤2还包括把采集到的所有像素组合构成所述原始子图像。
在上述任一方案中优选的是,所述步骤4还包括把所述输出子图像按照步骤2的逆过程回填到原始位置,构成所述合并子图像。
在上述任一方案中优选的是,所述步骤五为把所述输出图像和所述合并子图像进行合并处理,得到所述结果融合图像。
在上述任一方案中优选的是,所述合并处理的方法为按照比重系数对所述输出图像和所述合并子图像进行加权平均。
本发明提出将原始图像先通过下采样方式得到多个子图像,这样可以利用原来N邻域以外更多的像素做卷积处理,可以提升融合效果。
附图说明
图1为按照本发明的端到端深度学习框架下的多曝光图像融合方法的一优选实施例的流程图。
图2为按照本发明的端到端深度学习框架下的多曝光图像融合方法的如图1所示实施例的原始低曝光图像展示图。
图2a为按照本发明的端到端深度学习框架下的多曝光图像融合方法的如图1所示实施例的原始中曝光图像展示图。
图2b为按照本发明的端到端深度学习框架下的多曝光图像融合方法的如图1所示实施例的原始高曝光图像展示图。
图2c为按照本发明的端到端深度学习框架下的多曝光图像融合方法的如图1所示实施例的输出图像展示图。
图3为按照本发明的端到端深度学习框架下的多曝光图像融合方法的如图1所示实施例的原始低曝光图像分解图。
图3a为按照本发明的端到端深度学习框架下的多曝光图像融合方法的如图1所示实施例的原始中曝光图像分解图。
图3b为按照本发明的端到端深度学习框架下的多曝光图像融合方法的如图1所示实施例的原始高曝光图像分解图。
图3c为按照本发明的端到端深度学习框架下的多曝光图像融合方法的如图1所示实施例的扩充邻域方法示意图。
图3d为按照本发明的端到端深度学习框架下的多曝光图像融合方法的如图1所示实施例的输出子图像示意图
图4为按照本发明的端到端深度学习框架下的多曝光图像融合方法的如图1所示实施例的第一卷积层中间过程图。
图5为按照本发明的端到端深度学习框架下的多曝光图像融合方法的如图1所示实施例的第二卷积层中间过程图。
图6为按照本发明的端到端深度学习框架下的多曝光图像融合方法的如图1所示实施例的重构层中间过程图。
图7为按照本发明的端到端深度学习框架下的多曝光图像融合方法的如图1所示实施例的输出子图像展示图。
图8为按照本发明的端到端深度学习框架下的多曝光图像融合方法的如图1所示实施例的合并子图像展示图。
图9为按照本发明的端到端深度学习框架下的多曝光图像融合方法的如图1所示实施例的结果融合图像展示图。
具体实施方式
下面结合附图和具体的实施例对本发明做进一步的阐述。
本申请提出利用卷积神经网络实现端到端的多曝光融合技术,卷积神经网络的输入是多幅具有不同曝光度的图像序列,经过网络直接得到一幅高质量融合结果图像。通过网络训练过程,能够能到不用曝光度的图像和真实场景图像(标准光照)之间的映射关系。
如图1所示,执行步骤100,为了学习一个端到端的映射函数F,需要通过训练获取参数Θ,以便得到参数值W1、W2、W3、B1、B2和B3。在本实施例中,参数Θ通过优化损失函数实现的,该损失函数是利用网络的重构融合图像F(Y;Θ)和标准曝光下的图像(记为X)间的的最小平方误差定义的,公式定义为:其中n表示训练样本的个数。本专利训练数据使用ImageNet上ILSVRC 2012校验集,该数据集共有50000张图像,每张图像可看做曝光度较好的自然场景图像,通过一种随机数生成机制,使其获得的数值范围在[0.4,1]之间,这样乘以原始图像,即可改变图像的亮度值,从而得到对应的低曝光图像。另外,还要产生对应的高曝光图像,随机数的范围设置在[1.2,1.8]之间。这样,每幅原始图像都可以得到对应的低曝光和高曝光图像,原始图像作为标记图像,即为上面的标记X,得到的低曝光和高曝光图像作为网络的输入。在原始图像和对应的低/高曝光图像中随机截取33×33的图像块,得到744175个“匹配对”作为训练数据。损失函数的优化过程采用随机梯度下降方法实现。在训练阶段,batch的大小设置为128,momentum值设为0.9,权重衰减设置为0.0005,利用下面公式进行权重更新:其中是momentum变量,i表示迭代次数,α是学习率(0.0001为默认值),L是上面定义的损失函数,表示损失函数对权重的偏导,训练过程采用Caffe框架实现。训练结束后,可以得到参数值W1、W2、W3、B1、B2和B3,把这些参数应用在原始图像A、B和C的融合处理中。
执行步骤110,对原始图像A、B和C进行灰度化处理并输入图像序列,得到N个具有不同曝光度的图像序列,设为Y。其中原始图像A、B和C取自同一景致,区别在于曝光度不同,其中A为低曝光图像(如图2所示),B为中曝光图像(如图2a所示),C为高曝光图像(如图2b所示)。执行步骤110,把原始图像A、B和C进行融合处理。
执行步骤120,对Y进行第一卷积层设计,其计算公式为F1(Y)=max(0,W1*Y+B1),其中W1和B1表示滤波器和偏置,W1是n1个f1×f1卷积核,可以看出W1是对原始图像序列进行n1次卷积操作,每个卷积操作采用f1×f1大小的卷积核。第一层卷积输出n1个特征图,该层可看做原始图像序列的一种非线性表示,max是非线性函数(称Rectified Linear Unit,ReLU),在本实施例中,默认n1=64,f1=5,因此,在第一层卷积输出64个特征图(如图4所示)。执行步骤130,对Y进行第二卷积层设计。在上面的第一层卷积过程中,得到了n1维的特征表示,在本层中,我们把n1维特征映射为n2维特征,其计算公式为:F2(Y)=max(0,W2*F1(Y)+B2),其中W2是一个n1×n2个f2×f2大小的卷积核,B2是第二层卷积层的偏置,在本实施例中,默认n2=32,f2=3,因此,在第二层卷积输出32个特征图(如图5所示)。执行步骤140,对Y进行重构层设计。传统的方法是针对前一层的n2个map,使用一种直接平均的方法即可生成一幅融合结果图像,即每个map的权重是相同的,这样会降低融合结果图像的对比度。本专利在该层设计一个卷积层来重构结果图像,其计算公式为F(Y)=W3*F2(Y)+B3,其中W3是n2个f3×f3大小的卷积核,默认f3=3,Y在重构层设计后输出特征图(如图6所示)。执行步骤150,输出融合处理结果,得到输出图像D(如图7所示)。
执行步骤102,把原始图像A进行下采样。得到多个子图像,这样就可以利用更多的邻域信息进行卷积操作,原始图像进行N下采样,得到N2个子图像。例如设定输入图像为16×16的图像,N=2。如图3c所示,上半部分展示了一幅16×16的图像(每个像素用不同深浅的灰色表示),给定一个像素,如果用3×3卷积核,通常情况下在进行卷积时只用到里侧黑色框中的像素进行计算。针对同一像素,在图3c的下半部分左一图中用3×3卷积操作时,对应图3c的上半部分的原始图像中1-8号像素,相对原始的内侧的黑色框中的邻域,这种方式可以增加邻域像素的影响(外侧黑色框所示)。随着N的增加,可以进一步扩大邻域像素的影响,并且这种方式不会影响网络的设计。在本实施例中,设定下采样参数N=2,对原始图像进行下采样,得到图像A-1、A-2、A-3和A-4(如图3所示),把原始图像B进行下采样,得到图像B-1、B-2、B-3和B-4(如图3a所示),把原始图像C进行下采样,得到图像C-1、C-2、C-3和C-4(如图3b所示)。执行步骤112,把A-1、A-2、A-3、A-4、B-1、B-2、B-3、B-4、C-1、C-2、C-3和C-4,分成四组,第一组是A-1、B-1和C-1,第二组是A-2、B-2和C-2,第三组是A-3、B-3和C-3,第四组是A-4、B-4和C-4,调取步骤111中训练得到的参数W1、W2、W3、B1、B2和B3,对第一组图像A-1、B-1和C-1进行灰度化处理并输入图像序列,得到N个具有不同曝光度的图像序列,设为Y。执行步骤122,对Y进行第一卷积层设计,其计算公式为F1(Y)=max(0,W1*Y+B1),其中W1和B1表示滤波器和偏置,W1是n1个f1×f1卷积核,可以看出W1是对原始图像序列进行n1次卷积操作,每个卷积操作采用f1×f1大小的卷积核。第一层卷积输出n1个特征图,该层可看做原始图像序列的一种非线性表示,max是非线性函数(称Rectified Linear Unit,ReLU),在本实施例中,默认n1=64,f1=5。执行步骤132,对Y进行第二卷积层设计。在上面的第一层卷积过程中,得到了n1维的特征表示,在本层中,我们把n1维特征映射为n2维特征,其计算公式为:F2(Y)=max(0,W2*F1(Y)+B2),其中W2是一个n1×n2个f2×f2大小的卷积核,B2是第二层卷积层的偏置,在本实施例中,默认n2=32,f2=3。执行步骤142,对Y进行重构层设计。传统的方法是针对前一层的n2个map,使用一种直接平均的方法即可生成一幅融合结果图像,即每个map的权重是相同的,这样会降低融合结果图像的对比度。本专利在该层设计一个卷积层来重构结果图像,其计算公式为F(Y)=W3*F2(Y)+B3,其中W3是n2个f3×f3大小的卷积核,默认f3=3,Y在重构层设计后输出特征图。执行步骤152,输出融合处理结果,得到输出子图像D-1(如图3d左上图所示)。分别对第二组图像A-2、B-2和C-2、第三组图像A-3、B-3和C-3、第四组图像A-4、B-4和C-4执行步骤122、步骤132、步骤142和步骤152的操作,分别得到输出子图像D-2(如图3d右上图所示)、D-3(如图3d左下图所示)和D4(如图3d右下图所示)。执行步骤162,按照下采样的逆过程,将得到的输出子图像D-1、D-2、D-3和D-4中的像素回填到原始像素位置,得到合并子图像D’(如图8所示),该图像是利用较远的邻域像素进行三层卷积得到的。
执行步骤170,把输出图像D和合并子图像D’按照一定的比重进行加权平均,在本实施例中,输出图像占70%的比重,合并子图像占30%的比重,最后获得融合结果图像(如图9所示)。
为了更好地理解本发明,以上结合本发明的具体实施例做了详细描述,但并非是对本发明的限制。凡是依据本发明的技术实质对以上实施例所做的任何简单修改,均仍属于本发明技术方案的范围。本说明书中每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言,由于其与方法实施例基本对应,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
可能以许多方式来实现本发明的方法、装置和系统。例如,可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本发明的方法和系统。用于所述方法的步骤的上述顺序仅是为了进行说明,本发明的方法的步骤不限于以上具体描述的顺序,除非以其它方式特别说明。此外,在一些实施例中,还可将本发明实施为记录在记录介质中的程序,这些程序包括用于实现根据本发明的方法的机器可读指令。因而,本发明还覆盖存储用于执行根据本发明的方法的程序的记录介质。
本发明的描述是为了示例和描述起见而给出的,而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本发明的原理和实际应用,并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。
Claims (10)
1.一种端到端深度学习框架下的多曝光图像融合方法,包括通过训练获取参数Θ,其特征在于,还包括以下步骤:
步骤1:将所述原始图像基于卷积神经网络进行融合处理,得到输出图像;
步骤2:对所述原始图像进行N下采样,得到N2个原始子图像;
步骤3:将N2个所述原始子图像基于卷积神经网络分别进行融合处理,得到N2个输出子图像;
步骤4:把N2个所述输出子图像进行合并,得到合并子图像;
步骤5:生成结果融合图像。
2.如权利要求1所述的端到端深度学习框架下的多曝光图像融合方法,其特征在于:所述原始图像为一个图像组,包含m张曝光度不同的图像。
3.如权利要求1所述的端到端深度学习框架下的多曝光图像融合方法,其特征在于:所述融合处理包含以下步骤:
步骤A:灰度化输入图像序列,得到Z个具有不同曝光度的图像序列,设为第一卷积层输入变量Y;
步骤B:进行第一卷积层设计;
步骤C:进行第二卷积层设计;
步骤D:进行重构层的设计。
4.如权利要求3所述的端到端深度学习框架下的多曝光图像融合方法,其特征在于:所述步骤B的计算公式为:F1(Y)=max(0,W1*Y+B1),其中W1和B1表示滤波器和偏置,W1是n1个f1×f1卷积核,可以看出W1是对原始图像序列进行n1次卷积操作,每个卷积操作采用f1×f1大小的卷积核,第一层卷积输出n1个特征图,该层可看做原始图像序列的一种非线性表示,max是非线性函数,其中f1为卷积模板的大小。
5.如权利要求4所述的端到端深度学习框架下的多曝光图像融合方法,其特征在于:所述步骤C的计算公式为:F2(Y)=max(0,W2*F1(Y)+B2),其中W2是一个n1×n2个f2×f2大小的卷积核,B2是第二层卷积层的偏置。
6.如权利要求5所述的端到端深度学习框架下的多曝光图像融合方法,其特征在于:所述步骤D的计算公式为F(Y)=W3*F2(Y)+B3,其中W3是n2个f3×f3大小的卷积核,其中B3为重构层的偏置。
7.如权利要求6所述的端到端深度学习框架下的多曝光图像融合方法,其特征在于:所述W1、W2、W3、B1、B2和B3通过所述参数Θ得到,计算公式为Θ={W1,W2,W3,B1,B2,B3}。
8.如权利要求7所述的端到端深度学习框架下的多曝光图像融合方法,其特征在于:所述参数Θ可以通过优化损失函数得到。
9.如权利要求8所述的端到端深度学习框架下的多曝光图像融合方法,其特征在于:所述损失函数是利用网络的重构融合图像F(Y;Θ)和标准曝光下的图像X间的最小平方误差定义的,公式定义为其中n表示训练样本的个数。
10.如权利要求9所述的端到端深度学习框架下的多曝光图像融合方法,其特征在于:所述损失函数的优化过程采用随机梯度下降方法实现。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710353492.6A CN107203985B (zh) | 2017-05-18 | 2017-05-18 | 一种端到端深度学习框架下的多曝光图像融合方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710353492.6A CN107203985B (zh) | 2017-05-18 | 2017-05-18 | 一种端到端深度学习框架下的多曝光图像融合方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107203985A true CN107203985A (zh) | 2017-09-26 |
CN107203985B CN107203985B (zh) | 2019-11-08 |
Family
ID=59906532
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710353492.6A Active CN107203985B (zh) | 2017-05-18 | 2017-05-18 | 一种端到端深度学习框架下的多曝光图像融合方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107203985B (zh) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108171679A (zh) * | 2017-12-27 | 2018-06-15 | 合肥君正科技有限公司 | 一种图像融合方法、系统及设备 |
CN108510560A (zh) * | 2018-04-11 | 2018-09-07 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、存储介质和计算机设备 |
CN109272010A (zh) * | 2018-07-27 | 2019-01-25 | 吉林大学 | 基于卷积神经网络的多尺度遥感图像融合方法 |
CN109410164A (zh) * | 2018-11-14 | 2019-03-01 | 西北工业大学 | 多尺度卷积神经网络的卫星全色与多光谱图像融合方法 |
CN109447977A (zh) * | 2018-11-02 | 2019-03-08 | 河北工业大学 | 一种基于多光谱深度卷积神经网络的视觉缺陷检测方法 |
CN109978808A (zh) * | 2019-04-25 | 2019-07-05 | 北京迈格威科技有限公司 | 一种用于图像融合的方法、装置和电子设备 |
CN110557572A (zh) * | 2018-05-31 | 2019-12-10 | 杭州海康威视数字技术股份有限公司 | 一种图像处理方法、装置及卷积神经网络系统 |
WO2020171373A1 (en) * | 2019-02-18 | 2020-08-27 | Samsung Electronics Co., Ltd. | Techniques for convolutional neural network-based multi-exposure fusion of multiple image frames and for deblurring multiple image frames |
CN111861949A (zh) * | 2020-04-21 | 2020-10-30 | 北京联合大学 | 一种基于生成对抗网络的多曝光图像融合方法及系统 |
CN112950517A (zh) * | 2021-02-25 | 2021-06-11 | 浙江光珀智能科技有限公司 | 深度相机高动态范围深度图与灰度图的融合方法及装置 |
WO2021189733A1 (zh) * | 2020-03-26 | 2021-09-30 | 深圳市商汤科技有限公司 | 图像处理方法及装置、电子设备、存储介质 |
US11430094B2 (en) | 2020-07-20 | 2022-08-30 | Samsung Electronics Co., Ltd. | Guided multi-exposure image fusion |
CN115601611A (zh) * | 2022-10-12 | 2023-01-13 | 武汉纺织大学(Cn) | 一种适应曝光变化的深度学习光谱重建方法及系统 |
US12008737B2 (en) | 2020-08-07 | 2024-06-11 | Nanotronics Imaging, Inc. | Deep learning model for noise reduction in low SNR imaging conditions |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102063712B (zh) * | 2010-11-04 | 2013-01-30 | 北京理工大学 | 基于子带结构的多曝光图像融合方法 |
CN103247036B (zh) * | 2012-02-10 | 2016-05-18 | 株式会社理光 | 多曝光图像融合方法和装置 |
CN103942807A (zh) * | 2014-05-09 | 2014-07-23 | 北京交通大学 | 一种实时处理的快速图像分块融合系统及融合方法 |
-
2017
- 2017-05-18 CN CN201710353492.6A patent/CN107203985B/zh active Active
Cited By (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108171679A (zh) * | 2017-12-27 | 2018-06-15 | 合肥君正科技有限公司 | 一种图像融合方法、系统及设备 |
CN108510560A (zh) * | 2018-04-11 | 2018-09-07 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、存储介质和计算机设备 |
CN110557572A (zh) * | 2018-05-31 | 2019-12-10 | 杭州海康威视数字技术股份有限公司 | 一种图像处理方法、装置及卷积神经网络系统 |
CN110557572B (zh) * | 2018-05-31 | 2021-04-27 | 杭州海康威视数字技术股份有限公司 | 一种图像处理方法、装置及卷积神经网络系统 |
CN109272010B (zh) * | 2018-07-27 | 2021-06-29 | 吉林大学 | 基于卷积神经网络的多尺度遥感图像融合方法 |
CN109272010A (zh) * | 2018-07-27 | 2019-01-25 | 吉林大学 | 基于卷积神经网络的多尺度遥感图像融合方法 |
CN109447977A (zh) * | 2018-11-02 | 2019-03-08 | 河北工业大学 | 一种基于多光谱深度卷积神经网络的视觉缺陷检测方法 |
CN109447977B (zh) * | 2018-11-02 | 2021-05-28 | 河北工业大学 | 一种基于多光谱深度卷积神经网络的视觉缺陷检测方法 |
CN109410164A (zh) * | 2018-11-14 | 2019-03-01 | 西北工业大学 | 多尺度卷积神经网络的卫星全色与多光谱图像融合方法 |
WO2020171373A1 (en) * | 2019-02-18 | 2020-08-27 | Samsung Electronics Co., Ltd. | Techniques for convolutional neural network-based multi-exposure fusion of multiple image frames and for deblurring multiple image frames |
CN113454981B (zh) * | 2019-02-18 | 2023-11-03 | 三星电子株式会社 | 用于基于卷积神经网络的多个图像帧的多曝光融合及用于对多个图像帧去模糊的技术 |
US11107205B2 (en) | 2019-02-18 | 2021-08-31 | Samsung Electronics Co., Ltd. | Techniques for convolutional neural network-based multi-exposure fusion of multiple image frames and for deblurring multiple image frames |
CN113454981A (zh) * | 2019-02-18 | 2021-09-28 | 三星电子株式会社 | 用于基于卷积神经网络的多个图像帧的多曝光融合及用于对多个图像帧去模糊的技术 |
CN109978808B (zh) * | 2019-04-25 | 2022-02-01 | 北京迈格威科技有限公司 | 一种用于图像融合的方法、装置和电子设备 |
US11250549B2 (en) | 2019-04-25 | 2022-02-15 | Megvii (Beijing) Technology Co., Ltd. | Method, apparatus and electric device for image fusion |
CN109978808A (zh) * | 2019-04-25 | 2019-07-05 | 北京迈格威科技有限公司 | 一种用于图像融合的方法、装置和电子设备 |
WO2021189733A1 (zh) * | 2020-03-26 | 2021-09-30 | 深圳市商汤科技有限公司 | 图像处理方法及装置、电子设备、存储介质 |
TWI769725B (zh) * | 2020-03-26 | 2022-07-01 | 大陸商深圳市商湯科技有限公司 | 圖像處理方法、電子設備及電腦可讀儲存介質 |
CN111861949B (zh) * | 2020-04-21 | 2023-07-04 | 北京联合大学 | 一种基于生成对抗网络的多曝光图像融合方法及系统 |
CN111861949A (zh) * | 2020-04-21 | 2020-10-30 | 北京联合大学 | 一种基于生成对抗网络的多曝光图像融合方法及系统 |
US11430094B2 (en) | 2020-07-20 | 2022-08-30 | Samsung Electronics Co., Ltd. | Guided multi-exposure image fusion |
US12008737B2 (en) | 2020-08-07 | 2024-06-11 | Nanotronics Imaging, Inc. | Deep learning model for noise reduction in low SNR imaging conditions |
CN112950517A (zh) * | 2021-02-25 | 2021-06-11 | 浙江光珀智能科技有限公司 | 深度相机高动态范围深度图与灰度图的融合方法及装置 |
CN112950517B (zh) * | 2021-02-25 | 2023-11-03 | 浙江光珀智能科技有限公司 | 深度相机高动态范围深度图与灰度图的融合方法及装置 |
CN115601611A (zh) * | 2022-10-12 | 2023-01-13 | 武汉纺织大学(Cn) | 一种适应曝光变化的深度学习光谱重建方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN107203985B (zh) | 2019-11-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107203985A (zh) | 一种端到端深度学习框架下的多曝光图像融合方法 | |
Wang et al. | An experiment-based review of low-light image enhancement methods | |
Ram Prabhakar et al. | Deepfuse: A deep unsupervised approach for exposure fusion with extreme exposure image pairs | |
CN109447907B (zh) | 一种基于全卷积神经网络的单图像增强方法 | |
CN106683067A (zh) | 一种基于残差子图像的深度学习超分辨率重建方法 | |
CN104318569B (zh) | 基于深度变分模型的空间显著性区域提取方法 | |
CN109671023A (zh) | 一种人脸图像超分辨率二次重建方法 | |
CN110322416A (zh) | 图像数据处理方法、装置以及计算机可读存储介质 | |
CN110570377A (zh) | 一种基于组归一化的快速图像风格迁移方法 | |
CN110351511A (zh) | 基于场景深度估计的视频帧率上变换系统及方法 | |
CN109509160A (zh) | 一种利用逐层迭代超分辨率的分层次遥感图像融合方法 | |
CN104077759A (zh) | 一种基于色觉感知及全局质量因子的多曝光度图像融合方法 | |
CN110070489A (zh) | 一种基于视差注意力机制的双目图像超分辨方法 | |
CN112001843B (zh) | 一种基于深度学习的红外图像超分辨率重建方法 | |
CN107103596A (zh) | 一种基于yuv空间的彩色夜视图像融合方法 | |
CN109272447A (zh) | 一种深度图超分辨率方法 | |
CN106971379A (zh) | 一种基于分层加权融合的水下图像增强方法 | |
CN111105376B (zh) | 基于双分支神经网络的单曝光高动态范围图像生成方法 | |
CN110363704B (zh) | 融合形态及色彩的图像超分辨率重建模型构建及重建方法 | |
CN110349085A (zh) | 一种基于生成对抗网络的单幅图像超分辨特征增强方法 | |
CN110443763A (zh) | 一种基于卷积神经网络的图像阴影去除方法 | |
CN103996023B (zh) | 基于深度信念网络的光场人脸识别方法 | |
CN108921783A (zh) | 一种基于混合损失函数约束的卫星影像超分辨率重建方法 | |
CN110225260A (zh) | 一种基于生成对抗网络的立体高动态范围成像方法 | |
CN115393227B (zh) | 基于深度学习的微光全彩视频图像自适应增强方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |