CN110335221A - 一种基于无监督学习的多曝光图像融合方法 - Google Patents
一种基于无监督学习的多曝光图像融合方法 Download PDFInfo
- Publication number
- CN110335221A CN110335221A CN201910466649.5A CN201910466649A CN110335221A CN 110335221 A CN110335221 A CN 110335221A CN 201910466649 A CN201910466649 A CN 201910466649A CN 110335221 A CN110335221 A CN 110335221A
- Authority
- CN
- China
- Prior art keywords
- image
- source images
- fusion
- component image
- luminance component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 29
- 230000004927 fusion Effects 0.000 claims abstract description 85
- 238000012549 training Methods 0.000 claims abstract description 50
- 230000006870 function Effects 0.000 claims abstract description 44
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 32
- 238000002156 mixing Methods 0.000 claims abstract description 19
- 238000004088 simulation Methods 0.000 claims description 59
- 238000013528 artificial neural network Methods 0.000 claims description 23
- 239000011159 matrix material Substances 0.000 claims description 16
- 238000013507 mapping Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 5
- 239000012141 concentrate Substances 0.000 claims description 4
- 230000001537 neural effect Effects 0.000 claims description 2
- 230000010354 integration Effects 0.000 claims 1
- 238000000034 method Methods 0.000 description 49
- 238000002474 experimental method Methods 0.000 description 6
- 238000001914 filtration Methods 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 239000000203 mixture Substances 0.000 description 5
- 239000011248 coating agent Substances 0.000 description 4
- 238000000576 coating method Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000002844 melting Methods 0.000 description 2
- 230000008018 melting Effects 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 241000238097 Callinectes sapidus Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000000155 melt Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Noise Elimination (AREA)
Abstract
本发明公开了一种基于无监督学习的多曝光图像融合方法，包括：获取同一场景不同曝光条件的第一源图像和第二源图像以及各自的色度分量图像和亮度分量图像；对第一源图像的色度分量图像与第二源图像的色度分量图像进行加权平均融合，得到融合后色度分量图像；对第一源图像的亮度分量图像与第二源图像的亮度分量图像进行卷积神经网络融合，获得融合后亮度分量图像；将融合后色度分量图像与融合后亮度分量图像进行组合，形成最终融合图像。本发明的多曝光图像融合方法采用基于加权结构相似度的损失函数来训练卷积神经网络，使得融合结果具有更强的细节保持能力。
Description
技术领域
本发明属于数字图像处理领域，具体涉及一种基于无监督学习的多曝光图像融合方法。
背景技术
高动态范围成像(High-Dynamic Range imaging，简称HDRI)是一种摄影技术，其有助于在不均匀的照明条件下获取更具层次的场景影像。该技术能够拓展相机的感知成像动态范围。因此，采用HDRI技术所获得的影像可以更清晰地展现场景中的目标细节。
多曝光图像融合(Multi-exposure image fusion，简称MEF)是高动态范围成像的一种常用方法。MEF的具体做法是：通过融合一组具有不同曝光条件的低动态范围图像中所蕴含的互补场景信息，以获取一帧可展现更丰富场景细节的高动态范围图像。当各帧低动态范围图像之间的曝光条件偏差很小的情况下，现有的多数MEF算法都能获得较好的融合效果。然而，上述需要众多低动态范围图像的MEF技术意味着对成像系统更高的结构精度、存储需求、采集处理时间和能耗，不利于实际应用。鉴于此，只需两张极端曝光图像就能获得良好融合结果的MEF技术，成为了当前的研究热点。
现有技术提出了一种基于卷积神经网络、针对极端曝光图像的MEF方法，但该方法采用的数据集具有特定的曝光设置，其适用范围较小，难以满足现实中各种复杂环境条件下的成像需求。
发明内容
为了解决现有技术中存在的上述问题，本发明提供了一种基于无监督学习的多曝光图像融合方法。本发明要解决的技术问题通过以下技术方案实现：
本发明提供了一种基于无监督学习的多曝光图像融合方法，包括：
获取同一场景不同曝光条件的第一源图像和第二源图像以及各自的色度分量图像和亮度分量图像；
对所述第一源图像的色度分量图像与所述第二源图像的色度分量图像进行加权平均融合，得到融合后色度分量图像；
对所述第一源图像的亮度分量图像与所述第二源图像的亮度分量图像进行卷积神经网络融合，获得融合后亮度分量图像；
将所述融合后色度分量与所述融后亮度分量图像进行组合，形成最终融合图像。
在本发明的一个实施例中，对所述第一源图像的色度分量图像与所述第二源图像的色度分量图像进行加权平均融合，得到融合后色度分量图像，包括：
获取所述第一源图像在蓝色分量融合中的第一权重以及所述第二源图像在蓝色分量融合中的第二权重；
根据所述第一权重和所述第二权重对所述第一源图像的蓝色分量与所述第二源图像的蓝色分量进行加权平均融合，得到融合后蓝色分量图像；
获取所述第一源图像在红色分量融合中的第三权重以及所述第二源图像在红色分量融合中的第四权重；
根据所述第三权重和所述第四权重对所述第一源图像的红色分量与所述第二源图像的红色分量进行加权平均融合，得到融合后红色分量图像。
在本发明的一个实施例中，对所述第一源图像的亮度分量图像与所述第二源图像的亮度分量图像进行卷积神经网络融合，获得融合后亮度分量图像，包括：
将所述第一源图像的亮度分量图像与所述第二源图像的亮度分量图像相加并乘以0.5，得到亮度分量中等曝光图像；
将所述第一源图像的亮度分量图像、所述第二源图像的亮度分量图像以及所述亮度分量中等曝光图像输入经训练的卷积神经网络，获得初始融合图像；
对所述初始融合图像进行后处理，得到所述融合后亮度分量图像。
在本发明的一个实施例中，将所述第一源图像的亮度分量图像、所述第二源图像的亮度分量图像以及所述亮度分量中等曝光图像输入经训练的卷积神经网络，获得初始融合图像，包括：
构建亮度分量融合的原始卷积神经网络，所述原始卷积神经网络的输入为三张图像组成的三维矩阵；
通过基于加权结构相似度的损失函数对所述原始卷积神经网络进行训练，得到训练后卷积神经网络；
将所述第一源图像的亮度分量图像、所述第二源图像的亮度分量图像以及所述亮度分量中等曝光图像组成三维矩阵，并输入所述训练后卷积神经网络，获得初始融合图像。
在本发明的一个实施例中，通过基于加权结构相似度的损失函数对所述原始卷积神经网络进行训练，得到训练后卷积神经网络，包括：
获取初始数据集；
根据所述初始数据集生成训练集；
创建所述训练集中每一样本的损失函数；
根据所述训练集和所述训练集中相应样本的损失函数对所述原始卷积神经网络进行训练，得到训练后卷积神经网络。
在本发明的一个实施例中，根据所述初始数据集生成训练集，包括：
获取所述初始数据集中任一图片的模拟弱曝光图片；
获取所述初始数据集中所述任一图片的模拟过曝光图片；
根据所述模拟弱曝光图片和所述模拟过曝光图片得到所述任一图片的模拟中等曝光图像；
将所述模拟弱曝光图片、所述模拟过曝光图片以及所述模拟中等曝光图像组合成三维矩阵，形成所述训练集的一个样本；
根据所述初始数据集形成多个样本，由所述多个样本构成所述训练集。
在本发明的一个实施例中，创建所述训练集中每一样本的损失函数，包括：
分别获取所述样本的模拟弱曝光图片、模拟过曝光图片及模拟中等曝光图像在所述损失函数中所占的损失函数权重；
获取所述模拟弱曝光图片、所述模拟过曝光图片及所述模拟中等曝光图像分别与模拟输出图片之间的结构相似度，其中，所述模拟输出图片为将所述样本输入到所述原始卷积神经网络得到的；
根据所述损失函数权重和所述结构相似度获得当前样本的加权结构相似度；
根据所述加权结构相似度计算得到所述训练集中当前样本的损失函数。
在本发明的一个实施例中，所述损失函数的计算公式为：
其中，N表示所述模拟输出图片包含的像素总数，(i，j)为所述模拟输出图片的像素坐标，SSIM(i,j)为加权结构相似度。
在本发明的一个实施例中，对所述初始融合图像进行后处理，得到所述融合后亮度分量图像，包括：
对所述初始融合图像进行非线性映射，获得映射后亮度分量图像；
对所述映射后亮度分量图像进行对比度受限直方图均衡化处理，得到所述融合后亮度分量图像。
与现有技术相比，本发明的有益效果在于：
1、本发明的多曝光图像融合方法采用基于加权结构相似度的损失函数来训练原始卷积神经网络，使得融合结果具有更强的细节保持能力。
2、本发明的方法直接使用自然图像来模拟生成极端曝光条件的图像，使得训练数据集能够广泛地覆盖各种不同的自然环境，从而使该方法具有较强的适用性和鲁棒性。
3、本发明的方法由于对亮度分量的融合结果采用了对比度均衡的后处理，使得融合结果的亮度分量在动态范围内分布均匀，具有更锐利的视觉效果。
以下将结合附图及实施例对本发明做进一步详细说明。
附图说明
图1是本发明实施例提供的一种基于无监督学习的多曝光图像融合方法的流程图；
图2是本发明实施例提供的待融合的第一源图像；
图3是本发明实施例提供的待融合的第二源图像；
图4是使用本发明实施例基于无监督学习的多曝光图像融合方法获得的融合图像；
图5是使用基于拉普拉斯金字塔的方法获得的融合图像；
图6是使用基于流明估计的方法获得的融合图像；
图7是使用基于中值滤波和递归滤波的方法获得的融合图像；
图8是使用基于导向滤波的方法获得的融合图像；
图9是使用基于分块的方法获得的融合图像；
图10是使用基于优化结构相似度的方法获得的融合图像；
图11是使用基于卷积神经网络的方法获得的融合图像；
具体实施方式
为了进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及具体实施方式，对依据本发明提出的一种基于无监督学习的多曝光图像融合方法进行详细说明。
有关本发明的前述及其他技术内容、特点及功效，在以下配合附图的具体实施方式详细说明中即可清楚地呈现。通过具体实施方式的说明，可对本发明为达成预定目的所采取的技术手段及功效进行更加深入且具体地了解，然而所附附图仅是提供参考与说明之用，并非用来对本发明的技术方案加以限制。
应当说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的物品或者设备中还存在另外的相同要素。
实施例一
请参见图1，图1是本发明实施例提供的一种基于无监督学习的多曝光图像融合方法的流程图。该多曝光图像融合方法包括：
S1：获取同一场景不同曝光条件的第一源图像和第二源图像以及各自的色度分量图像和亮度分量图像。
具体地，获取两张同一场景不同曝光条件的第一源图像A和第二源图像B，并将第一源图像A和第二源图像B分别转换为YCbCr格式，其中，Y表示亮度分量，CbCr表示色度分量。更进一步地，Cb表示蓝色分量，Cr表示红色分量。请参见图2和图3，图2是本发明实施例提供的待融合的第一源图像；图3是本发明实施例提供的待融合的第二源图像。本实施例选取了两张具有极端曝光条件的图片进行图片融合。将第一源图像A和第二源图像B的图片尺寸均调整为512×512，并将第一源图像A表示为Y1Cb1Cr1，将第二源图像B表示为Y2Cb2Cr2。
S2：对第一源图像A的色度分量图像与第二源图像B的色度分量图像进行加权平均融合，得到融合后色度分量图像。
首先，获取第一源图像A在蓝色分量融合中的第一权重以及第二源图像B在蓝色分量融合中的第二权重；根据所述第一权重和所述第二权重对第一源图像A的蓝色分量与第二源图像B的蓝色分量进行加权平均融合，得到融合后蓝色分量图像。
具体地，计算第一源图像A和第二源图像B在Cb分量融合中各自的权重wb1和wb2：
其中，符号|·|表示取绝对值；(i,j)表示像素点坐标；Cb1(i,j)表示第一源图像A的蓝色分量，Cb2(i,j)表示第二源图像B的蓝色分量。
随后，计算第一源图像A的蓝色分量Cb1(i,j)与第二源图像B的蓝色分量Cb2(i,j)的蓝色分量融合结果CbF，计算公式为：
CbF(i,j)＝128+wb1(i,j)·(Cb1(i,j)-128)+wb2(i,j)·(Cb2(i,j)-128)。
接着，获取第一源图像A在红色分量融合中的第三权重以及第二源图像B在红色分量融合中的第四权重；根据所述第三权重和所述第四权重对第一源图像A的红色分量与第二源图像B的红色分量进行加权平均融合，得到融合后红色分量图像。
具体地，计算第一源图像A和第二源图像B在Cr分量融合中各自的权重wr1和wr2：
其中，Cr1(i,j)表示第一源图像A的红色分量，Cr2(i,j)表示第二源图像B的红色分量。
随后，计算第一源图像A的红色分量Cr1(i,j)与第二源图像B的红色分量Cr2(i,j)的红色分量融合结果CrF，计算公式为：
CrF(i,j)＝128+wr1(i,j)·(Cr1(i,j)-128)+wr2(i,j)·(Cr2(i,j)-128)。
S3：对所述第一源图像的亮度分量图像与所述第二源图像的亮度分量图像进行卷积神经网络融合，获得融合后亮度分量图像。
具体地，所述S3包括：
S31：将所述第一源图像的亮度分量图像与所述第二源图像的亮度分量图像相加并乘以0.5，得到亮度分量中等曝光图像；
令第一源图像A和第二源图像B的亮度分量图像Y1和Y2相加，然后乘以0.5，得到辅助的Y分量中等曝光图像Y3。
S32：将所述第一源图像的亮度分量图像、所述第二源图像的亮度分量图像以及所述亮度分量中等曝光图像输入经训练的卷积神经网络，获得初始融合图像；
具体地，构建亮度分量融合的原始卷积神经网络，所述原始卷积神经网络的输入为三张图像组成的三维矩阵。设原始卷积神经网络的输入为I，I是由3张尺寸为m×n的图像组成的三维矩阵。本实施例中，训练时m和n均为64，训练好之后实际测试时m和n均为512。本实施例采用Keras平台搭建原始卷积神经网络，它由四层顺序连接的卷积层组成：
1)第一层为卷积层，卷积核大小为3×3，输出分量数为32，激活层为ReLU；
设第一层的输出为O1，则O1的数学表达式如下：
O1＝max(0,I*K1+B1)，
其中，K1表示第一层卷积核，是一个3×3×3×32的四维卷积核；B1是偏置，是一个32×1的列向量；*表示卷积操作；max表示取最大值函数；第一层的输出O1是一个m×n×32的三维矩阵；
2)第二层为卷积层，卷积核大小为3×3，输出分量数为16，激活层为ReLU；
设第二层的输出为O2，则O2的数学表达式如下：
O2＝max(0,O1*K2+B2)，
其中，K2表示第二层卷积核，是一个32×3×3×16的四维卷积核；B2是偏置，是一个16×1的列向量；第二层的输出O2是一个m×n×16的三维矩阵；
3)第三层为卷积层，卷积核大小为3×3，输出分量数为8，激活层为ReLU；
设第三层的输出为O3，则O3的数学表达式如下：
O3＝max(0,O2*K3+B3)，
其中，K3表示第三层卷积核，是一个16×3×3×8的四维卷积核；B3是偏置，是一个8×1的列向量；第三层的输出O3是一个m×n×8的三维矩阵；
4)第四层为卷积层，卷积核大小为3×3，输出分量数为1，激活层为ReLU。
设第四层的输出为O4，则O4的数学表达式如下：
O4＝max(0,O3*K4+B4)，
其中，K4表示第四层卷积核，是一个8×3×3的三维卷积核；B4是偏置，是一个1×1的列向量；第四层的输出O4是一个m×n的二维矩阵。
原始卷积神经网络是未经过训练的，不能发挥其作用，需要进行适当的训练。在本实施例中，通过基于加权结构相似度的损失函数对所述原始卷积神经网络进行训练，得到训练后卷积神经网络。
关于基于加权结构相似度的损失函数的构建方式将在下述实施例中具体进行描述。在本实施例中，使用Adam优化器，通过基于加权结构相似度的损失函数训练原始卷积神经网络，批量大小设为32，学习率设为0.00005，训练50个回合，得到训练好的卷积神经网络。
随后，将第一源图像的亮度分量图像Y1、第二源图像的亮度分量图像Y2以及亮度分量中等曝光图像Y3组成三维矩阵，并输入训练后卷积神经网络，获得初始融合图像Yf。
S33：对所述初始融合图像Yf进行后处理，得到所述融合后亮度分量图像。
对所述初始融合图像Yf进行非线性映射，使其输出动态范围为标准的[16，235]，获得映射后亮度分量图像Yf'。
具体地，首先确定非线性校正系数：
其中，maxi,jYf(i,j)表示取初始融合图像Yf所有像素点中的最大值，mini,jYf(i,j)表示取初始融合图像Yf所有像素点中的最小值。
接着，对初始融合图像Yf进行非线性映射，进行非线性映射的公式为：
其中，Yf(i,j)表示取初始融合图像Yf中的任一像素点坐标。
随后，对所述映射后亮度分量图像Yf'进行对比度受限直方图均衡化处理，得到所述融合后亮度分量图像Y”f。
在本实施例中，对比度受限直方图均衡化(CLAHE)处理直接通过调用MATLAB中的adapthisteq函数来实现，其中，滑动窗口大小设置为8×8，对比度限制参数设置为0.003。
本实施例的方法由于对亮度分量的融合结果采用了对比度均衡的后处理，使得融合结果的亮度分量在动态范围内分布均匀，具有更锐利的视觉效果。
S4：将所述融合后色度分量图像与所述融合后亮度分量图像进行组合，形成最终融合图像。
在本步骤中，将获得的融合后亮度分量图像Y”f、融合后红色分量图像CrF以及融合后蓝色分量图像CbF重新组合成YCbCr格式，再转换成RGB格式，就得到了最终可供显示的融合图像。
本实施例的多曝光图像融合方法采用基于加权结构相似度的损失函数来训练原始卷积神经网络，使得融合结果具有更强的细节保持能力。
实施例二
在上述实施例的基础上，本实施例提供了一种基于加权结构相似度的损失函数对原始卷积神经网络进行训练的具体方法。
在本实施例中，通过基于加权结构相似度的损失函数对所述原始卷积神经网络进行训练，包括：
步骤一：获取初始数据集；
在本实施例中，在训练时使用ILSVRC2012验证集的图片作为原始素材图片，具体地，可以选取全部50000张原始素材图片，裁剪成64×64大小并转化为灰度图，标记为初始数据集E0。值得注意的是，该50000张原始素材图片均为自然环境图片，广泛包括人物、动物、植物、自然风景、室内场景等等，本实施例直接使用自然图像来模拟生成极端曝光条件的图像，使得训练数据集能够广泛地覆盖各种不同的自然环境，使得该方法具有较强的适用性和鲁棒性。
步骤二：根据所述初始数据集生成训练集；
具体地，获取所述初始数据集中任一图片的模拟弱曝光图片；获取所述初始数据集中所述任一图片的模拟过曝光图片；根据所述模拟弱曝光图片和所述模拟过曝光图片得到所述任一图片的模拟中等曝光图像；将所述模拟弱曝光图片、所述模拟过曝光图片以及所述模拟中等曝光图像组合成三维矩阵，形成所述训练集的一个样本；根据所述初始数据集形成多个样本，由所述多个样本构成所述训练集。
在本实施例中，步骤二具体包括：
1)从初始数据集E0中随机选取一张图片，标记为e0；
2)在[0.5，0.9]范围内随机生成一个小数r1，令r1与e0相乘，得到模拟弱曝光图片e1；
3)在[1.1，1.5]范围内随机生成一个小数r2，令r2与e0相乘，得到模拟过曝光图片e2；
4)将模拟弱曝光图片e1与模拟过曝光图片e2相加，并把所得结果再乘以0.5，生成辅助的模拟中等曝光图像e3；
5)由e1、e2和e3这三张图片组成的三维矩阵，就是训练集E1的一个样本；
6)对于初始数据集E0中的原始素材图片重复步骤1)至步骤5)，直至生成10万个训练样本为止。
需要说明的是，对于同一张图像，通过在步骤2)和步骤3)中随机生成的小数不同，可以形成不同的样本。此外，由于样本生成过程数据集图片是随机抽取的，因此并不是每张图片都会被抽取到。
步骤三：创建所述训练集中每一样本的损失函数；
具体地，分别获取所述样本的模拟弱曝光图片、模拟过曝光图片及模拟中等曝光图像在所述损失函数中所占的损失函数权重；获取所述模拟弱曝光图片、所述模拟过曝光图片及所述模拟中等曝光图像分别与模拟输出图片之间的结构相似度，其中，所述模拟输出图片为将所述样本输入到所述原始卷积神经网络得到的；根据所述损失函数权重和所述结构相似度获得当前样本的加权结构相似度；根据所述加权结构相似度计算得到所述训练集中当前样本的损失函数。
在本实施例中，假设卷积神经网络输入的是上述步骤二中得到的模拟弱曝光图片e1、模拟过曝光图片e2和模拟中等曝光图像e3这三张图片组成的样本，且卷积神经网络的输出图片标记为ef，则步骤三具体包括：
(a)计算e1中每个像素点在损失函数Lssim中所占的权重w1：
其中，符号Z[·]表示以方括号内的像素为中心的7×7矩阵区域；符号||·||2表示求2范数；
(b)计算e2中每个像素点在损失函数Lssim中所占的权重w2：
(c)计算e3在损失函数Lssim中所占的权重w3：
(d)计算e1和ef的对应像素点的结构相似度SSIM1：
其中，表示求矩阵Z1的平均值，而Z1指代Z[e1(i,j)]；表示求矩阵Zf的平均值，而Zf指代Z[ef(i,j)]；表示求矩阵Z1的方差；表示求矩阵Zf的方差；表示求矩阵Z1和矩阵Zf的协方差；C1和C2是两个较小的常数，防止出现分母为零的情况，本实施例中，C1取0.0001，C2取0.001；
(e)计算e2和ef的对应像素点的结构相似度SSIM2：
其中，表示求矩阵Z2的平均值，而Z2指代Z[e2(i,j)]；表示求矩阵Z2的方差；表示求矩阵Z2和矩阵Zf的协方差；
(f)计算e3和ef的对应像素点的结构相似度SSIM3：
其中，表示求矩阵Z3的平均值，而Z3指代Z[e3(i,j)]；表示求矩阵Z3的方差；表示求矩阵Z3和矩阵Zf的协方差；
(g)计算当前样本中每个像素点的加权结构相似度SSIM：
SSIM(i,j)＝w1(i,j)×SSIM1(i,j)+w2(i,j)×SSIM2(i,j)+w3(i,j)×SSIM3(i,j)；
(h)计算当前样本基于加权结构相似度SSIM的损失函数Lssim：
其中，N表示输出图像ef包含的像素总数；(i，j)为所述模拟输出图片的像素坐标，SSIM(i,j)为各像素的加权结构相似度。
重复上述步骤(a)至(h)，即可获得训练集E1的每个样本对应的损失函数Lssim。
步骤四：根据所述训练集和所述训练集中相应样本的损失函数对所述原始卷积神经网络进行训练，得到训练后卷积神经网络。
在训练过程中，针对训练集中的每个样本，首先根据步骤三计算出对应的损失函数，随后根据所述训练集和所述训练集中相应样本的损失函数，使用Adam优化器，通过基于加权结构相似度的损失函数训练原始卷积神经网络，批量大小设为32，学习率设为0.00005，训练50个回合，得到训练后卷积神经网络。
随后，如实施例一所述，将第一源图像的亮度分量图像Y1、第二源图像的亮度分量图像Y2以及亮度分量中等曝光图像Y3组成三维矩阵，并输入训练后卷积神经网络，获得初始融合图像；接着，对所述初始融合图像进行后处理，得到所述融合后亮度分量图像。最后，将所述融合后色度分量图像与所述融后亮度分量图像进行组合，形成最终融合图像。请参见图4，图4是使用本发明实施例基于无监督学习的多曝光图像融合方法获得的融合图像。
本实施例的多曝光图像融合方法采用基于加权结构相似度的损失函数来训练原始卷积神经网络，使得融合结果具有更强的细节保持能力。另外，本实施例的方法直接使用自然图像来模拟生成极端曝光条件的图像，使得训练数据集能够广泛地覆盖各种不同的自然环境，从而使该方法具有较强的适用性和鲁棒性。
以下通过与现有技术的多种图像融合方法相比，来进一步说明本发明实施例基于无监督学习的多曝光图像融合方法的效果。
(一)主观视觉效果实验
本实验选取了公开数据集“HDR-Eye”中的两张极端曝光图片进行测试，如图2和图3所示。请一并参见图5至图11，图5是使用基于拉普拉斯金字塔(Laplacian)的方法获得的融合图像；图6是使用基于流明估计(IE)的方法获得的融合图像；图7是使用基于中值滤波和递归滤波(MFRF)的方法获得的融合图像；图8是使用基于导向滤波(GF)的方法获得的融合图像；图9是使用基于分块(PW)的方法获得的融合图像；图10是使用基于优化结构相似度(OSSI)的方法获得的融合图像；图11是使用基于卷积神经网络的方法(DeepFuse)获得的融合图像。如图所示，现有方法的图像融合结果都不大理想：如图6、图7、图8和图10所示，未能处理好弱曝光区域的场景；如图5所示，整体对比度较低，偏模糊；如图8所示，在树木边沿存在光晕等缺陷；如图11所示，左下角偏暗，不符合实际场景光影特点。而本发明实施例的方法的融合结果相对理想，如图4所示，能够准确地保留图2和图3中的细节信息，并且图4能够很好地处理过曝光区域和弱曝光区域的过渡，不会产生光晕和伪影等缺陷。此外，图4的对比度较高，视觉效果清晰锐利。
(二)客观定量评价实验
为了和现有的其他方法进行横向对比，接下来还将进行定量实验。
本实验使用近年来提出的、被广泛接受的评价指标MEF-SSIM作为衡量标准，将本发明实施例的方法与其他现有图像融合方法进行对比。MEF-SSIM是一种基于结构相似度的多曝光图像融合评价指标，对于MEF-SSIM指标，其值越大表示融合表现越好。对比实验包含基于拉普拉斯金字塔的方法(Laplacian)，基于流明估计的方法(IE)，基于中值滤波和递归滤波的方法(MFRF)，基于导向滤波的方法(GF)，基于分块的方法(PW)，基于优化结构相似度的方法(OSSI)和基于CNN的方法(DeepFuse)等七种现有较先进的融合方法。
本发明方法与所述七种现有方法的定量实验结果如表1所示，测试图像为公开数据集“HDR-Eye”中的40组图像，这40组图像包含了各种不同的场景，表中的值为40组图像融合结果的MEF-SSIM指标平均值。由表1可知，本发明实施例的方法在MEF-SSIM指标的表现上优于现有的七种融合方法，说明本发明的方法在细节提取、结构保持以及亮度饱和度还原等方面都有较好的表现，且更加适应复杂的环境变化。
表1定量评价结果
| 方法 | Laplacian | IE | MFRF | GF | PW | OSSI | DeepFuse | 本发明方法 |
| MEF-SSIM指标 | 0.8805 | 0.9068 | 0.9458 | 0.9424 | 0.95 | 0.9441 | 0.9499 | 0.9565 |
综上，本发明所提出的基于无监督学习的多曝光图像融合方法不仅能够较好地提取源图像中的各种细节信息和结构信息，而且具有较高的适用性和鲁棒性。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。
Claims (9)
1.一种基于无监督学习的多曝光图像融合方法，其特征在于，包括：
获取同一场景不同曝光条件的第一源图像和第二源图像以及各自的色度分量图像和亮度分量图像；
对所述第一源图像的色度分量图像与所述第二源图像的色度分量图像进行加权平均融合，得到融合后色度分量图像；
对所述第一源图像的亮度分量图像与所述第二源图像的亮度分量图像进行卷积神经网络融合，获得融合后亮度分量图像；
将所述融合后色度分量图像与所述融合后亮度分量图像进行组合，形成最终融合图像。
2.根据权利要求1所述的多曝光图像融合方法，其特征在于，对所述第一源图像的色度分量图像与所述第二源图像的色度分量图像进行加权平均融合，得到融合后色度分量图像，包括：
获取所述第一源图像在蓝色分量融合中的第一权重以及所述第二源图像在蓝色分量融合中的第二权重；
根据所述第一权重和所述第二权重对所述第一源图像的蓝色分量与所述第二源图像的蓝色分量进行加权平均融合，得到融合后蓝色分量图像；
获取所述第一源图像在红色分量融合中的第三权重以及所述第二源图像在红色分量融合中的第四权重；
根据所述第三权重和所述第四权重对所述第一源图像的红色分量与所述第二源图像的红色分量进行加权平均融合，得到融合后红色分量图像。
3.根据权利要求1所述的多曝光图像融合方法，其特征在于，对所述第一源图像的亮度分量图像与所述第二源图像的亮度分量图像进行卷积神经网络融合，获得融合后亮度分量图像，包括：
将所述第一源图像的亮度分量图像与所述第二源图像的亮度分量图像相加并乘以0.5，得到亮度分量中等曝光图像；
将所述第一源图像的亮度分量图像、所述第二源图像的亮度分量图像以及所述亮度分量中等曝光图像输入经训练的卷积神经网络，获得初始融合图像；
对所述初始融合图像进行后处理，得到所述融合后亮度分量图像。
4.根据权利要求3所述的多曝光图像融合方法，其特征在于，将所述第一源图像的亮度分量图像、所述第二源图像的亮度分量图像以及所述亮度分量中等曝光图像输入经训练的卷积神经网络，获得初始融合图像，包括：
构建亮度分量融合的原始卷积神经网络，所述原始卷积神经网络的输入为三张图像组成的三维矩阵；
通过基于加权结构相似度的损失函数对所述原始卷积神经网络进行训练，得到训练后卷积神经网络；
将所述第一源图像的亮度分量图像、所述第二源图像的亮度分量图像以及所述亮度分量中等曝光图像组成三维矩阵，并输入所述训练后卷积神经网络，获得初始融合图像。
5.根据权利要求4所述的多曝光图像融合方法，其特征在于，通过基于加权结构相似度的损失函数对所述原始卷积神经网络进行训练，得到训练后卷积神经网络，包括：
获取初始数据集；
根据所述初始数据集生成训练集；
创建所述训练集中每一样本的损失函数；
根据所述训练集和所述训练集中相应样本的损失函数对所述原始卷积神经网络进行训练，得到训练后卷积神经网络。
6.根据权利要求5所述的多曝光图像融合方法，其特征在于，根据所述初始数据集生成训练集，包括：
获取所述初始数据集中任一图片的模拟弱曝光图片；
获取所述初始数据集中所述任一图片的模拟过曝光图片；
根据所述模拟弱曝光图片和所述模拟过曝光图片得到所述任一图片的模拟中等曝光图像；
将所述模拟弱曝光图片、所述模拟过曝光图片以及所述模拟中等曝光图像组合成三维矩阵，形成所述训练集的一个样本；
根据所述初始数据集形成多个样本，由所述多个样本构成所述训练集。
7.根据权利要求6所述的多曝光图像融合方法，其特征在于，创建所述训练集中每一样本的损失函数，包括：
分别获取所述样本的模拟弱曝光图片、模拟过曝光图片及模拟中等曝光图像在所述损失函数中所占的损失函数权重；
获取所述模拟弱曝光图片、所述模拟过曝光图片及所述模拟中等曝光图像分别与模拟输出图片之间的结构相似度，其中，所述模拟输出图片为将所述样本输入到所述原始卷积神经网络得到的；
根据所述损失函数权重和所述结构相似度获得当前样本的加权结构相似度；
根据所述加权结构相似度计算得到所述训练集中当前样本的损失函数。
8.根据权利要求7所述的多曝光图像融合方法，其特征在于，所述损失函数的计算公式为：
其中，N表示所述模拟输出图片包含的像素总数，(i，j)为所述模拟输出图片的像素坐标，SSIM(i,j)为加权结构相似度。
9.根据权利要求3至8中任一项所述的多曝光图像融合方法，其特征在于，对所述初始融合图像进行后处理，得到所述融合后亮度分量图像，包括：
对所述初始融合图像进行非线性映射，获得映射后亮度分量图像；
对所述映射后亮度分量图像进行对比度受限直方图均衡化处理，得到所述融合后亮度分量图像。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910219181X | 2019-03-21 | ||
| CN201910219181 | 2019-03-21 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110335221A true CN110335221A (zh) | 2019-10-15 |
| CN110335221B CN110335221B (zh) | 2021-08-06 |
Family
ID=67789795
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910464339.XA Pending CN110208829A (zh) | 2019-03-21 | 2019-05-30 | 一种导航通信抗干扰方法 |
| CN201910466649.5A Active CN110335221B (zh) | 2019-03-21 | 2019-05-31 | 一种基于无监督学习的多曝光图像融合方法 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910464339.XA Pending CN110208829A (zh) | 2019-03-21 | 2019-05-30 | 一种导航通信抗干扰方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (2) | CN110208829A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113092489A (zh) * | 2021-05-20 | 2021-07-09 | 鲸朵(上海)智能科技有限公司 | 一种电池外观缺陷的检测系统及方法 |
| CN114125228A (zh) * | 2021-11-23 | 2022-03-01 | 智慧航海（青岛）科技有限公司 | 一种船用360全景影像系统的宽动态影像处理方法 |
| CN115393227A (zh) * | 2022-09-23 | 2022-11-25 | 南京大学 | 基于深度学习的微光全彩视频图像自适应增强方法及系统 |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113109844B (zh) * | 2021-04-15 | 2022-05-17 | 中国人民解放军63812部队 | 基于直线型天线阵的欺骗信号检测方法及装置 |
| CN116027360A (zh) * | 2023-03-22 | 2023-04-28 | 南京博网软件科技有限公司 | 一种北斗抗宽带干扰识别系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102289808A (zh) * | 2011-07-22 | 2011-12-21 | 清华大学 | 一种图像融合质量评估方法和系统 |
| CN103905815A (zh) * | 2014-03-19 | 2014-07-02 | 西安电子科技大学 | 基于高阶奇异值分解的视频融合性能评价方法 |
| CN104008543A (zh) * | 2014-05-12 | 2014-08-27 | 河海大学 | 一种图像融合质量评价方法 |
| CN105279746A (zh) * | 2014-05-30 | 2016-01-27 | 西安电子科技大学 | 一种基于双边滤波的多曝光图像融合方法 |
| CN106920221A (zh) * | 2017-03-10 | 2017-07-04 | 重庆邮电大学 | 兼顾亮度分布和细节呈现的曝光融合方法 |
| CN109064422A (zh) * | 2018-07-17 | 2018-12-21 | 中国海洋大学 | 一种基于融合对抗网络的水下图像复原方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140247186A1 (en) * | 2012-10-26 | 2014-09-04 | Uti Limited Partnership | Global Navigation Satellite System (GNSS) Anti-Interference using Array Processing |
| US9742522B2 (en) * | 2013-10-14 | 2017-08-22 | Lockheed Martin Corporation | Jammer suppression for broadcast satellite system services |
| CN107367774A (zh) * | 2017-06-06 | 2017-11-21 | 芜湖航飞科技股份有限公司 | 一种用于北斗导航的探空系统处理装置 |
| CN108649977B (zh) * | 2018-05-17 | 2019-09-06 | 中国人民解放军国防科技大学 | 一种阵型可配置的自适应天线阵抗干扰方法及装置 |
-
2019
- 2019-05-30 CN CN201910464339.XA patent/CN110208829A/zh active Pending
- 2019-05-31 CN CN201910466649.5A patent/CN110335221B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102289808A (zh) * | 2011-07-22 | 2011-12-21 | 清华大学 | 一种图像融合质量评估方法和系统 |
| CN103905815A (zh) * | 2014-03-19 | 2014-07-02 | 西安电子科技大学 | 基于高阶奇异值分解的视频融合性能评价方法 |
| CN104008543A (zh) * | 2014-05-12 | 2014-08-27 | 河海大学 | 一种图像融合质量评价方法 |
| CN105279746A (zh) * | 2014-05-30 | 2016-01-27 | 西安电子科技大学 | 一种基于双边滤波的多曝光图像融合方法 |
| CN106920221A (zh) * | 2017-03-10 | 2017-07-04 | 重庆邮电大学 | 兼顾亮度分布和细节呈现的曝光融合方法 |
| CN109064422A (zh) * | 2018-07-17 | 2018-12-21 | 中国海洋大学 | 一种基于融合对抗网络的水下图像复原方法 |
Non-Patent Citations (4)
| Title |
|---|
| IOANNIS MERIANOS ET AL.: ""Multiple-Exposure Image Fusion for HDR Image Synthesis Using Learned Analysis Transformations"", 《JOURNAL OF IMAGING》 * |
| K. RAM PRABHAKAR ET AL.: ""DeepFuse: A Deep Unsupervised Approach for Exposure Fusion with Extreme Exposure Image Pairs"", 《2017 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION》 * |
| SUJOY PAUL ET AL.: ""Multi-Exposure and Multi-Focus Image Fusion in Gradient Domain"", 《JOURNAL OF CIRCUITS, SYSTEMS, AND COMPUTERS》 * |
| 许少凡 等: ""基于加权结构相似度的图像融合质量评价"", 《暨南大学学报（自然科学版）》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113092489A (zh) * | 2021-05-20 | 2021-07-09 | 鲸朵(上海)智能科技有限公司 | 一种电池外观缺陷的检测系统及方法 |
| CN114125228A (zh) * | 2021-11-23 | 2022-03-01 | 智慧航海（青岛）科技有限公司 | 一种船用360全景影像系统的宽动态影像处理方法 |
| CN115393227A (zh) * | 2022-09-23 | 2022-11-25 | 南京大学 | 基于深度学习的微光全彩视频图像自适应增强方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110335221B (zh) | 2021-08-06 |
| CN110208829A (zh) | 2019-09-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110335221A (zh) | 一种基于无监督学习的多曝光图像融合方法 | |
| CN109754377B (zh) | 一种多曝光图像融合方法 | |
| US11055827B2 (en) | Image processing apparatus and method | |
| Ram Prabhakar et al. | Deepfuse: A deep unsupervised approach for exposure fusion with extreme exposure image pairs | |
| Jian et al. | Multi-scale image fusion through rolling guidance filter | |
| CN103606132B (zh) | 基于空域和时域联合滤波的多帧数字图像去噪方法 | |
| Wang et al. | Simple low-light image enhancement based on Weber–Fechner law in logarithmic space | |
| CN107220956A (zh) | 一种基于多幅具有不同曝光度的ldr图像的hdr图像融合方法 | |
| CN106920221B (zh) | 兼顾亮度分布和细节呈现的曝光融合方法 | |
| CN107123088B (zh) | 一种自动更换证件照背景颜色的方法 | |
| Salih et al. | Tone mapping of HDR images: A review | |
| CN106127718B (zh) | 一种基于小波变换的多曝光图像融合方法 | |
| CN112669242A (zh) | 基于改进图像增强算法与生成对抗网络的夜景复原方法 | |
| CN106886985A (zh) | 一种减小色偏的自适应低照度图像增强方法 | |
| CN107507173A (zh) | 一种全切片图像的无参考清晰度评估方法及系统 | |
| Sánchez-Ferreira et al. | Bio-inspired optimization algorithms for real underwater image restoration | |
| CN113129391B (zh) | 基于多曝光图像特征分布权重的多曝光融合方法 | |
| CN108510451A (zh) | 一种基于双层卷积神经网络的重建车牌的方法 | |
| CN104036468B (zh) | 基于预放大非负邻域嵌入的单帧图像超分辨重建方法 | |
| CN108305232B (zh) | 一种单帧高动态范围图像生成方法 | |
| CN107563984A (zh) | 一种图像增强方法和计算机可读存储介质 | |
| CN109427041B (zh) | 一种图像白平衡方法及系统、存储介质及终端设备 | |
| CN103955900B (zh) | 基于生物视觉机理的图像去雾方法 | |
| CN111415304A (zh) | 基于级联深度网络的水下视觉增强方法和装置 | |
| CN107451970A (zh) | 一种基于单帧图像的高动态范围图像生成方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |