CN112862734A - 一种使用卷积分析算子学习的多聚焦图像融合方法 - Google Patents
一种使用卷积分析算子学习的多聚焦图像融合方法 Download PDFInfo
- Publication number
- CN112862734A CN112862734A CN202110112021.2A CN202110112021A CN112862734A CN 112862734 A CN112862734 A CN 112862734A CN 202110112021 A CN202110112021 A CN 202110112021A CN 112862734 A CN112862734 A CN 112862734A
- Authority
- CN
- China
- Prior art keywords
- image
- fusion
- frequency information
- convolution
- fused
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 25
- 230000004927 fusion Effects 0.000 claims abstract description 82
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 8
- 238000000034 method Methods 0.000 abstract description 88
- 230000000694 effects Effects 0.000 abstract description 4
- 239000012530 fluid Substances 0.000 abstract description 2
- 238000011156 evaluation Methods 0.000 description 17
- 230000003068 static effect Effects 0.000 description 12
- 238000013459 approach Methods 0.000 description 8
- 238000012549 training Methods 0.000 description 6
- 238000002474 experimental method Methods 0.000 description 5
- 230000015572 biosynthetic process Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 235000013399 edible fruits Nutrition 0.000 description 4
- 238000003786 synthesis reaction Methods 0.000 description 4
- 238000012733 comparative method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 108010076504 Protein Sorting Signals Proteins 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000013213 extrapolation Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000135 prohibitive effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000010189 synthetic method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Mathematics (AREA)
- Molecular Biology (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种使用卷积分析算子学习的多聚焦图像融合方法，包括：将双尺度低通分解作用于源图像，获得低频信息和高频信息；融合低频信息和高频信息；进行图像重构；本发明的优点是：将CAOL框架所学的计算流体力学应用于三种类型的多聚焦图像融合。不仅解决了块融合方法的内存消耗不足问题，而且获得了更好的融合效果。
Description
技术领域
本发明涉及多聚焦图像融合技术领域，特别涉及一种使用卷积分析算子学习的多聚焦图像融合方法。
背景技术
受传感器内部结构差异和外部因素(如现场照明条件和物距)的影响，获得的图像仅在特定的空间点或区域清晰。然而，非聚焦区域是模糊的。为了解决上述缺点，已经提出了多聚焦图像融合技术，其可以单独提取和集成每个聚焦点的区域。多聚焦图像融合技术在机器视觉、目标检测和识别等工业领域得到越来越广泛的应用。因此，多聚焦图像融合的研究具有重要而深远的意义。
自从多聚焦图像融合技术出现以来，研究者们提出了各种基于数学理论的融合算法。基于数学思想，学者们将融合算法分为两类：空间域融合和变换域融合。与空间域融合方法(如主成分分析)相比，空间域融合方法在缺乏图像对比度时性能下降，而变换域融合方法则利用各种多尺度变换(MSTs)(如离散小波变换(DWT)和非下采样轮廓波变换(NSCT))的特性成功地应用于融合。随后提出了一系列基于改进MSTs的融合方法，并证明了其融合性能。然而，所获得的图像缺乏详细信息或是过度融合，不利于实际应用。
自然图像/信号在形式上是稀疏的，稀疏建模(局部建模和非局部建模)表明图像/信号是稀疏的或可压缩的。在过去的10年里，各种稀疏理论被应用于基于稀疏先验的多聚焦图像融合。根据稀疏算法的理论，学者们将稀疏域融合算法分为以下两类：1.使用图像块的稀疏编码融合(例如，基于稀疏表示的图像融合(SR)，具有自适应稀疏表示的图像融合(ASR)，基于联合稀疏表示的图像融合(JSR)，以及基于在线稀疏字典学习的图像融合(ODL))；2.使用替代表示结构对整个信号/图像建模(例如，基于卷积稀疏表示的图像融合)。使用字典学习(例如，奇异值分解)策略、滑动窗口技术和l1最大像素级融合规则，稀疏域中基于块的多聚焦图像融合的性能优于多分辨率融合。然而，基于块的操作使用滑块技术来处理源图像，这导致相邻块中的重叠程度非常高。因此，融合图像的一些细节被平滑甚至丢失。卷积稀疏表示从卷积的角度学习移位不变滤波器，以克服基于随机共振的滤波器细节保持率低的缺陷。
信号/图像处理(例如，水印去除、信号图像超分辨率和图像恢复)是一个反问题。先验知识的概念在成功解决上述问题中起着重要作用。从统计概率的角度来看，先验概率分为基于分析的先验(如使用分析算子学习的分析稀疏模型)和基于综合的先验。近年来，由于更直观和普遍的结构，基于先验理论和实践的综合方法取得了快速进展。在“合成”信号模型中，卷积思想被引入到CSR或卷积字典学习(CDL)中，以训练平移不变滤波器，而不获得高度冗余的SR。然而，在许多情况下，“合成”模型仍然是禁止的选择，这导致广泛搜索直接最小化的替代方法。基于分析的方法是用于重构信号的合成模型的替代方法，也就是说，该方法近似于基于合成的方法(其中分析算子被视为合成字典的伪逆)。类似于CDL，CDL是卷积运算的“合成”模型。在“分析”信号模型中，卷积分析算子学习(CAOL)是最近构造的通过卷积学习分析算子的框架。该框架从卷积稀疏表示分析的角度学习各种过滤器，并使用优化器(BPEG-M)的收敛块近端外推梯度方法来解决多个非凸问题。
发明内容
本发明针对现有技术的缺陷，提供了一种使用卷积分析算子学习的多聚焦图像融合方法。
为了实现以上发明目的，本发明采取的技术方案如下：
一种基于卷积分析算子的多聚焦图像融合方法，具体步骤如下：
步骤1，源图像分解；
将双尺度低通分解作用于源图像YA与源图像YB，获得低频信息
和高频信息
步骤2，融合低频信息
采用式(1)的像素最大值融合策略,获得融合后的低频信息
步骤3，融合高频信息
分别将学习的卷积字典DCAOL(city和fruit)作用于卷积基追踪去噪算法，获得高频信息的卷积稀疏系数
其中
表示源图像的高频分量，dk∈CR,k＝1,...,K，α是控制稀疏系数sn,k稀疏度的阈值参数，N是源图像的个数，K是卷积字典的个数；
采用最大值策略，获得高频信息的卷积稀疏系数
结合卷积字典DCAOL，快速傅里叶逆变换和
获得融合后的高频信息
步骤4，图像重构；
最终采用式（4）
获得融合图像YF。
与现有技术相比，本发明的优点在于：
将CAOL框架所学的计算流体力学应用于三种类型的多聚焦图像融合。不仅解决了块融合方法的内存消耗不足问题，而且获得了更好的融合效果。
附图说明
图1是本发明实施例融合方法流程图。
图2是本发明实施例静态“时钟”场景的融合示例图；
图2中(a)DWTDE的融合图像；(b)ASR的融合图像；CVT-SR的融合图像；(d)ODL的融合图像；(e)CSR的融合图像；ASM的融合图像；(g)GFF的融合图像；(h)LRR的融合图像；(i)本发明方法的融合图像(city-25)；(j)本发明方法的融合图像(fruit-25)；(k)本发明方法的融合图像(city-49)；(l)本发明的方法的融合图像(fruit-49)；
图3是本发明运动场景的融合示例图；
图3中(a)DWTDE的融合图像；(b)ASR的融合图像；CVT-SR的融合图像；(d)ODL的融合图像；(e)CSR的融合图像；ASM的融合图像；(g)GFF的融合图像；(h)LRR的融合图像；(i)本发明方法的融合图像(city-25)；(j)本发明方法的融合图像(fruit-25)；(k)本发明方法的融合图像(city-49)；(l)本发明的方法的融合图像(fruit-49)；
图4是本发明实施例彩色图像场景的融合示例图；
图4中(a)JSR的融合图像；(b)ODL的融合图像；(c)CSR的融合图像；(d)G FF的融合图像；(e)LRR的融合图像；(f)本发明方法的融合图像(city-25)；(g)本发明方法的融合图像(fruit-25)；(h)本发明方法的融合图像(city-49)；(i)本发明方法的融合图像(fruit-49)。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下根据附图并列举实施例，对本发明做进一步详细说明。
1相关理论及启示
1.1基于ASM的多聚焦图像融合
ASM的目的是构造一个分析算子Ω∈Rk×n(k≥n)，它适用于感兴趣的稀疏分析向量Ωs∈Rk的信号序列x∈Rm。这个问题可以表述为
这里g式稀疏分析向量Ωs∈Rk的稀疏度。A∈Rmtimesn是测量矩阵，ε误差容限。
作为一种经典的低维结构，主动形状模型已经成功地解决了图像重建任务(图像修复，单图像超分辨率)和信号恢复(例如面部图像去噪)。现有技术提出了一种新的多聚焦图像融合策略，该策略使用了一个分析稀疏模型和一个余度先验估计器。在主动多聚焦图像融合方法中，一阶代理ADMM(FOS-ADMM)算法用于共解析编码，而分析算子Ω使用ADMM方法和奇异值分解进行更新。然而，上述片域多聚焦图像融合方法通常表现出以下三个缺陷：1)由于共解析编码是在每一个图像列的co-SR中执行的，稀疏分析模型强调独立的图像片，而忽略了它们之间的一致性约束。2)学习的分析算子具有较少的平移不变性特征，导致伪吉布斯结果(比如运动图像融合)。3)分析稀疏模型中学习的冗余分析算子Ω导致融合图像中的一些特征被平滑甚至丢失(如边缘和纹理)。
1.2CAOL
CSR的灵感来自于修改卷积神经网络以提供生成模型的愿望。作为“合成”信号分解模型的关键技术，CDL方法使用具有卷积视角的平移不变滤波器来实现低存储器要求和误配准。然而，在“分析”信号模型中，没有从卷积角度学习卷积算子的现有框架。现有技术提出了一种新的带卷积的分析算子学习框架，从卷积的角度学习稀疏正则化分析，并发展了求解相应块非凸问题的BPEG-M。
CAOL模型通过对训练信号
学习，找到最好的滤波
已学习的字典可以较好地提取预测信号的真实特征
并使用阈值算子来消除“噪声”特征。为避免冗余滤波，应用非凸正交约束来过滤矩阵
并提出以下学习模型：
式(2)是非凸优化挑战。BPEG-M不仅能快速获得“最佳”卷积滤波器核，而且能保证学习算法快速收敛到一个临界条件。
在我们的工作中，受快速收敛和内存效率高的CAOL和实现良好的分布式计算框架ADMM的启发，本发明将从基于BPEG-M的CAOL框架中学习到的卷积核和CBP DN与ADMM相结合，用于卷积余弦分析编码。我们还验证了所提出的融合框架是有效的，并且克服了基于ASM的融合方法的上述三个缺点。
2本发明提出的融合方法
在这一部分中，四个训练好的过滤器(水果数据集中的7×7×49和5×5×25，城市数据集中的7×7×49和5×5×25)用于多聚焦图像融合。由于文章长度的限制，图1中只显示了静态多焦点灰度图像融合框架(由于图像尺寸有限，图1中只显示了大小为R＝7×7的K＝49个过滤器用于水果和城市数据集。)运动中的多焦点灰度图像和多焦点彩色图像的融合框架类似于静态的多焦点灰度图像。
一种基于卷积分析算子的多聚焦图像融合方法，具体步骤如下：
步骤1，源图像分解；
将双尺度低通分解作用于源图像YA与源图像YB，获得低频信息
和高频信息
步骤2，融合低频信息
采用式(1)的像素最大值融合策略,获得融合后的低频信息
步骤3，融合高频信息
分别将学习的卷积字典DCAOL(city和fruit)作用于卷积基追踪去噪算法，获得高频信息的卷积稀疏系数
其中
采用最大值策略，获得高频信息的卷积稀疏系数
结合卷积字典DCAOL，快速傅里叶逆变换和
获得融合后的高频信息
步骤4，图像重构；
最终采用式(4)的双尺度图像重构策略获得融合图像YF；
3实验结果和讨论
在实施例中，8种典型的融合方法，即DWTDE、ASR、CVT-SR、ODL、CSR、AS M、GFF和LRR，被用于对比实验，以验证所提出的方法对于灰度图像融合的优越性。此外，将5种方法(JSR、ODL、CSR、GFF和LRR)应用于彩色图像融合，证明了本发明方法的融合效果。
3.1实验设置
3.1.1源图像
为了保证该方法的性能，本实施例的所有方法都应用于以下实验数据集：1.静态多聚焦灰度图像；2.运动的多聚焦灰度图像；3.多聚焦彩色图像。
3.1.2训练的滤波
第二部分提出的CAOL模型用于从城市数据集和水果数据集训练字典过滤器。对于上述两个数据集，训练了49个R＝7×7的滤波器和25个R＝5×5的滤波器，以研究本发明方法的融合效果。
3.1.3所有方法参数比较
为了保证实验的可比性，对比实验的参数遵循相应的参考文献。对于基于DW TDE的融合方法，变异和交叉算子分别为0.5和0.2，种群数量为10，最大迭代次数为30。对于基于LRR的方法，分解级别和图像块大小分别设置为2和16×16。对于基于ASR的方法，误差容限为0.1，常数C＝1.15。对于基于CVT-SR的方法，字典为64×256，误差容限与ASR相当。对于基于ODL的方法，字典是64×256。对于基于CSR的方法，稀疏系数映射的正则化参数λ＝0.01，字典滤波器的大小为256×256×16。对于基于ASM的方法，ε＝0.1，块大小n＝7，重叠长度ρ＝1，分析算子的大小为64×49。对于基于GFF的方法，引导滤波器的参数是r1＝45，ε1＝0.3，r2＝7，ε2＝10-6.在我们的实验中，我们在字典过滤学习的状态下使用CAOL(P1)。阈值参数α＝2.5×104，缩放参数λ＝1+ε，停止标准ε＝103，最大迭代次数设置为1000。在本发明的方法中，CBPDN和ADMM根据基于CSR的方法应用于融合阶段。
3.1.4客观评价指标
本发明采用互信息(MI)(QABF、QE、QTE、QNCIE、QM、QP和QCB八个客观评价指标对实验结果进行评价。评价值越高，融合性能越好。
3.2多聚焦灰度图像的融合比较
这里展示了本发明方法和第四部分介绍的比较方法的融合结果。3.2.1和3.2.2分别描述基于所有算法的静态图像和运动图像的融合结果。为了便于描述和阅读，基于本发明的融合方法和针对城市数据集的训练滤波器5×5×25和7×7×49，我们将“city-25”和“city-49”定义为融合结果。“fruit-25”和“fru it-49”代表基于本发明的融合方法和训练过滤器5×5×25和7×7×49的水果数据集的融合结果。
3.2.1静态多聚焦灰度图像的融合结果
图2显示了多焦点静态灰度图像“时钟”的所有方法的融合结果。“时钟”的源图像有两个时钟(左边的小时钟和右边的大时钟)，图像包含丰富的信息，如时钟指针、数字和英语单词。图2(a)-图2(l)显示了DWTDE、LRR、ASR、CVT-SR、ODL、CSR、ASM、GFF的融合结果以及本发明中提到的“时钟”的四种方法。通过基于DWTDE的方法获得的融合图像的背景变得像素化(例如，图2(a)中的小时钟的顶部)。LRR的小时钟模糊不清，数字和英文信息严重退化。采用基于ASR和基于CVT-SR的方法，大时钟的上沿与背景融合不好，时钟的部分信息被整合到背景中。ASM融合结果在前景和背景之间像素化(见图2(f)中大时钟和小时钟的上边缘)。在基于ODL的方法中，大时钟的左上角有小故障。基于卷积稀疏表示的融合图像类似于基于LRR的图像，其中小时钟的轮廓模糊，数字和比例信息严重丢失。与前七种方法相比，基于GFF的方法性能稍好，但融合结果的整体对比度较暗。总之，就融合图像的整体亮度和一些细节而言，本发明的四种融合结果都优于上述所有方法。
3.2.2多焦点运动灰度图像的融合结果
图3示出了对第一组多焦点运动灰度图像的所有方法的融合结果。这组运动图像包含丰富的动态信息和静态信息(如运动中的人、网球、网球拍、静态树和网球网)。图3(a)-图3(l)显示了DWTDE、LRR、ASR、CVT-SR、ODL、CSR、ASM、GFF和本发明提到的四种方法对第一组运动图像的融合结果。在基于LRR的融合结果中，左边的女运动员右手上的网球是模糊的。基于ASR的结果被放大后，所有运动员的边缘都呈现模糊。基于CVT-SR的融合图像具有暗背景颜色(参见图3(d)中的分支)。基于CSR的融合图像具有不同程度的高平滑度和模糊度(参见图3(f)中所有运动员的面部)。DWTDE、ASM和GFF的融合图像背景较暗(见左上角的树叶)。综上所述，在所有的比较方法中，从主观视觉上看，我们四种方法得到的融合结果是最好的。
3.3彩色图像融合比较
彩色图像是多光谱图像的一种特殊情况，它对应于人类视觉的三原色，即红色、绿色和蓝色带(每个像素由R、G和B分量组成的图像)，近似于光谱的定量性质。彩色图像不仅具有丰富的颜色信息(红色、绿色和蓝色分量)，而且在每一层分量中都具有丰富的细节。与传统的多聚焦灰度图像融合相比，多聚焦彩色图像融合在实际应用中具有更重要的作用。图4描述了LRR、JSR、ODL、中国南车、GFF的多焦点彩色图像融合结果和提出的方法。
图4(a)-(i)示出了用于‘lytro-01’场景的各种方法的融合结果。在近焦图像中，可以清楚地看到该男子的头部、手臂和球杆，但远处的草坪和绿色旗帜模糊不清。远焦图像呈现与近焦图像相反的信息。所以对于‘lytro-01’场景(高尔夫)融合来说，最重要也是最困难的部分就是有效处理远焦和近焦之间的信息(比如帽子和球杆头)。对于LRR融合法，该男子左臂内侧的亮度较暗(见图4(a))。在图4(b)和图4(c)中，男子的左肩边缘有模糊和噪声。对于基于卷积稀疏表示的方法，男子的头发和球杆头退化(见图4(d))。绿旗和草坪上的高尔夫信息没有通过GFF融合方法很好地融合(见图4(e))。总之，本发明提出的四种融合方法表现出最好的性能。这些方法完全集成了远焦和近焦信息，并且具有最高的图像清晰度(参见图4(f)-(i))。
3.4客观评价
在这一部分中，讨论和分析了8个经典的客观评价指标(MI，QABF，QE，QTE，QNCIE，QM，QP和QCB)来验证本发明方法的融合性能。表1、表2和表3分别显示了本发明的方法和比较方法对多聚焦静态灰度图像、多聚焦动态灰度图像和多聚焦彩色图像的平均客观评价结果。
3.4.1静态灰度图像融合的客观评价
本发明提出的方法与静态灰度图像的所有方法的融合平均评价结果如表1所示。表1显示，本发明的方法在7个评价指标中产生了前三名的评价值，即MI、QE，QTE，QNCIE，QM，QP和QCB，除了QABF比GFF低0.0013。MI和QM远高于其他方法，说明本发明得到的融合结果包含了更多的源图像各尺度的信息。对于其他6个Q系列指标(QE，QTE，QNCIE，QM，QP和QCB)，本发明方法获得了最高值，表明该算法能够更好地将多聚焦源图像的显著信息或特征传递给融合图像，因此更适合人类视觉。
表1：静态灰度图像不同方法的客观融合评价
3.4.2运动中灰度图像的融合客观评价
本发明提出的方法与动态灰度图像的所有方法的平均融合评价结果如表2所示。GFF和人工神经网络的QP值比本发明的方法高0.0007，而人工神经网络的QP值比本发明的方法高0.0006。然而，在QABF和QP方面，本发明的方法获得了比除GFF和ASR之外的其他方法更高的值。对于MI、QE、QNCIE，QM和QCB，本发明的方法明显优于所有的比较方法(前三个结果是本发明的方法)。这表明本发明的方法在边缘保持方面是最优的，并且融合后的图像具有最高的清晰度。虽然本发明的方法的QTE略优于ASR，但我们提出的融合策略得分远高于其他方法(比CSR高0.0467)。在对上述客观指标进行分析的基础上，我们的算法不仅得到了清晰的融合图像，而且更完整地融合了源图像的细节信息。
表2：不同方法对运动灰度图像的客观融合评价
3.4.3彩色图像融合的客观评价
为了保证该方法的客观性和科学性，本部分分析了该方法和其他5种方法在彩色图像上的性能。使用三个流行的Q系列评估指标(QABF，QE和QP)来验证其性能。本发明提出的方法与20幅彩色图像的所有方法的融合平均评价结果如表3所示。表3显示，本发明的方法明显优于其他5种比较方法(前三个评估指标是本发明的方法)。上述观察结果表明，在彩色图像融合方面，本发明提出的四种融合策略在三个指标上均优于其他方法。
表3：彩色图像不同方法的客观融合评价
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的实施方法，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。
Claims (1)
1.一种基于卷积分析算子的多聚焦图像融合方法，其特征在于，具体步骤如下：
步骤1，源图像分解；
将双尺度低通分解作用于源图像YA与源图像YB，获得低频信息
和高频信息
步骤2，融合低频信息
采用式(1)的像素最大值融合策略,获得融合后的低频信息
步骤3，融合高频信息
分别将学习的卷积字典DCAOL作用于卷积基追踪去噪算法，获得高频信息的卷积稀疏系数
其中
表示源图像的高频分量，dk∈CR,k＝1,...,K，α是控制稀疏系数sn,k稀疏度的阈值参数，N是源图像的个数，K是卷积字典的个数；
采用最大值策略，获得高频信息的卷积稀疏系数
结合卷积字典DCAOL，快速傅里叶逆变换和
获得融合后的高频信息
步骤4，图像重构；
最终采用式(4)
获得融合图像YF。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110112021.2A CN112862734A (zh) | 2021-01-27 | 2021-01-27 | 一种使用卷积分析算子学习的多聚焦图像融合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110112021.2A CN112862734A (zh) | 2021-01-27 | 2021-01-27 | 一种使用卷积分析算子学习的多聚焦图像融合方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112862734A true CN112862734A (zh) | 2021-05-28 |
Family
ID=75985999
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110112021.2A Pending CN112862734A (zh) | 2021-01-27 | 2021-01-27 | 一种使用卷积分析算子学习的多聚焦图像融合方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112862734A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116740216A (zh) * | 2023-08-09 | 2023-09-12 | 始终(无锡)医疗科技有限公司 | 一种眼科光学相干断层图像修复方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108399611A (zh) * | 2018-01-31 | 2018-08-14 | 西北工业大学 | 基于梯度正则化的多聚焦图像融合方法 |
| CN108830818A (zh) * | 2018-05-07 | 2018-11-16 | 西北工业大学 | 一种快速多聚焦图像融合方法 |
| CN109801248A (zh) * | 2018-12-18 | 2019-05-24 | 重庆邮电大学 | 一个基于非下采样剪切变换的新型图像融合方法 |
| CN111899208A (zh) * | 2020-08-11 | 2020-11-06 | 四川警察学院 | 基于卷积分析算子的多模态图像融合方法 |
-
2021
- 2021-01-27 CN CN202110112021.2A patent/CN112862734A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108399611A (zh) * | 2018-01-31 | 2018-08-14 | 西北工业大学 | 基于梯度正则化的多聚焦图像融合方法 |
| CN108830818A (zh) * | 2018-05-07 | 2018-11-16 | 西北工业大学 | 一种快速多聚焦图像融合方法 |
| CN109801248A (zh) * | 2018-12-18 | 2019-05-24 | 重庆邮电大学 | 一个基于非下采样剪切变换的新型图像融合方法 |
| CN111899208A (zh) * | 2020-08-11 | 2020-11-06 | 四川警察学院 | 基于卷积分析算子的多模态图像融合方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116740216A (zh) * | 2023-08-09 | 2023-09-12 | 始终(无锡)医疗科技有限公司 | 一种眼科光学相干断层图像修复方法 |
| CN116740216B (zh) * | 2023-08-09 | 2023-11-07 | 始终(无锡)医疗科技有限公司 | 一种眼科光学相干断层图像修复方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhao et al. | Discrete cosine transform network for guided depth map super-resolution | |
| Chen et al. | Progressive semantic-aware style transformation for blind face restoration | |
| Sagong et al. | Pepsi: Fast image inpainting with parallel decoding network | |
| Deng et al. | Accurate 3d face reconstruction with weakly-supervised learning: From single image to image set | |
| Chen et al. | The improved image inpainting algorithm via encoder and similarity constraint | |
| Fu et al. | Clearing the skies: A deep network architecture for single-image rain removal | |
| CN110148104B (zh) | 基于显著性分析与低秩表示的红外与可见光图像融合方法 | |
| CN105957063B (zh) | 基于多尺度加权相似性测度的ct图像肝脏分割方法及系统 | |
| CN110473154A (zh) | 一种基于生成对抗网络的图像去噪方法 | |
| CN108932536A (zh) | 基于深度神经网络的人脸姿态重建方法 | |
| CN104732492B (zh) | 一种深度图像的去噪方法 | |
| CN112950518B (zh) | 基于潜在低秩表示嵌套滚动引导图像滤波的图像融合方法 | |
| CN105913408B (zh) | 一种基于双边滤波器的多聚焦图像融合方法 | |
| Davy et al. | Non-local video denoising by CNN | |
| Fu et al. | Adaptive spatial-spectral dictionary learning for hyperspectral image denoising | |
| CN110084288B (zh) | 一种基于自学习神经单元的图像融合方法 | |
| CN112270654A (zh) | 基于多通道gan的图像去噪方法 | |
| Liu et al. | Survey of natural image enhancement techniques: Classification, evaluation, challenges, and perspectives | |
| CN110807742A (zh) | 一种基于一体式网络的微光图像增强方法 | |
| CN116797488A (zh) | 一种基于特征融合与注意力嵌入的低照度图像增强方法 | |
| Zhang et al. | Exploring a unified low rank representation for multi-focus image fusion | |
| Guo et al. | Multifeature extracting CNN with concatenation for image denoising | |
| Kratzwald et al. | Improving video generation for multi-functional applications | |
| Allain et al. | On mean pose and variability of 3d deformable models | |
| CN112862734A (zh) | 一种使用卷积分析算子学习的多聚焦图像融合方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210528 |
|
| RJ01 | Rejection of invention patent application after publication |