CN111402183A - 基于八度金字塔框架的多聚焦图像融合方法 - Google Patents
基于八度金字塔框架的多聚焦图像融合方法 Download PDFInfo
- Publication number
- CN111402183A CN111402183A CN202010211635.1A CN202010211635A CN111402183A CN 111402183 A CN111402183 A CN 111402183A CN 202010211635 A CN202010211635 A CN 202010211635A CN 111402183 A CN111402183 A CN 111402183A
- Authority
- CN
- China
- Prior art keywords
- image
- octave
- gaussian
- pyramid
- detail
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 24
- 230000004927 fusion Effects 0.000 claims abstract description 54
- 238000000034 method Methods 0.000 claims abstract description 32
- 230000000007 visual effect Effects 0.000 claims abstract description 12
- 238000001514 detection method Methods 0.000 claims abstract description 5
- 230000002708 enhancing effect Effects 0.000 claims abstract description 4
- 238000000354 decomposition reaction Methods 0.000 claims description 22
- 125000004122 cyclic group Chemical group 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 9
- 230000008901 benefit Effects 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000000295 complement effect Effects 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 230000000717 retained effect Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 3
- 230000004069 differentiation Effects 0.000 claims description 3
- 239000004576 sand Substances 0.000 claims description 3
- 230000006870 function Effects 0.000 description 10
- 230000000694 effects Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000014759 maintenance of location Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开的基于八度金字塔框架的多聚焦图像融合方法，属于图像信息融合技术领域。本发明利用高斯核函数对图像实现高斯模糊；对高斯模糊图像进行分解，构建八度高斯金字塔；对得到的八度高斯金字塔图像两两之间进行差分，同时得到多组基础层和细节层图像，构建八度差分高斯金字塔；对八度差分高斯金字塔中的基础层图像采用视觉显著性策略实现融合，以保留源图像的背景和对比度信息；对八度差分高斯金字塔中的细节层图像采用梯度最大值策略实现融合，增强融合图像中纹理细节信息；将融合后的基础层和细节层进行八度差分高斯金字塔重构，得到低频信息和高频信息更为丰富的融合图像。本发明能够为后续的目标识别，目标探测等提供有力支撑。
Description
技术领域
本发明涉及一种基于八度金字塔框架的多聚焦图像融合方法，尤其涉及多聚焦图像在八度金字塔框架中实现融合的方法，属于图像信息融合技术领域。
背景技术
随着经济的发展，科技的日新月异，各种不同传感器的使用范围逐渐增大。不同传感器的成像激励，使用功能，工作范围，运行环境等要求不尽相同，用以完成不同的工作。多源图像融合能获取多方面的信息，增加系统运行的平稳度和容错性、可信度，因此，它被广泛应用于许多领域，如遥感，模式识别，医学成像和军事。其中，多聚焦图像融合在图像融合领域占据重要地位。多聚焦图像指的是光学成像系统焦距确定后，只有成像在景深区间内的空间点能够清晰成像。实际应用中对某个场景的物体成像是，由于被照场景中各物体与成像镜头的物距各有差异，导致所成的像不是全部清晰的。为了获取清晰的全场景图像，需要对场景中不同的物体分别聚焦，获取每个物体的图像。将不同焦距所成的像融合，即可得到全场景清晰图像。
针对多聚焦图像融合，学者已经提出了众多的研究方法。主要包含了基于高斯金字塔和小波变换的多尺度分解方法；基于稀疏原理的表示方法；基于空间域变换以及基于深度学习的方法。基于稀疏表示的方法建立在信号稀疏理论的基础上，其中自然信号可以近似表示为来自字典的“少数”原子的线性组合。与基于多尺度分解和基于稀疏表示的方法不同，基于空间域的方法将图像在不同的变换空间计算，例如PCA和IHS。基于混合变换的方法同时使用多种变换方法，旨在结合各种变换的优点以实现高融合效果。然而，这些方法增加了时间消耗。最近，深度学习在许多图像处理任务中取得了优异的性能，例如图像抠图，识别和分类。此外，深度学习在图像融合中的应用已经在很大程度上引起了学术界的关注。当前已经实现了使用卷积神经网络来实现多聚焦图像融合。此外，基于多尺度的方法由于其出色的融合效果以及良好的可操作性，成为主要研究方向之一。具体的，基于多尺度的方法，源图像首先经过某种变换函数变换到频域，得到频域分解的各个分量，对各个尺度上分量设定不同的融合规则，在按照该规则融合成不同尺度上分量，得到融合后不同尺度的各个分量，最后对融合后分量做分解变换函数的逆变换即重构，最终得到了频域融合的最终融合图像。从中可以看出，基于多尺度变换的方法存在以下问题：1)源图像的分解层数的确定。传统的多尺度方法中，需要人为设定图像的分解层数，不能实现该项参数的自适应；2)传统的多尺度方法在图像分解中，只能得到一张基础层，缺乏低频信息的有效保留能力。
发明内容
为了提高多聚焦融合图像的对比度，增强融合图像的精细细节，提高融合图像性能，本发明公开的基于八度金字塔(octave pyramid)框架的多聚焦图像融合方法要解决的技术问题是：利用八度金字塔将图像分解成多组基础层和细节层，保留更多源图像信息，提高多聚焦图像融合的对比度与细节，增强融合图像性能，为后续的目标识别，目标探测等提供有力支撑，为实际应用提供支持。
本发明的目的是通过下述技术方案实现的。
本发明公开的基于八度金字塔框架的多聚焦图像融合方法，利用高斯核函数对图像实现高斯模糊，得到高斯模糊后的图像。对高斯模糊图像进行分解，构建八度高斯金字塔。对得到的八度高斯金字塔图像两两之间进行差分，同时得到多组基础层和细节层图像，构建八度差分高斯金字塔。对八度差分高斯金字塔中的基础层图像采用视觉显著性策略实现融合，以保留源图像的背景和对比度信息。对八度差分高斯金字塔中的细节层图像采用梯度最大值策略实现融合，增强融合图像中纹理细节信息。将融合后的基础层和细节层进行八度差分高斯金字塔重构，得到低频信息和高频信息更为丰富的融合图像。
本发明公开的基于八度金字塔框架的多聚焦图像融合方法，包括如下步骤：
步骤一：利用高斯核函数对图像实现高斯模糊，得到高斯模糊后的图像。
传统高斯公式为：
L(x,y,σ0)＝G(x,y,σ0)*I(x,y) (1)
其中
G(x,y,σ0)指的是高斯核函数，σ0是高斯模糊系数，(x,y)为图像L中的像素坐标，*指的是卷积操作，L(x,y,σ0)是高斯模糊之后的图像。
步骤二：对步骤一中高斯模糊图像进行分解，构建八度高斯金字塔。
八度金字塔是对步骤一中的高斯模糊图像进行循环高斯处理，将图像在八度空间和间隔空间中分解得到。在八度高斯金字塔中，八度空间的数量为：
O＝log2(min(M,N))-2 (3)
其中，O是八度空间的数量，(M,N)是图像的大小。每个八度空间中第一张图像的模糊系数为：
σo＝2o-1·σ0，o∈[1,O] (4)
o指的是第o个八度空间，·是乘法运算。σ0是初始高斯模糊系数，σo是第o个八度空间中首个高斯模糊系数。间隔空间中图像是对八度空间的图像进行循环高斯模糊得到的，每个循环模糊的高斯系数用如下公式(5)确定：
σs＝ks-1·σo,k＝21/Sand s∈[1,S] (5)
σs是第s个间隔空间中的高斯模糊系数，k为修正常数，S为间隔空间的总数量。
对公式(4)和公式(5)分析，八度高斯金字塔中的第(o,s)个图像的模糊系数为：
σo,s＝2o-1·ks-1·σ0 (6)
因此，图像的八度高斯金子塔由公式(7)得到：
Lo,s＝Go,s*Io,1 (7)
其中，
公式(8)中Io,1是每个八度空间中第一张图像，I(x,y)是待求的源图像，down指的是下采样操作，Io-1,S指的是第(o-1)的八度空间中的第S间隔空间图像，Go,s是第(o,s)个图像对应的高斯核函数。
步骤三：对步骤二中得到的八度高斯金字塔图像两两之间进行差分，同时得到多组基础层和细节层图像，构建八度差分高斯金字塔。
八度差分高斯金子塔是在八度高斯金字塔的基础上，对图像进行差分，实现图像的高频和低频信息的分离，同时得到多组基础层和细节层等信息，有效的保留源图像的信息。对公式(7)得到的八度高斯金字塔图像进行差分，得到八度差分高斯金字塔的计算公式(9)：
其中，Lo,s为第(o,s)张图像，Lo,s-1为(o,s-1)张图像。DOGo,s是八度差分高斯金字塔。
在八度差分高斯金字塔中，图像能够实现低频和高频信息的分解。其中，低频信息为基础层图像，用
表示，包含图像的背景、对比度信息；高频信息为细节层，用
表示，包含图像中细节纹理等信息。
在多聚焦图像融合中，n指的是源图像数量。为方便区分，用
和
分别表示第一张多聚焦源图像的基础层和细节层；用
和
分别表示第二张多聚焦源图像的基础层和细节层，用
和
分别表示第n张多聚焦源图像的基础层和细节层。
步骤四：对步骤三得到的基础层图像采用视觉显著性策略实现融合，以保留源图像的背景和对比度信息。
公式(10)中实现对待求源图像的基础层和细节层的分解。分解之后的图像各自包含部分互补有效信息。为实现互补信息结合，提高整体信息的表达能力，对分解后的基础层和细节层分别实施图像融合。
在基础层融合时，采用视觉显著性策略能够有效地保留源图像中的对比度信息。视觉显著性衡量的是像素在图像中所占的强度大小，即：
V(p)＝|Ip-I1|+|Ip-I2|+…+|Ip-IN| (11)
其中Ip指的是像素p的大小，N指的是图像的像素总数。对于V(p)，将其归一化为[0,1]区间。
基础层的融合用以下公式(12)实现：
其中，·*是矩阵点乘运算，
和
分别是第一张、第二张源图像的基础层，
和
分别是第n张源图像的基础层。
步骤五：对步骤三得到的细节层图像采用梯度最大值策略实现融合，增强融合图像中纹理细节信息。
图像的八度差分高斯金字塔分解之后的细节层代表的是图像中的高频信息，包含源图像中纹理细节信息。融合后的图像中包含来自不同源图像中的优势细节信息，具有更为丰富的细节。对步骤三得到的细节层图像采用梯度最大值策略实现融合，能有效的保留来自与源图像的高频信息。
对于图像I，其梯度计算方法为：
g代表垂直梯度算子，g’代表了水平梯度算子。I为待求解图像，▽为图像求解后梯度位图。
利用公式(14)中的梯度方法，图像细节层的融合由以下公式得到：
其中，·*是矩阵点乘运算，
和
分别是第一张、第二张源图像的细节层，
和
分别是第n张源图像的细节层。
步骤六：将步骤四和步骤五中得到融合后的基础层和细节层进行八度差分高斯金字塔重构，得到低频信息和高频信息更为丰富的融合图像。
在步骤四和步骤五中，对得到的基础层和细节层采用不同的图像融合策略实现基础层和细节层的有效融合，进而保留来自源图像中的低频和高频信息，实现信息优势互补。步骤四和步骤五中得到的融合后的基础层和细节层图像是以八度差分高斯金字塔分解的形式存在。因此，对融合的图像进行重构，实现八度差分高斯金字塔的逆变换，将分解的图像格式还原为原始图像格式，即得到低频信息和高频信息更为丰富的融合图像。
首先实现从八度差分高斯金字塔到八度高斯金字塔的重构，即：
式(16)中
和
指的是融合后的基础层和细节层。在此基础上，将八度高斯金字塔重构，得到最终的融合图像：
F＝max[Fo-1,1,up(Fo,1)*Go-1,S].o＝[O,O-1,…,2] (17)
其中，up指的是上采样操作，Go-1,S指的是八度金字塔中第(o-1,S)张图像的高斯核。最终的图像F即为融合之后的低频信息和高频信息更为丰富的融合图像。
还包括步骤七：利用步骤六得到的低频信息和高频信息更为丰富的融合图像，为后续的目标识别、目标探测提供有力支撑，为实际应用提供支持。
有益效果：
1、本发明公开的基于八度金字塔框架的多聚焦图像融合方法，通过八度金字塔分解方法，将图像分解为多组基础层和细节层，同时考虑基础层和细节层对图像融合的影响，有助于改进融合性能。
2、本发明公开的基于八度金字塔框架的多聚焦图像融合方法，利用视觉显著性策略对八度差分高斯金字塔中的基础层进行融合，能够提高融合图像的对比度信息，增强图像信息的融合性能，有助于突出显著性目标，提高目标识别的检测效率。
3、本发明公开的基于八度金字塔框架的多聚焦图像融合方法，利用梯度最大值策略对八度差分高斯金字塔中的细节层进行融合，能够保留源图像中的背景细节，丰富融合图像的信息，进而提高融合图形的可视化效果，有助于进一步图像信息判定。
附图说明
图1为八度金字塔结构；
图2为基于八度金字塔框架的多聚焦图像融合方法流程图；
图3为基于八度金字塔框架的多聚焦图像融合方法图例流程图；
图4为方法的融合效果示例。
具体实施方式
为了更好的说明本发明的目的和优点，下面结合附图和实例对发明内容做进一步说明。本实施例中采用2张源图像对本发明公开的基于八度金字塔框架的多聚焦图像融合方法进行详细说明。图2和图3详细介绍了基于八度金字塔框架的多聚焦图像融合方法的流程。
本实施例公开的基于八度金字塔框架的多聚焦图像融合方法，具体实现步骤如下：
步骤一：利用高斯核函数对图像实现高斯模糊，得到高斯模糊后的图像。
传统高斯公式为：
L(x,y,σ0)＝G(x,y,σ0)*I(x,y) (18)
其中
G(x,y,σ0)指的是高斯核函数，σ0是高斯模糊系数，(x,y)为图像L中的像素坐标，*指的是卷积操作，L(x,y,σ0)是高斯模糊之后的图像。
步骤二：对步骤一中高斯模糊图像进行分解，构建八度高斯金字塔。
八度金字塔是对步骤一中的高斯模糊图像进行循环高斯处理，将图像在八度空间和间隔空间中分解得到，八度高斯金字塔结构见图1。在八度高斯金字塔中，八度空间的数量为：
O＝log2(min(M,N))-2 (20)
其中，O是八度空间的数量，(M,N)是图像的大小。每个八度空间中第一张图像的模糊系数为：
σo＝2o-1·σ0，o∈[1,O] (21)
o指的是第o个八度空间，·是乘法运算。σ0是初始高斯模糊系数，σo是第o个八度空间中首个高斯模糊系数。间隔空间中图像是对八度空间的图像进行循环高斯模糊得到的，每个循环模糊的高斯系数用如下公式(5)确定：
σs＝ks-1·σo,k＝21/Sand s∈[1,S] (22)
σs是第s个间隔空间中的高斯模糊系数，k为修正常数，S为间隔空间的总数量。
对公式(4)和公式(5)分析，八度高斯金字塔中的第(o,s)个图像的模糊系数为：
σo,s＝2o-1·ks-1·σ0 (23)
因此，图像的八度高斯金子塔由公式(7)得到：
Lo,s＝Go,s*Io,1 (24)
其中，
公式(8)中Io,1是每个八度空间中第一张图像，I(x,y)是待求的源图像，down指的是下采样操作，Io-1,S指的是第(o-1)的八度空间中的第S间隔空间图像，Go,s是第(o,s)个图像对应的高斯核函数。
步骤三：对步骤二中得到的八度高斯金字塔图像两两之间进行差分，同时得到多组基础层和细节层图像，构建八度差分高斯金字塔。
八度差分高斯金子塔是在八度高斯金字塔的基础上，对图像进行差分，实现图像的高频和低频信息的分离，同时得到多组基础层和细节层等信息，有效的保留源图像的信息。对公式(7)得到的八度高斯金字塔图像进行差分，得到八度差分高斯金字塔的计算公式(9)：
其中，Lo,s为第(o,s)张图像，Lo,s-1为(o,s-1)张图像。DOGo,s是八度差分高斯金字塔。
本实施例中以2张图像为例说明。在八度差分高斯金字塔中，图像能够实现低频和高频信息的分解。其中，低频信息为基础层图像，用
表示，包含图像的背景、对比度信息；高频信息为细节层，用
表示，包含图像中细节纹理等信息，其中n＝1，2。
在多聚焦图像融合中，n指的是源图像数量。为方便区分，用
和
分别表示第一张多聚焦源图像的基础层和细节层；用
和
分别表示第二张多聚焦源图像的基础层和细节层。
步骤四：对步骤三得到的基础层图像采用视觉显著性策略实现融合，以保留源图像的背景和对比度信息。
公式(10)中实现对待求源图像的基础层和细节层的分解。分解之后的图像各自包含部分互补有效信息。为实现互补信息结合，提高整体信息的表达能力，对分解后的基础层和细节层分别实施图像融合。
在基础层融合时，采用视觉显著性策略能够有效地保留源图像中的对比度信息。视觉显著性衡量的是像素在图像中所占的强度大小，即：
V(p)＝|Ip-I1|+|Ip-I2|+…+|Ip-IN| (28)
其中Ip指的是像素p的大小，N指的是图像的像素总数。对于V(p)，将其归一化为[0,1]区间。
基础层的融合用以下公式(12)实现：
其中，·*是矩阵点乘运算，
和
分别是第一张、第二张源图像的基础层。
步骤五：对步骤三得到的细节层图像采用梯度最大值策略实现融合，增强融合图像中纹理细节信息。
图像的八度差分高斯金字塔分解之后的细节层代表的是图像中的高频信息，包含源图像中纹理细节信息。融合后的图像中包含来自不同源图像中的优势细节信息，具有更为丰富的细节。对步骤三得到的细节层图像采用梯度最大值策略实现融合，能有效的保留来自与源图像的高频信息。
对于图像I，其梯度计算方法为：
g代表垂直梯度算子，g’代表了水平梯度算子。I为待求解图像，▽为图像求解后梯度位图。
利用公式(14)中的梯度方法，图像细节层的融合由以下公式得到：
其中，·*是矩阵点乘运算，
和
分别是第一张、第二张源图像的细节层。
步骤六：将步骤四和步骤五中得到融合后的基础层和细节层进行八度差分高斯金字塔重构，得到低频信息和高频信息更为丰富的融合图像。
在步骤四和步骤五中，对得到的基础层和细节层采用不同的图像融合策略实现基础层和细节层的有效融合，进而保留来自源图像中的低频和高频信息，实现信息优势互补。步骤四和步骤五中得到的融合后的基础层和细节层图像是以八度差分高斯金字塔分解的形式存在。因此，对融合的图像进行重构，实现八度差分高斯金字塔的逆变换，将分解的图像格式还原为原始图像格式，即得到低频信息和高频信息更为丰富的融合图像。
首先实现从八度差分高斯金字塔到八度高斯金字塔的重构，即：
式(16)中
和
指的是融合后的基础层和细节层。在此基础上，将八度高斯金字塔重构，得到最终的融合图像：
F＝max[Fo-1,1,up(Fo,1)*Go-1,S].o＝[O,O-1,…,2] (34)
其中，up指的是上采样操作，Go-1,S指的是八度金字塔中第(o-1,S)张图像的高斯核。最终的图像F即为融合之后的低频信息和高频信息更为丰富的融合图像。
步骤七：融合方法测试。
本实施例选定五组多聚焦图像进行融合，对融合之后的图像与源图像进行对比，见图3。图3中，第一行图像为远景聚焦图像，其远景图像较为清晰，但是近景图像模糊；第二行图像为近景聚焦图像，其近景图像清晰，但是远景图像模糊。第三行为融合后的全景聚焦图像，融合远景聚焦图像和近景聚焦图像的优势，其远景和近景图像均清晰，实现源图像信息的有效保留。
以上所述的具体描述，对发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.基于八度金字塔框架的多聚焦图像融合方法，其特征在于：包括如下步骤，
步骤一：利用高斯核函数对图像实现高斯模糊，得到高斯模糊后的图像；
步骤二：对步骤一中高斯模糊图像进行分解，构建八度高斯金字塔；
步骤三：对步骤二中得到的八度高斯金字塔图像两两之间进行差分，同时得到多组基础层和细节层图像，构建八度差分高斯金字塔；
步骤四：对步骤三得到的基础层图像采用视觉显著性策略实现融合，以保留源图像的背景和对比度信息；
步骤五：对步骤三得到的细节层图像采用梯度最大值策略实现融合，增强融合图像中纹理细节信息；
步骤六：将步骤四和步骤五中得到融合后的基础层和细节层进行八度差分高斯金字塔重构，得到低频信息和高频信息更为丰富的融合图像。
2.如权利要求1所述的基于八度金字塔框架的多聚焦图像融合方法，其特征在于：还包括步骤七，利用步骤六得到的低频信息和高频信息更为丰富的融合图像，为后续的目标识别、目标探测提供有力支撑，为实际应用提供支持。
3.如权利要求1或2所述的基于八度金字塔框架的多聚焦图像融合方法，其特征在于：步骤一实现方法为，
传统高斯公式为：
L(x,y,σ0)＝G(x,y,σ0)*I(x,y) (1)
其中
G(x,y,σ0)指的是高斯核函数，σ0是高斯模糊系数，(x,y)为图像L中的像素坐标，*指的是卷积操作，L(x,y,σ0)是高斯模糊之后的图像。
4.如权利要求3所述的基于八度金字塔框架的多聚焦图像融合方法，其特征在于：步骤二实现方法为，
八度金字塔是对步骤一中的高斯模糊图像进行循环高斯处理，将图像在八度空间和间隔空间中分解得到；在八度高斯金字塔中，八度空间的数量为：
O＝log2(min(M,N))-2 (3)
其中，O是八度空间的数量，(M,N)是图像的大小；每个八度空间中第一张图像的模糊系数为：
σo＝2o-1·σ0，o∈[1,O] (4)
o指的是第o个八度空间，·是乘法运算；σ0是初始高斯模糊系数，σo是第o个八度空间中首个高斯模糊系数；间隔空间中图像是对八度空间的图像进行循环高斯模糊得到的，每个循环模糊的高斯系数用如下公式(5)确定：
σs＝ks-1·σo,k＝21/Sand s∈[1,S] (5)
σs是第s个间隔空间中的高斯模糊系数，k为修正常数，S为间隔空间的总数量；
对公式(4)和公式(5)分析，八度高斯金字塔中的第(o,s)个图像的模糊系数为：
σo,s＝2o-1·ks-1·σ0 (6)
因此，图像的八度高斯金子塔由公式(7)得到：
Lo,s＝Go,s*Io,1 (7)
其中，
公式(8)中Io,1是每个八度空间中第一张图像，I(x,y)是待求的源图像，down指的是下采样操作，Io-1,S指的是第(o-1)的八度空间中的第S间隔空间图像，Go,s是第(o,s)个图像对应的高斯核函数。
5.如权利要求4所述的基于八度金字塔框架的多聚焦图像融合方法，其特征在于：步骤三实现方法为，
八度差分高斯金子塔是在八度高斯金字塔的基础上，对图像进行差分，实现图像的高频和低频信息的分离，同时得到多组基础层和细节层等信息，有效的保留源图像的信息；对公式(7)得到的八度高斯金字塔图像进行差分，得到八度差分高斯金字塔的计算公式(9)：
其中，Lo,s为第(o,s)张图像，Lo,s-1为(o,s-1)张图像；DOGo,s是八度差分高斯金字塔；
在八度差分高斯金字塔中，图像能够实现低频和高频信息的分解；其中，低频信息为基础层图像，用
表示，包含图像的背景、对比度信息；高频信息为细节层，用
表示，包含图像中细节纹理等信息；
在多聚焦图像融合中，n指的是源图像数量；为方便区分，用
和
分别表示第一张多聚焦源图像的基础层和细节层；用
和
分别表示第二张多聚焦源图像的基础层和细节层，用
和
分别表示第n张多聚焦源图像的基础层和细节层。
6.如权利要求5所述的基于八度金字塔框架的多聚焦图像融合方法，其特征在于：步骤四实现方法为，
公式(10)中实现对待求源图像的基础层和细节层的分解；分解之后的图像各自包含部分互补有效信息；为实现互补信息结合，提高整体信息的表达能力，对分解后的基础层和细节层分别实施图像融合；
在基础层融合时，采用视觉显著性策略能够有效地保留源图像中的对比度信息；视觉显著性衡量的是像素在图像中所占的强度大小，即：
V(p)＝|Ip-I1|+|Ip-I2|+…+|Ip-IN| (11)
其中Ip指的是像素p的大小，N指的是图像的像素总数；对于V(p)，将其归一化为[0,1]区间；
基础层的融合用以下公式(12)实现：
其中，·*是矩阵点乘运算，
和
分别是第一张、第二张源图像的基础层，
和
分别是第n张源图像的基础层。
7.如权利要求6所述的基于八度金字塔框架的多聚焦图像融合方法，其特征在于：步骤五实现方法为，
图像的八度差分高斯金字塔分解之后的细节层代表的是图像中的高频信息，包含源图像中纹理细节信息；融合后的图像中包含来自不同源图像中的优势细节信息，具有更为丰富的细节；对步骤三得到的细节层图像采用梯度最大值策略实现融合，能有效的保留来自与源图像的高频信息；
对于图像I，其梯度计算方法为：
g代表垂直梯度算子，g’代表了水平梯度算子；I为待求解图像，▽为图像求解后梯度位图；
利用公式(14)中的梯度方法，图像细节层的融合由以下公式得到：
其中，·*是矩阵点乘运算，
和
分别是第一张、第二张源图像的细节层，
和
分别是第n张源图像的细节层。
8.如权利要求7所述的基于八度金字塔框架的多聚焦图像融合方法，其特征在于：步骤六的实现方法为，
在步骤四和步骤五中，对得到的基础层和细节层采用不同的图像融合策略实现基础层和细节层的有效融合，进而保留来自源图像中的低频和高频信息，实现信息优势互补；步骤四和步骤五中得到的融合后的基础层和细节层图像是以八度差分高斯金字塔分解的形式存在；因此，对融合的图像进行重构，实现八度差分高斯金字塔的逆变换，将分解的图像格式还原为原始图像格式，即得到低频信息和高频信息更为丰富的融合图像；
首先实现从八度差分高斯金字塔到八度高斯金字塔的重构，即：
式(16)中
和
指的是融合后的基础层和细节层；在此基础上，将八度高斯金字塔重构，得到最终的融合图像：
F＝max[Fo-1,1,up(Fo,1)*Go-1,S].o＝[O,O-1,…,2] (17)
其中，up指的是上采样操作，Go-1,S指的是八度金字塔中第(o-1,S)张图像的高斯核；最终的图像F即为融合之后的低频信息和高频信息更为丰富的融合图像。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010024373 | 2020-01-10 | ||
| CN2020100243738 | 2020-01-10 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111402183A true CN111402183A (zh) | 2020-07-10 |
| CN111402183B CN111402183B (zh) | 2023-08-11 |
Family
ID=71432882
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010211635.1A Active CN111402183B (zh) | 2020-01-10 | 2020-03-24 | 基于八度金字塔框架的多聚焦图像融合方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111402183B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114240935A (zh) * | 2022-02-24 | 2022-03-25 | 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) | 一种空频域特征融合的医学影像特征识别方法及装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106339998A (zh) * | 2016-08-18 | 2017-01-18 | 南京理工大学 | 基于对比度金字塔变换的多聚焦图像融合方法 |
| CN106803242A (zh) * | 2016-12-26 | 2017-06-06 | 江南大学 | 基于四元数小波变换的多聚焦图像融合方法 |
| US20180350050A1 (en) * | 2015-11-27 | 2018-12-06 | Spectral Edge Limited | Method and system for generating an output image from a plurality of corresponding input image channels |
| CN109523494A (zh) * | 2018-10-11 | 2019-03-26 | 南昌航空大学 | 一种多聚焦图像融合方法 |
| CN110334779A (zh) * | 2019-07-16 | 2019-10-15 | 大连海事大学 | 一种基于PSPNet细节提取的多聚焦图像融合方法 |
-
2020
- 2020-03-24 CN CN202010211635.1A patent/CN111402183B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180350050A1 (en) * | 2015-11-27 | 2018-12-06 | Spectral Edge Limited | Method and system for generating an output image from a plurality of corresponding input image channels |
| CN106339998A (zh) * | 2016-08-18 | 2017-01-18 | 南京理工大学 | 基于对比度金字塔变换的多聚焦图像融合方法 |
| CN106803242A (zh) * | 2016-12-26 | 2017-06-06 | 江南大学 | 基于四元数小波变换的多聚焦图像融合方法 |
| CN109523494A (zh) * | 2018-10-11 | 2019-03-26 | 南昌航空大学 | 一种多聚焦图像融合方法 |
| CN110334779A (zh) * | 2019-07-16 | 2019-10-15 | 大连海事大学 | 一种基于PSPNet细节提取的多聚焦图像融合方法 |
Non-Patent Citations (3)
| Title |
|---|
| CHUAN ZHU LIAO 等: "Multifocus Image Fusion Using Laplacian Pyramid and Gabor Filters", 《APPLIED MECHANICS AND MATERIALS》 * |
| YIBO CHEN 等: "Robust Multi-Focus Image Fusion Using Edge Model and Multi-Matting", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 * |
| 赵迪迪;季轶群;: "区域方差和点锐度相结合的多聚焦图像融合", 液晶与显示 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114240935A (zh) * | 2022-02-24 | 2022-03-25 | 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) | 一种空频域特征融合的医学影像特征识别方法及装置 |
| CN114240935B (zh) * | 2022-02-24 | 2022-05-20 | 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) | 一种空频域特征融合的医学影像特征识别方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111402183B (zh) | 2023-08-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108038445B (zh) | 一种基于多视角深度学习框架的sar自动目标识别方法 | |
| CN107239751B (zh) | 基于非下采样轮廓波全卷积网络的高分辨sar图像分类方法 | |
| Basavaprasad et al. | A study on the importance of image processing and its applications | |
| CN109035172B (zh) | 一种基于深度学习的非局部均值超声图像去噪方法 | |
| CN110097617B (zh) | 基于卷积神经网络与显著性权重的图像融合方法 | |
| CN112749616B (zh) | 点云数据的多域邻域嵌入和加权 | |
| CN112215296B (zh) | 基于迁移学习的红外图像识别方法及存储介质 | |
| Liu et al. | Diffusion model with detail complement for super-resolution of remote sensing | |
| Hu et al. | Unsupervised haze removal for high-resolution optical remote-sensing images based on improved generative adversarial networks | |
| Pashaei et al. | Deep learning-based single image super-resolution: an investigation for dense scene reconstruction with UAS photogrammetry | |
| CN111126385A (zh) | 一种可变形活体小目标的深度学习智能识别方法 | |
| Cheng et al. | A multi-domain collaborative transfer learning method with multi-scale repeated attention mechanism for underwater side-scan sonar image classification | |
| CN112949633A (zh) | 一种基于改进YOLOv3的红外目标检测方法 | |
| CN1251145C (zh) | 综合边缘和纹理信息的金字塔图像融合方法 | |
| CN110517211A (zh) | 一种基于梯度域映射的图像融合方法 | |
| Zhang et al. | Multimodal image fusion based on global-regional-local rule in NSST domain | |
| Wang et al. | Paccdu: pyramid attention cross-convolutional dual unet for infrared and visible image fusion | |
| Luo et al. | Infrared and Visible Image Fusion: Methods, Datasets, Applications, and Prospects | |
| Zhang et al. | Single-image defogging algorithm based on improved cycle-consistent adversarial network | |
| CN111402183A (zh) | 基于八度金字塔框架的多聚焦图像融合方法 | |
| Bhutto et al. | An improved infrared and visible image fusion using an adaptive contrast enhancement method and deep learning network with transfer learning | |
| Yan et al. | Infrared and visible image fusion based on NSST and RDN | |
| CN114897842A (zh) | 基于纹理增强网络的红外小目标分割检测方法 | |
| Zhu et al. | Accurate disparity estimation in light field using ground control points | |
| Xiao et al. | Automobile Driver Fatigue Detection Method Based on Facial Image Recognition under Single Sample Condition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |