CN116823688A - 基于多尺度模糊质量评估的多聚焦图像融合方法及系统 - Google Patents
基于多尺度模糊质量评估的多聚焦图像融合方法及系统 Download PDFInfo
- Publication number
- CN116823688A CN116823688A CN202310612871.8A CN202310612871A CN116823688A CN 116823688 A CN116823688 A CN 116823688A CN 202310612871 A CN202310612871 A CN 202310612871A CN 116823688 A CN116823688 A CN 116823688A
- Authority
- CN
- China
- Prior art keywords
- image
- fusion
- source image
- detail
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013441 quality evaluation Methods 0.000 title claims abstract description 54
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 20
- 230000004927 fusion Effects 0.000 claims abstract description 91
- 238000012545 processing Methods 0.000 claims abstract description 33
- 238000000034 method Methods 0.000 claims abstract description 29
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 18
- 238000007499 fusion processing Methods 0.000 claims abstract description 8
- 238000010586 diagram Methods 0.000 claims description 22
- 238000001303 quality assessment method Methods 0.000 claims description 20
- 238000012795 verification Methods 0.000 claims description 17
- 238000005070 sampling Methods 0.000 claims description 12
- 238000011156 evaluation Methods 0.000 claims description 11
- 230000014509 gene expression Effects 0.000 claims description 10
- 230000000007 visual effect Effects 0.000 claims description 7
- 238000005516 engineering process Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 5
- 238000007670 refining Methods 0.000 claims description 2
- 241000282412 Homo Species 0.000 claims 1
- 230000006870 function Effects 0.000 description 10
- 238000013135 deep learning Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000008485 antagonism Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了基于多尺度模糊质量评估的多聚焦图像融合方法及系统，该方法包括：通过高斯金字塔对第一源图像和第二源图像进行多尺度分解处理，获取对应的子带图像；基于模糊质量评价算法对不同的子带图像进行模糊质量评价，构建重建图像的基础层；将重建图像的基础层分别与对应的源图像进行相减处理，得到对应的细节层；基于修正拉普拉斯能量与局部能量的融合规则对对应的细节层进行融合处理，获取最终的融合图像。通过使用本发明，能够有效地检查源图像中的聚焦区域，得到一副清晰的全聚焦图像。本发明作为基于多尺度模糊质量评估的多聚焦图像融合方法及系统，可广泛应用于图像融合技术领域。
Description
技术领域
本发明涉及图像融合技术领域，尤其涉及基于多尺度模糊质量评估的多聚焦图像融合方法及系统。
背景技术
由于光学镜头的景深有限，数字成像设备在捕捉特定场景中的信息时，无法使所有对象都清晰成像。多焦点图像融合是解决这一问题的有效手段。通过改变镜头的焦距，获取同一场景中不同景深的图像，然后使用多焦点图像融合算法从这些图像中提取焦点信息，合成清晰的图像，多焦点图像作为一种重要的图像处理技术，在目标检测与识别、医疗、资源勘探等方面发挥着非常重要的作用；像素级图像融合的算法一般可以分为基于变换域的图像融合、基于空间域的图像融合以及基于深度学习的图像融合，基于变换域的图像融合着重使用多尺度变换的方法，一般包括三个步骤：第一，将源图像分解成为高频成分和低频成分；其次，使用特定的融合方案对两种成分分别进行融合；最后，通过逆MST变换重构融合图像。基于变换域方法的关键在于分解工具的选择和融合方案的选择。最早的多尺度变换工具包括梯度金字塔、拉普拉斯金字塔等，随着小波变换技术的发展，大量的MST分解工具不断涌现，一些方法也被广泛使用：离散小波变换、双树复小波变换、非下采样轮廓波变换、非下采样剪切波变换、形态学小波变换等；除了基于变换域的方法，基于空间域的方法是另一种重要的图像融合方法，这种方法直接在像素点上对源图像进行处理，空间域的方法主要分为基于像素、区域和块分割几种方案，可以充分提取图像中的特征信息，同时考虑了局部区域像素间的相关性，提高了有用信息提取的准确性。但是，基于空间域的大多数方法一定程度上依赖于复杂且低效的分割算法，如果处理不当，会在融合图像中引入错误信息；随着深度学习的不断发展，基于深度学习的图像融合引起了人们的广泛关注，并提出了大量有监督和无监督的多焦点图像融合方法。具体而言，多焦点图像融合使用各种深度学习模型或方法，如基于卷积神经网络(CNN)、生成对抗性网络(GAN)、基于编码器-解码器网络的方法和基于变换的方法。大多数基于深度学习的监督方法都使用合成数据集。然而，这些训练数据与真实的多焦点图像不一致。因此，它们无法有效处理真实的多焦点图像。
发明内容
为了解决上述技术问题，本发明的目的是提供基于多尺度模糊质量评估的多聚焦图像融合方法及系统，能够有效地检查源图像中的聚焦区域，得到一副清晰的全聚焦图像。
本发明所采用的第一技术方案是：基于多尺度模糊质量评估的多聚焦图像融合方法，包括以下步骤：
通过高斯金字塔对第一源图像和第二源图像进行多尺度分解处理，获取对应的子带图像；
基于模糊质量评价算法对不同的子带图像进行模糊质量评价，并根据模糊质量评价结果进行重建处理，构建重建图像的基础层；
将重建图像的基础层分别与第一源图像和第二源图像进行相减处理，得到第一源图像的细节层和第二源图像的细节层；
基于修正拉普拉斯能量与局部能量的融合规则以及一致性验证操作对第一源图像的细节层和第二源图像的细节层进行融合处理，并根据细节融合结果与重建图像的基础层进行相加处理，得到最终的融合图像。
进一步，所述通过高斯金字塔对第一源图像和第二源图像进行多尺度分解处理，获取对应的子带图像这一步骤，其具体包括：
通过高斯金字塔对第一源图像和第二源图像分别进行一次上采样和一次下采样处理，将源图像扩展到Ix，l、Ix，l+1(i，j)和Ixl-1(i，j)三个尺度的子带图像，所述上采样和下采样对应的表达式具体如下所示；
上式中，(i，j)表示图像的像素点坐标，Ix，l表示源图像，Ix，l+1(i，j)表示对源图像进行上采样得到的子带图像，Ix，l-1(i，j)表示对源图像进行下采样得到的子带图像，w(m，n)表示起到图像滤波作用的窗口函数，(m，n)表示窗口大小。
进一步，所述基于模糊质量评价算法对不同的子带图像进行模糊质量评价，并根据模糊质量评价结果进行重建处理，构建重建图像的基础层这一步骤，其具体包括：
通过滑动窗口技术按照预设滑动方向对不同的子带图像进行划分处理，得到对应的图像块，所述预设滑动方向为从左上向右下滑动；
通过无参考图像焦点质量评估对不同的图像块进行测评，获取模糊质量评价结果；
基于模糊质量评价结果构建三个尺度的融合图像基础层子带；
对三个尺度的融合图像基础层子带进行重建处理，构建重建图像的基础层。
进一步，所述通过无参考图像焦点质量评估对不同的图像块进行测评，获取模糊质量评价结果这一步骤，其具体包括：
构建模糊质量评价函数FAQ；
通过模糊质量评价函数对不同的图像块进行测评，得到第一源图像与第二源图像块对应的测评值；
对第一源图像与第二源图像块对应的测评值进行判断，根据判断结果构建初始基础层子带图像；
对初始基础层子带进行高斯滤波处理，获取基础层子带。
进一步，所述构建模糊质量评价函数FAQ这一步骤，其具体包括：
将人类视觉系统滤波器定义为偶数导数算子；
将偶数导数算子的HVS-M内核作为卷积运算，对失焦图像的频率幅值进行部分修改，提取出图像补丁中聚焦质量分级的清晰度特征，图像补丁的FAQ评分定义为；
上式中，表示给定的灰色尺度图像，hHVS-M表示定义为偶数导数算子的人类视觉系统滤波器，FQPath(·)表示评分操作，S表示评分的值。
进一步，所述通过模糊质量评价函数对不同的图像块进行测评的表达式为：
上式中，FAQ(·)表示模糊质量评价函数FAQ，hHVS-M表示定义为偶数导数算子的人类视觉系统滤波器，表示对应的第一源图像与第二源图像的图像块焦点评价，/>表示不同的图像块。
进一步，所述基于修正拉普拉斯能量与局部能量的融合规则以及一致性验证操作对第一源图像的细节层和第二源图像的细节层进行融合处理，并根据细节融合结果与重建图像的基础层进行相加处理，得到最终的融合图像这一步骤，其具体包括：
利用修正拉普拉斯能量与局部能量的融合规则获取初始决策图；
使用一致性验证操作优化初始决策图，得到最终判决图；
利用最终判决图构建细节融合结果；
细节融合结果与重建图像的基础层进行相加处理，得到最终的融合图像。
所述基于修正拉普拉斯能量与局部能量的融合规则，通过SMLE策略对第一源图像的细节层和第二源图像的细节层进行融合处理，构建细节融合结果这一步骤，其具体包括：
定义源图像的细节层的SML和源图像的基础层的LEN；
对源图像的细节层的SML和源图像的基础层的LEN进行相乘处理，构建源图像的细节层的SMLE；
根据源图像的细节层的SMLE构建融合图像细节层初始决策图，其表达式为；
上式中，IDM(i，j)表示融合图像细节层初始决策图，SMLE(DA(i，j))表示第一源图像的细节层的SMLE，SMLE(DB(i，j))表示第二源图像的细节层的SMLE。
采用一致性验证操作优化细节层初始决策图，得到最终判决图，并且利用最终判决图构建细节融合结果，与重建图像的基础层进行相加处理，得到最终的融合图像这一步骤，其具体包括：
引入“bwareaopen”填充滤波器的自适应阈值对细节融合结果进行优化，得到优化后的细节融合结果；
通过一致性验证操作对优化后的细节融合结果进行细化处理，获取源图像在位置(i，j)的最终判决图；
根据预设规则对源图像在位置(i，j)的最终判决图进行处理，得到细节融合结果，所述预设规则的表达式为；
上式中，DA(i，j)表示第一源图像的细节层，DB(i，j)表示第二源图像的细节层，DF(i，j)表示细节融合结果，FDM(i，j)表示源图像在位置(i，j)的最终判决图。
本发明所采用的第二技术方案是：基于多尺度模糊质量评估的多聚焦图像融合系统，包括：
分解模块，用于通过高斯金字塔对第一源图像和第二源图像进行多尺度分解处理，获取对应的子带图像；
评价模块，基于模糊质量评价算法对不同的子带图像进行模糊质量评价，并根据模糊质量评价结果进行重建处理，构建重建图像的基础层；
相减模块，用于将重建图像的基础层分别与第一源图像和第二源图像进行相减处理，得到第一源图像的细节层和第二源图像的细节层；
融合模块，基于修正拉普拉斯能量与局部能量的融合规则以及一致性验证操作对第一源图像的细节层和第二源图像的细节层进行融合处理，并根据细节融合结果与重建图像的基础层进行相加处理，得到最终的融合图像。
本发明方法及系统的有益效果是：本发明通过获取多张第一源图像，利用高斯金字塔对图像进行多尺度分解，得到不同子带的图像，然后，利用基于模糊质量评价的算法对子带图像进行处理，得到融合图像的基础层与原图像细节层，进一步对于分解得到的基础层，直接采用修正拉普拉斯能量与局部能量的融合规则，对细节层进行融合，最后，采用一致性验证操作来优化并获得最终的决策图和相应的融合结果能够有效地从这些多幅源图像中提取焦点信息，合成清晰的图像。
附图说明
图1是本发明基于多尺度模糊质量评估的多聚焦图像融合方法的步骤流程图；
图2是本发明基于多尺度模糊质量评估的多聚焦图像融合系统的结构框图；
图3是本发明基于多尺度模糊质量评价的多聚焦融合的框架结构示意图。
具体实施方式
下面结合附图和具体实施例对本发明做进一步的详细说明。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
参照图1，本发明提供了基于多尺度模糊质量评估的多聚焦图像融合方法，该方法包括以下步骤：
S1、获取多张第一源图像，利用高斯金字塔对图像进行多尺度分解，得到不同子带的图像。
具体地，高斯金字塔对图像进行多尺度分解，假设Ix，l表示的原图像，其尺度为l，进行上采样和下采样的过程可以描述如下：
其中，(i，j)表示像素点坐标，Ix，l+1(i，j)和Ix，l-1(i，j)分别是对Ix，l进行上采样与下采样获得的子带图像，w(m，n)是起到图像滤波作用的窗口函数，选择为w(m，n)＝f′*f(f＝1，4，6，4，1)，在本发明提出的方法中，只进行一次上采样与一次下采样，将Ix，l扩展到Ix，l，Ix，l+1(i，j)和Ix，l-1(i，j)三个尺度的子带图像。
S2、利用基于模糊质量评价的算法对子带图像进行处理，得到融合图像的基础层与原图像细节层。
S21、首先采用滑动窗口技术，将子带图像从左上到右下分别划分为一组大小为k*k的图像块/>
具体地，采用滑动窗口技术，将子带图像将从左上到右下分别划分为一组大小为k*k的图像块，图像块提取结果如下所示：
其中表示Ix，l上的第z个图像块，由于子带图像大小不一致，所以适应的图像块大小也不同，假定Ix，l的图像块大小为k×k，则Ix，l+1和Ix，l-1图像块大小被设置为(k+4)*(k+4)和(k-4)*(k-4)。
S22、利用无参考图像焦点质量评估度量不同子带的图像块进行测评，来获取图像块的模糊质量评价/>进而获取融合图像的不同子带；
具体地，定义模糊质量评价函数FAQ，利用FAQ对不同原图像子带的图像块进行模糊质量评价，利用模糊质量评价的值构建融合图像基础层子带；
进一步的，将人类视觉系统滤波器定义为偶数导数算子，
其中d2n(r)＝d2n/dr2n是第2n个导数算子，是未知系数，r表示光轴沿横向平面的径向距离，z*是显微镜物镜的最佳焦距，通过精确调整这一距离，能够计算失焦模糊和自然图像频率衰减行为，对偶数导数算子公式构造的HVS-M内核现在可以作为卷积运算，对失焦图像的频率幅值进行部分修改，从而能够提取出图像补丁中聚焦质量分级的清晰度特征，给定灰色尺度图像/>图像补丁的FAQ评分定义如下所示：
上式中，S表示焦点质量分数，它与焦点质量成反比，即较低的分数表示更好的焦点质量；
假设与/>分别表示原图像A和B尺度为L的子带的第z个图像块，利用无参考图像焦点质量评估度量对不同源图像上对应的补丁进行测评，来获取/>的模糊质量评价/>过程如下：
假设与/>分别表示原图像A和B尺度为L的子带的第z个图像块的/>和/>的焦点评价；
融合图像的尺度为L的子带的第z个补丁的构建如下：
融合图像尺度为l的低频子带由补丁/>拼凑而成，此外，为了避免/>中出现块效应现象，从而影响后续对聚焦区域内像素的判断，本发明对图像/>进行高斯滤波处理，
其中Gw，σ表示窗σ大小为w×w，标准差为σ的高斯函数。
S23、将融合图像的不同子带进行重建，得到融合图像的基础层，然后见基础层与原图像相减，得到原图像的细节层。
具体地，通过三个不同尺度的基础层子带，采用重构获取融合图像的基础层，描述如下：
通过基础层与源图像相减可以得到包含聚焦区域像素信息的高频图，其表达式为：
Dx＝Ix-FBase
其中表示Dx源图像的基础层。
S3、采用修正拉普拉斯能量与局部能量的融合规则，对细节层进行融合。
具体地，对于细节层Dx的SML的定义如下：
对于大小为(2M+1)(2N+1)的窗口，其中是MLx(i，j)修正的拉普拉斯算子(ML)，其定义为：
MLx(i，j)＝|2Dx(i，j)-Dx(i-1，j)-Dx(i+1，j)|+|2Dx(i，j)-Dx(i，j-1)-Dx(i，j+1)|
基础层Dx的LEN的定义如下：
其中窗口大小为(2M+1)(2N+1)；
细节层Dx的SMLE定义如下：
SMLE(Dx(i，j))＝SML(Dx(i，j))*LE(Dx(i，j))
最后，用SMLE构建融合图像细节层初始决策图IDM(i，j)的过程可以描述如下：
S4、采用一致性验证操作来优化并获得最终的决策图和相应的融合结果。
具体地，为了纠正这些错误的像素，引入了“bwareaopen”填充滤波器的自适应阈值来改进IDMs，其表达式为：
MDM＝bewareaopen(IDM(i，j)，th)
填充滤波器可以从二值图像中消除所有小于像素的小区域。定义为th＝0.015×S的自适应th是一个很好的选择，这里S表示源图像的面积；
考虑到对象的完整性，决策图MDM可以通过以下一致性验证操作来进一步细化，其表达式为：
其中FDM(i，j)是源图像n在位置(i，j)的最终判决图，Θ是以(i，j)为中心的正方形邻域，大小为17×17。
最后，融合图像的细节层的获取如下：
最终，融合图的获取如下：
IF(i，j)＝DF(i，j)+BF(i，j)
参照图2，基于多尺度模糊质量评估的多聚焦图像融合系统，包括：
分解模块，用于通过高斯金字塔对第一源图像和第二源图像进行多尺度分解处理，获取对应的子带图像；
评价模块，基于模糊质量评价算法对不同的子带图像进行模糊质量评价，并根据模糊质量评价结果进行重建处理，构建重建图像的基础层；
相减模块，用于将重建图像的基础层分别与第一源图像和第二源图像进行相减处理，得到第一源图像的细节层和第二源图像的细节层；
融合模块，基于修正拉普拉斯能量与局部能量的融合规则以及一致性验证操作对第一源图像的细节层和第二源图像的细节层进行融合处理，并根据细节融合结果与重建图像的基础层进行相加处理，得到最终的融合图像。
综上所述，本发明首先获取多张第一源图像，利用高斯金字塔对图像进行多尺度分解，得到不同子带的图像；然后，利用基于模糊质量评价的算法对子带图像进行处理，得到融合图像的基础层与原图像细节层；接下来，对于分解得到的基础层，直接采用修正拉普拉斯能量与局部能量的融合规则，对细节层进行融合；最后，采用一致性验证操作来优化并获得最终的决策图和相应的融合结果。该方法能够有效地检查源图像中的聚焦区域，得到一副清晰的全聚焦图像。
上述方法实施例中的内容均适用于本系统实施例中，本系统实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。
Claims (10)
1.基于多尺度模糊质量评估的多聚焦图像融合方法，其特征在于，包括以下步骤：
通过高斯金字塔对第一源图像和第二源图像进行多尺度分解处理，获取对应的子带图像；
基于模糊质量评价算法对不同的子带图像进行模糊质量评价，并根据模糊质量评价结果进行重建处理，构建重建图像的基础层；
将重建图像的基础层分别与第一源图像和第二源图像进行相减处理，得到第一源图像的细节层和第二源图像的细节层；
基于修正拉普拉斯能量与局部能量的融合规则以及一致性验证操作对第一源图像的细节层和第二源图像的细节层进行融合处理，并根据细节融合结果与重建图像的基础层进行相加处理，得到最终的融合图像。
2.根据权利要求1所述基于多尺度模糊质量评估的多聚焦图像融合方法，其特征在于，所述通过高斯金字塔对第一源图像和第二源图像进行多尺度分解处理，获取对应的子带图像这一步骤，其具体包括：
通过高斯金字塔对第一源图像和第二源图像分别进行一次上采样和一次下采样处理，将源图像扩展到Ix,l、Ix,l+1(i,j)和Ix,l-1(i,j)三个尺度的子带图像，所述上采样和下采样对应的表达式具体如下所示；
上式中，(i,j)表示图像的像素点坐标，Ix,l表示源图像，Ix,l+1(i,j)表示对源图像进行上采样得到的子带图像，Ix,l-1(i,j)表示对源图像进行下采样得到的子带图像，w(m,n)表示起到图像滤波作用的窗口函数，(m,n)表示窗口大小。
3.根据权利要求2所述基于多尺度模糊质量评估的多聚焦图像融合方法，其特征在于，所述基于模糊质量评价算法对不同的子带图像进行模糊质量评价，并根据模糊质量评价结果进行重建处理，构建重建图像的基础层这一步骤，其具体包括：
通过滑动窗口技术按照预设滑动方向对不同的子带图像进行划分处理，得到对应的图像块，所述预设滑动方向为从左上向右下滑动；
通过无参考图像焦点质量评估对不同的图像块进行测评，获取模糊质量评价结果；
基于模糊质量评价结果构建三个尺度的融合图像基础层子带；
对三个尺度的融合图像基础层子带进行重建处理，构建重建图像的基础层。
4.根据权利要求3所述基于多尺度模糊质量评估的多聚焦图像融合方法，其特征在于，所述通过无参考图像焦点质量评估对不同的图像块进行测评，获取模糊质量评价结果这一步骤，其具体包括：
构建模糊质量评价函数FAQ；
通过模糊质量评价函数对不同的图像块进行测评，得到第一源图像与第二源图像块对应的测评值；
对第一源图像与第二源图像块对应的测评值进行判断，根据判断结果构建初始基础层子带图像；
对初始基础层子带进行高斯滤波处理，获取基础层子带。
5.根据权利要求4所述基于多尺度模糊质量评估的多聚焦图像融合方法，其特征在于，所述构建模糊质量评价函数FAQ这一步骤，其具体包括：
将人类视觉系统滤波器定义为偶数导数算子；
将偶数导数算子的HVS-M内核作为卷积运算，对失焦图像的频率幅值进行部分修改，提取出图像补丁中聚焦质量分级的清晰度特征，图像补丁的FAQ评分定义为；
上式中，表示给定的灰色尺度图像，hHVS-M表示定义为偶数导数算子的人类视觉系统滤波器，FQPath(·)表示评分操作，S表示评分的值。
6.根据权利要求5所述基于多尺度模糊质量评估的多聚焦图像融合方法，其特征在于，所述通过模糊质量评价函数对不同的图像块进行测评的表达式为：
上式中，FAQ(·)表示模糊质量评价函数FAQ，hHVS-M表示定义为偶数导数算子的人类视觉系统滤波器，表示对应的第一源图像与第二源图像的图像块焦点评价，/>表示不同的图像块。
7.根据权利要求6所述基于多尺度模糊质量评估的多聚焦图像融合方法，其特征在于，所述基于修正拉普拉斯能量与局部能量的融合规则以及一致性验证操作对第一源图像的细节层和第二源图像的细节层进行融合处理，并根据细节融合结果与重建图像的基础层进行相加处理，得到最终的融合图像这一步骤，其具体包括：
利用修正拉普拉斯能量与局部能量的融合规则获取初始决策图；
使用一致性验证操作优化初始决策图，得到最终判决图；
利用最终判决图构建细节融合结果；
细节融合结果与重建图像的基础层进行相加处理，得到最终的融合图像。
8.根据权利要求7所述基于多尺度模糊质量评估的多聚焦图像融合方法，其特征在于，所述基于修正拉普拉斯能量与局部能量的融合规则，通过SMLE策略对第一源图像的细节层和第二源图像的细节层进行融合处理，构建细节融合结果这一步骤，其具体包括：
定义源图像的细节层的SML和源图像的基础层的LEN；
对源图像的细节层的SML和源图像的基础层的LEN进行相乘处理，构建源图像的细节层的SMLE；
根据源图像的细节层的SMLE构建融合图像细节层初始决策图，其表达式为；
上式中，IDM(i,j)表示融合图像细节层初始决策图，SMLE(DA(i,j))表示第一源图像的细节层的SMLE，SMLE(DB(i,j))表示第二源图像的细节层的SMLE。
9.根据权利要求8所述基于多尺度模糊质量评估的多聚焦图像融合方法，其特征在于，采用一致性验证操作优化细节层初始决策图，得到最终判决图，并且利用最终判决图构建细节融合结果，与重建图像的基础层进行相加处理，得到最终的融合图像这一步骤，其具体包括：
引入“bwareaopen”填充滤波器的自适应阈值对细节融合结果进行优化，得到优化后的细节融合结果；
通过一致性验证操作对优化后的细节融合结果进行细化处理，获取源图像在位置(i,j)的最终判决图；
根据预设规则对源图像在位置(i,j)的最终判决图进行处理，得到细节融合结果，所述预设规则的表达式为；
上式中，DA(i,j)表示第一源图像的细节层，DB(i,j)表示第二源图像的细节层，DF(i,j)表示细节融合结果，FDM(i,j)表示源图像在位置(i,j)的最终判决图。
10.基于多尺度模糊质量评估的多聚焦图像融合系统，其特征在于，包括以下模块：
分解模块，用于通过高斯金字塔对第一源图像和第二源图像进行多尺度分解处理，获取对应的子带图像；
评价模块，基于模糊质量评价算法对不同的子带图像进行模糊质量评价，并根据模糊质量评价结果进行重建处理，构建重建图像的基础层；
相减模块，用于将重建图像的基础层分别与第一源图像和第二源图像进行相减处理，得到第一源图像的细节层和第二源图像的细节层；
融合模块，基于修正拉普拉斯能量与局部能量的融合规则以及一致性验证操作对第一源图像的细节层和第二源图像的细节层进行融合处理，并根据细节融合结果与重建图像的基础层进行相加处理，得到最终的融合图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310612871.8A CN116823688A (zh) | 2023-05-29 | 2023-05-29 | 基于多尺度模糊质量评估的多聚焦图像融合方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310612871.8A CN116823688A (zh) | 2023-05-29 | 2023-05-29 | 基于多尺度模糊质量评估的多聚焦图像融合方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116823688A true CN116823688A (zh) | 2023-09-29 |
Family
ID=88128378
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310612871.8A Pending CN116823688A (zh) | 2023-05-29 | 2023-05-29 | 基于多尺度模糊质量评估的多聚焦图像融合方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116823688A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117692795A (zh) * | 2024-02-04 | 2024-03-12 | 苏州苏映视图像软件科技有限公司 | 景深图像融合系统和方法 |
-
2023
- 2023-05-29 CN CN202310612871.8A patent/CN116823688A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117692795A (zh) * | 2024-02-04 | 2024-03-12 | 苏州苏映视图像软件科技有限公司 | 景深图像融合系统和方法 |
| CN117692795B (zh) * | 2024-02-04 | 2024-05-03 | 苏州苏映视图像软件科技有限公司 | 景深图像融合系统和方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108921799B (zh) | 基于多尺度协同学习卷积神经网络的遥感图像薄云去除方法 | |
| CN111091503B (zh) | 基于深度学习的图像去失焦模糊方法 | |
| CN112507997A (zh) | 一种基于多尺度卷积和感受野特征融合的人脸超分辨系统 | |
| CN110443775B (zh) | 基于卷积神经网络的离散小波变换域多聚焦图像融合方法 | |
| Li et al. | Multifocus Image Fusion Using Wavelet‐Domain‐Based Deep CNN | |
| CN111915530A (zh) | 一种基于端到端的雾霾浓度自适应神经网络图像去雾方法 | |
| CN105894483B (zh) | 一种基于多尺度图像分析和块一致性验证的多聚焦图像融合方法 | |
| CN107909560A (zh) | 一种基于SiR的多聚焦图像融合方法及系统 | |
| CN111179196B (zh) | 一种基于分而治之的多分辨率深度网络图像去高光方法 | |
| CN114240797B (zh) | 一种oct图像去噪方法、装置、设备及介质 | |
| CN114581347B (zh) | 无参考影像的光学遥感空谱融合方法、装置、设备及介质 | |
| Fan et al. | Multi-scale depth information fusion network for image dehazing | |
| CN116823688A (zh) | 基于多尺度模糊质量评估的多聚焦图像融合方法及系统 | |
| CN112785539A (zh) | 基于图像自适应分解及参数自适应的多聚焦图像融合方法 | |
| Ghosh et al. | SDCA: a novel stack deep convolutional autoencoder–an application on retinal image denoising | |
| Wali et al. | Recent progress in digital image restoration techniques: a review | |
| Lee et al. | Speckle reduction via deep content-aware image prior for precise breast tumor segmentation in an ultrasound image | |
| CN115358922A (zh) | 一种基于生成对抗网络的太赫兹图像超分辨率重建方法 | |
| Guo et al. | Low-light image enhancement with joint illumination and noise data distribution transformation | |
| Prasath et al. | Application of different techniques for underwater image processing-a systematic review | |
| CN113763268A (zh) | 人脸图像盲修复方法及系统 | |
| Bricman et al. | CocoNet: A deep neural network for mapping pixel coordinates to color values | |
| Li et al. | Super‐Resolution Reconstruction of Underwater Image Based on Image Sequence Generative Adversarial Network | |
| Xu et al. | Underwater image enhancement method based on a cross attention mechanism | |
| Xu et al. | Swin transformer and ResNet based deep networks for low-light image enhancement |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |