CN108648174A - 一种基于自动对焦技术的多层图像融合方法及系统 - Google Patents
一种基于自动对焦技术的多层图像融合方法及系统 Download PDFInfo
- Publication number
- CN108648174A CN108648174A CN201810299190.XA CN201810299190A CN108648174A CN 108648174 A CN108648174 A CN 108648174A CN 201810299190 A CN201810299190 A CN 201810299190A CN 108648174 A CN108648174 A CN 108648174A
- Authority
- CN
- China
- Prior art keywords
- fusion
- image
- frequency
- low
- frequency information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005516 engineering process Methods 0.000 title claims abstract description 25
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 13
- 230000004927 fusion Effects 0.000 claims abstract description 57
- 238000011156 evaluation Methods 0.000 claims abstract description 47
- 238000000034 method Methods 0.000 claims abstract description 42
- 238000007499 fusion processing Methods 0.000 claims abstract description 26
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 24
- 230000008569 process Effects 0.000 claims abstract description 16
- 238000012545 processing Methods 0.000 claims abstract description 10
- 230000009466 transformation Effects 0.000 claims abstract description 10
- 238000006243 chemical reaction Methods 0.000 claims description 19
- 230000002068 genetic effect Effects 0.000 claims description 9
- 230000000630 rising effect Effects 0.000 claims 2
- 238000001514 detection method Methods 0.000 abstract description 2
- 238000003384 imaging method Methods 0.000 abstract description 2
- 230000000007 visual effect Effects 0.000 description 12
- 238000002156 mixing Methods 0.000 description 8
- 230000003044 adaptive effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 238000013316 zoning Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000003759 clinical diagnosis Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
- 210000001835 viscera Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/12—Computing arrangements based on biological models using genetic models
- G06N3/126—Evolutionary algorithms, e.g. genetic algorithms or genetic programming
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20064—Wavelet transform [DWT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Molecular Biology (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Medical Informatics (AREA)
- Genetics & Genomics (AREA)
- Physiology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种基于自动对焦技术的多层图像融合方法及系统，根据融合时间及融合输入图像的处理层度进行的层次划分情况，分别从空间域和变换域对图像进行变换；将小波变换运算方法引入到卷积过程中，变换后的图像经提升小波分解后得到高频信息和低频信息，并对融合过程中的多个阈值进行优化；采用平均结构相似度作为融合过程权值寻优的评价函数；高频子带采用图像对比度与PCNN相结合进行高频融合，低频子带采用区域能量与区域梯度相结合进行低频融合。本发明通过自动化、智能化的手段实现对高分辨生物成像的自适应配准，操作简便，检测效率高，可靠性高，通用性强。
Description
技术领域
本发明涉及图像处理技术领域，具体地，涉及一种基于自动对焦技术的多层图像融合方法及系统。
背景技术
随着计算机技术、传感器技术和医学影像技术的不断发展，越来越多的医学图像成功应用于临床诊断和治疗中。由于传感器成像原理的差异，人体同一部位或脏器在不同模态的医学图像中呈现的信息各具特点，这对于多模态医学图像融合带来了新的挑战。时至今日，针对像素级多模态医学图像融合，国内外学者并没有研究出一套完整的理论和方法，同时也并未建立适应于不同模态间融合的统一框架。但是随着更多模态医学图像的出现以及其更广泛应用领域的扩展，对于多模态医学图像融合的进一步深入研究迫在眉睫。
其次，目前已有的大多数多尺度几何分析的医学图像融合框架实质上从属于无反馈的开环系统，或者一些已采用闭环反馈的融合框架，其目标函数一般为较原始的图像评价指标，而没有充分考虑人类视觉特性，这时候需要解决如何将符合人类视觉系统的评价指标引入多模态医学图像融合中，让其在线反馈指导融合参数的选择，从而获得更符合人类视觉特性的结果图像。
再者，图像融合质量标准是评价融合算法优劣，改进结果图像质量的重要基准。然而不同应用领域对于图像的要求不同，这时候就难以确定一个统一的有效的量化评价指标。多模态医学图像融合技术的目的是为医生在临床诊断和治疗中提供更直观、全面、精确的信息，从而提高诊断准确度，制定更合理的治疗方案。那么，结果图像的面向主体是医生，此时要求结果图像能够符合人类视觉特性，因此，对多模态医学融合图像进行符合人类视觉特性的客观评价是至关重要的。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种基于自动对焦技术的多层图像融合方法及系统。
根据本发明提供的一种基于自动对焦技术的多层图像融合方法，包括：
多焦面图像变换处理步骤：根据融合时间及融合输入的图像的处理层度进行的层次划分情况，分别从空间域和变换域对图像进行变换；
高频低频信息获取步骤：将小波变换运算方法引入到卷积过程中，变换后的图像经提升小波分解后得到高频信息和低频信息，并对融合过程中的多个阈值进行优化；
分解结果评价步骤：采用平均结构相似度作为融合过程权值寻优的评价函数；
融合步骤：高频子带采用图像对比度与PCNN相结合进行高频融合，低频子带采用区域能量与区域梯度相结合进行低频融合。
较佳的，所述多焦面图像变换处理步骤包括将输入图像进行空频域转换，对得到的变换域中的系数进行融合。
较佳的，所述高频低频信息获取步骤在获取高频信息是采用多项式插值，在获取低频信息时采用构造尺度函数。
较佳的，所述分解结果评价步骤包括：计算图像的信息含量和统计特性的评价指标，利用滑动窗口计算区域相似性，根据显著性特征计算每个区域的权值，得到评价结果。
较佳的，所述高频低频信息获取步骤采用遗传算法对融合过程中的多个阈值进行优化，包括以拉普拉斯能量和作为评价图像字块清晰度的指标，同时以边缘信息保持度作为目标函数，决定融合过程中字块的大小。
根据本发明提供的一种基于自动对焦技术的多层图像融合系统，包括：
多焦面图像变换处理模块：根据融合时间及融合输入的图像的处理层度进行的层次划分情况，分别从空间域和变换域对图像进行变换；
高频低频信息获取模块：将小波变换运算系统引入到卷积过程中，变换后的图像经提升小波分解后得到高频信息和低频信息，并对融合过程中的多个阈值进行优化；
分解结果评价模块：采用平均结构相似度作为融合过程权值寻优的评价函数；
融合模块：高频子带采用图像对比度与PCNN相结合进行高频融合，低频子带采用区域能量与区域梯度相结合进行低频融合。
较佳的，所述多焦面图像变换处理模块包括将输入图像进行空频域转换，对得到的变换域中的系数进行融合。
较佳的，所述高频低频信息获取模块在获取高频信息是采用多项式插值，在获取低频信息时采用构造尺度函数。
较佳的，所述分解结果评价模块包括：计算图像的信息含量和统计特性的评价指标，利用滑动窗口计算区域相似性，根据显著性特征计算每个区域的权值，得到评价结果。
较佳的，所述高频低频信息获取模块采用遗传算法对融合过程中的多个阈值进行优化，包括以拉普拉斯能量和作为评价图像字块清晰度的指标，同时以边缘信息保持度作为目标函数，决定融合过程中字块的大小。
与现有技术相比，本发明具有如下的有益效果：
1、采用遗传算法寻找最优阈值，以拉普拉斯能量和作为评价图像字块清晰度的指标，同时以边缘信息保持度作为目标函数，自主决定融合过程中字块的大小，实现了多聚焦图像的自适应融合。
2、噪声含量高的高频子带则采用区域梯度能量融合规则；而集中了源图像大量能量的低频子带则采用区域平均能量的加权融合法则。依据噪声含量不同采用不同的融合方法，实现融合精度的大幅度提升。
3、采用遗传算法对融合过程中的阈值进行选取，实现对应子带的自适应融合，最后经提升小波逆变换得到结果图像。采用本发明得到的融合图像有更丰富的信息，有更良好的视觉效果及更优的评价指标系数。
4、以软限幅方式得到PCNN的点火幅度，然后进行子带系数的选取；而由于低频子带包含了源图像的大多数能量，且为源图像的概貌，决定了图像的大致轮廓，则采用区域能量与平均梯度相结合的融合策略。
5、结合反馈控制原理，以符合人类视觉特性的WSSIM作为目标函数，实现图像的自适应融合。能够很好地保留源图像的轮廓信息，具有良好的视觉效果。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明的流程图；
图2为本发明的功能模块图；
图3为本发明自适应融合的流程图；
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
如图1至图3所示，本发明提供的一种基于自动对焦技术的多层图像融合方法，包括：
多焦面图像变换处理步骤：根据融合时间及融合输入的图像的处理层度进行的层次划分情况，分别从空间域和变换域对图像进行变换。多焦面图像变换处理步骤包括将输入图像进行空频域转换，对得到的变换域中的系数进行融合。
本发明面向的融合对象是不同焦平面成像获得的图像信息，因此在进行融合操作之前需要对不同的成像图像进行统一变换处理。
1)图像f(m×n)变换计算产生了两个域空间分别是空间域υ和频率域ω。Φ和φ分别是对应两个域空间的规范正交基，图像在两个域空间上都可做正交投影。据此将图像数字信息分层处理：
2)使用滤波器H(ZS)对信号和分别实施滤波，求得卷积输出y[n]:
其中n为分级层数，k为所取变换正交基个数。
高频低频信息获取步骤：将小波变换运算方法引入到卷积过程中，变换后的图像经提升小波分解后得到高频信息和低频信息，并对融合过程中的多个阈值进行优化。高频低频信息获取步骤在获取高频信息是采用多项式插值，在获取低频信息时采用构造尺度函数，此方法运算速度比较快，算法容易实现，另外压缩时不损坏图像。本发明采用遗传算法对融合过程中的多个阈值进行优化，包括以拉普拉斯能量和作为评价图像字块清晰度的指标，同时以边缘信息保持度作为目标函数，自主决定融合过程中字块的大小，实现了多聚焦图像的自适应融合，较之传统方法获得了良好的效果。
将多分辨率分析及小波理论把图像分解到不同频率层次中，具有自动变焦功能。在图像融合领域，小波分解所发挥的作用越来越大，它是在空间域与频率域上同时具有良好分解特性的尺度变换，能对图像的高频成分在由高到低的分辨率下进行分解构成不同尺度的细节信息。
1)令Aj表示在2j方尺度上的尺度系数，Hr和Hc表示行方向和列方向的低通滤波器，Gr和GC示行方向和列方向的高通滤波器。其二维小波分解公式为：
Aj+1＝AjHrHc (3)
其中Aj+1为2j+1尺度上的尺度系数，和分别是2j+1尺度上水平、垂直、对角线方向上的小波系数，下标r和c分别对应图像的行与列。
2)二维小波重建分解的逆过程如公式(5)所示，其中H*和G*分别是H和G的对偶滤波器。
经过小波分解后，分别可得到图像的低频部分GG、水平高频部分GH、垂直高频部分HG和对角高频部分HH。其中低频部分可进行下一层次的小波分解，低频分量反映源图像的近似和平均特性，集中了源图像的大部分信息。
分解结果评价步骤：采用平均结构相似度作为融合过程权值寻优的评价函数。计算图像的信息含量和统计特性的评价指标，利用滑动窗口计算区域相似性，根据显著性特征计算每个区域的权值，得到评价结果。
医学图像融合质量的评价方法主要包括主观评价和客观评价。主观评价往往受到观察者心里、观察角度、图像类型、周边环境及应用场合等因素的影像较大，但是主观评价能够快速的得出评价的结果，可是由于受到诸多不确定因素的影像，它给出的结果不具备强的可靠性，也不具备强的客观性。因此，为了提高主观评价的可靠性和客观性，往往需要分析多位观察者给出的主观评价，然后给出综合评价。
1)计算图像数学评价指标：图像均值μ、标准差σ、信息熵E和交叉熵C。
其中，M和N表示图像的尺寸。像素的灰度平均值适中，表示平均亮度适中，视觉效果良好。p(g)为融合图像像素灰度值为g的像素数在整幅图像中的比例，L为灰度级数融合图像的均值。
2)计算结构相似度(SSIM):
其中，a,b为图像大小，分别表示a,b的均值，表示a的方差，σab表示a,b的协方差。
3)由于图像信号是非统计的随机信号，对于两幅图像a与b，通常可利用滑动窗口分别计算图像a,b局部区域的相似性，再将所有局部区域的相似性结果合成一个总体指标：
其中Q0(a,b|ω)表示图像a,b在窗口ω中的相似度，W为所有窗口总和，|W|表示W集的势。
4)设S(a|ω)和S(b|ω)分别表示源图像在窗口ω内的显著性特征，计算衡量图像对图像重要性的权重λ(ω)：
5)计算WSSIN：
融合步骤：高频子带采用图像对比度与PCNN(PCNN-PulseCoupledNeuralNetwork，也即脉冲耦合神经网络)相结合进行高频融合，低频子带采用区域能量与区域梯度相结合进行低频融合。
1)低频融合：分解后的低频分量聚集了源图像的大部分能量，包含了源图像的主要信息。三维图像区域能量的计算及融合图像系数的选取方式如下：
其中，Ω表示大小为L×M×N的三维区域，P表示在区域Ω中任意位置的体素点，为区域内所有体素灰度级的均值，NΩ为Ω内所包含体素的数量。
2)高频融合：根据提取图像对应体素的显著值，便可得到最终的融合系数：
G(p,q)＝|IP-IQ| (16)
其中，IP表示体素点p(x,y,z)对应的亮度强度，表示任意一个体素点的显著值。
本发明方法通过自动化、智能化的手段实现对医学图像的自适应配准，操作简便，检测效率高，可靠性高，通用性强。
本发明分别对图像进行尺度上和方向上分析，首先经Laplacian金字塔方向滤波器将图像分解为低通部分和带通部分；然后带通部分经方向滤波器将分布在相同方向的奇异点整合成一个系数输出，实现了对图像的多分辨率、多方向、多尺度表示。将已配准的医学院图像M，N分别进行NSCT分解，得到低频子带和多个高频子带；然后考虑各子带的特点及人类视觉特性，以及目标图像的要求，以区域能量和平均梯度相结合的方法对低频子带进行融合，同时以区域拉普拉斯能量和方向对比度与PCNN相结合进行高频子带的处理；最后引用闭环反馈思想，以符合人类视觉感受的结构相似度为目标函数，实现各子带的自适应融合。
基于上述一种基于自动对焦技术的多层图像融合方法，本发明还提供一种基于自动对焦技术的多层图像融合系统，包括：
多焦面图像变换处理模块：根据融合时间及融合输入的图像的处理层度进行的层次划分情况，分别从空间域和变换域对图像进行变换；
高频低频信息获取模块：将小波变换运算系统引入到卷积过程中，变换后的图像经提升小波分解后得到高频信息和低频信息，并对融合过程中的多个阈值进行优化；
分解结果评价模块：采用平均结构相似度作为融合过程权值寻优的评价函数；
融合模块：高频子带采用图像对比度与PCNN相结合进行高频融合，低频子带采用区域能量与区域梯度相结合进行低频融合。
多焦面图像变换处理模块包括将输入如下进行空频域转换，对得到的变换域中的系数进行融合。
高频低频信息获取模块在获取高频信息是采用多项式插值，在获取低频信息时采用构造尺度函数。
分解结果评价模块包括：计算图像的信息含量和统计特性的评价指标，利用滑动窗口计算区域相似性，根据显著性特征计算每个区域的权值，得到评价结果。
高频低频信息获取模块采用遗传算法对融合过程中的多个阈值进行优化，包括以拉普拉斯能量和作为评价图像字块清晰度的指标，同时以边缘信息保持度作为目标函数，决定融合过程中字块的大小。
根据多模态医学图像经提升小波分解后高频子带各层次噪声含量的高低，分别采用不同的融合算法进行相应子带的整合，其中低噪声子带融合基于计盒维数法，高噪声子带融合则基于区域梯度能量方法；针对低频子带包含了源图像大量能量的特性，采用区域能量加权平均的方法；同时以边缘信息评价因子(QABF)作为目标函数，运用遗传算法，实现结果图像高频和低频子带系数的自适应选择。实验结果表明，该算法可以达到良好的客观评价指标以及较好的视觉特性。
针对多模态医学图像特性，以及人类视觉特性，提出一种基于人类视觉特性的闭环反馈的NSCT医学图像融合算法。经配准的源图像进行NSCT多尺度分解，得到低频子带和若干高频方向子带；其次，根据低频子带集中了大部分源图像能量及决定了图像轮廓的特点，采用区域能量与平均梯度相结合的方法进行融合，同时高频子带则根据人眼对图像对比度及边缘、纹理的高敏感度，采用区域拉普拉斯能量和方向对比度与PCNN相结合的策略进行高频子带系数的选取；进而，引入闭环反馈控制的思想，以与人类视觉高度一致的改进的结构相似度WSSIM作为目标函数自适应获取各子带的最优权值。实验结果表明，该算法不仅可以有效保留源图像的信息，还可以使融合图像灰度级分散，更好保留图像边缘和具有更丰富的信息，得到较好的视觉效果。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。
Claims (10)
1.一种基于自动对焦技术的多层图像融合方法，其特征在于，包括：
多焦面图像变换处理步骤：根据融合时间及融合输入的图像的处理层度进行的层次划分情况，分别从空间域和变换域对图像进行变换；
高频低频信息获取步骤：将小波变换运算方法引入到卷积过程中，变换后的图像经提升小波分解后得到高频信息和低频信息，并对融合过程中的多个阈值进行优化；
分解结果评价步骤：采用平均结构相似度作为融合过程权值寻优的评价函数；
融合步骤：高频子带采用图像对比度与PCNN相结合进行高频融合，低频子带采用区域能量与区域梯度相结合进行低频融合。
2.根据权利要求1所述的基于自动对焦技术的多层图像融合方法，其特征在于，所述多焦面图像变换处理步骤包括将输入图像进行空频域转换，对得到的变换域中的系数进行融合。
3.根据权利要求1所述的基于自动对焦技术的多层图像融合方法，其特征在于，所述高频低频信息获取步骤在获取高频信息是采用多项式插值，在获取低频信息时采用构造尺度函数。
4.根据权利要求1所述的基于自动对焦技术的多层图像融合方法，其特征在于，所述分解结果评价步骤包括：计算图像的信息含量和统计特性的评价指标，利用滑动窗口计算区域相似性，根据显著性特征计算每个区域的权值，得到评价结果。
5.根据权利要求1所述的基于自动对焦技术的多层图像融合方法，其特征在于，所述高频低频信息获取步骤采用遗传算法对融合过程中的多个阈值进行优化，包括以拉普拉斯能量和作为评价图像字块清晰度的指标，同时以边缘信息保持度作为目标函数，决定融合过程中字块的大小。
6.一种基于自动对焦技术的多层图像融合系统，其特征在于，包括：
多焦面图像变换处理模块：根据融合时间及融合输入的图像的处理层度进行的层次划分情况，分别从空间域和变换域对图像进行变换；
高频低频信息获取模块：将小波变换运算系统引入到卷积过程中，变换后的图像经提升小波分解后得到高频信息和低频信息，并对融合过程中的多个阈值进行优化；
分解结果评价模块：采用平均结构相似度作为融合过程权值寻优的评价函数；
融合模块：高频子带采用图像对比度与PCNN相结合进行高频融合，低频子带采用区域能量与区域梯度相结合进行低频融合。
7.根据权利要求6所述的基于自动对焦技术的多层图像融合系统，其特征在于，所述多焦面图像变换处理模块包括将输入图像进行空频域转换，对得到的变换域中的系数进行融合。
8.根据权利要求6所述的基于自动对焦技术的多层图像融合系统，其特征在于，所述高频低频信息获取模块在获取高频信息是采用多项式插值，在获取低频信息时采用构造尺度函数。
9.根据权利要求6所述的基于自动对焦技术的多层图像融合系统，其特征在于，所述分解结果评价模块包括：计算图像的信息含量和统计特性的评价指标，利用滑动窗口计算区域相似性，根据显著性特征计算每个区域的权值，得到评价结果。
10.根据权利要求6所述的基于自动对焦技术的多层图像融合系统，其特征在于，所述高频低频信息获取模块采用遗传算法对融合过程中的多个阈值进行优化，包括以拉普拉斯能量和作为评价图像字块清晰度的指标，同时以边缘信息保持度作为目标函数，决定融合过程中字块的大小。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810299190.XA CN108648174A (zh) | 2018-04-04 | 2018-04-04 | 一种基于自动对焦技术的多层图像融合方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810299190.XA CN108648174A (zh) | 2018-04-04 | 2018-04-04 | 一种基于自动对焦技术的多层图像融合方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108648174A true CN108648174A (zh) | 2018-10-12 |
Family
ID=63745361
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810299190.XA Pending CN108648174A (zh) | 2018-04-04 | 2018-04-04 | 一种基于自动对焦技术的多层图像融合方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108648174A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109934772A (zh) * | 2019-03-11 | 2019-06-25 | 深圳岚锋创视网络科技有限公司 | 一种图像融合方法、装置及便携式终端 |
| CN111311529A (zh) * | 2020-01-22 | 2020-06-19 | 西安电子科技大学 | 基于反卷积网络和引导滤波的医学图像融合方法 |
| CN111325724A (zh) * | 2020-02-19 | 2020-06-23 | 石家庄铁道大学 | 隧道裂纹区域检测方法和装置 |
| CN112148059A (zh) * | 2020-10-12 | 2020-12-29 | 四川科陆新能电气有限公司 | 一种用于光伏发电站的mppt最大功率跟踪方法 |
| CN113379607A (zh) * | 2020-02-25 | 2021-09-10 | 深圳市恩普电子技术有限公司 | 一种自适应调整图像的方法和装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101697231A (zh) * | 2009-10-29 | 2010-04-21 | 西北工业大学 | 一种基于小波变换和多通道pcnn的高光谱图像融合方法 |
| US20120220875A1 (en) * | 2010-04-20 | 2012-08-30 | Suri Jasjit S | Mobile Architecture Using Cloud for Hashimoto's Thyroiditis Disease Classification |
| CN106981057A (zh) * | 2017-03-24 | 2017-07-25 | 中国人民解放军国防科学技术大学 | 一种基于rpca的nsst图像融合方法 |
| CN107194904A (zh) * | 2017-05-09 | 2017-09-22 | 西北工业大学 | 基于增补机制和pcnn的nsct域图像融合方法 |
| CN107451984A (zh) * | 2017-07-27 | 2017-12-08 | 桂林电子科技大学 | 一种基于混合多尺度分析的红外与可见光图像融合算法 |
-
2018
- 2018-04-04 CN CN201810299190.XA patent/CN108648174A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101697231A (zh) * | 2009-10-29 | 2010-04-21 | 西北工业大学 | 一种基于小波变换和多通道pcnn的高光谱图像融合方法 |
| US20120220875A1 (en) * | 2010-04-20 | 2012-08-30 | Suri Jasjit S | Mobile Architecture Using Cloud for Hashimoto's Thyroiditis Disease Classification |
| CN106981057A (zh) * | 2017-03-24 | 2017-07-25 | 中国人民解放军国防科学技术大学 | 一种基于rpca的nsst图像融合方法 |
| CN107194904A (zh) * | 2017-05-09 | 2017-09-22 | 西北工业大学 | 基于增补机制和pcnn的nsct域图像融合方法 |
| CN107451984A (zh) * | 2017-07-27 | 2017-12-08 | 桂林电子科技大学 | 一种基于混合多尺度分析的红外与可见光图像融合算法 |
Non-Patent Citations (2)
| Title |
|---|
| CHAI, Y 等: "Image fusion scheme using a novel dual-channel PCNN in lifting stationary wavelet domain", 《OPTICS COMMUNICATIONS》 * |
| 姜晓丽: "基于多尺度几何分析的医学图像融合算法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109934772A (zh) * | 2019-03-11 | 2019-06-25 | 深圳岚锋创视网络科技有限公司 | 一种图像融合方法、装置及便携式终端 |
| CN109934772B (zh) * | 2019-03-11 | 2023-10-27 | 影石创新科技股份有限公司 | 一种图像融合方法、装置及便携式终端 |
| CN111311529A (zh) * | 2020-01-22 | 2020-06-19 | 西安电子科技大学 | 基于反卷积网络和引导滤波的医学图像融合方法 |
| CN111311529B (zh) * | 2020-01-22 | 2022-07-01 | 西安电子科技大学 | 基于反卷积网络和引导滤波的医学图像融合方法 |
| CN111325724A (zh) * | 2020-02-19 | 2020-06-23 | 石家庄铁道大学 | 隧道裂纹区域检测方法和装置 |
| CN111325724B (zh) * | 2020-02-19 | 2023-06-09 | 石家庄铁道大学 | 隧道裂纹区域检测方法和装置 |
| CN113379607A (zh) * | 2020-02-25 | 2021-09-10 | 深圳市恩普电子技术有限公司 | 一种自适应调整图像的方法和装置 |
| CN113379607B (zh) * | 2020-02-25 | 2024-05-10 | 深圳市恩普电子技术有限公司 | 一种自适应调整图像的方法和装置 |
| CN112148059A (zh) * | 2020-10-12 | 2020-12-29 | 四川科陆新能电气有限公司 | 一种用于光伏发电站的mppt最大功率跟踪方法 |
| CN112148059B (zh) * | 2020-10-12 | 2022-07-05 | 四川科陆新能电气有限公司 | 一种用于光伏发电站的mppt最大功率跟踪方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108648174A (zh) | 一种基于自动对焦技术的多层图像融合方法及系统 | |
| Wang et al. | The application of wavelet transform to multi-modality medical image fusion | |
| CN105719263B (zh) | 基于nsct域底层视觉特征的可见光和红外图像融合方法 | |
| Bhatnagar et al. | Directive contrast based multimodal medical image fusion in NSCT domain | |
| CN104809734B (zh) | 一种基于引导滤波的红外图像与可见光图像融合的方法 | |
| Yang | Multimodal medical image fusion through a new DWT based technique | |
| CN109410157A (zh) | 基于低秩稀疏分解和pcnn的图像融合方法 | |
| CN102842122A (zh) | 基于小波神经网络的增强现实图像方法 | |
| CN110570387A (zh) | 一种基于特征级Copula模型相似性的图像融合方法 | |
| Salau et al. | A review of various image fusion types and transform | |
| Rana et al. | Comparative analysis of medical image fusion | |
| Mentl et al. | Noise reduction in low-dose ct using a 3D multiscale sparse denoising autoencoder | |
| CN106530277A (zh) | 一种基于小波方向相关系数的图像融合方法 | |
| Palkar et al. | Fusion of multi‐modal lumbar spine images using Kekre's hybrid wavelet transform | |
| Al-Azzawi et al. | An efficient medical image fusion method using contourlet transform based on PCM | |
| Sale et al. | Image fusion for medical image retrieval | |
| Yu et al. | Cortical folding development study based on over-complete spherical wavelets | |
| Teng et al. | Wavelet-based texture fusion of CT/MRI images | |
| Lalotra et al. | Multimodal medical image fusion using Butterworth high pass filter and Cross bilateral filter | |
| Serikawa et al. | Multimodal medical image fusion in extended contourlet transform domain | |
| Kapoor et al. | Fusion for registration of medical images-a study | |
| Momeni et al. | An automatic fuzzy-based multi-temporal brain digital subtraction angiography image fusion algorithm using curvelet transform and content selection strategy | |
| Karthikeyan et al. | Wavelet-based Image Enhancement Techniques for Improving Visual Quality of Ultrasonic Images | |
| Nazrudeen et al. | Medical image fusion using non-subsampled contourlet transform | |
| Poonam et al. | Image enhancement with different techniques & aspects |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181012 |
|
| RJ01 | Rejection of invention patent application after publication |