CN109215003B - 一种图像融合方法及装置 - Google Patents
一种图像融合方法及装置 Download PDFInfo
- Publication number
- CN109215003B CN109215003B CN201810746129.5A CN201810746129A CN109215003B CN 109215003 B CN109215003 B CN 109215003B CN 201810746129 A CN201810746129 A CN 201810746129A CN 109215003 B CN109215003 B CN 109215003B
- Authority
- CN
- China
- Prior art keywords
- image
- structural similarity
- coefficient
- pixel
- nsct
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 17
- 230000004927 fusion Effects 0.000 claims abstract description 64
- 239000011159 matrix material Substances 0.000 claims abstract description 39
- 238000000034 method Methods 0.000 claims abstract description 27
- 230000009466 transformation Effects 0.000 claims abstract description 17
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 12
- 230000011218 segmentation Effects 0.000 claims abstract description 11
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 8
- 238000010586 diagram Methods 0.000 claims description 5
- 230000009977 dual effect Effects 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 6
- 238000001228 spectrum Methods 0.000 description 6
- 230000003595 spectral effect Effects 0.000 description 5
- 238000005259 measurement Methods 0.000 description 4
- 230000007547 defect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000000191 radiation effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种图像融合方法,包括:利用滑动窗口,计算第一图像和第二图像的滑动窗口中心像素点的结构相似度,并得到与所计算得到的结构相似度所对应的结构相似度矩阵图;采用超像素分割法将所述结构相似度矩阵图分为预设数量个像素块,并对所述预设数量个像素块进行聚类,得到第一图像区域和第二图像区域;将第一图像和第二图像分别进行多尺度和多方向的分解,得到第一图像的NSCT系数、第二图像的NSCT系数;根据所述第一图像的NSCT系数、所述第二图像的NSCT系数所述第一图像区域和所述第二图像区域,确定融合图像的NSCT系数;通过NSCT逆变换,得到融合图像。应用本发明实施例提供了图像融合方法和装置,提高图像融合效果。
Description
技术领域
本发明涉及图像融合技术领域,尤其涉及一种图像融合方法及装置。
背景技术
红外图像与可见光图像融合是目前图像融合中最为常见的一组融合图像源,由于红外图像和可见光图像信息互补、甚至相反,单一传感器获取的图像信息是有限的,往往难以满足应用需要,通过图像融合可以从不同的图像源中获得更多的有用信息,增加图像的信息量,提高图像数据的利用效率,提高对环境的适应性。将这红外图像与可见光图像进行融合既能很好保留原始场景的光谱信息又能保留红外热感图像中的显著目标特征信息。随着红外与可见光图像融合技术的发展,有许多成熟的红外与可见光图像融合算法,如IHS变换、PCA变换以及基于多分辨率分析的方法等。但是红外与可见光图像融合时,这些算法均存在缺陷:不同的图像源,不同特征区域具有不同的特性。传统的算法都是针对整个图像场景进行处理,没有考虑不同区域的不同特性,往往导致整个场景扭曲可见光光谱信息,红外图像中热敏目标会由于可见光图像的光谱信息降低特征与周边信息的差异,使得融合图像中红外图像目标信息与可见光图像的光谱信息互相制约。例如,当对红外图像中的目标信息进行融合时,尽可能保证目标特征完整的轮廓信息以及明亮的对比度信息,对于可见光中的地物信息保留可见光的地物信息,以及丰富的纹理图像特征。因此,针对传统图像融合算法的缺陷,在红外与可见光图像融合应用中引入基于区域分割的图像融合算法,按照红外与可见光图像差异区域的不同空间特征采取不同的融合策略能够得到更好的融合性能。
图像融合算法基于多尺度几何分析,随着多尺度几何工具研究的日益深入,M.N.Do和M.Vetterli提出了一种“真正的”二维图像的表示方法Contourlet变换。Contourlet基的支撑区间是随尺度而变化的“长条形”结构,因而能具有比传统的小波变换更好的多分辨率、局部性、方向性和各向异性,能更加有效的捕获图像的边缘信息。但是由于其变换过程中的下采样操作,信号频谱会产生混叠现象,融合图像中则表现为较明显的吉布斯现象。因此,现有技术中缺乏
发明内容
本发明实施例的目的在于提供一种图像融合方法及装置,由于红外图像和可见光图像灰度差异大,有些区域甚至相反,以结构相似度为度量计算红外图像和可见光图像的差异图,根据差异图分割为灰度对比度差异大区域的第一图像区域以及差异弱的第二图像区域,可以针对不同的区域确定不同的融合系数,提高图像融合效果。具体技术方案如下:
为达到上述目的,本发明实施例提供了一种图像融合方法:
利用滑动窗口,计算第一图像和第二图像的滑动窗口中心像素点的结构相似度,并得到与所计算得到的结构相似度所对应的结构相似度矩阵图,其中,所述第一图像和所述第二图像为经过几何配准的图像,且所述第一图像为红外图像、所述第二图像为可见光图像;
采用超像素分割法将所述结构相似度矩阵图分为预设数量个像素块,并对所述预设数量个像素块进行聚类,得到第一图像区域和第二图像区域;
将第一图像和第二图像分别进行多尺度和多方向的分解,得到第一图像的NSCT系数、第二图像的NSCT系数;
根据所述第一图像的NSCT系数、所述第二图像的NSCT系数,所述第一图像区域和所述第二图像区域,确定融合图像的NSCT系数;
通过NSCT逆变换,得到融合图像;
其中,所述采用超像素分割法将所述结构相似度矩阵图分为预设数量个像素块,并对所述预设数量个像素块进行聚类,得到第一图像区域和第二图像区域的步骤,包括:
采用超像素分割法将所述结构相似度矩阵图分为预设数量个像素块;
计算每个像素块的均值;
通过K-means均值聚类算法,对所述预设数量个像素块进行聚类,得到第一图像区域和第二图像区域。
根据权利要求1所述的图像融合方法,其特征在于,所述利用滑动窗口,计算第一图像和第二图像的滑动窗口中心像素点的结构相似度,并得到与所计算得到的结构相似度所对应的结构相似度矩阵图的步骤,包括:
利用预设的3*3滑动窗口或者5*5滑动窗口,以第一图像中的每一个像素点分别作为中心像素点;
计算所述第一图像中每一个中心像素点与所述第二图像中对应像素点的结构相似度;
按照结构相似度与所述第一图像中像素点的对应位置,得到与所计算得到的结构相似度所对应的结构相似度矩阵图。
本发明的优选实施方式中,计算结构相似度的具体表达式为:
其中,SSIM(m,n)为第一图像中心像素点(m,n)与第二图像对应像素点的结构相似度;μA为第一图像上滑动窗口的灰度均值、μB第二图像上滑动窗口的灰度均值,σA为第一图像上滑动窗口的方差、σB为第二图像上滑动窗口的方差,σAB为第一图像和第二图像的滑动窗口的协方差,c1、c2为两个任意小于一阈值的数,用于平衡分母。
本发明的优选实施方式中,在所述计算所述第一图像中每一个中心像素点与所述第二图像中对应像素点的结构相似度的步骤之后,所述方法还包括:
将所计算得到的每一个结构相似度的数值进行归一化处理;
所述按照结构相似度与所述第一图像中像素点的对应位置,得到与所计算得到的结构相似度所对应的结构相似度矩阵图的步骤,包括:
按照结构相似度与所述第一图像中像素点的对应位置,采用归一化处理后的结构相似度数值得到与所计算得到的结构相似度所对应的结构相似度矩阵图。
本发明的优选实施方式中,所述通过K-means均值聚类算法,对所述预设数量个像素块进行聚类,得到第一图像区域和第二图像区域的步骤,包括:
通过K-means均值聚类算法,根据均值的大小对所述预设数量个像素块进行聚类;
将所述第一图像和所述第二图像的差异大的区域作为第一图像区域;
将所述第一图像和所述第二图像的差异小的区域作为第二图像区域。
本发明的优选实施方式中,所述根据所述第一图像的NSCT系数、所述第二图像的NSCT系数,所述第一图像区域和所述第二图像区域,确定融合图像的NSCT系数的步骤,包括:
所述第一图像的NSCT系数以及所述第二图像的NSCT系数其中,LA表示第一图像的分解最高层的低频信息、LB表示第二图像的分解最高层的低频信息,表示第一图像中第j尺度上第k方向上的高频系数,表示第二图像中第j尺度上第k方向上的高频系数;
(1)、对于所述第一图像区域低频信息,选取滑动窗口灰度均值较大值作为融合系数LF(m,n):
其中,LA(m,n)为第一图像中心像素点(m,n)的低频信息,LB(m,n)为第二图像像素点(m,n)的低频信息;MeanA,X为x方向上第一图像中心像素点的均值,MeanB,X(m,n)为x方向上第二图像中心像素点的均值;
(2)对于所述第二图像区域低频信息,第一图像对应的权重βA,第二图像对应的权重βB:
其中,SSIM(m,n)为第一图像中心像素点(m,n)与第二图像对应像素点的结构相似度,SSIMmax为所述结构相似度矩阵图中的最大值,EA为第一图像中低频系数的区域能量和EB第二图像中低频系数的区域能量,所述第二图像区域低频系数LF(m,n)融合规则为:
对于所述第二图像区域高频融合系数的确定,包括:
利用梯度和空间频率双重指标为度量标准,选择基于窗口的融合规则,其中,梯度graj,k(m,n)和空间频率SFj,k(m,n)分别定义为:
其中,j表示第j尺度,k表示第k方向,M表示行像素点数,N表示列的像素点数,表示x方向上相邻像素点的差分,表示y方向上相邻像素点的差分,Hj,k(m-1,n)-Hj,k(m,n)表示同一行上相邻两个像素点的高频信息之差;
并分别计算第一图像和第二图像高频系数的梯度差异Δgraj,k(m,n)以及空间频率差异ΔSFj,k(m,n):
其中,S为第二图像区域中的所有像素点集合;
根据空间频率和梯度的差异以及相关系数,可得到四个二值化的决策区域:
根据决策区域可得,第二图像区域中特征信息不确定部分的高频融合系数:
其中,Area1(m,n)表示第一决策区域、Area2(m,n)表示第二决策区域、Area3(m,n)表示第三决策区域、Area4(m,n)表示第四决策区域。
此外,本发明还公开了一种图像融合装置,所述图像融合装置包括:
计算模块,用于利用滑动窗口,计算第一图像和第二图像的滑动窗口中心像素点的结构相似度,并得到与所计算得到的结构相似度所对应的结构相似度矩阵图,其中,所述第一图像和所述第二图像为经过几何配准的图像,且所述第一图像为红外图像、所述第二图像为可见光图像;
聚类模块,用于采用超像素分割法将所述结构相似度矩阵图分为预设数量个像素块,并对所述预设数量个像素块进行聚类,得到第一图像区域和第二图像区域;具体的所述聚类模块包括:采用超像素分割法将所述结构相似度矩阵图分为预设数量个像素块;计算每个像素块的均值;通过K-means均值聚类算法,对所述预设数量个像素块进行聚类,得到第一图像区域和第二图像区域;
分解模块,用于将第一图像和第二图像分别进行多尺度和多方向的分解,得到第一图像的NSCT系数、第二图像的NSCT系数;
确定模块,用于根据所述第一图像的NSCT系数、所述第二图像的NSCT系数,所述第一图像区域和所述第二图像区域,确定融合图像的NSCT系数;
变换模块,用于通过NSCT逆变换,得到融合图像。
应用本发明实施例提供的一种图像融合方法及装置,由于红外图像和可见光图像灰度差异大,有些区域甚至相反,以结构相似度为度量计算红外图像和可见光图像的差异图,根据差异图分割为灰度对比度差异大区域的第一图像区域以及差异弱的第二图像区域,可以针对不同的区域确定不同的融合系数,提高图像融合效果。
附图说明
图1为本发明实施例提供的图像融合方法的流程示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
参见图1,本发明实施例提供了一种图像融合方法,包括如下步骤:
S101,利用滑动窗口,计算第一图像和第二图像的滑动窗口中心像素点的结构相似度,并得到与所计算得到的结构相似度所对应的结构相似度矩阵图,其中,所述第一图像和所述第二图像为经过几何配准的图像,且所述第一图像为红外图像、所述第二图像为可见光图像。
需要说明的是,红外图像中具有目标的热辐射效应较大,与可见光图像灰度差异较大甚至相反;红外图像背景灰度不具有明显的热感效应对比度低,与可见光图像相比,缺乏光谱信息,但是同样包含细节信息。因此,在对图像进行融合时只有更多的去保留原图像的信息才能进一步的提高融合效果。
另外,本发明实施例中第一图像为红外图像、第二图像为可见光图像,且为了进一步便于对图像进行处理,第一图像和第二图像为经过几何配准的图像。
需要说明的是,几何配准是指将不同时间、不同波段、不同遥感器系统所获得的同一地区的图像(数据),经几何变换使同名像点在位置上和方位上完全叠合的操作。具体的几何配准过程为现有技术,本发明实施例在此不做赘述。
可以理解的是,滑动窗口是在图像处理中常用到的图像处理工具,具体的,滑动窗口的大小可以为3*3或者是5*5等,本发明实施例在此不做具体限定。
示例性的,以第一图像为例,3*3的滑动窗口可以从左上角的第一个像素点开始,将其作为3*3滑动窗口的第一个中心像素点,然后依次移动该3*3滑动窗口。所以第一图像中的任意一个像素点均有作为中心像素点的机会,那么依次类推,对于第二图像也是如此,所以按照这种原则,可以计算第一图像中的任意一个中心像素点,与第二图像中对应中心像素点的结构相似度。
具体的,计算结构相似度的具体表达式为:
其中,SSIM(m,n)为第一图像中心像素点(m,n)与第二图像对应像素点的结构相似度;μA为第一图像上滑动窗口的灰度均值、μB第二图像上滑动窗口的灰度均值,σA为第一图像上滑动窗口的方差、σB为第二图像上滑动窗口的方差,σAB为第一图像和第二图像的滑动窗口的协方差,c1、c2为两个任意较小数用于平衡分母,避免分母接近0时造成的不稳定。
另外,可以理解的是,以第一图像或者第二图像为参考物,结构相似度值与图像上对应的像素点是对应的,所以将结构相似度的值以像素点的对应位置为排列,可以得到对应的结构相似度矩阵图,具体的,将结构相似度的值以像素点的对应位置排列,得到像素矩阵,这个像素矩阵就是对应的结构相似度矩阵图,该部分的实现为现有技术,本发明实施例在此不对齐具体细节进行赘述,本领域技术人员可以自行实现转换。
S102,采用超像素分割法将所述结构相似度矩阵图分为预设数量个像素块,并对所述预设数量个像素块进行聚类,得到第一图像区域和第二图像区域。
可以将结构相似度矩阵图进行分割,分成多个块,可以理解的是,分成的块越多区域划分的就越精准,但是会增加计算的负担,本发明实施例中,可以将结构相似度矩阵图化分成700个像素块,那么每一个像素块之间的差异较小。
为了便于进行计算,本发明的一种具体实现方式中,将所计算得到的每一个结构相似度的数值及进行归一化处理;所述按照结构相似度与所述第一图像中像素点的对应位置,得到与所计算得到的结构相似度所对应的结构相似度矩阵图的步骤,包括:按照结构相似度与所述第一图像中像素点的对应位置,采用归一化处理后的结构相似度数值得到与所计算得到的结构相似度所对应的结构相似度矩阵图。
本发明实施例中,红外图像中具有目标的热辐射效应较大,与可见光图像灰度差异较大甚至相反;红外图像背景灰度不具有明显的热感效应对比度低,与可见光图像相比,缺乏光谱信息,但是同样包含细节信息;所以经过计算红外图像与可见光图像的结构相似度进行区域分割后,可以对不同区域做融合处理而保持其光谱特性以及目标特征。
本发明的另一种实现方式中,所述采用超像素分割法将所述结构相似度矩阵图分为预设数量个像素块,并对所述预设数量个像素块进行聚类,得到第一图像区域和第二图像区域的步骤,包括:采用超像素分割法将所述结构相似度矩阵图分为预设数量个像素块;计算每个像素块的均值;通过K-means均值聚类算法,对所述预设数量个像素块进行聚类,得到第一图像区域和第二图像区域。
具体的,所述通过K-means均值聚类算法,对所述预设数量个像素块进行聚类,得到第一图像区域和第二图像区域的步骤,包括:通过K-means均值聚类算法,根据均值的大小对所述预设数量个像素块进行聚类;将所述第一图像和所述第二图像的差异大的区域作为第一图像区域;将所述第一图像和所述第二图像的差异小的区域作为第二图像区域。
所以通过K-means均值聚类算法,根据像素块的均值分割为两个区域,聚类的结果为产生均值为较小值的区域和均值为较大值的区域,较小值的区域对应为第一图像和第二图像差异较大的第一图像区域,较大值区域对应为第一图像和第二图像差异较小的第二图像区域。具体的聚类过程为现有技术,本发明实施例在此不做具体限定。
S103,将第一图像和第二图像分别进行多尺度和多方向的分解,得到第一图像的NSCT系数、第二图像的NSCT系数。
可以理解的是,随着多尺度几何工具研究的日益深入,M.N.Do和M.Vetterli提出了一种“真正的”二维图像的表示方法Contourlet变换。Contourlet基的支撑区间是随尺度而变化的“长条形”结构,因而能具有比传统的小波变换更好的多分辨率、局部性、方向性和各向异性,能更加有效的捕获图像的边缘信息。但是由于其变换过程中的下采样操作,信号频谱会产生混叠现象,融合图像中则表现为较明显的吉布斯现象。Arthur L.da Cunha等根据构造非下采样小波的启发提出了一种非下采样Contourlet变换(nonsubsampledContourlet transform,NSCT),该变换比Contourlet变换具有更灵活的多分辨、多方向的图像表示能力,且以冗余度换取了平移不变性。基于此将非下采样Contourlet变换引入图像融合,可以更好的保留原始图像的细节信息,提取图像的轮廓特征,为融合图像提供更多更全面的特征信息。
具体的,将第一图像和第二图像分别进行多尺度和多方向的分解,得到的结果为:第一图像的NSCT系数以及第二图像的NSCT系数其中,LA表示第一图像的分解最高层的低频信息、LB表示第二图像的分解最高层的低频信息,表示第一图像中第j尺度上第k方向上的高频系数,表示第二图像中第j尺度上第k方向上的高频系数。具体的NSCT分解过程为现有技术,本发明实施例在此不做具体赘述。
S104,根据所述第一图像的NSCT系数、所述第二图像的NSCT系数,所述第一图像区域和所述第二图像区域,确定融合图像的NSCT系数。
差异大的第一图像区域,红外图像与可见光图像在目标区域往往呈现灰度差异大,甚至相反,因此差异大的第一图像区域多为目标区域。目标区域应尽可能多的保留目标的最原始信息,且目标区域多为高亮区域。因此对于目标区域低频信息选取滑动窗口灰度均值较大值的融合规则,选择取滑动窗口灰度均值较大值作为融合系数LF(m,n):
其中,LA(m,n)为第一图像中心像素点(m,n)的低频信息,LB(m,n)为第二图像中心像素点(m,n)的低频信息;MeanA,X为x方向上第一图像中心像素点的均值,MeanB,X(m,n)为x方向上第二图像中心像素点的均值;
MeanA,X为x方向上第一图像中心像素点的均值,具体表达为:
MeanB,X(m,n)为x方向上第二图像中心像素点的均值,具体表达为:
而对于差异较小的第二图像区域,表现出来的多为图像相似区域,由于相似区域多为背景区域,该区域可见光图像中包含丰富的光谱信息能提供出目标区域的地物信息,而红外图像中亮度高于可见光图像时也存在纹理细节特征。因此背景区域的低频信息应保留融合图像源的光谱信息和丰富的特征信息,因此融合图像第二图像区域的低频信息应选择区域能量的加权方法,设权重:
其中,SSIMmax为所述结构相似度矩阵图中的最大值,EA为第一图像中低频系数的区域能量和EB第二图像中低频系数的区域能量,区域能量定义为:
因此,相似区域S的低频系数融合规则为:
为了不丢失相似区域中红外图像和可见光图像中所能表征出的纹理及特征,使融合图像的背景信息能更为全面。利用梯度和空间频率双重指标为度量标准,选择基于窗口的融合规则。梯度graj,k(m,n)和空间频率SFj,k(m,n)分别定义为:
其中,j表示第j尺度,k表示第k方向,M表示行像素点书,N表示列的像素点数,表示x方向上相邻像素点的差分,表示y方向上相邻像素点的差分,Hj,k(m-1,n)-Hj,k(m,n)表示同一行上相邻两个像素点的高频信息之差;表示为该图像像素点的上一点位置减去中心像素点位置,也就是一幅图像上行方向上的高频信息相减,列方向上的高频信息不变,同时计算第一图像和第二图像的空间频率SF值。
并分别计算第一图像和第二图像梯度差异Δgraj,k(m,n)以及空间频率差异ΔSFj ,k(m,n):
当Δgra×ΔSF>0时表示,特征信息来源一致,因此选择高频融合系数为:
根据空间频率和梯度的差异以及相关系数,可得到四个二值化的决策区域:
根据决策区域可得相似区域S中特征信息不确定部分的高频融合系数:
S105,通过NSCT逆变换,得到融合图像。
可以理解的是,由各个不同区域获得的NSCT系数组合成融合图像的NSCT系数,通过NSCT逆变换,即可得到最终的融合图像。具体过程为现有技术,本发明实施例在此不做具体赘述。
针对将图像源分割为差异以及相似区域不同属性区域的特点,在不同区域设计不同的融合规则使得融合图像能最大限度的保留图像源的信息。由于不同的频率信息表征的含义也不相同,因此不同的频率设计的融合规则也不相同:差异大的区域,对于目标区域低频信息选择取滑动窗口灰度均值较大值的融合规则,高频区域选择模极大的融合规则;对于相似区域多为背景区域的低频信息,选择区域能量的加权方法;为了不丢失相似区域中红外图像和可见光图像中所能表征出的纹理及特征,使融合图像的背景信息能更为全面,利用梯度和空间频率双重指标为度量标准,选择基于窗口的融合规则。通过区域控制不同图像源的成分对融合结果的贡献,得到不同的融合结果。
因此,针对传统图像融合算法的缺陷,在红外与可见光图像融合应用中引入基于区域分割的图像融合算法,按照红外与可见光图像差异区域的不同空间特征采取不同的融合策略能够得到更好的融合性能。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。
Claims (7)
1.一种图像融合方法,其特征在于,包括:
利用滑动窗口,计算第一图像和第二图像的滑动窗口中心像素点的结构相似度,并得到与所计算得到的结构相似度所对应的结构相似度矩阵图,其中,所述第一图像和所述第二图像为经过几何配准的图像,且所述第一图像为红外图像、所述第二图像为可见光图像;
采用超像素分割法将所述结构相似度矩阵图分为预设数量个像素块,并对所述预设数量个像素块进行聚类,得到第一图像区域和第二图像区域;
将第一图像和第二图像分别进行多尺度和多方向的分解,得到第一图像的NSCT系数、第二图像的NSCT系数;
根据所述第一图像的NSCT系数、所述第二图像的NSCT系数,所述第一图像区域和所述第二图像区域,确定融合图像的NSCT系数;
通过NSCT逆变换,得到融合图像;
其中,所述采用超像素分割法将所述结构相似度矩阵图分为预设数量个像素块,并对所述预设数量个像素块进行聚类,得到第一图像区域和第二图像区域的步骤,包括:
采用超像素分割法将所述结构相似度矩阵图分为预设数量个像素块;
计算每个像素块的均值;
通过K-means均值聚类算法,对所述预设数量个像素块进行聚类,得到第一图像区域和第二图像区域。
2.根据权利要求1所述的图像融合方法,其特征在于,所述利用滑动窗口,计算第一图像和第二图像的滑动窗口中心像素点的结构相似度,并得到与所计算得到的结构相似度所对应的结构相似度矩阵图的步骤,包括:
利用预设的3*3滑动窗口或者5*5滑动窗口,以第一图像中的每一个像素点分别作为中心像素点;
计算所述第一图像中每一个中心像素点与所述第二图像中对应像素点的结构相似度;
按照结构相似度与所述第一图像中像素点的对应位置,得到与所计算得到的结构相似度所对应的结构相似度矩阵图。
4.根据权利要求2所述的图像融合方法,其特征在于,在所述计算所述第一图像中每一个中心像素点与所述第二图像中对应像素点的结构相似度的步骤之后,所述方法还包括:
将所计算得到的每一个结构相似度的数值进行归一化处理;
所述按照结构相似度与所述第一图像中像素点的对应位置,得到与所计算得到的结构相似度所对应的结构相似度矩阵图的步骤,包括:
按照结构相似度与所述第一图像中像素点的对应位置,采用归一化处理后的结构相似度数值得到与所计算得到的结构相似度所对应的结构相似度矩阵图。
5.根据权利要求1所述的图像融合方法,其特征在于,所述通过K-means均值聚类算法,对所述预设数量个像素块进行聚类,得到第一图像区域和第二图像区域的步骤,包括:
通过K-means均值聚类算法,根据均值的大小对所述预设数量个像素块进行聚类;
将所述第一图像和所述第二图像的差异大的区域作为第一图像区域;
将所述第一图像和所述第二图像的差异小的区域作为第二图像区域。
6.根据权利要求3所述的图像融合方法,其特征在于,所述根据所述第一图像的NSCT系数、所述第二图像的NSCT系数,所述第一图像区域和所述第二图像区域,确定融合图像的NSCT系数的步骤,包括:
所述第一图像的NSCT系数以及所述第二图像的NSCT系数其中,LA表示第一图像的分解最高层的低频信息、LB表示第二图像的分解最高层的低频信息,表示第一图像中第j尺度上第k方向上的高频系数,表示第二图像中第j尺度上第k方向上的高频系数;
(1)、对于所述第一图像区域低频信息,选取滑动窗口灰度均值较大值作为融合系数LF(m,n):
其中,LA(m,n)为第一图像中心像素点(m,n)的低频信息,LB(m,n)为第二图像像素点(m,n)的低频信息;MeanA,X为x方向上第一图像中心像素点的均值,MeanB,X(m,n)为x方向上第二图像中心像素点的均值;
(2)对于所述第二图像区域低频信息,第一图像对应的权重βA,第二图像对应的权重βB:
其中,SSIM(m,n)为第一图像中心像素点(m,n)与第二图像对应像素点的结构相似度,SSIMmax为所述结构相似度矩阵图中的最大值,EA为第一图像中低频系数的区域能量和EB为第二图像中低频系数的区域能量,所述第二图像区域低频系数LF(m,n)融合规则为:
对于所述第二图像区域高频融合系数的确定,包括:
利用梯度和空间频率双重指标为度量标准,选择基于窗口的融合规则,其中,梯度graj ,k(m,n)和空间频率SFj,k(m,n)分别定义为:
其中,j表示第j尺度,k表示第k方向,M表示行像素点数,N表示列的像素点数,表示x方向上相邻像素点的差分,表示y方向上相邻像素点的差分,Hj,k(m-1,n)-Hj,k(m,n)表示同一行上相邻两个像素点的高频信息之差;
并分别计算第一图像和第二图像高频系数的梯度差异Δgraj,k(m,n)以及空间频率差异ΔSFj,k(m,n):
其中,S为第二图像区域中的所有像素点集合;
根据空间频率和梯度的差异以及相关系数,可得到四个二值化的决策区域:
根据决策区域可得,第二图像区域中特征信息不确定部分的高频融合系数:
其中,Area1(m,n)表示第一决策区域、Area2(m,n)表示第二决策区域、Area3(m,n)表示第三决策区域、Area4(m,n)表示第四决策区域。
7.一种图像融合装置,其特征在于,所述图像融合装置包括:
计算模块,用于利用滑动窗口,计算第一图像和第二图像的滑动窗口中心像素点的结构相似度,并得到与所计算得到的结构相似度所对应的结构相似度矩阵图,其中,所述第一图像和所述第二图像为经过几何配准的图像,且所述第一图像为红外图像、所述第二图像为可见光图像;
聚类模块,用于采用超像素分割法将所述结构相似度矩阵图分为预设数量个像素块,并对所述预设数量个像素块进行聚类,得到第一图像区域和第二图像区域;具体的所述聚类模块包括:采用超像素分割法将所述结构相似度矩阵图分为预设数量个像素块;计算每个像素块的均值;通过K-means均值聚类算法,对所述预设数量个像素块进行聚类,得到第一图像区域和第二图像区域;
分解模块,用于将第一图像和第二图像分别进行多尺度和多方向的分解,得到第一图像的NSCT系数、第二图像的NSCT系数;
确定模块,用于根据所述第一图像的NSCT系数、所述第二图像的NSCT系数,所述第一图像区域和所述第二图像区域,确定融合图像的NSCT系数;
变换模块,用于通过NSCT逆变换,得到融合图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810746129.5A CN109215003B (zh) | 2018-07-09 | 2018-07-09 | 一种图像融合方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810746129.5A CN109215003B (zh) | 2018-07-09 | 2018-07-09 | 一种图像融合方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109215003A CN109215003A (zh) | 2019-01-15 |
CN109215003B true CN109215003B (zh) | 2021-09-28 |
Family
ID=64989980
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810746129.5A Active CN109215003B (zh) | 2018-07-09 | 2018-07-09 | 一种图像融合方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109215003B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109978808B (zh) | 2019-04-25 | 2022-02-01 | 北京迈格威科技有限公司 | 一种用于图像融合的方法、装置和电子设备 |
RU2764838C1 (ru) * | 2021-03-24 | 2022-01-21 | Федеральное государственное бюджетное образовательное учреждение высшего образования "Рязанский государственный радиотехнический университет имени В.Ф. Уткина" | Способ совмещения изображений от матричных фотоприёмников различных спектральных диапазонов |
CN113269704B (zh) * | 2021-06-29 | 2022-07-29 | 南昌航空大学 | 一种红外与可见光图像融合方法 |
CN113838113B (zh) * | 2021-09-22 | 2024-02-13 | 京东鲲鹏(江苏)科技有限公司 | 三维物体识别方法和装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101546428A (zh) * | 2009-05-07 | 2009-09-30 | 西北工业大学 | 基于区域分割的序列红外与可见光图像融合 |
CN102567990A (zh) * | 2011-12-08 | 2012-07-11 | 宁波大学 | 一种立体图像客观质量评价方法 |
CN104537624A (zh) * | 2015-01-05 | 2015-04-22 | 西安电子科技大学 | 基于ssim校正聚类稀疏表示的sar图像降斑方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9262684B2 (en) * | 2013-06-06 | 2016-02-16 | Apple Inc. | Methods of image fusion for image stabilization |
-
2018
- 2018-07-09 CN CN201810746129.5A patent/CN109215003B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101546428A (zh) * | 2009-05-07 | 2009-09-30 | 西北工业大学 | 基于区域分割的序列红外与可见光图像融合 |
CN102567990A (zh) * | 2011-12-08 | 2012-07-11 | 宁波大学 | 一种立体图像客观质量评价方法 |
CN104537624A (zh) * | 2015-01-05 | 2015-04-22 | 西安电子科技大学 | 基于ssim校正聚类稀疏表示的sar图像降斑方法 |
Non-Patent Citations (3)
Title |
---|
A regional image fusion based on similarity characteristics;Xiaoyan Luo等;《Signal Processing》;20111201;全文 * |
Fusion of Infrared and Visible Light Images Based on Region Segmentation;Liu Kun等;《Chinese Journal of Aeronautics》;20091231;全文 * |
采用非采样Contourlet变换与区域分类的红外和可见光图像融合;张蕾等;《光学精密工程》;20150331;第23卷(第3期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN109215003A (zh) | 2019-01-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109215003B (zh) | 一种图像融合方法及装置 | |
CN110414377B (zh) | 一种基于尺度注意力网络的遥感图像场景分类方法 | |
Dev et al. | Color-based segmentation of sky/cloud images from ground-based cameras | |
Yuan et al. | Factorization-based texture segmentation | |
CN109684922A (zh) | 一种基于卷积神经网络的多模型对成品菜的识别方法 | |
CN107590786A (zh) | 一种基于对抗学习网络的图像增强方法 | |
CN102982539B (zh) | 一种基于图像复杂性的特征自适应图像共分割方法 | |
CN106157330B (zh) | 一种基于目标联合外观模型的视觉跟踪方法 | |
CN104732534B (zh) | 一种图像中显著目标的抠取方法及系统 | |
CN107609571A (zh) | 一种基于lark特征的自适应目标跟踪方法 | |
CN107392211B (zh) | 基于视觉稀疏认知的显著目标检测方法 | |
CN113449658A (zh) | 基于空域、频域、时域的夜间视频序列显著性检测方法 | |
Feng et al. | Low-light image enhancement algorithm based on an atmospheric physical model | |
CN116681742A (zh) | 基于图神经网络的可见光与红外热成像图像配准方法 | |
CN108447065A (zh) | 基于主成分加权假彩色合成和颜色直方图驱动的高光谱超像元分割方法 | |
Huang et al. | RDCa-Net: Residual dense channel attention symmetric network for infrared and visible image fusion | |
CN113011506B (zh) | 一种基于深度重分形频谱网络的纹理图像分类方法 | |
CN106373177A (zh) | 一种用于实现优化图像场景光照估计的设计方法 | |
CN108564534A (zh) | 一种基于检索的图像对比度调整方法 | |
CN115953330B (zh) | 虚拟场景图像的纹理优化方法、装置、设备和存储介质 | |
CN116469172A (zh) | 一种多时间尺度下的骨骼行为识别视频帧提取方法及系统 | |
CN108765384B (zh) | 一种联合流形排序和改进凸包的显著性检测方法 | |
Kong et al. | Full-reference IPTV image quality assessment by deeply learning structural cues | |
CN114549969B (zh) | 一种基于图像信息融合的显著性检测方法和系统 | |
CN113515661B (zh) | 一种基于过滤深度卷积特征的图像检索方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |