CN1545062A - 综合边缘和纹理信息的金字塔图像融合方法 - Google Patents
综合边缘和纹理信息的金字塔图像融合方法 Download PDFInfo
- Publication number
- CN1545062A CN1545062A CNA2003101089353A CN200310108935A CN1545062A CN 1545062 A CN1545062 A CN 1545062A CN A2003101089353 A CNA2003101089353 A CN A2003101089353A CN 200310108935 A CN200310108935 A CN 200310108935A CN 1545062 A CN1545062 A CN 1545062A
- Authority
- CN
- China
- Prior art keywords
- image
- texture
- edge
- pyramid
- filter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
一种综合边缘和纹理信息的金字塔图像融合方法,首先建立基于边缘和纹理特征的金字塔结构,考虑二项高斯滤波器和纹理提取滤波器以及边缘提取滤波器之间的线性关系,采用奇异值分解法求出纹理和边缘图像的对应系数,然后利用各尺度图像的这些特征,对分解后图像的各层进行表示,最后采用基于相似性测度和显著性测度的融合策略进行融合。本发明使融合后的图像质量得到大幅度地提高,对于各种应用系统的后续处理和图像显示具有重要意义和实用价值。
Description
技术领域:
本发明涉及一种综合边缘和纹理信息的金字塔图像融合方法,是信息融合领域中的一项金字塔图像融合方法,在光学成像、目标监视、安全检查等系统中均可有广泛应用。
背景技术:
图像融合技术是多传感器信息融合中可视信息的融合,它利用各种成像传感器不同的成像方式,为不同的影像提供互补信息,增加图像信息量,减少原始图像数据量,提高对环境的适应性,以获得更可靠、更准确的有用信息供观察或进一步处理。图像融合技术是一门综合了传感器、信号处理、图像处理和人工智能等的新兴技术,近年来已成为一种十分重要和有用的图像分析与计算机视觉技术,在自动目标识别、计算机视觉、遥感、机器人、医学图像处理以及军事应用等领域有着广泛的应用前景。
最简单的图像融合方法是将原图像进行加权平均。这种方法的优点是简单,实时性好,但是与此同时带来的负面影响是降低了图像的对比度。图像金字塔分解技术与人类视觉系统中观察事物的过程十分相似,图像的金字塔分解技术包括图像的小波变换、多速滤波器表示以及金字塔变换。其中,基于金字塔变化的融合方法可能成为最有希望的融合方法。尽管小波在图像表示中展现了很多优越性,如在正交性表示、方向敏感性以及降噪性能方面都超过了金字塔分解方法。但是由于小波存在不对称性导致的在位移不变性方面的性能较差,从而影响了图像融合的效果。因此开发一种新的基于金字塔分解的金字塔图像融合方法,来避免由于小波所造成的位移不变性差的缺点,弥补传统金字塔结构的金字塔图像融合方法在提取纹理特征以及边缘特征方面的不足,显得十分必要。
发明内容:
本发明的目的在于针对现有金字塔图像融合技术存在的不足,提供一种综合边缘和纹理信息的金字塔图像融合方法,能够提高融合后的图像质量,达到理想的实用效果。
为实现这样的目的,本发明技术方案的创新点在于将传统的图像金字塔分解拓展到基于纹理和边缘信息的金字塔分解方法,并基于这样一种金字塔表示对图像进行融合。本发明通过高斯滤波获得原始图像的金字塔分解,考虑二项高斯滤波器和纹理提取滤波器以及边缘提取滤波器之间的线性关系,采用奇异值分解法求出纹理和边缘图像的对应系数。利用各尺度图像的这些特征信息,对分解后图像的各层进行表示。融合过程通过计算出两幅图像的各纹理和边缘图像对的相似性测度和显著性测度,根据显著性测度大小采用合适的融合策略(选大或加权平均),通过这样的融合策略得到一组纹理和边缘的金字塔表示的图像,最后经过重构得到最终融合后的图像。
本发明的综合边缘和纹理信息的金字塔图像融合方法包括如下具体步骤:
1.求取进行边缘和纹理金字塔分解所要满足的条件,也就是要构造一种基于边缘和纹理特征的金字塔结构。在二项高斯滤波器与纹理提取滤波器、边缘提取滤波器之间建立一个具有待定系数的恒等式;通过奇异值分解计算出这些待定系数ti和ci。ti是纹理滤波器的系数,ci是边缘提取滤波器的系数。满足这样的关系式是为了保证图像分解后能够完全重构,也就是基于边缘和纹理信息金字塔分解的重构条件。
2.得到了基于边缘和纹理信息的金字塔的结构后,基于这样的结构,就可以对图像进行分解了。将待融合图像分别经过纹理提取滤波器和边缘提取滤波器进行滤波,得到一层纹理图像和边缘图像;此外,待融合图像还要和二项高斯滤波器进行滤波,得到图像的低通分量,作为下一层分解的输入图像,这个图像再与边缘提取滤波器和边缘提取滤波器进行滤波,就得到下一层的纹理和边缘图像。这样以此类推,迭代n次,就可以得到图像n层纹理和边缘信息表示的金字塔表示。
3.分别将两幅待融合的图像进行上述的操作,得到图像的两组金字塔表示形式。将分解后两幅图像的各层对应起来,计算每一层对的相似性测度和显著性测度。相似性测度越大说明两幅图像对应层、对应位置的特征越相似;显著性测度是通过相似性测度计算得到的,它的值越大,说明特征的相似性程度越小。为了保证融合能够充分表现出待融合图像的特征,当显著性测度大于某一个阈值的时候选择特征比较显著的那个像素,当显著性测度小于这一阈值,融合策略采用加权平均的方式,得到融合后图像的纹理和边缘信息的金字塔表示。
4.将得到的融合后图像的纹理和边缘信息的金字塔表示,从最顶层开始,一层一层进行重构。最顶层的M×M低通图像Gn通过插值,首先得到2M×2M的插值图像;下一层的纹理和边缘信息表示层分别乘上步骤1得到的纹理滤波器系数ti和边缘提取滤波器的系数ci进行求和,再与顶层的插值图像求和,得到下一层的低通图像Gn-1;反复迭代,直至得到G0,它就是重构图像,也就是所求的融合后的图像。
本发明的图像融合方法具有如下有益效果:
在对图像基于边缘和纹理信息进行金字塔展开后,图像在各尺度上能够充分反映出所具有的边缘和纹理特征。在基于这样的金字塔分解的每一个层次上进行图像融合,可以使得融合后图像充分反映出原图像所具有的特征,这些特征也正是图像后续的识别工作所必须的。采用综合纹理和边缘信息的金字塔图像融合方法大大提高了融合后图像质量,对于应用系统的后续处理和图像显示具有重要意义和实用价值。
附图说明:
图1为本发明的综合边缘和纹理信息的金字塔图像融合方法流程示意图。
如图1所示,本发明的方法首先将两幅待融合图像进行基于边缘和纹理信息的金字塔分解,再根据各金字塔层次上特征的显著性和相似性条件进行融合,得到融合后图像的金字塔表示,然后再应用基于边缘和纹理信息的金字塔反变换,重构出融合图像。
图2为本发明采用的对图像进行基于边缘和纹理信息金字塔分解和重构的结构示意图。
图2展现的是针对一幅图像进行一层金字塔分解的过程。首先,将图像分别与边缘和纹理滤波器卷积,得到边缘和纹理信息表示形式。图像与二项高斯滤波器进行滤波得到一层分解金字塔的顶部。重构图像是通过将这些图像进行简单求和得到的。
图3是本发明实施例中的可见光和红外图像、部分边缘和纹理图像以及融合结果。
图3中,(a)表示的是可见光图像,(c)表示的是(a)所提供的部分和纹理信息;(b)表示的是前视红外图像,(d)表示的是(b)所提供的部分边缘和纹理信息;(e)表示的是融合后图像的部分边缘和纹理信息;(f)为基于边缘和纹理金字塔重构后的最终的融合图像。
图4是采用本发明的方法分别对合成孔径雷达SAR和红外图像的融合结果。
具体实施方式:
以下结合附图和实施例对本发明的技术方案作进一步描述。
本发明的实施例中,待融合的两幅图像分别是图3(a)表示的可见光图像和图3(b)表示的前视红外图像,采用的综合边缘和纹理信息的金字塔图像融合方法按图1所示流程进行,采用的金字塔分解和重构的结构如图2所示。各部分具体实施细节如下:
1.建立基于边缘和纹理信息金字塔分解和重构的结构
将图像分解成综合纹理和边缘信息的金字塔表示需要满足重构条件,如公式(1)所示:
式中的ti和ci为待定系数,这可以通过奇异值分解方法求得;Ti为Laws纹理提取滤波器,Di为边缘提取滤波器。建立基于边缘和纹理信息金字塔分解和重构的结构,主要任务就是求这些待定系数。
Laws纹理提取的五个核向量如下所示:
l5=[1 4 6 4 1]
e5=[-1 -2 0 2 1]
s5=[-1 0 2 0 -1]
u5=[-1 2 0 -2 1]
r5=[1 -4 6 -4 1]
Ti就是通过这些核向量经过交叉卷积以及自卷积后,再经过卷积扩维得到的25个9×9的滤波器。
四个边缘提取滤波器如下:
与纹理提取滤波器的处理相似,它们通过卷积扩维得到四个边缘提取滤波器Di。对等式(1)进行奇异值分解的方法求取待定系数。就得到了金字塔分解和重构的结构。图2所示的为单一图像进行一层金字塔分解和重构的示意图。
2.图像的金字塔分解过程
边缘提取滤波器与纹理提取滤波器共同组成29个特征提取滤波器Fl(l=1,2,...,29)。金字塔分解过程可采用公式(2):
分解结果如图3中所示:3(c)为3(a)可见光图像金字塔分解后的部分特征内容,3(d)为3(b)前视红外图像金字塔分解后的部分特征内容。
3.各层图像的融合处理
图像分解成基于纹理和边缘的金字塔形式后,融合方法采用基于相似性测度和显著性测度进行融合的策略。标记第k层第l方向的图像为Lkl。
首先计算两幅图像金字塔分解系数的活性测度,设两组分解系数的显著性测度分别为
和
采用基于窗口的测度,窗口大小为3×3,窗口模板系数为:
则显著性测度为
相似性测度为
如果相似性测度MAB≥α,则
且ωB=1-ωA
如果相似性测度MAB<α,则
最后得融合策略:
图3(e)为融合后图像的金字塔表示。
4.融合后图像基于纹理和边缘信息的金字塔重构
利用公式(3)所求出的
求基于纹理和边缘的金字塔反变换即可得到融合图像。最顶层图像Gn表示的是图像的低通信息,将这部分图像进行插值处理,得到2M×2M的图像。这与该低通的图像的下一层纹理和边缘信息图像的维数是相等的。考虑步骤1得到的系数ti和ci是通过满足重构条件得到的,这里必须将纹理和边缘图像乘以该系数,然后加上最顶层图像(低通图像)的插值结果,从而得到低通图像Gn-1。图3(f)为可见光与前视红外图像的最终融合结果。
表1、表2分别为可见光/前视红外图像以及合成孔径雷达/前视红外图像的融合结果指标评价指标。从表中可以看出,当采用纹理特征时,融合性能已经超过了传统的金字塔方法;采用综合边缘和纹理特征后,所得到的融合效果要好于前两种方法。
表1:可见光图像和前视红外图像的融合结果指标评价
分解层数 | 传统金字塔分解方法 | 基于纹理的金字塔分解方法 | 本发明采用的金字塔方法 | |||
OM | 熵值 | OM | 熵值 | OM | 熵值 | |
1 | 0.5022 | 4.9599 | 0.5632 | 4.9726 | 0.5667 | 4.9727 |
2 | 0.5617 | 4.9633 | 0.5944 | 4.9750 | 0.5981 | 4.9751 |
3 | 0.5963 | 4.9631 | 0.6110 | 4.9740 | 0.6148 | 4.9739 |
4 | 0.6172 | 4.9614 | 0.6191 | 4.9748 | 0.6232 | 4.9747 |
5 | 0.6280 | 4.9666 | 0.6213 | 4.9796 | 0.6253 | 4.9794 |
6 | 0.6303 | 4.9824 | 0.6220 | 4.9768 | 0.6260 | 4.9775 |
表2:合成孔径雷达图像和前视红外图像的融合结果指标评价
分解层数 | 传统金字塔分解方法 | 基于纹理的金字塔分解方法 | 本发明采用的金字塔方法 | |||
OM | 熵值 | OM | 熵值 | OM | 熵值 | |
1 | 0.3948 | 4.5884 | 0.4447 | 4.6865 | 0.4464 | 4.6866 |
2 | 0.4393 | 4.6097 | 0.4574 | 4.7100 | 0.4591 | 4.7110 |
3 | 0.4509 | 4.6236 | 0.4597 | 4.7202 | 0.4616 | 4.7200 |
4 | 0.4532 | 4.6321 | 0.4602 | 4.7310 | 0.4621 | 4.7320 |
5 | 0.4537 | 4.6448 | 0.4604 | 4.7446 | 0.4622 | 4.7447 |
6 | 0.4538 | 4.6644 | 0.4604 | 4.7769 | 0.4623 | 4.7780 |
Claims (1)
1、一种综合边缘和纹理信息的金字塔图像融合方法,其特征在于包括如下具体步骤:
1)建立基于边缘和纹理特征的金字塔结构:在二项高斯滤波器与纹理提取滤波器、边缘提取滤波器之间建立一个具有待定系数的恒等式,通过奇异值分解计算出纹理滤波器和边缘提取滤波器的待定系数;
2)基于边缘和纹理特征的金字塔结构对图像进行分解,将待融合图像分别经过纹理提取滤波器和边缘提取滤波器进行滤波,得到一层纹理图像和边缘图像,待融合图像还要和二项高斯滤波器进行滤波,得到图像的低通分量,作为下一层分解的输入图像,这个图像再与纹理滤波器和边缘提取滤波器进行滤波,得到下一层的纹理和边缘图像,以此类推迭代n次,得到图像n层纹理和边缘信息表示的金字塔表示。
3)将两幅待融合图像的金字塔表示形式的各层对应起来,计算每一层对的相似性测度和显著性测度,当显著性测度大于某一个阈值的时候选择特征比较显著的那个像素,当显著性测度小于这一阈值,融合策略采用加权平均的方式,得到融合后图像的纹理和边缘信息的金字塔表示;
4)将得到的融合后图像的纹理和边缘信息的金字塔表示,从最顶层开始,一层一层进行重构,最顶层的低通图像通过插值,首先得到插值图像,下一层的纹理和边缘信息表示层分别乘上纹理滤波器系数和边缘提取滤波器的系数进行求和,再与顶层的插值图像求和,得到下一层的低通图像,反复迭代,直至得到重构图像,也就是所求的融合后的图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 200310108935 CN1251145C (zh) | 2003-11-27 | 2003-11-27 | 综合边缘和纹理信息的金字塔图像融合方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 200310108935 CN1251145C (zh) | 2003-11-27 | 2003-11-27 | 综合边缘和纹理信息的金字塔图像融合方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1545062A true CN1545062A (zh) | 2004-11-10 |
CN1251145C CN1251145C (zh) | 2006-04-12 |
Family
ID=34334949
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN 200310108935 Expired - Fee Related CN1251145C (zh) | 2003-11-27 | 2003-11-27 | 综合边缘和纹理信息的金字塔图像融合方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN1251145C (zh) |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100428280C (zh) * | 2006-09-18 | 2008-10-22 | 武汉大学 | 一种dmc彩色合成影像的辐射再处理方法 |
CN100458847C (zh) * | 2005-06-15 | 2009-02-04 | 华为技术有限公司 | 一种数字图像边缘信息提取方法 |
CN100461218C (zh) * | 2007-03-29 | 2009-02-11 | 杭州电子科技大学 | 多尺度自适应对比度变换的医学图像增强方法 |
CN100465661C (zh) * | 2006-11-09 | 2009-03-04 | 复旦大学 | 超复数主元加权的多光谱和全色图像融合方法 |
CN101916436A (zh) * | 2010-08-30 | 2010-12-15 | 武汉大学 | 一种多尺度空间投影遥感影像融合方法 |
CN101447072B (zh) * | 2009-01-06 | 2011-02-16 | 覃征 | 基于金字塔形的经验模态分解图像融合方法 |
CN101228535B (zh) * | 2005-07-28 | 2011-03-09 | 微软公司 | 图像混合的方法和装置 |
CN101283515B (zh) * | 2005-08-15 | 2011-12-28 | 捷讯研究有限公司 | 无线通信设备及用于在无线通信设备内减小同信道干扰的方法 |
CN101366058B (zh) * | 2006-01-10 | 2012-03-21 | 微软公司 | 分段图像元素的方法及系统 |
CN101739658B (zh) * | 2008-11-06 | 2012-09-05 | 索尼株式会社 | 图像处理装置、图像处理方法及程序 |
CN105264567A (zh) * | 2013-06-06 | 2016-01-20 | 苹果公司 | 用于图像稳定化的图像融合方法 |
CN108305236A (zh) * | 2018-01-16 | 2018-07-20 | 腾讯科技(深圳)有限公司 | 图像增强处理方法及装置 |
CN110415202A (zh) * | 2019-07-31 | 2019-11-05 | 浙江大华技术股份有限公司 | 一种图像融合方法、装置、电子设备及存储介质 |
US10523894B2 (en) | 2013-09-09 | 2019-12-31 | Apple Inc. | Automated selection of keeper images from a burst photo captured set |
CN110855957A (zh) * | 2019-11-01 | 2020-02-28 | RealMe重庆移动通信有限公司 | 图像处理方法及装置、存储介质和电子设备 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101000651B (zh) * | 2006-12-28 | 2010-05-19 | 上海电力学院 | 一种多源纹理图像的识别方法 |
CN101609548B (zh) * | 2008-09-12 | 2011-04-06 | 西安电子科技大学 | 基于Wavelet和Wedgelet变换HMT模型的图像分割方法 |
-
2003
- 2003-11-27 CN CN 200310108935 patent/CN1251145C/zh not_active Expired - Fee Related
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100458847C (zh) * | 2005-06-15 | 2009-02-04 | 华为技术有限公司 | 一种数字图像边缘信息提取方法 |
CN101228535B (zh) * | 2005-07-28 | 2011-03-09 | 微软公司 | 图像混合的方法和装置 |
CN101283515B (zh) * | 2005-08-15 | 2011-12-28 | 捷讯研究有限公司 | 无线通信设备及用于在无线通信设备内减小同信道干扰的方法 |
CN101366058B (zh) * | 2006-01-10 | 2012-03-21 | 微软公司 | 分段图像元素的方法及系统 |
CN100428280C (zh) * | 2006-09-18 | 2008-10-22 | 武汉大学 | 一种dmc彩色合成影像的辐射再处理方法 |
CN100465661C (zh) * | 2006-11-09 | 2009-03-04 | 复旦大学 | 超复数主元加权的多光谱和全色图像融合方法 |
CN100461218C (zh) * | 2007-03-29 | 2009-02-11 | 杭州电子科技大学 | 多尺度自适应对比度变换的医学图像增强方法 |
CN101739658B (zh) * | 2008-11-06 | 2012-09-05 | 索尼株式会社 | 图像处理装置、图像处理方法及程序 |
CN101447072B (zh) * | 2009-01-06 | 2011-02-16 | 覃征 | 基于金字塔形的经验模态分解图像融合方法 |
CN101916436A (zh) * | 2010-08-30 | 2010-12-15 | 武汉大学 | 一种多尺度空间投影遥感影像融合方法 |
CN101916436B (zh) * | 2010-08-30 | 2011-11-16 | 武汉大学 | 一种多尺度空间投影遥感影像融合方法 |
CN105264567A (zh) * | 2013-06-06 | 2016-01-20 | 苹果公司 | 用于图像稳定化的图像融合方法 |
CN105264567B (zh) * | 2013-06-06 | 2018-01-26 | 苹果公司 | 用于图像稳定化的图像融合方法 |
US10523894B2 (en) | 2013-09-09 | 2019-12-31 | Apple Inc. | Automated selection of keeper images from a burst photo captured set |
CN108305236A (zh) * | 2018-01-16 | 2018-07-20 | 腾讯科技(深圳)有限公司 | 图像增强处理方法及装置 |
CN110415202A (zh) * | 2019-07-31 | 2019-11-05 | 浙江大华技术股份有限公司 | 一种图像融合方法、装置、电子设备及存储介质 |
CN110415202B (zh) * | 2019-07-31 | 2022-04-12 | 浙江大华技术股份有限公司 | 一种图像融合方法、装置、电子设备及存储介质 |
CN110855957A (zh) * | 2019-11-01 | 2020-02-28 | RealMe重庆移动通信有限公司 | 图像处理方法及装置、存储介质和电子设备 |
CN110855957B (zh) * | 2019-11-01 | 2022-05-10 | RealMe重庆移动通信有限公司 | 图像处理方法及装置、存储介质和电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN1251145C (zh) | 2006-04-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1251145C (zh) | 综合边缘和纹理信息的金字塔图像融合方法 | |
CN1273937C (zh) | 红外与可见光图像融合方法 | |
CN101546428B (zh) | 基于区域分割的序列红外与可见光图像融合 | |
CN1822046A (zh) | 基于区域特征模糊的红外与可见光图像融合方法 | |
CN110097617B (zh) | 基于卷积神经网络与显著性权重的图像融合方法 | |
CN101847257A (zh) | 基于非局部均值与多级定向图像的图像降噪方法 | |
CN104933678A (zh) | 一种基于像素强度的图像超分辨率重建方法 | |
CN112842348B (zh) | 一种基于特征提取与深度学习的心电信号自动分类方法 | |
Xu et al. | A denoising algorithm via wiener filtering in the shearlet domain | |
CN101447072B (zh) | 基于金字塔形的经验模态分解图像融合方法 | |
CN103679661A (zh) | 一种基于显著性分析的自适应遥感图像融合方法 | |
CN104657951A (zh) | 图像乘性噪声移除方法 | |
CN1484039A (zh) | 基于不可分离小波框架的图像融合方法 | |
CN103077507B (zh) | 基于Beta算法的多尺度SAR图像降噪方法 | |
CN1431523A (zh) | 遥感图像双线性插值小波变换融合的优化方法 | |
Lyu et al. | DSTnet: a new discrete shearlet transform-based CNN model for image denoising | |
CN105809650A (zh) | 一种基于双向迭代优化的图像融合方法 | |
CN1254770C (zh) | 基于期望值最大与离散小波框架的图像融合方法 | |
CN104463822A (zh) | 基于多尺度全局滤波的多聚焦图像融合方法及其装置 | |
CN111402183B (zh) | 基于八度金字塔框架的多聚焦图像融合方法 | |
CN1286065C (zh) | 基于方向滤波器组的图像融合方法 | |
CN102298768B (zh) | 基于稀疏样本的高分辨率图像重建方法 | |
CN116051444A (zh) | 一种有效的红外与可见光图像自适应融合方法 | |
Yuan et al. | Fusion of multi-planar images for improved three-dimensional object reconstruction | |
CN1272746C (zh) | 基于不可分离小波框架变换的多聚焦图像融合方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C19 | Lapse of patent right due to non-payment of the annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |