CN103942768B - 图像融合的方法和装置 - Google Patents

图像融合的方法和装置 Download PDF

Info

Publication number
CN103942768B
CN103942768B CN201310024506.1A CN201310024506A CN103942768B CN 103942768 B CN103942768 B CN 103942768B CN 201310024506 A CN201310024506 A CN 201310024506A CN 103942768 B CN103942768 B CN 103942768B
Authority
CN
China
Prior art keywords
image
fused images
kernel function
function
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201310024506.1A
Other languages
English (en)
Other versions
CN103942768A (zh
Inventor
姜安
崔峰
谢启伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Technologies Oy
Original Assignee
Nokia Technologies Oy
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Technologies Oy filed Critical Nokia Technologies Oy
Priority to CN201310024506.1A priority Critical patent/CN103942768B/zh
Priority to US14/155,368 priority patent/US9501852B2/en
Priority to EP14151225.1A priority patent/EP2757522A3/en
Publication of CN103942768A publication Critical patent/CN103942768A/zh
Application granted granted Critical
Publication of CN103942768B publication Critical patent/CN103942768B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本发明的实施方式提供了一种用于图像融合的方法和装置。根据本发明的实施方式的一种用于图像融合的方法，包括：获取针对同一场景的多个图像；以及基于贝叶斯分析，利用核函数计算所述多个图像的融合图像。

Description

图像融合的方法和装置
技术领域
本发明涉及图像处理领域，更具体而言，涉及对多源图像进行图像融合的领域。
背景技术
随着多源图像在许多领域的应用，图像融合已经成为一种重要的引人关注的图像处理和模式识别技术。图像融合就是将两幅或两幅以上的源图像组合成一幅包含各源图像显著信息的复合图像。图像融合的应用领域包括曝光融合[1-2]、遥感[3-4]、医疗成像[5]、质量和缺陷检测和生物特征识别[6]，尤其是在移动平台中，非常需要将多源图像进行融合，以获得关于所测场景更好的描述和说明。
在图像融合时，总是希望融合后的图像能够既有高空间分辨率又有高光谱分辨率，以获得对所测场景更好的描述和理解。然而，由于物理或观察方面的限制，高空间分辨率和高光谱分辨率通常并不能同时得到。例如通常来说，高分辨率图像具有高空间分辨率但是光谱分辨率很差，而多光谱图像具有高光谱分辨率但是空间分辨率很低。
图像融合应当遵循某些融合规则来构建合成的融合图像，在这方面已经建议了许多方法来对高分辨率图像和多光谱数据进行融合。例如，Nunez等人[8]使用加性小波(AW)算法将高分辨率图像(SPOT)与低分辨率多光谱图像(Landsat专题制图仪(TM))进行融合，并用TM图像的频带去替代SPOT高分辨率图像的小波低频部分。
然而，这些融合方法都是逐点地执行融合并且仅仅使用邻域的局部信息。另一个缺点是多尺度方法保留了较多的光谱信息而忽略了一些空间信息[9]。
发明内容
鉴于此，本发明的实施方式提供了一种新的融合方案，其基于贝叶斯(Bayes)分析并引入核函数来进行图像融合。
根据本发明的第一个方面，提供了一种用于图像融合的方法，包括：获取针对同一场景的多个图像；以及基于贝叶斯分析，利用核函数计算所述多个图像的融合图像。
根据本发明的第二个方面，提供了一种图像融合设备，包括：获取单元，被配置为获取针对同一场景的多个图像；以及融合图像计算单元，被配置为基于贝叶斯分析，利用核函数计算所述多个图像的融合图像。
根据本发明的第三个方面，提供了一种用于图像融合的装置，包括：用于获取针对同一场景的多个图像的模块；以及用于基于贝叶斯分析，利用核函数计算所述多个图像的融合图像的模块。
根据本发明的第四个方面，提供了一种图像融合设备，包括：至少一个数据处理器；以及与该数据处理器耦合的至少一个存储器，该存储器中存储有计算机程序，其中该图像融合设备被配置为利用该数据处理器和该存储器来至少执行：获取针对同一场景的多个图像；以及基于贝叶斯分析，利用核函数计算所述多个图像的融合图像。
利用本发明的实施方式的方案，能够对多源图像(例如高分辨率图像和多光谱图像)进行全局融合，从而将高分辨率图像的细节信息尽可能地结合到融合图像中，并且尽可能地保留多光谱图像的光谱信息。
附图说明
通过以下结合附图的说明，并且随着对本发明的更全面了解，本发明的其他目的和效果将变得更加清楚和易于理解，其中：
图1A示出了根据本发明一种实施方式进行图像融合的方法的流程图；
图1B示出了根据本发明一种具体实施方式的计算融合图像的方法步骤的流程图；
图2示例性地示出了根据图1所示的方法的核函数和融合图像的优化过程；
图3示出了根据本发明实施方式进行图像融合的图像融合设备的方框图；
图4示意性示出了根据本发明实施方式的图像融合设备的方框图；
图5示例性地示出了根据本发明的实施方式的图像融合方案与现有技术的图像融合方案所产生的融合图像的比较；以及
图6示出了图5中的融合结果的量化比较。
在所有的上述附图中，相同的标号表示具有相同、相似或相应的特征或功能。
具体实施方式
下面将参照附图更详细地描述本公开的优选实施方式。虽然附图中显示了本公开的优选实施方式，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整的传达给本领域的技术人员。
图1A示出了根据本发明一种实施方式进行图像融合的方法100的流程图。根据本发明的实施方式，方法100对针对同一场景的多个图像(多源图像)进行融合以得到融合图像。在本发明的一种实施方式中，多源图像包括具有较高空间分辨率的高分辨率图像和具有较高光谱分辨率的多光谱图像。
方法100开始于步骤110。在步骤110，获取针对同一场景的多个图像。例如，所获取的多个图像包括高分辨率图像SI和多光谱图像ML。
接下来，在步骤120，基于贝叶斯分析，利用核函数计算所述多个图像的融合图像。
在一种实施方式中，步骤120进一步包括利用核函数建立所获取的多个图像与融合图像R之间的关系，如图1B中的步骤122所示。图1B示出了根据本发明一种具体实施方式的计算融合图像的方法步骤120的流程图。这里，融合图像R是对所述多个图像，如高分辨率图像SI和多光谱图像ML，进行图像融合的结果。例如，所述关系可以表示为：
ML＝H*R+η (1)
其中，H是核函数，其是反映多光谱图像ML与融合图像R之间的联系的复数因子，η是未知噪声，*是卷积运算符。
在本发明的一种实施方式中，核函数H是在图像去模糊处理中常用的PSF(点扩散函数)函数。然而，本发明并不局限于此，任何满足光滑性约束的核函数都可以应用于本发明，如下所详述。
接下来，在步骤124，基于步骤122所建立的关系，通过贝叶斯分析构建能量函数作为融合图像R与核函数H的函数。
从等式(1)可以看出，在只有多光谱图像ML已知的情况下不可能估计出核函数H和融合图像R。因此，发明人利用贝叶斯分析根据上述等式(1)建立了核函数H、融合图像R和多光谱图像ML之间的联系，如下式所示：
p(R，H|ML)＝p(ML|R，H)p(R|H)p(H) (2)
其中，p(R，H|ML)表示在多光谱图像ML已知的情况下融合图像R和核函数H的联合概率，p(ML|R，H)表示在融合图像R和核函数H已知的情况下多光谱图像ML的似然性，即条件概率，p(R|H)表示核函数H已知的情况下融合图像R的条件概率，p(H)是核函数H的先验概率。
在一种实施方式中，未知噪声η被建模为对于所有像素来说独立同分布的一组随机噪声变量，每个噪声变量都符合均值为0、标准差为σ1的高斯分布。因此根据等式(1)，p(ML|R，H)可以表示为：
其中，N是图像(高分辨率图像SI、多光谱图像ML、或融合图像R)的总像素数，||·||是范数符号，||H*R-ML||2表示H*R-ML的2范数。
由于核函数H与图像内容无关，即，核函数H的概率独立于融合图像R的概率，因此上述等式(2)的右边第二项可以简化为p(R|H)＝p(R)。从而等式(2)可以重写为：
p(R，H|ML)＝p(ML|R，H)p(R)p(H) (4)
现在，为了估计p(R，H|ML)，对融合图像R和核函数H施加一些限制。为了将高分辨率图像SI的细节信息结合到融合图像R中，将融合图像R的梯度定义为基本上等于高分辨率图像SI的梯度。更一般性而言，在本发明的实施方式中，将融合图像的梯度设置为基本上等于所获取的多个图像中空间分辨率较高的图像的梯度。这样，融合图像R与高分辨率图像SI之差的梯度值可以定义为符合均值为0、标准差为σ2的高斯分布。在这种情况下，融合图像R的先验概率p(R)可以定义为：
其中是梯度算子。
这种定义方法例如可以参见参考文献[10]中对图像超分辨率梯度的先验概率的定义。
如前所述，在本发明的实施方式中，核函数H具有好的光滑性。核函数H的光滑性惩罚核函数大的梯度值。因此，设定核函数H的梯度值服从均值为0、标准差为σ3的高斯分布，表示为：
现在，为了估计融合图像R和核函数H，将p(R，H|ML)的负对数定义为能量函数E1(R，H)。根据等式(2)和(4)，E1(R，H)可以表示为：
E1(R，H)＝-log(p(R，H|ML))＝-{log(p(ML|R，H))+log(p(R))+log(p(H))}
(7)
这样，我们将等式(2)的最大后验概率问题转换成了使得E1(R，H)最小的能量最小化问题。进一步地，将等式(3)、(5)和(6)代入(7)，从而等式(7)可以转换为：
其中是常数，
高分辨率图像SI已知，因此为了表达方便，将融合图像R与高分辨率图像SI之差定义为：Q＝R-SI，则根据等式(8)，可以重新定义一个能量函数E(Q，H)为：
至此，我们将等式(2)的最大后验概率问题转化为了能量函数E(Q，H)的最小化问题。
接下来，在步骤126，利用在步骤124所构建的能量函数，基于核函数H来计算融合图像R。
再来研究等式(9)，能量函数E(Q，H)包含两个变量Q(或者说R)和H。当Q和H中的任意一个给定时，E(Q，H)是凸函数。因此，当核函数H给定时，丢弃与Q无关的项，并将等式(9)改写为频域形式：
其中F表示傅立叶变换，W＝H*SI-ML，知是x和y方向的偏导算子，和是相应的偏导算子的傅立叶变换，°表示分量相乘(即点乘)。
接下来，利用Plancherels理论(其将函数的平方和描述为等于其傅立叶变换的平方和)来构建所有可能的Q值的等式：
从而，一阶最优性条件可以写为：即：
根据等式(11)可知，给定核函数H，就可以得到Q，从而得到融合图像R(R＝Q+SI)。
在一种实施方式中，使用矩形窗函数作为初始的核函数H来获取融合图像R。
根据本发明的一些实施方式，还对核函数H和融合图像R进行迭代更新以优化得到的融合图像R。
返回参考图1，为了对步骤120得到的融合图像R进行优化，在步骤130判断是否满足预定的融合标准(或称收敛条件)。
在一种实施方式中，预定的融合标准是更新的次数。例如，根据需要，更新的次数可以为任意正整数，如10、20、30、40等。
在另一种实施方式中，预定的融合标准是所计算的融合图像R的质量。例如，可以通过视觉感知，互信息等指标来评价融合图像R的质量是否满足预定标准。
当在步骤130判断满足预定的融合标准时，方法100进行到步骤140结束。
当在步骤130判断不满足预定的融合标准时，方法100进行到步骤150，利用步骤120所计算的融合图像R来对核函数H进行更新。
根据一种实施方式，对核函数H进行更新的方法与通过上述等式(10)和(11)计算融合图像R的方法类似，只不过丢弃的是与核函数H无关的项。在已知融合图像R的情况下，将等式(9)改写为频域形式：
其中，R＝Q+SI，与上述等式(10)类似，F表示傅立叶变换，和是偏微分算子，和是相应的偏微分算子的傅立叶变换，°表示分量相乘(即点乘)。
类似的，利用Plancherels理论来构建所有可能的H值的等式：
从而，一阶最优性条件可以写为：即：
根据等式(13)可知，给定融合图像R，就可以得到更新后的核函数H。
在步骤150对核函数H进行更新之后，方法100可以返回到步骤120，基于更新后的核函数H来优化融合图像R。
优化融合图像R的过程与上述步骤120(更具体而言，图1B中的步骤126)中所描述的根据核函数H来计算融合图像R的过程相似，不同之处在于把步骤120中的初始的核函数H替换为步骤150中所计算的更新的核函数H。
从而利用步骤120、130和140实现了核函数H和融合图像R的交替迭代优化。图2示例性地示出了根据图1A所示的方法100的核函数H和融合图像R的交替迭代优化过程。
虽然参照图1A中的方法100对本发明的方法进行了描述，然而应当理解，图中所示的以及说明书中所描述的步骤顺序仅仅是示意性的，在不脱离权利要求的范围的情况下，这些方法步骤和/或动作可以按照不同的顺序执行而不局限于附图中所示的以及说明书中所描述的具体顺序。
图3示出了根据本发明实施方式进行图像融合的设备300的方框图。根据本发明的实施方式，图像融合设备300对多源图像进行融合以得到融合图像。
图像融合设备300包括获取单元310，其被配置为获取针对同一场景的多个图像。例如，所获取的多个图像包括高分辨率图像SI和多光谱图像ML。图像融合设备300还包括融合图像计算单元320，其被配置为基于贝叶斯分析，利用核函数计算所述多个图像的融合图像。在一种实施方式中，融合图像计算单元320进一步包括：建模子单元322，其被配置为利用核函数H建立获取单元310所获取的多个图像与融合图像R之间的关系；能量函数构建子单元324，其被配置为基于建模单元322所建立的关系，通过贝叶斯分析构建能量函数作为融合图像R与核函数H的函数；以及计算子单元326，其被配置为利用能量函数构建子单元324所构建的能量函数，基于核函数H来计算融合图像R。
在一种实施方式中，融合图像R的梯度被设置得基本上等于高分辨率图像SI的梯度。
此外，在一种实施方式中，图像融合设备300还包括核函数优化单元330，其被配置为当不满足预定的融合标准时，利用融合图像计算单元320所计算的融合图像R来更新核函数H。在一种实施方式中，融合图像计算单元320还被配置为基于由核函数优化单元330更新后的核函数H来优化融合图像R。
在一种实施方式中，预定的融合标准是更新的次数。在另一种实施方式中，预定的融合标准是所计算的融合图像R的质量。
图4示意性示出了根据本发明的一种实施方式的图像融合设备400的框图。如图4所示，图像融合设备400包括数据处理器410以及与数据处理器410耦合的存储器420。存储器420存储有计算机程序430。
存储器420可以是适用于本地技术环境的任何合适的类型，并且可以利用任何合适的数据存储技术来实现，包括但不限于基于半导体的存储器件、磁存储器件和系统、光存储器件和系统。尽管图4中仅仅示出了一个存储器单元，但是在图像融合设备400中可以有多个物理不同的存储器单元。数据处理器410可以是适用于本地技术环境的任何合适的类型，并且可以包括但不限于通用计算机、专用计算机、微处理器、数字信号处理器(DSP)以及基于处理器的多核处理器架构中的一个或多个多个。图像融合设备400可以包括多个数据处理器。
如图4中所示，图像融合设备400被配置为利用数据处理器410和存储器420来至少执行：获取针对同一场景的多个图像；以及基于贝叶斯分析，利用核函数来计算多个图像的融合图像。
根据本发明的实施方式，图像融合设备400被进一步配置为利用数据处理器410和存储器420来至少执行：利用核函数H建立所获取的多个图像与融合图像R之间的关系；基于所建立的关系，通过贝叶斯分析构建能量函数作为融合图像R与核函数H的函数；以及利用所构建的能量函数，基于核函数H来计算融合图像R。
在一种实施方式中，融合图像R的梯度被设置得基本上等于高分辨率图像SI的梯度。
根据本发明的一些实施方式，图像融合设备400被进一步配置为利用数据处理器410和存储器420来至少执行：当不满足预定的融合标准时，利用所计算的融合图像R来更新核函数H。在一种实施方式中，图像融合设备400被进一步配置为利用数据处理器410和存储器420来至少执行：基于更新后的核函数H来优化融合图像R。
在一种实施方式中，预定的融合标准是更新的次数。在另一种实施方式中，预定的融合标准是所计算的融合图像R的质量。
在本公开的描述中，以高分辨率图像和多光谱图像为例来描述各个实施方式，然而本领域技术人员可以理解，本发明并不局限于高分辨率图像和多光谱图像，而是可以应用于任意具有互补特性的多源图像。此外，在本公开的描述中，以两个图像为例来描述各个实施方式，然而本领域技术人员可以理解，利用本发明进行图像融合的图像的数目并不局限于2个，而是可以对任意数量的多源图像进行图像融合。当要融合的图像的数目大于2时，在一种实施方式中，先按照以上结合图1A和图1B所述的图像融合方法对其中的2个图像进行融合，再将得到的融合图像与下一个图像进行融合，依次类推。在另一种实施方式中，同时在所述多个图像与核函数之间建立联系并构建相应的能量函数。
图5示例性地示出了根据本发明的图像融合方案与现有技术的图像融合方案所产生的融合图像的比较。如图5中所示，使用QUICKBIRDS测试图像进行仿真，比较了本发明的方案与常规的逐点的图像融合方案(如加性小波(AW)[8]、基于窗口的最大选择规则(AMS)[7]、多尺度基本形式(MFF)[13])的仿真结果。在图5中所示的本发明的实验结果中，所选择的λ1＝2，λ2＝8(其是一种经验值)，预定的融合标准为执行20次迭代更新。初始的核函数H选择为大小为M×N的矩形窗函数，表示为
其中M1，M2，N1，N2为满足0＜M1≤M2＜M，0＜N1≤N2＜N条件的正整数。在实验中，选取M＝37，N＝37，M1=12，M2＝26，N1＝12，N2＝26。
图6示出了图5中的融合结果的定量比较。其中，为了测量融合图像的改进，使用了互信息MI度量[11]和QAB/F度量[12]。互信息MI度量和QAB/F度量的值越大，表示最终得到的融合图像中包含的来自源图像的信息越多。从图6中可以看出，本发明的方案所得到的图像的互信息MI和QAB/F大于其他现有技术的融合方法所得到的。
从上述描述可以看出，本发明的实施方式的方案具有以下益处：(1)通过将融合图像的梯度设置为基本上等于高分辨率图像的梯度，使得融合图像中包含有尽可能多的高分辨率图像的细节信息；(2)通过引入核函数来构建多光谱图像与融合图像之间的数学模型，尽可能地保留了多光谱图像的光谱信息；(3)与常规的逐点融合以及仅使用周围邻域的信息的融合方法不同，本发明的实施方式的方案能够执行全局融合，从而消除或降低了所得到的融合图像中的块效应。
应当注意，为了描述简洁起见，上面的描述省略了对于多光谱图像ML和高分辨率图像SI的预处理的过程。本领域技术人员可以理解，在进行图像融合之前(例如上述步骤110中获取的)高分辨率图像SI和多光谱图像ML应当是已经配准并且像素位宽一致的。
应当注意，为了使本发明更容易理解，上面的描述还省略了对于本领域的技术人员来说是公知的、并且对于本发明的实现可能是必需的更具体的一些其他技术细节。
因此，选择并描述实施方式是为了更好地解释本发明的原理及其实际应用，并使本领域普通技术人员明白，在不脱离本发明实质的前提下，所有修改和变更均落入由权利要求所限定的本发明的保护范围之内。
另外，本领域的技术人员可以理解，上面描述的各种方法的步骤可以通过编程的计算机来实现。这里，有些实施方式旨在覆盖程序存储装置，其为机器或计算机可读，并编码有机器可执行或计算机可执行指令程序，其中所述指令执行上述方法的一些或所有步骤。该程序存储装置可以是例如磁存储媒体例如磁盘和磁带、硬盘驱动器、或光学可读数字数据存储媒体。实施方式也旨在覆盖编程为执行上述方法的所述步骤的计算机。
参考文献：
Marius Tico，Natasha Gelfand，and Kari Pulli，Motion-blur-free exposurefusion，17th IEEE International Conference on ImageProcessing，3321-3324(2010).
Hung-Son Le，Adi Anani and Haibo Li，High dynamic range imaging throughmulti-resolusion spline fusion，International Symposium on Signal Processingand its Applications.1-4(2007).
J.Nichol and M.S.Wong，Satellite remote sensing for detailedlandslides inventories using change detection and image fusion，Int.J.RemoteSens.26，1913-1926(2005).
R.A.Schowengerdt，Remote Sensing：Models and Methods for ImageProcessing，2nd ed.New York：Academic，1997.
Michael A.Fischer，et al.，Diagnostic accuracy of whole-body MRI/DWIimage fusion for detection of malignant tumours：acomparison with PET/CT，Molecular Imaging.21(2)，246-255(2011).
Bulanon，D.M.，Burks T.F.and Alchanatis，V.，Image fusion of visible andthermal imagesfor fruit detection，Biosystems Engineering，103(1)，12-22(2009).
L.Hui，B.S.Manjunath and S.K.Mitra，\Multisensor image fusion using thewavelet transform，″Graphical Models and Image Processing.57，235-245(1995).
J.Nunez，X.Otazu，O.Fors，A.Prades，V.Pala，and R.Arbiol，\Multiresolutionbased image fusion with additive wavelet decomposition，″IEEE Transactions onGeoscience and Remote Sensing.32，1204-1211(1999).
T.Te-Ming，S.Shun-Chi，S.Hsuen-Chyun，and H.S.Ping，\A new look at IHS-like imagge fusion methods，″Information Fusion.2，177-186(2001).
S.Baker and T.Kanade，Limits on Super-Resolution and How to BreakThem，″IEEE Transactions on Pattern Analysis and Machine Intelligence.24，1167-1183(2002).
G.Qu，D.Zhang and P.Yan，Information measure for performance of imagefusion，″Electronics Letters.38，313-315(2002).
C.S.Xydeas and V.Petrovi，Objective Image Fusion Performance Measure，″Electronics Letters.36，308-309(2000).
P.Scheunders and S.D.Backer，Fusion and merging of multispectralimages using multiscale fundamental forms，″Journal of the Optical SocietyofAmerica A.18，2468-2477(2001).

Claims (32)

1.一种用于图像融合的方法，包括：
获取针对同一场景的多个图像；以及
基于贝叶斯分析，利用核函数计算所述多个图像的融合图像，
其中所述融合图像的梯度被设置得基本上等于所述多个图像中空间分辨率较高的图像的梯度。
2.如权利要求1所述的方法，其中计算融合图像进一步包括：
利用所述核函数建立所述多个图像与所述融合图像之间的关系；
基于所述关系，通过贝叶斯分析构建能量函数作为所述融合图像与所述核函数的函数；以及
利用所构建的能量函数，基于所述核函数来计算所述融合图像。
3.如权利要求1所述的方法，还包括：
当不满足预定的融合标准时，利用所计算的融合图像更新所述核函数。
4.如权利要求3所述的方法，还包括：
基于更新后的核函数来优化所述融合图像。
5.如权利要求3所述的方法，其中所述预定的融合标准是所述更新的次数。
6.如权利要求3所述的方法，其中所述预定的融合标准是所计算的融合图像的质量。
7.如权利要求1所述的方法，其中所述多个图像包括高分辨率图像和多光谱图像。
8.如权利要求1所述的方法，其中所述核函数是点扩散函数PSF。
9.一种图像融合设备，包括：
获取单元，被配置为获取针对同一场景的多个图像；以及
融合图像计算单元，被配置为基于贝叶斯分析，利用核函数计算所述多个图像的融合图像，
其中所述融合图像的梯度被设置得基本上等于所述多个图像中空间分辨率较高的图像的梯度。
10.如权利要求9所述的图像融合设备，其中所述融合图像计算单元进一步包括：
建模子单元，被配置为利用所述核函数建立所述多个图像与所述融合图像之间的关系；
能量函数构建子单元，被配置为基于所述关系，通过贝叶斯分析构建能量函数作为所述融合图像与所述核函数的函数；以及
计算子单元，被配置为利用所构建的能量函数，基于所述核函数来计算所述融合图像。
11.如权利要求9所述的图像融合设备，还包括：
核函数优化单元，被配置为当不满足预定的融合标准时，利用所计算的融合图像来更新所述核函数。
12.如权利要求11所述的图像融合设备，其中所述融合图像计算单元还被配置为：
基于更新后的核函数来优化所述融合图像。
13.如权利要求11所述的图像融合设备，其中所述预定的融合标准是所述更新的次数。
14.如权利要求11所述的图像融合设备，其中所述预定的融合标准是所计算的融合图像的质量。
15.如权利要求9所述的图像融合设备，其中所述多个图像包括高分辨率图像和多光谱图像。
16.如权利要求9所述的图像融合设备，其中所述核函数是点扩散函数PSF。
17.一种用于图像融合的装置，包括：
用于获取针对同一场景的多个图像的模块；以及
用于基于贝叶斯分析，利用核函数计算所述多个图像的融合图像的模块，
其中所述融合图像的梯度被设置得基本上等于所述多个图像中空间分辨率较高的图像的梯度。
18.如权利要求17所述的装置，其中所述计算融合图像的模块进一步包括：
用于利用所述核函数建立所述多个图像与所述融合图像之间的关系的模块；
用于基于所述关系，通过贝叶斯分析构建能量函数作为所述融合图像与所述核函数的函数的模块；以及
用于利用所构建的能量函数，基于所述核函数来计算所述融合图像的模块。
19.如权利要求17所述的装置，还包括：
用于当不满足预定的融合标准时，利用所计算的融合图像来更新所述核函数的模块。
20.如权利要求19所述的装置，其中所述计算融合图像的模块还包括：
用于基于更新后的核函数来优化所述融合图像的模块。
21.如权利要求19所述的装置，其中所述预定的融合标准是所述更新的次数。
22.如权利要求19所述的装置，其中所述预定的融合标准是所计算的融合图像的质量。
23.如权利要求17所述的装置，其中所述多个图像包括高分辨率图像和多光谱图像。
24.如权利要求17所述的装置，其中所述核函数是点扩散函数PSF。
25.一种图像融合设备，包括：
至少一个数据处理器；以及
与所述数据处理器耦合的至少一个存储器，所述存储器中存储有计算机程序，
其中所述图像融合设备被配置为利用所述数据处理器和所述存储器来至少执行：
获取针对同一场景的多个图像；以及
基于贝叶斯分析，利用核函数计算所述多个图像的融合图像，
其中所述融合图像的梯度被设置得基本上等于所述多个图像中空间分辨率较高的图像的梯度。
26.如权利要求25所述的图像融合设备，其中所述图像融合设备被进一步配置为利用所述数据处理器和所述存储器来至少执行：
利用所述核函数建立所述多个图像与所述融合图像之间的关系；
基于所述关系，通过贝叶斯分析构建能量函数作为所述融合图像与所述核函数的函数；以及
利用所构建的能量函数，基于所述核函数来计算所述融合图像。
27.如权利要求25所述的图像融合设备，其中所述图像融合设备被进一步配置为利用所述数据处理器和所述存储器来至少执行：
当不满足预定的融合标准时，利用所计算的融合图像来更新所述核函数。
28.如权利要求27所述的图像融合设备，其中所述图像融合设备被进一步配置为利用所述数据处理器和所述存储器来至少执行：
基于更新后的核函数来优化所述融合图像。
29.如权利要求27所述的图像融合设备，其中所述预定的融合标准是所述更新的次数。
30.如权利要求27所述的图像融合设备，其中所述预定的融合标准是所计算的融合图像的质量。
31.如权利要求25所述的图像融合设备，其中所述多个图像包括高分辨率图像和多光谱图像。
32.如权利要求25所述的图像融合设备，其中所述核函数是点扩散函数PSF。
CN201310024506.1A 2013-01-18 2013-01-18 图像融合的方法和装置 Expired - Fee Related CN103942768B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201310024506.1A CN103942768B (zh) 2013-01-18 2013-01-18 图像融合的方法和装置
US14/155,368 US9501852B2 (en) 2013-01-18 2014-01-15 Method and apparatus for image fusion
EP14151225.1A EP2757522A3 (en) 2013-01-18 2014-01-15 Method and apparatus for image fusion

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310024506.1A CN103942768B (zh) 2013-01-18 2013-01-18 图像融合的方法和装置

Publications (2)

Publication Number Publication Date
CN103942768A CN103942768A (zh) 2014-07-23
CN103942768B true CN103942768B (zh) 2017-05-24

Family

ID=50000786

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310024506.1A Expired - Fee Related CN103942768B (zh) 2013-01-18 2013-01-18 图像融合的方法和装置

Country Status (3)

Country Link
US (1) US9501852B2 (zh)
EP (1) EP2757522A3 (zh)
CN (1) CN103942768B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9501851B2 (en) * 2014-10-03 2016-11-22 Palantir Technologies Inc. Time-series analysis system
US11353533B2 (en) 2016-02-24 2022-06-07 Ohio State Innovation Foundation Methods and devices for contrast agent magnetic resonance imaging
US10698988B2 (en) * 2017-03-30 2020-06-30 Cisco Technology, Inc. Difference attack protection
CN108399611B (zh) * 2018-01-31 2021-10-26 西北工业大学 基于梯度正则化的多聚焦图像融合方法
CN108460749B (zh) * 2018-03-20 2020-06-16 西安电子科技大学 一种高光谱与多光谱图像的快速融合方法
CN109118430B (zh) * 2018-08-24 2023-05-09 深圳市商汤科技有限公司 超分辨率图像重建方法及装置、电子设备及存储介质
CN110188830B (zh) * 2019-06-01 2022-09-06 合肥工业大学 基于多核图割的sar图像变化检测方法
CN112304321B (zh) * 2019-07-26 2023-03-28 北京魔门塔科技有限公司 一种基于视觉和imu的车辆融合定位方法及车载终端
CN111652829B (zh) * 2020-06-09 2022-12-06 展讯通信（上海）有限公司 图像融合方法、装置、电子设备及存储介质
CN113052056B (zh) * 2021-03-19 2024-09-20 华为技术有限公司 一种视频处理的方法以及装置
CN113160100A (zh) * 2021-04-02 2021-07-23 深圳市规划国土房产信息中心(深圳市空间地理信息中心) 一种基于光谱信息影像的融合方法、融合装置及介质
CN117058053B (zh) * 2023-07-18 2024-04-05 珠江水利委员会珠江水利科学研究院 基于均值滤波的ihs空-谱融合方法、系统、设备及介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1540575A1 (en) * 2002-08-28 2005-06-15 Bae Systems Aircraft Controls Inc. Image fusion system and method
KR20050104663A (ko) * 2004-04-29 2005-11-03 삼성탈레스 주식회사 다수의 이미지 센서로부터의 이미지 융합 방법
CN101359049A (zh) * 2007-08-01 2009-02-04 北京师范大学 一种遥感影像融合方法
CN101894365A (zh) * 2010-07-13 2010-11-24 武汉大学 一种自适应变分遥感影像融合方法
CN101984454A (zh) * 2010-11-19 2011-03-09 杭州电子科技大学 一种基于数据驱动的多源多特征信息融合方法
CN102013095A (zh) * 2010-12-09 2011-04-13 哈尔滨工业大学 基于分布变换的多传感器图像融合方法
CN102005037B (zh) * 2010-11-12 2012-06-06 湖南大学 结合多尺度双边滤波与方向滤波的多模图像融合方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7663502B2 (en) * 1992-05-05 2010-02-16 Intelligent Technologies International, Inc. Asset system control arrangement and method
US7164117B2 (en) * 1992-05-05 2007-01-16 Automotive Technologies International, Inc. Vehicular restraint system control system and method using multiple optical imagers
US7259715B1 (en) * 2002-01-08 2007-08-21 Science Applications International Corporation Method for developing and using an image reconstruction algorithm for multipath scattering
US6646593B1 (en) * 2002-01-08 2003-11-11 Science Applications International Corporation Process for mapping multiple-bounce ghosting artifacts from radar imaging data
US7831094B2 (en) * 2004-04-27 2010-11-09 Honda Motor Co., Ltd. Simultaneous localization and mapping using multiple view feature descriptors
GB0913930D0 (en) 2009-08-07 2009-09-16 Ucl Business Plc Apparatus and method for registering two medical images
US8203615B2 (en) * 2009-10-16 2012-06-19 Eastman Kodak Company Image deblurring using panchromatic pixels
US8878950B2 (en) * 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
US8755636B2 (en) * 2011-09-14 2014-06-17 Mediatek Inc. Method and apparatus of high-resolution image reconstruction based on multi-frame low-resolution images

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1540575A1 (en) * 2002-08-28 2005-06-15 Bae Systems Aircraft Controls Inc. Image fusion system and method
KR20050104663A (ko) * 2004-04-29 2005-11-03 삼성탈레스 주식회사 다수의 이미지 센서로부터의 이미지 융합 방법
KR100551826B1 (ko) * 2004-04-29 2006-02-13 삼성탈레스 주식회사 다수의 이미지 센서로부터의 이미지 융합 방법
CN101359049A (zh) * 2007-08-01 2009-02-04 北京师范大学 一种遥感影像融合方法
CN101894365A (zh) * 2010-07-13 2010-11-24 武汉大学 一种自适应变分遥感影像融合方法
CN102005037B (zh) * 2010-11-12 2012-06-06 湖南大学 结合多尺度双边滤波与方向滤波的多模图像融合方法
CN101984454A (zh) * 2010-11-19 2011-03-09 杭州电子科技大学 一种基于数据驱动的多源多特征信息融合方法
CN102013095A (zh) * 2010-12-09 2011-04-13 哈尔滨工业大学 基于分布变换的多传感器图像融合方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
MAP Estimation for Hyperspectral Image Resolution Enhancement Using an Auxiliary Sensor;Russell C. Hardie 等;《IMAGE PROCESSING》;20040930;第13卷(第9期);第1174-1184页 *
Noise-Resistant Wavelet-Based Bayesian Fusion of Multispectral and Hyperspectral Images;Yifan Zhang 等;《GEOSCIENCE AND REMOTE SENSING》;20091130;第47卷(第11期);摘要、第3835页第II节第1-2段、第3836页右栏5-6段 *
Remote sensi ng i mage fusion based on Bayesian 1inear estimation;GE ZhiRong 等;《Science in China Series F：Information Sciences》;20070430;第50卷(第2期);第227-240页 *
基于先验信息的SVM红外光谱定性分析方法;姜安 等;《红外》;20120930;第33卷(第9期);第41-45页 *

Also Published As

Publication number Publication date
EP2757522A3 (en) 2017-05-24
EP2757522A2 (en) 2014-07-23
US9501852B2 (en) 2016-11-22
US20140205204A1 (en) 2014-07-24
CN103942768A (zh) 2014-07-23

Similar Documents

Publication Publication Date Title
CN103942768B (zh) 图像融合的方法和装置
US20210174524A1 (en) Systems and methods for depth estimation via affinity learned with convolutional spatial propagation networks
Kumar et al. Convolutional neural networks for wavelet domain super resolution
Wang et al. Fast image upsampling via the displacement field
Kim et al. Structure selective depth superresolution for RGB-D cameras
Singh et al. A feature level image fusion for Night-Vision context enhancement using Arithmetic optimization algorithm based image segmentation
Ko et al. SAR image despeckling using continuous attention module
Xiao et al. Single image dehazing based on learning of haze layers
Liu et al. Human visual system consistent quality assessment for remote sensing image fusion
Singh et al. A feature level image fusion for IR and visible image using mNMRA based segmentation
Zille et al. Observation model based on scale interactions for optical flow estimation
Huang et al. Unrolled variational Bayesian algorithm for image blind deconvolution
Ouma et al. Urban-trees extraction from Quickbird imagery using multiscale spectex-filtering and non-parametric classification
CN115546270A (zh) 多尺度特征融合的图像配准方法、模型训练方法及设备
Shao et al. Multi-scale generative adversarial inpainting network based on cross-layer attention transfer mechanism
Rahmat et al. Android-based automatic detection and measurement system of highway billboard for tax calculation in Indonesia
Corpetti et al. Stochastic uncertainty models for the luminance consistency assumption
Sai Hareesh et al. Exemplar-based color image inpainting: a fractional gradient function approach
Zhang et al. Deep joint neural model for single image haze removal and color correction
Cao et al. Automatic change detection in remote sensing images using level set method with neighborhood constraints
CN103530612B (zh) 基于少量样本的快速目标检测方法
Hu et al. A reliable and fast ribbon road detector using profile analysis and model‐based verification
Susan et al. Deep learning inpainting model on digital and medical images-a review.
Jodoin et al. Optical-flow based on an edge-avoidance procedure
Mesin Balanced multi-image demons for non-rigid registration of magnetic resonance images

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20160203

Address after: Espoo, Finland

Applicant after: Technology Co., Ltd. of Nokia

Address before: Espoo, Finland

Applicant before: Nokia Oyj

GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170524

Termination date: 20200118