CN111292284A - 基于双树-四元数小波变换的彩色图像融合方法 - Google Patents

Abstract

本发明公开了一种基于双树‑四元数小波变换的彩色图像融合方法，属于图像处理技术领域。该方法首先将待融合的两幅彩色图像分别用双四元数进行表示，再使用双树‑四元数小波变换分别进行处理，得到这两幅彩色图像的粗尺度和细尺度四元数值变换系数；然后分别采用“最大方差滤波”和“最大值”融合规则得到融合图像的粗尺度系数和细尺度系数；最后对融合图像的粗尺度系数和细尺度系数进行双树‑四元数小波逆变换来得到融合后的彩色图像。本发明给出了双树‑四元数小波变换的定义，实现了该变换的离散化方法，解决了彩色图像融合过程中的颜色扭曲与失真问题并充分还原了彩色图像的细节信息，提高了融合图像的质量。

Description

基于双树-四元数小波变换的彩色图像融合方法

技术领域

本发明属于图像处理技术领域，具体涉及一种基于双树-四元数小波变换的彩色图像融合方法。

背景技术

图像融合作为信息融合的一个分支，是当前信息融合研究中的一个热点。图像融合的数据形式是包含有明暗、色彩、温度、距离以及其他的景物特征的图像。而图像融合是将两幅或者两幅以上的图像信息融合为一幅图像，其主要目的是减少由单一成像传感器所获取的图像信息的不确定性，使得融合的图像包含有更多的信息，从而便于视觉观察或计算机处理。图像融合技术被广泛地应用于军事安全，医学影像和遥感等诸多领域，取得了许多令人瞩目的成绩。一般而言，图像融合分为像素级融合、特征级融合和决策级融合三个层次。其中像素级融合又分为空间域方法与变换域方法，是图像融合三个层次中最基本的融合，得到的图像具有更多的细节信息。

在当前的图像融合研究和应用中，涉及最多的是像素级图像融合，图像融合狭义上指的是像素级图像融合，目前提出的绝大多数的图像融合方法均属于该层次上的融合。常见的彩色图像融合方法，很多都是从像素级入手，基于已有的融合方法，根据实际情况来设立融合规则，进而得到适合实际应用场景的融合图像。

像素级融合有利于边缘和纹理的提取，方便进一步的分析、处理与理解图像，还能够把潜在的目标体现出来。通过判断潜在的目标像素点，可以尽可能多的保存源图像中的信息，使得融合后的图像不论是内容还是细节均有所增加。

常用的像素级图像融合方法有：加权平均方法、对比调制方法、空间域或频率域滤波方法、主成分分析方法、基于颜色模型变换的方法、金字塔分解方法与小波变换等方法，这些方法虽然获得了较好的数据指标，但存在图像的颜色扭曲与失真，无法充分还原彩色图像的细节信息。

小波变换的双树框架主要是克服传统小波变换所存在的“平移振荡”这一缺点而提出来的，并且该变换具有低冗余度的各向异性这一优点。但是，现存的双树小波变换只能处理灰度图像，这限制了该种类型小波变换的具体应用。

发明内容

本发明提出了一种基于双树-四元数小波变换的彩色图像融合方法，给出双树-四元数小波变换的定义，实现了双树-四元数小波变换的离散化方法(即构造了双树-四元数分析滤波器组和综合滤波器组)。一方面，本发明所提出的基于双树-四元数小波变换的彩色图像融合方法解决了图像融合过程中出现的颜色扭曲与失真问题，充分还原彩色图像细节信息，提高融合图像质量。另一方面，本发明将双树小波框架推广到四元数域层面，解决了传统双树小波框架方法不能直接处理彩色图像这一问题。

基于双树-四元数小波变换的彩色图像融合方法具体步骤如下：

步骤S1，将原始待融合的两幅彩色图像分别用双四元数进行表示；

步骤S2，使用双树-四元数小波变换分别处理步骤S1中的两幅彩色图像，得到这两幅彩色图像的粗尺度和细尺度四元数值变换系数；

步骤S3，对于粗尺度系数，采用“最大方差滤波”融合规则来得到融合图像的粗尺度系数；

步骤S4，对于细尺度系数，采用“最大值”融合规则来得到融合图像的细尺度系数；

步骤S5，对融合图像的粗尺度系数和细尺度系数进行双树-四元数小波逆变换来得到融合后的彩色图像。

优选地，所述步骤S1中使用双四元数对原始待融合彩色图像表征的数学公式为：

f＝(f_R·i+f_G·j+f_B·k)+(f_R·i+f_G·j+f_B·k)·I

其中f_R、f_G和f_B分别为彩色图像的R、G和B颜色分量，i、j、k和I分别为双四元数的虚数单位，其运算规则为：

i²＝-1，j²＝-1，k²＝-1，I²＝-1，ij＝-ji＝k，jk＝-kj＝i，ki＝-ik＝j。

优选地，所述步骤S2中双树-四元数小波变换的计算公式为：

c_m[n]＝<f，Ψ_m，n>

其中，

并且

和

为两个四元数值双正交小波系统所构成的一个Hilbert(希尔伯特)变换对。在具体的编程实现过程中，采用四元数分析滤波器组来实现双树-四元数小波变换。

优选地，所述步骤S3中粗尺度系数融合规则为“最大方差滤波”，即首先对粗尺度系数进行取范数操作，然后进行方差滤波，最后对滤波结果进行取最大值来确定融合图像的粗尺度系数。

优选地，所述步骤S5中双树-四元数小波逆变换的计算公式为：

其中，

并且

和

分别为

和

的对偶四元数值双正交小波。在具体的编程实现过程中，采用四元数综合滤波器组来实现双树-四元数小波逆变换。

与现有技术相比，本发明具有的有益效果是：

首先，本发明给出双树-四元数小波变换的定义，采用双四元数形式对彩色图像进行表征，实现了双树-四元数小波变换的离散化方法；本发明使用双树-四元数小波变换和逆变换对图像进行子带分解与重构，有效地提取出图像中的细节信息和颜色信息。

其次，本发明将双树小波框架推广到四元数域层面，解决了传统双树小波框架方法不能直接处理彩色图像这一问题。

第三，本方法在整个实施过程中始终将彩色图像的三个颜色分量作为一个整体来处理，解决了图像融合过程中出现的色彩扭曲与还原失真的问题。

最后，本发明能够充分还原彩色图像细节信息，融合图像质量高，计算速度快，可广泛应用于计算机视觉和人工智能领域。

附图说明

图1为本发明中粗尺度系数的“最大方差滤波”融合规则流程图；

图2为本发明中四元数分析滤波器组结构图；

图3为本发明中四元数综合滤波器组结构图。

具体实施方式

为了便于理解和实施本发明，现结合说明书附图和实施例对本发明的技术方案作进一步详细描述。本发明提出了一种基于双树-四元数小波变换的彩色图像融合方法，本发明所采取的技术方案如下：

步骤S1，将原始待融合的两幅彩色图像A和B分别用双四元数进行表示，使用双四元数对原始待融合彩色图像A和B进行表征的数学公式为：

f＝(f_R·i+f_G·j+f_B·k)+(f_R·i+f_G·j+f_B·k)·I

其中f_R、f_G和f_B分别为彩色图像的R、G和B颜色分量，i、j、k和I分别为双四元数的虚数单位，其运算规则为：

i²＝-1，j²＝-1，k²＝-1，I²＝-1，ij＝-ji＝k，jk＝-kj＝i，ki＝-ik＝j。

步骤S2，使用双树-四元数小波变换来分别处理步骤S1中的两幅彩色图像A和B，得到这两幅彩色图像的粗尺度和细尺度四元数值变换系数(注意，离散情形下该系数是一个矩阵)。双树-四元数小波变换的计算公式为：

c_m[n]＝<f，Ψ_m，n>

其中，

并且

和

为两个四元数值双正交小波系统所构成的一个Hilbert(希尔伯特)变换对，运算符号“<·，·>”代表四元数值内积运算，两个函数A(x)和B(x)的四元数值内积运算公式如下：

实际上，在具体的编程实现过程中是采用四元数分析滤波器组来实现双树-四元数小波变换。图2为本发明中四元数分析滤波器组结构图，注意该图为一维结构图，若要用其来处理二维图像，是通过先处理行然后再处理列的张量积形式实现的。四元数分析滤波器组由两组滤波系数构成，分别是h₀(n)，h₁(n)和g₀(n)，g₁(n)，这两组滤波系数是对偶的。需要注意的是，上述滤波系数均为长度为n的四元数值数组，在本实施例中，n的取值为10，具体如下：

h₀(n)＝(0 -0.01 0.01 0.08 0.08 -0.69 0.69 -0.08 -0.08 0)·(i+j+k)

h₁(n)＝(0 -0.08 0.08 0.69 0.69 0.08 -0.08 0.01 0.01 0)·(i+j+k)

g₀(n)＝(0 -0.08 -0.08 0.69 -0.69 0.08 0.08 0.01 -0.01 0)·(i+j+k)

g₁(n)＝(0 0.01 0.01 -0.08 0.08 0.69 0.69 0.08 -0.08 0)·(i+j+k)

如图2所示，原始待融合的彩色图像经过四元数分析滤波器组处理后得到粗尺度系数矩阵c_h(3，n)、c_g(3，n)和细尺度系数矩阵d_h(1，n)、d_g(1，n)、d_h(2，n)、d_g(2，n)、d_h(3，n)和d_g(3，n)。需要注意的是，这些粗尺度系数和细尺度系数均为四元数值的矩阵。之所以称图2所示滤波器为“四元数分析滤波器组”是因为经过该滤波器处理过的彩色图像所得到的粗尺度系数矩阵中的对应元素构成一个四元数：c_h(3，n)作为四元数的实部，c_g(3，n)作为四元数的虚部。对于细尺度系数矩阵也是如此，这里不再一一赘述。

步骤S3，对于两幅融合图像粗尺度系数矩阵中的对应系数，结合图1，采用“最大方差滤波”融合规则来得到融合图像的粗尺度系数，具体步骤(S301～S305)如下：

步骤S301，将原始待融合图像A和B通过图2所示的分析滤波器组得到粗尺度系数；

步骤S302，将步骤S301所得到的粗尺度系数进行取范数操作，得到这两幅图像的实数值系数矩阵；

步骤S303，采用方差滤波操作来处理步骤S302所得到的实数值系数矩阵，得到这两幅图像滤波系数矩阵，这里方差滤波就是逐行逐列的遍历每一个实数值系数矩阵并求其3×3邻域内元素的方差；

步骤S304，将步骤S303所得到的滤波系数矩阵对应位置元素进行比较来得到决策图；

步骤S305，根据骤S304所得到的决策图(注意，决策图是一个二值矩阵，矩阵元素的值要么为1，要么为0)，将步骤S301中两幅原始待融合图像A和B的粗尺度系数有针对性的进行取舍来得到融合图像的粗尺度系数，即决策图中的元素值为1时，将对应位置原始待融合图像A的粗尺度系数作为融合图像的粗尺度系数；决策图中的元素值为0时，将对应位置原始待融合图像B的粗尺度系数作为融合图像的粗尺度系数。

步骤S4，对于细尺度系数，采用“最大值”融合规则来得到融合图像的细尺度系数。对于每幅原始待融合图像A和B，由步骤S2可以分别得到细尺度系数d_h(1，n)、d_g(1，n)、d_h(2，n)、d_g(2，n)、d_h(3，n)和d_g(3，n)。首先比较图像A和B的细尺度系数d_h(1，n)的范数(2范数)的最大值，值大的作为融合图像的细尺度系数。采用同样的步骤来获取融合图像的其他细尺度系数。

步骤S5，对步骤S4所获取的融合图像的粗尺度系数和细尺度系数进行双树-四元数小波逆变换来得到融合后的彩色图像。其中，双树-四元数小波逆变换的计算公式为：

其中，

并且

和

分别为

和

的对偶四元数值双正交小波。在具体的编程实现过程中采用四元数综合滤波器组来实现双树-四元数小波逆变换。

图3为本发明中四元数综合滤波器组结构图，注意该图为一维结构图，若要用其来处理二维图像，也是通过先处理行然后再处理列的张量积形式实现的。四元数综合滤波器组的滤波系数是通过分析滤波系数进行四元数希尔伯特变换获得，在离散条件下，以

为例，可以由h₀(n)与1/(πn)进行卷积运算得到：

类似的，我们可以得到

和

应当说明的是，上述实施例均可根据需要自由组合。以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (5)

1.一种基于双树-四元数小波变换的彩色图像融合方法，其特征在于，具体步骤如下：

步骤S1，将原始待融合的两幅彩色图像分别用双四元数进行表示；

步骤S2，使用双树-四元数小波变换分别处理步骤S1中的两幅彩色图像，得到这两幅彩色图像的粗尺度和细尺度四元数值变换系数；

步骤S3，对于粗尺度系数，采用“最大方差滤波”融合规则来得到融合图像的粗尺度系数；

步骤S4，对于细尺度系数，采用“最大值”融合规则来得到融合图像的细尺度系数；

步骤S5，对融合图像的粗尺度系数和细尺度系数进行双树-四元数小波逆变换来得到融合后的彩色图像。

2.如权利要求1所述的基于双树-四元数小波变换的彩色图像融合方法，其特征在于：所述步骤S1中使用双四元数对原始待融合彩色图像表征的数学公式为：

f＝(f_R·i+f_G·j+f_B·k)+(f_R·i+f_G·j+f_B·k)·I

其中f_R、f_G和f_B分别为彩色图像的R、G和B颜色分量，i、j、k和I分别为双四元数的虚数单位，其运算规则为：

i²＝-1，j²＝-1，k²＝-1，I²＝-1，ij＝-ji＝k，jk＝-kj＝i，ki＝-ik＝j。

3.如权利要求1所述的基于双树-四元数小波变换的彩色图像融合方法，其特征在于：所述步骤S2中双树-四元数小波变换的计算公式为：

c_m[n]＝<f，Ψ_m，n>

其中，

并且

和

为两个四元数值双正交小波系统所构成的一个Hilbert(希尔伯特)变换对；双树-四元数小波变换是采用四元数分析滤波器组来实现的。

4.如权利要求1所述的基于双树-四元数小波变换的彩色图像融合方法，其特征在于：所述步骤S3中粗尺度系数融合规则为“最大方差滤波”，即首先对粗尺度系数进行取范数操作，然后进行方差滤波，最后对滤波结果进行取最大值来确定融合图像的粗尺度系数。

5.如权利要求1所述的基于双树-四元数小波变换的彩色图像融合方法，其特征在于：所述步骤S5中双树-四元数小波逆变换的计算公式为：

其中，

并且

和

分别为

和

的对偶四元数值双正交小波；双树-四元数小波逆变换是采用四元数综合滤波器组来实现的。

Images