CN103106647A - 基于四元数小波和区域分割的多焦点图像融合方法 - Google Patents

Abstract

基于四元数小波和区域分割的多焦点图像融合方法，本发明涉及一种图像处理领域的图像融合方法，具体涉及一种基于四元数小波和区域分割的多焦点图像融合方法。本发明是要解决现有图像融合方法结果视觉效果较差的问题，而提供了基于四元数小波变换和区域分割的多焦点图像融合方法。步骤一：对待融合多焦点图像进行四元数小波变换；步骤二：将实部-虚部表示的四元数小波系数转换为幅值-相位表示形式；步骤三：统计四元数小波相位系数的分布，计算四元数小波相位系数方差；步骤四：对四元数小波相位系数方差进行区域分割；步骤五：根据区域分割结果设计融合权重，对待融合多焦点图像进行融合。本发明应用于图像处理领域。

Description

基于四元数小波和区域分割的多焦点图像融合方法

技术领域

发明涉及一种图像处理领域的图像融合方法，具体涉及一种基于四元数小波和区域分割的多焦点图像融合方法。

背景技术

图像融合在国防系统，遥感图像，医学成像等领域已经得到了广泛的应用，它的目的就是要整合一个场景的多幅图像信息，最终得到一幅增强的组合图像，比任何一个单一的源图像含有更多信息量。多焦点图像是该领域的重要分支，在数字照相机应用中，由于光学镜头的聚焦深度限制，很难在一幅图像中聚焦所有重要的特征和目标。一个可行的解决方案就是利用多焦点图像融合技术，将不同聚焦深度的多幅图像组合到一起，获得所有相关目标均聚焦的单一图像。完美的融合结果可以通过手工描绘多幅图像的聚焦区域然后拼接到一起，这个拼接结果可以作为检验融合方法的金标准。

现有的融合方法可以归为空间域和变换域两大类。基于权重的像素融合是空间域最直接的一种融合方式，具有容易实现，包含了图像原始信息的优点，但易于造成模糊效果，对于噪声和非配准信息高度敏感。许多研究人员提出通过划分图像区域来改善融合结果，这样对图像块进行融合避免了像素融合的问题，然而却会造成图像块之间的匹配不准问题，严重影响融合图像的视觉效果，同时，分割结果的好坏会对融合结果起到非常重要的作用，而图像分割始终都是很具有挑战性的任务。变换域的方法利用多分辨率的概念，借助不同种小波各自的优势，研究人员提出了基于金字塔，离散小波，脊波，轮廓波，剪切波等变换的融合方法。多分辨率变换域内的系数代表了图像的锐利度和边缘，对于检测图像显著特征很有意义，但其和图像像素值没有一一对应关系，一个系数的改变会影响几个像素值，这样在反变换的过程中，源图像的一些信息就会损失。

四元数小波变换相比于其它多分辨率变换方法，具有优越的性质，比如系数近似移不变，相位系数提供了更丰富的图像纹理信息等。四元数小波变换提供了四元数表示的子带，它的系数可以通过代数运算转换为一个幅值和三个相位的形式——其幅值具有近似移不变特性，三个二维相位包含了描述局部二维结构的几何信息。

因为四元数小波相位系数具有纹理表示能力，所以结合四元数小波变换和区域分割的方法为多焦点图像融合提供了一种新的途径。

发明内容

本发明是要解决现有图像融合方法结果视觉效果较差的问题，而提供了基于四元数小波变换和区域分割的多焦点图像融合方法，而达到改善多焦点图像融合效果的目的。

本发明的基于四元数小波和区域分割的多焦点图像融合方法按以下步骤实现：

步骤一：对待融合多焦点图像进行四元数小波变换，得到实部-虚部表示的四元数小波系数：

q＝a+bi+cj+dk    (1)

其中：q为四元数代数符号，a为四元数实部系数，b为四元数虚部i分量系数，c为四元数虚部j分量系数，d为四元数虚部k分量系数，a，b，c，d∈R，i，j，k为三个虚部；

步骤二：将实部-虚部表示的四元数小波系数转换为幅值-相位表示形式：

q＝|q|e^iφe^kψe^jθ    (2)

其中： $\left|q\right|=\sqrt{a^2+b^2+c^2+d^2},$

相位角(φ，θ，ψ)∈[-π，π)×[-π/2，π/2)×[-π/4，π/4]，|q|为四元数的幅值，(φ，θ，ψ)为四元数的相位，e为指数符号；

步骤三：统计四元数小波相位系数的分布，计算四元数小波相位系数方差；

步骤四：对四元数小波相位系数方差进行区域分割；其中，所述区域分割是将四元数小波相位系数方差分为焦区和非焦区两个部分；

步骤五：根据区域分割结果设计融合权重，对待融合多焦点图像进行融合，将待融合多焦点图像中的聚焦信息整合到一幅图像中，即完成了基于四元数小波和区域分割的多焦点图像融合方法。

本发明效果：

本发明利用四元数小波相位系数的局部方差和区域分割的方法，有效地检测多焦点图像的聚焦区域，对聚焦区域边界的融合权重设计能够获得良好的视觉效果，包含源图像丰富的信息，与现有技术相比具有如下优点：

1)本发明所提出的多焦点图像融合方法利用四元数小波变换，具有测量稳定性，聚焦区域初步检测结果准确的优点。

2)本发明引入四元数小波变换进行多焦点图像融合，结合区域分割方法，本发明提出的聚焦区域检测方法，与其他方法相比，具有较低的复杂度和检测误差，可以准确的分割出图聚焦位置，在聚焦区域边界的融合规则设计，使得融合视觉效果很好。

附图说明

图1为基于四元数小波和区域分割的多焦点图像融合方法流程图；

图2为实施例中‘Clock’右焦点图像；

图3为实施例中‘Clock’左焦点图像；

图4为实施例中图2四元数小波相位方差比较后的聚焦区域初步结果；

图5为实施例中图4区域分割后的聚焦区域检测结果；

图6为实施例中图5应用融合权重后的结果；

图7为实施例中图2和图3的融合结果。

具体实施方式

具体实施方式一：本实施方式的基于四元数小波和区域分割的多焦点图像融合方法包括以下步骤：

步骤一：对待融合多焦点图像进行四元数小波变换，得到实部-虚部表示的四元数小波系数：

q＝a+bi+cj+dk    (1)

其中：q为四元数代数符号，a为四元数实部系数，b为四元数虚部i分量系数，c为四元数虚部j分量系数，d为四元数虚部k分量系数，a，b，c，d∈R，i，j，k为三个虚部；

步骤二：将实部-虚部表示的四元数小波系数转换为幅值-相位表示形式：

q＝|q|e^iφe^kψe^jθ    (2)

其中： $\left|q\right|=\sqrt{a^2+b^2+c^2+d^2},$

相位角(φ，θ，ψ)∈[-π，π)×[-π/2，π/2)×[-π/4，π/4]，|q|为四元数的幅值，(φ，θ，ψ)为四元数的相位，e为指数符号；

步骤三：统计四元数小波相位系数的分布，计算四元数小波相位系数方差；

步骤四：对四元数小波相位系数方差进行区域分割；其中，所述区域分割是将四元数小波相位系数方差分为焦区和非焦区两个部分；

步骤五：根据区域分割结果设计融合权重，对待融合多焦点图像进行融合，将待融合多焦点图像中的聚焦信息整合到一幅图像中，即完成了基于四元数小波和区域分割的多焦点图像融合方法。

本实施方式中，步骤一中：

待融合图像的解析形式由图像本身f(x，y)和其部分希尔伯特变换(H₁，H₂)和完全希尔伯特变换(H_T)构成，

f_A(x，y)＝f(x，y)+iH₁(f(x，y))+jH₂(f(x，y))+kH_T(f(x，y))    (9)；

其中，i，j，k是四元数的三个虚部，f_A(x，y)即由四元数构造的多焦点图像的解析形式，这样的解析形式能够挖掘出图像的局部结构特征；

二维希尔伯特变换等价于对矩阵的行和列分别做一维的希尔伯特变换，对于二维可分小波ψ(x，y)，即ψ(x，y)＝ψ_h(x)ψ_h(y)，考虑到小波函数ψ_h和ψ_g和尺度方程

和

是一维希尔伯特变换对，即(ψ_h，ψ_g＝Hψ_h)，

二维四元数小波可以记作可分小波乘积的形式：

ψ^D＝ψ_h(x)ψ_h(y)+iψ_g(x)ψ_h(y)+jψ_h(x)ψ_g(y)+kψ_g(x)ψg(y)   (13)；

通过对图像和公式(10)～(13)进行卷积，就可以得到图像的四元数小波系数；其中，ψ(x，y)为二维小波滤波器，

为四元数小波低频系数，ψ^H为四元数小波水平分量系数，ψ^V为四元数小波垂直分量系数，ψ^D为四元数小波对角分量系数；

本实施方式步骤二中：将实部-虚部表示的四元数小波系数转换为幅值-相位表示形式，相位可以表示出图像的纹理信息，用于判断图像局部聚焦情况。

本实施方式效果：

本实施方式利用四元数小波相位系数的局部方差和区域分割的方法，有效地检测多焦点图像的聚焦区域，对聚焦区域边界的融合权重设计能够获得良好的视觉效果，包含源图像丰富的信息，与现有技术相比具有如下优点：

1)本实施方式发明所提出的多焦点图像融合方法利用四元数小波变换，具有测量稳定性，聚焦区域初步检测结果准确的优点。

2)本实施方式引入四元数小波变换进行多焦点图像融合，结合区域分割方法，本实施方式提出的聚焦区域检测方法，与其他方法相比，具有较低的复杂度和检测误差，可以准确的分割出图聚焦位置，在聚焦区域边界的融合规则设计，使得融合视觉效果很好。

具体实施方式二：本实施方式与具体实施方式一不同的是：步骤二中，相位角(φ，θ，ψ)的计算步骤如下：

1)首先将四元数代数符号q归一化为单位四元数，即模值为1；

2)计算ψ： $\mathrm{\ψ}=-\frac{\arcsin \left(2(\mathrm{bc}-\mathrm{ad})\right)}{2}---\left(3\right);$

3)计算φ和θ：如果ψ∈(-π/4，π/4)，那么 $\left\{\begin{array}{c}\mathrm{\φ}=\frac{{\arg }_i\left(\mathrm{q\β}\left(\stackrel{\‾}{q}\right)\right)}{2}\\ \mathrm{\θ}=\frac{{\arg }_j\left(\mathrm{\α}\left(\stackrel{\‾}{q}\right)q\right)}{2}\end{array}\right.---\left(4\right);$

否则， $\left\{\begin{array}{c}\mathrm{\φ}=0\\ \mathrm{\θ}=\frac{{\arg }_j\left(\mathrm{\γ}\left(\stackrel{-}{q}\right)q\right)}{2}\end{array}\right.---\left(5\right)$

或者 $\left\{\begin{array}{c}\mathrm{\θ}=0\\ \mathrm{\φ}=\frac{{\arg }_i\left(\mathrm{q\γ}\left(\stackrel{-}{q}\right)\right)}{2}\end{array}\right.---\left(6\right)$

其中， $\stackrel{\‾}{q}=a-\mathrm{bi}-\mathrm{cj}-\mathrm{dk},$ $\left\{\begin{array}{c}{\arg }_i\left(q\right)={\tan }^{-1}(b/a)\\ {\arg }_j\left(q\right)={\tan }^{-1}(c/a)\\ {\arg }_k\left(q\right)={\tan }^{-1}(d/a)\end{array}\right.,$ $\left\{\begin{array}{c}\mathrm{\α}\left(q\right)=-\mathrm{iqi}=a+\mathrm{bi}-\mathrm{cj}-\mathrm{dk}\\ \mathrm{\β}\left(q\right)=-\mathrm{jqj}=a-\mathrm{bi}+\mathrm{cj}-\mathrm{dk}\\ \mathrm{\γ}\left(q\right)=-\mathrm{kqk}=a-\mathrm{bi}-\mathrm{cj}+\mathrm{dk}\end{array}\right.;$

4)如果e^iφe^kψe^jθ＝-q，需要调整φ：如果φ≥0，φ→φ-π；如果φ＜0，φ→φ+π。

其它步骤及参数与具体实施方式一相同。

具体实施方式三：本实施方式与具体实施方式一或二不同的是：步骤三中，四元数小波相位系数方差σ的计算公式为：

其中，x为四元数小波相位系数，μ为四元数小波系数相位均值，N为四元数小波相位系数的个数，下表i标注系数索引。其它步骤及参数与具体实施方式一或二相同。

具体实施方式四：本实施方式与具体实施方式一至三之一不同的是：步骤四中，焦区和非焦区两个部分判定算子定义为：

值越小，代表图像越模糊，属于非焦区，值越大，代表图像越清晰，即值较大时，属于焦区位置；

其中，h表示高频，σ是局部窗口内的四元数小波相位系数方差，下标(h1，h2)相应地表示四元数小波相位的水平和垂直分量索引。其它步骤及参数与具体实施方式一至三之一相同。

具体实施方式五：本实施方式与具体实施方式一至四之一不同的是：步骤四中区域分割方法是基于待融合多焦点图像像素点的集合由权重图G来描述的，图的节点即待融合多焦点图像的像素点，每一对节点之间由边缘连接，每一个边缘处的权重W(i，j)表示节点i和j的相似性，通过切断连接两部分的边缘将权重图G＝(V，E)分割成非连接的点集A和B。其它步骤及参数与具体实施方式一至四之一相同。

具体实施方式六：本实施方式与具体实施方式一至五之一不同的是：步骤五中，假设待融合多焦点图像I₁的区域分割结果为聚焦区域A₁和非聚焦区域B₁，A₁与B₁的连接处为C₁，A₁∪B₁∪C₁＝I₁且那么对于待融合多焦点图像I₁的融合权重R₁为：

$R_1(i,j)=\left\{\begin{array}{cc}1,& (i,j)\∈A_1\\ \frac{\mathrm{SF}\left[{{\mathrm{\Ω}}_I}_1(i,j)\right]}{\mathrm{SF}\left[{{\mathrm{\Ω}}_I}_1(i,j)\right]+\mathrm{SF}[{{\mathrm{\Ω}}_I}_2(i,j)},& (i,j)\∈C_1\\ 0,& (i,j)\∈B_1\end{array}\right.---\left(8\right)$

其中，(i，j)表示四元数的相位位置，Ω(i，j)表示以(i，j)为中心的局部窗口，大小为M×N， $\mathrm{SF}\left[\mathrm{\Ω}(i,j)\right]=\sqrt{{\left(\mathrm{RF}\right[\mathrm{\Ω}(i,j)\left]\right)}^2+{\left(\mathrm{CF}\right[\mathrm{\Ω}(i,j)\left]\right)}^2},$ RF为行频率，CF为列频率，

$\mathrm{RF}\left[\mathrm{\Ω}(i,j)\right]=\sqrt{\frac{1}{M\×N}\underset{x=1}{\overset{M}{\mathrm{\Σ}}}\underset{y=2}{\overset{N}{\mathrm{\Σ}}}{[I(x,y)-I(x,y-1)]}^2}$

$\mathrm{CF}\left[\mathrm{\Ω}(i,j)\right]=\sqrt{\frac{1}{M\×N}\underset{x=2}{\overset{M}{\mathrm{\Σ}}}\underset{y=1}{\overset{N}{\mathrm{\Σ}}}{[I(x,y)-I(x-1,y)]}^2}$

(x，y)是局部窗口Ω(i，j)内部的像素坐标；

最终的多焦点图像融合结果F为F(i，j)＝R₁(i，j)×I₁+(1-R₁(i，j))×I₂。其它步骤及参数与具体实施方式一至五之一相同。

实施例：

结合图1～7通过标准测试图像仿真实施例验证本发明有益效果：

执行步骤一：对清晰图像和其模糊后的图像进行四元数小波变换，得到实部-虚部表示的四元数小波系数；

执行步骤二：将步骤一得到的实部-虚部表示的四元数小波系数图像转换为幅值-相位表示形式；

执行步骤三：计算图像局部窗口分布方差：

将多焦点图像划分为覆盖一个像素的9*9窗口，计算窗口内的相位系数方差；

执行步骤四：比较多焦点图像局部相位方差大小，对初步聚焦区域检测结果进行区域分割。

执行步骤五：按照设计的权重规则，对多焦点图像进行融合。

以图2和图3为例，图像分辨率为256*256，图2为右焦点图像，图3为左焦点图像；

图2和图3的相位方差比较后的结果见图4，图4对应于图2检测到的聚焦区域，图5为区域分割后的结果；

按照权重规则计算后的结果见图6，最终融合结果见7，融合结果包含了多焦点图像图2和图3的显著特征；

将图2的右侧和图3的左侧时钟组合起来的图像即理想的融合结果，能够包含两幅图像的显著特征信息。

Claims (6)

1.基于四元数小波和区域分割的多焦点图像融合方法，其特征在于所述方法包括如下步骤：

步骤一：对待融合多焦点图像进行四元数小波变换，得到实部-虚部表示的四元数小波系数：

q＝a+bi+cj+dk    (1)

其中：q为四元数代数符号，a为四元数实部系数，b为四元数虚部i分量系数，c为四元数虚部j分量系数，d为四元数虚部k分量系数，a，b，c，d∈R，i，j，k为三个虚部；

步骤二：将实部-虚部表示的四元数小波系数转换为幅值-相位表示形式：

q＝|q|e^iφe^kψe^jθ    (2)

其中： $\left|q\right|=\sqrt{a^2+b^2+c^2+d^2},$

相位角(φ，θ，ψ)∈[-π，π)×[-π/2，π/2)×[-π/4，π/4]，|q|为四元数的幅值，(φ，θ，ψ)为四元数的相位，e为指数符号；

步骤三：统计四元数小波相位系数的分布，计算四元数小波相位系数方差；

步骤四：对四元数小波相位系数方差进行区域分割；其中，所述区域分割是将四元数小波相位系数方差分为焦区和非焦区两个部分；

步骤五：根据区域分割结果设计融合权重，对待融合多焦点图像进行融合，将待融合多焦点图像中的聚焦信息整合到一幅图像中，即完成了基于四元数小波和区域分割的多焦点图像融合方法。

2.根据权利要求1所述的基于四元数小波和区域分割的多焦点图像融合方法，其特征在于所述步骤二中，相位角(φ，θ，ψ)的计算步骤如下：

1)首先将四元数代数符号q归一化为单位四元数，即模值为1；

2)计算ψ： $\mathrm{\ψ}=-\frac{\arcsin \left(2(\mathrm{bc}-\mathrm{ad})\right)}{2}---\left(3\right);$

3)计算φ和θ：如果ψ∈(-π/4，π/4)，那么 $\left\{\begin{array}{c}\mathrm{\φ}=\frac{{\arg }_i\left(\mathrm{q\β}\left(\stackrel{\‾}{q}\right)\right)}{2}\\ \mathrm{\θ}=\frac{{\arg }_j\left(\mathrm{\α}\left(\stackrel{\‾}{q}\right)q\right)}{2}\end{array}\right.---\left(4\right);$

否则， $\left\{\begin{array}{c}\mathrm{\φ}=0\\ \mathrm{\θ}=\frac{{\arg }_j\left(\mathrm{\γ}\left(\stackrel{-}{q}\right)q\right)}{2}\end{array}\right.---\left(5\right)$

或者 $\left\{\begin{array}{c}\mathrm{\θ}=0\\ \mathrm{\φ}=\frac{{\arg }_i\left(\mathrm{q\γ}\left(\stackrel{-}{q}\right)\right)}{2}\end{array}\right.---\left(6\right)$

其中， $\stackrel{\‾}{q}=a-\mathrm{bi}-\mathrm{cj}-\mathrm{dk},$ $\left\{\begin{array}{c}{\arg }_i\left(q\right)={\tan }^{-1}(b/a)\\ {\arg }_j\left(q\right)={\tan }^{-1}(c/a)\\ {\arg }_k\left(q\right)={\tan }^{-1}(d/a)\end{array}\right.,$ $\left\{\begin{array}{c}\mathrm{\α}\left(q\right)=-\mathrm{iqi}=a+\mathrm{bi}-\mathrm{cj}-\mathrm{dk}\\ \mathrm{\β}\left(q\right)=-\mathrm{jqj}=a-\mathrm{bi}+\mathrm{cj}-\mathrm{dk}\\ \mathrm{\γ}\left(q\right)=-\mathrm{kqk}=a-\mathrm{bi}-\mathrm{cj}+\mathrm{dk}\end{array}\right.;$

4)如果e^iφe^kψe^jθ＝-q，需要调整φ：如果φ≥0，φ→φ-π；如果φ＜0，φ→φ+π。

3.根据权利要求1所述的基于四元数小波和区域分割的多焦点图像融合方法，其特征在于所述步骤三中，

四元数小波相位系数方差σ的计算公式为：

其中，x为四元数小波相位系数，μ为四元数小波系数相位均值，N为四元数小波相位系数的个数，下表i标注系数索引。

4.根据权利要求1所述的基于四元数小波和区域分割的多焦点图像融合方法，其特征在于所述步骤四中，焦区和非焦区两个部分判定算子定义为：

值越小，代表图像越模糊，属于非焦区，值越大，代表图像越清晰，即值较大时，属于焦区位置；

其中，h表示高频，σ是局部窗口内的四元数小波相位系数方差，下标(h1，h2)相应地表示四元数小波相位的水平和垂直分量索引。

5.根据权利要求1所述的基于四元数小波和区域分割的多焦点图像融合方法，其特征在于所述步骤四中区域分割方法是基于待融合多焦点图像像素点的集合由权重图G来描述的，图的节点即待融合多焦点图像的像素点，每一对节点之间由边缘连接，每一个边缘处的权重W(i，j)表示节点i和j的相似性，通过切断连接两部分的边缘将权重图G＝(V，E)分割成非连接的点集A和B。

6.根据权利要求1所述的基于四元数小波和区域分割的多焦点图像融合方法，其特征在于所述步骤五中，假设待融合多焦点图像I₁的区域分割结果为聚焦区域A₁和非聚焦区域B₁，A₁与B₁的连接处为C₁，A₁∪B₁∪C₁＝I₁且

那么对于待融合多焦点图像I₁的融合权重R₁为：

$R_1(i,j)=\left\{\begin{array}{cc}1,& (i,j)\∈A_1\\ \frac{\mathrm{SF}\left[{{\mathrm{\Ω}}_I}_1(i,j)\right]}{\mathrm{SF}\left[{{\mathrm{\Ω}}_I}_1(i,j)\right]+\mathrm{SF}[{{\mathrm{\Ω}}_I}_2(i,j)},& (i,j)\∈C_1\\ 0,& (i,j)\∈B_1\end{array}\right.---\left(8\right)$

其中，(i，j)表示四元数的相位位置，Ω(i，j)表示以(i，j)为中心的局部窗口，大小为M×N， $\mathrm{SF}\left[\mathrm{\Ω}(i,j)\right]=\sqrt{{\left(\mathrm{RF}\right[\mathrm{\Ω}(i,j)\left]\right)}^2+{\left(\mathrm{CF}\right[\mathrm{\Ω}(i,j)\left]\right)}^2},$ RF为行频率，CF为列频率，

$\mathrm{RF}\left[\mathrm{\Ω}(i,j)\right]=\sqrt{\frac{1}{M\×N}\underset{x=1}{\overset{M}{\mathrm{\Σ}}}\underset{y=2}{\overset{N}{\mathrm{\Σ}}}{[I(x,y)-I(x,y-1)]}^2}$

$\mathrm{CF}\left[\mathrm{\Ω}(i,j)\right]=\sqrt{\frac{1}{M\×N}\underset{x=2}{\overset{M}{\mathrm{\Σ}}}\underset{y=1}{\overset{N}{\mathrm{\Σ}}}{[I(x,y)-I(x-1,y)]}^2}$

(x，y)是局部窗口Ω(i，j)内部的像素坐标；

最终的多焦点图像融合结果F为F(i，j)＝R₁(i，j)×I₁+(1-R₁(i，j))×I₂。

Images