CN103186894B - 一种自适应分块的多聚焦图像融合方法 - Google Patents

Abstract

本发明一种自适应分块的多聚焦图像融合方法，对预分割后的图像块的灰度共生矩阵的标准偏差进行判断，将标准偏差相同的图像块写入融合结果图，对标准偏差不同的图像块进行自适应细分割，当细分次数达到三次后，仍存在标准偏差不相同的子图像块，再利用基于偏差中值的融合方法对标准偏差不同的子图像块进行融合，并将融合结果写入融合结果图。该方法可以有效地解决固定尺寸分块方法中的像素清晰度误判问题，从而得到更加理想的融合结果图像。

Description

一种自适应分块的多聚焦图像融合方法

技术领域

本发明属于图像融合技术领域，特别是一种自适应分块的多聚焦图像融合方法。

背景技术

为了对同一场景的所有物体进行图像描述，可以采用多次不同焦距拍摄的方法，从而获得多个焦距不同的图像，把获得的这些图像融合成一幅图，保留每一幅图像中清晰的部分，该项技术称为多聚焦图像融合技术。多聚焦图像融合技术能够有效利用同一场景中不同拍摄焦距取得的多幅图像，得到一幅综合所有聚焦点的清晰的融合图像。并且，融合图像具有信息量大、目标细节丰富等特点。

多聚焦图像融合方法，从采用的数学方法角度可以大致分为：加权平均法、逻辑滤波器法、数学形态法、模拟退火法、图像代数法、金字塔图像融合法、小波变换图像融合法等等。这些融合方法都是能够取得良好的融合结果，但是多聚焦图像的融合又具有它自己的特点，比如图像中存在许多公共区域，而这些公共区域是不需要做出融合计算的，根据多聚焦图像的这一特点，提出一种基于像素块相似矩阵的自适应融合方法，以提高融合的效率，改善融合效果。

敬忠良等公开的发明专利“基于块分割的多聚焦图像融合方法”(专利号：02137055.9)中，在将多聚焦输入原图像分割成若干个大小相等的块区域的基础上，对每个块区域求取其局部对比度来反映图像聚焦清晰区域与聚焦模糊区域之间的差异。利用块区域局部对比度将整个图像划分成清晰区域和模糊区域，再与清晰区域与模糊区域相邻的所有块区域划分为边界区域，得到图像的三个不同的区域划分并以图像区域标记图的形式进行表示。对于清晰区域和模糊区域，直接选取清晰块区域作为融合后的相应块区域，对于边界区域，采用基于对比度的像素选取融合方法进行融合处理。上述发明达到了多聚焦图像的融合目的，分割块来进行融合的方法在多聚焦图像融合中是非常有意义的，但是块的分割大小是固定的，并且每个块上都要计算对比度，这无疑增加了算法的运行时间。

发明内容

本发明所解决的技术问题在于提供一种自适应分块的多聚焦图像融合方法。

为解决上述技术问题，本发明一种自适应分块的多聚焦图像融合方法，包括以下步骤：

步骤1、分别将两幅大小一样的待融合源图A和B预分割成若干个大小相同的图像块；

步骤2、分别确定待融合源图A和B中的每个图像块的灰度共生矩阵，并计算每个图像块的灰度共生矩阵的标准偏差；

步骤3、构建与待融合源图A和B大小相同的空白融合结果图，并将步骤2中标准偏差结果相同的两个图像块中的任意一个图像块写入融合结果图的对应位置；

步骤4、分别对待融合源图A和B中标准偏差结果不同的图像块进行细分割得到若干个子图像块，重新计算每个子图像块的灰度共生矩阵的标准偏差，若待融合源图A和B中对应位置的两个子图像块的灰度共生矩阵的标准偏差均相同，则将对应位置的两个子图像块中的任意一个子图像块写入融合结果图的对应位置完成融合；否则执行步骤5；

步骤5、继续对标准偏差不相同的子图像块进行细分割并继续判断对应位置的子图像块的灰度共生矩阵的标准偏差是否均相同，若相同则完成融合，否则继续执行本步骤直至细分割次数达到3次为止；此时，若仍然存在对应位置的子图像块的灰度共生矩阵的标准偏差不相同，则执行步骤6；

步骤6、利用基于偏差中值的融合方法对步骤5中灰度共生矩阵的标准偏差仍不相同的子图像块进行融合，将融合结果写入融合结果图。

进一步地优选方案，本发明自适应分块的多聚焦图像融合方法中，所述步骤2中，确定待融合源图A和B中的每个图像块的灰度共生矩阵，并计算每个图像块的灰度共生矩阵的标准偏差，具体为：

A、确定待融合源图A和B中的每个图像块的灰度共生矩阵：

步骤A1、构建一个256×256的矩阵；

步骤A2、对于步骤A1所述的矩阵中坐标为(x，y)（x=1,2,…,256，y=1,2,…,256）的元素，分别判断待融合源图A、B中的每个图像块中是否存在灰度值分别为x-1、y-1的两个不同的像素点，如存在，则将该元素的值赋为1；如不存在，则赋值为0；最终得到的矩阵即为每个图像块的灰度共生矩阵；

B、根据下式计算灰度共生矩阵的标准偏差σ：

$\mathrm{\σ}={\left[\frac{\underset{{\∀d}_2}{\mathrm{\Σ}}{(d_2-\⟨d_2\⟩)}^{2}G(d_1,d_2){|}_{d_1}}{\underset{{\∀d}_2}{\mathrm{\Σ}}G(d_1,d_2){|}_{d_1}}\right]}^{\frac{1}{2}}$

其中，G(d₁,d₂)表示矩阵中坐标为(d₁,d₂)的元素值。

进一步地优选方案，本发明自适应分块的多聚焦图像融合方法中，所述步骤4中，对标准偏差结果不同的图像块进行细分割的具体步骤如下：

（1）将待融合源图A和B中标准偏差结果不同的图像块，分别按照图像块左上角的像素点在待融合源图A、待融合源图B中的位置来排序；

（2）先细分割位置接近待融合源图A和B边缘的图像块，即图像块左上角像素点的行号最小和最大的图像块以及图像块左上角像素的列号最小和最大的图像块；细分方法则为左上角像素点的行号最小的图像块及左上角像素点的列号最小的图像块从待融合源图A和B的左上角来递行递列减少图像块的大小；左上角像素点的行号最大的图像块及左上角像素点的列号最大的图像块从待融合源图A和B的右下角来递行递列减少图像块的大小。

进一步地优选方案，本发明自适应分块的多聚焦图像融合方法中，所述步骤6中利用基于偏差中值的融合方法对步骤5中灰度共生矩阵的标准偏差仍不相同的子图像块进行融合，具体利用下式进行融合：

$F(i,j)=\left\{\begin{array}{cc}\frac{S1(i,j)-{S1}_{\min }}{{S1}_{\max }-{S1}_{\min }}\&CenterDot;S2(i,j)& A<\mathrm{Band}\frac{A}{A_m}>\frac{B}{B_m}\\ S1(i,j)& A>B\\ \frac{S2(i,j)-{S2}_{\min }}{{S2}_{\max }-{S2}_{\min }}\&CenterDot;S1(i,j)& A>\mathrm{Band}\frac{A}{A_m}<\frac{B}{B_m}\\ S2(i,j)& A<B\\ S2(i,j)& \mathrm{others}\end{array}\right.$

式中，F(i,j)为融合图像；S1(i,j)为待融合源图A；S1_min为待融合源图A块内灰度最小值；S1_max为待融合源图A块内灰度最大值；S2(i,j)为待融合源图B；S2_min为待融合源图B块内灰度最小值；S2_max为待融合源图B块内灰度最大值；A为待融合源图A的块内偏差中值；A_m为待融合源图A的块内偏差最大值；B为待融合源图B的块内偏差中值；B_m为待融合源图B的块内偏差最大值。

本发明与现有技术相比，其显著优点：本发明提出的自适应分块方法可以有效地解决固定尺寸分块方法中的像素清晰度误判问题，从而得到更加理想的融合结果图像，克服了现有技术中通过固定尺寸的分块方法只能判断整个图像块是否清晰，而将图像块内部仍为清晰的一些像素判断为不清晰，这样的图像块进行融合后，会使得那些原本清晰的像素部分变得模糊，而使融合结果图像的质量下降的缺陷。

下面结合附图对本发明作进一步详细描述。

附图说明

图1为自适应分块的示意图；

图2（a）为聚焦图像块；图2（b）聚焦图像块的灰度相似矩阵二维图；

图3（a）为非聚焦图像块；图3（b）非聚焦图像块的灰度相似矩阵二维图；

图4为聚焦图像块的标准偏差分布示意图；

图5为非聚焦图像块的标准偏差分布示意图；

图6（a）、图6（b）分别为待融合源图1和2；图6（c）、图6（d）分别为采用本专利融合结果图和基于小波融合结果图；

图7（a）、图7（b）分别为待融合源图3和4；图7（c）、图7（d）分别为采用本专利融合结果图和基于小波融合结果图；

图8（a）、图8（b）分别为待融合源图5和6；图8（c）、图8（d）分别为采用本专利融合结果图和基于小波融合结果图；

图9（a）、图9（b）分别为待融合源图7和8；图9（c）、图9（d）分别为采用本专利融合结果图和基于小波融合结果图；

具体实施方式

本发明一种自适应分块的多聚焦图像融合方法，包括以下步骤：

步骤1、分别将两幅大小一样的待融合源图A和B预分割成若干个大小相同的图像块；

步骤2、分别确定待融合源图A和B中的每个图像块的灰度共生矩阵，并计算每个图像块的灰度共生矩阵的标准偏差，具体为：

A、确定待融合源图A和B中的每个图像块的灰度共生矩阵：

步骤A1、构建一个256×256的矩阵；

步骤A2、对于步骤A1所述的矩阵中坐标为(x，y)（x=1,2,…,256，y=1,2,…,256）的元素，分别判断待融合源图A、B中的每个图像块中是否存在灰度值分别为x-1、y-1的两个不同的像素点，如存在，则将该元素的值赋为1；如不存在，则赋值为0；最终得到的矩阵即为每个图像块的灰度共生矩阵；

B、根据下式计算灰度共生矩阵的标准偏差σ：

$\mathrm{\&sigma;}=\&lsqb;\frac{\underset{\&ForAll;d_2}{\mathrm{\&Sigma;}}{(d_2-\&lang;d_2\&rang;)}^{2}G(d_2,d_2){|}_{d_1}}{\underset{\&ForAll;d_2}{\mathrm{\&Sigma;}}G(d_1,d_2){|}_{d_1}}{\&rsqb;}^{\frac{1}{2}}$

其中，G(d₁,d₂)表示矩阵中坐标为(d₁,d₂)的元素值；

步骤3、构建与待融合源图A和B大小相同的空白融合结果图，并将步骤2中标准偏差结果相同的两个图像块中的任意一个图像块写入融合结果图的对应位置；

步骤4、分别对待融合源图A和B中标准偏差结果不同的图像块进行细分割得到若干个子图像块，重新计算每个子图像块的灰度共生矩阵的标准偏差，若待融合源图A和B中对应位置的两个子图像块的灰度共生矩阵的标准偏差均相同，则将对应位置的两个子图像块中的任意一个子图像块写入融合结果图的对应位置完成融合；否则执行步骤5；其中，如图1所示，对标准偏差结果不同的图像块进行细分割的具体步骤如下：

（1）将待融合源图A和B中标准偏差结果不同的图像块，分别按照图像块左上角的像素点在待融合源图A、待融合源图B中的位置来排序；

（2）先细分割位置接近待融合源图A和B边缘的图像块，即图像块左上角像素点的行号最小和最大的图像块以及图像块左上角像素的列号最小和最大的图像块；细分方法则为左上角像素点的行号最小的图像块及左上角像素点的列号最小的图像块从待融合源图A和B的左上角来递行递列减少图像块的大小；左上角像素点的行号最大的图像块及左上角像素点的列号最大的图像块从待融合源图A和B的右下角来递行递列减少图像块的大小；

其中，细分过程详述如下：设图像的中心点的行号和列号分别为(i,j)；图像块左上角像素的列号和行号分别为(i_x，j_x),图像块的大小为k×k。若i_x<i，j_x<j的图像块细分时，将待分图像块中的i_x行和j_x列分为一块，另一块则为以(i_x+1，j_x+1)为左上角像素的图像块；继续分时则将待分图像块中的i_x+1行和j_x+1列分为一块，另一块则为以(i_x+2，j_x+2)为左上角像素的图像块；第三次细分则将待分图像块中的i_x+2行和j_x+2列分为一块，另一块则为以(i_x+3，j_x+3)为左上角像素的图像块。若i_x>i，j_x<j的图像块细分时，将待分图像块中的i_x+k-1行和j_x列分为一块，另一块则为以(i_x，j_x+1)为左上角像素的图像块；继续分时则将待分图像块中的i_x+k-2行和j_x+1列分为一块，另一块则为以(i_x，j_x+2)为左上角像素的图像块；第三次细分则将待分图像块中的i_x+k-3行和j_x+2列分为一块，另一块则为以(i_x，j_x+3)为左上角像素的图像块。若i_x>i，j_x>j的图像块细分时，将待分图像块中的i_x+k-1行和j_x+k-1列分为一块，另一块则为以(i_x，j_x)为左上角像素的图像块；继续分时则将待分图像块中的i_x+k-2行和j_x+k-2列分为一块，另一块则为以(i_x，j_x)为左上角像素的图像块；第三次细分则将待分图像块中的i_x+k-3行和j_x+k-3列分为一块，另一块则为以(i_x，j_x)为左上角像素的图像块。若i_x<i，j_x>j的图像块细分时，将待分图像块中的i_x行和j_x+k-1列分为一块，另一块则为以(i_x+1，j_x)为左上角像素的图像块；继续分时则将待分图像块中的i_x+1行和j_x+k-2列分为一块，另一块则为以(i_x+2，j_x)为左上角像素的图像块；第三次细分则将待分图像块中的i_x+2行和j_x+k-3列分为一块，另一块则为以(i_x+3，j_x)为左上角像素的图像块。

步骤5、继续对不相同的子图像块进行细分割并继续判断对应位置的子图像块的灰度共生矩阵的标准偏差是否均相同，若相同则完成融合，否则继续执行本步骤直至细分割次数达到3次为止；此时，若仍然存在对应位置的子图像块的灰度共生矩阵的标准偏差不相同，则执行步骤6；

步骤6、利用基于偏差中值的融合方法对步骤5中灰度共生矩阵的标准偏差仍不相同的子图像块进行融合，将融合结果写入融合结果图，具体利用下式进行融合：

$F(i,j)=\left\{\begin{array}{cc}\frac{S1(i,j)-{S1}_{\min }}{{S1}_{\max }-{S1}_{\min }}\&CenterDot;S2(i,j)& A<\mathrm{Band}\frac{A}{A_m}>\frac{B}{B_m}\\ S1(i,j)& A>B\\ \frac{S2(i,j)-{S2}_{\min }}{{S2}_{\max }-{S2}_{\min }}\&CenterDot;S1(i,j)& A>\mathrm{Band}\frac{A}{A_m}<\frac{B}{B_m}\\ S2(i,j)& A<B\\ S2(i,j)& \mathrm{others}\end{array}\right.$

式中，F(i,j)为融合图像；S1(i,j)为待融合源图A；S1_min为待融合源图A块内灰度最小值；S1_max为待融合源图A块内灰度最大值；S2(i,j)为待融合源图B；S2_min为待融合源图B块内灰度最小值；S2_max为待融合源图B块内灰度最大值；A为待融合源图A的块内偏差中值；A_m为待融合源图A的块内偏差最大值；B为待融合源图B的块内偏差中值；B_m为待融合源图B的块内偏差最大值。

如图2（a）、图2（b）、图3（a）和图3（b）所示，从灰度级的分布范围来看，灰度分布比较分散，散布的范围宽，正好对应了清晰的图像；灰度分布比较集中，散布的范围窄，也对应了非清晰的图像。

如图4、图5所示，聚焦图像块灰度共生矩阵的标准偏差值与非聚焦图像块灰度共生矩阵的标准偏差值相差非常悬殊，标准偏差值体现了图像的聚焦情况，可以作为分块及融合依据。

对图6（a）和图6(b)、图7（a）和图7（b）、图8(a)和图8（b）、图9(a)和图9（b）中四组图像进行融合，初始分块大小为32×32，融合结果如图6（c）、图7（c）、图8（c）、图9（c）所示，为了方便我们对分块图像融合的结果进行比较，同时也给出了基于小波变换的融合结果，如图6（d）、图7（d）、图8（d）、图9（d）所示。表1给出了相应的融合结果的客观评价，评价结果表明，基于块灰度相似矩阵的自适应分块融合结果优于基于小波变换的融合结果。

从图6（c）和图6（d）可以看出，图6(d)的融合图片有些模糊，而在图6(c)中却很清晰。如图7（c）和图7(d)所示，自适应分块的融合结果就比较清晰，能够将两幅源图像中的清晰部分集成在一幅图像中。而基于小波的融合结果显示，两个部分都出现模糊，效果不怎么理想。如图8(c)所示，本文方法的融合结果能看清蘑菇的纹理，小波融合结果看起来稍微模糊。而在图9（c）、图9（d）中，可以看出两种方法都存在一点小小的模糊。

表1如下：

Claims (3)

1.一种自适应分块的多聚焦图像融合方法，其特征在于，包括以下步骤：

步骤1、分别将两幅大小一样的待融合源图A和B预分割成若干个大小相同的图像块；

步骤2、分别确定待融合源图A和B中的每个图像块的灰度共生矩阵，并计算每个图像块的灰度共生矩阵的标准偏差；

步骤3、构建与待融合源图A和B大小相同的空白融合结果图，并将步骤2中标准偏差结果相同的两个图像块中的任意一个图像块写入融合结果图的对应位置；

步骤4、分别对待融合源图A和B中标准偏差结果不同的图像块进行细分割得到若干个子图像块，重新计算每个子图像块的灰度共生矩阵的标准偏差，若待融合源图A和B中对应位置的两个子图像块的灰度共生矩阵的标准偏差均相同，则将对应位置的两个子图像块中的任意一个子图像块写入融合结果图的对应位置完成融合；否则执行步骤5；其中，对标准偏差结果不同的图像块进行细分割的具体步骤如下：

(1)将待融合源图A和B中标准偏差结果不同的图像块，分别按照图像块左上角的像素点在待融合源图A、待融合源图B中的位置来排序；

(2)先细分割位置接近待融合源图A和B边缘的图像块，即图像块左上角像素点的行号最小和最大的图像块以及图像块左上角像素的列号最小和最大的图像块；细分方法则为左上角像素点的行号最小的图像块及左上角像素点的列号最小的图像块从待融合源图A和B的左上角来递行递列减少图像块的大小；左上角像素点的行号最大的图像块及左上角像素点的列号最大的图像块从待融合源图A和B的右下角来递行递列减少图像块的大小；

步骤5、继续对标准偏差不相同的子图像块进行细分割并继续判断对应位置的子图像块的灰度共生矩阵的标准偏差是否均相同，若相同则完成融合，否则继续执行本步骤直至细分割次数达到3次为止；此时，若仍然存在对应位置的子图像块的灰度共生矩阵的标准偏差不相同，则执行步骤6；

步骤6、利用基于偏差中值的融合方法对步骤5中灰度共生矩阵的标准偏差仍不相同的子图像块进行融合，将融合结果写入融合结果图。

2.根据权利要求1所述的自适应分块的多聚焦图像融合方法，其特征在于，

所述步骤2中，确定待融合源图A和B中的每个图像块的灰度共生矩阵，并计算每个图像块的灰度共生矩阵的标准偏差，具体为：

A、确定待融合源图A和B中的每个图像块的灰度共生矩阵：

步骤A1、构建一个256×256的矩阵；

步骤A2、对于步骤A1所述的矩阵中坐标为(x，y)，其中

x＝1,2,…,256，y＝1,2,…,256的元素，分别判断待融合源图A、B中每一个图像块中是否存在灰度值分别为x-1、y-1的两个不同的像素点，如存在，则将该元素的值赋为1；如不存在，则赋值为0；最终得到的矩阵即为每个图像块的灰度共生矩阵；

B、根据下式计算灰度共生矩阵的标准偏差σ：

$\mathrm{\&sigma;}={\left[\frac{\underset{\&ForAll;d_2}{\mathrm{\&Sigma;}}{(d_2-<d_2>)}^{2}G(d_1,d_2){|}_{d_1}}{\underset{\&ForAll;d_2}{\mathrm{\&Sigma;}}G(d_1,d_2){|}_{d_1}}\right]}^2$

其中，G(d₁,d₂)表示矩阵中坐标为(d₁,d₂)的元素值。

3.根据权利要求1所述的自适应分块的多聚焦图像融合方法，其特征在于，

所述步骤6中利用基于偏差中值的融合方法对步骤5中灰度共生矩阵的标准偏差仍不相同的子图像块进行融合，具体利用下式进行融合：

$F(i,j)=\left\{\begin{array}{cc}\frac{S1(i,j)-{S1}_{\min }}{{S1}_{\max }-{S1}_{\min }}\&CenterDot;S2(i,j)& A<\mathrm{B\; and}\frac{A}{A_m}>\frac{B}{B_m}\\ S1(i,j)& A>B\\ \frac{S2(i,j)-{S2}_{\min }}{{S2}_{\max }-{S2}_{\min }}\&CenterDot;S1(i,j)& A>\mathrm{B\; and}\frac{A}{A_m}<\frac{B}{B_m}\\ S2(i,j)& A<B\\ S2(i,j)& \mathrm{others}\end{array}\right.$

式中，F(i,j)为融合图像；S1(i,j)为待融合源图A；S1_min为待融合源图A块内灰度最小值；S1_max为待融合源图A块内灰度最大值；S2(i,j)为待融合源图B；S2_min为待融合源图B块内灰度最小值；S2_max为待融合源图B块内灰度最大值；A为待融合源图A的块内偏差中值；A_m为待融合源图A的块内偏差最大值；B为待融合源图B的块内偏差中值；B_m为待融合源图B的块内偏差最大值。