CN112927272B - 一种基于空间通用自回归模型的图像融合方法 - Google Patents

Abstract

本发明公开了一种基于空间通用自回归模型的图像融合方法，其特征在于，基于空间通用自回归模型实现图像配准；对待融合源图像进行平移处理；平移处理后的待融合源图像加权平均得到粗融合后的图像；建立一阶非因果空间自回归模型，粗融合后的图像完成精融合。将图像融合分为粗融合和精融合两个过程，通过图像融合过程中引入空间自回归模型，使得提出的图像融合算法具有较好高的抗噪声干扰能力，且能有效地保护图像边缘等特征，从而能够有效提高图像融合的鲁棒性，克服现有图像融合算法各自存在的缺陷。

Description

一种基于空间通用自回归模型的图像融合方法

技术领域

本发明涉及一种基于空间通用自回归模型的图像融合方法，属于图像融合技术领域。

背景技术

通过图像融合，突破传感器极限，丰富图像信息量，在工业、医疗、遥感等诸多领域有着十分巨大的应用需求。近年来，学者们在此方面积极开展了相关工作。唐振民等提出一种基于非线性权重的图像融合的方法，该方法应用非线性权重模型进行图像融合操作，一定程度上有效改善了重影问题，提高了图像融合的质量(唐振民.基于非线性权重的图像融合的方法:中国,CN2020107085966[P].2020-10-30)。赵良军等提出一种基于纹理特征的图像融合算法，对经加权融合操作后的基层图像与亮细节层、暗细节层分别按顺序进行相应加权相加、相减融合操作后，最终得到清晰度更高的融合图像(赵良军.一种基于纹理特征的图像融合算法:中国,CN202010271482X[P].2020-08-07)。北京理工大学的郝群等通过构建八度高斯图像金字塔框架，采用不同策略对基础层和细节层图像进行分别融合后，再将融合后的基础层和细节层重构，从而丰富融合图像的特征信息(郝群.基于八度金字塔框架的多聚焦图像融合方法:中国，CN2020102116351[P].2020-07-10)。西北工业大学的王健等基于整个图像块的融合提出一种利用卷积稀疏表示的多模态图像融合方法，对分别采用不同融合策略进行操作后的低频和高频分量相加得到的最终图像，能够充分保留图像的细节信息(王健.基于卷积稀疏表示的多模态图像融合方法:中国,CN2018114007697[P].2019-04-02)。杨家俊等在基于稀疏表示原理模型中引入字典信息进行图像融合，在不过多增加算法复杂度的前提下，能够实现自适应地稀疏地表示图像的局部信息，从而改善图像融合质量(杨家俊.一种引入字典信息基于稀疏表示的图像融合方法:中国,CN2019108681564[P].2020-01-14)。张铖方提出一种基于多尺度变换和卷积稀疏表示的多聚焦图像融合方法，综合两种模型的优点，不仅改善了图像融合的质量，而且增强了关键细节信息的对比度(张铖方.基于多尺度变换和卷积稀疏表示的多聚焦图像融合方法:中国,CN2020102875732[P].2020-07-17)。目前基于深度学习的图像融合大多采用监督学习的方式来训练网络，云南大学的王长城等提出一种基于无监督深度学习模型的多聚焦图像融合算法，将注意力机制的encoder-decoder网络模型引入训练过程中，最终得到的图像清晰度高且失真度小(王长城,周冬明,刘琰煜,谢诗冬.无监督深度学习模型的多聚焦图像融合算法[J/OL].计算机工程与应用:1-12[2020-11-25].)。

综上，目前主流的图像融合算法可以分为以下几类，第一类是基于空间域变换的像素或区域融合方法，该类方法结构复杂度较低且算法实施所需时间较短，但抗干扰能力较弱，图像融合精度不高；第二类是基于多尺度分解的方法，包括小波变换和图像金字塔框架等，利用此类方法若想获得融合质量较高的图像，应对图像进行多次分层操作，但此类方法普遍存在细节及边缘信息易丢失的问题，图像对比度损失较大，鲁棒性有待增强；第三类是基于稀疏表示原理模型的方法，虽然能够解决细节模糊问题，但融合图像的亮度较暗；第四类是基于深度学习的方法，通过构建卷积神经网络来实现图像融合操作，是目前性能较为优异的方法，但对于分辨率较低的源图像来说，所得融合图像的效果不能完全让人满意。

发明内容

本发明所要解决的技术问题是克服现有技术的缺陷，提供一种基于空间通用自回归模型的图像融合方法。

为达到上述目的，本发明提供一种基于空间通用自回归模型的图像融合方法，包括：

基于空间通用自回归模型实现图像配准；

对待融合源图像进行平移处理；

平移处理后的待融合源图像加权平均得到粗融合后的图像；

建立一阶非因果空间自回归模型，粗融合后的图像完成精融合。

优先地，基于空间通用自回归模型实现图像配准，包括：

定义A(x,y)是左图像，定义B(x,y)是右图像，A(x,y)和B(x,y)为待融合源图像，A(x,y)和B(x,y)均位于图片中；

定义A(x,y)上的特征点a_i的像素坐标为(x_i,y_i)，定义B(x,y)上的特征点b_j的像素坐标为(x_j,y_j)，令特征点a_i和特征点b_j是一对配准点，那么A(x,y)和B(x,y)沿x像素坐标轴平移量t_x＝x_i-x_j，A(x,y)和B(x,y)沿y像素坐标轴平移量t_y＝y_i-y_j。

优先地，对待融合源图像进行平移处理，包括：

1)从右图像B(x,y)右下角开始，基于图像双线性内插算法利用第一类待插值像素点领域内B(x,y)中四个已知像素点，依次对第一类待插值像素点进行求解；

2)从右图像B(x,y)右下角开始，第一类待插值像素点采用一阶强回归空间自回归模型依次对第二类待插值像素点进行预报，具体过程包括：

①一阶强回归空间自回归模型的建立与一阶强回归空间自回归模型的参数估计：找到距离第二类待插值像素点欧氏距离最小的已知像素点b_i,j，利用该像素点从B(x,y)上得到一个npixels×n pixels的图像块一，其中3≤n≤8，建立一阶强回归模型如下：

b_i,j＝α₁b_i+1,j+1+α₂b_i+1,j+α₃b_i,j+1+ε_i,j，

式中，b_i,j表示图像块一中像素坐标为(i,j)的像素点的灰度值，b_i+1,j+1表示图像块一中像素坐标为(i+1,j+1)的像素点的灰度值，b_i+1,j表示图像块一中像素坐标为(i+1,j)的像素点的灰度值，,b_i,j+1表示图像块一中像素坐标为(i,j+1)的像素点的灰度值，i≥1，j≥1，i≤n-1，j≤n-1；α₁、α₂和α₃预先设定的一阶强回归空间自回归模型的参数；ε_i,j是坐标为(i,j)像素点的建模残差；

对一个大小为n pixels×n pixels的图像块一，上述方程可以列出(n-1)×(n-1)个，上述方程写成矩阵形式如下：

式中，b_1,1、b_1,2、……、b_n,n表示坐标为(1,1)、(1,2)、……、(n,n)的像素点的灰度值，ε_1,1、ε_1,1、……、ε_n-1,n-1是分别与坐标为(1,1)、(1,2)、……、(n-1,n-1)的像素点对应的建模残差；

令则最小二乘法估计一阶强回归空间自回归模型的参数的估计值为/>和/>分别是α₁、α₂和α₃的最小二乘估计；

②第一类待插值像素点或第二类待插值像素点利用一阶强回归空间自回归模型，预报第二类待插值像素点的灰度值

3)得到图像B(x,y)平移后的右图像B′(x,y)。

优先地，设置第一类待插值像素点为图片中的黑色方块，设置第二类待插值像素点为图片中的虚线空心圆圈，从而区分第一类待插值像素点和第二类待插值像素点。

优先地，从右图像右下角开始，第一类待插值像素点采用一阶强回归空间自回归模型对第二类待插值像素点进行预报，右图像中预报顺序为从右图像右下角开始自下向上依次完成一列像素后再向左移动一个像素，每列像素重复自下向上完成，直到右图像中的所有像素完成预报。

优先地，平移处理后的待融合源图像加权平均得到粗融合后的图像，包括：

F₁(x,y)＝γ·A(x,y)+(1-γ)·B′(x,y)，γ是权值，0＜γ＜1，F₁(x,y)是粗融合后的图像。

优先地，建立一阶非因果空间自回归模型，粗融合后的图像完成精融合，包括：

1)从F₁(x,y)上得到一个m pixels×m pixels的图像块二，且5≤m≤8；

2)建立一阶非因果空间自回归模型，并估计模型参数：

式中，a_i,j表示图像块二中像素坐标为(i,j)像素点的灰度值，a_i-1,j-1表示图像块二中像素坐标为(i-1,j-1)的像素点的灰度值，a_i-1,j表示图像块二中像素坐标为(i-1,j)的像素点的灰度值，a_i-1,j+1表示图像块二中像素坐标为(i-1,j+1)的像素点的灰度值，a_i,j-1表示图像块二中像素坐标为(i,j-1)的像素点的灰度值，a_i,j+1表示图像块二中像素坐标为(i,j+1)的像素点的灰度值，a_i+1,j-1表示图像块二中像素坐标为(i+1,j-1)的像素点的灰度值，a_i+1,j表示图像块二中像素坐标为(i+1,j)的像素点的灰度值，a_i+1,j+1表示图像块二中像素坐标为(i+1,j+1)的像素点的灰度值，i≥2，j≥2,i≤m-1,j≤m-1；

和/>是预先设定的一阶非因果空间自回归模型的参数；δ_i,j是坐标为(i,j)像素点的建模残差；

对一个大小为m pixels×m pixels的图像块，上述方程可以列出(m-2)×(m-2)个，上述方程写成矩阵形式如下：

式中，a_1,1、a_1,2、……、a_m,m表示坐标为(1,1)、(1,2)、……、(m,m)的像素点的灰度值，δ_2,2、δ_2,3、……、δ_m-1,m-1是坐标为(2,2)、(2,3)、……、(m-1,m-1)的像素点的建模残差；

令 则最小二乘法估计一阶强回归空间自回归模型的参数为/>

3)根据估计/>是得到a_i,j的估计值/>其中i≥2，j≥2，i≤m-1，j≤m-1，如果/>则表示右图像B′(x,y)有噪声，用/>代替a_i,j；如果/>则表示F₁(x,y)有“空洞”不连续，用/>代替原来的a_i,j；T₁和T₂是设定的阈值；

4)根据第3)步的结果，更新矩阵A为A⁽¹⁾：

5)令矩阵C＝A-A⁽¹⁾，求矩阵C的||C||₂，如果||C||₂≤δ，则当前图像块二的精融合过程结束；否则，令A⁽¹⁾代替第3)步中的A，重复第3)步、第4)步及第5)步，直到不等式||C||₂≤δ成立，结束当前图像块二的精融合过程；

6)判断整个F₁(x,y)是否都完成了精融合，若整个F₁(x,y)没有完成精融合则在F₁(x,y)上平移m个像素，平移顺序为先水平后垂直或者先垂直再水平，从F₁(x,y)上再取一个m pixels×m pixels的图像块三，对新获得的图像块三运行前述第2)至第5)步进行精融合，重复本步骤直到F₁(x,y)都完成了精融合；

若整个F₁(x,y)都完成了精融合，则得到最终的精融合图像F₂(x,y)，结束运行。

本发明所达到的有益效果：

本发明提出一种基于空间通用自回归模型的图像融合方法，将图像融合分为粗融合和精融合两个过程，通过图像融合过程中引入空间自回归模型，使得提出的图像融合算法具有较好高的抗噪声干扰能力，且能有效地保护图像边缘等特征，从而能够有效提高图像融合的鲁棒性，克服现有图像融合算法各自存在的缺陷。

附图说明

图1是图像融合的示意图；

图2是实施例一中空间自回归模型建模用图像块的示意图；

图3是实施例一中空间自回归模型插值用图像块的示意图；

图4是实施例二中空间自回归模型建模用图像块的示意图。

具体实施方式

以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

实施例一

对B(x,y)图像进行平移处理包括以下步骤：

1)从B图像的右下角开始，采用图像双线性内插算法，利用第一类待插值像素点领域内B(x,y)图像中四个已知像素点，B(x,y)图像中四个已知像素点即图1中的实心黑色点，依次对待插值的像素点进行求解；

2)从B图像的右下角开始，利用第一类待插值得到的第一类待插值像素点，采用一阶强回归空间自回归模型，依次对第二类待插值像素点进行预报，具体过程包括两个子步骤：

①一阶强回归空间自回归模型的建立与参数估计：找到距离第二类待插值像素点欧氏距离最小的已知像素点，利用该像素点从B(x,y)图像上得到一个n pixels×n pixels的图像块，n取值不超过8，本实施例中以n＝3为例，具体实施：

式中ε₁,ε₂,ε₃,ε₄是均值为零的高斯噪声项，a₁、a₂、a₃、a₄、a₅、a₆、a₇、a₈、a₉表示像素点的灰度值，它们之间的位置关系见图2。

α＝[α₁ α₂ α₃]^T是一阶强回归空间自回归模型的参数，用最小二乘方估计α＝[α₁α₂ α₃]^T，求解结果为是α的最小二乘估计，其中：

b_n＝3＝[a₅ a₆ a₈ a₉]^T，

②根据第一类待插值像素点或已经求出的第二类待插值像素点，利用一阶强回归空间自回归模型，预报第二类待插值像素点的灰度值是第一类待插值像素点或已经求出的第二类待插值像素点的灰度值，/>表示第二类待插值像素点的灰度值，/>它们的位置关系见图3。

3)得到图像B(x,y)平移后的图像B′(x,y)图像。

实施例二

与实施例一不同的是，本实施例中建立一阶非因果空间自回归模型，完成精融合包括以下步骤：

1)从F₁(x,y)上得到一个m pixels×m pixels的图像块二，5≤m≤8，以大小5pixels×5pixels的图像块二为例，说明精融合过程；

2)建立一阶非因果空间自回归模型，估计模型参数：

式中δ₂₂、δ₂₃、δ₂₄、δ₃₂、δ₃₃、δ₃₄、δ₄₂、δ₄₃、δ₄₄是均值为零的高斯噪声项；a₁₁、a₁₂、a₁₃、a₁₄、a₁₅、a₂₁、a₂₂、a₂₃、a₂₄、a₂₅、a₃₁、a₃₂、a₃₃、a₃₄、a₃₅、a₄₁、a₄₂、a₄₃、a₄₄、a₄₅、a₅₁、a₅₂、a₅₃、a₅₄、a₅₅表示像素点的灰度值，它们的位置关系见图4。

是一阶非因果空间自回归模型的参数，用最小二乘方估计/>求解结果为/>是/>的最小二乘估计，/>其中，b_m＝5＝[a₂₂ a₂₃ a₂₄a₃₂ a₃₃ a₃₄ a₄₂ a₄₃ a₄₄]^T，

3)根据A_m＝5和按/>估计/>即得到a_ij的估计值/>其中2≤i,j≤4，如果/>则源图像有噪声，用/>代替a_ij；或者，如果/>则融合图像有“空洞”不连续，也用预报至/>代替原来的a_ij；T₁和T₂是设定的阈值；

4)根据第3)步的结果，更新矩阵A_m＝5为

5)令矩阵求矩阵C的||C||₂，如果||C||₂≤δ，则当前图像块二的精融合过程结束；否则，令用/>代替第3)步中的A_m＝5，重复第3)步、第4)步及第5)步，直到不等式||C||₂≤δ成立，结束当前图像块二的精融合过程；其中，令矩阵C＝A-A⁽¹⁾，求矩阵C的||C||₂，这一计算步骤，是《线性代数》或者《矩阵论》等相关课程中，为大家所熟知的知识，求矩阵的二范数，本方法不再详细阐述。

6)平移m个像素，平移顺序为先水平后垂直或者先垂直再水平，从F₁(x,y)上再取一个m pixels×m pixels的图像块三，对新获得的图像块三，运行前述第2)至第5)步进行精融合，直到对整个F₁(x,y)都完成了精融合，得到最终的精融合图像F₂(x,y)。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (3)

1.一种基于空间通用自回归模型的图像融合方法，其特征在于，包括：

基于空间通用自回归模型实现图像配准，包括：

定义A(x,y)是左图像，定义B(x,y)是右图像，A(x,y)和B(x,y)为待融合源图像，A(x,y)和B(x,y)均位于图片中；

定义A(x,y)上的特征点a_i的像素坐标为(x_i,y_i)，定义B(x,y)上的特征点b_j的像素坐标为(x_j,y_j)，令特征点a_i和特征点b_j是一对配准点，那么A(x,y)和B(x,y)沿x像素坐标轴平移量t_x＝x_i-x_j，A(x,y)和B(x,y)沿y像素坐标轴平移量t_y＝y_i-y_j；

对待融合源图像进行平移处理，包括：

A1)从右图像B(x,y)右下角开始，基于图像双线性内插算法利用第一类待插值像素点领域内B(x,y)中四个已知像素点，依次对第一类待插值像素点进行求解；

A2)从右图像B(x,y)右下角开始，第一类待插值像素点采用一阶强回归空间自回归模型依次对第二类待插值像素点进行预报，具体过程包括：

①一阶强回归空间自回归模型的建立与一阶强回归空间自回归模型的参数估计：找到距离第二类待插值像素点欧氏距离最小的已知像素点b_i,j，利用该像素点从B(x,y)上得到一个n pixels×n pixels的图像块一，其中3≤n≤8，建立一阶强回归模型如下：

b_i,j＝α₁b_i+1,j+1+α₂b_i+1,j+α₃b_i,j+1+ε_i,j，

式中，b_i,j表示图像块一中像素坐标为(i,j)的像素点的灰度值，b_i+1,j+1表示图像块一中像素坐标为(i+1,j+1)的像素点的灰度值，b_i+1,j表示图像块一中像素坐标为(i+1,j)的像素点的灰度值，b_i,j+1表示图像块一中像素坐标为(i,j+1)的像素点的灰度值，i≥1，j≥1，i≤n-1，j≤n-1；

α₁、α₂和α₃预先设定的一阶强回归空间自回归模型的参数；ε_i,j是坐标为(i,j)像素点的建模残差；

对一个大小为n pixels×n pixels的图像块一，上述方程可以列出(n-1)×(n-1)个，上述方程写成矩阵形式如下：

式中，b_1,1、b_1,2、……、b_n,n表示坐标为(1,1)、(1,2)、……、(n,n)的像素点的灰度值，ε_1,1、ε_1,1、……、ε_n-1,n-1是分别与坐标为(1,1)、(1,2)、……、(n-1,n-1)的像素点对应的建模残差；

令则最小二乘法估计一阶强回归空间自回归模型的参数的估计值为/> 和/>分别是α₁、α₂和α₃的最小二乘估计；

②第一类待插值像素点或第二类待插值像素点利用一阶强回归空间自回归模型，预报第二类待插值像素点的灰度值

A3)得到图像B(x,y)平移后的右图像B′(x,y)；

平移处理后的待融合源图像加权平均得到粗融合后的图像，包括：

F₁(x,y)＝γ·A(x,y)+(1-γ)·B′(x,y)，γ是权值，0＜γ＜1，F₁(x,y)是粗融合后的图像；

建立一阶非因果空间自回归模型，粗融合后的图像完成精融合，包括：

B1)从F₁(x,y)上得到一个m pixels×m pixels的图像块二，且5≤m≤8；

B2)建立一阶非因果空间自回归模型，并估计模型参数：

式中，a_i,j表示图像块二中像素坐标为(i,j)像素点的灰度值，ai-₁,j-₁表示图像块二中像素坐标为(i-1,j-1)的像素点的灰度值，a_i-1,j表示图像块二中像素坐标为(i-1,j)的像素点的灰度值，a_i-1,j+1表示图像块二中像素坐标为(i-1,j+1)的像素点的灰度值，a_i,j-1表示图像块二中像素坐标为(i,j-1)的像素点的灰度值，a_i,j+1表示图像块二中像素坐标为(i,j+1)的像素点的灰度值，a_i+1,j-1表示图像块二中像素坐标为(i+1,j-1)的像素点的灰度值，a_i+1,j表示图像块二中像素坐标为(i+1,j)的像素点的灰度值，a_i+1,j+1表示图像块二中像素坐标为(i+1,j+1)的像素点的灰度值，i≥2，j≥2,i≤m-1,j≤m-1；

和/>是预先设定的一阶非因果空间自回归模型的参数；δ_i,j是坐标为(i,j)像素点的建模残差；

对一个大小为m pixels×m pixels的图像块，上述方程可以列出(m-2)×(m-2)个，上述方程写成矩阵形式如下：

式中，a_1,1、a_1,2、……、a_m,m表示坐标为(1,1)、(1,2)、……、(m,m)的像素点的灰度值，δ_2,2、δ_2,3、……、δ_m-1,m-1是坐标为(2,2)、(2,3)、……、(m-1,m-1)的像素点的建模残差；

令 则最小二乘法估计一阶强回归空间自回归模型的参数为/>

B3)根据估计/>是得到a_i,j的估计值/>其中i≥2，j≥2，i≤m-1，j≤m-1，如果/>则表示右图像B′(x,y)有噪声，用/>代替a_i,j；如果/>则表示F₁(x,y)有“空洞”不连续，用/>代替原来的a_i,j；T₁和T₂是设定的阈值；

B4)根据第3)步的结果，更新矩阵A为A⁽¹⁾：

B5)令矩阵C＝A-A⁽¹⁾，求矩阵C的||C||₂，如果||C||₂≤δ，则当前图像块二的精融合过程结束；否则，令A⁽¹⁾代替第3)步中的A，重复第3)步、第4)步及第5)步，直到不等式||C||₂≤δ成立，结束当前图像块二的精融合过程；

B6)判断整个F₁(x,y)是否都完成了精融合，若整个F₁(x,y)没有完成精融合则在F₁(x,y)上平移m个像素，平移顺序为先水平后垂直或者先垂直再水平，从F₁(x,y)上再取一个mpixels×m pixels的图像块三，对新获得的图像块三运行前述第2)至第5)步进行精融合，重复本步骤直到F₁(x,y)都完成了精融合；

若整个F₁(x,y)都完成了精融合，则得到最终的精融合图像F₂(x,y)，结束运行；

建立一阶非因果空间自回归模型，粗融合后的图像完成精融合。

2.根据权利要求1所述的一种基于空间通用自回归模型的图像融合方法，其特征在于，设置第一类待插值像素点为图片中的黑色方块，设置第二类待插值像素点为图片中的虚线空心圆圈，从而区分第一类待插值像素点和第二类待插值像素点。

3.根据权利要求1所述的一种基于空间通用自回归模型的图像融合方法，其特征在于，从右图像右下角开始，第一类待插值像素点采用一阶强回归空间自回归模型对第二类待插值像素点进行预报，右图像中预报顺序为从右图像右下角开始自下向上依次完成一列像素后再向左移动一个像素，每列像素重复自下向上完成，直到右图像中的所有像素完成预报。