CN115578255A - 一种基于帧间亚像素块匹配的超分辨率重建方法 - Google Patents

Abstract

本发明涉及一种基于帧间亚像素块匹配的超分辨率重建方法，对于给定的彩色或灰度低分辨率图像序列，通过融合多帧图像的信息得到单张分辨率提高的彩色或灰度高分辨率重建图像，本发明基于序列图像帧间的信息差异，采用像素块匹配的方式，对图像序列进行亚像素运动估计以及相似特征融合，重建得到高分辨率图像的估计，最后对得到的高分辨率图像进行迭代去模糊去噪，实现了图像的分辨率的有效提高。

Description

一种基于帧间亚像素块匹配的超分辨率重建方法

技术领域

本发明涉及一种基于帧间亚像素块匹配的超分辨率重建方法，用于图像分辨率放大领域。

背景技术

分辨率是评价图像质量的重要指标之一，较高分辨率的图像，意味着能提供更丰富的细节信息，具有更好的视觉效果和图像质量。但在现实中，由于成像系统硬件条件的限制、再加上噪声、聚焦偏离等因素的影响，获得的图像往往分辨率低下、不能满足实际应用需求，且存在噪声、模糊等现象。图像超分辨率重建，能利用现有的设备，采用信号处理技术，对已获得的图像和视频进行处理以提高其空间分辨率，在遥感、消费电子、生物医学、视频监控、机器视觉、军事等领域具有广阔的应用前景。

根据使用的源图像数量，图像超分辨率重建可分为单帧图像超分辨和多帧图像超分辨。多帧图像的超分辨率重建技术是对单帧重建技术的扩展。重建过程中的输入图像不再局限于单帧的图像，而是一组具有亚像素位移的低分辨率图像序列。多帧重建不仅引入了图像外部样例的先验知识，同时多帧重建需要考虑图像之间的时间-空间相关性，并将其作为重建的先验知识，进一步提高重建图像的准确度和图像的主观视觉效果。

目前的多帧重建算法主要可分为三类：基于插值的超分辨率重建法、基于重建约束的超分辨率重建法和基于学习的超分辨率重建法。

基于插值的超分辨率重建以输入序列中的一帧图像作为参考图像，对其余的输入图像进行运动估计，也叫配准。根据估计的图像运动参数将低分辨率图像映射到高分辨率图像空间的网格中，此时低分辨率图像内的所有像素将会以一种非均匀的方式分布，对这些非均匀分布的图像像素点进行内插，从而推测出所有高分辨率网格上的整点像素。

基于重建约束的重建算法将先验知识作为重建问题的约束条件，从而将重建问题转换为数值估计问题，经过不断的迭代修正重建的高分辨率图像，直至输出理想的高分辨率。基于重建约束重建法对建立的图像退化模型以及引入的先验知识具有很强的依赖性，因此精确的退化模型与完善的先验知识是约束重建法获取高精度高分辨率图像的前提。

基于学习的超分辨率重建法旨在建立一个高分辨率图像和低分辨率序列之间的降质映射关系，如查找表、训练得到的插值核等。深度学习大量应用之前，典型方法包括邻域嵌入、稀疏字典等等。基于学习的重建方法依赖于丰富的训练数据以及训练策略，实际应用时鲁棒性往往欠佳。

多帧重建算法一般包括图像配准(或运动估计)与融合重建两个主要步骤，通过图像配准(或运动估计)实现对不同帧之间相关信息的挖掘，以便后续的融合重建。

常用的运动估计方法为稠密光流法，但是稠密光流法计算量较大，在计算资源受限的平台如嵌入式平台较难实现快速处理。另一些已有的方法在图像配准时，假设图像仅存在水平以及垂直位移，这样仅对图像进行全局的运动估计，无法处理局部的扰动。

基于深度学习的图像超分辨率技术通过对低分辨率图像进行特征提取，以产生高分辨率图像。典型方法有ESPCN、EDSR超分辨率重建网络算法等。实际应用时，容易受限于真实场景与数据集的差异，面临着鲁棒性不佳的问题，同时，基于深度学习的方法依赖于GPU等专用计算核心，在CPU平台上速度不佳。

发明内容

本发明的技术解决问题是：克服现有技术的不足，提供一种基于帧间亚像素块匹配的超分辨率重建方法，能够有效融合多帧的亚像素信息，得到一张细节丰富的高分辨率图像，同时计算简单，可应用于嵌入式平台。

本发明的技术解决方案为：一种基于帧间亚像素块匹配的超分辨率重建方法，对于给定的彩色或灰度低分辨率图像序列，通过融合多帧图像的信息得到单张分辨率提高的彩色或灰度高分辨率重建图像，包括以下步骤：

第一步，图像预处理步骤：对输入的多帧图像进行灰度化和线性插值，得到初始估计高分辨率图像序列，从图像序列中确定基准图像(基准帧)和参考图像(参考帧)；

第二步，运动估计步骤：分为全局运动估计以及分块运动估计，首先使用全局运动估计，基于基准图像和参考图像，估计参考图像和基准图像之间的帧间运动，得到参考图像相对于基准图像的全图运动矢量；再使用分块运动估计，在全图运动估计的基础上，将基准图像划分为像素块，估计像素块相对参考图像的运动，得到参考图像相对于基准图像的块运动矢量，得到局部更加细致的运动估计，通过全局运动估计以及分块运动估计两步得到图像之间亚像素精度的运动矢量；

第三步，亚像素块融合步骤：基于第二步得到的像素块以及运动矢量，逐块地将参考图像中的图像块插值对齐到基准图像中，实现亚像素精度的像素融合，得到初始估计高分辨率图像；高分辨率是相对输入图像的分辨率而言，指其长宽分辨率扩大为输入的s倍；

第四步，迭代去模糊步骤：以L2范数为保真项，双边全变分BTV作为正则项，对第三步得到的初始估计高分辨率图像迭代去模糊去噪，得到最终的高分辨率图像，从而完成超分辨率重建。

进一步，所述第一步中，图像预处理具体包括：

(1)灰度化

首先得到灰度化的低分辨率图像序列L_k用于运动估计，低分辨率是指输入分辨率的大小，输入的分辨率相比于最终输出的分辨率低；对于彩色图像序列，将彩色图像转换至YCbCr颜色空间，取Y通道作为灰度信息，作为L_k；对于灰度图像序列，直接作为L_k，1≤k≤N；

(2)线性插值

对低分辨率图像序列L_k利用线性插值算法，映射至大小为[s*w,s*h]的高分辨率网格中，得到N张长宽分辨率均为输入s倍的初始估计高分辨率图像序列H_k，对于彩色图像，应对Cb、Cr通道进行同样的处理；

(3)选取基准图像和参考图像

以低分辨率序列L_k的中间帧作为基准图像L_t，其余帧作为参考图像L_k，t＝N/2，1≤k≤N,k≠t。

进一步，所述第二步中，运动估计步骤包括：

(1)全局运动估计，基于低分辨率图像序列L_k，估计全图运动矢量；

利用L-K金字塔光流法，计算基准图像L_t和各参考图像之间的运动矢量

得到全图运动矢量；

(2)分块运动估计，基于高分辨率图像序列H_k，将基准图像划分为像素块，估计块运动矢量，具体为：

首先利用线性插值算法，以全局运动估计得到的全图运动矢量

将H_k重映射，得到对齐的高分辨率图像序列

其次以一定步长p，将基准图像

划分为K个大小为p*p的像素块，对于每一个像素块P_i，1≤i≤K，基于L-K稀疏光流法，计算像素块相对参考图像

的亚像素级精确度运动参数,得到块运动矢量

1≤k≤N,k≠t。

进一步，所述第三步中，亚像素块融合具体为：

对于基准图像

中的每一个像素块P_i，根据块运动矢量

利用线性插值，在参考图像

中的相应位置插值得到像素块

计算P_i以及所有像素块

的均值作为P_i的融合重建结果，所有的像素块构成初始估计高分辨率图像X。

进一步，所述第四步中，迭代去模糊具体包括：

(1)以L2范数为保真项，双边全变分BTV作为正则项Reg，W_k表示降质处理，包括降采样、高斯模糊和随机噪声，最终的优化函数为：

正则项Reg(X)式中，P表示选取窗口半径，

和

是平移算子，分别在水平方向和垂直方向上将X移动l和m个像素；

(2)根据梯度下降法迭代求解

第n次迭代时，

由下式给出：

其中，

表示当前梯度项，β是迭代步长，

如下式：

迭代一定次数后得到最终的高分辨率图像H，对于彩色图像，将H和关键帧的Cb通道以及Cr通道的插值图像融合，再转换至RGB色彩空间，即得到重建的彩色高分辨率图像；对于灰度图像，H即为最终的高分辨率重建图像。

所述方法应用于彩色图像序列、灰度图像序列的超分辨率重建任务中。

本发明与现有技术相比的优点在于：

(1)本发明使用的多帧融合重建方法相比单帧超分辨率重建算法，考虑到了图像序列间的时间-空间相关性，能引入更多帧间信息，进一步提高重建图像的准确度和图像的主观视觉效果。

(2)本发明基于块匹配进行运动估计，相比使用稠密光流进行运动估计的多帧超分辨率重建方法计算复杂度低；相比仅计算帧间全局位移的方法，本发明考虑到了局部的形变以及位移，重建精度更高。在速度以及精度之间取得了较好平衡。

(3)本发明计算过程简单，不依赖于训练学习过程，计算量适用于嵌入式平台，相比于基于深度学习的超分辨率重建算法在不同场景的适应能力受限于训练集以及模型泛化能力，鲁棒性欠佳。而且通常依赖于GPU等专用计算核心，在常规的CPU嵌入式平台上效率不高。

附图说明

图1为本发明基于帧间亚像素块匹配的超分辨率重建方法流程图；

图2为对某一场景重建效果图，其中本发明、双三次、最近邻重建的高分辨率图像的对比图。

具体实施方式

下面结合附图对本发明所述技术方案的实施方式作进一步的详细描述。

本发明所提出的技术方案的实施基于这样一个设定：在具有亚像素位移的图像间存在着同一区域的不同信息。同时，对于输入的N张低分辨率图像L_k，其由高分辨率图像X经过运动、模糊、降采样、噪声等降质过程得到，降质方程表示如下：

Y_k＝DHF_kX+N_k＝W_kX+N_k

其中，F_k为运动变换，H为模糊，D为降采样，W_k为总的降质矩阵，N_k为噪声。

如图1所示，本发明由以下几个步骤构成：

(1)用亚像素级的运动估计获取帧间同一区域的不同像素块；

(2)融合这些像素块；

(3)对整幅图像进行迭代去模糊后处理。

下面是具体实施过程：

1、图像灰度化预处理。对于彩色图像序列，运动估计时使用灰度图以减小运算量，融合时根据运动估计的运动矢量逐通道处理。因此对于彩色图，需要将其转换至YCbCr颜色空间，取Y通道作为灰度信息，得到低分辨率图像序列L_k。灰度图像序列的原始输入直接作为L_k。

2、图像线性插值预处理。首先是对输入分辨率为[w,h]的低分辨率图像序列L_k利用线性插值算法上采样s倍，映射至大小为[s*w,s*h]的高分辨率网格中，得到N张初始估计高分辨率图像H_i。其次，对于彩色图像，为了加快处理速度，各个通道在后续融合时，均使用灰度通道的运动估计，因此，每个颜色通道也应同样插值处理，以用于之后的分通道融合。

3、选取基准图像和参考图像。L_k代表低分辨率图像序列，共N张图像，取其中第t帧l_t(t＝N/2)作为基准图像，其余帧作为参考图像。这是出于这样一个假设：对于拥有随机位移的一段序列，采用哪一帧作为基准图像都是可以的；对于帧间运动接近的一段序列，其中间帧将是最为接近其余帧的图像。

4、全局运动估计。基于低分辨率图像序列L_k，粗略估计全图运动矢量。基于金字塔L-K稀疏光流法，计算基准图像L_t和各参考图像L_k(1≤k≤N,k≠t)之间的运动矢量

乘以放大倍数之后作为粗略的全图运动矢量。对于待匹配的两幅图像，金字塔L-K光流的步骤如下：

(1)对于两幅图像建立图像金字塔。金字塔中每一层均是上一层的下采样，原始图像位于底层，最低分辨率的图像位于顶层。每一层的光流均基于上一层进行计算。

(2)金字塔迭代。首先对于最高层的图像利用L-K光流算法计算出其上的光流，通过上一层(L+1层)的计算结果对下一层(L层)的图像进行预平移，并在L层的基础上计算出该层的残余光流向量dL。由于金字塔中每一层的尺寸均是上一层的一半，因此其每一层的光流均是其上一层的二分之一。通过L+1层计算出的光流作为初值计算L层的光流，可以保证每一层的残余光流向量较小，从而应用L-K光流算法。

所有的图像经过金字塔L-K光流估计后，得到全图运动矢量

5、分块运动估计。基于高分辨率图像序列H_k，精细估计块运动矢量。

首先利用线性插值算法，以全局运动估计得到的全图运动矢量

将H_k重映射，得到大致对齐的高分辨率图像序列

重映射之后未定义的像素以0填充。

其次以一定步长p，将基准图像

划分为I个大小为p*p的像素块，对于每一个像素块P_i(1≤i≤I)，基于L-K稀疏光流法，计算其相对参考图像

的亚像素级精确度运动参数,得到块运动矢量

实现时，为了优化内存使用，可以将两步合并，不生成

而是利用

直接从H_k中插值得到需要进行运动估计的像素块，之后进行像素块的运动估计。

这里像素块大小p的选取基于实验，采用分段自适应确定。对于原始尺寸为[w,h]的低分辨率序列：①：w≤20或h≤20：p＝4；②w≤32或h≤32：p＝6；③0≤w*h≤64*64：p＝8；④0≤w*h≤96*96：p＝10；⑤：w*h≥96*96：p＝12。适用优先级依次降低。

6、亚像素重映射。对于基准图像

中的每一个像素块P_i，根据块运动矢量

利用线性插值，在参考图像

中的相应位置插值得到像素块

7、像素块融合。对于基准图像

中的每一个像素块P_i，计算P_i以及所有像素块

的均值作为P_i的重建结果。对所有的像素块进行融合重建，得到估计的高分辨率图像X。

8、迭代去模糊。最大迭代次数为iter，迭代次数基于实验以及经验确定，可采用10次/20次。

初始化：以估计的高分辨率图像X作为迭代初始值X₀。n＝0,计算梯度

1)当n<iter时执行2)、3)，否则结束迭代；

2)根据梯度下降法迭代求解

第n次迭代时，

由下式给出：

其中，

为当前梯度项，计算如下式：

其中，β为迭代步长，取为0.01；Reg′(X_n)为正则项的梯度；λ为正则项的权重系数，取为0.7；W_k为降质矩阵，W_k＝DHF_k，D为下采样操作，H为点扩散函数，采用高斯核，F_k为运动变换，根据估计的全图运动矢量

以及块运动矢量

叠加得到。

Reg′(X_n)是正则项的梯度，P表示选取窗口半径，

和

是平移算子，分别在水平方向和垂直方向上将X移动l和m个像素；

3)n＝n+1，继续1)

迭代结束后的

即为最终输出的高分辨率图像，即

图2展示了对某一实际场景重建效果图，本发明、双三次、最近邻重建的高分辨率图像的对比图。本发明融合16张低分辨率图像，得到了细节更加丰富、噪声更低的高分辨率图像。

表1为采用本发明在Nvidia TX2平台上对三通道彩色图像的处理速度。

表2为在自行采集的数据集上进行实验验证的结果，对比了传统的双三次插值方法，以及EDSR深度学习方法。测试方法为使用单张图像，经过随机位移、降采样、添加高斯噪声模拟降质过程，再使用各个方法进行重建。

表1

原图分辨率	放大倍数	本发明处理时间/s	EDSR处理时间/s
				64*64	4	0.14	8.5
128*128	4	0.35	-

表2

方法	放大倍数	SSIM	PSNR
				双三次插值	4	0.8037	28.4204
EDSR	4	0.8362	28.8536
				本发明	4	0.8565	29.4113

使用峰值信噪比(PSNR,peak signal to noise ratio)以及结构相似度指数(SSIM,structure similarity image measure)作为评价指标。峰值信噪比是通过两幅图像的均方误差定义的，当待评价图像的峰值信噪比越大时，图像的失真则越小；结构相似性指数是待评价图像与参考图像之间的结构相似性的有效衡量，待评价图像的结构相似度指数越大时，图像与参考图像越相似。结果显示使用本发明的方法在两种指标中均取得领先。

本发明说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

提供以上实施例仅仅是为了描述本发明的目的，而并非要限制本发明的范围。本发明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修改，均应涵盖在本发明的范围之内。

Claims (6)

1.一种基于帧间亚像素块匹配的超分辨率重建方法，其特征在于：对于给定的彩色或灰度低分辨率图像序列，通过融合多帧图像的信息得到单张分辨率提高的彩色或灰度高分辨率重建图像，包括以下步骤：

第一步，图像预处理步骤：对输入的多帧图像进行灰度化和线性插值，得到初始估计高分辨率图像序列，从图像序列中确定基准图像即基准帧和参考图像即参考帧；

第二步，运动估计步骤：分为全局运动估计以及分块运动估计，首先使用全局运动估计，基于基准图像和参考图像，估计参考图像和基准图像之间的帧间运动，得到参考图像相对于基准图像的全图运动矢量；再使用分块运动估计，在全图运动估计的基础上，将基准图像划分为像素块，估计像素块相对参考图像的运动，得到参考图像相对于基准图像的块运动矢量，得到局部更加细致的运动估计，通过全局运动估计以及分块运动估计两步得到图像之间亚像素精度的运动矢量；

第三步，亚像素块融合步骤：基于第二步得到的像素块以及运动矢量，逐块地将参考图像中的图像块插值对齐到基准图像中，实现亚像素精度的像素融合，得到初始估计高分辨率图像；高分辨率是相对输入图像的分辨率而言，指其长宽分辨率扩大为输入的s倍；

第四步，迭代去模糊步骤：以L2范数为保真项，双边全变分BTV作为正则项，对第三步得到的初始估计高分辨率图像迭代去模糊去噪，得到最终的高分辨率图像，从而完成超分辨率重建。

2.根据权利要求1所述的基于帧间亚像素块匹配的超分辨率重建方法，其特征在于：所述第一步中，图像预处理具体包括：

(1)灰度化

首先得到灰度化的低分辨率图像序列L_k用于运动估计，低分辨率是指输入分辨率的大小，输入的分辨率相比于最终输出的分辨率低；对于彩色图像序列，将彩色图像转换至YCbCr颜色空间，取Y通道作为灰度信息，作为L_k；对于灰度图像序列，直接作为L_k，1≤k≤N；

(2)线性插值

对低分辨率图像序列L_k利用线性插值算法，映射至大小为[s*w,s*h]的高分辨率网格中，得到N张长宽分辨率均为输入s倍的初始估计高分辨率图像序列H_k，对于彩色图像，应对Cb、Cr通道进行同样的处理；

(3)选取基准图像和参考图像

以低分辨率序列L_k的中间帧作为基准图像L_t，其余帧作为参考图像L_k，t＝N/2，1≤k≤N,k≠t。

3.根据权利要求1所述的基于帧间亚像素块匹配的超分辨率重建方法，其特征在于：所述第二步中，运动估计步骤包括：

(1)全局运动估计，基于低分辨率图像序列L_k，估计全图运动矢量；

利用L-K金字塔光流法，计算基准图像L_t和各参考图像之间的运动矢量

得到全图运动矢量；

(2)分块运动估计，基于高分辨率图像序列H_k，将基准图像划分为像素块，估计块运动矢量,具体为：

首先利用线性插值算法，以全局运动估计得到的全图运动矢量

将H_k重映射，得到对齐的高分辨率图像序列

其次以一定步长p，将基准图像

划分为K个大小为p*p的像素块，对于每一个像素块P_i，1≤i≤K，基于L-K稀疏光流法，计算像素块相对参考图像

的亚像素级精确度运动参数,得到块运动矢量

1≤k≤N,k≠t。

4.根据权利要求1所述的基于帧间亚像素块匹配的超分辨率重建方法，其特征在于：所述第三步中，亚像素块融合具体为：

对于基准图像

中的每一个像素块P_i，根据块运动矢量

利用线性插值，在参考图像

中的相应位置插值得到像素块

计算P_i以及所有像素块

的均值作为P_i的融合重建结果，所有的像素块构成初始估计高分辨率图像X。

5.根据权利要求1所述的基于帧间亚像素块匹配的超分辨率重建方法，其特征在于：所述第四步中，迭代去模糊具体包括：

(1)以L2范数为保真项，双边全变分BTV作为正则项Reg，W_k表示降质处理，包括降采样、高斯模糊和随机噪声，最终的优化函数为：

正则项Reg(X)式中，P表示选取窗口半径，

和

是平移算子，分别在水平方向和垂直方向上将X移动l和m个像素；

(2)根据梯度下降法迭代求解

第n次迭代时，

由下式给出：

其中，

表示当前梯度项，β是迭代步长，

如下式：

迭代一定次数后得到最终的高分辨率图像H，对于彩色图像，将H和关键帧的Cb通道以及Cr通道的插值图像融合，再转换至RGB色彩空间，即得到重建的彩色高分辨率图像；对于灰度图像，H即为最终的高分辨率重建图像。

6.根据权利要求1所述的基于帧间亚像素块匹配的超分辨率重建方法，其特征在于：所述方法应用于彩色图像序列、灰度图像序列的超分辨率重建任务中。

Images