CN111915484A - 基于密集匹配与自适应融合的参考图引导超分辨率方法 - Google Patents

Abstract

本发明属于计算机视觉领域，涉及参考图引导的图像超分辨率算法，为实现在运行速度上与视觉结果上都比现有的算法有较大的提升。本发明基于密集匹配与自适应融合的参考图引导超分辨率方法，步骤如下：建立训练数据集；将参考图与低分辨率图像对齐；将低分辨率图像与对齐之后的参考图输入卷积神经网络进行融合；设置好网络的学习率和各部分损失函数的权重，利用深度神经网络框架PyTorch训练所述卷积神经网络，直到损失收敛，生成训练模型；利用生成的训练模型进行图像超分辨率。主要应用于计算机图像处理场合。

Description

基于密集匹配与自适应融合的参考图引导超分辨率方法

技术领域

本发明属于计算机视觉领域，涉及参考图引导的图像超分辨率算法。具体讲，通过尺度不变特征变换(Scale-invariant feature transform，SIFT)算法提取特征点结合随机抽样一致(Random Sample Consensus,RANSAC)计算单应性矩阵对参考图做刚性变换，再通过光流匹配实现非刚性变换，得到与低分辨率图像尽可能对齐的参考图，经过编码解码网络与相似形融合模块重建低分辨率图像。

背景技术

超分辨率是通过硬件或软件的方法提高原有图像的分辨率的技术，可以通过一张或多张低分辨率的图像来得到一幅高分辨率的图像。目前的单图像超分辨率达到了较高的PSNR，但是仍然存在细节缺失严重等问题，为了获得较真实的高频细节信息，基于参考图的超分辨率算法开始发展。

现有的基于参考图像的超分辨率的方法主要是块匹配。该算法能够搜寻参考图中最相似的图像块以恢复低分辨率图像的细节信息，但是存在的缺陷是计算复杂度较高，并且不能实现非刚性变换，使得参考图信息不能完全被利用。

另一类可实现非刚性变换的方式是使用密集光流，但是通常这类算法对位移很敏感并且难以学习，现有的光流匹配算法只能针对很小的位移变化如光场图、视频等，或者针对特定图像如人脸图像等具有较强先验信息的数据。

发明内容

为克服现有技术的不足，本发明旨在提供基于密集匹配与自适应融合的参考图引导超分辨率方法，步骤如下：

1)建立训练数据集；

2)将参考图与低分辨率图像对齐；

3)将低分辨率图像与对齐之后的参考图输入卷积神经网络进行融合；

4)设置好网络的学习率和各部分损失函数的权重，利用深度神经网络框架PyTorch训练所述卷积神经网络，直到损失收敛，生成训练模型；

5)利用生成的训练模型进行图像超分辨率。

建立训练数据集具体步骤是，在构建数据集时，数据集的原始图片中有84组来源于google搜索与公开数据建筑物数据集Oxford building，16组来源于自己拍摄的建筑物数据集，每组数据除一张用来降采样作为低分辨率图片外，还有三张相似程度不同、拍摄时间不同、拍摄角度不同的三张参考图像，将所有的100组数据集训练利用并裁切为320×320的图像块，共计10786组图像块用于密集匹配与神经网络的训练。

将参考图与低分辨率图像对齐具体步骤如下：

21)使用插值算法对输入的低分辨率图像I^L进行上采样，得到与输出相同分辨率的图像

22)图像尺度全局匹配，提取SIFT特征点并采用RANSAC算法计算参考图与上采样之后低分辨率图片的单应性矩阵H₀，对参考图进行平移、旋转与缩放，使得变换后的参考图在尺度上与低分辨率图像对齐，在主体建筑物大体位置上与低分辨率图像对齐，得到

23)像素尺度密集匹配，采用由粗到细的光流匹配算法，并根据周围像素点的匹配结果改善未匹配的部分，最终根据插值算法得到与参考图分辨率一致的光流矩阵，根据每个像素对应的(x，y)坐标偏移值使参考图严格与低分辨率图像对齐，得到

将低分辨率图像与对齐之后的参考图输入神经网络进行融合，具体步骤如下：

31)编码器：采用一个多尺度输出的神经网络模型对输入图像进行特征提取，将输入图像编码为4个尺度的特征图；为了保证提取出来的特征在相同通道上具有相似性，所有的编码器共享权重；

32)自适应融合：每张图像具有四个尺度的特征，因此每个尺度都需要进行融合，特征融合的依据是低分辨率图像与参考图特征之间的余弦相似性，降质之后的参考图具有与低分辨率图像相同的模糊程度，能够使融合部分的选择更加精确，因此计算低分辨率图像与降质之后的参考图之间的余弦相似性得到一个H×W×1的相似性矩阵，H为特征图的高，W为特征图的宽，之后根据三个参考图得到的三个不同的相似性矩阵的最大值融合高分辨率参考图，并乘上相似性权重，最终得到每个尺度中相似性最大的部分拼接成的高质量参考图，计算相似性的公式如下：

其中，

表示第i个降至之后的参考图像在j尺度上p位置的特征。

表示升采样之后的低分辨率图像在j尺度上p位置的特征。

表示第i个降至之后的参考图像在j尺度上p位置与低分辨率图像的相似性；

33)解码器：不同的地方在于每一个尺度的输入为这一尺度上低分辨率图像特征与融合参考图特征的组合，每一尺度的最后增加了一个转置卷积用来提高分辨率，最后使用两个卷积层得到重建结果。

34)损失函数：

(1)损失：计算重建图片与真实图片之间、降采样之后的重建图片与输入低分辨率之间的L1损失，使得重建的图像在像素级上更加真实，并且能够尽可能保持原有的低频信息不过多被参考图影响；

(2)感知损失：提取了VGG-19中ReLU5-1的输出计算均方误差损失(MSE Loss)，使得输出的结果在深层特征上一致，用公式表示为：

其中ε＝0.001，NCHW为图像的四个维度，即批量数，通道数，高，宽，φ为VGG19网络中ReLU5-1层的输出。

编码器的每一个尺度的结构由一个卷积层与四个残差块组成，编码器的结构是：卷积层：卷积核5×5；4个残差块：3×3卷积，损失函数ReLU，3×3卷积；卷积层：卷积核5×5；4个残差块：3×3卷积，ReLU，3×3卷积；卷积层：卷积核5×5；4个残差块：3×3卷积，ReLU，3×3卷积；卷积层：卷积核5×5；4个残差块：3×3卷积，ReLU，3×3卷积；除残差块外，每个卷积层都跟着一个ReLU作为激活层。

解码器的结构是：合并层；卷积层：卷积核5×5；4个残差块：3×3卷积，ReLU，3×3卷积；转置卷积：卷积核5×5；合并层；卷积层：卷积核5×5；4个残差块：3×3卷积，ReLU，3×3卷积；转置卷积：卷积核5×5；合并层；卷积层：卷积核5×5；4个残差块：3×3卷积，ReLU，3×3卷积；转置卷积：卷积核5×5；合并层；卷积层：卷积核5×5—4个残差块：3×3卷积，ReLU，3×3卷积；卷积层：卷积核5×5；卷积层，卷积核5×5，除残差块外，每个卷积层与转置卷积都跟着一个ReLU作为激活层。

设置网络的学习率和各部分损失函数的权重，利用深度神经网络框架PyTorch训练所述卷积神经网络，直到损失收敛，生成训练模型，具体步骤如下：

41)确定网络结构之后，将训练数据输入到网络；

42)在网络训练阶段，学习率设置为0.0001，每5次遍历数据集，学习率衰减0.2倍，批量大小为2，优化方法采用Adam方法，最大迭代次数1000000；

43)进行训练，直至网络收敛，生成训练模型。

本发明的技术特点及效果：

本发明方法针对参考图引导的超分辨率，通过由粗到细的匹配方式充分利用参考图所提供的有用信息，较好的恢复了低分辨率图片应有的细节纹理。本发明具有以下特点：

1.为了处理较大位移，提出了由粗到细的非刚性变换算法，得到了比目前效果最好的算法更有效的结果。

2.由于不同参考图的利用价值不用，提出了自适应融合算法能够根据不同的情况融合不同的参考信息。

3.本发明的算法结果在运行速度上与视觉结果上都比现有的算法有较大的提升。

附图说明

图1是本发明算法流程图；

图2是本发明的输入和输出以及参考图，(a)图左边是输入的低分辨率图像，右边是重建图像。(b)为使用的三个参考图。

图3，图4是本发明结果与目前效果比较好的算法的对比。图3为4倍超分辨率，图4为8倍超分辨率。

具体实施方式

本发明采用如下技术方案：

1)建立训练数据集：

基于参考图的超分辨率算法需要有高质量的参考图作为恢复缺失细节的依据，但是参考图与低分辨率图像的相似程度较高的图片难以寻找且实际应用价值较低，相似程度较低的图片实际应用价值大却难以实现充分利用。因此在构建数据集时，即需要有相似程度高的图片也需要相似程度较低的图片，为了能够实现实际应用，数据集的原始图片中有84组来源于google搜索与公开数据建筑物数据集Oxford building，16组来源于自己拍摄的建筑物数据集，每组数据除一张用来降采样作为低分辨率图片外，还有三张相似程度不同、拍摄时间不同、拍摄角度不同的三张参考图像。将所有的100组数据集训练利用并裁切为320×320的图像块，共计10786组图像块用于密集匹配与神经网络的训练。

2)将参考图与低分辨率图像对齐

21)使用插值算法如双三次插值Bicubic插值对输入的低分辨率图像I^L进行上采样，得到与输出相同分辨率的图像

22)图像尺度全局匹配。提取SIFT特征点并采用RANSAC算法计算参考图与上采样之后低分辨率图片的单应性矩阵H₀，对参考图进行平移、旋转与缩放，使得变换后的参考图在尺度上与低分辨率图像对齐，在主体建筑物大体位置上与低分辨率图像对齐，得到

23)像素尺度密集匹配。采用由粗到细的光流匹配算法，并根据周围像素点的匹配结果改善未匹配的部分，最终根据插值算法得到与参考图分辨率一致的光流矩阵，根据每个像素对应的(x，y)坐标偏移值使参考图严格与低分辨率图像对齐，得到

3)将低分辨率图像与对齐之后的参考图输入神经网络进行融合

31)编码器。每个输入图像输出4个尺度的特征图。为了保证提取出来的特征在相同通道上具有相似性，所有的编码器共享权重。编码器的每一个尺度的结构由一个卷积层与四个残差块组成。编码器的结构是：卷积层(卷积核5×5)—4个残差块(3×3卷积—ReLU—3×3卷积)—卷积层(卷积核5×5)—4个残差块(3×3卷积—ReLU—3×3卷积)—卷积层(卷积核5×5)—4个残差块(3×3卷积—ReLU—3×3卷积)—卷积层(卷积核5×5)—4个残差块(3×3卷积—ReLU—3×3卷积)，除残差块外，每个卷积层都跟着一个ReLU作为激活层。本发明中有低分辨率图像(1张)、高分辨率参考图(3张)与降质之后的参考图(3张)共7个输入图像的特征。

32)自适应融合。每张图像具有四个尺度的特征，因此每个尺度都需要进行融合，特征融合的依据是低分辨率图像与参考图之间的余弦相似性。降质之后的参考图具有与低分辨率图像相同的模糊程度，能够使融合部分的选择更加精确，因此计算低分辨率图像与降质之后的参考图之间的余弦相似性得到一个H×W的相似性矩阵，之后根据三个参考图得到的三个不同的相似性矩阵的最大值融合高分辨率参考图，并乘上相似性权重，最终得到每个尺度中相似性最大的部分拼接成的高质量参考图。计算相似性的公式如下：

其中，

表示第i个降至之后的参考图像在j尺度上p位置的特征。

表示升采样之后的低分辨率图像在j尺度上p位置的特征。

表示第i个降至之后的参考图像在j尺度上p位置与低分辨率图像的相似性。

33)解码器。解码器的结构与编码器近似对称，不同的地方在于每一个尺度的输入为这一尺度上低分辨率图像特征与融合参考图特征的组合，每一尺度的最后增加了一个转置卷积用来提高分辨率，最后使用两个卷积层得到重建结果。解码器的结构是：合并层—卷积层(卷积核5×5)—4个残差块(3×3卷积—ReLU—3×3卷积)—转置卷积(卷积核5×5)—合并层—卷积层(卷积核5×5)—4个残差块(3×3卷积—ReLU—3×3卷积)—转置卷积(卷积核5×5)—合并层—卷积层(卷积核5×5)—4个残差块(3×3卷积—ReLU—3×3卷积)—转置卷积(卷积核5×5)—合并层—卷积层(卷积核5×5)—4个残差块(3×3卷积—ReLU—3×3卷积)—卷积层(卷积核5×5)—卷积层(卷积核5×5)，除残差块外，每个卷积层与转置卷积都跟着一个ReLU作为激活层。

34)损失函数。为了最终结果在视觉上与数值上都与真实图片更加接近，使用了多种损失函数联合训练。1、L1损失。计算重建图片与真实图片之间、降采样之后的重建图片与输入低分辨率之间的L1损失，使得重建的图像在像素级上更加真实，并且能够尽可能保持原有的低频信息不过多被参考图影响。2、感知损失。提取了VGG-19网络中ReLU5-1层的输出计算均方误差损失，使得输出的结果在深层特征上一致。用公式表示为：

其中ε＝0.001，NCHW为图像的四个维度(即批量数，通道数，高，宽)，φ为VGG19网络中ReLU5-1层的输出。

4)设置好网络的学习率和各部分损失函数的权重，利用深度pytorch训练上述卷积神经网络，直到损失收敛，生成训练模型：

41)确定网络结构之后，将训练数据输入到网络；

42)在网络训练阶段，学习率设置为0.0001，每5次遍历数据集，学习率衰减0.2倍，批量大小为2，优化方法采用Adam方法，最大迭代次数1000000；

43)进行训练，直至网络收敛，生成训练模型。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于密集匹配与自适应融合的参考图引导超分辨率方法，其特征是，步骤如下：

1)建立训练数据集；

2)将参考图与低分辨率图像对齐；

3)将低分辨率图像与对齐之后的参考图输入神经网络进行融合；

4)设置好网络的学习率和各部分损失函数的权重，利用深度神经网络框架PyTorch训练上述卷积神经网络，直到损失收敛，生成训练模型；

5)利用生成的训练模型进行图像超分辨率。

2.如权利要求1所述的基于密集匹配与自适应融合的参考图引导超分辨率方法，其特征是，建立训练数据集具体步骤是，在构建数据集时，数据集的原始图片中有84组来源于google搜索与公开数据建筑物数据集Oxford building，16组来源于自己拍摄的建筑物数据集，每组数据除一张用来降采样作为低分辨率图片外，还有三张相似程度不同、拍摄时间不同、拍摄角度不同的三张参考图像，将所有的100组数据集训练利用并裁切为320×320的图像块，共计10786组图像块用于密集匹配与神经网络的训练。

3.如权利要求1所述的基于密集匹配与自适应融合的参考图引导超分辨率方法，其特征是，将参考图与低分辨率图像对齐具体步骤如下：

21)使用插值算法对输入的低分辨率图像I^L进行上采样，得到与输出相同分辨率的图像

22)图像尺度全局匹配，提取SIFT特征点并采用RANSAC算法计算参考图与上采样之后低分辨率图片的单应性矩阵H₀，对参考图进行平移、旋转与缩放，使得变换后的参考图在尺度上与低分辨率图像对齐，在主体建筑物大体位置上与低分辨率图像对齐，得到

23)像素尺度密集匹配，采用由粗到细的光流匹配算法，并根据周围像素点的匹配结果改善未匹配的部分，最终根据插值算法得到与参考图分辨率一致的光流矩阵，根据每个像素对应的(x，y)坐标偏移值使参考图严格与低分辨率图像对齐，得到

4.如权利要求1所述的基于密集匹配与自适应融合的参考图引导超分辨率方法，其特征是，将低分辨率图像与对齐之后的参考图输入神经网络进行融合，具体步骤如下：

31)编码器：采用一个多尺度输出的神经网络模型对输入图像进行特征提取，将输入图像编码为4个尺度的特征图；为了保证提取出来的特征在相同通道上具有相似性，所有的编码器共享权重；

32)自适应融合：每张图像具有四个尺度的特征，因此每个尺度都需要进行融合，特征融合的依据是低分辨率图像与参考图特征之间的余弦相似性，降质之后的参考图具有与低分辨率图像相同的模糊程度，能够使融合部分的选择更加精确，因此计算低分辨率图像与降质之后的参考图之间的余弦相似性得到一个H×W×1的相似性矩阵，H为特征图的高，W为特征图的宽，之后根据三个参考图得到的三个不同的相似性矩阵的最大值融合高分辨率参考图，并乘上相似性权重，最终得到每个尺度中相似性最大的部分拼接成的高质量参考图，计算相似性的公式如下：

其中，

表示第i个降至之后的参考图像在j尺度上p位置的特征。

表示升采样之后的低分辨率图像在j尺度上p位置的特征。

表示第i个降至之后的参考图像在j尺度上p位置与低分辨率图像的相似性；

33)解码器：不同的地方在于每一个尺度的输入为这一尺度上低分辨率图像特征与融合参考图特征的组合，每一尺度的最后增加了一个转置卷积用来提高分辨率，最后使用两个卷积层得到重建结果。

34)损失函数：

(1)损失：计算重建图片与真实图片之间、降采样之后的重建图片与输入低分辨率之间的L1损失，使得重建的图像在像素级上更加真实，并且能够尽可能保持原有的低频信息不过多被参考图影响；

(2)感知损失：提取了VGG-19中ReLU5-1的输出计算均方误差损失(MSE Loss)，使得输出的结果在深层特征上一致，用公式表示为：

其中ε＝0.001，NCHW为图像的四个维度，即批量数，通道数，高，宽，φ为VGG19网络中ReLU5-1层的输出。

5.如权利要求4所述的基于密集匹配与自适应融合的参考图引导超分辨率方法，其特征是，编码器的每一个尺度的结构由一个卷积层与四个残差块组成，编码器的结构是：卷积层：卷积核5×5；4个残差块：3×3卷积，损失函数ReLU，3×3卷积；卷积层：卷积核5×5；4个残差块：3×3卷积，ReLU，3×3卷积；卷积层：卷积核5×5；4个残差块：3×3卷积，ReLU，3×3卷积；卷积层：卷积核5×5；4个残差块：3×3卷积，ReLU，3×3卷积；除残差块外，每个卷积层都跟着一个ReLU作为激活层。

6.如权利要求4所述的基于密集匹配与自适应融合的参考图引导超分辨率方法，其特征是，解码器的结构是：合并层；卷积层：卷积核5×5；4个残差块：3×3卷积，ReLU，3×3卷积；转置卷积：卷积核5×5；合并层；卷积层：卷积核5×5；4个残差块：3×3卷积，ReLU，3×3卷积；转置卷积：卷积核5×5；合并层；卷积层：卷积核5×5；4个残差块：3×3卷积，ReLU，3×3卷积；转置卷积：卷积核5×5；合并层；卷积层：卷积核5×5—4个残差块：3×3卷积，ReLU，3×3卷积；卷积层：卷积核5×5；卷积层，卷积核5×5，除残差块外，每个卷积层与转置卷积都跟着一个ReLU作为激活层。

7.如权利要求4所述的基于密集匹配与自适应融合的参考图引导超分辨率方法，其特征是，设置所述卷积神经网络的学习率和各部分损失函数的权重，利用深度神经网络框架PyTorch训练所述卷积神经网络，直到损失收敛，生成训练模型，具体步骤如下：

41)确定网络结构之后，将训练数据输入到网络；

42)在网络训练阶段，学习率设置为0.0001，每5次遍历数据集，学习率衰减0.2倍，批量大小为2，优化方法采用Adam方法，最大迭代次数1000000；

43)进行训练，直至网络收敛，生成训练模型。

Images