CN110060208A - 一种提高超分辨率算法重构性能的方法 - Google Patents

Abstract

本发明公开了一种提高超分辨率算法重构性能的方法，其根据相机成像系统的类型采用不同的数据采集方法，并实现高/低分辨率图像的采集与配准，从而以数据驱动的方式隐式建模真实降质模型，显著地提高了现有基于深度学习的超分辨率算法在真实成像系统中的重构性能。

Description

一种提高超分辨率算法重构性能的方法

技术领域

本发明涉及数字图像处理技术领域，尤其涉及一种提高超分辨率算法重构性能的方法。

背景技术

单张图像超分辨率(Super-Resolution,SR)，指的是采用信号处理的方法，将低分辨率图像恢复成为高分辨率图像。通常情况下，原始高分辨率图像经过下采样后得到的低分辨率图像被用作仿真输入，通过对超分辨率算法得到的重建图像与原始图像之间差别的比较或重建图像自身的视觉质量来评估算法的性能(Y.Blau,and T.Michaeli,“Theperception-distortion tradeoff.”in IEEE Conference on Computer Vision andPattern Recognition 2018)。在以往的研究中，双三次(Bicubic)下采样或高斯(Gaussian)模糊抽点下采样是最常用的两种降质模型(K.Zhang,W.Zuo,and L.Zhang,“Learning asingle convolutional super-resolution network for multipledegradations.”in IEEE Conference on Computer Vision and Pattern Recognition2018)。基于这两种降质模型，现有超分辨率技术利用深度学习分别在重建准确性(J.Kim,J.K.Lee,and K.M.Lee,“Accurate image super-resolution using very deepconvolutional networks.”in IEEE Conference on Computer Vision and PatternRecognition 2016)与视觉质量(C.Ledig,et al.,“Photo-realistic single imagesuper-resolution using a generative adversarial network.”in IEEE Conferenceon Computer Vision and Pattern Recognition2017)两个方面取得了显著的进展。

上述两种降质模型在具有相同降质过程的仿真数据集中表现良好。然而，在更复杂的真实成像系统中，这些降质模型无法准确模拟真实降质过程，导致超分辨算法性能显著降低(T.Michaeli and M.Irani.,“Nonparametric blind super-resolution.”in IEEEConference on Computer Vision and Pattern Recognition 2013)。近年来，为了更好地模拟复杂的真实降质过程，现有研究在下采样的基础上加入了更多降质因素(如噪声、模糊、量化等)以建模真实降质过程(R.Timofte,et al.,“Ntire 2018challenge on singleimage super-resolution:Methods and results.”in IEEE Conference on ComputerVision and Pattern Recognition Workshop 2018)。这些建模方式提高了基于深度学习的超分辨算法在带有噪声或模糊低分辨率图像上的重建性能，但仍然无法对真实成像系统中降质过程进行准确建模。

发明内容

本发明的目的是提供一种提高超分辨率算法重构性能的方法，显著地提高了现有基于深度学习的超分辨率算法在真实成像系统中的重构性能。

本发明的目的是通过以下技术方案实现的：

一种提高超分辨率算法重构性能的方法，包括：

根据成像系统的类型搭建图像采集系统；

基于搭建的图像采集系统与成像系统的类型采用特定方式采集高分辨率图与低分辨率图，作为原始图像对；

对原始图像对依次进行空间位置对齐、曝光误差补偿以及颜色校准，得到配准后的图像对；

使用配准后的图像对构造训练数据集与验证数据集，并使用这两个数据集调优基于深度学习的超分辨率算法的参数，得到最优模型，从而提高超分辨率算法在真实成像系统中的重构性能。

由上述本发明提供的技术方案可以看出，根据相机成像系统的类型采用不同的数据采集方法，并实现高/低分辨率图像的采集与配准，从而以数据驱动的方式隐式建模真实降质模型，显著地提高了现有基于深度学习的超分辨率算法在真实成像系统中的重构性能。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例提供的一种提高超分辨率算法重构性能的方法的流程图；

图2为本发明实施例提供的手机相机成像系统搭建图像采集系统的示意图；

图3为本发明实施例提供的基于标准色卡实现颜色校准的示意图；

图4为本发明实施例提供的单反相机成像系统采集的原始图像对与配准后的图像对示意图；

图5为本发明实施例提供的单反相机成像系统重构准确性结果对比示意图；

图6为本发明实施例提供的手机相机成像系统重构准确性结果对比示意图；

图7为本发明实施例提供的手机相机成像系统视觉质量结果对比示意图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

本发明从真实成像系统的固有特性出发，结合单反相机与手机相机镜头特点，提出两种数据采集的新算法，使用数据驱动的方式隐式建模降质过程，显著地提高了现有基于深度学习的超分辨率算法在真实成像系统中的重构性能，这种新颖的超分辨范式称为镜头超分辨率技术。

如图1所示，为本发明实施例提供一种提高超分辨率算法重构性能的方法的流程图，其主要包括如下步骤：

1、根据成像系统的类型搭建图像采集系统。

本发明实施例中，主要考虑两种成像系统类型：单反相机成像系统与手机相机成像系统。

为了避免环境因素影响，要设置合适的环境光，控制拍摄环境相对稳定。并且，为了避免单反相机成像系统在长/短焦距下景深问题引起的背景虚化问题，选择合适的拍摄物体，要求拍摄物体尽可能平整。

之后，再固定三脚架(或平移台)位置，在固定位置反复测试相机参数直到光圈大小、曝光时间等参数取得合适数值；具体来说：

1)对于单反相机成像系统，使用三脚架固定单反相机，设置、调整并固定单反相机与拍摄物体的距离；

2)对于手机相机成像系统，使用平移台与固定器稳定手机，设置并固定相对拍摄物体两个不同距离的采集点，两个采集点用来采集高/低分辨率图，具体将在后文介绍。

2、基于搭建的图像采集系统与成像系统的类型采用特定方式采集高分辨率图与低分辨率图，作为原始图像对。

1)对于单反相机成像系统，通过调整光学可变焦镜头进行图像采集，将最大焦距下采集的图像作为高分辨率图，将最小焦距下采集的图像作为低分辨率图；

2)对于手机相机成像系统，通过平移相机调整相对拍摄物体的距离，将较小距离的采集点处采集的图像作为高分辨率图，将较大距离的采集点处采集的图像作为低分辨率图。如之前所述，在搭建图像采集系统时，设置了两个采集点，两个采集点与拍摄物体的距离不同，如图2所示，左侧部分的采集点A距离拍摄物体较近，该采集点A处采集的图像作为高分辨率图，右侧部分的采集点B距离拍摄物体较近，该采集点B处采集的图像作为低分辨率图。

此外，可以设置低感光灵敏度(ISO)以降低噪声，针对手机相机成像系统噪声较大的问题，还可以采用多次平均的方式缓解噪声对数据的影响。

3、对原始图像对依次进行空间位置对齐、曝光误差补偿以及颜色校准，得到配准后的图像对。

本步骤的优选实施方式如下：

1)对原始图像对分别抽取关键点特征，基于关键点特征使用随即抽样一致性算法进行特征点位置匹配，利用得到的一组匹配特征点拟合仿射变换参数，拟合从低分辨率图像变换到高分辨率图像的变换模型，从而实现从低到高分辨率图像的空间位置对齐；

2)分别求取对其后的原始图像对的全局平均值，得到对应的直流分量，再根据直流分量补偿相应图像的曝光误差。

3)分别采集原始图像对下标准色卡的样本数值，拟合三组多项式参数模型，使用拟合得到的映射函数实现从低分辨率图到高分辨率图的颜色校准。如图3所示，为基于标准色卡实现颜色校准的示意图。其中的，(a)部分为原始图像对；(b)部分为使用色块数据样本分RGB三通道拟合颜色变换参数模型。

如图4所示，以左右两部分区分，左边部分为配准前的高/低分辨率图像对，右边部分为配准后的高/低分辨率图像对；其中，上边两幅图为高分辨率图像，下边两幅图为低分辨率图像。

4、使用配准后的图像对构造训练数据集与验证数据集，并使用这两个数据集调优基于深度学习的超分辨率算法的参数，得到最优模型，从而提高超分辨率算法在真实成像系统中的重构性能。

本步骤的优选实施方式如下：

使用配准后的图像对构造训练数据集D与验证数据集V；其中，对训练数据集D中的训练数据进行裁剪得到若干相同分辨率的子图像块；然后，将剪裁得到的图像块拼接成具有相同数量图像块的图像批，用于随机梯度下降；其次，对训练数据进行包含不同角度旋转、左右与上下镜像的数据扩增操作；

将在训练数据集D中训练得到的超分辨率模型在验证数据集V上进行检验，选择恢复损失最小的模型作为最优模型。

本发明实施例上述方案，结合单反相机与手机相机镜头特点，提出两种数据采集的新算法，使用数据驱动的方式隐式建模降质过程，显著地提高了现有基于深度学习的超分辨率算法在真实成像系统中的重构性能。

为了测试本方法的有效性，我们从重构准确性与视觉质量两个方面进行验证实验。与基于常用降质模型(如Bicubic、Gaussian下采样)训练得到的超分辨率模型相比，本方法训练得到的超分辨率模型在重构准确性与视觉质量两方面取得了一致的性能改进。

图5为单反相机成像系统重构准确性结果对比，顶部两幅图像中的标记1～4为四个对比区域，后四行从上到下分别是插值、基于Bicubic(字体与上文不统一)下采样的超分辨率模型、基于Gaussian下采样的超分辨率模型、镜头超分辨率模型(本发明上述方案得到的模型)的重构结果，每一行从左到右的四个重构结果依次对应于1～4这四个对比区域。通过图5可以看出，本发明上述方案在单反相机成像系统中的重构准确性上有显著的效果改进。

图6为手机相机成像系统重构准确性结果对比。其中，(a)部分、(b)部分的顶部图像中标记的1～4为四个对比区域；(a)、(b)两部分的后两行从左到右分别是插值、基于Bicubic下采样的超分辨率模型、镜头超分辨率模型的重构结果，A部分的每一列的上下两行分别对应于1～2这两个对比区域，B部分的每一列的上下两行分别对应于3～4这两个对比区域。通过图6可以看出，本发明上述方案在单反相机成像系统中的重构准确性上有显著的效果改进。

通过上述测试可见，在单反相机与手机相机成像系统中，本方法在重构准确性上有显著的效果改进。

在视觉质量，以手机相机成像系统为例进行介绍。如图7所示，(a)部分左侧图像标记1为对比区域，其后的三个图像依次为该对比区域使用插值、基于Bicubic下采样的超分辨率模型、镜头超分辨率模型的重构结果。(b)部分左侧图像标记2～3为对比区域，其后的前三个图像依次为对比区域2使用插值、基于Bicubic下采样的超分辨率模型、镜头超分辨率模型的重构结果，后三个图像依次为对比区域3使用插值、基于Bicubic下采样的超分辨率模型、镜头超分辨率模型的重构结果。通过上述测试可见，本方法在视觉质量上同样取得了显著的效果改进。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，上述实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (5)

1.一种提高超分辨率算法重构性能的方法，其特征在于，包括：

根据成像系统的类型搭建图像采集系统；

基于搭建的图像采集系统与成像系统的类型采用特定方式采集高分辨率图与低分辨率图，作为原始图像对；

对原始图像对依次进行空间位置对齐、曝光误差补偿以及颜色校准，得到配准后的图像对；

使用配准后的图像对构造训练数据集与验证数据集，并使用这两个数据集调优基于深度学习的超分辨率算法的参数，得到最优模型，从而提高超分辨率算法在真实成像系统中的重构性能。

2.根据权利要求1所述的一种提高超分辨率算法重构性能的方法，其特征在于，所述根据成像系统的类型搭建图像采集系统包括：

对于单反相机成像系统，使用三脚架固定单反相机，设置、调整并固定单反相机与拍摄物体的距离；

对于手机相机成像系统，使用平移台与固定器稳定手机，设置并固定相对拍摄物体两个不同距离的采集点。

3.根据权利要求2所述的一种提高超分辨率算法重构性能的方法，其特征在于，所述基于搭建的图像采集系统与成像系统的类型采用特定方式采集高分辨率图与低分辨率图包括：

对于单反相机成像系统，通过调整光学可变焦镜头进行图像采集，将最大焦距下采集的图像作为高分辨率图，将最小焦距下采集的图像作为低分辨率图；

对于手机相机成像系统，通过平移相机调整相对拍摄物体的距离，将较小距离的采集点处采集的图像作为高分辨率图，将较大距离的采集点处采集的图像作为低分辨率图。

4.根据权利要求1所述的一种提高超分辨率算法重构性能的方法，其特征在于，所述对原始图像对依次进行空间位置对齐、曝光误差补偿以及颜色校准包括：

对原始图像对分别抽取关键点特征，基于关键点特征使用随即抽样一致性算法进行特征点位置匹配，利用得到的一组匹配特征点拟合仿射变换参数，拟合从低分辨率图像变换到高分辨率图像的变换模型，从而实现从低到高分辨率图像的空间位置对齐；

分别求取对其后的原始图像对的全局平均值，得到对应的直流分量，再根据直流分量补偿相应图像的曝光误差；

分别采集原始图像对下标准色卡的样本数值，拟合三组多项式参数模型，使用拟合得到的映射函数实现从低分辨率图到高分辨率图的颜色校准。

5.根据权利要求1所述的一种提高超分辨率算法重构性能的方法，其特征在于，所述使用配准后的图像对构造训练数据集与验证数据集，并使用这两个数据集调优基于深度学习的超分辨率算法的参数，得到最优模型包括：

使用配准后的图像对构造训练数据集D与验证数据集V；其中，对训练数据集D中的训练数据进行裁剪得到若干相同分辨率的子图像块；然后，将剪裁得到的图像块拼接成具有相同数量图像块的图像批，用于随机梯度下降；其次，对训练数据进行包含不同角度旋转、左右与上下镜像的数据扩增操作；

将在训练数据集D中训练得到的超分辨率模型在验证数据集V上进行检验，选择恢复损失最小的模型作为最优模型。