CN107016642B - 用于对有噪输入图像进行分辨率上调的方法和装置 - Google Patents

Abstract

在利用已知的关于有噪图像的图像分辨率上调方法的情况下，在去噪期间丢失重要的细节信息。一种用于对有噪输入图像进行分辨率上调的方法(100)包括：对有噪输入图像进行分辨率上调以获得有噪高分辨率(HR)图像，对有噪输入图像进行去噪(30)以获得去噪低分辨率(LR)图像，对去噪LR图像进行分辨率上调(40)以获得经分辨率上调的去噪LR图像，以及将有噪HR图像与经分辨率上调的去噪LR图像进行组合(50)以生成去噪HR图像。

Description

用于对有噪输入图像进行分辨率上调的方法和装置

技术领域

本发明涉及一种用于对图像进行分辨率上调(upscaling)的方法和一种用于对图像进行分辨率上调的装置。

背景技术

图像超分辨率是根据低分辨率(LR)图像生成放大的高分辨率(HR)图像的任务。该放大的图像应当保留LR图像的高频(HF)内容。通常，通过首先去噪然后分辨率上调来根据有噪LR图像获得HR图像。

WO2015121422A公开了一种噪声感知单图像超分辨率(SI-SR)算法，其在添加从较低分辨率学习的细节的同时自动地消除加性噪声。与常规的SI-SR技术相反，该方法不假设输入图像是清楚的示例源。相反，该方法利用最近且有效的就地跨分比率自相似性先知(prior)，用于学习精细细节示例以补充基于内插的经分辨率上调的图像分块并减少图像噪声。

在EP3086280中，首先通过内插获得超分辨图像的粗略估计。然后，对经分辨率上调的图像的每个分块进行平均减法和归一化，以自上而下遍历在离线训练期间获得的若干独立的分级非线性映射函数。在每个自上而下遍历期间，映射中的分层模式与归一化分块之间的相似性被组合，并且选择具有最佳相似性的映射，从而提高通过利用单一映射的替代解决方案实现的质量。然后，通过对应于所选择的映射中的所得到的线性化的局部线性映射来处理经平均减法的分块，并将其添加到粗略分块。

[Dabov2007]公开了通过两步法的图像去噪，其中每个步骤包括通过块匹配对相似分块的分组、3D变换、协同滤波级、以及对重构图像的逆3D变换和构图。在第一级期间，协同滤波器使用硬阈值设定，而在第二级期间，使用更精细的维纳(Wiener)去噪滤波器。阈值和滤波器系数的选择需要知道噪声水平。

[Dong2014]使用基于具有多个层的卷积神经网络(CNN)的方法来对图像进行分辨率上调的方案。

发明内容

已知的图像分辨率上调方法的问题是当输入图像有噪时，在去噪期间丢失重要的细节信息，这在分辨率上调期间难以恢复。

本发明提供了一种用于改善有噪图像的分辨率上调的解决方案。

在一个实施例中，一种用于对有噪输入图像进行分辨率上调的方法包括：对有噪输入图像进行分辨率上调以获得有噪高分辨率(HR)图像；对有噪输入图像进行去噪以获得去噪低分辨率(LR)图像；对去噪LR图像进行分辨率上调以获得经分辨率上调的去噪LR图像，以及对有噪HR图像和经分辨率上调的去噪LR图像进行组合，以生成去噪HR图像。

本发明还提供了一种利用该方法的装置。

根据一个实施例，计算机可读介质具有使计算机执行如实施例中所公开的方法的可执行指令。

根据一个实施例，一种用于分辨率上调的装置包括至少一个硬件组件和非瞬时性有形计算机可读存储介质，该非瞬时性有形计算机可读存储介质有形地具体实现至少一个软件组件，当该至少一个软件组件在所述至少一个硬件组件上执行时，使该至少一个硬件组件执行如实施例中所公开的方法。

在一个实施例中，至少一个硬件组件包括至少一个硬件处理器。

当结合附图考虑以下描述和所附权利要求时，本发明的其他目的、特征和优点将变得显而易见。

附图说明

参考附图描述了本发明的示例性实施例，在附图中示出了：

图1：图像分辨率上调方法的流程图；

图2：用于图像分辨率上调的装置的框图；

图3：图像去噪子系统的结构。

具体实施方式

通常，通过首先去噪然后分辨率上调来根据有噪LR图像获得HR图像。在本方法中，在一个实施例中，对有噪LR图像进行分辨率上调以获得“有噪HR”图像。该图像具有经分辨率上调的噪声，但是HF结构也被保留。首先对LR图像进行去噪然后分辨率上调以获得“去噪HR”图像。该图像没有噪声，但是它也具有较少的HF信息。为了根据有噪LR图像实现视觉上良好的HR图像，本发明将“有噪HR”与“去噪HR”进行非线性组合以产生更好的HR图像。在一个实施例中，通过阈值设定来获得非线性。通过这种组合获得的图像具有更好的PSNR，并且在视觉上也比使用常规方法获得的那些图像效果更合意。

图1在一个实施例中示出了图像分辨率上调方法的流程图。用于对有噪输入图像进行分辨率上调的方法100包括：对有噪输入图像11进行分辨率上调20以获得有噪HR图像，对有噪输入图像11进行去噪30以获得去噪LR图像，以及对去噪LR图像进行分辨率上调40以获得经分辨率上调的去噪LR图像。将有噪HR图像与经分辨率上调的去噪LR图像进行组合50以生成去噪HR图像51。

在分辨率上调20中，使用用于单图像超分辨率的方法对有噪LR输入图像进行分辨率上调。该操作产生“有噪HR”图像。还使用去噪算法对有噪LR输入图像进行去噪30以产生去噪LR图像，然后对去噪LR图像进行分辨率上调40。在一个实施例中，两个分辨率上调级20、40使用相同的SR算法。在一个实施例中，两个分辨率上调级20、40使用不同的SR算法。在一个实施例中，在分辨率上调20之后执行附加的去噪25，如图1b所示。附加的去噪25可以非常简单。使用非线性滤波器的网络对去噪HR图像和有噪HR图像进行组合以生成和输出HR图像，该HR图像是LR输入图像的经放大的高分辨率版本。

图2在一个实施例中示出了用于对有噪输入图像进行分辨率上调的装置。装置200包括第一图像分辨率上调器220，适于对有噪输入图像11进行分辨率上调20以获得有噪HR图像；图像去噪器230，适于对有噪输入图像11进行去噪30以获得去噪LR图像；第二图像分辨率上调器240，适于对去噪LR图像进行分辨率上调40以获得经分辨率上调的去噪LR图像，以及图像组合器250，适于将有噪HR图像与经分辨率上调的去噪LR图像进行组合以生成去噪HR图像51。在实施例中，组合器250将例如有噪HR图像的像素或分块与经分辨率上调的去噪LR图像的像素或分块进行组合。在一个实施例中，输入图像11被划分为重叠的分块，并且方法和/或装置的所有级被应用于这些分块。在最后级50、250中，对经处理的分块进行重叠以获得HR图像51。

在各种实施例中，第一图像分辨率上调器220、图像去噪器230和第二图像分辨率上调器240以及分辨率上调20、40和去噪30中的一个或多个分别包括如下所述的各种滤波器。原则上，可以使用任何FIR滤波器类型。然而，在一个实施例中，训练可以优化(即，修改)滤波器类型、滤波器大小和滤波系数。在其他实施例中，训练仅优化滤波器大小和/或滤波器系数，而滤波器类型是给定的。

原则上，使用三个子系统：图像去噪子系统、图像超分辨率子系统和图像组合子系统。

图像去噪子系统执行图像去噪。图像去噪的目的是在保持图像中的高频细节(即，边缘、纹理等)的同时去除噪声。图像去噪子系统基于滤波器组。在图3所示的一个实施例中，去噪子系统300的五级架构使用第一去噪滤波310、第一阈值设定320、第二去噪滤波330、第二阈值设定340和第三去噪滤波350。原则上，第一去噪滤波310和第一阈值设定320一起可以被理解为非线性滤波器。这同样适用于第二去噪滤波330和第二阈值设定340。另一方面，第一阈值设定320和第二去噪滤波330一起也可以被认为是非线性滤波器，并且这同样适用于第二阈值设定340和第三去噪滤波350。因此，去噪子系统300是非线性滤波器的网络。

在一个实施例中，第一滤波级310具有64个空间大小为9x9个像素的滤波器。为了对有噪输入与去噪输出之间的非线性进行建模，在每个滤波级之后使用阈值设定单元320、340。这种阈值设定允许正输入值通过，而使负值等于零。使用具有不同数目的滤波器和不同的空间滤波器支持(即，使用的像素)的这两个级的级联。架构300的最后一级350再次是滤波操作。示例性整体配置如表1所示。

级	滤波器的数目/操作类型	空间支持
			1	64/滤波	9x9
2	1/阈值设定	1x1
			3	64/滤波	7x7
4	1/阈值设定	1x1
			5	1/滤波	5x5

表1：示例性图像去噪子系统的配置

在一个实施例中，滤波器中的一些或全部的系数被随机初始化，然后使用被称为反向传播的机器学习算法被学习。机器学习算法的结果取决于使用的训练图像，但是通常类似于表1所示的结果。

图像去噪子系统的一个效果是具有例如高斯噪声的有噪LR输入图像在应用图像去噪之后具有较少的噪声，但是它也比输入更平滑。

图像超分辨率子系统对LR图像执行分辨率上调以提供具有保留的高频内容的放大图像。在一个实施例中，同样基于滤波的方法用于该子系统，但是具有不同的滤波器布置。在一个实施例中，滤波器的示例性配置如表2所示。它也使用具有滤波和阈值设定操作的级联布置的五级架构。图3所示的结构类似地适用于去噪子系统。

级	滤波器的数目/操作类型	空间支持
			1	64/滤波	9x9
2	1/阈值设定	1x1
			3	32/滤波	1x1
4	1/阈值设定	1x1
			5	1/滤波	5x5

表2：示例性图像超分辨率子系统的配置

可以使用各种分辨率上调因子。例如，分辨率上调因数2(每维)给出了在两个空间维度中具有输入图像的双倍大小的输出图像。

有噪HR图像保留HF内容(这是有益的)，但是也包含噪声。另一方面，去噪HR图像具有较少的噪声，但是图像更平滑。本发明将这两个图像进行组合以产生具有降低的噪声以及HF内容的最终图像。

图像组合子系统将有噪HR与去噪HR图像进行组合以产生最终输出HR图像。该网络确定输入图像和相应的输出HR图像之间的非线性映射。在一个实施例中，使用基于滤波器的网络来找到非线性映射。它使用与用于图像去噪和图像超分辨率的滤波网络类似的架构。在一个实施例中，图3示出了等效于用于对输入图像进行组合的网络架构的网络架构。在一个实施例中，组合50使用包括第一组合滤波、第一阈值设定、第二组合滤波、第二阈值设定和第三组合滤波的五级滤波序列。表3示出了组合子系统的示例性配置参数。

级	滤波器的数目/操作类型	空间支持
			1	64/滤波	7x7
2	1/阈值设定	1x1
			3	32/滤波	3x3
4	1/阈值设定	1x1
			5	1/滤波	5x5

表3组合子系统的配置

由这种非线性网络产生的输出图像具有比常规去噪的HR图像更好的PSNR(即，更少的噪声)，例如，对于具有方差为5的高斯噪声的图像，PSNR增加约2dB，并且在视觉上更合意。

在一个实施例中，可以通过使用三个子系统的所谓反向传播来执行训练。该算法计算误差关于系统中的权重(即，滤波系数)的导数。误差是期望的输出图像与系统产生的输出之差。在一个实施例中，将地面真值与系统的输出图像之间的平方差用作误差度量。然后，可以计算误差关于权重的导数。可以通过使误差的导数等于零来计算针对权重的权重更新。通过使用导数的链规则，误差的梯度从输出级中的权重向后传播到输入级中的权重。在一个实施例中，例如在输出级中或在训练级中进行这种权重调节。少量的训练图像(例如91个训练图像)足以训练网络。对于该训练，从图像中提取更小的分块。例如，对于所有三个子系统，合理的训练分块大小是32×32个像素。

本发明的一个优点是其适于有效地对LR图像进行分辨率上调和去噪，所述LR图像包括各种噪声类型，例如，高斯、胶片噪点、编码伪像等。也就是说，相同的网络架构可以用于所有类型的噪声，对于传统技术而言并非如此。

所公开的方法的一个优点是其在客观评估(PSNR)和主观评估(视觉外观)方面实现了更好质量的HR图像。

根据所使用的训练策略，如果输入图像的噪声水平是已知的，则训练结果可能更好。

动词“包括”及其变形的使用不排除存在除了权利要求中所述的元件或步骤之外的元件或步骤。此外，元件之前的冠词“一”或“一个”的使用不排除存在多个这样的元件。几个“装置”可以由相同的硬件项来表示。此外，本发明在于每个新颖特征或特征组合。

如本文所使用的，“分辨率上调”或“去噪”不描述单纯的数学抽象，而是表示具体实现在能够由机器或装置检测的物理介质中或由其承载的信息。该术语包括记录或传输的信号，并且应当被理解为包括通过任何形式的编码(包括脉冲编码调制(PCM)，但不限于PCM)的传输。

虽然已经示出、描述和指出了应用于本发明的优选实施例的本发明的基本新颖特征，但是将理解的是，所描述的装置和方法中的各种省略、替换和改变在所公开的设备的形式和细节方面可以由本领域技术人员在不脱离本发明的精神的情况下做出。明确地期望以实质上相同的方式执行实质上相同的功能以实现相同结果的那些元件的所有组合落入本发明的范围内。将元件从一个描述的实施例替换到另一个实施例也是完全预期和设想的。

应当理解，仅通过举例说明的方式描述了本发明，并且在不脱离本发明的范围的情况下可以对细节进行修改。

可以独立地或以任何适当的组合提供说明书以及(在适当的情况下)权利要求和附图中公开的每个特征。可以在适当的情况下以硬件、软件或两者的组合来实现特征。在适当的情况下，连接可以被实现为无线连接或有线(不一定是直接或专用)连接。

权利要求中出现的附图标记仅仅是说明性的，并且对权利要求的范围没有限制作用。

引用文献

WO2015121422A；

EP3086280；

[Dabov2007]Dabov等的“Image denoising by sparse 3D transform-domaincollaborative filtering”，Transaction on Image Processing 2007；

[Dong2014]Dong等的“Learning a Deep Convolutional Network for ImageSuper-Resolution”，Proceedings of European Conference on Computer Vision(ECCV)，2014。

Claims (16)

1.一种用于对有噪输入图像进行分辨率上调的方法，其特征在于，包括：

对所述有噪输入图像进行分辨率上调以获得有噪高分辨率图像；

对所述有噪输入图像进行去噪以获得去噪低分辨率图像；

对所述去噪低分辨率图像进行分辨率上调以获得经分辨率上调的去噪低分辨率图像；以及

通过一系列非线性滤波将所述有噪高分辨率图像和所述经分辨率上调的去噪低分辨率图像进行组合以生成去噪高分辨率图像。

2.根据权利要求1所述的方法，其特征在于，所述对所述有噪输入图像进行分辨率上调和所述对所述去噪低分辨率图像进行分辨率上调使用相同的分辨率上调方法。

3.根据权利要求1所述的方法，其特征在于，所述组合使用非线性滤波器的网络，其中所述非线性是通过阈值设定获得的。

4.根据权利要求1至3中任一项所述的方法，其特征在于，所述去噪使用包括第一去噪滤波、第一阈值设定、第二去噪滤波、第二阈值设定和第三去噪滤波的五级滤波序列。

5.根据权利要求1至3中任一项所述的方法，其特征在于，所述分辨率上调使用包括第一分辨率上调滤波、第一阈值设定、第二分辨率上调滤波、第二阈值设定和第三分辨率上调滤波的五级滤波序列。

6.根据权利要求1至3中任一项所述的方法，其特征在于，所述组合使用包括第一组合滤波、第一阈值设定、第二组合滤波、第二阈值设定和第三组合滤波的五级滤波序列。

7.根据权利要求3所述的方法，其特征在于，所述阈值设定将负值设置为零，并且使正值不变。

8.根据权利要求4所述的方法，其特征在于，用于滤波的滤波器的系数和维度被随机初始化，然后在训练阶段中通过使用机器学习算法被训练。

9.根据权利要求4所述的方法，其特征在于，用于滤波的滤波器的维度是预定义的，并且用于滤波的滤波器的系数被随机初始化，然后在训练阶段中通过使用机器学习算法被训练。

10.根据权利要求1至3中任一项所述的方法，其特征在于，所述分辨率上调、去噪和组合使用图像分块。

11.一种用于对有噪输入图像进行分辨率上调的装置，其特征在于，包括：

第一图像分辨率上调器，适于对所述有噪输入图像进行分辨率上调以获得有噪高分辨率图像；

图像去噪器，适于对所述有噪输入图像进行去噪以获得去噪低分辨率图像；

第二图像分辨率上调器，适于对所述去噪低分辨率图像进行分辨率上调以获得经分辨率上调的去噪低分辨率图像；以及

图像组合器，适于通过一系列非线性滤波对所述有噪高分辨率图像的像素或分块与经分辨率上调的去噪低分辨率图像的像素或分块进行组合以生成去噪高分辨率图像。

12.根据权利要求11所述的装置，其特征在于，所述对所述有噪输入图像进行分辨率上调和所述对所述去噪低分辨率图像进行分辨率上调使用相同的分辨率上调方法。

13.根据权利要求11所述的装置，其特征在于，所述图像组合器被配置为使用非线性滤波器的网络，其中所述非线性是通过阈值设定获得的。

14.根据权利要求11至13中任一项所述的装置，其特征在于，所述图像去噪器被配置为使用包括第一去噪滤波、第一阈值设定、第二去噪滤波、第二阈设定和第三去噪滤波的五级滤波序列。

15.根据权利要求11至13中任一项所述的装置，其特征在于，所述分辨率上调使用包括第一分辨率上调滤波、第一阈值设定、第二分辨率上调滤波、第二阈值设定和第三分辨率上调滤波的五级滤波序列。

16.一种非易失性计算机可读存储介质，其特征在于，包括计算机可执行指令，使得计算机能够执行包括以下操作的方法：

对有噪输入图像进行分辨率上调以获得有噪高分辨率图像；

对所述有噪输入图像进行去噪以获得去噪低分辨率图像；

对所述去噪低分辨率图像进行分辨率上调以获得经分辨率上调的去噪低分辨率图像；以及

通过一系列非线性滤波将所述有噪高分辨率图像和所述经分辨率上调的去噪低分辨率图像进行组合以生成去噪高分辨率图像。

Images