CN116029907B - 一种图像降分辨率模型的处理方法、装置以及处理设备 - Google Patents

Abstract

本申请提供了一种图像降分辨率模型的处理方法、装置以及处理设备，通过模型中对偶学习闭环在生成的高分辨率图像与输入的高分辨率图像间实施自监督学习，从而可以促使图像降分辨率模型实现保留更多细节的图像降分辨率效果。方法包括：配置样本图像；将样本图像输入初始的图像降分辨率模型，进行模型训练，图像降分辨率模型包括对偶深度学习结构，降分辨率网络将输入的高分辨率图像转变为对应的低分辨率图像，超分辨率网络将输入的低分辨率图像转化为对应的高分辨率图像，降分辨率网络由损失函数来约束生成的高分辨率图像和样本图像之间的相似性，超分辨率网络由损失函数来约束生成的低分辨率图像之间的相似性；获取完成训练的图像降分辨率模型。

Description

一种图像降分辨率模型的处理方法、装置以及处理设备

技术领域

本申请涉及图像处理领域，具体涉及一种图像降分辨率模型的处理方法、装置以及处理设备。

背景技术

图像下采样技术是一种较为基本的图像处理，其用来降低图像的空间分辨率，广泛应用于涉及图像预处理或后处理的场合，例如，通过下采样降低图像尺寸，从而降低压缩图像的通信带宽或存储空间需求，降低图像分辨率还可以适应显示器的分辨率。不仅如此，在图像处理或计算机视觉任务中，图像下采样可以服务于算法模型特定的设计需要，例如，利用下采样后的图像进行计算可以显著降低运算复杂度，一些算法模型需要统一输入图像尺寸，下采样后的低尺度图像往往具有对噪声干扰鲁棒的处理优势。

现有的图像下采样主要基于图像插值方法，包括经典的最近邻插值、双线性插值、双立方插值，也包括更为复杂的Lanczos插值、Sinc函数内插、样条插值、非局部平均、双边滤波器。

然而，本申请发明人发现，现有技术中依赖于上述图像差值方法的图像下采样方案，存在高频信息缺失的问题，而这会明显降低纹理、边缘等细节内容丰富区域的保真度，如果处理的图像本身就不是足够清晰，还会进一步加重模糊效应，问题更为凸显。

发明内容

本申请提供了一种图像降分辨率模型的处理方法、装置以及处理设备，通过模型中对偶学习闭环在生成的高分辨率图像与输入的高分辨率图像间实施自监督学习，从而可以促使图像降分辨率模型实现保留更多细节的图像降分辨率效果。

第一方面，本申请提供了一种图像降分辨率模型的处理方法，方法包括：

配置样本图像，其中，样本图像为用于训练模型将输入的高分辨率图像转化为低分辨率图像的图像；

将样本图像输入初始的图像降分辨率模型，进行模型训练，其中，图像降分辨率模型包括对偶深度学习结构，对偶深度学习结构由降分辨率网络与超分辨率网络通过级联构成一个对偶学习闭环，降分辨率网络将输入的高分辨率图像转变为对应的低分辨率图像，超分辨率网络将输入的低分辨率图像转化为对应的高分辨率图像，在训练过程中降分辨率网络由损失函数来约束生成的高分辨率图像和样本图像之间的相似性，超分辨率网络由损失函数来约束生成的低分辨率图像之间的相似性；

获取完成训练的图像降分辨率模型。

结合本申请第一方面，在本申请第一方面第一种可能的实现方式中，降分辨率网络依次包括卷积层、密集残差计算单元和亚像素卷积下采样层；

卷积层将输入的图像转化为初始特征图；

密集残差计算单元由若干个并行残差块PRB通过跳过连接构成，对卷积层传输过来的初始特征图执行深层次的特征提取与融合；

亚像素卷积下采样层将密集残差计算单元传输过来的特征图转换到低分辨率的图像空间。

结合本申请第一方面第一种可能的实现方式，在本申请第一方面第二种可能的实现方式中，卷积层由维度为3×3×64的卷积核和PReLu激活层构成，并行残差块PRB由3×3×64的卷积核和1×1×64的卷积核两者通过并行密集连接构成。

结合本申请第一方面，在本申请第一方面第三种可能的实现方式中，图像降分辨率模型还包括低分辨率图像副本集构建结构；

低分辨率图像副本集构建结构对样本图像，利用不同插值下采样方法进行下采样，得到n个低分辨率图像副本，作为低分辨率图像副本集，并对低分辨率图像副本集中的每一张图像采用百分制进行质量打分，分数记作S_i，用来衡量在对应插值下采样方法下的图像质量，以提供具有不同统计表现的副本图像，指引后续的模型训练。

结合本申请第一方面第三种可能的实现方式，在本申请第一方面第四种可能的实现方式中，损失函数具体为以下的函数内容构建得到：

对于给定的两张图像x、y，L2与交叉熵混合损失定义为：

L(x,y,λ)＝λL₂(x,y)+(1-λ)CE(x,y)，

其中，λ为权重参数， 为L2损失，CE(x,y)＝-h(x)^T log(h(y))，T为向量转置，h(·)为图像的灰度直方图列向量；

超分辨率网络的损失计算为：

Lsr＝L(I_hr,I_sr,λ)，

其中，I_hr为输入的高分辨率图像，I_sr为超分辨率网络输出的高分辨率图像；

降分辨率网络的损失计算为：

其中，n为副本集中每张高分辨率图像对应的低分辨率图像个数，α_i为每个副本图像的损失权重，通过质量分数S_i进行归一化计算得到，为低分辨率图像副本集中的第i张图像，I_lr为降分辨率网络输出的低分辨率图像；

整个模型的损失函数为：

L_total＝βL_sr+(1-β)L_rr，

其中，β为权重参数。

结合本申请第一方面，在本申请第一方面第五种可能的实现方式中，不同插值下采样方法包括最近邻插值采样方法、双线性插值采样方法、双立方插值采样方法、Lanczos插值采样方法、Sinc函数插值采样方法、样条插值采样方法、非局部平均插值采样方法和双边滤波器插值采样方法中的任意组合。

结合本申请第一方面，在本申请第一方面第六种可能的实现方式中，方法还包括：

获取待降分辨率的初始图像；

将初始图像输入图像降分辨率模型，并获得图像降分辨率模型对初始图像进行降分辨率后的目标图像。

第二方面，本申请提供了一种图像降分辨率模型的处理装置，装置包括：

配置单元，用于配置样本图像，其中，样本图像为用于训练模型将输入的高分辨率图像转化为低分辨率图像的图像；

训练单元，用于将样本图像输入初始的图像降分辨率模型，进行模型训练，其中，图像降分辨率模型包括对偶深度学习结构，对偶深度学习结构由降分辨率网络与超分辨率网络通过级联构成一个对偶学习闭环，降分辨率网络将输入的高分辨率图像转变为对应的低分辨率图像，超分辨率网络将输入的低分辨率图像转化为对应的高分辨率图像，在训练过程中降分辨率网络由损失函数来约束生成的高分辨率图像和样本图像之间的相似性，超分辨率网络由损失函数来约束生成的低分辨率图像之间的相似性；

获取单元，用于获取完成训练的图像降分辨率模型。

结合本申请第二方面，在本申请第二方面第一种可能的实现方式中，降分辨率网络依次包括卷积层、密集残差计算单元和亚像素卷积下采样层；

卷积层将输入的图像转化为初始特征图；

密集残差计算单元由若干个并行残差块PRB通过跳过连接构成，对卷积层传输过来的初始特征图执行深层次的特征提取与融合；

亚像素卷积下采样层将密集残差计算单元传输过来的特征图转换到低分辨率的图像空间。

结合本申请第二方面第一种可能的实现方式，在本申请第二方面第二种可能的实现方式中，卷积层由维度为3×3×64的卷积核和PReLu激活层构成，并行残差块PRB由3×3×64的卷积核和1×1×64的卷积核两者通过并行密集连接构成。

结合本申请第二方面，在本申请第二方面第三种可能的实现方式中，图像降分辨率模型还包括低分辨率图像副本集构建结构；

低分辨率图像副本集构建结构对样本图像，利用不同插值下采样方法进行下采样，得到n个低分辨率图像副本，作为低分辨率图像副本集，并对低分辨率图像副本集中的每一张图像采用百分制进行质量打分，分数记作S_i，用来衡量在对应下插值采样方法下的图像质量，以提供具有不同统计表现的副本图像，指引后续的模型训练。

结合本申请第二方面第三种可能的实现方式，在本申请第二方面第四种可能的实现方式中，损失函数具体为以下的函数内容构建得到：

对于给定的两张图像x、y，L2与交叉熵混合损失定义为：

L(x,y,λ)＝λL₂(x,y)+(1-λ)CE(x,y)，

其中，λ为权重参数， 为L2损失，CE(x,y)＝-h(x)^T log(h(y))，T为向量转置，h(·)为图像的灰度直方图列向量；

超分辨率网络的损失计算为：

Lsr＝L(I_hr,I_sr,λ)，

其中，I_hr为输入的高分辨率图像，I_sr为超分辨率网络输出的高分辨率图像；

降分辨率网络的损失计算为：

其中，n为副本集中每张高分辨率图像对应的低分辨率图像个数，α_i为每个副本图像的损失权重，通过质量分数S_i进行归一化计算得到，为低分辨率图像副本集中的第i张图像，I_lr为降分辨率网络输出的低分辨率图像；

整个模型的损失函数为：

L_total＝βL_sr+(1-β)L_rr，

其中，β为权重参数。

结合本申请第二方面，在本申请第二方面第五种可能的实现方式中，不同插值下采样方法包括最近邻插值采样方法、双线性插值采样方法、双立方插值采样方法、Lanczos插值采样方法、Sinc函数插值采样方法、样条插值采样方法、非局部平均插值采样方法和双边滤波器插值采样方法中的任意组合。

结合本申请第二方面，在本申请第二方面第六种可能的实现方式中，装置还包括应用单元，用于：

获取待降分辨率的初始图像；

将初始图像输入图像降分辨率模型，并获得图像降分辨率模型对初始图像进行降分辨率后的目标图像。

第三方面，本申请提供了一种处理设备，包括处理器和存储器，存储器中存储有计算机程序，处理器调用存储器中的计算机程序时执行本申请第一方面或者本申请第一方面任一种可能的实现方式提供的方法。

第四方面，本申请提供了一种计算机可读存储介质，计算机可读存储介质存储有多条指令，指令适于处理器进行加载，以执行本申请第一方面或者本申请第一方面任一种可能的实现方式提供的方法。

从以上内容可得出，本申请具有以下的有益效果：

针对于图像降分辨率需求，本申请配置图像降分辨率模型时，设置了一对偶深度学习结构，该对偶深度学习结构由降分辨率网络与超分辨率网络通过级联构成一个对偶学习闭环，降分辨率网络将输入的高分辨率图像转变为对应的低分辨率图像，超分辨率网络将输入的低分辨率图像转化为对应的高分辨率图像，在训练过程中降分辨率网络由损失函数来约束生成的高分辨率图像和样本图像之间的相似性，超分辨率网络由损失函数来约束生成的低分辨率图像之间的相似性，由此训练过程中通过该对偶学习闭环在生成的高分辨率图像与输入的高分辨率图像间实施自监督学习，从而可以促使图像降分辨率模型实现保留更多细节的图像降分辨率效果。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请图像降分辨率模型的处理方法的一种流程示意图；

图2为本申请降分辨率网络的一种结构示意图；

图3为本申请并行残差块PRB的一种结构示意图；

图4为本申请超分辨率网络的一种结构示意图；

图5为本申请基于对偶深度学习的一种图像降分辨率框架图；

图6为本申请图像降分辨率模型的处理装置的一种结构示意图；

图7为本申请处理设备的一种结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块。在本申请中出现的对步骤进行的命名或者编号，并不意味着必须按照命名或者编号所指示的时间/逻辑先后顺序执行方法流程中的步骤，已经命名或者编号的流程步骤可以根据要实现的技术目的变更执行次序，只要能达到相同或者相类似的技术效果即可。

本申请中所出现的模块的划分，是一种逻辑上的划分，实际应用中实现时可以有另外的划分方式，例如多个模块可以结合成或集成在另一个系统中，或一些特征可以忽略，或不执行，另外，所显示的或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，模块之间的间接耦合或通信连接可以是电性或其他类似的形式，本申请中均不作限定。并且，作为分离部件说明的模块或子模块可以是也可以不是物理上的分离，可以是也可以不是物理模块，或者可以分布到多个电路模块中，可以根据实际的需要选择其中的部分或全部模块来实现本申请方案的目的。

在介绍本申请提供的图像降分辨率模型的处理方法之前，首先介绍本申请所涉及的背景内容。

本申请提供的图像降分辨率模型的处理方法、装置以及计算机可读存储介质，可应用于处理设备，通过模型中对偶学习闭环在生成的高分辨率图像与输入的高分辨率图像间实施自监督学习，从而可以促使图像降分辨率模型实现保留更多细节的图像降分辨率效果。

本申请提及的图像降分辨率模型的处理方法，其执行主体可以为图像降分辨率模型的处理装置，或者集成了该图像降分辨率模型的处理装置的服务器、物理主机甚至用户设备(User Equipment，UE)等不同类型的处理设备。其中，图像降分辨率模型的处理装置可以采用硬件或者软件的方式实现，UE具体可以为智能手机、平板电脑、笔记本电脑、台式电脑或者个人数字助理(Personal Digital Assistant，PDA)等终端设备，处理设备还可以通过设备集群的方式设置。

应当理解，在实际应用中，处理设备的具体设备形式是随实际需求/实际情况进行灵活调整的，主要可以考虑执行模型训练任务的工作人员所在工作环境还有训练完模型后的模型应用环境这两个方面的因素，来部署处理设备、应用本申请所提供的图像降分辨率模型的处理方法。

作为一个实例，处理设备具体可以为方便人机交互且具有较大算力的台式电脑，若还考虑到利用云服务来训练模型、应用模型，则处理设备本身还可以划分为不同位置的设备节点来部署各自节点的功能服务。

下面，开始介绍本申请提供的图像降分辨率模型的处理方法。

首先，参阅图1，图1示出了本申请图像降分辨率模型的处理方法的一种流程示意图，本申请提供的图像降分辨率模型的处理方法，具体可包括如下步骤S101至步骤S103：

步骤S101，配置样本图像，其中，样本图像为用于训练模型将输入的高分辨率图像转化为低分辨率图像的图像；

可以理解，本申请针对的是图像降分辨率处理，主要内容涉及的是模型的训练，因此，从模型训练的角度开始介绍本申请所涉及的技术方案，对应于模型训练，则需要配置相应的样本图像，来为后面的模型训练提供初始的图像依据。

其中，此处所涉及的样本图像的配置处理，既可以为现成图像的提取处理，例如由人工输入，又例如从相应的存储地址进行调取，或者，也可以为图像的实时生成处理或者实时拍摄处理，显然，作为原始图像的样本图像在其配置过程中，具体配置方式是可以灵活多变的，随实际情况/实际需要进行设置即可，本申请并不对初始样本图像的配置处理做相应的优化处理，该环节是与现有技术类似的，因此不再加以赘述。

步骤S102，将样本图像输入初始的图像降分辨率模型，进行模型训练，其中，图像降分辨率模型包括对偶深度学习结构，对偶深度学习结构由降分辨率网络与超分辨率网络通过级联构成一个对偶学习闭环，降分辨率网络将输入的高分辨率图像转变为对应的低分辨率图像，超分辨率网络将输入的低分辨率图像转化为对应的高分辨率图像，在训练过程中降分辨率网络由损失函数来约束生成的高分辨率图像和样本图像之间的相似性，超分辨率网络由损失函数来约束生成的低分辨率图像之间的相似性；

对于图像降分辨率模型所负责的图像降分辨率处理，可以理解，现有图像降分辨率处理中依赖于图像差值算法，但是图像差值算法存在高频信息缺失的问题，而这会明显降低纹理、边缘等细节内容丰富区域的保真度，如果处理的图像本身就不是足够清晰，还会进一步加重模糊效应，问题更为凸显。

本申请引入了深度学习神经网络的应用，若还是如现有技术照依赖于图像差值算法，该问题仍会存在，并且，在图像降分辨率任务中，与图像超分辨率任务不同的是，对于给定的高分辨率图像，其对应的实际低分辨率图像是未知的，从而给基于低高样本对训练的深度学习建模带来困难，进一步具体分析如下：

(1)如果采用类似图像超分辨率任务中的那种下采样的方式获取高低分辨率样本对，即，将已知的高分辨率图像下采样为低分辨率图像，从而形成高低分辨率样本对，此种样本对形成机制中，高分辨率样本是真实的而低分辨率样本是生成的。在图像超分辨率任务中，用于监督的是真实的高分辨率样本，而在图像降分辨率任务中，用于监督的则是生成的低分辨率样本。前者用真实的高分辨率样本监督，所以不妨碍模型的训练，而后者用生成的非真实的低分辨率样本作为监督，这种情况下，模型训练得最充分的条件下获得的能力也只是局限于低分辨率样本的统计性，也就是最好的情况也只能生成与样本集制作方法一样的低分辨率样本，比如，如果样本集制作时采用的双立方插值下采样，那么最终的深度学习模型也只能学习到双立方插值的映射规律，给出的性能充其量也就是双立方插值的效果。显而易见，这种训练机制下获得的降分辨率深度学习模型只是传统方法的翻版，并不能实现真正的性能提升，存在其明显的局限性；

(2)如上所述，用算法生成的低分辨率样本作为监督，训练出来的只是一个伪深度学习模型，并没有抓住真实数据的规律。那么利用真实的低分辨率样本作为监督，效果又如何呢？首先，构造高低分辨率均是自然界真实图像的样本集比较困难，需要用高低分辨率的相机对着同一场景按同一角度同步拍摄。其次，由于这样采集的样本不会像素级对齐，模型构建更为复杂，需要非配对样本学习机制的支持。最后，也是最关键的，从信息量角度看，真实的低分辨率样本并不见得是最忠实于原始高分辨率版本的唯一可能；道理在于，同步拍摄的高分辨率图像肯定比低分辨率图像携带更多的信息量，通过一种信息保持的理想下采样策略得到的低分辨率版本若能最大限度保有高分辨率版本的信息量，其信息量将超过真实低分辨率版本，举个简单例子，远距离拍摄行人，高分辨率拍摄很清晰，低分辨率拍摄可能不清晰，将清晰的高分辨率图像下采样时，如果只降低背景的分辨率而尽量不降低人脸的分辨率，那么得到的降分辨率图像比真实拍摄的低分辨率图像的主观感受更好。

对此，本申请在图像降分辨率模型中，配置了一对偶深度学习结构，简要来说，其为高分辨率-低分辨率-高分辨率的对偶深度学习结构，驱动整个模型的训练，使得可以利用输入的高分辨率图像监督模型优化。

需要理解的是，此处并不是说仅执行一次将输入模型的高分辨率图像经低分辨率处理后又转换回高分辨率图像的，后续可以依照该处理进行N个循环，以此实现高效化的自主监督学习。

具体的，该对偶深度学习结构由降分辨率网络与超分辨率网络通过级联构成一个对偶学习闭环，其中：

降分辨率网络将输入的高分辨率图像转变为对应的低分辨率图像；

超分辨率网络将输入的低分辨率图像转化为对应的高分辨率图像。

在该情况下，在训练过程中降分辨率网络由损失函数来约束生成的高分辨率图像和样本图像之间的相似性，超分辨率网络由损失函数来约束生成的低分辨率图像之间的相似性。

因此，训练过程中可以通过该对偶学习闭环在生成的高分辨率图像与输入的高分辨率图像间实施自监督学习，进而促使图像降分辨率模型实现保留更多细节的图像降分辨率效果，克服了单纯依赖低分辨率图像监督的缺陷，从而可以驱动降分辨率深度学习网络生成保真度更高的低分辨率结果。

步骤S103，获取完成训练的图像降分辨率模型。

应当理解，此处对于完成训练的图像降分辨率模型的获取处理，是比较灵活的，既可以是在收到模型训练完成的信号时所进行的模型保存处理，也可以是将完成训练的图像降分辨率模型转发至相应设备，还可以涉及到相关应用环境的模型部署处理等等，其中，还可以同时配置多种的具体获取方式，以便适配实际应用中的各种需求。

从以上实施例可看出，针对于图像降分辨率需求，本申请配置图像降分辨率模型时，设置了一对偶深度学习结构，该对偶深度学习结构由降分辨率网络与超分辨率网络通过级联构成一个对偶学习闭环，降分辨率网络将输入的高分辨率图像转变为对应的低分辨率图像，超分辨率网络将输入的低分辨率图像转化为对应的高分辨率图像，在训练过程中降分辨率网络由损失函数来约束生成的高分辨率图像和样本图像之间的相似性，超分辨率网络由损失函数来约束生成的低分辨率图像之间的相似性，由此训练过程中通过该对偶学习闭环在生成的高分辨率图像与输入的高分辨率图像间实施自监督学习，从而可以促使图像降分辨率模型实现保留更多细节的图像降分辨率效果。

继续对上述图1所示实施例的各个步骤及其在实际应用中可能的实现方式进行详细阐述。

对于对偶深度学习结构中的降分辨率网络，本申请还为其提供了一种具体的优化设计，为方便理解，还可以结合图2示出的本申请降分辨率网络的一种结构示意图，其具体可以为以下结构内容：

降分辨率网络依次包括卷积层、密集残差计算单元和亚像素卷积下采样层；

卷积层将输入的图像转化为初始特征图；

密集残差计算单元由若干个并行残差块PRB通过跳过连接构成，对卷积层传输过来的初始特征图执行深层次的特征提取与融合；

亚像素卷积下采样层将密集残差计算单元传输过来的特征图转换到低分辨率的图像空间。

其中，PRB，即Parallel Residual Blocks，并行残差块。

可以理解，通过此处实施例中在降分辨率处理过程中引入若干个并行残差块PRB，即，在网络设计时构建了二维并行密集连接残差块结构，可以使得降分辨率网络具有更多的连接路径，进而可以有效提升复杂图像内容的特征表达精度，以获得更为精细化、更多细节的特征图。

而对于亚像素卷积下采样层，其执行的特征图的降分辨率处理，其具体采样操作如下：

对于采样因子r，通过卷积先得到r²个W/r×H/r分辨率的特征图，然后将这些特征图进行平均得到低分辨率的图像输出，这里W、H分别为输入的高分辨率图像的宽度与高度。

此外，此处实施例中的并行残差块PRB，本申请对其还有着更为深层的优化设计，对应于并行残差块PRB的结构设计，降分辨率网络中前面的卷积层具体可以由维度为3×3×64的卷积核(可以记作N64f3)和PReLu激活层构成，而卷积层后面的并行残差块PRB则具体可以由3×3×64的卷积核(可以记作N64f3)和1×1×64的卷积核(可以记作N64f1)两者通过并行密集连接构成。

为方便理解，还可以结合图3示出的本申请并行残差块PRB的一种结构示意图，相比于传统的一维串行密集连接方式，并行密集连接方式通过二维并行结构相连，提供了更多的连接路径，因而更为擅长提取更复杂多样的图像特征模式。

对于对偶深度学习结构中的超分辨率网络，可以理解，其对应于对偶设计，网络结构是降分辨率网络的对偶版本，其具体结构可以参考图4示出的本申请超分辨率网络的一种结构示意图。

与前面实施例中降分辨率网络的唯一区别在于亚像素卷积上采样层的设计，亚像素卷积上采样操作如下：对于采样因子r，通过卷积先得到r²个W/r×H/r分辨率的特征图，然后将这些特征图进行像素重组得到W×H的高分辨率输出，这里W、H分别为输入的高分辨率图像的宽度与高度。

类似的，基于对偶设计的网络结构，降分辨率网络可以实现前面实施例中超分辨率网络的相关优点，因此此处不再加以赘述。

此外，本申请在图像降分辨率模型中，为进一步加强模型的降分辨率效果，在实际应用中，还可以继续对模型结构继续进行优化，以提高模型性能。

作为又一种优化设计方案，图像降分辨率模型还可以包括低分辨率图像副本集构建结构，对于该低分辨率图像副本集构建结构，其工作原理为：

低分辨率图像副本集构建结构对样本图像，利用不同插值下采样方法进行下采样，得到n个低分辨率图像副本，作为低分辨率图像副本集，并对低分辨率图像副本集中的每一张图像采用百分制进行质量打分，分数记作S_i，用来衡量在对应插值下采样方法下的图像质量，以提供具有不同统计表现的副本图像，指引后续的模型训练。

其中，n可以为任意数量级，例如n＝5。

可以理解，通过此处实施例的设置，可以遵循现有技术中的差值下采样方法来获得一定数量的副本图像，通过打分来标识其对应的下采样质量，如此在模型的训练过程中，可以作为引导，或者说，为每次完成图像降分辨率处理的结果提供比较、参考，来辅助模型的训练，训练出可以捕捉到更多细节的、更为精确的图像降分辨率效果。

具体来说，每种差值下采样方法/策略对应一个副本，差值下采样方法/策略之间各有优劣(在纹理清晰度、边缘锐利度、锯齿效应等的效果不同)，从而使得生成的副本图像具有不同的统计表现，拥有一定的信息互补性，因此，此处实施例通过构建的具有统计多样性和主观质量评分的低分辨率图像副本集，可以充分利用不同副本图像间的信息互补性和质量等级，来提升后续低分辨率图像的生成精度。

其中，此处涉及的差值下采样方法，最近邻插值采样方法、双线性插值采样方法、双立方插值采样方法、Lanczos插值采样方法、Sinc函数插值采样方法、样条插值采样方法、非局部平均插值采样方法和双边滤波器插值采样方法等值采样方法中的任意组合。

对于这些差值采样方法，考虑到其本身属于现有方法，因此本申请不再加以赘述。

而在具体的模型训练过程中，可以理解的是，涉及到了损失函数的应用，对于模型的训练，简要来说，包括将样本图像输入到模型中，使得模型对其执行图像降分辨率处理并得到图像降分辨率处理结果，完成正向传播，再根据图像降分辨率处理结果计算损失函数，并根据损失函数计算结构来优化模型参数，完成反向传播。

对于本申请模型训练中所涉及的损失函数，本申请在实际应用中也有着一优化设计，具体的，模型训练的损失函数包括两部分，一部分度量图像内容相似度，采用L2损失；另外一部分度量图像信息熵的一致性，采用交叉熵损失，基于图像灰度分布直方图计算。图像从高分辨率-低分辨率-高分辨率转换过程中的信息损失直接反映在信息熵的降低上，因此，维持信息熵尽量不变，将有助于生成细节精细、统计性显著的结果图像。这一优化目标可以借助原图像与目标图像的交叉熵来约束。

更具体来说，本申请所构建的损失函数，具体可以为以下的函数内容构建得到：

对于给定的两张图像x、y，L2与交叉熵混合损失定义为：

L(x,y,λ)＝λL₂(x,y)+(1-λ)CE(x,y)，

其中，λ为权重参数， 为L2损失，交叉熵即CE(x,y)＝-h(x)^Tlog(h(y))，T为向量转置，h(·)为图像的灰度直方图列向量；

在此基础上，分别计算超分辨率网络还有降分辨率网络的损失函数。

超分辨率网络的损失计算为：

Lsr＝L(I_hr,I_sr,λ)，

其中，I_hr为输入的高分辨率图像，I_sr为超分辨率网络输出的高分辨率图像；

降分辨率网络的损失计算为：

其中，n为副本集中每张高分辨率图像对应的低分辨率图像个数，α_i为每个副本图像的损失权重，通过质量分数S_i进行归一化计算得到，为低分辨率图像副本集中的第i张图像，I_lr为降分辨率网络输出的低分辨率图像；

最后将两种网络的损失加权求和，整个模型的损失函数为：

L_total＝βL_sr+(1-β)L_rr，

其中，β为权重参数(经验设置)。

可以看出，此处实施例中，本申请在前面图像降分辨率模型的相关网络结构设计的基础上，构建了一适配的具体损失函数落地设计方案，由此可以在细节层面保障还有加强前面相关网络结构设计的相关优点。

并且，具体来说，此处实施例通过引入的交叉熵损失，从信息熵角度来引导信息量保持的模型优化，还有效改善了内容损失固有的过平滑现象。

此时，为方便理解以上各实施例内容，同时也从整体层面出发，还可以结合图5示出的本申请基于对偶深度学习的一种图像降分辨率框架图来理解以上的方案内容，应当理解，此处图5所示内容中的框架，是从设计角度来看待的，并未涉及到相应数据处理流程方面的限定，而在结合了以上各实施例内容后则可以获得最优的图像降分辨率效果，在细节上具有视觉保真度、纹理细节友好还有目标边缘保持的突出优点。

而在完成了模型的训练后，显然，则可以投入到实际应用，展开相关的图像降分辨率任务的处理。

对应的，本申请方法还可以包括：

获取待降分辨率的初始图像；

将初始图像输入图像降分辨率模型，并获得图像降分辨率模型对初始图像进行降分辨率后的目标图像。

容易理解，对于初始图像如何获取，获得初始图像进行降分辨率后的目标图像后如何处理，显然是与现有技术类似的，随实际情况/实际需要调整即可，因此，本申请在此不再展开说明。

以上是本申请提供的图像降分辨率模型的处理方法的介绍，为便于更好的实施本申请提供的图像降分辨率模型的处理方法，本申请还从功能模块角度提供了一种图像降分辨率模型的处理装置。

参阅图6，图6为本申请图像降分辨率模型的处理装置的一种结构示意图，在本申请中，图像降分辨率模型的处理装置600具体可包括如下结构：

配置单元601，用于配置样本图像，其中，样本图像为用于训练模型将输入的高分辨率图像转化为低分辨率图像的图像；

训练单元602，用于将样本图像输入初始的图像降分辨率模型，进行模型训练，其中，图像降分辨率模型包括对偶深度学习结构，对偶深度学习结构由降分辨率网络与超分辨率网络通过级联构成一个对偶学习闭环，降分辨率网络将输入的高分辨率图像转变为对应的低分辨率图像，超分辨率网络将输入的低分辨率图像转化为对应的高分辨率图像，在训练过程中降分辨率网络由损失函数来约束生成的高分辨率图像和样本图像之间的相似性，超分辨率网络由损失函数来约束生成的低分辨率图像之间的相似性；

获取单元603，用于获取完成训练的图像降分辨率模型。

在一种示例性的实现方式中，降分辨率网络依次包括卷积层、密集残差计算单元和亚像素卷积下采样层；

卷积层将输入的图像转化为初始特征图；

密集残差计算单元由若干个并行残差块PRB通过跳过连接构成，对卷积层传输过来的初始特征图执行深层次的特征提取与融合；

亚像素卷积下采样层将密集残差计算单元传输过来的特征图转换到低分辨率的图像空间。

在又一种示例性的实现方式中，卷积层由维度为3×3×64的卷积核和PReLu激活层构成，并行残差块PRB由3×3×64的卷积核和1×1×64的卷积核两者通过并行密集连接构成。

在又一种示例性的实现方式中，图像降分辨率模型还包括低分辨率图像副本集构建结构；

低分辨率图像副本集构建结构对样本图像，利用不同插值下采样方法进行下采样，得到n个低分辨率图像副本，作为低分辨率图像副本集，并对低分辨率图像副本集中的每一张图像采用百分制进行质量打分，分数记作S_i，用来衡量在对应下插值采样方法下的图像质量，以提供具有不同统计表现的副本图像，指引后续的模型训练。

在又一种示例性的实现方式中，损失函数具体为以下的函数内容构建得到：

对于给定的两张图像x、y，L2与交叉熵混合损失定义为：

L(x,y,λ)＝λL₂(x,y)+(1-λ)CE(x,y)，

其中，λ为权重参数， 为L2损失，CE(x,y)＝-h(x)^T log(h(y))，T为向量转置，h(·)为图像的灰度直方图列向量；

超分辨率网络的损失计算为：

Lsr＝L(I_hr,I_sr,λ)，

其中，I_hr为输入的高分辨率图像，I_sr为超分辨率网络输出的高分辨率图像；

降分辨率网络的损失计算为：

其中，n为副本集中每张高分辨率图像对应的低分辨率图像个数，α_i为每个副本图像的损失权重，通过质量分数S_i进行归一化计算得到，为低分辨率图像副本集中的第i张图像，I_lr为降分辨率网络输出的低分辨率图像；

整个模型的损失函数为：

L_total＝βL_sr+(1-β)L_rr，

其中，β为权重参数。

在又一种示例性的实现方式中，不同插值下采样方法包括最近邻插值采样方法、双线性插值采样方法、双立方插值采样方法、Lanczos插值采样方法、Sinc函数插值采样方法、样条插值采样方法、非局部平均插值采样方法和双边滤波器插值采样方法中的任意组合。

在又一种示例性的实现方式中，装置还包括应用单元604，用于：

获取待降分辨率的初始图像；

将初始图像输入图像降分辨率模型，并获得图像降分辨率模型对初始图像进行降分辨率后的目标图像。

本申请还从硬件结构角度提供了一种处理设备，参阅图7，图7示出了本申请处理设备的一种结构示意图，具体的，本申请处理设备可包括处理器701、存储器702以及输入输出设备703，处理器701用于执行存储器702中存储的计算机程序时实现如图1对应实施例中图像降分辨率模型的处理方法的各步骤；或者，处理器701用于执行存储器702中存储的计算机程序时实现如图6对应实施例中各单元的功能，存储器702用于存储处理器701执行上述图1对应实施例中图像降分辨率模型的处理方法所需的计算机程序。

示例性的，计算机程序可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器702中，并由处理器701执行，以完成本申请。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序在计算机装置中的执行过程。

处理设备可包括，但不仅限于处理器701、存储器702、输入输出设备703。本领域技术人员可以理解，示意仅仅是处理设备的示例，并不构成对处理设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如处理设备还可以包括网络接入设备、总线等，处理器701、存储器702、输入输出设备703等通过总线相连。

处理器701可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，处理器是处理设备的控制中心，利用各种接口和线路连接整个设备的各个部分。

存储器702可用于存储计算机程序和/或模块，处理器701通过运行或执行存储在存储器702内的计算机程序和/或模块，以及调用存储在存储器702内的数据，实现计算机装置的各种功能。存储器702可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据处理设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(SecureDigital，SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

处理器701用于执行存储器702中存储的计算机程序时，具体可实现以下功能：

配置样本图像，其中，样本图像为用于训练模型将输入的高分辨率图像转化为低分辨率图像的图像；

将样本图像输入初始的图像降分辨率模型，进行模型训练，其中，图像降分辨率模型包括对偶深度学习结构，对偶深度学习结构由降分辨率网络与超分辨率网络通过级联构成一个对偶学习闭环，降分辨率网络将输入的高分辨率图像转变为对应的低分辨率图像，超分辨率网络将输入的低分辨率图像转化为对应的高分辨率图像，在训练过程中降分辨率网络由损失函数来约束生成的高分辨率图像和样本图像之间的相似性，超分辨率网络由损失函数来约束生成的低分辨率图像之间的相似性；

获取完成训练的图像降分辨率模型。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的图像降分辨率模型的处理装置、处理设备及其相应单元的具体工作过程，可以参考如图1对应实施例中图像降分辨率模型的处理方法的说明，具体在此不再赘述。

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。

为此，本申请提供一种计算机可读存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本申请如图1对应实施例中图像降分辨率模型的处理方法的步骤，具体操作可参考如图1对应实施例中图像降分辨率模型的处理方法的说明，在此不再赘述。

其中，该计算机可读存储介质可以包括：只读存储器(Read Only Memory，ROM)、随机存取记忆体(Random Access Memory，RAM)、磁盘或光盘等。

由于该计算机可读存储介质中所存储的指令，可以执行本申请如图1对应实施例中图像降分辨率模型的处理方法的步骤，因此，可以实现本申请如图1对应实施例中图像降分辨率模型的处理方法所能实现的有益效果，详见前面的说明，在此不再赘述。

以上对本申请提供的图像降分辨率模型的处理方法、装置、处理设备以及计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (8)

1.一种图像降分辨率模型的处理方法，其特征在于，所述方法包括：

配置样本图像，其中，所述样本图像为用于训练模型将输入的高分辨率图像转化为低分辨率图像的图像；

将所述样本图像输入初始的图像降分辨率模型，进行模型训练，其中，所述图像降分辨率模型包括对偶深度学习结构，所述对偶深度学习结构由降分辨率网络与超分辨率网络通过级联构成一个对偶学习闭环，所述降分辨率网络将输入的高分辨率图像转变为对应的低分辨率图像，所述超分辨率网络将输入的低分辨率图像转化为对应的高分辨率图像，在工作过程中包括将输入模型的高分辨率图像经低分辨率处理后又转换回对应高分辨率图像的N个循环，在训练过程中所述降分辨率网络由损失函数来约束生成的高分辨率图像和所述样本图像之间的相似性，所述超分辨率网络由所述损失函数来约束生成的低分辨率图像之间的相似性；

获取完成训练的所述图像降分辨率模型；

所述图像降分辨率模型还包括低分辨率图像副本集构建结构；

所述低分辨率图像副本集构建结构对所述样本图像，利用不同插值下采样方法进行下采样，得到n个低分辨率图像副本，作为低分辨率图像副本集，并对所述低分辨率图像副本集中的每一张图像采用百分制进行质量打分，分数记作S_i，用来衡量在对应插值下采样方法下的图像质量，以提供具有不同统计表现的副本图像，指引后续的模型训练；

所述损失函数具体为以下的函数内容构建得到：

对于给定的两张图像x、y，L2与交叉熵混合损失定义为：

L(x,y,λ)＝λL₂(x,y)+(1-λ)CE(x,y)，

其中，λ为权重参数， 为L2损失，CE(x,y)＝-h(x)^T log(h(y))，T为向量转置，h(·)为图像的灰度直方图列向量；

所述超分辨率网络的损失计算为：

Lsr＝L(I_hr,I_sr,λ)，

其中，I_hr为输入的高分辨率图像，I_sr为所述超分辨率网络输出的高分辨率图像；

所述降分辨率网络的损失计算为：

其中，n为副本集中每张高分辨率图像对应的低分辨率图像个数，α_i为每个副本图像的损失权重，通过质量分数S_i进行归一化计算得到，为低分辨率图像副本集中的第i张图像，I_lr为降分辨率网络输出的低分辨率图像；

整个模型的损失函数为：

L_total＝βL_sr+(1-β)L_rr，

其中，β为权重参数。

2.根据权利要求1所述的方法，其特征在于，所述降分辨率网络依次包括卷积层、密集残差计算单元和亚像素卷积下采样层；

所述卷积层将输入的图像转化为初始特征图；

所述密集残差计算单元由若干个并行残差块PRB通过跳过连接构成，对所述卷积层传输过来的所述初始特征图执行深层次的特征提取与融合；

所述亚像素卷积下采样层将所述密集残差计算单元传输过来的特征图转换到低分辨率的图像空间。

3.根据权利要求2所述的方法，其特征在于，所述卷积层由维度为3×3×64的卷积核和PReLu激活层构成，所述并行残差块PRB由3×3×64的卷积核和1×1×64的卷积核两者通过并行密集连接构成。

4.根据权利要求1所述的方法，其特征在于，所述不同插值下采样方法包括最近邻插值采样方法、双线性插值采样方法、双立方插值采样方法、Lanczos插值采样方法、Sinc函数插值采样方法、样条插值采样方法、非局部平均插值采样方法和双边滤波器插值采样方法中的任意组合。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取待降分辨率的初始图像；

将所述初始图像输入所述图像降分辨率模型，并获得所述图像降分辨率模型对所述初始图像进行降分辨率后的目标图像。

6.一种图像降分辨率模型的处理装置，其特征在于，所述装置包括：

配置单元，用于配置样本图像，其中，所述样本图像为用于训练模型将输入的高分辨率图像转化为低分辨率图像的图像；

训练单元，用于将所述样本图像输入初始的图像降分辨率模型，进行模型训练，其中，所述图像降分辨率模型包括对偶深度学习结构，所述对偶深度学习结构由降分辨率网络与超分辨率网络通过级联构成一个对偶学习闭环，所述降分辨率网络将输入的高分辨率图像转变为对应的低分辨率图像，所述超分辨率网络将输入的低分辨率图像转化为对应的高分辨率图像，在工作过程中包括将输入模型的高分辨率图像经低分辨率处理后又转换回对应高分辨率图像的N个循环，在训练过程中所述降分辨率网络由损失函数来约束生成的高分辨率图像和所述样本图像之间的相似性，所述超分辨率网络由所述损失函数来约束生成的低分辨率图像之间的相似性；

获取单元，用于获取完成训练的所述图像降分辨率模型；

所述图像降分辨率模型还包括低分辨率图像副本集构建结构；

所述低分辨率图像副本集构建结构对所述样本图像，利用不同插值下采样方法进行下采样，得到n个低分辨率图像副本，作为低分辨率图像副本集，并对所述低分辨率图像副本集中的每一张图像采用百分制进行质量打分，分数记作S_i，用来衡量在对应插值下采样方法下的图像质量，以提供具有不同统计表现的副本图像，指引后续的模型训练；

所述损失函数具体为以下的函数内容构建得到：

对于给定的两张图像x、y，L2与交叉熵混合损失定义为：

L(x,y,λ)＝λL₂(x,y)+(1-λ)CE(x,y)，

其中，λ为权重参数， 为L2损失，CE(x,y)＝-h(x)^Tlog(h(y))，T为向量转置，h(·)为图像的灰度直方图列向量；

所述超分辨率网络的损失计算为：

Lsr＝L(I_hr,I_sr,λ)，

其中，I_hr为输入的高分辨率图像，I_sr为所述超分辨率网络输出的高分辨率图像；

所述降分辨率网络的损失计算为：

其中，n为副本集中每张高分辨率图像对应的低分辨率图像个数，α_i为每个副本图像的损失权重，通过质量分数S_i进行归一化计算得到，为低分辨率图像副本集中的第i张图像，I_lr为降分辨率网络输出的低分辨率图像；

整个模型的损失函数为：

L_total＝βL_sr+(1-β)L_rr，

其中，β为权重参数。

7.一种处理设备，其特征在于，包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器调用所述存储器中的计算机程序时执行如权利要求1至5任一项所述的方法。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1至5任一项所述的方法。