CN117094888B - 图像超分辨方法、图像超分辨装置、电子设备及存储介质 - Google Patents

Abstract

本申请提供了一种图像超分辨方法、图像超分辨装置、电子设备及存储介质，通过将低分辨率图像输入至图像超分辨网络，图像超分辨网络包括生成器和判别器，生成器包括第一动态残差块和第二动态残差块，第一动态残差块和第二动态残差块之间存在第一预设时序信息，通过第一动态残差块对低分辨率图像进行特征提取，得到第一图像特征，将第一图像特征和第一预设时序信息进行特征融合，得到第二图像特征，通过第二动态残差块对第二图像特征进行特征提取，生成粗略的高分辨率图像，通过判别器对该粗略的高分辨率图像进行图像判别，若图像判别通过，则将该粗略的高分辨率图像作为图像超分辨网络输出的高分辨率图像，能够提高生成高分辨率图像的图像质量。

Description

图像超分辨方法、图像超分辨装置、电子设备及存储介质

技术领域

本申请涉及图像处理与计算机视觉技术领域，尤其涉及一种图像超分辨方法、图像超分辨装置、电子设备及存储介质。

背景技术

相关技术中，基于生成对抗(Generative Adversarial Networks,GAN)驱动的方式对低分辨率图像进行图像超分辨处理，以从低分辨率图像恢复高分辨率图像。但是通过GAN驱动方法生成的高分辨率图像都非常相似，容易陷入模式崩溃，导致生成的高分辨率图像质量降低。

发明内容

本申请实施例的主要目的在于提出一种图像超分辨方法、图像超分辨装置、电子设备及存储介质，旨在提高高分辨率图像的生成质量。

为实现上述目的，本申请实施例的第一方面提出了一种图像超分辨方法，所述方法包括：

获取低分辨率图像；

将所述低分辨率图像输入至图像超分辨网络，所述图像超分辨网络包括生成器和判别器，所述生成器包括第一动态残差块和第二动态残差块，所述第一动态残差块和所述第二动态残差块之间存在第一预设时序信息；

通过所述第一动态残差块对所述低分辨率图像进行特征提取，得到第一图像特征，将所述第一图像特征和所述第一预设时序信息进行特征融合，得到第二图像特征，通过所述第二动态残差块对所述第二图像特征进行特征提取，生成粗略的高分辨率图像；

通过所述判别器对生成的所述粗略的高分辨率图像进行图像判别，若图像判别通过，则将生成的所述粗略的高分辨率图像作为所述图像超分辨网络输出的高分辨率图像。

在一些实施例，所述通过所述第一动态残差块对所述低分辨率图像进行特征提取，得到第一图像特征，包括:

对所述低分辨率图像进行全变分正则化编码，得到全变分图像特征；

随机生成噪声图像，并对所述噪声图像进行卷积处理，得到噪声图像特征；

对所述全变分图像特征和所述噪声图像特征进行特征融合，得到低分辨率图像特征；

通过所述第一动态残差块对所述低分辨率图像特征进行特征提取，得到所述第一图像特征。

在一些实施例，所述对所述低分辨率图像进行全变分正则化编码，得到全变分图像特征，包括：

从所述低分辨率图像中提取图像梯度信息；

对所述图像梯度信息进行全变分处理；

根据预设正则化系数对全变分处理后的所述图像梯度信息进行正则化处理，得到所述全变分图像特征。

在一些实施例，所述第一动态残差块包括第一动态残差机制和下采样机制，所述通过所述第一动态残差块对所述低分辨率图像特征进行特征提取，得到所述第一图像特征，包括：

通过所述第一动态残差机制对所述低分辨率图像特征进行特征提取，得到初始图像特征；

通过所述下采样机制对所述初始图像特征进行下采样处理，得到所述第一图像特征。

在一些实施例，所述第一动态残差机制包括第一卷积层、第二卷积层、第三卷积层和第四卷积层，所述通过所述第一动态残差机制对所述低分辨率图像特征进行特征提取，得到初始图像特征，包括：

通过所述第一卷积层对所述低分辨率图像特征进行卷积处理，得到第一卷积特征；

对所述第一卷积特征和所述低分辨率图像特征进行特征融合，得到第一融合特征；

通过所述第二卷积层对所述第一融合特征进行卷积处理，得到第二卷积特征；

对所述第二卷积特征、所述第一融合特征和所述低分辨率图像特征进行特征融合，得到第二融合特征；

通过所述第三卷积层对所述第二融合特征进行卷积处理，得到第三卷积特征；

对所述第三卷积特征、所述第一融合特征、所述第二融合特征和所述低分辨率图像特征进行特征融合，得到第三融合特征；

通过所述第四卷积层对所述第三融合特征进行卷积处理，得到所述初始图像特征。

在一些实施例，所述生成器还包括第三动态残差块，所述第二动态残差块和所述第三动态残差块之间存在第二预设时序信息，所述通过所述第二动态残差块对所述第二图像特征进行特征提取，生成粗略的高分辨率图像，包括：

通过所述第二动态残差块对所述第二图像特征进行特征提取，得到第三图像特征；

对所述第一图像特征、所述第三图像特征和所述第二预设时序信息进行特征融合，得到第四图像特征；

通过所述第三动态残差块对所述第四图像特征进行特征提取，得到第五图像特征；

对所述第五图像特征进行亚像素卷积处理，得到所述粗略的高分辨率图像。

在一些实施例，所述第三动态残差块包括第二动态残差机制和上采样机制，所述通过所述第三动态残差块对所述第四图像特征进行特征提取，得到第五图像特征，包括：

通过所述第二动态残差机制对所述第四图像特征进行特征提取，得到中间图像特征；

通过所述上采样机制对所述中间图像特征进行上采样处理，得到所述第五图像特征。

为实现上述目的，本申请实施例的第二方面提出了一种图像超分辨装置，所述装置包括：

获取模块，用于获取低分辨率图像；

输入模块，用于将所述低分辨率图像输入至图像超分辨网络，所述图像超分辨网络包括生成器和判别器，所述生成器包括第一动态残差块和第二动态残差块，第一动态残差块和第二动态残差块之间存在第一预设时序信息；

图像扩散生成模块，用于通过所述第一动态残差块对所述低分辨率图像进行特征提取，得到第一图像特征，将所述第一图像特征和所述第一预设时序信息进行特征融合，得到第二图像特征，通过所述第二动态残差块对所述第二图像特征进行特征提取，生成粗略的高分辨率图像；

图像深层卷积判别模块，用于通过所述判别器对生成的所述粗略的高分辨率图像进行图像判别，若图像判别通过，则将生成的所述粗略的高分辨率图像作为所述图像超分辨网络输出的高分辨率图像。

为实现上述目的，本申请实施例的第三方面提出了一种电子设备，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的图像超分辨方法。

为实现上述目的，本申请实施例的第四方面提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的图像超分辨方法。

本申请提出的图像超分辨方法、图像超分辨装置、电子设备及计算机可读存储介质,其通过将低分辨率图像输入至图像超分辨网络，通过图像超分辨网络从地分辨图像恢复出高分辨率图像。通过第一动态残差块对低分辨率图像进行特征提取，以将低层特征和高层特征融合，丰富不同层次的特征，实现精确的特征提取，从而提高生成图像的质量。将第一图像特征和第一预设时序信息进行特征融合，通过引入时序信息引导动态残差块逐步去噪，避免了GAN驱动方式经常遇到的模式崩溃问题，使得图像超分辨网络具有良好的超分辨性能。通过判别器对生成器生成的粗略的高分辨率图像进行图像判别，提高了生成图像的质量。

附图说明

图1是本申请实施例提供的图像超分辨方法的流程图；

图2是图1中的步骤S130的流程图；

图3是图2中的步骤S210的流程图；

图4是图2中的步骤S240的流程图；

图5是本申请实施例提供的生成器的网络结构图；

图6是图4中的步骤S410的流程图；

图7是本申请实施例提供的动态残差机制的网络结构图；

图8是图1中的步骤S130的另一流程图；

图9是图8中的步骤S830的流程图；

图10是本申请实施例提供的判别器的网络结构图；

图11a是本申请实施例提供的原始图像；

图11b是本申请实施例提供的低分辨率图像；

图11c是本申请实施例提供的另一低分辨率图像；

图11d是本申请实施例提供的另一低分辨率图像；

图11e是本申请实施例提供的图像块；

图11f是本申请实施例提供的超分辨结果示意图；

图12是本申请实施例提供的图像超分辨装置的结构示意图；

图13是本申请实施例提供的电子设备的硬件结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。

需要说明的是，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。

单图像超分辨率(Single Image Super-Resolution,SISR)是图像处理领域的一个重要分支，它旨在从低分辨(Low resolution,LR)图像上恢复高分辨(High resolution,HR)图像，在医疗诊断、视频监控、航天探险和灾难救援等方面都有广泛应用。例如，在医疗领域，高分辨率图像可以帮助医生准确地检测疾病。

相关技术中，通过基于深度学习的方法建立HR图像和LR图像之间的映射，这些方法主要可以分为三种类型：面向峰值信噪比(Peak Signal-to-Noise Ratio,PSNR)的方法、生成对抗网络驱动的方法和基于流的方法。面向PSNR的方法利用基于分布假设的损失(采用拉普拉斯算子构建的L1损失、采用高斯算子构建的L2损失)进行网络训练，以获得优异的PSNR分数。但这些损失往往会将超分辨率(Super Resolution,SR)结果驱动到几个可能的SR预测的平均值，导致生成高分辨率图像过于平滑，损失了高频信息。GAN驱动方法将内容损失(L1、L2)和对抗性损失相结合来解决生成图像过于平滑的问题，以获得更清晰、感知质量更好的SR图像。由于GAN驱动方法在训练判别器时，输入至判别器的数据往往是所有数据的一部分，难以将全局信息反馈给生成器，使得生成的高分辨率图像都非常相似，缺乏多样性，很容易陷入模式崩溃。因为图像超分辨是一个经典的不适定问题，一个LR图像往往对应多个HR图像，基于流的方法通过可逆编码器将HR图像映射到以LR输入为条件的流空间中进行延迟，直接解决了以往可逆编码器的不适定问题。基于流的方法在负对数似然损失的情况下进行训练，避免了训练的不稳定性，但由于在模型结构的设计下需要保持潜在样本和数据之间的双射关系，即可能生成的高分辨率图像与低分辨率图像之间的映射关系，导致了极大的资源占用且训练成本高昂，难以在实际中应用。

基于此，本申请实施例提供了一种图像超分辨方法、图像超分辨装置、电子设备及计算机可读存储介质，旨在提高生成图像的图像质量。

本申请实施例提供的图像超分辨方法、图像超分辨装置、电子设备及计算机可读存储介质，具体通过如下实施例进行说明，首先描述本申请实施例中的图像超分辨方法。

本申请实施例提供的图像超分辨方法，涉及图像处理与计算机视觉技术领域。本申请实施例提供的图像超分辨方法可应用于终端中，也可应用于服务器端中，还可以是运行于终端或服务器端中的软件。在一些实施例中，终端可以是智能手机、平板电脑、笔记本电脑、台式计算机等；服务器端可以配置成独立的物理服务器，也可以配置成多个物理服务器构成的服务器集群或者分布式系统，还可以配置成提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN以及大数据和人工智能平台等基础云计算服务的云服务器；软件可以是实现图像超分辨方法的应用等，但并不局限于以上形式。

本申请可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

图1是本申请实施例提供的图像超分辨方法的一个可选的流程图，图1中的方法可以包括但不限于包括步骤S110至步骤S140。

步骤S110，获取低分辨率图像；

步骤S120，将低分辨率图像输入至图像超分辨网络，图像超分辨网络包括生成器和判别器，生成器包括第一动态残差块和第二动态残差块，第一动态残差块和第二动态残差块之间存在第一预设时序信息；

步骤S130，通过第一动态残差块对低分辨率图像进行特征提取，得到第一图像特征，将第一图像特征和第一预设时序信息进行特征融合，得到第二图像特征，通过第二动态残差块对第二图像特征进行特征提取，生成粗略的高分辨率图像；

步骤S140，通过判别器对生成的粗略的高分辨率图像进行图像判别，若图像判别通过，则将生成的粗略的高分辨率图像作为图像超分辨网络输出的高分辨率图像。

本申请实施例所示意的步骤S110至步骤S140，通过第一动态残差块可以将低层特征和高层特征融合，以丰富不同层次的特征，提高特征提取的准确性。将第一图像特征和第一预设时序信息进行特征融合，通过引入时序信息引导动态残差块逐步去噪，降低了在GAN驱动方式下造成模式崩溃的可能性，也使得图像超分辨网络具有良好的超分辨性能。通过判别器对生成器生成的粗略的高分辨率图像进行图像判别，再将图像判别结果反馈给生成器，提高生成高分辨率图像的质量，与基于流的方法相比，减少了资源占用，并降低了训练成本。

在一些实施例的步骤S110中，低分辨率图像为分辨率较低的图像。低分辨率图像可以由摄像设备拍摄得到，也可以通过对数据集中的高分辨率原始图像进行模糊化处理或者成倍缩减得到。可以理解的是，为了确保高分辨率原始图像能够成倍缩减，需要对高分辨率原始图像进行边界裁剪。

在一些实施例的步骤S120中，将低分辨率图像输入至图像超分辨网络，通过图像超分辨网络对低分辨率图像进行超分辨处理，以将低分辨率图像恢复为高分辨率图像。与传统的卷积神经网络不同，本申请实施例使用了扩散模型，该模型在图像损坏过程中进行训练，即在每次加入时序信息的同时加入一个高斯噪声，直到图像中原本的数据分布被噪声替代为止。接着，它学习逆转这个过程，从纯噪声开始，并通过输入时序信息和低分辨率图像进行引导，逐步去除噪声以达到目标分布。其中，图像超分辨网络包括生成器和判别器，生成器包括扩散模型和亚像素卷积块，扩散模型包括第一动态残差块和第二动态残差块，第一动态残差块和第二动态残差块之间存在第一预设时序信息，第一预设时序信息为扩散模型正向扩散过程中加入噪声的时间。通过将动态残差块应用到扩散模型中，使扩散模型在少量增加参数量的基础上对不同的低分辨率图像具有更好的自适应性，同时将时序信息加入到扩散模型中来引导逆扩散过程的优化顺序，即控制扩散模型先生成大面积的背景内容再恢复具体的高频细节。通过将扩散模型和GAN两种模型结合进行图像超分辨处理，一方面可以使用扩散模型缓解GAN模型的模式崩溃问题，另一方面使用GAN模型生成对抗的训练思想可以提高扩散模型生成的图片质量，达到了更好的图像超分辨性能。

需要说明的是，正向扩散过程指的是图片经过不断迭代添加噪声最终变成噪声图片的过程，逆扩散过程是正向扩散过程的逆过程，指的是对噪声图片逐步减噪生成干净图片的过程。时序信息用于指明当前迭代时具体应当减哪个阶段的噪声。

传统深度学习方法在测试阶段只需要推理一次就能得到预测结果，而扩散模型需要多次迭代才能得到预测结果，为了提升网络的超分辨处理效率，对低分辨率图像进行预处理，按照网络的输入图像尺寸将低分辨率图像分割为若干个图像块，将多个图像块作为网络的输入，使网络输出高分辨率图像。考虑到硬件设备的推理速度，将输入图像尺寸设置为128×128。

请参阅图2，在一些实施例中，步骤S130可以包括但不限于包括步骤S210至步骤S240：

步骤S210，对低分辨率图像进行全变分正则化编码，得到全变分图像特征；

步骤S220，随机生成噪声图像，并对噪声图像进行卷积处理，得到噪声图像特征；

步骤S230，对全变分图像特征和噪声图像特征进行特征融合，得到低分辨率图像特征；

步骤S240，通过第一动态残差块对低分辨率图像特征进行特征提取，得到第一图像特征。

在一些实施例的步骤S210中，低分辨率图像通常包含有噪声，为避免在后续特征提取过程中因低分辨率图像引入额外的噪声干扰，通过全变分正则化编码器对低分辨率图像进行全变分正则化编码，在去除图像噪声的同时保留了高频信息，使得可以利用高频信息例如边缘细节来提高图像的恢复质量。

在一些实施例的步骤S220中，噪声图像为纯噪声图像，纯噪声图像由扩散模型对输入图像进行多次逐步加噪得到，该输入图像可以是低分辨率图像对应的高分辨率原始图像。具体地，扩散模型使用马尔科夫链，通过正向扩散在每次加入时序信息的同时加入高斯噪声，直至只剩下纯噪声为止，将输入图像x₀转换为具有简单分布如高斯分布的潜在变量x_t，得到噪声图像。通过卷积层对噪声图像进行卷积处理，得到噪声图像特征，时序信息用于表示向输入图像中加入高斯噪声的时间。扩散模型的推理公式如公式(1)所示。

其中，t表示第t次迭代；x_t表示第t张图片，经t次迭代得到；x_t-1表示第t-1张图片；x_t-2表示第t-2张图片；ε_t-1、ε_t-2分别表示第t-1步、第t-2步加入的噪声；ε₀表示第0步即第1次加入的噪声；为图像x_t-1的系数；为噪声ε_t-1的系数；和这两个系数的平方和为1。

在一些实施例的步骤S230中，扩散模型逆转正向扩散过程，从纯噪声图像开始，对低分辨率图像进行引导，以逐步去除噪声达到目标分布。为了提高生成高分辨样本的多样性，将全变分图像特征和噪声图像特征进行特征拼接，得到低分辨率图像特征。

在一些实施例的步骤S240中，通过第一动态残差块对低分辨率图像特征进行特征提取，以去除部分噪声，得到第一图像特征。

通过上述步骤S210至步骤S240，能够减少低分辨率图像中的噪声对后续特征提取过程的影响，且能通过低分辨率图像引导噪声图像的去噪过程，提高了生成高分辨率图像的速度和准确性。

请参阅图3，在一些实施例中，步骤S210可以包括但不限于包括步骤S310至步骤S330：

步骤S310，从低分辨率图像中提取图像梯度信息；

步骤S320，对图像梯度信息进行全变分处理；

步骤S330，根据预设正则化系数对全变分处理后的图像梯度信息进行正则化处理，得到全变分图像特征。

在一些实施例的步骤S310中，根据低分辨率图像相邻像素点之间像素值的变化作为图像梯度信息。例如，低分辨率图像中的一个像素点的像素值表示为x_i,j，i表示该像素点位于低分辨率图像的第i行，j表示该像素点位于低分辨率图像的第j列，该像素点的相邻像素点的像素值表示为x_i+1,j、x_i,j+1，该像素点与相邻像素点之间的像素值的变化量表示为|x_i+1,j-x_i,j|+|x_i,j+1-x_i,j|，将该变化量作为该像素点的图像梯度信息。

在一些实施例的步骤S320中，由于低分辨率图像是二维离散信号，二维离散信号的全变分是在像素域上对图像梯度信息进行求和，全变分处理后的图像梯度信息为∑_i,j|x_i+1,j-x_i,j|+|x_i,j+1-x_i,j|。

在一些实施例的步骤S330中，将预设正则化系数与全变分处理后的图像梯度信息进行相乘，得到全变分图像特征。全变分正则化处理的方法如公式(2)所示。

J_reg(o)＝λ∑_i,j|x_i+1,j-x_i,j|+|x_i,j+1-x_i,j| 公式(2)

其中，o表示低分辨率图像信息，λ为预设正则化系数。

上述步骤S310至步骤S330，通过全变分正则化的先验知识对输入的低分辨率图像进行预处理，能够去除低分辨率图像中的噪声，得到高频信息，以根据高频信息提升图像超分辨的效果。

请参阅图4，在一些实施例中，第一动态残差块包括第一动态残差机制和下采样机制，步骤S240可以包括但不限于包括步骤S410至步骤S420：

步骤S410，通过第一动态残差机制对低分辨率图像特征进行特征提取，得到初始图像特征；

步骤S420，通过下采样机制对初始图像特征进行下采样处理，得到第一图像特征。

在一些实施例的步骤S410至步骤S420中，当第一动态残差块的数量为1时，通过第一动态残差机制对低分辨率图像特征进行特征提取，得到初始图像特征，通过下采样机制对初始图像特征进行下采样处理，得到第一图像特征。

如图5所示，扩散模型包括多个第一动态残差块，第一动态残差块用于负责下采样，多个第一动态残差块均包括第一动态残差机制和下采样机制。每相邻两个第一动态残差块之间存在第一预设时序信息，第一预设时序信息用于表示扩散模型训练过程中加噪声的先后顺序，第一预设时序信息之间是不同的。获取上一第一动态残差块进行特征提取得到的上一第一图像特征、上一第一动态残差块和当前第一动态残差块之间的第一预设时序信息，将上一第一图像特征和第一预设时序信息进行特征拼接，通过当前第一动态残差块对拼接后的特征进行特征提取，得到当前第一动态残差块输出的第一图像特征，直至得到最后一个第一动态残差块输出的第一图像特征。

若第一动态残差块的数量为4，则存在三个第一预设时序信息。通过第一个第一动态残差块对低分辨率图像特征进行特征提取，得到第一个第一动态残差块输出的第一图像特征。将第一个第一预设时序信息与第一个第一动态残差块输出的第一图像特征进行特征拼接，得到第一特征。通过第二个第一动态残差块对第一特征进行特征提取，得到第二个第一动态残差块输出的第一图像特征。将第二个第一预设时序信息与第二个第一动态残差块输出的第一图像特征进行特征拼接，得到第二特征。通过第三个第一动态残差块对第二特征进行特征提取，得到第三个第一动态残差块输出的第一图像特征。将第三个第一预设时序信息与第三个第一动态残差块输出的第一图像特征进行特征拼接，得到第三特征。通过第四个第一动态残差块对第三特征进行特征提取，得到最后一个第一动态残差块输出的第一图像特征。

上述步骤S410至步骤S420,能够通过动态残差机制进行图像去噪，同时通过下采样机制处理能够减少后续残差块的处理参数量，提升图像生成的效率。

请参阅图6，在一些实施例中，第一动态残差机制包括第一卷积层、第二卷积层、第三卷积层和第四卷积层，步骤S410可以包括但不限于包括步骤S610至步骤S670：

步骤S610，通过第一卷积层对低分辨率图像特征进行卷积处理，得到第一卷积特征；

步骤S620，对第一卷积特征和低分辨率图像特征进行特征融合，得到第一融合特征；

步骤S630，通过第二卷积层对第一融合特征进行卷积处理，得到第二卷积特征；

步骤S640，对第二卷积特征、第一融合特征和低分辨率图像特征进行特征融合，得到第二融合特征；

步骤S650，通过第三卷积层对第二融合特征进行卷积处理，得到第三卷积特征；

步骤S660，对第三卷积特征、第一融合特征、第二融合特征和低分辨率图像特征进行特征融合，得到第三融合特征；

步骤S670，通过第四卷积层对第三融合特征进行卷积处理，得到初始图像特征。

在一些实施例的步骤S610中，如图7所示，第一动态残差机制包括4层网络结构，第一层即第一卷积层包括卷积层和整流线性单元，第二层即第二卷积层包括动态卷积层和整流线性单元，第三层即第三卷积层为单一的卷积层，第四层即第四卷积层的结构与第二卷积层相同，其中第一卷积层中和第三卷积层为普通卷积，第二卷积层和第四卷积层为动态卷积。普通卷积的卷积核大小为3×3，动态卷积的卷积核是由5个3×3的普通卷积核分别乘以各自的权重后相加得到，权重与每个动态卷积层的输入相关。整流线性单元为ReLU激活函数。

通过卷积核大小为3×3的卷积层对低分辨率图像特征进行卷积处理，得到初始卷积特征，通过ReLU激活函数对初始卷积特征进行激活处理，得到第一卷积特征。

在一些实施例的步骤S620中，将第一卷积特征和低分辨率图像特征进行特征对位相加，得到第一融合特征。例如第一卷积特征为[1,2,3],低分辨率图像特征为[1,0,1],得到第一融合特征为[2,2,4]。

在一些实施例的步骤S630中，通过动态卷积层对第一融合特征进行卷积处理，得到第一中间卷积特征，通过ReLU激活函数对第一中间卷积特征进行激活处理，得到第二卷积特征。动态卷积层的构建方式如下：输入至动态卷积层的特征为第一融合特征，将第一融合特征依次通过一个平均池化层、一个带ReLU激活函数的1×1卷积层、一个1×1卷积层和softmax计算得到5个权重，将权重与普通卷积核进行加权求和，得到动态卷积层。

在深度学习中，图像特征采用四维向量(N,C,H,W)表示，N表示分块batch，C表示图像特征的特征通道channel，H表示图像特征的高Height，W表示图像特征的宽Weight。首先通过平均池化层将图像特征压缩至N×C×1×1大小,再通过一个带ReLU激活函数的1×1卷积层和一个1×1卷积层将图像特征压缩至N×5大小，接着通过softmax函数计算出5个权重，最后将5个3×3的普通卷积核与5个权重相乘，并将5个相乘后的卷积核相加，得到动态卷积的卷积核。

在一些实施例的步骤S640中，对第二卷积特征、第一融合特征和低分辨率图像特征进行特征对位相加，得到第二融合特征。

在一些实施例的步骤S650中，通过卷积核大小为3×3的卷积层对第二融合特征进行卷积处理，得到第三卷积特征。

在一些实施例的步骤S660中，对第二融合特征和低分辨率图像特征进行一次特征融合，得到第二中间卷积特征，对第二中间卷积特征、第三卷积特征和第一融合特征进行特征融合得到第三融合特征，其中特征融合指的是特征对位相加。

在一些实施例的步骤S670中，通过动态卷积层对第三融合特征进行卷积处理，得到第三中间卷积特征，通过ReLU激活函数对第三中间卷积特征进行激活处理，得到初始图像特征。在第四卷积层中，输入至动态卷积层的特征是第三融合特征，将第三融合特征依次通过一个平均池化层、一个带ReLU激活函数的1×1卷积层、一个1×1卷积层和softmax计算得到5个权重，将5个权重与5个卷积核大小为3×3的普通卷积核进行加权求和，得到动态卷积层。

上述步骤S610至步骤S670，通过残差结构的设计与整流线性单元能够促进深层特征与浅层特征融合，稳步提高深层网络的记忆和学习能力，从而提高了特征提取的准确性。

请参阅图8，在一些实施例中，生成器还包括第三动态残差块，第二动态残差块和第三动态残差块之间存在第二预设时序信息，步骤S130还可以包括但不限于包括步骤S810至步骤S840：

步骤S810，通过第二动态残差块对第二图像特征进行特征提取，得到第三图像特征；

步骤S820，对第一图像特征、第三图像特征和第二预设时序信息进行特征融合，得到第四图像特征；

步骤S830，通过第三动态残差块对第四图像特征进行特征提取，得到第五图像特征；

步骤S840，对第五图像特征进行亚像素卷积处理，得到粗略的高分辨率图像。

在一些实施例的步骤S810中，将第一图像特征和第一预设时序信息进行特征拼接，得到第二图像特征。第二动态残差块采用动态残差机制实现。通过第二动态残差块对第二图像特征进行特征提取的方法参照步骤S610至步骤S670,此处不再赘述。

在一些实施例的步骤S820中，将最后一个第一动态残差块输出的第一图像特征、第二动态残差块输出的第三图像特征以及第二预设时序信息进行特征拼接，得到第四图像特征。

在一些实施例的步骤S830中，第三动态残差块负责上采样，当只有一个第三动态残差块(多个第一动态残差块和一个第三动态残差块、一个第一动态残差块和一个第三动态残差块)时，通过第三动态残差块对第四图像特征进行特征提取，得到第五图像特征。当存在多个第三动态残差块、多个第一动态残差块时，相邻两个第三动态残差块之间存在第三预设时序信息。通过第一个第三动态残差块对第四图像特征进行特征提取，得到第一个第三动态残差块的输出特征。将上一第三动态残差块的输出特征、对应于上一第三动态残差块的第一动态残差块输出的第一图像特征、上一第三动态残差块和当前第三动态残差块之间的第三预设时序信息进行特征拼接，通过当前第三动态残差块对拼接后的特征进行特征提取，得到当前第三动态残差块的输出特征，直至得到最后一个第三动态残差块的输出特征，将该输出特征作为第五图像特征。当第一动态残差块的数量和第三动态残差块的数量相等时，除最后一个第一动态残差块之外，每一第一动态残差块均有与其对应的上一第三动态残差块，每一第三动态残差块的序号与其对应的第一动态残差块的序号之和相等，即第一个第一动态残差块对应倒数第二个第三动态残差块，第二个第一动态残差块对应倒数第三个第三动态残差块，直至匹配到倒数第二个第一动态残差块与第一个第三动态残差块。当第一动态残差块的数量大于第三动态残差块的数量，除最后一个第一动态残差块之外，从倒数第二个第一动态残差块、第一个第三动态残差块开始逐个匹配，直至匹配到倒数第二个第三动态残差块为止。当第一动态残差块的数量小于第三动态残差块的数量，除最后一个第一动态残差块外，从倒数第二个第一动态残差块、第一个第三动态残差块开始逐个匹配，直至匹配到第一个第一动态残差块为止。

例如，第一动态残差块和第三动态残差块的数量均为4，则将第一个第一动态残差块与第三个第三动态残差块匹配，将第二个第一动态残差块与第二个第三动态残差块匹配，将第三个第一动态残差块与第一个第三动态残差块匹配。在进行特征提取的过程中，通过第一个第三动态残差块对第四图像特征进行特征提取，得到第一个第三动态残差块的输出特征，将第一个第三动态残差块的输出特征、与第一个第三动态残差块匹配的第三个第一动态残差块输出的第一图像特征、第一个第三动态残差块和第二个第三动态残差块之间的第三预设时序信息进行特征拼接，通过第二个第三动态残差块对拼接后的特征进行特征提取，得到第二个第三动态残差块的输出特征，将第二个第三动态残差块的输出特征、第二个第一动态残差块输出的第一图像特征、第二个第三动态残差块和第三个第三动态残差块之间的第三预设时序信息进行特征拼接，通过第三个第三动态残差块对拼接后的特征进行特征提取，得到第三个第三动态残差块的输出特征，将第三个第三动态残差块的输出特征、第一个第一动态残差块输出的第一图像特征、第三个第三动态残差块与第四个第三动态残差块之间的第三预设时序信息进行特征拼接，通过第四个第三动态残差块对拼接后的特征进行特征提取，得到第五图像特征。

例如，第一动态残差块的数量为2，第三动态残差块的数量为4，则将第一个第一动态残差块与第一个第三动态残差块匹配，多余的第三动态残差块不参与匹配。在进行特征提取的过程中，通过第一个第三动态残差块对第四图像特征进行特征提取，得到第一个第三动态残差块的输出特征，将第一个第三动态残差块的输出特征、与第一个第三动态残差块匹配的第一个第一动态残差块输出的第一图像特征、第一个第三动态残差块和第二个第三动态残差块之间的第三预设时序信息进行特征拼接，通过第二个第三动态残差块对拼接后的特征进行特征提取，得到第二个第三动态残差块的输出特征，将第二个第三动态残差块的输出特征、第二个第三动态残差块和第三个第三动态残差块之间的第三预设时序信息进行特征拼接，通过第三个第三动态残差块对拼接后的特征进行特征提取，得到第三个第三动态残差块的输出特征，将第三个第三动态残差块的输出特征、第三个第三动态残差块与第四个第三动态残差块之间的第三预设时序信息进行特征拼接，通过第四个第三动态残差块对拼接后的特征进行特征提取，得到第五图像特征。

例如，第一动态残差块的数量为4，第三动态残差块的数量为2，则将第三个第一动态残差块与第一个第三动态残差块匹配，多余的第一动态残差块不参与匹配。在进行特征提取的过程中，通过第一个第三动态残差块对第四图像特征进行特征提取，得到第一个第三动态残差块的输出特征，将第一个第三动态残差块的输出特征、与第一个第三动态残差块匹配的第三个第一动态残差块输出的第一图像特征、第一个第三动态残差块和第二个第三动态残差块之间的第三预设时序信息进行特征拼接，通过第二个第三动态残差块对拼接后的特征进行特征提取，得到第二个第三动态残差块的输出特征，将该输出特征作为第五图像特征。

当存在多个第三动态残差块、一个第一动态残差块时，通过第一个第三动态残差块对第四图像特征进行特征提取，得到第一个第三动态残差块的输出特征。将上一第三动态残差块的输出特征、上一第三动态残差块和当前第三动态残差块之间的第三预设时序信息进行特征拼接，通过当前第三动态残差块对拼接后的特征进行特征提取，得到当前第三动态残差块的输出特征，直至得到最后一个第三动态残差块的输出特征，将该输出特征作为第五图像特征。

在一些实施例的步骤S840中，亚像素卷积块包括卷积层和亚像素卷积层，通过卷积层对第五图像特征进行卷积处理，得到卷积特征，通过亚像素卷积层对卷积特征进行亚像素卷积处理，得到粗略的高分辨率图像。

上述步骤S810至步骤S840，通过不同动态残差块之间的特征拼接，能够促进深层特征和浅层特征融合，并根据融合后的特征生成粗略的高分辨率图像，提高了高分辨率图像的生成质量。

请参阅图9，在一些实施例中，第三动态残差块包括第二动态残差机制和上采样机制，步骤S830可以包括但不限于包括步骤S910至步骤S920：

步骤S910，通过第二动态残差机制对第四图像特征进行特征提取，得到中间图像特征；

步骤S920，通过上采样机制对中间图像特征进行上采样处理，得到第五图像特征。

在一些实施例的步骤S910中，第二动态残差机制与第一动态残差机制的结构相同。通过第二动态残差机制对第四图像特征进行特征提取的方法参照步骤S610至步骤S670,此处不再赘述。

在一些实施例的步骤S920中，通过上采样机制对中间图像特征进行上采样处理，得到第五图像特征。

上述步骤S910至步骤S920，通过层级特征的融合，动态卷积的特性能够增强动态残差块对不同图像的适应能力，提高特征提取准确性的同时，提高了图像的超分辨效果。

在一些实施例的步骤S140中，判别器为VGG网络的一种，具体的网络结构如图10所示。其中，conv表示卷积，BN表示批归一化,FC表示全连接。判别器的网络一共有12层，第1层由卷积层和激活函数ReLU组成，第2层至第10层都由卷积层、批归一化和激活函数ReLU组成，最后两层则是由全连接层、激活函数ReLU和全连接层组成。

在图像超分辨网络的训练阶段，生成器中使用的内容损失函数是平均绝对值误差(Mean Absolute Error，MAE)，即L1损失函数，判别器中使用的是感知损失函数，生成器和判别器之间使用的是对抗损失函数。

其中，生成器的内容损失函数如公式(3)所示。

其中，z_i是低分辨率图像中第i个像素的像素值，G表示生成器，G(x_i)是生成器生成的粗略的高分辨率图像中第i个像素的值，x_i是高分辨率原始图像中第i个像素的像素值，高分辨率图像与高分辨率原始图像的图像尺寸相同，n是高分辨率图像或者高分辨率原始图像中像素的总个数。

感知损失函数L_percep由风格损失函数L_style、内容损失函数L_content、像素损失函数L_pixel和全变分损失函数L_tv组成，风格损失函数如公式(4)所示。

其中，表示高分辨率原始图像，y表示生成器生成的粗略的高分辨率图像，Gram_l表示第l张图像对应的格拉姆矩阵(Gram matrix)，为第l张高分辨率原始图像的格拉姆矩阵，Gram_l(y)为第l张粗略的高分辨率图像的格拉姆矩阵，高分辨率原始图像和粗略的高分辨率图像的图像尺寸相同，C、H、W分别表示图像的特征通道数、高和宽。

通过判别器分别对高分辨率原始图像、粗略的高分辨率图像进行特征提取，得到高分辨率原始图像对应的第一特征图、粗略的高分辨率图像对应的第二特征图，根据第一特征图和第二特征图进行损失计算，得到判别器的内容损失函数，第一特征图和第二特征图的尺寸相同。

判别器的内容损失函数如公式(5)所示。

其中，C、H、W分别表示第一特征图或者第二特征图的特征通道数、高和宽，F_l表示第l张图像对应的特征图，表示第l张高分辨率原始图像的第一特征图，F_l(y)表示第l张粗略的高分辨率图像的第二特征图。

像素损失函数如公式(6)所示。

其中，表示高分辨率原始图像，y表示粗略的高分辨率图像，C、H、W分别表示图像的特征通道数、高和宽。

全变分损失函数如公式(7)所示。

其中，y_i,j表示粗略的高分辨率图像中第i行、第j列的像素点。

感知损失函数如公式(8)所示。

L_percep＝λ_styleL_style+λ_contentL_content+λ_pixelL_pixel+λ_tvL_tv 公式(8)

其中，λ_style、λ_content、λ_pixel和λ_tv分别表示风格损失、内容损失、像素损失和全变分损失的参数。

对抗损失函数V(D,G)如下：

其中，E()表示分布函数的期望值，P_data(x)表示真实数据集即高分辨率原始图像的样本分布，P_noise(z)表示输入图像z即低分辨率图像的样本分布，G表示生成器，D表示判别器。

将生成器的内容损失函数、判别器的感知损失函数和生成器和判别器之间的对抗损失函数进行求和，得到损失值，当损失值小于或者等于预设损失阈值，说明判别器认为生成器生成的粗略的高分辨率图像判别通过，将该粗略的高分辨率图像作为图像超分辨网络输出的高分辨率图像。当损失值大于预设损失阈值，说明判别器认为生成器生成的粗略的高分辨率图像判别不通过，则生成器继续生成高分辨率图像，直至高分辨率图像判别通过。

在测试阶段，直接将低分辨率图像输入至生成器，由生成器直接输出高分辨率图像，判别器不参与推理。

本申请实施例的图像超分辨方法包括：获取数据集中的原始图像如图11a所示，原始图像的图像大小为1024×1024，为了使原始图像能按照2倍、3倍、4倍成倍缩减，对原始图像进行边界裁剪。由于1024对2×3×4取余为4，则边界裁剪后的原始图像的大小为(1024-4)×(1024-4)即1020×1020。利用下采样技术对裁剪后的原始图像进行缩减，得到第一低分辨率图像、第二低分辨率图像和第三低分辨率图像。第一低分辨率图像如图11b所示，第一低分辨率图像的图像大小为510×510，为裁剪后原始图像的1/2。第二低分辨率图像如图11c所示，第二低分辨率图像的图像大小为340×340，为裁剪后原始图像的1/3。第三低分辨率图像如图11d所示，第三低分辨率图像的图像大小为255×255，为裁剪后原始图像的1/4。从第一低分辨率图像、第二低分辨率图像和第三低分辨率图像中任意选择一个低分辨率图像输入至图像超分辨网络，并将图像超分辨网络的上采样倍数设为输入低分辨率图像与原始图像之间的倍数，图像超分辨网络包括生成器和判别器，生成器包括扩散模型。

为了加速生成器中扩散模型的推理过程，按照输入图像的尺寸将低分辨率图像分割成为若干个如图11e所示的128×128大小的图像块，将这个多个图像块输入至图像超分辨网络，通过图像超分辨网络得到细节更丰富的图像块，将这些细节更丰富的图像块拼接成高分辨率图像，高分辨率图像与低分辨率图像的图像尺寸保持一致。利用像素反卷积对高分辨率图像进行上采样操作，得到高质量的超分辨率图像，如图11f所示。图像超分辨网络的输入大小为64×3×128×128，网络的输出大小与预先设置的放大倍数有关，例如当放大倍数为×2时，输出大小为64×3×256×256，当放大倍数为×3时，输出大小为64×3×384×384，当放大倍数为×4时，输出大小为64×3×512×512。64表示批次大小(batchsize)，3为图像通道数，高度和宽度为128。

生成器一共有39层，具体由3部分组成，第一部分也就是第1层包括1个卷积层和1个全变分正则化编码器，第二部分是第2至37层，由4个负责下采样的动态残差块、1个原始的动态残差块和4个负责上采样的动态残差块，共计9个不同功能的动态残差块组成。如图5所示，在这9个不同功能的动态残差块中，第一个至第四个动态残差块负责下采样，为第一动态残差块，第一动态残差块包括动态残差机制和下采样机制。第五个动态残差块为第二动态残差块，第二动态残差块仅包括动态残差机制。第六个至第十个动态残差块负责上采样，为第三动态残差块，第三动态残差块包括动态残差机制和上采样机制。每一个动态残差机制包含4层网络结构，第1层是卷积层和激活函数ReLU，第2层是动态卷积层和激活函数ReLU，第3层是单一的卷积层，第4层的结构与第2层相同。从第2个动态残差块开始，在每一个动态残差块的输入中都加入了一份时序信息。最后，第三部分则是第38、39层，分别是卷积层和亚像素卷积层来获得最终的高分辨率图像。

生成器中还设计了残差连接。其中，第1个动态残差块的输出与第8个动态残差块的输出拼接之后作为第9个动态残差块的输入，第2个动态残差块的输出与第7个动态残差块的输出拼接之后作为第8个动态残差块的输入，第3个动态残差块的输出与第6个动态残差块的输出拼接之后作为第7个动态残差块的输入，第4个动态残差块的输出与第5个动态残差块的输出拼接之后作为第6个动态残差块的输入。此外，在每一个动态残差机制内部，第1层卷积层的输入与第1层卷积层的输出加和后作为第2层动态卷积层的输入。第1层卷积层的输入、第2层动态卷积层的输入与第2层动态卷积层的输出加和后作为第3层卷积层的输入。第1层卷积层的输入、第2层动态卷积层的输入、第3层卷积层的输入与第3层卷积层的输出加和后作为第4层动态卷积层的输入。

本申请实施例的低分辨率图像使用全变分正则化的先验知识进行了预处理，向噪声图像中添加经过全变分正则化编码器处理过的低分辨率图像信息。将融合了动态卷积的动态残差块应用到扩散模型中，使扩散模型在少量增加参数量的基础上对于不同的输入图像拥有更好的自适应性。利用残差结构的设计与整流线性单元稳步提高深层网络的记忆和学习能力。同时，将时序信息加入到扩散模型中来引导逆扩散过程中的优化顺序。用亚像素卷积进行上采样操作获得高分辨率图像。本申请实施例通过加入动态残差块来提高扩散模型的特征提取能力，并将扩散模型作为生成器的一部分融合进生成对抗网络中使得图像超分辨网络拥有良好的超分辨性能，并采用生成对抗网络的训练方式提高了扩散模型生成的图片质量。

需要说明的是，本申请实施例除了能处理超分辨任务外，还能处理图像去噪任务和图像生成任务。将输入改为不同级别的噪声图像，如噪声等级为15、25或50的噪声图像，再使用不含噪声的原图像作为类标并将上采样倍数设置为1，本申请实施例的图像超分辨方法就可以进行图像去噪。

请参阅图12，本申请实施例还提供一种图像超分辨装置，可以实现上述图像超分辨方法，该装置包括：

获取模块1210，用于获取低分辨率图像；

输入模块1220，用于将低分辨率图像输入至图像超分辨网络，图像超分辨网络包括生成器和判别器，生成器包括第一动态残差块和第二动态残差块，第一动态残差块和第二动态残差块之间存在第一预设时序信息；

图像扩散生成模块1230，用于通过第一动态残差块对低分辨率图像进行特征提取，得到第一图像特征，将第一图像特征和第一预设时序信息进行特征融合，得到第二图像特征，通过第二动态残差块对第二图像特征进行特征提取，生成粗略的高分辨率图像；

图像深层卷积判别模块1240，用于通过判别器对生成的粗略的高分辨率图像进行图像判别，若图像判别通过，则将生成的粗略的高分辨率图像作为图像超分辨网络输出的高分辨率图像。

该图像超分辨装置的具体实施方式与上述图像超分辨方法的具体实施例基本相同，在此不再赘述。

本申请实施例还提供了一种电子设备，电子设备包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述图像超分辨方法。该电子设备可以为包括平板电脑、车载电脑等任意智能终端。

请参阅图13，图13示意了另一实施例的电子设备的硬件结构，电子设备包括：

处理器1310，可以采用通用的CPU(CentralProcessingUnit，中央处理器)、微处理器、应用专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本申请实施例所提供的技术方案；

存储器1320，可以采用只读存储器(ReadOnlyMemory，ROM)、静态存储设备、动态存储设备或者随机存取存储器(RandomAccessMemory，RAM)等形式实现。存储器1320可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1320中，并由处理器1310来调用执行本申请实施例的图像超分辨方法；

输入/输出接口1330，用于实现信息输入及输出；

通信接口1340，用于实现本设备与其他设备的通信交互，可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信；

总线1350，在设备的各个组件(例如处理器1310、存储器1320、输入/输出接口1330和通信接口1340)之间传输信息；

其中处理器1310、存储器1320、输入/输出接口1330和通信接口1340通过总线1350实现彼此之间在设备内部的通信连接。

本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述图像超分辨方法。

存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

本申请实施例提供的图像超分辨方法、图像超分辨装置、电子设备及计算机可读存储介质，其通过第一动态残差块可以将低层特征和高层特征融合，以丰富不同层次的特征，提高特征提取的准确性。将第一图像特征和第一预设时序信息进行特征融合，通过引入时序信息引导动态残差块逐步去噪，避免了GAN驱动方式经常遇到的模式崩溃问题，使得图像超分辨网络具有良好的超分辨性能。通过判别器对生成器生成的粗略的高分辨率图像进行图像判别，以将图像判别结果反馈给生成器，提高生成高分辨率图像的质量，与基于流的方法相比，减少了资源占用，并降低了训练成本。

本申请实施例描述的实施例是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域技术人员可知，随着技术的演变和新应用场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。

本领域技术人员可以理解的是，图中示出的技术方案并不构成对本申请实施例的限定，可以包括比图示更多或更少的步骤，或者组合某些步骤，或者不同的步骤。

以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、设备中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。

本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括多指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例的方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序的介质。

以上参照附图说明了本申请实施例的优选实施例，并非因此局限本申请实施例的权利范围。本领域技术人员不脱离本申请实施例的范围和实质内所作的任何修改、等同替换和改进，均应在本申请实施例的权利范围之内。

Claims (9)

1.一种图像超分辨方法，其特征在于，所述方法包括：

获取低分辨率图像；

将所述低分辨率图像输入至图像超分辨网络，所述图像超分辨网络包括生成器和判别器，所述生成器包括扩散模型，所述扩散模型包括第一动态残差块、第二动态残差块和第三动态残差块，所述第一动态残差块和所述第二动态残差块之间存在第一预设时序信息，第二动态残差块和第三动态残差块之间存在第二预设时序信息；所述第一动态残差块包括第一动态残差机制和下采样机制，所述第一预设时序信息和所述第二预设时序信息均为扩散模型正向扩散过程中加入噪声的时间，用于表示扩散模型训练过程中加噪声的先后顺序；所述第一预设时序信息用于指明当前迭代应当减去第一预设时序信息所表征时间的噪声，所述第二预设时序信息用于指明当前迭代应当减去第二预设时序信息所表征时间的噪声；所述第二动态残差块采用动态残差机制实现；所述第三动态残差块包括第二动态残差机制和上采样机制；

通过所述第一动态残差块对所述低分辨率图像进行特征提取，得到第一图像特征，将所述第一图像特征和所述第一预设时序信息进行特征融合，得到第二图像特征，通过所述第二动态残差块对所述第二图像特征进行特征提取，得到第三图像特征，对所述第一图像特征、所述第三图像特征和所述第二预设时序信息进行特征融合，得到第四图像特征，通过所述第三动态残差块对所述第四图像特征进行特征提取，得到第五图像特征，对所述第五图像特征进行亚像素卷积处理，得到粗略的高分辨率图像；

通过所述判别器对生成的所述粗略的高分辨率图像进行图像判别，若图像判别通过，则将生成的所述粗略的高分辨率图像作为所述图像超分辨网络输出的高分辨率图像。

2.根据权利要求1所述的图像超分辨方法，其特征在于，所述通过所述第一动态残差块对所述低分辨率图像进行特征提取，得到第一图像特征，包括:

对所述低分辨率图像进行全变分正则化编码，得到全变分图像特征；

随机生成噪声图像，并对所述噪声图像进行卷积处理，得到噪声图像特征；

对所述全变分图像特征和所述噪声图像特征进行特征融合，得到低分辨率图像特征；

通过所述第一动态残差块对所述低分辨率图像特征进行特征提取，得到所述第一图像特征。

3.根据权利要求2所述的图像超分辨方法，其特征在于，所述对所述低分辨率图像进行全变分正则化编码，得到全变分图像特征，包括：

从所述低分辨率图像中提取图像梯度信息；

对所述图像梯度信息进行全变分处理；

根据预设正则化系数对全变分处理后的所述图像梯度信息进行正则化处理，得到所述全变分图像特征。

4.根据权利要求2所述的图像超分辨方法，其特征在于，所述通过所述第一动态残差块对所述低分辨率图像特征进行特征提取，得到所述第一图像特征，包括：

通过所述第一动态残差机制对所述低分辨率图像特征进行特征提取，得到初始图像特征；

通过所述下采样机制对所述初始图像特征进行下采样处理，得到所述第一图像特征。

5.根据权利要求4所述的图像超分辨方法，其特征在于，所述第一动态残差机制包括第一卷积层、第二卷积层、第三卷积层和第四卷积层，所述通过所述第一动态残差机制对所述低分辨率图像特征进行特征提取，得到初始图像特征，包括：

通过所述第一卷积层对所述低分辨率图像特征进行卷积处理，得到第一卷积特征；

对所述第一卷积特征和所述低分辨率图像特征进行特征融合，得到第一融合特征；

通过所述第二卷积层对所述第一融合特征进行卷积处理，得到第二卷积特征；

对所述第二卷积特征、所述第一融合特征和所述低分辨率图像特征进行特征融合，得到第二融合特征；

通过所述第三卷积层对所述第二融合特征进行卷积处理，得到第三卷积特征；

对所述第三卷积特征、所述第一融合特征、所述第二融合特征和所述低分辨率图像特征进行特征融合，得到第三融合特征；

通过所述第四卷积层对所述第三融合特征进行卷积处理，得到所述初始图像特征。

6.根据权利要求1所述的图像超分辨方法，其特征在于，所述通过所述第三动态残差块对所述第四图像特征进行特征提取，得到第五图像特征，包括：

通过所述第二动态残差机制对所述第四图像特征进行特征提取，得到中间图像特征；

通过所述上采样机制对所述中间图像特征进行上采样处理，得到所述第五图像特征。

7.一种图像超分辨装置，其特征在于，所述装置包括：

获取模块，用于获取低分辨率图像；

输入模块，用于将所述低分辨率图像输入至图像超分辨网络，所述图像超分辨网络包括生成器和判别器，所述生成器包括扩散模型，所述扩散模型包括第一动态残差块、第二动态残差块和第三动态残差块，所述第一动态残差块和所述第二动态残差块之间存在第一预设时序信息，第二动态残差块和第三动态残差块之间存在第二预设时序信息；所述第一动态残差块包括第一动态残差机制和下采样机制，所述第一预设时序信息和所述第二预设时序信息均为扩散模型正向扩散过程中加入噪声的时间，用于表示扩散模型训练过程中加噪声的先后顺序；所述第一预设时序信息用于指明当前迭代应当减去第一预设时序信息所表征时间的噪声，所述第二预设时序信息用于指明当前迭代应当减去第二预设时序信息所表征时间的噪声；所述第二动态残差块采用动态残差机制实现；所述第三动态残差块包括第二动态残差机制和上采样机制；

图像扩散生成模块，用于通过所述第一动态残差块对所述低分辨率图像进行特征提取，得到第一图像特征，将所述第一图像特征和所述第一预设时序信息进行特征融合，得到第二图像特征，通过所述第二动态残差块对所述第二图像特征进行特征提取，得到第三图像特征，对所述第一图像特征、所述第三图像特征和所述第二预设时序信息进行特征融合，得到第四图像特征，通过所述第三动态残差块对所述第四图像特征进行特征提取，得到第五图像特征，对所述第五图像特征进行亚像素卷积处理，得到粗略的高分辨率图像；

图像深层卷积判别模块，用于通过所述判别器对生成的所述粗略的高分辨率图像进行图像判别，若图像判别通过，则将生成的所述粗略的高分辨率图像作为所述图像超分辨网络输出的高分辨率图像。

8.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现权利要求1至6任一项所述的图像超分辨方法。

9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6任一项所述的图像超分辨方法。