CN112991203B - 图像处理方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请公开了一种图像处理方法、装置、电子设备及存储介质。一种图像处理方法，方法包括：获取待处理视频帧序列，将待处理视频帧序列中的各个视频帧分别作为待处理图像；通过预设的去噪模块分别对每个待处理图像进行去噪处理，得到每个待处理图像对应的去噪图像特征；将每个去噪图像特征输入预设的超分辨率重建模块，得到由超分辨率重建模块输出的目标图像，目标图像的分辨率大于待处理图像；根据每个待处理图像对应的目标图像，生成目标视频帧序列。通过在进行图像超分辨率重建前对待处理图像进行针对性地去噪，可以避免重建过程对图像噪声的放大，能够提高超分重建后目标图像的图像质量，进而提高处理后的视频的画质。

Description

图像处理方法、装置、电子设备及存储介质

技术领域

本申请涉及人工智能技术领域，更具体地，涉及一种图像处理方法、装置、电子设备及存储介质。

背景技术

超分辨率重建(Super-Resolution，SR)，也可以称为超分重建，是指提高原图像的分辨率，将低分辨率图像重建为高分辨率图像的方法。针对视频图像的处理，通常只是把图像直接送入到一个神经网络模型中进行训练，从而实现超分辨率重建。但在这个过程中，超分辨率重建在放大图像的同时也会增强噪声，影响输出图像的整体质量，无法使最终得到的视频图像的达到较好的显示效果。因此有必要对图像的超分重建过程进行优化。

发明内容

鉴于上述问题，本申请提出了一种图像处理方法、装置、电子设备及存储介质。

第一方面，本申请实施例提供了一种图像处理方法，所述方法包括：获取待处理视频帧序列，将所述待处理视频帧序列中的各个视频帧分别作为待处理图像；通过预设的去噪模块分别对每个所述待处理图像进行去噪处理，得到每个所述待处理图像对应的去噪图像特征；将每个所述去噪图像特征输入预设的超分辨率重建模块，得到由所述超分辨率重建模块输出的目标图像，所述目标图像的分辨率大于所述待处理图像；根据每个所述待处理图像对应的目标图像，生成目标视频帧序列。

第二方面，本申请实施例提供了一种图像处理装置，所述装置包括：获取模块，用于获取待处理视频帧序列，将所述待处理视频帧序列中的各个视频帧分别作为待处理图像；去噪模块，用于分别对每个所述待处理图像进行去噪处理，得到每个所述待处理图像对应的去噪图像特征；超分辨率重建模块，用于对输入的每个所述去噪图像特征进行超分辨率重建，得到输出的目标图像，所述目标图像的分辨率大于所述待处理图像；生成模块，用于根据每个所述待处理图像对应的目标图像，生成目标视频帧序列。

第三方面，本申请实施例提供了一种电子设备，包括：一个或多个处理器；存储器；一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个应用程序配置用于执行上述第一方面提供的图像处理方法

第四方面，本申请实施例提供了一种计算机可读取存储介质，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行上述第一方面提供的图像处理方法。

本申请提供的方案，在获取待处理视频帧序列，将待处理视频帧序列中的各个视频帧分别作为待处理图像之后，通过预设的去噪模块分别对每个待处理图像进行去噪处理，得到每个待处理图像对应的去噪图像特征，进而将每个去噪图像特征输入预设的超分辨率重建模块，得到由超分辨率重建模块输出的目标图像，目标图像的分辨率大于待处理图像，然后根据每个待处理图像对应的目标图像，生成目标视频帧序列。通过在进行图像超分辨率重建前对待处理图像进行针对性地去噪，可以避免重建过程对图像噪声的放大，能够提高超分重建后目标图像的图像质量，进而提高处理后的视频的画质，能够实现实时地视频画质增强。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本申请实施例的应用场景的示意图；

图2示出了本申请一个实施例的图像处理方法的方法流程图；

图3示出了本申请实施例提供的一种图像处理模型的示意图；

图4示出了本申请另一个实施例的图像处理方法的方法流程图；

图5示出了本申请一实施例提供的图4所示的图像处理方法中的S430的流程示意图；

图6示出了本申请一个实施例提供的一种去噪模块的示意图；

图7示出了本申请又一个实施例的图像处理方法的方法流程图；

图8示出了本申请一个实施例提供的图7所示的图像处理方法中步骤S740之后的流程示意图；

图9示出了根据本申请一个实施例的图像处理装置的一种框图；

图10示出了本申请实施例的用于执行根据本申请实施例的图像处理方法的电子设备的框图；

图11是本申请实施例的用于保存或者携带实现根据本申请实施例的图像处理方法的程序代码的存储单元。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

随着信息技术和互联网技术的发展，用户对视频的清晰度提出了更高的要求，超分辨率重建可以通过人工智能深度学习将视频中的低分辨率图像重建成高分辨率视频的图像，使视频变得更加清晰，为移动端为用户带来更好的视频体验。在实际应用中由于种种客观限制，视频中通常存在噪声。例如，噪声可能是摄像头采集能力不足或者传输过程中进行视频压缩等限制产生的。而在超分重建的过程中，通过对于有噪声的输入图像没有进行针对性处理，导致通过超分辨率重建在放大图像的同时也会增强噪声，影响输出图像的质量，无法得到高质量的输出视频。并且，输入图像中存在的模糊和高强度的噪声会增加网络后续处理过程的难度，导致网络模块陷入局部最优解，甚至使网络模块的训练过程无法收敛，降低利用网络模块最终训练得到的图像的质量。

因此，为了解决上述缺陷，本申请实施例提供了一种图像处理方法、装置、电子设备及存储介质，在进行图像超分辨率重建前通过去噪模块对待处理图像进行针对性地去噪，然后再进行超分辨率重建，能够避免重建过程对图像噪声的放大，提高超分重建后目标图像的图像质量，进而提高处理后的视频的画质。

为了便于了解本申请的实施例，先介绍本申请实施例可能使用到的应用场景，如图1所示，图1示出了本申请实施例提供的应用场景，服务器10和用户终端20位于无线网络或有线网络中，服务器10和用户终端20之间能够进行数据交互。

作为一种实施方式，本申请实施例可以应用于用户终端，即用户终端可以作为本申请的图像处理方法的执行主体。其中，用户终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，在此不对用户终端进行限制。具体地，该执行主体可以是安装在用户终端内的应用程序，则图像处理模型的训练过程，以及根据图像处理模型对图像进行处理的过程均由用户终端执行。

作为另一种实施方式，本申请实施例可以应用于服务器，服务器可以作为本申请的图像处理方法的执行主体，则图像处理模型的训练过程以及根据图像处理模型对图像进行处理的过程均由服务器执行。服务器可以获取用户终端上传的待处理视频帧图像或者待处理图像，基于图像处理模型对图像进行处理。

本申请实施例可以应用于图像处理系统，如图1所示，该图像处理系统包括服务器10和用户终端20，服务器10和用户终端20位于无线网络或有线网络中，服务器10和用户终端20之间能够进行数据交互。其中，服务器10可以是单独的服务器，也可以是服务器集群，可以是本地服务器，也可以是云端服务器。

作为一种实施方式，该用户终端20可以是用户所使用的终端，用户通过该用户终端浏览视频或者图像。可选地，该用户终端20可以设置有图像采集装置，视频或者图像是由图像采集装置采集得到的。在一些实施例中，服务器10可以用于训练本申请实施例中所涉及到的模型或算法，另外，服务器10也可以将训练好的模型或算法迁移至用户终端，当然，还可以是用户终端20直接训练本申请实施例中所涉及到的模型或算法。具体地，于本申请实施例中，并不限定本申请实施例中的各个方法步骤的执行主体。

作为一种实施方式，当执行主体接收到视频时可以直接对视频进行超分辨率重建。例如，用户终端在获取到服务器推送的视频流后，可以实时地对视频流进行处理，从而实现实时地视频增强。作为另一种实施方式，执行主体可以响应于分辨率切换指令进行超分辨率重建。例如当用户发现当前分辨率较低，视频不够清晰时，发送分辨率切换指令。

在一些实施方式中，本申请实施例提供的图像处理方法中，可以基于训练后的图像处理模型实现对图像的去噪以及超分放大。其中，图像处理模型可以包括去噪模块和超分辨率重建模块，去噪模块用于滤除输入图像中的噪声，超分辨率重建模块用于对滤除噪声后的输入图像进行超分重建。

作为一种实施方式，可以先分别单独训练去噪模块和超分辨率重建模块，再通过联合训练微调(fine-tune)整个模型参数。

具体地，可以获取训练数据集，其中，所述训练数据集包括第一数据集、第二数据集和第三数据集。可以基于第一数据集对去噪模块进行训练，以使训练得到的去噪模块能够对输入图像进行去噪处理，滤除噪声后的输出图像。其中，第一数据集可以包括含有噪声的样本图像以及不含有噪声的样本图像，在训练过程中可以基于样本图像对去噪模块的模型参数不断优化，使得该模型能够较准确地滤除图像中的噪声。其中，输出图像的信噪比大于输入图像。可以理解的是，滤除噪声后的输出图像可以是特征图(feature map)形式的图像特征。

可以基于第二数据集对超分辨率重建模块进行训练，以使训练得到的超分辨率重建模块能够对输入图像进行超分辨率重建操作，使得输出图像的分辨率大于输入图像。其中，第二数据集可以包括低分辨率的样本图像和高分辨率的样本图像，基于样本图像可以对超分辨率重建模块的模型参数不断优化，使得训练后的模型能够较准确地提高输出图像的分辨率。

在分别单独训练去噪模块与超分辨率重建模块后，可以将上述两个模块的模型参数，也就是模型中的权重值加载到图像处理模块中，基于第三数据集联合训练微调整个模型参数，以得到更好的模型参数，训练后的图像处理模型包括预设的去噪模块和预设的超分辨率重建模块。

通过先单独再联合的训练方法，能够使整个图像处理模型中实现先去噪再放大，由输入的待处理图像直接输出得到输出的分辨率更高的目标图像。一方面，可以使去噪功能和放大功能相互促进，有效消除超分辨率放大功能增强噪声的副作用。另一方面，当去噪模块和超分辨率重建模块采用较为轻量级的网络结构时，直接训练整个图像处理网络较为困难，网络很难收敛，通过这种方式可以降低训练难度。

请参阅图2，图2示出了本申请实施例提供的一种图像处理方法，该方法的执行主体可以是上述服务器，也可以是上述用户终端，具体地，该方法包括：S210至S240。

步骤S210：获取待处理视频帧序列，将待处理视频帧序列中的各个视频帧分别作为待处理图像。

作为一种实施方式，待处理视频可以是由用户终端采集的视频。例如，用户使用用户终端内的相机应用完成拍摄后，拍摄得到的视频为待处理视频。

作为另一种实施方式，待处理视频可以是用户终端接收到的视频。例如，待处理视频可以是用户在用户终端的视频应用上浏览的视频，该视频可以是由服务器发送至该用户终端的。

待处理图像是待处理视频的视频帧序列中的图像。具体地，当待处理视频帧序列包括一个视频帧时，将该视频帧作为为一个待处理图像；当待处理视频帧序列包括大于一个视频帧时，将各个视频帧分别作为待处理图像。

在一些实施方式中，待处理图像也可以是视频帧序列中的关键帧图像，从而节省对图像进行处理所需的算力。例如，待处理视频是由编码标准H.264编码得到的视频，可以将待处理视频的视频帧序列的帧内编码帧(I帧)作为待处理图像。

作为一种方式，待处理图像可以是直接由原始的视频帧得到的。作为另一种方式，待处理图像也可以是对原始的视频帧进行一定处理后得到的。例如，可以从原始的视频帧中提取指定通道的图像数据，将指定通道的图像数据作为待处理图像。又例如，可以从原始的视频帧中提取指定区域的图像数据，将该指定区域的图像数据作为待处理图像。其中，指定区域可以是具有复杂纹理的区域，也可以是对图像进行分割得到的多个区域。例如，指定区域可以是轮廓区域或者人像区域等。

步骤S220：通过预设的去噪模块分别对每个待处理图像进行去噪处理，得到每个待处理图像对应的去噪图像特征。

图像去噪的目的是从输入的包含噪声的图像中恢复不含噪声的图像，同时尽可能多的保持图像中的细节信息。

作为一种实施方式，去噪模块可以是基于深度学习的网络模型。例如，可以是基于深度学习的神经网络(Neural Networks，NN)模型，也可以是基于深度学习的卷积神经网络(Convolutional Neural Networks,CNN)模型。具体地，在此不做限定。

在获取待处理图像后，可以通过预设的去噪模块分别对每个待处理图像进行去噪处理，得到去噪模块输出的每个待处理图像对应的去噪图像特征。作为一种方式，每个待处理图像是分别输入该预设的去噪模块的，也就是说，每个待处理图像是单独输入去噪模块进行去噪的，得到与该待处理图像对应去噪图像特征。作为另一种方式，也可以通过包含该待处理图像的多帧图像，对待处理图像进行去噪。例如，可以将根据该待处理图像前后视频帧图像，对该待处理图像进行去噪。

在一些实施方式中，当待处理图像为灰度图像时，可以直接将灰色图像输入预设的去噪模块；当待处理图像为彩色图像时，可以通过色域转换获取每个待处理图像的亮度通道图像，将亮度通道图像输入预设的去噪模块中进行处理。由此，可以不改变图像的颜色信息。具体地，请参见后续实施例。

步骤S230：将每个去噪图像特征输入预设的超分辨率重建模块，得到由超分辨率重建模块输出的目标图像。

在获取到去噪图像特征后，可以将每个去噪图像特征输入预设的超分辨率重建模块，得到该模块输出的目标图像。其中，目标图像的分辨率大于待处理图像。

作为一种实施方式，超分辨率重建模块可以是基于深度学习的网络模型。例如，超分辨率重建模块可以是SRCNN(Super-Resolution CNN)、FSRCNN(Fast Super-ResolutionConvolutional Neural Network))、ESPCN(Efficient Sub-Pixel Convolutional NeuralNetwork)、VDSR(Super-Resolution Using Very Deep Convolutional Networks)、SRDenseNet(Image Super-Resolution Using Dense Skip Connections)等，在此不做具体限定。

在一些实施方式中，可以根据不同的目标分辨率设置不同的超分辨率重建模块，从而可以将待处理图像重建为多种分辨率的目标图像。例如，可以响应于用户选择的分辨率确定目标分辨率，从而通过目标分辨率对应的超分辨率重建模块进行超分辨率重建。又例如，可以根据当前网络状态、算力等条件确定目标分辨率，进而得到目标分辨率对应的目标图像。

在一些实施例中，可以将每个待处理图像的原始图像特征与去噪图像特征进行特征融合，得到融合特征；将每个融合特征输入预设的超分辨率重建模块，得到由超分辨率重建模块输出的所述目标图像。

由于去噪模型在滤除待处理图像中的噪声信息时，可能也滤除了待处理图像的一些原始图像信息。例如，一些容易被滤除的图像细节信息等。为了降低去噪模型对待处理图像的噪声以外的原始图像信息的影响，可以将去噪模型的输出和输入特征进行融合，即将去噪图像特征和原始图像特征进行融合，将融合得到的融合特征输入预设的超分辨率重建模块。由此，特征融合且提高了融合特征中图像信息的精度，超分辨率重建模块可以接受到包含待处理图像中的原始图像信息和去噪后的图像信息，避免由于去噪模块造成的误差，在后续处理流程中形成积累，影响最终的输出图像质量。

作为一种方式，特征融合操作可以是通过连接(Concat)函数实现的。Concat函数可以在指定维度上将输入的原始图像特征与去噪图像特征数据堆叠在一起，得到包含有更多信息的融合特征。

在一些实施例中，超分辨率重建模块可以包括特征提取子模块和图像重建子模块，可以将每个去噪图像特征输入特征提取子模块，得到由特征提取子模块输出的语义特征，然后将语义特征输入图像重建子模块，得到由图像重建子模块输出的目标图像。

作为一种实施方式，特征提取子模块可以是编解码网络。其中，编解码网络可以包括有至少一个编码器和至少一个解码器。作为一种方式，编解码网络可以是U-Net的网络结构，也可以是U-Net的变种网络。例如，3D U-Net、Res-UNet、Dense U-Net、R2U-Net(Recurrent Residual CNN-based U-Net)等。可选地，编解码网络中的卷积层可以是普通的卷积层，也可以是可分离卷积层。

具体地，编解码网络可以由包含多层卷积层的编码器和包含多层反卷积层的解码器级联得到。输入特征图的尺寸经过编码器的多层卷积层逐渐缩小，以提取图像特征的更抽象的语义信息，编码器输出的特征图输入解码器，特征图的尺寸经过解码器的多层反卷积层逐渐放大，得到图像特征的细节信息。编解码网络中还可以包括有跳跃连接层，将编码器各卷积层输出的结果和对应的解码器卷积层输出的结果进行连接(Concat)，作为解码器的下一个卷积层的输入。

作为一种实施方式，图像重建子模块可以通过像素重排列实现上采样操作。例如，图像重建子模块可以将输入的h×w像素(h代表高度，w代表宽度)、4通道的特征图(shape为4×h×w)，通过像素重排列输出2h×2w像素、1通道的特征图(shape为1×2h×2w)，即目标图像。作为一种方式，图像重建子模块可以包括有像素重排列(PixelShuffle)单元，将输入图像重建子模块的低分辨的特征图，即由特征提取模块输出的语义特征，通过卷积和多通道间的重组得到高分辨率的特征图，即图像重建子模块输出的目标图像的特征图。

可以理解的是，特征提取子模块与图像重建子模块共同实现了超分辨率放大模块的功能。特征提取子模块的网络模型训练地越准确，特征提取子模块输出的语义特征越有效，将语义特征输入图像重建子模块，得到由图像重建子模块输出的目标图像的图像质量越高。其中，图像质量可以表现为图像在视觉上主观感受更好。例如，意见平均分(MeanOpinion Score，MOS)更高。图像质量也可以表现为信噪比更高。

在一些实施方式中，可以通过改变去噪模块和编解码网络的结构可以改变网络能力，从而使得本申请实施例中的图像处理模型可以应用于不同的平台上。例如，可以通过增加或者减少去噪模块、编解码网络的卷积层数量或者输出特征图的通道数量来改变网络的性能。可以理解的是，通常情况下，卷积层的数量越多或者输出特征图的通道数越多，网络能力越强，提取到的特征越有效，但是网络参数量越大，训练和应用网络时所需要的算力和功耗越大。因此，可以根据应用平台提供的算力功耗等需求进行更改扩展。

在一些实施方式中，可以根据对待处理视频的处理需求，只使用去噪模块和超分辨率放大其中之一的功能，从而节省算力和功耗。可以理解的是，通过先单独训练再联合训练的方式训练得到的图像处理模型中，可以获取到可单独使用的预设的去噪模块和预设的超分辨率重建模块。例如，当只去噪时，可以将去噪模块输出的去噪图像特征再过一个卷积输出单通道的图像。又例如，当只用超分功能时，可以将输入的待处理图像经过一个卷积层进行特征提取后，输入超分辨率重建模块，获取重建后分辨率更高的图像。

示例性地，请参阅3，图3示出了本申请实施例提供的一种图像处理模型的示意图。其中，图像处理模型30包括级联的去噪模块31和超分辨率重建模块32。超分辨率重建模块32包括用于提取特征的编解码网络321和用于重建图像的图像重建网络322，即上述图像重建子模块。具体地，将待处理图像输入去噪模块31，得到输出的去噪图像特征；将原始图像特征和去噪图像特征通过连接模块进行特征融合，得到融合特征，其中，所述连接模块可以是concat函数；将融合特征输入超分辨率重建模块32，经过编解码网络321对输入的融合特征重新进行编解码，为后续的图像重建放大做准备，然后将编解码网络321输出的语义特征输入图像重建网络322，通过像素重排列实现上采样操作，得到输入图像去噪放大后的清晰图像，即目标图像。

步骤S240：根据每个待处理图像对应的目标图像，生成目标视频帧序列。

在获取到每个待处理图像对应的目标图像后，可以根据待处理图像对应的视频帧的时序，生成目标视频帧序列。由于目标图像的分辨率大于待处理图像的分辨率，所以目标视频帧序列对应视频的分辨率也大于待处理视频。

作为一种实施方式，可以将按照待处理视频的视频帧序列的顺序，将每一个视频帧对应的目标图像拼接在一起，生成目标视频帧序列。也就是说，可以逐帧处理待处理视频的视频帧，实时地增强视频整体画质。作为另一种实施方式，可以利用视频时域的特性，当重建某一帧时，利用前后相邻的多个视频帧对应的目标图像生成目标视频帧序列。

作为一种方式，可以对目标视频帧序列进行编码，将编码得到的视频通过推流协议推送到用户终端的客户端进行解码播放，从而用户可以在客户端观看到分辨率更高的视频，提升了用户的视觉体验。

因此，本申请实施例在获取待处理视频帧序列，将待处理视频帧序列中的各个视频帧分别作为待处理图像之后，通过预设的去噪模块分别对每个待处理图像进行去噪处理，得到每个待处理图像对应的去噪图像特征，进而将每个去噪图像特征输入预设的超分辨率重建模块，得到由超分辨率重建模块输出的目标图像，目标图像的分辨率大于待处理图像，然后根据每个待处理图像对应的目标图像，生成目标视频帧序列。通过在进行图像超分辨率重建前对待处理图像进行针对性地去噪，可以避免重建过程对图像噪声的放大，能够提高超分重建后目标图像的图像质量，进而提高处理后的视频的画质。

请参阅图4，图4示出了本申请实施例提供的一种图像处理方法，该方法的执行主体可以是上述服务器，也可以是上述用户终端，具体地，该方法包括：S410至S460。

步骤S410：获取待处理视频帧序列，将待处理视频帧序列中的各个视频帧分别作为待处理图像。

步骤S420：将待处理图像的原始图像特征输入第一卷积子模块，得到第一输出特征。

其中，第一卷积子模块用于改变特征图的通道数，原始图像特征的通道数和第一输出特征的通道数不同。第一卷积子模块可以包含有至少一个卷积层，用于提取待处理图像的浅层特征，其中，浅层特征可以含有很多图像细节信息。

作为一种方式，第一卷积子模块可以包括有若干个卷积核。可以理解的是，通过较小尺寸的卷积核可以得到原始图像特征中更多的细节信息。例如，可以是尺寸为3×3的卷积核。作为一种方式，第一卷积子模块中的卷积层可以为普通卷积层，由于第一卷积子模块是对原始图像特征进行特征提取，通常原始图像特征的通道数比较少，使用普通卷积层可以提取到更有效的图像特征，避免在后续操作中引入更多的误差积累。

步骤S430：将第一输出特征输入第二卷积子模块，得到第二输出特征。

其中，第二输出特征用于表征待处理图像的噪声信息。第二输出特征也可以称为图像残差，即噪声图像与对应无噪声图像之间的差值。

作为一种实施方式，第二卷积子模块包括至少一个卷积层，可以通过第二卷积子模块对第一输出特征进行特征提取，以获取更抽象的特征表示。第二卷积子模块中各个卷积层的配置参数可以是相同的，也可以是不同的。例如，各个卷积层的特征图的输入通道数和输出通道数可以是相同，也可以是不同的。作为一种方式，各个卷积层可以通过填充(padding)操作使输入和输出的特征图的尺寸保持不变。

作为一种实施方式，第二输出特征的特征图尺寸和第一输出特征的特征图尺寸是相同的；第二输出特征的通道数和第一输出特征的通道数是相同的。

在一些实施例中，第一卷积子模块包括至少一个普通卷积层，第二卷积子模块包括至少一个可分离卷积层，则S430的实施方式可以如图5所示，S430可以包括：S431和S432。

步骤S431：将第一输出特征输入可分离卷积层，对第一输出特征中每个通道的特征分别进行卷积，得到每个通道对应的输出特征。

可分离卷积层(Depthwise Separable Convolution)可以代替普通的卷积层，以减小模型的计算量，从而得到轻量级的深度学习神经网络。其中，可分离卷积层可以包括深度卷积(Depthwise Convolution)单元以及逐点卷积(Pointwise Convolution)单元。通过使用轻量级网络模型组件能有效加速模型推理速度，提高进行去噪处理的效率，从而可以实现实时视频画质增强

可以理解的是，虽然深度卷积单元结构和普通卷积操作类似，可用来提取特征，但相比于普通卷积操作，其参数量和运算成本较低。普通卷积操作的每个卷积核均是同时操作输入图片的每个通道。与普通卷积操作不同是，深度卷积的一个卷积核负责一个通道，一个通道只被一个卷积核卷积，深度卷积单元输入和输出的特征通道数是相同的。可见，在生成同样数量的特征图的情况下，深度卷积所需要的计算量比常规卷积小得多。

通过可分离卷积层的深度卷积单元，可以分别对第一输出特征的每个通道对应的特征进行卷积，也就是说，深度卷积单元中卷积核与通道是一一对应的，从而得到每个通道对应的输出特征。

步骤S432：对每个通道对应的输出特征进行特征融合，得到第二输出特征。

可分离卷积层中逐点卷积单元的运算与普通卷积运算非常相似，它的卷积核的尺寸为M×1×1，M为上一层的通道数，1×1为一个卷积核的尺寸。也就是说，有几个卷积核就有几个输出特征图。可以通过逐点卷积单元对深度卷积单元输出的多个通道的输出特征进行融合，得到第二输出特征。

需要注意的是，第二卷积子模块中包括至少一个可分离卷积层，每个可分离卷积层的输入为上一个可分离卷积层的输出。第一输出特征在输入第二卷积子模块，在经过多层可分离卷积层提取特征后，可以学习到图像中的噪声信息，即第二输出特征。

步骤S440：对第一输出特征和第二输出特征进行特征融合，得到去噪图像特征。

可以对第一输出特征和第二输出特征进行特征融合，从而滤除图像中的噪声信息，得到去噪图像特征。作为一种实施方式，特征融合可以通过相加模块实现。其中，其中，叠加模块可以是add函数，可以将第一输出特征和第二输出特征每个通道的特征图相应位置上的像素点的值进行叠加，将叠加后得到的特征作为去噪图像特征。具体地，第二输出特征用于表示噪声信息，可以将第一输出特征的特征图的像素值减去第二输出特征的特征图的像素值。

在一些实施例中，去噪模块还可以包括第三卷积子模块，在对第一输出特征和第二输出特征进行特征融合，得到第三输出特征之后，还可以将第三输出特征输入第三卷积子模块，得到对第三输出特征进行优化后的去噪图像特征。

其中，第三卷积子模块可以包括至少一个普通卷积层。在对第一输出特征和第二输出特征进行特征融合得到第三输出特征后，可以通过第三卷积子模块对第三输出特征进行卷积，对第三输出特征的参数进行微调来优化提取得到的特征。第三卷积子模块可以输出指定通道数的特征作为去噪图像特征，从而得到更有效的去噪图像特征。

示例性地，请参阅6，图6示出了本申请实施例提供的一种去噪模块的示意图。

其中，去噪模块60使用了残差网络结构，包括第一卷积子模块601，第二卷积子模块602，特征融合子模块603以及第三卷积子模块604。其中，第一卷积子模块601、第三卷积子模块604包括至少一个普通卷积层，主要用于改变输出特征的通道数。第二卷积子模块601包括至少一个可分离卷积层。待处理图像输入第一卷积子模块601后，输出包含有若干个通道的第一输出特征；第一输出特征经过第二卷积子模块602后，经过至少一个可分离卷积层进行特征提取，得到第二输出特征；特征融合子模块603将第一输出特征和第二输出特征进行相加模块得到第三输出特征；将第三输出特征输入第三卷积子模块604，输出指定通道数的特征图，即去噪图像特征；可以将去噪图像特征和待处理图像的原始图像特征通过Concat操作进行特征融合，得到融合特征，进而将融合特征输入后续的超分辨率重建模块中进行处理。

作为一种实施方式，去噪模块60中各个卷积层输入和输出的特征图的尺寸保持不变，在过程中各个卷积层的输入特征和输出特征的通道数发生改变。例如，第一卷积子模块601输入的原始图像特征通道数为1，输出的第一输出特征通道数为16；第二卷积子模块602中第一个可分离卷积层输入通道数为16，输出通道数为32，中间若干个可分离卷积层的输入通道数为32，输出通道书为32，相加模块前的可分离卷积层的输入通道数为32，输出通道数为16，第三特征子模块的输入通道数为16，输出通道数为16。

可以理解的是，作为轻量级网络模型组件，可分离卷积层相对于普通卷积层的参数量较少，所需的计算量较少，性能较高，但是进行特征提取的效果会比普通卷积层略差一些。由此，在去噪模块60中，第一卷积子模块601和第三卷积子模块604输入特征图的通道数较小，可以使用普通卷积层进行卷积，以提高特征提取的效果；在第二卷积子模块602中特征图的通道数较多时，可以使用可分离卷积层提高运算性能。由此，可以提高去噪模型性能的同时，使去噪模型能够实现较好的去噪效果。通过使用轻量级网络模型组件能有效加速模型推理速度，实现实时视频画质增强。

可以理解的是，图6中去噪模块60中各子模块的结构，以及各卷积层的结构和数量仅为示例，并非旨在限制本申请实施例。

步骤S450：将每个去噪图像特征输入预设的超分辨率重建模块，得到由超分辨率重建模块输出的目标图像。

步骤S460：根据每个待处理图像对应的目标图像，生成目标视频帧序列。

在本申请实施例中，与前述实施例相同或相似的步骤可以参阅前述实施例的内容，此处不再赘述。

因此，本申请实施例获取待处理视频帧序列，将待处理视频帧序列中的各个视频帧分别作为待处理图像，将待处理图像的原始图像特征输入第一卷积子模块，得到第一输出特征；将第一输出特征输入第二卷积子模块，得到可用于表征噪声信息的第二卷积模块，然后对第一输出特征和第二输出特征进行特征融合，得到去噪图像特征，将每个去噪图像特征输入预设的超分辨率重建模块，得到由超分辨率重建模块输出的目标图像，根据每个待处理图像对应的目标图像，生成目标视频帧序列。通过噪声模块中的卷积子模块，可以提取待处理图像中的噪声信息以及噪声的区域，从而准确地去除该区域中的噪声信息，将滤除噪声后的去噪图像特征进行超分重建，能够得到更干净的目标图像。

请参阅图7，图7示出了本申请实施例提供的一种图像处理方法，该方法的执行主体可以是上述服务器，也可以是上述用户终端，具体地，该方法包括：S710至S750。

步骤S710：获取待处理视频帧序列，将待处理视频帧序列中的各个视频帧分别作为待处理图像。

步骤S720：当待处理图像为彩色图像时，通过色域转换获取每个待处理图像的亮度通道图像。

当待处理图像为彩色的RGB图像时，可以对待处理图像进行色域转换以获取该待处理图像的亮度通道图像，即单通道的灰度图像。具体地，可以将每个待处理图像从RGB颜色空间转换到YUV颜色空间，得到亮度通道(Y通道)图像用于表征待处理图像的亮度信息，即待处理图像对应的黑白灰度图像，色度通道(UV通道)图像用于表征待处理图像的颜色信息。

可以理解的是，进行色域转换的目的是从待处理图像中获取亮度通道图像，也可以将彩色图像转换到YCbCr颜色空间，在此不进行限定。

步骤S730：通过去噪模块分别对每个亮度通道图像进行去噪处理，得到每个亮度通道图像对应的去噪图像特征。

将得到的亮度通道图像分别输入预设的去噪模块，以获得对每个亮度通道图像进行去噪后得到的去噪图像特征。可选地，在输入去噪模块前，还可以对亮度通道图像进行归一化处理，以提高后续模型的处理效率。通过去噪模块得到去噪图像特征的具体描述，请参见上述实施例。

步骤S740：将每个去噪图像特征输入预设的超分辨率重建模块，得到由超分辨率重建模块输出的目标图像。

请参阅图8，在一些实施例中，在步骤S740之后，图像处理方法还可以包括S741至S742。

步骤S741：通过色域转换获取每个待处理图像的色度通道图像。

与获取亮度通道图像类似地，也可以通过色域转换获取每个待处理图像的色度通道图像。

步骤S742：根据目标图像的分辨率对色度通道图像进行插值操作，得到色度通道目标图像，其中，目标图像为亮度通道目标图像。

其中，目标图像为亮度通道图像经过去噪模块、超分辨率模块后输出的亮度通道目标图像。其中，输出的亮度通道目标图像的分辨率大于输入的亮度通道图像。

可以理解的是，由于亮度通道图像和色度通道图像都是对待处理图像进行色域变换得到的，亮度通道图像和色度通道图像的分辨率是相同的。而经过去噪、超分放大后得到的亮度通道目标图像的分辨率大于输入的亮度通道图像，因此，可以对色度通道图像进行超分放大处理，从而得到与亮度通道目标图像的分辨率相同的色度通道目标图像。

具体地，可以对色度通道图像进行插值操作。其中，插值操作可以是最近邻插值(Nearest Neibor)、双线性插值(Bilinear)、双三次插值(Bicubic)等方式。例如，亮度通道目标图像相对于亮度通道图像，在宽和高两个维度上均放大两倍，可以通过双三次插值方法将色度通道图像在宽和高两个维度上也都放大两倍，得到放大后的色度通道目标图像。可选地，也可以通过深度学习等方式构建网络模型，以获取模型输出的色度通道目标图像。

步骤S743：对亮度通道目标图像和色度通道目标图像进行色域转换，得到目标彩色图像。

通过色域转换，可以将亮度通道目标图像和色度通道目标图像进行合成，以得到目标彩色图像。其中，目标彩色图像和待处理图像的色域相同。例如，待处理图像为RGB图像，目标彩色图像也为RGB图像。

可以理解的是，超分辨率重建模块输出的目标图像的分辨率可以是预先设定的指定分辨率，可以根据指定分辨率对色度通道图像进行操作。步骤S741至S742与步骤S740没有严格的执行先后顺序，可以在步骤S710之后，步骤S750之前执行。

步骤S750：根据每个待处理图像对应的目标图像，生成目标视频帧序列。

在本申请实施例中，与前述实施例相同或相似的步骤可以参阅前述实施例的内容，此处不再赘述。

因此，本申请实施例获取待处理视频帧序列，将待处理视频帧序列中的各个视频帧分别作为待处理图像；当待处理图像为彩色图像时，通过色域转换获取每个待处理图像的亮度通道图像；通过去噪模块分别对每个亮度通道图像进行去噪处理，得到每个亮度通道图像对应的去噪图像特征；将每个去噪图像特征输入预设的超分辨率重建模块，得到由超分辨率重建模块输出的目标图像，目标图像的分辨率大于待处理图像；根据每个待处理图像对应的目标图像，生成目标视频帧序列。通过提取亮度通道图像，只对亮度通道图像进行去噪处理和超分辨率重建放大，可以不改变待处理图像的颜色信息，使输出颜色保持一致。

请参阅图9，其示出了本申请实施例提供的一种图像处理装置900的结构框图，该图像处理装置900包括：获取模块910，去噪模块920，重建模块930以及生成模块940，其中：

获取模块910，用于获取待处理视频帧序列，将所述待处理视频帧序列中的各个视频帧分别作为待处理图像。

去噪模块920，用于分别对每个所述待处理图像进行去噪处理，得到每个所述待处理图像对应的去噪图像特征。

进一步地，上述去噪模块920可以包括第一卷积子模块、第二卷积子模块和去噪图像特征输出子模块，其中：第一卷积子模块，用于将所述待处理图像的原始图像特征输入所述第一卷积子模块，得到第一输出特征，其中，所述原始图像特征的通道数和所述第一输出特征的通道数不同。第二卷积子模块，用于将所述第一输出特征输入所述第二卷积子模块，得到第二输出特征，其中，所述第二输出特征用于表征所述待处理图像的噪音信息。去噪图像特征输出子模块，用于对所述第一输出特征和所述第二输出特征进行特征融合，得到所述去噪图像特征。

进一步地，所述去噪模块920可以包括第三卷积子模块，所述第三卷积子模块具体用于，在对所述第一输出特征和所述第二输出特征进行特征融合，得到第三输出特征后，将所述第三输出特征输入所述第三卷积子模块，得到对所述第三输出特征进行优化后的所述去噪图像特征。

进一步地，所述第一卷积子模块包括至少一个普通卷积层，所述第二卷积子模块包括至少一个可分离卷积层，所述第二卷积子模块包括通道特征输出单元，通道特征融合单元，其中：所述通道特征输出单元，用于将所述第一输出特征输入所述可分离卷积层，对所述第一输出特征中每个通道的特征分别进行卷积，得到所述每个通道对应的输出特征；所述通道特征融合单元，用于对所述每个通道对应的输出特征进行特征融合，得到所述第二输出特征。

进一步地，所述去噪模块920可以包括亮度通道图像获取子模块，其中，所述亮度通道图像获取子模块用于当所述待处理图像为彩色图像时，通过色域转换获取每个所述待处理图像的亮度通道图像；通过所述去噪模块分别对每个所述亮度通道图像进行去噪处理，得到每个所述亮度通道图像对应的去噪图像特征。

超分辨率重建模块930，用于对输入的每个所述去噪图像特征进行超分辨率重建，得到输出的目标图像，所述目标图像的分辨率大于所述待处理图像。

进一步地，所述超分辨率重建模块930包括特征提取子模块和图像重建子模块，其中：所述特征提取子模块，用于将每个所述去噪图像特征输入所述特征提取子模块，得到由所述特征提取子模块输出的语义特征。所述图像重建子模块，用于将所述语义特征输入所述图像重建子模块，得到由所述图像重建子模块输出的所述目标图像。

进一步地，所述超分辨率重建模块930可以包括融合特征获取子模块和融合特征输入子模块，其中：所述融合特征获取子模块，用于将每个所述待处理图像的原始图像特征与所述去噪图像特征进行特征融合，得到融合特征；所述融合特征输入子模块，用于将每个所述融合特征输入所述预设的超分辨率重建模块，得到由所述超分辨率重建模块输出的所述目标图像。

进一步地，当所述待处理图像为彩色图像时，所述图像处理装置900还可以包括色度通道图像获取子模块，图像插值子模块，目标彩色图像获取子模块，其中：色度通道图像获取子模块，用于通过色域转换获取每个所述待处理图像的色度通道图像；图像插值子模块，用于根据所述目标图像的分辨率对所述色度通道图像进行插值操作，得到色度通道目标图像，其中，所述目标图像为亮度通道目标图像；目标彩色图像获取子模块，用于对所述亮度通道目标图像和所述色度通道目标图像进行色域转换，得到目标彩色图像，其中，所述目标彩色图像和所述待处理图像的色域相同。

生成模块940，用于根据每个所述待处理图像对应的目标图像，生成目标视频帧序列。

进一步地，所述图像处理装置可以包括训练数据获取模块，第一训练模块，第二训练模块，模型获取模块以及第三训练模块。在所述通过预设的去噪模块分别对每个所述待处理图像进行去噪处理，得到每个所述待处理图像对应的去噪图像特征之前，所述第一训练模块，用于获取训练数据集，其中，所述训练数据集包括第一数据集、第二数据集和第三数据集；所述第二训练模块，用于基于所述第一数据集训练所述去噪模块，得到初步训练后的去噪模块，其中，所述第一数据集包括有噪音的低分辨率图像和无噪音的低分辨率图像；所述模型获取模块，用于基于所述第二数据集训练所述超分辨率重建模块，得到初步训练后的超分辨率重建模块，其中，所述第二数据集包括无噪音的低分辨率图像和无噪音的高分辨率图像；所述第三训练模块，用于获取由所述初步训练后的去噪模块和所述初步训练后的超分辨率重建模块得到的图像处理模型；基于所述第三数据集训练所述图像处理模型，得到训练后的所述图像处理模型，其中，所述训练后的图像处理模型包括所述预设的去噪模块和所述预设的超分辨率重建模块，所述第三数据集包括有噪音的低分辨率图像和无噪音的高分辨率图像。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，模块相互之间的耦合可以是电性，机械或其它形式的耦合。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

综上所述，本申请实施例提供的模型运行装置用于实现前述方法实施例中相应的模型运行方法，并具有相应的方法实施例的有益效果，在此不再赘述。

请参考图10，其示出了本申请实施例提供的一种电子设备的结构框图。该电子设备100可以是上述的用户终端和服务器。本申请中的电子设备100可以包括一个或多个如下部件：处理器110、存储器120以及一个或多个应用程序，其中，一个或多个应用程序可以被存储在存储器120中并被配置为由一个或多个处理器110执行，一个或多个应用程序配置用于执行如前述方法实施例所描述的方法。

处理器110可以包括一个或者多个处理核。处理器110利用各种接口和线路连接整个电子设备100内的各个部分，通过运行或执行存储在存储器120内的指令、程序、代码集或指令集，以及调用存储在存储器120内的数据，执行电子设备100的各种功能和处理数据。可选地，处理器110可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器110可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器110中，单独通过一块通信芯片进行实现。

存储器120可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器120可用于存储指令、程序、代码、代码集或指令集。存储器120可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储电子设备100在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。

可以理解，图10所示结构仅为示例，电子设备100还可以包括比图10所示更多或更少的组件，或是具有与图10所示完全不同的配置。本申请实施例对此没有限制。

请参考图11，其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读介质1100中存储有程序代码，所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。

计算机可读存储介质1100可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质1100包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质1100具有执行上述方法中的任何方法步骤的程序代码1110的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码1110可以例如以适当形式进行压缩。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种图像处理方法，其特征在于，所述方法包括：

获取训练数据集，其中，所述训练数据集包括第一数据集、第二数据集和第三数据集；

基于所述第一数据集训练去噪模块，得到初步训练后的去噪模块，其中，所述第一数据集包括有噪声的低分辨率图像和无噪声的低分辨率图像；

基于所述第二数据集训练超分辨率重建模块，得到初步训练后的超分辨率重建模块，其中，所述第二数据集包括无噪声的低分辨率图像和无噪声的高分辨率图像；

获取由所述初步训练后的去噪模块和所述初步训练后的超分辨率重建模块得到的图像处理模型；

基于所述第三数据集训练所述图像处理模型，得到训练后的所述图像处理模型，其中，所述训练后的图像处理模型包括预设的去噪模块和预设的超分辨率重建模块，所述第三数据集包括有噪声的低分辨率图像和无噪声的高分辨率图像；

获取待处理视频帧序列，将所述待处理视频帧序列中的各个视频帧分别作为待处理图像；

通过所述预设的去噪模块分别对每个所述待处理图像进行去噪处理，得到每个所述待处理图像对应的去噪图像特征；

将每个所述待处理图像的原始图像特征与所述去噪图像特征进行特征融合，得到融合特征；

将每个所述融合特征输入所述预设的超分辨率重建模块，得到由所述超分辨率重建模块输出的目标图像，所述目标图像的分辨率大于所述待处理图像；

根据每个所述待处理图像对应的目标图像，生成目标视频帧序列。

2.根据权利要求1所述的方法，其特征在于，所述去噪模块包括第一卷积子模块和第二卷积子模块，通过预设的去噪模块分别对每个所述待处理图像进行去噪处理，得到每个所述待处理图像对应的去噪图像特征，包括：

将所述待处理图像的原始图像特征输入所述第一卷积子模块，得到第一输出特征，其中，所述原始图像特征的通道数和所述第一输出特征的通道数不同；

将所述第一输出特征输入所述第二卷积子模块，得到第二输出特征，其中，所述第二输出特征用于表征所述待处理图像的噪声信息；

对所述第一输出特征和所述第二输出特征进行特征融合，得到所述去噪图像特征。

3.根据权利要求2所述的方法，其特征在于，所述去噪模块还包括第三卷积子模块，所述对所述第一输出特征和所述第二输出特征进行特征融合，得到所述去噪图像特征，包括：

对所述第一输出特征和所述第二输出特征进行特征融合，得到第三输出特征；

将所述第三输出特征输入所述第三卷积子模块，得到对所述第三输出特征进行优化后的所述去噪图像特征。

4.根据权利要求2所述的方法，其特征在于，所述第一卷积子模块包括至少一个普通卷积层，所述第二卷积子模块包括至少一个可分离卷积层，所述将所述第一输出特征输入所述第二卷积子模块，得到第二输出特征，包括：

将所述第一输出特征输入所述可分离卷积层，对所述第一输出特征中每个通道的特征分别进行卷积，得到所述每个通道对应的输出特征；

对所述每个通道对应的输出特征进行特征融合，得到所述第二输出特征。

5.根据权利要求1所述的方法，其特征在于，通过预设的去噪模块分别对每个所述待处理图像进行去噪处理，得到每个所述待处理图像对应的去噪图像特征，包括：

当所述待处理图像为彩色图像时，通过色域转换获取每个所述待处理图像的亮度通道图像；

通过所述去噪模块分别对每个所述亮度通道图像进行去噪处理，得到每个所述亮度通道图像对应的去噪图像特征。

6.根据权利要求5所述的方法，其特征在于，在所述将每个所述去噪图像特征输入预设的超分辨率重建模块，得到由所述超分辨率重建模块输出的目标图像之后，所述方法还包括：

通过色域转换获取每个所述待处理图像的色度通道图像；

根据所述目标图像的分辨率对所述色度通道图像进行插值操作，得到色度通道目标图像，其中，所述目标图像为亮度通道目标图像；

对所述亮度通道目标图像和所述色度通道目标图像进行色域转换，得到目标彩色图像，其中，所述目标彩色图像和所述待处理图像的色域相同。

7.根据权利要求1-6任一项所述的方法，其特征在于，所述超分辨率重建模块包括特征提取子模块和图像重建子模块，所述将每个所述去噪图像特征输入预设的超分辨率重建模块，得到由所述超分辨率重建模块输出的目标图像，包括：

将每个所述去噪图像特征输入所述特征提取子模块，得到由所述特征提取子模块输出的语义特征；

将所述语义特征输入所述图像重建子模块，得到由所述图像重建子模块输出的所述目标图像。

8.一种图像处理装置，其特征在于，所述装置包括：

第一训练模块，用于获取训练数据集，其中，所述训练数据集包括第一数据集、第二数据集和第三数据集；

第二训练模块，用于基于所述第一数据集训练去噪模块，得到初步训练后的去噪模块，其中，所述第一数据集包括有噪音的低分辨率图像和无噪音的低分辨率图像；

模型获取模块，用于基于所述第二数据集训练超分辨率重建模块，得到初步训练后的超分辨率重建模块，其中，所述第二数据集包括无噪音的低分辨率图像和无噪音的高分辨率图像；

第三训练模块，用于获取由所述初步训练后的去噪模块和所述初步训练后的超分辨率重建模块得到的图像处理模型；基于所述第三数据集训练所述图像处理模型，得到训练后的所述图像处理模型，其中，所述训练后的图像处理模型包括预设的去噪模块和预设的超分辨率重建模块，所述第三数据集包括有噪音的低分辨率图像和无噪音的高分辨率图像；

获取模块，用于获取待处理视频帧序列，将所述待处理视频帧序列中的各个视频帧分别作为待处理图像；

去噪模块，用于通过所述预设的去噪模块分别对每个所述待处理图像进行去噪处理，得到每个所述待处理图像对应的去噪图像特征；

超分辨率重建模块，用于将每个所述待处理图像的原始图像特征与述去噪图像特征进行特征融合，得到融合特征；将每个所述融合特征输入所述预设的超分辨率重建模块，得到由所述超分辨率重建模块输出的目标图像，所述目标图像的分辨率大于所述待处理图像；

生成模块，用于根据每个所述待处理图像对应的目标图像，生成目标视频帧序列。

9.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储器；

一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行如权利要求1-7任一项所述的方法。

10.一种计算机可读介质，其特征在于，所述计算机可读介质存储有处理器可执行的程序代码，所述程序代码被所述处理器执行时使所述处理器执行权利要求1-7任一项所述方法。