CN114240750A - 视频分辨率提升方法及装置、存储介质及电子设备 - Google Patents

Abstract

本公开涉及图像处理技术领域，具体涉及一种视频分辨率提升方法及装置、计算机可读存储介质及电子设备，方法包括：获取一个目标帧和至少一个参考帧；将目标帧和至少一个参考帧合并为一帧得到第一特征图像，第一特征图像的通道数与目标帧的通道数相同；对第一特征图像进行特征提取，得到包括边缘特征的第二特征图像；根据目标帧与第二特征图像得到待输出图像；对待输出图像进行预设倍数的上采样得到目标图像。本公开实施例的技术方案降低了视频分辨率提升时的复杂度。

Description

视频分辨率提升方法及装置、存储介质及电子设备

技术领域

本公开涉及图像处理技术领域，具体而言，涉及一种视频分辨率提升方法及装置、计算机可读存储介质及电子设备。

背景技术

随着计算机和图像处理技术的发展，视频图像的超分辨率技术为增强和放大低分辨率的视频提供了很好的解决方案。它可将低分辨率的视频进行更好的放大，从而可以在高分辨率的显示设备上进行显示。

视频图像超分辨率是一项非常有前景的技术，相比于传统的图像插值方法，超分辨率方法能够提供更加优异的图像视频放大效果。它可在图像放大的过程中保持图像的边缘和细节，从而得到更接近原始高分辨率图像的结果。但是现在的超分模型一般都是重模型，无法实现实时处理，且计算复杂度较高，无法在移动终端侧进行部署。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的目的在于提供一种视频分辨率提升方法、视频分辨率提升装置、计算机可读介质和电子设备，进而至少在一定程度上降低视频分辨率提升时的计算复杂度。

根据本公开的第一方面，提供一种视频分辨率提升方法，包括：获取一个目标帧和至少一个参考帧；将所述目标帧和至少一个所述参考帧合并为一帧得到第一特征图像，所述第一特征图像的通道数与所述目标帧的通道数相同；对所述第一特征图像进行特征提取，得到包括边缘特征的第二特征图像；根据所述目标帧与所述第二特征图像得到待输出图像；对所述待输出图像进行预设倍数的上采样得到所述目标图像。

根据本公开的第二方面，提供一种视频分辨率提升装置，包括：10、一种视频分辨率提升装置，其特征在于，包括：获取模块，用于获取一个目标帧和至少一个参考帧作；融合模块，用于利用第一卷积层将所述目标帧和至少一个所述参考帧合并为一帧得到第一特征图像，所述第一特征图像的通道数与所述目标帧的通道数相同；特征提取模块，对所述第一特征图像进行特征提取，得到包括边缘特征的第二特征图像；残差模块，用于根据所述目标帧与所述第二特征图像得到待输出图像；采样模块，用于对所述待输出图像进行预设倍数的上采样得到所述目标图像。

根据本公开的第三方面，提供一种计算机可读介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述的方法。

根据本公开的第四方面，提供一种电子设备，其特征在于，包括：一个或多个处理器；以及存储器，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器实现上述的方法。

本公开的一种实施例所提供的视频分辨率提升方法，获取一个目标帧和至少一个参考帧；将目标帧和至少一个参考帧合并为一帧得到第一特征图像，第一特征图像的通道数与目标帧的通道数相同；对第一特征图像进行特征提取，得到包括边缘特征的第二特征图像；根据目标帧与第二特征图像得到待输出图像；对待输出图像进行预设倍数的上采样得到目标图像。相较于现有技术，首先进行了将目标帧与参考帧的融合过程，多帧信息融合能够保证分辨率提升的精度，同时，得到的第一特征图与上述目标帧的通道数相同，降低了特征维度，减小了计算，进一步的得到了具有边缘特征图来与目标帧进行融合，来得到带输出图像，过程中没有下采样过程，没有减少图像的高和宽，降低了后续上采样过程的计算量。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1示出了可以应用本公开实施例的一种示例性系统架构的示意图；

图2示意性示出本公开示例性实施例中一种视频分辨率提升方法的流程图；

图3示意性示出本公开示例性实施例中一种第一卷积层卷积运算的示意图；

图4示意性示出本公开示例性实施例中获取第二特征图像的流程图；

图5示意性示出本公开示例性实施例中得到浮点计算量与模型通道维度的关系图；

图6示意性示出本公开示例性实施例中峰值信噪比与模型通道维度的关系图；

图7示意性示出本公开示例性实施例中视频分辨率提升方法的数据流向图；

图8示意性示出本公开示例性实施例中视频分辨率提升装置的组成示意图；

图9示出了可以应用本公开实施例的一种电子设备的示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

图1示出了系统架构的示意图，该系统架构100可以包括终端110与服务器120。其中，终端110可以是智能手机、平板电脑、台式电脑、笔记本电脑等终端设备，服务器120泛指提供本示例性实施方式中视频分辨率提升相关服务的后台系统，可以是一台服务器或多台服务器形成的集群。终端110与服务器120之间可以通过有线或无线的通信链路形成连接，以进行数据交互。

在一种实施方式中，可以由终端110执行上述视频分辨率提升方法。例如，用户使用终端110拍摄视频或者用户在终端110的存储库中选取视频后，由终端110对该图像进行视频分辨率提升，输出提升分辨率之后的视频。

在一种实施方式中，可以由服务器120可以执行上述视频分辨率提升方法。例如，用户使用终端110获取上述目标帧和至少一个参考帧，终端110将该目标帧和至少一个参考帧上传至服务器120，由服务器120对该图像进行视频分辨率提升，向终端110返回目标图像。

由上可知，本示例性实施方式中的视频分辨率提升方法的执行主体可以是上述终端110或服务器120，本公开对此不做限定。

本公开的示例性实施方式还提供一种用于执行上述视频分辨率提升方法的电子设备，该电子设备可以是上述终端110或服务器120。一般的，该电子设备可以包括处理器与存储器，存储器用于存储处理器的可执行指令，处理器配置为经由执行可执行指令来执行上述图像视频分辨率提升方法。

在相关技术中，现在的超分模型一般都是重模型，例如vision transformer[2]，即使轻量化的模型如Basic vsr[3],basicr vsr++[4]也是有百G的浮点计算量和参数量。导致超分模型尤其是多帧超分模型无法实现实时处理。

目前不考虑计算复杂度的情况下，EDVR模型的的峰值信噪比是最高的，举例而言，输入5帧图片，且mid-feature＝64,当输入尺寸＝(1,5,3,720,1280)，FLOPs＝646.7G,其中，FLOPs表示浮点计算量计算，复杂度非常高。严重影响了其应用，难以实现在移动终端侧的部署。

下面结合图2对本示例性实施方式中的视频分辨率提升方法进行说明，图2示出了该视频分辨率提升方法的示例性流程，可以包括：

步骤S210，获取一个目标帧和至少一个参考帧；

步骤S220，将所述目标帧和至少一个所述参考帧合并为一帧得到第一特征图像，所述第一特征图像的通道数与所述目标帧的通道数相同；

步骤S230，对所述第一特征图像进行特征提取，得到包括边缘特征的第二特征图像；

步骤S240，根据所述目标帧与所述第二特征图像得到待输出图像；

步骤S250，对所述待输出图像进行预设倍数的上采样得到所述目标图像。

基于上述方法，首先进行了将目标帧与参考帧的融合过程，多帧信息融合能够保证分辨率提升的精度，同时，得到的第一特征图与上述目标帧的通道数相同，降低了特征维度，减小了计算，进一步的得到了具有边缘特征图来与目标帧进行融合，来得到带输出图像，过程中没有下采样过程，没有减少图像的高和宽，降低了后续上采样过程的计算量。

下面对图2中的每个步骤进行具体说明。

参考图2，在步骤S210中，获取一个目标帧和至少一个参考帧。

在一示例性实施例中，可以获取一个目标帧和至少一个参考帧作为输入数据，其中，输入数据可以包括多帧连续图像，即上述参考图像包括多个，例如，三帧连续图像、四帧连续图形或更多帧的连续图像等，采用连续图像能够使得视频分辨率的提升效果更好。在另一种示例实施方式中，输入数据还可以包括多帧非连续图像，在本示例实施方式中不对多帧图像做具体限定。

在本示例实施方式中，在上述输出数据为三帧连续图像时，上述参考帧可以是目标帧的前一帧和后一帧，即目标帧取输入数据的中间帧。若上述输入数据为偶数帧，此时，上述中间帧可以包括两帧，其中目标帧可以是两帧中的任一帧，或者是两帧的平均值。其他帧均为参考帧。

在本示例实施方式中，输入数据的特征参数可以表示为(B,T,H,W,C)；分别为包括图像的高H(hight)、宽W(width)和时间T(time)以及输入数据的并发数量B(batch)和通道数C(channel)。其中每一帧图形对应一个时间，输入数据的并发数量表示同时输入输入数据的数量，例如，当输入数据包括三帧连续图像时，每一个帧图像对应一个高、宽以及时间；当同时输入三组三帧连续图像时，此时的并发数量则为三。

在本示例实施方式中，以输入数据包括3帧连续图像进行详细说明，即，以上述参考帧包括目标帧的前一帧和目标帧的后一帧为例进行说明。

在本示例实施方式中，输入数据包括三帧连续图像此时，时间T为3，只输入一组三帧连续数据，并发数量B为1，输入图像可以是RGB图像，此时通道数为3。

在步骤S220中，将所述目标帧和至少一个所述参考帧合并为一帧得到第一特征图像，所述第一特征图像的通道数与所述目标帧的通道数相同。

在本示例实施方式中，可以首先将上述目标帧和上多个参考帧荣哥为第一帧图像，具体而言，可以采用和第一卷积层将上述目标帧与参考帧合并为一帧图像得到第一特征图像，且得到的上述第一特征图像中的通道数与上述目标帧的通道数相同。

举例而言，输入是连续3帧RGB图，初步融合后得到的图像的特征可以是(B,9,H,W),其中9为通道数，然后经过第一卷积层，特征维度从(B,9,H,W)降低到(B,3,H,W)，同时实现融合的效果，其中第一卷积层可以包括三组卷积核，每一组卷积核能够得到一个通道的图像，分别利用每一组卷积核对初步融合后的图像进行卷积运算，集合得到第一特征图像的。

在本示例实施方式中，每一组卷积核的个数可以是9个，也可以是一个、三个等，还可以根据用户需求进行自定义，在本示例实施方式中不做具体限定。

在本示例实施方式中，参照图3所示，将目标帧以及参考帧初步融合之后得到一个通道数为9的初步融合图像310，然后可以利用第一卷机层320中的三组不同的卷积核对上述图像进行卷积运算，每一组卷积核能够计算得到一个通道的图像，分别利用上述三组卷积核进行卷积运算，可以得到通道数为3的第一特征图像330。其中每组卷积核的大小可以是1*1、2*2等，还可以根据用户需求进行自定义，在本示例实施方式中不做具体限定。

在步骤S230中，对所述第一特征图像进行特征提取，得到包括边缘特征的第二特征图像。

在本示例实时方式中，在得到上述第一特征图像之后，对上述第一特征图像进行业特征提取，得到边缘特征的第二特征图像。

具体而言，参照图4所示，可以包括步骤S410至步骤S420。

在步骤S410中，获取预设维度的特征提取模型。

在本示例实施方式中，可以首先确定一个目标峰值信噪比，然后根据目标信噪比确定上述预设维度的特征提取模型，其中，上述特征提取模型可以是包括倒残差网络的MobileEDVRV3*模型进行模型压缩后得到的，其中MobileEDVRV3*是在MobileEDVRV3的基础上用普通卷积层替换掉PCD模块，pre deblur模块和reconstruction模块，并将resdiual(残差)BlockNoBN模块调整为invertedResidual(倒残差)BlockNoBN模块，但是保持每层维度不变，且输入从5帧减少到3帧，从而得到的模型。其中，MobileEDVRV3模型是将EDVR中的卷积层替换为轻量化结构Depthwise Separable Convolutions，从而得到的模型。其中，MobileEDVRV3*模型是现有技术中的特征提取模型，在本示例实施方式中不做具体陈述。

在本示例实施方式中，可以根据上述目标峰值信噪比对上述特征提取模型进行通道压缩，得到预设维度的特征提取模型，即保证模型的峰值信噪比大于等于上述目标峰值信噪比的情况下，获取通道数最小的模型作为行数预设维度的特征提取模型，其中，上述目标峰值信噪比可以是34.6、也可以根据用户需求及进行自定义，在本示例实施方式中不做具体限定。

可以通过试验来确定各个维度的特征提取模型对应的峰值信噪比和浮点计算量，具体可以参照表1所述，

表1

dim	PSNR	FLOPs/G
			64	35.631	83
56	35.67	64
			48	35.62	47
40	35.12	33
			32	34.69	21.4
24	34.73	12.3
			16	34.623	5.7

可以由表1中的数据得到浮点计算量与模型通道维度的关系，可以由表1中的数据得到峰值信噪比与模型通道维度的关系，具体可以参照图5和图6所示，随着模型通道压缩越多，特征提取模型对应的浮点计算量下降较多，但是同时峰值信噪比下降程度较小。

在步骤S420中，利用所述预设维度的特征提取模型对所述第一特征图像进行特征提取得到所述包括边缘特征的第二特征图像。

在上述目标峰值信噪比为34.6时，可以根据上述表1的数据选取通道数为16的特征提取模型来对上述第一特征图像进行特征提取进而得到上述第二特征图像。

在步骤S240中，根据所述目标帧与所述第二特征图像得到待输出图像。

在本示例实施方式中，在得到上述第二特征图像之后，可以根据上述目标帧和上述第二特征图像得到待输出图像，具体而言，可以将上述目标帧与上述第二特征图像进行相加得到上述待输出图像。

步骤S250，对所述待输出图像进行预设倍数的上采样得到所述目标图像。

在本示例实施方式中，在得到上述待输出图像之后，可有对上述待输出图像进行预设倍数的上采样得到上述目标图像。

具体而言，可以首先确定上述预设倍数，上述预设倍数可以是2、3、4等，也可以根据用户需求进行自定义，在本示例实施方式中不做具体限定。

在本示例实施方式中，可以首先根据上述预设倍数确定第二卷积层，然后利用上述第二卷积层增大上述带输出图像的通道数，然后以得到待合并通道图像，然后根据上述待输出图像得到上述目标意图像，具体而言，可以将上述待合并通道图像转移至上述待输出图像的高和宽上得到上述目标图像，具体可以采用pixel_shuffle将待合并通道图像‘转移到’图像的宽度和高度上。若上述预设倍数为2，则得到的目标图像的高和宽均为上述待输出图像的两倍。

在另一种示例实施方式中，可以根据上述与设备数确定多个第三卷积层，来对上述待输出图像及进行上采样，其中，若上述与倍数为4，则可以采用两个放大倍数为2的第三卷积层或者一个当打倍数为4的第二卷积层，在本示例实时方式中不做具体限定。

在本示例实施方式中，参照图7对本公开视频分辨率提升方法中的数据流向及进行说明，可以首先获取目标帧720和参考帧710，然后将上述目标帧和参考帧输入至第一卷积层730得到第一特征图像，然后将上述第一特征图像输出值特征提取模型740得到第二特征图像，然后将上述第二特征图像与上述目标帧进行求和得到待输出图像，即利用残差结构750对上述第二特征图像与上述目标帧进行求和，最后可以将上述待输出图像输出至上采样层760得到目标图像。

在本示例实施方式中，经过试验可知，本公开的视频分辨率提升方法的计算量较小。具体可以表2所示。

表2

由表2可知，本公开相较于现有技术，在保证峰值信噪比满足条件的同时，即满足精度的同时，将浮点计算量得到了大幅度降低，减小了视频分辨率提升过程中的计算量。

综上所述，本示例性实施方式中，首先进行了将目标帧与参考帧的融合过程，多帧信息融合能够保证分辨率提升的精度，同时，得到的第一特征图与上述目标帧的通道数相同，降低了特征维度，减小了计算，进一步的得到了具有边缘特征图来与目标帧进行融合，来得到带输出图像，过程中没有下采样过程，没有减少图像的高和宽，降低了后续上采样过程的计算量。进一步的，对第一特征图像进行特征提取得到第二特征图像时，采用了低通道维度的特征提取模型，在保证精度的情况下，进一步降低了视频分辨率提升过程中的计算量。

需要注意的是，上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

进一步的，参考图8所示，本示例的实施方式中还提供一种视频分辨率提升装置800，包括获取模块810、融合模块820、特征提取模块830、残差模块840以及采样模块850。其中：

获取模块810可以用于获取一个目标帧和至少一个参考帧，其中，上述所述参考帧包括所述目标帧的前一帧和所述目标帧的后一帧。

融合模块820可以用于将所述目标帧和至少一个所述参考帧合并为一帧得到第一特征图像，所述第一特征图像的通道数与所述目标帧的通道数相同，具体而言，可以所述利用第一卷积层将所述目标帧和至少一个所述参考帧合并为一帧得到第一特征图像。

特征提取模块830可以用于对所述第一特征图像进行特征提取，得到包括边缘特征的第二特征图像，具体而言，获取预设维度的特征提取模型；利用所述预设维度的特征提取模型对所述第一特征图像进行特征提取得到所述包括边缘特征的第二特征图像。在获取预设维度的特征提取模型时，可以首先确定目标峰值信噪比；根据所述目标峰值信噪比确定所述预设维度的特征提取模型。在利用所述预设维度的特征提取模型对所述第一特征图像进行特征提取得到所述包括边缘特征的第二特征图像时，可以利用倒残差网络结构的特征提取模型对对所述第一特征图像进行特征提取得到所述包括边缘特征的第二特征图像。

残差模块840可以用于根据所述目标帧与所述第二特征图像得到待输出图像，具体而言，利用所述第二特征图像与所述目标帧进行相加得到所述待输出图像。

采样模块850可以用于对所述待输出图像进行预设倍数的上采样得到所述目标图像。

在一种示例实施方式中，采样模块850可以首先根据所述预设倍数确定第二卷积层；然后利用所述第二卷积层增大所述待输出图像的通道数，以得到待合并通道图像；最后根据所述待输出图像和所述待合并通道图像得到所述目标图像。

在另一种示例实施方式中，采样模块850可以首先根据所述预设倍数确定多个第三卷积层；然后利用多个所述第三卷积层对所述待输出图像进行上采样以得到所述目标图像。

上述装置中各模块的具体细节在方法部分实施方式中已经详细说明，未披露的细节内容可以参见方法部分的实施方式内容，因而不再赘述。

下面以图9中的移动终端900为例，对该电子设备的构造进行示例性说明。本领域技术人员应当理解，除了特别用于移动目的的部件之外，图9中的构造也能够应用于固定类型的设备。

如图9所示，移动终端900具体可以包括：处理器901、存储器902、总线903、移动通信模块904、天线1、无线通信模块905、天线9、显示屏906、摄像模块907、音频模块908、电源模块909与传感器模块910。

处理器901可以包括一个或多个处理单元，例如：处理器910可以包括AP(Application Processor，应用处理器)、调制解调处理器、GPU(Graphics ProcessingUnit，图形处理器)、ISP(Image Signal Processor，图像信号处理器)、控制器、编码器、解码器、DSP(Digital Signal Processor，数字信号处理器)、基带处理器和/或NPU(Neural-Network Processing Unit，神经网络处理器)等。本示例性实施方式中的视频分辨率提升方法可以由AP、GPU或DSP来执行，当方法涉及到神经网络相关的处理时，可以由NPU来执行。

编码器可以对图像或视频进行编码(即压缩)，例如可以将目标图像编码为特定的格式，以减小数据大小，便于存储或发送。解码器可以对图像或视频的编码数据进行解码(即解压缩)，以还原出图像或视频数据，如可以读取目标图像的编码数据，通过解码器进行解码，以还原出目标图像的数据，进而对该数据进行视频分辨率提升的相关处理。移动终端900可以支持一种或多种编码器和解码器。这样，移动终端900可以处理多种编码格式的图像或视频，例如：JPEG(Joint Photographic Experts Group，联合图像专家组)、PNG(Portable Network Graphics，便携式网络图形)、BMP(Bitmap，位图)等图像格式，MPEG(Moving Picture Experts Group，动态图像专家组)1、MPEG9、H.963、H.964、HEVC(HighEfficiency Video Coding，高效率视频编码)等视频格式。

处理器901可以通过总线903与存储器902或其他部件形成连接。

存储器902可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器901通过运行存储在存储器902的指令，执行移动终端900的各种功能应用以及数据处理。存储器902还可以存储应用数据，例如存储图像，视频等文件。

移动终端900的通信功能可以通过移动通信模块904、天线1、无线通信模块905、天线2、调制解调处理器以及基带处理器等实现。天线1和天线2用于发射和接收电磁波信号。移动通信模块904可以提供应用在移动终端900上9G、3G、4G、5G等移动通信解决方案。无线通信模块905可以提供应用在移动终端900上的无线局域网、蓝牙、近场通信等无线通信解决方案。

显示屏906用于实现显示功能，如显示用户界面、图像、视频等。摄像模块907用于实现拍摄功能，如拍摄图像、视频等。音频模块908用于实现音频功能，如播放音频，采集语音等。电源模块909用于实现电源管理功能，如为电池充电、为设备供电、监测电池状态等。传感器模块910可以包括深度传感器9101、压力传感器9102、陀螺仪传感器9103、气压传感器9104等，以实现相应的感应检测功能。

所属技术领域的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

本公开的示例性实施方式还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本公开的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。

需要说明的是，本公开所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

此外，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。

Claims (12)

1.一种视频分辨率提升方法，其特征在于，包括：

获取一个目标帧和至少一个参考帧；

将所述目标帧和至少一个所述参考帧合并为一帧得到第一特征图像，所述第一特征图像的通道数与所述目标帧的通道数相同；

对所述第一特征图像进行特征提取，得到包括边缘特征的第二特征图像；

根据所述目标帧与所述第二特征图像得到待输出图像；

对所述待输出图像进行预设倍数的上采样得到所述目标图像。

2.根据权利要求1所述的方法，其特征在于，将所述目标帧和至少一个所述参考帧合并为一帧得到第一特征图像，包括：

所述利用第一卷积层将所述目标帧和至少一个所述参考帧合并为一帧得到第一特征图像。

3.根据权利要求1所述的方法，其特征在于，所述参考帧包括所述目标帧的前一帧和所述目标帧的后一帧。

4.根据权利要求1所述的方法，其特征在于，所述对所述第一特征图像进行特征提取，得到包括边缘特征的第二特征图像包括：

获取预设维度的特征提取模型；

利用所述预设维度的特征提取模型对所述第一特征图像进行特征提取得到所述包括边缘特征的第二特征图像。

5.根据权利要求4所述的方法，其特征在于，所述获取预设维度的特征提取模型包括：

确定目标峰值信噪比；

根据所述目标峰值信噪比确定所述预设维度的特征提取模型。

6.根据权利要求4所述的方法，其特征在于，所述利用所述预设维度的特征提取模型对所述第一特征图像进行特征提取得到所述包括边缘特征的第二特征图像包括：

利用倒残差网络结构的特征提取模型对对所述第一特征图像进行特征提取得到所述包括边缘特征的第二特征图像。

7.根据权利要求1所述的方法，其特征在于，根据所述目标帧与所述第二特征图像得到待输出图像包括：

利用所述第二特征图像与所述目标帧进行相加得到所述待输出图像。

8.根据权利要求1所述的方法，其特征在于，所述对所述待输出图像进行预设倍数的上采样得到所述目标图像，包括：

根据所述预设倍数确定第二卷积层；

利用所述第二卷积层增大所述待输出图像的通道数，以得到待合并通道图像；

根据所述待输出图像和所述待合并通道图像得到所述目标图像。

9.根据权利要求1所述的方法，其特征在于，所述对所述待输出图像进行预设倍数的上采样得到所述目标图像，

根据所述预设倍数确定多个第三卷积层；

利用多个所述第三卷积层对所述待输出图像进行上采样以得到所述目标图像。

10.一种视频分辨率提升装置，其特征在于，包括：

获取模块，用于获取一个目标帧和至少一个参考帧作；

融合模块，用于利用第一卷积层将所述目标帧和至少一个所述参考帧合并为一帧得到第一特征图像，所述第一特征图像的通道数与所述目标帧的通道数相同；

特征提取模块，用于对所述第一特征图像进行特征提取，得到包括边缘特征的第二特征图像；

残差模块，用于根据所述目标帧与所述第二特征图像得到待输出图像；

采样模块，用于对所述待输出图像进行预设倍数的上采样得到所述目标图像。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1至9中任一项所述的视频分辨率提升方法。

12.一种电子设备，其特征在于，包括：

一个或多个处理器；以及

存储器，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至9中任一项所述的视频分辨率提升方法。

Images