CN111784570A - 一种视频图像超分辨率重建方法及设备 - Google Patents

Abstract

本发明适用于图像处理技术领域，提供了一种视频图像超分辨率重建方法及设备，包括：获取待处理的目标视频；所述目标视频由多个连续的低分辨率的视频帧组成；将所述目标视频输入到视频超分辨率重建模型进行处理，获取所述目标视频中每个低分辨率视频帧对应的高分辨率视频帧；将所有所述目标帧的超分辨率视频帧合成获取所述目标视频的高分辨率视频。上述方法中，通过动态上采样滤波器来隐式地学习帧间运动信息，只通过训练好的视频超分辨率重建模型，即可获取最终的重建结果，在实际使用过程中，无需进行网络的训练，也没有光流估计的过程，提升了视频超分辨率重建的效果。

Description

一种视频图像超分辨率重建方法及设备

技术领域

本发明属于图像处理技术领域，尤其涉及一种视频图像超分辨率重建方法及设备。

背景技术

近年来，超分辨率重建一直是研究的热点问题，它能够为图像提供额外的显示分辨率和高分辨率的细节纹理，而由于视频拥有更多的图像信息和图像的时间序列信息，所以视频超分辨率重建实现起来更加的复杂。现有的视频超分辨率重建方法为：将连续的多个视频帧作为网络的输入，先进行运动估计来学习帧间的运动信息，然后对处理帧和运动信息进行超分辨率重建，得到最终的重建结果。

但是，这中方法常需要分开训练两个网络，即运动估计网络和残差学习网络，在这个过程中，由于光流估计会出现不准确的情况，会导致视频超分辨率重建的效果差。

发明内容

有鉴于此，本发明实施例提供了一种视频图像超分辨率重建方法及终端设备，以解决现有技术中由于光流估计会出现不准确的情况，导致视频超分辨率重建的效果差的问题。

本发明实施例的第一方面提供了一种视频图像超分辨率重建方法，包括：

获取待处理的目标视频；所述目标视频由多个连续的第一分辨率的视频帧组成；

将所述目标视频输入到预先训练好的视频超分辨率重建模型进行处理，获取所述目标视频中每个第一分辨率视频帧对应的第二分辨率视频帧；其中，所述第一分辨率小于所述第二分辨率；

将所有所述目标帧的第二分辨率视频帧合成获取所述目标视频的第二分辨率视频。

本发明实施例的第二方面提供了一种视频图像超分辨率重建设备，包括：

第一获取单元，用于获取待处理的目标视频；所述目标视频由多个连续的第一分辨率的视频帧组成；

第一处理单元，用于将所述目标视频输入到预先训练好的视频超分辨率重建模型进行处理，获取所述目标视频中每个第一分辨率视频帧对应的第二分辨率视频帧；其中，所述第一分辨率小于所述第二分辨率；

合成单元，用于将所有所述目标帧的第二分辨率视频帧合成获取所述目标视频的第二分辨率视频。

本发明实施例的第三方面提供了一种视频图像超分辨率重建设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的视频图像超分辨率重建方法的步骤。

本发明实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的视频图像超分辨率重建方法的步骤。

本发明实施例中，获取待处理的目标视频；所述目标视频由多个连续的第一分辨率的视频帧组成；将所述目标视频输入到预先训练好的视频超分辨率重建模型进行处理，获取所述目标视频中每个第一分辨率视频帧对应的第二分辨率视频帧；其中，所述第一分辨率小于所述第二分辨率；将所有所述目标帧的第二分辨率视频帧合成获取所述目标视频的第二分辨率视频。上述方法中，通过动态上采样滤波器来隐式地学习帧间运动信息，只通过训练好的视频超分辨率重建模型，即可获取最终的重建结果，在实际使用过程中，无需进行网络的训练，也没有光流估计的过程，提升了视频超分辨率重建的效果。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种视频图像超分辨率重建方法的实现流程图；

图2是本发明实施例提供的一种视频图像超分辨率重建方法中S102的实现流程图；

图3是本发明实施例提供的另一种视频图像超分辨率重建方法的实现流程图；

图4是本发明实施例提供的另一种视频图像超分辨率重建方法中S201的实现流程图；

图5是本发明实施例提供的另一种视频图像超分辨率重建方法中S202的实现流程图；

图6是本发明实施例提供的一种视频图像超分辨率重建设备的示意图；

图7是本发明实施例提供的一种视频图像超分辨率重建设备的示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。

为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。

请参见图1，图1是本发明实施例提供的一种视频图像超分辨率重建方法的实现流程图。本实施例中视频图像超分辨率重建方法的执行主体为设备，例如，视频图像超分辨率重建设备，该设备包括但不限于服务器、智能电视、智能手机、和台式计算机等等。如图所示的视频图像超分辨率重建方法可包括：

S101：获取待处理的目标视频；所述目标视频由多个连续的第一分辨率的视频帧组成。

设备检测到用户触发的视频图像超分辨率重建的指令时，获取待处理的目标视频。其中，待处理的目标视频可以是设备本地存储的，也可以是设备通过网络远程接收到的。用户可以通过在虚拟屏幕上对视频进行选择，选中的视频即为待处理的目标视频。其中，目标视频是有多个第一分辨率的视频帧组成，其中，第一分辨率的视频帧具体为分辨率较低的视频帧，图像低分辨率和高分辨率的标准在不同的应用领域是不用的，在实际应用过程中，可以根据实际的应用场景进行设定。例如，在电视领域，通常把物理分辨率达到720p以上的格式则称作为高清，英文表述High Definition，简称HD。所谓全高清(FullHD)，是指物理分辨率高达1920×1080逐行扫描，即1080p高清，是目前顶级的高清规格。

S102：将所述目标视频输入到预先训练好的视频超分辨率重建模型进行处理，获取所述目标视频中每个第一分辨率视频帧对应的第二分辨率视频帧；其中，所述第一分辨率小于所述第二分辨率。

设备中可以预先设置预先训练好的视频超分辨率重建模型，也可以从其他设备中调用预先训练好的预先训练好的视频超分辨率重建模型。预先训练好的视频超分辨率重建模型可以包括输入层、隐含层、输出层(损失函数层)。输入层包括一个输入层节点，用于从外部接收输入的视频信息。隐含层用于对视频信息进行处理，提取高分辨率视频帧。输出层用于输出高分辨率视频帧。

本实施例中，预设的视频超分辨率重建模型在训练过程中，视频帧超分辨率重建模型的输入为样本视频帧组中的目标帧，视频超分辨率重建模型的输出为目标帧的高分辨率视频帧。其中，在训练的过程中，设备将样本视频进行分帧处理，并且将样本视频帧进行分组得到目标样本视频帧组，设备可以从样本视频帧组中任意选择一视频帧作为目标帧，例如第一帧、最后一帧或中间帧等。也可以按照预设规则选择一帧作为目标帧，该预设规则可以为：选择中间帧作为目标帧、选择第二帧作为目标帧等，此处不做限定。

其中，第一分辨率小于第二分辨率，第二分辨率的视频帧具体为分辨率较高的视频帧，图像高分辨率的标准在不同的应用领域是不用的，在实际应用过程中，可以根据实际的应用场景有针对性的对视频超分辨率重建模型进行训练，输出第二分辨率视频帧。

进一步地，为了便于超分辨率重建模型处理目标视频的视频帧，要对目标视频的视频帧进行分组，S102可以包括S1021～S1022，如图2所示，S1021～S1022具体如下：

S1021：对所述目标视频的视频帧进行分组，获取所述目标视频的视频帧组。

设备对目标视频的视频帧进行分组，一般为同一场景下的连续多帧视频帧为一组，一般可以为3帧、5帧或者7帧，此处不做限制。从目标视频的第一个视频帧开始划分第一个视频帧组，第二个视频帧组从第二个视频帧开始划分，例如，目标视频有n个视频帧，当一个视频帧组为7帧时，第一个视频帧组为第1-7帧，第二个视频帧组为第2-8帧，第三个视频帧组为第3-9帧，以此类推，最后一个视频帧组为第(n-7)-n帧。

S1022：将所述目标视频的视频帧组输入到视频超分辨率重建模型进行处理，获取所述目标视频中所述视频帧对应的第二分辨率视频帧。

设备将目标视频的视频帧组输入到视频超分辨率重建模型进行处理，获取所述目标视频中视频帧对应的第二分辨率视频帧。

S103：将所有所述目标帧的第二分辨率视频帧合成获取所述目标视频的第二分辨率视频。

设备将所有目标帧的第二分辨率视频帧合成，合成的方法不做限制，获取目标视频的第二分辨率视频。由于通过本实施例中的方法获取到是目标帧的第二分辨率视频帧，所以当预设目标帧并不为第一帧时，通过该方法就无法获取到目标帧之前的视频帧的高分辨率视频帧，例如，当一个视频帧组为7帧时，第一个视频帧组为第1-7帧，目标帧为第四帧时，则最终获取到第四帧到最后一帧的第二分辨率视频帧，此时，无法获取到前三帧的第二分辨率视频帧。那么，这种情况下的处理方式为，在合成的过程中，可以用空白帧替代前三帧，由于是在整个视频开始的前几帧，所以对整个视频的影响不大。

本发明实施例中，获取待处理的目标视频；所述目标视频由多个连续的第一分辨率的视频帧组成；将所述目标视频输入到预先训练好的视频超分辨率重建模型进行处理，获取所述目标视频中每个第一分辨率视频帧对应的第二分辨率视频帧；其中，所述第一分辨率小于所述第二分辨率；将所有所述目标帧的第二分辨率视频帧合成获取所述目标视频的第二分辨率视频。。上述方法中，通过动态上采样滤波器来隐式地学习帧间运动信息，只通过训练好的视频超分辨率重建模型，即可获取最终的重建结果，在实际使用过程中，无需进行网络的训练，也没有光流估计的过程，提升了视频超分辨率重建的效果。

请参见图3，图3是本发明实施例提供的另一种视频图像超分辨率重建方法的实现流程图。本实施例中视频图像超分辨率重建方法的执行主体为设备，其中设备包括但不限于服务器、智能电视、智能手机、和台式计算机等等。本实施例与上一实施例的不同之处在于在S204之前还包括S201～S203，本实施例中S204～S206与上一实施例中的S101～S103相同，具体请参见上一实施例中的S101～S103，其中，执行完S201～S203之后执行S204～S206，S201～S203具体如下：

S201：获取视频训练数据，基于所述视频训练数据获取视频帧训练集；其中，所述视频帧训练集包括第一分辨率的样本视频帧组。

设备获取视频训练数据，其中，视频训练数据可以是随机选取的多个视频，一般情况下会选择视频时长在2-5分钟的视频，这样设备处理的过程中不会出现硬件负担的相关问题。为了样本的丰富性，视频的数量越多越好，但是还要考虑到设备的硬件条件，在实际训练过程中，获取了30个2-5分钟的短视频作为视频训练数据。基于视频训练数据获取视频帧训练集，视频帧训练集包括低分辨率的样本视频帧组。可以通过对视频训练数据进行分帧处理获取到视频训练数据中视频的视频帧，然后对视频训练数据中视频的视频帧进行分组。分组时，一般为同一场景下的连续多帧视频帧为一组，一般可以为3帧、5帧或者7帧，此处不做限制。例如，这只连续视频帧帧数N设为3，即该组有2N+1＝7个连续帧。

如果视频训练数据中视频的视频帧的分辨率不够低，可以对其进行处理获取低分辨率的视频帧。可以理解的是，在不同的领域对于视频的分辨率的要求是不一样的，此处对于第一分辨率的判断可以根据实际的应用场景进行判断。

此外，在实际应用中，可能出现视频训练数据中的每一帧过大或者是无用的图像过多的情况，可以利用颜色直方图方法将视频根据场景来切分，得到不同的场景。然后，按场景随机取连续视频帧中相同位置的图像块，作为训练样本。

进一步地，为了进一步提升样本的可靠性，S201可以包括S2011～S2012，如图4所示，S2011～S2012具体如下：

S2011：从视频训练数据中获取初始视频帧。

设备获取视频训练数据，当视频训练数据为多个短视频时，对视频训练数据进行分帧处理，获取到视频训练数据中的每一个视频帧，即为初始视频帧。

S2012：当多个相邻的初始视频帧中每个初始视频帧都满足预设条件时，将满足预设条件的所述多个相邻的初始视频帧标记为一组初始视频帧组；将所述多个相邻的初始视频帧组进行降采样处理，得到视频帧训练集。

设备预先设置一个条件，该条件的设定标准为当多个相邻初始视频帧中每个初始视频帧都满足预设条件时，则相邻初始视频帧中每个初始视频帧都是连续变化的。本实施例中，将预设条件设置为多个相邻初始视频帧中每个初始视频帧峰值信噪比在15-35之间，本领域技术人员可以理解，峰值信噪比的指标设置在15-35之间只是一个参数的设定，也可以设置为其他满足条件的参数。

当多个相邻初始视频帧中每个初始视频帧都满足预设条件时，将满足预设条件的相邻初始视频帧标记为一组初始视频帧组。设备对初始视频帧组进行降采样处理，降采样的过程中会运用滤波器降低混叠造成的失真。在本实施例中，可以对初始视频帧组进行整数倍降采样，降采样整数M倍的过程可以被分解成两个部分：

B1：利用数位低通滤波器去除讯号中的高频成分防止混叠。

B2：对过滤高频后的讯号降采样M倍，换言之，保留原讯号中间隔为M的取样点。

例如，可以对初始视频帧组进行4倍的降采样，先用尺度13且均方差1.6的窗口进行高斯模糊，再隔4个取样点取1个取样点。其中，降采样的倍数可以根据实际的应用场景进行设置。

将初始视频帧组进行降采样处理，得到低分辨率的视频帧组，即为视频帧训练集。

S202：将所述样本视频帧组中的目标帧输入预设的超分辨率模型进行处理，得到所述样本视频帧组中目标帧的目标超分辨率视频帧；所述超分辨率模型的输入为样本视频帧组中的目标帧，所述超分辨率模型的输出为所述样本视频帧组中目标帧的目标超分辨率视频帧。

设备预先设置超分辨率模型，预设的超分辨率模型可以包括输入层、隐含层、输出层(损失函数层)。输入层包括一个输入层节点，用于从外部接收输入的样本视频帧组中的目标帧。隐含层用于对样本视频帧组中的目标帧进行处理，提取样本视频帧组中目标帧的目标超分辨率视频帧。输出层用于输出样本视频帧组中目标帧的目标超分辨率视频帧。本实施例中，预设的超分辨率模型在训练过程中，超分辨率模型的输入为样本视频帧组中的目标帧，超分辨率模型的输出为样本视频帧组中目标帧的目标超分辨率视频帧。

将样本视频帧组中的目标帧输入到预设的超分辨率模型进行处理，得到样本视频帧组中目标帧的目标超分辨率视频帧。

进一步地，为了更准确的获取到目标超分辨率视频帧，S202可以包括S2021～S2025，如图5所示，S2021～S2025具体如下：

S2021：将所述样本视频帧组输入预设的深度稠密网络进行处理，得到样本视频帧组信息。

设备预先设置深度稠密网络，用于学习样本视频帧组中的视频帧组信息，其中，视频帧组信息包括视频帧的特征信息。深度稠密网络的训练方式与通常神经网络训练方式相同，稠密网络通过训练学习到每个连接的权重，通过每个连接的权重获取到每个连接的重要程度。也就是说，稠密训练不仅要学习权重的值，而且要学哪些连接比较重要。深度稠密网络将所有的处理层都连接起来，因此，学习到的特征信息更加稀疏、更加准确。

设备将将样本视频帧组输入预设的深度稠密网络进行处理，得到样本视频帧组信息。

S2022：将所述样本视频帧组信息输入预设的动态上采样滤波器学习网络进行处理，得到所述样本视频帧组中目标帧的运动估计信息。

设备中预先设置了动态上采样滤波器学习网络，预设的动态上采样滤波器学习网络可以包括输入层、隐含层、输出层(损失函数层)。输入层包括一个输入层节点，用于从外部接收输入的样本视频帧组信息。隐含层用于对样本视频帧组信息进行处理，提取样本视频帧组中目标帧的运动估计信息。输出层用于输出样本视频帧组中目标帧的运动估计信息。本实施例中，动态上采样滤波器学习网络的输入为样本视频帧组信息，动态上采样滤波器学习网络的输出为样本视频帧组中目标帧的运动估计信息。

本领域中，在帧间预测编码中，由于邻近帧中的景物存在着一定的相关性。因此，可将活动图像分成若干块或宏块，并设法搜索出每个块或宏块在邻近帧图像中的位置，并得出两者之间的空间位置的相对偏移量，得到的相对偏移量就是通常所指的运动矢量，得到运动矢量的过程被称为运动估计，与之相关的信息即为运动估计信息。

设备将样本视频帧组信息输入预设的动态上采样滤波器学习网络进行处理，得到样本视频帧组中目标帧的运动估计信息。

S2023：将所述样本视频帧组信息输入预设的残差学习网络进行处理，得到所述样本视频帧组中目标帧的残差信息。

设备中预先设置了残差学习网络，预设的残差学习网络可以包括输入层、隐含层、输出层(损失函数层)。输入层包括一个输入层节点，用于从外部接收输入的样本视频帧组信息。隐含层用于对样本视频帧组信息进行处理，提取样本视频帧组中目标帧的残差信息。输出层用于输出样本视频帧组中目标帧的残差信息。本实施例中，在训练过程中，残差学习网络的输入为样本视频帧组信息，残差学习网络的输出为样本视频帧组中目标帧的残差信息。

其中，残差信息可以看作误差的观测值，用于进一步弥补视频帧中缺失的高频细节信息。设备将样本视频帧组信息输入预设的残差学习网络进行处理，得到样本视频帧组中目标帧的残差信息。

进一步地，为了保证学习到的残差信息具有连续性和残差学习网络的训练速度，还可以对网络结构进行调整，包括增加反卷积层、减少输入时过渡的卷积层等等。

S2024：将所述样本视频帧组中的目标帧、所述目标帧的运动估计信息以及所述目标帧的残差信息输入预设的超分辨率模型，基于所述目标帧的运动估计信息对所述样本视频帧组中的目标帧进行上采样，得到经过上采样的目标帧。

设备将将样本视频帧组中的目标帧、目标帧的运动估计信息以及目标帧的残差信息输入预设的超分辨率模型中，基于目标帧的运动估计信息对样本视频帧组中的目标帧进行上采样，上采样也称为增取样或内插。对样本视频帧组中的目标帧进行上采样处理，即对样本视频帧组中的目标帧进行放大处理。执行放大操作时，终端会在样本视频帧组中的目标帧中内插多个像素点，以使放大后的样本视频帧组中的目标帧像能够显示更为具体的图像信息。对于一幅图像，若将图像中的细节特征部分进行频域转换处理，则能够提取出频率较高的多个频域像素值，若将图像的模糊特征部分进行频域转换处理，则将会提取出频率较低的多个频域像素值。因此，一幅图像通常具有用于表现图像细节特征的低频信息部分以及用于表现图像模糊特征的高频信息部分。由于内插像素点的像素值是根据该像素点附近某区间内的若干像素点的像素值来近似计算出的，该像素值仅能体现图像的模糊特征。也就是说，样本视频帧组中的目标帧进行上采样，得到经过上采样的目标帧只是一个初步的结果，边缘会比较模糊，部分细节难以重建出来。

S2025：基于所述目标帧的残差信息对所述经过上采样的目标帧进行处理，得到所述样本视频帧组中目标帧的目标超分辨率视频帧。

设备将残差信息添加到经过上采样的目标帧，突出经过上采样的目标帧边缘，弥补经过上采样的目标帧中缺失的细节部分，得到样本视频帧组中目标帧的目标超分辨率视频帧。

S203：基于所述样本视频帧组的预设真值图和所述目标超分辨率视频帧进行训练，得到用于输出第二分辨率视频帧的视频帧超分辨率重建模型；所述视频帧超分辨率重建模型用于对所述待处理的目标视频进行处理得到第二分辨率视频。

设备在样本视频帧中预先设置真值图，真值图即为优化的目标和标准，设置真值图的标准可以是将视频帧组的中间帧设置为真值图。训练过程基于随机梯度下降(SGD)的优化算法，使用Adam优化器对样本视频帧组的预设真值图和目标超分辨率视频帧计算一定的距离作为损失进行优化，即计算梯度并前向传播调整网络各层的卷积核权值，直至损失值收敛，本实施例中，可以计算L2距离作为损失进行优化。针对该损失对整个网络逐层基于神经网络的链式传导法则来反向计算各层的梯度，从而调整每层卷积核的权重和偏置。经过不断调整最终可以找到最优的参数解，即卷积核权重等参数值，也就是损失收敛值时的参数值。

另外，本领域技术人员可以理解，由于硬件条件有限，所以在训练过程中，设置批尺度(batch size)大小最多为8，即每8组一起训练。

经过训练得到用于输出高分辨率视频帧的视频帧超分辨率重建模型，视频帧超分辨率重建模型用于对待处理的目标视频进行处理得到高分辨率视频。

本实施例中，利用深度稠密子网络学习视频帧信息，接着分为两个支路分别学习视频超分辨率重建过程中的运动估计信息和残差信息。对目标帧使用动态上采样滤波器进行上采样，得到初步的结果，然后加上残差信息得到目标超分辨率视频帧，基于样本视频帧组的预设真值图和目标超分辨率视频帧进行训练，得到用于输出高分辨率视频帧的视频帧超分辨率重建模型。该方法既有效的利用了低分辨率视频帧内的局部空间相关性，也考虑了帧间的附加时间相关性，与常见的基于光流估计的视频超分辨率重建方法相比，能够更有效地重建出高分辨率视频帧。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

请参见图6，图6是本发明一实施例提供的一种视频图像超分辨率重建设备的示意图。包括的各单元用于执行图1～图5对应的实施例中的各步骤。具体请参阅图1～图5各自对应的实施例中的相关描述。为了便于说明，仅示出了与本实施例相关的部分。参见图6，视频图像超分辨率重建设备6包括：

第一获取单元610，用于获取待处理的目标视频；所述目标视频由多个连续的第一分辨率的视频帧组成；

第一处理单元620，用于将所述目标视频输入到预先训练好的视频超分辨率重建模型进行处理，获取所述目标视频中每个第一分辨率视频帧对应的第二分辨率视频帧；其中，所述第一分辨率小于所述第二分辨率；

合成单元630，用于将所有所述目标帧的第二分辨率视频帧合成获取所述目标视频的第二分辨率视频。

进一步地，第一处理单元620具体用于：

对所述目标视频的视频帧进行分组，获取所述目标视频的视频帧组；

将所述目标视频的视频帧组输入到视频超分辨率重建模型进行处理，获取所述目标视频中所述视频帧对应的第二分辨率视频帧。

进一步地，视频图像超分辨率重建设备还包括：

第二获取单元，用于获取视频训练数据，基于所述视频训练数据获取视频帧训练集；其中，所述视频帧训练集包括第一分辨率的样本视频帧组；

第二处理单元，用于将所述样本视频帧组中的目标帧输入预设的超分辨率模型进行处理，得到所述样本视频帧组中目标帧的目标超分辨率视频帧；所述超分辨率模型的输入为样本视频帧组中的目标帧，所述超分辨率模型的输出为所述样本视频帧组中目标帧的目标超分辨率视频帧；

第三处理单元，用于基于所述样本视频帧组的预设真值图和所述目标超分辨率视频帧进行训练，得到用于输出第二分辨率视频帧的视频帧超分辨率重建模型；所述视频帧超分辨率重建模型用于对所述待处理的目标视频进行处理得到第二分辨率视频。

进一步地，所述第二获取单元具体用于：

从视频训练数据中获取初始视频帧；

当多个相邻的初始视频帧中每个初始视频帧都满足预设条件时，将满足预设条件的所述多个相邻的初始视频帧标记为一组初始视频帧组；将所述多个相邻的初始视频帧组进行降采样处理，得到视频帧训练集。

进一步地，所述第二处理单元具体用于：

将所述样本视频帧组输入预设的深度稠密网络进行处理，得到样本视频帧组信息；

将所述样本视频帧组信息输入预设的动态上采样滤波器学习网络进行处理，得到所述样本视频帧组中目标帧的运动估计信息；

将所述样本视频帧组信息输入预设的残差学习网络进行处理，得到所述样本视频帧组中目标帧的残差信息；

将所述样本视频帧组中的目标帧、所述目标帧的运动估计信息以及所述目标帧的残差信息输入预设的超分辨率模型，基于所述目标帧的运动估计信息对所述样本视频帧组中的目标帧进行上采样，得到经过上采样的目标帧；

基于所述目标帧的残差信息对所述经过上采样的目标帧进行处理，得到所述样本视频帧组中目标帧的目标超分辨率视频帧。

图7是本发明一实施例提供的一种视频图像超分辨率重建设备的示意图。如图7所示，该实施例的视频图像超分辨率重建设备7包括：处理器70、存储器71以及存储在所述存储器71中并可在所述处理器70上运行的计算机程序72，例如视频图像超分辨率重建程序。所述处理器70执行所述计算机程序72时实现上述各个视频图像超分辨率重建方法实施例中的步骤，例如图1所示的步骤101至103。或者，所述处理器70执行所述计算机程序72时实现上述各装置实施例中各单元的功能，例如图6所示模块610至630的功能。

示例性的，所述计算机程序72可以被分割成一个或多个单元，所述一个或者多个单元被存储在所述存储器71中，并由所述处理器70执行，以完成本发明。所述一个或多个单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序72在所述视频图像超分辨率重建设备7中的执行过程。例如，所述计算机程序72可以被分割成第一获取单元、第一处理单元、合成单元，各单元具体功能如下：

第一获取单元，用于获取待处理的目标视频；所述目标视频由多个连续的第一分辨率的视频帧组成；

第一处理单元，用于将所述目标视频输入到预先训练好的视频超分辨率重建模型进行处理，获取所述目标视频中每个第一分辨率视频帧对应的第二分辨率视频帧；其中，所述第一分辨率小于所述第二分辨率；

合成单元，用于将所有所述目标帧的第二分辨率视频帧合成获取所述目标视频的第二分辨率视频。

所述视频图像超分辨率重建设备可包括，但不仅限于，处理器70、存储器71。本领域技术人员可以理解，图7仅仅是视频图像超分辨率重建设备7的示例，并不构成对视频图像超分辨率重建设备7的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述视频图像超分辨率重建设备还可以包括输入输出设备、网络接入设备、总线等。

所称处理器60可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器71可以是所述视频图像超分辨率重建设备7的内部存储单元，例如视频图像超分辨率重建设备7的硬盘或内存。所述存储器71也可以是所述视频图像超分辨率重建设备7的外部存储设备，例如所述视频图像超分辨率重建设备7上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(FlashCard)等。进一步地，所述存储器71还可以既包括所述视频图像超分辨率重建设备7的内部存储单元也包括外部存储设备。所述存储器71用于存储所述计算机程序以及所述视频图像超分辨率重建设备所需的其他程序和数据。所述存储器71还可以用于暂时地存储已经输出或者将要输出的数据。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本发明所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种视频图像超分辨率重建方法，其特征在于，包括：

获取待处理的目标视频；所述目标视频由多个连续的第一分辨率的视频帧组成；

将所述目标视频输入到预先训练好的视频超分辨率重建模型进行处理，获取所述目标视频中每个第一分辨率视频帧对应的第二分辨率视频帧；其中，所述第一分辨率小于所述第二分辨率；

将所有所述目标帧的第二分辨率视频帧合成获取所述目标视频的第二分辨率视频。

2.如权利要求1所述的视频图像超分辨率重建方法，其特征在于，所述将所述目标视频输入到预先训练好的视频超分辨率重建模型进行处理，获取所述目标视频中每个第一分辨率视频帧对应的第二分辨率视频帧，包括：

对所述目标视频的视频帧进行分组，获取所述目标视频的视频帧组；

将所述目标视频的视频帧组输入到视频超分辨率重建模型进行处理，获取所述目标视频中所述视频帧对应的第二分辨率视频帧。

3.如权利要求1-2任一项所述的视频图像超分辨率重建方法，其特征在于，在所述将所述目标视频输入到预先训练好的视频超分辨率重建模型进行处理，获取所述目标视频中每个第一分辨率视频帧对应的第二分辨率视频帧之前，还包括：

获取视频训练数据，基于所述视频训练数据获取视频帧训练集；其中，所述视频帧训练集包括第一分辨率的样本视频帧组；

将所述样本视频帧组中的目标帧输入预设的超分辨率模型进行处理，得到所述样本视频帧组中目标帧的目标超分辨率视频帧；所述超分辨率模型的输入为样本视频帧组中的目标帧，所述超分辨率模型的输出为所述样本视频帧组中目标帧的目标超分辨率视频帧；

基于所述样本视频帧组的预设真值图和所述目标超分辨率视频帧进行训练，得到用于输出第二分辨率视频帧的视频帧超分辨率重建模型；所述视频帧超分辨率重建模型用于对所述待处理的目标视频进行处理得到第二分辨率视频。

4.如权利要求3所述的视频图像超分辨率重建方法，其特征在于，所述获取视频训练数据，基于所述视频训练数据获取视频帧训练集，包括：

从视频训练数据中获取初始视频帧；

当多个相邻的初始视频帧中每个初始视频帧都满足预设条件时，将满足预设条件的所述多个相邻的初始视频帧标记为一组初始视频帧组；将所述多个相邻的初始视频帧组进行降采样处理，得到视频帧训练集。

5.如权利要求3所述的视频图像超分辨率重建方法，其特征在于，所述将所述样本视频帧组中的目标帧输入预设的超分辨率模型进行处理，得到所述样本视频帧组中目标帧的目标超分辨率视频帧，包括：

将所述样本视频帧组输入预设的深度稠密网络进行处理，得到样本视频帧组信息；

将所述样本视频帧组信息输入预设的动态上采样滤波器学习网络进行处理，得到所述样本视频帧组中目标帧的运动估计信息；

将所述样本视频帧组信息输入预设的残差学习网络进行处理，得到所述样本视频帧组中目标帧的残差信息；

将所述样本视频帧组中的目标帧、所述目标帧的运动估计信息以及所述目标帧的残差信息输入预设的超分辨率模型，基于所述目标帧的运动估计信息对所述样本视频帧组中的目标帧进行上采样，得到经过上采样的目标帧；

基于所述目标帧的残差信息对所述经过上采样的目标帧进行处理，得到所述样本视频帧组中目标帧的目标超分辨率视频帧。

6.一种视频图像超分辨率重建设备，其特征在于，包括：

第一获取单元，用于获取待处理的目标视频；所述目标视频由多个连续的第一分辨率的视频帧组成；

第一处理单元，用于将所述目标视频输入到预先训练好的视频超分辨率重建模型进行处理，获取所述目标视频中每个第一分辨率视频帧对应的第二分辨率视频帧；其中，所述第一分辨率小于所述第二分辨率；

合成单元，用于将所有所述目标帧的第二分辨率视频帧合成获取所述目标视频的第二分辨率视频。

7.如权利要求6所述的视频图像超分辨率重建设备，其特征在于，所述第一处理单元具体用于：

对所述目标视频的视频帧进行分组，获取所述目标视频的视频帧组；

将所述目标视频的视频帧组输入到视频超分辨率重建模型进行处理，获取所述目标视频中所述视频帧对应的第二分辨率视频帧。

8.如权利要求6所述的视频图像超分辨率重建设备，其特征在于，具体包括：

第二获取单元，用于获取视频训练数据，基于所述视频训练数据获取视频帧训练集；其中，所述视频帧训练集包括第一分辨率的样本视频帧组；

第二处理单元，用于将所述样本视频帧组中的目标帧输入预设的超分辨率模型进行处理，得到所述样本视频帧组中目标帧的目标超分辨率视频帧；所述超分辨率模型的输入为样本视频帧组中的目标帧，所述超分辨率模型的输出为所述样本视频帧组中目标帧的目标超分辨率视频帧；

第三处理单元，用于基于所述样本视频帧组的预设真值图和所述目标超分辨率视频帧进行训练，得到用于输出第二分辨率视频帧的视频帧超分辨率重建模型；所述视频帧超分辨率重建模型用于对所述待处理的目标视频进行处理得到第二分辨率视频。

9.一种视频图像超分辨率重建设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5所述方法的步骤。

Images