CN111429357B - 训练数据确定方法、视频处理方法、装置、设备及介质 - Google Patents

Abstract

本发明实施例公开了一种训练数据确定方法、视频处理方法、装置、设备及介质。训练数据确定方法包括：获取高分辨率视频样本；对高分辨率视频样本进行缩放和数据增强，得到低分辨率视频样本；根据高分辨率视频样本和低分辨率视频样本确定视频超分辨率模型的训练数据。本发明实施例的技术方案，基于高分辨率视频样本可以生成更加真实的低分辨率视频样本，进而提高了视频超分辨率模型的训练数据的真实性，使得采用该训练数据得到的模型更加准确，在采用所得到模型进行视频超分辨率处理时，能够得到效果更优的高分辨率视频。

Description

训练数据确定方法、视频处理方法、装置、设备及介质

技术领域

本发明实施例涉及视频处理技术领域，尤其涉及一种训练数据确定方法、视频处理方法、装置、设备及介质。

背景技术

超分辨率指的是对图像或视频的分辨率进行放大，在放大的同时填充更多细节，增强整体观感。

目前效果较好的视频超分辨率算法往往使用深度学习来实现，而使用深度学习进行视频超分辨率的模型训练，需要成对的高分辨率和低分辨率的视频(即内容一致但分辨率不同的一对视频)作为训练数据。但是，由于视频超分辨率的模型训练中对实际应用中的问题考虑较少，导致训练数据的真实性可能受到影响，需要改进。

发明内容

本发明实施例提供一种训练数据确定方法、视频处理方法、装置、设备及介质，可以优化现有视频超分辨率模型的训练数据的真实性。

第一方面，本发明实施例提供了一种视频超分辨率模型的训练数据确定方法，包括：

获取高分辨率视频样本；

对所述高分辨率视频样本进行缩放和数据增强，得到低分辨率视频样本；

根据所述高分辨率视频样本和所述低分辨率视频样本确定视频超分辨率模型的训练数据。

第二方面，本发明实施例提供了一种视频超分辨率处理方法，包括：

获取待处理的视频数据；

将所述视频数据输入至预设的视频超分辨率模型中，以对所述视频数据进行超分辨率处理，其中，所述视频超分辨率模型对应的训练数据采用本发明实施例提供的视频超分辨率模型的训练数据确定方法得到。

第三方面，本发明实施例提供了一种视频超分辨率模型的训练数据确定装置，包括：

高分辨率视频样本获取模块，用于获取高分辨率视频样本；

低分辨率视频样本确定模块，用于对所述高分辨率视频样本进行缩放和数据增强，得到低分辨率视频样本；

训练数据确定模块，用于根据所述高分辨率视频样本和所述低分辨率视频样本确定视频超分辨率模型的训练数据。

第四方面，本发明实施例提供了一种视频超分辨率处理装置，包括：

视频数据获取模块，用于获取待处理的视频数据；

超分辨率处理模块，用于将所述视频数据输入至预设的视频超分辨率模型中，以对所述视频数据进行超分辨率处理，其中，所述视频超分辨率模型对应的训练数据采用本发明实施例提供的视频超分辨率模型的训练数据确定方法得到。

第五方面，本发明实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如本发明实施例提供的方法。

第六方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例提供的方法。

本发明实施例中提供的视频超分辨率模型的训练数据确定方案，获取高分辨率视频样本，对高分辨率视频样本进行缩放和数据增强，得到低分辨率视频样本，根据高分辨率视频样本和低分辨率视频样本确定视频超分辨率模型的训练数据。通过采用上述技术方案，基于高分辨率视频样本可以生成更加真实的低分辨率视频样本，进而提高了视频超分辨率模型的训练数据的真实性，使得采用该训练数据得到的模型更加准确，在采用所得到模型进行视频超分辨率处理时，能够得到效果更优的高分辨率视频。

附图说明

图1为本发明实施例提供的一种视频超分辨率模型的训练数据确定方法的流程示意图；

图2为本发明实施例提供的一种视频的像素存储方式的示意图；

图3为本发明实施例提供的另一种视频超分辨率模型的训练数据确定方法的流程示意图；

图4为本发明实施例提供的一种低分辨率视频帧的示意图；

图5为本发明实施例提供的一种无噪声的超分辨率处理结果示意图；

图6为本发明实施例提供的一种添加噪声的超分辨率处理结果示意图；

图7为本发明实施例提供的另一种低分辨率视频帧的示意图；

图8为本发明实施例提供的一种存在块效应的超分辨率处理结果示意图；

图9为本发明实施例提供的一种无块效应的超分辨率处理结果示意图；

图10为本发明实施例提供的一种视频超分辨率处理方法的流程示意图；

图11为本发明实施例提供的一种视频超分辨率模型的训练数据确定装置的结构框图；

图12为本发明实施例提供的一种视频超分辨率处理装置的结构框图；

图13为本发明实施例提供的一种计算机设备的结构框图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。此外，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。

图1为本发明实施例提供的一种视频超分辨率模型的训练数据确定方法的流程示意图，该方法可以由视频超分辨率模型的训练数据确定装置执行，其中该装置可由软件和/或硬件实现，一般可集成在计算机设备中。如图1所示，该方法包括：

步骤101、获取高分辨率视频样本。

其中，高分辨率视频样本可以为分辨率较高的多个视频，具体视频的数量和规格本实施例中不作限定，可以根据实际情况进行确定。本发明实施例中，可以获取互联网中的高分辨率视频样本，也可以通过视频拍摄装置拍摄高分辨率视频样本，具体获取方式可以为多种，本实施例中不作限定。

超分辨率指的是对图像或视频的分辨率进行放大，在放大的同时填充更多细节，以增强整体观感，本发明实施例中针对的是视频。超分辨率的放大倍数是指图像或视频的宽和高的放大倍数，并不是总像素数量的放大倍数，并且放大倍数一般是整数倍，例如放大倍数可以为2倍和4倍等。

基于深度学习的算法需要训练数据进行训练，而超分辨率算法的训练数据为成对的低分辨率数据和高分辨率数据。在真实世界中，很难同时拍摄到高低分辨率的成对视频。因此，可以通过先收集高分辨率视频，再经过处理得到相同内容的低分辨率视频。

步骤102、对高分辨率视频样本进行缩放和数据增强，得到低分辨率视频样本。

其中，低分辨率视频样本可以为与上述高分辨率视频样本的内容相同但是分辨率较低的视频，即低分辨率视频样本与高分辨率视频样本相对应。

现有技术中，基于高分辨率视频生成低分辨率视频的生成方式可以为多种，但是得到的低分辨率视频与真实场景中拍摄到的低分辨率视频并不完全一致，真实性不能保证。高分辨率视频和低分辨率视频仅仅考虑了分辨率的差异，在两种分辨率下，视频是以无损压缩的图像格式来存储的，但实际应用时，视频总是被有损压缩的视频，如果不考虑视频压缩，真实视频上就会存在编码噪声放大的情况。并且视频中每个像素的存储方式通常是与图像不同的，如果不考虑视频的像素存储格式，可能会造成块效应放大的现象。因此本发明实施例中采用数据增强的方式解决上述问题。

本发明实施例中，对高分辨率视频样本进行缩放和数据增强，得到低分辨率视频样本，可以包括：将高分辨率视频样本拆分为高分辨率视频帧；对高分辨率视频帧进行缩放，得到低分辨率视频帧；对低分辨率视频帧进行数据增强并合成，得到低分辨率视频样本。具体可以采用设定拆分程序或算法将高分辨率视频样本拆分为高分辨率视频帧，对每个高分辨率视频帧采用预设下采样方法进行缩放，得到对应的低分辨率视频帧。本发明实施例中对设定下采样方法不作限定，例如设定下采样方式可以为双三次插值方法等。对低分辨率视频帧的数据增强可以通过解决上述视频压缩和视频的像素存储格式存在的问题实现，例如，对低分辨率视频帧可以基于任意一种编码标准进行编码和解码操作，解决上述视频压缩的问题，实现数据增强；对低分辨率视频帧也可以进行视频格式的转换和图像格式的恢复，解决上述视频的像素存储格式的问题，实现数据增强。

步骤103、根据高分辨率视频样本和低分辨率视频样本确定视频超分辨率模型的训练数据。

其中，视频超分辨率模型是一种用于实现视频超分辨率处理的深度神经网络模型，可以理解为一种基于深度学习的视频超分辨率算法，深度学习属于机器学习范畴，需要通过数据对视频超分辨率模型进行训练。视频超分辨率模型对数据的依赖度较高，其效果不仅与深度神经网络的网络结构和损失函数的设计相关，还取决于训练过程中的训练数据与实际应用中的数据的一致性。因此，本发明实施例中通过数据增强可以使生成的低分辨率视频样本与真实的更加接近，进而有利于视频超分辨率模型的效果。

本发明实施例中，基于高分辨率视频样本得到低分辨率视频样本之后，可以将成对的高分辨率视频样本和低分辨率视频样本作为视频超分辨率模型的训练数据，对视频超分辨率模型进行训练，以得到记录了训练好的参数的视频超分辨率模型。

本发明实施例中提供的视频超分辨率模型的训练数据确定方法，获取高分辨率视频样本，对高分辨率视频样本进行缩放和数据增强，得到低分辨率视频样本，根据高分辨率视频样本和低分辨率视频样本确定视频超分辨率模型的训练数据。通过采用上述技术方案，基于高分辨率视频样本可以生成更加真实的低分辨率视频样本，进而提高了视频超分辨率模型的训练数据的真实性，使得采用该训练数据得到的模型更加准确，在采用所得到模型进行视频超分辨率处理时，能够得到效果更优的高分辨率视频。

在一些实施例中，高分辨率视频帧进行缩放，得到低分辨率视频帧，可以包括：采用预设平滑算法对高分辨率视频帧进行平滑处理，得到高分辨率平滑视频帧；通过预设下采样方法对高分辨率平滑视频帧进行下采样，得到低分辨率视频帧。

目前采用分辨率降低的方法得到的低分辨率视频与真实采集的低分辨率视频通常有着不同的分布，在这样的数据集上训练的模型，对真实视频几乎没有细节增强的效果。本发明实施例中可以先采用预设平滑算法对高分辨率视频帧进行图像平滑处理，得到高分辨率平滑视频帧，然后采用预设下采样方法对高分辨率平滑视频帧进行下采样，得到低分辨率视频帧。

可选的，预设平滑算法包括高斯滤波算法，预设下采样方法包括双三次插值方法。可以理解的是，上述高斯滤波算法和双三次插值方法均为一种示例，其他可以实现相应功能的方法均适用。

尺度空间表达可以使图像的局部特征用简单的形式在不同尺度上描述，不同的尺度空间是由高斯核产生的，即高斯核可以产生多尺度空间的核，所有不同尺度的分辨率是相同的，因此预设平滑算法可以采用高斯滤波算法。可选的，高斯滤波算法的高斯核与高分辨率视频帧的超分辨率放大倍数正相关，即高斯核的大小与超分辨率的放大倍数有关，放大倍数越大，高斯核越大。示例性的，对放大倍数为4倍的视频帧采用σ＝1.5的高斯核，对放大倍数为2倍的视频帧采用σ＝0.8的高斯核，其中σ表示高斯滤波算法中高斯函数的带宽，用于控制径向作用范围。

本发明实施例中在对高分辨率视频帧进行下采样处理之前，增加图片平滑处理，可以生成符合尺度空间的低分辨率视频帧，进而有利于后续视频超分辨率处理时的细节增强。

在一些实施例中，对低分辨率视频帧进行数据增强，可以包括：对低分辨率视频帧进行视频编码和视频解码的操作；和/或，将低分辨率视频帧基于目标视频格式转换为低分辨率视频，并基于目标图像格式将低分辨率视频恢复为新的低分辨率视频帧。这样设置的好处在于，通过设置两种数据增强方式，可以根据实际需要选择其中一种方式或者同时使用两种方式进行数据增强，提高了灵活性，使得低分辨率视频帧的真实性更高。

视频一般可以按照一种编码标准被压缩成视频文件进行存储与传播，例如编码标准可以包括H264和H265等，视频文件可以包括mp4和flv等。视频的压缩一般都是有损压缩，因此会带来一些肉眼不可见或不易察觉的编码噪声，例如在低质量的视频上看到的成块的纹理和锯齿状的边缘等。不同视频使用的编码标准和对应编码参数不同，带来的噪声种类与强度也不同。为了解决视频有损压缩造成的问题，本发明实施例中可以通过基于任意一种编码标准和编码强度，对低分辨率视频帧进行视频编码为视频，再视频解码为视频帧，得到具备编码噪声的低分辨率视频帧。

在一些实施例中，对低分辨率视频帧进行视频编码和视频解码的操作，可以包括：确定低分辨率视频帧中的目标编码视频帧；确定目标编码视频帧的编码标准和编码强度，以对目标编码视频帧进行视频编码和视频解码操作，其中，目标编码视频帧的视频帧数小于或等于低分辨率视频帧的视频帧数。

其中，目标编码视频帧可以为根据实际情况在低分辨率视频帧中选择的进行编码噪声添加的视频帧，目标编码视频帧的视频帧数本发明实施例中不作限定。编码标准是指视频编码解码规范，编码强度是指视频编码的强度参数，可以采用固定码率系数(ConstantRate Factor，CRF)表示，CRF值越大，表示视频编码的压缩比越高，生成的视频中包含的编码噪声也越多。本发明实施例中对具体的编码标准和编码强度不作限定，可以根据实际情况进行设定。

可选的，目标编码视频帧中的至少两个视频帧对应的编码标准或编码强度不同。目标编码视频帧的各视频帧对应的编码标准和/或编码强度可以相同，也可以不同。确定目标编码视频帧的编码标准和编码强度时，可以将目标编码视频帧划分为编码单位，每个编码单位的视频帧数相同，每个编码单位分别确定对应的编码标准和编码强度，之后对每个编码单位中的视频帧进行视频编码和视频解码的操作。编码单位的视频帧数可以根据实际情况进行设定。例如，目标编码视频帧的视频帧数为1000个，编码单位的视频帧数为100个，将目标编码视频帧划分为10个编码单位，每个编码单位设置对应的编码标准和编码强度，编码标准可以从H264和H265之间随机选择一个，编码强度CRF可以从18至30之间随机选择一个值，10个编码单位可以设置10个不同的编码强度，也可以设置部分相同部分不同的编码强度，具体不限，之后基于每个编码单位确定的编码强度和编码标准进行视频编码和视频解码。

现有技术中，视频超分辨率模型对含有轻微编码噪声的视频进行处理后，会误将不易察觉的编码噪声作为画面细节进行增强，导致编码噪声被放大，用户体验下降。本发明实施例中可以实现针对视频有损压缩的数据增强，使得低分辨率的噪声在后续超分辨率处理中可以被消除，进而提高用户体验。并且通过对低分辨率视频帧采用不同编码规范与不同编码强度进行编码，为低分辨率视频添加编码噪声，更加符合真实视频往往通过有损压缩来传输与存储的客观现象。

在一些实施例中，对低分辨率视频帧进行数据增强，可以包括：将低分辨率视频帧基于目标视频格式转换为低分辨率视频，并基于目标图像格式将低分辨率视频恢复为新的低分辨率视频帧。目标视频格式为高分辨率视频样本的视频格式，目标图像格式为低分辨率视频帧或高分辨率视频帧的图像格式，目标视频格式对应的存储空间小于目标图像格式对应的存储空间，目标图像格式为全分辨率存储方式的图像格式。

目标视频格式可以为YUV420p，目标图像格式可以为RGB888。图像的像素存储方式一般为RGB888，即对每一个像素都会存储R、G、B三个通道的8位像素值。而视频的像素一般采用YUV420p的方式进行存储。YUV与RGB类似，都是像素的表示方式，不同的是RGB格式是将像素分为红、绿、蓝三个分量存储，而YUV是将像素分为亮度(Y)和色度(U和V)来存储。

示例性的，图2为本发明实施例提供的一种视频的像素存储方式的示意图，如图2所示，采用YUV420p的方式存储视频，每个像素点都会存储一个Y值，而每四个像素点共用一个U值和V值，这种存储方式的好处是存储同样分辨率的图像时，相比RGB888只需占用一半的存储空间。由于人眼对色度不如亮度敏感，因此虽然UV通道的分辨率是真实分辨率的1/2，但不会对人眼的主观感受造成负面影响。但是，超分辨率是一个增大分辨率的同时补充细节的过程。在低分辨率的视频上，YUV420p会有人眼无法察觉的块效应，但在视频超分辨率处理后，这样的块效应就被放大，生成不自然的图像纹理。

针对上述视频超分辨率处理会将类似YUV420p格式的视频帧中人眼不可见的块状效应放大的问题，本发明实施例中可以通过将低分辨率视频帧基于目标视频格式转换为低分辨率视频，并基于目标图像格式将低分辨率视频恢复为新的低分辨率视频帧。当目标视频格式为YUV420p，目标图像格式为RGB888时，将低分辨率视频帧转换为YUV420格式的低分辨率视频，再将其转换为RGB888的新的低分辨率视频帧。通过将低分辨率视频帧转为YUV420p格式再转回RGB888格式，为低分辨率视频添加YUV420p格式中的块效应，更加符合一般视频都以YUV420p格式存储的客观现象。

本发明实施例中可以实现针对视频的像素存储方式的数据增强，使得后续视频超分辨率处理时可以消除块效应，得到无块效应的高分辨率视频。

可以理解的是，上述两种数据增强的方式可以根据实际情况进行选择，例如，如果视频是无损压缩，则不需要进行针对视频有损压缩的数据增强，或者如果视频采用YUV444p的存储方式，则不需要进行针对视频的像素存储方式的数据增强。

在一些实施例中，在根据高分辨率视频样本和低分辨率视频样本确定视频超分辨率模型的训练数据之后，还可以包括：将低分辨率视频样本作为视频超分辨率模型的输入，将高分辨率视频样本作为视频超分辨率模型的输出，对视频超分辨率模型进行训练。由于低分辨率视频样本与真实的低分辨率视频更加一致，训练得到的视频超分辨率模型对真实视频的处理效果更好，可以产生更加自然的高分辨率视频。

图3为本发明实施例提供的另一种视频超分辨率模型的训练数据确定方法的流程示意图，如图3所示，该方法包括：

步骤201、获取高分辨率视频样本。

步骤202、将高分辨率视频样本拆分为高分辨率视频帧。

步骤203、采用预设平滑算法对高分辨率视频帧进行平滑处理，得到高分辨率平滑视频帧。

步骤204、通过预设下采样方法对高分辨率平滑视频帧进行下采样，得到低分辨率视频帧。

步骤204之后，可以执行步骤2051和/或步骤2052，当执行步骤2051和步骤2052时，先执行步骤2051再执行步骤2052。通过步骤2051、步骤2052或者步骤2051加步骤2052三种方式进行数据增强。

步骤2051、对低分辨率视频帧进行视频编码和视频解码的操作。

示例性的，图4为本发明实施例提供的一种低分辨率视频帧的示意图，对于图4进行超分辨率处理之后，图5为本发明实施例提供的一种无噪声的超分辨率处理结果示意图，图6为本发明实施例提供的一种添加噪声的超分辨率处理结果示意图。图5为现有技术中对图4中的低分辨率视频帧进行超分辨率处理的结果示意图，在图5中可以看出低分辨率视频帧中不易察觉的编码噪声被放大，在边缘附近造成非常明显的畸变纹理，如在图中的英文字母“BEST”周围可以明显观察到白色的畸变纹理。图6为本发明实施例中通过视频编码和视频解码对图4中的低分辨率视频帧添加噪声之后，进行超分辨率处理的结果示意图，图6中可以看出低分辨率的噪声在超分辨率算法处理过程中被消除，在图中的英文字母“BEST”周围不存在白色的畸变纹理。

步骤2052、将低分辨率视频帧基于目标视频格式转换为低分辨率视频，并基于目标图像格式将低分辨率视频恢复为新的低分辨率视频帧。

示例性的，图7为本发明实施例提供的另一种低分辨率视频帧的示意图，对于图7进行超分辨率处理之后，图8为本发明实施例提供的一种存在块效应的超分辨率处理结果示意图，图9为本发明实施例提供的一种无块效应的超分辨率处理结果示意图。图8为现有技术中对图7中的低分辨率视频帧进行超分辨率处理的结果示意图，图8中存在不自然的块效应，如在图中左侧中间框选的两朵云上可以明显观察到白色的不规则块效应。图9为本发明实施例中对低分辨率视频帧进行视频转换和图像恢复之后，进行超分辨率处理的结果示意图，图9中的块效应已被消除，在图中左侧中间框选的两朵云上不存在块效应。

步骤206、对低分辨率视频帧进行合成，得到低分辨率视频样本。

步骤207、根据高分辨率视频样本和低分辨率视频样本确定视频超分辨率模型的训练数据。

步骤208、将低分辨率视频样本作为视频超分辨率模型的输入，将高分辨率视频样本作为视频超分辨率模型的输出，对视频超分辨率模型进行训练。

本发明实施例中提供的视频超分辨率模型的训练数据确定方案，获取高分辨率视频样本，将高分辨率视频样本拆分为高分辨率视频帧，采用预设平滑算法对高分辨率视频帧进行平滑处理，得到高分辨率平滑视频帧，通过预设下采样方法对高分辨率平滑视频帧进行下采样，得到低分辨率视频帧；对低分辨率视频帧进行视频编码和视频解码的操作，和/或，将低分辨率视频帧基于目标视频格式转换为低分辨率视频，并基于目标图像格式将低分辨率视频恢复为新的低分辨率视频帧；对低分辨率视频帧进行合成，得到低分辨率视频样本，根据高分辨率视频样本和低分辨率视频样本确定视频超分辨率模型的训练数据，将低分辨率视频样本作为视频超分辨率模型的输入，将高分辨率视频样本作为视频超分辨率模型的输出，对视频超分辨率模型进行训练。通过采用上述技术方案，基于高分辨率视频样本可以生成更加真实的低分辨率视频样本，进而提高了视频超分辨率模型的训练数据的真实性，使得采用该训练数据得到的模型更加准确，在采用所得到模型进行视频超分辨率处理时，能够得到效果更优的高分辨率视频。

图10为本发明实施例提供的一种视频超分辨率处理方法的流程示意图，该方法可以由视频超分辨率处理装置执行，其中该装置可由软件和/或硬件实现，一般可集成在计算机设备中。如图10所示，该方法包括：

步骤301、获取待处理的视频数据。

示例性的，待处理的视频数据可以与本发明实施例中的低分辨率视频样本的形式一致。示例性的，待处理的视频数据来源于视频应用程序中，可以由用户上传得到。

步骤302、将视频数据输入至预设的视频超分辨率模型中，以对视频数据进行超分辨率处理。

其中，视频超分辨率模型对应的训练数据采用本发明实施例提供的视频超分辨率模型的训练数据确定方法得到。基于该视频超分辨率模型对视频数据进行超分辨率处理，可以恢复真实的细节信息，提升视频主观质量。

示例性的，可以将视频应用程序中生产用户上传的视频数据输入视频超分辨率模型中，进行超分辨率处理，得到质量更高的视频数据以供消费用户进行观看。本发明实施例的视频超分辨率处理方法可以应用于任意的对视频质量有提升需求的场景，如视频直播、视频通话、短视频、老旧视频复原等对视频分辨率有提升需求场景。

本发明实施例提供的视频超分辨率处理方法，由于采用了本发明实施例提供的视频超分辨率模型的训练数据确定方法得到训练数据，并基于训练数据训练得到视频超分辨率模型，再基于该模型进行视频超分辨率处理，能够得到效果更优的高分辨率视频。

图11为本发明实施例提供的一种视频超分辨率模型的训练数据确定装置的结构框图该装置可由软件和/或硬件实现，一般可集成在计算机设备中，可通过执行视频超分辨率模型的训练数据确定方法来进行训练数据的确定。如图11所示，该装置包括：

高分辨率视频样本获取模块401，用于获取高分辨率视频样本；

低分辨率视频样本确定模块402，用于对所述高分辨率视频样本进行缩放和数据增强，得到低分辨率视频样本；

训练数据确定模块403，用于根据所述高分辨率视频样本和所述低分辨率视频样本确定视频超分辨率模型的训练数据。

本发明实施例中提供的视频超分辨率模型的训练数据确定装置，获取高分辨率视频样本，对高分辨率视频样本进行缩放和数据增强，得到低分辨率视频样本，根据高分辨率视频样本和低分辨率视频样本确定视频超分辨率模型的训练数据。通过采用上述技术方案，基于高分辨率视频样本可以生成更加真实的低分辨率视频样本，进而提高了视频超分辨率模型的训练数据的真实性，使得采用该训练数据得到的模型更加准确，在采用所得到模型进行视频超分辨率处理时，能够得到效果更优的高分辨率视频。

图12为本发明实施例提供的一种视频超分辨率处理装置的结构框图，该装置可由软件和/或硬件实现，一般可集成在计算机设备中，可通过执行视频超分辨率处理方法来进行视频超分辨率处理。如图12所示，该装置包括：

视频数据获取模块501，用于获取待处理的视频数据；

超分辨率处理模块502，用于将所述视频数据输入至预设的视频超分辨率模型中，以对所述视频数据进行超分辨率处理，其中，所述视频超分辨率模型对应的训练数据采用本发明实施例提供的视频超分辨率模型的训练数据确定方法得到。

本发明实施例提供的视频超分辨率处理装置，由于采用了本发明实施例提供的视频超分辨率模型的训练数据确定方法得到训练数据，并基于训练数据训练得到视频超分辨率模型，再基于该模型进行视频超分辨率处理，能够得到效果更优的高分辨率视频。

本发明实施例提供了一种计算机设备，该计算机设备中可集成本发明实施例提供的视频超分辨率模型的训练数据确定装置和/或视频超分辨率处理装置。图13为本发明实施例提供的一种计算机设备的结构框图。计算机设备600包括存储器601、处理器602及存储在存储器601上并可在处理器602上运行的计算机程序，所述处理器602执行所述计算机程序时实现本发明实施例提供的视频超分辨率模型的训练数据确定方法和/或视频超分辨率处理方法。

本发明实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行本发明实施例提供的视频超分辨率模型的训练数据确定方法和/或视频超分辨率处理方法。

上述实施例中提供的视频超分辨率模型的训练数据确定装置、视频超分辨率处理装置、计算机设备以及存储介质可执行本发明相应实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在上述实施例中详尽描述的技术细节，可参见本发明相应实施例所提供的方法。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (14)

1.一种视频超分辨率模型的训练数据确定方法，其特征在于，包括：

获取高分辨率视频样本；

对所述高分辨率视频样本进行缩放和数据增强，得到低分辨率视频样本，包括：对所述高分辨率视频样本进行缩放得到低分辨率视频帧，对所述低分辨率视频帧进行数据增强；所述对高分辨率视频样本进行缩放得到低分辨率视频帧，包括：采用预设平滑算法对所述高分辨率视频样本进行平滑处理，得到高分辨率平滑视频帧；通过预设下采样方法对所述高分辨率平滑视频帧进行下采样，得到低分辨率视频帧；

根据所述高分辨率视频样本和所述低分辨率视频样本确定视频超分辨率模型的训练数据；

所述对所述低分辨率视频帧进行数据增强，包括：

将所述低分辨率视频帧基于目标视频格式转换为低分辨率视频，并基于目标图像格式将所述低分辨率视频恢复为新的低分辨率视频帧。

2.根据权利要求1所述的方法，其特征在于，所述对所述高分辨率视频样本进行缩放和数据增强，得到低分辨率视频样本，包括：

将所述高分辨率视频样本拆分为高分辨率视频帧；

对所述高分辨率视频帧进行缩放，得到低分辨率视频帧；

对所述低分辨率视频帧进行数据增强并合成，得到低分辨率视频样本。

3.根据权利要求1所述的方法，所述预设平滑算法包括高斯滤波算法，所述预设下采样方法包括双三次插值方法。

4.根据权利要求3所述的方法，其特征在于，所述高斯滤波算法的高斯核与所述高分辨率视频帧的超分辨率放大倍数正相关。

5.根据权利要求2所述的方法，其特征在于，所述对所述低分辨率视频帧进行数据增强，还包括：

对所述低分辨率视频帧进行视频编码和视频解码的操作。

6.根据权利要求5所述的方法，其特征在于，所述对所述低分辨率视频帧进行视频编码和视频解码的操作，包括：

确定所述低分辨率视频帧中的目标编码视频帧；

确定所述目标编码视频帧的编码标准和编码强度，以对所述目标编码视频帧进行视频编码和视频解码操作，其中，所述目标编码视频帧的视频帧数小于或等于所述低分辨率视频帧的视频帧数。

7.根据权利要求6所述的方法，其特征在于，所述目标编码视频帧中的至少两个视频帧对应的编码标准或编码强度不同。

8.根据权利要求5所述的方法，其特征在于，所述目标视频格式为所述高分辨率视频样本的视频格式，所述目标图像格式为所述低分辨率视频帧或所述高分辨率视频帧的图像格式，所述目标视频格式对应的存储空间小于所述目标图像格式对应的存储空间，所述目标图像格式为全分辨率存储方式的图像格式。

9.根据权利要求1-8中任一所述的方法，其特征在于，在所述根据所述高分辨率视频样本和所述低分辨率视频样本确定视频超分辨率模型的训练数据之后，还包括：

将所述低分辨率视频样本作为所述视频超分辨率模型的输入，将所述高分辨率视频样本作为所述视频超分辨率模型的输出，对所述视频超分辨率模型进行训练。

10.一种视频超分辨率处理方法，其特征在于，包括：

获取待处理的视频数据；

将所述视频数据输入至预设的视频超分辨率模型中，以对所述视频数据进行超分辨率处理，其中，所述视频超分辨率模型对应的训练数据采用如权利要求1-8中任一所述的方法得到。

11.一种视频超分辨率模型的训练数据确定装置，其特征在于，包括：

高分辨率视频样本获取模块，用于获取高分辨率视频样本；

低分辨率视频样本确定模块，用于对所述高分辨率视频样本进行缩放和数据增强，得到低分辨率视频样本，包括：对所述高分辨率视频样本进行缩放得到低分辨率视频帧，对所述低分辨率视频帧进行数据增强；所述对高分辨率视频样本进行缩放得到低分辨率视频帧，包括：采用预设平滑算法对所述高分辨率视频样本进行平滑处理，得到高分辨率平滑视频帧；通过预设下采样方法对所述高分辨率平滑视频帧进行下采样，得到低分辨率视频帧；

训练数据确定模块，用于根据所述高分辨率视频样本和所述低分辨率视频样本确定视频超分辨率模型的训练数据；

所述低分辨率视频样本确定模块中对所述低分辨率视频帧进行数据增强，包括：

将所述低分辨率视频帧基于目标视频格式转换为低分辨率视频，并基于目标图像格式将所述低分辨率视频恢复为新的低分辨率视频帧。

12.一种视频超分辨率处理装置，其特征在于，包括：

视频数据获取模块，用于获取待处理的视频数据；

超分辨率处理模块，用于将所述视频数据输入至预设的视频超分辨率模型中，以对所述视频数据进行超分辨率处理，其中，所述视频超分辨率模型对应的训练数据采用如权利要求1-8中任一所述的方法得到。

13.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-10任一项所述的方法。

14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-10中任一所述的方法。