CN111800630A - 一种视频超分辨率重建的方法、系统及电子设备 - Google Patents

一种视频超分辨率重建的方法、系统及电子设备 Download PDF

Info

Publication number
CN111800630A
CN111800630A CN201910279195.0A CN201910279195A CN111800630A CN 111800630 A CN111800630 A CN 111800630A CN 201910279195 A CN201910279195 A CN 201910279195A CN 111800630 A CN111800630 A CN 111800630A
Authority
CN
China
Prior art keywords
video
super
trained
image block
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910279195.0A
Other languages
English (en)
Inventor
叶显一
李磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TCL Corp
TCL Research America Inc
Original Assignee
TCL Research America Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TCL Research America Inc filed Critical TCL Research America Inc
Priority to CN201910279195.0A priority Critical patent/CN111800630A/zh
Publication of CN111800630A publication Critical patent/CN111800630A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请公开了一种视频超分辨率重建的方法、系统、电子设备及计算机可读存储介质，其中，该方法包括：获取原始视频，对原始视频进行降采样处理；基于预设的视频编码标准对降采样处理后的原始视频进行编码，得到二进制文件；当接收到基于二进制文件的调用指令时，基于视频编码标准对二进制文件进行解码，得到待重建视频；根据已训练的超分辨率神经网络对待重建视频进行重建，获得目标视频进行播放。通过本申请方案，一方面，通过降采样提高视频的压缩比率，减少了视频压缩过程中所需的编码时间，并使得编码后得到的二进制文件所占空间更小；另一方面，在播放视频时，可通过视频重建操作提升解码后的视频质量，减少出现边缘纹理断开等不清晰的现象。

Description

一种视频超分辨率重建的方法、系统及电子设备
技术领域
本申请属于视频处理技术领域，尤其涉及一种视频超分辨率重建的方法、视频超分辨率重建的系统、电子设备及计算机可读存储介质。
背景技术
近年来，随着多媒体信息的爆炸式增长，视频逐渐成为我们每日获取信息和娱乐的主要途径。但是，视频的数据量往往较大，且视频的存储和传输常受到设备硬件性能的限制。因而需要使用视频压缩技术对视频进行压缩，以方便视频的存储和传输。目前，成熟的视频编码标准主要为基于混合编码技术的H.265等。然而，在通过H.265对视频进行压缩后，再对压缩后的视频进行恢复，往往会出现视频的边缘纹理断开等不清晰的现象，导致视频的质量下降。
发明内容
有鉴于此，本申请提供了一种视频超分辨率重建的方法、视频超分辨率重建的系统、电子设备及计算机可读存储介质，可提高视频质量。
本申请的第一方面提供了一种视频超分辨率重建的方法，包括：
获取原始视频，对上述原始视频进行降采样处理；
基于预设的视频编码标准对降采样处理后的原始视频进行编码，得到二进制文件；
当接收到基于上述二进制文件的调用指令时，基于上述视频编码标准对上述二进制文件进行解码，得到待重建视频；
根据已训练的超分辨率神经网络对上述待重建视频进行重建，获得目标视频进行播放。
本申请的第二方面提供了一种视频超分辨率重建的系统，包括：
降采样模块，用于获取原始视频，对上述原始视频进行降采样处理；
编码模块，用于基于预设的视频编码标准对降采样处理后的原始视频进行编码，得到二进制文件；
解码模块，用于当接收到基于上述二进制文件的调用指令时，基于上述视频编码标准对上述二进制文件进行解码，得到待重建视频；
重建模块，用于根据已训练的超分辨率神经网络对上述待重建视频进行重建，以获得目标视频。
本申请的第三方面提供了一种电子设备，上述电子设备包括存储器、处理器以及存储在上述存储器中并可在上述处理器上运行的计算机程序，上述处理器执行上述计算机程序时实现如上述第一方面的方法的步骤。
本申请的第四方面提供了一种计算机可读存储介质，上述计算机可读存储介质存储有计算机程序，上述计算机程序被处理器执行时实现如上述第一方面的方法的步骤。
本申请的第五方面提供了一种计算机程序产品，上述计算机程序产品包括计算机程序，上述计算机程序被一个或多个处理器执行时实现如上述第一方面的方法的步骤。
由上可见，在本申请方案中，首先获取原始视频，对上述原始视频进行降采样处理；然后基于预设的视频编码标准对降采样处理后的原始视频进行编码，得到二进制文件；接着当接收到基于上述二进制文件的调用指令时，基于上述视频编码标准对上述二进制文件进行解码，得到待重建视频；最后根据已训练的超分辨率神经网络对上述待重建视频进行重建，获得目标视频进行播放。通过本申请方案，一方面，在视频编码前通过降采样提高视频的压缩比例，减少了视频压缩过程中所需的编码时间，并使得编码后得到的二进制文件所占空间更小；另一方面，在播放视频时，可通过视频重建操作提升解码后的视频质量，减少出现边缘纹理断开等不清晰的现象。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的视频超分辨率重建的方法的实现流程示意图；
图2是本申请实施例提供的视频超分辨率重建的方法中，超分辨率神经网络的训练流程示意图；
图3是本申请实施例提供的视频超分辨率重建的方法中，超分辨率神经网络的工作流程示意图；
图4是本申请实施例提供的视频超分辨率重建的方法中，超分辨率神经网络的结构示意图；
图5是本申请实施例提供的视频超分辨率重建的方法中，两个电子设备的交互流程示意图；
图6是本申请实施例提供的视频超分辨率重建的系统的结构框图；
图7是本申请实施例提供的电子设备的结构示意图；
图8是本申请实施例提供的视频编码设备的结构示意图；
图9是本申请实施例提供的视频解码设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
为了说明本申请上述的技术方案，下面通过具体实施例来进行说明。
实施例一
下面对本申请实施例提供的一种视频超分辨率重建的方法进行描述，请参阅图1，本申请实施例中的视频超分辨率重建的方法包括：
在步骤101中，获取原始视频，对上述原始视频进行降采样处理；
在本申请实施例中，首先可以获取原始视频，也即获取待处理视频，该待处理视频可以是未经过压缩处理的视频或者其他需要进一步压缩的视频样本。这些原始视频往往有着分辨率高、所占空间大等特点。在得到原始视频后，对上述原始视频进行降采样处理，其中，上述降采样处理的倍数可以为预设倍数，例如四倍，此处不作限定。
在步骤102中，基于预设的视频编码标准对降采样处理后的原始视频进行编码，得到二进制文件；
在本申请实施例中，上述预设的视频编码标准可以为H.265，当然，也可以采用其它常见的视频编码标准，此处不作限定。此处采用H.265对降采样处理后的原始视频进行编码，得到二进制文件(BINary files，BIN文件)。由于上述二进制文件是原始视频经过降采样后编码所得，因而上述二进制文件的所占空间往往较小，可用于本地设备存储使用，或者，也可以用于传输给其它设备，此处不作限定。
在步骤103中，当接收到基于上述二进制文件的调用指令时，基于上述视频编码标准对上述二进制文件进行解码，得到待重建视频；
在本申请实施例中，当接收到基于上述二进制文件的调用指令时，表示当前用户希望进行视频播放操作，基于此，需要先通过上述步骤102中所采用的视频编码标准对上述二进制文件进行解码操作，此时得到的视频即为原始视频在依次经过了降采样、编码及解码操作后所得到的视频。显而易见的，上述降采样、编码及解码的操作必然会导致当前得到的视频与原始视频相比出现分辨率下降、视频质量降低等结果，因而，将当前所得到的依次经过了降采样、编码及解码操作的视频作为待重建视频，需要进一步对该待重建视频进行重建操作，以提升视频质量。
在步骤104中，根据已训练的超分辨率神经网络对上述待重建视频进行重建，获得目标视频进行播放。
在本申请实施例中，通过已训练的超分辨率神经网络对上述待重建视频进行重建，使得上述待重建视频尽量向原始视频靠拢，得到目标视频，该目标视频的分辨率等参数均与上述原始视频相似。具体地，上述已训练的超分辨率神经网络中包括了深度稠密网络、动态上采样滤波器学习网络以及残差学习网络。其中，上述深度稠密网络用于提取待重建视频的特征，上述动态上采样滤波器学习网络用于对待重建视频进行运动估计，上述残差学习网络用于对视频压缩及重建的过程中所丢失的细节进行弥补，同时对由H.265等视频编码标准所导致的块效应进行修复。上述待重建视频在经过了超分辨率神经网络中的深度稠密网络、动态上采样滤波器学习网络以及残差学习网络后，将得到重建后的高分辨率的目标视频。
可选地，上述方法还包括对上述超分辨率神经网络的训练，上述训练过程包括：
在步骤201中，获取待训练视频，基于上述待训练视频构建训练数据集；
在本申请实施例中，上述待训练视频的数量为预设的第一数量。可选地，上述第一数量可以为30，也即将30个短视频作为待训练视频，并基于上述待训练视频构建训练数据集。具体地，上述步骤301包括：
A1、在获取到待训练视频后，计算上述待训练视频中的每一视频帧的颜色直方图；
A2、基于上述颜色直方图，对上述待训练视频中的各视频帧进行场景分类；
其中，每一个待训练视频中都有若干视频帧，将上述各个待训练视频中的每一视频帧都进行颜色直方图的运算，在获取得到每一视频帧的颜色直方图后，将颜色直方图相似的视频帧划分为同一类场景。具体地，可以在获得每一视频帧的直方图信息后，分别计算每两个视频帧的颜色直方图的相似度，只要两个视频帧的颜色直方图的相似度大于预设的相似度阈值，则认为这两个视频帧的颜色直方图相似，可以被划分为同一类场景。
A3、针对任一场景，随机抽取上述场景中的连续视频帧；
其中，上述连续视频帧的帧数为预设的第二数量。可选地，上述第二数量可以为7，也即筛选出同一场景下的连续7帧视频帧作为连续视频帧。当然，上述第二数量也可以被选定为其它单数数值，此处不作限定。
A4、对上述连续视频帧中的每一帧进行预处理；
其中，针对所抽选出的连续视频帧，对上述连续视频帧的每一帧都进行预处理。具体地，上述步骤A4包括：
B1、对上述连续视频帧中的每一帧进行预设尺度及预设均方差的高斯模糊；
其中，上述预设尺度可以被为设定为13，上述预设均方差可以被设定为1.6，此处的尺度是指高斯模糊过程的模糊核大小，而均方差指的是高斯模糊过程中模糊核的均方差参数。当然，也可以将上述尺度及上述均方差设定为其它数值，此处不作限定。
B2、对高斯模糊后的上述连续视频帧中的每一帧进行预设倍数的降采样处理；
其中，上述倍数可以被设定为四倍，也即进行四倍的降采样处理，具体为针对视频帧中的像素点，每四个像素点中取一个像素点作为降采样的采样点。需要注意的是，这里的降采样倍数与上述步骤101中的降采样倍数保持一致，也即在训练时设定好的降采样倍数也将被应用于上述步骤101中。
B3、基于预设的压缩参数，利用上述视频编码标准的快速模式对降采样处理后的上述连续视频帧中的每一帧依次进行编码及解码，得到预处理后的连续视频帧。
其中，上述压缩参数可以被设定为24；上述视频编码标准与上述步骤102中所使用的视频编码标准保持一致，例如，若本步骤B3中使用H.265在快速模式下依次对经过了上述步骤B2的降采样处理后所得到的连续视频帧中的每一帧进行压缩参数为24的编码及解码，则在上述步骤102中，也将使用H.265来对降采样处理后的原始视频进行编码。具体地，连续视频帧中的每一帧在依次进行了高斯模糊、降采样、编码及解码的处理后，即可得到预处理后的连续视频帧。由于上述预处理后的连续视频帧的分辨率较低，因而此处将这些经过了预处理后的连续视频帧作为待重建的连续视频帧，实现对待训练的超分辨率神经网络的训练操作。
A5、在预处理后的连续视频帧中，提取图像块组存储于上述训练数据集中。
在本申请实施例中，由于预处理后的连续视频帧中的每一完整的视频帧的尺寸仍然较大，其所包含的数据仍然较多，因而为了提升对待训练的超分辨率神经网络的训练效率，可以在上述连续视频帧中提取出图像块组存储于上述训练数据集中，作为待训练的超分辨率神经网络的训练数据。具体地，上述步骤A5包括：
C1、针对上述连续视频帧中的任一视频帧，将上述视频帧分割为预设大小的图像块；
C2、针对上述视频帧的任一图像块，在上述视频帧的相邻视频帧中，获取与上述图像块的位置相对应的另一图像块，上述另一图像块记为上述图像块的相邻图像块；
其中，上述图像块与该图像块的相邻图像块的关系具体为：时序上前后相邻的两个视频帧的同一位置的不同图像块。例如，针对时序上前后相邻的视频帧A及视频帧B，以同样的划分方式分别划分为4块图像块，具体为左上的图像块、右上的图像块、左下的图像块、右下的图像块；假定视频帧A所划分得到的左上的图像块为A1、右上的图像块为A2、左下的图像块为A3、右下的图像块为A4；假定视频帧B所划分得到的左上的图像块为B1、右上的图像块为B2、左下的图像块为B3、右下的图像块为B4；那么由于视频帧A与视频帧B是相邻的两帧，且图像块A1与图像块B1均为视频帧的左上的图像块，则图像块B1即为图像块A1的相邻图像块；当然，图像块A1也为图像块B1的相邻图像块。
C3、计算上述图像块与上述相邻图像块的峰值信噪比；
C4、若上述峰值信噪比在预设的峰值信噪比范围内，则将上述图像块与上述相邻图像块组成一组图像块组，存储于上述训练数据集。
其中，若上述图像块与上述相邻图像块的峰值信噪比(Peak Signal to NoiseRatio，PSNR)在预设的峰值信噪比范围内，则认为上述图像块与上述相邻图像块具备一定可学习性，可以将上述图像块与上述相邻图像块组成一组图像块组，存储于上述训练数据集。具体地，上述峰值信噪比范围可以被设定为15至35，其中，15为上述峰值信噪比范围的下限，若上述图像块与上述相邻图像块的峰值信噪比小于上述峰值信噪比范围的下限，则认为上述这两个图像块的差异较大，也即，上述这两个图像块中所包含的物体的运动越剧烈；35为上述峰值信噪比范围的上限，若上述图像块与上述相邻图像块的峰值信噪比大于上述峰值信噪比范围的上限，则认为上述这两个图像块的差异较小，也即，上述这两个图像块中所包含的物体基本保持静止。通过基于峰值信噪比的筛选，将包含的物体运动过于剧烈的图像块组及包含的物体静止不动的图像块组删除，只保留包含的物体运动适中的图像块组作为训练上述待训练的超分辨率神经网络的输入数据。可选地，还需要在上述待训练视频中的相应图像帧的相应位置取图像块，作为真值图来监督上述训练的超分辨率神经网络的训练结果。
在步骤202中，将上述训练数据集中的连续视频帧输入至待训练的超分辨率神经网络，得到训练结果；
在本申请实施例中，上述待训练的超分辨率神经网络中利用深度稠密网络来学习输入数据的视频帧信息，上述视频帧信息具体为输入数据的特征图在经过了可视化处理后所得到边缘信息及轮廓信息等；在得到了深度稠密网络的输出后，将有两条支路，分别为动态上采样滤波器学习网络及残差学习网络，分别用于学习视频超分辨率重建过程中的运动估计信息及残差信息。具体地，第一个支路是动态上采样滤波器学习网络，其用于学习视频帧的运动估计信息，同时利用这些运动估计信息对视频帧进行上采样；第二个支路是残差学习网络，其用于学习视频帧在重建过程中存在的残差信息，同时利用这些残差信息进一步弥补重建所得到的高分辨率视频帧中缺失的高频细节信息。通过对低分辨率的当前视频帧使用动态上采样滤波器学习网络所得到的运动估计信息进行上采样后，加上残差学习网络所得到的残差信息，即可获得超分辨率神经网络的训练结果，也即，可获得超分辨率神经网络训练过程中对输入数据的重建结果。
在步骤203中，基于上述训练结果获取上述超分辨率神经网络的损失；
在本申请实施例中，在上述超分辨率神经网络中，其输入为经过预处理后的连续视频帧中所提取出的若干组低分辨率的图像块组；而用于检验超分辨率神经网络的训练结果的真值图为原视频帧中，与上述经过预处理后的连续视频帧的中心帧相对应的高分辨率图。下面举例进行说明：针对任一连续视频帧(假定为连续7帧视频帧)，该连续视频帧的各组满足峰值信噪比的图像块组在输入至超分辨率神经网络后，所用于检验训练结果的真值图具体为上述连续7帧视频帧中的第4帧视频帧的原图，也即上述连续7帧视频帧中的第4帧视频帧在经过预处理前的图像。将上述训练结果(也即上述连续视频帧通过待训练的超分辨率神经网络所得到的重建结果)与和上述连续视频帧相关的真值图的距离作为上述超分辨率神经网络的损失。
在步骤204中，通过预设的优化器对上述超分辨率网络的损失进行优化，直至上述损失达到收敛状态，得到已训练的超分辨率神经网络。
在本申请实施例中，上述优化器具体可以为Adam优化器。只要待训练的上述超分辨率神经网络的损失未达到收敛状态，则可以通过上述Adam优化器对上述待训练的上述超分辨率神经网络的各项参数进行调节，并重复执行步骤202及后续步骤，直至损失达到收敛状态后，确定超分辨率神经网络已经训练完成，此时的超分辨率神经网络即为已训练的超分辨率神经网络。
需要注意的是，上述待训练的超分辨神经网络的输入数据批量组数不限于1，例如，可以被设定为8，也即是说，在连续视频帧的帧数为7的前提下，同一时刻可以将8组不相同的连续视频帧(共计56帧数据帧，其中每7帧为一组连续视频帧)中符合峰值信噪比的图像块组输入至超分辨神经网络中进行训练。
请参阅图3，图3示出了本申请实施例中超分辨率神经网络工作流程；请参阅图4，图4示出了本申请实施例中超分辨率神经网络的结构。其中，针对任意连续的2N+1帧待重建的视频帧图像，记其中心帧为当前帧；在输入至上述超分辨率神经网络后，首先将通过一深度稠密网络；随后，该深度稠密网络的输出结果将被分别输入至动态上采样滤波学习网络及残差学习网络；接着，基于该动态上采样滤波学习网络所输出的运动估计信息对当前帧进行了上采样后，与残差学习网络所输出的残差信息相加，所得到的超分结果即为对当前帧进行重建后的重建结果。也即是说，一段待重建视频在上述超分辨率神经网络中可以被划分为若干组连续视频帧，其中，任一组连续视频帧都将得到一帧重建结果，该帧重建结果具体为这一组连续视频帧的中心帧的重建结果。将所得到的各组的中心帧的重建结果基于时序相连后，即可得到待重建视频的重建结果，也即目标视频。
在一种应用场景下，本申请实施例的视频超分辨率重建的方法应用于一个电子设备，也即，上述步骤101至上述步骤104的执行主体均为同一电子设备，将该电子设备记为第一电子设备。在这种应用场景下，第一电子设备获取原始视频，对上述原始视频进行降采样处理后，基于预设的视频编码标准对降采样处理后的原始视频进行编码，得到二进制文件，并将该二进制文件存入上述第一电子设备的本地数据库中进行存储，当上述第一电子设备的本地数据库接收到基于上述二进制文件的调用指令时，上述第一电子设备可以基于上述视频编码标准对上述二进制文件进行解码，得到待重建视频，并根据已训练的超分辨率神经网络对上述待重建视频进行重建，获得目标视频在上述第一电子设备的显示屏中进行播放。在这种应用场景下，由于第一电子设备的本地所存储的是经过降采样及编码后的二进制文件，其相比起直接编码所得到的二进制文件所占空间更小，因而可以在通过超分辨率重建操作保障视频播放质量的前提下，进一步减少视频存储于本地的所占空间。
在另一种应用场景下，本申请实施例的视频超分辨率重建的方法应用于两个电子设备，也即，上述步骤101至上述步骤102的执行主体为一个电子设备，记为第二电子设备，上述上述步骤103至上述步骤104的执行主体为另一电子设备，记为第三电子设备。在这种应用场景下，请参照图5，图5示出了第二电子设备与第三电子设备的交互示意图：
在步骤501中，第二电子设备获取原始视频，并对上述原始视频进行降采样处理；
在步骤502中，第二电子设备基于预设的视频编码标准对降采样处理后的原始视频进行编码，得到二进制文件；
在步骤503中，第二电子设备将该二进制文件通过无线或有线的方式传输至第三电子设备；
在步骤504中，第三电子设备接收并存储上述二进制文件；
在步骤505中，在上述第三电子设备接收到基于上述二进制文件的调用指令时，上述第三电子设备基于约定的视频编码标准对上述二进制文件进行解码，得到待重建视频；
在步骤506中，上述第三电子设备根据已训练的超分辨率神经网络对上述待重建视频进行重建，获得目标视频在上述第三电子设备的显示屏中进行播放。
也即是说，在这种应用场景下，涉及到了第二电子设备(也即视频发送端/视频编码端)与第三电子设备(也即视频接收端/视频解码端)的交互，由于第二电子设备所传输的是经过降采样及编码后的二进制文件，其相比起直接编码所得到的二进制文件所占空间更小，可以在保障第三电子设备的视频播放质量的前提下，能够提升视频传输时的速度，节省视频传输时的带宽。
由上可见，通过本申请实施例，将一组连续的视频先经过降采样压缩后，再使用H.265等视频编码标准进行编码，编码后所得的二进制文件可用于占地更小的存储或速度更快的传输；在需要播放视频时，对二进制文件进行解码操作后，再通过超分辨率神经网络重建出原分辨率的视频，可以有效地改善在采用H.265等现有视频编码标准时所存在的边缘锯齿、边缘纹理断开、块效应以及振铃等视频不清晰的现象，同时本发明能提高视频的压缩比例和重建质量。在保障视频的播放质量的前提下，不仅方便视频的存储，且能够提升视频会议等要求视频实时传输的应用场景下的视频传输速度。
实施例二
本申请实施例二提供了一种视频超分辨率重建的系统，如图6所示，本申请实施例中的视频超分辨率重建的系统600包括：
降采样模块601，用于获取原始视频，对上述原始视频进行降采样处理；
编码模块602，用于基于预设的视频编码标准对降采样处理后的原始视频进行编码，得到二进制文件；
解码模块603，用于当接收到基于上述二进制文件的调用指令时，基于上述视频编码标准对上述二进制文件进行解码，得到待重建视频；
重建模块604，用于根据已训练的超分辨率神经网络对上述待重建视频进行重建，以获得目标视频。
可选地，上述系统600还包括：
训练数据集构建模块，用于获取待训练视频，基于上述待训练视频构建训练数据集，其中，上述待训练视频的数量为预设的第一数量；
超分辨率神经网络训练模块，用于将上述训练数据集中的连续视频帧输入至待训练的超分辨率神经网络，得到训练结果；
网络损失获取模块，用于基于上述训练结果获取上述超分辨率神经网络的损失；
网络优化模块，用于通过预设的优化器对上述超分辨率网络的损失进行优化，直至上述损失达到收敛状态，得到已训练的超分辨率神经网络。
可选地，上述训练数据集构建模块包括：
颜色直方图计算单元，用于在获取到待训练视频后，计算上述待训练视频中的每一视频帧的颜色直方图；
场景分类单元，用于基于上述颜色直方图，对上述待训练视频中的各视频帧进行场景分类；
连续视频帧抽取单元，用于针对任一场景，随机抽取上述场景中的连续视频帧，其中，上述连续视频帧的帧数为预设的第二数量；
预处理单元，用于对上述连续视频帧中的每一帧进行预处理；
存储单元，用于在预处理后的连续视频帧中，提取图像块组存储于上述训练数据集中。
可选地，上述预处理单元包括：
高斯模糊子单元，用于对上述连续视频帧中的每一帧进行预设尺度及预设均方差的高斯模糊；
降采样处理子单元，用于对高斯模糊后的上述连续视频帧中的每一帧进行预设倍数的降采样处理；
编解码子单元，用于基于预设的压缩参数，利用上述视频编码标准的快速模式对降采样处理后的上述连续视频帧中的每一帧依次进行编码及解码，得到预处理后的连续视频帧。
可选地，上述存储单元包括：
图像块分割子单元，用于针对上述连续视频帧中的任一视频帧，将上述视频帧分割为预设大小的图像块；
相邻图像块获取子单元，用于针对上述视频帧的任一图像块，在上述视频帧的相邻视频帧中，获取与上述图像块的位置相对应的另一图像块，上述另一图像块记为上述图像块的相邻图像块；
峰值信噪比计算子单元，用于计算上述图像块与上述相邻图像块的峰值信噪比；
图像块组存储子单元，用于若上述峰值信噪比在预设的峰值信噪比范围内，则将上述图像块与上述相邻图像块组成一组图像块组，存储于上述训练数据集。
由上可见，通过本申请实施例，视频超分辨率重建的系统将一组连续的视频先经过降采样压缩后，再使用H.265等视频编码标准进行编码，编码后所得的二进制文件可用于占地更小的存储或速度更快的传输；在需要播放视频时，对二进制文件进行解码操作后，再通过超分辨率神经网络重建出原分辨率的视频，可以有效地改善在采用H.265等现有视频编码标准时所存在的边缘锯齿、边缘纹理断开、块效应以及振铃等视频不清晰的现象，同时本发明能提高视频的压缩比例和重建质量。在保障视频的播放质量的前提下，不仅方便视频的存储，且能够提升视频会议等要求视频实时传输的应用场景下的视频传输速度。
实施例三
本申请实施例三提供了一种电子设备，请参阅图7，本申请实施例中的电子设备7包括：存储器701，一个或多个处理器702(图7中仅示出一个)及存储在存储器701上并可在处理器上运行的计算机程序。其中：存储器701用于存储软件程序以及模块，处理器702通过运行存储在存储器701的软件程序以及单元，从而执行各种功能应用以及数据处理，以获取上述预设事件对应的资源。具体地，处理器702通过运行存储在存储器701的上述计算机程序时实现以下步骤：
获取原始视频，对上述原始视频进行降采样处理；
基于预设的视频编码标准对降采样处理后的原始视频进行编码，得到二进制文件；
当接收到基于上述二进制文件的调用指令时，基于上述视频编码标准对上述二进制文件进行解码，得到待重建视频；
根据已训练的超分辨率神经网络对上述待重建视频进行重建，获得目标视频进行播放。
假设上述为第一种可能的实施方式，则在第一种可能的实施方式作为基础而提供的第二种可能的实施方式中，上述方法还包括对上述超分辨率神经网络的训练，包括：
获取待训练视频，基于上述待训练视频构建训练数据集，其中，上述待训练视频的数量为预设的第一数量；
将上述训练数据集中的连续视频帧输入至待训练的超分辨率神经网络，得到训练结果；
基于上述训练结果获取上述超分辨率神经网络的损失；
通过预设的优化器对上述超分辨率网络的损失进行优化，直至上述损失达到收敛状态，得到已训练的超分辨率神经网络。
在上述第二种可能的实施方式作为基础而提供的第三种可能的实施方式中，上述获取待训练视频，基于上述待训练视频构建训练数据集，包括：
在获取到待训练视频后，计算上述待训练视频中的每一视频帧的颜色直方图；
基于上述颜色直方图，对上述待训练视频中的各视频帧进行场景分类；
针对任一场景：
随机抽取上述场景中的连续视频帧，其中，上述连续视频帧的帧数为预设的第二数量；
对上述连续视频帧中的每一帧进行预处理；
在预处理后的连续视频帧中，提取图像块组存储于上述训练数据集中。
在上述第三种可能的实施方式作为基础而提供的第四种可能的实施方式中，上述对上述连续视频帧中的每一帧进行预处理，包括：
对上述连续视频帧中的每一帧进行预设尺度及预设均方差的高斯模糊；
对高斯模糊后的上述连续视频帧中的每一帧进行预设倍数的降采样处理；
基于预设的压缩参数，利用上述视频编码标准的快速模式对降采样处理后的上述连续视频帧中的每一帧依次进行编码及解码，得到预处理后的连续视频帧。
在上述第三种可能的实施方式作为基础而提供的第四种可能的实施方式中，上述在预处理后的连续视频帧中，提取图像块组存储于上述训练数据集中，包括：
针对上述连续视频帧中的任一视频帧，将上述视频帧分割为预设大小的图像块；
针对上述视频帧的任一图像块，在上述视频帧的相邻视频帧中，获取与上述图像块的位置相对应的另一图像块，上述另一图像块记为上述图像块的相邻图像块；
计算上述图像块与上述相邻图像块的峰值信噪比；
若上述峰值信噪比在预设的峰值信噪比范围内，则将上述图像块与上述相邻图像块组成一组图像块组，存储于上述训练数据集。
应当理解，在本申请实施例中，所称处理器702可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器701可以包括只读存储器和随机存取存储器，并向处理器702提供指令和数据。存储器701的一部分或全部还可以包括非易失性随机存取存储器。例如，存储器701还可以存储设备类型的信息。
由上可见，通过本申请实施例，电子设备将一组连续的视频先经过降采样压缩后，再使用H.265等视频编码标准进行编码，编码后所得的二进制文件可用于占地更小的存储，在需要播放视频时，对二进制文件进行解码操作后，再通过超分辨率神经网络重建出原分辨率的视频，可以有效地改善在采用H.265等现有视频编码标准时所存在的边缘锯齿、边缘纹理断开、块效应以及振铃等视频不清晰的现象，同时本发明能提高视频的压缩比例和重建质量。
实施例四
本申请实施例四提供了一种视频编码设备，请参阅图8，本申请实施例中的视频编码设备8包括：存储器801，一个或多个处理器802(图8中仅示出一个)及存储在存储器801上并可在处理器上运行的计算机程序。其中：存储器801用于存储软件程序以及模块，处理器802通过运行存储在存储器801的软件程序以及单元，从而执行各种功能应用以及数据处理，以获取上述预设事件对应的资源。具体地，处理器802通过运行存储在存储器801的上述计算机程序时实现以下步骤：
获取原始视频，对上述原始视频进行降采样处理；
基于预设的视频编码标准对降采样处理后的原始视频进行编码，得到二进制文件；
将上述二进制文件发送至视频解码设备。
应当理解，在本申请实施例中，所称处理器802可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器801可以包括只读存储器和随机存取存储器，并向处理器802提供指令和数据。存储器801的一部分或全部还可以包括非易失性随机存取存储器。例如，存储器801还可以存储设备类型的信息。
由上可见，通过本申请实施例，视频编码设备将一组连续的视频先经过降采样压缩后，再使用H.265等视频编码标准进行编码，编码后所得的二进制文件可用于速度更快的传输。
实施例五
本申请实施例五提供了一种视频解码设备，请参阅图9，本申请实施例中的视频解码设备9包括：存储器901，一个或多个处理器902(图9中仅示出一个)及存储在存储器901上并可在处理器上运行的计算机程序。其中：存储器901用于存储软件程序以及模块，处理器902通过运行存储在存储器901的软件程序以及单元，从而执行各种功能应用以及数据处理，以获取上述预设事件对应的资源。具体地，处理器902通过运行存储在存储器901的上述计算机程序时实现以下步骤：
接收视频编码设备所发送的二进制文件；
当接收到基于上述二进制文件的调用指令时，基于约定的视频编码标准对上述二进制文件进行解码，得到待重建视频；
根据已训练的超分辨率神经网络对上述待重建视频进行重建，获得目标视频进行播放。
假设上述为第一种可能的实施方式，则在第一种可能的实施方式作为基础而提供的第二种可能的实施方式中，上述方法还包括对上述超分辨率神经网络的训练，包括：
获取待训练视频，基于上述待训练视频构建训练数据集，其中，上述待训练视频的数量为预设的第一数量；
将上述训练数据集中的连续视频帧输入至待训练的超分辨率神经网络，得到训练结果；
基于上述训练结果获取上述超分辨率神经网络的损失；
通过预设的优化器对上述超分辨率网络的损失进行优化，直至上述损失达到收敛状态，得到已训练的超分辨率神经网络。
在上述第二种可能的实施方式作为基础而提供的第三种可能的实施方式中，上述获取待训练视频，基于上述待训练视频构建训练数据集，包括：
在获取到待训练视频后，计算上述待训练视频中的每一视频帧的颜色直方图；
基于上述颜色直方图，对上述待训练视频中的各视频帧进行场景分类；
针对任一场景：
随机抽取上述场景中的连续视频帧，其中，上述连续视频帧的帧数为预设的第二数量；
对上述连续视频帧中的每一帧进行预处理；
在预处理后的连续视频帧中，提取图像块组存储于上述训练数据集中。
在上述第三种可能的实施方式作为基础而提供的第四种可能的实施方式中，上述对上述连续视频帧中的每一帧进行预处理，包括：
对上述连续视频帧中的每一帧进行预设尺度及预设均方差的高斯模糊；
对高斯模糊后的上述连续视频帧中的每一帧进行预设倍数的降采样处理；
基于预设的压缩参数，利用上述视频编码标准的快速模式对降采样处理后的上述连续视频帧中的每一帧依次进行编码及解码，得到预处理后的连续视频帧。
在上述第三种可能的实施方式作为基础而提供的第五种可能的实施方式中，上述在预处理后的连续视频帧中，提取图像块组存储于上述训练数据集中，包括：
针对上述连续视频帧中的任一视频帧，将上述视频帧分割为预设大小的图像块；
针对上述视频帧的任一图像块，在上述视频帧的相邻视频帧中，获取与上述图像块的位置相对应的另一图像块，上述另一图像块记为上述图像块的相邻图像块；
计算上述图像块与上述相邻图像块的峰值信噪比；
若上述峰值信噪比在预设的峰值信噪比范围内，则将上述图像块与上述相邻图像块组成一组图像块组，存储于上述训练数据集。
应当理解，在本申请实施例中，所称处理器802可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器801可以包括只读存储器和随机存取存储器，并向处理器802提供指令和数据。存储器801的一部分或全部还可以包括非易失性随机存取存储器。例如，存储器801还可以存储设备类型的信息。
由上可见，通过本申请实施例，将一组连续的视频先经过降采样压缩后，再使用H.265等视频编码标准进行编码，编码后所得的二进制文件可用于速度更快的传输；而视频解码设备在需要播放视频时，对二进制文件进行解码操作后，再通过超分辨率神经网络重建出原分辨率的视频，可以有效地改善在采用H.265等现有视频编码标准时所存在的边缘锯齿、边缘纹理断开、块效应以及振铃等视频不清晰的现象，同时本发明能提高视频的压缩比例和重建质量。在保障视频的播放质量的前提下，能够提升视频会议等要求视频实时传输的应用场景下的视频传输速度。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将上述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者外部设备软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，上述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，上述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，上述计算机程序包括计算机程序代码，上述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。上述计算机可读存储介质可以包括：能够携带上述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机可读存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，上述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读存储介质不包括是电载波信号和电信信号。
以上上述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种视频超分辨率重建的方法，其特征在于，包括：
获取原始视频，对所述原始视频进行降采样处理；
基于预设的视频编码标准对降采样处理后的原始视频进行编码，得到二进制文件；
当接收到基于所述二进制文件的调用指令时，基于所述视频编码标准对所述二进制文件进行解码，得到待重建视频；
根据已训练的超分辨率神经网络对所述待重建视频进行重建，获得目标视频进行播放。
2.如权利要求1所述的视频超分辨率重建的方法，其特征在于，所述方法还包括对所述超分辨率神经网络的训练，包括：
获取待训练视频，基于所述待训练视频构建训练数据集，其中，所述待训练视频的数量为预设的第一数量；
将所述训练数据集中的连续视频帧输入至待训练的超分辨率神经网络，得到训练结果；
基于所述训练结果获取所述超分辨率神经网络的损失；
通过预设的优化器对所述超分辨率网络的损失进行优化，直至所述损失达到收敛状态，得到已训练的超分辨率神经网络。
3.如权利要求2所述的视频超分辨率重建的方法，其特征在于，所述获取待训练视频，基于所述待训练视频构建训练数据集，包括：
在获取到待训练视频后，计算所述待训练视频中的每一视频帧的颜色直方图；
基于所述颜色直方图，对所述待训练视频中的各视频帧进行场景分类；
针对任一场景：
随机抽取所述场景中的连续视频帧，其中，所述连续视频帧的帧数为预设的第二数量；
对所述连续视频帧中的每一帧进行预处理；
在预处理后的连续视频帧中，提取图像块组存储于所述训练数据集中。
4.如权利要求3所述的视频超分辨率重建的方法，其特征在于，所述对所述连续视频帧中的每一帧进行预处理，包括：
对所述连续视频帧中的每一帧进行预设尺度及预设均方差的高斯模糊；
对高斯模糊后的所述连续视频帧中的每一帧进行预设倍数的降采样处理；
基于预设的压缩参数，利用所述视频编码标准的快速模式对降采样处理后的所述连续视频帧中的每一帧依次进行编码及解码，得到预处理后的连续视频帧。
5.如权利要求3所述的视频超分辨率重建的方法，其特征在于，所述在预处理后的连续视频帧中，提取图像块组存储于所述训练数据集中，包括：
针对所述连续视频帧中的任一视频帧，将所述视频帧分割为预设大小的图像块；
针对所述视频帧的任一图像块，在所述视频帧的相邻视频帧中，获取与所述图像块的位置相对应的另一图像块，所述另一图像块记为所述图像块的相邻图像块；
计算所述图像块与所述相邻图像块的峰值信噪比；
若所述峰值信噪比在预设的峰值信噪比范围内，则将所述图像块与所述相邻图像块组成一组图像块组，存储于所述训练数据集。
6.一种视频超分辨率重建的系统，其特征在于，包括：
降采样模块，用于获取原始视频，对所述原始视频进行降采样处理；
编码模块，用于基于预设的视频编码标准对降采样处理后的原始视频进行编码，得到二进制文件；
解码模块，用于当接收到基于所述二进制文件的调用指令时，基于所述视频编码标准对所述二进制文件进行解码，得到待重建视频；
重建模块，用于根据已训练的超分辨率神经网络对所述待重建视频进行重建，以获得目标视频。
7.如权利要求6所述的视频超分辨率重建的系统，其特征在于，所述系统还包括：
训练数据集构建模块，用于获取待训练视频，基于所述待训练视频构建训练数据集，其中，所述待训练视频的数量为预设的第一数量；
超分辨率神经网络训练模块，用于将所述训练数据集中的连续视频帧输入至待训练的超分辨率神经网络，得到训练结果；
网络损失获取模块，用于基于所述训练结果获取所述超分辨率神经网络的损失；
网络优化模块，用于通过预设的优化器对所述超分辨率网络的损失进行优化，直至所述损失达到收敛状态，得到已训练的超分辨率神经网络。
8.如权利要求6所述的视频超分辨率重建的系统，其特征在于，所述训练数据集构建模块包括：
颜色直方图计算单元，用于在获取到待训练视频后，计算所述待训练视频中的每一视频帧的颜色直方图；
场景分类单元，用于基于所述颜色直方图，对所述待训练视频中的各视频帧进行场景分类；
连续视频帧抽取单元，用于针对任一场景，随机抽取所述场景中的连续视频帧，其中，所述连续视频帧的帧数为预设的第二数量；
预处理单元，用于对所述连续视频帧中的每一帧进行预处理；
图像块存储单元，用于在预处理后的连续视频帧中，提取图像块组存储于所述训练数据集中。
9.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述方法的步骤。
CN201910279195.0A 2019-04-09 2019-04-09 一种视频超分辨率重建的方法、系统及电子设备 Pending CN111800630A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910279195.0A CN111800630A (zh) 2019-04-09 2019-04-09 一种视频超分辨率重建的方法、系统及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910279195.0A CN111800630A (zh) 2019-04-09 2019-04-09 一种视频超分辨率重建的方法、系统及电子设备

Publications (1)

Publication Number Publication Date
CN111800630A true CN111800630A (zh) 2020-10-20

Family

ID=72805282

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910279195.0A Pending CN111800630A (zh) 2019-04-09 2019-04-09 一种视频超分辨率重建的方法、系统及电子设备

Country Status (1)

Country Link
CN (1) CN111800630A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114257838A (zh) * 2021-11-29 2022-03-29 新奥特（北京）视频技术有限公司 一种视频数据处理方法、装置、电子设备和存储介质
CN114422852A (zh) * 2021-12-16 2022-04-29 阿里巴巴（中国）有限公司 视频播放方法、存储介质、处理器和系统
CN115187490A (zh) * 2022-09-07 2022-10-14 常州海图信息科技股份有限公司 视频与图形处理系统及方法
WO2022261849A1 (en) * 2021-06-16 2022-12-22 Intel Corporation Method and system of automatic content-dependent image processing algorithm selection
WO2023240835A1 (zh) * 2022-06-13 2023-12-21 北京大学深圳研究生院 视频压缩方法、电子设备及可读存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106228512A (zh) * 2016-07-19 2016-12-14 北京工业大学 基于学习率自适应的卷积神经网络图像超分辨率重建方法
WO2017055609A1 (en) * 2015-09-30 2017-04-06 Piksel, Inc Improved video stream delivery via adaptive quality enhancement using error correction models
CN106791927A (zh) * 2016-12-23 2017-05-31 福建帝视信息科技有限公司 一种基于深度学习的视频增强与传输方法
CN107274347A (zh) * 2017-07-11 2017-10-20 福建帝视信息科技有限公司 一种基于深度残差网络的视频超分辨率重建方法
CN108012157A (zh) * 2017-11-27 2018-05-08 上海交通大学 用于视频编码分数像素插值的卷积神经网络的构建方法
CN108805808A (zh) * 2018-04-04 2018-11-13 东南大学 一种利用卷积神经网络提高视频分辨率的方法
CN108830790A (zh) * 2018-05-16 2018-11-16 宁波大学 一种基于精简卷积神经网络的快速视频超分辨率重建方法
CN109064399A (zh) * 2018-07-20 2018-12-21 广州视源电子科技股份有限公司 图像超分辨率重建方法和系统、计算机设备及其存储介质
CN109102462A (zh) * 2018-08-01 2018-12-28 中国计量大学 一种基于深度学习的视频超分辨率重建方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017055609A1 (en) * 2015-09-30 2017-04-06 Piksel, Inc Improved video stream delivery via adaptive quality enhancement using error correction models
CN106228512A (zh) * 2016-07-19 2016-12-14 北京工业大学 基于学习率自适应的卷积神经网络图像超分辨率重建方法
CN106791927A (zh) * 2016-12-23 2017-05-31 福建帝视信息科技有限公司 一种基于深度学习的视频增强与传输方法
CN107274347A (zh) * 2017-07-11 2017-10-20 福建帝视信息科技有限公司 一种基于深度残差网络的视频超分辨率重建方法
CN108012157A (zh) * 2017-11-27 2018-05-08 上海交通大学 用于视频编码分数像素插值的卷积神经网络的构建方法
CN108805808A (zh) * 2018-04-04 2018-11-13 东南大学 一种利用卷积神经网络提高视频分辨率的方法
CN108830790A (zh) * 2018-05-16 2018-11-16 宁波大学 一种基于精简卷积神经网络的快速视频超分辨率重建方法
CN109064399A (zh) * 2018-07-20 2018-12-21 广州视源电子科技股份有限公司 图像超分辨率重建方法和系统、计算机设备及其存储介质
CN109102462A (zh) * 2018-08-01 2018-12-28 中国计量大学 一种基于深度学习的视频超分辨率重建方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022261849A1 (en) * 2021-06-16 2022-12-22 Intel Corporation Method and system of automatic content-dependent image processing algorithm selection
CN114257838A (zh) * 2021-11-29 2022-03-29 新奥特（北京）视频技术有限公司 一种视频数据处理方法、装置、电子设备和存储介质
CN114257838B (zh) * 2021-11-29 2024-04-16 新奥特（北京）视频技术有限公司 一种视频数据处理方法、装置、电子设备和存储介质
CN114422852A (zh) * 2021-12-16 2022-04-29 阿里巴巴（中国）有限公司 视频播放方法、存储介质、处理器和系统
WO2023240835A1 (zh) * 2022-06-13 2023-12-21 北京大学深圳研究生院 视频压缩方法、电子设备及可读存储介质
CN115187490A (zh) * 2022-09-07 2022-10-14 常州海图信息科技股份有限公司 视频与图形处理系统及方法

Similar Documents

Publication Publication Date Title
CN111800630A (zh) 一种视频超分辨率重建的方法、系统及电子设备
CN109903226B (zh) 基于对称残差卷积神经网络的图像超分辨率重建方法
CN112991203B (zh) 图像处理方法、装置、电子设备及存储介质
CN108596841B (zh) 一种并行实现图像超分辨率及去模糊的方法
CN108921910B (zh) 基于可伸缩卷积神经网络的jpeg编码压缩图像复原的方法
CN112801901A (zh) 基于分块多尺度卷积神经网络的图像去模糊算法
CN112102212B (zh) 一种视频修复方法、装置、设备及存储介质
CN111784570A (zh) 一种视频图像超分辨率重建方法及设备
WO2022016350A1 (zh) 光场图像的处理方法、编码器、解码器及存储介质
CN112150400B (zh) 图像增强方法、装置和电子设备
CN111711817B (zh) 一种结合卷积神经网络的hevc帧内编码压缩性能优化方法
CN111510739B (zh) 一种视频传输方法及装置
CN114339305B (zh) 一种虚拟桌面图像处理方法及相关装置
WO2023010831A1 (zh) 提高图像分辨率的方法、系统、装置及存储介质
CN114584805A (zh) 视频传输方法、服务器、终端和视频传输系统
CN110830808A (zh) 一种视频帧重构方法、装置及终端设备
CN113068034B (zh) 视频编码方法及装置、编码器、设备、存储介质
CN113674165A (zh) 图像处理方法、装置、电子设备、计算机可读存储介质
CN114979672A (zh) 视频编码方法、解码方法、电子设备及存储介质
CN116977191A (zh) 画质提升模型的训练方法和视频会议系统画质的提升方法
CN114463453A (zh) 图像重建、编码解码方法、相关装置
CN117560511A (zh) 基于图分割技术电力巡检的间隔棒图像压缩方法及系统
CN112489103A (zh) 一种高分辨率深度图获取方法及系统
CN117097853A (zh) 一种基于深度学习的实时抠像方法及系统
CN115665427A (zh) 直播数据的处理方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20201020

RJ01 Rejection of invention patent application after publication