CN101345870A - 低码率视频超分辨率重构的编码装置和解码装置 - Google Patents

Abstract

一种视频处理领域的低码率视频超分辨率重构的编码装置和解码装置，本发明中，编码装置部分提供辅助码流来提高低码率视频超分辨率重构效率和精度，解码装置部分利用编码端提供的极少量的辅助码流，来指导解码端的超分辨率重构，编码装置部分利用带超分辨率重构的预解码闭环反馈构造出极少量的超分辨率重构辅助码流，并且利用编码模块中的人眼感兴趣区域分析模块，着重对人眼敏感区域的超分辨率重构进行引导和矫正，进一步提高视频解码输出的主观质量。本发明与一般视频超分辨率“盲”重构相比明显减少了超分辨率重构复杂度，提高了重构效率，同时增强了超分辨率重构对高度动态和多样化的视频图像数据的适应能力，提高了重构精度。

Description

低码率视频超分辨率重构的编码装置和解码装置

技术领域

本发明涉及一种视频处理领域的技术，具体是一种低码率视频超分辨率重构的编码装置和解码装置。

背景技术

低码率视频的传输和编解码技术是当前信息科学领域的研究热点，该技术应用基础广泛，如手机电视、视频监控、远程医疗、车辆无人驾驶等；在军事领域，该方面也有着的巨大的应用价值，比如空中无人侦查、海底无线视频传输、遥感成像、敌意干扰环境下的视频传送等。随着大量视频应用不断涌现以及高分辨率显示设备的普及，市场对低码率视频的质量要求也越来越高，然而作为公有资源的“传输带宽”总是相对紧缺的，因而在低码率条件(例如200kbps或更低)条件下得到高质量的图像质量是上述视频应用不变的追求。

现有的成熟的视频压缩标准有MPEG-4、H.261、H.263、H.264，以及AVS等，这些编码的共同特征是基于混合编码技术，即：通过运动补偿加上变换编码的技术。其中运动补偿利用了视频信息在时间和空间的相关性，而变换编码技术应用了视频图像在频域的能量集中特性。这些编解码系统中，编码和解码对应的图像尺寸相同，解码算法的设计目标是尽可能逼真地复原编码端的图像。由于低码率的限制，他们不能直接获得高于编码器所提供的图像分辨率。

除了上述技术之外，还有一种视频处理技术：超分辨率图像重构技术，该技术可以从低分辨率图像重构出高分辨率的图像，该技术有以下三个方向：基于多幅静态图像样本的超分辨率重构技术、基于图像成像模型的求逆的方法研究、利用图像的概率统计模型进行超分辨率重构。

基于多幅静态图像样本的超分辨率重构技术是通过匹配算法找出同一目标对象的各个像素在不同图像样本中的对应关系，经过象素数据的融合重构出高分辨率的图片。由于该算法假设多幅图片所反映的物体对象是静态的或基本静止，不同图像样本之间的差别由物体的整体平移和旋转两个参数描述，这些限制条件使这一类算法应用领域相对较窄、且对于不同的图像性能不稳定，另外所提出的算法运算量大，难以应用于高度动态的和实时的视频编解码技术中。该技术适用于遥感照片、照片修复等准静态的对实时要求低的领域；

基于图像成像模型的求逆的方法研究是通过在正则化条件下对模型方程求逆，重构出原始的高分辨率图像，由于这一类超分辨率重构技术需要求逆的方程一般是非线性和病态的，图像重构需要通过大量的迭代搜索运算实现。此外该算法的性能受正则化约束的选择影响大。这些问题同样使得它难以应用在实时解码的视频播放系统。

经对现有技术文献的检索发现，王涛等人在2007年小波分析和模式识别国际会议上发表的《automatic super resolution image reconstruction based onhybrid MAP-POCS》(《基于MAP和POCS的自动化图像超分辨率重构》)中提到的基于最大后验概率(MAP)和凸集投影(POCS)算法相结合的超分辨率重建方法，具体来说，首先使用APEX算法对升采样后的参考图像去卷积，以得到点扩散函数(PSF)和对原始高分辨率图像的近似，然后建立Huber-Markov随机场图像先验模型，用MAP方法对非齐次控制参数进行估计，最后通过迭代运算对病态过程进行正则化处理。该方法可以应用在仿真图像、实际视频序列和实际卫星图像的超分辨率重建上。相比双线性内插等传统方法，MAP-POCS混合重建方法可以保证锐利的边缘，准确的纹理和对PSNR的改进。这一方法依赖已知的先验概率模型，但由于视频数据的高度动态和多样性，先验概率模型与实际差异较大，使得该方法需要不断迭代以达到复原图像质量的提升，因而计算量巨大，难以应用在实时视频图像处理上。

发明内容

本发明针对上述现有技术的不足，提出了一种低码率视频超分辨率重构的编码装置和解码装置，在按照一般视频编码标准进行编码的同时，对原始图像首先得到一些针对超分辨率重构的辅助码流，以对解码端的超分辨率重构进行指引和对人眼感兴趣区域进行更进一步的矫正，以减少视频解码端超分辨率重构复杂度，同时提高超分辨率重构的精度。

本发明是通过以下技术进行实现的。

本发明涉及一种低码率视频超分辨率重构的编码装置，包括：降采样模块、标准视频编码器、第一标准视频解码器、图像特征分析模块、超分辨率重构辅助码流生成模块、第一超分辨率重构模块、码流合成模块，其中：

降采样模块、图像特征分析模块、超分辨率重构辅助码流生成模块均接收一部分输入编码装置的原始高分辨率图像序列；

降采样模块将原始高分辨率图像序列进行时间和空间的降采样，得到低分辨率图像序列；

标准视频编码器将低分辨率图像序列进行编码得到标准视频码流，并传输到第一标准视频解码器；

第一标准视频解码器将标准视频码流解码得到低分辨率图像序列，并传输给第一超分辨率重构模块；

第一超分辨率重构模块将低分辨率图像序列以及由超分辨率重构辅助码流生成模块输入的超分辨率重构辅助码流，进行超分辨率重构得到超分辨率重构后的图像序列；

图像特征分析模块将原始高质量图像序列和超分辨率重构后的图像序列进行比较，得到重构效果分析数据，并传输给超分辨率重构辅助码流生成模块；

超分辨率重构辅助码流生成模块利用原始高分辨率图像序列数据，并结合来自于图像特征分析模块的重构效果分析数据，生成超分辨率重构辅助码流，并传输给第一超分辨率重构模块，当超分辨率重构效果满足设定指标时(指标包括辅助码流的码率和重构后的图像质量)，将超分辨率重构辅助码流传输给码流合成模块；

码流合成模块将超分辨率重构辅助码流和标准视频码流混合生成混合视频码流输出。

所述超分辨率重构辅助码流生成模块，包括：分区域统计信息估计模块、矫正信息编码模块、辅助码流编码模块，其中：

分区域统计信息估计模块接收原始高质量图像序列分析得到图像统计信息，矫正信息编码模块接收原始高质量图像序列，并根据输入的重构效果分析数据生成图像矫正信息，将图像矫正信息和图像统计信息通过辅助码流编码模块压缩编码得到超分辨率重构辅助码流。

所述第一超分辨率重构模块，包括：超分辨率预重构模块、重构码流解码器、图像矫正器，其中：

重构码流解码器将输入到超分辨率重构模块的超分辨率重构辅助码流分割成图像统计信息和图像矫正信息，并分别传输给超分辨率预重构模块和图像矫正器；

超分辨率预重构模块根据图像统计信息，对由第一标准视频解码器得到的低分辨图像序列进行超分辨率预重构，得到超分辨率预重构后的图像序列，并传输给图像矫正器；

图像矫正器根据的图像矫正信息，对超分辨率预重构后的图像序列的指定区域进行矫正后得到超分辨率重构后的图像序列。

所述图像特征分析模块对超分辨率重构质量的评价包含两部分内容：辅助码流比特率在整个混合码流(标准压缩码流和超分辨率重构辅助码流)的比重和超分辨率重构后图像的质量，其中超分辨率后图像质量的评价是根据超分辨后图像和原始高分辨图像之间的残差来评估的，并且着重考虑人眼感兴趣区域的重构质量。

所述图像特征分析模块，包括：比较器、过滤器、人眼敏感区域分析模块，其中：

比较器将原始高质量图像序列和超分辨率重构后的图像序列进行比较得到残差数据，并将残差数据传输给过滤器；

人眼敏感区域分析模块通过分析原始高质量图像序列得到人眼敏感区域信息，并将该信息传输给过滤器；

过滤器根据人眼敏感区域信息和残差数据得到重构效果分析数据。

所述码流合成模块，在视频标准或视频文件封装格式支持的情况下，码流合成模块将辅助码流嵌入到标准视频标准或视频文件的可扩展域。

本发明中，超分辨率重构辅助码流生成模块生成超分辨率重构辅助码流是一个反馈过程，反馈过程具体如下：

首先，超分辨率重构辅助码流生成模块根据输入的原始高质量图像序列和重构效果分析数据生成超分辨率重构辅助码流；

然后，标准视频编码器输出的标准视频码流经过第一标准视频解码器后得到低分辨率的图像序列，连同上述超分辨率重构辅助码流一起输入到第一超分辨率重构模块，得到经过超分辨率重构后的图像序列；

其次，原始高质量图像序列和超分辨率重构后的图像序列被输入到图像特征分析模块，分析图像重构的效果得到重构效果分析数据；

最后，重构效果如果不满足设定的要求(包括辅助码流的码率和重构后的图像质量)，则重复上述操作，将重构效果分析数据输入到超分辨率重构辅助码流生成模块，生成新的超分辨率重构辅助码流；如果满足要求，则将超分辨率重构辅助码流输出，通过码流合成模块，和标准视频码流进行合成后输出。

本发明还涉及一种低码率视频超分辨率重构的解码装置，包括：码流分割器、第二标准视频解码器、第二超分辨率重构模块，其中：

码流分割器将混合视频码流分割为标准视频压缩码流和超分辨率重构辅助码流，并将标准视频压缩码流传输给第二标准视频解码器，将超分辨率重构辅助码流传输给第二超分辨率重构模块；

第二标准视频解码器将标准视频压缩码流解码得到低分辨率的图像序列，并将低分辨率的图像序列传输给第二超分辨率重构模块；

第二超分辨率重构模块根据超分辨率重构辅助码流里提供的图像统计信息对低分辨率的图像序列进行超分辨率重构，并根据超分辨率重构辅助码流里提供的图像矫正信息对超分辨率重构后的图像进行矫正，得到在时间和空间上更高分辨率的图像序列。

所述第二超分辨率重构模块，其结构与编码器中的第一超分辨率重构模块相同。

与现有技术相比，本发明具有如下有益效果：

1、本发明利用了编码装置部分提供的针对超分辨率重构的辅助码流，来提高对低分辨视频进行超分辨率重构的效率和精度，有效地利用编码装置和解码装置日益增强的运算能力达到通信带宽节省的目标；

2、本发明的编码装置中，包含了预解码和预超分辨率重构的反馈过程，以检验超分辨率重构的效果，并根据超分分辨重建的效果，必要时进行对相应的矫正，大大增强了超分辨率重构对高度动态和多样性的视频图像进行重构的适应能力；

3、本发明的编码装置中，对重构效果进行评估时，同时考虑了超分辨率重构辅助码流的码率在整个视频码流中的比重和重构后的图像质量，人眼敏感趣区域分析模块在图像质量的评价和图像的矫正中优先考虑人眼感兴趣区域，使辅助码流对重构图像主观质量的提升更加有效；

4、本发明编码装置和解码装置中，兼容标准的视频编码方案，在编码装置和解码装置用到标准视频解码器可以作为黑盒形式，可以对其内部不做修改，生成的辅助码流可以嵌入在一般视频编码标准或视频文件封装格式的扩展域，用本发明编码装置得到的视频码流，也可以为一般的标准视频解码器所接受。

附图说明

图1是本发明中低码率视频超分辨率重构的编码装置的系统结构框图；

图2是本发明的编码装置中第一超分辨率重构模块的结构框图；

图3是本发明的编码装置中图像特征分析模块的结构框图；

图4是本发明的编码装置中超分辨率重构辅助码流生成模块的结构框图；

图5是本发明中低码率视频超分辨率重构的解码装置的系统结构框图。

具体实施方式

下面结合附图对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

如图1所示，本实施例涉及一种低码率视频超分辨率重构的编码装置，包括：降采样模块、标准视频编码器、第一标准视频解码器、图像特征分析模块、超分辨率重构辅助码流生成模块、第一超分辨率重构模块、码流合成模块，其中：

降采样模块、图像特征分析模块、超分辨率重构辅助码流生成模块均接收一部分输入编码装置的原始高分辨率图像序列，本实施例中原始图像序列取分辨率为704×576，帧率为30fps的RGB格式的图像序列；

降采样模块将原始高分辨率图像序列进行时间和空间的降采样，得到分辨率为352×288，帧率为30fpsRGB的低分辨率图像序列；

标准视频编码器为H.264视频编码器，H.264视频编码器将由降采样模块输出的分辨率为352×288，帧率为30fps，RGB格式的低分辨率图像序列进行编码得到分辨率为352×288，帧率为30fps的H.264格式的标准视频码流，并传输到第一标准视频解码器；

第一标准视频解码器为H.264视频解码器，H.264视频解码器将标准视频码流(H.264标准视频码流)解码得到分辨率为352×288，帧率为30fps的RGB格式的图像序列，并传输给第一超分辨率重构模块；

第一超分辨率重构模块将分辨率为352×288，帧率为30fps，RGB格式的低分辨率的图像序列以及由超分辨率重构辅助码流生成模块输入的超分辨率重构辅助码流，进行超分辨率重构得到分辨率为704×576，帧率为30fps的RGB格式的图像序列，并根据辅助码流里提供的图像矫正信息，对超分辨率重构后的图像的指定区域进行矫正，包括直接修正某些区域的像素值、对轮廓区域的锐化等，对应的矫正区域和矫正方法都从辅助码流直接得到；

图像特征分析模块将原始高分辨率图像序列和超分辨率重构后的图像序列进行比较，得到重构效果分析数据，并传输给超分辨率重构辅助码流生成模块；

超分辨率重构辅助码流生成模块利用原始高分辨率图像序列数据，并结合来自于图像特征分析模块的重构效果分析数据，生成超分辨率重构辅助码流，并传输给第一超分辨率重构模块，当超分辨率重构效果满足设定指标时(指标包括辅助码流的码率和重构后的图像质量)，将超分辨率重构辅助码流传输给码流合成模块；

码流合成模块将超分辨率重构辅助码流和标准视频码流混合生成混合视频码流输出。

如图2所示，所述第一超分辨率重构模块，包括：超分辨率预重构模块、重构码流解码器、图像矫正器，其中：

重构码流解码器将输入到超分辨率重构模块的超分辨率重构辅助码流分割成图像统计信息和图像矫正信息，并分别传输给超分辨率预重构模块和图像矫正器；

超分辨率预重构模块根据图像统计信息，对由第一标准视频解码器得到的低分辨图像序列进行超分辨率预重构，得到超分辨率预重构后的图像序列，并传输给图像矫正器；

图像矫正器根据的图像矫正信息，对超分辨率预重构后的图像序列的指定区域进行矫正后得到超分辨率重构后的图像序列。

如图3所示，所述图像特征分析模块，包括：比较器、过滤器、人眼敏感区域分析模块，其中：

比较器将原始高质量图像序列和超分辨率重构后的图像序列进行比较得到残差数据，并将残差数据传输给过滤器；

人眼敏感区域分析模块通过分析原始高质量图像序列得到人眼敏感区域信息，并将该信息传输给过滤器；

过滤器根据人眼敏感区域信息和残差数据得到重构效果分析数据，并传输给超分辨率重构辅助码流生成模块。

如图4所示，所述超分辨率重构辅助码流生成模块，包括：分区域统计信息估计模块、矫正信息编码模块、辅助码流编码模块，其中：

分区域统计信息估计模块接收原始高质量图像序列分析得到图像统计信息，矫正信息编码模块接收原始高质量图像序列，并根据输入的重构效果分析数据生成图像矫正信息，将图像矫正信息和图像统计信息通过辅助码流编码模块压缩编码得到超分辨率重构辅助码流。

本实施例中，超分辨率重构辅助码流生成模块生成超分辨率重构辅助码流是一个反馈过程，反馈过程具体如下：

首先，超分辨率重构辅助码流生成模块根据输入的原始高质量图像序列和重构效果分析数据生成超分辨率重构辅助码流；

然后，标准视频编码器输出的标准视频码流经过第一标准视频解码器后得到低分辨率的图像序列，连同上述超分辨率重构辅助码流一起输入到第一超分辨率重构模块，得到经过超分辨率重构后的图像序列；

其次，原始高质量图像序列和超分辨率重构后的图像序列被输入到图像特征分析模块，分析图像重构的效果得到重构效果分析数据；

最后，重构效果如果不满足设定的超分辨率重构效果指标(包括辅助码流的码率和重构后的图像质量)，则重复上述操作，将重构效果分析数据输入到超分辨率重构辅助码流生成模块，生成新的超分辨率重构辅助码流；如果满足要求，则将超分辨率重构辅助码流输出，通过码流合成模块，和标准视频码流进行合成后输出。本实施例中，预定的超分辨率重构的指标为：辅助码流码率在混合码流码率中的比重在10％以下；跟原始高分辨图像对比，超分辨率重构后的图像的PSNR在35以上，其中人眼感兴趣区域图像的PSNR在38以上。

如图5所示，本实施例还涉及一种低码率视频超分辨率重构的解码装置，包括：码流分割器、第二标准视频解码器、第二超分辨率重构模块，其中：

码流分割器将混合视频码流分割为超分辨率重构辅助码流和H.264标准视频压缩码流，并将H.264标准视频压缩码流传输给第二标准视频解码器，将超分辨率重构辅助码流传输给第二超分辨率重构模块；

第二标准视频解码器是H.264标准视频解码器，H.264标准视频解码器将分辨率为352×288，帧率为30fps的H.264标准视频压缩码流解码得到分辨率为352×288，帧率为30fps的RGB格式的图像序列，并传输给第二超分辨率重构模块；

第二超分辨率重构模块根据超分辨率重构辅助码流里提供的图像统计信息对分辨率为352×288，帧率为30fps，RGB格式的图像序列进行超分辨率重构，得到分辨率为704×576，帧率为30fps的RGB格式的图像序列，并根据超分辨率重构辅助码流里提供的图像矫正信息对超分辨率重构后的图像进行必要的矫正后输出。

本实施例中，利用编码装置部分提供的不超过整体码率20％的辅助码流来提高低码率视频超分辨率重构的效率和精度，解码装置部分利用编码端所提供的极少量的辅助码流，来指导解码端的超分辨率重构，与一般视频超分辨率“盲”重构相比，由于减少了大量的迭代搜索匹配，明显减少了超分辨率重构算法复杂度，计算量缩减在50％以上，提高了重构效率，同时也增强了超分辨率重构对高度动态和多样化的视频图像数据的适应能力，提高了重构精度，与一般低码率视频编解码系统相比，在码率提高不超过20％的情况下，可以将图像的输出分辨提高4倍以上；编码装置部分利用带超分辨率重构的预解码闭环反馈构造出极少量的超分辨率重构辅助码流，并且利用编码模块中的人眼感兴趣区域分析模块，着重对人眼敏感区域的超分辨率重构进行引导和矫正，进一步提高视频解码输出的主观质量。

Claims (8)

1、一种低码率视频超分辨率重构的编码装置，其特征在于，包括：降采样模块、标准视频编码器、第一标准视频解码器、图像特征分析模块、超分辨率重构辅助码流生成模块、第一超分辨率重构模块、码流合成模块，其中：

降采样模块、图像特征分析模块、超分辨率重构辅助码流生成模块均接收一部分输入编码装置的原始高分辨率图像序列；

降采样模块将原始高分辨率图像序列进行时间和空间的降采样，得到低分辨率图像序列；

标准视频编码器将低分辨率图像序列进行编码得到标准视频码流，并传输到第一标准视频解码器；

第一标准视频解码器将标准视频码流解码得到低分辨率图像序列，并传输给第一超分辨率重构模块；

第一超分辨率重构模块将低分辨率图像序列以及由超分辨率重构辅助码流生成模块输入的超分辨率重构辅助码流，进行超分辨率重构得到超分辨率重构后的图像序列；

图像特征分析模块将原始高质量图像序列和超分辨率重构后的图像序列进行比较，得到重构效果分析数据，并传输给超分辨率重构辅助码流生成模块；

超分辨率重构辅助码流生成模块利用原始高分辨率图像序列数据，并结合来自于图像特征分析模块的重构效果分析数据，生成超分辨率重构辅助码流，并传输给第一超分辨率重构模块，当超分辨率重构效果满足设定指标时，将超分辨率重构辅助码流传输给码流合成模块；

码流合成模块将超分辨率重构辅助码流和标准视频码流混合生成混合视频码流输出。

2、根据权利要求1所述的低码率视频超分辨率重构的编码装置，其特征是，所述超分辨率重构辅助码流生成模块，包括：分区域统计信息估计模块、矫正信息编码模块、辅助码流编码模块，其中：

分区域统计信息估计模块接收原始高质量图像序列分析得到图像统计信息，矫正信息编码模块接收原始高质量图像序列，并根据输入的重构效果分析数据生成图像矫正信息，将图像矫正信息和图像统计信息通过辅助码流编码模块压缩编码得到超分辨率重构辅助码流。

3、根据权利要求1或2所述的低码率视频超分辨率重构的编码装置，其特征是，所述超分辨率重构辅助码流生成模块，其生成超分辨率重构辅助码流是一个反馈过程，反馈过程具体如下：

首先，超分辨率重构辅助码流生成模块根据输入的原始高质量图像序列和重构效果分析数据生成超分辨率重构辅助码流；

然后，标准视频编码器输出的标准视频码流经过第一标准视频解码器后得到低分辨率的图像序列，连同上述超分辨率重构辅助码流一起输入到第一超分辨率重构模块，得到经过超分辨率重构后的图像序列；

其次，原始高质量图像序列和超分辨率重构后的图像序列被输入到图像特征分析模块，分析图像重构的效果得到重构效果分析数据；

最后，重构效果如果不满足设定的要求，则重复上述操作，将重构效果分析数据输入到超分辨率重构辅助码流生成模块，生成新的超分辨率重构辅助码流；如果满足要求，则将超分辨率重构辅助码流输出，通过码流合成模块，和标准视频码流进行合成后输出。

4、根据权利要求1所述的低码率视频超分辨率重构的编码装置，其特征是，所述第一超分辨率重构模块，包括：超分辨率预重构模块、重构码流解码器、图像矫正器，其中：

重构码流解码器将输入到超分辨率重构模块的超分辨率重构辅助码流分割成图像统计信息和图像矫正信息，并分别传输给超分辨率预重构模块和图像矫正器；

超分辨率预重构模块根据图像统计信息，对由第一标准视频解码器得到的低分辨图像序列进行超分辨率预重构，得到超分辨率预重构后的图像序列，并传输给图像矫正器；

图像矫正器根据的图像矫正信息，对超分辨率预重构后的图像序列的指定区域进行矫正后得到超分辨率重构后的图像序列。

5、根据权利要求1所述的低码率视频超分辨率重构的编码装置，其特征是，所述图像特征分析模块，包括：比较器、过滤器、人眼敏感区域分析模块，其中：

比较器将原始高质量图像序列和超分辨率重构后的图像序列进行比较得到残差数据，并将残差数据传输给过滤器；

人眼敏感区域分析模块通过分析原始高质量图像序列得到人眼敏感区域信息，并将该信息传输给过滤器；

过滤器根据人眼敏感区域信息和残差数据得到重构效果分析数据。

6、根据权利要求1或5所述的低码率视频超分辨率重构的编码装置，其特征是，所述图像特征分析模块对超分辨率重构质量的评价包含两部分内容：辅助码流比特率在整个混合码流的比重和超分辨率重构后图像的质量，其中超分辨率后图像质量的评价是根据超分辨后图像和原始高分辨图像之间的残差来评估的，并且着重考虑人眼感兴趣区域的重构质量。

7、根据权利要求1所述的低码率视频超分辨率重构的编码装置，其特征是，所述码流合成模块，在视频标准或视频文件封装格式支持的情况下，码流合成模块将辅助码流嵌入到标准视频标准或视频文件的可扩展域。

8、一种低码率视频超分辨率重构的解码装置，其特征在于，包括：码流分割器、第二标准视频解码器、第二超分辨率重构模块，其中：

码流分割器将混合视频码流分割为标准视频压缩码流和超分辨率重构辅助码流，并将标准视频压缩码流传输给第二标准视频解码器，将超分辨率重构辅助码流传输给第二超分辨率重构模块；

第二标准视频解码器将标准视频压缩码流解码得到低分辨率的图像序列，并将低分辨率的图像序列传输给第二超分辨率重构模块；

第二超分辨率重构模块根据超分辨率重构辅助码流里提供的图像统计信息对低分辨率的图像序列进行超分辨率重构，并根据超分辨率重构辅助码流里提供的图像矫正信息对超分辨率重构后的图像进行矫正，得到在时间和空间上更高分辨率的图像序列。

Images