CN110062232A - 一种基于超分辨率的视频压缩方法及系统 - Google Patents

Abstract

本发明公开了一种基于超分辨率的视频压缩方法及系统，在编码阶段，下采样视频被分段后，逐段训练映射关系，将稀疏字典、投影矩阵与视频共同传输；在解码阶段，利用每段视频独有的映射矩阵，将低分辨率视频通过超分辨率还原到原始尺寸，实现既降低对带宽和存储的要求，又满足观看高分辨率视频的需求。以实现在现有的视频压缩编码标准的基础上，通过视频本身的内部信息，利用超分辨率技术大幅度地降低编码码率，同时尽量保证解码后的视频主观质量。

Description

一种基于超分辨率的视频压缩方法及系统

技术领域

本发明属于视频压缩技术领域，尤其涉及一种基于超分辨率的视频压缩方法及系统。

背景技术

人们每天通过视觉获取的信息约占外界信息总量的80％左右，为了满足现代社会的信息化要求，视频/图像信息经常需要用数字信号表示，再通过网络传送到终端。随着数字图像处理和传输技术的飞速发展，人们对高分辨率图像的需求日趋提高。然而视频信号具有信息量大、占用带宽大的特点，想要对视频信号进行传输，必须要解决其压缩问题，视频压缩要求既要能以较大的压缩比对视频信号进行编码处理，又要保证能够高效重建视频信号并获得较高的重建质量。视频在传输或存储时，常常由于带宽受限或存储受限，而导致高分辨率视频的传输或存储受到阻碍。

视频超分辨率技术是一种可以将低分辨率、清晰度不足的视频源，通过信号处理的方法，重构出更高分辨率视频的一种技术。通过对图像信息的充分挖掘，基于单帧的超分辨率技术已经逐渐完善，然而单幅图像自身信息有限，为了获取更多参考信息，基于多帧的超分辨率技术被提出，目前，其被应用于视频超分辨率技术中。

当受限于存储空间或网络传输带宽时，需要降低视频的分辨率，但随着各类显示终端的飞速发展，人们对于视频的分辨率要求越来越苛刻，要求观看高分辨率视频。在这种情况下，传输和存储下采样的低分辨率视频，再使用前沿的超分辨率技术将其放大到高分辨率的方式，就是一种既可以满足网络与存储环境，又可以让人们观看主观质量高的高分辨率视频的方式。

在各类视频超分辨率算法中，基于滤波、插值的方法简单、速度最快，但重建效果却最不理想。相比之下，由于能在外部库中获取大量高频信息，基于学习的方法获得了很好的重建结果，该方法在基于重构的方法出现瓶颈时，为超分辨率领域开拓了又一条重要的发展路线。但现有的基于学习的超分辨率视频压缩算法并未充分考虑视频中存在的大量内部信息，从而导致重建视频质量不佳，或是未充分考虑用户在接收端重建超分辨率视频的计算复杂度。

公开号为CN107563965A的发明专利公开了基于卷积神经网络的JPEG压缩图像超分辨率重建方法，包括以下步骤：步骤一：针对JPEG压缩图像，构建基于卷积神经网络的超分辨率重建模型：步骤二：利用训练图像，训练步骤一中构建的卷积神经网络：步骤兰：利用步骤二中训练好的卷积神经网络模型对经JPEG压缩的低分辨率图像进行重建。然而，该基于卷积神经网络的JPEG压缩图像超分辨率重建方法需要很深的网络层次和大量的训练，因此存在了对于样本数量依懒性大，参数众多致使训练困难以及训练所需迭代次数大，硬件需求大等问题。

因此，针对现有技术的缺陷，如何在利用超分辨率重建对视频进行压缩的同时，保证解码后的视频主观质量，是本领域亟待解决的问题。

发明内容

本发明的目的是针对现有技术的缺陷，提供了一种基于超分辨率的视频压缩方法及系统。以实现在现有的视频压缩编码标准的基础上，通过视频本身的内部信息，利用超分辨率技术大幅度地降低编码码率，同时尽量保证解码后的视频主观质量。

为了实现以上目的，本发明采用以下技术方案：

一种基于超分辨率的视频压缩方法，其特征在于，包括步骤：

S1、编码端基于输入的高分辨率视频提取高分辨率关键帧及高分辨率视频单元；

S2、对所述高分辨率视频进行下采样，得到低分辨率视频，提取低分辨率关键帧及低分辨率视频单元；

S3、对所述高分辨率关键帧及低分辨率关键帧进行训练，得到稀疏字典与投影矩阵；

S4、将所述稀疏字典、投影矩阵与经过编码后的低分辨率视频打包，发送至解码端；

S5、所述解码端对码流解复用，得到稀疏字典、投影矩阵与低分辨率视频的压缩码流，再对所述压缩码流进行解码，得到低分辨率视频；

S6、对分段后的每一段低分辨率视频进行超分辨率重构，拼合，得到完整的超分辨率视频。

进一步地，所述S1具体为：以镜头为单位，对于所述输入的高分辨率视频的镜头边界进行检测，根据所述镜头内容提取高分辨率关键帧，以所述分辨率关键帧为界线，将所述输入的高分辨率视频划分为不同场景的视频单元。

优选地，所述步骤S3包括：根据所述高分辨率视频、低分辨率视频中的每帧视频有对应关系，采用高分辨率视频的分割结果，对应至相应的低分辨率视频帧进行分割，得到所述低分辨率关键帧及低分辨率视频单元。

进一步地，所述稀疏字典与投影矩阵的训练与计算步骤如下：

S3.1、基于k个高分辨率视频单元V_h-unit与k个低分辨率视频单元V_l-unit，同时得到k张高分辨率关键帧图像集合与k张低分辨率关键帧图像集合对每张低分辨率关键帧上采样，获得与高分辨率关键帧分辨率相同的伪高分辨率关键帧集合将每张伪高分辨率帧与特征提取滤波器卷积，得到伪高分辨率帧的特征块集合利用伪高分辨率帧与高分辨率帧的对应关系，在相同位置得到高分辨率关键帧的图像块集合

S3.2、利用K次奇异值分解方法对伪高分辨率帧的特征块集合进行训练，得到低分辨率稀疏字典D；

S3.3、以低分辨率字典D中的每个字典原子为锚点，在伪高分辨率关键帧特征块集合中寻找每个字典原子的M个临近特征块集合N_l，再根据伪高分辨率帧与高分辨率帧的对应关系，在中获得相应的M个高分辨率图像块集合N_h；

S3.4、利用每个锚点对应的邻域集合N_l、N_h计算字典原子的投影矩阵P，该投影矩阵用于将伪高分辨率帧的特征映射到高分辨率空间的图像；P_i计算公式如下：

i是指字典中第i个锚点。

进一步地，对分段后的第k段视频的超分辨率重构过程如下：

S6.1、对所述视频段进行上采样，将其放大到原始高分辨率视频相同的尺寸；

S6.2、将该帧图像进行分块且提取特征块y，然后在稀疏字典D中找到y的最临近锚点d_m，最后在投影矩阵{P_i}中得到d_m对应的投影矩阵P_m；

S6.3、利用特征块y和投影矩阵P_m得到重建后的高分辨率图像块x，计算公式如下：

x＝P_my；

S6.4、将高分辨率图像块x按照原来的位置拼接在一起，得到完整的高分辨率重建帧；

S6.5、利用迭代反投影法，对重建后的高分辨率重建帧进行迭代修正，得到最终的超分辨率帧。

本发明还提出一种基于超分辨率的视频压缩系统，包括编码端及解码端，

所述编码端包括：

高分辨率视频处理模块，用于基于输入的高分辨率视频提取高分辨率关键帧及高分辨率视频单元；

低分辨率视频处理模块，用于对所述高分辨率视频进行下采样，得到低分辨率视频，提取低分辨率关键帧及低分辨率视频单元；

训练模块，用于对所述高分辨率关键帧及低分辨率关键帧进行训练，得到稀疏字典与投影矩阵；

打包模块，用于将所述稀疏字典、投影矩阵与经过编码后的低分辨率视频打包，发送至解码端；

所述解码端包括：

码流处理模块，用于对码流解复用，得到稀疏字典、投影矩阵与低分辨率视频的压缩码流，再对所述压缩码流进行解码，得到低分辨率视频；

重构模块，用于对分段后的每一段低分辨率视频进行超分辨率重构，拼合，得到完整的超分辨率视频。

本发明具有如下有益效果：

本发明的基于超分辨率的视频压缩方法及系统，达到了在现有视频编码标准的基础上对视频进一步压缩的目的。在编码阶段，下采样视频被分段后，逐段训练映射关系，将稀疏字典、投影矩阵与视频共同传输；在解码阶段，利用每段视频独有的映射矩阵，将低分辨率视频通过超分辨率还原到原始尺寸，实现既降低对带宽和存储的要求，又满足观看高分辨率视频的需求。

本发明与现有的编码标准相比，能有效降低视频编码码率。本发明采用的超分辨率重建方法具有如下有点：第一，该方法在训练少量字典原子个数的情况下的重建效果已经可以达到甚至优于只使用稀疏映射算法且需要训练大量字典原子的重建效果；第二，在视频解复用、解压缩后的超分辨率重建阶段，该算法运行速度比只使用稀疏映射的运行速度快两个数量级。且由于这种利用超分辨率算法对视频进行压缩的特殊性，导致在训练稀疏字典时，应充分利用视频的内部信息。算法采用视频自身的内部信息训练，能够得到更符合当前视频特征的稀疏字典，且在整个视频的编码过程中对不同的镜头训练不同的稀疏字典，可以有效地减少字典中原子的个数，减少稀疏字典自身数据的大小。

附图说明

图1为基于超分辨率的视频压缩方法流程示意图；

图2为第j次迭代过程的迭代反投影流程示意图；

图3为基于超分辨率的视频压缩系统结构示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

本发明提供了一种基于超分辨率的视频压缩方法，以实现在现有的视频压缩编码标准的基础上，通过视频本身的内部信息，利用超分辨率技术大幅度地降低编码码率，同时尽量保证解码后的视频主观质量。

下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。

实施例一

如图1所示，本实施例提出了一种基于超分辨率的视频压缩方法，包括：

S1、编码端基于输入的高分辨率视频提取高分辨率关键帧及高分辨率视频单元。

具体地，将输入的高分辨率视频进行场景分割，提取高分辨率关键帧。为了使得训练的稀疏字典中更接近输入视频的特征，本发明采用先对视频分段，再对每段子视频单独训练独立的稀疏字典的方式。其中视频分段先对视频的场景进行区分，再将相同场景的连续帧划分为独立的视频单元V-unit。

具体地，从原始高清视频中以镜头为单位，对镜头边界进行检测，然后根据镜头内容提取高分辨率关键帧，该关键帧用于后续的稀疏字典训练。以关键帧为界线，将原始高清视频划分为不同场景的视频单元V_h-unit。

镜头边界检测需要判断两个相连续的镜头之间相邻帧的相似性，当一个镜头变化到另一个镜头，相似性会发生变化，帧间差会比较大。对于每帧序列之间的差别相对比，如果帧序列之间的差别与阈值比较之后达到一定程度，便可以判断镜头发生了变化从而提取出镜头的边界。

可选地，本发明采用直方图比较法根据相邻两帧图像的灰度直方图或颜色直方图将视频的不同场景进行分割。将颜色空间划分为L个子空间，h_i(k)、h_j(k)分别表示视频第i和第j帧中落入第k个颜色区间的像素数目，那么，两帧视频帧直方图距离定义为：

直接使用联合三基色直方图来计算距离：

当距离大于阈值θ，即

D_R,G,B(x_i,x_j)＞θ

将后一帧图像作为关键帧，并以该帧为节点，对视频进行分割。

例如，每五秒钟切换一个镜头，则60秒视频中关键帧的帧数为12帧。

视频分割阶段的对象是原始高分辨率视频，分割后得到高分辨率视频单元V_h-unit。

S2、对所述高分辨率视频进行下采样，得到低分辨率视频，提取低分辨率关键帧及低分辨率视频单元。

例如，我们选择分辨率为1920*1080的RGB三通道，帧率为30FPS，长度为60秒的一段视频作为待压缩高分辨率视频，下采样倍数s为4倍，故低分辨率视频的分辨率为480*270。这两段视频未压缩原始数据量分别为10.44GB与667.38MB。

对于获取的低分辨率视频，通过场景分割进一步提取低分辨率关键帧及低分辨率视频单元。关于低分辨率视频的场景分割，根据高、低分辨率视频中的每帧视频有对应关系，可直接采用高分辨率视频的分割结果，对应至相应的低分辨率视频帧进行分割，得到低分辨率视频单元V_l-unit以及低分辨率关键帧。

对于下采样的方法，本发明不作限定，可以采用最近邻、双线性以及Lanczos等方法。本发明采用Lanczos下采样的方法进行举例说明。

S3、对所述高分辨率关键帧及低分辨率关键帧进行训练，得到稀疏字典与投影矩阵。

为使得后续低分辨率视频经超分辨率重构后得到的超分辨率视频质量更好，采用分段训练稀疏映射关系，即对连续的k个视频单元联合训练一个稀疏字典，再计算其对应的投影矩阵。所述的稀疏字典与投影矩阵的训练与计算步骤如下：

S3.1、基于k个高分辨率视频单元V_h-unit与k个低分辨率视频单元V_l-unit，同时得到k张高分辨率关键帧图像集合与k张低分辨率关键帧图像集合对每张低分辨率关键帧上采样，获得与高分辨率关键帧分辨率相同的伪高分辨率关键帧集合将每张伪高分辨率帧与特征提取滤波器卷积，得到伪高分辨率帧的特征块集合利用伪高分辨率帧与高分辨率帧的对应关系，在相同位置得到高分辨率关键帧的图像块集合

S3.2、利用K次奇异值分解(K-SVD)方法对伪高分辨率帧的特征块集合进行训练，得到低分辨率稀疏字典D。

S3.3、以低分辨率字典D中的每个字典原子为锚点，在伪高分辨率关键帧特征块集合中寻找每个字典原子的M个临近特征块集合N_l，再根据伪高分辨率帧与高分辨率帧的对应关系，在中获得相应的M个高分辨率图像块集合N_h。

S3.4、利用每个锚点对应的邻域集合N_l、N_h计算字典原子的投影矩阵P，该投影矩阵用于将伪高分辨率帧的特征映射到高分辨率空间的图像。P_i计算公式如下：

i是指字典中第i个锚点。

例如，每得到12帧关键帧，系统训练和计算一个稀疏字典与投影矩阵，则训练与计算步骤如下所示：

场景检测后，检测出新的12帧关键帧，对应12个原始高分辨率视频单元V_h-unit与12个经下采样得到的低分辨率视频单元V_l-unit。得到12张高分辨率关键帧图像集合与12张低分辨率关键帧图像集合对每张低分辨率关键帧上采样，获得与高分辨率关键帧分辨率相同的伪高分辨率关键帧集合首先，依次对每张伪高分辨率关键帧进行分块，将其分割成固定大小的图像块。再将得到的伪高分辨率图像块与四个特征提取滤波器卷积，得到伪高分辨率帧的特征块集合此处特征提取采用第一和第二阶导数来提取其特征信息，用于提取特征信息的四个滤波器分别为：

f₁＝[-1,0,1],f₂＝f₁ ^T

f₃＝[1,0,-2,0,1],f₄＝f₃ ^T

其中，T表示转置，将四个滤波器直接作用于每个伪高分辨率帧图像块，得四个特征矩阵，将产生的四个特征矩阵串联起来作为特征向量，得到该伪高分辨率图像块的特征块。完成所有伪高分辨率关键帧的分块与特征提取后，得到伪高分辨率帧的特征块集合。

高分辨率关键帧也需要进行分块，其分块过程与伪高分辨率关键帧分块过程对应，高分辨率图像块大小与伪高分辨率图像块相同，每个高分辨率图像块在高分辨率关键帧的位置也与伪高分辨率图像块在伪高分辨率关键帧的位置相同。利用伪高分辨率帧与高分辨率帧的对应关系，在相同位置可得到高分辨率关键帧的图像块集合。因此，伪高分辨率帧的特征块与高分辨率图像块之间就形成了一一对应关系。

对于低分辨率图像，存在过完备稀疏字典D，使得每个低分辨率图像块y都可以在字典D中线性表示出来：

其中λ为正则化系数，α为稀疏系数。

该优化问题的求解可以利用K-SVD算法对伪高分辨率帧特征块进行训练，得到低分辨率稀疏字典D，此处稀疏字典中字典原子个数N选择16个。

以低分辨率字典中的每个字典原子为锚点，在伪高分辨率帧特征块集合中寻找每个字典原子的M个临近特征块集合N_l，此处字典原子的邻域个数K选择2048个。再根据高、低分辨率图像块的对应关系，获得相应的2048个高分辨率图像块集合N_h。

根据高-低分辨率2048个近邻特征块与图像块集合。解决以下优化问题：

其中，δ为表示系数，y为低分辨率图像块。

该优化问题为岭回归问题，可以得到一个封闭解。则系数δ为：

其中I为单位矩阵。

则高分辨率图像块x可以表示为

其中P_i为第i个锚点对应的投影矩阵

记录每个锚点对应的邻域集合N_l、N_h，以及每个锚点对应的投影矩阵P_i。

至此，可以得到该组12个视频关键帧对应的投影矩阵{P_i}。

S4、将所述稀疏字典、投影矩阵与经过编码后的低分辨率视频打包，发送至解码端；

S5、所述解码端对码流解复用，得到稀疏字典、投影矩阵与低分辨率视频的压缩码流，再对所述压缩码流进行解码，得到低分辨率视频。

例如，分辨率为1920*1080的高分辨率视频只用H.265/HEVC编码标准进行全I帧编码后的大小从10.44GB降低至46.08MB，使用本方法后，下采样后分辨率为480*270的低分辨率视频大小从667.38MB降低至8.82MB，根据方法的描述，60s的低分辨率视频需要用一个训练得到的稀疏字典与投影矩阵进行超分辨率复原，稀疏字典有16个原子，大小为1.94KB，投影矩阵大小为279KB。综上所述，高分辨率视频使用本方法压缩后的视频码流大小为9.09MB。

本方法采用基于H.265/HEVC编码标准对视频进行二次压缩，在得到投影矩阵与低分辨率视频后，用H.265/HEVC对视频编码，传输，再用相同编码标准对码流解码，得到稀疏字典、投影矩阵与低分辨率视频。

S6、对分段后的每一段低分辨率视频进行超分辨率重构，拼合，得到完整的超分辨率视频。

具体地，对分段后的第k段视频的超分辨率重构过程如下：

S6.1、对所述视频段进行上采样，将其放大到原始高分辨率视频相同的尺寸；

S6.2、将该帧图像进行分块且提取特征块y，然后在稀疏字典D中找到y的最临近锚点d_m，最后在投影矩阵{P_i}中得到d_m对应的投影矩阵P_m。

S6.3、利用特征块y和投影矩阵P_m得到重建后的高分辨率图像块x，计算公式如下：

x＝P_my

S6.4、将高分辨率图像块x按照原来的位置拼接在一起，得到完整的高分辨率重建帧。

S6.5、利用迭代反投影法，对重建后的高分辨率重建帧进行迭代修正，得到最终的超分辨率帧。

其迭代修正过程如图2所示，具体为：

将生成的超分辨率帧与解码得到的低分辨率帧同时作为迭代反投影算法的输入项；将待修正的超分辨率帧缩小到与低分辨率帧相同大小；将下采样得到的低分辨率帧与原始低分辨率帧做差得到残差图像；将上采样后的残差叠加到本次迭代的超分辨率帧上。最终得到本轮迭代后的超分辨率帧。

整个迭代反投影过程如下式所示：

其中j为迭代次数，z_h为超分辨率图像帧，为经过第j次迭代的超分辨率帧缩小后得到的低分辨率帧，z_l为解码得到的低分辨率帧，↑是上采样符号，s代表上采样过程的放大倍数。重复迭代过程，直到残差小于规定的阈值后终止迭代过程，输出最终超分辨图像帧。

实施例二

如图3所示，相应地，本实施例提出了一种基于超分辨率的视频压缩系统，包括编码端及解码端：

所述编码端包括：

高分辨率视频处理模块，用于基于输入的高分辨率视频提取高分辨率关键帧及高分辨率视频单元；

低分辨率视频处理模块，用于对所述高分辨率视频进行下采样，得到低分辨率视频，提取低分辨率关键帧及低分辨率视频单元；

训练模块，用于对所述高分辨率关键帧及低分辨率关键帧进行训练，得到稀疏字典与投影矩阵；

打包模块，用于将所述稀疏字典、投影矩阵与经过编码后的低分辨率视频打包，发送至解码端；

所述解码端包括：

码流处理模块，用于对码流解复用，得到稀疏字典、投影矩阵与低分辨率视频的压缩码流，再对所述压缩码流进行解码，得到低分辨率视频；

重构模块，用于对分段后的每一段低分辨率视频进行超分辨率重构，拼合，得到完整的超分辨率视频。

值得注意的是，本实施例各模块的处理步骤与实施例相同，在此不在赘述。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种基于超分辨率的视频压缩方法，其特征在于，包括步骤：

S1、编码端基于输入的高分辨率视频提取高分辨率关键帧及高分辨率视频单元；

S2、对所述高分辨率视频进行下采样，得到低分辨率视频，提取低分辨率关键帧及低分辨率视频单元；

S3、对所述高分辨率关键帧及低分辨率关键帧进行训练，得到稀疏字典与投影矩阵；

S4、将所述稀疏字典、投影矩阵与经过编码后的低分辨率视频打包，发送至解码端；

S5、所述解码端对码流解复用，得到稀疏字典、投影矩阵与低分辨率视频的压缩码流，再对所述压缩码流进行解码，得到低分辨率视频；

S6、对分段后的每一段低分辨率视频进行超分辨率重构，拼合，得到完整的超分辨率视频。

2.根据权利要求1所述的视频压缩方法，其特征在于，所述S1具体为：

以镜头为单位，对于所述输入的高分辨率视频的镜头边界进行检测，根据所述镜头内容提取高分辨率关键帧，以所述分辨率关键帧为界线，将所述输入的高分辨率视频划分为不同场景的视频单元。

3.根据权利要求2所述的视频压缩方法，其特征在于，所述步骤S3包括：根据所述高分辨率视频、低分辨率视频中的每帧视频有对应关系，采用高分辨率视频的分割结果，对应至相应的低分辨率视频帧进行分割，得到所述低分辨率关键帧及低分辨率视频单元。

4.根据权利要求3所述的视频压缩方法，其特征在于，所述稀疏字典与投影矩阵的训练与计算步骤如下：

S3.1、基于k个高分辨率视频单元V_h-unit与k个低分辨率视频单元V_l-unit，同时得到k张高分辨率关键帧图像集合与k张低分辨率关键帧图像集合对每张低分辨率关键帧上采样，获得与高分辨率关键帧分辨率相同的伪高分辨率关键帧集合将每张伪高分辨率帧与特征提取滤波器卷积，得到伪高分辨率帧的特征块集合利用伪高分辨率帧与高分辨率帧的对应关系，在相同位置得到高分辨率关键帧的图像块集合

S3.2、利用K次奇异值分解方法对伪高分辨率帧的特征块集合进行训练，得到低分辨率稀疏字典D；

S3.3、以低分辨率字典D中的每个字典原子为锚点，在伪高分辨率关键帧特征块集合中寻找每个字典原子的M个临近特征块集合N_l，再根据伪高分辨率帧与高分辨率帧的对应关系，在中获得相应的M个高分辨率图像块集合N_h；

S3.4、利用每个锚点对应的邻域集合N_l、N_h计算字典原子的投影矩阵P，该投影矩阵用于将伪高分辨率帧的特征映射到高分辨率空间的图像；P_i计算公式如下：

i是指字典中第i个锚点。

5.根据权利要求4所述的视频压缩方法，其特征在于，对分段后的第k段视频的超分辨率重构过程如下：

S6.1、对所述视频段进行上采样，将其放大到原始高分辨率视频相同的尺寸；

S6.2、将该帧图像进行分块且提取特征块y，然后在稀疏字典D中找到y的最临近锚点d_m，最后在投影矩阵{P_i}中得到d_m对应的投影矩阵P_m；

S6.3、利用特征块y和投影矩阵P_m得到重建后的高分辨率图像块x，计算公式如下：

x＝P_my；

S6.4、将高分辨率图像块x按照原来的位置拼接在一起，得到完整的高分辨率重建帧；

S6.5、利用迭代反投影法，对重建后的高分辨率重建帧进行迭代修正，得到最终的超分辨率帧。

6.一种基于超分辨率的视频压缩系统，包括编码端及解码端，其特征在于，所述编码端包括：

高分辨率视频处理模块，用于基于输入的高分辨率视频提取高分辨率关键帧及高分辨率视频单元；

低分辨率视频处理模块，用于对所述高分辨率视频进行下采样，得到低分辨率视频，提取低分辨率关键帧及低分辨率视频单元；

训练模块，用于对所述高分辨率关键帧及低分辨率关键帧进行训练，得到稀疏字典与投影矩阵；

打包模块，用于将所述稀疏字典、投影矩阵与经过编码后的低分辨率视频打包，发送至解码端；

所述解码端包括：

码流处理模块，用于对码流解复用，得到稀疏字典、投影矩阵与低分辨率视频的压缩码流，再对所述压缩码流进行解码，得到低分辨率视频；

重构模块，用于对分段后的每一段低分辨率视频进行超分辨率重构，拼合，得到完整的超分辨率视频。

7.根据权利要求6所述的视频压缩系统，其特征在于，所述提取高分辨率关键帧及高分辨率视频单元具体为：

以镜头为单位，对于所述输入的高分辨率视频的镜头边界进行检测，根据所述镜头内容提取高分辨率关键帧，以所述分辨率关键帧为界线，将所述输入的高分辨率视频划分为不同场景的视频单元。

8.根据权利要求7所述的视频压缩系统，其特征在于，所述提取低分辨率关键帧及低分辨率视频单元包括：

根据所述高分辨率视频、低分辨率视频中的每帧视频有对应关系，采用高分辨率视频的分割结果，对应至相应的低分辨率视频帧进行分割，得到所述低分辨率关键帧及低分辨率视频单元。

9.根据权利要求8所述的视频压缩系统，其特征在于，所述稀疏字典与投影矩阵的训练与计算步骤如下：

S3.1、基于k个高分辨率视频单元V_h-unit与k个低分辨率视频单元V_l-unit，同时得到k张高分辨率关键帧图像集合与k张低分辨率关键帧图像集合对每张低分辨率关键帧上采样，获得与高分辨率关键帧分辨率相同的伪高分辨率关键帧集合将每张伪高分辨率帧与特征提取滤波器卷积，得到伪高分辨率帧的特征块集合利用伪高分辨率帧与高分辨率帧的对应关系，在相同位置得到高分辨率关键帧的图像块集合

S3.2、利用K次奇异值分解方法对伪高分辨率帧的特征块集合进行训练，得到低分辨率稀疏字典D；

S3.3、以低分辨率字典D中的每个字典原子为锚点，在伪高分辨率关键帧特征块集合中寻找每个字典原子的M个临近特征块集合N_l，再根据伪高分辨率帧与高分辨率帧的对应关系，在中获得相应的M个高分辨率图像块集合N_h；

S3.4、利用每个锚点对应的邻域集合N_l、N_h计算字典原子的投影矩阵P，该投影矩阵用于将伪高分辨率帧的特征映射到高分辨率空间的图像；P_i计算公式如下：

i是指字典中第i个锚点。

10.根据权利要求9所述的视频压缩系统，其特征在于，对分段后的第k段视频的超分辨率重构过程如下：

S6.1、对所述视频段进行上采样，将其放大到原始高分辨率视频相同的尺寸；

S6.2、将该帧图像进行分块且提取特征块y，然后在稀疏字典D中找到y的最临近锚点d_m，最后在投影矩阵{P_i}中得到d_m对应的投影矩阵P_m；

S6.3、利用特征块y和投影矩阵P_m得到重建后的高分辨率图像块x，计算公式如下：

x＝P_my；

S6.4、将高分辨率图像块x按照原来的位置拼接在一起，得到完整的高分辨率重建帧；

S6.5、利用迭代反投影法，对重建后的高分辨率重建帧进行迭代修正，得到最终的超分辨率帧。