CN103458154A - 一种视频的超分辨率方法及装置 - Google Patents

Abstract

本发明实施例提供了一种视频的超分辨率方法及装置，该方法中，首先对输入视频序列进行下采样，其次利用输入视频序列中每个第一视频帧确定出的源图像块与在源图像块所属第一视频帧、所属第一视频帧的相邻视频帧、所属第一视频帧在下采样后的视频序列中对应的视频帧以及对应的视频帧的相邻视频帧中确定出的各待比较图像块之间的像素值项和结构项计算出源图像块与各待比较图像块之间的相似距离，相似距离最小的待比较图像块是源图像块的相似图像块，最后分别对每个第一视频帧中所有源图像块对应的各相似图像块以及对应的相似距离进行计算，得到包含第二视频帧的目标视频序列。本发明解决了现有的超分辨率方法出现的锯齿及视频的视觉效果差的问题。

Description

一种视频的超分辨率方法及装置

技术领域

本发明涉及视频超分辨率重建领域，尤其涉及一种视频的超分辨率方法及装置。

背景技术

超分辨率技术，是指克服成像设备或技术的限制，在低分辨率图像或视频的基础上生成更高分辨率的图像或视频。随着图像视频处理技术的日益成熟，用户对视频观看体验的要求也越来越高，用户不仅需要更加逼真的视觉效果，对画面细节信息的需求也逐渐增多，比如说，在视频监控领域，高分辨率的图像更有利于识别出感兴趣的目标。

目前，业界对超分辨率的方法作了广泛的研究，提出了各种重建方法，比如基于插值的方法，基于学习的方法，基于多帧融合的方法等等，特别是近年来对图像自相似性的探索引起了图像处理领域技术人员的关注，例如，Glasner等人提出了单帧图像的超分辨率方法，通过统计发现自然图像有自相似的特性，即单帧图像中的每一个小的图像块几乎总能在该图或其下采后的图像中找到一个或多个与之相似的块，通过这些相似的块就可以提供更多的信息为当前图像块的超分辨率作为参考。此方法虽解决了图像来源受到环境限制的问题，但是该方法在搜索相似图像块的时候仅考虑了像素值的整体差异，这样会导致图像出现锯齿等问题。

对上述单帧图像的超分辨率方法分析可知，在搜索相似图像块的时候仅考虑了像素值的整体差异，从而会导致图像出现锯齿等问题。另外，上述方法都不能很灵活的嵌入到多媒体播放设备中，这就大大降低了图像的视觉效果。

发明内容

本发明实施例提供了一种视频的超分辨率方法及装置，用以解决现有的超分辨率方法导致图像出现锯齿，降低视觉效果的问题。

基于上述问题，本发明实施例提供的一种视频的超分辨率方法，包括：对输入的视频序列进行下采样；对输入的视频序列中的每个第一视频帧，以选取的每个像素点为中心，将该像素点及其周围设定数量的像素点确定为源图像块；分别在该源图像块所属第一视频帧、所属第一视频帧的相邻视频帧、所属第一视频帧在下采样后的视频序列中对应的视频帧以及所述对应的视频帧的相邻视频帧中，以选取的每个像素点为中心，将该像素点及其周围设定数量的像素点确定为待比较图像块；针对每个源图像块，利用该源图像块与各待比较图像块之间的像素值项和结构项，分别计算出该源图像块与各待比较图像块之间的相似距离，并将相似距离最小的待比较图像块确定为该源图像块的相似图像块；根据每个第一视频帧中所有源图像块、对应的各相似图像块以及对应的相似距离，计算得到包含第二视频帧的目标视频序列，所述第二视频帧分辨率高于所述该第一视频帧。

本发明实施例提供的一种视频的超分辨率装置，包括：下采样模块，用于对输入的视频序列进行下采样；第一确定模块，用于对输入的视频序列中的每个第一视频帧，以选取的每个像素点为中心，将该像素点及其周围设定数量的像素点确定为源图像块；第二确定模块，用于分别在所述第一确定模块确定的该源图像块所属第一视频帧、所属第一视频帧的相邻视频帧、所属第一视频帧在所述下采样模块下采样后的视频序列中对应的视频帧以及所述对应的视频帧的相邻视频帧中，以选取的每个像素点为中心，将该像素点及其周围设定数量的像素点确定为待比较图像块；第一计算模块，用于针对所述第一确定模块确定的每个源图像块，利用该源图像块与所述第二确定模块确定的各待比较图像块之间的像素值项和结构项，分别计算出该源图像块与各待比较图像块之间的相似距离；第三确定模块，用于将所述第一计算模块计算出的相似距离最小的待比较图像块确定为该源图像块的相似图像块；第二计算模块，用于根据每个第一视频帧中所有源图像块、对应的各相似图像块以及对应的相似距离，计算得到包含第二视频帧的目标视频序列，所述第二视频帧分辨率高于所述该第一视频帧。

本发明实施例的有益效果包括：本发明实施例提供的视频的超分辨率方法及装置，首先对输入视频序列先进行下采样，其次利用输入视频序列中每个第一视频帧确定出的源图像块与在源图像块所属第一视频帧、所属第一视频帧的相邻视频帧、所属第一视频帧在下采样后的视频序列中对应的视频帧以及对应的视频帧的相邻视频帧中确定出的各待比较图像块之间的像素值项和结构项计算出源图像块与各待比较图像块之间的相似距离，相似距离最小的待比较图像块就是源图像块的相似图像块，最后再分别对每个第一视频帧中所有源图像块对应的各相似图像块以及对应的相似距离进行计算，得到包含第二视频帧的目标视频序列。可见，本发明的超分辨率方法，在搜索源图像块的相似图像块时，除考虑源图像块和待比较块的像素值项外，还考虑了源图像块和待比较块的结构项，即此方法结合了图像块的结构信息，避免出现锯齿问题，通过此方法可以得到分辨率较高的视频帧，提高了视频的视觉效果。

附图说明

图1为本发明实施例提供的视频的超分辨率方法的流程图；

图2为本发明实施例提供的源图像块为5×5大小的图像块的示意图；

图3为本发明实施例提供的源图像块中每个像素点的取样向量示意图；

图4为本发明实施例提供的确定相似图像块的示意图；

图5为本发明实施例提供的视频的超分辨率装置的结构图。

具体实施方式

下面结合说明书附图，对本发明实施例提供的一种视频的超分辨率方法及装置的具体实施方式进行说明。

本发明实施例提供的一种视频的超分辨率方法，如图1所示，具体包括以下步骤：

S101：对输入的视频序列进行下采样。

较佳地，在上述步骤S101中，输入的视频序列可以为{...f₀ ^n-1,f₀ ⁿ,f₀ ⁿ⁺¹，...}，对它们进行下采样，下采样的尺度可以为1.25^-k，得到下采样后的视频序列为{...f_-k ^n-1,f_-k ⁿ,f_-k ⁿ⁺¹，...}，k为正整数，例如k＝1,2,3...。

S102：对输入的视频序列中的每个第一视频帧，以选取的每个像素点为中心，将像素点及其周围设定数量的像素点确定为源图像块。

本步骤S102中，在确定源图像块时，将选取的像素点作为源图像块的中心，该像素点与其周围(N×N)-1数量的像素点即可确定为源图像块，较佳地，N为奇数。例如，N=5，如图2所示，此源图像块P₀是以像素点1为中心，与其周围数量为24个像素点围成的，本发明并不仅限于上述源图像块的确定方式。

由于需要满足所选取的像素点作为源图像块的中心，因此，对于每个第一视频帧来说，并不是所有像素点都可以被选取，按照上述源图像块大小N×N为例来说，每个视频帧的边缘部分环状区域的像素点不能被选取，即从第1列至（N-1)/2列的像素区域、从倒数第1列至倒数第(N-1)/2列的像素区域、从第1行至第(N-1)/2行的像素区域以及从倒数第一行至倒数第(N-1)/2行的像素区域内的像素点不属于选取像素点的区域，除此区域以外的每个像素点可以是选取的像素点，也就是可以作为源图像块中心的像素点。

S103：分别在源图像块所属第一视频帧、所属第一视频帧的相邻视频帧、所属第一视频帧在下采样后的视频序列中对应的视频帧以及对应的视频帧的相邻视频帧中，以选取的每个像素点为中心，将像素点及其周围设定数量的像素点确定为待比较图像块。

待比较图像块的确定方式与源图像块相同，在此不再赘述。

S104：针对每个源图像块，利用源图像块与各待比较图像块之间的像素值项和结构项，分别计算出源图像块与各待比较图像块之间的相似距离，并将相似距离最小的待比较图像块确定为源图像块的相似图像块。

较佳地，上述步骤S104中的相似距离可以通过下述公式计算得出：

其中，P_x1,y1为源图像块，P_x2，y2为待比较图像块，

是源图像块与待比较图像块之间的像素值项，

是源图像块与待比较图像块的结构项，

是用于调整像素值项和结构项权重的权值参数。

具体地，在计算上述相似距离之前，先分别计算出源图像块与待比较图像块之间的像素值项和结构项，具体计算方式如下：

关于源图像块与待比较图像块之间的像素值项，可以直接用高斯加权的平方差之和(sum of squared difference，SSD)来计算，具体公式如下：

$d_i(P_{x_1,y_1},P_{x_2,y_2})={\mathrm{\Σ}}_{x,y}{G}_{\mathrm{\σ}}{(P_{x_1,y_1}(x,y)-P_{x_2,y_2}(x,y))}^2$

上式中，G_σ是高斯核函数。

关于源图像块与待比较图像块之间的结构项，通过下述方式计算得出：

在本发明实施例中，针对每一个源图像块和每一个待比较图像块，在此以源图像块为例进行说明，对一个中心点在(x,y)处的大小为5×5的源图像块中的每个像素点，取其邻域的像素点组成一个向量，如图3所示，1-5位置处的像素点按顺序即可组成3位置处的像素点的取样向量，即得到每个像素点处的取样向量，记为V_i，i＝1,2,3，...,5²，同理，对于每一个N×N大小的源图像块，每个像素点处的取样向量，可以记为V_i，i＝1,2,3，...,N²，从而确定出整个源图像块的取样矩阵为：

根据上述的取样矩阵可以计算出源图像块和待比较图像块的协方差矩阵

和

具体根据什么公式计算得到协方差矩阵，属于现有技术，在此不再详细说明。

根据上述计算出的

和

利用下述公式可以计算出结构项：

$d_s(P_{x_1,y_1},P_{x_2,y_2})={\mathrm{\Σ}}_{x,y}{G}_{\mathrm{\σ}}{(P_{x_1,y_1}(x,y)-P_{x_2,y_2}(x,y))}^2$

在像素项值与结构项确定之后，即可计算出源图像块与各待比较图像块的相似距离，本发明实施例在具体实施时，会对输入的视频序列中每一个第一视频中所有源图像块的像素值和结构特征进行矢量化预处理，使得预处理后采用现有技术中的最近邻估计方法(Approximate nearest neighbor，ANN)，确定出相似距离最小的待比较图像块即是源图像块的相似图像块，例如，在本发明实施例中，如图4所示，针对输入的视频帧序列{...f₀ ^n-1,f₀ ⁿ,f₀ ⁿ⁺¹，...}中的源图像块P₀，分别在f₀ ^n-1,f₀ ⁿ,f₀ ⁿ⁺¹和f_-k ^n-1,f_-k ⁿ,f_-k ⁿ⁺¹中确定出与之相似的相似块。

S105：根据每个第一视频帧中所有源图像块、对应的各相似图像块以及对应的相似距离，计算得到包含第二视频帧的目标视频序列，第二视频帧分辨率高于第一视频帧。

具体地，上述步骤105可以包括：

对能量函数

中的L进行求导运算，得到能量函数的梯度公式G⁽ⁿ⁾＝W(B*H⁽ⁿ⁾-L)；

对第一低视频序列中的每个第一视频帧预设置一个初始解H⁽⁰⁾，利用梯度公式G⁽ⁿ⁾，将计算出的G⁽ⁿ⁾代入H⁽ⁿ⁺¹⁾＝H⁽ⁿ⁾-λG⁽ⁿ⁾计算出H⁽ⁿ⁺¹⁾，进行迭代计算，直到收敛，得到H即第二视频帧，

在上述公式中，B为模糊函数，W是高斯核函数与每一第一视频帧中所有源图像块对应的相似距离相乘得到的权值矩阵，L为每一第一视频帧中所有源图像块的集合及所有源图像块对应的相似图像块的集合，H为第二视频帧，n=0,1,2...，λ为常量。

具体地，将预设置的第一视频帧初始解H⁽⁰⁾，代入梯度公式计算出G⁽⁰⁾，再将G⁽⁰⁾的值代入H⁽ⁿ⁺¹⁾＝H⁽ⁿ⁾-λG⁽ⁿ⁾计算出H⁽¹⁾，再将得到的H⁽¹⁾代入梯度公式计算出G⁽¹⁾，再将G⁽¹⁾的值代入H⁽ⁿ⁺¹⁾＝H⁽ⁿ⁾-λG⁽ⁿ⁾计算出H(2)，以此方式一直进行迭代计算，直到收敛，即计算出的H⁽ⁿ⁺¹⁾的值最小，即得到了分辨率高于第一视频帧的第二视频帧。

基于同一发明构思，本发明实施例还提供了一种视频的超分辨率装置，由于该装置所解决问题的原理与前述视频的超分辨率方法相似，因此该装置的实施可以参见前述方法的实施，重复之处不再赘述。

如图5所示，本发明实施例提供的一种视频的超分辨率装置，包括下采样模块501、第一确定模块502、第二确定模块503、第一计算模块504、第三确定模块505和第二计算模块506。

下采样模块501，用于对输入的视频序列进行下采样。

第一确定模块502，用于对输入的视频序列中的每个第一视频帧，以选取的每个像素点为中心，将像素点及其周围设定数量的像素点确定为源图像块。

第二确定模块503，用于分别在第一确定模块502确定的源图像块所属第一视频帧、所属第一视频帧的相邻视频帧、所属第一视频帧在下采样模块501下采样后的视频序列中对应的视频帧以及对应的视频帧的相邻视频帧中，以选取的每个像素点为中心，将像素点及其周围设定数量的像素点确定为待比较图像块。

第一计算模块504，用于针对第一确定模块502确定的每个源图像块，利用源图像块与第二确定模块503确定的各待比较图像块之间的像素值项和结构项，分别计算出源图像块与各待比较图像块之间的相似距离。

具体地，第一计算模块504，利用下述公式计算相似距离：

其中，P_x1,y1为源图像块，P_x2,y2为待比较图像块，

是源图像块与待比较图像块之间的像素值项，

是源图像块与待比较图像块的结构项，

是用于调整像素值项和结构项权重的权值参数。

较佳地，第一计算模块504，利用下述公式计算得出源图像块与各待比较图像块之间的像素值项：

$d_i(P_{x_1,y_1},P_{x_2,y_2})={\mathrm{\Σ}}_{x,y}{G}_{\mathrm{\σ}}{(P_{x_1,y_1}(x,y)-P_{x_2,y_2}(x,y))}^2$

其中，G_σ是高斯核函数。

较佳地，第一计算模块504，具体用于确定第一确定模块502确定的源图像块和第二确定模块503确定的待比较图像块的取样矩阵并根据确定出的取样矩阵V_x，y计算得到第一确定模块502确定的源图像块和第二确定模块503确定的待比较图像块的的协方差矩阵

和

再利用下述公式计算得出结构项，其中，V₁、V₂...V_N ²为源图像块和待比较图像块中每个像素点的取样向量，G_σ是高斯核函数

$d_s(P_{x_1,y_1},P_{x_2,y_2})={\mathrm{\Σ}}_{x,y}{G}_{\mathrm{\σ}}{(P_{x_1,y_1}(x,y)-P_{x_2,y_2}(x,y))}^2.$

第三确定模块505，用于将第一计算模块504计算出的相似距离最小的待比较图像块确定为源图像块的相似图像块；

第二计算模块506，用于根据每个第一视频帧中第一确定模块502确定的所有源图像块、对应的各相似图像块以及对应的相似距离，计算得到包含第二视频帧的目标视频序列，第二视频帧分辨率高于第一视频帧。

具体地，第二计算模块506，具体用于对能量函数

中的L进行求导运算，得到能量函数的梯度公式G⁽ⁿ⁾＝W(B*H⁽ⁿ⁾-L)，以及对第一低视频序列中的每个第一视频帧预设置一个初始解H⁽⁰⁾，利用梯度公式G⁽ⁿ⁾，将计算出的G⁽ⁿ⁾代入H⁽ⁿ⁺¹⁾＝H⁽ⁿ⁾-λG⁽ⁿ⁾计算出H⁽ⁿ⁺¹⁾，进行迭代计算，直到收敛，得到H，上述公式中，B为模糊函数，W是高斯核函数与每一第一视频帧中所有源图像块对应的相似距离相乘得到的权值矩阵，L为每一视频帧中所有源图像块的集合及所有源图像块对应的相似图像块的集合，H为第二视频帧，n=0,1,2...，λ为常量。

本发明实施例并不仅限于上述对视频的超分辨率方法，对于一组分辨率较低的图像，同样适用于上述超分辨率方法，从而得到分辨率较高的一组图像，具体的，对于每一单帧图像的超分辨率实现过程与上述实现方法相同，在此不再赘述。

本发明实施例提供的视频的超分辨率方法及装置，首先对输入视频序列先进行下采样，其次利用输入视频序列中每个第一视频帧确定出的源图像块与在源图像块所属第一视频帧、所属第一视频帧的相邻视频帧、所属第一视频帧在下采样后的视频序列中对应的视频帧以及对应的视频帧的相邻视频帧中确定出的各待比较图像块之间的像素值项和结构项计算出源图像块与各待比较图像块之间的相似距离，相似距离最小的待比较图像块就是源图像块的相似图像块，最后再分别对每个第一视频帧中所有源图像块对应的各相似图像块以及对应的相似距离进行计算，得到包含第二视频帧的目标视频序列。可见，本发明的超分辨率方法，在搜索源图像块的相似图像块时，除考虑源图像块和待比较块的像素值项外，还考虑了源图像块和待比较块的结构项，即此方法结合了图像块的结构信息，避免出现锯齿问题，通过此方法可以得到分辨率较高的视频帧，提高了视频的视觉效果。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (12)

1.一种视频的超分辨率方法，其特征在于，包括：

对输入的视频序列进行下采样；

对输入的视频序列中的每个第一视频帧，以选取的每个像素点为中心，将该像素点及其周围设定数量的像素点确定为源图像块；

分别在该源图像块所属第一视频帧、所属第一视频帧的相邻视频帧、所属第一视频帧在下采样后的视频序列中对应的视频帧以及所述对应的视频帧的相邻视频帧中，以选取的每个像素点为中心，将该像素点及其周围设定数量的像素点确定为待比较图像块；

针对每个源图像块，利用该源图像块与各待比较图像块之间的像素值项和结构项，分别计算出该源图像块与各待比较图像块之间的相似距离，并将相似距离最小的待比较图像块确定为该源图像块的相似图像块；

根据每个第一视频帧中所有源图像块、对应的各相似图像块以及对应的相似距离，计算得到包含第二视频帧的目标视频序列，所述第二视频帧分辨率高于所述该第一视频帧。

2.如权利要求1所述的方法，其特征在于，所述下采样的尺度为1.25^-k，K为正整数。

3.如权利要求1所述的方法，其特征在于，所述源图像块以及待比较图像块为N×N大小的图像块，其中N为奇数。

4.如权利要求1所述的方法，其特征在于，所述相似距离通过下述公式计算得出：

其中，P_x1,y1为源图像块，P_x2，y2为待比较图像块，

是源图像块与待比较图像块之间的像素值项，

是源图像块与待比较图像块的结构项，

是用于调整所述像素值项和结构项权重的权值参数。

5.如权利要求4所述的方法，其特征在于，所述像素值项通过下述公式计算得出：

$d_i(P_{x_1,y_1},P_{x_2,y_2})={\mathrm{\Σ}}_{x,y}{G}_{\mathrm{\σ}}{(P_{x_1,y_1}(x,y)-P_{x_2,y_2}(x,y))}^2$

其中，G_σ是高斯核函数。

6.如权利要求4所述的方法，其特征在于，所述结构项通过下述方式计算得出：

分别确定该源图像块和该待比较图像块的取样矩阵

其中V₁、V₂...V_N ²为源图像块和待比较图像块中每个像素点的取样向量；

根据确定出的取样矩阵V_x，y计算得到该源图像块和该待比较图像块的协方差矩阵

和

利用下述公式计算得出所述结构项，其中G_σ是高斯核函数：

$d_s(P_{x_1,y_1},P_{x_2,y_2})={\mathrm{\Σ}}_{x,y}{G}_{\mathrm{\σ}}{(P_{x_1,y_1}(x,y)-P_{x_2,y_2}(x,y))}^2.$

7.如权利要求1所述的方法，其特征在于，根据每个第一视频帧中所有源图像块、对应的各相似图像块以及对应的相似距离，计算到包含第二视频帧的目标视频序列，包括：

对能量函数

中的L进行求导运算，得到能量函数的梯度公式G⁽ⁿ⁾＝W(B*H⁽ⁿ⁾-L)；

分别对所述第一视频序列中的每个第一视频帧预设置一个初始解H⁽⁰⁾，利用所述梯度公式G⁽ⁿ⁾，将计算出的G⁽ⁿ⁾代入H⁽ⁿ⁺¹⁾＝H⁽ⁿ⁾-λG^(N)计算出H⁽ⁿ⁺¹⁾，进行迭代计算，直到收敛，得到H，

上述公式中，B为模糊函数，W为高斯核函数与每一第一视频帧中所有源图像块对应的相似距离相乘得到的权值矩阵，L为每一第一视频帧中所有源图像块的集合及所有源图像块对应的相似图像块的集合，H为第二视频帧，n=0,1,2...，λ为常量。

8.一种视频的超分辨率装置，其特征在于，包括：

下采样模块，用于对输入的视频序列进行下采样；

第一确定模块，用于对输入的视频序列中的每个第一视频帧，以选取的每个像素点为中心，将该像素点及其周围设定数量的像素点确定为源图像块；

第二确定模块，用于分别在所述第一确定模块确定的该源图像块所属第一视频帧、所属第一视频帧的相邻视频帧、所属第一视频帧在所述下采样模块下采样后的视频序列中对应的视频帧以及所述对应的视频帧的相邻视频帧中，以选取的每个像素点为中心，将该像素点及其周围设定数量的像素点确定为待比较图像块；

第一计算模块，用于针对所述第一确定模块确定的每个源图像块，利用该源图像块与所述第二确定模块确定的各待比较图像块之间的像素值项和结构项，分别计算出该源图像块与各待比较图像块之间的相似距离；

第三确定模块，用于将所述第一计算模块计算出的相似距离最小的待比较图像块确定为该源图像块的相似图像块；

第二计算模块，用于根据每个第一视频帧中所有源图像块、对应的各相似图像块以及对应的相似距离，计算得到包含第二视频帧的目标视频序列，所述第二视频帧分辨率高于所述该第一视频帧。

9.如权利要求8所述的视频的超分辨率装置，其特征在于，所述第一计算模块，具体利用下述公式计算所述相似距离：

其中，P_x1,y1为源图像块，P_x2，y2为待比较图像块，

是源图像块与待比较图像块之间的像素值项，

是源图像块与待比较图像块的结构项，

是用于调整所述像素值项和结构项权重的权值参数。

10.如权利要求9所述的视频的超分辨率装置，其特征在于，所述第一计算模块，具体利用下述公式计算得出该源图像块与各待比较图像块之间的像素值项：

$d_i(P_{x_1,y_1},P_{x_2,y_2})={\mathrm{\Σ}}_{x,y}{G}_{\mathrm{\σ}}{(P_{x_1,y_1}(x,y)-P_{x_2,y_2}(x,y))}^2$

其中，G_σ是高斯核函数。

11.如权利要求9所述的视频的超分辨率装置，其特征在于，所述第一计算模块，具体用于确定所述第一确定模块确定的源图像块和所述第二确定模块确定的待比较图像块的取样矩阵

并根据确定出的取样矩阵V_x，y计算得到所述第一确定模块确定的源图像块和所述第二确定模块确定的待比较图像块的的协方差矩阵

和

再利用下述公式计算得出所述结构项，其中，V₁、V₂...V_N ²为源图像块和待比较图像块中每个像素点的取样向量，G_σ是高斯核函数

$d_s(P_{x_1,y_1},P_{x_2,y_2})={\mathrm{\Σ}}_{x,y}{G}_{\mathrm{\σ}}{(P_{x_1,y_1}(x,y)-P_{x_2,y_2}(x,y))}^2.$

12.如权利要求8所述的视频的超分辨率装置，其特征在于，所述第二计算模块，具体用于对能量函数

中的L进行求导运算，得到能量函数的梯度公式G⁽ⁿ⁾＝W(B*H⁽ⁿ⁾-L)，以及对所述第一低视频序列中的每个第一视频帧预设置一个初始解H⁽⁰⁾，利用所述梯度公式G⁽ⁿ⁾，将计算出的G⁽ⁿ⁾代入H⁽ⁿ⁺¹⁾＝H⁽ⁿ⁾-λG⁽ⁿ⁾计算出H⁽ⁿ⁺¹⁾，进行迭代计算，直到收敛，得到H，上述公式中，B为模糊函数，W是高斯核函数与每一第一视频帧中所有源图像块对应的相似距离相乘得到的权值矩阵，L为每一第一视频帧中所有源图像块的集合及所有源图像块对应的相似图像块的集合，H为第二视频帧，n=0,1,2...，λ为常量。

Images