CN103632359A

CN103632359A - 一种视频超分辨率处理方法

Info

Publication number: CN103632359A
Application number: CN201310689367.4A
Authority: CN
Inventors: 张磊; 肖煜东; 索津莉; 张永兵; 戴琼海
Original assignee: Shenzhen Graduate School Tsinghua University
Current assignee: Shenzhen Graduate School Tsinghua University
Priority date: 2013-12-13
Filing date: 2013-12-13
Publication date: 2014-03-12
Anticipated expiration: 2033-12-13
Also published as: WO2015085636A1; CN103632359B

Abstract

本发明公开了一种视频超分辨率处理方法，包括以下步骤：对接收的待处理的视频中的各帧图像进行如下处理操作：1）将当前帧图像划分为多个图像块；2）对当前帧图像中的各个图像块，分别进行如下处理，得到各个图像块的超分辨率图像块：1.检测获取当前块的相似块；2.对当前图像块的多个相似块分别进行上采样处理，得到各相似块的上采样图像块；3.将各相似块的上采样图像块融合成一个超分辨率图像块；3）按照各个图像块在当前帧图像中的位置，将各个图像块的超分辨率图像块整合成一幅图像，得到当前帧图像的超分辨率处理图像。本发明的视频超分辨率处理方法，利用空间域上相近似的图像块和/或时间域上相近似的图像块，可提高处理效果。

Description

一种视频超分辨率处理方法

【技术领域】

本发明涉及计算机视频处理领域，特别是涉及一种基于自相似块匹配的视频超分辨率处理方法。

【背景技术】

超分辨率处理技术是一种提高视频或者图像的分辨率的技术，通俗的理解即是通过硬件或软件的方法提高原有图像的分辨率。图像视频在其获取收集、传输储存等过程中由于某些因素的制约，可能导致其质量水平下降或者过低。随着计算机多媒体技术的发展，人们对数字图像清晰度的要求越来越高，因此经常需要通过超分辨率处理提高视频或者图像的分辨率，同时希望处理后的视频清晰度较高。现有的视频超分辨率处理方法，通常通过上采样处理后获得高分辨率图像。改进时一般对上采样过程不断改进，从而提高处理效果。然而，现有的处理方法得到的高分辨率图像仍然存在清晰度较差，超分辨率处理效果不好的问题。

【发明内容】

本发明所要解决的技术问题是：弥补上述现有技术的不足，提出一种视频超分辨率处理方法，在提高图像分辨率的同时确保图像清晰度，提高了超分辨率处理效果。

本发明的技术问题通过以下的技术方案予以解决：

一种视频超分辨率处理方法，包括以下步骤：对接收的待处理的视频中的各帧图像进行如下处理操作：1）将当前帧图像划分为多个图像块；2）对当前帧图像中的各个图像块，分别进行如下处理，得到各个图像块的超分辨率图像块：21）在当前帧图像中检测获取当前图像块的相似块和/或在当前帧图像的前L帧、后K帧图像中检测获取当前图像块对应的图像块的相似块，得到当前图像块的多个相似块；其中，L和K均为大于等于0的整数，且L和K不同时为0，具体取值由用户根据处理精度和处理速度的要求进行设定；22）对当前图像块的多个相似块分别进行上采样处理，得到各相似块的上采样图像块；23）将各相似块的上采样图像块融合成一个超分辨率图像块；3）按照各个图像块在当前帧图像中的位置，将各个图像块的超分辨率图像块整合成一幅图像，得到当前帧图像的超分辨率处理图像。

本发明与现有技术对比的有益效果是：

本发明的视频超分辨率处理方法，对划分的多个图像块，分别检测获取各图像块在当前帧图像中相匹配的块和/或在前后领域帧图像中相匹配的块，即获取了空间域上相近似的图像块和/或时间域上相近似的图像块，后续再进行上采样、图像块融合等步骤。这样，在超分辨率处理过程中充分地利用了视频序列时域上以及空域上的信息，即充分利用相似图像块中的亚像素信息，确保融合重建依据的信息量充足，从而在提高图像分辨率的同时确保图像清晰度，提高了超分辨率处理效果。

【附图说明】

图1是本发明具体实施方式的视频超分辨率处理方法中对各帧图像处理的流程图；

图2是本发明具体实施方式的视频超分辨率处理方法中检测获取相似块的方法流程图；

图3是本发明具体实施方式的视频超分辨率处理方法中重叠划分块时的示意图。

【具体实施方式】

下面结合具体实施方式并对照附图对本发明做进一步详细说明。

本发明的构思是：　通过研究自相似图像块与提高视频清晰度之间的相关性，在超分辨率处理的上采样算法的基础上，利用相似图像块集合中的亚像素信息来实现超分辨率，从而在提高视频分辨率的同时确保重建后图像的清晰度。超分辨率处理时，首先将当前帧图像划分为多个图像块，对于划分出来的每一个图像块，在当前帧空域上以及时间域上前后帧寻找与之相似的匹配图像块，并将所有相似的匹配图像块组合在一起构成相似块集合。然后将相似块集合中图像块分别采用上采样算法进行上采样，得到上采样后尺寸较大的相似图像块数组，最后将这些图像块数组融合为一个图像块便得到了超分辨率后的一个图像块。类似地，将当前帧内划分出来的所有图像块按照上述方法处理便可以得到一帧超分辨率后的图像。将视频中各帧图像均进行上述超分辨率处理，即得到分辨率提高且清晰度较好的视频。

本具体实施方式中视频超分辨率处理方法，处理针对的视频序列为通过摄像机、照相机采集所得，或者通过计算机工具所得的视频序列，数据格式不限。处理时，对视频中的各帧图像均进行如图1所示的超分辨率处理操作，具体包括以下步骤：

U1）将当前帧图像划分为多个图像块。

该步骤中，划分图像块有多种实现方式，一种方式是，将当前帧图像按照固定形状（如统一的正方形窗口）大小划分成多个图像块，例如将包含256个像素点的图像划分为4个8×8的图像块，或者16个4×4的图像块。再例如采用类似BM3D算法中的平方窗图像块，将图像划分为多个块。还有一种方式是，采用8方向LPA-ICI（LocalPolynomial Approximation-Inter section of Confidence Intervals，简称LPA-ICI）法求图像的自适应图像块形状，从而将当前帧图像划分为多个自适应的图像块。划分图像块的方式有多种，上述仅为示例性，其它可用于划分图像的方法均可以应用于此。

U2）对当前帧图像中的各个图像块，分别进行如下处理，得到各个图像块的超分辨率图像块：

U21）检测获取当前图像块的多个相似块，具体为：在当前帧图像中检测获取当前图像块的相似块和/或在当前帧图像的领域帧图像中检测获取当前图像块对应的图像块的相似块，得到当前图像块的多个相似块。其中，领域帧图像为前L帧、后K帧图像，其中L和K均为大于等于0的整数，且L和K不同时为0，具体取值由用户根据处理精度和处理速度的要求进行设定。

该步骤中，检测获取相似块时，包括获取当前帧空域相似块和/或前后帧时域相似块。如果既获取空域相似块，又获取时域相似块，则精度较高，但相应运算量较大。因此用户可根据处理精度和速度的要求设定是获取其中一类相似块较为合适还是同时获取两类相似块较为合适。再者，结合后续超分辨率处理的步骤，可知处理过程的运算复杂度主要体现在检测获取相似块的过程中，但由于寻找相似块有较多实现方法，因此可以在保证视频超分辨率效果的情况下，尽量选择计算复杂度较低的检测方法。

本具体实施方式中在空间域或者时间域检测获取相似块时如图2所示，包括以下步骤：

100）检测获取多个候选块。

该步骤中，获取候选块时有多种方式。图2中仅示例性地列举一种计算复杂度较低的获取候选块的具体方法，包括如下步骤：

p）设定窗口：以当前待寻找相似块的图像块为中心，设定W×W大小的窗口，其中，W为用户设定的经验值。如果在当前帧中寻求获取空间域相似块，则以当前图像块为中心，设定窗口。如果在邻域帧中寻求获取时间域相似块，则以当前帧图像中当前图像块在相应邻域中对应的图像块为中心，设定窗口。

根据后续检测获取候选块直至确定为相似块的过程，可知后续的运算量与此处设定的搜索范围有关联。如果W设定较大，例如W×W的窗口为全局图像范围，那么后续得到的相似块就多，相应超分辨处理的运算量就大，当然好处就是处理精度会较好；如果W设定较小，例如W×W的窗口仅仅为当前图像块周围一个较小的局部图像范围，那么后续得到的相似块就少，相应超分辨处理的运算量就小，当然缺点就是处理精度会稍差一些。因此，用户可根据超分辨率处理的速度和精度的要求综合设定：如果对超分辨率处理速度要求较高，则使用局部化的块匹配，即缩小寻找相似块的局部区域范围（减小W的值）以及减少搜索时间域上前后邻域帧的数量（减小L和K的值）。

q）设定左上角块：在所述窗口中，取左上角块，所述左上角块的形状、大小与当前待寻找相似块的图像块的形状、大小相同。

该步骤中，如果前述步骤U1）中将当前帧图像划分为多个正方形块，那么针对当前帧图像中当前块寻找相似块时，此处左上角块即取相同大小的正方形块。如果前述步骤U1）中将当前帧图像划分为多个不规则形状块，那么寻找相似块时，此处左上角块即取与当前块相同大小和形状的不规则形状块。

r）滑动所述左上角块，得到多个候选块：将所述左上角块沿着水平向右和竖直向下的方向按设定的步进尺度滑动，得到多个候选块。该步骤中，步进尺度可为一个像素点或者多个像素点。

通过如上步骤p）至步骤r），即实现了步骤100）中确定候选块的过程。确定出多个候选块后，即进入步骤200）至步骤300）。

200）计算各个候选块与当前待寻找相似块的图像块的颜色距离。

该步骤中，两个图像块之间的颜色距离d可根据如下公式计算：

d = \sqrt{{(I_{1}^{r} (x, y) - I_{2}^{r} (x, y))}^{2} + {(I_{1}^{g} (x, y) - I_{2}^{g} (x, y))}^{2} + {(I_{1}^{b} (x, y) - I_{2}^{b} (x, y))}^{2}}, x, y &Element; I_{1}, I_{2}

其中，I^r(x,y)、I^g(x,y)、I^b(x,y)分别表示块I（I₁或I₂）中位置（x，y）处像素点的红色通像素值、绿色通道像素值、蓝色通道像素值。上述计算公式是在RGB色彩空间，当然也可转换到其它空间，例如CIELab色彩空间，相应计算颜色距离。在此不详细说明。

300）比较各个候选块对应的颜色距离与设定的阈值之间的大小，将颜色距离小于所述阈值的候选块保留作为当前待寻找相似块的图像块的相似块。

图像块之间的相似性、匹配度由其颜色距离的倒数来决定的，与颜色距离成反比例，即越小的距离意味着越高的相似度。因此该步骤中，设定一个阈值（由用户设定的经验值），如果颜色距离小于该阈值，说明候选块与当前块有着较高的相似度，可认定其为相似块；如果颜色距离较大，大于阈值，说明候选块与当前块不相似，即可排除掉。

通过如上步骤100）至步骤300），即实现了一种检测获取相似块的过程。其中，有如下优选地设置，可优化上述检测获取相似块的过程：

第一种，步骤100）中还包括扩充候选块的步骤，即将得到的所述候选块对称翻转或者左右旋转多个角度得到多个转动块，也作为当前图像块的候选块。其中多个角度为遍布0°～90°范围内等间隔分布的多个角度。例如，取10°，20°，30°，……，90°的9个角度，分别转动候选块，得到另外9个转动块，也作为当前块的候选块。也可取15°，30°，45°，……，90°的6个角度，分别转动候选块，得到另外6个转动块，也作为当前块的候选块。这样，通过对称翻转或者角度转动，获得更多个数的候选块，从而增加候选块携带的信息量，后续即可获得效果更好的超分辨率处理结果。

第二种，步骤100）和步骤200）之间还包括筛选多个候选块的步骤100’），即a）计算当前图像块中像素点的像素值的均值或者方差；b）计算各个候选块中像素点的像素值的均值或者方差；c）计算步骤b）中均值或者方差与步骤a）中均值或者方差的差值；d）比较均值或者方差的差值与均值或者方差的阈值的大小，保留所述差值小于所述阈值的候选块，去除所述差值大于等于所述阈值的候选块。通过均值或者方差来筛选候选块，保留均值或者方差相接近的块作为候选块，可在计算颜色距离之前通过均值或者方差快速地去除一些不相似的块，后续再通过精细化的颜色距离筛选过程精细化筛选确定为相似块，从而提升检测获取相似块过程的运算速度。

检测获取相似块后，即进入步骤U22）的上采样过程：

U22）对当前图像块的多个相似块分别进行上采样处理，得到各相似块的上采样图像块。

该步骤中，可以选取（但不局限于）bicubic/nnedi3插值算法或者SmartEdge上采样算法等。图像块上采样的倍数或者尺寸大小按照当前帧图像需要超分辨率得到的尺寸倍数而定，例如，原视频图像为10×10的分辨率，希望超分辨率处理后得到40×40的分辨率，那么上采样的倍数即设定为4倍；如果希望超分辨率处理后得到20×30的分辨率，那么上采样的倍数即设定为长2倍，宽3倍。

U23）将各相似块的上采样图像块融合成一个超分辨率图像块。

如上所述，将包含空间域和/或时间域的相似块数组上采样处理后，按照一种合适的方式将高分辨率的相似块融合成为一个上采样后的图像块，这里可以采用（但不局限于）取中值、平均值或者加权平均的方法，即得到原图像块的超分辨率后的结果。具体融合时，对于当前图像块中的当前像素点，取各上采样图像块中的相应像素点，计算相应像素点的像素值的中值、平均值或者加权平均值，作为当前像素点在超分辨率图像块中的像素值。其中，加权系数根据当前图像块与上采样图像块对应的相似块之间的颜色距离确定，与颜色距离成反比，具体取值为用户设定的经验值。如颜色距离越小，则表示相似块与当前图像块越相近似，因此可设定其对应的上采样图像块融合时的加权系数较高；反之，如颜色距离越大，则相应的加权系数较小。如此，融合后得到当前图像块的超分辨率图像块。

如上所述步骤U21）至步骤U23），即可得到一个图像块经超分辨率处理后的超分辨率图像块。重复步骤U21）至步骤U23），得到各个图像块的超分辨率图像块，之后进入步骤U3）。

U3）按照各个图像块在当前帧图像中的位置，将各个图像块的超分辨率图像块整合成一幅图像，得到当前帧图像的超分辨率处理图像。

该步骤中，按照原视频当前帧图像中各图像块的相对位置进行整合，将各个超分辨率图像块整合后，即得到当前帧图像的超分辨率处理图像。对视频中各帧图像重复执行步骤U1）至U3），即可得到各帧图像的超分辨率处理块。

优选地，为了防止图像块整合时出现的“网格”效应，可以采用如下优选的方法：在步骤U1）中将当前帧划分图像块时，将相邻图像块之间重叠2～5个像素点的宽度范围来划分图像。如图3所示，以划分为正方形块为例说明。图3上部的内容示出了未重叠时划分的情形，下部的内容示出了重叠划分的情形。重叠划分时，先划分出图像块A1，然后在图像块A1的右边重叠△A个（2≤△A≤5）像素点的宽度划分出图像块A2，接着在图像块A2的右边重叠△A个（2≤△A≤5）像素点的宽度划分出图像块A3，依此类推，划分出图像块A4，A5。重叠划分后，此步骤U3）所有超分辨率后的图像块整合的时候，重叠部分的图像即取相应涉及到的图像块的超分辨率图像块中相应像素点的像素值的平均值。例如，图中像素点I处，整合超分辨率图像块时，该像素点相应位置处的像素值，取图像块A2对应的超分辨率图像块中相应位置的像素点，以及图像块A3对应的超分辨率图像块中相应位置的像素点，取上述两个像素点的像素值的平均值。如果重叠时涉及到更多个图像块，则相应整合时取多个相应像素点的像素值的平均值。通过重叠的处理，可消除图像块整合时出现的“网格”效应，确保视频图像在超分辨率处理后的边缘等细节处的处理效果较好。

本具体实施方式中，由于超分辨率处理时，对于视频图像帧中的每一帧图像中的每一个图像块而言，因其搜索了当前帧空域上以及时域上的前后相邻帧内所有的相似图像块，因此充分利用了视频序列时域上以及空域上的信息，即充分利用相似图像块中的亚像素信息，确保融合重建依据的信息量充足，从而在提高图像分辨率的同时确保图像清晰度，提高了超分辨率处理效果。而整个算法中运算量较大的相似图像块寻找检测过程，又因为用户可根据对于运算复杂度和精度的要求综合选择寻找时的范围，因此本具体实施方式中超分辨率处理方法的计算复杂度也在可控制的范围。

优选地，本具体实施方式的超分辨率处理方法还包括输出视频的步骤：将处理后得到的各帧超分辨率处理图像按照时间顺序进行整合，输出超分辨率处理后的视频。即通过输出步骤，将各帧超分辨率处理图像整合成视频，即得到超分辨率处理重建后的视频。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下做出若干替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。

Claims

1.一种视频超分辨率处理方法，其特征在于：包括以下步骤：对接收的待处理的视频中的各帧图像进行如下处理操作：

1）将当前帧图像划分为多个图像块；

2）对当前帧图像中的各个图像块，分别进行如下处理，得到各个图像块的超分辨率图像块：

21）在当前帧图像中检测获取当前图像块的相似块和/或在当前帧图像的前L帧、后K帧图像中检测获取当前图像块对应的图像块的相似块，得到当前图像块的多个相似块；其中，L和K均为大于等于0的整数，且L和K不同时为0，具体取值由用户根据处理精度和处理速度的要求进行设定；

22）对当前图像块的多个相似块分别进行上采样处理，得到各相似块的上采样图像块；

23）将各相似块的上采样图像块融合成一个超分辨率图像块；

3）按照各个图像块在当前帧图像中的位置，将各个图像块的超分辨率图像块整合成一幅图像，得到当前帧图像的超分辨率处理图像。

2.根据权利要求1所述的视频超分辨率处理方法，其特征在于：所述步骤21）检测获取当前图像块或者当前图像块对应的图像块的相似块时包括如下步骤：100）检测获取多个候选块；200）计算各个候选块与当前待寻找相似块的图像块的颜色距离；300）比较各个候选块对应的颜色距离与设定的阈值之间的大小，将颜色距离小于所述阈值的候选块保留作为当前待寻找相似块的图像块的相似块。

3.根据权利要求2所述的视频超分辨率处理方法，其特征在于：所述步骤100）中还包括扩充候选块的步骤：将得到的所述候选块对称翻转或者左右旋转多个角度得到多个转动块，也作为当前图像块的候选块；其中多个角度为遍布0°～90°范围内等间隔分布的多个角度。

4.根据权利要求2或3所述的视频超分辨率处理方法，其特征在于：所述步骤100）和步骤200）之间还包括筛选多个所述候选块的步骤100’）：a）计算当前图像块中像素点的像素值的均值或者方差；b）计算各个候选块中像素点的像素值的均值或者方差；c）计算步骤b）中均值或者方差与步骤a）中均值或者方差的差值；d）比较所述均值或者方差的差值与设定的均值或者方差的阈值的大小，保留所述差值小于所述阈值的候选块，去除所述差值大于等于所述阈值的候选块。

5.根据权利要求2所述的视频超分辨率处理方法，其特征在于：所述步骤100）包括以下步骤：p）以当前待寻找相似块的图像块为中心，设定W×W大小的窗口，其中，W为用户设定的经验值；q）在所述窗口中，取左上角块，所述左上角块的形状、大小与当前待寻找相似块的图像块的形状、大小相同；r）将所述左上角块沿着水平向右和竖直向下的方向按设定的步进尺度滑动，得到多个候选块。

6.根据权利要求1所述的视频超分辨率处理方法，其特征在于：所述步骤22）中，上采样处理时采用bicubic/nnedi3插值算法或者SmartEdge上采样算法。

7.根据权利要求1所述的视频超分辨率处理方法，其特征在于：所述步骤23）中融合时，对于当前图像块中的当前像素点，取各上采样图像块中的相应像素点，计算相应像素点的像素值的中值、平均值或者加权平均值，作为当前像素点在超分辨率图像块中的像素值；其中，加权系数根据当前图像块与上采样图像块对应的相似块之间的颜色距离确定，与颜色距离成反比，具体取值为用户设定的经验值。

8.根据权利要求1所述的视频超分辨率处理方法，其特征在于：所述步骤1）中划分图像时，将相邻图像块之间重叠2～5个像素点宽度的范围划分图像；所述步骤3）整合时，未重叠的位置处的图像，直接取相应超分辨率图像块中相应像素点的像素值；重叠的位置处的图像，取重叠处涉及的超分辨率图像块中相应像素点的像素值的平均值。

9.根据权利要求1所述的视频超分辨率处理方法，其特征在于：所述步骤1）中划分图像时，按照设定的固定形状划分图像或者根据当前帧图像中像素点的像素值计算出自适应的图像块形状后按照自适应的图像块形状划分图像。

10.根据权利要求1所述的视频分辨率处理方法，其特征在于：还包括输出视频的步骤：将处理后得到的各帧超分辨率处理图像按照时间顺序进行整合，输出超分辨率处理后的视频。