CN104660951A - 一种高清转超高清视频图像的超分辨率放大方法 - Google Patents

Abstract

本发明提供了一种高清转超高清视频图像的超分辨率放大方法，所述方法步骤包括：步骤一：从高清视频流中读取一帧图像；步骤二：对读取的图像数据预处理；步骤三：对读取的图像按固定大小分块；步骤四：对每一个图像块进行n步小倍数scale放大，其中每一步都使用局部自样本学习的放大方法；步骤五：将图像块重新拼接、后处理，得到一帧超高清视频图像；步骤六：回到步骤一，读取下一帧图像。本发明所述方法能够实现实时地将高清视频转换成超高清视频，保持了高质量的画质，同时也实现了25fps的实时帧速率。

Description

一种高清转超高清视频图像的超分辨率放大方法

技术领域

本发明涉及高清视频图像超分辨率放大领域，具体地，涉及一种采用局部自样本学习原理进行多步小倍数放大实时地得到超高清、高质量图像的方法。

背景技术

图像超分辨率放大是图像/视频处理领域的基本问题，是将具有较低分辨率的图像通过上采样、插值等方法处理得到具有较高分辨率的图像。对于图像的超分辨放大操作是基于已有的图像，根据一定的自然规律或者先验知识进行放大的，且放大过程无法增加信息量，该问题是一个不适定的问题。

传统的超分辨放大方法是采用邻插值、双线性插值、双三次线性插值和高阶样条插值等方法。其中：采用邻插值的方法，容易产生明显的锯齿和马赛克现象；双线性插值具有低通滤波的功能，虽然能够克服邻插值方法的不足，但是会使图像的高频部分退化，图像细节变模糊，质量不高；双三次线性插值或者高阶样条插值效果相比效果较好，能使放大图像浓淡变化自然平滑，但是由于图像中的物体轮廓、纹理的存在，边缘处的像素值不连续性较大，使用常规的插值方法仍会使图像的轮廓、纹理模糊，降低了图像的质量。

以上的一些基于插值的方法无法满足用户对于高质量图像的欣赏需求，研究人员相继提出了基于多帧图像融合的超分辨率放大和基于样本学习的超分辨率放大等方法。

基于样本学习的超分辨率方法是2002年由W.T.Freeman等人在《Computer Graphicsand Applications》发表的“Example based super resolution”一文中提出的。2011年GILADFREEDMAN等人经过进一步分析，在《Image and Video Upscaling from LocalSelf-Examples》一文中提出一种基于局部样本学习的超分辨放大方法，它基于样本学习的方法进行深度挖掘，能够高质量地、有效率地完成放大，它不依赖外部的图像样本库或依赖整幅图像为样本库，而是依循局部自相似原理的假设，提出以局部范围内的图像块为样本库进行样本学习，完成放大过程。该方法极大地降低了最佳匹配块的搜索时间，同时又保持了极高的图像放大质量。它提出的这种方法，在放大系数较小的情况下，局部自相似假设更为可靠，因而放大得到的图像质量也更高。

高清、超高清分辨率的视频、图像即将逐渐发展为通用的图像格式，用户对于高质量图像的需求也愈发迫切，但是无论是基于外部样本库的样本学习方法、还是基于局部自样本学习方法，在面对图像尺寸为1920*1080这样的高清图像时，进行学习匹配所带来的计算量无疑是巨大的，处理时间也比较长，无法满足实时处理的需求。

中国专利CN103985085A公开了一种图像超分辨率放大的方法和装置。所述方法包括：根据倍率，分别获得原始图像的放大图像、低频图像和高频图像；将放大图像划分为多个预定大小的像素块；针对所述每个像素块执行以下操作：在低频图像的预定大小的局部区域内，按预定步长搜索与放大图像中的像素块最相似的像素块，将高频图像中的与在低频图像中搜索到的最相似的像素块的位置相同的像素块叠加到放大图像中的像素块；输出放大图像中的所有像素块被叠加完成之后的图像，作为最终放大图像，其中，搜索与放大图像中的像素块最相似的像素块的步骤包括：使用加权块匹配准则来搜索与放大图像中的像素块最相似的像素块，其中，加权函数为具有中心下降特性的分布函数。该专利描述了一种先对图像进行预处理得到放大图像、低频图像和高频图像，然后再分块进行逐点处理，但是该方法在预处理阶段，对于计算机、处理器或可编程硬件包括可存储或可接受软件或计算机代码的存储器件来说，数据的局部性不够强，数据传输占用内存带宽太大，不利于高清转超高清实时超分辨放大，除此之外，该方法在单步放大过程中，需要多次图像的缩放操作，也不利于计算机处理。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种高清转超高清视频图像的超分辨率放大方法，能够实现实时地将高清视频转换成超高清视频，保持了高质量的画质，同时也实现了每秒25帧(25fps)的实时帧速率。

为实现以上目的，本发明提供一种高清转超高清视频图像的超分辨率放大方法，所述方法包括如下步骤：

步骤一：从高清视频流中读取一帧图像；

步骤二：对步骤一的图像数据预处理，包括去噪、图像数据格式转换、像素存储精度转换；

步骤三：对步骤一的图像按固定大小分块；

步骤四：对步骤三得到的每一个图像块进行n步小倍数scale放大，其中每一步都使用局部自样本学习的放大方法；

步骤五：将图像块重新拼接、后处理，得到一帧超高清视频图像；

步骤六：回到步骤一，读取下一帧图像。

优选地，步骤二中，所述的图像预处理采用12-bit精度存储图像数据；预处理以满足对实时性的需求即可。

优选地，步骤三中，所述的对图像按固定大小分块，是依处理器的高速存储单元的容量而决定，以充分使用高速存储单元的高带宽为佳。

优选地，步骤四中，选取的步数n和每一步放大的系数scale需满足scale^n＝2；在一定的计算能力下满足实时性需求，可以最优地调整步数n与scale的值。

更优选地，每一步放大采用的放大倍数scale相同或不同，只要满足总体放大2倍，1<scale<1.3。

优选地，步骤四中，所述的局部自样本学习的放大方法步骤包括：

步骤1、读取一幅图像I1；

步骤2、对图像I1进行处理得到低频图像L1；

步骤3、将图像I1减去低频图像L1，得到高频图像H1；

步骤4、使用上采样的方法小倍数地放大图像I1，得到放大的低频图像L2；

步骤5、在低频图像L1中的一定范围内，搜索与低频图像L2中像素块匹配度最高的像素块，得到最佳匹配块的相对位置；

步骤6、在高频图像H1中，取出低频图像L1中最佳匹配块同一位置上的一定大小像素块，即为叠加块，累加存储得到高频图像H2；

步骤7、将低频图像L2和匹配到的高频图像H2相加，得到输出图像。

更优选地，所述步骤2中，使用低通模板对图像I1进行低通滤波得到低频图像L1，其中低通模板采用滤波模板实现；获取低频图像L1的方法不限于采用低通模板形式，亦不限于采用何种低通模板，依处理平台的计算能力和期望的图像质量而定。

更优选地，所述步骤4中，使用上采样的方法为采用双线性插值或双三次插值的方法。

更优选地，所述步骤5中，搜索范围和搜索匹配块大小依对图像质量的需求和实时处理平台的计算能力而决定；如果增大搜索范围，增大搜索匹配块大小，匹配准确度会更高，图像质量也会更好，但是搜索的计算量也更大，不利于实时实现。

更优选地，所述步骤6中，叠加块的大小可以大于所述步骤5中搜索匹配块大小，前提是保证局部相似性成立，这是基于减少计算量、和保持图像质量等方面更的考虑，在计算性能更好的平台上，可以适当提高叠加块的大小。

优选地，步骤五中，所述的后处理是指：对多步放大和拼接后的结果进行进一步的调整，如进行降采样迭代进行收敛性调整。

与现有技术相比，本发明具有如下的有益效果：

1.降低了数据精度，减少对存储空间的需求；

2.采用定点计算方案，降低了处理器对浮点运算的需求；

3.分块处理提高了数据的局部性，降低了对系统存储器带宽需求；

4.采用低通滤波模板，取代通行的先下采样再上采样两步法，一次性得到低频图像，降低了运算需求；

5.较小的搜索范围，虽然会降低匹配度，但是能够充分减少计算量，满足对高清转超高清视频图像的实时需求；

6.较小的搜索匹配块大小同样减低了计算量，以配合实时性需求；

7.稍大于搜索匹配块大小的叠加块，在保证局部近似性的前提下，补充足够的高频分量，实现高画质需求。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1是本发明一实施例的方法步骤框图；

图2是本发明一实施例的单个图像块单步放大的处理过程图；

图3是本发明一实施例的获取低频图像采用的低通模板示意图；

图4是本发明一实施例的放大图像与未放大图像的坐标转换图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

如图1所示，本实施例提供一种高清转超高清视频图像的超分辨率放大方法，包括如下步骤：

1、读取高清视频流中一帧图像数据，将分辨率为w*h的n-bit像素数据转换为m-bit精度存储；对于高清的视频图像，w＝1920，h＝1080，一般的原始存储数据位数n＝8或10，处理过程中，数据精度m可以为12、14、16或者其它，依需求而定。

2、横向扩展：图像向左扩充w_margin列，向右扩充w_margin列，成为(w+2*w_margin)*h。

3、纵向扩展：图像向上扩充h_margin行，向下扩充h_margin行；成为(w+2*w_margin)*(h+2*h_margin)；向左/右或上/下扩充的列数或行数，与后续的插值方式和搜索范围、匹配块大小有关联，原则是保证插值、搜索和匹配数据不会发生越界；在本实施例中，取w_margin为8，取h_margin为12，即可完成扩展。

4、将图像分割得到图像块，每个图像块分辨率为A*A，则一共有个图像块，然后执行以下步骤重复次图像分割的大小，可以依靠近处理器最近的寄存器、或cache的高速存储单元的尺寸而决定，保证处理单个图像块时，所有的中间数据均在最高速、或较高速的存储单元中，以满足实时性的需求，在本实施例中，取A＝16；具体的：

4.1)取原始图像中包含有A*A中心的、分辨率为B*B(B>A)的数据块，取出的数据尺寸B大于A，是为了保证后续的双线性插值和块搜索过程不会缺失数据，在本实施例中，取B＝32；

4.2)以4.1中取出的数据为输入图像，作第一次放大，放大倍数为scale(1<scale<1.3)倍，得到第一次的输出图像；

4.3)与4.2类似的，以前一次的输出图像为输入图像，再作两次放大，放大倍数均为scale倍，得到最终的输出图像，scale的大小不宜过大，否则不能很好的满足局部自相似的算法前提假设，但同时需要满足对整体放大倍数为2倍的需求，在本实施例中，取scale＝1.26(512/406＝1.261083)；

4.4)取4.3中的输出图像，其中心的、分辨率为C*C(C＝2*A＝32)的图像，即为单个图像块的放大结果。

5、将所有的分辨率为C*C的图像块重新拼接到一起。

6、从拼接的图像中，取出尺寸为2w*2h的图像，即为超高清图像。

上述步骤4中，三次单步放大过程是类似的，以step_src命名某一步的输入图像，以step_i2命名该步放大后的输出图像；详细步骤如图2所示，具体内容如下：

1、将step_src向四个方向上各自扩展1个像素，得到(B+2)*(B+2)的step_i1；

2、使用低通模板对step_i1的中心B*B的数据低通滤波，得到B*B的step_temp，低通模板如图3所示。得到低频图像的方法不限于这一种滤波模板；本实施例所设定的低通模板为3*3大小的低通模板。从中心往外的权值依次减少，体现出中心像素的重要性，同时使用低通模板的方式获取低频图像的方法亦只是为了获取更快速的处理，本领域的技术人员很容易理解本实施例的低通滤波模板或者获取低通图像的方法不限于此；

3、将step_temp向四个方向上各自扩展1个像素，得到(B+2)*(B+2)的step_l1；

4、step_i1-step_l1得到(B+2)*(B+2)的step_temp；

5、将step_temp向四个方向上各自扩展1个像素，得到(B+4)*(B+4)的step_h1；

6、计算(B+6)*(B+6)的step_l2；坐标映射方法为：

6.1)L2:[0:37]映射到[-18.5:1:18.5](程序中还将此坐标乘以512，向下近似，取整去除小数点)；

6.2)L1:[0:33]映射到[-16.5:1:16.5](还将此坐标乘以512，向下近似，取整去除小数点)；

6.3)进行双线性插值时，计算[-18.5:1:18.5]中的任意一点的周围四点坐标映射方法如图4所示：根据此图映射关系，可以得到L1中的四个周边像素，坐标映射的低9位(对512取余数)即为四个加权系数；

7、计算出一张L2到L1的映射表step_l2l1_map[40]，以备后续使用；

8、L2中逐点执行如下操作，即(B+6)*(B+6)次，得到一张大小为(B+6)*(B+6)*b*b的绝对误差和统计表step_subabs；本实施例在此处采用绝对误差最小和作为最佳匹配块的判断准则，但本领域的技术人员容易理解本实施例的判断准则亦可以选取其他，如最小均方误差和等；

8.1)根据当前L2的点坐标(i，j)，取出映射表中L1的坐标(l2l1_map_loc_x，l2l1_map_loc_y)；

8.2)计算L2(i，j)–L1(l2l1_map_loc_x–1+k，l2l1_map_loc_y-1+l)的绝对值并存储该绝对值；

8.3)步骤8.2共执行b*b次，即k取[0:b-1]，l取[0:b-1]；

9、为L2中心的(B+4)*(B+4)个的点，搜索匹配块，匹配块的偏移坐标存储在大小为(B+4)*(B+4)的step_min_loc_x和step_min_loc_y中，另外把sad存到(B+4)*(B+4)*(B+4)*(B+4)*b*b的step_sad中；具体如下：

9.1)检查L2的x方向三个坐标中是否有映射到同一个L1的x坐标的情况(左边两个点映的映射值一样，或者右边两个点的映射值一样，不可能三个点的映射值一样)；

9.2)检查L2的y方向三个坐标中是否有映射到同一个L1的y坐标的情况(上面两个点映的映射值一样，或者下面两个点的映射值一样，不可能三个点的映射值一样)；

9.3)从b*b个待选块中，计算出每一个大小为c*c的待搜索匹配块的sad值，并从b*b个待选块中挑选出具有最小sad值的最佳匹配块，记录该最佳匹配块的相对坐标；本实例取c＝3，即搜索匹配块大小为3*3，本领域的技术人员容易理解该区域大小可以根据对图像质量的需求和处理平台计算能力的权衡，选择合适的大小；在计算性能更好的平台上，可以适当增大搜索匹配块大小。

9.4)注意并非b*b个块全部有效，根据9.1和9.2中的检查，某些块是无效的，检查完毕后，实际有效块个数为(b-1)*(b-1)；本实施例取b＝4，即搜索范围设定为3*3的区域，兼顾了匹配效果和实时处理两个互相制约的因素，本领域的技术人员容易理解该区域大小可以根据对图像质量的需求和处理平台计算能力的权衡，选择合适的大小；在计算性能更好的平台上，可以适当提高搜索范围。

9.5)把b*b个sad值存到step_sad；

10、根据9中的偏移坐标，将所有的高频块叠加到一起，得到(B+8)*(B+8)的step_h2_all；具体地：

10.1)将step_h2_all清零；

10.2)取d*d的高频块进行叠加，本实施例中所高频叠加块大小为5*5；本领域的技术人员容易理解该高频叠加块可以根据对图像质量的需求和处理器计算能力的权衡，选择合适的大小；在计算性能更好的平台上，可以适当提高搜索范围和/或增大搜索匹配块大小，进而提高高频叠加块大小。

11、取step_l2和step_h2_all中心C*C范围内的数据，相加得到C*C的step_i2；由于step_h2_all叠加了d*d次高频值，所以需要对step_h2_all的值除以d*d操作，除法操作使用移位的方式实现。

本发明对高清视频图像超分辨放大到超高清视频图像，在FPGA平台上，处理图像的帧率为25fps，达到实时处理的要求。同时，本发明相较于传统的插值超分辨方法，有明显的改善视频画质的效果。

本发明上述实施例中的具体参数仅为说明本发明技术方案的实施而举例，本发明在另外的实施例中也可以采用其他的具体参数，这对于本发明实现没有本质性的影响。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (10)

1.一种高清转超高清视频图像的超分辨率放大方法，其特征在于，所述方法包括如下步骤：

步骤一：从高清视频流中读取一帧图像；

步骤二：对步骤一的图像数据预处理，包括去噪、图像数据格式转换、像素存储精度转换；

步骤三：对步骤一的图像按固定大小分块；

步骤四：对步骤三得到的每一个图像块进行n步小倍数scale放大，其中每一步都使用局部自样本学习的放大方法；

步骤五：将图像块重新拼接、后处理，得到一帧超高清视频图像；

步骤六：回到步骤一，读取下一帧图像。

2.根据权利要求1所述的一种高清转超高清视频图像的超分辨率放大方法，其特征在于，步骤二中，所述的图像预处理采用12-bit精度存储图像数据。

3.根据权利要求1所述的一种高清转超高清视频图像的超分辨率放大方法，其特征在于，步骤三中，所述的对图像按固定大小分块，图像分块的大小是依处理器的高速存储单元的容量而决定，以充分使用高速存储单元的高带宽。

4.根据权利要求1所述的一种高清转超高清视频图像的超分辨率放大方法，其特征在于，步骤四中，选取的步数n和每一步放大的系数scale需满足scale^n＝2；在一定的计算能力下满足实时性需求，可以最优地调整步数n与scale的值。

5.根据权利要求4所述的一种高清转超高清视频图像的超分辨率放大方法，其特征在于，每一步放大采用的放大倍数scale相同或不同，只要满足总体放大2倍即可，1<scale<1.3。

6.根据权利要求1-5任一项所述的一种高清转超高清视频图像的超分辨率放大方法，其特征在于，步骤四中，所述的局部自样本学习的放大方法，步骤如下：

步骤1、读取一幅图像I1；

步骤2、对图像I1进行处理得到低频图像L1；

步骤3、将图像I1减去低频图像L1，得到高频图像H1；

步骤4、使用上采样的方法小倍数地放大图像I1，得到放大的低频图像L2；

步骤5、在低频图像L1中的一定范围内，搜索与低频图像L2中像素块匹配度最高的像素块，得到匹配块的相对位置；

步骤6、在高频图像H1中，取出低频图像L1中最佳匹配块同一位置上的一定大小像素块，即为叠加块，累加存储得到高频图像H2；

步骤7、将低频图像L2和匹配到的高频图像H2相加，得到输出图像。

7.根据权利要求6所述的一种高清转超高清视频图像的超分辨率放大方法，其特征在于，所述步骤2中，使用低通模板对图像I1进行低通滤波得到低频图像L1。

8.根据权利要求6所述的一种高清转超高清视频图像的超分辨率放大方法，其特征在于，所述步骤4中，使用上采样的方法是指采用双线性插值或双三次插值的方法。

9.根据权利要求6所述的一种高清转超高清视频图像的超分辨率放大方法，其特征在于，所述步骤5中搜索范围和像素块大小依对图像质量的需求和实时处理平台的计算能力而决定；所述步骤6中叠加块的大小依对图像质量的需求而决定。

10.根据权利要求1-5任一项所述的一种高清转超高清视频图像的超分辨率放大方法，其特征在于，步骤五中所述的后处理是指：对多步放大和拼接后的结果进行进一步的调整，如采用降采样迭代进行收敛性调整。