CN104853059A - 超分辨率图像处理方法及其装置 - Google Patents

Abstract

本发明涉及一种超分辨率图像处理方法及其装置。图像处理方法包括下列步骤：根据放大算法以n倍倍率放大输入影像成第一影像；以n倍倍率缩减取样输入影像成第二影像；根据所述放大算法以n倍倍率放大第二影像成第三影像；将输入影像减去第三影像成第一差值影像；根据所述放大算法以n倍倍率放大第一差值影像成第二差值影像；以及叠加第一影像及第二差值影像成输出影像。

Description

超分辨率图像处理方法及其装置

技术领域

本发明是涉及一种图像处理方法及其装置，且特别涉及一种超分辨率(super-resolution)图像处理方法及其装置。

背景技术

显示设备在近年来日益进步，无论是手机、计算机或电视的屏幕尺寸越来越大，又因为网络技术发展，浏览影像相关的需求也越来越大。由于一般影像数据量都不小，所以放大影像导致的计算量也随之增加，伴随的处理时间则相对增长。

目前常见的影像放大技术，可分为两大分类，一种是基于数据库的技术类别，另一种则是基于内插法（interpolation）的技术类别。基于数据库的技术类别通常需搜集大量的低分辨率影像，以及相对应的高分辨率影像，并将这些影像数据设成数据库；当要提升某一张低分辨率的影像时，会先将所述低分辨率的影像切为多个区块，并将每个区块和数据库中低分辨率的影像数据进行比对，当其中一个区块和数据库其中一笔低分辨率影像数据最相近时，则将所述低分辨率影像数据对应的高分辨率影像数据设至所述区块。因此，基于数据库的技术类别所需处理时间通常过长，且占的内存空间也过大，不适合在有限的硬件上实现。

另一方面，基于内插法的技术类别所需硬件资源则相对较低；现今基于内插法的影像放大技术，通常是先将影像升取样(upsampling)之后，再将放大后的影像进行内插。然而，现今基于内插法的技术虽可达到较快的处理速度，但却无法达到稳定的低失真率。

因此，在有限的硬件条件下，要使处理速度加快且维持一定的质量，需要有更高效率的算法。

发明内容

在下文中给出关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。

本发明提供一种关于图像处理方法及其装置，以减少放大影像导致的过长处理时间以及低的影像放大质量。

本发明的一方面是有关一种图像处理方法。图像处理方法包括下列步骤：根据放大算法以n倍倍率放大输入影像成第一影像；以n倍倍率缩减取样输入影像成第二影像；根据所述放大算法以n倍倍率放大第二影像成第三影像；将输入影像减去第三影像成第一差值影像；根据所述放大算法以n倍倍率放大第一差值影像成第二差值影像；以及叠加第一影像及第二差值影像成输出影像；其中，n为正整数。

在一实施例中，以所述放大算法放大第一差值影像成第二差值影像的步骤包括：根据色彩滤波矩阵排列第一差值影像至中间影像中；以及根据内插算法内插中间影像成第二差值影像，其中，中间影像及第二差值影像的尺寸为输入影像的尺寸的n倍。

在又一实施例中，内插算法为最近相邻内插法(nearest neighborinterpolation)、双线性插值法(bilinear interpolation)、视觉平缓转换内插法（smooth hue transition interpolation）、边缘检测内插法(edgesensing interpolation)、边缘导向内插法(edge directing interpolation)、拉普拉斯算子（Laplacian）二阶色彩相关性线性内插法(Laplaciansecond-order interpolation)、以梯度变量为阈值基准内插法(threshold-based variable number of gradient interpolation)、图形识别内插法(pattern recognition interpolation)或交互投影法(alternatingprojection)。

在又一实施例中，色彩滤波矩阵为贝尔图样(Bayer Pattern)。

本发明的一方面是关于一种图像处理装置。图像处理装置包括第一放大模块、校正模块及输出模块。第一放大模块根据放大算法以n倍倍率放大输入影像成第一影像；校正模块校正经放大的第一影像，以n倍倍率缩减取样输入影像成第二影像，根据放大算法以n倍倍率放大第二影像成第三影像，将输入影像减去第三影像成第一差值影像并根据放大算法以n倍倍率放大第一差值影像成第二差值影像；输出模块叠加第一影像及第二差值影像成输出影像；其中，n为正整数。

在一实施例中，校正模块包括缩减取样单元、第一放大单元、差值单元及第二放大单元。缩减取样单元以n倍倍率缩减取样输入影像成第二影像；第一放大单元根据放大算法以n倍倍率放大第二影像成第三影像；差值单元将输入影像减去第三影像成第一差值影像；第二放大单元根据放大算法以n倍倍率放大第一差值影像成第二差值影像。

在另一实施例中，第二放大单元包括排列组件及内插组件。排列组件将第一差值影像以色彩滤波矩阵排列至中间影像中；以及内插组件根据内插算法内插中间影像成第二差值影像；中间影像及差值影像的尺寸为输入影像的尺寸的n倍。

在又一实施例中，第一放大模块包括排列单元及内插单元。排列单元将输入影像以色彩滤波矩阵排列至中间影像中；内插单元根据内插算法内插中间影像成第一影像，其中中间影像及第一影像的尺寸为输入影像的n倍。

本发明的一方面是关于一种图像处理装置。图像处理装置包括第一放大模块、缩减取样模块、第二放大模块、差值模块、第三放大模块及输出模块。第一放大模块根据放大算法以n倍倍率放大输入影像成第一影像；缩减取样模块以n倍倍率缩减取样输入影像成第二影像；第二放大模块根据放大算法以n倍倍率放大第二影像成第三影像；差值模块将输入影像减去第三影像成第一差值影像，第三放大模块根据放大算法以n倍倍率放大第一差值影像成第二差值影像；以及输出模块叠加第三影像及第二差值影像成输出影像；其中，n为正整数。

在另一实施例中，第三放大模块包括排列模块及内插模块。排列模块将第一差值影像以色彩滤波矩阵排列至中间影像中；以及内插模块根据内插算法内插中间影像成第二差值影像；其中，中间影像及第二差值影像的尺寸为输入影像的尺寸的n倍。

以下将以实施方式对上述的说明作详细的描述，并对本发明的技术方案提供更进一步的解释。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

为让本发明的上述和其他目的、特征、优点与实施例能更明显易懂，所附图式的说明如下：

图1是依据本发明一实施例所绘示的一种图像处理装置的方框示意图；

图2是依据本发明一实施例所绘示的一种图像处理装置产生的影像示意图；

图3是依据本发明一实施例所绘示的缩减取样及根据贝尔图样排列像素的示意图；

图4是依据本发明一实施例所绘示的相邻内插法的示意图；

图5是依据本发明一实施例所绘示的双线性插值法的示意图；以及

图6是依据本发明一实施例所绘示的超分辨率图像处理方法的流程图。

附图标记：

100：图像处理装置    212：第一影像

110：放大模块        221：第二影像

111：排列单元        222：中间影像

112：内插单元        223：第三影像

120：校正模块        224：第一差值影像

121：缩减取样单元    225：中间影像

122：排列组件        226：第二差值影像

123：内插组件        Rij、Gij、Bij：像素

124：差值单元        Rij’、Gij’、Bij’：像素

125：排列组件        Rij’’、Gij’’、Bij’’：像素

126：内插组件        301～303：像素资料

127：放大单元        311～313：像素资料

128：放大单元        321～323：像素资料

130：输出模块        401～403：像素资料

201：输入影像        501～503：像素资料

202：输出影像        S601～S607：步骤

211：中间影像

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。在本发明的一个附图或一种实施方式中描述的元素和特征可以与一个或更多个其它附图或实施方式中示出的元素和特征相结合。应当注意，为了清楚的目的，附图和说明中省略了与本发明无关的、本领域普通技术人员已知的部件和处理的表示和描述。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明以下各实施例中，实施例的序号和/或先后顺序仅仅便于描述，不代表实施例的优劣。对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

本发明将在本说明书中利用随附图示的参考更充分地陈述，其中随附图示绘有本发明的实施方式。然而本发明以许多不同形式实现而不应受限于本说明书陈述的实施方式。这些实施方式的提出使本说明书详尽且完整，而将充分表达本发明范围予本发明所属技术领域的技术人员。本文中相同的附图标记意指相同的组件。

关于本文中所使用的『第一』、『第二』、…等，并非特别指称次序或顺位的意思，亦非用于限定本发明，其仅仅是为了区别以相同技术用语描述的组件或操作而已。关于本文中所使用的『模块』、『单元』及『组件』并非特别指相对大小的意思，也不用于限定本发明。

一并参照图1及图2。图1是依据本发明一实施例绘示的一种图像处理装置的方框示意图。图2是依据本发明一实施例所绘示的一种图像处理装置产生的影像示意图。图像处理装置100包括放大模块110、校正模块120以及输出模块130。放大模块100用于根据一影像放大算法以n倍倍率放大输入影像201成第一影像212，并输出第一影像212至输出模块130，其中n为正整数，第一影像212的尺寸为输入影像201的n倍。校正模块120用于校正经放大的第一影像212，其中校正模块120将产生第二差值影像226，并输出第二差值影像226至输出模块130。最后，输出模块将叠加第一影像212和第二差值影像226以得到具高分辨率的输出影像202。

更进一步来说，放大模块110包括排列单元111和内插单元112，并用于执行所述影像放大算法。首先，排列单元111根据一色彩滤波矩阵将输入影像201的RGB像素数据排列至中间影像211中。接着，内插单元112根据一内插算法根据中间影像211中已排列好的RGB像素数据内插中间影像211中其余像素，进而产生第一影像212，内插单元112并进一步将第一影像212输出至输出模块130。

校正模块120包括缩减取样(downsampling)单元121、放大单元127、差值单元124及放大单元128。放大单元127包括排列组件122及内插组件123。放大单元128包括排列组件125及内插组件126，其中放大单元127及放大单元128分别执行的影像大算法与放大模块110执行的所述影像放大算法相同。

工作时，缩减取样单元121以n倍倍率缩减取样输入影像201成第二影像221。接着，同放大模块110的动作，放大单元127的排列组件122根据色彩滤波矩阵将第二影像221的RGB数据排列成至中间影像222。随后，放大单元128之内插组件123根据所述内插算法内插中间影像222成第三影像223。

为更清楚说明缩减取样单元121及放大单元127的工作过程，一并参照图3、图4、图5。在一些实施例中，色彩滤波矩阵可为贝尔图样(Bayer’s pattern)，而图3是依据本发明一实施例绘示的缩减取样及根据贝尔图样排列像素的示意图。如图3所示，输入影像201的尺寸为4X4(即长X宽)，并包括对应于红色的像素资料301、对应于绿色的像素数据302以及对应于蓝色的像素数据303。像素资料301包括16个像素Ｒij，像素资料302包括16个像素Gij，像素数据303包括16个像素Bij，其中索引i及索引j为1至4的其中之一。

在一些实施例中，输入影像的像素数量不限于16个。

首先，缩减取样单元121分别将输入影像201的像素数据301、像素数据302及像素数据303作两倍的缩减取样以得到第二影像221，在本实施例中，两倍缩减取样是取单数直排(column)和单数横排(row)所交集的像素，但并不以此为限。因此，像素数据311的尺寸为2X2，并包括像素R11、R13、R31及R33；同理，像素数据312与像素数据313的尺寸也分别为2X2，并分别包括像素G11、G13、G31及G33与像素B11、B13、B31及B33。

接着，放大单元127的排列组件122会依贝尔图样将像素数据311、312及313分别排列至尺寸为两倍大的像素数据321、322及323中以得到中间影像222。

值得注意的是，对应于绿色的像素数据322相较对应于蓝色的像素资料321或对应于红色的像素资料323多了一倍的像素，之所以如此排列是因为人眼对绿色的动态范围较大，换句话说，绿色带给人眼的信息会较多；因此，像素数据322除了包括像素数据312的像素G11、G13、G31及G33之外，进一步包括经内插出来的像素G22’、G24’、G42’及G44’。

在一些实施例中，非边缘的像素G22’是由像素G11、G13、G31及G33所决定，首先，会先比较像素G11与G33的数值差值及像素G13与G31的数值差值，当像素G11与G33的数值差值小于像素G13与G31的数值差值，像素G22’的数值会设为像素G11与G33的数值平均值；当像素G11与G33的数值差值大于像素G13与G31的数值差值，像素G22’的数值会设为像素G13与G31的数值平均，当像素G11与G33的数值差值等于像素G13与G31的数值差值，像素G22’的数值会设为像素G11、G13、G31及G33的数值平均。换句话说，像素G22’的数值是由像素数值较相近的对角像素经内插所决定。

在一些实施例中，非边缘的像素G22’可为像素G11、G13、G31及G33的数值平均。

在一些实施例中，边缘的像素G24’,G42’与G44’可由较相近的像素数值决定，像素G24’的数值可为像素G13和G33的数值平均，像素G42’的数值可为像素G11和像素G33的数值平均，像素G44’可为像素G33的数值。

接着，将以两种内插算法为例以清楚说明放大单元127之内插组件123的作动。在一些实施例中，内插算法可为相邻内插法(nearestneighbor interpolation)，而图4是依据本发明一实施例所绘示的相邻内插法的示意图。如图4所示，内插组件123将中间影像222分别的像素数据321、322及323内差成第三影像223的像素数据401、402及403。首先，在影像321中，内插组件123将像素R11及像素R31的右方、下方以及右下方(亦可为另三种方向，如下方、左方及左下方或其他任意组合)的像素的数值分别设为像素R11及像素R33的数值，并将像素R13及像素R33的下方的像素的数值分别设为像素R13及像素R33的数值，以此得到像素数据401。而像素资料401中的边缘像素R11’’、R21’’、R31’’及R41’’可由邻近的像素来决定。同理，内插组件123利用上述的内插方式内插像素数据323成像素数据403。

另一方面，在影像322中，内插组件123先分别将像素G11、G13、G22’、G31、G33及G42右边的像素设为像素G11、G13、G22’、G31、G33及G42’的数值。接着，内插组件123将像素G11及G31下方的像素设为像素G11及G31的数值，以此得到像素数据402。

在一些实施例中，边缘像素R11’’的数值可设为最近像素的数值，即右边像素R11的数值。同理，像素R21’’、R31’’、R41’’、B11’’、B12’’、B13’’及B14’’可依类似的方式设定对应的数值，其中像素B11’’、B12’’、B13’’及B14’’的最近像素为下方的像素。

在一些实施例中，内插算法可为双线性插值法(bilinearinterpolation)，而图5是依据本发明一实施例所绘示的双线性插值法的示意图。如图5所示，内插组件123将中间影像222分别的像素数据321、322及323内差成第三影像223的像素数据501、502及503。在影像321中，以区块504为例，不具数值的像素可由上下、左右或斜对角的像素所决定。如像素数据501所示，像素R13’的数值为左右像素R11及R13的数值平均，像素R22’为上下像素R11及R31的数值平均，像素R23’为四个斜对角像素R11、R13、R31及R33所决定。同理，像素数据323的区块506也使用相同的内插方式以得到像素数据503中的区块509。而像素资料501的边缘像素R11’’、R21’’、R31’’、R41’’、R42’’、R43’’及R44’’则由邻近并具数值的像素来决定。同理，内插组件123利用上述的内插算法内插像素数据323成像素数据503。

接着，在像素资料322中，以区块505为例，不具数值的像素可由上下左右的像素来决定，如像素数据502的区块508所示，像素G23’的数值为上下左右的像素G13、G22’、G33、G24’的数值平均；若无其中一方，像素的数值为其中三者的数值平均，如像素G12’的数值为像素G11、G13及G22’所决定；若无其中两方，像素的数值为其中两者的数值平均，如像素G14’的数值为像素G13及G24’所决定。同理，内插组件123可依据上述的方式内插像素数据322中其余未具数值的像素，并产生像素数据502。

在一些实施例中，内插算法可为视觉平缓转换内插法（smooth huetransition interpolation）、边缘检测内插法(edge sensing interpolation)、边缘导向内插法(edge directing interpolation)、拉普拉斯算子二阶色彩相关性线性内插法(Laplacian second-order interpolation)、以梯度变量为阈值基准内插法(threshold-based variable number of gradientinterpolation)、图形识别内插法(pattern recognition interpolation)或交互投影法(alternating projection)。

回到图1及图2，第三影像223输出至差值单元124之后，差值单元124将输入影像201每个像素的数值减去第三影像223对应像素的数值以得到一第一差值影像224。而放大单元128根据所述影像放大算法以n倍倍率放大第一差值影像224成第二差值影像226，并输出至输出模块130。

最后，输出模块130叠加第一影像212与第二差值影像226以得到输出影像202。在一些实施例中，输出模块130进一步用于裁切输出影像202的边缘像素以删除失真率较高的影像边缘。

在一些实施例中，排列单元111、排列组件122及排列组件125可为相同的运算单元或相同的操作数件，内插组件123、内插单元112及内插组件126可为相同的运算单元或相同的操作数件。

如上所述的所有模块、单元及组件均可实作为程序代码，并将此些程序代码储存于储存组件中。于是，处理单元读取并执行储存组件中的此些程序代码后，提供各模块相应的功能。在一些实施方式中，储存组件可为只读存储器、闪存、软盘、硬盘、光盘、随身碟、磁带、可由网络存取的数据库或其他类型的储存组件。

为更清楚说明图像处理装置100的超分辨率图像处理流程，一并参照图6。图6是依据本发明一实施例所绘示的超分辨率图像处理方法的流程图。首先，输入欲放大的输入影像201(S601)，接着，根据影像放大算法以n倍倍率放大输入影像201成第一影像212(S602)；另一方面，以n倍倍率缩减取样输入影像201成第二影像221(S603)，接着，根据所述影像放大算法以n倍倍率放大第二影像221成第三影像223(S604)；将输入影像201的像素数据减去第三影像223的像素数据成第一差值影像224(S605)，根据所述放大算法以n倍倍率放大第一差值影像224成第二差值影像226(S606)；以及叠加第一影像212及第二差值影像226以得到输出影像202(S607)。

在一些实施例中，图6所示的图像处理方法可实作为一计算机程序产品（如应用程序），并储存于一计算机可读取记录媒体中，而使计算机读取此记录媒体后执行排程方法。计算机可读取记录媒体可为只读存储器、闪存、软盘、硬盘、光盘、随身碟、磁带、可由网络存取的数据库或本领域普通技术人员容易想到具有相同功能的计算机可读取记录媒体。

综上所述，本发明的技术方案与现有技术相比具有明显的优点和有益效果。通过上述技术方案，可达到相当的技术进步，并具有产业上的广泛利用价值，本发明提供具快速的超分辨率图像处理装置及其方法，可快速地放大影像并保持较低的失真率。

最后应说明的是：虽然以上已经详细说明了本发明及其优点，但是应当理解在不超出由所附的权利要求所限定的本发明的精神和范围的情况下可以进行各种改变、替代和变换。而且，本发明的范围不仅限于说明书所描述的过程、设备、手段、方法和步骤的具体实施例。本领域内的普通技术人员从本发明的公开内容将容易理解，根据本发明可以使用执行与在此所述的相应实施例基本相同的功能或者获得与其基本相同的结果的、现有和将来要被开发的过程、设备、手段、方法或者步骤。因此，所附的权利要求旨在在它们的范围内包括这样的过程、设备、手段、方法或者步骤。

Claims (10)

1.一种图像处理方法，其特征在于，包括：

根据一放大算法以一n倍倍率放大一输入影像成一第一影像；

以n倍倍率缩减取样所述输入影像成一第二影像；

根据所述放大算法以所述n倍倍率放大所述第二影像成一第三影像；

将所述输入影像减去所述第三影像成一第一差值影像；

根据所述放大算法以所述n倍倍率放大所述第一差值影像成一第二差值影像；以及

叠加所述第一影像及所述第二差值影像成一输出影像；

其中，n为正整数。

2.根据权利要求1所述的图像处理方法，其特征在于，根据所述放大算法放大所述第一差值影像成所述第二差值影像的步骤包括：

根据一色彩滤波矩阵排列所述第一差值影像至一中间影像中；以及

根据一内插算法内插所述中间影像成所述第二差值影像，其中所述中间影像及所述第二差值影像的尺寸为所述输入影像的尺寸的n倍。

3.根据权利要求2所述的图像处理方法，其特征在于，所述内插算法为最近相邻内插法、双线性插值法、视觉平缓转换内插法、边缘检测内插法、边缘导向内插法、拉普拉斯算子二阶色彩相关性线性内插法、以梯度变量为阈值基准内插法、图形识别内插法或交互投影法。

4.根据权利要求2所述的图像处理方法，其特征在于，所述色彩滤波矩阵为贝尔图样。

5.一种图像处理装置，其特征在于，包括：

一第一放大模块，用于根据一放大算法以一n倍倍率放大一输入影像成为一第一影像；

一校正模块，用于校正经放大的所述第一影像，所述校正模块用于以所述n倍倍率缩减取样所述输入影像成一第二影像，根据所述放大算法以所述n倍倍率放大所述第二影像成一第三影像，将所述输入影像减去所述第三影像成一第一差值影像，并根据所述放大算法以所述n倍倍率放大所述第一差值影像成一第二差值影像；以及

一输出模块，用于叠加所述第一影像及所述第二差值影像成一输出影像；

其中，n为正整数。

6.根据权利要求5所述的图像处理装置，其特征在于，所述校正模块包括：

一缩减取样单元，用于以所述n倍倍率缩减取样所述输入影像成所述第二影像；

一第一放大单元，用于根据所述放大算法以所述n倍倍率放大所述第二影像成所述第三影像；

一差值单元，用于将所述输入影像减去所述第三影像成所述第一差值影像；以及

一第二放大单元，用于根据所述放大算法以所述n倍倍率放大所述第一差值影像成所述第二差值影像。

7.根据权利要求6所述的图像处理装置，其特征在于，所述第二放大单元包括：

一排列组件，用于将所述第一差值影像以一色彩滤波矩阵排列至一中间影像中；以及

一内插组件，用于根据一内插算法内插所述中间影像成所述第二差值影像，其中所述中间影像及所述第二差值影像的尺寸为所述输入影像的尺寸的n倍。

8.根据权利要求5所述的图像处理装置，其特征在于，所述第一放大模块包括:

一排列单元，用于将所述输入影像以一色彩滤波矩阵排列至一中间影像中；以及

一内插单元，用于根据一内插算法内插所述中间影像成所述第一影像，其中所述中间影像及所述第一影像的尺寸为所述输入影像的尺寸的n倍。

9.一种图像处理装置，其特征在于，包括：

一第一放大模块，用于根据所述放大算法以一n倍倍率放大一输入影像成一第一影像；

一缩减取样模块，用于以所述n倍倍率缩减取样一输入影像成一第二影像；

一第二放大模块，用于根据一放大算法以所述n倍倍率放大所述第二影像成一第三影像；

一差值模块，用于将所述输入影像减去所述第三影像成所述第一差值影像；

一第三放大模块，用于根据所述放大算法以所述n倍倍率放大所述第一差值影像成一第二差值影像；以及

一输出模块，用于叠加所述第三影像及所述第二差值影像成一输出影像；

其中，n为正整数。

10.根据权利要求9所述的图像处理装置，其特征在于，所述第三放大模块包括：

一排列模块，用于将所述第一差值影像以一色彩滤波矩阵排列至一中间影像中；以及

一内插模块，用于根据一内插算法内插所述中间影像成所述第二差值影像，其中所述中间影像及所述第二差值影像的尺寸为所述输入影像的尺寸的n倍。