CN102111531B - 往返缩放的影像放大方法 - Google Patents

Abstract

一种往返缩放的影像放大方法，用以将一低分辨率影像，转换为一高分辨率影像。依据此方法是先取得低分辨率影像，执行一往返缩放程序，以将低分辨率影像放大为具有整数倍分辨率的高分辨率影像，往返缩放程序包含下列步骤：对低分辨率影像进行放大整数倍，使低分辨率影像成为具备整数倍分辨率的一次放大影像；进一步将一次放大影像的分辨率再放大2倍，而成为二次放大影像；及对二次放大影像进行缩小2倍，形成高分辨率影像。

Description

往返缩放的影像放大方法

技术领域

本发明涉及影像分辨率提升方法，特别是涉及一种先两次放大影像后，再缩小成要输出的高分辨率影像的往返缩放的影像放大方法。 

背景技术

在许多特殊环境下，高分辨率影像的取得并不容易，例如一般网络摄影机、监视摄影机、低阶手机内建相机都属于低分辨率的影像撷取装置(像素介于数十万至百万之间)，所取得的影像往往显得模糊。此外，由于网络频宽的限制，通过串流媒体播放影音信息，传输高分辨率影格将会占用大量的频宽，导致速度下降；因此一般皆以低分辨率的格式传送。而显示器的大小又不断增加，当这些影像在尺寸相对较大的显示器上进行全屏幕显示时，影像便显得模糊不堪。 

针对前述问题，影像处理技术中便衍生出许多方式，藉由影像本身隐含的信息来放大这些低分辨率的影像，并使放大后的影像不会模糊。 

现有技术中，常用于提升影像分辨率的方法主要有内差补点法。内插补点法是先直接加大各已知像素点，在已知像素点之间保留对应未知的像素点的空白像素区块；接着利用已知像素点，通过不同方式组合来预测放大至高分辨率影像时未知的像素点，再依序填入前述的空白像素区块。内插补点法的优点为运算速度较快，但这种方式通常会造常过度平滑的结果，让视觉感受变的较为模糊。 

除了内差补点法之外，常见的影像分辨率的方法尚有逆影像模型法、训练法。 

逆影像模型法是假设低分辨率影像的生成，为一连串影像处理的过程。也就是假设已知的低分辨率影像，是从一高分辨率的影像，通过模糊、降低取样和噪声等等过程所产生，因此可建立一低分辨率影像的生成模型，以将高分辨率影像转换为已知的低分辨率影像。而逆影像模型法则进一步依据低分辨率影像的生成模型，反向建立由低分辨率影像转换为高分辨率影像的逆生成模型，藉以估测未知的模糊滤波器，以还原原始高分辨率影像。逆影像模型法在影像边界有较锐利的表现，但由于逆生成模型为一求最佳解问题，需进行多次的迭代，因此运算时间较长。 

训练法则是利用收集大量低分辨率和高分辨率对应的训练影像，存储和训练每个低分辨率的小区域范围纹理对应至高分辨率的小区域纹理的关系，将此关系建构成一数据库。 

当通过训练法处理非训练数据的低分辨率影像时，首先将此影像切分为许多小区块，每一个小区块至数据库当中搜寻与其有最相近纹理特性的训练用的低分辨率小区块，然后找出对应的高分辨率小区块，建构出高分辨率影像。训练法取真实影像作为预测的依据，因此输出结果的视觉感受较自然，但针对不同的情况，其表现和数据库有极大的相依性，并且在数据库训练和搜寻的过程需耗费大量的时间。 

此外，现有的影像分辨率提升方法是应用于非失真影像上，很少针对失真影像的处理方法。在显示器尺寸不断增加之下，现有串流媒体的影像格式在全屏幕的情况下，会有模糊的状况产生。将一般算法应用到失真影像上的最大问题就是噪声和缺陷也会跟着被放大。但是如果在提升分辨率处理的前先进行去噪声和去缺陷的动作，使得低分辨率影像中存在细节会丧失，而其放大之后的效果又会过度的平滑，分辨率提升的效果降低。 

发明内容

现有技术中的影像分辨率提升方法，具有无法滤除噪声及缺陷，或是消耗的运算效能过高而无法应用于串流媒体进行实时播放的问题。 

针对前述问题，本发明提出一种往返缩放的影像放大方法，其消耗的运算效能低，且可改善原始影像具备噪声或缺陷的问题。 

本发明提出的往返缩放的影像放大方法，用以将一低分辨率影像，转换为一高分辨率影像。依据此方法是先取得低分辨率影像，执行一往返缩放步骤，以将低分辨率影像放大为具有整数倍分辨率的高分辨率影像。 

前述的往返缩放步骤包含下列步骤：对低分辨率影像进行放大整数倍，使低分辨率影像成为具备整数倍分辨率的一次放大影像；进一步将一次放大影像的分辨率再放大2倍，而成为二次放大影像；再对二次放大影像进行缩小2倍，形成高分辨率影像。 

于本发明中，低分辨率影像是经过两次放大，使其分辨率超过预期的高分辨率影像，藉以产生更多细节，再缩小成要输出的高分辨率影像。两次放大再缩小的过程中，影像中的噪声被消除，且线条特征亦被保留；因此本发明能提供较好的影像质量。此外，本发明消耗的运算效能低，因此本发明提出的影像放大方法可与串流媒体结合，再接收串流媒体传送的连续影格后，实时地处理每一影格再输出，以提升串流媒体的质量。 

附图说明

图1为本发明的往返缩放的影像放大方法的方法流程图。 

图2为本发明中，往返缩放程序的流程图。 

图3为本发明中，一次放大影像的原始像素矩阵的示意图。 

图4为本发明中，原始像素矩阵经放大两倍后所得到的的放大像素矩阵的示意图。 

图5为本发明中，空白的目标像素矩阵的示意图。 

图6为本发明中，放大像素矩阵的示意图。 

图7为本发明中，于放大像素矩阵中定义补贴矩阵的示意图。 

图8为本发明中，补贴该补贴矩阵至该目标像素矩阵的示意图。 

图9为本发明中，补贴权重值至权重矩阵的示意图。 

图10为本发明中，补贴该补贴矩阵及权重值的乘积至该目标像素矩阵的示意图。 

图11为本发明中，完成补贴作业的目标像素矩阵的示意图。 

图12为本发明中，完成补贴作业的权重矩阵的示意图。 

图13为本发明中，以补差点矩阵取代原有补差点像素的示意图。 

图14为一般双立方内插法放大2倍的影像。 

图15为通过本发明的往返缩放程序放大2倍的影像。 

图16为一般双立方内插法放大2倍的影像的Haar Transform数值分析。 

图17为通过本发明的往返缩放程序放大2倍的影像的Haar Transform数值分析。 

图18是仅以非局部平均滤波放大程序放大2倍的影像。 

图19是以本发明的往返缩放程序放大2倍的影像。 

图20为非局部平均滤波放大程序放大2倍的影像的Haar Transform数 值分析。 

图21为通过本发明的往返缩放程序放大2倍的影像的Haar Transform数值分析。 

图22为具有噪声的原始影像。 

图23为一般双立方内插法放大2倍的影像。 

图24为本发明的往返缩放程序放大2倍的影像。 

图25为本发明为另一实施例所揭示的往返缩放的影像放大方法的方法流程图。 

具体实施方式

请参阅「图1」及「图2」所示，为本发明实施例所揭示的一种往返缩放的影像放大方法流程图。 

参阅「图1」所示，本发明的往返缩放的影像放大方法，用以将一低分辨率影像，转换为一高分辨率影像。以下所述的放大是指分辨率的提升，而非单指输出影像的尺寸加大。所谓放大N倍，是指影像的分辨率于X-Y二维平面上，于X轴及于Y轴的像素数量皆被提升至N倍，亦即总像素数量被提升至N平方倍。 

参阅「图2」所示，往返缩放的影像放大方法，是先取得一低分辨率影像，将低分辨率影像输入一转换模块(步骤110)。该转换模块可为一安装转换软件的数据处理装置，此一转换软件可为单独运行的软件，用以处理单张低分辨率影像或连续影像；或转换软件可整合于另一影像播放软件，处理低分辨率影像后由该播放软件播放转换后的高分辨率影像。 

再参阅「图1」所示，接着，转换模块执行一往返缩放程序，以将该低分辨率影像放大为具有2倍分辨率的高分辨率影像(步骤120)。 

对于需要放大的倍率为2的N次方时，则重复进行N次往返缩放。当需要放大的倍率为2的N次方时，转换模块于每一次接收到低分辨率影像后，便将一计数值i重置为零(i＝0)。接着在完成每一次往返缩放程序之后，转换模块便将计数值i加上1(i＝i+1)，接着比对i是否等于N(i＝N)。若i＝N，则代表已完成N次往返缩放，而可进入下一步骤；若i＜N，则再执行下一次往返缩放程序。需注意的是，前述重复进行N次往返缩放的循环仅为一范例，本发明的重复进行N次往返缩放的循环并不限定于前述的步骤。 转换模块亦可将计数值预设为N，于每一次往返缩放程序之后将N减掉1(N＝N-1)，于N＝0时进入下一步骤。 

需要放大的倍率为2的N次方时，转换模块进行N次往返缩放程序，逐渐将低分辨率影像放大至预期倍率的高分辨率影像，因此N次往返缩放程序可称为渐进式往返缩放程序(Progressive Forward and BackwardResizing Method)。 

参阅「图1」所示，转换模块对高分辨率影像进行对比增强的处理(步骤130)，最后输出完成处理的高分辨率影像(步骤140)。由于本发明中，往返缩放程序已具备提升高频区域强度的功能，因此前述的对比增强的处理(步骤130)亦可被省略。 

参阅「图2」所示，前述的往返缩放程序(步骤120)详述如下。 

于往返缩放程序(步骤120)中，转换模块先以内插法对该低分辨率影像进行放大2倍(步骤121)，使该低分辨率影像成为具备2倍分辨率的一次放大影像。亦即于X-Y二维平面上，将该低分辨率影像于X轴及于Y轴的像素数量皆提升至2倍，而形成一次放大影像。 

接着转换模块以非局部平均滤波放大程序，进一步将一次放大影像的分辨率再放大2倍，而成为二次放大影像(步骤122)。 

最后再以双立方内插法对二次放大影像进行缩小2倍，亦即被两次放大的影像被缩小为其原分辨率的二分之一(步骤123)。对二次放大影像进行缩小2倍的方式并不限定双立方内插法，可为任意缩小影像的方式，其目的主要是用以缩小二次放大影像，使影像被放大的比例回复到2倍。 

经过上述程序，原低分辨率影像即被放大2倍，而成为一高分辨率影像，以供进行输出。 

参阅「图3」于非局部平均滤波放大程序中，是将前一步骤放大2倍的一次放大影像作为输入影像。定义此一输入影像为原始像素矩阵Xi，如「图3」所示，图中n标记代表此一像素为Xi像素矩阵的原始像素n。 

参阅「图4」所示，于非局部平均滤波放大程序中，转换模块是先以双立方内插法计算原始像素矩阵Xi，以得到一放大两倍的放大像素矩阵Xb。图中n标记代表此一像素点来自Xi像素矩阵的原始像素n，无标记n的像素则为通过双立方内插法得到的补差点像素，介于相邻原始像素n之间。 

接着，转换模块依据放大像素矩阵Xb与相邻的原始像素n的影像值差 值，重新补贴(patch)各目标像素至目标像素矩阵R，以得到该二次放大影像。 

重新补贴(patch)各目标像素点a的步骤说明如下。 

转换模块接着建立一空白的目标像素矩阵R及一空白的权重矩阵W。其中，R及W的大小，与放大像素矩阵Xb或预计输出的高分辨率影像的像素矩阵相同。如前所述，目标像素矩阵R包含多个目标像素点a，于进行补贴(patch)之前，各目标像素点a为空白。 

参阅「图5」所示，于目标像素矩阵R中，目标像素点a不仅只有补差点像素的像素点，也包含原始像素点n，也就是说针对R的每一点都要进行补贴动作。转换模块针对每一目标像素点定义一搜寻范围，例如于定义搜寻范围为二个像素点，将该目标像素点a周围相距二个像素点内的像素点皆列为搜寻范围中的像素点。于「图5」中，是取一目标像素点a，对应放大像素矩阵Xb的补差点像素，附图中以a标记以该目标像素点，以说明该目标像素点a是对应于该放大像素矩阵Xb的补差点像素a’。 

参阅「图6」所示，于目标像素矩阵R中选定一预定补贴的目标像素点a后，转换模块于该放大像素矩阵Xb中，找出对应目标像素点a的指定像素点a’；及找出位于该搜寻范围中的原始像素点n，定义为相邻像素点。为了方便解读，「图6」中的相邻像素点分别标记为相邻像素点1至相邻像素点6。依据目标像素点a的不同，指定像素点a’可能为原始像素点n或是介于原始像素点之间的补差点像素。 

参阅「图6」所示，转换模块接着于该放大像素矩阵Xb中，分别计算相邻像素点1-6与指定像素点a’的相似度，其中该相似度可为相邻像素点1-6与指定像素点a’的影像值差值。接着转换模块依据相似度计算各相邻像素点1-6的权重值w1-w6，前述的权重值w1-w6为影像值差值的函数。 

参阅「图7」所示，接着转换模块对每一相邻像素点1-6定义一补贴矩阵，其中该补贴矩阵包含位于中心的相邻像素点1-6，及于放大像素矩阵Xb当中与各相邻像素点1-6相邻的原始像素点n，前述的相邻的原始像素点n恰对应于原始像素矩阵Xi中环绕各相邻像素点1-6的原始像素点n。「图7」中是以相邻像素点1为范例说明。 

参阅「图8」所示，该补贴矩阵用以供转换模块以累加方式被补贴至目标像素矩阵R，但补贴矩阵并非直接补贴，而是必须再乘上对应的权重值 w1-w6。 

参阅「图9」所示，转换模块以累加方式，补贴前述的权重值w1-w6至权重矩阵W中，对应目标像素点a及邻近目标像素点a的位置，如「图8」中包括目标像素点a的周围黑色区域。由于以累加方式补贴前述的权重值w1-w6，因此目标像素点a及邻近目标像素点的像素点都被补贴了w＝w1+w2+w3+w4+w5+w6权重值。当以其它像素点作为下一个指定像素点a’进行权重值计算时，已被补贴权重值的像素点将再继续以累加方式被补贴入新求得的权重值。 

参阅「图10」所示，转换模块将每一相邻像素点1-6对应的补贴矩阵分别乘以各相邻像素点1-6所对应的权重值w1-w6后，将乘积结果依序以累加方式补贴至目标像素矩阵R，其中各相邻像素点1-6是补贴于目标像素点a，而各原始像素点n补贴至目标像素点a的邻近位置。当以其它像素点作为下一个指定像素点a’进行补贴矩阵及权重值的乘积计算时，已被补贴乘积结果的像素点将再继续以累加方式被补贴入新求得的乘积结果。 

参阅「图11」及「图12」所示，针对每一目标像素点a，转换模块重复执行上述步骤，使权重矩阵W及目标像素矩阵R中的每一像素点皆随着指定像素点a’的改变，而被重复地累加补贴结果；当放大像素矩阵Xb中的每一像素点都被选定为指定像素点a’，而执行权重矩阵W及目标像素矩阵R的补贴后，即可完成该权重矩阵W的补贴及目标像素矩阵R的补贴。 

参阅「图13」所示，转换模块将目标像素矩阵R(i，j)除以权重矩阵W(i，j)，以得到一结果矩阵Xh(i，j)。结果矩阵Xh用以取代放大像素矩阵Xb中的所有像素，以作为二次放大影像输出。 

最后，转换模块再以双立方缩小法，将二次放大影像缩小2倍，所得的结果即为高分辨率影像。 

「图14」为一般双立方内插法放大2倍的影像，「图15」通过本发明的往返缩放程序放大2倍的影像。于影像边界的锐利度方面，本发明的往返缩放程序所放大的影像表现较佳，且因噪声所造成模糊感也被消除了。 

「图16」为一般双立方内插法放大2倍的影像的Haar Transform数值分析，「图17」通过本发明的往返缩放程序放大2倍的影像的Haar Transform数值分析。本发明的往返缩放程序放大2倍在第二层的Haar Band的高频部分强度较大，代表此方法保留了更多影像的细节；在第一层的Haar Band 的高频部分，可以发现本发明的往返缩放程序放大2倍抑制了高频噪声。 

参阅「图18」及「图19」所示，为本发明中执行部分步骤及执行完整步骤放大影像的比较。「图18」是仅以非局部平均滤波放大程序放大2倍的影像，「图19」是以本发明的往返缩放程序放大2倍的影像。直接使用非局部平均滤波放大程序放大2倍的影像与往返缩放程序放大2倍的影像的差异在于，往返缩放程序可以保留更多的高频信息。 

「图20」为非局部平均滤波放大程序放大2倍的影像的Haar Transform数值分析，「图21」通过本发明的往返缩放程序放大2倍的影像的HaarTransform数值分析。本发明的往返缩放程序放大2倍的影像第二层的HaarBand的高频部分强度较大，因此往返缩放程序是可以有效地提升影像重要细节。 

「图22」为具有噪声的原始影像，「图23」为一般双立方内插法放大2倍的影像，「图24」为本发明的往返缩放程序放大2倍的影像。参阅「图23」所示，一般双立方内插法放大2倍的影像仍直接放大原有的噪声，致使影像上保留原有的噪声。参阅「图24」所示，由于往返缩放程序放大中，包含了非局部平均滤波放大程序放大2倍的程序，滤除了大多数的噪声，是以「图24」中所呈现的噪声明显地少于「图23」中所包含的噪声。 

参阅「图25」所示，为本发明为另一实施例所揭示的一种往返缩放的影像放大方法流程图。 

前述的往返缩放的影像放大方法，低分辨率影像放大至高分辨率影像是以2的N次方为基础，通过N次往返缩放程序将影像放大2的N次方倍。为了避免多次往返缩放消耗运算时间，本发明往返缩放的影像放大方法亦可执行单次往返缩放，直接将影像放大至预期的倍率。 

参阅「图25」所示，若目标倍率为M(M为2或大于2的任意整数)，则转换模块先以一般放大程序将低分辨率影像放大为具备M倍分辨率的一次放大影像(步骤221)。此时，一次放大影像可能因低分辨率影像具备噪声，也同时存在着噪声。 

接着转换模块执行一次往返缩放程序。此一往返缩放程序如前所述，转换模块以非局部平均滤波放大程序，进一步将一次放大影像的分辨率再放大2倍，而成为二次放大影像(步骤222)。 

最后再以双立方内插法或任意内插法对二次放大影像进行缩小2倍， 亦即被两次放大的影像被缩小为其原分辨率的二分之一(步骤223)。 

经过上述程序，原低分辨率影像即被放大M倍，而成为一高分辨率影像，以供进行输出。 

由于前述的一次放大影像通过了往返缩放程序，且往返缩放程序中包含了非局部平均滤波放大程序，因此低分辨率影像中的噪声，将于放大为高分辨率影像后被一并滤除。 

于本发明中，低分辨率影像是经过两次放大，使其分辨率超过预期的高分辨率影像，藉以产生更多细节，再缩小成要输出的高分辨率影像。两次放大再缩小的过程中，影像中的噪声被消除，且线条特征亦被保留；因此在放大失真压缩或串流影像时，本发明能提供较好的影像质量。 

本发明是以单张影像为基础，以自身的局部区域与其邻近区域的相关性来加强影像的细节，不需额外信息可就单张影像独立运作，且耗费时间较短。亦即，本发明不需考虑多张影片中的影格之间的相关性来补足单一影格所丧失的信息，或者利用大量的事前训练数据来贴补高分辨率影像，可以有效降低提高影像分辨率所需的运算效能。 

由于本发明消耗的运算效能低，因此本发明提出的影像放大方法可结合串流媒体结合，再接收串流媒体传送的连续影格后，实时地处理每一影格再输出，以提升串流媒体的质量。 

Claims (10)

1.一种往返缩放的影像放大方法，用以将一低分辨率影像，转换为一高分辨率影像，该方法包含下列步骤：

取得该低分辨率影像；及

执行一往返缩放步骤，以将该低分辨率影像放大为具有整数倍分辨率的高分辨率影像，该往返缩放步骤包含：

对该低分辨率影像进行放大该整数倍，使该低分辨率影像成为具备整数倍分辨率的一次放大影像；

进一步将一次放大影像的分辨率再放大2倍，而成为二次放大影像；及

对该二次放大影像进行缩小2倍，形成该高分辨率影像。

2.如权利要求1所述的往返缩放的影像放大方法，其中这些步骤是以一转换模块执行。

3.如权利要求1所述的往返缩放的影像放大方法，其中该整数倍为2倍。

4.如权利要求3所述的往返缩放的影像放大方法，其中还包含一步骤，重复执行N次往返缩放，以放大该低分辨率影像为2的N次方倍。

5.如权利要求1所述的往返缩放的影像放大方法，其中对该二次放大影像进行缩小2倍的步骤是以双立方内插法缩小该影像。

6.如权利要求1所述的往返缩放的影像放大方法，其中产生该二次放大影像的步骤包含：

定义该一次放大影像为原始像素矩阵，包含多个原始像素；

依据该原始像素矩阵得到一放大两倍的放大像素矩阵，其中放大像素矩阵包含这些原始像素及多个介于相邻的这些原始像素之间的补差点像素；及

依据各该补差点像素与相邻的各该原始像素的影像值差值，重新补贴各该原始像素及各该补差点像素，以得到该二次放大影像。

7.如权利要求6所述的往返缩放的影像放大方法，其中依据该原始像素矩阵得到该放大像素矩阵的步骤是以双立方内插法计算该原始像素矩阵，以得到该放大像素矩阵。

8.如权利要求6所述的往返缩放的影像放大方法，其中重新补贴各该补差点像素的步骤包含：

建立一空白的目标像素矩阵及一空白的权重矩阵，该目标像素矩阵与该权重矩阵的大小与该放大像素矩阵相同；

于该目标像素矩阵中，定义每一像素点为一目标像素点，并针对各该目标像素点定义一搜寻范围；

选定一目标像素点，于该放大像素矩阵中，找出对应该目标像素点的一指定像素点；

找出位于该搜寻范围中的原始像素点，分别定义为一相邻像素点，并分别计算各该相邻像素点与该目标像素点的相似度；

依据各该相似度计算各该相邻像素点的权重值，以累加方式补贴至权重值至该权重矩阵中，对应该目标像素点及邻近该目标像素点的位置；

对各该相邻像素点定义一补贴矩阵，其中该补贴矩阵包含位于中心的该相邻像素点，及于原始像素矩阵与各相邻像素点相邻的原始像素点；

将各该相邻像素点对应的补贴矩阵分别乘以各相邻像素点所对应的权重值后，将结果依序以累加方式补贴至该目标像素矩阵，其中各该相邻像素点是补贴于该目标像素点，而各该原始像素点补贴至目标像素点的邻近位置；

重复执行上述步骤，完成该权重矩阵的补贴及该目标像素矩阵的补贴；及

将该目标像素矩阵除以该权重矩阵，以得到一结果矩阵，以作为该二次放大影像输出。

9.如权利要求8所述的往返缩放的影像放大方法，其中该相似度为各该相邻像素点与该目标像素点的影像值差值。

10.如权利要求9所述的往返缩放的影像放大方法，其中各该权重值为影像值差值的函数。

Images