CN101770759B - 基于亚像素的下采样的方法和装置 - Google Patents

Abstract

本发明涉及基于亚像素下采样的方法和装置。本发明基于边缘检测采用一种自适应滤波140，能够去除由亚像素下采样引起的色彩混叠，同时有效地保留图像清晰度。

Description

基于亚像素的下采样的方法和装置

相关申请

没有与本发明相关的申请。

技术领域

本发明通常涉及图像信号处理，特别涉及图像显示和下采样(down-sampling)一个图像以符合较小显示、软件应用、传输或用户要求。更特别地，本发明的目的是用于RGB显示的基于亚像素(subpixel)的下采样。

发明概述

图像是由像素构成。通过减少表示图像的像素数目的方式来减小图像的尺寸是可能的。减少像素数目是通过一个下采样过程进行。

在下采样阶段，不是初始图像的所有像素都能够得到保留，而仅保留其部分像素，这样会导致在高空间频率(spatial frequency)区域产生严重的混叠失真(aliasing artifact)，因为细线断裂/不连续而破坏形状信息(shape information)和边缘，从而显示梯状失真(staircase artifact)。

普通彩色LCD显示器的每个像素实际上是由单个可寻址的红、绿、和蓝亚像素条纹(sub-pixel stripe)组成。使用基于亚像素的显示可以提高显示图像的可见分辨率(apparent resolution)。由于亚像素数目比像素数目大三倍，使用基于亚像素的显示可以有效地降低梯状失真，并更加如实地重建形状信息。所以，通过基于亚像素的下采样以增强可视质量是可能的。但是，对一些像素将会感知到色彩失真(color fringing artifact)，因为在下采样的图像中不是所有红、绿、蓝亚像素都被保留。

而且，在基于像素的下采样中所使用的防混叠低通滤波器(low-pass filtering)虽然可以减轻色彩失真，但会付出图像模糊的代价。

为了减少初始图像和以亚像素方式显示图像之间的差别，可以在频域(frequency domain)内定义一个误差度量，并通过导出滤波系数而设计一个滤波器以最小化此误差度量。但是，这些方法仅能够处理水平方向上的下采样。如果同时考虑垂直下采样，性能将大幅降低。

本发明涉及一种基于亚像素的下采样方法。基于亚像素的下采样方法根据边缘检测通过一个自适应滤波可以减轻色彩失真和模糊。基于亚像素的下采样方法提供一个最优截止频率(cutoff frequency)给自适应滤波以保留尽可能多的图像细节信息。基于亚像素的下采样方法允许在一个或多个方向而不是仅在一个水平方向上的下采样，这在本披露之前并没有出现过。这可以保证所有方向上的形状细节得到保留。

本发明的一个目的是去除色彩失真。现有方法仅允许在水平方向上的基于亚像素下采样，否则可视质量将大幅降低。但是，如果在所示图像里有边缘存在，将可能产生色彩失真，且如果在边缘左侧像素的RGB亚像素的数值为255时，即显示白色，而当在边缘右侧像素的RGB亚像素的数值为0时，即显示黑色，情况亦是如此。在仅采用左侧R亚像素和右侧G和B亚像素的水平方向的基于亚像素下采样之后，将产生一个RGB数值为(255，0，0)的像素，即显示红色。在初始图像里并不存在这种颜色，从而产生色彩失真。由于本发明考虑边缘，并基于边缘检测结果在不同方向上自适应地应用抗混叠滤波(anti-aliasing filter)，可以去除或至少减少色彩失真，如果没有完全去除，至少能够尽可能保留更多的图像细节信息。

本发明的另一个目的是降低模糊并保留图像信息。在本发明里定义了一个最优的抗混叠滤波截止频率，其是新颖的并高于已知的截止频率。本发明的抗混叠滤波不仅能够去除大多数的色彩混叠，而且能够提供一个比传统抗混叠滤波更清晰的结果。

本发明的其它方面也将在以下披露。

附图说明

参照以下附图，随后将详细描述本发明的其它目的、方面和实施例，其中：

图1显示一个本发明实施例的流程图；

图2显示一个上采样和下采样实施例；

图3显示一个边缘检测实施例；

图4显示一个自适应的抗混叠滤波的实施例；

图5显示一个基于亚像素的下采样实施例；

图6显示一个实施本发明的装置的结构示意图。

发明详述

图1显示在所述实施例里如何执行本发明的基于亚像素的下采样的流程图。在一个实施例里，图像的期望尺寸是M×N，即在水平方向上有M个像素，在垂直方向上有N个像素。图像的初始尺寸是xM×yN，其中x和y是实数，导致M和N的倍数或分数。

在一个实施例里，在输入步骤110，输入一个高分辨率图像。随后，在采样步骤120，通过上采样或下采样或两者兼有来处理xM×yN图像，产生一个3M×3N图像，其中可引入基于像素的防混叠低通滤波器。在交替或同等可预见的实施例里，同样可以采用稍微不同的尺寸，如(3M+1)×(3M+1)，或(3M+2)×(3M+2)，或甚至(3M+1)×(3M-2)。在边缘检测步骤130，识别确定3M×3N图像的边缘，可以使用或不必使用梯度计算，同时边缘方向也被确定。在自适应滤波步骤140，依照边缘方向应用不同的滤波。在亚像素下采样步骤150，R-亚像素、G-亚像素和B-亚像素分别从3M×3N图像内的三个像素中挑选出来，以提供M×N图像内像素的RGB信息。在输出步骤160，输出M×N图像。

图2(a)和2(b)显示一个采样步骤的实施例，其中上采样是通过插值(interpolation)完成。在图2(a)示意图里，沿着每行的每个初始像素210、220，填补一个具有相同强度值的额外像素230、240，以在水平方向上使图像尺寸加倍。可以在任何方向添加任何数量的额外像素。在一个实施例里，下采样是通过采样完成。在图2(b)，仅采样图象上每2×2方块的左侧角的像素250，以产生一个新图像。所有其它剩余的像素260、270、280将被丢弃。这样，图像在水平方向和垂直方向上被下采样一半。通常，将被添加或将被采样的每个像素的强度值以某种方式来选择，在下采样过程中可引入防混叠低通滤波器，以保持图像质量。

图3显示一个边缘检测步骤的实施例，在边缘检测步骤的说明范例里，在一个图象里每个像素(i，j)350的亮度Y_i，j被用来确定边缘信息，通过比较其在(i-1，j-1)310，(i-1，j)320，(i-1，j+1)330，(i，j-1)340，(i，j+1)360，(i+1，j-1)370，(i+1，j)380和(i+1，j+1)390上的相邻像素的亮度。定义四个方向，其包括水平、垂直、左对角线(left diagonal)和右对角线(rightdiagonal)。在等式(1)定义沿着水平方向的梯度：Grad_H(Y_i，j)＝|Y_i，j-1-Y_i，j|+|Y_i，j+1-Y_i，j|       (1)

在等式(2)定义沿着垂直方向的梯度：Grad_v(Y_i，j)＝|Y_i-1，j-Y_i，j|+|Y_i+1，j-Y_i，j|       (2)

在等式(3)定义沿着左对角线方向的梯度：Grad_LD(Y_i，j)＝|Y_i-1，j-1-Y_i，j|+|Y_i+1，j+1-Y_i，j|  (3)

在等式(4)定义沿着右对角线方向的梯度：Grad_RD(Y_i，j)＝|Y_i-1，j+1-Y_i，j|+|Y_i+1，j-1-Y_i，j|  (4)

沿着每个方向的梯度表示沿着此特定方向上亮度的变化率。沿着一个特定方向的梯度越大，沿着此特定方向的边缘越明显。在所述实施例里，通过比较沿着不同方向的梯度值并找出具有最大梯度的那个方向以确定边缘方向。边缘方向与最大梯度的方向垂直正交(90°)。为了计算像素(i，j)350的梯度，可采用各种梯度算子，包括Roberts算子、Prewitt算子和Sobel算子，并且许多其它算子在确定不同方向上的梯度也是适用的。

图4(a)显示一个抗混叠滤波(anti-aliasing filter)的实施例，其可被自适应地应用信道元素410，420，430，440，450，460，470，480和490。每个方向信道都要求一个抗混叠滤波。理论上，对一个单色图像(i.e.，R＝G＝B＝Y，U＝V＝0)，基于亚像素下采样的采样率是1.5cy/显示像素，其是基于像素下采样0.5cy/显示像素的三倍。在条件R＝G＝B下，使用基于亚像素下采样可以有效地保留所有亮度信息。但是，对一个完全彩色的图像，通常由亮度和色度两部分采样组成：Y分量和UV分量。由于UV分量引起的混叠，基于亚像素下采样在采样率上不能达到3倍的提升。有必要在保留亮度细节信息和色度混叠之间做出权衡。由于人类眼睛对亮度比对色度更为敏感，通常亮度支配可感知的分辨率。

传统上，对于3比1的下采样，选择的滤波截止频率是π/3。基于本发明和以上分析，在本发明中，截止频率被延长到大约π/3和π之间以获得额外亮度信息，同时不会发生明显色度可视失真。本发明中最佳截止频率是5π/12。一个抗混叠滤波的实施例是一个在空间域内无限长的为sinc函数的低通滤波器，通常其主瓣被当作抗混叠滤波器。在另一个实施例里，使用的抗混叠滤波是一个9-阶滤波器(9-tap filter)。在图4(b)，显示不同实施例里的各种空域滤波器491、493、495在频域内的响应曲线。不需要有一个在5π/12上的尖锐的截止频率，如滤波493和495。在抗混叠滤波里也有可能出现过冲(overshoot)，如滤波495。只要它们仍然是低通滤波，频域相应曲线轮廓在抗混叠滤波的不同实施例中可以是不同的。

而且，基于边缘检测可以自适应地应用抗混叠滤波。抗混叠滤波被实施在一个与边缘方向相反的方向上。例如，如果边缘方向是垂直的，比如左侧的亚像素值完全不同于右侧的亚像素值，那么会在水平方向上应用抗混叠滤波。分别处理红、绿和蓝信道。

图5显示本发明所述的一个基于亚像素下采样步骤的实施例。在一个M×N图像的每个像素(i，j)是由一个3M×3N图像的亚像素(R_3i，3j，G_3i+1，3j+1，B_3i+2，3j+2)组成。例如，在M×N图像的(0，0)上，M×N图像的(0，0)位置上像素500的R亚像素等于3M×3N图像的(0，0)位置上像素510的R亚像素，其等于R_0，0。M×N图像的(0，0)位置上像素500的G亚像素等于3M×3N图像的(0，0)位置上像素550的G亚像素，其等于G_1，1。M×N图像的(0，0)位置上像素500的B亚像素等于3M×3N图像的(0，0)位置上像素590的B亚像素，其等于B_2，2。这样，基于亚像素下采样是在一个对角线方向上执行。很多种方法可以用来实施基于亚像素下采样步骤150。除了那些沿着3M×3N图像的对角线方向的像素之外，也可以使用不同的像素以获得M×N图像内像素500的R亚像素、G亚像素和B亚像素。例如，像素500的R亚像素是像素520、540、560和580的R亚像素的一个均值。即使使用了3M×3N图像的像素510、550、590，也可以选择不同的亚像素以获得像素500的R亚像素、G亚像素和B亚像素。例如，可以从像素550选择B亚像素，而从像素590选择G亚像素。

图6显示一种实施本发明的装置的结构示意图。装置600是一个显示器，在特定实施里其可能是任何类型，如LCD，LED和OLED。装置600集成一个处理器，在特定实施例里其利用一个Xilinx FPGA芯片或一个SoC ASIC芯片，在预处理和后处理上专为视频下采样而设计。一个高分辨率图像605是装置600的一个输入，高分辨率图像605随后被一个采样器610处理，执行上采样和下采样以获得期望的分辨率以便进行如上所述的进一步处理。在上采样和下采样之后，图像由一个边缘检测器620进行处理，以识别图像里的边缘，以及通过如上所述的边缘检测方法识别其方向。图像然后由一个滤波630进行处理，其根据如上所述方法，基于边缘检测结果执行一个自适应抗混叠滤波。在滤波之后，图像再由一个基于亚像素采样器640进行处理，其执行如上所述的基于亚像素下采样以输出一个低分辨率的图像650。

对本领域技术人员而言，本发明优选实施例的描述并不是穷尽的，很明显可以对其作出任何更新或修改，所以可以参照用来确定本发明范围的所附权利要求。

工业应用

本发明在低分辨率手持设备如便携式多媒体播放器(PMPs)或个人数字助理(PDAs)上显示高分辨率图像或视频内容时具有广泛的工业应用。本发明也可以被应用在RGB-线状LCD、LED、OLED或任何其它显示器类型。本发明在各种要求图像下采样的应用里也是适用的。此外，本发明可以被实施在专为视频下采样预处理和后处理而设计的XilinxFPGA芯片或SoC ASIC芯片上。

Claims (6)

1.一种下采样xM×yN图像的方法，包括： 

通过上采样或下采样或两者兼有来处理xM×yN图像，产生一个3M×3N图像； 

识别确定3M×3N图像的边缘，同时边缘方向也被确定； 

基于边缘检测，依照边缘方向应用不同的滤波，在3M×3N图像上实施一个自适应滤波，所述自适应滤波是引入防混叠低通滤波器，基于边缘检测自适应地应用自适应抗混叠滤波，所述自适应抗混叠滤波被实施在一个与边缘方向垂直的方向上，其中所述自适应抗混叠滤波有一个大于π/3但小于π的截止频率；和 

将3M×3N图像基于亚像素下采样成一个M×N图像，基于亚像素下采样是在一个对角线方向上进行。 

2.根据权利要求1所述的下采样xM×yN图像的方法，其中所述自适应抗混叠滤波有一个5π/12的截止频率。 

3.根据权利要求1所述的下采样xM×yN图像的方法，其中所述自适应抗混叠滤波是一个9阶滤波。 

4.一种下采样xM×yN图像的装置，包括： 

一个采样器，通过上采样或下采样或两者兼有来处理xM×yN图像，产生一个3M×3N图像； 

一个边缘检测器，识别确定3M×3N图像的边缘，同时边缘方向也被确定； 

一个滤波器，基于边缘检测，依照边缘方向应用不同的滤波，对3M×3N图像自适应地滤波，所述自适应地滤波是引入防混叠低通滤波器，基于边缘检测自适应地应用自适应抗混叠滤波，所述自适应抗混叠滤波被实施在一个与边缘方向垂直的方向上，其中所述自适应抗混叠滤波有一个大于π/3但小于π的截止频率；和 

一个基于亚像素下采样器，基于亚像素将3M×3N图像下采样成一个M×N图像，所述基于亚像素下采样器在一个对角线方向上执行基于亚像素下采样。 

5.根据权利要求4所述的下采样xM×yN图像的装置，其中所述自适应抗混叠滤波有一个5π/12的截止频率。 

6.根据权利要求4所述的下采样xM×yN图像的装置，其中所述自适应抗混叠滤波是一个9-阶滤波。 

Images