CN103338378B - 基于二维亚像素采样的超分辨率显示方法及装置 - Google Patents

Abstract

本发明公开一种基于二维亚像素采样的超分辨率显示方法及装置。基于平板显示设备R、G、B基色亚像素排布多样性的特点，计算各基色亚像素排布的Nyquist频率限制区域，并以此为依据设计一组R、G、B基色抗颜色混叠滤波器，以达到在保持图像高感知分辨率的同时减弱甚至消除亚像素采样引入的颜色混叠的目的。本发明首先对原始图像R、G、B基色分量分别施加相应的抗颜色混叠滤波，再对滤波后的图像按照显示设备二维亚像素排布的空间位置结构进行亚像素采样。本发明在不改变任何物理属性的前提下，以较低的成本提高了平板显示设备的视觉感知分辨率，实现了显示设备的超分辨率显示，同时方法简单易于实现。

Description

基于二维亚像素采样的超分辨率显示方法及装置

技术领域

本发明涉及图像信号处理，平板显示设备空间分辨率提升技术，具体涉及一种基于二维亚像素采样的超分辨率显示方法及装置。

背景技术

平板显示设备的画面质量、生产成本、制造工艺与物理像素的规模紧密相关。在相同的物理像素下，基于人眼空间混色效应的亚像素采样技术以颜色混叠为代价，提高了显示图像的亮度分辨率从而有效改善了画面的显示质量，原因是人眼对色度的敏感度远低于对亮度的敏感度。亚像素采样技术可以使高分辨率画面清晰显示于低分辨率设备上，从而实现显示设备的超分辨率显示。尽管如此，有效消除或减弱颜色混叠仍然是亚像素采样技术亟待解决的关键问题。

目前，关于亚像素采样技术的研究与应用多集中在对RGB线状排布（RGB-trio）的研究。对于其他多样的二维亚像素排布结构，亚像素采样技术还有待进一步研究。针对亚像素采样引起的颜色混叠问题，现有的方法是：根据边缘检测通过一个自适应滤波减轻色彩失真和模糊。这种方法需要在低通滤波处理之前对图像进行边缘检测，该算法较为复杂，同时降低了图像的处理速度。

事实上，亚像素排布的多样性是平板显示器的一大特点。针对多样的亚像素排布结构（如RGB-线状（RGB-trio）、RGB-三角形（RGB-delta）、RGB-马赛克（RGB-mosaic）、RGBR-马赛克（RGBR-mosaic）），如何简单有效地抑制亚像素采样引入的颜色混叠问题，实现显示设备的超分辨率显示，是平板显示领域亟待解决的关键问题。

发明内容

为了解决以上技术问题，本发明提供了一种基于二维亚像素采样的超分辨率显示方法及装置。

本发明所采用的技术方案如下：

一种基于二维亚像素采样的超分辨率显示方法，包括以下步骤：

（1）输入原始图像；

（2）对原始图像R、G、B基色分量分别进行相应的抗颜色混叠滤波；

（3）对滤波后的图像进行二维亚像素采样；

（4）输出图像。

步骤（2）的具体方法包括：

（2.1）根据显示设备得到显示面板的R、G、B基色亚像素排布结构；

（2.2）根据R、G、B基色亚像素排布结构计算得到R、G、B基色的二维Nyquist频率限制区域；

（2.3）由R、G、B基色的二维Nyquist频率限制区域确定施加于原始图像的一组R、G、B基色抗颜色混叠滤波器；

（2.4）利用步骤（2.3）确定的一组R、G、B基色抗颜色混叠滤波器分别对原始图像R、G、B基色分量进行滤波。

所述步骤（2.2）所述的二维Nyquist频率限制区域采用倒晶格理论计算得到，具体为：

（2.2.1）将某一基色的空间二维亚像素排布看成二维晶格，基色亚像素排布中每一个亚像素所在的位置为二维晶格的一个格点；

（2.2.2）任选一个格点为原点，以二维晶格的横轴和纵轴分别为X轴和Y轴建立二维坐标系，二维坐标系内的晶格即为该基色的二维正空间晶格；

（2.2.3）根据以下公式将正空间晶格转换为倒空间晶格：

$a_i\·b_j=2\mathrm{\π}{\mathrm{\δ}}_{\mathrm{ij}}=\left\{\begin{array}{cc}2\mathrm{\π}& i=j\\ 0& i\≠j\end{array}\right.(i,j=\mathrm{1,2}),$

上述公式中，a_i为正空间的基矢，b_j为倒空间的基矢，δ_ij是克罗内克函数，i、j是基矢的角标，分别可取值1和2，表示二维晶格正空间和倒空间各有两个基矢；

（2.2.4）所述二维Nyquist频率限制区域为：倒空间晶格中，由原点所在格点出发，到周围所有其他格点作连接线，这些连接线的中垂线所围绕而成的最小封闭区域。

所述步骤（2.3）所述的由R、G、B基色的二维Nyquist频率限制区域确定施加于原始图像的一组R、G、B基色抗颜色混叠滤波器，具体为：

R/G/B基色抗颜色混叠滤波器为低通滤波器，频域下，该低通滤波器的截止频率形状与该基色的Nyquist频域限制区域相似，大小接近并小于该基色的Nyquist频域限制区域。

所述步骤（3）具体包括以下步骤：

（3.1）根据显示设备得到显示面板的R、G、B基色二维亚像素排布的空间位置结构；

（3.2）将滤波后的图像看作连续模拟图像，根据R、G、B基色亚像素的二维空间位置结构对滤波后图像相应基色分量进行采样。

一种基于上述方法的基于二维亚像素采样的超分辨率显示装置，包括：一组R、G、B基色抗颜色混叠滤波器，分别对原始图像R、G、B基色分量进行相应的抗颜色混叠滤波；一个二维亚像素采样器，对滤波后的图像进行二维亚像素采样。

与现有技术相比，本发明至少具有以下有益效果：本发明针对不同的R、G、B基色亚像素排布，对原始图像R、G、B基色施加不同的抗颜色混叠滤波器；各基色抗颜色混叠滤波器的形状不局限于以往的矩形或者圆形，而与各基色亚像素排布的Nyquist频率限制区域的形状相似，大小接近并小于该基色的Nyquist频域限制区域，这样可以达到更多保持图像细节并减弱甚至消除颜色混叠的目的；本发明只需进行滤波和采样两个步骤即可实现显示设备的超分辨率显示，算法简单易于实现。

附图说明

图1是RGB-trio排布；

图2是本发明抗颜色混叠滤波器的设计流程图；

图3（a）和图3（b）分别是RGB-trio排布中R基色亚像素排布的正空间和倒空间晶格；

图4是本发明基于二维亚像素采样的超分辨率显示流程图；

图5是本发明基于二维亚像素采样的超分辨率显示装置结构图。

图6是RGB-trio排布当a=b时二维亚像素采样示意图；

具体实施方式

本发明基于平板显示设备R、G、B基色亚像素排布多样性的特点，计算各基色亚像素排布的Nyquist频率限制区域，并以此为依据设计一组R、G、B基色抗颜色混叠滤波器，以达到在保持图像高感知分辨率的同时减弱甚至消除亚像素采样引入的颜色混叠的目的。

本发明首先对原始图像R、G、B基色分量分别施加相应的抗颜色混叠滤波，再对滤波后的图像按照显示设备二维亚像素排布的空间位置结构进行亚像素采样。在不改变任何物理属性的前提下，以较低的成本提高了平板显示设备的视觉感知分辨率，实现了显示设备的超分辨率显示，同时方法简单易于实现。

对于任一显示面板，基于二维亚像素采样的超分辨率显示方法，包括以下步骤：

1.对原始图像R、G、B基色分量分别进行相应的抗颜色混叠滤波；

2.对滤波后的图像进行二维亚像素采样；

其中，抗混叠滤波器可通过以下步骤得到：

1.根据显示设备得到显示面板的R、G、B基色亚像素排布结构；

2.根据R、G、B基色亚像素排布结构计算得到R、G、B基色的二维Nyquist频率限制区域；

3.由R、G、B基色的二维Nyquist频率限制区域确定施加于原始图像的一组R、G、B基色抗颜色混叠滤波器；

其中，二维亚像素采样是指，将滤波后的图像看作连续模拟图像，根据R、G、B基色亚像素的二维空间位置结构对滤波后图像相应基色分量进行采样。

下面结合附图对本发明方法及装置进行详细说明：

以图1中RGB-trio排布为例。设原始图像为矢量f_c(x,y)，其R、G、B分量分别用rf_c(x,y)、gf_c(x,y)、bf_c(x,y)表示，其傅里叶变换分别为：RF_c(μ,ν)、GF_c(μ,ν)、BF_c(μ,ν)。

如图2所示，抗颜色混叠滤波器通过以下步骤获得：

1.根据显示设备得到显示面板的R、G、B基色亚像素排布结构，如图3中正空间所示为R基色亚像素排布结构，G、B基色亚像素排布结构与R基色相同。

2.根据R、G、B基色亚像素排布结构计算得到R、G、B基色的二维Nyquist频率限制区域，如图3中倒空间阴影区域所示为R基色二维Nyquist频率限制区域，G、B基色与R基色相同。

3.由R、G、B基色的二维Nyquist频率限制区域确定施加于原始图像的一组R、G、B基色抗颜色混叠滤波器：H_R(μ,ν)、H_G(μ,ν)、H_B(μ,ν)。R/G/B基色的抗颜色混叠滤波器为低通滤波器，可以是布特沃斯低通滤波器，也可以是其他种类低通滤波器；频域下，该低通滤波器的截止频率形状与该基色的Nyquist频域限制区域相似，大小接近并小于该基色的Nyquist频域限制区域。

其中步骤2中得到R、G、B基色的二维Nyquist频率限制区域采用倒晶格理论计算得到，具体为：

1.将某一基色的空间二维亚像素排布看成二维晶格，基色亚像素排布中每一个亚像素所在的位置为二维晶格中的一个格点；

2.任选一个格点为原点，以二维晶格的横轴和纵轴分别为X轴和Y轴建立二维坐标系，二维坐标系内的晶格即为该基色的二维正空间晶格。如图3中正空间所示为R基色的二维正空间晶格，G、B基色同理可得；

3.根据以下公式将正空间晶格转换为倒空间晶格：

$a_i\·b_j=2\mathrm{\π}{\mathrm{\δ}}_{\mathrm{ij}}=\left\{\begin{array}{cc}2\mathrm{\π}& i=j\\ 0& i\≠j\end{array}\right.(i,j=\mathrm{1,2}),$

上述公式中，a_i为正空间的基矢，b_j为倒空间的基矢，δ_ij是克罗内克函数，i、j是基矢的角标，分别可取值1和2，表示二维晶格正空间和倒空间各有两个基矢。如图3中倒空间所示为R基色的二维倒空间晶格，G、B基色同理可得；

4.所述二维Nyquist频率限制区域为：倒空间晶格中，由原点所在格点出发，到周围所有其他格点作连接线，这些连接线的中垂线所围绕而成的最小封闭区域。如图3中倒空间阴影区域所示为R基色的二维Nyquist频率限制区域，G、B基色同理可得。

某一基色的Nyquist频率限制区域限定了不发生颜色混叠的情况下可以显示的源图像该基色频谱信息的最大面积。当源图像某基色（如R基色）二维频谱分布超过该基色Nyquist频率限制区域时，该基色进行二维亚像素采样时会发生欠采样，从而发生颜色混叠；当源图像某基色二维频谱分布在Nyquist频率限制区域范围内时，该基色进行二维亚像素采样时为过采样，不发生颜色混叠。

针对不同的R、G、B基色亚像素排布，依据其Nyquist频率限制区域，可以设计出一低通滤波器来滤除源图像该基色频谱超出Nyquist频率限制区域的高频部分，之后再进行二维亚像素采样即可防止该基色欠采样的发生以达到有效抑制颜色混叠的目的。同时，该低通滤波器截止频率截面形状接近并小于Nyquist频率限制区域的形状，这样可以在有效抑制颜色混叠的同时保留更多的源图像信息。这就是依据R、G、B基色亚像素排布的Nyquist频率限制区域得到该基色的最优抗颜色混叠滤波器的方法。

如图4所示，基于二维亚像素采样的超分辨率显示方法，包括以下步骤：

1.对原始图像R、G、B基色分量分别进行相应的抗颜色混叠滤波。

在频率域，该步骤是原始图像R、G、B基色分量与相应的抗颜色混叠滤波器相乘，以滤除源图像该基色频谱超出其Nyquist频率限制区域的高频成分。设滤波处理后的图像为F_H(μ，ν)，其三基色分量分别表示为RF_H(μ,ν)，GF_H(μ,ν)，和BF_H(μ,ν)，可通过下式得到：

RF_H(μ,ν)=RF_C(μ,ν)·H_R(μ,ν)，

GF_H(μ,ν)=GF_C(μ,ν)·H_G(μ,ν)，

BF_H(μ,ν)=BF_C(μ,ν)·H_B(μ,ν)；

其中，H_R(μ,ν)，H_G(μ,ν)，和H_B(μ,ν)分别是预先得到的三基色各自对应的抗颜色混叠滤波器。

实际应用常在空间域进行。在空间域，该步骤是原始图像各基色分量与相应的抗颜色混叠滤波模板做卷积。设滤波处理后的图像为f_h(x，y)，其三基色分量分别表示为rf_h(x,y)，gf_h(x,y)，和bf_h(x,y)，R分量rf_h(x,y)可通过下式得到：

rf_h(x,y)=rf_c(x,y)*h_r(x,y)

其中：

对于gf_h(x,y)、bf_h(x,y)同理。

2.对滤波后的图像按照亚像素排布的空间位置结构进行二维亚像素采样。

如图6所示为RGB-trio排布当a=b时进行二维亚像素采样的示意图，对于基色亚像素排布上的一个亚像素灯点只采样原始图像上该位置下该基色分量的值。对于排布中某一基色，如R基色，其水平方向采样间隔为3a,垂直方向采样间隔为b。若将每个灯点看作一个冲击采样，则R基色的采样函数rs(x,y)可表示为：

$\mathrm{rs}(x,y)=\underset{m}{\mathrm{\Σ}}\underset{n}{\mathrm{\Σ}}\mathrm{\δ}(x-3\mathrm{ma},y-\mathrm{nb})$

设二维亚像素采样后的图像为f_hs(x,y)，其三基色分量分别表示为rf_hs(x,y)，gf_hs(x,y)，和bf_hs(x,y)，采样后R分量图像rf_hs(x,y)为：

${\mathrm{rf}}_{\mathrm{hs}}(x,y)={\mathrm{rf}}_h(x,y)\·\mathrm{rs}(x,y)={\mathrm{rf}}_h(x,y)\·\underset{m}{\mathrm{\Σ}}\underset{n}{\mathrm{\Σ}}\mathrm{\δ}(x-3\mathrm{ma},y-\mathrm{nb})$

对于gf_hs(x,y)、bf_hs(x,y)同理可得。

通过步骤1和2即可完成显示设备的超分辨率显示。

如图5所示，图中粗黑线框出部分为基于二维亚像素采样的超分辨率显示装置结构图。原始图像输入基于二维亚像素采样的超分辨率显示装置，经过对各基色的抗颜色混叠滤波后，再进行二维亚像素采样，即可输出高感知分辨率的输出图像。该装置R、G、B基色抗颜色混叠滤波器系数可预先设计好存入，在不改变显示设备物理属性的条件下，只需对输入图像进行滤波和亚像素采样两个步骤即可实现显示设备的超分辨率显示，算法简单，易于实际应用。

对于本领域技术人员而言，本发明优选实施例的描述不是穷尽的，很明显可以对其作出任何更新或修改，所以可以参照用来确定本发明范围的所附权利要求。

工业应用

本发明可广泛应用于多种平板显示设备的超分辨率显示，如RGB-线状（RGB-trio）、RGB-三角形（RGB-delta）、RGB-马赛克（RGB-mosaic）、RGBR-马赛克（RGBR-mosaic），等排布下的LCD、LED、OLED或任何其它显示器类型。本发明在不改变显示设备物理属性的情况下提高显示设备的视觉感知分辨率的应用也是适用的。

Claims (6)

1.基于二维亚像素采样的超分辨率显示方法，其特征在于：包括以下步骤：

(1)输入原始图像；

(2)对原始图像R、G、B基色分量分别进行相应的抗颜色混叠滤波；

(3)对滤波后的图像进行二维亚像素采样；

(4)输出图像；

所述步骤(2)的具体方法包括：

(2.1)根据显示设备得到显示面板的R、G、B基色亚像素排布结构；

(2.2)根据R、G、B基色亚像素排布结构计算得到R、G、B基色的二维Nyquist频率限制区域；

(2.3)由R、G、B基色的二维Nyquist频率限制区域确定施加于原始图像的一组R、G、B基色抗颜色混叠滤波器；

(2.4)利用步骤(2.3)确定的一组R、G、B基色抗颜色混叠滤波器分别对原始图像R、G、B基色分量进行滤波。

2.根据权利要求1所述的基于二维亚像素采样的超分辨率显示方法，其特征在于，所述步骤(2.2)所述的二维Nyquist频率限制区域采用倒晶格理论计算得到，具体为：

(2.2.1)将某一基色的空间二维亚像素排布看成二维晶格，基色亚像素排布中每一个亚像素所在的位置为二维晶格中的一个格点；

(2.2.2)任选一个格点为原点，以二维晶格的横轴和纵轴分别为X轴和Y轴建立二维坐标系，二维坐标系内的晶格即为该基色的二维正空间晶格；

(2.2.3)根据以下公式将正空间晶格转换为倒空间晶格：

$a_i\·b_j=2\mathrm{\π}{\mathrm{\δ}}_{\mathrm{ij}}=\left\{\begin{array}{cc}2\mathrm{\π}& i=j\\ 0& i\≠j\end{array}\right.(i,j=\mathrm{1,2}),$

上述公式中，a_i为正空间的基矢，b_j为倒空间的基矢，δ_ij是克罗内克函数，i、j是基矢的角标，分别可取值1和2，表示二维晶格正空间和倒空间各有两个基矢；

(2.2.4)所述二维Nyquist频率限制区域为：倒空间晶格中，由原点所在格点出发，到周围所有其他格点作连接线，这些连接线的中垂线所围绕而成的最小封闭区域。

3.根据权利要求1所述的基于二维亚像素采样的超分辨率显示方法，其特征在于，所述步骤(2.3)所述的由R、G、B基色的二维Nyquist频率限制区域确定施加于原始图像的一组R、G、B基色抗颜色混叠滤波器，具体为：

R/G/B基色抗颜色混叠滤波器为低通滤波器，频域下，该低通滤波器的截止频率形状与该基色的Nyquist频域限制区域相似，大小接近并小于该基色的Nyquist频域限制区域。

4.根据权利要求1所述的基于二维亚像素采样的超分辨率显示方法，其特征在于，所述步骤(3)具体包括以下步骤：

(3.1)根据显示设备得到显示面板的R、G、B基色二维亚像素排布的空间位置结构；

(3.2)将滤波后的图像看作连续模拟图像，根据R、G、B基色亚像素的二维空间位置结构对滤波后图像相应基色分量进行采样。

5.一种基于权利要求1至4中任意一项所述方法的基于二维亚像素采样的超分辨率显示装置，其特征在于：包括：

一组R、G、B基色抗颜色混叠滤波器，分别对原始图像R、G、B基色分量进行相应的抗颜色混叠滤波；

一个二维亚像素采样器，对滤波后的图像进行二维亚像素采样。

6.根据权利要求5所述的基于二维亚像素采样的超分辨率显示装置，其特征在于：所述R/G/B基色的抗颜色混叠滤波器为低通滤波器，频域下，该低通滤波器的截止频率形状与该基色的Nyquist频域限制区域相似，大小应接近并小于该基色的Nyquist频域限制区域。