CN1957393A - 图像处理装置、图像显示装置、图像处理方法和计算机产品 - Google Patents

Abstract

一种对要输出到显示单元的图像数据执行分辨率转换的图像处理装置，包括：分辨率转换单元，被配置用来对图像数据执行分辨率转换，以便产生具有与显示单元分辨率的α倍一样高的分辨率的像素数据，其中α＞1；图像处理单元，被配置用来对像素数据执行图像处理；和抽取单元，被配置用来抽取已经执行了图像处理的像素数据以便具有等于或低于显示单元分辨率的分辨率，并且将所抽取的数据输出到显示单元。

Description

图像处理装置、图像显示装置、图像处理方法和计算机产品

技术领域

本发明涉及一种图像处理装置、图像显示装置、图像处理方法和计算机产品。

背景技术

传统上，输入到图像显示装置的数字图像数据采用将红色(R)、绿色(G)和蓝色(B)像素排列成正方形或矩形的平行六面体(parallelepiped)阵列的形式。在图像显示装置的颜色显示中，根据用于排列RGB像素的方法，人看到的显示效果大不相同。在计算机显示器中，为了表示清晰图像，各自具有一组R、G、和B像素的颜色单元被排列成正方形或矩形的平行六面体阵列。当需要高分辨率时，常常使用delta阵列，利用该delta阵列，在以相同数量的像素形成的所有形式的阵列中获得最高分辨率。在delta阵列中，对于每一行将像素移动半个间距(pitch)。

传统上，提出了用于提高delta阵列中的分辨率的方法。在这种方法中，使用由多个像素构成的显示元件(element)以及像素移动装置，其中可以根据图像数据来控制用于所述多个像素的光，并且所述像素移动装置用于在显示像素的对角线方向上沿纵向和横向将像素位置移动两个相邻像素之间距离的一半。例如，在日本专利申请公开第H7-134275号公开的技术中，使用旋转板作为像素移动装置来改变光折射的方向。

此外，例如，在日本专利申请公开第2003-322908号公开的技术中，在红色、蓝色和绿色显示元件上沿纵向和横向移动半个像素的位置上，提供在人类能见度中极好的要显示的绿色显示像素，以便以单个投影仪获得高分辨率。

例如，在日本专利申请公开号第2004-70365号公开的技术中，使用图像移动器移动像素以提高分辨率。

大多数用于提高分辨率的传统方法是在从不能识别像素结构的距离(可视距离)观看图像的前提下提出的。这种方法适用于应该远离保持足够距离的图像而观看的电影和电视。因此，较少地识别出构成所显示的像素的颜色分量以及诸如彩色失配准(out-of-color registration)的图像粗糙度(roughness)。然而，在会议中使用的具有大屏幕的图像显示装置正在增加。这种图像显示装置由于其在会议等中的使用而经常用于观看者可以识别出像素结构的场合。因此，应当考虑构成像素的颜色分量、各个颜色的偏离等。

在日本专利申请公开第7-134275号中公开的技术和在日本专利申请公开第2003-322908号中公开的技术导致彩色失配准的频繁出现，从而造成图像质量下降。

同时，为了通过移动像素来提高显示图像的分辨率，已经提出一种通过在水平方向和垂直方向之一或在组合水平方向和垂直方向的多个方向上移动像素的方法，以及通过使用一个像素移动装置沿对角线移动像素来在delta阵列中显示图像、并以低成本沿纵向和横向将分辨率提高接近两倍分辨率的方法。然而，通过在delta阵列中排列像素或沿对角线移动像素位置来显示高分辨率图像的技术具有如下问题。利用在日本专利申请公开第2004-70365号中公开的技术，仅仅通过增加显示像素的数量来提高分辨率。作为输出像素数据来显示这样的数据，其中，通过从具有由诸如分辨率转换的图像处理产生的正方形或矩形的平行六面体阵列中的像素数据(转换后的像素数据)的图像数据(转换后的图像数据)仅提取在delta阵列中显示的像素上的转换后的像素数据，来获得所述数据。其他转换后的像素数据不用于输出图像。由于这一原因，在以正方形或矩形的平行六面体阵列排列的转换后的像素数据中产生不能用于输出像素数据的数据。因此，所显示的图像出现图像数据丢失，并且图像质量下降。

例如，使输入图像在分辨率上等于显示装置上的正方形或矩形的平行六面体阵列中的转换后的图像数据，根据传统技术，如图6所示的那样排列输入图像的像素和转换后的图像的像素。然而，用于所显示的图像的输出像素仅仅是由图6所示的对角线阴影圆圈表示的像素，而不使用由白色圆圈表示的像素上的数据。因此，出现图像数据丢失。

本发明已经被实现以便解决上述问题，并且本发明的一个目的是提供一种图像处理装置、图像显示装置、图像处理方法和计算机产品，其能够产生和显示输出图像数据而没有图像数据丢失，并且通过使用在正方形或矩形的平行六面体阵列中的转换后的像素数据中传统上未被用于产生要显示的输出图像数据的转换后的像素数据来提高显示图像的质量和分辨率，其中，在以delta阵列排列像素的图像显示装置或者沿对角线方向移动像素的图像显示装置中，通过诸如分辨率转换的图像处理来获得所述正方形或矩形的平行六面体阵列中的转换后的像素数据。

发明内容

本发明要解决的问题

根据本发明的图像处理装置对要输出到显示单元的图像数据进行分辨率转换，并且包括：分辨率转换单元，被配置用来对图像数据执行分辨率转换，以便产生具有与显示单元分辨率的α倍一样高的分辨率的像素数据，其中α＞1；图像处理单元，被配置用来对像素数据执行图像处理；以及抽取(decimation)单元，被配置用来抽取已经对其执行了图像处理的像素数据，以便具有等于或小于显示单元分辨率的分辨率，并且将抽取的数据输出到显示单元。

根据本发明的图像处理装置，图像数据受到分辨率转换，对受到分辨率转换的图像数据执行图像处理，然后对其进行抽取以获得要输出到显示单元的像素数据。因此，不会出现由于未能将一部分转换后的图像数据用于输出图像数据而导致的图像数据丢失。因此，可以执行适于显示具有高质量和高分辨率的图像的图像处理。

图像显示装置包括图像处理装置和显示元件，所述图像处理装置包括：分辨率转换单元，被配置用来对图像数据执行分辨率转换，以便产生具有与显示单元分辨率的α倍一样高的分辨率的像素数据，其中α＞1；图像处理单元，被配置用来对像素数据执行图像处理；和抽取单元，被配置用来抽取已经对其执行了图像处理的像素数据，以便具有等于或小于显示单元分辨率的分辨率，并且将抽取的数据输出到显示单元；所述显示元件能够根据由图像处理装置产生的输出图像数据来控制光，并且其被配置用来显示由M×N个像素构成的图像，所述M×N个像素具有N行像素行，其每一行包括在水平方向上以间距Ph排列的M个像素，所述像素行在垂直方向上以间距Pv排列，将像素行排列为使得将彼此相邻的两个像素行在水平方向上移动大约0.5Ph。

根据本发明，图像显示装置包括图像处理装置，其执行适合于显示具有高质量和高分辨率的图像的图像处理。因此，有可能提供一种能够显示具有高质量和高分辨率的图像的图像显示装置。

附图说明

图1是根据本发明第一实施例的图像处理装置的方框图；

图2是用于图示排列在delta阵列中的像素的示意图；

图3是用于图示delta阵列的示意图，其中为各个R、G和B像素提供显示元件，而没有在相同的像素位置上构成所有颜色分量；

图4是在正方形或矩形的平行六面体阵列中具有2M×N个像素的分辨率的显示图像的例子；

图5是根据传统方法的具有M×N个像素的分辨率的显示图像的例子；

图6示出包括要输出的delta阵列中的像素的正方形阵列中的像素的位置；

图7示出包括要输出的delta阵列中的像素的正方形阵列中的像素的位置；

图8是用于对分辨率转换后的像素数据进行滤波的滤波器的示意图；

图9是被输出数据产生单元用于滤波的滤波器的示意图；

图10是根据第一实施例的图像处理的流程图；

图11示出当进行滤波并且对像素进行对角线移动时的显示图像；

图12是根据本发明第二实施例的图像处理装置的方框图；

图13是用于图示能够根据所产生的输出图像数据控制光并且由多个像素构成的显示元件的像素、以及像素移位(displacement)操作的示意图；

图14是用于解释包括沿对角线移动像素的光偏转器(deflector)和单个显示元件的图像显示装置的结构的示意图；

图15示出包括三个显示元件的图像显示装置的结构；

图16是像素对角线移动处理的流程图；

图17示出通过在绿色分量和其他蓝色和红色分量之间不同地执行滤波产生的显示图像；

图18示出通过传统方法产生的图像，其中对于该传统方法，不对绿色、红色和蓝色分量执行不同的滤波；

图19示出通过对所有颜色分量执行图8所示的滤波产生的图像；

图20示出通过对所有颜色分量执行图9所示的滤波产生的图像；

图21示出通过沿对角线移动要在两个位置上显示的颜色分量中的绿色分量的像素、并且通过在与绿色分量的位置不同的一个位置上各自显示红色和蓝色分量而获得的图像；

图22是图示使将不进行像素移动的颜色分量的显示时间与将进行像素移动的颜色分量的显示时间的两倍一样长的操作示意图，和；

图23是根据第一实施例的图像处理装置的硬件结构的方框图。

具体实施方式

下面，将参考附图来详细解释根据本发明的示范性实施例。注意，本发明不限于这些实施例。

图1是根据本发明第一实施例的图像处理装置的方框图。假设将图像处理装置10合并到图像显示装置100中，将对其进行解释。可替代地，可以分别配置图像处理装置10和图像显示装置100。

图像显示装置100包括接口(I/F)1、模/数(A/D)转换器2、解调器3、存储单元4、显示单元5、和图像处理装置10。

图像处理装置10包括图像处理单元11、分辨率转换单元12、和输出数据产生单元13。

图像显示装置100通过I/F1、以诸如数字形式和模拟形式的各种形式中的任意一种输入图像数据。当将模拟图像数据输入图像显示装置100时，该模拟图像数据随后被A/D转换器2转换成数字图像数据，并且，检测图像数据的分辨率。作为调制信号输入的图像数据被解调器3解调，并且检测图像数据的分辨率。在图像数据的情况下，通过水平同步信号和垂直同步信号来检测图像数据的分辨率。

然后，将输入图像数据暂时存储在可存储两个或多个帧的数据的存储单元4(例如缓冲器)中。根据图像数据的输入来执行这些处理，并且这些处理不一定与后续处理同步。

图2是用于图示排列在delta阵列中的像素的示意图。图3是图示当为各个R、G和B像素提供显示元件、而没有在相同的像素位置上构成所有颜色分量时的delta阵列的示意图。

如图2所示，delta阵列是这样的阵列，其中，向在垂直方向上间距为Pv的行提供由以间距Ph排列的像素构成的一行，并且其中，在两个相邻行之间，将像素位置沿水平方向移动0.5Ph。在图3所示的delta阵列中，通过沿横向排列三个R、G和B显示元件(element)来构成图2所示的一个像素。用于利用各个颜色分量的显示元件构成图2所示的一个像素的方法被用于液晶显示器、等离子显示板(pDP)、电致发光(EL)显示器等。由于沿纵向和横向增加的像素数量，这种阵列在像素数量相等的阵列中看起来具有最高的分辨率。

如果显示元件以M×N个像素的delta阵列排列，则分辨率转换单元12产生2M×N个像素的图像数据。2M×N个像素的图像数据是正方形或矩形的平行六面体阵列中的图像数据。

输出数据产生单元13产生图像数据以便排列在delta阵列中。即，输出数据产生单元13使用由分辨率转换单元12产生的像素数据来计算从显示元件输出的像素数据。本发明特征在于使得要输出的像素被排列在delta阵列中，这与抛弃除了delta阵列中的像素点以外的像素点上的数据而不使用它们的传统技术不同。根据本发明，将传统上被抛弃的像素点上的数据用于对要输出的delta阵列中的像素点上的数据的操作处理(operation process)。

输出数据产生单元13操作包括排列在正方形阵列中的所有点的输出像素点上的数据，并且输出delta阵列中的输出像素点。由于输出数据产生单元13不输出不能从delta阵列中的显示元件输出的像素点，因此其执行明显的、所谓的抽取。输出数据产生单元13将如此产生的delta阵列中的像素上的所操作的图像数据传送到显示单元5，其中，所述显示元件显示所接收的图像数据。

接下来解释由输出数据产生单元13执行的输出数据处理。由输出数据产生单元13执行的输出数据处理是这样的处理，该处理用于获得输出像素数据，使得在进行了各种图像处理之后的、排列在正方形或矩形的平行六面体阵列中的像素上的转换后的图像数据的像素阵列被匹配到排列在delta阵列中的像素上的输出图像数据的像素阵列。可替代地，可以在被包括在其他图像处理中的同时执行输出数据处理。

图4是在正方形或矩形的平行六面体阵列中具有2M×N个像素的分辨率的显示图像的例子。在图4的例子中，显示图像包括排列在正方形或矩形的平行六面体阵列中的2M×N个像素，并且具有在垂直方向上间距为Pv的N行，在水平方向上间距为0.5Ph的2M个像素构成一行。这种图像如下显示。使用具有在垂直方向上间距为2Pv的0.5n行以及具有正方形或矩形的平行六面体阵列中的M×N个像素的分辨率、并且在水平方向上间距为Ph的M个像素构成一行的显示元件，沿纵向和横向将像素各自移动1/2间距，并且沿纵向和横向使显示元件的分辨率变成两倍。即，由于以与显示元件的分辨率的两倍一样高的分辨率来显示图像，因此图像是不具有彩色失配准的清晰图像。本发明意欲使用具有与图像分辨率的一半一样高的分辨率的显示元件来抑制图像的彩色失配准等，以便使图像在图像质量上接近具有两倍分辨率的这一图像。

图5是根据传统方法的具有M×N个像素的分辨率的显示图像的例子。在图5的例子中，显示图像具有在垂直方向上间距为Pv的N行，包括delta阵列中的M×N个像素，在两个相邻行之间，将所述像素沿水平方向大约移动0.5Ph，并且在水平方向上间距为Ph的M个像素构成一行。自然，图5所示的图像的分辨率与图4所示图像的分辨率的一半一样高。通过使用显示元件沿对角线移动像素、以及通过仅输出delta阵列中的像素点上的数据，来获得图5所示的图像，其中，所述像素点包括进行了根据本发明的分辨率转换而没有进行操作处理的所有点。

图6和7示出了包括要输出的delta阵列中的像素的正方形阵列中的像素的位置。在图4所示的图像中，将图6和图7所示的所有像素用于显示图像。在图5中，由白色圆圈表示的像素数据不被用于输出图像。由于这个原因，当将图5所示的显示图像与图4所示的显示图像相比较时，可以看出显示图像出现图像数据丢失，并且这导致图像质量下降。

图8是用于对分辨率转换后的像素数据进行滤波的滤波器的示意图。这个滤波器是对像素数据执行的操作处理的例子。在图8中，假设像素之间的水平间距宽度是0.5Ph并且垂直间距宽度是Pv。这是在将显示像素排列在delta阵列中的前提下执行的处理。在这个处理中，按相等比率将图6所示的所有像素数据用于输出图像数据。因此，在图8中，当假设要显示并由带斜线的圆圈表示的像素的像素位置为(X，Y)时，获得输出像素数据Q。

在这个处理中，在以下假设下对转换后的图像数据中的分辨率转换后的像素数据进行滤波。在像素位置(X，Y)以及沿纵向和横向邻近位置(X，Y)上的像素并由白色圆圈表示的像素位置(X-0.5Ph，Y)、(X+0.5Ph，Y)、(X，Y-Pv)和(X，Y+Pv)上的像素数据分别是A、B、C、D和E。常数α1是0.2到0.8，并且常数α2到α5是0.05到0.2。通过执行这个滤波，可以显示没有图像丢失(即，传统问题)的高分辨率图像。

更优选地，常数α1在0.5±0.1的范围内，并且常数α2到α5在0.125(0.025的范围内。通过如此设置，可以显示这样的图像，该图像较少受到由转换后的图像和输出图像之间的像素数目差异导致的像素数据丢失等影响，并且其具有更接近于通过沿纵向和横向移动像素获得的显示图像质量的质量。在这个例子中，示出了α1＝0.5和α2＝α3＝α4＝α5＝0.125的实例。在这个实例中，将输出像素数据Q表示为Q＝0.5·A+0.125(B+C+D+E)。

图9是被输出数据产生单元用于滤波的滤波器的示意图。图9所示的像素以水平间距宽度0.5Ph和垂直间距宽度Pv排列。该滤波是在不执行像素移动的前提下执行的处理。按相等比率将图7所示的所有像素数据用于输出图像。由于这个原因，通过在下面的假设下执行滤波来获得输出像素数据Q。在图7中示出并由带斜线的圆圈表示的像素的像素位置是(X，Y)。在转换后的图像数据中，在像素位置(X，Y)上的像素数据、沿纵向和横向相邻于(X，Y)上的像素的像素位置(X-0.5Ph，Y)、(X+0.5Ph，Y)、(X，Y-Pv)和(X，Y+Pv)上的像素数据、以及沿对角线相邻于位置(X，Y)上的像素的(X-0.5Ph，Y-Pv)、(X+0.5Ph，Y-Pv)、(X+0.5Ph，Y+Pv)和(X-0.5Ph，Y+Pv)上的像素数据分别是A、B、C、D、E、F、G、H和I。常数β1是0.1到0.8，常数β2到β5是0.05到0.2，并且常数β6到β9是0到0.2。

通过这样对所有像素进行滤波来获得输出像素数据Q，可以显示没有图像丢失(即，传统问题)的高分辨率图像。

更优选地，常数β1是0.1到0.6，常数β2到β5是0.1到0.15，常数β6到β9是0到0.1。通过如此设置，可以显示这样的图像，该图像较少受到由转换后的图像和输出图像之间的像素数目差异导致的像素数据丢失等影响，并且具有更接近于通过沿纵向和横向移动像素获得的显示图像的质量。

在此例子中，示出β1＝0.25、β2＝β3＝β4＝β5＝0.125、β6＝β7＝β8＝β9＝0.0625的实例。在这个实例中，将输出像素数据Q表示为Q＝0.25·A+0.125(B+C+D+E)+0.0625(F+G+H+I)。

在这个处理中，当获得两个周围的像素时，使用沿纵向和横向邻近由带斜线的圆圈表示的像素并由白色圆圈表示的像素上的像素数据。当获得四个周围的像素时，使用沿对角线邻近由带斜线的圆圈表示的像素并由白色圆圈表示的像素上的像素数据。由带斜线的圆圈表示的像素上的像素数据只在获得该像素自己时使用。因此，转换后的图像上的所有像素数据被反映在输出图像中，并且被用于输出图像。

在这个处理中，当获得四个周围的像素时使用由白色圆圈表示的像素上的像素数据，而由带斜线的圆圈表示的像素上的像素数据仅在获得该像素自己时才使用。因此，使用转换后的图像上的所有像素数据来确定输出图像。因此，图像数据不仅被反映在要输出的像素数据中，也被反映与其相邻的像素数据中。可以获得能够在抑制彩色失配准的同时以高质量表示整个图像的像素数据。

图10是根据第一实施例的图像处理的流程图。图像处理单元11读取用于图像处理的各种设置(步骤S101)，将图像数据从存储单元4传递到图像处理装置10(步骤S102)，并且执行包括γ校正处理的各种图像处理(步骤S103)。然后，分辨率转换单元12对进行了各种图像处理的图像数据执行分辨率转换处理，产生正方形阵列中的图像数据，并且对所产生的正方形阵列中的图像数据进行诸如滤波的操作处理(S104)。分辨率转换单元12将已经进行了所述操作处理的图像数据排列在delta阵列中，并且将delta阵列中的图像数据输出到显示单元5(步骤S105)。显示单元5显示图像(步骤S106)。

图11示出了当执行这一滤波并且类似于图5而对像素进行对角线移动时的显示图像。通过执行这些处理，将转换后的图像上的所有像素数据用于显示图像。与如图5所示通过不使用这些处理的传统方法显示的图像相比，可以用更高质量和更高分辨率来显示图像。此外，即使与如图4所示通过沿纵向和横向移动像素而获得的显示图像(具有两倍分辨率)相比，尽管存在轻微的模糊，但是可以得到在质量和分辨率上与其更接近的显示图像。至此，已经解释了用于从正方形阵列中的像素上的分辨率转换后的像素数据产生与包括在正方形阵列中的像素内的delta阵列中的像素相对应的像素数据的方法。

如可以看到的那样，可以实现能够通过对分辨率转换后的图像数据进行滤波来提高图像质量和分辨率的图像处理装置。与在不进行滤波的情况下提取和输出与delta阵列相对应的位置上的像素上的像素数据的传统技术相比，该图像处理装置可以提供高质量图像。当将这种图像处理装置合并到图像显示装置中时，能够实现可通过类似地提高图像质量和分辨率来显示图像的图像显示装置。

图12是根据本发明第二实施例的图像处理装置的功能方框图。根据第二实施例的图像显示装置110与根据第一实施例的图像显示装置不同之处如下。包括在装置110中的图像处理装置10’另外包括子帧产生单元14。图像处理装置10’包括在输出数据产生方法上不同于输出数据产生单元13的输出数据产生单元13’。图像显示装置110包括显示单元5’，其将子帧产生单元14产生的两个子帧在视觉上显示为一帧。

在图像处理单元11对图像数据执行图像处理之后，分辨率转换单元12对图像数据执行分辨率转换处理。分辨率转换单元12产生在正方形或矩形的平行六面体阵列中的图像数据，以便匹配到图像显示装置100’的显示单元5’的分辨率。

当显示元件处于M×N个像素的delta阵列中时，或者当显示元件的像素数量是M×0.5N并且对像素执行像素移动时，分辨率转换单元12产生2M×N个像素的图像数据。注意：2M×N个像素上的图像数据是在正方形或矩形的平行六面体阵列中的图像数据。另外，当执行像素移动时，假定显示元件的像素数量为M×0.5N。

输出数据产生单元13’产生delta阵列中的像素上的像素数据。即，输出数据产生单元13使用由分辨率转换单元12产生的像素数据来计算从显示元件输出的像素数据，并且不输出不能从显示元件输出的像素点。因此，输出数据产生单元13’执行明显的抽取，其中，从明显地基于所有像素点处理的像素点抽取几乎全部(all but)输出像素点、即delta阵列的像素点。输出数据产生单元13’将如此产生的delta阵列中的像素上的图像数据传送到显示单元5’，其中，显示元件显示接收到的图像数据。

图13是图示能够根据所产生的输出图像数据控制光并由多个像素构成的显示元件的像素以及像素移位操作的示意图。相对于图13所示的多个像素401，从像素401的显示位置沿纵向和横向移位一半距离的位置上的像素是多个像素402。即，像素402沿对角线与像素401相邻，并且是通过移动像素401获得的。在一个场的周期内，将要显示的像素从像素401移位到402，并且将一个场的图像显示为每个位置上的多个子场，从而形成图像。

作为用于移动像素的像素移动装置，使用这样的光学元件(旋转板或光偏转器等)，其能够把发射光移动为平行于入射光、以某个角度旋转入射光、或通过移动和旋转的组合来改变光路。通过如此执行像素移动，可以构成等效于图14所示的像素阵列的像素阵列。也就是说，当像素401的数量是M×N×0.5时，在视觉上看起来是：在一帧内通过这两个子帧来显示M×N个像素。

接下来解释由输出数据产生单元13’执行的输出数据处理。由输出数据产生单元13’执行的输出数据处理是这样的处理，该处理用于获得输出像素数据，使得在进行了各种图像处理之后在正方形或矩形的平行六面体阵列中的像素上的转换后的图像数据的像素阵列被匹配到delta阵列中的像素上的输出图像数据的像素阵列。可替代地，输出数据处理可以在被包括在其他图像处理中的同时执行。

图14是包括沿对角线移动像素的光偏转器和单个显示元件的图像显示装置的结构图。光源201是超高压水银灯和抛物面反射器的组合。

用于使垂直于聚光透镜203和合成器(integrator)206的光返回其上的两个凸透镜203和205被设置在合成器206、色轮204前面，所述色轮204位于收集处于透镜203和205之间的光以便根据关于每个颜色分量的图像数据改变光的波长带所在的位置上。合成器26使得从光源发射的光均匀。作为显示元件208，使用反射液晶显示板。

偏振分束器(PBS)209将照明光与图像光分开。像素移动元件210由光偏转器等构成并由控制电路控制。像素移动元件210按照在像素阵列的对角线方向上设置的移动量来移动图像光。投影透镜(projection lens)211将经过像素移动元件210的光投射到屏幕上以便显示图像。

在此图像显示装置中，图像帧由时分子帧构成，为各个颜色分量构造所划分的子帧，并且根据每个颜色分量控制色轮204。在此图像显示装置中，光移动元件或光偏转器210对于每个子帧操作，并且在图像显示元件上显示对应于与光偏转器210的操作状态一致的显示位置的图像信息。因此，有可能以明显高精度显示图像并且降低图像显示装置的成本。

图15示出包括三个显示元件的图像显示装置的结构。通常，包括三个显示元件的装置称为“三元件装置”。作为显示元件，使用三个反射液晶显示板(分别用于R、G、和B颜色分量)。

与单元件显示装置相似，使用作为超高压水银灯和抛物面反射器的组合的灯作为光源。使用用来使光均匀的合成器以及用来使偏振光的方向一致(即一个方向)的偏振板，几乎均匀地照射光。

经过合成器206和偏振板207的光分别被不同波长带(相应于红色、绿色和蓝色分量)中的分色镜反射或透射。例如，蓝色反射分色镜反射蓝色分量并且透射绿色和红色分量。分成各个颜色分量的光被PBS(偏振分束器)209反射并入射到像素移动元件210上。

在像素移动元件按照在像素阵列对角线方向上设置的移动量移动图像光之后，被移动的光通过投影透镜而被投射到屏幕上，从而显示图像。图像帧由时分子帧构成，光移动元件或光偏转器210对每个子帧操作，并且在图像显示元件上显示对应于与光偏转器210的操作状态一致的显示位置的图像信息。

图16是像素对角线移动处理的流程图。直到使输出数据产生单元13’产生delta阵列中的像素上的图像数据的步骤的步骤与根据第一实施例的步骤S101到S105相同。因此，将在这里解释步骤S206和其后的步骤。子帧产生单元14产生子帧(在步骤S206)并且将计数器初始化为0(C＝0)(步骤S207)。显示单元5’显示子帧C(＝0)的图像(步骤S208)，执行像素对角线移动(步骤S209)，并用C+1(在此例中＝1)代替C(步骤S210)。确定C是否是1(步骤S211)。当确定C是1(步骤S211处的“是”)，处理返回步骤S208。重复相同的循环并确定这次C不是1(步骤S211处的“否”)。然后，处理返回第一步骤S101(图10)并重复该循环。这样，当产生子帧时，显示单元5’显示图像。

在这个实施例中，根据显示的时间产生两个子帧。这些子帧上的图像数据被传送到显示单元5’，其中，像素移动元件的操作与显示元件进行的子帧的显示同步，从而显示图像。在这个实施例中，仅仅出于说明的目的给出图像显示装置和图像处理装置，并且这些装置的类型不限于此。

通过这样配置，图像显示装置可以清楚地以高精度显示图像。另外，这种结构可以降低图像显示装置的成本。此外，这种结构使得多个显示元件显示各个颜色分量成为可能，并且使得没有必要在根据颜色分量划分显示时间的同时显示颜色分量。因此，增加了每种颜色分量的显示时间，并且提高了光利用效率。

如图9所示的被输出数据产生单元用于滤波的滤波器可以类似地用在第二实施例中。由于所述滤波器和滤波与在第一实施例中解释的那些相同，因此在这里不对其进行解释。

考虑到人类对绿色分量的视觉敏感度最高，将图像显示装置配置为在两个像素位置上显示对分辨率具有最高影响的绿色分量上的图像数据。通过如此构造，有可能以简单结构并且不需移动每个颜色分量的像素来获得提高图像分辨率的效果。在该实施例中，解释使用像素移动元件在对角线方向上只移动绿色分量的像素的实例。

假设在与图6所示的显示元件的像素阵列(delta阵列)相似的阵列中显示要移动的绿色分量的像素。还假设在与图7所示的显示元件的像素阵列(正方形阵列)相似的阵列中显示红色和蓝色分量的像素。使用图8所示的滤波器对绿色分量的像素进行滤波，并且使用图9所示的滤波器对其他颜色分量的像素执行滤波，从而产生显示图像。

图17示出通过在绿色分量以及其他蓝色和红色分量之间不同地进行滤波而产生的显示图像。图18示出通过不对绿色、红色和蓝色分量执行不同滤波的传统方法产生的图像。图19示出通过对所有颜色分量执行图8所示的滤波产生的图像。图20示出通过对所有颜色分量执行图9所示的滤波产生的图像。

当对所有颜色分量执行白平衡时产生这些显示图像。然而，当执行像素对角线移动时，对显示图像的白平衡由于下述原因而几乎不导致问题。划分(divide)来自光源的、用于要进行像素移动的颜色分量的光，并且将不同的显示元件用于移动目标颜色分量。

然而，当如图14所示只使用一个显示元件时，可以采用下述方法。(1)用于改变显示元件的显示时间的方法，(2)当使得显示元件的显示时间恒定时，通过利用色轮操作进行像素移动的颜色分量来改变光透射率的方法，(3)用于减少要进行像素移动的颜色分量上的图像数据的方法等。

在图18所示的图像中，图像颜色是清晰的；然而，该图像出现绿色和桃红色的丢失、大锯齿状图形和彩色失配准。在图19所示的图像中，将绿色分量上的所有像素数据用于显示图像，而不将其他颜色分量上的转换后的图像数据的一部分用于显示图像，从而导致出现像素数据丢失。这表明：尽管图19所示的图像比图18所示的图像在质量上更高，但是图19所示的图像出现彩色失配准。

在图20所示的图像中，使用绿色分量上的像素数据的比率变化，并且绿色分量上的像素数据受到相邻显示像素上的像素数据影响。由于这个原因，尽管将彩色失配准减少到可以忽略的程度，但是图像轻微地模糊。

在图17所示的图像中，以相等的比率使用所有像素数据，并且像素数据不受相邻显示像素上的像素数据影响。与图12所示的显示图像相比，图像模糊减少，并且可以以高质量和高分辨率显示图像，使得即使在可以识别像素结构的距离上，彩色失配准也可以忽略。

如可以看到的那样，有可能提供这样的图像显示装置和图像处理装置，其能够减少由只提高绿色分量的分辨率导致的彩色失配准，并且能够通过根据是否进行像素对角线移动而使用适合于要输出的像素阵列的不同滤波装置，来以高质量和高分辨率显示图像，使得即使在可以识别显示图像的像素结构的距离上，彩色失配准也可以忽略。

如果使用利用如图14所示的一个显示元件显示所有颜色分量的单元件显示装置、并且对所有颜色分量执行像素移动，则由于需要在两个分别的显示位置上显示三种颜色，必须显示图像六次。相比之下，根据这个实施例，总共显示图像四次就足够了，即，一次用于三个颜色的每一个，并且一次用于绿色(或一次用于红色和蓝色中的每一个，并且两次用于绿色)。因此，减少了显示各个颜色的时刻(time)之间的反应时间之和，并且提高了光利用效率。

此外，当将绿色分量的原始显示像素的数量设置为不同于其他分量的原始显示像素的数量、而不是执行在该实施例中执行的像素移动时，不需要对于所有颜色分量增加显示元件的像素数量。因此，可以提供显示元件的具有较少线路的简单结构，从而使得以低成本获得提高图像分辨率的效果成为可能。这也能够帮助提高显示元件自身的分辨率。

图21示出通过沿对角线移动要在两个位置上显示的颜色分量中的绿色分量的像素、以及通过在不同于绿色分量位置的位置上分别显示红色和蓝色分量而获得的图像。在图17所示的图像中，彩色失配准出现在绿色和桃红色之间。在图21所示的图像中，彩色失配准出现在蓝色和橙色之间。由于人类对绿色分量的视觉敏感度最高，因此人们易于识别出图17所示的彩色失配准而不是图21所示的彩色失配准。另外，在图18所示的图像中，图像质量的下降更小。

如果使用包括在图14所示的图像显示装置中的一个显示元件来显示图像，则可以使用像素移动装置、通过使红色分量和蓝色分量中的每一个位于不同的一个位置，来将像素的显示位置移位。如果使用旋转板作为像素移动装置，则可以以相等的比率(rate)操作显示元件和旋转板。这可以利用对像素移动装置的复杂控制实现并且有助于控制。

如果像素移动装置是使用液晶的光偏转器，则利用AC电压驱动该液晶。因此，所施加的电压是DC平衡的。因此，减少光偏转器寿命的原因(例如由液晶的不均匀倾斜和液晶的电解导致的光泄漏)较少出现，从而使得延长光偏转器的寿命成为可能。

图22是图示使得不进行像素移动的颜色分量的显示时间与进行像素移动的颜色分量的显示时间的两倍一样长的操作的示意图。几乎相等地设置每种颜色分量的显示时间。在图22中，示出了由显示元件显示的各个颜色分量和像素移动定时。在图22中，红色和蓝色分量分别被显示在不同位置(1)和(2)上，并且绿色分量被显示为遍布两个位置。在这种情况下，如果将红色和蓝色分量中的每一个的显示时间设置为几乎等于显示绿色分量一次的时间，那么在相同显示位置上，红色和蓝色分量分别显示两次。控制这两个显示操作为一组。通过这样配置，如果显示元件的最大灰度(gradation)表示是例如256个灰度，则每个颜色分量可以用256个灰度表示。通过整体控制各个颜色分量，红色和蓝色分量可以用两倍的灰度(即511个灰度)来表示。因此，有可能增加不进行像素移动的颜色分量的灰度数量并且用更多灰度表示输出图像。

优选的是，将通过像素移动的每个显示位置上的每个颜色分量的显示元件的显示时间设置为基本上相等。通过如此设置，即使在可以识别像素结构的可视距离上，也有可能以高质量和高分辨率显示没有彩色失配准的图像。

优选地，在被像素移动元件移位之后，至少显示由显示元件显示的绿色分量。通过这样做，图像显示装置可以以低成本显示高分辨率图像。另外，光利用效率可以得到提高。

优选地，用于绿色分量的显示元件的显示时间比用于其他颜色分量的显示元件的显示时间短。通过如此设置，可以显示具有良好白平衡的图像。

还优选的是，进一步提供将绿色光质量降低到小于其他颜色分量的光质量的调光器功能。通过这样做，可以在使得用于各个颜色分量的显示元件的显示定时恒定的同时，显示具有良好白平衡的图像。

优选地，显示元件将除了绿色以外的颜色显示为与绿色像素相邻并且分别交替位于不同的显示位置上。通过将人类视觉敏感度最高的绿色的彩色失配准改变为在人类视觉敏感度方面差于绿色的其他颜色的彩色失配准，可以抑制由于彩色失配准导致的图像质量下降。

优选地，通过调整在所有输出像素数据中不被移位的颜色分量的排列、以及通过调整各个颜色分量的光量，使得将各个输出像素数据输出到显示位置的显示元素的时间基本相等。通过调整在所有输出像素数据中不被移位的颜色分量的排列、以及调整各个颜色分量的光量而使得各个输出像素数据位于显示位置上的时间基本相等，并且通过允许在AC电压下执行像素移动操作，可以使像素移动装置的操作一致以实现正常(regular)操作。因此，可以实现对像素移动装置的控制的简化和便利性、以及装置寿命的延长。

优选地，将用于所有颜色分量的显示元件的显示时间设置为基本相等，并且将不进行像素移动的颜色分量的显示时间设置为与要进行像素移动的颜色分量的显示时间的两倍一样长。通过使所有颜色分量的显示时间基本相等、在与进行像素移动的颜色分量的时间的两倍一样长的时间内显示不进行像素移动的颜色分量、以及利用互相匹配的灰度来控制像素移动，有可能实现不进行像素移动的颜色分量的灰度数量的增加。

图23是根据第一实施例的图像处理装置的硬件结构的方框图。参照图23来解释根据第一实施例的图像处理装置的硬件结构。中央处理单元(CPU)1101控制图像处理装置。只读存储器(ROM)和硬盘驱动器(HDD)1102是用于存储程序和数据的只读存储器。随机存取存储器(RAM)1103是被用作用来扩展程序和数据的存储器的可写入和可读取的存储器，即用来在图像处理等期间绘制(draw)图像的存储器。

由根据第一实施例的图像处理装置执行的图像处理程序可被配置为：通过以可安装形式或可执行形式而作为文件被记录在计算机可读记录介质(例如致密盘只读存储器(CD-ROM)、软盘(FD)、可记录致密盘(CD-R)或数字多用途盘(DVD))中来提供。

此外，由根据第一实施例的图像处理装置执行的图像处理程序可被配置为：通过被存储在连接到网络(例如因特网)的计算机并通过网络下载到图像处理装置来提供。或者，可以通过诸如因特网的网络来提供或分发图像处理程序。

由根据第一实施例的图像处理装置执行的图像处理程序被配置为模块，该模块包括各个单元(图像处理单元、分辨率转换单元、输出数据产生单元等)。作为实际的硬件，CPU从ROM读取图像处理程序并执行该程序，由此将各个单元加载到主存储设备上，并且在主存储设备上产生图像处理单元、分辨率转换单元、输出数据产生单元等。

工业实用性

如上面解释的那样，根据本发明实施例的图像处理装置、图像显示装置、图像处理方法和计算机产品可用于处理显示图像的像素数据，并且尤其适合于要求抑制彩色失配准以获得高质量图像的设备，例如投影仪、复印机和打印机。

Claims (26)

1.一种对图像数据执行分辨率转换以便输出到显示单元的图像处理装置，包括：

分辨率转换单元，被配置用来对图像数据执行分辨率转换，以便产生具有与显示单元分辨率的α倍一样高的分辨率的像素数据；

图像处理单元，被配置用来对像素数据执行图像处理；和

抽取单元，被配置用来抽取已经进行了图像处理的像素数据以便具有等于或低于显示单元分辨率的分辨率，并且将所抽取的数据输出到显示单元。

2.根据权利要求1所述的图像处理装置，其中，抽取单元被配置用来向显示单元输出在delta阵列中形成的M×N个像素的像素数据，该像素数据具有N行像素行、其每一行包括在水平方向上以间距Ph排列的M个像素，所述像素行在垂直方向上以间距Pv排列，在所述delta阵列中，沿水平方向将彼此相邻的两个像素行移动大约0.5Ph。

3.根据权利要求2所述的图像处理装置，其中：

分辨率转换单元被配置用来产生在矩形平行六面体阵列中形成的2M×N个像素的像素数据，该像素数据具有N行像素行，其每一行包括沿水平方向排列的2M个像素，所述像素行沿垂直方向排列，

图像处理单元被配置用来对该2M×N个像素的像素数据执行图像处理，并且

抽取单元被配置用来将该2M×N个像素的像素数据抽取为M×N个像素的像素数据。

4.根据权利要求2所述的图像处理装置，其中：

分辨率转换单元被配置用来通过组合M×N个像素的第一子输出图像和M×0.5N个像素的第二子输出图像来产生2M×N个像素的像素数据，所述第一子输出图像具有N行像素行，其每一行包括在水平方向上以间距Ph排列的M个像素，所述像素行在垂直方向上以间距Pv排列，在第一子输出图像中，沿水平方向将彼此相邻的两个像素行移动大约0.5Ph，并且，所述第二子输出图像具有0.5N行像素行，其每一行包括在水平方向上以间距Ph排列的M个像素，所述像素行在垂直方向上以间距Pv×2排列，

图像处理单元被配置用来对该2M×N个像素的像素数据执行图像处理，并且

抽取单元被配置用来将该2M×N个像素的像素数据抽取为M×N个像素的像素数据。

5.根据权利要求4所述的图像处理装置，其中，所述图像处理包括由第一滤波单元对第一子输出图像执行的第一滤波、以及由第二滤波单元对第二子输出图像执行的第二滤波。

6.根据权利要求1所述的图像处理装置，其中，图像处理单元被配置用来对于像素数据和相邻像素数据中的每个像素，通过加权和叠加所述像素数据和多个相邻像素数据来对所述像素数据执行图像处理。

7.根据权利要求6所述的图像处理装置，其中，相邻像素数据包括在垂直方向、水平方向和对角线方向上位置相邻的像素数据。

8.根据权利要求1所述的图像处理装置，其中：

图像处理单元被配置用来在坐标中绘制进行分辨率转换的图像数据的像素和要输出到显示单元的图像数据的像素；并且

图像处理单元包括第一滤波单元，其被配置用来使用α1·A+α2·B+α3·C+α4·D+α5·E产生位于坐标(X，Y)上的输出图像数据的像素数据，其中A、B、C、D和E是执行分辨率转换的图像数据的像素数据，其在坐标中分别位于坐标(X，Y)、(X-0.5Ph，Y)、(X+0.5Ph，Y)、(X，Y-Pv)和(X，Y+Pv)上，并且当i是1、2、3、4或5时，αi是不为零的常数。

9.根据权利要求1所述的图像处理装置，其中，常数α1约为0.5，并且常数α2到α5约为0.125。

10.根据权利要求1所述的图像处理装置，其中：

图像处理单元被配置用来以坐标绘制执行分辨率转换的图像数据的像素和要输出到显示单元的图像数据的像素；并且

图像处理单元包括第二滤波单元，其被配置用来使用β1·A+β2·B+β3·C+β4·D+β5·E+β6·F+β7·G+β8·H+β9·I产生位于坐标(X，Y)上的输出图像数据的像素数据，其中A、B、C、D、E、F、G、H和I是执行分辨率转换的图像数据的像素数据，其在坐标中分别位于坐标(X，Y)、(X-0.5Ph，Y)、(X+0.5Ph，Y)、(X，Y-Pv)、(X，Y+Pv)、(X-0.5Ph，Y-Pv)、(X+0.5Ph，Y-Pv)、(X-0.5Ph，Y+Pv)和(X+0.5Ph，Y+Pv)上，并且当i是1、2、3、4、5、6、7、8或9时，βi是不为零的常数。

11.根据权利要求10所述的图像处理装置，其中，常数β1约为0.25，常数β2到β5约为0.125，常数β6到β9约为0.0625。

12.一种图像显示装置，包括：

图像处理装置，包含：

分辨率转换单元，被配置用来对图像数据执行分辨率转换，以便产生具有与显示单元分辨率的α倍一样高的分辨率的像素数据，其中α＞1；

图像处理单元，被配置用来对像素数据执行图像处理；和

抽取单元，被配置用来抽取进行了图像处理的像素数据以便具有等于或低于显示单元分辨率的分辨率，并将所抽取的数据输出到显示单元；以及

显示元件，其能够根据由图像处理装置产生的输出图像数据控制光，并被配置用来显示由M×N个像素构成的图像，所述M×N个像素具有N行像素行，其每一行包括在水平方向上以间距Ph排列的M个像素，所述像素行在垂直方向上以间距Pv排列，所述像素行被排列为使得沿水平方向将彼此相邻的两个像素行移动大约0.5Ph。

13.根据权利要求12所述的图像显示装置，其中，提供多个显示元件，并且所述显示元件被配置用来显示具有至少红色分量、蓝色分量和绿色分量的图像数据。

14.一种图像显示装置，包括：

图像处理装置，包含：

分辨率转换单元，被配置用来对图像数据执行分辨率转换，以便产生具有与显示单元分辨率的α倍一样高的分辨率的像素数据，其中α＞1；

图像处理单元，被配置用来对像素数据执行图像处理；和

抽取单元，被配置用来抽取已经进行了图像处理的像素数据以便具有等于或低于显示单元分辨率的分辨率，并且将所抽取的数据输出到显示单元；其中，

抽取单元被配置用来向显示单元输出在delta阵列中形成的M×N个像素的像素数据，该像素数据具有N行像素行，其每一行包括在水平方向上以间距Ph排列的M个像素，所述像素行在垂直方向上以间距Pv排列，在所述delta阵列中，沿水平方向将彼此相邻的两个像素行移动大约0.5Ph，

分辨率转换单元被配置用来通过组合M×N个像素的第一子输出图像和M×0.5N个像素的第二子输出图像来产生2M×N个像素的像素数据，所述第一子输出图像具有N行像素行，其每一行包括在水平方向上以间距Ph排列的M个像素，所述像素行在垂直方向上以间距Pv排列，在第一子输出图像中，沿水平方向将彼此相邻的两个像素行移动大约0.5Ph，并且，所述第二子输出图像具有0.5N行像素行，其每一行包括在水平方向上以间距Ph排列的M个像素，所述像素行在垂直方向上以间距Pv×2排列，

图像处理单元被配置用来对该2M×N个像素的像素数据执行图像处理，并且

抽取单元被配置用来将该2M×N个像素的像素数据抽取为M×N个像素的像素数据；以及

显示元件，其能够根据由图像处理装置产生的输出图像数据控制光，并被配置用来显示通过组合第一子输出图像和第二子输出图像获得的图像。

15.根据权利要求14所述的图像显示装置，其中，显示元件以至少绿色像素来形成第一子输出图像。

16.根据权利要求14所述的图像处理装置，其中，显示元件被配置用来在相邻于绿色像素的位置上显示除了绿色以外的颜色，使得该位置交替地互不相同。

17.一种图像显示装置，包括：

图像处理装置，包含：

分辨率转换单元，被配置用来对图像数据执行分辨率转换，以便产生具有与显示单元分辨率的α倍一样高的分辨率的像素数据，其中α＞1；

图像处理单元，被配置用来对像素数据执行图像处理；和

抽取单元，被配置用来抽取已经进行了图像处理的像素数据以便具有等于或低于显示单元分辨率的分辨率，并且将所抽取的数据输出到显示单元；以及

显示元件，其能够根据由图像处理装置产生的输出图像数据控制光，并且被配置用来显示由多个像素构成的图像；和

像素移位单元，被配置用来通过改变来自像素的光线的光轴，将所述每个像素移动在显示元件的每个像素和沿对角线方向与所述每个像素相邻的像素之间的距离的一半，使得图像具有比显示元件的分辨率更高的分辨率。

18.根据权利要求17所述的图像显示装置，其中，显示元件的数量是1，并且其被配置用来显示具有至少红色分量、蓝色分量和绿色分量的图像数据。

19.根据权利要求17所述的图像显示装置，其中，对于每个被移位的像素的位置，在由显示元件显示的所有颜色分量中，显示时间基本相等。

20.根据权利要求17所述的图像显示装置，其中，像素移位单元被配置用来将至少绿色分量的像素移位。

21.根据权利要求20所述的图像显示装置，其中，与除了绿色分量以外的颜色分量相比，对于绿色分量，显示元件具有较短的显示时间。

22.根据权利要求20所述的图像显示装置，还包括调光器单元，其被配置用来与除了绿色分量之外的颜色分量相比，降低绿色分量的光量。

23.根据权利要求17所述的图像显示装置，其中，显示元件被配置用来通过调整在输出像素数据中不被移位的颜色分量的排列、以及通过调整每个颜色分量的光量，来对于由显示元件显示的所有颜色分量，在基本相等的时间内将输出像素数据输出到显示位置。

24.根据权利要求17所述的图像显示装置，其中，在所有颜色分量中，显示时间基本相等，而不被移位的颜色分量的显示时间与被移位的颜色分量的显示时间的两倍一样长。

25.一种图像处理方法，其中，对要输出到显示单元的图像数据执行分辨率转换，该方法包括：

对图像数据执行分辨率转换，以便产生具有与显示单元分辨率的α倍一样高的分辨率的像素数据，其中α＞1；

对像素数据执行图像处理；

抽取已经进行了图像处理的像素数据，以便具有等于或低于显示单元分辨率的分辨率；以及

将所抽取的数据输出到显示单元。

26.一种在其中存储用于实现图像处理方法的计算机程序的计算机可读记录介质，在所述图像处理方法中，对要输出到显示单元的图像数据执行分辨率转换，该计算机程序使得计算机执行以下步骤：

对图像数据执行分辨率转换，以便产生具有与显示单元分辨率的α倍一样高的分辨率的像素数据，其中α＞1；

对像素数据执行图像处理；

抽取已经进行了图像处理的像素数据，以便具有等于或低于显示单元分辨率的分辨率；以及

将所抽取的数据输出到显示单元。

Images