CN101689351A - 图像形成和显示方法以及图像形成和显示装置 - Google Patents

Abstract

一种图像形成和显示装置设置有：对光学像进行光电转换的图像形成元件(1)；控制图像形成元件(1)的读出位置的读出控制单元(6)；处理从图像形成元件(1)读出的图像信号的图像处理单元(2)；显示从图像处理单元(2)输出的图像的图像显示单元(4)；对图像显示单元(4)上显示的图像的观察像素位置进行移位的像素移位单元(5)；控制像素移位单元(5)的像素移位控制单元(7)；以及系统控制单元(8)，其控制读出控制单元(6)和像素移位控制单元(7)，使得对于由图像形成元件(1)进行了光电转换的图像信号，通过图像显示单元(4)和像素移位单元(5)对像素进行移位和显示。由此，可以缩短从图像形成到显示的延迟时间，并且使得空间分辨率和运动分辨率可以很高。

Description

图像形成和显示方法以及图像形成和显示装置

本申请要求2007年6月26日提交的日本专利申请No.2007-168018的优先权，在此并入其全部内容以用于参考。

技术领域

本发明涉及一种图像形成和显示方法和图像形成和显示装置，其用于对通过图像形成元件进行图像形成而获得的图像数据的像素进行移位，并且用于在像素数量比图像形成元件的像素数量少的显示元件上以比该显示元件的分辨率高的分辨率显示经过像素移位的图像数据。

背景技术

常规上，例如，JP2003-302952公开了一种显示装置，该显示装置用于对输入图像数据的像素进行移位并且用于显示经过像素移位的图像数据，如图19所示，该显示装置包括图像处理电路110、帧存储器111、显示器112和控制电路113。在该显示装置中，在控制电路113的控制下，图像处理电路110对具有比显示器112的像素数量更多的像素的输入图像数据执行图像处理，诸如伽玛矫正、对比度控制、亮度控制等，接着在帧存储器111中存储经过处理的图像数据。将存储在帧存储器111中的帧数据划分为多个子帧的图像数据，将其顺序地读出并提供到显示器112。每一个子帧都顺序地改变显示位置，并且将图像显示在显示器112上。由此，显示分辨率明显高于显示器112的分辨率的图像。结果，能够在廉价的显示器上进行高分辨率显示，这获得低成本的优点。

在另一方面，最近，例如，MOS(金属氧化物半导体)图像传感器已经广泛用作图像形成元件。不同于CCD(电荷耦合器件)图像传感器，MOS图像传感器不需要势阱中的电荷转移，而能够利用信号线(导线)读出任意行的像素数据，从而可以对子采样像素读出、像素混合读出、和全部像素读出进行切换。

发明内容

本发明解决的问题

现在，可以将图19所示的显示装置应用于作为一种数码相机取景器的EVF(电子取景器)。由于EVF用于将镜头捕获的图像原样地投射在取景器上以使得用户可以确认捕获的图像，所以EVF要求高运动分辨率和低显示延迟。

然而，由于最近的图像形成元件具有高分辨率，从图像形成元件读出高分辨率数据需要时间，读出帧速率变低。尽管也构想了提高读出时钟频率的方法以提高读出帧速率，但是这将造成功耗增加，因此限制了提高读出时钟频率。结果，很难仅仅通过提高时钟频率来提高读出帧速率。由于需要与图像形成元件的像素数量对应的用于一个画面的帧存储器，所以随着像素数量的增加，电路变得复杂，并且，由于需要在该帧存储器中将图像写入一次，所以出现从图像形成到显示的显示延迟。

在将图19所示的显示装置用于具有大像素数量的图像形成元件的数码相机中的EVF以实现成本降低的情况下，如图20所示，顺序地从图像形成元件输出帧数据。在此时，当在图像处理电路110中处理此按顺序的帧数据、接着将其存储在帧存储器111中时，发生延迟。另外，在将帧存储器111中存储的帧数据划分为多个子帧的图像数据、顺序读出图像数据、对图像数据的像素进行移位并在显示112上显示的处理中，发生进一步的延迟。结果，从在图像形成元件中形成图像到在显示器112上显示图像将发生超过一帧的延迟。图20示出将一帧数据划分为两个子帧的图像数据以及像素按两个点移位的情况。

另外，由于将具有低帧速率的一个高分辨率帧数据划分为多个子帧的图像数据，对图像数据的像素进行移位，接着进行显示，所以可以提高空间分辨率，同时，由于划分的多个子帧的图像数据是在相同时段内进行图像形成的图像数据，所以不能提高时间分辨率，即运动分辨率。

因此，考虑到上述问题而提出的本发明的目的是提供一种图像形成和显示方法以及图像形成和显示装置，其能够降低从图像形成到显示的延迟时间并且提高空间分辨率和运动分辨率。

解决问题的手段

在为了实现上述目的的本发明的第一方面中，一种图像形成和显示方法包括以下步骤：

从对光学像进行光电转换的图像形成元件获取具有不同读出位置的多个场的图像信号；以及

在图像显示单元上显示所述多个场的图像信号，其中对所述图像信号的像素位置进行了移位。

在本发明的第二方面中，提供了第一方面的图像形成和显示方法，其中，对所述场的图像信号的像素数量进行转换，并且将经转换的图像信号显示在图像显示单元上。

在本发明的第三方面中，提供了第一方面或第二方面的图像形成和显示方法，其中，通过控制所述图像形成元件的曝光定时和/或图像信号从所述图像形成元件的输出定时，获取具有不同读出位置的多个场的图像信号。

在为了实现上述目的的本发明的第四方面中，一种图像形成和显示装置包括：

图像形成元件，其用于对光学像进行光电转换；

读出控制单元，其用于控制所述图像形成元件的读出位置；

图像处理单元，其用于处理从所述图像形成元件读出的图像信号；

图像显示单元，其用于显示从所述图像处理单元输出的图像信号；

像素移位单元，其用于对显示在所述图像显示单元上的观察像素位置进行移位；

像素移位控制单元，其用于控制像素移位单元；以及

系统控制单元，其用于控制所述读出控制单元和所述像素移位控制单元，使得将由所述图像形成元件进行了光电转换的图像信号显示在所述图像显示单元上并且由所述像素移位单元进行移位。

在本发明的第五方面中，第四方面的图像形成和显示装置还包括图像输出单元，该图像输出单元用于转换从所述图像处理单元输出的图像信号的像素数量，并将经转换的图像数据提供给所述图像显示单元。

在本发明的第六方面中，第五方面的图像形成和显示装置的特征在于，所述图像输出单元通过从所述图像处理单元输出的图像信号中对像素进行子采样来转换像素数量。

在本发明的第七方面中，第五方面的图像形成和显示装置的特征在于，所述图像输出单元通过从所述图像处理单元输出的图像信号中选择像素来转换像素数量。

在本发明的第八方面中，第四方面到第七方面中的任一方面的图像形成和显示装置包括定时产生器，该定时产生器用于控制所述图像形成元件的曝光定时和/或图像信号从所述图像形成元件的输出定时。

在本发明的第九方面中，第八方面的图像形成和显示装置的特征在于，所述定时产生器与所述像素移位控制单元对所述像素移位单元的控制同步地控制所述图像形成元件的曝光定时和/或图像信号从所述图像形成元件的输出定时。

在本发明的第十方面中，第八方面的图像形成和显示装置的特征在于，所述定时产生器控制所述图像形成元件的曝光定时和/或图像信号从所述图像形成元件的输出定时，使得超过一次地从所述图像形成元件输出相同场的图像信号。

在为了实现上述目的的本发明的第十一方面中，一种图像形成和显示方法包括以下步骤：

从对光学像进行光电转换的图像形成元件获取具有不同空间和时间相位的多个场的图像信号；以及

在图像显示单元上显示所述多个场的图像信号，其中根据空间和时间相位对所述图像信号的像素位置进行了移位。

本发明的效果

根据本发明，从图像形成元件获取多个场的图像信号，这些图像信号具有不同的读出位置，即不同的空间和时间相位，并且，在对所述多个场的图像信号的像素位置进行了移位的情况下显示所述多个场的图像信号，使得能够减少从图像形成到显示的延迟时间并且提高空间分辨率和运动分辨率。

附图说明

图1是示出根据本发明的第一实施方式的图像形成和显示装置的主要部分的结构的框图；

图2是示出根据第一实施方式的像素移位单元的结构和操作的图；

图3是例示根据第一实施方式的图像形成元件的读出操作的图；

图4是示出根据第一实施方式的图像形成和显示操作的时序图；

图5是示出根据第二实施方式的像素移位单元的结构和操作的图；

图6是例示根据第二实施方式的图像形成元件的读出操作的图；

图7是示出根据第二实施方式的场A到D的空间相位关系的图；

图8是示出根据第二实施方式的图像显示操作的时序图；

图9是例示根据第三实施方式的图像形成元件的读出操作的图；

图10是示出根据第三实施方式的图像显示操作的时序图；

图11是例示根据第四实施方式的图像形成元件的读出操作的图；

图12是示出根据第四实施方式的图像形成和显示操作的时序图；

图13是例示根据第五实施方式的图像形成元件的读出操作的图；

图14是示出根据第五实施方式的产生RGB图像时的像素空间相位的关系的图；

图15是示出根据第五实施方式的RGB图像中的每个场的空间位置关系的图；

图16是示出根据第五实施方式的图像形成和显示操作的时序图；

图17是例示根据第六实施方式的图像形成元件的读出操作的图；

图18是示出根据第六实施方式的图像形成和显示操作的时序图；

图19是示出用于像素移位的现有显示装置的结构的框图；以及

图20是示出在图19所示的显示装置应用于数码相机的EVF的情况下的操作的时序图。

附图标记说明

1图像形成元件

2图像处理单元

3图像输出单元

4图像显示单元

5像素移位单元

6读出控制单元

7像素移位控制单元

8系统控制单元

9定时产生器

10液晶单元

12a、12b双折射板

21a、21b液晶单元

22a、22b双折射板

具体实施方式

在下文中，将参照附图描述本发明的实施方式。

(第一实施方式)

图1是示出根据本发明第一实施方式的图像形成和显示装置的主要部分的结构的框图。该图像形成和显示装置具有图像形成元件1、图像处理单元2、图像输出单元3、图像显示单元4、像素移位单元5、读出控制单元6、像素移位控制单元7、系统控制单元8、以及定时产生器9。

图像形成元件1具有矩阵形状的光电转换元件阵列，其将通过未示出的光学系统入射的光学像光电转换为图像信号，并且例如由前述的MOS图像传感器构成。定时产生器9控制图像形成元件1的图像信号的曝光定时和/或输出定时，读出控制单元6控制像素的读出位置，使得该图像形成元件1在预定的读出模式下读出图像信号并且将由此读出的信号提供到图像处理单元2。

图像处理单元2被设置为基于来自定时产生器9的定时信号，将从图像形成元件1输出的图像信号转换为数字信号，将该信号作为图像数据进行处理，并且将经处理的图像数据提供到图像输出单元3。图像处理单元2进行的图像处理包括利用特定像素及其相邻像素的图像数据来计算或产生特定像素的图像数据的处理、滤波处理等。

图像输出单元3被设置为基于来自定时产生器9的定时信号，如果需要则将在图像处理单元2中进行了处理的图像数据转换为具有对于图像显示单元4的像素数量来说适当大小的图像数据，并且按与像素移位单元5的像素移位操作同步的定时将由此转换的数据输出到图像显示单元4。当图像形成元件1的输出像素数量等于图像显示单元4的像素数量时，图像输出单元3可以省略大小转换功能，当与图像移位单元5进行的像素移位同步地对图像形成元件1进行读出时，图像输出单元3可以省略对图像数据的输出定时的调节功能。

图像显示单元4基于来自定时产生器9的定时，基于从图像输出单元3输出的图像数据显示图像，并且例如包括基于图像数据对照明光进行空间调制的EL显示元件或液晶显示(LCD)元件。

像素移位单元5被设置为在像素移位控制单元7的控制下，对图像显示单元4的像素的显示位置进行光学移位。下面将描述该像素移位单元5的具体结构。

基于来自定时产生器9的定时信号而操作的系统控制单元8控制对图像形成元件1的读出位置进行控制的读出控制单元6。另外，系统控制单元8基于来自定时产生器9的定时信号来对控制像素移位单元5的像素移位控制单元7进行控制。

根据本发明的第一实施方式，在图1所示的结构中，图像显示单元4的像素数量在水平和垂直方向上都不大于图像形成元件1的像素数量的1/二2。像素移位单元5按以下方式进行2点像素移位：在像素移位控制单元7的控制下，在获得来自图像形成元件1的一个画面的图像信号的每一帧中，图像显示单元4的显示像素位置是没有移位的初始像素位置以及在水平和垂直方向上都空间移位半个像素间距的斜像素位置。

因此，如图2所示，像素移位单元5包括液晶单元1和两个双折射板12a、12b。液晶单元11例如由TN液晶或铁电液晶组成。液晶单元11在电压施加到液晶单元11的ON状态下保持其偏振方向不变地透射入射光，在不施加电压的OFF状态下将其偏振方向旋转90度地透射入射光。

两个双折射板12a、12b例如由诸如石英、铌酸锂、金红石、方解石、硝酸钠等的各向异性晶体组成。例如，p偏振的入射光透射过双折射板12a，将像素位置在水平方向上移位半个像素间距，并且透射过双折射板12b，将像素位置在垂直方向上移位半个像素间距，而s偏振的入射光在像素位置不移位的情况下进行透射。

当从图像显示单元4入射到液晶单元11上的图像光的偏振面例如存在于水平方向(p偏振光)并且如图2a所示通过像素移位控制单元7将液晶单元11控制为处于OFF状态时，从图像显示单元4入射的图像光的偏振面被液晶单元11旋转90度而处于垂直方向(s偏振光)。结果，入射到液晶单元11上的图像光的像素1到4的观察像素位置分别是像素位置1-A到4-A，当图像光透射过双折射板12a、12b时，没有由于双折射板12a、12b而移位。

在另一方面，如图2b所示，在液晶单元11被像素移位控制单元7控制为处于ON状态的情况下，液晶单元11不会使得从图像显示单元4入射的图像光的偏振面发生旋转，p偏振光按原样透射。因此，像素位置被双折射板12a在水平方向上移位半个像素间距，进一步被双折射板12b在垂直方向上移位半个像素间距。结果，入射到液晶单元11的图像光的像素1到4的观察像素位置被像素移位单元5分别移位到斜像素位置1-D到4-D。

另外，由于像素移位单元5在图像形成元件1的每个帧中进行2点像素移位，读出控制单元6按以下方式控制图像形成元件1：使得图像形成元件1交织，使得每个帧被划分为场A和场D的两个场，这两个场各自具有不同的读出位置，使得根据像素移位单元5的像素移位量或显示位置关系在水平方向上对像素进行子采样从而读出每个场的图像信号，并且使得获得场A和场D的两个场的图像信号，这两个场各自具有不同的空间和时间相位。

也就是说，如图3所示，假设图像形成元件1的顺序水平行是a，b，c，...，并且顺序垂直行是1，2，3，...，选择每个帧的第一场A中的奇数行水平行a，c，e，...，并且通过例如按如下方式隔着一个像素进行子采样而读出所选择的水平行：读出奇数列的像素。类似地，在下一场D中选择偶数行的水平行b，d，f，...，并且通过例如按如下方式隔着一个像素进行子采样而读出所选择的水平行：读出偶数列的像素。

由此，图像处理单元2如上所述地处理顺序地从图像元件1读出的具有不同读出位置的场A的图像信号、以及具有相对于场A进行了斜移位的空间和时间相位的场D的图像信号，以产生图像数据。图像输出单元3将由此产生的图像数据顺序地转换为具有对于图像显示单元4的像素数量来说适当大小的子场A和子场D的图像数据，并且，按与像素移位单元5的像素移位操作同步的定时将由此转换的图像数据输出到图像显示单元4。因此，如图2a所示地显示每个帧的子场A的图像，并且如图2b所示地显示子场D的图像。

定时产生器9与从像素移位控制单元7向像素移位单元5提供的控制信号同步地，按照使得场A的读出位置与场D的读出位置不同的方式来控制图像信号从图像形成元件1的输出定时。由此，从图像形成元件1顺序地读出各自具有不同读出位置的场A和场D的图像信号，将其提供到图像处理单元2并在图像处理单元2中顺序地进行处理，在图像输出单元3中进行处理，接着提供到图像显示单元4。接着，通过由像素移位单元5按如下方式进行2点像素移位来显示由此处理的图像信号：使得顺序帧的子场A的图像显示在初始像素位置而不被移位，子场D的图像在水平和垂直方向上都分别半个像素间距地移位到斜像素位置。

图4是示出根据本实施方式的图像形成和显示装置的操作的时序图。在本实施方式中，不同于现有的情况，图像形成元件的帧数据并不是一次存储在帧存储器中。在控制图像显示单元4和像素移位单元5的同时控制图像形成元件1的读出位置，并且，按如下方式来读出图像形成元件1的每个帧并通过进行2点像素移位而进行显示：通过交错而将每个帧划分为两个场，按列对每个场的像素进行子采样。因此，如图4所示，从图像形成到显示的延迟时间可以缩短到一帧之内。另外，由于在不同的读出位置读出每个场，所以可以提高其中对像素进行了移位的要显示的图像的空间分辨率和运动分辨率。

在上述描述中，当从图像形成元件1读出每个场的图像信号时，同时对水平方向上的像素进行子采样。然而，读出来自图像形成元件1的每个场的图像信号而不对水平方向上的像素进行子采样，之后，可以在图像处理单元2和图像输出单元3中对水平方向上的每个场的像素进行子采样。

(第二实施方式)

在本发明的第二实施方式中，在图1所示的结构中，图像形成元件1具有1920×1080个像素的像素数量，图像显示单元4的像素数量在水平和垂直方向上都不大于图像形成元件1的像素数量的1/2。像素移位单元5在像素移位控制单元7的控制下按如下方式进行4点像素移位：在图像形成元件1的每个帧中，使得图像显示单元4的图像的显示像素位置移位到4个点，即不移位的初始像素位置、从初始像素位置在水平方向上空间移位半个像素间距的像素位置、从初始像素位置在垂直方向上空间移位半个像素间距的像素位置、以及从初始像素位置在水平和垂直两个方向上都空间移位半个像素间距的像素位置。

为此目的，像素移位单元5包括具有液晶单元21a和双折射板22a的水平方向像素移位组、以及具有液晶单元21b和双折射板22b的垂直方向像素移位组，如图5所示。液晶单元21a、21b例如由与图2所示的液晶单元11相同的TN液晶或铁电液晶构成。液晶单元21a、21b在被像素移位控制单元7施加电压的ON状态下透射入射光同时保持其偏振方向不变，在不被施加电压的OFF状态下透射入射光同时将其偏振方向旋转90度。

与图2所示的双折射板12a、12b一样，双折射板22a、22b例如由诸如石英、铌酸锂、金红石、方解石、硝酸钠等的各向异性晶体构成。双折射板22a将具有水平偏振面的偏振光(p偏振光)在水平方向上移位半个像素间距，透射具有垂直偏振面的偏振光(s偏振光)而不移位。在另一方面，双折射板22b将s偏振光在垂直方向上移位半个像素间距，透射p偏振光而不移位。

以这种方式，如图5a所示，当从图像显示单元4发射的图像光的偏振面位于水平方向(p偏振光)、并且用于水平方向的像素移位的液晶单元21a和用于垂直方向的像素移位的液晶单元21b都被控制为处于OFF状态时，从图像显示单元4入射的图像光被液晶单元21a旋转90度以成为s偏振光，该s偏振光透射过双折射板22a而没有像素移位，被液晶单元21b旋转90度以成为p偏振光，接着该p偏振光透射过双折射板22b而没有像素移位。结果，按以下方式显示图像：透射过像素移位单元5之后的观察像素位置与透射之前的初始像素位置1到4处于相同的位置1-A到4-A。

如图5b所示，当液晶单元21a、21b均处于ON状态时，从图像显示单元4入射的p偏振图像光透射过液晶单元21a而不旋转其偏振面，被双折射板22a在水平方向上移位半个像素间距，作为p偏振光透射过液晶单元21b而不旋转其偏振面，接着透射过双折射板22b而没有像素移位。结果，按以下方式显示图像：透射过像素移位单元5之后的观察像素位置处于位置1-B到4-B，位置1-B到4-B各自从透射之前的初始像素位置1到4中的对应一个像素位置在水平方向上移位了半个像素间距。

如图5c所示，当液晶单元21a处于OFF状态而液晶单元21b处于ON状态时，从图像显示单元4入射的p偏振图像光的偏振面被液晶单元21a旋转90度以成为s偏振光，透射过双折射板22a而没有像素移位，作为s偏振光透射过液晶单元21b，接着被双折射板22b在垂直方向上移位半个像素间距。结果，按以下方式显示图像：透射过像素移位单元5之后的观察像素位置处于位置1-C到4-C，位置1-C到4-C各自从透射之前的初始像素位置1到4中的对应一个像素位置在垂直方向上移位了半个像素间距。

如图5d所示，当液晶单元21a处于ON状态而液晶单元21b处于OFF状态时，从图像显示单元4入射的p偏振图像光透射过液晶单元21a而不旋转其偏振面，被双折射板22a在水平方向上移位半个像素间距，被液晶单元21b旋转90度以成为s偏振光，并且被双折射板22b在垂直方向上移位半个像素间距。结果，按以下方式显示图像：透射过像素移位单元5之后的观察像素位置处于位置1-D到4-D，位置1-D到4-D各自从透射之前的初始像素位置1到4中的对应一个像素位置在水平和垂直方向上移位了半个像素间距。

定时产生器9与从像素移位控制单元7向像素移位单元5提供的控制信号同步地，按照使得场A、B、C和D中的读出位置彼此不同的方式，控制图像信号从图像元件1的输出定时。

以这种方式，如图6所示，读出控制单元6根据4点像素移位将具有1920×1080个像素的图像形成元件1的每个帧划分为各自具有不同的空间和时间相位的4个场，即对应于像素A的场A、对应于像素B的场B、对应于像素C的场C、以及对应于像素D的场D，读出每个场的图像像素。换句话说，图7示出了场A到D的空间相位关系，按照使得场A到D中的每个同步像素的重心彼此空间移位1/2相位的方式而使得图像形成元件1的读出位置不同。因此，每个场的像素数量变为960×540个像素。

在本实施方式中，在图像形成元件1的每个帧中，像素移位单元5将图像显示单元4的观察像素以图5所示的像素位置A、B、D和C的顺序顺时针移位，使得场A、B、D和C中的读出位置按此顺序彼此不同，并且按此顺序从图像形成元件1读出图像信号。

如第一实施方式的情况一样，图像处理单元2处理从图像形成元件1顺序地读出的每个场的图像信号以产生图像数据，图像输出单元3将由此产生的图像数据转换为具有对于图像显示单元4的像素数量来说适当大小的子场的图像数据，并且在与像素移位单元5进行的4点像素移位操作同步的定时将经转换的数据输出到图像显示单元4。在每个帧中，通过4点像素移位，顺序读出的对应于场A的子场A的图像显示在图5a所示的像素位置A，对应于场B的子场B的图像显示在图5b所示的像素B，对应于场D的子场D的图像显示在图5d所示的像素D，对应于场C的子场C的图像显示在图5c所示的像素C。

图8是示出根据本实施方式的图像形成和显示装置的操作的时序图。与第一实施方式类似，在本实施方式中，图像形成元件的帧数据也并非一次存储在帧存储器中。在控制图像显示单元4和像素移位单元5的同时控制图像形成元件1的读出位置，按场读出图像形成元件1的每个帧，并且在像素移位的情况下进行显示。因此，如图8所示，从图像形成到显示的延迟时间可以缩短在一场内。另外，由于在本实施方式中将图像形成元件1的每个帧划分为各自具有不同读出位置的4个场，并且顺序地读出每个场，然后通过进行4点像素移位来显示每个场，所以与第一实施方式的2点像素移位的情况相比，能够提高图像的空间分辨率和运动分辨率。

(第三实施方式)

在本发明的第三实施方式中，如第二实施方式的情况一样，在图1所示的结构中，对图像形成元件1的每个帧进行4点像素移位。读出控制单元6使图像形成元件1交织，将交织的信号划分为2个场，并且按如下方式读出图像信号：使得两个场的读出位置由于定时产生器9而不同。之后，在图像处理单元2和图像输出单元3中，按列对每个场的图像数据进行子采样，并将其转换为具有对于图像显示单元4的像素数量来说适当大小的图像数据，从而产生两个子场的图像数据。由此，顺序地产生每个帧中的与像素移位单元5的4点像素移位的像素位置对应的子场A、子场B、子场D和子场C的图像数据，并且通过由图像显示单元4和像素移位单元5进行4点像素移位来显示。

换句话说，如图9所示，将具有1920×1080个像素的图像形成元件1的每个帧划分为4点像素移位中的包括对应于像素A和B的奇数行的场AB和包括对应于像素C和D的偶数行的场CD，顺序地读出每个场的图像信号。因此，此情况的每个场的像素数量变为1920×540个像素。

之后，图像处理单元2处理从图像形成元件1顺序读出的具有不同空间和时间相位的每个场的图像信号以产生图像数据。图像输出单元3将由此产生的图像数据转换为具有对于图像显示单元4的像素数量来说适当大小的子场的图像数据。

此时，例如，场AB的图像数据一次存储在场存储器中，按列对其进行子采样并且将其读出。之后，顺序地产生各自具有960×540个像素的对应于像素A的子场A的图像数据和对应于像素B的子场B的像素数据，图像输出单元3将这些子场A、B的图像数据转换为具有对于图像显示单元4的像素数量来说适当大小的图像数据，接着按与像素移位单元5的像素移位操作同步的定时将其顺序地输出到图像显示单元4。

类似地，例如，场CD的图像数据一次存储在场存储器中，按列对其进行子采样并且将其读出。之后，顺序地产生各自具有960×540个像素的对应于像素D的子场D的图像数据和对应于像素C的子场C的像素数据，图像输出单元3将这些子场D和C的图像数据转换为具有对于图像显示单元4的像素数量来说适当大小的图像数据，接着按与像素移位单元5的像素移位操作同步的定时将其顺序地输出到图像显示单元4。

图10是示出根据本实施方式的图像形成和显示装置的操作的时序图。根据本实施方式，如第一实施方式的情况一样，通过交织按场顺序地读出图像形成元件1的每个帧，按列对每个场的图像数据进行子采样。对于每个帧，产生对应于4点像素移位的4个子场的图像数据以顺序地进行显示。因此，如图10所示，从图像形成到显示的延迟时间可以缩短到一个场内，如上述实施方式的情况一样。另外，对于所显示图像的空间分辨率，由于在一个帧中进行4点像素移位，所以可以提供与第二实施方式的空间分辨率相似的空间分辨率，并且，对于运动分辨率，由于每个帧的场AB和CD中的读取位置彼此不同，所以能够提供与第一实施方式的运动分辨率相似的运动分辨率。

(第四实施方式)

在本发明的第四实施方式中，如在第三实施方式的情况一样，在图1所示的结构中，将图像形成元件1的每个帧划分为场AB和场CD以进行读出。另外，在本实施方式中，如图11所示，将场AB连续读出两次，接着类似地将场CD连续读出两次。

按列对场AB的首先读出的图像数据进行子采样，像素移位单元5产生对应于4点像素移位的像素A的子场A的图像数据。按列对场AB的第二次读出的图像数据进行子采样，并且产生对应于4点像素移位的像素B的子场B的图像数据。类似地，按列对场CD的首先读出的图像数据进行子采样，并且产生对应于4点像素移位的像素D的子场D的图像数据，然后，按列对场CD的第二次读出的图像数据进行子采样，并且产生对应于4点像素移位的像素C的子场C的图像数据。

由此，针对每个帧，顺序地产生与像素移位单元5进行的4点像素移位的像素位置对应的子场A、B、D和C的图像数据，并通过图像显示单元4和像素移位单元5的4点像素移位而将其显示。

图12是示出根据本实施方式的图像形成和显示装置的操作的时序图。根据本实施方式，从图像形成到显示的延迟时间可以缩短到大约一个场(＝1/4帧)。另外，由于用于显示的4个子场的图像数据是从各自具有不同读出位置的4个场中获取的，所以可以提供与第二实施方式中的运动分辨率相似的运动分辨率。

(第五实施方式)

在本发明的第五实施方式中，在图1所示的结构中，图像形成元件1构成Bayer滤色器阵列，具有4096×2400个像素。如第二实施方式的情况一样，将该图像形成元件1的每个帧划分为各自具有不同读出位置(即不同的空间和时间相位)的4个场，以进行读出。利用针对R、G和B中的每一个都具有1024×600的像素数量的图像显示单元4，通过进行4点像素移位来显示4个读出的场。

因此，在本实施方式中，如图13所示，采用图像形成元件1的Bayer阵列的2×2像素(在本实施方式中为R、GR、GB和B)作为块，根据4点像素移位将图像形成元件1的每个帧划分为4个场：对应于像素位置A的场A、对应于像素位置B的场B、对应于像素位置C的场C、以及对应于像素位置D的场D，接着读出每个场的图像数据。因此，每个场的像素数量为2048×1200个像素。

图像处理单元2处理从图像形成元件1顺序地读出的每个场的图像信号，以从Bayer阵列的每个块产生包括RGB颜色信息的同步图像数据，图像输出单元3将由此产生的图像数据转换为具有对于图像显示单元4的像素数量来说适当大小的子场的图像数据，接着按与像素移位单元5进行的4点像素移位操作同步的定时将转换的数据输出到图像显示单元4。因此，在此情况下的每个子场的像素数量变为1024×600个像素。此处使用的同步是指在相同像素位置产生具有RGB颜色信息的数据。

图14示出根据本实施方式的产生RGB图像时的像素空间相位的关系，图15示出RGB图像的每个场的空间位置关系。从图14和图15中明显可见，在本实施方式中，按照如下方式使得图像形成元件1的读出位置不同：使得场A到D中的同步像素的重心在空间上彼此移位1/2相位。尽管在本实施方式中以2×2像素进行同步，但是也可以使用诸如7×7像素的其他像素用作一个块。

在本实施方式中，在图像形成元件1的每个帧中，像素移位单元5将图像显示单元4的像素位置按图5所示的像素位置A、B、D和C的顺序进行顺时针移位，使得场A、B、D和C中的读出位置以此顺序变得不同，以此顺序从图像形成元件1读出图像信号。当以场A、B、C和D的顺序移位时，以场A、B、C和D的顺序从图像形成元件1读出图像信号。

由此，与第二实施方式一样，在每个帧中，通过4点像素移位，顺序地读出的对应于场A的子场A的图像显示在图5a所示的像素位置A，对应于场B的子场B的图像显示在图5b所示的像素B，对应于场D的子场D的图像显示在图5d所示的像素D，对应于场C的子场C的图像显示在图5c所示的像素C。

图16是示出根据本实施方式的图像形成和显示装置的操作的时序图。根据本实施方式，如第二实施方式的情况，将图像形成元件1的每个帧划分为各自具有不同读出位置的4个场，顺序地读出每个场并且通过进行4点像素移位来进行显示，使得从图像形成到显示的延迟时间可以缩短到一个场之内，并且可以提高所显示图像的空间分辨率和运动分辨率。

(第六实施方式)

在本发明的第六实施方式中，如第五实施方式的情况，在图1所示的结构中，将每个帧划分为各自具有不同读出位置的4个场，并且利用具有Bayer滤色器阵列的4096×2400个像素的图像形成元件1读出每个帧。利用针对R、G和B中的每一个都具有1024×600的像素数量的图像显示单元4，通过进行4点像素移位来显示读出的图像。另外，在本实施方式中，当从图像形成元件1读出对应于4点像素移位的每个像素位置的场的图像信号时，读出控制单元6进行控制以使得将水平行子采样到1/4，读出4096×600个像素。

例如，如图17所示，在分别对应于4点像素移位的像素A和B的场A和场B中，读出第(1+8n)个水平行和第(4+8n)个水平行，在分别对应于4点像素移位的像素C和D的场C和场D中，读出第(3+8n)个水平行和第(6+8n)个水平行(其中n是正整数，包括0)。

在图像处理单元2中，针对从图像形成元件1读出的场A的图像信号，提取第(1+8n)个垂直行和第(4+8n)个垂直行的像素信号，从而通过对构成Bayer阵列的相邻2×2像素(也可以是8×8像素等)进行组合而产生包括RGB颜色信息的2×2同步图像数据。此时，通过在水平方向上对具有相同颜色的相邻像素数据进行添加或子采样，产生子场A的1024×600个像素的同步图像数据。换句话说，如在图17中典型地示出，通过分别组合虚线中的包括4×4像素的块的4个角中的2×2像素(GR、B、R、GB)、虚线中的包括6×4像素的块的4个角的2×2像素(R、GB、GR、B)、虚线中的包括4×6像素的块的4个角的2×2像素(B、GR、GB、R)、以及虚线中的包括6×6像素的块的4个角的2×2像素(GB、R、B、GR)，产生包括RGB颜色信息的2×2同步图像数据。每个块的像素与相邻块的像素交叠。在低灵敏度的情况下，对具有相同颜色的相邻像素进行相加，将R、GB、GR、B产生为一个块。

类似地，针对从图像形成元件1读出的场B的图像信号，提取第(3+8n)个垂直行和第(6+8n)个垂直行的像素信号，从而，如场A的情况一样，通过组合构成Bayer阵列的相邻的2×2像素，产生包括RGB颜色信息的子场B的1024×600个像素的2×2同步图像数据。

针对从图像形成元件1读出的场C的图像信号，如场A的情况一样，提取第(1+8n)个垂直行和第(4+8n)个垂直行的像素信号，从而，如场A的情况一样，通过组合构成Bayer阵列的相邻的2×2像素，产生包括RGB颜色信息的子场C的1024×600个像素的2×2同步图像数据。

类似地，针对从图像形成元件1读出的场D的图像信号，如场B的情况一样，提取第(3+8n)个垂直行和第(6+8n)个垂直行的像素信号，从而，如场A的情况一样，通过组合构成Bayer阵列的相邻的2×2像素，产生包括RGB颜色信息的子场D的1024×600个像素的2×2同步图像数据。

也就是说，按如下方式使得图像形成元件1的读出位置变得不同：使得场A到D中的同步像素的重心在空间上彼此移位1/2相位。在图17中，在场A到D中，用实线圆圈示出每个同步像素的重心，在场C中，用虚线圆圈示出其他场A、B和D中的每个同步像素的重心，以明确地示出空间相位的移位。

图像输出单元3将由此产生的与4点像素移位的每个像素对应的图像数据转换为具有对于图像显示单元4的像素数量来说适当大小的图像数据，并且按与像素移位单元5进行的4点像素移位操作同步的定时将其输出到图像显示单元4。

另外，在本实施方式中，在图像形成元件1的每个帧中，像素移位单元5以图5所示的像素位置A、B、D和C的顺序对图像显示单元4的像素位置进行顺时针移位，使得场A、B、D和C中的读出位置以此顺序变得不同，并且以此顺序从图像形成元件1读出图像信号。

由此，如第二实施方式的情况，在每个帧中，通过4点像素移位，顺序读出的对应于场A的子场A的图像显示在图5a所示的像素位置A，对应于场B的子场B的图像显示在图5b所示的像素位置B，对应于场D的子场D的图像显示在图5d所示的像素位置D，对应于场C的子场C的图像显示在图5c所示的像素位置C。

图18是示出根据本实施方式的图像形成和显示装置的操作的时序图。根据本实施方式，如第二实施方式的情况，将图像形成元件1的每个帧划分为各自具有不同读出位置的4个场，顺序地读出每个场并且通过进行4点像素移位来进行显示，使得从图像形成到显示的延迟时间可以缩短到一个场之内，并且可以提高所显示图像的空间分辨率和运动分辨率。

本发明不限于上述实施方式，而可以有各种修改。例如，在图1中，像素移位单元5包括液晶单元和双折射板，使得图像显示单元4的每个像素的光轴可以光学移位。然而，例如，可以利用压电换能器来使得图像显示单元4自身发生位移，从而可以使得图像显示单元4的每个像素的光轴发生移位。

另外，在图1中，图像输出单元3不仅对来自图像处理单元2的图像数据进行子采样以使其与图像显示单元4的像素数量匹配，而且当图像显示单元4的像素数量不同于来自图像处理单元2的图像数据的像素数量时对图像进行诸如缩放的处理，或者对图像进行处理以使得通过像素选择而使图像具有适当的像素数量，以转换出具有对于图像显示单元4的像素数量来说适当大小的图像。

另外，在第二到第六实施方式中，4点像素移位操作中的像素移位的顺序不限于如图5所示的像素A、像素B、像素D、和像素C的顺序，而可以任意确定。可以按如下方式读出图像：使得图像形成元件1的每个场的读出位置根据移位顺序而彼此不同，并且可以根据图像形成元件1的读出来控制移位顺序。

在第六实施方式中，为了容易地获取具有空间移位的相位的图像数据，场A、B的读出位置(水平行)与场C、D的读出位置不同。然而，也可以读出相同读出位置的图像信号，接着在产生子场A到D时通过图像处理来获取具有空间移位的相位的数据。另外，可以如下地选择从读出位置(水平行)选择的像素：使得分辨率和颜色灵敏度变为最适合，或者，通过相加来以分辨率为代价改善颜色灵敏度，而使得经像素移位的图像变为最适合状态。因此，在图17中，可以根据期望的分辨率和颜色灵敏度来划分每个场中的块，从每个块中选择以产生RGB图像的像素不限于2×2的4个像素，而可以是4×4的16个像素，7×7的49个像素等。

在第六实施方式中，当图像处理单元2产生每个场的RGB图像数据时，图像处理单元2不在水平方向上对图像数据进行子采样，相反，图像输出单元3可以对图像数据进行子采样，以具有对于图像显示单元4来说合适的像素数量。另外，图像处理单元2可以产生每个场的RGB图像数据而没有相加和子采样处理，图像输出单元3可以对RGB图像数据进行子采样以具有对于图像显示单元4来说合适的像素数量。

在第六实施方式中，图像形成元件1的像素数量与图像显示单元4中的RGB图像的像素数量在水平和垂直方向的比均是4比1。然而，例如，通过选择图像形成元件1的读出行或者通过改变子采样处理，像素数量的比可以是6比1。在RGB图像显示在诸如LCD的通用显示器上的情况下，在诸如解马赛克处理的图像处理中添加改变大小的处理，以获得具有期望的像素数量的RGB图像。

本发明不限于基于像素移位来控制图像形成元件的读出的情况，相反，可以根据图像形成元件的读出来控制像素移位。从图像形成元件的一个帧获取的、各自具有不同读出位置的场的图像信号可以按如下方式获得：图像形成元件在将曝光时间移位的同时获取对应于每个场的光学像，接着集体地读出来自图像形成元件的一个帧的图像信号。

此外，根据本发明的图像形成和显示装置的另一实施方式可以按如下方式构成：例如，在上述第二到第六实施方式的功能中，用户根据显示分辨率和功耗来选择期望的功能，或者根据剩余电池电量自动选择预定的功能。在此情况下，不仅可以选择性地进行4点像素移位，而且可以选择性地进行对4点像素移位中的任意两个像素进行移位的2点像素移位。彩色图像形成元件不限于RGB Bayer阵列，相反，具有RGB德尔塔阵列(delta array)、RGB条带阵列、RGB翡翠绿阵列(emerald greenarray)等的彩色图像形成元件可以有效地应用于本发明。

Claims (11)

1、一种图像形成和显示方法，该图像形成和显示方法包括以下步骤：

从对光学像进行光电转换的图像形成元件获取具有不同读出位置的多个场的图像信号；以及

在图像显示单元上显示所述多个场的图像信号，其中对所述图像信号的像素位置进行了移位。

2、根据权利要求1所述的图像形成和显示方法，其中，对所述场的图像信号的像素数量进行转换，并且将经转换的图像信号显示在所述图像显示单元上。

3、根据权利要求1或2所述的图像形成和显示方法，其中，通过控制所述图像形成元件的曝光定时和/或图像信号从所述图像形成元件的输出定时，来获取具有不同读出位置的多个场的图像信号。

4、一种图像形成和显示装置，该图像形成和显示装置包括：

图像形成元件，其用于对光学像进行光电转换；

读出控制单元，其用于控制所述图像形成元件的读出位置；

图像处理单元，其用于处理从所述图像形成元件读出的图像信号；

图像显示单元，其用于显示从所述图像处理单元输出的图像信号；

像素移位单元，其用于对显示在所述图像显示单元上的观察像素位置进行移位；

像素移位控制单元，其用于控制所述像素移位单元；以及

系统控制单元，其用于控制所述读出控制单元和所述像素移位控制单元，使得将由所述图像形成元件进行光电转换得到的图像信号显示在所述图像显示单元上并由所述像素移位单元进行移位。

5、根据权利要求4所述的图像形成和显示装置，该图像形成和显示装置还包括图像输出单元，所述图像输出单元用于转换从所述图像处理单元输出的图像信号的像素数量，并将经转换的图像数据提供给所述图像显示单元。

6、根据权利要求5所述的图像形成和显示装置，其中，所述图像输出单元通过从输出自所述图像处理单元的图像信号中对像素进行子采样来转换像素数量。

7、根据权利要求5所述的图像形成和显示装置，其中，所述图像输出单元通过从输出自所述图像处理单元的图像信号中选择像素来转换像素数量。

8、根据权利要求4至7中的任一项所述的图像形成和显示装置，该图像形成和显示装置还包括定时产生器，所述定时产生器用于控制所述图像形成元件的曝光定时和/或图像信号从所述图像形成元件的输出定时。

9、根据权利要求8所述的图像形成和显示装置，其中，所述定时产生器与所述像素移位控制单元对所述像素移位单元的控制同步地控制所述图像形成元件的曝光定时和/或图像信号从所述图像形成元件的输出定时。

10、根据权利要求8所述的图像形成和显示装置，其中，所述定时产生器控制所述图像形成元件的曝光定时和/或图像信号从所述图像形成元件的输出定时，使得超过一次地从所述图像形成元件输出相同场的图像信号。

11、一种图像形成和显示方法，该图像形成和显示方法包括以下步骤：

从对光学像进行光电转换的图像形成元件获取具有不同空间和时间相位的多个场的图像信号；以及

在图像显示单元上显示所述多个场的图像信号，其中根据空间和时间相位对所述图像信号的像素位置进行了移位。

Images