CN101291408B - 图像生成装置和方法 - Google Patents

Abstract

本发明提供一种图像生成装置、方法、程序和记录介质。该图像生成装置从输入图像生成分辨率低于输入图像、并且当被投影到投影面上时以预定的偏移量彼此重叠的多个相位图像。该装置包括如下单元：当将多个相位图像投影到投影面上时，将由分别重叠的多个相位图像的预定像素形成的区域与输入图像的预定像素相关联，并计算对应区域的像素值与输入图像的像素的像素值之间具有最小差值的相位图像的像素的像素值。

Description

图像生成装置和方法

相关申请的交叉引用

本发明包含2007年4月20日在日本专利局提交的日本专利申请JP2007-111327的主题，该申请的全部内容通过引用结合在本申请中。

技术领域

本发明涉及图像生成装置、方法、程序和记录介质。更具体地，本发明涉及生成分辨率比本来要投影的图像低、并且通过以预定的偏移量彼此重叠而以与本来图像同样的图像质量投影到投影面上的相位图像的图像生成装置、方法、程序和记录介质。

背景技术

关于使用对分辨率低于本来要投影的图像(以下称为输入图像)的投影图像进行投影的投影仪将分辨率与输入图像相同的投影图像投影到投影面上的方法，有被称为wobulation(分辨率提升技术)的方法(例如参照“Wobulation：Doubling the Addressed Resolution ofProjection Displays”，Will Allen(Digital Projection and Imaging，Hewlett-packard，Corvallis，Oregon，USA)and Robert Ulichney(HPLabs，Cambridge，Massachusetts，USA)in the Proceeding of SID2005)。

例如，从图1左下起第1个图像所示的输入图像生成图1左下起第2个图像和第3个图像所示的分辨率为输入图像分辨率的一半的子图像。这些子图像以允许获得人类视觉的时间积分效果的时间间隔，被投影到以子图像像素的一半的偏移彼此重叠的位置上。

结果，如右上所示，可以显示具有输入图像的分辨率的2倍分辨率的投影图像。

在wobulation方法中，子图像以允许视觉的时间积分效果的时间间隔被显示。但是，获得相同效果的显示系统还考虑利用多个投影仪同时投影子图像(例如参照Yang，Ruigang，David Gotz，JustinHensley，Herman Towles and Mike Brown，“PixelFlex：AReconfigurable Multi-Projector Display System”IEEE Visualization2001，San Diego，CA(October 21-26，2001))。

图2示出该显示系统的显示示例。

发明内容

但是，例如在wobulation方法中，子图像中的像素的像素值是由输入图像中的一个对应的预定像素的像素值唯一确定的。

例如，第2行第2列中的第1子图像的像素的像素值被确定为第3行第3列中的输入图像的像素的像素值，第1行第1列中的第2子图像的像素的像素值被确定为第2行第2列中的输入图像的像素的像素值。

因此，例如由重叠的子图像的像素形成的投影图像的区域的亮度值不一定与该区域中的对应输入图像的像素的亮度值一致。这样，尽管通过wobulation方法投影的投影图像具有与输入图像同样的分辨率，但投影图像成为模糊图像，不具有与输入图像同样的图像质量。

本发明是考虑到上述情况而作出的。最好可以利用分辨率比输入图像低、并且以预定的偏移量彼此重叠地投影到投影面上的相位图像，生成产生与输入图像具有同样的图像质量的投影图像的相位图像。

根据本发明的一个实施方式，提供一种图像生成装置，用于从输入图像生成分辨率低于输入图像、并且当被投影到投影面上时以预定的偏移量彼此重叠的多个相位图像，该装置包括如下单元：当将多个相位图像投影到投影面上时，将由分别重叠的多个相位图像的预定像素形成的区域与输入图像的预定像素相对应(关联)，并计算对应区域的像素值与输入图像的像素的像素值之间具有最小差值的相位图像的像素的像素值。

本发明的一个实施方式的图像生成装置可以还包括：将多个相位图像投影到投影面上的投影单元。

根据本发明的另一个实施方式，提供一种用于使计算机执行图像生成处理的程序，该图像生成处理从输入图像生成分辨率低于输入图像、并且当投影到投影面上时以预定的偏移量彼此重叠的多个相位图像，该处理包括以下步骤：当将多个相位图像投影到投影面上时，将通过分别重叠多个相位图像的预定像素而形成的区域与输入图像的预定像素相对应，并且计算对应区域的像素值与输入图像的像素的像素值之间具有最小差值的相位图像的像素的像素值。

根据本发明的另一个实施方式，提供一种方法，该方法包括以下步骤：当将多个相位图像投影到投影面上时，将由分别重叠的多个相位图像的预定像素形成的区域与输入图像的预定像素相对应，并且计算对应区域的像素值与输入图像的像素的像素值之间具有最小差值的相位图像的像素的像素值。

利用本发明的实施方式，可以利用分辨率比输入图像低、并且以预定的偏移量彼此重叠地投影到投影面上的相位图像，生成产生与输入图像具有同样的图像质量的投影图像的相位图像。

附图说明

图1是说明wobulation的图。

图2是示出显示系统的显示示例的图。

图3是示出图像投影系统的结构示例的图。

图4是示意性示出4个相位图像的图。

图5是示出图像处理单元11的结构示例的图。

图6是说明图像投影系统1的图像投影处理的流程图。

图7是说明相位图像生成处理的原理的图。

图8是示出包括区域R的亮度值vR的向量、投影图像Q′的像素P的亮度值vP的向量和矩阵M的关系式的图。

图9是示出将区域R1～R16的亮度值vR设成对应图像W′的像素I的亮度值vI时的关系式的图。

图10是示出利用图像W′的亮度值vI的向量来表示投影图像Q′的亮度值vP的向量的关系式的图。

图11是示出广义逆矩阵M^-1的第13行的行向量Vm的图。

图12是示出逆对应像素的图。

图13是示出决定由对应像素构成的相位图像的状态的图。

图14是示出决定由对应像素构成的相位图像的状态的图。

图15是示出决定由对应像素构成的相位图像的状态的图。

图16是示出决定由对应像素构成的相位图像的状态的图。

图17是说明图像处理部分22的操作的流程图。

图18是说明像素值与亮度值之间的关系的图。

图19是示出输入图像W的图。

图20是示出相位图像Q1的一部分的图。

图21是示出相位图像Q2的一部分的图。

图22是示出相位图像Q3的一部分的图。

图23是示出相位图像Q4的一部分的图。

图24是示出投影图像Z的图。

图25是示意性示出2个相位图像的图。

图26是说明相位图像生成处理的原理的图。

图27是示出包括区域R的亮度值vR的向量、投影图像Q′的亮度值vP的向量和矩阵M的关系式的图。

图28是示出将区域R1～R16的亮度值vR设成对应图像W′的像素I的亮度值vI时的图8的关系式的图。

图29是示出利用图像W′的亮度值vI的向量来表示投影图像Q′的亮度值vP的向量的关系式的图。

图30是示出广义逆矩阵M^-1的第7行的行向量的图。

图31是示出决定由对应像素构成的相位图像的状态的图。

图32是示出决定由对应像素构成的相位图像的状态的图。

图33是示出图像投影系统100的结构示例的框图。

图34是示出投影仪101的结构示例的框图。

图35是示出应用本发明的计算机硬件的结构示例的框图。

具体实施方式

以下说明本发明的实施方式。本发明的结构特征与说明书或附图中描述的实施方式之间的关系例示如下。该说明用于确认支持本发明的实施方式包括在说明书或附图中。因此，如果存在包括在说明书或附图中、但在此没有作为对应于本发明的构成特征的实施方式包括的实施方式，则并不意味着该实施方式不对应于本发明的构成特征。与此相反，如果一个实施方式在此作为对应于本发明的构成特征而被包括，则并不意味着该实施方式不对应于除了该构成特征之外的构成特征。

根据本发明的一个实施方式，提供一种图像生成装置(例如图3中的图像处理单元11)，用于从输入图像生成分辨率低于输入图像、并且当被投影到投影面上时以预定的偏移量彼此重叠的多个相位图像，该装置包括如下单元：当将多个相位图像投影到投影面上时，将由分别重叠的多个相位图像的预定像素形成的区域与输入图像的预定像素相关联，并且计算对应区域的像素值与输入图像的像素的像素值之间具有最小差值的相位图像的像素的像素值。

本发明的一个实施方式的图像生成装置可以还包括投影单元(例如图3中的投影仪12A～12D)，该投影单元用于将多个相位图像投影到投影面上。

根据本发明的另一个实施方式，提供一种用于使计算机执行图像生成处理的程序，该图像生成处理从输入图像生成分辨率低于输入图像、并且当被投影到投影面上时以预定的偏移量彼此重叠的多个相位图像，该处理包括以下步骤：当将多个相位图像投影到投影面上时，将由分别重叠的多个相位图像的预定像素形成的区域与输入图像的预定像素相关联，并且计算对应区域的像素值与输入图像的像素的像素值之间具有最小差值的相位图像的像素的像素值(例如，图6中的步骤S2)。

以下将参照附图说明应用本发明的实施方式。

图3示出利用对分辨率低于输入图像的投影图像进行投影的多个投影仪能够对具有与输入图像相同的分辨率和与输入图像相同的图像质量的投影图像进行投影的图像投影系统1的结构示例。

图像投影系统1包括图像处理单元11、4个投影仪12A、12B、12C、12D和投影面13。

分辨率是由投影仪12A、12B、12C、12D(以下，当没有必要个别地区分时将它们简单称为投影仪12)中的每一个投影的投影图像的分辨率的2倍的输入图像W被输入到图像处理单元11。

如后所述，图像处理单元11生成分辨率是输入图像W的分辨率的一半的4个投影图像(以下称为相位图像)，并将这些图像提供给相应的投影仪12。

这里，分辨率表示表现图像的网格的细度。因此，当分辨率变为一半时，像素间距变成2倍，且像素尺寸变成4倍。

每个投影仪12包括透射型液晶投影仪、反射型液晶投影仪、DLP(数字光处理)投影仪等。每个投影仪12将从图像处理单元11提供的相位图像投影到投影面13上，使得4个相位图像分别在垂直方向和水平方向上偏移相位图像的像素的一半(即，假定像素间距为d，则以像素的垂直和水平尺寸的一半d/2的偏移量)地彼此重叠。

如示意性示出4个相位图像的图4所示，投影仪12A将相位图像Q1投影到预定位置上，投影仪12B将相位图像Q2投影到具有从相位图像Q1向右偏移d/2的偏移量的位置上，投影仪12C将相位图像Q3投影到具有从相位图像Q2向下偏移d/2的偏移量的位置上，投影仪12D将相位图像Q4投影到具有从相位图像Q3向左偏移d/2的偏移量的位置上。

图5示出图像处理单元11的结构示例。

输入部分21将提供给图像处理单元11的输入图像W提供给图像处理部分22。

图像处理部分22生成要由每个投影仪12投影的4个相位图像Q1～Q4，该4个相位图像Q1～Q4分别在垂直方向和水平方向上以相位图像Q的像素的一半的偏移彼此重叠，以产生分辨率与输入图像W相同、图像质量与输入图像W相同的投影图像(其细节将后述)，并将它们提供给分配部分23。

分配部分23将从图像处理部分22提供的4个相位图像Q1～Q4分配给每个投影仪12。即，分配部分23将相位图像Q1提供给投影仪12A，将相位图像Q2提供给投影仪12B，将相位图像Q3提供给投影仪12C，将相位图像Q4提供给投影仪12D。

以下，将参照图6的流程图说明图5的图像投影系统1的图像投影处理。

在步骤S1中，当输入图像W被提供给图像处理单元11时，图像处理单元11的输入部分21接收提供给图像处理单元11的输入图像W，并将输入图像W提供给图像处理部分22。

在步骤S2中，图像处理部分22通过执行后述的相位图像生成处理，从输入图像W生成4个相位图像Q，并将这些图像提供给分配部分23。

在步骤S3中，分配部分23将从图像处理部分22提供的相位图像Q分配给每个对应的投影仪12。

在步骤S4中，每个投影仪12将从图像处理单元11(其分配部分23)的相位图像Q投影到投影面13上，使得4个相位图像Q分别在垂直和水平方向上以相位图像Q的像素的一半的偏移彼此重叠。

以下，将说明步骤S2中的图像处理部分22的相位图像生成处理。首先参照图7说明其原理。

如果分辨率是预定图像W′的分辨率的一半的4个投影图像Q′1～Q′4(以下当不必要个别地区分它们时称为投影图像Q′)被投影成投影图像分别在垂直和水平方向上偏移相位图像的像素的一半地彼此重叠，即，投影图像被投影成按照投影图像Q′绘出的基准线一致，则由4个重叠的投影图像Q′的预定像素P分别形成的区域R1～R16(图中为投影图像Z中的阴影区域)形成在作为结果得到的投影图像Z上。

投影图像Z的区域R1～R16的亮度值vR1～vR16由彼此重叠的4个投影图像Q′的像素P的亮度值vP决定。

例如，由彼此重叠的投影图像Q′1的像素Pa、投影图像Q′2的像素Pb、投影图像Q′3的像素Pg、投影图像Q′4的像素Pf形成区域R1，从而，区域R1的亮度值vR1成为像素Pa的亮度值vPa、像素Pb的亮度值vPb、像素Pg的亮度值vPg、像素Pf的亮度值vPf之和。

由彼此重叠的投影图像Q′1的像素Pm、投影图像Q′2的像素Pl、投影图像Q′3的像素Pg、投影图像Q′4的像素Ph形成区域R6，从而，区域R6的亮度值vR6成为像素Pm的亮度值vPm、像素Pl的亮度值vPl、像素Pg的亮度值vPg、像素Ph的亮度值vPh之和。

同样，投影图像Q′被投影成各个图像在垂直和水平方向上偏移像素尺寸的一半地彼此重叠，从而区域R的尺寸成为像素P的尺寸的1/4。即，区域R的尺寸成为分辨率是投影图像Q′的分辨率的2倍的图像W′的像素I的尺寸。

因此，如上所述，如果每个投影图像Q′的像素P的亮度值vP被决定成使得区域R1～R16的亮度值vR1～vR16分别成为图像W′的像素I1～I16的亮度值vI1～vI16，则通过投影分别在垂直和水平方向上偏移投影图像Q′的像素的一半地彼此重叠的4个投影图像Q′，可以投影分辨率与图像W′相同、图像质量与图像W′相同的投影图像Z。

本发明应用该原理，图像处理部分22将图像Q的像素的亮度值决定成由通过重叠4个相位图像Q的像素而形成的重叠区域(在图7的例子中为区域R1～R16)的亮度值成为与对应的输入图像W的像素的亮度值相同的亮度值，以生成每个相位图像。

以下详细说明相位图像Q的生成处理。

在图7的例子中，区域R的亮度值vR与投影图像Q′的像素P的亮度值vP之间的关系可以用图8所示的关系式来表达，该关系式中包括区域R的亮度值vR的向量、投影图像Q′的像素P的预定亮度值vP的向量和预定的16×25矩阵M，在上述关系中，区域R的亮度值vR是分别预定的投影图像Q′1的像素P的亮度值vP、投影图像Q′2的像素P的亮度值vP、投影图像Q′3的像素P的亮度值vP、投影图像Q′4的像素P的亮度值vP之和。

例如，如果着眼于矩阵M的第1行，则区域R1的亮度值为vR1＝vPa+vPb+vPg+vPf，与以上描述的关系相一致。

这样，将区域R1～R16中的每一个与图像W′的预定像素I相关联，并且该关系式中的区域R1～R16的亮度值vR被决定成如图9所示的图像W′的对应像素I的亮度值vI。如果求出投影图像Q′1～Q′4的像素P的亮度值vP，则可以得到区域R的各个亮度值vR成为图像W′的对应像素I的亮度值vI的投影图像Q′的像素P的亮度值vP。

为了从该关系式求出投影图像Q′的像素P的亮度值vP，需要利用图像W′的亮度值vI的向量来表示投影图像Q′的像素P的亮度值vP的向量的关系式。可以如下得到需要用于该关系式的矩阵M的逆矩阵。例如，如式(1)所示，利用被称为奇异值分解的方法，将矩阵M分解成具有作为列向量的正交向量的矩阵U和V、和具有正的对角元素的对角矩阵D。这样，如式(2)所示，逆矩阵可以利用矩阵U、V和对角矩阵D′来得到。

M＝U^T DV        …(1)

M^-1＝V^TD’U     …(2)

在式(2)中，对角矩阵D′是将对角矩阵D的各个对角元素的倒数作为其对角元素的矩阵。如果对角矩阵D的对角元素是0，则对角矩阵D′的对应于该对角元素的对角元素也为0。

通过将这样的广义逆矩阵M^-1从左边起乘到图9的关系式的两边，如图10所示，可以得到利用图像W′的像素I的亮度值vI的向量来表示投影图像Q′的亮度值vP的向量的关系式。

利用该关系式，例如在图7的例子中，与对应于图像W′的16个像素I1～I16的4个中心像素I6、I7、I10和I11的区域R6、R7、R10和R11的形成相关的投影图像Q′1的像素Pm的亮度值vPm是，图像W′的像素I的亮度值vI的向量与广义逆矩阵M^-1的第13行的行向量Vm(其元素为m1、m2、...、m16)的内积，从而可以通过式(3)得到。

vPm＝m1·vI1+m2·vI2+...+m16·vI16         …(3)

广义逆矩阵M^-1的第13行的行向量Vm的元素为0.04、-0.08、-0.08、0.04、-0.08、0.16、0.16、-0.08、-0.08、0.16、0.16、-0.08、0.04、-0.08、-0.08和0.04。这些元素通过将它们与图像W′的各个像素I相对应而示出在图11中。

即，在本发明中，利用该方法得到从输入图像W读取的16个预定像素的亮度值与广义逆矩阵M^-1的第13行的行向量Vm的内积。这样，得到与对应于16个读出像素(图7的例子中的像素I1～I16)的4个中心像素(像素I6、I7、I10和I11)的4个区域(区域R6、R7、R10和R11)的形成相关的相位图像Q的像素(以下适当称为对应像素)(像素Pm)的亮度值。

利用图10所示的关系式，对于投影图像Q′的像素Pm以外的投影图像Q′的像素P的亮度值vP，可以通过计算广义逆矩阵M^-1的预定行的行向量与图像W′的像素I的亮度值vI的向量的内积来得到亮度值。但是，在本发明中，为了简化计算，仅利用广义逆矩阵M^-1的第13行的行向量Vm来得到对应像素的亮度值。

具体地，通过在垂直和水平方向上逐个像素地偏移而从输入图像W读取16个像素。利用亮度值向量与广义逆矩阵M^-1的第13行的行向量Vm的内积得到与对应于该16个像素的4个中心像素的4个区域的形成相关的相位图像的像素(即对应像素)的亮度值。

如下所示，确定对应像素包含在哪个相位图像Q中、或者其在相位图像Q上的位置，使得适当地形成重叠区域。

例如，着眼于输入图像W的一个像素，选择该像素和与该像素具有预定关系的像素，共16个像素。在图12的例子中，假定着眼于图中的阴影像素，选择该像素位于第2行第2列的16个像素(由图中的框包围的16个像素)作为后述的逆对应像素。

如图13所示，将从当着眼于输入图像W的列号iwid和行号ihei都为偶数的像素、例如第2行第2列的像素和第2行第4列的像素等时所选择的16个逆对应像素计算其亮度值的对应像素确定为相位图像Q1的像素，并由式(4)确定在相位图像Q上的列号x和行号y。这里，函数floor(a)给出不超过实数a的最大整数。

x＝floor(iwid/2)

y＝floor(ihei/2)            …(4)

例如，从当着眼于输入图像W的像素(列号iwid＝2、行号ihei＝2)时所选择的16个逆对应像素计算其亮度值的对应像素在相位图像Q1上的列号x和行号y为1(＝floor(2/2))和1(＝floor(2/2))。假定相位图像Q1的像素利用列号x和行号y表达为P1(x，y)，则该对应像素为P1(1，1)。

同样，如图14所示，从当着眼于输入图像W的列号iwid为奇数、行号ihei为偶数的像素、例如第2行第3列的像素和第2行第5列的像素等时所选择的16个逆对应像素计算其亮度值的对应像素为像素图像Q2的像素。

例如，从当着眼于输入图像W的像素(列号iwid＝3、行号ihei＝2)时所选择的16个逆对应像素计算其亮度值的对应像素在相位图像Q2上的列号x和行号y为1(＝floor(3/2))和1(＝floor(2/2))。假定相位图像Q2的像素利用列号x和行号y表达为P2(x，y)，则该对应像素为P2(1，1)。

同样，如图15所示，从当着眼于输入图像W的列号iwid和行号ihei都为奇数的像素、例如第3行第3列的像素和第3行第5列的像素等时所选择的16个逆对应像素计算其亮度值的对应像素为相位图像Q3的像素。

例如，从当着眼于输入图像W的像素(列号iwid＝3、行号ihei＝3)时所选择的16个逆对应像素计算其亮度值的对应像素在相位图像Q3上的列号x和行号y为1(＝floor(3/2))和1(＝floor(3/2))。假定相位图像Q3的像素利用列号x和行号y表达为P3(x，y)，则该对应像素为P3(1，1)。

同样，如图16所示，从当着眼于输入图像W的列号iwid为偶数、行号ihei为奇数的像素、例如第3行第2列的像素和第3行第4列的像素等时所选择的16个逆对应像素计算其亮度值的对应像素为相位图像Q4的像素。

例如，从当着眼于输入图像W的像素(列号iwid＝2、行号ihei＝3)时所选择的16个逆对应像素计算其亮度值的对应像素在相位图像Q4上的列号x和行号y为1(＝floor(2/2))和1(＝floor(3/2))。假定相位图像Q4的像素利用列号x和行号y表达为P4(x，y)，则该对应像素为P4(1，1)。

以这种方式，图像处理部分22生成将由每个投影仪12投影成使得相位图像分别在垂直和水平方向上偏移相位图像的像素的一半地彼此重叠的相位图像Q，以产生分辨率与输入图像W相同、图像质量与输入图像W相同的投影图像。

即，如图5所示，图像处理部分22包括选择部分22A、系数存储部分22B和计算部分22C。选择部分22A从输入部分21提供的输入图像W选择16个像素，并将这些像素提供给计算部分22C。

计算部分22C计算选择部分22A提供的16个逆对应像素的亮度值与存储在系数存储部分22B中的广义逆矩阵M^-1的第13行的行向量Vm的元素的值(以下适当称为逆对应系数)的内积。由此，计算部分22C得到相位图像Q的对应像素的亮度值，并将该值配置在预定相位图像Q的预定位置，以生成4个相位图像Q。计算部分22C将所生成的4个相位图像Q提供给分配部分23。

以下参照图17的流程图说明图像处理部分22的操作。

当输入部分21接收到输入图像W并将其提供给图像处理部分22时，在步骤S21中，图像处理部分22的选择部分22A将对输入图像W的颜色类型、例如RGB等进行计数的变量iband例如初始化为0。这里假定输入图像W是例如RGB(红、绿、蓝)等颜色类型的每种颜色的图像并且构成彩色图像。

接着，在步骤S22中，选择部分22A将对与变量iband对应的颜色的输入图像W的像素的行号ihei进行计数的变量ihei初始化成常数裕度(constant margin)。

当选择与所着眼的像素具有图12所示位置关系的16个像素作为逆对应像素时，如果着眼于第1行的像素，则难以适当地选择16个像素。这样，为了着眼于第2行及其后的像素，假定常数裕度＝2。

在步骤S23中，选择部分22A将对所着眼像素的列号iwid进行计数的变量iwid初始化成常数裕度。

与针对变量ihei的常数裕度同样地，当选择了与所着眼的像素具有图12所示位置关系的16个像素作为逆对应像素时，如果着眼于第1列的像素，则难以适当地选择16个像素。这样，为了着眼于第2列及其后的像素，假定常数裕度＝2。

在步骤S24中，在着眼于第ihei行第iwid列的像素时，选择部分22A从输入图像W中选择16个像素(图13～16)，并将它们提供给计算部分22C。

在步骤S25中，计算部分22C对从选择部分22A提供的16个像素的像素值执行伽马校正，并将像素值转换成亮度值。

如图18所示，像素值与亮度值之间的关系是非线性的，从而计算部分22C需要在执行逆对应计算之前执行从像素值到亮度值的转换。

假定要被转换的像素的像素值是v、像素的亮度值(在投影面13上的亮度值)是I，则亮度值I利用像素值v一般性地表达为I＝v^γ。这里，γ是预定常数。通过利用该表达式来执行伽马校正，将像素值转换成亮度值。

重新参照图17，在步骤S26中，计算部分22C利用逆对应像素的亮度值和存储在系数存储部分22B中的逆对应系数(即广义逆矩阵M^-1的第13行的系数)执行逆对应计算，由此得到对应像素的亮度值。计算部分22C通过对所得到的对应像素的亮度值执行逆伽马校正，将亮度值转换成像素值。像素值v利用亮度值表达为v＝I^1/γ。通过利用该表达式执行逆伽马校正，而将亮度值转换成像素值。

这里，计算部分22C执行限幅处理，其中，如果对应像素的像素值小于或等于0，则得到0，如果像素值大于或等于256，则得到255，此外，如果像素值为上述以外的值，则直接得到该值。

接着，在步骤S27中，计算部分22C决定由参照图13-图16说明的在步骤S26中得到亮度值的对应像素构成的相位图像Q及其位置。

即，如果变量iwid和变量ihei均为偶数，则对应像素为相位图像Q1的像素。如果变量iwid为奇数、变量ihei为偶数，则对应像素为相位图像Q2的像素。如果变量iwid和变量ihei均为奇数，则对应像素为相位图像Q3的像素。如果变量iwid为偶数、变量ihei为奇数，则对应像素为相位图像Q4的像素。

同样利用式(4)决定对应像素的相位图像Q的位置。

接着，在步骤S28中，选择部分22A对变量iwid加1，并确定增加后的变量iwid是否小于从表示输入图像W在宽度方向上的像素数的常数width中减去常数裕度后的差。

在步骤S28中，如果确定增加后的变量iwid小于从常数width中减去常数裕度后的差，则接着重复同样的处理。

另一方面，如果在步骤S28中确定增加后的变量iwid不小于从常数width中减去常数裕度后的差，则完成第ihei行的逆对应计算，并且处理前进到步骤S29。

在步骤S29中，选择部分22A对变量ihei加1，并确定增加后的变量ihei是否小于从表示输入图像W在纵向上的像素数的常数height中减去常数裕度后的差。

在步骤S29中，如果确定增加后的变量ihei小于从常数height中减去常数裕度后的差，则处理返回到步骤S23，接着重复同样的处理，对下一行执行逆对应计算。

另一方面，如果在步骤S29中确定增加后的变量ihei不小于从常数height中减去常数裕度后的差，则完成对应于变量iband的颜色的输入图像W的逆对应计算，并且处理前进到步骤S30。

在步骤S30中，选择部分22A对变量iband加1，并确定增加后的变量iband是否小于表示输入图像W的颜色类型的总数的常数nband。

在步骤S30中，如果确定增加后的变量iband小于常数nband，则处理返回步骤S22，接着重复同样的处理，并对下一颜色的输入图像W执行逆对应计算。

另一方面，如果在步骤S30中确定增加后的变量iband不小于常数nband，即完成了针对所有颜色类型的各个颜色的输入图像W的逆对应计算，且生成了针对所有颜色类型的多个相位图像Q，则处理前进到步骤S31。

在步骤S31中，计算部分22C将所生成的(所有颜色类型的)多个相位图像Q提供给分配部分23，并且分配部分23将从图像处理部分22提供的相位图像Q提供给对应的投影仪12。

上述处理针对输入图像W的每个输入重复进行。

以下参照图20～24说明当输入了图19中所示的输入图像W时的图3的图像投影系统1的试验例。

在该试验中，在图像处理单元11中，生成分辨率为输入图像W的分辨率的一半的、图20～23所示的相位图像Q1～Q4，并且投影仪12A～12D将相位图像Q1～Q4投影成使得相位图像Q1～Q4分别在垂直和水平方向上偏移相位图像Q的像素的一半地彼此重叠。如图24所示，将分辨率与输入图像W相同、图像质量与输入图像W相同的投影图像Z投影到投影面13上。

如上所述，当从输入图像W生成的多个相位图像Q被投影到投影面13上，使得多个相位图像Q以预定的偏移量彼此重叠时，将通过分别重叠多个相位图像Q的预定像素而形成的区域与输入图像W的像素相关联，并计算在对应区域的亮度值与输入图像的像素的亮度值之间具有最小差值的相位图像Q的像素的亮度值。因此，如图24中的试验例所示，可以将分辨率与输入图像W相同、图像质量与输入图像W相同的投影图像Z投影到投影面13上。

以上生成4个相位图像Q，并将其投影成彼此重叠。但是，如果2个相位图像Q被投影成彼此重叠，则可以将形成在投影面上的区域与输入图像W的像素相关联，从而得到与4个相位图像Q的情况同样的效果。以下将说明将2个相位图像Q投影成彼此重叠的情况下的例子。

在该例子的情况下，如图25所示，2个相位图像Q1和Q2被投影成在垂直和水平方向上偏移相位图像Q的像素的一半。

以下说明该例子的情况下的相位图像Q的生成处理。

例如，如图26所示，如果分辨率为预定图像W′的分辨率的一半的2个投影图像Q′1和Q′2被投影成分别在垂直和水平方向上偏移相位图像的像素的一半地彼此重叠，即，投影图像被投影成按照投影图像Q′绘出的基准线一致，则由两个重叠的投影图像Q′的预定像素P分别形成的区域R1～R16形成在作为结果得到的投影图像Z上。

由彼此重叠的2个投影图像Q′的像素P的亮度值vP决定投影图像Z的区域R1～R16的亮度值vR1～vR16。

例如，由彼此重叠的投影图像Q′1的像素Pa和投影图像Q′2的像素Pd形成区域R1，从而，区域R1的亮度值vR1成为投影图像Q′1的像素Pa的亮度值vPa与投影图像Q′2的像素Pd的亮度值vPd之和。

由彼此重叠的投影图像Q′1的像素Pg和投影图像Q′2的像素Pd形成区域R6，从而，区域R6的亮度值vR6成为投影图像Q′1的像素Pg的亮度值vPg与投影图像Q′2的像素Pd的亮度值vPd之和。

同样，投影图像Q′被投影成各个图像在垂直和水平方向上偏移像素尺寸的一半地彼此重叠，从而区域R的尺寸成为像素P的尺寸的1/4。即，区域R的尺寸成为分辨率是投影图像Q′的分辨率的2倍的图像W′的像素I的尺寸。

因此，如上所述，与使用4个投影图像Q′的情况同样，如果每个投影图像Q′的像素P的亮度值vP被决定成使得区域R1～R16的亮度值vR1～vR16成为图像W′的像素I1～I16的亮度值vI1～vI16，则通过投影分别在垂直和水平方向上偏移投影图像Q′的像素的一半地彼此重叠的2个投影图像Q′，可以投影分辨率与图像W′相同、图像质量与图像W′相同的投影图像Z。

同样，在图26的例子中，区域R的亮度值vR与投影图像Q′的像素P的亮度值vP之间的关系可以用图27所示的关系式来表达，该关系式中包括区域R的亮度值vR的向量、投影图像Q′的像素P的亮度值vP的向量和预定的16×13矩阵M，在上述关系中，区域R的亮度值vR是分别预定的投影图像Q′1的像素P的亮度值vP与投影图像Q′2的像素P的亮度值vP之和。

例如，如果着眼于矩阵M的第1行，则区域R1的亮度值为vR1＝vPa+vPd，与上述描述的关系相一致。

这样，将区域R1～R16中的每一个与图像W′的预定像素I相关联，并且该关系式中的区域R1～R16的亮度值vR被决定成如图28所示的图像W′的对应像素I的亮度值vI。如果求出投影图像Q′1和Q′2的像素P的亮度值vP，则可以得到区域R的各个亮度值vR成为图像W′的对应像素I的亮度值vI的投影图像Q′的像素P的亮度值vP。

如果与4个投影图像Q′的情况同样地从该关系式求出投影图像Q′的像素P的亮度值vP，则如图29所示，可以得到利用图像W′的像素I的亮度值vI的向量来表示投影图像Q′的亮度值vP的向量的关系式。

利用该关系式，例如在图26的例子中，与对应于图像W′的16个像素I1～I16的4个中心像素I6、I7、I10和I11的区域R6、R7、R10和R11的形成相关的投影图像Q′1的像素Pg的亮度值vPg是，图像W′的像素I的亮度值vI的向量与广义逆矩阵M^-1的第7行的行向量Vmm(其元素为mm1、mm2、...、mm16)的内积，从而可以通过式(5)得到。

vPg＝mm1·vI1+mm2·vI2+...+mm16·vI16       …(5)

广义逆矩阵M^-1的第7行的行向量的元素为-0.0769、-0.0385、-0.0385、-0.0769、-0.0385、0.2308、0.2308、-0.0385、-0.0385、0.2308、0.2308、-0.0385、-0.0769、-0.0385、-0.0385、-0.0769。如图30所示，这些元素通过将它们与图像W′的各个像素I相对应而在图中示出。

即，在该例子的情况下，得到从输入图像W读取的16个预定像素的亮度值与广义逆矩阵M^-1的第7行的行向量Vmm的内积。这样，得到与对应于16个读出像素(即逆对应像素)的4个中心像素的4个区域的形成相关的相位图像Q的像素(即对应像素)的亮度值。

同样，在该例子中，为了简化计算，仅利用广义逆矩阵M^-1的第7行的行向量Vmm来得到对应像素的亮度值。

即，通过在垂直和水平方向上逐个像素地偏移而从输入图像W读取16个像素(即逆对应像素)。利用亮度值向量与广义逆矩阵M^-1的第7行的行向量Vmm的内积得到与对应于该16个像素的4个中心像素的4个区域的形成相关的相位图像的像素(即对应像素)的亮度值。

如下所示，确定对应像素包含在哪个相位图像Q中、或者其在相位图像Q上的位置，使得适当地形成重叠区域。

例如，如图12所示，选择16个像素作为逆对应像素，从而所着眼的输入图像W位于第2行第2列。

如图31所示，从当着眼于输入图像W的行号ihei为偶数的像素、例如第2行第2列的像素和第2行第4列的像素等时所选择的16个逆对应像素计算其亮度值的对应像素被确定成相位图像Q1的像素，并且由式(4)确定其在相位图像Q上的列号x和行号y。

例如，从当着眼于输入图像W的像素(列号iwid＝2、行号ihei＝2)时选择的16个逆对应像素计算其亮度值的对应像素在相位图像Q1上的列号x和行号y为1(＝floor(2/2))和1(＝floor(2/2))。假定相位图像Q1的像素利用列号x和行号y表达为P1(x，y)，则该对应像素为P1(1，1)。

如图32所示，从当着眼于输入图像W的行号ihei为奇数的像素、例如第3行第3列的像素和第3行第5列的像素等时所选择的16个逆对应像素计算其亮度值的对应像素成为像素图像Q2的像素。

例如，从当着眼于输入图像W的像素(列号iwid＝3、行号ihei＝3)时所选择的16个逆对应像素计算其亮度值的对应像素在相位图像Q2上的列号x和行号y为1(＝floor(3/2))和1(＝floor(3/2))。假定相位图像Q2的像素利用列号x和行号y表达为P2(x，y)，则该对应像素为P2(1，1)。

以这种方式生成2个相位图像Q。

即，当利用2个相位图像Q时，例如仅使用图3的图像投影系统1中的投影仪12A～12D中的投影仪12A和12C。如上所述，图像处理单元11将所生成的2个相位图像Q提供给投影仪12A和12C。

另外，图像处理单元11的图像处理部分22也可以将用于4个相位图像的情况和用于2个相位图像的情况的各个逆对应系数存储在系数存储部分22B中，并且可以用任意一种方法来执行投影处理。

如上所述，在图3所示的图像投影系统1中，利用多个投影仪12同时将多个相位图像Q投影到投影面13上。但是，利用视觉的时间积分效果，利用以允许获得该效果的时间间隔顺序投影多个相位图像的一个投影仪12，也可以获得与使用多个投影仪的情况相同的效果。

图33示出使用一个投影仪的情况下的图像投影系统100的结构示例。

即，一个投影仪101被设置在图3中的4个投影仪的位置上。

分辨率是由投影仪101投影的投影图像的分辨率的2倍的输入图像W被输入到图像处理单元11。

与图3的情况相同，图像处理单元11生成例如4个相位图像，并将它们提供给投影仪101。

投影仪101将从图像处理单元11提供的这4个相位图像顺序投影到投影面13上，使得如图4所示，4个相位图像分别在垂直和水平方向上偏移相位图像的像素的一半地(即，假定像素间距为d，则以像素的垂直和水平尺寸的一半的偏移量d/2)彼此重叠。同时，投影仪101将4个相位图像顺序投影到投影面13上，使得4个相位图像以允许获得视觉的时间积分效果的时间间隔被投影。

即，对于从输入图像W生成的4个相位图像Q，投影仪101以允许获得视觉的时间积分效果的时间间隔执行投影处理，使得相位图像Q1被投影，然后，相位图像Q2被投影成从相位图像Q1向右偏移d/2的偏移量，然后，相位图像Q3被投影成从相位图像Q2向下偏移d/2的偏移量，然后，相位图像Q4被投影成从相位图像Q3向左偏移d/2的偏移量。

由此，通过以允许获得视觉的时间积分效果的时间间隔投影从图像处理单元11提供的4个相位图像，可以与使用图3所示的4个投影仪12同样，投影分辨率与输入图像W相同、图像质量与输入图像W相同的投影图像。

图34是说明投影仪101的结构示例的框图。

在图34中，投影仪101包括同步控制部分111、光路驱动部分112和投影部分113。

同步控制部分111生成用于同步的时钟信号，并将该信号提供给光路驱动部分112和投影部分113。

光路驱动部分112驱动投影部分113的投影光的光路，使得投影图像与同步控制部分111提供的时钟信号同步地被投影成分别在垂直和水平方向上偏移相位图像的像素的一半。

光路驱动部分112例如包括驱动投影部分113的投影设备自身的驱动器。而且，光路驱动部分112可以驱动设置在投影部分113的投影光的光路上的二轴电流镜。

从图像处理单元11提供的相位图像Q被提供给投影部分113。

投影部分113例如包括反射型液晶投影仪等，例如应用以输入图像W的帧速率与相位图像Q的个数之积的帧速率投影相位图像Q的投影设备，例如具有约200Hz的响应频率的较高速LCOS(liquidcrystal on silicon，硅上液晶)。投影部分113与同步控制部分111提供的时钟信号同步地将从图像处理部分22提供的相位图像Q以将相位图像Q视觉化的时间间隔进行投影，使其以预定的偏移量彼此重叠。

如上所述，图像投影系统100从输入图像生成多个分辨率低于输入图像的相位图像。图像投影系统100利用视觉的时间积分效果，以将相位图像视觉化的时间间隔将该多个相位图像顺序投影到投影面上，使其以预定的偏移量彼此重叠。在多个相位图像的生成中，图像投影系统100将通过重叠多个相位图像的每一个的预定像素而形成的区域与输入图像的像素相关联，并计算在对应区域的显示与输入图像的像素的显示之间具有最小差值的相位图像的像素的亮度值。因此，图像投影系统100可以投影分辨率与输入图像W相同、图像质量与输入图像W相同的投影图像。

同样，在本实施方式中，用于输入图像W的分辨率越高，投影图像Z的分辨率就可提高到越高的程度。

在本发明中，相位图像的分辨率是输入图像的分辨率的一半。但是，除了1/2，分辨率还可以是1/n(n是整数)。在这种情况下，可以有效地使投影图像达到n倍的分辨率。

而且，在图像投影系统1或图像投影系统100中，使用投影分辨率低于输入图像的分辨率的投影图像的投影仪，从而可以降低系统的成本。

在图像投影系统1或图像投影系统100中，执行相对简单的线性预测信号处理来作为逆对应计算的信号处理。从而可以使用例如DSP(数字信号处理)等相对低价的现有的信号处理电路。而且，可以在不对信号处理电路进行大的改动的情况下实现图像投影系统。

在图像投影系统1和图像投影系统100中，多个相位图像被投影成彼此重叠，从而可以将灰度分辨率从投影仪的本来灰度分辨率提高与投影仪个数或相位图像个数的乘积的大小。

在图像投影系统1或图像投影系统100中，可以通过使用例如高亮度DLP、LCOS等像素的开口面积比高、亮度高的投影设备，来产生具有更高图像质量的投影图像。

由图像处理单元11生成的相位图像Q可以被记录到记录介质中，并且可以被提供给投影仪12等投影仪。

上述的一系列处理可以通过硬件执行，也可以通过软件执行。当通过软件执行上述一系列处理时，构成软件的程序被装入到计算机的专用硬件内。替代地，例如从程序记录介质将各种程序安装到能够执行各种功能的通用个人计算机中。

图35是用于说明执行上述的一系列处理的计算机硬件的结构示例的框图。

在计算机中，CPU(中央处理单元)201、ROM(只读存储器)202、RAM(随机存取存储器)203通过总线204相互连接。

输入/输出接口205也被连接到总线204上。输入/输出接口205上连接有：包括键盘、鼠标、麦克风等的输入部分206；包括显示器、扬声器等的输出部分207；包括硬盘、非易失性存储器等的存储部分208；包括网络接口等的通信部分209；以及用于驱动磁盘、光盘、磁光盘或半导体存储器等的可拆卸介质的驱动器210。

在具有上述结构的计算机中，CPU201通过输入/输出接口205和总线204将例如存储在存储部分208中的程序装载到RAM203中，以执行该程序，从而执行上述的一系列处理。

由计算机(CPU 201)执行的程序被记录在可拆卸介质211中，该可拆卸介质211是包括例如磁盘(包括软盘)、光盘(包括CD-ROM(高密度盘-只读存储器)、DVD(数字通用盘)等)、磁光盘或半导体存储器等的封装介质。替代地，该程序可以通过局域网、互联网、数字卫星广播等有线或无线传输来提供。

可以通过将可拆卸介质211安装到驱动器210上，并经由输入/输出接口205将该程序安装到存储部分208中。而且，可以由通信部分209通过有线或无线传输接收该程序，并将其安装到存储部分208中。另外，可以将该程序预先安装到ROM 202或存储部分208中。

另外，由计算机执行的程序可以是按照本说明书中描述的顺序以时间序列处理的程序。并且，这些程序也可以是并行地或在必要的定时、例如被调用等时执行的程序。

另外，本发明的实施方式不限于上述的实施方式，在不脱离本发明的精神和范围的情况下可以进行各种变更。

Claims (6)

1.一种图像生成装置，用于从输入图像生成分辨率低于输入图像、并且当被投影到投影面上时以预定的偏移量彼此重叠的多个相位图像，该装置包括如下单元：

当将多个相位图像投影到投影面上时，该单元将由分别重叠的多个相位图像的预定像素形成的区域与输入图像的预定像素相对应，并计算对应区域的像素值与输入图像的像素的像素值之间具有最小差值的相位图像的像素的像素值。

2.如权利要求1所述的图像生成装置，还包括：

将多个相位图像投影到投影面上的投影单元。

3.如权利要求2所述的图像生成装置，其中：

所述投影单元是透射型液晶投影仪、反射型液晶投影仪或数字光处理投影仪。

4.如权利要求2所述的图像生成装置，其中：

设置有个数与相位图像的个数相同的投影单元；

所生成的多个相位图像中的每一个被提供给对应的预定投影单元；

每个投影单元将所提供的相位图像投影到投影面上，使得多个相位图像以预定的偏移量彼此重叠。

5.如权利要求2所述的图像生成装置，其中：

设置有一个投影单元；

所生成的多个相位图像被提供给该一个投影单元；

该投影单元利用视觉的时间积分效果，按照将相位图像视觉化的时间间隔将该多个相位图像顺序投影到投影面上，使得多个相位图像以预定的偏移量彼此重叠。

6.一种图像生成方法，从输入图像生成分辨率低于输入图像、并且当被投影到投影面上时以预定的偏移量彼此重叠的多个相位图像，该方法包括以下步骤：

当将多个相位图像投影到投影面上时，将由分别重叠的多个相位图像的预定像素形成的区域与输入图像的预定像素相对应，并计算对应区域的像素值与输入图像的像素的像素值之间具有最小差值的相位图像的像素的像素值。

Images