CN107211119B - 图像处理装置、图像显示装置及图像处理方法 - Google Patents

Abstract

本发明的图像处理装置具有：输入部，其受理多个不同的输入图像；初始解生成部，其根据多个不同的输入图像的数据，生成将由多个显示面图像构成的层叠图像中的一个端面图像排除后的显示面图像的内部数据作为初始解；层叠图像生成部，其根据初始解及制约条件生成各个显示面图像的内部数据；以及反复处理控制部，其使层叠图像生成部根据初始解反复生成各个显示面图像的新的内部数据，直到由层叠图像生成部生成的各个显示面图像的内部数据满足处理结束条件为止，在满足了处理结束条件时，将层叠图像生成部最后生成的各个显示面图像的内部数据作为层叠图像进行输出。

Description

图像处理装置、图像显示装置及图像处理方法

技术领域

本发明涉及实现三维图像的显示及多视点图像的显示的图像处理装置及图像处理方法。

背景技术

作为能够显示三维图像的图像显示装置，例如有液晶快门(liquid crystalshutter)方式或者偏振(polarization)方式等方式。液晶快门方式用于在平板显示器等上以时分(time-division)方式显示左眼用和右眼用的带有双眼视差的图像。观察者佩戴与以时分方式显示的图像联动运动的液晶快门眼镜来观看三维图像。液晶快门方式也被称为帧序方式(frame sequential system)。偏振方式利用彼此不同方向的偏振光来显示左眼用和右眼用的带有双眼视差的图像。观察者佩戴左眼和右眼透过不同方向的偏振光的偏振眼镜来观看三维图像。无论哪种方式，观察者通过观察左右眼之间带有双眼视差的图像，能够利用该双眼视差获得立体知觉。

除此以外，视差屏障方式(parallax barrier system)及柱状透镜方式(lenticular lens system)等方式是无需佩戴特殊的眼镜，利用裸眼即可观察三维图像的三维图像显示装置。视差屏障方式通过在平板显示器等的前面设置视差屏障，将显示器上的像素分成从左眼能够观察到的像素和从右眼能够观察到的像素，由此能够对左右眼呈现双眼视差图像。柱状透镜方式也同样，通过在平板显示器等的前面设置柱状透镜，也能够对左右眼呈现双眼视差图像。视差屏障及柱状透镜被称为视差光学元件。

作为能够利用裸眼观察三维图像的三维图像显示装置，已经设计了使用了层叠显示面的三维图像显示装置。非专利文献1公开了如下的方法：利用层叠的两片显示面，使三维图像被感知为，越过被两片显示面夹着的空间、比前面侧的显示面更靠近前或者比后面侧的显示面更靠里。另外，“前面侧”是指相对于显示面而言的观察者侧。“后面侧”是指相对于显示面而言与观察者侧相反的一侧。

现有技术文献

非专利文献

非专利文献1："Layered 3D:Tomographic Image Synthesis for Attenuation-based Light Field and High Dynamic Range Displays",Gordon Wetzstein et al.,ACM SIGGRAPH 2011.Transactions on Graphics 30(4).

发明内容

发明要解决的问题

如果使用以往的方法，则能够越过被显示面夹着的空间实现深度表现。但是，当在求出要显示于层叠的各显示面上的图像时，优化运算中的计算量非常大，存在计算机需要较高的运算能力及较长的处理时间的问题。另外，存在需要GPU(Graphic Processor Unit：图形处理单元)等比较昂贵的特殊硬件的问题。

用于解决问题的手段

为了解决上述问题，本发明的图像处理装置的特征在于，该图像处理装置具有：输入部，其受理多个不同的输入图像；初始解生成部，其根据所述多个不同的输入图像的数据，生成将由多个显示面图像构成的层叠图像中的一方的端面图像排除后的图像的内部数据作为初始解；层叠图像生成部，其在反复处理的第一次中根据所述初始解及制约条件生成所述多个显示面图像的内部数据；以及反复处理控制部，其对结束所述显示面图像的内部数据的生成的处理结束条件进行判断，在满足了所述处理结束条件时，将所述层叠图像生成部最后生成的所述多个显示面图像的内部数据作为所述层叠图像的数据进行输出，所述层叠图像生成部在所述反复处理的自第二次以后的反复处理中，根据所述层叠图像的数据及所述制约条件生成所述多个显示面图像的新的内部数据，直到满足所述处理结束条件为止，所述反复生成的次数越增加，所述显示面图像的内部数据与所述显示面图像的新的内部数据之间的差分越小。

发明效果

根据本发明，在越过显示面夹着的空间进行深度表现时，通过进行抑制了计算量的简易处理，能够采用小规模的硬件实现。

附图说明

图1是示出实施方式1、实施方式2及实施方式3的三维图像显示装置20的结构的说明图。

图2是示出实施方式1的使用层叠的显示面显示双眼视差图像的状态的说明图。

图3是在实施方式1的三维图像显示装置20中，按照层叠的显示面的像素单位描绘从角度θL及角度θR观察的图像的说明图。

图4是在实施方式1的三维图像显示装置20中，按照层叠的显示面的像素单位描绘从角度θL及角度θR观察的图像的说明图。

图5是示出实施方式1及实施方式2的图像处理装置24的结构的框图。

图6是示出实施方式1及实施方式2的图像处理装置24的处理的流程的流程图。

图7是示出实施方式1的差分和反复处理次数之间的关系的说明图。

图8是示出实施方式2的使用层叠的显示面显示双眼视差图像及中央视点图像的情形的说明图。

图9是在实施方式2的三维图像显示装置20中，按照层叠的显示面的像素单位描绘从角度θL、角度θR及中央视点方向θC观察的图像的说明图。

图10是示出实施方式3的使用追加第三液晶进行层叠而成的显示面显示双眼视差图像的情形的说明图。

图11是在实施方式3的三维图像显示装置20中，按照层叠的显示面的像素单位描绘从角度θL及角度θR观察的图像的说明图。

图12是示出实施方式3的图像处理装置924的结构的框图。

图13是示出实施方式3的内部数据BI[i]生成部912a的结构的框图。

图14是示出实施方式3的内部数据MI[i]生成部912b的结构的框图。

图15是示出实施方式3的内部数据FI[i]生成部912c的结构的框图。

图16是示出实施方式3的图像处理装置924的处理流程的流程图。

具体实施方式

下面，依照附图说明本发明的实施方式。

实施方式1

图1是示出本发明的实施方式1的三维图像显示装置20的结构的图。在图1中，三维图像显示装置20构成按照与观察者25由近及远的顺序将液晶21和液晶22隔开规定的间隔平行地层叠而成的显示面，并具有在该显示面的后方配置的背照灯23，而且具有对在液晶21和液晶22显示的图像进行控制的图像处理装置24。此处的液晶21和液晶22是被称为液晶面板的薄板状部件。背照灯23的光透过液晶22、透过液晶22的光又透过液晶21而射出的光线组被观察者25作为图像观察。作为观察者的视线的一例示出的是视线26。另外，将在隔开规定间隔平行地层叠而成的显示面显示的图像作为层叠图像。

对液晶21和液晶22的结构进行说明。液晶21和液晶22是具有像素构造的TFT液晶等透射型液晶显示器。液晶21和液晶22是利用玻璃基板夹持透明电极、液晶、滤色器等并在前表面或者后表面粘贴了光学膜而形成的。光学膜包含偏振膜。能够进行通过偏振膜的结构而到达眼睛的光的模型化。

<到达眼睛的光的模型化>

在本实施方式中，在液晶21的前表面侧和液晶22的后表面侧粘贴了彼此相差90度倾斜的偏振膜。背照灯23的光中的透过了液晶22的后表面侧的偏振膜的偏振光在透过液晶22时，由于在液晶22的各像素显示的灰度而产生偏振角的旋转。当该偏振光透过液晶21时，同样由于在液晶21的各像素显示的灰度而产生偏振角的旋转。在本实施方式中，假定由液晶22和液晶21产生的偏振角的旋转被线性相加。最后，偏振角由于两片液晶而发生了旋转的光中的、透过液晶21的前表面侧的偏振膜的偏振光到达观察者25的眼睛。在透过最前面的偏振膜时，由于所透过的偏振光的强度根据最前面的偏振膜的偏振角与透过了两片液晶后的偏振光的偏振角之差而变化，因而观察者25能够视觉观察到各种灰度的光。

图像处理装置24生成在液晶21和液晶22显示的图像，进行显示控制。观察者25能够通过观察在液晶21和液晶22显示的图像，获得立体知觉。

为了使观察者25获得立体知觉，需要对观察者的左右眼呈现双眼视差像。图2是示出使用层叠的显示面显示双眼视差图像的情形的图。在图2中，分别从观察者的左眼33及右眼34观察层叠的显示面中的与观察者较近的前面侧的第一显示面31及与观察者较远的第二显示面32。另外，图2中的第一显示面31相当于图1中的液晶21。此外，图2中的第二显示面32相当于图1中的液晶22。此时，如果左眼33能够观察双眼视差图像中的左眼用图像35、右眼34能够观察右眼用图像36，则观察者能够从双眼视差图像获得立体知觉。

另外，在该双眼视差图像中包含的视差表现出比液晶21靠近前或者比液晶22靠里侧的情况下，观察者25能够感觉到越过显示面比两片显示面靠近前侧或者靠里侧的三维图像。

在本实施方式中，将左眼相对于显示面的方向定义为在位于层叠的显示面的刚好正面的观察者注视第一显示面31的画面中央(图3中的水平坐标x的位置)时连接左眼和面间中央的直线、与显示面的垂线形成的角度，并将该角度设为角θL。并且，对假设与角θL平行的视线组37并针对角θL的视线组显示左眼用图像35的方法进行说明。对角θR也进行同样的定义，对针对角θR的视线组38显示右眼用图像36的方法进行说明。

角θL是使用观察者的双眼间距离d和从观察者到第一显示面31的距离Q并根据式1求得的角度。根据双眼的对称性，显而易见，角θR与角θL相等。

[数式1]

另外，式1中的观察者的双眼间距离d可以设为成人的双眼间距离的平均值65mm。

图3是按照层叠的显示面的像素单位描绘从左眼方向及右眼方向观察的图像的说明图。另外，图3是从上方观察三维图像显示装置20的俯瞰图。在图3中，三维图像显示装置20按照层叠的显示面的像素单位显示从角θL及角θR观察的图像。而且，图3是将处于相等的垂直位置处的第一显示面即液晶21上的像素组401和第二显示面即液晶22上的像素组402抽取出来的图。换言之，像素组401和像素组402是沿水平方向排列的行上的像素组。第一显示面和第二显示面隔开规定的间隔P进行层叠。并且，背照灯415设于观察者的相反侧。

在图3中，使用将原点设为画面中央且设为液晶21和液晶22的中点、与显示面平行的水平坐标轴以及垂直地连接显示面和观察者的深度坐标轴。下面，使用图3对通过液晶21的像素组401中位于水平坐标x的位置处的像素407而观察到的光进行说明。

用左眼的视线405表示的从显示面朝向左眼的光，是根据视线405上的像素407和像素409处的偏振光的旋转而决定的。在设像素407的水平坐标为x时，利用使用规定的间隔P及角θL并根据式2得到的距离s，根据x+2·s给出像素409的水平坐标。

[数式2]

设在液晶21显示的图像为FI，在液晶22显示的图像为BI。并且，表示液晶21上的像素处的因偏振光的旋转而导致的光调制的水平坐标n处的像素值表述为FI(n)。表示液晶22上的像素处的因偏振光的旋转而导致的光调制的水平坐标m处的像素值表述为BI(m)。

其中，像素值FI(n)及像素值BI(m)是相对于光的亮度呈线性的数值。通常在包含液晶的图像显示装置中，相对于输入图像的数据中包含的灰度，显示图像的亮度具有伽玛特性。因此，在灰度达到一半时，亮度不一定也达到一半。根据图像的灰度决定偏振光的旋转角，而决定显示亮度。如果将像素值FI(n)及像素值BI(m)设为示出显示亮度的值，则需要进行诸如具有与所述伽玛特性相反的特性的逆伽玛变换，以便与图像的灰度相互转换。

另外，将在左眼的视线405上观察的图像设为L’，对于表示在左眼的视线405上观察的像素的亮度的像素值，使用其水平坐标x表述为像素值L’(x)。图像L’将与画面中央的深度坐标为0的显示面平行的面作为投影面。即，在左眼的视线405上观察的图像L’的像素的位置成为投影点414，其水平坐标由x+s给出。

根据以上所述，在左眼的视线405上，下式成立。

[数式3]

L’(x+s)＝FI(x)+BI(x+2·s) (式3)

同样，朝向右眼的视线406的光是根据存在于该视线上的像素407和像素408处的偏振光的旋转而决定的。利用在设像素407的水平坐标为x时根据式2得到的距离s，像素408的水平坐标由x-2·s给出。

另外，将在右眼的视线406上观察的图像设为R’，对于表示在右眼的视线406上观察的像素的亮度的像素值，使用其水平坐标x表述为像素值R’(x)。图像R’将与画面中央的深度坐标为0的显示面平行的面作为投影面。即，在视线406上观察的图像R’的像素的位置成为投影点413，其水平坐标由x-s给出。

根据以上所述，在右眼的视线406上，下式成立。

[数式4]

R′(x-s)＝FI(x)+BI(x-2·s) (式4)

根据式3和式4可知，能够使用层叠的两片显示面在左右方向显示不同的图像。

图4是按照层叠的显示面的像素单位描绘从角θL及角θR观察的图像的说明图。图4与图3同样是对通过液晶22的像素组402中、位于水平坐标x的位置处的像素507而观察到的光进行说明的图。在图4中，对与图3相同的要素省略说明。

在图4中，朝向左眼的视线505的光的亮度是由该视线上的像素507和像素508处的偏振光的旋转决定的。像素508的水平坐标能够使用由式2给出的距离s，利用x-2·s来表示。

另外，当将在左眼的视线505上观察到的图像设为L’时，则在视线505上观察到的图像L’的像素的位置成为投影点513，以x-s给出其水平坐标。

根据以上所述，在左眼的视线505上，下式成立。

[数式5]

L’(x-s)＝FI(x-2-s)+BI(x) (式5)

同样在图4中，朝向右眼的视线506的光的亮度是由该视线上的像素507和像素509处的偏振光的旋转决定的。像素509的水平坐标能够使用由式2给出的距离s，利用x+2·s来表示。

另外，当将在右眼的视线506上观察到的图像设为R’时，则在视线506上观察到的R’的像素的位置成为投影点514，以x+s给出其水平坐标。

根据以上所述，在右眼的视线506上，下式成立。

[数式6]

R’(x+s)＝FI(x+2·s)+BI(x) (式6)

使用图3的三维图像显示装置20中的显示面的位置关系导出了式3和式4，使用图4的三维图像显示装置20中的显示面的位置关系导出了式5和式6。其中，左眼的视线405上的式3和左眼的视线505上的式5实质上是相同的式子。很明显，在式3中，将x置换为x-2·s则可以得到式5。同样，右眼的视线406上的式4和右眼的视线506上的式6实质上是相同的式子。

当在左眼的视线405上观察到的图像L’及在右眼的视线406上观察到的图像R’是双眼视差图像时、或者在左眼的视线505上观察到的图像L’及在右眼的视线506上观察到的图像R’是双眼视差图像时，观察者能够感知到三维图像。为了实现该三维图像的感知，在图像处理装置24中进行如下处理：生成在液晶21即第一显示面31显示的图像FI和在液晶22即第二显示面32显示的图像BI，使得所输入的双眼视差图像成为图像L’和图像R’。

图5是示出图像处理装置24的结构的框图。图像处理装置24具有输入部10、初始解生成部11、层叠图像生成部12、反复处理控制部14及输出部15。并且，层叠图像生成部12具有内部数据BI[i]生成部12a及内部数据FI[i]生成部12b。另外，内部数据BI[i]生成部12a具有内部数据BIPR[i]生成部12a1及内部数据BIPR[i]制约部12a2。此外，内部数据FI[i]生成部12b具有内部数据FIPR[i]生成部12b1及内部数据FIPR[i]制约部12b2。

图6是示出图像处理装置24的处理流程的流程图。结合图5的结构来说明从处理开始(ST1)到处理结束(ST11)的流程。另外，关于各构成要素的详细情况将在后面进行说明。

输入部10受理多视点图像例如拍摄被摄体得到的双眼视差图像作为输入。双眼视差图像由左眼用图像L和右眼用图像R构成。通常，图像示出了各像素的灰度值。灰度值通过伽玛变换等处理，变换成相对于由三维图像显示装置20显示的亮度为线性系统的值。

在初始解生成部11中，将用于控制反复处理的递增变量i设为1(ST2)。然后，根据所输入的双眼视差图像求出第一显示面31的图像的内部数据即初始解FI[0](ST3)。另外，初始解生成部11根据多个输入图像的数据，生成将一方的端面图像的内部数据排除在外的将要显示于显示面的显示面图像的内部数据。其中，“一方的端面图像的内部数据”是指BI[i]，“将一方的端面图像的内部数据排除在外的将要显示于显示面的显示面图像的内部数据”是指FI[0]。端面图像是指层叠图像的最前面或者最后面的图像。

层叠图像生成部12将双眼视差图像、和在最初的步骤中由初始解生成部11生成的初始解FI[0]作为输入。层叠图像生成部12在内部数据BIPR[i]生成部12a1中使用双眼视差图像和初始解FI[0]求出在第二显示面32显示的图像的内部数据BIPR[1]。当将递增变量i设为1时，则上述内容可以换成如下说法：层叠图像生成部12在内部数据BIPR[i]生成部12a1中使用双眼视差图像和初始解FI[i-1]，求出在第二显示面32显示的图像的内部数据BIPR[i](ST4)。

另外，内部数据BIPR[i]生成部12a1将所求出的在第二显示面32显示的图像的内部数据BIPR[i]发送给内部数据BIPR[i]制约部12a2。内部数据BIPR[i]制约部12a2求出对内部数据BIPR[i]应用了在第二显示面32进行显示所需的制约条件而得的内部数据作为BI[i]。内部数据BIPR[i]制约部12a2输出内部数据BI[i]作为内部数据BI[i]生成部12a的输出(ST5)。

接着，内部数据BI[i]生成部12a将所求出的内部数据BI[i]发送给内部数据FIPR[i]生成部12b1。内部数据FIPR[i]生成部12b1使用双眼视差图像和内部数据BI[i]求出在第一显示面31显示的图像的内部数据FIPR[i](ST6)。

然后，内部数据FIPR[i]生成部12b1将所求出的在第一显示面31显示的图像的内部数据FIPR[i]发送给内部数据FIPR[i]制约部12b2。内部数据FIPR[i]制约部12b2求出对在第一显示面31显示的图像的内部数据FIPR[i]应用了在第一显示面31进行显示所需的制约条件而得的内部数据作为FI[i]。内部数据FIPR[i]制约部12b2输出内部数据FI[i]作为内部数据FI[i]生成部12b的输出(ST7)。另外，层叠图像生成部12根据将一方的端面图像的内部数据排除在外的将要显示于显示面的显示面图像的内部数据及制约条件，生成各个显示面图像的内部数据。其中，“将一方的端面图像的内部数据排除在外的将要显示于显示面的显示面图像的内部数据”是指FI[0]。并且，此处的“各个显示面图像的内部数据”是指内部数据BI[i]及内部数据FI[i]。

内部数据FI[i]生成部12b将内部数据FI[i]输出给反复处理控制部14。内部数据BI[i]生成部12a将内部数据BI[i]输出给反复处理控制部14。即，层叠图像生成部12将内部数据FI[i]及内部数据BI[i]输出给反复处理控制部14。反复处理控制部14进行所输入的数据是否满足处理结束条件的判定(ST8)。

在反复处理控制部14的判定结果是不满足处理结束条件的情况下，反复处理控制部14将用于控制反复处理的递增变量i加1(ST9)，向层叠图像生成部12输出FI[i]。层叠图像生成部12再次进行ST4、ST5、ST6及ST7的处理。每当进行该反复处理时，层叠图像生成部12被输入将要在第一显示面31显示的图像的内部数据FI[i-1]，并向反复处理控制部14输出将要在第二显示面32显示的图像的内部数据BI[i]和将要在第一显示面31显示的图像的内部数据FI[i]。这样，层叠图像生成部12自反复处理的第二次反复处理起，根据层叠图像的数据及制约条件生成多个显示面图像的新的内部数据，一直到满足处理结束条件为止。

在反复处理控制部14的判定结果是满足处理结束条件的情况下，输出在该时刻最后生成的内部数据FI[i]及内部数据BI[i]作为将要在第一显示面31显示的图像FI及将要在第二显示面32显示的图像BI(ST10)，处理结束(ST11)。

图像处理装置24进行将在第一显示面31显示的图像FI显示于液晶21的控制、以及将在第二显示面32显示的图像BI显示于液晶22的控制。另外，层叠图像生成部12生成的内部数据的像素值FI[i](n)及内部数据的像素值BI[i](m)是分别相对于显示亮度呈线性的系统，因而期望通过进行逆伽玛变换等变换成图像的灰度值来进行显示控制。

下面，对于上述处理中的ST3、ST4、ST5、ST6、ST7及ST8进行详细说明。

<1>ST4：内部数据BIPR[i]的生成

对内部数据BIPR[i]生成部12a1中的如下处理进行说明：使用双眼视差图像及初始解FI[0]或者第一显示面图像的内部数据FI[i-1]生成第二显示面图像的内部数据BIPR[i]的处理。另外，对于内部数据FI[i]的情况，也与图像FI同样，将水平坐标n处的像素值表述为FI[i](n)。另外，在内部数据BIPR[i]中，与图像BI同样，也将水平坐标m处的像素值表述为BIPR[i](m)。

在式5及式6中，在将通过两片显示面观察到的图像L’的像素值及图像R’的像素值置换为双眼视差图像的左眼用图像L的像素值及右眼用图像R的像素值，并分别变形成使像素值BI(x)位于式子左边时，能够得到下面的两个式子。

[数式7]

BI(x)＝L(x-s)-FI(x-2·s) (式7)

[数式8]

BI(x)＝R(x+s)-FI(x+2·s) (式8)

如果能够求出满足式7和式8的像素值FI[i](x)和像素值BI(x)，则能够利用三维图像显示装置20显示双眼视差图像。

在式7和式8中，能够根据所输入的左眼用图像L及右眼用图像R求出L(x-s)及R(x+s)。并且，能够根据在ST3中生成的初始解FI[0]或者在ST7中生成的内部数据FI[i-1]求出像素值FI(x-2·s)及像素值FI(x+2·s)。因此，对于像素值BI(x)，能够根据式7和式8得到两个值。

在此，作为像素值BI(x)可取的值只有一个，能够得到满足式7和式8双方的像素值BI(x)的仅限于根据式7和式8得到的像素值BI(x)相等的情况。

因此，像素值BI(x)由根据式7和式8得到的两个值的平均值给出。对于内部数据BIPR[i](x)，能够使用以上的方法如式9所示那样算出。

[数式9]

通过使用式9求出将要在第二显示面显示的图像的全部像素，由此能够计算出内部数据BIPR[i](x)。

<2>ST6：内部数据FIPR[i]的生成

对在内部数据FIPR[i]生成部12b1中使用双眼视差图像及内部数据BI[i]生成内部数据FIPR[i]的处理进行说明。在式7及式8中，在将通过两片显示面而观察到的图像L’的像素值及图像R’的像素值置换为双眼视差图像的左眼用图像L的像素值及右眼用图像R的像素值，并分别将式子变形成使FI(x)位于左边时，能够得到下面的两个式子。

[数式10]

FI(x)＝L(x+s)-BI(x+2·s) (式10)

[数式11]

FI(x)＝L(x+s)-BI(x+2·s) (式10)

如果能够求出满足式10和式11的像素值FI(x)和像素值BI(x)，则能够利用三维图像显示装置20显示双眼视差图像。

在式10和式11中，能够根据所输入的左眼用图像L的像素值及右眼用图像R的像素值求出像素值L(x+s)及像素值R(x-s)。并且，如果使用在ST5中生成的内部数据BI[i]，则能够唯一地求出像素值BI(x+2·s)及像素值BI(x-2·s)。因此，对于像素值FI(x)，能够根据式10和式11得到两个值。

在此，作为像素值FI(x)可取的值只有一个，能够得到满足式10和式11双方的像素值FI(x)的仅限于根据式10和式11得到的像素值FI(x)相等的情况。

因此，像素值FI(x)由根据式10和式11得到的两个值的平均值给出。对于内部数据FIPR[i](x)，能够使用以上的方法如式12所示那样算出。

[数式12]

通过使用式12求出将要在第一显示面显示的图像的全部像素，由此能够计算出内部数据FIPR[i]。

<3>ST5、ST7：制约条件的应用

在内部数据BIPR[i]制约部12a2中，对由内部数据BIPR[i]生成部12a1生成的内部数据BIPR[i]应用了在第二显示面32进行显示所需的制约条件。同样，在内部数据FIPR[i]制约部12b2中，对由内部数据FIPR[i]生成部12b1生成的内部数据FIPR[i]应用了在第一显示面31进行显示所需的制约条件。

在本实施方式中，第一显示面31及第二显示面32使用液晶。在使用液晶的情况下，能够使针对透过液晶的偏振光的偏振角变化，但其范围限定在0度～90度。并且，偏振角的变化仅限于加法运算，不能进行通过减法运算实现的向负方向的变化。

以此作为制约条件，并将其应用于内部数据FIPR[i]及内部数据BIPR[i]。具体地讲，将一片液晶能够表现的亮度范围设为亮度限制最小值MinB～亮度限制最大值MaxB，在FIPR[i](n)及BIPR[i](m)是超出与亮度限制最小值MinB～亮度限制最大值MaxB相当的范围的值时，进行诸如将超过的值分别限制为与亮度限制最小值MinB和亮度限制最大值MaxB相当的值的限幅处理。

下面是限幅处理的例子。在设与亮度限制最小值MinB相当的值为0.0、与亮度限制最大值MaxB相当的值为1.0时，在制约条件应用部13中对内部数据FIPR[i]及内部数据BIPR[i]的所有像素进行以下所示的处理。

clip(x)：当x＞1时，x＝1…(式13)

当x＜0时，x＝0

在其它情况下，x＝x

当在ST5及ST7中不应用制约条件的情况下，存在通过ST4及ST6得到的内部数据BIPR[i]及内部数据FIPR[i]超过能够利用液晶显示的动态范围的情况，其结果是，从ST10输出的图像FI的像素值及图像BI的像素值也超过能够利用液晶显示的动态范围。当想要利用液晶21及液晶22对其进行显示的情况下，需要进行式13所示的限幅处理、或者将最小值和最大值分别规一化为与亮度限制最小值MinB和亮度限制最大值MaxB相当的值的动态范围缩小处理。

在从ST10以后进行限幅处理的情况下，将产生图像中的某部分全部涂黑的灰度失控。在从左右眼方向进行观察时，产生灰度失控的部位不能显示双眼视差图像，成为阻碍观察者的立体知觉的主要原因。

在从ST10以后进行动态范围缩小处理的情况下，存在所显示的图像的对比度恶化的问题。

如图6所示，通过在每当求内部数据BIPR[i]及内部数据FIPR[i]时应用制约条件，能够防止最终显示的图像的对比度恶化。

并且，通过在每当求内部数据BIPR[i]及内部数据FIPR[i]时应用制约条件，虽然在应用了制约条件的时刻产生灰度失控，但是在产生了灰度失控的内部数据FIPR[i]及内部数据BIPR[i]的基础上通过反复处理生成FI[i]及BI[i]并进一步生成BIPR[i+1]及FIPR[i+1]，因而能够使产生了灰度失控的部分分散，能够不易阻碍观察者的立体知觉。

<4>ST3：初始解FI[0]的生成

在初始解生成部11中，根据所输入的双眼视差图像(左眼用图像及右眼用图像)生成第一显示面31的图像的内部数据即初始解FI[0]。

作为初始解FI[0]的生成方法，可以举出将左眼用图像L、右眼用图像R中的任意一方设为FI[0]的方法。

作为另一种初始解FI[0]的生成方法，可以举出求出左眼用图像L和右眼用图像R的平均将其作为初始解FI[0]的方法。即，初始解是多个不同的输入图像的数据的平均值。

另外，作为另一种初始解FI[0]的生成方法，可以举出仅抽取左眼用图像L和右眼用图像R中包含的共同成分的方法。具体地讲，可以求出在左眼用图像L和右眼用图像R中位于同一坐标的像素的差分，如果差分是0，则将该像素的灰度作为初始解FI[0]，如果差分不是0，则将灰度值0作为初始解FI[0]。

对在第一次的ST4的处理中使用式9根据左眼用图像L、右眼用图像R及初始解FI[0]求出内部数据BI[1]的意思进行解释：分子中的第1项是左眼用图像L减去初始解FI[0]而得的差分，第2项是右眼用图像R减去初始解FI[0]而得的差分，求出这些差分的平均作为内部数据BI[1]。例如，在仅抽取左眼用图像L和右眼用图像R中包含的共同成分并将其设定为初始解FI[0]的情况下，在内部数据BI[1]中出现了双眼视差图像的视差成分。在使用内部数据FI[i]和内部数据BI[i]表现双眼视差图像时，该视差成分的表现很重要。

当在ST4中求出内部数据BI[1]后，在ST5中对内部数据BI[1]进行制约条件的应用。此时通过进行限幅处理，将负值调整为0。

通过以上处理，优选以在内部数据BI[1]中不易出现负的成分的方式生成初始解FI[0]。实现该目的的一种方法是，仅将左眼用图像L和右眼用图像R中包含的共同成分作为初始解FI[0]的方法。通过使在内部数据BI[1]中不易出现负的成分，双眼视差图像的视差成分通过制约条件的应用而不易被调整为0，最终容易利用内部数据FI[i]及内部数据BI[i]正确表现出双眼视差图像。

另外，通过生成恰当的初始解FI[0]，能够以较少的反复处理次数满足处理结束条件。

另外，对于初始解FI[0]，期望也是基于在第一显示面31进行显示所需的制约条件求出的。在图5中没有记载，但也可以是，在制约条件应用部13中，对由初始解生成部11生成的初始解FI[0]应用式13所示的制约条件，然后利用层叠图像生成部12进行处理。但是，在利用前述的方法生成初始解FI[0]的情况下，初始解FI[0]自然是在制约条件的范围内求出的，因而即使对初始解FI[0]应用式13，也不会发生变化。

<5>ST8：处理结束条件的设定

作为由反复处理控制部14进行的处理结束条件的判定，可以举出如下方法：使用所生成的内部数据FI[i]及内部数据BI[i]，求出观察者从双眼方向能够观察到的图像L’及图像R’，再求出图像L’及图像R’与想要显示的双眼视差图像L及双眼视差图像R的差分，将两个差分都低于规定值作为条件。在这种情况下，需要向反复处理控制部14输入双眼视差图像L及双眼视差图像R。

另外，可以举出如下方法：求出所生成的内部数据FI[i]和前一次生成的内部数据FI[i-1]的差分，将该差分低于规定值作为条件。

同样，可以举出如下方法：求出所生成内部数据BI[i]和前一次生成的内部数据BI[i-1]的差分，将该差分低于规定值作为条件。

另外，可以举出如下方法：将内部数据FI[i]与内部数据FI[i-1]的差分、内部数据BI[i]与内部数据BI[i-1]的差分双方低于规定值作为条件。

关于规定值，可以使用任意的值。

图7是示出实施方式1的图像L’和双眼视差图像L的差分、与反复处理次数之间的关系的说明图。图7中的横轴表示反复处理次数n。图7中的纵轴表示差分d。如图7所示，差分d描绘出从n＝1时的首次差分d1开始以随着反复处理次数增加而逐渐接近偏置值Ofst的方式减少的曲线。对于该曲线，设定阈值Th作为规定值，在差分d低于阈值Th时，即在反复处理次数为n1的时刻，满足处理结束条件。

在反复处理控制部14中，反复处理的次数越多则能够得到精度越好的显示面图像。即，在作为规定值而设定的阈值Th越小时，反复处理的次数越增加，能够得到精度越好的显示面图像，但是处理量增加。另一方面，在作为规定值而设定的阈值Th增大时，反复处理的次数减少，处理量也减少，但是显示面图像的精度变差。通过按照以上所述调整规定值，能够控制处理量和显示面图像的精度。

但是，在使用任意值作为规定值时，差分的大小根据所输入的双眼视差图像而不同，存在到处理结束为止的反复处理次数由于所输入的双眼视差图像而大幅变化的问题。

图7所示的曲线的输入输出特性(形状)示出了不取决于所输入的双眼视差图像的相同的倾向。但是，存在首次差分d1及偏置值Ofst取决于所输入的双眼视差图像，其绝对值大不相同的情况。因此，在将规定值设定为阈值Th时，取决于输入图像，满足处理结束条件的反复处理次数有时异常地多或者少，其结果导致显示面图像的精度变化。

在不采用图像L’与双眼视差图像L的差分或图像R’与双眼视差图像R的差分，而是采用内部数据FI[i]与内部数据FI[i-1]的差分或内部数据BI[i]与内部数据BI[i-1]的差分的情况下，存在偏置值Ofst成为接近0的较小的值，而首次差分d1取决于所输入的双眼视差图像，其绝对值大不相同的情况。

为了解决该问题，例如存在如下方法：对于内部数据FI[i]，以FI[2]与FI[1]的差分为基准，使用对该差分乘以比率而得的值作为规定值。同样，存在如下方法：对于内部数据BI[i]，以内部数据BI[2]与内部数据BI[1]的差分为基准，使用对该差分乘以比率而得的值作为规定值。

与使用任意的值作为规定值的情况同样地，在前述的比率的值越大时，反复处理以越少的次数达到处理结束条件。并且，在前述的比率的值越小时，到达到处理结束条件为止反复处理的次数越多。但是，在这种情况下，能够得到精度良好的显示面图像。

通过将对在反复处理中最先求出的差分乘以比率而得的值设为规定值，能够与首次差分d1的绝对值无关地，对图7所示的曲线设定恰当的阈值Th。即，输入图像导致的满足处理结束条件的反复处理次数的变动减小，其结果是显示面图像的精度稳定。因此，容易保持反复处理的处理量与期望的显示面图像的精度之间的平衡。

另外，作为反复处理控制部14的处理结束条件，也有按照所设定的反复次数(例如5次等)进行反复处理的方法。这样，能够使有关反复处理的处理量固定。

在图3及图4中对显示面上的沿水平方向延伸的一行的像素进行了说明，也可以对所有行的像素应用同样的处理。内部数据FI[i]和内部数据BI[i]就是对所有行进行了处理而得到的数据。

在实施方式1中，对使用层叠的两片显示面显示双眼视差图像的装置及方法进行了说明。根据本发明，能够使感知到越过两片显示面的三维图像，其对象不仅仅是简单的图形，也能够显示风景图像等具有复杂的深度信息的双眼视差图像。

在能够越过被显示面夹着的空间进行深度表现的方法(例如，非专利文献1)中，将前方显示面及后方显示面的像素值作为变量，对图像的所有像素值建立由式7及式8给出的方程式。并且，在该方法中，将这些方程式组视为多元联立一次方程式，使用最小平方法等优化方法进行求解。变量为像素数的2倍，需要求解大规模的线性最小平方问题。并且，由于使用液晶作为显示装置，因而需要带制约条件进行优化。虽然提出了使用雅可比矩阵相乘函数、以较少的存储器资源进行带制约条件的优化的方法，但是需要比本发明复杂的处理，为了快速求出FI及BI，需要GPU等昂贵的硬件。

与此相对，在本发明中，使用层叠的显示面表现双眼视差图像，因而通过反复进行式9及式12所示的处理，求出在第一显示面显示的图像FI和在第二显示面显示的图像BI。式9及式12所示的处理是将图像错开进行相减并求平均的处理，可以说是简单易行的处理。

另外，图6所示的处理流程是也适合于对沿着扫描方向输入的图像的像素进行逐次处理的处理。由于适合于逐次处理，因而能够在FPGA(Field Programmable Gate Array：现场可编程门阵列)或者ASIC(Application Specific Integrated Circuit：专用集成电路)等中使用小容量的SRAM(Static Random Access Memory：静态随机存取存储器)进行安装，而无需使用大容量的DRAM(Dynamic Random Access Memory：动态随机存取存储器)。

另外，也可以不安装FPGA或者ASIC这样的硬件而安装在个人计算机上运行的软件。

另外，本发明可以在每次反复处理中应用制约条件。由此，通过限定在能够表现原本的图像的范围内进行反复处理，能够求出不会恶化由观察者观察到的图像的对比度的图像FI及图像BI。

作为本实施方式以外的液晶的偏振膜结构，例如在非专利文献1中，除层叠的液晶的最前面和最后面以外，在层叠的液晶之间也设置从最后面起依次相差90度倾斜的偏振膜。在该层叠方法中，由于层叠的各液晶而产生光强度的衰减，到达观察者的眼睛的光的强度通过各液晶的光透射率的乘积而求出。如果利用通过对乘法运算式取对数而能够置换为相加运算式的特性，则到达观察者25的眼睛的光能够以与偏振角相加的情况相同的式子进行表现。

这样，如果能够利用相加运算式表现到达眼睛的光，则能够应用本技术。因此，也可以是如前面所述的本实施方式以外的液晶偏振膜的结构。

另外，在使用半透半反镜等以两个显示面重叠的方式进行显示时，也能够应用本技术。在使用半透半反镜时，到达眼睛的光能够利用两个显示面的亮度的相加进行表现。在使用半透半反镜时，即使是液晶以外的显示装置例如有机EL和等离子显示器等非透射型的显示装置，也能够进行层叠显示。

在本实施方式中，在初始解生成部11中求出第一显示面图像的内部数据FI[0]作为反复处理的初始解。由此，存在双眼视差图像中包含的视差成分容易出现在第二显示面图像的内部数据BI[1]中的倾向。其结果是，视差成分容易出现在显示于第二显示面的图像BI中。视差成分在左眼用图像L和右眼用图像R中是不同的成分，表现为双重像。当在对于观察者而言较近的一侧的第一显示面显示包含双重像的图像时，视觉辨认性有可能下降。在对于观察者而言较远的一侧的第二显示面显示包含双重像的图像，能够抑制视觉辨认性的下降。

如果容许这样，则也可以在初始解生成部11求出第二显示面图像的内部数据BI[0]取代FI[0]，并且作为自此以后的处理，调换ST4和ST6，根据BI[0]求出FI[1]，并应用制约条件求出FIc[1]，根据FIc[1]求出BI[1]，并应用制约条件求出BIc[1]。此时，第二显示面图像的内部数据BI[0]例如能够用与第一显示面图像的内部数据FI[0]相同的方法求出。

实施方式2

在实施方式2中，对扩展了观察者获得立体知觉的观察范围的三维图像显示装置进行说明。实施方式2的三维图像显示装置的结构与在实施方式1中说明的结构相同，因而省略说明，仅对与实施方式1不同的部分进行说明。

在实施方式1中，对针对观察者的左右眼方向显示双眼视差图像的方法进行了说明。在这种情况下，存在观察者能够获得立体知觉的观察范围被限定为三维图像显示装置20的刚好正面的问题。

在此，将双眼视差图像及中央视点图像作为输入，以分别朝向观察者的左右眼及中央方向显示3视点的图像的方式生成图像FI及图像BI，由此能够扩大观察者获得立体知觉的观察范围。

中央视点是指假定眼睛位于观察者的左右眼的中央时的视点。中央视点图像是指从中央视点拍摄被摄体而得的图像。

图8是示出使用层叠的显示面显示双眼视差图像及中央视点图像的情形的图。在图8中，除利用图2说明的左右眼方向以外，也能够从中央视点70观察中央视点图像71。下面，对除左右眼方向以外，也从中央视点70观察中央视点图像71的方法进行说明。

在实施方式2中，向图像处理装置24的输入部10输入双眼视差图像(左眼用图像L、右眼用图像R)及中央视点图像C。并且，在初始解生成部11、层叠图像生成部12、制约条件应用部13及反复处理控制部14中进行图6所示的流程图的处理而生成FI及BI，在液晶21及液晶22分别进行显示控制。

<1>ST4：内部数据BI[i]的生成

对在内部数据BIPR[i]生成部12a1中使用双眼视差图像及初始解FI[0]或者内部数据FI[i]生成内部数据BI[i]的处理进行说明。

图9是对按照层叠的显示面的像素单位描绘从角θL及角θR观察的图像的图3，追加了从中央视点方向θC观察的图像的图。θC是实质为0°的角度。

朝向中央视点方向θC的光是由视线80上的像素407和像素81处的偏振光的旋转而決定的。在视线80上观察到的中央视点图像的位置成为投影点82，其像素值表示为C(x)。在像素值C(x)满足以下的关系时，能够使用层叠的显示面朝向中央视点方向θC显示中央视点图像C。将像素值C(x)的内部数据设为C[i](x)。

[数式13]

C[i](x)＝FI[i](x)+BI[i](x) (式14)

将式14进行变形，得到式15。

[数式14]

BI[i](x)＝C[i](x)-FI[i](x) (式15)

如果能够求出除满足在实施方式1中说明的式7及式8以外还满足式15的BI(x)，则能够利用三维图像显示装置20显示双眼视差图像及中央视点图像。

与实施方式1同样，能够唯一地确定式7、式8及15的右边。另一方面，作为BI[i](x)可取的值只有一个，需要使用根据三个算式得到的三个值决定要算出的内部数据的像素值BI[i](x)。作为方法之一，可以举出将三个值的平均作为内部数据的像素值BI[i](x)的方法。

[数式15]

作为另一种方法，可以举出取三个值的加权平均的方法。在设左眼用图像L的权重为α、右眼用图像R的权重为β、中央视点图像C的权重为γ时，利用下面的式子给出通过加权平均得到的内部数据的像素值BI[i](x)。

[数式16]

取加权平均时的加权分别成为在内部数据的像素值BI[i](x)中反映出来的图像的加权。例如，在对权重α和权重β设定不同的值时，双眼视差图像以不同的加权反映在内部数据的像素值BI[i](x)中，因而存在内部数据的像素值BI[i](x)不能正确地再现视差的情况。因此，优选将权重α和权重β设为相等的值。

关于权重γ，优选设为权重α或者权重β以下的值。在增大权重γ的值时，存在在内部数据的像素值BI[i](x)中反映出来的双眼视差图像的成分减小的情况。此时，观察者只能感受到比原本的双眼视差图像包含的立体感弱的立体感。

通过使用式16或者式17等针对在第二显示面显示的图像的全部像素求解，能够计算出内部数据BI[i]。

<2>ST6：内部数据FI[i]的生成

对在内部数据FIPR[i]生成部12b1中使用双眼视差图像及内部数据BI[i]生成内部数据FI[i]的处理进行说明。将式14进行变形，能够得到式18。

[数式17]

FI[i](x)＝CI[i](x)-BI[i](x) (式18)

如果能够求出满足在实施方式1中说明的式10、式11及式18的内部数据的像素值FI[i](x)，则能够利用三维图像显示装置20显示双眼视差图像及中央视点图像。

与实施方式1同样，能够唯一地确定式10、式11及18的右边。另一方面，作为内部数据的像素值FI[i](x)可取的值只有一个，需要使用根据三个算式得到的三个值决定要算出的内部数据的像素值FI[i](x)。作为方法之一，可以举出将三个值的平均作为内部数据的像素值FI[i](x)的方法。

[数式18]

作为另一种方法，可以举出取三个值的加权平均的方法。利用下面的式子给出通过加权平均得到的内部数据的像素值FI[i](x)。关于权重α、权重β及权重γ，能够应用了与求内部数据的像素值BI[i](x)时相同的条件。

[数式19]

通过使用式19或者式20等针对在第一显示面显示的图像的全部像素求解，能够计算出内部数据FI[i]。

<3>制约条件的应用

与实施方式1相同，因而省略说明。

<4>初始解FI[0]的生成

在初始解生成部11中，根据所输入的双眼视差图像(左眼用图像L及右眼用图像R)和中央视点图像C，生成在第一显示面31显示的初始解FI[0]作为初始解。另外，初始解生成部11根据多个输入图像的数据，生成将一方的端面图像的内部数据排除在外的将要显示于显示面的显示面图像的内部数据。其中，“一方的端面图像的内部数据”是指BI[i]，“将一方的端面图像的内部数据排除在外的将要显示于显示面的显示面图像的内部数据”是指FI[0]。

作为初始解FI[0]的生成方法，可以举出将中央视点图像C设为初始解FI[0]的方法。

作为另一种初始解FI[0]的生成方法，可以举出求出左眼用图像L及右眼用图像R及中央视点图像C的平均值作为初始解FI[0]的方法。

另外，作为另一种初始解FI[0]的生成方法，可以举出利用深度图的方法。深度图是示出图像的各像素的深度值的图，是示出图9中的深度坐标轴的数值的图。作为方法之一，可以根据由左眼用图像L及右眼用图像R计算出的视差的分布生成深度图。也可以具有能够同时取得被摄体的图像和深度图的摄像机，将双眼视差图像、中央视点图像及深度图输入图像处理装置24。

作为利用深度图的方法，可以举出如下方法：根据在深度图中示出的深度坐标和到第一显示面的距离，对中央视点图像C的各像素的灰度乘以比率，将所得到的图像作为初始解FI[0]。

通过利用深度图，能够设定初始解使得在第一显示面显示显示对象的近前侧的部分，在第二显示面显示后方部分。由此，能够显示对于观察者而言更加自然的三维图像，并且能够减少到反复处理的收敛为止的处理次数。

<5>处理结束条件的设定

作为利用反复处理控制部14进行的处理结束条件的判定，可以举出如下方法。首先，使用所生成的内部数据FI[i]及内部数据BI[i]，求出观察者从双眼方向能够观察到的图像L’和图像R’以及从中央方向能够观察到的图像C’。接着，求出图像L’与想要显示的视差图像L之间的差分、图像R’与想要显示的视差图像R之间的差分、以及图像C’与想要显示的中央视点图像C之间的差分。并且，将所有的差分都低于规定值作为处理结束条件。

也可以使用与在实施方式1中说明的条件相同的条件，进行处理结束条件的判定。

在实施方式2中，对使用层叠的两片显示面显示双眼视差图像及中央视点图像的装置及方法进行了说明。根据本发明，能够越过两片显示面感知三维图像，并且能够扩大观察者获得立体知觉的观察范围。

观察范围扩大的理由是由于通过追加中央视点图像，使观察者容易融合地观察层叠的显示面的图像。

在仅根据双眼视差图像生成层叠图像的情况下，观察者从角θL和角θR的正好中间即中央视点θC能够观察的图像，不是左眼用图像L和右眼用图像R的平均，而是将两者混合而成的图像。因此，例如在观察者向左移动、观察者的右眼到达中央视点θC的视线80上的位置时，观察者的右眼将观察到该混合而成的图像，观察者不能融合地观察左右眼的像，不能获得立体知觉。

通过将角θL和角θR之间的中央视点图像加入显示对象，保持了从角θL到角θR之间的显示的连续性，在观察者向左右方向移动时，从中央视点θC的方向也能够观察到表示被摄体的正常的图像，由此具有保证了视觉观察的融合、容易获得立体知觉的效果。这样，为了扩大观察者的观察范围，以细密的角度间隔显示更多视点的图像即可。

另一方面，在想要显示多视点图像时，存在图像的清晰感下降的缺点。在利用层叠图像生成部12求出FI[i]及BI[i]的过程中，包含各视点图像的平均或者加权平均。平均或加权平均这样的处理含有低通滤波器的效果，引发图像模糊、清晰感的恶化。

因此，在实施方式2中，将左右眼视点及中央视点这三视点的图像作为显示图像，由此扩大观察者能够获得立体知觉的观察范围，并且能够实现维持图像的清晰感的显示。

显示的视点数不限于上述的三视点。如果追加比角θL、角θR大的角度方向的视点图像，则具有扩大观察范围的效果。

在增加视点数时应该注意的是视点之间的角度的大小。在视点间隔较大的情况下，将对观察者显示阻碍视点之间的视觉观察的融合的图像。需要以细密的间隔增加视点数。

为了维持图像的清晰感，也可以检测观察者的位置，根据所检测的观察者的方向来选择作为显示对象的视点图像。在这种情况下，图像处理装置24被输入多视点图像和所检测的观察者的位置信息并进行适当处理。

本发明采取利用反复处理抑制了计算量的简易处理，由此能够以小规模的硬件来实现。

实施方式3

在实施方式3中，针对对于在实施方式1中说明的装置追加了第三液晶显示面的三维图像显示装置进行说明。虽然实施方式3的三维图像显示装置的结构与在实施方式1中说明的结构不同，但是对相同的构成要素省略说明，仅对与实施方式1不同的部分进行说明。

在实施方式1中，对使用两片液晶显示面针对观察者的左右眼方向显示双眼视差图像的方法进行了说明。

通过追加第三液晶显示面，存在于视线上的显示像素增加，各像素可取的值的自由度增加，由此能够在反复处理的过程中降低误差，观察者视觉观察的双眼视差图像的质量提高。

图10是示出使用追加第三液晶显示面90进行层叠而成的显示面显示双眼视差图像的情形的说明图。第三显示面90配置在实施方式1所使用的第一显示面31和第二显示面32之间。左眼33和右眼34的各视线按照第一显示面31、第三显示面90、第二显示面32的顺序通过。下面，对计算第一显示面31、第三显示面90及第二显示面32的各像素的灰度的处理方法进行说明。

实施方式3的第三显示面90是哪个面都没有粘贴偏振板的液晶显示面，配置在第一显示面31和第二显示面32之间。在图中没有特别示出，将表示具有第三显示面的液晶的标号设为920。另外，实施方式3的追加了第三液晶显示面的三维图像显示装置也使用与实施方式1的三维图像显示装置相同的标号20进行说明。

在实施方式3中也采取与实施方式1的像素灰度的计算方法同样地计算初始解，并依次计算各显示面的像素灰度的方法。在实施方式3中，生成在第一显示面31显示的内部数据FI[0]及在第三显示面90显示的内部数据MI[0]作为初始解。

图11是按照层叠的显示面的像素单位描绘从左眼方向及右眼方向观察的图像的说明图。另外，图11是从上方观察三维图像显示装置20的俯瞰图。在图11中，三维图像显示装置20以层叠的显示面的像素为单位示出从角θL及角θR观察的图像。而且，图11是将处于相等的垂直位置的第一显示面即液晶21上的像素组401、第二显示面即液晶22上的像素组402和第三显示面90即液晶920上的像素组901抽取出来的图。换言之，像素组401、像素组402和像素组901是沿水平方向排列的行上的像素组。第一显示面和第二显示面隔开规定间隔P进行层叠，第一显示面和第三显示面隔开规定间隔U进行层叠。即，对于在实施方式1中说明的图3所示的三维图像显示装置，在规定的位置追加了第三显示面即液晶920上的像素组901。在图11中省略了背照灯415的记载。

下面，使用图11对通过液晶21的像素组401中的位于水平坐标x的位置处的像素407而观察到的光进行说明。在本实施方式3中，以规定间隔U正好是规定间隔P的二分之一的情况为例进行说明。规定间隔U也可以是其它的长度。

用左眼的视线405表示的从显示面朝向左眼的光，是由视线405上的像素407、像素903和像素409处的偏振光的旋转而决定的。如在实施方式1中说明的那样，在设像素407的水平坐标为x时，使用根据式2得到的距离s，由x+2·s给出第二显示面即液晶22上的像素409的水平坐标。并且，规定距离U是规定距离P的二分之一，因而由x+s给出第三显示面90上的像素903的水平坐标。

如在实施方式1中说明的那样，设在液晶21显示的图像为FI，在液晶22显示的图像为BI。并且，表示液晶21上的像素处的因偏振光的旋转而导致的光调制的水平坐标n处的像素值表述为FI(n)。表示液晶22上的像素处的因偏振光的旋转而导致的光调制的水平坐标m处的像素值表述为BI(m)。此外，将在第三显示面90显示的图像设为MI，将水平坐标k处的像素值表述为MI(k)。

与像素值FI(n)及像素值BI(m)同样地，像素值MI(k)也是相对于光的亮度呈线性的数值。如果将像素值MI(k)设为示出显示亮度的值，则需要进行诸如具有与所述伽玛特性相反特性的逆伽玛变换，以便与图像的灰度相互转换。

另外，如在实施方式1中说明的那样，将在左眼的视线405上观察的图像设为L’，对于表示在左眼的视线405上观察的像素的亮度的像素值，使用其水平坐标x表述为像素值L’(x)。图像L’将与画面中央的深度坐标为0的显示面平行的面作为投影面。即，在左眼的视线405上观察的图像L’的像素的位置成为投影点414，由x+s给出其水平坐标。在图11中，在第三显示面90显示的像素和深度坐标一致。在规定距离U不是规定距离P的二分之一的情况下，深度坐标不一致。并且，深度坐标也不需要一致。

根据以上所述，在左眼的视线405上，下述的式21成立。

[数式20]

L′(x+s)＝FI(X)+MI(x+s)+BI(x+2·s) (式21)

同样，朝向右眼的视线406的光是由该视线上的像素407、像素408和像素902处的偏振光的旋转而决定的。在设像素407的水平坐标为x时，利用由式2得到的距离s，由x-2·s给出像素408的水平坐标，由x-s给出像素902的水平坐标。

根据以上所述，在右眼的视线406上，下述的算式22成立。

[数式21]

R′(x-s)＝FI(x)+MI(x-s)+BI(x-2·s) (式22)

根据式21和式22可知，使用层叠的三片显示面能够在左右方向显示不同的图像。

与在实施方式1中导出的式5和式6同样，根据在位于水平坐标x的位置处的第二显示面402上的像素通过的左右眼的视线，能够导出下面的式23和式24，但没有特别图示。

[数式22]

L′(x-s)＝FI(x-2·s)+MI(x-s)+BI(x) (式23)

[数式23]

R′(x+s)＝FI(x+2·s)+MI(x+s)+BI(x) (式24)

另外，如在实施方式1中关于式5和式6说明的那样，在式21中，通过将x置换为x-2·s而得到式23，显而易见式21和式23实质上是相同的式子。同样，式22和式24实质上是相同的式子。

当在左眼的视线405上观察到的图像L’及在右眼的视线406上观察到的图像R’是双眼视差图像时，观察者能够感知到三维图像。为了实现该目的，在图像处理装置24中进行如下处理：即生成在第一显示面31显示的图像FI、在第二显示面32显示的图像BI以及在第三显示面90显示的图像MI，以使得所输入的双眼视差图像成为图像L’和图像R’。

图12是示出图像处理装置924的结构的框图。图像处理装置924具有输入部910、初始解生成部911、层叠图像生成部912、反复处理控制部914及输出部915。并且，层叠图像生成部912具有内部数据BI[i]生成部912a、内部数据MI[i]生成部912c及内部数据FI[i]生成部912b。图13是示出内部数据BI[i]生成部912a的结构的框图。内部数据BI[i]生成部912a具有内部数据BIPR[i]生成部912a1及内部数据BIPR[i]制约部912a2。图14是示出内部数据MI[i]生成部912c的结构的框图。内部数据MI[i]生成部912c具有内部数据MIPR[i]生成部912c1及内部数据MIPR[i]制约部912c2。图15是示出内部数据FI[i]生成部912b的结构的框图。并且，内部数据FI[i]生成部912b具有内部数据FIPR[i]生成部912b1及内部数据FIPR[i]制约部912b2。

图16是示出图像处理装置924的处理流程的流程图。结合图12～图15的结构来说明从处理开始(ST901)到处理结束(ST913)的流程。另外，关于各构成要素的详细情况在后面进行说明。

输入部910受理多视点图像例如拍摄被摄体得到的双眼视差图像作为输入。双眼视差图像由左眼用图像L和右眼用图像R构成。通常，图像示出了各像素的灰度值。通过对灰度值进行伽玛变换等处理，使其变换成相对于由三维图像显示装置20显示的亮度呈线性的系统。

在初始解生成部911中，对控制反复处理用的递增变量i设定1(ST902)。并且，根据所输入的双眼视差图像求出第一显示面31的图像的内部数据即初始解FI[0]以及第三显示面90的图像的内部数据即初始解MI[0](ST903)。

层叠图像生成部912将双眼视差图像、和在最初的步骤中由初始解生成部911生成的初始解FI[0]及MI[0]作为输入。层叠图像生成部912在内部数据BIPR[i]生成部912a1中使用双眼视差图像、初始解FI[0]及MI[0]求出在第二显示面32显示的图像的内部数据BIPR[1]。当将递增变量i设为1时，上述处理可以换为以下说法：层叠图像生成部912在内部数据BIPR[i]生成部912a1中使用双眼视差图像、初始解FI[i-1]及MI[i-1]，求出在第二显示面32显示的图像的内部数据BIPR[i](ST904)。

然后，内部数据BIPR[i]生成部912a1将所求出的在第二显示面32显示的图像的内部数据BIPR[i]发送给内部数据BIPR[i]制约部912a2。内部数据BIPR[i]制约部912a2求出对内部数据BIPR[i]应用了在第二显示面32进行显示所需的制约条件而得的内部数据作为BI[i]。内部数据BIPR[i]制约部912a2输出内部数据BI[i]作为内部数据BI[i]生成部912a的输出(ST905)。

接着，内部数据BI[i]生成部912a将所求出的内部数据BI[i]发送给内部数据MIPR[i]生成部912c1。内部数据MIPR[i]生成部912c1使用双眼视差图像、由初始解生成部911生成的初始解FI[0]和内部数据BI[i]，求出在第三显示面90显示的图像的内部数据MIPR[i]。当将递增变量i设为1时，上述处理可以换个说法：内部数据MIPR[i]生成部912c1使用双眼视差图像、由初始解生成部911生成的初始解FI[i-1]和内部数据BI[i]，求出在第三显示面90显示的图像的内部数据MIPR[i](ST906)。

另外，内部数据MIPR[i]生成部912c1将所求出的在第三显示面90显示的图像的内部数据MIPR[i]发送给内部数据MIPR[i]制约部912c2。内部数据MIPR[i]制约部912c2求出对在第三显示面90显示的图像的内部数据MIPR[i]应用了在第三显示面90进行显示所需的制约条件而得的内部数据作为MI[i]。内部数据MIPR[i]制约部912c2输出内部数据MI[i]作为内部数据MI[i]生成部912c的输出(ST907)。

接着，内部数据MI[i]生成部912c将所求出的内部数据MI[i]发送给内部数据FIPR[i]生成部912b1。内部数据FIPR[i]生成部912b1使用双眼视差图像、内部数据BI[i]及内部数据MI[i]求出在第一显示面31显示的图像的内部数据FIPR[i](ST908)。

并且，内部数据FIPR[i]生成部912b1将所求出的显示于第一显示面31的图像的内部数据FIPR[i]发送给内部数据FIPR[i]制约部912b2。内部数据FIPR[i]制约部912b2求出对在第一显示面31显示的图像的内部数据FIPR[i]应用了在第一显示面31进行显示所需的制约条件而得的内部数据作为FI[i]。内部数据FIPR[i]制约部912b2输出内部数据FI[i]作为内部数据FI[i]生成部912b2的输出(ST909)。

内部数据FI[i]生成部912b将内部数据FI[i]输出给反复处理控制部914。内部数据BI[i]生成部912a将内部数据BI[i]输出给反复处理控制部914。内部数据MI[i]生成部912c将内部数据MI[i]输出给反复处理控制部914。即，层叠图像生成部912将内部数据FI[i]、内部数据BI[i]及内部数据MI[i]输出给反复处理控制部914。反复处理控制部914进行所输入的数据是否满足处理结束条件的判定(ST910)。

在反复处理控制部914的判定结果是不满足处理结束条件的情况下，反复处理控制部914对控制反复处理用的递增变量i加1(ST911)，向层叠图像生成部912输出FI[i]和MI[i]。层叠图像生成部912再次进行ST904、ST905、ST906、ST907、ST908及ST909的处理。每当进行该反复处理时，层叠图像生成部912被输入在第一显示面31显示的图像的内部数据FI[i-1]和在第三显示面90显示的图像的内部数据MI[i-1]，并向反复处理控制部914输出在第二显示面32显示的图像的内部数据BI[i]、在第一显示面31显示的图像的内部数据FI[i]及在第三显示面90显示的图像的内部数据MI[i]。

在反复处理控制部914的判定的结果是满足处理结束条件的情况下，输出在该时刻最后生成的内部数据FI[i]、内部数据MI[i]及内部数据BI[i]，作为在第一显示面31显示的图像FI、在第三显示面90显示的图像MI及在第二显示面32显示的图像BI(ST912)，处理结束(ST913)。

图像处理装置924进行将在第一显示面31显示的图像FI显示于液晶21的控制、将在第二显示面32显示的图像BI显示于液晶22的控制、以及将在第三显示面90显示的图像MI显示于液晶920的控制。另外，层叠图像生成部912生成的内部数据的像素值FI[i](n)、内部数据的像素值MI[i](k)及内部数据的像素值BI[i](m)分别是相对于显示亮度呈线性的系统，因而期望通过进行逆伽玛变换等使其转换成图像的灰度值来进行显示控制。

下面，对于上述处理中的ST903、ST904、ST905、ST906、ST907、ST908、ST909及ST910进行详细说明。

<1>ST904：内部数据BIPR[i]的生成

对内部数据BIPR[i]生成部912a1的如下处理进行说明：使用双眼视差图像、及初始解FI[0]或者第一显示面图像的内部数据FI[i-1]、以及初始解MI[0]或者第三显示面图像的内部数据MI[i-1]，生成第二显示面图像的内部数据BIPR[i]的处理。另外，对于内部数据FI[i]的情况，也与图像FI同样，将水平坐标n处的像素值表述为FI[i](n)。同样，对于内部数据MI[i]的情况，也与图像MI同样，将水平坐标k处的像素值表述为MI[i](k)。另外，在内部数据BIPR[i]中，也与图像BI同样，也将水平坐标m处的像素值表述为BIPR[i](m)。

在式23及式24中，在将通过两片显示面而观察到的图像L’的像素值及图像R’的像素值置换为双眼视差图像的左眼用图像L的像素值及右眼用图像R的像素值，并分别变形成使像素值BI(x)位于式子左边时，能够得到下面的两个式子即式25及式26。

[数式24]

BI(x)＝L(x-s)-FI(x-2·s)-MI(x-s) (式25)

[数式25]

BI(x)＝R(x+s)-FI(x+2·s)-MI(x+s) (式26)

如果能够求出满足式25和式26的像素值FI[i](x)、像素值MI[i](x)和像素值BI(x)，则能够利用三维图像显示装置20显示双眼视差图像。

在式25和式26中，能够根据所输入的左眼用图像L及右眼用图像R求出L(x-s)及R(x+s)。并且，能够根据在ST903中生成的初始解FI[0]或者在ST909中生成的内部数据FI[i-1]求出像素值FI(x-2·s)及像素值FI(x+2·s)。另外，能够根据在ST903中生成的初始解MI[0]或者在ST907中生成的内部数据MI[i-1]求出像素值MI(x-s)及像素值MI(x+s)。因此，对于像素值BI(x)，能够根据式25和式26得到两个值。

在此，作为像素值BI(x)可取的值只有一个，能够得到满足式25和式26双方的像素值BI(x)的情况仅限于根据式25和式26得到的像素值BI(x)相等的情况。

因此，对像素值BI(x)赋值根据式25和式26得到的两个值的平均值。对于内部数据BIPR[i](x)，能够使用以上的方法进行如式27所示的计算。

[数式26]

通过使用式27针对在第二显示面显示的图像的全部像素求解，能够计算出内部数据BIPR[i](x)。

<2>ST906：内部数据MIPR[i]的生成

对在内部数据MIPR[i]生成部912c1中使用双眼视差图像、初始解FI[0]或内部数据FI[i-1]、及内部数据BI[i]生成内部数据MIPR[i]的处理进行说明。在将x+s＝x代入式21及式24时，能够得到式28、式29。

[数式27]

L′(x)＝FI(x-s)+MI(x)+BI(x+s) (式28)

[数式28]

R′(x)＝FI(x+s)+MI(x)+BI(x-s) (式29)

在式28及式29中，在将通过两片显示面而观察到的图像L’的像素值及图像R’的像素值置换为双眼视差图像的左眼用图像L的像素值及右眼用图像R的像素值，并分别变形成使MI(x)位于式子左边时，能够得到下面的两个式子即式30及式31。

[数式29]

MI(x)＝L(x)-FI(x-s)-BI(x+s) (式30)

[数式30]

MI(x)＝R(x)-FI(x+s)-BI(x-s) (式31)

如果能够求出满足式30和式31的像素值FI(x)、像素值MI(x)和像素值BI(x)，则能够利用三维图像显示装置20显示双眼视差图像。

在式30和式31中，能够根据所输入的左眼用图像L的像素值及右眼用图像R的像素值求出像素值L(x)及像素值R(x)。并且，能够根据在ST903中生成的初始解FI[0]或者在ST909中生成的内部数据FI[i-1]求出像素值FI(x-s)及像素值FI(x+s)。而且，如果使用在ST905中生成的内部数据BI[i]，则能够唯一地求出像素值BI(x+s)及像素值BI(x-s)。因此，对于像素值MI(x)，能够根据式30和式31得到两个值。

其中，作为像素值MI(x)可取的值只有一个，能够得到满足式30和式31双方的像素值MI(x)的情况仅限于根据式30和式31得到的像素值MI(x)相等的情况。

因此，对像素值MI(x)赋值根据式30和式31得到的两个值的平均值。对于内部数据MIPR[i](x)，能够使用以上的方法得到式32。

[数式31]

通过使用式32针对在第三显示面显示的图像的全部像素求解，能够计算内部数据MIPR[i]。

<3>ST908：内部数据FIPR[i]的生成

对在内部数据FIPR[i]生成部912b1中使用双眼视差图像及内部数据BI[i]生成内部数据FIPR[i]的处理进行说明。在式21及式22中，在将通过两片显示面而观察到的图像L’的像素值及图像R’的像素值置换为双眼视差图像的左眼用图像L的像素值及右眼用图像R的像素值，并分别变形成使FI(x)位于式子左边时，能够得到下面的两个式子即式33及式34。

[数式32]

FI(x)＝L(x+s)-MI(x+s)-BI(x+2·s) (式33)

[数式33]

FI(x)＝R(x-s)-MI(x-s)-BI(x-2·s) (式34)

如果能够求出满足式33和式34的像素值FI(x)、像素值MI(x)和像素值BI(x)，则能够利用三维图像显示装置20显示双眼视差图像。

在式33和式34中，能够根据所输入的左眼用图像L的像素值及右眼用图像R的像素值求出像素值L(x+s)及像素值R(x-s)。并且，如果使用在ST905中生成的内部数据BI[i]，则能够唯一地求出像素值BI(x+2·s)及像素值BI(x-2·s)。而且，如果使用在ST907中生成的内部数据MI[i]，则能够唯一地求出像素值MI(x+s)及像素值MI(x-s)。因此，对于像素值FI(x)，能够根据式33和式34得到两个值。

其中，作为像素值FI(x)可取的值只有一个，能够得到满足式33和式34双方的像素值FI(x)的情况仅限于根据式33和式34得到的像素值FI(x)相等的情况。

因此，对像素值FI(x)赋值根据式33和式34得到的两个值的平均值。对于内部数据FIPR[i](x)，能够使用以上的方法进行如式35所示的计算。

[数式34]

通过使用式35对在第一显示面显示的图像的全部像素进行求解，能够计算出内部数据FIPR[i]。

<4>ST905、ST907、ST909：制约条件的应用

在内部数据BIPR[i]制约部912a2中，对由内部数据BIPR[i]生成部912a1生成的内部数据BIPR[i]应用在第二显示面32进行显示所需的制约条件，生成内部数据BI[i]。在内部数据MIPR[i]制约部912c2中，对由内部数据MIPR[i]生成部912c1生成的内部数据MIPR[i]应用在第三显示面920进行显示所需的制约条件，生成内部数据MI[i]。同样，在内部数据FIPR[i]制约部912b2中，对由内部数据FIPR[i]生成部912b1生成的内部数据FIPR[i]应用在第一显示面31进行显示所需的制约条件，生成内部数据FI[i]。另外，层叠图像生成部912根据将一方的端面图像的内部数据排除在外的将要显示于显示面的显示面图像的内部数据及制约条件，生成各个显示面图像的内部数据。其中，“将一方的端面图像的内部数据排除在外的将要显示于显示面的显示面图像的内部数据”是指FI[0]及MI[0]。并且，此处的“各个显示面图像的内部数据”是指内部数据BI[i]、内部数据MI[i]及内部数据FI[i]。

在本实施方式3中，第一显示面31、第二显示面32及第三显示面90使用液晶。在使用液晶的情况下，能够使得针对透过液晶的偏振光的偏振角发生变化，但其范围被限定在0度～90度。并且，偏振角的变化限定于相加运算，不能进行通过减法运算实现的向负的方向的变化。这种情况与实施方式1同样，具有如第一显示面31、第二显示面32及第三显示面90这样的三片显示面，应进行限幅处理的内部数据也如内部数据BIPR[i]、内部数据MIPR[i]及内部数据FIPR[i]这样为三个。另外，本实施方式3的处理内容与实施方式1相同，因而省略处理内容的详细说明。

<5>ST903：初始解FI[0]及初始解MI[0]的生成

在初始解生成部911中，根据所输入的双眼视差图像(左眼用图像及右眼用图像)生成初始解FI[0]及初始解MI[0]，该初始解FI[0]是第一显示面31的图像的内部数据。另外，初始解生成部911根据多个输入图像的数据生成将一方的端面图像的内部数据排除在外的将要显示于显示面的显示面图像的内部数据。其中，“一方的端面图像的内部数据”是指BI[i]，“将一方的端面图像的内部数据排除在外的将要显示于显示面的显示面图像的内部数据”是指FI[0]及MI[0]。

作为初始解FI[0]及初始解MI[0]的生成方法，可以举出将左眼用图像L或者右眼用图像R中的任意方作为FI[0]或者初始解MI[0]的方法。或者，可以举出把将左眼用图像L或者右眼用图像R中的任意方的灰度值变为二分之一后的图像作为FI[0]或者初始解MI[0]的方法。即，可以考虑把左眼用图像L、右眼用图像R、将左眼用图像L的灰度值变为二分之一后的图像、或者将右眼用图像R的灰度值变为二分之一后的图像这四种图像，分别作为FI[0]或者初始解MI[0]，其组合有16种。

作为另一种的初始解FI[0]及初始解MI[0]的生成方法，可以举出求出左眼用图像L和右眼用图像R的平均并将其作为初始解FI[0]或者初始解MI[0]的方法。或者，可以举出把将左眼用图像L和右眼用图像R的平均的灰度值变为二分之一后的图像作为初始解FI[0]或者初始解MI[0]的方法。即，可以考虑把将左眼用图像L和右眼用图像R的平均或者左眼用图像L和右眼用图像R的平均灰度值变为二分之一后的图像，分别作为初始解FI[0]或者初始解MI[0]，其组合有4种。

另外，作为另一种的初始解FI[0]及初始解MI[0]的生成方法，可以举出仅抽取左眼用图像L和右眼用图像R中包含的共同成分的方法。具体地讲，求出在左眼用图像L和右眼用图像R中处于同一坐标处的像素的差分，如果差分是0，则将该像素的灰度值作为初始解FI[0]或者初始解MI[0]，如果差分不是0，则将灰度值0作为初始解FI[0]或者初始解MI[0]。或者，对于左眼用图像L和右眼用图像R中包含的共同成分，可以举出把将其灰度值变为二分之一后的图像作为初始解FI[0]或者初始解MI[0]的方法。即，可以考虑把将左眼用图像L和右眼用图像R中包含的共同成分或者左眼用图像L和右眼用图像R中包含的共同成分的灰度值变为二分之一后的图像分别作为初始解FI[0]或者初始解MI[0]，其组合有4种。

在实施方式1中说明了仅将左眼用图像L和右眼用图像R中包含的共同成分作为初始解FI[0]，由此能够以较少的反复处理次数满足处理结束条件。这种情况对于本实施方式3也同样，通过仅将左眼用图像L和右眼用图像R中包含的共同成分或者其二分之一的灰度值作为初始解FI[0]或者初始解MI[0]，能够以较少的反复处理次数满足处理结束条件。

另外，还可以举出如实施方式2所示利用深度图生成初始解FI[0]及初始解MI[0]的方法。深度图是对左眼用图像L及右眼用图像R的各个像素示出深度信息的图。可以将深度图所示出的深度按照第一显示面、第二显示面及第三显示面进行分割，根据在深度图中示出的深度坐标和到各显示面的距离求出比率，将该比率与左眼用图像L或者右眼用图像R相乘，将所得到的图像作为初始解FI[0]及初始解MI[0]。

通过利用深度图，能够以使得在第一显示面显示显示对象的近前侧部分而在第三显示面显示中间部分的方式来设定初始解。通过这样使显示对象的配置和显示面的配置一致，能够显示对于观察者而言更加自然的三维图像，并且能够减少到反复处理的收敛为止的处理次数。

另外，与实施方式1同样，对于初始解FI[0]及初始解MI[0]，期望也是根据在第一显示面31及第三显示面90进行显示所需的制约条件求出的。在图12中虽然没有记载，但是对于由初始解生成部911生成的初始解FI[0]及初始解MI[0]，也可以在制约条件应用部913中应用了式13所示的制约条件后，利用层叠图像生成部912进行处理。

<6>ST910：处理结束条件的设定

作为利用反复处理控制部914进行的处理结束条件的判定，可以举出如下方法：使用所生成的内部数据FI[i]、内部数据MI[i]及内部数据BI[i]，求出观察者从双眼方向能够观察到的图像L’和图像R’，再求出图像L’及图像R’与想要显示的双眼视差图像L及双眼视差图像R的之间的差分，将两个差分都低于规定值作为条件。在这种情况下，需要向反复处理控制部914输入双眼视差图像L及双眼视差图像R。

另外，可以举出求出所生成的内部数据FI[i]和前一次生成的内部数据FI[i-1]之间的差分，将该差分低于规定值作为条件的方法。

同样，可以举出求出所生成的内部数据MI[i]和前一次生成的内部数据MI[i-1]之间的差分，将该差分低于规定值作为条件的方法。或者，可以举出求出所生成的内部数据BI[i]与前一次生成的内部数据BI[i-1]之间的差分，将该差分低于规定值作为条件的方法。

另外，可以举出将内部数据FI[i]和内部数据FI[i-1]之间的差分、内部数据BI[i]和内部数据BI[i-1]之间的差分、以及内部数据MI[i]和内部数据MI[i-1]之间的差分全部低于规定值作为条件的方法。

关于规定值，可以举出使用任意值的方法。

但是，在使用任意值作为规定值时，差分的大小根据所输入的双眼视差图像而不同，存在到处理结束为止的反复处理次数根据所输入的双眼视差图像而大幅变化的问题。

为了解决该问题，例如对于内部数据FI[i]，可以举出以FI[2]和FI[1]之间的差分为基准，将对该差分乘以某比率而得的值用作规定值的方法。同样，对于内部数据MI[i]，可以举出以内部数据MI[2]和内部数据MI[1]之间的差分为基准，将对该差分乘以某比率而得的值用作规定值的方法。同样，对于内部数据BI[i]，可以举出以内部数据BI[2]和内部数据BI[1]之间的差分为基准，将对该差分乘以某比率而得的值用作规定值的方法。

通过这样使用比率决定规定值，无论所输入的双眼视差图像怎样，都能够抑制到处理结束为止的反复处理次数的变化。

另外，可以考虑将反复处理次数固定为规定次数的方法。通过将反复处理次数固定，能够将处理时间固定或者控制为固定时间。在设更新率为RR[Hz]、一次反复处理花费的时间为t[s]时，此处所讲的规定次数为1/(RR·t)[次]。一次反复处理花费的时间取决于在处理中使用的设备。

在图11中对沿显示面上的水平方向延伸的一行的像素进行了说明，但可以对所有行的像素应用同样的处理。内部数据FI[i]、内部数据MI[i]和内部数据BI[i]是对所有行进行处理得到的数据。

在实施方式3中说明了按照ST904～ST909的顺序反复进行处理的方法。即，对在第二显示面显示的图像BI、在第三显示面显示的图像MI以及在第一显示面显示的图像FI，以均等的次数进行值的更新。因此，能够避免BI、MI或者FI任意一方先收敛而反复进行不必要的反复处理的情况。其结果是，作为整体能够高效地进行反复处理。

在实施方式3中，对使用层叠的三片显示面显示双眼视差图像的装置及方法进行了说明。根据本发明，能够越过三片显示面感知三维图像，其对象不仅仅是简单的图形，也能够显示风景图像等具有复杂的深度信息的双眼视差图像。

另外，通过使用层叠的三片显示面，存在于视线上的显示像素增加，各像素可取的值的自由度增加，由此能够在反复处理的过程中降低误差，观察者视觉观察到的双眼视差图像的质量提高。

另外，通过使用层叠的三片显示面，能够扩展显示装置整体的深度。通过扩展显示装置整体的深度，能够使用在物理上分开的显示面来显示三维图像，能够显示具有更大深度的三维图像。另一方面，当为了扩展显示装置整体的深度而过度扩大了显示面的层叠间隔时，从视听者观察到的各个显示面看似独立，在显示三维图像时，存在感觉不到在显示面之间连续的深度的问题。通过增加层叠片数，无需扩大液晶的层叠间隔，即可扩展显示装置整体的深度。即，与层叠两片液晶的情况相比，使用三片液晶能够以相同的层叠间隔将显示装置整体的深度扩大为二倍。

以上示出了使用三片液晶显示面的例子，也考虑可以使用四片以上的液晶显示面的情况。在对三维图像显示装置追加第四液晶显示面作为第四片的液晶显示面的情况下，与追加了第三液晶显示面的情况同样，追加在第一液晶显示面和第三液晶显示面之间即可。

另外，与在实施方式3中对实施方式1的图像处理装置24追加内部数据MI[i]生成部912c构成图像处理装置924的情况相同，能够构成与追加了第四液晶显示面的图像显示装置对应的图像处理装置。即，在图像处理装置924的内部数据MI[i]生成部912c和内部数据FI[i]生成部912b之间，追加用于生成在第四液晶显示面进行显示的图像内部数据MI2[i]的内部数据MI2[i]生成部912d即可。内部数据MI2[i]生成部912d是与内部数据MI[i]生成部912c同样的结构，仅输入输出关系不同。即，以L、R、BI[i]、MI[i]及FI[i-1]为输入，并输出MI2[i]。

另外，初始解生成部911除FI[0]及MI[0]以外，还生成MI2[0]。内部数据BI[i]生成部912a以L、R、MI[i-1]、MI2[i-1]及FI[i-1]为输入，并输出BI[i]。内部数据MI[i]生成部912c以L、R、BI[i]、MI[i-1]及FI[i-1]为输入，并输出MI[i]。内部数据FI[i]生成部912b以L、R、BI[i]、MI[i]及MI2[i]为输入，并输出FI[i]。反复处理控制部914以BI[i]、MI[i]、MI2[i]及FI[i]为输入，进行所输入的数据是否满足处理结束条件的判定。

在第四液晶显示面之后增加第五液晶显示面、第六液晶显示面的增加液晶显示面的情况下，通过追加同样的结构，能够容易形成图像显示装置及图像处理装置。

本发明除三维图像显示装置以外，也能够作为多视点图像显示装置来应用。多视点图像显示装置是对从显示装置观察位于不同方向的观察者分别显示不同的图像的装置。作为用途，例如可以举出对汽车的驾驶员席的乘客和副驾驶席的乘客分别显示不同图像的情况。

在实施方式1中以双眼视差图像为输入，如果将其置换为想要对驾驶员席的乘客和副驾驶席的乘客显示的图像，则能够实现两视点图像显示装置。

另外，在实施方式2中以双眼视差图像和中央视点图像为输入，如果将其置换为想要对驾驶员席的乘客、副驾驶席的乘客及中央后部坐席的乘客显示的图像，则能够实现三视点图像显示装置。同样也能够进行四视点以上的图像显示。

在实施方式3中以双眼视差图像为输入，如果将其置换为想要对驾驶员席的乘客及副驾驶席的乘客显示的图像，则能够实现三视点图像显示装置。同样也能够进行四视点以上的图像显示。

截止到此所说明的方法是相对于第一显示面和第二显示面在存在左右对称关系的方向上分别显示图像的方法，但对于不存在左右对称关系的方向，如果置换为各个方向的视线所经过的像素，则也能够应用本发明。

另外，截止到此所说明的方法是在图像显示装置的水平方向显示多视点图像的方法，但通过对图像的垂直方向应用相同的处理，也能够在图像显示装置的垂直方向显示多视点图像。另外，通过在进行水平方向的处理后进行垂直方向的处理，还能够应对倾斜方向的视点。

关于多视点图像显示装置，也能够用作利用观察角度将图像隐藏的显示装置，如仅在观察者从特定的方向观察时能够正确观察到图像。

在截止到此所说明的方法中，使用递增变量i，每当进行反复处理时对i加1，但也可以将变量设为递减变量，每当进行反复处理时对i减1。

标号说明

10输入部；11初始解生成部；12层叠图像生成部；13制约条件应用部；14反复处理控制部；15输出部；20三维图像显示装置；21液晶；22液晶；23背照灯；24图像处理装置；25观察者；26视线；31第一显示面；32第二显示面；33左眼；34右眼；35左眼用图像；36右眼用图像；37视线组；38视线组；401第一显示面上的像素组；402第二显示面上的像素组；405视线；406视线；407像素；408像素；409像素；413投影点；414投影点；415背照灯；505视线；506视线；507像素；508像素；509像素；513投影点；514投影点；70中央视点；71中央视点图像；80视线；81像素；82投影点；90第三显示面；901第三显示面上的像素组；902像素；903像素；910输入部；911初始解生成部；912层叠图像生成部；913制约条件应用部；914反复处理控制部；915输出部；920液晶。

Claims (16)

1.一种图像处理装置，其特征在于，该图像处理装置具有：

输入部，其受理多个不同的输入图像；

初始解生成部，其根据所述多个不同的输入图像的数据，生成将由多个显示面图像构成的层叠图像中的一方的端面图像排除后的图像的内部数据作为初始解；

层叠图像生成部，其反复进行生成所述多个显示面图像的内部数据的反复处理；以及

反复处理控制部，其对结束所述显示面图像的内部数据的生成的处理结束条件进行判断，在满足了所述处理结束条件时，将所述层叠图像生成部最后生成的所述多个显示面图像的内部数据作为所述层叠图像的数据进行输出，

所述层叠图像生成部在所述反复处理的第一次中，根据所述初始解及制约条件，生成所述多个显示面图像的内部数据，在所述反复处理的自第二次起的各次中，根据在前一次的反复处理中生成的所述多个显示面图像的内部数据及所述制约条件，生成所述多个显示面图像的新的内部数据，直到满足所述处理结束条件为止，

所述反复处理的次数越增加，所述显示面图像的新的内部数据与在前一次的反复处理中生成的所述显示面图像的内部数据之间的差分越小。

2.根据权利要求1所述的图像处理装置，其特征在于，

所述制约条件是将各个所述显示面图像的内部数据限制为能够由显示所述层叠图像的多个显示面中的各个显示面表现的范围内的条件。

3.根据权利要求1或2所述的图像处理装置，其特征在于，

所述初始解是所述多个不同的输入图像的数据的平均值。

4.根据权利要求1或2所述的图像处理装置，其特征在于，

所述多个不同的输入图像是双眼视差图像，

所述初始解是所述双眼视差图像中不包含视差成分的共同成分。

5.根据权利要求1或2所述的图像处理装置，其特征在于，

所述初始解是使用表示所述多个不同的输入图像的深度的深度图求出的。

6.根据权利要求1或2所述的图像处理装置，其特征在于，

所述处理结束条件是预先设定的反复次数。

7.根据权利要求1或2所述的图像处理装置，其特征在于，

所述处理结束条件是如下条件：由所述层叠图像生成部生成的所述显示面图像的新的内部数据、与由所述层叠图像生成部在前一次的反复处理中生成的所述显示面图像的内部数据之间的差分，低于在所述反复处理的第一次中生成的所述显示面图像的内部数据与在所述反复处理的第二次中生成的所述显示面图像的内部数据之间的差分乘以规定比率而得的值，

所述规定比率的值大时的反复处理次数比所述规定比率的值小时的反复处理次数少。

8.根据权利要求1或2所述的图像处理装置，其特征在于，

所述层叠图像生成部每当生成所述多个显示面图像中的某一个显示面图像的内部数据时，使用所述多个不同的输入图像的数据、与排除所述某一个显示面图像的内部数据后的所述多个显示面图像的内部数据之间的差分。

9.根据权利要求1或2所述的图像处理装置，其特征在于，

所述层叠图像生成部每当生成所述多个显示面图像中的某一个显示面图像的内部数据时，使用所述多个不同的输入图像的数据、与排除所述某一个显示面图像的内部数据后的所述多个显示面图像的内部数据之间的多个差分取加权平均，在所述取加权平均的情况下，对所述多个差分进行不同的加权。

10.根据权利要求1或2所述的图像处理装置，其特征在于，

所述多个不同的输入图像包含双眼视差图像。

11.根据权利要求10所述的图像处理装置，其特征在于，

所述多个不同的输入图像还包含中央视点图像。

12.一种图像显示装置，其特征在于，该图像显示装置具有：

权利要求1～11中任意一项所述的图像处理装置；以及

多个显示面，它们隔开规定的间隔平行地层叠，

在所述多个显示面显示由所述反复处理控制部作为所述层叠图像的数据而输出的内部数据。

13.根据权利要求12所述的图像显示装置，其特征在于，

所述多个显示面由液晶面板构成。

14.一种图像处理装置，其特征在于，该图像处理装置具有：

输入部，其受理多个不同的输入图像；

初始解生成部，其根据所述多个不同的输入图像，生成作为递增变量i为1时的第一显示面图像的内部数据FI[i-1]的初始解FI[0]；

层叠图像生成部，其根据所述第一显示面图像的内部数据FI[i-1]及制约条件，生成第二显示面图像的内部数据BI[i]，根据所述第二显示面图像的内部数据BI[i]及所述制约条件，生成内部数据FI[i]；以及

反复处理控制部，其判定所述内部数据FI[i]和所述内部数据BI[i]是否满足处理结束条件，在不满足所述处理结束条件的情况下，对递增变量i加1，使所述层叠图像生成部的处理继续，在满足所述处理结束条件的情况下，结束所述层叠图像生成部的处理，

将结束所述层叠图像生成部的处理时的所述内部数据FI[i]作为所述第一显示面图像进行输出，将结束所述层叠图像生成部的处理时的所述内部数据BI[i]作为所述第二显示面图像进行输出。

15.一种图像处理装置，其特征在于，该图像处理装置具有：

输入部，其受理多个不同的输入图像；

初始解生成部，其根据所述多个不同的输入图像的数据，生成作为递增变量i为1时的第一显示面图像的内部数据FI[i-1]的初始解FI[0]和作为第三显示面图像的内部数据MI[i-1]的初始解MI[0]；

层叠图像生成部，其根据所述内部数据FI[i-1]、所述内部数据MI[i-1]及制约条件，生成第二显示面图像的内部数据BI[i]，根据所述内部数据FI[i-1]、所述内部数据BI[i]及所述制约条件，生成所述第三显示面图像的内部数据MI[i]，根据所述内部数据MI[i]、所述内部数据BI[i]及所述制约条件，生成内部数据FI[i]；以及

反复处理控制部，其判定所述内部数据FI[i]、所述内部数据MI[i]和所述内部数据BI[i]是否满足处理结束条件，在不满足所述处理结束条件的情况下，对递增变量i加1，使所述层叠图像生成部的处理继续，在满足所述处理结束条件的情况下，结束所述层叠图像生成部的处理，

将结束所述层叠图像生成部的处理时的所述内部数据FI[i]作为所述第一显示面图像进行输出，将结束所述层叠图像生成部的处理时的所述内部数据MI[i]作为所述第三显示面图像进行输出，将结束所述层叠图像生成部的处理时的所述内部数据BI[i]作为所述第二显示面图像进行输出。

16.一种图像处理方法，其特征在于，该图像处理方法包括：

输入步骤，受理多个不同的输入图像；

初始解生成步骤，根据所述多个不同的输入图像的数据，生成将由多个显示面图像构成的层叠图像中的一方的端面图像排除后的图像的内部数据作为初始解；

层叠图像生成步骤，反复进行生成所述多个显示面图像的内部数据的反复处理；以及

反复处理控制步骤，对结束所述显示面图像的内部数据的生成的处理结束条件进行判断，在满足了所述处理结束条件时，将在所述层叠图像生成步骤中最后生成的所述多个显示面图像的内部数据作为所述层叠图像进行输出，

在所述层叠图像生成步骤中，在所述反复处理的第一次中，根据所述初始解及制约条件，生成所述多个显示面图像的内部数据，在所述反复处理的自第二次起的各次中，根据在前一次的反复处理中生成的所述多个显示面图像的内部数据及所述制约条件，生成所述多个显示面图像的新的内部数据，直到满足所述处理结束条件为止，

所述反复处理的次数越增加，所述显示面图像的新的内部数据与在前一次的反复处理中生成的所述显示面图像的内部数据之间的差分越小。