立体图像显示装置
本申请是申请日为2013年7月30日、申请号为201310326072.0、发明名称为“立体图像显示装置、图像处理装置及图像处理方法”的原案申请的分案申请。
相关申请的交叉引用
本申请基于且要求2012年7月31号递交的第2012-170645号以及2013年4月22日递交的第2013-089532号日本专利申请的优先权的权益,所述日本专利申请的全部内容通过引用并入本文。
技术领域
本发明涉及一种立体图像显示技术。更具体地,本发明涉及用于将图像转换为即使观察者改变其位置也不会感到有不适感的立体图像的立体图像显示装置等。
背景技术
近来,一般市场上出售能够观看立体图像的电视机。伴随于此,立体图像内容量增加,且用于观看立体图像的环境逐步地进入良好的状态。通常,观察者配戴用于显示立体图像的眼镜,不同视差的图像被投影到左眼和右眼,使得观察者可以在立体图像电视机上观看立体图像。然而,许多观察者对于配戴用于显示立体图像的眼镜感到不悦,期望获得不需要这样的眼镜的立体图像显示装置。此外,当眼镜式立体图像显示装置被用作移动装置时,由于立体图像显示装置和用于显示立体图像的眼镜需要被携带到外面,多有不便。因此,对于移动用途而言,更强烈地期望获得不需要眼镜的立体图像显示装置。
作为不需要用于显示立体图像的眼镜的立体图像显示装置,通常使用的是这样一种类型的立体图像显示装置:该立体图像显示装置划分用于投影立体图像的空间区域,且将不同视差的图像投影到所划分的各个空间区域,以便将不同视差的图像投影到观察者的左眼和右眼。通过在立体图像显示装置的立体显示面板上设置柱状透镜和视差屏障,将不同视差的图像投影到所划分的各个空间区域。
利用这种类型的立体图像显示装置,不需要配戴用于显示立体图像的眼镜。因此,从避免配戴眼镜造成麻烦来说,这是极好的且尤其期望用在移动用途上。然而,使用这种类型的立体图像显示装置,由于将不同视差的图像空间分离而进行投影,因此观察者可以正确地视觉识别立体图像的空间区域变得有限。观察者可以正常地视觉识别立体图像的空间区域限于这样一种情况:观察者的左眼的位置在左眼图像所被投影的空间区域内且观察者的右眼的位置在右眼图像所被投影的空间区域内。当观察者的左眼和右眼的位置从这些空间区域移位时,左眼图像和右眼图像彼此重叠,这导致将3D串扰图像(CT-图像)的视频投影至观察者。
现在,将参照附图描述被立体显示面板划分的空间区域。首先,所描述的是在视差屏障用于立体显示面板的情况下的空间区域。图84示出利用视差屏障式的立体图像显示装置将不同视差的图像投影至观察者的左眼和右眼的光学模型的一个示例。图84是从观察者的头部上方观察到的剖视图,其中,观察者的双眼(右眼55R和左眼55L)位于与显示装置的显示平面相距最佳观察距离OD的距离处的观察平面30上,观察者的双眼的中心与显示面板的中心相互匹配。
图像显示面板(例如液晶面板)(未示出)由一组光调制器构成,该光调制器是排列成矩阵的像素。在图84中,在交替排列的右眼像素4R和左眼像素4L中,仅示出在图像显示面板的两端和中心的像素。用作划分空间区域且投影图像的部件的视差屏障6被设置在显示面板的离观察者较远的远侧。视差屏障6是形成有大量的细竖条纹狭缝6a的屏障(遮光板),并且该视差屏障6以这样的方式设置:屏障本身的纵向方向垂直于图像显示面板的左眼像素4L和右眼像素4R所排列的方向。在视差屏障的更远侧设置有光源(未示出:所谓的背光源)。从光源发出的光通过狭缝6a传送,且在图像显示面板内的像素中其强度被调节的同时被朝向观察者投影。由于狭缝6a的存在,会限制右眼像素4R和左眼像素4L的投影方向。
当从各个狭缝6a发出的光中经过最近的像素的光的轨迹图示为光线20时,可以获得右眼区域70R(右眼图像所投影的空间区域)和左眼区域70L(左眼图像所投影的空间区域),在右眼区域70R中,所有的右眼像素4R的投影图像重叠,在左眼区域70L中,所有的左眼像素4L的投影图像重叠。在右眼区域70R中仅可观察到来自右眼像素4R的投影图像,在左眼区域70L中仅可观察到来自左眼像素4L的投影图像。因此,如果在观察者的右眼55R位于右眼区域70R内且左眼55L位于左眼区域70L内时将视差图像投影至左眼和右眼,则观察者将该视差图像视觉识别为立体图像。换句话说,当右眼55R位于右眼区域70内且左眼55L位于左眼区域70L内时,观察者可以观察到预期的立体图像。
图84所示的显示装置被设计为:右眼像素4R和左眼像素4L(宽度P)中的每一个的最佳观察距离OD处的投影图像(宽度P')全部彼此重叠,使得右眼区域70R和左眼区域70L的在观察平面30上的宽度最大。投影图像的宽度P'可主要基于狭缝6a和像素之间的距离h、像素间距P和最佳观察距离OD来确定。当宽度P'变宽时,右眼区域70R和左眼区域70L的宽度变宽。然而,不可能将观察者的双眼分别置于任意的位置,从而可以观看立体图像的立体区域不一定能被扩大。如果双眼之间的距离为e,则宽度P'优选地被设计为等于双眼之间的距离e。在宽度P'小于双眼之间的距离e的情况下,可进行立体观察的区域被限于宽度P'。然而,在宽度P'大于双眼之间的距离e的情况下,仅增大了双眼都位于右眼区域70R或左眼区域70L中的区域。应当注意,在图84中记录了远观察距离FD、近观察距离ND和狭缝宽度S。
此外,图85示出当从观察者处观看时视差屏障6位于显示面板的前侧的情况下的光学模型。如同在从观察者处观看时屏障位于显示面板的远侧的情况下,其被设计为:观察者位于最佳观察距离OD处,且在观察平面30中左眼像素和右眼像素(宽度P)中的每一个的投影图像(宽度P')彼此重叠。当从各个像素发出的光中通过最近的狭缝6a的光的轨迹图示为光线20时,可以获得右眼区域70R和左眼区域70L,在右眼区域70R中,所有的右眼像素4R的投影图像重叠,在左眼区域70L中,所有的左眼像素4L的投影图像重叠。
然后,图86示出当使用柱状透镜代替视差屏障时所划分的空间区域。在图86中,仅是将图85的视差屏障6更换为柱状透镜3。应当注意,在图86中记录了柱面透镜宽度L。
然后,将通过使用柱状透镜型光学模型来研究如下情况:观察者不在其可以正常地视觉识别立体图像的区域(立体观看空间)而位于3D串扰观看空间中。图87是当观察者移动至右侧使得右眼55R位于右眼区域70R和左眼区域72L之间的边界处且左眼55L位于右眼区域70R和左眼区域70L之间的边界处时,从观察者的头部上方观察到时的剖视图。
在这种情况下,在从右眼像素4R发出的光中经过最近的柱面透镜3a的主点(顶点)的光线20和在从左眼像素4L发出的光中经过第二近的柱面透镜3b的主点(顶点)的光线21都被投影至观察者的右眼55R的位置。即,在图87中,观察者利用右眼55R观察来自右眼像素4R和左眼像素4L的投影图像。因此,当观察立体图像时,右眼像素4R和左眼像素4L重叠而产生双像(所谓的3D串扰图像(CT-图像))。因此,不能看见预期的立体图像。此处应当注意,右眼区域70R和左眼区域72L之间的边界区域以及右眼区域70R和左眼区域70L之间的边界区域是3D串扰观看空间。
如上所述,不需要用于显示立体图像的眼镜的立体图像显示装置具有根据观察者的观察位置而产生由3D串扰引起的CT-图像的问题。因此,观察者感到不适,这是阻碍立体图像显示装置普及的一个原因。
为了克服上述问题,提出了这样一种方法:在时分型立体图像显示装置中,通过将黑侧校正数据或白侧校正数据添加至如下的图像区域,来减轻3D串扰的影响,在该图像区域中,由于由液晶的延迟产生的3D串扰,立体图像内容的左眼图像(L图像)和右眼图像(R图像)内的亮度值改变。此外,还提出这样一种方法:通过对黑侧校正数据和白侧校正数据实施图像模糊处理(诸如低通滤波等)而添加平滑的校正数据,使得CT-图像变得难以被人眼识别,来减轻由3D串扰引起的CT-图像的影响(日本未经审查的专利公开2011-166744(专利文献1))。
此外,还提出了这样的方法:通过生成减去了由3D串扰混入的图像分量得到的图像数据并显示所获得的数据,来减轻由3D串扰引起的CT-图像的影响(日本未经审查的专利公开2001-298754(专利文献2)、日本未经审查的专利公开2002-095010(专利文献3))。当通过3D串扰使R图像的α%的图像分量混入L图像中时,通过使用下式1来进行图像数据的校正处理。
Lf(x,y)=Lc(x,y)–α×Rc(x,y) 式1
此处应当注意,Lf(x,y)表示进行校正处理后的L图像的亮度值,而Lc(x,y)表示作为原始数据的立体图像内容的L图像的亮度值。此外,α表示3D串扰量(将要混入的图像分量的比例),且Rc(x,y)表示作为原始数据的立体图像内容的R图像的亮度值。
此外,还提出这样一种方法:在由3D串扰产生的CT-图像所被投影的观察位置处,将双视点的图像数据中的一个图像数据转换成黑色图像且仅投影另一个图像数据,来减轻由3D串扰引起的CT-图像的影响(日本未经审查的专利公开2008-089787(专利文献4))。
此外,还提出这样一种立体图像显示装置:其通过测量观察者的观察位置且根据观察位置在生成多视点视差图像的子像素内进行亮度调整处理,来减轻由3D串扰引起的CT-图像的影响(Juyong Park等的“Active Crosstalk Reduction on Multi-ViewDisplays Using Eye Detection”SID2011,61.4,第920-923页(非专利文献1))。
此外,还提出这样一种方法:利用液晶遮闭眼镜型立体图像显示装置,基于视差量,对立体图像内容的左眼图像(L图像)和右眼图像(R图像)应用图像模糊处理(诸如低通滤波等),来减轻由眼镜的遮闭切换时的延迟产生的3D串扰引起的CT-图像的影响(日本未经审查的专利公开2011-040946(专利文献5))。
此外,还提出这样一种方法:在液晶遮闭眼镜型立体图像显示装置中,为了减轻由眼镜遮闭的时刻、液晶面板的时刻和背光源的时刻的偏移而生成的3D串扰所引起的CT-图像的影响,扩大图像数据的亮度值的动态范围,来缩短用于显示由3D串扰引起的CT-图像的时间(Yuki Iwanaka等的“Image Processing-based Crosstalk Reduction forStereoscopic Displays with Shutter Glasses”SID2011,55.4,第816-819页(非专利文献2))。
此外,还提出这样一种方法:根据立体图像显示装置的显示类型(液晶遮闭眼镜类型、偏光眼镜类型),通过将图像切换为减轻由3D串扰引起的CT-图像的影响的图像数据,即使在使用各种显示类型的立体图像显示装置的情况下,也可减轻由3D串扰引起的CT-图像的影响(日本未经审查的专利公开2012-039592(专利文献6))。
此外,即使在显示相同视差的立体图像内容的情况下,观察者观察立体图像内容的视差也根据立体图像显示装置和观察者的观察位置之间的距离而变化。还提出这样一种方法:当根据立体图像显示装置和观察者的观察位置之间的距离过近时,立体图像内容的视差变大,为了解决无法识别立体图像的问题,根据立体图像显示装置和观察者的观察位置之间的距离来调整立体图像内容的视差以显示立体图像(日本未经审查的专利公开2012-044308(专利文献7))。
此外,当弹出式显示的立体图像内容被隐藏在图像框中而被部分地显示时,立体图像显示装置使观察者具有称作图像框扭曲的不适感。在平面图像显示的情况下,图像内容在相对于图像框的后方位置中,因此观察者视觉识别为:看不到内容的整个场景。然而,在立体图像显示的情况下,即使当立体图像被显示在相对于图像框的前侧,由于图像框,立体图像内容部分地被隐藏地显示,因此观察者感到不适。因此,为了克服在多视点型立体图像显示装置中图像框扭曲的问题,提出这样一种方法:其使作为图像框扭曲的原因的在立体显示区域外显示的立体图像内容变得透明而不被显示,(日本未经审查的专利公开2005-252459(专利文献8))。
此外,为了减轻由观看立体图像引起的疲劳,还提出对构成立体图像的图像数据进行模糊处理的方法:(日本未经审查的专利公开2011-082829(专利文献9))。
此外,由于人眼具有聚焦功能,因此当观看远距离处的物体时发生由于人眼的聚焦功能而引起的离焦状态。然而,当在立体图像显示装置上显示立体图像的情况下,由于从相同平面上的面板投影立体图像,因此不会发生由于人眼的聚焦功能而引起的离焦状态。为了减轻该状态,提出这样一种方法:测量观察者的观察位置且对构成立体图像的图像数据进行模糊处理(日本未经审查的专利公开2011-244349(专利文献10))。
对于不需要用于显示立体图像的眼镜的裸眼立体图像显示装置,根据观察者的观察位置由3D串扰引起的CT-图像的影响较大。这不仅使观察者具有不适感,而且在低画质的立体图像显示装置的情况下成为引起生理的不稳定(诸如,感觉视频晕眩或眼睛疲劳)的因素之一,这是阻碍裸眼立体图像显示装置普及的原因。
作为用于克服这样的问题的方法,提出了专利文献1。然而,专利文献1的方法不能考虑观察者的观察位置来调整图像数据的模糊量,因此,当观察者的观察位置移动时,不能进行图像模糊处理以减轻由3D串扰引起的CT-图像的影响的。
此外,专利文献2和专利文献3的方法通过从图像数据中减去由于3D串扰混入的图像分量,来减轻由3D串扰引起的CT-图像的影响。然而,只有当3D串扰量小且待混入的图像分量的量小时,才可以应用通过减法执行的图像处理方法。当3D串扰量大时,不能从原图像数据中减去将要混入的图像分量。因此,出现不能完全去除混入的图像分量的图像区域。因此,当观察者的观察位置移动且3D串扰量增加时,不能减轻由3D串扰引起的CT-图像的影响。
此外,利用专利文献4的方法,可以通过将一个图像数据转换成黑色图像来去除由3D串扰引起的CT-图像的影响。然而,仅另一个图像数据被朝向观察者投影,使得朝向观察者投影的图像数据的亮度值下降。此外,虽然在专利文献4中描述了增加背光源的输出作为亮度值下降的对策,但这会引起功耗的增加、背光源寿命的缩短等。此外,在朝向观察者投影双视点图像数据(右眼图像和左眼图像)的立体图像显示装置中,当其中一个图像数据被转换为黑色图像时,可能仅黑色图像被投影至观察者的另一只眼睛。因此,不能应用专利文献4的图像处理方法。
利用非专利文献1,可以通过测量观察者的观察位置且根据观察位置对生成多视点视差图像的子像素进行亮度调整处理,来减轻由3D串扰引起的CT-图像的影响。然而,需要按照子像素的顺序进行亮度调整处理,使得处理变得复杂。此外,如同专利文献4的情况,利用朝向观察者投影双视点图像数据(右眼图像和左眼图像)的立体图像显示装置,当通过对子像素进行的亮度调整处理使亮度值下降时,可能仅将亮度值下降的子像素被投影到观察者的另一只眼睛。因此,不能应用非专利文献1的图像处理方法。
此外,利用专利文献5和非专利文献2,在液晶遮闭眼镜型立体图像显示装置中可以减轻由3D串扰引起的CT-图像的影响。然而,没有考虑关于在裸眼型立体图像显示装置中生成的3D串扰的对策,且没有通过考虑观察者的观察位置来调整图像数据的模糊量。因此,当观察者的观察位置移动时,不能进行图像模糊处理以减轻由3D串扰引起的CT-图像的影响。
此外,专利文献6公开了如下方法:根据立体图像显示装置的显示方式,通过将图像转换为减轻3D串扰的影响的图像数据来显示图像的方法。然而,该方法没有考虑裸眼型立体图像显示装置的显示方式,使得不可能利用裸眼型立体图像显示装置来减轻3D串扰的影响。
此外,专利文献7公开了根据立体图像显示装置和观察者的观察位置之间的距离对立体图像内容进行视差调整处理的方法。然而,裸眼型立体图像显示装置通过使用柱状透镜或视差屏障,将图像在空间上分离成右眼图像和左眼图像从而投影图像,该方法没有考虑用于减轻在裸眼型立体图像显示装置中出现的3D串扰引起的CT-图像的影响的任何图像滤波处理方法(视差调整量计算方法),从而不能减轻由3D串扰引起的CT-图像的影响。
此外,专利文献8提出了使显示在立体显示区域外的立体图像内容(其为图像框扭曲的原因)变得透明从而不被显示的方法。然而,裸眼型立体图像显示装置通过使用柱状透镜或视差屏障,将图像在空间上分离成右眼图像和左眼图像从而投影图像,该方法没有考虑用于减轻在裸眼型立体图像显示装置中出现的3D串扰引起的CT-图像的影响的任何图像滤波处理方法(使图像透明从而不被显示的方法)。因此,不能减轻由3D串扰引起的CT-图像的影响。
此外,专利文献9提出了对将成为立体图像的图像数据进行模糊处理的方法。然而,裸眼型立体图像显示装置通过使用柱状透镜或视差屏障将图像在空间上分离成右眼图像和左眼图像从而投影图像,该方法没有考虑用于减轻在裸眼型立体图像显示装置中出现的3D串扰引起的CT-图像的影响的任何图像滤波处理方法(图像模糊),从而不能减轻由3D串扰引起的CT-图像的影响。
此外,专利文献10提出了测量观察者的观察位置且对将成为立体图像的图像数据进行模糊处理的方法。然而,裸眼型立体图像显示装置通过使用柱状透镜或视差屏障,将图像在空间上分离成右眼图像和左眼图像从而投影图像,该方法没有考虑用于减轻在裸眼型立体图像显示装置中出现的3D串扰引起的CT-图像的影响的任何图像滤波处理方法(图像模糊),从而不能减轻由3D串扰引起的CT-图像的影响。
发明内容
因此,本发明的示例性目的是克服上述问题且提供如下的立体图像显示装置等,利用该立体图像显示装置等,即使利用裸眼型立体图像显示装置,也可减轻由3D串扰引起的CT-图像的影响,使得即使当观察者的观察位置移动时,观察者也不会感到不适。
根据本发明的示例性方面的立体图像显示装置,其特征在于,所述立体图像显示装置包括:
立体显示面板,所述立体显示面板包括:光分离模块,所述光分离模块将光线分配至至少两个不同的视点方向,如果将分配所述光线的方向定义为第一方向,则存在:立体观看空间,在该立体观看空间中通过分别将右眼图像投影到观察者的右眼且将左眼图像投影到所述观察者的左眼而显示立体图像;反向立体观看空间,在该反向立体观看空间中所述左眼图像被投影到所述右眼且所述右眼图像被投影到所述左眼,所述反向立体观看空间位于在所述第一方向上从所述立体观看空间移位的位置处;以及3D串扰观看空间,在该3D串扰观看空间中所述右眼图像和所述左眼图像被投影到所述右眼和/或所述左眼,所述3D串扰观看空间在所述第一方向上位于所述立体观看空间和所述反向立体观看空间之间;
观察者位置测量单元,所述观察者位置测量单元测量观察者的观察位置;
相对位置计算单元,所述相对位置计算单元计算所述立体显示面板相对于所测量的所述观察位置的相对位置;
图像滤波器值计算单元,所述图像滤波器值计算单元根据所述相对位置计算用于调节图像模糊量的图像滤波器值;以及
图像滤波处理单元,所述图像滤波处理单元按照所述图像滤波器值对图像数据进行图像滤波处理。
根据本发明的另一示例性方面的图像处理装置,其特征在于,图像处理装置将图像数据输出至立体显示面板,所述立体显示面板包括:光分离模块,所述光分离模块将光线分配至至少两个不同的视点方向,如果将分配所述光线的方向定义为第一方向,在存在:立体观看空间,在所述立体观看空间中通过分别将右眼图像投影到观察者的右眼且将左眼图像投影到观察者的左眼而显示立体图像;反向立体观看空间,在所述反向立体观看空间中所述左眼图像被投影到所述右眼且所述右眼图像被投影到所述左眼,所述反向立体观看空间位于在所述第一方向上从所述立体观看空间移位的位置处;以及串扰区域,在所述串扰区域中所述右眼图像和所述左眼图像被投影到所述右眼和/或所述左眼,所述串扰区域在所述第一方向上位于立体观看空间和反向立体观看空间之间,所述图像处理装置包括:
相对位置计算单元,所述相对位置计算单元计算所述立体显示面板相对于观察者的观察位置的相对位置;
图像滤波器值计算单元,所述图像滤波器值计算单元根据所述相对位置计算用于调节图像模糊量的图像滤波器值;以及
图像滤波处理单元,所述图像滤波处理单元按照所述图像滤波器值对所述图像数据进行图像滤波处理。
根据本发明的另一示例性方面的立体图像处理方法,其特征在于,该立体图像处理方法使用立体显示面板,所述立体显示面板包括:光分离模块,该光分离模块将光线分配至至少两个不同的视点方向,如果将分配所述光线的方向定义为第一方向,则存在:立体观看空间,在所述立体观看空间中通过分别将右眼图像投影到观察者的右眼且将左眼图像投影到观察者的左眼而显示立体图像;反向立体观看空间,在所述反向立体观看空间中所述左眼图像被投影到所述右眼且所述右眼图像被投影到所述左眼,所述反向立体观看空间位于在所述第一方向上从所述立体观看空间移位的位置处;以及串扰区域,在所述串扰区域中所述右眼图像和所述左眼图像被投影到所述右眼和/或所述左眼,所述串扰区域在所述第一方向上位于所述立体观看空间和所述反向立体观看空间之间,所述方法包括:
测量观察者的观察位置;
计算所述立体显示面板相对于所述观察位置的相对位置;
根据所述相对位置计算用于调节图像模糊量的图像滤波器值;
按照所述图像滤波器值对所述图像数据进行图像滤波处理;以及
将执行了图像滤波处理的图像数据输出到所述立体显示面板。
附图说明
图1为示出根据第一示例性实施方式的立体图像显示装置的方框图;
图2为立体图像显示装置的外观图;
图3为示出关于观察者的观察位置和立体显示面板的相对位置的坐标系的示意图;
图4是示出立体图像显示装置的3D串扰特性数据的曲线图;
图5是示出3D串扰特性数据和光学模型的关系图;
图6是示出3D串扰特性数据和光学模型的关系图;
图7是光学模型的放大图;
图8是立体观看空间、反向立体观看空间、3D串扰观看空间的宽度和视角的关系图;
图9是示出高斯滤波器的形状的图;
图10是示出图像滤波器(高斯滤波器)的图表;
图11是示出图像滤波器(高斯滤波器)的图表;
图12是示出相对于视角的、图像滤波器的窗口宽度值的曲线图;
图13是示出关于相对于3D串扰量的、各种值的关系表的示意图;
图14是示出相对于视角的、图像滤波器的窗口宽度值的曲线图;
图15是示出立体图像显示装置的3D串扰特性数据的曲线图;
图16是示出相对于视角的、图像滤波器的窗口宽度值的曲线图;
图17是示出立体图像显示装置的3D串扰特性数据的曲线图;
图18是示出相对于视角的、图像滤波器的窗口宽度值的曲线图;
图19是示出保存在图像数据保存单元内的图像数据的示意图;
图20是立体图像处理方法的流程图;
图21是立体图像显示装置的外观图;
图22是图像处理装置的方框图;
图23是示出具有八个视点的光学模型的示意图;
图24是示出具有四个视点的光学模型的示意图;
图25是根据第二示例性实施方式的立体图像显示装置的方框图;
图26A是示出在3D装置特性数据中立体图像显示装置的亮度特性数据的曲线图;
图26B是示出在3D装置特性数据中立体图像显示装置的3D串扰特性数据的曲线图;
图27是示出图像滤波器相对于R图像的视角的窗口宽度值的曲线图;
图28是示出图像滤波器相对于L图像的视角的窗口宽度值的曲线图;
图29是示出相对于3D串扰量的、各种值的关系表的示意图;
图30是示出相对于R图像的视角的、图像滤波器的窗口宽度值的曲线图;
图31是示出相对于L图像的视角的、图像滤波器的窗口宽度值的曲线图;
图32是示出与观察者的双眼的相对位置对应的图像滤波器值计算条件表的示意图;
图33是示出相对于R图像的视角的、图像滤波器的窗口宽度值的曲线图;
图34是示出相对于L图像的视角的、图像滤波器的窗口宽度值的曲线图;
图35是示出由3D串扰生成的CT-图像的图像显示状态的示意图;
图36是示出通过执行根据第一示例性实施方式的图像滤波处理来减轻CT-图像的图像显示状态的示意图;
图37是示出通过执行根据第二示例性实施方式的图像滤波处理来减轻CT-图像的图像显示状态的示意图;
图38是立体图像处理方法的流程图;
图39是根据第三实施方式的立体图像显示装置的方框图;
图40示出在相对位置处出现CT-图像的图像区域的示意图;
图41是示出图像滤波处理的实施判断表的示意图;
图42示出投影至观察者的右眼和左眼上的图像显示状态的示意图;
图43A示出分别投影至左眼和右眼的立体图像内容的图像显示状态;
图43B示出立体图像内容的图像显示状态,其示出应用于L图像和R图像的滤波处理内容;
图43C示出立体图像内容的图像显示状态,其示出分别投影至左眼和右眼上的滤波处理后的图像显示状态;
图44示出投影至观察者的右眼和左眼上的图像显示状态;
图45A至图45C示出关于图像显示状态和3D串扰特性数据的关系图;
图46是立体图像处理方法的流程图;
图47是根据第四示例性实施方式的立体图像显示装置的方框图;
图48是示出由于温度降低引起的光学模型的变化的示意图;
图49是示出由于温度升高引起的光学模型的变化的示意图;
图50是示出在低温下立体图像显示装置的3D串扰特性数据的曲线图;
图51是示出由于温度降低引起的光学模型的变化的示意图;
图52是在低温下光学模型的放大图;
图53是关于立体观看空间、反向立体观看空间、3D串扰观看空间和视角的关系图;
图54是立体图像处理方法的流程图;
图55是根据第五示例性实施方式的立体图像显示装置的方框图;
图56是视差图像和视差值之间的关系图;
图57是视差值和LR图像之间的关系图;
图58示出根据视差图像计算出的权重值的图;
图59是立体图像处理方法的流程图;
图60是根据第六示例性实施方式的立体图像显示装置的方框图;
图61示出球状物体弹出式显示在立体图像的中心部分的时的L图像和R图像的示意图;
图62是示出由通过图61的L图像和R图像的混合生成的3D串扰引起的CT-图像的示意图;
图63是示出应用于L图像的图像滤波器的形状的示意图;
图64是示出应用于R图像的图像滤波器的形状的示意图;
图65是示出应用于L图像的图像滤波器值的图表;
图66是示出应用于R图像的图像滤波器值的图表;
图67是示出应用于L图像的图像滤波器值的图表;
图68示出应用了横向非对称图像滤波处理的L图像和R图像的示意图;
图69是示出由通过图68的L图像和R图像的混合生成的3D串扰引起的CT-图像的示意图;
图70示出应用了横向对称图像滤波处理的L图像和R图像的示意图;
图71是示出由通过图70的L图像和R图像的混合生成的3D串扰引起的CT-图像的示意图;
图72是基于位移传感器的虚拟摄像机的布局图;
图73是基于束角(toe-in)的虚拟摄像机的布局图;
图74是示出应用于L图像的图像滤波器的形状的示意图;
图75是示出应用于R图像的图像滤波器的形状的示意图;
图76是立体图像处理方法的流程图;
图77是根据第七示例性实施方式的立体图像显示装置的方框图;
图78是示出相对于视角的视差容许值的曲线图;
图79是示出相对于3D串扰量的、各种值的关系表的示意图;
图80A是示出相对于视角的视差容许值的曲线图;
图80B是示出相对于视角的、内容的视差最大值的曲线图;
图80C是示出相对于视角的在执行视差调整处理后的视差最大值的曲线图;
图81是通过视差调整量而改变的视差图像数据组的曲线图;
图82是由像素移动而产生的R’图像的示意图;
图83是立体图像处理方法的流程图;
图84是视差屏障的光学模型图;
图85是视差屏障的光学模型图;
图86是柱状透镜的光学模型图;
图87是用于描述3D串扰观看空间的光学模型图;
图88是示出根据第八示例性实施方式的立体图像显示装置的方框图;
图89是示出相对于视角的虚拟摄像机视点位置的曲线图;
图90是立体图像内容和虚拟摄像机视点位置的概念图;
图91是立体图像显示装置和视角的概念图;
图92是示出相对于视角的虚拟摄像机视点位置的曲线图;
图93是示出相对于视角的、图像滤波器的窗口宽度值的曲线图;
图94是示出相对于视角的虚拟摄像机视点位置的示意图;
图95是示出相对于视角的虚拟摄像机视点位置的示意图;
图96是示出相对于视角的、四视点虚拟摄像机的视点位置的曲线图;
图97是立体图像处理方法的流程图;
图98是示出相对于视角的虚拟摄像机视点位置的曲线图;
图99是示出相对于视角的、图像滤波器的窗口宽度值的曲线图;
图100是示出相对于视角的虚拟摄像机视点位置的曲线图;以及
图101是示出相对于视角的虚拟摄像机视点位置的曲线图;
具体实施方式
下文,将参照附图说明用于实施本发明的方式(以下称为“示例性实施方式”)。
(第一示例性实施方式)
下面将描述根据第一实施方式的立体图像显示装置的结构。图1是立体图像显示装置11的方框图。立体图像显示装置11包括:观察者位置测量单元101;相对位置计算单元102;装置特性数据保存单元103;图像滤波器值计算单元104;图像数据保存单元105;图像滤波处理单元106;以及立体显示面板单元107。此外,集成了相对位置计算单元102、图像滤波器值计算单元104和图像滤波处理单元105的处理单元被称为图像处理单元151。
图2示出立体图像显示装置11的外观。图3示出关于观察者10的观察位置和立体显示面板107a的相对位置的坐标系。立体显示面板107a为立体显示面板单元107的一部分,摄像机101a为观察者位置测量单元101的一部分。在立体图像显示装置11中,摄像机101a被设置在立体显示面板107a的上侧,通过由摄像机101a拍摄观察者10来测量观察者10的观察位置。此外,由于摄像机101a和立体显示面板107a的设置位置是固定的,因此通过使用摄像机101a拍摄观察者10,能够计算出观察者10的观察位置和立体显示面板107a之间的相对位置。
立体显示面板107a包括:作为光电模块的显示面板,在该显示面板中,至少包括用于显示用于第一视点的图像的子像素和用于显示用于第二视点的图像的子像素的多个像素排列成矩阵;以及光分离模块,该光分离模块能够使各个图像在指定的不同方向上分离。可以被用作光电模块的显示面板的示例为液晶类型、有机EL类型、等离子类型等。可被使用的光分离模块的示例为柱状透镜、视差屏障、液晶透镜等。将通过使用显示面板2和柱状透镜3的组合来描述该示例性实施方式(参见图5)。此处应当注意,在本发明的示例性实施方式中所描述的“第一方向”的示例为图3中所示的X-轴方向,并且,在示例性实施方式中所描述的“光学模块“的示例为上文所述的光分离模块。
此外,实现图像处理单元151、装置特性数据保存单元103和图像数据保存单元105的功能的计算器150被放置在立体显示面板107a的后部。
下文,将描述包括在立体图像显示装置11中的各单元的功能。
观察者位置测量单元101的功能为测量观察显示在立体显示面板107a上的立体图像内容的观察者的位置。为了测量观察者位置,通过利用设置在立体显示面板107a的上侧的摄像机101a拍摄观察者,来测量观察者10的右眼和左眼的位置。为了测量观察者10的观察位置,不仅在摄像机101a的拍摄平面上测量水平方向(X轴、Y轴)的位置,还测量相对于摄像机101a在深度方向(Z轴)上的位置。现在用于测量相对于摄像机101a在深度方向上的距离的多种方法被提出。
所述方法中的一种方法是光学图案投影方法,利用该方法,从与摄像机不同的视点朝向观察者投影红外线等的光学图案,并且基于三角测量原理由位移量测量深度距离。采用光学图像投影方法的测量设备近年来已经作为家用游戏机和计算机周边设备而被产品化。
第二种方法是飞行时间法(Time of Flight),利用该方法,从摄像机向观察者照射近红外正弦波光,并且根据观察者反射的正弦波光到达摄像机之前的光飞行的时间间隔来测量深度距离。近年来,TOF传感器的性能的改善是显著的,从而使得逐渐可以利用小而便宜的摄像机来测量深度距离。
第三种方法是多视点摄像机方法,利用该方法,将两个或更多个摄像机设置在不同的视点处。为了测量深度距离,从任意视点的图像中检测观察者的特征点,并且从不同视点的图像中搜索对应于特征点的点,以基于三角测量原理计算深度距离。
第四种方法使用透镜焦点信息,利用该方法,从利用不同的被拍摄视野深度的光学系统透镜在各个焦点处拍摄到的多焦点图像组测量观察者的深度距离。
上文描述了用于测量深度距离的四种方法。第一示例性实施方式可以采用这些方法中的任一方法。此外,可以采用任何其他的测量方法。例如,可以通过预先保存观察者的面部尺寸并且将该面部尺寸与由摄像机拍摄的观察者的面部图像尺寸进行比较,来测量深度距离。
关于用于从所拍摄的图像检测观察者的脸的处理,预先基于面部图像的特征量(眼睛、鼻子、嘴、下巴等)生成模板数据,并且通过使所拍摄的图像与模板数据相匹配来检测观察者的面部。通过使用机械学习方法(诸如,支持向量机(SVM)和向量量化),基于观察者的面部图像来生成模板数据。作为面部检测功能,还可以使用多功能软件。此外,面部检测功能软件还可以通过利用深度信息,考虑观察者面向的方向,来实现面部检测处理。因此,进一步提高了检测精度。
利用上述处理,通过检测观察者10的面部,来测量右眼和左眼的位置。作为另一示例,还可以使用加速度传感器和陀螺仪传感器,而不使用摄像机。将各种传感器预先设置在立体图像显示装置11中,且参考从传感器获得的位置信息,来测量观察者10的观察位置。
相对位置计算单元102的功能为计算从立体显示面板107a到观察者10的观察位置的相对位置。如图3所示,假设相对于立体显示面板107a的平面的横向方向是X-轴,相对于立体显示面板107a的平面的纵向方向为Y-轴,以及与立体显示面板107a的平面垂直方向为Z-轴,计算观察者的观察位置相对于立体显示面板107a的中心(作为原点)的相对位置。从由观察者位置测量单元101所测量到的观察者的右眼和左眼的位置中减去从摄像机101a的设置位置到立体显示面板107a的设置位置的距离,来计算上述相对位置。此外,基于相对位置(X-轴、Y-轴、Z轴的坐标值)计算视角θ。视角θ和X-轴、Y-轴、Z轴的坐标值之间的关系式为式2,从而可以根据式3来计算视角θ。
tanθ=X/Z 式2
θ=tan–1(X/Z) 式3
装置特性数据保存单元103的功能为保存相对于立体显示面板107a的视角的3D串扰数据。图4示出3D串扰特性数据的示例。3D串扰特性数据的横轴表示视角θ,且纵轴表示3D串扰量。3D串扰量表示左眼图像(L图像)混合在右眼图像(R图像)中的比例(还示出反向混合的情况:R图像混合在L图像中的比例)。3D串扰特性数据根据立体显示面板107a的装置特性而为不同的值,并且该值可以基于立体显示面板107a的设计条件和制造条件而计算出。此外,即使通过利用用于3D串扰的评估装置测量立体显示面板107a也能够获得3D串扰特性数据。在这种情况下,期望不仅在作为立体显示面板107a的中心的X-轴原点处(参见图3的坐标系),而且在面板外部的指定的±X点(稍后将描述的图5的距离WP)进行计算或测量。下文,在说明书中,将通过使用3D串扰特性数据的曲线图进行说明。应当注意,为了便于说明,将基于X-轴原点的曲线图进行说明。
在立体图像显示装置11中,根据3D串扰特性数据,确定右眼区域、左眼区域和3D串扰观看空间。以示例的方式定义:观察者10可以正常地识别立体图像的3D串扰量的阈值为β2或更小,视角θ0至视角θ1的区域为右眼区域,视角θ2至视角θ4的区域为3D串扰观看空间,视角θ5至视角θ6的区域为左眼区域。
图5示出了这种情况的立体图像显示装置11中将右眼图像和左眼图像投影至观察者10的右眼和左眼的光学模型。在图5中,由于视角θ2至视角θ4的部分构成3D串扰观看空间,因此右眼区域70R和左眼区域70L与图86的右眼区域70R和左眼区域70L相比较窄。对于右眼55R,右眼区域70R是立体观看空间,左眼区域70L和左眼区域72L是反向立体观看空间,其他的区域为3D串扰观看空间。在图5中,记录了最佳观看距离OD、远观看距离FD、近观看距离ND、柱面透镜宽度L、像素宽度P、立体显示面板的中心像素的位置与两端像素的位置之间的宽度WP等。
作为另一示例,如果将3D串扰量的阈值定义为β1或更小,则基于图4,视角θ1至视角θ5的区域构成3D串扰观看空间,其他区域构成右眼区域和左眼区域。图6示出了这种情况的立体图像显示装置11的光学模型。在图6中,由于视角θ1至视角θ5的部分构成3D串扰观看空间,因此右眼区域70R和左眼区域70L相对于图5的右眼区域70R和左眼区域70L进一步变窄。对于右眼55R,如图5的情况,右眼区域70R为立体观看空间,左眼区域70L和左眼区域72L为反向立体观看空间,其他区域为3D为串扰观看空间。如上所述,示出了根据3D串扰特性数据来确定立体观看空间、反向立体观看空间和3D串扰观看空间。
可以通过立体图像显示装置11的光学测量和主观评估来确定3D串扰量的阈值。作为可以以光学方式测量3D串扰的装置,具有各种类型,诸如,锥光偏振仪型、角度仪类型以及傅立叶类型。可以通过利用这些类型的测量装置来测量相对于视角的亮度分布,并且可以通过下式4来计算3D串扰量(3DCT(θ))。
3DCT(θ)=(Y(LBRW)–Y(LBRB))/(Y(LWRB)–Y(LBRB)) 式4
此处应当注意,Y(LBRW)是在左眼图像是黑的且右眼图像是白的时的条件下的亮度,Y(LBRB)是在左眼图像是黑的且右眼图像是黑的时的条件下的亮度,且Y(LWRB)是在左眼图像是白的且右眼图像是黑的时的条件下的亮度。
当通过上述的测量装置中的任一测量装置测量时,定性结果没有大的差异。然而,由此获得的定量数值根据测量方式和装置规格而不同。比对典型的测量结果和主观立体区域评估结果,可以发现:当3D串扰量约为10%或更少时,可以实现立体视觉。该值可以用作上文所述的3D串扰量的阈值。
图7示出图6所示的区域80的放大图。Z-轴上的任意值Z1和Z2处的右眼区域70R的区域宽度、左眼区域72L的区域宽度和3D串扰观看空间的区域宽度是不同的。立体观看空间的区域宽度、反向立体观看空间的区域宽度和3D串扰观看空间的区域宽度根据在Z轴上的位置而改变。
此外,图8示出在Z-轴上的任意点Z1处的立体观看空间、反向立体观看空间、3D串扰观看空间的区域宽度与视角之间的关系图。关于右眼55R(作为基准),视角θ0至视角θ1的区域为反向立体观看空间,视角θ1至视角θ5的区域为3D串扰观看空间,视角θ5至视角θ6的区域为立体观看空间。此外,3D串扰量在视角θ3的位置处最大,根据图4,视角θ2至视角θ4的区域是3D串扰量为β2或更大的区域。
图像滤波器值计算单元104的功能为基于装置特性数据针对视角计算出适于立体图像显示的图像滤波器值。对于图像滤波器值,应用用于实施立体图像内容的图像数据的模糊处理(也称为平滑处理、低通滤波处理等)的滤波器形状。用于实施图像模糊处理的典型的滤波器形状可以是平均滤波器、中值滤波器、高斯滤波器等。在下面提供的示例中,将描述使用高斯滤波器的情况。
图9示出应用于立体图像内容的图像数据的高斯滤波器形状。图9示出了二维高斯滤波器形状,其中,X轴对应于图像数据的横轴方向,Y轴对应于图像数据的纵轴方向。由高斯分布函数的式4计算高斯滤波器。此处应当注意,方差σ2是任意值。当σ的值大时,高斯滤波器形状平缓且图像模糊处理的效果也增强。
【表达式1】
图像滤波器值是高斯滤波器的离散值。通过将利用式5计算出的值f(x,y)代入形成图像滤波器值的各个像素的位置(x,y)中,来计算图像滤波器值。
图10和图11示出由高斯滤波器生成的图像滤波器值的示例。如果图像滤波器的窗口宽度在X轴方向上的值为Wx且窗口宽度在Y轴方向上的值为Wy,则图10为图像滤波器的窗口宽度设为3×3像素(Wx=3,Wy=3)的情况,图11为图像滤波器的窗口宽度设为5×5像素(Wx=5,Wy=5)的情况。在下面的说明中,为了方便说明,窗口宽度定义为W(W=Wx=Wy)。如果图像滤波器的窗口宽度W很大,则图像模糊处理的效果也增强。
如上所述,当在图像模糊处理中使用高斯滤波器时,通过高斯分布函数的方差σ的值和图像滤波器的窗口宽度值W来确定图像滤波器值。因此,图像滤波器值计算单元104仅需要计算方差σ的值和图像滤波器的窗口宽度值W。此处应当注意,方差σ的值可以设为常数(例如,σ设置为1)且可以仅计算图像滤波器的窗口宽度值W。下文,作为基于装置特性数据计算相对于视角的图像滤波器值的示例,记载了将描述高斯分布函数的方差σ的值设为“1”且仅计算图像滤波器的窗口宽度值W的情况。
图12示出基于立体图像显示装置11的装置特性数据(参照图4)计算观察者的观察位置位于Z1时的、相对于视角θ的图像滤波器的窗口宽度值W(θ)的结果。在图12中,示出图4中描述的情况(3D串扰量的阈值设为β1)的图像滤波器的窗口宽度值W(θ)在反向立体观看空间θ0到θ1、立体观看空间θ5到θ6以及3D串扰观看空间θ1到θ5中为不同的值。
图13是示出相对于3D串扰量的CT-图像的生成、由3D串扰引起的对立体图像的影响、视角范围、观看空间名称(反向立体观看空间、3D串扰观看空间、立体观看空间)以及图像滤波器的窗口宽度值W(θ)的关系的表。下文,将参照图12和图13描述相对于反向立体观看空间θ0至θ1、立体观看空间θ5至θ6和3D串扰观看空间θ1至θ5的各个区域的、图像滤波器的窗口宽度值W(θ)。
将“1”代入立体观看空间θ5至θ6中的图像滤波器的窗口宽度值W(θ)中。当观察者处于立体观看空间中时,不会出现由3D串扰引起的CT-图像的影响。因此,可以正常地看见立体图像内容,使得不需要通过使用图像滤波器来进行模糊处理。当图像滤波器的窗口宽度值W(θ)为“1”时,即使通过使用高斯滤波器进行图像滤波处理,立体图像内容的图像数据也不改变。当然,为了减小图像滤波处理的计算量,可以代入用于中止图像滤波处理的执行的命令值,替代将“1”代入图像滤波器的窗口宽度值W(θ)中。
还将“1”代入反向立体观看空间θ0至θ1中的图像滤波器的窗口宽度值W(θ)中。在反向立体观看空间中,产生反向视觉的影响,在该反向视觉中,立体图像内容的视差值被反转并被显示。因此,在反向立体观看空间中,可以通过切换待显示的L图像和R图像,来克服反向视觉的影响。通过切换L图像和R图像,在反向立体观看空间θ0至θ1中如同在立体观看空间θ5至θ6的情况也可以正常地看见立体图像内容。
在3D串扰观看空间θ1至θ5中,根据3D串扰量细划分图像滤波器的窗口宽度值W(θ)。在3D串扰量为β1至β2(视角范围θ1至θ2)的范围中,生成轻微的CT-图像。因此,尽管观察者感到不适,但是能够看见立体图像。相对于此,在3D串扰量为β2或更大(视角范围θ2至θ3)的范围中,CT-图像的影响增大。因此,观察者几乎不可能看见立体图像。因此,需要根据CT-图像的影响程度来设定图像滤波器的窗口宽度值W(θ)。
具体地,从图4的装置特性数据中参照3D串扰量,且设定适于该3D串扰量的图像滤波器的窗口宽度值W(θ)。图12和图13所示的图像滤波器的窗口宽度值W(θ)限定为等于或小于在如下条件下计算的图像滤波器的窗口宽度值W(θ)时的窗口宽度值W1:在3D串扰量为β1或更大的情况下,将图像滤波器的窗口宽度值W(θ)设为任意限定的窗口宽度值W1或更小值;在3D串扰量为β2或更大的情况下,将图像滤波器的窗口宽度值W(θ)设为任意限定的视差值W2或更小值。
通常,通过针对多个观察者的主观评估,限定作为图像滤波器的窗口宽度值W(θ)的计算条件的所述窗口宽度值W1和W2。然而,也可以根据观察者的喜好设定该值。例如,立体图像显示装置(例如,观察者被进行了限定的移动装置)可以被设计成:当观察者第一次使用该移动装置时,可以根据该观察者的喜好来设定窗口宽度值W1和W2。如果图像滤波器的窗口宽度值W(θ)大,则图像模糊处理的效果增大。因此,由3D串扰引起的CT-图像的影响减轻,但是立体图像内容的图像质量下降。与此相反,如果图像滤波器的窗口宽度值W(θ)小,则图像模糊处理的效果减小。因此,可以保证立体图像内容的图像质量,但是不能减轻由3D串扰引起的CT-图像的影响。因此,期望的是,在用于限定窗口宽度值W1和W2的主观评估实验中,向评估者提示各种立体图像内容(不同视差值、对比度、亮度和色调的空间频率的立体图像内容),从而累计通过主观评价获得的结果。此外,为了提高立体图像显示的安全性,窗口宽度值W2可以设为稍微大于主观评估的累计值的值。在各种文献中示出了针对观察者的主观评估实验的结果,使得可以基于这些文献来限定窗口宽度值W1和W2。
关于在3D串扰观看空间中的图像滤波器的窗口宽度值W(θ),将在视角θ1处窗口宽度值为1的点、在视角θ2处窗口宽度值为W1的点、在作为3D串扰观看空间的中心位置的视角θ3处窗口宽度值为W2的点、在视角θ4处窗口宽度值为W1的点、以及在视角θ5处窗口宽度值为1的点通过插补法用线相互连接,以计算相对于各个视角θ的、图像滤波器的窗口宽度值W(θ)。关于用于将成组的点彼此之间插补的线,可以使用图12中的二次插补法(多项式插补)和图14中的线性插补法。此外,由于期望图像滤波器的窗口宽度值W(θ)为整数,因此小数值可以通过四舍五入而被近似为整数值。
虽然图12、图13和图14示出了3D串扰量的阈值β1、β2被设定作为图像滤波器的窗口宽度值W(θ)的计算条件的情况,但是3D串扰量的阈值不仅限于这两个。还可以设定更多的阈值。
图15和图16示出将新的阈值β3添加至3D串扰量的阈值β1和阈值β2中的情况。图15示出3D串扰特性数据,在阈值β1和阈值β2之间添加阈值β3。此处应当注意,对应于阈值β3的3D串扰特性数据的视角为θ7和θ8。图16示出相对于视角θ的、图像滤波器的窗口宽度值W(θ),将视角θ7和视角θ8处的窗口宽度值W3添加至图像滤波器的窗口宽度值W(θ)的计算条件中。关于图16示出的图像滤波器的窗口宽度值W(θ),除了新添加的窗口宽度值W3的点以外,将点组彼此之间通过插补法用线相互连接,以计算相对于各个视角θ的图像滤波器的窗口宽度值W(θ)。
作为另一示例,图17和图18示出将图4中示出的3D串扰量的阈值仅改变为阈值β1的情况。图17示出3D串扰特性数据,其中,对应于阈值β1的3D串扰特性数据的视角为θ1和θ5。图18示出相对于视角θ的图像滤波器的窗口宽度值W(θ),其中,图像滤波器的窗口宽度值W(θ)的计算条件仅为视角θ3处的窗口宽度值W2。因此,当将视角θ1处窗口宽度值为1的点、在视角θ3处窗口宽度值W2的点、以及在视角θ5处窗口宽度值为1的点通过插补法用线彼此连接时,如图18所示,图像滤波器的窗口宽度值W(θ)形成直线。
此外,虽然在上述例子中描述了用于计算观察者的观察位置位于Z1的位置处时的图像滤波器的窗口宽度值W(θ)的方法,但是上述计算方法不仅限于观察者的观察位置位于Z1的位置处的情况。当观察者位于其他位置(例如,Z2的位置)处时,也可以使用相同的计算方法。由此,图像滤波器值计算单元104通过由基于装置特性数据的阈值的计算条件来计算相对于视角的、图像滤波器的窗口宽度值W(θ),而计算出适于立体图像显示装置11的图像滤波器值。
此外,虽然上文描述了通过将正方形图像滤波器限定为W=Wx=Wy而使用方形图像滤波器的例子,但是Wy不一定是与Wx的值相同的值。由于在X-轴方向上明显出现由3D串扰引起的CT-图像的影响,因此也可以使用Wx>Wy的长方形图像滤波器。还可以根据立体图像内容的图像数据来改变Wy的值。
此外,上文描述了用于通过将高斯滤波器的方差限定为σ=1来计算图像滤波器的窗口宽度值W(θ)由此确定图像滤波器值的方法。然而,与此相反,还可以通过将图像滤波器的窗口宽度值W(θ)限定为常数(例如,20像素×20像素)来计算高斯滤波器的方差σ从而确定图像滤波器值。作为用于计算σ的方法,如图像滤波器的窗口宽度值W(θ)的情况,通过观察者的主观评估实验,确定对应于3D串扰量的阈值β1、β2的σ1、σ2,且基于σ1、σ2计算针对视角θ的方差σ(θ)。因此,随着3D串扰量变大,方差σ增大,从而使图像模糊效果增强。当然,还可以将高斯滤波器的方差σ和图像滤波器的窗口宽度值W限定为变量且通过计算这两个值来确定图形滤波器值。作为计算方法之一,首先将方差σ(θ)的值固定,计算图像滤波器的窗口宽度值W(θ),然后通过与上文相同的方法计算适于计算出的图像滤波器的窗口宽度值W(θ)的方差σ(θ)。
图像数据保存单元105的功能为保存或接收图像数据。图19示出保存在图像数据保存单元105中的图像数据的示例。在图19中,L图像和R图像被保存为立体图像内容的图像数据。L图像是投影至左眼的左眼图像,R图像是投影至右眼的右眼图像。LR图像(L图像和R图像)的各像素值中保持亮度值(RGB值),该LR图像被显示在立体显示面板107a上。
此外,LR图像的图像数据组可以保存在图像数据保存单元105中,预先利用各种图像滤波器值对LR图像进行图像处理。通过在立体图像显示处理时从图像数据保存单元105获得图像滤波处理后的图像数据,来缩短在立体图像显示处理时的图像滤波处理时间。
图像滤波处理单元106的功能为按照图像滤波器值计算单元104所计算出的图像滤波器值,来对保存在图像数据保存单元105中的图像数据实施图像滤波处理。在图像滤波处理中,对图像数据的各像素执行图像滤波器值的卷积。因此,从作为立体图像内容的图像数据的L图像和R图像中生成构成被执行图形滤波处理后的立体图像内容的图像数据的Lf图像和Rf图像。
立体显示面板单元107的功能为根据相对位置将执行了图像滤波处理的图像数据投影至右眼和左眼。立体显示面板单元107获得被执行了图像滤波处理的Lf图像和Rf图像,且通过由立体显示面板107a投影Lf图像和Rf图像来显示立体图像内容。
将通过参照图20来描述在根据第一示例性实施方式的立体图像显示装置11中使用的立体图像处理方法的流程图。
在步骤S101中,通过使用观察者位置测量单元101来测量观察者的观察位置。
在步骤S102中,通过使用相对位置计算单元102来计算观察者10的观察位置和立体显示面板107a的相对位置。在步骤S102中,计算将立体显示面板107a的中心位置作为原点时的观察者10的观察位置(在Z轴方向上的距离Zp和视角θp)作为相对位置。
在步骤S103中,从装置数据保存单元103中获得对应于在步骤S102中计算出的距离Zp和视角θp的3D串扰特性数据和3D串扰特性数据的阈值β1、β2(参照图4,作为一个示例)。此外,获得对应于3D串扰特性数据的阈值β1的图像滤波器窗口宽度最大值W1和对应于阈值β2的图像滤波器窗口宽度最大值W2(参照图13,作为一个示例)。
在步骤S104中,通过使用图像滤波器值计算单元104,基于在步骤S103中获得的3D串扰特性数据,计算相对于构成在步骤S102中计算出的相对位置的视角θp的、图像滤波器的窗口宽度值Wp。
作为一个示例,将参照图12描述计算方法。首先,根据在步骤S103中获得的3D串扰特性数据的阈值β1和β2,限定立体观看空间的视角范围θ5至θ6、反向立体观看空间的视角范围θ0至θ1、以及3D串扰观看空间的视角范围θ1至θ5。然后,将在立体观看空间的视角范围θ5至θ6、反向立体观看空间的视角范围θ0至θ1中的图像滤波器的窗口宽度值W(θ)设为1。然后,确定3D串扰观看空间的视角范围θ1至θ5中的图像滤波器的窗口宽度值W(θ)。具体地,将在视角θ1和视角θ5处图像滤波器的窗口宽度值为1的点、视角θ2和视角θ4处图像滤波器的窗口宽度值为W1的点、以及视角θ3图像滤波器的窗口宽度值为W2的点通过插补法用线连接,来确定3D串扰观看空间的视角范围θ1至θ5中的图像滤波器的窗口宽度值W(θ)。如上所述,在预先求出视角范围θ0至θ6中的图像滤波器的窗口宽度值W(θ)的基础上,计算相对于在步骤S102中计算出的作为相对位置的视角θp的、图像滤波器的窗口宽度值Wp。然后,通过应用用于实施图像模糊处理的任意的图像滤波器形状(高斯滤波器等),基于所计算出的图像滤波器窗口宽度值Wp计算图像滤波器值。
在步骤S105中,从图像数据保存单元105获得作为立体图像内容的图像数据(参照图19,作为一个示例)。
在步骤S106中,通过使用图像滤波处理单元106,按照在步骤S104中计算出的图像滤波器值,来对步骤S105中获得的图像数据实施图像滤波处理。在步骤S106的图像滤波处理中,对图像数据的各个像素执行图像滤波器值的卷积,以生成执行了图像滤波处理之后的图像数据。
在步骤S107中,通过使用立体显示面板单元107将在步骤S106中执行了图像滤波处理的图像数据显示在立体显示面板107a上。
在步骤S108中,设定是停止立体图像显示处理还是继续执行立体图像显示处理。当观察者关闭立体图像显示装置11的电源或观察者10指示中断立体图像显示时,停止立体图像显示处理。当不存在用于停止立体图像显示处理的事件时,继续执行立体图像显示处理。当在步骤S108中停止立体图像显示处理时,结束立体图像显示处理。当在步骤S108中继续执行立体图像显示处理时,该过程返回至步骤S101的处理,以重复执行步骤S101至步骤S108的处理。
如上所述,可以提供如下的立体图像显示装置和立体图像显示方法:利用该立体图像显示装置和立体图像显示方法,通过按照基于观察者10的观察位置和装置特性数据计算出的图像滤波器值对图像数据实施图像滤波处理,来减轻由3D串扰引起的CT-图像的影响,使得即使当观察者10的观察位置移动时观察者10也不会感到不适。
在流程图中,所描述的是以下的情况:在进行立体图像显示时,计算观察者10的观察位置和立体显示面板107a之间的相对位置,观察位置即为将立体显示面板107a的中心位置作为原点时的观察者10的观察位置(Z轴方向上的距离Zp和视角θp),且计算相对于视角θp的、图像滤波器窗口宽度值Wp,以对图像数据进行图像滤波处理。然而,可以通过预先准备利用图像滤波器的窗口宽度值Wp进行了图像滤波处理的图像数据组,来缩短执行立体图像显示时的计算时间。也可以预先准备使用多个图像滤波器的窗口宽度值W(θ)进行了图像滤波处理的图像数据组。
在这种情况下,在立体图像显示处理之前预先执行步骤S103至步骤S106的处理,且被执行了图像滤波处理的在视角范围θ0至θ6内的图像数据组被预先保存在图像数据保存单元105中。在进行立体图像显示处理时,在步骤S102中计算作为相对位置的视角θp后,从保存在图像数据保存单元105中的在视角范围θ0至θ6内的图像数据组中获得关于相对位置视角θp的图像数据。然后,与步骤S107同样地,将所获得的图像数据作为立体图像显示在立体显示面板107a上。这使得可以极大地缩短图像滤波器值的计算处理和图像数据的图像滤波处理的计算时间,这在观察者10的观察位置频繁变化的情况下是优选的。
然而,为了实现立体图像显示处理方法,必要条件是可以在执行立体图像显示处理之前获得图像数据且图像数据保存单元105的记录容量较大。因此,可以根据立体图像显示装置11的使用状态来选择立体图像显示处理方法。
在第一示例性实施方式的外观(图2)中,示出了图像处理单元151、观察者位置测量单元101、图像数据保存单元105和立体显示面板单元107存在于单个立体图像显示装置11中的情况。然而,可以通过根据应用使这些单元分离并且将所分离的各个装置整合,来实现立体图像显示装置11的功能。
图21示出将立体图像显示装置11分离为三个装置的示例。第一个装置是立体显示面板单元107,第二个装置是将观察者位置测量单元101、图像处理单元151、装置特性数据保存单元103整合而获得的图像处理装置160。并且第三个装置是图像数据保存单元105。可以通过利用图像输入/输出电缆163(诸如HDMI(注册商标)或DVI)、数据通信电缆(诸如USB或LAN)、或无线通信(诸如W-LAN)连接这三个装置并且接收各种数据,来实现立体图像显示装置11的功能。
图22示出图像处理装置160的方框图。图像处理装置160包括:观察者位置测量单元101、相对位置计算单元102、装置特性数据保存单元103、图像滤波器值计算单元104、图像滤波处理单元106、图像数据接收单元161和图像数据发送单元162。此处应当注意,观察者位置测量单元101、相对位置计算单元102、装置特性数据保存单元103、图像滤波器值计算单元104、图像滤波处理单元106具有与上述立体图像处理装置11的各结构元件相同的功能。
图像数据接收单元161的功能为接收从设置在图像处理装置160的外部的图像数据保存单元105发送的图像数据,并将该图像数据发送到图像滤波处理单元106。此外,图像数据发送单元162的功能是将从图像滤波处理单元106发送的图像数据发送到立体显示面板单元107。图像数据接收单元161和图像数据发送单元162的示例为用于通过HDMI、DVI电缆等将图像数据发送至图像处理装置160或从图像处理装置160接收图像数据的连接端子和数据传输装置。
虽然上文描述了将图像显示装置分离为三个装置的情况,但是分离的形式不仅限于该情况。第一示例性实施方式的特征是图像处理单元151,该图像处理单元151减轻由3D串扰生成的CT-图像产生的影响。因此,可以将图像处理单元151和观察者位置测量单元101组合从而将其设置为上述的单独的图像处理装置160。
在第一示例性实施方式的立体图像显示装置11的光学模型图(图5)中示出了从立体显示面板107a投影两个不同视点的图像(L图像、R图像)的例子。然而,视点的数量不限于两个。可以从立体显示面板投影多视点图像。在投影多视点图像的情况下,可以对观察者的双眼所观察的所有相邻视点的图像进行图像滤波处理,或可以通过仅选择其间生成有反向视觉的图像来进行图像滤波处理。为了从这些类型的处理中选择图像滤波处理,可以根据立体图像显示装置的视点的数量或者相邻视点的图像之间的视差量的大小来选择处理类型。
作为多视点的示例,图23示出了八视点立体图像显示装置。在立体观看空间内的70V1图像与70V2图像之间、70V2图像与70V3图像之间、70V3图像与70V4图像之间、……、70V7图像与70V8图像之间这七组图像,以及构成反向立体观看空间的72V1图像与70V8图像之间、71V8图像与70V1图像之间这两组图像中生成3D串扰。通常,在八视点中使用的图像为将一定程度的运动视差考虑在内的图像组,因此相邻视点的图像之间的视差量小的内容较多。当视差量较小时,由3D串扰引起的CT-图像的影响减弱。因此,在这种情况下,期望仅在观察者的左眼或右眼位于反向立体观看空间内时进行图像滤波处理,而对立体观看空间内的七组图像不进行图像滤波处理。
然而,即使在八视点的情况下,期望的是:即使在对立体观看空间内的相邻视点的图像之间的视差量大的内容进行观察的情况下,或在相邻视点的图像之间的视差量不太大的情况下,也根据观察者的观察位置,在相邻视点的图像之间进行图像滤波处理。尤其是,根据观察者的观察距离,发生以下情况:观察者不观察第一相邻视点的图像(诸如左眼70V4图像和右眼70V5图像),而是观察第二相邻视点的图像(诸如左眼70V4图像和右眼70V6图像)、第三相邻视点的图像或第四相邻视点的图像。在这样的状态下,当序号随着第二相邻视点、第三相邻视点和第四相邻视点而变大时,被输入到双眼之间的图像的视差量变大。因此,对3D串扰的影响增大。如所述,可以通过测量观察者的观察位置来检测哪个视点图像位于观察者的左眼位置或右眼中。因此,可以仅对作为目标序号的视点的图像进行图像滤波处理。
图24示出了作为多视点的另一示例的四视点立体图像显示装置。在立体观看空间内的70V1图像和70V2图像之间、70V2图像和70V3图像之间、70V3图像和70V4图像之间这三组图像、以及构成反向立体观看空间的72V1图像和70V4图像之间、71V4图像和70V1图像之间这两组图像中生成3D串扰。通常,关于四视点的图像,视点间的视差量大的内容也很多,当在视点之间移位时发生所谓的翻转效果。因此,在这种情况下,部分地为了翻转抑制效果,期望当观察者的左眼在3D串扰观看空间内时对投影到左眼的图像数据进行图像滤波处理,当观察者的右眼在3D串扰观看空间内时对投影到右眼的图像数据进行图像滤波处理。然而,即使在四视点的情况下,当其内容具有小的视差量时,这也不适用。在这种情况下,更不用说仅对反向立体观看空间进行图像滤波处理。
作为另一示例,在观察者的左眼在70V1图像和70V2图像之间的3D串扰观看空间中且右眼在70V3图像的立体观看空间中的情况下,仅对70V1图像和70V2图像进行图像滤波处理以使图像变模糊,以便减轻由3D串扰引起的CT-图像的影响。当进行该图像滤波处理时,投影至观察者的左眼的被执行了图像滤波处理的70V1图像和70V2图像通过图像滤波处理而变模糊,但投影至观察者的右眼的70V3图像未变模糊。因此,甚至在通过图像滤波处理减轻由3D串扰引起的CT-图像的影响的情况下,在观察者的一只眼睛中不发生图像模糊。因此,可以在保持图像质量的状态下观看立体图像内容。
应当注意,在图23和/或图24中,示出了视点1的区域70V1、视点2的区域70V2、视点3的区域70V3、视点4的区域70V4、视点5的区域70V5、视点6的区域70V6、视点7的区域70V7、视点8的区域70V8、视点1的区域72V1、视点8的区域71V8、视点4的区域71V4、视点1的像素4V1、视点2的像素4V2、视点3的像素4V3、视点4的像素4V4、视点5的像素4V5、视点6的像素4V6、视点7的像素4V7、视点8的像素4V8。
此外,当然的是,上述的图像滤波处理不仅可以应用于多视点方式,还可以应用于各种裸眼立体型,诸如整体方式和超多视点方式。此处应当注意,在理想的整体方式中,不存在反向立体观看空间。然而,即使在这种情况下,当相邻视点之间的视差量比规定值大时,在立体观看空间内的相邻视点的图像之间进行图像滤波处理是有效的。
换句话说,根据第一示例性实施方式的立体图像显示装置包括:观察者位置测量单元,该观察者位置测量单元测量观察者的观察位置;相对位置计算单元,该相对位置计算单元计算观察者的观察位置和立体显示面板的位置之间的相对位置;装置特性数据保存单元,该装置特性数据保存单元保存立体显示面板的相对于视角的装置特性数据;图像滤波器值计算单元,该图像滤波器值计算单元根据装置特性数据针对该视角计算适于立体图像显示的图像滤波器值;图像数据保存单元,该图像数据保存单元保存或接收图像数据;图像滤波处理单元,该图像滤波处理单元根据图像滤波器值对图像数据进行图像滤波处理;以及立体显示面板单元,该立体显示面板单元根据相对位置将执行了图像滤波处理的图像数据投影到右眼和左眼中。
第一示例性实施方式可以通过提供如下的立体图像显示装置和立体图像处理方法,来克服所述问题,利用该立体图像显示装置和立体图像处理方法,通过根据基于观察者的观察位置和装置特性数据计算出的图像滤波器值,对图像数据进行图像滤波处理,来减轻由3D串扰引起的CT-图像的影响,使得即使当观察者的观察位置移动时,观察者也不会感到不适。
作为根据本发明的示例性优点,本发明具有提供如下的立体图像显示装置和立体图像处理方法的效果,利用该立体图像显示装置和立体图像处理方法,可以减轻由3D串扰引起的CT-图像的影响,使得即使当观察者的观察位置移动时,观察者也不会感到不适。
(第二示例性实施方式)
第二示例性实施方式的示例性目的是提供如下的立体图像显示装置和立体图像处理方法,利用该立体图像显示装置和立体图像处理方法,即使在通过计算针对立体图像内容的每个图像数据不同的图像滤波器值从而通过图像滤波处理使立体图像内容的图像数据变模糊的情况下,通过抑制观察者所观看的立体图像内容的图像质量下降的图像滤波处理,来减轻由3D串扰引起的CT-图像的影响,使得观察者不会感到不适。
图25示出立体图像显示装置12的方框图。立体图像显示装置12包括:观察者位置测量单元101;相对位置计算单元102;装置特性数据保存单元103;图像滤波器值计算单元104;图像数据保存单元105;图像滤波处理单元106;以及立体显示面板单元107。此外,集成了相对位置计算单元102、图像滤波器值计算单元104和图像滤波处理单元106的处理单元被称为图像处理单元152。
下文,将描述包括在立体图像显示装置12中的各单元的功能。观察者位置测量单元101、相对位置计算单元102、装置特性数据保存单元103、图像数据保存单元105和立体显示面板单元107的功能与第一示例性实施方式的这些单元的功能相同。
图像滤波器值计算单元104的功能为基于装置特性数据针对视角计算适于立体图像显示的图像滤波器值。在第一示例性实施方式中,对于作为立体图像内容的图像数据的L图像和R图像,计算相同的图像滤波器值。然而,在第二示例性实施方式中,计算对于立体图像内容的每个图像数据不同的图像滤波器值。
然而,所描述的是将高斯滤波器的方差σ限定为常数,且通过图像滤波器值计算单元104计算图像滤波器的窗口宽度值W的例子。图26示出了保存在装置特性数据保存单元103中的3D装置特性数据。图26A示出了相对于视角θ的左眼图像和右眼图像的亮度特性数据。图26B示出了相对于视角θ的3D串扰特性数据,该3D串扰特性数据是基于亮度特性数据使用式4计算出的。应当注意,在装置特性数据中可以只保存3D串扰特性数据。
图27示出了基于3D串扰特性数据(图26B)计算立体图像内容的R图像中的相对于视角θ的图像滤波器的窗口宽度WR(θ)的结果。此外,图28示出了基于3D串扰特性数据(图26B)计算立体图像内容的L图像中的相对于视角θ的图像滤波器的窗口宽度WL(θ)的结果。在图27和图28中,还示出了图26A的亮度特性数据,以示出图像滤波器的窗口宽度值与亮度特性数据(或3D串扰特性数据)相对应。
图29是示出关于对于3D串扰量的CT-图像的生成、由3D串扰引起的对立体图像的影响、视角范围、观看空间名称(反向立体观看空间、3D串扰观看空间、立体观看空间)、以及L图像中的图像滤波器的窗口宽度值WL(θ)、R图像中的图像滤波器的窗口宽度值WR(θ)的关系的表。
下文,将参照图27、图28和图29描述针对立体观看空间θ5至θ6、反向立体观看空间θ0至θ1和3D串扰观看空间θ1至θ5的各区域在L图像中的图像滤波器窗口宽度值WL(θ)和R图像中的图像滤波器的窗口宽度值WR(θ)。图29中示出的立体观看空间θ5至θ6和反向立体观看空间θ0至θ1是在以右眼为基准的情况下的观看空间名称。当以左眼为基准时,立体观看区域为区域θ0至θ1,反向立体观看空间为区域θ5至θ6。因此,为了方便说明,立体观看空间和反向立体观看空间可以被限定为非3D串扰区域。
如同第一示例性实施方式的情况,将“1”代入立体观看空间θ5至θ6和反向立体观看空间θ0至θ1中的图像滤波器的窗口宽度值WL(θ)和WR(θ)中。当然,为了减小图像滤波处理的计算量,可以代入用于停止图像滤波处理的执行的命令值,替代将“1”代入图像滤波器的窗口宽度值中。
在3D串扰观看空间θ1至θ5中,根据3D串扰量划分图像滤波器的窗口宽度值WL(θ)和WR(θ)。在3D串扰量是β1至β2(视角范围θ1至θ2、θ4至θ5)的范围中,生成轻微的CT-图像。因此,尽管观察者感到不适,但是能够看见立体图像。相对于此,在3D串扰量为β2或更大(视角范围θ2至θ3、θ3至θ4)的范围中,CT-图像的影响增大。因此,观察者几乎不可能看见立体图像。因此,需要根据CT-图像的影响程度来设定图像滤波器的窗口宽度值WL(θ)和WR(θ)。
具体地,从图26B的3D装置特性数据中参照3D串扰量,且设定适于该量的图像滤波器的窗口宽度值WL(θ)和WR(θ)。根据图26B的3D装置特性数据,在视角范围θ1至θ2中,投影至观察者的图像数据的主体是L图像,其中混入少量R图像的分量。因此,仅对R图像进行图像滤波处理,以使R图像稍微模糊,为了保证L图像的图像质量,在该状态下保存L图像原状而不对L图像进行图像滤波处理。因此,以对应于Y(LWRB)的曲线的方式,将从“1”到窗口宽度值W1的值代入图27的R图像中的图像滤波器的窗口宽度值WR(θ)中,并且将值“1”代入图28的L图像中的图像滤波器的窗口宽度值WL(θ)中。
在视角范围θ2至θ3中投影至观察者的图像数据的主体是L图像,其中R图像的分量大量混入,使得L图像和R图像的图像分量变得几乎相等。因此,对L图像和R图像进行图像滤波处理以使待保存的图像变模糊。因此,将窗口宽度值W1和窗口宽度值W2的值代入图27的R图像中的图像滤波器的窗口宽度值WR(θ)和图28的L图像中的图像滤波器的窗口宽度值WL(θ)。
在视角范围θ3至θ4中投影至观察者的图像数据的主体是R图像,其中L图像的分量大量混入,使得L图像和R图像的图像分量变得几乎相等。因此,对L图像和R图像进行图像滤波处理以使待保存的图像变模糊。因此,将窗口宽度值W1和窗口宽度值W2的值代入图27的R图像中的图像滤波器的窗口宽度值WR(θ)和图28的L图像中的图像滤波器的窗口宽度值WL(θ)中。
在视角范围θ4至θ5中投影至观察者的图像数据的主体是R图像,其中L图像的分量少量混入。因此,仅对L图像进行图像滤波处理,以使L图像稍微模糊,为了保证R图像的图像质量,在该状态下保存R图像原状而不对R图像进行图像滤波处理。因此,将窗口宽度值“1”代入图27的R图像中的图像滤波器的窗口宽度值WR(θ),并且以与Y(LBRW)的曲线对应的方式,将从“1”到W1的值代入图28的L图像中的图像滤波器的窗口宽度值WL(θ)。应当注意,如第一示例性实施方式的情况,基于对观察者的主观评估的结果,确定作为图像滤波器的窗口宽度值WL(θ)和窗口宽度值WR(θ)的计算条件的窗口宽度值W1和窗口宽度值W2。
关于在R图像的3D串扰观看空间中的图像滤波器的窗口宽度值WR(θ),将在视角θ1处窗口宽度值为1的点、在视角θ2处窗口宽度值为W1的点、在作为3D串扰观看空间的中心位置的视角θ3处窗口宽度值为W2的点、在视角θ4处窗口宽度值为W1的点、在视角θ4处窗口宽度值为1的点、以及在视角θ5处窗口宽度值为1的点通过插补法用线相互连接,以计算对于各个视角θ的、图像滤波器的窗口宽度值WR(θ)。对于L图像,也通过使用相同的方法计算相对于视角θ的、图像滤波器的窗口宽度值WL(θ)。
在上述例子下,将窗口宽度值W1和窗口宽度值W2代入在视角范围θ2至θ3中L图像中的图像滤波器的窗口宽度值WL(θ)。然而,为了保证图像数据的图像质量,还可以将值“1”代入图像滤波器的窗口宽度值WL(θ),保存L图像原状而不对L图像进行图像滤波处理。这使得即使用于减轻3D串扰的影响的效果减弱,也可以在视角范围θ2至θ3中保证图像质量的状态下显示立体图像内容。图30示出在这种情况下针对R图像的视角的图像滤波器的窗口宽度值WR(θ),图31示出针对L图像的视角的图像滤波器的窗口宽度值WL(θ)。
此外,虽然上文描述了通过参照亮度特性数据或3D串扰特性数据来计算图像滤波器的窗口宽度值WL(θ)和WR(θ)的例子,但是可以通过除了考虑特性数据还分别考虑观察者的右眼和左眼的相对位置,来计算图像滤波器的窗口宽度值WL(θ)和WR(θ)。当仅参照3D串扰特性数据而不分别考虑观察者的右眼和左眼的相对位置时,优先进行用于减轻由3D串扰引起的CT-图像的影响的处理。因此,对基于右眼和左眼的各自的观察位置计算出的图像滤波器的窗口宽度值进行比较,较大的窗口宽度值被应用为图像滤波器值。
图32示出计算在这种情况下的图像滤波器的窗口宽度值WL(θ)和WR(θ)的示例。在观察者的左眼处于视角范围θ1至θ2(3D串扰观看空间)中且右眼处于视角范围θ5至θ6(立体观看空间)中的情况下,对R图像进行图像模糊,以减轻由3D串扰引起的CT-图像的影响。在观察者的右眼中减轻由3D串扰引起的CT-图像的影响,以L图像为主体的的图像数据被投影至观察者。然而,图像模糊且图像质量下降的R图像被投影至观察者的右眼中。为了克服这种问题,通过不仅考虑3D串扰特性数据还考虑观察者的双眼的相对位置,来计算图像滤波器值。
例如,在观察者的左眼处于视角范围θ1至θ2(3D串扰观看空间)中且右眼处于视角范围θ5至θ6(立体观看空间)中的情况下,考虑右眼的相对位置,对R图像不进行图像滤波处理,而是对L图像进行图形滤波处理,以仅使L图像变模糊,由此来减轻由3D串扰引起的CT-图像的影响。
图32是示出通过考虑观察者的双眼的相对位置来计算图像滤波器值的条件的表。
当观察者的左眼处于3D串扰观看空间中且右眼处于立体观看空间中时,为了仅使L图像变模糊,将R图像的窗口宽度值WR(θ)设置为“1”,并以使L图像的窗口宽度值WL(θ)为1至W5的值的方式计算图像滤波器值。
此处应当注意,W5的值被设定为比图27和图28中示出的W2的值大。这是因为:考虑到双眼的相对位置,即使当图像为3D串扰图像(其中L图像的亮度值高于R图像)时,通过仅使具有高亮度值的L图像变模糊,来减轻由3D串扰引起的CT-图像的影响。
当观察者的左眼处于3D串扰观看空间中且右眼处于反向立体观看空间中时,为了仅使R图像变模糊,将L图像的窗口宽度值WL(θ)设为“1”,并且以使R图像的窗口宽度值WR(θ)为值1至W5的方式计算图像滤波器值。
当观察者的左眼处于立体观看空间中且右眼处于3D串扰观看空间中时,为了仅使R图像变模糊,将L图像的窗口宽度值WL(θ)设为“1”,并且以使R图像的窗口宽度值WR(θ)为值1至W5的方式计算图像滤波器值。
当观察者的左眼处于反向立体观看空间中且右眼处于3D串扰观看空间中时,为了仅使L图像变模糊,将R图像的窗口宽度值WR(θ)设为“1”,并且以使L图像的窗口宽度值WL(θ)为值1至W5的方式计算图像滤波器值。
当观察者的左眼和右眼处于3D串扰观看空间中时,为了选择L图像和R图像中的任一图像以进行图像模糊,以下面的方式计算图像滤波器值:R图像的窗口宽度值WR(θ)和L图像的窗口宽度值WL(θ)中的一个窗口宽度值为值1至W5。
图33示出在图32的条件表中针对R图像的视角θ的图像滤波器的窗口宽度值WR(θ),图34示出针对L图像的视角θ的图像滤波器的窗口宽度值WL(θ)。
在即使观察者的左眼处于视角范围θ1至θ3中、右眼处于立体观看空间且R图像被投影至右眼的情况下,R图像保存原状且仅对L图像进行图像模糊处理。在视角范围θ1至θ3中,投影以L图像为主体的图像。因此,通过使L图像的图像滤波器窗口宽度值WL(θ)变宽而提高图像模糊效果,来减轻由3D串扰引起的CT-图像的影响。
此处应当注意,通常,如在第一示例性实施方式的情况,通过对观察者的主观评估,确定在图33的视角θ4处和在图34中的视角θ2处的图像滤波器的窗口宽度值W4以及在图33的视角θ5处和在图34中的视角θ1处的图像滤波器的窗口宽度值W5。作为除了主观评估之外的确定方法,可以通过参照图像滤波器的窗口宽度值W1和W2,根据式8和式9计算图像滤波器的窗口宽度值W4和W5。
W4=W2+W2–W1 式8
W5=W2+W2–1 式9
图像滤波处理单元106的功能为按照由图像滤波器值计算单元104计算出的图像滤波器值对保存在图像数据保存单元105中的图像数据进行图像滤波处理。图35示出通过3D串扰而混合有L图像和R图像的CT-图像的图像显示状态。图36示出通过采用第一示例性实施方式的图像滤波处理对L图像和R图像进行图像滤波处理,来减轻由3D串扰引起的CT-图像的影响的图像显示状态。图37示出通过采用第二示例性实施方式的图像滤波处理仅对R图像进行图像滤波处理,来减轻由3D串扰引起的CT-图像的影响的图像显示状态。
在进行第一示例性实施方式的图像滤波处理的情况下,随着由图像滤波处理产生的模糊效果变大,可以减轻由3D串扰引起的CT-图像的影响。然而,立体图像内容的图像质量下降。然而,在应用了第二示例性实施方式的图像滤波处理的情况下,即使当由图像滤波处理产生的模糊效果变大,立体图像内容的图像质量的下降也较小。因此,可以将由3D串扰引起的CT-图像的影响减轻了的图像数据投影至观察者。
如上所述,可以提供如下的立体图像显示装置,利用该立体图像显示装置,通过对于立体图像内容的每个图像数据计算图像滤波器值且应用不同的图像滤波器值,而在保持立体图像内容的图像数据中的一个图像数据的图像质量的状态下减轻由3D串扰引起的CT-图像的影响,使得即使当观察者的观察位置移动时,观察者也不会感到不适。
如在第一示例性实施方式的情况,第二示例性实施方式可以适用于各种裸眼型立体图像显示装置(诸如多视点方式和整体方式)。当然,可以将第二示例性实施方式的图像处理单元152提供为单独的图像处理单元,且可通过将图像处理单元152与立体显示面板单元107等结合来实现立体图像显示装置的功能。
将参照图38描述在根据第二示例性实施方式的立体图像显示装置12中使用的立体图像处理方法的流程图。
步骤S201至步骤S203与第一示例性实施方式中的这些步骤相同。
在步骤S204中,通过利用图像滤波器值计算单元104基于在步骤S202中获得的观察者的双眼之间的位置关系来判断用于计算图像滤波器值的条件。关于计算条件,参照图32的计算条件表,判断要进行图像滤波处理的是L图像还是R图像。
在步骤S205中,通过使用图像滤波器值计算单元104,参照步骤S204的判断结果,基于在步骤S203中获得的3D串扰特性数据,计算针对在步骤S102中计算出的构成相对位置的视角θp的、图像滤波器窗口宽度值WR、WL。
将参照图33描述计算方法的示例。首先,基于在步骤S203中获得的3D串扰特性数据的阈值β1和β2,确定立体观看空间的视角范围θ5至θ6、反向立体观看空间的视角范围θ0至θ1和3D串扰观看空间的视角范围θ1至θ5。然后,将立体观看空间的视角范围θ5至θ6、反向立体观看空间的视角范围θ0至θ1中的图像滤波器的窗口宽度值W设为1。然后,确定3D串扰观看空间的视角范围θ1至θ5中的图像滤波器的窗口宽度值W(θ)。具体地,通过插补法将在视角θ1处图像滤波器的窗口宽度值为1的点、在视角θ2处图像滤波器的窗口宽度值为W1的点、在视角θ3处图像滤波器的窗口宽度值为W2的点、在视角θ4处图像滤波器的窗口宽度值为W4的点、以及在视角θ5处图像滤波器的窗口宽度值为W5的点借助插补法用线连接,来确定视角范围θ1至视角范围θ5中针对R图像的图像滤波器的窗口宽度值WR(θ)。以相同的方式确定视角范围θ1至视角范围θ5中的针对L图像的图像滤波器的窗口宽度值WL(θ)。如上所述,预先求出视角范围θ0至视角范围θ6中的图像滤波器的窗口宽度值WR(θ)、WL(θ),然后计算针对在步骤S202中计算出的构成相对位置的视角θp的、图像滤波器的窗口宽度值WR、WL。此后,通过参照步骤S204的判断结果,将图像滤波器的窗口宽度值WR、WL中的任一窗口宽度值改变为“1”。
在步骤S205至步骤S209中,进行与第一示例性实施方式的步骤S104至步骤S108相同的处理。
由此,可以提供如下的立体图像显示装置和立体图像显示方法,利用该立体图像显示装置和立体图像显示方法,通过以上述方式针对立体图像内容的每个图像数据计算图像滤波器值,即使当通过图像滤波处理使立体图像内容的图像数据变模糊时,也能实现用于减小观察者所看见的立体图像内容的图像质量的下降的图像滤波处理,从而减轻由3D串扰引起的CT-图像的影响,使得观察者不会感到不适。
换句话说,第二示例性实施方式的立体图像显示装置包括:观察者位置测量单元,该观察者位置测量单元测量观察者的观察位置;相对位置计算单元,该相对位置计算单元计算观察者的观察位置和立体显示面板的位置之间的相对位置;装置特性数据保存单元,该装置特性数据保存单元保存针对立体显示面板的视角的装置特性数据;图像滤波器值计算单元,该图像滤波器值计算单元针对每个图像数据,根据装置特性数据针对视角计算适于立体图像显示的图像滤波器值;图像数据保存单元,该图像数据保存单元保存或接收图像数据;图像滤波处理单元,该图像滤波处理单元根据图像滤波器值对图像数据进行图像滤波处理;以及立体显示面板单元,该立体显示面板单元根据相对位置将执行了图像滤波处理的图像数据投影到右眼和左眼。
第二示例性实施方式可以通过提供如下的立体图像显示装置来克服所述问题,利用该立体图像显示装置,通过针对立体图像内容的每个图像数据计算图像滤波器值且应用不同的图像滤波器值,而在保证立体图像内容的图像数据中的一个图像数据的图像质量的状态下减轻由3D串扰引起的CT-图像的影响,使得即使当观察者的观察位置移动时,观察者也不会感到不适。即,仅对图像数据中的一个图像数据进行图像滤波处理,以保持其中一个图像数据的图像质量。
(第三示例性实施方式)
第三示例性实施方式的示例性目的是提供如下的立体图像显示装置和立体图像处理方法,利用该立体图像显示装置和立体图像处理方法,通过仅对出现由3D串扰引起的CT-图像的影响的图像区域进行图像滤波处理,使得在其他图像区域中不具有通过图像滤波处理而生成的图像模糊的状态下减轻由3D串扰引起的CT-图像的影响,使得观察者不会感到不适。
图39示出立体图像显示装置13的方框图。立体图像显示装置13包括:观察者位置测量单元101;相对位置计算单元102;装置特性数据保存单元103;图像滤波器值计算单元104;图像数据保存单元105;图像滤波处理单元106;立体显示面板单元107;以及3D串扰图像区域计算单元110。此外,集成了相对位置计算单元102、图像滤波器值计算单元104、图像滤波处理单元106和3D串扰图像区域计算单元110的处理单元被称为图像处理单元153。
下文,将描述包括在立体图像显示装置13中的各单元的功能。观察者位置测量单元101、相对位置计算单元102、装置特性数据保存单元103、图像滤波器值计算单元104、图像数据保存单元105、立体显示面板单元107的功能与第一示例性实施方式的这些单元的功能相同。
3D串扰图像区域计算单元110的功能为计算出现由3D串扰引起的CT-图像的图像区域。出现由3D串扰引起的CT-图像的图像区域根据观察者的观察位置和立体显示面板之间的相对位置而改变。基于保存在装置特性数据保存单元103中的3D串扰特性数据和光学模型,来确定在任意相对位置处出现CT-图像的图像区域。
图40示出在任意相对位置处出现CT-图像的图像区域的示例。图40示出在3D串扰观看空间内相对位置在X轴方向(参照图3)和Z轴方向上移动时投影至该相对位置的图像显示状态。当相对位置在X轴方向上移动时,出现CT-图像的图像区域也相应地在X轴方向上移动。此外,当相对位置在Z轴方向上移动时,出现CT-图像的图像区域相应地扩大。
图像滤波处理单元106按照由3D串扰图像区域计算单元110计算出的图像区域进行图像滤波处理。基于从相对位置计算单元102获得的观察者的右眼和左眼的位置信息和由3D串扰图像区域计算单元110计算出的图像区域信息,来判断是向投影至观察者的右眼和左眼的图像数据的任意图像区域投影R图像还是投影L图像、还是投影由3D串扰引起的CT-图像(下文描述为CT-图像)。
图41示出关于对应于投影至观察者的右眼和左眼的图像类型(L图像、R图像和CT-图像)的图像滤波处理的执行判断表。L图像被投影至左眼且R图像被投影至右眼的图像区域保持原状而不应用图像滤波处理。在R图像被投影至右眼且CT-图像被投影至左眼的图像区域中,仅对L图像应用图像滤波处理。R图像被投影至右眼和左眼的图像区域以及L图像被投影至右眼和左眼的图像区域保持原状而不应用图像滤波处理。在CT-图像被投影至右眼且L图像被投影至左眼的图像区域中,仅对R图像应用图像滤波处理。在L图像被投影至右眼且R图像被投影至左眼的图像区域中,将R图像和L图像交换而不应用图像滤波处理。在L图像被投影至右眼且CT-图像被投影至左眼的情况下,仅对R图像应用图像滤波处理,且将R图像和L图像交换。在CT-图像被投影至右眼且R图像被投影至左眼的图像区域中,仅对L图像应用图像滤波处理,且将R图像和L图像交换。在CT-图像被投影至右眼和左眼的图像区域中,对L图像和R图像应用图像滤波处理。此外,在CT-图像被投影至右眼和左眼的图像区域中,仅对混入CT-图像中的图像分量较小的图像(R图像或L图像)应用图像滤波处理。
图42示出被投影至观察者的右眼和左眼的图像显示状态的示例。在图42中,投影至观察者的左眼的是在图像的左侧范围为L图像、在中间范围为CT-图像且在右侧范围为R图像的图像数据。并且,投影至观察者的右眼的是在图像的右侧范围为R图像、在中间范围为CT-图像且在左侧范围为L图像的图像数据。
图43A示出与图42的图像显示状态相同的图像显示状态。图43B示出应用于图42的图像数据的图像滤波处理内容,图43C示出在进行图像滤波处理后投影至观察者的图像显示状态。
在图像的左侧范围(图43B的A区域)中,L图像被投影至观察者的左眼且R图像被投影至右眼。因此,不进行图像滤波处理。在图像的左侧中心区域(图43B的B区域)中,L图像被投影至观察者的左眼且CT-图像被投影至右眼。因此,对R图像进行图像滤波处理。在图像的中心范围(图43B的C区域)中,CT-图像被投影至观察者的右眼和左眼。因此对L图像和R图像应用图像滤波处理。在图像的右侧中心区域(图43B的D区域)中,CT-图像被投影至观察者的左眼且L图像被投影至右眼,因此,对R图像进行图像滤波处理后,将L图像和R图像交换。在图像的右侧范围(图43B的E区域)中,R图像被投影至左眼且L图像被投影至右眼。因此,将L图像和R图像交换。
当进行上述图像滤波处理时,L图像的中心范围(图43C的C区域)上变模糊的图像数据被投影至观察者的左眼,且R图像的左侧中心范围、中心范围和右侧中心范围(图43C的B区域、C区域和D区域)上变模糊的图像数据被投影至观察者的右眼。因此,通过仅在出现由3D串扰引起的CT-图像的影响的图像区域中应用图像滤波处理,能够在其他图像区域中在没有因图像滤波处理产生的图像模糊的立体图像,减轻由3D串扰引起的CT-图像的影响。
此外,在实际立体显示面板107a中,在作为光电模块的显示面板2和作为光分离模块的柱状透镜3之间的位置关系中,生成指定精确度内的位置偏移(例如,参照图5)。在这种情况下,出现如图44中示出的倾斜分量的3D串扰图像区域。
图45A至图45C示出在光电模块和光分离模块之间生成旋转移位(rotaryshift)的情况下的图像显示状态和3D串扰特性数据之间的关系图。图45A示出了出现倾斜分量的3D串扰图像区域的图像显示状态。图45B示出在图45A的y1线上的位置上的、相对于X轴方向的位置的3D串扰特性数据。图45C示出在图45A的y2线上的位置上的、相对于X轴方向的位置的3D串扰特性数据。从图45B和图45C可以看出,根据Y轴方向的位置,3D串扰特性数据也发生改变。
为了计算图像滤波器值,执行下列第一处理至第三处理。作为第一处理,检测在立体显示面板的上端(图45A的y1线上)、中心(图45A的y3线上)、下端(图45A的y2线上)这三条线上、3D串扰量为最大值的X轴方向的位置(当在图45A的y1线上时,为x2的位置,当在图45A的y2线上时,为x1的位置),基于检测出的X轴方向的位置计算具有倾斜分量的3D串扰图像区域的斜度。
作为第二处理,基于立体显示面板的中心(图45A的y3线上)中的3D串扰特性数据,通过与第一示例性实施方式的计算方法相同的计算方法,来计算针对X轴方向的位置的图像滤波器值。虽然在第一示例性实施方式中计算出了针对视角的图像滤波器值,但是在第二处理中计算针对X轴方向的位置的图像滤波器值,而取代计算针对视角的图像滤波器值。
作为第三处理,通过参照由第一处理计算出的3D串扰图像区域的斜度,使由第二处理计算出的图像滤波器值向X轴方向偏移,来计算除了立体显示面板的中心之外的区域(除图45A的y3线上的位置之外)的图像滤波器值。通过上述处理,即使当显示面板和柱状透镜之间发生位置移动时,通过计算针对立体显示面板上的所有位置的图像滤波器值,也能够将适合的图像滤波器值应用于3D串扰图像区域。
此外,如第一示例性实施方式的情况,第三示例性实施方式可以应用于各种裸眼立体型立体图像显示装置(诸如多视点方式和整体方式)。当然,可以将第三示例性实施方式的图像处理单元153设置为单独的图像处理装置,且可以通过将其与立体显示面板单元107等结合来实现立体图像显示装置13的功能。
将参照图46描述在根据第三示例性实施方式的立体图像显示装置13中使用的立体图像处理方法的流程图。
步骤S301至步骤S305与第一示例性实施方式中的相应步骤相同。
在步骤S306中,通过使用3D串扰图像区域计算单元101,从在步骤S302中计算出的相对位置和在步骤S303中获得的装置特性数据,来计算CT-图像被投影至观察者的右眼和左眼的图像区域(3D串扰图像区域)。
在步骤S307中,通过利用图像滤波处理单元106,基于在步骤S306中计算出的图像区域,参照图41中示出的图像滤波处理的处理判断表,来判断进行图像滤波处理的图像区域。然后,对所判断出的图像区域,通过参照步骤S304中计算出的图像滤波器值,对在步骤S305中获得的图像数据进行图像滤波处理。在步骤S307的图像滤波处理中,对图像区域内的图像数据的每个像素,执行图像滤波器值的卷积,以生成执行图像滤波处理后的图像数据。
步骤S308至步骤S309与第一示例性实施方式的步骤S107至步骤S108相同。
可以提供如下的立体图像显示装置和立体图像显示方法,利用该立体图像显示装置和立体图像显示方法,通过仅在出现由3D串扰引起的CT-图像的影响的图像区域中应用上述图像模糊处理,在保持在其他图像区域中没有由图像滤波处理引起的图像模糊的显示状态下,减轻由3D串扰引起的CT-图像的影响,使得观察者不会感到不适。
换句话说,根据第三示例性实施方式的立体图像显示装置包括:观察者位置测量单元,该观察者位置测量单元测量观察者的观察位置;相对位置计算单元,该相对位置计算单元计算观察者的观察位置和立体显示面板的位置之间的相对位置;装置特性数据保存单元,该装置特性数据保存单元保存立体显示面板的相对于视角的装置特性数据;3D串扰图像区域计算单元,该3D串扰图像区域计算单元基于装置特性数据计算出现由3D串扰引起的CT-图像的图像区域;图像滤波器值计算单元,该图像滤波器值计算单元基于装置特性数据针对该视角计算适于立体图像显示的图像滤波器值;图像数据保存单元,该图像数据保存单元保存或接收图像数据;图像滤波处理单元,该图像滤波处理单元按照图像滤波器值和3D串扰的图像区域对图像数据进行图像滤波处理;以及立体显示面板单元,该立体显示面板单元根据相对位置将执行了图像滤波处理的图像数据投影到右眼和左眼。
利用第三示例性实施方式,可以通过提供如下的立体图像显示装置和立体图像处理方法来克服所述问题,利用该立体图像显示装置和立体图像处理方法,通过仅在出现由3D串扰引起的CT-图像的影响的图像区域中应用图像滤波处理,在保持其他图像区域中的图像数据的图像质量的状态下,减轻由3D串扰引起的CT-图像的影响,使得观察者不会感到不适。
(第四示例性实施方式)
第四示例性实施方式的示例性目的是提供如下的立体图像显示装置和立体图像处理方法,利用该立体图像显示装置和立体图像处理方法,即使在使用立体图像显示装置的环境温度发生变化时,通过执行适合于该温度的图像滤波处理,也能够减轻由3D串扰引起的CT-图像的影响,使得观察者不会感到不适。
图47示出立体图像显示装置14的方框图。立体图像显示装置14包括:观察者位置测量单元101、相对位置计算单元102、装置特性数据保存单元103、图像滤波器值计算单元104、图像数据保存单元105、图像滤波处理单元106、立体显示面板单元107和温度测量单元114。此外,集成了相对位置计算单元102、图像滤波器值计算单元104和图像滤波处理单元106的处理单元被称为图像处理单元154。
在下文中,将描述包括在立体图像显示装置14中的各单元的功能。观察者位置测量单元101、相对位置计算单元102、图像数据保存单元105、图像滤波处理单元106和立体显示面板单元107的功能与第一示例性实施方式中的那些单元的功能相同。
温度测量单元114的功能为测量立体图像显示装置14的温度。柱状透镜可由无机材料制成,例如玻璃。然而,由于制造成本的关系,柱状透镜通常有机材料制成,例如工程塑料,工程塑料通常为聚甲基丙烯酸甲酯(PMMA)、环聚烯烃(COP)、和聚碳酸酯(PC)。因此,当使用立体图像显示装置14的环境温度改变时,柱状透镜和显示面板之间的位置关系由于由塑料材料制成的柱状透镜和通常使用玻璃基质的显示面板之间的材料的差异、即由于塑料材料和玻璃材料的热膨胀系数之间的差异而波动。
图48示出这样的示意图,其中随着温度下降、柱状透镜移位,且立体显示面板的光学模型改变。当环境温度下降时,柱状透镜朝向显示面板的中心部分收缩。因此,从图48的左眼像素4L和右眼像素4R经过柱状透镜3(柱面透镜3a、3b)投影到观察者的光线20和光线21的斜率比在正常温度情况下的斜率减小。基于图48中的光学模型图,将环境温度为正常温度的情况下的右眼区域70R和左眼区域70L的位置与环境温度下降的情况下的右眼区域70Rc和左眼区域70Lc的空间位置相比时,可以确认:随着环境温度下降,右眼区域和左眼区域距离立体显示面板更近。
图49示出这样的示意图,其中随着温度升高、柱状透镜移位,且立体显示面板的光学模型改变。当环境温度升高时,柱状透镜3朝向显示面板的两端伸展。因此,从图49的左眼像素4L和右眼像素4R经过柱状透镜3(柱面透镜3a、3b)投影到观察者的光线20和光线21的斜率比正常温度的情况下的斜率增加。基于图49中的光学模型图,将环境温度为正常温度的情况下的右眼区域70R和左眼区域70L的位置与环境温度升高的情况下的右眼区域70Rh和左眼区域70Lh的空间位置相比时,可以确认:随着环境温度升高,右眼区域和左眼区域距离立体显示面板更远。
在第四示例性实施方式中,通过考虑随着环境温度变化所引起的显示面板的光学模型的变化的影响,而执行图像滤波处理。温度测量单元114通过测量立体显示面板附近的温度而根据温度变化来获取立体显示面板的光学模型的状态。为了测量该温度,可使用通用的电阻温度计等。通过将温度计设置于立体图像显示装置14上,来测量立体显示面板的环境温度。
图47中示出的装置特性数据保存单元103预先保存与使用立体图像显示装置14的环境温度相对应的3D串扰特性数据。在下文中将描述与环境温度相对应的特性数据。
图50示出在环境温度为低温的情况下的3D串扰特性数据的一个示例。利用立体图像显示装置14根据3D串扰特性数据确定右眼区域、左眼区域和3D串扰观看空间。例如,假定立体区域为3D串扰量的β31%或更低,则根据图50视角θ31度到视角θ35度的区域为3D串扰观看空间,而其它视角的区域为的右眼区域和左眼区域。
图51示出这种情况下的立体图像显示装置14的光学模型。在图51中,视角θ31度到视角θ35度的部分为3D串扰观看空间,从而右眼区域70Rc和左眼区域70Lc的区域比图48的情况进一步变窄。对于右眼55R,与图48同样地,右眼区域70Rc是立体观看空间,左眼区域70Lc和72Lc为反向立体观看空间,而其它区域为3D串扰观看空间。
图52示出了在图51中示出的区域81的放大图。Z轴上的任意值Z1和Z2处的右眼区域70R、左眼区域72L和3D串扰观看空间的区域宽度不同。此外,可以看出,立体观看空间、反向立体观看空间和3D串扰观看空间的区域宽度根据在Z轴上的位置而改变。
另外,图53示出了关于Z轴上的任意值Z1处的立体观看空间、反向立体观看空间和3D串扰观看空间与图50中示出的视角的关系图。当以右眼55R为基准时,视角θ30度到视角θ31度的区域为反向立体观看空间;视角θ31度到视角θ35度的区域为3D串扰观看空间;视角θ35度到视角θ36度的区域为立体观看空间。此外,3D串扰量在视角θ33度的位置处为最大值,且根据图5,视角θ32度到视角θ34度的区域为具有β32%或更多的3D串扰量的区域。
尽管上文已描述了对应于环境温度的特性数据,但也可以根据立体图像显示装置14的使用而采用用于该数据的任意内容,例如关于在-20度至60度范围内的每5度的环境温度的3D串扰特性数据。另外,还可以提供一种程序,其预先保存用于计算3D串扰特性数据所必要参数且根据环境温度求出3D串扰特性数据。作为参数的一个示例,可使用设置于显示面板上的柱状透镜的有效线性膨胀系数、面板尺寸、面板分辨率等。
图47中示出的图像滤波器值计算单元104获取来自上文描述的装置特性数据保存单元103的、与温度测量单元114测量出的温度相对应的3D串扰特性数据,且基于该3D串扰特性数据针对视角计算适于立体图像显示器的图像滤波器值。图像滤波器值计算处理和此后的图像滤波处理以与第一示例性实施方式中的情况相同的方式执行。由此,可在适于使用立体图像显示装置14的温度下执行图像滤波处理。
此外,如同第一示例性实施方式的情况,第四示例性实施方式可适用于各种裸眼立体型(例如多视点方式和整体方式)的立体图像显示装置。当然,可以将第四示例性实施方式的图像处理单元154设置为单独的图像处理装置,且可通过将图像处理单元154与立体显示面板单元107等结合来实现立体图像显示装置14的功能。
将参照图54描述在根据第四示例性实施方式的立体图像显示装置14中使用的立体图像处理方法的流程图。
在步骤S401到步骤S402中,执行与第一示例性实施方式相同的处理。
在步骤S403中,通过温度测量单元114测量立体显示面板附近的温度。
在步骤S404中,从装置特性数据保存单元103获取与在步骤S403中测量的温度对应的装置特性数据。
从步骤S405到步骤S409,执行与第一示例性实施方式中的步骤S104到步骤S108的处理相同的处理。
如上文所述,可提供如下的立体图像显示装置以及立体图像处理方法,利用该立体图像显示装置以及立体图像处理方法,即使当使用立体图像显示装置14的环境温度变化时,通过应用适于该温度的图像滤波处理,也能够克服由3D串扰引起的CT-图像和反向视觉的问题,使得观察者不会感到不适。
换句话说,根据第四示例性实施方式的立体图像显示装置包括:观察者位置测量单元,该观察者位置测量单元测量观察者的观察位置;相对位置计算单元,该相对位置计算单元计算观察者的观察位置与立体显示面板的位置之间的相对位置;装置特性数据保存单元,该装置特性数据保存单元保存对于立体显示面板的视角的、装置特性数据;图像滤波器值计算单元,该图像滤波器值计算单元根据装置特性数据针对该视角计算适于立体图像显示的图像滤波器值;图像数据保存单元,该图像数据保存单元保存或接收图像数据;图像滤波处理单元,该图像滤波处理单元根据图像滤波器值对图像数据执行图像滤波处理;立体显示面板单元,该立体显示面板单元根据相对位置将执行了图像滤波处理的图像数据投影到右眼和左眼;以及温度测量单元,该温度测量单元测量所使用的环境温度。
第四示例性实施方式通过考虑使用的环境温度和立体显示面板的温度特性数据以及观察者的观察位置和装置特性数据而计算图像滤波器值,实现了适于使用该立体图像显示装置的环境温度的图像滤波处理。由此,通过提供如下的立体图像显示装置和立体图像处理方法可克服该问题,利用该立体图像显示装置和立体图像处理方法,即使当使用立体图像显示装置的环境温度变化时,通过进行适于该温度的图像滤波处理,不会使观察者感到不适。
(第五示例性实施方式)
第五示例性实施方式的示例性目的在于提供如下的立体图像显示装置和立体图像处理方法,利用该立体图像显示装置和立体图像处理方法,通过不仅参考装置特性数据而且参考立体图像内容的视差值而计算图像滤波器值,来执行适于立体图像内容的视差值的图像滤波处理,从而减轻由3D串扰引起的CT-图像的影响,使得观察者不会感到不适。
图55示出立体图像显示装置15的方框图。立体图像显示装置15包括:观察者位置测量单元101;相对位置计算单元102;装置特性数据保存单元103;图像滤波器值计算单元104;图像数据保存单元105;图像滤波处理单元106;立体显示面板单元107和视差值检测单元115。此外,集成了相对位置计算单元102、图像滤波器值计算单元104、图像滤波处理单元106和视差值检测单元115的处理单元被称为图像处理单元155。
在下文中将描述包括在立体图像显示装置15内的各单元的功能。观察者位置测量单元101、相对位置计算单元102、装置特性数据保存单元103、图像数据保存单元105、图像滤波处理单元106和立体显示面板单元107的功能与第一实施例性实施方式中的单元的功能相同。
视差值检测单元115检测保存在图像数据保存单元105中的立体图像内容的视差值。当立体图像内容的视差图像被保存在图像数据保存单元中时,从视差图像检测每一像素中的视差值。
图56示出视差图像和视差值之间的关系图。在图56的右侧的图示出针对从视差图像(图56的左侧)中取出的在Y-轴上的任意值Y1处的像素列的、视差值。此处注意到,该视差值示出通过采用L图像作为基准,R图像的像素值相对于L图像的像素值的位置移动量。
作为特殊示例,图57示出视差值和LR图像之间的关系图。在视差图像中的位置(x1,y2)的视差值为L图像的位置(x1,y2)和相对应的R图像的像素值的位置(x2,y2)之间的差值(式10)。
视差值u=x1–x2 式10
从而,可通过参照视差图像中的像素值检测各像素中的视差值。此外,在视差图像未被保存在图像数据保存单元105中的情况下,基于作为立体图像内容的图像数据的L图像和R图像计算视差值以产生视差图像。为了计算视差值,通过使用图像的亮度值信息来检测L图像内的特征点,从R图像中搜索与该特征点对应的对应点,且基于L图像的特征点位置和R图像的对应点位置之间的位置移动量计算视差量。由此,即使当视差图像未被保存在图像数据保存单元105中时,也可检测各像素的视差值。
图像滤波器值计算单元104通过参照由视差值检测单元115检测出的立体图像内容的视差值,来计算图像滤波器值。当视差值较大时,由3D串扰引起的CT-图像的影响较大;当视差值较小时,由3D串扰引起的CT-图像的影响较小。因此,通过在视差值大的图像内的像素中应用图像模糊效应高的图像滤波器值,来执行图像滤波处理,以及通过在视差值小的图像内的像素中应用图像模糊效应低的图像滤波器值,来执行图像滤波处理,从而执行适于立体图像内容的视差值的图像滤波处理。
作为用于计算适于立体图像内容的视差值的图像滤波器值的方法的一个示例,通过利用视差值对图像滤波器的窗口宽度值Wp加权,对立体图像内容内的每个像素改变图像滤波器的窗口宽度值Wp(x,y)的值。在下文中示出图像滤波器的窗口宽度值Wp(x,y)的计算方法。
首先,如同第一示例性实施方式的情况,计算针对全部视角θ0到θ6(立体观看空间、反向立体观看空间、3D串扰观看空间)范围的、图像滤波器的窗口宽度值W(θ)。然后,获取由相对位置计算单元102计算出的作为观察者的观察位置的视角θp处的图像滤波器的窗口宽度值Wp。然后,基于立体图像内容的视差值计算对图像滤波器的窗口宽度值Wp加权的权重值α。
图58示出由视差图像计算出权重值α的示例。通过将保存在立体图像内容的视差图像的各像素内的视差值u(x,y)除以视差图像的视差最大值umax,而计算立体图像内容的图像内的每个像素的权重值α(x,y)(式11)。此处注意到,u(x,y)示出了被保存在视差图像的像素位置(x,y)中的视差值。
α(x,y)=u(x,y)/umax 式11
然后,将计算出的权重值α(x,y)乘以图像滤波器的窗口宽度值Wp,以针对立体图像内容的图像内的每个像素计算图像滤波器的窗口宽度值Wp(x,y)(式12)。
Wp(x,y)=Wp×α(x,y) 式12
以上文描述的方式,可计算图像滤波器的窗口宽度值Wp(x,y)。由于期望图像滤波器的窗口宽度值Wp(x,y)为整数,因此可将小数部分四舍五入而近似为整数。将任意滤波器形状(高斯滤波器等)应用于所计算出的图像滤波器窗口宽度值Wp(x,y)以计算图像滤波器值。
图像滤波处理单元106按照图像滤波器值计算单元104计算出的图像滤波器值,对保存在图像数据保存单元105中的图像数据执行图像滤波处理。根据立体图像内容的图像数据的视差值,对于图像数据的每个像素,通过图像滤波器值计算单元104计算出的图像滤波器值为不同的值。因此,如同第一示例性实施方式的情况,通过对图像数据的各像素执行图像滤波器值的卷积,来执行图像滤波处理。
从而,可通过不仅参照装置特性数据而且还参照立体图像内容的视差值来计算图像滤波器值,而执行适于立体图像内容的视差值的图像滤波处理。此外,如同第一示例性实施方式的情况,第五示例性实施方式可适用于各种裸眼立体型(例如多视点方式和整体方式)的立体图像显示装置。当然,可将第五示例性实施方式的图像处理单元155设置为单独的图像处理装置,且可通过将图像处理单元155与立体显示面板单元107等结合以实现立体图像显示装置15的功能。
将参照图59描述在根据第五示例性实施方式的立体图像显示装置15中使用的立体图像处理方法的流程图。
在步骤S501到步骤S502中,执行与第一示例性实施方式相同的处理。
在步骤S506中,计算被保存在图像数据保存单元105中的图像数据的视差值。
在步骤S507中,通过参照在步骤S506中计算出的图像数据的视差值,来计算针对立体图像内容的各像素的、图像滤波器值的权重值α(x,y)。
在步骤S508中,将权重值α(x,y)乘以在步骤S504中计算出的图像滤波器的窗口宽度值Wp,以将窗口宽度值Wp改变成适于图像数据的视差值的图像滤波器的窗口宽度值Wp(x,y)。
在步骤S509中,按照在步骤S508中改变的图像滤波器值Wp(x,y),通过图像滤波处理单元106,对在步骤S505中获取的图像数据执行图像滤波处理。在步骤S509执行的图像滤波处理中,对图像数据的各像素执行图像滤波器值的卷积以将其转换成执行了图像滤波处理的图像数据。
在步骤S510中,通过使用立体显示面板单元107,将在步骤S509中执行了图像滤波处理的图像数据以立体方式显示在立体显示面板上。
在步骤S511中,设定是停止立体图像显示处理还是继续执行立体图像显示处理。当观察者关闭立体图像显示装置15的电源或者观察者11指示中断立体图像显示时,停止立体图像显示处理。当不存在用于停止立体图像显示处理的事件时,继续执行立体图像显示处理。当在步骤S511中停止立体图像显示处理时,结束立体图像显示处理。当在步骤S511中继续执行立体图像显示处理时,该过程返回至步骤S501的处理,以重复执行从步骤S501到步骤S511的处理。
如上所述,可以提供如下的立体图像显示装置和立体图像处理方法,利用该立体图像显示装置和立体图像处理方法,通过不仅参照装置特性数据而且参照立体图像内容的视差值来计算图像滤波器值,而执行适于立体图像内容的视差值的图像滤波处理,从而减轻3D串扰引起的CT-图像的影响,使得观察者不会感到不适。
换句话说,根据第五示例性实施方式的立体图像显示装置包括:观察者位置测量单元,该观察者位置测量单元测量观察者的观察位置;相对位置计算单元,该相对位置计算单元计算观察者的观察位置与立体显示面板的位置之间的相对位置;装置特性数据保存单元,该装置特性数据保存单元保存立体显示面板的针对视角的装置特性数据;图像数据保存单元,该图像数据保存单元保存或接收图像数据;视差值检测单元,该视差值检测单元检测图像数据的视差值;图像滤波器值计算单元,该图像滤波器值计算单元基于图像数据的视差值和装置特性数据,针对该视角计算适于立体图像显示的图像滤波器值;图像滤波处理单元,该图像滤波处理单元按照图像滤波器值对图像数据执行图像滤波处理;以及立体显示面板单元,该立体显示面板单元根据相对位置将执行了图像滤波处理的图像数据投影到右眼和左眼。
第五示例性实施方式可以通过提供如下的立体图像显示装置和立体图像处理方法,来克服所述问题,利用该立体图像显示装置和立体图像处理方法,通过考虑立体图像内容的图像数据的视差值以及观察者的观察位置和装置特性数据来计算图像滤波器值,而执行适于该立体图像内容的视差值的图像滤波处理,从而减轻3D串扰引起的CT-图像的影响,使得观察者不会感觉到不适。
(第六示例性实施方式)
第六示例性实施方式的示例性目的是提供如下的立体图像显示装置和立体图像处理方法,利用该立体图像显示装置和立体图像处理方法,在考虑对于每个图像数据出现由3D串扰引起的CT-图像的图像区域的方向性特征时,通过计算图像滤波器值来执行适于所述图像区域(在该图像区域内,对于每个图像数据出现由3D串扰引起的CT-图像)的方向性特征的图像滤波处理,从而减轻由3D串扰引起的CT-图像的影响,而不会使观察者感到不适。
图60示出了立体图像显示装置16的方框图。立体图像显示装置16包括:观察者位置测量单元101;相对位置计算单元102;装置特性数据保存单元103;图像滤波器值计算单元104;图像数据保存单元105;图像滤波处理单元106;以及立体显示面板单元107。另外,集成了相对位置计算单元102、图像滤波器值计算单元104和图像滤波处理单元106的处理单元被称为图像处理单元156。
在下文中,将描述包括在立体图像显示装置16内的各单元的功能。观察者位置测量单元101、相对位置计算单元102、装置特性数据保存单元103、图像数据保存单元105以及立体显示面板单元107的功能与第一示例性实施方式的单元的功能相同。
图像滤波器值计算单元104的功能为:通过考虑对于每个图像数据出现3D串扰引起的CT-图像的图像区域的方向性特征,基于装置特性数据,针对视角计算适于立体图像显示的图像滤波器值。在第一示例性实施方式中,通过将具有横向对称滤波形状的高斯滤波器应用于图像滤波器值而计算图像滤波器值。然而,在第六示例性实施方式中,通过考虑对于每个图像数据出现由3D串扰引起的CT-图像的图像区域的方向性特征,使用具有横向非对称的滤波器形状的固有的滤波器计算图像滤波器值。
由于L图像和R图像的混合产生3D串扰引起的CT-图像。因此,可指定出现CT-图像的图像区域的方向。图61示出在球状物体弹出式显示在中心部分上作为立体图像内容的情况下的L图像和R图像。图62示出了图61中的L图像和R图像由于3D串扰而被混合后的CT-图像的一个示例。在图62中示出的由3D串扰引起的CT-图像是以L图像为基准混合大约50%的R图像的图像成分(假若L图像为10%)的图像。在该3D串扰中,L图像的球状物体显示在右侧而R图像的球状物体显示在左侧以构成CT-图像。因此,根据是L图像还是R图像,可以指定出现由3D串扰引起的CT-图像的图像区域是在右侧还是左侧。
因此,在图63中示出的图像滤波器形状用于L图像的图像滤波器值,而在图64中示出的图像滤波器形状用于R图像的图像滤波器值。图63中示出的图像滤波器形状中,在X-轴上的负值的位置处将图像滤波器值定义为“0”,在X-轴上的0值的位置处将图像滤波器值定义为最大值,且当X-轴上的值增加时图像滤波器值减小。相反,在图64示出的图像滤波器形状中,在X-轴上的正值的位置处将图像滤波器值定义为“0”,在X-轴上的0值的位置处将图像滤波器值定义为最大值,且当X-轴上的值减小时图像滤波器值减小。
图65和图66示出图像滤波器形状为图63和图64中示出的形状且图像滤波器的窗口宽度值为5(5像素×5像素)情况下的图像滤波器值的一个示例。当按照如图65所示的应用于L图像的图像滤波器值执行图像滤波处理时,以图像数据移位至左侧的方式来实施图像模糊处理。另一方面,当按照如图66所示的应用于R图像的图像滤波器值执行图像滤波处理时,以图像数据移位至右侧的方式来实施图像模糊处理。当按照横向非对称图像滤波器值执行图像滤波处理时,以使图像数据向任意方向移动的方式执行图像模糊处理。因此,可对每个图像数据执行适于出现由3D串扰引起的CT-图像的图像区域的方向性特征的图像滤波处理。
在图65示出的图像滤波器值中,示出了在Y-轴上的值不为“0”的位置处将“0”代入图像滤波器值的情况。然而,如在图67中所示,也可将任意的值代入在Y-轴上的值不为“0”的位置处的图像滤波器值。
图像滤波处理单元106的功能为:按照图像滤波器值计算单元104计算出的图像滤波器值,对被保存在图像数据保存单元105中的图像数据执行图像滤波处理。
图68示出了按照图像滤波器值计算单元104计算出的横向非对称图像滤波器值、执行图像滤波处理而被转换后的图像数据的一个示例。而且,图69中示出了图68的L图像和R图像由于3D串扰而被混合的CT-图像的一个示例。图70示出了按照横向对称图像滤波器值执行图像滤波处理而被转换后的图像数据的一个示例。图71示出了图70的L图像和R图像由于3D串扰而被混合的CT-图像的一个示例。通过比较图69和图71可以看出,当应用横向非对称图像滤波器值时,仅在出现由3D串扰引起的CT-图像的图像区域的方向上执行图像模糊处理,因此由3D串扰引起的CT-图像的影响可被有效地降低。
在上文中,描述了立体图像内容内的物体从3D显示器向前侧弹出式显示的例子。然而,还可以在3D显示器远侧的深度方向上显示物体的情况下应用横向非对称图像滤波器值。关于在深度方向上显示的物体,可以根据立体图像内容的拍摄条件(虚拟摄像机的布置状态),使得出现由3D串扰引起的CT-图像的图像区域的方向变得相反。
图72示出了基于位移传感器的虚拟摄像机的布局图,图73示出了基于束角(toe-in)的虚拟摄像机的布局图。
当基于位移传感器布置虚拟摄像机时,将用于L图像的虚拟摄像机41和用于R图像的虚拟摄像机42平行布置。因此,当立体图像内容内的物体43被置于无限远的远点时,L图像内的物体43和R图像内的物体43被显示在同一位置上。因此,即使在3D显示器远侧的更深方向被显示物体43时,物体43在L图像中距离右侧更近的一侧且在R图像中距离左侧更近的一侧被显示。
同时,当基于束角布置虚拟摄像机时,将用于L图像的虚拟摄像机41和用于R图像的虚拟摄像机42之间的光轴中心与立体图像内容内的物体43的中心位置对齐。因此,当立体图像内容内的物体43被置于与在3D显示器平面上的位置相同的位置处时,L图像内的物体43以及在R图像内的物体43被显示在相同位置处。因此,当物体43沿弹出式方向被显示时,其显示在L图像中更接近右侧的一侧上且在R图像中更接近左侧的一侧上。然而,当物体43在深度方向上被显示时,与上述情况相反,其显示在L图像中更接近左侧的一侧上且在R图像中更接近右侧的一侧上。
从而,当基于束角对在虚拟摄像机布置条件下拍摄的立体图像内容执行图像滤波处理时,需要判断立体图像内容内的物体是显示在弹出式方向上还是显示在深度方向上,并根据判断结果来改变图像滤波器形状。
具体地,在立体图像内容内的物体显示在弹出式方向上的情况下,应用图63和图64中示出的图像滤波器形状。在物体显示在深度方向的情况下,应用图74和图75中示出的图像滤波器形状。注意到,图74和图75的图像滤波器形状为通过将图63和图64的滤波器形状在X-轴方向反转而获得的形状。
另外,关于立体图像内容内的物体的显示状态,参考立体图像内容的视差值以判断物体显示在弹出式方向上还是显示在深度方向上。当视差值信息未被保存在立体图像内容中时,通过使用在第五示例性实施方式描述的视差值检测单元115检测立体图像内容的视差值。作为检测结果,将在X-轴方向反转了的图像滤波器值应用于在深度方向显示的图像数据的图像区域,以执行图像滤波处理。
将参照图76描述在根据第六示例性实施方式的立体图像显示装置16中使用的立体图像处理方法的流程图。
步骤S601到步骤S603为与第一示例性实施方式的流程图相同的步骤。
步骤S604与第一示例性实施方式的流程图中的步骤S105相同。
在步骤S605中,针对在步骤S604中获取的每个图像数据判断出现由3D串扰引起的CT-图像的图像区域的方向。当在基于位移传感器的虚拟摄像机布置条件下拍摄立体图像内容时,由于在立体图像内容内的物体位于在L图像中更接近右侧的一侧,因此判断物体的右侧为受由3D串扰引起的CT-图像影响的图像区域,并且由于立体图像内容内的物体位于在R图像中更接近左侧的一侧,因此判断物体的左侧为受由3D串扰引起的CT-图像影响的图像区域。在基于束角的虚拟摄像机布置条件下,在弹出式方向上显示的物体具有与基于位移传感器的虚拟摄像机布置条件下相同的判断结果。然而,判断结果示出在深度方向上显示的物体处于相反方向。
在步骤S606中,通过参考在步骤S605中判断的受由3D串扰引起的CT-图像影响的图像区域的结果,基于装置特性数据计算横向非对称图像滤波器值。当计算图像滤波器值时,首先,如同第一示例性实施方式的情况,计算图像滤波器的窗口宽度值Wp。然后,当通过参考在步骤S605中判断的图像区域的结果来判断立体图像内容内的物体的右侧为受由3D串扰引起的CT-图像影响的图像区域时,应用以向左侧方向移位的方式执行图像模糊处理的图像滤波器形状(图63)。当判断立体图像内容内的物体的左侧为受由3D串扰引起的CT-图像影响的图像区域时,应用以向右侧方向移位的方式执行图像模糊处理的图像滤波器形状(图64)。最后,基于图像滤波器的窗口宽度值Wp和图像滤波器形状计算图像滤波器值。
在步骤S607到步骤S609中,执行与第一示例性实施方式中的步骤S106到步骤S108的处理相同的处理。
如上文所述,可以提供如下的立体图像显示装置和立体图像处理方法,利用该立体图像显示装置和立体图像处理方法,通过考虑针对每个图像数据出现由3D串扰引起的CT-图像的图像区域的方向性特征计算图像滤波器值,来执行适于该图像区域(在该图像区域,针对每个图像数据出现由3D串扰引起的CT-图像)的方向性特征的图像滤波处理,从而减轻由3D串扰引起的CT-图像的影响,使得观察者不会感到不适。
另外,如同第一示例性实施方式的情况,第六示例性实施方式可应用于各种裸眼立体型(例如多视点方式和整体方式)的立体图像显示装置。当然,可以将第六示例性实施方式的图像处理单元156设置为单独的图像处理装置,并且可通过将图像处理单元156与立体显示面板单元107等结合而实现立体图像显示装置16的功能。
换句话说,根据第六示例性实施方式的立体图像显示装置包括:观察者位置测量单元,该观察者位置测量单元测量观察者的观察位置;相对位置计算单元,该相对位置计算单元计算观察者的观察位置与立体显示面板的位置之间的相对位置;装置特性数据保存单元,该装置特性数据保存单元保存针对立体显示面板的视角的装置特性数据;图像数据保存单元,该图像数据保存单元保存或接收图像数据;图像滤波器值计算单元,该图像滤波器值计算单元通过考虑对于每个图像数据出现由3D串扰引起的CT-图像的图像区域的方向性特征而设置图像过滤器形状、并基于装置特性数据针对视角计算适于立体图像显示的图像滤波器值;图像滤波处理单元,该图像滤波处理单元按照图像滤波器值对图像数据执行图像滤波处理;以及立体显示面板单元,该立体显示面板单元根据相对位置将执行了图像滤波处理的图像数据投影到右眼和左眼。
利用第六示例性实施方式,可通过提供如下的立体图像显示装置和立体图像处理方法克服该问题,利用该立体图像显示装置和立体图像处理方法,通过考虑对于每个图像数据出现由3D串扰引起的CT-图像的图像区域的方向性特征以及观察者的观察位置和装置特性数据,来计算图像滤波器值,由此执行适于所述图像区域(在该图像区域,对于每个图像数据出现由3D串扰引起的CT-图像)的方向性特征的图像滤波处理,从而减轻由3D串扰引起的CT-图像的影响,使得观察者不会感到不适。
(第七示例性实施方式)
第七示例性实施方式的示例性目的是提供如下的立体图像显示装置和立体图像处理方法,利用该立体图像显示装置和立体图像处理方法,通过执行视差调节处理以及图像滤波处理,减轻由3D串扰引起的CT-图像的影响,使得观察者不会感到不适。
图77示出立体图像显示装置17的方框图。立体图像显示装置17包括:观察者位置测量单元101;相对位置计算单元102;装置特性数据保存单元103;图像滤波器值计算单元104;图像数据保存单元105;图像滤波处理单元106;立体显示面板单元107;视差调节量计算单元120;和视差调节处理单元121。而且,集成了相对位置计算单元102、图像滤波器值计算单元104、图像滤波处理单元106、视差调节量计算单元120、和视差调节处理单元121的处理单元被称为图像处理单元157。
在下文中,将描述包括在立体图像显示装置17内的各单元的功能。观察者位置测量单元101、相对位置计算单元102、装置特性数据保存单元103、图像数据保存单元105和立体显示面板单元107的功能与第一示例性实施方式中的单元的功能相同。
视差调节量计算单元120的功能为基于保存在装置特性数据保存单元103中的装置特性数据,针对视角计算适于立体图像显示的视差调节量。例如,视差调节量计算单元120计算可显示立体图像的视差极限值(视差容许值uth)。图78示出了基于装置特性数据(参见图4),计算针对在观察者的观察位置在Z1上的位置的情况下的视角θ的视差容许值uth而获取的结果。这里,注意“uth”为视角θ的函数uth(θ)。然而,为了方便起见简单表示为“uth”。图78示出:在3D串扰量的阈值被限定为β1时(参见图4)的情况下,对于反向立体观看空间θ0到θ1、3D串扰观看空间θ1到θ5、以及立体观看空间θ5到θ6,视差容许值uth为不同的值。
图79为示出关于3D串扰量、CT-图像的产生、立体图像的影响、视角范围、观看空间名称(反向立体观看空间、3D串扰观看空间、立体观看空间)、以及视差容许值的绝对值|uth|的关系的表。在下文中,将参照图78和图79,描述立体观看空间θ5到θ6、反向立体观看空间θ0到θ1和3D串扰观看空间θ1到θ5的区域中的各区域的视差容许值uth。
对于立体观看空间θ5到θ6中的视差容许值uth,设置视差最大值γ1,利用该视差最大值γ1,在待投影到右眼区域的右眼图像(R图像)正常地投影到观察者的右眼且待投影到左眼区域的左眼图像(L图像)正常地投影到观察者的左眼的情况下,观察者可合并L图像和R图像(LR图像)(可在大脑中合并通过右眼和左眼观察到的LR图像以将LR图像识别作为单个立体图像),并且保持使观察者不产生不适感觉的安全度。关于视差最大值γ1,各种组织提出了安全标准值。例如,可将3D联盟的3D安全准则中描述的舒适视差范围最大值代入立体观看空间中的视差容许值uth作为视差最大值γ1。
关于反向立体观看空间θ0到θ1中的视差容许值uth,为了将视差值反转以用于反向视觉的对策,将使立体观看空间中的视差容许值uth求反的值-γ1代入反向立体观看空间中的视差容许值uth。在3D串扰观看空间θ1到θ5中,根据3D串扰量划分视差容许值|uth|。在3D串扰量为β1到β2的范围内(视角范围为θ1到θ2)时,产生轻微的CT-图像。因此,即使观察者感觉不适,也可以看到立体图像。同时,在3D串扰量在β2或更大的范围内(视角范围为θ2到θ3)时,CT-图像的影响增加。因此观察者几乎不可能看到立体图像。因此,期望按照CT-图像的影响程度来设定视差容许值。
具体地,从图4的装置特性数据中参照3D串扰量,来设定适于该3D串扰量的视差容许值uth。在图78和图79中示出的视差容许值uth在以下的条件下被计算出:当3D串扰量为β1或更大时视差容许值的绝对值|uth|被定义为等于或小于γ1(立体观看空间中的视差容许值uth),以及当3D串扰量为β2或更大时视差容许值的绝对值|uth|被定义为等于或小于任意设定的视差值γ2。作为计算视差容许值uth的条件的视差值γ2可根据观察者的喜好任意设定或者可通过观察者的主观评价来确定。在不同的文献中示出了观察者主观评价的试验结果,因而也可根据这些文献确定视差值γ2。
关于在3D串扰观看空间中的视差容许值uth,将视角θ1处视差容许值为γ1的点、视角θ2处视差容许值为γ2的点、在作为3D串扰观看空间的中心位置的视角θ3处视差容许值为0的点、视角θ4处视差容许值为-γ2的点、以及视角θ5处视差容许值为-γ1的点通过插补法用线彼此连接,以计算对于各视角的视差容许值uth。作为用于将成组的点彼此插补的线,可使用二次插补法(多项式插补法)或线性插补法。
尽管图78和图79示出了3D串扰量的阈值β1、β2被设定为视差容许值uth的计算条件的例子,但3D串扰量的阈值不只限于这两种。还可设定更多的阈值。
视差调节处理单元121的功能为:按照通过视差调节计算单元120计算出的视差调节值,执行保存在图像数据保存单元105中的图像数据的视差调节处理。例如,视差调节处理单元121的功能为:按照视差调节计算单元120计算出的视差调节值uth,执行图像数据的视差调节处理。图80示出了通过执行视差调节处理,计算相对于视角的立体图像内容的视差最大值uf而得到的结果。在视差调节处理中,为了计算视差调节处理后立体图像内容的视差最大值uf,计算满足如下两个条件(式15)的视差最大值uf(图80C),即,通过视差调节量计算单元120计算出的视差容许值uth的条件(图80A)以及保存在图像数据保存单元105中的立体图像内容的视差最大值uc的条件(图80B)。
(uf<=uth)与(uf<=uc) 式15
在视差最大值uf大于立体图像内容的视差最大值uc的情况下,使立体图像内容的视差值不变,将该状态下的LR图像发送至图像滤波处理单元106。在执行了视差调节处理的视差最大值uf小于视差最大值uc的情况下,通过式16计算视差调节值κ(uf与uc之间的比值),改变立体图像内容的视差值,然后将LR图像发送至图像滤波处理单元106。
uf=κuc 式16
在上述情况下,描述了通过视差调节处理单元121执行视差调节量计算处理。然而,可通过视差调节量计算单元120执行视差调节量计算处理。然而,注意到,视差调节量计算单元120必须从图像数据保存单元105中获取立体图像内容的视差最大值uc。
将描述用于通过计算出的视差调节量κ来改变立体图像内容的视差值的处理的一个示例。在视差值改变处理中,首先,将视差调节量κ乘以立体图像内容的视差图像的视差值来改变视差图像。图81示出了通过视差调节量κ而改变的视差图像组。图81中最上部的视差图像示出具有由立体图像内容最初保持的视差值的视差图像,而图81中最下部的视差图像示出全部视差值为“0”的视差图像。图81的中间部分的视差图像组为通过将视差调节量κ乘以位于最上部的视差图像的视差值来改变视差值而获得的视差图像。从上部开始第二个视差图像的视差调节量κ被设定为0.75;从上部开始第三个视差图像的视差调节量κ被设定为0.50;从上部开始第四个视差图像的视差调节量κ被设定为0.25;且最下部的视差图像的视差调节量被设定为0。假设由立体图像内容最初保持的视差值为uc(x,y),则视差值调节处理后的立体图像内容的视差值uf(x,y)可表示为式17。
uf(x,y)=κuc(x,y) 式17
此处,注意到uc(x,y)示出了在视差图像的像素位置(x,y)处的视差值。
然后,通过参照改变后的视差图像从立体图像内容的LR图像产生执行了视差调节处理的LRf图像。在LRf图像产生处理过程中,通过将L图像作为基准,根据视差图像的视差值将L图像的各像素在X-轴方向上移位,而产生Rf图像。图82示出通过使像素移位而产生的Rf图像。当使像素移位时,由于各像素位置上的视差值的差异,在Rf图像内出现不具有像素的亮度值(RGB值)的空白部分51。为了填充该空白部分51,根据在空白部分51附近的像素的亮度值执行图像插补处理。
作为图像插补处理方法,可使用线性插补法或平均值插补法。在空白部分的范围宽的情况下,为了实施高质量的图像插补处理,可利用各种类型的图像修复(图像复原)。作为图像修复方法,存在从图像信息中通过执行图案匹配搜索与空白部分附近的亮度值图案相似的亮度值图案来恢复空白区域的图像的方法、移位映射法等。此外,在空白部分执行的图像插补处理中,不仅可参照L图像的亮度值而且可参照R图像的亮度值。通过以上文描述的方式通过参照视差调节量κ产生执行了视差调节处理的LRf图像,可改变立体图像内容的视差值。
图像滤波器值计算单元104的功能为:基于装置特性数据,针对视角计算适于立体图像显示的图像滤波器值。该图像滤波器值的计算方法与第一示例性实施方式的处理方法相同,其中,计算图像滤波器的窗口宽度值Wp,以计算图像滤波器值。第七示例性实施方式不仅利用图像滤波处理而且利用视差调节处理,使得图像滤波器值可被设定为比在第一示例性实施方式中计算的值更小的值。
具体地,改变作为图像滤波器的窗口宽度值W(θ)的计算条件的窗口宽度值W1、W2的值,并减小图像滤波器的窗口宽度值W(θ),从而使图像滤波器值变小。此处注意,窗口宽度值W1为针对3D串扰量的阈值β1任意设定的图像滤波器的窗口宽度值;窗口宽度值W2为针对3D串扰量的阈值β2任意设定的图像滤波器的窗口宽度值。
图像滤波处理单元106的功能为:按照图像滤波器值计算单元104计算出的图像滤波器值,对通过视差调节处理单元121执行了视差调节处理的图像数据执行图像滤波处理。在图像滤波处理中,如同第一示例性实施方式的情况,对图像数据的每一像素执行图像滤波器值的卷积。
此外,如同第一示例性实施方式的情况,第七示例性实施方式可被应用于各种裸眼立体型(例如多视点方式和整体方式)的立体图像显示装置。当然,可将第七示例性实施方式的图像处理单元157设置为单独的图像处理装置,并且可通过将图像处理单元157与立体显示面板单元107等结合以实现立体图像显示装置17的功能。
将参照图83描述在根据第七示例性实施方式的立体图像显示装置17中使用的立体图像处理方法的流程图。
在步骤S701到步骤S703中,执行与第一示例性实施方式相同的处理。
在步骤S704中,通过使用视差调节量计算单元120,基于在步骤S703中获取的3D串扰特性数据计算对于作为在步骤S702中计算出的相对位置的视角θp的视差调节量。
在步骤S705中,通过使用图像滤波器值计算单元104,从在步骤S703中获取的3D串扰特性数据中,求出对于作为在步骤S702中计算出的相对位置的视角θp的、图像滤波器的窗口宽度值Wp,来计算图像滤波器值。
在步骤S706中,执行与第一示例性实施方式的流程图中的步骤S105相同的处理。
在步骤S707中,按照在步骤S704中计算出的视差调节量,对在步骤S706中获取的图像数据执行视差调节处理。
在步骤S708中,按照在步骤S705中计算出的图像滤波器值,对在步骤S707中执行了视差调节处理的图像数据执行图像滤波处理。
在步骤S709和步骤S710中,执行与第一示例性实施方式的步骤S107和步骤S108中的处理相同的处理。
如上文所述,可提供如下的立体图像显示装置和立体图像处理方法,利用该立体图像显示装置和立体图像处理方法,通过执行视差调节处理以及图像滤波处理,减轻由3D串扰引起的CT-图像的影响,使得观察者不会感到不适。而且,随着视差值由于视差调节处理而降低,由图像滤波处理引起的图像模糊量被调整,因此可提供如下的立体图像显示装置和立体图像处理方法,该立体图像显示装置和立体图像处理方法具有向观察者通知视差调节处理使立体图像内容的视差值减小的功能。
换句话说,根据第七示例性实施方式的立体图像显示装置包括:观察者位置测量单元,该观察者位置测量单元测量观察者的观察位置;相对位置计算单元,该相对位置计算单元计算观察者的观察位置与立体显示面板的位置之间的相对位置;装置特性数据保存单元,该装置特性数据保存单元保存针对立体显示面板的视角的装置特性数据;视差调节值计算单元,该视差调节值计算单元基于装置特性数据,针对视角计算适于立体图像显示的视差调节值;图像滤波器值计算单元,该图像滤波器值计算单元基于视差调节值计算图像滤波器值;图像数据保存单元,该图像数据保存单元保存或接收图像数据;视差调节处理单元,该视差调节处理单元按照视差调节值执行图像数据的视差调节处理;图像滤波处理单元,该图像滤波处理单元按照图像滤波器值对图像数据执行图像滤波处理;以及立体显示面板单元,该立体显示面板单元根据相对位置将执行了图像滤波处理的所述图像数据投影至右眼和左眼。
利用第七示例性实施方式,通过提供如下的立体图像显示装置和立体图像处理方法可克服该问题,利用该立体图像显示装置和立体图像处理方法,通过执行视差调节处理以及图像滤波处理,减轻由3D串扰引起的CT-图像的影响,使得观察者不会感到不适。
(第八示例性实施方式)
第八示例性实施方式的示例性目的在于提供如下的立体图像显示装置,该立体图像显示装置通过将根据观察者的观察位置和立体显示面板之间的相对位置的任意视点图像产生处理与图像滤波处理结合,不仅减轻由3D串扰引起的CT-图像,还根据相对位置的移位提示运动视差。
图88示出立体图像显示装置100的方框图。立体图像显示装置100包括:观察者位置测量单元101;相对位置计算单元102;装置特性数据保存单元103;图像滤波器值计算单元104;图像数据保存单元105;图像滤波处理单元106;立体显示面板单元107和任意视点图像产生单元190。而且,集成了相对位置计算单元102、图像滤波器值计算单元104、图像滤波处理单元106和任意视点图像产生单元190的处理单元被称为图像处理单元150。
在下文中,将描述包括在立体图像显示装置100内的各单元的功能。观察者位置测量单元101、相对位置计算单元102、装置特性数据保存单元103、图像滤波器值计算单元104、图像数据保存单元105、图像滤波处理单元106和立体显示面板单元107的功能与第一示例性实施方式中的单元的功能相同。
任意视点图像产生单元190的功能为:通过参照观察者的观察位置与立体显示面板之间的相对位置计算虚拟摄像机的视点位置,并且对于从图像数据保存单元105中获取的立体图像内容,产生从摄像机视点位置获取的图像数据。图像滤波处理单元106按照由图像滤波器值计算单元104计算出的图像滤波器值,对图像数据执行图像滤波处理,且采用处理过的图像数据作为显示目标。
首先,在此将描述关于运动视差和任意视点图像的产生的关系。
运动视差是指当观看立体物体的观察者的观察位置移位时,立体物体在特定方向上规则地变化被视觉地识别。当观察者和立体物体之间的距离小时,随着观察位置的移位、立体物体的观看方式的变化增加;而当观察者和立体物体之间的距离变大时,随着观察位置的移位、立体物体的观看方式的变化减小。由此,观察者从观看物体的方式的变化来感知观察者和立体物体之间的距离,观看物体的方式的变化是随着观察者的观察位置的移位而产生的。
通常,利用立体图像显示装置,不同视差的图像数据被投影到观察者的左眼和右眼而提示双眼视差。在对多个视点的图像进行空间投影的系统(例如多视点系统和整体系统)中,除了双眼视差外,当观察者移动位置时,还可识别运动视差。同时,在不具有双眼视差的情况下,即相同视差的图像数据被投影到观察者的左眼和右眼的情况下,可通过显示与观察者的移动一致的图像数据来提示运动视差。图89示出在这样情况下的虚拟摄像机的视点位置和视角之间的关系。图89的纵轴表示当从立体图像内容获取图像数据时虚拟摄像机组的视点位置,横轴表示基于观察者的观察位置和立体显示面板之间的相对位置计算的视角。在下文将描述在纵轴上的Vθ0至Vθ6以及在横轴上的θ0至θ6。
图90示出关于虚拟摄像机的视点位置的概念图。在图90的中心部分存在立体图像内容,虚拟摄像机被设置在立体图像内容的四周。通过从设置虚拟摄像机的视点位置(Vθ0、Vθ1、Vθ3、Vθ5、Vθ6)拍摄立体图像内容,来获得任意视点位置上的图像数据。虚拟摄像机视点位置信息可作为图像数据的属性信息被添加到图像数据中。
尽管在图90中示出虚拟摄像机以圆形形式设置在立体图像内容四周的例子,但虚拟摄像机可以以球状形式设置或者立体图像内容与虚拟摄像机之间的距离可被任意地改变。通过以这样方式设置虚拟摄像机,可获得从三维空间上的任意视点位置对立体图像内容进行了拍摄的图像数据。图90的虚拟摄像机的视点位置表示为X轴-Z轴的平面上的角Vθ、Y轴-Z轴的平面上的角Vφ、以及从虚拟摄像机的视点位置到立体显示面板的中心位置的距离VR。
图91示出关于观察者的观察位置与立体图像显示装置的立体图像显示面板之间的相对位置的概念图。图90的立体图像内容显示在图91的立体显示面板的位置上。如同第一示例性实施方式的情况,关于相对位置,用视角θ表示X轴-Z轴的平面上的相对位置的角度。此外,Y轴-Z轴的平面上的角度表示为视角φ,且从虚拟摄像机的视点位置到立体显示面板的中心位置的长度表示为距离R。
根据在立体显示面板平面上显示的立体图像内容与立体显示面板的位置之间的位置关系使图90和图91的坐标轴一致,以使图90中的虚拟摄像机的视点位置(Vθ0、Vθ1、Vθ3、Vθ5、Vθ6)与图91中的相对位置(Vθ0、Vθ1、Vθ3、Vθ5、Vθ6)关联。图89示出了虚拟摄像机的视点位置和相对位置之间的关系。尽管图89示出了相对于相对位置的视角θ的在X轴-Z轴的平面上的角Vθ的例子,然而相对于相对位置的视角φ的在Y轴-Z轴的平面上的角Vφ、以及相对于相对位置的距离R的从虚拟摄像机的视点位置到立体显示面板的中心位置的距离VR也可以用相同的关系表示。
因而,当相对位置移动时,观察者识别图像数据,该图像数据再现实际观看立体物体的方式的变化,使得观察者感知运动视差。在Y轴-Z轴的平面上在视角φ处的运动视差的提示方法也与在X轴-Y轴平面上在视角θ处的运动视差的提示方法相同。此外,随着从观察者的观察位置到立体显示面板的距离的变化,通过改变从虚拟摄像机的视点位置到立体显示面板的中心位置的距离VR(可改变在图像数据中显示的立体图像内容的显示放大率),可提示伴随着相对位置的距离变化的运动视差。尽管从图89的关系图示出了用于提供运动视差的方法,但利用图89的提供方法,在观察者的左眼和右眼示出具有相同视差的图像数据。因此,不能提供双眼视差。上文解释了关于运动视差和双眼视差的产生的关系。
第八示例性实施方式示出了向观察者提示双眼视差和运动视差的结构。
为了在立体图像显示装置中提示双眼视差,如同第一示例性实施方式的情况,对观察者的左眼和右眼示出左眼图像和右眼图像,左眼图像和右眼图像是具有不同视差的图像数据。
具体地,参照如图89中所示的针对视角的虚拟摄像机视点位置的关系,当通过考虑观察者的双眼之间的间隔,将拍摄了左眼图像数据的虚拟摄像机的视点位置和拍摄了右眼图像数据的虚拟摄像机的视点位置分离时,可得到如图92所示的考虑了双眼的视差的针对视角的虚拟的摄像机视点位置的关系。图92中的黑线表示在拍摄了观察者的左眼图像数据时的虚拟摄像机视点位置,长短交替的虚线表示在拍摄观察者的右眼图像数据时的虚拟摄像机视点位置。此处注意,将虚拟摄像机对于左眼和右眼的视点位置之间的差调节为等于图像数据的视差值。
此外,图93示出了针对第一示例性实施方式的图12中示出的视角的、图像滤波器的窗口宽度值的计算结果。第八示例性实施方式的图像滤波处理单元106按照图93中示出的图像滤波器的窗口宽度值,对在图92中示出的虚拟摄像机的视点位置处拍摄到的图像数据进行图像滤波处理。在图92和图93中,通过在3D串扰量变大的视角θ3处将图像滤波器的窗口宽度设定为W2以及在3D串扰量略微变大的视角θ2和θ4处将图像滤波器的窗口宽度设定为W1,来执行图像滤波处理。由此,如同第一示例性实施方式的情况,通过根据3D串扰量调节图像模糊量,可减轻由3D串扰引起的CT-图像的影响。
如在第一示例性实施方式中所述,通过在立体显示面板的反向立体观看空间中将右眼图像和左眼图像交换并进行图像显示,可克服反向视觉的影响。因此,在图92中,反向立体观看空间中左眼和右眼的虚拟摄像机的视点位置是将立体观看空间中左眼和对于右眼的虚拟摄像机的视点位置交换得到的位置。
图94示出关于虚拟摄像机视点位置与视角之间的关系的概念图。图94中的灰色摄像机表示在拍摄观察者左眼的图像数据时的虚拟摄像机视点位置,而白色摄像机表示在拍摄观察者右眼的图像数据时的虚拟摄像机视点位置。此处注意,反向立体观看空间中的视角θ0和θ1处的左眼和右眼的虚拟摄像机的视点位置是将立体观看空间中的视角θ5和θ6处的左眼和右眼的虚拟摄像机的视点位置交换得到的位置。
此外,对于左眼的虚拟摄像机的视点位置和对于右眼的虚拟摄像机的视点位置之间的差为图像数据的视差值。
在图94中,在图88中示出的任意视点图像产生单元190中,在构成立体显示面板的反向立体观看空间的视角范围内将对于左眼和对于右眼的虚拟摄像机的视点位置交换。然而,这不是唯一的方式。例如,如在图95中所示,可以在不交换对于左眼和对于右眼的虚拟摄像机的视点位置的情况下产生图像。在这种情况下,图像滤波处理单元106可以在立体显示面板的反向立体观看空间的视角范围内交换左眼图像和右眼图像。
在图92中示出考虑双眼视差的情况下的相对于视角的虚拟摄像机视点位置关系,所示出的为在各视点处使用两个虚拟摄像机的例子。然而,虚拟摄像机的数目不限于此。该实施方式也可适用于三个或更多个虚拟摄像机的情况。
虚拟摄像机的数目对应于立体显示面板的视点区域的数目。通常,裸眼型的立体图像显示装置通过由立体显示面板划分用于投影立体图像的空间区域且将不同视差的图像投影到划分的各空间区域,而将不同视差的图像投影到观察者的左眼和右眼。由立体显示面板划分的空间区域被称为视点区域。在第一示例性实施方式中,作为双视点立体显示面板的示例,如在图5中所描述的,总共存在两个视点区域,即左眼区域和右眼区域。此外,四视点立体显示面板总共具有四个视点区域,即用于显示第一视点图像、第二视点图像、第三视点图像和第四视点图像的视点区域,如在图24中所述。
图96示出当使用四个虚拟摄像机时的相对于视角的虚拟摄像机的视点位置。
此外,可通过参照示出观察者和立体显示面板之间的相对位置的视角,从N-视点虚拟摄像机检测拍摄未被投影到观察者的图像的虚拟摄像机,且通过在相对位置不连续移动检测出的虚拟摄像机视点位置,来防止反向视觉。例如,在图96的视角θ13处,对于第一视点的由虚拟摄像机拍摄的图像未被投影到观察者。因此,在视角θ13中对于第一视点的虚拟摄像机的视点位置大幅变化,并不连续地移动被检测的虚拟摄像机的视点位置。通过上文所述的不连续地移动被检测的虚拟摄像机的视点位置,在第一视点和第二视点之间、第二视点和第三视点之间、第三视点和第四视点之间、以及第四视点和第一视点之间,也可显示不具有反向视觉的立体图像。
考虑与图88的情况的关系,该情况的特征如下。
任意视点图像产生单元190通过参照由相对位置计算单元102计算的相对位置,从N-视点虚拟摄像机中检测拍摄未被投影给观察者的图像的虚拟摄像机,且通过在相对位置不连续地移动被检测的虚拟摄像机视点位置,防止反向视觉图像投影至观察者。
如上所述,如同上述第一示例性实施方式的情况,利用第八示例性实施方式,可通过根据观察者的观察位置和立体显示面板之间的相对位置的视角显示改变了虚拟摄像机视点位置而得到的图像数据,而提示双眼视差和运动视差。
将参照图97描述在根据第八示例性实施方式的立体图像显示装置中使用的立体图像处理方法的流程图。在图97的流程图的步骤1到步骤5中,执行与第一示例性实施方式相同的处理。
在步骤6中,通过使用任意视点图像产生单元190,参照在步骤2中计算的相对位置,计算在从立体图像内容获取图像数据时的虚拟摄像机视点位置作为运动视差。
在步骤7中,按照在步骤4中计算的图像滤波器值,对在步骤6中计算出的虚拟摄像机视点位置处拍摄到的图像数据执行图像滤波处理。
在步骤8至步骤9中,执行与第一示例性实施方式中的步骤107和步骤108相同的处理。
尽管图92示出了相对于相对位置的视角θ的、在X轴-Z轴的平面上的角Vθ的情况,但也同样适用于相对于相对位置的视角φ的、在Y轴-Z轴的平面上的角Vφ的情况。在立体图像显示装置仅具有水平视差的情况下,使用水平的/竖直的视差图像Vφ容易实现水平的/竖直的视差。
如上所述,可提供如下的立体图像显示装置,利用该立体图像显示装置,不仅减轻了由3D串扰引起的CT-图像的影响,而且可通过根据在观察者的观察位置和立体显示面板之间的相对位置显示任意视点位置的图像数据,来提示与相对位置的移位相对应的立体图像内容的运动视差和双眼视差。
在上文描述的示例性实施方式中示出在立体图像内容周围设置虚拟摄像机并使用通过从任意视点位置拍摄立体图像内容而获取的图像数据的情况。然而,可能存在根据用于拍摄立体图像内容的环境使用总共仅具有两个视点的图像数据的情况,即一个视点用于左眼图像而一个视点用于右眼图像。
在这种情况下,利用图像数据任意视点图像产生单元190,通过使用总共两个视点的图像数据可产生从在两个视点之间的范围内的视点位置拍摄的图像数据。然而,在所述两个视点之间的范围之外,则难于产生从视点位置拍摄的图像数据。因此,在仅可使用总共两个视点的图像数据的情况下,必须通过仅使用在所述两个视点的范围内拍摄的图像数据来提示运动视差。
图98示出在可使用全部任意视点位置的图像数据的情况下的虚拟摄像机的视点位置和视角之间的关系,图99示出图像滤波器的窗口宽度值和视角之间的关系。在图98和图99中的视角θ0到θ7的范围内的关系图与图92和图93的关系图相同。在图98的视角θ0到θ7的范围内,示出了虚拟摄像机视点位置的角Vθ0到Vθ7处的图像数据;在视角θ7到θ17的范围内,示出在角Vθ7到Vθ17处的虚拟摄像机视点位置的图像数据;而在视角θ17到θ27的范围内,示出在角Vθ17到Vθ27处的虚拟摄像机视点位置的图像数据。
接下来,图100示出了仅可使用总共两个视点位置的图像数据的情况下的虚拟摄像机的视点位置与视角之间的关系。此处注意,对于两个视点的图像数据的虚拟摄像机的视点位置被定义为Vθ0和Vθ7。可从两个视点的图像数据产生在虚拟摄像机视点位置Vθ0到Vθ7的范围内的图像数据。因此,使用在视点之间的范围内的图像数据来提示运动视差。
在图100的θ0到θ7的视角范围内以及θ17到θ27的视角范围内,示出了在虚拟摄像机视点位置Vθ0到Vθ7范围内的图像数据。在θ7到θ17的视角范围内,虚拟摄像机的视点位置从Vθ7移位到Vθ0。可仅仅在位于视角范围θ7到θ17的中心部分的视角范围θ11到θ16内执行视点位置的移位。当视差值剧烈变化时,可扩大执行视点位置的移位的视角范围。
在执行视点位置的移位的视角范围θ11到θ16内,对于相对位置变化的运动视差变得相反。然而,在视角范围θ0到θ7内以及在视角范围θ17到θ27内,可将运动视差提供给观察者。如上所述,通过反复显示位于两个视点范围内的任意视点图像的图像数据,即使在仅可使用总共两个视点的图像数据的情况下,也能够在大量视角范围内将运动视差提示给观察者。
此外,尽管图100示出了在视角范围θ0至θ7内以及视角范围θ17至θ27内反复显示图像数据的情况,但可任意改变要反复显示的视角范围。图101示出了当改变要反复显示的视角范围时的、虚拟摄像机的视点位置和视角之间的关系。在图101中,通过在构成立体显示面板的立体观看空间的、视角范围θ3至θ7内、在视角范围θ13至θ17内、以及在视角范围θ23至θ27内反复显示虚拟摄像机视点位置Vθ0至Vθ7范围内的图像数据,来提供运动视差。
考虑与图88的情况的关系,该情况的特征可总结如下。任意视点图像产生单元190通过参照保存在图像数据保存单元105内的左眼图像数据和右眼图像数据,检测拍摄各图像数据时的虚拟摄像机视点位置,且产生在虚拟摄像机的视点位置之间的范围内拍摄的图像数据。然后,即使在仅可使用左眼图像和右眼图像的情况下,通过参照由相对位置计算单元102计算出的相对位置来反复显示所产生的图像数据,将运动视差提供给观察者。
如上文所述,可提供如下的立体图像显示装置,该立体图像显示装置通过即使在仅可使用两个视点的图像数据的情况下,反复显示在两个视点之间的区域内的任意视点位置的图像数据,不仅减轻了在许多视角范围内由3D串扰引起的CT-图像,而且可根据相对位置的移位来提供立体图像内容的运动视差和双眼视差。
(其它示例性实施方式)
尽管上文描述了根据上文描述的所有示例性实施方式的图像滤波器值计算单元104通过使用保存在装置特性数据保存单元103内的装置特性数据,来计算图像滤波器值的情况,但可以在不使用装置特性数据的情况下计算图像滤波器值,使得即使在不能获取装置特性数据的状态下,也可实现图像滤波处理。
在该情况下,与使用装置特性数据的情况下的图像滤波处理相比,图像滤波器值的精度变差。然而,通过使用这样的立体显示面板,该立体显示面板具有3D串扰量小、立体观看空间宽度大的立体显示特性,即使观察者移动位置也能够以实际可用的水平执行减轻由3D串扰引起的CT-图像的影响的图像滤波处理。
作为在不使用装置特性数据的情况下计算图像滤波器值的一个示例,存在观察者自身主观地设定图像滤波器值的情况。作为第一次设定,在观察者观察从立体图像显示装置的立体显示面板投影的立体图像的同时,观察者根据观察者位置(观察距离Z和视角θ)来设定立体观看空间、3D串扰观看空间和反向立体观看空间。此处注意,期望在多个观看位置执行该设定以提高图像滤波器值的精度。此外,在该设定时,可使用设置于立体图像显示装置上的输入装置,例如键盘和触摸屏。
作为第二设定,在3D串扰观看空间的中心位置和远端位置,设定观察者可以最佳地观看立体图像内容的图像滤波器值(图像滤波器的窗口宽度值)。此外,作为第三设定,可以在3D串扰观看空间的中心位置和远端位置(3D串扰观看空间和立体观看空间之间的边界位置)之间的中间位置附近设定观察者可最佳地观看立体图像内容的图像滤波器值(图像滤波器的窗口宽度值)。图像滤波器值计算单元104通过使用第一、第二和第三设定值,连接3D串扰观看空间的远端位置、观察者设定了图像滤波器值的3D串扰观看空间的中心位置、以及该3D串扰观看空间的中心位置和远端位置之间的中间位置处的图像滤波器值,来计算针对全部视角的图像滤波器值。在图8中,示出了上文描述的中心位置61、远端位置62、63,和中间位置64、65。
还可通过仅仅使用上文描述的第一设定和第二设定,连接立体观看空间、3D串扰观看空间和反向立体观看空间的图像滤波器值,来计算针对全部视角的图像滤波器值。此外,第一设定值、第二设定值和第三设定值可被保存在装置特性数据保存单元103内、或者可通过省略装置特性数据保存单元103而被存储在图像滤波器值计算单元104内。
下文为用于计算另一图像滤波器值的一个示例。即使在显示立体图像内容的立体图像显示装置的立体显示面板单元107的装置特性数据为未知的情况下,通过预先将多个立体显示面板的装置特性数据与规格数据(例如立体显示面板的屏幕尺寸和最佳观看距离等)相关联,而将多个立体显示面板的装置特性数据保存在装置特性数据保存单元103内,并且当显示立体图像内容时,通过从装置特性数据保存单元103获取与规格数据关联的装置特性数据而计算图像滤波器值,该规格数据与用于显示的立体显示面板的规格数据类似。
如上所述,可提供如下的立体图像显示装置和立体图像处理方法,利用该立体图像显示装置和立体图像处理方法,即使在立体图像显示装置的立体显示面板单元107的装置特性数据未知的情况下,通过计算图像滤波器值来执行图像滤波处理,减轻由3D串扰引起的CT-图像的影响,使得观察者不会感到不适。
此处,对各示例性实施方式的效果进行总结。利用第一至第七示例性实施方式,可提供如下的立体图像显示装置和立体图像处理方法,通过该立体图像显示装置和立体图像处理方法,即使当观察者的观察位置移位时,也可减轻由3D串扰引起的CT-图像的影响,使得观察者不会感到不适。另外,根据第一、第二、第三、第四和第六示例性实施方式,可提供如下的立体图像显示装置和立体图像处理方法,通过该立体图像显示装置和立体图像处理方法,即使不使用立体图像内容的视差值,也可减轻由3D串扰引起的CT-图像的影响,使得观察者不会感到不适。另外,根据第七示例性实施方式,可提供如下的立体图像显示装置和立体图像处理方法,通过随着由于视差调节处理而使立体图像内容的视差值降低,应用图像滤波器值而对立体图像内容执行图像模糊,向观察者通知视差调节处理使得立体图像内容的视差值降低。
尽管上文已经参照上述各示例性实施方式描述了本发明,但本发明不仅仅限于上文描述的各示例性实施方式。本领域技术人员想到的各种变化和修改可被添加到本发明的结构和细节中。此外,各示例性实施方式的结构的一部分或全部的适宜组合也可包括在本发明中。
尽管示例性实施方式的一部分或全部可总结如下,但本发明不仅仅限于以下内容。
补充注释1:
一种立体图像显示装置,该立体图像显示装置包括:
立体显示面板单元,该立体显示面板单元包括:光分离模块,该光分离模块将光线分配至至少两个不同的视点方向,如果将分配所述光线的方向定义为第一方向,则存在:立体观看空间,在该立体观看空间空间中通过分别将右眼图像投影到观察者的右眼且将左眼图像投影到观察者的左眼而显示立体图像;反向立体观看空间,在该空间中左眼图像被投影到右眼而右眼图像被投影到左眼,该反向立体观看空间位于在第一方向上从立体观看空间移位的位置处;以及3D串扰观看空间,在该3D串扰观看空间中右眼图像和左眼图像被投影到右眼和/或左眼上,该3D串扰观看空间在第一方向上介于立体观看空间和反向立体观看空间之间;
观察者位置测量单元,该观察者位置测量单元测量观察者的观察位置;
相对位置计算单元,该相对位置计算单元计算所述立体显示面板单元相对于测量到的所述观察位置的相对位置;
图像滤波器值计算单元,该图像滤波器值计算单元根据该相对位置计算用于调节图像模糊量的图像滤波器值;以及
图像滤波处理单元,该图像滤波处理单元按照图像滤波器值对图像数据执行图像滤波处理。
补充注释2:
如补充注释1所述的立体图像显示装置,还包括:
装置特性数据保存单元,该装置特性数据保存单元保存装置特性数据,该装置特性数据包含所述立体显示面板单元的针对所述相对位置的显示特征;以及
图像数据保存单元,该图像数据保存单元保存或接收图像数据,其中
所述图像滤波器值计算单元基于所述相对位置和所述装置特性数据,计算适于立体图像显示的所述图像滤波器值。
补充注释3:
如在补充注释2中描述的立体图像显示装置,其中,
所述相对位置为所述观察者的观察位置与所述立体显示面板单元的显示平面之间的视角。
补充注释4:
如补充注释2或补充注释3所述的立体图像显示装置,其中,
所述装置特性数据为3D串扰特性数据,
基于所述3D串扰特性数据计算所述图像滤波器值。
补充注释5:
如补充注释4所述的立体图像显示装置,其中,
在所述3D串扰特性数据当中,在将3D串扰量超过规定值的区域定义为3D串扰观看空间、将3D串扰量等于或小于规定值的区域定义为非3D串扰区域时,所述3D串扰观看空间的所述图像滤波器值大于所述非3D串扰区域的所述图像滤波器值。
补充注释6:
如补充注释1至5中任一项所述的立体图像显示装置,其中,
所述图像滤波器值计算单元计算针对每个所述图像数据不同的图像滤波器值,以抑制由图像滤波处理引起的图像质量劣化。
补充注释7:
如补充注释2至6中任一项所述的立体图像显示装置,还包括3D串扰图像区域计算单元,该3D串扰图像区域计算单元基于所述相对位置和所述装置特性数据来计算3D串扰图像区域,其中,
所述图像滤波处理单元按照所述图像滤波器值对所述图像数据中的所述3D串扰图像区域执行所述图像滤波处理。
补充注释8:
如补充注释2至7中任一项所述的立体图像显示装置,还包括温度测量单元,该温度测量单元测量环境温度,其中,
所述图像滤波器值计算单元基于对应于相对位置和由该温度测量单元测量的环境温度的所述装置特性数据,计算适于立体图像显示的图像滤波器值。
补充注释9:
如补充注释2至8中的任一项所述的立体图像显示装置,其中,
所述图像滤波器值计算单元基于所述相对位置、所述装置特性数据以及所述图像数据所保持的视差值,计算适于立体图像显示的所述图像滤波器值。
补充注释10:
如补充注释1至9中任一项所述的立体图像显示装置,其中,
所述图像滤波器值计算单元通过使用适于出现由3D串扰引起的CT-图像的图像区域的方向性特征的横向非对称图像滤波器形状,计算所述图像滤波器值。
补充注释11:
如补充注释10所述的立体图像显示装置,其中,
所述图像滤波器值计算单元通过参照所述图像数据所保持的视差值,使用在以弹出式方向显示的图像区域与以深度方向显示的图像区域内所述图像滤波器形状的左侧方向和右侧方向彼此相反的横向非对称图像滤波器形状,计算所述图像滤波器值。
补充注释12:
如补充注释2至11中任一项所述的立体图像显示装置,还包括:
视差调节值计算单元,该视差调节值计算单元基于所述相对位置和所述装置特性数据计算适于立体图像显示的视差调节值;以及
视差调节处理单元,该视差调节处理单元按照所述视差调节值对所述图像数据执行视差调节处理。
补充注释13:
如补充注释1至12中任一项所述的立体图像显示装置,其中,
所述图像滤波器值计算单元根据所述相对位置将区域划分成:立体观看空间,在该立体观看空间中,左眼立体图像被投影到所述左眼而右眼立体图像被投影到所述右眼;反向立体观看空间,在该反向立体观看空间中,右眼立体图像被投影到所述左眼而左眼立体图像被投影到所述右眼;以及3D串扰观看空间,在该3D串扰观看空间中,右眼立体图像和左眼立体图像被投影到所述左眼、或者左眼立体图像和右眼立体图像被投影到所述右眼;以及
当观察者从所述立体观看空间移动到所述反向立体观看空间时,图像滤波器值计算单元对于所述3D串扰观看空间的图像数据赋予大于所述立体观看空间或所述反向立体观看空间的图像滤波器值的图像滤波器值。
补充注释14:
一种立体图像显示装置,该立体图像显示装置包括:
立体显示面板单元,该立体显示面板单元包括:光分离模块,该光分离模块向至少两个不同的视点方向分配光线,且该立体显示面板单元仅包括通过将不同视点的图像分别投影到观察者的双眼而显示立体图像的立体观看空间;
观察者位置测量单元,该观察者位置测量单元测量观察者的观察位置;
相对位置计算单元,该相对位置计算单元计算立体显示面板单元相对于观察位置的相对位置;
图像滤波器值计算单元,该图像滤波器值计算单元根据所述相对位置计算用于调节图像模糊量的图像滤波器值;以及
图像滤波处理单元,该图像滤波处理单元根据所述图像滤波器值对图像数据执行图像滤波处理。
补充注释15:
如补充注释14所述的立体图像显示装置,其中,
所述相对位置是观察者的观察位置与所述立体显示面板单元的显示平面之间的视角。
补充注释16:
如补充注释14或15所述的立体图像显示装置,其中,
所述图像滤波器值计算单元计算针对每个所述图像数据不同的所述图像滤波器值,以抑制由图像滤波处理引起的图像质量劣化。
补充注释17:
如补充注释14至16中任一项所述的立体图像显示装置,该立体图像显示装置还包括测量环境温度的温度测量单元,其中,
所述图像滤波器值计算单元通过对应于所述相对位置和由所述温度测量单元测量的环境温度,计算适于立体图像显示的图像滤波器值。
补充注释18:
如补充注释14至17中任一项所述的立体图像显示装置,其中,
所述图像滤波器值计算单元基于所述相对位置和所述图像数据所保持的视差值,计算适于立体图像显示的所述图像滤波器值。
补充注释19:
如补充注释14至18中任一项所述的立体图像显示装置,其中,
所述图像滤波器值计算单元通过参照所述图像数据所保持的视差值,使用在以弹出式方向显示的图像区域与以深度方向显示的图像区域内所述图像滤波器形状的左侧方向和右侧方向彼此相反的横向非对称图像滤波器形状,计算所述图像滤波器值。
补充注释20:
如补充注释14至18中任一项所述的立体图像显示装置,还包括:
视差调节值计算单元,该视差调节值计算单元基于所述相对位置计算适于立体图像显示的视差调节值;和
视差调节处理单元,该视差调节处理单元按照所述视差调节值对所述图像数据执行视差调节处理。
补充注释21:
如补充注释1至20中任一项所述的立体图像显示装置,还包括任意视点图像产生单元,该任意视点图像产生单元的功能为:通过参照由所述相对位置计算单元计算出的相对位置,计算两个或更多个虚拟摄像机的视点位置,其中,
所述图像滤波处理单元按照由所述图像滤波器值计算单元计算出的图像滤波器值,对从摄像机拍摄到的图像数据执行图像滤波处理,并且将处理后的图像数据作为显示目标。
补充注释22:
如补充注释21所述的具有N-视点(N为3或更大)的立体图像显示装置,其中,
所述任意视点图像产生单元通过参照由所述相对位置计算单元计算出的相对位置,从N-视点虚拟摄像机中检测拍摄未被投影至观察者的图像的虚拟摄像机,并且在所述相对位置上不连续地移动检测到的虚拟摄像机的视点位置。
补充注释23:
如补充注释21所述的立体图像显示装置,其中,
所述任意视点图像产生单元从保存在所述图像数据保存单元中的多个图像数据中参照视点位置,来指定位于视点位置之间的任意视点位置;和
根据由所述相对位置计算单元计算出的相对位置,反复显示从位于视点位置之间的任意视点位置拍摄到的图像数据。
补充注释24:
如补充注释23所述的立体图像显示装置,其中,
保存在所述图像数据保存单元中的图像数据为总共两个视点的图像数据,该图像数据为右眼图像数据和左眼图像数据;
所述任意视点图像产生单元从所述右眼图像数据和所述左眼图像数据中参照总共两个视点,来指定位于两个视点位置之间的任意视点位置,
根据由所述相对位置计算单元计算出的相对位置,反复显示从位于两个视点位置之间的任意视点位置拍摄到的图像数据。
补充注释25:
如补充注释24所述的立体图像显示装置,其中,
所述任意视点图像产生单元在所述立体显示面板单元的立体观看空间中根据所述相对位置,反复显示从位于两个视点位置之间的任意视点位置拍摄到的图像数据。
补充注释26:
一种将图像数据输出到立体显示面板单元的图像处理装置,所述立体显示面板单元包括:光分离模块,该光分离模块将光线分配至至少两个不同的视点方向,如果将分配所述光线的方向定义为第一方向,则存在:立体观看空间,在该立体观看空间中通过分别将右眼图像投影到观察者的右眼且将左眼图像投影到观察者的左眼而显示立体图像;反向立体观看空间,在该空间左眼图像被投影到右眼而右眼图像被投影到左眼,该空间位于在第一方向上从立体观看空间移位的位置处;以及串扰区域,在该串扰区域处右眼图像和左眼图像被投影到右眼和/或左眼,该串扰区域在第一方向上位于立体观看空间和反向立体观看空间之间;且所述图像处理装置包括:
相对位置计算单元,该相对位置计算单元计算所述立体显示面板单元相对于观察者的观察位置的相对位置;
图像滤波器值计算单元,该图像滤波器值计算单元根据该相对位置计算用于调节图像模糊量的图像滤波器值;以及
图像滤波处理单元,该图像滤波处理单元按照图像滤波器值对图像数据执行图像滤波处理。
补充注释27:
如补充注释26所述的图像处理装置,还包括:
观察者位置测量单元,该观察者位置测量单元测量观察者的观察位置;
图像数据接收单元,该图像数据接收单元接收执行所述图像滤波处理之前的所述图像数据;以及
图像数据发送单元,该图像数据发送单元输出执行了所述图像滤波处理的所述图像数据。
补充注释28:
如补充注释26或27所述的图像处理装置,还包括:
装置特性数据保存单元,该装置特性数据保存单元保存包含立体显示面板单元的针对所述相对位置的显示特征的装置特性数据,其中,
所述图像滤波器值计算单元基于所述装置特性数据和所述相对位置计算所述图像滤波器值。
补充注释29:
一种使用立体显示面板单元的立体图像处理方法,该立体显示面板单元包括:光分离模块,该光分离模块将光线分配至至少两个不同的视点方向,如果将分配所述光线的方向定义为第一方向,则存在:立体观看空间,在该立体观看空间中通过分别将右眼图像投影到观察者的右眼且将左眼图像投影到观察者的左眼而显示立体图像;反向立体观看空间,在该反向立体观看空间中左眼图像被投影到右眼而右眼图像被投影到左眼,该反向立体观看空间位于在第一方向上从立体观看空间移位的位置处;以及串扰区域,在串扰区域中右眼图像和左眼图像被投影到右眼和/或左眼,该串扰区域在第一方向上位于立体观看空间和反向立体观看空间之间,且该方法包括:
测量观察者的观察位置;
计算所述立体显示面板单元相对于该观察位置的相对位置;
根据该相对位置计算调节图像模糊量的图像滤波器值;
按照图像滤波器值对图像数据执行图像滤波处理;以及
将执行了图像滤波处理的图像数据输出到所述立体显示面板单元。
补充注释30:
如补充注释29所述的立体图像处理方法,包括:
获取包含所述立体显示面板单元的针对所述相对位置的显示特征的装置特性数据;
当计算所述图像滤波器值时,基于所述装置特性数据以及所述相对位置计算所述图像滤波器值;
在执行所述图像滤波处理之前获取所述图像数据;以及
当对所述图像数据执行图像滤波处理时对所获取到的所述图像数据执行所述图像滤波处理。
补充注释31:
如补充注释30所述的立体图像处理方法,包括:
基于所述相对位置和所述装置特性数据,计算3D串扰图像区域;和
当对所述图像数据执行所述图像滤波处理时,对所述图像数据中的3D串扰图像区域执行所述图像滤波处理。
工业实用性
本发明可应用于立体图像处理系统和立体图像显示系统,该立体图像显示系统具有在立体图像显示装置上显示立体图像内容的功能。注意到本发明不仅仅限于上文描述的示例性实施方式,在本发明的范围内可应用必要的变化和修改。