CN102714749A - 立体影像显示装置以及方法 - Google Patents

Abstract

根据实施方式，立体影像显示装置包括显示部和提示部。显示部通过对来自像素的光线进行控制的多个光线控制元件，能够显示视点不同的多个图像。提示部将根据在多个视听位置处产生逆视的光线控制元件的个数而算出的、每个视听位置针对显示部的可视性提示给观众。

Description

立体影像显示装置以及方法

技术领域

实施方式涉及立体影像的显示。

背景技术

通过某种立体影像显示装置，观众不用使用特殊的眼镜(即，通过裸眼)就能够视听立体影像。所述立体影像显示装置显示视点不同的多个图像，它们的光线的指向方向是通过光线控制元件(例如视差屏障(parallax barrier)、柱状透镜(lenticular lens)等)来控制的。指向方向被控制的光线被导入到观众的两眼。如果视听位置合适，则观众能够识别立体影像。

作为所述立体影像显示装置的问题点之一，列举能够良好地视听立体影像的区域受限定的情形。例如，存在如下的视听位置：左眼所感知的图像的视点与右眼所感知的图像的视点相比相对地成为右侧，无法正确地识别立体影像。该视听位置被称为逆视区域。因此，使观众识别能够良好地视听裸眼方式的立体影像的区域等的视听支持功能是有用的。

专利文献1：日本专利第3443271号公报

发明内容

因而，实施方式的目的在于提供一种裸眼方式的立体影像的视听支持功能。

根据实施方式，立体影像显示装置包括显示部和提示部。显示部通过对来自像素的光线进行控制的多个光线控制元件，能够显示视点不同的多个图像。提示部将根据在多个视听位置处产生逆视的光线控制元件的个数而算出的、每个视听位置针对显示部的可视性提示给观众。

附图说明

图1是例示第一实施方式所涉及的立体影像显示装置的框图。

图2是例示图1的立体影像显示装置的动作的流程图。

图3是例示第二实施方式所涉及的立体影像显示装置的框图。

图4是例示图3的立体影像显示装置的动作的流程图。

图5是例示第三实施方式所涉及的立体影像显示装置的框图。

图6是例示图5的立体影像显示装置的动作的流程图。

图7是例示第四实施方式所涉及的立体影像显示装置的框图。

图8是例示图7的立体影像显示装置的动作的流程图。

图9是例示第五实施方式所涉及的立体影像显示装置的框图。

图10是例示图9的立体影像显示装置的动作的流程图。

图11是通过裸眼进行的立体观察的原理的说明图。

图12是左右眼所感知的视点图像的说明图。

图13是亮度分布图的周期性的说明图。

图14是视点亮度分布图的周期性的说明图。

图15A是逆视的说明图。

图15B是逆视的说明图。

图16A是视点选择的说明图。

图16B是视点选择的说明图。

图17是光线控制元件位置的说明图。

图18是视听位置的说明图。

图19是亮度分布图的说明图。

图20是视点亮度分布图的说明图。

图21是正视区域的说明图。

图22是视点图像生成方法的说明图。

图23是例示映射图(map)的图。

图24是例示第一实施方式所涉及的映射图生成装置的框图。

图25是例示图1的立体影像显示装置的变形例的框图。

附图标记说明

11：用户控制信号；12、13、16、18：立体影像信号；14：影像信号；15：深度(depth)信号；17：观众位置信息；51、52、53、54、55：提示部；101、112、122、142：可视性计算部；102、131：映射图生成部；103：选择器；104：显示部；105：存储部；111：视点选择部；121、141：视点图像生成部；132：传感器。

具体实施方式

下面参照附图来说明实施方式。

此外，在各实施方式中，对于与已说明的其它实施方式相同或类似的要素附加相同或类似的符号并基本省略重复的说明。

(第一实施方式)

如图1所示，第一实施方式所涉及的立体影像显示装置具备提示部51和显示部(显示器)104。提示部51包括可视性计算部101、映射图生成部102以及选择器103。

显示部104显示包含在立体影像信号12中的多个视点图像(信号)。关于显示部104，典型的是液晶显示器，但也可以是等离子体显示器、OLED(有机发光二极管)显示器等其它显示器。

显示部104在其面板上具备多个光线控制元件(例如视差屏障、柱状透镜等)。多个视点图像的光线如图11所示那样，通过各光线控制元件，例如在水平方向上分离而被导入到观众的两眼。此外，光线控制元件当然也可以以使光线在垂直方向等其它方向上分离的方式配置在面板上。

显示部104所具备的光线控制元件具有与放射亮度有关的特性(以下也称为亮度分布图)。例如，在以显示器的最大亮度进行发光时，能够将透过光线控制元件之后的光的衰减率设为分布图(profile)。

例如如图19所示，各光线控制元件将视点图像(子像素)1、…、9的光线进行分离。此外，在以后的说明中，作为一例，说明显示九个视点图像1、…、9的情况。在这些视点图像1、…、9中，视点图像1与最右侧的视点对应，视点图像9与最左侧的视点对应。也就是说，如果进入左眼的视点图像的索引(index)大于进入右眼的视差图像的索引，则不会成为逆视。视点图像5的光线在方向角θ＝0处最强地放射。此外，通过用亮度计等来测量各视点图像的光线以方向角θ放射的光的强度，从而能够制作亮度分布图。此处的方向角θ是-π/2≤θ≤π/2的范围。即，亮度分布图是依赖于显示部104(所具备的光线控制元件)的结构而被确定的。

在图19中，仅记述了光线控制元件的背面的像素，但是实际的显示部104如图13那样排列有光线控制元件和子像素。因此，方向角θ越陡峭，越能够观测与测量亮度分布图的光线控制元件相邻的光线控制元件的背面的子像素的光，但是由于光线控制元件与子像素之间的距离小，因此与相邻的光线控制元件的下方的子像素之间的光程差小。因而，可认为亮度分布图相对于方向角θ具有周期性。另外，从图13也可知，能够根据光线控制元件与显示器之间的距离、子像素的大小以及光线控制元件的特性等设计信息来求出上述周期。

显示部104所具备的各光线控制元件的位置如图17所示那样，能够利用以显示部104的中心为起点(原点)的位置向量s来表示。而且，各视听位置如图18所示那样，能够利用以显示部104的中心为起点的位置向量p来表示。此外，图18是从竖直方向观察显示部104及其周边时的俯视图。即，在从竖直方向观察显示部104及其周边的平面上规定视听位置。

在位置向量p的视听位置处，能够使用图20如下那样导出通过来自位置向量s的光线控制元件的光线而感知的亮度。在图20中，点C表示光线控制元件位置，点A表示视听位置(例如观众的眼睛的位置)。另外，点B表示从点A向显示部104的垂线的垂足。而且，θ表示以点C为基准的点A的方向角。根据上述亮度分布图，能够基于方向角θ来计算各视点图像的光线的放射亮度。此外，方向角θ在几何学上例如能够按照下述式(1)来计算。

[式1]

$\mathrm{\θ}={\tan }^{-1}\frac{\stackrel{\‾}{\mathrm{BC}}}{\stackrel{\‾}{\mathrm{AB}}}---\left(1\right)$

即，如果在任意的视听位置处算出来自所有光线控制元件的放射亮度，则能够得到如图15A、图15B、图16A、图16B所示那样的亮度分布图。此外，在以后的说明中，为了与上述的每个光线控制元件的亮度分布图进行区分，将每个所述视听位置的亮度分布图称为视点亮度分布图。

另外，如果考虑方向角θ和亮度分布图的周期性，则可知在视点亮度分布图中也有周期性。例如在图14中，设存在能够观察来自如下子像素的光的位置A，其中，该子像素是点C的左边第一个光线控制元件的背面存在的视点图像5的子像素。此时，根据方向角θ的周期性，存在能够观察点C的左边第二个光线控制元件的背面存在的视点图像5的子像素的位置A’。同样地，存在能够观察点C的光线控制元件的背面存在的视点图像5的子像素的位置A”。由于视点图像i的子像素的排列为等间隔，因此如图14所示，从显示器起的垂线为相同大小的A、A’、A”以等间隔排列。

如果利用该视点亮度分布图，则在位置向量p的视听位置处，能够用下述式(2)来表示通过来自位置向量s的光线控制元件的视点图像i的光线而感知的像素值。在此，关于各视点图像1、…、9，分别定义为索引i＝1、…、9。另外，将视点亮度分布图定义为a()。另外，将光线控制元件w的背面的子像素的视点图像i的像素值设为x(w，i)。

[式2]

$y(s,p,i)=\underset{w\∈\mathrm{\Ω}}{\mathrm{\Σ}}a(s,p,w,i)x(w,i)---\left(2\right)$

在此，Ω是包含显示部104所具备的所有光线控制元件的位置向量s的集合。此外，在从光线控制元件位置s输出的光线中不仅包含来自位置向量s的光线控制元件的背面存在的子像素的光线，还包含来自其周边存在的子像素的光线，因此在式(2)中计算不仅包含位置向量s的光线控制元件的背面的像素、而且还包含其周边的子像素值的和。

上述式(2)还能够如下述式(3)那样使用向量来表示。

[式3]

y(s，p，i)＝a(s，p，i)x(i)        (3)

即，在将视点图像的总数设为N时，在位置向量p的视听位置处，能够用下述式(4)来表示通过来自位置向量s的光线控制元件的各视点图像的光线而感知的亮度。

[式4]

$Y(s,p)=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}a(s,p,i)x\left(i\right)---\left(4\right)$

此外，上述式(4)还能够利用下述式(5)、(6)来表示为如下述式(7)那样。

[式5]

$\hat{a}(s,p)=(a(s,p,1)...a(s,p,9))---\left(5\right)$

[式6]

X＝(x(1)…x(9))^T            (6)

[式7]

$Y(s,p)=\hat{a}(s,p)X---\left(7\right)$

并且，如果将在视听位置p处能够观察的图像设为一维向量Y(p)，则能够用下述式(8)来表示它。

[式8]

Y(p)＝A(p)X                (8)

在此，直观地说明上述式(8)。例如如图12所示，来自中央的光线控制元件的光线之中，视点图像5的光线被右眼所感知，视点图像7的光线被左眼所感知。因此，观众的两眼感知不同的视点图像，通过该视点图像间的视差，能够进行立体观察。也就是说，由于视听位置p不同而感知出不同的影像，由此能够进行立体观察。

可视性计算部101计算每个视听位置针对显示部104的可视性。例如在能够正确地视听立体影像的正视区域中，由于产生逆视的光线控制元件的数量的大小等因素，可视性针对每个视听位置也会不同。因而，计算每个视听位置针对显示部104的可视性，并作为每个视听位置的立体影像的品质的一个指标来利用，由此能够进行有效的视听支持。

可视性计算部101至少根据显示部104的特性(例如亮度分布图、视点亮度分布图等)来计算每个视听位置的可视性。可视性计算部101将所算出的每个视听位置的可视性输入到映射图生成部102。

例如可视性计算部101按照下述式(9)来计算函数ε(s)。函数ε(s)是在由于位置向量s的光线控制元件而产生逆视时返回1、在没有产生逆视时返回0的函数。

[式9]

此外，在以后的说明中，| |_L表示向量的准则，使用L1准则或L2准则。

在此，位置向量p是指观众的两眼的中心。此外，d表示两眼视差向量。即，向量p+d/2是指观众的左眼，向量p-d/2是指观众的右眼。如果被观众的左眼最强地感知的视点图像的索引大于被右眼最强地感知的视点图像的索引，则ε(s)为1，否则为0。

而且，可视性计算部101使用通过式(9)算出的函数ε(s)，按照下述式(10)来计算位置向量p的视听位置处的可视性Q₀。

[式10]

$Q_0\left(p\right)=\exp (-\frac{\left(\underset{s\∈\mathrm{\Ω}}{\mathrm{\Σ}}\mathrm{\ϵ}(s,p)\right)}{2{\mathrm{\σ}}_1^2})---\left(10\right)$

在式(10)中，σ₁是显示部104所具备的光线控制元件的个数越多则取越大的值的常数。另外，Ω是包含显示部104所具备的所有光线控制元件的位置向量s的集合。根据可视性Q₀，能够评价产生逆视的光线控制元件的个数(少的程度)。可视性计算部101既可以将可视性Q₀作为最终的可视性来输出，也可以如后述那样实施不同的运算。

例如，可视性计算部101也可以代替上述式(9)而利用下述式(11)来计算ε(s)。

[式11]

在式(11)中，σ₂是显示部104所具备的光线控制元件的个数越多则取越大的值的常数。根据式(11)，考虑如下的主观性质：与在画面中央产生的逆视相比，在画面端部产生的逆视更显眼。即，越是离显示部104中心的距离大的光线控制元件，在产生了逆视的情况下ε(s)返回的值越小。

另外，可视性计算部101也可以按照下述式(12)来计算Q₁，并使用该Q₁和上述Q₀按照下述式(13)来计算最终的可视性Q。或者，可视性计算部101也可以代替上述Q₀而将Q₁计算为最终的可视性Q。

[式12]

$Q_1\left(p\right)=\exp (-\frac{{\left|\mathrm{pc}\left(p\right)\right|}_L}{2{\mathrm{\σ}}_3^2})---\left(12\right)$

[式13]

Q(p)＝Q₀(p)Q₁(p)           (13)

在式(12)中，σ₃是显示部104所具备的光线控制元件的个数越多则取越大的值的常数。

在式(8)中，示出了通过各视点图像的线性和来表现所感知的图像的情形。式(8)中的视点亮度分布图矩阵A(p)都是正定矩阵，因此通过进行一种低通滤波器的操作而产生模糊。因此，提出了如下方法：在视点p处，预先准备没有模糊的清晰的图像Y^(p)(式(14)的右边第2项)，使通过式(14)定义的能量E最小，由此确定要显示的视点图像X。

[式14]

$E={|A\left(p\right)X-\hat{Y}\left(p\right)|}_L---\left(14\right)$

能量E能够如下述式(15)那样改写。在两眼的中心位于使式(15)最小那样的视听位置p处时，能够观察式(8)的模糊的影响被降低了的清晰的图像。可以设定一个或多个这样的视听位置p，在以后的说明中用设定视点Cj来表示它们。

[式15]

$E={|\left(\begin{array}{c}A(p+\frac{d}{2})\\ A(p-\frac{d}{2})\end{array}\right)X-\left(\begin{array}{c}\hat{Y}(p+\frac{d}{2})\\ \hat{Y}(p-\frac{d}{2})\end{array}\right)|}_L---\left(15\right)$

例如，图21的C1、C2表示上述设定视点。与设定视点大致相同的视点亮度分布图矩阵如之前所述那样在不同的视点位置处也周期性地出现，因此例如图21、C’1、C’2也可视为设定视点。在式(7)中用C(p)来表示这些设定视点中的与视听位置p最近的设定视点。根据可视性Q₁，能够评价从设定视点起的视听位置的偏移(小的程度)。

映射图生成部102生成将来自可视性计算部101的每个视听位置的可视性提示给观众的映射图。关于映射图，典型的是如图23所示那样将每个视听区域的可视性利用对应的颜色来表现的图像，但是不限于此，也可以是观众能够掌握每个视听位置的立体影像的可视性的任意形式的信息。映射图生成部102将所生成的映射图输入到选择器103。

选择器103选择来自映射图生成部102的映射图的显示的有效/无效。选择器103例如如图1所示那样按照用户控制信号11来选择映射图的显示的有效/无效。此外，选择器103也可以按照其它条件来选择映射图的显示的有效/无效。例如，选择器103也可以在从显示部104开始显示立体影像信号12起到经过规定时间为止将映射图的显示设为有效，之后设为无效。当选择器103将映射图的显示设为有效时，来自映射图生成部102的映射图经由选择器103而被提供给显示部104。显示部104能够使映射图重叠到例如正在显示的立体影像信号12而进行显示。

下面使用图2说明图1的立体影像显示装置的动作。

当处理开始时，可视性计算部101计算每个视听位置针对显示部104的可视性(步骤S201)。映射图生成部102生成将在步骤S201中算出的每个视听位置的可视性提示给观众的映射图(步骤S202)。

选择器103例如按照用户控制信号11来判断映射图显示是否为有效(步骤S203)。如果判断为映射图显示有效，则处理进入步骤S204。在步骤S204中，显示部104使在步骤S202中生成的映射图重叠到立体影像信号12而进行显示，且处理结束。另一方面，如果在步骤S203中判断为映射图显示为无效，则省略步骤S204。即，显示部104不显示在步骤S202中生成的映射图，且处理结束。

如以上所说明那样，第一实施方式所涉及的立体影像显示装置计算每个视听位置针对显示部的可视性，并生成将其提示给观众的映射图。因而，根据本实施方式所涉及的立体影像显示装置，观众能够容易地掌握每个视听位置的立体影像的可视性。特别是，由本实施方式所涉及的立体影像显示装置生成的映射图并不是简单地提示正视区域，而是以多个阶段来提示正视区域内的可视性，因此有助于立体影像的视听支持。

此外，在本实施方式中，可视性计算部101根据显示部104的特性来计算每个视听位置的可视性。即，如果决定了显示部104的特性，则也可以事先计算出每个视听位置的可视性来生成映射图。如果将这样事先生成的映射图保存到存储部(存储器等)中，则即使将图1的可视性计算部101以及映射图生成部102置换为上述存储部，也能够得到同样的效果。因而，本实施方式如图24所示那样还涉及包括可视性计算部101、映射图生成部102以及存储部105的映射图生成装置。而且，本实施方式如图25所示那样还涉及包括存储由图24的映射图生成装置生成的映射图的存储部105(如果需要还包括选择器103)以及显示部104的立体影像显示装置。

(第二实施方式)

如图3所示，第二实施方式所涉及的立体影像显示装置具备提示部52和显示部104。提示部52包括视点选择部111、可视性计算部112、映射图生成部102以及选择器103。

视点选择部111被输入立体影像信号12，根据用户控制信号11来选择包含在立体影像信号12中的多个视点图像的显示顺序。选择显示顺序后的立体影像信号13被提供给显示部104。而且，所选择的显示顺序被通知给可视性计算部112。具体地说，视点选择部111根据例如对映射图中的某一个位置进行指定的用户控制信号11来选择视点图像的显示顺序，以使指定位置包含在正视区域中(或者，使指定位置处的可视性最大)。

在图15A和图15B的例子中，在观众的右侧存在逆视区域。在使这种视点图像的显示顺序朝向右方向移动一幅时，如图16A和图16B所示那样观众所感知的视点图像朝向右方向移动一幅。换言之，正视区域和逆视区域分别朝向右方向进行移动。通过所述显示顺序的选择，能够进行正视区域的变更、指定位置处的可视性的变更等。

可视性计算部112根据显示部104的特性和由视点选择部111选择的显示顺序，计算每个视听位置的可视性。即，例如式(3)的x(i)根据由视点选择部111选择的显示顺序而发生变化，因此可视性计算部112需要基于此来计算每个视听位置的可视性。可视性计算部112将所算出的每个视听位置的可视性输入到映射图生成部102。

下面使用图4说明图3的立体影像显示装置的动作。

当处理开始时，视点选择部111被输入立体影像信号12，根据用户控制信号11来选择包含在立体影像信号12中的多个视点图像的显示顺序，并将立体影像信号13提供给显示部104(步骤S211)。

接着，可视性计算部112根据显示部104的特性和在步骤S211中由视点选择部111选择的显示顺序，计算每个视听位置的可视性(步骤S212)。

如以上所说明那样，第二实施方式所涉及的立体影像显示装置选择视点图像的显示顺序，以使指定位置包含在正视区域中或者使指定位置处的可视性最大。因而，根据本实施方式所涉及的立体影像显示装置，观众能够缓和视听环境(家具配置等)的限制，能够提高所期望的视听位置处的立体影像的可视性。

此外，在本实施方式中，可视性计算部112根据显示部104的特性和由视点选择部111选择的显示顺序，计算每个视听位置的可视性。在此，视点选择部111可选择的显示顺序的数量(即，视点的数量)是有限的。即，也可以事先计算被赋予各显示顺序时的每个视听位置的可视性来生成映射图。如果要将这样事先生成的与各显示顺序对应的映射图保存到存储部(存储器等)中，并在显示立体影像时读出与由视点选择部111选择的显示顺序对应的映射图，则即使将图3的可视性计算部112和映射图生成部102置换为上述存储部，也能够得到同样的效果。因而，本实施方式还涉及包括可视性计算部112、映射图生成部102以及未图示的存储部的映射图生成装置。而且，本实施方式还涉及包括将由上述映射图生成装置事先生成的与各显示顺序对应的映射图进行存储的未图示的存储部、视点选择部111(如果需要还包括选择器103)以及显示部104的立体影像显示装置。

(第三实施方式)

如图5所示，第三实施方式所涉及的立体影像显示装置具备提示部53和显示部104。提示部53包括视点图像生成部121、可视性计算部122、映射图生成部102以及选择器103。

视点图像生成部121被输入影像信号14和深度信号15，根据它们来生成视点图像，并将包含所生成的视点图像的立体影像信号16提供给显示部104。此外，影像信号14既可以是二维图像(即，一个视点图像)，也可以是三维图像(即，多个视点图像)。以往已知用于根据影像信号14和深度信号15来生成所期望的视点图像的各种方法，视点图像生成部121可以利用任意方法。

例如，如图22所示，在将九个摄像机横向排列来进行摄影时，能够得到9个视点图像。然而，典型的是对立体影像显示装置输入由一个或两个摄像机拍摄到的一个或两个视点图像。已知如下技术：根据该一个或两个视点图像来推测各像素的深度值，或者从所输入的深度信号15直接获取各像素的深度值，由此虚拟地生成现实中未摄影的视点图像。关于图22的例子，如果提供与i＝5对应的视点图像作为影像信号14，则通过根据各像素的深度值来调整视差量，由此能够虚拟地生成与i＝1、…、4、6、…、9对应的视点图像。

具体地说，视点图像生成部121例如根据对映射图中的某一个位置进行指定的用户控制信号11来选择所生成的视点图像的显示顺序，以使在指定位置处感知的立体影像的品质提高。例如如果视点数是3以上，则视点图像生成部121选择视点图像的显示顺序以使(来自影像信号14的)视差量小的视点图像导入到指定位置。如果视点数是2，则视点图像生成部121选择视点图像的显示顺序以使指定位置包含在正视区域中。由视点图像生成部121选择的显示顺序以及与影像信号14对应的视点被通知给可视性计算部122。

在此，简单说明将视差量小的视点图像导入到指定位置的处理、与该指定位置处的立体影像的品质的提高之间的关系。

作为使根据影像信号14和深度信号15生成的立体影像的品质变差的一个因素，已知遮挡(occlusion)。即，有时必须利用不同视点的图像来表现在影像信号14中无法参照的(不存在的)区域(例如被对象所遮蔽的区域(阴面))。一般，在与影像信号14之间的视点间距离越大，即来自影像信号14的视差量越大，越容易产生该现象。例如关于图22的例子，如果提供与i＝5对应的视点图像作为影像信号14，则相比于与i＝6对应的视点图像，在与i＝9对应的视点图像中，与i＝5对应的视点图像中不存在的区域(阴面)更大。因而，通过视听视差量小的视点图像，能够抑制因遮挡引起的立体影像的品质变差。

可视性计算部122根据显示部104的特性、由视点图像生成部121选择的显示顺序以及与影像信号14对应的视点，计算每个视听位置的可视性。即，式(3)的x(i)根据由视点图像生成部121选择的显示顺序而发生变化，从影像信号14的视点起的距离越大，立体影像的品质越变差，因此可视性计算部122需要基于它们来计算每个视听位置的可视性。可视性计算部122将所算出的每个视听位置的可视性输入到映射图生成部102。

具体地说，可视性计算部122按照下述式(16)来计算函数λ(s，p，i_t)。此外，为了简单，在式(16)中假定影像信号14是一个视点图像。在视听位置向量p的视听位置处所感知的视差图像的视点越接近影像信号14的视点i_t，函数λ(s，p，i_t)具有越小的值。

[式16]

$\mathrm{\λ}(s,p,i_t)$

$=|\arg \underset{i}{\max }{\left|a(s,p+\frac{d}{2},i)\right|}_L-i_t|+|\arg \underset{i}{\max }{\left|a(s,p-\frac{d}{2},i)\right|}_L-i_t|---\left(16\right)$

而且，可视性计算部122使用通过式(16)算出的函数λ(s，p，i_t)，按照式(17)来计算位置向量p的视听位置处的可视性Q₂。

[式17]

$Q_2\left(p\right)=\exp \{-\frac{{\left(\underset{s\∈\mathrm{\Ω}}{\mathrm{\Σ}}\mathrm{\λ}(s,p,i_t)\right)}^2}{2{\mathrm{\σ}}_4^2}\}---\left(17\right)$

在式(17)中，σ₄是显示部104所具备的光线控制元件的个数越多则具有越大的值的常数。另外，Ω是包含显示部104所具备的所有光线控制元件的位置向量s的集合。根据可视性Q₂，能够评价因遮挡引起的立体影像的品质变差的程度。可视性计算部122既可以将该可视性Q₂作为最终的可视性Q来输出，也可以与上述可视性Q₀或Q₁组合来计算最终的可视性Q。即，可视性计算部122按照下述式(18)、(19)等来计算最终的可视性Q。

[式18]

Q(p)＝Q₀(p)Q₂(p)              (18)

[式19]

Q(p)＝Q₀(p)Q₁(p)Q₂(p)         (19)

下面使用图6说明图5的立体影像显示装置的动作。

当处理开始时，视点图像生成部121生成基于影像信号14和深度信号15的视点图像，根据用户控制信号11来选择它们的显示顺序，并将立体影像信号16提供给显示部104(步骤S221)。

接着，可视性计算部122根据显示部104的特性、在步骤S221中由视点图像生成部121选择的显示顺序以及与影像信号14对应的视点，计算每个视听位置的可视性(步骤S222)。

如以上所说明的那样，第三实施方式所涉及的立体影像显示装置根据影像信号和深度信号生成视点图像，选择视点图像的显示顺序以使这些视点图像中的来自影像信号的视差量小的视点图像被导入到指定位置。因而，根据本实施方式所涉及的立体影像显示装置，能够抑制因遮挡引起的立体影像的品质变差。

此外，在本实施方式中，可视性计算部122根据显示部104的特性、由视点图像生成部121选择的显示顺序以及与影像信号14对应的视点，计算每个视听位置的可视性。在此，视点图像生成部121可选择的显示顺序的数量(即，视点的数量)是有限的。另外，有可能与影像信号14对应的视点的数量也是有限的，与影像信号14对应的视点说不定是固定(例如中央的视点)的。即，也可以事先计算出被赋予了各显示顺序(以及影像信号14的各视点)时的每个视听位置的可视性来生成映射图。如果将这样事先生成的与各显示顺序(以及影像信号14的各视点)对应的映射图保存到存储部(存储器等)中，并在显示立体影像时读出与由视点图像生成部121选择的显示顺序及影像信号14的视点对应的映射图，则即使将图5的可视性计算部122和映射图生成部102置换为上述存储部，也能够得到同样的效果。因而，本实施方式还涉及包括可视性计算部122、映射图生成部102以及未图示的存储部的映射图生成装置。而且，本实施方式还涉及包括将由上述映射图生成装置事先生成的与各显示顺序(以及影像信号14的各视点)对应的映射图进行存储的未图示的存储部、视点图像生成部121(如果需要还包括选择器103)以及显示部104的立体影像显示装置。

(第四实施方式)

如图7所示，第四实施方式所涉及的立体影像显示装置具备提示部54、传感器132以及显示部104。提示部54包括视点图像生成部121、可视性计算部122、映射图生成部131以及选择器103。此外，视点图像生成部121和可视性计算部122既可以被置换为可视性计算部101，也可以被置换为视点图像选择部111和可视性计算部112。

传感器132检测观众的位置信息(以下称为观众位置信息17)。例如，传感器132既可以利用脸识别技术来检测观众位置信息17，也可以利用人类感应传感器等领域中周知的其它方法来检测观众位置信息17。

映射图生成部131与映射图生成部102同样地生成与每个视听位置的可视性相应的映射图。而且，映射图生成部131在所生成的映射图上重叠观众位置信息17之后提供给选择器103。例如，映射图生成部131在映射图中的与观众信息17对应的位置处附加规定的符号(例如、圆记号、×记号、识别特定的观众的标记(例如事先设定的脸标记)等)。

下面使用图8来说明图7的立体影像显示装置的动作。

在步骤S222(或者，也可以是步骤S202或步骤S212)结束后，映射图生成部131根据所算出的可视性来生成映射图。映射图生成部131将由传感器132检测出的观众位置信息17重叠到映射图之后提供给选择器103(步骤S231)，处理进入步骤S203。

如以上所说明那样，第四实施方式所涉及的立体影像显示装置生成重叠了观众位置信息的映射图。因而，根据本实施方式所涉及的立体影像显示装置，观众能够掌握映射图中的自己的位置，因此能够实施平滑地移动、视点的选择等。

此外，在本实施方式中，关于映射图生成部131根据可视性而生成的映射图，也可以如上所述那样事先生成并存储到未图示的存储部中。即，如果使映射图生成部131从上述存储部读出适合的映射图并重叠观众位置信息17，则即使将图7的可视性计算部122置换为上述存储部，也能够得到同样的效果。因而，本实施方式还涉及包括将事先生成的映射图进行存储的未图示的存储部、读出存储在该存储部中的映射图并重叠观众位置信息17的映射图生成部131、视点图像生成部121(如果需要还包括选择器103)以及显示部104的立体影像显示装置。

(第五实施方式)

如图9所示，第五实施方式所涉及的立体影像显示装置具备提示部55、传感器132以及显示部104。提示部55包括视点图像生成部141、可视性计算部142、映射图生成部131以及选择器103。此外，映射图生成部131也可以被置换为映射图生成部102。

视点图像生成部141与上述视点图像生成部121不同，不是根据用户控制信号11而是根据观众位置信息17来生成基于影像信号14和深度信号15的视点图像，并将包含所生成的视点图像的立体影像信号18提供给显示部104。具体地说，视点图像生成部141选择所生成的视点图像的显示顺序，以使在当前的观众位置处所感知的立体影像的品质提高。例如，如果视点数是3以上，则视点图像生成部141选择视点图像的显示顺序以使(来自影像信号14的)视差量小的视点图像被导入到当前的观众位置。如果视点数是2，则视点图像生成部141选择视点图像的显示顺序以使当前的观众位置包含在正视区域中。由视点图像生成部141选择的显示顺序以及与影像信号14对应的视点被通知给可视性计算部142。

此外，视点图像生成部141也可以根据传感器132的检测精度来选择视点图像的生成方法。具体地说，视点图像生成部141在传感器132的检测精度低于阈值时，也可以与视点图像生成部121同样地根据用户控制信号11来生成视点图像。另一方面，如果传感器132的检测精度为阈值以上，则根据观众位置信息17来生成视点图像。

或者，视点图像生成部141也可以被置换为如下的未图示的视点图像选择部，即，该视点图像选择部被输入立体影像信号12，并根据观众位置信息17来选择包含在立体影像信号12中的多个视点图像的显示顺序。该视点图像选择部例如选择视点图像的显示顺序，以使当前的观众位置包含在正视区域中、或者使当前的观众位置处的可视性最大。

可视性计算部142与可视性计算部122同样地根据显示部104的特性、由视点图像生成部121选择的显示顺序以及与影像信号14对应的视点，计算每个视听位置的可视性。可视性计算部142将所算出的每个视听位置的可视性输入到映射图生成部131。

下面使用图10来说明图9的立体影像显示装置的动作。

当处理开始时，视点图像生成部141生成基于影像信号14和深度信号15的视点图像，根据由传感器132检测出的观众位置信息17选择来它们的显示顺序，并将立体影像信号18提供给显示部104(步骤S241)。

接着，可视性计算部142根据显示部104的特性、在步骤S241中由视点图像生成部141选择的显示顺序以及与影像信号14对应的视点，计算每个视听位置的可视性(步骤S242)。

如以上所说明那样，第五实施方式所涉及的立体影像显示装置根据观众位置信息而自动生成立体影像信号。因而，根据本实施方式所涉及的立体影像显示装置，观众不需要进行移动和操作而能够视听高品质的立体影像。

此外，在本实施方式中，可视性计算部142与可视性计算部122同样地根据显示部104的特性、由视点图像生成部141选择的显示顺序以及与影像信号14对应的视点，计算每个视听位置的可视性。即，也可以事先计算出被赋予了各显示顺序(以及影像信号14的各视点)时的每个视听位置的可视性来生成映射图。如果将这样事先生成的与各显示顺序(以及影像信号14的各视点)对应的映射图保存到存储部(存储器等)中，并在显示立体影像时读出与由视点图像生成部141选择的显示顺序及影像信号14的视点对应的映射图，则即使将图9的可视性计算部142置换为上述存储部，也能够得到同样的效果。因而，本实施方式还涉及包括可视性计算部142、映射图生成部102以及未图示的存储部的映射图生成装置。而且，本实施方式还涉及包括将由上述映射图生成装置事先生成的映射图进行存储的未图示的存储部、读出存储在该存储部中的映射图并重叠观众位置信息17的映射图生成部131、视点图像生成部141(如果需要还包括选择器103)以及显示部104的立体影像显示装置。

上述各实施方式的处理能够通过将通用的计算机用作基本硬件来实现。实现上述各实施方式的处理的程序也可以保存在能够由计算机读取的存储介质中而提供。程序作为能够安装的形式的文件或能够执行的形式的文件而存储在存储介质中。作为存储介质，只要是磁盘、光盘(CD-ROM、CD-R、DVD等)、磁光盘(MO等)、半导体存储器等能够存储程序并且能够由计算机读取的存储介质，就可以是任意形态。另外，也可以将实现上述各实施方式的处理的程序保存到与因特网等网络连接的计算机(服务器)上并经由网络下载到计算机(客户端)。

虽然说明了本发明的几个实施方式，但是这些实施方式只是作为例子而示出的，并非限定发明的范围。这些新的实施方式能够以其它各种方式实施，在不脱离发明的宗旨的范围内能够进行各种省略、置换、变更。这些实施方式及其变形包含在发明的范围、宗旨中，并且包含在权利要求书所记载的发明及其均等的范围中。

Claims (11)

1.一种立体影像显示装置，具备：

显示部，通过对来自像素的光线进行控制的多个光线控制元件，能够显示视点不同的多个图像；以及

提示部，将根据在多个视听位置处产生逆视的上述光线控制元件的个数而算出的、每个上述视听位置针对上述显示部的可视性提示给观众。

2.根据权利要求1所述的立体影像显示装置，其特征在于，

每个上述视听位置的可视性是进一步根据上述显示部中的产生上述逆视的上述光线控制元件的位置而算出的。

3.根据权利要求1所述的立体影像显示装置，其特征在于，

每个上述视听位置的可视性是进一步根据从预先设定的理想的视听位置起的偏移而算出的。

4.根据权利要求1所述的立体影像显示装置，其特征在于，

上述映射图是将每个上述视听位置的可视性利用对应的颜色来表现的图像。

5.根据权利要求1所述的立体影像显示装置，其特征在于，

上述映射图按照用户的控制而选择性地显示于上述显示部。

6.根据权利要求1所述的立体影像显示装置，其特征在于，

还具备选择部，该选择部根据用户的控制来选择上述多个图像在上述显示部中的显示顺序。

7.根据权利要求1所述的立体影像显示装置，其特征在于，

还具备图像生成部，该图像生成部根据影像信号和深度信号来生成上述多个图像，并根据用户的控制来选择上述多个图像在上述显示部中的显示顺序。

8.根据权利要求1所述的立体影像显示装置，其特征在于，还具备：

传感器，检测观众的位置信息；以及

映射图生成部，将上述观众的位置信息重叠到上述映射图。

9.根据权利要求1所述的立体影像显示装置，其特征在于，还具备：

传感器，检测观众的位置信息；以及

图像生成部，根据影像信号和深度信号来生成上述多个图像，并根据上述观众的位置信息来选择上述多个图像在上述显示部中的显示顺序。

10.根据权利要求1所述的立体影像显示装置，其特征在于，

上述提示部包括：

计算部，计算每个上述视听位置针对上述显示部的可视性；以及

映射图生成部，生成将每个上述视听位置的可视性提示给观众的映射图。

11.一种立体影像显示方法，其中，

通过对来自像素的光线进行控制的多个光线控制元件，将视点不同的多个图像显示到显示部，

将根据在多个视听位置处产生逆视的上述光线控制元件的个数而算出的、每个上述视听位置针对上述显示部的可视性提示给观众。

Images