CN101394572A - 三维图像处理装置以及方法 - Google Patents

三维图像处理装置以及方法 Download PDF

Info

Publication number
CN101394572A
CN101394572A CNA2008102157416A CN200810215741A CN101394572A CN 101394572 A CN101394572 A CN 101394572A CN A2008102157416 A CNA2008102157416 A CN A2008102157416A CN 200810215741 A CN200810215741 A CN 200810215741A CN 101394572 A CN101394572 A CN 101394572A
Authority
CN
China
Prior art keywords
mentioned
image
element images
pixel
view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2008102157416A
Other languages
English (en)
Inventor
福岛理惠子
平山雄三
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Publication of CN101394572A publication Critical patent/CN101394572A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/305—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses

Abstract

本发明提供一种三维图像处理装置以及方法，可以使用在任意的条件下取得的多视点信息，生成显示通过简易的处理维持了正确度的三维图像的要素图像阵列。对于在任意的条件下取得的多视点信息中包含的各视差图像，根据来自以在第1视距处向大致同一区域入射那样地调整了构成要素图像的像素数的各像素的光线的入射位置、和多视点图像的图像取得位置，将由来于多视点图像的视差信息分配给构成显示面板的各像素，生成用于三维图像显示的要素图像阵列。

Description

三维图像处理装置以及方法
技术领域
本发明涉及用于生成与三维图像的显示相关的要素图像阵列的三维图像处理装置以及方法。
背景技术
作为对包括注视点的投影面，使用了从相互不同的多个视点位置取得的多个多视点图像的三维图像显示装置，公知采用了多视角(Multi-View)式、稠密多视角式、集成成像(integral imaging)方式(II方式)、一维II式(1D-II方式：仅沿着水平方向显示视差图像)等显示方式的装置。在这些显示方式中，具有如下的共同特性：视差图像的数目(视点数)越多，三维图像的画质越高，但为了取得成为视差图像的源的多视点图像而所需的负担增大。另外，将把多个多视点图像的投影面设定成相同时的投影面设为显示面，并抽出与出射光瞳的坐标对应的像素信息而得到的图像成为构成该出射光瞳的要素图像的视差图像。
在上述的各种显示方式中，在每个显示方式中视点数、视差图像的提示间隔、光线的关系都不同。因此，在希望正确地显示三维图像的情况下，即使包括注视点的投影面是相同，也需要从与各显示方式对应的视点取得多视点图像。相反地，如果使用显示方式不同的多视点图像，则所显示的三维图像成为包括错误的图像，所以存在画质降低这样的问题。这样，相对于取得多视点图像所需的负荷变高，所取得的多视点图像的通用性变低。
因此，以往为了提高显示方式之间的互换性而提出各种技术。例如，在专利文献1中，公开出在视点数未满足期望值的情况下制成并内插视点间的图像的技术。另外，在专利文献2中，公开出通过向所邻接的多个像素列分配多个来自从同一视点位置取得的视点图像的视差图像而内插视点数的技术。
另外，作为统一地处理显示方式不同的多视点信息的研究方法，公知被称为光线空间的技术(例如参照非专利文献1)。通过使用该技术，可以从光线空间生成与任意的三维图像显示装置对应的多视点信息。例如，从根据100的视点位置的多视点信息生成的光线空间中，可以生成从任意的位置取得的多视点信息。即，如果生成过一次光线空间，则可以生成与任意的显示方式对应的多视点信息。
专利文献1：特开平09-9143号公报
专利文献2：特开2005-331844号公报
非专利文献1：Masayuki Tanimoto and Toshiaki Fujii，“FTV-Free Viewpoint Television”，ISO/IEC JTC 1/SC 29/WG 11 M8595，July2002.
发明内容
但是，在专利文献1的技术中，存在如果想要增大三维图像的正确度则用于内插的计算量增加这样的问题。另外，即使增加了计算量，根据不足的信息通过内插生成的视差图像的精度、即三维图像的正确度也不及从正确的视差图像生成的三维图像。
另外，在专利文献2的技术中，由于所内插的部分的视点图像并非正确的信息，所以存在所显示的三维图像不正确等无法回避画质劣化这样的问题。另外，在可以根据之前生成的多个视点信息生成任意的多视点信息的非专利文献1的技术中，存在用于生成光线空间的负荷高这样的问题。
本发明是鉴于上述问题而完成的，其目的在于提供一种三维图像处理装置以及方法，可以使用在任意条件下取得的多视点信息，生成显示通过简易的处理维持了正确度的三维图像的要素图像阵列。
为了解决上述的课题，并达成目的，本发明的三维图像处理装置的特征在于，具备：存储单元，存储定义与显示面板和光线控制部相关的规格的规格信息，其中，该显示面板矩阵状地排列有具有规定宽度的像素，在多个图像上显示用于三维图像显示的各要素图像，该光线控制部被配置在上述显示面板的前面，通过以上述规定宽度的大致整数倍的间距宽度设定的出射光瞳对来自上述各像素的光线方向进行控制，朝向从上述显示面板离开规定距离的区域射出与该各出射光瞳对应的要素图像；接受单元，接受包括从相互不同的视点位置取得的多个视差图像的多视点图像；可视区域控制单元，根据上述规格信息，决定上述要素图像的像素数，以使连接构成上述要素图像的各像素的中心、与对应于该要素图像的上述出射光瞳的中心的光线的轨迹组在从上述光线控制部离开规定距离的第1视距处向大致同一区域入射；取得位置设定单元，根据上述规格信息，在从上述光线控制部离开规定距离的第2视距的面上，设定上述多视点图像的图像取得位置；入射位置导出单元，分别导出通过上述出射光瞳射出的来自上述要素图像的各像素的光线向上述第2视距的面入射的入射位置；取得位置确定单元，针对每个上述入射位置，确定最接近该入射位置的图像取得位置；以及生成单元，向与上述各入射位置对应的光线的射出源的各像素，分配从与由上述取得位置确定单元确定的图像取得位置对应的多视点图像抽出的视差图像，生成要素图像阵列。
本发明的三维图像处理方法的特征在于，包括如下的步骤：接受步骤，接受从相互不同的视点位置取得的多个多视点图像；可视区域控制步骤，根据定义与显示面板和光线控制部相关的规格的规格信息，其中，该显示面板矩阵状地排列有具有规定宽度的像素，在多个图像上显示用于三维图像显示的各要素图像，该光线控制部被配置在上述显示面板的前面，通过以上述规定宽度的大致整数倍的间距宽度设定的出射光瞳对来自上述各像素的光线方向进行控制，朝向从上述显示面板离开规定距离的区域射出与该各出射光瞳对应的要素图；从而决定上述要素图像的像素数，以使连接构成上述要素图像的各像素的中心与对应于该要素图像的上述出射光瞳的中心的光线的轨迹组在从上述光线控制部离开规定距离的第1视距处向大致同一区域入射；取得位置设定步骤，根据上述规格信息，在从上述光线控制部离开规定距离的第2视距的面上，设定上述多视点图像的图像取得位置；入射位置导出步骤，分别导出通过上述出射光瞳射出的来自上述要素图像的各像素的光线向上述第2视距的面入射的入射位置；取得位置确定步骤，针对每个上述入射位置，确定最接近该入射位置的图像取得位置；以及生成步骤，向与上述各入射位置对应的光线的射出源的各像素，分配从与在上述取得位置确定步骤中确定的图像取得位置对应的多视点图像抽出的视差图像，生成要素图像阵列。
本发明的三维图像处理程序的特征在于，使计算机作为如下的单元发挥功能：接受单元，接受从相互不同的视点位置取得的多个多视点图像；可视区域控制单元，根据定义与显示面板和光线控制部相关的规格的规格信息，其中，该显示面板矩阵状地排列有具有规定宽度的像素，在多个图像上显示用于三维图像显示的各要素图像，该光线控制部被配置在上述显示面板的前面，通过以上述规定宽度的大致整数倍的间距宽度设定的出射光瞳对来自上述各像素的光线方向进行控制，朝向从上述显示面板离开规定距离的区域射出与该各出射光瞳对应的要素图；从而决定上述要素图像的像素数，以使连接构成上述要素图像的各像素的中心与对应于该要素图像的上述出射光瞳的中心的光线的轨迹组在从上述光线控制部离开规定距离的第1视距处向大致同一区域入射；取得位置设定单元，根据上述规格信息，在从上述光线控制部离开规定距离的第2视距的面上，设定上述多视点图像的图像取得位置；入射位置导出单元，分别导出通过上述出射光瞳射出的来自上述要素图像的各像素的光线向上述第2视距的面入射的入射位置；取得位置确定单元，针对每个上述入射位置，确定最接近该入射位置的图像取得位置；以及生成单元，向与上述各入射位置对应的光线的射出源的各像素，分配从与在上述取得位置确定单元中确定的图像取得位置对应的多视点图像抽出的视差图像，生成要素图像阵列。
根据本发明，将在任意的条件下取得的多视点信息中包含的各视差图像，根据来自以在第1视距处向大致同一区域入射那样地调整了构成要素图像的像素数的各像素的光线的入射位置、和多视点图像的图像取得位置，分配给构成显示面板的各像素。由此，可以使来自各像素的光线方向与各视差图像的取得方向接近，所以可以生成显示通过简易的处理维持了正确度的三维图像的要素图像阵列。
附图说明
图1是示出三维图像显示装置的结构的图。
图2是示出显示部的结构的图。
图3-1是显示部的水平剖面图。
图3-2是示出从要素图像射出的光线的图。
图4-1是显示部的水平剖面图。
图4-2是示出要素图像宽度和显示要素图像的子像素的图。
图5是示出多视点图像取得位置与视差图像的关系的一个例子的示意图。
图6是示出多视点图像取得位置与视差图像的关系的一个例子的示意图。
图7是示出要素图像、构成要素图像的视差图像、出射光瞳的关系的图。
图8-1是用于说明视差图像的观察方法的图。
图8-2是用于说明视差图像的观察方法的图。
图8-3是用于说明视差图像的观察方法的图。
图8-4是用于说明视差图像的观察方法的图。
图9是示出三维图像显示装置的功能结构的图。
图10是显示部的水平剖面图。
图11是示出投影面与多视点图像取得位置的视点序号的关系的图。
图12是显示部的水平剖面图。
图13是示出投影面与多视点图像取得位置的视点序号的关系的图。
图14是示出投影面与多视点图像取得位置的视点序号的关系的图。
图15是示出投影面与多视点图像取得位置的视点序号的关系的图。
图16是示出投影面与多视点图像取得位置的视点序号的关系的图。
图17是显示部的水平剖面图。
图18是示出要素图像阵列生成处理的步骤的流程图。
图19是显示部的水平剖面图。
图20是显示部的水平剖面图。
(标号说明)
100   三维图像显示装置
1     控制部
2     操作部
3     显示部
31    FPD
32    子像素
33    要素图像
34    微透镜(lenticular)板
35    柱透镜(cylindrical lens)
4     ROM
5     RAM
6     存储部
7     通信部
8     总线
9     规格信息
11    多视点信息接受部
12    规格信息取得部
13    要素图像阵列生成部
14 显示控制部
具体实施方式
以下，参照附图，对三维图像处理装置、方法以及程序的最佳实施方式进行详细说明。
图1是示出本实施方式的三维图像显示装置100的硬件结构的框图。如图1所示，三维图像显示装置100具备控制部1、操作部2、显示部3、ROM(Read Only Memory，只读存储器)4、RAM(RandomAccess Memory，随机访问存储器)5、存储部6、通信部7等，各部通过总线8连接。
控制部1包括CPU(Central Processing Unit，中央处理单元)或GPU(Graphics Processing Unit，图形处理单元)等运算装置，将RAM 5的规定区域作为作业区域，通过与预先存储在ROM 4或存储部6中的各种控制程序的协作来执行各种处理，综合地对构成三维图像显示装置100的各部的动作进行控制。另外，控制部1通过与预先存储在ROM 4或存储部6中的规定的程序的协作，实现后述的各功能部(多视点信息接受部11、规格信息取得部12、要素图像阵列生成部13、显示控制部14)的功能。
操作部2是鼠标或键盘等输入设备，将从用户操作输入的信息作为指示信号接受，并向控制部1输出该指示信号。
显示部3具备以液晶等为代表的平板显示器(FPD)和微结构透镜等光线控制元件。另外，将在后面，对显示部3的结构进行叙述。
RAM 5是SDRAM等非易失性存储设备，作为控制部1的作业区域或视频存储器发挥功能。具体而言，在后述的要素图像阵列的生成所涉及的处理时，发挥临时存储各种变量和参数的值的缓冲器等作用。
存储部6具有可以磁或光学地进行记录的存储介质，可改写地存储与三维图像显示装置100的控制相关的程序和各种信息。另外，存储部6存储有与显示部3的规格相关的后述的规格信息9(参照图9)。
通信部7是在与外部装置之间进行通信的接口，向控制部1输出所接收到的各种信息，并且向外部装置发送从控制部1输出的各种信号。
此处，参照图2，对显示部3的结构进行详细说明。图2是概略地示出显示部3的结构的侧视图。另外，在图2中示出将视点数n设为n＝9的显示部3。
显示部3如上所述具有FPD和光线控制元件，通过根据观察位置切换经由光线控制元件的出射光瞳进行观察的像素，使观察者视认三维图像。即，一个出射光瞳相当于显示部3的一个像素。因此，显示部3的分辨率低于FPD 31自身所具有的分辨率。另外，为了将分辨率的降低抑制成最小限，可知仅沿着水平方向提示视差图像的作法是有效的。以下，在本实施方式中对仅沿着水平方向提示视差图像的情况进行说明。
如图2所示，显示部3具备：矩阵状地排列有子像素32的FPD 31；和在该FPD 31的显示面的前面配置的作为光线控制元件的微透镜板34。此处，根据抑制上述的分辨率降低的理由，由于仅沿着水平方向提示视差图像，所以构成微透镜板34的柱透镜35的透镜成分仅成为水平成分。另外，在图2中示出使用了光学孔径沿着垂直方向连续的柱透镜35的结构，但也可以是倾斜地配置该柱透镜35的结构。
在FPD 31的显示面中，沿着垂直方向一列排列的子像素32被配置成在同一列内红(R)、绿(G)、蓝(B)被交替地排列，以使通过单一透镜放大的子像素不成为单色。通过采用这样的颜色排列，可以使用R、G、B来构成从观察位置经由柱透镜35观察的视差图像。另一方面，被配置成沿着水平方向也在直线上排列成一列，并在同一列内R、G、B被交替排列，但不限于该例子，也可以配置成在同一行中为相同颜色。
在一般的彩色图像显示装置中，由横向排列的RGB这3个子像素32构成1个有效像素、即可以任意地设定亮度和颜色的最小单位，所以子像素的纵向宽度(3Pp)与横向宽度(Pp)之比成为3:1。另外，在本实施方式中，示出了子像素的纵向宽度与横向宽度之比为3:1的情况，但纵向宽度与横向宽度之比不限于该例子。以下，将子像素32的横向宽度Pp称为像素间距。
在图2所示的显示面中，由纵向排列的RGB这3个子像素32构成1个有效像素，通过将该有效像素横向排列的9列的有效像素，显示作为针对一个柱透镜35的视差图像的集合的要素图像33(用黑框表示)。
构成微透镜板34的各柱透镜35分别配置在要素图像33的大致正面。通过这样的结构，根据水平方向的观察位置的变动，切换经由与显示部3的像素相当的出射光瞳、即柱透镜35的透镜而放大地观察到的有效像素。另外，在本发明中将子像素32的纵横比设为3:1，所以通过设为9视差可以将显示部3的像素设为正方形。
在1D-II方式或多视角式中，显示部3的基本结构也与图2所示的结构例子相同，通过根据观察位置来切换经由出射光瞳观察的有效像素上显示的视差图像33(与一个出射光瞳对应的要素图像的构成成分)，使观察者视认三维图像。此处，由于柱透镜35背后的要素图像33的要素图像宽度P有限，所以可以观察三维图像的区域、即可视区域也被限制。以下，使用图3-1、图3-2对要素图像33的宽度与可视区域的关系进行说明。
图3-1是显示部3的水平剖面图。另外，图3-2是放大了图3-1所示的FPD 31的最左端部分的要素图像33L的图。另外，在图3-1、图3-2中，“P”意味着要素图像的横向宽度。另外，“g”意味着微透镜板34的透镜与要素图像33之间的距离(透镜像素间距离)。另外，“Ls 1”意味着从观察者的观察位置到微透镜板34的距离(视距)，对应于后述的可视区域最佳化距离。另外，图3-1中阴影部示出由要素图像33L形成的可视区域。
如图3-1所示，如果观察者的观察位置以O1→O2→O3这样的方式沿着水平方向移动，则如图3-2所示，根据该移动，经由柱透镜35的透镜依次切换来自子像素(有效像素)P1→P9的显示用光线而观察。另外，在图3-2中，箭头表示经由柱透镜35的透镜观察各有效像素的主方向。实际上，像素具有有限的宽度，并且也受到透镜的散焦影响，可以以该主方向为中心而观察的范围扩大。
此处，如果针对一个要素图像，将以视距Ls 1观察三维图像的可视区域的宽度(可视区域宽度)设为“VW”，则可视区域宽度VW具有下式(1)的关系，所以可以如下式(2)那样表示。
VW:(Pp×n)＝Ls 1:g     (1)
VW＝((Pp×n)×Ls 1)/g  (2)
如从上式(2)可知，在像素间距Pp和视点数n为一定的情况下，通过减小透镜像素间距离g的值，可以扩大可视区域宽度VW。另外，在该情况下，由于提示视差图像的光线的间隔扩大，所以深度方向的显示性能降低。
这样，在可以观察三维图像的区域中显示部3的硬件上的规格和制约的关系紧密。因此，为了以有限的视距使可以观察三维图像的区域成为最大，需要在视距Ls 1处使通过上述式(1)的关系式决定的所有经由柱透镜35观察要素图像的范围、即可视区域宽度VW一致。
此处，参照图4-1、图4-2，对在视距Ls 1处使可视区域宽度VW一致时的步骤进行说明。另外，图4-1是示出显示部3的水平剖面图的图。另外，图4-2是放大了图4-1所示的FPD 31的最左端部分中包含的一个要素图像33L的图，示出要素图像宽度和显示要素图像的子像素。
在视距Ls 1处使可视区域宽度VW一致的情况下，如图4-1、图4-2所示，使连接要素图像33L的中心与柱透镜35的中心(出射光瞳)的直线在视距Ls 1处交叉成一点即可。为此，柱透镜35的水平间距Ps与要素图像宽度P需要满足下式(3)的关系。另外，下式(3)可以如下式(4)那样变形。
Ls 1:(Ls 1+g)＝Ps:P     (3)
Ps＝P×Ls 1/(Ls 1+g)    (4)
为了满足上式(4)，在多视角式的显示部3中，制作成使各柱透镜35的水平间距Ps比排列在显示面内的子像素32的横向周期、即像素间距Pp的视点数n倍仅短Ls/(Ls 1+g)倍。如果将其一般化，则柱透镜35的水平间距Ps可以如下式(5)那样表示。
Ps＝(n×Pp)×Ls 1/(Ls 1+g)     (5)
因此，多视角式中的要素图像总是由与视点数n对应的n个像素形成，并且来自沿着水平方向隔着n个的子像素的光线在视距Ls 1处形成聚光点。
另外，在1D-II方式中，在视距Ls 1上不设聚光点。为此，例如，使各柱透镜的水平间距Ps等于排列在显示面内的子像素32的像素间距Pp的n倍(n为视点数)。即，以满足下式(6)的形式制成柱透镜的水平间距Ps。
Ps＝n×Pp                      (6)
由此，从沿着水平方向隔着n个的子像素32照射的光线成为平行光线。在该硬件结构中，为了确保视距Ls 1处的可视区域(满足式(4))，使要素图像由n个子像素构成，并且离散地配置由(n+1)个子像素构成的要素图像即可。
此处，如果将发生(n+1)个子像素的比率设为“m”，则要素图像宽度P可以如下式(7)那样表示。
P＝{(1-m)×n+m×(n+1)}×Pp     (7)
另外，上式(7)通过式(4)以及式(6)而成为下式(8)。通过决定比率m以满足该式(8)，可以防止在视距处发生聚光点，并且可以满足上式(4)。
Ps/P＝n/{(1-m)×n+m×(n+1)}
    ＝Ls 1/(Ls 1+g)           (8)
从式(8)可知，如果希望将可视区域宽度成为最大的视距Ls 1设定得较长，则减小比率m即可。另外，可知如果希望将Ls 1设定得较短，则增大比率m即可。以下，在本实施方式中，将如下的处理称为“可视区域最佳化”：通过以根据上式(8)导出的比率m离散地发生由(n+1)个子像素组成的要素图像，来决定构成各要素图像的像素数，在视距Ls 1处使可视区域宽度VW大致一致。另外，将此时的视距Ls 1称为可视区域最佳化距离。
另外，通过对以从视距Ls 1处的可视区域的中心Oc朝向各出射光瞳的中心被引出的直线L1为中心来决定要素图像宽度P时的边界、与子像素的中心进行比较，并重复进行决定所属的要素图像的判定，可以决定由(n+1)个子像素构成的要素图像的发生位置。
例如，如果设为n＝9，则与以朝向各出射光瞳的中心被引出的直线L1为中心来决定要素图像宽度P时的边界(左端和右端)相比像素中心成为内侧的子像素32如图4-2所示主要有9个，所以要素图像主要由9个子像素构成。但是，通过上式(8)而成为P>9×Pp，所以子像素32的中心很少进入决定要素图像宽度P时的边界(左端和右端)的内侧，而有时构成要素图像的像素32成为10个。
另外，上述的可视区域最佳化还可以适用于在视距Ls 1处发生聚光点的多视角式。即，在以硬件上设定的视距Ls 1以外的距离使可视区域宽度成为最大的情况下，以满足上式(8)的关系的形式决定发生包括(n+1)个子像素的要素图像的比率m即可。
另外，如下述那样生成为了显示三维图像而显示在FPD 31上的要素图像阵列。
图5是示出与多视角式的显示方式对应的图像取得位置43与视差图像45的关系的一个例子的示意图。另外，在图5中，示出将视点数n设为n＝3的情况。在该图中，要素图像44是与微透镜板的一个透镜对应的视差图像45的集合。将这样的要素图像的集合称为要素图像阵列(要素图像阵列41)。此处，多视点图像是指，通过从与视点序号对应的多个不同的视点位置(图像取得位置)设定单一投影面并进行摄影而取得的图像(在该图中用46表示的二维图像)。如果根据这样取得的多视点图像来生成要素图像阵列，则在三维图像显示时投影面与显示器表面一致。
在图5中，42是连接显示出视差图像45的子像素与出射光瞳(透镜)的中心的线段，在有限的距离(具体而言为Ls 1)处聚光。即，在通过多视角式进行三维图像的显示的情况下，该聚光点相当于图像取得位置43。
图6是示出与1D-II方式的显示方式对应的图像取得位置53与视差图像55的关系的一个例子的示意图。另外，在图6中，示出将视点数n设为n＝3的情况。要素图像54是与微透镜板的一个透镜对应的视差图像55的集合，该要素图像54的集合成为要素图像阵列51。另外，52是连接显示出视差图像的子像素与出射光瞳(透镜)的中心的线段。此处，线段52满足上式(6)的关系，所以以平行光线射出。即，在1D-II方式中，以平行光线取得多视点图像，并将该多视点图像分配给每n个像素的子像素的作法是理想的。此处，对于图像取得位置53，由于所取得的多视点图像是平行投影图像，所以仅规定了方向而未规定距离，所以是假想的配置。
但是，在从显示部3离开有限的距离的位置处，观察显示部3的FPD 31上显示的要素图像阵列。当以有限的视距进行可视区域最佳化的情况下，需要角度更大的光线信息，所以为了构成要素图像阵列而所需的多视点图像多于每一个透镜的水平子像素数、即视点数n。具体而言，在图6示出的1D-II方式中，视点数为n＝3(每一个透镜的水平子像素数为3)而与图5的多视角式相同，但图像取得位置为6个位置(视点序号-3、-2、-1、1、2、3)而成为多视角式的2倍。
以下，参照图7，对在1D-II方式中，构成要素图像而所需的多视点图像的数目增加的理由进行说明。图7是示出设为视点数n＝9时的要素图像33、构成该要素图像33的视差图像、出射光瞳(柱透镜35)的关系的图。
在图7中，设为位于右端的由n＝9个子像素构成的要素图像33为由与视点序号-2～7对应的视差图像构成。如果在该要素图像33的左侧发生由n+1＝10个子像素构成的要素图像33(图中中央的要素图像)，则所追加的1个子像素显示视点序号8的视差图像。因此，位于图中左端的由n＝9个子像素构成的要素图像33由与视点序号-1～8对应的视差图像构成。即，通过发生由上述的(n+1)个子像素构成的要素图像，构成要素图像的视点序号偏移1个，并且要素图像相对透镜的相对位置也仅偏移1个子像素。
视点序号偏移的意思相当于从出射光瞳射出的来自要素图像的光线组的射出方向、即显示三维图像的方向发生移位。即，通过上式(8)，在扩大可视区域宽度的情况下，即在进一步减小视距Ls的情况下，需要包含角度更大的光线信息的视差图像，所以比率m的值增加。
另外，对于1D-II方式中的视差图像，如上所述那样由来于同一视点的视点图像的图像被分配成平行光线。因此，观察者如果从有限的距离对显示部3的FPD 31上显示的要素图像阵列(视差图像)进行观察，则通过多个多视点图像的相加而观察到自该距离的透视投影图像。
图8-1、图8-2、图8-3以及图8-4是用于说明1D-II方式中的要素图像阵列的观察方法的图。如果从有限的距离(图中箭头位置)观察显示部3，而如图8-1所示观察到视点序号-2～2的视差图像61，则在观察位置向左偏移的情况下，如图8-2所示，观察到视点-3～1的视差图像61。
另外，在从图8-1所示的观察位置向显示部3接近时，如图8-3所示，观察到视点序号-3、-1、1、3的视差图像61，在从显示部3远离时，如图8-4所示，观察到视点序号-1、1的视差图像61。其结果，观察者通过对与各观察位置对应的透视投影图像进行观察，而视认成三维图像。
另外，在图8-1、图8-2、图8-3以及图8-4中，示出了从单视点观察的情况，但当通过两视角来观察时也同样地，将与两视角各自的观察位置对应的透视投影影像视认成三维图像。即，所显示的三维图像是对在实际上存在物体时的光线虽然是粗乱的但却进行采样而得到的图像，三维图像在空间中具有固有的坐标。其为与利用了以以往的两视角式为代表的两视角视差的技术的决定性差异点。
另外，图5所示的多视角式也是从以往的聚光点以设定视点距离而被设定在两视角间隔的两视角式发展出的手法。但在最近，通过设为将聚光点有意地设定在比设想视距远的位置、或者以比两视角间隔充分窄的间隔设定的稠密多视角式，从而还提出空间像方式显示的方式。
如上所述，多视点图像的生成方法根据三维图像的显示方式和进行显示的显示装置的规格而不同，所以在将所生成的多视点图像挪用到其他显示方式和显示装置的那样的情况下，难以维持所显示的三维图像的正确度。因此，在本实施方式的三维图像显示装置100中，通过后述的功能结构的控制，将在任意的图像取得位置处取得的多视点图像，根据显示部3的规格重新排列而分配给各子像素，从而维持所显示的三维图像的正确度。
图9是示出通过控制部1与预先存储在ROM 4或存储部6中的规定的程序的协作而实现的三维图像显示装置100的功能结构的图。如该图所示，三维图像显示装置100作为功能结构具备多视点信息接受部11、规格信息取得部12、要素图像阵列生成部13以及显示控制部14。
多视点信息接受部11作为接受经由通信部7从外部输入的多视点信息的接受单元发挥功能，向要素图像阵列生成部13输出所接受到的多视点信息。此处，所谓多视点信息是指，至少包括与三维图像的显示相关的多个多视点图像和表示各视点图像的摄影位置的前后关系的视点序号的信息组。另外，多视点图像的输入不限于经由通信部7从外部输入的形式，也可以是通过读出预先存储在存储部6中的多视点信息来接受的形式。
规格信息取得部12从存储部6读出定义了显示部3的硬件上的规格和制约的规格信息9，并输出到要素图像阵列生成部13。此处，作为规格信息9，可以举出柱透镜35的水平间距Ps、与一个柱透镜35对应的要素图像的视点数n、子像素32的像素间距Pp、通过柱透镜35从所邻接的子像素照射的光线间的角度(可视区域射出角)等。
要素图像阵列生成部13根据由规格信息取得部12取得的规格信息，假想地实现显示部3的结构，通过仿真导出后述的要素图像阵列生成处理时的从显示部3射出的光线的状态。
另外，在本实施方式中，设为将与三维图像显示装置100具备的显示部3相关的规格信息存储在存储部6中的形式，但不限于此，也可以是经由通信部7从外部装置取得的形式。另外，也可以是取得其他三维图像显示装置中具备的显示部的规格信息的形式，在该情况下，也可以是三维图像显示装置100自身不具备显示部3的形式。
要素图像阵列生成部13根据从多视点信息接受部11以及规格信息取得部12取得的各种信息，根据所输入的多视点信息生成与显示部3的规格对应的要素图像阵列。
具体而言，要素图像阵列生成部13作为根据假想实现的显示部3的结构在从柱透镜35离开规定距离的视距Ls 1处进行上述的可视区域最佳化，并决定发生由(n+1)个子像素组成的要素图像的比率m，从而决定构成各要素图像33的子像素32的数目的可视区域控制单元发挥功能。
另外，要素图像阵列生成部13判定在由多视点信息接受部11接受到的多视点信息中是否包含图像取得位置信息。此处，所谓图像取得位置信息是指，与包含在多视点信息中的各视点图像的图像取得位置相关的信息组，至少包括图像取得距离Lc。
另外，要素图像阵列生成部13根据由多视点信息接受部11接受到的多视点信息中包含的图像取得位置信息或多视点图像的总数，来决定视距Ls 2。
另外，要素图像阵列生成部13作为从与FPD 31的中心线对应的Lc 2的面的位置，按照每个后述的光线间距离x依次沿着FPD 31的两侧方向分配视点序号，设定所对应的图像取得位置的取得位置设定单元发挥功能。
另外，要素图像阵列生成部13作为分别导出从应用了可视区域最佳化后的FPD 31的各子像素射出的显示用光线向Ls 2面入射的入射位置的入射位置导出单元发挥功能。此处，Ls 2面是指，从作为三维图像的显示面的显示部3(柱透镜35)仅离开视距Ls 2的位置上假想地设置的显示部3的对置面。另外，Ls 2面也可以是与显示部3平行的面，也可以是曲面。
另外，要素图像阵列生成部13作为对从应用了可视区域最佳化后的FPD 31的各子像素射出的显示用光线向Ls 2面入射的各入射位置、与Ls 2面中的图像取得位置进行比较，针对各入射位置分别确定最接近的图像取得位置的取得位置确定单元发挥功能。
另外，要素图像阵列生成部13作为向成为与各入射位置对应的显示用光线的射出源的子像素分配与所确定的图像取得位置的视点序号对应的视差图像，生成要素图像阵列的生成单元发挥功能。
另外，要素图像阵列生成部13作为接受经由操作部2从用户指示的光线间距离x、视距Ls 2、视距Ls 1的值的变更指示的变更接受单元发挥功能，根据所指定的值来生成要素图像阵列。
以下，参照图10～17，对要素图像阵列生成部13进行说明。首先，图10是n＝9且采用了1D-II方式的显示部3的水平剖面图，示出从应用可视区域最佳化前的状态的各出射光瞳(柱透镜35)射出的光线的轨迹。另外，用视点序号“0”表示在正面射出的光线，对在视点序号0的左侧射出的光线附加“负”，对在右侧射出的光线附加“正”(以下相同)。
如上所述，在未在特定的距离设置聚光点的1D-II方式的情况下，从各出射光瞳射出的光线处于平行的关系。因此，为了取得与这些光线对应的光线信息，如图11所示，需要从与图10的视点序号-4～4对应的视点序号-4～4这合计9个视点朝向投影面Vs通过平行投影、即从无限远的透视投影来取得多视点图像。由此，可以使从构成各要素图像的子像素中的与同一位置的子像素对应的出射光瞳射出的光线成为平行光线。
另一方面，在与图10同样的硬件结构的显示部3中，针对有限的视距Ls 1实施了可视区域最佳化时的从各出射光瞳射出的光线的轨迹如图12所示。虽然是抽象性的图，但为了取得来自最左端的出射光瞳(柱透镜35)的光线信息，需要从与视点序号3～11对应的合计9个视点通过平行投影取得多视点图像。在1D-II方式的情况下，如上所述构成要素图像的多视点图像的数目增加。因此，在图12的结构中，针对全部子像素所需的多视点图像的数目、即视点序号需要-11～11这23个，这些视点序号与、针对投影面Vs的图像取得方向的关系可以如图13那样表示。
另外，通过平行投影取得多视点图像时所需的多视点图像的总数、即总视点数Na可以通过下式(9)来求出。此处，H意味着FPD 31的画面宽度。
Na＝(H-Ps+VW)×g/L/Pp+1          (9)
图14是示出投影面与多视点图像取得位置的视点序号的关系的图。在该图中，用图中的阴影部分表示通过从图13所示的23方向的平行投影取得的多视点图像保有的光线信息所充满的区域。此处，用针对投影面Vs的从视点-11～11引出的虚线表示的线段对应于三维图像的显示中使用的光线信息、即显示用光线。即，从图14可知，多视点图像保有的光线信息所充满的区域与显示用光线相比变得过多。
另一方面，图15是用于与图14进行比较的图，是示出投影面Vs与多视点图像取得位置的视点序号的关系的图。在该图中，用图中的阴影部分表示从可视区域最佳化距离Ls 1通过透视投影取得的多视点图像保有的光线信息所充满的区域。另外，多视点图像取得距离是有限的距离意味着通过透视投影取得多视点图像。从有限的距离Ls 1的视点序号-4～4这9个视点取得的光线与三维图像的显示中使用的显示用光线(图中虚线部)大致相等。即，可视区域最佳化距离Ls 1成为可以最高效地取得光线信息的距离。在多视角式的情况下，由于在视距内有聚光点，所以可以使三维图像的显示中使用的光线信息与作为多视点图像而取得的光线信息完全一致。
另外，图16是用于与图14、图15进行对比的图，是示出投影面Vs与多视点图像取得位置的视点序号的关系的图。在该图中，用图中的阴影部分表示从比无限远近且比可视区域最佳化距离Ls 1远的视距Ls 2通过透视投影取得的多视点图像保有的光线信息所充满的区域。在图16的结构中，与图14相比可以更高效地利用多视点图像的光线信息，但与图15的结构相比效率差。
如果总结图14、图15、图16中的状态，则可以如下表那样表示。此处，所谓包含在显示用光线中的误差是指与平行光线的偏移量，距离越接近无限远，误差越低。
(表1)
 
图像取得位置 视点数 显示用光线中包含的误差
(1)无限远 Na(理想值) 无
(2)可视区域最佳化距离Ls 1 n 有
(3)有限的距离Ls 2(Ls 2>Ls 1) N(Na>N>n) (1)与(2)之间
要素图像阵列生成部13着眼于上述的图像取得用的光线所充满的光线区域与三维图像的显示用光线所充满的光线区域的偏离，而根据可视区域最佳化距离Ls 1处的显示用光线，根据包含在多视点信息中的视差图像组生成要素图像阵列。以下，对要素图像阵列生成部13的动作原理进行说明。
经由出射光瞳射出的来自各子像素32的显示用光线间在有限的视距L中可以以等间隔进行观察。此时，从一个要素图像射出的显示用光线的距离L处的显示用光线间的间隔(光线间距离x)可以如下式(10)那样表示
Pp:x＝g:L          (10)
此处，各显示用光线向距离L的面入射的位置(入射位置)与将显示部3设为投影面Vs时的图像取得位置对应。即，通过生成将从在这些图像取得位置处取得的多视点图像抽出的视差图像分配给所对应的子像素而得到的要素图像阵列，可以显示与距离L对应的三维图像。在该情况下，与图13示出的视点序号量的多视点图像相比，可以减少多视点图像的数目。
另外，在图16的例子中，对于来自投影面Vs的光线的入射位置通过可视区域最佳化距离Ls 1被大致同一化的显示用光线组，在Ls 1的更远处再次观察到扩展。此时，从一个要素图像射出的距离Ls 2面中的显示用光线的光线间距离x通过上式(10)被规定，显示用光线被入射到视点序号-6～6的各位置。这些显示用光线的入射位置与将显示部3设为投影面Vs时的多视点图像取得位置对应，成为视点序号-6～6这合计13个。即，与图13示出的23个视点的平行投影多视点图像相比，可以减少10个视点量的多视点图像。
要素图像阵列生成部13根据上述的显示用光线的入射位置与图像取得位置的关系，根据由多视点信息接受部11接受到的多视点信息，生成要素图像阵列。即，要素图像阵列生成部13根据上式(10)来设定从多视点信息导出的视距Ls 2面中的图像取得位置，将最接近向该Ls 2面入射的通过视距Ls 1进行了可视区域最佳化的来自各子像素的显示用光线的位置的图像取得位置分配给所对应的子像素，从而从多视点信息生成要素图像阵列。
此处，参照图17，对将从多视点图像抽出的视差图像分配给子像素进行说明。图17是示出显示部3的水平剖面图的图，示出从通过视距Ls 1可视区域最佳化后的子像素射出的显示用光线的轨迹。33L表示位于FPD 31的左端的要素图像，33C表示位于FPD 31的中央的要素图像，33R表示位于FPD 31的右端的要素图像。另外，由要素图像阵列生成部13根据包含在多视点信息中的图像取得位置Lc或多视点图像数来设定有限的视距Ls 2，在该Ls 2面中，通过上式(10)分别设定与图像取得位置对应的视点序号-5～5。
此处，如果着眼于要素图像33L，则可知从要素图像33L的各子像素射出的显示用光线在Ls 2面中的入射位置分别接近视点序号-3～5。在该情况下，要素图像阵列生成部13从多视点信息取出与这些视点序号-3～5对应的9个视点图像，分配给要素图像33L的各子像素。
另外，如果着眼于要素图像33C，则可知从要素图像33C的各子像素射出的显示用光线在Ls 2面中的入射位置分别接近视点序号-4～4。在该情况下，要素图像阵列生成部13从与这些视点序号-4～4对应的9个多视点图像取出视差图像，分配给要素图像33C的各子像素。
另外，如果着眼于要素图像33R，则可知从要素图像33R的各子像素射出的显示用光线在Ls 2面中的入射位置分别接近视点序号-5～3。在该情况下，要素图像阵列生成部13从与这些视点序号-5～3对应的9个多视点图像取出视差图像，分配给要素图像33R的各子像素。
这样，要素图像阵列生成部13通过针对构成FPD 31的所有子像素，分配从所对应的多视点图像抽出的视差图像，而生成要素图像阵列。另外，在图17的例子中，虽然未针对由(n+1)个子像素构成的要素图像进行图示，但是与上述同样地针对(n+1)个子像素分配从所对应的多视点图像抽出的视差图像。
以下，参照图18，对三维图像显示装置100的动作进行说明。此处，图18是示出要素图像阵列生成处理的步骤的流程图。另外，作为本处理的前提，由规格信息取得部12从存储部6等取得与显示部3相关的规格信息9，输出到要素图像阵列生成部13。
首先，如果由多视点信息接受部11经由通信部7等接受到多视点信息的输入(步骤S11)，则要素图像阵列生成部13判定在该多视点信息中是否包含图像取得位置信息(步骤S12)。
当在步骤S12中，判定为在多视点信息中包含图像取得位置信息的情况下(步骤S12：“是”)，要素图像阵列生成部13将包含在图像取得位置信息中的图像取得距离Lc设定成视距Ls 2(步骤S13)。
要素图像阵列生成部13根据由规格信息取得部12取得的规格信息9，通过视距Ls 1执行可视区域最佳化(步骤S14)。另外，此处设为视距Ls 1是有限的视距，并设为满足Ls 1≤Ls 2的关系。
接下来，要素图像阵列生成部13从与FPD 31的中心线对应的Lc 2面的位置，按照每个通过上式(10)导出的光线间距离x沿着FPD31的两侧方向依次分配视点序号，设定Ls 2面上的图像取得位置(步骤S15)。
另外，在本实施方式中，设为根据上式(10)来决定光线间距离x的形式，但不限于此，也可以设为当在多视点信息中包含有表示图像取得位置的间隔的信息的情况下，将该图像取得位置的间隔设为光线间距离x的形式。
接下来，要素图像阵列生成部13分别导出从可视区域最佳化后的各子像素射出的显示用光线向Ls 2面入射的入射位置(步骤S16)，分别确定最接近各入射位置的图像取得位置(视点序号)(步骤S17)。
接下来，要素图像阵列生成部13向成为与对Ls 2面入射的各入射位置对应的显示用光线的射出源的子像素，分别分配从在步骤S17中确定的视点序号的多视点图像抽出的视差图像，来生成要素图像阵列(步骤S18)，向步骤S26处理转移。
另一方面，当在步骤S12中，判定为在多视点信息中未包含图像取得位置信息的情况下(步骤S12：“否”)，要素图像阵列生成部13在根据由规格信息取得部12取得的规格信息9，通过有限的视距Ls 1执行了可视区域最佳化之后(步骤S19)，临时设定有限的视距Ls 2(步骤S20)。此处，设为Ls 1与Ls 2的关系满足Ls 1≤Ls 2。
要素图像阵列生成部13从与FPD 31的中心线对应的Lc 2面的位置按照每个通过上式(10)导出的光线间距离x沿着FPD 31的两侧方向依次分配视点序号，来设定Ls 2面上的图像取得位置(步骤S21)。
接下来，要素图像阵列生成部13导出从可视区域最佳化后的各子像素射出的显示用光线向Ls 2面入射的入射范围的宽度、即Ls 2面中的可视区域宽度VW(步骤S22)。
接下来，要素图像阵列生成部13根据包含在多视点信息中的总视点序号，导出Ls 2面上的图像取得范围的宽度(步骤S23)。具体而言，通过计算出(视差图像数-1)×光线间距离x，可以导出图像取得范围。
接下来，要素图像阵列生成部13判定在步骤S22中导出的入射范围的宽度与在步骤S23中导出的取得范围的宽度是否大致一致(步骤S24)。另外，判定为两个宽度大致一致的程度可以任意设定。
当在步骤S24中，判定为两个宽度不一致的情况下(步骤S24：“否”)，要素图像阵列生成部13再次回到步骤S19的处理，用其他值来临时设定Ls 2。另外，当在步骤S24中判定为两个宽度大致一致的情况下(步骤S24：“是”)，要素图像阵列生成部13将当前临时设定中的Ls 2值重新设定成正式的值(步骤S25)，转移到步骤S16的处理。
在步骤S26中，显示控制部14在FPD 31的各子像素32上显示在步骤S18中生成的要素图像阵列，从而在显示部3上显示三维图像(步骤S26)。
此处，如果经由操作部2输入了变更光线间距离x的值的指示信息(步骤S27：“是”)，要素图像阵列生成部13在将光线间距离x变更成该指示的值之后，再次回到步骤S15的处理，进行步骤S16～18的处理，从而针对变更后的光线间距离x生成要素图像阵列。
即，三维图像显示装置100的用户可以一边观察显示在显示部3上的三维图像，一边变更光线间距离x的值，可以恰当地修正其观察方法。
另外，如果经由操作部2输入了变更Ls 2的值的指示信息(步骤S 27：“否”→步骤S28：“是”)，要素图像阵列生成部13在将Ls 2变更成该指示的值之后，再次回到步骤S15的处理，进行步骤S16～18的处理，从而生成关于变更后的Ls 2的要素图像阵列。
即，三维图像显示装置100的用户可以一边观察显示在显示部3上的三维图像，一边变更Ls 2的值，可以恰当地修正其观察方法。另外，变更后的Ls 2的值设成Ls 1以上，但也可以限制来自操作部2的输入以使其不小于Ls 1，也可以根据Ls 2的值自动地修正Ls 1的值。
另外，在经由操作部2输入了变更Ls 2的值的指示信息的情况下(步骤S28：“否”→步骤S29：“是”)，要素图像阵列生成部13在将Ls1变更成该指示的值之后，再次回到步骤S14的处理，进行步骤S15～S18的处理，从而生成关于变更后的Ls 1的要素图像阵列。
即，三维图像显示装置100的用户可以一边观察显示在显示部3上的三维图像，一边变更Ls 1的值，可以恰当地修正其观察方法。另外，变更后的Ls 1的值设成Ls 2以下，但也可以限制来自操作部2的输入以使其不大于Ls 2，也可以根据Ls 1的值自动地修正Ls 2的值。
另外，要素图像阵列生成部13如果判断为未经由操作部2输入了变更参数的指示(步骤S27：“否”→步骤S28：“否”→步骤S29：“否”)，结束本处理。
另外，上述要素图像阵列生成处理的步骤即使是在多视角式或1D-II方式下也不变。即，即使根据多视角式或1D-II方式生成了由多视点信息接受部11接受的多视点信息，也可以根据该多视点信息生成与显示部3的规格对应的要素图像阵列。
此处，参照图19、图20，对通过本要素图像阵列生成处理生成的要素图像阵列的显示状态进行说明。图19、20是示出来自被分配了由来于通过1D-II方式从同一视点位置取得的多视点图像的视差图像的各子像素的光线的轨迹的图。
图19示出将从作为平行投影图像取得的单一的视点图像抽出的视差图像分配给子像素时的光线组的轨迹。如图中用粗线所示来自子像素的光线处于平行关系。在该情况下，由于来自各子像素的光线方向与各视差图像取得时的视线方向一致，所以在视差图像所表示的信息与来自各子像素的显示用光线所表示的信息中不产生偏离，可以显示正确的三维图像。
另外，图20示出将从自有限的视距作为透视投影图像而取得的单一的视点图像抽出的视差图像分配给子像素时的光线组的轨迹。如图中用粗线所示来自子像素的光线处于大致透视的关系。在1D-II方式中，由于在有限的视距未设置聚光点，所以在视差图像所表示的信息与来自各子像素的显示用光线所表示的信息之间产生误差。但是，由于可以使来自各子像素的光线方向与各视差图像取得时的视线方向接近，所以作为整体可以显示大致正确的三维图像。
如上所述，根据本实施方式的三维图像显示装置100，将在任意的条件下取得的多视点信息中包含的各视差图像，根据来自以在视距Ls 1处向大致同一区域入射那样地调整了构成要素图像的像素数的各像素的光线的入射位置、和各视差图像的图像取得位置，分配给构成显示面板的各像素。由此，可以使来自各像素的光线方向与各视差图像取得时的视线方向接近，所以可以生成显示通过简易的处理维持了正确度的三维图像的要素图像阵列。
另外，在上述的要素图像阵列生成处理中，在变更了图像取得位置的间隔、即光线间距离x的值的情况下，所显示的三维图像的深度方向发生变化。例如，如果使图像取得位置的间隔成为1/2，则三维图像以沿着深度方向倒塌成大致1/2的状态进行显示。
另外，如果通过变更视距Ls 1、视距Ls 2而变更了图像取得距离，则三维图像的透视度变化。在该情况下，例如，如果图像取得距离变小，则透视度变大，距显示部3位于跟前的部分显示得更大，位于里头的部分显示得更小。另外，如果图像取得距离变大，则透视度变小，在透视度为零的情况下，与位于跟前的部分相比位于里头的部分显示得小。在知晓正确的三维图像的显示状态的情况下，通过考虑该关系而调整图像取得距离、图像取得间隔，可以实现期望的显示状态。
另外，在本实施方式中，设为由用户通过对显示在显示部3上的三维图像进行视认，来确认显示状态的正确度的形式，但不限于此，例如，也可以是对正确的三维图像数据与显示在显示部3上的三维图像进行对照，来判定显示状态的正确度的形式。
具体而言，优选具备从多个视点对显示在显示部3上的三维图像进行摄影的摄像装置，要素图像阵列生成部13通过计算出由该摄像装置取得的三维图像的图像数据与预先存储在存储部6等中的正确的三维图像数据的对照度，来判定所显示的三维图像的正确性。该判定的结果，在对照度为规定的阈值以下的情况下，要素图像阵列生成部13对视距Ls 1、Ls 2、光线间距离x的值进行修正，调整直到对照度超过规定的阈值为止。通过这样自动地调整所显示的三维图像的正确性，可以向用户提示正确的三维图像。
另外，在本实施方式中，对水平方向的三维图像的显示进行了说明，但不限于此，还可以适用于垂直方向。例如，在可以使视差图像的垂直方向与水平方向的图像取得位置不同的情况下(在可以使透视度不同的情况下)，关于水平方向设为视距Ls 2、关于垂直方向设为视距Ls 1而取得视差图像，从而可以显示透视度在垂直方向和水平方向上都正确的三维图像。
以上，对发明的实施方式进行了说明，但本发明不限于此，可以在不脱离本发明的要旨的范围内进行各种变更、置换、追加等。
例如，也可以设为将执行三维图像显示装置100中的各处理的程序，以可以安装的形式或可以执行的形式记录在CD-ROM、软(R)盘(FD)、DVD等可以由计算机读取的记录介质中来提供的形式。
另外，也可以构成为将执行三维图像显示装置100中的各处理的程序存储在与因特网等网络连接的计算机上，而通过经由网络下载来提供。
在该情况下，程序通过在三维图像显示装置100中从上述记录介质读出并执行而被载入到RAM 5，在RAM 5上生成按上述功能结构说明的各部。
另外，在本实施方式中，对作为光线控制子使用了包括柱透镜35的微透镜板34的形式进行了说明，但不限于此，也可以是将透镜阵列或小孔阵列等用作光线控制子的形式。

Claims (9)

1.一种三维图像处理装置，其特征在于，具备：
存储单元，存储定义与显示面板和光线控制部相关的规格的规格信息，其中，该显示面板矩阵状地排列有具有规定宽度的像素，在多个图像上显示用于三维图像显示的各要素图像，该光线控制部被配置在上述显示面板的前面，通过以上述规定宽度的大致整数倍的间距宽度设定的出射光瞳对来自上述各像素的光线方向进行控制，朝向从上述显示面板离开规定距离的区域射出与该各出射光瞳对应的要素图像；
接受单元，接受包括从相互不同的视点位置取得的多个视差图像的多视点图像；
可视区域控制单元，根据上述规格信息，决定上述要素图像的像素数，以使连接构成上述要素图像的各像素的中心、与对应于该要素图像的上述出射光瞳的中心的光线的轨迹组在从上述光线控制部离开规定距离的第1视距处向大致同一区域入射；
取得位置设定单元，根据上述规格信息，在从上述光线控制部离开规定距离的第2视距的面上，设定上述多视点图像的图像取得位置；
入射位置导出单元，分别导出通过上述出射光瞳射出的来自上述要素图像的各像素的光线向上述第2视距的面入射的入射位置；
取得位置确定单元，针对每个上述入射位置，确定最接近该入射位置的图像取得位置；以及
生成单元，向与上述各入射位置对应的光线的射出源的各像素，分配从与由上述取得位置确定单元确定的图像取得位置对应的多视点图像抽出的视差图像，生成要素图像阵列。
2.根据权利要求1所述的三维图像处理装置，其特征在于：上述接受单元接受表示包括取得了上述多视点图像时的注视点的投影面与图像取得位置之间的距离的图像取得距离，
上述取得位置设定单元将由上述接受单元接受到的图像取得距离设定成上述第2视距。
3.根据权利要求1所述的三维图像处理装置，其特征在于：上述取得位置设定单元将在从上述光线控制部离开规定距离的第3视距面中，针对上述多视点图像设定了图像取得位置时的图像取得区域的宽度、与通过上述出射光瞳射出的来自上述要素图像的各像素的光线向上述第3视距面入射的入射区域的宽度大致一致的第3视距决定成上述第2视距。
4.根据权利要求1～3中的任意一项所述的三维图像处理装置，其特征在于：上述取得位置设定单元根据上述显示面板和光线控制部之间的距离、与来自上述光线控制部的视距的关系，通过上述像素的规定宽度，决定上述第2视距的面上的图像取得位置之间的间隔。
5.根据权利要求1所述的三维图像处理装置，其特征在于：还具备接受上述第1视距的变更指示的变更接受单元，
上述可视区域控制单元再次调整上述要素图像的像素数，以在上述变更后的第1视距处向大致同一区域入射。
6.根据权利要求1所述的三维图像处理装置，其特征在于：还具备接受上述第2视距的变更指示的变更接受单元，
上述取得位置设定单元在上述变更后的第2视距的面上再次设定上述多视点图像的图像取得位置。
7.根据权利要求1所述的三维图像处理装置，其特征在于：还具备接受在上述第2视距的面上设定的上述图像取得位置之间的间隔的变更指示的变更接受单元，
上述取得位置设定单元以上述变更后的图像取得位置之间的间隔再次设定上述视点图像的图像取得位置。
8.根据权利要求1所述的三维图像处理装置，其特征在于：上述可视区域控制单元在由从自n个视点位置取得了上述要素图像的多视点图像抽出的n个视差图像构成的第1要素图像的显示排列中，离散地发生由从自(n+1)个视点位置取得的多视点图像抽出的(n+1)个视差图像构成的第2要素图像。
9.一种三维图像处理方法，其特征在于，包括如下的步骤：
接受步骤，接受从相互不同的视点位置取得的多个多视点图像；
可视区域控制步骤，根据定义与显示面板和光线控制部相关的规格的规格信息，其中，该显示面板矩阵状地排列有具有规定宽度的像素，在多个图像上显示用于三维图像显示的各要素图像，该光线控制部被配置在上述显示面板的前面，通过以上述规定宽度的大致整数倍的间距宽度设定的出射光瞳对来自上述各像素的光线方向进行控制，朝向从上述显示面板离开规定距离的区域射出与该各出射光瞳对应的要素图；从而决定上述要素图像的像素数，以使连接构成上述要素图像的各像素的中心与对应于该要素图像的上述出射光瞳的中心的光线的轨迹组在从上述光线控制部离开规定距离的第1视距处向大致同一区域入射；
取得位置设定步骤，根据上述规格信息，在从上述光线控制部离开规定距离的第2视距的面上，设定上述多视点图像的图像取得位置；
入射位置导出步骤，分别导出通过上述出射光瞳射出的来自上述要素图像的各像素的光线向上述第2视距的面入射的入射位置；
取得位置确定步骤，针对每个上述入射位置，确定最接近该入射位置的图像取得位置；以及
生成步骤，向与上述各入射位置对应的光线的射出源的各像素，分配从与在上述取得位置确定步骤中确定的图像取得位置对应的多视点图像抽出的视差图像，生成要素图像阵列。
CNA2008102157416A 2007-09-21 2008-09-09 三维图像处理装置以及方法 Pending CN101394572A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2007245258A JP2009077234A (ja) 2007-09-21 2007-09-21 三次元画像処理装置、方法及びプログラム
JP2007245258 2007-09-21

Publications (1)

Publication Number Publication Date
CN101394572A true CN101394572A (zh) 2009-03-25

Family

ID=40010950

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2008102157416A Pending CN101394572A (zh) 2007-09-21 2008-09-09 三维图像处理装置以及方法

Country Status (4)

Country Link
US (1) US20090079733A1 (zh)
EP (1) EP2040478A2 (zh)
JP (1) JP2009077234A (zh)
CN (1) CN101394572A (zh)

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101895779A (zh) * 2010-07-23 2010-11-24 深圳超多维光电子有限公司 立体显示方法和系统
CN102349304A (zh) * 2009-03-30 2012-02-08 日本电气株式会社 图像显示装置、图像生成装置、图像显示方法、图像生成方法和存储程序的非暂时计算机可读介质
CN102714749A (zh) * 2010-11-30 2012-10-03 株式会社东芝 立体影像显示装置以及方法
CN102740104A (zh) * 2012-06-04 2012-10-17 深圳超多维光电子有限公司 一种立体显示控制方法及相应的装置、设备
CN102893306A (zh) * 2011-05-19 2013-01-23 株式会社东芝 医用图像诊断装置及图像处理装置
CN102985013A (zh) * 2011-05-23 2013-03-20 株式会社东芝 医用图像诊断装置、图像处理装置以及超声波诊断装置
WO2013060135A1 (zh) * 2011-10-28 2013-05-02 华为技术有限公司 一种视频呈现方法和系统
CN103179413A (zh) * 2011-12-23 2013-06-26 联发科技股份有限公司 影像处理方法以及影像处理装置
CN103179411A (zh) * 2011-12-21 2013-06-26 株式会社东芝 图像处理装置及方法、以及图像显示装置
CN103513433A (zh) * 2012-06-26 2014-01-15 Tcl集团股份有限公司 一种基于显示设备的3d集成图像的生成方法及系统
CN103548346A (zh) * 2011-05-26 2014-01-29 索尼公司 显示装置和方法以及程序
CN104221372A (zh) * 2012-01-26 2014-12-17 弗劳恩霍弗应用技术研究院 自动立体显示器及显示3d图像的方法
CN105007476A (zh) * 2015-07-01 2015-10-28 北京邮电大学 一种图像显示方法及装置
CN105230012A (zh) * 2013-05-17 2016-01-06 弗劳恩霍弗应用技术研究院 用于再生图像信息的方法和自动立体屏幕
CN105911712A (zh) * 2016-06-30 2016-08-31 北京邮电大学 一种多视点液晶显示器lcd裸眼3d显示方法及装置
CN103513433B (zh) * 2012-06-26 2016-11-30 Tcl集团股份有限公司 一种基于显示设备的3d集成图像的生成方法及系统
CN106231286A (zh) * 2016-07-11 2016-12-14 北京邮电大学 一种三维图像生成方法及装置
CN106297611A (zh) * 2015-06-05 2017-01-04 北京智谷睿拓技术服务有限公司 显示控制方法和装置
CN109410780A (zh) * 2018-12-04 2019-03-01 深圳奇屏科技有限公司 一种低串扰裸眼3d-led大屏幕
CN110297333A (zh) * 2019-07-08 2019-10-01 中国人民解放军陆军装甲兵学院 一种光场显示系统调节方法及系统
US10884691B2 (en) 2015-06-05 2021-01-05 Beijing Zhigu Rui Tuo Tech Co., Ltd Display control methods and apparatuses
US10885818B2 (en) 2015-06-05 2021-01-05 Beijing Zhigu Rui Tuo Tech Co., Ltd Display control methods and apparatuses

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008085503A (ja) * 2006-09-26 2008-04-10 Toshiba Corp 三次元画像処理装置、方法、プログラム及び三次元画像表示装置
GB2467794A (en) * 2009-02-17 2010-08-18 Arik Noam Shamash 3D television and display unit
US7978407B1 (en) 2009-06-27 2011-07-12 Holovisions LLC Holovision (TM) 3D imaging with rotating light-emitting members
JP5296218B2 (ja) 2009-09-28 2013-09-25 株式会社東芝 立体映像表示方法及び立体映像表示装置
US8587498B2 (en) * 2010-03-01 2013-11-19 Holovisions LLC 3D image display with binocular disparity and motion parallax
JP5835932B2 (ja) * 2010-07-02 2015-12-24 キヤノン株式会社 画像処理装置、及びその制御方法
JP4937424B1 (ja) * 2010-11-22 2012-05-23 株式会社東芝 立体画像表示装置および方法
EP2461238B1 (en) 2010-12-02 2017-06-28 LG Electronics Inc. Image display apparatus including an input device
JP4951131B1 (ja) 2011-02-21 2012-06-13 株式会社東芝 画像表示装置、画像処理装置および画像処理方法
JP5874197B2 (ja) * 2011-05-26 2016-03-02 ソニー株式会社 表示装置および方法、並びにプログラム
US9363504B2 (en) * 2011-06-23 2016-06-07 Lg Electronics Inc. Apparatus and method for displaying 3-dimensional image
GB2499426A (en) * 2012-02-16 2013-08-21 Dimenco B V Autostereoscopic display device with viewer tracking system
JP5924046B2 (ja) * 2012-03-15 2016-05-25 ソニー株式会社 表示装置および方法、情報処理装置および方法、並びにプログラム
US10116927B2 (en) 2012-09-26 2018-10-30 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Method for reproducing image information and autostereoscopic screen
KR101944911B1 (ko) * 2012-10-31 2019-02-07 삼성전자주식회사 영상 처리 방법 및 영상 처리 장치
EP2936046A1 (en) * 2012-12-20 2015-10-28 Marposs Societa' Per Azioni System and method for checking dimensions and/or position of an edge of a workpiece
KR102135686B1 (ko) 2014-05-16 2020-07-21 삼성디스플레이 주식회사 입체영상 표시장치 및 이의 구동 방법
CN105572883B (zh) * 2014-10-11 2018-01-30 深圳超多维光电子有限公司 立体显示装置的校正系统及其校正方法
CN105118421B (zh) * 2015-09-29 2018-03-20 京东方科技集团股份有限公司 像素阵列及其驱动方法和显示面板
CN106898048B (zh) * 2017-01-19 2019-10-29 大连理工大学 一种可适应复杂场景的无畸变集成成像三维显示方法
KR101963392B1 (ko) * 2017-08-16 2019-03-28 한국과학기술연구원 무안경식 3차원 영상표시장치의 동적 최대 시역 형성 방법
TWI665905B (zh) * 2017-10-27 2019-07-11 群睿股份有限公司 立體影像產生方法、成像方法與系統

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH099143A (ja) 1995-06-21 1997-01-10 Canon Inc 画像処理装置
DE19827590C2 (de) * 1998-06-20 2001-05-03 Christoph Grosmann Verfahren und Vorrichtung zur Autostereoskopie
US7425951B2 (en) * 2002-12-27 2008-09-16 Kabushiki Kaisha Toshiba Three-dimensional image display apparatus, method of distributing elemental images to the display apparatus, and method of displaying three-dimensional image on the display apparatus
US7375886B2 (en) * 2004-04-19 2008-05-20 Stereographics Corporation Method and apparatus for optimizing the viewing distance of a lenticular stereogram
JP3944188B2 (ja) 2004-05-21 2007-07-11 株式会社東芝 立体画像表示方法、立体画像撮像方法及び立体画像表示装置
US20060215018A1 (en) * 2005-03-28 2006-09-28 Rieko Fukushima Image display apparatus
JP2007245258A (ja) 2006-03-14 2007-09-27 Nec Tokin Corp 配管連結用治具
JP4403162B2 (ja) * 2006-09-29 2010-01-20 株式会社東芝 立体画像表示装置および立体画像の作製方法

Cited By (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102349304A (zh) * 2009-03-30 2012-02-08 日本电气株式会社 图像显示装置、图像生成装置、图像显示方法、图像生成方法和存储程序的非暂时计算机可读介质
CN102349304B (zh) * 2009-03-30 2015-05-06 日本电气株式会社 图像显示装置、图像生成装置、图像显示方法、图像生成方法和存储程序的非暂时计算机可读介质
CN101895779A (zh) * 2010-07-23 2010-11-24 深圳超多维光电子有限公司 立体显示方法和系统
CN102714749A (zh) * 2010-11-30 2012-10-03 株式会社东芝 立体影像显示装置以及方法
CN102714749B (zh) * 2010-11-30 2015-01-14 株式会社东芝 立体影像显示装置以及方法
CN102893306A (zh) * 2011-05-19 2013-01-23 株式会社东芝 医用图像诊断装置及图像处理装置
CN102893306B (zh) * 2011-05-19 2016-11-16 东芝医疗系统株式会社 医用图像诊断装置及图像处理装置
CN102985013A (zh) * 2011-05-23 2013-03-20 株式会社东芝 医用图像诊断装置、图像处理装置以及超声波诊断装置
CN103548346A (zh) * 2011-05-26 2014-01-29 索尼公司 显示装置和方法以及程序
US9842570B2 (en) 2011-05-26 2017-12-12 Saturn Licensing Llc Display device and method, and program
CN103548346B (zh) * 2011-05-26 2016-01-20 索尼公司 显示装置和方法
WO2013060135A1 (zh) * 2011-10-28 2013-05-02 华为技术有限公司 一种视频呈现方法和系统
US9392222B2 (en) 2011-10-28 2016-07-12 Huawei Technologies Co., Ltd. Video presence method and system
CN103179411A (zh) * 2011-12-21 2013-06-26 株式会社东芝 图像处理装置及方法、以及图像显示装置
CN103179411B (zh) * 2011-12-21 2016-02-03 株式会社东芝 图像处理装置及方法、以及图像显示装置
CN103179413A (zh) * 2011-12-23 2013-06-26 联发科技股份有限公司 影像处理方法以及影像处理装置
CN103179413B (zh) * 2011-12-23 2015-10-28 联发科技股份有限公司 影像处理方法以及影像处理装置
CN104221372A (zh) * 2012-01-26 2014-12-17 弗劳恩霍弗应用技术研究院 自动立体显示器及显示3d图像的方法
CN104221372B (zh) * 2012-01-26 2016-12-14 弗劳恩霍弗应用技术研究院 自动立体显示器及显示3d图像的方法
CN102740104B (zh) * 2012-06-04 2015-04-15 深圳超多维光电子有限公司 一种立体显示控制方法及相应的装置、设备
CN102740104A (zh) * 2012-06-04 2012-10-17 深圳超多维光电子有限公司 一种立体显示控制方法及相应的装置、设备
CN103513433A (zh) * 2012-06-26 2014-01-15 Tcl集团股份有限公司 一种基于显示设备的3d集成图像的生成方法及系统
CN103513433B (zh) * 2012-06-26 2016-11-30 Tcl集团股份有限公司 一种基于显示设备的3d集成图像的生成方法及系统
CN105230012A (zh) * 2013-05-17 2016-01-06 弗劳恩霍弗应用技术研究院 用于再生图像信息的方法和自动立体屏幕
US9992484B2 (en) 2013-05-17 2018-06-05 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Method for reproducing image information, and autostereoscopic screen
US10884691B2 (en) 2015-06-05 2021-01-05 Beijing Zhigu Rui Tuo Tech Co., Ltd Display control methods and apparatuses
US11288988B2 (en) 2015-06-05 2022-03-29 Beijing Zhigu Rui Tuo Tech Co., Ltd Display control methods and apparatuses
CN106297611A (zh) * 2015-06-05 2017-01-04 北京智谷睿拓技术服务有限公司 显示控制方法和装置
US10885818B2 (en) 2015-06-05 2021-01-05 Beijing Zhigu Rui Tuo Tech Co., Ltd Display control methods and apparatuses
CN105007476B (zh) * 2015-07-01 2017-05-10 北京邮电大学 一种图像显示方法及装置
CN105007476A (zh) * 2015-07-01 2015-10-28 北京邮电大学 一种图像显示方法及装置
CN105911712B (zh) * 2016-06-30 2018-12-04 北京邮电大学 一种多视点液晶显示器lcd裸眼3d显示方法及装置
CN105911712A (zh) * 2016-06-30 2016-08-31 北京邮电大学 一种多视点液晶显示器lcd裸眼3d显示方法及装置
CN106231286B (zh) * 2016-07-11 2018-03-20 北京邮电大学 一种三维图像生成方法及装置
CN106231286A (zh) * 2016-07-11 2016-12-14 北京邮电大学 一种三维图像生成方法及装置
CN109410780A (zh) * 2018-12-04 2019-03-01 深圳奇屏科技有限公司 一种低串扰裸眼3d-led大屏幕
CN110297333A (zh) * 2019-07-08 2019-10-01 中国人民解放军陆军装甲兵学院 一种光场显示系统调节方法及系统

Also Published As

Publication number Publication date
EP2040478A2 (en) 2009-03-25
US20090079733A1 (en) 2009-03-26
JP2009077234A (ja) 2009-04-09

Similar Documents

Publication Publication Date Title
CN101394572A (zh) 三维图像处理装置以及方法
CN108307187B (zh) 裸眼3d显示设备及其显示方法
US9237335B2 (en) Three-dimensional image display apparatus
CN102668576B (zh) 立体图像显示装置及方法
US8373617B2 (en) Barrier device and stereoscopic image display using the same
US8310524B2 (en) Stereoscopic image display apparatus
JP3966830B2 (ja) 立体表示装置
US8633967B2 (en) Method and device for the creation of pseudo-holographic images
CN100399105C (zh) 立体图像显示装置和立体图像显示方法
US20120062556A1 (en) Three-dimensional image display apparatus, three-dimensional image processor, three-dimensional image display method, and computer program product
US9110296B2 (en) Image processing device, autostereoscopic display device, and image processing method for parallax correction
JP5306275B2 (ja) 表示装置及び立体画像の表示方法
EP3350989B1 (en) 3d display apparatus and control method thereof
US8279221B2 (en) 3D graphics processor and autostereoscopic display device using the same
CN105404010A (zh) 允许时间复用的光栅式三维显示系统和方法
CN106873170A (zh) 一种提高光栅式三维显示呈现视图分辨率的系统和方法
KR102141520B1 (ko) 무안경 다시점 영상 디스플레이 장치
JP2004264858A (ja) 立体映像表示装置
KR101975246B1 (ko) 다시점 영상 디스플레이 장치 및 그 제어 방법
KR20170029210A (ko) 무안경 3d 디스플레이 장치 및 그 제어 방법
CN102483909A (zh) 图像显示设备,图像显示系统和图像显示方法
KR20150055442A (ko) 입체 영상 표시 장치
CN111323935A (zh) N视点三维显示装置及其驱动方法
CN108307185B (zh) 裸眼3d显示设备及其显示方法
JP4892205B2 (ja) 立体画像表示装置及び立体画像表示方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Open date: 20090325