CN1925628A - 产生用于三维图像显示的元图像阵列的方法和设备 - Google Patents

产生用于三维图像显示的元图像阵列的方法和设备 Download PDF

Info

Publication number
CN1925628A
CN1925628A CNA2006101280274A CN200610128027A CN1925628A CN 1925628 A CN1925628 A CN 1925628A CN A2006101280274 A CNA2006101280274 A CN A2006101280274A CN 200610128027 A CN200610128027 A CN 200610128027A CN 1925628 A CN1925628 A CN 1925628A
Authority
CN
China
Prior art keywords
dimensional image
image
pixel
image display
pattern matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2006101280274A
Other languages
English (en)
Inventor
福岛理惠子
高木亚矢子
最首达夫
平和树
平山雄三
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Publication of CN1925628A publication Critical patent/CN1925628A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/111Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/305Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)

Abstract

可以在期望的位置显示二维图像,可以保持显示图像的期望长宽比,并且可以产生最大化内插效应的这种元图像阵列。用于三维图像显示的元图像阵列的产生方法包括:将二维图像的分辨率转换为实质上与三维图像显示设备相同的分辨率;通过在分辨率转换之后,在水平方向上以固定间隔移动采样二维图像的位置来获得多点图像;以及根据出射光瞳和投影方向之间的位置关系来重新排列该多点图像。

Description

产生用于三维图像显示的 元图像阵列的方法和设备
技术领域
本发明涉及产生用于三维图像显示的元图像阵列(elementalimage array)的方法和设备。
背景技术
在水平方向移动并观察面对观察者的二维图像的观察者可识别的视差信息仅涉及该二维图像的水平运动。如果该二维图像位于视点前方,则该二维图像以与观察者相反的方向移动。如果该二维图像位于视点后方,则该二维图像以与观察者相同的方向移动。因此,在二维图像将在水平视差型三维图像显示设备上显示的情况下,通过移动该二维图像(在下文中被称为原始图像)获得的图像可以被用作视点图像(例如日本专利公开第11-98529号所公开的)。通过调整水平移动量,可以改变三维显示上的近侧或远侧显示位置。
同样,有一种推荐的方法,通过采用通过出射光瞳(在下文中被称为串扰)来观察两个或更多像素的设计来显示具有比三维图像显示设备的分辨率更高分辨率的二维图像。在该方法中,将通过透镜来观察的像素所表征的信息是视差信息,同时也是将在相邻透镜之间内插的图像信息(在下文中被称为内插效应)。为实现该内插效应,将显示的二维图像的显示位置需要从三维图像显示设备的表面稍微移位。更具体地,在由圆柱形透镜(出射光瞳)构成的透镜阵列被用作光线控制单元,并且透镜阵列与用于二维图像显示的像素之间的距离小于该圆柱形透镜的焦距的情况下,通过该圆柱形透镜以向前的顺序观察到两个或更多个视差信息集(虚图像)。换句话说,通过在远侧位置显示该二维图像,通过该圆柱形透镜观察到的两个或更多个视差信息集在圆柱形透镜的信息集之间被内插,在该远侧位置中,元图像阵列的视差信息以与该二维图像相同的方向排列(见特开P2005-091623号公报)。
在将通过二维图像信息的水平移动来生成元图像阵列,并且原始图像的分辨率等于或接近三维图像显示设备的分辨率的情况下,显示位置被离散地改变。如果原始图像的分辨率与三维图像显示设备的分辨率相比足够高,则这种问题不会产生。然而,当考虑渲染效率时,原始图像的分辨率通常至少需要与三维图像显示设备的分辨率相同。如果二维图像信息的水平移动仅通过像素单元来执行,则二维图像可以被显示的深度位置的范围被极大地限制。所谓的“子图形处理(spriteprocessing)”已知被用来减轻图像渲染的负荷。由于在三维显示操作中每帧需要若干个观察点,子图形显示非常有用。然而,如果深度位置仅被离散地设置,则不能实现深度位置连续改变的动画。
除该问题之外,在将通过二维图像的水平移动来生成元图像阵列的上述情况下,在垂直方向上根本没有得到视差信息。因为这一点,二维图像的宽度在较近位置变大,并且在较远位置变小。然而,随着规则的水平移动高度是不变的。因此,该二维图像的长宽比不平衡,随着在近侧显示的二维图像在水平方向被放大以及在远侧显示的二维图像在垂直方向被放大,结果图像会变得不自然。
最后,为了产生具有内插效应的元图像阵列,用于实现最有效的内插效应的深度位置不清楚。即使通过用人眼来观察具有不同远侧显示位置的元图像阵列以确定最佳的远侧和近侧显示位置,来产生具有变化的远侧位置的元图像阵列,获得的值是离散的,并且不清楚所确定的位置是否为最佳位置。
发明内容
考虑到上述情况而提出本发明,并且本发明的一个目的是,提供一种用于产生用于水平视差型三维图像显示设备中的三维图像显示的元图像阵列的方法和设备。利用该方法或设备,产生这种元图像阵列,使得可以在期望位置显示二维图像,可以保持显示图像的期望长宽比,并且可以实现最佳内插效应。
根据本发明的第一方面,提供了一种用于水平视差型三维图像显示设备中的三维图像显示的元图像阵列的产生方法,所述三维图像显示设备包括:具有在其中二维排列的多个像素的二维图像显示单元;以及具有多个出射光瞳的光线控制单元,用于以观察像素所表征的图像信息的位置对于每个像素变化的方式来控制从像素发射的光线,多个像素被水平分配给每个出射光瞳,分配给出射光瞳的像素形成元图像显示像素集,通过根据通过出射光瞳来观察元图像显示像素的方向而将图像信息分配给每个元图像显示像素,在水平方向上产生视差信息,水平视差型三维图像显示设备使用该视差信息使观察者识别三维图像,以相对于水平方向的各方向投影到三维图像显示设备的显示表面上的多视点图像的像素信息根据投影方向被分配给元图像显示像素,从而产生用于三维图像显示的元图像阵列,
该方法包括:
调整二维图像的水平分辨率;
在分辨率调整之后,通过在水平方向上以固定间隔移动对二维图像进行采样的位置,来获得多视点图像;以及
根据出射光瞳和投影方向之间的位置关系,重新排列所述多视点图像。
根据本发明的第二方面,提供了一种用于水平视差型三维图像显示设备中的三维图像显示的元图像阵列的产生设备,所述三维图像显示设备包括:具有在其中二维排列的多个像素的二维图像显示单元;以及具有多个出射光瞳的光线控制单元,用于以观察像素所表征的图像信息的位置对于每个像素变化的方式,来控制从像素发射的光线,多个像素被水平分配给每个出射光瞳,分配给出射光瞳的像素形成元图像显示像素集,通过根据通过出射光瞳来观察元图像显示像素的方向而将图像信息分配给每个元图像显示像素,在水平方向上产生视差信息,水平视差型三维图像显示设备使用视差信息使观察者识别三维图像,以相对于水平方向的各方向投影到三维图像显示设备的显示表面上的多视点图像的像素信息根据投影方向被分配给元图像显示像素,从而产生用于三维图像显示的元图像阵列,
该设备包括:
图像处理单元,包括调整二维图像的水平分辨率的水平分辨率改变单元;
多视点图像产生单元,在分辨率调整之后,通过在水平方向上以固定间隔移动对二维图像进行采样的位置,来获得所述多视点图像;以及
重新排列处理单元,根据出射光瞳和投影方向之间的位置关系,重新排列所述多视点图像。
附图说明
图1为说明根据本发明第一实施例的产生方法的过程的流程图;
图2为说明根据该第一实施例的产生方法的原理的图;
图3(a)和3(b)为说明根据该第一实施例的产生方法,根据二维图像显示设备的显示位置而在纵向上的放大和缩小的图;
图4(a)和4(b)为说明根据该第一实施例的产生方法,为实现内插效应的元图像阵列的产生方法的图;
图5(a)、5(b)、5(c)是说明涉及第一实施例的产生方法的、关于与三维图像产生设备的分辨率一致的二维图像元图像的产生方法的图。
图6为显示根据本发明第二实施例的产生设备的框图;
图7为显示根据第二实施例的产生设备的图像处理单元的一个示例的框图;
图8为显示根据第二实施例的产生设备的视点图像处理单元的一个示例的框图;
图9为显示根据第二实施例的产生设备的重新排列处理单元的框图;
图10为说明根据第二实施例的产生设备的背景处理单元的处理内容的一个示例的图;
图11为显示根据第二实施例的水平分辨率改变单元的改变处理内容的一个示例的图;
图12为说明根据第二实施例的产生设备的垂直放大/缩小单元的放大/缩小处理内容的一个示例的图;
图13为说明根据第二实施例的产生设备的元图像阵列交织处理单元的处理内容的一个示例的图;
图14为说明根据第二实施例的产生设备的视点图像生成处理单元的处理内容的一个示例的图;
图15为说明根据第二实施例的产生设备的水平像素增加单元的处理内容的一个示例的图;
图16为说明根据第二实施例的产生设备的采样单元的处理内容的一个示例的图;
图17为显示根据本发明第三实施例的执行产生程序的计算机系统的一个示例的透视图;
图18为显示根据第三实施例的执行产生程序的计算机系统的框图。
具体实施方式
以下为参考附图对本发明实施例的说明。在图中,具有同样功能的组件用相同的参考数字来标识,并且对其不作重复解释。
(第一实施例)
参照图1至4,将描述根据本发明第一实施例的用于三维图像显示的元图像阵列的产生方法。
首先,参考图2至4(b)来描述该实施例的用于三维图像显示的元图像阵列产生方法的原理。
在水平视差型三维图像显示设备中实现该实施例的产生方法。图2为该水平视差三维图像显示设备的水平截面图。该水平视差三维图像显示设备1包括例如由液晶面板构成的二维图像显示设备2,以及例如由具有出射光瞳的透镜片(lenticular sheet)构成的光线控制单元3。该二维图像显示设备2具有二维排列的像素,并且每个像素具有不同的区域,在该区域中,像素所表征的图像信息被光线控制单元3观察。像素被水平分配给每个出射光瞳。当这种像素组为用于显示元图像的像素时,根据用于显示元图像的每个像素将通过相应出射光瞳3被观察的方向的图像信息被分配给用于显示该元图像的像素。通过这样做,在水平方向生成视差信息,并且观察者识别出三维图像。
如图2所示,直接位于出射光瞳30之后的透镜片2的像素为2A,位于像素2A左边的像素为2B,对应于出射光瞳30面对像素2A的三维图像显示像素(在下文中也被称为3D像素)为3D0,对应于右边的出射光瞳31的3D像素为3D+1,并且对应于左边的出射光瞳3-1的3D像素为3D-1。从图2可以看出,由像素2A表征的图像信息和像素2B表征的图像信息之间的关系来确定二维图像的显示位置。如果像素2B表征的3D像素3D0的信息与像素2A表征的信息相同,则该二维图像显示在位置4_0。位置4_0处于透镜片2的表面上。如果像素2B表征3D像素3D+1的信息,则该二维图像显示在位置4_4/4。位置4_4/4距离透镜片2的表面的“近侧”(或二维图像显示设备2的对侧)为h(=g×Pe/Pp)。这里,Pe表示出射光瞳的间距,而Pp表示该二维图像显示设备的像素的间距。
因此,在使用与三维图像显示设备1的分辨率相同分辨率的二维图像(原始图像)的情况下,该二维图像的显示位置限于h的整数倍的位置。然而,由图2可以看出,可以通过将原始图像的分辨率乘以n倍,例如4倍而将显示位置移动h/4。更特殊地,如果像素2B表征通过将3D像素3D+1的图像信息和3D像素3D0的图像信息之间的差(即“3D像素3D+1的图像信息”-“3D像素3D0的图像信息”)的1/4加到3D像素3D0的图像信息而获得的图像信息,则该二维图像可以显示在位置4_1/4(见图2)。这里,位置4_1/4距离透镜片2的表面的近侧h/4。
同样,如果像素2B表征通过将3D像素3D+1的图像信息和3D像素3D0的图像信息之间的差的2/4加到3D像素3D0的图像信息而获得的图像信息,则该二维图像可以显示在位置4_2/4。如果像素2B表征通过将3D像素3D+1的图像信息和3D像素3D0的图像信息之间的差的3/4加到3D像素3D0的图像信息而获得的图像信息,则该二维图像可以显示在位置4_3/4。这里,位置4_2/4距离透镜片2的表面的近侧2h/4,并且位置4_3/4距离透镜片2的表面的近侧3h/4。
此外,如果像素2B表征通过将3D像素3D+1的图像信息和3D像素3D0的图像信息之间的差的-1/4加到3D像素3D0的图像信息而获得的图像信息,则该二维图像可以显示在位置4_-1/4。如果像素2B表征通过将3D像素3D+1的图像信息和3D像素3D0的图像信息之间的差的-2/4加到3D像素3D0的图像信息而获得的图像信息,则该二维图像可以显示在位置4_-2/4。这里,位置4_-1/4距离透镜片2的表面的远侧(或二维图像显示设备2的同侧)h/4,并且位置4_-2/4距离透镜片2的表面的远侧2h/4。如此,透镜片2的表面的远侧的显示位置也可以被移动较窄的间隔。
从以上描述可以清楚地看到,通过将原始图像乘以n并将采样位置移动m个像素来形成视点图像,使得满足以下等式:
x∶g=m/n×Pe∶Pp    (1)
其中,m为自然数,以及n为除0以外的整数。如此,形成了元图像阵列,以便在位置x显示二维图像。
现在参照图3(a)和3(b)来描述根据显示位置的纵向的放大和缩小。图3(a)为在“近侧位置”显示的二维图像的示例的透视图。3(b)为二维图像的水平截面图。在观察距离为L以及显示位置和透镜片2的表面之间的距离为x的情况下,位于观察点的观察者将在显示位置x显示的二维图像的水平方向识别为放大的图像,这是因为该显示位置x处于近侧并且观察者以透视方式来观察目标。然而,该二维图像的垂直方向没有改变。换句话说,在近侧显示的二维图像在水平方向被放大,并且当显示位置和透镜片2的表面之间的距离变长时,长宽比和“1”之间的差变大。由于长宽比是水平长度与垂直长度之比,在显示位置x显示的二维图像的长宽比大于1。在显示面上的显示区域的宽度的一半为w/2并且观察距离为L的情况下,如图3(b)所示,处于近侧位置的二维图像的显示区域的宽度的一半为W/2×(L-x)/L,并且在近侧位置显示的二维图像的长宽比大于1。
同样适用于远侧。在远侧显示位置x’显示的二维图像仅在水平方向被缩小。当显示位置距离透镜片2的表面变得更远时,长宽比和“1”之间的差变大,并且长宽比小于“1”。如图3(b)所示,处于远侧位置的二维图像的显示区域的宽度的一半为W/2×(L+x’)/L,并且在该深度位置显示的二维图像的长宽比小于1。如此,放大和缩小被执行以便满足以下等式:
H’=H×L/(L-x)    (2)
其中,H表示原始图像的原始高度,H’表示每个视点图像的期望高度,如从图3(b)可以看出的。如此,可以保持期望的长宽比。
最后,描述了用于实现内插效应的元图像阵列的产生方法。图4(a)和4(b)显示了在串扰c为两个像素的情况下,像素如何通过出射光瞳被观察。图4(a)显示了当观察者正好位于出射光瞳31之前并且水平分辨率高达两倍时,像素如何通过出射光瞳被观察。图4(b)显示了当观察者移动至左边时,像素如何通过出射光瞳被观察。
在出射光瞳31的中心(=3D像素)看到的图像信息为In并且在相邻出射光瞳32的中心看到的图像信息为In+2的情况下,如图4(a)所示,将在中间像素上显示的图像应当为In+1。如果在这种情况下观察者移动到了左边,此时在出射光瞳31的中心看到的图像信息为In+1并且在相邻出射光瞳32的中心看到的图像信息为In+4,如图4(b)所示,则将在中间像素上显示的图像应当为In+2,其被显示在远侧。
通过排列视差信息集以便满足以上条件,在通过出射光瞳观察的像素上显示的图像信息被变成内插数据,而不管观察者的位置。为了产生这种元图像阵列,应当创建视差图像以通过将原始图像放大n倍所形成的图像的使用位置移动m个像素间距来产生元图像阵列,使得满足以下等式:
m/n=1/c      (3)
结果,显示位置为根据等式(1)的一个位置。当在透镜厚度小于传统技术中所述的焦距的情况下执行内插时(“内插1”),在图2中所示的像素2B上显示的视差图像被移动并内插在3D像素3D0和3D1之间,因为将通过透镜原样观察到该视差信息的排列。当在透镜厚度大于本发明中的焦距的情况下执行内插时,在图2中所示的像素2B上显示的视差图像被移动并内插在3D像素3D0和3D-1之间(“内插2”),因为当通过透镜观察时该视差信息的排列将被反向。
从以上描述可以清楚地看到,该实施例的用于三维图像显示的元图像阵列的产生方法涉及图1的流程图中所示的过程。更具体地,该方法包括下列步骤:将二维图像(原始图像)的分辨率乘n的步骤(图1中的步骤S1),该二维图像的分辨率与三维图像显示设备的分辨率相同或基本相同(k倍高);在分辨率转换之后,在水平方向上以固定间隔移动图像的采样位置(“移动m个像素”),从而形成多视点图像(图1中的步骤S2);校正多视点图像的长宽比,或根据出射光瞳和投影方向之间的关系来重新排列多视点图像,从而进行纵向放大/缩小和交织(图1中的步骤S3和S4)。尽管在“移动m个像素”后进行垂直放大/缩小操作,也可以在“原始图像”后的任何时间进行。通过这些过程,该二维图像的显示位置可以被任意设置,并且可以保持期望的长宽比。此外,考虑到光线控制单元的功能,可以产生具有最佳内插效应的元图像阵列。
在该实施例中,在分辨率转换之前,原始二维图像(原始图像)的分辨率与三维图像显示设备的分辨率相同。然而,如果原始图像的分辨率是三维图像显示设备的分辨率的k倍,则需要满足以下等式:
x∶g=m/k/n×Pe∶Pp    (4)
其中,等式(1)中的n用n×k替换。
在改变分辨率或图像尺寸的步骤中,可以采用诸如“最近邻方法”、“双线性方法”或“双三次方法”的图像过滤方法,并且不同的滤波器可被用来将分辨率乘以n倍(图1中的步骤S1)以及垂直放大/缩小(图1中的步骤S3)。
以上叙述了一种方法,为了任意地设定三维图像显示设备1中二维图像的显示位置,有必要使得用于产生元图像的二维图像的采样间距短于三维图像显示设备的出射光瞳间距Pp,为此,对于与三维图像显示设备的分辨率一致的二维图像,暂时将其扩大进行采样。即,在想要以原始图像的(m/n)倍的水平间距进行采样的情况下,在把水平方向的分辨率n倍之后,使其成为(m/n)而进行采样。使用图5来说明这一点。在使图5(a)为原始图像的水平方向的分辨率时,说明了例如,在想要以像素间距的2/3倍(=m/n倍)的间距进行采样的情况下,利用图像内插将水平方向的分辨率3倍之后,每两个像素进行采样的方法(图5(b))。关于这样的采样方法,有时用图像内插直接产生。即,用图像内插直接产生所希望的采样位置的数据(图5(c))。虽然在图5(b)、图5(c)中示出了最单纯的线性内插时的原始图像的占有率,但可以是任何一般所使用的在用于改变采样间距的图像内插中使用的滤波器,例如,为了产生图像信息B和C之间的数据所利用的图像数据并不限制于图像信息B和C。
如上所述,在该实施例中,可以简单地通过放大/缩小以及在三维图像显示设备中重新排列原始二维图像,而在期望的位置显示二维图像。此外,可以对于每个显示的图像保持期望的长宽比,并产生具有最佳内插效应的元图像阵列。
通过“内插2”获得的数据比通过“内插1”获得的数据更自然,并且对于透镜厚度的变化或观察位置的变化而显示出“稳健的”状况。
(第二实施例)
现在参照图6至16来描述根据本发明第二实施例的用于三维图像显示的元图像阵列产生设备。根据该实施例的用于三维图像显示的元图像阵列产生设备是其中实现根据本发明第一实施例的用于三维图像显示的元图像阵列产生方法的设备。图6显示了该设备的结构。该实施例的元图像阵列产生设备包括图像处理单元20、图像信息重新排列处理单元22、元图像阵列交织处理单元24、视点图像生成处理单元26、视点图像交织单元28以及重新排列处理单元30。
在将作为二维图像显示的原始图像的显示面积(如图10中星形目标所示)小于显示面的面积(在图中用折线指示)并因此将显示的原始图像与另一图像(在图中附有阴影)合并的情况下,或在将形成蓝色背景准备与另一三维图像合并的情况下,背景增加处理单元32基于原始图像信息40和远侧信息42,对原始图像增加并合并背景图像。
如图7所示,图像处理单元20包括水平分辨率改变单元20a、垂直放大/缩小单元20b以及图像内插单元20c。基于背景增加处理单元32的输出以及远侧信息42,该图像处理单元20进行图像处理。更具体地,基于远侧信息42和背景增加处理单元32的输出,水平分辨率改变单元20a进行增加原始图像的水平分辨率的操作,如图11中所示。基于远侧信息42和水平分辨率改变单元20a的输出,垂直放大/缩小单元20b在垂直方向上放大或缩小图像,如图12中所示。基于水平分辨率改变单元20a的输出和垂直放大/缩小单元20b的输出,图像内插单元20c进行第一实施例中所述的内插操作。
基于远端信息42和图像处理单元20的输出,图像信息重新排列处理单元22通过与出射光瞳一致地重新排列输入图像而将一个输入图像变为元图像阵列。如果需要,该图像信息重新排列处理单元22也可以包括在水平方向上增加像素(图像)以重新排列的处理,如图15中所示。
基于图像信息重新排列处理单元22的输出和其它元图像阵列信息44,元图像阵列交织处理单元24合并元图像阵列,如图13中所示,并且将合并的元图像阵列存储为元图像阵列信息46。
基于图像处理单元20的输出和远侧信息42,视点图像生成处理单元26通过移动采样位置而将一个输入图像变为与观察点数目相同数目的图像,如图14中所示。视点图像生成处理单元26具有水平像素增加单元26a和采样单元26b,如图8中所示。如果需要,水平像素增加单元26a在水平方向上增加像素(图像)以便移动采样位置,如图15中所示。采样单元26b进行采样。
基于视点图像生成处理单元26的输出、其它视点图像信息48以及关于获取视点图像的相机的位置信息50,视点图像交织单元28将视点图像与其它视点图像合并,如图16中所示。
重新排列处理单元30与出射光瞳一致地重新排列视点图像,以便产生元图像阵列。
为了将二维图像显示为背景板,m和n的值应当被设定为满足以下等式:
x_far∶g=(m/k/n)×Pe∶Pp
其中,x_far表示三维图像显示设备的显示深度限制,并且等式(4)的x被x_far替换。
为了显示具有连续变化的深度方向的二维子图形图像,m和n的值应当被设定为满足以下等式:
x_shift∶g=(m/k/n)×Pe∶Pp
其中,x_shift表示二维子图形图像在深度方向上的变化,并且等式(4)的x被x_shift替换。
该实施例的用于三维图像显示的元图像阵列产生设备可以简单地通过放大/缩小以及重新排列原始二维图像,在期望的位置显示二维图像,如在第一实施例中一样。此外,对每个显示的图像都可以保持期望的长宽比,并且可以产生具有最佳内插效应的元图像阵列。
(第三实施例)
现在参照图17和18来描述根据本发明第三实施例的用于三维图像显示的元图像阵列的产生程序。该实施例的产生程序为实现根据第一实施例的用于三维图像显示的元图像阵列产生方法的程序。图17和图18为显示执行该实施例的产生程序的计算机系统130的一个示例的透视图和框图。
在图17中,计算机系统130包括具有CPU的计算机主体131、例如CRT的显示设备132、例如键盘和鼠标的输入单元133以及进行打印的打印机134。
如图18中所示,该计算机主体131具有配置RAM的内置存储器135,以及可以在主体131内部或外部提供存储单元136。存储单元136包括软盘(FD)驱动器137、CD-ROM驱动器138以及硬盘驱动器(HD)单元139。如图17中所示,将在存储器单元136中使用的记录介质140的示例包括将被插入FD驱动器137的插槽的软盘(FD)141以及将被用于CD-ROM驱动器138中的CD-ROM 142。
如图17和18中所示,将被用于通用计算机系统中的记录介质140为FD 141和CD-ROM 142。
当然可以使用其它计算机可读记录介质,例如FD、CD-ROM、MO(Magneto-Optical,磁光)盘、DVD(Digital Versatile Disk,数字通用光盘)以及其它光学记录盘、卡式存储器和磁带。
该实施例的产生程序被设计为至少包括图1中的步骤S1至S4。
该实施例的用于三维图像显示的元图像阵列的产生程序可以存储在连接至诸如因特网的网络的计算机中,以及可以通过网络被下载使用。
可以配置为经由诸如因特网的网络来提供和分发该实施例的用于三维图像显示的元图像阵列的产生程序。
(示例1)
图2中的二维图像显示设备2是液晶显示设备,并且在该显示设备2的前侧提供光线控制单元3。在该显示设备2的后侧提供背光。至于该液晶显示设备,使用了W-UXGA-LCD面板(例如,像素数:1920×1200;屏幕尺寸331.2mm×207.0mm)。像素尺寸为172.5μm×172.5μm的正方形,每个红、绿和蓝子像素的水平宽度为57.5μm,并且每个子像素的垂直宽度为172.5μm。可以相互独立地驱动子像素。在通用的二维图像显示设备2中,横向排列的三个红、绿和蓝子像素构成一个像素。然而,在该示例中未采用这种排列,而是采用了“马赛克排列”作为滤色排列。
被设计具有稍长于液晶面板和像素位置之间的距离的焦距的透镜片被用作光线控制单元3。该透镜片的串扰为2。采用该透镜片,可以仅在水平方向上提供视差信息。
该三维图像显示设备中的视差数为18,其水平分辨率为1920×3/18=320。垂直分辨率为1200/3=400像素,因为在马赛克排列的垂直方向上排列的每三个子像素构成一个3D像素。因此,准备与显示相同尺寸、具有320×400的纵向和横向分辨率、并且具有1.33333的像素长宽比的图像作为原始图像。该原始图像的横向分辨率只在水平方向上使用“双三次方法”的滤波器来乘以4。该原始图像的每个视点图像然后被移动1个像素,以便产生元图像阵列。由于需要移动采样位置,一个额外的视点被加到原始图像的任一侧。通过重新排列该视点图像,产生并显示元图像阵列。根据等式(1):
x=m/n×Pe/Pp×g
=1/4×(18×0.0575)/0.0575×1.5
=6.75mm
其中,确认在6.75mm的近侧位置显示原始图像。
(比较示例1)
在与示例1相同的条件下,不进行水平方向的n倍放大/缩小,并且通过将原始图像的采样位置移动一个单元像素来产生视点图像。根据等式(1)来改变显示位置。结果,显示位置仅可以被设置在2.7cm的倍数。
(示例2)
在与示例1相同的条件下,将在+5cm的位置显示二维图像,它是最近的可能点。这里,建立以下等式:
m/n=x×Pp/Pe/g
=50×0.0575/(0.0575×18)/1.5
=1.85
~9/5
其中,使用“双三次方法”的滤波器在水平方向上进行5倍放大。根据等式(2),在垂直方向上也进行1.08倍的放大:
H’/H=L/(L-x)=700/(700-50)=1.08
这样,通过图1中所示的过程来产生视点图像,并且该视点图像被重新排列以形成元图像阵列。当显示该元图像阵列时,可以在+5cm的位置显示具有期望的长宽比的二维图像,它正是用于显示的最近可能点。
(比较示例2)
如果在示例2中不进行垂直扩展,则结果二维图像的横向尺寸与其纵向尺寸相比被放大了8%。结果,该二维图像显得其在水平方向上被拉长了。
到目前的描述为止,在本发明的每个实施例中,可以简单地通过放大/缩小以及在三维图像显示设备中重新排列原始二维图像而在期望的位置显示二维图像。此外,对于每个显示的图像都可以保持期望的长宽比,并且可以产生具有最佳内插效应的元图像阵列。
在透镜阵列和二维图像显示像素之间的距离长于透镜焦距的情况下,当通过圆柱形透镜来观察时视差的信息被反向,并且利用该现象的内插效应也是可以预期的。在近侧位置显示二维图像,在所述近侧位置,元图像阵列的视差信息的排列与二维图像的排列相反。
本领域技术人员可以容易地进行附加的优化和修改。因此,本发明在其更宽的方面并不限于这里显示和描述的具体细节和代表性的实施例。相应地,可以进行各种不背离所附的权利要求及其等价物所定义的总发明概念的精神和范围的修改。

Claims (11)

1.一种用于水平视差型三维图像显示设备中的三维图像显示的元图像阵列的产生方法,所述三维图像显示设备包括:具有在其中二维排列的多个像素的二维图像显示单元;以及具有多个出射光瞳的光线控制单元,用于以观察所述像素所表征的图像信息的位置对于每个像素变化的方式来控制从所述像素发射的光线,多个像素被水平分配给每个所述出射光瞳,分配给所述出射光瞳的像素形成元图像显示像素集,通过根据通过所述出射光瞳观察所述元图像显示像素的方向而将图像信息分配给每个所述元图像显示像素,在水平方向上产生视差信息,所述水平视差型三维图像显示设备使用所述视差信息,使观察者识别三维图像,在相对于水平方向的各方向投影到所述三维图像显示设备的显示表面上的多视点图像的像素信息根据投影方向被分配给所述元图像显示像素,从而产生用于三维图像显示的所述元图像阵列,
所述方法包括:
调整所述二维图像的水平分辨率;
在所述分辨率调整之后,通过在水平方向上以固定间隔移动对所述二维图像进行采样的位置,来获得所述多视点图像;以及
根据所述出射光瞳和所述投影方向之间的位置关系来重新排列所述多视点图像。
2.根据权利要求1所述的用于三维图像显示的元图像阵列的产生方法,进一步包括:在纵向放大/缩小所述视点图像或所述元图像阵列。
3.根据权利要求1所述的用于三维图像显示的元图像阵列的产生方法,其中,所述二维图像的水平分辨率被变成n倍,并且在所述水平方向上所述视点图像的采样位置之间的每个间隔为m个像素,以便满足以下等式:
x:g=(m/k/n)×Pe:Pp
其中,所述二维图像的分辨率为所述三维图像显示设备的分辨率的k倍,x表示显示所述二维图像的位置和所述述三维图像显示设备的显示面之间的距离,g表示所述出射光瞳和二维图像显示单元之间的空气转换间隙,Pe表示出射光瞳间距,而Pp表示像素间距。
4.根据权利要求3所述的用于三维图像显示的元图像阵列的产生方法,进一步包括:在纵向放大/缩小每个所述视点图像或所述元图像阵列。
5.根据权利要求4所述的用于三维图像显示的元图像阵列的产生方法,其中,执行垂直放大或缩小以满足以下等式:
y’=y×L/(L-x)
其中,x表示显示所述二维图像的位置和所述述三维图像显示设备的显示面之间的距离,L表示所述三维图像显示设备的预定观察距离,y表示每个所述视点图像或元图像阵列的高度,并且y’表示具有还未被调整的分辨率的原始二维图像的高度。
6.根据权利要求3所述的用于三维图像显示的元图像阵列的产生方法,其中,通过选择m和n的值以满足以下等式,所述二维图像被显示为背景板:
x_far:g=(m/k/n)×Pe:Pp
其中,x_far表示所述三维图像显示设备的最远可能显示位置。
7.根据权利要求3所述的用于三维图像显示的元图像阵列的产生方法,其中,通过选择m和n的值以满足以下等式,将要显示的二维子图形图像的深度方向被连续改变:
x_shift:g=(m/k/n)×Pe:Pp
其中,x_shift表示所述二维子图形图像的最远可能显示位置。
8.根据权利要求3所述的用于三维图像显示的元图像阵列的产生方法,其中,满足以下等式:
(m/k/n)=1/c
其中,c表示可以通过所述出射光瞳同时观察到的像素数,使得通过使用可通过所述出射光瞳观察到的像素数,来显示具有比所述三维图像显示设备的分辨率更高分辨率的二维图像,所述二维图像具有可通过所述出射光瞳观察到的像素。
9.一种用于水平视差型三维图像显示设备中的三维图像显示的元图像阵列的产生设备,所述三维图像显示设备包括:具有在其中二维排列的多个像素的二维图像显示单元;以及具有多个出射光瞳的光线控制单元,所述出射光瞳用于以观察所述像素所表征的图像信息的位置对于每个像素变化的方式,来控制从所述像素发射的光线,多个像素被水平分配给每个所述出射光瞳,分配给所述出射光瞳的像素形成元图像显示像素集,通过根据通过所述出射光瞳来观察所述元图像显示像素的方向而将图像信息分配给每个所述元图像显示像素,在水平方向上产生视差信息,所述水平视差型三维图像显示设备使用所述视差信息使观察者识别三维图像,在相对于水平方向的各方向投影到所述三维图像显示设备的显示表面上的多视点图像的像素信息根据投影方向被分配给所述元图像显示像素,从而产生用于三维图像显示的所述元图像阵列,
所述设备包括:
图像处理单元,包括调整所述二维图像的水平分辨率的水平分辨率改变单元;
多视点图像产生单元,在所述分辨率调整之后,通过在所述水平方向上以固定间隔移动对所述二维图像进行采样的位置,来获得所述多视点图像;以及
重新排列处理单元,根据所述出射光瞳和所述投影方向之间的位置关系来重新排列所述多视点图像。
10.根据权利要求9所述的用于三维图像显示的元图像阵列的产生设备,其中,所述图像处理单元进一步包括放大和缩小单元,在纵向放大或缩小所述视点图像或元图像阵列。
11.根据权利要求10所述的用于三维图像显示的元图像阵列的产生设备,其中,所述图像处理单元进一步包括图像内插单元,其基于所述水平分辨率改变单元的输出和所述放大和缩小单元的输出,根据所述二维图像的所述显示位置来内插所述二维图像。
CNA2006101280274A 2005-08-31 2006-08-31 产生用于三维图像显示的元图像阵列的方法和设备 Pending CN1925628A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005251394 2005-08-31
JP2005251394 2005-08-31

Publications (1)

Publication Number Publication Date
CN1925628A true CN1925628A (zh) 2007-03-07

Family

ID=37818042

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2006101280274A Pending CN1925628A (zh) 2005-08-31 2006-08-31 产生用于三维图像显示的元图像阵列的方法和设备

Country Status (3)

Country Link
US (1) US7742046B2 (zh)
JP (1) JP5036881B2 (zh)
CN (1) CN1925628A (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102326397A (zh) * 2009-12-25 2012-01-18 索尼公司 图像处理设备、方法和程序
CN102411005A (zh) * 2010-09-17 2012-04-11 株式会社东芝 单元基板的检查系统以及检查方法
CN102547330A (zh) * 2010-10-22 2012-07-04 索尼公司 图像处理设备、图像处理方法和程序
CN102598672A (zh) * 2009-06-16 2012-07-18 Lg电子株式会社 3d显示设备及其选择性图像显示方法
CN102608765A (zh) * 2011-01-20 2012-07-25 承景科技股份有限公司 立体图像显示方法
CN102763421A (zh) * 2010-02-15 2012-10-31 汤姆森许可贸易公司 处理视频内容的装置和方法
CN103002295A (zh) * 2011-09-08 2013-03-27 上海易维视科技有限公司 多视点裸眼三维显示设备的二维图像显示方法及系统
CN103974005A (zh) * 2013-01-25 2014-08-06 冠捷投资有限公司 3d显示装置及其控制方法
CN104567718A (zh) * 2015-01-08 2015-04-29 四川大学 一种基于多角度投影pmp的集成成像微图像阵列生成方法
CN106297611A (zh) * 2015-06-05 2017-01-04 北京智谷睿拓技术服务有限公司 显示控制方法和装置
US9628769B2 (en) 2011-02-15 2017-04-18 Thomson Licensing Dtv Apparatus and method for generating a disparity map in a receiving device
CN106604011A (zh) * 2015-10-16 2017-04-26 联咏科技股份有限公司 处理来源图像以产生目标图像的方法及装置
CN107431796A (zh) * 2015-05-27 2017-12-01 谷歌公司 全景虚拟现实内容的全方位立体式捕捉和渲染
US10038887B2 (en) 2015-05-27 2018-07-31 Google Llc Capture and render of panoramic virtual reality content
US10375381B2 (en) 2015-05-27 2019-08-06 Google Llc Omnistereo capture and render of panoramic virtual reality content
US10885818B2 (en) 2015-06-05 2021-01-05 Beijing Zhigu Rui Tuo Tech Co., Ltd Display control methods and apparatuses
US10884691B2 (en) 2015-06-05 2021-01-05 Beijing Zhigu Rui Tuo Tech Co., Ltd Display control methods and apparatuses

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7660468B2 (en) 2005-05-09 2010-02-09 Like.Com System and method for enabling image searching using manual enrichment, classification, and/or segmentation
US7783135B2 (en) 2005-05-09 2010-08-24 Like.Com System and method for providing objectified image renderings using recognition information from images
US7657126B2 (en) 2005-05-09 2010-02-02 Like.Com System and method for search portions of objects in images and features thereof
US7519200B2 (en) 2005-05-09 2009-04-14 Like.Com System and method for enabling the use of captured images through recognition
US7760917B2 (en) 2005-05-09 2010-07-20 Like.Com Computer-implemented method for performing similarity searches
US20080177640A1 (en) 2005-05-09 2008-07-24 Salih Burak Gokturk System and method for using image analysis and search in e-commerce
US8732025B2 (en) 2005-05-09 2014-05-20 Google Inc. System and method for enabling image recognition and searching of remote content on display
TWI388206B (zh) * 2005-09-14 2013-03-01 Panasonic Corp 攝影裝置、固態攝影元件、影像生成方法
JP4714115B2 (ja) * 2006-09-07 2011-06-29 株式会社東芝 立体映像表示装置および立体映像表示方法
JP4764305B2 (ja) * 2006-10-02 2011-08-31 株式会社東芝 立体画像生成装置、方法およびプログラム
JP2008228199A (ja) * 2007-03-15 2008-09-25 Toshiba Corp 立体画像表示装置及び立体画像表示方法並びに立体画像用データの構造
US8416981B2 (en) 2007-07-29 2013-04-09 Google Inc. System and method for displaying contextual supplemental content based on image content
JP4905326B2 (ja) * 2007-11-12 2012-03-28 ソニー株式会社 撮像装置
JP4694581B2 (ja) * 2008-01-25 2011-06-08 富士フイルム株式会社 ファイル生成装置および方法、3次元形状再生装置および方法並びにプログラム
US9066076B2 (en) * 2009-10-30 2015-06-23 Mitsubishi Electric Corporation Video display control method and apparatus
JP5617647B2 (ja) * 2011-01-14 2014-11-05 ソニー株式会社 立体画像表示装置
EP2819402A4 (en) * 2012-02-22 2016-02-24 Sony Corp DISPLAY DEVICE, IMAGE PROCESSING DEVICE, PICTURE PROCESSING METHOD AND COMPUTER PROGRAM

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1198529A (ja) 1997-09-19 1999-04-09 Akiyoshi Kotani 立体動画像形成装置
JP2002300599A (ja) * 2001-03-29 2002-10-11 Nippon Hoso Kyokai <Nhk> 立体像撮影装置および立体像表示装置ならびに立体像処理システム
US7425951B2 (en) * 2002-12-27 2008-09-16 Kabushiki Kaisha Toshiba Three-dimensional image display apparatus, method of distributing elemental images to the display apparatus, and method of displaying three-dimensional image on the display apparatus
JP4002875B2 (ja) 2003-09-16 2007-11-07 株式会社東芝 立体画像表示装置
KR100697837B1 (ko) * 2003-09-18 2007-03-20 가부시끼가이샤 도시바 3차원 화상표시장치

Cited By (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102598672B (zh) * 2009-06-16 2015-04-22 Lg电子株式会社 3d显示设备及其选择性图像显示方法
US9097903B2 (en) 2009-06-16 2015-08-04 Lg Electronics Inc. 3D display device and selective image display method thereof
US9869875B2 (en) 2009-06-16 2018-01-16 Lg Electronics Inc. 3D display device and selective image display method thereof
CN102598672A (zh) * 2009-06-16 2012-07-18 Lg电子株式会社 3d显示设备及其选择性图像显示方法
CN102326397A (zh) * 2009-12-25 2012-01-18 索尼公司 图像处理设备、方法和程序
CN102326397B (zh) * 2009-12-25 2014-07-02 索尼公司 图像处理设备和图像处理方法
US9077966B2 (en) 2010-02-15 2015-07-07 Thomson Licensing Apparatus and method for processing video content
US9148646B2 (en) 2010-02-15 2015-09-29 Thomson Licensing Apparatus and method for processing video content
CN102763421A (zh) * 2010-02-15 2012-10-31 汤姆森许可贸易公司 处理视频内容的装置和方法
US9341852B2 (en) 2010-09-17 2016-05-17 Kabushiki Kaisha Toshiba Cell substrate inspection system and method
CN102411005B (zh) * 2010-09-17 2014-11-12 株式会社东芝 单元基板的检查系统以及检查方法
CN102411005A (zh) * 2010-09-17 2012-04-11 株式会社东芝 单元基板的检查系统以及检查方法
CN102547330A (zh) * 2010-10-22 2012-07-04 索尼公司 图像处理设备、图像处理方法和程序
CN102608765A (zh) * 2011-01-20 2012-07-25 承景科技股份有限公司 立体图像显示方法
CN102608765B (zh) * 2011-01-20 2015-06-03 承景科技股份有限公司 立体图像显示方法
US9628769B2 (en) 2011-02-15 2017-04-18 Thomson Licensing Dtv Apparatus and method for generating a disparity map in a receiving device
CN103002295B (zh) * 2011-09-08 2015-04-01 上海易维视科技有限公司 多视点裸眼三维显示设备的二维图像显示方法及系统
CN103002295A (zh) * 2011-09-08 2013-03-27 上海易维视科技有限公司 多视点裸眼三维显示设备的二维图像显示方法及系统
CN103974005A (zh) * 2013-01-25 2014-08-06 冠捷投资有限公司 3d显示装置及其控制方法
CN104567718A (zh) * 2015-01-08 2015-04-29 四川大学 一种基于多角度投影pmp的集成成像微图像阵列生成方法
CN104567718B (zh) * 2015-01-08 2017-02-22 四川大学 一种基于多角度投影pmp的集成成像微图像阵列生成方法
US10038887B2 (en) 2015-05-27 2018-07-31 Google Llc Capture and render of panoramic virtual reality content
CN107431796A (zh) * 2015-05-27 2017-12-01 谷歌公司 全景虚拟现实内容的全方位立体式捕捉和渲染
CN107431796B (zh) * 2015-05-27 2019-02-12 谷歌有限责任公司 全景虚拟现实内容的全方位立体式捕捉和渲染
US10375381B2 (en) 2015-05-27 2019-08-06 Google Llc Omnistereo capture and render of panoramic virtual reality content
CN106297611A (zh) * 2015-06-05 2017-01-04 北京智谷睿拓技术服务有限公司 显示控制方法和装置
US10885818B2 (en) 2015-06-05 2021-01-05 Beijing Zhigu Rui Tuo Tech Co., Ltd Display control methods and apparatuses
US10884691B2 (en) 2015-06-05 2021-01-05 Beijing Zhigu Rui Tuo Tech Co., Ltd Display control methods and apparatuses
US11288988B2 (en) 2015-06-05 2022-03-29 Beijing Zhigu Rui Tuo Tech Co., Ltd Display control methods and apparatuses
CN106604011A (zh) * 2015-10-16 2017-04-26 联咏科技股份有限公司 处理来源图像以产生目标图像的方法及装置
US10021363B2 (en) 2015-10-16 2018-07-10 Novatek Microelectronics Corp. Method and apparatus for processing source image to generate target image
CN106604011B (zh) * 2015-10-16 2019-03-15 联咏科技股份有限公司 处理来源图像以产生目标图像的方法及装置
CN109640014A (zh) * 2015-10-16 2019-04-16 联咏科技股份有限公司 非易失性储存媒体及装置
CN109640014B (zh) * 2015-10-16 2021-06-01 联咏科技股份有限公司 计算器可读存储介质及包括计算器可读存储介质的装置

Also Published As

Publication number Publication date
US7742046B2 (en) 2010-06-22
JP5036881B2 (ja) 2012-09-26
US20070052729A1 (en) 2007-03-08
JP2011118916A (ja) 2011-06-16

Similar Documents

Publication Publication Date Title
CN1925628A (zh) 产生用于三维图像显示的元图像阵列的方法和设备
US10347168B2 (en) Spatially dithered high-resolution
CN1619359A (zh) 立体图像生成方法和立体图像显示装置
CN1838779A (zh) 显示三维图像的装置
CN1514428A (zh) 图像显示系统和方法
CN1754392A (zh) 用于立体显示的方法和装置
CN1519620A (zh) 显示方法、显示装置和可以用于显示装置的数据写入电路
CN1957393A (zh) 图像处理装置、图像显示装置、图像处理方法和计算机产品
CN1960503A (zh) 三维显示设备及其驱动方法
JP5176718B2 (ja) 空間像表示装置
CN1764288A (zh) 立体图像显示装置以及具有其的电子装置
CN102682426A (zh) 图像处理设备、图像处理方法及程序
CN1920615A (zh) 三维显示设备及其驱动方法
CN1853200A (zh) 用于在3-d图像显示屏上显示3-d图像的系统和方法
CN1619358A (zh) 立体显示装置及图像显示方法
CN1918511A (zh) 使用可变焦距透镜的三维显示
CN1892808A (zh) 立体图像显示设备
WO2003063512A2 (en) Multi-layer display
US20120223941A1 (en) Image display apparatus, method, and recording medium
CN112987332A (zh) 一种高分辨率光栅立体显示装置
CN1265622C (zh) 固体摄像装置及其读出方法
CN102595175B (zh) 三维影像显示装置
CN1808210A (zh) 裸眼可视液晶快门光筛立体图像显示装置及其显示方法
US8537205B2 (en) Stereoscopic video display apparatus and display method
CN1741067A (zh) 扩充图像数据以创建用于显示的放大图像的方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication