CN101278565A - 在投射全景成像中控制三维图像的深度和横向尺寸 - Google Patents

在投射全景成像中控制三维图像的深度和横向尺寸 Download PDF

Info

Publication number
CN101278565A
CN101278565A CNA2006800313194A CN200680031319A CN101278565A CN 101278565 A CN101278565 A CN 101278565A CN A2006800313194 A CNA2006800313194 A CN A2006800313194A CN 200680031319 A CN200680031319 A CN 200680031319A CN 101278565 A CN101278565 A CN 101278565A
Authority
CN
China
Prior art keywords
image
view
depth
microlens array
display unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2006800313194A
Other languages
English (en)
Inventor
章畴硕
巴赫拉姆·亚维迪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Connecticut
Original Assignee
University of Connecticut
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Connecticut filed Critical University of Connecticut
Publication of CN101278565A publication Critical patent/CN101278565A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/27Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/144Processing image signals for flicker reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/305Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00Details of stereoscopic systems
    • H04N2213/002Eyestrain reduction by processing stereoscopic signals or controlling stereoscopic devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

在此公开的方法涉及显示三维图像的方法。该方法包括向显示装置投射全景图像和用显示装置显示三维图像。在此进一步公开了用于显示无畸变三维图像的装置。该装置包括用于投射全景图像的投射器和用于显示投射图像的微凸面镜阵列。

Description

在投射全景成像中控制三维图像的深度和横向尺寸
相关申请交叉引用
本申请要求2005年8月8日提交的第60/706,281号美国临时专利申请的优先权,在此通过引用结合其全部内容。
发明背景
目前为止开发的大多数三维显示技术具有立体感。实现了显示高分辨率的大型图像的立体系统,但是立体技术需要辅助的玻璃以呈现三维视觉效果。此外,立体技术可以为观察者提供水平视差和少量的视点。观看立体图像由于幅辏调节冲突还可以引起视疲劳。
通过在空间中形成具有全视差和连续视点的真实三维图像可以避免辐辏调节冲突。全息术是在空间中形成三维像的一种方法,但是记录用于室外场景的全彩全息图有困难。例如,当准备计算机生成的全息图时,需要大量的计算时间和强大的计算能力以获得适当的栅格。因为在全息术中经常使用相干光,所以会出现散斑。
为了使用二维显示装置以不相干光在空间中产生真实的三维图像,还研制了基于射线光学的技术。一种技术被称为全景成像(II)。
在全景成像中,使用微透镜阵列交叉来自二维基础图像的射线,形成三维图像。微透镜阵列中的每一个透镜以针孔的形式充当定向像素。针孔形成定向图形,例如当用双眼观察时,其显示为空间中的三维图像。使用全视差和连续视点全景成像可以为观察者提供真实的三维图像。但是,视角、聚焦深度和三维图像的分辨率有限。
此外,在直接摄像机摄像全景成像中形成的三维图像是反影(深度反向)图像,因此使全景成像系统更复杂和更不切实际。
技术的进步需要扩大视角和改进图像质量。还需要显示远离摄像装置的大型目标的图像。此外,所需的改进包括向大显示屏上投射三维图像的能力。
发明内容
在此公开的方法涉及显示三维图像的方法。该方法包括向显示装置投射全景图像和用显示装置显示三维图像。
在此进一步公开涉及记录和显示三维图像时控制三维图像深度的方法。该方法包括在摄像期间放大基础图像,通过光学中继器将放大的基础图像投射到显示装置,以及在保持横向图像尺寸的同时在显示装置的聚焦深度内显示三维图像。
在此进一步公开涉及用平面摄像和平面显示装置记录和显示三维图像时控制三维图像深度的方法。该方法包括靠近平面微透镜阵列定位光学路径长度补偿(OPLE)透镜,通过光学中继器将三维图像投射到平面显示装置,以及在显示装置的聚焦深度内显示三维图像。
在此进一步公开涉及记录和显示三维图像的方法。该方法包括用微透镜阵列生成基础图像,用光学路径长度补偿(OPLE)透镜增加基础图像的差异性,在记录装置的成像传感器上记录基础图像。该方法进一步包括通过光学中继器将三维图像投射到显示装置,以及在显示装置的聚焦深度内显示三维图像。
在此进一步公开用于显示无畸变三维图像的装置。该装置包括用于投射全景图像的投射器,以及用于显示投射图像的微凸面镜阵列。
附图说明
仅作为例子,现在参考示例性而非限定性的附图描述实施例,图中相同的元件以相同的数字表示,其中:
图1a、1b和1c是使用平面装置的全景成像(II)装置的侧视图;
图2a、2b和2c是使用平面装置的投射全景成像(PII)装置的侧视图;
图3a、3b、3c、3d、3e和3f是使用曲面装置的非线性深度控制装置的侧视图;
图4a和4b是修改后的摄像系统的侧视图;
图5a、5b和5c表示发散投影方法;
图6a是将要成像的目标的示例;
图6b是连接到数字摄像机的修改后的摄像透镜系统;
图7是用于三维图像显示的光学装置的俯视图,其中包括微凸面镜阵列;
图8a、8b、8c和8d是基础图像的中心部分;
图9是不使用光学路径长度补偿(OPLE)透镜时重构的无畸变三维虚像;
图10是使用OPLE透镜时重构的无畸变三维虚像。
具体实施方式
本发明公开了控制重构三维图像的深度和横向尺寸的方法和装置。例如,这些方法和装置可以与新型的“投射”全景成像(PII)系统共同使用。
上述技术允许拍摄远处的大型三维目标,而且允许在全景成像系统的聚焦深度内显示其缩小的三维图像。表明了曲面摄像装置(即曲面二维图像传感器和曲面微透镜阵列)或曲面显示装置或二者可以用于该目的。当中曲面阵列中的微透镜具有缩放能力时,可能额外需要线性深度控制。
以下单独讨论了两个示例性方法以及其共同使用。在实验中,为了展示方法的可用性,可以使用平面摄像装置(微透镜阵列、传感器和显示器)。其他大孔径负透镜,在此也称为光学路径长度补偿(OPLE)透镜,与摄像微透镜阵列相接触放置。
应当注意在此公开的术语“记录”与“摄像”可交换使用,术语“重构”与“显示”可交换使用。
全景成像概述
常规全景成像(CII)
在CII中,正焦距的平面微透镜阵列表示在图1中。
如图1a所示,可以通过利用微透镜阵列3和二维图像传感器4,如电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)图像传感器,获取三维目标2的一组基础图像1(即来自目标的空间采样射线的方向和亮度信息)。如图1b所示,为了重构目标2的三维图像7,该组二维基础图像1可以使用二维显示面板5,如液晶显示(LCD)面板,显示在微透镜阵列3之前。
此外,参考图1a和1b,在示例中焦距为f的微透镜阵列3固定在z=0,显示面板固定在z=-g,由高斯透镜定律:
1 g + 1 L i = 1 f
可知间隙距离g应当满足Lif/(Li-f)≡gr,其中假设三维实相7在z=Li处形成。来自基础图像的射线通过微透镜阵列3汇聚形成三维实像。重构的三维图像是目标2的反影(深度反向)实像7。为了将反影图像转化为无畸变图像,使用将每一个基础图像绕其中心光轴旋转180度的处理。无畸变图像通过该P/O变换处理成为虚像8。而且,如图1c所示,当三维虚像8在z=-Li处形成时,间隙距离g应当满足从公式(1)所得的用于最优聚焦的Lif/(Li+f)≡gv
投射全景成像(PII)
投射全景成像(PII)是本发明的新颖主题。换句话说,发明人首先发明了投射全景成像(PII)。
如图2a所示,在PII中获得基础图像的处理实质上没有不同于CII中的处理。但是,基础图像可以通过光学中继器10投射到微透镜阵列3上,如图2a和2b所示。微凸/凹面镜阵列11、21作为投射屏使用,如图2c和2d所示。当使用具有正焦距的微透镜阵列3或使用微凹面镜阵列11时,投射的基础图像12的聚焦平面位于z=-gr,如图2a和2c所示。如果P/O变换后的基础图像12用于显示z=-Li处形成的三维无畸变虚像8,投射的基础图像12的聚焦平面应当位于z=-gv处。
当使用具有负焦距9的微透镜阵列或使用微凸面镜阵列21时,不需P/O变换即可显示三维无畸变虚像8。例如,假设在z=-Li处形成三维图像8,微透镜阵列9(或微凸面镜阵列21)的焦距是-f。则从公式(1)可得间隙距离g变为Lif/(f-Li)≡-gr。因此,投射的基础图像12的聚焦平面位于z=+gr,如图2b和2d所示。另一方面,当三维实像7显示在z=Li处时,投射的基础图像12的聚焦平面应当位于z=+gv处。因为在PII和CII中Li>>f,gr≈gv≈f。
PII相对于CII的优点
因为使用微凸面镜阵列作为投射屏,PII达到下列各项:
第一,视角增大。在全景成像中,全视角近似由2×arctan[0.5/(f/#)]限制和确定,其中f/#是当微透镜阵列的填充系数接近1时微透镜的f数量。
而且,制造具有小f/#的有限衍射(无象差)凸面镜比制造类似的微透镜容易。凸面镜元件可以具有小于1的f/#。例如,如果f/#=0.5,则视角ψ变为90度,这对于多数实际应用是可接受的。
第二,如果正微透镜阵列用于直接摄像机摄像,不需要P/O变换。
第三,即使使用小尺寸显示面板或胶片,也容易实现大屏幕三维电影。因为显示面板与屏幕分离,从而投射到屏幕上的基础图像的尺寸可以很容易地利用光中继器控制。
第四,即使不使用光障,也能无翻转地观察三维图像。这是因为每一个基础图像可以只投射到其对应的微凸面镜上。
第五,在PII中容易执行空间多路复用或时间多路复用或二者。为了显示具有高分辨率和大聚焦深度的三维图像,在整组基础图像中像素的数量应当足够大。因为目前可用或近期可得的显示面板不能满足这样的要求,需要空间复用或时间复用或二者以显示这组高分辨率的基础图像。
在以下实验中,PII使用微凸面镜阵列屏。但是,该公开内容不限定在以下这些示例性实施例和实验中所使用的结构的用法。
三维图像的纵向深度控制
在全景成像系统中重构的三维图像具有有限的聚焦深度δ。已经表明δ不能大于1/(λρ2),其中λ是显示波长,ρ是重构的三维图像的分辨率。ρ定义为重构图像的点尺寸的倒数。在投射全景成像中,只能靠近微凸面镜阵列的投射屏(或显示微透镜阵列)重构高分辨率的三维图像。因此,聚焦深度δ应当从投射屏测量。
假设,有人试图拍摄位置超过聚焦深度范围的目标。具体地,目标的正面固定在z=zo>δ,目标的纵向厚度是T。当摄像微透镜和投射屏中的微凸面镜的焦距大小相等时,既可以在z=zo处显示实像,也可以在z=-zo处显示虚像。从而,在该示例中不能显示聚焦的三维图像,因为图像的位置超过聚焦深度的范围。所以,需要控制要显示的重构三维全景图像的深度(进而位置),从而靠近屏幕即在聚焦深度内重构图像。
通过缩放基础图像的线性深度控制
如果摄像微透镜阵列的焦距fp长于显示微凸面镜阵列的焦距fd,则重构图像空间的纵向范围按系数fd/fp≡r线性减小,同时横向范围不变。所以,如果(zo+T)r<δ,三维重构图像聚焦良好。
因此,在不同的纵向位置拍摄目标以及在II系统的聚焦深度内显示其图像的方案是使用具有可变焦距fp的摄像微透镜阵列或微缩放透镜阵列。如果fp按系数α增大,则根据几何光学每一个基础图像也按该系数放大。因此,即使fp是固定的也可以使用数字放大。换言之,通过在计算机中按系数α数字地放大每一个基础图像,r可以随之改变:
r = f d α f p - - - ( 2 )
随后,在摄像处理中在z=-rzo处重构位于z=zo处的目标的无畸变虚像。
数字放大会降低基础图像的分辨率。当zo→∞且目标非常大时,可以使用非线性深度控制方法。
使用曲面摄像装置的非线性深度控制
对于远处的大型目标,基础图像几乎是相同的,因为相邻的拍摄微透镜的目标视差非常小。当这样的基础图像显示在II系统中时,重构图像会非常模糊并且不容易被看见。可以使用曲率半径为R的曲面摄像装置(例如曲面透镜阵列17和曲面二维图像传感器18),随后可以分别使用如图3a和3b所示的平面显示装置重构三维图像。类似地,可以分别使用如图3c和3d所示的平面摄像装置(例如平面图像传感器14和平面微透镜阵列16)和曲面显示装置(例如曲面显示面板19和曲面微透镜阵列20)。使用以下符号规约:当在摄像(显示)过程中曲率中心位于目标(观察者6)的同一侧时,R>0;以及当位于另一侧时,R<0。
使用负曲面摄像微透镜阵列提高相邻基础图像的差异性。因为在曲面阵列中微透镜的摄像方向不平行,因此其视场比平面阵列更加分散。如果拍摄接近摄像微透镜阵列的小尺寸对象,可以获得这样的基础图像。因此,当差异性高的基础图像显示在平面显示屏(微凸面镜阵列)上时,接近屏幕重构小尺寸的全景图像。通过控制R,能够在II系统的聚焦深度内显示远处的大型目标的三维图像。
使用负曲面摄像微透镜阵列减小深度和尺寸的效果可以通过引入具有负焦距-Rp的理想薄透镜分析,如图3e所示其与平面摄像微透镜阵列16相接触。因为在图3a与3e中装置的射线传播行为,以及在图3d与3f中装置的射线传播行为分别相同。这样的透镜称为光学路径长度补偿(OPLE)透镜15。当焦距为f1和f2两个薄透镜相接触时,有效焦距变为f1f2/(f1+f2)。为了使两装置完全等价,与OPLE透镜15接触的微透镜阵列16的焦距应当为 f p e = R p f p ( R p + f p ) , 其中fp是曲面摄像微透镜17的焦距。通常,Rp>>fp,所以 f p e ≈ f p . 因此,在分析中不使用曲率半径为-Rp和焦距为fp的曲面摄像微透镜阵列17与曲面图像传感器18,而可以使用焦距为fp e的平面透镜阵列16、平面传感器14和焦距为-Rp的摄像OPLE透镜15。
首先OPLE透镜15产生目标的图像,随后平面摄像装置14、16实际拍摄图像,从而形成高差异性的基础图像。对于位于z=zo(>0)处的目标,OPLE透镜15根据公式(1)在以下位置产生其图像:
z = R p z o R p + z o ≡ z i - - - ( 3 )
随着zo从∞变化到0,zi从Rp变化到0。高差异性的基础图像投射到微凸面镜阵列屏上,如果fd=fp则在z=-zi处重构虚像。因此,Rp应当比II系统的聚焦深度短。根据几何光学OPLE透镜的横向放大由zi/zo(<1)给定。
如图3d所示,深度和尺寸减小的效果可以通过使用负曲面显示装置19、20达到。假设使用曲率半径为-Rd曲面显示装置19、20,同时通过使用平面摄像装置14、16获得基础图像。如上,对平面显示装置(例如平面微透镜阵列16和平面显示面板22)引入理想显示OPLE透镜15。因此,如果fd=fp则对于在摄像过程中位于z=zo(>0)处的目标,无畸变虚像在以下位置重构:
z = - R d z o R d + z o - - - ( 4 )
线性和非线性深度控制方法的结合
通常,线性和非线性深度控制方法可以结合。对于位于z=zo处的目标,重构图像的位置可以从等效平面摄像装置14、16和显示装置22估计,装置16具有OPLE透镜。摄像OPLE透镜在z=zi处产生目标的图像,其中zi在公式(3)中给定。从该图像中获得高差异性的基础图像,并再对其数字放大。随后,平面显示微透镜阵列16在z=-rzi处产生中间重构图像,其中r在公式(2)中给定。由于显示OPLE透镜15,从高斯透镜定律可得在z=-zr处获得最终重构的图像,其中:
z r = r R p R d z o ( r R p + R d ) z o + R p R d - - - ( 5 )
随着z0从∞变化到0,zr从rRpRd/(rRp+Rd)变化到0。
影响三维图像深度和尺寸的其他系统因素
使用修改后的摄像系统
因为二维图像传感器14的物理尺寸小于摄像微透镜阵列3的尺寸,所以通常使用如图4a所示的修改后的摄像系统。在此,通过具有大f/#的摄像机透镜25检测由平面微透镜阵列3形成的基础图像。因为基础图像的差异性增大,使用这样的摄像机透镜25和平面摄像微透镜阵列3产生负曲面摄像微透镜阵列的效果。通过将修改后的摄像系统视为具有曲面微透镜阵列的曲面摄像系统实现该效果,曲面微透镜阵列的曲率半径是-Rc。Rc约等于平面摄像微透镜阵列与摄像机透镜之间的距离。
因此,当使用如图4b所示的曲率半径为Rp的曲面摄像微透镜阵列26时,如果通过摄像机透镜25检测基础图像,摄像微透镜阵列26的实际曲率半径视为:
R p e = R c R p R c + R p - - - ( 6 )
在该实验中这被视为等价于具有两个OPLE透镜(27、28)的平面摄像装置(14、16)。在这种情况下,在公式(5)中用Rp e代替Rp
基础图像的离散投射
如图5a所示,当基础图像投射到微透镜阵列3的屏幕,投射束的夹角θ(例如在方位角的方向)不可以为负。在这种情况下,即使使用平面显示装置,也自然达到负曲面显示装置的效果。假设全部投射在屏幕上的基础图像的水平尺寸是s。如果光中继器的孔径尺寸远小于s,则可以认为平面显示装置是曲率半径为-Rs=-s/θ的曲面显示装置。实际上,Rs约等于平面投射屏幕与光中继器之间的距离。
假设这样的离散投射系统使用在如图5b所示的曲率半径为-Rd的负曲面微透镜阵列30或如图5c所示的负曲面微凸面镜阵列31中。非离散系统中显示屏幕的实际曲率半径是:
R d e = R s R d R s + R d - - - ( 7 )
在这种情况下,在公式(5)中用Rd e代替Rd
实验
系统描述
将要成像的目标由如图6a所示的小仙人掌35和大建筑物36构成。摄像微透镜阵列与仙人掌35之间的距离约为20厘米,摄像微透镜阵列与建筑物之间的距离约为70米。因为曲面摄像装置不能用于该实验,所以使用平面二维图像传感器和平面微透镜阵列,平面微透镜阵列与作为OPLE透镜的大孔径负透镜接触。焦距和负透镜的直径分别是33厘米(=Rp)和7厘米。使用的平面摄像微透镜阵列由丙烯酸制造,并具有53×53个平凸微透镜。每一个微透镜元件是正方形,并具有统一的底座大小1.09毫米×1.09毫米,微透镜元件的间隔小于7.6微米。微透镜的焦距约为3毫米(=fp)。在实验中共使用48×36个基础图像。
具有4500×3000个COMS像素的数字摄像机37用作二维图像传感器。摄像机摄像系统37如图6b所示。在修改后的系统中,Rc≈20cm。从公式(6)可得,当不使用OPLE透镜时, R p e = R c = 20 cm ; 当使用OPLE透镜时, R p e = 12.5 cm .
线性深度减小的方法与非线性的方法结合使用。为了避免由数字放大引起的分辨率降低,放大的基础图像的分辨率保持在高于LCD投射器的分辨率。使用四个不同的α,α1=1,α2=1.5,α3=2和α4=2.5。用作投射屏幕的平面微凸面镜阵列通过涂覆与摄像微透镜阵列相同的微透镜阵列的凸表面获得。屏幕反射的光强度多于90%。每一个微凸面镜的焦距大小是0.75毫米(=fd)。因为fp=3毫米,从公式(2)可得对于α1、α2、α3和α4线性深度压缩率分别是r1=1/4、r2=1/6、r3=1/8和r4=1/10。
用于三维图像重构的装置如图7所示。具有3色(红、绿和蓝)面板的彩色LCD投射器40用于投射基础图像。每一个面板具有1024×768个方形像素,像素间距18微米。每一个基础图像平均约为21×21个像素。光中继器41的放大率是2.9。投射光束的离散角度θ在方位角的方向是约6度。略微存在曲面显示装置的效果。屏幕与光中继器之间的距离是约48厘米。因为S=52.3毫米,所以Rs≈50毫米。从公式(7)可得因为在实验中Rd=∞。
仙人掌35的位置由zoc(=20厘米)表示,建筑物36的位置由zob(=70米)表示。对于不同的r和Rp,从公式(5)可以估计仙人掌的重构图像位置z=-zrc和建筑物的重构图像位置z=-zrb。位置如表1所示。
       表1  重构图像的估计位置
Figure A20068003131900151
其他参数:
Figure A20068003131900152
zoc=20厘米和zob=70米。
实验结果
不使用OPLE透镜获得的基础图像的中心部分和使用OPLE透镜获得的基础图像的中心部分分别如图8a和8b所示。当α=2.5时图8a和图8b中的基础图像中心部分的数字放大基础图像分别如图8c和8d所示。可见OPLE透镜提高相邻基础图像之间的差异性。
当基础图像投射到平面微凸面镜阵列上时,重构三维无畸变虚像。测量到的视角是60~70度,其与预计值很一致。对于在视角范围之外活动的观察者,全部重构图像不可见。对于充分对正的系统很难观察到高阶重构图像。图9和10显示了对于不同深度控制参数的重构三维图像的左、中和右视图。观察到重构图像的位置定性地与表1中给出的估计位置一致。比较图9和10中给出的图像,可见对于较短的Rp e重构的三维图像较小。随着r减小,重构三维图像在纵向方向进一步压缩,因此左右视图之间的差异性减小。重构三维图像的横向尺寸独立于r。在较深位置的重构三维图像更模糊,因为PII系统的聚焦深度有限,其估计约为5厘米。
双目视差是观察介质距离的最有效深度提示。通常,我们的深度控制降低了重构三维图像的可靠性,因为对于远处的目标深度控制比横向尺寸更多地压缩了纵向深度。但是,人类的视力也使用其他的深度提示,其双目视差对于观察长距离也不是非常有效。因此,我们的非线性位置控制方法可以高效地用于聚焦深度有限的大型三维显示系统。尽管如此,还是应当努力提高II系统的聚焦深度。
总之,已经提出了至少一种在II系统中控制重构三维图像的深度和横向尺寸的方法、装置和系统,其中可以使用曲面摄像微透镜阵列或曲面微凸面镜(显示微透镜)阵列或二者。当曲面阵列中的微透镜具有缩放能力时,能额外的进行线性深度控制。已经表明使用两种控制方法通过聚焦深度有限的II系统可以有效地重构远距离的大型目标。这种控制对基于II系统实现三维电视、视频和电影非常有用。
本发明的一些实施例具有以下优点:用直接摄像执行成像,从而生成全视差和连续视点的真实三维图像构造,使用二维显示装置的不相干光生成宽视角、大聚焦深度和高分辨率的无畸变图像。另外的优点包括将三维图像投射到大显示屏上的能力。
本领域的技术人员可以认识到计算机或其他客户端或服务器装置可以用作计算机网络的一部分,或者用在分布式计算环境中。在这点上,上述和/或在此请求的方法和装置从属于任何具有多个存储单元和存在于多个存储单元或空间的多个应用程序的计算机系统,其可以与上述和/或在此请求的方法和装置结合使用。因此,该方法和装置可以应用于配置在网络环境或分布式计算环境中的具有服务器计算机和客户端计算机的环境,该环境具有远程或本地存储器。上述和/或在此请求的方法和装置还可以应用到独立的计算装置,该计算装置具有用于生成、接收和发送与远程或本地服务有关的编程语言功能、翻译和执行能力。
上述和/或在此请求的方法和装置可以与多种其他通用或专用计算系统环境或配置共同运行。适用于与上述和/或在此请求的方法和装置共同使用的众所周知的计算系统、环境和/或配置的示例包括但不限于个人计算机、服务器计算机、手持或膝上装置、多处理器系统、基于微处理器的系统、网络计算机、大型计算机、包括上述系统或装置的分布式计算环境。
上述和/或在此请求的方法和装置可以在由计算机执行的计算机可执行指令的通用语境中描述,如程序模块。程序模块通常包括命令、过程、对象、组件、数据结构等,其可以执行特定的任务或实施特定的抽象数据类型。因此,上述和/或在此请求的方法和装置可以在分布式计算环境中实施,如在不同单元之间由通过通信网络或其他传输介质链接的远程处理装置执行任务。在典型地分布式计算环境中,程序模块和命令或数据可以位于包含存储器装置的本地和远程计算机存储介质中。分布式计算通过在计算装置和系统之间的直接交换简化了计算机资源和服务的共享。这些资源和服务可以包括交换用于文件的信息、高速缓存器和磁盘存储器。分布式计算利用网络连接,允许客户端利用集体的力量使整个企业受益。在这一点上,多种装置具有可以利用上述和/或在此请求的方法和装置的应用程序、对象或资源。
实施上述方法的计算机程序通常将在发行介质中分配给用户,如CD-ROM。程序可以复制到磁盘或类似的中间存储介质中。当程序运行时,其从发行介质或中间存储介质中加载到计算机的执行存储器,从而配置计算机根据上述方法和装置动作。
术语“计算机可读介质”包括所有发行和存储介质、计算机存储器,以及能够存储由计算机读取的执行上述方法的程序的任何其他介质或装置。
因此,在此所述各种技术可以与硬件或软件或二者的适当结合有关。从而,上述和/或在此请求的方法和装置,或者其具体方面或部分可以采用实现在有形介质中的程序代码或指令的形式,如软磁盘、CD-ROM、硬盘驱动器,或其他任何机器可读存储介质,其中当程序代码下载到如计算机的机器并由其执行时,机器成为实施上述和/或在此请求的方法和装置的装置。在程序代码在可编程计算机上执行的情况下,计算装置通常包括处理器、处理器可读的存储介质、至少一个输入装置和至少一个输出装置,存储介质可以包括易失性和非易失性存储器和/或存储元件。一个或多个程序可以利用上述和/或在此请求的方法和装置的技术,并通过使用数据处理可在高级程序语言或面向对象的编程语言中实现,从而与计算机系统通信。但是,如果需要程序可以在汇编或机器语言中实现。在任何情况下,语言可以是编译或翻译语言,并与硬件执行机构结合。
上述和/或在此请求的方法和装置还可以通过通信实施,通信以经过传输介质传送的程序代码的形式实现,例如经过电线电缆、光纤或任何其他形式的传输,其中当程序代码接收和加载到机器中,并由其执行时,如EPROM、门阵列、可编程逻辑器件(PLD)、客户端计算机或具有以上示例性实施例中描述的信号处理能力的接收机成为实施上述和/或在此请求的方法的装置。当在通用处理器上实施时,程序代码与处理器相结合以提供运行调用上述和/或在此请求的方法和装置的功能的唯一装置。此外,与上述和/或在此请求的方法和装置关联使用的任何存储技术可以总是与硬件和软件结合。
在此所述的步骤和方法能够或配置为或适用于在所公开或描述的结构中执行,或由其执行。
当结合优选实施例和附图描述上述和/或在此请求的方法和装置时,应当理解可以使用其他的实施例,或者对实施上述和/或在此请求的方法和装置的同样功能的所述实施例做出修改或增加。此外,应当强调可以预期多种计算机平台,包括手持装置操作系统和其他具体应用操作系统,特别是给定通用的无线联网装置的数量。
虽然以上说明参考了具体实施例,但是应当理解可以不背离本发明的范围做出多种修改。权利要求用于概括落入本发明真实范围和精神内的修改。

Claims (28)

1、显示三维图像的方法,该方法包括:
向显示装置投射全景图像;及
用显示装置显示三维图像。
2、如权利要求1所述的方法,进一步包括:
通过光中继器将图像从投射器转送到显示装置。
3、如权利要求2所述的方法,进一步包括:
用微透镜阵列将反影图像转换为无畸变图像。
4、如权利要求3所述的方法,进一步包括:
用具有正焦距的微透镜阵列聚焦无畸变图像。
5、如权利要求2所述的方法,进一步包括:
用具有负焦距的微透镜阵列聚焦无畸变图像。
6、如权利要求2所述的方法,进一步包括:
用微凹面镜阵列将反影图像转换为无畸变图像。
7、如权利要求6所述的方法,进一步包括:
用微凹面镜阵列聚焦无畸变图像。
8、如权利要求2所述的方法,进一步包括:
用微凸面镜阵列聚焦无畸变图像。
9、如权利要求8所述的方法,进一步包括:
通过使用微凸面镜阵列作为显示屏增大视角。
10、如权利要求8所述的方法,进一步包括:
用光中继器将投射的图像分散到大的微凸面镜阵列。
11、如权利要求8所述的方法,进一步包括:
将每一个基础图像投射到唯一的微凸面镜。
12、如权利要求8所述的方法,进一步包括:
时间上多路复用投射的图像。
13、如权利要求8所述的方法,进一步包括:
空间上多路复用投射的图像。
14、如权利要求8所述的方法,进一步包括:
时间上和空间上多路复用投射的图像。
15、如权利要求1所述的方法,其中显示装置是平面显示装置。
16、当记录和显示三维图像时,控制三维图像的深度的方法,包括:
在摄像期间放大基础图像;
通过光中继器将放大的基础图像投射到显示装置;及
在显示装置的聚焦深度内显示三维图像,同时保持横向图像尺寸。
17、如权利要求16所述的方法,其中以数字方式执行放大。
18、当用平面摄像和平面显示装置记录和显示三维图像时,控制三维图像的深度的方法,包括:
临近平面微透镜阵列固定光学路径补偿OPLE透镜;
通过光中继器将三维图像投射到平面显示装置;及
在显示装置的聚焦深度内显示三维图像。
19、如权利要求18所述的方法,进一步包括:
在摄像期间临近平面摄像装置的平面微透镜阵列固定OPLE透镜。
20、如权利要求18所述的方法,进一步包括:
在显示期间临近平面显示装置的平面微透镜阵列固定OPLE透镜。
21、如权利要求18所述的方法,进一步包括:
在摄像期间放大基础图像。
22、记录和显示三维图像的方法,包括:
用微透镜阵列形成基础图像;
用光学路径长度补偿OPLE透镜增大基础图像的差异性;
在记录装置的成像传感器上记录基础图像;
通过光中继器将三维图像投射到显示装置;及
在显示装置的聚焦深度内显示三维图像。
23、如权利要求22所述的方法,进一步包括:
线性控制图像深度;
数字放大基础图像;及
不改变图像的横向尺寸。
24、显示无畸变三维图像的装置,包括:
用于投射全景图像的投射器;及
用于显示投射图像的微凸面镜阵列。
25、如权利要求24所述的装置,进一步包括:
光中继器,通过其将投射的全景图像转送到微凸面镜阵列。
26、如权利要求24所述的装置,其中投射器是二维投射器。
27、如权利要求24所述的装置,进一步包括:
用于显示投射图像的平面微凸面镜阵列。
28、如权利要求24所述的装置,进一步包括:
用于显示投射图像的曲面微凸面镜阵列。
CNA2006800313194A 2005-08-08 2006-08-03 在投射全景成像中控制三维图像的深度和横向尺寸 Pending CN101278565A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US70628105P 2005-08-08 2005-08-08
US60/706,281 2005-08-08

Publications (1)

Publication Number Publication Date
CN101278565A true CN101278565A (zh) 2008-10-01

Family

ID=37727940

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2006800313194A Pending CN101278565A (zh) 2005-08-08 2006-08-03 在投射全景成像中控制三维图像的深度和横向尺寸

Country Status (4)

Country Link
US (3) US20070030543A1 (zh)
CN (1) CN101278565A (zh)
DE (1) DE112006002095T5 (zh)
WO (1) WO2007019347A2 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103913845A (zh) * 2013-01-08 2014-07-09 东西大学校产学协力团 一种利用遮罩和时间复用方式的三维全景图像显示方法
CN107301620A (zh) * 2017-06-02 2017-10-27 西安电子科技大学 基于相机阵列的全景成像方法
CN107430277A (zh) * 2015-01-21 2017-12-01 特塞兰德有限责任公司 用于沉浸式虚拟现实的高级折射光学器件
CN103809228B (zh) * 2012-11-13 2017-12-12 三星电子株式会社 电润湿透镜阵列、3d 图像显示装置和3d 图像拾取装置

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100707609B1 (ko) * 2005-12-02 2007-04-13 삼성에스디아이 주식회사 2차원 및 3차원 영상 선택 가능 디스플레이 장치
KR100851207B1 (ko) * 2007-01-16 2008-08-07 삼성에스디아이 주식회사 2차원 및 3차원 영상 선택 가능 디스플레이 장치
US8913108B2 (en) 2008-10-10 2014-12-16 Koninklijke Philips N.V. Method of processing parallax information comprised in a signal
JP2013502617A (ja) * 2009-08-25 2013-01-24 ドルビー ラボラトリーズ ライセンシング コーポレイション 3dディスプレイシステム
US20110075257A1 (en) 2009-09-14 2011-03-31 The Arizona Board Of Regents On Behalf Of The University Of Arizona 3-Dimensional electro-optical see-through displays
JP2016001326A (ja) * 2010-06-16 2016-01-07 株式会社ニコン 画像表示装置
DE102010031713A1 (de) * 2010-07-21 2012-01-26 Giesecke & Devrient Gmbh Optisch variables Sicherheitselement mit Kippbild
DE102012212088A1 (de) * 2012-07-11 2014-05-22 Bayerische Motoren Werke Aktiengesellschaft Bilderzeugende Einheit
US9341853B2 (en) * 2012-08-14 2016-05-17 Young Optics Inc. Stereo image displaying system and stereo image capturing system
US8699868B1 (en) * 2013-03-14 2014-04-15 Microsoft Corporation Anti-shake correction system for curved optical sensor
KR102049456B1 (ko) * 2013-04-05 2019-11-27 삼성전자주식회사 광 필드 영상을 생성하는 방법 및 장치
KR20150066901A (ko) 2013-12-09 2015-06-17 삼성전자주식회사 디스플레이 패널의 구동 장치 및 구동 방법
US9182605B2 (en) * 2014-01-29 2015-11-10 Emine Goulanian Front-projection autostereoscopic 3D display system
KR101617514B1 (ko) 2014-04-16 2016-05-13 광운대학교 산학협력단 멀티 프로젝션형 집적영상방법
CN105025284B (zh) 2014-04-18 2019-02-05 北京三星通信技术研究有限公司 标定集成成像显示设备的显示误差的方法和设备
JP6335623B2 (ja) * 2014-05-07 2018-05-30 日本放送協会 立体映像表示装置
CN104407442A (zh) * 2014-05-31 2015-03-11 福州大学 一种集成成像3d显示微透镜阵列及其3d制作方法
CN104113750B (zh) * 2014-07-04 2015-11-11 四川大学 一种无深度反转的集成成像3d投影显示装置
JP6446465B2 (ja) * 2014-09-30 2018-12-26 ミラマサービスインク 入出力装置、入出力プログラム、および入出力方法
JP6549909B2 (ja) * 2015-06-08 2019-07-24 日本放送協会 光線制御素子および立体表示装置
DE102016113669A1 (de) 2016-07-25 2018-01-25 Osram Opto Semiconductors Gmbh Verfahren zur autostereoskopischen Bildgebung und autostereoskopische Beleuchtungseinheit
US10379388B2 (en) 2016-08-12 2019-08-13 Avegant Corp. Digital light path length modulation systems
US10187634B2 (en) 2016-08-12 2019-01-22 Avegant Corp. Near-eye display system including a modulation stack
US10057488B2 (en) 2016-08-12 2018-08-21 Avegant Corp. Image capture with digital light path length modulation
US10185153B2 (en) 2016-08-12 2019-01-22 Avegant Corp. Orthogonal optical path length extender
US10516879B2 (en) 2016-08-12 2019-12-24 Avegant Corp. Binocular display with digital light path length modulation
US10809546B2 (en) 2016-08-12 2020-10-20 Avegant Corp. Digital light path length modulation
US10401639B2 (en) 2016-08-12 2019-09-03 Avegant Corp. Method and apparatus for an optical path length extender
DE102016224162A1 (de) * 2016-12-05 2018-06-07 Continental Automotive Gmbh Head-Up-Display
AU2018231083B2 (en) 2017-03-09 2023-03-09 Arizona Board Of Regents On Behalf Of The University Of Arizona Head-mounted light field display with integral imaging and waveguide prism
IL269042B2 (en) 2017-03-09 2024-06-01 Univ Arizona Light field display is integrated in the head with integral imaging and relay optics
CN107102446B (zh) * 2017-06-27 2019-07-09 京东方科技集团股份有限公司 一种三维立体显示面板、其显示方法及显示装置
WO2019182592A1 (en) 2018-03-22 2019-09-26 Arizona Board Of Regents On Behalf Of The University Of Arizona Methods of rendering light field images for integral-imaging-based light filed display
SG11202108913UA (en) 2019-02-18 2021-09-29 Rnvtech Ltd High resolution 3d display
IL305779A (en) * 2021-03-09 2023-11-01 Univ Arizona Devices and methods for improving the performance of imaging-based integral light field displays using time division schemes

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3921061A1 (de) * 1989-06-23 1991-01-03 Hertz Inst Heinrich Wiedergabeeinrichtung fuer dreidimensionale wahrnehmung von bildern
US20030020809A1 (en) * 2000-03-15 2003-01-30 Gibbon Michael A Methods and apparatuses for superimposition of images
JP3845060B2 (ja) * 2000-12-18 2006-11-15 ビョンホ リ 反射型立体ディスプレイシステム
US20020114077A1 (en) * 2001-01-23 2002-08-22 Bahram Javidi Integral three-dimensional imaging with digital reconstruction
US7492513B2 (en) * 2002-01-23 2009-02-17 Sergey Fridman Autostereoscopic display and method
JP2005070255A (ja) * 2003-08-22 2005-03-17 Denso Corp 虚像表示装置
US7261417B2 (en) * 2004-02-13 2007-08-28 Angstrom, Inc. Three-dimensional integral imaging and display system using variable focal length lens

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103809228B (zh) * 2012-11-13 2017-12-12 三星电子株式会社 电润湿透镜阵列、3d 图像显示装置和3d 图像拾取装置
CN103913845A (zh) * 2013-01-08 2014-07-09 东西大学校产学协力团 一种利用遮罩和时间复用方式的三维全景图像显示方法
CN107430277A (zh) * 2015-01-21 2017-12-01 特塞兰德有限责任公司 用于沉浸式虚拟现实的高级折射光学器件
CN107430277B (zh) * 2015-01-21 2020-09-15 特塞兰德有限责任公司 用于沉浸式虚拟现实的高级折射光学器件
CN107301620A (zh) * 2017-06-02 2017-10-27 西安电子科技大学 基于相机阵列的全景成像方法
CN107301620B (zh) * 2017-06-02 2019-08-13 西安电子科技大学 基于相机阵列的全景成像方法

Also Published As

Publication number Publication date
US8264772B2 (en) 2012-09-11
WO2007019347A2 (en) 2007-02-15
DE112006002095T5 (de) 2008-10-30
US20070030543A1 (en) 2007-02-08
WO2007019347A3 (en) 2007-06-07
US20110043611A1 (en) 2011-02-24
US20120320161A1 (en) 2012-12-20

Similar Documents

Publication Publication Date Title
CN101278565A (zh) 在投射全景成像中控制三维图像的深度和横向尺寸
US7837330B2 (en) Panoramic three-dimensional adapter for an optical instrument and a combination of such an adapter and such an optical instrument
CN100437339C (zh) 显示设备和显示方法
US20050180019A1 (en) Three-dimensional integral imaging and display system using variable focal length lens
US20050185711A1 (en) 3D television system and method
CN108803053B (zh) 三维光场显示系统
US20180292179A1 (en) Cloaking systems and methods
CN104620047A (zh) 用于会聚角切片真3d显示器的系统和方法
JP4676862B2 (ja) 立体画像再撮影装置
Alpaslan et al. Small form factor full parallax tiled light field display
JP4741395B2 (ja) 立体映像表示装置
JP2007206655A (ja) 立体像表示装置
JP2008107583A (ja) 3次元画像表示装置及びその表示方法
JP4523538B2 (ja) 立体映像撮影表示装置
US20060083437A1 (en) Three-dimensional image display apparatus
CN105204312B (zh) 一种基于数字柱透镜的全息投影系统
CN112351358B (zh) 一种基于人脸检测的360度自由立体式的三维显示音箱
KR101608753B1 (ko) 초점 이동 영상 촬영을 통한 3차원 컨텐츠 생성 방법 및 장치
JP2003075946A (ja) 立体撮像装置
JP2002300609A (ja) 立体撮像装置
Arai et al. Integral three-dimensional television based on superhigh-definition video system
JPH04355747A (ja) 立体表示装置
JP2004054153A (ja) 立体像の撮像表示装置
JP6232229B2 (ja) 立体映像表示装置
US20240348766A1 (en) Imaging apparatus and method, and device

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication