CN110115023B - 全景摄像机 - Google Patents

全景摄像机 Download PDF

Info

Publication number
CN110115023B
CN110115023B CN201780078490.9A CN201780078490A CN110115023B CN 110115023 B CN110115023 B CN 110115023B CN 201780078490 A CN201780078490 A CN 201780078490A CN 110115023 B CN110115023 B CN 110115023B
Authority
CN
China
Prior art keywords
view
multiplexer
camera
view multiplexer
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780078490.9A
Other languages
English (en)
Other versions
CN110115023A (zh
Inventor
理查德·A·穆勒
尼尔·I·温斯托克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Soliddd Corp
Original Assignee
Soliddd Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US15/382,674 external-priority patent/US10750101B2/en
Application filed by Soliddd Corp filed Critical Soliddd Corp
Publication of CN110115023A publication Critical patent/CN110115023A/zh
Application granted granted Critical
Publication of CN110115023B publication Critical patent/CN110115023B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/349Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
    • H04N13/354Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking for displaying sequentially
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265Mixing
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/22Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type
    • G02B30/24Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type involving temporal multiplexing, e.g. using sequentially activated left and right shutters
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/22Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type
    • G02B30/25Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type using polarisation techniques
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/27Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/229Image signal generators using stereoscopic image cameras using a single 2D image sensor using lenticular lenses, e.g. arrangements of cylindrical lenses
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/305Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

视频显示器的单个像素可以显示多个视图的各自的个体像素。换句话说,视频显示器可以包括比视频显示器的物理像素通常支持的更多的用于自由立体图像的视图。物理像素是时间复用的,因为物理像素在给定时间间隔内显示一个视图的像素,并且视图复用器将来自物理像素的光偏转预定角度以使像素出现在与视图的像素对应的位置。在另一时间间隔,物理像素显示不同的视图的像素,并且视图复用器将来自物理像素的光偏转不同的预定角度,以使像素出现在与不同的视图的像素对应的位置。

Description

全景摄像机
要求优先权
本申请要求2016年12月18日提交的题为“IMPROVED RESOLUTION FORAUTOSTEREOSCOPIC VIDEO DISPLAYS”的第15/382,674号美国专利申请的优先权,该美国专利申请是2010年12月15日提交的题为“IMPROVED RESOLUTION FOR AUTOSTEREOSCOPICVIDEO DISPLAYS”的第12/969,552号美国专利申请的部分继续申请,其内容通过引用并入本文。
技术领域
本发明总体上涉及自由立体显示器,并且更具体地,涉及具有显著改进的分辨率的视频自由立体显示器。
背景技术
常规的自由立体显示器使用透镜或视差屏障或其他视图选择器的阵列来使显示器的多个像素对于观看者的一只眼睛是可见的并且使显示器的多个其他像素对于观看者的另一只眼睛是可见的。通过隔离对于每只眼睛可见的显示器的像素,立体图像的两个分量可以呈现在显示器上。
由于普通观看者的眼睛是并排并且水平对准的,因此透镜阵列根据水平方向使像素可见。结果,用于左眼和右眼的相应像素位于相同的扫描线中并且水平地彼此偏移。
因此,在仅具有两个视图的自由立体显示器中,观看者的每只眼睛看到水平分辨率减半的图像。在大多数自由立体显示器中,通过具有多于两个视图来改善视场。在为了提供更大的投影感知深度的尝试中,在相对狭窄的空间内例如1mm内需要更多的视图,例如24个视图。典型的LCD显示屏具有约200像素/英寸的像素密度,尽管一些具有接近300像素/英寸的密度。这大约是每毫米6个像素,即在1mm空间内提供24个视图所需的分辨率的大约四分之一。
因此,传统的视频显示设备不能在足够小的空间中提供足够的视图以满足现代自由立体图像的需求。
发明内容
根据本发明,视频显示器的单个像素可以显示多个视图的各自的个体像素。换句话说,视频显示器可以包括比视频显示器的物理像素通常支持的更多的用于自由立体图像的视图。
为了利用单个物理像素实现多个视图,物理像素是时间复用的。具体地,物理像素在给定时间间隔内显示一个视图的像素,并且视图复用器将来自物理像素的光偏转预定角度,以使像素出现在与视图的像素对应的位置。在另一个时间间隔内,物理像素显示不同视图的像素,并且视图复用器将来自物理像素的光偏转不同的预定角度,以使像素出现在与该不同视图的像素对应的位置。
视图复用器包括具有双折射材料的多个柱状棱镜,使得通过柱状棱镜的光的偏转可通过控制通过的光的偏振性而在两个不同角度之间切换。替选地,柱状棱镜的材料根据柱状棱镜的电场而改变其折射率。这样的材料的示例是液晶。由柱状棱镜提供的反射角的可控性使得能够控制给定像素对于人类观看者所呈现的位置。
通过使给定像素呈现的位置和由像素显示的特定视图同步,允许该像素显示针对帧速率的相应部分的多个视图的像素。人类观看者的视觉暂留导致通过透镜阵列对观看者可见的一个视图中的一个像素在整个帧中能够持续被感知到。
多个视图复用器可以被堆叠以提供更多样的累积偏转角度。
另外,通过将透镜体配置成在聚焦目标——例如自由立体显示器的像素——的后面的可接受距离处聚焦,减少了由于透镜阵列的个体透镜体的像场弯曲引起的聚焦误差。结果是,由于像场弯曲,透镜体将在观看视角的适当角度处特别好地聚焦,并且仍将产生可接受的聚焦误差以及甚至观看视角的更宽的角度。
附图说明
图1是根据本发明的观看者和自由立体显示器的平面图。
图2是图1的自由立体显示器的一部分的更详细的平面图。
图3是图1和图2的自由立体显示器的视图复用器的更详细的平面图。
图4是示出根据本发明的采用两(2)个视图复用器的像素的时间复用的时序图。
图5是根据本发明的替选的自由立体显示器的平面图。
图6是图5的自由立体显示器的一部分的更详细的平面图。
图7是示出图5和图6的自由立体显示器的焦点的平面图。
图8是根据本发明的替选的视图复用器的平面图。
图9和图10是示出使用图8的视图复用器的像素的时间复用的时序图。
图11是图2的掩蔽体的平面图,其被放大以示出由于图2的视图复用器的操作而引起的视在像素的位置。
具体实施方式
根据本发明,视频显示器的单个像素可以显示多个视图的各自的个体像素。具体地,立体显示器100(图1和图2)包括视图复用器204A-204B(图2),视图复用器204A-204B弯曲来自多个像素例如像素216A-216F中的每一个像素的光,使得每个像素呈现在略微不同的位置,并且针对多个时间间隔中的每一个时间间隔表示不同视图的像素。例如,视图复用器204A-204B可以使像素216A处于位置216A1(图11)、216A2、216A3和216A4中的任一个位置。以这种方式,像素216A-216F中的每一个像素被进行时间复用以表示自由立体显示器的相应的多个视图的像素。
以下面更全面地描述的方式,视图复用器204A-204B进行组合以在该说明性的实施方式中提供4对1复用。视图复用器204A-204B在预定的时间间隔将来自像素216A-216F的光以预定的分视角(fractional view angles)进行弯曲。在该说明性的实施方式中,透镜体202C被设计成提供一度的视角增量,这意味着通过透镜体202C的观看视角相差一度,在所述观看视角,像素216A-216F中的每一个通过掩蔽体214是可见的。为了从单个像素提供四(4)个视图,在该说明性的实施方式中,视图复用器204A-204B进行组合从而以四个(4)均匀间隔的分视角即0度、0.25度、0.5度和0.75度来偏转光;在其他实施方式中可以使用其他角度。应当理解,单个视图复用器可以从单个像素提供两(2)个视图,三(3)个视图复用器可以进行组合以从单个像素提供多达八(8)个视图,并且可以实现许多其他组合以从单个像素提供甚至更多的视图。还应当理解,视图复用器可以扫过一定范围的偏转角度,从而以下面描述的方式从单个像素提供其他数量的视图。
在时序图400(图4)中示出了使用像素216A-216F中的单个像素的四(4)个视图的显示。如下面更全面地描述的,视图复用器204A可在以0.5度来偏转光或根本不偏转光之间切换,并且视图复用器204B可在以0.25度来偏转光或根本不偏转光之间切换。视图复用器204A-204B以120Hz的速率切换,并且视图复用器204B以半个时钟周期的延迟跟随视图复用器204A,如时序图400所示。
像素216A-216F具有240Hz的刷新速率。最初在时序图400中,视图复用器204A-204B都关闭,即不偏转光,并且像素216A针对单个刷新周期显示视图N的像素。如果观看者10的眼睛通过掩蔽体214和透镜体202A与像素216A对准,则该眼睛将在位置216A1(图11)看到像素216A的视图N,并且视图N的像素将呈现为占据透镜体202A的整个宽度(图2)。当像素216A正显示其他视图的像素时,视图复用器204A-204B的偏转导致眼睛看到平坦的黑色掩蔽体214。然而,视觉暂留使观看者10继续在位置216A1(图11)看到四(4)个240Hz周期的视图N的像素。
在下一个240Hz周期(图4)中,视图复用器204A切换至打开。视图复用器204A-204B的累积偏转为0.5度,且像素216A呈现为处于位置216A3(图11),并且针对单个刷新周期显示视图N+2的像素(图4)。如果观看者10的眼睛通过掩蔽体214和透镜体202A与像素216A离对准相差0.5度,则该眼睛将看到像素216A的视图N+2,并且视图N+2的像素将呈现为占据透镜体202A的整个宽度。如上所述,掩蔽体214和视觉暂留使得观看者10继续在位置216A3(图11)看到四个(4)240Hz周期的视图N+2的像素。
在下一个240Hz周期(图4)中,视图复用器204B切换至打开。视图复用器204A-204B的累积偏转为0.75度,而且像素216A呈现为处于位置216A4(图11),并且针对单个刷新周期显示视图N+3的像素(图4)。如果观看者10的眼睛通过掩蔽体214和透镜体202A与像素216A离对准相差0.75度,则该眼睛将看到像素216A的视图N+3,并且视图N+3的像素将呈现为占据透镜体202A的整个宽度。如上所述,掩蔽体214和视觉暂留使得观看者10继续在位置216A4(图11)看到四个(4)240Hz周期的视图N+3的像素。
在下一个240Hz周期(图4)中,视图复用器204A切换至关闭。视图复用器204A-B的累积偏转为0.25度,且像素216A呈现为处于位置216A2(图11),并且针对单个刷新周期显示视图N+1的像素(图4)。如果观看者10的眼睛通过掩蔽体214和透镜体202A与像素216A离对准相差0.25度,则该眼睛将看到像素216A的视图N+1,并且视图N+1的像素将呈现为占据透镜体202A的整个宽度。如上所述,掩蔽体214和视觉暂留使得观看者10继续在位置216A2(图11)看到四个(4)240Hz周期的视图N+1的像素。
在下一个240Hz周期(图4)中,视图复用器204B切换至关闭。视图复用器204A-204B的累积偏转是0度,并且像素216A再次显示视图N的像素,并且针对单个刷新周期呈现为处于位置216A1(图11)。并且,时序图400(图4)的四(4)周期模式重复。
因此,视图复用器204A-204B使像素216A-216F进行时间复用,使得每个像素可以显示自由立体显示器100的四(4)个不同视图的像素。应当理解,在没有透镜体202A-202C的情况下,像素216A对于人类观看者将呈现为在位置216A1(图11)、216A2、216A3和216A4处的四(4)个不同的像素。因此,在没有透镜阵列或其他视图选择器的情况下,视图复用器204A-204B使显示器具有比显示器的物理分辨率密集得多的视在分辨率。
还应当理解,存在透镜阵列的替代选择,以确保人类观看者仅看到自由立体图像的多个视图中的一个。例如,可以使用视差屏障。此外,使用激光器而不是LCD或LED作为光源允许由特定像素显示的各个视图仅在激光器的光所指向的位置处可见。
如图2所示,自由立体显示器100包括透镜阵列的多个透镜体202A-202C。在该说明性的实施方式中,透镜体202A-202C被设计成提供相对平坦的场。将在下文中描述使由于像场弯曲导致的透镜体聚焦误差最小化的其他方法。
在该说明性的实施方式中,视图复用器204A-204B紧接在透镜体的后面。下面结合图3更详细地描述视图复用器204A-204B。在视图复用器204A-204B之后是透明材料例如塑料、玻璃或诸如空气的气体的层206、偏振器208和透明材料的第二层210。
在层210的后面是滤色器212A-212F的阵列,每个滤色器将红色、绿色或蓝色色调赋予像素216A-216F中相应的像素。像素216A-216F是垂直像素。
掩蔽体214位于滤色器212A-212F与像素216A-216F之间,并将像素216A-216F的感知宽度限制为其实际宽度的四分之一,从而由于通过视图复用器204A-204B的操作而造成光的偏转在用于视在像素的像素216A-216F之间留下暗区。在该说明性的实施方式中,透镜体202A-202C的焦点视场大约位于掩蔽体214处。
像素216A-216F紧邻掩蔽体214之后定位。像素216A-216F中的每一个是单个的、独立控制的LCD子像素,具有其自身的独立控制的显示强度。每个像素216A-216F的颜色由滤色器212A-212F中相应的一个控制。在像素216A-216F后面的是透明材料的另一个层218和偏振器220。在偏振器220后面是光源(未示出),如在常规LCD显示器中典型的那种光源。偏振器208和220类似于在常规LCD显示器中使用的偏振器。
在图3中更详细地示出了视图复用器204A。除非另有说明,否则视图复用器204B直接类似于视图复用器204A,并且以下描述也适用于视图复用器204B。
视图复用器204A(图3)以从上方看的横截面图示出,并且包括由双折射材料例如液晶制成的三角形柱304A-C。三角形柱304A-C位于透明塑料或玻璃的层302与透明塑料或玻璃的开槽层306之间,在开槽层306中制造有三角形凹槽从而为三角形柱304A-C提供空间。
在层306的后面是位于电极层308与电极层312之间的液晶的切换层310。通过选择性地向电极层308和312施加电荷,可以切换通过切换层310的光的偏振,例如在相对于三角形柱304A-C中的双折射材料的平行取向与垂直取向之间切换。
选择三角形柱304A-C的双折射材料、其在制造时设置的取向以及尺寸和形状以提供具有切换层310的一个偏振取向的一个光偏转量以及具有切换层310的另一个偏振取向的不同的偏转量。实际上,三角形柱304A-C中的双折射材料是棱镜,所述棱镜的光偏转程度根据切换层310的状态而变化。
在该说明性的实施方式中,双折射材料被选择为具有基本上等于层302和306的透明材料的折射率的一个折射率,并且因此对于切换层310的一个偏振取向不提供光的偏转,如箭头314A所示。实际上,三角形柱304A-C的棱镜消失到层302和306中,并且三角形柱304A-C和层302和306看起来是透明材料的单个平坦层。然而,应当理解,棱镜不必提供零度的偏转以有效地消失到层302和306中。只要棱镜是可控制的以提供至少两个不同的偏转角度中的一个,则可以使得像素216A出现在至少两个不同的、可能交叠的位置中的一个中,并且因此用于像素216A的时间复用的目的。
对于本说明性的实施方式中的切换层310的另一偏振取向,选择视图复用器204A中的三角形柱304A-C的双折射材料、其在制造时设置的取向以及大小和形状,以将光偏转0.5度,如箭头314B所示,并且选择视图复用器204B中的三角形柱304A-C的双折射材料、其在制造时的取向以及尺寸和形状,以将光偏转0.25度。实际上,具有该偏振取向的双折射材料的不同的折射率和三角形柱304A-C的尺寸是被设计为以预定的期望角度反射光的棱镜,例如在该说明性的实施方式中的视图复用器204A中的0.5度和视图复用器中204B的0.25度。
如上所述,自由立体显示器100包括多个透镜体202A-202C,多个透镜体202A-202C被设计成提供相对平坦的场。图5和图6示出了用于减少由于常规透镜体的像场弯曲引起的自由立体图像劣化的另一种方法。
观看者10(图5)正在从各种视角观看由自由立体显示器100B显示的自由立体图像。自由立体显示器100B是自由立体显示器100的替代实施方式,并且除了本文另有描述的内容以外直接类似于自由立体显示器100。自由立体显示器100B不包括弯月面圆柱体透镜体,而是包括更常规设计的透镜体,其具有凸起的近侧表面和平坦的远侧表面。
自由立体图像以非常好的聚焦被最佳地观看。在自由立体显示器100B的情况下,聚焦目标是掩蔽体214B。然而,由于某些透镜体的像场弯曲,与直接垂直于自由立体显示器100B显著地偏离的视角倾向于失焦。该像场弯曲由曲线502示出,该曲线502表示在各种透视角度下的透镜体的焦点的轨迹。为了减少在视角的较宽范围上的焦点损失,自由立体显示器100B的透镜阵列被聚焦在掩蔽体214B的稍微后侧,以沿曲线504提供焦点的轨迹。
在图6中,自由立体显示器100B的一部分被放大。曲线502和504被放大以示出其中的聚焦误差。
曲线502表示在典型的常规自由立体显示器中由透镜体提供的焦点的轨迹。曲线502示出对于直向视角即垂直于自由立体显示器100B的视角具有非常好的聚焦即接近零聚焦误差。在更宽的视角,曲线502示出了显著的聚焦误差602。
在该说明性的实施方式中,自由立体显示器100B的透镜体被设计成针对直向视角聚焦在掩膜214B的后面。如图7所示,曲线504在掩蔽体214B后面一定量,从接近垂直于掩蔽体214的观看视角来看,自由立体显示器100B的透镜体的焦点被模糊了宽度702,该宽度702仅仅是掩蔽体214B中的间隙的宽度。这种有限的模糊不影响由观看者10感知的自由立体图像的准确性,因为通过每个透镜体,除了预期的像素对观看者10是可见的以外,没有东西对观看者10是可见的。因此,在接近垂直视角处可见的聚焦误差604(图6)足够小而不影响观看者10的焦点的感知。
在更宽的观看视角,曲线504与掩蔽体214B相交以提供非常好的聚焦,但仍然没有优于观看者10在接近垂直的视角所感知的程度,并且在更宽的观看视角开始模糊,如曲线504位于掩蔽体214B的前面时。由观看者10感知的视图的质量在这些较宽的观看视角处被保持直到聚焦误差606,超过该聚焦误差606,模糊量超过掩蔽体214B中的间隙的宽度。
在一些实施方式中,保持不比掩蔽体214B中的间隙更宽的聚焦误差可能允许在观看视角的更宽的角度存在不可接受的大聚焦误差。通常,通过确定期望优质观察的视角范围上的模糊宽度并选择透镜和焦点的轨迹——其模糊宽度在该视角范围内最小化——来实现最佳结果。
结果是焦点的轨迹由曲线504表示的透镜体提供了比常规透镜体的可接受视角的更宽范围。
如上文简要描述的,单个视图复用器804(在图8中的横截面视图中示出)可以扫过一定范围的偏转角度,以从单个像素提供多个视图。
视图复用器804包括其折射率可由例如电场控制的材料的三角形柱808A-C。这样的材料的示例是液晶。三角形柱808A-C位于透明塑料或玻璃的层606与透明塑料或玻璃的开槽层810之间,在开槽层810中制造有三角形凹槽从而为三角形柱808A-C提供空间。
在层806的前面是电极层802。在层810的后面是电极层812。通过选择性地将电荷施加到电极层802和812,可以改变三角形柱808A-C中的材料的折射率。
选择三角形柱808A-C内的材料、其在制造时设定的取向以及三角形柱808A-C的尺寸和形状,以提供跨电场范围的期望的偏转范围,所述电场可跨电极层802和812产生。实际上,三角形柱808A-C中的材料是棱镜,所述棱镜的光偏转程度根据电极层802与电极层812之间的电场而变化。
在该说明性的实施方式中,期望的偏转范围是0.0-2.0度,三角形柱808A-C内的材料具有从层806和810的折射率变化到比层806和810的折射率高0.1的折射率,并且三角形柱808A-C为具有角816是20度的直角三角形的横截面。
时序图900(图9)图示了使用视图复用器804的像素216A的时间复用。时序图900示出了电极层802和812之间的电场、视图复用器804的对应偏转角度以及由像素216A显示的各种视图。由视图复用器804提供的偏转角度扫过预定范围,例如0-2.0度。像素216A以同步方式显示视图N至N+3的像素,使得在视图复用器804扫过偏转角度0.0-0.5度的同时,像素216A显示视图N的像素,在视图复用器804扫描通过偏转角度0.5-1.0度的同时,显示视图N+1的像素,在视图复用器804扫描通过偏转角度1.0-1.5度的同时,显示视图N+2的像素,并且在视图复用器804扫过偏转角度1.5-2.0度的同时,显示视图N+3的像素,其后视图复用器804返回以提供0度的偏转,并且像素216A显示视图N的下一帧的像素。
应当理解,虽然像素216A被示出为仅时间复用四(4)个视图,但是像素216A可以时间复用更多视图,这仅受到相对于期望帧速率的像素216A的切换速率的限制。在使用一个或多个LED例如在非常大的标志中实现像素216A的实施方式中,像素216A可以比LCD像素更快地切换,并且可以时间复用更多的视图。例如,一些LED可以以2.0M Hz的频率进行切换。因此,单个LED(或红色、绿色和蓝色LED的群集)可以提供单个像素的300个或更多个视图,仅受到透镜体202A-202C的光学质量、视图复用器804的偏转角度的范围以及切换速度的限制。
时序图1000(图10)示出了替代方式,其中视图复用器804可对由像素216A所展示的多个视图的像素进行时间复用。一旦视图复用器804扫过偏转角度的一个范围,例如,0-2.0度,则视图复用器804在相反方向上往回扫过该范围,例如,从2.0度到0度。以同步方式,一旦像素216A切换通过视图N、N+1、N+2和N+3的像素,则像素216A以相反顺序切换通过随后的帧的像素,即切换通过视图N+3、N+2、N+1和N。
应当理解,视图复用器804可以以其他方式循环通过偏转角度,包括阶梯式图案。此外,视图复用器804的多个实例例如视图复用器204A-204B(图2)可以堆叠,以提供更大范围的累积偏转角度。
视图复用器还可以用于不涉及自由立体的目的,并且大多数但不是全部的相同的基本技术使得附加应用成为可能。但是以与本文描述的完全相同的方式使用没有柱状透镜的视图复用器,将导致具有增加的像素密度的正常二维图像。此外,通过在设备内使用具有更陡峭斜度的棱镜结构并进而使用更宽的偏转角度,并且还通过使用没有柱状透镜的设备,可以用于产生具有更宽视场的投影图像的目的(即,将使用额外的多个像素使图像扩展到原始基础显示器的左侧或右侧),或者创建来自同一显示器的按时间顺序运行的两个投影图像的目的(例如示出相距一定距离的针对头戴式近眼显示器中的双视图立体视图的右侧视图和左侧视图)。结合摄像机,可以在捕获更宽视场或多视图时获得类似的效果。通过将视图复用器与摄像机或投影仪对齐,或者与肉眼对齐,可以将图像捕获为或使图像显示为具有比仅由摄像机或投影仪捕获或显示的特征更好的特征。示例特征包括:更宽的视场、增加的像素密度、经调整的衍射特性、基础显示器中的像素定位的校正、经调整的焦点等。
作为第一示例,摄像机或投影仪或简单光束可以具有预定义的视场或投影。例如,摄像机可以具有35度、50度、100度等的视场。系统可以通过调整视图复用器的角度并随后在调整视图复用器的角度时捕获图像或视图来生成具有更大视场的图像。例如,可以将视图复用器的角度调整到满足以下条件的角度:使得摄像机的图像传感器直向前瞄准,但是被捕获的图像中心具有与垂直于图像传感器(即在图像传感器正前方)的物体成45度的场景。这样,视图复用器就像一种潜望镜。当视图复用器的在不同角度的多个视图与多个摄像机曝光同步时,摄像机可以拍摄一系列图片,这些图片可以用作具有比可能用单个传感器捕获的视场大得多的视场的整个图像的切片。在另一应用中,由与视图复用器的改变的角度同步的多个捕获创建的整个视场可以保持在可能由没有视图复用器辅助的透镜捕获的总视场内,但是通过将借助于视图复用器捕获的多个图像拼接在一起而创建的图像将包含比其他方式可获得的图像倍增的图像分辨率或像素密度。此应用完全类似于已经详细说明的自由立体显示器的应用中增加的像素密度。因此,借助于视图复用器,摄像机将能够生成可以电子地放大的图像,而没有分辨率损失。
系统还可以拍摄多个图像,其中在每次曝光或图像捕获期间将视图复用器调整到不同的角度。系统可以自动识别适当的角度。例如,用户可以指示期望具有特定视场的图片。然后,系统可以计算视图复用器的角度,以生成具有期望的视场的图像。当用户或系统激活摄像机的快门时,系统可以调整视图复用器的角度,以基于视图复用器的偏转位置使每个图像或每次曝光具有不同的视场。如前所述,偏转位置可以包括经过摄像机的视场或焦点场的偏转位置。一旦捕获了必要数量或期望数量的图像,系统就可以将图像拼接在一起以生成具有比摄像机的视场更宽的视场的单个图像。
类似的系统可以与投影仪结合,或者与被用于生成要在距显示器一定距离处呈现的图像的任何基础显示器结合,例如在近眼显示器中,使用波导来携载来自相对于眼睛位于一定距离处和/或通常无法看到的角度的显示器的图像。在这样的系统中,视图复用器将被耦接至投影仪或基础显示器。当投影仪或显示器显示图像时,视图复用器可以跨宽范围的位置来扫描图像,从而创建以比典型情况更宽的视场示出图像的视频。例如,视图复用器的角度可以与投影仪/基础显示器的图像的播放同步。当投影仪或显示器显示新图像时,视图复用器将跨多个偏转角度扫描以在不同角度显示每个图像,从而产生每个图像具有其视场大于通常可显示的视场的效果。可以堆叠多于一个视图复用器以增加系统的最大扫描角。例如,如果每个视图复用器可以跨2度范围扫描,则堆叠的两个复用器可以跨4度范围扫描。而且,如已经详细描述的,位于视图复用器内的棱镜的偏转角度可以增加,以获得与用多于一个的堆叠的视图复用器可能实现的相同的更大范围。在给定的堆叠的视图复用器和多个堆叠的视图复用器中较大的偏转角度的组合将允许系统显示高达360度。
这样的系统还能够从单个基础显示器向适合于每只眼睛的有利位置示出交替的左眼视图和右眼视图,从而感知立体图像。同样,如果场序彩色显示器是图像源,或者从单个图像中提取其他数据,则系统将能够显示红色。因此,可以将绿色信号和蓝色信号(在场序显示器的情况下)或专用图像数据(例如深度图或亮度信号,针对两个示例)发送至不同的观看位置。
作为另一示例,摄像机捕获服务的预定义特征可包括像素密度。换句话说,摄像机可以具有设置的像素密度,其中以该设置的像素密度捕获图像。视图复用器可以增加捕获图像的总像素密度,从而导致图像在不降低图像分辨率的情况下可以被放大。视图复用器可以与系统同步,使得在通常分配给一个像素的空间中创建2个、4个或更多个水平或垂直像素。这类似于上面讨论的其中将单个物理像素细分为子像素的技术。为了实现这种效果,系统将快速连续拍摄两个或更多个图像。每个图像将处于稍微不同的视图复用器偏转角度,从而产生两个非常相似但视角略有不同的图像。
然后,系统可以将图像拼接在一起以生成单个图像。系统可以从每个捕获的图像中获取图像信息来对两个原始像素之间的信息进行填充。作为示例,仅使用摄像机,图像可以包括像素A和像素B。通过以略微不同的角度捕获两个图像,系统可以填充像素A与像素B之间的信息。因此,系统将每个原始像素划分为子像素,并使用从多个捕获的图像获得的信息来填充子像素的信息。得到的图像具有高于摄像机成像器的像素数的分辨率。
如前所述,可以将类似的系统与投影仪一起使用以显示具有更大像素密度的图像。该系统类似于之前关于平板显示器(例如电视、广告牌等)讨论的系统。然而,该系统不是附接至平板显示器,而是附接至投影仪。因此,来自投影的光将以小的角度扫描通过视图复用器,以增加显示给观看者的图像的像素密度。这也可以用于向观看者显示自由立体图像。
在另一个示例中,期望的效果可包括特定的衍射特性。如本文所述,视图复用器内的棱镜结构实际上是通常定义的闪耀衍射光栅。向液晶材料施加电压可以改变棱镜阵列的有效斜率、高度和/或周期性。可以这样做以调整衍射效应,以便在不需要衍射时限制该衍射效应,或者在需要衍射时强调该衍射效应。具体施加的电压也可用于随着由基础显示器呈现的变化的图像而及时改变衍射效应。例如,可以将场序显示器用于呈现绿色、红色和蓝色的连续图像。视图复用器可以与每种颜色同步,使得按顺序针对每种颜色的波长进行网格划分(grate),以使这些颜色通过光波导,或用于其他应用。
类似地,可调节性可用于对不精确制造的塑料光栅或玻璃光栅进行校正。这可以通过向棱镜阵列的不同区域施加如创建均匀阵列所需的差分电压来实现。
类似地,可以将差分电压施加到视图复用器的不同区域,以在基础显示器中校正不准确像素对准——这在由多个模块组装的显示器中是典型的。
类似地,通过视图复用器中的改变的电压而成为可能的可调节的衍射光栅可以与摄像机结合使用。由于针对不同的衍射对光栅频率和光栅幅度进行调整,并针对特定的光源(例如摄像机中内置的闪光灯,或例如紫外线等)对光栅频率和光栅幅度进行校准,因此可以将摄像机变成用于感应气体泄漏的光谱仪、颜色校准打印机、皮肤疾病诊断装置等。在这种情况下,复用器不需要与摄像机的快门紧密同步,而只需在快门打开时运行。在这种情况下,衍射设置(即,复用器的电压)将被设置为在摄像机快门打开时操作,然后当快门可以再次打开以便测量其他现象时,根据需要将衍射设置改变到其他设置。
在另一种使用情况中,对视图复用器的不同区域的施加电压的差分调整可以允许它用作聚焦透镜。可以将聚焦透镜的原始形式设计到由塑料或玻璃制成的模制棱镜结构或蚀刻的棱镜结构中,该棱镜结构被封闭在液晶单元内,通常采用菲涅耳图案的形式,使得棱镜可以足够均匀并且尺寸足够短以适应最大可用单元间隙。然后由这种塑料结构或玻璃结构限定的液晶棱镜结构可以通过电压调节其形状,以改变透镜的规定特性。这种调节可以是永久性的(每当施加电压时),也可以是可调节的,或者处于与要观察的信息同步的顺序,或者针对不同的观看者和不同的观看条件调节透镜。
上面的描述仅是说明性的而非限制性的。本发明仅由所附权利要求及其等效方案的全部范围确定。所附权利要求旨在被解释为包括落入本发明的真实精神和范围内的所有这样的改变、修改、置换和替换等同物。

Claims (18)

1.一种图像捕获系统,包括:
摄像机,其捕获具有预定义特征的一个或更多个图像;
视图复用器,其在操作上耦接至所述摄像机,其中,所述视图复用器在一定时间间隔增强所述摄像机的所述预定义特征中的至少一个预定义特征,其中,所述预定义特征包括以下中至少之一:所述摄像机的视场、衍射特性、像素密度以及聚焦效果,其中,增强的特征创建了更宽的视场,其中,所述视图复用器被放置为与所述摄像机对齐,其中,所述视图复用器与所述摄像机的快门同步;
至少一个处理器,其在操作上耦接至所述摄像机和所述视图复用器;以及
存储器,其存储能够由所述处理器执行以进行以下操作的指令:
调整所述视图复用器的角度;以及
使用所述摄像机并结合具有调整的角度的所述视图复用器来捕获来自所述一个或更多个图像的具有至少一个增强的特征的至少一个图像,其中所述至少一个图像是通过所述视图复用器来捕获的。
2.根据权利要求1所述的图像捕获系统,其中,调整所述视图复用器的角度包括调整所述视图复用器的电压。
3.根据权利要求2所述的图像捕获系统,其中,调整所述视图复用器的角度包括调整经过所述摄像机的焦点场的偏转位置。
4.根据权利要求2所述的图像捕获系统,其中,捕获包括捕获多个曝光,其中所述多个曝光中的每个曝光对应于所述视图复用器的不同角度。
5.根据权利要求4所述的图像捕获系统,还包括通过将所述多个曝光拼接在一起来生成全景图像。
6.根据权利要求2所述的图像捕获系统,其中,增强像素密度包括所述视图复用器使所述像素密度增加。
7.根据权利要求6所述的图像捕获系统,其中,捕获包括连续捕获多个图像,所述图像中的每个图像具有与先前捕获的图像不同的视图复用器角度。
8.根据权利要求7所述的图像捕获系统,还包括通过将所述多个图像拼接在一起来生成具有增加的像素密度的图像。
9.根据权利要求1所述的图像捕获系统,其中,所述摄像机包括与用户电子设备集成的摄像机。
10.根据权利要求1所述的图像捕获系统,其中,增强衍射特性包括通过所述视图复用器增加、减少或以其他方式调整衍射效应使得获得期望的衍射效应。
11.根据权利要求1所述的图像捕获系统,其中,增强聚焦效果包括通过所述视图复用器调整聚焦效果以获得期望的聚焦效果。
12.一种图像捕获方法,包括:
使用摄像机并结合视图复用器来捕获至少一个曝光,其中,所述曝光包括视场宽于所述摄像机的视场的视图;
其中,所述捕获包括:
识别所述摄像机的焦点场;
调整所述视图复用器的角度,其中,所述视图复用器的角度包括经过所述摄像机的所述焦点场的偏转位置,其中,所述摄像机捕获具有预定义特征的曝光,所述视图复用器在操作上耦接至所述摄像机,所述视图复用器在一定时间间隔增强所述摄像机的所述预定义特征中的至少一个预定义特征,其中,所述预定义特征包括以下中至少之一:所述摄像机的视场、衍射特性、像素密度、聚焦效果,其中,增强的特征创建了更宽的视场,其中,所述视图复用器被放置为与所述摄像机对齐,其中,所述视图复用器与所述摄像机的快门同步;以及
通过使用所述摄像机并结合处于调整的角度的所述视图复用器来捕获所述至少一个曝光,其中所述曝光是通过所述视图复用器来捕获的。
13.根据权利要求12所述的图像捕获方法,其中,所述至少一个曝光包括多个曝光,并且其中,所述曝光中的每个曝光包括其中所述视图复用器处于不同的角度的曝光。
14.根据权利要求13所述的图像捕获方法,包括通过将所述多个曝光拼接在一起来生成全景图像。
15.一种投影系统,包括:
投影仪,其捕获具有预定义特征的图像;
视图复用器,其在操作上耦接至所述投影仪,其中,所述视图复用器在一定时间间隔增强所述投影仪的所述预定义特征中的至少一个预定义特征,其中,所述预定义特征包括以下中至少之一:所述投影仪的视场、衍射特性、像素密度以及聚焦效果,其中,增强的特征创建了更宽的视场,其中,所述视图复用器被放置为与所述投影仪对齐,其中,所述视图复用器与所述投影仪的快门同步;
至少一个处理器,其在操作上耦接至所述投影仪和所述视图复用器;以及
存储器,其存储能够由所述处理器执行以进行以下操作的指令:
调整所述视图复用器的角度;以及
使用所述投影仪并结合具有调整的角度的所述视图复用器来提供具有至少一个增强的特征的至少一个图像,其中所述至少一个图像是通过所述视图复用器来捕获的。
16.根据权利要求15所述的投影系统,其中,增强像素密度包括所述视图复用器使所述像素密度增加。
17.根据权利要求15所述的投影系统,其中,调整所述视图复用器的角度包括调整偏转位置。
18.根据权利要求15所述的投影系统,其中,增强聚焦效果包括通过所述视图复用器调整聚焦效果以获得期望的聚焦效果。
CN201780078490.9A 2016-12-18 2017-12-14 全景摄像机 Active CN110115023B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/382,674 US10750101B2 (en) 2010-12-15 2016-12-18 Resolution for autostereoscopic video displays
US15/382,674 2016-12-18
PCT/US2017/066333 WO2018112160A2 (en) 2016-12-18 2017-12-14 Improved resolution for autostereoscopic video displays

Publications (2)

Publication Number Publication Date
CN110115023A CN110115023A (zh) 2019-08-09
CN110115023B true CN110115023B (zh) 2021-11-16

Family

ID=62559327

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780078490.9A Active CN110115023B (zh) 2016-12-18 2017-12-14 全景摄像机

Country Status (4)

Country Link
EP (1) EP3556087A2 (zh)
KR (1) KR102512679B1 (zh)
CN (1) CN110115023B (zh)
WO (1) WO2018112160A2 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113589546B (zh) * 2021-08-03 2023-08-11 深圳雷曼光电科技股份有限公司 显示装置及其驱动方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000045608A1 (en) * 1999-01-29 2000-08-03 Digilens Inc. Optical sensor
WO2001098816A1 (de) * 2000-06-22 2001-12-27 4D-Vision Gmbh Verfahren und anordnung zur aufnahme von mehreren ansichten einer szene oder eines gegenstandes
EP1513352A1 (en) * 2002-06-13 2005-03-09 Sony Corporation Imaging device and imaging method, and display unit and display method
CN102346307A (zh) * 2010-07-30 2012-02-08 财团法人工业技术研究院 立体显示器
CN104537975A (zh) * 2015-01-16 2015-04-22 北京智谷睿拓技术服务有限公司 显示控制方法和装置、显示设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8076745B2 (en) * 2007-08-06 2011-12-13 Panasonic Corporation Imaging photodetection device
US9886742B2 (en) * 2016-03-17 2018-02-06 Google Llc Electro-optic beam steering for super-resolution/lightfield imagery

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000045608A1 (en) * 1999-01-29 2000-08-03 Digilens Inc. Optical sensor
WO2001098816A1 (de) * 2000-06-22 2001-12-27 4D-Vision Gmbh Verfahren und anordnung zur aufnahme von mehreren ansichten einer szene oder eines gegenstandes
EP1513352A1 (en) * 2002-06-13 2005-03-09 Sony Corporation Imaging device and imaging method, and display unit and display method
CN102346307A (zh) * 2010-07-30 2012-02-08 财团法人工业技术研究院 立体显示器
CN104537975A (zh) * 2015-01-16 2015-04-22 北京智谷睿拓技术服务有限公司 显示控制方法和装置、显示设备

Also Published As

Publication number Publication date
WO2018112160A3 (en) 2018-10-18
WO2018112160A2 (en) 2018-06-21
CN110115023A (zh) 2019-08-09
KR20190116250A (ko) 2019-10-14
EP3556087A2 (en) 2019-10-23
KR102512679B1 (ko) 2023-03-21

Similar Documents

Publication Publication Date Title
US10750101B2 (en) Resolution for autostereoscopic video displays
US7245430B2 (en) Method and apparatus for displaying three-dimensional stereo image using light deflector
US7327410B2 (en) High resolution 3-D image display with liquid crystal shutter array
EP1946180B1 (en) Optical system for 3-dimensional display
US6462871B1 (en) Stereoscopic image display apparatus using specific mask pattern
KR100880819B1 (ko) 자동입체 표시장치의 픽셀 배열
EP0860730A2 (en) Stereoscopic image display apparatus
KR20140051101A (ko) 능동 셔터 플레이트를 구비한 3차원 디스플레이 시스템
JPH11285030A (ja) 立体画像表示方法及び立体画像表示装置
US11546574B2 (en) High resolution 3D display
JP2004519932A (ja) ユーザ制御部を備える自動立体画像表示装置
KR102070800B1 (ko) 입체 디스플레이 장치 및 그 디스플레이 방법
WO2004038486A1 (ja) 画像表示装置及び画像表示方法
Eichenlaub Developments in autosterioscopic technology at Dimension Technologies Inc.
US10295833B2 (en) Resolution for autostereoscopic video displays
CN110115023B (zh) 全景摄像机
KR101324060B1 (ko) 무안경 입체 영상 디스플레이 장치
EP3186962A1 (en) Improved resolution for autostereoscopic video displays
Eichenlaub et al. Prototype flat panel hologram-like display that produces multiple perspective views at full resolution
CN103454778A (zh) 裸眼3d投影系统
KR101360780B1 (ko) 다시점 무안경 입체 영상 디스플레이 장치
JP2003255265A (ja) 立体画像表示装置
KR20160089860A (ko) 무안경식 시스템
KR101878327B1 (ko) 영상표시장치 및 그 제조방법
Arieli et al. High resolution 3D display using time-based multiplexing and adjustable light deflecting device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant