CN107407859A - 全景立体成像系统 - Google Patents

全景立体成像系统 Download PDF

Info

Publication number
CN107407859A
CN107407859A CN201680013386.7A CN201680013386A CN107407859A CN 107407859 A CN107407859 A CN 107407859A CN 201680013386 A CN201680013386 A CN 201680013386A CN 107407859 A CN107407859 A CN 107407859A
Authority
CN
China
Prior art keywords
reflector
light
camera
external
optical system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680013386.7A
Other languages
English (en)
Other versions
CN107407859B (zh
Inventor
M·H·罗斯
J·E·罗斯
B·Z·科伯勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
A Kiwi Co
Original Assignee
A Kiwi Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by A Kiwi Co filed Critical A Kiwi Co
Publication of CN107407859A publication Critical patent/CN107407859A/zh
Application granted granted Critical
Publication of CN107407859B publication Critical patent/CN107407859B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00Optical objectives specially designed for the purposes specified below
    • G02B13/06Panoramic objectives; So-called "sky lenses" including panoramic objectives having reflecting surfaces
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10Beam splitting or combining systems
    • G02B27/1066Beam splitting or combining systems for enhancing image performance, like resolution, pixel numbers, dual magnifications or dynamic range, by tiling, slicing or overlapping fields of view
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10Beam splitting or combining systems
    • G02B27/14Beam splitting or combining systems operating by reflection only
    • G02B27/143Beam splitting or combining systems operating by reflection only using macroscopically faceted or segmented reflective surfaces
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/27Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/02Bodies
    • G03B17/17Bodies with reflectors arranged in beam forming the photographic image, e.g. for reducing dimensions of camera
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00Stereoscopic photography
    • G03B35/08Stereoscopic photography by simultaneous recording
    • G03B35/10Stereoscopic photography by simultaneous recording having single camera with stereoscopic-base-defining system
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/06Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe involving anamorphosis
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/139Format conversion, e.g. of frame-rate or size
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189Recording image signals; Reproducing recorded image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/243Image signal generators using stereoscopic image cameras using three or more 2D image sensors

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Studio Devices (AREA)

Abstract

一种用于全景立体成像的光学系统可包括外部反射器和内部反射器,所述外部反射器和所述内部反射器均可被配置来将光反射到照相机。所述外部反射器可包括条纹或其他反射元件,以使反射到所述照相机的所述光转向,从而使得彼此平行和偏移的(例如,适于立体3D观看的)第一光线和第二光线可被所述相应的外部反射器和内部反射器反射到所述照相机。所述外部反射器可以是部分反射且部分透射的,使得一些光可穿过所述外部反射器以被所述内部反射器反射到所述照相机。所述照相机可捕获单个图像,所述单个图像具有对应于由所述内部反射器生成的视图的第一部分以及对应于由所述外部反射器生成的立体偏移视图的第二部分。

Description

全景立体成像系统
相关申请的交叉引用
本申请根据美国法典35篇119条(e)款要求标题为GLOBAL PANORAMICSTEREOSCOPIC 3D PHOTOGRAPHY并且在2015年3月1日提交的美国临时专利申请号62/126,660的权益,所述临时专利申请的全部内容据此以引用的方式并入本文。
技术领域
本文所公开的一些实施方案涉及图像捕获系统,诸如立体全景图像捕获系统。
背景技术
尽管各种图像捕获系统都是可用的,但是仍需要改进的图像捕获系统,尤其需要立体全景图像捕获系统。
发明内容
下面总结了某些示例性实施方案。本文在别处公开了另外的实施方案。
本文所公开的各种实施方案可涉及用于全景立体成像的光学系统。光学系统可包括照相机、外部反射器、内部反射器。外部反射器可包括大致抛物面的主要结构,其具有宽端和窄端,并且窄端可面朝照相机。外部反射器可包括窄端处的孔。外部反射器可包括多个条纹,其从宽端延伸到窄端。外部反射器可以是部分反射且部分透射的,并且外部反射器可被配置来将光反射到照相机。内部反射器可包括大致抛物面的反射表面,其具有宽端和窄端。窄端可面朝照相机。内部反射器可在外部反射器之内。内部反射器可被配置来反射透射穿过外部反射器的光。内部反射器可被配置来使光穿过外部反射器的窄端处的孔反射到照相机。
内部反射器可被配置来反射光以向照相机提供圆形的内部图像部分,并且外部反射器可被配置来反射光以向照相机提供外部图像部分作为围绕内部图像部分的环。条纹可包括被配置来将光反射到照相机的可见面以及照相机不可见的隐藏面。条纹可围绕外部反射器扭转为螺旋。条纹可被配置来接收沿着不与光学系统的纵向轴线相交的路径行进的离轴光,并且通过反射使光转向以具有与纵向轴线相交的到照相机的同轴路径。
内部反射器可被配置来接收沿着第一光路行进的第一光,并将第一光反射到照相机。外部反射器可被配置来接收沿着平行于第一光路并与第一光路间隔开偏移距离的第二光路行进的第二光,并且外部反射器可被配置来将第二光反射到照相机。内部反射器可被配置来接收沿着低于第一光路的第三光路行进的第三光,并将第三光反射到照相机。外部反射器可被配置来接收沿着低于第二光路的第四光路行进的第四光,并且第四光路可平行于第三光路并与第三路径间隔开相同的偏移距离。外部反射器可被配置来将第四光反射到照相机。第一光的从对象到内部反射器以及到照相机的光路长度与第二光的从对象到外部反射器以及到照相机的光路长度可以是相同的距离。
光学系统可包括外部反射器的外侧上的外部基板材料,并且外部基板材料可被配置来折射透射穿过外部反射器的光。外部基板材料可被配置来沿着第一方向折射光。光学系统可包括外部反射器的内侧上的内部基板材料,并且内部基板材料可被配置来折射透射穿过外部反射器的光。内部基板材料可被配置来沿着与第一方向相反的第二方向折射光。
光学系统可包括外部反射器的外侧或内侧上的基板,并且基板可具有内表面和外表面,所述内表面和外表面均循着条纹的形状。基板可被配置来折射行进穿过外部反射器的光,其中基板的外表面可沿着第一方向折射光,并且其中基板的内表面可沿着与第一方向相反的第二方向折射光。
光学系统可包括壳体,所述壳体被配置来支撑外部反射器、内部反射器和照相机。外部反射器可相对于照相机进行旋转,并且外部反射器可被配置来围绕纵向轴线进行旋转。光学系统可包括用于驱动外部反射器的旋转的电机或致动器。
内部反射器可包括内部反射器的中心处的孔,并且光学系统可包括主反射器,所述主反射器被配置来接收从内部反射器和外部反射器反射的光,并且使接收到的光穿过外部反射器中的孔,并穿过内部反射器中的孔反射到照相机。
本文所公开的各种实施方案可涉及光学系统,所述光学系统可包括照相机、外部反射器和内部反射器。外部反射器可被配置来将光反射到照相机。内部反射器可设置在外部反射器内并且可被配置来将光反射到照相机。外部反射器和内部反射器中的一者或两者可被配置来接收沿着不与光学系统的纵向轴线相交的路径行进的离轴光,并且通过反射使光转向以具有与纵向轴线相交的到照相机的同轴路径。
外部反射器可包括多个条纹,所述多个条纹成角度以使外部反射器反射的光沿着第一方向转向,以便具有到照相机的同轴路径。内部反射器可包括多个条纹,所述多个条纹成角度以使内部反射器反射的光沿着第二方向转向,以便具有到照相机的同轴路径。
内部反射器可被配置来接收沿着第一光路行进的第一光,并将第一光反射到照相机。外部反射器可被配置来接收沿着平行于第一光路并与第一光路间隔开偏移距离的第二光路行进的第二光。外部反射器可被配置来将第二光反射到照相机。内部反射器可被配置来接收沿着低于第一光路的第三光路行进的第三光,并将第三光反射到照相机。外部反射器可被配置来接收沿着低于第二光路的第四光路行进的第四光。第四光路可平行于第三光路并与第三路径间隔开相同的偏移距离。外部反射器可被配置来将第四光反射到照相机。第一光距对象、距内部反射器以及距照相机的光路长度与第二光距对象、距外部反射器以及距照相机的光路长度是相同的距离。
外部反射器可包括多个反射面板,所述多个反射面板通过反射面板之间的间隙彼此间隔开。外部反射器可相对于照相机进行旋转,并且外部反射器可被配置来围绕纵向轴线进行旋转。光学系统可包括用于驱动外部反射器的旋转的电机或致动器。反射面板可具有深色背侧,所述深色背侧被配置来吸收从内部反射器反射的光。
外部反射器可具有大致抛物面的主要结构。内部反射器可具有大致抛物面的主要结构。外部反射器可具有截头圆锥形的主要结构。内部反射器可具有圆锥形的主要结构。
外部反射器可包括中心处的孔。内部反射器可包括中心处的孔。光学系统可包括主反射器,所述主反射器被配置来接收从内部反射器和外部反射器反射的光,并且使接收到的光穿过外部反射器中的孔,并穿过内部反射器中的孔反射到照相机。
外部反射器和内部反射器中的一者或二者可包括被配置来使反射光转向的不连续反射元件的栅格。内部反射器可被配置来反射光以向照相机提供圆形的内部图像部分,并且外部反射器可被配置来反射光以向照相机提供外部图像部分作为围绕内部图像部分的环。外部反射器可以是部分反射且部分透射的。
光学系统可包括外部反射器的外侧上的外部基板材料,并且外部基板材料可被配置来折射透射穿过外部反射器的光。外部基板材料可被配置来沿着第一方向折射光。光学系统可包括外部反射器的内侧上的内部基板材料。内部基板材料可被配置来折射透射穿过外部反射器的光,并且内部基板材料可被配置来沿着与第一方向相反的第二方向折射光。
光学系统可包括外部反射器的外侧或内侧上的基板。基板可具有内表面和外表面,所述内表面和外表面均循着外部反射器上的条纹的形状。基板可被配置来折射行进穿过外部反射器的光。基板的外表面可沿着第一方向折射光,并且基板的内表面可沿着与第一方向相反的第二方向折射光。
光学系统可包括照相机阵列,所述照相机各自被配置来接收由内部反射器和外部反射器反射的光以从多个位置捕获图像。光学系统可包括合成照相机阵列,所述合成照相机各自被配置来接收由内部反射器和外部反射器反射的光以从多个位置捕获图像。合成照相机可包括用于单个图像传感器的多个光圈。
内部反射器的窄端可被配置来从由照相机产生的图像中省略照相机。内部反射器的窄端可具有浅尖端,以防止来自照相机的光被反射回照相机。外部反射器的内缘可向内弯曲以延伸回到外部反射器的内部中。外部反射器的内缘可向内弯曲以将来自照相机的光反射回照相机以进行成像。外部反射器的内缘可向内弯曲以将来自照相机后方的光反射到照相机以进行成像。
本文所公开的各种实施方案可涉及用于全景立体成像的光学系统。光学系统可包括照相机和具有条纹的反射器,所述条纹包括右侧面和左侧面。右侧面可被配置来接收沿着不与光学系统的纵向轴线相交的第一路径行进的第一离轴光,并且通过反射使第一光沿着如从纵向轴线观看到的第一方向转向以具有与纵向轴线相交的到照相机的同轴路径。左侧面可被配置来接收沿着不与光学系统的纵向轴线相交的第二路径行进的第二离轴光,并且通过反射使第二光沿着如从纵向轴线观看到的与第一方向相反的第二方向转向以具有与纵向轴线相交的到照相机的同轴路径。
反射器可具有大致抛物面的主要结构。反射器可在其中心中具有孔,并且光学系统可包括主反射器,所述主反射器用于接收从反射器反射的光并用于将接收到的光反射到照相机。右侧面和左侧面可在沿着条纹的相应中心延伸的相应平面上彼此对称。
附图说明
将参考以下附图详细论述某些实施方案,其中相同的参考数字在整个附图中是指类似的特征结构。出于说明性目的提供了这些附图,并且实施方案不限于附图中所示出的特定实现方式。
图1是用于全景立体成像的光学系统的示例性实施方案的分解图。
图2示出用于全景立体成像的光学系统的示例性实施方案。
图3示出从照相机的角度看到的外部反射器和内部反射器。
图4示出内部反射器和外部反射器生成的图像的示例性实施方案。
图5示出外部反射器的示例性实施方案。
图6示出外部反射器的另一个示例性实施方案。
图7示出具有条纹的外部反射器的示例性实施方案,其中出于说明性目的示出与外部反射器分开的一个条纹。
图8A-8F示出条纹的示例性实施方案的各种视图。
图9A-9C示出条纹的示例性实施方案。
图10示出被外部反射器和内部反射器反射到照相机的光的示例性实施方案。
图11示出从被外部反射器和内部反射器反射到照相机的光的示例性实施方案的照相机后方观看的视图。
图12示出在光学系统的示例性实施方案中被反射到照相机的光的实例。
图13示出在光学系统的示例性实施方案中被反射到照相机的光的实例。
图14示出在光学系统的示例性实施方案中被反射到照相机的光的实例。
图15示出从光的示例性实施方案的照相机后方观看的视图,所述光是具有一致路径长度的被外部反射器反射到照相机的光和被内部反射器反射到照相机的光。
图16示出被外部反射器反射到照相机的光和被内部反射器反射到照相机的光的路径长度。
图17示出外部反射器的示例性实施方案。
图18示出内部反射器的示例性实施方案。
图19示出从内部反射器上不同垂直位置反射到照相机的光的实例。
图20示出从外部反射器上不同垂直位置反射到照相机的光的实例。
图21示出示例性实施方案,在所述示例性实施方案中,外部反射器被配置来使反射光转向第一量以产生第一立体偏移。
图22示出示例性实施方案,在所述示例性实施方案中,外部反射器被配置来使反射光转向更大的第二量以产生更大的第二立体偏移。
图23示出从外部反射器上不同垂直位置反射到照相机的光的实例。
图24示出从外部反射器和内部反射器上不同垂直位置反射到照相机的具有一致立体偏移的光的实例。
图25示出具有反射元件的外部反射器的示例性实施方案,所述反射元件在垂直和水平方向上是不连续的。
图26示出被外部反射器部分反射和部分透射的光以及被内部反射器反射到照相机的透射光的实例。
图27示出被外部反射器部分反射和部分透射的光以及被内部反射器反射到照相机的透射光的实例。
图28示出支撑光学系统的壳体的示例性实施方案。
图29示出支撑光学系统的壳体的示例性实施方案。
图30示出支撑外部反射器的基板的示例性实施方案。
图31示出支撑外部反射器的基板的另一个示例性实施方案。
图32示出用于捕获、存储、变换和显示立体全景图像的过程的流程图。
图33示出用于立体全景成像的光学系统的示例性实施方案。
图34示出由图33的光学系统产生的图像的示例性实施方案。
图35示出从图34的图像产生的右眼和左眼图像的示例性实施方案。
图36示出用于立体全景成像的光学系统的反射器的示例性实施方案。
图37示出用于使用图36的反射器进行立体全景成像的光学系统的示例性实施方案。
图38示出用于立体全景成像的光学系统的反射器的另一个示例性实施方案。
图39示出用于使用图38的反射器进行立体全景成像的光学系统的示例性实施方案。
图40示出用于立体全景成像的光学系统的示例性实施方案。
图41示出用于立体全景成像的光学系统的示例性实施方案,所述光学系统具有截头圆锥形外部反射器。
图42示出用于立体全景成像的光学系统的示例性实施方案,其中外部反射器和内部反射器都具有条纹。
图43示出用于立体全景成像的光学系统的示例性实施方案,其中截头圆锥形外部反射器和圆锥形内部反射器都具有条纹。
图44示出用于立体全景成像的光学系统的示例性实施方案的分解图,所述光学系统具有主反射器、外部反射器和内部反射器。
图45示出图44的光学系统的非分解图。
图46示出具有示出反射到照相机的光的精选光线的图45的光学系统。
图47示出用于立体全景成像的光学系统的示例性实施方案的分解图,所述光学系统具有主反射器、次反射器、外部反射器和内部反射器。
图48示出图47的光学系统的非分解图。
图49示出具有示出反射到照相机的光的精选光线的图48的光学系统。
图50示出用于立体全景成像的光学系统的另一个示例性实施方案,所述光学系统具有主反射器、次反射器、外部反射器和内部反射器。
图51示出具有通过间隙分开的面板的内部反射器和外部反射器的示例性实施方案。
图52示出用于立体全景成像的光学系统的示例性实施方案,所述光学系统包括照相机阵列。
图53示出用于立体全景成像的光学系统的示例性实施方案,所述光学系统包括照相机阵列。
具体实施方式
本文所公开的各种系统和方法涉及使用光学器件与照相机的组合来捕获给定环境的图像的空间偏移组合。本文所公开的系统可用于同时捕获和重建环境的两个不同的圆形全局全景视图(例如,具有扩展的俯仰角度范围和完整的360度偏摆角范围),其包含水平平面上的不同立体信息偏移。重建图像的观察者可以立体3D观看环境,并且在一些实施方案中,观察者可沿着几乎任何方向(例如,每个水平方向(跨偏摆角)和宽广的垂直方向范围(跨俯仰角度))观看。在一些实施方案中,可使用计算图像处理来捕获和/或重建图像。
光学系统可被设计成允许以这样的方式对环境进行图像捕获,从而使得提供在空间中立体分离的两个离散的视点,但是各自在俯仰和偏摆平面中提供完整的或接近完整的全局全景成像。
当使用诸如能够进行适当运动追踪的虚拟现实头戴式显示器的适当显示设备时,所捕获图像对可对应地单独显示给用户的每个眼睛,使得它们可沿着各种不同的水平或垂直方向观看,并如同它们在原始环境中观看时看到的那样看到重新创建的视图的适当部分。这个重新创建的视图还将为使用者的每个眼睛显示正确的立体位移,就如同它们在原始真实场景中观看时会看到的那样,从而允许使用者的大脑使用立体三角测量从用户的视点精确地重新创建深度感,就如同大脑通常会进行的那样。
系统可允许逼真地捕获环境图像,所述图像可使用头戴式显示器或其他适当的全局或伪全局立体显示器来显示。在一些实施方案中,系统可被设计成使得右眼图像和左眼图像可用(例如,单个图像传感器上的)单个照相机捕获,并且使得所有必要的数据可在单个图像中被立刻捕获。因此,可使用单个图像捕获静态3D全景场景,并且可使用每个单独图像对应于移动或动画场景的不同时间的视频或一系列图像来捕获随时间推移捕获事件的移动或动画3D全景场景。
因此,所捕获数据可使用户能够以视觉上逼真的角度或甚至以有意扭曲的角度远程观看或重新访问记录的场景,同时给予用户某种任意环视的自由,而不会破坏角度的精度。所捕获数据可被存储,以让用户重新访问先前时刻。所捕获数据可被传输,以使用户虚拟地访问(例如,实时的或也随时间推移存储的)另一个位置。系统可使人员能够占用另一人的视点,或者从偏移的视点观看环境。
主要结构
图1是用于全景立体成像的光学系统100的示例性实施方案的分解图。系统100可包括照相机102、第一反射器104(例如,外部反射器)和第二反射器106(例如,内部反射器)。照相机102可包括图像传感器(例如,CMOS、CCD或任何其他合适类型的图像传感器)。照相机102可任选地包括各种其他特征结构,诸如快门、一个或多个透镜、一个或多个反射器、光输入光圈、用于存储图像的存储器设备等。图像传感器可被定位成接收光,所述光从第一反射器104反射(例如,以便为右眼或左眼提供视图)和/或从第二反射器106反射(例如,以便为右眼或左眼中的另一个提供视图)。
在一些实施方案中,系统不包括任何移动零件,但是在其他实施方案中,一些部件能够移动,如本文所述。在一些实现方式中,第一反射器104和/或第二反射器106可附接到照相机102的端部,或者可以其他方式联接到照相机102,使得第一反射器104和/或第二反射器106不会相对于照相机102移动。光学系统100可以是反射性的,并且可将周围环境的视图反射到照相机102中。系统可具有至少两个主要反射表面(例如,第一反射器104和第二反射器106),所述两个主要反射表面可将环境的两个不同视图反射到照相机102中。第一反射器104和第二反射器106可以这样的方式进行布置,其方式为使得照相机102可同时看到反射器104和106。照相机102可同时从第一反射器104和第二反射器106捕获反射图像。
图2示出光学系统100的示例性实施方案,在所述示例性实施方案中,内部反射器106物理地定位在外部反射器104的内部(例如,类似于俄罗斯套娃)。外部反射器104可限定内部空腔,并且一部分或全部内部反射器106可设置在外部反射器104的内部空腔的内部。第一(例如,外部)反射器可具有反射表面,所述反射表面是部分反射且部分透射的(例如,由半镀银材料制成)。第二(例如,内部)反射器可具有反射表面,所述反射表面由完全反射材料制成。术语“完全反射材料”是指(例如,在可接受的制造和预算条件下)被设计成使光的反射最大化的材料,并且不旨在意味着接触材料的每一点光都被反射。相反,本领域技术人员将理解,一些少量的光可由完全反射材料吸收或以其他方式不反射。入射光108的第一部分可从外部反射器104反射到照相机102中。从外部反射器104反射到照相机102的光的路径有时被称为复杂的光路。入射光110的第二部分可穿透外部反射器104,并且可从内部反射器106反射并进入照相机102中。从内部反射器106反射的光的路径有时被称为简单的光路。
图3是从照相机102的角度观看第一反射器104和第二反射器106的视图。图4示出照相机102的图像传感器的示例性实施方案,所述示例性实施方案具有第一图像部分112和第二图像部分114。图像传感器上的图像可包括(来自第二反射器106反射的光的)处于中心的圆形第二图像部分114和(来自第一反射器104反射的光的)围绕所述圆形第二图像部分114的呈厚圆环形状的第一图像部分112。
当系统100垂直地进行操作时,其中照相机102沿着y轴向上看向设备中,第一反射器104和第二反射器106的鱼眼状弯曲和放置被设计来各自反射系统100周围环境的广阔的、几乎全局的视角。系统100可将俯仰平面中的宽广角度范围压缩成两个图像部分的径向方向(从用户的角度来看是垂直平面)。系统可将偏摆平面的完整的、360度、圆形、全景范围压缩成两个图像部分的圆周方向(从用户的角度来看是水平平面)。在一些实施方案中,单个图像传感器可用于捕获第一图像部分112和第二图像部分114。在一些实施方案中,可针对第一图像部分112和第二图像部分114使用两个单独的图像传感器。
图1和图2以及许多其他附图示出如下取向的光学系统100,其中照相机102位于底部处,处于第一反射器104和第二反射器106的下方,所述第一反射器104和第二反射器106设置在照相机102的正上方。说明书的大部分描述了具有所述特定取向的系统100的结构。然而,应理解,光学系统100可根据需要沿着任何特定方向取向。通常期望将俯仰方向上的大部分视域范围向下而不是向上引导,因为在许多应用中,向上方向不太显著(例如,对天空或天花板进行成像)。通常,如本文所使用的,术语上、下、顶部、底部、向上、向下等可涉及上述取向下的光学系统100(参见图2和图10等)。通常,如本文所提及的,水平平面可以是与纵向轴线122正交的平面(例如,即使系统100在其一侧转动,系统的水平平面实际上也将在世界坐标上垂直延伸)。通常,如本文所提及的,垂直平面可以是垂直于水平平面的平面(例如,纵向轴线122所在的平面)。术语偏摆、偏摆方向、偏摆角、水平角、水平方向等可指相对于光学系统100在水平平面上的移动(例如,类似于人从一侧到另一侧摇动其头部)。例如,即使光学系统在其一侧转动,偏摆方向也可在世界坐标上垂直延伸。术语俯仰、俯仰方向、俯仰角度、垂直角度、垂直方向等可指相对于光学系统100在垂直平面上的移动(例如,类似于人上下点头)。例如,即使光学系统100在其一侧转动,俯仰方向也可在世界坐标上水平延伸。
条纹和其他次要结构
外部反射器104可具有次要结构,所述次要结构不改变外部反射器104的主要结构的总体形状,但与仅被主要结构反射的光相比会改变被次要结构反射的光的反射方向。次要结构在本文中有时被称为反射元件,并且次要结构可具有各种不同的形状和配置,诸如条纹、微镜阵列等。
在一些实施方案中,外部反射器104可包括条纹116,所述条纹116可连续地连接,从外部反射器104的内缘118延伸到外缘120。条纹116可从内缘118直接延伸到外缘120,如例如图5中所示。一个或多个或者全部的条纹116可沿着相应的路径延伸,所述路径位于与纵向轴线122相交的相应平面上。在一些实现方式中,每个条纹116可沿着与纵向轴线122共面的路径延伸(例如,如图5中所示)。在一些实施方案中,条纹116可围绕形成螺旋图案的圆周进行扭转(例如,如图6中所示)。条纹116的子结构中可具有扭转部,如可在例如图8A至8F中看到的。条纹116可具有从内缘118延伸到外缘120的连续表面,或者条纹116可根据需要被分裂成具有各种尺寸的不同部分。不同的实施方案可包括条纹116的不同量的扭转部。例如,条纹116的(例如,第二端部105或内缘118处的)底部可从同一条纹116的(例如,第一端部103或外缘120处的)顶部以约10度与约135度之间的角度成角度地偏移。例如,角度偏移可以是约10度、约15度、约30度、约45度、约60度、约90度、约120度、约135度或其间的或在由这些值的任意组合界定的任何范围内的任何值。在一些实施方案中,相较于在外部反射器104的(例如,第一端部103或外缘120处的)顶部处,条纹116可在(例如,第二端部105或内缘118处的)底部附近扭转得更多。
图6示出具有扭转条纹116的第一反射器104的示例性实施方案。图7示出第一反射器104的示例性实施方案,其中以分解放大图示出单个扭转条纹116。图8A至8F示出扭转条纹116的示例性实施方案的各种视图。图8A示出其顶视图。图8B示出其底视图。图8C示出其后视图。图8D示出其侧视图。图8E示出其前视图。图8F示出其等距视图。
条纹116的阵列可形成包裹的锯齿结构,所述锯齿结构可被扭转(例如,图6)或不被扭转(例如,图5)。条纹116可形成小型谷结构,所述小型谷结构嵌入到整个外部反射器104的基础大型结构中。每个谷可具有至少两个侧面,所述侧面在一些实施方案中可以是不对称的。类似地,条纹116的每个峰可具有至少两个侧面,所述侧面在一些实施方案中可以是不对称的。第一侧面124(有时被称为隐藏面)可相对于较大基础弯曲结构在条纹116的位置处的切线形成相对陡斜角度。在一些实施方案中,第一侧面124可以是隐藏面,并且当(例如,沿着垂直于较大基础弯曲结构的切线的方向)直视时,可隐藏在第二侧面126的后面。第二侧面126(有时被称为斜面或可见面)可相对于较大基础弯曲结构在条纹116的位置处的切线形成较浅角度。第二(例如,浅)侧面126可使第一(例如,陡斜)侧面124与相邻谷或脊的第一(例如,陡斜)侧面连接。如从中心观察到的,或从外部观察到的(例如,沿着与纵向轴线122相交的方向),相较于第一侧面124,条纹116的第二侧面126可大致占据外部反射器104的宏观结构的更多或全部的立体角。
在一些实现方式中,例如像图9A中所示,第一侧面124的陡斜角度可对齐为垂直于较大弯曲结构的切线(例如,直接指向纵向轴线122)。第一侧面124和第二侧面126的交点可交替形成优角。在一些实现方式中,陡斜角度可比图9A中示出的更加陡斜。例如,图9B示出示例性实施方案,在所述示例性实施方案中,第一侧面124可在第二侧面126的下方(例如,沿着垂直于切线的方向)凹入。第二侧面126的外端可在第一侧面124之上伸出(例如,参见图9B)。在一些实现方式中,第一侧面124不在第二侧面126的下方(例如,沿着垂直于切线的方向)凹入,并且第一侧面124可成角度以在周向上延伸超过对应的第二侧面126,例如像图9C中所示。在一些实施方案中,因为从条纹116的第二侧面126反射到照相机102以形成图像的光从垂直于切线的线偏移,所以第一侧面124可在周向上延伸超过对应的第二侧面126的端部(例如,参见图9C),而侧面124不会将大量的光反射到照相机102。在一些情况下,图9C的实施方案可具有制造优点。
条纹116可用于提供右眼图像与左眼图像之间的立体偏移。从照相机的角度(例如,向上)看,如果外部反射器104具有(例如,像内部反射器106的)无条纹116的光滑轮廓,则照相机看到的第一反射器104的表面上的点会将场景中的对象反射在与第二反射器106相同的来自中心的径向线上。在所述实例中,与第一反射器104反射的光对应的图像部分将不会从与第二反射器106反射的光对应的图像部分偏移。
通过条纹,第二侧面126相对于整个外部反射器104弯曲结构的切线的浅角意味着当照相机102观察到这些第二侧面126中的一个上的点时,反射视图以及因此看到的对象不再在所述轴线上,而是旋转到新的反射角。因此,视点围绕轴线“旋转”,其中照相机的视图利用视线观察场景中的对象,所述视线相对于照相机102看到的外部反射器104的部分的方向顺时针或逆时针旋转。在一些实施方案中,每个条纹116的第一侧面124(在它垂直于上部结构切线时)仅可在来自照相机角度的面上看到,例如在它位于轴向线上(例如,参见图9A),并且因此没有呈现可见的截面时。在更加陡斜的角度下(例如,参见图9B),从照相机102的角度来看,每个第一侧面124(例如,隐藏面)可完全隐藏在(可更大的)每个第二侧面126(例如,倾斜面)后面。
图10和11示出沿着彼此偏移(例如,足以提供立体效果)的路径进入系统100的光部分108和光部分110。图10是等距视图,并且图11是从照相机102的后方(例如,向上)观察第一反射器104和第二反射器106的视图。光部分110可沿着与纵向轴线122相交的路径行进。光部分110可穿过第一反射器104(其可以是部分透射的),并且可在位置130处由第二反射器106反射到照相机102。第二反射器106在位置130处的反射可使光朝向照相机102转向,同时准许光保持在与纵向轴线122相交的路径上,如可在例如图11中看到的。在一些情况下,第二反射器106在不使光在偏摆方向(例如,水平平面)上转向的情况下(例如,朝向照相机102)反射光。光部分108可沿着不与纵向轴线122相交的路径(例如,沿着与光部分110的路径平行且从其偏移的路径)进入系统100。光部分108可在位置128处由第一反射器104(例如,通过条纹116的第二侧面126)反射到照相机102。第一反射器104可被配置来使光在偏摆方向(例如,水平平面)上转向,例如使得其与纵向轴线122相交(如可在例如图11中看到的),这能够使得离轴光被照相机102捕获以产生立体偏移图像部分。第一反射器104还可使光在俯仰方向上(例如,向下)朝向照相机102转向(其可在例如图10中看到)。
在一些实现方式中,当反射图像变得不相交和不连续时,条纹116可产生明显可见的条纹伪影。然而,随着条纹116的数量的增加(也意味着单个条纹116的尺寸减小),反射角接近连续的并且伪影范围缩小。当条纹密度接近来自照相机12的角度的照相机角分辨率时,此类伪影自然地消失。不同数量(和尺寸)的条纹可用于不同的系统中。例如,相较于具有较低分辨率照相机102、较小尺寸的外部反射器104和/或对成像精度的较低的要求的系统(其可使用较少的条纹116和/或较大尺寸的条纹),具有更高分辨率照相机102、更大尺寸的外部反射器104和/或对成像精度的更高的要求等的系统可具有更大数量的条纹116和/或更小尺寸的条纹116。在一些实施方案中,系统100可使用至少约10个条纹、至少约25个条纹、至少约50个条纹、至少约75个条纹、至少约100个条纹、至少约150个条纹、至少约200个条纹、至少约300个条纹、至少约500个条纹、至少约1000个条纹、至少约2000个条纹、至少约3000个条纹、至少约4000个条纹、至少约5000个条纹、至少约7500个条纹、至少约10,000个条纹或更多,或者上述列出值之间的任何其他值,或者由上述列出值的任意组合界定的任何范围。
条纹伪影也可通过取平均值技术来减轻。例如,使第一反射器104围绕轴线122旋转可在照相机曝光的持续时间内产生许多条纹116的时间平均值。可使用电机或任何其他合适的致动器来使第一反射器104(例如,相对于照相机102和/或相对于内部连接器106)旋转。在一些实施方案中,内部反射器106可与外部反射器104一起旋转,并且内部反射器106可以是围绕轴线122旋转对称的,使得内部反射器106的旋转不会对图像产生实质影响。在一些实施方案中,数字图像处理可用于插入或扭曲来自相邻条纹116的反射的图像部分,使得它们在其面或平均值处匹配。
弯曲结构优化
内部反射器104和外部反射器106的主要弯曲结构(以及系统100中的其他特征结构)可被选择来在一些情况下同时平衡多个因素中的一个或多个的优化。例如,系统100可被配置来沿着确定的期望的视平面提供合理的分辨率分配。在一些实施方案中,系统可在俯仰和/或偏摆方向上的整个视域范围内提供每度像素均匀分布的图像。每度像素数可(例如,在偏摆和/或俯仰方向上)发生约30%或更小、约20%或更小、约10%或更小、约5%或更小、约2%或更小、约1%或更小、或更小、或其间的任何值、或由上述值界定的任何范围的变化。在一些实施方案中,系统可在俯仰方向上提供更加不均匀的像素分布。例如,俯仰方向靠近水平平面的像素密度可以高于俯仰方向靠近俯仰范围的上端和下端的像素密度。在一些示例性实施方案中,系统100可被配置来大约具有从离轴线的0至30度分配的角分辨率的11.5%,从离轴线的30度至130度分配的角分辨率的77%和从离轴线的130度至160度分配的角分辨率的11.5%。俯仰方向在水平平面处的角分辨率或像素密度可以下述范围高于俯仰方向在俯仰范围的上端和/或下端处的角分辨率或像素密度:至少约10%、至少约25%、至少约50%、至少约75%、至少约100%、至少约125%、至少约150%,或更大、或小于或等于约200%、小于或等于至约150%、小于或等于约100%、小于或等于约75%、小于或等于约50%、小于或等于约25%、或更小、或其间的任何值、或由上述确认值的任意组合界定的任何范围。
系统可被配置来为从照相机102的角度看来自内部反射器104和外部反射器106的图像部分提供类似或匹配的2维角分辨率。例如,可在内部图像部分114与外部图像部分112之间均匀地划分图像。(例如,因为外部图像部分具有较长的圆周)内部图像部分114的半径的厚度可大于外部图像部分112的半径的厚度。内部图像部分114的面积可以下述范围大于或小于外部图像部分112的面积:小于约50%、小于约40%、小于约30%、小于约20%、小于约10%、小于约5%、小于约2%、或更小、或其间的任何值、或由上述确认值的任意组合界定的任何范围。
系统可被配置来提供由外部反射器104在垂直/俯仰范围内引入的一致的立体相关性和角旋转。例如,两个图像之间的偏移距离可在俯仰范围内(例如,并且也在偏摆方向上)是一致的。调整条纹116的倾斜度可控制反射的偏摆角123(如可在例如图13中看到)。将条纹116的扭转与条纹116的倾斜度结合在一起调整可控制反射的俯仰角121(如可在例如图12中看到)。配置条纹116可使得能够(例如,在俯仰角121和偏摆角123中,例如像图14中所示)控制来自外部反射器104的反射射束,使得外部反射器104上的反射位置具有相较于内部反射器106上的对应的射束和反射位置的所需的视差偏移,和/或使得由外部反射器104和内部反射器106反射的对应光路的总距离具有相同的总光路距离。
考虑到由反射引起的角旋转和距中心的径向距离,系统可被配置来提供从照相机位置到环境中的对象空间的一致的距离。参考图15和16,同轴光110可具有从对象到反射位置130的光路A以及从反射位置130到照相机102的光路B,其中光110被第二反射器106反射。离轴光108可具有从对象到反射位置128的光路C以及从反射位置128到照相机102的光路D,其中光108被第一反射器104反射。在一些实施方案中,光路A加上光路B的距离可基本上等于光路C加上光路D的距离。系统100可被设计成使得光路A加上光路B的距离等于光路C加上光路D的距离,并且制造公差等可导致光路A加上光路B的距离与光路C加上光路D的距离的比较的较小变化。例如光路A加上光路B的距离与光路C加上光路径D的距离之间的差值可小于光路之间的偏移距离132的约10%或小于约5%,和/或小于内部反射器106的半径的约10%或小于约5%,尽管在一些实现方式中可使用这些范围之外的值。在一些实施方案中,光路A加上光路B的距离与光路C加上光路D的距离之间的差值可小于约100mm、小于约75mm、小于约50mm、小于约40mm、小于约30mm、小于约20mm、小于约10mm、小于约5mm、小于约2mm、或更小、或是其间的任何值、或由上述确认值的任意组合界定的任何范围。
系统100可被配置来例如根据应用提供不同尺寸的偏移距离132。在一些实施方案中,系统100可被配置来提供约20mm与约100mm之间,或约50mm与约80mm之间或其中包含的任何值或范围的偏移距离132。偏移距离132可被配置来模拟个人用户的眼睛之间的距离。偏移距离132的其他值可被用于例如有意地使图像的三维效果失真,所述其他值可远低于或高于以上列出的值。
内部反射器106可与外部反射器104(例如,沿水平方向)间隔开一定的距离,所述距离对应于系统所产生的立体偏移。例如,内部反射器106可与外部反射器104(例如,沿水平方向)以约10mm至约100mm之间的距离间隔开,诸如约10mm、约25mm、约30mm、约40mm、约50mm、约75mm、约100mm、或其间的任何值、或是由上述确认值的任意组合界定的任何范围。系统100可被配置来在内部反射器106与外部反射器104之间提供一致的距离(例如,如沿水平方向测量的)。系统100可被配置来提供人类可解释的图像平面的反射。在一些实施方案中,系统100可被设计成在内部反射器106的部分、大部分或全部表面上具有内部反射器106与外部反射器104之间的均匀距离(例如,如沿水平方向测量的),并且在一些实现方式中,制造公差等可产生较小变化。在一些实施方案中,内部反射器106与外部反射器104之间的间隔的一些变化可被设计到系统中。在一些实施方案中,内部反射器106与外部反射器104之间的距离(例如,沿水平方向测量的)在内部反射器106的部分、大部分或全部表面上以下述范围发生变化:小于约50%、小于约40%、小于约30%、小于约20%、小于约10%、小于约5%、小于约2%、或更小的内部反射器106的半径、或者其间的任何值、或者由上述值界定的任何范围。
可通过设计第二反射器106和/或第一反射器104的主要弯曲结构来将角范围和角分辨率密度的分配调整到各种不同的值。在一些实施方案中,可以通过第一反射器104和第二反射器106的两种弯曲结构的相似度来控制相对距离间隔。
如可在例如图1中看到,第二(例如,内部)反射器106可具有穹顶形状、或者抛物面状或大致抛物面的弯曲形状。在一些实现方式中,第二反射器106的形状可以是真正的几何抛物面,而在其他实现方式中,所述形状可以是大致抛物面的,或者仅是抛物面状的。例如,第二反射器106可具有宽的圆形第一端107和相对侧上的顶点或窄的圆形第二端109。侧壁可以是弯曲的并且可从较宽的第一端107朝向第二端109渐缩。沿着从较宽的第一端107朝向第二端109的方向截取的第二反射器106的横截面可以是圆形的并且其直径不断地减小,并且直径减小的速率可在更靠近第二端109时增加。第二反射器106可通过较宽的第一端107在顶侧上打开或关闭。以举例的方式,第二反射器106可由实心或中空材料构成,所述实心或中空材料可以是反射的或可用反射材料覆盖。
第一(例如,外部)反射器104可由与上述第二反射器106类似的穹顶或大致抛物面的形状形成。第一反射器104可具有宽的圆形第一端103和相对侧处的较窄的圆形第二端105。第二端105可具有通过纵向轴线122的孔。孔可被设置成足够大,使得从照相机的角度来看,内部反射器106通过孔填充可用的角视图,所述孔使得内部反射器106与未被使用的外部反射器104之间几乎没有或没有角分辨率。例如,图3是从照相机102朝向(例如,向上朝向)第一反射器104和第二反射器106的视图,并且从照相机102的角度来看,内部反射器106可填充外部反射器104的第二端105处的孔。在一些实施方案中,第一反射器104可具有真实的几何抛物面形状,其中顶端被移除以形成孔。在一些实施方案中,第一反射器104的形状可以是大致抛物面的或者仅是抛物面状的。第一反射器104的侧壁可以是弯曲的并且可从较宽的第一端103朝向第二端105渐缩。沿着从较宽的第一端103朝向第二端105的方向截取的第一反射器104的横截面可以是圆形的并且其直径不断地减小,并且直径减小的速率可在更靠近第二端105时增加。第一反射器104可通过较宽的第一端103在顶侧上打开或关闭。
第一反射器104和第二反射器106相对于照相机102的尺寸和布置可被设计成例如根据其透镜来最大限度地利用照相机102的角范围,以便不浪费分辨率。在一些实施方案中,由于内部反射器106形成穿过轴线122的中心的连续表面,因此它可反射包括朝向照相机102的向下的角度。参考图17,在一些实施方案中,外部反射器104的内缘(例如,第二端105)可以是向内弯曲的,形成了不但将视线向下反射到垂直面而且延伸超过的唇缘,给出了一直到照相机102的视线(使得照相机102可潜在地在内部反射器106和外部反射器104内看到自身)。如图17中所示,在一些实施方案中,外部反射器104的第二端105可以是向内弯曲的(例如,具有突出部)。在一些实现方式中,在第二端105(例如内缘)处以及紧邻处反射的从照相机投射的视线可向内反射回来,使得它们可指向照相机102的后方,以使照相机能够观察到其本身后方的区域134。所述观察范围也由外部反射器104上的条纹的弯曲结构控制。在一些实现方式中,来自外部反射器104的图像的一部分(例如,照相机102后方的区域的图像)不具有来自内部反射器106的对应图像部分,并且所述图像部分将不具有立体3D效果。
照相机102在图像中的存在可产生浪费分辨率的遮挡。因此,可期望配置第一反射器104和/或第二反射器106,使得照相机102不在图像中捕获到其自身。在一些实施方案中,第二端105处的孔和/或外部反射器104靠近第二端105的弯曲结构可被配置来沿向下的方向成像,同时从图像中排除照相机102。例如像图18中所示,将内部反射器106的端部形成为浅尖端可将可用视线限制为照相机102外部的那些视线。因此,照相机102可隐藏在照相机102不能观察到的锥体136中。将照相机102从图像中排除可最大限度地将图像分辨率用于图像空间的其余部分。外部反射器104的第二端105的形状和内部反射器106的端部109的形状可被配置成使得由第一反射器104和第二反射器106产生的图像部分的范围省略照相机102周围的相同区域。
简单的光路
简单的光路可描绘来自周围环境的入射光线(例如,光110),其从内部反射器106反射,并且反射到照相机102捕获的图像平面上。从内部反射器106的表面反射的每个点可具有从来自外部反射器104的反射捕获的对应点,并且两个点一起可在图像平面中产生提供类似环境角度的两个成对像素。在一些情况下,如果外部反射器104不具有条纹116(或类似特征结构)并且像内部反射器106一样光滑,则两个像素会将相同的单条反射线分解到周围环境中。因此,两个成对像素将不表示偏移观看位置,并且不会产生所需的立体3D效果。如本文所论述的,外部反射器104可被配置来使离轴光108(例如,在偏摆方向上)转向以提供两个成对像素的偏移观看位置,以便实现立体3D观看。
从更详细的观点来看,从照相机102的焦平面上的场景中的对象的给定点漫射发射/辐射/反射的任何给定光锥在反射器的表面上反射,其中漫射射线的一部分从每个反射器上的较小区反射到照相机的光圈中,并且其余的光被反射器反射离开照相机,或完全未接触反射器。在一些实施方案中,照相机102可具有透镜,并且透镜可朝向照相机检测器的表面上的单个点折射光从原始发散点的较小扩散,从而形成图像平面。任何给定的光锥的((例如)可通过照相机的光圈和焦距进行控制的)有限反射区确保了即使出现可由反射器的弯曲结构引入的失真,焦平面上的场景中的任何给定点应保持在图像平面中的焦点中。在一些实现方式中,从焦平面的点到达的光线被引导到图像平面中的多个像素,并形成高斯模糊景深效果。然而,当照相机透镜被设置为聚焦在无限远(这可加宽景深)和/或照相机光圈相对较小(例如像,在移动电话照相机中)时,这种效果可被最小化。
复杂的光路
通过从内部反射器106和外部反射器104反射的光的入射阵列,跨偏摆角(例如,在水平平面中)的所有视线可覆盖在第一反射器104和第二反射器106中的每一个的完整的360度表面上,从而产生各自对应于图像平面上的单个像素的反射点。然而,在一些实施方案中,来自第一反射器104和第二反射器106的这些反射视线不能沿着给定的径向方向彼此匹配(如可以是没有条纹116或类似特征结构的情况),而是根据条纹116的第二侧面126(例如,倾斜面)的方向角度围绕反射器顺时针或逆时针移动。复杂的光路可描述从条纹116反射的视线的旋转,以便实现在图像平面上形成每个像素对的偏移平行视线。
通过控制每个条纹116(例如,相对于外部反射器104的基础弯曲结构)的给定倾斜角,外部反射器104的表面上的反射位置128(其反射视线分光对应于内部反射器106上的反射位置130的视线)可根据需要围绕轴线旋转到外部反射器104上的各种不同位置。改变条纹116的角度(例如,条纹116的第二表面126的角度)可改变反射位置128相对于内部反射器106上的对应反射位置130的位置。例如,条纹116越成角度以使得光在水平平面上(例如,跨偏摆角)转向得更多,外部反射器104上的反射位置128从内部反射器上106上的对应反射位置130偏移得越多。因此,在一些情况下,改变条纹116的角度可实际上旋转外部反射器104上的反射位置128相对于内部反射器106上的对应反射位置130的位置。图21示出示例性实施方案,在所述示例性实施方案中,条纹116成角度以使反射光(例如,在偏摆方向上)转向第一量,从而有效地使反射位置128相对于反射位置130旋转第一量,并由此产生像素对的第一偏移量。图22示出示例性实施方案,在所述示例性实施方案中,条纹116成角度以使反射光(例如,在偏摆方向上)转向大于第一量的第二量,从而有效地使反射位置128相对于反射位置130旋转大于第一量的第二量,并由此产生像素对的大于第一偏移量的第二偏移量。外部反射器104上的条纹116(或类似特征结构)可被配置来使光转向正确的度数并且将反射位置128定位在某一位置处,以使得位置128和130的视线以恒定距离分开(例如,平行、偏移视线),所述距离形成了可由此实现立体三角测量的立体分离。
通过适当地应用反射调整(例如,通过条纹116或类似特征结构),反射在内部反射器106上的(可覆盖水平平面中的完整的360度的)每个可视方向都可在立体分离且准确的相同方向上具有(例如,来自外部反射器104的)对应的可视图像线。因此,利用(例如,由内部反射器106和外部反射器104产生的)两个图像,人们可提取立体图像,所述立体图像形成连续的全局全景,可在所有径向方向上(例如,跨水平平面)保持准确且一致的视差分离。
图19示出将光反射到照相机102的第二(例如,内部)反射器106的示例性实施方案。图20示出将光反射到照相机102的第一(例如,外部)反射器104的示例性实施方案。出于说明性目的,将外部反射器104从图19中的视图中省略,并且将内部反射器106从图20中的视图中省略。在图19中,示出三条示例性光线110a、110b和110c,所述光线110a、110b和110c被从垂直平面中的不同角度(例如,不同的俯仰角)朝向照相机102反射。光线110a、110b和110c可以是沿着与纵向轴线122相交的路径接近系统100的同轴光。光线110a、110b和110c可被内部反射器106反射到照相机,而不使光线110a、110b和110c跨偏摆方向转向。
在图20中,示出三条示例性光线108a、108b和108c,所述光线108a、108b和108c被从垂直平面中的不同角度(例如,不同的俯仰角)朝向照相机102反射。光线108a、108b和108c可以是沿着不与纵向轴线122相交的路径接近系统100的离轴光。光线108a、108b和108c可被外部反射器104反射到照相机102。外部反射器104可使光(例如,在偏摆方向上)转向以沿着与纵向轴线122相交的路径朝向照相机行进。在图19中,条带138指示内部反射器106上对应于图4中示出的照相机102的图像传感器的部分137的反射视图区域。在图20中,条带140以跨多个弯曲条纹116的旋转角度指示外部反射器104上的反射视图区域。外部反射器104的对应于图4中示出的照相机102的图像传感器的部分139的条带140可将光反射到照相机102上。
如可从图19和图20中看到的,来自外部反射器104和/或内部反射器106的较高部分的视线可以较大的钝角来进行反射,来自外部反射器104和/或内部反射器106的中间区域的视线可以较小的钝角来进行反射,并且来自外部反射器104和/或内部反射器106的下部部分的视线可以锐角来进行反射。因此,可通过照相机102捕获跨宽广的俯仰角范围的光。
参考图2,观看范围可在水平平面上(例如,跨偏摆角)的整个360度范围内延伸,并且观看范围可具有小于180度的俯仰角范围142(这将提供任何方向上的完整观看范围)。在一些实施方案中,光学系统100被配置来不对系统100正上方的区域进行成像。例如,在一些实现方式中,光学系统100被配置来不对系统100上方(例如)具有约15度至约120度的俯仰角范围144的截头圆锥形区域内的区域进行成像。系统100上方的非可视区域的俯仰角范围144可以小于约180度、小于约120度、小于约90度、小于约60度、小于约45度、小于约30度、或更小、或是其间的、或在由上述确认值的任意组合界定的任何范围内的任何其他值。如本文所论述的,在一些实施方案中,系统可以在整个向下方向的范围内进行成像(例如,甚至包括对照相机102本身进行成像),而在其他实施方案中,照相机周围的区域可从成像区域中省略。观看范围可具有俯仰角范围142,所述俯仰角范围142在约45度与约165度之间,或在约90度与约135度之间。观看范围可具有下述俯仰角范围142:至少约45度、至少约90度、至少约135度、至少约165度、或其间的、或在由上述确认值的任意组合界定的任何范围内的任何其他值。
再次参考图19和图20,如果光线108a、108b和108c分别平行于光线110a、110b和110c(但从其偏移),并且如果(如图20中所示)条纹116被配置来(例如,通过调整条纹116,诸如使得条纹116不扭转,如图5中所示)在径向条带140上的不同垂直位置处将光线108a、108b和108c反射到照相机102,那么光线110b与108b之间的横向偏移可以小于光线110a与108a之间的横向偏移,并且光线110c与108c之间的横向偏移还可以更小。这是因为外部反射器104可沿向下的方向向内渐缩,使得例如光108c与110c之间的距离小于光108a和110a之间的距离。
图23示出具有条纹116的光学系统100的示例性实施方案,所述条纹116被配置来从外部反射器104上的各种不同垂直位置反射光,使得在不同垂直位置处反射的光相对于被内部反射器106反射的对应平行光具有一致的横向位移。图24是从照相机102下方观看的视图,其示出与图23的光学系统类似的示例性光学系统100。在图23中,为了便于说明,省略了内部反射器106。图23的系统的内部反射器106可类似于图19反射光线110a、110b和110c。内部反射器106可在相应反射位置130a、130b和130c处将光线110a、110b和110c反射到照相机102。外部反射器104可在相应反射位置128a、128b和128c处将光线108a、108b和108c反射到照相机102。光线108a与110a之间的横向偏移可与光线108b与110b之间的横向偏移相同和/或可与光线108c与110c之间的横向偏移相同。因此,外部反射器104可被配置来从外部反射器104上的各种不同垂直位置将光反射到照相机102,使得有待在不同垂直位置处被反射的光相对于被内部反射器106反射到照相机102的对应平行光具有一致的横向偏移。这可(例如,跨各种俯仰角)提供右眼图像与左眼图像之间的一致的立体分离。
沿着内部反射器106(例如,从中心到其外缘)的任何给定径向切片(例如,图24中的条带138),在外部反射器104上存在对应切片(例如,图23和图24中的条带146),当从底部观观察(例如,从照相机的角度看)时,所述对应切片可延伸穿过平行于内部反射器106的径向切片138的部分弦。切片146上的点可给出到内部反射器106的切片138上的对应点的对应的立体分离的视线,所述视线例如通过瞳孔间距离分开,以给出准确的立体图像。系统100(例如,包括条纹116或其他类似特征结构)可被配置用于图像捕获,其中从内部反射器106和外部反射器104反射的对应的投射视线不但应当以一致的立体分离沿着相同的俯仰和偏摆方向指向,而且可在同一高度处对齐。此外,通过反射从照相机102到场景的总路径距离可沿着两个光路匹配,并且与从照相机到内部反射器106上的点的长度相比,来自外部反射器104上具有对应视线的点的额外的毕达哥拉斯长度可通过增加外部反射器104的径向宽度来发生偏移以使其以相同的长度更接近场景中的对象。
通过调整外部反射器104赋予到光上的俯仰和/或偏摆旋转来实现使外部反射器104的反射视线对应(例如,通过立体偏移平行)于内部反射器106的那些反射视线,所述外部反射器104(例如,通过菲涅耳微结构、条纹116或其他类似特征结构)反射所述光来实现适当的反射。在一些实施方案中,为了组合地不但实现对第一反射器104反射的光的偏摆调整而且实现对第一反射器104反射的光的俯仰调整,菲涅耳微结构、条纹116等可周向并且径向地形成(例如,形成栅格)。微结构可沿着两个方向破坏外部反射器104的表面的连续性,与在一个方向(例如,从顶部到底部)上保持连续的条纹116相比,这可降低制造的便利性。
图25是具有多个反射元件148的第一(例如,外部)反射器104的示例性实施方案,所述反射元件148可以(例如,在圆周方向上和/或在垂直方向上)是不连续的。如本文所论述的,反射元件148可执行不同的反射操作以实现所需的反射。反射元件148可以是微结构。反射元件148可以是微镜阵列。在一些实施方案中,系统100可使用至少约50个反射元件、至少约100个反射元件、至少约250个反射元件、至少约500个反射元件、至少约750个反射元件、至少约1000个反射元件、至少约1500个反射元件、至少约2000个反射元件、至少约5000个反射元件、至少约10000个反射元件、至少约50000个反射元件,至少约100000个反射元件、至少约500000个反射元件、至少约1000000个反射元件、至少约2000000个反射元件、至少约5000000个反射元件、至少约10000000个反射元件、至少约20000000个反射元件、至少约30000000个反射元件、至少约50000000个反射元件、至少约75000000个反射元件、至少约100000000个反射元件、或更多、或上述列出值之间的任何其他值、或由上述列出值的任意组合界定的任何范围。反射元件的数量可接近照相机的分辨率,使得它们对照相机是有效地不可见且连续的。
图25的第一(例如,外部)反射器104可类似于本文所公开的其他外部反射器104来进行操作,并且图25的第一反射器104可并入本文所公开的各种实施方案中以代替其他第一反射器104。因此,本文涉及条纹116的论述中的大部分也可应用于本文所公开的(例如,图25的)其他反射元件148。反射入射的环境光的外部反射器104可能不需要形成为长的连续条纹,并且实际上可由在表面上不连续的单独镜像面的2维阵列构成。
由于外部反射器104的任何给定的同心半径的光学要求自始至终是相同的,因此它可旋转到任何所需的位置,使得一个同心环的菲涅耳微结构组、条纹116等可最好地匹配邻近环中的条纹,并且条纹可接合以形成单个条带,这会自然地采用逐渐的扭转。在一些实施方案中,在设备长度上延伸的这些扭转条纹既不符合先前描述的径向线也不符合先前描述的切片。然而,来自内部反射器106的径向切片可匹配外部反射器104的平行的部分弦切片,从而将形成径向螺旋的多个扭转的菲涅耳条带平分。
反射率
虽然内部反射器106可由完全反射材料组成,但是外部反射器104必须是部分反射且部分透射(PRPT)的,从而允许光的一部分不间断地穿过外部反射器104,并且从内部反射器106反射,例如像可在图26和图27中看到的。在一些实现方式中,尽管可使用各种其他的透射和反射分配,但最佳材料会将光均匀地分开。PRPT可通过结合材料选择和制造工艺来实现。例如,可使用(例如,通过真空气相沉积或溅射在像有机玻璃或丙烯酸的薄型透明基板上来进行沉积的)银或铝薄涂层。在一些实施方案中,足够薄的金属层可允许一些光通过并同时反射一些光。在一些(例如,使用溅射的)实施方案中,镜像可以像瑞士干酪均匀散布有光经过的微观间隙,并且间隙之间的镜材料可反射光。可替代地,可使用具有不同折射率的两种透明材料(例如,两种不同的塑料聚合物)来在界面处部分地反射和部分地透射光。外部反射器104可提供不间断的和/或等同的折射透光度,所述光通过外部反射器104,到达内部反射器106上,并进入照相机102中(例如,参见本文中简单的光路章节)。外部反射器104可提供经调整的光的反射,所述光沿着外部反射器104离开条纹116(或其他反射元件)并成功进入照相机102中(参见本文中复杂的光路章节)。
壳体
参考图28和图29,第一反射器104和/或第二反射器106可由外部壳体150支撑,所述外部壳体150可附接在第一(例如,外部)反射器104的外缘120处(例如,宽的圆形第一端103处)并且可延伸到照相机102,从而将外部反射器104联接到照相机102。壳体150可以具有透明侧壁,所述透明侧壁在偏摆平面中的所有方向上都是无缝的,并因此对于照相机102是不可见的。壳体150可包括顶部部分,所述顶部部分从外部反射器104的外缘120向内延伸。内部反射器106的顶部(例如,圆形第一端107或内部反射器106的外缘)可附接到壳体150的顶部部分,以将内部反射器106支撑在(例如,外部反射器104内的)适当位置中。内部反射器106可从壳体150的顶部部分向下延伸到外部反射器104内的内部空腔中。在一些实施方案中,内部反射器106的(例如,具有顶点的)下端可向下延伸超过外部反射器106的底部中的开口。
在各种实施方案中,内部反射器106可具有与外部反射器104的高度相同的高度。在一些实施方案中,内部反射器106可具有小于外部反射器104的高度的高度。内部反射器106的高度可以是外部反射器104高度的约20%、约30%、约40%、约50%、约60%、约70%、约80%、约90%或约100%、或其间的、或在由上述确认值的任意组合界定的任何范围内的任何值。在一些实施方案中,壳体150可包括支撑元件,所述支撑元件从壳体150的上部部分向下延伸到外部反射器104的内部空腔中,以联接到内部反射器106,从而将内部反射器106支撑在适当的位置中。在一些实施方案中,内部反射器106的第二端109可位于外部反射器104的内部空腔内(例如,定位在外部反射器104的相同高度处或内缘118上方,或者定位在外部反射器104的相同高度处或第二端105上方)。
壳体150可安装到照相机102,所述照相机102继而安装到诸如台架或三角架或稳定的照相机支架的适当的外部支撑件,或者二者都可直接附接到外部支撑件。例如,壳体可包括用于将壳体150安装到照相机102和/或外部支撑件(未示出)的安装件152。壳体150可具有侧壁,所述侧壁在上部部分处从外部反射器104向下直线延伸,并且在下部部分处朝向安装件152渐缩(例如,参见图28)。或者壳体150可具有(例如,具有大致抛物面的形状的)侧壁,所述侧壁从外部反射器104向内弯曲到安装件152(参见图29)。壳体150可通过单个连续的弯曲表面从外部反射器104延伸到安装件152,例如以消除其形状中的接缝并且减少或消除照相机可能记录的视觉伪影。各种其他形状可用于壳体150,并且各种其他机械机构和系统可用于使光学系统100的部件相对于彼此进行定位。
在具有移动部件(例如,设备的旋转型式)的实施方案中,壳体150和第一反射器104和/或第二反射器10可安装到环形轴承以允许自由旋转,同时允许照相机保持静止,并且照相机通过轴承中的孔观察,或通过适当的支撑臂穿过其悬挂。
光学系统100可被制成各种不同尺寸,这可影响立体效果的偏移距离。例如,外部反射器104可具有在约50mm与约1000mm之间或在约200mm与约500mm之间的直径。诸如通过使用被设计成缩减系统尺寸的本文论述的一些特征结构,可将各种不同的尺寸用于系统100。在一些实施方案中,光学系统可具有远超出上述值的尺寸,例如从而通过改变偏移距离来产生失真的立体效果。
外部反射器基板
外部反射器104可由基板154支撑,所述基板154可以是透明材料。例如,基板154可驻留在外部反射器104的内表面或外表面上。然而,由于透明基板154可具有比周围环境的介质(诸如空气)更高的折射率,如果基板在一个表面(例如,接触具有条纹116的外部反射器104的反射材料的表面)上成波状(或以其他方式成角度),则基板材料的折射率结合条纹引入的角旋转可能将不期望的旋转畸变引入到达内部反射器106的光中。例如,透射穿过外部反射器104和基板154的光可被折射(例如,当进入基板154时和/或当离开基板154时)。如果基板154的一侧相对于基板154的另一侧成角度,则基板154可折射光以在其到达内部反射器106之前产生不期望的光转向。
参考图30,在一些实施方案中,通过将基板154材料定位在外部反射器104的内表面和外表面上而不是仅在一个侧面上,可在一定程度上抵消不期望的折射。图30是部分剖视图,其示出第一反射器104的(例如,延伸穿过约三个条纹116的)一部分。第一反射器104可包括(如本文所论述的)部分透明且部分透射的薄型材料,并且可成波状或以其他方式成角度以提供如本文所公开的条纹116、微结构或其他反射元件。外部基板材料154a可设置在第一反射器104的外表面上或上方。内部基板材料154b可设置在第一反射器104的内表面上或上方。外部反射器104可嵌入基板154内。
外部基板材料154a的外表面可具有与内部基板材料154b的内表面的形状对应的形状,以便当光穿过基板154和第一反射器104时阻止光通过折射发生转向。例如,外部基板材料154a的外表面可以是沿着外部反射器104的主要弯曲结构(例如,大致抛物面的形状)的光滑表面,并且内部基板材料154b的内表面可以是同样沿着外部反射器104的主要弯曲结构(例如,大致抛物面的形状)的光滑表面,只是其小于外部基板材料154a的外表面并套入其内侧。在进入外部基板材料154a的外表面时折射的光可在离开内部基板材料154b的内表面时(例如,以相同的度数)沿着另一个方向折射回。
外部基板材料154a的内表面可根据外部反射器104的形状成波状(或以其他方式成角度),并且内部基板材料154b的外表面可根据外部反射器104的形状成波状(或以其他方式成角度)。当光通过转出外部基板材料154a的内表面来被折射时,光在进入内部基板材料154b的成角度的外表面时可(例如,以相同的度数)沿着另一个方向折射回。如果波纹被正确地对齐,并且基板154是薄型的,则在进入外部反射器组件时被折射的穿过光将在离开外部反射器组件时以相同的度数折射回。
一些实施方案可涉及在反射材料的顶部上的内表面和外表面上的分层光滑基板。在反射材料驻留在内部基板材料154a的外表面的适当条纹上的情况下,可将第二透明基板154b沉积在顶部以形成外部光滑外壳,这可导致第一层上的薄膜反射沉积物与在第二层上的光滑表面之间形成融合界面。内部基板材料154a可由透明材料(例如,塑料,诸如通过模制技术)制成,其中在所述内表面上进行光面精整并在外表面上进行条纹成形。可将反射层154涂覆在内部基板154a的(例如,具有波纹形状的)外表面上。然后,它可用第二透明(例如,塑料)层154b(例如,通过旋转涂布物或以可容纳整个单元的另一模具)进行涂覆,所述第二透明层154b填充条纹116之间的间隙,并且最后在外侧上进行光面精整。两个透明(例如,塑料)层可以(例如,至少在它们被设置时)是折射率匹配的,使得传播通过层154a和154b的光的折射抵消。通过选择外表面的第一(反射)和第二(光滑)层的(包括使折射率匹配,同时相对于外部反射器组件的总直径保持薄度的)两个基板,然后它们的折射可抵消,从而导致穿过光在不发生旋转的情况下被光滑的外表面最低限度地折射。
参考图31,在一些实施方案中,基板154可在基板154的外表面和基板154的内表面上沿着外部反射器104的形状(例如,循着波纹或条纹116)。因此,光可在进入基板154的外表面时被折射,并且光可在离开基板154的内表面时(例如,以相同的度数)沿着相反方向折射回。基板154的内表面可沿着对应的部分平行于基板154的外表面。基板154的内表面和/或外表面可在对应的部分处平行于外部反射器104。例如,对于具有第一侧面124和第二侧面126的条纹,基板154可具有沿着与第一侧面124相同的方向延伸的对应的第一部分154c,并且基板154可具有沿着与第二侧面126相同的方向延伸的对应的第二部分154d。图31示出沿着外部反射器104的形状的基板154,所述基板154设置在外部反射器154的内侧上。在一些实施方案中,基板154可设置在外部反射器104的外侧上并且可沿着外部反射器104的形状(例如,类似于图31,只是其中基板154设置在外部反射器104的相反侧上)。在一些实施方案中,沿着外部反射器104的形状的基板材料可设置在外部反射器104的两侧上。
具有位于外部反射器104外侧的外表面可保护外部反射器104(诸如)不受磨损和污垢的影响。外部反射器104的部分反射表面可通过其他技术实现,包括使用二向色涂层或也可通过夹在前述一对基板之间的薄膜光学树脂来实现。在一些实施方案中,可使用可位于简单塑料或金属基板上的单个普通金属镜面来实现外部反射器组件的更简单的构造。在一些实施方案中,可通过薄型塑料膜来保护任何暴露的金属基板免受腐蚀和氧化的影响。
制造
本文所公开的设备结构的制造可通过单一选择或组合使用以下技术来实现:注射模制、减成模制、挤压、真空和热成形、薄膜沉积工艺、热/光/化学添加剂制造技术、铣削、旋转涂覆、印压、电镀、热、电或真空气相沉积、溅射、微观部分涂覆、冲压等。
图像捕获和处理
参考图32,利用限定的结构设计部件捕获真实世界场景可遵循涉及捕获、存储、变换和显示的过程。
A.捕获
真实世界的场景或环境可产生光场,所述光场具有沿多个方向行进的光子流。所述光的部分可入射到设备的反射表面上。反射光的部分朝向照相机反射,如本文所论述的。照相机可具有用于将所述光聚焦到照相机的图像传感器上的透镜装置,所述图像传感器可以是具有检测器的平坦表面,所述检测器将光子转换和放大成可测量的电信号。在单个图像156中,照相机102可捕获来自系统的内部反射器104和外部反射器106的反射点,所述反射点类似于一起组合到照相机的图像帧中的环内的圆。图像156的圆形部分158可以是相当于一个立体角度的全景图,并且图像156的环形部分160可以是相当于另一个立体角度的全景图,如可在图33和图34中所看到的。图像156的圆形部分158可被变换以提供图35的图像162,所述图像162用作立体观看中的右眼图像或左眼图像。图像156的环形部分160可被变换以提供图35的图像164,所述图像164用作立体观看中的右眼图像或左眼图像中的另一个。
B.存储
照相机传感器通过其测量结果捕获的图像可在照相机或其他设备上进行编码、存储,和/或直接转换成数据流。利用空间和时间冗余,单个图像和/或连续图像序列可被编码器压缩以减小整个文件大小。数据可被解析成文件,所述文件可与诸如元数据、照相机设置、音频记录、运动传感器读数等更多其他信息复用。所得的数据文件可通过任何合适的数据递送载体存储和/或传输,以待实时或稍后使用。
C.变换
合适的解码器可从文件中提取压缩的或未压缩的图像数据,并且可对其进行解码,以改善包含从设备捕获的真实世界场景的传真的单个图像或连续图像序列。合适的硬件或软件渲染器程序(或甚至合适的光学装置组)可对表示来自内部反射器104和外部反射器106的反射的两个子视图进行变换,并且可应用2维矢量场扭曲变换(例如)。渲染器可适当地裁切、有区别地拉伸、挤压和/或裁剪两个图像的部分,使得由反射器的主要弯曲结构引入的不均匀的角分布可被消除。额外的图像扭曲变换可应用于每个子图像(例如,每只眼睛一个),以通过给定的显示设备为观察者提供适当的角分布,如可在例如图35中看到的。
D.渲染/显示
可使用主动渲染。通过变换的单个图像或连续图像序列,渲染设备/显示器可根据用户的决定来操纵和调整立体视平面。可主动调整扭曲和裁切以适当地显示用户期望的视线方向的对应视点。所述调整可以基于使用各种传感器技术供应到渲染设备/显示器的关于用户的头部和眼睛移动的运动控制信息,所述传感器技术诸如物理手动控制器、能够进行头部和眼睛运动追踪的全景平视显示装置和/或运动追踪传感器。
渲染器还可应用动态裁切和/或适当的扭曲以考虑到所记录图像中的快速、精细或离开地平线的运动,从而有助于抵消在捕获期间引入的振动或非预期的运动。可通过传感器捕获和分析运动变量来实现动态裁切和/或扭曲,从而实时或通过后续检查丰富相关联的数据流。
可使用被动渲染。所记录图像可遵循如本文所论述的相同的捕获、存储和变换过程,以待随后被解码并被适当地扭曲和/或变换成另一图像形式(例如,从图34的环形格式中的圆到图35的矩形图像),被重新编码以考虑到非预期的运动,和/或被转化成更方便的文件类型,以待在稍后的时间点由渲染设备/显示器进行处理。所述工作流程可作为预处理进行,使得这些步骤在由观察者使用最终解码器和渲染器进行解码时是不必要的。
在一些设置中,解码器和渲染器可被组合,从而在任何给定时间仅允许图像空间待观察的那个部分被解码,之后被发送到渲染器以应用适当的变换,因此解码器不必解码并提交整个图像空间的每一帧,这减少了其工作量。可将图像发送到显示器,以发出被观察者的眼睛聚焦并捕获的光。通过向用户的两只眼睛供应立体图像对,他们的大脑能够以与真实场景中相同的方式重建对原始记录环境的3D感知。
示例性结构
这个章节描述了用于360度立体场景捕获(例如,通过单个视点)的系统的某些示例性实施方案和组件选项。在各种实施方案中,可使用反射器的一部分,以便在水平方向上提供小于360度的观看范围。例如,使用一半的反射器(例如,切割纵向轴线),成像可在180度(而不是360度)的范围内执行。
A.实施例1
图36和图37示出示例性结构,所述示例性结构具有覆盖单个波纹形抛物面状(或穹顶状)反射器204的匹配的“倾斜”和“隐藏”面条纹,从而形成对称的反射器204。图36示出从照相机202的角度看到的反射器204。条纹216的每个交替面可分别顺时针或逆时针旋转反射的视线,如从中心轴线观看到的。通过将表面上的每个奇数或偶数面合成在一起,奇数面将有效地形成围绕一个方向上的切线旋转的第一全景视点,并且偶数面将有效地形成围绕另一方向上的切线旋转的第二全景视点。因此,每个视点的对应视线在空间中以与本文所论述的其他实施方案大致相同的方式分开,但是都在一个主表面上交错并且具有围绕设备中心的共同中心线旋转点。由于立体分离不依靠内部-外部反射器关系,而是来自于单个反射器204上的两个反射点,只要每个条纹的角旋转足以产生极性相对的侧面,则与使用内部和外部反射器的系统相比,类似水平的分离现可通过更小的设备来实现。
此外,由于只从一个反射器204捕获,反射表面可被制成完全反射的(例如,类似于本文所论述的内部反射器106)而不是部分反射的,同时仍然准确覆盖左和右双眼视点的对应反射角范围和密度。然而,通过将两组图像交织在一个表面内,在使两个图像彼此分开时可能引入新的挑战。一种方法是用软件以离散的方式或通过频率分析使交替切片彼此数字地切割开。然而,通过增加条纹的密度以最大化分辨率,交替表面中的每一个都有机会邻接照相机的视野,使得它们难以或不可能进行数字分离。这可通过应用交替吸收和反射的偏振层并且在场景捕获点处将其与对应的偏振照相机滤色镜配对来解决。对应的滤色镜将随后允许单独观察旋转和非旋转的图像反射,从而允许进一步解构和存储。在使用相对较大的条纹并且来自每个表面的交替图像条带必须交织的这种情况下,向每个表面增加额外的凸曲率稍微扩大了成像的偏摆范围,从而产生重叠以帮助接合过程并提高一致性。
B.实施例2
设备的实施例1的实施方案的变型可在反射器304(例如,其可以是菲涅耳反射器)的中心中并入孔305,通过所述孔305,照相机302可看到主弯曲反射器306。反射器304可将世界视图反射到主反射器306上,所述主反射器306随后可反射视图,使之穿过孔308并进入到照相机302中。这具有延伸设备的可见俯仰范围342和/或降低其内径处的条纹微结构316的必要密度的优点,因为较小的特征结构不再会聚于轴线处的点。此外,在所述配置中,对应的视线可被构造为在菲涅耳反射器的范围内具有一致的立体分离,所述视线随后被主反射器压缩入照相机的观看范围,而不会如单独使用单个反射器204的情况那样受到物理限制。
C.实施例3
如上所述,在使用反射表面(例如,菲涅耳反射表面)时,通过并入沿着条纹长度调整的适当螺旋曲率和倾斜面角度,反射的视线不仅可在偏摆平面中任意旋转,而且当复制在完整的圆形阵列中时还可提供俯仰平面的对应视线中的任意旋转,并因此也允许空间中的部分任意放置(这允许如上所述对对象距离进行校正)。在俯仰平面中产生任意反射曲率的能力本身等同于允许沿着视线进行任意定位,这意味着基础结构的曲率可被补偿,并因此使其自身稍微变得任意。以这种方式,代替在360度延伸成其3d形式时具有带有抛物面状形状的凸起的基础结构,它可相反地具有平面形状,在360度延伸成其3D形式时形成圆锥体(或圆锥台)。平面表面作为平板可允许更简单和更便宜的制造,所述平板随后被弯曲成适当的圆锥形状而没有凸起变形,并且可在用于制造的注射模制工艺中对从模具释放插入物进行改进。
图40示出示例性实施方案,其中内部反射器406具有大致抛物面的或穹顶形状并且可将来自环境的光反射到照相机402(例如,如结合图19所论述的)。外部反射器404可具有大致抛物面的或穹顶形状并且可将来自环境的光反射到照相机402(例如,如结合图23和图24所论述的)。
图41示出示例性实施方案,其中内部反射器506具有大致抛物面的或穹顶形状并且可将来自环境的光反射到照相机502(例如,如结合图19所论述的)。外部反射器504可具有截头圆锥形主要形状,并且侧壁可从外部反射器504的顶部大致直线地延伸到外部反射器504的底部。可相对于图40的实施方案调整条纹516(或类似反射元件)的角度设置,以考虑到外部反射器504的截头圆锥形的(相对于大致抛物面的)形状。
D.实施例4
设备的另一种产品型式可在内部反射器上(而不是在外部反射器上)或者在内部和外部反射器上并入条纹(例如,菲涅耳条纹)或其他反射元件。在内部反射器606和外部反射器604上包括条纹或其他次要反射元件可提供内部反射器606的对应视线的旋转以及外部反射器604的对应视线的旋转。通过使内部反射器606的对应视线沿着与外部反射器604上的视线的旋转相反的方向围绕表面旋转,两个视线可更接近于围绕中心轴线进行均匀定位(与其中仅一个反射器具有条纹的系统相比),其可针对终端用户在旋转其观看方向时的感知位置中的轴向偏移进行部分校正。这也具有减小设备的最小尺寸的效果,例如因为分离距离现可在内部和外部反射器的远侧上的弦之间延伸,而不是在内部反射器的径向线与远离它的外部反射器上的表面之间延伸。
图42示出示例性实施方案,其中内部反射器606包括条纹617或其他次要反射元件,所述条纹617或其他次要反射元件可类似于这里针对其他实施方案论述的那些进行操作。外部反射器604可包括条纹616,所述条纹616与结合其他实施方案论述的那些条纹类似。条纹617可使光在水平平面中沿第一方向转向到照相机602,并且条纹616可使光在水平平面中沿第二、相反方向转向到照相机602。在图42中,内部反射器606具有大致抛物面的形状,并且外部反射器604具有截头圆锥形的形状。在一些实施方案中,内部反射器606和外部反射器604可具有用于其主要形状的大致抛物面的形状(例如,如结合图1和图10所论述的)。在图43中,内部反射器706具有圆锥形的主要形状,并且外部反射器704具有截头圆锥形的主要形状。条纹717可使光在水平平面中沿第一方向转向到照相机702,并且条纹716可使光在水平平面中沿第二、相反方向转向到照相机702。
E.实施例5
参考图44-46,设备的另一示例性实施方案可并入附加的主弯曲反射器701,所述主弯曲反射器701在一些实现方式中可占据照相机702的整个视野,通过内部反射器806和外部反射器804(例如,具有菲涅耳条纹的一个或两个反射器)的锯短的圆锥形布置中的孔进行凝视,并且所述主弯曲反射器701随后将照相机的视图反射到两个反射器804和806上。这具有潜在地扩大可用俯仰角范围842的优点,并且可减小设备的尺寸,因为内部反射器806和外部反射器804可以最小的间隙进行安置,由于附加的主反射器801,照相机802可通过所述最小间隙进行观察,在一些实施方案中,所述附加的主反射器801还可具有进一步减小在用户旋转其观看方向时观察到的轴向偏移的效果。它还可具有确保照相机的每个立体角有更均匀的条纹分布的效果,因此条纹的制造过程和它们的密度的变化产生较少的成像伪影,特别是对于靠近轴心的内部反射器。内部反射器806和外部反射器804可类似于本文所公开的各种不同实施方案的那些(除了内部反射器806可在中心中具有孔以容纳通过孔观察主反射器801的照相机802)。
F.实施例6
参考图47-50,设备的另一个实施方案可具有主反射器901,所述主反射器901随后反射到次弯曲反射器909上,然后其向上或向下反射到如上所述的内部和外部反射器的截短的圆锥形布置上,或者可替代地到圆柱形内部反射器906和外部反射器904上,所述内部反射器906和外部反射器904中一者或二者可具有条纹917和916(或其他次要反射特征结构)。
G.实施例7
图51示出具有外部反射器1004和内部反射器1006的示例性实施方案。内部反射器1006可与本文所公开的内部反射器106相同或类似。外部反射器1004可类似于本文所公开的外部反射器1004,除了如下将论述的。外部反射器1004可包括旋转的、不连续的和/或完全反射的面板1011。外部反射器1004可以是完全反射的(例如,类似于本文所论述的内部反射器106),而不是将外部反射器1004构造为如结合反射器104所论述的具有部分反射、部分透射(PRPT)特性的一个连续表面。例如,外部反射器1004可涂覆有完全反射材料。外部反射器1004和内部反射器1006可被配置来提供所需的到照相机(图51中未示出)的光路,以实现与本文所公开的其他实施方案类似的对应立体视线(例如,平行偏移视线)。
因为外部反射器1004被完全反射涂层覆盖(或以其他方式制成为完全反射的而不是部分反射的),所以在具有PRPT外部反射器104的实施方案中,外部反射器1004可阻挡将穿过并到达内部反射器的光。不透明的外部反射器1004可包括多个面板1011,所述多个面板1011彼此间隔开,以在面板1011之间形成多个间隙1013。来自被成像的环境的光可穿过面板1011之间的间隙1013,以到达内部反射器1006,如结合其他实施方案所论述的,所述内部反射器1006可将光反射到照相机。从外部环境到达的光将交替地击中外部反射器面板1011并反射到照相机中(例如,类似于本文所论述的复杂的光路)或穿过面板1011之间的间隙1013并且反射离开内部反射器1006并进入照相机中(例如,类似于本文所论述的简单的光路)。
外部反射器1004可围绕中心轴线进行旋转,这可允许每个面板之间随时间累积的平均值被照相机捕获。控制面板尺寸对间隙尺寸的角比可成比例地控制从外部反射器1004反射的光量对到达内部反射器1006的光量,因此面板尺寸对间隙尺寸的均匀的50:50的比率可允许对到达内部反射器1006和外部反射器1004的光量进行均匀的分布。在一些实施方案中,在旋转期间,来自内部反射器1006和外部反射器1004的对应立体视线(例如,偏移平行视线)可被分解。可选择照相机的曝光长度和/或外部反射器1004的旋转速度,以使得照相机的曝光时间长度等于或大于整个面板1011和一个整个间隙1013通过给定点所需的时间。例如,对于每秒24帧的曝光率,图51中示出的具有8个面板1011和8个间隙1013的外部反射器可以每秒三转的速度进行旋转。因此,在用于曝光图像的1/24秒期间,外部反射器可完成1/8的旋转,使得任何给定光路将在曝光时间期间与一个完整的面板1011和一个完整的间隙1013相交。通过具有大量薄型面板1011或通过快速旋转面板1011阵列,系统可与快速曝光兼容,以诸如用于通过照相机移动视频记录。遵循所述方法,照相机可像它使用连续的PRPT外部反射器104进行捕获的那样使用图51的外部反射器1004捕获类似的图像。旋转外部反射器1004还可具有暂时使条纹1016引起的外部反射器1004的图像中的“阶梯状”扭曲平滑化的前述效果。
可使用各种不同数量的面板1011和间隙1013,诸如1个面板和间隙、2个面板和间隙、4个面板和间隙、8个面板和间隙(如图51中所示出的)、12个面板和间隙、16个面板和间隙、24个面板和间隙、32个面板和间隙、64个面板和间隙、128个面板和间隙、或其间的任何值或由上述确认值界定的任何范围。
系统可包括电机(未示出),所述电机可驱动外部反射器1004的旋转。在一些实施方案中,外部反射器1004可相对于内部反射器1006进行旋转,所述内部反射器1006可保持静止。在一些实施方案中,内部反射器1006可与外部反射器1004一起旋转,并且内部反射器1006可以是旋转对称的,使得内部反射器1006的旋转不会对图像产生显著影响。
在一些情况下,可引入内部反射器1006与外部反射器1004之间的不期望的反射,这可能潜在地使照相机捕获的图像变形。在一些实施方案中,外部反射器1004的内表面(例如,面板1011面向内的侧面)可具有深色(例如,黑色)涂层,以吸收反射到和离开内部反射器的杂散光。所述特征结构的附加有益效果是可消除内部反射器上的条纹的隐藏与倾斜面之间的多次反射的源。
静止成像
通过单相机设置,可使用本文所公开的系统捕获单个静止图像,所述单个静止图像提供环境的定格图像,所述定格图像可使用适当的显示器(虚拟现实头戴式显示器、天文馆型投影图像等)在立体3D和全球全景中作为静物重新检查。
图像序列
由于短视频序列覆盖使用视频成像设备或在突发捕获模式下进行操作的照相机捕获的若干连续帧,这些图像的循环可通过如上所述的相同显示器设置来显示具有微妙时间细微差别的逼真描绘。
完整视频记录和播送
使用视频记录设备,可从给定的角度捕获事件,并且然后将所述事件作为序列重新成像为连续的镜头片段。实时馈送也可在一个位置中播送并在另一个远程位置中被实时观看(例如,通过任何合适的信息通道传输)。在静态成像、短图像序列或完整视频成像中,多个捕获点可允许观察者在视点之间进行切换,同时保持沿任何方向观看的能力,并且多个用户可同时访问相同的视点,然而各自独立地沿着全景范围内任何所需方向进行观看。
视频通路捕获
来自运动通过场景的捕获点的视频记录可通过将视频快进或倒回至与观察者的运动位置对应的点来允许观察者沿着运动路径任意移动。这可与从捕获支架上的运动追踪设备获取的数据匹配,或者从图像自身推导出,并且与观察点处的对应的运动检测相结合,以允许观察者体验逼真的沿着路径的位置。
远程呈现和遥测术
利用实时馈送进行操作,设备可用于将实时情况转播到远程位置。所述数据可与从附加传感器获取的测量结果相结合,所述附加传感器提供用于从远程位置观看和分析的另外的有用信息。此外,如果设备耦合到合适的致动装置,则从远程位置处的控制器馈送回的信息可通过移动设备和/或操作相关联的设备来实时改变视图。这可用于包括无人机的遥远的远程呈现机器人上,并为本地或远程线控载体提供远程视图。
自动稳定化
在一些实施方案中,在所有偏摆方向上可用的宽广角度范围与立体测量结果相结合意味着:在几乎全部环境中,绝对旋转和加速度可仅从图像数据确定。将用本发明记录的视频中的图像序列中的像素值进行比较可允许将一帧中的图像中相同的总像素特征结构与稍后记录的另一帧的那些特征结构相匹配,并计算它们在所述区域中的图像平面上的位移,所述位移继而与照相机的移动相关。当设备在空间中旋转时,所记录的图像因此将显示出可用于计算该旋转的一致位移。类似地,在记录时,设备在空间中的平移运动将导致图像的那些部分中的图像平面中垂直于运动方向的位移、特征结构在设备移动进入方向的放大以及特征结构在设备移动远离方向上的收缩,这些合在一起可允许人们计算设备的运动和旋转,因为设备在没有附加的传感器的情况下随时间推移进行了记录。计算出的旋转数据随后也可实时使用或作为后置处理来反向旋转所显示的图像空间,以补偿设备在物理空间中被记录的旋转,从而(即使在原始记录不稳定时)创建从图像数据观察者的角度看的稳定的视点。
多设备阵列
若干个设备可排列成阵列以提供额外的可用角度和可能的全息数据,以允许未来捕获的图像的位置组成。相同环境内的多个附近位置中的多个设备可允许终端用户观察所捕获的图像,以选择要观察设备中的哪一个,并由此在任何给定时间选择他们更喜欢哪一个角度。此外,如果适当地排列多个设备,则从一个设备和另一个设备捕获的匹配的像素数据和总像素特征结构可在数学上被内插以生成对应于设备之间的位置的合成角度,从而允许终端用户在设备的集合的空间内任意移动他们的角度。此外,由于精确的立体图像对被设备直接捕获,因此立体图像不需要从相同的移位的图像组中合成,并且可相反地直接从分开的左视点和右视点单独内插。因此,即使位移中的插值产生了像素伪影,左图像和右图像中的小差异也将被保留并给出精确的视差视图,并且与来自非立体对源的合成生成相比将在计算上保持简单。
光场/全息捕获
与包括但不限于透镜状小透镜阵列、编码光圈或结构化照明的光场捕获技术结合使用,照相机或照相机阵列或其他此类4至6维捕获技术(同时记录跨越2或3个空间维度范围内的2或3个角度维度的光)可从在空间上从照相机正常定位的位置偏移的许多不同位置捕获或重建其设备的视点,并构成可检测和记录穿过它的光场(即,光到达阵列的布置和方向)的全息捕获系统。在一些实施方案中,可使用照相机阵列。在一些实施方案中,可使用合成照相机阵列。例如,可将多个光圈与单个图像传感器一起使用以提供合成照相机。
参考图52和图53,这种布置的示例性实施方案可采取照相机阵列1102或合成照相机阵列的形式,所述照相机阵列1102或合成照相机阵列大致布置在水平平面上,其中照相机正常地定位在本文所公开的其他实施方案中,或者布置在凹面之上,其中在设备反射器1104和1106的中心处具有近似焦点,并且照相机阵列的多视点指向反射器1104和1106,从而从外部反射器1104和内部反射器1106捕获反射光,正如单个照相机102在其他实施方案中进行的那样,但是是从各自从中心轴线不同程度地偏移的多个角度。根据其位置,可布置从子照相机或合成光圈照相机角度捕获的图像,所述角度从中心偏移并因此更接近设备的一侧(较之另一侧),使得其在所述方向上具有距通过内部反射器1106和外部反射器1104反射的外部环境中的对象的减小的总距离或偏移角度,并因此在图像空间中沿着所述方向从这个位置产生对应的立体图像,与从中心照相机捕获的相同方向上的图像相比,所述位置实际上更靠近对象。对应地,从相同的偏移照相机捕获的但是在相反方向上的图像将因此沿着所述相反方向更远离对象,并且从其间的侧面位置捕获的图像将沿着子照相机相对于中心的方向发生空间偏移。因此,从这个偏移位置捕获的图像可被布置成使得其产生沿着其从中心偏移的方向发生空间移动的图像空间。因此,阵列中各自具有不同偏移量的许多照相机的集合将允许终端用户选择要显示的哪一个照相机的立体图像,从而使终端用户的观察位置在平面或凸面上的照相机的范围内发生偏移,并且在这些分开的图像对之间额外插入像素或图像特征结构,以在(当设备的中心轴线是垂直取向时)大致对应于水平平面的捕获空间内重建任意位置。使用这个本质上是全息的数据集,人们不但可重建具有完整旋转自由度的场景的精确全球立体全景,而且可以某种程度的可用平移自由度对其进行再现,那样(例如通过虚拟现实头戴式视图器进行显示)将允许观察者不但旋转他们的角度,而且使其从相对捕获点略微移动,以允许观察者的运动捕捉可能控制角度偏移,从而创造完全浸入式的体验。
照相机阵列1102或合成照相机阵列可定位在垂直于设备的中心轴线的平面上(大致是照相机在其他实施方案中的定位之处),并且类似于本文所公开的其他照相机可指向以观察外部反射器1104和内部反射器1106。照相机阵列1102可替代地安装在相对于平坦平面的弯曲表面上,从而改变阵列中的每个照相机到反射器1104和1106的距离。阵列可从在不同垂直维度中从中心偏移的角度捕获从反射器1104和1106反射的图像,其中图53中示出两个。根据阵列中的位置和任何给定点处的反射器的表面角度,反射周围环境中的对象的视线的长度或位置可能发生偏移,并因此照相机视点阵列允许用户从替代性角度观察场景,允许终端用户以受照相机阵列尺寸限制的移动自由度在捕获的场景内进行一定的自由移动。
摄影测量法测量
使用所描述的光学系统捕获场景可给出环境对象和照明的图像,所述图像可用作对3D模拟中的场景的计算重建的参考。捕获的立体本质允许仅通过在一个位置中单次捕获的立体图像对而不是在多个位置中进行多次捕获以对对象作三角测量来进行深度追踪和绝对位置参考。可通过对在立体对中匹配对象上进行的照明进行分析来推导出正确的场景照明,并且因此可应用精确的派生照明计算来将模拟的计算机渲染对象引入到场景的渲染中。场景中对象特征和纹理数据的完整计算三角测量可用于快速地在单个图像中获得场景环境和其内容和其光学特性的精确3D模型。这样的渲染可被任意地计算操纵并通过计算渲染以任意视点通过任意方式显示,其具有如下限制:原始数据集中不可访问的被挡住的图像空间将不会以原始形式提供。如果多个设备记录相同的场景,或者如果设备移动通过场景并记录多个图像或视频,则可快速补充这个被挡住的图像,使得获得观察先前挡住的空间的多个角度。
增强现实/混合现实记录
使用由设备捕获的全局立体图像空间对给定环境进行虚拟现实重现可通过合成渲染的计算机生成的元素来增强,也被称为增强现实。以这种方式,人造物体和面貌可放置到观察者使用适当的显示器可观察到并且使用适当的人机接口设备(物理手动制器、运动追踪传感器等)可与之进行交互的场景中。因此,在能够在立体视觉中沿着全部方向观看但限于无交互性的预记录背景场景中,交互式元素可在使用时被实时地插入以及合成地创建和修改。这可与观察者变化的角度以及在捕获点处从外部运动传感器捕获的或从如上所述的视频图像数据中的时间运动计算的或来自对静止图像的特征分析的运动数据进行组合。正确的组合将允许对人为渲染的增强元素进行几何重新计算,使得它们逼真地追踪环境,并且通过对图像空间元素的智能分析,可潜在地允许这些元素以受控的方式(重力、遮挡、距离缩放、物理运动、人员识别、视线、指示牌、字符识别等)服从或相反地破坏观察环境的预期的结构、物理和常规规则。此类人造元素可具有交互特性,诸如在观察者命令时打开网络链接,提供视觉和听觉反应等。
此外,这可利用所捕获图像的分析结果来增强,使得场景的摄影测量可用于提供正确的光与影的计算,支持人造元素服从的场景的三角测量表面深度分析。这允许显示设备/观察者将用户的视点转换为真实场景超出捕获点或捕获线的合成渲染角度,其中另外的人造元素也被渲染并正确地转换以匹配新的合成渲染角度。
这也适用于将人造元素定位在虚拟场景中,同时使用视频通路捕获或光场阵列映射支持光学系统捕获的移动视点/视角。每个人造元素可在空间中与移动视点相匹配,并且通过数据阐释,允许在没有合成渲染的情况下进行主动定位。
此类人造元素还可使用光栅投影成像到真实世界场景捕获上并进行实时显示,以允许亲自或通过远程呈现/遥测术来增强真实世界环境。此类人造元素可以是提供信息的(信息图表、网络链接、指示牌、建筑剖面图、人员档案等)、装饰性的(合成雕塑、绘画、动画等)、交互性的(游戏、目标、虚拟显示器等)或无数其他潜在形式。
与其他立体交互式虚拟现实体验相比,在受控或不受控的记录中捕获真实环境,并且然后用交互元素对它们进行增强可能在创建过程中是有利的,因为当与在完全模拟的3D模型中设计和填充等效环境字符所需的努力相比时,真实世界的当地人或活动者可能是预先存在的或易于构建的。它们还受益于附加的物理和光学现实主义水平,因为人造等效物可能太复杂,以至无法以相同的质量或精度水平进行创建或渲染。此外,由于完整渲染进程的计算成本受限于对预先记录的视频加上所添加的任何稀疏填充的人造元素进行解码和变换,因此计算成本可能显著低于使用光栅投影成像从头开始的完全合成模拟的照明、纹理和几何计算。所描述的性能可导致较低的所需功率要求以及延长的电池寿命,同时仍然实现更高的帧速率和更精确的场景和元素定位。这相当于用可能更便宜且更紧凑的计算硬件部件实现提高的浸入水平。
混合环境拼接和综合图片
除了将合成计算机生成的对象和背景的图像与捕获的图像数据混合之外,多个捕获的环境图像的图像空间也可被混合和/或合成以在最终图像中产生异常连接的空间,诸如将一个半球中的海滩表面与另一个半球中的建筑物屋顶连接。此外,每组图像中的立体数据将提供有用的深度线索,以用于检测对象边缘和对象距设备的距离,从而允许基于位置对来自不同图像的对象进行精确的拼接和合成。例如,这将允许将前景场景(诸如落雪)拼接到另一背景场景(诸如沙漠)中。
第一人称/头盔配置
反射器的尺寸可被设置成适合一系列不同的应用,包括使其变得中空,以使得它们可作为头盔佩戴,给出来自佩戴者的合适的第一人称视点。在这种情况下,由于菲涅耳条纹允许所记录图像发生任意水平的径向偏移,因此内表面中的大的中空内部不需要影响外部反射器的立体分离,因为其尺寸设置可被调整以一直提供合适的立体间隔,同时反射的视线一直被校正以进行匹配。
立体选择
除了在不改变立体分离的情况下提供设备的内部空间的多种尺寸设置之外,可有意调整立体分离的水平以提供不同寻常的立体体验。更宽的间隔可扩大立体灵敏度,这将使环境显得更小,并且较小的分离可降低灵敏度,使环境显得更大。这可例如用于飞行应用中,给予飞行员对大型地形(诸如一般会具有不可见的会聚点的山脉)的增强的深度感,或者可用于显微手术应用中,其中外科医生需要对极小内脏具有精确的深度感的包含性视图。此外,部分透射/反射的外表面的附加外壳可提供来自单个捕获图像中的多个不同立体分离宽度的同时捕获,允许观察者选择这个深度灵敏度,并且还提供用于全息分析的附加角度数据。为了光强度的优化分布,必须调整每个外壳层的反射率的比率,以使得每个外壳图像接收相同的总体光量。
本文所论述的实施方案是以举例的方式提供的,并且可对本文所述的实施方案进行各种修改。本公开中描述于单独实施方案的上下文中的某些特征结构也可在单个实施方案中以组合形式实现。相反地,描述于单个实施方案的上下文中的各种特征结构也可在多个实施方案中单独地或以各种合适的子组合形式实现。此外,结合一个组合描述的特征结构可从该组合中删去,并且可以各种组合和子组合形式与其他特征结构组合。可将各种特征结构添加到本文所公开的示例性实施方案。可将各种特征结构从本文所公开的示例性实施方案中省略。例如,图51的实施方案可被修改成包括来自其他实施方案的各种特征结构,诸如微镜的栅格而不是条纹、外部反射器的平坦表面、通过中心和主反射器的孔、内部反射器上的条纹等。
下面提供了各种示例性权利要求,其叙述了各种不同的特征结构组合。如本文所述并且如本领域技术人员将理解的,还可设想各种附加的特征结构组合。

Claims (47)

1.一种用于全景立体成像的光学系统,所述光学系统包括:
照相机;
外部反射器,其包括:
大致抛物面的主要结构,其具有宽端和窄端,所述窄端面朝所述照相机;
所述窄端处的孔;
多个条纹,其从所述宽端延伸到所述窄端;
其中所述外部反射器是部分反射且部分透射的,并且其中所述外部反射器被配置来将光反射到所述照相机;以及
内部反射器,其包括大致抛物面的反射表面,所述反射表面具有宽端和窄端,所述窄端面朝所述照相机;
其中所述内部反射器在所述外部反射器内,其中所述内部反射器被配置来反射透射穿过所述外部反射器的光,并且其中所述内部反射器被配置来使所述光穿过所述外部反射器的所述窄端处的所述孔反射到所述照相机。
2.如权利要求1所述的光学系统,其中所述内部反射器被配置来反射光以向所述照相机提供圆形的内部图像部分,并且其中所述外部反射器被配置来反射光以向所述照相机提供外部图像部分作为围绕所述内部图像部分的环。
3.如权利要求1至2中任一项所述的光学系统,其中所述条纹包括被配置来将所述光反射到所述照相机的可见面以及所述照相机不可见的隐藏面。
4.如权利要求1至3中任一项所述的光学系统,其中所述条纹围绕所述外部反射器扭转为螺旋。
5.如权利要求1至4中任一项所述的光学系统,其中所述条纹被配置来接收沿着不与所述光学系统的纵向轴线相交的路径行进的离轴光,并且通过反射使所述光转向以具有与所述纵向轴线相交的到所述照相机的同轴路径。
6.如权利要求1至5中任一项所述的光学系统,其中所述内部反射器被配置来接收沿着第一光路行进的第一光,并将所述第一光反射到所述照相机,其中所述外部反射器被配置来接收沿着平行于所述第一光路并与所述第一光路间隔开偏移距离的第二光路行进的第二光,并且其中所述外部反射器被配置来将所述第二光反射到所述照相机。
7.如权利要求6所述的光学系统,其中所述内部反射器被配置来接收沿着低于所述第一光路的第三光路行进的第三光,并将所述第三光反射到所述照相机,其中所述外部反射器被配置来接收沿着低于所述第二光路的第四光路行进的第四光,其中所述第四光路平行于所述第三光路并与所述第三路径间隔开相同的偏移距离,并且其中所述外部反射器被配置来将所述第四光反射到所述照相机。
8.如权利要求6至7中任一项所述的光学系统,其中所述第一光的从对象到所述内部反射器以及到所述照相机的所述光路长度与所述第二光的从所述对象到所述外部反射器以及到所述照相机的所述光路长度是相同的距离。
9.如权利要求1至8中任一项所述的光学系统,其还包括:
所述外部反射器的外侧上的外部基板材料,所述外部基板材料被配置来折射透射穿过所述外部反射器的光,其中所述外部基板材料被配置来沿着第一方向折射所述光;以及
所述外部反射器的内侧上的内部基板材料,所述内部基板材料被配置来折射透射穿过所述外部反射器的所述光,其中所述内部基板材料被配置来沿着与所述第一方向相反的第二方向折射所述光。
10.如权利要求1至8中任一项所述的光学系统,其还包括所述外部反射器的外侧或内侧上的基板,其中所述基板具有内表面和外表面,所述内表面和所述外表面均循着所述条纹的形状,其中所述基板被配置来折射行进穿过所述外部反射器的光,其中所述基板的所述外表面沿着第一方向折射所述光,并且其中所述基板的所述内表面沿着与所述第一方向相反的第二方向折射所述光。
11.如权利要求1至10中任一项所述的光学系统,其还包括壳体,所述壳体被配置来支撑所述外部反射器、所述内部反射器和所述照相机。
12.如权利要求1至11中任一项所述的光学系统,其中所述外部反射器可相对于所述照相机进行旋转,并且其中所述外部反射器被配置来围绕纵向轴线进行旋转。
13.如权利要求12所述的光学系统,其还包括用于驱动所述外部反射器的旋转的电机或致动器。
14.如权利要求1至13中任一项所述的光学系统,其中所述内部反射器包括所述内部反射器的中心处的孔,并且其中所述光学系统还包括主反射器,所述主反射器被配置来接收从所述内部反射器和所述外部反射器反射的光,并且使所述接收到的光穿过所述外部反射器中的所述孔,并穿过所述内部反射器中的所述孔反射到所述照相机。
15.一种光学系统,其包括:
照相机;
外部反射器,其被配置来将光反射到所述照相机;以及
内部反射器,其设置在所述外部反射器内并且被配置来将光反射到所述照相机;
其中所述外部反射器和所述内部反射器中的一者或两者被配置来接收沿着不与所述光学系统的纵向轴线相交的路径行进的离轴光,并且通过反射使所述光转向以具有与所述纵向轴线相交的到所述照相机的同轴路径。
16.如权利要求15所述的光学系统,其中所述外部反射器包括多个条纹,所述多个条纹成角度以使所述外部反射器反射的所述光沿着第一方向转向,以便具有到所述照相机的同轴路径。
17.如权利要求15至16中任一项所述的光学系统,其中所述内部反射器包括多个条纹,所述多个条纹成角度以使所述内部反射器反射的所述光沿着第二方向转向,以便具有到所述照相机的同轴路径。
18.如权利要求15至17中任一项所述的光学系统,其中所述内部反射器被配置来接收沿着第一光路行进的第一光,并将所述第一光反射到所述照相机,其中所述外部反射器被配置来接收沿着平行于所述第一光路并与所述第一光路间隔开偏移距离的第二光路行进的第二光,并且其中所述外部反射器被配置来将所述第二光反射到所述照相机。
19.如权利要求18所述的光学系统,其中所述内部反射器被配置来接收沿着低于所述第一光路的第三光路行进的第三光,并将所述第三光反射到所述照相机,其中所述外部反射器被配置来接收沿着低于所述第二光路的第四光路行进的第四光,其中所述第四光路平行于所述第三光路并与所述第三路径间隔开相同的偏移距离,并且其中所述外部反射器被配置来将所述第四光反射到所述照相机。
20.如权利要求18至19中任一项所述的光学系统,其中所述第一光的从对象到所述内部反射器以及到所述照相机的所述光路长度与所述第二光的从所述对象到所述外部反射器以及到所述照相机的所述光路长度是相同的距离。
21.如权利要求15至20中任一项所述的光学系统,其中所述外部反射器包括多个反射面板,所述多个反射面板通过所述反射面板之间的间隙彼此间隔开。
22.如权利要求21所述的光学系统,其中所述外部反射器可相对于所述照相机进行旋转,并且其中所述外部反射器被配置来围绕纵向轴线进行旋转。
23.如权利要求22所述的光学系统,其还包括用于驱动所述外部反射器的旋转的电机或致动器。
24.如权利要求21至23中任一项所述的光学系统,其中所述反射面板具有深色背侧,所述深色背侧被配置来吸收从所述内部反射器反射的光。
25.如权利要求15至24中任一项所述的光学系统,其中所述外部反射器具有大致抛物面的主要结构。
26.如权利要求15至24中任一项所述的光学系统,其中所述外部反射器具有截头圆锥形的主要结构。
27.如权利要求15至26中任一项所述的光学系统,其中所述内部反射器具有大致抛物面的主要结构。
28.如权利要求15至26中任一项所述的光学系统,其中所述内部反射器具有圆锥形的主要结构。
29.如权利要求15至29中任一项所述的光学系统,其中所述外部反射器包括所述中心处的孔。
30.如权利要求29所述的光学系统,其中所述内部反射器包括所述中心处的孔。
31.如权利要求30所述的光学系统,其还包括主反射器,所述主反射器被配置来接收从所述内部反射器和所述外部反射器反射的光,并且使所述接收到的光穿过所述外部反射器中的所述孔,并穿过所述内部反射器中的所述孔反射到所述照相机。
32.如权利要求15至31中任一项所述的光学系统,其中所述外部反射器和所述内部反射器中的一者或二者包括被配置来使所述反射光转向的不连续反射元件的栅格。
33.如权利要求15至32中任一项所述的光学系统,其中所述内部反射器被配置来反射光以向所述照相机提供圆形的内部图像部分,并且其中所述外部反射器被配置来反射光以向所述照相机提供外部图像部分作为围绕所述内部图像部分的环。
34.如权利要求15至20和25至33中任一项所述的光学系统,其中所述外部反射器是部分反射且部分透射的。
35.如权利要求34所述的光学系统,其还包括:
所述外部反射器的外侧上的外部基板材料,所述外部基板材料被配置来折射透射穿过所述外部反射器的光,其中所述外部基板材料被配置来沿着第一方向折射所述光;
所述外部反射器的内侧上的内部基板材料,所述内部基板材料被配置来折射透射穿过所述外部反射器的所述光,其中所述内部基板材料被配置来沿着与所述第一方向相反的第二方向折射所述光。
36.如权利要求34所述的光学系统,其还包括所述外部反射器的外侧或内侧上的基板,其中所述基板具有内表面和外表面,所述内表面和所述外表面均循着所述外部反射器上的所述条纹的形状,其中所述基板被配置来折射行进穿过所述外部反射器的光,其中所述基板的所述外表面沿着第一方向折射所述光,并且其中所述基板的所述内表面沿着与所述第一方向相反的第二方向折射所述光。
37.如权利要求15至36中任一项所述的光学系统,其包括照相机阵列,所述照相机各自被配置来接收由所述内部反射器和所述外部反射器反射的光以从多个位置捕获图像。
38.如权利要求15至36中任一项所述的光学系统,其包括合成照相机阵列,所述照相机各自被配置来接收由所述内部反射器和所述外部反射器反射的光以从多个位置捕获图像,其中所述合成照相机包括用于单个图像传感器的多个光圈。
39.如权利要求15至38中任一项所述的光学系统,其中所述内部反射器的窄端被配置来从由所述照相机产生的图像中省略所述照相机。
40.如权利要求15至39中任一项所述的光学系统,其中所述内部反射器的窄端具有浅尖端,以防止来自所述照相机的光被反射回所述照相机。
41.如权利要求15至40中任一项所述的光学系统,其中所述外部反射器的内缘向内弯曲以延伸回到所述外部反射器的内部中。
42.如权利要求15至41中任一项所述的光学系统,其中所述外部反射器的内缘向内弯曲以将来自所述照相机的光反射回所述照相机以进行成像。
43.如权利要求15至42中任一项所述的光学系统,其中所述外部反射器的内缘向内弯曲以将来自所述照相机后方的光反射到所述照相机以进行成像。
44.一种用于全景立体成像的光学系统,所述光学系统包括:
照相机;以及
具有条纹的反射器,所述条纹包括右侧面和左侧面;
其中所述右侧面被配置来接收沿着不与所述光学系统的纵向轴线相交的第一路径行进的第一离轴光,并且通过反射使所述第一光沿着如从所述纵向轴线观看到的第一方向转向以具有与所述纵向轴线相交的到所述照相机的同轴路径;
其中所述左侧面被配置来接收沿着不与所述光学系统的纵向轴线相交的第二路径行进的第二离轴光,并且通过反射使所述第二光沿着如从所述纵向轴线观看到的与所述第一方向相反的第二方向转向以具有与所述纵向轴线相交的到所述照相机的同轴路径。
45.如权利要求44所述的光学系统,其中所述反射器具有大致抛物面的主要结构。
46.如权利要求44至45中任一项所述的光学系统,其中所述反射器在其中心中具有孔,并且所述光学系统还包括主反射器,所述主反射器用于接收从所述反射器反射的光并用于将所述接收到的光反射到所述照相机。
47.如权利要求44至46中任一项所述的光学系统,其中所述右侧面和所述左侧面在沿着所述条纹的相应中心延伸的相应平面上彼此对称。
CN201680013386.7A 2015-03-01 2016-02-29 全景立体成像系统 Active CN107407859B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562126660P 2015-03-01 2015-03-01
US62/126,660 2015-03-01
PCT/US2016/020125 WO2016140928A1 (en) 2015-03-01 2016-02-29 Panoramic stereoscopic imaging systems

Publications (2)

Publication Number Publication Date
CN107407859A true CN107407859A (zh) 2017-11-28
CN107407859B CN107407859B (zh) 2021-03-09

Family

ID=56848568

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680013386.7A Active CN107407859B (zh) 2015-03-01 2016-02-29 全景立体成像系统

Country Status (4)

Country Link
US (1) US10983312B2 (zh)
KR (1) KR102491749B1 (zh)
CN (1) CN107407859B (zh)
WO (1) WO2016140928A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109597596A (zh) * 2018-11-02 2019-04-09 北京盈迪曼德科技有限公司 相机透视方法及装置
CN114466174A (zh) * 2022-01-21 2022-05-10 南方科技大学 一种多视点3d图像编码方法、设备、系统和存储介质

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7295641B2 (ja) * 2016-06-20 2023-06-21 インターナショナル インスティテュート オブ インフォメーション テクノロジー ハイデラバード 水平視差ステレオパノラマ取込方法
EP3477186A4 (en) * 2016-07-05 2020-03-11 Bolymedia Holdings Co., Ltd. PANORAMIC MEASURING DEVICE
US11402654B2 (en) * 2017-06-01 2022-08-02 Asukanet Company, Ltd. Method for manufacturing stereoscopic image forming device, and stereoscopic image forming device
US11062149B2 (en) * 2018-03-02 2021-07-13 Honda Motor Co., Ltd. System and method for recording images reflected from a visor
US10554883B2 (en) * 2018-03-30 2020-02-04 Ricoh Company, Ltd. VR system, communication method, and non-transitory computer-readable medium
FI128501B (en) * 2018-12-13 2020-06-30 Teknologian Tutkimuskeskus Vtt Oy Stereo imaging device
TWI688817B (zh) * 2019-03-07 2020-03-21 旭智科技股份有限公司 投射光源裝置
WO2021179332A1 (zh) * 2020-03-13 2021-09-16 华为技术有限公司 一种光学系统以及电子设备
CN111447433A (zh) * 2020-03-24 2020-07-24 京东方科技集团股份有限公司 显示装置、数据生成装置及方法、显示系统
WO2022080082A1 (ja) * 2020-10-15 2022-04-21 株式会社アスカネット 空中像結像素子及び空中像結像装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2508183A1 (fr) * 1981-06-23 1982-12-24 Thomson Csf Dispositif de surveillance panoramique optique
US6449103B1 (en) * 1997-04-16 2002-09-10 Jeffrey R. Charles Solid catadioptric omnidirectional optical system having central coverage means which is associated with a camera, projector, medical instrument, or similar article
WO2008003413A1 (en) * 2006-07-01 2008-01-10 Pano Pro Limited Dome-like convex mirror for a panoramic imaging system
CN101349799A (zh) * 2008-08-28 2009-01-21 浙江工业大学 宽动态全方位视觉传感器
WO2013102941A1 (en) * 2012-01-03 2013-07-11 Pan-Vision S.R.L. Objective lens with hyper-hemispheric field of view
WO2014087396A1 (en) * 2012-12-06 2014-06-12 Rafael Advanced Defense Systems Ltd. Observation system

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2806809B1 (fr) * 2000-03-22 2002-11-22 Powell Group Dispositif d'aquisition d'image panoramique
GB2425363A (en) * 2005-04-18 2006-10-25 Sharp Kk Panoramic adapter with mirrors formed by rotating conic section
KR100715026B1 (ko) * 2005-05-26 2007-05-09 한국과학기술원 단일카메라 전방향 양안시 영상 획득 장치
US7441927B1 (en) * 2007-07-02 2008-10-28 Osram Sylvania Inc. Lamp with a lens lenticule pattern based on the golden ratio
JP2009153217A (ja) * 2009-04-06 2009-07-09 Panasonic Corp 全方位視覚カメラ

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2508183A1 (fr) * 1981-06-23 1982-12-24 Thomson Csf Dispositif de surveillance panoramique optique
US6449103B1 (en) * 1997-04-16 2002-09-10 Jeffrey R. Charles Solid catadioptric omnidirectional optical system having central coverage means which is associated with a camera, projector, medical instrument, or similar article
WO2008003413A1 (en) * 2006-07-01 2008-01-10 Pano Pro Limited Dome-like convex mirror for a panoramic imaging system
CN101349799A (zh) * 2008-08-28 2009-01-21 浙江工业大学 宽动态全方位视觉传感器
WO2013102941A1 (en) * 2012-01-03 2013-07-11 Pan-Vision S.R.L. Objective lens with hyper-hemispheric field of view
WO2014087396A1 (en) * 2012-12-06 2014-06-12 Rafael Advanced Defense Systems Ltd. Observation system

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109597596A (zh) * 2018-11-02 2019-04-09 北京盈迪曼德科技有限公司 相机透视方法及装置
CN109597596B (zh) * 2018-11-02 2022-03-18 北京盈迪曼德科技有限公司 相机透视方法及装置
CN114466174A (zh) * 2022-01-21 2022-05-10 南方科技大学 一种多视点3d图像编码方法、设备、系统和存储介质

Also Published As

Publication number Publication date
WO2016140928A1 (en) 2016-09-09
CN107407859B (zh) 2021-03-09
KR102491749B1 (ko) 2023-01-25
US10983312B2 (en) 2021-04-20
US20180039050A1 (en) 2018-02-08
KR20170123635A (ko) 2017-11-08

Similar Documents

Publication Publication Date Title
CN107407859A (zh) 全景立体成像系统
US9036003B2 (en) Multi-pitching angle suspended 3D display device with 360-degree field of view
Peleg et al. Omnistereo: Panoramic stereo imaging
US9310769B2 (en) Coarse integral holographic display
US7553023B2 (en) Multi-dimensional imaging apparatus, methods, and systems
WO2006112536A1 (en) Panoramic three-dimensional adapter for an optical instrument and a combination of such an adapter and such an optical instrument
US7719770B2 (en) Three-dimensional display device with background image display
CN104977796B (zh) 一种立体球幕投影系统的实现方法
JP2008538240A (ja) 多次元イメージング
JP2000122176A (ja) 情報提示方法及び装置
Luo et al. Pepper's Cone: An Inexpensive Do-It-Yourself 3D Display
CN110458953A (zh) 一种三维图像重构系统及方法
Gurrieri et al. Acquisition of omnidirectional stereoscopic images and videos of dynamic scenes: a review
CN109769111A (zh) 图像显示方法、装置、系统、存储介质和处理器
CN105324994A (zh) 用于生成多投影图像的方法和系统
JP6712557B2 (ja) ステレオ立体視装置
CA2600992A1 (en) 3d image capture camera and non-stereoscopic 3d viewing device that does not require glasses
RU2718777C2 (ru) Объемный дисплей
WO2003054625A1 (en) A panoramic stereoscopic imaging method and apparatus
US10200675B1 (en) Omni-directional stereo system
JP2012008298A (ja) 3次元映像表示装置
JP2005026772A (ja) 立体映像表示方法及び立体映像表示装置
WO2023035965A1 (zh) 成像装置、方法及设备
KR101549874B1 (ko) 입체 동영상 촬영용 카메라 및 이의 사용방법
Zhu et al. A virtual reality video stitching system based on mirror pyramids

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant