CN111510621A - 成像系统 - Google Patents

成像系统 Download PDF

Info

Publication number
CN111510621A
CN111510621A CN202010190853.1A CN202010190853A CN111510621A CN 111510621 A CN111510621 A CN 111510621A CN 202010190853 A CN202010190853 A CN 202010190853A CN 111510621 A CN111510621 A CN 111510621A
Authority
CN
China
Prior art keywords
imaging system
discrete
edge
imaging systems
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010190853.1A
Other languages
English (en)
Other versions
CN111510621B (zh
Inventor
扎卡里亚·尼亚齐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SECCO OPTICS, Inc.
Original Assignee
Zha KaliyaNiyaqi
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zha KaliyaNiyaqi filed Critical Zha KaliyaNiyaqi
Publication of CN111510621A publication Critical patent/CN111510621A/zh
Application granted granted Critical
Publication of CN111510621B publication Critical patent/CN111510621B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00Optical objectives specially designed for the purposes specified below
    • G02B13/06Panoramic objectives; So-called "sky lenses" including panoramic objectives having reflecting surfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B9/00Optical objectives characterised both by the number of the components and their arrangements according to their sign, i.e. + or -
    • G02B9/34Optical objectives characterised both by the number of the components and their arrangements according to their sign, i.e. + or - having four components only
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/04Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00Simple or compound lenses
    • G02B3/02Simple or compound lenses with non-spherical faces

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Studio Devices (AREA)
  • Lenses (AREA)

Abstract

一种没有视差的多相机全景成像系统。在示例中,该多相机全景成像系统包括被布置为并排阵列的多个分立成像系统,其中,每个分立成像系统的视场与每个相邻的分立成像系统的视场相连结,进一步其中,在这些分立成像系统中任何一个分立成像系统的视场边缘处的主光线模版将基本上平行于在这些分立成像系统中的任何相邻的分立成像系统的视场边缘处的主光线模版,这样使得当从物体空间观看时所有基本上平行的主光线模版看起来会聚至公共点。一种用于形成没有视差的物体图像的方法。

Description

成像系统
本申请是申请日为2015年5月5日、申请号为CN 201580034186.5(国际申请号为PCT/US2015/029146)、名称为“成像系统、方法和应用”的进入中国国家阶段的PCT申请的分案申请。
相关申请的交叉引用
本申请要求于2014年5月6日提交的美国临时申请号61/989,136的优先权,该申请的主题通过引用以其全文结合在此。
技术领域
本发明的各个实施例和方面总体上主要涉及光学成像系统、与其相关的方法及其应用;更具体地,涉及全景光学成像系统、与其相关的方法及其应用;并且最具体地,涉及具有零视差或基本上无视差的全景光学成像系统、与其相关的方法及其应用。
背景技术
目前的无视差360度系统采取反射镜安排来扫描图像,并且受到每秒10帧(fps)的成像速度的限制。谷歌使用Immersive Media公司所开发的带有折射镜头的360度相机来为其街景视图(Streetview)软件捕捉照片。必须针对视差对这些照片进行后处理和校正,导致花费时间,这降低了谷歌扩展其街景视图主动性的能力。鱼眼镜头提供了广角成像,但以高失真为代价。失真是将较大球形物体映射到较小平坦图像平面的物理结果。
一些公司已经开发了光学系统来简化拍摄全景图像的过程。与转动相机以进行多次拍摄相反,用许多相机对场景的不同部分进行成像来同时地捕捉所有这些照片。Immersive Media和Greypoint Imaging开发了以$10,000与$100,000之间的不同标价可获得的单次拍摄360度相机。这两家公司都开发了软件来自动地校正图像中所产生的伪像(视差)并提供比一个相机(例如,iPhone相机)所捕捉到的全景图更好的分辨率。然而,软件不是完美的,并且图像中仍然存在许多伪像。举例而言,谷歌让一个人带着Dodeca 360相机(由Immersive Media提供)围绕大峡谷(Grand Canyon),并且不得不雇佣程序员来针对视差所引起的伪像逐帧校正图像。
光学系统的视差和主光线
视差被定义为“当从不同位置观看(例如通过取景器和相机的镜头)时物体的位置或方向看起来不同的效果”。视差是由于将来自多个相机的图像拼接在一起而导致的,每个图像具有其自己唯一的外界视角。
参照图1,光学系统的主光线是开始于物体的边缘、在孔径光阑处与光轴的中心相交、并在检测器处在图像的边缘结束的子午射线。从而,主光线限定了图像的尺寸。
主光线在由将多个图像拼接在一起所产生的视差中起关键作用。图2图示了并排的两个光学系统(相机)。对于顶部上的镜头单元,正方形、三角形和矩形被映射至图像中的同一点,而对于底部上的镜头单元,它们被映射至三个不同点,如所示的。在顶部成像系统中,它们由同一主光线成像,而对于底部成像系统,它们由三个不同的主光线成像。当组合图3中的两张图像时,将产生视差,并且将导致如图4中所示的图像。
对可以校正视差的算法的寻找已经持续了很多年。已经提出了很多方案,但即使是使用迄今为止最精细的算法,全景图像中仍然留下了伪像。有时,这可能不是问题,因为可以雇佣软件工程师来逐帧地修复图像;然而,对于一般消费者而言,这种对每张图像进行校正的选项是不可行的。需要一种在使这种系统对于消费者市场可用之前有效地校正视差的更好方案。优选的是在光学上解决减少图像中视差的问题,而不是在计算上。
针对单次拍摄全景成像创建的当前设计受到视差的损害,因为它们是从具有重叠视场的成像系统中创建的。图5取自美国专利2,696,758。这幅图图示了目前可用的360度成像系统中视差是怎样产生的。视场重叠,并且出现在底部镜头系统的FOV边缘处的三角形将以顶部的成像系统中的FOV的约0.707倍出现。从而,对于每个相机,该三角形被映射至不同的图像点。在底部,它被映射至全FOV(图像的边缘)。
因而,发明人已经意识到不存在视差并且通过光学地而非通过后处理软件来消除视差的全景成像系统及相关联方法的优点和益处。这种系统将具有各种应用,包括:提供可缩放方式来对行星街道进行绘图;允许创建城市的和私有机构的两者的虚拟旅行;高帧率视频监控;包括靶机和坦克技术的军事应用;针对以高失真代价提供广角成像的鱼眼镜的替代方案。
发明内容
本发明的一方面是一种没有视差的多相机全景成像系统。根据非限制性实施例,该多相机全景成像系统包括被布置为并排阵列的多个分立成像系统,其中,每个分立成像系统的视场与每个相邻的分立成像系统的视场相连结,进一步其中,在这些分立成像系统中任何一个分立成像系统的视场边缘处的主光线模版将基本上平行于在这些分立成像系统中的任何相邻的分立成像系统的视场边缘处的主光线模版,这样使得当从物体空间观看时所有基本上平行的主光线模版看起来会聚至公共点。在各个非限制性实施例中,该多相机全景成像系统可以包括或者进一步由以下特征、限制、特性来表征,或者单独地或者以其各种组合:
-包括多个完全相同的分立成像系统;
-其中,该主光线模版的至少50%偏离平行20度或更少;
-其中,这些分立成像系统中的每一个分立成像系统包括图像传感器,进一步其中,表观会聚点位于这些分立成像系统中的每一个分立成像系统的图像传感器后方;-其中,这些分立成像系统都不物理地重叠;
-其中,该系统具有十二面体几何结构,进一步其中,该系统由360度FOV来表征;
-其中,这些分立成像系统中的每一个分立成像系统的前镜头是单个连续自由形态光学器件的一部分;
-其中,每个图像传感器是波前传感器;
-其中,这些分立成像系统中的每一个分立成像系统具有弯曲图像平面,从而与该成像系统的失真和佩兹伐(Petzval)曲率相匹配。
发明的一方面是一种用于形成没有视差的物体图像的方法。根据非限制性实施例,该方法包括:提供全景成像系统,其中,该全景成像系统包括多个分立成像系统,每一个分立成像系统由视场来表征:以及将在这些分立成像系统中的每一个分立成像系统的视场边缘处的主光线模版限制为基本上平行于在这些分立成像系统中紧邻的一个分立成像系统的视场边缘处的主光线模版,这样使得当从物体空间观看时所有平行的主光线模版看起来会聚至公共点,其中,该成像系统是无视差的。在各个非限制性实施例中,该全景成像方法可以包括或者进一步由以下特征、限制、特性、步骤来表征,或者单独地或者以其各种组合:
-进一步包括限制该主光线模版的至少50%偏离平行20度或更少;
-进一步包括:使用算法对由该成像系统所形成的连续360度图像中的失真像差进行校正。
发明的一方面是一种用于设计(基本上)无视差的全景成像系统的方法。根据非限制性实施例,该方法包括:确定整体全景成像系统几何结构,其中,该整体全景成像系统包括具有对应视场的多个分立成像系统,这些分立成像系统被布置为并排阵列,这样使得相邻成像系统的视场相连结;将这些分立成像系统设计为使得在这些分立成像系统中的每一个分立成像系统的视场边缘处的主光线模版将基本上平行于在这些分立成像系统中相邻的一个分立成像系统的视场边缘处的主光线模版,这样使得当从物体空间观看时这些基本上平行的主光线模版看起来会聚至公共点。在各个非限制性实施例中,该全景成像方法可以包括或者进一步由以下特征、限制、特性、步骤来表征,或者单独地或者以其各种组合:
-其中,该整体全景成像系统包括多个完全相同的分立成像系统;
-其中,在设计这些分立成像系统时,保证在该多个分立成像系统中的任何分立成像系统之间不存在物理重叠;
-其中,在设计这些分立成像系统时,保证表观会聚点位于每个分立成像系统的对应图像传感器后方。
附图说明
图1图示了光学系统的主光线。该主光线限定了物体的高度以及图像的高度。
图2图示了为什么在使用多个折射成像系统来捕捉场景的图像时会产生视差。在顶部上的镜头单元中,三个物体被映射至同一图像点;在底部镜头单元中,它们被映射至三个单独的图像点。
图3(左侧)图示了图2中的顶部镜头单元所形成的图像,而右侧的图像是由底部镜头单元所形成的。
图4示出了将图3中的两张图像组合将产生的图像。
图5图示了在目前设计的相机中视差是怎样发生的。视场重叠,并且出现在底部镜头系统的FOV边缘处的三角形将以顶部的成像系统中的FOV的约0.707倍出现。从而,对于每个相机,该三角形被映射至不同的图像点。在底部,它被映射至全FOV(图像的边缘)。
图6图示了没有视差的两个并排的成像系统。每个系统边缘处的主光线被限制为彼此平行。从而,位于沿着这条线的物体被成像至图像平面中的同一点。
图7图示了对于所示出的这两个成像系统的无视差(NP)点(如下文所定义的)的位置。
图8示出了FOV边缘处的主光线不平行,因而NP点位于不同位置。
图9图示了具有位于图像传感器前方的NP点的成像系统。
图10图示了两个成像系统,这两个成像系统被对准从而使得每个FOV边缘处的主光线彼此平行。
图11示出了具有在图像平面后方的NP点的成像系统。
图12示出了具有共同定位的NP点的多单元成像系统。
图13示出了具有被限制成沿着每个十二面体面的边缘光线的360度镜头系统的3维表示。
图14示出了内切于五边形中的圆,图示了如果镜头是圆的而非五边形的话将产生盲点。
图15示出了每个系统的第一镜头元件,初始地被设计为外接规则五边形。
图16:第一镜头元件的直径被限制为1.7013a,其中,a是规则五边形的边长。
图17:从第一镜头元件的中心到十二面体的中心(NP点)的距离是1.1135a,其中,a是五边形的边长。
图18:从五边形面的顶部到NP点的距离被限制为1.31a,其中,a是规则五边形的边长。在此,NP点是十二面体的中心。
图19:图示了相对于十二面体的中心施加于第一镜头元件的限制的简图。“a”是十二面体中每个规则五边形的边长。
图20:图示了任何元件的最大长度被限制为适配在从十二面体的中心传出的31.717度半角光锥内的简图。
图21:十二面体的1/12的三维表示,以及十二面体中心与五边形边的中心之间的角度。
图22:十二面体的1/12的三维表示,以及十二面体中心与五边形边的边缘之间的角度。
图23:五边形形状镜头元件,示出了到光线1和光线37的高度。
图24:当前镜头设计的Zemax图,示出了模型中的光线1和光线37。
图25:后视的当前镜头设计的三维Zemax图。
图26:侧视的三维Zemax图。
具体实施方式
对于用于实现最小视差的全景相机而言,成像系统的视场(FOV)必须不重叠。因而,FOV边缘处的主光线必须接近与相邻光学系统边缘处的主光线平行的光学系统。
图6图示了没有视差的两个并排的成像系统。每个系统边缘处的主光线被限制为彼此平行。从而,位于沿着这条线的物体被成像至图像平面中的同一点。这是一种可以用于设计单独镜头元件的方式。视场彼此不重叠,因为混合角处的主光线被限制为彼此平行并会聚至公共点。该公共点将取决于镜头被包覆成的几何结构。换言之,主光线被限制为是平行的,这样使得当从物体空间观看镜头系统时它们看起来在同一点处与光轴相交。事实上,它们在图像传感器处与光轴相交,该图像传感器位于此假想点前方,但从物体空间看向镜头系统,它们看起来在同一点处相交。
NP点(无视差点)
为了帮助理解前述概念,我们定义了称为无视差点(NP点)的术语。NP点是用于理解怎样可以物理地使得FOV边缘处的主光线彼此平行以及它们应该遵守什么规则的抽象。NP点是这样的点:对于无视差的全景成像系统,当从物体空间观看系统时,相邻光学系统边缘处的主光线在该点处与光轴相交。
根据所具体化的发明,每个成像系统的NP点必须位于同一位置。也就是说,相邻光学系统的光线必须平行。图9示出了具有位于成像传感器前方的NP点的成像系统。图10图示了两个成像系统,这两个成像系统被对准从而使得每个的FOV边缘处的主光线彼此平行。这个限制意味着,对于这两个系统,NP点必须在同一位置处。当NP点再图像传感器前方时,不可能在没有镜头元件重叠的情况下对准NP点。这个系统将没有任何视差,但在物理上是不可能实现的。这表明,当设计光学系统时,NP点应该位于成像系统中所有元件后方,从而使得没有元件彼此物理地重叠。
图11示出了在其中NP点位于图像平面后方的系统。当情况如此时,可以将多个成像系统安排成使得视场不重叠,如图12中所示。NP点的确切位置将由镜头安排的几何结构来确定。通过任意地选取位置,即任意地选择光线高度和入射角度从而使得主光线看起来在图像平面后方与光轴相交,镜头系统的几何结构可能会需要几百个镜头单元来捕捉全360度图像。必须在考虑了希望对镜头使用的几何结构之后再确定NP点位置。
本发明的实施例涉及一种多相机全景成像系统,其中,相邻成像单元的视场合并以形成整个成像系统的合成视场,如图7的示意图中所图示的。传统的全景成像系统将成像单元放在一起,其方式为使得这些成像单元的对应视场如图8的示意图中所图示那样相重合,这导致在所产生的图像中的视差,并要求校正软件来将图像拼接在一起以消除视差。
在本示例性实施例中,沿一个成像单元的边缘照射的光线被限制为平行于相邻成像单元的入射光线,从而使得两个成像系统共享同一组边缘射线。如图13的3维模型中所见,一个成像单元边缘处的光线与相邻成像单元边缘处的那些光线相同。这些光线是被限制成沿着十二面体边的表面的灰色线。在每个五边形形状镜头的边缘处的灰线与进入其附近表面的光线相一致。边缘光线下方半径处的所有光线采用更小的入射角,从而使得这些光线与来自相邻系统的光线不重叠。
具体化的全景成像系统利用将成像系统设计为具有位于图像传感器后方NP点的前述技术,并将十二面体几何结构中的多个镜头系统组合从而创建具有最小视差或无视差的360度FOV。
第一镜头元件将被成形为规则五边形的表面。完整的系统将由12个分立成像单元构成,对于沿着五边形边缘并且被限制为具有满足由十二面体的几何结构所指定的几何结构的入射角的光线,每个成像单元具有公共NP点。
十二面体是具有12个表面的多面体。多面体是由在边缘处结合的多边形集合组成的三维立方体。十二面体的每一侧都是规则五边形(具有相等长度边的五边形)。十二面体具有一些重要的几何性质,为了设计利用该几何结构的镜头系统,必须理解这些几何性质。在简单地讨论第一镜头为什么必须被成形为五边形表面之后,接下来将依次讨论这些性质。
通过使用被圆形磨边的镜头作为十二面体几何结构中的第一元件,不可能使用目前的对准边缘光线的技术来捕捉360度视场内的所有信息。第一镜头内切于五边形(图14中的阴影区域)中所产生的丢失区域导致了盲点。由于视场从不重叠,此信息永远不被捕捉到。可以计算出,圆的面积与它所内切于的五边形的面积之比等于π/5或62.83%。这是针对在我们周围360度视场我们可以记录的最大信息量。镜头与五边形之间导致的盲点删除了360度图像中接近40%的信息。
以下说明旨在图示十二面体的几何结构,并且在利用前述NP技术和十二面体几何结构创建镜头系统时是必要的,但对于创建本文所具体化的无视差全景成像系统的目的是不必要的。
性质1:外接规则五边形的圆的直径
对于这12个单独的镜头系统中的每一个,第一镜头将被设计成使得其外接如图15中所示的十二面体的规则五边形中的每一个。外接规则五边形的圆的直径是:
D=a/sin(36°)=1.7013a
在上述等式中,“a”是规则五边形的边长。每个系统的第一镜头元件将完全地外接每个五边形,并且因此每个系统的第一镜头元件的直径被给出为1.7013a,如图16中所图示的。
性质2:与每个五边形的中心接触的内切球体
(与十二面体的面的每一个相切的)内切球体的半径是:
Figure BDA0002415843800000071
此半径是距十二面体中心(在本设计中该中心将是每个镜头的NP点)和五边形的面的中心(与占据这个五边形的系统中的第一镜头元件的中心(光轴)一致)的距离。这个点位于每个五边形面的中心处。该NP点与十二面体中心之间的长度被限制为1.1135a,其中,a是五边形边之一的长度,如图17中所图示的。
性质3:十二面体的中半径
该中半径是连接十二面体中心与每个边中部的点。如下给出了这个长度:
Figure BDA0002415843800000072
这个等式限制了五边形面的顶部与NP点之间的距离,如图18中所图示的。
限制
十二面体的几何性质限制了将具体化该十二面体的12个镜头的设计。具体地,在上文给出的说明的基础上,我们具有以下四个参数:
1.第一镜头元件的直径:1.7013a;
2.从第一镜头元件到十二面体中心的距离:1.1135a;
3.从第一镜头元件顶部到十二面体中心的距离:1.31a;
4.FOV=37.3777度
给定前三条限制中任何两条,我们得到镜头的光轴与第一镜头元件的顶部之间的角度是37.3777度(见图19):
tan-1((1.7013/2)/1.1135)-37.377°。
我们希望这个37.37度的角度是镜头的视场。这将保证NP点位于十二面体的中心,该NP点是混合(混合角度是全FOV)的主光线与物体空间中的光轴相交的点。所有其他限制将保证镜头元件位于NP点的前方,并且元件落在31.717度半角光锥内。
其他镜头元件和传感器的直径
利用上文所给出的这四条限制,我们知道了第一镜头元件之后的每个镜头元件必须是什么尺寸以便适配至十二面体几何结构中。为了使得前述的镜头元件适配,任何镜头和传感器元件必须适配在开始于十二面体的中心并与第一镜头元件的直径相切的31.717度光锥内部。随着与第一镜头元件的距离增大,前述镜头元件的直径将成比例地减小(见图20)。
可以发现第一镜头元件之前的任何镜头元件或传感器的最大直径在几何上小于或等于(1.1135a-D)*tan(31.716度),其中,D是这个元件与第一镜头元件的距离。
因而,我们现在具有五条限制,这五条限制将允许此镜头系统与十二面体的几何结构相匹配并允许360度成像:
1.第一镜头元件的直径:1.3763a;
2.从第一镜头元件到十二面体中心的距离:1.1135a;
3.从第一镜头元件顶部到十二面体中心的距离:1.31a;
4.FOV=37.377度;
5.
Figure BDA0002415843800000082
其中,
Figure BDA0002415843800000083
是与第一镜头元件被分开距离DL1,Li的任何镜头元件的直径。给定上述五条限制,在所有镜头被设计成使得它们都落在从十二面体中心发出的31.717度光锥内的情况下,可以构造出无视差的镜头系统。
系统设计
选择这些镜头的几何结构。理想立方体具有以下性质:它们是由许多具有相等几何结构和体积的立方体构成的。对于360度成像的系统,这允许以相同重复的镜头设计来制造合成的成像系统。选择了十二面体几何结构,因为十二面体在其几何结构上是近似球体的。
为了使一个成像单元的边缘光线与相邻单元的边缘光线平行,它们必须以相同的角度进入。这两个成像单元所共享的角度是十二面体边缘表面的角度。在边缘表面的中心,相对于十二面体中心的角度是31.717度,如图21中所图示的。在边缘表面的角落,相对于十二面体中心的角度是37.377度,如图22中所图示的。
为了使沿着相邻成像单元的光线相匹配,成像单元的第一镜头被切为五边形,从而与十二面体的表面相匹配。在边缘的中心处,沿表面照射的光线以31.717度的入射角进入。在边缘的角落,进入光线的入射角是37.377。在沿着镜头边缘的所有点处,使进入光线的入射角度与十二面体表面的几何结构相匹配。
已知从十二面体的中心到五边形面的中心的距离,并且已知十二面体的中心到如图21和图22中所示的所讨论的边缘点的距离,使用三角函数计算沿着五边形镜头的边缘的37条光线的入射角。每条光线的高度被限制为沿着五边形边。例如,利用描述表面1的外接圆的半径120mm,点1处的光线具有48.54mm的高度和31.717度的入射角。点37处的光线具有60mm的高度和37.377度的入射角。表I描述了针对图23中的点1与点36之间的37个点的光线高度和入射角。
表I
(数据表明对沿着第一镜头边缘的37条光线的限制)
Figure BDA0002415843800000081
Figure BDA0002415843800000091
图24中示出了简图,图示了这些光线限制。光线1具有48.54mm的高度和31.717度的入射角。光线1是穿过图24中的点1的光线。光线2具有60mm的高度和37.377度的入射角,并且是穿过图24中的点37的光线。所有37条光线由上表中所指定的光线高度和角度来限制。以这种方式进行限制,所有光线以与十二面体的表面相同的角度进入镜头。用另一种方式来看那些相同的光线,我们可知,光线被以正确的入射角恰当地限制到五边形几何结构,如图25和图26中所图示的。

Claims (18)

1.一种多相机全景成像系统,所述多相机全景成像系统包括:
构造成并排阵列的多个分立成像系统,所述多个分立成像系统形成具有中心的三维几何形状;
所述分立成像系统中的每一个分立成像系统具有第一镜头元件,所述第一镜头元件具有多个边缘,所述多个边缘中的每一个边缘构造成并排阵列,以毗邻所述分立成像系统中相邻的一个分立成像系统中的第一镜头元件的相邻边缘,由此在所述分立成像系统中的第一镜头元件之间形成多个公共边缘,所述边缘中的每一个边缘在沿着所述边缘相对于所述三维几何形状的中心的点处限定多个边缘表面角;以及
所述分立成像系统中的每一个分立成像系统构造成限制多个主光线,所述多个主光线沿着所述第一镜头元件的边缘入射,以具有等于所述多个边缘所限定的边缘表面角的入射角,使得沿着所述分立成像系统中相邻的分立成像系统之间的公共边缘入射的主光线基本上平行并沿着所述公共边缘提供组合视场,以形成具有最小视差或无视差的图像。
2.如权利要求1所述的多相机全景成像系统,其中,当从物体空间观看时,沿着所述分立成像系统中相邻的分立成像系统之间的公共边缘入射的主光线看起来会聚至公共NP点。
3.如权利要求1所述的多相机全景成像系统,其中,所述三维几何形状是多面体,所述第一镜头元件是多边形。
4.如权利要求1所述的多相机全景成像系统,其中,所述三维几何形状是十二面体,所述第一镜头元件是五边形。
5.如权利要求4所述的多相机全景成像系统,其中,所述五边形的边缘具有长度“a”,外接所述五边形的圆的直径等于a/sin(36°)=1.7013a,在所述十二面体内内切的球体的半径等于:
Figure FDA0002415843790000011
以及从所述十二面体的中心到所述第一镜头元件的边缘上的中点的距离等于:
Figure FDA0002415843790000012
6.如权利要求1所述的多相机全景成像系统,其中,所述分立成像系统中的每一个分立成像系统的第一镜头元件是单个连续自由形态光学器件的一部分。
7.如权利要求1所述的多相机全景成像系统,其中,所述三维几何形状的表面由所述分立成像系统中的每一个分立成像系统中的第一镜头元件形成。
8.如权利要求1所述的多相机全景成像系统,其中,所述多个分立成像系统布置成提供360度视场。
9.如权利要求1所述的多相机全景成像系统,其中,所述分立成像系统中的每一个分立成像系统具有弯曲图像平面。
10.如权利要求1所述的多相机全景成像系统,其中,所述分立成像系统中的每一个分立成像系统包括图像传感器,所述三维几何形状的中心位于所述图像传感器后方。
11.如权利要求10所述的多相机全景成像系统,其中,所述图像传感器是波前传感器。
12.一种多相机成像系统,所述多相机成像系统包括:
以并排构造布置的第一分立成像系统和第二分立成像系统,所述第一分立成像系统和所述第二分立成像系统中的每一个分立成像系统具有第一镜头元件,所述第一镜头元件具有多个边缘,所述第一分立成像系统中的第一边缘被定位成毗邻所述第二分立成像系统中的第二边缘,以形成公共边缘;以及
所述第一分立成像系统构造成限制第一多个主光线,所述第一多个主光线沿着所述公共边缘入射,所述第二分立成像系统构造成限制第二多个主光线,所述第二多个主光线沿着所述公共边缘入射,以基本上平行于所述第一多个主光线,使得所述第一分立成像系统和所述第二分立成像系统沿着所述公共边缘提供组合视场,以形成具有最小视差或无视差的图像。
13.如权利要求12所述的多相机全景成像系统,其中,当从物体空间观看时,沿着所述第一分立成像系统和所述第二分立成像系统之间的公共边缘入射的主光线看起来会聚至公共NP点。
14.如权利要求13所述的多相机成像系统,其中,所述第一分立成像系统和所述第二分立成像系统中的每一个分立成像系统包括图像传感器,所述公共NP点位于所述图像传感器后方。
15.如权利要求14所述的多相机成像系统,其中,所述图像传感器是波前传感器。
16.如权利要求12所述的多相机成像系统,其中,所述第一分立成像系统的第一镜头元件和所述第二分立成像系统的第一镜头元件是单个连续自由形态光学器件的一部分。
17.如权利要求12所述的多相机成像系统,其中,所述第一分立成像系统和所述第二分立成像系统中的每一个分立成像系统具有弯曲图像平面。
18.如权利要求12所述的多相机成像系统,其中,所述第一多个主光线和所述第二多个主光线中至少50%的主光线基本上平行。
CN202010190853.1A 2014-05-06 2015-05-05 成像系统 Active CN111510621B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201461989136P 2014-05-06 2014-05-06
US61/989,136 2014-05-06
CN201580034186.5A CN107027338B (zh) 2014-05-06 2015-05-05 成像系统和方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201580034186.5A Division CN107027338B (zh) 2014-05-06 2015-05-05 成像系统和方法

Publications (2)

Publication Number Publication Date
CN111510621A true CN111510621A (zh) 2020-08-07
CN111510621B CN111510621B (zh) 2021-11-12

Family

ID=53189206

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202010190853.1A Active CN111510621B (zh) 2014-05-06 2015-05-05 成像系统
CN201580034186.5A Active CN107027338B (zh) 2014-05-06 2015-05-05 成像系统和方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201580034186.5A Active CN107027338B (zh) 2014-05-06 2015-05-05 成像系统和方法

Country Status (12)

Country Link
US (5) US10341559B2 (zh)
EP (2) EP3140689B1 (zh)
JP (3) JP2017519250A (zh)
KR (2) KR102234981B1 (zh)
CN (2) CN111510621B (zh)
AU (1) AU2015256320B2 (zh)
CA (1) CA2953337C (zh)
IL (1) IL248733B (zh)
RU (1) RU2698479C2 (zh)
SG (1) SG11201609780PA (zh)
TW (2) TWI667528B (zh)
WO (1) WO2015171544A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108282615B (zh) * 2017-11-02 2021-01-05 广东康云多维视觉智能科技有限公司 周边环境扫描方法及系统
CN113424524B (zh) * 2019-03-27 2023-02-14 Oppo广东移动通信有限公司 使用半球形或球形可见光深度图像的三维建模
WO2020263868A1 (en) * 2019-06-24 2020-12-30 Circle Optics, Inc. Lens design for low parallax panoramic camera systems
JP2023513107A (ja) * 2020-02-10 2023-03-30 サークル オプティクス,インコーポレイテッド 強化された検知のためのパノラマカメラシステム
CN114859510B (zh) * 2022-04-28 2024-03-01 福建福光天瞳光学有限公司 摄远型大光圈光学镜头及其工作方法
CN115629076A (zh) * 2022-09-27 2023-01-20 威海华菱光电股份有限公司 一种阵列式图像检测装置
CN116360077B (zh) * 2023-03-03 2023-11-03 广州瑞格尔电子有限公司 一种大视场短焦的投影镜头以及lcd投影机

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040051805A1 (en) * 2001-08-17 2004-03-18 Koichi Yoshikawa Imaging device
EP1593999A1 (en) * 2002-12-05 2005-11-09 Sony Corporation Imaging device
JP2007110228A (ja) * 2005-10-11 2007-04-26 Sony Corp 撮像装置
CN101926171A (zh) * 2007-11-27 2010-12-22 卡普索影像股份有限公司 具有芯片上的多个像素阵列的照相机系统
CN201725141U (zh) * 2010-05-06 2011-01-26 浙江大学 一种多镜头实时全景成像系统
US20120105574A1 (en) * 2010-10-28 2012-05-03 Henry Harlyn Baker Panoramic stereoscopic camera
CN102650818A (zh) * 2011-02-25 2012-08-29 索尼公司 立体图像拍摄装置
CN102694993A (zh) * 2011-03-22 2012-09-26 索尼公司 图像处理器、图像处理方法和程序
US20130076900A1 (en) * 2011-09-23 2013-03-28 Goodrich Corporation Wide field of view monocentric lens system for infrared aerial reconnaissance camera systems
US20130208083A1 (en) * 2012-02-15 2013-08-15 City University Of Hong Kong Panoramic stereo catadioptric imaging

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR1013652A (fr) 1950-02-17 1952-08-01 Objectif grand angulaire
US5023725A (en) 1989-10-23 1991-06-11 Mccutchen David Method and apparatus for dodecahedral imaging system
US5130794A (en) 1990-03-29 1992-07-14 Ritchey Kurtis J Panoramic display system
US5703604A (en) * 1995-05-22 1997-12-30 Dodeca Llc Immersive dodecaherdral video viewing system
US6141034A (en) * 1995-12-15 2000-10-31 Immersive Media Co. Immersive imaging method and apparatus
EP0830034B1 (en) 1996-09-11 2005-05-11 Canon Kabushiki Kaisha Image processing for three dimensional display of image data on the display of an image sensing apparatus
US6618093B1 (en) * 1998-01-15 2003-09-09 Chauncey F. Levy Distortion-free imaging device having curved photosensor
US7620909B2 (en) 1999-05-12 2009-11-17 Imove Inc. Interactive image seamer for panoramic images
US7015954B1 (en) 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
JP3872250B2 (ja) * 2000-03-14 2007-01-24 日本放送協会 広画角撮像装置
KR20030028553A (ko) 2000-07-21 2003-04-08 더 트러스티스 오브 콜롬비아 유니버시티 인 더 시티 오브 뉴욕 이미지 모자이크 방법 및 장치
EP1231780A3 (en) 2001-02-07 2004-01-14 Sony Corporation Image pickup apparatus
JP4051945B2 (ja) * 2001-02-07 2008-02-27 ソニー株式会社 撮像装置
JP4211319B2 (ja) 2001-08-17 2009-01-21 ソニー株式会社 撮像装置
JP2003066303A (ja) 2001-08-28 2003-03-05 Sony Corp 撮像装置
EP1452899A1 (en) * 2001-11-13 2004-09-01 Matsushita Electric Industrial Co., Ltd. Wide-angle imaging optical system and wide-angle imaging device, monitoring imaging device, on-vehicle imaging device and projection device with the wide-angle imaging optical system
US7782357B2 (en) 2002-06-21 2010-08-24 Microsoft Corporation Minimizing dead zones in panoramic images
US7336299B2 (en) * 2003-07-03 2008-02-26 Physical Optics Corporation Panoramic video system with real-time distortion-free imaging
US7436438B2 (en) * 2004-03-16 2008-10-14 Creative Technology Ltd. Digital still camera and method of forming a panoramic image
US20070182812A1 (en) 2004-05-19 2007-08-09 Ritchey Kurtis J Panoramic image-based virtual reality/telepresence audio-visual system and method
JP2006030664A (ja) * 2004-07-16 2006-02-02 Sony Corp 撮像装置
JP5156979B2 (ja) 2005-10-21 2013-03-06 ナルックス株式会社 光ファイバーカプラーに光ファイバーを取り付ける方法
US7834910B2 (en) 2006-03-01 2010-11-16 David M. DeLorme Method and apparatus for panoramic imaging
US7817354B2 (en) 2006-10-25 2010-10-19 Capsovision Inc. Panoramic imaging system
CA2714492C (en) 2008-02-08 2014-07-15 Google, Inc. Panoramic camera with multiple image sensors using timed shutters
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
KR101733443B1 (ko) 2008-05-20 2017-05-10 펠리칸 이매징 코포레이션 이종 이미저를 구비한 모놀리식 카메라 어레이를 이용한 이미지의 캡처링 및 처리
RU2399073C1 (ru) 2009-04-13 2010-09-10 Герман Рудольфович Пекки Оптическая панорамическая система
TWI407243B (zh) * 2009-10-19 2013-09-01 Hon Hai Prec Ind Co Ltd 全景透鏡及使用該全景透鏡的全景拍攝系統
JP5607430B2 (ja) 2010-06-10 2014-10-15 株式会社ジャパンディスプレイ 立体映像表示装置及び電子機器
WO2012056437A1 (en) 2010-10-29 2012-05-03 École Polytechnique Fédérale De Lausanne (Epfl) Omnidirectional sensor array system
WO2012066642A1 (ja) 2010-11-16 2012-05-24 小平アソシエイツ株式会社 視界映像情報生成装置
NL2008639C2 (en) 2012-04-13 2013-10-16 Cyclomedia Technology B V Device, system and vehicle for recording panoramic images, and a device and method for panoramic projection thereof.
JP5595463B2 (ja) 2012-10-12 2014-09-24 キヤノン株式会社 波面光学測定装置
US9503638B1 (en) 2013-02-04 2016-11-22 UtopiaCompression Corporation High-resolution single-viewpoint panoramic camera and method of obtaining high-resolution panoramic images with a single viewpoint
TWI545388B (zh) * 2013-06-14 2016-08-11 豪威科技股份有限公司 產生全景圖像的系統和方法
US20150281538A1 (en) * 2014-03-25 2015-10-01 Semiconductor Components Industries, Llc Multi-array imaging systems and methods

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040051805A1 (en) * 2001-08-17 2004-03-18 Koichi Yoshikawa Imaging device
EP1593999A1 (en) * 2002-12-05 2005-11-09 Sony Corporation Imaging device
JP2007110228A (ja) * 2005-10-11 2007-04-26 Sony Corp 撮像装置
CN101926171A (zh) * 2007-11-27 2010-12-22 卡普索影像股份有限公司 具有芯片上的多个像素阵列的照相机系统
CN201725141U (zh) * 2010-05-06 2011-01-26 浙江大学 一种多镜头实时全景成像系统
US20120105574A1 (en) * 2010-10-28 2012-05-03 Henry Harlyn Baker Panoramic stereoscopic camera
CN102650818A (zh) * 2011-02-25 2012-08-29 索尼公司 立体图像拍摄装置
CN102694993A (zh) * 2011-03-22 2012-09-26 索尼公司 图像处理器、图像处理方法和程序
US20130076900A1 (en) * 2011-09-23 2013-03-28 Goodrich Corporation Wide field of view monocentric lens system for infrared aerial reconnaissance camera systems
US20130208083A1 (en) * 2012-02-15 2013-08-15 City University Of Hong Kong Panoramic stereo catadioptric imaging

Also Published As

Publication number Publication date
CN107027338A (zh) 2017-08-08
CA2953337A1 (en) 2015-11-12
CA2953337C (en) 2023-04-11
EP3140689A1 (en) 2017-03-15
US20220272261A1 (en) 2022-08-25
RU2016145439A (ru) 2018-06-06
AU2015256320B2 (en) 2020-03-05
KR20170005024A (ko) 2017-01-11
JP2017519250A (ja) 2017-07-13
KR102073206B1 (ko) 2020-02-04
TW201940956A (zh) 2019-10-16
TWI708111B (zh) 2020-10-21
US20170085792A1 (en) 2017-03-23
US11743591B2 (en) 2023-08-29
EP3140689B1 (en) 2021-12-22
TW201602708A (zh) 2016-01-16
CN111510621B (zh) 2021-11-12
KR20200013800A (ko) 2020-02-07
RU2016145439A3 (zh) 2018-12-21
TWI667528B (zh) 2019-08-01
US20190289209A1 (en) 2019-09-19
KR102234981B1 (ko) 2021-04-01
JP2022116089A (ja) 2022-08-09
AU2015256320A1 (en) 2016-12-01
RU2698479C2 (ru) 2019-08-28
IL248733B (en) 2020-08-31
US20230388642A1 (en) 2023-11-30
SG11201609780PA (en) 2016-12-29
US20200244881A1 (en) 2020-07-30
IL248733A0 (en) 2017-01-31
JP2020173461A (ja) 2020-10-22
CN107027338B (zh) 2020-04-14
US10659688B2 (en) 2020-05-19
EP3855232A1 (en) 2021-07-28
WO2015171544A1 (en) 2015-11-12
US11363194B2 (en) 2022-06-14
US10341559B2 (en) 2019-07-02

Similar Documents

Publication Publication Date Title
CN111510621B (zh) 成像系统
US7837330B2 (en) Panoramic three-dimensional adapter for an optical instrument and a combination of such an adapter and such an optical instrument
Sturm et al. Camera models and fundamental concepts used in geometric computer vision
CN101271187B (zh) 无死角的双目立体全方位视觉传感装置
US10057487B1 (en) Panoramic imaging systems based on normal-lens cameras
CA2551636A1 (en) Multi-dimensional imaging apparatus, systems, and methods
US11137582B2 (en) Omnidirectional catadioptric lens with odd aspheric contour or multi-lens
KR102192347B1 (ko) 실시간 폴리곤 기반 360 영상 복원 방법 및 그 장치
CN101000403A (zh) 光学系统
US20190196158A1 (en) Image acquisition compound lens and application thereof
CN108833893A (zh) 一种基于光场显示的3d图像校正方法
CN104010119A (zh) 360度环场实时显像装置
CN107024828A (zh) 一种可共光心的摄像机装置、全景无缝拼接组件及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20230314

Address after: USA New York

Patentee after: SECCO OPTICS, Inc.

Address before: USA New York

Patentee before: Zachary de la Aceh

TR01 Transfer of patent right