CN107027338A - 成像系统、方法和应用 - Google Patents

成像系统、方法和应用 Download PDF

Info

Publication number
CN107027338A
CN107027338A CN201580034186.5A CN201580034186A CN107027338A CN 107027338 A CN107027338 A CN 107027338A CN 201580034186 A CN201580034186 A CN 201580034186A CN 107027338 A CN107027338 A CN 107027338A
Authority
CN
China
Prior art keywords
imaging system
discrete
imaging systems
discrete imaging
view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580034186.5A
Other languages
English (en)
Other versions
CN107027338B (zh
Inventor
扎卡里亚·尼亚齐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Secco Optics Inc
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202010190853.1A priority Critical patent/CN111510621B/zh
Publication of CN107027338A publication Critical patent/CN107027338A/zh
Application granted granted Critical
Publication of CN107027338B publication Critical patent/CN107027338B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/06—Panoramic objectives; So-called "sky lenses" including panoramic objectives having reflecting surfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B9/00—Optical objectives characterised both by the number of the components and their arrangements according to their sign, i.e. + or -
    • G02B9/34—Optical objectives characterised both by the number of the components and their arrangements according to their sign, i.e. + or - having four components only
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/04—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/02—Simple or compound lenses with non-spherical faces

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Studio Devices (AREA)
  • Lenses (AREA)

Abstract

一种没有视差的多相机全景成像系统。在示例中，该多相机全景成像系统包括被布置为并排阵列的多个分立成像系统，其中，每个分立成像系统的视场与每个相邻的分立成像系统的视场相连结，进一步其中，在这些分立成像系统中任何一个分立成像系统的视场边缘处的主光线模版将基本上平行于在这些分立成像系统中的任何相邻的分立成像系统的视场边缘处的主光线模版，这样使得当从物体空间观看时所有基本上平行的主光线模版看起来会聚至公共点。一种用于形成没有视差的物体图像的方法。

Description

成像系统、方法和应用
相关申请的交叉引用
本申请要求于2014年5月6日提交的美国临时申请号61/989,136的优先权，该申请的主题通过引用以其全文结合在此。
技术领域
本发明的各个实施例和方面总体上主要涉及光学成像系统、与其相关的方法及其应用；更具体地，涉及全景光学成像系统、与其相关的方法及其应用；并且最具体地，涉及具有零视差或基本上无视差的全景光学成像系统、与其相关的方法及其应用。
背景技术
目前的无视差360度系统采取反射镜安排来扫描图像，并且受到每秒10帧(fps)的成像速度的限制。谷歌使用Immersive Media公司所开发的带有折射镜头的360度相机来为其街景视图(Streetview)软件捕捉照片。必须针对视差对这些照片进行后处理和校正，导致花费时间，这降低了谷歌扩展其街景视图主动性的能力。鱼眼镜头提供了广角成像，但以高失真为代价。失真是将较大球形物体映射到较小平坦图像平面的物理结果。
一些公司已经开发了光学系统来简化拍摄全景图像的过程。与转动相机以进行多次拍摄相反，用许多相机对场景的不同部分进行成像来同时地捕捉所有这些照片。Immersive Media和Greypoint Imaging开发了以$10,000与$100,000之间的不同标价可获得的单次拍摄360度相机。这两家公司都开发了软件来自动地校正图像中所产生的伪像(视差)并提供比一个相机(例如，iPhone相机)所捕捉到的全景图更好的分辨率。然而，软件不是完美的，并且图像中仍然存在许多伪像。举例而言，谷歌让一个人带着Dodeca 360相机(由Immersive Media提供)围绕大峡谷(Grand Canyon)，并且不得不雇佣程序员来针对视差所引起的伪像逐帧校正图像。
光学系统的视差和主光线
视差被定义为“当从不同位置观看(例如通过取景器和相机的镜头)时物体的位置或方向看起来不同的效果”。视差是由于将来自多个相机的图像拼接在一起而导致的，每个图像具有其自己唯一的外界视角。
参照图1，光学系统的主光线是开始于物体的边缘、在孔径光阑处与光轴的中心相交、并在检测器处在图像的边缘结束的子午射线。从而，主光线限定了图像的尺寸。
主光线在由将多个图像拼接在一起所产生的视差中起关键作用。图2图示了并排的两个光学系统(相机)。对于顶部上的镜头单元，正方形、三角形和矩形被映射至图像中的同一点，而对于底部上的镜头单元，它们被映射至三个不同点，如所示的。在顶部成像系统中，它们由同一主光线成像，而对于底部成像系统，它们由三个不同的主光线成像。当组合图3中的两张图像时，将产生视差，并且将导致如图4中所示的图像。
对可以校正视差的算法的寻找已经持续了很多年。已经提出了很多方案，但即使是使用迄今为止最精细的算法，全景图像中仍然留下了伪像。有时，这可能不是问题，因为可以雇佣软件工程师来逐帧地修复图像；然而，对于一般消费者而言，这种对每张图像进行校正的选项是不可行的。需要一种在使这种系统对于消费者市场可用之前有效地校正视差的更好方案。优选的是在光学上解决减少图像中视差的问题，而不是在计算上。
针对单次拍摄全景成像创建的当前设计受到视差的损害，因为它们是从具有重叠视场的成像系统中创建的。图5取自美国专利2,696,758。这幅图图示了目前可用的360度成像系统中视差是怎样产生的。视场重叠，并且出现在底部镜头系统的FOV边缘处的三角形将以顶部的成像系统中的FOV的约0.707倍出现。从而，对于每个相机，该三角形被映射至不同的图像点。在底部，它被映射至全FOV(图像的边缘)。
因而，发明人已经意识到不存在视差并且通过光学地而非通过后处理软件来消除视差的全景成像系统及相关联方法的优点和益处。这种系统将具有各种应用，包括：提供可缩放方式来对行星街道进行绘图；允许创建城市的和私有机构的两者的虚拟旅行；高帧率视频监控；包括靶机和坦克技术的军事应用；针对以高失真代价提供广角成像的鱼眼镜的替代方案。
附图说明
图1图示了光学系统的主光线。该主光线限定了物体的高度以及图像的高度。
图2图示了为什么在使用多个折射成像系统来捕捉场景的图像时会产生视差。在顶部上的镜头单元中，三个物体被映射至同一图像点；在底部镜头单元中，它们被映射至三个单独的图像点。
图3(左侧)图示了图2中的顶部镜头单元所形成的图像，而右侧的图像是由底部镜头单元所形成的。
图4示出了将图3中的两张图像组合将产生的图像。
图5图示了在目前设计的相机中视差是怎样发生的。视场重叠，并且出现在底部镜头系统的FOV边缘处的三角形将以顶部的成像系统中的FOV的约0.707倍出现。从而，对于每个相机，该三角形被映射至不同的图像点。在底部，它被映射至全FOV(图像的边缘)。
图6图示了没有视差的两个并排的成像系统。每个系统边缘处的主光线被限制为彼此平行。从而，位于沿着这条线的物体被成像至图像平面中的同一点。
图7图示了对于所示出的这两个成像系统的无视差(NP)点(如下文所定义的)的位置。
图8示出了FOV边缘处的主光线不平行，因而NP点位于不同位置。
图9图示了具有位于图像传感器前方的NP点的成像系统。
图10图示了两个成像系统，这两个成像系统被对准从而使得每个FOV边缘处的主光线彼此平行。
图11示出了具有在图像平面后方的NP点的成像系统。
图12示出了具有共同定位的NP点的多单元成像系统。
图13示出了具有被限制成沿着每个十二面体面的边缘光线的360度镜头系统的3维表示。
图14示出了内切于五边形中的圆，图示了如果镜头是圆的而非五边形的话将产生盲点。
图15示出了每个系统的第一镜头元件，初始地被设计为外接规则五边形。
图16：第一镜头元件的直径被限制为1.7013a，其中，a是规则五边形的边长。
图17：从第一镜头元件的中心到十二面体的中心(NP点)的距离是1.1135a，其中，a是五边形的边长。
图18：从五边形面的顶部到NP点的距离被限制为1.31a，其中，a是规则五边形的边长。在此，NP点是十二面体的中心。
图19：图示了相对于十二面体的中心施加于第一镜头元件的限制的简图。“a”是十二面体中每个规则五边形的边长。
图20：图示了任何元件的最大长度被限制为适配在从十二面体的中心传出的31.717度半角光锥内的简图。
图21：十二面体的1/12的三维表示，以及十二面体中心与五边形边的中心之间的角度。
图22：十二面体的1/12的三维表示，以及十二面体中心与五边形边的边缘之间的角度。
图23：五边形形状镜头元件，示出了到光线1和光线37的高度。
图24：当前镜头设计的Zemax图，示出了模型中的光线1和光线37。
图25：后视的当前镜头设计的三维Zemax图。
图26：侧视的三维Zemax图。
发明内容
本发明的一方面是一种没有视差的多相机全景成像系统。根据非限制性实施例，该多相机全景成像系统包括被布置为并排阵列的多个分立成像系统，其中，每个分立成像系统的视场与每个相邻的分立成像系统的视场相连结，进一步其中，在这些分立成像系统中任何一个分立成像系统的视场边缘处的主光线模版将基本上平行于在这些分立成像系统中的任何相邻的分立成像系统的视场边缘处的主光线模版，这样使得当从物体空间观看时所有基本上平行的主光线模版看起来会聚至公共点。在各个非限制性实施例中，该多相机全景成像系统可以包括或者进一步由以下特征、限制、特性来表征，或者单独地或者以其各种组合：
-包括多个完全相同的分立成像系统；
-其中，该主光线模版的至少50％偏离平行20度或更少；
-其中，这些分立成像系统中的每一个分立成像系统包括图像传感器，进一步其中，表观会聚点位于这些分立成像系统中的每一个分立成像系统的图像传感器后方；-其中，这些分立成像系统都不物理地重叠；
-其中，该系统具有十二面体几何结构，进一步其中，该系统由360度FOV来表征；
-其中，这些分立成像系统中的每一个分立成像系统的前镜头是单个连续自由形态光学器件的一部分；
-其中，每个图像传感器是波前传感器；
-其中，这些分立成像系统中的每一个分立成像系统具有弯曲图像平面，从而与该成像系统的失真和佩兹伐(Petzval)曲率相匹配。
发明的一方面是一种用于形成没有视差的物体图像的方法。根据非限制性实施例，该方法包括：提供全景成像系统，其中，该全景成像系统包括多个分立成像系统，每一个分立成像系统由视场来表征：以及将在这些分立成像系统中的每一个分立成像系统的视场边缘处的主光线模版限制为基本上平行于在这些分立成像系统中紧邻的一个分立成像系统的视场边缘处的主光线模版，这样使得当从物体空间观看时所有平行的主光线模版看起来会聚至公共点，其中，该成像系统是无视差的。在各个非限制性实施例中，该全景成像方法可以包括或者进一步由以下特征、限制、特性、步骤来表征，或者单独地或者以其各种组合：
-进一步包括限制该主光线模版的至少50％偏离平行20度或更少；
-进一步包括：使用算法对由该成像系统所形成的连续360度图像中的失真像差进行校正。
发明的一方面是一种用于设计(基本上)无视差的全景成像系统的方法。根据非限制性实施例，该方法包括：确定整体全景成像系统几何结构，其中，该整体全景成像系统包括具有对应视场的多个分立成像系统，这些分立成像系统被布置为并排阵列，这样使得相邻成像系统的视场相连结；将这些分立成像系统设计为使得在这些分立成像系统中的每一个分立成像系统的视场边缘处的主光线模版将基本上平行于在这些分立成像系统中相邻的一个分立成像系统的视场边缘处的主光线模版，这样使得当从物体空间观看时这些基本上平行的主光线模版看起来会聚至公共点。在各个非限制性实施例中，该全景成像方法可以包括或者进一步由以下特征、限制、特性、步骤来表征，或者单独地或者以其各种组合：
-其中，该整体全景成像系统包括多个完全相同的分立成像系统；
-其中，在设计这些分立成像系统时，保证在该多个分立成像系统中的任何分立成像系统之间不存在物理重叠；
-其中，在设计这些分立成像系统时，保证表观会聚点位于每个分立成像系统的对应图像传感器后方。
具体实施方式
对于用于实现最小视差的全景相机而言，成像系统的视场(FOV)必须不重叠。因而，FOV边缘处的主光线必须接近与相邻光学系统边缘处的主光线平行的光学系统。
图6图示了没有视差的两个并排的成像系统。每个系统边缘处的主光线被限制为彼此平行。从而，位于沿着这条线的物体被成像至图像平面中的同一点。这是一种可以用于设计单独镜头元件的方式。视场彼此不重叠，因为混合角处的主光线被限制为彼此平行并会聚至公共点。该公共点将取决于镜头被包覆成的几何结构。换言之，主光线被限制为是平行的，这样使得当从物体空间观看镜头系统时它们看起来在同一点处与光轴相交。事实上，它们在图像传感器处与光轴相交，该图像传感器位于此假想点前方，但从物体空间看向镜头系统，它们看起来在同一点处相交。
NP点(无视差点)
为了帮助理解前述概念，我们定义了称为无视差点(NP点)的术语。NP点是用于理解怎样可以物理地使得FOV边缘处的主光线彼此平行以及它们应该遵守什么规则的抽象。NP点是这样的点：对于无视差的全景成像系统，当从物体空间观看系统时，相邻光学系统边缘处的主光线在该点处与光轴相交。
根据所具体化的发明，每个成像系统的NP点必须位于同一位置。也就是说，相邻光学系统的光线必须平行。图9示出了具有位于成像传感器前方的NP点的成像系统。图10图示了两个成像系统，这两个成像系统被对准从而使得每个的FOV边缘处的主光线彼此平行。这个限制意味着，对于这两个系统，NP点必须在同一位置处。当NP点再图像传感器前方时，不可能在没有镜头元件重叠的情况下对准NP点。这个系统将没有任何视差，但在物理上是不可能实现的。这表明，当设计光学系统时，NP点应该位于成像系统中所有元件后方，从而使得没有元件彼此物理地重叠。
图11示出了在其中NP点位于图像平面后方的系统。当情况如此时，可以将多个成像系统安排成使得视场不重叠，如图12中所示。NP点的确切位置将由镜头安排的几何结构来确定。通过任意地选取位置，即任意地选择光线高度和入射角度从而使得主光线看起来在图像平面后方与光轴相交，镜头系统的几何结构可能会需要几百个镜头单元来捕捉全360度图像。必须在考虑了希望对镜头使用的几何结构之后再确定NP点位置。
本发明的实施例涉及一种多相机全景成像系统，其中，相邻成像单元的视场合并以形成整个成像系统的合成视场，如图7的示意图中所图示的。传统的全景成像系统将成像单元放在一起，其方式为使得这些成像单元的对应视场如图8的示意图中所图示那样相重合，这导致在所产生的图像中的视差，并要求校正软件来将图像拼接在一起以消除视差。
在本示例性实施例中，沿一个成像单元的边缘照射的光线被限制为平行于相邻成像单元的入射光线，从而使得两个成像系统共享同一组边缘射线。如图13的3维模型中所见，一个成像单元边缘处的光线与相邻成像单元边缘处的那些光线相同。这些光线是被限制成沿着十二面体边的表面的灰色线。在每个五边形形状镜头的边缘处的灰线与进入其附近表面的光线相一致。边缘光线下方半径处的所有光线采用更小的入射角，从而使得这些光线与来自相邻系统的光线不重叠。
具体化的全景成像系统利用将成像系统设计为具有位于图像传感器后方NP点的前述技术，并将十二面体几何结构中的多个镜头系统组合从而创建具有最小视差或无视差的360度FOV。
第一镜头元件将被成形为规则五边形的表面。完整的系统将由12个分立成像单元构成，对于沿着五边形边缘并且被限制为具有满足由十二面体的几何结构所指定的几何结构的入射角的光线，每个成像单元具有公共NP点。
十二面体是具有12个表面的多面体。多面体是由在边缘处结合的多边形集合组成的三维立方体。十二面体的每一侧都是规则五边形(具有相等长度边的五边形)。十二面体具有一些重要的几何性质，为了设计利用该几何结构的镜头系统，必须理解这些几何性质。在简单地讨论第一镜头为什么必须被成形为五边形表面之后，接下来将依次讨论这些性质。
通过使用被圆形磨边的镜头作为十二面体几何结构中的第一元件，不可能使用目前的对准边缘光线的技术来捕捉360度视场内的所有信息。第一镜头内切于五边形(图14中的阴影区域)中所产生的丢失区域导致了盲点。由于视场从不重叠，此信息永远不被捕捉到。可以计算出，圆的面积与它所内切于的五边形的面积之比等于π/5或62.83％。这是针对在我们周围360度视场我们可以记录的最大信息量。镜头与五边形之间导致的盲点删除了360度图像中接近40％的信息。
以下说明旨在图示十二面体的几何结构，并且在利用前述NP技术和十二面体几何结构创建镜头系统时是必要的，但对于创建本文所具体化的无视差全景成像系统的目的是不必要的。
性质1：外接规则五边形的圆的直径
对于这12个单独的镜头系统中的每一个，第一镜头将被设计成使得其外接如图15中所示的十二面体的规则五边形中的每一个。外接规则五边形的圆的直径是：
D＝a/sin(36°)＝1.7013a
在上述等式中，“a”是规则五边形的边长。每个系统的第一镜头元件将完全地外接每个五边形，并且因此每个系统的第一镜头元件的直径被给出为1.7013a，如图16中所图示的。
性质2：与每个五边形的中心接触的内切球体
(与十二面体的面的每一个相切的)内切球体的半径是：
此半径是距十二面体中心(在本设计中该中心将是每个镜头的NP点)和五边形的面的中心(与占据这个五边形的系统中的第一镜头元件的中心(光轴)一致)的距离。这个点位于每个五边形面的中心处。该NP点与十二面体中心之间的长度被限制为1.1135a，其中，a是五边形边之一的长度，如图17中所图示的。
性质3：十二面体的中半径
该中半径是连接十二面体中心与每个边中部的点。如下给出了这个长度：
这个等式限制了五边形面的顶部与NP点之间的距离，如图18中所图示的。限制
十二面体的几何性质限制了将具体化该十二面体的12个镜头的设计。具体地，在上文给出的说明的基础上，我们具有以下四个参数：
1.第一镜头元件的直径：1.7013a；
2.从第一镜头元件到十二面体中心的距离：1.1135a；
3.从第一镜头元件顶部到十二面体中心的距离：1.31a；
4.FOV＝37.3777度
给定前三条限制中任何两条，我们得到镜头的光轴与第一镜头元件的顶部之间的角度是37.3777度(见图19)：
tan-1((1.7013/2)/1.1135)-37.377°。
我们希望这个37.37度的角度是镜头的视场。这将保证NP点位于十二面体的中心，该NP点是混合(混合角度是全FOV)的主光线与物体空间中的光轴相交的点。所有其他限制将保证镜头元件位于NP点的前方，并且元件落在31.717度半角光锥内。
其他镜头元件和传感器的直径
利用上文所给出的这四条限制，我们知道了第一镜头元件之后的每个镜头元件必须是什么尺寸以便适配至十二面体几何结构中。为了使得前述的镜头元件适配，任何镜头和传感器元件必须适配在开始于十二面体的中心并与第一镜头元件的直径相切的31.717度光锥内部。随着与第一镜头元件的距离增大，前述镜头元件的直径将成比例地减小(见图20)。
可以发现第一镜头元件之前的任何镜头元件或传感器的最大直径在几何上小于或等于(1.1135a-D)*tan(31.716度)，其中，D是这个元件与第一镜头元件的距离。
因而，我们现在具有五条限制，这五条限制将允许此镜头系统与十二面体的几何结构相匹配并允许360度成像：
1.第一镜头元件的直径：1.3763a；
2.从第一镜头元件到十二面体中心的距离：1.1135a；
3.从第一镜头元件顶部到十二面体中心的距离：1.31a；
4.FOV＝37.377度；
5.
其中，是与第一镜头元件被分开距离DL1,Li的任何镜头元件的直径。给定上述五条限制，在所有镜头被设计成使得它们都落在从十二面体中心发出的31.717度光锥内的情况下，可以构造出无视差的镜头系统。
系统设计
选择这些镜头的几何结构。理想立方体具有以下性质：它们是由许多具有相等几何结构和体积的立方体构成的。对于360度成像的系统，这允许以相同重复的镜头设计来制造合成的成像系统。选择了十二面体几何结构，因为十二面体在其几何结构上是近似球体的。
为了使一个成像单元的边缘光线与相邻单元的边缘光线平行，它们必须以相同的角度进入。这两个成像单元所共享的角度是十二面体边缘表面的角度。在边缘表面的中心，相对于十二面体中心的角度是31.717度，如图21中所图示的。在边缘表面的角落，相对于十二面体中心的角度是37.377度，如图22中所图示的。
为了使沿着相邻成像单元的光线相匹配，成像单元的第一镜头被切为五边形，从而与十二面体的表面相匹配。在边缘的中心处，沿表面照射的光线以31.717度的入射角进入。在边缘的角落，进入光线的入射角是37.377。在沿着镜头边缘的所有点处，使进入光线的入射角度与十二面体表面的几何结构相匹配。
已知从十二面体的中心到五边形面的中心的距离，并且已知十二面体的中心到如图21和图22中所示的所讨论的边缘点的距离，使用三角函数计算沿着五边形镜头的边缘的37条光线的入射角。每条光线的高度被限制为沿着五边形边。例如，利用描述表面1的外接圆的半径120mm，点1处的光线具有48.54mm的高度和31.717度的入射角。点37处的光线具有60mm的高度和37.377度的入射角。表I描述了针对图23中的点1与点36之间的37个点的光线高度和入射角。
表I
(数据表明对沿着第一镜头边缘的37条光线的限制)
图24中示出了简图，图示了这些光线限制。光线1具有48.54mm的高度和31.717度的入射角。光线1是穿过图24中的点1的光线。光线2具有60mm的高度和37.377度的入射角，并且是穿过图24中的点37的光线。所有37条光线由上表中所指定的光线高度和角度来限制。以这种方式进行限制，所有光线以与十二面体的表面相同的角度进入镜头。用另一种方式来看那些相同的光线，我们可知，光线被以正确的入射角恰当地限制到五边形几何结构，如图25和图26中所图示的。

Claims (16)

1.一种用于形成物体的图像的方法，所述方法包括：
提供全景成像系统，其中，所述全景成像系统包括多个分立成像系统，每一个分立成像系统由视场来表征；以及
将在所述分立成像系统中的每一个分立成像系统的视场边缘处的主光线模版限制为基本上平行于在所述分立成像系统中紧邻的一个分立成像系统的视场边缘处的主光线模版，这样使得当从物体空间观看时所有平行的主光线模版看起来会聚至公共点，
其中，所述成像系统是无视差的。
2.如权利要求1所述的方法，进一步包括限制所述主光线模版的至少50％偏离平行20度或更少。
3.一种用于设计(基本上)无视差的全景成像系统的方法，所述方法包括：
确定整体全景成像系统几何结构，其中，所述整体全景成像系统包括具有对应视场的多个分立成像系统，所述多个分立成像系统被布置为并排阵列，这样使得相邻成像系统的视场相连结；
将所述分立成像系统设计为使得在所述分立成像系统中的每一个分立成像系统的视场边缘处的主光线模版将基本上平行于在所述分立成像系统中相邻的一个分立成像系统的视场边缘处的主光线模版，这样使得当从物体空间观看时所述基本上平行的主光线模版将看起来会聚至公共点。
4.如权利要求3所述的设计方法，其中，所述整体全景成像系统包括多个完全相同的分立成像系统。
5.如权利要求3所述的方法，其中，在设计所述分立成像系统时，保证在所述多个分立成像系统中的任何分立成像系统之间不存在物理重叠。
6.如权利要求3所述的方法，其中，在设计所述分立成像系统时，保证表观会聚点位于每个分立成像系统的对应图像传感器后方。
7.一种多相机全景成像系统，包括：
被布置为并排阵列的多个分立成像系统，其中，每个分立成像系统的视场与每个相邻的分立成像系统的视场相连结，进一步其中，在所述分立成像系统中任何一个分立成像系统的视场边缘处的主光线模版将基本上平行于在所述分立成像系统中的任何相邻的分立成像系统的视场边缘处的主光线模版，这样使得当从物体空间观看时所有基本上平行的主光线模版看起来会聚至公共点。
8.如权利要求7所述的多相机全景成像系统，包括多个完全相同的分立成像系统。
9.如权利要求7所述的多相机全景成像系统，其中，所述主光线模版的至少50％偏离平行20度或更少。
10.如权利要求7所述的多相机全景成像系统，其中，所述分立成像系统中的每一个分立成像系统包括图像传感器，进一步其中，所述表观会聚点位于所述分立成像系统中的每一个分立成像系统的所述图像传感器后方。
11.如权利要求7所述的多相机全景成像系统，其中，所述分立成像系统都不物理地重叠。
12.如权利要求7所述的多相机全景成像系统，其中，所述系统具有十二面体几何结构，进一步其中，所述系统由360度FOV来表征。
13.如权利要求7所述的多相机全景成像系统，其中，所述分立成像系统中的每一个分立成像系统的前镜头是单个连续自由形态光学器件的一部分。
14.如权利要求10所述的多相机全景成像系统，其中，每个图像传感器是波前传感器。
15.如权利要求7所述的多相机全景成像系统，其中，所述分立成像系统中的每一个分立成像系统具有弯曲图像平面，从而与所述成像系统的失真和佩兹伐曲率相匹配。
16.如权利要求1或3所述的方法，进一步包括：使用算法对由所述成像系统所形成的连续360度图像中的失真像差进行校正。
CN201580034186.5A 2014-05-06 2015-05-05 成像系统和方法 Active CN107027338B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010190853.1A CN111510621B (zh) 2014-05-06 2015-05-05 成像系统

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201461989136P 2014-05-06 2014-05-06
US61/989,136 2014-05-06
PCT/US2015/029146 WO2015171544A1 (en) 2014-05-06 2015-05-05 Imaging system, method, and applications

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202010190853.1A Division CN111510621B (zh) 2014-05-06 2015-05-05 成像系统

Publications (2)

Publication Number Publication Date
CN107027338A true CN107027338A (zh) 2017-08-08
CN107027338B CN107027338B (zh) 2020-04-14

Family

ID=53189206

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202010190853.1A Active CN111510621B (zh) 2014-05-06 2015-05-05 成像系统
CN201580034186.5A Active CN107027338B (zh) 2014-05-06 2015-05-05 成像系统和方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202010190853.1A Active CN111510621B (zh) 2014-05-06 2015-05-05 成像系统

Country Status (12)

Country Link
US (5) US10341559B2 (zh)
EP (2) EP3140689B1 (zh)
JP (3) JP2017519250A (zh)
KR (2) KR102234981B1 (zh)
CN (2) CN111510621B (zh)
AU (1) AU2015256320B2 (zh)
CA (1) CA2953337C (zh)
IL (1) IL248733B (zh)
RU (1) RU2698479C2 (zh)
SG (1) SG11201609780PA (zh)
TW (2) TWI708111B (zh)
WO (1) WO2015171544A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108282615A (zh) * 2017-11-02 2018-07-13 广东康云多维视觉智能科技有限公司 周边环境扫描方法及系统
CN115629076A (zh) * 2022-09-27 2023-01-20 威海华菱光电股份有限公司 一种阵列式图像检测装置

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3909238A4 (en) * 2019-03-27 2022-03-09 Guangdong Oppo Mobile Telecommunications Corp., Ltd. THREE-DIMENSIONAL MODELING USING HEMISPHERIC OR SPHERICAL VISIBLE LIGHT DEPTH IMAGES
EP3987334A4 (en) * 2019-06-24 2023-09-06 Circle Optics, Inc. MULTI CAMERA PANORAMIC PHOTOGRAPHY DEVICES WITH FACETED DOME
JP2023513107A (ja) * 2020-02-10 2023-03-30 サークル オプティクス，インコーポレイテッド 強化された検知のためのパノラマカメラシステム
CN114859510B (zh) * 2022-04-28 2024-03-01 福建福光天瞳光学有限公司 摄远型大光圈光学镜头及其工作方法
CN116360077B (zh) * 2023-03-03 2023-11-03 广州瑞格尔电子有限公司 一种大视场短焦的投影镜头以及lcd投影机

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6141034A (en) * 1995-12-15 2000-10-31 Immersive Media Co. Immersive imaging method and apparatus
US6618093B1 (en) * 1998-01-15 2003-09-09 Chauncey F. Levy Distortion-free imaging device having curved photosensor
US20040051805A1 (en) * 2001-08-17 2004-03-18 Koichi Yoshikawa Imaging device
US20040264013A1 (en) * 2001-11-13 2004-12-30 Daizaburo Matsuki Wide-angle imaging optical system and wide-angle imaging apparatus surveillance imaging apparatus vehicle-mounted imaging apparatus and projection apparatus using the wide-angle imaging optical system
CN1745337A (zh) * 2002-12-05 2006-03-08 索尼株式会社 摄像设备
US20130076900A1 (en) * 2011-09-23 2013-03-28 Goodrich Corporation Wide field of view monocentric lens system for infrared aerial reconnaissance camera systems

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR1013652A (fr) 1950-02-17 1952-08-01 Objectif grand angulaire
US5023725A (en) 1989-10-23 1991-06-11 Mccutchen David Method and apparatus for dodecahedral imaging system
US5130794A (en) 1990-03-29 1992-07-14 Ritchey Kurtis J Panoramic display system
US5703604A (en) * 1995-05-22 1997-12-30 Dodeca Llc Immersive dodecaherdral video viewing system
EP0830034B1 (en) 1996-09-11 2005-05-11 Canon Kabushiki Kaisha Image processing for three dimensional display of image data on the display of an image sensing apparatus
US7620909B2 (en) 1999-05-12 2009-11-17 Imove Inc. Interactive image seamer for panoramic images
US7015954B1 (en) 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
JP3872250B2 (ja) * 2000-03-14 2007-01-24 日本放送協会 広画角撮像装置
AU2001277964A1 (en) 2000-07-21 2002-02-05 The Trustees Of Columbia University In The City Of New York Method and apparatus for image mosaicing
EP1231780A3 (en) 2001-02-07 2004-01-14 Sony Corporation Image pickup apparatus
JP4051945B2 (ja) * 2001-02-07 2008-02-27 ソニー株式会社 撮像装置
JP4211319B2 (ja) * 2001-08-17 2009-01-21 ソニー株式会社 撮像装置
JP2003066303A (ja) 2001-08-28 2003-03-05 Sony Corp 撮像装置
US7782357B2 (en) 2002-06-21 2010-08-24 Microsoft Corporation Minimizing dead zones in panoramic images
US7336299B2 (en) * 2003-07-03 2008-02-26 Physical Optics Corporation Panoramic video system with real-time distortion-free imaging
US7436438B2 (en) * 2004-03-16 2008-10-14 Creative Technology Ltd. Digital still camera and method of forming a panoramic image
US20070182812A1 (en) 2004-05-19 2007-08-09 Ritchey Kurtis J Panoramic image-based virtual reality/telepresence audio-visual system and method
JP2006030664A (ja) * 2004-07-16 2006-02-02 Sony Corp 撮像装置
JP4386021B2 (ja) 2005-10-11 2009-12-16 ソニー株式会社 撮像装置
JP5156979B2 (ja) 2005-10-21 2013-03-06 ナルックス株式会社 光ファイバーカプラーに光ファイバーを取り付ける方法
US7834910B2 (en) 2006-03-01 2010-11-16 David M. DeLorme Method and apparatus for panoramic imaging
US7817354B2 (en) 2006-10-25 2010-10-19 Capsovision Inc. Panoramic imaging system
US9118850B2 (en) * 2007-11-27 2015-08-25 Capso Vision, Inc. Camera system with multiple pixel arrays on a chip
JP5337170B2 (ja) 2008-02-08 2013-11-06 グーグル インコーポレイテッド タイミング調節されるシャッターを用いる複数のイメージセンサーを有するパノラマカメラ
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
KR101588877B1 (ko) 2008-05-20 2016-01-26 펠리칸 이매징 코포레이션 이종 이미저를 구비한 모놀리식 카메라 어레이를 이용한 이미지의 캡처링 및 처리
RU2399073C1 (ru) * 2009-04-13 2010-09-10 Герман Рудольфович Пекки Оптическая панорамическая система
TWI407243B (zh) * 2009-10-19 2013-09-01 Hon Hai Prec Ind Co Ltd 全景透鏡及使用該全景透鏡的全景拍攝系統
CN201725141U (zh) * 2010-05-06 2011-01-26 浙江大学 一种多镜头实时全景成像系统
JP5607430B2 (ja) 2010-06-10 2014-10-15 株式会社ジャパンディスプレイ 立体映像表示装置及び電子機器
US20120105574A1 (en) * 2010-10-28 2012-05-03 Henry Harlyn Baker Panoramic stereoscopic camera
WO2012056437A1 (en) 2010-10-29 2012-05-03 École Polytechnique Fédérale De Lausanne (Epfl) Omnidirectional sensor array system
JP5780561B2 (ja) 2010-11-16 2015-09-16 小平アソシエイツ株式会社 視界映像情報生成装置
JP2012177747A (ja) * 2011-02-25 2012-09-13 Sony Corp 立体画像撮像装置
JP2012199752A (ja) * 2011-03-22 2012-10-18 Sony Corp 画像処理装置と画像処理方法およびプログラム
US9250510B2 (en) * 2012-02-15 2016-02-02 City University Of Hong Kong Panoramic stereo catadioptric imaging
NL2008639C2 (en) 2012-04-13 2013-10-16 Cyclomedia Technology B V Device, system and vehicle for recording panoramic images, and a device and method for panoramic projection thereof.
JP5595463B2 (ja) 2012-10-12 2014-09-24 キヤノン株式会社 波面光学測定装置
US9503638B1 (en) 2013-02-04 2016-11-22 UtopiaCompression Corporation High-resolution single-viewpoint panoramic camera and method of obtaining high-resolution panoramic images with a single viewpoint
TWI545388B (zh) * 2013-06-14 2016-08-11 豪威科技股份有限公司 產生全景圖像的系統和方法
US20150281538A1 (en) * 2014-03-25 2015-10-01 Semiconductor Components Industries, Llc Multi-array imaging systems and methods

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6141034A (en) * 1995-12-15 2000-10-31 Immersive Media Co. Immersive imaging method and apparatus
US6618093B1 (en) * 1998-01-15 2003-09-09 Chauncey F. Levy Distortion-free imaging device having curved photosensor
US20040051805A1 (en) * 2001-08-17 2004-03-18 Koichi Yoshikawa Imaging device
US20040264013A1 (en) * 2001-11-13 2004-12-30 Daizaburo Matsuki Wide-angle imaging optical system and wide-angle imaging apparatus surveillance imaging apparatus vehicle-mounted imaging apparatus and projection apparatus using the wide-angle imaging optical system
CN1745337A (zh) * 2002-12-05 2006-03-08 索尼株式会社 摄像设备
US20130076900A1 (en) * 2011-09-23 2013-03-28 Goodrich Corporation Wide field of view monocentric lens system for infrared aerial reconnaissance camera systems

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108282615A (zh) * 2017-11-02 2018-07-13 广东康云多维视觉智能科技有限公司 周边环境扫描方法及系统
CN108282615B (zh) * 2017-11-02 2021-01-05 广东康云多维视觉智能科技有限公司 周边环境扫描方法及系统
CN115629076A (zh) * 2022-09-27 2023-01-20 威海华菱光电股份有限公司 一种阵列式图像检测装置

Also Published As

Publication number Publication date
US20230388642A1 (en) 2023-11-30
TW201940956A (zh) 2019-10-16
RU2016145439A (ru) 2018-06-06
KR20170005024A (ko) 2017-01-11
CN111510621B (zh) 2021-11-12
EP3140689B1 (en) 2021-12-22
CN111510621A (zh) 2020-08-07
US20170085792A1 (en) 2017-03-23
US20190289209A1 (en) 2019-09-19
US20200244881A1 (en) 2020-07-30
US10341559B2 (en) 2019-07-02
EP3855232A1 (en) 2021-07-28
US20220272261A1 (en) 2022-08-25
IL248733A0 (en) 2017-01-31
RU2016145439A3 (zh) 2018-12-21
KR102234981B1 (ko) 2021-04-01
CA2953337C (en) 2023-04-11
RU2698479C2 (ru) 2019-08-28
JP2017519250A (ja) 2017-07-13
AU2015256320B2 (en) 2020-03-05
KR20200013800A (ko) 2020-02-07
IL248733B (en) 2020-08-31
KR102073206B1 (ko) 2020-02-04
WO2015171544A1 (en) 2015-11-12
AU2015256320A1 (en) 2016-12-01
US11743591B2 (en) 2023-08-29
TWI708111B (zh) 2020-10-21
US11363194B2 (en) 2022-06-14
US10659688B2 (en) 2020-05-19
JP2022116089A (ja) 2022-08-09
SG11201609780PA (en) 2016-12-29
TW201602708A (zh) 2016-01-16
EP3140689A1 (en) 2017-03-15
TWI667528B (zh) 2019-08-01
JP2020173461A (ja) 2020-10-22
CA2953337A1 (en) 2015-11-12
CN107027338B (zh) 2020-04-14

Similar Documents

Publication Publication Date Title
CN111510621B (zh) 成像系统
US7837330B2 (en) Panoramic three-dimensional adapter for an optical instrument and a combination of such an adapter and such an optical instrument
US10057487B1 (en) Panoramic imaging systems based on normal-lens cameras
US9503638B1 (en) High-resolution single-viewpoint panoramic camera and method of obtaining high-resolution panoramic images with a single viewpoint
Lin et al. A low-cost portable polycamera for stereoscopic 360 imaging
US11137582B2 (en) Omnidirectional catadioptric lens with odd aspheric contour or multi-lens
Hua et al. A high-resolution panoramic camera
KR102192347B1 (ko) 실시간 폴리곤 기반 360 영상 복원 방법 및 그 장치
US20190196158A1 (en) Image acquisition compound lens and application thereof
CN108833893A (zh) 一种基于光场显示的3d图像校正方法
Bakstein et al. Non-central cameras: A review
WO2018139250A1 (ja) 全天球撮像装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1234932

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20230323

Address after: USA New York

Patentee after: SECCO OPTICS, Inc.

Address before: USA New York

Patentee before: Zachary de la Aceh

TR01 Transfer of patent right