CN108604055B - 具有奇次项非球面轮廓或多透镜的全方向折反射透镜 - Google Patents

具有奇次项非球面轮廓或多透镜的全方向折反射透镜 Download PDF

Info

Publication number
CN108604055B
CN108604055B CN201680080340.7A CN201680080340A CN108604055B CN 108604055 B CN108604055 B CN 108604055B CN 201680080340 A CN201680080340 A CN 201680080340A CN 108604055 B CN108604055 B CN 108604055B
Authority
CN
China
Prior art keywords
image
vertical axis
lens element
odd
sectional shape
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680080340.7A
Other languages
English (en)
Other versions
CN108604055A (zh
Inventor
M·J·乔达诺
R·S·恩格勒特
C·科顿
W·D·施密特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sphere Optics Co LLC
Original Assignee
Sphere Optics Co LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sphere Optics Co LLC filed Critical Sphere Optics Co LLC
Publication of CN108604055A publication Critical patent/CN108604055A/zh
Application granted granted Critical
Publication of CN108604055B publication Critical patent/CN108604055B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/06—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe involving anamorphosis
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/06—Panoramic objectives; So-called "sky lenses" including panoramic objectives having reflecting surfaces
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0025—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/56—Accessories
    • G03B17/565—Optical accessories, e.g. converters for close-up photography, tele-convertors, wide-angle convertors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Lenses (AREA)

Abstract

一种被绕着竖直轴线限定的大体锥形的元件，其在所述竖直轴线上具有末梢，并且所述大体锥形的元件具有相对于所述竖直轴线从所述末梢向上限定的大体锥形的奇次项非球面轮廓镜表面。一种被设置成捕获从所述奇次项非球面轮廓镜表面反射的光的环面透镜元件，具有相对于一种穿过所述环面透镜元件并包括所述竖直轴线的平面所限定的剖面形状，并且所述环面透镜元件通过绕着所述竖直轴线旋转一个凸或凹的透镜表面剖面形状而被限定，所述凸或凹的透镜表面剖面形状从平行于所述竖直轴线但偏移的另一轴线限定，其中，所述环面透镜元件剖面形状在绕着所述竖直轴线的旋转中恒定，并且相对于所述竖直轴线对所述环面透镜元件赋予一个大体环面形状。

Description

具有奇次项非球面轮廓或多透镜的全方向折反射透镜
技术领域
本发明的诸多方面涉及从周围环境捕获供影像娱乐和展现(representation)中使用的视觉图像信息。
背景技术
现实世界的影像绘图、传播、娱乐和展现可通过使用透镜元件将光信息聚焦到记录或传输介质(例如，相机传感器、胶片、光敏阵列等)上来捕获表示可视物理环境的图像信息。图像可被捕获并储存用于随后观看或者实况传播给相对于提供成像的环境本地和远距离定位的广泛种类的终端用户。
虚拟现实(VR)是指用计算机产生的数据替换用户所占据环境的感官知觉数据，在某些方面能够使用户体验一种与用户的现今实际地点完全不同的世界。例如，在寒冷的冬季月份期间在家的用户可接通VR装置来输送来自许多英里之外的海滩度假目的地的摄像和声音。增强现实(AR)是指有时通过处理通过计算机的相机馈入以在将其显示给用户之前增加所产生的元素而呈现现实世界和所产生元素的组合，诸如，对在用户当前行走的街道的相机馈入上叠加的导航路径覆盖层的平视显示(heads-up display)。某些系统可提供VR和AR两种性能，其中用计算机产生的数据混合现实世界的影像图像馈入的AR显示装置可用于通过从相机馈入中去掉现实世界图像数据而仅留下所产生的或者人工世界视图来产生VR显示。
发明内容
诸多方面包括诸多系统，所述系统包括：
大体锥形的元件，其被绕着竖直轴线限定并在所述竖直轴线上具有末梢，并且所述大体锥形的元件具有相对于所述竖直轴线从所述末梢向上限定的大体锥形的奇次项非球面轮廓镜表面；以及
被设置成接收来自所述奇次项非球面轮廓镜表面的反射光的环面透镜元件，其中，所述环面透镜元件具有相对于穿过所述环面透镜元件并包括所述竖直轴线的平面所限定的剖面形状，并且所述环面透镜元件通过绕着所述竖直轴线旋转一个凸或凹的透镜表面剖面形状而被限定，其中，所述凸或凹的透镜表面剖面形状从平行于所述竖直轴线但偏移一偏移距离的另一轴线限定，并且其中，所述环面透镜元件的剖面形状在绕着所述竖直轴线的旋转中恒定/不变，并且相对于所述竖直轴线对所述环面透镜元件赋予一个大体环面形状；以及
其中，所述环面透镜元件的剖面形状被选择以捕获从所述大体锥形的奇次项非球面轮廓镜表面反射的周围场景的光数据输入，并将所捕获的光数据转换成图像投影数据，所述图像投影数据被朝向用于通过至少一个光敏传感器接收的图像平面和另一透镜系统中的至少一个引导。
在一些系统中，所述大体锥形的奇次项非球面轮廓镜表面对视觉畸变或色差进行校正。
诸多方面包括从周围场景捕获图像信息的方法，包括：
经由至少一个透镜元件捕获来自周围场景的光输入，所述至少一个透镜元件被布置在大体锥形的元件周围，所述大体锥形的元件被绕着竖直轴线限定并在所述竖直轴线上具有末梢，并且所述大体锥形的元件具有相对于所述竖直轴线从所述末梢向上限定的大体锥形的奇次项非球面轮廓镜表面；以及
经由被设置成接收来自所述奇次项非球面轮廓镜表面的反射光的环面透镜元件，将所捕获的光输入转换成投影数据，所述投影数据被朝向用于通过至少一个光敏传感器接收的图像平面和另一透镜系统中的至少一个定向；以及
其中，所述环面透镜元件具有相对于穿过所述环面透镜元件并包括所述竖直轴线的平面所限定的剖面形状，并且所述环面透镜元件通过绕着所述竖直轴线旋转一个凸或凹的透镜表面剖面形状而被限定，其中，所述凸或凹的透镜表面剖面形状从平行于所述竖直轴线但偏移一偏移距离的另一轴线限定，并且其中，所述环面透镜元件剖面形状在绕着所述竖直轴线的旋转中恒定，并且相对于所述竖直轴线对所述环面透镜元件赋予一个大体环面形状；以及
其中，所述环面透镜元件的剖面形状被选择以捕获从所述大体锥形的奇次项非球面轮廓镜表面反射的周围场景的光数据输入，并将所捕获的光数据转换成图像投影数据，所述图像投影数据被朝向用于通过至少一个光敏传感器接收的图像平面和所述另一透镜系统中的至少一个引导。
诸多方面也包括用于从周围场景捕获图像信息的方法，包括：
将多个单独透镜的图像圈的图像投影数据重新布置或形成为不同的互补的曲线形状；以及
将所述不同的互补的曲线形状组合成一种填充图像传感器区域的组合图像。
在某些方法中，所述图像投影数据是极投影数据，所述方法进一步包括：
将所述图像极投影数据转换成直列-线性(recta-linear)视觉信息；
从所述直线视觉信息生成所述周围场景的影像展现；或
通过组合所述直线视觉信息将所述不同的互补的曲线形状组合成填充所述图像传感器区域的组合图像。
诸多方面包括以上描述的任一方面的计算机化方法，其中，软件被提供作为云环境中的服务。
诸多方面包括一种产品，其包括以任何构型单独地或与任何特征相结合的本文说明书所述的任何特征。
具体实施方式
获取完全360度水平乘180度竖直的视场(“全方向”视场)上的视觉成像和图像信息的能力对于VR视频产生及其它应用是令人期望的。诸多示例包括机器人的第一人称遥控、监视和安全监控、无法接近空间(塌陷结构、人体内部)的探测、计算机视觉，并且其它的示例仍然将对本领域技术人员显而易见。
图1示出了现有技术的抛物面镜结构。安装在正常相机镜头前方的曲面镜将从所有角度进入的光水平地反射到相机内。诸多示例包括由GoPano.com提供的装置、由0-360.com提供的0-360 Panoramic OpticTM，以及由eye-mirror.com提供的“Eye mirror”。图2示出了一种现有技术的极度鱼眼镜头/透镜结构，一种具有极度广角的常规摄影鱼眼镜头。诸多示例包括来自Nikon的6mm鱼眼镜头；“iboolo”235度超级鱼眼镜头；来自VOXXElectronics Corp(360fly.com)的360Fly；以及提供360x 200度视场的来自Tamaggo(tamaggo.com)的“ibi”。
常规的鱼眼和抛物面透镜可为水平视场提供完全360的覆盖度，但竖直角受限制。如图4所示，具有200度的标定视场的常规鱼眼透镜实际上产生了360x 100度的投影，所述投影在稍微超过总球面视场一半的上部区域10内完全地覆盖一个极点，但省略了包括相反极点以及大部分周围半球的下部区域11，在任何所产生的图像中将该下部区域11留下空白。如图5所示，一种现有技术的抛物面镜在360度的水平覆盖范围上覆盖了图像12的一个中心60度条带，分别在球面的上下极点处在覆盖范围中留下很大的间隙14和16。
图3示出了一种现有技术的多相机全景结构，其中，相机被径向地布置，使得它们相应的图像具有重叠。所记录的视觉数据可被拼接成一个360度的图像，其中，图像数据单独地从每个相机提取然后被数字化处理，以产生最终图像。然而，由于相机校准或者帧同步的问题，该结果容易出现拼接错误。拼接错误经常被表示为在所拼接图像的重叠处感知到的可视接缝或其它杂乱或未对准的图像数据。
本发明的诸多方面提供了在使用单一透镜组件以及单一相机的同时用于捕获完全球面(360x 180度视场)图像和视频的系统和方法。诸多实施例包括一种带有成角度约45度并且绕着中心竖直轴线旋转成锥形形状的镜表面的中心镜元件。其它的外部折射元件相对于中心竖直轴线设置在中心镜元件周围并且将从环境所获取的图像光信息从关于组件的水平透视的整体360度跨度聚焦到中心镜元件镜表面上，其经由镜表面的45度定向，将(大体沿水平的x轴)水平地定向的光信息朝向图像接收器(相机、人眼、胶片、光传感器阵列元件等)直向下竖直地反射或弯曲90度。
与本申请一起共同受让的、于2014年10月16日提交的RAM工业设计公司的PCT申请号PCT/U2014/060855，在此通过引用全部并入本文，并且有时被称为“855专利申请”。该855专利申请提供了用于捕获完全球面(360x 180度视场，或4pi球面度)图像和视频的系统和方法，同时使用包括具有镜表面的中心镜元件的单一透镜组件和单一相机，所述镜表面成约45度的角并围绕中心竖直轴线旋转成锥形形状。其它的外部折射元件相对于中心竖直轴线设置在中心镜元件周围，并且将从环境所获取的图像光信息从关于组件的水平透视的整体360度跨度聚焦到中心镜元件镜表面上，其经由镜表面的45度定向，将(大体沿水平的x轴)水平地定向的光信息朝向图像接收器(相机、人眼、胶片、光传感器阵列元件等)直向下竖直地反射或弯曲90度。
本发明的诸多方面改进了在855专利申请中公开的系统和方法，从而改进了所得到图像的光学品质，例如除其它光学像差外在某些情况下减轻了无散光现象和场平坦度的缺乏。本发明的诸多方面包括对由855专利申请所教导的系统的至少两个改进：对锥形反射元件添加奇次项非球面轮廓，以及将平坦环面元件包含到从所述锥形反射元件所接收的反射光数据。
更具体地，参照图6，第一改进是调节该系统的反射元件的表面。在855专利申请中，反射锥形元件108具有通常相对于中心轴线在45度的角度上限定的表面110，允许与精确平直45度锥形形状的偏离，以校正光学像差。本实施例用一种具有相对于其中心轴线A限定的奇次项非球面轮廓表面112的反射元件102替换该元件和表面。该改进是对上述像差校正的细化。
如图7所示，通过改变反射元件102的表面以形成该奇次项非球面轮廓表面112，镜元件102的表面112本身用作聚焦元件，而非仅作为一种对通过其它元件(诸如855专利申请中所教导的外环面元件)所捕获的入射光的角度进行改变的设备。该奇次项非球面曲线表面112改变光路120，而直角表面110并不改变光路。
如本领域技术人员将会理解的，非球面表面可采取多种形式，并且在一些示例中，非球面透镜被设计有由表达式[1]所限定的形式的表面：
Figure BDA0001745482570000061
其中，假定光轴位于“z”方向，并且“z(r)”是“凹陷(sag)”(在距中心轴线的距离“r”处，从顶点的表面位移的z分量)。系数“αi”每个都描述了从由“R”和“κ”指定的轴对称二次曲面的表面的相应偏差。
奇次项非球面透镜是如下的透镜，其中，所述透镜的曲线由包含奇次项指数的多项式函数(与仅包含偶次项指数的普通非球面透镜相反)描述。该奇次项非球面模型偏差类似于偶次项非球面模型，除了都使用“r”的偶次项和奇次项幂之外，其中，凹陷可由表达式[2]限定：
Figure BDA0001745482570000062
然而，将会理解的是，这仅是一个示例，并且在特定应用中使用的精确奇次项非球面曲线由光学系统的其余部分的要求所确定。
现在参照图8，对855专利申请实施例的第二改进是包括在反射元件102之后定位的另一类型的环面透镜元件202。一种典型的平凸透镜元件201可经由绕着其光轴A的剖面形状的旋转形成。相反，根据本发明的环面透镜元件202a通过旋转一个标准透镜元件剖面形成，诸如现有技术透镜201的剖面，或绕着轴线AA的任何其它形状(凸、凹等)，所述轴线AA平行于其光轴A但偏移一定距离204，所述距离可被选择以对应于来自反射器元件的入射反射光。
因此，在本示例中，通过绕着偏移轴线AA旋转透镜201的剖面形状来限定环面元件示例202a。示例202b是一种通过绕着偏移轴线AA旋转具有凹形顶表面206和平底表面208的一个平凹形状而形成的替代实施例。替代实施例202c具有环面凸形顶表面210和凹形相对表面212。
元件202的该新型环面形式被构造成与由锥形反射器/镜元件102的奇次项非球面曲线表面112所形成的旋转光路匹配，从而便于将该旋转光路转换成一种可通过后续常规形成的透镜而更容易聚焦的形状。
图9示出了两个平凸透镜301和303的剖面视图的基本共同的光学结构，其中，平行光线306的输入光束穿过将它们会聚到一个会聚定向308内的第一透镜元件301，然后它们穿过将光线恢复到平行定向310的第二元件303。图10示出了相对于输入光束306的方向成45度放置在两个透镜301和303之间的镜表面312，其将所产生的输出光束310相对于输入光束306重新定向90度。在本发明的方面中，镜表面312大体具有奇次项非球面轮廓表面112的形状，尽管在一些实施例中，它可具有直角表面110。
图11是根据图10的系统的剖面形状绕着光轴A旋转的图解，其中，镜元件表面312限定大体锥形的元件320，第一透镜元件剖面形状301限定环面元件322，并且第二透镜元件剖面形状303与平底表面202a一起限定该环面透镜元件。
图12示出了通过图11的系统对输入光线330的变换。环面元件322将输入光线330变换(聚焦、折射等)成一种从镜表面312反射到向下光束334并通过环面透镜元件202a合并成输出光束形式或定向336的输出光束332，所述输出光束形式或定向336然后可根据需要通过一个或多个后续的透镜元件326聚焦成聚焦输出338。
图13是根据本发明的完整图像-形成透镜系统的一个示例的剖面图，相对于穿过该系统的相应元件的光线420上的聚焦和变换效果描述该示例，即：具有非球面剖面401的外环面元件；内环面(非球面剖面)402；具有奇次项非球面反射表面(如上所述)的锥形反射器403；包括平坦环面(消色差双合透镜)元件202a和具有平坦顶表面和环面底表面417的消色差环面元件405之组合的消色差元件，其中，相应的顶表面416和底表面417通过绕着一个平行于其光轴但偏移一定距离的轴线旋转非平面的透镜元件剖面形状(凸、凹等)而形成，如上所述；奇次项非球面元件406和407；以及将光线420的最终输出聚焦到图像平面413上的非球面/球面元件408、409、410、411和412。
图14是根据本发明的透镜-转换器系统的一个示例的剖视图，所述透镜-转换器系统安装在现有的广角成像透镜系统前方并且就其对穿过该系统的相应元件的光线420的聚焦和变换效果描述，即：(具有非球面剖面)的外环面元件501；(具有非球面剖面)的内环面元件502；具有奇次项非球面反射表面(如上所述地形成)的锥形反射器503；包括平坦环面(消色差双合透镜)元件202a和一种具有平坦顶表面和环面底表面517的消色差环形元件505之组合的消色差元件，其中，相应的顶表面516和底表面517通过绕着一个平行于其光轴但偏移一定距离的轴线旋转非平面的透镜元件剖面形状(凸、凹等)而形成，如上所述；以及将光线520的最终输出聚焦到另一成像透镜系统的广角透镜508上的奇次项非球面元件506和507。
本发明的诸多方面提供了优于其它方法的优点，包括对855专利申请中所描述的系统和方法的改进。利用根据本发明的奇次项非球面轮廓对855专利申请的反射器元件的修改能够使反射器元件除反射从外/内环面元件向下收集的光外还用作聚焦元件。在反射器元件之后结合有一个或多个根据本发明的“平坦”环面元件将反射光线聚焦到可通过随后的常规透镜元件更有效地聚焦的构造内。这些改进一起减轻光学像差，诸如可导致由855专利申请所教导的基本实施方式明显地图像退化或聚焦困难的散光和场平坦度。
在结合有外部鱼眼透镜元件的实施例中，鱼眼可提供大致180度的有效竖直视场，其为竖直地整体或最大视场。更具体地，180度竖直跨度将理解为由从与水平轴线垂直的竖直轴线上的零点的半径所绘制的半圆(或者由朝水平覆盖范围的不同360度定向的多个水平轴线所限定的水平平面)所限定，因此，在竖直轴线上半径值的正点和相应负点开始和结束。其中，鱼眼透镜结构在与锥形镜元件共用的竖直轴线周围完全地(360度)设置，所述中心镜元件向下反射足够全面的光信息，以由周围的反射和折射透镜元件关于无论提供何种竖直视场而形成全景360度水平视场。根据本发明的元件可被描述为相对于轴线的“大体环面”，因为它们相应的二维剖面形状或轮廓在绕着该轴线的全部旋转透视图上恒定，导致三维环面(或环形)形式。然而，形容词“大体环面”是指一种由相对于轴线保持恒定的剖面形状所产生的形状，并且将会理解为关于剖面的形状及其所产生的元件形式是非限制性的。
还将理解的是，本文所描述或另外讨论的光线120、306、308、310、330、332、334、336、338、420和/或520可表示要被反射、重新定向和另外转换成如下定向的从穿过上述元件周围场景所捕获的光输入，所述定向包括图像投影数据，所述图像投影数据可经由聚焦阵列或其它聚焦光学器件朝用于由一个或多个光敏传感器(薄膜元件、电传感器阵列、人眼视网膜等)接收的图像平面被聚焦到聚焦投影内。
本发明的替代方面可结合有广泛种类的透镜剖面和结构，并通过绕着一个与大体锥形的奇次项非球面轮廓表面112共用的竖直轴线A旋转(“缠绕”)它们而将其从常规尺寸变换。
图15是根据本发明的另一方面的多透镜全景成像组件的顶部透视图，其包括二者之间设置有镜面反射器元件606的两个鱼眼透镜602和604。图16是图15的多透镜全景成像组件的侧视图，并且图17是图15的多透镜全景成像组件的底部透视图。将会理解的是，该实施例是说明性但非限制性或穷举的示例：例如，透镜602和604任一都可以不是鱼眼透镜。
期望开发一种使用单一相机捕获完全球面(360x 180度视场)图像和视频的系统。该领域的现有解决方案或者需要覆盖然后被拼接成单一图像的完全球面视图的多个相机，或者使用具有大于180度视角的鱼眼透镜的单一相机，或可水平但非竖直地捕获完全视场的反射镜。
本发明的实施例提供了一种组件，通过所述组件，在被安装到单一相机(或图像传感器)的彼此相对的定向中提供优选地具有大于360度的组合视场的两个或多个常规透镜(例如，602和604)，使得该单一相机在单一帧中捕获来自所有附接透镜的投影图像。这些图像然后可被数字化地拼接在一起，以形成单一的360度图像。所使用的单独透镜应具有一种与系统中的相邻透镜存在一些重叠的足够大视场，从而当组合图像时使伪影最小化。
该系统的基本实施方式包括在每个透镜单元602和604之后放置反射元件606，其允许不管透镜602和604的实际定位如何而重新定向所投影的图像。该部件606通常具有镜反射表面620和622，但也可以是棱镜、光纤或重新定向光路的任何其它设备。除反射器元件之外，可大体提供一种中继透镜组件以控制所投影图像的焦点和尺寸。中继元件可被放置在反射器元件之前和之后，例如中继元件610、612和614。
图18提供了图15至图17的实施例的另一示例的示意性描述，其中，中继元件614是一对透镜632和634，其每个都对准以从镜反射器622和620的每个接收所反射的光图像数据。
现在参照图19，在大多数的常规光学透镜系统中，透镜的输出是单一图像圈702，其投影在矩形图像传感器704上，使得传感器被内接(inscribed)在图像圈中，并且该圈的边缘703(由矩形图像传感器704限定的区域外侧的剩余部分)从而被裁剪(cropped)。在所提出的发明中，诸如在图15至图17的实施例中，多个完整的图像圈716和718都完全地投影在传感器区域704的范围内，一个图像圈来自透镜602和604的每个。图20是图像圈716和718的所投影视觉信息或数据的图解说明。图21是图15至图17的实施例的图解说明，其描述了在镜反射表面620和622上投影的由相应的鱼眼透镜602和604提供并由中继透镜610和612聚焦的图像圈716和718的视觉数据。
图22是本发明另一实施例的示意图，其中，透镜602和604是具有185度视场(FOV)的标准鱼眼透镜，并且镜反射表面620和622为与中心轴线A成45度定位的平面表面110(图6)。然而，该示例是非限制性的，并且在另一实施例中，镜反射表面620和622是相对于中心轴线A限定的奇次项非球面轮廓表面112(图6)。
一旦被记录，各单独投影的图像圈716和718可被数字化地拼接在一起或另外几何变形，以形成具有如下视场的单一图像或映射(map)，所述视场等同于来自该组件中所有单独透镜602和604的图像数据的非重叠总和。图23示出了一个示例，其中，图像圈716的图像数据被重新布置并形成为第一曲线形状816，并且图像圈718的图像数据被重新布置并形成为对第一形状816补充的第二曲线形状818，其中，由曲线形状816和818形成的组合图像840填充了矩形图像传感器区域704。因此，在一个示例中，其中，图像圈视觉数据716和718的每个都包括围绕该组件的180度视场，复合图像840是180°视场的两个圈716和718到一种具有围绕该组件的360度(总体)视场的图像840的几何重新映射。
图24是图像圈视觉数据716的极坐标展现916以及图像圈视觉数据718的极坐标展现918的图解说明。本领域技术人员将会意识到的是，极坐标展现数据916和918可被处理以从图像圈视觉数据716和718产生组合图像840或其它组合图像。
通过现有技术教导了用于记录或投影全景或完全球面图像的多种措施。用于捕获球面图像的现有系统或者包括能够记录小于完整球面的视场的单一相机，或者一种被布置成记录覆盖完全球面的重叠图像集并且必须被数字化地重新组合以形成最终球面输出的多个相机阵列。常规多相机系统可产生高品质的图像，但不便于设置和使用。图像数据必须从每个相机中单独地提取，并且然后被数字化地处理以形成最终图像。单相机系统不能填充完整的球面场：覆盖了完整360度的水平范围，但限制了竖直范围。抛物面镜覆盖了图像的中心条带，但在球面的两极具有很大的间隙。鱼眼透镜完整地覆盖一极，并且可延伸到球面的赤道之外，但使相反极以及周围半球的大部分保持空白。
本发明的诸多方面提供了记录球面内容的新的有利的方法。诸多方面将来自各自覆盖视场不同部分的常规鱼眼或超广角透镜的图像数据组合成新组件，其中多个透镜的输出同时被投射到单一图像平面上。诸多方面能够使单相机系统捕获完全360度水平乘180度竖直的球面全景，结合两个现存系统的优点并使其不足最小化。诸多方面提供了一种多相机装配(rig)的视场，但具有仅使用单一相机的便利性，而不需要其它专用的光学器件。
如本领域技术人员将会理解的是，本发明的诸多方面可实施为一种系统、方法或者计算机程序产品。因此，本发明的诸多方面可采取一种全部硬件实施例、一种全部软件实施例(包括固件、常驻软件、微代码等)，或者一种结合有在本文中可全部总体被称为“电路”、“模块”或“系统”的软件和硬件方面的实施例的形式。此外，本发明的诸多方面可采取一种在其上配备有计算机可读程序代码的一个或多个计算机可读介质中被实施的计算机程序产品的形式。
可以利用一个或多个计算机可读介质的任意组合。计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。计算机可读存储介质排除了暂时的、传播的或载波信号或主题，并且包括电子、磁、光或半导体系统、设备或装置，或上述的任何合适组合。计算机可读存储介质的更具体示例(非穷举列表)将包括以下部分：便携式计算机软盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除编程只读存储器(EPROM或闪存)、便携式光盘只读存储器(CD-ROM)、光学存储装置、磁存储装置或上述的任何合适组合。在本文献的上下文中，计算机可读存储介质可以是不传播但可包含或存储用于通过指令执行系统、设备或装置或与其相关联地使用的程序的任何有形介质。
计算机可读信号介质可包括一种其中实施有计算机可读程序代码的传播数据信号，例如在基带中或作为载波的一部分。这种传播信号可采取多种形式中的任一种，包括但不限于，电磁或者光学形式或者其任何合适的组合。计算机可读信号介质可以是并非计算机可读存储介质并且可通信、传播或者输送如下程序的任何计算机可读介质，所述程序用于通过指令执行系统、设备或装置或与其相关联地使用。
可使用任何合适的介质传输在计算机可读介质上实施的程序代码，所述介质包括但不限于无线、有线、光纤线缆、RF等，或上述的任何合适组合。
用于实施本发明的诸多方面的操作的计算机程序代码可用一种或多种编程语言的任何组合编写，包括诸如Java、Smalltalk、C++等面向对象的编程语言，以及诸如“C”编程语言或类似编程语言的常规过程编程语言。程序代码可全部地在用户计算机上、部分地在用户计算机上、作为独立软件包部分地在用户计算机上并且部分地在远程计算机或者全部在远程计算机或服务器上执行。在后者的方案中，远程计算机可通过包括局域网(LAN)或者广域网(WAN)的任何类型网络连接到用户的计算机，或者可进行到外部计算机的连接(例如，通过使用国际互联网络服务供应商的国际互联网)。
参照方法、设备(系统)和计算机程序产品的流程图说明和/或框图来描述本发明的诸多方面。将会理解的是，流程图说明和/或框图中的每个框，以及流程图说明和/或框图中的诸多框的组合可通过计算机程序指令来实施。可提供这些计算机程序指令到通用计算机、专用计算机或者其它可编程数据处理设备的处理器以生产机器，使得经由计算机或者其它可编程数据处理设备的处理器执行的这些指令创建用于实施在该流程图和/或框图块或诸多块中所指定功能/动作的设备。
这些计算机程序指令也可被存储在一种可指导计算机、其它可编程数据处理设备或其它装置以特定方式起作用的计算机可读介质中，使得被存储在计算机可读介质中的指令产生一种制造品，其包括执行在该流程图和/或框图块或诸多块中所指定功能/动作的指令。
计算机程序指令也可被加载到计算机、其它可编程数据处理设备或其它装置上，以在该计算机、其它可编程设备或其它装置上实施一系列的操作步骤，从而产生一种计算机实施的程序，使得在计算机或其它可编程设备上执行的指令提供用于实施在该流程图和/或框图块或诸多块中所指定的功能/动作的程序。
现在参见图25，本发明一个方面的示例性计算机化实施方式包括与一个或多个聚焦平面传感器540、542和/或544通信520的计算机系统或其它可编程装置522，所述聚焦平面传感器例如从如上所述的奇次项非球面轮廓表面接收图像投影数据。该可编程装置522还与一个或多个图像数据捕获装置通信。该可编程装置522进一步与显示屏534和存储装置532通信。
指令542驻留在计算机可读存储器536中的计算机可读代码内，或在由可编程装置522的中央处理单元(处理器或CPU)538访问的计算机可读存储系统532中。输入/输出装置(I/O)524进一步能够实现无线通信和其它输入和输出。因此，当由处理器538实现时，指令致使处理器538经由显示屏534向用户显示来自由图像捕获装置542所捕获的图像数据的用户周围环境的图像；经由显示屏534显示；由所转换的直线视觉信息(数据)生成周围场景的影像展现。在一些示例中，如上所述，处理器538将单独透镜的图像圈的图像数据重新布置和/或形成为不同的互补的曲线形状，所述形状组合成填充图像传感器区域的组合图像。
本文中所使用的技术名词仅用于描述特定的方面并不旨在限制本发明。如本文中所使用的，单数形式“一个(a)”、“一个(an)”和“该(the)”旨在也包括复数形式，除非上下文另有清楚地表示。将会进一步理解的是，当在本说明书中使用时，术语“包括”和“包含”指明了所陈述特征、整体、步骤、操作、元件和/或部件的存在，但不排出一个或多个其它特征、整体、步骤、元件、部件和/或其群组的存在或增加。本说明书中(包含在权利要求中并如附图中所示)所描述的某些示例和元件可通过独特的形容词(例如，“第一”元件不同于多个元件中的另一“第二”或者“第三”，“主”不同于“副”的或者“另一”物品等)与其它的区分或者识别。这种识别形容词通常用于减少混乱或者不确定性，并且不被解释成将权利要求限制到任一具体示出的元件或实施例，或暗示任一所要求保护的元件、限制条件或处理步骤的任何优先、次序或者等级。
以下权利要求中所有措施的相应结构、材料、作用和等同物或步骤加功能性要素旨在包括用于与如具体要求保护的其它所要求保护的要素结合来实施功能的任何结构、材料或作用。已经出于图解和说明的目的给出了本发明的说明，但并不旨在以所公开的形式穷举或限制本发明。在不脱离本发明的范围和精神的情况下，许多修改和变型对本领域的普通技术人员将是显而易见的。选择和描述所述方面以最好地解释本发明的原理和实际应用，并且使本领域的普通技术人员对于具有适用于所预期的特定使用的多种修改的多种实施例能够理解本发明。
附图中的流程图和框图示出了根据本发明的多种方面的系统、方法和计算机程序产品的可能实施方式的结构、功能和操作。在这方面，流程图或者框图中的每个块可表示模块、区段或一部分代码，其包括一个或多个用于执行所指定(一个或多个)逻辑函数的可执行指令。还应注意到的是，在一些替代实施例中，框中所提到的功能可不按在附图中提到的顺序进行。例如，顺序示出的两个框实际上可基本同时地执行，或者这些框有时可按倒序执行，取决于所涉及的功能。还将注意到的是，框图和/或流程图说明的每个框，以及框图和/或流程图说明中框的组合，可通过执行所指定功能或动作的基于专用硬件的系统，或专用硬件和计算机指令的组合来执行。

Claims (14)

1.一种透镜系统，包括：
大体锥形的元件，其被绕着竖直轴线限定并在所述竖直轴线上具有末梢，并且所述大体锥形的元件具有相对于所述竖直轴线从所述末梢向上限定的大体锥形的奇次项非球面轮廓镜表面；以及
环面透镜元件，其设置成接收来自所述奇次项非球面轮廓镜表面的反射光，其中所述环面透镜元件具有相对于穿过所述环面透镜元件并包括所述竖直轴线的平面所限定的剖面形状，并且所述环面透镜元件通过绕着所述竖直轴线旋转凸或凹的透镜表面剖面形状而被限定，其中所述凸或凹的透镜表面剖面形状从平行于所述竖直轴线但偏移一偏移距离的另一轴线限定，并且其中所述环面透镜元件的剖面形状在绕着所述竖直轴线的旋转中恒定，并且相对于所述竖直轴线对所述环面透镜元件赋予大体环面形状；以及
其中，所述环面透镜元件的剖面形状被选择以捕获从所述大体锥形的奇次项非球面轮廓镜表面反射的周围场景的光数据输入，并将所捕获的光数据转换成图像投影数据，所述图像投影数据被朝向用于通过至少一个光敏传感器接收的图像平面和另一透镜系统中的至少一个引导。
2.根据权利要求1所述的透镜系统，其中，所述大体锥形的奇次项非球面轮廓镜表面对视觉畸变或色差进行校正。
3.一种用于从周围场景捕获图像信息的方法，所述方法包括：
经由至少一个透镜元件捕获来自周围场景的光输入，所述至少一个透镜元件被布置在大体锥形的元件周围，所述大体锥形的元件被绕着竖直轴线限定并在所述竖直轴线上具有末梢，并且所述大体锥形的元件具有相对于所述竖直轴线从所述末梢向上限定的大体锥形的奇次项非球面轮廓镜表面；以及
经由被设置成接收来自所述奇次项非球面轮廓镜表面的反射光的环面透镜元件，将所捕获的光输入转换成投影数据，所述投影数据被朝向用于通过至少一个光敏传感器接收的图像平面和另一透镜系统中的至少一个定向；以及
其中所述环面透镜元件具有相对于穿过所述环面透镜元件并包括所述竖直轴线的平面所限定的剖面形状，并且所述环面透镜元件通过绕着所述竖直轴线旋转凸或凹的透镜表面剖面形状而被限定，其中，所述凸或凹的透镜表面剖面形状从平行于所述竖直轴线但偏移一偏移距离的另一轴线限定，并且其中所述环面透镜元件的剖面形状在绕着所述竖直轴线的旋转中恒定，并且相对于所述竖直轴线对所述环面透镜元件赋予大体环面形状；以及
其中所述环面透镜元件的剖面形状被选择以捕获从所述大体锥形的奇次项非球面轮廓镜表面反射的周围场景的光数据输入，并将所捕获的光数据转换成图像投影数据，所述图像投影数据被朝向用于通过至少一个光敏传感器接收的图像平面和另一透镜系统中的至少一个引导。
4.根据权利要求3所述的方法，其中，所述图像投影数据是极投影数据，所述方法进一步包括：
将所述图像极投影数据转换成直列-线性视觉信息。
5.根据权利要求4所述的方法，进一步包括：
从所述直线视觉信息生成所述周围场景的影像展现。
6.根据权利要求4所述的方法，进一步包括：
通过组合所述直线视觉信息将不同的互补的曲线形状组合成填充所述图像传感器区域的组合图像。
7.根据权利要求3所述的方法，进一步包括：
将计算机可读程序代码集成到计算机系统中，所述计算机系统包括处理器、与所述处理器电路通信的计算机可读存储器、以及与所述处理器电路通信的计算机可读储存介质；以及
其中所述处理器执行经由所述计算机可读存储器在所述计算机可读储存介质上储存的程序代码指令，并且藉此实施将所捕获的光输入转换成投影数据，所述投影数据被朝向用于通过至少一个光敏传感器接收的图像平面和另一透镜系统中的至少一个定向。
8.根据权利要求7所述的方法，其中，所述计算机可读程序代码被提供作为云环境中的服务。
9.一种用于从周围场景捕获图像信息的方法，所述方法包括：
将多个单独透镜的图像圈的图像投影数据形成为不同的互补的曲线形状；以及
将所述不同的互补的曲线形状组合成填充图像传感器区域的组合图像，
其中所述组合图像具有如下视场，所述视场等同于来自所有单独透镜的图像数据的非重叠总和。
10.根据权利要求9所述的方法，进一步包括：
将计算机可读程序代码集成到计算机系统中，所述计算机系统包括处理器、与所述处理器电路通信的计算机可读存储器、以及与所述处理器电路通信的计算机可读储存介质；以及
其中所述处理器执行经由所述计算机可读存储器在所述计算机可读储存介质上储存的程序代码指令，并且藉此实施将多个单独透镜的图像圈的图像投影数据形成为不同的互补的曲线形状以及将所述不同的互补的曲线形状组合成填充图像传感器区域的组合图像。
11.根据权利要求10所述的方法，其中，所述计算机可读程序代码被提供作为云环境中的服务。
12.根据权利要求9所述的方法，其中，所述图像投影数据是极投影数据，所述方法进一步包括：
将所述图像极投影数据转换成直列-线性视觉信息。
13.根据权利要求12所述的方法，进一步包括：
从所述直线视觉信息生成所述周围场景的影像展现。
14.根据权利要求12所述的方法，进一步包括：
通过组合所述直线视觉信息将所述不同的互补的曲线形状组合成填充所述图像传感器区域的组合图像。
CN201680080340.7A 2015-12-28 2016-12-23 具有奇次项非球面轮廓或多透镜的全方向折反射透镜 Active CN108604055B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562271462P 2015-12-28 2015-12-28
US62/271,462 2015-12-28
PCT/US2016/068482 WO2017117039A1 (en) 2015-12-28 2016-12-23 Omnidirectional catadioptric lens with odd aspheric contour or multi-lens

Publications (2)

Publication Number Publication Date
CN108604055A CN108604055A (zh) 2018-09-28
CN108604055B true CN108604055B (zh) 2021-05-25

Family

ID=59225690

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680080340.7A Active CN108604055B (zh) 2015-12-28 2016-12-23 具有奇次项非球面轮廓或多透镜的全方向折反射透镜

Country Status (3)

Country Link
US (1) US11137582B2 (zh)
CN (1) CN108604055B (zh)
WO (1) WO2017117039A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023286165A1 (ja) * 2021-07-13 2023-01-19 株式会社京都セミコンダクター 受光装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018157350A1 (zh) * 2017-03-02 2018-09-07 深圳岚锋创视网络科技有限公司 一种全景图像或视频的水平校准方法、系统及便携式终端
WO2020250387A1 (ja) * 2019-06-13 2020-12-17 日本電気株式会社 画像処理装置、画像処理方法及びプログラム

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4976524A (en) * 1988-04-28 1990-12-11 Olympus Optical Co., Ltd. Optical system for endoscopes to be used for observing the interior of pipes
CN1558289A (zh) * 2004-01-18 2004-12-29 浙江大学 一种柱面成像的方法
CN2921860Y (zh) * 2006-03-08 2007-07-11 汤维盛 复合透镜板
US7300185B1 (en) * 2003-02-19 2007-11-27 Opto Technology, Inc. Quadrilateral symmetrical light source
CN101473267A (zh) * 2006-02-13 2009-07-01 索尼株式会社 多镜头阵列系统和方法
WO2009102445A2 (en) * 2008-02-12 2009-08-20 Innurvation, Inc. Radial scanner imaging system
CN201527991U (zh) * 2009-10-28 2010-07-14 厦门华联电子有限公司 带环形透镜的led
CN102033300A (zh) * 2009-09-30 2011-04-27 鸿富锦精密工业（深圳）有限公司 全景透镜及使用该全景透镜的全景拍摄系统
CN102235594A (zh) * 2010-05-04 2011-11-09 艾迪光电（杭州）有限公司 一种led发光模块
US8798451B1 (en) * 2013-06-15 2014-08-05 Gyeongil Kweon Methods of obtaining panoramic images using rotationally symmetric wide-angle lenses and devices thereof
CN203981961U (zh) * 2014-07-07 2014-12-03 长春方圆光电技术有限责任公司 360度环视图像采集系统
CN104254733A (zh) * 2012-03-05 2014-12-31 首尔半导体株式会社 用于短投照明的照明透镜
WO2015009083A1 (ko) * 2013-07-17 2015-01-22 서울반도체 주식회사 광 확산 렌즈, 이를 구비한 발광 디바이스
CN104595848A (zh) * 2013-10-30 2015-05-06 鸿富锦精密工业（深圳）有限公司 透镜及使用该透镜的光源模组

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6115193A (en) 1998-08-21 2000-09-05 Raytheon Company Panoramic sensor head
US7817354B2 (en) 2006-10-25 2010-10-19 Capsovision Inc. Panoramic imaging system
US9213220B2 (en) * 2010-04-06 2015-12-15 Youbiq, Llc Camera control

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4976524A (en) * 1988-04-28 1990-12-11 Olympus Optical Co., Ltd. Optical system for endoscopes to be used for observing the interior of pipes
US7300185B1 (en) * 2003-02-19 2007-11-27 Opto Technology, Inc. Quadrilateral symmetrical light source
CN1558289A (zh) * 2004-01-18 2004-12-29 浙江大学 一种柱面成像的方法
CN101473267A (zh) * 2006-02-13 2009-07-01 索尼株式会社 多镜头阵列系统和方法
CN2921860Y (zh) * 2006-03-08 2007-07-11 汤维盛 复合透镜板
WO2009102445A2 (en) * 2008-02-12 2009-08-20 Innurvation, Inc. Radial scanner imaging system
CN102033300A (zh) * 2009-09-30 2011-04-27 鸿富锦精密工业（深圳）有限公司 全景透镜及使用该全景透镜的全景拍摄系统
CN201527991U (zh) * 2009-10-28 2010-07-14 厦门华联电子有限公司 带环形透镜的led
CN102235594A (zh) * 2010-05-04 2011-11-09 艾迪光电（杭州）有限公司 一种led发光模块
CN104254733A (zh) * 2012-03-05 2014-12-31 首尔半导体株式会社 用于短投照明的照明透镜
US8798451B1 (en) * 2013-06-15 2014-08-05 Gyeongil Kweon Methods of obtaining panoramic images using rotationally symmetric wide-angle lenses and devices thereof
WO2015009083A1 (ko) * 2013-07-17 2015-01-22 서울반도체 주식회사 광 확산 렌즈, 이를 구비한 발광 디바이스
CN104595848A (zh) * 2013-10-30 2015-05-06 鸿富锦精密工业（深圳）有限公司 透镜及使用该透镜的光源模组
CN203981961U (zh) * 2014-07-07 2014-12-03 长春方圆光电技术有限责任公司 360度环视图像采集系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
全景环形成像的转像系统设计;程惠全等;《光电工程》;20020430;第29卷(第2期);第16-19页 *
减小球差的环带透镜设计;胡博等;《光学技术》;20071130;第33卷;第83-84,88页 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023286165A1 (ja) * 2021-07-13 2023-01-19 株式会社京都セミコンダクター 受光装置

Also Published As

Publication number Publication date
US11137582B2 (en) 2021-10-05
US20210072518A1 (en) 2021-03-11
CN108604055A (zh) 2018-09-28
WO2017117039A1 (en) 2017-07-06

Similar Documents

Publication Publication Date Title
ES2326965T3 (es) Metodo para capturar una imagen panoramica por medio de un captador rectangular de imagenes.
US8482595B2 (en) Methods of obtaining panoramic images using rotationally symmetric wide-angle lenses and devices thereof
TW469348B (en) Super wide-angle panoramic imaging apparatus
US8798451B1 (en) Methods of obtaining panoramic images using rotationally symmetric wide-angle lenses and devices thereof
JP6736262B2 (ja) 光学系および撮像システム
US20190011678A1 (en) Compact panoramic camera: optical system, apparatus, image forming method
US9148565B2 (en) Methods and apparatus for panoramic afocal image capture
CN102177468A (zh) 三反射镜全景相机
JP4974765B2 (ja) 画像処理方法及び装置
TWI708111B (zh) 多相機全景成像系統及多相機成像系統
CN108604055B (zh) 具有奇次项非球面轮廓或多透镜的全方向折反射透镜
US20150346582A1 (en) Omnidirectional imaging device
US20140362232A1 (en) Objective lens with hyper-hemispheric field of view
CN110376725B (zh) 一种鱼眼镜头系统
WO2009017332A1 (en) Methods of obtaining panoramic images using rotationally symmetric wide-angle lenses and devices thereof
WO2017174867A1 (en) Wide angle lens for capturing a panorama image
US20140340472A1 (en) Panoramic bifocal objective lens
Pernechele Hyper-hemispheric and bifocal panoramic lenses
JP6004073B2 (ja) 光学系及び撮像装置
JP5839135B2 (ja) 全天球型光学系及び撮像装置
US10222596B2 (en) Omnidirectional catadioptric lens structure
JP5783314B2 (ja) 全天球型光学系および撮像システム
JP4855076B2 (ja) 光学系
JP2006126322A (ja) 光学系
CN104010119A (zh) 360度环场实时显像装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1260647

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant