CN109633896B - 具有制作误差的容差的透镜设计 - Google Patents
具有制作误差的容差的透镜设计 Download PDFInfo
- Publication number
- CN109633896B CN109633896B CN201811171907.9A CN201811171907A CN109633896B CN 109633896 B CN109633896 B CN 109633896B CN 201811171907 A CN201811171907 A CN 201811171907A CN 109633896 B CN109633896 B CN 109633896B
- Authority
- CN
- China
- Prior art keywords
- image
- view
- field
- optical
- optical system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013461 design Methods 0.000 title claims abstract description 97
- 238000004519 manufacturing process Methods 0.000 title claims abstract description 87
- 230000003287 optical effect Effects 0.000 claims abstract description 300
- 238000003384 imaging method Methods 0.000 claims description 85
- 238000012545 processing Methods 0.000 claims description 42
- 230000005540 biological transmission Effects 0.000 claims description 35
- 238000000034 method Methods 0.000 claims description 35
- 230000035945 sensitivity Effects 0.000 claims description 31
- 230000008569 process Effects 0.000 claims description 10
- 238000009826 distribution Methods 0.000 claims description 8
- 230000007246 mechanism Effects 0.000 claims description 6
- 238000013442 quality metrics Methods 0.000 claims description 4
- 238000012546 transfer Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 description 30
- 230000006870 function Effects 0.000 description 25
- 210000001747 pupil Anatomy 0.000 description 20
- 238000013507 mapping Methods 0.000 description 13
- 238000012937 correction Methods 0.000 description 12
- 238000004364 calculation method Methods 0.000 description 11
- 239000000463 material Substances 0.000 description 10
- 230000004075 alteration Effects 0.000 description 8
- 230000008859 change Effects 0.000 description 6
- 230000033001 locomotion Effects 0.000 description 6
- 238000005457 optimization Methods 0.000 description 6
- 230000035939 shock Effects 0.000 description 6
- 239000011248 coating agent Substances 0.000 description 5
- 238000000576 coating method Methods 0.000 description 5
- 150000001875 compounds Chemical class 0.000 description 5
- 238000013500 data storage Methods 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 4
- 238000003491 array Methods 0.000 description 3
- 201000009310 astigmatism Diseases 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 239000012780 transparent material Substances 0.000 description 3
- 229910000831 Steel Inorganic materials 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 239000004615 ingredient Substances 0.000 description 2
- 238000005304 joining Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004379 myopia Effects 0.000 description 2
- 208000001491 myopia Diseases 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 239000010959 steel Substances 0.000 description 2
- -1 steps Substances 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 239000010432 diamond Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 239000005338 frosted glass Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000000227 grinding Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010348 incorporation Methods 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000001000 micrograph Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 239000002991 molded plastic Substances 0.000 description 1
- 238000001579 optical reflectometry Methods 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 239000004033 plastic Substances 0.000 description 1
- 230000004515 progressive myopia Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000000243 solution Substances 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B3/00—Simple or compound lenses
- G02B3/0006—Arrays
- G02B3/0037—Arrays characterized by the distribution or form of lenses
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B13/00—Optical objectives specially designed for the purposes specified below
- G02B13/001—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras
- G02B13/0015—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras characterised by the lens design
- G02B13/002—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras characterised by the lens design having at least one aspherical surface
- G02B13/0045—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras characterised by the lens design having at least one aspherical surface having five or more lenses
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0012—Optical design, e.g. procedures, algorithms, optimisation routines
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B13/00—Optical objectives specially designed for the purposes specified below
- G02B13/001—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras
- G02B13/0055—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras employing a special optical element
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B3/00—Simple or compound lenses
- G02B3/02—Simple or compound lenses with non-spherical faces
- G02B3/06—Simple or compound lenses with non-spherical faces with cylindrical or toric faces
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B9/00—Optical objectives characterised both by the number of the components and their arrangements according to their sign, i.e. + or -
- G02B9/64—Optical objectives characterised both by the number of the components and their arrangements according to their sign, i.e. + or - having more than six components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Optics & Photonics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Geometry (AREA)
- Evolutionary Computation (AREA)
- Lenses (AREA)
Abstract
公开具有制作误差的容差的透镜设计。还涉及一种光学系统,其产生视场的数字图像,包括:a)光传感器的传感器阵列,其产生输出信号,所述输出信号指示由每个光传感器所接收的光的强度;b)一个或多个光学元件,其将视场的图像一起投影到传感器阵列上,所述传感器阵列包括至少一个经区段化的光学元件,所述经区段化的光学元件包括多个区段,所述区段中的至少两个在大小和形状中的一个或两个方面中不同,每个区段往传感器阵列上投影视场的仅仅一部分的图像,不同的区段将视场的不同部分的图像投影到传感器阵列的非重叠的区。
Description
相关申请
本申请从2017年10月9日提交的、题为“LENS DESIGN WITH TOLERANCE OFFABRICATION ERRORS”、以shardon Sade名义的、申请号为62/569,650的美国临时申请要求优先权。
以上申请的内容通过引用被并入,如同在本文中以其全部被充分阐明的那样。
技术领域
本发明在其一些实施例中涉及光学系统的设计,并且更具体地但是不排他地涉及用于成像系统和用于投影系统的、具有经改善的制造容差的透镜设计。
背景技术
手机中使用的相机典型地具有从透镜第一表面到传感器的非常短的距离,以便适合电话的厚度。为了具有高分辨率,这样的相机典型地需要具有与该距离可比或大于该距离的传感器对角线长度,用以允许传感器具有大量像素,并且具有宽的孔径,以便避免通过衍射效应而限制分辨率。这些约束中的二者典型地导致如下的透镜设计:所述透镜设计具有大量透镜元件、例如7个透镜元件并且具有图像品质对制造误差的高敏感性,所述制造误差既针对透镜元件的形状也针对其定位。这样的对组件的形状和定位中的误差的高敏感性可能导致低的制造产出,因为对于足够紧的容差可能难以或不可能制造透镜。另外,对透镜元件的相对定位中的误差的高敏感性可能使得难以使用如下透镜:所述透镜在使用中的时候打开折叠或打开套叠,其否则可以允许从透镜的表面到传感器的距离大于电话的厚度。这样的折叠透镜或套叠透镜经常被使用在全尺寸的相机中,所述全尺寸的相机没有图像品质对制造误差的这样高的敏感性。为了将透镜元件的形状和定位中的误差保持在可接受的水平处而对于紧制造容差的需要还增加制造具有给定图像品质的手机相机的成本。
类似的评论适用于在致密投影系统、诸如必须适合护目镜的平视显示器中所使用的透镜。
全景视频、诸如IMAX电影可以在非常宽的角度、甚至360度上延伸,其通过使用指向不同方向的多个相机,使得相机共同覆盖视频的所期望的总角宽。来自不同相机的图像可以各自被投影在不同的表面上或表面的不同部分上,以这样的方式使得不同的图像看似无缝地被接合在一起。
数字相机通常伴随有软件,所述软件将通过使相机在覆盖比相机的视场更宽的角度的场景上摇摄所拍摄的多个照片无缝地接合在一起。
相机可以具有多于一个透镜,其同时产生不同的图像。例如,在彩色胶片可用之前的早期的彩色摄影有时使用三个透镜,各自具有不同的滤色器,其产生相同场景的三幅图像,所述三幅图像可以被组合以形成彩色图像。类似地,由具有并排的两个透镜的相机制成立体照片。
出于许多用途而使用小透镜、有时被称为lenslet(小透镜)的阵列。在<http://spie.org/publications/fg11_p68_lenslet_arraysSSO=1>处找到的、在2018年2月22日下载的论文描述了使用小透镜阵列来实现更均匀的照明。通过2018年2月22日下载的<https://en.wikipedia.org/wiki/Shack%E2%80%93Hartmann_wavefront_sensor>所描述的夏克-哈特曼(Shack-Hartmann)波前传感器是一种光学仪器,所述光学仪器使用小透镜的阵列来表征成像系统。给Ran等人的专利号为8,530,243的美国专利描述了一种透镜的阵列,其用于为了执行光学生物测定的目的而产生多幅图像,其中每个透镜投影从生物测定的感兴趣的不同区域所接收的光。2018年4月29日从<https://www.medgadget.com/2018/04/new-glasses-slow-down-myopic-progression-in-children.html>下载的文章描述了“能够减慢儿童中的近视进展的玻璃透镜。透镜的中心像在常见的一副眼镜中那样起作用,针对近视和散光而进行调节,而同时在该区周围,透镜包括几十个有助于视力矫正的近视去焦点。
如由2018年2月22日下载的<https://en.wikipedia.org/wiki/Fresnel_lens>所描述的,通过将透镜划分成一组同心环状区段,菲涅耳透镜与常规透镜相比减少所需的材料的量。在每个区段中,相比于等同的单透镜,总体厚度减小。这有效地将标准透镜的连续表面划分成具有与标准透镜相同的曲率的一组表面,其中在它们之间具有逐步的不连续性。
如由2018年2月22日下载的<https://en.wikipedia.org/wiki/Point_spread_function>所描述的,在显微镜图像处理和天文学中,知道测量设备的点扩散函数(PSF)对于利用反卷积来还原原始图像而言是重要的。
附加的背景技术包括给Liang的公布号为2009/0116127的美国专利申请。
发明内容
本发明的一些实施例的一方面涉及具有经区段化的透镜的成像系统,透镜的每个区段产生视场的不同部分的可能畸变的图像,对此,软件可以平滑地将不同的图像接合在一起从而形成整个视场的单个相对不畸变的图像。
因而根据本发明的示例性实施例提供有一种产生视场的数字图像的光学系统,包括:
a)光传感器的传感器阵列,其产生输出信号,所述输出信号指示由每个光传感器所接收的光的强度;
b)一个或多个光学元件,其一起将视场的图像投影到传感器阵列上,包括至少一个经区段化的光学元件,所述经区段化的光学元件包括多个区段,所述区段中的至少两个在大小和形状中的一个或两个方面中不同,每个区段往传感器阵列上投影视场的仅仅一部分的图像,不同的区段将视场的不同部分的图像投影到传感器阵列的非重叠的区。
可选地,传感器阵列大体上是平面的。
可选地,视场的每个部分与其它部分中的至少一个部分地重叠。
可选地,传感器阵列的大多数区域接收来自属于视场的仅仅一个部分的视场部分的光。
在本发明的示例性实施例中,所述光学系统包括计算机,所述计算机接收传感器阵列的输出信号,并且被配置成使用输出信号来找到视场的不同部分的数字图像,并且使用图像处理算法来将视场的不同部分的数字图像组合成视场的数字图像。
可选地,视场的每个部分与其它部分中的至少一个部分地重叠,并且所述图像处理算法使用各部分的重叠部分来组合数字图像。
可选地,图像处理算法被配置成组合视场的不同部分的数字图像,使得各部分的重叠部分在视场的数字图像中仅仅出现一次。
可选地,图像处理算法减少或消除在与视场的不同部分相对应的位置之间的视场的数字图像中的不连续性。
可选地,图像处理算法从视场的不同部分的数字图像的至少一部分反卷积预期的点扩散函数(PSF),这在组合数字图像之前、组合它们之后或既在之前也在之后。
可选地,由成像系统反卷积的针对一个或多个数字图像的至少一部分的预期PSF使其在中心区内的积分的至少95%没有零。
可选地,针对一个或多个数字图像的至少一部分,预期的PSF至少基于来自有效孔径的衍射,并且所述有效孔径包括一区,该区具有大于有效孔径中的最大透射的10%并且小于所述最大透射的90%的透射,其中具有多于所述最大透射的10%的孔径区域的至少20%针对在400和1100nm之间的至少一些光波长具有小于所述最大透射的90%。
可选地,视场的不同部分的图像在它们之间具有间隙,所述间隙不是视场的任何部分的数字图像的部分。
可选地,所述至少一个经区段化的光学元件具有一表面,所述表面具有的定向在区段之间的边界处不连续。
可选地,所述至少一个经区段化的光学元件在区段之间具有一个或多个梯级(step),并且在梯级的相对侧上的两个相邻区段中的该光学元件的表面的定向在所述梯级的相对侧之间是不连续的。
可选地,对于抵达区段中两个区段的、在相同方向上行进的光线而言,所述至少一个经区段化的光学元件具有在所述两个区段之间的至少一些边界处不连续地改变的光学倍率(optical power)。
可选地,所述至少一个经区段化的光学元件包括在区段中的至少一些之间的间隙。
可选地,每个间隙具有的宽度小于该间隙所处于之间的区段中的每一个在跨间隙的方向上的宽度的20%。
可选地,从传感器阵列到所述一个或多个光学元件的任何部分的最大距离小于在视场的图像的部分被投影在其上的传感器阵列的任何两个部分之间的最大距离。
可选地,所述光学系统包括一种机制用于将所述一个或多个光学元件相对于彼此、相对于传感器阵列或既相对于彼此也相对于传感器阵列可逆地折叠或折拢(collapse),从而使得光学系统当它不处于使用中的时候更致密。
可选地,与小于自视场的中心方向的30度的视场中的方向相对应的、被投影在传感器阵列上的图像的至少一部分具有大于10%的畸变度。
可选地,视场中没有任何方向距作为视场的另一部分的部分的方向多于10度。
可选地,视场的各部分中没有任何两个在角范围上具有相同的形状和大小。
可选地,视场的各部分中的至少两个在角范围上包括大体上同心的环。
在本发明的示例性实施例中,投影来自视场的至少两个部分的光的经区段化的光学元件的区段在形状上大体上是环形的,并且关于相同的光轴大体上轴对称。
可选地,所述两个区段具有平均向内朝向光轴定向的前表面以及平均向外远离光轴定向的后表面,其中位于更靠近于光轴处的区段中第一个的前和后表面平均定向成与位于更远离光轴的区段中第二个的前和后表面相比具有呈距光轴的更浅的角的法向方向。
可选地,位于更靠近于光轴的区段中第一个具有的针对它从视场投影到传感器阵列的光线的平均光学倍率与位于更远离光轴的区段中第二个针对它从视场投影到传感器阵列的光线的平均光学倍率相比不太积极。
可选地,所述两个区段包括内部区段和外部区段,其各自具有前表面,通过所述前表面,它们接收来自视场的光,所述内部区段的前部区段与外部区段的任何前表面相比完全更靠近光轴,其中所述内部区段的前表面与外部区段的前表面相比具有更大的径向范围。
可选地,所述两个区段包括内部区段和外部区段,其各自具有后表面,通过所述后表面,它们向传感器阵列传输光,所述内部区段的后部区段与外部区段的任何后表面相比完全更靠近光轴,其中所述内部区段的后表面与外部区段的后表面相比具有更大的径向范围。
可选地,经区段化的光学元件的区段包括被布置在同心圆中的多个小透镜。
可选地,所述光学系统包括前孔径,所述前孔径限制来自视场的、通过并且超过第一光学元件的光,来自视场的光线经过所述第一光学元件,其中通过前孔径的光的至少70%贡献于传感器阵列上的视场的图像。
可选地,前孔径的区域被连接。
可选地,前孔径的边界在一个平面中,并且所述前孔径在该平面中是其自己的凸包。
在本发明的示例性实施例中,所述光学系统具有光轴,沿着光轴、从光学元件的最远前表面到传感器阵列的、小于7mm的总轨道长度,以及在中心方向周围的所有方向上延伸至少30度的视场,其中,如果所述光学系统是利用每个光学元件而被制造的,并且所述一个或多个经区段化的光学元件的每个区段独立地具有随机定位误差,其中法向分布具有2μm的两个标准偏差值,且没有任何其它制造误差,那么制造产出对于满足如下条件的系统将会是至少50%:调制传递函数至少对于至少为80循环/mm的分辨率、对于555nm的光、对于与中心方向的30度内的视场中的方向相对应的图像上所有位置至少为50%,并且对于与视场中的中心方向对应的图像中位置至少为70%。
根据本发明的示例性实施例此外提供有一种为根据本发明的实施例的光学系统选择设计的方法,其具有图像品质对光学元件的形状、相对定向和相对定位中一个或多个的制造误差的减小的敏感性,而同时仍至少维持取决于视场上的数字图像品质的图像品质度量的最小值,所述方法包括:
a)对于针对光学系统的多个不同设计中的每一个,其中的所有都至少具有图像品质的度量的最小值,计算针对图像品质对制造误差的敏感性的品质因数(figure ofmerit),较高的品质因数对应于图像品质对制造误差的较低敏感性;以及
b)选择品质因数最高的设计。
根据本发明的示例性实施例此外提供有一种用于将原始数字图像投影到实或虚投影图像以供观看的光学系统,所述系统包括:
a)计算机,所述计算机被编程以处理原始数字图像,从而产生经修改的数字图像,所述经修改的数字图像包括多个非重叠的区,每个区包括原始数字图像的不同区的畸变映射;
b)显示屏,所述显示屏显示所述经修改的数字图像;以及
c)投影系统,所述投影系统包括一个或多个光学元件,所述光学元件将显示屏投影到实或虚投影图像以供观看,包括至少一个经区段化的光学元件,所述经区段化的光学元件包括多个区段,所述区段中的至少两个在大小和形状的一个或二者中不同,每个区段将所述经修改的数字图像的各区中的不同的一个区投影到实或虚投影图像;
其中所述计算机被编程以使用图像处理算法来处理原始数字图像使得在所述经修改的数字图像中的畸变大体上补偿由投影系统所引起的对所述经修改的数字图像的畸变,并且实或虚投影图像在被观看的时候大体上是原始数字图像的非畸变的图像。
可选地,原始数字图像的不同区中的至少一些与彼此重叠。
可选地,从显示屏到所述一个或多个光学元件的任何部分的最大距离小于在经修改的数字图像的部分被显示在其上的显示屏的任何两个部分之间的最大距离。
可选地,所述光学系统包括一种机制用于将所述一个或多个光学元件相对于彼此、相对于显示屏或既相对于彼此也相对于显示屏可逆地折叠或折拢,从而使得所述系统当它不处于使用中的时候更致密。
可选地,与距原始数字图像的中心位置小于30度的原始数字图像一部分相对应的所述经修改的数字图像的至少一部分具有大于10%的畸变度。
可选地,如被观看的所投影图像中没有任何方向距与所述经修改的数字图像中的非重叠区中的不同的一个区相对应的方向多于10度。
可选地,原始数字图像的不同区中没有任何两个具有相同的形状和大小。
可选地,原始数字图像的不同区中的至少两个包括大体上同心的环。
可选地,针对显示屏的至少一部分,投影系统具有有效孔径,所述有效孔径包括一区,该区具有大于有效孔径的最大透射的10%并且小于所述最大透射的90%的透射,其中具有多于所述最大透射的10%的孔径区域的至少20%针对由显示屏的该部分所发射的可见光的至少一些波长具有小于所述最大透射的90%的透射。
根据本发明的示例性实施例此外提供有一种为根据本发明的实施例的光学系统选择设计的方法,其具有所观看的图像的图像品质对投影系统的所述一个或多个光学元件的形状、对彼此以及对显示屏的相对定向和相对定位中的一个或多个方面的制造误差的降低的敏感性,而同时仍至少维持取决于所观看的图像的品质的图像品质度量的最小值,所述方法包括:
a)对于针对所述系统的多个不同设计中的每一个,计算针对图像品质对制造误差的敏感性的品质因数,较高的品质因数对应于图像品质对制造误差的降低的敏感性;以及
b)选择品质因数最高的设计。
根据本发明的示例性实施例此外提供有一种光学配置,所述光学配置将至少一个视场的图像投影到针对该视场的至少一个焦面上,所述配置包括一个或多个光学元件,所述光学元件一起将视场的图像投影到所述焦面上,包括至少一个包括多个区段的光学元件,所述区段中的至少两个在大小和形状中的一个或两个方面中不同,每个区段往所述焦面上投影视场的仅仅一部分的图像,不同的区段将视场的不同部分的图像投影到焦面的非重叠的区。
除非另行定义,否则本文中使用的所有技术和/或科技术语具有与本发明所关于的领域中的普通技术人员所通常理解的相同的含义。尽管与本文中所述的那些类似或等同的方法和材料可以被使用在本发明的实施例的实践或测试中,但是在下面描述示例性的方法和/或材料。在冲突的情况中,包括定义的专利说明书将掌控。另外,材料、方法和示例仅仅是说明性的并且不意图必定进行限制。
本发明的实施例的方法和/或系统的实现可以手动地、自动地或其组合涉及执行或完成所选任务。此外,根据本发明的方法和/或系统的实施例的实际仪器和装备,若干所选任务可以由硬件、由软件或由固件或由其组合通过使用操作系统来被实现。
例如,用于执行根据本发明的实施例的所选任务的硬件可以被实现为芯片或电路。作为软件,根据本发明的实施例的所选任务可以被实现为由计算机通过使用任何合适的操作系统来执行的多个软件指令。在本发明的示例性实施例中,根据如本文中所述的方法和/或系统的示例性实施例的一个或多个任务由数据处理器执行,所述数据处理器诸如用于执行多个指令的计算平台。可选地,数据处理器包括用于存储指令和/或数据的易失性存储器,和/或非易失性存储装置,例如磁性硬盘和/或可移除介质,用于存储指令和/或数据。可选地,也提供网络连接。可选地也提供显示器和/或用户输入设备、诸如键盘或鼠标或触摸屏。
附图说明
在本文中参考附图、仅仅经由示例来描述本发明的一些实施例。现在详细具体地参考附图,强调所示的详情作为示例并且用于对本发明的实施例的说明性讨论的目的。在此方面,利用附图所理解的描述使得如何可以实践本发明的实施例对本领域技术人员而言是显而易见的。
在附图中:
图1是根据现有技术的手机相机透镜的示意性横截面视图;
图2是根据本发明的示例性实施例的成像系统的示意图;
图3是在图2的成像系统中所使用的图像处理方法的流程图;
图4是在图2中所示的成像系统中使用的透镜的示意性横截面视图,其示出了所追踪的从图像的视场到传感器的光线;
图5A和5B是示意图,其示出了针对与图2和4中所示的类似的两个不同的成像系统的、被投影在位于远处并且被定向成与纵轴正交的平面矩形网格的传感器上的畸变图像的示例,其中与图5B中所示的图像中的相比在图5A中所示的图像中具有更大的畸变;
图6是根据本发明的示例性实施例的用于显示数字图像的投影系统的示意图;
图7是在图6的投影系统中所使用的图像处理方法的流程图;
图8是用于设计成像系统或投影系统的方法的流程图,所述成像系统诸如图2中所示的系统,所述投影系统诸如图6中所示的系统。
具体实施方式
本发明在其一些实施例中涉及光学系统的设计,并且更具体地但是不排他地涉及用于成像系统和用于投影系统的、具有经改善的制造容差的透镜设计。
成像系统概览
本发明的一些实施例的一方面涉及一种成像系统,其中光学元件、例如透镜一起将视场的图像投影到成像传感器上,例如包括光感测元件的阵列的传感器,并且光学元件中的至少一个被划分成区段,其中的每一个将视场的仅仅一部分的图像投影到传感器上,其中所述区段中的至少一些在大小和/或形状方面不同。不同的图像被投影到传感器的非重叠的区,并且可能畸变。在计算机或其它数字处理器上运行的图像处理软件可选地将不同的图像接合成整个视场的经校正的数字图像,例如非畸变图像,其中不同图像在没有不连续性的情况下被平滑地接合在一起。由于经区段化的光学元件的每个区段投影视场的仅仅一部分的图像,并且由于可以通过软件来校正畸变,所以所述成像系统与适合在相同有限空间内、例如手机中的常规成像系统相比,在光学元件的形状和定位方面具有对制造误差的好得多的容差,和/或潜在地具有好得多的图像品质。
所述成像系统不需要包括图像处理软件来将不同的图像接合成视场的经校正的图像,并且不需要包括计算机或数字处理器来运行这样的软件,并且成像系统的用户可以供给图像处理软件和/或计算机或数字处理器来运行它。但是如果它伴随有这样的图像处理软件和/或计算机或数字处理器来运行它,则对于成像系统的用户而言潜在是有利的。
如本文中所使用的,“视场”意味着距前透镜元件的方向的范围,以及距离的范围,其一般可取决于方向。距离的范围可以包括无穷。对于视场内的方向的距离范围内的对象将在传感器表面上被成像,尽管取决于其距前透镜的距离,它们将不一定在完美的焦距中,并且甚至可能不在非常好的焦距中。存在于针对视场内的方向的距离范围外的对象可以被成像因此在传感器表面上失焦使得来自该对象的、抵达传感器表面上的相同位置的两个光线通过经区段化的元件的两个不同区段被投影。每个区段将光投影到其自己在传感器表面的区,该区不接收通过任何其它区段所投影的光,这一条件不需要适用于从在视场的距离限制外的对象所接收的光,即使它处于视场的方向的范围内。如果光学元件被四处移动以改变光学系统的焦距或缩放,那么一般而言视场可以在方向的范围中和/或在针对给定方向的距离的范围中改变。
可选地,利用可见光、或利用一波长范围中、诸如近紫外或近红外的光来进行成像,其中成像技术类似于针对可见光、例如在200和2500nm之间或甚至在100nm和10,000nm之间的光所使用的那些。如本文中所使用的,“光”可以是指其中成像技术类似于用于可见光的那些的波长范围中的光,并且“成像”可以是指利用这样的光的成像。
可选地,被投影到传感器的不同图像不仅不重叠,而且它们之间还具有间隙。位于那些间隙中的传感器的光感测元件可以接收来自其视场部分外的一些光,所述光由一区段或甚至由多于一个区段投影,但是由那些光感测元件所接收的光可选地不被图像处理软件用于产生经校正的数字图像,并且那些像素可选地不被视为通过经区段化的元件的不同区段被投影到传感器表面的视场的不同部分的任何图像的部分。
可选地,视场的不同部分重叠,并且可选地,重叠的部分被图像处理软件用于平滑地接合不同的图像。当这发生时,对应的两个不同区段可以二者都接收来自视场中相同方向的光线,但是由一个区段所接收的光线可以通过孔径的仅仅部分而进入光学系统,并且由另一区段所接收的光线可以通过孔径的仅不同的部分而进入光学系统。
可选地,进入成像系统的前孔径的、来自视场的光的一大部分抵达传感器以形成图像,例如至少70%,或至少75%,或至少80%,或至少85%,或至少90%。光的其余部分被阻止,例如被吸收或反射,在前孔径和传感器之间的某处。可选地,如本文中所使用的“前孔径”意指如下区域:通过所述区域,光在其从视场到传感器用于形成图像的途中进入并且通过第一光学元件,例如前透镜元件,并且该孔径可以等同于第一光学元件,或者它可以包括挡板或机械阻止部,和/或滤波器,其紧接在第一光学元件之前或紧接在其后。可替换地,如果该区域的边界全部在一个平面中,则前孔径被定义为该区域在该平面中的“凸包”,其中区域的凸包被定义为在平面中包含该区域的最小区,为此,接合该区的边界上的任何两点的线段完全通过该区。可选地,前孔径,无论它是否以该方式被定义为区域的凸包,都包括透射小于来自视场、进入它们的光的100%但是多于其0%的一些区域,并且可选地,那些区域中的一些与那些区域中的其它区域相比透射来自视场、进入它们的光的较低百分比,例如前孔径至少近似是高斯孔径。可选地,被透射通过前孔径的光的一大部分抵达传感器以形成图像,例如至少70%、或至少75%、或至少80%、或至少85%或至少90%,尽管来自视场、抵达前孔径的前部的光的一大部分不一定抵达传感器以形成图像。可选地,仅仅存在单个前孔径,其在本文中被定义为单个连接的区域,不一定等于其凸包,通过所述前孔径,来自视场的任何光抵达传感器以形成图像。可选地,该单个前孔径等于其凸包。
在具有与总轨道长度相比的相对大的传感器宽度和高度,以及相对宽的视场的成像系统中,可能存在一种趋势,对于与视场的更外部分相对应并且被投影到传感器阵列的更外部分的图像的部分,与被投影到更靠近于中心的传感器阵列的部分的视场的更内部分相比,具有更低的图像品质,和/或图像品质对制造误差的更大敏感性。可选地,为了改善视场的更外部分中的图像品质和/或图像品质敏感性,经区段化的元件的区段在形状上是环形的,围绕中心轴,其中该环的径向厚度对于从中心轴往外更远、投影视场的更外部分的图像的区段而言与对于更靠近于轴并且投影视场的更内部分的图像的区段相比更小。
可选地,经区段化的光学元件的不同区段具有在它们之间的边界处不连续的表面定向。可选地,在不同的区段之间存在间隙。如果在两个区段之间的边界处存在间隙,那么“在边界处的表面的定向中的不连续性”意味着给定在边界附近的每个区段中的表面的曲率,在从一个区段去向另一个中,与跨该大小的间隙将会预期的相比,定向改变得更多。可选地,在表面定向中的不连续性就像菲涅耳透镜的不连续性,其中在不同的区段之间存在梯级,但是在梯级的每侧上的表面的定向是相同的。可替换地,不像菲涅耳透镜,即使在区段之间存在梯级,在梯级的每侧上的表面的定向是不同的,可选地非常不同。可选地,经区段化的光学元件的一表面,所述表面大体上平行于来自被与该表面相邻的区段所投影的视场部分的光线,其出于在边界处的表面的定向中存在不连续性的声明的目的而不被视为表面,而是仅仅被视为在区段之间的梯级。通过该定义,菲涅耳透镜,其投影来自无穷以及来自距其轴仅呈小角的方向的光线的图像,在其在区段之间的表面的定向中没有不连续性。
可选地,在两个区段之间的任何间隙在跨间隙的方向上与区段的宽度相比相对窄,例如小于区段宽度的20%或小于其10%。可选地,在两个区段之间的间隙是不透明的,因此它不透射光。可替换地,间隙是透明的,并且包括空气,或者包括透明材料,例如区段由之制成的相同透明材料。如果间隙中的一个或多个是透明的,那么可选地,它们足够小使得它们透射到传感器的任何光与通过区段透射的光相比将具有非常低的强度,并且将不非常多地干扰图像品质。如果间隙由透明材料、诸如区段由之制成的相同材料制成,那么可选地,经区段化的光学元件的表面跨间隙是连续的,并且跨间隙具有连续的定向。例如,代替于在区段之间的锐利的梯级或锐利的中断,所述梯级或中断稍微地圆化并且平滑。这可能使得更容易制造经区段化的元件。
可选地,在从经区段化的元件的一个区段去往相邻区段中,对于在相同方向上行进的光线,在光学倍率中存在不连续性。这意味着例如在一个区段和相邻区段之间,对于前表面或后表面或二者,存在表面曲率中的突然改变。如果在两个相邻区段之间存在窄间隙,那么可选地,在从一个区段去往另一个区段中,与在区段之一内行进相同距离相比,光学倍率改变得多得多。如本文中所使用的,这被视为在相邻区段之间在光学倍率中的不连续性。可选地,至少对于一些区段,区段内的光学倍率与区段之间在光学倍率中的差异相比相当均匀。具有在每个区段内相当均匀的光学倍率,以及在区段之间光学倍率中的较大改变可降低图像品质对经区段化的元件的定位中的误差的敏感性,并且可以改善图像品质,如将在下文中在图4的描述中所解释的。
可选地,光学元件一起构成致密的透镜,其中从透镜的第一光学表面到传感器的最大距离——被称为总轨道长度(TTL)——小于在视场的图像的部分被投影在其上的传感器的任何两个部分之间的最大距离,所述最大距离在矩形传感器——其中所有被用于图像——的情况中是传感器的对角线尺寸,或小于视场的图像的部分被投影在其上的传感器的任何两个部分之间的最大距离的0.5或0.7或0.85或1.2或1.5或2倍。可选地,透镜的焦距小于视场的图像的部分被投影在其上的传感器的任何两个部分之间的最大距离,或小于视场的图像的部分被投影在其上的传感器的任何两个部分之间的最大距离的0.5或0.7或0.85或1.2或1.5或2倍。
可选地,当成像系统不在使用中的时候,成像系统的光学元件可以被折叠起来或折拢。可选地,对制造误差的容差足够好使得当光学元件被折叠起来或折拢、然后当成像系统被使用时被还原至其适当的定位的时候,在不同光学元件与彼此或与传感器的相对定位中的任何结果产生的误差不超过容差。在手机相机的现有技术中,这通常不可能,因为容差太紧,并且作为结果,TTL必须小于手机的厚度,并且与对于较大相机相比,分辨率和图像品质一般大体上更差。在这样的折叠透镜的情况下,手机中的相机可以潜在地具有与那些典型的良好品质全尺寸相机、例如良好品质数字35mm相机可比的光学品质和分辨率。
可选地,视场中没有任何方向距作为视场各部分中不同的一个部分的部分的方向多于5度、或多于10度、或多于20度、或多于30度、或多于45度。可选地,视场的各部分中没有任何两个具有相同的形状和大小,或者视场的各部分中至少两个具有不同的形状或不同的大小或这二者。可选地,视场的各部分中至少两个包括大体上同心的环,每个环可选地具有大体上呈同心圆的内部和外部边界,或者所有部分包括大体上同心的环,每个环可选地具有大体上呈同心圆的内部和外部边界。此处,“大体上同心的圆”意指每个边界遵循圆形路径的半径的20%或10%或5%或2%或1%内的圆形路径,并且针对内部和外部边界的圆形路径的中心在一起比针对外部边界或针对内部边界的圆形路径的半径的20%或10%或5%或2%或1%更靠近。可选地,区段中的至少两个或全部区段具有绕沿着视场的中心方向定向的光学元件的相同轴大体上圆柱形对称的边界。可选地,经区段化的光学元件绕该轴大体上圆柱形对称。可选地,光学元件一起绕该轴大体上圆柱形对称。此处,“大体上圆柱形对称”意指遵循距对称轴的距离的20%或10%或5%或2%或1%内的圆柱形对称的形状。
可替换地,经区段化的光学元件的区段、以及视场的对应部分远离绕轴呈轴对称的。例如,区段包括多个不完全等同的小透镜,例如小透镜被布置在绕轴的一系列同心圆中,或小透镜被布置在绕轴的螺旋图案中,并且更靠近轴的小透镜具有与更远离轴的小透镜不同的形状和/或不同的大小。
具有经区段化的光学元件的成像系统的潜在优点是:也许有可能设计系统使得与针对不包括经区段化的光学元件的类似系统相比,其图像品质显著不太敏感于不同光学元件和区段的定位、定向和形状中的制造误差。例如,考虑一种具有经区段化的光学元件的相机,其适合用于使用在手机中,具有小于4mm、或小于5mm、或小于6mm、或小于7mm、或小于8mm、或小于10mm的总轨道长度(TTL),并且具有从中心方向延伸至少25度、或至少30度、或至少32度、或至少35度、或至少40度、或至少50度的视场,并且制造成如下规范:所述规范要求图像在单个波长、例如555nm下具有至少30%、或至少40%、或至少50%、或至少60%、或至少70%的调制传递函数(MTF),或者针对多个不同的波长、例如相应地具有权重、例如0.1、0.5、1.0、0.5和0.1的权重的470nm、510nm、555nm、610nm、以及670nm具有MTF的加权平均值,其针对至少40循环/mm、或至少60循环/mm、或至少80循环/mm、或至少100循环/mm、或至少120循环/mm、或至少140循环/mm、或至少160循环/mm、或至少200循环/mm、或至少250循环/mm的至少一个分辨率值,在与视场的中心方向的25度内、或30度内、或32度内、或35度内、或40度内、或50度内的方向对应的图像上所有位置处。应当注意到,在其中MTF是分辨率的单调递减函数的通常情形中,针对在图像中的给定位置处的给定波长,要求MTF针对至少80循环/mm的至少一个分辨率值为至少50%等同于要求MTF在80循环/mm的分辨率处为至少50%,并且类似地针对MTF和分辨率的其它值。然后可选地,如果每个光学元件以及经区段化的光学元件的每个区段具有变化的定位制造误差,所述变化随正态分布,具有1.5μm或2.0μm或3.0μm或4.0μm的两个标准偏差值,具有独立于其它光学元件和区段的随机大小和方向,那么满足规范的相机制造产出将至少为40%或至少50%或至少60%或至少70%或至少80%或至少90%。为了针对没有经区段化的光学元件的类似规范的手机相机获得类似高的制造产出,光学元件的定位中的误差典型地必须显著更小,例如1.0μm或更小的两个标准偏差值。在尺寸、视场和分辨率方面类似、一个具有经区段化的光学元件以及一个没有经区段化的光学元件的两个这样的相机设计的示例在下文中在“示例”章节中被呈现。这两个设计都针对图像品质对制造误差的不敏感性而被优化。对于制造容差的合理集合,具有经区段化的光学元件的设计具有80%的产出,而没有经区段化的光学元件的设计具有仅仅20%的产出。为了将后一设计的产出增大到80%,它将必须在仅仅一半大的容差的情况下被制造。
可选地,图像处理算法从视场的不同部分的数字图像的至少一部分反卷积预期的点扩散函数(PSF),这在组合数字图像之前、组合它们之后或既在之前也在之后。通常,预期的PSF对于不同的波长可以不同,并且可以针对不同的波长或针对不同的波长带分离地从图像反卷积。可选地,预期的点扩散函数至少部分地基于光学元件的已知特性,如与预先可能不知道的因素、诸如距位于视场中的某物的距离形成对照。例如,PSF可以取决于自光学元件的有效孔径的衍射效应,和/或光学元件的像差。通常,PSF对于视场的给定部分中的不同方向可不同。PSF中零的存在可能使得反卷积更困难或不太有效。可选地,光学系统被设计使得针对至少一些波长的光,PSF在它之中没有零,或在包括PSF的大多数积分值的中心部分内没有零。例如,针对那些波长,PSF具有中心部分,所述中心部分没有零,其包括PSF的绝对值平方的传感器上的积分的至少95%,或积分的至少98%,或积分的至少99%。可选地,该PSF是由于自孔径的衍射,其逐渐切断光的透射,而不是在所有位置都具有100%透射或0%透射,或不是透射在所有位置都具有其最大值或为0%。例如,针对至少一些波长的光,甚至在针对其透镜元件的材料具有可忽略的吸收的波长处,例如针对大于350nm或400nm并且小于1100nm或1500nm或2000nm的至少一些波长,光的透射在孔径区域的显著分数上小于其最大值的90%,其中透射例如在区域的至少10%或至少20%或至少50%上大于其最大值或10%。例如,所述孔径是对高斯孔径的良好近似,至少在透射降落到零之前往外到某个距离,例如在高斯半最大值处往外到至少全宽,或往外到该距离的至少两倍。真高斯孔径,如果它可能的话,将会具有无零的高斯PSF,这是由于衍射,并且对高斯孔径的良好近似将会具有的PSF是对高斯的良好近似,仅仅在其尾端上往外很远处具有零。
这种成像系统可以被设计成具有经优化的或至少经改善的对制造误差的不敏感性,所述制造误差针对光学元件的形状、定向和定位,而同时仍维持在视场上的最小总图像品质,如由图像品质的某种度量所限定的那样。这可以例如通过如下来进行:限定针对制造容差的品质因数,然后搜遍成像系统的设计的参数空间以找到使品质因数最大化或者具有比所搜索的其它设计更高的品质因数的设计,其服从如下约束:总图像品质至少与所期望的最小值一样大。参数空间可以例如是在任何标准光学设计软件包中所使用的参数空间,其用于限定每个元件的前和后表面的形状,以及经区段化的元件的每个区段。例如,光学元件全部被约束成绕光轴呈轴对称,并且表面甚至是非球面的圆锥形表面。例如在2017年11月16日从<www.zemax.com>下载的、由Zemax LLC发布的Zemax ® 13 用户手册(2014年8月19日,Radiant Zemax)中提供如何为甚至非球面的圆锥形表面以及为许多其它类型的光学表面限定参数的细节。可以使用任何已知的优化算法,利用任何停止准则。尽管这样的设计参数空间搜索还可以用于设计常规的成像系统,但是对于如此处所述的具有经区段化的光学元件的成像系统而言,搜索可以容易得多,这是因为从每个区段对图像品质和制造容差的贡献可以相对地无关于其它区段的设计。这可以允许每个区段与其它区段无关地被优化或近似被优化,这大大减少光学设计的约束。可替换地,在设计参数空间上的搜索最大化或至少尝试增大服从给定制造容差集合的约束的总图像品质,或者搜索可以最大化或尝试增大单个品质因数,所述单个品质因数取决于总图像品质与对制造误差的不敏感性的组合。
本发明的一些实施例的一方面涉及一种光学配置,所述光学配置可以用于投影诸如以上所述的那个之类的光学系统中的视场的图像,即使它作为分离的产品被销售,不包括传感器阵列并且不包括处理图像的计算机。这样的产品可以例如被手机制造商购买,用来并入到手机相机中,使用分离地制造或购买的传感器阵列,并且使用手机的现有数据处理能力来处理图像。对于与所述光学配置相关地限定的至少一个视场,光学配置将该视场的图像投影到至少一个可能的焦面,所述焦面也与光学配置相关地被限定,传感器阵列可以位于其中。视场包括某个范围的方向,以及针对每个方向的某个范围的距离。光学配置包括经区段化的光学元件,其具有多个区段,并且每个区段将视场的一部分的图像投影到焦面的不同部分。焦面的不同部分不重叠,尽管视场的不同部分可以重叠。通常,可以存在许多不同的视场,以及针对每个视场的许多不同的可能的焦面,对此,对于给定的透镜配置而言所有这些都真是这样,其中对于某些焦面而言,与对于其它焦面相比,图像可能地处于更好的对焦中。但是对于至少一个视场以及至少一个焦面而言确实如此。
投影系统概览
本发明的一些实施例的一方面涉及一种投影系统,所述投影系统在显示屏上、例如在平视显示设备中显示数字图像,以及光学元件、例如透镜,所述光学元件可选地将所显示的图像投影到观看者的眼睛。可替换地,光学元件将所显示的图像投影到外部屏幕上,例如可以由房间中的若干人同时观看的大屏幕。光学元件中的至少一个被划分成区段,并且每个区段将从原始数字图像的不同部分而来的所显示的图像的不同区投影到观看者的眼睛。可选地,区段中的至少一些在大小和/或形状方面不同。尽管包括经区段化的元件的光学元件通常使显示屏上所显示的图像畸变,但是图像处理软件使原始数字图像畸变以创建所显示的图像,使得观看者所看到的或被投影到外部屏幕上的图像可选地大体上是原始数字图像的未经畸变的版本,其中原始数字图像的不同部分平滑地接合在一起。例如,观看者所看到的或被投影到外部屏幕上的图像与所显示的图像相比,可选地自原始数字图像畸变少得多。可选地,原始数字图像的不同部分被显示在显示器的非重叠的区上,并且可选地在区之间存在间隙。可选地,没有任何光发射自所述间隙,和/或从间隙发射的任何光不抵达观看者的眼睛或外部屏幕,或者从与作为被投影给观看者的图像的部分的任何光不同的方向抵达观看者的眼睛,或抵达与图像不同的外部屏幕部分,因此它不干扰所看到的图像。
在某种程度上,所述投影系统反向可以被视为成像系统,其中投影系统的原始数字图像对应于成像系统的最终处理的图像,在图像处理之后在投影系统的显示器上的图像对应于图像处理之前在成像系统的传感器上的图像,并且被投影给投影系统的观看者的眼睛的图像对应于成像系统的视场。投影系统的经区段化的光学元件,其通常是相对靠近显示器的元件,对应于成像系统的经区段化的光学元件,其通常是相对靠近传感器的元件。被设计用于成像系统的一组光学元件也可以在投影系统中起作用,并且反之亦然。然而,在成像系统和投影系统的要求中存在某些差异。例如,出射瞳一般必须足够大,例如至少6mm或至少10mm或至少20mm,其取决于例如所投影的图像的视场的宽度,从而当观看者以不同方向看所投影的图像的不同部分的时候适应观看者眼睛的瞳孔的运动,而同时针对成像系统的前透镜没有对应的最小直径。而且,成像系统中的图像处理软件可选地利用来自视场的重叠部分的反馈,用于调节图像处理使得视场的不同部分在最终处理的图像中被平滑地接合在一起,而同时投影系统的图像处理软件可选地开环操作,没有任何反馈来确保在被投影给观看者的图像中,数字图像的不同部分被平滑地接合在一起。
可选地,针对投影系统的原始数字图像的不同部分中的至少一些重叠。数字图像的重叠部分中的像素将可选地在显示器上被显示两次,显示在两个不同的位置处,所述两个不同的位置各自在显示器上各区中不同的一个区中,并且所述像素可选地将沿着两个不同的路径被投影给用户,各自通过经区段化的光学元件的不同区段,并且似乎在观看者所看到的图像中彼此重叠。在该情况中,图像处理软件可选地调节与原始数字图像的重叠部分相对应的所显示像素的强度,使得在观看者所看到的图像中存在通过重叠部分的平滑过渡。
可选地,如在成像系统中那样,经区段化的元件具有一表面,所述表面具有的定向方向在区段之间的边界处不连续,至少在一些地方中不连续。可选地,如在成像系统中那样,在区段之间、至少在一些地方中存在间隙。可选地,投影系统中的光学元件包括关于显示屏的致密透镜,其根据以上针对包括关于传感器的致密透镜的成像系统中的光学元件所给出的任何选项。
可选地,当投影系统不在使用中的时候,投影系统的光学元件可以被折叠起来或折拢。可选地,对制造误差的容差足够好使得当光学元件被折叠起来或折拢、并且然后当投影系统被使用时被还原至其适当的定位的时候,在不同光学元件与彼此或与显示器的相对定位中的任何结果产生的误差不超过容差。
如以上所指出的,用于成像系统的光学元件可以在具有某些例外的情况下也反向被用于投影系统。针对光学元件所产生的畸变度以及针对图像和视场的不同部分的大小和形状的上述所有选项还可以关于投影系统,但是其中由投影系统的观看者所看到的图像起到成像系统的视场的作用,并且其中投影系统的显示器起到成像系统的传感器的作用,并且其中投影系统的原始数字图像起到成像系统的经处理的图像的作用。
类似于成像系统,这种投影系统可以被设计成具有经优化的或至少经改善的对制造误差的容差,所述制造误差针对光学元件的形状和定位,而同时仍维持在用户所观看的图像中的最小总图像品质,如由图像品质的某种度量所限定的那样。可替换地,图像品质可以被优化或改善,其服从于至少维持对制造误差的最小容差,或者基于图像品质和对制造误差的容差这二者以及可选地还基于其它参数的单个品质因数可以被优化或改善。如在设计成像系统的情况中那样,设计投影系统的方法包括在设计参数空间上搜索以用于得到针对容差、图像品质或这二者的经优化或经改善的品质因数,其通过使用任何已知的优化算法。该设计方法与在常规设计的投影系统的情况下相比可以更容易或更有效,因为针对经区段化的光学元件的不同区段中每一个的最优设计可以至少在某种程度上无关于其它区段的设计,从而使得参数空间小得多。
现有技术成像系统
为了更好地理解本发明的一些实施例,如附图的图2-8中所图示的,首先参考现有技术成像系统的构造和操作,所述现有技术成像系统包括在手机相机中所使用的典型透镜,如图1中所图示的。
图1示出了手机相机中所使用的系统的典型成像系统100。阵列传感器102通过复合透镜来记录被聚焦在它之上的光,所述复合透镜包括前透镜元件104,以及在前透镜和传感器之间的附加透镜元件106、108、110和112。透明平板114覆盖传感器表面,用于保护传感器表面,和/或充当滤波器。系统100被设计成具有足够小、例如小于5mm的总轨道长度(TTL)——从透镜元件104的前表面到传感器表面102的距离——用于适应于手机的厚度内,并且所述系统100被设计成具有大于此的总传感器对角线长度,以便提供具有合理高分辨率、高敏感性和低噪声的传感器。另外,透镜被设计成具有相对低的f数,其被定义为有效焦距与有效孔径的比,所述有效焦距近似为TTL,所述有效孔径在该情况中是前透镜104的直径。具有合理低的f数对于给予相机合理高的敏感性与低噪声和高分辨率而言是必要的,并且另外,具有合理大的有效孔径使得分辨率免于被衍射效应降级。这些要求,其意味着相机必须使用具有高数值孔径的致密透镜,导致具有多个元件的复合透镜,所述多个元件各自具有复杂的形状,其中具有对紧制造容差关于元件的形状以及关于元件相对于彼此以及相对于传感器表面的定位和定向的需要,以便保持良好的图像品质。这些紧容差,典型地在用于手机相机的微米数量级上,排除使用折叠或折拢的透镜,其可以另行通过使得TTL大于手机厚度而允许有经改善的性能。另外,对于紧容差的需要使得相机制造起来昂贵,和/或降低相机所产生的图像的品质。
图1示出了光线组116、118、120、122、124、126、128、130、132、134和136,每组光线来自相机视场中的不同方向,并且每组聚焦在传感器表面102上的不同位置上。每组光线包括来自前透镜元件104的前表面的顶部边缘的一个边际光线以及来自所述前表面的底部边缘的一个边际光线,以及通过前透镜元件104的中部的主光线。
应当注意到,每组光线当它通过透镜元件112的时候与其近邻组光线重叠,并且当光线通过任何其它透镜元件的时候存在甚至更多的重叠。这意味着,与图2中所示的成像系统形成对照,透镜元件112,或任何其它透镜元件不能被划分成区段,使得通过每个区段的所有光线结束在其自己在传感器表面102上的区中,其中在各区之间没有重叠。对于透镜元件112往区段的任何划分,通过一个区段的一些光线将与通过近邻区段的一些光线结束在传感器表面102上的相同位置处。这是在成像系统100与图2中所示的成像系统之间的一个差异。这意味着在任何一个区中的透镜112的形状方面的任何改变将影响与传感器表面102的其中图像品质受透镜元件112的另一区影响的区重叠的传感器表面102的一区上的图像品质。透镜元件112的不同区的形状对传感器表面102的不同区处的图像品质的影响的这种互相依赖可使得不可能独立于彼此地优化透镜元件112的不同区的形状,并且对于其它透镜元件也真是如此。代替地,整个透镜设计可能必须被同时优化。这使得难以优化透镜设计,并且倾向于使得透镜设计的图像品质具有对制造误差的很大敏感性。
在详细解释本发明的至少一个实施例之前,要理解的是,本发明不一定被限制在其对以下描述中所阐明的和/或在附图和/或示例中所说明的组件和/或方法的构造和布置的细节的应用中。本发明能够有其它实施例或能够以各种方式被实践或实施。
具有经区段化的光学元件的成像系统
现在参考附图,图2图示了根据本发明的示例性实施例的成像系统200。相机202拍摄视场204的图像,其使用一个或多个不被划分成区段的透镜元件206,以及经区段化的透镜元件208。透镜元件一起将视场的图像投影到图像传感器212的表面210上,例如包括光感测元件的阵列的图像传感器,其中图像传感器将所检测到的图像转换成数字图像文件,例如每个感测元件与图像的一个像素相对应。平板209,其类似于图1中的板114,可选地保护传感器表面210,或充当滤波器。在图2中所示的示例中,透镜元件全部绕纵轴213轴对称,并且透镜元件208的区段各自是环形的,以轴213为中心。经区段化的透镜元件208具有如下性质:通过每个区段的光线来自视场的不同部分,并且结束在传感器表面210的不同区中,其中不同的区不重叠。视场的不同部分可重叠,但是可选地仅仅小量重叠。一般而言,出现在传感器表面210上的视场204的图像畸变,但是该畸变通过图像处理软件被校正。传感器212将未经校正的图像文件214发送到图像处理模块216。未经校正的图像文件对应于被投影到传感器表面210上的畸变图像。图像处理模块216校正图像文件214中的这些畸变,并且将视场的不同部分的图像平滑地接合在一起,这附加于可选地执行其它图像处理任务。结果得到的经校正的图像文件218然后被发送到数据存储介质220,例如相机或手机记忆卡,在其中存储经校正的图像文件。所存储的图像文件然后可以被使用,如同任何其它数字图像文件那样,例如查看它,将它上传到计算机以用于对它进行备份和/或用于进一步图像处理,或将它附到电子邮件。
成像系统200相对于其它成像系统具有如下潜在优点:来自视场的给定一小部分的图像的品质一般取决于经区段化的透镜元件208的区段中的仅仅一个区段的形状和定位,并且不取决于其它区段的形状和定位。这可以使得更容易优化成像系统200以及特别地经区段化的透镜元件208的设计,用于产生针对视场中所有位置的最佳总品质图像,或至少产生经改善的图像品质,即使它不绝对是最大化的。不同区段对图像品质的影响的这种独立性还可以使得有可能使得所述设计的图像品质与针对诸如图1中所示的那个之类的常规成像系统相比具有对制造误差的低得多的敏感性,所述制造误差在光学元件的形状、定向和定位方面。类似地,不同区段的独立性可以使得更容易最大化或改善将允许有给定图像品质的制造容差,或者最大化或改善针对制造容差的给定集合可以获得的图像品质,或者最大化或改善取决于图像品质和图像品质对制造误差的敏感性这二者的品质因数,其中品质因数对于较低的敏感性是更高的。减小的敏感性进而可以使得有可能让相机202使用折叠或折拢的透镜,其中当相机不在使用中的时候,不同的透镜元件可以被折拢,例如适合于手机的小界限中,并且当相机在使用中的时候再次扩展,从而允许TTL大得多,潜在地允许相机与常规手机相机相比具有好得多的图像品质和分辨率,对于所述常规手机相机,TTL被约束成非常小。例如,这样的相机可以具有实际的缩放,如与通常存在于手机相机中的数字缩放相反。而且,使用增大的制造容差的可能性可使得相机制造起来不太昂贵。
尽管经区段化的透镜元件208在图2中被示出为最靠近于传感器表面210的透镜元件,但是经区段化的透镜元件不需要是最靠近传感器表面的透镜元件。然而,如果经区段化的透镜元件相对靠近传感器表面,如图2中那样,则可以更容易设计具有如下性质的经区段化的透镜:通过每个区段的光不重叠在其中光通过不同区段的传感器表面上。在本发明的一些实施例中,可以存在多于一个经区段化的透镜元件。通常,如图2中所见到的,经区段化的元件208的不同区段不需要具有从一个区段到下一个区段连续的表面,而是可以在区段之间具有锐利的梯级。如果在刚性磨具中的高压下用来自模制塑料的单一件制成经区段化的元件208,这可以是用于制造它的最经济的方法,那么一个区段不应当悬于另一区段之上,而是相反地,梯级应当以如下的角度来被定向:所述角度允许透镜一旦已经硬化就从刚性磨具中被移除。对于图2中的经区段化的元件208真是如此。
可选地,透镜元件中的一个或多个和/或整个透镜耦合到致动器,诸如图2中的致动器222、224和226,其允许透镜元件相对于彼此和/或相对于传感器表面而移动,以便将图像聚焦在传感器表面上。附加地或可替换地,传感器212耦合到致动器228,其允许传感器表面210相对于透镜元件而移动,以便将图像聚焦在传感器表面上。致动器可以是适合用于移动相机透镜元件的任何类型的电动机或致动器,例如压电致动器或电动机,或音圈电动机。应当注意到,致动器222、224、226和228在图2中不一定按比例绘制,并且与所示出的相比,相对于光学元件,在形状和大小上可以非常不同。
可选地,自动执行透镜元件的对焦,例如通过使用来自传感器212的反馈以尝试使得图像尽可能地锐利。可替换地,由相机的用户手动执行对焦功能,其通过使用用户接口来电子地控制致动器,或者用户可以通过使用非电子机制来移动透镜元件而使相机对焦。可选地,用户具有手动或自动执行对焦的选项。如果电子致动器用于控制透镜元件的定位,那么可选地,致动器包括压电致动器。可选地,透镜元件与轴213的方向平行地移动,并且当透镜元件绕轴213圆柱形对称的时候,如图2中所示,典型地真是如此。
可选地,透镜元件相对于彼此和/或相对于传感器表面的相对移动也用于实现缩放效果,从而改变相机的有效焦距,并且改变视场的宽度。可选地,由相机的用户控制缩放,其通过使用用户接口来电子地控制致动器,或者通过使用非电子机制来手动地移动透镜元件。可选地,通过如下来进行缩放:在沿着轴213的方向上移动一个或多个透镜元件,例如绕轴213圆柱形对称的透镜元件。
可选地,如果系统200是折叠的或可折拢的成像系统,则致动器或其它致动器也用于折拢或折叠光学元件。使用区段化的光学元件对于折叠或可折拢的成像系统而言可以尤其有用,因为与固定的成像系统将会需要的相比,这样的系统一般需要在光学元件定位方面的大得多的容差。
可选地,在将图像文件214发送到图像处理模块216之前,传感器212在内部执行一些预备图像处理。例如,在相机拍摄照片的时候,传感器212可以实时地执行某种图像处理,以便在图像上执行图像稳定化,补偿相机的运动和/或视场中一个或多个对象的运动。通常,任何图像处理可以通过传感器内、或相机内别处的专用硬件来进行,或通过在相机被连接到的或是其部分的通用计算设备、诸如手机或个人计算机上运行的软件来进行。尽管传感器212和图像处理模块216被示出为图2的分离元件,但是为了反映在传感器进行的直接低层级图像处理与模块进行的较高层级图像处理之间的划分,可选地这样的划分不存在,并且被描述为由传感器212以及由模块216所完成的功能可以由单个处理器来完成。可替换地,被描述为由传感器212以及由模块216来完成的图像处理功能可以通过多于两个不同的处理器并且在延长的时间段上被完成。例如,处理由传感器212所产生的未经校正的图像文件,用以将不同的区平滑地接合在一起,可以稍后由个人计算机执行,这在未经校正的图像文件被上传到它之后。但是如果相机202被用作手机相机,那么可能最便利的是使得图像处理被自动进行,其通过使用在手机上运行的软件,在每次拍摄照片的时候,因此用户仅仅看到经处理的图像。
尽管任何宽角度透镜将通常把视场的畸变图像投影到平坦传感器上,但是可选地由光学元件所投影的图像针对其视场的宽度、与它应该会是的相比畸变多得多。如本文中所使用的,在图像中两个位置之间的畸变度意指在具有较小放大的位置与具有较大放大的位置之间的放大方面的百分比增加。作为整体的图像中或图像的一区中的畸变度意指在图像中任何两个位置之间或在图像的该区中任何两个位置之间的放大方面的最大百分比增加。通常,放大可以是各向异性的,其中视场中的小方块被投影成图像中的小矩形或菱形或平行四边形。在该情况中,假定传感器是平面的,在图像中两个位置之间的畸变度被定义为在其中放大分量较小的位置与其中放大分量较大的位置之间、在传感器平面上的任何给定方向中放大分量方面的最大百分比增加。作为整体的图像中或图像的一区中的畸变度是在图像中或在图像的该区中任何两个位置之间、在传感器平面上的任何给定方向中放大分量方面的最大百分比增加。通常,当按该定义在图像中存在畸变的时候,于是视场中的直线将投影到图像中的曲线。
例如,对于自视场的中心方向小于10度、或小于20度、或小于30度、或小于45度、或小于60度的视场中至少两个方向,针对这两个方向的畸变度至少为1%、或至少为2%、或至少5%、或至少10%、或至少20%。可选地,在由经区段化的透镜元件的不同区段所投影的图像的不同区中的至少一个内,畸变至少为1%、或至少为2%、或至少为5%、或至少为10%、或至少为20%。可选地,对于向外延伸到自视场的中心方向不多于10度、或延伸到自中心方向不多于20度、或延伸到自中心方向不多于30度、或延伸到自中心方向不多于40度的图像至少一个区而言,真是如此。
图3示出了根据本发明的示例性实施例的流程图300,其示出了由图像处理模块216用来处理未经校正的图像文件214从而产生经校正的图像文件218的算法的一些细节。在302处,针对畸变而校正与通过透镜元件208的不同区段的光被投影到其上的传感器表面210的不同区相对应的未经校正的图像的每一个区。如以上所指出的,来自视场204的不同部分的光通过透镜元件208的不同区段,并且全部被投影到其自己在传感器表面210上的区,其中没有不同区的重叠。可选地,传感器表面210的哪些像素对应于哪个区是已知的,例如根据用于设计透镜元件的射线追踪计算。可选地,不同区不仅不重叠,而且在它们之间还存在间隙,其中没有任何光投影自透镜元件208的任何区段。在该情况中,未经校正的图像本身可以用于确定哪些像素属于哪个区,或者至少用于验证和/或调节哪些地方各区基于射线追踪计算的预期,因为各区将通过接收很少光或不接收任何光的像素被分离。
典型地,具有如下特征的透镜设计将产生视场204的有所畸变的图像:所述特征即通过透镜元件208的给定区段的所有光将被投影到其自己的分离区。例如,图像可以在区边缘附近局部地、各向异性地畸变,其中与平行于边缘的方向中相比,图像在垂直于边缘的方向中压缩得更多。用于设计透镜元件的射线追踪计算可选地用于找到视场的每个部分中的方向到未经校正的图像214的对应区中的像素的映射。一旦该映射已知,就找到翘曲变换,所述翘曲变换将每个区的像素变换到视场的经校正的图像中的像素,其与未经校正的图像所具有的相比具有较少视场畸变。通常,翘曲变换将把未经校正的图像中的像素映射到经校正的图像中的像素之间的位置。当这个发生的时候,经校正的图像中的像素的图像强度可选地例如基于经翘曲的未经校正的图像中的最近像素的图像强度,或基于经翘曲的未经校正的图像的若干最近像素的图像强度的加权平均。
尽管从视场中的方向(对应于球体表面上的点)到平面图像中的像素的任何映射必定具有某种畸变,但是从视场的方向到经校正的图像的映射可选地具有相对小的而畸变,至少比从视场到未经校正的图像的每个区的映射更小的畸变。例如,可选地,针对视场的所有部分以及经校正的图像的所有区,可选地存在单个平滑连续的映射。这意味着例如针对处于视场的两个部分的重叠部分中的视场中任何方向,针对对应两个区的翘曲变换将把视场中的该方向映射到经校正的图像中的相同像素。
可选地,从视场中方向到经校正的图像中的像素的映射类似于针对常规数字相机中透镜的映射。例如,如果视场不是太宽,那么在距轴213的方向的角度θ处、在方位角 处的方向可选地映射到经校正的图像中具有如下坐标的像素:并且,其中F是透镜的焦距。如果视场非常宽,例如延伸到θ=90度,那么该映射将会延伸到无穷,并且不同的映射可选地被使用,例如在鱼眼透镜的情况下将会发生的映射。尽管从视场方向到经校正的图像的像素的任何映射可以被使用,但是使用与针对常规相机中的透镜的映射类似的映射的潜在优点是:结果得到的经校正的图像将会看起来类似于大多数用户将会从相机中预期的图像。
除了应用翘曲变换来针对每个区而校正在未经校正的图像中的畸变之外,当产生经校正的图像的时候,可选地还对未经校正的图像的图像强度做出校正,因为从视场中的方向到未经校正的图像中的像素的畸变映射还可导致在未经校正的图像中的图像强度方面的误差,其不对应于针对视场中该方向的真实图像强度。强度方面的这些校正还可以根据在透镜元件被设计的时候所做的射线追踪计算来被计算。
如果在302处针对未经校正的图像的每个区恰当地进行了对未经校正的图像中的畸变的校正,那么针对属于两个重叠部分的视场任何部分的经校正的图像对于与视场的那些部分相对应的两个区而言将是等同的。实际上,在经校正的图像的两个重叠的区之间可存在轻微的差异,这例如由于透镜元件的形状和/或定位中的误差,或射线追踪计算中或翘曲变换计算中以及用于对未经校正的图像的区进行校正的图像强度中的误差所致。还可能在两个重叠的区中的分辨率方面存在差异,因为例如沿着一个或两个轴被更多压缩的未经校正的图像当它被校正的时候将在该轴上具有较低分辨率。而且,即使两个图像具有相同的分辨率,如果在传感器元件之间的边界的定位在两个图像中异相,则所述两个图像可包含关于重叠区的不同信息。在304处,检查经校正的图像以找到重叠区中的任何差异。在306处,对翘曲变换以及在针对未经校正的图像的每个区而对图像强度的校正中可选地做出小调整,以便减少或理想地消除差异,并且通过使用经调整的变换以及强度方面的校正而再次计算每个区的经校正的图像。另外,重叠区的较高分辨率图像中的信息,或重叠区的两个图像中的信息,可选地用于使得重叠区在两个图像中匹配,并且理想地具有尽可能高的分辨率,其可以甚至高于单独任一图像的分辨率。可选地,再次检查新的经校正的图像以找到重叠区中的任何其余的差异,并且如果必要的话迭代304和306直到差异消失或降落到某个阈值水平以下为止。
可替换地,在306处直接在经校正的图像中做出调整。但是在变换中以及在对强度的校正中做出调整具有以下潜在优点:即如果差异是由于透镜元件中的误差或射线追踪中或变换中的误差所致,那么经调整的变换和强度方面的校正如果在之后制成其它图像的时候被使用则可以产生较小的差异。无论是对变换以及强度方面的校正还是直接对经校正的图像做出调整,基于图像重叠部分中的差异的、用于做出这样的调整的算法可以类似于例如在现有技术缝合软件中所使用的、将若干图像接合成单个平滑全景图像的算法。在这样的软件中使用的任何技术可以可选地被使用于在306处做出调整的软件中。例如,可以使用在关于“图像缝合”的维基百科文章中描述的任何技术。在2018年8月15日从<https://en.wikipedia.org/wiki/Image_stitching>下载了该文章。
在本发明的一些实施例中,图像中的畸变足够小,例如小于1%或小于2%,使得它对观看者完全不明显,除了在区边界附近的窄区域中、例如在区的重叠部分内之外,其中畸变较大。图像强度中的误差也可太小以致于对观看者不明显,除了在区边界附近、例如在重叠部分内之外。在该情况中,302处对畸变和图像强度的校正可选地完全不被执行,并且在重叠区中的图像强度中的误差和畸变在304处被校正,可选地利用来自两个重叠区的信息。
在308处,不同区的经校正的图像,其具有在306处所做的任何调整,被接合成单个经校正的图像,可选地以如下方式:所述方式将使得所述单个图像在不同区之间的过渡处看起来平滑,理想地足够平滑使得在不同区之间的过渡将完全不明显。由于不同区的经校正的图像已经在306处被调整使得其重叠部分匹配,所以将不同区的经校正的图像接合成单个图像是直接的。
在310处,经校正的图像可选地从预期的点扩散函数(PSF)反卷积,所述预期的点扩散函数(PSF)一般取决于图像中的位置。PSF是将会由视场中、聚焦于传感器表面上的点状光源在图像中创建的强度的图案。贡献于PSF的效应包括透镜元件的像差效应,以及由于透镜元件的有限孔径所致的光衍射效应。例如,针对圆形孔径、在具有比孔径的直径短得多的单个光波长并且忽略像差的情况下的PSF是方位对称的,并且具有的径向相关性是艾里(Airy)函数。由视场中的场景构成的图像,其全对焦,例如其中光源全在无穷处,将是PSF与场景映射的卷积。如果透镜元件的设计是已知的,那么原则上可以计算PSF,并且可以有可能通过从图像反卷积PSF而从图像中移除像差和衍射效应,这至少在如果通过使用非相干光制成图像的情况下,其中具有来自视场中每个方向的波长的已知分布。
如果PSF没有任何零,或至少仅仅在其边缘上往外很远处在它非常小的地方具有零,则从图像反卷积PSF可以最有效地进行。从图像对其中具有零的PSF进行反卷积将涉及对病态矩阵求逆,其产生其中具有许多噪声的反卷积图像。用于获得表现更好的PSF的一种方式是使用在其边缘附近具有降低的透射系数的孔径,而不是具有锐利边缘的孔径,在该锐利边缘处,透射系数从接近其最大值突然变成0%。可选地,成像系统200具有这样的孔径,其使用滤波器,未在图2中示出,其中在透镜元件的前方或光学路径中的别处具有径向变化的透射系数。例如,高斯孔径,其具有作为径向距离的高斯函数的透射系数,将会具有PSF,其由于也是高斯型的衍射,没有零。即使在某个半径处透射系数变成零,如在孔径直径不无穷的情况下它将会是的那样,PSF中的零将仍往外在PSF边缘很远处,在该处它以指数方式很小,如果孔径的透射系数仅仅在高斯宽度若干倍的径向距离处变成零的话,并且PSF中的这些零在从图像反卷积PSF的时候将会产生非常小的噪声。可选地,成像系统使用这样的高斯孔径。
在本发明的一些实施例中,代替于或附加于在310处从图像反卷积PSF,在校正了不同区的图像中的畸变并且将它们接合成单个经校正的图像之后,从不同区的图像反卷积PSF,这在接合它们之前、在校正畸变之前和/或之后、或与校正畸变一起。例如,在未经校正的图像上操作的积分算子可选地同时校正畸变以及从图像反卷积PSF。
应当注意到,在实践中,传感器阵列中的传感器元件的间隔可以与PSF的宽度可比,并且在该情况中,例如通过使用高斯孔径或几近高斯的孔径来非常准确地反卷积PSF可能不是非常重要,但是以近似的方式反卷积PSF可能足够。
图4示出了图2中所示的透镜元件206和208以及传感器表面210的示意性侧边横截面视图400,连同来自视场的光线的路径,其示出了在通过经区段化的透镜元件的给定区段之后聚焦在传感器表面上的光线如何全部去往传感器表面的相同区,其中在针对不同区段的区之间没有重叠。在图4中,包括前透镜401的透镜元件206以及经区段化的透镜元件208绕轴213轴对称。经区段化的透镜元件208具有以轴213为中心的中心圆形区段402,以及围绕轴213的环形区段403、404、406以及408。示出光线,其在轴213上的点410处以及在轴213上方的点411、412、413、414、416、418、420、 422和424处聚焦在传感器表面210上。为了清楚,在图4中没有示出聚焦在轴213下方的点上的光线。为了这些点中的每一个,除了点411之外,示出了三个光线,来自透镜401顶部或近似来自与抵达该点的任何光线那么高地在透镜401上的上部光线,来自透镜401底部或近似来自与抵达该点的任何光线那么远远在透镜401下面的底部光线,以及来自透镜401上的上部和下部射线之间的某处的中心光线。对于点411,示出了仅仅两个光线。通过透镜元件并且聚焦在这些点中之一上的其它光线通常遵循的路径在针对该点的上部和下部光线的路径之间,尽管对于一些点而言,可存在未示出的其它光线,这些其它光线所遵循的路径有一点在上部光线上方或有一点在下部光线下方。
应当注意到,通过区段402的所有光线结束在传感器表面210的相同区426中,该区426包括点410和411,并且没有任何通过任何其它区段的光线结束在传感器表面的区426中。类似地,通过区段403的光线,并且仅仅是通过区段403的光线结束在区427中,该区427包括点412和413。通过区段404的光线,并且仅仅是通过区段404的光线结束在区428中,该区428包括点414和416。通过区段406的光线,其中有马上将描述的一个例外,并且仅仅是那些光线结束在区430中,该区430包括点418和420。通过区段408的光线,并且仅仅是那些光线结束在区432中,该区432包括点422和424。然而,结束在区432中的点424处的下部光线除了通过区段408之外还勉强通过区段406的左上角。该光线通过前透镜元件401的非常底部的部分。如果前透镜元件401稍微缩小光圈,覆盖或移除其外部边缘的小部分,如可选地在实践中可以做的那样,那么抵达点424、或区432中任何其它点的所有光线,将会仅仅通过区段408,并且不通过区段406或任何其它区段,并且通过区段406的所有光线将仅仅结束在区430中,并且不结束在任何其它区中。结束在点424处的下部光线还可以通过如下来被消除:在区段406和408之间具有窄间隙,例如不透明的间隙,其通过在区段406和408之间的边界处将不透明的覆盖物放置在经区段化的透镜元件208的前和/或后表面的窄环形部分上而被产生。对于图4的描述的其余部分,将假定的是前透镜元件401稍微缩小光圈,和/或在区段406和408之间、以及可选地也在其它区段之间存在窄间隙,使得通过给定区段的所有光线仅仅抵达与该区段对应的传感器区中的点。
在这方面,图4中所示的透镜元件和传感器表面不同于图1中所示的现有技术透镜元件和传感器表面。在图1中,无论在透镜元件112中或在任何其它透镜元件中哪里绘制区段边界,都不能在传感器表面上限定非重叠的区使得通过每个区段的所有光线聚焦在仅仅一个区上,针对每个区段一不同区。对于图1中所示的透镜元件和传感器表面不能这样做,因为抵达传感器表面上不同点的光线在每个透镜元件、包括透镜元件112内彼此相交。在图4中,相比之下,去往区426、427、428、430和432中每一个的光线在透镜元件208内不与彼此相交。该结果被实现,因为对于不同区中在附近的点,近邻光线当它们通过经区段化的透镜元件208中的近邻区段的时候近似平行于彼此,并且它们近似平行于区段之间的边界。例如,通过区段402到点411的上部光线近似平行于通过区段403到点412的下部光线,并且那两个光线都近似平行于区段402和403之间的边界。类似地,去往点413的上部光线近似平行于去往点414的下部光线,并且二者都近似平行于区段403和404之间的边界。类似地,去往点416的上部光线近似平行于去往点418的下部光线,并且二者都近似平行于区段404和406之间的边界。类似地,去往点420的上部光线近似平行于去往点422的下部光线,并且二者都近似平行于区段406和408之间的边界。正是透镜元件206和208的该性质以及它们相对于传感器表面210的定位使得传感器表面210的每个区内的图像品质相关于透镜元件208的仅一个区段的形状和位置,并且不相关于其它区段。
图4中的透镜元件的配置,其包括经区段化的元件408,图示了对于在具有相对短的总轨道长度的宽传感器上如何产生宽视场的对焦图像这一问题的解决方案。在图2的左侧的前透镜元件平均是凸的,其具有正焦距(正光学倍率),因为它们必须使得来自视场的每个部分的光线会聚在经区段化的元件的仅一个区段上。一旦来自视场中不同方向的光线已经稍微集中在径向方向(图4中的垂直方向)中,在中间透镜元件处,并且尤其是就在经区段化的元件208左边的透镜元件处,透镜元件在较大径向定位处、靠近图2的顶部是凹的,其具有负焦距(负光学倍率),并且在较小径向定位处、更靠近光轴是凸的,其具有正焦距(正光学倍率)。这允许来自更远离光轴的视场中方向的光线行进较长的距离到传感器,即它们必须对角地穿过,而同时来自更靠近光轴的方向的光线必须行进较短的距离到传感器。然而,来自更远离光轴的方向的光线当它们抵达区段406和408的时候可选地会聚得非常少,或完全不会聚。可以这样做,例如使得光线将完全近似平行于区段之间的边界,并且在通过经区段化的元件208中,没有任何光线将从一个区段跨到另一个区段。因此外部区段406和408是凸的,其具有正焦距,以使得来自视场中给定方向的光线在它们抵达传感器表面210的时候会聚。而同时来自更靠近光轴的方向的光线在它们抵达区段402的时候已经会聚得有一点太快,并且区段402是轻微凹的,其具有负焦距,以使得来自给定方向的光线会聚在传感器表面210处。这些特征也可以存在于图1的常规透镜元件中,其中透镜元件112起到与经区段化的元件208类似的作用。但是由于透镜元件112被约束成具有平滑变化的表面曲率,所以其局部焦距在径向方向、图1中的垂直方向上连续并且迅速地改变。作为结果,在透镜元件112中甚至小的径向位移也可对光线在它们通过透镜元件112的时候去往哪里以及在它们会聚的时候多靠近于传感器表面具有大的影响。另一方面,在图2中经区段化的透镜元件208的情况下,局部焦距跨每个区段不变化这么多,而是仅仅在从一个区段去往另一个区段中改变非常多。作为结果,在区段之一中的小径向位移可对光线在它们通过经区段化的元件208之后会聚在哪里具有小得多的影响。这可以意味着在经区段化的元件208中的给定径向位移与元件112的相同径向位移相比可对图像品质具有小得多的影响,并且作为结果,系统400的图像品质与系统100的图像品质相比可具有对定位误差的小得多的敏感性。如果该分析是正确的,那么区段元件208的关键特征,其计及它的图像品质对制造误差的较小敏感性,可以是以下事实:即每个区段的光学倍率在该区段内是相对均匀的,并且在从一个区段去往另一个区段中不连续地跳跃。
类似地,经区段化的元件208的区段的平均表面定向针对进一步远离光轴的区段而言、与针对靠近于光轴的区段相比是不同的,使得光线在它们通过不同区段的时候全部近似与表面正交地行进。对于图1中的透镜元件112也可以真是如此,但是在经区段化的透镜元件208中,表面定向在区段之间的边界处可以不连续地改变,并且在每个区段内可以更好地被优化,这可能地使得表面定向对透镜元件定位中的位移不太敏感。最后,在经区段化的透镜元件208中,不同的区段相对于彼此可以轴向位移,其中在区段之间具有梯级。这可以使得有可能更好地优化每个区段的轴向定位,例如与如果透镜元件不能具有任何梯级的情况下将会可能的相比,将外部区段408和406移动得更靠近传感器表面210。经区段化的元件208的所有这些特征可以贡献于改善图2和4中所示的光学系统的性能以及对制造误差的敏感性。
图5A示意性地示出了由一种光学配置投影到传感器表面210上的未经校正的图像500的示例,所述光学配置具有经区段化的透镜元件,类似于图2中的成像系统200的配置。由系统200制成的未经校正的图像将会看起来定性地类似。该图像是呈矩形网格的,位于与传感器表面平行的平面上,在成像系统的视场中,并且其中透镜元件被定位使得它们将网格的聚焦图像投影到传感器表面上。图像500具有中心区426,其被与图4中具有相同标号的区相对应的环形区427、428、430和432所围绕。如图4中那样,抵达这些区的光相应地通过经区段化的透镜元件的中心区段和四个同心环形区段。在区427和428之间,存在暗间隙502,没有任何光从经区段化的透镜元件的任何区段抵达该处。类似的暗间隙存在于区428、430和432之间。区426和427在它们之间如果有任何间隙的话具有很小的间隙,尽管图像在区426和427之间的边界附近更暗。还应当注意到,在区段之间的窄边界区处可选地被施加到经区段化的透镜元件的黑色涂层有助于防止不想要的光线从边界区抵达间隙,或传感器的其它部分,包括从区段之间的梯级散射的光。可选地,经区段化的透镜元件被成形使得将没有任何间隙,或者来自不同区段的图像将会甚至轻微重叠,如果在边界区中没有任何暗涂层的话,并且暗涂层确保来自不同区段的图像在它们之间具有间隙,或至少不重叠。可替换地,在来自不同区段的图像之间将会有暗间隙,或至少在图像之间没有任何重叠,甚至没有暗涂层,但是暗涂层使得暗间隙更宽,其潜在地可以使得对于图像处理软件而言更容易在图像之间进行区分。
从图像500中的矩形网格的外观可以看到在未经校正的图像中的畸变,其在整个图像上以及在区427和428中的每一个上大约是10%。图像500的每个区在其边缘附近有所径向压缩。而且,在被投影到每个区中的视场部分的边缘附近的视场部分被投影到两个相邻的区中,并且在图像500中出现两次。这些是视场部分的重叠部分。正是未经校正的图像中的这些畸变被图像处理模块216校正,如以上在图3的描述中所描述的,并且正是视场的这些重叠部分被检查差异,并且用于在对畸变的校正中做出调整,如在图3的描述中所描述的。
图5A中的区的内部和外部边缘倾向于比远离内部和外部边缘的区的部分更暗。这可能是由于以下事实所致:即在每个区的外部边缘部分中的图像被复制在往外更远的下一区的内部边缘部分中。由于来自视场的那些部分的光在两个区之间被划分,所以图像的那些部分更暗淡,尽管该效应可以部分地被这些图像部分的径向压缩所补偿。贡献于那些图像部分的两个拷贝的光线可以经过前透镜元件的不同部分。这在图4中可见,其类似于图5A中用于生成图像的光学配置。对于点412、414、418和422,其分别位于区427、428、430和432的内部边缘附近,上部光线来自前透镜401顶部附近,而下部光线来自前透镜401中间以下一点。贡献于图像的这些部分的光线大多数经过前透镜401的上部分,其与这些点所位于其中的图像侧边来自前透镜401的同一侧。对于点411、413、416和420,其分别位于区426、427、428和430的外部边缘附近,上部光线来自前透镜401的中心以上一点,并且下部光线来自前透镜401的底部附近。贡献于图像的这些部分的光线大多数经过前透镜401的下部分,其从前透镜401的相对侧去往点位于其中的图像侧边。并且位于区426中心处的点410以及位于区432的中心附近的点424具有来自前透镜401的顶部附近的上部射线,以及来自前透镜401的底部附近的下部射线。贡献于图像的这些部分的光线可能来自前透镜401的全部。
在本发明的一些实施例中,在传感器阵列上产生的图像具有的畸变比图像500中所见的畸变的近似10%小得多。例如,畸变仅仅是1%或2%,不足以容易地被观看者看到。在该情况中,矩形网格的未经校正的图像中的线在图像的大部分上将看起来像均匀间隔的直线,以直角彼此相交,但是在区边界附近,线可轻微弯曲,并且在从一区去到另一区中可以可见地不连续,并且光强度在边界周围的窄带中、特别是在被复制的图像部分中可以可见地降低,因为所述图像部分对应于视场的不同区的重叠部分。在该情况中可选地,不需要在图像的大部分上校正畸变,但是可选地在区边界附近校正图像,例如通过缝合算法,因此不同区中的图像平滑地接合在一起,并且将消除暗带。图5B示出了这样的未经校正的图像504的示例。
具有经区段化的光学元件的投影系统
图6示出了根据本发明的示例性实施例的投影系统600,其使用经区段化的光学元件。系统600使用投影设备602,例如平视显示设备或增强现实或虚拟现实设备,其将数字图像的显示投影到观看者604的眼睛中。存储数字图像文件608的数据存储设备606将数字图像文件发送到图像处理模块610。数据存储设备606和图像处理模块610可以是相同的物理设备,或在它们之间具有通信链路的分离的设备,并且它们中的一个或二者可以包括例如具有到投影设备602的通信链路的通用计算机,或被内置到投影设备602中的专用处理器。数据存储设备606可以是数据处理器的部分或链接到数据处理器,所述数据处理器生成将被显示的数字图像,例如通过使用虚拟现实软件来生成图像,或取得先前通过使用静物相机或视频相机所获取的数字图像,或从PowerPoint演示取得数字图像。投影系统600可以一次一个地显示静止图像,或可以通过接连不断地显示一系列静止图像而显示视频图像,这例如在控制器的控制下,所述控制器诸如计算机,其相关联于数据存储设备606。可选地,控制器具有用户接口,观看者604可以使用所述用户接口来控制显示哪些图像。
图像处理模块610处理数字图像文件608以便产生经修改的数字图像文件612,其在投影系统602被用作相机的情况下以视场将会畸变的相同方式被畸变。例如,如果数字图像文件608示出笛卡尔网格的图像,并且如果透镜元件的相同布置被用在投影设备602中,如相机202中那样,那么经修改的数字图像文件612的图像将会类似于图5A中未经校正的图像500。可选地,当产生经修改的图像文件612的时候,例如,如果不预期PSF效应对观看者所看到的图像具有可见影响的话,则图像处理模块610不考虑PSF的效应。可替换地,图像处理模块610考虑PSF的效应。图像处理模块将经修改的数字图像文件612发送到数字显示设备614,所述数字显示设备614显示经修改的图像。显示设备614是用于显示数字图像的任何已知设备,例如它包括其光发射可以被分离地控制的光发射元件的阵列,或其光反射率可以被分离地控制的光反射元件的阵列,其可以用于显示被发送到它的数字图像,例如其中显示器的每个元件对应于数字图像的一个像素。
投影设备602包括一个或多个光学元件,例如未经区段化的透镜元件616,以及经区段化的光学元件,例如经区段化的光学元件618。可选地,还存在平板619,所述平板619保护显示设备614或充当滤波器,类似于图1中的板114或图2中的板209。可选地,这些透镜元件绕轴620轴对称。在图6中所示的示例中,透镜元件616和经区段化的透镜元件618在形状和定位方面等同于图2中的透镜元件206和经区段化的透镜元件208,并且显示设备614在大小、分辨率和定位方面等同于图2中的传感器210,并且板619在厚度和定位方面等同于图2中的板209。忽略点扩散效应、诸如衍射并且仅仅考虑射线光学,由显示设备614所发射的光线将遵循与图4中击中传感器210的光线对应的路径,但是以相反的方向。因而这些光线将离开透镜元件622、透镜元件616的前元件,其中具有从看似数字图像文件608的未畸变图像的视场中将会预期的方向分布。换言之,透镜元件、主要是经区段化的透镜元件618将移除由图像处理模块610引入到所显示的图像中的畸变,并且观看者604将看到一图像,其看似数字图像文件608的未畸变图像。
投影系统600,其类似于成像系统200,包括用于移动前透镜元件622的致动器623,用于移动中间透镜元件616中的一个或多个或整个透镜的致动器624,用于移动经区段化的元件618的致动器626,以及用于移动显示器614的致动器628。使这些元件相对于彼此、例如在与光轴620平行的方向中移动可以由观看者604用来对投影系统600调焦,例如补偿近视。致动器可以可能地还用于在图像上放大,尽管那可能还需要调节在显示器614上所显示的图像。
相反,存在其中投影系统600不同于成像系统200的一些方面。在成像系统200中,光线在仅仅有限范围的角度上击中传感器210的每个点,如从图4中可见的。另一方面,显示设备614可以在更宽范围的角度上从每个点发射光线。然而,发射自显示设备614的、不在图4中命中传感器210的光线的角度范围内行进的任何光线将不通过透镜元件622离开。因此,那些光线将不被观看者604看到。
在投影系统600和成像系统200之间的另一差异是:出自前透镜元件622的光线必须进入观看者604的瞳孔以便被观看者看见。为了确保这发生,系统600可选地被设计使得它具有眼箱(eye box),所述眼箱覆盖观看者的瞳孔可能位于该处的定位的整个范围。当观看者向上或向下或往侧边看以便查看图像的不同部分的时候,观看者的瞳孔将向上或向下或往侧边移动,因此眼箱应当在水平方向和垂直方向二者上都足够宽以适应该瞳孔运动。典型地,眼箱的宽度大约是系统600的出射瞳孔的宽度。为了允许观看者舒适地查看图像不同部分所需的出射瞳孔宽度取决于视场的宽度和高度,其中更宽且更高的视场一般需要更宽的出射瞳孔。它还取决于预期观看者左右或向上和向下移动他或她的头部所达的程度,用于补偿瞳孔的运动。还可以有利的是使得出射瞳孔至少如观看者瞳孔那样宽,以避免使得所观看的图像比必要的更暗淡,并且避免由于在出射瞳孔非常窄的情况下可能发生的衍射效应所致的分辨率损失。取决于所有这些因素,出射瞳孔例如至少4mm宽、或至少6mm宽、或至少10mm宽、或至少20mm宽,并且眼箱例如至少10mm宽、或至少20mm宽、或至少30mm宽、或至少40mm宽、或至少50mm宽。基于图4中针对点424的上部和下部边际光线的位置,似乎系统600的出射瞳孔覆盖第一透镜元件622的几乎全部。
尽管观看者在任何时间仅仅可以通过前透镜元件622的一小部分查看,并且因此观看者的瞳孔在给定时间仅仅拦截来自透镜元件616一部分的光线,但是透镜元件616可选地不被区段化,因此观看者通过它们的哪些部分查看并无关系。另一方面,来自显示器614的给定区的所有光线将仅仅通过经区段化的透镜元件618的一个区段而抵达前透镜元件622,因此观看者将看到相同的未畸变图像,而无论观看者瞳孔的位置如何,只要瞳孔位于系统600的眼箱内即可。
不像在几何光学限制中的光线路径,图6中从显示器去往观看者眼睛的光线将不反转在图2中从视场去往传感器的光线的点扩散。代替地,从显示器去往观看者眼睛的光线将经历其自己的点扩散效应。但是很可能的是,观看者瞳孔的孔径将是光学路径上的最窄孔径,并且眼睛的视网膜被设计成具有太低以致于不能被瞳孔衍射效应影响的分辨率,因此投影系统600中的点扩散效应可能不如成像系统200中它们所能够是的那样重要,并且可选地,它们被忽略。
在投影系统600中,观看者所观看的图像可选地是虚图像。在本发明的一些实施例中,投影系统投影实图像,其例如被聚焦在图6中透镜元件左侧的毛玻璃屏幕上,并且观看者观看实图像,可选地通过附加的光学元件。可替换地,如果显示器614足够亮,则实图像被投影在某个距离远的屏幕上,可选地通过附加的光学元件,其中它可以例如被坐在房间中的若干人观看。在该处所投影的图像对焦、实或虚的位置可以通过如下来被改变:轴向地改变一个或多个透镜元件的定位,与在成像系统200中变焦的方式类似地,和/或通过在透镜元件622的前方添加附加的透镜元件。
尽管通常预期点扩散效应针对投影系统600与针对成像系统200相比较不重要,但是无论投影系统是用作平视显示器还是用于将图像投影到远处的屏幕上,投影系统600都可选地具有有效孔径,例如前透镜元件622,或者往后更远的有效孔径,为此,对于由显示屏的至少一部分所发射的光,在有效孔径的一些部分中的透射系数大于0%并且小于其最大值,例如大于其最大值的10%并且小于其最大值的90%。可选地,对于由显示屏的该部分所发射的至少一些波长的可见光,具有多于其最大值的10%的透射系数的孔径区域的至少20%具有小于其最大值的90%的透射系数。可选地,有效孔径至少近似是高斯孔径。这样的有效孔径可以有助于减少在所投影的图像中任何其余的点扩散效应。
图7示出了针对使用投影系统600来投影图像的方法的流程图700。在702处,提供了原始数字图像文件,诸如图6中的图像文件608。在704处,数字图像文件被处理,例如通过图像处理模块610,从而产生经修改的数字图像文件,诸如图6中的图像文件612。在经修改的图像中,原始图像被映射到多个非重叠的区,每个区映射原始图像的不同区,其中原始图像的区可选地重叠,使得原始图像上的一些点被映射到经修改的图像中的两个点,或甚至多于两个点。在经修改的图像的不同区之间可以存在间隙,原始图像上没有任何点被映射到所述间隙。典型地,仅仅考虑几何光学,并且忽略衍射效应,经修改的图像将类似原始图像在它通过相机、诸如图4中的相机202被成像的情况下看起来将会像的那样,所述相机具有与图6中的投影设备602相同的光学元件配置,包括经区段化的光学元件、诸如经区段化的透镜元件618。例如,对于看起来像矩形网格的原始图像,针对投影系统600的经修改的图像将会看起来像图5A中的图像500。
在706处,经修改的数字图像被显示在显示屏上。在708处,观看者观看显示屏,其通过一组光学元件,诸如图6的元件616和618。观看者将看到类似原始数字图像的一图像,其例如具有比经修改的数字图像少得多的畸变,因为光学元件、包括经区段化的光学元件将以大大校正被引入到经修改的图像中的畸变的方式来畸变显示屏上的图像。这发生是因为从显示屏614、通过透镜元件616和618去往观看者604眼睛的光线遵循与从视场204、通过透镜元件206和208去往图2和4中的传感器表面210的对应光线相同的路径,其假定图2和4中的透镜元件206和208以及传感器表面210与图6中的透镜元件616和618以及显示器614具有相同的配置。
具有经改善的性能的成像或投影系统的设计
图8根据本发明的示例性实施例而示出了针对设计如下光学系统的方法的流程图800:所述光学系统要么是诸如图2中所示的那个之类的成像系统,要么是诸如图6中所示的那个之类的投影系统,具有经优化或至少经改善的性能参数。可选地,光学系统被约束成具有经区段化的光学元件,诸如图2中的透镜元件208或图6中的透镜元件618。经改善的性能参数可以包括例如以下各项中的一个或多个:经改善的图像品质,包括较高的分辨率,较低的畸变和较低的噪声水平,较低的数值孔径,较大的视场,在变焦透镜情况中较大的真实变焦比,图像品质对光学元件的定位、定向和形状中制造误差的降低的敏感性,改善的对振动和冲击的稳健性,较低的制造成本,较小的尺寸和较小的重量。可选地,基于这些或其它因素中的任一个来定义针对性能的品质因数。如果存在要求设计满足的某个量的最小值,那么对于不满足该要求的设计,品质因数可以被设置成零。然后通过使用流程图800的方法而找到最大化品质因数或至少改善品质因数的设计。
在802处,提供针对光学系统的初始设计。光学设计包括参数集,所述参数限定光学系统的每个元件的光学表面,和任何经区段化的元件的每个区段,以及每个元件的折射率。对于限定表面所需要的参数集取决于所选表面的类型,并且这约束设计。例如,光学元件被约束成绕光轴是轴对称的,包括经区段化的元件,所述经区段化的元件具有圆形中心区段以及围绕中心区段的四个同心环形区段。每个元件的前表面和后表面例如是偶(even)非球面表面,并且通过如下参数被限定:所述参数包括外半径、在环形区段的情况中的内半径、轴上的轴向定位和曲率(或在环形区段的情况中,表面是否延伸到轴)、圆锥常数,以及对表面从圆锥表面、在轴向方向上的非球面偏离进行限定的一个或多个参数。例如,非球面参数是半径平方的多项式函数、例如8次多项式的系数。多项式的次数足够大,例如使得允许元件的表面在曲率符号和曲率程度方面以及在定向方面显著变化,其作为半径的函数,类似于图1和图2中所示的透镜元件的形状。针对偶非球面表面的表面凹陷、作为半径r的函数的表面轴向坐标z通过以下而被给出:
其中c是曲率,k是圆锥常数,是非球面参数,r 2的多项式函数的系数,并且n是多项式次数。以上引用的Zemax ®用户手册给出了许多其它类型的光学表面的示例以及限定它们的参数,包括双锥非球面,具有添加的Zernike多项式项的圆锥或双锥非球面,各种种类的衍射表面,拟合到多个点、例如8个点或250个点的旋转对称的三次样条,多项式圆柱形表面,菲涅耳或一般化的菲涅耳表面,奇(odd)非球面,具有余弦多项式项的奇非球面,由点的网格所限定的表面形状,具有偏心、倾斜和其它变形的表面,周期性表面,多项式表面,使用Forbes多项式的Q型非球面,径向非均匀理性基础样条(NURBS)表面,超锥非球面,超环面(toroidal)表面,以及超环面对称的NURBS表面。
在804处,未经校正的图像被计算,其将会由初始光学设计所产生,针对标准化的视场,例如无穷处或在透镜元件聚焦于其上的有限距离处的笛卡尔网格或某种其它种类的测试图案。在成像系统、诸如图2中的系统200的情况中,这意指由透镜元件206和208投影到传感器表面210上的标准化视场的图像。在投影系统、诸如图6中的系统600的情况中,这意指将会由透镜元件616和618投影到位于显示器614的表面处的表面上的标准化视场的图像,如果标准化视场位于无穷处,或位于透镜元件616和618被聚焦于其上的距离处,在前透镜元件622的左侧的话。在804处计算的未经校正的图像包括由透镜元件、包括经区段化的透镜元件所产生的畸变效应,并且可选地还有PSF效应,其来自像差和衍射,至少在成像系统的情况中。但是可选地,在投影系统的情况中,将会由透镜元件616和618投影到位于显示器614表面处的表面上的图像上的PSF效应在计算未经校正的图像中被忽略。
在806处,找到算法来校正在804处找到的未经校正的图像。该算法校正由透镜元件所产生的畸变、特别地包括由经区段化的透镜元件所产生的畸变,将由经区段化的透镜元件的每个区段所投影的图像的非重叠区平滑地接合在一起。算法还可选地包括从未经校正的图像反卷积预期的PSF,这至少在PSF效应被包括在804处对未经校正的图像进行计算中的情况下。
在808处,由光学设计所产生的图像品质被评估,以及将贡献于针对设计的品质因数的光学设计的其它参数,包括以上提及的性能参数中的任一个。在成像系统的情况中,图像品质涉及在将806处找到的校正算法应用到被投影到传感器表面的未经校正的图像之后的经校正的图像。在投影系统的情况中,图像品质涉及当在显示器614上显示未经校正的图像的时候预期由观看者通过透镜元件616和618所看到的图像。图像品质例如可以包括:由于没有被反卷积校正的衍射和像差效应、以及由于传感器212中的光感测元件或显示器614中的像素的大小所致的经校正的图像的分辨率。它还可以包括经校正的图像中的预期噪声水平,其例如针对预期的光水平、像素大小和曝光时间而被限定。它还可以包括由于光学元件的定位和形状中的预期水平的误差所致的图像中预期残余的未经校正的畸变。附加地或可替换地,为光学元件的定位和形状找到制造容差的所期望的最大水平,所述光学元件的定位和形状将在经校正的图像中产生给定水平的畸变,和/或在经校正的图像中产生给定的降低水平的分辨率,例如畸变水平,和/或分辨率损失,其当光学元件被完美地成形和定位的时候、在给定图像的分辨率和噪声水平的情况下将正好可见。计算制造容差的所期望的最大水平,这例如通过计算由于光学元件和传感器或显示器的形状和定位中的误差所致的畸变度和/或分辨率损失。对振动和/或冲击的稳健性、还有贡献于品质因数的可能设计参数被可选地找到,这例如通过计算当不同光学元件和传感器或显示器的相对定位和定向被给定水平的振动或冲击位移的时候图像品质降级多少,以及找到如下的振动或冲击水平:在所述振动或冲击水平下,图像品质与在不存在任何振动或冲击的情况下它将会是的那样相比被显著降级。如以上提及的可以贡献于品质因数的光学系统其它性能参数可以包括任何数值孔径;视场大小;在变焦透镜情况中的变焦比;制造成本,其可取决于容差和稳健性的期望水平、以及取决于传感器或显示器的像素的大小和数目;尺寸;和重量。
在810处,通过使用808处找到的任何量的组合来评估针对光学设计的品质因数。
在812处,关于针对目前光学设计的品质因数是否足够良好做出判定。这可以取决于例如品质因数是否在某个阈值以上,和/或取决于它在设计的在先迭代上是否已经连续改善得足够,和/或取决于已经执行了设计的多少迭代。如果品质因数足够好,那么在814处,设计完成。如果不足够好,那么在816处,对将会增大品质因数的设计方面的改变做出计算。例如,可以在不同的设计参数中做出小的改变,诸如光学元件的形状和定位,以及在所计算的品质因数中的结果得到的小改变。所有设计参数不需要变化,但是一些可以保持固定,例如,在使用特定透镜材料之前,可以通过决定来约束光学元件的折射率。然后任何已知的优化算法、例如线性或二次优化算法可以用于尝试增大品质因数。应当注意到,该优化或改善过程相比于针对常规光学设计的情形被潜在地大大简化,这是因为在未经校正的图像的给定区并且因此还在经校正的图像的对应部分中的图像品质取决于经区段化的透镜元件中仅一个区段的形状,并且不取决于其它区段的形状。
在818处,通过使用优化算法和在816处做出的计算,选择新的设计,为此,预期品质因数将高于针对先前设计的。由新设计所产生的未经校正的图像于是在804处被找到,并且过程如初始设计那样继续,迭代直到找到的设计在812处被认为足够好为止。
如果光学设计被约束成绕光轴呈轴对称,那么可以用于优化或改善光学设计的设计参数针对每个透镜元件或区段包括:
·前表面的半径
·后表面的半径
·前表面的圆锥常数
·后表面的圆锥常数
·厚度
·距它前方的下一元件的距离
·距它后方的下一元件的距离(或如果它是最后的元件的话则距传感器的距离)
·前表面的曲率
·后表面的曲率
·前和后表面形状的任何较高的矩,诸如上述非球面多项式系数
·材料(包括作为波长的函数的折射率)
元件或区段的前表面,如本文中所使用的,意指接收来自视场的光的该元件或区段的整个表面,并且元件或区段的后表面,如本文中所使用的,意指向传感器阵列传输光的该元件或区段的整个表面。在所有透镜元件和区段的情况中,这些参数被约束成不要有如下值:所述值将使得不同的元件彼此相交。在经区段化的元件的区段的情况中,如果通过使用往刚性磨具中的注入来制造它,那么参数可选地被约束成具有如下值:所述值将使得不同的区段不悬于彼此之上,这将会防止经区段化的元件从模具中被移除。这可以意味着针对任何两个区段的前表面的径向范围不应当重叠,并且针对任何两个区段的后表面的径向范围不应当重叠。发明人已经发现了在压力下往刚性模具中注入塑料是用于制造经区段化的透镜元件的最经济且准确的方式。
传感器阵列的大小以及其元件的间隔也是需要在优化其它参数中被考虑的设计参数,尽管可以预先通过使用可用的特定传感器阵列的决定来确定它们。
为了计算设计对制造误差的敏感性,以及将会导致期望的图像品质的期望的最大制造容差,还有必要在存在远离轴对称的小扰动的情况下计算设计的性能。这些扰动中最重要的很可能是针对每个元件以及经区段化的元件的每个区段的偏心和倾斜。以上列出的设计参数的扰动,其保持轴对称,还可以用于计算设计对制造误差的敏感性,以及所期望的最大制造容差。
预期在从本申请中成熟的专利的寿命期间,许多相关的光学元件、成像传感器和成像显示器将被开发,并且术语光学元件、传感器和显示器的范围意图先验地包括所有这样的新技术。
如本文中所使用的,术语“大约”是指±10%。
术语“包含”、“包含有”、“包括”、“包括有”、“具有”及其同源词意指“包括但不限于”。
术语“由......组成”意指“包括并且限于”。
术语“基本上由......组成”意指成分、方法或结构可以包括附加的原料、步骤和/或部分,但是这仅仅在附加的原料、步骤和/或部分不实质性变更所要求保护的成分、方法或结构的基本和新颖的特性的情况下。
如本文中所使用的,单数形式“一”、“一个”和“该”包括复数引用,除非上下文另行清楚地规定。例如,术语“化合物”或“至少一个化合物”可以包括多个化合物,包括其混合物。
贯穿本申请,可以用范围格式来呈现本发明的各种实施例。应当理解到,以范围格式的描述仅仅为了便利和简要,并且不应当被解释为关于发明范围的不灵活的限制。因此,对范围的描述应当被认为是已经具体地公开了所有可能的子范围以及该范围内单独的数值。例如,对范围的描述、诸如从1到6应当被认为具有具体公开的子范围、诸如从1到3、从1到4、从1到5、从2到4、从2到6、从3到6等等,以及在该范围内的单独的数,例如1、2、3、4、5和6。无论范围的宽度,这都适用。
每当在本文中指示数值范围的时候,它意图包括在所指示的范围内的任何被引用的数字(分数或整数)。短语“范围在第一指示数和第二指示数之间/在第一指示数和第二指示数之间的范围”以及“范围从第一指示数到第二指示数/从第一指示数到第二指示数的范围”在本文中可互换地使用,并且意图包括第一和第二指示数以及在其之间的所有分数和整数数字。
领会到的是,本发明的某些特征,其为了清楚而在分离的实施例的上下文中被描述,也可以用组合而被提供在单个实施例中。相反,本发明的各种特征,其为了简要而在单个实施例的上下文中被描述,也可以分离地或以任何合适的子组合或如合适的那样被提供在本发明的任何其它所述的实施例中。在各种实施例的上下文中所描述的某些特征不要被认为是那些实施例的基本特征,除非实施例在没有那些元素的情况下是不运作的。
示例
现在参考以下示例,其与以上的描述一起以非限制性的方式图示了本发明的一些实施例。
针对手机相机的两个设计,为图像品质对制造误差的敏感性做出了分析。第一设计是常规设计,类似于图1中所示的那个,并且第二设计具有经区段化的透镜元件,根据本发明的示例性实施例,类似于图2中所示的设计,其中具有被四个同心环形区段所围绕的中心圆形区段。这两个设计都具有从孔径到传感器的为5.7mm的总轨道长度(TTL),二者都具有f/1.4孔径,二者都具有为80度宽的视场,二者都具有7.8mm的图像高度,并且二者都具有传感器阵列,其具有以1.55μm的距离被间隔的传感器元素(像素)。对将由透镜元件的各种参数中的制造误差所造成的图像品质降级做出计算,其假定具有两个标准偏差值的误差的正态分布,其表示对于这样的手机相机可以容易地被实现的典型制造容差水平。发现了对于使用经区段化的元件的设计,制造误差的该分布将会导致相机的80%产出满足如下要求:即调制传递函数(MTF)具有的加权平均贯穿视场的中心80%(中心64度)、在80循环每mm的分辨率下为至少50%,并且在视场的中心处至少70%,所述加权平均在五个不同的波长上,具有0.1加权的470nm,具有0.5加权的510nm,具有1.0加权的555nm,具有0.5加权的610nm,以及具有0.1加权的670nm。但是对于不使用经区段化的元件的设计,制造误差的相同分布导致仅仅20%的产出。
被假定成具有制造误差的透镜元件和区段的参数为:1)偏心,x 和y分量二者,其以μm被测量;2)倾斜,x 和y分量二者,其以度被测量;3)厚度,其以μm被测量;4)表面形状屈光力(power),其是针对前表面和后表面的曲率半径,二者都以μm被测量,其中表面屈光力形状被视为针对前表面和后表面的独立参数;以及5)表面不规则性,其针对前表面和后表面独立地,以用于测试它的干涉图案中条纹的数目来被测量,其中一个条纹指示等于半波长的表面形状中的偏离,其中波长是632.8nm。表面不规则性被假定为一半由于球面像差,具有与r 4成比例的Δz的表面畸变,并且一半由于像散,具有与成比例的Δz的表面畸变,其中像散的轴以距y轴的随机角度θ而定向。
在计算产出中,假定对于每个元件,以及对于经区段化的元件的每个区段,参数中的每一个独立地变化。然而,如果给定类型的参数(例如偏心、或倾斜、或厚度)针对经区段化的元件的不同区段不独立地变化,则产出将不会显著不同,这是因为在未经校正的图像中的给定点处的图像品质仅仅取决于一个区段的参数中的制造误差,并且在经校正的图像中的每个点处的图像品质大部分取决于未经校正的图像中对应的一个或多个点的图像品质。这两个设计都被优化以在这些参数中的这些制造误差存在的情况中最大化其制造产出,其服从关于TTL、f数、视场、图像高度和像素间隔的约束。
在表1中示出了所假定的制造误差的两个标准偏差大小。允许偏心的x和y分量以及倾斜的x和y分量独立地变化。
表1.所假定的制造误差的大小
参数 | 制造误差的两个标准偏差大小 |
偏心(μm),<i>x</i>和<i>y</i>二者 | ±2 |
倾斜(度),<i>x</i>和<i>y</i>二者 | ±0.066 |
厚度(μm) | ±2 |
光学倍率(μm) | ±2.0 |
表面不规则性(条纹) | ±1 |
如以上所指出的,在表1中所示的制造误差的情况下,制造产出对于优化的经区段化的设计而言是80%,但是对于优化的非经区段化的设计而言仅仅是20%。还针对优化的非经区段化的设计而为制造产出做出计算,如果其制造误差被假定为在大小上仅仅是表1中所示的值的一半大的话。发现该情况中的产出对于非经区段化的设计而言是80%。然而,在这样紧的容差的情况下制造手机相机——如果它完全可以进行的话——与在表1中所示的容差的情况下制造它相比,将会更困难且昂贵得多,并且它可能是不可能的。因此使用具有经区段化的透镜元件的设计要么针对相同的制造成本大大地增加产出,要么针对相同的产出大大地减小制造成本。
尽管本发明已经结合其特定实施例而被描述,但是明显的是,许多可替换方案、修改和变型对于本领域技术人员而言将是显而易见的。因此,意图包含落入所附权利要求的精神和宽范围内的所有这样的可替换方案、修改和变型。
在本说明书中所提及的所有出版物、专利和专利申请在本文中通过引用以其全部被并入到说明书中,到如同以下那样的相同程度:每个单独的出版物、专利或专利申请被特别且单独地指示为通过引用被并入本文中。另外,本申请中任何参考文献的引用或标识不应当被解释为如下认可:这样的参考文献如现有技术那样可用于本发明。就章节标题被使用来说,它们不应当被解释为必定进行限制。
Claims (46)
1.一种光学系统,其产生视场中的对象的数字图像,包括:
a)光传感器的传感器阵列,其产生输出信号,所述输出信号指示由每个光传感器所接收的光的强度;
b)一个或多个光学元件,其将视场的多个对焦部分的图像一起投影到传感器阵列上,所述传感器阵列包括至少一个经区段化的光学元件,所述经区段化的光学元件包括多个区段,所述区段中的至少两个在大小和形状中的一个或两个方面中不同,每个区段往传感器阵列上投影视场的对焦部分的仅仅一部分的图像,不同的区段将视场的对焦部分的不同部分的图像投影到传感器阵列的非重叠的区,其中视场的每个对焦部分与其他对焦部分的至少一个重叠,位于两个对焦部分的重叠中的对象在传感器阵列上出现两次其图像。
2.根据权利要求1所述的光学系统,其中所述传感器阵列基本上是平面的。
3.根据权利要求1所述的光学系统,其中传感器阵列的大多数区域接收来自属于视场的仅仅一个部分的视场部分的光。
4.根据权利要求1所述的光学系统,包括计算机,所述计算机接收传感器阵列的输出信号,并且被配置成使用输出信号来找到视场的不同部分的数字图像,并且使用图像处理算法来将视场的不同部分的数字图像组合成视场的数字图像。
5.根据权利要求4所述的光学系统,其中视场的每个部分与其它部分中的至少一个部分地重叠,并且所述图像处理算法使用各部分的重叠部分来组合数字图像。
6.根据权利要求5所述的光学系统,其中所述图像处理算法被配置成组合视场的不同部分的数字图像,使得各部分的重叠部分在视场的数字图像中出现仅仅一次。
7.根据权利要求4所述的光学系统,其中所述图像处理算法减少或消除在与视场的不同部分相对应的位置之间的视场的数字图像中的不连续性。
8.根据权利要求4所述的光学系统,其中所述图像处理算法从视场的不同部分的数字图像的至少一部分反卷积预期的点扩散函数(PSF),这在组合数字图像之前、组合它们之后或既在之前也在之后。
9.根据权利要求8所述的光学系统,其中由成像系统反卷积的针对一个或多个数字图像的至少一部分的预期PSF使其在中心区内的积分的至少95%没有零。
10.根据权利要求8所述的光学系统,其中,针对一个或多个数字图像的至少一部分,预期的PSF至少基于来自有效孔径的衍射,并且所述有效孔径包括一区,该区具有大于有效孔径中的最大透射的10%并且小于所述最大透射的90%的透射,其中具有多于所述最大透射的10%的孔径区域的至少20%针对在400和1100nm之间的至少一些光波长具有小于所述最大透射的90%。
11.根据权利要求1所述的光学系统,其中视场的不同部分的图像在它们之间具有间隙,所述间隙不是视场的任何部分的数字图像的部分。
12.根据权利要求1所述的光学系统,其中所述至少一个经区段化的光学元件具有一表面,所述表面具有的定向在区段之间的边界处不连续。
13.根据权利要求12所述的光学系统,其中所述至少一个经区段化的光学元件在区段之间具有一个或多个梯级,并且在梯级的相对侧上的两个相邻区段中的该光学元件的表面的定向在所述梯级的相对侧之间是不连续的。
14.根据权利要求1所述的光学系统,其中对于抵达区段中两个区段的、在相同方向上行进的光线而言,所述至少一个经区段化的光学元件具有在所述两个区段之间的至少一些边界处不连续地改变的光学倍率。
15.根据权利要求1所述的光学系统,其中所述至少一个经区段化的光学元件包括在区段中的至少一些之间的间隙。
16.根据权利要求15所述的光学系统,其中每个间隙具有的宽度小于该间隙所处于之间的区段中的每一个在跨间隙的方向上的宽度的20%。
17.根据权利要求1所述的光学系统,其中从传感器阵列到所述一个或多个光学元件的任何部分的最大距离小于在视场的图像的部分被投影在其上的传感器阵列的任何两个部分之间的最大距离。
18.根据权利要求1所述的光学系统,包括一种机制用于将所述一个或多个光学元件相对于彼此、相对于传感器阵列或既相对于彼此也相对于传感器阵列可逆地折叠或折拢,从而使得光学系统当它不处于使用中的时候更致密。
19.根据权利要求1所述的光学系统,其中与小于自视场的中心方向的30度的视场中的方向相对应的、被投影在传感器阵列上的图像的至少一部分具有大于10%的畸变度。
20.根据权利要求1所述的光学系统,其中在视场的所述对焦部分的任何一个中没有任何方向距作为视场的所述对焦部分的另一部分的部分的方向多于10度。
21.根据权利要求1所述的光学系统,其中视场的对焦部分中没有任何两个在角范围上具有相同的形状和大小。
22.根据权利要求21所述的光学系统,其中视场的对焦部分中至少两个在角范围上包括大体上同心的环。
23.根据权利要求1所述的光学系统,其中投影来自视场的至少两个部分的光的经区段化的光学元件的区段在形状上大体上是环形的,并且关于相同的光轴大体上轴对称。
24.根据权利要求23所述的光学系统,其中所述在形状上大体上是环形的,并且关于相同的光轴大体上轴对称的区段中的两个具有平均向内朝向光轴定向的前表面以及平均向外远离光轴定向的后表面,其中位于更靠近于光轴处的区段中第一个的前和后表面平均定向成与位于更远离光轴的区段中第二个的前和后表面相比具有呈距光轴的更浅的角的法向方向。
25.根据权利要求23所述的光学系统,其中位于更靠近于光轴的区段中第一个具有的针对它从视场投影到传感器阵列的光线的平均光学倍率与位于更远离光轴的区段中第二个针对它从视场投影到传感器阵列的光线的平均光学倍率相比不太积极。
26.根据权利要求23所述的光学系统,其中所述在形状上大体上是环形的,并且关于相同的光轴大体上轴对称的区段中的两个包括内部区段和外部区段,其各自具有前表面,通过所述前表面,它们接收来自视场的光,所述内部区段的前部区段与外部区段的任何前表面相比完全更靠近光轴,其中所述内部区段的前表面与外部区段的前表面相比具有更大的径向范围。
27.根据权利要求23所述的光学系统,其中所述在形状上大体上是环形的,并且关于相同的光轴大体上轴对称的区段中的两个包括内部区段和外部区段,其各自具有后表面,通过所述后表面,它们向传感器阵列传输光,所述内部区段的后部区段与外部区段的任何后表面相比完全更靠近光轴,其中所述内部区段的后表面与外部区段的后表面相比具有更大的径向范围。
28.根据权利要求1所述的光学系统,其中经区段化的光学元件的区段包括被布置在同心圆中的多个小透镜。
29.根据权利要求1所述的光学系统,包括前孔径,所述前孔径限制来自视场的、通过并且超过第一光学元件的光,来自视场的光线经过所述第一光学元件,其中通过前孔径的光的至少70%贡献于传感器阵列上的视场的图像。
30.根据权利要求29所述的光学系统,其中所述前孔径的区域被连接。
31.根据权利要求29所述的光学系统,其中前孔径的边界在一个平面中,并且所述前孔径在该平面中是其自己的凸包。
32.根据权利要求1所述的光学系统,具有光轴,具有沿着光轴从光学元件的最远前表面到传感器阵列的小于7mm的总轨道长度,并且具有在绕中心方向的所有方向上延伸至少30度的视场,其中,如果所述光学系统是利用每个光学元件而被制造的,并且所述一个或多个经区段化的光学元件的每个区段独立地具有随机定位误差,其中法向分布具有2μm的两个标准偏差值,且没有任何其它制造误差,那么制造产出对于满足如下条件的系统将会是至少50%:调制传递函数至少对于至少为80循环/mm的分辨率、对于555nm的光、对于与中心方向的30度内的视场中的方向相对应的图像上所有位置至少为50%,并且对于与视场中的中心方向对应的图像中位置至少为70%。
33.一种为根据权利要求1所述的光学系统选择设计的方法,其具有图像品质对光学元件的形状、相对定向和相对定位中一个或多个的制造误差的减小的敏感性,而同时仍至少维持取决于视场上的数字图像品质的图像品质度量的最小值,所述方法包括:
a)对于针对光学系统的多个不同设计中的每一个,其中的所有都至少具有图像品质的度量的最小值,计算针对图像品质对制造误差的敏感性的品质因数,较高的品质因数对应于图像品质对制造误差的较低敏感性;以及
b)选择品质因数最高的设计。
34.一种用于将原始数字图像投影到实或虚投影图像以供观看的光学系统,所述系统包括:
a)计算机,所述计算机被编程以处理原始数字图像,从而产生经修改的数字图像,所述经修改的数字图像包括多个非重叠的区,每个区包括原始数字图像的不同区的畸变映射,其中原始数字图像的不同区中的至少一些彼此重叠,并且原始数字图像的重叠区中的像素在经修改的数字图像中在两个不同的位置显示两次,每个位置在经修改的数字图像的不同区中;
b)显示屏,所述显示屏显示所述经修改的数字图像;以及
c)投影系统,所述投影系统包括一个或多个光学元件,所述光学元件将显示屏投影到实或虚投影图像以供观看,包括至少一个经区段化的光学元件,所述经区段化的光学元件包括多个区段,所述区段中的至少两个在大小和形状的一个或二者中不同,每个区段将所述经修改的数字图像的各区中的不同的一个区投影到实或虚投影图像;
其中所述计算机被编程以使用图像处理算法来处理原始数字图像使得在所述经修改的数字图像中的畸变大体上补偿由投影系统所引起的对所述经修改的数字图像的畸变,并且实或虚投影图像在被观看的时候大体上是原始数字图像的非畸变的图像。
35.根据权利要求34所述的光学系统,其中所述至少一个经区段化的光学元件具有一表面,所述表面具有的定向在区段之间的边界处不连续。
36.根据权利要求35所述的光学系统,其中所述至少一个经区段化的光学元件在区段之间具有一个或多个梯级,并且在梯级的相对侧上的两个相邻区段中的该光学元件的表面的定向在所述梯级的相对侧之间是不连续的。
37.根据权利要求34所述的光学系统,其中所述至少一个经区段化的光学元件包括在区段中的至少一些之间的间隙。
38.根据权利要求34所述的光学系统,其中从显示屏到所述一个或多个光学元件的任何部分的最大距离小于在经修改的数字图像的部分被显示在其上的显示屏的任何两个部分之间的最大距离。
39.根据权利要求34所述的光学系统,包括一种机制用于将所述一个或多个光学元件相对于彼此、相对于显示屏或既相对于彼此也相对于显示屏可逆地折叠或折拢,从而使得所述系统当它不处于使用中的时候更致密。
40.根据权利要求34所述的光学系统,其中与距原始数字图像的中心位置小于30度的原始数字图像一部分相对应的所述经修改的数字图像的至少一部分具有大于10%的畸变度。
41.根据权利要求34所述的光学系统,其中如被观看的所投影图像中没有任何方向距与所述经修改的数字图像中的非重叠区中的不同的一个区相对应的方向多于10度。
42.根据权利要求34所述的光学系统,其中原始数字图像的不同区中没有任何两个具有相同的形状和大小。
43.根据权利要求42所述的光学系统,其中原始数字图像的不同区中的至少两个包括大体上同心的环。
44.根据权利要求34所述的光学系统,其中,针对显示屏的至少一部分,投影系统具有有效孔径,所述有效孔径包括一区,该区具有大于有效孔径的最大透射的10%并且小于所述最大透射的90%,其中具有多于所述最大透射的10%的孔径区域的至少20%针对由显示屏的该部分所发射的可见光的至少一些波长具有小于所述最大透射的90%。
45.一种为根据权利要求34所述的光学系统选择设计的方法,其具有所观看的图像的图像品质对投影系统的所述一个或多个光学元件的形状、对彼此以及对显示屏的相对定向和相对定位中的一个或多个方面的制造误差的降低的敏感性,而同时仍至少维持取决于所观看的图像的品质的图像品质度量的最小值,所述方法包括:
a)对于针对所述系统的多个不同设计中的每一个,计算针对图像品质对制造误差的敏感性的品质因数,较高的品质因数对应于图像品质对制造误差的降低的敏感性;以及
b)选择品质因数最高的设计。
46.一种光学配置,其将至少一个视场中对象的图像投影到针对该视场的至少一个焦面上,所述配置包括一个或多个光学元件,所述光学元件一起将视场的多个对焦部分的图像投影到所述焦面上,包括至少一个包括多个区段的光学元件,所述区段中的至少两个在大小和形状中的一个或两个方面中不同,每个区段往所述焦面上投影视场的对焦部分的仅仅一部分的图像,不同的区段将视场的对焦部分的不同部分的图像投影到焦面的非重叠的区,其中视场的每个对焦部分与其他对焦部分的至少一个重叠,位于两个对焦部分的重叠中的对象在传感器阵列上出现两次其图像。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762569650P | 2017-10-09 | 2017-10-09 | |
US62/569650 | 2017-10-09 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109633896A CN109633896A (zh) | 2019-04-16 |
CN109633896B true CN109633896B (zh) | 2022-06-14 |
Family
ID=65992577
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811171907.9A Active CN109633896B (zh) | 2017-10-09 | 2018-10-09 | 具有制作误差的容差的透镜设计 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11493670B2 (zh) |
CN (1) | CN109633896B (zh) |
Families Citing this family (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109040553B (zh) | 2013-06-13 | 2021-04-13 | 核心光电有限公司 | 双孔径变焦数字摄影机 |
US9857568B2 (en) | 2013-07-04 | 2018-01-02 | Corephotonics Ltd. | Miniature telephoto lens assembly |
CN108535839B (zh) | 2013-07-04 | 2022-02-08 | 核心光电有限公司 | 小型长焦透镜套件 |
US9392188B2 (en) | 2014-08-10 | 2016-07-12 | Corephotonics Ltd. | Zoom dual-aperture camera with folded lens |
WO2018154421A1 (en) | 2017-02-23 | 2018-08-30 | Corephotonics Ltd. | Folded camera lens designs |
CN114615399A (zh) | 2019-01-03 | 2022-06-10 | 核心光电有限公司 | 双重相机 |
CN114578520A (zh) | 2019-08-21 | 2022-06-03 | 核心光电有限公司 | 镜头组件 |
CN110381272B (zh) * | 2019-08-22 | 2022-05-13 | 睿镞科技(北京)有限责任公司 | 图像传感器组合系统及产生单一和复合视野图像的装置 |
US12072609B2 (en) | 2019-09-24 | 2024-08-27 | Corephotonics Ltd. | Slim pop-out cameras and lenses for such cameras |
KR102472973B1 (ko) * | 2019-09-24 | 2022-11-30 | 코어포토닉스 리미티드 | 슬림형 팝-아웃 카메라 및 이러한 카메라를 위한 렌즈 |
US11656538B2 (en) | 2019-11-25 | 2023-05-23 | Corephotonics Ltd. | Folded zoom camera module with adaptive aperture |
CN111025633B (zh) * | 2019-12-30 | 2021-08-24 | 广州晶和光电科技有限公司 | 一种基于奇次多项式的镜头设计方法、装置及存储介质 |
EP4052093A4 (en) | 2020-01-08 | 2022-12-28 | Corephotonics Ltd. | DIGITAL MULTI-APERTURE ZOOM CAMERAS AND METHODS OF USE THEREOF |
CN117572549A (zh) | 2020-05-30 | 2024-02-20 | 核心光电有限公司 | 用于获得超微距图像的系统和方法 |
EP4425256A2 (en) | 2020-07-31 | 2024-09-04 | Corephotonics Ltd. | Folded macro-tele camera lens designs |
EP4127788A4 (en) | 2020-09-18 | 2024-06-19 | Corephotonics Ltd. | FOLD-OUT ZOOM CAMERA |
DE102021106836A1 (de) * | 2020-10-02 | 2022-04-07 | Karl Storz Se & Co. Kg | Optisches Filtersystem für ein Video-Endoskop, Anzeigesystem und Video-Endoskop |
KR20220079874A (ko) | 2020-12-01 | 2022-06-14 | 코어포토닉스 리미티드 | 연속적으로 적응하는 줌 팩터를 갖는 폴디드 카메라 |
EP4091008A4 (en) * | 2021-01-25 | 2023-08-16 | Corephotonics Ltd. | SLIM WIDE-ANGLE POP-OUT CAMERA LENSES |
KR102712773B1 (ko) | 2021-03-22 | 2024-09-30 | 코어포토닉스 리미티드 | 연속적으로 적응하는 줌 팩터를 갖는 폴디드 카메라 |
CN116745686A (zh) | 2021-09-23 | 2023-09-12 | 核心光电有限公司 | 大光圈连续变焦折叠长焦摄像头 |
EP4244670A4 (en) | 2021-11-02 | 2024-03-06 | Corephotonics Ltd. | COMPACT DOUBLE-FOLDED TV CAMERAS |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1922549A (zh) * | 2004-02-23 | 2007-02-28 | 皇家飞利浦电子股份有限公司 | 确定成像系统中的图像模糊 |
CN101180635A (zh) * | 2005-06-20 | 2008-05-14 | 微软公司 | 处理原始的和经预处理的数字图像 |
CN101441320A (zh) * | 2008-12-09 | 2009-05-27 | 东华大学 | 一种基于显微成像检测的高动态图像获取装置及其方法 |
CN102177468A (zh) * | 2008-08-14 | 2011-09-07 | 远程保真公司 | 三反射镜全景相机 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU681261B2 (en) * | 1994-03-17 | 1997-08-21 | Bifocon Optics Forschungs- Und Entwicklungs Gmbh | Zoned lens |
US6313908B1 (en) * | 1998-07-02 | 2001-11-06 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | Apparatus and method using a holographic optical element for converting a spectral distribution to image points |
JP2002055273A (ja) * | 2000-08-07 | 2002-02-20 | Enplas Corp | 撮像レンズ |
DE102005036811A1 (de) | 2005-08-04 | 2007-02-08 | Siemens Ag | Korrekturverfahren für Festkörperdetektoren und Festkörperdetektor |
US7684126B2 (en) * | 2006-02-24 | 2010-03-23 | 3M Innovative Properties Company | Fresnel field lens |
CN101430417B (zh) | 2007-11-05 | 2010-04-07 | 鸿富锦精密工业(深圳)有限公司 | 广角镜头及成像装置 |
US8530243B2 (en) | 2009-04-20 | 2013-09-10 | Bio-Rad Laboratories Inc. | Non-scanning SPR system |
US8995058B2 (en) * | 2010-08-19 | 2015-03-31 | Panasonic Intellectual Property Management Co., Ltd. | Diffraction grating lens and imaging device in which the same is used |
US8385000B2 (en) * | 2011-04-15 | 2013-02-26 | Hewlett-Packard Development Company, L.P. | Concentric ring dielectric lens |
US9772465B2 (en) * | 2015-06-04 | 2017-09-26 | Qualcomm Incorporated | Methods and devices for thin camera focusing alignment |
-
2018
- 2018-10-09 CN CN201811171907.9A patent/CN109633896B/zh active Active
- 2018-10-09 US US16/154,753 patent/US11493670B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1922549A (zh) * | 2004-02-23 | 2007-02-28 | 皇家飞利浦电子股份有限公司 | 确定成像系统中的图像模糊 |
CN101180635A (zh) * | 2005-06-20 | 2008-05-14 | 微软公司 | 处理原始的和经预处理的数字图像 |
CN102177468A (zh) * | 2008-08-14 | 2011-09-07 | 远程保真公司 | 三反射镜全景相机 |
CN101441320A (zh) * | 2008-12-09 | 2009-05-27 | 东华大学 | 一种基于显微成像检测的高动态图像获取装置及其方法 |
Also Published As
Publication number | Publication date |
---|---|
US20190107651A1 (en) | 2019-04-11 |
CN109633896A (zh) | 2019-04-16 |
US11493670B2 (en) | 2022-11-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109633896B (zh) | 具有制作误差的容差的透镜设计 | |
US10948740B2 (en) | Head-mounted displays having curved lens arrays and generating elemental images for displaying | |
US10890695B2 (en) | Compound lens and display device having the same | |
KR101301448B1 (ko) | 줌렌즈 시스템 및 사용방식 | |
JP2022539553A (ja) | 低視差パノラマカメラシステムのためのレンズ設計 | |
US9341827B2 (en) | Anamorphic objective lens | |
KR20170001640U (ko) | 근적외선 이미징 렌즈 | |
JP5976275B2 (ja) | カスタマイズされたzレンズデザインプログラム | |
CN103913807A (zh) | 光场成像系统、及调节全光成像系统的方法 | |
JP2016164675A5 (zh) | ||
KR20110068994A (ko) | 3-미러 파노라마 카메라 | |
CN101203789A (zh) | 紧凑型高性能变焦透镜系统 | |
CN108152936A (zh) | 镜头和成像装置 | |
US9841538B2 (en) | Anamorphic objective zoom lens | |
US11067724B2 (en) | Fresnel-based varifocal lens assembly for VR or AR displays | |
JP7103566B2 (ja) | 光学装置 | |
EP3529656B1 (en) | Method of fabricating a multi-aperture system for foveated imaging and corresponding multi-aperture system | |
WO2019161699A1 (zh) | 虚拟现实设备的透镜优化方法、装置和计算机可读存储介质 | |
TWI467262B (zh) | 透鏡調芯裝置及攝像透鏡 | |
US20020089757A1 (en) | Head-up display adaptable to equipments of a given type | |
JP5972993B2 (ja) | 位置調整装置、および位置調整方法 | |
CN112105287B (zh) | 眼科装置及眼科光学系统 | |
Lippman | Design and Metrology of Freeform Gradient-Index Optics for Imaging and Illumination | |
WO2015004926A1 (ja) | 光学系を製造する方法、光学系およびプロジェクタ | |
US20210356746A1 (en) | Image display apparatus with extended depth of focus and method of controlling the same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40006722 Country of ref document: HK |
|
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |