CN104813217B - 用于设计能够估计景深的无源单通道成像器的方法 - Google Patents
用于设计能够估计景深的无源单通道成像器的方法 Download PDFInfo
- Publication number
- CN104813217B CN104813217B CN201380054478.6A CN201380054478A CN104813217B CN 104813217 B CN104813217 B CN 104813217B CN 201380054478 A CN201380054478 A CN 201380054478A CN 104813217 B CN104813217 B CN 104813217B
- Authority
- CN
- China
- Prior art keywords
- source
- optical
- depth
- electrical
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 230000003287 optical effect Effects 0.000 claims abstract description 38
- 238000012545 processing Methods 0.000 claims abstract description 19
- 238000013461 design Methods 0.000 claims abstract description 11
- 238000012634 optical imaging Methods 0.000 claims abstract description 8
- 230000005855 radiation Effects 0.000 claims abstract description 3
- 239000011159 matrix material Substances 0.000 claims description 21
- 238000005457 optimization Methods 0.000 claims description 12
- 238000005259 measurement Methods 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 8
- 238000001228 spectrum Methods 0.000 claims description 6
- 230000001419 dependent effect Effects 0.000 claims description 5
- 239000000203 mixture Substances 0.000 claims description 5
- 230000003595 spectral effect Effects 0.000 claims description 2
- 238000003491 array Methods 0.000 claims 1
- 239000004744 fabric Substances 0.000 claims 1
- 230000004075 alteration Effects 0.000 description 12
- 230000002349 favourable effect Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000005484 gravity Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 210000001747 pupil Anatomy 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 238000012512 characterization method Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000009897 systematic effect Effects 0.000 description 2
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000000205 computational method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000004836 empirical method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000007620 mathematical function Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20228—Disparity calculation for image-based rendering
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Optics & Photonics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Human Computer Interaction (AREA)
- Studio Devices (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Focusing (AREA)
- Lenses (AREA)
- Automatic Focus Adjustment (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及用于设计用于估计源的距离的电‑光成像系统的由计算机实施的方法，该电‑光成像系统包括光学子系统、探测器子系统和数字图像处理子系统，该方法包括对来自其源的辐射通过该光学子系统、该探测器子系统、该数字图像处理子系统的传播建模；该建模基于该源的空间模型；该方法包括同时设计该光学子系统和该数字图像处理子系统的联合步骤，该设计步骤给予至少一个性能度量，该性能度量依赖于在距该源的距离的局部估计和距该源的实际距离之间的比较。
Description
发明领域
本发明涉及通过使用电-光无源单通道系统来估计深度的领域，更具体地，用于设计这种电-光系统的方法。
这种电-光系统的应用更具体地涉及国防领域，其中诸如无人机这样的独立装置的发展已需要对这些装置的环境的三维(3D)信息提取技术的发展。
此外，与诸如智能手机或交互式游戏机这样的消费者技术相关的新特征，越来越经常地使用用户周围的3D环境的知识。
在这两个应用领域中，针对嵌入式系统的约束条件需要设计耗能少的紧凑系统。
以上所有提及的装置具有的共同之处在于他们集成了至少一个无源电-光系统(照相机)。
本发明的目的涉及通过利用仅由电-光系统提供的数据对景深的无源估计，其为将3D能力添加到装置的最少消耗能量和最小消耗空间的方法。
背景技术
单通道距离估计方法在现有技术已知。
美国专利US7711201公开了一种用于使用可动透镜、图像传感器以及结合(coupled)到该图像传感器的处理模块产生深度图以确定深度信息的方法及电-光系统。该透镜、该图像传感器及该处理模块形成诸如照相机这样的用于诸如自动对焦、监视、或独立交通工具导航这样的应用的用来捕捉场景的图像的成像装置。深度信息计算方法包括使用卷积核模拟高斯模糊量，然后估计这些图像之间的模糊差的步骤。
A.Levin、R.Fergus、F.Durand和W.T.Freeman的文章“Image and depth from aconventional camera with a coded aperture ACM Transactions on Graphics”，SIGGRAPH2007(http://groups.csail.mit.edu/graphics/CodedAperture/CodedAperture-LevinEtAl-SIGGRAPH07.pdf)描述了一种解决方案，其中从实现了编码光阑的单通道电-光系统估计距离。它还描述了用于优化这种光阑的编码的方法。
法国专利FR2880958公开了用于增加景深的电-光系统。在这个专利中描述的另选解决方案中的一个解决方案涉及实现一种适用于在无需光学测距设备的情况下从单个获取来测量场景中的物体的距离的方法和系统。然后，该方法使得能够获得在数字图像的每个区域中存在的物体的距离的估计。
在现有技术的这个文件中提供的解决方案由使用色彩光学器件(使得能够具有可变化的锐利程度，其依赖于获取的红色通道、绿色通道和蓝色通道)并且将数字图像分解成X乘Y个像素区组成。对于每个区，然后测量了至少两个通道的锐度，并且然后将测量到的值或相对的测量到的值报告在锐度对距离曲线(即，例如通过校正捕捉装置而定义的曲线)上。然后，获得了与在该装置的基准标记中的捕捉装置区域中示出的物体的部分的深度的估计相对应的距离。
然后，这种方法为了用传感器和标准光学器件搭建实时和低成本的光学测距装置(其给出图像和与该图像相关的距离信息)，使得能够获得存在于数字图像的每个区域中的这些物体的距离的估计。
还已知国际申请WO2009082822，其描述了在从一组捕捉图像选择聚焦度量信息中的最佳聚焦度量的同时，使用单个照相机产生深度图的方法。该最佳度量使得能够确定最优的透镜位置及减少从其的深度。现有技术的这种方法使用所产生的深度图以执行图像处理操作，其允许例如用于调整闪光的强度，将图像重新聚焦在所关注的深度平面上或帮助产生彩色图像。
国际申请WO2007022329描述了图像获取系统的另一示例，其基于两个图像之间的相对模糊和由该系统产生的绝对模糊从三维空间场景的两个图像产生深度图，直接根据这两个图案之间的相对模糊来计算深度图，以及根据关联的模糊半径值来计算距离。
美国专利申请US2009268985描述了图像系统，该系统从一对降低分辨率的图像产生图片深度图，用计算机计算在不同图像位置处的两个降低分辨率的图像之间的模糊差，以及基于在不同图像位置处的两个降低分辨率的图像之间的模糊差来计算深度图。
此外，还已知发证的欧洲专利EP1734746，其描述了基于图像质量的性能标准来优化电-光系统的方法。此专利具体地描述了用于设计电-光成像系统的计算机方法，该电-光成像系统由以下组成：
-光学部件；
-电-光探测器及关联的电路；
-数字处理装置。
现有技术的这种方法是基于源的空间模型。该方法包括：基于后处理性能度量，联合地一起设计而不是顺序地设计光学子系统和数字图像处理子系统的步骤。
还已知由作者A.Rajagopalan and S.Chaudhuri发表在International Journalof Computer Vision,Springer,1998,30,p.175-190的文章“Performance analysis ofmaximum likelihood estimator for recovery of depth from defocused image andoptimal selection of camera parameters”，该文章提出了用于优化用于估计深度的两个图像的模糊比的方法。这种优化是基于深度估计性能标准，其为使用通过高斯函数和源的参数模型的模糊建模而计算的克拉默—劳(Cramér-Rao)界限。
现有技术解决方案的缺点
在现有技术中已知的各种解决方法不使得能够根据用于深度估计的光学器件、探测器及图像处理子组件的特征来优化单通道电-光系统。
具体地，在由A.Levin写的文章中提出的解决方案提供了根据标准(该标准没有给出有关所获得的深度估计的准确性的信息)来优化编码光阑。此外，该优化仅涉及了光阑而没有涉及整个光学系统。
法国专利FR2919732考虑到色差的变化，但是没有描述对深度估计的精度的影响。
欧洲专利EP1734746公开了优化方法，其不使得能够提高距离估计的精度，而是仅提高了图像的质量。
在A.Rajagopalan写的文章中提供的解决方案不使得能够优化具有编码光阑的电-光系统，这是由于这种类型的光学系统不满足高斯模糊假设。此外，为了获得同一的场景的多个获取，它仅允许优化电-光多通道系统或可能的具有顺序获取模式的电-光单通道系统。
总之，现有技术的解决方案不使得能够对于电-光单通道系统基于深度估计的精确度和图像获取条件优化电-光系统。
本发明提供的解决方案
本发明目的在于通过提供用于优化电-光系统的方法弥补现有技术的不足，该方法使得能够通过考虑场景的获取的条件来提高对源的距离的估计的精度。
该目的是为了根据用户需要而优化并且确保性能，考虑深度的估计作为来自电-光系统的设计。
本发明提供了用于设计能够估计深度的电-光无源单通道系统，其适应用户关于估计精度的需求和使用条件。
为此目的，在其广泛意义中的本发明涉及用于设计电-光成像系统以估计源的距离的由计算机实施的方法，该电-光成像系统包括光学子系统、探测器子系统和数字图像处理子系统；该方法包括对来自源的辐射通过所述光学子系统、所述探测器子系统、所述数字图像处理子系统的传播的建模，该建模基于该源的空间模型，该方法包括同时设计该光学子系统和该数字图像处理子系统的联合步骤。该设计步骤是基于至少一个性能度量，该性能度量依赖于在距该源的距离的局部估计和距该源的实际距离之间的比较。
如在这个专利中所使用的，术语“深度”和“距离”具有相同的技术含义。
优选地，深度是沿光轴在以下之间测量到的距离：
-在光轴和穿过该源的正交平面之间的交叉点，以及
-在光轴和入瞳之间的交叉点，或照相机的任何基准点。
优选地，距离是在源点和到达点之间进行测量或估计的。源点对应于点光源的坐标。点光源的集合可形成扩展源。如果我们采取点光源的集合的重心，则到达点具体是入瞳的中心点，或照相机的任何其他基准点。
应用领域
当获取具有唯一焦点的图像时本发明适用，并且在以不同焦点执行同时采集并且处理多个图像时本发明适用。
有利地，用由多个探测器矩阵组成的探测器来获得所述多个图像，该多个探测器矩阵的每一个对特定光谱带敏感，每个图像与所述光谱带中的一个相对应。
根据具体的实施方式，该电-光系统设置有针对所述光谱带中每个调整特定焦点的装置。
根据一个具体另选实施方式，光学子系统包括能够使得在图像目录中的估计距离和的实际距离之间的差异最小化的编码光阑，该方法包括变改变所述光阑的编码和确定从此得到的差异的步骤。
根据一个具体另选实施方式，表征深度估计的精度的度量可以与另一个度量关联，例如，表征锐度或表征产生具有大景深的图像的能力的度量。
示例性非限制实施方式的详细描述
通过阅读以下示例性的非限性实施方式的详细说明同时参照附图，本发明将更好的理解，其中：
-图1示出了根据现有技术的估计深度的电-光无源单通道系统的各种功能块
-图2示出了所提供的设计辅助的方法的示意图
-图3示出了当使用针对具有相同焦距和相同开口但不同光阑形状的两个光学系统的深度估计性能的计算时所获得的理论估计准确性的曲线
-图4示出了当使用针对在相同光学系统中的两个不同的焦点的深度估计性能的计算时，所获得的理论估计准确性的曲线。
-图5示出了当使用针对具有红色通道、绿色通道和蓝色通道的焦平面的不同的位置的两个色彩光学系统的深度估计特性的计算时，所获得的理论估计准确性的曲线。
-图6示出了构成被优化以促进深度估计的电-光系统的镜头。
-图7示出了在图6中所示的电-光系统的透镜的特征的表格。
-图8示出了当针对在图6和图7中所示的电-光系统使用深度估计性能的计算时，所获得的理论估计准确性的曲线。
电-光系统参数的描述
图1示出了根据现有技术的估计深度的电-光无源单通道系统的各种功能块。
它已知地包括与光学子系统关联的探测器(例如，CCD探测器)和信号处理子系统。
该光学子系统由标记为θo的参数表征，其通常对应于：
-焦距
-开口
-构成光学系统的镜头的特征(数量，曲率半径，直径，圆锥度，玻璃类型).
-视场(le champ)。
该探测器由θd参数表征，其通常对应于像素的尺寸和数量，或对应于诸如曝光时间或例如可能存在的拜耳滤镜的这样的其他特征。光学器件/探测器组件形成场景的图像，该图像将用于深度估计。
该电-光系统的处理部分使用点和场景扩散函数的参数，以及标记为θt的处理参数，其对应于例如图像的缩略图的尺寸。
在深度估计中涉及标记为θx的源模型的参数。对源的假设对应于例如该电-光系统可观察到的对照物(纹理、轮廓等)的局部模型。
涉及深度估计的精度方面的参数
深度估计的精度首先依赖于点扩散函数(PSF)随着深度的可变化性。后者依赖于光学器件θO参数和探测器θd参数。然后，该精度依赖于参数θt，其更具体地表征用于估计深度的每个缩略图的像素的数量。
此外，影响深度估计的某些参数依赖于电-光系统的使用条件。一方面，这些是对图像造成影响的噪声电平，其广泛地关联到该装置所使用处的照明条件。这个噪声电平在此由信噪比(SNR)定义。另一方面，通过源模型的参数θx描述了由该装置观察的场景的特征。
电-光系统的深度估计的精度因此依赖于光学和传感器参数(θd和θc)二者、处理参数(θt)并且依赖于源的使用条件和模型(SNR,θx)。
用于设计电-光单通道系统的示例性方法的描述
设计估计深度的电-光系统需要根据用户关于精度模板的要求和使用条件来联合优化影响估计准确性的所有参数。
假设用户限定了例如电-光系统的视场、SNR、电-光系统的最大的整体尺寸和深度范围的期望精度。
根据所提出的发明的示例性设计方法由以下组成：
-在电-光系统库中采用使用条件接近用户所提出的使用条件的初始电-光系统
-使用简单的数学函数，或使用波动光学公式或使用光学设计软件，对与这种系统相关的一组PSF建模
-计算深度估计的精度度量；
-将结果与用户施加的模板比较
-通过针对每个修改将度量与模板的比较，执行反馈环，其中在光学器件、探测器及处理参数中引入连续修改
-选择最接近该模板的电-光系统以向用户返回最优参数。
有利地，如果多个电-光系统满足由用户施加的条件，则后者可以被提供多个解决方案或赋予更多约束条件的可能性以优化该系统。
相反，如果被赋予的条件太严格且使得不能够优化电-光系统，则将这个情况通知给用户，以修改他的/她的约束条件。
在图2中示出了以上描述的方法。
估计精度的评估
有利地，深度估计的精度度量通过在图像目录中的估计距离和实际距离之间的差异的行为的概率平均来计算。
传统地，这种差异通过计算针对图像目录的关于深度的似然函数的平均曲率来表征。根据以下步骤进行计算这种似然函数：
-记录点扩散函数(PSF)的库，所述PSF函数中的每一个与深度和电-光系统关联；
-捕捉至少一个真实图像，或使用PSF库中的PSF中的一个对至少一个图像建模；
-将所述缩略图图像划分成为具有预定尺寸的缩略图以记录缩略图集合；
-关于该缩略图的内容，计算每个PSF的似然性，并且针对所述缩略图中的每一个，估计使得这个似然性最大化的PSF；
-围绕使得该似然函数最大化的PSF周围测量似然性标准的局部曲率。
这个曲线的测量结果提供表示在估计距离和实际距离之间的差异的值，称为克拉默—劳界限(CRB)。
根据有利的另选解决方案，由于使用了该源的空间模型，在不必须获取或模拟图像目录的情况下，计算了深度估计的精度。
根据一个具体另选实施方式，源的空间模型是功率谱密度。这种建模具体地在在现有技术中提到的专利EP1734746中使用。
根据一个具体另选实施方式，使用从图像数据库学习的协方差矩阵对源建模。
根据一个具体另选实施方式，基于源的梯度的各向同性和高斯函数的假设，使用对应于该协方差矩阵的逆矩阵的精度矩阵对源建模。令Qx是精度矩阵，有利的另选解决方案由以下组成：
其中，D是一串水平和垂直方向的一阶导数算子，并且σχ 2是表征源的梯度的方差的参数。
根据具体计算，如果Hp是与深度P的PSF关联的卷积矩阵，则使用精度矩阵对源建模使得能够将CRB写成：
表征深度估计精度的量然后是σCRB(p)，其是CRB(p)的平方根。
其中，Rb是噪声协方差矩阵并且Qp是数据精度矩阵。
在一个具体情况下，噪声可建模为随机概率密度白过程，并且具有方差σ2b和该数据精度矩阵的高斯函数然后可写成：
其中
并且
其被解释为信噪比(SNR)的倒数。
示例
1)修改光阑以帮助估计深度。
使用波动光学公式模拟理想光学系统(即，其没有像差)的点扩散函数。这种系统具有50mm的焦距和开口2，具有7μm的像素。焦平面定位在距电-光系统1.9m处。对于相同的信噪比，将在传统光阑的情形下获得的理论估计精度与在编码光阑(诸如现有技术中的由A.Levin的文章中提出的)的情况下获得的理论估计精度对比。
-图3例示了针对深度估计与传统光阑相比编码光阑的优点。
这种曲线使得能够将比较各种形式的光阑以找到帮助深度估计的光阑。
2)修改焦点以帮助深度估计
使用波动光学公式模拟理想电-光系统(即，其没有像差)的点扩散函数。这种系统具有20mm的焦距和开口3，具有7μm的像素。
焦平面定位在距装置1.4m(绿色曲线)和2m(蓝色曲线)处。针对两个焦点所获得的σCRB的理论估计精度进行对比。
-图4示出了两个不同焦点不具有相同的估计精度曲线。
每一个更具体地具有与焦平面有关的不准确的峰值。因此，为了估计在0.5m和1m之间的深度，应该使用1.3m的焦距。类似地，为了估计超过2.5m的距离，2m焦距更有利。这种曲线使得能够根据要估计深度的空间区域来调整装置的焦点。
3)彩色光学器件的情况下修改三个红绿蓝通道的焦平面的位置
图5示出了具有开口3、焦距25mm并且具有5μm像素的tri-CCD型探测器的两个电-光彩色系统的理论深度估计性能。这两个系统的焦点和轴向色差被分别地设定使得针对这两个系统两者，绿色通道和蓝色通道的焦平面分别在1.8m和2.6m处。红色通道的焦平面对于第一系统是距4m远并且对于第二系统是无限远。该σCRB曲线示出了在1m至5m区域中的最有利的系统是具有红色通道的4m焦距的系统。
4)彩色电-光系统的优化
图6和图7示出了使用图2中例示的方法来优化的彩色电-光系统的特性。图8示出了深度范围上的这种图像的σCRB曲线。
电-光装置的详细描述
本示例涉及包括用于估计景深的装置的示例性光学器件。
在图6中例示的装置包括：由四个透镜10至13的物镜(通过非限制性示例描述的示例)和位于物镜的焦平面的探测器14形成。
透镜13具有圆锥型以校正特定光学像差。
光阑15位于物镜的光学路径中。在所描述的示例中，这个光阑是传统类型的，但它还可由编码光阑形成。
本发明涉及对这个已知物镜的优化，以在图8中所示的确定范围[Pmin,Pmax]内最大化深度估计的精度。
这种优化可以实验地或经验地执行，或这种优化可通过仿真执行。
该经验方法由利用以下约束产生具有不同的折射率、定位和曲率特性的透镜的多个物镜组成：
-透镜的恒定数量N
-物镜对于基准波长的恒定焦距
-物镜透镜的恒定开口
-不变的探测器
-被观测的光源的信噪比。
可变参数是：
-所述N个透镜中的每一个透镜的曲率半径
-N个透镜中的每一个透镜的材料的本质(因此折射率)
-N个透镜中的每一个透镜的相对位置
-当这种透镜被设置时，圆锥透镜12的锥度
-探测器14的位置
-光阑15的位置和构造。
对于光学系统中的每一个，具有宽光谱的光源被放置在Pmin和Pmax之间的距离P的位置处，优选地在光轴上，并且获取用M通道探测器14产生的至少一个彩色图像，其被称为PSFm(p)，其中m＝l,...,M。例如，探测器包括三个“RGB”通道。在所描述的示例中，对于彩色图像三元组PSFm(p)，M等于3并且获得m＝R,G,B。在三元组中的每个图像使得能够计算卷积矩阵Hm。利用M个矩阵Hm，然后，利用以下方程可以获得彩色矩阵Hp：
其中，ci,j是以下系数
这种矩阵Hp(p)然后被用于计算如在公式(3)中描述的精度矩阵Qp。
该矩阵QX被定义为：
其中μ＝0.05。
其中，D是一串水平的和垂直的一阶导数运算符。然后，获取对应于位于距离ρ+Δρ的相同光源的彩色图像的附加三元组。使用相同方法，获得精度矩阵Qp(p+Δp)。
根据这种矩阵，利用以下方程确定方程(2)的数值逼近
这种CRB描述了针对源位置p而分析的系统。
对于多个深度p，重复这种计算，以针对组件中的每一个确定σCRB(p)值的曲线作为距该源的距离p的函数，在图5中示出了其两个例子。
可以从位置p：ρ+Δρs，其中s＝l,…,S周围的多个测量结果S>2有利地计算在位置p中的CRB的数值逼近。
通过选择具有最佳σCRB曲线确定光学系统。这种标准可根据曲线点、或曲线要素、或更一般地从σCRB值的集合导出的任何质量函数的平均值的最小化来确定。
图8示出了针对图7中所示的光学组件的确定，所选择的曲线和关联的值的示例。
另选地，实际上可由ZEMAX型的光学仿真软件执行这种处理。
为了优化轴向色差，具有不同的折射率的两个透镜的组合，或由折射透镜和衍射透镜的组合可以被选择。为了不受限于衍射透镜在宽光谱上的衍射效率，由具有不同的倒色散系数的两个光学器件的组合是优选的。
为了随后校正横向色差和畸变，必须检查针对每个波长，图像的点位置在探测器的XY平面中是相同的，并且检查针对视场的点，针对每个波长，图像斑的重心在探测器上的同一位置处。
所以，必须在光阑的两侧分配透镜。
光学系统满足远心特征的约束条件(在光瞳的出口处的场半径的平均角垂直地到达探测器上)。这个性质确保了针对视场中的点针对每个波长，在散焦的条件下，图像斑的重心将探测器上的同一位置处。这种约束将被离探测器最近的透镜考虑。
系统优选地具有大的开口(例如，系统打开到F/3)，以便减少景深和突出模糊变化。大的开口需要对像差进行大的校正。由于公差的原因为了限制非球面表面的数量，透镜被添加到光学架构中。为了限制位于光阑的每边的透镜的开口并且因此减少像差的大小，设置了这些透镜的每一个的重复。另一个解决方案由在光阑处添加一个镜头以有效地校正球差组成。该系统则具有称作库克三片组的三透镜构架。然而，这种解决方案没有对光阑的通路(例如用于定位编码光阑)。
优选的构架由位于光阑每边的四个透镜组成。这个构架是快直(光学系统手册第四卷第278页)或双高斯(光学系统手册第四卷第303页)的变形。偏别来自于双合透镜不存在和远心特征的约束(离探测器最近的第四透镜与第三透镜分开以确保远心特征和场曲校正)。
使用诸如Zemax这样的光学计算软件的优化使得能够选择每个透镜的曲率半径、厚度和位置。每个透镜的材料选择以产生修正量的轴向色差。为了修正残留像差，将圆锥度添加到这些表面中的一个。
Claims (16)
1.一种用于设计用于估计源的距离的电-光成像系统的由计算机实施的方法，该电-光成像系统包括光学子系统、探测器子系统和数字图像处理子系统，该方法包括对来自源的辐射通过该光学子系统、该探测器子系统、和该数字图像处理子系统的传播建模，该建模基于该源的空间模型，该方法包括基于至少一个性能度量同时设计所述光学子系统和所述数字图像处理子系统的联合步骤，其特征在于，所述性能度量依赖于距该源的距离的局部估计和距该源的实际距离之间的比较。
2.根据权利要求1所述的方法，其特征在于，通过在图像目录中的所述估计距离和所述实际距离之间的差异的行为的概率平均来执行所述比较的功能。
3.根据权利要求2所述的方法，其特征在于，所述差异通过计算针对图像目录的关于深度的似然函数的平均曲率来表征，根据以下步骤计算这种似然函数：
-记录点扩散函数PSF的库，所述PSF的每一个与深度关联并且与电-光系统关联；
-捕捉至少一个真实图像，或使用所述PSF的库的所述PSF中的一个对至少一个图像建模；
-将所述图像划分成具有预设尺寸的缩略图以记录缩略图集合；
-关于所述缩略图的内容，计算每个PSF的似然性，并且估计使得针对所述缩略图中的每一个的这个似然性最大化的点扩散函数PSF；
-围绕使得所述似然函数最大化的所述PSF周围测量似然性标准的局部曲率。
4.根据权利要求3所述的方法，其特征在于，根据所述源的空间模型来计算所述似然性标准。
5.根据权利要求1至4中任一项所述的方法，其特征在于，所述模型是功率谱密度、或从图像数据库学习的协方差矩阵、或精确度矩阵，所述模型基于源梯度的各项同性和高斯分布。
6.根据权利要求3所述的方法，其特征在于，同时执行以不同焦距的获取和对多个图像的处理。
7.根据权利要求6所述的方法，其特征在于，用由多个传感器阵列组成的探测器来获得所述多个图像，所述多个传感器阵列中的每一个对特定光谱带敏感，每个图像与所述光谱带中的一个对应。
8.根据权利要求7所述的方法，其特征在于，所述电-光系统设置有用于针对所述光谱带中的每一个调整特定焦距的装置。
9.根据权利要求3所述的方法，其特征在于，所述光学子系统包括能够使得在图像目录中的所估计的距离和所述实际距离之间的所述差异最小化的编码光阑，所述方法包括改变所述光阑的编码和确定从所述编码光阑得到的所述差异的步骤。
10.根据权利要求3所述的方法，其特征在于，光学器件和处理参数被实时优化以帮助对深度的估计，使用条件由用户给出或由属于所述电-光系统的算法估计。
11.根据权利要求1所述的方法，其特征在于，设计步骤基于性能度量以及表征还产生具有大景深的图像的能力的度量的组合，该性能度量基于距所述源的所述距离的所述局部估计和距所述源的所述实际距离之间的比较。
12.根据权利要求1所述的方法，其中，将所述性能度量与由用户设定的模板相比较。
13.根据权利要求12所述的方法，其特征在于，在多个电-光系统匹配所述模板的情况下，这些各种电-光系统以及施加较多约束条件的可能性被提出给所述用户。
14.根据权利要求12所述的方法，其特征在于，在没有电-光系统匹配所述模板的情况下，将此情况通知所述用户以减少约束条件。
15.一种电-光装置，该电-光装置包括在距离范围[Pmin,Pmax]中操作的深度估计器，其特征在于，其由包括N＝2、3或4个透镜的物镜、位于所述物镜的焦平面处的探测器(14)和光阑(15)组成，所述物镜的特征根据依赖于距源的距离的局部估计和距该源的实际距离之间的比较的性能度量来确定。
16.根据权利要求15所述的电-光装置，其特征在于，所述透镜中的至少一个是圆锥型的。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR12/02774 | 2012-10-17 | ||
| FR1202774A FR2996925B1 (fr) | 2012-10-17 | 2012-10-17 | Procede de conception d'un imageur monovoie passif capable d'estimer la profondeur |
| PCT/FR2013/000267 WO2014060657A1 (fr) | 2012-10-17 | 2013-10-09 | Procédé de conception d'un imageur monovoie passif capable d'estimer la profondeur de champ |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104813217A CN104813217A (zh) | 2015-07-29 |
| CN104813217B true CN104813217B (zh) | 2017-12-19 |
Family
ID=47750743
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201380054478.6A Active CN104813217B (zh) | 2012-10-17 | 2013-10-09 | 用于设计能够估计景深的无源单通道成像器的方法 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US10096113B2 (zh) |
| EP (1) | EP2909671B1 (zh) |
| JP (1) | JP6479666B2 (zh) |
| CN (1) | CN104813217B (zh) |
| FR (1) | FR2996925B1 (zh) |
| IL (1) | IL238255B (zh) |
| WO (1) | WO2014060657A1 (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2013273843A1 (en) * | 2013-12-23 | 2015-07-09 | Canon Kabushiki Kaisha | Motion blur compensation for depth from defocus |
| TWI538508B (zh) * | 2014-08-15 | 2016-06-11 | 光寶科技股份有限公司 | 一種可獲得深度資訊的影像擷取系統與對焦方法 |
| US9958585B2 (en) * | 2015-08-17 | 2018-05-01 | Microsoft Technology Licensing, Llc | Computer vision depth sensing at video rate using depth from defocus |
| GB2541884A (en) | 2015-08-28 | 2017-03-08 | Imp College Of Science Tech And Medicine | Mapping a space using a multi-directional camera |
| CN106249413B (zh) * | 2016-08-16 | 2019-04-23 | 杭州映墨科技有限公司 | 一种模拟人眼对焦的虚拟动态景深变化处理方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1734746A1 (en) * | 2005-06-17 | 2006-12-20 | Ricoh Company, Ltd. | End-to-end design of electro-optic imaging systems |
| CN101236294A (zh) * | 2007-02-01 | 2008-08-06 | 玉晶光电(厦门)有限公司 | 可调式光学系统 |
| CN101771893A (zh) * | 2010-01-05 | 2010-07-07 | 浙江大学 | 一种基于视频序列背景建模的虚拟视点绘制方法 |
Family Cites Families (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5067067A (en) * | 1989-07-05 | 1991-11-19 | Eastman Kodak Company | Method for evaluating and designing lenses |
| US5552995A (en) * | 1993-11-24 | 1996-09-03 | The Trustees Of The Stevens Institute Of Technology | Concurrent engineering design tool and method |
| JP3342423B2 (ja) * | 1998-10-09 | 2002-11-11 | ホーヤ株式会社 | 眼光学系のシミュレーション装置 |
| WO2005054927A2 (en) * | 2003-12-01 | 2005-06-16 | Cdm Optics, Inc. | System and method for optimizing optical and digital system designs |
| FR2880958B1 (fr) | 2005-01-19 | 2007-11-30 | Dxo Labs Sa | Procede d'amelioration de la nettete d'au moins une couleur d'une image numerique |
| US7929801B2 (en) | 2005-08-15 | 2011-04-19 | Sony Corporation | Depth information for auto focus using two pictures and two-dimensional Gaussian scale space theory |
| US20070081224A1 (en) * | 2005-10-07 | 2007-04-12 | Robinson M D | Joint optics and image processing adjustment of electro-optic imaging systems |
| US7711201B2 (en) | 2006-06-22 | 2010-05-04 | Sony Corporation | Method of and apparatus for generating a depth map utilized in autofocusing |
| FR2919732B1 (fr) | 2007-08-03 | 2010-04-09 | Dxo Labs | Systeme optique muni d'un dispositif d'accroissement de sa profondeur de champ |
| US8149319B2 (en) * | 2007-12-03 | 2012-04-03 | Ricoh Co., Ltd. | End-to-end design of electro-optic imaging systems for color-correlated objects |
| US8233077B2 (en) | 2007-12-27 | 2012-07-31 | Qualcomm Incorporated | Method and apparatus with depth map generation |
| US8897595B2 (en) * | 2008-03-26 | 2014-11-25 | Ricoh Co., Ltd. | Adaptive image acquisition for multiframe reconstruction |
| US8280194B2 (en) | 2008-04-29 | 2012-10-02 | Sony Corporation | Reduced hardware implementation for a two-picture depth map algorithm |
| JP5339934B2 (ja) | 2009-01-22 | 2013-11-13 | キヤノン株式会社 | 光断層撮像装置および光断層撮像方法 |
| US8436912B2 (en) | 2010-04-30 | 2013-05-07 | Intellectual Ventures Fund 83 Llc | Range measurement using multiple coded apertures |
| JP5591090B2 (ja) * | 2010-12-13 | 2014-09-17 | キヤノン株式会社 | 画像処理装置およびその方法 |
| US8542268B2 (en) * | 2011-03-02 | 2013-09-24 | Ricoh Co., Ltd. | Compact multi-aperture three-dimensional imaging system |
-
2012
- 2012-10-17 FR FR1202774A patent/FR2996925B1/fr not_active Expired - Fee Related
-
2013
- 2013-10-09 WO PCT/FR2013/000267 patent/WO2014060657A1/fr active Application Filing
- 2013-10-09 EP EP13780186.6A patent/EP2909671B1/fr active Active
- 2013-10-09 JP JP2015537318A patent/JP6479666B2/ja active Active
- 2013-10-09 CN CN201380054478.6A patent/CN104813217B/zh active Active
- 2013-10-09 US US14/436,400 patent/US10096113B2/en active Active
-
2015
- 2015-04-13 IL IL238255A patent/IL238255B/en active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1734746A1 (en) * | 2005-06-17 | 2006-12-20 | Ricoh Company, Ltd. | End-to-end design of electro-optic imaging systems |
| CN101236294A (zh) * | 2007-02-01 | 2008-08-06 | 玉晶光电(厦门)有限公司 | 可调式光学系统 |
| CN101771893A (zh) * | 2010-01-05 | 2010-07-07 | 浙江大学 | 一种基于视频序列背景建模的虚拟视点绘制方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP2909671B1 (fr) | 2016-12-07 |
| JP6479666B2 (ja) | 2019-03-06 |
| JP2015535091A (ja) | 2015-12-07 |
| US10096113B2 (en) | 2018-10-09 |
| CN104813217A (zh) | 2015-07-29 |
| FR2996925A1 (fr) | 2014-04-18 |
| FR2996925B1 (fr) | 2017-06-16 |
| US20150302573A1 (en) | 2015-10-22 |
| IL238255A0 (en) | 2015-06-30 |
| EP2909671A1 (fr) | 2015-08-26 |
| IL238255B (en) | 2019-12-31 |
| WO2014060657A1 (fr) | 2014-04-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3516625B1 (en) | A device and method for obtaining distance information from views | |
| CN106896069B (zh) | 一种基于彩色数码相机单幅rgb图像的光谱重建方法 | |
| CN106846463B (zh) | 基于深度学习神经网络的显微图像三维重建方法及系统 | |
| CN105678742B (zh) | 一种水下相机标定方法 | |
| CN104813217B (zh) | 用于设计能够估计景深的无源单通道成像器的方法 | |
| CN111709985B (zh) | 一种基于双目视觉的水下目标测距方法 | |
| CN109883391B (zh) | 基于微透镜阵列数字成像的单目测距方法 | |
| CN105389591B (zh) | 一种红外成像传感器典型效应仿真的验证方法 | |
| CN103630091B (zh) | 一种基于激光与图像处理技术的叶面积测量方法 | |
| CN102651135A (zh) | 一种基于优化方向采样的自然图像抠图方法 | |
| CN109325981A (zh) | 基于聚焦像点的微透镜阵列型光场相机几何参数标定方法 | |
| Mignard-Debise et al. | A vignetting model for light field cameras with an application to light field microscopy | |
| CN109632092A (zh) | 一种基于空间光场的亮度测试系统及方法 | |
| CN106295657A (zh) | 一种视频数据结构化过程中提取人体高度特征的方法 | |
| Kurmi et al. | Pose error reduction for focus enhancement in thermal synthetic aperture visualization | |
| CN106018201B (zh) | 基于均值滤波的混合场粒径测量方法 | |
| US10909704B2 (en) | Apparatus and a method for generating data representing a pixel beam | |
| CN110851965B (zh) | 一种基于物理模型的光源优化方法及优化系统 | |
| Zhu et al. | Three-dimensional measurement of fringe projection based on the camera response function of the polarization system | |
| CN110533702B (zh) | 一种基于光场多层折射模型的水下双目视觉立体匹配方法 | |
| CN108154478A (zh) | 一种遥感图像处理方法 | |
| CN209279912U (zh) | 一种物体三维信息采集装置 | |
| CN105894482A (zh) | 平衡各视点图像间亮度差异的方法及系统 | |
| Li et al. | Overall well-focused catadioptric image acquisition with multifocal images: a model-based method | |
| Zhang et al. | Multifocus image fusion and depth reconstruction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| EXSB | Decision made by sipo to initiate substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: Palaiseau France Applicant after: Deutsch Zentr Luft & Raumfahrt Address before: French chastillon Applicant before: Deutsch Zentr Luft & Raumfahrt |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |