CN101952855A - 从三维场景实时获取视觉信息的方法和照相机 - Google Patents

从三维场景实时获取视觉信息的方法和照相机 Download PDF

Info

Publication number
CN101952855A
CN101952855A CN2009801023120A CN200980102312A CN101952855A CN 101952855 A CN101952855 A CN 101952855A CN 2009801023120 A CN2009801023120 A CN 2009801023120A CN 200980102312 A CN200980102312 A CN 200980102312A CN 101952855 A CN101952855 A CN 101952855A
Authority
CN
China
Prior art keywords
image
focus storehouse
object space
resolution
phase place
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2009801023120A
Other languages
English (en)
Other versions
CN101952855B (zh
Inventor
何塞·曼努埃尔·罗德里格斯拉莫斯
何塞·希尔·马里沙尔赫内恩德斯
费尔南多·罗莎贡佐莱斯
费尔南多·佩雷斯纳瓦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Universidad de La Laguna
Original Assignee
Universidad de La Laguna
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Universidad de La Laguna filed Critical Universidad de La Laguna
Publication of CN101952855A publication Critical patent/CN101952855A/zh
Application granted granted Critical
Publication of CN101952855B publication Critical patent/CN101952855B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • G06T15/205Image-based rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/97Determining parameters from multiple pictures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/557Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/571Depth or shape recovery from multiple images from focus

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Computer Graphics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Cameras In General (AREA)
  • Focusing (AREA)

Abstract

本发明涉及根据物空间的全光函数计算与物空间相关的焦点堆栈的方法,使用了在离散超立方体中沿着受限平面的长度的和变换,该方法使得计算时间显著地减少。本发明还涉及提高所获得的焦点堆栈的分辨率的方法。此外,本发明涉及在三维场景的表面的每个位置,分别实时恢复波前的复振幅的深度、模和相位的两种方法,还涉及适于执行上述方法的系统。

Description

从三维场景实时获取视觉信息的方法和照相机
发明目的
本发明涉及计算与物体体积相关的焦点堆栈(focal stack)的方法,涉及提高所获得的焦点堆栈的图像的分辨率的方法,涉及三维场景中距离的实时测量的方法以及涉及与波前相关的电磁场的复振幅的实时层析X射线照相术测量的方法。
本发明可以知道在场景的表面位置的电磁场的距离和复振幅。
此外,本发明涉及在较大体积范围内实时获取三维场景的视觉信息的照相机,其特征在于使用物镜以及位于物镜的像空间中的小透镜阵列、安置于小透镜焦点处的传感器(收集由小透镜形成的图像)、以及并行计算处理装置,该装置适于计算与照相机所测量的物体体积相关的焦点堆栈,并且适于关于后者计算在所感测的物空间的任一点处的电磁场的复振幅(模和相位)以及辐射面的三维位置。
本发明能够在其中需要知道波前的任何领域或应用中发挥作用,例如地面天文观测、眼科学、全息摄影术等,并且能够在其中需要计量学的任何领域或应用中发挥作用,如实时场景、3D电视、抛光CCD、自动车机械学等。
技术领域
光学。图像处理。
背景技术
本发明涉及两种需要:完成与图像质量至关重要(例如诊断)的任何光学问题相关的波前的复振幅的三维测量的需要,以及在从几微米到几千米的大范围体积中获取足够可靠和精确的深度图的需要,本发明还涉及针对3D电视、3D电影、医疗等三维信息的实时产生。
现有技术
用于如今具有大直径的望远镜(GRANTECAN,Keck,…)和将来的巨型望远镜(直径为50或100米)的自适应光学关注于使用一种被称为多共轭光学的层析X射线照相术来测量大气层相位的三维分布。由于在天空中缺少足够数量的自然点源,因而在望远镜所观察到的物体的视场中总是存在一个自然点源,从而使得不得不使用人造点源:Na星(高度为90km)
为了校正影响来自天空中物体的光束的整个大气层,防止焦距非等晕,必须使用这些人造星中的一些(至少5个)。为了被产生,每个人造星都需要非常高分辨率的高功率的脉冲激光,其转换成昂贵的技术。此外,在花费了如此高成本后,多共轭光学器件只能测量与至多三个水平湍流层相关的大气层相位(使用三个同时测量相位传感器),也就是说,它扫描影响图像的三维圆柱中的很小一部分。此外,还需利用这种复杂计算恢复相位的估计,该复杂计算使得在大气层稳定期间,在可视范围内(10ms)光束的自适应校正极其复杂。
然而,本发明的背景没有专门地关注于天体物理学领域。在光学或眼科学领域,执行人眼层析X射线照相术的主要兴趣是,根据医学专家获取和具有的病人的视网膜基底的清晰图像,以能够更容易的进行诊断。眼睛中的水状体、玻璃状液、以及晶状体表现得象使视网膜能够获得的图像异常的装置一样。
即使对于这种不需要像地球大气层一样频繁测量(每10ms)的情况,由于它是一种稳定的畸变,因此需要足够的三维分辨率,以不仅获得视网膜基底的好的图像,而且还可以检测可能的眼病变的空间位置。
最后,在例如电视或电影图像等的其它领域,存在有关三维电视的挑战,其中一个至关重要的问题是内容的实时产生,假定技术是如此的复杂和困难,以至于在产生可以在现有3D显示器上显示的3D内容的过程中需要人为干预。在这种情况下,这里所提出的技术在并行计算硬件(GPU和FPGA)上的优化实现可以产生实时的三维内容。
在提及领域的现有技术中已知多种方法,其中小透镜已经被安置在会聚透镜的像平面,产生用于图像参数测量的装置和方法,不过,它们没有使用所谓的组装来进行光学像差的层析X射线照相测量,或获取场景中的距离。
例如,Adelson and Wang(“Single lens stereo with a plenoptic camera(使用全光照相机的单镜头立体视觉)”,IEEE Transactions on PatternAnalysis and Machine Intelligence,Vol.14,No.2,99-106,1992)使用装置结合一种完全不同于本发明的技术来获得距离。
作者Ren Ng et al.(“Light field photography with a hand-heldplenoptic camera(使用手持式全光照相机的光场摄影术)”,StanfordTech Report CTSR 2005-02)在像平面使用与小透镜相关的傅立叶切片(傅立叶Slice)技术,只为获得在很少立方公尺的体积范围内的现场聚焦照片,其质量明显好于常规景深技术。在这种情况下,如果再三地申请可覆盖所需体积的距离,所提出的技术允许计算焦距堆栈,涉及使得实时处理变得不可能的计算要求。
在本说明书的范围内,场景的焦点堆栈将被解释为图像体积,该图像体积由从同一视角拍摄的、但是改变了焦距的一组传统摄影图片产生。
关于信息提取过程,众所周知,可以通过将来自透镜的平面的每个点(u,v)、到达传感器的每个点(x,y)的所有光线进行积分,从光场或四维全光函数f(u,v,x,y)获取摄影图像。通过所述积分,全光捕获效应得以消除。换句话说,如果光线在被小透镜捕获时已经被重定向到不同的空间位置,那么为了重现常规图像,必须进行重组,即对来自不同角度值(u,v)的位置(x,Y)再次共同积分。
由等式EF(x,y)=∫∫f(u,v,x,y)dudv,或摄影形式积分所获得的图像对摄影图像进行重新成像,所述摄影图像已经由以距离F聚焦于平面、且与小透镜传感器组件的物镜共轭的传统传感器获得。如果期望在F之前或之后以距离F′=α·x在平面中重新成像,则Ren Ng证明,通过三角形的相似性,必须求取以下值:
E α · F ( x , y ) = ∫ ∫ f ( u , v , u · ( 1 - 1 α ) + x α ′ v · ( 1 - 1 α ) + y α ) dudv
该等式针对每个可能的距离α·F的求值需要O(N4)次运算,因此,对于N个平面将需要O(N5)次运算,其中N是分辨率,以该分辨率对全光函数的每个维度进行采样。
Ren Ng还证明,如果计算光场的4D傅立叶变换,其包含O(N4log2N)次复杂的相加和相乘运算,则可通过进行截段2D旋转以及光场的4D变换函数的2D反傅立叶变换,能够获得不同的重聚焦平面,它们中的每一个具有O(N2)+O(N2log2N)次计算复杂度,增加了所感测的4D函数的傅立叶变换的初始成本。
因此需要一种方法,该方法可以减少焦点堆栈计算的计算成本,并且因此减少了其计算时间。
计算本发明的焦点堆栈的方法的最接近的相关背景文件是由
Figure BPA00001183526900041
和Druckmiiller(“A fast digital Radon transform-an effcient means forevaluating the Hough transform(快速数字Radon变换-求取Hough变换的值的有效方法)”,Pattern Recognition,vol.29,no.4,pp.711-718,1996.),以及Brady(“A Fast Discrete Approximation Algorithm for theRadon Transform(用于Radon变换的快速离散近似算法)”,SIAM J.Comput.,vol.27,no.1,pp.107-119,1998)独立提出的离散快速(或近似,根据作者的说法)Radon变换,其同时求取沿着一系列离散线的长度的值之和,每个离散线以相对于原点的斜率和偏移为特征,分布在二维数据格子上,通过O(N2log2N)个和,其中每条线上的和的直接求取需要O(N)次运算,因此对于N个斜率以及N个偏移的求值将需要O(N3)次求和。
最后,不管用于获得场景信息的过程以及考虑到本发明的系统,Richard M.Clare和Richard G.Lane(“Wave-front sensing fromsubdivision of the focal plane with a lenslet array(来自具有小透镜阵列的焦平面的一部分的波前传感”)”,J.Opt.Soc.Am.A,Vol.22,No.1,117-125,2005)已经提出了一种系统,其中小透镜阵列可以安置在会聚透镜焦距的右侧,而不是像平面的任意位置,通过这种系统,只在透镜的光瞳中获得波前的相位。
因此,需要这样一种方法,其允许以地形学方式确定波前相位,例如,在物空间的三维体积内的任何距离处,而不只是在透镜的光瞳中。
发明内容
本发明在第一方面中提供了一种如权利要求1所述的用于计算与场景相关的焦点堆栈的方法来克服上述缺点,该方法允许显著地减少处理的计算成本和计算时间,相对于现有技术中已知方法,该方法包含明显的改进。
本发明另一目的是提出一种用于测量场景中距离的方法以及测量电磁场的复振幅的方法,这些方法在计算上得以优化并且适于并行计算。
本发明允许:
-每当大气稳定时,限制于单一测量和单个传感器。
-与每个水平湍流层相关的模和相位的恢复,即借助于计算焦点堆栈的方法的整个大气层的层析X射线照相术,在考虑到它所使用的操作的数量和类型时,恢复是很快的,但是通过其对图形处理单元(GPU)或可重构硬件单元如FPGA(现场可编程门阵列)的智能适应,该恢复能够被加速。
-防止使用人造激光星的需要,因为当它到达地球大气层时,由于这种新技术不需要对点信号进行随后的去卷积校准,所以能够进行物体的图像的实时恢复。
本发明的计算焦点堆栈的方法,被称作SCPH(超立方体中受限平面的累加)变换,可以获得一系列三维场景的平面,沿着光轴长度在不同位置聚焦,减少了处理的计算复杂度。
本发明的计算焦点堆栈的方法是根据用于计算离散快速Radon变换的多尺度方法的原则,并且通过重用部分结果来最小化待执行的操作的数量。
出于减少焦点堆栈计算的计算成本的目的,本发明的方法使用了在离散超立方体中沿着受限平面的长度的和变换。必须意识到,摄影形式积分在几何学上等同于求取沿着函数中平面的长度的积分,所述平面的域为四维超立方体。理解了这一点,摄影形式积分是
Figure BPA00001183526900061
的一种特殊情况,增加了限制条件,即对于当前情况,限定积分面的斜率r1和r2是相等的,其可以减少将进行的运算的数量。
所提出的用于计算焦点堆栈的方法包括:同时计算平面上的离散4D函数f(u,v,x,y)中的值的和,从而使得在某种离散化条件下,位于其中的点的坐标同时满足x=u·r+j和y=v·r+k;重新使用一个以上的离散面所包含的点的部分和,其中u和v是镜头平面的水平和垂直距离,x和y是传感器平面的水平和垂直尺寸,j、k和r是将要获得的焦点堆栈的水平、垂直和深度尺寸。换句话说,对于平面中的线积分这种情况而言已经存在的计算离散快速近似Radon变换的算法,得以扩展直到它达到在四维超立方体上的四维超平面积分,满足水平和垂直斜率相同的附加条件。
到步骤m,数据的部分变换被定义为:
Figure BPA00001183526900063
其中认为,函数具有NxNxNxN维,当n=log2N时,函数
Figure BPA00001183526900064
描述了这样一种离散方式,其中连续的点
Figure BPA00001183526900065
满足u∈[0,N),连接形成斜率为s/(N-1)的离散线的点(0,d)以及(N-1,s+d),函数
Figure BPA00001183526900066
返回与二进制nuple
Figure BPA00001183526900067
相对应的值λ(u)∈Z。如果经变换的数据达到步骤0,则使
Figure BPA00001183526900068
等于所捕获的数据f(s,t,j,k):
Figure BPA00001183526900069
然后:
Figure BPA000011835269000610
其接近对于N深度平面的体积的摄影形式积分:
Er(j,k)=∫∫f(u,v,u·r+j,v·r+k)dudv。
对于负斜率而言,可以类似地计算出其它N深度平面。由于两个半体积共享深度0,则将获得由在不同距离重聚焦的2N-1个图像组成的总焦点堆栈。
映射两个部分步骤m和m+1的循环公式完整地描述了本方法,并且必须应用n次:
Figure BPA00001183526900071
Figure BPA00001183526900072
Figure BPA00001183526900073
Figure BPA00001183526900074
Figure BPA00001183526900075
必须指出,所描述的部分变换
Figure BPA00001183526900076
的域是
Figure BPA00001183526900077
所需要的域的一半,该
Figure BPA00001183526900078
被进一步从4D域变换到3D域,在需要O(N4)次求和的处理中,其转化为相对于当前处理节省了百分之八十以上的计算时间。
通过下述处理以及使用这里提出的方法,可以在场景的表面的每个位置恢复波前的复振幅的深度、模以及相位,该方法允许场景的完整的三维及实时扫描,因此非常适合应用于上述领域。
本发明的计算焦点堆栈的方法有利地不需要乘法和三角运算,只需相加并且对于来自维度N4的光场、包含聚焦于不同深度的2N-1个摄影平面的最终体积,其计算复杂度大约为O(N4)。
本发明的方法允许计算针对整个体积的焦点堆栈,并且与现有技术(Ren Ng)中所描述的获取焦点堆栈的方法在计算单个平面时所使用的运算量相比,具有更少的运算量。
然而,在捕获4D光场时引起的问题需要使用二维传感器。为了在2D传感器上获得信息的整个4D体积,具有非常高的分辨率的传感器是必须的。这样,对于O(N4)个像素的传感器,只可能获得由O(N2)个像素的图像组成的焦点堆栈,并因此只有O(N2)个距离。分辨率大约O(N2)的这种减少使得必须使用非常昂贵的传感器。
为解决这个问题,本发明的第二方面提供了一种如权利要求2所述的方法,用于提高焦点堆栈的图像的分辨率。在所述方法中,假设场景的元素具有朗伯型的反射,即由物体中一点所发射的强度依赖于角度。在这种情况下,光场具有大约O(aN2)的冗余信息,其中a是满足0<a<1的任意常数。这种冗余信息可以用于提高焦点堆栈的图像的分辨率。
根据权利要求2的方法允许从具有分辨率O(N2)的图像的焦点堆栈到达其他具有分辨率O((1-a)N4)的焦点堆栈。
考虑到在确定的距离处对应于平面的焦点堆栈的图像,提高焦点堆栈的分辨率的方法包括:
1.从该平面对光场的O(N4)光线进行后投影,利用这些光线的微小的位置构建高分辨率图像。
2.根据朗伯假设确定冗余。
3.在这个具有提高的分辨率的图像中存在两类像素:一类是不存在冗余,其中安置了后投影的光线的值,另一类是存在冗余,其中安置了冗余光线的代表值,例如平均值。
假设对于原始焦点堆栈的图像的O(N2)元素中的每一个存在O(aN2)冗余,焦点堆栈的图像的最终分辨率将从O(N2)提高到O((1-a)N4)。
在本说明书的上下文中,相对于小透镜的分辨率O(N2),超高分辨率被解释为图像和相关距离图二者的任何提高的清晰度。因此最大限度在于像素数量O(N4),使用本发明的方法有利地获得O((1-a)N4)级别的分辨率。
通常,a的值取决于被考虑的焦点堆栈的图像。对于距离的计算,最小分辨率是固定的,并且图像被隐含地或明确地重采样以获得所述的最小分辨率。
本发明的第三方面提出了一种如权利要求3所述的方法,用于实时测量三维场景中的距离。所述方法包括使用相位照相机获得物空间的图像、借助于权利要求1的方法计算焦点堆栈、在焦点堆栈中应用焦点质量测量算子(方差,拉普拉斯算子,梯度),并计算在随机马尔可夫域的最佳状态。
上述方法的步骤可以适于在并行计算硬件上实施,例如GPU或FPGA,其导致处理时间的更加有利的优化。
在第四方面中,本发明提供一种如权利要求5所述的方法,用于对与场景的波前相关的电磁场的复振幅进行实时断层X射线摄影测量。所述方法包括使用相位照相机获得物空间的图像,利用权利要求1的方法计算焦点堆栈,其提供了波前的复振幅的模平方的层析X射线照相,应用算子在物空间的体积的任意点产生波前梯度、并恢复与电磁场相关的波前的相位。
上述方法的步骤可以适于在并行计算硬件上实施,例如GPU或FPGA,其导致处理时间的更加有利的优化。
在用于实时测量三维场景中的距离的方法中以及在用于对与波前相关的电磁场的复振幅进行实时断层X射线摄影测量的方法中,物空间的测量只执行一次,即单个图像包含足够用于恢复三维环境的信息。这种图像可以理解为由四维组成:与小透镜的内侧相关的检测器上的两个坐标,以及与小透镜阵列相关的其它两个坐标。
组件将由单个小透镜阵列组成,在检测表面形成图像以检测足够的分辨率(例如CCD装置),其位于会聚透镜的像空间的位置,其可以进行三维物空间的层析X射线照相测量。
最后,本发明的第四方面提供了一种如权利要求7所述的相位照相机,用于实时获取三维场景的视觉信息,其包括会聚透镜,位于所述会聚透镜的像空间中并且在用于检测足够分辨率的检测表面上形成图像,以及并行计算处理装置,该装置适用于:利用权利要求1所述的方法计算与照相机所测量的物空间相关的焦点堆栈,获得电磁场的复振幅(模和相位)以及获得所感测的物空间中任意位置的距离。
相比于现有技术的方法和系统,根据本发明的计算焦点堆栈的方法可以以地形学方式确定波前的相位,即在物空间的三维体积内的任何距离。而且,本发明的计算焦点堆栈的方法不但允许电磁场以平面中的波前的相位为特征,而且允许其以与整个体积中与波前相关的电磁场的复振幅为特征。
附图说明
为了补充下面所提供的描述并且帮助更好地理解本发明的特征,附上一系列附图作为所述描述的主要部分,其中下面的内容已经结合示例性而非限制的特征进行了描述:
图1示出了根据本发明的实时获取三维场景的视觉信息的照相机的主要元素的示意图。
图2示出了应用到具有大的主反射镜(1)的望远镜以使用自适应光学器件在星(8)的天体物理学观察中执行大气层析X射线照相术的本发明的概念图。
图3示出了在大气层(9)和(10)中的两个湍流层中使用多共轭自适应光学器件,进行星(8)的典型的天体物理学观察的概念图。
发明的优选实施方式的详细描述
在本发明的第一实际实施方式中,考虑了场景的物体所在的距离的测量。
考虑从本发明的场景进行观察的特殊情况,该场景由带家具的房间内部组成,其中一些物体位于距照相机0.5到4米的深度范围内,这些物体能够被识别为组件。
图1示意性地描述了包括在根据本发明的相位照相机中的孔径透镜(1)、小透镜阵列(2)以及检测表面(3)的排列。而且,示出了从会聚透镜到聚焦于物空间的一个确定物体的检测表面的距离(5),小透镜阵列中的每个小透镜的焦点(6),波前的局部倾斜角(7)以及湍流波前相对于没有像差的另一波前所经历的光路中的偏移(4)。本发明的照相机还包括未在附图中描述的处理装置。
为了形成本发明的用于实时获取三维场景的视觉信息的照相机,使用了最大分辨率为4000*2672的Imperx IPX-11M5型CCD传感器。随着图1的组装,在CCD前安置物镜,该物镜具有与随后的小透镜阵列(16*16以及F-Nikon卡口中)相同的焦距比,该小透镜阵列聚焦在覆盖1024*1024像素的CCD上。如此布置的照相机具有30°的水平角孔径,并且在大约2米处聚焦于场景的中心区域。
检测到的图像由处理装置处理,在这个实例中,GPU nVidia 8800GTX显卡适用于:
-利用本发明的计算焦点堆栈的方法计算焦点堆栈,该方法适于优选在并行计算硬件上执行;
-在焦点堆栈中应用焦点质量测量算子,例如,算子“方差”,用于估计焦点质量,优选适用于相同的并行计算硬件;以及
-通过计算在随机马尔可夫域的最优状态来恢复距离,优选在并行计算硬件上以优化方式执行,例如,根据柯尔莫哥洛夫树的重加权的理念传播。
使用本发明的照相机和方法,获得场景的深度图。
在本发明的第二实际实施方式中,考虑了电磁场的复振幅的测量。
考虑使用望远镜进行天体物理观察的特殊情况,该望远镜的直径大于大气层相干直径r0(在可视范围内大约20cm)。大气层的湍流引起利用望远镜获得的图像分辨率的损失,即高空间频率信息的损失。为避免这种情况,必须知道一种方法,该方法中大气湍流使来自被研究星的光的波前降级。为此,自然的或人造的点星能够用作参考,这些星星允许以在波前中由大气层引入的畸变为特征。
图3示意性地描述了在大气层的两个湍流层中使用典型的多共轭自适应光学器件对星(8)进行天体物理观察。使用多共轭自适应光学器件,必须由每个可变形的反射镜使用波前相位传感器,该可变形的反射镜与单独的湍流层共轭,即,两个不同的相位感应器(WFS),其必须平行排列和操作,并且处于光轴的不同位置。该图描述了望远镜(1)以及两个波前传感器(11)和(12),这两个传感器以共轭方式与每个湍流层(9)和(10)相关联。使用典型的多共轭自适应光学器件,只能恢复很少量的单独的湍流层(最多三层)。计算的复杂性以及对速度的需要,由于大气层在可视范围内每10毫秒改变一次,因此目前不可能克服在大气湍流中的只有三层的校正。
利用本发明,根据图1所示的设计以及在这种情况下图2中所示的操作,只使用一个安置在光轴的单一位置的传感器。
图2示意性地示出了根据本发明使用自适应光学器件在星(8)的天体物理观察中执行大气层析X射线照相法的系统。大气中单独的湍流层对应于(9)和(10)。在这种情况下,如上所述的望远镜(1)本身用作物镜。聚焦在IXON ANDOR型512*512像素照相机(3)上的小透镜阵列(2)(32*32,卡口C)安置在像空间中。本发明的相位照相机可以扫描影响望远镜最终成像的大气湍流的完整圆柱体(13)。通过Virtex ML501型FPGA,收集和处理数据,该FPGA事先被调整以执行以下处理:
-通过权利要求1的方法,计算焦点堆栈,其中在物空间的体积的任一点上,焦点堆栈的平方根直接提供电磁场的复振幅的模,
-在物空间的体积的任一点,应用算子(例如Clarke和Lane算子)以产生波前相位的梯度,以及
-恢复相关电磁场的波前的相位,例如,通过具有复指数扩充的方法,该扩充是作为泽尼克多项式的函数的扩充或哈金算法。
与当前技术不同,在本发明的方法中,局部地应用用于产生波前相位的梯度的算子,而不是将该算子整体应用到全光图像。
单独测量,随后如上所述那样进行处理,其允许实时获取影响使用我们的望远镜进行观测的与整个大气气柱相关的三维湍流(波前的复振幅)图、这些湍流层所在的高度、以及在使用人造激光星时的距离和三维轮廓。

Claims (10)

1.一种根据物空间的离散全光函数f(s,t,j,k)计算与物空间相关的焦点堆栈的方法,所述方法包括求取摄影形式积分作为沿着四维超立方体中平面的长度的和,所述摄影形式积分的求取依次包括以下步骤:
计算开始时,使捕获的数据f(s,t,j,k)等于达到步骤0的转换数据
Figure FPA00001183526800011
Figure FPA00001183526800012
以及
然后应用n=log2N次下面的部分变换:
Figure FPA00001183526800013
Figure FPA00001183526800014
Figure FPA00001183526800017
2.一种用于提高利用如权利要求1所述的方法获得的焦点堆栈的图像分辨率的方法,包括以下步骤:
考虑到在确定的距离处所述焦点堆栈的图像,对光场的O(N4)光线进行后投影,根据这些光线的微小的位置构建高分辨率的图像,
确定由假设场景的元素具有朗伯型反射而导致的冗余,以及
在不存在冗余的具有超高分辨率的焦点堆栈的位置,放置经后投影的光线的值,以及在存在冗余的位置,放置冗余光线的代表值,例如平均值。
3.一种用于实时测量三维场景中的距离的方法,所述方法包括以下步骤:
使用相位照相机获得物空间的图像,
根据权利要求1所述的方法计算焦点堆栈,
在所述焦点堆栈中应用焦点质量测量算子,以及
计算随机马尔可夫域上的最佳状态。
4.如权利要求3所述的用于实时测量三维场景中的距离的方法,还包括利用权利要求2所述的方法提高焦点堆栈的图像的分辨率。
5.一种用于对与波前相关的电磁场的复振幅进行实时断层X射线摄影测量的方法,所述方法包括以下步骤:
使用相位照相机获得物空间的图像,
利用权利要求1所述的方法计算焦点堆栈,其中在所述物空间的体积的任意点处,所述焦点堆栈的平方根直接提供所述电磁场的复振幅的模,
应用算子以在所述物空间的体积的任意点处产生波前相位的梯度,以及
恢复与所述电磁场相关的所述波前的相位。
6.如权利要求5所述的用于对与波前相关的电磁场的复振幅进行实时断层X射线摄影测量的方法,还包括利用权利要求2所述的方法提高焦点堆栈的图像的分辨率。
7.一种用于实时获取三维场景的视觉信息的相位照相机,包括:
会聚透镜,
小透镜阵列,位于所述会聚透镜的像空间中,并且在用于检测足够分辨率的检测表面上形成图像,以及
并行计算处理装置,适用于:
-利用权利要求1所述的方法,计算与照相机所测量的物空间相关的焦点堆栈,
-获得电磁场的复振幅(模和相位)以及
-获得所感测的物空间中任意位置的距离。
8.如权利要求7所述的用于实时获取三维场景的视觉信息的相位照相机,其中处理装置适于利用权利要求2所述的方法,提高所述焦点堆栈的图像的分辨率。
9.如权利要求7所述的用于实时获取三维场景的视觉信息的相位照相机,其中处理装置适于利用权利要求3所述的方法,获得物空间中任意位置的距离。
10.如权利要求7所述的用于实时获取三维场景的视觉信息的相位照相机,其中处理装置适于利用权利要求5所述的方法,获得电磁场的复振幅。
CN2009801023120A 2008-01-15 2009-01-15 从三维场景实时获取视觉信息的方法和照相机 Active CN101952855B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
ES200800126A ES2372515B2 (es) 2008-01-15 2008-01-15 Cámara para la adquisición en tiempo real de la información visual de escenas tridimensionales.
ESP200800126 2008-01-15
PCT/ES2009/000031 WO2009090291A1 (es) 2008-01-15 2009-01-15 Método y cámara para la adquisición en tiempo real de la información visual de escenas tridimensionales

Publications (2)

Publication Number Publication Date
CN101952855A true CN101952855A (zh) 2011-01-19
CN101952855B CN101952855B (zh) 2013-04-03

Family

ID=40885085

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009801023120A Active CN101952855B (zh) 2008-01-15 2009-01-15 从三维场景实时获取视觉信息的方法和照相机

Country Status (21)

Country Link
US (1) US8471897B2 (zh)
EP (1) EP2239706B1 (zh)
JP (1) JP5269099B2 (zh)
KR (1) KR101590778B1 (zh)
CN (1) CN101952855B (zh)
AU (1) AU2009204788B2 (zh)
BR (1) BRPI0907392A2 (zh)
CA (1) CA2711727C (zh)
CO (1) CO6300819A2 (zh)
DK (1) DK2239706T3 (zh)
EG (1) EG26176A (zh)
ES (1) ES2372515B2 (zh)
HK (1) HK1153297A1 (zh)
IL (1) IL206807A (zh)
MA (1) MA32069B1 (zh)
MX (1) MX2010007697A (zh)
NZ (1) NZ586721A (zh)
RU (1) RU2502104C2 (zh)
UA (1) UA103759C2 (zh)
WO (1) WO2009090291A1 (zh)
ZA (1) ZA201004763B (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102833569A (zh) * 2011-06-17 2012-12-19 汤姆森许可贸易公司 用于估计3d场景的元素深度的设备
CN103649674A (zh) * 2011-07-11 2014-03-19 佳能株式会社 测量设备以及信息处理设备
CN104658031A (zh) * 2015-03-06 2015-05-27 新维畅想数字科技(北京)有限公司 一种直接利用深度数据渲染三维图像的装置及方法
CN105739091A (zh) * 2016-03-16 2016-07-06 中国人民解放军国防科学技术大学 一种可减弱大气湍流影响的成像方法及装置
CN105807550A (zh) * 2016-03-02 2016-07-27 深圳大学 反演超高速成像方法
CN106296811A (zh) * 2016-08-17 2017-01-04 李思嘉 一种基于单光场相机的目标物三维重构方法
CN107018293A (zh) * 2015-09-17 2017-08-04 汤姆逊许可公司 生成表示光场的数据的方法和装置
CN107209061A (zh) * 2014-12-22 2017-09-26 拉古纳大学 用于确定场景相关电磁场的复振幅的方法
CN107637061A (zh) * 2015-04-27 2018-01-26 汤姆逊许可公司 处理光场内容的方法和设备
CN107788947A (zh) * 2016-09-07 2018-03-13 爱博诺德(北京)医疗科技有限公司 眼科检查设备和方法
CN110389140A (zh) * 2019-07-11 2019-10-29 中国科学院上海应用物理研究所 实现元素空间定位的双能焦点堆栈三维重构方法
CN110648298A (zh) * 2019-11-01 2020-01-03 中国工程物理研究院流体物理研究所 一种基于深度学习的光学像差畸变校正方法及系统
CN110928113A (zh) * 2019-12-03 2020-03-27 西北工业大学 一种可变空间分辨率的光场采集装置
CN115016035A (zh) * 2022-05-31 2022-09-06 中国科学院光电技术研究所 一种基于波前探测的实时大气湍流分层强度测量方法

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8913149B1 (en) 2010-11-30 2014-12-16 Integrity Applications Incorporated Apparatus and techniques for enhanced resolution imaging
EP2541258B1 (en) 2011-06-30 2013-08-28 Siemens Aktiengesellschaft Method of and device for capturing 3D data of one or more airborne particles
US8998411B2 (en) 2011-07-08 2015-04-07 Carl Zeiss Meditec, Inc. Light field camera for fundus photography
WO2013058777A1 (en) * 2011-10-21 2013-04-25 Hewlett-Packard Development Company, L. P. Color image capture system and method for light modulation
US9581966B1 (en) 2012-02-15 2017-02-28 Integrity Applications Incorporated Systems and methodologies related to 3-D imaging and viewing
US9354606B1 (en) 2012-07-31 2016-05-31 Integrity Applications Incorporated Systems and methodologies related to generating projectable data for 3-D viewing
IL221491A (en) * 2012-08-15 2016-06-30 Aspect Imaging Ltd A magnetic resonance device integrated with a light field camera
US9219905B1 (en) 2012-08-31 2015-12-22 Integrity Applications Incorporated Systems and methodologies related to formatting data for 3-D viewing
US9036080B2 (en) 2012-09-04 2015-05-19 Canon Kabushiki Kaisha Apparatus and method for acquiring information about light-field data
US9091628B2 (en) 2012-12-21 2015-07-28 L-3 Communications Security And Detection Systems, Inc. 3D mapping with two orthogonal imaging views
US9247874B2 (en) 2013-02-01 2016-02-02 Carl Zeiss Meditec, Inc. Systems and methods for sub-aperture based aberration measurement and correction in interferometric imaging
US9132665B2 (en) * 2013-08-22 2015-09-15 Ricoh Company, Ltd. Substrate defect detection mechanism
US9569853B2 (en) * 2013-10-25 2017-02-14 Ricoh Company, Ltd. Processing of light fields by transforming to scale and depth space
US9460515B2 (en) * 2013-10-25 2016-10-04 Ricoh Co., Ltd. Processing of light fields by transforming to scale and depth space
US9895057B2 (en) 2014-04-24 2018-02-20 Carl Zeiss Meditec, Inc. Functional vision testing using light field displays
GB2544946B (en) 2014-08-31 2021-03-10 Berestka John Systems and methods for analyzing the eye
WO2016040582A1 (en) * 2014-09-11 2016-03-17 University Of Delaware Real-time object capturing and 3d display systems and methods
CN104298638B (zh) * 2014-10-15 2017-02-08 沈阳理工大学 一种自适应光学处理平台
US9990738B2 (en) 2015-02-25 2018-06-05 Bae Systems Plc Image processing method and apparatus for determining depth within an image
GB2535726B (en) * 2015-02-25 2020-12-30 Bae Systems Plc An image processing method and apparatus for determining depth within an image
EP3106912A1 (en) * 2015-06-17 2016-12-21 Thomson Licensing An apparatus and a method for obtaining a registration error map representing a level of fuzziness of an image
KR20180053724A (ko) * 2015-09-17 2018-05-23 톰슨 라이센싱 명시야 콘텐츠를 인코딩하기 위한 방법
EP3350769A1 (en) * 2015-09-17 2018-07-25 Thomson Licensing Light field data representation
EP3144885A1 (en) * 2015-09-17 2017-03-22 Thomson Licensing Light field data representation
US9955861B2 (en) 2015-10-16 2018-05-01 Ricoh Company, Ltd. Construction of an individual eye model using a plenoptic camera
US10136116B2 (en) 2016-03-07 2018-11-20 Ricoh Company, Ltd. Object segmentation from light field data
CA3018604C (en) 2016-04-12 2023-11-07 Quidient, Llc Quotidian scene reconstruction engine
KR101835796B1 (ko) 2016-08-08 2018-04-19 박준현 실시간 3차원 해양공간정보를 이용한 전술 지원 시스템
EP3358321B1 (en) * 2017-02-03 2024-07-03 Wooptix S.L. Method and optical system for acquiring the tomographical distribution of wave fronts of electromagnetic fields
JP7399879B2 (ja) 2018-05-02 2023-12-18 クイッディエント・エルエルシー ほとんど無制限のディテールを有するシーンを処理するためのコーデック
KR102545980B1 (ko) 2018-07-19 2023-06-21 액티브 서지컬, 인크. 자동화된 수술 로봇을 위한 비전 시스템에서 깊이의 다중 모달 감지를 위한 시스템 및 방법
US20220051154A1 (en) * 2018-12-26 2022-02-17 Bloomfield Robotics, Inc. Method and apparatus for measuring plant trichomes
US11302017B2 (en) * 2019-03-12 2022-04-12 L&T Technology Services Limited Generating composite image from multiple images captured for subject
CN113950279B (zh) 2019-04-08 2023-04-14 艾科缇弗外科公司 用于医疗成像的系统和方法
WO2021035094A1 (en) 2019-08-21 2021-02-25 Activ Surgical, Inc. Systems and methods for medical imaging

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19632637C2 (de) * 1996-08-13 1999-09-02 Schwertner Verfahren zur Erzeugung parallaktischer Schnittbildstapelpaare für die hochauflösende Stereomikroskopie und/oder 3D-Animation mit konventionellen, nicht stereoskopischen Lichtmikroskopen
CN100416613C (zh) * 2002-09-29 2008-09-03 西安交通大学 计算机网络环境智能化场景绘制装置系统及绘制处理方法
CN1216347C (zh) * 2003-04-10 2005-08-24 上海交通大学 基于图像的场景再照明方法
JP4752031B2 (ja) * 2004-10-01 2011-08-17 ボード オブ トラスティーズ オブ ザ レランド スタンフォード ジュニア ユニバーシティ 撮像の装置と方法
ES2325698B1 (es) * 2006-01-20 2010-10-19 Universidad De La Laguna Camara de fase para la medida de distancias y de aberraciones de frente de onda en diversos entornos mediante slice de fourier.
US7620309B2 (en) * 2006-04-04 2009-11-17 Adobe Systems, Incorporated Plenoptic camera

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102833569B (zh) * 2011-06-17 2016-05-11 汤姆森许可贸易公司 用于估计3d场景的元素深度的设备
CN102833569A (zh) * 2011-06-17 2012-12-19 汤姆森许可贸易公司 用于估计3d场景的元素深度的设备
CN103649674A (zh) * 2011-07-11 2014-03-19 佳能株式会社 测量设备以及信息处理设备
CN107209061A (zh) * 2014-12-22 2017-09-26 拉古纳大学 用于确定场景相关电磁场的复振幅的方法
TWI687661B (zh) * 2014-12-22 2020-03-11 拉古納大學 用於確定場景相關電磁場的複振幅的方法及裝置
CN107209061B (zh) * 2014-12-22 2020-04-14 拉古纳大学 用于确定场景相关电磁场的复振幅的方法
CN104658031B (zh) * 2015-03-06 2017-05-10 新维畅想数字科技(北京)有限公司 一种直接利用深度数据渲染三维图像的装置及方法
CN104658031A (zh) * 2015-03-06 2015-05-27 新维畅想数字科技(北京)有限公司 一种直接利用深度数据渲染三维图像的装置及方法
CN107637061B (zh) * 2015-04-27 2020-11-06 交互数字Ce专利控股公司 处理光场内容的方法和设备
CN107637061A (zh) * 2015-04-27 2018-01-26 汤姆逊许可公司 处理光场内容的方法和设备
CN107018293B (zh) * 2015-09-17 2020-11-03 交互数字Vc控股公司 生成表示光场的数据的方法和装置
CN107018293A (zh) * 2015-09-17 2017-08-04 汤姆逊许可公司 生成表示光场的数据的方法和装置
CN105807550A (zh) * 2016-03-02 2016-07-27 深圳大学 反演超高速成像方法
CN105807550B (zh) * 2016-03-02 2019-04-23 深圳大学 反演超高速成像方法
CN105739091B (zh) * 2016-03-16 2018-10-12 中国人民解放军国防科学技术大学 一种可减弱大气湍流影响的成像方法及装置
CN105739091A (zh) * 2016-03-16 2016-07-06 中国人民解放军国防科学技术大学 一种可减弱大气湍流影响的成像方法及装置
CN106296811A (zh) * 2016-08-17 2017-01-04 李思嘉 一种基于单光场相机的目标物三维重构方法
CN107788947A (zh) * 2016-09-07 2018-03-13 爱博诺德(北京)医疗科技有限公司 眼科检查设备和方法
CN110389140A (zh) * 2019-07-11 2019-10-29 中国科学院上海应用物理研究所 实现元素空间定位的双能焦点堆栈三维重构方法
CN110648298A (zh) * 2019-11-01 2020-01-03 中国工程物理研究院流体物理研究所 一种基于深度学习的光学像差畸变校正方法及系统
CN110928113A (zh) * 2019-12-03 2020-03-27 西北工业大学 一种可变空间分辨率的光场采集装置
CN110928113B (zh) * 2019-12-03 2021-10-08 西北工业大学 一种可变空间分辨率的光场采集装置
CN115016035A (zh) * 2022-05-31 2022-09-06 中国科学院光电技术研究所 一种基于波前探测的实时大气湍流分层强度测量方法
CN115016035B (zh) * 2022-05-31 2023-12-22 中国科学院光电技术研究所 一种基于波前探测的实时大气湍流分层强度测量方法

Also Published As

Publication number Publication date
MX2010007697A (es) 2010-08-03
CN101952855B (zh) 2013-04-03
RU2010133943A (ru) 2012-02-27
IL206807A0 (en) 2010-12-30
JP5269099B2 (ja) 2013-08-21
JP2011514964A (ja) 2011-05-12
UA103759C2 (ru) 2013-11-25
ES2372515B2 (es) 2012-10-16
AU2009204788A1 (en) 2009-07-23
MA32069B1 (fr) 2011-02-01
EG26176A (en) 2013-04-04
CA2711727C (en) 2016-12-06
CO6300819A2 (es) 2011-07-21
EP2239706B1 (en) 2013-12-04
BRPI0907392A2 (pt) 2015-07-21
WO2009090291A1 (es) 2009-07-23
EP2239706A4 (en) 2012-10-03
ZA201004763B (en) 2011-10-26
AU2009204788B2 (en) 2013-03-21
US20110032337A1 (en) 2011-02-10
RU2502104C2 (ru) 2013-12-20
NZ586721A (en) 2012-11-30
KR20100136448A (ko) 2010-12-28
IL206807A (en) 2015-03-31
ES2372515A1 (es) 2012-01-23
CA2711727A1 (en) 2009-07-23
KR101590778B1 (ko) 2016-02-18
EP2239706A1 (en) 2010-10-13
HK1153297A1 (en) 2012-03-23
US8471897B2 (en) 2013-06-25
DK2239706T3 (en) 2014-03-03

Similar Documents

Publication Publication Date Title
CN101952855B (zh) 从三维场景实时获取视觉信息的方法和照相机
JP6484729B2 (ja) 無人航空機の奥行き画像の取得方法、取得装置及び無人航空機
US8587686B1 (en) Hybrid differential optical sensing imager
CN101371116B (zh) 波前相差和距离测量相位相机
CN110146180B (zh) 一种基于焦面哈特曼波前传感器的大视场图像清晰化装置及方法
US6717661B1 (en) Fourier moire wavefront sensor
JP4843544B2 (ja) 3次元画像補正方法及びその装置
RU2733822C1 (ru) Способ и оптическая система для получения томографического распределения волновых фронтов электромагнитных полей
Rodríguez-Ramos et al. Concepts, laboratory, and telescope test results of the plenoptic camera as a wavefront sensor
Rodríguez et al. The CAFADIS camera: a new tomographic wavefront sensor for Adaptive Optics
Crass et al. The AOLI low-order non-linear curvature wavefront sensor: a method for high sensitivity wavefront reconstruction
Rodríguez-Ramos et al. New developments at CAFADIS plenoptic camera
Rodríguez-Ramos et al. Phase structure function measurement with a plenoptic camera used as wavefront sensor

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1153297

Country of ref document: HK

C14 Grant of patent or utility model
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1153297

Country of ref document: HK