CN108780574A - 用于校准光学采集系统的装置和方法 - Google Patents
用于校准光学采集系统的装置和方法 Download PDFInfo
- Publication number
- CN108780574A CN108780574A CN201680064895.2A CN201680064895A CN108780574A CN 108780574 A CN108780574 A CN 108780574A CN 201680064895 A CN201680064895 A CN 201680064895A CN 108780574 A CN108780574 A CN 108780574A
- Authority
- CN
- China
- Prior art keywords
- light
- collecting
- optical system
- pixel
- ray
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003287 optical effect Effects 0.000 title claims abstract description 117
- 238000000034 method Methods 0.000 title claims description 20
- 210000001747 pupil Anatomy 0.000 claims description 43
- 230000021615 conjugation Effects 0.000 claims description 32
- 238000013461 design Methods 0.000 claims description 9
- 238000003384 imaging method Methods 0.000 claims description 6
- 241000208340 Araliaceae Species 0.000 claims description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 claims description 2
- 238000004590 computer program Methods 0.000 claims description 2
- 235000008434 ginseng Nutrition 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 9
- 230000005540 biological transmission Effects 0.000 abstract description 2
- 241001269238 Data Species 0.000 description 13
- 239000002609 medium Substances 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 239000012141 concentrate Substances 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000010008 shearing Methods 0.000 description 2
- 238000010207 Bayesian analysis Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000004033 diameter control Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005684 electric field Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000001965 increasing effect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 239000012120 mounting media Substances 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/09—Beam shaping, e.g. changing the cross-sectional area, not otherwise provided for
- G02B27/0938—Using specific optical elements
- G02B27/095—Refractive optical elements
- G02B27/0955—Lenses
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0012—Optical design, e.g. procedures, algorithms, optimisation routines
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/21—Indexing scheme for image data processing or generation, in general involving computational photography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10052—Images from lightfield camera
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Optics & Photonics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Image Input (AREA)
- Closed-Circuit Television Systems (AREA)
- Focusing (AREA)
Abstract
市场上有若干类型的全光设备和相机阵列,所有这些光场采集设备有它们的专有文件格式。但是,没有支持多维信息的采集和传输的标准。感兴趣的是获得与所述光学采集系统的传感器的像素与所述光学采集系统的物体空间之间的对应有关的信息。实际上,知道属于所述光学采集系统的传感器的像素正在感测光学采集系统的物体空间的哪个部分使得能够改进信号处理操作。由此引入像素束的概念,其与用于存储这样的信息的紧凑格式一起表示由相机的光学系统的物体空间中的一组光线占据的体积。
Description
技术领域
本发明涉及表示光场的数据的生成。
背景技术
由Anat Levin等人在ECCV 2008的会议论文集中发表的文章“Understanding camera trade-offs through a Bayesian analysis of light field projections”中解释可以被视为四维光场的采样(即光线的记录)的四维或4D光场数据的采集,是热门研究课题。
与从相机获得的典型二维或2D图像相比,4D光场数据使得用户能够访问更多的增强图像的呈现和与用户的交互性的后处理特征。例如,对于4D光场数据,能够使用自由选择的聚焦距离执行图像的重新聚焦,这意味着焦平面的位置可以被后验地指定/选择,以及稍微改变图像的场景中的视点。为了获取4D光场数据,可以使用若干技术。例如,全光照相机能够获取4D光场数据。图1A中提供全光相机的架构的细节。图1A是示意性表示全光相机100的图。全光相机100包括主透镜101,包括布置成二维阵列的多个微透镜103的微透镜阵列102和图像传感器104。
获取4D光场数据的另一方式是使用图1B中描绘的相机阵列。图1B表示多阵列相机110。多阵列相机110包括透镜阵列112和图像传感器114。
在如图1A所示的全光相机100的示例中,主透镜101接收来自主透镜101的物场中的物体(图中未示出)的光,并使光通过主透镜101的图像场。
最后,获取4D光场的另一方式是使用配置成在不同焦平面上捕捉同一场景的2D图像序列的传统相机。例如,J.-H.Park等人发表于OPTICS EXPRESS,卷22,第21号,2014年10月的文献“Light ray field capture using focal plane sweeping and its optical reconstruction using 3D displays”中描述的技术,可以用于实现借助传统相机获取4D光场数据。
存在表示4D光场数据的若干方式。事实上,在Ren Ng在2006年7月发表的题为“Digital Light Field Photography”的博士学位论文的3.3章中,描述表示4D光场数据的三种不同方式。首先,当由全光照相机通过采集微透镜图像记录时,可以表示4D光场数据。该表示中的4D光场数据被命名为原始图像或原始4D光场数据。其次,当由全光相机或相机阵列通过一组子孔径图像记录时,可以表示4D光场数据。子孔径图像对应于来自视点的场景的捕获图像,该视点在两个子孔径图像之间略微不同。这些子孔径图像给出关于成像场景的视差和深度的信息。第三,可以通过一组核线图像表示4D光场数据,例如参见S.Wanner等人发表在ISVC 2011的会议论文集中的标题为“Generating EPI Representation of a 4D Light Fields with a Single Lens Focused Plenoptic Camera”的文章。
市场上存在若干类型的全光设备和相机阵列,并且所有这些光场采集设备都有其专有的文件格式。因此,由于没有支持多维信息的采集和传输的标准,所以看起来光场技术除了常规2D或3D成像之外不能存在。考虑到前述内容,设计本发明。
发明内容
根据本发明的第一方面,提供了用于校准光学采集系统的装置,所述装置包括处理器,处理器被配置为:
-在光学采集系统的图像空间中计算各参数,所述各参数定义
·第一光线,其穿过所述光学采集系统的传感器的像素的中心和所述光学采集的光瞳的中心,以及
·第二光线,其穿过两个点,所述两个点属于由穿过所述光学采集系统的光瞳和所述光学采集系统的传感器的像素的一组光线占据的一体积的表面,所述第二光线的第一点属于光学采集系统的传感器平面并且所述第二光线的第二点属于光瞳平面,
-计算光学采集系统的物体空间中的第一光线和第二光线的共轭的参数,通过围绕第一光线的共轭旋转,第二光线的共轭集合生成由穿过所述光学采集系统的光瞳和所述像素的共轭的一组光线占据的一体积的表面,所述一组光线占据的所述体积被称为像素束。
根据本发明的一个实施例,定义射线的参数包括:射线通过的点的坐标和在包括三个坐标轴的坐标系中定义所述射线的方向矢量的一组方向余弦。
根据本发明的一个实施例,定义第一射线的参数是像素的中心的坐标(xp,yp,zp)和该组方向余弦:
其中
坐标系的原点是光瞳的中心。
根据本发明的一个实施例,定义第二射线的参数是位于传感器平面中并且属于以像素为中心的半径为a的圆的第一点的坐标和该组方向余弦:
其中
坐标系的原点是光瞳的中心。
根据本发明的一个实施例,处理器被配置为计算光学采集系统的物体空间中的第一光线和第二光线的共轭的参数,在于基于在图像空间中定义第一射线和第二射线的参数并且基于光学设计参数在物体空间中跟踪所述第一射线和所述第二射线。
本发明的另一目的关注一种用于校准光学采集系统的方法,包括:
-在光学采集系统的图像空间中计算参数,所述参数定义
·第一光线,其穿过所述光学采集系统的传感器的像素的中心和所述光学采集的光瞳的中心,以及
·第二光线,其穿过两个点,所述两个点属于由穿过所述光学采集系统的光瞳和所述光学采集系统的传感器的像素的一组光线占据的一体积的表面,所述第二光线的第一点属于光学采集系统的传感器平面并且所述第二光线的第二点属于光瞳平面,
-计算光学采集系统的物体空间中的第一光线和第二光线的共轭的参数,通过围绕第一光线的共轭旋转,第二光线的共轭集合生成由穿过所述光学采集系统的光瞳和所述像素的共轭的一组光线占据的体积的表面,所述一组光线占据的所述体积被称为像素束。
根据本发明的一个实施例,定义射线的参数包括射线通过的点的坐标和在包括三个坐标轴的坐标系中定义所述射线的方向矢量的一组方向余弦。
根据本发明的一个实施例,定义第一射线的参数是像素的中心的坐标(xp,yp,zp)和该组方向余弦:
其中
坐标系的原点是光瞳的中心。
根据本发明的一个实施例,定义第二射线的参数是位于传感器平面中并且属于以像素为中心的半径为a的圆的第一点的坐标和该组方向余弦:
其中
坐标系的原点是光瞳的中心。
根据本发明的一个实施例,计算光学采集系统的物体空间中的第一光线和第二光线的共轭的参数在于基于在图像空间中定义第一射线和第二射线的参数并且基于光学系统的设计参数跟踪物体空间中的所述第一射线和所述第二射线。
本发明的另一目的是一种光场成像设备,包括:
-以规则格点结构排列的微透镜阵列;
-光电传感器,被配置为捕获从微透镜阵列投射在光电传感器上的光,光电传感器包括多组像素,每组像素与微透镜阵列中的相应微透镜光学相关联;以及
-用于根据本发明校准所述光场成像设备的设备。
本发明的另一目的是一种包括光学采集系统的校准数据的数字文件,所述校准数据包括:
-在光学采集系统的物体空间中的第一光线的共轭的参数,所述第一光线穿过所述光学采集系统的传感器的像素的中心和所述光学采集的光瞳的中心,
-在光学采集系统的物体空间中的第二光线的共轭的参数,所述第二光线包括属于光学采集系统的传感器平面的所述第二光线的第一点和属于光瞳平面的所述第二光线的第二点,
通过围绕第一光线的共轭进行旋转,第二光线的共轭集合生成由穿过所述光学采集系统的光瞳和所述像素的共轭的一组光线占据的体积的表面,所述一组光线占据的所述体积被称为像素束。
由本发明的要素实现的一些处理可以由计算机实现。因此,这样的要素可以采取完全硬件实施例、完全软件实施例(包括固件、驻留软件、微代码等)或组合软件和硬件方面的实施例的形式,其可以在本文中全部一般称为“电路”、“模块”或“系统”。此外,这样的要素可以采取体现在具有在介质中体现的计算机可用程序代码的任何有形的表达介质中的计算机程序产品的形式。
因为本发明的要素可以以软件来实现,所以本发明可以体现为用于在任何合适的载体介质上提供给可编程装置的计算机可读代码。有形载体介质可以包括诸如软盘、CD-ROM、硬盘驱动器、磁带设备或固态存储器设备等的贮存介质。瞬态载体介质可以包括诸如电信号、电子信号、光信号、声信号、磁信号或电磁信号(例如,微波或RF信号)之类的信号。
附图说明
现在将仅以举例的方式并参考以下附图来描述本发明的实施例,在附图中:
图1A是示意性表示全光相机的示图;
图1B表示多阵列相机,
图2表示由光学采集系统或相机的光学系统的物体空间中的一组光线占据的体积,
图3表示单页双曲面,
图4表示单页双曲面的另一视图,
图5是图示根据本公开的实施例的用于校准光学采集系统的装置的示例的示意框图,
图6是用于解释根据本发明的实施例的用于校准光学采集系统的处理的流程图,
图7表示根据本发明的实施例的定义像素束的主射线和生成射线,
图8表示根据本发明的实施例的定义像素束的生成射线,
图9表示高斯束的几何形状。
具体实施方式
如本领域技术人员将认识,本原理的各方面可以体现为系统,方法或计算机可读介质。因此,本原理的方面可以采取完全硬件实施例、完全软件实施例(包括固件、驻留软件、微代码等)或组合软件和硬件方面的实施例的形式,其一般可以在本文称为“电路”、“模块”或“系统”。此外,本原理的各方面可以采取计算机可读贮存介质的形式。可以利用一个或多个计算机可读存储介质的任何组合。
对于任何光学采集系统,除了由光学采集系统捕获的原始图像或表示4D光场数据的核线图像(epipolar image)之外,其可以是全光学的或者不是全光学的,感兴趣的是获得与所述光学采集系统的传感器的像素和所述光学采集系统的物体空间之间的对应关系有关的信息。知道属于所述光学采集系统的传感器的像素正在感测光学采集系统的物体空间的哪个部分能够改进诸如解复用、去马赛克、重新聚焦等之类的信号处理操作,并且混合由具有不同特性的不同光学系统捕获的图像。此外,与光学采集系统的传感器的像素和所述光学采集系统的物体空间之间的对应关系有关的信息独立于光学采集系统。
本公开引入图2所示的像素束10的概念,其表示由光学采集系统(图2中未示出)或相机的光学系统11的物体空间中的一组光线占据的体积(volume)。该组光线通过所述光学系统21的光瞳24被相机的传感器23的像素22感测。光学系统21可以是适合于照相机或摄像机的透镜的组合。光学系统的入瞳被定义为通过所述光学系统的限定透镜(即,在所述孔径光阑之前的光学采集系统的透镜)看到的孔径光阑的图像。孔径光阑是限制通过光学采集系统的光学系统的光量的开口。
例如,位于相机透镜前部附近的可调节光圈是透镜的孔径光阑。被允许通过光圈的光量由光圈开口的直径控制,光圈开口的直径可以根据相机的用户希望允许的光量适配。例如,使孔径更小减少了被允许通过光圈的光量,但增加聚焦深度。由于透镜的折射作用,光阑的有效尺寸可以大于或小于其物理尺寸。形式上,光瞳是通过光学采集系统的光学系统的在前透镜的孔径光阑的图像。
像素束10被定义为当经由入射光瞳24传播通过光学系统21时到达给定像素22的光线束。当光在自由空间中以直线行进时,这样的像素束20的形状可以由两个部分定义,一个是像素22的共轭25,并且另一个是入射光瞳24。像素22由其非零表面及其灵敏度图定义。
因此,如图3所示,像素束30可以由通过两个要素支撑的单叶双曲面表示:物体空间中的光瞳34和像素22的共轭35。
单叶双曲面是直纹面(ruled surface),其可以支持光线束的概念并且与物理光束的“光学扩展量(étendue)”的概念(即横越物理光束的部分的能量守恒)相一致。
单叶双曲面对应于高斯束的几何形状。事实上,在光学中,高斯束是一束单色的电磁辐射,其横向磁场和电场幅度轮廓由高斯函数给出;这也暗示高斯强度轮廓。该基本的横向高斯模式描述了大多数激光器的原本的输出,因为这样的光束可以聚焦到最集中的光斑上。
下面的等式假设的所有值处具有圆形横截面的束,这可以通过注意到单个横向尺寸r出现来看出。
在沿束的位置处(从焦点测量),光斑尺寸参数w由下式给出
其中w0是腰部大小。
如图9表示,在距腰部的距离等于zR处,束的宽度w等于
虽然高斯函数的尾部实际决不达到零。这意味着远离腰部,束“边缘”是锥形。沿着该锥(其r=w(z))的线和束的中心轴(r=0)之间的角度被称为束的发散角。
然后,远离腰部的束的总角展度由Θ=2θ给出。
如图4表示,除了其最小部分的基本区域(称为腰部45),对应于物体空间中的像素22之外,单叶双曲面40与其渐近锥41、42几乎相同。对于诸如光场相机之类的全光系统,这是执行多路光线的空间采样的区域。在这个区域中利用锥的采样空间是不够的,因为像素22灵敏度在其表面上的几十平方微米上是显著的,并且不能由具有无限小表面的数学点(将是锥尖端)表示。
图5是图示根据本公开的实施例的用于校准光学采集系统的装置的示例的示意图。
装置500包括通过总线506连接的处理器501、贮存单元502、输入设备503、显示设备504和接口单元505。当然,计算机装置500的组成元件可以通过与总线连接不同的连接来连接。
处理器501控制装置500的操作。贮存单元502存储由处理器501执行的能够校准光学采集系统的至少一个程序以及各种数据,包括与定义光学采集系统的像素束10、20、30、40的光线相关的参数或与光学采集系统的光学系统21相关的参数、由处理器501执行的计算使用的参数、由处理器501执行的计算的中间数据等。处理器501可以由任何已知和合适的硬件或软件或硬件和软件的组合形成。例如,处理器501可以由诸如处理电路的专用硬件形成,或者由诸如执行存储在其存储器中的程序的CPU(中央处理单元)之类的可编程处理单元形成。
贮存单元502可以由能够以计算机可读方式存储程序、数据等的任何合适的贮存器或构件形成。贮存单元502的示例包括加载到读取和写入单元中的诸如半导体存储设备、磁、光或磁光记录介质之类的非暂时计算机可读存储介质。程序使处理器501执行根据本公开的实施例的用于校准光学采集系统的处理,如下文参考图6描述。
输入设备503可以由键盘、诸如鼠标之类的指点设备等形成,用于由用户使用以输入命令,以使得用户选择用于生成由光学系统的物体空间的一组光线占据的体积的参数表示的参数。输出设备504可以由显示设备形成以例如显示图形用户界面(GUI),或者包括由处理器501在根据本公开的实施例的光学采集系统的校准期间计算出的不同像素束的参数的文件。例如,输入设备503和输出设备504可以由触摸屏面板整体形成。
接口单元505提供装置500和外部装置之间的接口。接口单元505可以通过有线或无线通信与外部装置通信。在一个实施例中,外部装置可以是光学采集系统。
图6是用于解释根据本发明的实施例的用于校准光学采集系统的处理的流程图。
这样的校准方法使得能够获得用于定义与光学采集系统的传感器23的像素相关联的不同像素束的参数。
像素束10、20、30、40被表示为单叶双曲面。包含三个坐标轴x、y、z的坐标系的轴z的单叶双曲面的一般方程是:
其中zp是像素束的腰部35在z轴上的位置,a、a和c分别是双曲面沿x,y和z轴的半轴的长度,并且与半轴分别沿Ox、Oy、Oz的长度类似,其中a表示腰部沿着Ox的半径;b表示腰部沿着Oy的半径并且c定义像素束的角度孔径。在本发明的一些实施例中,a和b具有相同的值,在这些情况下,腰部具有圆形形状。坐标系的原点是坐标为(0,0,0)的光瞳的中心。
如图7表示,在光学采集系统的图像空间中,即位于光学采集系统的传感器23和光学系统21之间的空间的部分,像素束由两条射线(主射线70和生成射线71)表示。主射线70是穿过其坐标系(x,y,z)中坐标是(xp,yp,zp)的像素72的中心和其坐标是(0,0,0)的光瞳73的中心的直线。
作为直纹面,通过生成射线71可以生成双曲面。生成射线是描述双曲面的表面的直线。生成射线71是通过属于双曲面的表面的两个点的直线,第一个点属于光学采集系统的传感器23的平面和双曲面的表面,并且第二个点属于光瞳73的平面和双曲面的表面。双曲面的主射线和描述其表面的生成射线不相互平行,并且决不相互截取。
直线可以由六个参数定义:直线通过其的点的三个坐标(x,y,z)和定义坐标系的所述直线的方向矢量的三个方向余弦(l,m,n)。
在步骤601中,处理器501计算定义光学采集系统的图像空间中的主射线70的参数。
其主射线沿方向(θx,θy)定向的双曲面由以下方程定义:
其中tx=tanθx并且ty=tanθy。
在该情况下,主射线70由以下定义:
其中(xp,yp,zp)是坐标系中像素22的中心的坐标。
因此,定义主射线的方向矢量的方向余弦是:
其中
坐标系的原点是光瞳的中心。
因此,在步骤602中,处理器501基于方程(4)计算像素22的中心的坐标的值和定义与像素22相关联的像素光束的主射线的方向余弦的值,以及光学采集系统的光学系统21的参数,诸如定义像素束的光瞳和像素22之间的距离。
在步骤602期间计算的定义像素束的主射线的参数被存储在装置500的贮存单元502中。
在步骤603中,处理器501计算主射线70的剪切的校正。主射线的未剪切在于写入:(5):
x′=x-z.tx和y′=y-z.ty,并且x′p=xp-z.tx和y′p=yp-z.tx
在步骤604中,处理器计算定义光学采集系统的图像空间中的生成射线71的参数。
让我们考虑下面的方程:
其中
其中r是光瞳的半径。
参考图8,让我们考虑平行于平面yOz的直线g。直线g通过其坐标系中坐标是(a,0,zp)的点G。
因此,直线g由两个点定义:其坐标是(a,0,zp)的G和其坐标是 的I。
定义直线g的矢量的坐标是:
因此,矢量的方向余弦是:
当像素平面偏移(+x′p,+y′p)=(zp.tx,zp.ty)时,直线g通过其坐标是(x′pp+a,y′p,zp)的点G和其坐标是的点I。
定义直线g的矢量的坐标是:
因此,矢量的方向余弦为:
其中
生成射线71由点G的坐标(x′p+a,y′p,zp)和方向余弦定义:
以及
其中
因此,在步骤605中,处理器501基于方程(6)计算定义与像素22相关联的像素束的生成射线71的点G的坐标值和方向余弦值,以及光学采集系统的光学系统21的参数,诸如定义像素束的光瞳和像素22之间的距离。
在步骤605期间计算的定义像素束的生成射线的参数被存储在装置500的贮存单元502中。
在步骤606中,知道表示图像空间中的主射线70和生成射线71的参数,处理器501计算物体空间中所述参数的值,从而获得像素束的参数。
该计算例如利用装置500的处理器501运行能够建模通过光学系统11的光线传播的程序来实现。这样的程序例如是光学设计程序,诸如 或Code之类。光学设计程序用于设计和分析光学系统11。光学设计程序对光线通过光学系统11的传播进行建模;并且可以建模诸如简单透镜、非球面透镜、梯度折射率透镜、镜以及衍射光学元件等之类的光学元件的效果。商业透镜库被存储在装置500的贮存单元502中,并且可以当执行光学设计程序时其对于处理器501可访问。
虽然本文以上参照特定实施例描述本发明,但是本发明不限于特定实施例,并且对于本领域技术人员来说,落入本发明范围内的修改将是显而易见的。
在参考前面的说明性实施例时,许多进一步的修改和变化对于本领域技术人员将是暗示的,其仅以示例的方式给出,并且不旨在限制本发明的范围,本发明的范围仅由所附权利要求确定。具体地,来自不同实施例的不同特征可以在适当的情况下互换。
Claims (17)
1.一种用于校准光学采集系统的装置,所述装置包括处理器,处理器被配置为:
-在光学采集系统的图像空间中计算定义以下各项的参数:
·第一光线,穿过所述光学采集系统的传感器的像素的中心和所述光学采集的光瞳的中心,以及
·第二光线,穿过属于由一组光线占据的一体积的表面两个点,该组光线穿过所述光学采集系统的光瞳和所述光学采集系统的传感器的像素,所述第二光线的第一点属于光学采集系统的传感器平面并且所述第二的第二点属于光瞳平面,
-计算第一光线和第二光线在光学采集系统的物体空间中的共轭的参数,通过围绕第一光线的共轭进行旋转,第二光线的共轭的所述集合生成由穿过所述光学采集系统的光瞳和所述像素的共轭的一组光线占据的一体积的表面,该组光线占据的所述体积被称为像素束。
2.根据权利要求1所述的装置,其中,定义射线的参数包括射线通过的点的坐标和在包括三个坐标轴的坐标系中定义所述射线的方向矢量的一组方向余弦。
3.根据权利要求2所述的装置,其中,定义第一射线的参数是像素的中心的坐标(xp,yp,zp)和该组方向余弦:
其中
坐标系的原点是光瞳的中心。
4.根据权利要求2所述的装置,其中,定义第二射线的参数是位于传感器平面中并且属于以该像素为中心的半径为a的圆的第一点的坐标和该组方向余弦:
其中
坐标系的原点是光瞳的中心。
5.根据前述权利要求中任一项所述的装置,其中,处理器被配置为计算第一光线和第二光线在光学采集系统的物体空间中的共轭的参数在于:基于在图像空间中定义第一射线和第二射线的参数并且基于光学设计参数跟踪物体空间中的所述第一射线和所述第二射线。
6.一种用于校准光学采集系统的方法,包括:
-在光学采集系统的图像空间中计算定义以下各项的参数:
·第一光线,穿过所述光学采集系统的传感器的像素的中心和所述光学采集的光瞳的中心,以及
·第二光线,穿过属于由一组光线占据的一体积的表面的两个点,该组光线穿过所述光学采集系统的光瞳和所述光学采集系统的传感器的像素,所述第二光线的第一点属于光学采集系统的传感器平面并且所述第二的第二点属于光瞳平面,
-计算第一光线和第二光线在光学采集系统的物体空间中的共轭的参数,通过围绕第一光线的共轭进行旋转,第二光线的共轭的所述集合生成由一组光线占据的一体积的表面,该组光线穿过所述光学采集系统的光瞳以及所述像素的共轭,该组光线占据的所述体积被称为像素束。
7.根据权利要求6所述的方法,其中,定义射线的参数包括射线通过的点的坐标和在包括三个坐标轴的坐标系中定义的所述射线的方向矢量的一组方向余弦。
8.根据权利要求6所述的方法,其中,定义第一射线的参数是像素的中心的坐标(xp,yp,zp)和该组方向余弦:
其中
坐标系的原点是光瞳的中心。
9.根据权利要求6所述的方法,其中,定义第二射线的参数是位于传感器平面中并且属于以该像素为中心的半径为a的圆的第一点的坐标和该组方向余弦:
其中
坐标系的原点是光瞳的中心。
10.根据权利要求6至9中任一项所述的方法,其中,计算第一光线和第二光线在光学采集系统的物体空间中的共轭的参数在于:基于在图像空间中定义第一射线和第二射线的参数并且基于光学系统的设计参数跟踪物体空间中的所述第一射线和所述第二射线。
11.一种光场成像设备,包括:
-以规则格点结构排列的微透镜阵列;
-光电传感器,被配置为捕获从微透镜阵列投射在光电传感器上的光,该光电传感器包括多组像素,每组像素与微透镜阵列中的相应微透镜在光学上相关联;以及
-根据权利要求1用于校准所述光场成像设备的设备。
12.一种用于根据光场数据来呈现图像的设备,所述光场数据是由根据权利要求6至10中任一项所述的方法所校准的光学采集设备获取的。
13.一种包括光学采集系统的校准数据的数字文件,所述校准数据包括:
-第一光线在光学采集系统的物体空间中的共轭的参数,所述第一光线穿过所述光学采集系统的传感器的像素的中心和所述光学采集的光瞳的中心,
-第二光线在光学采集系统的物体空间中的共轭的参数,所述第二光线包括属于光学采集系统的传感器平面的所述第二光线的第一点和属于光瞳平面的所述第二的第二点,
通过围绕第一光线的共轭进行旋转,第二光线的共轭的所述集合生成由一组光线占据的体积的表面,该组光线穿过所述光学采集系统的光瞳以及所述像素的共轭,该组光线占据的所述体积被称为像素束。
14.根据权利要求13所述的数字文件,由根据权利要求6至10中任一项所述的方法获得。
15.一种计算机程序,其特征在于,包括程序代码指令,用于当程序由处理器执行时实现根据权利要求6至10中任一项所述的用于校准光学采集系统的方法。
16.一种处理器可读介质,其中存储了指令,用于使处理器执行根据权利要求6至10中任一项所述的用于校准光学采集系统的方法。
17.一种非暂时贮存介质,承载程序代码的指令,用于当所述程序在计算设备上执行时,执行根据权利要求6至10中任一项所述的用于校准光学采集系统的方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP15306447.2A EP3144890A1 (en) | 2015-09-17 | 2015-09-17 | An apparatus and a method for calibrating an optical acquisition system |
EP15306447.2 | 2015-09-17 | ||
PCT/EP2016/072072 WO2017046397A1 (en) | 2015-09-17 | 2016-09-16 | An apparatus and a method for calibrating an optical acquisition system |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108780574A true CN108780574A (zh) | 2018-11-09 |
Family
ID=54293193
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201680064895.2A Pending CN108780574A (zh) | 2015-09-17 | 2016-09-16 | 用于校准光学采集系统的装置和方法 |
Country Status (10)
Country | Link |
---|---|
US (1) | US10613338B2 (zh) |
EP (2) | EP3144890A1 (zh) |
JP (1) | JP6902529B2 (zh) |
KR (1) | KR20180054622A (zh) |
CN (1) | CN108780574A (zh) |
BR (1) | BR112018005413A2 (zh) |
CA (1) | CA2998676A1 (zh) |
MX (1) | MX2018003268A (zh) |
RU (1) | RU2018113710A (zh) |
WO (1) | WO2017046397A1 (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3145168A1 (en) * | 2015-09-17 | 2017-03-22 | Thomson Licensing | An apparatus and a method for generating data representing a pixel beam |
EP3279864B1 (en) | 2016-08-05 | 2019-03-06 | Thomson Licensing | A method for obtaining parameters defining a pixel beam associated with a pixel of an image sensor comprised in an optical device |
WO2018173551A1 (ja) * | 2017-03-21 | 2018-09-27 | オリンパス株式会社 | 較正装置、較正方法、光学装置、撮影装置および投影装置 |
WO2019157571A1 (en) * | 2018-02-19 | 2019-08-22 | Integral Scopes Pty Ltd | Method and system for calibrating a plenoptic camera system |
KR102689953B1 (ko) * | 2018-12-03 | 2024-07-31 | 삼성전자주식회사 | 캘리브레이션 방법 및 장치 |
CN115480396A (zh) * | 2022-09-22 | 2022-12-16 | 中国科学院长春光学精密机械与物理研究所 | 成像光学系统的光瞳位置精准确定方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007034165A (ja) * | 2005-07-29 | 2007-02-08 | Kyoritsu Denki Kk | 一眼レフデジタルカメラにおけるピクセル面とマット面の取付位置の測定方法とそのための装置 |
CN101384965A (zh) * | 2005-12-21 | 2009-03-11 | 麦克罗尼克激光系统公司 | 空间光调制器直接记录器 |
US20110194121A1 (en) * | 2008-09-12 | 2011-08-11 | Degudent Gmbh | Method and apparatus for detecting contour data and/or optical characteristics of a three-dimensional semitransparent object |
CN102494771A (zh) * | 2011-12-14 | 2012-06-13 | 中国科学院光电研究院 | 一种衍射光学成像系统及包含该衍射光学成像系统的成像光谱仪 |
CN103259977A (zh) * | 2012-02-20 | 2013-08-21 | 佳能株式会社 | 图像处理装置、摄像装置及控制方法 |
US20140263963A1 (en) * | 2013-03-15 | 2014-09-18 | The Board Of Trustees Of The Leland Stanford Junior University | Volume imaging with aliased views |
CN104685399A (zh) * | 2012-09-28 | 2015-06-03 | 株式会社尼康 | 焦点检测装置以及摄像装置 |
CN104849852A (zh) * | 2015-05-07 | 2015-08-19 | 清华大学 | 基于相机阵列的光场显微成像系统及方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8358354B2 (en) | 2009-01-26 | 2013-01-22 | The Board Of Trustees Of The Leland Stanford Junior University | Correction of optical abberations |
US8243157B2 (en) | 2006-02-07 | 2012-08-14 | The Board Of Trustees Of The Leland Stanford Junior University | Correction of optical aberrations |
US20100265385A1 (en) * | 2009-04-18 | 2010-10-21 | Knight Timothy J | Light Field Camera Image, File and Configuration Data, and Methods of Using, Storing and Communicating Same |
JP5988643B2 (ja) | 2012-03-26 | 2016-09-07 | キヤノン株式会社 | 計測装置、計測方法及び光学部品の製造方法 |
JP2014010783A (ja) * | 2012-07-02 | 2014-01-20 | Canon Inc | 画像処理装置、画像処理方法およびプログラム |
US20150146032A1 (en) | 2013-11-22 | 2015-05-28 | Vidinoti Sa | Light field processing method |
CN104121990B (zh) | 2014-07-22 | 2016-05-11 | 中国科学院上海光学精密机械研究所 | 基于随机光栅的压缩感知宽波段高光谱成像系统 |
WO2016076400A1 (ja) * | 2014-11-13 | 2016-05-19 | オリンパス株式会社 | 較正装置、較正方法、光学装置、撮影装置、投影装置、計測システムおよび計測方法 |
-
2015
- 2015-09-17 EP EP15306447.2A patent/EP3144890A1/en not_active Withdrawn
-
2016
- 2016-09-16 MX MX2018003268A patent/MX2018003268A/es unknown
- 2016-09-16 CA CA2998676A patent/CA2998676A1/en not_active Abandoned
- 2016-09-16 JP JP2018514263A patent/JP6902529B2/ja active Active
- 2016-09-16 KR KR1020187007687A patent/KR20180054622A/ko unknown
- 2016-09-16 US US15/759,222 patent/US10613338B2/en not_active Expired - Fee Related
- 2016-09-16 WO PCT/EP2016/072072 patent/WO2017046397A1/en active Application Filing
- 2016-09-16 CN CN201680064895.2A patent/CN108780574A/zh active Pending
- 2016-09-16 BR BR112018005413A patent/BR112018005413A2/pt not_active Application Discontinuation
- 2016-09-16 RU RU2018113710A patent/RU2018113710A/ru not_active Application Discontinuation
- 2016-09-16 EP EP16769968.5A patent/EP3350772B1/en active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007034165A (ja) * | 2005-07-29 | 2007-02-08 | Kyoritsu Denki Kk | 一眼レフデジタルカメラにおけるピクセル面とマット面の取付位置の測定方法とそのための装置 |
CN101384965A (zh) * | 2005-12-21 | 2009-03-11 | 麦克罗尼克激光系统公司 | 空间光调制器直接记录器 |
US20110194121A1 (en) * | 2008-09-12 | 2011-08-11 | Degudent Gmbh | Method and apparatus for detecting contour data and/or optical characteristics of a three-dimensional semitransparent object |
CN102494771A (zh) * | 2011-12-14 | 2012-06-13 | 中国科学院光电研究院 | 一种衍射光学成像系统及包含该衍射光学成像系统的成像光谱仪 |
CN103259977A (zh) * | 2012-02-20 | 2013-08-21 | 佳能株式会社 | 图像处理装置、摄像装置及控制方法 |
CN104685399A (zh) * | 2012-09-28 | 2015-06-03 | 株式会社尼康 | 焦点检测装置以及摄像装置 |
US20140263963A1 (en) * | 2013-03-15 | 2014-09-18 | The Board Of Trustees Of The Leland Stanford Junior University | Volume imaging with aliased views |
CN104849852A (zh) * | 2015-05-07 | 2015-08-19 | 清华大学 | 基于相机阵列的光场显微成像系统及方法 |
Non-Patent Citations (2)
Title |
---|
JENNIFER YU ET AL: "《Using Integrated Optical Feedback to Counter Pixel Aging and Stabilize Light Output of Organic LED Display Technology》", 《JOURNAL OF DISPLAY TECHNOLOGY》 * |
焦小雪等: "基于相机阵列的三维集成成像记录系统", 《光学精密工程》 * |
Also Published As
Publication number | Publication date |
---|---|
WO2017046397A1 (en) | 2017-03-23 |
EP3350772B1 (en) | 2020-04-08 |
US20180252928A1 (en) | 2018-09-06 |
JP6902529B2 (ja) | 2021-07-14 |
MX2018003268A (es) | 2018-11-09 |
RU2018113710A (ru) | 2019-10-17 |
CA2998676A1 (en) | 2017-03-23 |
BR112018005413A2 (pt) | 2018-10-09 |
EP3350772A1 (en) | 2018-07-25 |
US10613338B2 (en) | 2020-04-07 |
JP2018531448A (ja) | 2018-10-25 |
EP3144890A1 (en) | 2017-03-22 |
KR20180054622A (ko) | 2018-05-24 |
RU2018113710A3 (zh) | 2019-10-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7523492B2 (ja) | ライト・フィールドを表すデータを生成する方法および装置 | |
CN108780574A (zh) | 用于校准光学采集系统的装置和方法 | |
Georgiev et al. | Focused plenoptic camera and rendering | |
JP2018538709A (ja) | ピクセルビームを表すデータを生成する方法及び装置 | |
JP2018531448A6 (ja) | 光学的捕捉システムを校正する装置及び方法 | |
KR20180098564A (ko) | 픽셀 빔을 표현하는 데이터를 생성하는 방법 및 장치 | |
CN108353187B (zh) | 用于对由光学采集系统捕获的图像进行编码的装置和方法 | |
KR20180098565A (ko) | 픽셀 빔을 표현하는 데이터를 생성하는 방법 및 장치 | |
KR102330797B1 (ko) | 픽셀 빔을 나타내는 데이터를 생성하기 위한 장치 및 방법 | |
CN108353120B (zh) | 用于生成表示像素束的数据的装置和方法 | |
CN109565583B (zh) | 用于生成表示像素束的数据的方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20190924 Address after: Delaware, USA Applicant after: Interactive Digital VC Holdings Address before: Icelemulino, France Applicant before: THOMSON LICENSING |
|
AD01 | Patent right deemed abandoned | ||
AD01 | Patent right deemed abandoned |
Effective date of abandoning: 20220819 |