CN108475421A - 用于产生表示像素光束的数据的方法和装置 - Google Patents
用于产生表示像素光束的数据的方法和装置 Download PDFInfo
- Publication number
- CN108475421A CN108475421A CN201680074779.9A CN201680074779A CN108475421A CN 108475421 A CN108475421 A CN 108475421A CN 201680074779 A CN201680074779 A CN 201680074779A CN 108475421 A CN108475421 A CN 108475421A
- Authority
- CN
- China
- Prior art keywords
- ray
- parameter
- light beam
- light
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 51
- 230000003287 optical effect Effects 0.000 claims abstract description 43
- 230000014509 gene expression Effects 0.000 claims description 28
- 210000001747 pupil Anatomy 0.000 claims description 25
- 238000009877 rendering Methods 0.000 claims description 8
- 241000208340 Araliaceae Species 0.000 claims description 5
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims description 5
- 235000003140 Panax quinquefolius Nutrition 0.000 claims description 5
- 235000008434 ginseng Nutrition 0.000 claims description 5
- 238000003384 imaging method Methods 0.000 claims description 5
- 238000004040 coloring Methods 0.000 claims description 4
- 230000010287 polarization Effects 0.000 claims description 4
- 238000004519 manufacturing process Methods 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims 6
- 238000012545 processing Methods 0.000 abstract description 16
- 230000005540 biological transmission Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 22
- 238000003860 storage Methods 0.000 description 20
- 241001269238 Data Species 0.000 description 18
- 229910052704 radon Inorganic materials 0.000 description 9
- SYUHGPGVQRZVTB-UHFFFAOYSA-N radon atom Chemical compound [Rn] SYUHGPGVQRZVTB-UHFFFAOYSA-N 0.000 description 9
- 239000002609 medium Substances 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 7
- 238000003491 array Methods 0.000 description 6
- 238000005070 sampling Methods 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 230000021615 conjugation Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000005855 radiation Effects 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000000149 penetrating effect Effects 0.000 description 2
- 238000004321 preservation Methods 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- PCTMTFRHKVHKIS-BMFZQQSSSA-N (1s,3r,4e,6e,8e,10e,12e,14e,16e,18s,19r,20r,21s,25r,27r,30r,31r,33s,35r,37s,38r)-3-[(2r,3s,4s,5s,6r)-4-amino-3,5-dihydroxy-6-methyloxan-2-yl]oxy-19,25,27,30,31,33,35,37-octahydroxy-18,20,21-trimethyl-23-oxo-22,39-dioxabicyclo[33.3.1]nonatriaconta-4,6,8,10 Chemical compound C1C=C2C[C@@H](OS(O)(=O)=O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2.O[C@H]1[C@@H](N)[C@H](O)[C@@H](C)O[C@H]1O[C@H]1/C=C/C=C/C=C/C=C/C=C/C=C/C=C/[C@H](C)[C@@H](O)[C@@H](C)[C@H](C)OC(=O)C[C@H](O)C[C@H](O)CC[C@@H](O)[C@H](O)C[C@H](O)C[C@](O)(C[C@H](O)[C@H]2C(O)=O)O[C@H]2C1 PCTMTFRHKVHKIS-BMFZQQSSSA-N 0.000 description 1
- 238000010207 Bayesian analysis Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000004033 diameter control Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000012120 mounting media Substances 0.000 description 1
- 230000010363 phase shift Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000002203 pretreatment Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000008521 reorganization Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/09—Beam shaping, e.g. changing the cross-sectional area, not otherwise provided for
- G02B27/0938—Using specific optical elements
- G02B27/095—Refractive optical elements
- G02B27/0955—Lenses
- G02B27/0961—Lens arrays
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J1/00—Photometry, e.g. photographic exposure meter
- G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
- G01J1/4257—Photometry, e.g. photographic exposure meter using electric radiation detectors applied to monitoring the characteristics of a beam, e.g. laser beam, headlamp beam
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
- G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
- G02B26/0875—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more refracting elements
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
- G02B6/10—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings of the optical waveguide type
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/06—Ray-tracing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/21—Indexing scheme for image data processing or generation, in general involving computational photography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10052—Images from lightfield camera
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Computer Graphics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Health & Medical Sciences (AREA)
- Geometry (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Hardware Design (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
市场上有若干种类型的可用的全光设备和相机阵列，所有这些光场获取设备都有其专有的文件格式。但是，没有标准支持多维信息的获取和发送。有兴趣获得与所述光学获取系统的传感器的像素与所述光学获取系统的物体空间之间的对应关系相关的信息。实际上，知道光学获取系统的物体空间的哪个部分正在感测属于所述光学获取系统的传感器的像素能够改善信号处理操作。由此引入了像素光束的概念，像素光束表示由相机的光学系统的物体空间中的光射线集合占据的体积以及用于存储这种信息的紧凑格式。
Description
技术领域
本发明涉及计算领域。更确切地，本发明涉及一种可以用于光场数据的发送、呈现和行进的表示格式。
背景技术
光场表示沿着每个可能的方向通过三维(3D)空间的每个点的光量。光场通过具有七个变量的函数来建模，该函数表示作为时间、波长、位置和方向的函数的辐射。在计算机图形学中，光场的支持被简化为四维(4D)取向的线空间。
在ECCV 2008会议论文集中发表的Anat Levin等人的文章“Understandingcamera trade-offs through a Bayesian analysis of light field projections”中说明了4D光场数据的获取(可以看作是4D光场的采样，即光射线的记录)，这是一个狂热的研究主题。
与从常规相机获得的经典二维或2D图像相比，4D光场数据使用户能够访问更多的后处理特征，这些后处理特征增强图像的呈现和与用户的交互性。例如，利用4D光场数据，可以使用自由选择的聚焦距离来执行图像的重新聚焦，这意味着焦平面的位置可以被后验地指定/选择，并且可以稍微改变图像场景中的视点。为了获取4D光场数据，可以使用若干种技术。例如，全光相机能够获取4D光场数据。图1A中提供了全光相机的结构细节。图1A是示意性示出了全光相机100的图。全光相机100包括主透镜101、包括布置成二维阵列的多个微透镜103在内的微透镜阵列102、和图像传感器104。
获取4D光场数据的另一种方法是使用如图1B所示的相机阵列。图1B示出了多阵列相机110。多阵列相机110包括透镜阵列112和图像传感器114。
在如图1A所示的全光相机100的示例中，主透镜101从主透镜101的物场中的物体(图中未示出)接收光，并且使光通过主透镜101的像场。
最后，获取4D光场的另一种方式是使用传统相机，传统相机被配置为在不同焦平面处捕获相同场景的2D图像的序列。例如，在J.-H.Park等人的于2014年10月发表在OPTICSEXPRESS第22卷第21期的文件“Light ray field capture using focal plane sweeping and its optical reconstruction using 3D displavs”中描述的技术可以用于借助于常规相机来实现4D光场数据的获取。
存在用于表示4D光场数据的若干种方法。事实上，在Ren Ng于2006年7月发表的题为“Digital Light Field Photography”的博士论文3.3章中，描述了用于表示4D光场数据的三种不同方式。首先，当由全光相机记录时，可以借助于一系列微透镜图像来表示4D光场数据。该表示中的4D光场数据被命名为原始图像或原始4D光场数据。其次，当由全光相机记录或者由相机阵列记录时，可以由子光圈图像集合来表示4D光场数据。子光圈图像与从视点捕获的场景的图像相对应，视点在两个子光圈图像之间略微不同。这些子光圈图像给出与成像场景的视差和深度有关的信息。再次，可以通过极线图像集合来表示4D光场数据，参见例如S.Wanner等人发表于ISVC 2011会议论文集中的题为“Generating EPI Representation of a4D Light Fields with a Single Lens Focused Plenoptic Camera”的文章。
光场数据会占用大量的存储空间，多达几兆兆字节(TB)，这会使存储变得繁琐并且处理效率降低。此外，光场获取设备是非常多样的。光场相机具有不同类型，例如全光或相机阵列。在每种类型之间都有许多差异，例如不同的光学布置或不同焦距的微透镜，最重要的是，每个相机都有其自己的专有文件格式。目前，没有支持获取和发送多维信息以便详细了解光场所依赖的不同参数的标准。因此，针对不同相机而获取的光场数据具有多种格式。基于上述内容，设计出本发明。
发明内容
根据本发明的第一方面，提供了一种用于产生表示如下体积的数据集合的计算机实现方法，所述体积为在光学获取系统的物体空间中由如下光射线集合占据的体积，所述光射线集合通过所述光学获取系统的光瞳而能够被所述光学获取系统的传感器的至少一个像素感测到，所述体积称为像素光束，所述方法包括：
-基于表示所述像素光束的参数的值来计算旋转角度的值，
-计算称为第一产生射线的第一直线围绕第二直线的具有角度的旋转，所述第一直线的具有角度的旋转描述表示所述像素光束的单叶双曲面的表面，所述第二直线是所述双曲面的公转轴，所述具有角度的旋转将所述第一产生射线变换为第二产生射线，
-产生表示所述像素光束的数据集合，所述数据集合包括表示所述第二产生射线的参数、表示所述双曲面的公转轴的参数、以及表示所述第一产生射线相对于所述双曲面的公转轴的取向的参数。
像素光束被定义为在传播通过光学获取系统的光学系统时到达光学系统的传感器的给定像素的一束光射线。像素光束由单叶双曲面表示。单叶双曲面是支持一束光射线的概念的、并且与物理光束的“范围(étendue)”的概念相兼容的规则表面。
“范围”是光学系统中的光的一种属性，该属性表征了光线“展开”的面积和角度为多大。
从光源的角度来看，“范围”是光源的面积和从光源看的光学系统的入射光瞳朝向的立体角的乘积。等同地，从光学系统的角度来看，“范围”等于入射光瞳面积乘以从光瞳来看光源的立体角。
“范围”的一个显著特征是它在任何光学系统中都不会减少。“范围”与拉格朗日不变量和光学不变量相关，这两个不变量在理想光学系统中共享不变的属性。光学系统的辐射等于辐射通量相对于“范围”的导数。
使用像素光束来表示4D光场数据是有利的，因为像素光束本身传达与“范围”相关的信息。
4D光场数据可以由能够占用大量存储空间的像素光束的集合来表示，这是因为像素光束可以由六个到十个参数表示。由本发明的发明人开发的针对4D光场数据的紧凑表示格式依赖于全光函数的基于射线的表示。这种紧凑的表示格式要求光线以非随机的方式排序。事实上，由于射线是沿着线安置(map)的，因此就紧凑性而言，按顺序地存储给定线的参数(即，相关斜率和截距)以及属于所述给定线的射线集合、然后是下一条线以及后续的线是有效的。
像素光束可以由双曲面的公转轴和产生射线这两条射线表示，其中双曲面的公转轴称为主射线，而产生射线描述表示像素光束的双曲面的表面。有兴趣使用产生射线相对于主射线的取向以及主射线是双曲面的公转轴的事实，以表示产生射线的取向的信息来传达表示像素光束的附加信息。
根据本发明的一个实施例的方法包括以将表示像素光束的参数之一嵌入在表示产生射线的取向的信息中的方式、来约束产生射线相对于主射线的取向，使得表示所述像素光束的数据集合的紧凑性保持不变，由此有助于紧凑的表示格式的紧凑性。
根据本发明的实施例，所述第一产生射线被选择为使得矢量与如下坐标系的轴之间的角度等于0，其中，MC属于所述双曲面的公转轴，所述MG0属于所述第一产生射线，所述坐标系为在其中计算所述具有角度的旋转的坐标系。
约束产生射线的取向使得更容易重建像素光束。坐标系例如以光学获取系统的光学系统的入射光瞳为中心，坐标系的一个轴平行于光学获取系统的传感器的一行像素，而坐标系的另一轴平行于光学获取系统的传感器的一列像素。
根据本发明的实施例，表示所述第一产生射线相对于所述双曲面的公转轴的取向的参数包括所述角度以及在所述坐标系的原点和包括MC和MG0在内的平面之间的称为参考距离的距离。
包括MC和MG0在内的平面例如是光学获取系统的传感器的平面。
根据本发明的实施例，旋转角度由给出，其中，λ是表示所述像素光束的参数的值，并且λmax和λmin分别是选择λ的区间的上界和下界。
根据本发明的实施例，表示像素光束的数据集合还包括λmax和λmin的值。
根据本发明的实施例，λ是表示所述像素光束的参数的值，该参数比如为光线的偏振取向或颜色信息。
根据本发明的第二方面，提供了一种用于产生表示如下体积的数据集合的装置，所述体积为在光学获取系统的物体空间中由如下光射线集合占据的体积，所述光射线集合通过所述光学获取系统的光瞳而能够被所述光学获取系统的传感器的至少一个像素感测到，所述体积称为像素光束，所述装置包括被配置为执行以下操作的处理器：
-基于表示所述像素光束的参数的值来计算旋转角度的值，
-计算称为第一产生射线的第一直线围绕第二直线的具有角度的旋转，所述第一直线的具有角度的旋转描述表示所述像素光束的单叶双曲面的表面，所述第二直线是所述双曲面的公转轴，所述具有角度的旋转将所述第一产生射线变换为第二产生射线，
-产生表示所述像素光束的数据集合，所述数据集合包括表示所述第二产生射线的参数、表示所述双曲面的公转轴的参数、以及表示所述第一产生射线相对于所述双曲面的公转轴的取向的参数。
这样的装置可以嵌入在光学获取系统中，例如全光相机或诸如智能电话、膝上型电脑、个人计算机、平板电脑之类的任何其它设备。
根据本发明的第三方面，提供了一种用于呈现光场内容的方法，所述方法包括：
-使用如下参数，计算称为第一产生射线的第一直线围绕第二直线的旋转角度所述第一直线的旋转角度描述表示在光学获取系统的物体空间中的由如下光射线集合占据的体积的单叶双曲面的表面，所述光射线集合通过所述光学获取系统的光瞳而能够被所述光学获取系统的传感器的至少一个像素感测到，所述体积称为像素光束，所述第二直线是所述双曲面的公转轴，所述具有角度的旋转将所述第一产生射线变换为第二产生射线，所述参数为：
●表示所述第一产生射线相对于所述双曲面的公转轴的取向的参数，包括：矢量阳如下坐标系的轴之间的角度以及该坐标系的原点和包括MC和MG0在内的平面之间的距离，其中MC属于所述双曲面的公转轴，MG0属于所述第一产生射线，所述坐标系为在其中计算所述旋转角度的坐标系，
●表示所述第二产生射线的参数，以及
●表示所述双曲面的公转轴的参数，
-基于所述旋转角度的值，使用表示所述双曲面的公转轴的参数、表示所述第二产生射线的参数以及表示所述像素光束的参数的值，计算所述像素光束，
-呈现所述光场内容。
根据本发明的第四方面，提供了一种用于呈现光场内容的设备，该设备包括被配置为执行以下操作的处理器：
-使用如下参数，计算称为第一产生射线的第一直线围绕第二直线的旋转角度所述第一直线的旋转角度描述表示在光学获取系统的物体空间中的由如下光射线集合占据的体积的单叶双曲面的表面，所述光射线集合通过所述光学获取系统的光瞳而能够被所述光学获取系统的传感器的至少一个像素感测到，所述体积称为像素光束，所述第二直线是所述双曲面的公转轴，所述具有角度的旋转将所述第一产生射线变换为第二产生射线，所述参数为：
●表示所述第一产生射线相对于所述双曲面的公转轴的取向的参数，包括：矢量阳如下坐标系的轴之间的角度以及该坐标系的原点和包括MC和MG0在内的平面之间的距离，其中MC属于所述双曲面的公转轴，MG0属于所述第一产生射线，所述坐标系为在其中计算所述旋转角度的坐标系，
●表示所述第二产生射线的参数，以及
●表示所述双曲面的公转轴的参数，
-基于所述旋转角度的值，使用表示所述双曲面的公转轴的参数、表示所述第二产生射线的参数以及表示所述像素光束的参数的值，计算所述像素光束，
所述设备还包括用于呈现所述光场内容的显示器。
这种能够呈现光场内容的设备可以是电视机、智能电话、膝上型电脑、个人计算机、平板电脑等。
根据本发明的第五方面，提供了一种光场成像设备，包括：
-微透镜阵列，按照规则点阵结构布置；
-光电传感器，被配置为捕获从微透镜阵列投影到所述光电传感器上的光，光电传感器包括像素集合，每个像素集合与微透镜阵列中的相应微透镜光学相关联；以及
-根据权利要求7所述的用于提供元数据的设备。
这种光场成像设备例如是全光相机。
根据本发明的第六方面，提供了一种表示光场内容的信号，包括表示如下体积的数据集合，所述体积为在光学获取系统的物体空间中由如下光射线集合占据的体积，所述光射线集合通过所述光学获取系统的光瞳而能够被所述光学获取系统的传感器的至少一个像素感测到，所述体积称为像素光束，表示像素光束的数据集合包括：
-表示称为第一产生射线的第一直线的参数，所述参数描述表示所述像素光束的单叶双曲面的表面，所述第一产生射线通过对描述所述双曲面的表面的第二直线应用围绕第三直线的具有角度的旋转而获得，所述第三直线是所述双曲面的公转轴，
-表示所述双曲面的公转轴的参数，
-表示第二产生射线相对于所述双曲面的公转轴的取向的参数。
由本发明的元件实现的一些处理可以是计算机实现的。从而，这些元素可以采取全硬件实施例、全软件实施例(包括固件、驻留软件、微代码等)或组合了软硬件方面的实施例的形式，它们在本文中可以统称为“电路”、“模块”或“系统”。此外，本发明可以采取由在任意有形介质中具体实现的计算机可用程序代码表达的具体实现于所述介质中的计算机程序产品的形式。
由于本发明的元件可以实现为软件，因此本发明可以具体实现为计算机可读代码，用于预配置到任意合适载体介质上的可编程装置。有形载体介质可以包括存储介质，例如软盘、CD-ROM、硬盘驱动器、磁带设备或固态存储器设备等。暂时性载体介质可以包括信号，例如电信号、电子信号、光信号、声信号、磁信号或电磁信号(例如微波或RF信号)。
附图说明
现在参考附图，以仅作为示例的方式对本发明的实施例进行描述，在附图中：
图1A是示意性示出了全光相机的图；
图1B示出了多阵列相机；
图2A是根据本发明的实施例的光场相机的功能图；
图2B是根据本发明的实施例的光场数据格式化器和光场数据处理器的功能图；
图3是在光电传感器阵列上形成的原始光场图像的示例；
图4示出了在相机或光学获取系统的光学系统的物体空间中由光射线集合占据的体积，
图5示出了单叶双曲面，
图6A是示出了根据本发明的一个或多个实施例的用于排序像素光束的产生射线的设备的模块的功能框图；
图6B是示出了根据本发明的一个或多个实施例的用于排序像素光束的产生射线的方法的步骤的流程图；
图7A和图7B图形化地示出了根据本发明的一个或多个实施例的使用参考平面来参数化光场数据；
图8示意性地示出了根据本发明的实施例的相对于参考平面的光场射线的表示，
图9A是示出了根据本发明的一个或多个实施例的方法的步骤的流程图；
图9B是示出了根据本发明的一个或多个实施例的用于提供光数据格式的设备的模块的功能框图；
图10示意性地示出了根据本发明的实施例的用于表示光场射线的参数；
图11是图形化地示出了根据本发明的实施例的相交数据的2D射线图；
图12图形化地示出了根据本发明的实施例而产生的数字线；
图13图形化地示出了根据本发明的实施例而产生的数字线；
图14A至图14C图形化地示出了根据本发明的实施例的应用于数字线的拉东变换；以及
图15是图形化地示出了根据本发明的实施例的多个相机的相交数据的2D射线图。
具体实施方式
本领域技术人员应当认识到，本发明原理的各方面可以被具体实现为系统、方法或计算机可读介质。因此，本发明原理的各方面可以采用全硬件实施例的形式、全软件实施例(包括固件、驻留软件、微代码等)的形式或组合了软硬件方面的实施例的形式，它们在本文中可以统称为“电路”、“模块”或“系统”。此外，本发明原理的各个方面可以采用计算机可读存储介质的形式。可以使用一个或多个计算机可读存储介质的任意组合。
本发明的实施例提供光场数据的格式化以用于进一步处理应用，例如格式转换、重新聚焦、视点改变和3D图像产生。
图2A是根据本发明的实施例的光场相机设备的框图。
根据图1A的光场相机，光场相机包括光圈/快门202、主透镜(物镜)201、微透镜阵列210和光电传感器阵列220。在一些实施例中，光场相机包括快门释放，该快门释放被激活以捕获主体或场景的光场图像。应该理解，功能特征也可以应用于图1B的光场相机。
光电传感器阵列220提供光场图像数据，光场图像数据由LF数据获取模块240获取，以用于由光场数据格式化模块250产生光场数据格式和/或由光场数据处理器255处理。根据本发明的实施例，光场数据可以在被获取之后和处理之后以原始数据格式存储在存储器290中作为子光圈图像或者焦点堆栈，或以光场数据格式存储在存储器290中。
在所示示例中，光场数据格式化模块150和光场数据处理器255设置在光场相机200中或者集成到光场相机200中。在本发明的其它实施例中，光场数据格式化模块250和/或光场数据处理器255可以设置在光场捕获相机外部的分离的组件中。相对于光场图像捕获设备，分离的组件可以是本地的或远程的。应该理解，可以使用任何合适的有线或无线协议来向格式化模块250或光场数据处理器255发送光场图像数据；例如，光场数据处理器可以经由互联网、蜂窝数据网络、WiFi网络、蓝牙通信协议和/或任何其它合适的手段来传输捕获的光场图像数据和/或其它数据。
根据本发明的实施例，光场数据格式化模块250被配置为产生表示所获取的光场的数据。光场数据格式化模块250可以用软件、硬件或其组合来实现。
根据本发明的实施例，光场数据处理器255被配置为对直接从LF数据获取模块240接收的原始光场图像数据进行操作，以例如产生焦点堆栈或视图矩阵。可以产生输出数据，例如捕获的场景的静止图像、2D视频流等。光场数据处理器可以用软件、硬件或其组合来实现。
在至少一个实施例中，光场相机200还可以包括用户接口260，用户接口260用于使用户能够提供用户输入以通过控制器270控制相机100的操作。对相机的控制可以包括对相机的光学参数(例如，快门速度)的控制中的一个或多个，或者在可调整的光场相机的情况下，微透镜阵列与光电传感器之间的相对距离的控制、或者物镜和微透镜阵列之间的相对距离的控制。在一些实施例中，可以手动调整光场相机的光学元件之间的相对距离。对相机的控制还可以包括对相机的其它光场数据获取参数、光场数据格式化参数或光场处理参数的控制。用户接口260可以包括任何合适的用户输入设备，比如触摸屏、按钮、键盘、定点设备等。以这种方式，由用户接口接收的输入可以用于控制和/或配置用于控制数据格式化的LF数据格式化模块250、用于控制所获取的光场数据的处理的LF数据处理器255、以及用于控制光场相机200的控制器270。
光场相机包括电源280，例如一个或多个可更换或可充电电池。光场相机包括存储器290，存储器290用于存储捕获的光场数据和/或呈现的最终图像或其它数据(例如，用于实现本发明实施例的方法的软件)。存储器可以包括外部存储器和/或内部存储器。在至少一个实施例中，可以在与相机200分离的设备和/或位置处提供存储器。在一个实施例中，存储器包括可移除的/可插拔的存储设备(比如，存储棒)。
光场相机还可以包括显示单元265(例如，LCD屏幕)，显示单元265用于在捕获之前观看相机前方的场景和/或观看先前捕获的和/或呈现的图像。屏幕265还可以用于向用户显示一个或多个菜单或其它信息。光场相机还可以包括一个或多个I/O接口295，比如火线或通用串行总线(USB)接口、或者用于经由互联网、蜂窝数据网络、WiFi网络、通信协议、和/或任何其它合适的手段进行数据通信的有线或无线通信接口。I/O接口295可以用于传输去往和来自外部设备(比如，用于呈现应用的计算机系统或显示单元)的数据(比如，由根据本发明的实施例的LF数据格式化模块产生的光场表示数据、以及诸如原始光场数据之类的光场数据或由LF数据处理器255处理的数据)。
图2B是示出了光场数据格式化模块250和光场数据处理器253的可能实现的特定实施例的框图。
电路2000包括存储器2090、存储器控制器2045和包括一个或多个处理单元(CPU)在内的处理电路2040。所述一个或多个处理单元2040被配置为运行存储器2090中存储的各种软件程序和/或指令集，以便执行包括光场数据格式化和光场数据处理在内的各种功能。存储器中存储的软件组件包括根据本发明实施例的用于产生表示获取的光数据的数据的数据格式化模块(或指令集)2050和根据本发明的实施例的用于处理光场数据的光场数据处理模块(或指令集)2055。针对光场相机设备的应用，存储器中可以包括其它模块，比如操作系统模块2051，用于控制通用系统任务(例如，电力管理、存储器管理)并且用于促进在设备2000的各种硬件和软件组件之间的通信；以及接口模块2052，用于控制并管理经由I/O接口端口与其它设备的通信。
图3示出了在图2A的光电传感器阵列220上形成的2D图像的示例。2D图像(通常被称为表示4D光场的原始图像)由微图像MI的阵列组成，每个微图像由微透镜阵列210的相应微透镜(i，j)产生。微图像被布置成具有由i轴和j轴定义的矩形点阵结构形式的阵列。微透镜图像可以由相应的微透镜坐标(i，j)来引用。光电传感器220的像素PI可以由像素的空间坐标(x，y)来引用。与给定像素相关联的4D光场数据可以被称为(x，y，i，j)。
存在表示(或定义)4D光场图像的若干种方法。例如，可以通过前面参考图3描述的一系列微透镜图像来表示4D光场图像。当由全光相机记录时，4D光场图像也可以由子光圈图像集合来表示。每个子光圈图像是由从每个微透镜图像中选择的相同位置的像素组成的。此外，在不是像素光束(pixel beam)的情况下，4D光场图像可以由极线图像(epipolarimage)集合来表示。
本发明的实施例基于像素光束的概念来提供光场数据的表示。以这种方式，可以考虑格式和光场没备的多样性。事实上，基于射线的格式的一个缺点在于：用于计算表示射线的参数的参数化平面必须被采样以反映像素格式和大小。因此，需要与其它数据一起定义采样，以便恢复物理上有意义的信息。
如图4所示，像素光束40表示在相机的光学系统41的物体空间中由光射线集合占据的体积。光射线通过所述光学系统41的光瞳44而被相机的传感器43的像素42感测到。与射线相反，像素光束40可以随意采样，因为它们本身传达与对物理光射线的部分上的能量保持相对应的“范围”。
光学系统的光瞳被定义为通过所述光学系统的一部分(即，在所述光圈光阑之前的相机的透镜)看到的光圈光阑的图像。光圈光阑是限制通过相机的光学系统的光量的开口。例如，位于相机透镜内的可调节隔膜是透镜的光圈光阑。被允许通过隔膜的光量由隔膜开口的直径控制，而隔膜开口的直径可以根据相机用户希望允许的光量或者用户期望的景深进行调整。例如，使光圈更小会减少被允许通过隔膜的光量，但会增加景深。由于透镜的折射作用，光阑的光圈大小可以大于或小于光阑的物理大小。形式上，光瞳是通过相机的光学系统的光圈光阑的图像。
像素光束40被定义为在经由入射光瞳44传播通过光学系统41时到达给定像素42的一束光射线。当光线在自由空间中以直线行进时，这样的像素光束40的形状可以由两个部分定义，一个是像素42的共轭45，而另一个是入射光瞳44。像素42由其非零表面及其灵敏度图来定义。
因此，如图5所示，像素光束可以由单叶双曲面50表示，双曲面50是由两个元素支持的：相机的物体空间中的像素42的光瞳54和共轭55。
单叶双曲面是可以支持一束光射线的概念的、并且与物理光束的“范围”的概念相兼容的规则表面。
由于单叶双曲面是直纹曲面，因此称为产生射线的至少一组直线围绕双曲面的称为主射线的公转轴进行旋转描述了这样的表面。定义属于双曲面的一组产生线的主射线和任何产生射线的参数的知识足以定义像素光束40、50。
像素光束40、50的一般方程是：
其中，(x0，y0，z0)是(x，y，z)坐标系中的像素光束的腰部中心的坐标，a、b、c分别与沿着Ox、Oy、Oz的半轴长度同源，而θx、θy则定义相对于入射光瞳44的中心的主射线方向。它们取决于像素42在传感器43上的位置和在光学系统41的光学元件上的位置。更确切地，参数θx，、θy表示定义像素42的共轭45与光瞳44的中心的方向的错切角。然而，像素光束40、50的这种表示占用了大量的存储空间，因为用于存储射线的传统文件格式包括存储在3D空间中的位置和方向。下文参考图9B来描述用于减少存储表示像素光束的数据所需的存储空间量的解决方案。
就本质而言，尽管主射线将平稳地通过相机的微透镜阵列的微透镜中心，但在微透镜的边界上产生射线会遭受较强的偏差。产生射线的这种干扰使得运行参考图9B描述的方法变得困难，因为所述方法是利用有序的射线集合来工作的。为此，本发明的发明人提出了一种用于对相机的像素光束集合中的产生射线进行排序的方法，以便利用这样的排序的产生射线集合来满足(feed)根据图9B的方法。
图6A是示意性地示出了根据本发明的一个或多个实施例的用于对相机的像素光束集合中的产生射线进行排序的装置的主要模块的框图。
装置600包括通过总线606连接的处理器601、存储单元602、输入设备603、显示设备604和接口单元605。当然，计算机装置600的构成元件可以通过除了总线连接以外的连接来连接。
处理器601控制装置600的操作。存储单元602存储要由处理器601执行的能够对相机的像素光束集合中的产生射线进行排序的至少一个程序、以及各种数据，所述数据包括与光学获取系统的光学系统210相关的参数、由处理器601执行的计算所使用的参数、由处理器601执行的计算的中间数据等。处理器601可以由任何已知和合适的硬件、或软件、或硬件和软件的组合形成。例如，处理器601可以由诸如处理电路等专用硬件形成，或者由诸如执行存储在其存储器中的程序的CPU(中央处理单元)等可编程处理单元形成。
存储单元602可以由能够以计算机可读方式存储程序、数据等的任何合适的存储器或装置形成。存储单元602的示例包括诸如半导体存储器设备等非暂时性计算机可读存储介质以及加载到读取和写入单元中的磁、光或磁光记录介质。根据本公开的如下文参考图9B所描述的实施例，该程序使得处理器601执行如下处理：计算表示在光学系统的物体空间中由光射线集合占据的体积的参数；以及利用由光学获取系统捕获的图像来编码这些参数。
输入设备603可以由键盘、诸如鼠标之类的定点设备形成，以供用户使用来输入命令，使得用户选择用于产生光学系统的物体空间中由光射线集合占据的体积的参数表示的参数。输出设备604可以由显示设备(例如，图形用户接口(GUI))形成，以显示根据本公开的实施例产生的图像。例如，输入设备603和输出设备604可以由触摸屏面板一体地形成。
接口单元605提供装置600和外部装置之间的接口。接口单元605可以经由线缆或无线通信与外部装置进行通信。在实施例中，外部装置可以是相机或嵌入有这样的相机的便携式设备(比如，移动电话、平板电脑等)。
图6B是示出了根据本发明的一个或多个实施例的用于产生表示相机的像素光束集合的数据的方法的步骤的流程图。
在预备步骤S601中，通过对相机进行校准或者通过从远程服务器中或本地存储单元(比如，相机的存储器290或者与相机连接的闪存盘)上存储的数据文件取回这样的参数来获取定义与相机的传感器的像素相关联的不同像素光束的参数(x0，y0，z0)、a，b，c和θx，θy。该获取或校准可以由装置600的处理器601执行。
例如，通过运行能够对通过相机的光学系统的光射线的传播进行建模的程序来实现对参数(x0，y0，z0)、a、b、c和θx、θy的值的计算。这样的程序例如是光学设计程序，比如或光学设计程序用于设计和分析光学系统。光学设计程序对通过光学系统的光射线的传播进行建模；以及可以对诸如简单透镜、非球面透镜、渐变折射率透镜、反射镜和衍射光学元件之类的光学元件的效果进行建模。光学设计程序可以由装置600的处理器601执行。
在由处理器601执行的步骤S602中，去除像素光束的主射线的错切(shear)。去除主射线的错切可以表达为：
这给出了主射线与Oz轴平行的单叶双曲面：
其中，是属于双曲面的表面的点的坐标，而(x0，y0，z0)是所考虑的像素光束的腰部中心的坐标。
在步骤S603中，处理器601计算坐标点(x0，y0，z0)上的双曲面的中心，然后计算双曲面的归一化，其给出：
因此，方程(1)现在变为：
X2+Y2-Z2＝1 (4)
对像素光束进行去除错切的操作、然后计算中心的操作和归一化操作之后，返回使用如下函数：将(x，y，z)坐标变换为(X，Y，Z)坐标。
由于双曲面的中心轴是Oz轴，因此属于该轴的两个点在(XYZ)坐标系下具有如下一组坐标(0，0，0)和(0，0，1)。变换回原始坐标系(x，y，z)时，该双曲面的中心轴是像素光束的主射线ρC。
由方程(4)定义的双曲面有两组产生射线：
●通过围绕Oz轴旋转连接第一坐标点(1，0，0)和第二坐标点(1，ζ，ζ)(任何例如ζ＝1)的直线给出第一组产生射线，以及
●通过围绕Oz轴旋转连接第一坐标点(1，0，0)和第三坐标点(1，-ζ，ζ)(任何)的直线给出第二组产生射线。
在变换回原始坐标系时，可以将这些产生射线中的任何一个选择为像素光束的产生射线ρG0。
在步骤S604中，选择产生射线ρG0以使其相对于主射线ρC具有已知取向。
其中定义了像素光束集合中的像素光束的(x，y，z)坐标系例如以图2A所示的光学获取系统的光学系统200的入射光瞳为中心，该坐标系的x轴平行于光学获取系统的传感器220的一行像素，并且坐标系的y轴平行于光学获取系统的传感器220的一列像素，并且该x轴和y轴定义平面xOy。
平面Π包括点MC和MG0，其中MC是属于主射线ρC的点，并且MG0是属于产生射线ρG0的点。平面Π平行于平面xOy，并且位于参考距离zref处。
产生射线ρG0相对于主射线ρC的取向由给出。例如，当矢量平行于坐标系的x轴时，角度角度和参考距离zref对像素光束集合中的所有像素光束来说是共同的。
为了在不占用大量存储空间的情况下传达表示像素光束的附加信息(例如，光线的偏振取向或颜色信息)，可以将该附加信息存储为嵌入在表示像素光束的主射线ρC和产生射线ρG0的参数中的标量值。
该附加信息以产生射线围绕主射线ρC的旋转角度的值来传达。在步骤S605中，计算旋转角度的值。
旋转角度由给出。
其中，λ是附加到像素光束的参数的标量值，并且λmax和λmin分别是选择λ的区间的上界和下界。
在根据本发明的方法的实施例中，当标量值λ表示光线的偏振方向时，可以直接将光线的偏振角度指派为旋转角度的值，可能具有取决于参考轴的恒定相移。
在根据本发明的方法的实施例中，使用RGB来表示颜色信息。假设G是使用另一种方法来存储的，例如存储在与像素光束列表相对应的列表中。由于此，现在与每个像素光束相对应的列表G都是可用的。
然后，使用根据本发明实施例的方法来对R和B进行编码。标量值λ表示例如这两个值R和B的组合。因此，如果R和B是以n个比特定义的，则定义λ＝R+k.B，其中k＝2n。
然后，设置λmin＝0和λmax＝(2n-1)+k.(2n-1)＝22n-1允许定义任何数量的颜色通道都可以类似地表示为量化的极值。
在以下对根据本发明的实施例的方法的描述中，(XYZ)坐标系中的坐标为(1，0，0)的G0和坐标为(1，1，1)的M0这两个点被定义为(XYZ)坐标系下的初始产生射线ρG0。由于像素光束的主射线ρC是(XYZ)坐标系中的Oz轴，围绕主射线ρC的具有角度的旋转由旋转矩阵给出：
在步骤S606中，通过产生射线ρG0(G0，M0)围绕主射线ρC的具有角度的旋转形成名为ρG1(G1，M1)的图像，点G1和M1的坐标由以下项给出：
在步骤S607中，产生表示像素光束的数据集合。该数据集合包括表示产生射线ρG0的图像ρG1的参数(G1，M1)、表示主射线ρC的参数。
表示产生射线ρG0相对于主射线ρC的取向的参数(即，参考距离zref、角度和与平面xOy和平面Π相关的信息)对于像素光束集合中的所有像素光束来说是共同的，并且针对给定的像素光束集合仅需一次性地被发送到呈现设备，由此减少了要被发送和处理的数据量。对于分别定义选择λ的区间的上界和下界的λmax和λmin也是如此。
然后，在以下参考图9B描述的方法中使用根据本发明的方法的步骤S601至S607计算的表示像素光束的那些参数，以便提供用于表示像素光束的紧凑格式。
呈现设备接收数据文件，该数据文件包括参考距离zref、角度与平面xOy和平面Π相关的信息、以及分别定义选择λ的区间的上界和下界的值λmax和λmin，并且对于像素光束集合中的每个像素光束，该数据集合包括表示产生射线ρG0的图像ρG1的参数(G1，M1)、以及表示主射线ρC的参数，可以重建该像素光束集合中的所有像素光束，并且取回针对每个像素光束的λ的值。
由于平面Π与平面xOy平行，并且位于与平面xOy相距参考距离zref处，并且MC和M1由以下项定义：MC＝ρC ∩Π和M1＝ρG1 ∩Π，其中，∩表示相交，MG0被定义为使得在平面Π中具有取向那时，在平面Π中
当计算的值时，则通过计算以下项获得λ的值：
为了提出一种用于存储射线的、需要较少存储空间的文件格式，可以参考图7A中所示的立方体来描述用于参数化光场辐射的四个维度的方法。立方体的所有六个面可以用于参数化光场。为了参数化方向，可以添加平行于立方体的面的第二平面集合。以这种方式，可以相对于法线沿轴方向的六对平面来定义光场，如下所示：
图7B示出了通过用于参数化的两个参考平面P1和P2的光场射线(比如，定义像素光束的主射线和产生射线)，所述两个参考平面P1和P2彼此平行并且分别位于已知深度z1和z2处。光场射线与深度z1处的第一参考平面P1在相交点(x1，y1)处相交，并且与深度z2处的第二参考平面P2在相交点(x2，y2)处相交。以这种方式，可以通过四个坐标(x1，y1，x2，y2)来识别光场射线。因此，光场可以由用于参数化的一对参考平面P1、P2(在本文中也称为参数化平面)进行参数化，其中每个光场射线被表示为4D射线空间中的点(x1，y1，x2，x2，)∈R4。因此，这是针对相机的像素光束集合中的主射线和产生射线来完成的。
例如，参考坐标系的原点可以置于由坐标轴系统的基矢量产生的平面P1的中心处。轴与产生的平面P1垂直，并且为了简单起见，可以将第二平面P2放置在沿着轴与平面P1相距z＝Δ的距离处。为了考虑六个不同的传播方向，整个光场可以由六对这样的平面表征。通常被称为光板的一对平面表征沿着传播方向与光场相机的传感器或传感器阵列相互作用的光场。
用于参数化的参考平面的位置可以如下给出：
其中，是法线，d是沿着法线方向与3D坐标系原点的偏移。
用于参数化的参考平面的笛卡尔方程可以如下给出：
如果光场射线具有已知的位置：
和归一化的传播矢量：
则3D形式的射线的一般参数方程可以如下给出：
光场射线与参考平面之间的相交的坐标如下给出：
如果不满足以下条件，则光场射线与参考参数化之间不存在相交：
由于用于参数化光场的参考平面对与系统中的轴中的一个轴垂直，因此对于每个平面来说，射线相交的分量中的一个分量总是恒定的。因此，如果光场射线与第一参考平面有相交并且所述光场与第二参考平面有相交则四个坐标变化，并且方程A可以用于计算光场射线的四个参数。这四个参数可以用于建立光场的4D射线图。
假设参考两个参数化参考平面对光场进行参数化，可以如下获得表示光场的数据。如果参考系统被设置为如图8所示的那样，则第一参数化平面P1在z＝z1处与z轴垂直，第二参数化平面P2被布置为在z＝z2处与z轴垂直，并且其光场参数为L(x1；y1；x2；y2)的射线将被呈现在光场相机的光电传感器阵列所在的位置z＝z3处。根据方程(A)：
其中
推导上述表达式以给出：
z3＝z3
z3＝z3
两个方程集合都应该提供相同的点作为新位置处呈现光场射线。通过利用如和的函数那样的对应的表达式来替换ux、uy、uz，如果使用了前面块中的第二方程集合，并且将x3和y3加在一起，则：
进而形成如下表达式：
带有下标3的坐标与呈现光场的已知点(x3，y3，z3)相关。所有深度坐标zi都是已知的。参数化平面处于传播或呈现的方向。光场数据参数L是(x1，y1，x2，y2)。
在点(x3，y3，z3)处形成图像的光场射线通过表达式(B)连接，表达式(B)定义了下的超平面。
这意味着：如果要根据两个平面参数化光场来呈现图像，则只需要呈现超平面附近的射线，而无需追踪这些射线。图9A是示出了根据本发明的一个或多个实施例的用于产生表示光场的数据的方法的步骤的流程图。图9B是示意性地示出了根据本发明的一个或多个实施例的用于产生表示光场的数据的系统的主要模块的框图。
在所述方法的预备步骤S801中，获取与相机的传感器的像素相关联的不同像素光束的定义主射线、产生射线、以及产生射线之一和主射线ρC之间的最短距离d的参数。这些参数是作为上述用于对产生射线进行排序的方法的结果而获得的。
在另一预备步骤S802中，通过光场相机801获取原始光场数据。原始光场数据例如可以具有如参考图3所描述的微图像的形式。光场相机可以是诸如图1A或图1B以及图2A和图2B中所示的光场相机设备。
在步骤S803中，通过射线参数模块802处理所获取的光场数据，以提供相交数据(x1，y1，x2，y2)，相交数据(x1，y1，x2，y2)定义与主射线和产生射线相对应的所捕获的光场射线与相应深度z1、z2处的用于参数化的参考平面对P1、P2的相交。
根据相机的校准，可以确定以下参数：投影中心(x3，y3，z3)、相机的光轴的取向、以及从相机的针孔到光电传感器的平面的距离f。图10示出了光场相机参数。光电传感器平面位于深度zp处。光电传感器的像素输出被转换为光场射线的几何表示。包括分别在位于z3的一边的深度z1和z2处的两个参考平面P1和P2在内的光板在相机投影中心的相对于光电传感器的另一侧。通过对光射线应用三角原理，可以通过应用以下表达式将记录从微透镜阵列投影的光的像素坐标(xp，yp，zp)映射到射线参数，即参考平面相交点(x1，y1，x2，y2)：
上述计算可以扩展到具有不同的三元组对(xp，yp，zp)(x3，y3，z3)的多个相机：
在全光相机的情况下，使用具有光圈的相机模型，并且在相位空间中将光场射线描述为具有原点(xp，yp，zp)和方向(x’3，y’3，1)。光场射线传播到在深度z3处的平面(x3，y3)可以被描述为矩阵变换。透镜将用作为ABCD矩阵以折射射线，并且另一ABCD传播矩阵将射线带到光板参考平面P1和P2上。
根据该步骤，获得几何上定义穿过参考直线的产生射线与参考平面P1、P2的相交的相交数据(x1，y1，x2，y2)。
在步骤S804中，通过射线图产生器模块803获得图形化地表示相交数据(x1，y1，x2，y2)的2D射线图。
图11是图形化地示出了在位置x3＝2和深度z3＝2处、具有光圈|A|＜0.5的相机捕获的光场射线的相交数据(x1，x2)的2D射线图。用于参数化的射线图的数据线是通过提供256×256个像素的图像的256个单元而采样的。
如果图11中所示的射线图被解释为矩阵，则可以看到该矩阵被稀疏地填充。如果射线要单独保存在文件(file)中而不是4D相位空间矩阵中，则对于每个射线来说需要保存的为针对每个位置xi或x3的至少2个字节(整型16)再加上针对颜色的3个字节，即对于2D薄片光场来说每个射线7个字节，而对于全4D表示来说每个射线11个字节。即使这样，射线也会随机存储在文件中，这可能不适合需要操纵该表示的应用。本发明的发明人已经确定如何仅从射线图矩阵中提取表示性数据并且以结构化的方式将数据存储在文件中。
由于光场射线沿着2D射线图的数据线进行映射，因此存储定义数据线的参数而不是线值本身更为有效。定义数据线的参数(例如，斜率定义参数s和轴截距d)可以与属于该数据线的光场射线集合一起存储。
这可能需要例如斜率参数s仅仅为2个字节、截距参数d为2个字节，然后每个射线仅3个字节。此外，可以在文件中沿线对射线进行排序。为了设置通过矩阵单元的线，产生与射线近似且误差最小的所谓的数字线。
为了定位数据线并且获得斜率参数s和截距参数d，执行步骤S805，以由线检测模块804对在步骤S804中产生的射线图执行拉东变换。
根据获得的斜率参数s和截距参数d，在步骤S806中通过数字线产生模块805来产生代表性数字线。在这一步骤中，例如通过应用Bresenham算法，通过将分析线近似到其最近的网格点来产生数字线。事实上，Bresenham算法提供了一种以最少的操作来提供数字线的方法。其它方法可以应用快速离散拉东变换计算。Bresenham应用的示例是根据以下参考文献改编的一种应用：
http：//www.cs.helsinki.fi/group/goa/mallinnus/lines/bresenh.html.
数字格式通过网格的两点(0，d)和(N-1，s)来定义数据线，其中d是当x1＝0时与x2的值相对应的相交，并且s是当x1＝N-1时与x2的值相对应的斜率参数。根据产生的数字格式，每个单独的线的斜率a可以表示为d、N和s的函数，如下所示：
其中：
s∈{0，1，...N-1}和d∈{0，1，....N-1}
图12示出了应用Bresenham算法产生的数字线的示例。
图13示出了具有相同斜率a(或s-d)但不同截距d的一组数字线，该组数据线是连续的。这组数据线在这里被称为一束线，并且与由并非理想地为针孔相机的相机产生的光束相对应。每条线寻址不同的像素。换句话说，一个像素仅属于具有相同斜率但不同截距的唯一一束线。轴相交d的上边界和下边界分别为dmax和dmin。
由采样线对(2D形式的)参数化并且属于一个相机的射线数据属于用于表示数据的相位空间中的一系列数字线(光束)。光束的头部可以简单地包含斜率a和由轴相交的上边界和下边界定义的光束的厚度dmax-dmin。沿着头部可以是d和s的数字线，将射线值存储为RGB颜色。不需要存储采样空间中的射线图的空白单元。可以根据参数d、s和根据单元沿数字线的位置导出射线的坐标x1、x2。
要根据光场或根据相机的几何形状估计的参数是斜率a、数字线截距的下边界和上边界(dmin，dmax)、数字线参数(di，si)。离散拉东变换已经被作为用于测量射线图中的光场的支持位置的工具而进行了讨论。
图14B示出了图14A的数据线的数字线参数空间(d，s)中的离散拉东变换。图14C是图14B中包括的感兴趣区域的放大图。数字线的光束通过搜索最大值参数来定位。由于图像内容，DRT的几何对称中心与最大值的实际位置之间可能存在一些偏移，因此稍后使用算法来精确定位对称中心而不是最大值。然后，很容易找到如图13C所示的光束变换的腰部，以给出值(dmin，dmax)。点(dmin＝74，s＝201)是来自图12A的数字线的光束的下包络，并且点(dmax＝81，s＝208)是数字线的光束的上包络。
根据方程B将两个正交2D薄片空间的方程给出为：
(z2-z3)(x1+y1)+(z3-z1)(x2+y2)＝(z2-z1)(x3+y3) (C)
如果获得了针对xi坐标的2D薄片，则通过在(x3，y3，z3)处的大小为A的光圈的射线数据将映射的线束的方程如下给出：
类似地，如果针对yi坐标获得了2D切片，则：
如前所述，可以在离散域中评价m和的值。为了定位由前面讨论的格式定义的光场的特性，不需要执行4D离散拉东变换(DRT)。如果获得了两个正交的2DDRT，则可以对超平面的斜率m和在4D射线图中所有数据会聚的数字超平面的束宽度执行测量。
这个更简单的位置过程假设圆形的入射光瞳A，以便 将包括所有的超平面截距，被写到格式中的一些值将不包含任何值。
将有兴趣获得针对4D情况的格式，获得方式与针对2D情况提出的获得方法相似。为此，将有兴趣将在Π(x1，x2)平面上找到的2D线与在Π(y1，y2)位置上找到的线相关联，即，线是对应的超平面与两个正交薄片Π(x1，x2)和Π(y1，y2)的相交的结果。根据表达式D和E可知，对应的线具有相同的斜率m。这是用于将Π(x1，x2)中的每条线与Π(y1，y2)中的线相关联的、针对在某个深度处的相机的第一参数。如果在同一深度处有多台相机(即，图14A的情况)，则Π(x1，x2)中有三条线，并且Π(y1，y2)中有三条线，这些线的估计斜率相同都为m。然后，确定这两个平面中的线之间的线偏移中的对应关系。为此，利用表达式D和E中的线的公式。特别表示为：
偏移如下：
以及
可以针对k，x3和y3对方程集合进行求解。请注意，(x3，y3，z3)与相机的坐标相对应，或者换句话说，与对应的光束集中在半径为A的圆上的体素相对应。我们假设在位于z3处的平面上的光圈是圆形的，因此并且通过求解以前的方程集合得到：
可以使用Bresenham数字线像以前那样对Π(x1，x2)扫描数字线；针对每个单独的(x1，x2)值，存储在光场中捕获的对应的(y1，y2)值。为了找到这样的值，利用表达式(C)。以下所有参数x3、y3、z3、z1、z2都是已知的或者是根据表达式F和G估计出的。
在Π(x1，x2)中的每一行上移动，对于每个获得(y1，y2)的以下关系：
或者
对于Π(x1，x2)中的每个点，保存Π(y1，y2)中的线的集合。doff与针对扫描和保存的线的偏移相对应。其表示为：
参考图12，每个正方形是点并且对于这些点中的每一个点，都存在沿着由如下方程定义的数字束的、脱离图中平面的Bresenham数字线集合：
但在4D空间中，所述Bresenham数字线集合垂直于所描绘的数据线。
表1中示出了每个相机的一束数据线的示例性数据格式。
表1
首先，提供了4D空间的一般元数据：包括4个轴x1、x2、y1、y2的边界及其对应的采样。还提供了相机(束)的数量。对于每个相机j，保存以下参数：
光圈的大小：Aj，与像素光束的光瞳的直径相对应，
相机的焦点：camj；焦点＝(u3，u3，w3)
(x1x，2)中的最小截距d＝dj
陡度＝mj
在每个相机上，对于每个(xq 1；xq 2)，使用Bresenham数字线关于表达式(k)开始对(y1，y2)扫描，并且保存每个光场射线的RGB值。特别地，根据表达式(K)计算至以及对应的doff。
使用存储的元数据在解码步骤中执行相同的计算。特别地，使用方程(H)找到k。因此，格式保持紧凑。不需要为系统中的每个射线存储四个索引。请注意：上面的超平面的采样是4D射线空间的采样，因此不会缺失单个x1；y1；x2；y2位置。这仅是用于以非常紧凑的形式保存所有数据的4D射线空间的系统扫描的一个示例。当然，也可以应用其它处理。参数化形式似乎适用于探索超平面，因为参数化形式允许跨空间探索。
在多个相机从而处理包含若干束超平面在内的数据(由于多个相机而导致的拉东变换中有若干个极点)的情况下，可以使用更复杂的算法。作为预处理步骤，针对Π(x1，x2)的拉东变换中的所有峰值来找到参数(m，k)，并且将这些找到的参数(m，k)放入一个集合中。针对(y1，y2)中的峰值也这样做，并且将得到的参数放在另一集合中。现在，在贪婪算法的每次迭代中，在(x1，x2)的2D拉东变换中找到最大峰值强度，并且通过匹配先前找到的参数(m，k)来找到(y1，y2)中的对应峰值。在如上一部分中提及的保存数据之后，将这些峰值将从拉东变换中清除，然后开始下一次迭代，直到光场中没有任何有意义的数据为止。
虽然本发明以上是参照具体实施例进行描述的，但本发明不限于具体实施例，在本发明的范围内的修改对于本领域技术人员是显然的。
对本领域技术人员来讲，通过参照上述说明性实施例，其仅为作为示例给出而不意在限制仅由所附权利要求确定的本发明的范围，将设想许多另外的修改和变形。具体地，在适当的情况下，来自不同实施例的不同特征可互换使用。
Claims (15)
1.一种用于产生表示如下体积的数据集合的计算机实现方法，所述体积为在光学获取系统的物体空间中由如下光射线集合占据的体积，所述光射线集合通过所述光学获取系统的光瞳而能够被所述光学获取系统的传感器的至少一个像素感测到，所述体积称为像素光束，所述方法包括：
-基于表示所述像素光束的参数的值来计算旋转角度的值，
-计算称为第一产生射线的第一直线围绕第二直线的具有角度的旋转，所述第一直线的具有角度的旋转描述表示所述像素光束的单叶双曲面的表面，所述第二直线是所述双曲面的公转轴，所述具有角度的旋转将所述第一产生射线变换为第二产生射线，
-产生表示所述像素光束的数据集合，所述数据集合包括表示所述第二产生射线的参数、表示所述双曲面的公转轴的参数、以及表示所述第一产生射线相对于所述双曲面的公转轴的取向的参数。
2.根据权利要求1所述的方法，其中，所述第一产生射线被选择为使得矢量与如下坐标系的轴之间的角度等于0，其中，MC属于所述双曲面的公转轴，MG0属于所述第一产生射线，所述坐标系为在其中计算具有角度的旋转的坐标系。
3.根据权利要求2所述的方法，其中，表示所述第一产生射线相对于所述双曲面的公转轴的取向的参数包括所述角度以及在所述坐标系的原点和包括MC和MG0在内的平面之间的称为参考距离的距离。
4.根据前述权利要求中任一项所述的方法，其中，所述旋转角度由给出，其中，λ是表示所述像素光束的参数的值，并且λmax和λmin分别是选择λ的区间的上界和下界。
5.根据权利要求4所述的方法，其中，表示所述像素光束的所述数据集合还包括λmax和λmin的值。
6.根据权利要求4所述的方法，其中，λ是表示所述像素光束的参数的值，该参数例如为光线的偏振取向或颜色信息。
7.一种用于产生表示如下体积的数据集合的装置，所述体积为在光学获取系统的物体空间中由如下光射线集合占据的体积，所述光射线集合通过所述光学获取系统的光瞳而能够被所述光学获取系统的传感器的至少一个像素感测到，所述体积称为像素光束，所述装置包括被配置为执行以下操作的处理器：
-基于表示所述像素光束的参数的值来计算旋转角度的值，
-计算称为第一产生射线的第一直线围绕第二直线的具有角度的旋转，所述第一直线的具有角度的旋转描述表示所述像素光束的单叶双曲面的表面，所述第二直线是所述双曲面的公转轴，所述具有角度的旋转将所述第一产生射线变换为第二产生射线，
-产生表示所述像素光束的数据集合，所述数据集合包括表示所述第二产生射线的参数、表示所述双曲面的公转轴的参数、以及表示所述第一产生射线相对于所述双曲面的公转轴的取向的参数。
8.一种用于呈现光场内容的方法，包括：
-使用如下参数，计算称为第一产生射线的第一直线围绕第二直线的旋转角度所述第一直线的旋转角度描述表示在光学获取系统的物体空间中的由如下光射线集合占据的体积的单叶双曲面的表面，所述光射线集合通过所述光学获取系统的光瞳而能够被所述光学获取系统的传感器的至少一个像素感测到，所述体积称为像素光束，所述第二直线是所述双曲面的公转轴，所述具有角度的旋转将所述第一产生射线变换为第二产生射线，所述参数为：
●表示所述第一产生射线相对于所述双曲面的公转轴的取向的参数，包括：矢量和如下坐标系的轴之间的角度以及该坐标系的原点和包括MC和MG0在内的平面之间的距离，其中MC属于所述双曲面的公转轴，MG0属于所述第一产生射线，所述坐标系为在其中计算所述旋转角度的坐标系，
●表示所述第二产生射线的参数，以及
●表示所述双曲面的公转轴的参数，
-基于所述旋转角度的值，使用表示所述双曲面的公转轴的参数、表示所述第二产生射线的参数以及表示所述像素光束的参数的值，计算所述像素光束，
-呈现所述光场内容。
9.一种用于呈现光场内容的设备，包括被配置为执行以下操作的处理器：
-使用如下参数，计算称为第一产生射线的第一直线围绕第二直线的旋转角度所述第一直线的旋转角度描述表示在光学获取系统的物体空间中的由如下光射线集合占据的体积的单叶双曲面的表面，所述光射线集合通过所述光学获取系统的光瞳而能够被所述光学获取系统的传感器的至少一个像素感测到，所述体积称为像素光束，所述第二直线是所述双曲面的公转轴，所述具有角度的旋转将所述第一产生射线变换为第二产生射线，所述参数为：
●表示所述第一产生射线相对于所述双曲面的公转轴的取向的参数，包括：矢量和如下坐标系的轴之间的角度以及该坐标系的原点和包括MC和MG0在内的平面之间的距离，其中MC属于所述双曲面的公转轴，MG0属于所述第一产生射线，所述坐标系为在其中计算所述旋转角度的坐标系，
●表示所述第二产生射线的参数，以及
●表示所述双曲面的公转轴的参数，
-基于所述旋转角度的值，使用表示所述双曲面的公转轴的参数、表示所述第二产生射线的参数以及表示所述像素光束的参数的值，计算所述像素光束，
所述设备还包括用于呈现所述光场内容的显示器。
10.一种光场成像设备，包括：
-微透镜阵列，按照规则点阵结构布置；
-光电传感器，被配置为捕获从微透镜阵列投影到所述光电传感器上的光，光电传感器包括像素集合，每个像素集合与微透镜阵列中的相应微透镜光学相关联；以及
根据权利要求7所述的用于提供元数据的设备。
11.一种表示光场内容的信号，包括表示如下体积的数据集合，所述体积为在光学获取系统的物体空间中由如下光射线集合占据的体积，所述光射线集合通过所述光学获取系统的光瞳而能够被所述光学获取系统的传感器的至少一个像素感测到，所述体积称为像素光束，表示像素光束的数据集合包括：
-表示称为第一产生射线的第一直线的参数，所述参数描述表示所述像素光束的单叶双曲面的表面，所述第一产生射线通过对描述所述双曲面的表面的第二直线应用围绕第三直线的具有角度(p的旋转而获得，所述第三直线是所述双曲面的公转轴，
-表示所述双曲面的公转轴的参数，
-表示第二产生射线相对于所述双曲面的公转轴的取向的参数。
12.一种计算机程序产品，能够从通信网络下载和/或记录在能够由计算机读取的介质上和/或能够由处理器执行，所述计算机程序产品包括用于实现根据权利要求1至6中任一项所述的方法的程序代码指令。
13.一种非暂时性计算机可读介质，包括记录在其上且能够由处理器运行的计算机程序产品，所述计算机程序产品包括用于实现根据权利要求1至6中任一项所述的方法的程序代码指令。
14.一种计算机程序产品，能够从通信网络下载和/或记录在能够由计算机读取的介质上和/或能够由处理器执行，所述计算机程序产品包括用于实现根据权利要求8所述的方法的程序代码指令。
15.一种非暂时性计算机可读介质，包括记录在其上且能够由处理器运行的计算机程序产品，所述计算机程序产品包括用于实现根据权利要求8所述的方法的程序代码指令。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP15307177.4A EP3188124A1 (en) | 2015-12-30 | 2015-12-30 | A method and an apparatus for generating data representative of a pixel beam |
| EP15307177.4 | 2015-12-30 | ||
| PCT/EP2016/082862 WO2017114913A1 (en) | 2015-12-30 | 2016-12-29 | A method and an apparatus for generating data representative of a pixel beam |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108475421A true CN108475421A (zh) | 2018-08-31 |
Family
ID=55221249
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201680074779.9A Pending CN108475421A (zh) | 2015-12-30 | 2016-12-29 | 用于产生表示像素光束的数据的方法和装置 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US20190101765A1 (zh) |
| EP (2) | EP3188124A1 (zh) |
| JP (1) | JP2019505901A (zh) |
| KR (1) | KR20180098565A (zh) |
| CN (1) | CN108475421A (zh) |
| WO (1) | WO2017114913A1 (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018537877A (ja) * | 2015-09-17 | 2018-12-20 | トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ | ライトフィールドコンテンツをエンコードする方法 |
| EP3188123A1 (en) * | 2015-12-30 | 2017-07-05 | Thomson Licensing | A method and an apparatus for generating data representative of a pixel beam |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150177062A1 (en) * | 2013-12-19 | 2015-06-25 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, and storage medium |
| CN104796624A (zh) * | 2015-04-20 | 2015-07-22 | 清华大学深圳研究生院 | 一种光场编辑传播方法 |
-
2015
- 2015-12-30 EP EP15307177.4A patent/EP3188124A1/en not_active Withdrawn
-
2016
- 2016-12-29 US US16/067,174 patent/US20190101765A1/en not_active Abandoned
- 2016-12-29 WO PCT/EP2016/082862 patent/WO2017114913A1/en unknown
- 2016-12-29 JP JP2018533686A patent/JP2019505901A/ja not_active Ceased
- 2016-12-29 KR KR1020187018548A patent/KR20180098565A/ko not_active Application Discontinuation
- 2016-12-29 CN CN201680074779.9A patent/CN108475421A/zh active Pending
- 2016-12-29 EP EP16822702.3A patent/EP3398160A1/en active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150177062A1 (en) * | 2013-12-19 | 2015-06-25 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, and storage medium |
| CN104796624A (zh) * | 2015-04-20 | 2015-07-22 | 清华大学深圳研究生院 | 一种光场编辑传播方法 |
Non-Patent Citations (1)
| Title |
|---|
| TODOR GEORGIEV ET AL: "Lytro camera technology:theory,algorithms,performance analysis", 《PROCEEDINGS OF SPIE》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2019505901A (ja) | 2019-02-28 |
| KR20180098565A (ko) | 2018-09-04 |
| EP3188124A1 (en) | 2017-07-05 |
| EP3398160A1 (en) | 2018-11-07 |
| WO2017114913A1 (en) | 2017-07-06 |
| US20190101765A1 (en) | 2019-04-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Du et al. | Interactive 3D modeling of indoor environments with a consumer depth camera | |
| CN107018293B (zh) | 生成表示光场的数据的方法和装置 | |
| Chen et al. | Rise of the indoor crowd: Reconstruction of building interior view via mobile crowdsourcing | |
| TWI713582B (zh) | 產生像素射束表示資料之方法及裝置 | |
| EP3398161B1 (en) | A method and an apparatus for generating data representative of a pixel beam | |
| Afshari et al. | A spherical multi-camera system with real-time omnidirectional video acquisition capability | |
| da Silveira et al. | 3d scene geometry estimation from 360 imagery: A survey | |
| Pagani et al. | Dense 3D Point Cloud Generation from Multiple High-resolution Spherical Images. | |
| CN108352061A (zh) | 用于产生表示像素光束的数据的装置和方法 | |
| CN108475421A (zh) | 用于产生表示像素光束的数据的方法和装置 | |
| da Silveira et al. | 3D Scene Geometry Estimation from 360$^\circ $ Imagery: A Survey | |
| Bagnato | Omnidirectional light field analysis and reconstruction | |
| Garg | Unstructured image mosaics | |
| Alam et al. | Environment modelling for robot vision using kinect | |
| Bourke | Textured 3D models derived automatically from photographs | |
| Karaoglu | A Generic Approach for Designing Multi-Sensor 3D Video Capture Systems |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20190520 Address after: Paris France Applicant after: Interactive Digital CE Patent Holding Company Address before: I Si Eli Murli Nor, France Applicant before: Thomson Licensing SA |
|
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20180831 |