CN103237161B - 基于数字编码控制的光场成像装置及方法 - Google Patents
基于数字编码控制的光场成像装置及方法 Download PDFInfo
- Publication number
- CN103237161B CN103237161B CN201310123402.6A CN201310123402A CN103237161B CN 103237161 B CN103237161 B CN 103237161B CN 201310123402 A CN201310123402 A CN 201310123402A CN 103237161 B CN103237161 B CN 103237161B
- Authority
- CN
- China
- Prior art keywords
- light field
- field image
- light
- coding
- transducer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 57
- 230000003287 optical effect Effects 0.000 title claims abstract description 38
- 238000000034 method Methods 0.000 title claims description 8
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 3
- 230000000295 complement effect Effects 0.000 claims description 2
- 230000008878 coupling Effects 0.000 abstract description 5
- 238000010168 coupling process Methods 0.000 abstract description 5
- 238000005859 coupling reaction Methods 0.000 abstract description 5
- 230000000694 effects Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 12
- ORQBXQOJMQIAOY-UHFFFAOYSA-N nobelium Chemical compound [No] ORQBXQOJMQIAOY-UHFFFAOYSA-N 0.000 description 3
- 238000005290 field theory Methods 0.000 description 2
- 235000007926 Craterellus fallax Nutrition 0.000 description 1
- 240000007175 Datura inoxia Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Studio Devices (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
本发明公开了一种基于数字编码控制的光场成像装置，包括：主透镜，用于将物方光束进行会聚；数字编码元件，用于对入射光进行数字化调制；微透镜阵列，用于提取光场信息；传感器，用于形成光场图像；逻辑控制单元，用于控制传感器及数字编码元件。本发明利用数字编码元件对入射光的数字化调制作用，突破了传统光场成像对主透镜F数匹配要求限制。在提高了光场成像角度分辨率的同时，也保证了光场图像的空间分辨率，有助于提高光场成像应用灵活性和成像质量。
Description
技术领域
本发明涉及光学工程、计算机图形学、计算机视觉等技术领域，特别涉及一种基于数字编码控制的光场成像装置和方法。
背景技术
光场成像是计算成像领域的一个重要分支。传统成像装置遵循成像镜头加感光胶片直接获取二维图像信息的成像原理，计算成像采用非成像光学器件取代部分传统成像光学器件，在光学系统和计算单元的共同作用下生成结果图像，提供了传统图像传感所无法提供的新信息，跳出了传统的图像传感器各自为战的架构束缚，为图像重建提供了更为丰富的信息。计算成像衍生自机器视觉、图像处理、计算机图形学和应用光学，它将成像装置的某些部分成像任务转移到计算单元，从而能够显著拓宽图像捕获的数据种类。
1939年Gershun首次提出光场的概念，将其定义为光辐射在空间各个位置各个方向的传播。1992年Adelson将光场理论应用于计算机视觉，并提出全光场相机的概念，在提取图像深度信息方面更加简单可靠。随后，Levoy在1996年提出光场渲染理论，首次对四维光场进行参数化表示并设计获取四维光场的装置，对光场理论完善具有重要意义。目前光场成像主要有三种形式：微透镜阵列、相机阵列、掩膜及其他。其中微透镜阵列形式通过放置在主透镜和传感器之间的微透镜阵列来进行光场数据获取；相机阵列形式是通过多个相机在空间的一定分布采集一系列视角略有差别的图像来获取光场数据；掩膜形式通过对相机的光圈做相应处理来重构光场数据；此外，还有通过相机移动来进行光场成像的方式。
微透镜阵列是最常用的光场成像方式，为了确保传感器的有效利用率，需要主透镜和微透镜的F数匹配，因为当主透镜的F数大于微透镜的F数时，每个微透镜对应的传感器成像区域较小，传感器像素利用率低；当主透镜的F数小于微透镜的F数时，每个微透镜对应的传感器成像区域较大，图像混叠现象严重；只有当主透镜的F数与微透镜的F数相等时，每个微透镜对应的传感器成像区域在没有重叠情况下最大，传感器像素有效利用率最高。但这种F数匹配的要求，会限制主透镜的光圈大小，降低成像装置的灵活性。同时，一般情况下微透镜的F数较大，由此就会要求主透镜的F数较大，主透镜F数越大，其光圈孔径越小，从而造成通光量的减小，进一步影响成像质量。
发明内容
本发明的目的是提供一种基于数字编码控制的光场成像装置和方法。
为实现上述目的，一种基于数字编码控制的光场成像装置，包括：
主透镜，用于将物方光束进行会聚；
数字编码元件，用于对入射光进行数字化调制；
微透镜阵列，用于提取光场信息；
传感器，用于形成光场图像；
逻辑控制单元，用于控制传感器及数字编码元件。
一种基于数字编码控制的光场成像方法，该方法包括：
步骤1，逻辑控制单元对传感器完成初始化及参数设置；
步骤2，逻辑控制单元产生控制DMD芯片的二位脉冲宽度调变电子字符，对DMD微镜片单元的开关状态进行控制；
步骤3，逻辑控制单元控制传感器采集场景的光场图像1；
步骤4，逻辑控制单元采用与光场图像1互补的编码控制方案，重复以上步骤，进而采集该场景的光场图像2；
步骤5，将步骤3得到的光场图像1与步骤4得到的光场图像2进行融合形成最终的光场图像。
本发明在微透镜阵列光场成像的基础上，提出了一种基于数字编码控制的光场成像装置和方法，利用数字编码元件对入射光的数字化调制作用，突破了传统光场成像对主透镜F数匹配要求限制，而且，在提高了光场成像角度分辨率的同时，也保证了光场图像的空间分辨率，有助于提高光场成像应用灵活性和成像质量。
附图说明
图1为本发明提供的基于数字编码控制的光场成像装置结构框图；
图2本发明提供的光学成像结构图；
图3本发明提供的光场成像装置结构示意图；
图4本发明提供的基于数字编码控制的光场成像方法流程图；
图5为传统光场成像与本发明提供的光场成像光路对比图；
图6为本发明提供的数字编码元件单元与微透镜单元对应关系示意图；
图7为本发明提供的数字编码控制方案示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。
图1为本发明提供的基于数字编码控制的光场成像装置结构框图。如图1所示，本发明提供的光场成像装置包括：
主透镜101；
数字编码元件102；
微透镜阵列103；
传感器104；
逻辑控制单元105。
其中，主透镜101用于将物方光束进行会聚；数字编码元件102采用DMD数字微镜芯片，用于对入射光进行数字化调制；微透镜阵列103由若干平凸微透镜单元构成，用于提取光场信息；传感器104采用CMOS或CCD成像传感器；逻辑控制单元105采用FPGA或ARM逻辑控制芯片，控制传感器104完成初始化、参数设置及图像采集，此外通过对数字编码元件102的DMD芯片进行二位脉冲宽度调变实现光调变或数字开关效果。
图2为本发明提供的光学成像结构图。如图2所示，所述光学成像结构包括：主透镜201、数字编码元件202、微透镜阵列203、传感器204。主透镜201位于物方最前端，传感器204位于像方侧，微透镜阵列203位于主透镜201与传感器204之间，数字编码元件202位于主透镜201与微透镜阵列203之间。
图3为本发明提供的光场成像装置结构示意图。如图3所示，光场成像装置302包括主透镜303、数字编码元件304、微透镜阵列305、传感器306、逻辑控制单元307，从而对成像场景301生成光场图像308。成像的一般流程为：成像场景301的物方光束先经主透镜303的会聚投射到数字编码元件304上，经数字编码元件304数字化调制后的光束再投射到微透镜阵列305上，通过微透镜阵列305折射后的光束最终投射到传感器306上，形成该场景的光场图像；在该成像过程中逻辑控制单元307负责传感器306初始化、参数设计及采集图像输出；此外负责产生控制数字编码元件304的DMD芯片的二位脉冲宽度调变电子字符，对DMD微镜片单元的开关状态进行控制，以实现数字编码元件对光束的调制。
图4本发明提供的基于数字编码控制的光场成像方法流程图。如图4所示，本发明提供的光场成像方法包括以下步骤：
步骤1，逻辑控制单元对传感器完成初始化及参数设置；
步骤2，逻辑控制单元产生控制DMD芯片的二位脉冲宽度调变电子字符，对DMD微镜片单元的开关状态进行控制；
步骤3，逻辑控制单元控制传感器采集场景的光场图像1；
步骤4，逻辑控制单元采用与光场图像1互补的编码控制方案，重复以上步骤，进而采集该场景的光场图像2；
步骤5，将步骤3得到的光场图像1与步骤4得到的光场图像2进行融合形成最终的光场图像。
图5为传统光场成像与本发明提供的光场成像光路对比图。如图5所示，传统光场成像当主透镜的光圈大于微透镜单元501的光圈时，每个微透镜对应的成像区域502较大，图像混叠现象严重，只有当主透镜与微透镜光圈匹配时，传感器像素的有效利用率最高；当增设本发明提供的数字编码元件503时，通过对数字编码元件503的通光状况进行控制，在主透镜光圈大于微透镜单元504光圈情况下，微透镜单元504对应的成像区域505互不影响，从而可有效避免图像混叠现象发生，突破了光场成像中对主透镜光圈的限制。
图6为本发明提供的数字编码元件单元与微透镜单元对应关系示意图。如图6所示，数字编码元件单元与微透镜单元对应关系为4：1，即1个微透镜单元601对应数字编码元件的DMD芯片上的4个微镜片单元602，由于这4个微镜片单元的编码控制模式相同，因此简单起见，将这4个微镜片单元视为一个编码单元603。
图7为本发明提供的数字编码控制方案示意图。如图7所示，本发明采用互补编码的控制模式，首先，控制数字编码元件701中与微透镜单元702对应的奇数行偶数列(或偶数行奇数列)编码单元703为不透光状态，采集一幅光场图像；接着，控制数字编码元件704中与微透镜单元705对应的偶数行奇数列(或奇数行偶数列)编码单元706为不透光状态，采集另一幅光场图像；最后，将两幅图像融合形成一幅光场图像，这样，在提高了光场成像角度分辨率的同时，也保证了光场图像的空间分辨率，而且，主透镜光圈不受传统光场成像中的F数匹配限制，有助于提高光场成像质量。
以上所述的具体实施例，对本发明的目的、技术方案和有益结果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于数字编码控制的光场成像装置，包括：
主透镜，用于将物方光束进行会聚；
数字编码元件，用于对入射光进行数字化调制，所述数字编码元件采用数字微镜DMD芯片；
微透镜阵列，用于提取光场信息；
传感器，用于形成光场图像；
逻辑控制单元，用于控制传感器及数字编码元件；
其中，逻辑控制单元对传感器完成初始化及参数设置，产生控制DMD芯片的二位脉冲宽度调变电子字符，对所述数字微镜DMD芯片的开关状态进行控制，控制传感器采集场景的光场图像1，采用与光场图像1互补的编码控制方案，重复以上步骤，进而采集该场景的光场图像2，将得到的光场图像1与得到的光场图像2进行融合形成最终的光场图像；
所述互补的编码控制方案包括：
控制所述数字微镜DMD芯片中与微透镜单元对应的奇数行偶数列或偶数行奇数列编码单元为不透光状态，用于采集第一幅光场图像；控制所述数字微镜DMD芯片中的偶数行奇数列或奇数行偶数列编码单元为不透光状态，用于采集另一幅光场图像。
2.根据权利要求1所述的装置，其特征在于，所述微透镜阵列由多个平凸微透镜单元构成。
3.根据权利要求1所述的装置，其特征在于，所述传感器采用CMOS或CCD成像传感器。
4.根据权利要求1所述的装置，其特征在于，所述逻辑控制单元采用FPGA或ARM逻辑控制芯片。
5.根据权利要求1所述的装置，其特征在于，1个微透镜单元对应DMD芯片上的4个微镜片单元。
6.根据权利要求5所述的装置，其特征在于，所述4个微镜片单元的编码控制模式相同。
7.一种基于数字编码控制的光场成像方法，包括：
步骤1，逻辑控制单元对传感器完成初始化及参数设置；
步骤2，逻辑控制单元产生控制DMD芯片的二位脉冲宽度调变电子字符，对DMD微镜片单元的开关状态进行控制；
步骤3，逻辑控制单元控制传感器采集场景的光场图像1；
步骤4，逻辑控制单元采用与光场图像1互补的编码控制方案，重复以上步骤，进而采集该场景的光场图像2；
步骤5，将步骤3得到的光场图像1与步骤4得到的光场图像2进行融合形成最终的光场图像；
所述互补编码控制方案包括：
控制所述DMD芯片中与微透镜单元对应的奇数行偶数列或偶数行奇数列编码单元为不透光状态，用于采集第一幅光场图像；
控制所述DMD芯片中的偶数行奇数列或奇数行偶数列编码单元为不透光状态，用于采集另一幅光场图像。
8.根据权利要求7所述的方法，其特征在于，所述编码单元包括4个微镜片。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310123402.6A CN103237161B (zh) | 2013-04-10 | 2013-04-10 | 基于数字编码控制的光场成像装置及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310123402.6A CN103237161B (zh) | 2013-04-10 | 2013-04-10 | 基于数字编码控制的光场成像装置及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103237161A CN103237161A (zh) | 2013-08-07 |
| CN103237161B true CN103237161B (zh) | 2016-03-23 |
Family
ID=48885175
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310123402.6A Active CN103237161B (zh) | 2013-04-10 | 2013-04-10 | 基于数字编码控制的光场成像装置及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103237161B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3001672A1 (en) | 2014-09-25 | 2016-03-30 | Thomson Licensing | Plenoptic camera comprising a spatial light modulator |
| CN104469110B (zh) * | 2014-11-26 | 2017-07-21 | 西北工业大学 | 可变角度采样数的光场采集装置 |
| CN105158893B (zh) * | 2015-09-29 | 2017-09-15 | 南京理工大学 | 基于lcd液晶面板的可编程孔径显微镜系统的光场成像方法 |
| CN105357515B (zh) * | 2015-12-18 | 2017-05-03 | 天津中科智能识别产业技术研究院有限公司 | 一种基于结构光和光场成像的彩色深度成像方法及其装置 |
| CN105791646B (zh) * | 2016-03-16 | 2019-06-21 | 中国人民解放军国防科学技术大学 | 一种光场成像装置及其参数确定方法 |
| CN105974573B (zh) * | 2016-06-02 | 2018-06-12 | 苏州大学 | 一种基于微透镜阵列的光场光谱显微成像方法及系统 |
| CN105931190B (zh) * | 2016-06-14 | 2019-09-24 | 西北工业大学 | 高角度分辨率光场获取装置与图像生成方法 |
| CN112665720B (zh) * | 2020-12-29 | 2023-11-07 | 北京理工大学重庆创新中心 | 基于互补压缩编码的双通道可调谐高光谱成像仪和方法 |
| CN115190257A (zh) * | 2022-05-30 | 2022-10-14 | 元潼(北京)技术有限公司 | 用于元成像的cis系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101451890A (zh) * | 2008-12-18 | 2009-06-10 | 南京大学 | 一种三光波横向剪切干涉装置及提取差分相位的方法 |
| CN102680101A (zh) * | 2012-05-18 | 2012-09-19 | 南京理工大学 | 干涉光场成像高光谱全偏振探测装置 |
| CN102739945A (zh) * | 2012-05-24 | 2012-10-17 | 上海理工大学 | 光场成像装置及方法 |
| CN102833487A (zh) * | 2012-08-08 | 2012-12-19 | 中国科学院自动化研究所 | 面向视觉计算的光场成像装置和方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080219579A1 (en) * | 2007-03-05 | 2008-09-11 | Aksyuk Vladimir A | Methods and Apparatus for Compressed Imaging Using Modulation in Pupil Plane |
-
2013
- 2013-04-10 CN CN201310123402.6A patent/CN103237161B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101451890A (zh) * | 2008-12-18 | 2009-06-10 | 南京大学 | 一种三光波横向剪切干涉装置及提取差分相位的方法 |
| CN102680101A (zh) * | 2012-05-18 | 2012-09-19 | 南京理工大学 | 干涉光场成像高光谱全偏振探测装置 |
| CN102739945A (zh) * | 2012-05-24 | 2012-10-17 | 上海理工大学 | 光场成像装置及方法 |
| CN102833487A (zh) * | 2012-08-08 | 2012-12-19 | 中国科学院自动化研究所 | 面向视觉计算的光场成像装置和方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103237161A (zh) | 2013-08-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103237161B (zh) | 基于数字编码控制的光场成像装置及方法 | |
| JP4538766B2 (ja) | 撮像装置、表示装置および画像処理装置 | |
| CN102164298B (zh) | 全景成像系统中基于立体匹配的元素图像获取方法 | |
| CN105324984A (zh) | 用于生成多投影图像的方法和系统 | |
| US9979945B2 (en) | Systems, methods, and media for reconstructing a space-time volume from a coded image | |
| CN103973944A (zh) | 半球型全景成像装置及方法 | |
| Nava et al. | Simultaneous estimation of super-resolved depth and all-in-focus images from a plenoptic camera | |
| JP2014056466A (ja) | 画像処理装置及び方法 | |
| WO2016045425A1 (zh) | 一种两视点立体图像合成方法及系统 | |
| JP4928476B2 (ja) | 立体像生成装置、その方法およびそのプログラム | |
| JP2016537901A (ja) | ライトフィールド処理方法 | |
| WO2023207452A1 (zh) | 基于虚拟现实的视频生成方法、装置、设备及介质 | |
| CN107517346A (zh) | 基于结构光的拍照方法、装置及移动设备 | |
| CN110870304B (zh) | 向用户提供信息以观察多视图内容的方法和装置 | |
| Pei et al. | Three-dimensional light field fusion display system and coding scheme for extending depth of field | |
| CN103796002B (zh) | 基于正交投影的一维集成成像3d拍摄方法 | |
| TWI508554B (zh) | 基於光場相機的影像對焦處理方法及其系統 | |
| TWI781357B (zh) | 三維影像處理方法、攝影裝置及非暫態電腦可讀取儲存媒體 | |
| KR101790720B1 (ko) | 실 영상의 지형 렌더링을 이용한 집적 영상 생성 방법 및 이를 기록한 기록 매체 | |
| CN205647708U (zh) | 使用硬件电路对鱼眼镜头所成图像实时矫正和拼接的系统 | |
| CN109446945B (zh) | 三维模型处理方法和装置、电子设备、计算机可读存储介质 | |
| Goldlücke et al. | Plenoptic Cameras. | |
| CN105208373B (zh) | 一种基于光场压缩采样的通用集成成像记录装置 | |
| CN108961378A (zh) | 一种多目点云三维重建方法、装置及其设备 | |
| JP2014017543A (ja) | 画像処理装置およびその制御方法、並びにプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |