CN108540701A - 一种基于微透镜阵列混合式光场相机装置 - Google Patents

一种基于微透镜阵列混合式光场相机装置 Download PDF

Info

Publication number
CN108540701A
CN108540701A CN201810516450.4A CN201810516450A CN108540701A CN 108540701 A CN108540701 A CN 108540701A CN 201810516450 A CN201810516450 A CN 201810516450A CN 108540701 A CN108540701 A CN 108540701A
Authority
CN
China
Prior art keywords
image
sensor
microlens array
light
optical system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810516450.4A
Other languages
English (en)
Inventor
程灏波
陈欣
冯云鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Research Institute Beijing Institute Of Technology
Original Assignee
Shenzhen Research Institute Beijing Institute Of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Research Institute Beijing Institute Of Technology filed Critical Shenzhen Research Institute Beijing Institute Of Technology
Priority to CN201810516450.4A priority Critical patent/CN108540701A/zh
Publication of CN108540701A publication Critical patent/CN108540701A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B15/00—Optical objectives with means for varying the magnification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio

Abstract

本发明公开了一种基于微透镜阵列混合式光场相机装置，包括前置光学系统、光场传感器、主处理器电路板和变焦控制传感器；其中前置光学系统由两个或两个以上的透镜组和光阑组成的光学变焦镜头；光场传感器由微透镜阵列和电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)传感器组成。首先通过变焦控制传感器来改变前置光学系统的焦距，分别获取非聚焦和聚焦两种成像模式下的深度图像；再通过主处理器电路板对两种成像模式下得到的图像进行处理，最终得到高分辨、大景深的图像。

Description

一种基于微透镜阵列混合式光场相机装置
技术领域
本发明属于计算光学成像技术领域，具体涉及一种基于微透镜阵列混合式光场相机装置。
背景技术
传统相机的二维图片是对三维场景的映射，图像上每一点是对该点光线半球的积分，因而丢失了光线的方向信息。与之相对的，光场成像技术不仅记录空间位置的亮度，而且可以分辨光线的方向。依据光场信息可以实现重聚焦，视点变换，深度估计等多项应用。
1996年，还在斯坦佛攻读博士学位的Ren Ng和Marc Levoy首次制作出以Contax645为原型，在成像像素面前配置微镜头，通过致密的框体集中光线，改装而成的光场相机。2011年10月20日，Lytro公司正式发布了世界首款消费级光场相机，通过光场技术让人们可以拥有事后对焦的可能。但这种相机的空间分辨率较低，得到的像质不高。针对前代产品出现的画质问题，2014年7月，Lytro公司又发布了一款性能更强大的二代产品Illum，LytroIllum采用4000万像素镜头和f/2.0大光圈来提升照片质量，同时还配备大量实体按键来改善相机的易用性，但空间分辨率依然受限于微透镜阵列中透镜的个数。Lumsdaine在传统光场相机的基础上提出了聚焦型光场相机的设计，探测器平面不再处于微透镜阵列的焦平面上。虽然这种方法相对于传统的光场相机能够获得更高的空间分辨率，但是以牺牲其角度分辨率作为代价的。
发明内容
针对现有的光场相机的空间分辨率和角度分辨率之间的矛盾，本发明旨在提供一种基于微透镜阵列混合式光场相机装置，结构紧凑，易于携带，可以在现有的光场相机的基础上获得同时具有高空间分辨率和高角度分辨率的物体图像。
实现本发明目的的技术方案为：一种基于微透镜阵列混合式光场相机装置，包括前置光学系统、光场传感器、主处理器电路板和变焦控制传感器；所述的前置光学系统由两个或两个以上的透镜组和光阑组成的光学变焦镜头，该光学变焦镜头的类型可以是负-负型、负-正型或正-负-正型；通过变焦控制传感器来改变光学变焦镜头的焦距，实现非聚焦成像模式和聚焦成像模式的切换；所述的光场传感器由微透镜阵列和电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)传感器组成，其中，微透镜阵列包括阵列排布的多个微透镜单元，每个所述微透镜单元对应电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)传感器上的多个感光单元。
工作原理描述如下：
前置光学系统对目标进行成像，电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)传感器作为感光元件。
首先，通过变焦控制传感器调节前置光学系统的焦距，使微透镜阵列位于前置光学系统的焦平面上，电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)传感器在微透镜阵列中的单个微透镜的一倍焦距处。此时，光场相机工作在非聚焦成像模式下，能够将光线的二维角度信息阵列式保存在一个更大的二维矩阵中，每个二维角度矩阵单元表示具有相同位置信息但角度信息不同的光线。通过在非聚焦模式下对子孔径图像进行移位和相加或者通过傅里叶切片技术在傅里叶域中进行计算来重新聚焦得到一组不同的深度图像。
其次，通过变焦控制传感器调节前置光学系统的焦距，将微透镜阵列作为中继透镜，将前置光学系统的实像在电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)传感器上二次成像。此时，光场相机处于聚焦成像模式下，这一形式是对光线二维位置信息的阵列式保存，而非二维角度信息，在更大二维矩阵中的每个二维位置矩阵单元具有不同的方向信息。在聚焦模式下，通过选择不同斑块尺寸并将相同的空间点进行平均来重新聚焦得到另一组不同的深度图像。
最后，为在两种模式下得到的所有深度重聚焦的图像分别创建一个深度图像堆栈，并对由非聚焦模式下得到的深度图像堆栈进行尺度变换。再通过一些算法(如数字合成照片技术)对全焦点图像进行计算，从不同深度聚焦的一组图像扩展景深。通过对最终的图像进行优化，从而得到高分辨、大景深的图像。由于在非聚焦模式下计算得到的图像分辨率低于最终重构图像的分辨率，因此，我们先采用超分辨处理技术对每个子孔径图像进行处理得到较高的空间分辨率。
与现有技术相比，本发明的有益效果是：
本发明涉及的是一种基于微透镜阵列混合式光场相机装置，该装置结合计算机技术与精密光机电技术，将非聚焦和聚焦两种成像模式集成到同一款光场相机中，通过对在两种模式下获得的光场数据进行特殊处理，最终能够得到高分辨、大景深的图像。
附图说明
为了更清楚地说明本发明实施例中的技术方案，将对实施例或现有技术描述中所需使用的附图作简单介绍。显而易见，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
图1示出了本发明一种基于微透镜阵列混合式光场相机装置的结构示意图。
图2示出了本发明一种基于微透镜阵列混合式光场相机装置的非聚焦成像模式示意图。
图3示出了本发明一种基于微透镜阵列混合式光场相机装置的聚焦成像模式示意图。
图4示出了本发明一种基于微透镜阵列混合式光场相机装置的数据处理流程示意图。
附图标记说明：
1-前置光学系统；2-光场传感器；3-主处理器电路板；4-变焦控制传感器；5-微透镜阵列；6-电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)传感器。
具体实施方式
下面结合附图及具体实施方式对本发明作进一步详细介绍。应当说明的是，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
结合图1，本发明一种基于微透镜阵列混合式光场相机装置，包括前置光学系统1、光场传感器2、主处理器电路板3和变焦控制传感器4。其中，通过变焦控制传感器4对前置光学系统1进行调焦，来实现非聚焦成像模式和聚焦成像模式的切换。
所述的前置光学系统1由两个或者两个以上的透镜组和光阑构成的光学变焦镜头，该光学变焦镜头的类型可以是负-负型、负-正型或正-负-正型；所述的光场传感器2由微透镜阵列5和电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)传感器6组成，其中，微透镜阵列包括阵列排布的多个微透镜单元，每个所述微透镜单元对应电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)传感器上的多个感光单元。
结合图2，为本发明一种基于微透镜阵列混合式光场相机装置非聚焦模式成像示意图。通过变焦控制传感器4对前置光学系统1进行调焦，使微透镜阵列5位于前置光学系统1的焦平面上，电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)传感器6在微透镜阵列5中单个微透镜的一倍焦距处。此时，这种工作模式是将光线的二维角度信息阵列式保存在一个更大的二维矩阵中，每个二维角度矩阵单元表示具有相同位置信息但角度信息不同的光线。通过在非聚焦模式下对子孔径图像进行移位和相加或者通过傅里叶切片技术在傅里叶域中进行计算来重新聚焦得到不同的深度图像。
结合图3，为本发明一种基于微透镜阵列混合式光场相机装置聚焦模式成像示意图。仍通过变焦控制传感器4对前置光学系统1进行调焦，将微透镜阵列5作为中继透镜，将前置光学系统1的实像在CCD或CMOS传感器6上进行二次成像。此时，这一工作模式是对光线二维位置信息的阵列式保存，而非二维角度信息，在更大二维矩阵中的每个二维位置矩阵单元具有不同的方向信息。在聚焦模式下，通过选择不同斑块尺寸并将相同的空间点进行平均来重建不同的深度图像。
结合图4，为本发明一种基于微透镜阵列混合式光场相机装置的数据处理流程示意图。由于在非聚焦模式下计算得到的图像分辨率低于最终重构图像的分辨率，因此，我们首先对每个子孔径图像采用超分辨处理技术得到较高的空间分辨率。其次，对在非聚焦和聚焦两种模式下得到的不同的深度重聚焦图像分别创建一个深度图像堆栈，并对非聚焦模式下的深度图像堆栈进行尺度变换。然后，通过一些算法(如数字合成照片技术)对全焦点图像进行计算，从不同深度重聚焦的一组图像中扩展景深。最后对图像进行优化，得到高分辨，大景深的图像。

Claims (3)

1.一种基于微透镜阵列混合式光场相机装置，其特征在于包括前置光学系统(1)、光场传感器(2)、主处理器电路板(3)和变焦控制传感器(4)。其中，所述的光场传感器(2)由微透镜阵列(5)和电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)传感器(6)组成。工作原理如下：
首先，通过变焦控制传感器(4)调节前置光学系统(1)的焦距，使微透镜阵列(5)位于前置光学系统(1)的焦平面上，电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)传感器(6)在微透镜阵列中单个微透镜的一倍焦距处。此时，光场相机工作在非聚焦成像模式下，对子孔径图像进行移位和相加或者通过傅里叶切片技术在傅里叶域中进行计算来重新聚焦得到一组不同的深度图像。
其次，通过变焦控制传感器(4)调节前置光学系统(1)的焦距，将微透镜阵列(5)作为中继透镜，将前置光学系统(1)的实像在电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)传感器(6)上二次成像。此时，光场相机处于聚焦成像模式下，通过选择不同斑块尺寸并将相同的空间点进行平均来重新聚焦得到另一组不同的深度图像。
最后，分别为在上述两种模式下得到的所有深度重聚焦的图像创建一个深度图像堆栈，通过一些算法(如数字合成照片技术)对全焦点图像进行计算，从不同深度聚焦的一组图像扩展景深。并对最终的图像进行优化，从而得到高分辨、大景深的图像。
2.根据权利要求1所述的一种基于微透镜阵列混合式光场相机装置，其特征在于所述的前置光学系统(1)是由两个或两个以上的透镜组和光阑组成的光学变焦镜头，该光学变焦镜头的类型可以是负-负型、负-正型或正-负-正型。
3.根据权利要求1所述的一种基于微透镜阵列混合式光场相机装置，其特征在于其中，微透镜阵列(5)包括阵列排布的多个微透镜单元，每个所述微透镜单元对应电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)传感器(6)上的多个感光单元。
CN201810516450.4A 2018-05-25 2018-05-25 一种基于微透镜阵列混合式光场相机装置 Pending CN108540701A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810516450.4A CN108540701A (zh) 2018-05-25 2018-05-25 一种基于微透镜阵列混合式光场相机装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810516450.4A CN108540701A (zh) 2018-05-25 2018-05-25 一种基于微透镜阵列混合式光场相机装置

Publications (1)

Publication Number Publication Date
CN108540701A true CN108540701A (zh) 2018-09-14

Family

ID=63471909

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810516450.4A Pending CN108540701A (zh) 2018-05-25 2018-05-25 一种基于微透镜阵列混合式光场相机装置

Country Status (1)

Country Link
CN (1) CN108540701A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109525756A (zh) * 2018-11-02 2019-03-26 北京理工大学 一种恢复小凹光学系统所成像的黑边信息的系统
CN110505379A (zh) * 2019-08-09 2019-11-26 中国科学院光电技术研究所 一种高分辨率光场成像系统和方法
CN110764249A (zh) * 2019-10-29 2020-02-07 Oppo广东移动通信有限公司 图像传感器、摄像模组及终端设备
CN113093343A (zh) * 2021-04-20 2021-07-09 电子科技大学 一种微透镜阵列与二维成像器件高精度耦合装置及方法
CN113892255A (zh) * 2019-03-18 2022-01-04 康宁股份有限公司 使用液体透镜、嵌入式数字信号处理器和软件的增强成像设备
CN115174789A (zh) * 2022-07-04 2022-10-11 上海乂义实业有限公司 一种基于微动平台的微透镜阵列聚焦型光场相机
CN115314619A (zh) * 2022-08-04 2022-11-08 上海乂义实业有限公司 一种基于微扫描技术的微透镜阵列非聚焦型光场相机

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102739945A (zh) * 2012-05-24 2012-10-17 上海理工大学 光场成像装置及方法
US20140044420A1 (en) * 2012-08-13 2014-02-13 Canon Kabushiki Kaisha Image processing apparatus, control method for same, and program
CN104539832A (zh) * 2014-12-31 2015-04-22 上海理工大学 混合式光场成像系统
CN107995424A (zh) * 2017-12-06 2018-05-04 太原科技大学 基于深度图的光场全聚焦图像生成方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102739945A (zh) * 2012-05-24 2012-10-17 上海理工大学 光场成像装置及方法
US20140044420A1 (en) * 2012-08-13 2014-02-13 Canon Kabushiki Kaisha Image processing apparatus, control method for same, and program
CN104539832A (zh) * 2014-12-31 2015-04-22 上海理工大学 混合式光场成像系统
CN107995424A (zh) * 2017-12-06 2018-05-04 太原科技大学 基于深度图的光场全聚焦图像生成方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张薇等: "混合式光场相机在聚焦与非聚焦模式下的超分辨重聚焦仿真（英文）", 《红外与激光工程》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109525756A (zh) * 2018-11-02 2019-03-26 北京理工大学 一种恢复小凹光学系统所成像的黑边信息的系统
CN113892255A (zh) * 2019-03-18 2022-01-04 康宁股份有限公司 使用液体透镜、嵌入式数字信号处理器和软件的增强成像设备
CN110505379A (zh) * 2019-08-09 2019-11-26 中国科学院光电技术研究所 一种高分辨率光场成像系统和方法
CN110505379B (zh) * 2019-08-09 2021-06-01 中国科学院光电技术研究所 一种高分辨率光场成像方法
CN110764249A (zh) * 2019-10-29 2020-02-07 Oppo广东移动通信有限公司 图像传感器、摄像模组及终端设备
CN110764249B (zh) * 2019-10-29 2022-05-17 Oppo广东移动通信有限公司 图像传感器、摄像模组及终端设备
CN113093343A (zh) * 2021-04-20 2021-07-09 电子科技大学 一种微透镜阵列与二维成像器件高精度耦合装置及方法
CN115174789A (zh) * 2022-07-04 2022-10-11 上海乂义实业有限公司 一种基于微动平台的微透镜阵列聚焦型光场相机
CN115314619A (zh) * 2022-08-04 2022-11-08 上海乂义实业有限公司 一种基于微扫描技术的微透镜阵列非聚焦型光场相机

Similar Documents

Publication Publication Date Title
CN108540701A (zh) 一种基于微透镜阵列混合式光场相机装置
CN104539832B (zh) 混合式光场成像系统
JP4981124B2 (ja) 改良型プレノプティック・カメラ
CN109246339B (zh) 用于对对象或场景进行成像的双孔径数字摄影机
JP2008294741A (ja) 撮像システム
US9535193B2 (en) Image processing apparatus, image processing method, and storage medium
JP2007158825A (ja) 画像入力装置
US20170264843A1 (en) Light field capture control methods and apparatuses, light field capture devices
JP2016038414A (ja) 焦点検出装置およびその制御方法、並びに撮像装置
JP5446834B2 (ja) 撮像装置および撮像方法
CN107431755B (zh) 图像处理设备、摄像设备、图像处理方法和存储介质
JP6381266B2 (ja) 撮像装置、制御装置、制御方法、プログラム、および、記憶媒体
CN108805921B (zh) 图像获取系统及方法
CN114424516A (zh) 图像处理装置、图像处理方法、摄像装置和程序
JP6544978B2 (ja) 画像出力装置およびその制御方法、撮像装置、プログラム
JP2017220724A (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP2017158018A (ja) 画像処理装置およびその制御方法、撮像装置
EP3224805B1 (en) Method and apparatus for estimating depth of unfocused plenoptic data
CN105826341B (zh) 一种可寻址层析视场的液晶基成像探测芯片
JP6254843B2 (ja) 画像処理装置およびその制御方法
US20140354777A1 (en) Apparatus and method for obtaining spatial information using active array lens
CN213661766U (zh) 图像传感器、镜头模组及电子设备
JP6600217B2 (ja) 画像処理装置および画像処理方法、撮像装置およびその制御方法
JP2015210285A (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP2020171050A (ja) 画像処理装置、撮像装置、画像処理方法、および、記憶媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180914

WD01 Invention patent application deemed withdrawn after publication