CN107995424B - 基于深度图的光场全聚焦图像生成方法 - Google Patents

基于深度图的光场全聚焦图像生成方法 Download PDF

Info

Publication number
CN107995424B
CN107995424B CN201711279812.4A CN201711279812A CN107995424B CN 107995424 B CN107995424 B CN 107995424B CN 201711279812 A CN201711279812 A CN 201711279812A CN 107995424 B CN107995424 B CN 107995424B
Authority
CN
China
Prior art keywords
image
light field
depth
full
focus image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711279812.4A
Other languages
English (en)
Other versions
CN107995424A (zh
Inventor
王安红
潘磊
武迎春
李东红
赵贤凌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taiyuan University of Science and Technology
Original Assignee
Taiyuan University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taiyuan University of Science and Technology filed Critical Taiyuan University of Science and Technology
Priority to CN201711279812.4A priority Critical patent/CN107995424B/zh
Publication of CN107995424A publication Critical patent/CN107995424A/zh
Application granted granted Critical
Publication of CN107995424B publication Critical patent/CN107995424B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera

Abstract

本发明基于深度图的光场全聚焦图像生成方法属于光场成像领域，解决了传统全聚焦图像生成时采用DCT、小波变换等算法实现多图像融合，存在块效应及边缘效应的问题，本发明采用光场相机获得的散焦图像来生成全聚焦图像，具体采用以下步骤：1)微透镜标定，2)4D光场获得，3)数字重聚焦，4)深度获取，5)全聚焦图像生成，本发明的优点是避免了传统全聚焦图像生成时融合算法的限制，能够准确地找出散焦图像的聚焦区域进行全聚焦图像生成，同时在应对块效应以及边缘效应上要优于小波变换与DCT变换。

Description

基于深度图的光场全聚焦图像生成方法
技术领域
本发明属于光场成像领域，特别是涉及一种基于深度图的光场全聚焦图像生成方法。
背景技术
传统相机由于受到景深的限制，一次拍摄中只能获得一张局部场景的聚焦照片，要想获得相机拍摄视眼里整个场景的全聚焦照片，必须逐步手动变焦获得不同深度层次的散焦照片，采用散焦法通过多图像融合得到全聚焦图像。散焦法生成全聚焦图像的方法主要分为两类：一类是在变换域进行尺度的变换，例如DCT变换、小波变换等。另一类则是利用空间像素进行全聚焦图像生成，例如主成成分分析法、加权平均法等。
光场成像技术兴起，打破了传统成像过程中先对焦后拍摄的模式，由此发展起来的光场相机可实现先拍摄后聚焦。该相机的显著特点是在普通相机的一次像面处加入微透镜阵列，每个微透镜记录的光线对应相同位置不同视角的场景图像。通过对光场相机拍摄的4D光场做空域积分投影或频域傅里叶切片即可得到重聚焦图像(散焦图像)。另外，通过光场计算得到的重聚焦图像或子孔径图像，还可获得场景的深度信息。针对光场相机的这些特点，本专利提出了基于深度的光场全聚焦图像生成方法。该方法避免了传统全聚焦图像生成时融合算法的限制，能够准确地找出散焦图像的聚焦区域进行全聚焦图像生成。
发明内容
本发明克服现有技术存在的不足，解决了传统全聚焦图像生成时，采用DCT、小波变换等算法实现多图像融合时，存在块效应及边缘效应问题，旨在提供一种基于深度图的光场全聚焦图像生成方法，本方法避免了传统全聚焦图像生成时融合算法的限制，能够准确地找出散焦图像的聚焦区域进行全聚焦图像生成。
为解决上述技术问题，本发明采用的技术方案为：
基于深度图的光场全聚焦图像生成方法，该全聚焦图像生成方法按照以下步骤进行：
步骤1)微透镜标定：
步骤2)4D光场获得：根据步骤1)中获得的微透镜中心坐标阵，设微透镜的个数为M×N，找出每个微透镜中心对应的有效成像区域P×P，对于一幅光场相机拍摄到的原图，每个微透镜的位置坐标记为(x,y)，P×P区域中每个像素的坐标记为(u，v)，因此光场原图中每一有效像素点均可由四维坐标(x,y,u,v,)确定，所有有效像素点的集合，构成4D光场LF(x,y,u,v)，其大小为M×N×P×P；
步骤3)数字重聚焦：对4D光场LF(x,y,u,v)做坐标基变换，并沿u,v方向做二重积分，即可获得重聚焦图像，具体公式如下：
Figure BDA0001497315240000021
式中，α为变焦步长，α取不同的值，即可得到不同的重聚焦图像；F为光场相机焦距；
步骤4)深度获取：设参与计算深度的散焦图像数目为J，根据α取值的大小，对散焦图进行排列，记每一幅散焦图为Iαj(x,y)，其中j(0≤j≤J-1)代表每一散焦图的排列层次，深度图的总级次等于参与运算的重聚焦图像的数目，深度图Depth(x,y)每一像素点(x,y)的深度级j(0≤j≤J-1)通过计算各层散焦图像中对应像素点的散焦响应最大得到，散焦响应的计算公式如下：
Figure BDA0001497315240000022
其中，WD是计算散焦响应的窗口大小，Δx,y是拉普拉斯算子；
步骤5)全聚焦图像生成：根据深度图分布，获得不同深度级次处的聚焦模板Maskj(x,y):
Figure BDA0001497315240000023
全聚焦图像通过以下公式计算得到：
Figure BDA0001497315240000024
所述步骤1)中微透镜标定的具体步骤如下：
1.用光场相机获取高曝光白图像，为了抑制噪声，多幅白图像求平均得到一幅均值白图像；
2.对均值白图像高斯滤波，进一步去噪；
3.利用峰值检测法找出滤波后白图像中每个微透镜的最亮点，即成像中心，给出M×N个微透镜中心的坐标阵。
本发明跟现有技术相比具有的有益效果为。
1、本发明的优点是避免了传统全聚焦图像生成时融合算法的限制，能够准确地找出散焦图像的聚焦区域进行全聚焦图像生成。
2、本发明在应对块效应以及边缘效应上要优于小波变换与DCT变换。
3、从各项图像评价指标上看，本发明的方法优于传统的全聚焦图像生成方法。
附图说明
下面结合附图对本发明做进一步详细的说明。
图1是本发明的系统实施框图；
图2中(a)原始白图像，(b)高斯滤波后的白图像；
图3中(a)标定前的白图像，(b)标定后的白图像。
图4是利用散焦的方法得到的深度图。
图5中(a)在第一深度层聚焦的散焦图像，(b)为对应聚焦区域提取。
图6中(a)在第二深度层聚焦的散焦图像，(b)为对应聚焦区域提取。
图7中(a)在第三深度层聚焦的散焦图像，(b)为对应聚焦区域提取。
图8中(a)在第四深度层聚焦的散焦图像，(b)为对应聚焦区域提取。
图9中(a)在第五深度层聚焦的散焦图像，(b)为对应聚焦区域提取。
图10中(a)在第六深度层聚焦的散焦图像，(b)为对应聚焦区域提取。
图11是最终生成的全聚焦图像。
图12是本发明方法与小波变换及DCT变换的全聚焦图像生成结果细节对比图。
具体实施方式
为使本发明的目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。
为了更好的理解本发明，下面先对基于深度图的光场全聚焦图像生成原理进行简单的描述。
如图1所示，全聚焦图像生成的基本思想是：寻找不同散焦图像的聚焦区域，将不同的聚焦区域拼接融合，获得全聚焦图像。本专利采用光场相机获得的散焦图像来生成全聚焦图像，关键技术在于结合了光场相机可以计算深度的优点，根据深度图确定每幅散焦图像的聚焦区域。
下面具体介绍本专利的图像生成方法：
步骤1)微透镜标定：光场相机获取的原始光场数据是微透镜后传感器对空间光线的记录，该数据是二维数据(s，t)，要想从该数据中解码得到4D光场，需要确定光线的位置信息(x,y)和方向信息(u，v)，而光线位置、方向信息的确定以微投影标定(确定原始光场照片中每一个微透镜的成像中心)为基础。微透镜标定具体步骤如下：
1.用光场相机获取高曝光白图像，为了抑制噪声，多幅白图像求平均得到一幅均值白图像；
2.对均值白图像高斯滤波，进一步去噪；
3.利用峰值检测法找出滤波后白图像中每个微透镜的最亮点，即成像中心，给出M×N个微透镜中心的坐标阵。
步骤2)4D光场获得：根据步骤1)中获得的微透镜中心坐标阵，设微透镜的个数为M×N，找出每个微透镜中心对应的有效成像区域P×P，对于一幅光场相机拍摄到的原图，每个微透镜的位置坐标记为(x,y)，P×P区域中每个像素的坐标记为(u，v)，因此光场原图中每一有效像素点均可由四维坐标(x,y,u,v,)确定，所有有效像素点的集合，构成4D光场LF(x,y,u,v)，其大小为M×N×P×P；
步骤3)数字重聚焦：对4D光场LF(x,y,u,v)做坐标基变换，并沿u,v方向做二重积分，即可获得重聚焦图像，具体公式如下：
Figure BDA0001497315240000041
式中，α为变焦步长，α取不同的值，即可得到不同的重聚焦图像；F为光场相机焦距；
步骤4)深度获取：设参与计算深度的散焦图像数目为J，根据α取值的大小，对散焦图进行排列，记每一幅散焦图为Iαj(x,y)，其中j(0≤j≤J-1)代表每一散焦图的排列层次，深度图的总级次等于参与运算的重聚焦图像的数目，深度图Depth(x,y)每一像素点(x,y)的深度级j(0≤j≤J-1)通过计算各层散焦图像中对应像素点的散焦响应最大得到，散焦响应的计算公式如下：
Figure BDA0001497315240000042
其中，WD是计算散焦响应的窗口大小，Δx,y是拉普拉斯算子；
步骤5)全聚焦图像生成：根据深度图分布，获得不同深度级次处的聚焦模板Maskj(x,y):
Figure BDA0001497315240000043
全聚焦图像通过以下公式计算得到：
Figure BDA0001497315240000044
为了验证本专利基于深度图的光场全聚焦图像生成方法的实际效果，如图2所示，其中(a)为原始白图像，(b)为高斯滤波后的白图像。然后对图像进行微透镜标定，如图3所示，(a)标定前的白图像，(b)标定后的白图像。按照本专利的方法进行深度获取，如图4所示，图5-图10是每幅散焦图像的具体聚焦区域的提取示意图。图11是根据本专利方法获得的全聚焦图像。
图12是本专利方法与小波变换及DCT变换全聚焦图像生成结果细节对比图。分别从花、琴、叶三个细节进行了对比。
下面是本专利与小波变换及DCT变换的图像评价指标对比表。
Figure BDA0001497315240000051
(a)花的实验数据对比
Figure BDA0001497315240000052
(b)琴的实验数据对比
Figure BDA0001497315240000053
(c)叶的实验数据对比
从上表中可以看到，本发明的方法优于小波变换和DCT变换的全聚焦图像生成方法。
上面结合附图对本发明的实施例作了详细说明，但是本发明并不限于上述实施例，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (2)

1.基于深度图的光场全聚焦图像生成方法，其特征在于，该全聚焦图像生成方法按照以下步骤进行：
步骤1)微透镜标定；
步骤2)4D光场获得：根据步骤1)中获得的微透镜中心坐标阵，找出每个微透镜中心对应的有效成像区域P×P，对于一幅光场相机拍摄到的原图，每个微透镜的位置坐标记为(x,y)，P×P区域中每个像素的坐标记为(u，v)，因此光场原图中每一有效像素点均可由四维坐标(x,y,u,v,)确定，所有有效像素点的集合，构成4D光场LF(x,y,u,v)，其大小为M×N×P×P；
步骤3)数字重聚焦：对4D光场LF(x,y,u,v)做坐标基变换，并沿u,v方向做二重积分，即可获得重聚焦图像，具体公式如下：
Figure FDA0002452327160000011
式中，α为变焦步长，α取不同的值，即可得到不同的重聚焦图像；F为光场相机焦距；
步骤4)深度获取：设参与计算深度的散焦图像数目为J，根据α取值的大小，对散焦图进行排列，记每一幅散焦图为Iαj(x,y)，其中j(0≤j≤J-1)代表每一散焦图的排列层次，深度图的总级次等于参与运算的重聚焦图像的数目，深度图Depth(x,y)每一像素点(x,y)的深度级j(0≤j≤J-1)通过计算各层散焦图像中对应像素点的散焦响应最大得到，散焦响应的计算公式如下：
Figure FDA0002452327160000012
其中，WD是就算相位的窗口大小，Δx,y是拉普拉斯算子；
步骤5)全聚焦图像生成：根据深度图分布，获得不同深度级次处的聚焦模板Maskj(x,y):
Figure FDA0002452327160000013
全聚焦图像通过以下公式计算得到：
Figure FDA0002452327160000014
2.根据权利要求1所述的基于深度图的光场全聚焦图像生成方法，其特征在于，所述步骤1)中微透镜标定的具体步骤如下：
a、用光场相机获取高曝光白图像，为了抑制噪声，多幅白图像求平均得到一幅均值白图像；
b、对均值白图像高斯滤波，进一步去噪；
c、利用峰值检测法找出滤波后白图像中每个微透镜的最亮点，即成像中心，给出M×N个微透镜中心的坐标阵。
CN201711279812.4A 2017-12-06 2017-12-06 基于深度图的光场全聚焦图像生成方法 Active CN107995424B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711279812.4A CN107995424B (zh) 2017-12-06 2017-12-06 基于深度图的光场全聚焦图像生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711279812.4A CN107995424B (zh) 2017-12-06 2017-12-06 基于深度图的光场全聚焦图像生成方法

Publications (2)

Publication Number Publication Date
CN107995424A CN107995424A (zh) 2018-05-04
CN107995424B true CN107995424B (zh) 2020-06-16

Family

ID=62036290

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711279812.4A Active CN107995424B (zh) 2017-12-06 2017-12-06 基于深度图的光场全聚焦图像生成方法

Country Status (1)

Country Link
CN (1) CN107995424B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108540701A (zh) * 2018-05-25 2018-09-14 北京理工大学深圳研究院 一种基于微透镜阵列混合式光场相机装置
WO2020047692A1 (en) * 2018-09-03 2020-03-12 Carestream Dental Technology Shanghai Co., Ltd. 3-d intraoral scanner using light field imaging
CN109360212B (zh) * 2018-11-02 2023-05-09 太原科技大学 一种可抑制重采样误差的频域光场数字重聚焦算法
CN110012196A (zh) * 2019-02-22 2019-07-12 华中光电技术研究所（中国船舶重工集团有限公司第七一七研究所） 一种光场相机重聚焦方法
CN110246172A (zh) * 2019-06-18 2019-09-17 首都师范大学 一种两种深度线索融合的光场全聚焦图像提取方法及系统
CN111679337B (zh) * 2019-10-15 2022-06-10 上海大学 一种水下主动激光扫描成像系统中散射背景抑制方法
CN110827343B (zh) * 2019-11-06 2024-01-26 太原科技大学 基于能量增强散焦响应的改进光场深度估计方法
CN111145134B (zh) * 2019-12-24 2022-04-19 太原科技大学 基于块效应的微透镜光场相机全聚焦图像生成算法
CN111238403A (zh) * 2020-01-18 2020-06-05 武汉盛信鸿通科技有限公司 一种基于光场子孔径条纹图像的三维重建方法及装置
CN113063804B (zh) * 2021-03-16 2022-07-15 太原科技大学 一种基于图像处理的热切机视觉系统自动定位方法
CN113163117A (zh) * 2021-04-20 2021-07-23 电子科技大学 一种光场相机的重聚焦方法
CN113012174B (zh) * 2021-04-26 2024-02-09 中国科学院苏州生物医学工程技术研究所 一种图像融合方法、系统及设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102663721A (zh) * 2012-04-01 2012-09-12 清华大学 动态场景的散焦深度估计和全聚焦图像获取方法
CN104036481A (zh) * 2014-06-26 2014-09-10 武汉大学 一种基于深度信息提取的多聚焦图像融合方法
CN106257454A (zh) * 2015-06-17 2016-12-28 汤姆逊许可公司 用于在光场数据库中进行数据检索的方法和装置
CN106454116A (zh) * 2016-11-18 2017-02-22 成都微晶景泰科技有限公司 自动全焦成像方法及装置
WO2017037978A1 (ja) * 2015-08-31 2017-03-09 ソニー株式会社 検出装置、検出方法、検出プログラムおよび撮像装置
CN107093194A (zh) * 2017-03-22 2017-08-25 清华大学 一种子孔径图像采集方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010065344A1 (en) * 2008-11-25 2010-06-10 Refocus Imaging, Inc. System of and method for video refocusing

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102663721A (zh) * 2012-04-01 2012-09-12 清华大学 动态场景的散焦深度估计和全聚焦图像获取方法
CN104036481A (zh) * 2014-06-26 2014-09-10 武汉大学 一种基于深度信息提取的多聚焦图像融合方法
CN106257454A (zh) * 2015-06-17 2016-12-28 汤姆逊许可公司 用于在光场数据库中进行数据检索的方法和装置
WO2017037978A1 (ja) * 2015-08-31 2017-03-09 ソニー株式会社 検出装置、検出方法、検出プログラムおよび撮像装置
CN106454116A (zh) * 2016-11-18 2017-02-22 成都微晶景泰科技有限公司 自动全焦成像方法及装置
CN107093194A (zh) * 2017-03-22 2017-08-25 清华大学 一种子孔径图像采集方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于Lytro光场相机的数字重聚焦研究;潘磊等;《太原科技大学学报》;20171031(第05期);第364-368页 *

Also Published As

Publication number Publication date
CN107995424A (zh) 2018-05-04

Similar Documents

Publication Publication Date Title
CN107995424B (zh) 基于深度图的光场全聚焦图像生成方法
TWI510086B (zh) 數位重對焦方法
US8432479B2 (en) Range measurement using a zoom camera
US9253377B2 (en) Image processing device and image processing system where de-mosaic image is generated based on shift amount estimation of pixels of captured images
WO2016184099A1 (zh) 基于光场数据分布的深度估计方法
KR20110078175A (ko) 영상 데이터 생성 방법 및 장치
Kim et al. Multifocusing and depth estimation using a color shift model-based computational camera
JP2014103475A (ja) 画像処理方法、画像処理プログラム、画像処理装置および撮像装置
JP2009239908A (ja) マルチフレーム再構築を行う方法、システム及びソフトウエア
US20120113227A1 (en) Apparatus and method for generating a fully focused image by using a camera equipped with a multi-color filter aperture
TW201044856A (en) Image restoration method and apparatus
JP2013531268A (ja) 符号化開口を使用した距離の測定
JP2014138290A (ja) 撮像装置及び撮像方法
JP2013026844A (ja) 画像生成方法及び装置、プログラム、記録媒体、並びに電子カメラ
CN109064505A (zh) 一种基于滑动窗口张量提取的深度估计方法
CN107209061B (zh) 用于确定场景相关电磁场的复振幅的方法
CN106888344B (zh) 摄像模组及其像面倾斜的获取方法和调整方法
JP7156624B2 (ja) デプスマップフィルタ処理装置、デプスマップフィルタ処理方法及びプログラム
KR20160004912A (ko) 영상 획득 및 동시의 깊이 추출을 위한 장치 및 방법
Cao et al. Digital multi-focusing from a single photograph taken with an uncalibrated conventional camera
JP6624785B2 (ja) 画像処理方法、画像処理装置、撮像装置、プログラム、および、記憶媒体
JP6976754B2 (ja) 画像処理装置および画像処理方法、撮像装置、プログラム
JP6395429B2 (ja) 画像処理装置、その制御方法及び記憶媒体
JP6578960B2 (ja) 撮像装置、撮像方法、撮像プログラム、およびその撮像プログラムを記録した記録媒体
TWI805282B (zh) 使用焦點資訊深度估計的方法和裝置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant