CN113163117A - 一种光场相机的重聚焦方法 - Google Patents

一种光场相机的重聚焦方法 Download PDF

Info

Publication number
CN113163117A
CN113163117A CN202110425404.5A CN202110425404A CN113163117A CN 113163117 A CN113163117 A CN 113163117A CN 202110425404 A CN202110425404 A CN 202110425404A CN 113163117 A CN113163117 A CN 113163117A
Authority
CN
China
Prior art keywords
sub
image
numbered
aperture
light field
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110425404.5A
Other languages
English (en)
Inventor
刘子骥
郭任豪
方磊
李冠廷
黄剑雄
贺瑛攀
梁志清
郑兴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202110425404.5A priority Critical patent/CN113163117A/zh
Publication of CN113163117A publication Critical patent/CN113163117A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种光场相机的重聚焦方法，包括以下步骤：S1、使用光场相机拍摄图像获得光场图像；S2、标定及校正光场图像，获取光场图像的子孔径图像；S3、对子孔径图像进行编号得到编号完成的子孔径图像；所述编号完成的子孔径图像包括编号完成的中心孔径图像和编号完成的非中心孔径图像；S4、将编号完成的非中心孔径图像转换到频域并在频域上进行位移，得到位移后的频域子孔径图像；S5、将位移后的频域子孔径图像转换到空间域得到位移后的空间域子孔径图像；S6、将位移后的空间域子孔径图像与未位移的中心孔径图像一起求和再求平均获得重聚焦图。本发明利用傅里叶频移定理得到聚焦后的子孔径图像，最终通过这一系列子孔径图像来获得重聚焦图。

Description

一种光场相机的重聚焦方法
技术领域
本发明涉及光场相机应用领域，具体涉及一种光场相机的重聚焦方法。
背景技术
光场相机作为一种记录光场来实现被动式三维立体成像的设备，有着广泛的民用与军事领域应用前景。相比于传统成像“所见即所得”的探测形式，光场相机获取的是光辐射的完整分布，也就可以通过变换和积分等数据处理的手段来计算出所需的图像。光场相机最主要的特点就是数字聚焦，但目前的重聚焦方法都要用到插值方法，因此切片的效果不是很好。
发明内容
本发明所要解决的技术问题是目前的光场相机重聚焦方法都要用到插值方法，切片效果不好的问题，目的在于提供一种光场相机的重聚焦方法，无需用到插值，也能获得更好的切片效果。
本发明通过下述技术方案实现：
一种光场相机的重聚焦方法，包括以下步骤：
S1、使用光场相机拍摄图像获得光场图像；
S2、标定及校正光场图像，获取光场图像的子孔径图像；
S3、对子孔径图像进行编号得到编号完成的子孔径图像；所述编号完成的子孔径图像包括编号完成的中心孔径图像和编号完成的非中心孔径图像；
S4、将编号完成的非中心孔径图像转换到频域并在频域上进行位移，得到位移后的频域子孔径图像；
S5、将位移后的频域子孔径图像转换到空间域得到位移后的空间域子孔径图像；
S6、将位移后的空间域子孔径图像与未位移的中心孔径图像一起求和再求平均获得重聚焦图。
本发明的原理是：对于标定及校正后的光场相机拍摄的光场图像，取出该光场图像对应的子孔径图像，然后对子孔径图像编号得到编号完成的子孔径图像，编号完成的子孔径图像包括编号完成的中心孔径图像和编号完成的非中心孔径图像，保持编号完成的中心孔径图像固定不变，将编号完成的非中心孔径图像依次在频域上以一定步长移动一小段位移，最后将所有编号完成的非中心孔径图像中相同位置的像素值求和再求平均，获得最后的重聚焦图。
进一步地，通过提取指定位置的像素点重排为子孔径图像，子孔径图像的数量由宏像素覆盖的像素点数量决定，子孔径图像的分辨率由宏像素数量决定。
光线通过主透镜的子孔径后穿过所有微透镜，在每个宏像素块中形成一个像素点，该像素点在宏像素块中的相对位置是一样的，可以通过提取指定位置的像素点重排为子孔径图像，其数量由宏像素覆盖的像素点数量决定，其分辨率由宏像素数量决定。
进一步地，对于S3中编号完成的子孔径图像，对编号完成的中心孔径图像不进行任何操作，只对编号完成的非中心孔径图像进行频域上的位移。
进一步地，所述编号完成的子孔径图像的编号为(i，j)；所述编号完成的子孔径图像用公式表示为：fi,j(x,y)，编号完成的非中心孔径图像利用下式转换到频域：
Figure BDA0003029508720000021
其中M,N表示图像大小，u,v为离散变量。
进一步地，所述位移后的频域子孔径图像移动位移记为Δx(i,j)和Δy(i,j)，应满足：
Δx(i,j)＝k(i-ic)
Δy(i,j)＝k(j-jc)
其中，Δx(i,j)和Δy(i,j)分别表示位移后的频域子孔径图像x方向和y方向上的位移量，k表示最小位移单元，ic和jc为编号完成的中心孔径图像的编号。
进一步地，编号为(i，j)的编号完成的非中心孔径图像fi,j(x,y)利用下式将空间域的位移转化到频域中：
Figure BDA0003029508720000022
其中M,N表示图像大小，u,v为离散变量，Δx，Δy，分别表示位移后的频域子孔径图像x方向和y方向上的位移量。
进一步地，编号为(i，j)的编号完成的非中心孔径图像fi,j(x,y)利用下式转换到空间域中：
Figure BDA0003029508720000023
其中M,N表示图像大小，u,v为离散变量。
本发明与现有技术相比，具有如下的优点和有益效果：
本发明一种光场相机的重聚焦方法，没有用到插值，而是利用傅里叶频移定理得到聚焦后的子孔径图像，最终通过这一系列子孔径图像来获得重聚焦图，本发明可以获得更好的切片效果。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：
图1为本发明流程图；
图2为本发明实施例方法中光场相机光学结构的示意图；
图3为本发明实施例方法中子孔径图像的示意图；
图4为本发明实施例方法中重聚焦的示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
实施例
一种光场相机的重聚焦方法，包括以下步骤：
S1、使用光场相机拍摄图像获得光场图像；
S2、标定及校正光场图像，获取光场图像的子孔径图像；
S3、对子孔径图像进行编号得到编号完成的子孔径图像；所述编号完成的子孔径图像包括编号完成的中心孔径图像和编号完成的非中心孔径图像；编号与组成的像素点在宏像素中的位置相对应，即镜头子孔径在镜头实际孔径中的位置；
S4、将编号完成的非中心孔径图像转换到频域并在频域上进行位移，得到位移后的频域子孔径图像；
S5、将位移后的频域子孔径图像转换到空间域得到位移后的空间域子孔径图像；
S6、将位移后的空间域子孔径图像与未位移的中心孔径图像一起求和再求平均获得重聚焦图。
通过提取指定位置的像素点重排为子孔径图像，子孔径图像的数量由宏像素覆盖的像素点数量决定，子孔径图像的分辨率由宏像素数量决定；对于S3中编号完成的子孔径图像，对编号完成的中心孔径图像不进行任何操作，只对编号完成的非中心孔径图像进行频域上的位移。
所述编号完成的子孔径图像的编号为(i，j)；所述编号完成的子孔径图像用公式表示为：fi,j(x,y)，编号完成的非中心孔径图像利用下式转换到频域：
Figure BDA0003029508720000031
其中M,N表示图像大小，u,v为离散变量。
所述位移后的频域子孔径图像移动位移记为Δx(i,j)和Δy(i,j)，应满足：
Δx(i,j)＝k(i-ic)
Δy(i,j)＝k(j-jc)
其中，Δx(i,j)和Δy(i,j)分别表示位移后的频域子孔径图像x方向和y方向上的位移量，k表示最小位移单元，ic和jc为编号完成的中心孔径图像的编号。
编号为(i，j)的编号完成的非中心孔径图像fi,j(x,y)利用下式将空间域的位移转化到频域中：
Figure BDA0003029508720000041
其中M,N表示图像大小，u,v为离散变量，Δx，Δy，分别表示位移后的频域子孔径图像x方向和y方向上的位移量。
编号为(i，j)的编号完成的非中心孔径图像fi,j(x,y)利用下式转换到空间域中：
Figure BDA0003029508720000042
其中M,N表示图像大小，u,v为离散变量。
下面结合附图和对本实施例作进一步的说明，具体过程如下：
步骤一：初始化。
首先对于一张光场相机拍摄的光场图像进行校准，标定，取出其对应的子孔径图像。光线通过主透镜的子孔径后穿过所有微透镜，在每个宏像素块中形成一个像素点，该像素点在宏像素块中的相对位置是一样的，可以通过提取指定位置的像素点重排为子孔径图像，其数量由宏像素覆盖的像素点数量决定，其分辨率由宏像素数量决定。提取的子孔径图像，即图2中的每个微透镜下相同位置像素组成的像，其示意图如图3所示。
步骤二：编号。
对步骤一中获取的光场相机的子孔径图像，如图3所示，记录对应的子孔径。
步骤三：重聚焦过程。
对于步骤二中获取的编号完成的子孔径图像，对宏像素中心处像素点组成的中心孔径图像不进行任何操作，将其他子孔径图像转换到频域，按一定步长对每个子孔径图像进行平移，每次位移后，再将子孔径图像转换到空间域。
如图4所示，对位移后的子孔径图像同一位置的像素点先求和再求平均，即可得到一副重聚焦图像。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种光场相机的重聚焦方法，其特征在于，包括以下步骤：
S1、使用光场相机拍摄图像获得光场图像；
S2、标定及校正光场图像，获取光场图像的子孔径图像；
S3、对子孔径图像进行编号得到编号完成的子孔径图像；所述编号完成的子孔径图像包括编号完成的中心孔径图像和编号完成的非中心孔径图像；
S4、将编号完成的非中心孔径图像转换到频域并在频域上进行位移，得到位移后的频域子孔径图像；
S5、将位移后的频域子孔径图像转换到空间域得到位移后的空间域子孔径图像；
S6、将位移后的空间域子孔径图像与未位移的中心孔径图像一起求和再求平均获得重聚焦图。
2.根据权利要求1所述的一种光场相机的重聚焦方法，其特征在于，通过提取指定位置的像素点重排为子孔径图像，子孔径图像的数量由宏像素覆盖的像素点数量决定，子孔径图像的分辨率由宏像素数量决定。
3.根据权利要求1所述的一种光场相机的重聚焦方法，其特征在于，对于S3中编号完成的子孔径图像，对编号完成的中心孔径图像不进行任何操作，只对编号完成的非中心孔径图像进行频域上的位移。
4.根据权利要求1所述的一种光场相机的重聚焦方法，其特征在于，所述编号完成的子孔径图像的编号为(i，j)；所述编号完成的子孔径图像用公式表示为：fi,j(x,y)，编号完成的非中心孔径图像利用下式转换到频域：
Figure FDA0003029508710000011
其中M,N表示图像大小，u,v为离散变量。
5.根据权利要求4所述的一种光场相机的重聚焦方法，其特征在于，所述位移后的频域子孔径图像移动位移记为Δx(i,j)和Δy(i,j)，应满足：
Δx(i,j)＝k(i-ic)
Δy(i,j)＝k(j-jc)
其中，Δx(i,j)和Δy(i,j)分别表示位移后的频域子孔径图像x方向和y方向上的位移量，k表示最小位移单元，ic和jc为编号完成的中心孔径图像的编号，i和j为编号完成的非子孔径图像编号。
6.根据权利要求5所述的一种光场相机的重聚焦方法，其特征在于，编号为(i，j)的编号完成的非中心孔径图像fi,j(x,y)利用下式将空间域的位移转化到频域中：
Figure FDA0003029508710000021
其中M,N表示图像大小，u,v为离散变量，Δx，Δy，分别表示位移后的频域子孔径图像x方向和y方向上的位移量。
7.根据权利要求6所述的一种光场相机的重聚焦方法，其特征在于，编号为(i，j)的编号完成的非中心孔径图像fi,j(x,y)利用下式转换到空间域中：
Figure FDA0003029508710000022
其中M,N表示图像大小，u,v为离散变量。
CN202110425404.5A 2021-04-20 2021-04-20 一种光场相机的重聚焦方法 Pending CN113163117A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110425404.5A CN113163117A (zh) 2021-04-20 2021-04-20 一种光场相机的重聚焦方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110425404.5A CN113163117A (zh) 2021-04-20 2021-04-20 一种光场相机的重聚焦方法

Publications (1)

Publication Number Publication Date
CN113163117A true CN113163117A (zh) 2021-07-23

Family

ID=76867544

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110425404.5A Pending CN113163117A (zh) 2021-04-20 2021-04-20 一种光场相机的重聚焦方法

Country Status (1)

Country Link
CN (1) CN113163117A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115100269A (zh) * 2022-06-28 2022-09-23 电子科技大学 一种光场图像深度估计方法、系统、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070252074A1 (en) * 2004-10-01 2007-11-01 The Board Of Trustees Of The Leland Stanford Junio Imaging Arrangements and Methods Therefor
US20160316190A1 (en) * 2015-04-21 2016-10-27 Hand Held Products, Inc. Systems and methods for imaging
CN106803892A (zh) * 2017-03-13 2017-06-06 中国科学院光电技术研究所 一种基于光场测量的光场高清晰成像方法
CN107995424A (zh) * 2017-12-06 2018-05-04 太原科技大学 基于深度图的光场全聚焦图像生成方法
CN109360212A (zh) * 2018-11-02 2019-02-19 太原科技大学 一种可抑制重采样误差的频域光场数字重聚焦算法
CN110276795A (zh) * 2019-06-24 2019-09-24 大连理工大学 一种基于分裂迭代算法的光场深度估计方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070252074A1 (en) * 2004-10-01 2007-11-01 The Board Of Trustees Of The Leland Stanford Junio Imaging Arrangements and Methods Therefor
US20160316190A1 (en) * 2015-04-21 2016-10-27 Hand Held Products, Inc. Systems and methods for imaging
CN106803892A (zh) * 2017-03-13 2017-06-06 中国科学院光电技术研究所 一种基于光场测量的光场高清晰成像方法
CN107995424A (zh) * 2017-12-06 2018-05-04 太原科技大学 基于深度图的光场全聚焦图像生成方法
CN109360212A (zh) * 2018-11-02 2019-02-19 太原科技大学 一种可抑制重采样误差的频域光场数字重聚焦算法
CN110276795A (zh) * 2019-06-24 2019-09-24 大连理工大学 一种基于分裂迭代算法的光场深度估计方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115100269A (zh) * 2022-06-28 2022-09-23 电子科技大学 一种光场图像深度估计方法、系统、电子设备及存储介质
CN115100269B (zh) * 2022-06-28 2024-04-23 电子科技大学 一种光场图像深度估计方法、系统、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN108776980B (zh) 一种面向微透镜光场相机的标定方法
CN109115348B (zh) 一种基于火焰光场重聚焦图像的三维温度重建联合方法
JP5681954B2 (ja) 撮像装置及び撮像システム
CN103003665B (zh) 立体测距装置
WO2021103696A1 (zh) 一种基于透射式红外孔径编码成像系统及其超分辨方法
US10334229B2 (en) Method for obtaining a refocused image from a 4D raw light field data using a shift correction parameter
CN102111544B (zh) 摄像模块、图像处理装置及图像记录方法
KR20110016438A (ko) 카메라 센서 교정
CN111080705B (zh) 一种自动对焦双目摄像头标定方法及装置
US8817121B2 (en) Image apparatus and imaging method
CN109712232B (zh) 一种基于光场的物体表面轮廓三维成像方法
CN108364342B (zh) 光场显微系统及其三维信息重构方法和装置
CN111201782B (zh) 成像器件、图像处理装置、图像处理方法和记录介质
CN105704371A (zh) 一种光场重聚焦方法
CN114757831A (zh) 基于智能空谱融合的高分辨率视频高光谱成像方法、装置及介质
CN115086550B (zh) 元成像系统
CN108805921B (zh) 图像获取系统及方法
Brückner et al. Ultra-thin wafer-level camera with 720p resolution using micro-optics
CN113163117A (zh) 一种光场相机的重聚焦方法
CN105806480B (zh) 一种基于自适应微透镜阵列传感器的数字变焦光谱成像仪
CN109163809B (zh) 多孔径视场部分重叠的双波段热成像方法与装置
Ueno et al. Compound-Eye Camera Module as Small as 8.5$\times $8.5$\times $6.0 mm for 26 k-Resolution Depth Map and 2-Mpix 2D Imaging
Brückner Microoptical multi aperture imaging systems
CN110708532B (zh) 一种普适光场单元图像生成方法和系统
CN113259558B (zh) 一种光场相机的无损全聚焦方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210723

RJ01 Rejection of invention patent application after publication