CN109068042A - 一种适用于光场相机的自动对焦方法 - Google Patents

一种适用于光场相机的自动对焦方法 Download PDF

Info

Publication number
CN109068042A
CN109068042A CN201811118910.4A CN201811118910A CN109068042A CN 109068042 A CN109068042 A CN 109068042A CN 201811118910 A CN201811118910 A CN 201811118910A CN 109068042 A CN109068042 A CN 109068042A
Authority
CN
China
Prior art keywords
light
field
dimensional
depth
spectrum
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811118910.4A
Other languages
English (en)
Other versions
CN109068042B (zh
Inventor
郭正华
伍俊龙
陈先锋
刘文劲
杨平
许冰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Optics and Electronics of CAS
Original Assignee
Institute of Optics and Electronics of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Optics and Electronics of CAS filed Critical Institute of Optics and Electronics of CAS
Priority to CN201811118910.4A priority Critical patent/CN109068042B/zh
Publication of CN109068042A publication Critical patent/CN109068042A/zh
Application granted granted Critical
Publication of CN109068042B publication Critical patent/CN109068042B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G02B7/365—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals by analysis of the spatial frequency components of the image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

本发明公开了一种适用于光场相机的自动对焦方法，首先在任意初始像距下获取二维图像并根据标定信息将其解码为四维光场，采用快速傅里叶变换算法对四维光场进行四维傅里叶变换得到光场频谱；然后利用不同斜率的切片函数对四维光场频谱进行降维，获取每一层深度的二维频谱，提取该二维频谱的轴上频谱合成一维曲线，进行高频放大后计算其高频与低频能量的比值；再检测该比值曲线的局部极大值点，得到取得局部极大值点的斜率，计算最大与最小斜率的算术平均值；最后根据该平均值与0的偏离量改变主镜头与微透镜阵列的间距进行对焦调整。本方法利用频谱快速计算存在物体的深度层面，调节初始对焦深度使光场相机景深与实际场景深度范围有效重合。

Description

一种适用于光场相机的自动对焦方法
技术领域
本发明涉及一种适用于光场相机的自动对焦方法，是一种自动调节主镜与微透镜阵列间距，以优化光场相机对焦深度使光场相机景深与实际场景深度范围有效重合的优化对焦方法。属于光学成像系统中自动调焦技术领域。
背景技术
在光学成像领域，光场相机作为一种全新的计算成像设备，因其突出的景深拓展和距离探测能力受到广泛关注。因光场相机成像参数在主镜与微透镜阵列间距发生改变时难以获取，无法确定相应的标定数据，因此多数光场相机不支持成像过程中改变对焦。自动对焦是光学成像系统中的重要功能之一，其能够有效减少拍摄难度并提高对焦准确度，因此支持调焦的光场相机是未来的发展趋势。在光场相机工作时，实时动态自动对焦调节，可以针对所拍摄场景的特性优化像距，减少拍摄工作量，提高拍摄效率。同时，光场相机的自动对焦可以降低使用者对光场知识的要求，有利于拍出优质的光场照片。
在传统光学相机中，常利用当前二维图像的锐度等评价指标进行对焦调节。目前，光场相机的自动对焦常采用上述传统方法，尽管可以保证对焦准确度，但是常会出现光场相机景深与实际场景深度范围不能有效重合的情况。究其原因，基于图像锐度的自动对焦方法未充分考虑光场成像的特性，难以充分发挥光场相机的最佳性能。光场相机存在景深拓展能力，仅清晰化初始对焦平面的图像而不考虑其余深度层面的图像，不能保证相机的景深有效覆盖存在物体的深度区域，致使其难以充分发挥最佳的有效景深拓展，出现未重合深度处的物体高频信息严重丢失的情况。因此需要提出新的方法以适应光场相机自动对焦的需求。
发明内容
本发明要解决技术问题为：在光场成像领域，自动对焦是未来的发展趋势，但是传统基于单一深度图像的锐度评价未能充分考虑光场成像的景深拓展能力，不能充分发挥光场相机的优势。针对传统方法的不足，充分考虑光场相机的特性，本发明提供了一种基于四维光场频谱的适用于光场相机的自动对焦方法，该方法以优化光场相机初始对焦深度使光场相机景深与实际场景深度范围有效重合，可保证最大程度的有效景深拓展范围，使光场相机工作在最优的采样模式。
本发明解决上述技术问题采用的技术方案为：一种适用于光场相机的自动对焦方法，该方法利用不同深度层面图像其光场频谱具有不同斜率的特性，探测该像距时存在高频信息的最近和最远的平面，并自动调节像距使对焦面处于两平面中间处。该方法可保证相机实现最大程度的有效景深拓展，该方法的实现步骤如下：
步骤一、使用任意初始像距对场景成像，并通过标定信息将二维图像解码为四维光场；
步骤二、采用快速傅里叶变换算法对光场进行四维傅里叶变换得到光场频谱；
步骤三、使用不同斜率的切片函数对四维光场频谱进行降维，获取不同深度的图像二维频谱，为简化计算，提取该二维频谱的轴上频谱合成一维频谱，用线性权重函数进行高频成分的放大，再计算高频成分与低频成分的比值；
步骤四、检测该比值曲线的局部极大值点，得到取得局部极大值点的斜率，计算最大与最小斜率的算术平均值；
步骤五、判断该算术平均值是否接近于0，接近于0则认为对焦良好，结束对焦。若偏离0超过一定范围(如0.1)则进行对焦调节，若该偏离量大于0则减小主镜与微透镜阵列的距离，小于0则增加距离，并重复步骤二至步骤五直至该算术均值接近于0。
进一步的，所述光场相机为基于微透镜阵列的光场相机，其主镜头应具备位置调节功能，其调节方式包含但不限于镜头驱动型、机身驱动型。
进一步的，所述光场相机为标准式和聚焦式，其区别仅在于不同的二维到四维解码算法，但是对焦方法依然适用。
进一步的，步骤三中切片函数以斜率作为参数，该斜率是对像距的编码，该参数具有不必需采用实际频率坐标的优点，也就是无需微透镜阵列和图像传感器的采样间距。同时，本方法不局限于使用该斜率作为参数，使用像距依然可行。
本发明的原理是：本发明利用光场成像时不同深度的物体其光场频谱呈现不同斜率，通过探测四维光场频谱存在高频成分的斜率以确定存在物体的深度，最终将光场相机的对焦平面置于最近和最远距离的算术平均距离处，保证相机实现最大程度的有效景深拓展。
本发明有如下优点：本发明利用光场的四维频谱进行自动对焦，具有很强的加速能力，实时性好。本发明适用范围广，适用于基于微透镜阵列的标准式和聚焦式光场相机，同时可推广到可自动调焦的相机阵列。本发明使用斜率作为对焦参数的表征，无需预先测量微透镜阵列和图像传感器的采样间距，所涉及的算法具有适用范围广、鲁棒性高的优点。
附图说明
图1为本发明一种适用于光场相机的自动对焦方法实现流程图；
图2为本发明提出的光场相机自动对焦工作原理示意图；
图3为光场相机内部结构示意图，其中，1为主镜，2为微透镜阵列，3为图像传感器；
图4为仿真时间距为19.00mm时计算得到的对焦图像；
图5为仿真时间距为19.00mm时的拓展景深图；
图6为仿真时间距为19.00mm时本发明所提方法检测得到的曲线；
图7为间距调整为17.91mm时本发明所提算法得到的检测曲线；
图8为对焦调整后计算得到的拓展景深图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，结合本发明的工作场景示意图，对本发明进一步详细说明。
如图2所示，使用光场相机对三个深度平面存在物体的场景进行成像，其深度分别为z1，z2，z3，则实际存在物体的范围可用图中的L1表示，光场相机的景深用L2表示。本发明的目的就在于将L2有效覆盖L1，即实现光场相机景深与实际场景深度范围的有效重合。如图1所示，本发明一种适用于光场相机的自动对焦方法具体实施步骤如下：
步骤一、使用任意初始像距对场景成像，通过图像传感器获得二维图像，利用该状态下的标定数据进行光场解码，根据微透镜中心在传感器的投影坐标获得四维光场信号，记为L(u,v,s,t)，其中(u,v)表示每个微透镜的空间坐标，(s,t)表示每个微透镜下覆盖的宏像素的像素坐标。
步骤二、采用快速傅里叶变换算法对其进行四维傅里叶变换得到光场频谱，记为
步骤三、用不同斜率(记为slope)的切片函数获取每一层深度的光场二维频谱，为简化计算，提取两个轴上的频谱合成一维频谱，用线性函数进行高频成分的放大，计算高频与低频的能量比值，具体算法如下：
(3.1)提取两个轴上的频谱，并合成一维频谱：
(3.1.1)
其中Is(Ωs,slope)和It(Ωt,slope)分别表示Ωs＝0，Ωu＝0与Ωt＝0，Ωv＝0时，斜率为slope上的频谱。
(3.2)放大高频成分：
(3.2.1)
其中W(f)为线性权重函数，对P(f,slope)进行高频放大。
(3.3)计算高频与低频的比值：
为增加鲁棒性，本发明使用低频成分归一化高频成分，计算高频成分与低频成分的比值。为简化计算，我们将P'(f,slope)进行多带处理，即将P'(f,slope)平均分为10个带，分别记为E1,...E10。其中E1代表低频分量，E2至E10表示高频分量，为降低噪声、混淆等带来的影响，E10不纳入计算。高频与低频的比值通过下式进行计算：
(3.3.1)
步骤四、检测该比值曲线的局部极大值点，得到取得局部极大值点的斜率，记为Si。
(4.1)通过下式计算Si中的最大和最小斜率：
(4.1.1)
(4.2)计算上述最大和最小斜率的算术平均值：
(4.2.1)
步骤五、判断Smean是否接近于0，接近于0则认为对焦良好，结束对焦。如图3所示是光场相机内部结构示意图,其中d表示主镜与微透镜阵列的距离。若偏离0超过一定范围(如0.1)则进行对焦调节，大于0则减小d，小于0则增加距离d，并重复步骤二至步骤五直至该算术均值接近于0。
为了验证本方法的有效性，设计了由2个物体组成的场景对其进行了仿真。场景由字母C和D构成，其深度分别为100.00mm、200.00mm。相机主镜头焦距为16.00mm，主镜与微透镜阵列满足严格的F数匹配。假设初始微透镜阵列与主镜间距为19.00mm(其共轭物距为101.30mm)，此时相机对焦于字母C后1.30mm。如图4所示为该间距时计算得到的对焦图像，可见字母D离焦较大，仅保留低频信息。图5为此间距下的拓展景深图，字母D肉眼可见变得更清晰，但其高频信息依旧丢失严重。图6为此状态下本发明所提方法检测得到的曲线，其在0.00、1.21处取得局部极大值，意味在对焦面和更远的地方存在物体。根据本发明所提方法，此时应减小微透镜阵列与主镜的间距。图7为多次迭代后，当主镜与微透镜阵列间距为18.18mm时本发明所提算法得到的检测曲线，可见其在0.73、-0.71处取得极大值，即此时对焦面位于两个物体的调和平均距离处。图8为此状态下计算得到的拓展景深图，相比于图5，字母D变得更加清晰，同时字母C也清晰可见，意味着此时光场相机的景深与物体深度范围重合较好。
本发明未详细阐述部分属于本领域技术人员的公知技术。

Claims (4)

1.一种适用于光场相机的自动对焦方法，其特征在于：该方法利用光场成像的四维频谱特性，通过判断不同斜率处光场切片频谱高频与低频能量的比值，探测存在物体的深度层面，自动调节主镜头与微透镜阵列的间距，使初始对焦距离处于最远和最近物体的调和平均距离处，实现光场相机景深与实际场景深度范围的有效重合，包括以下步骤：
步骤一、使用任意初始像距对场景成像，并通过标定信息将二维图像解码为四维光场；
步骤二、采用快速傅里叶变换算法对光场进行四维傅里叶变换得到光场频谱；
步骤三、使用不同斜率的切片函数对四维光场频谱进行降维获取不同深度的图像二维频谱，为简化计算，提取该二维频谱的轴上频谱合成一维频谱，用线性权重函数进行高频成分的放大，再计算高频成分与低频成分的比值；
步骤四、检测该比值曲线的局部极大值点，得到取得局部极大值点的斜率，计算最大与最小斜率的算术平均值；
步骤五、判断该算术平均值是否接近于0，接近于0则认为对焦良好，结束对焦；若偏离0超过一定范围则进行对焦调节，若该偏离量大于0则减小主镜与微透镜阵列的距离，小于0则增加距离，并重复步骤二至步骤五直至该算术均值接近于0。
2.根据权利要求1所述一种适用于光场相机的自动对焦方法，其特征在于：该方法适用对象为基于微透镜阵列的光场相机，其主镜头应具备位置调节功能。
3.根据权利要求1所述一种适用于光场相机的自动对焦方法，其特征在于：该方法支持的光场相机为标准式和聚焦式。
4.根据权利要求1所述一种适用于光场相机的自动对焦方法，其特征在于：步骤三中切片函数以斜率作为参数，该斜率是对像距的编码。
CN201811118910.4A 2018-09-25 2018-09-25 一种适用于光场相机的自动对焦方法 Active CN109068042B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811118910.4A CN109068042B (zh) 2018-09-25 2018-09-25 一种适用于光场相机的自动对焦方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811118910.4A CN109068042B (zh) 2018-09-25 2018-09-25 一种适用于光场相机的自动对焦方法

Publications (2)

Publication Number Publication Date
CN109068042A true CN109068042A (zh) 2018-12-21
CN109068042B CN109068042B (zh) 2020-09-25

Family

ID=64765938

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811118910.4A Active CN109068042B (zh) 2018-09-25 2018-09-25 一种适用于光场相机的自动对焦方法

Country Status (1)

Country Link
CN (1) CN109068042B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113259558A (zh) * 2021-05-11 2021-08-13 电子科技大学 一种光场相机的无损全聚焦方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090002495A1 (en) * 2005-01-10 2009-01-01 Klaus Jacumet Method for Monitoring Set Parameters of a Motion-Picture Camera
CN102879971A (zh) * 2012-10-22 2013-01-16 上海理工大学 一种连续调节太赫兹波中心频率和频谱宽度的方法
CN104539832A (zh) * 2014-12-31 2015-04-22 上海理工大学 混合式光场成像系统
CN105841925A (zh) * 2016-03-22 2016-08-10 中国科学院国家空间科学中心 一种基于探测器像素响应傅里叶谱获取的图像重建方法
CN106803892A (zh) * 2017-03-13 2017-06-06 中国科学院光电技术研究所 一种基于光场测量的光场高清晰成像方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090002495A1 (en) * 2005-01-10 2009-01-01 Klaus Jacumet Method for Monitoring Set Parameters of a Motion-Picture Camera
CN102879971A (zh) * 2012-10-22 2013-01-16 上海理工大学 一种连续调节太赫兹波中心频率和频谱宽度的方法
CN104539832A (zh) * 2014-12-31 2015-04-22 上海理工大学 混合式光场成像系统
CN105841925A (zh) * 2016-03-22 2016-08-10 中国科学院国家空间科学中心 一种基于探测器像素响应傅里叶谱获取的图像重建方法
CN106803892A (zh) * 2017-03-13 2017-06-06 中国科学院光电技术研究所 一种基于光场测量的光场高清晰成像方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113259558A (zh) * 2021-05-11 2021-08-13 电子科技大学 一种光场相机的无损全聚焦方法及装置
CN113259558B (zh) * 2021-05-11 2022-03-11 电子科技大学 一种光场相机的无损全聚焦方法及装置

Also Published As

Publication number Publication date
CN109068042B (zh) 2020-09-25

Similar Documents

Publication Publication Date Title
CN102984530B (zh) 图像处理系统及自动对焦方法
JP5486317B2 (ja) 画像を拡張する二重レンズカメラの操作
US8866922B2 (en) Image processing apparatus and control method thereof
US7737975B2 (en) Normal vector information generating device and normal vector information generating method
US9495751B2 (en) Processing multi-aperture image data
US7683962B2 (en) Camera using multiple lenses and image sensors in a rangefinder configuration to provide a range map
US9485440B2 (en) Signal processing unit and signal processing method
JP2018517161A (ja) デュアルカメラオートフォーカス
US20070024738A1 (en) Image capturing apparatus
EP3154251A1 (en) Application programming interface for multi-aperture imaging systems
US11682131B2 (en) Image capturing apparatus and method of controlling image capturing apparatus
CN108076278A (zh) 一种自动对焦方法、装置及电子设备
EP3298769B1 (en) Digital image capturing apparatus with nir apodization filter for enhanced depth sensing and image processing
CN108710192B (zh) 基于统计数据的自动对焦系统和方法
CN107888836B (zh) 一种基于辅助焦面的推扫式遥感相机调焦方法
US11347133B2 (en) Image capturing apparatus, image processing apparatus, control method, and storage medium
US9118878B2 (en) Image processing apparatus that corrects for chromatic aberration for taken image, image pickup apparatus, method of correcting for chromatic aberration of magnification therefor, and storage medium
TWI393981B (zh) Use the flash to assist in detecting focal lengths
US20140247344A1 (en) Corresponding point search device and distance measurement device
WO2012086127A1 (ja) 画像処理装置、撮像装置、及び画像処理方法
CN102314043A (zh) 人脸区块辅助对焦的方法
WO2020042000A1 (zh) 相机设备及对焦方法
RU2389050C1 (ru) Способ автоматической фокусировки
US9843711B2 (en) Image processing device, image processing method, and image processing program
CN109068042A (zh) 一种适用于光场相机的自动对焦方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant