CN109068042A - 一种适用于光场相机的自动对焦方法 - Google Patents
一种适用于光场相机的自动对焦方法 Download PDFInfo
- Publication number
- CN109068042A CN109068042A CN201811118910.4A CN201811118910A CN109068042A CN 109068042 A CN109068042 A CN 109068042A CN 201811118910 A CN201811118910 A CN 201811118910A CN 109068042 A CN109068042 A CN 109068042A
- Authority
- CN
- China
- Prior art keywords
- light
- dimensional
- field
- depth
- spectrum
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000001228 spectrum Methods 0.000 claims abstract description 31
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 9
- 230000003321 amplification Effects 0.000 claims abstract description 5
- 238000003199 nucleic acid amplification method Methods 0.000 claims abstract description 5
- 238000003384 imaging method Methods 0.000 claims description 15
- 230000003287 optical effect Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000002194 synthesizing effect Effects 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 2
- 230000003595 spectral effect Effects 0.000 claims 1
- 230000008901 benefit Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 238000012634 optical imaging Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
- G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
- G02B7/365—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals by analysis of the spatial frequency components of the image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Automatic Focus Adjustment (AREA)
- Studio Devices (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
本发明公开了一种适用于光场相机的自动对焦方法，首先在任意初始像距下获取二维图像并根据标定信息将其解码为四维光场，采用快速傅里叶变换算法对四维光场进行四维傅里叶变换得到光场频谱；然后利用不同斜率的切片函数对四维光场频谱进行降维，获取每一层深度的二维频谱，提取该二维频谱的轴上频谱合成一维曲线，进行高频放大后计算其高频与低频能量的比值；再检测该比值曲线的局部极大值点，得到取得局部极大值点的斜率，计算最大与最小斜率的算术平均值；最后根据该平均值与0的偏离量改变主镜头与微透镜阵列的间距进行对焦调整。本方法利用频谱快速计算存在物体的深度层面，调节初始对焦深度使光场相机景深与实际场景深度范围有效重合。
Description
技术领域
本发明涉及一种适用于光场相机的自动对焦方法，是一种自动调节主镜与微透镜阵列间距，以优化光场相机对焦深度使光场相机景深与实际场景深度范围有效重合的优化对焦方法。属于光学成像系统中自动调焦技术领域。
背景技术
在光学成像领域，光场相机作为一种全新的计算成像设备，因其突出的景深拓展和距离探测能力受到广泛关注。因光场相机成像参数在主镜与微透镜阵列间距发生改变时难以获取，无法确定相应的标定数据，因此多数光场相机不支持成像过程中改变对焦。自动对焦是光学成像系统中的重要功能之一，其能够有效减少拍摄难度并提高对焦准确度，因此支持调焦的光场相机是未来的发展趋势。在光场相机工作时，实时动态自动对焦调节，可以针对所拍摄场景的特性优化像距，减少拍摄工作量，提高拍摄效率。同时，光场相机的自动对焦可以降低使用者对光场知识的要求，有利于拍出优质的光场照片。
在传统光学相机中，常利用当前二维图像的锐度等评价指标进行对焦调节。目前，光场相机的自动对焦常采用上述传统方法，尽管可以保证对焦准确度，但是常会出现光场相机景深与实际场景深度范围不能有效重合的情况。究其原因，基于图像锐度的自动对焦方法未充分考虑光场成像的特性，难以充分发挥光场相机的最佳性能。光场相机存在景深拓展能力，仅清晰化初始对焦平面的图像而不考虑其余深度层面的图像，不能保证相机的景深有效覆盖存在物体的深度区域，致使其难以充分发挥最佳的有效景深拓展，出现未重合深度处的物体高频信息严重丢失的情况。因此需要提出新的方法以适应光场相机自动对焦的需求。
发明内容
本发明要解决技术问题为：在光场成像领域，自动对焦是未来的发展趋势，但是传统基于单一深度图像的锐度评价未能充分考虑光场成像的景深拓展能力，不能充分发挥光场相机的优势。针对传统方法的不足，充分考虑光场相机的特性，本发明提供了一种基于四维光场频谱的适用于光场相机的自动对焦方法，该方法以优化光场相机初始对焦深度使光场相机景深与实际场景深度范围有效重合，可保证最大程度的有效景深拓展范围，使光场相机工作在最优的采样模式。
本发明解决上述技术问题采用的技术方案为：一种适用于光场相机的自动对焦方法，该方法利用不同深度层面图像其光场频谱具有不同斜率的特性，探测该像距时存在高频信息的最近和最远的平面，并自动调节像距使对焦面处于两平面中间处。该方法可保证相机实现最大程度的有效景深拓展，该方法的实现步骤如下：
步骤一、使用任意初始像距对场景成像，并通过标定信息将二维图像解码为四维光场；
步骤二、采用快速傅里叶变换算法对光场进行四维傅里叶变换得到光场频谱；
步骤三、使用不同斜率的切片函数对四维光场频谱进行降维，获取不同深度的图像二维频谱，为简化计算，提取该二维频谱的轴上频谱合成一维频谱，用线性权重函数进行高频成分的放大，再计算高频成分与低频成分的比值；
步骤四、检测该比值曲线的局部极大值点，得到取得局部极大值点的斜率，计算最大与最小斜率的算术平均值；
步骤五、判断该算术平均值是否接近于0，接近于0则认为对焦良好，结束对焦。若偏离0超过一定范围(如0.1)则进行对焦调节，若该偏离量大于0则减小主镜与微透镜阵列的距离，小于0则增加距离，并重复步骤二至步骤五直至该算术均值接近于0。
进一步的，所述光场相机为基于微透镜阵列的光场相机，其主镜头应具备位置调节功能，其调节方式包含但不限于镜头驱动型、机身驱动型。
进一步的，所述光场相机为标准式和聚焦式，其区别仅在于不同的二维到四维解码算法，但是对焦方法依然适用。
进一步的，步骤三中切片函数以斜率作为参数，该斜率是对像距的编码，该参数具有不必需采用实际频率坐标的优点，也就是无需微透镜阵列和图像传感器的采样间距。同时，本方法不局限于使用该斜率作为参数，使用像距依然可行。
本发明的原理是：本发明利用光场成像时不同深度的物体其光场频谱呈现不同斜率，通过探测四维光场频谱存在高频成分的斜率以确定存在物体的深度，最终将光场相机的对焦平面置于最近和最远距离的算术平均距离处，保证相机实现最大程度的有效景深拓展。
本发明有如下优点：本发明利用光场的四维频谱进行自动对焦，具有很强的加速能力，实时性好。本发明适用范围广，适用于基于微透镜阵列的标准式和聚焦式光场相机，同时可推广到可自动调焦的相机阵列。本发明使用斜率作为对焦参数的表征，无需预先测量微透镜阵列和图像传感器的采样间距，所涉及的算法具有适用范围广、鲁棒性高的优点。
附图说明
图1为本发明一种适用于光场相机的自动对焦方法实现流程图；
图2为本发明提出的光场相机自动对焦工作原理示意图；
图3为光场相机内部结构示意图，其中，1为主镜，2为微透镜阵列，3为图像传感器；
图4为仿真时间距为19.00mm时计算得到的对焦图像；
图5为仿真时间距为19.00mm时的拓展景深图；
图6为仿真时间距为19.00mm时本发明所提方法检测得到的曲线；
图7为间距调整为17.91mm时本发明所提算法得到的检测曲线；
图8为对焦调整后计算得到的拓展景深图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，结合本发明的工作场景示意图，对本发明进一步详细说明。
如图2所示，使用光场相机对三个深度平面存在物体的场景进行成像，其深度分别为z1，z2，z3，则实际存在物体的范围可用图中的L1表示，光场相机的景深用L2表示。本发明的目的就在于将L2有效覆盖L1，即实现光场相机景深与实际场景深度范围的有效重合。如图1所示，本发明一种适用于光场相机的自动对焦方法具体实施步骤如下：
步骤一、使用任意初始像距对场景成像，通过图像传感器获得二维图像，利用该状态下的标定数据进行光场解码，根据微透镜中心在传感器的投影坐标获得四维光场信号，记为L(u,v,s,t)，其中(u,v)表示每个微透镜的空间坐标，(s,t)表示每个微透镜下覆盖的宏像素的像素坐标。
步骤二、采用快速傅里叶变换算法对其进行四维傅里叶变换得到光场频谱，记为
步骤三、用不同斜率(记为slope)的切片函数获取每一层深度的光场二维频谱，为简化计算，提取两个轴上的频谱合成一维频谱，用线性函数进行高频成分的放大，计算高频与低频的能量比值，具体算法如下：
(3.1)提取两个轴上的频谱，并合成一维频谱：
(3.1.1)
其中Is(Ωs,slope)和It(Ωt,slope)分别表示Ωs＝0，Ωu＝0与Ωt＝0，Ωv＝0时，斜率为slope上的频谱。
(3.2)放大高频成分：
(3.2.1)
其中W(f)为线性权重函数，对P(f,slope)进行高频放大。
(3.3)计算高频与低频的比值：
为增加鲁棒性，本发明使用低频成分归一化高频成分，计算高频成分与低频成分的比值。为简化计算，我们将P'(f,slope)进行多带处理，即将P'(f,slope)平均分为10个带，分别记为E1,...E10。其中E1代表低频分量，E2至E10表示高频分量，为降低噪声、混淆等带来的影响，E10不纳入计算。高频与低频的比值通过下式进行计算：
(3.3.1)
步骤四、检测该比值曲线的局部极大值点，得到取得局部极大值点的斜率，记为Si。
(4.1)通过下式计算Si中的最大和最小斜率：
(4.1.1)
(4.2)计算上述最大和最小斜率的算术平均值：
(4.2.1)
步骤五、判断Smean是否接近于0，接近于0则认为对焦良好，结束对焦。如图3所示是光场相机内部结构示意图,其中d表示主镜与微透镜阵列的距离。若偏离0超过一定范围(如0.1)则进行对焦调节，大于0则减小d，小于0则增加距离d，并重复步骤二至步骤五直至该算术均值接近于0。
为了验证本方法的有效性，设计了由2个物体组成的场景对其进行了仿真。场景由字母C和D构成，其深度分别为100.00mm、200.00mm。相机主镜头焦距为16.00mm，主镜与微透镜阵列满足严格的F数匹配。假设初始微透镜阵列与主镜间距为19.00mm(其共轭物距为101.30mm)，此时相机对焦于字母C后1.30mm。如图4所示为该间距时计算得到的对焦图像，可见字母D离焦较大，仅保留低频信息。图5为此间距下的拓展景深图，字母D肉眼可见变得更清晰，但其高频信息依旧丢失严重。图6为此状态下本发明所提方法检测得到的曲线，其在0.00、1.21处取得局部极大值，意味在对焦面和更远的地方存在物体。根据本发明所提方法，此时应减小微透镜阵列与主镜的间距。图7为多次迭代后，当主镜与微透镜阵列间距为18.18mm时本发明所提算法得到的检测曲线，可见其在0.73、-0.71处取得极大值，即此时对焦面位于两个物体的调和平均距离处。图8为此状态下计算得到的拓展景深图，相比于图5，字母D变得更加清晰，同时字母C也清晰可见，意味着此时光场相机的景深与物体深度范围重合较好。
本发明未详细阐述部分属于本领域技术人员的公知技术。
Claims (4)
1.一种适用于光场相机的自动对焦方法，其特征在于：该方法利用光场成像的四维频谱特性，通过判断不同斜率处光场切片频谱高频与低频能量的比值，探测存在物体的深度层面，自动调节主镜头与微透镜阵列的间距，使初始对焦距离处于最远和最近物体的调和平均距离处，实现光场相机景深与实际场景深度范围的有效重合，包括以下步骤：
步骤一、使用任意初始像距对场景成像，并通过标定信息将二维图像解码为四维光场；
步骤二、采用快速傅里叶变换算法对光场进行四维傅里叶变换得到光场频谱；
步骤三、使用不同斜率的切片函数对四维光场频谱进行降维获取不同深度的图像二维频谱，为简化计算，提取该二维频谱的轴上频谱合成一维频谱，用线性权重函数进行高频成分的放大，再计算高频成分与低频成分的比值；
步骤四、检测该比值曲线的局部极大值点，得到取得局部极大值点的斜率，计算最大与最小斜率的算术平均值；
步骤五、判断该算术平均值是否接近于0，接近于0则认为对焦良好，结束对焦；若偏离0超过一定范围则进行对焦调节，若该偏离量大于0则减小主镜与微透镜阵列的距离，小于0则增加距离，并重复步骤二至步骤五直至该算术均值接近于0。
2.根据权利要求1所述一种适用于光场相机的自动对焦方法，其特征在于：该方法适用对象为基于微透镜阵列的光场相机，其主镜头应具备位置调节功能。
3.根据权利要求1所述一种适用于光场相机的自动对焦方法，其特征在于：该方法支持的光场相机为标准式和聚焦式。
4.根据权利要求1所述一种适用于光场相机的自动对焦方法，其特征在于：步骤三中切片函数以斜率作为参数，该斜率是对像距的编码。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811118910.4A CN109068042B (zh) | 2018-09-25 | 2018-09-25 | 一种适用于光场相机的自动对焦方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811118910.4A CN109068042B (zh) | 2018-09-25 | 2018-09-25 | 一种适用于光场相机的自动对焦方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109068042A true CN109068042A (zh) | 2018-12-21 |
| CN109068042B CN109068042B (zh) | 2020-09-25 |
Family
ID=64765938
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811118910.4A Active CN109068042B (zh) | 2018-09-25 | 2018-09-25 | 一种适用于光场相机的自动对焦方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109068042B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113259558A (zh) * | 2021-05-11 | 2021-08-13 | 电子科技大学 | 一种光场相机的无损全聚焦方法及装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090002495A1 (en) * | 2005-01-10 | 2009-01-01 | Klaus Jacumet | Method for Monitoring Set Parameters of a Motion-Picture Camera |
| CN102879971A (zh) * | 2012-10-22 | 2013-01-16 | 上海理工大学 | 一种连续调节太赫兹波中心频率和频谱宽度的方法 |
| CN104539832A (zh) * | 2014-12-31 | 2015-04-22 | 上海理工大学 | 混合式光场成像系统 |
| CN105841925A (zh) * | 2016-03-22 | 2016-08-10 | 中国科学院国家空间科学中心 | 一种基于探测器像素响应傅里叶谱获取的图像重建方法 |
| CN106803892A (zh) * | 2017-03-13 | 2017-06-06 | 中国科学院光电技术研究所 | 一种基于光场测量的光场高清晰成像方法 |
-
2018
- 2018-09-25 CN CN201811118910.4A patent/CN109068042B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090002495A1 (en) * | 2005-01-10 | 2009-01-01 | Klaus Jacumet | Method for Monitoring Set Parameters of a Motion-Picture Camera |
| CN102879971A (zh) * | 2012-10-22 | 2013-01-16 | 上海理工大学 | 一种连续调节太赫兹波中心频率和频谱宽度的方法 |
| CN104539832A (zh) * | 2014-12-31 | 2015-04-22 | 上海理工大学 | 混合式光场成像系统 |
| CN105841925A (zh) * | 2016-03-22 | 2016-08-10 | 中国科学院国家空间科学中心 | 一种基于探测器像素响应傅里叶谱获取的图像重建方法 |
| CN106803892A (zh) * | 2017-03-13 | 2017-06-06 | 中国科学院光电技术研究所 | 一种基于光场测量的光场高清晰成像方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113259558A (zh) * | 2021-05-11 | 2021-08-13 | 电子科技大学 | 一种光场相机的无损全聚焦方法及装置 |
| CN113259558B (zh) * | 2021-05-11 | 2022-03-11 | 电子科技大学 | 一种光场相机的无损全聚焦方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109068042B (zh) | 2020-09-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10547786B2 (en) | Image processing for turbulence compensation | |
| JP5486317B2 (ja) | 画像を拡張する二重レンズカメラの操作 | |
| CN102984530B (zh) | 图像处理系统及自动对焦方法 | |
| US8866922B2 (en) | Image processing apparatus and control method thereof | |
| US9495751B2 (en) | Processing multi-aperture image data | |
| CN107995424B (zh) | 基于深度图的光场全聚焦图像生成方法 | |
| US7683962B2 (en) | Camera using multiple lenses and image sensors in a rangefinder configuration to provide a range map | |
| US20070024738A1 (en) | Image capturing apparatus | |
| JP2018517161A (ja) | デュアルカメラオートフォーカス | |
| EP3154251A1 (en) | Application programming interface for multi-aperture imaging systems | |
| US20160255323A1 (en) | Multi-Aperture Depth Map Using Blur Kernels and Down-Sampling | |
| US20160042522A1 (en) | Processing Multi-Aperture Image Data | |
| US20130038723A1 (en) | Image acquisition apparatus and image processing apparatus | |
| EP3298769B1 (en) | Digital image capturing apparatus with nir apodization filter for enhanced depth sensing and image processing | |
| CN101210995A (zh) | 摄影设备和方法 | |
| JP2010521005A (ja) | 改善された焦点調節機能を備えたマルチレンズカメラ | |
| EP2537332A1 (en) | Processing multi-aperture image data | |
| JP5000030B1 (ja) | 画像処理装置、撮像装置、及び画像処理方法 | |
| US9279677B2 (en) | Corresponding point search device and distance measurement device | |
| US11347133B2 (en) | Image capturing apparatus, image processing apparatus, control method, and storage medium | |
| US9118878B2 (en) | Image processing apparatus that corrects for chromatic aberration for taken image, image pickup apparatus, method of correcting for chromatic aberration of magnification therefor, and storage medium | |
| CN104639927A (zh) | 拍摄立体影像的方法以及电子装置 | |
| TWI393981B (zh) | Use the flash to assist in detecting focal lengths | |
| WO2020042000A1 (zh) | 相机设备及对焦方法 | |
| CN102314043A (zh) | 人脸区块辅助对焦的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |