CN107862662A - 基于阵列镜头的图像重对焦方法 - Google Patents

基于阵列镜头的图像重对焦方法 Download PDF

Info

Publication number
CN107862662A
CN107862662A CN201711089466.3A CN201711089466A CN107862662A CN 107862662 A CN107862662 A CN 107862662A CN 201711089466 A CN201711089466 A CN 201711089466A CN 107862662 A CN107862662 A CN 107862662A
Authority
CN
China
Prior art keywords
msub
mrow
array
depth
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711089466.3A
Other languages
English (en)
Inventor
邹建成
颜培州
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
North China University of Technology
Original Assignee
North China University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by North China University of Technology filed Critical North China University of Technology
Priority to CN201711089466.3A priority Critical patent/CN107862662A/zh
Publication of CN107862662A publication Critical patent/CN107862662A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种基于阵列镜头的图像重对焦方法，包括：对阵列镜头进行标定，得到阵列镜头的内参数；该阵列镜头由若干镜头模组按照N*M阵列形式排列组合而成；利用阵列镜头撷取阵列图像组，利用相应镜头的内参数对阵列图像中的相应图像进行校正，得到校正后的阵列图像组；对校正后的阵列图像组，进行多视立体匹配；在多视立体匹配的深度划分基础上，对任意一个深度层的图像进行重对焦。本发明的方法，利用阵列镜头获取的阵列图像组，进行多视立体匹配，划分成多个深度层，对任意一深度层进行重对焦，重对焦效果良好。

Description

基于阵列镜头的图像重对焦方法
技术领域
本发明涉及一种基于阵列镜头的图像重对焦方法，属于图像处理及计算机视觉处理技术领域。
背景技术
图像重对焦技术是指利用图像处理技术，使得图像上不同对象成像清晰的过程。现有的图像重对焦方法，一般是利用立体匹配算法得到图像的若干深度层，对不同的深度图像进行重对焦。现有的图像重对焦方法，对于三维场景及动态场景的图像，重对焦效果并不理想。
发明内容
鉴于上述原因，本发明的目的在于提供一种基于阵列镜头的图像重对焦方法，利用阵列镜头获取的阵列图像组，进行重对焦，对于三维场景和动态场景的图像，重对焦效果良好。
为实现上述目的，本发明采用以下技术方案：
一种基于阵列镜头的图像重对焦方法，包括：
对阵列镜头进行标定，得到阵列镜头的内参数；该阵列镜头由若干镜头模组按照N*M阵列形式排列组合而成；
利用阵列镜头撷取阵列图像组，利用相应镜头的内参数对阵列图像中的相应图像进行校正，得到校正后的阵列图像组；
对校正后的阵列图像组，进行多视立体匹配；
在多视立体匹配的深度划分基础上，对任意一个深度层的图像进行重对焦。
所述多视立体匹配的方法是：
从校正后的阵列图像组中选取位于中心位置的图像作为参考图像，将参考图像的每个像素点作为网格点，建立空间曲面网，初始深度设为0；将场景空间沿参考图像的主轴方向划分成若干深度层，建立深度集合L；两两深度层的间隔根据两相邻深度层在参考图像上对应的像素位置差确定；
根据公式：
确定每个网格点的深度，其中fx∈L，N是参考图像相邻像素集合，其中Dx(fx)表示参考图像像素点X在深度fx处的灰度一致性，表示参考图像两相邻像素点x1，x2分别取深度对应的光滑能量项；
建立能量函数确定每个网格点的深度，采用图割算法求解，计算图像中每个像素的深度，实现场景的深度划分。
本发明的优点是：
1、本发明的图像重对焦方法，利用阵列镜头重叠的小光圈代替单个镜头的一个大光圈，模拟了昆虫的复眼，可获得更多的图像信息，利用阵列图像的相互信息可实现更加清晰的重对焦效果；
2、本发明的图像重对焦方法，利用阵列镜头获取的阵列图像组，进行重对焦，对于三维场景及动态场景，避免了帧间运动估计问题，重对焦效果良好。
附图说明
图1是本发明的方法流程示意图。
具体实施方式
以下结合附图和实施例对本发明作进一步详细的说明。
如图1所示，本发明公开的基于阵列镜头的图像重对焦方法，包括：
S1：对阵列镜头进行标定，得到阵列镜头的内参数；
阵列镜头由若干镜头模组按照N*M阵列形式排列组合而成，对N*M个镜头进行标定。
S2：利用阵列镜头撷取阵列图像组，利用相应镜头的内参数对阵列图像中的相应图像进行校正，得到校正后的阵列图像组；
N*M个镜头撷取N*M个图像，构成阵列图像组，对其中的每个图像，利用相应的镜头内参数进行校正，得到校正后的阵列图像组。
S3：对校正后的阵列图像组，进行多视立体匹配；
从校正后的阵列图像组中选取位于中心位置的图像作为参考图像，将参考图像的每个像素点作为网格点，建立空间曲面网，初始深度设为0。将场景空间沿参考图像的主轴方向划分成若干深度层，建立深度集合L。两两深度层的间隔可以根据两相邻深度层在参考图像上对应的像素位置差确定。
根据公式：
确定每个网格点的深度，其中fx∈L，N是参考图像相邻像素集合，其中Dx(fx)表示参考图像像素点X在深度fx处的灰度一致性，可以表示为除参考图像的其他图像与参考图像在深度为fx时的投影点的归一化互相关(normalized cross-correlation)均值。表示参考图像两相邻像素点x1，x2分别取深度对应的光滑能量项。不同的Dx(fx)和可以得到不同的深度重建效果。
建立能量函数确定每个网格点的深度，采用图割算法求解，计算图像中每个像素的深度，实现场景的深度划分。
S4：在多视立体匹配的深度划分基础上，对任意一个深度层的图像进行重对焦。
以上所述是本发明的较佳实施例及其所运用的技术原理，对于本领域的技术人员来说，在不背离本发明的精神和范围的情况下，任何基于本发明技术方案基础上的等效变换、简单替换等显而易见的改变，均属于本发明保护范围之内。

Claims (2)

1.基于阵列镜头的图像重对焦方法，其特征在于，包括：
对阵列镜头进行标定，得到阵列镜头的内参数；该阵列镜头由若干镜头模组按照N*M阵列形式排列组合而成；
利用阵列镜头撷取阵列图像组，利用相应镜头的内参数对阵列图像中的相应图像进行校正，得到校正后的阵列图像组；
对校正后的阵列图像组，进行多视立体匹配；
在多视立体匹配的深度划分基础上，对任意一个深度层的图像进行重对焦。
2.根据权利要求1所述的基于阵列镜头的图像重对焦方法，其特征在于，所述多视立体匹配的方法是：
从校正后的阵列图像组中选取位于中心位置的图像作为参考图像，将参考图像的每个像素点作为网格点，建立空间曲面网，初始深度设为0；将场景空间沿参考图像的主轴方向划分成若干深度层，建立深度集合L；两两深度层的间隔根据两相邻深度层在参考图像上对应的像素位置差确定；
根据公式：
<mrow> <mi>E</mi> <mrow> <mo>(</mo> <mi>f</mi> <mo>)</mo> </mrow> <mo>=</mo> <msub> <mi>E</mi> <mrow> <mi>d</mi> <mi>a</mi> <mi>t</mi> <mi>a</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>f</mi> <mo>)</mo> </mrow> <mo>+</mo> <msub> <mi>E</mi> <mrow> <mi>s</mi> <mi>m</mi> <mi>o</mi> <mi>o</mi> <mi>t</mi> <mi>h</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>f</mi> <mo>)</mo> </mrow> <mo>=</mo> <msub> <mi>&amp;Sigma;</mi> <mrow> <mi>x</mi> <mo>&amp;Element;</mo> <msub> <mi>g</mi> <mn>5</mn> </msub> </mrow> </msub> <msub> <mi>D</mi> <mi>x</mi> </msub> <mrow> <mo>(</mo> <msub> <mi>f</mi> <mi>x</mi> </msub> <mo>)</mo> </mrow> <mo>+</mo> <msub> <mi>&amp;Sigma;</mi> <mrow> <mo>{</mo> <msub> <mi>x</mi> <mn>1</mn> </msub> <mo>,</mo> <msub> <mi>x</mi> <mn>2</mn> </msub> <mo>}</mo> <mo>&amp;Element;</mo> <mi>N</mi> </mrow> </msub> <msub> <mi>V</mi> <mrow> <mo>{</mo> <msub> <mi>x</mi> <mn>1</mn> </msub> <mo>,</mo> <msub> <mi>x</mi> <mn>2</mn> </msub> <mo>}</mo> </mrow> </msub> <mrow> <mo>(</mo> <msub> <mi>f</mi> <msub> <mi>x</mi> <mn>1</mn> </msub> </msub> <mo>,</mo> <msub> <mi>f</mi> <msub> <mi>d</mi> <mn>2</mn> </msub> </msub> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow>
确定每个网格点的深度，其中fx∈L，N是参考图像相邻像素集合，其中Dx(fx)表示参考图像像素点X在深度fx处的灰度一致性，表示参考图像两相邻像素点x1，x2分别取深度对应的光滑能量项；
建立能量函数确定每个网格点的深度，采用图割算法求解，计算图像中每个像素的深度，实现场景的深度划分。
CN201711089466.3A 2017-11-08 2017-11-08 基于阵列镜头的图像重对焦方法 Pending CN107862662A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711089466.3A CN107862662A (zh) 2017-11-08 2017-11-08 基于阵列镜头的图像重对焦方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711089466.3A CN107862662A (zh) 2017-11-08 2017-11-08 基于阵列镜头的图像重对焦方法

Publications (1)

Publication Number Publication Date
CN107862662A true CN107862662A (zh) 2018-03-30

Family

ID=61699943

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711089466.3A Pending CN107862662A (zh) 2017-11-08 2017-11-08 基于阵列镜头的图像重对焦方法

Country Status (1)

Country Link
CN (1) CN107862662A (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104101331A (zh) * 2014-07-24 2014-10-15 合肥工业大学 基于全光场相机的非合作目标位姿测量
US20150163471A1 (en) * 2013-12-09 2015-06-11 Himax Imaging Limited Camera array system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150163471A1 (en) * 2013-12-09 2015-06-11 Himax Imaging Limited Camera array system
CN104101331A (zh) * 2014-07-24 2014-10-15 合肥工业大学 基于全光场相机的非合作目标位姿测量

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
薛红梅: "阵列图像的深度信息估计及应用研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
邹建成 李丹: "基于阵列图像立体匹配的深度信息获取方法", 《北方工业大学学报》 *

Similar Documents

Publication Publication Date Title
CN102859989B (zh) 组合来自多个图像传感器的数据
US9432656B2 (en) Image capturing device including lens array and processing
JP5238429B2 (ja) 立体映像撮影装置および立体映像撮影システム
US9055218B2 (en) Image processing apparatus, image processing method, and program for combining the multi-viewpoint image data
CN102959970B (zh) 在立体显示成像期间确定成像范围内障碍物的装置、方法和程序
US8928737B2 (en) System and method for three dimensional imaging
CN104662887B (zh) 图像处理设备、图像处理方法和具有该图像处理设备的摄像设备
JP2014056466A (ja) 画像処理装置及び方法
CN101883215A (zh) 成像设备
TWI527434B (zh) 利用光場相機產生立體影像的方法及光場相機
CN101276415A (zh) 用多定焦摄像机实现多分辨率图像采集的装置和方法
JP2015521411A (ja) πフィルタ群を用いてパターン化されたカメラモジュール
CN102164298A (zh) 全景成像系统中基于立体匹配的元素图像获取方法
US9648305B2 (en) Stereoscopic imaging apparatus and stereoscopic imaging method
CN106165398B (zh) 摄像元件、摄像装置以及图像处理装置
JP6131545B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
JP6419110B2 (ja) アレイ式レンズモジュール
CN103688536A (zh) 图像处理装置、图像处理方法及程序
CN103118225A (zh) 摄像装置
CN103621078B (zh) 图像处理装置和图像处理程序
CN103828346B (zh) 固体摄像装置
US20130208097A1 (en) Three-dimensional imaging system and image reproducing method thereof
JP2014165907A (ja) 固体撮像装置及び撮像装置
CN103796002B (zh) 基于正交投影的一维集成成像3d拍摄方法
CN103430094A (zh) 图像处理装置、拍摄装置以及图像处理程序

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180330