CN114782545A - 一种消除主镜头畸变的光场相机标定方法 - Google Patents

一种消除主镜头畸变的光场相机标定方法 Download PDF

Info

Publication number
CN114782545A
CN114782545A CN202210272045.9A CN202210272045A CN114782545A CN 114782545 A CN114782545 A CN 114782545A CN 202210272045 A CN202210272045 A CN 202210272045A CN 114782545 A CN114782545 A CN 114782545A
Authority
CN
China
Prior art keywords
light field
camera
light
distortion
field camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210272045.9A
Other languages
English (en)
Inventor
殷永凯
于锴
梁叶
孟祥锋
杨修伦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN202210272045.9A priority Critical patent/CN114782545A/zh
Publication of CN114782545A publication Critical patent/CN114782545A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods

Abstract

一种消除主镜头畸变的光场相机标定方法，将光场相机视为实现像素与光线映射的黑盒系统，将光场相机中心视点成像模型等效于经典相机模型，估计出标靶平面的姿态参数；利用相机外参矩阵，求得从光场相机每个像素出射的光线与标靶平面的交点坐标，多次变换相机与标靶相对位置产生多个交点，拟合出与像素对应的光线在三维空间中的参数方程，对光线做均匀重采样处理，消除标定误差，便得到无畸变的光场分布；基于极平面图的光场三维重构，利用对光场相机光线方程的标定与重采样，在无畸变光场中提取的极平面图，由主镜头畸变造成的线性结构变形现象被消除。本发明解决了因光场相机主镜头畸变造成的极平面图线性结构变形的问题，消除了光场相机主镜头畸变。

Description

一种消除主镜头畸变的光场相机标定方法
技术领域
本发明涉及一种用于对光场相机进行标定的方法，属于光场三维成像与测量领域。
背景技术
经典成像系统记录的是二维图像，从数学的角度看相当于空间三维信息在像面上的二维投影，目标和场景的深度信息在投影过程中被丢失掉了。如果希望更真实地还原目标，或者对目标的几何形貌、位置、内部结构等进行定量分析，则需要从二维图像中还原丢失掉的深度信息和三维结构，相关技术统称为三维成像技术。随着科学技术的不断发展和生产要求的逐步提高，三维测量技术的研究已经取得了长足的进步，以满足不断增长并日趋严格的测量需求。在社会生产需要的促进下，三维测量技术被日益广泛地应用于测绘导航、机器视觉、逆向工程、工业制造、质量控制、文物保护、生物医疗、影视娱乐等各个领域。
光场成像技术作为近年来兴起的技术，与经典成像相比，在记录光线强度之余，还记录了光线方向信息，突破了经典成像的一些局限性。这一特性也使得光场成像在三维成像与三维测量领域有了广泛的应用与更多的可能性。斯坦福计算机图形学实验室在此基础上设计出了微透镜阵列光场相机和光场显微镜。该实验室分析了全光相机的积分过程，将数字对焦过程变换到傅立叶域，应用傅立叶切片定理实现图像焦深的快速变化，并先后推出了两款消费级别的光场相机。
光场相机与传统相机相比，在传感器与主镜头之间加入了微透镜阵列，位于主镜头焦平面处，传感器位于微透镜焦平面处，在记录光线强度信息之余，还记录了光线的方向信息，使其具有了在单次曝光下提取多视点图像的功能，视点个数等于单个微透镜后传感器像素个数，单视点图像分辨率等于微透镜个数。由于光场相机边缘视点畸变模型与经典相机差别较大，使得无法对光场相机参数进行准确标定。
因光场相机的主镜头畸变会易造成极平面图线性结构变形，现有技术在当前还没有实现对光场相机畸变成功建模，尚不能解决消除光场相机主镜头畸变的问题，无法消除光场相机主镜头畸变对三维重构的影响。
发明内容
本发明针对现有光场相机存在的主镜头畸变的问题，提供一种可消除主镜头畸变的光场相机标定方法，将光场相机视为实现像素与光线映射的黑盒系统，通过对光线方程的标定与重采样，实现对光场相机主镜头畸变的消除。该方法在当前还没有对光场相机畸变成功建模的情况下，有效地消除了光场相机主镜头畸变对三维重构的影响。
本发明的消除主镜头畸变的光场相机标定方法，采用以下技术方案：
将光场相机视为实现像素与光线映射的黑盒系统，将光场相机中心视点成像模型等效于经典相机模型(针孔模型)，估计出标靶平面的姿态参数；利用相机外参矩阵(旋转平移矩阵)，求得从光场相机每个像素出射的光线与标靶平面的交点坐标，多次变换相机与标靶相对位置产生多个交点，进而拟合出与像素一一对应的光线在三维空间中的参数方程(此时认为标定出的光线方程是不受光场相机主镜头畸变影响的)，对光线做均匀重采样处理，消除标定误差，便得到无畸变的光场分布；在无畸变光场中提取极平面图，由主镜头畸变造成的极平面图中倾斜直线线性结构变形现象被消除。
所述标靶为一个显示器(平面液晶显示器)，作为平面标靶，将含有相位信息的图案在显示器上显示并被光场相机捕获，由于光场相机具有单次曝光能够获得多视点图像的功能，将中心视点的畸变模型近似看作经典相机畸变模型，进而估计出标靶平面姿态。用一个平面液晶显示器作为相机标定所需要的平面标靶，所需器件简单易得；并可方便地显示不同的图案。以显示器中的像素作为特征点，借助于相位信息可以灵活方便地得到密集的、高精度的特征点集。
所述极平面图的光场重构过程是：
采用四维光场，即：光场内部的所有光线都用其通过的两个平行平面的四维函数来表征；固定两个垂直方向参数，提取到四维光场水平二维切片，即极平面图。垂直二维切片同理。极平面图具有明显的线性结构，其中每条倾斜直线对应于一个场景目标点，该点的深度与这一直线斜率具有映射关系，所以最后场景深度重建依赖于对极平面图倾斜直线的斜率求解。
所述光线在三维空间中的参数方程(根据标定得到的光线方程)在某深度平面下的交点分布，建立均匀网格，通过对四维光场重新采样以消除主镜头畸变。提取的极平面图较之于重采样前，线性结构变形的现象被消除，提高了三维重构精度。
本发明采用基于极平面图的光场三维重构，利用对光场相机光线方程的标定与重采样，解决了因光场相机主镜头畸变造成的极平面图线性结构变形的问题，成功消除光场相机主镜头畸变。
本发明具有以下特点：
(1)本发明在无法对光场相机参数进行准确标定的情况下，舍弃结构化模型描述，而将光场相机视为实现像素与光线映射的黑盒系统，通过对光线方程的标定实现光场相机标定。
(2)本发明将光场相机中心视点模型近似看作经典相机，估计出标靶平面姿态信息，并通过旋转平移矩阵求出交点坐标，由交点坐标拟合出光线方程，随后对光线做均匀重采样处理，消除标定误差，便可得到无畸变的光场分布，在无畸变光场中提取极平面图，由主镜头畸变造成的线性结构变形现象被消除，提高了光场相机三维重构精度。
(3)本发明使用液晶显示器作为相机标定标靶，所需器件简单易得；以显示器中的像素作为特征点，从而灵活方便地得到密集的、高精度的特征点集；
(4)本发明从几何光学出发，设计了一个简洁明了、思路清晰、便于理解的高精度标定方法。
附图说明
图1是本发明中的光线方程标定结果图(两个不同角度的视图)。
图2是本发明中光线均匀重采样示意图，(a)为重采样前含误差光线交点分布示意图，(b)为重采样后光线交点均匀分布示意图。
图3是本发明消除主镜头畸变的光场相机标定方法的流程图。
具体实施方式
由于光场相机边缘视点畸变模型与经典相机差别较大，使得无法对光场相机参数进行准确标定，所以本发明在没有合理的光场相机畸变模型的情况下，舍弃结构化模型描述，而将光场相机视为实现像素与光线映射的黑盒系统，通过对光线方程的标定实现光场相机标定。将光场相机中心视点成像模型近似等效于经典相机模型，对标靶平面姿态进行估计，利用标靶平面姿态参数的转换关系(即旋转平移矩阵)求出光线与靶面交点，进而拟合出光线方程。在主镜头外选择深度平面做光线重采样，得到无畸变的光场分布。待测场景原始光场被光场相机捕获，利用二维线性插值便可得到不受畸变影响的光场分布，此时重新提取极平面图，极平面图中线性结构变形的情况可被消除。
本发明仅将光场相机中心视点模型看作经典相机模型(又称作针孔模型)，以便确定标靶姿态。针孔模型描述了相机成像过程中四个坐标系转化关系，包括：(1)二维图像坐标系；(2)二维成像平面坐标系；(3)三维摄像机坐标系；(4)三维世界坐标系。相机标定的目的是找到三维空间和二维图像之间的对应关系。这种对应关系可以通过两个变换关系来完成：首先，将世界坐标系转换为相机坐标系，求解过程中的参数是相机的外部参数；其次，将相机坐标系转换为图像坐标系，在求解过程的这一部分中，参数是相机的内部参数(下公式用K表示)。最终成像平面坐标系与世界坐标系转化关系表示为：
Figure BDA0003553902260000031
由于光场相机边缘视点畸变模型与经典相机差别较大，使得无法通过此流程准确完成光场相机参数标定。想要得到光线方程就需要已知直线上多个点的空间坐标，因此需要一个含有稠密目标点的平面标靶变换多次与相机的相对位置。本发明用液晶显示器作为相机标定所需要的平面标靶，实验系统由一个液晶显示器和一个光场相机组成，其中光场相机单视点图像分辨率为625×434，视点分辨率为15×15。
含相位信息的垂直条纹与水平条纹在平面液晶显示器显示后被光场相机所捕获。本发明利用相位辅助信息，以高密度的显示器像素作为标定所需要的特征点。对标靶平面相对于相机的不同姿态下的外参标定完毕后，便可对光线与靶面的交点坐标进行求解：
Figure BDA0003553902260000032
其中
Figure BDA0003553902260000033
Figure BDA0003553902260000034
为水平方向展开相位值；lH为显示屏单个像素的水平长度；T为条纹周期；
Figure BDA0003553902260000035
Figure BDA0003553902260000036
为垂直方向展开相位值lV为显示屏单个像素的垂直长度；Zw＝0。最后用多个交点坐标拟合出该像素出射的光线方程：
Figure BDA0003553902260000041
其中x0，y0，m，n均为拟合直线方程参数。此时认为标定出的光线方程是不受光场相机主镜头畸变影响的。图1给出了两个不同角度的视图的光线方程标定结果。
基于上述的四维光场双平面模型，在重采样过程中可以在主镜头外部选择任意深度值平面，重采样平面选择深度的不同仅会导致斜率与深度映射系数的不同。将平面选取深度值带入光线方程可求得在这一深度下所有光线的交点分布，观察交点分布，建立合适的等间距网格，在这一平面上对光线做均匀重采样，消除了光线方程标定时的误差，均匀采样示意图如图2所示。此时光线方程标定全部完成。
通过光线方程的标定，可以获取到在这一平面上不含畸变的光场分布，再以其为样本，利用二维线性插值，插值出不同视点下在这一网格中不受畸变影响的光场分布，此时便完成了对无畸变光场的重新提取，重新提取的极平面图中直线不再有线性结构变形的情况。进而完成后续的映射系数标定。
如图3所示流程，利用一维线性插值可以找到极平面图中直线上精确亚像素坐标，进而拟合出直线斜率。选择多项式拟合的办法估计斜率与深度映射关系。以三阶多项式为例，此时场景深度Z＝p1×s3+p2×s2×p3×s+p4，其中s为极平面图中直线的斜率。接下来要在定焦情况下对这一深度重采样后提取的极平面图斜率与深度映射系数p1、p2、p3和p4做标定。
在中心视点下，每个像素出射的光线都有与不同姿态靶面的交点对应，用这多个交点的深度值与该像素对应的斜率值便可拟合出该像素的斜率深度映射系数。后续对任意物体做重构，在定焦情况下，其深度系数都不会改变。
最后对任意物体做三维重构时，都可以通过已标定得到的交点分布与网格坐标重新采样无畸变光场，进而求解深度坐标。

Claims (4)

1.一种消除主镜头畸变的光场相机标定方法，其特征是：
将光场相机视为实现像素与光线映射的黑盒系统，将光场相机中心视点成像模型等效于经典相机模型，估计出标靶平面的姿态参数；利用相机外参矩阵，求得从光场相机每个像素出射的光线与标靶平面的交点坐标，多次变换相机与标靶相对位置产生多个交点，进而拟合出与像素一一对应的光线在三维空间中的参数方程，对光线做均匀重采样处理，消除标定误差，便得到无畸变的光场分布；基于极平面图的光场三维重构，利用对光场相机光线方程的标定与重采样，在无畸变光场中提取的极平面图，由主镜头畸变造成的线性结构变形现象被消除。
2.根据权利要求1所述的消除主镜头畸变的光场相机标定方法，其特征是：所述标靶为一个平面液晶显示器，作为平面标靶，将含有相位信息的图案在显示器上显示并被光场相机捕获，由于光场相机具有单次曝光能够获得多视点图像的功能，将中心视点的畸变模型近似看作经典相机畸变模型，进而估计出标靶平面姿态信息。
3.根据权利要求1所述的消除主镜头畸变的光场相机标定方法，其特征是：所述基于极平面图的光场重构过程是：
采用四维光场，即：光场内部的所有光线都用其通过的两个平行平面的四维函数来表征；固定两个垂直方向参数，提取到四维光场水平二维切片，即极平面图。
4.根据权利要求1所述的消除主镜头畸变的光场相机标定方法，其特征是：所述光线在三维空间中的参数方程在某深度平面下的交点分布，建立均匀网格，通过对四维光场重新采样以消除主镜头畸变。
CN202210272045.9A 2022-03-18 2022-03-18 一种消除主镜头畸变的光场相机标定方法 Pending CN114782545A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210272045.9A CN114782545A (zh) 2022-03-18 2022-03-18 一种消除主镜头畸变的光场相机标定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210272045.9A CN114782545A (zh) 2022-03-18 2022-03-18 一种消除主镜头畸变的光场相机标定方法

Publications (1)

Publication Number Publication Date
CN114782545A true CN114782545A (zh) 2022-07-22

Family

ID=82426009

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210272045.9A Pending CN114782545A (zh) 2022-03-18 2022-03-18 一种消除主镜头畸变的光场相机标定方法

Country Status (1)

Country Link
CN (1) CN114782545A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105654484A (zh) * 2015-12-30 2016-06-08 西北工业大学 光场相机外参数标定装置及方法
CN110012196A (zh) * 2019-02-22 2019-07-12 华中光电技术研究所（中国船舶重工集团有限公司第七一七研究所） 一种光场相机重聚焦方法
CN110060303A (zh) * 2019-03-18 2019-07-26 英特科利(江苏)医用内窥影像技术有限公司 一种光场相机的两步标定方法
CN110310338A (zh) * 2019-06-24 2019-10-08 西北工业大学 一种基于多中心投影模型的光场相机标定方法
CN113205592A (zh) * 2021-05-14 2021-08-03 湖北工业大学 一种基于相位相似性的光场三维重建方法及系统
CN113724371A (zh) * 2021-08-13 2021-11-30 深圳技术大学 同轴照明光场的三维成像方法、系统、电子装置及存储介质
CN114111626A (zh) * 2021-11-26 2022-03-01 深圳技术大学 一种基于同轴投影的光场相机三维测量装置及系统
CN114145011A (zh) * 2019-07-18 2022-03-04 微软技术许可有限责任公司 光场相机阵列错误校准的动态检测和校正

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105654484A (zh) * 2015-12-30 2016-06-08 西北工业大学 光场相机外参数标定装置及方法
CN110012196A (zh) * 2019-02-22 2019-07-12 华中光电技术研究所（中国船舶重工集团有限公司第七一七研究所） 一种光场相机重聚焦方法
CN110060303A (zh) * 2019-03-18 2019-07-26 英特科利(江苏)医用内窥影像技术有限公司 一种光场相机的两步标定方法
CN110310338A (zh) * 2019-06-24 2019-10-08 西北工业大学 一种基于多中心投影模型的光场相机标定方法
CN114145011A (zh) * 2019-07-18 2022-03-04 微软技术许可有限责任公司 光场相机阵列错误校准的动态检测和校正
CN113205592A (zh) * 2021-05-14 2021-08-03 湖北工业大学 一种基于相位相似性的光场三维重建方法及系统
CN113724371A (zh) * 2021-08-13 2021-11-30 深圳技术大学 同轴照明光场的三维成像方法、系统、电子装置及存储介质
CN114111626A (zh) * 2021-11-26 2022-03-01 深圳技术大学 一种基于同轴投影的光场相机三维测量装置及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
PING ZHOU等: ""A two-step calibration method of lenslet-based light field camera"", 《OPTICS AND LASERS IN ENGINEERING》, 30 April 2019 (2019-04-30), pages 190 - 196 *
刘青松等: ""用于聚焦型光场相机标定的棋盘角点检测算法"", 《光学学报》, 31 July 2020 (2020-07-31), pages 1 - 8 *

Similar Documents

Publication Publication Date Title
CN110288642B (zh) 基于相机阵列的三维物体快速重建方法
CN106981083B (zh) 双目立体视觉系统摄像机参数的分步标定方法
CN107063129B (zh) 一种阵列式并行激光投影三维扫描方法
CN109272537B (zh) 一种基于结构光的全景点云配准方法
CN109712232B (zh) 一种基于光场的物体表面轮廓三维成像方法
CN113175899B (zh) 相机与振镜结合的变视线系统三维成像模型及其标定方法
CN112132906A (zh) 一种深度相机与可见光相机之间的外参标定方法及系统
CN114283203B (zh) 一种多相机系统的标定方法及系统
CN110349257B (zh) 一种基于相位伪映射的双目测量缺失点云插补方法
CN115861445B (zh) 一种基于标定板三维点云的手眼标定方法
Yang et al. A dual-platform laser scanner for 3D reconstruction of dental pieces
CN113446957A (zh) 基于神经网络标定和散斑追踪的三维轮廓测量方法及装置
CN110532865B (zh) 基于可见光与激光融合的航天器结构识别方法
CN111739103A (zh) 一种基于单点标定物的多相机标定系统
CN114998448A (zh) 一种多约束双目鱼眼相机标定与空间点定位的方法
CN113643436A (zh) 一种深度数据拼接融合方法及装置
CN117115272A (zh) 用于降水粒子多角度成像的远心相机标定和三维重构方法
CN114782545A (zh) 一种消除主镜头畸变的光场相机标定方法
Wu et al. A camera calibration method based on OpenCV
CN115797466A (zh) 一种快速的三维空间标定方法
CN106934861B (zh) 物体三维重建方法及装置
Huang et al. Design and experimental validation of novel 3D optical scanner with zoom lens unit
Hongsheng et al. Three-dimensional reconstruction of complex spatial surface based on line structured light
CN113298882A (zh) 一种用于显微三维形貌测量系统的摄像机标定装置和方法
Liu et al. Calibration of a stereo microscope based on non-coplanar feature points with iteratively weighted radial alignment constraint

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination