CN110310337B - 一种基于光场基本矩阵的多视光场成像系统全参数估计方法 - Google Patents

一种基于光场基本矩阵的多视光场成像系统全参数估计方法 Download PDF

Info

Publication number
CN110310337B
CN110310337B CN201910547316.5A CN201910547316A CN110310337B CN 110310337 B CN110310337 B CN 110310337B CN 201910547316 A CN201910547316 A CN 201910547316A CN 110310337 B CN110310337 B CN 110310337B
Authority
CN
China
Prior art keywords
light field
camera
calibrated
light
field camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910547316.5A
Other languages
English (en)
Other versions
CN110310337A (zh
Inventor
张琦
王庆
李亚宁
周果清
王雪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN201910547316.5A priority Critical patent/CN110310337B/zh
Publication of CN110310337A publication Critical patent/CN110310337A/zh
Application granted granted Critical
Publication of CN110310337B publication Critical patent/CN110310337B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供了一种基于光场基本矩阵的多视光场成像系统全参数估计方法，主要环节包括：光场基本矩阵及多视光场关联关系、光场相机内参数与外参数线性初始化方法、多视光场成像系统内外参数非线性优化方法。本发明通过引入已标定相机/光场相机对多视光场成像系统中任意光场相机进行标定及注册的方法，规避了用特殊的标定物来标定及注册光场相机的繁琐任务，因而有极大的灵活性，有助于在保证精确度与稳定性的前提下简化多视光场成像系统的标定过程。

Description

一种基于光场基本矩阵的多视光场成像系统全参数估计方法
技术领域
本发明涉及计算机视觉、计算摄像学和光学工程领域，具体涉及一种多视光场相机的标定及注册方法。
背景技术
光场成像理论的兴起是计算机摄像学领域的一大重要革新，它突破了传统成像技术的种种局限。光场相机通过记录空间中光线的位置和角度信息，减少了拍摄信息的流失，取得了可变视点、数字重聚焦、景深扩展及可调等新颖的成像效果。然而，现有光场成像设备存在视场小、景深不足、空间和角度分辨率折衷等缺陷，在一定程度上制约着光场成像技术的发展，多视光场相机标定及注册对突破光场相机缺陷及重建高质量光场至关重要，进而促进光场相机在深度估计、三维重建、光场重建、即时定位及地图构建(SLAM)等领域的广泛应用。
2013年，Dansereau等人阐述了由光场相机初始采样到光场数据的解码方法，提出了包含12个内参数的光场相机成像模型，并利用三维点到光线的距离设计代价函数，从而完成光场相机内参数的标定。然而，该方法依赖传统相机阵列内参标定方法估计光场相机初值，复杂度较高。另一方面，该方法的成像模型的参数冗余且在视点坐标与图像坐标存在依赖关系，导致光场数据在解码过程中的非均匀采样问题。2017年，Bok等人从光场相机的物理结构出发，提出了六参数的光场相机的投影模型，并利用线特征作为测量值估计光场相机内参数。但是，微透镜图像的低分辨率限制了线特征的精度，从而影响标定的精度。
现有多视光场相机外参数注册方法主要在光场相机内参数已知的情况下，估计多组光场相机的位置关系。2015年，Johannsen等人利用普朗克坐标表征光场相机记录的光线，利用光线间的变换关系构建了三维场景点与光线间的线性约束，并进一步估计多个光场相机的外参数包括旋转矩阵及平移向量。然而，该方法依赖于精确的内参数，需要特殊标定物先行完成光场相机的内参数标定，过程繁琐。2015年，Guo等人同样基于普朗克坐标提出了光线运动矩阵表征空间中光线的变换，并根据不同光场间的光线匹配估计光场相机的外参数。但是，该方法要求不同光场间光线重叠，制约了光场相机的运动。
发明内容
为了克服现有技术的不足，本发明提供一种基于光场基本矩阵的多视光场成像系统全参数估计方法，通过引入一台已标定相机或光场相机，利用光场基本矩阵所表征的光线关联关系完成多视光场成像系统的全参数估计。
本发明解决其技术问题所采用的技术方案包括以下步骤：
S1、建立由平行的视点平面和图像平面构成的光场相机双平行平面相对坐标参数化，构建投影中心随视点变化的光场相机多中心投影模型；利用普朗克坐标描述光线，构建光场相机的6×6光线内参矩阵K，将光场相机的光场坐标系下光线的普朗克坐标
Figure BDA0002104386780000021
转换为光场相机的相机坐标系下物理尺度归一化光线r的普朗克坐标
Figure BDA0002104386780000022
Figure BDA0002104386780000023
其中，
Figure BDA0002104386780000024
是光场相机的内参数，(ki,kj)是视点平面上s-轴与t-轴方向的缩放，(ku,kv)是图像平面上x-轴y-轴方向的缩放；(u0/ku,v0/kv)表征子孔径图像的主点偏移，m和n表示普朗克参数化下光线的力矩，q和p表示普朗克参数化下光线的方向；基于普朗克坐标系下光线的相交的充要条件推导得出多视光场的光场基本矩阵F，
Figure BDA0002104386780000025
其中，R是两个光场相机间的旋转矩阵，t是两个光场相机间的平移向量；
S2、在多视光场成像系统中引入共视场的已标定相机/光场相机，通过变换已标定相机/光场相机姿态获取多视光场数据，其中，多视光场数据中包含共同场景；通过特征匹配的方法获取多视光场成像系统中任意待标定光场相机与已标定相机/光场相机所记录部分重叠数据间的光线集匹配；根据光场基本矩阵，构建已标定相机/光场相机与待标定光场相机间的关联关系，
Figure BDA0002104386780000031
其中，
Figure BDA0002104386780000032
为待标定的光场相机提取的光线特征，K2为待标定的光场相机内参矩阵，R为待标定的光场相机的相机坐标系到已标定相机/光场相机的相机坐标系的旋转矩阵，t为待标定的光场相机的相机坐标系到已标定相机/光场相机的相机坐标系的平移向量，
Figure BDA0002104386780000033
为提取光线在已标定相机/光场相机的相机坐标系下的普朗克坐标，通过已标定相机/光场相机的内参数转换而来；根据已标定相机/光场相机与待标定光场相机间的关联关系及旋转矩阵R的正交性和一致性，通过线性矩阵运算方法线性求解待标定光场相机的内参矩阵K2及外参矩阵(R,t)；
S3、通过最小化同一空间点在每个光场下的特征光线集间的光线几何距离对多视光场成像系统中任意光场相机的内参数
Figure BDA0002104386780000034
和外参数(R,t)进行非线性优化，构建代价函数
Figure BDA0002104386780000035
通过最小化已标定相机/光场相机的相机坐标系下光线
Figure BDA0002104386780000036
与
Figure BDA0002104386780000037
在所述坐标系的估计值
Figure BDA0002104386780000038
的几何距离和待标定光场相机的相机坐标系下光线
Figure BDA0002104386780000039
与
Figure BDA00021043867800000310
在所述坐标系的估计值
Figure BDA00021043867800000311
的几何距离得到待标定光场相机内参数和外参数的最优解。
所述的非线性优化方法采用Levenberg-Marquardt算法或Gauss-Newton算法。
本发明的有益效果是：通过引入已标定相机/光场相机对多视光场成像系统中任意光场相机进行标定及注册的方法，规避了用特殊的标定物来标定及注册光场相机的繁琐任务，因而有极大的灵活性，有助于在保证精确度与稳定性的前提下简化多视光场成像系统的标定过程。
附图说明
图1(a)是光场相机的相机坐标系及世界坐标系示意图，其中光场相机的相机坐标系示出了双平行平面及光线的双平行平面相对坐标参数化方式；图1(b)是在双平行平面相对坐标参数化坐标下由传统相机投影模型推导而来的光场相机随视点变化的多中心投影模型示意图；
图2(a)是可应用于本发明实施例的光场相机的光路示意图；图2(b)是可应用于图2a所示光路设计的光场相机的解码方式示意图；图2(c)是本发明实施例中应用于图2b解码方式所对应的光场相机光场坐标系定义示意图；
图3是光场相机的光场坐标系下双平行平面与光场相机的相机坐标系下双平行平面的变换示意图，其中图3(a)是光场相机的光场坐标系与相机坐标系的视点平面的变换及相关内参数定义示意图，图3(b)是光场相机的光场坐标系与相机坐标系的图像平面的变换及相关内参数定义示意图；
图4(a)是本发明实施例所述的已标定相机与多视光场成像系统中任意待标定光场相机的关系示意图；图4(b)是本发明实施例所述的已标定光场相机与多视光场成像系统中任意待标定光场相机的关系示意图；
图5是本发明实施例所述的多视光场成像系统全参数估计方法流程图。
具体实施方式
下面结合附图和实施例对本发明进一步说明，本发明包括但不仅限于下述实施例。
多视光场成像系统是由多台光场相机按照一定规律排布组合的系统，为了克服现有技术对多视光场成像系统中光场相机标定及注册方法的繁琐问题和对特殊标定物的依赖问题，本发明通过光场基本矩阵构建多视光场中光线间的关联关系，并基于此设计了一套光场相机标定与注册方法，最终完成多视光场成像系统的标定。
本发明通过引入已标定相机/光场相机，提出一种基于光场基本矩阵的多视光场成像系统的标定及注册方法，旨在计算多视光场成像系统中任意光场相机的标定及注册。主要环节包括：光场基本矩阵及多视光场关联关系、光场相机内参数与外参数线性初始化方法、多视光场成像系统内外参数非线性优化方法。所述方法包含以下步骤：
S1、光场基本矩阵及多视光场关联关系。
建立由平行的视点平面(s-t平面)和图像平面(x-y平面)构成的光场相机双平行平面相对坐标参数化，根据普通相机投影模型构建投影中心随视点变化的光场相机多中心投影模型。继而利用普朗克坐标描述光线，构建光场相机的6×6光线内参矩阵K，将光场相机的光场坐标系下光线的普朗克坐标
Figure BDA0002104386780000041
转换为光场相机的相机坐标系下物理尺度归一化光线r的普朗克坐标
Figure BDA0002104386780000042
Figure BDA0002104386780000043
其中，
Figure BDA0002104386780000051
是光场相机的内参数，(ki,kj)是视点平面上s-轴与t-轴方向的缩放，(ku,kv)是图像平面上x-轴y-轴方向的缩放。除此之外，(u0/ku,v0/kv)表征子孔径图像的主点偏移，m和n表示普朗克参数化下光线的力矩，q和p表示普朗克参数化下光线的方向。基于普朗克坐标系下光线的相交的充要条件推导得出多视光场的光场基本矩阵F，
Figure BDA0002104386780000052
其中，R是两个光场相机间的旋转矩阵，t是两个光场相机间的平移向量。
S2、光场相机内外参数线性求解方法。
在多视光场成像系统中引入共视场的已标定相机/光场相机，通过变换已标定相机/光场相机姿态获取多视光场数据，其中，多视光场数据中包含共同场景；通过特征匹配的方法获取多视光场成像系统中任意待标定光场相机与已标定相机/光场相机所记录部分重叠数据间的光线集匹配；根据光场基本矩阵，构建已标定相机/光场相机与待标定光场相机间的关联关系，
Figure BDA0002104386780000053
其中，
Figure BDA0002104386780000054
为待标定的光场相机提取的光线特征，K2为待标定的光场相机内参矩阵，R为待标定的光场相机的相机坐标系到已标定相机/光场相机的相机坐标系的旋转矩阵，t为待标定的光场相机的相机坐标系到已标定相机/光场相机的相机坐标系的平移向量，
Figure BDA0002104386780000055
为提取光线在已标定相机/光场相机的相机坐标系下的普朗克坐标，可通过已标定相机/光场相机的内参数转换而来。根据已标定相机/光场相机与待标定光场相机间的关联关系及旋转矩阵R的正交性和一致性，通过线性矩阵运算方法线性求解待标定光场相机的内参矩阵K2及外参矩阵(R,t)。
S3、非线性优化方法。
S2中介绍了通过在多视光场成像系统中引入已标定相机/光场相机完成多视光场成像系统的标定及注册的线性方法。为进一步得到多视光场成像系统的内外参数的精确解，通过最小化同一空间点在每个光场下的特征光线集间的光线几何距离对多视光场成像系统中任意光场相机的内参数
Figure BDA0002104386780000056
和外参数(R,t)进行非线性优化，构建代价函数，
Figure BDA0002104386780000061
通过最小化已标定相机/光场相机的相机坐标系下光线
Figure BDA0002104386780000062
与
Figure BDA0002104386780000063
在所述坐标系的估计值
Figure BDA0002104386780000064
的几何距离和待标定光场相机的相机坐标系下光线
Figure BDA0002104386780000065
与
Figure BDA0002104386780000066
在所述坐标系的估计值
Figure BDA0002104386780000067
的几何距离得到待标定光场相机内参数和外参数的最优解。非线性优化方法有Levenberg-Marquardt算法、Gauss-Newton算法等，本发明包括但不限于这些非线性优化方法。
多视光场成像系统是由若干台相机搭建而成的，这些相机包含光场相机但不仅限于光场相机。本实施例以多个光场相机构成的多视光场成像系统为例，介绍多视光场成像系统的相机标定及注册方法。本发明实施例提出的多视光场相机系统的相机标定及多相机注册方法，包括以下步骤：
S1、建立光场基本矩阵及多视光场关联关系
S1.1、建立光场相机光线的TPP参数化描述
本发明采用TPP对光场相机采集到的光线进行参数化表示，具体方法如下：定义光场相机的视点s-t平面与图像x-y平面，如图2所示，其中视点平面在光场相机的相机坐标系Z＝0平面，图像平面在Z＝f平面，通常将双平面间距归一化为1。则光场相机的光线用TPP可参数化为r＝(s,t,x,y)T，可构建104相机坐标系下空间点(X,Y,Z)T与102图像平面相对坐标(x,y)的映射关系，如图1b所示，
Figure BDA0002104386780000068
其中，λ＝Z为缩放因子。图2a示意性地示出了，应用于本实施例的光场相机的光路图。201表示光场相机的主透镜，202微透镜阵列放置在201光场相机主透镜的一倍焦距处，204光场相机传感器平面放置在203微透镜的一倍焦距处。图2b示意性地示出了可应用于图2a所示光路设计的光场相机的解码方式。另一方面，图2a所示的光路设计的光场相机所记录的光线即光场相机的光场坐标系下光线双平行平面参数化为l＝(i,j,u,v)T，如图2c所示，该光线可通过一个齐次的解码矩阵
Figure BDA0002104386780000069
转换为物理尺度下归一化的光线r，
Figure BDA0002104386780000071
其中，如图3所示，
Figure BDA0002104386780000072
是光场相机的内参数，(ki,kj)是视点平面上s-轴与t-轴方向的缩放，如图3a所示。除此之外，(ku,kv)是图像平面上x-轴y-轴方向的缩放，(u0/ku,v0/kv)表征子孔径图像的主点偏移，如图3b所示。解码矩阵D表征了光场相机的光场坐标系下双平行平面参数化光线变换到光场相机的光场坐标系下双平行平面参数化光线。本发明可应用于包括但不仅限于该种光路设计的光场相机，仅需将光场相机所记录的数据通过特定方式解码为双平行平面参数化坐标即可。
S1.2、基于普朗克坐标的光场相机内参矩阵
为了更好的描述光场相机捕获光线的采样与变换，本发明采用普朗克参数化描述光线。给定任意光线r＝(s,t,x,y)T，将光线由双平行平面参数化坐标转换为普朗克参数化坐标，
Figure BDA0002104386780000073
其中，q表示光线的方向，m表示光线上任意一点的力矩。本发明将光场相机的光场坐标系下光线l的普朗克参数化坐标
Figure BDA0002104386780000074
转换为光场相机的相机坐标系下物理尺度归一化光线r的普朗克参数化坐标
Figure BDA0002104386780000075
Figure BDA0002104386780000076
其中，K为光场相机光线内参矩阵，Kij表示普朗克参数化下光线力矩的内参矩阵，Kuv表示普朗克参数化下光线方向的内参矩阵，公式满足假设ku/kv＝ki/kj，
Figure BDA00021043867800000816
S1.3、光场基本矩阵
本实施例推导了两个光场间的基本矩阵。两个光场相机记录真实世界中同一场景，两个相机坐标系通过旋转矩阵R＝(r1r2r3)∈SO(3)和平移向量
Figure BDA0002104386780000081
相联系，可定义为，
Figure BDA0002104386780000082
其中，
Figure BDA0002104386780000083
表示301相机坐标系下三维空间点坐标，
Figure BDA0002104386780000084
表示303相机坐标系的三维空间点坐标，如图4所示。将公式5带入公式3中，在普朗克参数化下两个光场相机的相机坐标系的光线间关联关系可定义为，
Figure BDA0002104386780000085
其中，E＝[t]×R是基本矩阵，
Figure BDA0002104386780000086
表示301相机坐标系下光线r1＝(s1,t1,x1,y1)T的普朗克坐标，
Figure BDA0002104386780000087
表示303相机坐标系下光线r2＝(s2,t2,x2,y2)T的普朗克坐标。利用公式4和公式6，可推导光场坐标系下光线间关联关系，
Figure BDA0002104386780000088
其中，K1和K2分别为两个光场相机内参矩阵，
Figure BDA0002104386780000089
表示302光场坐标系下光线
Figure BDA00021043867800000817
的普朗克坐标，
Figure BDA00021043867800000810
表示304光场坐标系下光线
Figure BDA00021043867800000818
的普朗克坐标。公式7可将304光场坐标系下的光线变换为302光场坐标系下的光线，根据普朗克坐标下两个直线
Figure BDA00021043867800000811
和
Figure BDA00021043867800000812
相交的充要条件，
Figure BDA00021043867800000813
假设两个光场由中心不重合的摄像机获得，将公式7和公式8联立，光场基本矩阵F为所有的对应光线集
Figure BDA00021043867800000814
都应满足，
Figure BDA00021043867800000815
多视光场之间通过对真实世界中同一点的观测建立光场基本矩阵，将公式9从二视光场推广至多视光场上，构建普适的多视光场关联关系，
Figure BDA0002104386780000091
公式9描述了多视光场中任意两个光场间的关联关系，可构建任意两个光场的光场基本矩阵。旋转矩阵Rmn和平移向量tmn表征了第m个光场相对于第n个光场的旋转与平移。
S2、线性初始化光场相机内参数与外参数
S2.1、为完成多视光场成像系统的标定及注册，本发明引入一台已标定的相机，这个相机可为光场相机或普通相机，且与多视光场成像系统具备重叠的视场便于光线特征的提取。通过移动已标定相机及多视光场成像系统拍摄若干场景部分重叠的光场数据，其采集过程中需要确保不改变相机参数。
S2.2、利用特征匹配的方法确定待标定光场相机与已标定相机/光场相机所记录部分重叠数据间的光线匹配，特征匹配的方法有SIFT、SURF等，利用特征匹配方法提取每个视点下的子孔径图像的特征(u,v)，通过S1.1中可得到完整的光线TPP坐标(i,j,u,v)，若已标定相机为普通相机，则光线的TPP坐标设置为(0,0,u,v)。这样既可得到重叠的多视数据间的光线特征，本发明包括但不仅限于这些特征提取方法。
图4a示意性地示出了本发明实施例所述的已标定相机与多视光场成像系统中任意待标定光场相机的关系，空间点401发出的光线分别被待标定光场相机402及已标定相机403所记录，通过图2所示解码方法可解码空间点401的在待标定光场相机的光场坐标系上的光线集205a、206a及207a，并与已标定相机的光线208相匹配。
图4a示意性地示出了本发明实施例所述的已标定相机与多视光场成像系统中任意待标定光场相机的关系，空间点401发出的光线分别被待标定光场相机402及已标定光场相机404所记录，通过图2所示解码方法可解码空间点401的在待标定光场相机的光场坐标系上的光线集205a、206a及207a，并与已标定光场相机的光场坐标系上的光线集205b、206b及207b相匹配。
S2.3、利用S2.2建立重叠的多视光场的统一空间点的匹配光线集，
Figure BDA0002104386780000092
其中，所有光线来自同一场景点，M,N≥2以便重建场景点，并根据公式3转换为普朗克坐标，
Figure BDA0002104386780000101
S2.4、多视光场关联关系
本发明通过引入已标定相机/光场相机，可构建已标定相机/光场相机与多视光场相机系统中任意相机间的多视关联关系，二者通过光场相机基本矩阵F(公式9)关联，因此可得，
Figure BDA0002104386780000102
Figure BDA0002104386780000103
其中，
Figure BDA0002104386780000104
为待标定的光场相机提取的光线特征，K2为待标定的光场相机内参矩阵，R为待标定的光场相机的相机坐标系到已标定相机/光场相机的相机坐标系的旋转矩阵，t为待标定的光场相机的相机坐标系到已标定相机/光场相机的相机坐标系的平移向量，
Figure BDA0002104386780000105
为已标定相机/光场相机提取的光线特征，
Figure BDA0002104386780000106
为提取光线在已标定相机/光场相机的相机坐标系下的普朗克坐标，可通过已标定相机/光场相机的内参数转换而来。其中，H定义为6×6多视光场关联矩阵，
Figure BDA0002104386780000107
其中，Hmn为3×3的矩阵。
在已知同一空间点在已标定相机/光场相机的相机坐标系下的光线的普朗克坐标
Figure BDA0002104386780000108
及在待标定光场相机的光场坐标系下的光线的普朗克坐标
Figure BDA0002104386780000109
根据公式13线性求解关联矩阵H，
Figure BDA00021043867800001010
其中，
Figure BDA00021043867800001011
是关联矩阵H按行拉直后的36×1列向量。本发明包括但不仅限于这种线性估计方法。
S2.4、线性估计光场相机内参数
通过公式15可线性求解包含缩放因子λ的多视光场关联矩阵H，根据公式14可得，
λH12＝RKuv (16)
λH21＝RKij (17)
λH22＝[t]×RKuv (18)
根据旋转矩阵的正交特性
Figure BDA00021043867800001118
公式16和公式17可得，
Figure BDA0002104386780000111
Figure BDA0002104386780000112
公式19和公式20通过Cholesky分解，可得包含缩放因子1/λ的待标定光场相机光线方向内参矩阵
Figure BDA0002104386780000113
和待标定光场相机光线力矩内参矩阵
Figure BDA0002104386780000114
通过估计内参矩阵中元素间的作除法消除缩放因子，根据公式19估计光场相机的部分内参数，
Figure BDA0002104386780000115
其中，
Figure BDA0002104386780000116
是待标定光场相机光线方向内参矩阵
Figure BDA0002104386780000117
的m行n列元素。根据公式20估计光场相机的部分内参数，
Figure BDA0002104386780000118
其中，
Figure BDA0002104386780000119
是待标定光场相机光线力矩内参矩阵
Figure BDA00021043867800001110
的m行n列元素。根据公式19及公式20及待标定光场相机光线方向内参矩阵
Figure BDA00021043867800001111
和待标定光场相机光线力矩内参矩阵
Figure BDA00021043867800001112
可得缩放因子，
Figure BDA00021043867800001113
Figure BDA00021043867800001114
其中，|·|指的是矩阵行列式。由此线性推导得出待标定光场相机的部分内参数，
Figure BDA00021043867800001115
Figure BDA00021043867800001116
是待标定光场相机光线力矩内参矩阵
Figure BDA00021043867800001117
的m行n列元素。
S2.5、求解每个光场的外参数
根据已求解的光场相机的内参数，从公式16和公式17可计算待标定光场相机的旋转矩阵R，
Figure BDA0002104386780000121
Figure BDA0002104386780000122
根据公式18、待标定光场相机光线方向内参矩阵
Figure BDA0002104386780000123
及缩放因子λ可得待标定光场相机的平移向量t。
S2.6、多视光场成像系统标定及注册方法
S2.3及S2.4介绍了通过引入已标定相机/光场相机对多视光场成像系统下任意光场相机的内参数
Figure BDA0002104386780000124
的标定及外参数(R,t)的注册，其中旋转矩阵R及平移向量t表征的为多视光场成像系统下任意光场相机的相机坐标系到已标定相机/光场相机的相机坐标系变换。当通过S2.3和S2.4的方法可完成多视光场成像系统下的所有光场相机的标定及注册，通过以已标定相机/光场相机的相机坐标系作为基准坐标系，可实现多视光场成像系统下任意两台光场相机的相机坐标系间变换的外参数即旋转矩阵R和平移向量t的计算。最终实现多视光场成像系统标定及注册方法。
S3、多视光场成像系统内外参数非线性优化
S2中介绍了通过在多视光场成像系统中引入已标定相机/光场相机完成多视光场成像系统的标定及注册的线性方法。为进一步得到多视光场成像系统的内外参数的精确解，通过最小化同一空间点在每个光场下的特征光线集间的光线几何距离对多视光场成像系统中任意光场相机的内参数
Figure BDA0002104386780000125
和外参数(R,t)进行非线性优化，构建代价函数，
Figure BDA0002104386780000126
其中，
Figure BDA0002104386780000127
为提取光线在已标定相机/光场相机的相机坐标系下的普朗克坐标，可通过已标定相机/光场相机的内参数转换而来，
Figure BDA0002104386780000128
为待标定的光场相机提取的光线特征，通过最小化已标定相机/光场相机的相机坐标系下光线
Figure BDA0002104386780000129
与
Figure BDA00021043867800001210
从待标定光场相机光场坐标系变换而来的估计值
Figure BDA00021043867800001211
的几何距离和待标定光场相机的相机坐标系下光线
Figure BDA00021043867800001212
与
Figure BDA00021043867800001213
从已标定相机/光场相机的相机坐标系变换而来的其估计值
Figure BDA00021043867800001214
的几何距离得到最优解。其中，d(·)定义为两根光线间的几何距离，
Figure BDA0002104386780000131
其中，
Figure BDA0002104386780000132
和
Figure BDA0002104386780000133
本发明包括但不仅限于线线间几何距离作为代价函数。在本实施例中，使用Levenberg-Marquardt算法进行非线性优化，该算法是一种基于梯度域的最优化算法，结合了梯度法和牛顿法的优点，且收敛性强，能够通过优化得到有效的结果，本发明包括但不仅限于该非线性优化方法。
已经出于说明和描述的目的提供了对本发明的优选实施方式的前述描述。其并非旨在穷举或将本发明限制于所公开的精确形式。显然，许多修改和变化对于本领域技术人员来说是明显的。选择和描述实施方式是为了最好地解释本发明的原理及其实际应用，从而使得本领域其它技术人员能够理解本发明的各种实施方式并且具有适合于预期的特定用途的各种修改。

Claims (2)

1.一种基于光场基本矩阵的多视光场成像系统全参数估计方法，其特征在于包括以下步骤：
S1、建立由平行的视点平面和图像平面构成的光场相机双平行平面相对坐标参数化，构建投影中心随视点变化的光场相机多中心投影模型；利用普朗克坐标描述光线，构建光场相机的6×6光线内参矩阵K，将光场相机的光场坐标系下光线的普朗克坐标
Figure FDA0002104386770000011
转换为光场相机的相机坐标系下物理尺度归一化光线r的普朗克坐标
Figure FDA0002104386770000012
Figure FDA0002104386770000013
其中，
Figure FDA0002104386770000014
是光场相机的内参数，(ki,kj)是视点平面上s-轴与t-轴方向的缩放，(ku,kv)是图像平面上x-轴y-轴方向的缩放；(u0/ku,v0/kv)表征子孔径图像的主点偏移，m和n表示普朗克参数化下光线的力矩，q和p表示普朗克参数化下光线的方向；基于普朗克坐标系下光线的相交的充要条件推导得出多视光场的光场基本矩阵F，
Figure FDA0002104386770000015
其中，R是两个光场相机间的旋转矩阵，t是两个光场相机间的平移向量；
S2、在多视光场成像系统中引入共视场的已标定相机/光场相机，通过变换已标定相机/光场相机姿态获取多视光场数据，其中，多视光场数据中包含共同场景；通过特征匹配的方法获取多视光场成像系统中任意待标定光场相机与已标定相机/光场相机所记录部分重叠数据间的光线集匹配；根据光场基本矩阵，构建已标定相机/光场相机与待标定光场相机间的关联关系，
Figure FDA0002104386770000016
其中，
Figure FDA0002104386770000017
为待标定的光场相机提取的光线特征，K2为待标定的光场相机内参矩阵，R为待标定的光场相机的相机坐标系到已标定相机/光场相机的相机坐标系的旋转矩阵，t为待标定的光场相机的相机坐标系到已标定相机/光场相机的相机坐标系的平移向量，
Figure FDA0002104386770000021
为提取光线在已标定相机/光场相机的相机坐标系下的普朗克坐标，通过已标定相机/光场相机的内参数转换而来；根据已标定相机/光场相机与待标定光场相机间的关联关系及旋转矩阵R的正交性和一致性，通过线性矩阵运算方法线性求解待标定光场相机的内参矩阵K2及外参矩阵(R,t)；
S3、通过最小化同一空间点在每个光场下的特征光线集间的光线几何距离对多视光场成像系统中任意光场相机的内参数
Figure FDA0002104386770000022
和外参数(R,t)进行非线性优化，构建代价函数
Figure FDA0002104386770000023
通过最小化已标定相机/光场相机的相机坐标系下光线
Figure FDA0002104386770000024
与
Figure FDA0002104386770000025
在所述坐标系的估计值
Figure FDA0002104386770000026
的几何距离和待标定光场相机的相机坐标系下光线
Figure FDA0002104386770000027
与
Figure FDA0002104386770000028
在所述坐标系的估计值
Figure FDA0002104386770000029
的几何距离得到待标定光场相机内参数和外参数的最优解。
2.根据权利要求1所述的基于光场基本矩阵的多视光场成像系统全参数估计方法，其特征在于：所述的非线性优化方法采用Levenberg-Marquardt算法或Gauss-Newton算法。
CN201910547316.5A 2019-06-24 2019-06-24 一种基于光场基本矩阵的多视光场成像系统全参数估计方法 Active CN110310337B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910547316.5A CN110310337B (zh) 2019-06-24 2019-06-24 一种基于光场基本矩阵的多视光场成像系统全参数估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910547316.5A CN110310337B (zh) 2019-06-24 2019-06-24 一种基于光场基本矩阵的多视光场成像系统全参数估计方法

Publications (2)

Publication Number Publication Date
CN110310337A CN110310337A (zh) 2019-10-08
CN110310337B true CN110310337B (zh) 2022-09-06

Family

ID=68076148

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910547316.5A Active CN110310337B (zh) 2019-06-24 2019-06-24 一种基于光场基本矩阵的多视光场成像系统全参数估计方法

Country Status (1)

Country Link
CN (1) CN110310337B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112747670A (zh) * 2020-03-16 2021-05-04 奕目(上海)科技有限公司 一种bga封装锡球检测系统及方法
CN112816493A (zh) * 2020-05-15 2021-05-18 奕目(上海)科技有限公司 一种芯片打线缺陷检测方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102034238A (zh) * 2010-12-13 2011-04-27 西安交通大学 基于光学成像测头和视觉图结构的多摄像机系统标定方法
WO2015154601A1 (zh) * 2014-04-08 2015-10-15 中山大学 一种基于无特征提取的紧致sfm三维重建方法
WO2018049949A1 (zh) * 2016-09-18 2018-03-22 清华大学深圳研究生院 一种基于手持式光场相机的距离估计方法
CN109754431A (zh) * 2018-12-20 2019-05-14 西北工业大学 基于自配极三角形的光场相机标定方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ITMI20040166A1 (it) * 2004-02-03 2004-05-03 Fintrade S R L Sistema foto-ottico elettronico per rilevare digitalizzare e riprodurre la superficie esterna di un oggetto in tre dimensioni virtualmente e-o in materiale plastico composito o cartotecnico
JP5879549B2 (ja) * 2011-09-20 2016-03-08 パナソニックＩｐマネジメント株式会社 ライトフィールド撮像装置、および画像処理装置
CN105654484B (zh) * 2015-12-30 2019-01-18 西北工业大学 光场相机外参数标定装置及方法
CN107492127B (zh) * 2017-09-18 2021-05-11 丁志宇 光场相机参数标定方法、装置、存储介质和计算机设备
CN107993266A (zh) * 2017-12-05 2018-05-04 西北工业大学 光场相机内参数标定装置及方法
CN108776980B (zh) * 2018-05-14 2021-07-09 南京工程学院 一种面向微透镜光场相机的标定方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102034238A (zh) * 2010-12-13 2011-04-27 西安交通大学 基于光学成像测头和视觉图结构的多摄像机系统标定方法
WO2015154601A1 (zh) * 2014-04-08 2015-10-15 中山大学 一种基于无特征提取的紧致sfm三维重建方法
WO2018049949A1 (zh) * 2016-09-18 2018-03-22 清华大学深圳研究生院 一种基于手持式光场相机的距离估计方法
CN109754431A (zh) * 2018-12-20 2019-05-14 西北工业大学 基于自配极三角形的光场相机标定方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张春萍等.光场相机成像模型及参数标定方法综述.《中国激光》.2016,(第06期), *
用自由移动的刚性球杆校准多摄像机内外参数;张灵飞等;《光学精密工程》;20090815(第08期);全文 *

Also Published As

Publication number Publication date
CN110310337A (zh) 2019-10-08

Similar Documents

Publication Publication Date Title
CN110310338B (zh) 一种基于多中心投影模型的光场相机标定方法
Thirthala et al. The radial trifocal tensor: A tool for calibrating the radial distortion of wide-angle cameras
CN101630406B (zh) 摄像机的标定方法及摄像机标定装置
CN110070598B (zh) 用于3d扫描重建的移动终端及其进行3d扫描重建方法
Chatterjee et al. Algorithms for coplanar camera calibration
CN112200203B (zh) 斜视场下弱相关散斑图像的匹配方法
CN109325981B (zh) 基于聚焦像点的微透镜阵列型光场相机几何参数标定方法
Larsson et al. Revisiting radial distortion absolute pose
CN110874854B (zh) 一种基于小基线条件下的相机双目摄影测量方法
US10762654B2 (en) Method and system for three-dimensional model reconstruction
CN111553939A (zh) 一种多目摄像机的图像配准算法
CN110310337B (zh) 一种基于光场基本矩阵的多视光场成像系统全参数估计方法
CN112634379B (zh) 一种基于混合视域光场的三维定位测量方法
Wolf et al. Correspondence-free synchronization and reconstruction in a non-rigid scene
Ge et al. Mirror-assisted multiview DIC for 360° panoramic large deformation measurement
CN110322514B (zh) 一种基于多中心投影模型的光场相机参数估计方法
CN108805921A (zh) 图像获取系统及方法
CN110298890B (zh) 一种基于普朗克参数化的光场相机标定方法
CN110555880B (zh) 一种焦距未知的p6p相机位姿估计方法
Wang et al. Perspective 3-D Euclidean reconstruction with varying camera parameters
CN109741389A (zh) 一种基于区域基匹配的局部立体匹配方法
Wang et al. Facilitating PTZ camera auto-calibration to be noise resilient with two images
Delherm et al. Dense reconstruction by zooming
CN114820810A (zh) 一种基于Tsai氏相机平面标定算法的解析方法
Dhome Visual Perception Through Video Imagery

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant