CN110310337A - 一种基于光场基本矩阵的多视光场成像系统全参数估计方法 - Google Patents

一种基于光场基本矩阵的多视光场成像系统全参数估计方法 Download PDF

Info

Publication number
CN110310337A
CN110310337A CN201910547316.5A CN201910547316A CN110310337A CN 110310337 A CN110310337 A CN 110310337A CN 201910547316 A CN201910547316 A CN 201910547316A CN 110310337 A CN110310337 A CN 110310337A
Authority
CN
China
Prior art keywords
light
field
camera
field camera
calibration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910547316.5A
Other languages
English (en)
Other versions
CN110310337B (zh
Inventor
张琦
王庆
李亚宁
周果清
王雪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwest University of Technology
Original Assignee
Northwest University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwest University of Technology filed Critical Northwest University of Technology
Priority to CN201910547316.5A priority Critical patent/CN110310337B/zh
Publication of CN110310337A publication Critical patent/CN110310337A/zh
Application granted granted Critical
Publication of CN110310337B publication Critical patent/CN110310337B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10052Images from lightfield camera

Abstract

本发明提供了一种基于光场基本矩阵的多视光场成像系统全参数估计方法,主要环节包括:光场基本矩阵及多视光场关联关系、光场相机内参数与外参数线性初始化方法、多视光场成像系统内外参数非线性优化方法。本发明通过引入已标定相机/光场相机对多视光场成像系统中任意光场相机进行标定及注册的方法,规避了用特殊的标定物来标定及注册光场相机的繁琐任务,因而有极大的灵活性,有助于在保证精确度与稳定性的前提下简化多视光场成像系统的标定过程。

Description

一种基于光场基本矩阵的多视光场成像系统全参数估计方法
技术领域
本发明涉及计算机视觉、计算摄像学和光学工程领域,具体涉及一种多视光场相机的标定及注册方法。
背景技术
光场成像理论的兴起是计算机摄像学领域的一大重要革新,它突破了传统成像技术的种种局限。光场相机通过记录空间中光线的位置和角度信息,减少了拍摄信息的流失,取得了可变视点、数字重聚焦、景深扩展及可调等新颖的成像效果。然而,现有光场成像设备存在视场小、景深不足、空间和角度分辨率折衷等缺陷,在一定程度上制约着光场成像技术的发展,多视光场相机标定及注册对突破光场相机缺陷及重建高质量光场至关重要,进而促进光场相机在深度估计、三维重建、光场重建、即时定位及地图构建(SLAM)等领域的广泛应用。
2013年,Dansereau等人阐述了由光场相机初始采样到光场数据的解码方法,提出了包含12个内参数的光场相机成像模型,并利用三维点到光线的距离设计代价函数,从而完成光场相机内参数的标定。然而,该方法依赖传统相机阵列内参标定方法估计光场相机初值,复杂度较高。另一方面,该方法的成像模型的参数冗余且在视点坐标与图像坐标存在依赖关系,导致光场数据在解码过程中的非均匀采样问题。2017年,Bok等人从光场相机的物理结构出发,提出了六参数的光场相机的投影模型,并利用线特征作为测量值估计光场相机内参数。但是,微透镜图像的低分辨率限制了线特征的精度,从而影响标定的精度。
现有多视光场相机外参数注册方法主要在光场相机内参数已知的情况下,估计多组光场相机的位置关系。2015年,Johannsen等人利用普朗克坐标表征光场相机记录的光线,利用光线间的变换关系构建了三维场景点与光线间的线性约束,并进一步估计多个光场相机的外参数包括旋转矩阵及平移向量。然而,该方法依赖于精确的内参数,需要特殊标定物先行完成光场相机的内参数标定,过程繁琐。2015年,Guo等人同样基于普朗克坐标提出了光线运动矩阵表征空间中光线的变换,并根据不同光场间的光线匹配估计光场相机的外参数。但是,该方法要求不同光场间光线重叠,制约了光场相机的运动。
发明内容
为了克服现有技术的不足,本发明提供一种基于光场基本矩阵的多视光场成像系统全参数估计方法,通过引入一台已标定相机或光场相机,利用光场基本矩阵所表征的光线关联关系完成多视光场成像系统的全参数估计。
本发明解决其技术问题所采用的技术方案包括以下步骤:
S1、建立由平行的视点平面和图像平面构成的光场相机双平行平面相对坐标参数化,构建投影中心随视点变化的光场相机多中心投影模型;利用普朗克坐标描述光线,构建光场相机的6×6光线内参矩阵K,将光场相机的光场坐标系下光线的普朗克坐标转换为光场相机的相机坐标系下物理尺度归一化光线r的普朗克坐标
其中,是光场相机的内参数,(ki,kj)是视点平面上s-轴与t-轴方向的缩放,(ku,kv)是图像平面上x-轴y-轴方向的缩放;(u0/ku,v0/kv)表征子孔径图像的主点偏移,m和n表示普朗克参数化下光线的力矩,q和p表示普朗克参数化下光线的方向;基于普朗克坐标系下光线的相交的充要条件推导得出多视光场的光场基本矩阵F,
其中,R是两个光场相机间的旋转矩阵,t是两个光场相机间的平移向量;
S2、在多视光场成像系统中引入共视场的已标定相机/光场相机,通过变换已标定相机/光场相机姿态获取多视光场数据,其中,多视光场数据中包含共同场景;通过特征匹配的方法获取多视光场成像系统中任意待标定光场相机与已标定相机/光场相机所记录部分重叠数据间的光线集匹配;根据光场基本矩阵,构建已标定相机/光场相机与待标定光场相机间的关联关系,
其中,为待标定的光场相机提取的光线特征,K2为待标定的光场相机内参矩阵,R为待标定的光场相机的相机坐标系到已标定相机/光场相机的相机坐标系的旋转矩阵,t为待标定的光场相机的相机坐标系到已标定相机/光场相机的相机坐标系的平移向量,为提取光线在已标定相机/光场相机的相机坐标系下的普朗克坐标,通过已标定相机/光场相机的内参数转换而来;根据已标定相机/光场相机与待标定光场相机间的关联关系及旋转矩阵R的正交性和一致性,通过线性矩阵运算方法线性求解待标定光场相机的内参矩阵K2及外参矩阵(R,t);
S3、通过最小化同一空间点在每个光场下的特征光线集间的光线几何距离对多视光场成像系统中任意光场相机的内参数和外参数(R,t)进行非线性优化,构建代价函数通过最小化已标定相机/光场相机的相机坐标系下光线在所述坐标系的估计值的几何距离和待标定光场相机的相机坐标系下光线在所述坐标系的估计值的几何距离得到待标定光场相机内参数和外参数的最优解。
所述的非线性优化方法采用Levenberg-Marquardt算法或Gauss-Newton算法。
本发明的有益效果是:通过引入已标定相机/光场相机对多视光场成像系统中任意光场相机进行标定及注册的方法,规避了用特殊的标定物来标定及注册光场相机的繁琐任务,因而有极大的灵活性,有助于在保证精确度与稳定性的前提下简化多视光场成像系统的标定过程。
附图说明
图1(a)是光场相机的相机坐标系及世界坐标系示意图,其中光场相机的相机坐标系示出了双平行平面及光线的双平行平面相对坐标参数化方式;图1(b)是在双平行平面相对坐标参数化坐标下由传统相机投影模型推导而来的光场相机随视点变化的多中心投影模型示意图;
图2(a)是可应用于本发明实施例的光场相机的光路示意图;图2(b)是可应用于图2a所示光路设计的光场相机的解码方式示意图;图2(c)是本发明实施例中应用于图2b解码方式所对应的光场相机光场坐标系定义示意图;
图3是光场相机的光场坐标系下双平行平面与光场相机的相机坐标系下双平行平面的变换示意图,其中图3(a)是光场相机的光场坐标系与相机坐标系的视点平面的变换及相关内参数定义示意图,图3(b)是光场相机的光场坐标系与相机坐标系的图像平面的变换及相关内参数定义示意图;
图4(a)是本发明实施例所述的已标定相机与多视光场成像系统中任意待标定光场相机的关系示意图;图4(b)是本发明实施例所述的已标定光场相机与多视光场成像系统中任意待标定光场相机的关系示意图;
图5是本发明实施例所述的多视光场成像系统全参数估计方法流程图。
具体实施方式
下面结合附图和实施例对本发明进一步说明,本发明包括但不仅限于下述实施例。
多视光场成像系统是由多台光场相机按照一定规律排布组合的系统,为了克服现有技术对多视光场成像系统中光场相机标定及注册方法的繁琐问题和对特殊标定物的依赖问题,本发明通过光场基本矩阵构建多视光场中光线间的关联关系,并基于此设计了一套光场相机标定与注册方法,最终完成多视光场成像系统的标定。
本发明通过引入已标定相机/光场相机,提出一种基于光场基本矩阵的多视光场成像系统的标定及注册方法,旨在计算多视光场成像系统中任意光场相机的标定及注册。主要环节包括:光场基本矩阵及多视光场关联关系、光场相机内参数与外参数线性初始化方法、多视光场成像系统内外参数非线性优化方法。所述方法包含以下步骤:
S1、光场基本矩阵及多视光场关联关系。
建立由平行的视点平面(s-t平面)和图像平面(x-y平面)构成的光场相机双平行平面相对坐标参数化,根据普通相机投影模型构建投影中心随视点变化的光场相机多中心投影模型。继而利用普朗克坐标描述光线,构建光场相机的6×6光线内参矩阵K,将光场相机的光场坐标系下光线的普朗克坐标转换为光场相机的相机坐标系下物理尺度归一化光线r的普朗克坐标
其中,是光场相机的内参数,(ki,kj)是视点平面上s-轴与t-轴方向的缩放,(ku,kv)是图像平面上x-轴y-轴方向的缩放。除此之外,(u0/ku,v0/kv)表征子孔径图像的主点偏移,m和n表示普朗克参数化下光线的力矩,q和p表示普朗克参数化下光线的方向。基于普朗克坐标系下光线的相交的充要条件推导得出多视光场的光场基本矩阵F,
其中,R是两个光场相机间的旋转矩阵,t是两个光场相机间的平移向量。
S2、光场相机内外参数线性求解方法。
在多视光场成像系统中引入共视场的已标定相机/光场相机,通过变换已标定相机/光场相机姿态获取多视光场数据,其中,多视光场数据中包含共同场景;通过特征匹配的方法获取多视光场成像系统中任意待标定光场相机与已标定相机/光场相机所记录部分重叠数据间的光线集匹配;根据光场基本矩阵,构建已标定相机/光场相机与待标定光场相机间的关联关系,
其中,为待标定的光场相机提取的光线特征,K2为待标定的光场相机内参矩阵,R为待标定的光场相机的相机坐标系到已标定相机/光场相机的相机坐标系的旋转矩阵,t为待标定的光场相机的相机坐标系到已标定相机/光场相机的相机坐标系的平移向量,为提取光线在已标定相机/光场相机的相机坐标系下的普朗克坐标,可通过已标定相机/光场相机的内参数转换而来。根据已标定相机/光场相机与待标定光场相机间的关联关系及旋转矩阵R的正交性和一致性,通过线性矩阵运算方法线性求解待标定光场相机的内参矩阵K2及外参矩阵(R,t)。
S3、非线性优化方法。
S2中介绍了通过在多视光场成像系统中引入已标定相机/光场相机完成多视光场成像系统的标定及注册的线性方法。为进一步得到多视光场成像系统的内外参数的精确解,通过最小化同一空间点在每个光场下的特征光线集间的光线几何距离对多视光场成像系统中任意光场相机的内参数和外参数(R,t)进行非线性优化,构建代价函数,
通过最小化已标定相机/光场相机的相机坐标系下光线在所述坐标系的估计值的几何距离和待标定光场相机的相机坐标系下光线在所述坐标系的估计值的几何距离得到待标定光场相机内参数和外参数的最优解。非线性优化方法有Levenberg-Marquardt算法、Gauss-Newton算法等,本发明包括但不限于这些非线性优化方法。
多视光场成像系统是由若干台相机搭建而成的,这些相机包含光场相机但不仅限于光场相机。本实施例以多个光场相机构成的多视光场成像系统为例,介绍多视光场成像系统的相机标定及注册方法。本发明实施例提出的多视光场相机系统的相机标定及多相机注册方法,包括以下步骤:
S1、建立光场基本矩阵及多视光场关联关系
S1.1、建立光场相机光线的TPP参数化描述
本发明采用TPP对光场相机采集到的光线进行参数化表示,具体方法如下:定义光场相机的视点s-t平面与图像x-y平面,如图2所示,其中视点平面在光场相机的相机坐标系Z=0平面,图像平面在Z=f平面,通常将双平面间距归一化为1。则光场相机的光线用TPP可参数化为r=(s,t,x,y)T,可构建104相机坐标系下空间点(X,Y,Z)T与102图像平面相对坐标(x,y)的映射关系,如图1b所示,
其中,λ=Z为缩放因子。图2a示意性地示出了,应用于本实施例的光场相机的光路图。201表示光场相机的主透镜,202微透镜阵列放置在201光场相机主透镜的一倍焦距处,204光场相机传感器平面放置在203微透镜的一倍焦距处。图2b示意性地示出了可应用于图2a所示光路设计的光场相机的解码方式。另一方面,图2a所示的光路设计的光场相机所记录的光线即光场相机的光场坐标系下光线双平行平面参数化为l=(i,j,u,v)T,如图2c所示,该光线可通过一个齐次的解码矩阵转换为物理尺度下归一化的光线r,
其中,如图3所示,是光场相机的内参数,(ki,kj)是视点平面上s-轴与t-轴方向的缩放,如图3a所示。除此之外,(ku,kv)是图像平面上x-轴y-轴方向的缩放,(u0/ku,v0/kv)表征子孔径图像的主点偏移,如图3b所示。解码矩阵D表征了光场相机的光场坐标系下双平行平面参数化光线变换到光场相机的光场坐标系下双平行平面参数化光线。本发明可应用于包括但不仅限于该种光路设计的光场相机,仅需将光场相机所记录的数据通过特定方式解码为双平行平面参数化坐标即可。
S1.2、基于普朗克坐标的光场相机内参矩阵
为了更好的描述光场相机捕获光线的采样与变换,本发明采用普朗克参数化描述光线。给定任意光线r=(s,t,x,y)T,将光线由双平行平面参数化坐标转换为普朗克参数化坐标,
其中,q表示光线的方向,m表示光线上任意一点的力矩。本发明将光场相机的光场坐标系下光线l的普朗克参数化坐标转换为光场相机的相机坐标系下物理尺度归一化光线r的普朗克参数化坐标
其中,K为光场相机光线内参矩阵,Kij表示普朗克参数化下光线力矩的内参矩阵,Kuv表示普朗克参数化下光线方向的内参矩阵,公式满足假设ku/kv=ki/kj
S1.3、光场基本矩阵
本实施例推导了两个光场间的基本矩阵。两个光场相机记录真实世界中同一场景,两个相机坐标系通过旋转矩阵R=(r1r2r3)∈SO(3)和平移向量相联系,可定义为,
其中,表示301相机坐标系下三维空间点坐标,表示303相机坐标系的三维空间点坐标,如图4所示。将公式5带入公式3中,在普朗克参数化下两个光场相机的相机坐标系的光线间关联关系可定义为,
其中,E=[t]×R是基本矩阵,表示301相机坐标系下光线r1=(s1,t1,x1,y1)T的普朗克坐标,表示303相机坐标系下光线r2=(s2,t2,x2,y2)T的普朗克坐标。利用公式4和公式6,可推导光场坐标系下光线间关联关系,
其中,K1和K2分别为两个光场相机内参矩阵,表示302光场坐标系下光线的普朗克坐标,表示304光场坐标系下光线的普朗克坐标。公式7可将304光场坐标系下的光线变换为302光场坐标系下的光线,根据普朗克坐标下两个直线相交的充要条件,
假设两个光场由中心不重合的摄像机获得,将公式7和公式8联立,光场基本矩阵F为所有的对应光线集都应满足,
多视光场之间通过对真实世界中同一点的观测建立光场基本矩阵,将公式9从二视光场推广至多视光场上,构建普适的多视光场关联关系,
公式9描述了多视光场中任意两个光场间的关联关系,可构建任意两个光场的光场基本矩阵。旋转矩阵Rmn和平移向量tmn表征了第m个光场相对于第n个光场的旋转与平移。
S2、线性初始化光场相机内参数与外参数
S2.1、为完成多视光场成像系统的标定及注册,本发明引入一台已标定的相机,这个相机可为光场相机或普通相机,且与多视光场成像系统具备重叠的视场便于光线特征的提取。通过移动已标定相机及多视光场成像系统拍摄若干场景部分重叠的光场数据,其采集过程中需要确保不改变相机参数。
S2.2、利用特征匹配的方法确定待标定光场相机与已标定相机/光场相机所记录部分重叠数据间的光线匹配,特征匹配的方法有SIFT、SURF等,利用特征匹配方法提取每个视点下的子孔径图像的特征(u,v),通过S1.1中可得到完整的光线TPP坐标(i,j,u,v),若已标定相机为普通相机,则光线的TPP坐标设置为(0,0,u,v)。这样既可得到重叠的多视数据间的光线特征,本发明包括但不仅限于这些特征提取方法。
图4a示意性地示出了本发明实施例所述的已标定相机与多视光场成像系统中任意待标定光场相机的关系,空间点401发出的光线分别被待标定光场相机402及已标定相机403所记录,通过图2所示解码方法可解码空间点401的在待标定光场相机的光场坐标系上的光线集205a、206a及207a,并与已标定相机的光线208相匹配。
图4a示意性地示出了本发明实施例所述的已标定相机与多视光场成像系统中任意待标定光场相机的关系,空间点401发出的光线分别被待标定光场相机402及已标定光场相机404所记录,通过图2所示解码方法可解码空间点401的在待标定光场相机的光场坐标系上的光线集205a、206a及207a,并与已标定光场相机的光场坐标系上的光线集205b、206b及207b相匹配。
S2.3、利用S2.2建立重叠的多视光场的统一空间点的匹配光线集,
其中,所有光线来自同一场景点,M,N≥2以便重建场景点,并根据公式3转换为普朗克坐标,
S2.4、多视光场关联关系
本发明通过引入已标定相机/光场相机,可构建已标定相机/光场相机与多视光场相机系统中任意相机间的多视关联关系,二者通过光场相机基本矩阵F(公式9)关联,因此可得,
其中,为待标定的光场相机提取的光线特征,K2为待标定的光场相机内参矩阵,R为待标定的光场相机的相机坐标系到已标定相机/光场相机的相机坐标系的旋转矩阵,t为待标定的光场相机的相机坐标系到已标定相机/光场相机的相机坐标系的平移向量,为已标定相机/光场相机提取的光线特征,为提取光线在已标定相机/光场相机的相机坐标系下的普朗克坐标,可通过已标定相机/光场相机的内参数转换而来。其中,H定义为6×6多视光场关联矩阵,
其中,Hmn为3×3的矩阵。
在已知同一空间点在已标定相机/光场相机的相机坐标系下的光线的普朗克坐标及在待标定光场相机的光场坐标系下的光线的普朗克坐标根据公式13线性求解关联矩阵H,
其中,是关联矩阵H按行拉直后的36×1列向量。本发明包括但不仅限于这种线性估计方法。
S2.4、线性估计光场相机内参数
通过公式15可线性求解包含缩放因子λ的多视光场关联矩阵H,根据公式14可得,
λH12=RKuv (16)
λH21=RKij (17)
λH22=[t]×RKuv (18)
根据旋转矩阵的正交特性公式16和公式17可得,
公式19和公式20通过Cholesky分解,可得包含缩放因子1/λ的待标定光场相机光线方向内参矩阵和待标定光场相机光线力矩内参矩阵通过估计内参矩阵中元素间的作除法消除缩放因子,根据公式19估计光场相机的部分内参数,
其中,是待标定光场相机光线方向内参矩阵的m行n列元素。根据公式20估计光场相机的部分内参数,
其中,是待标定光场相机光线力矩内参矩阵的m行n列元素。根据公式19及公式20及待标定光场相机光线方向内参矩阵和待标定光场相机光线力矩内参矩阵可得缩放因子,
其中,|·|指的是矩阵行列式。由此线性推导得出待标定光场相机的部分内参数,
是待标定光场相机光线力矩内参矩阵的m行n列元素。
S2.5、求解每个光场的外参数
根据已求解的光场相机的内参数,从公式16和公式17可计算待标定光场相机的旋转矩阵R,
根据公式18、待标定光场相机光线方向内参矩阵及缩放因子λ可得待标定光场相机的平移向量t。
S2.6、多视光场成像系统标定及注册方法
S2.3及S2.4介绍了通过引入已标定相机/光场相机对多视光场成像系统下任意光场相机的内参数的标定及外参数(R,t)的注册,其中旋转矩阵R及平移向量t表征的为多视光场成像系统下任意光场相机的相机坐标系到已标定相机/光场相机的相机坐标系变换。当通过S2.3和S2.4的方法可完成多视光场成像系统下的所有光场相机的标定及注册,通过以已标定相机/光场相机的相机坐标系作为基准坐标系,可实现多视光场成像系统下任意两台光场相机的相机坐标系间变换的外参数即旋转矩阵R和平移向量t的计算。最终实现多视光场成像系统标定及注册方法。
S3、多视光场成像系统内外参数非线性优化
S2中介绍了通过在多视光场成像系统中引入已标定相机/光场相机完成多视光场成像系统的标定及注册的线性方法。为进一步得到多视光场成像系统的内外参数的精确解,通过最小化同一空间点在每个光场下的特征光线集间的光线几何距离对多视光场成像系统中任意光场相机的内参数和外参数(R,t)进行非线性优化,构建代价函数,
其中,为提取光线在已标定相机/光场相机的相机坐标系下的普朗克坐标,可通过已标定相机/光场相机的内参数转换而来,为待标定的光场相机提取的光线特征,通过最小化已标定相机/光场相机的相机坐标系下光线从待标定光场相机光场坐标系变换而来的估计值的几何距离和待标定光场相机的相机坐标系下光线从已标定相机/光场相机的相机坐标系变换而来的其估计值的几何距离得到最优解。其中,d(·)定义为两根光线间的几何距离,
其中,本发明包括但不仅限于线线间几何距离作为代价函数。在本实施例中,使用Levenberg-Marquardt算法进行非线性优化,该算法是一种基于梯度域的最优化算法,结合了梯度法和牛顿法的优点,且收敛性强,能够通过优化得到有效的结果,本发明包括但不仅限于该非线性优化方法。
已经出于说明和描述的目的提供了对本发明的优选实施方式的前述描述。其并非旨在穷举或将本发明限制于所公开的精确形式。显然,许多修改和变化对于本领域技术人员来说是明显的。选择和描述实施方式是为了最好地解释本发明的原理及其实际应用,从而使得本领域其它技术人员能够理解本发明的各种实施方式并且具有适合于预期的特定用途的各种修改。

Claims (2)

1.一种基于光场基本矩阵的多视光场成像系统全参数估计方法,其特征在于包括以下步骤:
S1、建立由平行的视点平面和图像平面构成的光场相机双平行平面相对坐标参数化,构建投影中心随视点变化的光场相机多中心投影模型;利用普朗克坐标描述光线,构建光场相机的6×6光线内参矩阵K,将光场相机的光场坐标系下光线的普朗克坐标转换为光场相机的相机坐标系下物理尺度归一化光线r的普朗克坐标
其中,是光场相机的内参数,(ki,kj)是视点平面上s-轴与t-轴方向的缩放,(ku,kv)是图像平面上x-轴y-轴方向的缩放;(u0/ku,v0/kv)表征子孔径图像的主点偏移,m和n表示普朗克参数化下光线的力矩,q和p表示普朗克参数化下光线的方向;基于普朗克坐标系下光线的相交的充要条件推导得出多视光场的光场基本矩阵F,
其中,R是两个光场相机间的旋转矩阵,t是两个光场相机间的平移向量;
S2、在多视光场成像系统中引入共视场的已标定相机/光场相机,通过变换已标定相机/光场相机姿态获取多视光场数据,其中,多视光场数据中包含共同场景;通过特征匹配的方法获取多视光场成像系统中任意待标定光场相机与已标定相机/光场相机所记录部分重叠数据间的光线集匹配;根据光场基本矩阵,构建已标定相机/光场相机与待标定光场相机间的关联关系,
其中,为待标定的光场相机提取的光线特征,K2为待标定的光场相机内参矩阵,R为待标定的光场相机的相机坐标系到已标定相机/光场相机的相机坐标系的旋转矩阵,t为待标定的光场相机的相机坐标系到已标定相机/光场相机的相机坐标系的平移向量,为提取光线在已标定相机/光场相机的相机坐标系下的普朗克坐标,通过已标定相机/光场相机的内参数转换而来;根据已标定相机/光场相机与待标定光场相机间的关联关系及旋转矩阵R的正交性和一致性,通过线性矩阵运算方法线性求解待标定光场相机的内参矩阵K2及外参矩阵(R,t);
S3、通过最小化同一空间点在每个光场下的特征光线集间的光线几何距离对多视光场成像系统中任意光场相机的内参数和外参数(R,t)进行非线性优化,构建代价函数通过最小化已标定相机/光场相机的相机坐标系下光线在所述坐标系的估计值的几何距离和待标定光场相机的相机坐标系下光线在所述坐标系的估计值的几何距离得到待标定光场相机内参数和外参数的最优解。
2.根据权利要求1所述的基于光场基本矩阵的多视光场成像系统全参数估计方法,其特征在于:所述的非线性优化方法采用Levenberg-Marquardt算法或Gauss-Newton算法。
CN201910547316.5A 2019-06-24 2019-06-24 一种基于光场基本矩阵的多视光场成像系统全参数估计方法 Active CN110310337B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910547316.5A CN110310337B (zh) 2019-06-24 2019-06-24 一种基于光场基本矩阵的多视光场成像系统全参数估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910547316.5A CN110310337B (zh) 2019-06-24 2019-06-24 一种基于光场基本矩阵的多视光场成像系统全参数估计方法

Publications (2)

Publication Number Publication Date
CN110310337A true CN110310337A (zh) 2019-10-08
CN110310337B CN110310337B (zh) 2022-09-06

Family

ID=68076148

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910547316.5A Active CN110310337B (zh) 2019-06-24 2019-06-24 一种基于光场基本矩阵的多视光场成像系统全参数估计方法

Country Status (1)

Country Link
CN (1) CN110310337B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112747670A (zh) * 2020-03-16 2021-05-04 奕目(上海)科技有限公司 一种bga封装锡球检测系统及方法
CN112816493A (zh) * 2020-05-15 2021-05-18 奕目(上海)科技有限公司 一种芯片打线缺陷检测方法及装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070285668A1 (en) * 2004-02-03 2007-12-13 Paolo Bertola Electronic Photo-Optical System For Surveying, Digitalizing And Reproducing The External Surface Of A Three-Dimensional Object, Either Virtually Or In Plastic, Composite Or Papery Material
CN102034238A (zh) * 2010-12-13 2011-04-27 西安交通大学 基于光学成像测头和视觉图结构的多摄像机系统标定方法
US20130215231A1 (en) * 2011-09-20 2013-08-22 Panasonic Corporation Light field imaging device and image processing device
WO2015154601A1 (zh) * 2014-04-08 2015-10-15 中山大学 一种基于无特征提取的紧致sfm三维重建方法
CN105654484A (zh) * 2015-12-30 2016-06-08 西北工业大学 光场相机外参数标定装置及方法
CN107492127A (zh) * 2017-09-18 2017-12-19 丁志宇 光场相机参数标定方法、装置、存储介质和计算机设备
WO2018049949A1 (zh) * 2016-09-18 2018-03-22 清华大学深圳研究生院 一种基于手持式光场相机的距离估计方法
CN107993266A (zh) * 2017-12-05 2018-05-04 西北工业大学 光场相机内参数标定装置及方法
CN108776980A (zh) * 2018-05-14 2018-11-09 南京工程学院 一种面向微透镜光场相机的标定方法
CN109754431A (zh) * 2018-12-20 2019-05-14 西北工业大学 基于自配极三角形的光场相机标定方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070285668A1 (en) * 2004-02-03 2007-12-13 Paolo Bertola Electronic Photo-Optical System For Surveying, Digitalizing And Reproducing The External Surface Of A Three-Dimensional Object, Either Virtually Or In Plastic, Composite Or Papery Material
CN102034238A (zh) * 2010-12-13 2011-04-27 西安交通大学 基于光学成像测头和视觉图结构的多摄像机系统标定方法
US20130215231A1 (en) * 2011-09-20 2013-08-22 Panasonic Corporation Light field imaging device and image processing device
WO2015154601A1 (zh) * 2014-04-08 2015-10-15 中山大学 一种基于无特征提取的紧致sfm三维重建方法
CN105654484A (zh) * 2015-12-30 2016-06-08 西北工业大学 光场相机外参数标定装置及方法
WO2018049949A1 (zh) * 2016-09-18 2018-03-22 清华大学深圳研究生院 一种基于手持式光场相机的距离估计方法
CN107492127A (zh) * 2017-09-18 2017-12-19 丁志宇 光场相机参数标定方法、装置、存储介质和计算机设备
CN107993266A (zh) * 2017-12-05 2018-05-04 西北工业大学 光场相机内参数标定装置及方法
CN109615661A (zh) * 2017-12-05 2019-04-12 西北工业大学 光场相机内参数标定装置及方法
CN108776980A (zh) * 2018-05-14 2018-11-09 南京工程学院 一种面向微透镜光场相机的标定方法
CN109754431A (zh) * 2018-12-20 2019-05-14 西北工业大学 基于自配极三角形的光场相机标定方法

Non-Patent Citations (9)

* Cited by examiner, † Cited by third party
Title
CHUNPING ZHANG ET AL.: "Unconstrained Two-parallel-plane Model for Focused Plenoptic Cameras Calibration", 《ARXIV》 *
HAIFEI HUANG ET AL.: "The Common Self-polar Triangle of Concentric Circles and Its Application to Camera Calibration", 《CVPR 2015》 *
QI ZHANG ET AL.: "A Generic Multi-Projection-Center Model and Calibration Method for Light Field Cameras", 《ARXIV》 *
QI ZHANG ET AL.: "Common Self-polar Triangle of Concentric Conics for Light Field Camera Calibration", 《ACCV 2018》 *
QI ZHANG ET AL.: "Ray-Space Projection Model for Light Field Camera", 《HTTPS://OPENACCESS.THECVF.COM/CVPR2019》 *
YINGLIANG ZHANG ET AL.: "Ray Space Features for Plenoptic Structure-from-Motion", 《2017 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION》 *
YUNSU BOK ET AL.: "Geometric Calibration of Micro-Lens-Based Light-Field Cameras Using Line Features", 《ECCV 2014》 *
张春萍 等: "光场相机成像模型及参数标定方法综述", 《中国激光》 *
张灵飞等: "用自由移动的刚性球杆校准多摄像机内外参数", 《光学精密工程》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112747670A (zh) * 2020-03-16 2021-05-04 奕目(上海)科技有限公司 一种bga封装锡球检测系统及方法
CN112816493A (zh) * 2020-05-15 2021-05-18 奕目(上海)科技有限公司 一种芯片打线缺陷检测方法及装置

Also Published As

Publication number Publication date
CN110310337B (zh) 2022-09-06

Similar Documents

Publication Publication Date Title
CN105654502B (zh) 一种基于多镜头多传感器的全景相机标定装置和方法
CN109064404A (zh) 一种基于多相机标定的全景拼接方法、全景拼接系统
CN105205858B (zh) 一种基于单个深度视觉传感器的室内场景三维重建方法
TWI555379B (zh) 一種全景魚眼相機影像校正、合成與景深重建方法與其系統
CN110310338A (zh) 一种基于多中心投影模型的光场相机标定方法
Nene et al. Stereo with mirrors
Swaminathan et al. Nonmetric calibration of wide-angle lenses and polycameras
CN106228538B (zh) 基于logo的双目视觉室内定位方法
CN103106688B (zh) 基于双层配准方法的室内三维场景重建方法
CN108876749A (zh) 一种鲁棒的镜头畸变校正方法
CN107154014B (zh) 一种实时彩色及深度全景图像拼接方法
CN107705252B (zh) 适用于双目鱼眼图像拼接展开校正的方法及系统
CN110036410A (zh) 用于从视图中获得距离信息的设备和方法
CN107077743A (zh) 用于阵列相机的动态校准的系统和方法
CN107886546B (zh) 利用球像及公共自极三角形标定抛物折反射摄像机的方法
CN108122191A (zh) 鱼眼图像拼接成全景图像和全景视频的方法及装置
CN111553939B (zh) 一种多目摄像机的图像配准算法
CN109325981B (zh) 基于聚焦像点的微透镜阵列型光场相机几何参数标定方法
CN110120071A (zh) 一种面向光场图像的深度估计方法
CN106534670B (zh) 一种基于固联鱼眼镜头摄像机组的全景视频生成方法
CN110782498B (zh) 一种视觉传感网络的快速通用标定方法
CN110264528A (zh) 一种鱼眼镜头双目像机快速自标定方法
CN108257089A (zh) 一种基于迭代最近点的大视场视频全景图拼接的方法
CN110310337A (zh) 一种基于光场基本矩阵的多视光场成像系统全参数估计方法
CN108805921A (zh) 图像获取系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant