CN106846415B - 一种多路鱼眼相机双目标定装置及方法 - Google Patents
一种多路鱼眼相机双目标定装置及方法 Download PDFInfo
- Publication number
- CN106846415B CN106846415B CN201710059412.6A CN201710059412A CN106846415B CN 106846415 B CN106846415 B CN 106846415B CN 201710059412 A CN201710059412 A CN 201710059412A CN 106846415 B CN106846415 B CN 106846415B
- Authority
- CN
- China
- Prior art keywords
- camera
- image
- camera lens
- calibration
- parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Studio Devices (AREA)
- Stereoscopic And Panoramic Photography (AREA)
Abstract
本发明公开了一种多路鱼眼相机双目标定装置及方法,属于摄像机标定技术领域。该方法包括:采用全景摄像模块左右相邻两路鱼眼相机同时采集标定靶中不同位置标定板图像;选取等距投影畸变模型;根据采集到的相邻左右两路鱼眼镜头图像及成像模型分别计算两个镜头的内参数及每个视场的外参数;根据标定靶上两个标定板之间的位置关系及得到的相邻两个镜头的外参数计算相邻两个相机镜头之间的位置关系;对双目镜头的内外参数进行优化从而得到最优的左镜头的内外参数,右镜头的内外参数,左镜头与右镜头之间的旋转关系、平移关系;该标定方法采集畸变较小且大小适中的标定板图像,保证能够找到足够的特征点,大大提高了双目相机标定的精度。
Description
技术领域
本发明涉及摄像机标定技术领域,尤其是涉及一种多路鱼眼相机双目标定装置及方法。
背景技术
相机标定是摄影测量、3D成像和图像几何校正等工作中的关键技术之一,它的主要作用是估计相机的内外参数。标定结果的精度和标定算法的稳定性直接影响后续工作的准确性。
已有的摄像机标定方法可以分为以下几类:(1)利用空间几何信息精确已知的立体标定物进行标定,立体标定物一般有多个平面标定板构成,高精度的立体标定板不便于制作和使用。(2)通过精确控制摄像机或平面标定物的运动进行标定,精确的运动控制结构复杂、成本高。(3)利用二维的平面标定板进行单个摄像机的标定,目前基于平面标定板进行单个镜头的标定算法主要依赖于标定板上各个特征点的坐标位置精度。
双目摄像机的标定是指获取双摄像机的内部参数和两个摄像机之间的相对位置和姿态参数的过程,主要包括选定标定板,利用双目摄像机从多个角度采集标定板图像,分别对单个镜头进行内外参数标定,利用标定的外参数结果求解两镜头之间的旋转矩阵和平移向量。
目前常用的双目相机标定的标定板和单目标定一样,首先鱼眼镜头的超大视场以及边缘的畸变非常严重,此外,在近距离下,两镜头之间的重叠区域非常小,采用一般的标定板会导致拍摄的图像不可用或者标定的结果不准确。
发明内容
本发明为克服现有基于普通标定板进行双目标定时结果不准确的技术问题,旨在提供一种标定结果准确度高的多路鱼眼相机双目标定装置及方法。
本发明提供了一种多路鱼眼相机双目标定装置,包括:包括:全景摄像模块、第一电机驱动模块、第一滚轮组、图像处理模块、图像显示模块、标定靶、控制模块;
所述全景摄像模块包括支架、设置在支架各侧面的多个鱼眼镜头及多个图像传感器,每个镜头对应一个图像传感器,所述多个鱼眼镜头位于同一竖直高度,所述多个鱼眼镜头与侧面转动连接;
所述第一滚轮组设置于所述第一电机驱动模块底部,所述第一电机驱动模块通过第一驱动轴与所述全景摄像模块连接,所述图像处理模块连接所述全景摄像模块;所述图像显示模块连接所述图像处理模块;
所述标定靶包括:底板,所述底板包括第一区域和第二区域,设置于所述第一区域表面并可在其范围内移动的第一标定板及设置于所述第二区域表面并可在其范围内移动的第二标定板;与底板固定连接的第二驱动轴,与所述第二驱动轴连接的第二电机驱动模块,设置在所述第二电机驱动模块底部的第二滚轮组;
所述标定靶设置于所述全景摄像模块两路相机相邻区域,所述控制模块连接所述第一电机驱动模块和所述第二电机驱动模块。
进一步的,所述鱼眼镜头及图像传感器均为4个。
进一步的,所述标定装置还包括与所述第一标定靶结构相同的第二标定靶,所述第二标定靶设置于全景摄像模块相对于第一标定靶的另一侧。
另外,本发明还提供了一种多路鱼眼相机双目标定方法,包括:
进一步的,包括如下步骤:
S1:采用全景摄像模块左右相邻两路鱼眼相机同时采集标定靶中不同位置标定板图像;
S2:选取等距投影畸变模型;
等距投影畸变模型具体表示如下:
rd=fθd; (1)
公式(1)中,rd表示鱼眼图像中的点到畸变中心的距离,f表示鱼眼相机的焦距,θd表示入射光线与鱼眼镜头光轴之间的夹角,即入射角;
选取径向畸变模型如下:
θd=θ(1+k1θ2+k2θ4+k3θ6+k4θ8+…); (2)
公式(2)中,θ表示无畸变的入射角,K=(k1,k2,k3,k4,…)表示畸变参数;θd表示畸变入射角;
通过上述畸变模型,从无畸变图像中的点计算出鱼眼图像中的畸变点,公式如下:
公式(3)中,(xs,ys)是有畸变坐标点,(xc,yc)是无畸变坐标点,(cx,cy)表示畸变图像的中心点坐标;
S3:根据采集到的相邻左右两路鱼眼镜头图像及成像模型分别计算左右两个镜头的内参数及每个视场的外参数Ml,Kl,Mr,Kr,
具体计算方法如下:分别提取左右两路鱼眼镜头图像中所有标定板在图像平面内的特征点坐标,计算标定板坐标系下空间点与图像平面坐标系中特征点之间的单应矩阵Homography,单应矩阵计算方法如下:
公式(4)中,表示图像平面坐标系中特征点坐标,表示标定板坐标系下空间特征点;s是任意尺度的比例因子;W表示用于定位观测的物体平面的物理变换,包括与观测到的图像平面相关的部分旋转R和部分平移T的和,W=[R T];M是摄像机的内参数矩阵,其中包括x方向焦距fx,y方向焦距fy,图像中畸变图像的中心点坐标(cx,cy);
由旋转矩阵的正交性分解单应矩阵Homography,构成一个包含镜头内部参数和外部参数的超定方程,通过奇异值分解及一系列变换分别得到左右两路鱼眼镜头的内部参数和外部参数;
S4:根据标定靶上两个标定板之间的位置关系及得到的相邻两个镜头的外参数计算相邻两个相机镜头之间的位置关系;
S5:根据计算的相邻左相机的内外参数、右相机的内外参数、左标定板与右标定板间的旋转及平移关系、左相机与右相机间的旋转及平移关系及选定的畸变模型对双目镜头的内外参数进行优化从而得到最优的左镜头的内外参数Ml,Kl,右镜头的内外参数Mr,Kr,左镜头与右镜头之间的旋转关系Rr→l、平移关系Tr→l;
具体方法如下:采用Levenberg-Marquardt算法对相邻左右相机的内参数及左右相机镜头之间的关系进行优化,建立以重投影误差为最小的优化目标函数如下:
公式(10)中,是根据左边平面标定模板上的特征点的初始值Pl j使用左相机畸变模型重投影到图像坐标系下计算出来的第j个特征点在左相机第i幅图像上的图像坐标,是标定板上第j个特征点在左镜头第i幅图像上检测出来的特征点坐标,nl是左镜头第i幅图像上识别出的特征角点个数,是根据右边平面标定模板上的特征点的初始值使用右相机畸变模型重投影到图像坐标系下计算出来的第j个特征点在左相机第i幅图像上的图像坐标,右相机畸变模型是由左平面标定板的外参及左右两标定板之间的旋转、平移矩阵及左右两镜头之间的旋转、平移矩阵得到;是标定板上第j个特征点在右镜头第i幅图像上检测出来的特征点坐标,nr是右镜头第i幅图像上识别出来的特征角点数目。
进一步的,所述采用全景摄像模块左右相邻两路鱼眼相机同时采集标定靶中不同位置标定板图像中,将标定靶上两个标定板分别移至标定靶第一区域和第二区域的中间,且两个标定板在水平方向上的间隔为L。
进一步的,所述采用全景摄像模块左右相邻两路鱼眼相机同时采集标定靶中不同位置标定板图像中,左边鱼眼相机镜头拍摄第一区域中标定板图像,右边相机鱼眼镜头拍摄第二区域中标定板图像。
进一步的,所述采用全景摄像模块左右相邻两路鱼眼相机同时采集标定靶中不同位置标定板图像中,通过所述第一电机驱动模块驱动支架平移和旋转,改变镜头的位姿,拍摄左右相邻两路鱼眼相机镜头在不同位姿下的标定板图像。
进一步的,所述采用全景摄像模块左右相邻两路鱼眼相机同时采集标定靶中不同位置标定板图像中,通过所述第二电机驱动模块驱动标定靶在水平面和垂直面上移动以改变标定靶的位置。
进一步的,所述S4具体包括:
对于标定靶中两个标定板上,相对应位置的点X1、X2分别表示该点在世界坐标系的坐标,具有如下关系:
X2=RX1+T; (5)
公式(5)中,R,T表示已知的标定靶中两个标定板在相对应位置点之间的旋转和平移关系;
X1,X2在各自镜头坐标系下的坐标为Xl,Xr,它们之间的转换关系如下:
Xl=RlX1+T,Xr=RrX2+Tr; (6)
根据公式(5)和公式(6)消除X1,X2,可得:
进而可得出:
公式(8)和公式(9)中,Rr→l表示右相机与左相机之间的旋转矩阵,Tr→l表示右相机与左相机之间的平移矩阵。
本发明采用一种具有两块标定板的标定靶进行多路鱼眼相机双目标定,两块标定板间的位置关系已知,通过左边鱼眼相机镜头拍摄第一区域中标定板图像,右边相机鱼眼镜头拍摄第二区域中标定板图像。从而得到畸变较小且大小适中的标定板图像,保证能够找到足够的特征点,大大提高了双目相机标定的精度。
本发明的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种多路鱼眼相机双目标定装置结构示意图;
图2是本发明实施例提供的一种多路鱼眼相机双目标定装置标定状态结构示意图;
图3是本发明实施例提供的一种多路鱼眼相机双目标定方法流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
现有的双目摄像机标定中,采用常规的和单目标定一样的标定板,鱼眼镜头进行双目标定时,由于鱼眼镜头的视场角非常大,近距离时图像边缘畸变明显,并且鱼眼镜头在近距离时两个相机的之间的重叠区域非常小;故相邻两路鱼眼相机采集到重叠区域标定板图像,不能保证图像较大,且畸变较小。只能选取折中的位置,采集到图像大小一般且具有一定畸变的图像进行标定,造成标定结果不够精准。
为了克服这个问题,本发明提供了一种多路鱼眼相机双目标定装置,如图1所示,该装置包括:全景摄像模块9、第一电机驱动模块14、第一滚轮组15、图像处理模块16、图像显示模块17、标定靶1、控制模块19;
所述全景摄像模块9包括支架18、设置在支架各侧面的多个鱼眼镜头101及多个图像传感器(图中未示出),每个镜头对应一个图像传感器,所述多个鱼眼镜头位于同一竖直高度,所述多个鱼眼镜头101与侧面181转动连接;
所述第一滚轮组15设置于所述第一电机驱动模块14底部,所述第一电机驱动模块14通过第一驱动轴13与所述全景摄像模块9连接,所述图像处理模块16连接所述全景摄像模块9;所述图像显示模块17连接所述图像处理模块16;
所述标定靶1包括:底板,所述底板包括第一区域11和第二区域12,设置于所述第一区域11表面并可在其范围内移动的第一标定板21及设置于所述第二区域12表面并可在其范围内移动的第二标定板22;与底板固定连接的第二驱动轴6,与所述第二驱动轴6连接的第二电机驱动模块7,设置在所述第二电机驱动模块7底部的第二滚轮组8;
所述标定靶1设置于所述全景摄像模块9两路相机相邻区域,所述控制模块19连接所述第一电机驱动模块1和所述第二电机驱动模块7。
作为本发明实施例,本发明涉及到的全景相机具有四路鱼眼镜头,那么鱼眼相机标定装置中具有4个鱼眼镜头及4个图像传感器。全景摄像模块的支架设置为立方体形状,支架各侧面为平面,为了保证各镜头位于同一竖直高度,则将四个镜头设置于立方体支架的各侧面的正中心。由于镜头可以相对于侧面旋转,将镜头光轴与支架侧面垂线的夹角设置在小于等于5°。
为了实现4路鱼眼相机的同时标定,所述标定装置还包括与所述第一标定靶结构相同的第二标定靶,所述第二标定靶设置于全景摄像模块相对于第一标定靶的另一侧。通过第一电机驱动模块及两个第二电机驱动模块调整标定靶的位置及角度、全景摄像模块上鱼眼镜头的位置及角度,从而实现四路鱼眼标定板图像信息采集。
上述装置中的第一电机驱动模块可通过第一驱动轴驱动全景摄像模块在三维空间自由移动,并且可以在立体空间内任意旋转来调整镜头方向,另外,镜头还可以相对侧面旋转一定角度;第二电机驱动模块可通过第二驱动轴驱动标定靶在三维空间自由移动,标定靶中第一标定板相对于第一区域移动,第二标定板相对于第二区域移动,且两个标定板在水平方向上的间隔为L,L的大小由标定靶与全景摄像装置间的距离确定,一般要大于100毫米,从而保证左边鱼眼相机镜头拍摄第一区域中标定板图像,右边相机鱼眼镜头拍摄第二区域中标定板图像。
标定靶中标定板的图案设置为黑白相间的棋盘格,使用标定靶,可以保证标定时能够找到足够数量的、分布均匀的足够精度且基本处于同一深度的特征点,而不受标定所处实际场景的约束。标定靶中标定板的图案还可以设置成圆孔图案同样能够实现标定结果。
使用标定靶时,如图2所示,第一部分和第二部分间夹角为至180°,从而便于确定两标定板间的位置关系。
本发明公开的多路鱼眼相机标定装置采用一种具有两块标定板的标定靶,两块标定靶间的位置关系已知。从而能够拍摄到畸变较小的保证能够找到足够的特征点的标定板图像,大大提高了双目相机标定的精度。
如图3所示,本发明还提供了一种多路鱼眼相机双目标定方法,可以进行任意角度双目摄像机的标定,利用上述标定装置对鱼眼相机进行标定,包括如下步骤:
S1:采用全景摄像模块左右相邻两路鱼眼相机同时采集标定靶中不同位置标定板图像;
针对上述标定靶,采集每路鱼眼镜头视野内各个位置下的标定板图像,一般采集的图像数量在15至20张,标定结果的准确度较高,且计算量适中。
在本实施例中,可以采用如下几种方式采用全景摄像模块左右相邻两路鱼眼相机同时采集标定靶中不同位置标定板图像:
将标定靶上两个标定板分别移至标定靶第一区域和第二区域的中间,且两个标定板在水平方向上的间隔为L,L的大小通过标定板与镜头之间的距离确定。左边鱼眼相机镜头拍摄第一区域中标定板图像,右边相机鱼眼镜头拍摄第二区域中标定板图像。利用相邻两个镜头同时采集标定板图像时,通过所述第一电机驱动模块驱动支架平移和旋转,改变镜头的位姿,拍摄左右相邻两路鱼眼相机镜头在不同位姿下的标定板图像。还可通过所述第二电机驱动模块驱动标定靶在水平面和垂直面上移动以改变标定靶的位置。
在采集标定板图像时,相邻两路相机鱼眼镜头对标定靶中两个标定板同时进行图像采集,两个标定板的间隔L保持不变;不同的镜头对之间,可以调整两个标定板之间的间隔大小,以满足标定板图像拍摄的需要。
在采集标定板图像时,镜头与支架之间固定不动。
S2:选取等距投影畸变模型;
鱼眼镜头一般是由十几个不同的透镜组合而成,在成像过程中,入射光线经过不同程度的折射,折射到尺寸有限的成像平面上。鱼眼镜头成像遵循的模型是近似为单位球面投影模型,在本发明中采用的是等距投影模型,具体表示如下:等距投影畸变模型具体表示如下:
rd=fθd; (1)
公式(1)中,rd表示鱼眼图像中的点到畸变中心的距离,f表示鱼眼相机的焦距,θd表示入射光线与鱼眼镜头光轴之间的夹角,即入射角;
由于鱼眼镜头的投影模型为了将尽可能大的场景投影到有限的图像平面内,因此鱼眼镜头的畸变非常严重。鱼眼镜头的畸变主要是径向畸变,选取径向畸变模型如下:
θd=θ(1+k1θ2+k2θ4+k3θ6+k4θ8+…); (2)
公式(2)中,θ表示无畸变的入射角,K=(k1,k2,k3,k4,…)表示畸变参数;θd表示入射光线与鱼眼镜头光轴之间的夹角,即畸变入射角;
通过上述畸变模型,从无畸变图像中的点计算出鱼眼图像中的畸变点,公式如下:
公式(3)中,(xs,ys)是有畸变坐标点,(xc,yc)是无畸变坐标点,(cx,cy)表示畸变图像的中心点坐标;
S3:根据采集到的相邻左右两路鱼眼镜头图像及成像模型分别计算左右两个镜头的内参数及每个视场的外参数Ml,Kl,Mr,Kr,
镜头标定涉及到的内参数有镜头中心位置,镜头有效焦距以及镜头的畸变系数,涉及到的外参数有旋转和平移向量。首先要初始化镜头的内外参数,即将鱼眼图像上的畸变点进行去畸变得到无畸变点,然后计算空间坐标点与无畸变图像点之间的单应矩阵Homography,通过采集的多张图像来计算每个视场的旋转和平移向量,同时也计算摄像机的内参数。具体计算方法如下:分别提取左右两路鱼眼镜头图像中所有标定板在图像平面内的特征点坐标,计算标定板坐标系下空间点与图像平面坐标系中特征点之间的单应矩阵Homography,单应矩阵计算方法如下:
公式(4)中,表示图像平面坐标系中特征点坐标,表示标定板坐标系下空间特征点;s是任意尺度的比例因子;W表示用于定位观测的物体平面的物理变换,包括与观测到的图像平面相关的部分旋转R和部分平移T的和,W=[R T];M是摄像机的内参数矩阵,其中包括x方向焦距fx,y方向焦距fy,图像中畸变图像的中心点坐标(cx,cy);
由旋转矩阵的正交性分解单应矩阵Homography,构成一个包含镜头内部参数和外部参数的超定方程,通过奇异值分解及一系列变换分别得到左右两路鱼眼镜头的内部参数和外部参数,利用采集的图像对左右镜头分别进行上述标定求解,计算出左镜头内参数为Ml,Kl,外参数为右镜头内参数为Mr,Kr外参数为外部参数指镜头坐标系与所有平面坐标系之间的旋转和平移关系;
成像模型包括畸变模型,计算鱼眼镜头内外参数时,根据畸变模型,及单应矩阵对内外参数进行求取。
S4:根据标定靶上两个标定板之间的位置关系及得到的相邻两个镜头的外参数计算相邻两个相机镜头之间的位置关系;
具体计算方法如下:对于标定靶中两个标定板上,相对应位置的点X1、X2分别表示该点在世界坐标系的坐标,具有如下关系:
X2=RX1+T; (5)
公式(5)中,R,T表示已知的标定靶中两个标定板在相对应位置点之间的旋转和平移关系;
X1,X2在各自镜头坐标系下的坐标为Xl,Xr,它们之间的转换关系如下:
Xl=RlX1+T,Xr=RrX2+Tr; (6)
根据公式(5)和公式(6)消除X1,X2,可得:
进而可得出:
公式(8)和公式(9)中,Rr→l表示右相机与左相机之间的旋转矩阵,Tr→l表示右相机与左相机之间的平移矩阵。
由于标定靶中两个标定板的水平距离为L,那么对于标定靶中两个标定板上,相对应位置的点X1、X2分别表示该点在世界坐标系的坐标,X1、X2间的旋转关系矩阵R为平移关系矩阵T为L+W左。W左表示标定靶上左标定板一行中所有黑白格的宽度和。对应的公式(8)和公式(9)变换为:
S5:根据计算的相邻左相机的内外参数、右相机的内外参数、左标定板与右标定板间的旋转及平移关系、左相机与右相机间的旋转及平移关系及选定的畸变模型对双目镜头的内外参数进行优化从而得到最优的左镜头的内外参数Ml,Kl,右镜头的内外参数Mr,Kr,左镜头与右镜头之间的旋转关系Rr→l、平移关系Tr→l;
具体方法如下:鱼眼镜头的畸变非常严重,通过采用非线性优化的方法优化上述求解得到的摄像机参数,可采用Levenberg-Marquardt算法对相邻左右相机的内参数及左右相机镜头之间的关系进行优化,建立以重投影误差为最小的优化目标函数如下:
公式(10)中,是根据左边平面标定模板上的特征点的初始值Pl j使用左相机畸变模型重投影到图像坐标系下计算出来的第j个特征点在左相机第i幅图像上的图像坐标,是标定板上第j个特征点在左镜头第i幅图像上检测出来的特征点坐标,nl是左镜头第i幅图像上识别出的特征角点个数,是根据右边平面标定模板上的特征点的初始值使用右相机畸变模型重投影到图像坐标系下计算出来的第j个特征点在左相机第i幅图像上的图像坐标,右相机畸变模型是由左平面标定板的外参及左右两标定板之间的旋转、平移矩阵及左右两镜头之间的旋转、平移矩阵得到;是标定板上第j个特征点在右镜头第i幅图像上检测出来的特征点坐标,nr是右镜头第i幅图像上识别出来的特征角点数目。
本发明采用一种具有两块标定板的标定靶进行多路鱼眼相机双目标定,两块标定板间的位置关系已知,通过左边鱼眼相机镜头拍摄第一区域中标定板图像,右边相机鱼眼镜头拍摄第二区域中标定板图像。从而得到畸变较小且大小适中的标定板图像,保证能够找到足够的特征点,大大提高了双目相机标定的精度。
以上所揭露的仅为本发明一种较佳实施例而已,当然不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。
Claims (8)
1.一种多路鱼眼相机双目标定方法,利用标定装置对鱼眼相机进行标定,标定装置包括:全景摄像模块、第一电机驱动模块、第一滚轮组、图像处理模块、图像显示模块、标定靶、控制模块;
所述全景摄像模块包括支架、设置在支架各侧面的多个鱼眼镜头及多个图像传感器,每个镜头对应一个图像传感器,所述多个鱼眼镜头位于同一竖直高度,所述多个鱼眼镜头与侧面转动连接;
所述第一滚轮组设置于所述第一电机驱动模块底部,所述第一电机驱动模块通过第一驱动轴与所述全景摄像模块连接,所述图像处理模块连接所述全景摄像模块;所述图像显示模块连接所述图像处理模块;
所述标定靶包括:底板,所述底板包括第一区域和第二区域,设置于所述第一区域表面并可在其范围内移动的第一标定板及设置于所述第二区域表面并可在其范围内移动的第二标定板;与底板固定连接的第二驱动轴,与所述第二驱动轴连接的第二电机驱动模块,设置在所述第二电机驱动模块底部的第二滚轮组;
所述标定靶设置于所述全景摄像模块两路相机相邻区域,所述控制模块连接所述第一电机驱动模块和所述第二电机驱动模块;
其特征在于,方法包括如下步骤:
S1:采用全景摄像模块左右相邻两路鱼眼相机同时采集标定靶中不同位置标定板图像;
S2:选取等距投影畸变模型;
等距投影畸变模型具体表示如下:
rd=fθd; (1)
公式(1)中,rd表示鱼眼图像中的点到畸变中心的距离,f表示鱼眼相机的焦距,θd表示入射光线与鱼眼镜头光轴之间的夹角,即入射角;
选取径向畸变模型如下:
θd=θ(1+k1θ2+k2θ4+k3θ6+k4θ8+…); (2)
公式(2)中,θ表示无畸变的入射角,K=(k1,k2,k3,k4,…)表示畸变参数;θd表示畸变入射角;
通过上述畸变模型,从无畸变图像中的点计算出鱼眼图像中的畸变点,公式如下:
公式(3)中,(xs,ys)是有畸变坐标点,(xc,yc)是无畸变坐标点,(cx,cy)表示畸变图像的中心点坐标;
S3:根据采集到的相邻左右两路鱼眼镜头图像及成像模型分别计算左右两个镜头的内参数及每个视场的外参数
具体计算方法如下:分别提取左右两路鱼眼镜头图像中所有标定板在图像平面内的特征点坐标,计算标定板坐标系下空间点与图像平面坐标系中特征点之间的单应矩阵Homography,单应矩阵计算方法如下:
公式(4)中,表示图像平面坐标系中特征点坐标,表示标定板坐标系下空间特征点;s是任意尺度的比例因子;W表示用于定位观测的物体平面的物理变换,包括与观测到的图像平面相关的部分旋转R和部分平移T的和,W=[RT];M是摄像机的内参数矩阵,其中包括x方向焦距fx,y方向焦距fy,图像中畸变图像的中心点坐标(cx,cy);
由旋转矩阵的正交性分解单应矩阵Homography,构成一个包含镜头内部参数和外部参数的超定方程,通过奇异值分解及一系列变换分别得到左右两路鱼眼镜头的内部参数和外部参数;
S4:根据标定靶上两个标定板之间的位置关系及得到的相邻两个镜头的外参数计算相邻两个相机镜头之间的位置关系;
S5:根据计算的相邻左相机的内外参数、右相机的内外参数、左标定板与右标定板间的旋转及平移关系、左相机与右相机间的旋转及平移关系及选定的畸变模型对双目镜头的内外参数进行优化从而得到最优的左镜头的内外参数右镜头的内外参数左镜头与右镜头之间的旋转关系Rr→l、平移关系Tr→l;
具体方法如下:采用Levenberg-Marquardt算法对相邻左右相机的内参数及左右相机镜头之间的关系进行优化,建立以重投影误差为最小的优化目标函数如下:
公式(10)中,是根据左边平面标定模板上的特征点的初始值使用左相机畸变模型重投影到图像坐标系下计算出来的第j个特征点在左相机第i幅图像上的图像坐标,是标定板上第j个特征点在左镜头第i幅图像上检测出来的特征点坐标,nl是左镜头第i幅图像上识别出的特征角点个数,是根据右边平面标定模板上的特征点的初始值使用右相机畸变模型重投影到图像坐标系下计算出来的第j个特征点在左相机第i幅图像上的图像坐标,右相机畸变模型是由左平面标定板的外参及左右两标定板之间的旋转、平移矩阵及左右两镜头之间的旋转、平移矩阵得到;是标定板上第j个特征点在右镜头第i幅图像上检测出来的特征点坐标,nr是右镜头第i幅图像上识别出来的特征角点数目。
2.根据权利要求1所述的多路鱼眼相机双目标定方法,其特征在于,所述鱼眼镜头及图像传感器均为4个。
3.根据权利要求2所述的多路鱼眼相机双目标定方法,其特征在于,所述标定装置还包括与所述第一标定靶结构相同的第二标定靶,所述第二标定靶设置于全景摄像模块相对于第一标定靶的另一侧。
4.根据权利要求1至3任一项所述的多路鱼眼相机双目标定方法,其特征在于,所述采用全景摄像模块左右相邻两路鱼眼相机同时采集标定靶中不同位置标定板图像中,将标定靶上两个标定板分别移至标定靶第一区域和第二区域的中间,且两个标定板在水平方向上的间隔为L。
5.根据权利要求1至3任一项所述的多路鱼眼相机双目标定方法,其特征在于,所述采用全景摄像模块左右相邻两路鱼眼相机同时采集标定靶中不同位置标定板图像中,左边鱼眼相机镜头拍摄第一区域中标定板图像,右边相机鱼眼镜头拍摄第二区域中标定板图像。
6.根据权利要求1至3任一项所述的多路鱼眼相机双目标定方法,其特征在于,所述采用全景摄像模块左右相邻两路鱼眼相机同时采集标定靶中不同位置标定板图像中,通过所述第一电机驱动模块驱动支架平移和旋转,改变镜头的位姿,拍摄左右相邻两路鱼眼相机镜头在不同位姿下的标定板图像。
7.根据权利要求1至3任一项所述的多路鱼眼相机双目标定方法,其特征在于,所述采用全景摄像模块左右相邻两路鱼眼相机同时采集标定靶中不同位置标定板图像中,通过所述第二电机驱动模块驱动标定靶在水平面和垂直面上移动以改变标定靶的位置。
8.根据权利要求1至3任一项所述的多路鱼眼相机双目标定方法,其特征在于,所述S4具体包括:
对于标定靶中两个标定板上,相对应位置的点X1、X2分别表示该点在世界坐标系的坐标,具有如下关系:
X2=RX1+T; (5)
公式(5)中,R,T表示已知的标定靶中两个标定板在相对应位置点之间的旋转和平移关系;
X1,X2在各自镜头坐标系下的坐标为Xl,Xr,它们之间的转换关系如下:
Xl=RlX1+T,Xr=RrX2+Tr; (6)
根据公式(5)和公式(6)消除X1,X2,可得:
进而可得出:
公式(8)和公式(9)中,Rr→l表示右相机与左相机之间的旋转矩阵,Tr→l表示右相机与左相机之间的平移矩阵。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710059412.6A CN106846415B (zh) | 2017-01-24 | 2017-01-24 | 一种多路鱼眼相机双目标定装置及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710059412.6A CN106846415B (zh) | 2017-01-24 | 2017-01-24 | 一种多路鱼眼相机双目标定装置及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106846415A CN106846415A (zh) | 2017-06-13 |
CN106846415B true CN106846415B (zh) | 2019-09-20 |
Family
ID=59121671
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710059412.6A Active CN106846415B (zh) | 2017-01-24 | 2017-01-24 | 一种多路鱼眼相机双目标定装置及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106846415B (zh) |
Families Citing this family (44)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107464265B (zh) * | 2017-06-14 | 2021-05-11 | 深圳市圆周率软件科技有限责任公司 | 一种双目全景相机的参数标定系统及方法 |
CN109215082B (zh) | 2017-06-30 | 2021-06-22 | 杭州海康威视数字技术股份有限公司 | 一种相机参数标定方法、装置、设备及系统 |
CN107492124B (zh) * | 2017-07-27 | 2020-05-29 | 歌尔股份有限公司 | 鱼眼摄像头的平面标定装置 |
CN107576282A (zh) * | 2017-09-01 | 2018-01-12 | 微鲸科技有限公司 | 相机偏转角测量方法及装置 |
CN107610185A (zh) * | 2017-10-12 | 2018-01-19 | 长沙全度影像科技有限公司 | 一种鱼眼相机快速标定装置及标定方法 |
CN107886547B (zh) * | 2017-11-10 | 2020-04-28 | 长沙全度影像科技有限公司 | 一种鱼眼相机标定方法及系统 |
CN109785390B (zh) | 2017-11-13 | 2022-04-01 | 虹软科技股份有限公司 | 一种用于图像矫正的方法和装置 |
CN107872664A (zh) * | 2017-11-21 | 2018-04-03 | 上海兴芯微电子科技有限公司 | 一种三维成像系统及三维图像构建方法 |
CN108257183B (zh) * | 2017-12-20 | 2021-02-23 | 歌尔光学科技有限公司 | 一种相机镜头光轴校准方法和装置 |
CN108182708B (zh) * | 2017-12-27 | 2020-05-26 | 深圳进化动力数码科技有限公司 | 一种双目相机的标定方法、标定装置及终端设备 |
CN108596982A (zh) * | 2018-04-24 | 2018-09-28 | 深圳市航盛电子股份有限公司 | 一种简易的车载多目摄像机环视系统标定方法及装置 |
CN108765489B (zh) * | 2018-05-29 | 2022-04-29 | 中国人民解放军63920部队 | 一种基于组合靶标的位姿计算方法、系统、介质及设备 |
CN110660105B (zh) * | 2018-06-29 | 2022-05-31 | 杭州海康威视数字技术股份有限公司 | 一种全景环视系统的标定参数优化方法及装置 |
CN109064404A (zh) * | 2018-08-10 | 2018-12-21 | 西安电子科技大学 | 一种基于多相机标定的全景拼接方法、全景拼接系统 |
CN109272453B (zh) * | 2018-08-31 | 2023-02-10 | 上海盎维信息技术有限公司 | 基于3d摄像机的建模装置及定位方法 |
CN111243028B (zh) * | 2018-11-09 | 2023-09-08 | 杭州海康威视数字技术股份有限公司 | 一种电子设备及镜头关联方法、装置 |
CN109859272B (zh) * | 2018-12-18 | 2023-05-19 | 像工场(深圳)科技有限公司 | 一种自动对焦双目摄像头标定方法及装置 |
CN109448063A (zh) | 2018-12-18 | 2019-03-08 | 苏州艾微视图像科技有限公司 | 一种镜头畸变中心标定设备及方法 |
CN109727292B (zh) * | 2018-12-29 | 2020-09-08 | 哈尔滨拓博科技有限公司 | 基于多摄像头-投影仪的互动投影系统及自动化标定方法 |
CN111417016A (zh) * | 2019-01-07 | 2020-07-14 | 中国移动通信有限公司研究院 | 一种姿态估计方法、服务器和网络设备 |
CN109767476B (zh) * | 2019-01-08 | 2023-04-07 | 像工场(深圳)科技有限公司 | 一种自动对焦双目摄像头标定及深度计算方法 |
CN109872372B (zh) * | 2019-03-07 | 2021-04-09 | 山东大学 | 一种小型四足机器人全局视觉定位方法和系统 |
CN110163922B (zh) * | 2019-05-22 | 2020-06-23 | 四川深瑞视科技有限公司 | 鱼眼相机标定系统、方法、装置、电子设备及存储介质 |
EP3944194B1 (en) | 2019-05-22 | 2023-02-22 | Sichuan Visensing Technology Co., Ltd. | Fisheye camera calibration system, method and apparatus, and electronic device and storage medium |
CN110264524B (zh) * | 2019-05-24 | 2023-07-21 | 联想(上海)信息技术有限公司 | 一种标定方法、装置、系统及存储介质 |
CN110264528B (zh) * | 2019-06-25 | 2023-11-14 | 中国人民解放军国防科技大学 | 一种鱼眼镜头双目像机快速自标定方法 |
CN112150553B (zh) * | 2019-06-27 | 2024-03-29 | 北京魔门塔科技有限公司 | 一种车载相机的标定方法和装置 |
CN110415303A (zh) * | 2019-07-29 | 2019-11-05 | 华天慧创科技(西安)有限公司 | 一种相机3d成像标定装置及3d成像标定方法 |
CN110555887B (zh) * | 2019-07-30 | 2022-07-15 | 北京小马智卡科技有限公司 | 应用于相机标定系统的标定方法和相机标定系统 |
CN113256727A (zh) * | 2020-02-13 | 2021-08-13 | 纳恩博(北京)科技有限公司 | 移动装置及图像传感系统参数在线标定和检查方法及装置 |
CN111559314B (zh) * | 2020-04-27 | 2021-08-24 | 长沙立中汽车设计开发股份有限公司 | 深度与图像信息融合的3d增强全景环视系统及实现方法 |
WO2021238923A1 (zh) * | 2020-05-25 | 2021-12-02 | 追觅创新科技(苏州)有限公司 | 相机参数标定方法及装置 |
CN111612853B (zh) * | 2020-05-25 | 2023-08-08 | 追觅创新科技(苏州)有限公司 | 相机参数标定方法及装置 |
CN111784778B (zh) * | 2020-06-04 | 2022-04-12 | 华中科技大学 | 基于线性求解非线性优化的双目相机外参标定方法和系统 |
CN111768383A (zh) * | 2020-06-29 | 2020-10-13 | 易思维(杭州)科技有限公司 | 立体靶标及利用其恢复视觉传感器工作功能的方法 |
CN112102401B (zh) * | 2020-09-21 | 2024-05-28 | 中国科学院上海微系统与信息技术研究所 | 一种目标定位方法、装置、系统、设备及存储介质 |
CN112258581B (zh) * | 2020-09-25 | 2022-08-19 | 湖北久之洋红外系统股份有限公司 | 一种多鱼眼镜头全景相机的现场标定方法 |
CN112101361B (zh) * | 2020-11-20 | 2021-04-23 | 深圳佑驾创新科技有限公司 | 针对鱼眼图像的目标检测方法、装置、设备和存储介质 |
CN113112549B (zh) * | 2020-12-23 | 2022-08-23 | 合肥工业大学 | 一种基于编码立体靶标的单目摄像机快速标定方法 |
CN112967345B (zh) * | 2021-03-09 | 2024-04-26 | 阿波罗智联(北京)科技有限公司 | 鱼眼相机的外参标定方法、装置以及系统 |
CN113362398B (zh) * | 2021-06-30 | 2022-07-15 | 广州文远知行科技有限公司 | 确定相机内参误差的方法、系统、设备和存储介质 |
CN113870364B (zh) * | 2021-09-30 | 2024-05-24 | 吉林大学重庆研究院 | 一种自适应的双目相机标定方法 |
CN113822949B (zh) * | 2021-11-22 | 2022-02-11 | 湖南中腾结构科技集团有限公司 | 一种双目相机的标定方法、装置及可读存储介质 |
CN114205483B (zh) * | 2022-02-17 | 2022-07-29 | 杭州思看科技有限公司 | 扫描仪精度校准方法、装置和计算机设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101146231A (zh) * | 2007-07-03 | 2008-03-19 | 浙江大学 | 根据多视角视频流生成全景视频的方法 |
CN201838036U (zh) * | 2010-11-09 | 2011-05-18 | 姜光 | 一种双平面标定板 |
CN203102374U (zh) * | 2012-12-15 | 2013-07-31 | 北京工业大学 | 一种多相机系统的加权标定装置 |
CN105654502A (zh) * | 2016-03-30 | 2016-06-08 | 广州市盛光微电子有限公司 | 一种基于多镜头多传感器的全景相机标定装置和方法 |
-
2017
- 2017-01-24 CN CN201710059412.6A patent/CN106846415B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101146231A (zh) * | 2007-07-03 | 2008-03-19 | 浙江大学 | 根据多视角视频流生成全景视频的方法 |
CN201838036U (zh) * | 2010-11-09 | 2011-05-18 | 姜光 | 一种双平面标定板 |
CN203102374U (zh) * | 2012-12-15 | 2013-07-31 | 北京工业大学 | 一种多相机系统的加权标定装置 |
CN105654502A (zh) * | 2016-03-30 | 2016-06-08 | 广州市盛光微电子有限公司 | 一种基于多镜头多传感器的全景相机标定装置和方法 |
Also Published As
Publication number | Publication date |
---|---|
CN106846415A (zh) | 2017-06-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106846415B (zh) | 一种多路鱼眼相机双目标定装置及方法 | |
CN106548477B (zh) | 一种基于立体标定靶的多路鱼眼相机标定装置及方法 | |
CN206460516U (zh) | 一种多路鱼眼相机双目标定装置 | |
CN105118055B (zh) | 摄影机定位修正标定方法及系统 | |
CN107358631B (zh) | 一种虑及三维畸变的双目视觉重建方法 | |
CN105488810B (zh) | 一种聚焦光场相机内外参数标定方法 | |
JP4147059B2 (ja) | キャリブレーション用データ測定装置、測定方法及び測定プログラム、並びにコンピュータ読取可能な記録媒体、画像データ処理装置 | |
CN105303574B (zh) | 一种基于单应性变换的集成成像摄像机阵列标定方法 | |
CN206460515U (zh) | 一种基于立体标定靶的多路鱼眼相机标定装置 | |
CN106651859A (zh) | 一种多路鱼眼相机标定装置及方法 | |
CN103198487B (zh) | 一种用于视频监控系统中的自动定标方法 | |
CN105716542B (zh) | 一种基于柔性特征点的三维数据拼接方法 | |
CN107767422A (zh) | 一种鱼眼镜头的校正方法、装置及便携式终端 | |
CN104240262B (zh) | 一种用于摄影测量的相机外参数标定装置及标定方法 | |
CN109859272A (zh) | 一种自动对焦双目摄像头标定方法及装置 | |
Zhang et al. | A universal and flexible theodolite-camera system for making accurate measurements over large volumes | |
CN109668509A (zh) | 基于双棱镜单摄像机三维测量工业内窥镜系统及测量方法 | |
CN106871787A (zh) | 大空间线扫描成像三维测量方法 | |
WO2020063059A1 (zh) | 一种可动视觉系统的立体标定方法 | |
CN102243432A (zh) | 全景立体摄像装置 | |
CN105791800A (zh) | 立体显示系统及立体显示方法 | |
CN104123726B (zh) | 基于消隐点的大锻件测量系统标定方法 | |
CN113724337A (zh) | 一种无需依赖云台角度的相机动态外参标定方法及装置 | |
CN112950727B (zh) | 基于仿生曲面复眼的大视场多目标同时测距方法 | |
JP2003284098A (ja) | 立体画像表示装置及び方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |