CN106651859A - 一种多路鱼眼相机标定装置及方法 - Google Patents
一种多路鱼眼相机标定装置及方法 Download PDFInfo
- Publication number
- CN106651859A CN106651859A CN201710059407.5A CN201710059407A CN106651859A CN 106651859 A CN106651859 A CN 106651859A CN 201710059407 A CN201710059407 A CN 201710059407A CN 106651859 A CN106651859 A CN 106651859A
- Authority
- CN
- China
- Prior art keywords
- camera
- scaling board
- image
- target
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000005457 optimization Methods 0.000 claims abstract description 12
- 238000003384 imaging method Methods 0.000 claims abstract description 9
- 230000000007 visual effect Effects 0.000 claims abstract description 9
- 241000251468 Actinopterygii Species 0.000 claims description 40
- 239000011159 matrix material Substances 0.000 claims description 20
- 230000008859 change Effects 0.000 claims description 15
- 230000003287 optical effect Effects 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 241000208340 Araliaceae Species 0.000 claims description 4
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims description 4
- 235000003140 Panax quinquefolius Nutrition 0.000 claims description 4
- 235000008434 ginseng Nutrition 0.000 claims description 4
- 238000012897 Levenberg–Marquardt algorithm Methods 0.000 claims description 3
- 230000002159 abnormal effect Effects 0.000 claims description 3
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 238000000205 computational method Methods 0.000 claims description 2
- 238000010304 firing Methods 0.000 claims 1
- 238000004422 calculation algorithm Methods 0.000 abstract description 8
- 230000008569 process Effects 0.000 description 4
- 230000008685 targeting Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000010411 cooking Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20068—Projection on vertical or horizontal image axis
Abstract
本发明公开了一种多路鱼眼相机标定装置及方法,属于摄像机标定技术领域。该方法包括:采用全景摄像模块的每路鱼眼相机采集标定靶中不同位置标定板图像;选取等距投影畸变模型;根据采集到的鱼眼镜头图像及成像模型分别计算镜头内参数及每个视场的外参数;对获取的内外参数进行非线性优化从而得到最优的镜头内外参数M、K、R、T值。该方法中对新的折叠式标定靶中标定板进行标定图像采集,降低了对标定区域大小的要求,并且能够保证找到足够的特征点,减轻了算法的复杂程度,此外,在标定板图像采集上更加灵活,可以采集到镜头视野范围内各个区域的图像,大大的提高了相机标定的精度。
Description
技术领域
本发明涉及摄像机标定技术领域,尤其是涉及一种多路鱼眼相机标定装置及方法。
背景技术
在图像测量过程以及机器视觉应用中,为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的关系,必须建立相机成像的几何模型,求解这些几何模型参数的过程就是相机标定。无论是在图像测量或者是机器视觉应用中,相机标定都是非常关键的一环,标定精度以及算法的稳定性直接影响着后续相机工作的结果。
相机标定的方法主要有传统相机标定方法以及相机自标定方法。传统相机标定方法需要使用尺寸已知的标定物,通过建立标定物上坐标已知点与图像点之间的对应关系,利用一定的算法获得相机模型的内外参数。传统的标定方法采用的标定物可以是平面的棋盘格或圆孔标定板以及3D立体标定靶,传统相机标定的方法受标定板的影响很大。
相机自标定算法主要是利用场景中的一些平行或者正交的信息,其中空间平行线在相机图像平面上的交点称为消失点。自标定方法灵活性强,可对相机进行在线标定,但是由于他是基于绝对二次曲线或曲面的方法,其算法的鲁棒性差,标定的精度不高。
目前基于标定物的相机标定方法对标定的场景有较高要求,标定区域要求空间比较充裕,一般是以最小标定距离为半径的圆,并且要求标定场景拥有足够的特征点。
发明内容
本发明为克服现有基于标定物的相机标定对标定场景要求较高的技术问题,旨在提供一种对标定场景要求较低的多路鱼眼相机标定装置及方法。
本发明提供了一种多路鱼眼相机标定装置,包括:全景摄像模块、第一电机驱动模块、第一滚轮组、图像处理模块、图像显示模块、标定靶、控制模块;
所述全景摄像模块包括支架、设置在支架各侧面的多个鱼眼镜头及多个图像传感器,每个镜头对应一个图像传感器,所述多个鱼眼镜头位于同一竖直高度,所述多个鱼眼镜头与侧面转动连接;
所述第一滚轮组设置于所述第一电机驱动模块底部,所述第一电机驱动模块通过第一驱动轴与所述全景摄像模块连接,所述图像处理模块连接所述全景摄像模块;所述图像显示模块连接所述图像处理模块;
所述标定靶包括:通过连接轴活动连接的第一底板、第二底板,设置于所述第一底板表面并可在其范围内移动的第一标定板及设置于所述第二底板表面并可在其范围内移动的第二标定板;与所述连接轴固定连接的第二驱动轴,与所述第二驱动轴连接的第二电机驱动模块,设置在所述第二电机驱动模块底部的第二滚轮组;
所述标定靶设置于所述全景摄像模块两路相机相邻区域,所述控制模块连接所述第一电机驱动模块和所述第二电机驱动模块。
进一步的,所述鱼眼镜头及图像传感器均为4个。
进一步的,所述标定装置还包括与所述第一标定靶结构相同的第二标定靶,所述第二标定靶设置于全景摄像模块相对于第一标定靶的另一侧。
另外,本发明还提供了一种多路鱼眼相机标定方法,包括如下步骤:
采用全景摄像模块的每路鱼眼相机采集标定靶中不同位置标定板图像;
选取等距投影畸变模型;
等距投影畸变模型具体表示如下:
rd=fθd; (1)
公式(1)中,rd表示鱼眼图像中的点到畸变中心的距离,f表示鱼眼相机的焦距,θd表示入射光线与鱼眼镜头光轴之间的夹角,即入射角;
选取径向畸变模型如下:
θd=θ(1+k1θ2+k2θ4+k3θ6+k4θ8+…); (2)
公式(2)中,θ表示无畸变的入射角,K=(k1,k2,k3,k4,…)表示畸变参数;θd表示畸变入射角;
通过上述畸变模型,从无畸变图像中的点计算出鱼眼图像中的畸变点,公式如下:
公式(3)中,(xs,ys)是有畸变坐标点,(xc,yc)是无畸变坐标点,(cx,cy)表示畸变图像的中心点坐标;
根据采集到的鱼眼镜头图像及成像模型分别计算镜头内参数及每个视场的外参数;
具体计算方法如下:提取所有标定板在图像平面内的特征点坐标,计算标定板坐标系下空间点与图像平面坐标系中特征点之间的单应矩阵Homography,单应矩阵计算方法如下:
公式(4)中,表示图像平面坐标系中特征点坐标,表示标定板坐标系下空间特征点;s是任意尺度的比例因子;W表示用于定位观测的物体平面的物理变换,包括与观测到的图像平面相关的部分旋转R和部分平移T的和,W=[R T];M是摄像机的内参数矩阵,其中包括x方向焦距fx,y方向焦距fy,图像中畸变图像的中心点坐标(cx,cy);
由旋转矩阵的正交性分解单应矩阵Homography,构成一个包含镜头内部参数和外部参数的超定方程,通过奇异值分解及一系列变换得到摄像机的内部参数和外部参数,内部参数包括:M,K,外部参数Ri,Ti;
对获取的内外参数进行非线性优化从而得到最优的镜头内外参数M、K、R、T值;
具体方法如下,根据求解得到的镜头的内外参数以及选定的畸变模型,采用Levenberg-Marquardt算法对镜头的内外参数进行非线性优化,建立以重投影误差为最小的优化目标函数如下:
公式(5)中,是根据标定板上的特征点的初始值Pj使用摄像机成像模型投影到图像坐标系下计算出来的第j个特征点在相机第i幅图像上的图像坐标,mij是采用角点检测方法得到的像素坐标点,m表示拍摄标定板图像的数目,n表示标定板中特征点的个数,M表示镜头标定的内参数,K表示镜头的畸变系数,Ri,Ti表示第i幅图像下标定板坐标系与镜头坐标系之间的旋转矩阵和平移向量。
进一步的,所述采用全景摄像模块的每路鱼眼相机采集标定靶中不同位置标定板图像步骤中,通过安装在标定靶下方的第二驱动单元及第二滚轮组驱动标定靶在水平面和垂直面上移动,从而改变标定板在镜头视野范围内的位置。
进一步的,所述采用全景摄像模块的每路鱼眼相机采集标定靶中不同位置标定板图像步骤中,通过移动第一标定板在第一底板中的位置及第二标定板在第二底板中的位置,从而改变标定板在鱼眼镜头视野范围内的位置。
进一步的,所述采用全景摄像模块的每路鱼眼相机采集标定靶中不同位置标定板图像步骤中,通过调节连接轴转动两个底板张开的角度,从而改变标定板在鱼眼镜头视野范围内的位置,角度范围在[150°,180°]。
进一步的,所述采用全景摄像模块的每路鱼眼相机采集标定靶中不同位置标定板图像步骤中,通过第一电机驱动模块及第一滚轮组来旋转及平移镜头所处的位置,从而改变标定板在鱼眼镜头视野范围内的位置。
进一步的,所述采用全景摄像模块的每路鱼眼相机采集标定靶中不同位置标定板图像步骤中,采集图像15至20张。
进一步的,所述采用全景摄像模块的每路鱼眼相机采集标定靶中不同位置标定板图像步骤中,四路鱼眼相机同时采集标定靶中不同位置标定板图像。
本发明公开了一种多路鱼眼相机标定装置及方法,装置中采用具有特定结构的标定靶,能够自动调节标定靶中标定板的位置及角度;还采用了第一电机驱动模块及第一滚轮组对全景摄像模块进行移动及旋转,从而改变每路鱼眼相机相对于标定板的位置;通过对标定板的移动、旋转及全景摄像模块的移动、旋转,实现各路鱼眼相机采集标定靶中不同位置的标定板。方法中对新的折叠式标定靶中标定板进行标定图像采集,降低了对标定区域大小的要求,并且能够保证找到足够的特征点,减轻了算法的复杂程度,此外,在标定板图像采集上更加灵活,可以采集到镜头视野范围内各个区域的图像,大大的提高了相机标定的精度。
本发明的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种多路鱼眼相机标定装置结构示意图;
图2是本发明实施例提供的一种多路鱼眼相机标定装置标定状态结构示意图;
图3是本发明实施例提供的一种多路鱼眼相机标定方法流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
现有基于标定物标定全景相机的方法中,采用的都是单一的平面标定板,对标定区域要求比较高,一般是以最小标定距离为半径的圆。而往往实验室场景有限,从而造成标定不便,需要人工手动不停调整标定板及全景相机,比较浪费人力物力。另外,全景相机至少具有两个鱼眼镜头,而采用单一标定板,需要依次采用每个镜头对标定板各位置的图像进行采集,从而造成了标定所需时间较长。
为解决上述问题,本发明提供了一种多路鱼眼相机标定装置,如图1所示,该装置包括:全景摄像模块9、第一电机驱动模块14、第一滚轮组15、图像处理模块16、图像显示模块17、标定靶1、控制模块19;
所述全景摄像模块9包括支架18、设置在支架18各侧面181的多个鱼眼镜头101及多个图像传感器(图中未示出),每个镜头对应一个图像传感器,所述多个鱼眼镜头101位于同一竖直高度,所述多个鱼眼镜头101与侧面181转动连接;
所述第一滚轮组15设置于所述第一电机驱动模块14底部,所述第一电机驱动模块14通过第一驱动轴13与所述全景摄像模块9连接,所述图像处理模块16连接所述全景摄像模块9;所述图像显示模块17连接所述图像处理模块16;
所述标定靶1包括:通过连接轴3活动连接的第一底板11、第二底板12,设置于所述第一底板11表面并可在其范围内移动的第一标定板21及设置于所述第二底板12表面并可在其范围内移动的第二标定板(图中未示出);与所述连接轴3固定连接的第二驱动轴6,与所述第二驱动轴6连接的第二电机驱动模块7,设置在所述第二电机驱动模块7底部的第二滚轮组8;
所述标定靶1设置于所述全景摄像模块9两路相机相邻区域,所述控制模块19连接所述第一电机驱动模块14和所述第二电机驱动模块7。
作为本发明实施例,本发明涉及到的全景相机具有四路鱼眼镜头,那么鱼眼相机标定装置中具有4个鱼眼镜头及图像传感器。全景摄像模块的支架设置为立方体形状,支架各侧面为平面,为了保证各镜头位于同一竖直高度,则将四个镜头设置于立方体支架的各侧面的正中心。由于镜头可以相对于侧面旋转,将镜头光轴与支架侧面垂线的夹角设置在小于等于5°。
为了实现四路鱼眼相机的同时标定,标定装置中同时采用两块结构相同的标定靶,即标定装置还包括与所述第一标定靶结构相同的第二标定靶,所述第二标定靶设置于全景摄像模块相对于第一标定靶的另一侧。通过第一电机驱动模块及第二电机驱动模块调整标定靶的位置及角度、全景摄像模块上鱼眼镜头的位置及角度,从而实现四路鱼眼标定板图像信息采集。
上述装置中的第一电机驱动模块可通过第一驱动轴驱动全景摄像模块在三维空间自由移动,并且可以在立体空间内任意旋转来调整镜头方向,另外,镜头还可以相对侧面旋转一定角度;第二电机驱动模块可通过第二驱动轴驱动标定靶在三维空间自由移动,标定靶中第一底板和第二底板张开角度也可调节,第一标定板相对于第一底板移动,第二标定板相对于第二底板移动,从而保证在标定时采集镜头视野范围内更多标定板图像,减小标定所需区域大小。
标定靶中标定板的图案设置为黑白相间的棋盘格,使用标定靶,可以保证标定时能够找到足够数量的、分布均匀的足够精度且基本处于同一深度的特征点,而不受标定所处实际场景的约束。标定靶中标定板的图案还可以设置成圆孔图案同样能够实现标定结果。
使用标定靶时,如图2所示,第一底板和第二底板间夹角为150°至180°之间,既能实现单个标定板图像的采集,又能保证一个镜头内不会出项两块标定板图像;不使用标定靶时,可以将其闭合,既能节省存储空间,又能避免标定板被污染,影响标定结果。
本发明公开的多路鱼眼相机标定装置采用一种新的折叠式标定靶,降低了对标定区域大小的要求,并且保证能够找到足够的特征点,减轻了算法的复杂度。此外,在标定板图像采集上更加灵活,可以采取标定靶移动或者全景摄像模块移动的方式来采集到镜头视野范围内各个区域的图像,大大提高了相机标定的精度。
如图3所示,本发明还提供了一种多路鱼眼相机标定方法,利用上述标定装置对鱼眼相机进行标定,包括如下步骤:
S1、采用全景摄像模块的每路鱼眼相机采集标定靶中不同位置标定板图像;
针对上述标定靶,采集每路鱼眼镜头视野内各个位置下的标定板图像,一般采集的图像数量在15至20张,标定结果的准确度较高,且计算量适中。
在本实施例中,可以采用如下几种方式采用全景摄像模块的每路鱼眼相机采集标定靶中不同位置标定板图像:
1、通过安装在标定靶下方的第二驱动单元及第二滚轮组驱动标定靶在水平面和垂直面上移动,从而改变标定板在镜头视野范围内的位置。
2、通过移动第一标定板在第一底板中的位置及第二标定板在第二底板中的位置,从而改变标定板在鱼眼镜头视野范围内的位置。
3、通过调节连接轴转动两个底板张开的角度,从而改变标定板在鱼眼镜头视野范围内的位置,角度范围在[150°,180°],在保证同一鱼眼镜头不同时采集到两个标定板的情况下,两个标定底板张开的角度在[150°,180°]之间改变,都可以用于标定图像的采集。使第一标定板位于远离连接轴的第一底板边缘的中部,第二标定板位于远离连接轴的第二标定板边缘的中部。
4、通过第一电机驱动模块及第一滚轮组来旋转及平移镜头所处的位置,从而改变标定板在鱼眼镜头视野范围内的位置。
还可以选择上述任何两种或三种或四种方式来改变标定板在鱼眼镜头视野范围内的位置,从而可以快速的完成标定靶中标定板图像信息的采集,且对标定区域的空间需求较小。
本发明公开的多路鱼眼相机标定方法采用一种新的折叠式标定靶来实现标定,降低了对标定区域大小的要求,并且保证能够找到足够的特征点,减轻了算法的复杂度。此外,在标定板图像采集上更加灵活,可以采取标定靶移动或者全景摄像模块移动的方式来采集到镜头视野范围内各个区域的图像,大大提高了相机标定的精度。
S2、选取等距投影畸变模型;
鱼眼镜头一般是由十几个不同的透镜组合而成,在成像过程中,入射光线经过不同程度的折射,折射到尺寸有限的成像平面上。鱼眼镜头成像遵循的模型是近似为单位球面投影模型,故本发明中采用等距投影畸变模块,等距投影畸变模型具体表示如下:
rd=fθd; (1)
公式(1)中,rd表示鱼眼图像中的点到畸变中心的距离,f表示鱼眼相机的焦距,θd表示入射光线与鱼眼镜头光轴之间的夹角,即入射角;
由于鱼眼镜头的投影模型为了将尽可能大的场景投影到有限的图像平面内,因此鱼眼镜头的畸变非常严重。鱼眼镜头的畸变主要是径向畸变,选取径向畸变模型如下:
θd=θ(1+k1θ2+k2θ4+k3θ6+k4θ8+…); (2)
公式(2)中,θ表示无畸变的入射角,K=(k1,k2,k3,k4,…)表示畸变参数;θd表示入射光线与鱼眼镜头光轴之间的夹角,即畸变入射角;
通过上述畸变模型,从无畸变图像中的点计算出鱼眼图像中的畸变点,公式如下:
公式(3)中,(xs,ys)是有畸变坐标点,(xc,yc)是无畸变坐标点,(cx,cy)表示畸变图像的中心点坐标;
S3、根据采集到的鱼眼镜头图像及成像模型分别计算镜头内参数及每个视场的外参数;
镜头标定涉及到的内参数有镜头中心位置,镜头有效焦距以及镜头的畸变系数,涉及到的外参数有旋转和平移向量。首先要初始化镜头的内外参数,即将鱼眼图像上的畸变点进行去畸变得到无畸变点,然后计算空间坐标点与无畸变图像点之间的单应矩阵Homography,具体计算方法如下:提取所有标定板在图像平面内的特征点坐标,计算标定板坐标系下空间点与图像平面坐标系中特征点之间的单应矩阵Homography,单应矩阵计算方法如下:
公式(4)中,表示图像平面坐标系中特征点坐标,表示标定板坐标系下空间特征点;s是任意尺度的比例因子;W表示用于定位观测的物体平面的物理变换,包括与观测到的图像平面相关的部分旋转R和部分平移T的和,W=[R T];M是摄像机的内参数矩阵,其中包括x方向焦距fx,y方向焦距fy,图像中畸变图像的中心点坐标(cx,cy);
由旋转矩阵的正交性分解单应矩阵Homography,构成一个包含镜头内部参数和外部参数的超定方程,通过奇异值分解及一系列变换得到摄像机的内部参数和外部参数,内部参数包括:M,K,外部参数Ri,Ti;外部参数指镜头坐标系与所有平面坐标系之间的旋转和平移关系;
成像模型包括畸变模型,计算鱼眼镜头内外参数时,根据畸变模型,及单应矩阵对内外参数进行求取。
S4、对获取的内外参数进行非线性优化从而得到最优的镜头内外参数M、K、R、T值;
具体方法如下,根据步骤S3求解得到的镜头的内外参数以及步骤S2选定的畸变模型,鱼眼镜头的畸变非常严重,通过采用非线性优化的方法优化上述求解得到的摄像机参数。具体采用Levenberg-Marquardt算法对镜头的内外参数进行非线性优化,建立以重投影误差为最小的优化目标函数如下:
公式(5)中,是根据标定板上的特征点的初始值Pj使用摄像机成像模型投影到图像坐标系下计算出来的第j个特征点在相机第i幅图像上的图像坐标,mij是采用角点检测方法得到的像素坐标点,m表示拍摄标定板图像的数目,n表示标定板中特征点的个数,M表示镜头标定的内参数,K表示镜头的畸变系数,Ri,Ti表示第i幅图像下标定板坐标系与镜头坐标系之间的旋转矩阵和平移向量。
上述多路鱼眼相机标定方法中,可以同时实现两路鱼眼镜头对标定靶中标定板图像信息的采集,还可以同时实现多路鱼眼镜头对标定靶中标定板图像信息的采集;从而大大提高了标定的速度。
通过本发明提供的多路鱼眼相机标定装置及方法具体实现标定的过程如下:
全景摄像模块中的鱼眼镜头选取焦距为1.45毫米的立鼎F123B0145WR1镜头,且图像的分辨率为1225像素*1225像素,镜头的视场角为190°×120°,标定工作距离为1500毫米。两标定底板张开的角度为175°,每个标定板中特征点个数为121个,特征点间距为50mm。
根据上述多路鱼眼相机标定方法,对每路鱼眼相机内部参数进行标定及进行非线性优化,得到的结果如下表所示:
本发明公开的多路鱼眼相机标定方法采用一种新的折叠式标定靶来实现镜头内外参数的标定,降低了对标定区域大小的要求,并且保证能够找到足够的特征点,减轻了算法的复杂度。此外,在标定板图像采集上更加灵活,可以采取标定靶移动或者全景摄像模块移动的方式来采集到镜头视野范围内各个区域的图像,大大提高了相机标定的精度。
以上所揭露的仅为本发明一种较佳实施例而已,当然不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。
Claims (10)
1.一种多路鱼眼相机标定装置,其特征在于,包括:全景摄像模块、第一电机驱动模块、第一滚轮组、图像处理模块、图像显示模块、标定靶、控制模块;
所述全景摄像模块包括支架、设置在支架各侧面的多个鱼眼镜头及多个图像传感器,每个镜头对应一个图像传感器,所述多个鱼眼镜头位于同一竖直高度,所述多个鱼眼镜头与侧面转动连接;
所述第一滚轮组设置于所述第一电机驱动模块底部,所述第一电机驱动模块通过第一驱动轴与所述全景摄像模块连接,所述图像处理模块连接所述全景摄像模块;所述图像显示模块连接所述图像处理模块;
所述标定靶包括:通过连接轴活动连接的第一底板、第二底板,设置于所述第一底板表面并可在其范围内移动的第一标定板及设置于所述第二底板表面并可在其范围内移动的第二标定板;与所述连接轴固定连接的第二驱动轴,与所述第二驱动轴连接的第二电机驱动模块,设置在所述第二电机驱动模块底部的第二滚轮组;
所述标定靶设置于所述全景摄像模块两路相机相邻区域,所述控制模块连接所述第一电机驱动模块和所述第二电机驱动模块。
2.根据权利要求1所述的多路鱼眼相机标定装置,其特征在于,所述鱼眼镜头及图像传感器均为4个。
3.根据权利要求2所述的多路鱼眼相机标定装置,其特征在于,所述标定装置还包括与所述第一标定靶结构相同的第二标定靶,所述第二标定靶设置于全景摄像模块相对于第一标定靶的另一侧。
4.一种多路鱼眼相机标定方法,利用如权利要求1至3任一项所述的标定装置对鱼眼相机进行标定,其特征在于,包括如下步骤:
采用全景摄像模块的每路鱼眼相机采集标定靶中不同位置标定板图像;
选取等距投影畸变模型;
等距投影畸变模型具体表示如下:
rd=fθd; (1)
公式(1)中,rd表示鱼眼图像中的点到畸变中心的距离,f表示鱼眼相机的焦距,θd表示入射光线与鱼眼镜头光轴之间的夹角,即入射角;
选取径向畸变模型如下:
θd=θ(1+k1θ2+k2θ4+k3θ6+k4θ8+…); (2)
公式(2)中,θ表示无畸变的入射角,K=(k1,k2,k3,k4,…)表示畸变参数;θd表示畸变入射角;
通过上述畸变模型,从无畸变图像中的点计算出鱼眼图像中的畸变点,公式如下:
公式(3)中,(xs,ys)是有畸变坐标点,(xc,yc)是无畸变坐标点,(cx,cy)表示畸变图像的中心点坐标;
根据采集到的鱼眼镜头图像及成像模型分别计算镜头内参数及每个视场的外参数;
具体计算方法如下:提取所有标定板在图像平面内的特征点坐标,计算标定板坐标系下空间点与图像平面坐标系中特征点之间的单应矩阵Homography,单应矩阵计算方法如下:
公式(4)中,表示图像平面坐标系中特征点坐标,表示标定板坐标系下空间特征点;s是任意尺度的比例因子;W表示用于定位观测的物体平面的物理变换,包括与观测到的图像平面相关的部分旋转R和部分平移T的和,W=[R T];M是摄像机的内参数矩阵,其中包括x方向焦距fx,y方向焦距fy,图像中畸变图像的中心点坐标(cx,cy);
由旋转矩阵的正交性分解单应矩阵Homography,构成一个包含镜头内部参数和外部参数的超定方程,通过奇异值分解及一系列变换得到摄像机的内部参数和外部参数,内部参数包括:M,K,外部参数Ri,Ti;
对获取的内外参数进行非线性优化从而得到最优的镜头内外参数M、K、R、T值;
具体方法如下,根据求解得到的镜头的内外参数以及选定的畸变模型,采用Levenberg-Marquardt算法对镜头的内外参数进行非线性优化,建立以重投影误差为最小的优化目标函数如下:
公式(5)中,是根据标定板上的特征点的初始值Pj使用摄像机成像模型投影到图像坐标系下计算出来的第j个特征点在相机第i幅图像上的图像坐标,mij是采用角点检测方法得到的像素坐标点,m表示拍摄标定板图像的数目,n表示标定板中特征点的个数,M表示镜头标定的内参数,K表示镜头的畸变系数,Ri,Ti表示第i幅图像下标定板坐标系与镜头坐标系之间的旋转矩阵和平移向量。
5.根据权利要求4所述的多路鱼眼相机标定方法,其特征在于,所述采用全景摄像模块的每路鱼眼相机采集标定靶中不同位置标定板图像步骤中,通过安装在标定靶下方的第二驱动单元及第二滚轮组驱动标定靶在水平面和垂直面上移动,从而改变标定板在镜头视野范围内的位置。
6.根据权利要求4所述的多路鱼眼相机标定方法,其特征在于,所述采用全景摄像模块的每路鱼眼相机采集标定靶中不同位置标定板图像步骤中,通过移动第一标定板在第一底板中的位置及第二标定板在第二底板中的位置,从而改变标定板在鱼眼镜头视野范围内的位置。
7.根据权利要求4所述的多路鱼眼相机标定方法,其特征在于,所述采用全景摄像模块的每路鱼眼相机采集标定靶中不同位置标定板图像步骤中,通过调节连接轴转动两个底板张开的角度,从而改变标定板在鱼眼镜头视野范围内的位置,角度范围在[150°,180°]。
8.根据权利要求4所述的多路鱼眼相机标定方法,其特征在于,所述采用全景摄像模块的每路鱼眼相机采集标定靶中不同位置标定板图像步骤中,通过第一电机驱动模块及第一滚轮组来旋转及平移镜头所处的位置,从而改变标定板在鱼眼镜头视野范围内的位置。
9.根据权利要求1至8任一项所述的多路鱼眼相机标定方法,其特征在于,所述采用全景摄像模块的每路鱼眼相机采集标定靶中不同位置标定板图像步骤中,采集图像15至20张。
10.根据权利要求1至8任一项所述的多路鱼眼相机标定方法,其特征在于,所述采用全景摄像模块的每路鱼眼相机采集标定靶中不同位置标定板图像步骤中,四路鱼眼相机同时采集标定靶中不同位置标定板图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710059407.5A CN106651859A (zh) | 2017-01-24 | 2017-01-24 | 一种多路鱼眼相机标定装置及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710059407.5A CN106651859A (zh) | 2017-01-24 | 2017-01-24 | 一种多路鱼眼相机标定装置及方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN106651859A true CN106651859A (zh) | 2017-05-10 |
Family
ID=58842341
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710059407.5A Pending CN106651859A (zh) | 2017-01-24 | 2017-01-24 | 一种多路鱼眼相机标定装置及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106651859A (zh) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107274439A (zh) * | 2017-07-04 | 2017-10-20 | 西北工业大学 | 基于地基鱼眼相机阵列的无人机光学跟踪定位方法 |
CN108230404A (zh) * | 2018-03-20 | 2018-06-29 | 珊口(上海)智能科技有限公司 | 标定系统、标定方法及所适用的设备 |
CN109166151A (zh) * | 2018-07-27 | 2019-01-08 | 深圳六滴科技有限公司 | 全景相机的远程标定方法、装置、计算机设备和存储介质 |
CN109509231A (zh) * | 2017-09-14 | 2019-03-22 | 宝沃汽车(中国)有限公司 | 全景系统标定设备 |
CN109920004A (zh) * | 2017-12-12 | 2019-06-21 | 广东虚拟现实科技有限公司 | 图像处理方法、装置、标定物组合、终端设备及标定系统 |
CN110136207A (zh) * | 2019-05-08 | 2019-08-16 | 四川深瑞视科技有限公司 | 鱼眼相机标定系统、方法、装置、电子设备及存储介质 |
CN110717944A (zh) * | 2019-09-18 | 2020-01-21 | 重庆大云端科技有限公司 | 一种相机标定在智能手机、摄像头、数码相机里的应用 |
CN110826367A (zh) * | 2018-08-10 | 2020-02-21 | 北京魔门塔科技有限公司 | 一种用于数据分析的人脸图像采集系统 |
CN111080705A (zh) * | 2019-05-07 | 2020-04-28 | 像工场(深圳)科技有限公司 | 一种自动对焦双目摄像头标定方法及装置 |
CN111768383A (zh) * | 2020-06-29 | 2020-10-13 | 易思维(杭州)科技有限公司 | 立体靶标及利用其恢复视觉传感器工作功能的方法 |
WO2020224199A1 (zh) * | 2019-05-08 | 2020-11-12 | 四川深瑞视科技有限公司 | 鱼眼相机标定系统、方法、装置、电子设备及存储介质 |
CN113808221A (zh) * | 2021-09-26 | 2021-12-17 | 杭州环峻科技有限公司 | 一种全景环带相机的标定方法及标定系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008281491A (ja) * | 2007-05-11 | 2008-11-20 | Wakayama Univ | 多数の基準面を用いた形状計測方法および形状計測装置 |
CN201838036U (zh) * | 2010-11-09 | 2011-05-18 | 姜光 | 一种双平面标定板 |
CN203102374U (zh) * | 2012-12-15 | 2013-07-31 | 北京工业大学 | 一种多相机系统的加权标定装置 |
CN105654502A (zh) * | 2016-03-30 | 2016-06-08 | 广州市盛光微电子有限公司 | 一种基于多镜头多传感器的全景相机标定装置和方法 |
CN206460512U (zh) * | 2017-01-24 | 2017-09-01 | 长沙全度影像科技有限公司 | 一种多路鱼眼相机标定装置 |
-
2017
- 2017-01-24 CN CN201710059407.5A patent/CN106651859A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008281491A (ja) * | 2007-05-11 | 2008-11-20 | Wakayama Univ | 多数の基準面を用いた形状計測方法および形状計測装置 |
CN201838036U (zh) * | 2010-11-09 | 2011-05-18 | 姜光 | 一种双平面标定板 |
CN203102374U (zh) * | 2012-12-15 | 2013-07-31 | 北京工业大学 | 一种多相机系统的加权标定装置 |
CN105654502A (zh) * | 2016-03-30 | 2016-06-08 | 广州市盛光微电子有限公司 | 一种基于多镜头多传感器的全景相机标定装置和方法 |
CN206460512U (zh) * | 2017-01-24 | 2017-09-01 | 长沙全度影像科技有限公司 | 一种多路鱼眼相机标定装置 |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107274439A (zh) * | 2017-07-04 | 2017-10-20 | 西北工业大学 | 基于地基鱼眼相机阵列的无人机光学跟踪定位方法 |
CN109509231A (zh) * | 2017-09-14 | 2019-03-22 | 宝沃汽车(中国)有限公司 | 全景系统标定设备 |
CN109920004A (zh) * | 2017-12-12 | 2019-06-21 | 广东虚拟现实科技有限公司 | 图像处理方法、装置、标定物组合、终端设备及标定系统 |
CN109920004B (zh) * | 2017-12-12 | 2023-12-19 | 广东虚拟现实科技有限公司 | 图像处理方法、装置、标定物组合、终端设备及标定系统 |
CN108230404A (zh) * | 2018-03-20 | 2018-06-29 | 珊口(上海)智能科技有限公司 | 标定系统、标定方法及所适用的设备 |
CN109166151A (zh) * | 2018-07-27 | 2019-01-08 | 深圳六滴科技有限公司 | 全景相机的远程标定方法、装置、计算机设备和存储介质 |
CN110826367A (zh) * | 2018-08-10 | 2020-02-21 | 北京魔门塔科技有限公司 | 一种用于数据分析的人脸图像采集系统 |
CN111080705A (zh) * | 2019-05-07 | 2020-04-28 | 像工场(深圳)科技有限公司 | 一种自动对焦双目摄像头标定方法及装置 |
CN111080705B (zh) * | 2019-05-07 | 2021-06-04 | 像工场(深圳)科技有限公司 | 一种自动对焦双目摄像头标定方法及装置 |
CN110136207B (zh) * | 2019-05-08 | 2020-06-23 | 四川深瑞视科技有限公司 | 鱼眼相机标定系统、方法、装置、电子设备及存储介质 |
WO2020224199A1 (zh) * | 2019-05-08 | 2020-11-12 | 四川深瑞视科技有限公司 | 鱼眼相机标定系统、方法、装置、电子设备及存储介质 |
US11514608B2 (en) | 2019-05-08 | 2022-11-29 | Sichuan Visensing Technology Co., Ltd. | Fisheye camera calibration system, method and electronic device |
CN110136207A (zh) * | 2019-05-08 | 2019-08-16 | 四川深瑞视科技有限公司 | 鱼眼相机标定系统、方法、装置、电子设备及存储介质 |
CN110717944A (zh) * | 2019-09-18 | 2020-01-21 | 重庆大云端科技有限公司 | 一种相机标定在智能手机、摄像头、数码相机里的应用 |
CN111768383A (zh) * | 2020-06-29 | 2020-10-13 | 易思维(杭州)科技有限公司 | 立体靶标及利用其恢复视觉传感器工作功能的方法 |
CN113808221A (zh) * | 2021-09-26 | 2021-12-17 | 杭州环峻科技有限公司 | 一种全景环带相机的标定方法及标定系统 |
CN113808221B (zh) * | 2021-09-26 | 2023-09-01 | 杭州环峻科技有限公司 | 一种全景环带相机的标定方法及标定系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106548477B (zh) | 一种基于立体标定靶的多路鱼眼相机标定装置及方法 | |
CN106651859A (zh) | 一种多路鱼眼相机标定装置及方法 | |
CN106846415B (zh) | 一种多路鱼眼相机双目标定装置及方法 | |
CN110197466B (zh) | 一种广角鱼眼图像矫正方法 | |
CN206460516U (zh) | 一种多路鱼眼相机双目标定装置 | |
CN105118055B (zh) | 摄影机定位修正标定方法及系统 | |
CN109544484B (zh) | 一种图像校正方法和装置 | |
CN206460515U (zh) | 一种基于立体标定靶的多路鱼眼相机标定装置 | |
US9609210B2 (en) | Technique for view synthesis | |
CN103198487B (zh) | 一种用于视频监控系统中的自动定标方法 | |
CN105716542B (zh) | 一种基于柔性特征点的三维数据拼接方法 | |
CN106123798B (zh) | 一种数字摄影激光扫描装置 | |
CN105654502A (zh) | 一种基于多镜头多传感器的全景相机标定装置和方法 | |
CN107610185A (zh) | 一种鱼眼相机快速标定装置及标定方法 | |
CN102168954A (zh) | 基于单目摄像机的深度、深度场及物体大小的测量方法 | |
CN102878948B (zh) | 基于圆光斑标记的目标表面坐标的视觉测量装置及测量方法 | |
CN105139332A (zh) | 以硬件方式进行图像处理的图像传感器 | |
CN106871787A (zh) | 大空间线扫描成像三维测量方法 | |
CN102136140B (zh) | 一种基于矩形图样的视频图像距离检测方法 | |
CN107705252A (zh) | 适用于双目鱼眼图像拼接展开校正的方法及系统 | |
CN101697105A (zh) | 一种摄像式触摸检测定位方法及摄像式触摸检测系统 | |
CN113205603A (zh) | 一种基于旋转台的三维点云拼接重建方法 | |
CN106447733A (zh) | 颈椎活动度及活动轴线位置的确定方法、系统及装置 | |
CN106023193A (zh) | 一种用于浑浊介质中结构表面检测的阵列相机观测方法 | |
CN106780632A (zh) | 一种标定靶及用于四路鱼眼镜头标定的标定靶组 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20170510 |
|
WD01 | Invention patent application deemed withdrawn after publication |