CN107886547B - 一种鱼眼相机标定方法及系统 - Google Patents

一种鱼眼相机标定方法及系统 Download PDF

Info

Publication number
CN107886547B
CN107886547B CN201711106653.8A CN201711106653A CN107886547B CN 107886547 B CN107886547 B CN 107886547B CN 201711106653 A CN201711106653 A CN 201711106653A CN 107886547 B CN107886547 B CN 107886547B
Authority
CN
China
Prior art keywords
calibration
sub
calibration plate
image
distorted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711106653.8A
Other languages
English (en)
Other versions
CN107886547A (zh
Inventor
许会
张智福
余思洋
陈捷
刘稹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panodux Imaging Technology Co ltd
Original Assignee
Panodux Imaging Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panodux Imaging Technology Co ltd filed Critical Panodux Imaging Technology Co ltd
Priority to CN201711106653.8A priority Critical patent/CN107886547B/zh
Publication of CN107886547A publication Critical patent/CN107886547A/zh
Application granted granted Critical
Publication of CN107886547B publication Critical patent/CN107886547B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/80Geometric correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85Stereo camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

一种鱼眼相机标定方法及系统,属于信息通信技术领域。其中,鱼眼相机标定方法包括步骤:首先,利用鱼眼相机采集标定靶图像,并得到有畸变的子标定板图像;然后,将采集到的有畸变的子标定板图像进行透视投影变换,并提取所有有畸变的子标定板图像在成像平面内的特征点坐标;最后,利用相机标定模型并结合所述特征点坐标进行鱼眼相机的标定。本发明采用从无畸变标定板中提取特征点然后映射回原有畸变的标定板中,可以确保有畸变的标定板图像的特征点提取的准确度,不会有特征点检测不到的情况出现,从而提高了鱼眼相机的标定精度。

Description

一种鱼眼相机标定方法及系统
技术领域
本发明属于信息通信技术领域,具体涉及一种鱼眼相机标定方法及系统。
背景技术
相机标定是摄影测量、3D成像和图像几何校正等工作中的关键技术之一,它的主要作用是估计相机的内外参数。标定结果的精度和标定算法的稳定性直接影响后续工作的准确性。
相机标定的方法主要有传统相机标定方法以及相机自标定方法。传统相机标定方法需要使用尺寸已知的标定物,通过建立标定物上已知坐标点与图像像素点之间的对应关系,利用一定的算法获得相机模型的内外参数。传统的标定方法采用的标定物可以是平面的棋盘格或圆点标定板,传统相机标定的方法受标定板的影响很大。
相机自标定算法主要是利用场景中的一些平行或者正交的信息,其中空间平行线在相机图像平面上的交点称为消失点。自标定方法灵活性强,可对相机进行在线标定,但是由于他是基于绝对二次曲线或曲面的方法,其算法的鲁棒性差,标定的精度不高。
由于鱼眼镜头的视场角非常大,一般在180°~200°,并且镜头在边缘成像的畸变很大,基于现有标定方法对鱼眼相机标定误差很大,故亟需一种能够适用于鱼眼相机的标定方法。
发明内容
现有技术中,由于鱼眼镜头的视场角非常大,一般在180°~200°,并且镜头在边缘成像的畸变很大,基于现有标定方法对鱼眼相机标定误差很大,为了解决这种问题,本发明提供一种鱼眼相机标定方法,具体方案如下:
一种鱼眼相机标定方法,具体包括如下步骤:
步骤S1、利用鱼眼相机采集标定靶图像,并得到有畸变的子标定板图像;
步骤S2、将采集到的有畸变的子标定板图像进行透视投影变换,并提取所有有畸变的子标定板图像在成像平面内的特征点坐标;
步骤S3、利用相机标定模型并结合所述特征点坐标进行鱼眼相机的标定。
其中,在上述方法中,所述步骤S1中利用鱼眼相机采集不同视场的标定靶图像,并得到有畸变的子标定板图像具体包括:
所述标定靶包含有多个子标定板,各子标定板依次相连且相互呈一定角度;
所述鱼眼相机采集的标定靶图像数量为多张,并且每一次采集的标定靶图像的位置和角度均有变化。
其中,在上述方法中,所述子标定板上设有用于获取该子标定板图像的特征点坐标的图案,所述图案为棋盘格或阵列式圆点。
其中,在上述方法中,所述步骤S2中将采集到的有畸变的子标定板图像进行透视投影变换,并提取所有有畸变的子标定板图像在成像平面内的特征点坐标具体包括以下步骤:
步骤S21、对所有有畸变的子标定板图像进行透视投影变换,得到去畸变的子标定板图像;
步骤S22、计算有畸变的子标定板图像与无畸变的子标定板图像特征点坐标之间的坐标映射表,并提取无畸变的子标定板图像的特征点坐标;
步骤S23、将提取的无畸变的子标定板图像的特征点坐标映射回有畸变的子标定板图像。
其中,在上述方法中,所述步骤S21中对所有有畸变的子标定板图像进行透视投影变换,得到去畸变的子标定板图像具体包括:
设三维空间中的点为Q,其坐标方程式为Q=[X,Y,Z],该点Q绕X轴旋转θ角、Y轴旋转β角、Z轴旋转γ角的旋转矩阵计算公式如下所示:
Figure BDA0001464527410000031
Figure BDA0001464527410000032
Figure BDA0001464527410000033
R=Rz×Rx×Ry
其中,Rx表示绕X轴旋转的矩阵,Ry表示绕Y轴旋转的矩阵,Rz表示绕Z轴旋转的矩阵,R表示图像的透视变换矩阵;
计算图像的变化矩阵,设有畸变的子标定板图像为I(x,y),该图像的长和宽分别为H和W,在图像I上任意选取一点作为透视投影变换的投影中心点,该点用(centerx,centery)表示,则图像I绕X、Y轴旋转的角度计算公式如下:
Figure BDA0001464527410000034
Figure BDA0001464527410000035
根据所获得图像I绕X、Y轴的旋转角度θ与β后,根据上述的旋转矩阵计算公式可以得出图像的透视变换矩阵R。
其中,在上述方法中,所述步骤S22中计算有畸变的子标定板图像与无畸变的子标定板图像特征点坐标之间的坐标映射表,并提取无畸变的子标定板图像的特征点坐标具体包括:
设有畸变的子标定板图像的内参数矩阵为M1,畸变系数为K=(k1,k2,k3,k4),无畸变的子标定板图像的内参数矩阵为M2,映射大小为remp=(sx,sy),且
Figure BDA0001464527410000041
其中,fx表示相机在成像平面x方向的等效焦距,fy表示相机在成像平面y方向的等效焦距,(cx,cy)表示主点在成像平面x、y方向上的特征点坐标;
对无畸变图像中的任意一点o=(u,v,1)T,经过透视矩阵变换后的物理坐标为o′=(x,y,z)T,计算公式如下:
Figure BDA0001464527410000042
选取等距投影畸变模型对上述物理坐标求取畸变物理坐标,根据畸变物理坐标计算畸变的特征点坐标,即可获得有畸变的子标定板图像与无畸变的子标定板图像特征点坐标之间的坐标映射表,等距投影的畸变模型如下所示:
θd=θ(1+k1θ2+k2θ4+k3θ6+k4θ8+…)
其中,θ表示无畸变的入射角,θd表示畸变入射角。
对畸变图像中的任意一点(uu,vv),从无畸变的物理坐标获取畸变特征点坐标的计算方法如下:
Figure BDA0001464527410000043
Figure BDA0001464527410000044
Figure BDA0001464527410000045
根据上述方法即可获得无畸变特征点坐标与畸变特征点坐标之间的坐标映射表,用map1,map2表示,计算方法如下:
map1(u,v)=uu
map2(u,v)=vv
其中,在上述方法中,所述步骤S23中将提取的无畸变的子标定板图像的特征点坐标映射回有畸变的子标定板图像具体包括:
利用计算得到的坐标映射表将提取的畸变子标定板图像映射为无畸变的子标定板图像,对无畸变的子标定板图像提取特征点坐标,然后根据所述坐标映射表将提取的无畸变的子标定板图像的特征点坐标映射回有畸变的子标定板图像上,以获得有畸变的子标定板图像在成像平面内的特征点坐标。
其中,在上述方法中,所述步骤S3中利用相机标定模型并结合所述特征点坐标进行鱼眼相机的标定具体包括:
鱼眼相机标定模型的齐次坐标形式表示为:
Figure BDA0001464527410000051
其中,
Figure BDA0001464527410000052
表示图像平面坐标系中特征点坐标,
Figure BDA0001464527410000053
表示标定板坐标系下的特征点;M表示相机的内参数矩阵;W表示用于定位观测的物体平面的物理变换,所述W包括与观测到的图像平面相关的部分旋转R和部分平移T的和,且W=[R|T]。
根据步骤S1中所采集的不同视场的标定靶图像,以及步骤S2中所提取的所有畸变的子标定板图像在成像平面内的特征点坐标,并结合所述相机标定模型,计算鱼眼相机内参数和外参数,以实现对鱼眼相机的标定。
本发明的鱼眼相机标定方法,通过包括如下步骤:首先,利用鱼眼相机采集标定靶图像,并得到有畸变的子标定板图像;然后,将采集到的有畸变的子标定板图像进行透视投影变换,并提取所有有畸变的子标定板图像在成像平面内的特征点坐标;最后,利用相机标定模型并结合所述特征点坐标进行鱼眼相机的标定。该方法采用从无畸变标定板中提取特征点然后映射回原有畸变的标定板中,可以确保有畸变的标定板图像的特征点提取的准确度,不会有特征点检测不到的情况出现,从而提高了鱼眼相机的标定精度。
根据本发明的另一个方面,本发明还提供了一种鱼眼相机标定系统,包括:
采集模块,用于利用鱼眼相机采集标定靶图像,并得到有畸变的子标定板图像;
提取模块,用于将采集到的有畸变的子标定板图像进行透视投影变换,并提取所有有畸变的子标定板图像在成像平面内的特征点坐标;以及
标定模块,用于利用相机标定模型并结合所述特征点坐标进行鱼眼相机的标定。
本发明的鱼眼相机标定系统,通过包括采集模块、提取模块和标定模块,使得本发明采用从无畸变标定板中提取特征点然后映射回原有畸变的标定板中,可以确保有畸变的标定板图像的特征点提取的准确度,不会有特征点检测不到的情况出现,从而提高了鱼眼相机的标定精度。
附图说明
图1是本发明鱼眼相机标定方法提供的一实例的方法流程图;
图2是本发明标定靶提供的一实施例的结构示意图;
图3是本发明获取有畸变的子标定板的特征点坐标的方法流程图;
图4是本发明鱼眼相机标定系统提供的一实例的结构框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了,下面结合具体实施方式并参照附图,对本发明进一步详细说明。应该理解,这些描述只是示例性的,而并非要限制本发明的范围。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本发明的概念。
目前,相机标定的方法主要有传统相机标定方法以及相机自标定方法。
传统相机标定方法需要使用尺寸已知的标定物,通过建立标定物上已知坐标点与图像像素点之间的对应关系,利用一定的算法获得相机模型的内外参数。传统的标定方法采用的标定物可以是平面的棋盘格或圆点标定板,传统相机标定的方法受标定板的影响很大。
相机自标定算法主要是利用场景中的一些平行或者正交的信息,其中空间平行线在相机图像平面上的交点称为消失点。自标定方法灵活性强,可对相机进行在线标定,但是由于他是基于绝对二次曲线或曲面的方法,其算法的鲁棒性差,标定的精度不高。
由于鱼眼镜头的视场角非常大,一般在180°~200°,并且镜头在边缘成像的畸变很大,基于现有标定方法对鱼眼相机标定误差很大。
为了解决上述问题,以提高鱼眼相机的标定精度,本发明提供一种鱼眼相机标定方法及系统。
本发明提供的鱼眼相机标定方法,如图1所示,具体包括以下步骤:
步骤S1、利用鱼眼相机采集标定靶图像,并得到有畸变的子标定板图像;
步骤S2、将采集到的有畸变的子标定板图像进行透视投影变换,并提取所有有畸变的子标定板图像在成像平面内的特征点坐标;
步骤S3、利用相机标定模型并结合所述特征点坐标进行鱼眼相机的标定。
在上述方法中,所述步骤S1中利用鱼眼相机采集不同视场的标定靶图像,并得到有畸变的子标定板图像具体包括:
所述标定靶包含有多个子标定板,各子标定板依次相连且相互呈一定角度;
所述鱼眼相机采集的标定靶图像数量为多张,并且每一次采集的标定靶图像的位置和角度均有变化。
在本发明的一实施例中,利用鱼眼相机采集完整的标定靶图像,该实施例中标定靶图像采集数量为3至4张,并且每次采集的标定靶图像的位置和角度都要变化,这样可使得标定结果的准确度较高,且计算量适中。
在上述方法中,所述子标定板上设有用于获取该子标定板图像的特征点坐标的图案,所述图案为棋盘格或阵列式圆点。
本发明的一实施例中,该标定靶包含有3个子标定板,其标定靶的示意图如图2所示,每个子标定板的图案设置为黑白相间的棋盘格,使用该图案的标定靶,可以保证标定时能够找到足够数量的、分布均匀的足够精度且基本处于同一深度的特征点,可以理解的是,根据采集图像的需求,每个标定靶所包含的子标定板的数量也可以设置为其它值。
此外,利用鱼眼相机拍摄一次标定靶图像,可以采集到3张标定板图像,这样大大减少了图像采集所需的时间,提高了标定的效率。
进一步的,标定靶图像采集时,需确保每个子标定板的特征点数目适中,每个子标定板的特征点数目一般不低于15个,且鱼眼镜头每次都可以采集到完整的标定靶图像。
进一步的,子标定板的图案除棋盘格和阵列式圆点,还可以是其它的图案,只要采集的图像能够提取到足够数量的、分布均匀的足够精度且基本处于同一深度的特征点,同样能够实现标定结果。
对上述步骤S1中所采集到的所有标定靶图像,提取其中的子标定板图像,假设共采集了N张标定靶图像,每个标定靶包含了M个子标定板,则总共可以提取出N×M张标定板图像,且每个标定板图像的大小与原始标定靶图像的大小相同。
则上述提取出来的子标定板图像的边缘会不同程度的出现畸变,在进行特征点提取时,畸变较大的子标定板图像所提取的特征点会不准确或者提取不出来。
在本发明的实施例中,首先对提取到的畸变图像进行透视投影变换,得到去畸变的标定板图像;然后对去畸变的标定板图像检测特征点坐标;最后将检测到的特征点坐标映射到原始畸变图像,即可精确的提取到子标定板的特征点。
在上述方法中,如图3所示,所述步骤S2中将采集到的有畸变的子标定板图像进行透视投影变换,并提取所有有畸变的子标定板图像在成像平面内的特征点坐标具体包括以下步骤:
步骤S21、对所有有畸变的子标定板图像进行透视投影变换,得到去畸变的子标定板图像;
步骤S22、计算有畸变的子标定板图像与无畸变的子标定板图像特征点坐标之间的坐标映射表,并提取无畸变的子标定板图像的特征点坐标;
步骤S23、将提取的无畸变的子标定板图像的特征点坐标映射回有畸变的子标定板图像。
在上述方法中,所述步骤S21中对所有有畸变的子标定板图像进行透视投影变换,得到去畸变的子标定板图像具体包括:
设三维空间中的点为Q,其坐标方程式为Q=[X,T,Z],该点Q绕X轴旋转θ角、Y轴旋转β角、Z轴旋转γ角的旋转矩阵计算公式如下所示:
Figure BDA0001464527410000091
Figure BDA0001464527410000092
Figure BDA0001464527410000093
R=Rz×RxXRy
其中,Rx表示绕X轴旋转的矩阵,Ry表示绕Y轴旋转的矩阵,Rz表示绕Z轴旋转的矩阵,R表示图像的透视变换矩阵;
计算图像的变化矩阵,设有畸变的子标定板图像为I(x,y),该图像的长和宽分别为H和W,在图像I上任意选取一点作为透视投影变换的投影中心点,该点用(centerx,centery)表示,则图像I绕X、Y轴旋转的角度计算公式如下:
Figure BDA0001464527410000101
Figure BDA0001464527410000102
根据所获得图像I绕X、Y轴的旋转角度θ与β后,根据上述的旋转矩阵计算公式可以得出图像的透视变换矩阵R。
在上述方法中,所述步骤S22中计算有畸变的子标定板图像与无畸变的子标定板图像特征点坐标之间的坐标映射表,并提取无畸变的子标定板图像的特征点坐标具体包括:
设有畸变的子标定板图像的内参数矩阵为M1,畸变系数为K=(k1,k2,k3,k4),无畸变的子标定板图像的内参数矩阵为M2,映射大小为remp=(sx,sy),且
Figure BDA0001464527410000103
其中,fx表示相机在成像平面x方向的等效焦距,fy表示相机在成像平面y方向的等效焦距,(cx,cy)表示主点在成像平面x、y方向上的特征点坐标;
对无畸变图像中的任意一点o=(u,v,1)T,经过透视矩阵变换后的物理坐标为o′=(x,y,z)T,计算公式如下:
Figure BDA0001464527410000104
选取等距投影畸变模型对上述物理坐标求取畸变物理坐标,根据畸变物理坐标计算畸变的特征点坐标,即可获得有畸变的子标定板图像与无畸变的子标定板图像特征点坐标之间的坐标映射表,等距投影的畸变模型如下所示:
θd=θ(1+k1θ2+k2θ4+k3θ6+k4θ8+…)
其中,θ表示无畸变的入射角,θd表示畸变入射角。
对畸变图像中的任意一点(uu,vv),从无畸变的物理坐标获取畸变特征点坐标的计算方法如下:
Figure BDA0001464527410000111
Figure BDA0001464527410000112
Figure BDA0001464527410000113
根据上述方法即可获得无畸变特征点坐标与畸变特征点坐标之间的坐标映射表,用map1,map2表示,计算方法如下:
map1(u,v)=uu
map2(u,v)=vv
在上述方法中,所述步骤S23中将提取的无畸变的子标定板图像的特征点坐标映射回有畸变的子标定板图像具体包括:
利用计算得到的坐标映射表将提取的畸变子标定板图像映射为无畸变的子标定板图像,对无畸变的子标定板图像提取特征点坐标,然后根据所述坐标映射表将提取的无畸变的子标定板图像的特征点坐标映射回有畸变的子标定板图像上,以获得有畸变的子标定板图像在成像平面内的特征点坐标。
本发明的特征点坐标提取过程中,首先将获取的有畸变子标定板图像通过透视投影变换,结合鱼眼镜头的畸变系数和内参数矩阵,计算畸变图像与无畸变图像像素坐标之间的坐标映射表,然后利用坐标映射表将畸变子标定板图像映射变换为无畸变的子标定板图像,对无畸变的子标定板图像提取特征点坐标;最后将从无畸变的子标定板上提取的特征点映射回畸变子标定板图像。使得从无畸变子标定板中提取特征点可以确保特征点提取的准确度,不会有特征点检测不到的情况出现。
在上述方法中,所述步骤S3中利用相机标定模型并结合所述特征点坐标进行鱼眼相机的标定具体包括:
鱼眼相机标定模型的齐次坐标形式表示为:
Figure BDA0001464527410000121
其中,
Figure BDA0001464527410000122
表示图像平面坐标系中特征点坐标,
Figure BDA0001464527410000123
表示标定板坐标系下的特征点;M表示相机的内参数矩阵;W表示用于定位观测的物体平面的物理变换,所述W包括与观测到的图像平面相关的部分旋转R和部分平移T的和,且W=[R|T]。
根据步骤S1中所采集的不同视场的标定靶图像,以及步骤S2中所提取的所有畸变的子标定板图像在成像平面内的特征点坐标,并结合所述相机标定模型,计算鱼眼相机内参数和外参数,以实现对鱼眼相机的标定。
本发明的鱼眼相机标定方法,通过包括如下步骤:首先,利用鱼眼相机采集标定靶图像,并得到有畸变的子标定板图像;然后,将采集到的有畸变的子标定板图像进行透视投影变换,并提取所有有畸变的子标定板图像在成像平面内的特征点坐标;最后,利用相机标定模型并结合所述特征点坐标进行鱼眼相机的标定。该方法采用从无畸变标定板中提取特征点然后映射回原有畸变的标定板中,可以确保有畸变的标定板图像的特征点提取的准确度,不会有特征点检测不到的情况出现,从而提高了鱼眼相机的标定精度。
根据本发明的另一个方面,还提供了一种鱼眼相机标定系统,用于鱼眼相机的标定,如图4所示,包括:
采集模块101,用于利用鱼眼相机采集标定靶图像,并得到有畸变的子标定板图像;
提取模块102,用于将采集到的有畸变的子标定板图像进行透视投影变换,并提取所有有畸变的子标定板图像在成像平面内的特征点坐标;以及
标定模块103,用于利用相机标定模型并结合所述特征点坐标进行鱼眼相机的标定。
本发明的鱼眼相机标定系统,通过包括采集模块、提取模块和标定模块,使得本发明可采用从无畸变标定板中提取特征点然后映射回原有畸变的标定板中,可以确保有畸变的标定板图像的特征点提取的准确度,不会有特征点检测不到的情况出现,从而提高了鱼眼相机的标定精度。
应当理解的是,本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理,而不构成对本发明的限制。因此,在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。此外,本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (8)

1.一种鱼眼相机标定方法,其特征在于,包括如下步骤:
步骤S1、利用鱼眼相机采集标定靶图像,并得到有畸变的子标定板图像;
步骤S2、将采集到的有畸变的子标定板图像进行透视投影变换,并提取所有有畸变的子标定板图像在成像平面内的特征点坐标;
步骤S3、利用相机标定模型并结合所述特征点坐标进行鱼眼相机的标定;
其中,所述步骤S2中将采集到的有畸变的子标定板图像进行透视投影变换,并提取所有有畸变的子标定板图像在成像平面内的特征点坐标具体包括以下步骤:
步骤S21、对所有有畸变的子标定板图像进行透视投影变换,得到去畸变的子标定板图像;
步骤S22、计算有畸变的子标定板图像与无畸变的子标定板图像特征点坐标之间的坐标映射表,并提取无畸变的子标定板图像的特征点坐标;
步骤S23、将提取的无畸变的子标定板图像的特征点坐标映射回有畸变的子标定板图像;
所述步骤S21中对所有有畸变的子标定板图像进行透视投影变换,得到去畸变的子标定板图像具体包括:
设三维空间中的点为Q,其坐标方程式为Q=[X,Y,Z],该点Q绕X轴旋转θ角、Y轴旋转β角、Z轴旋转γ角的旋转矩阵计算公式如下所示:
Figure FDA0002317433620000011
Figure FDA0002317433620000012
Figure FDA0002317433620000013
R=Rz×Rx×Ry
其中,Rx表示绕X轴旋转的矩阵,Ry表示绕Y轴旋转的矩阵,Rz表示绕Z轴旋转的矩阵,R表示图像的透视变换矩阵;
计算图像的透视变换矩阵R,设有畸变的子标定板图像为I(x,y),该图像的长和宽分别为H和W,在图像I上任意选取一点作为透视投影变换的投影中心点,该点用(centerx,centery)表示,则图像I绕X、Y轴旋转的角度计算公式如下:
Figure FDA0002317433620000021
Figure FDA0002317433620000022
根据所获得图像I绕X、Y轴的旋转角度θ与β后,根据上述的旋转矩阵计算公式可以得出图像的透视变换矩阵R。
2.根据权利要求1所述的方法,其特征在于,所述步骤S1中利用鱼眼相机采集不同视场的标定靶图像,并得到有畸变的子标定板图像具体包括:
所述标定靶包含有多个子标定板,各子标定板依次相连且相互呈一定角度;
所述鱼眼相机采集的标定靶图像数量为多张,并且每一次采集的标定靶图像的位置和角度均有变化。
3.根据权利要求2所述的方法,其特征在于,所述子标定板上设有用于获取该子标定板图像的特征点坐标的图案。
4.根据权利要求3所述的方法,其特征在于,所述图案为棋盘格或阵列式圆点。
5.根据权利要求1所述的方法,其特征在于,所述步骤S22中计算有畸变的子标定板图像与无畸变的子标定板图像特征点坐标之间的坐标映射表,并提取无畸变的子标定板图像的特征点坐标具体包括:
设有畸变的子标定板图像的内参数矩阵为M1,畸变系数为K=(k1,k2,k3,k4),无畸变的子标定板图像的内参数矩阵为M2,映射大小为remp=(sx,sy),且
Figure FDA0002317433620000031
其中,fx表示相机在成像平面x方向的等效焦距,fy表示相机在成像平面y方向的等效焦距,(cx,cy)表示主点在成像平面x、y方向上的特征点坐标;
对无畸变图像中的任意一点o=(u,v,1)T,经过透视矩阵变换后的物理坐标为o′=(x,y,z)T,计算公式如下:
Figure FDA0002317433620000032
选取等距投影畸变模型对上述物理坐标求取畸变物理坐标,根据畸变物理坐标计算畸变的特征点坐标,即可获得有畸变的子标定板图像与无畸变的子标定板图像特征点坐标之间的坐标映射表,等距投影的畸变模型如下所示:
θd=θ(1+k1θ2+k2θ4+k3θ6+k4θ8+...)
其中,θ表示无畸变的入射角,θd表示畸变入射角;
对畸变图像中的任意一点(uu,vv),从无畸变的物理坐标获取畸变特征点坐标的计算方法如下:
Figure FDA0002317433620000033
Figure FDA0002317433620000034
Figure FDA0002317433620000035
根据上述方法即可获得无畸变特征点坐标与畸变特征点坐标之间的坐标映射表,用map1,map2表示,计算方法如下:
map1(u,v)=uu
map2(u,v)=vv。
6.根据权利要求1所述的方法,其特征在于,所述步骤S23中将提取的无畸变的子标定板图像的特征点坐标映射回有畸变的子标定板图像具体包括:
利用计算得到的坐标映射表将提取的畸变子标定板图像映射为无畸变的子标定板图像,对无畸变的子标定板图像提取特征点坐标,然后根据所述坐标映射表将提取的无畸变的子标定板图像的特征点坐标映射回有畸变的子标定板图像上,以获得有畸变的子标定板图像在成像平面内的特征点坐标。
7.根据权利要求1所述的方法,其特征在于,所述步骤S3中利用相机标定模型并结合所述特征点坐标进行鱼眼相机的标定具体包括:
鱼眼相机标定模型的齐次坐标形式表示为:
Figure FDA0002317433620000041
其中,
Figure FDA0002317433620000042
表示图像平面坐标系中特征点坐标,
Figure FDA0002317433620000043
表示标定板坐标系下的特征点;M表示相机的内参数矩阵;W表示用于定位观测的物体平面的物理变换,所述W包括与观测到的图像平面相关的部分旋转R和部分平移T的和,且W=[R|T];
根据步骤S1中所采集的不同视场的标定靶图像,以及步骤S2中所提取的所有畸变的子标定板图像在成像平面内的特征点坐标,并结合所述相机标定模型,计算鱼眼相机内参数和外参数,以实现对鱼眼相机的标定。
8.一种鱼眼相机标定系统,其特征在于,包括:
采集模块,用于利用鱼眼相机采集标定靶图像,并得到有畸变的子标定板图像;
提取模块,用于将采集到的有畸变的子标定板图像进行透视投影变换,并提取所有有畸变的子标定板图像在成像平面内的特征点坐标;以及
标定模块,用于利用相机标定模型并结合所述特征点坐标进行鱼眼相机的标定。
CN201711106653.8A 2017-11-10 2017-11-10 一种鱼眼相机标定方法及系统 Active CN107886547B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711106653.8A CN107886547B (zh) 2017-11-10 2017-11-10 一种鱼眼相机标定方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711106653.8A CN107886547B (zh) 2017-11-10 2017-11-10 一种鱼眼相机标定方法及系统

Publications (2)

Publication Number Publication Date
CN107886547A CN107886547A (zh) 2018-04-06
CN107886547B true CN107886547B (zh) 2020-04-28

Family

ID=61780105

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711106653.8A Active CN107886547B (zh) 2017-11-10 2017-11-10 一种鱼眼相机标定方法及系统

Country Status (1)

Country Link
CN (1) CN107886547B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11893884B2 (en) 2020-12-30 2024-02-06 Apollo Intelligent Connectivity (Beijing) Technology Co., Ltd. Method for acquiring three-dimensional perception information based on external parameters of roadside camera, and roadside device

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110936026B (zh) * 2018-09-21 2022-06-03 大族激光科技产业集团股份有限公司 板材余料的切割方法、切割装置、切割设备及存储介质
CN109741241B (zh) * 2018-12-26 2023-09-05 斑马网络技术有限公司 鱼眼图像的处理方法、装置、设备和存储介质
CN109887038B (zh) * 2019-01-23 2022-03-25 上海理工大学 一种用于在线检测的机器视觉图像校正方法
CN109978958B (zh) * 2019-03-27 2020-05-22 哈尔滨拓博科技有限公司 一种互动投影系统标定误差补偿方法
CN111815710B (zh) * 2020-05-28 2024-01-23 北京易航远智科技有限公司 鱼眼相机自动标定方法
CN111815714B (zh) * 2020-07-01 2024-05-17 广州视源电子科技股份有限公司 一种鱼眼相机标定方法、装置、终端设备及存储介质
CN112288825B (zh) * 2020-10-29 2024-04-12 阿波罗智联(北京)科技有限公司 相机标定方法、装置、电子设备、存储介质和路侧设备
CN112614194B (zh) * 2021-01-29 2021-09-03 北京经纬恒润科技股份有限公司 一种图像采集设备的数据处理方法、系统及装置
CN112967344B (zh) * 2021-03-09 2023-12-08 阿波罗智联(北京)科技有限公司 相机外参标定的方法、设备、存储介质及程序产品

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005258953A (ja) * 2004-03-12 2005-09-22 Ntt Docomo Inc 魚眼カメラ、及び魚眼カメラにおけるキャリブレーション方法
CN101363962A (zh) * 2007-08-06 2009-02-11 爱眉电脑软体有限公司 以透视投影法输出影像的方法
CN102928431A (zh) * 2012-10-24 2013-02-13 浙江工业大学 基于单目多视角机器视觉的珍珠大小形状在线自动分级装置
CN104392435A (zh) * 2014-11-10 2015-03-04 中科院微电子研究所昆山分所 鱼眼相机标定方法及标定装置
CN106846410A (zh) * 2016-12-20 2017-06-13 北京鑫洋泉电子科技有限公司 基于三维的行车环境成像方法及装置
CN106846415A (zh) * 2017-01-24 2017-06-13 长沙全度影像科技有限公司 一种多路鱼眼相机双目标定装置及方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005258953A (ja) * 2004-03-12 2005-09-22 Ntt Docomo Inc 魚眼カメラ、及び魚眼カメラにおけるキャリブレーション方法
CN101363962A (zh) * 2007-08-06 2009-02-11 爱眉电脑软体有限公司 以透视投影法输出影像的方法
CN102928431A (zh) * 2012-10-24 2013-02-13 浙江工业大学 基于单目多视角机器视觉的珍珠大小形状在线自动分级装置
CN104392435A (zh) * 2014-11-10 2015-03-04 中科院微电子研究所昆山分所 鱼眼相机标定方法及标定装置
CN106846410A (zh) * 2016-12-20 2017-06-13 北京鑫洋泉电子科技有限公司 基于三维的行车环境成像方法及装置
CN106846415A (zh) * 2017-01-24 2017-06-13 长沙全度影像科技有限公司 一种多路鱼眼相机双目标定装置及方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11893884B2 (en) 2020-12-30 2024-02-06 Apollo Intelligent Connectivity (Beijing) Technology Co., Ltd. Method for acquiring three-dimensional perception information based on external parameters of roadside camera, and roadside device

Also Published As

Publication number Publication date
CN107886547A (zh) 2018-04-06

Similar Documents

Publication Publication Date Title
CN107886547B (zh) 一种鱼眼相机标定方法及系统
CN105551039B (zh) 结构光三维扫描系统的标定方法及装置
CN110211043B (zh) 一种用于全景图像拼接的基于网格优化的配准方法
CN108510551B (zh) 一种远距离大视场条件下相机参数的标定方法及系统
CN109360246B (zh) 基于同步子区搜索的立体视觉三维位移测量方法
CN102376089B (zh) 一种标靶校正方法及系统
WO2018209968A1 (zh) 摄像机标定方法及系统
CN106887023A (zh) 用于双目摄像机标定的标定板及其标定方法和标定系统
CN110660107A (zh) 平面标定板、标定数据采集方法及系统
CN106595528A (zh) 一种基于数字散斑的远心显微双目立体视觉测量方法
CN107084680B (zh) 一种基于机器单目视觉的目标深度测量方法
CN103971378A (zh) 一种混合视觉系统中全景图像的三维重建方法
CN109961485A (zh) 一种基于单目视觉进行目标定位的方法
KR101759798B1 (ko) 실내 2d 평면도의 생성 방법, 장치 및 시스템
CN105913439A (zh) 一种基于激光跟踪仪的大视场摄像机标定方法
US10771776B2 (en) Apparatus and method for generating a camera model for an imaging system
CN110009690A (zh) 基于极线校正的双目立体视觉图像测量方法
CN113012234B (zh) 基于平面变换的高精度相机标定方法
CN102221331B (zh) 一种基于不对称双目立体视觉技术的测量方法
CN109255818B (zh) 一种新型标靶及其亚像素级角点的提取方法
CN112132908B (zh) 一种基于智能检测技术的相机外参数标定方法及设备
CN112802124A (zh) 多台立体相机的标定方法及装置、电子设备及存储介质
CN110146030A (zh) 基于棋盘格标志法的边坡表面变形监测系统和方法
CN109272555B (zh) 一种rgb-d相机的外部参数获得及标定方法
CN108010086A (zh) 基于网球场标志线交点的摄像机标定方法、装置和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant