CN100428805C - 仅用一幅平面标定物图像的摄像机标定方法 - Google Patents
仅用一幅平面标定物图像的摄像机标定方法 Download PDFInfo
- Publication number
- CN100428805C CN100428805C CNB2005101115183A CN200510111518A CN100428805C CN 100428805 C CN100428805 C CN 100428805C CN B2005101115183 A CNB2005101115183 A CN B2005101115183A CN 200510111518 A CN200510111518 A CN 200510111518A CN 100428805 C CN100428805 C CN 100428805C
- Authority
- CN
- China
- Prior art keywords
- image
- camera
- reference object
- fitting
- distortion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
本发明涉及一种仅用一幅平面标定物图像的摄像机标定方法,在平面物体上设置两组已知间距的正交平行直线作为标定物,沿摄像机光轴与平面标定物倾斜的方向拍摄一幅图像,使图像上两组平行线大致在图像的纵横两个方向;提取图像中平行线的交点并对平行线进行直线拟合,从每组平行线的拟合直线中找出残差最小的一条,以两条最小残差拟合直线的交点为主点初值,根据残差与畸变系数的关系求出畸变系数的初值;以所有拟合直线的残差之和为目标函数,利用最优化方法对主点和畸变系数进行优化;利用畸变模型去除图像畸变,求出各交点的无畸变图像坐标;利用交点的无畸变图像坐标及其在平面标定物上的世界坐标,通过线性变换求出摄像机全部参数,完成标定。
Description
技术领域
本发明涉及一种仅用一幅平面标定物图像的摄像机标定方法,可应用于计算机视觉和近距摄影测量中的摄像机标定,也可用于图像的几何校正。属于先进制造与自动化领域。
背景技术
摄像机标定一直是摄影测量和计算机视觉中的重要问题,目前,已有多种摄像机标定方法。早期的摄像机标定方法采用三维立体标定物,由于三维标定物在制作上的困难,目前已逐渐被平面标定物所取代。随着数字摄像机技术的发展,目前采用四个内参数的摄像机模型足以满足计算机视觉中的一般应用。标定一个四参数的摄像机模型,采用平面标定物的现有技术需要至少拍摄标定物的二幅图像(Z.Zhang,A Flexible New Technique for Camera Calibration,IEEE Trans.Pattern Analysis and Machine Intelligence,22(11):1330-1334,2000.),一般都要拍摄多幅图像。这种方法主要包括初值估计和全部参数的同时优化两个步骤。首先,不考虑镜头畸变,假设畸变系数的初值为零,从所拍摄的多幅图像中通过线性最小二乘法求出摄像机四个内参数的初值;然后,利用非线性最优化算法,以投影误差之和为目标函数同时对摄像机的四个内参数和镜头畸变系数进行最小化寻优,求出它们的最优值,完成摄像机标定。这种方法的不足之处在于:(1)由于畸变系数与摄像机的内参数互相耦合,对它们同时寻优可能得出局部最优解;(2)由于标定结果是多幅图像共同作用的结果,难以确定其中一幅图像对标定结果的影响,为了得到较好的标定结果,往往需要拍摄较多的图像,效率低。因此,人们希望有一种标定方法,一方面能够解除畸变系数与摄像机内参数之间的相互耦合,以避免由于这样的耦合而产生的局部最优解;另一方面能够用一幅图像来进行摄像机标定,这样,不仅可以提高标定效率,而且可以确定平面标定物所处的位置和姿态对标定结果的影响。
发明内容
本发明目的在于针对现有技术的不足,提出一种仅用一幅平面标定物图像的摄像机标定方法,以解除畸变系数与摄像机内参数之间的耦合,简化标定过程,提高标定效率,并可确定平面标定物所处的位置和姿态对标定结果的影响。
为实现这一目的,本发明的技术方案:在平面物体上设置两组已知间距的正交平行直线作为标定物;沿摄像机光轴与平面标定物倾斜的方向拍摄一幅图像,使图像上的两组平行线大致在图像的纵横两个方向;提取图像中平行线的交点并对平行线进行直线拟合,从每组平行线的拟合直线中找出残差最小的一条,以两条最小残差拟合直线的交点为主点的初值,根据残差与畸变系数的关系求出畸变系数的初值;以所有拟合直线的残差之和为目标函数,利用最优化方法对主点和畸变系数进行优化;利用畸变模型去除图像畸变,求出各交点的无畸变图像坐标;利用交点的无畸变图像坐标及其在平面标定物上的世界坐标,通过直接线性变换求出摄像机的主距和外部参数,完成摄像机标定。
本发明的摄像机标定方法包括以下几个步骤:
1.设定平面标定物:在一个平面物体上设置两组平行直线作为平面标定物,这两组平行直线互相垂直,且每组中各平行线之间距离已知,从而构成边长已知的平面方格图形作为平面标定物。优选的平面标定物为边长相等的平面方格图形。
2.拍摄平面标定物图像:用需要标定的摄像机拍摄平面标定物的一幅图像,拍摄时摄像机光轴相对平面标定物倾斜一个角度,摄像机光轴与平面标定物法线的夹角优选在15°至35°之间,并绕光轴旋转摄像机,使平面标定物图像上两组平行线大致在图像的纵横两个方向;
3.估计主点和畸变系数:提取平面标定物图像上各平行线交点在所摄图像中的坐标,从位于同一条直线上的各个交点用最小二乘法拟合出一条直线,从而形成纵横两组拟合直线;然后,从纵向拟合直线中找出拟合残差最小的一条,从横向拟合直线中找出拟合残差最小的一条,并求出这两条直线的交点,以该交点坐标作为摄像机主点的初值;再根据纵横两组拟合直线的残差与畸变系数的关系,求出畸变系数的初值。
4.对主点和畸变系数进行优化:以图像中所有拟合直线的残差之和为目标函数,利用最优化方法对摄像机主点和畸变系数进行最小化寻优,求出摄像机主点和畸变系数的最优值。寻优方法可采用本领域所知的任何方法,例如梯度下降法。
5.去除图像的畸变:利用摄像机主点和径向畸变系数的最优值,根据摄像机镜头的畸变模型去除图像的畸变,求出各交点的无畸变图像坐标。
6.求摄像机的主距和外部参数:利用上一步所求交点的无畸变图像坐标及与其对应的平面标定物上的世界坐标,通过直接线性变换方法求出摄像机的主距和外部参数,完成摄像机标定。
与现有技术相比,本发明的方法首先利用畸变的特性求出畸变系数和摄像机主点,去除摄像机镜头畸变,解除了畸变系数与摄像机主距之间的耦合,避免了由于畸变系数与摄像机主距的耦合而引起的局部最小值。另外,本发明的方法只需要拍摄平面标定物的一幅图像,不仅简化了标定过程,提高了标定效率,而且可通过这种方法考察平面标定物的不同姿态和位置对标定结果的影响,找出能准确而可靠地得出标定结果的姿态和位置的范围,提高标定精度。
附图说明
图1为本发明实施例所采用的一个平面标定物的图像。
图2为标定时所拍摄的图1所示平面标定物的一幅图像。
图3为视场中的空间点到图像平面上的像点的成像过程示意图。
图4为从图2所示图像中提取的方格交点及从中拟合的纵横两组直线。
图5为图像平面上的直线由于镜头畸变而成为曲线的示意图。
图6为图4所示纵横两组拟合直线的拟合残差变化示意图。
具体实施方式
为了更好地理解本发明的技术方案,以下结合附图和实施例作进一步的详细描述。
本发明的摄像机标定方法包括以下步骤:
1.设定平面标定物:在一个平面物体上设置两组平行直线作为平面标定物,这两组平行直线互相垂直,且每组中各平行线之间距离已知,从而构成边长已知的平面方格图形。方格图形的边长根据不同摄像机镜头的标称焦距而变化,标称焦距越小,方格图形的边长越大,反之亦然,使得在拍摄该平面标定物的图像时,摄像机与标定物之间的距离在实际应用时的工作范围内。优选的平面标定物为边长相等的平面方格图形,如图1所示。图1为本发明所用的一个平面标定物的实施方案示意图,在该方格图像上建立坐标系XwOwYw,该坐标系称为世界坐标系。如果方格的边长为a,则各方格交点的世界坐标可表示为Pwij(ia,ja,0),其中i和j为自然数,即Xwij=ia,Ywij=ja,Zwij=0。
2.拍摄平面标定物图像:用需要标定的摄像机拍摄平面标定物的一幅图像,拍摄时摄像机光轴与平面标定物法线的夹角在15°至35°之间,并绕光轴旋转摄像机,使平面标定物图像上两组平行线大致在图像的纵横两个方向,如图2所示。图2为标定时所拍摄的图1所示平面标定物的一幅图像。标定物上一个方格交点Pw成像到摄像机图像平面上的过程可用图3表示。首先,交点Pw在世界坐标系中的坐标(Xw,Yw,Zw)通过坐标旋转和平移转换为摄像机坐标系XcYcZc中的坐标,具体可表示为:
式中,R为旋转矩阵,T为平移向量,它们称为摄像机的外部参数。设旋转矩阵R的3个列向量分别为r1,r2,r3,由于方格上的交点位于一个平面上,可让Zw=0,因此(1)式简化为:
然后,摄像机坐标系XcYcZc中的点(Xc,Yc,Zc)按理想的针孔摄像机模型成像到摄像机的图像平面上,得到理想的图像点P(U,V),该过程可表示为:
式中,α,β分别为摄像机在U,V方向的透视投影比例因子,称为摄像机的主距。将(2)代入(3)可得:
式中,s为比例因子,H=A·Rt称为单映性矩阵,
Rt={r1 r2 T](6)
由于摄像机镜头的畸变,理想图像点P偏移至实际图像点Pd。摄像机镜头的畸变可分为径向畸变、离心畸变和薄棱镜畸变,其中径向畸变是主要部分。在一般的计算机视觉应用中,考虑一阶径向畸变已能满足要求,本发明实施例中仅以一阶径向畸变进行说明,因此,实际图像点与理想图像点在图像坐标系UOV中的坐标之间关系可表示为:
或
式中,r2=U2+V2,k1为一阶径向畸变系数。实际从图像上得到的是实际图像点Pd的象素坐标(ud,vd),图像坐标与象素坐标之间的关系为:
式中,(u0,v0)为图像畸变中心的象素坐标。图像畸变中心一般与摄像机的透视投影中心重合,该中心点称为摄像机的主点。摄像机的主点坐标(u0,v0)和主距α,β称为摄像机的内部参数。
3.估计主点和畸变系数:首先,提取图像中各方格交点的坐标(uij,vij),其中i为直线的编号,j为直线上交点的编号,提取交点的方法可采用本领域所知的任何交点提取方法,优选采用Harris交点提取方法;然后,从位于同一条直线上的交点坐标用最小二乘法拟合出一条直线,从而形成纵横两组直线,如图4所示,设纵向拟合直线的条数为l,横向拟合直线的条数为m。图5为表示图像平面上的一条无畸变时的直线L由于镜头畸变而成为曲线Ld的示意图。畸变前的直线L可表示为:
V=a·U+b (10)
其中a和b为常数。将(8)式代入(10)式,则畸变后的曲线Ld可表示为:
Vd=a·Ud+b+k1·b·r2(11)
从畸变中心O作直线L的垂线OS交曲线Ld于Q点。过Q点作直线L的平行线L’,则L’可表示为:
Vd=a·Ud+b+k1·b·d2(12)
其中d为从主点到直线L的距离。设从曲线Ld上一点A(Ud,Vd)到直线L’的距离为D,则D可表示为:
D=k1·d(d2-r2)(13)
如果理想直线L上有n个点Aj(Uj,Vj),j=1,2,...,n,畸变后它们在图像上的实际位置为Adj(Udj,Vdj),这些畸变后的实际图像点到直线L’的距离之和为:
由(14)式可以看出,当一阶畸变系数k1一定时,该距离之和正比于畸变中心到直线L的距离d。特别地,如果直线L经过畸变中心,则该距离之和理论上为0。但由于噪声,该距离之和不会为0,只会在该位置取得最小值。由于该距离之和等价于这些点与由它们拟合出的直线的残差Rej之和,因此,如果从纵向拟合直线中找出拟合残差最小的一条,记为l0,同样,从横向拟合直线中找出拟合残差最小的一条,记为m0,则直线l0与直线m0的交点可作为主点的估计值。图6为图4所示纵横两组拟合直线的拟合残差变化示意图,横坐标为拟合直线编号,纵向拟合直线从左到右为1,2,...,l,横向拟合直线从上到下为1,2,...,m。利用得到的主点估计值由(14)式可得所有交点到其对应的拟合直线的距离之和为:
考虑到该距离之和等价于这些点与由它们拟合出的直线的残差Reij之和,从(15)式可得一阶径向畸变系数k1的初始估计值。
4.对主点和畸变系数进行优化:设纵向两条相邻拟合直线之间的距离为Δu,而横向两条相邻拟合直线之间的距离为以图像中所有拟合直线的残差之和为目标函数,在至区域内利用最优化方法对摄像机主点和畸变系数进行最小化寻优。寻优方法可采用本领域所知的任何方法,例如梯度下降法。
5.去除图像的畸变:利用上一步所得摄像机主点和畸变系数的最优值,由(9)式可得:
由(7)式可得:
式中, 在已知k1和rd后可求出r,再由(8)式求出各交点的无畸变图像坐标:
6.求摄像机的主距和外部参数:利用一个方格上4个交点的无畸变图像坐标(U,V)和它们对应的世界坐标(Xw,Yw)可求出(4)式中的单映性矩阵H在比例因子λ下的解,即:
λ(h1 h2 h3)=A·(r1 r2 T)(20)
其中h1,h2,h3是H的列向量。在一幅平面标定物图像中有很多方格的交点,可用线性最小二乘法求出H在比例因子λ下的解。求出H后,可按下式求r1和r2。
r1=λA-1h1(21)
r2=λA-1h2(22)
由于r1和r2是旋转矩阵R的列向量,所以
由(5)式可得:
所以
将(27)式代入(23)、(24)和(25)式,所得3个方程中共有3个未知数λ、α和β,由于3个方程互相独立,且λ、α和β都是正数,因此可求得唯一解。求出λ、α和β后,可按(21)和(22)式求r1和r2,并按下面的公式求r3和T: r3=r1×r2(28)
T=λA-1h3(29)
至此,得到摄像机的全部内参数(u0,v0,α,β)、畸变系数k1,以及外部参数R和T,完成了摄像机的标定。
Claims (1)
1.一种仅用一幅平面标定物图像的摄像机标定方法,其特征在于包括如下具体步骤:
1)设定平面标定物:在一个平面物体上设置两组平行直线作为平面标定物,这两组平行直线互相垂直,且每组中各平行线之间距离已知,从而构成边长已知的平面方格图形作为平面标定物;
2)拍摄平面标定物图像:用需要标定的摄像机拍摄平面标定物的一幅图像,拍摄时摄像机光轴相对平面标定物倾斜一个角度,摄像机光轴与平面标定物法线的夹角在15°至35°之间,并绕光轴旋转摄像机,使平面标定物图像上两组平行线大致在图像的纵横两个方向;
3)估计主点和畸变系数:提取平面标定物图像上各平行线交点在所摄图像中的坐标,从位于同一条直线上的各个交点用最小二乘法拟合出一条直线,从而形成纵横两组拟合直线;然后,从纵向拟合直线中找出拟合残差最小的一条,从横向拟合直线中找出拟合残差最小的一条,并求出这两条直线的交点,以该交点坐标作为摄像机主点的初值;再根据纵横两组拟合直线的残差与畸变系数的关系,求出畸变系数的初值;
4)对主点和畸变系数进行优化:以图像中所有拟合直线的残差之和为目标函数,利用最优化方法对摄像机主点和畸变系数进行最小化寻优,求出摄像机主点和畸变系数的最优值;
5)去除图像的畸变:利用摄像机主点和畸变系数的最优值,根据摄像机镜头的畸变模型去除图像的畸变,求出各交点的无畸变图像坐标;
6)求摄像机的主距和外部参数:利用上一步所求交点的无畸变图像坐标及与其对应的平面标定物上的世界坐标,通过直接线性变换方法求出摄像机的主距和外部参数,完成摄像机标定。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNB2005101115183A CN100428805C (zh) | 2005-12-15 | 2005-12-15 | 仅用一幅平面标定物图像的摄像机标定方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNB2005101115183A CN100428805C (zh) | 2005-12-15 | 2005-12-15 | 仅用一幅平面标定物图像的摄像机标定方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1801953A CN1801953A (zh) | 2006-07-12 |
CN100428805C true CN100428805C (zh) | 2008-10-22 |
Family
ID=36811657
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB2005101115183A Expired - Fee Related CN100428805C (zh) | 2005-12-15 | 2005-12-15 | 仅用一幅平面标定物图像的摄像机标定方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN100428805C (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CZ304706B6 (cs) * | 2013-02-22 | 2014-09-03 | České Vysoké Učení Technické V Praze, Fakulta Stavební, Katedra Mapování A Kartografie | Způsob kalibrace distorze objektivu |
CN108581869A (zh) * | 2018-03-16 | 2018-09-28 | 深圳市策维科技有限公司 | 一种摄像头模组对准方法 |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101303440B (zh) * | 2007-05-08 | 2010-06-16 | 中茂电子(深圳)有限公司 | 光学设备及其坐标校正方法 |
CN102047651B (zh) * | 2008-06-02 | 2013-03-13 | 松下电器产业株式会社 | 生成法线信息的图像处理装置、方法及视点变换图像生成装置 |
CN101750014B (zh) * | 2009-12-31 | 2011-08-31 | 重庆大学 | 正交式三坐标测量机中摄像机的标定方法 |
CN101957990B (zh) * | 2010-08-13 | 2012-07-04 | 武汉大学 | 一种摄像机定标方法、图像处理设备和机动车辆 |
CN102005048A (zh) * | 2010-11-16 | 2011-04-06 | 哈尔滨工业大学 | 基于平面上固定特征点的大视场摄像机现场标定方法 |
US8638986B2 (en) * | 2011-04-20 | 2014-01-28 | Qualcomm Incorporated | Online reference patch generation and pose estimation for augmented reality |
EP2615580B1 (en) * | 2012-01-13 | 2016-08-17 | Softkinetic Software | Automatic scene calibration |
CN107507244A (zh) * | 2017-07-26 | 2017-12-22 | 成都通甲优博科技有限责任公司 | 一种单帧图像的相机标定方法、标定操作方法及标定装置 |
CN108280815B (zh) * | 2018-02-26 | 2021-10-22 | 安徽新闻出版职业技术学院 | 一种面向监控场景结构的几何校正方法 |
CN110232714B (zh) * | 2019-04-30 | 2021-07-20 | 北京云迹科技有限公司 | 深度相机的标定方法及系统 |
CN112070705B (zh) * | 2020-11-16 | 2021-02-02 | 天津天瞳威势电子科技有限公司 | 一种相机评测方法、装置和存储介质 |
CN114845053A (zh) * | 2022-04-25 | 2022-08-02 | 国能寿光发电有限责任公司 | 一种全景视频生成方法及装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0587328A2 (en) * | 1992-09-05 | 1994-03-16 | International Business Machines Corporation | An image processing system |
CN2539957Y (zh) * | 2001-07-19 | 2003-03-12 | 吉林大学 | 交通事故现场测量标定物 |
CN1455222A (zh) * | 2003-04-11 | 2003-11-12 | 天津大学 | 一种摄像机标定方法及其实施装置 |
-
2005
- 2005-12-15 CN CNB2005101115183A patent/CN100428805C/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0587328A2 (en) * | 1992-09-05 | 1994-03-16 | International Business Machines Corporation | An image processing system |
CN2539957Y (zh) * | 2001-07-19 | 2003-03-12 | 吉林大学 | 交通事故现场测量标定物 |
CN1455222A (zh) * | 2003-04-11 | 2003-11-12 | 天津大学 | 一种摄像机标定方法及其实施装置 |
Non-Patent Citations (2)
Title |
---|
基于机器人运动模式的手眼标定初值估计法. 刘宏建,石繁槐,刘允才,罗毅.上海交通大学学报,第39卷第3期. 2005 |
基于机器人运动模式的手眼标定初值估计法. 刘宏建,石繁槐,刘允才,罗毅.上海交通大学学报,第39卷第3期. 2005 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CZ304706B6 (cs) * | 2013-02-22 | 2014-09-03 | České Vysoké Učení Technické V Praze, Fakulta Stavební, Katedra Mapování A Kartografie | Způsob kalibrace distorze objektivu |
CN108581869A (zh) * | 2018-03-16 | 2018-09-28 | 深圳市策维科技有限公司 | 一种摄像头模组对准方法 |
Also Published As
Publication number | Publication date |
---|---|
CN1801953A (zh) | 2006-07-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN100428805C (zh) | 仅用一幅平面标定物图像的摄像机标定方法 | |
CN102364299B (zh) | 一种多个结构光投影三维型面测量头的标定技术 | |
CN104596502B (zh) | 一种基于cad模型与单目视觉的物体位姿测量方法 | |
CN102376089B (zh) | 一种标靶校正方法及系统 | |
CN105678742B (zh) | 一种水下相机标定方法 | |
CN109242954B (zh) | 基于模板变形的多视角三维人体重建方法 | |
CN206441238U (zh) | 标定板和标定系统 | |
CN101630406B (zh) | 摄像机的标定方法及摄像机标定装置 | |
CN104766292B (zh) | 多台立体相机标定方法和系统 | |
CN109000557B (zh) | 一种核燃料棒位姿自动识别方法 | |
CN112102458A (zh) | 基于激光雷达点云数据辅助的单镜头三维图像重构方法 | |
CN109785379A (zh) | 一种对称物体尺寸及重量的测量方法及测量系统 | |
CN107063129A (zh) | 一种阵列式并行激光投影三维扫描方法 | |
CN108288292A (zh) | 一种三维重建方法、装置及设备 | |
CN104036542B (zh) | 一种基于空间光线聚集性的像面特征点匹配方法 | |
CN109859272A (zh) | 一种自动对焦双目摄像头标定方法及装置 | |
CN105931222A (zh) | 用低精度二维平面靶标实现高精度相机标定的方法 | |
CN107194972A (zh) | 一种摄像机标定方法及系统 | |
CN113592721B (zh) | 摄影测量方法、装置、设备及存储介质 | |
CN105469389B (zh) | 一种用于视觉传感器标定的网格球靶标及相应标定方法 | |
CN107543496B (zh) | 一种双目立体视觉三维坐标测量方法 | |
CN109903227A (zh) | 基于相机几何位置关系的全景影像拼接方法 | |
CN108458665A (zh) | 利用近景摄影进行隧道快速形变测量的方法 | |
CN110044374B (zh) | 一种基于图像特征的单目视觉测量里程的方法及里程计 | |
CN103278138A (zh) | 一种复杂结构薄部件三维位置及姿态的测量方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C17 | Cessation of patent right | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20081022 Termination date: 20111215 |