CN109215088A - 利用公共自极三角形标定针孔摄像机的方法 - Google Patents
利用公共自极三角形标定针孔摄像机的方法 Download PDFInfo
- Publication number
- CN109215088A CN109215088A CN201811024428.4A CN201811024428A CN109215088A CN 109215088 A CN109215088 A CN 109215088A CN 201811024428 A CN201811024428 A CN 201811024428A CN 109215088 A CN109215088 A CN 109215088A
- Authority
- CN
- China
- Prior art keywords
- ball
- picture
- pole
- public
- polar
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 230000009977 dual effect Effects 0.000 claims abstract description 6
- 239000011159 matrix material Substances 0.000 claims description 15
- 238000003384 imaging method Methods 0.000 claims description 14
- 230000003287 optical effect Effects 0.000 claims description 3
- 230000015572 biosynthetic process Effects 0.000 claims description 2
- 238000000926 separation method Methods 0.000 claims description 2
- 238000002474 experimental method Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明是利用公共自极三角形标定针孔摄像机的方法。首先,分别从这一幅图像中提取靶标图像边缘点,使用最小二乘法拟合获得三个球像方程。根据任意两个分离球像都有唯一的公共自极三角形,可以得到这两个球像的一组对应的极点与极线。同时这条极线是经过这个两个球的球心的像,故根据球像与绝对对偶二次曲线的像的关系可以得到绝对二次曲线的像与公共极点和极线的约束关系,从而求得绝对二次曲线的像,求解针孔摄像机内参数。
Description
技术领域
本发明属于计算机视觉领域,涉及一种利用空间中球像及公共自极三角形求解针孔摄像机内参数的方法。
背景技术
计算机视觉的中心任务就是对图像进行理解,而它的最终目标是使计算机具有通过二维图像认知三维环境信息的能力。这种能力将不仅使机器能感知包括形状、姿态、运动等在内的三维环境中物体的几何信息,而且能对它们进行描述、存储、识别与理解。摄像机标定就是确定从三维空间点到它的二维图像点之间的映射关系,它是许多计算机视觉应用必不可少的步骤。为了确定这一映射过程,需要建立摄像机的几何成像模型,几何模型的参数称为摄像机参数,摄像机参数可分为内参数和外参数两类。内参数描述成像系统的成像几何特性,外参数描述成像系统关于世界坐标系的方向和位置。摄像机标定可分为传统标定、自标定和基于几何实体的标定。无论哪种标定方法,都旨在建立二维图像与摄像机内参数之间的约束关系,特别是线性约束关系,这是目前摄像机标定所追求的目标,也是目前计算机视觉领域研究的热点之一。
针孔摄像机成像模型简单,制作方便,不需要一些特殊的镜面,是全景视觉领域研究的热点之一。文献“An algorithm for self-calibration from several views”,(R.Hartley.,In Proc.IEEE Conference on Computer Vision and PatternRecognition,pages 908–912,June 1994.)提出了一种针孔摄像机自标定方法,这类方法的优点是不需要使用标定块,缺点是必须获得图像之间的对应点。而在计算机视觉中,实现一个十分有效的寻找对应点的方法是很困难的。文献“A new easy camera calibrationtechnique based on circular points”,(Meng,X.,Hu,Z.,Pattern Recognition,2003,36(5):1155-1164.)提出在针孔摄像机下以一个圆以及过圆心的若干支线作为标定模板,该方法的优点是可以线性求解得到影消点,但是不能直接得到圆环点的像,并且还会有多余的直线,从而产生更大的误差。“Camera calibration from the quasi-affineinvariance of two parallel circles”,(Wu,Y.,Zhu,H.,Hu,Z.,et al.,ComputerVision-ECCV 2004.Springer Berlin Heidelberg,2004:190-202.)提出了利用平行圆的类仿射不变性标定针孔摄像机,求解两个圆的交点进而得到圆环点的像,进而求解内参数。但是在获得圆环点的像时,需要分析不同的情况判断。
球作为一种常见的几何体,其最重要的优点在于从任何一个方向看空间中一个球的封闭轮廓线总是一个圆,并且无需知道标定的球和摄像机的位置关系,只利用球像就可标定摄像机。“Camera Calibration from Images of Spheres”,(Hui Zhang and Kwan-Yee K.,IEEE Transactions on Pattern Analysis&Machine Intelligence.2007,29(3):499-502.)研究了球像的对偶和绝对二次曲线的像的关系,并将此关系应用于摄像机的标定。文献“Camera Calibration Based on the Common Self-polar Triangle of SphereImages”,(Haifei Huang,Hui Zhang,Yiu-ming Cheung,Computer Vision--ACCV 2014,pp:19-29.)提出了定位两个球像之间的公共自极三角形,从而得到圆环点的像,进而求得内参数。文献“Interpreting Sphere Images Using the Double-Contact Theorem”,(XYing,H Zha,Springer Berlin Heidelberg,2006,3851(91):724-733.)介绍了双接触原理,利用双接触原理可以确定三个球像与绝对二次曲线的像的关系,使用这个关系建立了关于内参数的线性约束,通过此线性约束即可获得内参数。
发明内容
本发明提供了一种制作简单,适用广泛,稳定性好的用于求解针孔摄像机内参数的靶标,该靶标由空间中的三个球构成。在求解针孔摄像机内参数的过程中,需使用针孔摄像机拍摄靶标的1幅图像便可线性求解出针孔摄像机的5个内参数。
本发明采用如下技术方案:
用针孔摄像机从不同的位置拍摄1幅含有三个球的图像。本发明是利用空间中三个球作为靶标用于求解针孔摄像机内参数的方法。首先,分别从这一幅图像中提取靶标图像边缘点,使用最小二乘法拟合获得三个球像方程。根据任意两个分离球像都有唯一的公共自极三角形,可以得到这两个球像的一组对应的极点与极线。同时这条极线是经过这个两个球的球心的像,故根据球像与绝对对偶二次曲线的像的关系可以得到绝对二次曲线的像与公共极点和极线的约束关系,从而求得绝对二次曲线的像,求解针孔摄像机内参数。具体的步骤包括:拟合靶标投影方程,获得公共的极点与极线,确定绝对二次曲线的像,求解针孔摄像机内参数。
1.拟合靶标投影方程
利用Matlab程序中的Edge函数提取靶标图像边缘点的像素坐标,并用最小二乘法拟合获得靶标投影方程。
2.得到公共极点与极线
空间中的球Q在针孔摄像机下的成像过程等价于过摄像机中心为顶点的射线锥与球Q表面相切的成像过程,其中与球Q相切形成圆C1,包含其所在的平面为π相截,即在像平面π′上的球像c1与投影圆C1所成的像是射影等价。若令以Oc为光心的摄像机的内参数矩阵为其中rc是纵横比,fc是有效焦距,s是倾斜因子,[u0 v0 1]T是摄像机主点p的齐次坐标矩阵形式,其中rc,fc,u0,v0,s为摄像机的5个内参数。根据靶标图像边缘点的像素坐标,通过最小二乘法拟合得到相应的二次曲线方程。这里用cn(n=1,2,3)分别表示图像中三个球像的系数矩阵。本文为了简化表述,用相同字母表示曲线和它的系数矩阵。
设任意两个分离的球像c1,c2,则c1,c2都有唯一的公共自极三角形,且极点是的一个特征向量。则对应的极线可由关系式l1=c1·x1确定,其中x1为极点,l1为极线。
3.确定绝对二次曲线的像
因为公共极线l1经过c1,c2的球心的像,则根据球像与绝对对偶二次曲线的像的代数关系可以得到绝对二次曲线的像与公共极线l1和极点x1的约束关系,从而得到绝对二次曲线的像ω。
4.求解针孔摄像机内参数
根据对绝对二次曲线的像ω进行Cholesky分解再求逆便得到内参数矩阵Kc,即获得摄像机5个内参数。
本发明优点:
(1)该靶标制作简单,只需任意三个球。
(2)对该靶标的物理尺度没有要求,无需知道球心在世界坐标系下的坐标。
(3)该靶标的图像边界点几乎可以全部提取,提高曲线拟合的精确度,从而提高标定精度。
附图说明
图1是用于求解针孔摄像机内参数的靶标示意图。
图2是靶标在图像平面上的投影。
具体实施方式
本发明提供了一种用于求解针孔摄像机内参数的靶标,它是由空间中的球构成的,如图1。用此新型靶标完成针孔摄像机内参数的求解需要经过以下步骤:从图像中提取靶标图像边缘点,使用最小二乘法拟合获得球像方程。利用本发明中的方法对实验的针孔摄像机进行标定,具体步骤如下:
1.拟合靶标投影方程
利用Matlab程序中的Edge函数提取靶标图像边缘点的像素坐标,并用最小二乘法拟合获得靶标投影方程。
2.得到公共极点与极线
空间中的球Q(如图1)在针孔摄像机下的成像过程等价于过摄像机中心Oc为顶点的射线锥与球Q表面相切的成像过程,其中与球Q相切形成圆C1,即包含其所在的平面为π与球相截形成,并且在像平面π′上的球像c1与投影圆C1所成的像是射影等价。如图1所示,坐标轴zc与光轴o1O1重合,xc,yc轴分别与像平面π′上的水平和垂直的轴重合。用Matlab中的Edge函数提取图像中靶标图像的边缘点像素坐标,通过最小二乘法拟合得到相应的二次曲线方程,这里用cn(n=1,2,3)分别表示拍摄获得的图像中三个球像的系数矩阵。
如图2,设l1和x1是球像c1,c2的公共极线与极点,l2和x2是球像c2,c3的公共极线与极点,l3和x3是球像c3,c1的公共极线与极点,oi为ci(i=1,2,3)球心的像。则有
其中,“.”表示点积。由(1)式整理得
其中λ为比例因子,I为单位矩阵。从(2)式可知,公共极点x1是得一个特征向量。根据(1)式可得极线l1。同理,可得l2,x2,l3,x3。
3.确定绝对二次曲线的像
因为球像与绝对对偶二次曲线的像之间的代数关系为
其中,βi(i=1,2,3)为非零系数,ω*=ω-1。以球像c1,c2为例,因为极线l1经过c1,c2的球心的像,故(3)式可写为
又由(1)式知
则有
ω-1l1=x1, (6)
即
l1=ωx1。 (7)
同理,对球像c2,c3和球像c3,c1分别有
l2=ωx2, (8)
l2=ωx2。 (9)
联立(7)、(8)和(9)式可利用SVD分解解得ω。
4.求解针孔摄像机内参数
对进行Cholesky分解得再求逆便得到内参数矩阵Kc,即获得摄像机5个内参数。
实施例
本发明提出了一种利用空间的球作为靶标线性确定针孔摄像机内参数的方法。本发明采用的实验模板结构示意图如图2所示。下面以一实例对本发明的实施方案做出更为详细的描述。
基于空间中球的针孔摄像机标定采用的实验模板是空间中的球,如图1所示,球记为Q。利用本发明中的方法对用于实验的针孔摄像机进行标定,具体步骤如下:
1.拟合图像边界及靶标曲线方程
本发明采用的图像大小为1038×1048。用针孔摄像机拍摄靶标的1幅实验图像,读入图像,利用Matlab中的Edge函数提取靶标图像边缘点的像素坐标,并用最小二乘法拟合获得球像的方程。图像中的3个球像的方程的系数矩阵分别为cn(n=1,2,3),结果如下:
2.得到公共极点与极线
求的特征值及特征向量,为了统一,取的最大特征值对应的特征向量为x1,即:
x1=[-738.5376642187211417.7945491475091]T, (13)
则由(1)式可得
l1=[-0.0023014733063880.0020320655487581]T。 (14)
同理,对于球像c2,c3和c3,c1的极点与极线结果如下:
x2=[300.6928203230331417.7945491469021]T, (15)
l2=[0.00000000000000002860.006553157973573401]T; (16)
x3=[-739.337664218491257.79454914685561]T, (17)
l3=[-0.001472690936802-0.0002001567236751]T。 (18)
3.确定绝对二次曲线的像
将(13)和(14)、(15)和(16)、(17)和(18)分别带入(7)、(8)、(9)联立可得关于ω的线性方程组,将方程组SVD分解,可解得ω的系数矩阵,结果如下:
4.求解针孔摄像机内参数
根据对(19)中的ω进行Cholesky分解再求逆便可获得Kc,结果如下:
其中纵横比rc=Kc(1,1)/Kc(2,2)(Kc(1,1)表示矩阵Kc的第1行第1列的元素,Kc(2,2)表示矩阵Kc的第2行第2列的元素),故针孔摄像机的5个内参数分别为:rc=0.8823529411764601,fc=679.9999999999833,s=0.3999999999372,u0=300.0000000001482,v0=239.9999999999557。
Claims (1)
1.一种利用利用公共自极三角形标定针孔摄像机的方法,其特征在于由空间中的球作为靶标;本发明是利用空间中三个球作为靶标用于求解针孔摄像机内参数的方法;首先,分别从这一幅图像中提取靶标图像边缘点,使用最小二乘法拟合获得三个球像方程;根据任意两个分离球像都有唯一的公共自极三角形,以得到这两个球像的一组对应的极点与极线;同时这条极线是经过这个两个球的球心的像,故根据球像与绝对对偶二次曲线的像的关系以得到绝对二次曲线的像与公共极点和极线的约束关系,从而求得绝对二次曲线的像,求解针孔摄像机内参数;具体的步骤包括:拟合靶标投影方程,获得公共的极点与极线,确定绝对二次曲线的像,求解针孔摄像机内参数;
(1)得到公共极点与极线
空间中的球Q在针孔摄像机下的成像过程等价于过摄像机中心为顶点的射线锥与球Q表面相切的成像过程,其中与球Q相切形成圆C1,包含其所在的平面为π相截,即在像平面π′上的球像c1与投影圆C1所成的像是射影等价;若令以Oc为光心的摄像机的内参数矩阵为其中rc是纵横比,fc是有效焦距,s是倾斜因子,[u0 v0 1]T是摄像机主点p的齐次坐标矩阵形式,其中rc,fc,u0,v0,s为摄像机的5个内参数;根据靶标图像边缘点的像素坐标,通过最小二乘法拟合得到相应的二次曲线方程;这里用cn,其中n=1,2,3,分别表示图像中三个球像的系数矩阵;本文为了简化表述,用相同字母表示曲线和它的系数矩阵;
设任意两个分离的球像c1,c2,则c1,c2都有唯一的公共自极三角形,且极点是的一个特征向量;则对应的极线由关系式l1=c1·x1确定,其中x1为极点,l1为极线;
(2)确定绝对二次曲线的像
因为公共极线l1经过c1,c2的球心的像,则根据球像与绝对对偶二次曲线的像的代数关系以得到绝对二次曲线的像与公共极线l1和极点x1的约束关系,从而得到绝对二次曲线的像ω。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811024428.4A CN109215088B (zh) | 2018-09-04 | 2018-09-04 | 利用公共自极三角形标定针孔摄像机的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811024428.4A CN109215088B (zh) | 2018-09-04 | 2018-09-04 | 利用公共自极三角形标定针孔摄像机的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109215088A true CN109215088A (zh) | 2019-01-15 |
CN109215088B CN109215088B (zh) | 2021-07-09 |
Family
ID=64986578
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811024428.4A Expired - Fee Related CN109215088B (zh) | 2018-09-04 | 2018-09-04 | 利用公共自极三角形标定针孔摄像机的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109215088B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1998005157A2 (en) * | 1996-07-12 | 1998-02-05 | Real-Time Geometry Corporation | High accuracy calibration for 3d scanning and measuring systems |
CN103106650A (zh) * | 2011-11-14 | 2013-05-15 | 云南大学 | 利用三个两两不同心圆求解摄像机内参数 |
CN104835144A (zh) * | 2015-04-09 | 2015-08-12 | 云南大学 | 利用一个球的球心的像及正交性求解摄像机内参数 |
CN107886546A (zh) * | 2017-11-06 | 2018-04-06 | 云南大学 | 利用球像及公共自极三角形标定抛物折反射摄像机的方法 |
CN108022267A (zh) * | 2016-10-31 | 2018-05-11 | 北京新长征天高智机科技有限公司 | 一种摄像机标定装置及标定方法 |
-
2018
- 2018-09-04 CN CN201811024428.4A patent/CN109215088B/zh not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1998005157A2 (en) * | 1996-07-12 | 1998-02-05 | Real-Time Geometry Corporation | High accuracy calibration for 3d scanning and measuring systems |
CN103106650A (zh) * | 2011-11-14 | 2013-05-15 | 云南大学 | 利用三个两两不同心圆求解摄像机内参数 |
CN104835144A (zh) * | 2015-04-09 | 2015-08-12 | 云南大学 | 利用一个球的球心的像及正交性求解摄像机内参数 |
CN108022267A (zh) * | 2016-10-31 | 2018-05-11 | 北京新长征天高智机科技有限公司 | 一种摄像机标定装置及标定方法 |
CN107886546A (zh) * | 2017-11-06 | 2018-04-06 | 云南大学 | 利用球像及公共自极三角形标定抛物折反射摄像机的方法 |
Also Published As
Publication number | Publication date |
---|---|
CN109215088B (zh) | 2021-07-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104596502B (zh) | 一种基于cad模型与单目视觉的物体位姿测量方法 | |
CN107886546B (zh) | 利用球像及公共自极三角形标定抛物折反射摄像机的方法 | |
CN104034305B (zh) | 一种单目视觉实时定位的方法 | |
CN104217435B (zh) | 两个相互遮挡的球线性确定拋物折反射摄像机内参数方法 | |
CN112001926B (zh) | 基于多维语义映射rgbd多相机标定方法、系统及应用 | |
CN104517291A (zh) | 基于目标同轴圆特征的位姿测量方法 | |
CN111415375B (zh) | 一种基于多鱼眼摄像机和双针孔投影模型的slam方法 | |
CN107657645A (zh) | 利用直线及圆的共轭直径的性质标定拋物折反射摄像机 | |
CN105279758A (zh) | 使用双球的相切像与圆环点的像标定拋物折反射摄像机 | |
CN109360248A (zh) | 利用单个球及共轭直径的性质标定拋物折反射摄像机 | |
CN111080715B (zh) | 三个球和无穷远点的极线性质标定摄像机内参数的方法 | |
Chen et al. | Extrinsic calibration of a laser range finder and a camera based on the automatic detection of line feature | |
CN105321181A (zh) | 使用双球的相离像与圆环点的像标定拋物折反射摄像机 | |
CN109559351A (zh) | 分离圆的公共自极三角形及正交消失点标定针孔摄像机 | |
CN108921904B (zh) | 利用单个球及渐近线的性质标定针孔摄像机的方法 | |
CN110030979A (zh) | 一种基于序列图像的空间非合作目标相对位姿测量方法 | |
CN105303570A (zh) | 使用双球的相交像及圆环点的像标定拋物折反射摄像机 | |
CN109360247A (zh) | 单个球的公共自极三角形及正交消失点标定抛物摄像机 | |
Schönbein et al. | Environmental Perception for Intelligent Vehicles Using Catadioptric Stereo Vision Systems. | |
CN109523598A (zh) | 单个球的公共自极三角形及圆环点标定抛物摄像机的方法 | |
CN107958468B (zh) | 利用空间位置不同的三个球标定中心折反射摄像机的方法 | |
CN109035342B (zh) | 利用一条直线及圆环点极线标定拋物折反射摄像机的方法 | |
Zhang et al. | A survey of catadioptric omnidirectional camera calibration | |
CN109215088A (zh) | 利用公共自极三角形标定针孔摄像机的方法 | |
Wu et al. | A camera calibration method based on OpenCV |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210709 |