CN109215088B - 利用公共自极三角形标定针孔摄像机的方法 - Google Patents

利用公共自极三角形标定针孔摄像机的方法 Download PDF

Info

Publication number
CN109215088B
CN109215088B CN201811024428.4A CN201811024428A CN109215088B CN 109215088 B CN109215088 B CN 109215088B CN 201811024428 A CN201811024428 A CN 201811024428A CN 109215088 B CN109215088 B CN 109215088B
Authority
CN
China
Prior art keywords
image
polar
camera
spherical
quadratic curve
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201811024428.4A
Other languages
English (en)
Other versions
CN109215088A (zh
Inventor
汪雪纯
杨丰澧
赵越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yunnan University YNU
Original Assignee
Yunnan University YNU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yunnan University YNU filed Critical Yunnan University YNU
Priority to CN201811024428.4A priority Critical patent/CN109215088B/zh
Publication of CN109215088A publication Critical patent/CN109215088A/zh
Application granted granted Critical
Publication of CN109215088B publication Critical patent/CN109215088B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明是利用公共自极三角形标定针孔摄像机的方法。首先，分别从这一幅图像中提取靶标图像边缘点，使用最小二乘法拟合获得三个球像方程。根据任意两个分离球像都有唯一的公共自极三角形，可以得到这两个球像的一组对应的极点与极线。同时这条极线是经过这个两个球的球心的像，故根据球像与绝对对偶二次曲线的像的关系可以得到绝对二次曲线的像与公共极点和极线的约束关系，从而求得绝对二次曲线的像，求解针孔摄像机内参数。

Description

利用公共自极三角形标定针孔摄像机的方法
技术领域
本发明属于计算机视觉领域，涉及一种利用空间中球像及公共自极三角形求解针孔摄像机内参数的方法。
背景技术
计算机视觉的中心任务就是对图像进行理解，而它的最终目标是使计算机具有通过二维图像认知三维环境信息的能力。这种能力将不仅使机器能感知包括形状、姿态、运动等在内的三维环境中物体的几何信息，而且能对它们进行描述、存储、识别与理解。摄像机标定就是确定从三维空间点到它的二维图像点之间的映射关系，它是许多计算机视觉应用必不可少的步骤。为了确定这一映射过程，需要建立摄像机的几何成像模型，几何模型的参数称为摄像机参数，摄像机参数可分为内参数和外参数两类。内参数描述成像系统的成像几何特性，外参数描述成像系统关于世界坐标系的方向和位置。摄像机标定可分为传统标定、自标定和基于几何实体的标定。无论哪种标定方法，都旨在建立二维图像与摄像机内参数之间的约束关系，特别是线性约束关系，这是目前摄像机标定所追求的目标，也是目前计算机视觉领域研究的热点之一。
针孔摄像机成像模型简单，制作方便，不需要一些特殊的镜面，是全景视觉领域研究的热点之一。文献“An algorithm for self-calibration from several views”，(R.Hartley.,In Proc.IEEE Conference on Computer Vision and PatternRecognition,pages 908–912,June 1994.)提出了一种针孔摄像机自标定方法，这类方法的优点是不需要使用标定块，缺点是必须获得图像之间的对应点。而在计算机视觉中，实现一个十分有效的寻找对应点的方法是很困难的。文献“A new easy camera calibrationtechnique based on circular points”，(Meng,X.,Hu,Z.,Pattern Recognition,2003,36(5):1155-1164.)提出在针孔摄像机下以一个圆以及过圆心的若干支线作为标定模板，该方法的优点是可以线性求解得到影消点，但是不能直接得到圆环点的像，并且还会有多余的直线，从而产生更大的误差。“Camera calibration from the quasi-affineinvariance of two parallel circles”，(Wu,Y.,Zhu,H.,Hu,Z.,et al.，ComputerVision-ECCV2004.Springer Berlin Heidelberg,2004:190-202.)提出了利用平行圆的类仿射不变性标定针孔摄像机，求解两个圆的交点进而得到圆环点的像，进而求解内参数。但是在获得圆环点的像时，需要分析不同的情况判断。
球作为一种常见的几何体，其最重要的优点在于从任何一个方向看空间中一个球的封闭轮廓线总是一个圆，并且无需知道标定的球和摄像机的位置关系，只利用球像就可标定摄像机。“Camera Calibration from Images of Spheres”,(Hui Zhang and Kwan-Yee K.,IEEE Transactions on Pattern Analysis&Machine Intelligence.2007,29(3):499-502.)研究了球像的对偶和绝对二次曲线的像的关系，并将此关系应用于摄像机的标定。文献“Camera Calibration Based on the Common Self-polar Triangle of SphereImages”，(Haifei Huang,Hui Zhang,Yiu-ming Cheung,Computer Vision--ACCV2014，pp:19-29.)提出了定位两个球像之间的公共自极三角形，从而得到圆环点的像，进而求得内参数。文献“Interpreting Sphere Images Using the Double-Contact Theorem”,(X Ying,H Zha,Springer Berlin Heidelberg,2006,3851(91):724-733.)介绍了双接触原理，利用双接触原理可以确定三个球像与绝对二次曲线的像的关系，使用这个关系建立了关于内参数的线性约束，通过此线性约束即可获得内参数。
发明内容
本发明提供了一种制作简单，适用广泛，稳定性好的用于求解针孔摄像机内参数的靶标，该靶标由空间中的三个球构成。在求解针孔摄像机内参数的过程中，需使用针孔摄像机拍摄靶标的1幅图像便可线性求解出针孔摄像机的5个内参数。
本发明采用如下技术方案：
用针孔摄像机从不同的位置拍摄1幅含有三个球的图像。本发明是利用空间中三个球作为靶标用于求解针孔摄像机内参数的方法。首先，分别从一幅图像中提取靶标图像边缘点，使用最小二乘法拟合获得三个球像方程。根据任意两个分离球像都有唯一的公共自极三角形，可以得到这两个球像的一组对应的极点与极线。同时这条极线是经过这个两个球的球心的像，故根据球像与绝对对偶二次曲线的像的关系可以得到绝对二次曲线的像与公共极点和极线的约束关系，从而求得绝对二次曲线的像，求解针孔摄像机内参数。具体的步骤包括：拟合靶标投影方程，获得公共的极点与极线，确定绝对二次曲线的像，求解针孔摄像机内参数。
1.拟合靶标投影方程
利用Matlab程序中的Edge函数提取靶标图像边缘点的像素坐标，并用最小二乘法拟合获得靶标投影方程。
2.得到公共极点与极线
空间中的球Q在针孔摄像机下的成像过程等价于过摄像机中心为顶点的射线锥与球Q表面相切的成像过程，其中与球Q相切形成圆C1，包含其所在的平面为π相截，即在像平面π′上的球像c1与投影圆C1所成的像是射影等价。若令以Oc为光心的摄像机的内参数矩阵为
Figure GDA0003042178980000031
其中rc是纵横比，fc是有效焦距，s是倾斜因子，[u0 v0 1]T是摄像机主点p的齐次坐标矩阵形式，其中rc,fc,u0,v0,s为摄像机的5个内参数。根据靶标图像边缘点的像素坐标，通过最小二乘法拟合得到相应的二次曲线方程。这里用cn(n＝1,2,3)分别表示图像中三个球像的系数矩阵。本文为了简化表述，用相同字母表示曲线和它的系数矩阵。
设任意两个分离的球像c1,c2，则c1，c2都有唯一的公共自极三角形，且极点是
Figure GDA0003042178980000032
的一个特征向量。则对应的极线可由关系式l1＝c1·x1确定，其中x1为极点，l1为极线。
3.确定绝对二次曲线的像
因为公共极线l1经过c1，c2的球心的像，则根据球像与绝对对偶二次曲线的像的代数关系可以得到绝对二次曲线的像与公共极线l1和极点x1的约束关系，从而得到绝对二次曲线的像ω。
4.求解针孔摄像机内参数
根据
Figure GDA0003042178980000033
对绝对二次曲线的像ω进行Cholesky分解再求逆便得到内参数矩阵Kc，即获得摄像机5个内参数。
本发明优点：
(1)该靶标制作简单，只需任意三个球。
(2)对该靶标的物理尺度没有要求，无需知道球心在世界坐标系下的坐标。
(3)该靶标的图像边界点几乎可以全部提取，提高曲线拟合的精确度，从而提高标定精度。
附图说明
图1是用于求解针孔摄像机内参数的靶标示意图。
图2是靶标在图像平面上的投影。
具体实施方式
本发明提供了一种用于求解针孔摄像机内参数的靶标，它是由空间中的球构成的，如图1。用此新型靶标完成针孔摄像机内参数的求解需要经过以下步骤：从图像中提取靶标图像边缘点，使用最小二乘法拟合获得球像方程。利用本发明中的方法对实验的针孔摄像机进行标定，具体步骤如下：
1.拟合靶标投影方程
利用Matlab程序中的Edge函数提取靶标图像边缘点的像素坐标，并用最小二乘法拟合获得靶标投影方程。
2.得到公共极点与极线
空间中的球Q(如图1)在针孔摄像机下的成像过程等价于过摄像机中心Oc为顶点的射线锥与球Q表面相切的成像过程，其中与球Q相切形成圆C1，即包含其所在的平面为π与球相截形成，并且在像平面π′上的球像c1与投影圆C1所成的像是射影等价。如图1所示，坐标轴zc与光轴o1O1重合，xc,yc轴分别与像平面π′上的水平和垂直的轴重合。用Matlab中的Edge函数提取图像中靶标图像的边缘点像素坐标，通过最小二乘法拟合得到相应的二次曲线方程，这里用cn(n＝1,2,3)分别表示拍摄获得的图像中三个球像的系数矩阵。
如图2，设l1和x1是球像c1，c2的公共极线与极点，l2和x2是球像c2，c3的公共极线与极点，l3和x3是球像c3，c1的公共极线与极点，oi为ci(i＝1,2,3)球心的像。则有
Figure GDA0003042178980000041
其中，“.”表示点积。由(1)式整理得
Figure GDA0003042178980000042
其中λ为比例因子，I为单位矩阵。从(2)式可知，公共极点x1是
Figure GDA0003042178980000043
得一个特征向量。根据(1)式可得极线l1。同理，可得l2，x2，l3，x3。
3.确定绝对二次曲线的像
因为球像与绝对对偶二次曲线的像之间的代数关系为
Figure GDA0003042178980000044
其中，βi(i＝1,2,3)为非零系数，
Figure GDA0003042178980000045
ω*＝ω-1。以球像c1，c2为例，因为极线l1经过c1，c2的球心的像，故(3)式可写为
Figure GDA0003042178980000046
又由(1)式知
Figure GDA0003042178980000047
则有
ω-1l1＝x1， (6)
即
l1＝ωx1。 (7)
同理，对球像c2，c3和球像c3，c1分别有
l2＝ωx2， (8)
l2＝ωx2。 (9)
联立(7)、(8)和(9)式可利用SVD分解解得ω。
4.求解针孔摄像机内参数
对
Figure GDA0003042178980000051
进行Cholesky分解得
Figure GDA0003042178980000052
再求逆便得到内参数矩阵Kc，即获得摄像机5个内参数。
实施例
本发明提出了一种利用空间的球作为靶标线性确定针孔摄像机内参数的方法。本发明采用的实验模板结构示意图如图2所示。下面以一实例对本发明的实施方案做出更为详细的描述。
基于空间中球的针孔摄像机标定采用的实验模板是空间中的球，如图1所示，球记为Q。利用本发明中的方法对用于实验的针孔摄像机进行标定，具体步骤如下：
1.拟合图像边界及靶标曲线方程
本发明采用的图像大小为1038×1048。用针孔摄像机拍摄靶标的1幅实验图像，读入图像，利用Matlab中的Edge函数提取靶标图像边缘点的像素坐标，并用最小二乘法拟合获得球像的方程。图像中的3个球像的方程的系数矩阵分别为cn(n＝1,2,3)，结果如下：
Figure GDA0003042178980000053
Figure GDA0003042178980000054
Figure GDA0003042178980000055
2.得到公共极点与极线
求
Figure GDA0003042178980000061
的特征值及特征向量，为了统一，取
Figure GDA0003042178980000062
的最大特征值对应的特征向量为x1，即：
x1＝[-738.537664218721 1417.7945491475091]T， (13)
则由(1)式可得
l1＝[-0.002301473306388 0.0020320655487581]T。 (14)
同理，对于球像c2,c3和c3,c1的极点与极线结果如下：
x2＝[300.692820323033 1417.7945491469021]T， (15)
l2＝[0.0000000000000000286 0.006553157973573401]T； (16)
x3＝[-739.3376642184912 57.79454914685561]T， (17)
l3＝[-0.001472690936802 -0.0002001567236751]T。 (18)
3.确定绝对二次曲线的像
将(13)和(14)、(15)和(16)、(17)和(18)分别带入(7)、(8)、(9)联立可得关于ω的线性方程组，将方程组SVD分解，可解得ω的系数矩阵，结果如下：
Figure GDA0003042178980000063
4.求解针孔摄像机内参数
根据
Figure GDA0003042178980000064
对(19)中的ω进行Cholesky分解再求逆便可获得Kc，结果如下：
Figure GDA0003042178980000065
其中纵横比rc＝Kc(1,1)/Kc(2,2)(Kc(1,1)表示矩阵Kc的第1行第1列的元素，Kc(2,2)表示矩阵Kc的第2行第2列的元素)，故针孔摄像机的5个内参数分别为：rc＝0.8823529411764601，fc＝679.9999999999833，s＝0.3999999999372，u0＝300.0000000001482，v0＝239.9999999999557。

Claims (1)

1.一种利用公共自极三角形标定针孔摄像机的方法，其特征在于由空间中的球作为靶标；利用空间中三个球作为靶标用于求解针孔摄像机内参数的方法；首先，从一幅图像中提取靶标图像边缘点，使用最小二乘法拟合获得三个球像方程；根据任意两个分离球像都有唯一的公共自极三角形，以得到这两个球像的一组对应的极点与极线；同时这条极线是经过这个两个球的球心的像，故根据球像与绝对对偶二次曲线的像的关系以得到绝对二次曲线的像与公共极点和极线的约束关系，从而求得绝对二次曲线的像，求解针孔摄像机内参数；具体的步骤包括：拟合靶标投影方程，获得公共的极点与极线，确定绝对二次曲线的像，求解针孔摄像机内参数；
(1)得到公共极点与极线
空间中的球Q在针孔摄像机下的成像过程等价于过摄像机中心为顶点的射线锥与球Q表面相切的成像过程，其中与球Q相切形成圆C1，包含其所在的平面为π相截，即在像平面π′上的球像c1与投影圆C1所成的像是射影等价；若令以Oc为光心的摄像机的内参数矩阵为
Figure FDA0003042178970000011
其中rc是纵横比，fc是有效焦距，s是倾斜因子，[u0 v0 1]T是摄像机主点p的齐次坐标矩阵形式，其中rc,fc,u0,v0,s为摄像机的5个内参数；根据靶标图像边缘点的像素坐标，通过最小二乘法拟合得到相应的二次曲线方程；这里用cn，其中n＝1,2,3，分别表示图像中三个球像的系数矩阵；为了简化表述，用相同字母表示曲线和它的系数矩阵；
设任意两个分离的球像c1,c2，则c1，c2都有唯一的公共自极三角形，且极点是
Figure FDA0003042178970000012
的一个特征向量；则对应的极线由关系式l1＝c1·x1确定，其中x1为极点，l1为极线；
(2)确定绝对二次曲线的像
因为公共极线l1经过c1，c2的球心的像，则根据球像与绝对对偶二次曲线的像的代数关系以得到绝对二次曲线的像与公共极线l1和极点x1的约束关系，从而得到绝对二次曲线的像ω。
CN201811024428.4A 2018-09-04 2018-09-04 利用公共自极三角形标定针孔摄像机的方法 Expired - Fee Related CN109215088B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811024428.4A CN109215088B (zh) 2018-09-04 2018-09-04 利用公共自极三角形标定针孔摄像机的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811024428.4A CN109215088B (zh) 2018-09-04 2018-09-04 利用公共自极三角形标定针孔摄像机的方法

Publications (2)

Publication Number Publication Date
CN109215088A CN109215088A (zh) 2019-01-15
CN109215088B true CN109215088B (zh) 2021-07-09

Family

ID=64986578

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811024428.4A Expired - Fee Related CN109215088B (zh) 2018-09-04 2018-09-04 利用公共自极三角形标定针孔摄像机的方法

Country Status (1)

Country Link
CN (1) CN109215088B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998005157A2 (en) * 1996-07-12 1998-02-05 Real-Time Geometry Corporation High accuracy calibration for 3d scanning and measuring systems
CN103106650A (zh) * 2011-11-14 2013-05-15 云南大学 利用三个两两不同心圆求解摄像机内参数
CN104835144A (zh) * 2015-04-09 2015-08-12 云南大学 利用一个球的球心的像及正交性求解摄像机内参数
CN107886546A (zh) * 2017-11-06 2018-04-06 云南大学 利用球像及公共自极三角形标定抛物折反射摄像机的方法
CN108022267A (zh) * 2016-10-31 2018-05-11 北京新长征天高智机科技有限公司 一种摄像机标定装置及标定方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998005157A2 (en) * 1996-07-12 1998-02-05 Real-Time Geometry Corporation High accuracy calibration for 3d scanning and measuring systems
CN103106650A (zh) * 2011-11-14 2013-05-15 云南大学 利用三个两两不同心圆求解摄像机内参数
CN104835144A (zh) * 2015-04-09 2015-08-12 云南大学 利用一个球的球心的像及正交性求解摄像机内参数
CN108022267A (zh) * 2016-10-31 2018-05-11 北京新长征天高智机科技有限公司 一种摄像机标定装置及标定方法
CN107886546A (zh) * 2017-11-06 2018-04-06 云南大学 利用球像及公共自极三角形标定抛物折反射摄像机的方法

Also Published As

Publication number Publication date
CN109215088A (zh) 2019-01-15

Similar Documents

Publication Publication Date Title
CN107886546B (zh) 利用球像及公共自极三角形标定抛物折反射摄像机的方法
CN109064516B (zh) 一种基于绝对二次曲线像的相机自标定方法
CN107657645B (zh) 利用直线及圆的共轭直径的性质标定拋物折反射摄像机
CN104574432B (zh) 一种自动多视角人脸自拍图像的三维人脸重建方法及系统
CN104217435A (zh) 两个相互遮挡的球线性确定拋物折反射摄像机内参数方法
CN106327504A (zh) 利用单个球及圆环点的像标定拋物折反射摄像机的方法
CN111080715B (zh) 三个球和无穷远点的极线性质标定摄像机内参数的方法
CN105279758A (zh) 使用双球的相切像与圆环点的像标定拋物折反射摄像机
CN108921904B (zh) 利用单个球及渐近线的性质标定针孔摄像机的方法
CN109360248A (zh) 利用单个球及共轭直径的性质标定拋物折反射摄像机
Mashita et al. Calibration method for misaligned catadioptric camera
CN105321181A (zh) 使用双球的相离像与圆环点的像标定拋物折反射摄像机
CN109325983A (zh) 利用无穷远点关于圆极线性质标定拋物折反射摄像机
Tao et al. A convenient and high-accuracy multicamera calibration method based on imperfect spherical objects
CN105303570A (zh) 使用双球的相交像及圆环点的像标定拋物折反射摄像机
CN109360247B (zh) 单个球的公共自极三角形及正交消失点标定抛物摄像机
CN109035342B (zh) 利用一条直线及圆环点极线标定拋物折反射摄像机的方法
CN107958468B (zh) 利用空间位置不同的三个球标定中心折反射摄像机的方法
CN109215088B (zh) 利用公共自极三角形标定针孔摄像机的方法
CN109191528B (zh) 利用球像与圆环点极线的性质标定针孔摄像机的方法
CN111429522B (zh) 利用共面圆的公共极点极线性质标定摄像机的方法和系统
CN109523598A (zh) 单个球的公共自极三角形及圆环点标定抛物摄像机的方法
CN109272558B (zh) 分离圆的公共自极三角形及圆环点标定针孔摄像机的方法
CN113345033B (zh) 一种中心折反射摄像机内参数标定方法及系统
CN105354839A (zh) 使用相切的双球像与正交消失点标定拋物折反射摄像机

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210709