CN110060307B - 利用球投影的对拓关系标定抛物折反射摄像机的方法 - Google Patents

利用球投影的对拓关系标定抛物折反射摄像机的方法 Download PDF

Info

Publication number
CN110060307B
CN110060307B CN201910322433.1A CN201910322433A CN110060307B CN 110060307 B CN110060307 B CN 110060307B CN 201910322433 A CN201910322433 A CN 201910322433A CN 110060307 B CN110060307 B CN 110060307B
Authority
CN
China
Prior art keywords
points
image
camera
circle
rubbing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201910322433.1A
Other languages
English (en)
Other versions
CN110060307A (zh
Inventor
赵越
王顺成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yunnan University YNU
Original Assignee
Yunnan University YNU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yunnan University YNU filed Critical Yunnan University YNU
Priority to CN201910322433.1A priority Critical patent/CN110060307B/zh
Publication of CN110060307A publication Critical patent/CN110060307A/zh
Application granted granted Critical
Publication of CN110060307B publication Critical patent/CN110060307B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及一种利用球投影的对拓关系标定抛物折反射摄像机的方法，该方法充分利用标靶在单位球模型下的投影性质，其包括步骤：分别从3幅图像中提取镜面轮廓投影的边缘点和靶标图像边缘点；根据像点与其对拓像点的关系获得对拓像点，且任意2对对拓点决定1个包含大圆的平面，由交比调和共轭性得到任意1对对拓点方向上的无穷远点，由此构造出无穷远直线；根据无穷远直线所在平面大圆上的2对对拓点计算出平行方向的无穷远点，通过交比调和共轭性和对拓关系计算出圆上另外2点，则利用这6点可以获得大圆方程；最后投影得到无穷远直线和大圆的像，从而得到圆环点的像。通过圆环点的像和摄像机内参数的关系求解得到摄像机参数。

Description

利用球投影的对拓关系标定抛物折反射摄像机的方法
技术领域
本发明属于计算机视觉领域，涉及一种利用球在单位球投影模型下的对拓性质标定抛物折反射摄像机的方法。
背景技术
人工智能在视觉领域的发展要求计算机有更精确的从2维图像中识别、处理、应用空间中的3维信息。摄像机系统的标定是计算机视觉研究中基础的一步。标定方法的准确性，直接决定计算机视觉系统中三维分层重构的精确性。计算机标定就是需要利用2维的图像信息获得对应的3维空间信息，如根据图像信息进行测量对应3维信息，得到空间中物体的形状、位置、大小、运动姿态等信息，对应的就需要对摄像机系统中的参数进行测量，这个测量的过程就称为摄像机的标定。摄像机标定结果的准确性直接决定测量得到3维空间中物体信息与真实值之间的误差，比如需要得到3维空间中3维点的坐标，需要用到摄像机系统的主点和焦距，标定得到的主点和焦距的准确性决定了得到3维点的准确性，决定后续3维重构和3维测量结果的准确性。所以，提出准确合理的摄像机标定方法具有实际应用价值。
中心折反射摄像机的成像模型应用最为普遍的是一般化的单位视球投影模型，这个模型由文献“Catadioptric Projective Geometry”，(Geyer C,Daniilidis K.,International Journal of Computer Vision,2001,45(3):223-243.)提出，并证明此模型把中心折反射系统成像过程等价为单位视球的两步投影。基于Geyer和Daniilidis提出的一般化投影模型，出现了许多关于中心折反射摄像机的标定方法，从标定类型上区分可以分为自标定和标定两类。另外，中心折反射摄像机系统下提出了许多基于标定标靶的标定方法：目前为止，除文献“Catadioptric self-calibration”，(Kang,S.B.,InProceedings of IEEE International Conference on Computer Vision and PatternRecognition,2000,1:201-207.)和文献“Epipolar geometry for central catadioptriccameras”，(Sobver T,Pajdla T.,International Journal of Computer Vision,2002,49(1):23–37.)提出的基于图像点之间的对应关系完成自标定的方法外，利用实体标定标靶提出中心折反射摄像机的标定方法可以分为三类。第一类为文献“A flexible techniquefor accurate omnidirectional camera calibration and structure from motion”，(Scaramuzza,D.,Martinelli,A.,Siegwart,R.,In Proceedings of IEEE InternationalConference on Computer Vision Systems,2006:45-45.)提出的基于控制点的标定方法，通过建立2维图像平面与3维空间之间的单应矩阵，代数的方法完成摄像机的标定；第二类为文献“Geometric properties of central catadioptric line images and theirapplication in calibration”，(Barreto J,Araujo H.,IEEE Transactions on PatternAnalysis and Machine Intelligence,2005,27(8):1327–1333.)提出的基于直线的标定方法，通过3条或5条直线的像在图像平面上的几何性质完成摄像机内参数以及镜面参数的求解；第三类为文献“Catadioptric camera calibration using geometricinvariants”，(Ying X,Hu Z.,IEEE Transactions on Pattern Analysis and MachineIntelligence,2004,26(10):1260–1271.)中首次提出球像与摄像机内参数和提供的约束个数之间的关系。
文献“A calibration method for paracatadioptric camera from sphereimages”，(Duan H,Wu Y.,Pattern Recognition Letters,2012,33(6):677–684.)利用空间球在一般化的单位视球模型下的成像性质完成标定，在此基础上文献“Cameracalibration from the quasi–affine invariance of two parallel circles”，(Wu Y,Zhu H,Hu Z,et al.,Proc of European Conference of Computer Vision,2004,3021:190–202.)中提出的空间球在单位视球模型上的平行对拓小圆得到图像平面上的对拓球像(可视球像与对拓球像)，利用对拓球像之间的关系完成标定。本文在此基础上，利用文献“高等几何”，(梅向明，刘增贤，北京：高等教育出版社，2008)中圆上交比的调和共轭性与对拓点知识，通过2对对拓点计算圆上另外对拓点，从而得到圆方程。再利用无穷远直线和圆之间的关系得到圆环点，由此获得3组圆环点的像，从而完成摄像机的标定。
发明内容
本发明提供了一种制作简单，普遍适用，稳定性好的空间球为标靶的标定抛物折反射摄像机的方法。该方法通过3副标靶图就可线性求解出摄像机的5个内参数.
本发明采用如下技术方案：
由抛物折反射摄像机从不同的角度拍摄得到3幅标靶图像。本发明是由空间中单个球作为标定标靶求解摄像机5个内参数的方法，其特征在于充分利用标靶在单位球模型下的投影性质：第一，分别从3幅图像中提取镜面轮廓投影的边缘点和靶标图像边缘点，使用最小二乘法拟合获得镜面轮廓投影和球像投影；第二，根据像点与其对拓像点的关系获得对拓像点，且任意2对对拓点决定1个包含大圆的平面，由交比调和共轭性得到任意1对对拓点方向上的无穷远点，由此构造出无穷远直线；第三，根据无穷远直线所在平面大圆上的2对对拓点计算出平行方向的无穷远点，通过交比调和共轭性和对拓关系计算出圆上另外2点，则利用这6点可以获得大圆方程；最后投影得到无穷远直线和大圆的像，从而得到圆环点的像。通过圆环点的像和摄像机内参数的关系求解得到摄像机参数。
1.获得镜面轮廓和球像方程
基于MATLAB平台，利用最小二乘法从Edge函数提取的镜面轮廓投影边缘点和靶标图像边缘点像素坐标拟合出镜面轮廓投影方程和球像方程。
2.获得消失线
单位球投影模型下，空间球Q在拋物折反射摄像机下的成像分为两步。第一步，球Q投影为单位视球上的平行小圆Sn+和Sn-(n＝1,2,3表示拍摄的第n幅图像)，其中一个可见(下标“+”表示)一个不可见(下标“-”表示)，M+和M-分别对应于平行小圆上的2个点，且为单位视球直径的2个端点。单位视球直径的两个端点为一对对拓点，则Sn+与Sn-为一对对拓平行小圆。第二步，通过单位视球表面的虚拟摄像机光心Oc把平行一对对拓小圆Sn+和Sn-投影到图像平面Π上，得到一对二次曲线Cn+和Cn-，其中称Cn-为可见二次曲线Cn+的对拓球像，图像平面Π与单位视球球心Ow所在直线OcOw垂直。设以Oc为光心的虚拟摄像机内参数矩阵为
Figure BDA0002035191140000031
其中fu，fv为摄像机在u轴和v轴方向上的尺度因子，摄像机主点坐标齐次坐标矩阵式p＝[u0 v0 1]T，s为u轴和v轴方向的倾斜因子(也称畸变因子)，fu,fv,u0,v0,s为标定过程中需要求解的摄像机的5个内参数。利用最小二乘法从Edge函数提取的镜面轮廓投影边缘点和靶标图像边缘点像素坐标拟合出镜面轮廓投影方程和球像方程。设C0为第1幅图像镜面轮廓投影曲线的系数矩阵，通过C0可获得摄像机内参数矩阵K的一个初始矩阵值K0，则由初始化内参数K0得到ω0。再利用方程
Figure BDA0002035191140000032
通过成像点
Figure BDA0002035191140000033
计算对拓像点
Figure BDA0002035191140000034
下标j表示拍摄的第j幅图像，上标n＝1,2,3表示第取的第n个像点，“+,-”分别表示可见与不可见。根据投影模型，在S+和S-上任取2对对拓点M1+,M1-和M2+,M2-，由对拓点的定义知道M1+,M1-,M2+,M2-为单位视球直径的端点，根据直线和平面的关系M1+,M1-,M2+,M2-四点决定唯一1个平面Π0，且这4点在圆心为Ow的大圆OI上。由交比调和共轭性得到M1+,M1-,M2+,M2-和圆心Ow的约束方程
Figure BDA0002035191140000035
其中M1∞和M2∞表示直径M1+M1-与M2+M2-方向上的无穷远点。则由M1∞和M2∞得到平面Π0上的1条无穷远直线L∞。根据单位球成像模型，平面Π0中的4点M1+,M1-,M2+,M2-投影到图像平面Π上得到对应4点m1+,m1-,m2+,m2-，由射影变换过程中结合不变性知道4点m1+,m1-,m2+,m2-在单位圆OI的像Om上，则4点m1+,m1-,m2+,m2-和大圆圆心Ow的像满足交比调和共轭，即满足约束方程(m1+m1-,pm1∞)＝-1，,(m2+m2-,pm2∞)＝-1，p为大圆圆心Ow的像，由此可以得到无穷远点M1∞和M2∞的像m1∞和m2∞，称为消失点。根据消失点可以得到无穷远直线L∞的像l∞，称为消失线。为了简化描述，相同的字母即表示几何元素，也表示它所对应的系数矩阵。
3.获得大圆OI的像Om
由二次曲线的定义知道，至少需要5个点才能确定Om的方程，即图像平面Π上需要5个点才能得到Om的方程。若小圆S+上存在2个点M1+和M2+，则在对拓小圆S-上分别存在对应的2个对拓点M1-和M2-，且M1+,M1-,M2+,M2-在大圆OI上。根据对拓点定义知道M1+,M2+方向与M1-,M2-方向平行，则可以确定出平行方向上的无穷远点M3∞。在平面Π0上，连接M3∞与大圆OI的圆心Ow构成直线LM，则直线LM与单位圆OI相交于2个点，记相交的点为M3+与M3-，根据对拓点定义知道M3+与M3-为1对对拓点。对应得到M3+,M3-,M3∞在图像平面Π上的像m3∞,m3+,m3-。则m3∞,m3+,m3-,p四点满足交比调和共轭性，即满足约束方程(m3+m3-,pm3∞)＝-1。另一方面，m3+与m3-为1对对拓像点，则满足方程
Figure BDA0002035191140000041
根据Om上的6个点mj+与mj-(j＝1,2,3)得到Om的方程。最后，联立消失线l∞与像平面Π上Om得到1对圆环点的像mI和mJ，由圆环点和摄像机内参数之间的关系，3对圆环点的像即可完成摄像机内参数的求解。
4.求解抛物折反射摄像机内参数
消失线l∞和大圆的像Om相交得到1对圆环点，即得到1对共轭虚点。根据圆环点I,J的像mI,mJ和绝对二次曲线的像ω之间的约束关系
Figure BDA0002035191140000042
得到ω,其中Re与Im分别表示复数的实部和虚部，
Figure BDA0002035191140000043
表示第n幅图像对应得到的圆环点的像。最后，对ω进行Cholesky分解得到摄像机内参数相关矩阵K-1，对K-1求逆即得到摄像机内参数K。
本发明优点：
(1)该靶标制作简单，只需1个球即可。
(2)该靶标不需要考虑球的物理尺度和位置信息。
(3)该靶标自身无遮挡的几何性质使得标定过程中有丰富完整的轮廓点源。
附图说明
图1是用于求解中心折反射摄像机内参数的靶标示意图。
图2是靶标在单位视球上的投影。
图3是标靶在抛物折反射系统平面上的投影。
具体实施方式
本发明提供了一种用于求解抛物折反射摄像机内参数的方法，它是由空间中的1个球构成，如图1。用此靶标完成抛物折反射摄像机的标定需要经过以下步骤：第一，分别从3幅图像中提取镜面轮廓投影的边缘点和靶标图像边缘点，使用最小二乘法拟合获得镜面轮廓投影和球像投影；第二，由像点和其对拓像点的关系获得对拓像点，且任意2对对拓点决定1个包含大圆的平面，由交比调和共轭性得到任意1对对拓点方向上的无穷远点，由此构造出无穷远直线；第三，根据得到无穷远直线所在平面大圆上的2对对拓点计算出平行方向的无穷远点，通过交比调和共轭性和对拓关系计算出圆上另外2点，那么6点得到大圆方程；最后投影得到无穷远直线与大圆的像，从而得到圆环点的像。通过圆环点的像和摄像机内参数的关系求解得到摄像机参数。具体操作步骤如下：
1.获得镜面轮廓和球像方程
利用最小二乘法从MATLAB中的Edge函数提取的镜面轮廓投影边缘点和靶标图像边缘点像素坐标拟合出镜面轮廓投影方程和球像方程。
2.获得消失线
如图1所示，图中二次曲线的下标n省略，单位球投影模型下的空间球Q在拋物折反射摄像机下的成像分为两步。第一步，球Q投影为单位视球上的平行小圆Sn+和Sn-(n＝1,2,3表示拍摄的第n幅图像)，其中，投影中心为单位视球球心Ow，以单位视球球心Ow建立世界坐标系Ow-xwywzw，M+和M-分别对应于平行小圆上的2个点，且为单位视球直径的2个端点，单位视球直径的两个端点为对拓点，则Sn+与Sn-为1对对拓平行小圆。第二步，通过单位视球表面的虚拟摄像机光心Oc把平行一对对拓小圆Sn+和Sn-投影到图像平面Π上，其中以Oc为原点建立虚拟摄像机坐标系Oc-xcyczc，xc,yc轴分别与xw,yw平行，zc轴和zw重合垂直于像平面Π，并相交于主点p。得到二次曲线Cn+和Cn-，其中称Cn-为可见二次曲线Cn+的对拓球像，图像平面Π与单位视球球心Ow所在直线OcOw垂直。设以Oc为光心的虚拟摄像机内参数矩阵为
Figure BDA0002035191140000051
其中fu，fv为摄像机在u轴和v轴方向上的尺度因子，摄像机主点齐次坐标矩阵式p＝[u0 v0 1]T，s为u轴和v轴方向的倾斜因子(畸变因子)，fu,fv,u0,v0,s为标定过程中需要求解的5个内参数。利用最小二乘法从Edge函数提取的镜面轮廓投影边缘点和靶标图像边缘点像素坐标拟合出镜面轮廓投影方程和球像方程。设C0为第1幅图像镜面轮廓投影曲线的系数矩阵，其参数表示为：
Figure BDA0002035191140000061
则通过C0可获得摄像机内参数矩阵K的一个初始矩阵值K0，计算方法如下
Figure BDA0002035191140000062
从而得到绝对二次曲线的像ω的初始值ω0，由得到的初始值K0，可以得到绝对二次曲线的像的初始值
Figure BDA0002035191140000063
若对拓球像Cn+和Cn-上的点分别为
Figure BDA0002035191140000064
和
Figure BDA0002035191140000065
其中n＝1,2,3，j＝1,2,…N(N≥3)表示第j幅图像，则由初始化内参数K0得到ω0，在此基础上，通过成像点
Figure BDA0002035191140000066
计算对拓像点
Figure BDA0002035191140000067
约束方程如下：
Figure BDA0002035191140000068
如图2所示，在S+和S-上任取2对对拓点M1±和M2±，“±”为“+”和“-”的缩写。由对拓点的定义知道M1+,M1-,M2+,M2-为单位视球直径的端点，根据直线和平面的关系M1+,M1-,M2+,M2-四点决定唯一1个平面Π0，且这4点在圆心为Ow的大圆OI上。根据交比调和共轭性构造关于M1+,M1-,M2+,M2-和圆心Ow的约束方程：
Figure BDA0002035191140000069
其中M1∞和M2∞分别表示直径M1+M1-方向和直径M2+M2-方向上的无穷远点。则由M1∞和M2∞得到平面Π0上的1条无穷远直线L∞。如图3所示，图2中平面Π0上的4点M1+,M1-,M2+,M2-投影到图像平面Π上得到对应4点m1+,m1-,m2+,m2-，由射影变换过程中结合不变性知道4点m1+,m1-,m2+,m2-在单位圆OI的像Om上，则4点m1+,m1-,m2+,m2-和大圆心Ow的像p满足交比调和共轭，即满足约束方程：
Figure BDA0002035191140000071
其中p为大圆圆心Ow的像，计算方法如下：
p＝(m1-×m1+)×(m2-×m2+)， (7)
其中×表示点与点的连接或者线与线的相交，由此可以得到无穷远点M1∞和M2∞的像m1∞和m2∞，称为消失点。根据消失点可以得到无穷远直线L∞的像l∞，称为消失线：
l∞＝m1∞×m2∞。 (8)
3.获得大圆OI的像Om
由二次曲线的定义知道，至少需要5个点才能确定Om的方程，即图像平面Π上需要5个点才能得到Om的方程。如图2所示，若小圆S+上存在2个点M1+和M2+，则对拓小圆S-上存在对应的2个对拓点M1-和M2-，且M1+,M1-,M2+,M2-在大圆OI上，由对拓点定义知道M1+,M2+方向与M1-,M2-方向平行，则可以确定出平行方向上的无穷远点M3∞。在平面Π0上，连接M3∞与大圆OI的圆心Ow构成直线LM，则直线LM与单位圆OI相交于2个点，记相交的点为M3+与M3-，根据对拓点定义知道M3+与M3-为1对对拓点。如图3所示，对应得到M3+,M3-,M3∞在图像平面Π上的像m3+,m3-,m3∞，则m3∞,m3+,m3-,p四点满足交比调和共轭性，即满足约束方程：
(m3+m3-,pm3∞)＝-1。 (9)
另一方面，m3+与m3-为1对对拓像点，则满足方程：
Figure BDA0002035191140000072
根据方程(9)和方程(10)计算出Om上另外2点m3+,m3-，利用m1+,m1-,m2+,m2-,m3+,m3-在Om上即可得到Om的方程，记Om方程参数的系数矩阵为C：
Figure BDA0002035191140000073
最后联立消失线l∞与C得到1对圆环点的像mI和mJ，设圆环点的像素齐次坐标矩阵为[u v 1]T，则通过下列式子计算出对应值：
Figure BDA0002035191140000081
由圆环点和摄像机内参数之间的关系知道，3对圆环点的像即可完成摄像机内参数的求解。
4.求解抛物折反射摄像机内参数
联立消失线l∞和大圆的像Om的系数矩阵C得到1对圆环点，即得到1对共轭虚点。根据圆环点I,J的像mI,mJ和绝对二次曲线的像ω之间的约束关系：
Figure BDA0002035191140000082
得到ω，其中Re与Im分别表示复数的实部和虚部，mnI,mnJ(n＝1,2,3)表示第n幅图像对应得到的圆环点的像。最后，根据ω和摄像机内参数的关系：
ω＝K-TK-1， (14)
通过对ω进行Cholesky分解得到摄像机内参数相关矩阵K-1，对K-1求逆得到摄像机内参数K。
实施例
本发明提出了一种利用空间球为靶标标定抛物折反射摄像机的方法。本发明采用的实验模板结构示意图如图1所示。下面以1实例对本发明的实施方案做出更为详细的描述。
基于空间中球的抛物折反射摄像机标定采用的实验模板是空间中的1个球，如图1所示。利用本发明中的方法对用于实验的抛物折反射摄像机进行标定，具体步骤如下：
1、拟合镜面轮廓和球像方程
本实例中所用图像大小为1063×1033。通过抛物折反射摄像机系统拍摄5幅靶标图像，利用MATLAB a2016对靶标图像进行Canny算子边缘检测和二值化处理，通过最小二乘法拟合镜面轮廓方程和空间球的像的方程。其中，镜面轮廓为图像的边界，用于初始化摄像机内参数，1幅图像的边界可以完成摄像机内参数的估计。记镜面轮廓投影方程的系数矩阵为C0，球像方程的系数矩阵为Cn+(n＝1,2,3)，具体数值如下：
Figure BDA0002035191140000083
Figure BDA0002035191140000091
Figure BDA0002035191140000092
Figure BDA0002035191140000093
2.获得消失线
把(15)式代入(2)得到内参数的初始值K0，参数矩阵值如下：
Figure BDA0002035191140000094
将(19)代入(3)式可以得到绝对二次曲线初始值ω0，矩阵结果如下：
Figure BDA0002035191140000095
在C1+上取2个点
Figure BDA0002035191140000096
在C2+上取2个点
Figure BDA0002035191140000097
在C3+上取2个点
Figure BDA0002035191140000098
矩阵结果如下：
Figure BDA0002035191140000099
Figure BDA00020351911400000910
Figure BDA00020351911400000911
根据(19)式中得到摄像机主点的初始值p0，齐次坐标矩阵参数结果如下：
Figure BDA0002035191140000101
把(20)式、(21)式和(24)式代入(4)式得到C1+上2个点
Figure BDA0002035191140000102
对应的对拓点
Figure BDA0002035191140000103
同理，把(20)式、(22)式和(24)式代入(4)式得到C2+上2个点
Figure BDA0002035191140000104
对应的对拓点
Figure BDA0002035191140000105
把(20)式、(23)式和(24)式代入(4)式得到C3+上2个点
Figure BDA0002035191140000106
对应的对拓点
Figure BDA0002035191140000107
得到的对拓点矩阵结果如下：
Figure BDA0002035191140000108
Figure BDA0002035191140000109
Figure BDA00020351911400001010
根据(7)式知道，球像上的点和对拓点可以计算出对应的点p，所以把(21)式和(25)式代入(7)式得到第1幅图像中的p，记为p1。同理可以得到另外2幅图像中的p2和p3，矩阵结果如下：
Figure BDA00020351911400001011
把p1和(21)式、(25)式代入(6)式可以得到对应的消失点
Figure BDA00020351911400001012
同理可以得到
Figure BDA00020351911400001013
和
Figure BDA00020351911400001014
矩阵结果如下：
Figure BDA00020351911400001015
Figure BDA00020351911400001016
Figure BDA0002035191140000111
把
Figure BDA0002035191140000112
和
Figure BDA0002035191140000113
的结果分别代入(8)式可以得到对应的消失线
Figure BDA0002035191140000114
和
Figure BDA0002035191140000115
矩阵结果如下：
Figure BDA0002035191140000116
3.获得大圆OI的像Om
由对拓关系知道点
Figure BDA0002035191140000117
所在直线方向和
Figure BDA0002035191140000118
所在直线方向平行，由此得到平行方向上的消失点，记为
Figure BDA0002035191140000119
同理得到
Figure BDA00020351911400001110
和
Figure BDA00020351911400001111
方向的消失点
Figure BDA00020351911400001112
和
Figure BDA00020351911400001113
方向的消失点
Figure BDA00020351911400001114
矩阵结果如下：
Figure BDA00020351911400001115
把(20)式、(28)式p1和(33)式
Figure BDA00020351911400001116
代入方程(9)和方程(10)，联立(9)式和(10)式得到1对对拓点
Figure BDA00020351911400001117
同理通过p2和
Figure BDA00020351911400001118
的结果和p3和
Figure BDA00020351911400001119
的结果可以得到另外2对对拓点
Figure BDA00020351911400001120
和
Figure BDA00020351911400001121
矩阵结果如下：
Figure BDA00020351911400001122
Figure BDA00020351911400001123
Figure BDA00020351911400001124
通过(21)式、(25)式、(34)式中的
Figure BDA00020351911400001125
六点，得到1幅图像中大圆Om的方程，系数矩阵为C1。同理，通过(22)式、(26)式、(35)式中
Figure BDA00020351911400001126
六点和通过(23)式、(27)式、(36)式中
Figure BDA0002035191140000121
六点可以得到另外2幅图像中大圆Om的系数矩阵C2和C3，所得结果矩阵如下：
Figure BDA0002035191140000122
Figure BDA0002035191140000123
Figure BDA0002035191140000124
4.求解抛物折反射摄像机内参数
把(32)式中的
Figure BDA0002035191140000125
和(37)式代入(12)式获得第1幅图像上圆环点的像m1I和m1J。同理，
Figure BDA0002035191140000126
和(38)式代入(12)式得到第2幅图像中圆环点的像m2I和m2J，
Figure BDA0002035191140000127
和(39)式代入(12)式得到第3幅图像中圆环点的像m2I和m2J(其中i表示复数)，所得圆环点像的矩阵结果如下所示：
Figure BDA0002035191140000128
Figure BDA0002035191140000129
Figure BDA00020351911400001210
Figure BDA00020351911400001211
Figure BDA00020351911400001212
Figure BDA0002035191140000131
将(40)式，(42)式和(44)式代入(13)式中，得到关于绝对二次曲线的像ω元素的约束方程组，通过最小二乘法计算得到绝对二次曲线ω的系数矩阵，结果如下：
Figure BDA0002035191140000132
最后，对ω进行Cholesky分解，然后求逆可获得摄像机内参数矩阵K，结果如下：
Figure BDA0002035191140000133
由(47)式中可以得到摄像机5个内参数的值：为摄像机在u轴和v轴方向上的尺度因子fu＝600.1617222340176，fv＝550.0942661872078，u轴和v轴方向的倾斜因子(畸变因子)s＝1.132831155571257，摄像机主点u0＝450.2993743492787，v＝350.2564180102125。

Claims (1)

1.一种利用球投影的对拓关系标定抛物折反射摄像机的方法，其特征在于用空间中单个球作为求解摄像机5个内参数的标定标靶；所述方法包括步骤：第一，分别从3幅图像中提取镜面轮廓投影的边缘点和靶标图像边缘点，使用最小二乘法拟合获得镜面轮廓投影和球像投影；第二，根据像点与其对拓像点的关系获得对拓像点，且任意2对对拓点决定1个包含大圆的平面，由交比调和共轭性得到任意1对对拓点方向上的无穷远点，由此构造出无穷远直线；第三，根据无穷远直线所在平面大圆上的2对对拓点计算出平行方向的无穷远点，通过交比调和共轭性和对拓关系计算出圆上另外2点，则利用这6点以获得大圆方程；最后投影得到无穷远直线和大圆的像，从而得到圆环点的像；通过圆环点的像和摄像机内参数的关系求解得到摄像机参数；
(1)获得消失线
单位球投影模型下，空间球Q在抛物折反射摄像机下的成像分为两步；第一步，球Q投影为单位视球上的平行小圆Sn+和Sn-，n＝1,2,3表示拍摄的第n幅图像，其中一个见到，下标“+”表示；一个见不到，下标“-”表示；M+和M-分别对应于平行小圆上的2个点，且为单位视球直径的2个端点；单位视球直径的两个端点为一对对拓点，则Sn+与Sn-为一对对拓平行小圆；第二步，通过单位视球表面的虚拟摄像机光心Oc把一对对拓平行小圆Sn+和Sn-投影到图像平面П上，得到一对二次曲线Cn+和Cn-，其中称Cn-为见到二次曲线Cn+的对拓球像，图像平面П与单位视球球心Ow所在直线OcOw垂直；设以Oc为光心的虚拟摄像机内参数矩阵为
Figure FDA0003545377450000011
其中fu,fv为摄像机在u轴和v轴方向上的尺度因子，摄像机主点坐标齐次坐标矩阵式p＝[u0 v0 1]T，s为u轴和v轴方向的倾斜因子也称畸变因子，fu,fv,u0,v0,s为标定过程中需要求解的摄像机的5个内参数；利用最小二乘法从Edge函数提取的镜面轮廓投影边缘点和靶标图像边缘点像素坐标拟合出镜面轮廓投影方程和球像方程；设C0为第1幅图像镜面轮廓投影曲线的系数矩阵，通过C0获得摄像机内参数矩阵K的一个初始矩阵值K0，则由初始化内参数K0得到ω0；再利用方程
Figure FDA0003545377450000012
其中p0为摄像机主点的初始值，通过成像点
Figure FDA0003545377450000013
计算对拓像点
Figure FDA0003545377450000014
下标j表示拍摄的第j幅图像，上标n＝1,2,3表示取的第n个像点，“+,-”分别表示见到与见不到；根据投影模型，在Sn+和Sn-上任取2对对拓点M1+,M1-和M2+,M2-，由对拓点的定义知道M1+,M1-,M2+,M2-为单位视球直径的端点，根据直线和平面的关系M1+,M1-,M2+,M2-四点决定唯一1个平面Π0，且这4点在圆心为Ow的大圆O1上；由交比调和共轭性得到M1+,M1-,M2+,M2-和圆心Ow的约束方程
Figure FDA0003545377450000021
其中M1∞和M2∞表示直径M1+,M1-与M2+,M2-方向上的无穷远点；则由M1∞和M2∞得到平面Π0上的1条无穷远直线L∞；根据单位球成像模型，平面Π0中的4点M1+,M1-,M2+,M2-投影到图像平面Π上得到对应4点m1+,m1-,m2+,m2-，由射影变换过程中结合不变性知道4点m1+,m1-,m2+,m2-在单位圆O1的像Om上，则4点m1+,m1-,m2+,m2-和大圆圆心Ow的像满足交比调和共轭，即满足约束方程(m1+m1-,pm1∞)＝-1，(m2+m2-,pm2∞)＝-1，p为大圆圆心Ow的像，由此以得到无穷远点M1∞和M2∞的像m1∞和m2∞，称为消失点；根据消失点以得到无穷远直线L∞的l∞，称为消失线；为了简化描述，相同的字母即表示几何元素，也表示它所对应的系数矩阵；
(2)获得大圆O1的像Om
由二次曲线的定义知道，至少需要5个点才能确定Om的方程，即图像平面l∞上需要5个点才能得到Om的方程；若小圆S+上存在2个点M1+和M2+，则在对拓小圆S-上分别存在对应的2个对拓点M1-和M2-，且M1+,M1-,M2+,M2-在大圆O1上；根据对拓点定义知道M1+,M2+方向与M1-,M2-方向平行，则以确定出平行方向上的无穷远点M3∞；在平面Π0上，连接M3∞与大圆LM的圆心Ow构成直线LM，则直线LM与单位圆LM相交于2个点，记相交的点为M3+与M3-，根据对拓点定义知道M3+与M3-为1对对拓点；对应得到M3+,M3-,M3∞在图像平面Π上的像m3∞,m3+,m3-；则m3∞,m3+,m3-,p四点满足交比调和共轭性，即满足约束方程(m3+m3-,pm3∞)＝-1；另一方面，m3+与m3-为1对对拓像点，则满足方程
Figure FDA0003545377450000022
根据Om上的6个点mj+与mj-，其中j＝1,2,3，得到Om的方程；最后，联立消失线l∞与像平面l∞上Om得到1对圆环点的像mI和mJ，由圆环点和摄像机内参数之间的关系，3对圆环点的像即完成摄像机内参数的求解。
CN201910322433.1A 2019-04-22 2019-04-22 利用球投影的对拓关系标定抛物折反射摄像机的方法 Expired - Fee Related CN110060307B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910322433.1A CN110060307B (zh) 2019-04-22 2019-04-22 利用球投影的对拓关系标定抛物折反射摄像机的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910322433.1A CN110060307B (zh) 2019-04-22 2019-04-22 利用球投影的对拓关系标定抛物折反射摄像机的方法

Publications (2)

Publication Number Publication Date
CN110060307A CN110060307A (zh) 2019-07-26
CN110060307B true CN110060307B (zh) 2022-04-29

Family

ID=67319861

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910322433.1A Expired - Fee Related CN110060307B (zh) 2019-04-22 2019-04-22 利用球投影的对拓关系标定抛物折反射摄像机的方法

Country Status (1)

Country Link
CN (1) CN110060307B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106327504A (zh) * 2016-09-22 2017-01-11 云南大学 利用单个球及圆环点的像标定拋物折反射摄像机的方法
CN106651956A (zh) * 2016-09-22 2017-05-10 云南大学 利用单个球及平行圆性质标定拋物折反射摄像机的方法
CN107644445A (zh) * 2017-10-09 2018-01-30 云南大学 利用单个球及圆切线的性质标定拋物折反射摄像机的方法
CN109325983A (zh) * 2018-10-18 2019-02-12 云南大学 利用无穷远点关于圆极线性质标定拋物折反射摄像机
CN109325982A (zh) * 2018-10-18 2019-02-12 云南大学 利用单个球及平行圆切线性质标定拋物折反射摄像机
CN109360248A (zh) * 2018-12-05 2019-02-19 云南大学 利用单个球及共轭直径的性质标定拋物折反射摄像机

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106327504A (zh) * 2016-09-22 2017-01-11 云南大学 利用单个球及圆环点的像标定拋物折反射摄像机的方法
CN106651956A (zh) * 2016-09-22 2017-05-10 云南大学 利用单个球及平行圆性质标定拋物折反射摄像机的方法
CN107644445A (zh) * 2017-10-09 2018-01-30 云南大学 利用单个球及圆切线的性质标定拋物折反射摄像机的方法
CN109325983A (zh) * 2018-10-18 2019-02-12 云南大学 利用无穷远点关于圆极线性质标定拋物折反射摄像机
CN109325982A (zh) * 2018-10-18 2019-02-12 云南大学 利用单个球及平行圆切线性质标定拋物折反射摄像机
CN109360248A (zh) * 2018-12-05 2019-02-19 云南大学 利用单个球及共轭直径的性质标定拋物折反射摄像机

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
calibration method for paracatadioptric camera from sphere images;Huixian Duan等;《Pattern Recognition Letters》;20111229;第677-684页 *
Camera Calibration Based on the Common Self-p olar Triangle of Sphere Images;Haifei Huang等;《Springer》;20151231;第19-29页 *
Camera Calibration from the Quasi-affine Invariance of Two Parallel Circles;Yihong Wu等;《ResearchGate》;20040531;第1-13页 *
Catadioptric Camera Calibration Using Geometric Invariants;Xianghua Ying等;《IEEE Transactions on Pattern Analysis and Machine Intelligence 》;20141130;第1-8页 *
Catadioptric Projective Geometry;CHRISTOPHER GEYER等;《International Journal of Computer Vision》;20011231;第45卷(第3期);第223-243页 *
catadioptric self-Calibration;Sing Bing Kang;《Proceedings of IEEE International Conference on Computer Vision and Pattern Recognition》;20001231;第1-7页 *
Geometric Properties of Central Catadioptric Line Images and Their Application in Calibration;Joao P.Barreto等;《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》;20050831;第27卷(第8期);第1327-1333页 *

Also Published As

Publication number Publication date
CN110060307A (zh) 2019-07-26

Similar Documents

Publication Publication Date Title
CN106780619B (zh) 一种基于Kinect深度相机的人体尺寸测量方法
CN107886546B (zh) 利用球像及公共自极三角形标定抛物折反射摄像机的方法
Liu et al. Estimation of rigid body motion using straight line correspondences
Ying et al. Geometric interpretations of the relation between the image of the absolute conic and sphere images
CN103106661A (zh) 空间二条相交直线线性求解抛物折反射摄像机内参数
Zhao et al. Camera calibration with three noncollinear points under special motions
CN108036791A (zh) 一种部件间高精度自动对接的位姿检测方法
CN109360248A (zh) 利用单个球及共轭直径的性质标定拋物折反射摄像机
CN113393524A (zh) 一种结合深度学习和轮廓点云重建的目标位姿估计方法
CN109325983A (zh) 利用无穷远点关于圆极线性质标定拋物折反射摄像机
Kannala et al. Measuring and modelling sewer pipes from video
Lawton Motion analysis via local translational processing
CN106600651B (zh) 一种成像系统的建模方法
CN110148183B (zh) 利用球及极点极线标定摄像机的方法、存储介质和系统
CN110060307B (zh) 利用球投影的对拓关系标定抛物折反射摄像机的方法
Al‐Kofahi et al. Algorithms for accurate 3D registration of neuronal images acquired by confocal scanning laser microscopy
CN109360247B (zh) 单个球的公共自极三角形及正交消失点标定抛物摄像机
CN109035342B (zh) 利用一条直线及圆环点极线标定拋物折反射摄像机的方法
CN107958468B (zh) 利用空间位置不同的三个球标定中心折反射摄像机的方法
CN113345033B (zh) 一种中心折反射摄像机内参数标定方法及系统
CN107993267A (zh) 利用空间直线对抛物折反射摄像机进行标定的方法
CN109934879B (zh) 利用球和公共自极三角形标定抛物折反射摄像机的方法
CN109272558B (zh) 分离圆的公共自极三角形及圆环点标定针孔摄像机的方法
CN114136335A (zh) 一种基于无人机倾斜摄影测量的空中三角形精度分析方法
CN109191528B (zh) 利用球像与圆环点极线的性质标定针孔摄像机的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220429