CN110148183A - 利用球及极点极线标定摄像机的方法、存储介质和系统 - Google Patents
利用球及极点极线标定摄像机的方法、存储介质和系统 Download PDFInfo
- Publication number
- CN110148183A CN110148183A CN201910378225.3A CN201910378225A CN110148183A CN 110148183 A CN110148183 A CN 110148183A CN 201910378225 A CN201910378225 A CN 201910378225A CN 110148183 A CN110148183 A CN 110148183A
- Authority
- CN
- China
- Prior art keywords
- ball
- point
- picture
- video camera
- polar curve
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 230000003287 optical effect Effects 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000003384 imaging method Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 2
- 239000011159 matrix material Substances 0.000 description 28
- 230000021615 conjugation Effects 0.000 description 8
- 230000009466 transformation Effects 0.000 description 5
- 238000000354 decomposition reaction Methods 0.000 description 3
- 230000008034 disappearance Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 229910017435 S2 In Inorganic materials 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 241000566113 Branta sandvicensis Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
- G06T3/047—Fisheye or wide-angle transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Computational Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Pure & Applied Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种利用球及极点极线标定摄像机的方法、存储介质和系统。方法包括拟合镜面轮廓投影方程和球像方程的步骤、计算球像的对拓球像方程的步骤、一组极点极线关系的获取的步骤和求解抛物折反射摄像机内参数的步骤。存储介质存储有运行后执行标定方法的程序。系统包括一抛物折反射摄像机和一运算器，该运算器包括上述存储介质。本发明可通过简单的布置，即可线性求取摄像机的内参数，过程简单，计算效率高，鲁棒性好，具备较强通用性。
Description
技术领域
本发明涉及计算机视觉领域，尤其是一种利用空间中一个球及关于绝对二次曲线的像的极点极线关系求解抛物折反射摄像机内参数的方法。
背景技术
计算机视觉是通过计算机及相关设备代替人眼对目标进行识别、跟踪和测量，然后进行图像处理后，传送给仪器检测或人眼观察。计算机觉的主要任务就是通过对采集的图像进行处理以获得相应场景的三维信息，而摄像机标定是实现图像处理的一个重要步骤。摄像机标定是计算机领域中三维标定物与它的二维图像之间的一个映射过程，也是由二维图像恢复得到对应的三维信息的一个反投影过程。
随着计算机视觉技术在各个领域中的大量应用，传统摄像机的可视范围小，满足不了计算视觉技术的要求，从而有了折反射摄像机的诞生。文献“A theory of single-viewpoint catadioptric image formation”(Baker S.,Nayar S.K.,InternationalJournal of Computer Vision,1999,35(2):175-196.)根据折反射摄像机是否有固定的单视点将折反射摄像机分为两类：中心折反射摄像机和非中心折反射摄像机。
文献“Stereo with mirrors”(Sameer A.,Nene and Shree K.,ComputerVision1998.)将中心折反射摄像机的反射镜面分成四类：抛物面镜、平面镜、双曲面镜和椭圆面镜。
文献“Geometric properties of central catadioptric line imagesandtheir application in calibration”,(Barreto J.P.,Araujo H.,IEEETransactions on Pattern Analysis and Machine Intelligence,27(8),2005,1327-1333.)研究了中心折反射摄像机下直线的像的几何性质，并将这些性质应用于中心折反射摄像机的标定。
文献“Catadioptric camera calibration using geometric invariants”(YingX.,Hu Z.,IEEE Transactions on Pattern Analysis and Machine Intelligence,2004,26(10):1260-1271.)分析了在中心折反射摄像机下，球像轮廓与摄像机内参数的关系，证明了空间球在中心折反射摄像机下投影为一条二次曲线，还证明了在非退化的情况下一个球像可提供两个约束，即三个球可完成标定。但是该方法是非线性的，对标定过程中内参数初始值的精确度要求很高。
文献“Intrinsic parameter determination of a para-catadioptric cameraby the intersection of two sphere projections”(Zhao Y.,Wang Y.,Journal of theOptical Society of America A,2015,32(11):2201–2209.)首次利用两个相交的球作为抛物折反射摄像机的标定物，两个球相交于四个交点。根据对拓像点的性质，由这四个交点形成一个矩形，根据仿射不变性，可得一组正交消失点，从而线性标定摄像机内参数。但是这两个球相交的部分被遮挡，因此球不能完全被提取而影响标定算法的精确度。
发明内容
本发明的发明目的在于：针对上述存在的问题，提供一种利用空间球来求解抛物折反射摄像机内参数的方法。以通过简单设置，高精度地求取折反射摄像机内参数。
本发明采用的技术方案如下：
一种利用球及极点极线关系标定抛物折反射摄像机的方法，其包括以下步骤：
A.对于抛物折反射摄像机采集的至少3幅图像进行如下处理：提取第一幅图像的镜面轮廓投影边缘点和每一幅图像的球像图像边缘点的像素坐标，基于提取的数据，计算出对应的镜面轮廓投影方程和球像方程；所述球像为：根据单位球成像模型，空间球在单位视球上投影形成小圆，小圆在摄像机光心作用下，于像平面上的投影即为该小圆的球像；
B.对于每一幅图像，基于其球像方程，计算出对应的对拓球像方程；
C.对于每一幅图像，基于其球像方程和对应的对拓球像方程，计算出旋转轴和消失点；
D.基于所有图像的旋转轴和消失点，根据极点极线间的约束关系，计算出绝对二次曲线的像，再根据该绝对二次曲线的像，计算出抛物折反射摄像机的内参数。
进一步的，上述步骤B具体为：
对于每一幅图像，在其球像方程上，取一组点位，该组点位含若干点，计算该组点位的一组对拓像点，再根据该对拓像点组，计算出对应的对拓球像方程。
进一步的，上述一组点位中，至少包含5个点位。
进一步的，上述步骤C中，消失点的计算方法为：对于每一幅图像，计算球像方程和对应的对拓球像方程的四个交点的坐标x1、x2、x3、x4，其中x1、x2为一对圆环点的像，x3、x4为另一组共轭复点的像，计算过x1、x2的直线与过x3、x4的直线的交点即为所求。
进一步的，上述步骤C中，旋转轴的计算方法为：计算过x2、x4的直线与过x1、x3的直线的交点，计算过x1、x4的直线与过x2、x3的直线的交点，根据两个交点计算出旋转轴。
进一步的，上述步骤A-D中，根据点坐标计算出对应的方程的方法为：采用最小二乘法对点位坐标进行拟合，得出对应的方程。
为解决上述全部或部分问题，本发明提供了一种存储介质，所述存储介质中存储有程序，运行该程序以执行上述的利用球及极点极线关系标定抛物折反射摄像机的方法。
为解决上述全部或部分问题，本发明提供了一种利用球及极点极线关系标定抛物折反射摄像机的系统，包括一抛物折反射摄像机和一运算器，抛物折反射摄像机用于采集至少3幅图像，所述运算器包含上述的存储介质；其中，所述抛物折反射摄像机所采集的图像包含镜面轮廓投影边缘点和球像图像边缘点，所述球像为：根据单位球成像模型，空间球在单位视球上投影形成小圆，小圆在摄像机光心作用下，于像平面上的投影即为该小圆的球像。
综上所述，由于采用了上述技术方案，本发明的有益效果是：
1、本发明通过简单步骤，即可线性计算出摄像机的内参数，鲁棒性好，通用性强，较传统方式的3次及以上多项式的运算，大幅减少了运算量。
2、本发明对于试验场景布置的精度要求不高，降低了试验难度。
3、在本发明中，将球作为标定物来标定抛物折反射摄像机，其优点是球自身无遮挡。也就是说，从任何一个方位看空间中一个球，它的封闭轮廓线总是一个圆，并且它的投影轮廓线可全部提取。相较于其他标定物而言，球作为标定物使得摄像机标定的精确度更高。
附图说明
本发明将通过例子并参照附图的方式说明，其中：
图1是空间球在单位视球上的投影示意图。
图2是一组关于绝对二次曲线的像的极点极线关系。
具体实施方式
本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。
本说明书(包括任何附加权利要求、摘要)中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。
本发明的方法的原理如下：根据单位球成像模型，空间球在单位视球上投影形成一对对拓小圆，根据对拓圆的性质，一对对拓小圆是互相平行的。两个平行的小圆相交于四个虚点(两对共轭复点)，其中一对为圆环点。连接圆环点所在直线，为两个平行圆所在平面的无穷远直线。连接另一对共轭复点所在直线，与无穷远直线的交点为无穷远点。同理，两个平行小圆相交的四个交点还可连接成另外两组直线，每组相交于一点，连接这两点即可得旋转轴。根据旋转轴的定义，则旋转轴与两个平行圆所在平面是垂直的，即旋转轴和两个平行圆所在平面的无穷远直线是互相垂直的。又因为无穷远点位于无穷远直线上，则可确定一组关于绝对二次曲线的极点极线关系。根据射影变换下的仿射不变性，在像平面上，可得一组关于绝对二次曲线的像的极点极线关系，从而线性求解抛物折反射摄像机内参数矩阵。
一种利用球及极点极线关系标定抛物折反射摄像机的方法，包括以下步骤：
A.拟合镜面轮廓投影方程和球像方程
对于抛物折反射摄像机拍摄的3幅图像，利用Matlab应用提取第一幅图像的镜面轮廓投影边缘点和三幅图像的球像图片边缘点的像素坐标，并用最小二乘法拟合获得镜面轮廓投影方程和球像的方程。
B.计算球像的对拓球像方程
空间球Q在抛物折反射摄像机下，球的投影过程分为两步：第一步，以单位视球中心0为投影中心建立世界坐标系O-xwywzw，空间球Q在单位视球上投影形成一对对拓小圆Sn+和Sn-(n＝1、2、3，分别对应于3幅场景图像)；第二步，以单位球表面上的一点为摄像机光心Oc建立摄像机坐标系Oc-xcyczc，其中xc，yc-轴分别与xw，yw-轴平行，zc-轴与zw-轴重合，即成像平面与光轴OOc垂直交于主点p。小圆Sn+和Sn-以投影中心Oc在像平面π上投影为两条二次曲线Cn+和Cn-(n＝1、2、3，分别对应于3幅场景图像)，其Cn+为可见二次曲线，是空间球Q的像；不可见二次曲线Cn-是球像Cn+的对拓球像。令以Oc为光心的摄像机的内参数矩阵为其中，r是纵横比，f是有效焦距，s是倾斜因子，[u0 v0 1]T是摄像机主点p的齐次坐标矩阵形式。利用Matlab中的函数提取第一幅图像中的镜面轮廓投影边缘点和3幅图像靶标图像边缘点的像素坐标，通过最小二乘法拟合得到相应的二次曲线方程。这里用C0表示第一幅图像镜面轮廓在像平面上的投影曲线的系数矩阵，Cn+分别表示3幅图像中球像的系数矩阵。本文为了简化表述，球像方程和对应的系数矩阵用相同的字母表示。通过C0可获得摄像机内参数矩阵K的一个初始矩阵值从而得到绝对二次曲线的像w的初始值这里：w＝K-TK-1，其中， 是纵横比的初始值，是有效焦距的初始值，是倾斜因子的初始值，是摄像机主点齐次坐标矩阵形式，记
取Cn+上的一组点根据像点与对应的对拓像点满足的关系式可确定对拓球像Cn-上的一组对拓像点则对拓球像Cn-的方程可用最小二乘法拟合得到。
C.获取一组极点极线关系
在抛物折反射摄像机单位视球模型下，空间球Q在单位视球上投影形成一对对拓小圆S1+和S1-。根据旋转轴的定义：垂直于这对对拓小圆所在平面且使之对称的直线称为旋转轴，作对拓小圆的旋转轴Ls，则旋转轴Ls与小圆S+和S-所在平面是垂直的。根据对拓小圆的性质，小圆S1+和S1-是平行的。两个平行的小圆S1+和S1-相交于四个虚点(两对共轭复点)，记为X1X2X3X4。其中一对为圆环点，令X1、X2为圆环点，X3、X4为另一对共轭复点。连接圆环点X1、X2所在直线L12，因为圆环点位于无穷远直线上，则可得小圆S1+和S1-所在平面的无穷远直线L∞，即L12＝L∞。连接另一对共轭复点X3、X4所在直线L34，与无穷远直线L∞相交于点Va。因为点Va位于无穷远直线L∞上，则称点Va为无穷远点，并记为无穷远点V1∞，即Va＝V1∞。连接点X1、X3所在直线L13，连接点X2、X4所在直线L24，则L13与L24相交于点Vb。连接点X1、X4所在直线L14，连接点X2、X3所在直线L23，则L14与L23相交于点Vc。连接点Vb和Vc所在直线为旋转轴Ls。因为旋转轴与小圆S1+和S1-所在平面是垂直的，则旋转轴Ls与小圆S1+和S1-所在平面的无穷远直线L∞是垂直的。本文为了简化表述，物体和它的矩阵用相同的字母表示。
在像平面上，根据射影变换下的仿射不变性，小圆S1+和S1-的像为球像C1+和C1-，小圆S1+和S1-的四个交点的像记为x1、x2、x3、x4，其中x1、x2为圆环点的像，x3、x4为另一组共轭复点的像。连接点x1、x2所在直线为l12(表示直线L12的像)，也称消失线l∞(表示无穷远直线L∞的像)，即l12＝l∞。连接另一组共轭复点x3、x4所在直线l34，表示直线L34的像。直线l34与消失线l∞相交于点va(表示点Va的像)，也称消失点v1(表示无穷远点V1∞的像)，即va＝v1。连接点x1、x3所在直线l13，点x2、x4所在直线l24，分别表示直线l13和直线l24的像；直线l13和直线l24相交于点vb，表示点Vb的像；连接点x1、x4所在直线l14，点x2、x3所在直线l23，分别表示直线L14与L23的像；直线l14与直线l23相交于点vc，表示点Vc的像；连接点vb和vc所在直线为ls，表示旋转轴Ls的像。
因为旋转轴Ls与无穷远直线L∞是垂直的，根据射影变换下的仿射不变性，在像平面上，则旋转轴的像ls和消失线l∞是正交的。
在摄像机的欧氏坐标系下，旋转轴的像ls反投影到单位视球上与摄像机光心所确定的平面的法向量方向为n＝KTls，消失点v1反投影到单位视球上与在摄像机欧氏坐标系下测量的射线方向OV1∞＝K-1v1。因为旋转轴的像ls与消失线l∞是正交的，且消失点v1位于消失线l∞上，则旋转轴的像ls反投影与摄像机光心所确定的平面的法向量方向n，和消失点v1反投影在摄像机欧氏坐标系下测量的射线方向OV1∞是一致的，则满足KTls＝K-1v1，可推知ls＝K-TK-1v1＝wv1。从而可确定旋转轴的像ls与消失点v1是关于绝对二次曲线的像w的极点极线关系。
对于小圆S2+和S2-所在平面上关于绝对二次曲线的像w的极点极线关系{v′1，l′s}，小圆S3+和S3-所在平面上关于绝对二次曲线的像w的极点极线关系{v″1，l″s}，可以根据相同的方法获得。
D.求解抛物折反射摄像机的内参数
一组关于绝对二次曲线的像w的极点极线关系可以提供两个关于w的约束条件，三组关于绝对二次曲线的像w的极点极线关系{v1，ls}、{v′1，l′s}、{v″1，l″s}可以提供六个关于绝对二次曲线的像w的约束条件，即再对w＝K-TK-1进行Cholesky分解再求逆，即可得到摄像机内参数矩阵K，进而得到抛物折反射摄像机内参数。
实施例二
一种利用球及极点极线关系标定抛物折反射摄像机的方法。包括以下步骤：
针对每一幅场景图像，执行以下操作：
1.拟合镜面轮廓投影方程和球像方程
对于抛物折反射摄像机拍摄的3幅图像，利用Matlab应用提取第一幅图像的镜面轮廓投影边缘点和三幅图像的球像图片边缘点的像素坐标，并用最小二乘法拟合获得镜面轮廓投影方程和球像的方程。
2.计算球像的对拓球像方程
空间球Q在抛物折反射摄像机下，以单位视球为投影模型，球的投影过程分为两步：第一步，以单位视球中心0为投影中心建立世界坐标系0-xwywzw，空间球Q在单位视球上投影形成一对对拓小圆Sn+和Sn-(n＝1、2、3，分别对应于3幅场景图像)；第二步，以单位球表面上的一点为摄像机光心Oc建立摄像机坐标系Oc-xcyczc，其中xc，yc-轴分别与xw，yw-轴平行，zc-轴与zw-轴重合，即成像平面与光轴OOc垂直交于主点p。小圆Sn+和Sn-以投影中心Oc在像平面π上投影为两条二次曲线Cn+和Cn-，其Cn+为可见二次曲线，是空间球Q的像；不可见二次曲线Dn-是球像Cn+的对拓球像。如图1所示，图中下标n省略。
利用Matlab中的Edge函数分别提取3幅图像中的靶标图像边缘点和第1幅图像的镜面轮廓投影的像素坐标，通过最小二乘法拟合得到相应的二次曲线方程，这里用C0表示第1幅图像镜面轮廓投影曲线的系数矩阵，Cn+表示第n幅图像中的球像的系数矩阵。通过C0可获得摄像机内参数矩阵K的一个初始矩阵值具体如公式(1)：
这里，C0(p，q)(p＝1、2，q＝1、2、3，)表示矩阵C0的第p行第q列元素， 为摄像机视场角的一般，ρ为抛物面镜轮廓投影椭圆C0的长半轴长。
在获得初始矩阵值的基础上可得到绝对二次曲线的像w的初始值
取Cn+上的一组点则与它相对应的一组对拓像点可由下式(3)确定：
根据对拓像点的定义，点在球像Cn+的对拓球像Cn-上，因此可用最小二乘法拟合得到对拓球像Cn-的方程。
3.一组极点极线关系的获取
对于第一幅图，在抛物折反射摄像机单位视球模型下，空间球Q在单位视球上投影形成一对对拓小圆S1+和S1-。根据旋转轴的定义：垂直于这对对拓小圆所在平面且使之对称的直线称为旋转轴，作对拓小圆的旋转轴Ls，则旋转轴Ls与小圆S+和S-所在平面是垂直的。根据对拓小圆的性质，小圆S1+和S1-是平行的。两个平行的小圆S1+和S1-相交于四个虚点(两对共轭复点)，记为X1X2X3X4。其中一对为圆环点，令X1、X2为圆环点，X3、X4为另一对共轭复点。连接圆环点X1、X2所在直线L12，因为圆环点位于无穷远直线上，则可得小圆S1+和S1-所在平面的无穷远直线L∞，即L12＝L∞。连接另一对共轭复点X3、X4所在直线L34，与无穷远直线L∞相交于点Va。因为点Va位于无穷远直线L∞上，则称点Va为无穷远点，并记为无穷远点V1∞，即Va＝V1∞。连接点X1、X3所在直线L13，连接点X2、X4所在直线L24，则L13与L24相交于点Vb。连接点X1、X4所在直线L14，连接点X2、X3所在直线L23，则L14与L23相交于点Vc。连接点Vb和Vc所在直线为旋转轴Ls。因为旋转轴与小圆S1+和S1-所在平面是垂直的，则旋转轴Ls与小圆S1+和S1-所在平面的无穷远直线L∞是垂直的。
如图2所示，根据射影变换下的仿射不变性，小圆S1+和S1-的像为球像C1+和C1-，小圆S1+和S1-的四个交点的像记为x1、x2、x3、x4，其中x1、x2为圆环点的像，x3、x4为另一组共轭复点的像。根据S1+和S1-四个交点的像x1、x2、x3、x4联立球像C1+和C1-的方程：
其中，[u v 1]T表示像平面上点的像素坐标。连接点x1、x2所在直线为l12(表示直线L12的像)，也称消失线l∞(表示无穷远直线L∞的像)，即l12＝l∞。连接另一组共轭复点x3、x4所在直线l34，表示直线L34的像。直线l34与消失线l∞相交于点va(表示点Va的像)，也称消失点v1(表示无穷远点V1∞的像)，即va＝v1。
v1＝(x1×x2)×(x3×x4)， (5)
连接点x1、x3所在直线l13，点x2、x4所在直线l24，分别表示直线l13和直线l24的像；直线l13和直线l24相交于点vb，表示点Vb的像；连接点x1、x4所在直线l14，点x2、3所在直线l23，分别表示直线L14与L23的像；直线l14与直线l23相交于点vc，表示点Vc的像；连接点vb和vc所在直线为ls，表示旋转轴Ls的像。
vb＝(x1×x3)×(x2×x4)， (6)
vc＝(x1×x4)×(x2×x3)， (7)
其中“×”表示叉积。
因为旋转轴Ls与无穷远直线L∞是垂直的，根据射影变换下的仿射不变性，在像平面上，则旋转轴的像ls消失线l∞是正交的。
在摄像机的欧氏坐标系下，旋转轴的像ls反投影到单位视球上与摄像机光心所确定的平面的法向量方向为n＝KTls，消失点v1反投影到单位视球上与在摄像机欧氏坐标系下测量的射线方向OV1∞＝K-1v1。因为旋转轴的像ls与消失线l∞是正交的，且消失点v1位于消失线l∞上，则旋转轴的像ls反投影与摄像机光心所确定的平面的法向量方向n和消失点v1反投影在摄像机欧氏坐标系下测量的射线方向OV1∞是一致的，则满足
KTls＝K-1v1， (9)
可推知
ls＝K-TK-1v1＝wvq。 (10)
由式(10)可知，旋转轴的像ls与消失点v1是关于绝对二次曲线的像w的极点极线关系。对于第二幅图的小圆S2+和S2-所在平面上关于绝对二次曲线的像w的极点极线关系{v′1，l′s}，第三幅图的小圆S3+和S3-所在平面上关于绝对二次曲线的像w的极点极线关系{v″1，l″s}，可以根据相同的方法获得。
4.求解抛物折反射摄像机的内参数
一组关于绝对二次曲线的像w的极点极线关系可以提供两个关于w的约束条件，三组关于绝对二次曲线的像w的极点极线关系{v1，ls}、{v′1，l′s}、{v″1，l″s}可以提供六个关于绝对二次曲线w的约束条件，即
再对w＝K-TK-1进行Cholesky分解再求逆，即可得到摄像机内参数矩阵K，进而得到抛物折反射摄像机内参数。r是纵横比，f是有效焦距，s是倾斜因子，[u0 v0 1]T是摄像机主点p的齐次坐标矩阵形式。
实施例三
本实施例公开了一种利用利用球及极点极线关系标定抛物折反射摄像机的方法。本实施例采用的试验场景结构如图1所示。所采用的抛物折反射摄像机的视角为180度。标定方法如下：
1.拟合镜面轮廓投影方程和球像方程
以一个空间球为标定物，根据求得不同位置，用抛物折反射摄像机拍摄三幅图像。用Canny边缘算子处理拍摄的三幅图像，并用最小二乘法拟合获得镜面轮廓投影方程和球像的方程。第一幅图像镜面轮廓投影方程的系数矩阵为C0，三幅图像球像方程的系数矩阵分别为Cn+(n＝1、2、3，)，结果如下：
2.推算球像的对拓球像方程
将式(12)带入(1)中，可得
将式(16)带入式(2)中可得
在球像Cn+(n＝1、2、3)(即C1+、C2+、C3+)上各取至少五个互异的点，将所取的点和(17)式分别带入(3)式中可得对应的对拓像点，运用最小二乘法拟合可得C1+、C2+、C3+的对拓球像的系数矩阵Cn-(n＝1、2、3)：
3.一组极点极线关系的获取将(13)式和(18)式带入(4)式，可得球像C1+和C1-的四个交点x1、x2、x3、x4，它们的齐次坐标矩阵分别为：
x1＝[1010.389231538+456.0615811543i --45.88124911689+1027.183148734i1]T， (21)
x2＝[1010.389231538-456.0615811543i -45.88124911689-1027.183148734i1]T， (22)
x3＝[-815.3132810514+197.9791019841i 710.0283153284+445.9428199832i1]T， (23)
x4＝[-815.3132810514-197.9791019841i 710.0283153284-445.9428199832i1]T。 (24)
将(21)式至(24)式带入(5)式，可得消失点v1的齐次坐标矩阵：v1＝[345.6532926189815 778.6198135021533 1]T， (25)
将(21)式至(24)式分别带入(6)、(7)、(8)式，可得旋转轴的像ls的齐次坐标矩阵：
ls＝[-0.001111471431261 -0.0026847047583181]T。 (26)
对于小圆S2+和S2-所在平面的旋转轴的像l′s和消失点v′1，小圆S3+和S3-所在平面的旋转轴的像l″s和消失点v″1可用类似方法获得，结果如下：
v1′＝[195.6227565532471 849.42336680232591]T， (27)
ls′＝[-0.000695380708667 -0.003239492388445 1]T。 (28)
v1″＝[211.8747869240511 101.7442692171345 1]T， (29)
ls″＝[-0.021839239468802 -0.0401216514757041]T。 (30)
将(25)式、(26)式带入(10)式，则可得旋转轴的像ls与消失点v1是关于绝对二次曲线的像w的极点极线关系{v1，ls}，通过同样的方法，可获得小圆S2+和S2-所在平面上关于绝对二次曲线的像w的极点极线关系{v′1，l′s}，小圆S3+和S3-所在平面上关于绝对二次曲线的像w的极点极线关系{v″1，l″s}。
4.求解抛物折反射摄像机内参数
将(25)式至(30)式带入(11)式，得到w中元素的线性方程组，使用SVD分解求解该线性方程组得到w的系数矩阵，结果如下：
最后，对(31)式中的w＝K-TK-1v1进行Cholesky分解再求逆得到内参数矩阵K，即获得抛物折反射摄像机内参数矩阵，结果如下：
再分别提取出对应的参数，即可得到抛物折反射摄像机的各参数(5个参数)：纵横比r＝1.035294117647569，有效焦距f＝850.5641740447858，倾斜因子s＝0.200132746629500，摄像机主点p的齐次坐标矩阵形式[u0 v0 1]T的参数u0＝320.0000000003336，v0＝239.9999999999267。
本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。
Claims (8)
1.一种利用球及极点极线关系标定抛物折反射摄像机的方法，其特征在于，包括以下步骤：
A.对于抛物折反射摄像机采集的至少3幅图像进行如下处理：提取第一幅图像的镜面轮廓投影边缘点和每一幅图像的球像图像边缘点的像素坐标，基于提取的数据，计算出对应的镜面轮廓投影方程和球像方程；所述球像为：根据单位球成像模型，空间球在单位视球上投影形成小圆，小圆在摄像机光心作用下，于像平面上的投影即为该小圆的球像；
B.对于每一幅图像，基于其球像方程，计算出对应的对拓球像方程；
C.对于每一幅图像，基于其球像方程和对应的对拓球像方程，计算出旋转轴和消失点；
D.基于所有图像的旋转轴和消失点，根据极点极线间的约束关系，计算出绝对二次曲线的像，再根据该绝对二次曲线的像，计算出抛物折反射摄像机的内参数。
2.如权利要求1所述的利用球及极点极线关系标定抛物折反射摄像机的方法，其特征在于，所述步骤B具体为：
对于每一幅图像，在其球像方程上，取一组点位，该组点位含若干点，计算该组点位的一组对拓像点，再根据该对拓像点组，计算出对应的对拓球像方程。
3.如权利要求2所述的利用球及极点极线关系标定抛物折反射摄像机的方法，其特征在于，所述一组点位中，至少包含5个点位。
4.如权利要求1所述的利用球及极点极线关系标定抛物折反射摄像机的方法，其特征在于，所述步骤C中，消失点的计算方法为：对于每一幅图像，计算球像方程和对应的对拓球像方程的四个交点的坐标x1、x2、x3、x4，其中x1、x2为一对圆环点的像，x3、x4为另一组共轭复点的像，计算过x1、x2的直线与过x3、x4的直线的交点即为所求。
5.如权利要求4所述的利用球及极点极线关系标定抛物折反射摄像机的方法，其特征在于，所述步骤C中，旋转轴的计算方法为：计算过x2、x4的直线与过x1、x3的直线的交点，计算过x1、x4的直线与过x2、x3的直线的交点，根据两个交点计算出旋转轴。
6.如权利要求1所述的利用球及极点极线关系标定抛物折反射摄像机的方法，其特征在于，所述步骤A-D中，根据点坐标计算出对应的方程的方法为：采用最小二乘法对点位坐标进行拟合，得出对应的方程。
7.一种存储介质，其特征在于，所述存储介质中存储有程序，运行该程序以执行如权利要求1-6之一所述的利用球及极点极线关系标定抛物折反射摄像机的方法。
8.一种利用球及极点极线关系标定抛物折反射摄像机的系统，包括一抛物折反射摄像机和一运算器，其特征在于，所述抛物折反射摄像机用于采集至少3幅图像，所述运算器包含如权利要求7所述的存储介质；其中，所述抛物折反射摄像机所采集的图像包含镜面轮廓投影边缘点和球像图像边缘点，所述球像为：根据单位球成像模型，空间球在单位视球上投影形成小圆，小圆在摄像机光心作用下，于像平面上的投影即为该小圆的球像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910378225.3A CN110148183B (zh) | 2019-05-08 | 2019-05-08 | 利用球及极点极线标定摄像机的方法、存储介质和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910378225.3A CN110148183B (zh) | 2019-05-08 | 2019-05-08 | 利用球及极点极线标定摄像机的方法、存储介质和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110148183A true CN110148183A (zh) | 2019-08-20 |
| CN110148183B CN110148183B (zh) | 2022-09-06 |
Family
ID=67594924
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910378225.3A Expired - Fee Related CN110148183B (zh) | 2019-05-08 | 2019-05-08 | 利用球及极点极线标定摄像机的方法、存储介质和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110148183B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110930461A (zh) * | 2019-11-20 | 2020-03-27 | 云南大学 | 利用靶标求解针孔摄像机内参数的方法、存储介质和系统 |
| CN113470117A (zh) * | 2021-06-28 | 2021-10-01 | 上海交通大学 | 基于圆球逆透视投影的单位姿三维结构光标定系统及方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130259403A1 (en) * | 2012-04-03 | 2013-10-03 | Oluwatosin Osinusi | Flexible easy-to-use system and method of automatically inserting a photorealistic view of a two or three dimensional object into an image using a cd,dvd or blu-ray disc |
| CN106327504A (zh) * | 2016-09-22 | 2017-01-11 | 云南大学 | 利用单个球及圆环点的像标定拋物折反射摄像机的方法 |
| CN106558081A (zh) * | 2016-11-28 | 2017-04-05 | 云南大学 | 标定非中心轴对称系统的圆锥折反射摄像机的方法 |
| CN106651956A (zh) * | 2016-09-22 | 2017-05-10 | 云南大学 | 利用单个球及平行圆性质标定拋物折反射摄像机的方法 |
| CN107886546A (zh) * | 2017-11-06 | 2018-04-06 | 云南大学 | 利用球像及公共自极三角形标定抛物折反射摄像机的方法 |
| CN109325983A (zh) * | 2018-10-18 | 2019-02-12 | 云南大学 | 利用无穷远点关于圆极线性质标定拋物折反射摄像机 |
| CN109523598A (zh) * | 2018-11-28 | 2019-03-26 | 云南大学 | 单个球的公共自极三角形及圆环点标定抛物摄像机的方法 |
| CN109540033A (zh) * | 2019-01-14 | 2019-03-29 | 吉林大学 | 闭环一致双目主动视觉汽车形貌全局自由重建系统与方法 |
| CN109712195A (zh) * | 2018-12-17 | 2019-05-03 | 云南大学 | 利用球像的公共自极三角形进行单应性估计的方法 |
-
2019
- 2019-05-08 CN CN201910378225.3A patent/CN110148183B/zh not_active Expired - Fee Related
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130259403A1 (en) * | 2012-04-03 | 2013-10-03 | Oluwatosin Osinusi | Flexible easy-to-use system and method of automatically inserting a photorealistic view of a two or three dimensional object into an image using a cd,dvd or blu-ray disc |
| CN106327504A (zh) * | 2016-09-22 | 2017-01-11 | 云南大学 | 利用单个球及圆环点的像标定拋物折反射摄像机的方法 |
| CN106651956A (zh) * | 2016-09-22 | 2017-05-10 | 云南大学 | 利用单个球及平行圆性质标定拋物折反射摄像机的方法 |
| CN106558081A (zh) * | 2016-11-28 | 2017-04-05 | 云南大学 | 标定非中心轴对称系统的圆锥折反射摄像机的方法 |
| CN107886546A (zh) * | 2017-11-06 | 2018-04-06 | 云南大学 | 利用球像及公共自极三角形标定抛物折反射摄像机的方法 |
| CN109325983A (zh) * | 2018-10-18 | 2019-02-12 | 云南大学 | 利用无穷远点关于圆极线性质标定拋物折反射摄像机 |
| CN109523598A (zh) * | 2018-11-28 | 2019-03-26 | 云南大学 | 单个球的公共自极三角形及圆环点标定抛物摄像机的方法 |
| CN109712195A (zh) * | 2018-12-17 | 2019-05-03 | 云南大学 | 利用球像的公共自极三角形进行单应性估计的方法 |
| CN109540033A (zh) * | 2019-01-14 | 2019-03-29 | 吉林大学 | 闭环一致双目主动视觉汽车形貌全局自由重建系统与方法 |
Non-Patent Citations (6)
| Title |
|---|
| YUANZHEN LI 等: "Calibration of a paracatadioptric camera by projection imaging of a single sphere", 《APPLIED OPTICS》, vol. 56, no. 8, 10 March 2017 (2017-03-10), pages 2230 - 2240 * |
| ZHAO Y 等: "Paracatadioptric camera calibration based on properties of polar line infinity point with respect to circle and line", 《INTERNATIONAL JOURNAL OF ADVANCED ROBOTIC SYSTEMS》, vol. 15, no. 5, 3 October 2018 (2018-10-03), pages 1 - 12 * |
| ZHAO Y 等: "Paracatadioptric camera calibration using sphere images and common self-polar triangles", 《OPTICAL REVIES》, 2 January 2019 (2019-01-02), pages 1 - 12, XP036736904, DOI: 10.1007/s10043-018-00490-3 * |
| 张彩霞 等: "基于旋转体的摄像机姿态估计", 《北方工业大学学报》, vol. 23, no. 03, 15 September 2011 (2011-09-15), pages 1 - 6 * |
| 游剑: "利用球像及极点—极线关系标定抛物折反射摄像机", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》, no. 03, 15 March 2020 (2020-03-15), pages 136 - 746 * |
| 赵越 等: "3D靶标的摄像机三步标定算法与实现", 《计算机技术与发展》, vol. 20, no. 1, 10 January 2010 (2010-01-10), pages 139 - 142 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110930461A (zh) * | 2019-11-20 | 2020-03-27 | 云南大学 | 利用靶标求解针孔摄像机内参数的方法、存储介质和系统 |
| CN110930461B (zh) * | 2019-11-20 | 2022-09-20 | 云南大学 | 利用靶标求解针孔摄像机内参数的方法、存储介质和系统 |
| CN113470117A (zh) * | 2021-06-28 | 2021-10-01 | 上海交通大学 | 基于圆球逆透视投影的单位姿三维结构光标定系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110148183B (zh) | 2022-09-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107886546B (zh) | 利用球像及公共自极三角形标定抛物折反射摄像机的方法 | |
| CN104217435B (zh) | 两个相互遮挡的球线性确定拋物折反射摄像机内参数方法 | |
| CN106327504A (zh) | 利用单个球及圆环点的像标定拋物折反射摄像机的方法 | |
| CN107145224B (zh) | 基于三维球面泰勒展开的人眼视线跟踪方法和装置 | |
| CN106295512A (zh) | 基于标识的多纠正线室内视觉数据库构建方法以及室内定位方法 | |
| CN104200477B (zh) | 基于空间平行圆求解平面折反射摄像机内参数的方法 | |
| CN106651956A (zh) | 利用单个球及平行圆性质标定拋物折反射摄像机的方法 | |
| CN104200476B (zh) | 利用双平面镜装置中的圆周运动求解摄像机内参数的方法 | |
| CN108921889A (zh) | 一种基于扩增现实应用的室内三维定位方法 | |
| CN105279758A (zh) | 使用双球的相切像与圆环点的像标定拋物折反射摄像机 | |
| CN110148183A (zh) | 利用球及极点极线标定摄像机的方法、存储介质和系统 | |
| CN109902675A (zh) | 物体的位姿获取方法、场景重构的方法和装置 | |
| CN109931925A (zh) | 基于序列图像轴线的空间翻滚卫星自旋姿态优化估计方法 | |
| Takahashi et al. | Mirror-based camera pose estimation using an orthogonality constraint | |
| CN109360248A (zh) | 利用单个球及共轭直径的性质标定拋物折反射摄像机 | |
| CN105321181A (zh) | 使用双球的相离像与圆环点的像标定拋物折反射摄像机 | |
| Bermudez-Cameo et al. | Line-images in cone mirror catadioptric systems | |
| CN105303570A (zh) | 使用双球的相交像及圆环点的像标定拋物折反射摄像机 | |
| Barreto et al. | Direct least square fitting of paracatadioptric line images | |
| CN112184807A (zh) | 一种高尔夫球落地式检测方法、系统及存储介质 | |
| Nistér et al. | Non-parametric self-calibration | |
| CN107958468A (zh) | 利用空间位置不同的三个球标定中心折反射摄像机的方法 | |
| CN109712195A (zh) | 利用球像的公共自极三角形进行单应性估计的方法 | |
| CN109360247A (zh) | 单个球的公共自极三角形及正交消失点标定抛物摄像机 | |
| CN109325982A (zh) | 利用单个球及平行圆切线性质标定拋物折反射摄像机 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220906 |