CN110120078B - 基于直径与共轭直径性质的摄像机标定方法和系统 - Google Patents
基于直径与共轭直径性质的摄像机标定方法和系统 Download PDFInfo
- Publication number
- CN110120078B CN110120078B CN201910378228.7A CN201910378228A CN110120078B CN 110120078 B CN110120078 B CN 110120078B CN 201910378228 A CN201910378228 A CN 201910378228A CN 110120078 B CN110120078 B CN 110120078B
- Authority
- CN
- China
- Prior art keywords
- image
- point
- diameter
- circle
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 239000011159 matrix material Substances 0.000 claims description 28
- 238000000354 decomposition reaction Methods 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 claims description 3
- FFBHFFJDDLITSX-UHFFFAOYSA-N benzyl N-[2-hydroxy-4-(3-oxomorpholin-4-yl)phenyl]carbamate Chemical compound OC1=C(NC(=O)OCC2=CC=CC=C2)C=CC(=C1)N1CCOCC1=O FFBHFFJDDLITSX-UHFFFAOYSA-N 0.000 claims 1
- 238000004364 calculation method Methods 0.000 abstract description 10
- 238000009795 derivation Methods 0.000 abstract 1
- 238000003384 imaging method Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000021615 conjugation Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 241000282326 Felis catus Species 0.000 description 1
- 230000001154 acute effect Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种直径与共轭直径性质的摄像机标定方法和系统。流程为：设置双平面镜和物体，采集若干副场景图像；依次计算每一幅图像中点位所在圆的二次曲线、圆心的像和对拓像点，基于二次曲线直径与共轭直径的性质，计算图像的正交消失点组，依据所有图像的正交消失点组，基于正交消失点与绝对二次曲线像的约束关系，计算出摄像机内参数。系统包括两平面镜、一物体点、一图像采集设备和一运算器，系统运行上述方法的流程。本发明硬件设置简单，没有严格的条件约束。且基于所采集数据进行线性推导，较传统方式，大幅降低了计算量，提高了结果精度。
Description
技术领域
本发明涉及计算机视觉领域，尤其是一种利用直径与共轭直径的性质求解双平面镜折反射摄像机内参数的方法。
背景技术
计算机视觉是一门新的学科，它是利用计算机代替人眼和大脑感知和理解世界。它的出现使人们更清楚地看清世界，并获得更多细节。因此，计算机视觉技术也被广泛应用在各个领域。摄像机是计算机视觉技术中的基础工具，摄像机内参数决定了摄像机的内部结构。学者拿到一台摄像机时，并不知道它的内部结构，只能利用摄像机拍摄的图片获得二维图像信息，要想从二维图像信息中理解3D物体，必须知道摄像机内参数。求解摄像机内参数的过程称之为摄像机标定。
传统摄像机的成像视野较小，但是随着网络信息化的快速发展，传统摄像机不能满足人们从“能看到”到“看得更广”的需求。这就给研究者及学者提出了新的要求，即让成像视野变大。折反射摄像机的出现解决了这个问题，它在传统摄像机的前面增加了反射镜面，常见的反射镜面有：抛物镜面、双曲镜面、椭圆镜面和平面镜。因为平面折反射摄像机的制作简单，成本也比较低，所以许多学者使用平面折反射摄像机进行三维重构。在进行三维重构前，需要对平面折反射摄像机进行标定。
传统摄像机就是一台针孔摄像机，利用场景中元素的几何关系，求解针孔摄像机的内参数是一种的常用方法。文献“A linear approach for determining intrinsicparametersand pose of cameras from rectangles”，(Wu F.,Wang G.,et al.,Journalof Software,Vol.14,pp.703-712,2003)提出通过空间平面上两个非平行矩形，得到共线的四个消失点，再根据调和共轭的性质获取圆环点，利用圆环点的像与绝对二次曲线像的约束关系求解摄像机内参数。
文献“Planar catadioptric stereo:geometry and calibration”，(GluckmanJ.,Nayar S.,IEEE Computer Society Conference onComputer Vision,Vol.1,pp.1-18,2002)利用单个摄像机和两块平面镜实现双目立体视觉效果，主要从几何上研究双平面折反射系统，并且证明了可以通过平面运动来约束两个虚拟摄像机的相对位置，计算对极几何中的基本矩阵，并且估计焦距。但是，这篇文章并没有讨论双平面镜间的内部反射，也没有把平面镜成像原理应用在摄像机标定中。两块平面镜和一个针孔摄像机组成一个双平面折反射系统，当两块平面镜间的夹角为0-90度时，两平面镜中出现多次内部反射，场景中出现多个视图。许多文献利用轮廓间的极几何关系，求解摄像机内参数或进行三维重构。
文献“Self-calibration of catadioptric camera with two planar mirrorsfrom silhouettes”，(Ying X.,Peng K.,et al.,IEEE Transactions on PatternAnalysis and Machine Intelligence,vol.35,no.5,pp.1206-1220,2013)提出在平面折反射系统中，用两种方法求解摄像机内参数，第一种方法是：利用两个平行圆在像平面上的投影二次曲线的两条相关直线的交点(消失点)与绝对二次曲线像的约束关系求解摄像机内参数，但求解过程需要用到3次多项式，并且计算量较大；第二种方法是：利用三维空间点位置的不变性求点对应的2D单映，2D单映的共轭复特征值对应的特征向量就是圆环点的像，进一步求解摄像机内参数，在这种方法中需要七个视图，这样就要求两个平面镜间存在两次内部反射，这种方法的不足之处是：七个视图会互相遮挡，影响标定的精度。当两平面镜间的夹角为60-80度时，两平面镜间出现五个视图，当两平面镜间的夹角为72度左右时，五个视图间不会互相遮挡。文献“Geometric properties of multiple reflections incat dioptric camera with two planar mirrors”，(Ying X.,Peng K.,et al.,IEEEComputer Society Conference on Computer Vision and Pattern Recognition,vol.26,no.2,pp.1126-1132,2010)讨论了五个视图的几何关系。把五个视图分为奇数相邻视图对和偶数相邻视图对，从对极几何的观点建立基本矩阵与镜面法线方向消失点的约束关系，并且在奇数相邻视图对中，根据极点与圆环点像的调和共轭关系求出圆环点的像，但是两摄像机间的对极关系不仅要用到摄像机的内参数，还要知道两摄像机的相对位置，所以过程会很复杂。
文献“Camera self-calibration based on circular points with twoplanar”，(Zhao Y.,Zhang X.，et al.,Multimedia Tools and Applications,vol.75,no.13,pp.7981-7997,2016)利用两种方法求出圆环点的像，再根据圆环点像与摄像机内参数的约束关系求解摄像机内参数。第一种是：根据拉盖尔定理的推论求出圆环点的像；第二种是：利用无穷远直线与圆相交求出圆环点，在像平面上可以获取圆环点的像。这篇文献，是通过调和共轭关系获取消失点，进一步获取消失线。本专利是从极点与极线关系中获取消失线。
文献“Camera self-calibration from projection silhouettes of an objectin double planar mirrors”，(Zhao Y.,Li Y.,Journal of the Optical Society ofAmerica A,vol.34,no.5,pp.696,2017)用三种方法求解摄像机内参数。第一种是：利用极点与极线的关系，获取圆环点的像；第二种是：利用无穷远点与圆环点共线的性质，获取圆环点的像；第三种是：利用平面镜成像的对称性及调和共轭，获取正交消失点。最后，用圆环点的像或者正交消失点与绝对二次曲线像的约束关系，求解摄像机内参数。
把双平面镜中的五个视图看成是做圆周运动得到的。利用圆周运动下，轮廓间的极几何关系，求解摄像机外参数或者三维重构。文献“Self-calibration of turntablesequences from silhouettes”，(Zhang H.,Shao L.,IEEE Transactions on PatternAnalysis and Machine Intelligence,vol.31,no.1,pp.5-14,2009)提出在转盘序列中，通过一个物体轮廓的极切线来估计图像不变量，依据图像不变量，可以精确地表示基本矩阵，也可以恢复圆环点的像，进一步使用拉盖尔定理恢复旋转角。因为求轮廓的极切线时，需要知道物体的坐标，所以会存在误差。
上述文献的方案普遍存在以下问题，即对试验现场的布置的精度要求高、试验操作繁琐、计算的数据量的数量级高、计算精度较低。
发明内容
本发明的发明目的在于：针对上述存在的问题，提供一种在双平面镜折反射系统下，利用平面镜成像及直径与共轭直径的性质标定摄像机的方法。以线性求解摄像机的内部参数。解决传统计算摄像机内参数计算量大、对环境要求严格、计算精度不高的问题。
本发明采用的技术方案如下：
一种基于直径与共轭直径性质的摄像机标定方法，其包括以下步骤：
A.获取若干幅不同视角下的场景图像，所述场景图像对应的试验场景为：在夹角为预定角度的两平面镜间放置一物体点，形成试验场景，在该试验场景下，得到5个点位：所述物体点及在两所述平面镜中的4个折反射点，所述5个点位必然在同一圆上；
B.针对每一幅所述场景图像，执行以下流程1-4：
1.提取场景图像的特征点坐标，依据所提取的场景图像的特征点坐标，计算出所述5个点位所在圆的像；
2.分别计算所述5个点位的像，依据所述5个点位的像，计算出所述圆的圆心的像；
3.依据所述圆的像以及所述圆心的像，计算出所述5个点位中任意两相邻点位的像的对拓像点；
4.依据两所述相邻点位的像及其对应的对拓像点，计算所述圆的像的直径及共轭直径，并依据所述直径与所述共轭直径计算出所述场景图像的两组正交消失点的齐次坐标；
C.基于正交消失点与绝对二次曲线像的约束关系，依据所得到的所有正交消失点的齐次坐标组，计算出摄像机的内参数。
进一步的，所述步骤3中，所述任意两相邻点位的像为：所述物体点的像及所述物体点在一平面镜中的像点的像。
进一步的，步骤A中所获取的场景图像至少为3幅。
进一步的，上述两平面镜的夹角为70-75度。
进一步的，所述步骤2为：先分别计算所述5个点位的像，再分别计算各点位的像关于所述圆的像的极线，再基于部分或全部所述各点位的像关于圆的像的极线间的交点的坐标，计算所述圆心的像。
进一步的，所述基于部分或全部所述各点位的像关于圆的像的极线间的交点的坐标，计算所述圆心的像具体为：
设所述5个点位分别为：物体点A0、A0在平面镜Π1中的折反射点A1，A0在平面镜Π2中的折反射点A2、A2在平面镜Π1中的折反射点A3、A1在平面镜Π2中的折反射点A4,5个点位对应的像分别为a0、a1、a2、a3、a4；
取a0关于所述圆的像的极线，和a1、a2关于所述圆的像的极线间的两个交点m、s；取a1关于所述圆的像的极线，和a4关于所述圆的像的极线间的交点t，取a2关于所述圆的像的极线，和a3关于所述圆的像的极线间的交点n；再计算直线mn和直线st的交点即得圆心的像。
进一步的，所述步骤1中，依据所提取的场景图像的特征点坐标，计算出所述5个点位所在圆的像具体为：
利用最小二乘法对所述所提取的场景图像的特征点坐标进行拟合，得到的二次曲线即为所述5个点位所在圆的像。
进一步的，所述步骤C具体为：
正交消失点与绝对二次曲线像的约束关系为：
pi Twqi＝0，(i＝1，2，3......2N)，N为场景图像的数量，{pi，qi}为一组正交消失点齐次坐标；
利用SVD对于上述正交消失点与绝对二次曲线像的约束关系进行分解，获得w，再将w分解为w＝K-TK-1并进行Cholesky分解，得到K-1，最后计算出矩阵K即为摄像机内部参数矩阵，分别提取所述摄像机内部参数矩阵中的参数既得摄像机的内参数。
本发明还提供了一种基于直径与共轭直径性质的摄像机标定系统，系统包括一图像采集器和一运算器，图像采集器用于采集图像并传输给运算器运算；其特征在于，所述系统用于执行上述基于直径与共轭直径性质的摄像机标定方法，其中，图像采集器执行所述基于直径与共轭直径性质的摄像机标定方法中的图像采集动作，所述运算器执行所述基于直径与共轭直径性质的摄像机标定方法中的运算动作，并将运算结果输出。
本发明所指的圆，为5个点位所在的圆，圆的像，为该圆在像平面上的像，圆心的像，可以理解为圆的像的圆心。
综上所述，由于采用了上述技术方案，本发明的有益效果是：
1、本发明涉及的结构非常简单，只需两块平面镜、一个图像采集器和一个物体标靶。操作过程仅需将物体标靶至于环境中，采集(拍摄)几幅场景图像进行导入即可完成对摄像机内参数的计算。对于物体的尺寸和放置位置没有要求，无需对物体位置进行严格限制。
2、本发明中，各点位不会发生重叠，因此计算的精度非常高。
3、本发明对摄像机的标定过程为线性计算过程，较传统方式中的3次及以上多项式求解，可以大幅减小计算量。
附图说明
本发明将通过例子并参照附图的方式说明，其中：
图1是5个点位(物体点及其折反射点)及两平面镜位置关系的示意图。
图2是圆心的像示意图。
图3对拓像点及正交消失点的示意图。
具体实施方式
本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。
本说明书(包括任何附加权利要求、摘要)中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。
本专利也是利用极点与极线的关系获取圆环点的像。但是，本专利是利用极点与极线的关系求解圆心的像，而不是利用初等几何的性质求解圆心的像，同时利用极点与极线的关系获取圆环点的像。
实施例一
本实施例公开了一种基于直径与共轭直径性质的摄像机标定方法，包括以下步骤：
A.在双平面镜折反射系统的两平面镜Π1,Π2间放置一物体，两平面镜间成72度夹角。根据实验证明，当两平面镜的夹角成72度时，场景中会中出现包括物体在内的五个视图，而且五个视图间不会相互遮挡。若将各视图描述为点位，则五个视图描述为物体点A0及其产生的四个折反射点A1、A2、A3、A4。A1是点A0在平面镜Π1中的折反射点；A2是点A0在平面镜Π2中的折反射点；A3是点A2在平面镜Π1中的折反射点；A4是点A1在平面镜Π2中的折反射点。如图1所示。
B.从不同角度采集三幅场景图像，针对每一幅场景图像，执行以下操作：
1.提取场景图像的特征点的坐标。在MATLAB软件中，使用Harris角点检测即可提取图像特征点的坐标。再利用最小二乘法拟合，得到二次曲线C的方程；
2.求圆心的像。如图1所示，根据平面镜成像的对称性，一个物体点A0及其产生的四个折反射点A1、A2、A3、A4在同一个圆上。如图2所示，在像平面上，该圆的像为一条二次曲线C，二次曲线C的方程由步骤1的方式计算出；五个点位A0、A1、A2、A3、A4在像平面上的像对应为：a0、a1、a2、a3、a4，通过MATLAB中的Harris角点检测，即可得到各点位的像。点a0关于二次曲线C的极线与点a1关于二次曲线C的极线相交于点m，点a2关于二次曲线C的极线与点a3关于二次曲线C的极线相交于点n，点a0关于二次曲线C的极线与点a2关于二次曲线C的极线相交于点s，点a1关于二次曲线C的极线与点a4关于二次曲线C的极线相交于点t。根据射影几何中的配极原则，直线a0a1是点m的极线，直线a2a3是点n的极线。因为点a0与点a1关于平面镜Π1对称，点a2与点a3关于平面镜Π1对称，因此直线a0a1与直线a2a3相交与一消失点，设直线a0a1与直线a2a3相交于消失点r1。因为消失点r1既在点m的极线上，又在点n的极线上，根据射影几何中的配极原则，所以点m和点n都在消失点r1的极线上，即直线mn经过圆心的像o。同理，直线st也经过圆心的像o。
通过a0、a1和二次曲线C可以求得点m，通过a2、a3和二次曲线C可以求得点n，通过a0、a2和二次曲线C可以求得点s，通过a2、a4和二次曲线C可以求得点t。表示为：
m＝(C·a0)×(C·a1)；……………………………………………(1)
其中，“×”表示两直线的交点，“·”表示点乘。
n＝(C·a2)×(C·a3)；……………………………………………(2)
s＝(C·a0)×(C·a2)；……………………………………………(3)
t＝(C·a1)×(C·a4)；……………………………………………(4)
由于直线mn和直线st均经过圆心的像o，则求得圆心的像o为：
o＝(m×n)×(s×t)；……………………………………………(5)
其中，“m×n”表示通过点m和n的直线，“s×t”表示通过点s和t的直线，“()×()”表示两条直线的交点。
3.求对拓像点。圆的直径的两个端点称为拓点，对应的像称为对拓像点。如图3所示，在像平面上，过点a0和圆心点o的直线L1于二次曲线C的交点a0’为a0的对拓像点；过点a1和圆心点o的直线L2于二次曲线C的交点a1’为a1的对拓像点。
L1＝a0×o；………………………………………………(6)
其中，“×”表示两直线的交点。
a0’＝L1×C；………………………………………………(7)
其中，“×”表示直线L1与二次曲线的交点。
同理，
L2＝a1×o；………………………………………………(8)
a1’＝L2×C。………………………………………………(9)
4.由直径和与共轭直径的性质获取正交消失点。
如图3所示，点a0、a1和它们的对拓像点a0'、a1'，及其任意两点的连线形成一个完全四点形，其对边三点形的三个顶点表示为p1、q1、o，p1是两对边a0a1、a0’a1’的交点，p1是两对边a0a1’、a0’a1的交点。因为完全四点形的四个顶点a0，a0'，a1，a1'是空间中一个矩形的四个顶点A0，A0'，A1，A1'的像，所以该完全四点形是一个矩形的像，即对边点p1，q1是两个消失点。根据二次曲线的直径的定义：无穷远点关于二次曲线的有穷极线为二次曲线的直径，则点p1关于二次曲线C的有穷极线oq1为二次曲线C的直径。根据共轭直径的定义：直径与二次曲线的交点关于二次曲线的有穷极线为该直径的共轭直径，则直径oq1与二次曲线C的交点q1关于二次曲线C的有穷极线op1为直径oq1的共轭直径。因此点p1，q1为两条共轭直径方向的消失点。根据渐近线性质：二次曲线的渐近线相交于中心且与二次曲线的任何一对共轭直径调和共轭，及拉盖尔定理的推论：两条非迷向直线垂直的充要条件是这两条直线与过交点的两条迷向直线调和共轭，{p1，q1}为一组正交消失点。
其中，“×”表示两个点的连线，“〃”表示点积，u、v分别为两个方向的向量。通过(10)、(11)式可获取消失点p1、q1。通过同样的方法，可获取第一幅场景图像的另一组正交消失点{p2，q2}。
通过同样的方法，可分别获取第二幅场景图像的两组正交消失点{p3，q3}、{p4，q4}，以及第三幅场景图像的两组正交消失点{p5，q5}、{p6，q6}。
C.求解摄像机内部参数。
由正交消失点与绝对二次曲线像的约束关系，得：
pi Twqi＝0，(i＝1，2，3，4，5，6)，………………………………………(12)
首先，用SVD分解(12)式，获得w；对w＝K-TK-1进行Cholesky分解，得K-1；最后，对K-1求逆，得到摄像机内参数矩阵K，即获得摄像机内部参数。
实施例二
参见附图1-3，本实施例提出了一种以两块矩形平面镜和一个物体为靶标线性确定双平面镜折反射摄像机内参数的方法。本实施例采用的试验结构如图1所示，利用直径与共轭直径的性质进行摄像机自标定。
A.在一平面上垂直设置夹角为72度左右的两矩形平面镜Π1,Π2，在两平面镜Π1,Π2夹角间放置一物体标靶。这样，物体在两平面镜Π1,Π2中，可以形成4个折反射像，且摄像机拍摄包含物体本体和4个折反射像的5个视图不会相互遮挡。以点位对物体标靶和其4个折反射像进行描述，为物体点A0和4个折反射点A1、A2、A3、A4。A1是点A0在平面镜Π1中的折反射点；A2是点A0在平面镜Π2中的折反射点；A3是点A2在平面镜Π1中的折反射点；A4是点A1在平面镜Π2中的折反射点。
B.采用针孔摄像机从多个不同的角度拍摄得到多幅试验图像，从中选取三幅试验图像，在MATLAB中导入所选取的试验图像，通过Harris角点检测，提取得到图像特征点的坐标。具体如下：
第一幅试验图像上的特征点的齐次坐标矩阵如下：
a10＝[182.57285817758 4346.59988406690 1.00000000000]T，(13)
a11＝[575.29869517750 1456.30372416435 1.00000000000]T，(14)
a12＝[-327.88829702529 1196.68252153453 1.00000000000]T，(15)
a13＝[391.14165510780 715.92143108799 1.00000000000]T，(16)
a14＝[151.41481809023 510.21173647649 1.00000000000]T，(17)
第二幅试验图像上的特征点的齐次坐标矩阵如下：
a20＝[434.98845843861 -539.13072097412 1.00000000000]T，(18)
a21＝[-6873.96125176412 -24765.23050070402 1.00000000000]T，(19)
a22＝[3576.35612497510 -518.56769000855 1.00000000000]T，(20)
a23＝1435.69784730350 970.88338214859 1.00000000000]T，(21)
a24＝[-52.95339712575 457.36600473343 1.00000000000]T，(22)
第三幅试验图像上的特征点的齐次坐标矩阵如下：
a30＝[-4.30212362179 152.10284397426 1.00000000000]T，(23)
a31＝[423.32169175760 40861483023354 1.00000000000]T，(24)
a32＝[-3174.40661347560 184354.39533016100 1.00000000000]T，(25)
a33＝[1091.95616218312 464.24706196842 1.00000000000]T，(26)
a34＝[27442.74139074822 -5832.24682235077 1.00000000000]T，(27)
通过最小二乘法拟合，分别得到三幅试验图像的二次曲线C1、C2、C3的系数矩阵：
将式(13)-(17)及(28)带入式(1)-(5)，得到第一幅试验图像上圆心的像o1的齐次坐标矩阵：
o1＝[271.07879297758 1.35.61876993353 1.00000000000]T，(31)。
将式(18)-(22)及(29)带入式(1)-(5)，得到第二幅试验图像上圆心的像o2的齐次坐标矩阵：
o2＝[-191.20559859511 2822.16497379432 1.00000000000]T，(32)。
将式(23)-(27)及(30)带入式(1)-(5)，得到第三幅试验图像上圆心的像o3的齐次坐标矩阵：
o2＝[687.39863558328 215.50972888574 1.00000000000]T，(33)。
将式(13)和(31)带入式(6)、(7)，获取a0的对拓像点a0’的齐次坐标矩阵：
a0′＝[283.61376001313 566.68932224810 1.00000000000]T，(34)。
将式(14)和(31)带入式(8)、(9)，获取a1的对拓像点a1’的齐次坐标矩阵：
a1′＝[260.36849330372 612.27834690176 1.00000000000]T，(35)。
将式(15)和(31)带入式(6)、(7)，获取a2的对拓像点a2’的齐次坐标矩阵：
a2′＝[488.23453710135 977.22504611500 1.00000000000]T，(36)。
将式(16)和(31)带入式(8)、(9)，获取a3的对拓像点a3’的齐次坐标矩阵：
a3′＝[-586.29623459280 3313.26828767359 1.00000000000]T，(37)。
由直径与共轭直径的性质获取正交消失点：
将式(13)、(14)、(34)、(35)带入(10)式，获取消失点p1的齐次坐标矩阵：
p1＝[-773.77799707702 -1554.78190166745 1.00000000000]T。 (38)
将式(13)、(14)、(34)、(35)带入(11)式，获取消失点q1的齐次坐标矩阵：
q1＝[550.41260202396 291.82277992176 1.00000000000]T。 (39)
同理，可获得第一幅试验图像的另一组正交消失点{p2，q2}的齐次坐标矩阵、第二幅试验图像的两组正交消失点{p3，q3}、{p4，q4}的齐次坐标矩阵、第三幅试验图像的两组正交消失点{p5，q5}、{p6，q6}的齐次坐标矩阵：
p2＝[145.05004807474 -273.46169677409 1.000000000000]T， (40)
q2＝[952.40555572659 852.40829592714 1.00000000000]T。 (41)
p3＝[-323.58920984578 -544.09628302816 1.000000000000]T， (42)
q3＝[593.20016643230 507.02129911087 1.00000000000]T； (43)
p4＝[163.87031896016 14.78593633755 1.00000000000]T， (44)
q4＝[1389.76714506567 1420.30146822241 1.00000000000]T。 (45)
p5＝[-10.44091715752 508.80397038770 1.0000000000000]T， (46)
q5＝[2087.87369533471 1076.57498745986 1.000000000000]T； （47)
p6＝[-737.72373546531 312.01264904345 1.00000000000]T， (48)
q6＝[677.34458040926 694.90793673332 1.000000000000]T。 (49)
C.求解摄像机内部参数：
将式(38)-(49)带入式(12)，并用SVD分解(12)所得线性方程组的解，得到绝对二次曲线像w的系数矩阵：
对式(50)中的w进行Cholesky分解，再求逆，就可以得到参数矩阵K：
由式(51)可得，摄像机内的5个内部参数：u轴方向的有效焦距：fu＝600.00000009666；v轴方向的有效焦距：fv＝660.00000005306；倾斜因子：s＝0.09999986279；u0＝299.99999997023；v0＝230.00000001826，即主点齐次坐标矩阵为：P＝[299.99999997023 230.00000001826 1.00000000000]T。
实施例三
本实施例公开了一种基于直径与共轭直径性质的摄像机标定系统，该系统运行上述实施例中的方法，该系统包括一图像采集器和一运算器，图像采集器用于采集图像并传输给运算器运算；其中，图像采集器执行上述基于直径与共轭直径性质的摄像机标定方法中的图像采集动作，运算器执行上述基于直径与共轭直径性质的摄像机标定方法中的运算动作，并将运算结果输出。
上述摄像机标定系统的试验场景由两平面镜和一物体标靶搭建而成，量平面镜成72度左右夹角，物体标靶置于该夹角中，物体标靶的放置屏幕垂直于两平面镜。
在一个实施例中，图像采集器为针孔摄像头，其采集至少3幅图像传输给运算器，运算器从所接收的图像中按一定规则筛选出3幅图像进行运算。
实施例四
本实施例公开了一种基于直径与共轭直径性质的摄像机标定系统，其包括两平面镜、一物体点、一图像采集器和一运算器，图像采集器的数据输出端俩呢及运算器的数据输入端，在一个实施例中，图像采集器选用针孔摄像头。系统运行流程为上述基于直径与共轭直径性质的摄像机标定方法的执行流程，其中，两面平面镜和一个物体点用于布置试验场景，即两平面镜成72度左右夹角，将物体点置于两平面镜的锐角间；图像采集器用于执行所述基于直径与共轭直径性质的摄像机标定方法中的场景图像采集动作，匹配与上述实施例，为采集3幅不同视角下的场景图像，并将其传输给运算器；运算器用于执行所述基于直径与共轭直径性质的摄像机标定方法中的运算动作并输出运算结果，即执行方法步骤中B后的步骤。
本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。
Claims (8)
1.一种基于直径与共轭直径性质的摄像机标定方法，其特征在于，包括以下步骤：
A.获取若干幅不同视角下的场景图像，所述场景图像对应的试验场景为：在夹角为70-75度的两平面镜间放置一物体点，形成试验场景，在该试验场景下，得到5个点位：所述物体点及所述物体点在两所述平面镜中的4个折反射点，所述5个点位必然在同一圆上；
B.针对每一幅所述场景图像，执行以下流程1)-4)：
1)提取场景图像的特征点坐标，依据所提取的场景图像的特征点坐标，计算出所述5个点位所在圆的像；
2)分别计算所述5个点位的像，依据所述5个点位的像，计算出所述圆的圆心的像；
3)依据所述圆的像以及所述圆心的像，计算出所述5个点位中任意两相邻点位的像的对拓像点；
4)依据两所述相邻点位的像及其对应的对拓像点，计算所述圆的像的直径及共轭直径，并依据所述直径与所述共轭直径计算出所述场景图像的两组正交消失点的齐次坐标；
C.基于正交消失点与绝对二次曲线像的约束关系，依据所得到的所有正交消失点的齐次坐标组，计算出摄像机的内参数。
2.如权利要求1所述的基于直径与共轭直径性质的摄像机标定方法，其特征在于，所述流程3)中，所述任意两相邻点位的像为：所述物体点的像及所述物体点在一平面镜中的像点的像。
3.如权利要求1所述的基于直径与共轭直径性质的摄像机标定方法，其特征在于，所述流程2)为：先分别计算所述5个点位的像，再分别计算各点位的像关于所述圆的像的极线，再基于部分或全部所述各点位的像关于圆的像的极线间的交点的坐标，计算所述圆心的像。
4.如权利要求3所述的基于直径与共轭直径性质的摄像机标定方法，其特征在于，所述基于部分或全部所述各点位的像关于圆的像的极线间的交点的坐标，计算所述圆心的像具体为：
设所述5个点位分别为：物体点A0、A0在平面镜Π1中的折反射点A1，A0在平面镜Π2中的折反射点A2、A2在平面镜Π1中的折反射点A3、A1在平面镜Π2中的折反射点A4，5个点位对应的像分别为a0、a1、a2、a3、a4；
取a0关于所述圆的像的极线，和a1、a2关于所述圆的像的极线间的两个交点m、s；取a1关于所述圆的像的极线，和a4关于所述圆的像的极线间的交点t，取a2关于所述圆的像的极线，和a3关于所述圆的像的极线间的交点n；再计算直线mn和直线st的交点即得圆心的像。
5.如权利要求1所述的基于直径与共轭直径性质的摄像机标定方法，其特征在于，所述流程1)中，依据所提取的场景图像的特征点坐标，计算出所述5个点位所在圆的像具体为：
利用最小二乘法对所述所提取的场景图像的特征点坐标进行拟合，得到的二次曲线即为所述5个点位所在圆的像。
6.如权利要求1所述的基于直径与共轭直径性质的摄像机标定方法，其特征在于，所述步骤C具体为：
正交消失点与绝对二次曲线像的约束关系为：
pi Twqi＝0，i＝1，2，3...2N，N为场景图像的数量，{pi，qi}为一组正交消失点齐次坐标；
利用SVD对于上述正交消失点与绝对二次曲线像的约束关系进行分解，获得w，再将w分解为w＝K-TK-1并进行Cholesky分解，得到K-1，最后计算出矩阵K即为摄像机内部参数矩阵，分别提取所述摄像机内部参数矩阵中的参数既得摄像机的内参数。
7.如权利要求1-6之一所述的基于直径与共轭直径性质的摄像机标定方法，其特征在于，所述步骤A中所获取的场景图像至少为3幅。
8.一种基于直径与共轭直径性质的摄像机标定系统，该系统包括一图像采集器和一运算器，图像采集器用于采集图像并传输给运算器运算；其特征在于，所述系统用于执行如权利要求1-7之一的基于直径与共轭直径性质的摄像机标定方法，其中，图像采集器执行所述基于直径与共轭直径性质的摄像机标定方法中的图像采集动作，所述运算器执行所述基于直径与共轭直径性质的摄像机标定方法中的运算动作，并将运算结果输出。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910378228.7A CN110120078B (zh) | 2019-05-08 | 2019-05-08 | 基于直径与共轭直径性质的摄像机标定方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910378228.7A CN110120078B (zh) | 2019-05-08 | 2019-05-08 | 基于直径与共轭直径性质的摄像机标定方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110120078A CN110120078A (zh) | 2019-08-13 |
| CN110120078B true CN110120078B (zh) | 2022-02-22 |
Family
ID=67521880
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910378228.7A Expired - Fee Related CN110120078B (zh) | 2019-05-08 | 2019-05-08 | 基于直径与共轭直径性质的摄像机标定方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110120078B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101518438A (zh) * | 2009-03-27 | 2009-09-02 | 南开大学 | 双目内窥镜手术视觉系统 |
| CN103400374A (zh) * | 2013-07-15 | 2013-11-20 | 云南大学 | 利用双平面镜装置和拉盖尔定理的推论求解摄像机内参数 |
| CN103440638A (zh) * | 2013-07-15 | 2013-12-11 | 云南大学 | 利用双平面镜装置和圆环点性质求解摄像机内参数 |
| CN104182986A (zh) * | 2014-09-11 | 2014-12-03 | 云南大学 | 由正交隐消点的性质求解平面折反射摄像机内参数的方法 |
| CN104200476A (zh) * | 2014-09-11 | 2014-12-10 | 云南大学 | 利用双平面镜装置中的圆周运动求解摄像机内参数的方法 |
| CN104200477A (zh) * | 2014-09-11 | 2014-12-10 | 云南大学 | 基于空间平行圆求解平面折反射摄像机内参数的方法 |
| CN107657645A (zh) * | 2017-10-09 | 2018-02-02 | 云南大学 | 利用直线及圆的共轭直径的性质标定拋物折反射摄像机 |
| CN109360248A (zh) * | 2018-12-05 | 2019-02-19 | 云南大学 | 利用单个球及共轭直径的性质标定拋物折反射摄像机 |
| CN109360247A (zh) * | 2018-11-28 | 2019-02-19 | 云南大学 | 单个球的公共自极三角形及正交消失点标定抛物摄像机 |
| CN109544646A (zh) * | 2018-11-28 | 2019-03-29 | 云南大学 | 利用球及三正交消失点标定抛物折反射摄像机的方法 |
-
2019
- 2019-05-08 CN CN201910378228.7A patent/CN110120078B/zh not_active Expired - Fee Related
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101518438A (zh) * | 2009-03-27 | 2009-09-02 | 南开大学 | 双目内窥镜手术视觉系统 |
| CN103400374A (zh) * | 2013-07-15 | 2013-11-20 | 云南大学 | 利用双平面镜装置和拉盖尔定理的推论求解摄像机内参数 |
| CN103440638A (zh) * | 2013-07-15 | 2013-12-11 | 云南大学 | 利用双平面镜装置和圆环点性质求解摄像机内参数 |
| CN104182986A (zh) * | 2014-09-11 | 2014-12-03 | 云南大学 | 由正交隐消点的性质求解平面折反射摄像机内参数的方法 |
| CN104200476A (zh) * | 2014-09-11 | 2014-12-10 | 云南大学 | 利用双平面镜装置中的圆周运动求解摄像机内参数的方法 |
| CN104200477A (zh) * | 2014-09-11 | 2014-12-10 | 云南大学 | 基于空间平行圆求解平面折反射摄像机内参数的方法 |
| CN107657645A (zh) * | 2017-10-09 | 2018-02-02 | 云南大学 | 利用直线及圆的共轭直径的性质标定拋物折反射摄像机 |
| CN109360247A (zh) * | 2018-11-28 | 2019-02-19 | 云南大学 | 单个球的公共自极三角形及正交消失点标定抛物摄像机 |
| CN109544646A (zh) * | 2018-11-28 | 2019-03-29 | 云南大学 | 利用球及三正交消失点标定抛物折反射摄像机的方法 |
| CN109360248A (zh) * | 2018-12-05 | 2019-02-19 | 云南大学 | 利用单个球及共轭直径的性质标定拋物折反射摄像机 |
Non-Patent Citations (9)
| Title |
|---|
| Camera Calibration and Shap e Recovery from videos of Two Mirrors;Quanxin Chen等;《SpringLink》;20150319;第757-768页 * |
| Camera self-calibration from projection silhouettes of an object in double planar mirrors;YUE ZHAO等;《Journal of the Optical Society of America A》;20170531;第34卷(第5期);第696-707页 * |
| Geometric Properties of Multiple Reflections in Catadioptric Camera with Two Planar Mirrors;Xianghua Ying等;《2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition》;20100805;第1126-1132页 * |
| Planar Catadioptric Stereo: Geometry and Calibration;Joshua Gluckman等;《Proceedings. 1999 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (Cat. No PR00149)》;20020806;第1-7页 * |
| Self-Calibration of Catadioptric camera with two planar mirrors from silhouettes;Xianghua Ying等;《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》;20130531;第35卷(第5期);第1206-1220页 * |
| Self-Calibration of Turntable Sequences from silhouettes;Hui Zhang等;《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》;20090131;第31卷(第1期);第5-14页 * |
| Visual hulls from single uncalibrated snapshots using two planar mirrors;Keith Forbes等;《ResearchGate》;20040131;第1-6页 * |
| 利用物体在双平面镜中的投影轮廓进行摄像机自标定;张小芬;《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》;20150915(第9期);I138-1525 * |
| 由矩形确定摄像机内参数与位置的线性方法;吴福朝等;《软件学报》;20031231;第14卷(第3期);第703-712页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110120078A (zh) | 2019-08-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wu | Critical configurations for radial distortion self-calibration | |
| CN107886546B (zh) | 利用球像及公共自极三角形标定抛物折反射摄像机的方法 | |
| Kahl et al. | Critical motions for auto-calibration when some intrinsic parameters can vary | |
| CN103761721B (zh) | 一种适用于空间绳系机器人的立体视觉快速图像拼接方法 | |
| WO2019056782A1 (zh) | 一种基于球体投影公切线的多相机标定及参数优化方法 | |
| CN109360248A (zh) | 利用单个球及共轭直径的性质标定拋物折反射摄像机 | |
| Yang et al. | Camera calibration using projective invariants of sphere images | |
| Wu et al. | Easy calibration for para-catadioptric-like camera | |
| He et al. | A new camera calibration method from vanishing points in a vision system | |
| CN110120078B (zh) | 基于直径与共轭直径性质的摄像机标定方法和系统 | |
| CN109360247B (zh) | 单个球的公共自极三角形及正交消失点标定抛物摄像机 | |
| CN109035342B (zh) | 利用一条直线及圆环点极线标定拋物折反射摄像机的方法 | |
| CN107958468B (zh) | 利用空间位置不同的三个球标定中心折反射摄像机的方法 | |
| Chai et al. | Epipolar constraint of single-camera mirror binocular stereo vision systems | |
| CN111429522B (zh) | 利用共面圆的公共极点极线性质标定摄像机的方法和系统 | |
| Mariottini et al. | Planar catadioptric stereo: single and multi-view geometry for calibration and localization | |
| CN111210476B (zh) | 一种同时定位与建图的方法及装置 | |
| Mariottini et al. | Catadioptric stereo with planar mirrors: multiple-view geometry and camera localization | |
| CN109272558B (zh) | 分离圆的公共自极三角形及圆环点标定针孔摄像机的方法 | |
| Li et al. | Error analysis in stereo vision for location measurement of 3D point | |
| CN109934879B (zh) | 利用球和公共自极三角形标定抛物折反射摄像机的方法 | |
| Zhang et al. | The study of calibration and epipolar geometry for the stereo vision system built by fisheye lenses | |
| Zhao et al. | Camera self-calibration based on circular points with two planar mirrors using silhouettes | |
| CN110148182B (zh) | 一种标定摄像机的方法、存储介质、运算器和系统 | |
| CN113689507B (zh) | 一种基于共焦二次曲线标定针孔摄像机的方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220222 |