CN101373538A - 平移初值操作的自标定方法 - Google Patents
平移初值操作的自标定方法 Download PDFInfo
- Publication number
- CN101373538A CN101373538A CNA2008100420318A CN200810042031A CN101373538A CN 101373538 A CN101373538 A CN 101373538A CN A2008100420318 A CNA2008100420318 A CN A2008100420318A CN 200810042031 A CN200810042031 A CN 200810042031A CN 101373538 A CN101373538 A CN 101373538A
- Authority
- CN
- China
- Prior art keywords
- initial value
- sigma
- self
- intrinsic parameter
- video camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Studio Devices (AREA)
Abstract
本发明揭示了一种平移初值操作的自标定方法,包括如下步骤:步骤1:构造目标函数f(c);步骤2:控制摄像机相对于某一初始位置,保持姿态不变,作3次线性无关的平移运动,分别获取相对于初始位置的3个平移矢量,选取3次平移运动后的像平面上的匹配点对,确定摄像机内参数初值k=A-1b;步骤3:确定C的初值,用非线性优化目标函数法精化初值;步骤4:求出精化后的内参数矩阵K。本发明的自标定方法能有效改善计算机视觉的鲁棒性。
Description
技术领域
本发明涉及一种自标定方法,特别涉及一种平移初值操作的自标定方法。
背景技术
人类正在进入信息时代,计算机将越来越广泛地进入几乎所有领域。一方面是更多未经计算机专业训练的人也需要应用计算机,而另一方面是计算机的功能越来越强,使用方法越来越复杂。这就使人在进行交谈和通讯时的灵活性与目前在使用计算机时所要求的严格和死板之间产生了尖锐的矛盾。人可通过视觉和听觉,语言与外界交换信息,并且可用不同的方式表示相同的含义,而目前的计算机却要求严格按照各种程序语言来编写程序,只有这样计算机才能运行。为使更多的人能使用复杂的计算机,必须改变过去的那种让人来适应计算机,来死记硬背计算机的使用规则的情况。而是反过来让计算机来适应人的习惯和要求,以人所习惯的方式与人进行信息交换,也就是让计算机具有视觉、听觉和说话等能力。这时计算机必须具有逻辑推理和决策的能力。具有上述能力的计算机就是智能计算机。
智能计算机不但使计算机更便于为人们所使用,同时如果用这样的计算机来控制各种自动化装置特别是智能机器人,就可以使这些自动化系统和智能机器人具有适应环境,和自主作出决策的能力。这就可以在各种场合取代人的繁重工作,或代替人到各种危险和恶劣环境中完成任务。
计算机视觉就是用各种成象系统代替视觉器官作为输入敏感手段,由计算机来代替大脑完成处理和解释。计算机视觉的最终研究目标就是使计算机能象人那样通过视觉观察和理解世界,具有自主适应环境的能力。要经过长期的努力才能达到的目标。因此,在实现最终目标以前,人们努力的中期目标是建立一种视觉系统,这个系统能依据视觉敏感和反馈的某种程度的智能完成一定的任务。
计算机视觉的基本任务之一是从摄像机获取的图像信息出发计算三维空间中物体的几何信息,并由此重建和识别物体,而空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系是由摄像机成像的几何模型决定的,这些几何模型参数就是摄像机参数。在大多数条件下,这些参数必须通过实验与计算才能得到,这个过程被称为摄像机定标(或称为标定)。标定过程就是确定摄像机的几何和光学参数,摄像机相对于世界坐标系的方位。标定精度的大小,直接影响着计算机视觉(机器视觉)的精度。
目前各种文献中各式各样摄像机自标定方法的研究,究其本质均是基于绝对二次曲线(The absolute conic)或其对偶绝对二次曲面(The absolute quadric)的方法。绝对二次曲线或其对偶绝对二次曲面在图像中的像或其对偶的位置与摄像机的刚体运动无关、而只与摄像机的内参数有关,根据这一性质,我们就可以通过绝对二次曲线或其对偶绝对二次曲面标定摄像机内参数。基于传统的kruppa方程的摄像机自标定是基于绝对二次曲线的摄像机自标定,但理论研究和实践都表明,基于传统的kruppa方程的摄像机自标定方法鲁棒性都较差。
为了提高基于传统kruppa方程摄像机自标定方法的鲁棒性,本发明提出了一种新的二步式摄像机自标定方法。
发明内容
本发明的目的是提供一种鲁棒性及标定精度较高的平移初值操作的自标定方法。
本发明方法的步骤包括:
步骤1:构造目标函数:
其中,n为从n对拍摄的图像中提取对应点对信息,n≥3;
步骤2:控制摄像机相对于某一初始位置,保持姿态不变,作3次线性无关的平移运动,分别获取相对于初始位置的3个平移矢量,选取3次平移运动后的像平面上的匹配点对,确定摄像机内参数初值k=A-1b;
步骤3:通过C=KKT确定C的初值,用非线性优化目标函数法精化初值;
步骤4:将C进行Cholesky分解可求出精化后的内参数矩阵K。
作为本发明的一种优选方案,步骤2具体为:控制摄像机相对于某一初始位置,保持姿态不变,作N次线性无关的平移运动,分别获取相对于初始位置的N个平移矢量,选取N次平移运动后的像平面上的匹配点对,确定摄像机内参数初值k=A-1b,其中N大于1。
本发明的有益效果在于:能有效改善计算机视觉中的鲁棒性。
附图说明
图1为本发明方法的流程图。
图2为基于传统的kruppa方程的摄像机自标定和本发明提出的基于kruppa方程摄像机自标定方法进行求精后求出的ax的实验结果与理论值的绝对误差随噪声水平的变化曲线。
图3为基于传统的kruppa方程的摄像机自标定和本发明提出的基于kruppa方程摄像机自标定方法进行求精后求出的ay的实验结果与理论值的绝对误差随噪声水平的变化曲线。
图4为基于传统的kruppa方程的摄像机自标定和本发明提出的基于kruppa方程摄像机自标定方法进行求精后求出的r的实验结果与理论值的绝对误差随噪声水平的变化曲线。
图5为基于传统的kruppa方程的摄像机自标定和本发明提出的基于kruppa方程摄像机自标定方法进行求精后求出的u0的实验结果与理论值的绝对误差随噪声水平的变化曲线。
图6为为基于传统的kruppa方程的摄像机自标定和本发明提出的基于kruppa方程摄像机自标定方法进行求精后求出的v0的实验结果与理论值的绝对误差随噪声水平的变化曲线。
具体实施方式
由于传统的基于Kruppa方程的摄像机自标定方法的鲁棒性差,本发明提出了一种新的二步式标定方法。首先对Kruppa方程进行简化,确定了经简化后的非线性优化目标函数,再通过摄像机的三次线性无关的任意平移运动确定初值,然后用非线性优化目标函数法精化初值。这种方法可以大大提高基于kruppa方程标定方法的鲁棒性及标定精度。
假设摄像机的模型是常用的线性模型“针孔模型”。因此从三维空间点X=(x,y,z,1)T到二维
图像点m=(u,v,1)T的成像关系可以表示为
sm=K[R|t]X (2.1)
其中 是摄像机的内参数矩阵,R,t是摄像机坐标系相对于世界坐标系的旋转矩阵与平移向量。
F=λ[e′]xKRK-1 (2.2)
由式(2.2)得FK=λ[e′]xKR,
将上两式等式两边分别相乘,可得
又因为RgRT=E,E为单位矩阵,所以可以推出
由上述结论可知,只要求出C,便可唯一的分解出摄像机的内参数矩阵K。Kruppa方程还有另一种表示形式:
(2.4)
传统的基于Kruppa方程的标定方法大多均是利用上述等比方程所提供的对C矩阵元素的非线性约束来进行标定的。
基本矩阵F经过SVD分解为 其中σi是F的第i个奇异值,ui和vi是相应得左右奇异向量。则对Kruppa方程进行简化:
将公式(2.5)的两端乘开,我们便可以得到简化的Kruppa方程如下:
相应地,公式(2.4)将变为
即Kruppa方程简化为:
很明显,一个基本矩阵最多可以提供关于矩阵C的5个未知元素的两个独立约束,所以,至少需要3幅图像,即3个基本矩阵,才能求解C,然后将C进行Cholesky分解可求出内参数矩阵K。
由Kruppa方程建立下述优化目标函数
然后用非线性优化目标函数法求出C,再将C进行Cholesky分解可求出内参数矩阵K。但这一方法是鲁棒性较差的,其原因有2点:①迭代初始值的计算根据某些假设得到,这些假设往往与实际不符;②非线性的优化过程很容易陷入局部最优解,导致没有意义的结果。由此可知,要想使基于Kruppa方程的摄像机自标定方法鲁棒性增强,就必须设定良好的初值。
通过主动视觉系统,可以确定出摄像机的运动参数。所谓主动视觉系统,就是将摄像机固定在视觉平台上,在摄像机在平台上运动时可以从控制器上读出运动参数。为了简化分析,我们将摄像机没有做平移运动时的摄像机坐标系作为世界坐标系,摄像机的光心作为世界坐标系得原点,则三维空间某点在此坐标系下记作,齐次坐标为X=(x,y,z,1)T,到二维像平面的投影为
s0m0=K[I|0]X (3.1)
此投影矩阵可以简化为s0m0=K(x,y,z)T,即(x,y,z)T=s0K-1m0,所以
当摄像机沿某一方向作平移运动,令平移矢量为t1=(tx,ty,tz)T,摄像机做平移运动后,以运动后的摄像机坐标系作为世界坐标系,三维空间某点在此坐标系下记作齐次坐标为X1,则有可推出即X1=(I|-t1)X,同样,以新的摄像机坐标系为世界坐标系时有s1m1=K[I|0]X1,既有
s1m1=K[I|-t1]X (3.3)
将式(3.2)代入(3.3)中可得:
由(3.4)得:
将(3.4)中(3)式代入(1),(2)式消去s1得:
将(4),(5)式两端相除得:
在两个像平面上选取n(n≥2)对对应点代入上式可得关于内参数的n个线性方程,写成矩阵形式
Ak=b (3.6)
其中,A为系数矩阵,k为摄像机内参数列向量,b为一列向量。
则 k=A-1b
考察矩阵方程(3.6),因为A的第一列向量与第三、四列向量线性相关,第二列向量与第五列向量也线性相关,可知rank(A)≤2。因此,一次平移无论从两幅图像上选取多少对对应点,至多能得到两个无关的线性方程.
摄像机作一次平移运动,可获得n(n≥i>j≥1)对图像点带入方程(3.6)得到n个线性方程,形式同(3.6)式,则可以得知:当tz≠0时,系数矩阵A的任意两个行向量均线性无关,且rank(A)=2。
以下是对上一段内容的反证:
由以上分析知rank(A)≤2。
假设第i行与第j行线性相关,则这两行的对应分量成比例:
由上式可推出
该式表明对应点 的连线斜率相等,因而相互平行,这样极点应在无穷远点,由透视几何知tz=0,与原条件矛盾,故摄像机作一次平移运动,可获得n(n≥i>j≥1)对图像点带入方程(3.6)得到n个线性方程,形式同(3.6)式,则可以得知:当tz≠0时,系数矩阵A的任意两个行向量均线性无关,且rank(A)=2成立。
摄像机只平移运动一次系数矩阵rank(A)=2,因此难以求出5个内参数。要想惟一求出本地摄像机内参数,摄像机需作3次平移运动t1,t2,t3,且t1,t2,t3线性无关,以便获得6组线性无关方程来求解5个内参数。所以只要摄像机作3次线性无关的平移运动就可以确定摄像机内参数的初值。
综上所述,本发明提出的平移初值操作的基于Kruppa方程的自标定方法的主要包括以下步骤:
步骤1:构造目标函数:
其中,n为从n对拍摄的图像中提取对应点对信息,n≥3;
步骤2:控制摄像机相对于某一初始位置,保持姿态不变,作3次线性无关的平移运动,分别获取相对于初始位置的3个平移矢量,选取3次平移运动后的像平面上的匹配点对,确定摄像机内参数初值k=A-1b;
步骤3:通过C=KKT确定C的初值,用非线性优化目标函数法精化初值;
步骤4:将C进行Cholesky分解可求出精化后的内参数矩阵K。
较佳实施例一
本实施例为模拟图像实验,选取理论摄像机,摄像机焦距f=50mm,成像平面为45mm*30mm,像素宽度:du=dv=1/20mm,畸变因子r=0.0,u0=v0=0,则其它两个内参数为:ax=ay=1000,为了验证本发明方法的鲁棒性,我们将为获得的像平面匹配点理论坐标值 设置不同的噪声(i=0,L,n;j=1,2,3),噪声水平用 来衡量,单位为pixel,图2至图6分别是基于传统的kruppa方程的摄像机自标定(图中为:traditional kruppa method)和本发明提出的基于kruppa方程摄像机自标定方法(图中为:improved method)进行求精后求出的五个内参数值的实验结果与理论值的绝对误差(单位为mm)随噪声水平的变化曲线。
从图2至图6可以看出,本发明提出的方法比传统的基于kruppa方程的标定方法标定结果误差更小,本发明提出的方法提高了标定方法的鲁棒性。
较佳实施例二
本实施例为真实图像实验,先将摄像机做三次线性无关的平移运动,摄取了三幅图像:
这三次平移运动设置为:((80mm,100mm,50mm),(-50mm,-70mm,60mm),(90mm,-70mm,80mm)),分别选取运动前后像平面间的匹配点对,运用本发明的标定方法得到摄像机内参数:ax=988.157,ay=990.659,r=-0.0123,u0=2.154,v0=3.111。此结果是符合实际情况的。
以上实施例仅用以说明而非限制本发明的技术方案。不脱离本发明精神和范围的任何修改或局部替换,均应涵盖在本发明的权利要求范围当中。
Claims (6)
1.一种平移初值操作的自标定的方法,其特征在于,包括如下步骤:
步骤1、构造目标函数f(c);
步骤2、控制摄像机作平移运动,确定摄像机内参数初值k;
步骤3、确定C的初值,用非线性优化目标函数法精化初值;
步骤4、求出精化后的内参数矩阵K。
2.如权利要求1所述的自标定方法,其特征在于,所述目标函数:
其中,n为n幅图像,n≥3,F为基本矩阵,σi是F的第i个奇异值,ui和vi是相应得左右奇异向量。
3.如权利要求1所述的平移初值操作的自标定方法,其特征在于,步骤2具体为:
控制摄像机相对于某一初始位置,保持姿态不变,作N次线性无关的平移运动,分别获取相对于初始位置的N个平移矢量,选取N次平移运动后的像平面上的匹配点对,确定摄像机内参数初值k=A-1b,其中N大于1。
4.如权利要求1所述的平移初值操作的自标定方法,其特征在于,步骤2具体为:
控制摄像机相对于某一初始位置,保持姿态不变,作3次线性无关的平移运动,分别获取相对于初始位置的3个平移矢量,选取3次平移运动后的像平面上的匹配点对,利用上确定摄像机内参数初值k=A-1b。
5.如权利要求1所述的平移初值操作的自标定方法,其特征在于:所述C的初值通过C=KKT确定。
6.如权利要求1所述的平移初值操作的自标定方法,其特征在于:所述精化后的内参数矩阵K通过将C进行Cholesky分解求出。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNA2008100420318A CN101373538A (zh) | 2008-08-25 | 2008-08-25 | 平移初值操作的自标定方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNA2008100420318A CN101373538A (zh) | 2008-08-25 | 2008-08-25 | 平移初值操作的自标定方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN101373538A true CN101373538A (zh) | 2009-02-25 |
Family
ID=40447690
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNA2008100420318A Pending CN101373538A (zh) | 2008-08-25 | 2008-08-25 | 平移初值操作的自标定方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101373538A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102750704A (zh) * | 2012-06-29 | 2012-10-24 | 吉林大学 | 一种摄像机分步自标定方法 |
CN102110291B (zh) * | 2009-12-25 | 2015-09-23 | 新奥特(北京)视频技术有限公司 | 一种变焦镜头的标定方法及装置 |
CN104091345B (zh) * | 2014-07-24 | 2017-01-25 | 中国空气动力研究与发展中心高速空气动力研究所 | 基于前方交会约束的五点相对定向方法 |
CN108416811A (zh) * | 2018-03-08 | 2018-08-17 | 云南电网有限责任公司电力科学研究院 | 一种摄影机自标定方法及装置 |
CN111243035A (zh) * | 2020-04-29 | 2020-06-05 | 成都纵横自动化技术股份有限公司 | 相机标定方法、装置、电子设备和计算机可读存储介质 |
-
2008
- 2008-08-25 CN CNA2008100420318A patent/CN101373538A/zh active Pending
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102110291B (zh) * | 2009-12-25 | 2015-09-23 | 新奥特(北京)视频技术有限公司 | 一种变焦镜头的标定方法及装置 |
CN102750704A (zh) * | 2012-06-29 | 2012-10-24 | 吉林大学 | 一种摄像机分步自标定方法 |
CN104091345B (zh) * | 2014-07-24 | 2017-01-25 | 中国空气动力研究与发展中心高速空气动力研究所 | 基于前方交会约束的五点相对定向方法 |
CN108416811A (zh) * | 2018-03-08 | 2018-08-17 | 云南电网有限责任公司电力科学研究院 | 一种摄影机自标定方法及装置 |
CN108416811B (zh) * | 2018-03-08 | 2022-04-12 | 云南电网有限责任公司电力科学研究院 | 一种摄影机自标定方法及装置 |
CN111243035A (zh) * | 2020-04-29 | 2020-06-05 | 成都纵横自动化技术股份有限公司 | 相机标定方法、装置、电子设备和计算机可读存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Darbon et al. | Overcoming the curse of dimensionality for some Hamilton–Jacobi partial differential equations via neural network architectures | |
Guo et al. | Novel discrete-time Zhang neural network for time-varying matrix inversion | |
Giftthaler et al. | Automatic differentiation of rigid body dynamics for optimal control and estimation | |
Zhang et al. | Zhang functions and various models | |
Lee et al. | Deep conservation: A latent-dynamics model for exact satisfaction of physical conservation laws | |
Gruenwald et al. | Computing actuator bandwidth limits for model reference adaptive control | |
CN101373538A (zh) | 平移初值操作的自标定方法 | |
Jahanchahi et al. | A class of quaternion valued affine projection algorithms | |
Qiu et al. | Model predictive control for constrained image‐based visual servoing in uncalibrated environments | |
Meo et al. | Multimodal vae active inference controller | |
Li et al. | Dissipativity and exponential state estimation for quaternion-valued memristive neural networks | |
Liu et al. | State estimation for nonlinear discrete–time fractional systems: A Bayesian perspective | |
Alise et al. | On extending the wave variable method to multiple-DOF teleoperation systems | |
Kong et al. | Terminal neural computing: finite-time convergence and its applications | |
Franceschi et al. | Identification of human control law during physical human–robot interaction | |
Chasnov et al. | Convergence analysis of gradient-based learning with non-uniform learning rates in non-cooperative multi-agent settings | |
Zhang et al. | A gain-adjustment neural network based time-varying underdetermined linear equation solving method | |
Miranda-Colorado | Parameter identification of conservative Hamiltonian systems using first integrals | |
CN115421387A (zh) | 一种基于逆强化学习的可变阻抗控制系统及控制方法 | |
Buchholz et al. | Design of a test environment for planning and interaction with virtual production processes | |
Rakhimov et al. | Positional-velocity control of the manipulator built on the basis of an intelligent mechatron module | |
Sent | Engineering dynamic economics | |
Banduka | Software system for remote robot control and monitoring based on android operating system and wireless communication | |
Tan et al. | Confidence set-based analysis of minimal detectable fault under hybrid Gaussian and bounded uncertainties | |
Costa Castelló et al. | Dae methods in constrained robotic system simulation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C12 | Rejection of a patent application after its publication | ||
RJ01 | Rejection of invention patent application after publication |
Open date: 20090225 |