CN1203297C - 求取相机光学投射参数的方法 - Google Patents

Abstract

本发明为一种求取相机光学投射参数的方法，是利用失真影像具有中心对称的特性，借由一只具有复数个对称且同心的几何图形的校正物件来定出相机镜头的光学轴，进而在光学轴上以试误法找出其投影中心点，并同时求出其等效焦距与归类出其原生的投射模式；由于本发明可以确切地定出相机的内、外部参数，而且校正的方法简单、成本低，可适用于任何一种投射模式，并且影像失真越大敏感度越佳，因此可以轻易地将失真影像转换为符合中心投射机制下的正常影像，更可应用在鉴定鱼眼镜头特性方面与立体影像定位的领域。

Description

求取相机光学投射参数的方法

技术领域

本发明是有关于一种数位影像处理与呈现的方法，且特别是一种借助于找出相机镜头的投射中心(viewpoint)与等效焦距(focal length)等光学投射参数，而恢复失真影像为正常透视影像的方法。

背景技术

经常一般光学镜头成像，大都希望其符合线性投射的成像结果，使用者在类似镜头下所拍摄到的影像画面会与真实世界非常接近，但是它有一个不足之处-视角小，以标准镜头为例，其视角大约在45度至55度之间，因此，像监视器或内视镜等需要大视角的领域，就改采用广角镜头或是鱼眼镜头等，以便可以一次摄取到大视角的影像画面。

其中，鱼眼镜头是应用于捕捉非常广角的影像，通常装有鱼眼镜头的相机可以摄取到180度、甚至以上的视野且只要攫取一次影像，无须移动相机本身多次拍摄，但是伴随著视角的增加，其原始影像也有严重的失真问题，故通常需要经由影像校正技术，以输出较接近真实世界的透视影像。而影像校正的精确度影响到鱼眼镜头可以应用到的范围；以一般的监视系统来说，若只要求能够看到监视范围内的人或物的动向即可，那么还可以忍受画面部分失真的情况；若是为拍摄虚拟实境(Virtual Reality)的图片，则只要影像“看起来”正常清晰即可；但若是要应用到影像定位的领域，例如，内视镜或机器人视觉，则在目前鱼眼镜头许多光学参数未明的情况之下，难以精确地定出影像于空间中的真实位置。

无论如何，对于消费者而言，若是镜头能够兼具大视角、影像正确清晰又能精确地定位就最有市场竞争力。况且鱼眼镜头又其有无限景深的优点，这是其他种类镜头所无法比拟的，因此如何对鱼眼镜头所产生的影像进行校正，更是一个重要的课题。

现有的公知技术中，已出现许多校正失真影像的方法。R.Y.Tsai(1987)利用空间中已知不共面的五个点以及一旋转矩阵与一转换矩阵的操作，来求取镜头的投影中心(viewpoint)与焦距(focal length)等参数，虽然经由其模拟所计算出来的结果已经相当地准确，但因其理论推导的基础是线性投射，应用在象鱼眼镜头这种严重非线性投射机制时，运算等效焦距的误差相当地大，所以无法直接沿用而成为一通用的校正方式。之后，出现一种针对鱼眼镜头的简单校正方式，请参照图1A与图1B，其中图1B是对应图1A的半球体空间投射模式，假设影像平面1为椭圆形(或圆形)的情形下，其长轴11与短轴12的交点13刚好是影像中心(图中C点)，此外也相信鱼眼镜头摄取到的视野刚好是180度，基于上述的几个前提之下，推断影像平面1边缘处的入射方位角(zenithal angle)为π/2，中心点13的方位角为0，其余的点依照其与C点13和边缘间的相对位置而个别推测其方位角θ。例如，图1A中的A点，应该对应于图1B中的A′点。上述这种鱼眼镜头影像的校正方式，简单且不需额外的校正物件(calibration target)辅助。这是许多直接以平面影像校正鱼眼相机所使用的相机描述模式。但是它的假设前提具有相当的不确定性，首先实际上画面的失真中心点13未必刚好是影像实际的中心点，而且鱼眼镜头影像边缘处模糊，难以定出所谓180度的边界；最重要的是无法定位半球体的半径和中心，这种以影像为基础的解析模式其校正影像的传真度很难评估。很明显地，这样的校正方式不适用于立体影像定位的领域。

在专利的揭露上，TeleRobotic International Inc.提出几个关于鱼眼镜头相机的专利(美国专利号5185667、5313306、5359363、5384588)，大体上来说，其技术内容是根据前述的相机模式，利用一个鱼眼镜头拍摄整个半球形视野，然后利用电脑控制一专门设计的电子线路，以数字转换的方式将原始的失真影像转换为正常的透视影像，并将其显示于荧光屏中，该技术被应用在全方位显示、监视、内视镜与远端控制等方面。之后，Interactive Pictures Corporation根据前述TeleRoboticInternational Inc.的技术，更提出一系列改良后的新方案(美国专利号5764276、5877801、5903319、5990941、6002430、6147709、6201574B1)。但是，无论是上述哪一种技术内容，皆是利用固定的投射模式来校正影像，并没有确切地定出鱼眼镜头相机的参数-投影中心(viewpoint)与焦距(focal length)，对于投射模式也都假设是如图1A与图1B描述的投射模式-“等距离投射”(EquidistantProjection)-最常见的鱼眼镜头投射模式。在这种精确的参数未定、投射模式未明的情形下，只能将原始影像展开与还原，无法考虑校正影像的准确度，应用在立体影像定位的领域必受限制。

事实上，目前公知的鱼眼镜头投射模式，除了“等距离投射”(Equidistant Projection)之外，还有“立体影像投射”(Stereographic Projection)与“直角投射”(OrthographicProjection)等，其光学投射的数学关系式分别表示如下：

1.等距离投射：IH＝fθ

2.立体影像投射：IH＝2f×tan(θ/2)

3.直角投射：IH＝f×sinθ

其中，

IH：影像点与镜头光学轴的距离(像高)；

f：鱼眼镜头的等效焦距；

θ：物体点对于焦平面的入射角，即为入射光与光学轴的夹角。

理论上，“立体影像投射”是最佳的鱼眼镜头投射模式；但是由于光学上设计的原因，符合“等距离投射”理论的鱼眼镜头是最容易生产制造的，这也使得目前公知的校正技术都有一假说：所有鱼眼镜头的投射模式都是“等距离投射”，但事实上并非必然。

从另一方面来说，虽然镜头在制造时是依照一定的设计，但在制造完成后是否还是原设计的规格则难以验证；此外，鱼眼镜头在组装入一个真实系统(如照相机)之后，其有效焦距与可观察视角更可能会跟着变动，因此若是能有一简单又通用的技术，可以检验鱼眼镜头或是其组成影像攫取装置的规格，使得其出货时有较确定的规格，则可以大幅地增加鱼眼镜头的附加价值。

对于鱼眼镜头，本领域普通技术人员认为没有“实际”投影中心，这是以直线投射的观点而言。如能归纳出其对应的投影模式且找到其投射中心与等效焦距等光学投射参数，不但可以轻易地校正出正确的投射影像、应用于立体影像定位的领域，更可应用在产品质量管理方面。

发明内容

有鉴于此，本发明的目的为针对严重非线性投射机制的影像校正问题，提供一种以鉴定镜头原生光学投射模式为基础的本质上的解决方法。

本发明的另一目的为定出相机的投影中心与有效焦距，使之可以更精确地校正影像及应用在立体影像定位的领域。本发明的又一目的为提供一种可以检验鱼眼镜头或其取影装置的空间投射机制的方法，以做为订定产品规格或出货前的质量管理。

根据上述本发明的目的，提供一种求取相机光学投射参数的方法。首先，将一具有测试图案的平面形式的校正物件放置于鱼眼镜头相机视野，调整校正物件的方向及位置，使得其形成的对应影像亦是相似的几何图案，此时连接测试图案与对应影像的中心，可以定出该鱼眼镜头的光学轴；之后，以试误法沿着光学轴寻找一定点，使得测试图案的对应影像像高以及被寻找到的定点至测试图案的方向角(zenithal angle)之间，符合一投射模式(projection mode)。

上述的投射模式可以是“等距离投射”(EquidistantProjection)、“立体影像投射”(Stereographic Projection)或“直角投射”(Orthographic Projection)等目前已知的鱼眼镜头投射模式的其中之一。找到的该定点即为该鱼眼镜头相机的投影中心(viewpoint)，至于其等效焦距可以由其投射模式的数学关系式得到。

由于本发明可以精确地定出鱼眼镜头相机的投影中心与等效焦距，且可找到其原生的投射模式，因此可以轻易地校正失真影像并找出其视野空间的投射曲线。

为让本发明的上述和其他目的、特征、和优点能更明显易懂，下文特举一较佳实施例，并配合附图，作详细说明如下。

附图说明

图1A、图1B表示公知一种以平面影像为基础的鱼眼镜头影像校正方法以及其空间投射的转换示意图；

图2表示本发明中定出鱼眼镜头的光学轴的光路示意图；

图3A～图3D表示本发明中校正物件上的测试图案的四个实施例；

图4表示本发明中以“等距离投射”模式为例，找出投影中心与等效焦距的光路示意图；

图5表示本发明实际测试时求取投影中心的渐近曲线图；以及

图6表示本发明中解决大于180度视角的校正物件的实施例。

具体实施方式

虽然象鱼眼镜头这种具有轴对称非线性失真的镜头所投射出的影像有严重的失真问题，不过其失真现象具有以下特性：其影像在焦平面上呈中心对称，此中心点称为失真中心，在空间中光学投射光路则对称于其光学轴，这是本领域技术人员所熟知的现象，本发明首先便是利用这样的现象来定出鱼眼镜头的光学轴，之后更以该光学轴为参考，进而找到鱼眼镜头相机的投影中心，且可运算出其焦距与归纳出其投射模式。

请参照图2，欲实现本发明方法必须利用一校正物件(calibrationtarget)22，而且该校正物件22至少具有一平面，其上必须具有至少一个几何图形，如果几何图形为多个，则须同心且对称，例如图中表示的同心圆，称之为测试图案(test pattern)220。进行校正时，将校正物件22放置于一鱼眼镜头相机的视野，此时测试图案220会在鱼眼镜头24后一影像平面23处形成一对应影像230。根据失真影像是中心对称的特性，若是测试图案220和影像平面23平行且中心点已经对准了鱼眼镜头24的光学轴21，那么对应影像230也一定是和测试图案220一样由同心圆组成，因此只要适当地调整校正物件22的位置与方向，直到所形成的对应影像230变成由同心圆轨迹组成时，连接测试图案220与对应影像230的圆中心，即是鱼眼镜头24的光学轴21。

可供利用于本发明方法中的测试图案220，并不只限定于如图3A所表示的同心圆，测试图案220若是由同心且对称的几何图形所组成会是较佳的实施例，除同心圆外，亦可利用如图3B的同心方形、如图3C的同心三角形、或是如图3D的同心六边形等，都是可应用于本发明方法中的测试图案220；甚至组合任意数目的同心且对称的圆形、方形、三角形与多边形，亦是另一种可行的实施例。但是在实际测试时，考虑到影像230有筒状失真的问题，因此除了圆形之外，需要设定几何图形(如三角形或方形等)的顶点为特征坐标点(featured coordinates)，以作为校正过程的参考点。

请参照图4，定出鱼眼镜头24的光学轴21之后，根据光学理论可知：镜头24的投影中心一定位于光学轴21上的某一点，而且往往就在鱼眼镜头24之内，如此一来，便大幅度缩减了寻找范围，因此，本发明就以试误法沿着鱼眼镜头24内的光学轴21一一测试，以找出鱼眼镜头24的投影中心点。至于其测试的方式，也是利用校正物件22上的测试图案220，若以“等距离投射”(Equidistant Projection)模式为例，假设已经确定光学轴21上的一定点241为光学原点，就可以量测得到该定点241至每一个同心圆上的物体点221的连线偏离光学轴21的方向角θi以及对应该物体点221的影像点231至光学轴21(此时也是影像中心)的距离IH_i(或称为像高)，有了这些数据，便可由每一个同心圆下的θ_i，与IH_i的关系而得到f_i。如果相机完全符合“等距离投射”的关系式，则失真由不同半径同心圆运算得到的f_i为一常数。

本发明方法在实际施行时，是将测试图案280设定为二十个同心圆，且每相邻的同心圆之间相隔5mm。为了描述方便，假设校正物件22中心点与光学轴21垂直相交处是(0，0，0)，且光学轴为z轴，可用(0，0，z)表示之，若投影中心与校正物件22的距离为D，设定校正物件22上各同心圆的半径为r_i，其对应每-影像高度IH_i，由于IH_i与θ_i都是D的函数，因此“等距离投射”可改为以下的型式IH_i(D)＝fθ_i(D)，其中i＝1-20，可以取最外围圆形图样为基准，IH₂₀(D)＝fθ₂₀(D)，经过简单运算后可得以下等式：

IH_i(D)/IH₂₀(D)-θ_i(D)/θ₂₀(D)＝0

此时若将(0，0，D)改为z轴上的一任意点，则可得一误差关系式如下：

e_i(z)＝IH_i(z)/IH₂₀(z)-θ_i(z)/θ₂₀(z)

根据上式，测试点在(0，0，D)时，e_i(z)为最小值，校正物件22的距离便可被固定。

但是上式只是取两只同心圆，所计算出来的结果，为考虑到测试范围涵盖相机的有效的视野，且观察同心圆成像沿着半径方向的失真，所以参考每一圆形轨迹的涵盖范围，设一权重函数w_i(D)＝(IH_i(D)-IH_i-i(D))/IH₂₀(D)，其中IH₀(D)＝0，以公平地对待各轨迹的成效。因此，本发明在光学轴21上寻找投影中心的配适过程中，应用的误差函数为：

$\mathrm{\ϵ}\left(z\right)=\underset{i=1}{\overset{20}{\mathrm{\Σ}}}\mathrm{abs}(e_i\left(z\right)\×w_i\left(D\right))$

其中z为光学轴21上的任意点，若能找出唯一一点使得ε(z)最小、或是趋近于0时，则该点即为鱼眼镜头相机的投影中心。至于焦距f，根据量测到的IH_i(D)及其相对的θ_i(D)为基础，利用下式计算之：

$f\left(D\right)=\underset{i=1}{\overset{20}{\mathrm{\Σ}}}{f}_i\left(D\right)\×w_i\left(D\right)$

其中，f_i(D)＝IH_i(D)/θ_i(D)，若镜头完全符合投射模式、测量无误差且D值求得准确，那么f(D)应等于任一f_i(D)，这就是镜头的焦距f。事实上，得到的每一个f_i(D)的统计标准偏差，更可以利用来估算投射模式的准确性，也就是说，可以用下列式子作为与“等距离投射”模式适配程度的指标：

$\mathrm{\σ}\left(D\right)=\left(\underset{i=1}{\overset{20}{\mathrm{\Σ}}}{(f_i\left(D\right)-f\left(D\right))}^2\right)/(20-1)$

请参照图5，图中显示以欧普罗公司出产的BV-7112型相机进行测试时，沿着z轴找寻D值的渐近曲线，该相机中安装了Daiwon Optical(Korea)公司的DW9813型鱼眼镜头，由制造商提供的规格焦距为1.78mm、对角线视野角有170度。图中以实线表现了最初一次的测试结果，更以该测试下的D值为基准(dD＝0)，将校正物件22分别往外移动5mm(dD＝5)、10mm(dD＝10)、15mm(dD＝15)、20mm(dD＝20)与25mm(dD＝25)进行同样的测试，发现在该六种情形下，都有一很明显的ε(z)最小值，这证明了鱼眼镜头的确有投影中心，且本发明可以很准确地将它找出。与图5相关的测试数据如表1所示：

                            表1  测试的参数与结果

dD	0	5	10	15	20	25
							D	14.7	19.6	25.2	30	35.3	39.5
f(D)	1.805	1.788	1.827	1.796	1.798	1.784
							σ(D)	0.005	0.002	0.0091	0.0058	0.0062	0.0052

(单位：mm)

观察表1中的数据，不论校正物件22是在六个位置中的哪一个，所计算出来的焦距落点(f(D)±σ(D))很接近，而且σ(D)相当小，显示本发明方法具有相当优良的准确度与精确度。

当推导出鱼眼镜头相机的投影中心与焦距后，影像校正便会变得非常容易。若是以符合“等距离投射”模式的鱼眼镜头相机为例，请再次参照图4，该投射模式中半球体视野的物体点221与所对应影像点231间的映射关系很直接，可把影像平面以由焦距为半径长度的圆球面25来表示。如此在逻辑上，更可以象线性投射一样，入射光线对焦平面拥有相同的入射角和折射角。而任一视野线的投射影像长度，则可直接可用其入射角(即是反射角)的弧长来表示。所以在入射角为(就是反射角)θ时其像长为IH＝fθ_i，而其校正后影像点231’的像高为IH’＝f×tanθ。由图4中可以清楚地看出，ΔOPQ相似于ΔOP’Q’，因此校正出来的每一IH’都与其对应的r_i成等比例，故通过本发明方法，可以非常准确地将失真影像还原。

由于本发明方法于测试过程中，会同时检验所得到的数据在哪一种投射模式下使得误差值ε(z)最小，因此，本发明中的求取投影中心与焦距的方法，并不只限定应用于符合“等距离投射”模式下的鱼眼镜头相机，亦可应用于符合“立体影像投射”(IH＝2f×tan(θ/2))或“直角投射”(IH＝f×sinθ)模式下的相机，甚至说可以鉴定任何已知投射函数的非线性镜头，具有归纳与确定各个相机的真实投射模式的功能。至于可以应用本发明的相机种类包含有CCD相机、CMOS相机、数字相机或是一传统使用底片的相机皆可。

上述平面形式的校正物件22不可能达到180度的视野角，当视野角为180度时其所需校正物件22的半径为无限大，但这往往鱼眼镜头可摄取到的视野角度。至于如何解决此问题，本发明也提供了解决的办法，请参照图6，只要将校正物件22延伸成中空圆柱状即可达成，就像一个一端开放的铁罐，罐子的底面绘制如前面所描述的平面形式校正物件22，并用以校正得到相机方位及距离。当其已经定位出相机距离D后，此时光学轴21和圆柱中心轴线一致，而由圆柱周围环绕面22a向镜头延伸距离D即到达鱼眼镜头相机水平线，如图中表示位于由投影中心241所定义的水平面上的物体点222，其对应的影像点232即位于影像180度的边界。这种延伸方式更可以应用于视野角度大于180度的镜头。

由于本发明可以确切地定出鱼眼镜头相机的投影中心与等效焦距，如果参考校正物件22的方位(校正物件22的方位是可以得到的)，可相对定位多数组相机组成立体视觉系统，并且此系统将可以比一般镜头有更大的可操作视角。以三角学运算定位物件的三维方位，已为本领域普通技术人员所熟悉，故在此不对其详细的技术内容多做描述。然而本发明可经由投射公式，很快地由“所谓的”失真像高得到焦平面入射角(因为求取被定位点，对组成立体视觉系统相机组的入射角，是立体视觉三维定位的必要步骤)，这比一般先以非线性高阶函数来校正符合于线性投射的像高后，再结合线性等效焦距的反正切函数求取入射角的方法减少了许多计算步骤。所以用原生投射模式来描述象鱼眼镜头这种严重非线性投射机制，有绝对的优势。

本发明提出的定位鱼眼镜头相机及求取其等效焦距的方法具有以下优点：

1.能够确切地定出鱼眼镜头相机的投影中心且求出其焦距，因此可以轻易地将失真影像复原为中心投射机制下的正常影像。

2.可以归纳或找出鱼眼镜头相机的真实的投射模式。

3.可以应用到立体影像定位的领域，具有更简单与更快速的入射角运算方式。

4.校正的方法简单且成本低，适用于任何一种投射模式的鱼眼镜头或非线性投射机制的相机。

虽然本发明已以一较佳实施例揭露如上，然其并非用以限定本发明，任何本领域的普通技术人员，在不脱离本发明的精神和范围内，当可作些许的更动与润饰，因此本发明的保护范围当视后附的权利要求书所限定的范围为准。

Claims (8)

1、一种求取相机光学投射参数的方法，用于获得相机的投射中心及等效焦距，其中所应用的相机具有一轴对称非线性失真的镜头，该方法包含有：

提供具有一测试图案的一校正物件，该测试图案是由中心对称的多个几何图形所组成；

将该校正物件置于该相机的视野中，使该测试图案在一影像平面上形成一对应影像；

调整该校正物件与该相机间的相对位置，使得该对应影像也呈现中心对称，连接该测试图案与该对应影像的中心为一光学轴；以及

沿着该光学轴寻求一定点，使得该多个几何图形在该对应影像中形成的多个像高、以及该多个几何图形的多道入射光与该光学轴的多个夹角，均符合一已知的投射模式，则该定点即为投影中心，根据该多个像高、多个夹角与该投射模式计算出该等效焦距。

2、根据权利要求1所述的求取相机光学投射参数的方法，其特征在于所述的几何图形是选自圆形、方形、三角形与多边形的组合的其中之一。

3、根据权利要求1所述的求取相机光学投射参数的方法，其特征在于所述的几何图形是由多个同心圆形、同心方形、同心三角形或同心多边形所组成。

4、根据权利要求1所述的求取相机光学投射参数的方法，其特征在于所述的轴对称非线性失真的镜头是一鱼眼镜头。

5、根据权利要求1所述的测定求取相机光学投射参数的方法，其特征在于所述的投射模式是选自一等距离投射、一直角投射与一立体影像投射的组合的其中之一。

6、如权利要求1所述的测定求取相机光学投射参数的方法，其特征在于所述的校正物件至少具有一平面，以提供该测试图案。

7、根据权利要求6所述的测定求取相机光学投射参数的方法，其特征在于所述的平面的周围还垂直延伸出一环绕面，而使得该校正物件变成一中空且一端开放的罐状。

8、根据权利要求1所述的测定求取相机光学投射参数的方法，其特征在于所述的相机是选自一CCD相机、一CMOS相机、一数位相机与一传统使用底片相机的一组的其中之一。

Images