CN100428782C

CN100428782C - 信息处理方法和设备

Info

Publication number: CN100428782C
Application number: CNB2006101081548A
Authority: CN
Inventors: 守田宪司; 内山晋二
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2005-07-29
Filing date: 2006-07-28
Publication date: 2008-10-22
Anticipated expiration: 2026-07-28
Also published as: JP4250620B2; CN1913592A; JP2007034985A; US20070024712A1; US7821535B2

Abstract

本申请涉及信息处理方法和设备。从包括多个标记的图案图像中检测标记。计算检测到的标记在捕捉到的图像上的第一位置。使用与图像捕捉设备相关的参数，计算表示所述标记在捕捉到的图像上的位置的第二位置。在固定图像捕捉设备的镜头的径向畸变的参数的情况下，使用第一位置和第二位置之间的差来校正图像捕捉设备的镜头的所述径向畸变参数之外的参数。使用校正后的参数，计算表示所述标记在捕捉到的图像上的位置的第三位置。使用第一位置和第三位置之间的差，校正所述径向畸变参数。

Description

信息处理方法和设备

技术领域

本发明涉及校准与图像捕捉设备有关的参数的技术。

背景技术

由于通常使用的摄像机(照相机)的镜头不是理想的针孔摄像机的镜头，这样的摄像机捕捉的图像常常包括镜头导致的畸变，比如桶形畸变等，而不是理想的透视投影。因此，当由计算机或者类似设备进行图像处理时，普遍进行对图像的畸变进行校准的处理。

传统上，对于这样的处理，使用这样一种方法：捕捉校准图案的图像，根据该图像计算摄像机的畸变和透视投影转换参数。S.Uchiyama，K.Takemoto，K.Satoh，H.Yamamoto and H.Tamura：“MR Platform：A basic body on which mixed reality applications arebuilt，”Proc.IEEE/ACM Int’l Symp.On Mixed and AugmentedReality(ISMAR 2002)，pp.246-253，2002描述了这样的传统的图像畸变校准方法。

例如，作为畸变模型，已知有下述等式：

x’＝k₂×(x_i-c_x)

y’＝k₂×(y_i-c_y)

d＝1-k₁(x’²+y’²)

x_o＝x’×d+c_x

y_o＝y’×d+c_y (1)

其中(x_i，y_i)表示没有任何畸变的理想位置，(x_o，y_o)表示有畸变的位置，(c_x，c_y)表示畸变中心位置。

用于估计参数的基本序列如下：

A)准备初始值(c_x，c_y，k₁和k₂)；

B)使用过程A)中的畸变参数，从网格状观察点(x_o，y_o)计算畸变校正后的点(x_c，y_c)；

C)用最小二乘法计算用来将网格点转换到(x_c，y_c)的对应性(homography)；

D)计算用过程C)的对应性转换网格点所需的(x_h，y_h)；

注意，过程C)和D)对应于对(x_c，y_c)进行保留畸变的线性近似的操作。

E)用过程A)的畸变参数逆校正(x_h，y_h)，以计算(x_ho，y_ho)；

F)使用(x_o，y_o)和(x_ho，y_ho)之间的差，用牛顿法(the Newtonmethod)优化畸变参数。

但是，为了如上所述计算摄像机畸变，需要预处理，例如捕捉分布在垂直于摄像机光轴的平面上的已知标记的图像。当校准图案放置得不垂直时，就会出现误差。

由于摄像机的透视投影转换参数必须在稍后单独计算，就必须进行两次校准以计算畸变参数和透视投影转换参数。对于第二次校准，需要不仅捕捉垂直校准图案的图像，还要捕捉多个方向的校准图案的图像。这导致很麻烦的操作。

图3是前述传统的畸变参数计算处理的流程图。

通过捕捉校准图案的图像，获得实际捕捉到的图像(步骤S301)。检测所获得的捕捉到的图像中的标记(观察点)并获取它们的位置(步骤S302)。接下来，通过上述方法计算校准参数(畸变参数)(步骤S303)。保存计算出来的校准参数(步骤S304)。

另外，在根据图3的流程图的处理之后，必须计算摄像机的透视投影参数。

上述例子没有考虑长宽比包括误差的情况。当长宽比不是精确的1∶1时，畸变参数就包括误差。

作为另一种现有技术，可以参阅微软技术报告：Technical ReportMSR-TR-98-71。该文献披露了一种同时计算摄像机的透视投影参数和畸变参数的方法。但是，由于在该文献中没有考虑长宽比，长宽比的误差导致了摄像机的透视投影参数和畸变参数的误差。

发明内容

本发明的一个目的是提供一种解决摄像机参数估算中长宽比误差不利地影响畸变参数的精度这样的问题的技术。

本发明的另一个目的是，即使不是在垂直于摄像机光轴的平面上设置图案，也能高精度地估计畸变校正参数。

为了实现本发明的目的，例如提供了本发明的信息处理方法，包括下列方案。

也就是，一种信息处理方法，用于估算校正参数，所述校正参数包括长宽比、N次径向畸变参数以及M次径向畸变参数(M＞N)，该方法包括：

获取步骤，获取通过用图像捕捉设备捕捉包括标记的图案图像而获得的捕捉到的图像；

检测步骤，从所述捕捉到的图像中检测所述标记；

第一估算步骤，在固定M次径向畸变参数的情况下，使用检测到的标记的图像位置来估算长宽比和N次径向畸变参数(M＞N)；以及

第二估算步骤，在固定估算出的长宽比和估算出的N次径向畸变参数的情况下，使用检测到的标记的图像位置来估算M次径向畸变参数(M＞N)。

为了实现本发明的目的，例如提供了本发明的信息处理设备，包括下列方案。

也就是，一种信息处理设备，用于估算校正参数，所述校正参数包括长宽比、N次径向畸变参数以及M次径向畸变参数(M＞N)，该设备包括：

获取单元，用于获取通过用图像捕捉设备捕捉包括标记的图案图像而获得的捕捉到的图像；

检测单元，用于从所述捕捉到的图像中检测所述标记；

第一估算单元，用于在固定M次径向畸变参数的情况下，使用检测到的标记的图像位置来估算长宽比和N次径向畸变参数(M＞N)；以及

第二估算单元，用于在固定估算出的长宽比和估算出的N次径向畸变参数的情况下，使用检测到的标记的图像位置来估算M次径向畸变参数(M＞N)。

从下面结合附图对举例的实施方式的说明可以清楚本发明的其他特征。

附图说明

图1的框图图示了包括作为图像捕捉设备的摄像机101和执行校正处理的计算机102的系统的硬件布置的例子；

图2图示了用根据第一实施方式的系统校准(校正)与摄像机101相关的参数的状态；

图3是传统的畸变参数计算处理的流程图；

图4是图示了常见的桶形畸变；

图5是用于校准与摄像机101相关的参数的处理的流程图。

具体实施方式

下面根据附图详细说明本发明的优选实施方式。

【第一实施方式】

图1的框图图示了包括作为图像捕捉设备的摄像机101和执行校正处理的计算机102在内的系统的硬件布置的例子。

摄像机101是符合NTSC的大众型摄像机，具有镜头径向畸变。摄像机101捕捉的图像作为NTSC信号输出到计算机102。

计算机102包括捕捉设备103、CPU 104、存储器105、显示设备106和输入设备107。注意，计算机102的结构不限于图1所示，根据需要可以加以修改。

捕捉设备103接收摄像机101输出的NTSC信号，将其转换为数据(图像数据)，将图像数据输出到存储器105。

CPU 104利用存储在存储器105中的程序和数据控制整个计算机102，并执行后面要描述的由计算机102实现的各个处理。

存储器105可以根据需要提供各种区，比如用于临时存储从捕捉设备103输出的图像数据的区，当CPU 104执行各种处理时使用的工作区，等等。注意，该工作区也包括临时存储作为CPU 104对该图像数据执行各种处理的结果的数据(已处理过的图像数据)的区。

显示设备106包括CRT、液晶显示器等，能够显示图像、文本等。

输入设备107包括键盘、鼠标等，当操作者操作输入设备时能够向CPU 104发出各种指令。

图2图示了用上述系统校准(校正)与摄像机101相关的参数的状态。注意，图2中相同的附图标记表示与图1中相同的部件，其说明在下面省略了。

附图标记201表示用于校准与摄像机101相关的参数的校准图案，其例如是在上面印刷了预定图案的纸张。下面描述黑点202。

在该实施方式中，摄像机101捕捉这样的图案的图像，捕捉到的图像被输出到计算机102。摄像机101具有镜头畸变。因此，捕捉到的图案图像受到该镜头畸变的影响。

图4中示出的附图标记402图示了常见的桶形畸变。当使用没有畸变的理想镜头捕捉印刷有网格的校准图案的图像时，可以获得没有任何畸变的网格图像401。但是，例如由于镜头畸变，实际上捕捉到具有桶形畸变的图像402。

当在混合现实设备或者类似设备中合成实际捕捉到的图像与虚拟现实视频时，这种畸变就导致配准误差。另外，这种畸变还导致使用图像进行位置测量时发生误差。

因此，根据该实施方式，校准与摄像机101相关的参数，以防止捕捉到的图像由于镜头畸变而变形，就像图像402举例所示的那样。

图5是用于校准与摄像机101相关的参数的处理的流程图。注意，用于使CPU 104执行图5中的处理的程序和数据被存储在存储器105中。当CPU 104使用这些程序和数据执行所述处理时，计算机102实现下面要描述的各个处理。

该实施方式使用：

x’＝k_q×(x_i-c_x)

y’＝k_q×k_v2h×(y_i-c_y)

d＝1-k_c(x’²+y’²)

x_o＝x’×d+c_x

y_o＝y’×d+c_y (2)

其中(x_i，y_i)表示没有任何畸变的理想位置，(x_o，y_o)表示有畸变的位置，k_c是径向畸变的三次参数，k_q是径向畸变的五次参数，k_v2h是表示长宽比的参数，(c_x，c_y)包括指示畸变中心位置的参数。

这样，畸变校正参数包括径向畸变的三次参数k_c、径向畸变的五次参数k_q、长宽比k_v2h以及畸变中心位置(c_x，c_y)。

在摄像机校准中要估算的透视投影转换参数包括焦距(f_x，f_y)和主点位置(p_x，p_y)，外在参数包括位置“位置”和方向“方向”。

焦距f_x是与水平方向的视场角相关的参数，焦距f_y是与竖直方向的视场角相关的参数。

如上所述，在本实施方式中，与摄像机101相关的参数包括k_c、k_q、k_v2h、c_x、c_y、f_x、f_y、p_x、p_y、位置和方向。

注意，焦距和长宽比理论上具有下述关系：

f_y＝f_x×k_v2h

焦距(f_x，f_y)被用作透视投影参数，长宽比k_v2h被用作畸变校正参数。也就是，焦距(f_x，f_y)和长宽比k_v2h被独立地使用。因此，作为本实施方式的优化处理的结果而获得的焦距(f_x，f_y)和长宽比k_v2h并不总是满足上述等式。

在步骤S501中，估算初始参数。k_c和k_q的初始值可以被设为0，除非摄像机101的镜头具有异常大的畸变。畸变中心(c_x，c_y)的初始值可以被设置在图像(摄像机101捕捉到的图像)的中心，除非使用了特殊镜头(专用镜头)。如果用特殊镜头作为摄像机101的镜头，则畸变的初始参数进行相应的设置。

作为k_v2h的初始值，可以设置所用设备的理论值。当使用通用计算机来捕捉符合NTSC的视频信号时，可以以大约1∶1的长宽比捕捉视频信号。因此，将“1∶1”设置为表示长宽比的参数k_v2h。注意，该长宽比包括误差，但是将其作为在这种情况下使用的初始值是没有任何问题的。

基于图案的布局信息(黑点202的位置，网格交点之间的距离，等等)，通过使用图像间对应性的摄像机参数估算计算来估算透视投影参数和外在参数(f_x、f_y、p_x、p_y、位置、方向)。参照黑点202确定多个图像之间网格的对应点。

在步骤S502，从摄像机101捕捉到的校准图案的图像中检测线条，并检测被检测到的线条的交点(图2所示的网格的交点)。令(x_o，y_o)是每一个检测到的交点(此后被称为观察点或者标记)在该图像上的坐标位置。

在本实施方式中，由于同时估算摄像机101的透视投影参数和外在参数，所以获取在摄像机101和校准图案201之间具有不同位置关系的多个图像。为了在整个图像区域上更加精确地估算畸变，希望网格完整地出现在每一个单独的图像区域中。

在步骤S503中，设置f_x＝f_y＝f(预定值)。这是因为焦距参数f_x和f_y的大小之间的差基本上与长宽比k_v2h相同，从而，在估算了一个参数之后，估算作为残余误差的另一个参数。

在步骤S504，将五次畸变系数k_q固定为0。

在现有技术中，是在固定长宽比的情况下进行参数估算的。但是，公式(2)的畸变模型公式的前提是长宽比是精确的。如果长宽比包含误差，则生成的模型在竖直方向和水平方向具有不同强度的径向畸变。

与基于径向畸变的三次参数k_c的变化量以及基于长宽比k_v2h的变化量相比，基于径向畸变的五次参数k_q的变化量的值非常小。因此，当与k_c和k_v2h同时估算k_q时，k_q就被埋没在计算误差当中了，并且无法收敛。另外，由于k_c和k_q相互间具有强的关联，如果同时估算它们的话，它们很可能陷入局部解。因此，在本实施方式中，初始地将五次畸变系数k_q固定为0，估算其他参数。

这样，在本实施方式中，优先于精确校正径向畸变所需的径向畸变五次参擞(k_q的估算)来估算长宽比k_v2h。然后，在像面(其长宽比已校正)上，估算在所有方向上与镜头中心没有任何偏差的径向畸变五次参数k_q(k_q的估算)。

下面说明作为估算其他参数的过程的步骤S505到S507。

在步骤S505中，使用初始化的参数，进行图案坐标系上的观察点到像平面上的透视投影，并进行镜头畸变逆校正。在该步骤中，计算观察点在像平面上要映射到的位置的坐标(x_p，y_p)。

在步骤S506中，使用在步骤S505中计算的坐标(x_p，y_p)和在步骤S502中检测到的观察点的坐标位置(x_o，y_o)之间的差，用牛顿法校正(更新)与摄像机101相关的参数(c_x、c_y、k_c、k_v2h、f、p_x、p_v、位置、方向)。由于在步骤S503中定义了f_x＝f_y＝f，所以焦距的参数只有f。

此时，在牛顿法中，计算和使用

(位置)、

(方向)、

(位置)、(方向)。

在步骤S507中，计算残余误差，检查残余误差是否变为等于或者小于预定值(优化要计算的参数)。如果残余误差等于或者大于所述预定值，则流程返回步骤S505，重复上述处理。由于根据牛顿法的数值计算处理对于本领城普通技术人员是已知的，因此在这里省略其描述。

如果残余误差变得等于或小于所述预定值，则流程前进到步骤S508。

在步骤S509和S510中的优化处理中，在已在步骤S505到S507中优化的参数(c_x、c_y、k_c、k_v2h、f、p_x、p_y、位置和方向)固定的情况下优化五次畸变参数k_q。

也就是，在校正了长宽比的像平面上，估算在所有方向上相对于镜头中心没有任何偏差的径向畸变的五次参数k_q。

在步骤S508中，将直到步骤S507的过程计算出的参数固定，将五次畸变系数k_q设为变量。注意，预先计算

和

下面描述作为估算径向畸变的五次参数k_q的处理的步骤S509到S511。

在步骤S509中，使用在步骤S505到S507的处理中计算出的参数，将图案坐标系上的观察点透视投影到像平面上，并且进行镜头畸变的逆校正。在该步骤中，计算观察点在像平面上要映射到的位置的坐标(x_p，y_p)。

在步骤S510中，使用在步骤S509中计算出的坐标(x_p，y_p)和在步骤S502中检测到的观察点的坐标位置(x_o，y_o)之间的差，用牛顿法更新k_q。

在步骤S511中，计算残余误差，检查残余误差是否等于或者小于预定值(优化要计算的参数)。如果残余误差等于或大于所述预定值，则流程返回步骤S509，重复随后的处理。

在步骤S512中检查在步骤S507和S511中计算的残余误差的和是否等于或小于预定值。如果该和等于或大于所述预定值，则流程返回步骤S505，重复随后的处理。当流程返回步骤S505时，用在步骤S509到S511中计算出的k_q代替0。

在步骤S513中，在步骤S512中最终确定的五次系数k_q和长宽比k_v2h被固定。这是因为在随后的优化中不能与k_c同时估算k_q。为什么固定长宽比的原因，是为了独立地估算基本上与长宽比具有相同含义的(f_x，f_y)。

在步骤S514中，将f_x和f_y设置为独立的竖直和水平参数。执行步骤S515到S517的处理。

在步骤S515中，使用在步骤S505到S512的处理中计算出的参数，将图案坐标系上的观察点透视投影到像平面上，并且进行镜头畸变的逆校正。在该步骤中，计算观察点在像平面上要映射到的位置的坐标(x_p，y_p)。

在步骤S516中，使用在步骤S515计算的坐标(x_p，y_p)和在步骤S502检测到的观察点的坐标位置(x_o，y_o)之间的差，用牛顿法更新f_x和f_y。

在步骤S517中，计算残余误差，检查残余误差是否变得等于或者小于预定值(优化要计算的参数)。如果残余误差等于或大于所述预定值，流程返回步骤S515，重复所述处理。

在实际的计算之后，f_x和f_y为几乎相同的值，但是独立计算它们能够实现更为精确的再现。

对于校正结果，预先计算畸变参数和缩放比例，可以在用显示设备106中所包含的功能进行转换的情况下显示校正结果。

如上所述，根据该实施方式，在摄像机校准中，校准图案不需要垂直放置，能够容易地进行校准，从而消除了图案未垂直放置时导致的误差。

在摄像机的畸变参数估算中，长宽比的误差不会不利地影响畸变参数的精度，因而可以进行精确的估算。

在本实施方式中，同时计算畸变校正参数、摄像机的透视投影转换参数以及外在参数。因此，与现有技术中不同，不需要进行两次校准。现有技术是这样的：在获取用于畸变校正参数计算的图像并且计算了畸变校正参数之后，计算用于摄像机的透视投影转换参数计算的图像以及透视投影转换参数。

在上述实施方式中，计算五次系数kq，但是也可以省略该计算。在这种情况下，在图5的流程图中，省略步骤S508到S512的处理。

即使镜头畸变模型(例如除了考虑径向外，还考虑切向畸变)不同于上述实施方式的畸变模型，也能象上述实施方式一样在考虑长宽比的情况下估算畸变参数和透视投影转换参数。

另外，f_x和f_y不需要总是单独地估算。在这种情况下，可以省略步骤S513到S517的处理。

【其他实施方式】

本发明的目的可以按如下方式实现。也就是，将记录有能够实现上述实施方式的功能的软件的程序代码的记录介质(或者存储介质)提供给系统或者设备。该系统或者设备的计算机(或者CPU或MPU)读出并执行记录介质中存储的程序代码。在这种情况下，从记录介质中读出的程序代码本身实现上述实施方式的功能，记录程序代码的记录介质构成本发明。

当计算机执行读出的程序代码时，在计算机上运行的操作系统(OS)等基于程序代码的指令执行部分或者全部实际的处理操作。本发明还包括这样一种情况：上述实施方式的功能由该处理实现。

另外，假设从记录介质读出的程序代码被写入被插入或者连接到计算机的功能扩展卡或者功能扩展单元的存储器。之后，由设在功能扩展卡或者功能扩展单元中的CPU等基于程序代码的指令执行部分或者全部实际的处理操作，从而实现上述实施方式的功能。这样的情况也被包括在本发明中。

当将本发明应用于记录介质时，记录介质存储对应于前述流程图的程序代码。

尽管上面参照举例的实施方式描述了本发明，但是应当理解本发明不限于所公开的举例的实施方式。对所附的权利要求的范围应赋予最宽的解释，以包括所有这样的修改和等同结构与功能。

Claims

1.一种信息处理方法，用于估算校正参数，所述校正参数包括长宽比、N次径向畸变参数以及M次径向畸变参数，该方法包括：

检测步骤，从所述捕捉到的图像中检测所述标记；

第一估算步骤，在固定M次径向畸变参数的情况下，使用检测到的标记的图像位置来估算长宽比和N次径向畸变参数；以及

第二估算步骤，在固定估算出的长宽比和估算出的N次径向畸变参数的情况下，使用检测到的标记的图像位置来估算M次径向畸变参数，

其中，M＞N。

2.如权利要求1所述的方法，其中，所述方法估算畸变校正参数和透视投影转换参数，

所述透视投影转换参数包括焦距和主点位置，

所述获取步骤包括获取多个捕捉到的图像的步骤，

所述第一估算步骤包括在固定M次径向畸变参数的情况下，估算所述长宽比、N次径向畸变参数、焦距和主点位置的步骤，并且

所述第二估算步骤包括在固定估算出的长宽比、估算出的N次径向畸变参数、焦距和主点位置的情况下估算M次径向畸变参数的步骤。

3.如权利要求2所述的方法，其中，所述焦距包括与水平方向相关的第一焦距和与竖直方向相关的第二焦距，

所述第一估算步骤包括在第一焦距与第二焦距相等的假设前提下估算所述长宽比、N次径向畸变参数、焦距和主点位置的步骤，并且

所述方法还包括：

第三估算步骤，在固定估算出的长宽比和估算出的M次径向畸变参数的情况下，使用检测到的标记的图像位置来估算第一焦距和第二焦距。

4.一种信息处理设备，用于估算校正参数，所述校正参数包括长宽比、N次径向畸变参数以及M次径向畸变参数，该设备包括：

检测单元，用于从所述捕捉到的图像中检测所述标记；

第一估算单元，用于在固定M次径向畸变参数的情况下，使用检测到的标记的图像位置来估算长宽比和N次径向畸变参数；以及

第二估算单元，用于在固定估算出的长宽比和估算出的N次径向畸变参数的情况下，使用检测到的标记的图像位置来估算M次径向畸变参数，

其中，M＞N。