CN108140247A - 使用合成图像的相机校准 - Google Patents

Abstract

相机(105，610，611，612，613)捕获目标图案(120，625)的实际图像(500)。校准设备(125，630)通过基于相机的模型参数将来自像素的光线(230，235)追踪到目标图案上的对应点来渲染目标图案的合成图像(300，505)中的像素(205)。校准设备还要修改模型参数以最小化合成图像中的像素的强度与实际图像中的像素的强度之间的距离的量度。

Description

使用合成图像的相机校准

技术领域

总的来说本公开涉及相机，并且更具体地涉及相机的校准。

背景技术

三维(3-D)相机视觉系统使用相机模型将三维空间中的物体与相机中图像平面上由物体形成的二维(2-D)图像相关联。模型参数包括用于表征每个个体相机的固有参数。固有参数包括相机镜头的焦距、镜头的投影中心、一个或多个失真系数以及图像在X方向和Y方向上的缩放。模型参数还包括表征一个或多个相机相对于校准目标的平移和旋转的外在参数(其可以被称为姿态)。例如，个体相机(或包括多个相机的相机设备)的外在参数包括定义相机平移的X、Y和Z坐标以及定义相机相对于目标旋转的俯仰、滚转和偏转值。额外的外在参数可以用于表征在相机设备中彼此刚性附接的多个相机的相对平移或旋转。其他外在参数包括描述彼此刚性附接的多个校准目标的相对位置和朝向的参数。外在参数还可以包括诸如环境照明条件、一天中的时间、天气条件等的背景信息。

附图说明

通过参考附图，本公开可以被更好地理解，并且其许多特征和优点对于本领域技术人员变得显而易见。在不同的图中使用相同的附图标记表示相似或相同的项目。

图1是根据一些实施例的用于校准相机的模型参数的校准系统的图。

图2是根据一些实施例的用于基于相机的模型参数执行光线追踪以产生合成图像的校准系统的图。

图3是根据一些实施例的由光线追踪和相应像素形成的椭圆的合成图像的图。

图4是描绘根据一些实施例的校准算法的顺序迭代中的实际图像和合成图像的比较序列的图。

图5示出了根据一些实施例的由使用鱼眼镜头的相机拍摄的校准目标的实际图像。

图6是根据一些实施例的用于校准相机设备的模型参数的校准系统的图。

图7是根据一些实施例的用于校准表征相机的模型参数的方法的流程图。

图8是根据一些实施例的用于使用粗到细缩放技术来校准表征相机的模型参数的方法的流程图。

具体实施方式

相机(或相机设备)的模型参数使用校准图案(或目标图案)进行校准。校准图案可以是平面图案，诸如具有不同尺寸的圆形网格，包含相同或不同图案的不同平面中的多个平面图案，附接到刚性结构的相同或不同尺寸的多个球体，或者相机或相机设备可以成像的其他类型的图案。一种方法使用目标检测算法来识别对应于平面校准图案中的圆的图像平面中的椭圆中心。单独的校准算法从目标检测算法接收检测到的中心的估计位置，并且通过最小化(或至少减少)基于模型参数的值预测的检测到的中心和圆心之间的像素空间中的距离来估计模型参数。当椭圆中心传递给校准算法并且不能用于估计模型参数时，指示检测到的中心位置的不确定性的信息丢失。此外，透视失真引起偏差，其使观察投影圆的实际中心变得困难或不可能。例如，可能具有180°或更大视场的鱼眼镜头由于鱼眼镜头的图像的径向失真而不会将圆投影到椭圆上。

另一种方法将目标的渲染合成图像与相机捕获的目标图像中的像素的强度值进行比较。这种方法将相机建模为理想的针孔相机，因此该模型不包括用于描述几何镜头失真的固有参数，其被假定为相对较小，以便通过对未失真的图像应用校正来考虑它们。然而，许多镜头系统(例如鱼眼镜头)引起显著的失真，其无法通过对基于理想针孔相机渲染的图像应用校正来进行精确建模。

如本文所述，通过基于相机的模型参数将来自像素的光线追踪到目标图案上的对应点，可以通过渲染目标图案的合成图像中的像素来增加定义相机的模型的参数的校准的准确度。例如，可以将光线从像素中的中心点追踪到目标图案中的交点，并且可以基于交点与目标图案中的特征的接近度来确定像素的强度。又例如，合成图像中的每个像素所表示的区域可以被细分为256个元素的16×16阵列。通过基于模型参数将来自元素的光线追踪到目标图案上的对应点，并将对应点的强度应用到元素来确定与每个元素相关联的强度。通过对代表像素的每个元素的强度进行平均来确定每个像素的总强度。模型参数被更新为减少或最小化合成图像中的像素的强度与由相机产生的目标图案的实际图像中的像素的强度之间的距离的量度的值。在一些实施例中，距离的量度是实际图像中的像素的强度与合成图像中的相应像素之间的差的平方。然后可以通过对每个像素的距离量度应用最小二乘最小化技术(诸如高斯-牛顿)来更新模型参数。不同图像的目标姿态可以被包括在该模型参数集合中，然后其可以通过减少或最小化不同图像中的像素的强度上的距离量度来确定。可以通过包括针对不同相机相对于相机之一确定的目标姿态来校准多个相机(例如，在固定相机阵列或蝇眼型相机中)。

图1是根据一些实施例的用于校准相机105的模型参数的校准系统100的图。相机105被实现为具有鱼眼镜头或其他广角镜头的广角成像相机，以提供局部环境的更宽视角。例如，相机105可用于在180°或更大的视角内捕获视场中的图像。出于位置检测的目的，相机105可主要被配置用于机器视觉图像捕获。例如，相机105可以在头戴式显示器(HMD)或其他虚拟现实/增强现实图像捕获和显示系统中使用。相机105的机器视觉特定配置可以优先考虑光敏性、镜头失真、帧速率、全局快门能力以及通过以用户为中心的相机配置(例如专注于像素分辨率)从图像传感器更快速的数据读出。相机105的其他实施例被实现为具有典型视角镜头的窄角成像相机以提供局部环境的较窄角度视图。

相机105的特征在于模型参数集合，其包括表示相机105的内部特性的固有模型参数。例如，相机105包括用于将图像投影到相机105内的焦平面或成像平面上的镜头(或包括多个镜头的光学系统)。因此，固有模型参数可以包括相机镜头或光学系统的焦距和投影中心。相机105中的镜头或光学系统可以使图像失真或放大图像。为了示出，相机镜头通常是径向对称的并且引起径向失真，诸如桶形失真、枕形失真或胡须形失真。因此，固有模型参数可以包括一个或多个失真系数。例如，可以根据以下公式通过径向位移模型参数κ_i来描述未失真的图像点X_i与对应的失真点X_dist，i之间的关系：

其中r是归一化坐标中的径向位移。可以包括附加的固有模型参数以表征更高阶的失真。相机镜头也可以沿着一个或多个方向放大图像，并且因此固有模型参数可以包括指示由相机105中的镜头或光学系统引起的在X方向和Y方向上缩放图像的参数。固有模型参数还可以包括表征由镜头或光学系统引起的色差的一个或多个参数。

该模型参数集合还包括表征相机105的位置和方向的外在模型参数(其也可以被称为姿态)。例如，相机105的外在参数包括定义了相机105的位置的X、Y和Z坐标。用于识别坐标110、111、112的坐标系的位置和朝向是任意的，并且在一些实施例中，被选择为使得坐标系的原点对应于校准系统100中的特定实体，如下所述。外在模型参数还可以包括指示一个或多个旋转角度的参数，诸如：左/右旋转(即，偏转角115)、前/后倾斜(即，俯仰角116)和一侧到另一侧的枢转(即，滚转角117)，全部相对于固定的重力参考或其他相对或绝对参考。可以使用附加的外在参数来表征在相机设备中彼此刚性附接的多个相机。例如，外在模型参数还可以包括相机105相对于一个或多个其他相机的相对位置和朝向，如下所述。外在模型参数还可以包括诸如环境照明条件、一天中的时间、天气条件等的背景信息。

校准系统100包括一个或多个校准目标120。校准目标120包括由具有不同尺寸的圆或椭圆形成的目标图案。然而，如本文所讨论的，校准目标的一些实施例以二维或三维的其它目标图案来实现，诸如多个平面图案，其包括部署在同一平面或不同平面中的相同或不同图案，附接到刚性结构的相同或不同尺寸的多个球体，或者可以由相机105成像的其他类型的图案。校准目标120的位置由X、Y、Z坐标121、122、123表示。如本文所讨论的，通过将校准目标120的实际图像与基于相机105的模型参数产生的合成图像进行比较来校准相机105。因此，用于在校准过程期间表征相机105的模型参数集合包括指示相机105相对于校准目标120的位置的外在模型参数，其可以通过比较坐标110、111、112和坐标121、122、123来确定。在一些实施例中，坐标系的原点可以被定义为对应于校准目标120的位置，使得指示相机105的位置的外在模型参数与指示相机105的X、Y、Z坐标110、111、112的外在模型参数相同。尽管在图1中示出了单个校准目标120，但是校准系统100的一些实施例可以包括多个校准目标。此外，诸如螺旋或星形图案的其它目标图案可以用作校准目标120。目标图案可以是黑白、灰度或彩色图案。

校准设备125用于校准表征相机105的模型参数。校准设备125可以实现为硬件、固件、软件或其任何组合。例如，校准设备125可以包括用于存储软件或固件的存储器元件。校准设备125还可以包括用于执行包括在软件或固件中的指令以执行相机105的校准的处理器。然后可以将校准的模型参数存储在存储器元件中或提供给相机105。校准设备125可以是相机105外部的独立实体，或者校准设备125可以实现为相机105的组成部分。

校准设备125基于由相机105捕获的校准目标120的实际图像与基于模型参数渲染的校准目标120的合成图像的比较来校准模型参数。实际图像和合成图像由与相机105中用于捕获图像的传感器相对应的像素阵列的强度值来表示。实际图像中的强度值表示在曝光期间落在相机105中的相应传感器上的光的强度。如下所述，合成图像中的强度值表示基于模型参数预测或模拟的估计强度值。校准设备125的一些实施例通过将来自每个像素的多个光线追踪到校准目标120上的对应点来渲染校准目标120的合成图像中的像素。光线追踪基于相机105的模型参数执行。然后校准设备125修改模型参数以减少或最小化合成图像中的像素的强度与由相机105产生的实际图像中的像素的强度之间的距离的量度。校准过程可以迭代直至满足一个或多个收敛标准。

校准设备125的一些实施例通过同时估计表征相机105的固有和外在模型参数来使校准目标120的合成图像与由相机105捕获的实际图像相匹配。例如，固有和外在模型参数可以由参数矢量p表示。校准设备125根据最小二乘最小化函数确定使合成图像中的像素的强度与实际图像中的像素的强度之间的差的平方和最小化的参数矢量p的值：

argmin_p(∑_u[/(u)-T(W^-1(u，p_t，p_c))]²) (1)

其中：

T(ν)表示校准目标上的预期强度(0＝黑色，1＝白色)

是目标坐标，例如以米为单位

I是像素u处实际图像的强度

u＝(u_x，u_y)∈Ω＝{0...w-1}×{0..h-1}是像素坐标

w，h是图像维度

p＝(p_t，p_c)是模型参数(或扭曲参数)

p_t是外在模型参数或目标姿态，即p_t∈SE(3)

P_c是固有模型参数

是扭曲函数，其使用变换A将矢量U从目标坐标变换到相机坐标，以及然后使用投影函数P，即W(v，p_t，p_c)＝P(A(v，p_t)，p_c)，将矢量投影到像素坐标中。

A(v，p_t)是旋转后的平移

P(v，p_c)是将三维点映射到像素坐标并取决于相机模型参数的函数。

W^-1计算观察图像中像素位置(非投影或重新投影)的相应比率，并使光线与目标平面相交。因此，基于模型参数p＝(p_t，p_c)，扭曲函数的逆W^-1将像素位置(u)变换到目标平面中的位置∪。

校准设备125通过迭代地改善表示相机105的模型参数的初始猜测或估计来解决由等式(1)定义的最小二乘最小化问题。

校准设备125的一些实施例使用高斯-牛顿最小二乘优化算法来迭代求解非线性最小二乘优化问题。等式(1)的一阶泰勒展开可以用于将参数矢量p_i的当前估计与参数矢量p_i+1的修改估计相关联，如下：

其中Δp是参数矢量中的变化矢量，并且δT/δp是根据像素位置处的参数矢量的校准目标120上的强度的梯度。如下所述，可以使用通过光线追踪确定的强度值从合成图像数值地计算强度梯度，并应用平滑函数以确保强度是参数矢量的连续函数。例如，首先针对当前的模型参数集合p_i确定渲染图像(T)的强度，并且然后针对在每个方向p_i+δp_i上少量改变参数矢量之后渲染的第二图像重新计算强度。然后从两个渲染图像中的强度之间的差计算雅可比行列式δT/δp。高斯-牛顿算法使用等式(2)迭代地修改参数矢量的值，直至达到收敛标准。例如，当给定迭代期间参数矢量的变化低于阈值时，该算法可以收敛。

校准设备125的一些实施例使用卢卡斯-卡纳德光流算法来迭代求解非线性最小二乘优化问题。光流算法将梯度δI/δp分解成图像梯度：

以及扭曲函数δW/δp的雅可比行列式。由等式(2)定义的线性化最小化问题然后可以被重写为：

其中W由坐标变换A和投影P组成。关于模型参数p_t和p_c单独计算雅可比矩阵，然后将其组合成单个矩阵：

如下所述，可以使用由光线追踪确定的强度值从合成图像数值计算雅可比行列式，并应用平滑函数来确保强度是参数矢量的连续函数。卢卡斯-卡纳德算法使用等式(3)迭代地修改参数矢量的值直至达到收敛标准。例如，当给定迭代期间参数矢量的变化低于阈值时，该算法可以收敛。

在卢卡斯-卡纳德光流算法中，通过重新投影图像并与校准目标120的平面相交，扭曲函数的逆W^-1将实际图像中的像素变换成目标坐标。在优化算法的每次迭代中，基于固有模型参数p_t和外部模型参数p_c的当前的最佳估计，使用扭曲函数的逆W^-1来为实际图像中的每个像素u∈Q选择校准目标120上的采样位置，其也可以被称为目标姿势。对于目标上的每个样本，雅可比行列式指示重投影像素坐标相对于固有模型参数p_t和外在模型参数p_c的变化如何在图像中移动。在v＝M^-1(u，p_t，p_c)处评估雅可比行列式使得它的再投影在像素u附近着陆。然后，可以通过组合雅可比行列式和像素u处的图像梯度来确定相对于固有模型参数p_t和外在模型参数p_c的变化的、在实际图像与渲染图像之间的差的变化。

校准系统100的一些实施例包括多个校准目标120。多个校准目标120的实际和合成图像可以用于校准相机105的参数。图像的强度由Iⁱ表示，i∈{1，N_i}并且对于每个图像包括附加模型参数例如，校准设备125可以根据最小二乘最小化函数来确定使合成图像中的像素的强度与实际图像中的像素的强度之间的差最小化的参数矢量p的值：

其中：

i、u分别是图像中不同图像和像素的索引。

是表示相机105的模型参数集合的矢量。

等式(4)中的其他变量对应于以上针对等式(2)定义的变量。

图2是根据一些实施例的用于基于相机的模型参数执行光线追踪以产生合成图像的校准系统200的图。校准系统200包括作为相机中实现的多个像素中的一个的像素205。校准系统200还包括诸如图1中所示的校准目标120的校准目标的一部分210。为了清楚起见，形成校准目标的部分210中的目标图案的圆或椭圆由虚线表示，但实际上可以填充圆或椭圆，如图1所示。使用椭圆215来表示相机的固有模型参数，诸如焦距、投影中心、失真、放大比例等。诸如相机的X、Y、Z坐标、相机的俯仰、偏转和滚转以及像素205的相对位置和校准目标的部分210的相机的外部模型参数由双头箭头220表示。

校准目标(包括部分210)的合成图像由包括像素205的多个像素的强度值形成。因此合成图像可以基于模型参数215、220使用从像素205到校准目标的部分210的光线追踪来渲染。在一些实施例中，合成图像由诸如图1中所示的校准设备125的校准设备确定。通过将来自像素205内的一个或多个位置的一个或多个光线追踪到校准目标的部分210的平面来确定像素205的强度值。

在一些实施例中，像素205由像素205的区域内的中心点表示，并且单个光线从像素205追踪到校准目标的部分210。基于像素205的面积与校准目标中的特征之间的重叠，应用平滑函数(如下所述)以平滑分配给像素205的强度值。重叠的程度可以通过像素205中的中心点与校准目标中的特征的接近度来确定。平滑函数确保强度是模型参数的连续函数。

在一些实施例中，像素205可以被细分为多个像素元素225(为了清晰起见，仅一个由附图标记指示)。然后使用模型参数215、220将光线从每个像素元素225追踪到校准目标的部分210以确定从像素205到部分210的光线的路径。基于在部分210上与光线相交的点处的强度，将强度值分配给每个像素元素225。例如，光线230在位于用于形成目标图案的任何椭圆之外的位置与部分210相交。因此，对应于光线230的像素元素225的强度被分配与部分210的白色区域相对应的强度值，诸如强度值0。又例如，光线235在目标图案的大唇内的位置处与部分210相交。因此，对应于光线235的像素元素225的强度被分配与部分210的黑色区域相对应的强度值，诸如强度值1。每个像素205的总强度通过对相应像素205中的每个像素元素225的强度求平均来确定。平滑函数也可以应用于强度值以确保强度是模型参数的连续函数。

图3是根据一些实施例的由光线追踪形成的椭圆305和相应的像素310的合成图像300的图。为了清楚起见，椭圆305由未填充的椭圆表示，但实际上可以填充椭圆，如图1所示。使用合成图像中的像素的强度值来数学地计算等式(2)和(3)中的梯度。渲染函数因此应该产生强度，其是模型参数的连续函数，以确保关于模型参数的数值导数是非零的。校准设备(诸如图1所示的校准设备125)可以将平滑函数应用于分配给合成图像中的像素的强度值。平滑函数可以被用于补充或替代关于图2描述的光线追踪算法的实施例。

平滑函数的一些实施例基于像素与校准目标图像中的特征的接近度来确定是否将像素渲染为白色、黑色或灰度值。例如，校准设备可以使用基于模型参数的光线追踪针对从像素310中的中心点发出的光线来确定校准目标平面中的交点315。校准设备然后确定椭圆305上距交点315的最近点320，并计算交点315和最近点320之间的像素距离δ。如果像素距离δ小于阈值τ，则像素的强度被渲染为灰度值：

如果交点315位于椭圆305内，

如果交点315位于椭圆305外。

如果δ>τ并且交点315位于椭圆305外，则像素被渲染为白色(I＝1)。如果δ>τ并且交点315位于椭圆305内，则像素被渲染为黑色(I＝0)。平滑函数由此近似椭圆305与像素310之间的交叉区域并且大致与交叉区域成比例地缩放强度。

图4是描绘根据一些实施例的校准算法的顺序迭代中的实际图像与合成图像的比较的序列400的图。比较405、410、415示出基于模型参数集合由相机捕获的实际图像和由校准设备产生的合成图像。相机拍摄的实际图像由实心黑色圆指示。实际图像在每个比较405、410、415中保持相同。虚线圆用于指示由校准设备产生的合成图像。响应于校准设备对模型参数的修改，合成图像在比较405、410、415之间改变。

比较405示出了基于表示相机的模型参数的初始估计而产生的实际图像和初始合成图像。初始估计可以基于默认的模型参数集合来产生，或者可以使用另一个校准技术来初始化模型参数。校准设备例如通过基于等式(2)或等式(3)执行最小二乘最小化来确定对模型参数的修改，如本文所讨论的。然后可以更新模型参数。

比较410示出了实际图像和基于由校准设备确定的修改的模型参数产生的修改的合成图像。校准设备执行最小二乘最小化的另一个迭代以例如通过基于等式(2)或等式(3)执行最小二乘最小化的另一个迭代来确定对模型参数的附加修改，如本文所讨论的。然后可以更新模型参数。

比较415示出了实际图像和基于由校准设备使用实际图像和比较410中示出的修改的合成图像确定的修改的模型参数产生的修改的合成图像。比较415指示迭代最小二乘最小化已经收敛。收敛可以通过实际图像中的强度与修改的合成图像之间的最小二乘差降至阈值以下来指示。收敛也可以通过模型参数的变化幅度降至阈值以下来指示。

图5示出了根据一些实施例的由使用鱼眼镜头的相机拍摄的校准目标的实际图像500。校准目标是包括诸如图1中所示的校准目标120的大和小圆的图案的平面目标。鱼眼镜头的大视场在实际图像500中产生显著的径向失真。校准目标的合成图像505由校准设备基于表征用于捕获实际图像500的相机的模型参数来产生。差异图像510示出了实际图像500与合成图像505中的每个像素处的强度之间的差。如本文所讨论的，510所示的强度差可以用于校准相机的模型参数。

图6是根据一些实施例的用于校准相机设备605的模型参数的校准系统600的图。相机设备605包括通过设备或其他结构刚性相互连接的多个单独的相机610、611、612、613(统称为“相机610-613”)。相机610-613可以是广角成像相机以提供局部环境的更广角视图或提供局部环境的更窄角视图的窄成像相机。相机610-613由包括表示相机610-613的内部特性的固有模型参数的模型参数集合表征。例如，相机610-613中的每一个可以由包括焦距、投影中心、一个或多个失真系数以及一个或多个缩放/放大参数的单独的固有模型参数集合来表征。

相机设备605还由包括定义相机设备605的位置的X、Y和Z坐标615、616、617的外在模型参数来表征。相机设备605和每个单独的相机610-613也可以由俯仰、偏转和滚转值来表征(为了清楚起见，在图6中未示出)。外部模型参数也可以用于表征各个相机610-613的相对位置。例如，X、Y和Z坐标615、616、617可以指示相机613的位置，并且可以使用额外的外部模型参数620、621、622来指示相机610、611、612相对于相机613的位置。外在模型参数还可以用于指示相机610-613的相对旋转朝向，诸如俯仰、偏转和滚转值。

校准系统600包括一个或多个校准目标625，其包括由具有不同尺寸的圆或椭圆形成的目标图案。校准目标625的位置由X、Y、Z坐标626、627、628表示。如本文所讨论的，校准设备630通过比较校准目标625的实际图像与基于相机610-613的模型参数产生的合成图像来校准相机设备605。例如，校准设备630可以根据最小二乘最小化函数来确定最小化合成图像中的像素的强度与实际图像中的像素的强度之间的差的参数矢量p的值：

其中：

i、j、u分别是相机设备605中不同相机610-613、不同图像和图像中的像素的索引。

是表示从与基本相机613相关联的基本坐标系到其他相机610-612的转换的模型参数，N_j是相机设备中的相机610-613的数量，并且是身份变换。

是表示相机设备605的模型参数集合的矢量。

等式(5)中的其他变量对应于以上针对等式(4)定义的变量。

图7是根据一些实施例的用于校准表征相机的模型参数的方法700的流程图。方法700可以在图1所示的校准设备125或图2所示的校准设备630的一些实施例中实现。在框705处，相机捕获校准目标的实际图像。实际图像由相机的图像平面中的像素接收的强度值表示，并且指示强度值的信息可以存储在例如相机或外部存储器中实现的存储器中。在框710处，校准设备基于相机模型参数渲染校准目标的合成图像。例如，校准设备可以通过将来自与像素相关联的位置的光线追踪到校准目标处的对应位置，并且然后将校准目标上的位置处的强度值与像素位置相关联，来渲染校准目标的合成图像。

在框715处，校准设备通过对实际和合成图像中的像素处的强度值之间的距离量度执行最小二乘最小化来修改相机的模型参数。校准设备的一些实施例基于等式(1)中定义的最小二乘最小化函数来修改模型参数的值。校准设备的一些实施例使用高斯-牛顿算法来求解更新的模型参数，例如如等式(2)中所定义的。校准设备的一些实施例使用卢卡斯-卡纳德光流算法来求解更新的模型参数，例如如等式(3)中所定义的。模型参数也可以使用等式(4)中定义的最小二乘最小化函数基于多个图像来确定，并且多个相机的阵列的模型参数可以使用等式(5)中定义的最小二乘最小化函数来确定。

在判定框720处，校准设备确定修改的模型参数是否满足收敛标准。例如，校准设备可以确定模型参数中的分数(或百分比)变化是否低于阈值。可以为每个模型参数或模型参数的组合确定分数或百分比变化。又例如，校准设备可以确定实际图像和合成图像之间的最小二乘差是否低于阈值，例如如等式(1)所示。校准设备的一些实施例可以使用这些收敛标准或其他收敛标准的组合。只要不满足收敛标准，方法700就进行到框710，使得迭代地更新模型参数，直至满足收敛标准。一旦满足收敛标准，方法700就进行到框725。

在框725处，存储校准的模型参数。校准设备的一些实施例将校准的模型参数存储在外部位置或其他非暂时性计算机可读存储介质上以供相机随后使用。校准设备还可以将校准的模型参数存储在相机中实现的非暂时性计算机可读存储介质中，使得相机可以直接访问该信息。

图8是根据一些实施例的用于使用粗到细缩放技术来校准表征相机的模型参数的方法800的流程图。方法800可以在图1所示的校准设备125和图2所示的校准设备630的一些实施例中实现。在框805处，校准设备选择图像的缩放。例如，校准设备可以最初选择粗缩放，使得每个像素捕获或表示与校准目标的较大部分相关联的强度值。使用粗缩放平滑出高分辨率特征，这有助于方法800避免最小二乘最小化算法中的局部最小值。例如，选择相对粗的缩放以从图1所示的校准目标120捕获实际图像可以基本上从实际图像中移除较小的圆，并且允许基本上基于校准目标120中的较大圆的图案来执行最小二乘最小化。因此，最小化算法可以避免当在实际和合成图像中小圆与大圆对齐时出现的局部最小值。

在框810处，相机以在框805中确定的缩放来捕获校准目标的实际图像。实际图像由相机的图像平面中的像素接收的强度值来表示，并且指示强度值的信息可以例如存储在相机或外部存储器中实现的存储器中。在框815处，校准设备基于相机模型参数和在框805中确定的缩放来渲染校准目标的合成图像。例如，校准设备可以通过将来自与像素相关联的位置的光线追踪到校准目标处的对应位置来渲染校准目标的合成图像，然后将校准目标上的位置处的强度值与像素位置相关联。

在框820处，校准设备通过对实际和合成图像中的像素处的强度值之间的距离量度执行最小二乘最小化来修改相机的模型参数。如本文所讨论的，校准设备的一些实施例使用高斯-牛顿算法以求解更新的模型参数(例如等式(2)中定义的)或卢卡斯-卡纳德光流算法(例如等式(3)中定义的)，基于等式(1)中定义的最小二乘最小化函数来修改模型参数的值。模型参数也可以使用等式(4)中定义的最小二乘最小化函数基于多个图像来确定。可以使用等式(5)中定义的最小二乘最小化函数来确定多个相机阵列的模型参数。

在判定框825处，校准设备确定修改的模型参数是否满足收敛标准。如本文所讨论的，收敛标准可以指示模型参数中的分数(或百分比)变化是否低于阈值或者实际图像与合成图像之间的最小二乘差是否低于阈值，例如，如等式(1)所示。校准设备的一些实施例可以使用这些收敛标准或其他收敛标准的组合。只要不满足收敛标准，方法800就进行到框815，使得模型参数迭代更新，直至满足收敛标准。一旦满足收敛标准，方法800就进行到框830。

在判定框830处，校准设备确定实际图像和合成图像是否处于全尺度，使得实际图像和合成图像处于最高可能分辨率，并且实际图像和合成图像中的像素表示校准目标的最小可能部分。如果不是，则方法800进行到框835，并且将缩放因子增加到具有次最高分辨率的次最高缩放因子。例如，方法800可以使用预定的缩放因子集合，例如1/8、1/4、1/2和全尺度。方法800因此可以遍历该缩放因子集合，直至修改的相机模型参数表示基于全尺度的实际图像和合成图像确定的相机模型参数。一旦校准设备确定已经基于全尺度的实际图像和合成图像确定了相机模型参数，方法800就进行到框840。

在框840处，存储校准的模型参数。校准设备的一些实施例将校准的模型参数存储在外部位置或其他非暂时性计算机可读存储介质上以供相机随后使用。校准设备还可以将校准的模型参数存储在相机中实现的非暂时性计算机可读存储介质中，使得相机可以直接访问该信息。

在一些实施例中，上述技术的某些方面可以由执行软件的处理系统的一个或多个处理器来实现。该软件包括存储或以其他方式有形实施在非暂时性计算机可读存储介质上的一个或多个可执行指令集合。软件可以包括指令和某些数据，这些指令和某些数据在由一个或多个处理器执行时操纵一个或多个处理器以执行上述技术的一个或多个方面。非暂时性计算机可读存储介质可以包括例如磁或光盘存储设备，诸如闪存、高速缓存、随机存取存储器(RAM)等的固态存储设备或其他非易失性存储器设备。存储在非临时性计算机可读存储介质上的可执行指令可以是源代码、汇编语言代码、目标代码或被一个或多个处理器解释或以其他方式执行的其他指令格式。

计算机可读存储介质可以包括在使用期间可由计算机系统访问以向计算机系统提供指令和/或数据的任何存储介质或存储介质的组合。这样的存储介质可以包括但不限于光学介质(例如，光盘(CD)、数字多功能光盘(DVD)、蓝光光盘)、磁介质(例如，软盘、磁带或磁性硬盘驱动器)、易失性存储器(例如，随机存取存储器(RAM)或高速缓存)、非易失性存储器(例如，只读存储器(ROM)或闪存)或基于微机电系统(MEMS)的存储介质。计算机可读存储介质可以嵌入计算系统(例如，系统RAM或ROM)中，固定地附接到计算系统(例如，磁性硬盘驱动器)，可移除地附接到计算系统(例如，光盘或通用基于串行总线(USB)的闪存)，或者经由有线或无线网络(例如，网络可访问存储(NAS))耦合到计算机系统。

请注意，并非上述一般性描述中的所有活动或要素都是必需的，特定活动或设备的一部分可能不是必需的，并且除了描述的那些之外可以执行一个或多个进一步的活动或包括的要素。更进一步，活动列出的顺序不必是执行它们的顺序。而且，已经参考具体实施例描述了这些概念。然而，本领域的普通技术人员认识到，在不脱离如下权利要求书中阐述的本公开的范围的情况下，可以进行各种修改和改变。因此，说明书和附图被认为是说明性的而不是限制性的，并且所有这样的修改被包括在本公开的范围内。

上面已经关于具体实施例描述了益处、其他优点和问题的解决方案。然而，可能导致任何益处、优点或解决方案发生或变得更明显的益处、优点、问题的解决方案以及任何特征都不应被解释为任何或其他方面的关键、必需或任何或所有权利要求的基本特征。此外，上面公开的特定实施例仅仅是说明性的，因为所公开的主题可以以受益于这里的教导的本领域技术人员显而易见的不同但等同的方式进行修改和实施。除了在下面的权利要求书中描述的以外，没有意图限制在此示出的构造或设计的细节。因此明显的是，上面公开的特定实施例可以被改变或修改，并且所有这样的变化被认为在所公开的主题的范围内。因此，本文寻求的保护如下面的权利要求中所述。

Claims (16)

1.一种方法，包括：

通过基于相机(105，610，611，612，613)的模型参数将来自像素(205)的多个光线(230，235)追踪到目标图案(120)上的对应点，来渲染所述目标图案的合成图像(300，505)中的所述像素；以及

修改所述模型参数，以减少在所述合成图像中的所述像素的强度与由所述相机产生的所述目标图案的实际图像中的像素的强度之间的距离的量度。

2.根据权利要求1所述的方法，其中，追踪所述多个光线包括：将来自每个像素中的中心点的光线追踪到所述目标图案的平面(210)，并且基于所述像素与所述目标图案中的特征的接近度来确定所述像素的强度。

3.根据权利要求1所述的方法，其中，渲染所述合成图像中的像素还包括：

将像素细分成元素阵列(225)；

基于所述模型参数，将来自每个元素的光线追踪到所述目标图案上的对应点；

将所述对应点的强度与所述元素相关联；以及

通过对与所述像素相关联的所述阵列中的所述元素中的每一个元素的强度求平均来确定所述像素的总强度。

4.根据权利要求1所述的方法，其中，修改所述模型参数以最小化所述距离的量度包括：执行所述合成图像中的所述像素的所述强度与所述实际图像中的所述像素的所述强度之间的差的平方和的最小二乘最小化。

5.根据权利要求4所述的方法，其中，执行所述最小二乘最小化包括：根据所述模型参数，确定所述合成图像中的所述像素处的所述强度的梯度。

6.根据权利要求5所述的方法，其中，确定所述强度的梯度包括：渲染所述合成图像中的所述像素以产生关于所述模型参数连续的强度。

7.根据权利要求4所述的方法，其中，执行所述最小二乘最小化包括：使用高斯-牛顿最小二乘优化算法和卢卡斯-卡纳德光流算法中的至少一个执行所述最小二乘最小化。

8.根据权利要求4所述的方法，其中，修改所述模型参数包括：修改来自模型参数集合的至少一个模型参数，所述模型参数集合包括：

所述相机的镜头的焦距；

所述相机的镜头的投影中心；

表示由所述相机的镜头引起的失真的至少一个失真系数；

X方向上的缩放；

Y方向上的缩放；

定义所述相机相对于所述目标图案的平移的坐标；

定义所述相机相对于所述目标图案的旋转的俯仰、滚转或偏转值；

定义所述相机相对于至少一个其他相机的平移的坐标；

定义所述相机相对于所述至少一个其他相机的旋转的俯仰、滚转或偏转值；和

表示由所述相机的镜头引起的色差的至少一个颜色参数。

9.根据权利要求1所述的方法，还包括：

通过缩放因子缩放所述实际图像，并且其中，渲染所述合成图像中的像素包括：基于所述缩放因子来渲染所述合成图像中的所述像素；

修改所述模型参数以最小化在所述合成图像中的所述像素的强度与缩放的实际图像中的像素的强度之间的距离的量度；以及

迭代地增加所述缩放因子，渲染所述合成图像中的所述像素，以及修改所述模型参数。

10.一种装置(100，600)，包括：

相机(105，610，611，612，613)，用于捕获目标图案(120，625)的实际图像(500)；和

校准设备(125，630)，用于通过基于所述相机的模型参数将来自像素(205)的多个光线(230，235)追踪到所述目标图案上的对应点来渲染所述目标图案的合成图像(300，505)中的所述像素，以及修改所述模型参数以减少所述合成图像中的所述像素的强度与所述实际图像中的像素的强度之间的距离的量度。

11.根据权利要求10所述的装置，其中，所述校准设备用于将来自所述像素之一中的中心点的光线追踪到所述目标图案的平面(210)，并且基于所述像素与所述目标图案中的特征的接近度来确定所述像素的强度。

12.根据权利要求10所述的装置，其中，所述校准设备用于将所述像素之一细分为元素阵列(225)，基于所述模型参数将来自每个元素的光线(230，235)追踪到所述目标图案上的对应点，将所述对应点的强度与所述元素相关联，并且通过对与所述像素相关联的所述阵列中的所述元素中的每一个元素的强度求平均来确定所述像素的总强度。

13.根据权利要求10所述的装置，其中，所述校准设备用于执行所述合成图像中的所述像素的所述强度与所述实际图像中的所述像素的所述强度之间的差的平方和的最小二乘最小化。

14.根据权利要求13所述的装置，其中，所述校准设备用于根据所述模型参数，确定所述合成图像中的所述像素处的所述强度的梯度。

15.根据权利要求14所述的装置，其中，所述校准设备用于渲染所述合成图像中的所述像素以产生关于所述模型参数连续的强度。

16.根据权利要求10所述的装置，其中，所述校准设备用于：

通过缩放因子来缩放所述实际图像；

基于所述缩放因子来渲染所述合成图像中的所述像素；

修改所述模型参数，以最小化在缩放的合成图像中的所述像素的强度与缩放的实际图像中的像素的强度之间的距离的量度；以及

迭代地增加所述缩放因子，渲染所述合成图像中的所述像素，以及修改所述模型参数。