CN104899857A - 使用颜色编码结构的相机标定方法及装置 - Google Patents

Abstract

本发明描述了使用颜色编码结构的相机标定方法及装置(30)。该相机标定方法包括：从相机接收图像(10)，在该图像中捕获颜色编码结构；确定图像中的多个坐标点(11)；以及使用这些坐标点执行相机标定(12)。该颜色编码结构可以是包括具有不同颜色通道的至少两组图案的任意种类的结构。该颜色编码结构包括在不同颜色通道中的至少两组图案。

Description

使用颜色编码结构的相机标定方法及装置

技术领域

一种用于相机标定的方法及装置被提出，尤其是使用颜色编码结构的相机标定的方法及装置。被表示为相机标定的技术领域收集了旨在表征用于描述相机的图像形成过程的数学模型的算法和技术。此外，适用于该方法及装置的计算机可读介质也被提出。

背景技术

对于相机模型评估的一个基本需求(即，相机标定)是现实世界中一些点的3D坐标与其在一个标定图像上或一组标定图像内的投影之间的无误差对应的输入数据集。该输入数据集一般能够通过捕获图像上的标定物并从中提取该对应关系来获得[I]。文献中提出并且市场上可用的大多数相机标定算法被称为度量标定(metric calibration)，其中符号度量突出了3D世界景象的先验已知的度量信息的明确利用。对于这种做法，通常利用一种格状图案，因为它容易检测，能够以单通道灰度图像的形式被捕获，并且能够提供度量相机标定所需的度量信息，即，一组格点及其坐标。

在以上主要趋势的同时，一些研究提出了一种用于相机标定的不同方法，该方法只使用从标定物推断出的非度量特征。该方法的一个示例性实践是对从同一3D线投影的图像点实施共线约束[II，III]。这些技术提供了一些优势。不想要的、对于3D世界点坐标的错误分配的可能性被消除，即，更高的鲁棒性，因为不需要正确恢复标定网格的3D坐标。相应的评估问题的复杂性被降到最低等级，因此，标定相机变得更有效，尤其对于具有广角镜头、容易导致变形的模型的那些相机。

非度量标定方法到目前为止还未在本领域十分成功，因为很难开发根本的评估问题的数学公式。此外，还缺乏对于相关的相机模型不确定性的全面理解。根据[IV]，使用非度量输入数据的完全欧式(Euclidean)标定不仅需要实施3D坐标点的共线约束，还需要3D线束之间的平行及正交。

被广泛用作格状图案源的标准棋盘(checkerboard)的确满足了度量标定技术的需求，但不是非度量标定方法的最优解决方案。当遇到旨在线评估的低级处理以检测一束线时，棋盘的线交叉能够导致对于数据收集的不可忽略的干扰。

发明内容

因此，一个目的是提出一种用于相机标定的改进方案，该方案能够消除来自格状结构的线交叉的不想要的干扰，而同时维持其他需求，例如，点共线、线平行及正交。特别地，本发明提供了使用颜色编码结构的单个图像内的双组分标定图案的整合的方案。

根据一个实施例，一种相机标定方法包括：

从相机接收图像，在该图像中捕获颜色编码结构，其中该颜色编码结构包括在不同颜色通道中的至少两组图案；

确定与该图像中的颜色编码结构相关联的多个坐标点；以及

使用这些坐标点执行相机标定。

相应的，一种相机标定装置包括：

图像接收单元，被配置为从相机接收图像，在该图像中捕获颜色编码结构，其中该颜色编码结构包括在不同颜色通道中的至少两组图案；以及

相机标定单元，被配置为确定与该图像中的颜色编码结构相关联的多个坐标点，并且使用这些坐标点执行相机标定。

此外，一种在其中存储了用于相机标定的指令的计算机可读存储介质，当所述指令被计算机执行时，使得所述计算机：

从相机接收图像，在该图像中捕获颜色编码结构，其中该颜色编码结构包括在不同颜色通道中的至少两组图案；

确定与该图像中的颜色编码结构相关联的多个坐标点；以及

使用这些坐标点执行相机标定。

附图说明

为了更好的理解本发明，现在将在下面的描述中结合附图详细解释所提出的方案。应该理解的是，该方案不限于所公开的示例性实施例，并且在不脱离所附权利要求中所限定的所提出的方案的范围的情况下，指定特征还可以适当组合和/或修改。

图1是示出了相机标定方法的一个优选实施例的流程图。

图2是示出了相机标定方法的另一优选实施例的流程图。

图3示出了用于相机标定方法的一个优选实施例的示例性颜色编码结构。

图4是示出了相机标定方法的一个示例性实施例的流程图。

图5示出了从图4所示的相机标定方法的示例性实施例中获得的结果。

图6示出了从图4所示的相机标定方法的示例性实施例中获得的更多结果。

图7是示出了包括细化(refinement)过程的相机标定方法的一个优选实施例的流程图。

图8示出了作为彩色及灰度图像上的垂直边缘的标定数据集的检测结果。

图9示出了用于相机标定方法的优选实施例中的细化过程的两个示例性边缘模板。

图10是示出了相机标定方法的一个优选实施例中的示例性细化过程的流程图。

图11示出了用于相机标定方法的优选实施例中的细化过程的几何变换及光度标准化技术。

图12示出了从所提出的相机标定方法的示例性实施例中获得的结果，具有和不具有细化过程。

图13示出了使用所提出的相机标定方法的优选实施例的标定过程的改进。

图14是示出了被配置为执行相机标定方法的实施例的装置的优选实施例的原理图。

具体实施方式

图1示意性地示出了一种相机标定方法的优选实施例，该方法包括：从相机接收图像(10)，在该图像中捕获颜色编码结构，其中该颜色编码结构包括具有不同颜色通道的至少两组图案；确定与该图像中的颜色编码结构相关联的多个坐标点(11)；以及使用这些坐标点执行相机标定(12)。该颜色编码结构可以是包括具有不同颜色通道的至少两组图案的任意种类的结构。例如，该颜色编码结构可以是在相机捕获的2D表面上显示的颜色编码图。类似地，该组图案可以是任意种类的图案，例如，平行线或平行条带(stripe)。

优选地，如图2所示，该方法进一步包括区分颜色编码结构的至少两组图案(13)，从而分别确定每组图案的坐标点子集(11)。在这种情况下，每组坐标点子集与颜色编码结构的相应组的图案相关联。

此外，相机标定方法的一个优选实施例可选地包括：从相机接收多个图像(10)，在每个图像中捕获颜色编码结构；以及确定每个图像的多个坐标点(11)。当捕获并使用多于一个图像时，相机标定的结果能够被提高并且更加精确。

一般被称为标定数据集的坐标点的确定和收集旨在识别每个图像内的标定物(即，该方法中的颜色编码结构)。这意味着检测一组图像特征以及建立这些特征与标定物上的源特征的对应关系。

下面将详细说明并解释本发明的方法的一个示例性优选实施例。应该注意的是，当熟知的功能或配置的重复描述及详细描述会对本发明的要旨造成不必要的模糊时，该详细描述将被省略。

图3(a)示出了用于优选实施例中的示例性颜色编码结构，它是包括两组图案的颜色编码图。这两组图案中的每一组分别是一束平行条带，并且这两束的颜色通道是不同的。优选地，这两束平行条带相互正交。例如，如图3(b)和图3(c)所示，平行条带的水平束为红色，垂直束为蓝色。这里用来建立基本图案块的颜色(例如，红色、蓝色和绿色)被选择以便缓解相机的自动白平衡。所提出的颜色编码结构产生灰度色调的平均颜色。这是一个优势，因为它满足了多数自动白平衡算法的灰度世界的假设，从而允许成功收集对于室外和室内情况的好的标定视图。对于用于该优选实施例中的颜色编码图，线束的数量、每束的颜色通道、以及任意两束之间的相对角度当然是灵活的，并且能够基于不同需求和情况进行调整。

该颜色编码图能够被简单地示于屏幕上并被相机从不同位置以及在不同方向下捕获以进行标定。这些捕获的图像提供了最初标定图像数据集。通过获取该图像数据集，图像中的多个坐标点(即，标定数据集)能够被提取以供后续相机标定处理。

在该优选实施例中，一种简单的用户协助的ad-hoc算法被设计用于标定数据集的提取。使用一种基于采用阶和度为(1，0)的高斯-拉盖尔圆形谐波滤波器(Gauss-Laguerre Circular Harmonic Filter，GL-CHF)来进行图像探测的图像探测工具，其被测试为鲁棒的检测器，即使在存在高级图像噪声的情况下仍然如此[V]。它是从相应的GL函数获得的复值可调滤波器，并且特别调整为适应阶梯状图像特征的检测。属于该族的滤波器显示出尺度旋转不变性以及对于不同图像特征的辨别能力[VI，VII，VIII，XI]。该算法使非度量相机标定的输入数据集的收集变得容易，其具有代表性的步骤被示于图4中。

具有不同颜色通道的两组图案首先被分离(20)，接着分别对每个图像的红色及蓝色通道执行图案检测(21，22)。

参考图5(a)，执行了对于平行条带图案的每条线的种子点的初始提取(21)。提供对于图像探测滤波器的最高幅度响应的像素位置被确定为初始种子点，其被假设是位于目标线上的像素点。相应的线方向根据像素响应的相位(phase)提取。然后，一束平行线的一组共线种子在该图上进行搜索，如图5(b)所示。穿过检测到的种子点并正交于检测到的线方向的图像切片(image slice)被检查。滤波器响应幅度的所有局部极大值被选为包含在特定图案中的线的潜在种子点。与初始种子点类似，每个选定种子点的线方向根据像素响应的相位(phase)提取。

参考图4，相应线组的提取随后通过选定的种子点的扩展来执行(22)。每个种子点通过边缘行走技术来扩展，该边缘行走技术可以是本领域任意熟知的技术。最后，为了提高边缘定位精度，使用[IX]中提出的基于区域的边缘跟踪算法将检测到的线细化到子像素精度。每条检测到的线的选定的边缘点被提取为标定数据集。

如上面图4所述及所示，标定数据集的提取过程被独立且分别应用到平行条带的两组图案。正交线束的两组标定数据集最终被提取为如图5(c)和图5(d)所示。图6提供了从多个标定图像获得的标定数据集的提取的更多示例性结果。在图6(a)中，对于左列上示出的每个标定图像，正交线束的两组标定数据集被提取，其中水平线束示于中间，而垂直束示于右列。图6(b)相应地在红-绿-蓝图案上示出了检测到的网格线。

在该示例性实施例中，物与图像点之间建立的对应关系的等级是非度量的。换句话说，属于相同线的图像点应被分组在一起，并且属于相同图案的图像线也应被分组在一起。属于相同线的点以及属于相同束的线的度量位置是不相关的。

根据所提出的相机标定方法，新的颜色编码结构被特别设计，其包括不同颜色通道的至少两组不同的图案，例如，两束平行条带。这些组的图案能够被嵌入单个标定图案中以同时满足相机标定所需的约束以及高度可检测性。

在两束平行条带的示例性情况中，该结构能够提供由基于线的非度量标定技术所需的几何约束，因为视觉内容通过移除线段交叉而被显著增强。利用新图案的特定结构，定义了一种专用检测器，它能够通过局部梯度驱动图像探测从高度变形的视图中恢复线束。因此，所提出的相机标定方法允许边缘检测器从输入图像数据集中高精度地提取非交叉线，其无疑具有点共线性、线平行及线束正交性信息。

参考图7，相机标定方法的另一优选实施例可选地包括：细化与颜色编码结构相关联的多个坐标点的确定(14)。因为颜色编码结构的颜色特征可导致所确定的坐标点的一些可能的定位偏移，所以，优选的是细化并且改进最终确定的标定数据集以获得更高的精度用于后续的相机标定。

尤其对于上述示例性实施例(其中颜色编码结构是包括两束平行条带的颜色编码图)，应该注意的是，从颜色通道提取的线束受到关于其在相应的灰度图像中的位置的小位移的影响，如图8所示。图8(a)-(b)示出了对蓝色通道执行的垂直边缘的检测结果，而图8(c)-(d)是覆盖在灰度图像上的检测到的边缘位置。可以看出，在这两个图像中的检测结果之间存在明显位移和差异。

为了弄清哪个边缘检测更可靠，边缘检测的定位精度通过使用标定物来评估，所述标定物配备有作为控制点而均匀分布在网格上的可检测黑点。通过使用这种标记图案，多组图案的各种颜色组合被分析，并且检测到的边缘及参考控制点之间的平均正常距离被测量作为线检测精度指标。表1示出了若干颜色组合的测试结果，其中灰度通道具有更精确的边缘定位，并且蓝/绿补丁是错误定位最严重的一个。

表1

	蓝/绿	白/红	蓝/白	绿/红
					灰度	1，89px	0，54px	0，70px	0，69px
颜色通道	4，43px	0，68px	1，15px	1，22px

因此，对于上述示例性实施例，检测到的标定数据集(即，平行条带的检测线上的选定边缘点)的细化优选地通过使用相应的灰度图像并且尤其基于反向组合算法(ICA)[X]的改进公式来执行。

ICA原本旨在用于图像拼接及特征跟踪的图像对齐，例如，对齐同一景象的两个不同图像的投影变换的评估。在数学形式中，ICA提供了以下最小化问题的解决方案：

$\stackrel{\‾}{p}=\underset{p\∈R^N}{\arg \min }\left\{\underset{m\∈\mathrm{\Ω}}{\mathrm{\Σ}}{|T\left(m\right)-I\left(W(m;p)\right)|}^2\right\}$

其中，m＝(x，y)表示图像坐标点，T(m)和I(m)是要被对齐的两个图像，Ω∈R²是有助于光测误差计算的图像像素的子集，以及W(m；p)是被向量p∈R^N参数化的2D投影变换。以上公式的迭代最小化情况的细节在[X]中进行了说明，这里为清晰起见，省去该说明。

在该优选实施例中，为了对检测到的标定数据集的细化应用以上ICA公式，模板T(m)被定义为2D平滑阶函数，其被假设是对于图像边缘的视觉外观的充分逼近：

$T(x,y)=\left\{\begin{array}{cc}0,& x<-\mathrm{\&delta;}\\ \frac{1+\sin \left(\frac{\mathrm{x\&pi;}}{2\mathrm{\&delta;}}\right)}{2},& -\mathrm{\&delta;}<x<\mathrm{\&delta;}\\ 1,& x>\mathrm{\&delta;}\end{array}\right.---\left(1\right)$

其中，δ是控制阶边坡(step slop)的参数。在该实施例的实现中，使用了具有δ等于5像素的3×15模板。图9示出了两个示例性模板，其中在图9(a)中，δ＝0(像素)，而在图9(b)中，δ＝5(像素)。

假设图像线能够被局部近似为直线段，而不管相机镜头引入的变形有多严重。这允许将图像扭曲复杂度降低到2D刚体运动的子空间：

p＝[δx δθ]

$W(m;p)=R\left(\mathrm{\&delta;\&theta;}\right)\&CenterDot;\left[\begin{array}{c}x\\ y\end{array}\right]+\left[\begin{array}{c}\mathrm{\&delta;x}\\ 0\end{array}\right]---\left(2\right)$

其中，R(δθ)是角度δθ的2D旋转。扭曲函数(2)的雅可比行列式可以轻易算出，并且与公式(1)一起被插入ICA优化框架中，以便评估在虚拟边缘模板与局部图像补丁之间提供最优对齐的参数向量p。

图10示出了该实施例中的细化过程的具体步骤。该细化过程优选地针对从所提出的方法的以上实施例中的上述确定步骤检测到的每个边缘点来执行。

对于每个选定并获得(40)的边缘点(其随后被提取作为标定数据集)，根据初始化的边缘位置及方向向量来定义原图像上的补丁。几何变换的初始化(41)被执行以便使该图像补丁与虚拟模板相关联。当边缘点的位置及局部边缘方向被表示为(m_i，v_i)时，该图像补丁的初始对齐扭曲由2D刚体运动给出，其将m_i置于原点上，而平行于x-轴旋转v_i。注意，局部边缘方向被假设为从颜色通道处理中检测。

初始化的几何变换被用于将图像补丁分为对应于模板的x-正和x-负区域的两个区域，如图11(a)所示。然后，图像补丁的光度标准化(42)通过分别将这两个图像区域的中间灰度值转换为0和1的线性变换来获得。图11(b)示出了光度标准化之后的图11(a)的同一图像补丁，并且扭曲(warp)到虚拟模板的参考系上。换句话说，图11(b)所示的几何及光测扭曲表示从第一边缘检测中推断的边缘定位的信息。

然后，图像补丁进一步通过ICA限定(43)，其直接以公式(2)的形式评估扭曲，从而最小化标称模板与扭曲的补丁之间的光测距离。然后，细化的边缘点通过将所评估的扭曲应用到标称模板的中心点来更新(44)，从而计算图像平面上的相应点。

图12和图13示出了与颜色编码结构相关联的坐标点的确定的细化的示例性结果。标定数据集从由GoPro Hero 3相机在不同方位下拍摄的26张颜色编码结构的照片获得。被嵌入每个图像中的颜色编码结构的线束使用上面所提出的方法进行检测，并且由上述细化过程进行细化。图12(a)-(b)是未进行细化过程的边缘线检测结果，而图12(c)示出了细化过程后的更精确的边缘检测。

标定数据集的检测的改进以及后续的标定过程被进一步测量，并且如图13所示。相机模型参数使用从颜色通道提取的原标定数据集及来自灰度图像的细化标定数据集来分别评估。针对每个标定图像计算与标定网格相关联的反投影误差。在每个视图中的平均反投影误差的降低说明了采用细化标定数据集导致了标定精度的显著提高。

被配置为执行根据本发明的该相机标定方法的装置30被示意性地示于图14中。该装置30包括图像接收单元31和相机标定单元32。图像接收单元31被配置为从相机接收图像(10)，在该图像中捕获颜色编码结构。该颜色编码结构包括具有不同颜色通道的至少两组图案。相机标定单元32被配置为确定与该图像中的颜色编码结构相关联的多个坐标点(11)，并且使用这些坐标点执行相机标定(12)。可选地，相机标定单元32还被配置为区分该颜色编码结构的至少两组图案(13)，并且分别确定颜色编码结构的每组图案的坐标点子集(11)。此外，相机标定单元32优选地被配置为细化与颜色编码结构相关联的多个坐标点的确定(14)。

参考文献

[I]Joaquim Salvi，Xavier Armangué，Joan Batlle，A comparative review ofcamera calibrating methods with accuracy evaluation(具有精度评估的相机标定方法的比较)，Pattern Recognition(模式识别)，第35卷，第7期，2002年7月，第1617-1635页.

[II]Devernay and Olivier Faugeras.2001.Straight lines have to be straight：automatic calibration and removal of distortion from scenes of structuredenviroments(直线必须是直的：结构化环境的自动标定及景象的变形移除).Mach.Vision Appl.13，1(2001年8月)，14-24

[III]R.Swaminathan and S.K.Nayar.Non-Metric Calibration of Wide-Angle Lenses and Polycameras(广角镜头和多相机的非度量标定).IEEETransactions on Pattern Analysis and Machine Intelligence(IEEE模型分析及机器智能学报).2000.22：1172-1178.

[IV]Kenichi Kanatani：Calibration of Ultrawide Fisheye Lens Cameras byEigenvalue Minimization(通过特征值最小化的超宽鱼眼镜头相机的标定).IEEE Trans.Pattern Anal.Mach.Intell.(IEEE模型分析及机器智能学报)35(4)：813-822(2013)

[V]G.Jacovitti，A.Neri，Multiresolution circular harmonic decomposition(多分辨率圆形谐波分解).IEEE Transactions on Signal Processing(IEEE信号处理学报).12/2000.

[VI]M.GOFFREDO，S.CONFORTO，M.SCHMID，A.NERI，T.D’ALESSIO，“Markerless evaluation of sit-to-stand strategy in Gauss-Laguerredomain(高斯-拉盖尔域中的坐立策略的无标记评估)”，XVI Congress ofthe International Society of Electrophysiology and Kinesiology(电生理学及运动机能学国际社团第十六次会议)(ISEK2006)，Torino，Italy，2006

[VII]M.Carli，F.Coppola，A.Neri“Translation，Orientation and ScaleEstimation Based on Laguerre-Gauss Circular Harmonic Pyramids(基于拉盖尔-高斯圆形谐波金字塔的转化、方向及缩放评估)”，in Image Processing：Algorithms and Systems(图像处理：算法及系统)，Proc.SPIE Vo1.4667，Electronic Imaging 2002，20-25January 2002(2002年1月20-25日)，SanJose，California USA

[VIII]L.SORGI N.CIMMINIELLO，NERI A.(2006).KeypointsSelection in the Gauss Laguerre Transformed Domain(高斯-拉盖尔变换域中的关键点选择).In：BMVC06Proceedings.Edinburgh，September 4-7，2006(2006年9月4-7日)，BMVC 2006，vo1.II，p.539-548

[IX]L.Sorgi，Edgelet tracking using Gauss-Laguerre Circular Harmonicfilters(使用高斯-拉盖尔圆形谐波滤波器的小边跟踪)，18th IEEEInternational Conference Image Processing(第18次IEEE图像处理国际会议)(ICIP)，2011：2897-2900

[X]V.S.Baker and I.Mattheus，Lucas-Kanade 20Years On：A UnifyingFramework(Lucas-Kanade 20年：统一框架)，International Journal ofComputer Vision(计算机视觉国际期刊)56(3)，221-255，2004

[XI]M.Goffredo，M.Schmid，S.Conforto，M.Carli，A.Neri and T.D’Alessio，“Markerless Human Motion Analysis in Gauss-Laguerre TransformDomain：An Application to Sit-To-Stand in Young and Elderly People”(高斯-拉盖尔变换域中的无标记人类运动分析：应用于年轻人和老人的坐立)，IEEE Transactions on Information Technology in Biomedicine(IEEE生物医学信息技术汇刊)，2009Mar(2009年3月)；13(2)：207-216

Claims (13)

1.一种相机标定方法，包括：

从相机接收图像(10)，在所述图像中捕获结构；

确定与所述图像中的所述结构相关联的多个坐标点(11)；以及

使用所述坐标点执行相机标定(12)；

其特征在于：

所述被捕获的结构是包括在不同颜色通道中的至少两组图案的颜色编码结构。

2.如权利要求1所述的方法，进一步包括：

区分所述颜色编码结构的所述至少两组图案(13)；以及

分别确定所述颜色编码结构的每组图案的坐标点子集(11)。

3.如权利要求1所述的方法，其中所述颜色编码结构包括在不同颜色通道中的两组图案，所述两组图案中的每一组分别是一束平行条带。

4.如权利要求3所述的方法，其中所述两束平行条带正交。

5.如权利要求3所述的方法，进一步包括：

区分所述颜色编码结构的所述两组图案(13)；以及

分别确定所述颜色编码结构的每组图案的坐标点子集(11)。

6.如权利要求5所述的方法，其中，对于每组图案，所述坐标点子集沿所述平行条带束的侧边设置。

7.如前述权利要求中的任一项所述的方法，进一步包括：

从相机接收多个图像(10)，以及确定每个图像的多个坐标点(11)。

8.如前述权利要求中的任一项所述的方法，进一步包括：细化与所述颜色编码结构相关联的所述多个坐标点的确定(14)。

9.如前述权利要求中的任一项所述的方法，其中所述颜色编码结构是颜色编码图。

10.一种相机标定装置，包括：

图像接收单元(31)，所述图像接收单元(31)被配置为从相机接收图像，在所述图像中捕获结构；以及

相机标定单元(32)，所述相机标定单元(32)被配置为确定与所述图像中的所述结构相关联的多个坐标点，并且使用所述坐标点执行相机标定；

其特征在于：

所述被捕获的结构是包括在不同颜色通道中的至少两组图案的颜色编码结构。

11.如权利要求10所述的装置，其中所述相机标定单元(32)被配置为区分所述颜色编码结构的所述至少两组图案，并且分别确定所述颜色编码结构的每组图案的坐标点子集。

12.如权利要求10或11所述的装置，其中所述相机标定单元(32)被配置为细化与所述颜色编码结构相关联的所述多个坐标点的确定。

13.一种在其中存储了用于相机标定的指令的计算机可读存储介质，当所述指令被计算机执行时，使得所述计算机：

从相机接收图像，在所述图像中捕获结构；

确定与所述图像中的所述结构相关联的多个坐标点；以及

使用所述坐标点执行相机标定；

其特征在于：

所述被捕获的结构是包括在不同颜色通道中的至少两组图案的颜色编码结构。