CN106887023A - 用于双目摄像机标定的标定板及其标定方法和标定系统 - Google Patents

Abstract

本发明公开了用于双目摄像机标定的标定板及双目摄像机标定方法，解决现有摄像机标定方法技术中存在的高精度标定参照物制作困难成本高、操作复杂繁琐、标定精度不够高等不足问题。用于双目摄像机标定的标定板，包括用于接收分辨率信息、并根据分辨率输出平面棋盘格图像驱动信息的电子设备终端机，还包括用于接收平面棋盘格图像驱动信息并显示平面棋盘格图像的显示器。

Description

用于双目摄像机标定的标定板及其标定方法和标定系统

技术领域

本发明涉及计算机视觉技术领域技术，具体涉及摄像机的标定。

背景技术

三维重建是从摄像机获取的二维图像信息出发，计算出物体的三维位置、形状等几何信息，并由此重建和识别场景中的物体。三维重建的关键是获取二维图像上的点与空间物体表面某点的三维几何位置的相对应关系。而这种对应关系是由摄像机成像的几何模型决定的，这些模型的参数称为摄像机参数，这些参数包括摄像机本身的内部参数和摄像机与摄像机之间的外部参数。计算这些参数的过程称为摄像机标定。

目前，在计算机视觉和摄影测量领域已经提出了多种摄像机标定方法，其中包括基于特定的实验条件如形状、尺寸已知的标定参照物求取摄像机模型参数的传统摄像机标定方法，也有不依赖于标定参照物，仅利用摄像机在运动过程中周围环境的图像与图像之间的对应关系对摄像机进行标定的摄像机标定方法。传统的使用标定参照物如标定模板的方法获得了较广泛的应用，其中典型的有Tsai的两步法，这种方法求解精度较高，但是仅仅考虑了径向畸变，对于切向畸变较大的场合就不再适用。在此基础上，张正友提出了基于平面标定板的标定方法，该方法只需利用对平面棋盘格模板在不同拍摄的一组图像即可进行标定，但是，如果这种标定方法要有高的标定精度，就需要制作高平面度的标定板，而高平面度的标定板制作困难，成本较高。这些传统的方法由于在拍摄和标定的过程中一直需要使用标定参照物，因而给拍摄操作以及标定方法的使用带来很大的不方便。

在计算机视觉和摄影测量广泛应用和迅速发展的今天，图像的极线校正、深度图/视差图的获取、自由视频的插值生成等都要用到摄像机内外参数，因此，如何快速、有效对摄像机进行标定是一个必须解决的问题。

发明内容

本发明所要解决的技术问题是解决现有摄像机标定方法技术中存在的高精度标定参照物制作困难成本高、操作复杂繁琐、标定精度不够高等不足问题，目的在于提供用于双目摄像机标定的标定板及双目摄像机标定方法。

本发明通过下述技术方案实现：

用于双目摄像机标定的标定板，包括用于接收分辨率信息、并根据分辨率输出平面棋盘格图像驱动信息的电子设备终端机，还包括用于接收平面棋盘格图像驱动信息并显示平面棋盘格图像的显示器。

标定板(Calibration Target)在机器视觉、图像测量、摄影测量、三维重建等应用中，为校正镜头畸变；确定物理尺寸和像素间的换算关系；以及确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，需要建立摄像机成像的几何模型。通过摄像机拍摄带有固定间距图案阵列平板、经过标定算法的计算，可以得出摄像机的几何模型，从而得到高精度的测量和重建结果。而带有固定间距图案阵列的平板就是标定板。常见的有实心圆阵列图案和国际象棋盘图案的标定板，这些标定板都是采用平面度很高的基板，并在基板上设置所需要的图案。由于图案精度、基板平面度要求很高，往往一个标定板的成本非常昂贵，且整个制作困难成本高、且这种标定板的标定操作复杂繁琐、标定精度不够高等不足问题。

本发明与现有标定板最大的不同在于：采用电子设备驱动显示器来显示图案，必如采用PC主机获取PC显示器的分辨率，根据分辨率制作与之对应的棋盘格图像，并将棋盘格图像显示出来作为标定板。根据不同分辨率的显示器制作与之相应的棋盘格图像，使得PC能够显示出足够清晰的标定棋盘格，提高标定精度。这种方法可以使得显示器尽可能的显示很多的棋盘格，以提高标定精度，而传统的标定板，棋盘格的数量仅有几种规格，要提高棋盘格数量必须要定制，且制作成本较高，且每一套标定系统所需要的标定板也会有所不同，因此每变化一套标定系统则需要设计对应的标定板，因此，这个标定周期则会大大增长，为了适应这些要求，本发明利用电子设备终端机和显示器配合，第一，可以快速形成并能按照预定要求显示棋盘格的显示器，第二，制作成本低，第三，可以利用显示器显示不同的亮度的棋盘格的标定板，从而使用不同光线条件下的标定环境，使得标定图像受关线影响的情况降低，通过上述的标定板，可以以低成本高精度的方式为标定系统提供对应需求的标定板。

本发明根据不同分辨率的显示器制作与之相应的棋盘格图像，使得PC能够显示出足够清晰的标定棋盘格，提高标定精度。由于本发明采用的是依据显示器的分辨率来制作棋盘格图像，其中显示器的分辨率为矩形单元格，而棋盘格图像也为矩形单元格，因此二者可以很好的对应设置，而传统技术采用圆形标定板，无法与显示器分辩率的矩形单元格简单有效的对应起来，需要复杂的计算方法来实现，这就必然会导致精度下降。

采用棋盘格图像与采用圆形图像的差异：

棋盘格标定板的优势在于：在提取特征点的时候，对于棋盘格标定板，特征点坐标处在黑框或白框的角点处，这些点是都由两条直线确定的，无论拍摄角度如何变化，提取出的这些点的位置是确定的。但是对于圆形阵列标定板来说，特征点一般为圆心，当拍摄角度发生变化，对于圆的视角会发生变化，拍摄出来的圆是发生形变了的，此时检测得到的圆心的位置可能是发生了变化的；因此，棋盘格标定板的标定精度比圆形阵列标定板标定精度高。

所述棋盘格图像为包括白色方格和黑色方格的平面棋盘格图像，所有白色方格和黑色方格按照矩形阵列排布，且在行方向和列方向上、相邻黑色方格之间均采用一个白色方格间隔设置。

所述电子设备终端机为PC机或手机或平板电脑。

双目摄像机标定方法，包括以下步骤：

组建标定系统：将2个摄像机与标定数据处理设备建立通讯，这2个摄像机分别是左摄像机和右摄像机；

获得标定图像：将摄像机从多个视角拍摄显示平面棋盘格图像的显示器，左摄像机获取的画面为左图像，右摄像机获取的画面为右图像；一般的，优选拍摄显示器里的图像，是对图像对焦。将摄像机从多个视角拍摄显示平面棋盘格图像的显示器，具体的过程为，将摄像机从多个视角对准显示器，采用对焦方式获取显示平面棋盘格图像的区域图像。

获得图像特征点：检测并提取左图像、右图像的特征点；

匹配图像特征点：利用顺序匹配的方法分别将显示器显示的平面棋盘格图像与左图像、右图像做特征点匹配；

摄像机参数标定：摄像机参数标定包括摄像机内部参数标定和摄像机外部参数标定；

摄像机内部参数标定：包括获得畸变矩阵D和获得摄像机内参矩阵K，

通过建立世界坐标与特征点像素图像坐标之间的投影方程，在投影方程中加入摄像机畸变参数，实现图像畸变矫正，最后通过求解投影方程，得到畸变矩阵D和摄像机内参矩阵K；

获得畸变矩阵D：通过对图像、右图像进行畸变校正获得畸变矩阵D，畸变矫正的过程就是通过加入一个畸变因子，利用建立理想针孔模型成像像素坐标与特征点像素坐标之间的关系获得畸变矩阵D；获得摄像机内参矩阵K：利用理想针孔投影模型建立左、右图像坐标之间的关系，从而标定出摄像机内参矩阵K；

摄像机外部参数标定：外部参数是针对两个或两个以上的摄像机成像坐标之间的对应关系，包括从世界坐标系到摄像机坐标系的旋转变换矩阵和平移变换向量；

极线矫正：采用旋转变换矩阵进行旋转处理和平移变换向量进行平移处理的方式对左图像、右图像进行极线矫正。

所述特征点选择Harris角点作为图像特征点，Harris角点就是梯度变化为极大值的点，如果左图像、右图像中的一个点在两个正交方向上都有明显的导数，即认为该点是Harris角点；

Harris角点的获取过程如下：

利用水平、竖直差分算子对左图像、右图像每个像素进行滤波以求得I_x、I_y；进而求得像素点n中四个元素的关联矩阵：

其中，

其中，I_x、I_y分别是水平和垂直方向的方向导数；

利用离散二维零均值高斯滤波器对n的四个元素进行平滑，再滤波，得到新的m；

找到Harris角点后，以Harris角点的像素图像坐标或以Harris角点的亚像素图像坐标作为特征点像素图像坐标，记为特征点(x,y)。

匹配图像特征点的具体过程为：根据获得的特征点，得到一个N×N的特征点网格，将特征点按顺序规则对所有特征点进行编号，如果左图像和右图像检测到的特征点数量与平面棋盘格图像设定的特征点数量不一样，则需对左图像和右图像重新检测获得特征点；如果左图像和右图像检测到的特征点数量与平面棋盘格图像设定的特征点数量一样，则左图像、右图像都按照顺序规则对N×N的特征点网格进行遍历，同时与平面棋盘格图像做匹配。

摄像机参数标定的具体过程为：

获得畸变矩阵D：先对左图像和右图像进行畸变矫正获得畸变矩阵D，具体的：

设理想针孔模型成像像素坐标为(u,v)，特征点像素图像坐标为(x,y)，设畸变因子为δ_x(x,y),δ_y(x,y)，δ_x(x,y),δ_y(x,y)是径向畸变和切向畸变的非线性畸变值；

建立摄像机理想针孔模型成像像素坐标(u,v)与实际像素坐标(x,y)之间的关系：

畸变因子与特征点在左图像和右图像中的位置有关：

其中,k₁、k₂是描述需要标定的两个径向畸变系数，p₁、p₂为需要标定的两个切向畸变参数，径向畸变系数、切向畸变参数组成畸变矩阵D，D＝[k₁,k₂,p₁,p₂]；

获得摄像机内参矩阵K：

设平面棋盘格图像上的特征点的世界坐标X_i＝[x_i,y_i,0]^T，i为坐标点的编号，即z分量为0，

建立摄像机理想针孔模型为：

其中，r₁,r₂,r₃分别为R的三个列向量，s是一个比例系数，通过上述方程计算得到；[x_w,y_w,0]^T为点P在世界坐标系下的坐标；[u,v]^T为点P在平面棋盘格图像上的理想点坐标值；R和t分别为从世界坐标系到摄像机坐标系的旋转变换矩阵和平移变换向量；K为摄像机内参矩阵K；(u₀,v₀)为图像平面的主点坐标；α,β分别为图像在u轴和v轴的焦距参数；γ为图像扭曲参数，表示图像两坐标轴偏斜度；

令m＝[u v 1]^T，M＝[x_w y_w 1]^T，H＝[h₁ h₂ h₃]＝K[r₁ r₂ 0]，那么，上式(5)可以表示为:

sm＝HM

矩阵H为单应矩阵，表示两个平面之间的对应关系，它联系了标定表上的角点的空间信息和图像信息,可以利用非线性最小化方法进行求解；根据旋转列向量r₁,r₂的单位正交性，得到如下约束方程：

每次拍摄的图像代入上式，即可求解出单应矩阵H，进一步得到如式(6)中的两个线性约束方程，矩阵K中有5个未知量需要标定，当有至少3幅图像的时候就能根据式(6)求解出K中的5个未知量，在此标定过程中，也会解出畸变矩阵D；

针对左图像和右图像，将会的到对应的两组参数：H₀,H₁、K₀,D₀和K₁,D₁，需要输出的参数有：K₀,D₀和K₁,D₁，其中，H₀,K₀,D₀分别为左图像相对于世界坐标的单应矩阵、左摄像机的摄像机矩阵、左摄像机的畸变参数矩阵；H₁,K₁,D₁分别为右图像相对于世界坐标的单应矩阵、右摄像机的摄像机矩阵、右摄像机的畸变参数矩阵；

摄像机外部参数标定：

由H₀,H₁，可知道世界坐标对应于左图像和右图像的坐标对应关系，由式H＝[h₁ h₂h₃]＝K[r₁ r₂ 0]可以进一步求出每次拍摄时摄像机对于世界坐标的外部参数：

求出左图像和右图像之间的对应关系过程如下：

对于世界坐标与左图像有：sm₀＝H₀M。

对于世界坐标与右图像有：sm₁＝H₁M。

那么，对于左图像与右图像之间的关系有：m₀＝H₀(H₁)^-1m₁；

令H＝(H₀)^-1H₁，则H包含了左图像与右图像的旋转平移的变化关系，由此即可求出左图像与右图像之间的外部参数，需要输出的外部参数有R、t，R为从世界坐标系到摄像机坐标系的旋转变换矩阵，t为从世界坐标系到摄像机坐标系的平移变换向量。

极线矫正的过程为：

极线校正就是寻找对合适的投影变换矩阵H₀、单应矩阵H₁分别对图像I₀、I₁进行变换得到H₀I₀、H₁I₁，并满足：其中F是其对应的基本矩阵，对每一对匹配点u₀∈I₀,u₁∈I₁，有u₀ ^TFu₁＝0，是校正后的基本矩阵。

采用上述标定板的标定系统，包括：

棋盘格图像制作模块：用于获取显示器的分辨率，并根据显示器分辨率制作与之对应的平面棋盘格图像，并将棋盘格图像采用显示器的方式显示出来作为标定板；

图像采集模块：用于控制摄像头从多个视角拍摄显示平面棋盘格图像的显示器，左摄像头获取的画面为左图像，右摄像头获取的画面为右图像；

特征点匹配模块；用于检测并提取左图像、右图像的特征点，再利用顺序匹配的方法分别将显示器显示的平面棋盘格图像与左图像、右图像做特征点匹配，获得匹配后的特征点；

标定模块：用于通过特征点和左图像和右图像的数据处理实现对摄像机参数的标定；

控制触发模块：用于实现控制摄像机的工作状态；

标定提示模块：用于标定时、提示摄像机的移动方向。

其中标定模块包括：

摄像机内部参数标定模块：用于建立世界坐标与图像坐标之间的投影方程，在投影方程中加入摄像机畸变参数，实现图像畸变矫正，最后通过求解投影方程，得到畸变矩阵D和摄像机内参矩阵K；

极线矫正标定模块：用于采用旋转变换矩阵进行旋转处理和平移变换向量进行平移处理的方式对左图像、右图像进行极线矫正；

摄像机外部参数标定模块：用于建立两个或两个以上的摄像机成像坐标之间的对应关系，包括从世界坐标系到摄像机坐标系的旋转变换矩阵和平移变换向量。

使用使，摄像机(摄像机)通过外部接口模块将的图像预处理模块、控制触发模块、标定提示模块建立联系，摄像机(摄像机)以多方向的方式拍照采集显示器标定出的棋盘格图像，经过图像预处理模块、控制触发模块、标定提示模块的控制进行标定处理。

本发明与现有技术相比，具有如下的优点和有益效果：

1.提供一种基于PC端的双目摄像机标定的方法和系统，使得标定工作简单方便，易于操作，避免了很多由于人工操作引起的标定误差。

2.通过利用计算机制作棋盘格图像作为标定参照物，能够大大降低传统标定板的制作成本。

3.在标定过程中，对图像进行了畸变矫正和极线校正，避免了由于摄像机本身因素引起的成像偏差，提高了标定精度。

4.在标定过程中，通过多次拍摄不同方向不同角度的棋盘格图像，消除了摄像机视场中的畸变不能能代表全局畸变而引起的标定误差。

5.根据不同分辨率的显示器制作与之相应的棋盘格图像，使得PC能够显示出足够清晰的标定棋盘格，提高标定精度。

附图说明

图1为采用显示器显示的棋盘格图像。

图2为系统摄像机移动方向为显示器左下角方向时的提示以及图像显示截图。

图3为系统摄像机移动方向为显示器正左方向时的提示以及图像显示截图。

图4为多个方位拍摄示意图。

图5为拍摄角度示意图。

图6为一种基于PC端的双目摄像机标定的方法和系统。

图7为摄像机标定流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。

实施例1

用于双目摄像机标定的标定板，包括用于接收分辨率信息、并根据分辨率输出平面棋盘格图像驱动信息的电子设备终端机，还包括用于接收平面棋盘格图像驱动信息并显示平面棋盘格图像的显示器。

标定板(Calibration Target)在机器视觉、图像测量、摄影测量、三维重建等应用中，为校正镜头畸变；确定物理尺寸和像素间的换算关系；以及确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，需要建立摄像机成像的几何模型。通过摄像机拍摄带有固定间距图案阵列平板、经过标定算法的计算，可以得出摄像机的几何模型，从而得到高精度的测量和重建结果。而带有固定间距图案阵列的平板就是标定板。常见的有实心圆阵列图案和国际象棋盘图案的标定板，这些标定板都是采用平面度很高的基板，并在基板上设置所需要的图案。由于图案精度、基板平面度要求很高，往往一个标定板的成本非常昂贵，且整个制作困难成本高、且这种标定板的标定操作复杂繁琐、标定精度不够高等不足问题。

本发明与现有标定板最大的不同在于：采用电子设备驱动显示器来显示图案，必如采用PC主机获取PC显示器的分辨率，根据分辨率制作与之对应的棋盘格图像，并将棋盘格图像显示出来作为标定板。根据不同分辨率的显示器制作与之相应的棋盘格图像，使得PC能够显示出足够清晰的标定棋盘格，提高标定精度。这种方法可以使得显示器尽可能的显示很多的棋盘格，以提高标定精度，而传统的标定板，棋盘格的数量仅有几种规格，要提高棋盘格数量必须要定制，且制作成本较高，且每一套标定系统所需要的标定板也会有所不同，因此每变化一套标定系统则需要设计对应的标定板，因此，这个标定周期则会大大增长，为了适应这些要求，本发明利用电子设备终端机和显示器配合，第一，可以快速形成并能按照预定要求显示棋盘格的显示器，第二，制作成本非常廉价，第三，可以利用显示器显示不同的亮度的棋盘格的标定板，从而使用不同光线条件下的标定环境，使得标定图像受关线影响的情况降低，通过上述的标定板，可以以低成本高精度的方式为标定系统提供对应需求的标定板。

本发明根据不同分辨率的显示器制作与之相应的棋盘格图像，使得PC能够显示出足够清晰的标定棋盘格，提高标定精度。由于本发明采用的是依据显示器的分辨率来制作棋盘格图像，其中显示器的分辨率为矩形单元格，而棋盘格图像也为矩形单元格，因此二者可以很好的对应设置，而传统技术采用圆形标定板，无法与显示器分辩率的矩形单元格简单有效的对应起来，需要复杂的计算方法来实现，这就必然会导致精度下降。

采用棋盘格图像与采用圆形图像的差异：

所述棋盘格图像为包括白色方格和黑色方格的平面棋盘格图像，所有白色方格和黑色方格按照矩形阵列排布，且在行方向和列方向上、相邻黑色方格之间均采用一个白色方格间隔设置。

所述电子设备终端机为PC机或手机或平板电脑。

实施例2

双目摄像机标定方法，包括以下步骤：

步骤1：将带有摄像机的设备通过USB线链接至电脑，等待摄像机进入正常工作状态。

步骤2：获取PC显示器的分辨率，根据分辨率制作与之对应的棋盘格图像，并将棋盘格图像显示出来作为标定板。根据不同分辨率的显示器制作与之相应的棋盘格图像，使得PC能够显示出足够清晰的标定棋盘格，提高标定精度。标定棋盘格图像如图1所示。

步骤3：由标定系统的图像预处理模块对标定棋盘格图像进行预处理。对图像进行去噪、增强等预处理操作。

步骤4：控制打开摄像机，开始拍摄棋盘格图像进行摄像机标定。

步骤5：根据系统提示，如图2、图3所示，将摄像机朝多个不同方向移动，从多个视角获取标定棋盘格图像，如图4所示。从多个视角获取标定模板图像是为了得到多组标定板与摄像机之间的相对姿态，从而实现单应矩阵的构建，同时，使得得到的畸变参数更能体现整幅图像的全局畸变。摄像机在移动的过程中，需要保证左右摄像机都能完整地拍摄棋盘格图像，即棋盘格图像能够完整地包含在每个摄像机的视场里面。摄像机拍摄的图像序列将会在系统的PC端实时显示出来。为了得到准确的摄像机参数，对于主要用于内部参数标定的影像获取提出两点建议：(1)拍摄时，主光轴与标定板成60°以下，如图5所示；(2)多次调整拍摄角度。

步骤6：由系统的图像预处理模块对步骤5拍摄得到的图像进行去噪、增强等操作。将图像序列作为标定的数据，传入系统的标定模块，其中，左摄像机拍摄的图像称为左图像，右摄像机拍摄的图像称为右图像。

步骤7：检测左、右图像的特征点，提取左、右图像的特征。本发实例明将Harris角点作为图像特征点。角点就是梯度变化为极大值的点，如果一个点在两个正交方向上都有明显的导数，即认为该点是角点。Harris角点的检测过程详细描述为：

步骤7.1:利用水平、竖直差分算子对图像每个像素进行滤波以求得I_x、I_y，进而求得像素点n中四个元素的关联矩阵：

其中，

其中，I_x、I_y分别是水平和垂直方向的方向导数。

步骤7.2:对像素点n中的四个元素进行平滑滤波，得到新的m。在此，利用离散二维零均值高斯滤波器对n的四个元素进行平滑。离散二维零均值高斯函数为：

步骤8：提取左、右图像特征的亚像素图像坐标。为了得到更为精确的角点位置，需要对步骤7检测到的Harris角点坐标进行亚像素级求精。假设点q在实际亚像素级角点的附近且在一个区域A的边缘，点p在区域A的内部，p处的梯度为0，那么，通过找到p点周围很多组梯度以及很多个向量这些梯度与对应的向量的点积为0，然后通过求解方程组，方程组的解即为角点q的亚像素级精度的位置，也就是角点的精确位置，记为(x,y)。

步骤9：匹配图像特征点。利用顺序匹配的方法分别将棋盘格图像与左、右图像做特征点匹配，具体描述如下：

步骤9.1:通过检测得到的Harris角点，可以得到一个N×N的角点网格(矩阵)，对角点进行一定规则的顺序编号。按行或列或是其他的规则对所有角点进行编号。如果左图像和右图像检测到的Harris角点数量与棋盘格设定的角点数量不一样，则需要对图像进行进一步的滤波处理后返回步骤7，重新检测角点。

步骤9.2:左、右图像都按照同一顺序规则对角点网格进行遍历，然后同时与棋盘格图像做匹配。

步骤10：摄像机内部参数标定：摄像机内部参数描述的是能够反映摄像机的成像特性的参数，需要输出的参数包括内参矩阵K，畸变矩阵D。具体步骤如下：

步骤10.1：畸变矫正。现实中，摄像机由于制作工艺不能够足够精确的原因，使得摄像机透镜的形状不够理想，因而在拍摄的过程中会产生径向畸变；又由于人工安装的存在误差的问题，使得透镜不完全平行于图像平面，因而对拍摄出的图像产生切向畸变。摄像机成像模型是理想的针孔投影成像模型，如果直接用发生畸变的图像进行摄像机标定，那么标定结果必然是不准确的。因此，在标定之前必须对图像进行畸变校正。畸变矫正的过程就是通过加入一个畸变因子，从而建立理想针孔模型成像像素坐标(u,v)与实际像素坐标(x,y)之间的关系：

其中，δ_x(x,y),δ_y(x,y)是径向畸变和切向畸变的非线性畸变值，它与像素点在图像中的位置有关：

其中,k₁、k₂是描述需要标定的两个径向畸变系数，p₁、p₂为需要标定的两个切向畸变参数，他们描述了畸变矩阵D，D＝[k₁,k₂,p₁,p₂]。

步骤10.2：利用理想针孔投影模型建立左、右图像坐标之间的关系，从而标定出摄像机的内部参数。本发明采用的标定表是由计算机PC端提供的，是高平面的，所以标定表上的角点的世界坐标X_i＝[x_i,y_i,0]^T，即z分量为0。所以，摄像机理想针孔投影模型为：

其中，r₁,r₂,r₃分别为旋转矩阵R的三个列向量。s是一个比例系数，通过上述方程计算得到；[x_w,y_w,0]^T为点P在世界坐标系下的坐标；[u,v]^T为点P在图像平面上的理想像点坐标；R和t扥别为从世界坐标系到摄像机坐标系的旋转变换矩阵和平移变换向量；K为摄像机内部参数矩阵；(u₀,v₀)为图像平面的主点坐标；α,β分别为图像在u轴和v轴的焦距参数；γ为图像扭曲参数，表示图像两坐标轴偏斜度。

令m＝[u v 1]^T，M＝[x_w y_w 1]^T，H＝[h₁ h₂ h₃]＝K[r₁ r₂ 0]，那么。上式可以表示为:sm＝HM；

矩阵H为单应矩阵，表示两个平面之间的对应关系，它联系了标定表上的角点的空间信息和图像信息,可以利用非线性最小化方法进行求解。根据旋转列向量r₁,r₂的单位正交性，得到如下约束方程：

每次拍摄的图像代入上式，即可求解出单应矩阵H，进一步得到如式(7)中的两个线性约束方程。矩阵K中有5个未知量需要标定，当有3幅图像以上的时候就能根据式(7)求解出K中的5个未知量。在此标定过程中，也会解出畸变矩阵D。针对左右两幅图像，将会的到对应的两组参数：H₀,H₁、K₀,D₀和K₁,D₁。需要输出的参数有：K₀,D₀和K₁,D₁。

由式H＝[h₁ h₂ h₃]＝K[r₁ r₂ 0]可以进一步求出每次拍摄时摄像机对于世界坐标的外部参数：

步骤11：双目摄像机外部参数标定：外部参数是针对两个或两个以上的摄像机成像坐标之间的对应关系，主要包括旋转矩阵R和平移向量t。由步骤10中的H₀,H₁，可知道世界坐标对应于左图像和右图像的坐标对应关系。为此，求出左图像和右图像之间的对应关系过程如下：

对于世界坐标与左图像有：sm₀＝H₀M；

对于世界坐标与右图像有：sm₁＝H₁M；

那么，对于左图像与右图像之间的关系有：m₀＝H₀(H₁)^-1m₁；

令H＝(H₀)^-1H₁，则H包含了左图像与右图像的旋转平移的变化关系，由此即可求出左图像与右图像之间的外部参数。需要输出的外部参数有R，t。

步骤12：左、右图像的极线矫正。为了使标定参数结果更加方便应用于各种场景，首先对拍摄到的左、右图像进行极线校正。极线校正就是利用旋转、平移的方法对图像进行变换，使得两幅图像的所有极线在一个平面上。具体描述为：极线校正就是寻找对合适的投影变换矩阵H₀、H₁(单应矩阵)分别对图像I₀、I₁进行变换得到H₀I₀、H₁I₁，并满足：其中F是其对应的基本矩阵，对每一对匹配点u₀∈I₀,u₁∈I₁，有u₀ ^TFu₁＝0，校正后的基本矩阵。基本过程如下所述：针对左图像和右图像，将会的到对应的两组参数：H₀,H₁、K₀,D₀和K₁,D₁，需要输出的参数有：K₀,D₀和K₁,D₁，其中，H₀,K₀,D₀分别为左图像相对于世界坐标的单应矩阵、左摄像机的摄像机矩阵、左摄像机的畸变参数矩阵；H₁,K₁,D₁分别为右图像相对于世界坐标的单应矩阵、右摄像机的摄像机矩阵、右摄像机的畸变参数矩阵；

步骤12.1：通过旋转变换，使左、右图像I₀、I₁平行。具体为：有一个平面E平行于直线C₀C₁，E与I₀、I₁分别相交于直线d₀、d₁，E与I₀、I₁的夹角分别为θ₀、θ₁，那么，将I₀、I₁分别绕直线d₀、d₁旋转θ₀、θ₁，得到这时，E与分别平行，从而之间也互相平行。其中，分别为两幅图像的旋转矩阵。

其中，分别为d_i在世界坐标系中的单位方向向量的分量，单位方向向量为

步骤12.2：左、右图像平行以后，的各自极线是平行的，但是这些极线通常与x轴存在夹角，因此对图像进行极线对齐操作。简单地说，就是以其中一幅图像为基准，另一幅图像通过一定的旋转平移变换即可得到两幅图像平行且对应的极线在一条水平线上。具体为：

a.先旋转。将分别按照旋转矩阵旋转得到其中，

其中，φ_i表示图像I_i与世界坐标x的夹角，即是图像的旋转角度。

b.平移。左右图像的极线已经平行，需要将其中一幅图像通过在y方向进行平移，使得左、右图像的对应极限在同一条直线上。平移矩阵为：

此时，两幅图像的投影变换矩阵分别为：

步骤12.3：由于上述得出H₀、H₁是假设基本矩阵F已知，但是事实上F为未知。为此，通过利用Levenberg_Marquardt算法来计算H₀、H₁的最优解。具体为：

目标函数：

其中，N为匹配点对，u_0i,u_1i为一对匹配点的其次坐标，i＝1,2,...,N。

利用Levenberg_Marquardt算法对f[H₀,H₁]最小化，最后得到H₀、H₁。

步骤12.4：生成校正后的图像。详细说明为：得到H_i之后，对I_i实施变换H_i便可得到校正后的图像H_iI_i。但是这样做会使得新图像H_iI_i中的某些点不能在I_i中找到对应的点，从而产生“空洞(holes)”现象。为此，采用下述方法对图像进行逆向映射，从而消除空洞，实现精准匹配。

(1)计算图像H_iI_i；

(2)求解H_iI_i的最小边界矩形Rect_i；

(3)对Rect_i进行平移，使Rect_i在左上角的点平移到坐标系的原点。对于Rect_i在垂直方向的平移量Δy_i(i＝0,1)：

(4)以从左到右、从上到下的顺序，计算Rect_i中的每一个点u_i'在图像I_i中的对应点u_i。

(5)检查u_i是否落在原始图像I_i范围内，若在，则将u_i对应的像素拷贝到点u_i'的位置；否则将点u_i'的颜色变为黑色，从而生成校正后的图像。

步骤13：输出标定结果。最后得到标定参数，包括：K₁,K₂,D₁,D₂,R,t。

实施例3

采用上述标定板的标定系统，包括：

棋盘格图像制作模块：用于获取显示器的分辨率，并根据显示器分辨率制作与之对应的平面棋盘格图像，并将棋盘格图像采用显示器的方式显示出来作为标定板；

图像采集模块：用于控制摄像头从多个视角拍摄显示平面棋盘格图像的显示器，左摄像头获取的画面为左图像，右摄像头获取的画面为右图像；

特征点匹配模块；用于检测并提取左图像、右图像的特征点，再利用顺序匹配的方法分别将显示器显示的平面棋盘格图像与左图像、右图像做特征点匹配，获得匹配后的特征点；

标定模块：用于通过特征点和左图像和右图像的数据处理实现对摄像机参数的标定；

控制触发模块：用于实现控制摄像机的工作状态；

标定提示模块：用于标定时、提示摄像机的移动方向。如图2和图3所示，图2和图3中，左侧部分为显示器显示的平面棋盘格图像，右下角图案则提示摄像机位于显示器在当前状态处于何种角度，右上角区域则是显示前时刻拍摄的图像，其中图2的右下角图案的表示摄像机当前应当位于显示器的左下角方向进行拍摄，图3的右下角图案表示表示摄像机当前应当位于显示器的正左方向进行拍摄。

还包括：

外部接口模块：用于提供摄像机的通讯接口；

图像预处理模块：用于实现对摄像机获取的图像进行去噪、增强等预处理操作；

其中标定模块包括：

摄像机内部参数标定模块：用于建立世界坐标与图像坐标之间的投影方程，在投影方程中加入摄像机畸变参数，实现图像畸变矫正，最后通过求解投影方程，得到畸变矩阵D和摄像机内参矩阵K；

极线矫正标定模块：用于采用旋转变换矩阵进行旋转处理和平移变换向量进行平移处理的方式对左图像、右图像进行极线矫正；

摄像机外部参数标定模块：用于建立两个或两个以上的摄像机成像坐标之间的对应关系，包括从世界坐标系到摄像机坐标系的旋转变换矩阵和平移变换向量。

使用时，摄像机通过外部接口模块将的图像预处理模块、控制触发模块、标定提示模块建立联系，摄像机以多方向的方式拍照采集显示器标定出的棋盘格图像，经过图像预处理模块、控制触发模块、标定提示模块的控制进行标定处理。标定时，可以采用实施例2的标定方法进行标定处理。

Claims (10)

1.用于双目摄像机标定的标定板，其特征在于，包括用于接收分辨率信息、并根据分辨率输出平面棋盘格图像驱动信息的电子设备终端机，还包括用于接收平面棋盘格图像驱动信息并显示平面棋盘格图像的显示器。

2.根据权利要求1所述的用于双目摄像机标定的标定板，其特征在于，所述棋盘格图像为包括白色方格和黑色方格的平面棋盘格图像，所有白色方格和黑色方格按照矩形阵列排布，且在行方向和列方向上、相邻黑色方格之间均采用一个白色方格间隔设置。

3.根据权利要求1所述的用于双目摄像机标定的标定板，其特征在于，所述电子设备终端机为PC机或手机或平板电脑。

4.采用权利要求1-3中任意一项标定板的标定方法，其特征在于，包括以下步骤：

组建标定系统：将2个摄像机与标定数据处理设备建立通讯，这2个摄像机分别是左摄像机和右摄像机；

获得标定图像：将摄像机从多个视角拍摄显示平面棋盘格图像的显示器，左摄像机获取的画面为左图像，右摄像机获取的画面为右图像；

获得图像特征点：检测并提取左图像、右图像的特征点；

匹配图像特征点：利用顺序匹配的方法分别将显示器显示的平面棋盘格图像与左图像、右图像做特征点匹配；

摄像机参数标定：摄像机参数标定包括摄像机内部参数标定和摄像机外部参数标定。

5.根据权利要求4所述的双目摄像机标定方法，其特征在于，

摄像机内部参数标定：包括获得畸变矩阵D和获得摄像机内参矩阵K，

通过建立世界坐标与特征点像素图像坐标之间的投影方程，在投影方程中加入摄像机畸变参数，实现图像畸变矫正，最后通过求解投影方程，得到畸变矩阵D和摄像机内参矩阵K；

还包括极线矫正：采用旋转变换矩阵进行旋转处理和平移变换向量进行平移处理的方式对左图像、右图像进行极线矫正。

6.根据权利要求4所述的双目摄像机标定方法，其特征在于，

摄像机外部参数标定：外部参数是针对两个或两个以上的摄像机成像坐标之间的对应关系，包括从世界坐标系到摄像机坐标系的旋转变换矩阵和平移变换向量。

7.根据权利要求4所述的双目摄像机标定方法，其特征在于，所述特征点选择Harris角点作为图像特征点，Harris角点就是梯度变化为极大值的点，如果左图像、右图像中的一个点在两个正交方向上都有明显的导数，即认为该点是Harris角点；

Harris角点的获取过程如下：

利用水平、竖直差分算子对左图像、右图像每个像素进行滤波以求得I_x、I_y；进而求得像素点n中四个元素的关联矩阵：

$m=\left[\begin{array}{cc}{I}_x^2& I_x{I}_y\\ I_x{I}_y& I_y^2\end{array}\right]---\left(1\right);$

其中，

$\left\{\begin{array}{c}{I}_x^2=I_x*I_x\\ I_y^2=I_y*I_y\end{array}\right.---\left(2\right);$

其中，I_x、I_y分别是水平和垂直方向的方向导数；

利用离散二维零均值高斯滤波器对n的四个元素进行平滑，再滤波，得到新的m；

找到Harris角点后，以Harris角点的像素图像坐标或以Harris角点的亚像素图像坐标作为特征点像素图像坐标，记为特征点(x,y)。

8.根据权利要求4所述的双目摄像机标定方法，其特征在于，匹配图像特征点的具体过程为：根据获得的特征点，得到一个N×N的特征点网格，将特征点按顺序规则对所有特征点进行编号，如果左图像和右图像检测到的特征点数量与平面棋盘格图像设定的特征点数量不一样，则需对左图像和右图像重新检测获得特征点；如果左图像和右图像检测到的特征点数量与平面棋盘格图像设定的特征点数量一样，则左图像、右图像都按照顺序规则对N×N的特征点网格进行遍历，同时与平面棋盘格图像做匹配。

9.采用权利要求1-3中任意一项标定板的标定系统，其特征在于，包括：

棋盘格图像制作模块：用于获取显示器的分辨率，并根据显示器分辨率制作与之对应的平面棋盘格图像，并将棋盘格图像采用显示器的方式显示出来作为标定板；

图像采集模块：用于控制摄像头从多个视角拍摄显示平面棋盘格图像的显示器，左摄像头获取的画面为左图像，右摄像头获取的画面为右图像；

特征点匹配模块；用于检测并提取左图像、右图像的特征点，再利用顺序匹配的方法分别将显示器显示的平面棋盘格图像与左图像、右图像做特征点匹配，获得匹配后的特征点；

标定模块：用于通过特征点和左图像和右图像的数据处理实现对摄像机参数的标定；

控制触发模块：用于实现控制摄像机的工作状态；

标定提示模块：用于标定时，提示摄像机的移动方向。

10.根据权利要求9所述的标定系统，其特征在于，

标定模块包括：

摄像机内部参数标定模块：用于建立世界坐标与图像坐标之间的投影方程，在投影方程中加入摄像机畸变参数，实现图像畸变矫正，最后通过求解投影方程，得到畸变矩阵D和摄像机内参矩阵K；

极线矫正标定模块：用于采用旋转变换矩阵进行旋转处理和平移变换向量进行平移处理的方式对左图像、右图像进行极线矫正；

摄像机外部参数标定模块：用于建立两个或两个以上的摄像机成像坐标之间的对应关系，包括从世界坐标系到摄像机坐标系的旋转变换矩阵和平移变换向量。