CN105447877A - 一种平行双摄像头立体标定的方法 - Google Patents

Abstract

本发明涉及一种平行双摄像头立体标定的方法，其包括以下步骤：(1)提供一棋盘格标定板，将棋盘格标定板的四个角的黑色方格作为覆盖区域；(2)将该棋盘格标定板设置成多个不同的角度，并对该棋盘格标定板进行拍摄得到多组左图像和右图像；(3)分别对每幅图像中的四个覆盖区域进行处理得到四个四边形区域；(4)通过分别定位四个覆盖区域对应的四边形区域，获取角点检测区域的四个顶点的坐标而得到角点检测区域；以及(5)通过左样图及右样图中角点检测区域的四个顶点的坐标获得由该拍摄装置所摄左右图像合成3D图像时的移位模式，并对左摄像头和右摄像头各自的内参和相互之间的外参进行标定。

Description

一种平行双摄像头立体标定的方法

技术领域

本发明涉及一种摄像头的立体标定方法，尤其涉及一种平行双摄像头立体标定的方法。

背景技术

相机标定是计算机视觉中的基本问题之一，包括计算相机内外参数，在物体尺寸测量、三维重建、物体识别、机器人导航等领域有着重要应用。常用的相机标定算法有Tsai的两步标定法和张氏标定法。其中张氏标定法(请参见文献：ZhengyouZhang：AFlexibleNewTechniqueforCameraCalibration.IEEETrans.PatternAnal.Mach.Intell.(PAMI)，22(11)：1330-1334，2000.)利用平面标定板提供了一种灵活的、低成本的相机参数计算方法，该方法利用在不同姿态下拍摄的棋盘格图像并获取图像中棋盘格角点的亚像素坐标及已知的棋盘格物理坐标，根据相机成像模型建立相机的标定算法。

另一方面，3D图像由于其独特的立体显示效果而越来越受到大众的欢迎。现有的立体拍摄(也称3D拍摄)包括平行式立体拍摄、垂直式立体拍摄、单机双镜头的立体拍摄以及快门式立体拍摄。其中平行式立体拍摄3D图像的原理为：利用拍摄得到的左右视差图像进行3D图像的合成。然而，由于左图像、右图像在内容上无法重叠而产生重影，并且在固定左右摄像头的相对位置时，由于位置的误差而使得左图像、右图像在内容上存在竖直方向上的偏移，导致合成图像的3D显示效果较差。因此在合成3D图像前需要确定左右图像的移位模式，将左右图像对齐。

现有的立体拍摄装置中立体标定和立体图像的合成是分两步独立的进行，而没有将立体标定与立体图像合成有效结合起来，降低了执行效率。

发明内容

有鉴于此，确有必要提供一种平行双摄像头立体标定的方法。该方法既可实现立体标定又可实现3D图像的有效合成。

本发明提供一种平行双摄像头立体标定的方法，包含了确定由该拍摄装置所摄左右图像在合成3D图像时的移位模式的过程，其包括以下步骤：

(1)提供一标定场景和一可在预设角度下旋转的棋盘格标定板，该棋盘格标定板设于该标定场景的中间，将棋盘格标定板的四个角的黑色方格作为覆盖区域，并用与标定场景以及棋盘格标定板不同的颜色将该覆盖区域加以覆盖；

(2)将该棋盘格标定板设置成多个不同的角度，并采用一包括左摄像头和右摄像头的拍摄装置对该棋盘格标定板进行拍摄得到该棋盘格标定板在不同角度下的多组左图像和右图像，其中所述左摄像头与右摄像头的位置相对固定，将该棋盘格标定板设置与所述拍摄装置平行时所拍摄的图像定义为左样图和右样图；

(3)以每组左图像及右图像为单位，分别对每幅图像中的四个覆盖区域进行检测并处理得到四个四边形区域；

(4)以每组左图像及右图像为单位，通过分别定位每幅图像中四个覆盖区域对应的四边形区域，获取当前图像内角点检测区域的四个顶点的坐标，而得到所有组左右图像的角点检测区域；以及

(5)通过左样图及右样图中角点检测区域的四个顶点的坐标获得由该拍摄装置所摄左右图像合成3D图像时的移位模式，并利用所有组左右图像在角点检测区域内的角点检测结果对左摄像头和右摄像头各自的内参和相互之间的外参进行标定。

与现有技术相比较，本发明提供的平行双摄像头立体标定的方法具有以下优点：

第一，通过对所述棋盘格标定板指定四个覆盖区域，然后对四个覆盖区域进行检测和定位，从而实现对角点检测区域的快速定位，进而对左摄像头和右摄像头各自的内参和相互之间的外参进行标定。相对于一般的自动角点检测算法来说，该方法减小了搜索范围，同时提高了角点检测的准确性；相对于人为确定棋盘的角点检测区域的方法来说，省去了人工干预的部分，提高了自动化程度，便于实际生产中的应用。

第二，同时在标定的过程中，通过该角点检测区域的四个顶点在第一组左样图及右样图中的坐标获得对齐左图像和右图像的移位模式。在后续的拍摄过程中该拍摄装置拍摄得到的左图像以及右图像可按照该移位模式进行移位而实现自动对齐。该对齐后的左图像及右图像可直接合成3D图像，在立体显示设备上显示，有效解决了左图像、右图像在合成3D图像时由于没有对齐而产生的重影问题。

该方法既可实现立体标定又可实现3D图像的有效合成，提高了两者的执行效率。

附图说明

图1为本发明平行双摄像头立体标定的方法的流程图。

图2为本发明实施例中拍摄得到的左样图。

图3为对图2中的覆盖区域进行检测并处理得到的四边形区域。

图4为本实施例的所述角点检测区域。

图5为本实施例所拍摄的13组左右图像，图5(a)为所有左图像，图5(b)为所有右图像，相应位置的左右图像即为一组。

如下具体实施例将结合上述附图进一步说明本发明。

具体实施方式

以下将对本发明提供的平行双摄像头立体标定的方法作进一步说明。

请参阅图1，为本发明提供一种平行双摄像头立体标定的方法。该方法包括以下步骤：

S1，提供一标定场景和一可在预设角度下旋转的棋盘格标定板，该棋盘格标定板设于该标定场景的中间，将棋盘格标定板的四个角的黑色方格作为覆盖区域，并用与标定场景以及棋盘格标定板不同的颜色将该覆盖区域加以覆盖；

S2，将该棋盘格标定板设置成多个不同的角度，并采用一包括左摄像头和右摄像头的拍摄装置对该棋盘格标定板进行拍摄得到该棋盘格标定板在不同角度下的多组左图像和右图像，其中所述左摄像头与右摄像头的位置相对固定，将该棋盘格标定板设置与所述拍摄装置平行时所拍摄的图像定义为左样图和右样图；

S3，以每组左图像及右图像为单位，分别对每幅图像中的四个覆盖区域进行检测并处理得到四个四边形区域；

S4，以每组左图像及右图像为单位，通过分别定位每幅图像中四个覆盖区域对应的四边形区域，获取当前图像内角点检测区域的四个顶点的坐标，而得到所有组左右图像的角点检测区域；

S5，通过左样图及右样图中角点检测区域的四个顶点的坐标获得由该拍摄装置所摄左右图像合成3D图像时的移位模式，并利用所有组左右图像在角点检测区域内的角点检测结果对左摄像头和右摄像头各自的内参和相互之间的外参进行标定。

在步骤S1中，所述标定场景不限，只要在颜色上与该棋盘格标定板及覆盖区域能相区别即可。优选的，该标定场景越简单越好。该棋盘格标定板安装于一支架。该支架可在预设角度下旋转，从而可将棋盘格标定板设置成多个不同的角度，而可拍摄该棋盘格标定板在不同角度下的多组左右图像用于标定。优选的，为保证检测效果，所述覆盖区域的颜色与棋盘格的颜色及标定场景的颜色差别越大越好。

本实施例中，所述棋盘格标定板由黑白相间的方格构成，将棋盘格标定板的四个角上的单个黑色方格作为覆盖区域，将与棋盘格方格面积相同的红色纸片覆盖于该覆盖区域。

在步骤S2中，首先将该棋盘格标定板设置与所述拍摄装置平行时，拍摄第一组左图像和右图像。此时，该左摄像头和右摄像头的中心与该棋盘格标定板的中心对准。该拍摄装置采用平行式立体拍摄的方式进行拍摄。然后将所述棋盘格标定板旋转，再拍摄多组不同角度下的左图像和右图像。

本实施例中，将该拍摄设备置于该标定场景前的固定位置，先将该棋盘格标定板设置与所述拍摄装置平行时，拍摄第一组左图像和右图像，然后通过支架在预设角度下自动旋转，完成一共13组不同视角下该棋盘格标定板的拍摄(如图5)，图2为第一组图像中的左样图。

在步骤S3中，以每组左图像及右图像为单位，分别对每幅图像中的四个覆盖区域进行检测并处理得到四个四边形区域具体为：对当前图像，通过对图像内该具有特定颜色的四个覆盖区域进行检测，并辅以去除杂质以及空洞填充等图像处理手段而得到只包含四个四边形区域的二值图。需要说明的是，由于视角的原因，矩形的覆盖区域在左样图以及右样图上的形状并非标准的矩形，而是一般的四边形。

本实施例中，请参阅图3，对左样图四个覆盖区域分别进行检测并处理得到四个四边形区域。

在步骤S4中，通过分别定位每幅图像中四个覆盖区域对应的四边形区域，获取当前图像内角点检测区域的四个顶点的坐标，而得到所有组左右图像的角点检测区域，具体包括以下步骤：

S41，对该二值图进行连通区域统计，分别定位每个连通区域的位置；

S42，根据该四个四边形连通区域所处的位置关系，在每一四边形区域选择相应的顶点作为角点检测区域的顶点，使得该角点检测区域不包含该四个四边形区域且该角点检测区域为棋盘格标定板上的一个矩形区域。

本实施例中，根据四个连通区域所处的位置关系，对四边形区域从左上角起按照顺时针方向进行1～4的标号，分别定位1号和2号四边形的右下角顶点，以及3号和4号四边形的左上角顶点。该四个顶点所确定的区域即为角点检测区域。请参阅图4，白色框所示区域即为所述角点检测区域。

在步骤S5中，通过第一组左图像及右图像中该角点检测区域的四个顶点的坐标获得由该拍摄装置所摄左右图像合成3D图像时的移位模式具体为：

利用棋盘格标定板与拍摄装置平行状态下拍摄得到的左右样图(如图5(a)，(b)的第一幅图像)，通过该角点检测区域的四个顶点在左样图及右样图中的坐标，计算所述棋盘格标定板的中心点在左样图中的坐标(x₁，y₁)及在右样图中的坐标(x₂，y₂)；

利用所述棋盘格标定板的中心点分别在左样图以及右样图中的坐标获得由该拍摄装置所摄左右图像合成3D图像时的移位模式；

其中，利用所述棋盘格标定板的中心点分别在左样图以及右样图中的坐标获得由该拍摄装置所摄左右图像合成3D图像时的移位模式具体为：

将左图像中所有像素列向左移动个像素单位，将右图像所有像素列向右移动个像素单位以实现左图像与右图像在水平方向的对齐，其中Δx≡x₁-x₂；以及

将左图像中所有像素列向下或向上移动个像素单位，将右图像所有像素列向上或向下移动个像素单位以实现左图像与右图像在垂直方向的对齐，其中Δy≡y₁-y₂，右图像以及左图像的移动方向与Δy的符号保持一致。

可以理解，为了使移位前后左图像及右图像的大小不变，对于移位后左图像及右图像中缺失的像素列用零补齐。将左图像及右图像进行水平移动后，中心点具有相同的列坐标，即在水平方向上实现对齐。将左图像及右图像进行垂直移动后，中心点具有相同的行坐标，即在垂直方向上实现对齐。

可将该移位模式存储于该拍摄装置中，在后续的拍摄过程中该拍摄装置对不同的场景拍摄得到左图像以及右图像。将左图像以及右图像按照该移位模式进行移位而实现自动对齐。该对齐后的左图像及右图像可直接合成而得到3D图像。

所述利用所有组左右图像在角点检测区域内的角点检测结果对左摄像头和右摄像头各自的内参和相互之间的外参进行标定具体为：

采用张正友标定方法对左摄像头、右摄像头各自的内参分别进行标定；以及

由立体标定计算出左摄像头、右摄像头之间的外参。

该左摄像头、右摄像头各自的内参以及相互之间的外参的标定为现有的，在此不作赘述。

与现有技术相比较，本发明提供的平行双摄像头立体标定的方法具有以下优点：

第一，通过对所述棋盘格标定板指定四个覆盖区域，然后对四个覆盖区域进行检测和定位，从而实现对角点检测区域的快速定位，进而对左摄像头和右摄像头各自的内参和相互之间的外参进行标定。相对于一般的自动角点检测算法来说，该方法减小了搜索范围，同时提高了角点检测的准确性；相对于人为确定棋盘的角点检测区域的方法来说，省去了人工干预的部分，提高了自动化程度，便于实际生产中的应用。

第二，同时在标定的过程中，通过该角点检测区域的四个顶点在左样图及右样图中的坐标获得由该拍摄装置所摄左右图像合成3D图像时的移位模式。在后续的拍摄过程中该拍摄装置拍摄得到的左图像以及右图像可按照该移位模式进行移位而实现自动对齐。该对齐后的左图像及右图像可直接合成3D图像，在立体显示设备上显示，有效解决了左图像、右图像在合成3D图像时由于没有对齐而产生的重影问题。

该方法既可实现立体标定又可实现3D图像的有效合成，提高了两者的执行效率。

以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (7)

1.一种平行双摄像头立体标定的方法，包含了确定由该拍摄装置所摄左右图像在合成3D图像时的移位模式的过程，其包括以下步骤：

(1)提供一标定场景和一可在预设角度下旋转的棋盘格标定板，该棋盘格标定板设于该标定场景的中间，将棋盘格标定板的四个角的黑色方格作为覆盖区域，并用与标定场景以及棋盘格标定板不同的颜色将该覆盖区域加以覆盖；

(2)将该棋盘格标定板设置成多个不同的角度，并采用一包括左摄像头和右摄像头的拍摄装置对该棋盘格标定板进行拍摄得到该棋盘格标定板在不同角度下的多组左图像和右图像，其中所述左摄像头与右摄像头的位置相对固定，将该棋盘格标定板设置与所述拍摄装置平行时所拍摄的图像定义为左样图和右样图；

(3)以每组左图像及右图像为单位，分别对每幅图像中的四个覆盖区域进行检测并处理得到四个四边形区域；

(4)以每组左图像及右图像为单位，通过分别定位每幅图像中四个覆盖区域对应的四边形区域，获取当前图像内角点检测区域的四个顶点的坐标，而得到所有组左右图像的角点检测区域；以及

(5)通过左样图及右样图中角点检测区域的四个顶点的坐标获得由该拍摄装置所摄左右图像合成3D图像时的移位模式，并利用所有组左右图像在角点检测区域内的角点检测结果对左摄像头和右摄像头各自的内参和相互之间的外参进行标定。

2.如权利要求1所述的平行双摄像头立体标定的方法，其特征在于，步骤(1)中通过一可按预设角度进行转动的支架将该棋盘格标定板固定。

3.如权利要求1所述的平行双摄像头立体标定的方法，其特征在于，步骤(3)中以每组左图像及右图像为单位，分别对每幅图像中的四个覆盖区域进行检测并处理得到四个四边形区域具体为：对当前图像，通过对图像内该具有特定颜色的四个覆盖区域进行检测，并辅以去除杂质以及空洞填充的图像处理手段而得到只包含四个四边形区域的二值图。

4.如权利要求3所述的平行双摄像头立体标定的方法，其特征在于，步骤(4)中通过分别定位每幅图像中四个覆盖区域对应的四边形区域，获取当前图像内角点检测区域的四个顶点的坐标，而得到所有组左右图像的角点检测区域具体为：

(41)对该二值图进行连通区域统计，分别定位每个连通区域的位置；

(42)根据该四个四边形的连通区域所处的位置关系，在每一四边形区域选择相应的顶点作为角点检测区域的顶点，使得该角点检测区域不包含该四个四边形区域且该角点检测区域为棋盘格标定板上的一个矩形区域。

5.如权利要求1所述的平行双摄像头立体标定的方法，其特征在于，步骤(5)中通过左样图及右样图中该角点检测区域的四个顶点的坐标获得由该拍摄装置所摄左右图像合成3D图像时的移位模式具体为：

通过左样图及右样图中该角点检测区域的四个顶点的坐标，计算所述棋盘格标定板的中心点在左样图中的坐标(x₁，y₁)及在右样图中的坐标(x₂，y₂)；

利用所述棋盘格标定板的中心点分别在左样图以及右样图中的坐标获得由该拍摄装置所摄左右图像合成3D图像时的移位模式。

6.如权利要求5所述的平行双摄像头立体标定的方法，其特征在于，利用所述棋盘格标定板的中心点分别在左样图以及右样图中的坐标获得由该拍摄装置所摄左右图像合成3D图像时的移位模式具体为：

将左图像中所有像素列向左移动个像素单位，将右图像所有像素列向右移动个像素单位以实现左图像与右图像在水平方向的对齐，其中Δx≡x₁-x₂；以及

将左图像中所有像素列向下或向上移动个像素单位，将右图像所有像素列向上或向下移动个像素单位以实现左图像与右图像在垂直方向的对齐，其中Δy≡y₁-y₂，右图像以及左图像的移动方向与Δy的符号保持一致。

7.如权利要求1所述的平行双摄像头立体标定的方法，其特征在于，步骤(5)中利用所有组左右图像在角点检测区域内的角点检测结果对左摄像头和右摄像头各自的内参和相互之间的外参进行标定具体为：

采用张正友标定方法对左摄像头、右摄像头各自的内参分别进行标定；以及

由立体标定计算出左摄像头、右摄像头之间的外参。