CN105574886A - 手持多目相机高精度标定方法 - Google Patents

Abstract

本发明属于图像领域，提供一种手持多目相机高精度标定方法，所述方法包括如下步骤：对原始图片进行预处理，得到边缘轮廓；对所有轮廓进行拟合获取每个轮廓的中心点和面积；检测所有的中心点中满足四点共线的点，并把共线的四点打包成一组；利用射影几何中的交比不变关系从满足四点共线的点中选择出正确的图像坐标点；利用张氏标定法对世界坐标点进行标定。本发明具有精确的三维重建和测量的优点。

Description

手持多目相机高精度标定方法

技术领域

本发明属于图像领域，尤其涉及一种手持多目相机高精度标定方法。

背景技术

随着三维技术的发展，三维模型在多个领域中有着重要应用，例如动漫、游戏、Web3D网络展示、三维打印等。基于数码相机的三维重建是获取三维模型的重要和便捷的手段，而其中由相机构成的相机网络的标定是一个重要和复杂的问题。

传统的相机标定算法通常采用棋盘格标定板。Koch在CalibrationofHand-heldCameraSequenceforPlenopticModeling(ICCV1999)提出了一种手持相机的标定方法，通过手持相机围绕物体拍摄视频，通过扩展由运动恢复结构的方法实现相机的标定和三维数据的恢复。Pollefeys等在Hand-heldacquisitionof3Dmodelswithavideocamera(3DIM1999)中提出了一种利用现有方法组合形成的手持相机标定方法，可以用在非标定射影重建、自标定以及稠密匹配应用中。

现有的手持相机标定方法基本都采用自标定算法实现，而自标定算法存在计算时间长、标定参数不准确、稳定性差的缺点，使得基于自标定方法的手持相机标定方法得到的相机参数不能用于精确的三维重建和测量。

发明内容

本发明实施例的目的在于提供一种手持多目相机高精度标定方法，该方法能够用于精确的三维重建和测量。

本发明提供一种手持多目相机高精度标定方法，所述方法包括如下步骤：

对原始图片进行预处理，得到边缘轮廓；

对所有轮廓进行拟合获取每个轮廓的中心点和面积；

检测所有的中心点中满足四点共线的点，并把共线的四点打包成一组；

利用射影几何中的交比不变关系从满足四点共线的点中选择出正确的图像坐标点；

计算所有满足条件的中心点的平均值，即所有中心点的中心位置，计算每个组四点离中心点的距离，依据该距离的大小对每个组四点的二进制数的位置排序；

比较每组四个轮廓的相对大小，依据四个轮廓相对大小的比值设置每个组四点的二进制数的值；

与世界坐标点一一对应，保存图片满足要求的所有轮廓中心点对应的世界坐标点，利用张氏标定法对世界坐标点进行标定。

可选的，所述检测所有的中心点中满足四点共线的点，并把共线的四点打包成一组，选择任意两点建立直线方程具体，包括：

选择任意两点建立直线方程，所述直线方程具体为：

y＝k(x-x1)+y1，其中，k＝(y2-y1)/(x2-x1)

其中，(x1,y1)为第一点的坐标值，(x2,y2)为第二点的坐标值；

遍历其他满足要求的各个中心点，如果某一个中心点离该直线的距离小于某一阈值，则认为该中心点与该直线共线；

得到某一中心点(x0,y0)到直线的距离为：

$d=\frac{|(y2-y1)x0-(x2-x1)y0+x2y1-x1y2|}{\sqrt{{(y2-y1)}^2+{(x2-x2)}^2}}.$

可选的，所述对所有轮廓进行拟合获取每个轮廓的中心点具体，包括：

采用摄影校正法获取每个轮廓的中心点。

可选的，所述对所有轮廓进行拟合获取每个轮廓的中心点具体，包括：

采用曲线拟合与无限接近法获取每个轮廓的中心点。

可选的，所述对所有轮廓进行拟合获取每个轮廓的中心点具体，包括：

采用环形模版椭圆拟合法获取每个轮廓的中心点。

可选的，所述对所有轮廓进行拟合获取每个轮廓的中心点具体，包括：

环形模版曲线拟合与无限接近法获取每个轮廓的中心点。

可选的，所述对所有轮廓进行拟合获取每个轮廓的中心点具体，包括：

环形模版摄影校正法获取每个轮廓的中心点。

可选的，所述对所有轮廓进行拟合获取每个轮廓的中心点具体，包括：

采用环形模版曲线拟合与无限接近法获取每个轮廓的中心点。

在本发明实施例中，本发明提供的技术方案提出一种精确较灵活的多视图相机标定算法，模拟数据实验和实际数据实验都表明，本发明提供的技术方案具有比较好的灵活性和精度，基于灵活性的考虑，本发明提供的技术方案设计了一种易于识别的圆形模板，通过模板图案的几何性质来进行二进制编码，从而达到让图像坐标点与世界坐标点一一对应的目的，进而完成标定过程。基于精确度的考虑，我们不仅采用了椭圆拟合，射影校正，曲线拟合与无限接近等方法定位圆形中心点，并在圆形模板的基础上设计了环形模板，理论上来说两个圆的中心平均值应该比单个圆的精度高。。

附图说明

图1为本发明第一较佳实施方式提供的一种手持多目相机高精度标定方法的流程图；

图2为本发明第一较佳实施方式检测出四点共线的点示意图；

图3为本发明是32张3200×2400大小的图像经过11层octree的计算，再用possion重建得到的模型；

图4为本发明环形模版配合无限接近方法得到的树的VisualHull模型；

图5为本发明具体实施方式提供的经过度量校正的图像对比示意图；其中，左图为未度量校正的图像，右图为经过度量校正的图像。

图6为本发明提供的弦的中点会无限收敛于圆心示意图；

图7为本发明提供的圆形模板示意图；

图8为本发明具体实施方式提供的环形模板模拟照片及椭圆拟合结果对比示意图；其中，左图为环形模板模拟照片的图像，右图为经过椭圆拟合的图像；

图9为本发明具体实施方式提供的环形模板模拟照片及图像校正结果对比示意图；其中，左图为环形模板模拟照片的图像，右图为经过图像校正结果的图像。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明第一较佳实施方式提供一种手持多目相机高精度标定方法，该方法由智能设备完成，该智能设备包括但不限于：计算机、服务器、PDA等智能计算设备，该方法如图1所示，包括如下步骤：

步骤S101、对原始图片进行预处理，得到边缘轮廓；

上述步骤中的预处理可以采用现有技术的方法，在本发明第一较佳实施方式中并不限制上述预处理的具体实现方法，主要其能够得到边缘轮廓即可。

步骤S102、对所有轮廓进行拟合获取每个轮廓的中心点和面积；

上述步骤中中心点的获取方法可以参见下述实施方式的描述，这里不在赘述，上述面积的获取方法可以采用现有技术的方法，本发明具体实施方式并面积的获取方式并不限定。

步骤S103、检测所有的中心点中满足四点共线的点，并把共线的四点打包成一组；

上述步骤中选择任意两点建立直线方程；直线方程具体可以为：

y＝k(x-x1)+y1，其中，k＝(y2-y1)/(x2-x1)

上述(x1,y1)可以为第一点的坐标值，上述(x2,y2)可以为第二点的坐标值。

遍历其他满足要求的各个中心点，考虑到图像上的点有一定误差，如果某一个中心点离这条直线的距离小于某一阈值，我们则认为这三点是共线的。

得到某一中心点(x0,y0)到直线的距离为：

$d=\frac{|(y2-y1)x0-(x2-x1)y0+x2y1-x1y2|}{\sqrt{{(y2-y1)}^2+{(x2-x2)}^2}}$

以同样的方式我们可以找到第四点，具体的查找可以如图2所示，从图2中我们能看到有明显不符合要求的点，所以我们要对筛选条件加以限制，即需要进行步骤S104-S106。

步骤S104、利用射影几何中的交比不变关系从满足四点共线的点中选择出正确的图像坐标点；

上述步骤的实现方法具体可以为经过四点一线检测出的点并不都是满足要求的点，需要利用射影几何中的交比不变关系进一步对条件加以限制，交比是射影不变量，可以帮助我们排除一部分错误的组，每组中一条直线上的四点与其他组中相同直线上的四点都通过直线到直线的射影变换相关联，所以所有图像中相同组的四点都具有相同的交比值。由于设计模型的时候，四点中每相邻两点之间的距离是一样的，这样我们很容易能计算得出交比，从而来验证检测到的一条直线上的四点是否为满足要求的点。

步骤S105、计算所有满足条件的中心点的平均值，即所有中心点的中心位置，计算每个组四点离中心点的距离，依据该距离的大小对每个组四点的二进制数的位置排序；

上述步骤的排序方式可以有多种，例如在本发明第一较佳实施方式的一个实施例中，可以按距离从大到小的顺序进行二进制数的排列，当然也可以反过来，例如在本发明第一较佳实施方式的另一个实施例中，可以按距离从小到大的顺序进行二进制数的排列。

步骤S106、比较每组四个轮廓的相对大小，依据四个轮廓相对大小的比值设置每个组四点的二进制数的值；

上述依据四个轮廓相对大小的比值设置每个组四点的二进制数的值的具体方法可以包括：

如果一个轮廓明显比该组中其他椭圆大，这个轮廓的面积也比一组中最大轮廓与最小椭圆的平均值大，则在该位置置1，否则置0，这样每组就有唯一编码。例如：距离最远的轮廓的面积为最大面积，则面积与其他轮廓的比值均大于阈值1，所以则该位置置1，则该四点的二进制数的值可以为，1000。其模板的设置如图7所示。

步骤S107、与世界坐标点一一对应，保存图片满足要求的所有轮廓中心点对应的世界坐标点，利用张氏标定法对世界坐标点进行标定。

本发明提出一种精确较灵活的多视图相机标定算法，模拟数据实验和实际数据实验都表明，本发明的标定算法具有比较好的灵活性和精度。基于灵活性的考虑，本发明设计了一种易于识别的圆形模板。通过模板图案的几何性质来进行二进制编码，从而达到让图像坐标点与世界坐标点一一对应的目的，进而完成标定过程。基于精确度的考虑，我们不仅采用了椭圆拟合，射影校正，曲线拟合与无限接近等方法定位圆形中心点，并在圆形模板的基础上设计了环形模板，理论上来说两个圆的中心平均值应该比单个圆的精度高。

环形模版配合椭圆拟合方法具有非常好的精度和鲁棒性。无限接近法在环形模版上使用得到的精度反而比圆形模版的精度低，究其原因可能是环形里圈的椭圆已经比较小，再进行二次曲线拟合精度比较低。而对于重投影误差，有模型的情况下反而比无模型的情况下小，但是相差不大。图3是32张3200×2400大小的图像经过11层octree的计算，再用possion重建得到的模型。

为了对比，用环形模版配合无限接近方法得到了另外一组结果，如图4所示。从图4中可以看出，在树枝最顶端出现了断裂，说明这种方法的精度还有待提高。

本发明具体实施方式还提供本发明第二较佳实施方式，本发明第二较佳实施方式采用摄影校正法获取每个轮廓的中心点，具体方法可以如下：

射影变换能将图像投影成射影等价的图像，并保持所有射影性质不变。但是经过透视变换的图像会失真，平面射影变换可以表示成一种齐次三维矢量的线性变换，如式(1)所示：

$\left[\begin{array}{c}{x}_1^{\′}\\ x_2^{\′}\\ x_3^{\′}\end{array}\right]=\left[\begin{array}{ccc}{h}_{11}& h_{12}& h_{13}\\ h_{21}& h_{22}& h_{23}\\ h_{31}& h_{32}& h_{33}\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}\right]---\left(1\right)$

当然，也可以简单的表示成x'＝Hx，这个式中H矩阵乘上任意非零比例因子都不会改变射影变换的结果。H矩阵中的9个元素只有8个元素有意义，也就是说此射影变换的自由度也只有八个，通过射影变换的逆变换能消除平面透视图像中的射影失真，使图像恢复原始的相似性质。

由于图像坐标是否准确直接决定着圆形的精度，所以我们在选点的时候使用角点检测的方法对其进行定位，以提高精度。如图5所示，在圆形模版的四周我们设计了四个棋盘格角点。按一定的顺序选取图片中四点的图像坐标，并与新图像中的四个顶点建立对应关系。如果图像上的一点(x,y)^T与新图像中的点(x',y')对应。因为直接从图像平面得到的是非齐次坐标，所以这里我们采用非齐次坐标而不采用齐次坐标。从而我们可以把射影变换写成如式(2)所示：

$\left\{\begin{array}{c}{x}^{\′}(h_{31}x+h_{32}y+h_{33})=h_{11}x+h_{12}y+h_{13}\\ y^{\′}(h_{31}x+h_{32}y+h_{33})=h_{21}x+h_{22}y+h_{23}\end{array}\right.---\left(2\right)$

因此一对新图像坐标与原图像坐标对应的点可以得到两个方程，它们是关于矩阵H的线性方程。而此式中有8个独立参数，如果能提供四组及以上的点即可求解H矩阵，但前提是这四组点不能有三个或三个以上在一条直线上，否则三点中的一点不能提供独立自由度，也就求解不出H矩阵。求解出H矩阵后，整幅图像的像素点坐标乘以此矩阵就能得到经过透视校正的图像，就能消除射影失真，从而达到我们把椭圆变成圆的要求。

对校正后的图像运用椭圆拟合求得中心点，并用求得的中心点乘上转换矩阵的逆反算回原图像中的点。在进行步骤S103以后的步骤即能完成标定过程。

本发明具体实施方式还提供本发明第三较佳实施方式，本发明第三较佳实施方式采用曲线拟合与无限接近法获取每个轮廓的中心点，具体方法可以如下：

曲线拟合方法是用圆的几何性质无限逼近圆心的方法。如图6所示，从圆内任意一点P出发做圆的一条弦与圆相交于两点，通过弦的中点P₁重复上述步骤任意做一条弦，很容易看出来OP₁＞OP₂，因为在一个直角三角形中斜边长大于直角边的长度。这个中心处于一种收敛状态，也就是说每重复一次上述步骤，弦的中心就会进一步靠近圆心。不断的重复上述步骤，并设定一个阈值，我们就能得到一个收敛的圆心。

以上只是理论上的推断，实际运用的时候会碰到一个影响精度的重要因素。那就是圆的边界不是连续的，在图像上是离散的点。确定弦与圆相交的时候，如果找离弦最近的离散的点的坐标，无疑只能达到一个很低的精度。我们采取的办法是先在交点附近进行曲线拟合，然后求拟合的曲线与弦的交点。求得圆的中心之后再进行步骤S103以后的步骤即能完成标定过程。

本发明具体实施方式还提供第四较佳实施方式，本发明第四较佳实施方式采用环形模版椭圆拟合法、环形模版曲线拟合与无限接近法或环形模版摄影校正法获取中心点，具体可以如下所示：

环形模版椭圆拟合法

圆环的椭圆拟合方法就是根据轮廓拟合出所有椭圆，并选取出距离很近的两个点看成一组并求出它们的平均值，这样我们就能得到需要的圆环图像中心点，如图8。用新中心点来进行步骤S103以后的步骤即能完成标定过程。

环形模版摄影校正法

圆环透视校正的方法则是圆形校正方法与环形椭圆拟合方法的结合。先按照圆形校正的方法取四点对图像进行度量校正，如图9，求出转换矩阵，然后在转换后的图像中利用环形椭圆拟合的方法求出环的中心点，再用转换矩阵的逆乘以检测到的图像中心点反算回原图像中圆环中心点的坐标，最后根据步骤S103以后的步骤即能完成标定过程。

环形模版曲线拟合与无限接近法

对于环形的曲线拟合方法来说，基本跟圆形的曲线拟合方法一样。把曲线拟合的方法应用于所有轮廓，这样我们就能得到每一个轮廓的中心点，求解出相距很近的两个中心点的平均值并根据步骤S103以后的步骤完成标定过程。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种手持多目相机高精度标定方法，其特征在于，所述方法包括如下步骤：

对原始图片进行预处理，得到边缘轮廓；

对所有轮廓进行拟合获取每个轮廓的中心点和面积；

检测所有的中心点中满足四点共线的点，并把共线的四点打包成一组；

利用射影几何中的交比不变关系从满足四点共线的点中选择出正确的图像坐标点；

计算所有满足条件的中心点的平均值，即所有中心点的中心位置，计算每个组四点离中心点的距离，依据该距离的大小对每个组四点的二进制数的位置排序；

比较每组四个轮廓的相对大小，依据四个轮廓相对大小的比值设置每个组四点的二进制数的值；

与世界坐标点一一对应，保存图片满足要求的所有轮廓中心点对应的世界坐标点，利用张氏标定法对世界坐标点进行标定。

2.根据权利要求1所述的方法，其特征在于，所述检测所有的中心点中满足四点共线的点，并把共线的四点打包成一组，选择任意两点建立直线方程具体，包括：

选择任意两点建立直线方程，所述直线方程具体为：

y＝k(x-x1)+y1，其中，k＝(y2-y1)/(x2-x1)

其中，(x1,y1)为第一点的坐标值，(x2,y2)为第二点的坐标值；

遍历其他满足要求的各个中心点，如果某一个中心点离该直线的距离小于某一阈值，则认为该中心点与该直线共线；

得到某一中心点(x0,y0)到直线的距离为：

$d=\frac{|(y2-y1)x0-(x2-x1)y0+x2y1-x1y2|}{\sqrt{{(y2-y1)}^2+{(x2-x2)}^2}}.$

3.根据权利要求1所述的方法，其特征在于，所述对所有轮廓进行拟合获取每个轮廓的中心点具体，包括：

采用摄影校正法获取每个轮廓的中心点。

4.根据权利要求1所述的方法，其特征在于，所述对所有轮廓进行拟合获取每个轮廓的中心点具体，包括：

采用曲线拟合与无限接近法获取每个轮廓的中心点。

5.根据权利要求1所述的方法，其特征在于，所述对所有轮廓进行拟合获取每个轮廓的中心点具体，包括：

采用环形模版椭圆拟合法获取每个轮廓的中心点。

6.根据权利要求1所述的方法，其特征在于，所述对所有轮廓进行拟合获取每个轮廓的中心点具体，包括：

环形模版曲线拟合与无限接近法获取每个轮廓的中心点。

7.根据权利要求1所述的方法，其特征在于，所述对所有轮廓进行拟合获取每个轮廓的中心点具体，包括：

环形模版摄影校正法获取每个轮廓的中心点。

8.根据权利要求1所述的方法，其特征在于，所述对所有轮廓进行拟合获取每个轮廓的中心点具体，包括：

采用环形模版曲线拟合与无限接近法获取每个轮廓的中心点。