CN103906989B - 相机计测系统的校准方法 - Google Patents

Abstract

本发明的特征在于，在机床上的工件上设置环状的校准夹具(1)，使相机(2)的光轴与机床的坐标系中的一个轴并行地对齐并使相机(2)的水平方向或垂直方向与机床的除上述一个轴以外的其他轴向对齐，通过该相机(2)来拍摄夹具(1)，提取由相机(2)拍摄到的图像中的夹具(1)的圆周形状而作为轮廓(1a)，根据轮廓(1a)计算图像中的夹具(1)的中心位置(1b)，另一方面，将相机(2)的切线方向失真校正系数及放射方向失真校正系数全部忽略为0，使相机(2)的主点的偏差包含于相机的平移移动量而全部为0，基于图像中的夹具(1)的中心位置及已知的夹具(1)的三维中心位置，算出作为校准的外部参数的平移移动量。

Description

相机计测系统的校准方法

技术领域

本发明涉及一种相机计测系统的校准方法。详细而言，在所有机床中，存在适用于对孔形状(孔中心位置)进行计测的系统的校准方法。

背景技术

近年来，可以利用采用了相机的计测系统，但是为了高精度地进行计测，需要进行相机的校准。在相机的校准中，通常需要决定3×4的投影矩阵[数学式7]的式(14)的12个要素。

而且，在OpenCV(非专利文献1)等中使用的Z.Zhang(非专利文献2)的校准方法中，作为相机内部参数，需要决定九个(四个相机内部的校准参数和五个失真校正参数)。而且，作为相机外部参数，需要决定六个(三个平移和三个旋转：相机位置校准)参数。

作为校准用的夹具，如专利文献1(“キャリブレーション用の校正治具および校正治具を備えた画像計測システム：校准用的校正夹具及具备校正夹具的图像计测系统”)所记载的那样，提出了以下的相关专利。

专利文献2：“画像処理測定機用の倍率校正プレート：图像处理测定机用的倍率校正板”

专利文献3：“ゲージ並びに該ゲージを用いた寸法校正装置及び寸法校正方法：量规以及使用了该量规的尺寸校正装置及尺寸校正方法”

专利文献4：“キャリブレーション装置：校准装置”

专利文献5：“画像認識装置用の校正治具と画像認識装置用の校正方法：图像识别装置用的校正夹具和图像识别装置用的校正方法”

专利文献6：“写真測量用ターゲットの基準点の算出装置、写真測量用ターゲットの基準点の算出方法及び写真測量用ターゲットの基準点の算出プログラムが格納された記録媒体：照片测量用目标的基准点的算出装置、照片测量用目标的基准点的算出方法及存储有照片测量用目标的基准点的算出程序的存储介质”

另外，不同于上述专利，与相机计测中的校准方法相关联地作出了以下的关联专利。

专利文献7：“平面状被撮像物のカメラ計測のためのカメラキャリブレーション方法および応用計測装置：平面状被拍摄物的相机计测用的相机校准方法及应用计测装置”

专利文献8：“キャリブレーション用の校正治具および校正治具を備えた画像計測システム：校准用的校正夹具及具备校正夹具的图像计测系统”

专利文献9：“キャリブレーション方法およびキャリブレーション装置：校准方法及校准装置”

专利文献10：“ロボットのキャリブレーション方法およびロボット用キャリブレーション装置：机器人的校准方法及机器人用校准装置”

专利文献11、12：“ハンドアイの面直、距離および回転角設定方法：手眼的垂面、距离及旋转角设定方法”

在先技术文献

专利文献

专利文献1：日本特开2010-139329号公报

专利文献2：日本专利第3409931号公报

专利文献3：日本专利第3477139号公报

专利文献4：日本专利第3512092号公报

专利文献5：日本专利第3575165号公报

专利文献6：日本专利第3737919号公报

专利文献7：日本特开2008-14940号公报

专利文献8：日本特开2010-139329号公报

专利文献9：日本特开2010-276603号公报

专利文献10：日本特开2011-177845号公报

专利文献11：日本特开平4-365585号公报

专利文献12：日本专利第2568005号公报

非专利文献

非专利文献1：

http://opencv.jp/opencv-2svn/cpp/calib3d_camera_calibration_and_3d_reconstruction.html

非专利文献2：http://opencv.jp/sample_calibration.html

发明内容

发明要解决的课题

然而，在上述专利的记载内容中，存在如下问题点：难以制成校准夹具，而且，如下所述，校准方法烦杂。

<校准的计算式>

各坐标系的坐标位置如下所示。

[数学式1]

${\stackrel{\&OverBar;}{X}}_{\mathrm{world}}={[X_{\mathrm{world}},Y_{\mathrm{world}},Z_{\mathrm{world}},1]}^T:$ 世界坐标系的坐标

${\stackrel{\&OverBar;}{X}}_{\mathrm{camera}}={[X_{\mathrm{camera}},Y_{\mathrm{camera}},Z_{\mathrm{camera}},1]}^T:$ 相机坐标系的坐标

${\stackrel{\&RightArrow;}{U}}_{\mathrm{image}}={[U_{\mathrm{image}},V_{\mathrm{image}},1]}^T:$ 投影到图像平面的坐标

首先，说明相机的内部参数。根据图4，向图像平面投影的点的坐标的关系如下所示。

[数学式2]

$\frac{x}{f}=-\frac{X}{Z}$

$\frac{y}{f}=-\frac{Y}{Z}$

$x=-\frac{f}{s_x}\frac{X}{Z}+c_x...\left(1\right)$

$y=-\frac{f}{s_y}\frac{Y}{Z}+c_y...\left(2\right)$

因此，相机坐标与图像平面坐标的关系式表示为下式。

[数学式3]

$S\left[\begin{array}{c}{U}_{\mathrm{image}}\\ V_{\mathrm{image}}\\ 1\end{array}\right]=\left[\begin{array}{ccc}{k}_x& 0& c_x\\ 0& k_y& c_y\\ 0& 0& 1\end{array}\right]\left[\begin{array}{cccc}f& 0& 0& 0\\ 0& f& 0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{c}{X}_{\mathrm{camera}}\\ Y_{\mathrm{camera}}\\ Z_{\mathrm{camera}}\\ 1\end{array}\right]...\left(3\right)$

$=\left[\begin{array}{cccc}{\mathrm{fk}}_x& 0& c_x& 0\\ 0& {\mathrm{fk}}_y& c_y& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{c}{X}_{\mathrm{camera}}\\ Y_{\mathrm{camera}}\\ Z_{\mathrm{camera}}\\ 1\end{array}\right]...\left(4\right)$

在此，k_x＝-1/s_x，k_y＝-1/s_y，且s_x、s_y为像素尺寸，焦点f和主点的偏差(c_x、c_y)为内部参数。而且，作为需要实际求出的内部参数，存在(k_x、k_y、c_x、c_y)这四个参数。因此，作为内部参数而导出的参数、失真校正相关的五个参数(k₁、k₂、k₃、p₁、p₂)共为九个。

另外，作为相机内部的参数，存在放射方向失真校正系数(k₁、k₂、k₃)和切线方向失真校正系数(p₁、p₂)，上述内部参数也通过校准来导出。

[数学式4]

X_camera＝(1+k₁r²+k₂r⁴+k₃r⁶)X_c+p₁(r²+2X_c ²)+2p₂X_cY_c ...(5)

Y_camera＝(1+k₁r²+k₂r⁴+k₃r⁶)Y_c+p₂(r²+2Y_c ²)+2p₁X_cY_c ...(6)

Z_camera＝Z_c ...(7)

(X_c，Y_c，Z_c)：包含失真的相机坐标系的坐标

r²＝X_c ²+Y_c ² ...(8)

(注).若没有失真，则如下所示

X_camera＝X_c ...(5′)

Y_camera＝Y_c ...(6′)

Z_camera＝Z_c ...(7′)

另外，世界坐标与相机坐标的关系为下式。

[数学式5]

${\stackrel{\&RightArrow;}{X}}_{\mathrm{camera}}=\stackrel{\&OverBar;}{R}*{\stackrel{\&OverBar;}{X}}_{\mathrm{world}}+\stackrel{\&RightArrow;}{T}...\left(9\right)$

$\left[\begin{array}{c}{X}_{\mathrm{camera}}\\ Y_{\mathrm{camera}}\\ Z_{\mathrm{camera}}\\ 1\end{array}\right]=\left[\begin{array}{cccc}{r}_{11}& r_{12}& r_{13}& t_x\\ r_{21}& r_{22}& r_{23}& t_y\\ r_{31}& r_{32}& r_{33}& t_z\\ 0& 0& 0& 1\end{array}\right]\left[\begin{array}{c}{X}_{\mathrm{world}}\\ Y_{\mathrm{world}}\\ Z_{\mathrm{world}}\\ 1\end{array}\right]...\left(10\right)$

[数学式6]

在此，和是标准的外部参数，表示各个相机的旋转角度(旋转移动)和安装位置(平移移动量)

外部参数(旋转)：

X轴方向上的旋转角度

Y轴方向上的旋转角度

Z轴方向上的旋转角度

外部参数(平移)： $\stackrel{\&RightArrow;}{T}=\left[\begin{array}{c}{t}_x\\ t_y\\ t_z\end{array}\right]...\left(12\right)$

因此，作为外部参数，只要决定(θx、θy、θz、tx、ty、tz)这六个参数即可。根据以上那样，将世界坐标向图像平面投影的式子为下式。

[数学式7]

$S\left[\begin{array}{c}{U}_{\mathrm{image}}\\ V_{\mathrm{image}}\\ 1\end{array}\right]=\left[\begin{array}{ccc}{k}_x& 0& c_x\\ 0& k_y& c_y\\ 0& 0& 1\end{array}\right]\left[\begin{array}{cccc}f& 0& 0& 0\\ 0& f& 0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{c}{X}_{\mathrm{camera}}\\ Y_{\mathrm{camera}}\\ Z_{\mathrm{camera}}\\ 1\end{array}\right]...\left(3\right)$

$=\left[\begin{array}{cccc}{\mathrm{fk}}_x& 0& c_x& 0\\ 0& {\mathrm{fk}}_y& c_y& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{c}{X}_{\mathrm{camera}}\\ Y_{\mathrm{camera}}\\ Z_{\mathrm{camera}}\\ 1\end{array}\right]...\left(4\right)$

$=\left[\begin{array}{cccc}{\mathrm{fk}}_x& 0& c_x& 0\\ 0& {\mathrm{fk}}_y& c_y& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cccc}{r}_{11}& r_{12}& r_{13}& t_x\\ r_{21}& r_{22}& r_{23}& t_y\\ r_{31}& r_{32}& r_{33}& t_z\\ 0& 0& 0& 1\end{array}\right]\left[\begin{array}{c}{X}_{\mathrm{world}}\\ Y_{\mathrm{world}}\\ Z_{\mathrm{world}}\\ 1\end{array}\right]...\left(13\right)$

$=\left[\begin{array}{cccc}{q}_{11}& q_{12}& q_{13}& q_{14}\\ q_{21}& q_{22}& q_{23}& q_{24}\\ q_{31}& q_{32}& q_{33}& q_{34}\end{array}\right]\left[\begin{array}{c}{X}_{\mathrm{world}}\\ Y_{\mathrm{world}}\\ Z_{\mathrm{world}}\\ 1\end{array}\right]...\left(14\right)$

为了参考，示出通过校准得到的参数的详情。如图5(a)的示意图所示，在数码相机中，在传感器10的前方配置透镜20。

(1)焦点距离f(mm)

如图5(b)所示，焦点距离f(mm)是来自透镜20的入射光的会聚点(主点)与传感器10的中心之间的距离。

(2)主点的偏差x_p、y_p(mm)

如图5(c)所示，主点的偏差x_p、y_p(mm)是在制造相机时产生的主点与传感器中心位置的偏差量。作为xy平面的平行移动量，由两个参数表示。

(3)放射方向失真校正系数k₁、k₂、k₃

如图6(a)所示，相机的透镜20为凸透镜，因此入射光发生折射而在传感器10上投影到不同的位置。因此，通过三个系数k₁、k₂、k₃来对如图6(b)那样产生的失真进行校正。在图6(b)中，失真校正前的视场角由实线表示，失真校正后的正确的投影位置由虚线表示。

(4)切线方向失真校正系数p₁、p₂

如图6(c)所示，传感器10与透镜20不平行，是与主点的偏差同样地由相机的制造引起的，从而如图6(d)那样产生失真。通过两个系数p₁、p₂来对这样的失真进行校正。在图6(d)中，失真校正前的视场角由实线表示，失真校正后的正确的投影位置由虚线表示。

<相机的内部参数的导出方法>

为了导出相机的内部参数，使用图7所示的格子花纹(双色相间方格花纹)的校准板11或图8所示的圆形花纹的校准板12。

1)如图9(a)～(e)所示，在相机的前方使校准板11移动/旋转，取得10张左右的图像。在此，使用了图7所示的格子花纹的校准板11。图9(a)～(e)的各图中左侧表示校准板相对于相机30的移动/旋转，图中右侧表示通过相机30拍摄到的图像。

2)通过各取得图像，如图10所示，提取格子花纹的交点(图中，放入×来表示)作为特征点。

3)根据各图像的特征点的位置信息，利用最小二乘法等方法，导出相机30的内部参数(焦点距离：(f×k_x、f×k_y)，主点的偏差：(c_x、c_y)，放射方向失真校正系数：(k₁、k₂、k₃)，切线方向失真校正系数：(p₁、p₂))。

4)基于校准的图像的校正

使用通过上述处理而算出的相机内部参数，将图11(a)所示的取得图像如该图11(b)所示那样进行校正。

<相机的外部参数的导出方法>

1)在将相机搭载于机床之后，在工作台上设置校准板。此外，如3)项所示，测定坐标位置已知的点的机床坐标。

2)如图12所示，使相机30的位置沿X、Y、Z轴方向移动，如图13(a)～(d)所示，关于校准板11，取得多张图像。图13(a)是将校准板11拍摄到整个画面的图，图13(b)是拍摄到图像右上部的图，图13(c)是拍摄到图像左下部的图，图13(d)是拍摄到图像中央部的图。

3)通过所取得的各张图像，提取图14中×记号所表示的特征点和图14中○记号所表示的坐标位置已知的点。×记号的个数与格子花纹的交点相同，即，为7×10(＝70)处。而且，○记号为图像中的右下、右上、左上、左下这四处。

4)根据各张图像的特征点及坐标位置已知的点的位置信息，利用最小二乘法等方法，导出相机的外部参数(相机的平移移动量(tx、ty、tz)，相机的旋转移动角度：(θx、θy、θz))。

这样一来，以往，需要导出相机30的内部参数(焦点距离：(f×k_x、f×k_y)，主点的偏差：(c_x、c_y)，放射方向失真校正系数：(k₁、k₂、k₃)，切线方向失真校正系数：(p₁、p₂)，相机的外部参数(相机的平移移动量(tx、ty、tz)，相机的旋转移动角度：(θx、θy、θz))，存在校准方法烦杂的问题点。

用于解决课题的手段

解决上述课题的本发明的技术方案1的相机计测系统的校准方法的特征在于，在机床上的工件上设置环状的校准夹具，使相机的光轴与上述机床的坐标系中的一个轴并行地对齐并使上述相机的水平方向或垂直方向与上述机床的除上述一个轴以外的其他轴向对齐，通过上述相机来拍摄上述校准夹具，提取由上述相机拍摄到的图像中的上述夹具的圆周形状而作为轮廓，根据上述轮廓计算上述图像中的上述夹具的中心位置，另一方面，将上述相机的切线方向失真校正系数及放射方向失真校正系数全部忽略为0，使上述相机的主点的偏差包含于相机的平移移动量而全部为0，基于上述图像中的上述夹具的中心位置及已知的上述夹具的三维中心位置，算出作为校准的外部参数的平移移动量。

解决上述课题的本发明的技术方案2的相机计测系统的校准方法的特征在于，在机床上的工件上设置环状的校准夹具，一边使相机沿上述机床的坐标系的X、Y、Z轴平行移动，一边通过该相机对上述校准夹具拍摄多张图像，提取由上述相机拍摄到的图像中的上述夹具的圆周形状而作为轮廓，根据上述轮廓来计算上述图像中的上述夹具的中心位置，另一方面，将上述相机的切线方向失真校正系数及放射方向失真校正系数全部忽略为0，使上述相机的主点的偏差包含于相机的平移移动量而全部为0，基于上述图像中的上述夹具的中心位置及已知的上述夹具的三维中心位置，算出作为校准的外部参数的旋转角度及平移移动量。

发明效果

根据本发明，由于使用环状的校准夹具，因此能够容易进行校准夹具的制作且容易进行校准夹具的安装/设置。

另外，相机的切线方向失真校正系数及放射方向失真校正系数全部忽略为0，相机的主点的偏差包含于相机的平移移动量而全部设为0，因此能以简单的方法进行校准。

另外，在本发明中，在安装相机时，若使相机的光轴与机床的坐标系(以下称为机床坐标)的某一个轴并行地对齐，而且使相机的水平方向或垂直方向与机床坐标的除一个轴以外的其他轴向对齐，则不需要调整外部参数即旋转系的三个参数。

此外，可以使相机的坐标系与机床坐标系无关而求出外部参数即旋转系的三个参数。

附图说明

图1中，图1(a)是表示本发明的校准夹具的基于相机的计测的立体图，图1(b)是本发明的基于图像的圆周的轮廓提取及通过轮廓提取到的圆周形状而计算出的中心位置的说明图。

图2是现有技术的接触式传感器的孔中心位置计测的立体图。

图3中，图3(a)(b)是表示液压挖掘机的斗杆的正面的立体图和表示背面的立体图，图3(c)是上述图3(a)(b)中的由虚线包围而表示的部分的放大立体图。

图4是表示焦点位置与主点的偏差的说明图。

图5中，图5(a)是数码相机的示意图，图5(b)是焦点距离的说明图，图5(c)是主点的偏差的说明图。

图6中，图6(a)是放射方向失真校正系数的说明图，图6(b)是表示放射方向失真校正前后的图像的说明图，图6(c)是切线方向失真校正系数的说明图，图6(d)是表示切线方向失真校正前后的图像的说明图。

图7是格子花纹的校准板的立体图。

图8是圆形形状花纹的校准板的立体图。

图9中，图9(a)～(e)分别是内部参数导出所需的图像取得的情况及所取得的图像的说明图。

图10是表示从所取得的图像提取特征点的说明图。

图11中，图11(a)是校准前的校准板的图像的说明图，图11(b)是校准后的校准板的图像的说明图。

图12是外部参数导出所需的图像取得方法的说明图。

图13中，图13(a)～图13(d)均是外部参数导出所使用的图像的说明图。

图14是表示从取得图像提取特征点的说明图。

图15是表示相机相对于本发明的校准夹具的配置的立体图。

图16是用于实施本发明的实施例3的校准方法的流程图。

具体实施方式

在本发明中，如图1(a)所示，利用相机2来拍摄环状的校准夹具1，如图1(b)所示，提取所拍摄到的图像中的圆周的轮廓(图中，由单点划线表示)1a，根据所提取的圆周形状的轮廓1a，通过计算来求出校准夹具1的中心位置1b。

作为环状的校准夹具1，例如，如图3所示，可以使用设置在液压挖掘机的斗杆3上的圆筒部件3a。

在此，液压挖掘机的斗杆3由用于加工建筑机械而使用的对置机(柱式移动型的对置型镗铣床、工作台移动型的对置型卧式镗铣床等)同时从两侧加工而成，以往，如图2所示，以接触式传感器4沿着圆筒部件3a的内周面进行4处测定，由此测定中心位置，但是存在计测作业烦杂的问题。

在本发明中，使用环状的校准夹具1，并没有使用制作或安装复杂的图7及图8所示的校准板。另外，作为环状的校准夹具1，如设置在液压挖掘机的斗杆3上的圆筒部件3a那样，无论是供轴贯通的孔，还是未贯通的孔，均可以使用。

在本发明中，通过相机2拍摄的是环状的校准夹具1，通过将测定形状限定为孔形状，而省略相机校准。即，将相机的切线方向失真校正系数及放射方向失真校正系数全部忽略为0，使相机的主点的偏差包含于相机的平移移动量而全部为0。

如上所述，相机校准主要为了校正透镜失真等而导出相机的内部参数，但是被测定物为圆形，进而在测定中心位置时，难以产生校准的影响，即便省略也没有问题。

另外，在本发明中，在安装相机2时，若使相机2的光轴与机床坐标的Z轴并行地对齐，而且使相机2的垂直方向、平行方向与机床坐标的XY轴对齐，则可以不需要调整相机位置校准的旋转系的三个参数。

这样一来，通过将相机2的坐标系与机床坐标系设为特定的关系，相机外部参数(θx、θy、θz、tx、ty、tz)中，θ_x＝0，θ_y＝0，θ_z＝0，因此应求出的参数为平移移动量(tx、ty、tz)这三个参数。

而且，若tz已知，则应求出的未知的参数仅为(tx、ty)。

在此，由于可求出校准夹具1的图像中的中心位置1b，因此若使用中心位置已知的校准环的中心位置(X_r、Y_r、Z_r)，则能够求出未知的参数(tx、ty)。

另外，在本发明中，在设置相机2时，若使相机2的坐标系与机床坐标系无关，则应求出的相机外部参数成为(θx、θy、θz、tx、ty、tz)这六个参数。

这种情况下，一边使相机2沿机床坐标系的X、Y、Z轴平行移动一边拍摄多张校准夹具1的图像，在由相机2拍摄到的图像中提取校准夹具1的轮廓而作为圆周形状1a，根据圆周形状1a反复计算校准夹具1的中心位置1b，使用所得到的校准夹具1的图像中的中心位置1b，并使用中心位置已知的校准夹具1的中心位置(X_r、Y_r、Z_r)，由此能够求出相机外部参数(θx，θy、θz、tx、ty、tz)这六个参数。

这样一来，在本发明中，使用环形的夹具作为校准夹具，由此能够消除相机校准的影响，并且能够简化校准的工序。

实施例1

1)本发明并未限定为对孔形状进行测定，因此在相机的内部参数(焦点距离：(f×k_x、f×k_y)，主点的偏差：(c_x、c_y)，放射方向失真校正系数：(k₁、k₂、k₃)，切线方向失真校正系数：(p1、p2))中：

(1)在相机、透镜中，切线方向的失真小，因此切线方向失真校正系数：(p1、p2)全部忽略为“0”。

(2)本计测以测定孔形状为目的，通过将要测定的孔形状配置在画面中央进行测定，消除了放射方向的失真的影响，因此在本系统中，即使放射方向失真校正系数：(k₁、k₂、k₃)全部为“0”也没有问题。

(3)主点的偏差：(c_x、c_y)包含于相机的外部参数(相机的平移移动量(tx、ty、tz)，而全部为“0”。

(4)焦点距离：(f×k_x、f×k_y)取决于透镜及相机的规格，因此使用厂家的规格明细书的数值。

根据以上的前提，以[数学式8]和[数学式9]来进行校准。即，如图1(a)所示，利用相机2来拍摄环状的校准夹具1，如图1(b)所示，对拍摄到的图像中的圆周的轮廓(图中由单点划线表示)1a进行提取，根据所提取的圆周形状的轮廓1a，通过计算来求出校准夹具1的中心位置1b。

另外，焦点距离：(f×k_x、f×k_y)是取决于透镜及相机的规格的已知信息。

[数学式8]

$S\left[\begin{array}{c}{U}_{\mathrm{image}}\\ V_{\mathrm{image}}\\ 1\end{array}\right]=\left[\begin{array}{ccc}{k}_x& 0& 0\\ 0& k_y& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{cccc}f& 0& 0& 0\\ 0& f& 0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{c}{X}_{\mathrm{camera}}\\ Y_{\mathrm{camera}}\\ Z_{\mathrm{camera}}\\ 1\end{array}\right]$

$=\left[\begin{array}{cccc}{\mathrm{fk}}_x& 0& 0& 0\\ 0& {\mathrm{fk}}_y& 0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{c}{X}_{\mathrm{camera}}\\ Y_{\mathrm{camera}}\\ Z_{\mathrm{camera}}\\ 1\end{array}\right]...\left(21\right)$

[数学式9]

X_camera＝(1+k₁r²+k₂r⁴+k₃r⁶)X_c+p₁(r²+2X_c ²)+2p₂X_cY_c＝X_c ...(22)

(∵k₁＝0，k₂＝0，k₃＝0，p₁＝0，p₂＝0)

Y_camera＝(1+k₁r²+k₂r⁴+k₃r⁶)Y_c+p₂(r²+2Y_c ²)+2p₁X_cY_c＝Y_c ...(23)

(∵k₁＝0，k₂＝0，k₃＝0，p₁＝0，p₂＝0)

Z_camera＝Z_c ...(24)

2)如图15所示，使相机2的光轴与机床坐标的Z轴对齐、且使相机2的水平方向与机床坐标的X轴对齐来设置相机2。而且，相机2与校准夹具1的距离大致恒定，t_z为已知。

由此，成为θ_x＝0，θ_y＝0，θ_z＝0，

[数学式10]

外部参数(旋转)：

[数学式11]

$S\left[\begin{array}{c}{U}_{\mathrm{image}}\\ V_{\mathrm{image}}\\ 1\end{array}\right]=\left[\begin{array}{cccc}{\mathrm{fk}}_x& 0& 0& 0\\ 0& {\mathrm{fk}}_y& 0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{c}{X}_{\mathrm{camera}}\\ Y_{\mathrm{camera}}\\ Z_{\mathrm{camera}}\\ 1\end{array}\right]$

$=\left[\begin{array}{cccc}{\mathrm{fk}}_x& 0& 0& 0\\ 0& {\mathrm{fk}}_y& 0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cccc}{r}_{11}& r_{12}& r_{13}& t_x\\ r_{21}& r_{22}& r_{23}& t_y\\ r_{31}& r_{32}& r_{33}& t_z\\ 0& 0& 0& 1\end{array}\right]\left[\begin{array}{c}{X}_{\mathrm{world}}\\ Y_{\mathrm{world}}\\ Z_{\mathrm{world}}\\ 1\end{array}\right]$

$=\left[\begin{array}{cccc}{\mathrm{fk}}_x& 0& 0& 0\\ 0& {\mathrm{fk}}_y& 0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cccc}1& 0& 0& t_x\\ 0& 1& 0& t_y\\ 0& 0& 1& t_z\\ 0& 0& 0& 1\end{array}\right]\left[\begin{array}{c}{X}_{\mathrm{world}}\\ Y_{\mathrm{world}}\\ Z_{\mathrm{world}}\\ 1\end{array}\right]$

$=\left[\begin{array}{cccc}{\mathrm{fk}}_x& 0& 0& {\mathrm{fk}}_x{t}_x\\ 0& {\mathrm{fk}}_y& 0& {\mathrm{fk}}_y{t}_y\\ 0& 0& 1& t_z\end{array}\right]\left[\begin{array}{c}{X}_{\mathrm{world}}\\ Y_{\mathrm{world}}\\ Z_{\mathrm{world}}\\ 1\end{array}\right]...\left(26\right)$

因此，作为导出的参数，仅为

[数学式12]

外部参数(平移)： $\stackrel{\&OverBar;}{T}=\left[\begin{array}{c}{t}_x\\ t_y\\ t_z\end{array}\right]$

而且，t_z为已知，由此只要求出(tx、ty)即可。

3)接下来，通过使用中心位置已知的校准环的中心位置(X_r、Y_r、Z_r)，以与由相机2拍摄到的校准夹具1的图像平面上的中心位置1b的坐标(U_Ring、V_Ring)相同的方式算出(tx、ty)。

[数学式13]

$S\left[\begin{array}{c}{U}_{\mathrm{image}}\\ V_{\mathrm{image}}\\ 1\end{array}\right]=\left[\begin{array}{cccc}{\mathrm{fk}}_x& 0& 0& {\mathrm{fk}}_x{t}_x\\ 0& {\mathrm{fk}}_y& 0& {\mathrm{fk}}_y{t}_y\\ 0& 0& 1& t_z\end{array}\right]\left[\begin{array}{c}{X}_{\mathrm{world}}\\ Y_{\mathrm{world}}\\ Z_{\mathrm{world}}\\ I\end{array}\right]$

$S\left[\begin{array}{c}{U}_{\mathrm{Ring}}\\ V_{\mathrm{Ring}}\\ 1\end{array}\right]=\left[\begin{array}{cccc}{\mathrm{fk}}_x& 0& 0& {\mathrm{fk}}_x{t}_x\\ 0& {\mathrm{fk}}_y& 0& {\mathrm{fk}}_y{t}_y\\ 0& 0& 1& t_z\end{array}\right]\left[\begin{array}{c}\mathrm{Xr}\\ \mathrm{Yr}\\ \mathrm{Zr}\\ 1\end{array}\right]...\left(27\right)$

实施例2

1)由于本发明限定为对孔形状进行测定，因此在相机的内部参数(焦点距离：(f×k_x、f×k_y)，主点的偏差：(c_x、c_y)，放射方向失真校正系数：(k₁、k₂、k₃)，切线方向失真校正系数：(p1、p2))中，

(1)在相机、透镜中，切线方向的失真小，因此切线方向失真校正系数：(p1、p2)全部忽略为“0”。

(2)本计测以对孔形状进行测定为目的，通过将要测定的孔形状配置在画面中央来进行测定，消除了放射方向的失真的影响，因此在本系统中，即使放射方向失真校正系数：(k₁、k₂、k₃)全部为“0”也没有问题。

(3)主点的偏差：(c_x、c_y)包含于相机的外部参数(相机的平移移动量(tx、ty、tz)，而全部为“0”。

(4)焦点距离：(f×kx、f×ky)取决于透镜及相机的规格，因此使用厂家的规格明细书的数值。

根据以上的前提，以[数学式14]和[数学式15]来进行校准。即，如图1(a)所示，通过相机2拍摄环状的校准夹具1，如图1(b)所示，对拍摄到的图像中的圆周的轮廓(图中，由单点划线表示)1a进行提取，根据所提取的圆周形状的轮廓1a，通过计算来求出校准夹具1的中心位置1b。

另外，焦点距离：(f×k_x、f×k_y)是取决于透镜及相机的规格的已知信息。

[数学式14]

$S\left[\begin{array}{c}{U}_{\mathrm{image}}\\ V_{\mathrm{image}}\\ 1\end{array}\right]=\left[\begin{array}{ccc}{k}_x& 0& 0\\ 0& k_y& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{cccc}f& 0& 0& 0\\ 0& f& 0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{c}{X}_{\mathrm{camera}}\\ Y_{\mathrm{camera}}\\ Z_{\mathrm{camera}}\\ 1\end{array}\right]$

$=\left[\begin{array}{cccc}{\mathrm{fk}}_x& 0& 0& 0\\ 0& {\mathrm{fk}}_y& 0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{c}{X}_{\mathrm{camera}}\\ Y_{\mathrm{camera}}\\ Z_{\mathrm{camera}}\\ 1\end{array}\right]...\left(31\right)$

[数学式15]

X_camera＝(1+k₁r²+k₂r⁴+k₃r⁶)X_c+p₁(r²+2X_c ²)+2p₂X_cY_c＝X_c ...(32)

(∵k₁＝0，k₂＝0，k₃＝0，p₁＝0，p₂＝0)

Y_camera＝(1+k₁r²+k₂r⁴+k₃r⁶)Y_c+p₂(r²+2Y_c ²)+2p₁X_cY_c＝Y_c ...(33)

(∵k₁＝0，k₂＝0，k₃＝0，p₁＝0，p₂＝0)

Z_camera＝Z_c ...(34)

2)如图15所示，使相机2的光轴与机床坐标的Z轴方向大致对齐(无需一致)而设置相机2。另外，预先使相机2的水平方向与机床坐标的X轴方向大致对齐(θ_x≠0、θ_y≠0、θ_z≠0)。

因此，作为需要导出的参数，为六个外部参数(θx、θy、θz、tx、ty、tz)。

[数学式16]

$S\left[\begin{array}{c}{U}_{\mathrm{image}}\\ V_{\mathrm{image}}\\ 1\end{array}\right]=\left[\begin{array}{cccc}{\mathrm{fk}}_x& 0& 0& 0\\ 0& {\mathrm{fk}}_y& 0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{c}{X}_{\mathrm{camera}}\\ Y_{\mathrm{camera}}\\ Z_{\mathrm{camera}}\\ 1\end{array}\right]$

$=\left[\begin{array}{cccc}{\mathrm{fk}}_x& 0& 0& 0\\ 0& {\mathrm{fk}}_y& 0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cccc}{r}_{11}& r_{12}& r_{13}& t_x\\ r_{21}& r_{22}& r_{23}& t_y\\ r_{31}& r_{32}& r_{33}& t_z\\ 0& 0& 0& 1\end{array}\right]\left[\begin{array}{c}{X}_{\mathrm{world}}\\ Y_{\mathrm{world}}\\ Z_{\mathrm{world}}\\ 1\end{array}\right]...\left(35\right)$

[数学式17]

外部参数(旋转)：

外部参数(平移)： $\stackrel{\&OverBar;}{T}=\left[\begin{array}{c}{t}_x\\ t_y\\ t_z\end{array}\right]$

3)接下来，通过使用中心位置已知的校准环的中心位置(X_r、Y_r、Z_r)来导出(θx、θy、θz、tx、ty、tz)。

具体而言，如图15所示，使相机2沿着机床坐标的X轴、Y轴、Z轴进行平行移动，由此对校准夹具1拍摄多张图像，分别提取所拍摄到的图像中的圆周的轮廓1a，根据所提取的圆周形状的轮廓1a，通过计算来分别求出校准夹具1的中心位置1b。

校准环的中心位置是已知信息，因此能够根据通过计算而分别求出的校准夹具1的中心位置1b，利用最小二乘法等处理而导出(θx、θy、θz、tx、ty、tz)。

实施例3

本发明的第三实施例如图16所示。图16示出本实施例的校准方法的流程图。

首先，如图1(a)所示，将相机2定位在校准夹具1的中心附近(步骤S1)。校准夹具1预先设置在机床上的工件例如图3所示的液压挖掘机的斗杆3上。相机2的位置如图15所示，可以将相机2的坐标系与机床坐标系设为特定的关系(参照实施例1)，或者也可以将相机2的坐标系与机床坐标系设为无关(参照实施例2)。

接下来，通过相机2取得校准夹具1的图像(步骤S2)。

进而，如图1(b)所示，对由相机2取得的图像进行图像处理而提取圆周的轮廓1a(步骤S3)。

而且，如图1(b)所示，根据圆周的轮廓1a，算出校准夹具1的中心位置1b(步骤S4)。

然后，根据作为机床坐标位置而已知的校准夹具1的中心位置(X_r、Y_r、Z_r)和在步骤S4中算出的校准夹具的中心位置1b，求出校准参数中的除了相机的内部参数之外的、相机的位置校准参数(外部参数)(步骤S5)。

在相机2的坐标系与机床坐标系具有特定关系的情况下，成为θ_x＝0、θ_y＝0、θ_z＝0，因此要导出的外部参数仅为平移移动量，t_z为已知，由此仅为(tx、ty)，因此根据一张图像就能够确定这些参数。

另一方面，在相机2的坐标系与机床坐标系无关的情况下，需要导出的参数为这六个外部参数(θx、θy、θz、tx、ty、tz)，因此拍摄多张校准夹具1的图像，反复求出它们的外部参数。

工业实用性

在全部机床中，本发明能够作为适用于计测孔形状(孔中心位置)的系统的校准方法而在工业上广泛利用。

附图标记说明

1 校准夹具

1a 圆周的轮廓

1b 校准夹具的中心位置

2 相机

3 液压挖掘机的斗杆

3a 圆筒部分

10 传感器

11、12 校准板

20 透镜

30 相机

Claims (2)

1.一种相机计测系统的校准方法，其特征在于，

在机床上的工件上设置环状的校准夹具，使将所述校准夹具的圆形状配置在画面中央的相机的光轴与所述机床的坐标系中的一个轴并行地对齐并使所述相机的水平方向或垂直方向与所述机床的除所述一个轴以外的其他轴向对齐，通过所述相机来拍摄所述校准夹具，提取由所述相机拍摄到的图像中的所述夹具的圆周形状而作为轮廓，根据所述轮廓计算所述图像中的所述夹具的中心位置，另一方面，将所述相机的切线方向失真校正系数及放射方向失真校正系数全部忽略为0，使所述相机的主点的偏差包含于相机的平移移动量而全部为0，基于所述图像中的所述夹具的中心位置及已知的所述夹具的三维中心位置，算出作为校准的外部参数的平移移动量。

2.一种相机计测系统的校准方法，其特征在于，

在机床上的工件上设置环状的校准夹具，一边使将所述校准夹具的圆形状配置在画面中央的相机沿所述机床的坐标系的X、Y、Z轴平行移动，一边通过该相机对所述校准夹具拍摄多张图像，提取由所述相机拍摄到的图像中的所述夹具的圆周形状而作为轮廓，根据所述轮廓计算所述图像中的所述夹具的中心位置，另一方面，将所述相机的切线方向失真校正系数及放射方向失真校正系数全部忽略为0，使所述相机的主点的偏差包含于相机的平移移动量而全部为0，基于所述图像中的所述夹具的中心位置及已知的所述夹具的三维中心位置，算出作为校准的外部参数的旋转角度及平移移动量。