CN103868524A - 一种基于散斑图案的单目测量系统标定方法及装置 - Google Patents

Abstract

本发明公开了一种基于散斑图案的单目测量系统标定方法，包括以下步骤：标定板图像采集、标定板图像检测、散斑图像采集、投影仪标定图像生成、单相机和投影仪组成的测量系统的自标定。还公开了一种标定装置，包括数字光栅投影仪(1)、工业CCD相机(3)和计算机(5)等，所述计算机包括图像采集控制单元、投影仪投射控制单元、标定板图像检测单元、相机参数标定单元。本发明可以快速高效的完成对单目测量系统进行高精度标定，具有操作方便简单、实用灵活、结果准确可靠的特点。

Description

一种基于散斑图案的单目测量系统标定方法及装置

技术领域

本发明属于机器视觉中的单相机标定领域，特别涉及一种基于散斑图案的单目测量系统标定方法及装置。

背景技术

标定是测量系统能够获得精确结果的前提。对由单相机和投影仪组成的单目测量系统进行标定时，传统的单摄像机、单投影仪三维扫描系统，利用相位值计算被测物体的高度信息，可操作性差，且测量精度不高。

将立体视觉的三维重构技术引入到单摄像机、单投影仪扫描系统，利用散斑图像实现投影仪与摄像机的匹配，根据双目视觉的原理进行三维重构，有望提高测量精度，其中的关键环节是投影仪标定。

发明内容

针对现有技术的不足，本发明提出一种基于散斑图案的单目测量系统标定方法，包括以下步骤：

第一步，采集相机标定图像：将带有特征点的标定板置于单目测量系统视场内，利用CCD相机采集标定板在某一位置下的图像；

第二步，采集标定板散斑图像：固定标定板位置，利用投影仪向标定板投射一幅与标定板大小相应的散斑图案，同时利用CCD相机同步采集带有上述散斑图案的标定板图像，也即标定板散斑图像；

第三步，检测标定板图像：对第一步中采集的相机标定图像进行标志点检测，识别出相机标定图像上特征点的个数和类型，并计算特征点的中心坐标，并计算出标定板散斑图像中对应特征点中心的亚像素级坐标；

第四步，调整标定板位置，重复上述第一步到第三步，直到采集到标定板在预定数目的不同位置下的相机标定图像和标定板散斑图像；

第五步，将CCD相机采集的标定板散斑图像作为参考图像，投影仪栅片上的散斑图像作为变形图像，利用数字图像相关法建立参考图像和变形图像之间的对应关系，得到用于投影仪标定的投影仪标定图像；

第六步，确定测量系统参数：利用第一步采集的相机标定图像和第五步生成的投影仪标定图像，分别求解出相机和投影仪的标定参数，然后将世界坐标系原点设在相机光心位置，计算出投影仪坐标系在世界坐标系下的位置。

本发明的另一目的是提出一种用于实现所述单目测量系统标定方法的标定装置，包括数字光栅投影仪(1)、工业CCD相机(3)和计算机(5)等，所述计算机(3)包括图像采集控制单元、投影仪投射控制单元、标定板图像检测单元、相机参数标定单元，其中，

所述图像采集控制单元用于控制CCD相机采集图像；

所述投影仪投射控制单元用于控制投影仪向标定板投射所述散斑图案；

所述标定板图像检测单元用于执行所述第三步的处理；

所述相机参数标定单元用于执行所述第五步和第六步的处理，完成单目测量系统的标定。

与现有技术相比，本发明具有以下有益效果：

(1)采用单相机单投影仪测量系统，投影仪被看作相机来使用，相比传统的双目系统而言少用一个CCD相机，硬件设备成本更低。

(2)物体表面重建时同一状态只需向物体表面投射一副散斑图像，故可以重建动态的物体。

(3)相比于双目立体三维扫描技术而言，本发明不需要在物体表面粘贴特征点，避免了复杂的特征点提取和匹配。

(4)本发明中的单目测量系统可以对小物体和深孔部分进行外形的的重建和测量。

附图说明

图1是本发明实施例的单目测量系统结构简图；

图2是本发明实施例的单目测量系统原理示意图；

图3是本发明实施例的标定流程图；

图4是本发明实施例中使用的标定板实物图；

图5是本发明实施例中采集的8个位置下的标定散斑图像。

具体实施方式

以下结合附图对本发明作进一步的详细说明。

如图1所示，本发明实施例的标定方法涉及的装置主要由数字光栅投影仪1、工业CCD相机(包括镜头)3、横梁2、线束4、计算机5组成。

基于散斑图案的单目测量系统属于一种非接触的光学测量系统，不同于传统的双目立体视觉系统，因此，该装置中用一个数字光栅投影仪1代替了双目立体视觉中的一个CCD相机，用散斑图案代替激光或结构光来对投影仪进行标定。参考图2，其中，将投影仪的投影过程看作一个逆向的相机，因此就构成了传统的双目视觉系统，然后可以采用文献1(用于三维变形测量的数字图像相关系统，唐正宗等，光学精密工程，2010年第10期)中提出的十参数相机畸变模型，对测量系统进行标定。

参见图3，本发明实施例的一种基于散斑图案的单目测量系统标定方法，包括以下步骤：

第一步，采集相机标定图像：将带有特征点的标定板(如图4所示)置于单目测量系统视场内，利用CCD相机采集标定板在某一位置下的图像。

其中，所述特征点包括环形编码特征点和圆形非编码特征点。另外，标定板斜对角线上两对编码特征点的距离精确已知。标定板大小的选取根据测量系统的幅面和被测物的大小确定，例如，如果测量距离是1m，可以采用400*300mm的标定板进行标定。

第二步，采集标定板散斑图像：固定标定板位置，利用投影仪向标定板投射一幅与标定板大小相应的散斑图案，同时利用CCD相机同步采集带有所述散斑图案的标定板图像，也即标定板散斑图像。

其中，第二步中标定板的摆放位置和第一步中的摆放位置是相同的，并且投影仪投出的所有散斑图案是固定的。

第三步，检测标定板图像：对第一步中采集的相机标定图像进行标志点检测，识别相机标定图像上特征点的个数和类型，并计算特征点的中心坐标，由于采集过程中标定板位置不动，可计算出标定板散斑图像中对应特征点中心的亚像素级坐标。其中，所述图像处理包括滤波降噪、阀值分割、边缘检测、中心定位处理。对于编码特征点，还对其进行解码得到编码值。

第四步，调整标定板位置，重复上述第一步到第三步，直到采集到标定板在预定数目的不同位置下的相机标定图像和标定板散斑图像。

其中，所述预定数目大于3。在本实施例中，不同位置的数目为8个，如图5所示。

第五步，将CCD相机采集的标定板散斑图像作为参考图像，投影仪栅片上的散斑图像作为变形图像，利用数字图像相关法建立参考图像和变形图像之间的对应关系，得到用于投影仪标定的投影仪标定图像。具体包括以下步骤；

(1)将标定板散斑图像作为参考图像，投影仪栅片上的散斑图像作为变形图像，并将检测相机标定板获得的特征点坐标位置作为参考图像上的种子点，根据数字图像相关原理在变形图像上寻找种子点的整像素对应点。

利用(x，y)和(x^*，y^*)分别表示子图像在变形前后的对应点，用u、v、

和

表示子区中心点的位移量和相应的导数，则两点之间的位置关系可表示为：

$\left\{\begin{array}{c}{x}^{*}=x+u+\frac{\∂u}{\∂x}\mathrm{\Δx}+\frac{\∂u}{\∂y}\mathrm{\Δy}\\ y^{*}=y+v+\frac{\∂v}{\∂x}\mathrm{\Δx}+\frac{\∂v}{\∂y}\mathrm{\Δy}\end{array}\right.---\left(1\right)$

以标定板散斑图像上特征点为中心选取一个边长为M×M的参考子图像，根据相关系数方程(2)在变形图像上寻找与参考子图像相关性最大的变形子图像，并将变形子图像的中心点作为特征点在变形图像上的对应点。相关系数方程如下：

$C(u,v)=\frac{{\mathrm{\Σ}}_{i=1}^M{\mathrm{\Σ}}_{j=1}^M[f(x_i,y_i)-\stackrel{\‾}{f}][g(x_i+u,y_i+v)-\stackrel{\‾}{g}]}{\sqrt{{\mathrm{\Σ}}_{i=1}^M{\mathrm{\Σ}}_{j=1}^M{[f(x_i,y_i)-\stackrel{\‾}{f}]}^2}\sqrt{{\mathrm{\Σ}}_{i=1}^M{\mathrm{\Σ}}_{j=1}^M{[g(x_i+u,y_i+v)-\stackrel{\‾}{g}]}^2}}---\left(2\right)$

其中f(x_i，y_i)和g(x_i+u，y_i+v)分别是待匹配点和匹配点的灰度值，u、v是两点间的整像素位移，

和

分别为两子图像的平均灰度值。

(2)根据最小二乘迭代算法，计算种子点在变形图像上的亚像素位置。

点(x_i，y_i)的灰度值f(x_i，y_i)与亚像素点(x′_i，y′_i)的灰度值g(x′_i，y′_i)之间的关系可以表示为：

f(x_i，y_i)-e(x_i，y_i)＝r₀+r₁×g(x′_i，y′_i)     (3)

其中e(x_i，y_i)为噪声部分，变量r₀，r₁用于补偿由于光照引起的灰度差异。

由于点(x′_i，y′_i)为亚像素，在计算过程中需要通过双三次样条插值来计算其灰度值g(x′_i，y′_i)。

为了获得亚像素级位移，首先将方程(3)在点(x′_i，y′_i)处进行一阶泰勒展开并去除高阶项，得到误差方程：

f(x，y)-e(x，y)＝g(x′，y′)+g_x′du+g_x′Δxdu_x+g_x′Δydu_y+g_y′dv+g_y′Δxdv_x     (4)

+g_y′Δydv_y+dr₀+g(x′，y′)dr₁

对上式进行非线性迭代时，需要给出未知数初值，整像素位移u、v已知，其余参数的初值由下式给出。

u_x＝u_y＝v_x＝v_y＝r₀＝0，r₁＝1     (5)

设未知数的改正数向量为x，偏导数矩阵为A，观察值的向量为l，假设子图像的像素数目为n，则对应的误差方程组为：

$\underset{n,l}{l}+\underset{n,l}{v}=\underset{n,8}{A}\stackrel{8,l}{x}---\left(6\right)$

其中x^T＝[du，du_x，du_y，dv，dv_x，dv_y，dr₀，dr₁]，v为像点坐标残差。利用上式求得x之后，对未知数进行更新，并对式(6)进行重复迭代运算，直到改正数x小于预定阈值。

(3)基于步骤(2)的结果，建立标定板散斑图像中每个特征点中心与投影仪栅片上的散斑图像上像素的对应关系，得到用于投影仪标定的投影仪标定图像。

第六步，确定测量系统参数：利用第一步采集的相机标定图像和第五步生成的投影仪标定图像，分别求解出相机和投影仪的标定参数，然后将世界坐标系原点设在相机光心位置，计算出投影仪坐标系在世界坐标系下的位置。

具体而言，按照以下步骤完成相机标定和投影仪标定。

(1)利用摄影测量理论中的相对定向和绝对定向分别确定出相机和投影仪的标定参数初值

首先，根据相机拍摄的8幅相机标定图像上的特征点数目，选择识别特征点数目最多的两幅图像进行相对定向，得到两幅图像间的5个相对方位参数，并重建出至少5个编码特征点的三维空间坐标作为标定控制点；

然后，利用控制点的三维空间坐标和图像上特征点的图像坐标依次对剩余的图像进行绝对定向，得到图像的外方位元素。

其中，相对定向就是确定两幅图像之间的位置关系。确定一张像片的方位需6个外方位元素，则要确定一个立体像对的方位需要12个外方位元素，即：

像片1：X_s1，Y_s1，Z_s1，

ω₁，κ₁；

像片2：X_s2，Y_s2，Z_s2，

ω₂，κ₂；

将摄影基线(两摄站投影中心的连线)在世界坐标系三个坐标轴上的投影，记为B_x、B_y、B_z。令

tan(μ)＝B_y/B_x，sin(v)＝B_z/B，则B_x、B_y、B_z这三个元素可以用B，μ，v这三个元素代替。因此，该立体像对的相对方位元素只有五个独立变量，即μ，v，

ω，κ。根据摄影测量共面方程，得：

$F=\left|\begin{array}{ccc}{B}_x& B_y& B_z\\ X_1& Y_1& Z_1\\ X_2& Y_2& Z_2\end{array}\right|=\left|\begin{array}{ccc}1& \mathrm{\μ}& v\\ X_1& Y_1& Z_1\\ X_2& Y_2& Z_2\end{array}\right|=0---\left(8\right)$

该式是一个非线性函数，为了平差计算，将按多元函数泰勒级数展开，略去高阶项，得共面方程的线性表达式：

把μ，v，

ω，κ的初值分别设置为0，利用上式进行迭代运算，就可以实现相对定向，并重建出至少5个编码特征点的三维空间坐标作为标定控制点。

绝对定向就是利用图片上图像点坐标和对应的控制点的三维坐标来确定像机在世界坐标系下的绝对方位。在内方位元素和控制点坐标已知的情况下，误差方程可表示为：

V＝At-L     (10)

其中：

$V=\left[\begin{array}{c}{v}_x\\ v_y\end{array}\right],$ 表示像点坐标残差；

表示像点坐标对外方位元素的偏导矩阵；

表示外方位元素的改正数；

$L=\left[\begin{array}{c}x-\left(x\right)\\ y-\left(y\right)\end{array}\right].$ 其中L为观察量即图像点坐标。

(2)根据镜头畸变模型和摄像机的中心投影模型，分别建立相机和投影仪的完整成像模型，利用光束平差法分别对相机和投影仪进行标定，以调整和优化标定参数初值。

由经典的小孔成像模型和十参数相机畸变模型，利用光束平差法对相机进行标定，以调整和优化相机的内外参数。其中相机畸变模型如下：

dx＝A₁xr²+A₂xr⁴+A₃xr⁶+B₁(r²+2x²)+2xyB₂+E₁x+E₂y     (11)

dy＝A₁yr²+A₂yr⁴+A₃yr⁶+B₂(r²+2y²)+2xyB₁

其中，A₁、A₂、A₃为径向畸变参数；B₁、B₁为切向畸变参数；E₁、E₁为薄棱镜畸变参数。在进行光束平差法标定时，以上所有畸变参数的初始值设置为0。光束平差的误差方程为：

V＝A*X₁+B*X₂+C*X₃-L     (12)

其中：X₁为相机内参数变化量；X₂为相机外参数变化量；X₃为特征点三维坐标变化量；L为观察量即图像点坐标；A、B、C分别是相应的变化量偏导矩阵。

标定完成后，还可以对标定结果进行温度补偿，并加入比例尺。

(3)以相机所在位置为世界坐标系原点，建立相机坐标系和投影仪坐标系之间的位置关系，从而完成对单目测量系统的标定。

在另一实施例中，本发明提出一种用于实现所述单目测量系统标定方法的标定装置，如前所述，该标定装置包括数字光栅投影仪(1)、工业CCD相机(3)和计算机(5)等。

具体而言，计算机(5)包括图像采集控制单元、投影仪投射控制单元、标定板图像检测单元、相机参数标定单元，其中，图像采集控制单元用于控制CCD相机采集图像；投影仪投射控制单元用于控制投影仪向标定板投射所述散斑图案；标定板图像检测单元用于执行所述第三步的处理；相机参数标定单元用于执行所述第五步和第六步的处理，完成单目测量系统的标定。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于散斑图案的单目测量系统标定方法，包括以下步骤：

第一步，采集相机标定图像：将带有特征点的标定板置于单目测量系统视场内，利用CCD相机采集标定板在某一位置下的图像；

第二步，采集标定板散斑图像：固定标定板位置，利用投影仪向标定板投射一幅与标定板大小相应的散斑图案，同时利用CCD相机同步采集带有上述散斑图案的标定板图像，也即标定板散斑图像；

第三步，检测标定板图像：对第一步中采集的相机标定图像进行标志点检测，识别出相机标定图像上特征点的个数和类型，并计算特征点的中心坐标，并计算出标定板散斑图像中对应特征点中心的亚像素级坐标；

第四步，调整标定板位置，重复上述第一步到第三步，直到采集到标定板在预定数目的不同位置下的相机标定图像和标定板散斑图像；

第五步，将CCD相机采集的标定板散斑图像作为参考图像，投影仪栅片上的散斑图像作为变形图像，利用数字图像相关法建立参考图像和变形图像之间的对应关系，得到用于投影仪标定的投影仪标定图像；

第六步，确定测量系统参数：利用第一步采集的相机标定图像和第五步生成的投影仪标定图像，分别求解出相机和投影仪的标定参数，然后将世界坐标系原点设在相机光心位置，计算出投影仪坐标系在世界坐标系下的位置。

2.如权利要求1所述的方法，所述第一步中，标定板的大小根据测量系统的幅面和被测物的大小确定。

3.如权利要求1所述的方法，所述第一步中，所述特征点包括环形编码特征点和圆形非编码特征点。

4.如权利要求1所述的方法，所述第二步中，标定板的摆放位置和第一步中的摆放位置相同，并且投影仪投射的所有散斑图案是固定的。

5.如权利要求1所述的方法，所述第三步中，所述标志点检测包括滤波降噪、阀值分割、边缘检测、中心定位处理。

6.如权利要求1所述的方法，所述第四步中，所述不同位置的数目大于3。

7.如权利要求6所述的方法，其中，所述数目为8。

8.如权利要求1所述的方法，所述第五步具体包括以下步骤：

(1)将检测相机标定图像获得的特征点坐标位置作为参考图像上的种子点，根据数字图像相关原理在变形图像上寻找种子点的整像素对应点；

(2)根据最小二乘迭代算法，计算种子点在变形图像上的亚像素位置；

(3)基于步骤(2)的结果，建立标定板散斑图像中每个特征点中心与投影仪栅片上的散斑图像上像素的对应关系，得到用于投影仪标定的投影仪标定图像。

9.如权利要求1所述的方法，所述第六步具体包括：

(1)利用摄影测量理论中的相对定向和绝对定向分别确定出相机和投影仪的标定参数初值；

(2)根据镜头畸变模型和摄像机的中心投影模型，分别建立相机和投影仪的完整成像模型，利用光束平差法分别对相机和投影仪进行标定，以调整和优化标定参数初值；

(3)以相机所在位置为世界坐标系原点，建立相机坐标系和投影仪坐标系之间的位置关系，从而实现对单目测量系统的标定。

10.一种用于实现权利要求1-9任一项所述单目测量系统标定方法的标定装置，包括数字光栅投影仪(1)、工业CCD相机(3)和计算机(5)等，所述计算机(5)包括图像采集控制单元、投影仪投射控制单元、标定板图像检测单元、相机参数标定单元，其中，

所述图像采集控制单元用于控制CCD相机采集图像；

所述投影仪投射控制单元用于控制投影仪向标定板投射所述散斑图案；

所述标定板图像检测单元用于执行所述第三步的处理；

所述相机参数标定单元用于执行所述第五步和第六步的处理，完成单目测量系统的标定。

Images