CN101419061A - 一种镜像式结构光视觉测量系统和测量方法 - Google Patents

Abstract

本发明属于测量技术领域，将提供一种镜像式结构光视觉测量系统和测量方法。本发明测量系统由结构光投射器1、反射镜2、3和4、摄像机6、底板7、计算机、图像采集卡、标定平面靶标8组成。本发明测量方法由结构光投射器投射结构光，经反射镜2、3、4反射后投射到被测物5表面，其反射光线经反射镜4反射后被摄像机6接收，所成图像由高速图像采集卡采集到计算机中，对采集图像进行处理，提取出结构光条中心线的图像坐标，根据测量模型，计算出物体表面点的三维坐标。本发明采用反射镜成像构成三角测量原理，减小了结构光投射器与摄像机间的横向间距，压缩了系统体积，实现了结构光视觉传感器的小型化。

Description

一种镜像式结构光视觉测量系统和测量方法

技术领域

本发明属于测量技术领域，涉及一种镜像式结构光视觉测量系统和测量方法。

背景技术

随着现代加工制造和生产作业的发展需要，小尺寸在线测量已逐渐受到国内外高度重视。在小尺寸测量中，位于受限空间内的小型物体表面的三维测量具有代表性，如口腔牙齿取模、发动机内微小零、部件表面、集成IC芯片的综合几何参数、高速运转微型飞轮表面测量以及工作状态的小型机械零部件磨损测量等。这些构件一般尺寸较小，更为关键的是位于受限空间内，且有些零部件具有不可拆卸性。因此，研究能够实现受限空间内小型物体三维在线非接触测量，甚至能够嵌入集成到加工制造系统中的小型三维测量设备已经成为现代加工制造业和生产作业的迫切要求。

基于光学三角法的结构光视觉检测以其测量的非接触性、速度快和精度适中等优点，很好地满足了现代工业对检测的要求。将结构光视觉用于生产过程的监控和测量已成为解决许多在线问题最有效的途径。结构光视觉检测不仅很好的解决了手工离线测量中劳动强度大、测量效率低、精度差等问题，而且避免了在线接触式测量系统中传感器极易损坏的问题，目前被广泛应用于零件的表面形貌检测。

但是，传统的光学三角法直接采用由摄像机、结构光投射器和被测物体构成三角关系，结构光视觉测量传感器中的结构光投射器和摄像机之间的横向尺寸要求，使得传感器本身体积较大。

发明内容

本发明所要解决的技术问题是：提供一种镜像式结构光视觉测量系统和测量方法，本发明所说的镜像式结构光视觉测量系统由结构光视觉传感器、计算机、图像采集卡和标定靶标构成。结构光视觉传感器由一个摄像机、一个线结构光投射器和三个反射镜组成。结构光视觉传感器的前端可进入受限空间，获被测物表面图像。根据镜像式结构光视觉测量系统的数学模型，通过测量点的图像坐标，计算出测量点的摄像机三维坐标，从而得到物体表面三维信息。减小结构光视觉传感器中的结构光投射器与摄像机之间的横向间距，实现结构光视觉传感器的小型化，为受限空间内物体表面的测量提供一种技术手段。

本发明的技术解决方案是：一种镜像式结构光视觉测量系统，其特征在于，

1、它由结构光视觉传感器7、计算机、图像采集卡和标定靶标[8]组成，结构光视觉传感器7由结构光投射器1、反射镜2、3和4以及摄像机6组成；图像采集卡安装在计算机内；被测物5在平面反射镜4反射光路方向上距离底板边缘5～20mm处；

2、结构光投射器1投射的结构光经平面反射镜2、3和4反射后投射到被测物5的表面，其反射光线经反射镜4反射后被摄像机6接收；

3、所说的标定靶标8为一个二维平面，靶标上有预先设置的特征点，在靶标平面上布置成矩阵排列的黑色方块，黑色方块数量为4～16个，黑色方块的边长为2mm，其边长精度为0.01mm，黑色方块之间的距离2mm，其精度为0.01mm，选取靶面上方块的顶点为特征点，特征点数量为16～64个。

使用如上所述的镜像式结构光视觉测量系统进行小型物体表面三维测量的方法，其特征在于，测量过程分为标定阶段和测量阶段，进行一次标定后可连续测量，具体步骤如下：

1、标定阶段：

1.1、将结构光投射器1和摄像机6固紧；调整摄像机镜头焦距，保证在反射镜4反射光路方向上距离底板边缘5～20mm范围内的物体所成图像较为清晰；调整反射镜2、3和4，保证结构光投射到摄像机视场范围内；调整完后，将反射镜2、3和4固紧；

1.2、标定摄像机6的内部参数，具体步骤如下：

第一步，在摄像机的视场范围内，自由移动靶标8至少3个位置，每移动一个位置，拍摄一幅图像，称为摄像机标定图像，靶标上所有的特征点应包含在拍摄图像内；

第二步，提取所有摄像机标定图像的特征点的图像坐标，并与特征点的世界坐标对应；

第三步，利用第二步提取的所有特征点的图像坐标及对应的世界坐标来标定摄像机内部参数，包括摄像机有效焦距、主点以及畸变系数；

1.3、获得结构光光平面在摄像机坐标系下的方程，具体步骤如下：

第一步，在摄像机的视场范围内，打开结构光投射器1的电源，使结构光投射的光条经过平面靶标特征区域，拍摄一幅图像，称为光平面标定图像，靶标上所有的特征点应包含在拍摄图像内；将投射在靶标平面上的直线光条中心线上的点称为控制点；

第二步，根据摄像机的畸变模型，校正光平面标定图像的畸变，得到无畸变光平面标定图像；

第三步，提取无畸变光平面标定图像的特征点的图像坐标，根据摄像机模型，计算靶标特征点的投影坐标，利用特征点的投影坐标及对应的世界坐标，计算靶标平面在摄像机坐标系下的方程；提取无畸变光平面标定图像中的控制点的图像坐标，根据摄像机模型，计算控制点的投影坐标；

第四步，在摄像机坐标系中，计算摄像机坐标系原点和控制点的投影点确定的直线与靶标平面的交点，得到控制点的摄像机三维坐标；

第五步，将靶标8自由放置到摄像机视场范围内的不同位置，采用第一步到第四步叙述的方法，计算更多非共线控制点的摄像机三维坐标；靶标放置位置数量为2～5；

第六步，利用所有非共线控制点的摄像机三维坐标，拟合平面得到光平面在摄像机坐标系下的方程；

1.4、将标定好的摄像机内部参数、结构光光平面方程系数保存到系统参数文件中，以备测量阶段调用；

2、测量阶段：

2.1、将被测物放置在摄像机视场范围内，拍摄一幅图像，称为被测物图像；将投射在被测物体表面上的光条中心线上的点称为测量点；

2.2、计算被测物表面点的摄像机三维坐标，具体步骤为：

第一步，提取被测物图像中的测量点的图像坐标，校正测量点的畸变，根据摄像机模型，计算测量点的投影坐标；

第二步，在摄像机坐标系中，计算摄像机坐标系原点和测量点的投影点确定的直线与靶标平面的交点，得到测量点的摄像机三维坐标；保存测量点的摄像机三维坐标；

2.3、重复步骤2.1～2.2，进行新的被测物表面三维测量。

本发明的优点是：

第一、采用反射镜构成虚拟三角测量位置关系，减小了视觉传感器中的结构光投射器与摄像机间的横向间距，实现了结构光传感器的小型化；

第二、利用反射镜改变光路，使得传感器与被测物之间的测量工作距离减小，传感器能够测量平行于摄像机光轴的被测对象，为结构光传感器进入受限空间奠定了基础；

第三、通过改变反射镜的摆放角度，可以改变虚拟摄像机和虚拟激光器之间的距离，在增大传感器基线距的同时，不会导致传感器的体积增大，增加了传感器的灵活性；

第四、标定过程中，只需一个平面靶标即可进行摄像机内部参数和结构光光平面的标定，标定过程简单，减小了工作量，适用于现场标定；

第五、投射到靶标平面上的直线光条中心线上的点都可以作为控制点，大大地增加了控制点的数量，可以提高结构光视觉传感器的标定精度；

第六、测量系统结构简单、测量效率高，测量精度较高，自动化程度高。

附图说明

图1是镜像式结构光视觉测量系统示意图。图1中，1是结构光投射器，2、3、4是反射镜，5是被测物，6是摄像机，7是镜像式结构光视觉传感器。

图2是二维平面靶标示意图。图2中，8是靶标体。

图3是虚拟三角测量位置关系示意图。图3中，9是虚拟结构光投射器，10是虚拟摄像机，5是被测物，由5、9、10构成虚拟三角测量位置关系。

图4是镜像式结构光视觉测量系统数学模型示意图。

具体实施方式

下面对本发明做进一步详细说明。本发明基于计算机视觉和图像处理技术，采用平面反射镜调整光路，将结构光投射器、摄像机与平面反射镜集成在一个较小的结构光视觉传感器内，使其能够进入受限空间进行测量。

本发明镜像式结构光视觉测量系统基本原理如图1所示，它由结构光视觉传感器7、计算机、图像采集卡和标定靶标8组成，结构光视觉传感器7由结构光投射器1、反射镜2、3和4以及摄像机6组成。图像采集卡安装在计算机内。被测物5在反射镜4反射光路方向上距离底板边缘5～20mm处。

结构光投射器1投射的结构光经反射镜2、3和4反射后投射到被测物5的表面，其反射光线经反射镜4反射后被摄像机6接收。

所说的标定靶标8为一个二维平面，靶标上有预先设置的特征点，在靶标平面上布置成矩阵排列的黑色方块，黑色方块数量为4～16个，黑色方块的边长为2mm，其边长精度为0.01mm，黑色方块之间的距离2mm，其精度为0.01mm，选取靶面上方块的顶点为特征点，特征点数量为16～64个。

镜像式结构光视觉测量的工作原理为：由摄像机拍摄带有光条的被测物图像，由图像处理提取光条中心线的图像坐标，根据摄像机内部参数与结构光光平面方程，由光条中心线的图像坐标计算光条中心线的空间三维坐标。

如图4所示，o_c-x_cy_cz_c为摄像机坐标系，o_w-x_wy_wz_w为建立在靶标上的世界坐标系，o_u-x_uy_u为无畸变图像坐标系，o_n-x_ny_n为投影坐标系。π_n为投影平面，π_u为理想图像平面，π_s为投射光平面。点o_p是直线o_cz_c与π_u的交点，称为摄像机的主点。定义o_cx_c‖o_ux_u‖o_nx_n，o_cy_c‖o_uy_u‖o_ny_n，o_cz_c⊥π_u和π_n‖π_u。任意空间点P_i的世界坐标为X_wi＝(x_wi，y_wi，z_wi)^T，摄像机坐标为X_ci＝(x_ci，y_ci，z_ci)^T，对应的投影点为p_i。则o_w-x_wy_wz_w到o_c-x_cy_cz_c的变换为：

$X_{\mathrm{ci}}=R_c^w{X}_{\mathrm{wi}}+T_c^w---\left[1\right]$

其中

为3×3的正交旋转矩阵，

为3×1的平移矢量。

设点pi的投影坐标为X_ni＝(x_ni，y_ni)^T，无畸变图像坐标为X_ui＝(x_ui，y_ui)^T，摄像机在x、y方向上的有效焦距为f_x和f_y，摄像机的主点坐标为(u₀，v₀)，则有

X_ni＝[x_ci/z_ci y_ci/z_ci]^T                            [2]

X_ui＝[f_xx_ni+u₀f_yy_ni+v₀]^T                    [3]

若考虑摄像机镜头的一次和二次径向畸变，设点pi的畸变图像坐标为X_di＝(x_di，y_di)^T，则有

X_di＝[1+k₁r²+k₂r⁴]X_ui                            [4]

其中 $r^2=x_{\mathrm{ui}}^2+y_{\mathrm{ui}}^2,$ k₁和k₂为径向畸变系数。

设n＝(n₁，n₂，n₃)^T为光平面的单位法向矢量，X_ci为光平面上控制点的三维摄像机坐标，则光平面π_s在o_c-x_cy_cz_c下的方程为

n.X_ci＝c                                                   [5]

其中c为常数项。

公式[1]～[4]表示了空间点到实际图像坐标的投影模型，空间任意点可以确定惟一图像投影点。反之，如果已知摄像机内部参数，根据公式[1]～[4]，由实际图像坐标可以求得空间点的投影坐标，从而获得投影点在o_c-x_cy_cz_c下的坐标。

根据镜像式结构光视觉传感器的测量模型和本发明的测量原理，镜像式结构光视觉测量分为测量系统模型参数标定和根据模型进行测量两个阶段。

本发明测量系统模型参数标定的具体步骤如下：

1、将结构光投射器1和摄像机6固紧；调整摄像机镜头焦距，保证在反射镜4反射光路方向上距离底板边缘5～20mm范围内的物体所成图像较为清晰；调整反射镜2、3和4，保证结构光投射到摄像机视场范围内；调整完后，将反射镜2、3和4固紧。

2、标定摄像机6的内部参数，具体步骤如下：

第一步，在摄像机的视场范围内，自由移动靶标8至少3个位置，每移动一个位置，拍摄一幅图像，称为摄像机标定图像，靶标上所有的特征点应包含在拍摄图像内。

第二步，提取所有摄像机标定图像的特征点的图像坐标，并与特征点的世界坐标对应。特征点图像坐标自动提取算法参见周富强著《双目立体视觉检测的关键技术研究》，北京航空航天大学博士后研究工作报告，2002。

第三步，利用步骤2中的第二步提取的所有特征点的图像坐标及对应的世界坐标来标定摄像机内部参数，包括摄像机有效焦距、主点以及畸变系数。

根据公式[1]～[4]表示的摄像机实际模型，利用特征点的世界坐标Xwi，得到特征点的计算图像坐标 $X_{\mathrm{di}}^{\′}={[x_{\mathrm{di}}^{\′},y_{\mathrm{di}}^{\′}]}^T.$ 若摄像机参数不够准确，则

与X_di存在误差，由此可以建立摄像机校准的优化目标函数

$f(f_x,f_y,u_0,v_0,k_1,k_2,R_c^w,T_c^w)={\mathrm{\Σ}}_{i=1}^N{d}^2(X_{\mathrm{di}}^{\′},X_{\mathrm{di}})---\left[6\right]$

其中

表示计算投影点到实际投影点的距离。摄像机参数的初始值估计参见周富强著《双目立体视觉检测的关键技术研究》，北京航空航天大学博士后研究工作报告，2002。

根据公式[6]可以估算出全部摄像机内部参数，包括f_x，f_y，u₀，v₀，k₁，k₂，

和

若摄像机内部参数已知，则根据公式[6]，采用Levenberg-Marquardt非线性优化方法可以直接估计摄像机的外部参数

Levenberg-Marquardt算法参见《最优化理论与方法》，(袁亚湘、孙文瑜著，科学出版社，1999年)。

3、获得结构光光平面在摄像机坐标系下的方程，具体步骤如下：

第一步，在摄像机的视场范围内，打开结构光投射器1的电源，使结构光投射的光条经过平面靶标特征区域，拍摄一幅图像，称为光平面标定图像，靶标上所有的特征点应包含在拍摄图像内。将投射在靶标平面上的直线光条中心线上的点称为控制点。

第二步，根据公式[4]表示的摄像机畸变模型，校正光平面校准图像的畸变，得到无畸变光平面校准图像。畸变校正算法参见周富强著《双目立体视觉检测的关键技术研究》，北京航空航天大学博士后研究工作报告，2002。

第三步，提取无畸变光平面标定图像的特征点的图像坐标，特征点提取方法同步骤3中的第二步。根据公式[2]和公式[3]，计算特征点的投影坐标。提取控制点的图像坐标，计算控制点的投影坐标。

根据公式[1]和[6]，已知摄像机的内部参数，利用特征点的投影坐标及对应的靶标平面上的世界坐标，计算靶标平面在摄像机坐标系下的方程。

提取无畸变光平面标定图像中的直线光条中心线的图像坐标，选取直线光条上的点为控制点。直线光条的提取方法参见周富强等的发明专利“一种三步法结构光直线光条的图像特征提取方法”，申请号：200710179025.2，公开日：2008年5月14日。根据公式[2]和[3]，计算控制点的投影坐标。

第四步，在摄像机坐标系中，计算摄像机坐标系原点和控制点的投影点确定的直线与靶标平面的交点，得到控制点的摄像机三维坐标。

第五步，将靶标8自由放置到摄像机视场范围内的不同位置，采用第一步到第四步叙述的方法，计算更多非共线控制点的摄像机三维坐标。靶标放置位置数量为2～5。

第六步，利用所有非共线控制点的摄像机三维坐标，拟合平面得到光平面在摄像机坐标系下的方程。

4、将标定好的摄像机内部参数、结构光光平面方程系数保存到系统参数文件中，以备测量阶段调用。

测量系统的参数只需要标定一次，标定好测量系统后，就可以进行物体表面三维检测。被测物表面点三维坐标的具体测量步骤如下：

5、将被测物放置在摄像机视场范围内，拍摄一幅图像，称为被测物图像；将投射在被测物体表面上的光条中心线上的点称为测量点；

6、计算被测物表面点的摄像机三维坐标，具体步骤为：

第一步，提取被测物图像中的测量点的图像坐标，校正测量点的畸变，根据摄像机模型，计算测量点的投影坐标。

测量点的图像坐标提取方法同步骤3中的第二步的特征点的提取。根据公式[4]，采用三次迭代，校正测量点的畸变。根据公式[2]和[3]，计算测量点的投影坐标。

第二步，在摄像机坐标系中，计算摄像机坐标系原点和测量点的投影点确定的直线与靶标平面的交点，得到测量点的摄像机三维坐标。保存测量点的摄像机三维坐标。

7、重复步骤5～6，进行新的被测物表面的三维测量。

实施例

采用台湾敏通公司的MTC-54C0PI型CCD摄像机、西安华科光电公司的LI650-2.5-3(5)型红光一字线状光斑激光器和加拿大Matrox公司生产的Meter-II图像采集卡等组成镜像式结构光视觉测量系统。图像分辨率为768×576像素。

采用如图2所示的二维平面实体靶标8，对镜像式结构光视觉测量系统参数进行标定。靶标的方块数量为3×3，方块的边长为2mm，间距为2mm，边长和间距的精度为0.01mm。

标定后的摄像机内部参数如下：

f_x＝818.926 pixels，f_y＝843.363 pixels

u₀＝384.396 pixels，v₀＝310.059 pixels

k₁＝-0.2082，k₂＝0.0968

光平面方程为：

0.3057x-2.7639y+z＝25.891

为了评估标定后的镜像式结构钢视觉测量系统的测量精度，利用标定好的测量系统，将视觉传感器的光平面投射在如图2所示的靶标平面上，投射光条经过每个黑色方块形成2个测量点，测量点的图像坐标可以由共线的特征点拟合直线与光条直线相交获得，测量点的世界坐标可以通过交比不变的方法，由至少3个与测量点共线的特征点计算得到，利用交比不变获得的测量点世界坐标计算两点之间的距离，作为标准值。通过标定后的视觉传感器测量得到2个测量点的摄像机三维坐标，用摄像机坐标计算2点之间的距离，并与交比不变方式计算的距离进行比较，采用距离差值来评价视觉传感器的测量精度。根据上述描述的方法，在传感器的测量范围内的不同位置，进行10次试验，然后计算所有的距离误差的均方根误差，即RMS误差为0.06mm。

Claims (2)

1、一种镜像式结构光视觉测量系统，其特征在于，

1.1、它由结构光视觉传感器[7]、计算机、图像采集卡和标定靶标[8]组成；结构光视觉传感器[7]由结构光投射器[1]、反射镜[2]、[3]和[4]以及摄像机[6]组成；图像采集卡安装在计算机内；被测物[5]在反射镜[4]反射光路方向上距离底板边缘5～20mm处；

1.2、结构光投射器[1]投射的结构光经反射镜[2]、[3]和[4]反射后投射到被测物[5]表面，其反射光线经反射镜[4]反射后被摄像机[6]接收；

1.3、所说的标定靶标[8]为一个二维平面，靶标上有预先设置的特征点，在靶标平面上布置成矩阵排列的黑色方块，黑色方块数量为4～16个，黑色方块的边长为2mm，其边长精度为0.01mm，黑色方块之间的距离2mm，其精度为0.01mm，选取靶面上方块的顶点为特征点，特征点数量为16～64个。

2、使用如权利要求1所述的镜像式结构光视觉测量系统进行小型物体表面三维测量的方法，其特征在于，测量过程分为标定阶段和测量阶段，进行一次标定后可连续测量，具体步骤如下：

2.1、标定阶段：

2.1.1、将结构光投射器[1]和摄像机[6]固紧；调整摄像机镜头焦距，保证在反射镜[4]反射光路方向上距离底板边缘5～20mm范围内的物体所成图像较为清晰；调整反射镜[2]、[3]和[4]，保证结构光投射到摄像机视场范围内；调整完后，将反射镜[2]、[3]和[4]固紧；

2.1.2、标定摄像机[6]的内部参数，具体步骤如下：

第一步，在摄像机的视场范围内，自由移动靶标[8]至少3个位置，每移动一个位置，拍摄一幅图像，称为摄像机标定图像，靶标上所有的特征点应包含在拍摄图像内；

第二步，提取所有摄像机标定图像的特征点的图像坐标，并与特征点的世界坐标对应；

第三步，利用第二步提取的所有特征点的图像坐标及对应的世界坐标来标定摄像机内部参数，包括摄像机有效焦距、主点以及畸变系数；

2.1.3、获得结构光光平面在摄像机坐标系下的方程，具体步骤如下：

第一步，在摄像机的视场范围内，打开结构光投射器[1]的电源，使结构光投射的光条经过平面靶标特征区域，拍摄一幅图像，称为光平面标定图像，靶标上所有的特征点应包含在拍摄图像内；将投射在靶标平面上的直线光条中心线上的点称为控制点；

第二步，根据摄像机的畸变模型，校正光平面标定图像的畸变，得到无畸变光平面标定图像；

第三步，提取无畸变光平面标定图像的特征点的图像坐标，根据摄像机模型，计算靶标特征点的投影坐标，利用特征点的投影坐标及对应的世界坐标，计算靶标平面在摄像机坐标系下的方程；提取无畸变光平面标定图像中的控制点的图像坐标，根据摄像机模型，计算控制点的投影坐标；

第四步，在摄像机坐标系中，计算摄像机坐标系原点和控制点的投影点确定的直线与靶标平面的交点，得到控制点的摄像机三维坐标；

第五步，将靶标[8]自由放置到摄像机视场范围内的不同位置，采用第一步到第四步叙述的方法，计算更多非共线控制点的摄像机三维坐标；靶标放置位置数量为2～5；

第六步，利用所有非共线控制点的摄像机三维坐标，拟合平面得到光平面在摄像机坐标系下的方程；

2.1.4、将标定好的摄像机内部参数、结构光光平面方程系数保存到系统参数文件中，以备测量阶段调用；

2.2、测量阶段：

2.2.1、将被测物放置在摄像机视场范围内，拍摄一幅图像，称为被测物图像；将投射在被测物体表面上的光条中心线上的点称为测量点；

2.2.2、计算被测物表面点的摄像机三维坐标，具体步骤为：

第一步，提取被测物图像中的测量点的图像坐标，校正测量点的畸变，根据摄像机模型，计算测量点的投影坐标；

第二步，在摄像机坐标系中，计算摄像机坐标系原点和测量点的投影点确定的直线与靶标平面的交点，得到测量点的摄像机三维坐标；保存测量点的摄像机三维坐标；

2.2.3、重复步骤2.2.1～2.2.2，进行新的被测物表面三维测量。

Images