CN101373135B - 基于瞬时随机光照的三维曲面测量装置及方法 - Google Patents

Abstract

基于瞬时随机光照的三维曲面测量装置及方法由两个数码相机、一个控制电路板、一个瞬时随机光场投射装置、一台电脑和一个标定板组成，电脑通过控制板控制两个相机同步摄取一个没有辅助光线投射的立体图像对，然后立即启动投影装置，投射出一幅纯随机的图像到被测物体表面，两个相机再次同步摄取被测物体在随机光场照射下的立体图像对；第一个立体图像对用于多视角测量拼合和产生三维模型的纹理；根据被测物体在随机光场照射下的立体图像对(第二个立体图像对)，在几何和灰度约束下采用加权最小二乘法建立像点间的亚像素对应，同时获得密集的三维点云。该方法具有测量持续时间短、结构简单、易于实现、适应现场测量的特点。

Description

基于瞬时随机光照的三维曲面测量装置及方法

技术领域

本发明属于三维传感和测量领域，特别涉及一种基于瞬时随机光照的三维曲面测量装置及方法。

背景技术

三维曲面测量技术是目前国内外三维传感和测量领域研究的热点之一，它广泛应用于航空航天、汽车船舶、机械制造、生物医学等各个领域。目前主流的非接触的测量方法主要有以下几种：①激光单点测量法，由于此方法一次只能测量一个点，虽然测量精度高，但效率极低；②激光线扫描法，这种方法是单线扫描，与单点测量相比效率较高，测量精度较高，是比较成熟的方法，但此方法对被测物体表面的测量，必须借助对激光线的精确运动控制方能实现；③莫尔条纹法，此方法是将变形栅像与周期相同的参考光栅叠加，利用得到的图样描绘出被测物体的等高线，它属于全场测量，可以测量动态物体，但测量精度不高，装置较复杂；④结构光编码投影法，它向被测物体投射含有编码信息的结构光，通过分析结构光照射下的被测物体图像实现三维物体表面点云测量，最常见的是光栅投影，这种方法可以达到较高的精度和数据致密度，较为成熟，但是由于需要多次投射光栅条纹并在时间序列上拍摄多幅图像，因此测量持续时间相对较长，在此期间被测物体和测量设备均需要保持绝对静止，所以该方法对环境振动和测量设备的结构稳定性都比较敏感，限制了其在某些特殊场合的应用。

发明内容

技术问题：本发明的目的在于提供一种结构简单、便于实现、能够像普通照相一样在瞬间完成一次拍摄测量、既适合于静态物体又可用于运动物体的三维曲面测量装置及方法。

技术方案：本发明的基于瞬时随机光场的三维曲面测量装置及方法不同于一般的光栅条纹投影三维测量方法，本测量方法投射一幅纯随机图像在被测物体表面，结合双目立体相机进行物体表面密集三维坐标点的测量。

该装置包括两个数码相机组成的双目立体相机对、一个控制电路板、一个瞬时随机光场投射装置、一台电脑以及一块标定板，两个数码相机和投影装置与控制电路板相连接，控制电路板和电脑由控制线连接，双目立体相机对和电脑由数字线连接；瞬时随机光场投射装置将一幅随机的黑白二值数字图像转移到具有透光效果的物理介质上，光线照射在该物理介质上，并通过投影镜头，在被测物体表面产生随机光照。

基于瞬时随机光照的三维曲面测量装置的测量方法包含以下步骤：

a.测量前利用平面标定板对双目立体相机对的固有成像参数和结构几何参数进行标定；

b.测量时电脑通过控制电路板启动双目立体相机对同步摄取一个没有辅助光场投射的立体图像对，之后控制电路板立即启动随机光场投射装置，瞬间在被测物体表面产生随机光照并持续毫秒级时间，这时双目立体相机对再次同步摄取被测物体在随机光场照射下的立体图像对；

c.电脑自动对步骤b拍摄的被测物体在随机光场照射下图像对进行分析处理，获得被测物体表面密集的三维点坐标；

d.电脑自动对步骤b拍摄的没有辅助光场照射下的立体图像对进行分析处理，获得图像中稳定的特征点的三维坐标，用于多次测量数据的拼合。

在第c步中，自动对随机光场照射下的立体图像对进行分析处理获得被测物体表面密集的三维点坐标的方法，包含以下步骤：

①综合图像特征点匹配算法以及区域匹配算法确定一个初始匹配点，

②结合灰度信息和摄像机成像几何约束，在局部窗口内采用加权最小二乘法对初始匹配进行亚像素精度迭代优化，同时获得匹配点的三维坐标；迭代过程中根据两幅图像当前窗口内的图像灰度的均值和方差，对待匹配窗口进行灰度矫正，以消除两幅图像之间整体灰度差异的影响，

③根据步骤②得到的最终匹配，确定该已匹配点的周围点的初始匹配，

④对步骤③中的初始匹配再按照步骤②中的方法进行亚像素精度优化，如此迭代求得各像点对应的三维空间坐标。

有益效果：本发明与现有技术相比，具有如下特色和优点：

1.根据一个随机光场照射下的立体图像对，即可在非接触的情况下，测量出物体表面密集的三维点坐标。

2.能够类似普通照相一样在毫秒瞬间内完成一次测量所需要的图像拍摄，而不需要在时间序列上投射多个光线模式到被测物体表面，这使得本发明的方法不仅适用于一般静态物体的测量，而且可以应用于运动物体的测量。另外，对测量现场的振动、噪声、测量设备无法稳定摆放等其它测量方法比较敏感的问题，本发明方法都有很好的适应性。

3.光栅投影法通常需要实现光栅移动或转动的机械结构和运动控制装置，而本发明的方法由于只需进行一次光线投射，被投射的随机图像模板直接固定在投影装置中不动，不需要任何运动控制和执行机构，而且由于只在瞬间工作投影光源产生的热量很少，通常不需要散热装置，这些原因可以使投影装置乃至整个系统结构简单小巧。

4.因为投射的是随机光场，因此本发明中的投射装置不像一般的光栅投影系统那样对噪声、对比度、投影镜头畸变、光栅质量等有严格要求，可以降低成本，易于工程实现。

附图说明

图1是本发明的三维曲面测量装置的结构示意图；

图2是本发明瞬时随机光场投射装置的结构示意图；

图3是本发明纯随机模板的示意图；

图4是本发明三维坐标计算流程图。

以上的图中有：数码相机组成的双目立体相机对1、控制电路板2、随机光场投射装置3、电脑4、标定板5、反光镜a、光源b、隔热玻璃c、光栏板d、具有随即图案的模板e、壳体f、投影镜头g。

具体实施方式

本发明的测量装置包括两个数码相机组成的双目立体相机对、一个控制电路板、一个随机光场投射装置、一台计算机及一块标定板。双目立体相机对和随机光场投射装置通过控制线与控制电路板连接，控制电路板通过控制线路同电脑连接，连接方式可以是串口也可以是并口方式。两个数码相机摄取图像传回计算机，可以通过图像采集卡，也可以用IEEE1394方式实现。

本发明的基于随机光照的三维曲面测量方法，通过上述的三维曲面测量装置实施，测量过程如下：

第一步，测量前利用平面标定板对双目立体相机的固有成像参数和结构几何参数进行标定。

第二步，电脑通过控制电路板控制两个数码相机和投影装置获取测量所需要的两个立体图像对。具体过程为：用户通过计算机发布测量命令，控制电路板接受命令首先控制两个数码相机同步摄取一个没有辅助光线投射的立体图像对，该图像对称为第一立体图像对，随后控制电路板立即启动随机光场投射装置中的光源瞬间点亮，并持续毫秒级时间，光源照射前方的随机图样模板，并通过投影镜头投射随机光场到被测物体表面，在投影光源处于高亮的短暂时间内，控制电路板再次触发两个数码相机同步摄取被测物体在随机光照下的立体图像对，该图像对称为第二立体图像对。摄取的两个图像对传回计算机做下一步处理。

第三步，计算机自动对摄取的第二立体图像对进行分析处理，产生被测物体表面密集的三维空间坐标，方法主要流程为：①综合图像特征点匹配算法以及区域匹配算法确定一个初始匹配点；②结合灰度信息和摄像机成像几何约束，在局部窗口内采用加权最小二乘法对初始匹配进行亚像素精度优化，同时获得匹配点的三维坐标；③根据②中得到的最终匹配，确定该已经匹配的点的周围点的初始匹配；④对③中的初始匹配再按照②中的方法进行亚像素精度优化，如此迭代求得各像点对应的三维空间坐标。

第四步，电脑自动对摄取的第一立体图像对进行分析处理，提取图像中稳定的特征点，并在图像对间进行特征点的匹配，在此基础上根据双目立体测量的三角形原理，获得特征点的三维坐标。根据这些特征点的三维坐标进一步实现多次测量数据的拼合。

本发明的一个优选实例结合附图详述如下：

参见图1，三维曲面测量装置由两个数码相机(1)、控制电路板(2)、随机光场投射装置(3)和电脑(4)组成。另外还配有一块标定板(5)用于双目立体相机内外参数的标定。随机光场投射装置(3)和两个数码相机(1)固定在支架上，且随机光场投射装置(3)位于两个数码相机(1)之间，两个数码相机(1)和随机光场投射装置(3)与控制电路板直接连接，控制电路板通过通信总线与电脑连接。两个数码相机摄取的图像用数据线路传回计算机。

随机光场投射装置(3)结构如图2所示，本实例中光源b采用管形氙灯配以高压触发电源。反光镜a采用半圆柱面镀银玻璃管，氙灯光源发出的光线经隔热玻璃c照射具有纯随机图案的玻璃质模板d，d上面的纯随机图案通过投影镜头e成像在被测物体表面上，由图2中f示意。

图2所示的随机光场投射装置中具有纯随机图案的模板d的生成方式为：首先通过计算机程序生成一幅纯随机的黑白二值数字图像，如图3所示，程序的伪代码如下：

其中RAND(X)表示在生成一个0~X之间的随机数，M×N为生成图像的分辨率，实施例中取为400×300。产生的数字随机图像需要通过一定的手段转移到具有透光效果的物理介质上，本实施例中通过光绘技术将数字随机图像转移到一小片透明玻璃上。

本发明所述的三维曲面测量装置的测量过程，其特征在于：测量前先利用平面标定板对双目立体相机对的固有成像参数和结构几何参数进行标定；测量时测量软件通过控制电路板(2)启动两个数码相机(1)同步摄取一个没有辅助光线投射的立体图像对，然后立即启动随机光场投射装置(3)，瞬间将模板上的纯随机图案投射到被测物体表面并持续毫秒级时间，在投影光源处于高亮的短暂时间内，两个数码相机(1)再次同步摄取被测物体在随机光场照射下的立体图像对。摄取的两个图像对传回计算机做下一步处理。

本发明根据第二立体图像对计算产生物体表面的密集三维坐标点，其算法流程如图4所示，具体方法如下：

将第二立体图像对中的一个图像称为模板图像T，另一个称为待匹配图像G。假设对于模板图像T上的某个像素点(u^*，v^*)，以该点为中心的一个小窗口内的各个像素(u_i，v_i)在对应的待匹配图像G上的对应点(u_i ^c，v_j ^c)可以通过式(1)的仿射变换来表达

$\left\{\begin{array}{c}{u}_i^c=a_0+a_1{u}_i+a_2{v}_j\\ v_j^c=a_3+a_4{u}_i+a_5{v}_j\end{array}\right.---\left(1\right)$

定义带权值的最小二乘目标函数

$F(a_0,a_1,...,a_5)=\underset{i,j}{\mathrm{\Σ}}{w}_{\mathrm{ij}}{(T(u_i,v_j)-G(u_i^c,v_j^c))}^2---\left(2\right)$

其中表示对以像素(u^*，v^*)为中心的窗口内的所有像素求和，w_ij为权值，取为

$w_{\mathrm{ij}}=\exp (-\frac{d(u_i,v_j)}{{\mathrm{\γ}}_p})$

其中d(u_i，v_j)是像素(u_i，v_j)到窗口中心(u^*，v^*)的距离，γ_p取为窗口直径。

对G(u_i ^c，v_j ^c)进行线性Taylor展开：

$G(u_i^c,v_j^c)=G(u_i,v_j)+$                    (3)

$G_u^{\mathrm{ij}}\mathrm{\Δ}{a}_0+G_u^{\mathrm{ij}}{u}_i\mathrm{\Δ}{a}_1+G_u^{\mathrm{ij}}{v}_j\mathrm{\Δ}{a}_2+G_v^{\mathrm{ij}}\mathrm{\Δ}{a}_3+G_v^{\mathrm{ij}}{u}_i\mathrm{\Δ}{a}_4+G_v^{\mathrm{ij}}{v}_j\mathrm{\Δ}{a}_5$

其中

$G_u^{\mathrm{ij}}={\frac{\∂G(u,v)}{\∂u}|}_{\begin{array}{c}u=\mathrm{ui}\\ v=\mathrm{vj}\end{array}}$

将公式(3)带入公式(2)，并令

$\frac{\∂F}{\∂\mathrm{\Δ}{a}_k}=0,k=\mathrm{0,1},...,5$

可以得到一个线性方程系统

Gx＝b    (4)

其中向量x＝[Δa₀ Δa₁…Δa₅]^T是待定参数。

设一个三维点X在模板图像上的像素坐标为(u^*，v^*)，根据数码相机成像模型得到X在待匹配图像G上的像素坐标表示为：

$\left\{\begin{array}{c}u=P_u\left(X\right)\\ v=P_v\left(X\right)\end{array}\right.---\left(5\right)$

其中P_u(□)和P_v(□)表示成像模型。建立最小二乘目标函数

E(Δu，Δv，x，y，z)＝(u^*+Δu-P_u(X))²+(v^*+Δv-P_v(X))²(6)

将P_u(X)和P_v(X)做一阶Taylor展开

$\left\{\begin{array}{c}{P}_u\left(X\right)=P_u\left(X^o\right)+\frac{\∂P_u}{\∂x}\mathrm{\Δx}+\frac{\∂P_u}{\∂y}\mathrm{\Δy}+\frac{\∂P_u}{\∂z}\mathrm{\Δz}\\ P_v\left(X\right)=P_v\left(X^o\right)+\frac{\∂P_v}{\∂x}\mathrm{\Δx}+\frac{\∂P_v}{\∂y}\mathrm{\Δy}+\frac{\∂P_v}{\∂z}\mathrm{\Δz}\end{array}\right.---\left(7\right)$

将公式(7)带入公式(6)并令 $\frac{\∂E}{\∂p_i}=0,$ 其中p_i，i＝0，1，…，4分别代表Δu，Δv，x，y，z，可以得到一个线性方程系统

Bx_i＝t    (8)

其中向量x_t＝[Δu Δv Δx Δy Δz]^T为待求的未知量。

公式(4)和公式(8)分别代表了图像灰度信息和成像几何参数约束下的最小二乘解，其中，Δu实际上就是Δa₀，Δv实际上就是Δa₃。为此，对公式(4)和公式(8)分别进行增广，得到

$\tilde{G}\tilde{x}=b---\left(9\right)$

$B\tilde{x}=t---\left(10\right)$

其中， $\tilde{x}={\left[\begin{array}{ccccccc}\mathrm{\Δ}{a}_0& \mathrm{\Δ}{a}_1& ...& \mathrm{\Δ}{a}_5& \mathrm{\Δx}& \mathrm{\Δy}& \mathrm{\Δz}\end{array}\right]}^T$ 是待求的参数向量，其解为：

$\tilde{x}={({\tilde{G}}^T\tilde{G}+{\tilde{B}}^T\tilde{B}/\mathrm{\λ})}^{-1}({\tilde{G}}^{T}b+{\tilde{B}}^{T}t/\mathrm{\λ})---\left(11\right)$

其中λ用于调节几何约束和灰度约束之间的权重，可以设定为1。由于问题本身的非线性，转化为线性问题后需要迭代求解。迭代之前，首先通过图像特征提取与匹配算法得到模板图像T和待匹配图像G之间最稳定的一对初始匹配点。设该对初始点在模板图像上的坐标为(u^*，v^*)，在待匹配图像上的位置与(u^*，v^*)间的视差为(Δu^*，Δv^*)。则迭代的初始值设置为：

$a_0^0=\mathrm{\Δ}{u}^{*},a_3^0=\mathrm{\Δ}{v}^{*},a_2^0=a_4^0=0,a_1^0=a_5^0=1---\left(12\right)$

根据(u^*，v^*)和(Δu^*，Δv^*)，由双目立体视觉中的三角形原理可以计算(u^*，v^*)所对应的空间点坐标的初值X^a，每次计算之后，可以得到增量解

更新a_k(k＝0，1，…，5)和X(x，y，z)，再开始下一次的迭代计算。当解向量

当中的值都足够小的时候，停止迭代，得到模板图像上像素(u^*，v^*)的最终亚像素精度的匹配位置及其对应的三维坐标X。根据(u^*，v^*)的最终匹配，由式(1)确定其周围点的匹配初始值，再按照上述方法对其周围点进行亚像素精度的匹配优化和三维点坐标优化，如此迭代求得模板图像中各像素对应的三维空间坐标。

在上述迭代过程中，还加入了一个对待匹配图像G进行灰度矫正的过程，以消除图像对间的灰度差异对图像匹配的影响，如图4所示。具体灰度矫正公式为：

G^c(u，v)＝G(u，v)s_T/s_G+(m_T-m_Gs_T/s_G)

其中G^c(u，v)为图像G中的(u，v)像素矫正后的灰度，G(u，v)为矫正前的灰度，s_T和s_G分别表示图像T和图像G中当前窗口内图像灰度的方差，m_T和m_G则分别表示图像T和图像G中当前窗口内图像灰度的均值。

本发明对摄取的第一立体图像对自动进行分析处理，提取该图像对中稳定的特征点，并进而获得特征点的三维坐标，根据这些特征点的三维坐标进一步实现多次不同视角下测量数据的拼合。实施例中具体采用的方法是：通过在测场中布置若干个黑色背景上的白色圆形标记点作为特征点，这些圆形标记点在图像中成像为椭圆，通过亚像素边缘提取算法可以稳定地提取出成像椭圆的亚像素精度的中心，利用视差梯度约束和极线约束，采用迭代松弛法，建立两幅图像上提取出的亚像素精度椭圆中心之间的对应匹配，在此基础上根据双目立体测量的三角形原理，就可以计算出各圆形标记点中心的三维坐标。两次测量中只要有三个以上共同的不共线的特征点，就可以利用三点唯一确定一个坐标系的原理和最小二乘法，得到两次测量的点云数据间的坐标变换，实现多次测量数据的拼合。

Claims (3)

1.一种基于瞬时随机光场的三维曲面测量装置，其特征在于该装置包括两个数码相机组成的双目立体相机对(17)、一个控制电路板(18)、一个瞬时随机光场投射装置(19)、一台电脑(20)以及一块标定板，两个数码相机(1)和随机光场投射装置(3)与控制电路板(2)相连接，控制电路板(2)和电脑(4)由控制线连接，双目立体相机对(1)和电脑(4)由数字线连接；瞬时随机光场投射装置(3)将一幅随机的黑白二值数字图像转移到具有透光效果的物理介质上，光线照射在该物理介质上，并通过投影镜头，在被测物体表面产生随机光照。

2.一种采用权利要求1所述的基于瞬时随机光照的三维曲面测量装置的测量方法，其特征在于包含以下步骤：

a.测量前利用平面标定板(5)对双目立体相机对(1)的固有成像参数和结构几何参数进行标定；

b.测量时电脑(4)通过控制电路板(2)启动双目立体相机对(1)同步摄取一个没有辅助光场投射的立体图像对，之后控制电路板(2)立即启动随机光场投射装置(3)，瞬间在被测物体表面产生随机光照并持续毫秒级时间，这时双目立体相机对(1)再次同步摄取被测物体在随机光场照射下的立体图像对；

c.电脑自动对步骤b拍摄的被测物体在随机光场照射下图像对进行分析处理，获得被测物体表面密集的三维点坐标；

d.电脑自动对步骤b拍摄的没有辅助光场照射下的立体图像对进行分析处理，获得图像中稳定的特征点的三维坐标，用于多次测量数据的拼合。

3.如权利要求2所述的基于瞬时随机光照的三维曲面的测量方法，其特征在于，在第c步中，自动对随机光场照射下的立体图像对进行分析处理获得被测物体表面密集的三维点坐标的方法，包含以下步骤：

①综合图像特征点匹配算法以及区域匹配算法确定一个初始匹配点，

②结合灰度信息和摄像机成像几何约束，在局部窗口内采用加权最小二乘法对初始匹配进行亚像素精度迭代优化，同时获得匹配点的三维坐标；迭代过程中根据两幅图像当前窗口内的图像灰度的均值和方差，对待匹配窗口进行灰度矫正，以消除两幅图像之间整体灰度差异的影响，

③根据步骤②得到的最终匹配，确定该已匹配点的周围点的初始匹配，

④对步骤③中的初始匹配再按照步骤②中的方法进行亚像素精度优化，如此迭代求得各像点对应的三维空间坐标。

Images