CN101706263A - 三维表面测量方法及测量系统 - Google Patents

Abstract

一种三维表面测量方法，包括：(1)向物体表面投射一均匀分布的面状光点图案，所述面状光点图案中光点之间的距离满足其像点的平均失配度小于预设的失配度阈值；(2)从已知的两个及其以上角度获取物体表面光点的图像；(3)匹配光点在各个图像中的像点；(4)计算并保存光点的空间坐标；(5)改变测量位置，继续进行步骤(1)-(4)，直至还原出待测对象。本申请只需投射一幅面状光点图案且只需一次成像即可完成测量出该面上所有光点的空间坐标。并且，在测量过程中，待测物体与测量装置之间的距离可以是动态变化的，不像现有技术中需要要求其固定不变，因此，本申请中用户使用手持式测量装置就能完成测量，不需要使用脚手架等固定装置。

Description

三维表面测量方法及测量系统

技术领域

本发明涉及一种三维测量技术，特别是有关于三维表面测量的方法和系统。

背景技术

物体表面的三维测量技术在工业设计、制造、检测等领域应用广泛。近年来其应用还扩展到产品仿制、逆向工程、快速原型、人体测量、影视动画、虚拟现实等领域。

在申请号为03153504.6的中国申请中，公开了清华大学申请的一种测量物体表面三维轮廓的方法，其包括：利用相位和立体视觉技术的结合，在物体表面投射光栅，再采用双摄像机拍摄发生畸变的光栅图像，然后利用编码光和相移方法获得左右摄像机拍摄图像上每一点的相位；最后利用相位和外极线实现两幅图像上的点的匹配，从而达到对物体表面点三维坐标的反求。该对比文件中所称的“光栅”，本文称为“图案”，对比文件中所称的“外极线”，本文称为“极线”。

具体地，对比文件使用二进制黑白条纹编码和90°相移正弦灰阶条纹来实现三维测量，其关键技术包括两点：其一是二进制黑白条纹编码，其二是90°相移正弦灰阶条纹。二进制黑白条纹编码用“黑”和“白”来表示“0”和“1”，用1幅黑白条纹图案可为图案中各点赋予1位二进制位，用2幅黑白条纹图案可为图案中各点赋予2位二进制位，以此类推，用n幅黑白条纹图案可为图案中各点赋予n位二进制位。在其实例中，共用7幅编码图案，构造方法为第1幅为半黑半白，以后各幅逐次细分，细分方法为上一幅的黑色部分被分为半黑半白，白色部分被分为半白半黑。7幅编码图案可得27个编码序列，将整个图案区域分为27个长条。

n幅编码图案虽然可以区分图案中2ⁿ个不同的条形区域，但是同一个区域内的点却无法区分，使得测量的分辨率受到限制。为了提高分辨率，遂提出相移方案，即在编码图案的基础上再增加相移图案。相移图案也是黑白条纹，不过其灰阶是连续变化的，条纹的周期一般等于编码图案中最窄条纹的宽度。在其实例中，相移图案共有4幅，其灰阶均为连续正弦波变化，4幅图案的相位依次相差90°。由相移图案的特性即可得到对比文件中公开的相位计算公式。

根据上述二进制黑白条纹编码技术和相移技术，可以为光栅覆盖区域内的任意一点赋予一个编码值和周期内相位值，两者结合即可得到相位值。有了该相位值，再结合计算机视觉邻域中的极线约束关系就可以匹配两个摄像机图像中的点，然后根据三角测量原理，就可以得到物体表面点的空间坐标。

在其实例中，由7幅编码图案加上4幅相移图案构成了一次测量中总共需要投射的11幅图案，这样完成一次测量每一个摄像机均需成像11次，在此期间测量设备和待测物体之间不能发生相对运动。

这种三维测量方法虽然具有精度高、广泛适用的优点，但也存在以下缺点：

首先，对比文件中的方法需要使用多幅投射图案，这样完成一次测量就需要多次成像，限制了测量速度的提高。

其次，多次成像的时间无法做到很短，使得测量期间测量设备和待测物体之间的相对运动无法忽略，因此需要使用三脚架等固定装置使测量设备保持固定，增加了操作的复杂度。

再次，该方法需要对整幅图像逐点计算编码和相位，存储这些编码和相位也需要大量的存储空间，因此其时间和空间复杂度都比较高。

事实上，许多三维测量应用对测量的速度要求高，且要求使用简单，现有的对比文件中的技术不能满足这一类要求。

发明内容

本发明的目的在于提供一种三维表面测量方法，以解决现有技术不能满足测量速度高且操作简单的技术问题。

本发明的另一目的在于提供一种三维表面测量系统，以解决现有技术不能满足测量速度高且操作简单的技术问题。

一种三维表面测量方法，用于测量物体表面点的空间坐标，由以下步骤组成：

(1)向物体表面投射一均匀分布的面状光点图案，所述图案中光点之间的距离满足其像点的平均失配度小于预设的失配度阈值；

(2)从至少两个角度获取物体表面光点的图像；

(3)匹配光点在各个图像中的像点；

(4)计算并保存光点的空间坐标；

(5)改变测量位置，继续进行步骤(1)-(4)，直至还原出待测对象。

步骤(1)之前还包括：A1：设定失配度阈值；A2：生成一均匀分布的面状光点图案，光点之间的距离为D；A3：将所述面状光点图案投射至一标准物体表面；A4：从至少两个不同角度获取物体表面光点的图像；A5：匹配各个图像中的像点，并得出失配度；A6：改变测量位置，重复进行步骤A3-A5，直至进行步骤A6的次数等于预设次数时，得出平均失配度；A7：若平均失配度小于失配度阈值，则减小D，反之增大D，重复进行步骤A3-A6，直至平均失配度小于失配度阈值且D最小为止，此时的面状光点图案即为测量时使用的面状光点图案。

步骤(3)进一步包括：利用极线约束和最近原则，匹配光点在各个图像中的像点。

步骤(3)还包括：匹配之前先对待匹配的两幅图像进行校正，使它们的极线与行扫描线重合；

第一幅图像中点p(x，y)与第二幅图像中点p′(x-d，y)匹配的条件为

$\mathrm{SSD}(x,y,d)=\underset{(u,v)\∈W_m(x,y)}{\mathrm{\Σ}}{[I_1(u,v)-I_2(u-d,v)]}^2$

最小，其中W_m(x，y)是以(x，y)为中心的宽度为m的方形区域，I₁、I₂分别为第一、第二幅图像的灰度值。

光点的分布为具有蓝噪声特性的随机分布或者是包括正方形和正三角形在内的具有规则形状的分布。

步骤(4)进一步包括：根据三角测量原理，由匹配结果和像点坐标求得对应光点的空间坐标。

步骤(1)中，失配度阈值为5％，使用的面状光点图案为20×20的方形阵列，其水平张角和垂直张角相等，均为24°，相邻光点的距离为1.2°，图像的分辨率为640×480，其高度覆盖整个面状光点图案。

获得成像位置进一步为：

多个成像装置固定好，运用相机标定技术预先算出它们之间的相对位置；

将成像装置固定在一个具有坐标读数的移动平台上，通过读出成像时的坐标来确定各个图像的成像位置；或，在物体上或场景中设置视觉定位物，使成像装置在获取光点图像的同时也获取这些视觉定位物的图像，然后利用摄影测量术来确定成像位置。

一种三维表面测量系统，它包括测量装置和处理装置，测量装置包括投射装置和成像装置；

投射装置，用于向物体表面投射均匀分布的面状光点图案，所述图案中光点之间的距离满足其像点的平均失配度小于预设的失配度阈值；

成像装置，用于从至少两个不同角度获取上述光点的图像；

处理装置包括控制器和显示器，控制器上至少包括点匹配单元、空间坐标计算单元和还原单元；

点匹配单元，用于按照预定的匹配算法匹配各个图像中的像点；

空间坐标计算单元，用于利用匹配结果和像点坐标根据三角测量原理计算光点的空间坐标；

还原单元，用于将光点的空间坐标还原出待测对象的三维点云图像；

显示器，用于将还原出来的待测对象的三维点云图像进行显示。

投射装置和成像装置固定在测量设备中，投射装置位于测量设备的中部，成像装置位于投射装置的两侧。

与现有技术相比，本发明投射的图案只有一幅，因此完成一次测量只需从各个角度成像一次，如果每个角度用一个相机，所有相机同步拍摄的话，则通过单次成像即可完成一次测量，测量速度大为提高。如果同步拍摄的时间足够短，即曝光时间足够短(这可以通过增加投射光的强度同时缩短快门时间来实现)，则成像期间测量设备和待测物体之间的相对运动所带来的误差相比测量精度可以小到能忽略的程度，这样就能实现移动式测量，如手持式测量或安装在一个机械臂上进行测量，而不需要使用三脚架等固定装置，使测量操作变得简单。也就是说，采用手持式测量或安装在一个机械臂上测量时，本申请就能实现动态三维测量，克服了现有技术中只能是完成静态三维测量这个缺陷。即足够短的测量时间可以为动态变形物体进行“三维定格”，方便实现动态三维测量。

附图说明

图1为本发明三维表面测量方法的原理示意图；

图2为基于SSD的区域匹配示意图；

图3A、图3B和图3C分别为光点之间的距离与失配度关系的示意图；

图4A、图4B和图4C分别为光点分布的几种实例；

图5为本发明三维表面测量系统的原理示意图；

图6为三维表面测量方法的流程图。

具体实施方式

以下结合附图，具体说明本发明。

本发明是一种三维表面测量方法，用于测量物体表面点的空间坐标，它包括(请参阅图6)：

S110：向待测对象投射一均匀分布的面状光点图案，所述图案中光点之间的距离满足其像点的平均失配度小于预设的失配度阈值。

如图1所示，101为投射装置，102为待测物体，103为投射在物体表面的面状光点图案，104为其中某一个光点P，105和106分别为该光点在某两个图像112和113中的像点p和p’，107和108分别为这两个像点所对应的视线，109为像点p在另一幅图像中的极线，110和111分别为这两幅图像的成像中心，114为投射光，115为光点之间的距离D。

将各个图像中隶属于同一光点的像点对应起来的过程叫做匹配，错误的匹配叫做失配，失配的光点个数除以总光点个数就是失配度。在各个图像的成像位置已知的情况下，对于其中某一幅图像中的某一个像点，其在其他图像中的对应点被约束在相应的极线上，这就是计算机视觉邻域中的极线约束原则。

理想情况下，对应点将与极线精确重合，而其他的像点将落在极线之外。还是以图1为例，光点P(104)在两个图像112和113上的像点分别为p(105)和p’(106)，像点p在图像113上的对应极线为r(109)，理想状态下p’应与r重合。然而，实际应用中由于图像分辨率的限制以及误差的存在，对应点不可能与极线精确重合，而是存在一定的偏差，但该偏差一般比非对应点的偏差要小，因此可以选择离极线最近的像点作为对应点，即最近原则。最近原则的有效性与光点分布的疏密程度直接相关。在图像分辨率和误差不变的情况下，随着光点分布越来越密，即光点之间的距离越来越小，则像点之间的距离也越来越小，这样就有更多的非对应点靠近极线，使非对应点比对应点更靠近极线的可能性增加，即最近原则的有效性降低，误匹配增加，失配度提高。而光点的距离在一个合理的范围内时，最近原则的有效性就比较高，误匹配率也会比较低。

如图3A、图3B、图3C所示，109是极线，301是光点分布最密时所成的像点，302是光点间距离放大1.5倍后的像点，303是放大2倍后的像点，106是对应点，106a、106b、106c和106d是靠近极线的非对应点。

根据失配度和光点间距离的关系可以看出，在确定失配度阈值后，存在一个满足失配度阈值的最小光点间距离，即最密光点分布。该分布可以通过以下步骤获得：

1)设定失配度阈值。该阈值是人为设定的，在本实例中设为5％，即认为少于5％的光点误匹配是可以接受的。

2)生成一均匀分布的面状光点图案，光点之间的距离为D。光点的分布可以是随机的，也可以是规则的。图4A、图4B和图4C分别列出了几种可能的光点分布方式，其中401为具有蓝噪声特性的随机分布，其特点是分布均匀且不规则，402为正方形分布，403为正三角形分布。随机分布有助于降低失配度，但实现起来复杂，而规则分布实现起来相对比较容易。本实例使用的是正方形分布。

3)将所述面状光点图案投射至一标准物体表面。为了便于判断像点匹配是否正确，一般使用形状已知的简单物体，本实例中使用的是平板。

4)从两个以及以上不同角度获取物体表面光点的图像。

5)匹配各个图像中的像点，并计算出失配度。匹配的方法详见S130，失配度的定义前面已经给出。

6)改变测量位置，重复进行步骤3)-5)，进行该步骤的次数达到预定次数时，算出平均失配度。改变测量位置的目的是使得到的失配度具有一般性，因此位置的选择应该是随机且均匀的，本实例从40个不同角度和距离的位置进行测量，得到40个失配度，将它们求平均得到平均失配度。

7)当平均失配度小于失配度阈值时，减小D，否则增大D，重复步骤3)-6)，直至平均失配度小于失配度阈值且D最小为止。由于减小D意味着光点分布变密，从而增加匹配失败的可能，导致平均失配度提高，因此当平均失配度小于阈值时，可适当减小D，以期得到更小的D，而当平均失配度超出阈值时，则需适当增大D，以降低平均失配度。随着D值越接近目标值，其减小和增大的步伐也需逐渐减小，以实现收敛。本实例中，设定一个足够小的步伐阈值，当D的调整步伐小于该阈值时，结束调整，从而得到最终的面状光点图案。

本实例预设的失配度阈值为5％，使用的面状光点图案为20×20的方形阵列，其水平张角和垂直张角相等，均为24°，即相邻光点的距离为1.2°。图像的分辨率为640×480，其高度正好覆盖整个面状光点图案。

S120：从两个以及以上不同角度获取物体表面光点的图像。

该步骤既可以用多个成像装置从不同角度各自成像，也可以移动一个或多个成像装置进行多次成像。成像位置的获知可以有多种方式，可以将多个成像装置固定好，运用相机标定技术预先算出它们之间的相对位置；也可以将成像装置固定在一个具有坐标读数的移动平台上，通过读出成像时的坐标来确定各个图像的成像位置；还可以在物体上或场景中设置视觉定位物(如标志点)，使成像装置在获取光点图像的同时也获取这些视觉定位物的图像，然后利用摄影测量术来确定成像位置，等等，不一而足。

本实例使用两个相机从左右两侧同步成像，具体的，其包括一个光点投射装置和左右两个相机，光点投射装置用于产生面状光点图案，它可以用投影仪来实现，也可以专门设计，前者的优点是有现成的通用商品可供购买，缺点是体积大，重量大，功耗高，不利于集成，昂贵，而后者可克服这些缺陷。在本实例中，可以通过自己设计的设备来实现。比如，光点投射器位于测量设备的中部，光点投射器的左、右两个相机呈对称分布在设备中，并存在一夹角。为了提高对测量环境的适应性，在两个相机的镜头中设置了滤光片，以滤除投射光波段以外的杂光。两个相机获得的图像数据通过USB连接传送至PC机进行处理。

S130：匹配光点在各个图像中的像点。

根据S110中的讨论，可以利用极线约束和最近原则来实现各个图像中像点的匹配。作为最近原则的一个具体实现，可以利用区域匹配方法来找到离极线最近的像点。

首先，为了方便区域匹配，先对待处理的两幅图像进行校正，使它们的极线与行扫描线重合，这样搜索对应点时只需在另一幅图像的相同行上进行即可。然后设定一个区域宽度，对另一幅图像中位于相同行上的每一个点计算以该点为中心的方形区域的SSD值，选择SSD值最小的点作为对应点。

如图2所示，201和202分别为图1中的图像112和113校正后的结果，204为极线r(109)校正后的结果，203为校正后p点所在行，205为校正后p点，206为校正后p’点，207为方形区域W_m(x，y)。设p点的坐标为(x，y)，搜索点的坐标为(x-d，y)，则对应搜索点的SSD值定义为：

$\mathrm{SSD}(x,y,d)=\underset{(u,v)\∈W_m(x,y)}{\mathrm{\Σ}}{[I_1(u,v)-I_2(u-d,v)]}^2$

其中W_m(x，y)是以(x，y)为中心的宽度为m的方形区域：

W_m(x，y)＝{u，v|x-m/2≤u≤x+m/2，y-m/2≤v≤y+m/2}

I₁、I₂分别为第一、第二幅图像的灰度值。

由SSD的定义可以看出，越靠近极线的像点其SSD值也就越低，因此根据最近原则选择SSD值最低的点作为对应点。

以上公开的仅是搜索对应点的一种方式，但并非局限于此。

S140：计算并保存光点的空间坐标。

在完成各个图像中像点的匹配之后，利用像点坐标和已知的成像位置，运用三角测量原理便可求得光点的空间坐标。如图1所示，p和p’为匹配的像点，o和o’为对应的成像中心，则由视线op和o’p’求交即可得到光点P的空间坐标。

S150：改变测量位置，继续进行步骤S110-S140，直至还原出测量对象。

从S110-S140即可完成一次三维测量，但一般情况下单次测量不足以覆盖整个物体表面，因此需要改变测量位置，重复以上步骤，以得到完整的三维表面数据。根据待测量的对象不同，继续进行步骤S110-S140。待测量的对象可以是某一个物品，也可以某一头像，还可以是某一物品的局部。测量位置的改变也可以按照顺序来，这样能提高还原测量对象的速度，比如从高到低，从左到右。在本申请中，不需要使用三脚架等固定装置使测量设备保持固定，可以用手持式测量设备让用户随意移动，移动到哪里，还原到该面的所有光点的坐标，非常方便且直观。

由上可知，本实例具有测量速度快、操作简单的技术效果。

图5是本发明三维表面测量系统的原理示意图。它包括测量设备503和处理装置，测量设备包括投射装置101和成像装置。

投射装置101发出的光114在待测物体102表面形成面状光点图案103，面状光点图案的形状是预先确定的。投射装置101可以为上述提及到光点投射机，也可以为其它投射装置。

成像装置用于从两个以上(含两个)不同角度获取物体表面光点的图像。成像装置的个数既可以是一个，通过改变位置来从不同角度获取图像；也可以是多个，各自从不同角度获取图像。本实例使用左右两个成像装置501和502，它们获得的图像通过传输线路504传送至处理装置，本实例的传输线路为USB连接。

处理装置包括控制器505和显示器506，控制器上至少包括点匹配单元、空间坐标计算单元和还原单元。

点匹配单元，用于按照预定的匹配算法匹配各个图像中的像点；

空间坐标计算单元，用于利用匹配结果和像点坐标根据三角测量原理计算光点的空间坐标；

还原单元，用于由光点的空间坐标还原出待测对象的三维点云图像；

显示器，用于将还原出来的待测对象的三维点云图像进行显示。

以上公开的仅为本发明的几个具体实施例，但本发明并非局限于此，任何本领域技术人员能思之变化，都应落在本发明的保护范围内。

Claims (10)

1.一种三维表面测量方法，用于测量物体表面点的空间坐标，其特征在于：由以下步骤组成：

(1)向待测对象表面投射一均匀分布的面状光点图案，所述面状光点图案中光点之间的距离满足其像点的平均失配度小于预设的失配度阈值；

(2)从至少两个角度获取物体表面光点的图像；

(3)匹配光点在各个图像中的像点；

(4)计算并保存光点的空间坐标；

(5)改变测量位置，继续进行步骤(1)-(4)，直至还原出待测对象。

2.如权利要求1所述的方法，其特征在于，步骤(1)还包括：

A1：设定失配度阈值；

A2：生成一均匀分布的面状光点图案，光点之间的距离为D；

A3：将所述面状光点图案投射至一标准物体表面；

A4：从至少两个不同角度获取物体表面光点的图像；

A5：匹配各个图像中的像点，并得出失配度；

A6：改变测量位置，重复进行步骤A3-A5，直至进行步骤A6的次数等于预设次数时，得出平均失配度；

A7：若平均失配度小于失配度阈值，则减小D，反之增大D，重复进行步骤A3-A6，直至平均失配度小于失配度阈值且D最小为止，此时的面状光点图案即为测量时使用的面状光点图案。

3.如权利要求1所述的方法，其特征在于，步骤(3)进一步包括：利用极线约束和最近原则，匹配面状光点在各个图像中的像点。

4.如权利要求3所述的方法，其特征在于，步骤(3)还包括：

匹配之前先对待匹配的两幅图像进行校正，使它们的极线与行扫描线重合；

第一幅图像中点p(x，y)与第二幅图像中点p′(x-d，y)匹配的条件为最小，其中W_m(x，y)是以(x，y)为中心的宽度为m的方形区域，I₁、I₂分别为第一、第二幅图像的灰度值。

5.如权利要求1所述的方法，其特征在于，面状光点的分布为具有蓝噪声特性的随机分布或者是包括正方形和正三角形在内的具有规则形状的分布。

6.如权利要求1所述的方法，其特征在于，步骤(4)进一步包括：

根据三角测量原理，由匹配结果和像点坐标求得对应光点的空间坐标。

7.如权利要求1所述的方法，其特征在于，步骤(1)中，失配度阈值为5％，使用的光点图案为20×20的方形阵列，其水平张角和垂直张角相等，均为24°，相邻光点的距离为1.2°，图像的分辨率为640×480，其高度覆盖整个光点图案。

8.如权利要求1所述的方法，其特征在于，获得成像位置进一步为：

多个成像装置固定好，运用相机标定技术预先算出它们之间的相对位置；

将成像装置固定在一个具有坐标读数的移动平台上，通过读出成像时的坐标来确定各个图像的成像位置；或，在物体上或场景中设置视觉定位物，使成像装置在获取光点图像的同时也获取这些视觉定位物的图像，然后利用摄影测量术来确定成像位置。

9.一种三维表面测量系统，其特征在于，它包括测量装置和处理装置，测量装置包括投射装置和成像装置；

投射装置，用于向物体表面投射均匀分布的面状光点图案，所述图案中光点之间的距离满足其像点的平均失配度小于预设的失配度阈值；

成像装置，用于从至少两个不同角度获取上述光点的图像；

处理装置包括控制器和显示器，控制器上至少包括点匹配单元、空间坐标计算单元和还原单元；

点匹配单元，用于按照预定的匹配算法匹配各个图像中的像点；

空间坐标计算单元，用于利用匹配结果和像点坐标根据三角测量原理计算光点的空间坐标；

还原单元，用于由光点的空间坐标还原出待测对象的三维点云图像；

显示器，用于将还原出来的待测对象的三维点云图像进行显示。

10.如权利要求9所述的系统，其特征在于，投射装置和成像装置固定在测量设备中，投射装置位于测量设备的中部，成像装置位于投射装置的两侧。

Images