CN102878950B - 用于三维轮廓测量的系统和方法 - Google Patents

Abstract

本发明披露了一种通过使用独特结构光测量物体3D轮廓的非接触测量系统及其实施方法。本系统包括一个结构光产生单元、一个投影单元、一个成像或传感器单元、和一个处理单元。结构光产生单元根据预设规则产生一个增强彩色序列。本系统的成像或传感器单元包括混合式传感器，其能够在快速模式或精确模式上运行。同时本发明也披露了一种专用解码方法。

Description

用于三维轮廓测量的系统和方法

【技术领域】

本发明涉及测量装置,特别涉及通过使用独特的结构光迅速测量物体三维(3D)轮廓的非接触测量装置。

【背景技术】

三维(3D)测量技术被广泛用于各个领域以测量3D物体的表面坐标。有各种方法用来测量不同物体的3D轮廓。如三坐标测量仪(CMM)是一个用来测量物体的物理几何特性的3D装置。激光点/线扫描仪是另一种3D测量装置。但是，这些3D测量装置的尺寸通常很大，所以不适合用于测量移动物体。

另一种方法是应用计算机视觉/图像处理技术来解决此问题。在被称为“结构光技术”的方法里，结构光条纹被投影到物体上，在附近放置相机或光感应装置以摄取结构光条纹在其被物体反射后的图像。摄取的二维(2D)图像是一个变形版本的原始结构光条纹。条纹的变形是由物体的3D表面引起。当已知光源和相机位置的坐标时，根据该结构光条纹的2D变形，能够容易计算出3D物体的表面坐标。

早期系统使用的一种结构光，包括黑白交替的条纹。为了达到高分辨率，每个黑色或白色条纹的宽度必须很小，这意味着在结构光里有许多黑色和白色的条纹。但是，由于光学处理时边缘检测的缺陷、3D物体表面的潜在高曲率、以及其它系统噪声，系统不可能可靠地检测反射2D图像的黑白线。实际上，可能会忽视一些边缘点，并且其它边缘点可能被错误地分配到错误的边缘线。这种误连接在3D测量时会导致严重误差。解决此问题的一种方法是将一系列黑白条纹结构光投影到图1所示的物体上。第一结构光2仅有一个白色和一个黑色条纹。然后逐步地，越来越多的白色和黑色条纹被按顺序地投影结构光4。这种方法的缺点是需要多个步骤以进行图像投影、摄取以及分析，因此处理非常耗时。

另一种方法是使用彩色条纹结构光。这样能够减轻上述的边缘线连接问题。但是，摄取图像的彩色条纹不仅取决于将被投影到物体上的彩色条纹结构光，而且取决于3D物体表面的颜色。例如，如果在3D物体的表面某处有一个宽的红色色块，将很难检测到照在该色块上的红色条纹的边缘线边界。因此，需要开发一个新的结构构光图案以及其相关的检测方法来提供快速可靠的3D表面测量。

【发明概述】

根据前述的发明背景，本发明的目的是提供一种用于3D表面测量的替代方法。其包括一种新颖的彩色结构光设计方法以及相关的检测算法。

因此，本发明的一个方面是提供一种组成一个增强彩色序列的方法，以便投影到物体上以测量物体的三维轮廓。本方法包括的步骤有：(a)通过将至少一种彩色条纹连接在一起，产生至少一个独特元(distinctive tuple)，每个独特元相互不同；(b)根据一个预设规则，通过使用至少一个独特元，形成一个彩色条纹序列；(c)选择两个高对比度彩色条纹，其对至少一个独特元的每个彩色条纹有相当高的颜色对比度；(d)在每个独特元的每一侧插入两个高对比度彩色条纹中的一个高对比度彩色条纹，其被选择是因为其对每个元的对应终端上的彩色条纹有最大的颜色梯度(colorgradient)；(e)识别多个重复位置,两个连续的相同高对比度彩色条纹的中间；(f)再从两个高对比度条纹中选择一个不同于两个连续相同高对比度彩色条纹的高对比度彩色条纹插入到多个重复位置以形成一个增强彩色序列。在一个实施例里，本方法还包括提供唯一第一寻址代码(addressing code)给彩色条纹序列上的每个独特元，并根据唯一第一寻址代码提供唯一第二寻址代码给增强彩色序列上的每个高对比度彩色条纹。在另一个实施例里，预设规则是De Bruijn序列。

在另一个实施例里，至少一个彩色条纹是从彩色条纹池选出来的，来自条纹池的每个彩色条纹具有不同的色谱(color spectrum)，但不包括两个高对比度条纹的颜色。两个高对比度彩色条纹分别是白色条纹和黑色条纹。

本发明的另一个方面是提供一种方法，通过使用上述的增强彩色条纹测量物体的三维轮廓。本方法包括的步骤有：(a)通过一个结构光产生单元产生一个增强彩色条纹；(b)通过一个投影单元发射增强彩色条纹到物体上；(c)通过一个感应单元摄取由物体反射的增强彩色条纹的至少一个图案；和(d)通过一个处理单元根据至少一个图案确定物体的三维轮廓。

在另一个实施例里，用来测量物体的3D轮廓的方法的确定步骤包括以下步骤：(a)通过一个边缘检测单元，根据至少一个图像的颜色转变，识别至少一个图像里的边缘；(b)将边缘跟增强彩色序列的对应边缘进行比较，并通过一个分析单元确定两者之间的深度偏差；和(c)通过一个测量单元，根据深度偏差测量物体的三维轮廓。

在一个实施例里，识别步骤还包括：基于一个划分算法(segmentationalgorithm)，识别至少一个独特元的正常彩色边缘和多个高对比度彩色条纹的高对比度彩色边缘。比较步骤还包括：分配第一指针给每个正常彩色边缘，并根据第一指针分配第二指针给每个高对比度彩色边缘。比较步骤还包括：将第一指针和第二指针分别映射到对应的第一寻址代码和第二寻址代码以获取一个关联关系。深度偏差是根据关联关系而确定的。

本发明的另一个方面是提供一个增强彩色序列，用于投影到物体上来测量物体的三维轮廓。增强的彩色序列包括：(a)至少一个独特元，每个至少一个独特元是通过将至少一个彩色条纹连接在一起而产生；和(b)多个高对比度彩色条纹，其对至少一个独特元里的每个彩色条纹有一个相对高的颜色对比度；其中多个高对比度彩色条纹中的一个高对比度彩色条纹被插入到每个至少一个独特元的每一侧。最大颜色梯度准则被用来选择一个高对比度彩色条纹，以插入在每个独特元的每一侧。在两个连续相同的高对比度彩色条纹的中间，插入一个不同于两个连续相同高对比度彩色条纹的高对比度颜色条纹。

在另一个实施例里，至少一个彩色条纹包括一个蓝色条纹、一个绿色条纹、一个青色条纹、一个红色条纹、一个紫红色条纹、和一个黄色条纹。多个高对比度彩色条纹包括一个白色条纹和一个黑色条纹。

本发明的另一方面提供一个通过使用上述的增强彩色条纹来测量物体三维轮廓的系统。本系统包括：(a)一个结构光产生单元，用于产生增强的彩色条纹；(b)一个投影单元，用于发射增强的彩色条纹到物体上；(c)一个感应单元，用于摄取从物体反射的增强彩色条纹的至少一个图像；和(d)一个处理单元，其根据至少一个图像确定物体的三维轮廓。

在一个实施例里，在本系统的增强彩色条纹里的多个高对比度彩色条纹包括一个白色条纹和一个黑色条纹。在另一个实施例里，感应单元包括一个彩色传感器，其用来摄取从物体反射的增强彩色序列的一个彩色图像，以及一个黑白传感器，其用来摄取从物体反射的增强彩色序列的一个黑白图像。

在另一个实施例里，感应单元还包括一个分光镜，其用于将从物体反射的光分成第一光束和第二光束，并引导所述第一光束到彩色传感器，以及引导第二光束到黑白传感器。在另一个实施例里，感应单元还包括一个折叠镜，其用于首先引导从物体反射的光到黑白传感器上，然后引导从物体反射的光到彩色传感器上。

在另一个实施例里，每个至少一个独特元被提供给唯一第一寻址代码，并根据唯一第一寻址代码，每个多个高对比度彩色条纹被提供给唯一第二寻址代码。在另一个实施例里，处理单元包括：(a)一个边缘检测单元，其根据至少一个图像的色彩变化来检测至少一个图像里的条纹边缘；(b)一个分析单元，其将所述边缘跟增强彩色序列里的对应边缘进行比较识别边缘颜色，并确定识别边缘的深度偏差；和(c)一个测量单元，其根据深度偏差来测量物体的三维轮廓。

在另一个实施例里，边缘检测单元还包括一个识别单元，其根据一个划分算法来识别正常彩色边缘和高对比度彩色边缘。在另一个实施例里，分析单元分配第一指针给每个正常彩色边缘，并根据第一指针分配第二指针给每个高对比度彩色边缘。在另一个实施例里，分析单元将第一指针和第二指针分别映射到对应的第一寻址代码和第二寻址代码以获取一个关联关系。深度偏差是根据这种关联关系而确定的。

本发明有许多优点。首先，通过单次摄取由增强彩色序列投射覆盖的物体而实现3D测量，从而具有较快的测量速度。其次，黑白条纹能够更鲁棒和稳定地进行边缘检测，同时彩色条纹的唯一序列提供一个寻址方案以便唯一地识别彩色条纹。解码单元可以利用这些来解决边缘线的连接问题。插入高对比度条纹如黑色条纹或白色条纹到一个正常彩色序列的新颖性方法使插入条纹能够通过使用正常彩色条纹序列的第一寻址代码而唯一地寻出。结果，能够唯一地识别在增强彩色序列里的每个结构光条纹。从而，增强的彩色条纹结合了黑色和白色条纹以及正常彩色条纹序列的优点来进行物体3D测量。

此外，本发明采用混合传感器方法来摄取图像。物体的3D坐标是由彩色图像和黑白图像的计算而获得。可以从计算结果中获取更多的物体的三维信息，从而完成更好的3D重构。

【附图说明】

图1是一个3D测量系统的示例。

图2描述根据本发明一个实施例如何进行3D测量。

图3是本发明一个实施例的整个流程图。

图4显示本发明一个实施例的示例结构光条纹。

图5显示本发明的结构光条纹的其它可行实施。

图6是一个实施例的由彩色传感器和黑白传感器摄取图像的一个例子。

图7显示本发明一个实施例的混合传感器的两个结构。

图8是本发明一个实施例的图像获取和处理的快速模式以及图像获取和处理的精确模式的时间示意图。

图9是本发明的解码处理的一个流程图。

图10显示本发明一个实施例的边缘划分结果的一个示例。

图11是本发明一个实施例描述边缘划分的示意图。

图12是本发明一个实施例的边缘划分的流程图。

图13显示本发明一个实施例的三角计算的概念。

【优选实施例详述】

如在此以及所附权利要求里所使用的，“包括”意味着包括以下元素但不排除其它元素。“联结”或“连接”是指通过一个或多个电装置直接或间接地电联结或连接，除非特别申明。

在整个说明书里，使用RGB色彩模型以便披露本发明的观点。很明显，也可以使用其它色彩模型如CMYK色彩模型、RYB色彩模型、和HSV模型。在RGB色彩模型里，色彩是由一个三重的红色、绿色和蓝色值表示。此外，数值是范围在0到255之间的无符号整数。由此，黑色表示为[0,0,0]，而白色表示为[255,255,255]。其它色彩由此范围内的不同数值表示。例如，蓝色、黄色、紫红色、绿色、红色和青色的RGB数值分别是(0,0,255)、(255,255,0)、(255,0,255)、(0,255,0)、(255,0,0)和(0,255,255)。

本发明使用独特的结构光来测量物体的3D轮廓。参照图2，图2显示了本发明的基本概念。首先，独特的结构光20是由一个图案产生单元产生，并通过一个投影单元22被投影到物体24上。在一个实施例里，投影单元是一个光投影仪。在图2所示的一个实施例里，结构光包括多个光条纹。原始结构光20覆盖在物体24上，产生一个“图案投影物体”26。然后，使用感应单元28的图像传感器来摄取图案投影物体26的图像。在一个实施例里，获得至少一个被摄取的图像30。然后，摄取的图像30是由一个处理单元如计算机32进行处理以获得一组解码线条34。接着，通过进一步处理解码线条34，获得物体24的3D轮廓。在另一个实施例里，图案产生单元和处理单元32是连接在一起的，使得数据交换可以在两者之间进行。在另一个实施例里，结构光产生单元、投影单元、感应单元和处理单元都是由同一计算机32拥有。

参照图3，图3显示本发明的整个流程图。首先，在系统校准步骤30，初始化系统参数，并获得投影仪和图像传感器的相对位置。在一个实施例里，校准涉及获得投影仪中心、图像传感器中心、和它们之间距离的3D坐标。也可以获得其它参数如投影仪和图像传感器的特性、其各自的焦距、主点、倾斜系数和失真系数。此外，也可以建立相机和投影仪之间的关系，如旋转和平移矩阵。这些参数用于三角计算以确定物体表面的3D坐标(将在以下描述)。色彩校准步骤同样在步骤30完成以执行摄取色彩和投影色彩之间的映射。在步骤32，根据预设规则产生独特结构光，并且使用一种预设方法对该结构光进行编码。接着，在步骤34，结构光被投影到物体上。在步骤36，使用诸如电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)相机的图像传感器而摄取图案投影物体26的图像(参照图2)。在获取图像之后，在步骤38进行图像处理和图案解码。根据解码结果，在步骤40计算物体的表面点的3D坐标，然后根据这些3D坐标重建物体的3D轮廓。这些步骤将在以下章节详细描述。

在结构光产生步骤32，首先选择一组包含不同色谱的颜色以形成彩色条纹。在本发明里，条纹朝向并不重要。它们可以是如图2所示的水平条纹，或如图4所示的垂直条纹。其它朝向也是可能的。参照图4，根据本发明一个实施例显示一个典型的结构光条纹。在此实施例里，使用6个不同的彩色条纹，即蓝色条纹、黄色条纹、紫红色条纹、绿色条纹、红色条纹和青色条纹。也可以使用其它组合的彩色条纹，这取决于应用要求和环境因素。下一步是根据某些准则产生一个彩色条纹的序列。主要准则是建立具有“独特”特征的彩色条纹的一个序列以在步骤38(图3)使用进行图像处理和图案解码处理。这个“独特”特征将在以下章节详细描述。单个彩色条纹可以联结在一起以产生如图4a所示的彩色条纹42的一个序列。在此例子里，每个单色条纹被看作是一个独特元素，并提供以唯一代码(称为第一寻址代码)以便唯一识别它。例如，它们可以被编码成一个数字号码，其显示一个彩色条纹在该序列里的相对位置。因此，蓝色条纹被标记为“1”，黄色条纹被标记为“2”等。在另一个例子里，色彩条纹被表示为一个符号，即蓝色条纹是“B”、黄色条纹是“Y”、紫红色条纹是“M”、绿色条纹是“G”、红色条纹是“R”、青色条纹是“C”，如图4a所示。在分配第一寻址代码给元素之后，彩色条纹42的次序变成一个具有识别特征的指针序列。

该指针序列可以被投影到物体上以测量该物体的3D轮廓。但是，使用这种指针序列来投影可能得不到一个物体的精确可靠的3D模型，因为如果物体有和彩色条纹相同色彩的区域，就可能错过一些彩色条纹边界。为了提高3D测量的精确度和可靠性，本发明将在每个彩色条纹两侧插入高对比度条纹到指针序列里以形成一个增强的色彩序列。选择的高对比度条纹与指针序列里的彩色条纹具有最大的色彩梯度(colorgradient)，其原因是最大化彩色条纹和该高对比度条纹之间的对比度，有利于在其之间进行识别和检测。在图4b的实施例里，选择白色条纹(由符号“W”表示)和黑色条纹(由符号“K”表示)作为插入的高对比度条纹。对于许多物体尤其是纹理状物体的3D测量，白色条纹和黑色条纹是鲁棒而可靠的。在一方面，白色条纹和黑色条纹能抵抗背景光的强度变化，从而能够进行更稳定的检测。在另一方面，有需要的话，可以使用白色条纹和黑色条纹来帮助复原失去的彩色条纹(这将在以下描述)。

测量物体3D轮廓的一个重要步骤是检测摄取图像30里的边缘。为了改善边缘的检测结果，插入黑色和白色条纹到彩色条纹42序列里。对每个彩色条纹，根据一个最大化梯度准则，插入一个黑色或白色条纹到该彩色条纹的两侧。使用最大梯度准则来选择黑色条纹或白色条纹以在一个彩色条纹P的两侧插入，是基于以下公式：

${\mathrm{BW}}_{(r,g,b)}=\max \underset{i\∈(r,g,b)}{\mathrm{\Σ}}|{\mathrm{BW}}_i-P_i|---\left(1\right)$

其中P是一个彩色条纹。在图4a里，P∈{R,G,B,C,M,Y}

BW∈{黑,白}

依照此公式，最大梯度准则执行以下步骤：

i)计算彩色条纹P每个通道(R通道、G通道或B通道)和白色条纹每个相应通道数值的绝对差，并将绝对差加总在一起形成一个中间变量Sum1；

ii)计算该彩色条纹每个通道(R通道、G通道或B通道)和黑色条纹每个相应通道数值的绝对差，并将绝对差加总在一起形成一个中间变量Sum2；

iii)如果Sum1大于Sum2，插入白色条纹到那个彩色条纹的两侧，否则，插入黑色条纹到那个彩色条纹的两侧。

作为一个例子，假设在插入过程下的彩色条纹是一个如图4b所示的蓝色条纹41。其RGB数值是(0,0,255)。根据以上步骤，Sum1＝(255+255+0)＝510，并且Sum2＝(0+0+|-255|)＝255。通过比较Sum1和Sum2的数值，Sum1的数值更大。因此，插入一个白色条纹43到蓝色条纹的每一侧。使用该最大梯度准则的优点是在相邻条纹之间的对比度被最大化，从而能够容易地识别出条纹的边界。

插入白色条纹和黑色条纹在一个彩色条纹两侧被称为第一插入。在第一插入之后，可能有如下情形，即两个相同高色彩对比度条纹(两个白色条纹或两个黑色条纹)可能相邻，导致在其两者之间的边缘边界丢失。为了解决该问题，本发明还插入一个不同的高色彩对比度条纹到两个相同高色彩对比度条纹的中间。这被称为第二插入。参照图4b进行描述，根据最大梯度准则，插入一个黑色条纹46到黄色条纹的右侧。同样，插入另一个黑色条纹50到紫红色条纹的左侧。在第一插入之后这两个黑色条纹相邻，因此不可能识别其两者之间的边界。为了避免边缘边界的丢失，插入一个白色条纹48在黑色条纹46和黑色条纹50之间。类似地，插入一个额外的黑色条纹在两个连续相同的白色条纹之间，如果这种情况发生在第一插入之后。当第二插入步骤完成时，就产生一个具有独特特性的增强彩色条纹44。

为了进行解码，增强彩色条纹44里的每个条纹都应该被分配唯一代码以识别其位置。如前所述，彩色条纹已经被分配了第一寻址代码。在插入步骤之后，根据第一寻址代码，给予每个白色条纹或黑色条纹唯一的第二寻址代码。在此使用的编码方法/算法并不重要。可以使用能够提供唯一第二寻址代码的任何现有编码方法来确定在增强彩色条纹44里的每个条纹。一个典型编码方法将在以下进行描述。

在一个实施例里，其中彩色条纹是垂直条纹，采用以下编码方法。如图4所示，首先分配给彩色条纹第一寻址代码，即1,2,3,…,n，其中n是彩色条纹的长度。然后，基于第一寻址代码，插入的高色彩对比度条纹被编码以第二寻址代码。第二寻址代码有以下格式：

‘nPCm’

其中n是指插入条纹左侧上的彩色条纹；

m是指插入条纹右侧上的彩色条纹；

P要么是左侧“L”、要么是右侧“R”、要么是中间“M”，C要么是黑色“K”要么是白色“W”，表示插入的条纹是一个黑色条纹或一个白色条纹。

在以上表示里，P表示在一组高色彩对比度条纹里每个高色彩对比度条纹的位置(如黑色条纹46、白色条纹48、和黑色条纹50构成一组高色彩对比度部分)。“L”表示该高色彩对比度条纹是在该组的左侧，而“R”表示其位于该组的右侧。“M”表示该高色彩对比度条纹是在该组的中间，这种情况是当第二插入发生时出现。

利用此编码算法，在图4b里，三个插入的黑色或白色条纹46、48和50分别被编码为“2LK3”、“2MW3”和“2RK3”。在增强彩色序列44上的其它黑色和白色条纹以类似方式进行编码。在增强色彩条纹44的两端，能够选择性地插入高色彩对比度条纹。第二寻址代码可以被简化为“LEK”、“LEW”、“REK”或“REW”，分别表示“左端黑色”、“左端白色”、“右端黑色”或“右端白色”。

利用第一寻址代码和第二寻址代码，能够唯一地识别在增强彩色序列44里的每个条纹。当被测量物体在其表面上有一个彩色图案时，投射到物体上的彩色条纹覆盖在该彩色图案上。由于摄取图像的色彩条纹不仅取决于投射到物体上的结构光条纹的彩色条纹，而且取决于3D物体表面的色彩吸收特性，由于色彩混合，它们会显示出一个不同于其初始颜色的色彩。这会导致在随后的图像处理和解码步骤里出现解码误差(将在以下描述)。最差的情况是不能识别出一个光条纹的边缘边界，导致不能计算物体在光条纹部分的3D坐标。如果能够可靠地解码在该问题彩色线条附近的光条纹(要么是正常的彩色条纹，要么是高对比度的彩色条纹)，根据邻近光条纹的唯一寻址代码，能够解决该问题彩色条纹的识别。相对物体上的色块，白色条纹和黑色条纹更强健，其可以被可靠地解码。因此，增加黑色和白色条纹到初始彩色序列中能够有助于复原失去的彩色条纹。类似地，被解码的彩色条纹同样能有助于复原黑色和白色条纹的边界，如果它们丢失了的话。

图4里的结构光条纹是本发明的一个基本实施。也可以有其它可行的实施，但其概念跟上述相同。图4典型实施例使用单个彩色条纹作为单个元素。参照图5，图5显示结构光的其它可行实施。多于一个彩色条纹被串接在一起以形成一个彩色条纹序列里的单个元素(其后被称为元)。例如，一个绿色条纹和一个青色条纹被组合在一起，形成一个2-元条纹45，如图5a所示。一个红色条纹和一个紫红色条纹可以被组合在一起，形成另一个2-元47。根据上述的最大梯度公式，可以用类似的方式，将高色彩对比度条纹如黑色或白色条纹插入到每个n-元的两侧(其中n是在一个元里的条纹数目，n根据不同要求和情境而不同)。在第一插入之后相邻两个高对比度彩色条纹是相同的这种情况下，需要第二插入，将一个不同的高对比度彩色条纹插入到它们中间以隔开它们。这在图5a里显示为黑色-白色-黑色条纹51A和白色-黑色-白色条纹51B。

编码算法与上述一样。不同之处在于第一寻址代码被分配到作为一个整体的每个元，而不是分配到在元里的单个彩色条纹。例如，元45被编码为“1”，元47被编码为“2”。这样，依照前述方案，插入的高对比度彩色条纹同样可以被分配唯一第二寻址代码。

应该注意到，在一个n-元里，彩色条纹的序列是一个区别因素。一个红-绿2-元不同于一个绿-红2-元。形成一个n-元彩色序列的优点是由一组有限色彩可以建立一个更长的增强彩色序列。明显地，当n等于1时，1-元序列退化到类似于图4a的彩色序列。

在另一个实施例里，彩色条纹序列可以由De Bruijn序列产生。N阶DeBruijn序列D(K,N)是一个从一组K个字符导出的循环序列(cyclic sequence)，其中长度为N的每个可能子序列在一序列连续标记中只显示一次。一个D(3,3)De Bruijn序列的例子显示如下：

0 0 0 1 0 0 2 0 1 1 0 1 2 0 2 1 0 2 2 1 1 1 2 1 2 2 2 (0 0)

在此，字符是{0,1,2}，在括号里的最后两个0表示环绕，即序列的循环特性。它们实际上是序列的首两个标记。该序列的长度是27。可以观察到，在该序列里长度为N(在此例子里N＝3)的任何子序列仅出现一次。

当对一个DeBruijn彩色条纹序列进行解码时，在一个字符上的解码误差可以通过邻近字符复原。例如，假设上述序列的第4位置不能被解码，即

0 0 0 X 0 0 2 0 1 1 0 1 2 0 2 1 0 2 2 1 1 1 2 1 2 2 2 (0 0)

X可能是0、1或2(该序列的字符)。能够推导出，X不可能是‘0’，因为长度为3的子序列{0,0,0}出现在其左侧。也不可能是“2”，因为子序列{0,0,2}出现在其右侧。因此，它只可能是“1”，因为子序列{0,1,0}必须出现且在此序列里只能出现一次。

这种特性在进行3D测量时是有用的。在一个实施里，一个De Bruijn序列被用来产生一个结构光条纹组合。字符是n-元彩色条纹。然后，当K(n-元的数目)和N被确定时，能够产生一个基于n-元彩色条纹的彩色条纹序列。接着，利用之前讨论的高对比度黑色和白色条纹，能够增强这个彩色条纹的De Bruijn序列，以形成一个De Bruijn增强色彩序列。第一寻址代码和第二寻址代码同样可以被类似地分配。图5b显示一个典型的De Bruijn增强色彩序列。

在一个实施例中，图2中的感应单元28使用一个单色彩传感器摄取图案投影物体的图像。在另一个实施例中，感应单元28使用一个混合式传感器去获取图像。混合式传感器包括一个黑白传感器和一个彩色传感器，分别获取黑白图像和彩色图像。黑白图像和彩色图像都用于计算物体表面点的3D坐标，因此得到其3D轮廓。在另一个实施例中，黑白传感器和彩色传感器有相同的空间分辨率。图7a和图7b显示一个典型的彩色传感器66的排列。在此，微小的滤色镜马赛克般置于彩色传感器66的每个像素上，因此每个像素都只对一个特定颜色敏感。在另一个实施例中，使用拜尔滤镜，一行红色和绿色传感器跟在另一行绿色和蓝色传感器后，并偏移一个像素位置。原彩色图像通过一个“去马赛克”算法，被转换为一个全彩色图像。当彩色传感器和黑白传感器有相同的空间分辨率时，虽然彩色传感器也可以用来摄取黑白图片，但是最终质量没有黑白传感器摄取图片的好。图6显示彩色传感器和黑白传感器拍摄的图像的例子。图6a是彩色传感器拍摄的黑白图像，而图6b是黑白传感器拍摄的黑白图像。从这两幅图像可以明显看出，黑白传感器拍摄的黑白图像比彩色传感器拍摄的黑白图像要显示更细腻的细节和更锐利的对比度。

在本发明的一个方面，高对比度彩色条纹是白色条纹和黑色条纹，使用上述混合式传感器处理该增强的色彩序列是有利的。黑白传感器更高质量地检测黑色和白色条纹，而彩色传感器处理彩色条纹。

混合式传感器可以设置在两个模式上运行，即快速模式和精确模式。图7显示混合式传感器的这两种设置。图7a中的混合式传感器是在快速模式上运行。如以上所述，混合式传感器包括一个黑白传感器64和一个彩色传感器66。在此快速模式里，混合式传感器使用分光镜68，将入射光分成具有相同强度的第一光束70和第二光束72。分光镜68反射一半入射光到黑白传感器64，透过另一半入射光到彩色传感器66。彩色传感器66和黑白传感器64的位置可以互换。也可以选择具有不同特性的分光镜68，例如反射60％的入射光，透过40％的入射光，或者反射70％的入射光，透过30％的入射光，等等。因为第一光束70和第二光束72都是从同一入射光分离的，所以它们是同步的，两个光束不需要校准。使用分光镜68的另一个好处是第一光束70和第二光束72同时分别进入黑白传感器64和彩色传感器66。因此可以同时得到彩色图像和黑白图像。

图7b显示精确模式的设置。黑白传感器64和彩色传感器66的安置类似于快速模式。不同之处在于使用折叠镜74去引导入射光到黑白传感器64和彩色传感器66。折叠镜74完全反射入射光到一个期望的方向上。首先，折叠镜74反射入射光到黑白传感器64上，使得黑白传感器64拍摄一个黑白灰度级图像。然后，旋转折叠镜74，使得入射光可以照射到彩色传感器66上，拍摄一个彩色图像。类似于快速模式，黑白传感器64和彩色传感器66的位置可以互换。

参见图8，图8显示了快速模式和精确模式的时间图。如上所述，彩色传感器66和黑白传感器64在快速模式是同时拍摄图像，因此整个处理时间缩短了。对于快速模式，图像获取步骤可以“单次摄影”而完成。对于精确模式，整个处理时间要更长，因为彩色图像和黑白图像是分别拍摄的，如图8b所示。折叠镜的切换需要一些时间。但是，并没有分离入射光，因此其完全的强度都照射到传感器上。所以和快速模式相比，精确模式产生的图像具有更高亮度值，但是整个处理时间更长。另一方面，快速模式和精确模式也具有共同特征。例如，彩色传感器和黑白传感器摄取的图像完全重叠，因为两个传感器共享同一入射光。

在以下段落里，将描述本发明的解码处理/算法。如上所述，解码步骤也是在处理单元中完成。处理单元包括各种部件以执行不同的解码步骤，例如边界检测单元、产生单元、分析单元和测量单元。解码中一个重要的步骤是识别摄取图像中每个条纹的边界。摄取图像包含各种条纹，它们大部分都和投影到物体上的增强彩色序列相同。参见图9，图9显示解码过程的流程图。在步骤76，处理单元首先计算摄取图像的每个像素的强度梯度(intensity gradient)。在一个实施中，它计算相邻像素的每个颜色成分的强度梯度(或色差)。对于每个像素，得到梯度值Diff_R、Diff_G和Diff_B。如果增强彩色序列中的条纹是垂直方向的话，处理单元就沿着水平方向(如从左到右或从右到左)执行像素扫描。另一方面，如果增强彩色序列中的条纹是水平方向的话，处理单元就沿着垂直方向(如从顶到底或从底到顶)执行像素扫描。原理上，对同一条纹内的像素，所有颜色通道的每个梯度都应该是0，因为那些相邻像素都是相同颜色。在两个相邻条纹之间的边界像素，三个通道中至少一个梯度值不是0。为了便于识别，在步骤78对每个颜色通道的梯度结果进行归一化。归一化通过以下等式进行：

NorDiff_X(i,j)＝(Diff_X(i,j)/max_Diff_X(i,j))*255

其中X是指颜色通道(R,G,或B)；

(i,j)是像素的坐标；

NorDiff_X(i,j)是沿着预定方向的两个相邻像素之间的归一化的色差(或强度梯度)；

Diff_X(i,j)是着预定方向的所有像素之间的最大色差；

在归一化后，对所有颜色通道，归一化的强度梯度值在范围0和255之间。但是，这个归一化步骤是选择性的。

在图9的步骤80，根据归一化的梯度，摄取图像的边缘可以被识别出。如上所述，对于同一条纹内的像素，所有通道的每个梯度值都应该是0。实际上，由于外在因素如背景光和颜色混合，条纹的颜色会有轻微变化。所以它们的梯度值不会是0，但是应该近似0。同样，对于两个不同颜色条纹之间边缘边界上的像素，它们的梯度值会稍微小于255。因此，使用一个边缘阈值来确定该像素是否是一个边缘像素。如果一个像素三个通道中有一个梯度值大于边缘阈值，那么该像素就被确定为一个边缘像素，否则就不是。通过一个轮廓线跟踪算法，在一个小邻域将这些边缘像素连接在一起就能得到一个边缘线。

在步骤82，一旦确定了摄取图像中所有边缘，处理单元就执行边缘划分。在此步骤中，处理单元将确定边缘是正常彩色边缘还是高对比度彩色边缘。正常彩色边缘是两个彩色条纹之间的边缘或一个彩色条纹和一个高对比度条纹之间的边缘。高对比度彩色边缘是两个高对比度条纹之间的边缘。分割算法将在以下描述。然后在步骤84，处理单元首先分配唯一的第一指针给每个正常彩色边缘，然后根据第一指针，分配第二指针给每个高对比度彩色边缘。在步骤86，通过分别将第一指针和第二指针映射到相应的第一寻址代码和第二寻址代码，得到摄取图像中每个边缘和原始增强色彩序列中每个边缘之间的关联关系。图10显示边缘边界图像的一个典型例子。可以看到有许多边缘线显示在图10中。但是，这些线不是直的，因为投影在物体上的光条纹因为物体的3D轮廓而变形了。但是，可以看出该物体的大致轮廓。

在图10中的每条线都对应原始增强彩色序列的一条边界。根据关联关系，摄取图像中的每条边缘边界都可以关联到原始增强彩色序列的一条相应边缘边界。由于物体的3D轮廓，摄取图像中边缘的一些像素会偏移，当与原始增强彩色序列的投影图像中边缘的相应像素相比较时。两个图像的两个相应像素之间的偏移距离是由物体的3D轮廓引起的偏差。在步骤90，物体表面点的3D坐标可以根据这个偏差而计算出来。最后，在步骤92，物体的3D轮廓就由这些3D坐标而重建出来。

参见图11，图11描述了边缘划分。使用了1-元增强彩色序列94作为具体例子来解释边缘划分的概念。行96、98和100分别代表红色通道、绿色通道和蓝色通道的强度梯度(色差)。在此例子中，有6个彩色条纹，如蓝色条纹(0,0,255)、黄色条纹(255,255,0)、紫红色条纹(255,0,255)、绿色条纹(0,255,0)、红色条纹(255,0,0)和青色条纹(0,255,255)。根据这些彩色条纹和选择的高对比度彩色条纹，每个通道的强度梯度(或色差)要么是0要么是255，如果没有噪声和其他外在因素的话。在每个颜色通道的竖直线条代表边缘出现的位置，如梯度值Diff_X(X＝R,G,或B)是255的位置。在一个边缘位置，如果三个通道的所有梯度值都是255，那么该边缘就被确定为黑色和白色边缘，如图11中的边缘112或114。如果两个通道的梯度值是255，另一个通道的梯度是0，那么该边缘就被确定为彩色边缘。从图11的图解中可以容易地看出。注意到仅仅通过检查Diff_X值，是不可能分清边缘112是否是白-到-黑转变边缘，或者边缘114是否是黑-到-白转变边缘。为了能知道边缘112和114之间的条纹是否是黑色条纹，那么需要检测该条纹内放入颜色值。这也可应用于确定彩色条纹。例如，蓝色条纹产生一对彩色边缘116在红和绿通道上，但不在蓝色通道上。黄色条纹也是这样。它也产生相同的一对彩色边缘118。为了能知道该条纹的颜色，要检查具有0色差的颜色通道值。

图12中显示的流程图进一步显示了如何解决该问题。首先在步骤102，分开黑色和白色边缘和彩色边缘。在实际情况里，如上所述，这是通过检查所有三个通道的梯度值是否是接近255来完成的。在步骤104，进一步确定彩色边缘是蓝色边缘还是黄色边缘，是红色边缘还是青色边缘，是绿色边缘还是紫红色边缘。对于第一组(蓝色或黄色)，红色通道和绿色通道的梯度值应该接近255，但是蓝色通道值应该接近0。为了进一步区分该条纹是蓝色条纹还是黄色条纹，在步骤106检查蓝色通道上的颜色值。如果其值大于预定的阈值B_threshold，那么它就被确认为蓝色条纹。否则，它就是黄色条纹。类似地，在步骤108解决红色和青色问题，在步骤110解决绿色和紫红色问题。在一个实施例中，阈值B_threshold、R_threshold和G_threshold都被设置为接近0到255范围中间值的一个数值，如127。

在确定条纹的颜色后，可以确定该条纹的第一寻址代码。这是因为在增强彩色序列中的彩色条纹的次序是已知的。然后，也可以确定高对比度条纹(在此例子中，它们是黑色条纹或白色条纹)的第二寻址代码。

使用如图11所示的增强彩色序列，以上例子解释了解码程序的基本概念。如果使用不同的颜色来建立彩色条纹，或者高对比度条纹不是黑色条纹和白色条纹，那么解码程序很可能不同。而且，对于使用混合传感器的情况，摄取的彩色图像和黑白图像被用于解码目的。黑白边缘是从黑白图像确定的，而彩色边缘是从彩色图像确定的。因为由黑白传感器检测的黑白条纹之间的边缘要比由彩色传感器检测的边缘更清晰、更锐利，所以如果3D模型是由这些边缘重建的话，会有更好的表现。准确性会更高，也可以得到更多的3D点。在一个实施例中，由混合传感器摄取的两个图像被组合在一起，以产生物体的3D模型。在另一个实施例中，使用从黑白图像中检测到的黑白边缘来重建3D模型，而使用从彩色图像中检测到的彩色边缘来平滑化和改善3D模型。当使用n-元来建立增强彩色序列时，解码程序也可能会不同。但是，基本概念和以上所述的相同。

利用摄取图像中的边缘点和已知投影图象中的相应边缘点之间的关联，可以容易地得到物体在那点上的3D坐标。在步骤90的一个实施中，使用了三角方法。参见图13，当光线从点O94出发，射到物体的点W98并被反射到图像传感器的点L96处，点W的高度可以通过以下等式计算：

$Z=B\frac{\sin \left(\mathrm{\θ}\right)\sin \left(\mathrm{\α}\right)}{\sin (\mathrm{\θ}+\mathrm{\α})}---\left(2\right)$

其中Z是物体表面点的Z坐标；

B是点O94和点L96之间的距离；

θ是线OW和基线之间的夹角；

α是线LW和基线之间的夹角。

在一个实施中，点O是关于投影图像中的一个边缘像素，点L是关于摄取图像中同一边缘边界的对应的边缘像素。然后表面点W的高度可以通过三角原理而计算出来。

已经完整描述了本发明的典型实施例。尽管该描述都涉及特定实施例，但是本发明还可以以这些具体细节的各种变化来实施，这对本领与普通技术人员将是很清楚的。因此本发明不应该限制在在此所述的实施例中。

例如，条纹的形状可以不同。除了直线条纹，也可以使用曲线条纹。根据不同的需求，也可以选择不同宽度和不同数量的条纹。对于使用的混合传感器，彩色传感器和黑白传感器可以集成入一个单独的单元中。但是，也可以使用两个单独的传感器来实现混合式系统。

即使在以上所述的各个实施例中使用了黑色条纹和白色条纹来表示高对比度彩色条纹，但是也可以使用其它颜色对。作为一个例子，高对比度条纹可以是蓝色条纹和黄色条纹对。在此情况下，正常彩色条纹就不包括蓝色和黄色了。

在又一个实施例中，本发明概念可以扩展到，高对比度条纹可以有多于两个元素。

Claims (22)

1.一种用来组成一个增强彩色序列的方法，用于投影到一个物体上以测量所述物体的三维轮廓，包括：

a)通过将至少一个彩色条纹连接在一起，产生至少一个独特元，每个所述的独特元都相互不同；

b)根据预设规则，使用所述至少一个独特元形成彩色条纹的一个序列；

c)选择两个高对比度彩色条纹，其针对所述至少一个独特元的每个所述彩色条纹具有一个相对高的颜色对比度；

d)将所述两个高对比度彩色条纹中的一个高对比度彩色条纹插入到每个所述独特元的每一侧，选择所述两个高对比度彩色条纹中的所述一个高对比度彩色条纹，是基于其针对在每个所述独特元的相应终端上的一个彩色条纹具有最大的颜色梯度；

e)识别多个重复位置，每个所述重复位置是在两个连续的相同的高对比度彩色条纹的中间位置；和

f)从所述两个高对比度条纹中选择一个插入到所述多个重复位置以形成所述增强彩色序列，所述选择的那个高对比度彩色条纹不同于所述两个连续的相同的高对比度彩色条纹。

2.如权利要求1所述的方法，还包括：

a)提供唯一的第一寻址代码给所述彩色条纹序列上的所述至少一个独特元中的每个独特元；和

b)根据所述唯一的第一寻址代码，提供唯一的第二寻址代码给所述增强彩色序列上的每个高对比度彩色条纹。

3.如权利要求1所述的方法，其中所述预设规则是De Bruijn序列。

4.如权利要求1所述的方法，其中所述至少一个彩色条纹是从一个彩色条纹池选出，来自所述池的每个所述彩色条纹具有不同的色谱，但不包含所述两个高对比度彩色条纹的颜色。

5.如权利要求4所述的方法，其中所述两个高对比度彩色条纹分别是白色条纹和黑色条纹。

6.一种通过使用从权利要求2获得的所述增强彩色序列的增强彩色条纹来测量一个物体的三维轮廓的方法，包括：

a)通过一个结构光产生单元产生所述增强彩色条纹；

b)通过一个投影单元投射所述增强彩色条纹到所述物体上；

c)通过一个感应单元摄取从所述物体反射的所述增强彩色条纹的至少一个图像；和

d)通过一个处理单元，根据所述至少一个图像，确定所述物体的所述三维轮廓。

7.如权利要求6所述的方法，其中所述确定步骤还包括：

a)通过一个边缘检测单元，根据所述至少一个图像的色彩变化，识别所述至少一个图像里的边缘；

b)通过一个分析单元，将所述边缘跟所述增强彩色序列上的对应边缘进行比较，并确定两者之间的深度偏差；和

c)通过一个测量单元，根据所述深度偏差，测量所述物体的所述三维轮廓。

8.如权利要求7所述的方法，其中所述识别步骤还包括：根据一个划分算法，识别出所述至少一个独特元的正常彩色边缘和所述多个高对比度彩色条纹的高对比度彩色边缘。

9.如权利要求8所述的方法，其中所述比较步骤还包括：分配第一指针给每个所述正常彩色边缘，并根据所述第一指针，分配第二指针给每个所述高对比度彩色边缘。

10.如权利要求9所述的方法，其中所述比较步骤还包括：将所述第一指针和所述第二指针分别映射到对应的所述第一寻址代码和所述第二寻址代码以获取一个关联关系，所述深度偏差是根据所述关联关系而定。

11.一个通过使用增强彩色序列的增强彩色条纹来测量物体三维轮廓的系统，所述增强彩色序列用来投影到一个物体上以测量所述物体三维轮廓，包括：

a)至少一个独特元，每个所述至少一个独特元是通过将至少一个彩色条纹连接在一起而产生；和

b)多个高对比度彩色条纹，其针对所述至少一个独特元上的每个所述彩色条纹具有一个相对高的颜色对比度；

其中所述多个高对比度彩色条纹中的一个高对比度彩色条纹被插入到每个所述至少一个独特元的每一侧，所述多个高对比度彩色条纹中的所述一个高对比度彩色条纹的选择，是因为其对每个所述至少一个独特元的所述每一侧上的一个彩色条纹具有最大的颜色梯度；并在两个连续的相同的高对比度彩色条纹的中间，插入一个不同于所述两个连续的相同的高对比度彩色条纹的高对比度彩色条纹；

所述系统包括：

a)一个结构光产生单元，用于产生所述增强彩色条纹；

b)一个投影单元，用于将所述增强彩色条纹投射到所述物体上；

c)一个感应单元，用于摄取从所述物体反射的所述增强彩色条纹的至少一个图像；和

d)一个处理单元，用于根据所述至少一个图像确定所述物体的所述三维轮廓。

12.如权利要求11所述的系统，其中在所述增强彩色条纹里的所述多个高对比度彩色条纹包括一个白色条纹和一个黑色条纹。

13.如权利要求12所述的系统，其中所述感应单元包括一个彩色传感器和一个黑白传感器，所述彩色传感器用来摄取从所述物体反射的所述增强彩色序列的一个彩色图像，所述黑白传感器用来摄取从所述物体反射的所述增强彩色序列的一个黑白图像。

14.如权利要求13所述的系统，其中所述感应单元还包括一个分光镜，其用于将从所述物体反射的光分成第一光束和第二光束，并引导所述第一光束到所述彩色传感器上，以及引导所述第二光束到所述黑白传感器上。

15.如权利要求13所述的系统，其中所述感应单元还包括一个折叠镜，其用于首先引导从所述物体反射的光到所述黑白传感器上，然后引导从所述物体反射的所述光到所述彩色传感器上。

16.如权利要求11所述的系统，其中每个所述至少一个独特元被提供给唯一第一寻址代码，并根据所述唯一第一寻址代码，每个所述多个高对比度彩色条纹被提供给唯一第二寻址代码。

17.如权利要求16所述的系统，其中所述处理单元包括：

a)一个边缘检测单元，其根据所述至少一个图像的色彩变化来识别所述至少一个图像里的边缘；

b)一个分析单元，其将所述边缘跟所述增强彩色序列上的对应边缘进行比较，并确定两者之间的深度偏差；和

c)一个测量单元，其根据所述深度偏差来测量所述物体的所述三维轮廓。

18.如权利要求17所述的系统，其中所述边缘检测单元还包括一个识别单元，其根据一个划分算法来识别正常彩色边缘和高对比度彩色边缘。

19.如权利要求18所述的系统，其中所述分析单元分配第一指针给每个所述正常彩色边缘，并根据所述第一指针分配第二指针给每个所述高对比度彩色边缘。

20.如权利要求19所述的系统，其中所述分析单元将所述第一指针和所述第二指针分别映射到对应的所述第一寻址代码和所述第二寻址代码以获取一个关联关系，所述深度偏差是根据所述关联关系而确定的。

21.如权利要求11所述的系统，其中所述至少一个独特元是根据DeBruijn序列连接的。

22.如权利要求11所述的系统，其中所述至少一个彩色条纹包括一个蓝色条纹、一个绿色条纹、一个青色条纹、一个红色条纹、一个紫红色条纹、和一个黄色条纹；所述多个高对比度彩色条纹包括一个白色条纹和一个黑色条纹。