CN107810384B - 条纹投影方法、条纹投影装置和计算机程序产品 - Google Patents

Abstract

一种用于确定主体(12)的形貌的条纹投影方法，包括以下步骤：将一系列成组图案(Ti)投影到主体(12)的表面(20)上，其中每个组均具有至少两个图案(Ti)，并且其中每个图案(Ti)均具有S个条纹；对于每个图案(Ti)，记录具有所投影的图案的表面(20)的图像(24.i)，从而形成一系列的记录；以及从所述图像(24.i)计算形貌，其中投影这种图案，其中每个条纹均具有垂直于条纹纵向方向(L)的强度分布，并且每个强度分布均可以由具有空间相位(β)的函数(Q)表达。根据本发明，相位(β)根据条纹的序数(s)的代码(g(s))而变化。

Description

条纹投影方法、条纹投影装置和计算机程序产品

背景技术

本发明涉及一种用于确定主体的形貌的条纹投影方法，包括步骤：(a)将一系列成组的图案投影到主体的表面上，其中每个组均具有至少两个图案，并且其中每个图案均具有S个条纹，(b)对于每个图案，记录具有投影图案的表面的图像，使得形成一系列的记录，以及(c)根据图像计算形貌。

根据第二方面，本发明涉及一种用于确定主体的形貌的条纹投影装置，具有(i)投影仪，所述投影仪用于将一系列成组的图案投影到主体表面上；(ii)照相机，所述照相机用于记录具有投影图案的表面的图像；和(iii)控制器，所述控制器连接到投影仪和照相机。根据第三方面，本发明涉及一种计算机程序产品。

为了测量主体的形貌，例如使用了有源三角测量方法。这里，投影仪将多个光图案连续地投影到待测量的主体的表面上，并且由照相机记录由图案照射的表面的图像，所述照相机通常相对于投影仪横向偏移。所有这些方法都具有这样的事实：照相机的观察光线与投影仪的各个对应的光照光线或各个对应的光照平面几何相交。确定照相机像素与投影仪像素或投影仪线之间的对应性被称为对应性问题。

为了解决对应性问题，提出了各种投影图案。例如，已知的是用一系列条纹图案照射主体，其中条纹根据时间上顺序的图案遵循格雷码。这里，有利的是，对于具有不允许明确地确定主体表面上的相关点是否已被照射的亮度值的那些照相机像素，主体表面的点的计算更加鲁棒。

在这种条纹投射方法中，存在的缺点在于，反射表面(例如光滑的表面)只能以很大的困难才能测量。这种条纹投射方法在主体的表面以可能生成多次反射的方式被成形的情况下尤其不可靠。

US 2011 008 471 A1公开了一种方法，其中一方面使用基于格雷码的条纹投影，另一方面使用具有正弦强度分布的投影。通过这两种不同的投影获得的数据被一起使用，以便计算样品主体的形状。在这种方法中，缺点是相对较长的测量时间，因为必须投影两组不同的条纹图案。

DE 11 2008 002 148 T5公开了一种使用用于空间编码的条纹状光图案和用于相移方法的条纹状光图案的方法。在这种方法中，必须将两个单独系列的可变图案投影到对象上。

US 6,930,704 B1公开了一种投影条纹图案的方法，其中每个条纹中的强度分布可以具有振幅调制。不使用相位编码。

在Sansoni等人的发表于“关于三维数字成像及造型的最新进展的国际会议论文(Proceedings of International Conference on Recent Advances in 3DD DigitalImaging and Modeling)，1997，第19-26页”的文章“工业工件的尺寸检测的3D成像器；鲁棒和通用系统的当前发展状态(3D Imager for Dimensional Gauging of IndustrialWorkpieces；State of the Art of the Development of a Robust and VersatileSystem)”中，格雷码投影方法也与相移法相结合，其中在这种方法中也有两组各自的图案必须投影到样品上。

在Sansoni等人发表于《应用光学》1999年第38卷第31期第6565-6573页的文章“基于格雷码和相移光投影的组合的三维视觉：系统误差的分析和补偿(Three-dimensionalvision based on a combination of gray-code and phase-shift light projection：analysis and compensation of systematic errors)”中也可以找到相同的方法。

已知的方法具有的缺点是它们相对于漫射和/或模糊的多重反射具有低的鲁棒性。

发明内容

本发明的目的是提出一种条纹投影的改进的方法。

本发明通过一般类型的条纹投影方法实现了该目的，其中每个条纹均具有垂直于条纹纵向方向的强度分布，并且每个强度分布均可以由具有空间相位的函数表示，所述空间相位是条纹序数的函数。

根据第二方面，本发明通过通用类型的条纹投影装置解决了该问题，其控制器适于自动执行本发明的方法。根据第三方面，本发明通过根据权利要求10的计算机程序产品来解决该问题。

本发明的优点在于，由于强度分布基于由照相机像素记录的光强度根据序号的变化而变化，可以高精度地推导出由照相机像素记录的位置。如果发生反射，则相对于不受多重反射影响的光的贡献，反射光对振幅的贡献(即，由预定照相机像素记录的通过图像序列变化的光的总强度)是低的。因此，本发明允许测量反射特别是光滑的主体。

也有利的是，空间分辨率不受最小条纹的条纹宽度的限制。

另一个优点在于相对于漫反射或模糊反射的更高的鲁棒性。在这种反射中，在从表面到另一表面的传输期间，发生图案信号的低通滤波。这意味着低频图案被传输，而高频图案被削弱。以这种方式，高频图案会引起较少的干扰。在本发明中，与基于格雷码的常规条纹投影方法相反，投射了附加的高频图案，这导致改进的鲁棒性。

在本说明书的上下文中，形貌包括主体表面的三维坐标和反射行为。

条纹纵向方向旨在作为条纹延伸的方向。换句话说，条纹纵向是可以沿着条纹的方向，而不会导致强度变化。在进一步的描述中，该方向被认为是y方向。

特别地，强度分布考虑为将光强度与垂直于条纹纵向的位置相关联的图像。垂直于条纹纵向位置的位置是x方向。

该图案被认为是其他相邻条纹的整体。

相位位置被认为是函数的自变量中的项，它描述了不依赖于坐标的强度分布。该相位被认为是该函数的整个自变量。

有利的是，如果函数包含周期性项，或者如果它是一个周期函数，那么这有助于评估。然而，也可能该函数在其部分中单调地上升或下降，而不是周期性的。这使评估复杂化，同时在某些情况下提高了评估的准确性。如果该函数是周期性函数，则如果空间波长至少等于条纹宽度是有利的。

特征是相位位置是条纹的序数的函数，特别是，存在将相位位置与每个序数相关联的函数。

特别是，投影包括光的发射，其允许基于反射光来确定主体的形貌。光聚焦组件可以用于投影，但不是必需的。这允许将清晰图案投影在不透明表面上。然而，也可以通过显示器来投影该序列成组的图案。

根据优选实施例，该函数是周期性的，并且一组图案的强度分布，特别是所有强度分布均具有相同的空间频率。这有利于评估。

有利的是，相位位置根据条纹的序数的代码特别是仅根据序数的码字的一个位置变化。这允许以相对较小的计算努力来计算形貌。代码不被认为是一个不重要的代码，它向一个数字分配完全相同的数字。

代码优选地具有1的汉明距离。这增加了条纹投影方法的鲁棒性。特别有利的是，代码是N格雷码，其中代码字母表包括N个符号。在这种情况下，相位位置是条纹序数的格雷码的函数。格雷码优选地是二进制、三进制、四进制、五进制、六进制、七进制或八进制格雷码。

一组内的所有K图案的相位位置优选彼此不同。然后可以从相位位置一次推导条纹，并根据条纹计算物体的照明点的3D坐标。

优选地，同一组中的至少两个图案的颜色彼此不同。然后可以将两个、三个或更多个图案同时投影到主体上，并且分别评估各个颜色。因此，测量时间大大降低。然而，如果需要特别高的空间分辨率，则通常有利的是将单色或灰色图案投影到主体的表面上，并通过单色照相机记录表面的图像。这种类型的照相机通常由于其芯片特性而具有更高的空间分辨率和光敏性。

有利的是，如果第m组中第k个图案的第s个条纹中的相位位置包含包括s但不包括k的第一项和包括k但不包括s和m的第二项的总和。以这种方式，通过比较用于主体上相同点的不同图案和/或不同组的记录图像，可以单一地确定投影仪像素的位置以及因此点在主体表面上的位置。

特别有利的是，假设第m组中第k个图案的第s个条纹的相位包含项

基于该项，可以容易地从测量的光强度执行光线或光平面的x坐标的确定。

特别有利的是，第m组中第k个图案的第s个条纹的位置x处的强度Q表示为：

这里，p优选为周期函数，特别是三角函数，a、b和c为具有实值的常数。

有利的是，假设相移参数由|δ|≤360°/(N-1)确定，其中N＝#A并且A＝{0,1,....,N-1}是代码的字母表。相移参数优选由|δ|＝360°/N定义。

根据优选实施例，该方法包括以下步骤：(a)根据光强度计算光平面的位置，所述光强度针对相同位置处的图案用照相机像素来测量，以及(b)通过从光平面和光线三角测量来计算该位置的3D坐标，这引向这个位置。对于照相机的多个像素特别是所有像素执行这些步骤。

附图说明

下面将借助附图说明本发明。尤其是：

图1示出了用于执行根据本发明的方法的本发明的条纹投影装置的示意图，

图2示出了解释根据本发明的方法的实施例的示意图，

图3示出根据实施例投影的一系列图案，以及

图4示出了通过投影根据图3的图案生成的一系列照相机图像的实施例。

具体实施方式

图1示出了用于确定主体12的形貌的本发明的条纹投影装置10，该装置具有投影仪14、照相机16和控制器18。投影仪14被配置为投影一系列成组的图案T₁，T₂，...到主体12的表面20上。该系列图案被绘制在一起，其中时间线22指示根据时间顺序投影单个图案。然而应当注意，如果图案的颜色不同，则也可以同时投影两个或更多个图案。

由于投射在表面20上的图案T_i，因此在表面20上生成明暗图案。照相机16对于每个图案记录图像24。照相机记录针对第一图案T₁的图像24.1、针对第二图案T₂的图像24.2和针对第i图案的一般图像24.i。图3示出了用于本发明方法的可能实施例的图像24.1至24.8。

为了计算主体12的形貌，特别是计算表面20在预定坐标系中的三维坐标，对于照相机16的每个检测点，理论观察线28以光平面30为准并与之相交。基于投影仪14和照相机16的坐标以及观察线28和光平面30延伸所成的角度，确定表面20上的点P的坐标，该点P已由光平面30击中，并且被观察线28检测到。这个计算是已知的。该问题在于基于预定照相机像素的光强度

的顺序来确定在点P入射的光平面30。

本说明书涉及一种条纹投影方法，其中将一系列成组的图案投影到表面20上，这允许特别精确地确定表面20上的点的坐标。此外，在本发明的方法中使用的一系列成组的图案特别适用于测量具有光滑表面的主体12。

图1、2和3示出了图案T_i分别具有恒定数量的S个条纹。

图2示出了用于本发明的条纹投影方法的系列成组的图案的示意图。在最上部分，绘制独立坐标x。垂直于x方向的y方向表示为条纹纵向L。针对图案T_i中的每个条纹沿着条纹纵向方向L的亮度在技术上是恒定的。这意味着投影光强度Q_proj可以振荡，不过这些振荡如此小以至于在评估中可忽略不计。

图2示意性地示出了S＝16个条纹的一系列成组的图案。条纹的数字索引s从0开始，即条纹连续编号，其中s＝0，s＝1，...s＝15。在坐标系中，条纹在区间[0，X]内延伸，即最小x值的定义为0，而最大的x值为X。

在下部分中，示出图案T₁，T₂，...的时间序列的强度分布。在本例中，

其中δ＝360°/N。N是使用的格雷码的字母表中的符号数。因此，图案T₁的强度分布为Q_proj＝sin(360°Sx/X)。第一图案T₁是第一组的一部分，因此m＝0；并且是第一图案的一部分，因此k＝0。

由于每个组均包括彼此相移达

的K个图案，因此可以定义K维度强度矢量

其分量是一组内的图案的强度。从强度矢量

可以计算二维相位矢量

可以看出，在当前情况下，第一组中的两个图案都以在两个条纹彼此相邻的边界上连续合并的方式被选择。

在图2的第二组中，存在具有四个相应条纹的四个分离的段，其中强度分布在四个段之间的边界处是不连续的。在第三组中，在相邻条纹之间的所有边界上的强度分布是不连续的，除了在先前图案组中不连续已经存在的那些边界外。

基于所描述的系列的成组的图案，基于由照相机16(参见图1)记录的图像点以下列方式计算主体的形貌：

在第0个图案组处，即m＝0时，相位位置独立于条纹的序数s。这可以实现，因为对于S的格雷码字g(s)中的第0个位置，总是选择值0，即对于所有s∈{0,1,…,s-1}，g_s,0＝0。

这对应于附加第0个位置的格雷码的扩展，即对于S＝16个条纹，使用3位代码字，尽管对于具有四进制格雷码的16个条纹进行编码，2位数将足够。

从测量数据计算形貌

第m组中第k个图案的强度分布如前所述为

对于相位位置

这些图案被投影到主体上、被主体反射并由照相机记录。入射到各个照相机像素上的强度

对应于

这里，x仍然表示图案的x坐标，其负责照相机像素的记录强度。因此，x的值是恒定的但未知的(对应性问题)。在本文中，s仍然表示条纹的序数，并且也是常数，尽管未知。

必须计算投影仪条纹s和x坐标，以解决对应性问题并执行三角测量。此外，到达照相机像素的振幅

也是未知的，因为它受到主体的反射特性的影响。

通过通常的预处理(通过与其他投影图案相减)来消除照相机像素强度

的偏移量c或偏移量

因此，已知的是S,X,k,

m,δ和用于g_s,m的编码。最初地，求解s，然后x。

还假设第0个图案组(m＝0或参考信号)不包含任何相移，因此，对于所有s∈{0,1,…,S-1}，g_s,0＝0。因此在第0个图案组的投影的情况下，照相机像素的强度是：

对于s和x的计算，我们首先将记录在照相机像素中的所有强度以相应图案组的k∈{0,1,…,K-1}进行分组，以形成强度矢量

根据三角法的加法定理：

通过(1)的等效转换得出：

用已知的常数矩阵H和未知的二维相位矢量

在K＝2和

的情况下，H成为单位矩阵，并且简单的关系成立为：

在一般情况下，相位矢量

可以通过伪逆(Moore-Penrose-Inverse)H⁺来计算：

对于

单一解的前提条件是H的等级高于1。

这正是如下情况：K>2和

为了计算s，现在有两种可能性。

方法A

第0个相位矢量

和第m相位矢量

之间的取向角对应于相位跃变g_s,mδ：

角度函数

在这里描述了在数学上正向旋转方向上的矢量

之后的矢量

的二维中的正向角度。该角度可以例如通过已知的atan2函数来计算：

对于所寻求的投影条纹s的计算，现在选择数值s∈{0,1,…,S-1}，对于所有m∈{0,1,…,M-1}，求解同余方程(2)。

方法B

更鲁棒的是通过最大化确定s。为此，参考信号的强度矢量

以这样的方式旋转，即如果s被适当地选择，则它被定向在与

相同的方向上，在该情况下，标量积<.,.>最大化。

在计算投影仪条纹s之后，图案的x坐标可以通过从相移方法已知的计算方法来确定。为此，观察第0个强度矢量就足够了。公式：

然后提供由照相机像素检测到的投影图案的x坐标。

从如此计算的投影仪的x坐标和照相机像素的坐标，通过校准测量确定的照相机16和投影仪10的空间位置以及照相机16和投影仪10的成像特性，P的坐标然后通过三角测量来确定为已知的。通过控制器18对照相机18的所有像素自动执行该方法，并且因此计算表面20的点P的坐标。这样形成的点云描述了主体12的形貌。

附图标记列表

10 条纹投影装置

12 主体

14 投影仪

16 照相机

18 控制器

20 表面

22 时间线

24 照相机图像

28 观察光线

30 光平面

β 相位

δ 相移参数

角度差

a 实数

b 实数

c 实数

g 其格雷码分配给数字的函数

g_s,m s格雷码的第m个位置

k 在组中的图案指数

K 每组的图案数

L条纹的纵向方向

m 组的指数

M 组数

N 码字母表的符号数

p 函数

P 在表面上的点

检测强度

Q_proj 投影光强度

t 时间

s 条纹索引

S 条纹数

T 图案

x 图案坐标

X 图案宽度，或可能的最大坐标

y 平行于条纹的图案坐标

Claims (11)

1.一种用于确定主体(12)的形貌的条纹投影方法，包括以下步骤：

(a)将一系列的成组图案(Ti)投影到所述主体(12)的表面(20)上，其中每个组均具有至少两个图案(Ti)，并且其中每个图案(Ti)均具有S个条纹；

(b)对于每个图案(Ti)，记录具有所投影的图案的表面(20)的图像(24.i)，从而形成一系列的记录；

(c)从所述图像(24.i)计算所述形貌，

(d)其中这些图案被投影，其中每个条纹均具有垂直于条纹纵向方向(L)的强度分布，并且每个强度分布均能由具有空间相位β的函数Q来表示，

其特征在于

(e)所述相位β根据所述条纹的序数s的代码g_(s)而改变，并且每一组中的图案的条纹的相位β依赖于所述序数s的码字的单个位置，并且

所述代码g_(s)是s的格雷码。

2.根据权利要求1所述的条纹投影方法，其特征在于：

-所述函数Q是周期性的，以及

-组中的图案(Ti)的所述强度分布具有相同的空间频率。

3.根据权利要求2所述的条纹投影方法，

其特征在于：

组中的图案(Ti)的所有强度分布均具有相同的空间频率。

4.根据前述权利要求中任一项所述的条纹投影方法，

其特征在于：

一组中的所有k个图案的所述相位β均彼此不同。

5.根据权利要求1所述的条纹投影方法，

其特征在于：

第m组中第k个图案的第s个条纹中的所述相位β包括以下总和：

包含s但不包含k的第一项，和

包含k但不包含s和m的第二项。

6.根据权利要求5所述的条纹投影方法，其特征在于

第m组中第k个图案的第s个条纹的所述相位β包含下列项：

其中

S是条纹的总数(s＝0,1，...，S-1)，

x是垂直于条纹纵向方向的坐标，

X是x值的区间上限，(x∈{0,……,X})，

是一个角度差，其中

g_s,m是s的所述格雷码的第m个位置，以及

δ是相移参数，其中δmod360°≠0°。

7.根据权利要求6所述的条纹投影方法，其特征在于

第m组中的第k个图案的第s个条纹的位置x的强度Q表示为：

其中p是360°周期函数，

其中a是具有实值的常数，以及

其中b是具有实值的常数，以及

其中c是具有实值的常数。

8.根据权利要求7所述的条纹投影方法，其特征在于，对于相移参数保持：

其中N是代码字母表的符号数。

9.根据权利要求7所述的条纹投影方法，其特征在于，所述周期函数是三角函数。

10.一种用于确定主体的形貌的条纹投影装置，具有：

(i)投影仪，所述投影仪用于将一系列成组图案投影到所述主体(12)的表面(20)上，

(ii)照相机(16)，所述照相机用于记录具有所投影的图案的表面(20)的图像(24)，以及

(iii)计算机(18)，所述计算机连接到所述投影仪(14)和所述照相机(16)，

其特征在于：

(iv)所述计算机(18)适于自动执行根据前述权利要求中任一项所述的方法。

11.一种机器可读介质，包括指令，所述指令当在计算机(18)上执行时，促使所述计算机(18)：

(i)生成控制信号，通过所述控制信号，条纹投影装置(10)以生成一系列图像(24.i)的方式被控制，所述条纹投影装置(10)具有：

-投影仪(14)，所述投影仪用于将一系列成组图案投影到主体(12)的表面(20)上，以及

-用于记录所述表面(20)的图像(24.i)的照相机(16)，在所述表面(20)上具有投影的图案，并且

(ii)根据所述一系列图像(24.i)，计算所述主体(12)的形貌，

(iii)其中每个条纹均具有垂直于条纹纵向方向(L)的强度分布，

每个强度分布均能由具有空间频率和空间相位β的周期函数来描述，并且所述相位β根据条纹的序数s的代码g_(s)而变化，并且每一组中的图案的条纹的相位β依赖于所述序数s的码字的单个位置，并且所述代码g_(s)是s的格雷码。

Images