CN115003982A - 使用全光相机和结构化照明确定表面的三维轮廓的系统和方法 - Google Patents

Abstract

本发明涉及确定表面的三维轮廓的领域。本发明涉及使用全光相机和结构化照明系统来确定这种三维轮廓的系统和方法。根据本发明，该方法(30)包括以下步骤：#获取(31)全光图像的序列，每个全光图像由一组像素形成，并且包括表面的从不同视角观察的多个子图像，该组像素各自与成像的表面元件的光强度相关联，#将结构化图像的序列投影(32)到表面上，结构化图像的序列与全光图像的序列同步，使得每个成像的表面元件被光强度的系列照射，该光强度的系列与照射其他成像的表面元件的光强度的系列不同，#对于全光图像的每个像素构建(33)强度矢量，强度矢量表示成像的表面元件的光强度的系列，以及#根据像素的强度矢量的相似性来将子图像的每个像素与另一个子图像的像素匹配(34)。

Description

使用全光相机和结构化照明确定表面的三维轮廓的系统和 方法

技术领域

本发明涉及确定表面的三维轮廓的领域。本发明涉及一种用于确定这种轮廓的系统，该系统包括：照明系统，照明系统被配置成将结构化照射投影到该表面上；全光相机，全光相机被配置成获取该表面的全光图像；以及处理单元，处理单元被配置成从由全光相机获取的图像来重构深度信息。本发明还涉及用于确定表面的三维轮廓的方法的领域。

特别地，本发明应用于在工业环境中控制和检查部件的表面，但也可以应用于涉及确定物体的一个或多个表面的三维轮廓的其他领域，例如视频监视或驾驶员辅助系统。

背景技术

机械部件的质量控制是制造业中的常见问题。特别地，这种类型的控制可以使用超声波传感器、探头或通过图像处理来执行。特别地，该控制的目的可以是为了检查机械部件的表面是否以预定的公差裕度再现了期望的轮廓。为此，基于图像处理的控制通常包括获取一对立体图像，通过搜索图像中的形状相似性来匹配立体图像的像素，以及通过基于图像中像素的相应位置的三角测量来确定深度信息。

代替立体图像获取系统，也可以使用全光相机，全光相机从不同的视角生成多个图像。全光相机在测量性能与系统紧凑性之间提供了有趣的折中。然而，深度信息的确定仍然依赖于在两个或更多个图像之间通过搜索形状相似性来进行像素匹配。然而，搜索形状相似性的过程需要大量的计算资源，并且对于具有很少特征(例如形状、颜色或纹理的变化)或没有特征的表面，该过程可能特别复杂甚至不可能。便于图像匹配的一种解决方案是在待检查的物体上添加物理标记。然而，该解决方案是繁琐的，因为该解决方案涉及这些物理标记的布置和可能的移除。而且，该解决方案不总是适用的，并且取决于待检查的物体。

便于图像匹配的另一种解决方案是将图像获取与特定照明相关联。因此，该测量方法被称为“主动测量方法”。该测量方法包括将已知的结构化照明投影到物体上，并且搜索与该结构化照明相关的空间相似性或相位相似性。特别地，可以使用激光干涉法或视频投影仪来投影条纹，或者可以生成具有规则的或伪随机的空间分布的一组图案。然而，这些技术仍然涉及空间相似性搜索过程，空间相似性搜索过程在计算资源方面是昂贵的。此外，全光相机具有大量的子孔，因此照射的图案必须具有低冗余度，以不导致像素匹配模糊。实际上，主动测量方法很难与全光相机一起使用。

鉴于上述，本发明旨在提供一种使用简单且鲁棒的全光相机来确定表面的三维轮廓的方法。本发明还旨在提供一种用于确定表面的三维轮廓的系统，该系统的设计成本、制造成本以及维护成本与工业规模上的使用相匹配。

发明内容

为此，本发明基于：将变化的结构化图像投影到其轮廓待确定的表面上，获取表面的全光图像的序列，以及搜索构成全光图像的不同子图像的像素之间的时间相似性。

更具体地，本发明涉及用于确定表面的三维轮廓的系统，该系统包括：

-全光相机，全光相机被配置成获取表面的全光图像的序列，每个全光图像由一组像素形成，并且包括表面的从不同视角观察的多个子图像，该组像素各自与成像的表面元件的光强度相关联，

-照明系统，照明系统被配置成将结构化图像的序列投影到表面上，结构化图像的序列与全光图像的序列同步，使得每个成像的表面元件被光强度的系列照射，该光强度的系列与照射其他成像的表面元件的光强度的系列不同，以及

-处理单元，处理单元被配置成对于全光图像的每个像素构建强度矢量，强度矢量表示与所讨论的像素对应的成像的表面元件的光强度的系列，并且根据像素的强度矢量之间的相似性将子图像的每个像素与另一个子图像的像素匹配。

通过在序列期间改变结构化图像，投影到成像的表面元件上的光强度以及因此从这些成像的表面元件反射的光强度也改变。因此，每个成像的表面元件可以反射与其他成像的表面元件相比以独特的方式变化的光强度。全光图像序列与结构化图像序列同步。换言之，每个全光图像在结构化图像的投影期间被获取。因此，在序列期间，一个像素的光强度的变化必然不同于另一个像素的光强度的变化，因为这两个像素与不同的成像的表面元件相关联。相反地，其光强度具有相同或相似的变化的像素的存在表明这些像素与同一成像的表面元件相关联。

特别地，序列中的结构化图像和全光图像的数量(被表示为N)取决于子图像中的像素的数量。像素的数量越高，N一定越大。优选地，N大于或等于10。例如，对于各自由100像素乘100像素的阵列形成的子图像，特别地，N可以大于或等于50，或者大于或等于100。

根据一个特定的实施例，照明系统被配置成使得每个结构化图像由一组投影图案形成，所述一组投影图案具有随机光强度分布。随机光强度分布意味着投影图案在任何方向上或平面中不存在周期性或伪周期性。

照明系统可以包括：

-透射掩模，透射掩模由一组图案形成，所述一组图案各自的透射率可以取两个不同的值中的至少一个值，以及

-光源，光源被布置成通过穿过透射掩模的投影来照射该表面。

例如，透射掩模的图案的尺寸约为10μm(微米)。特别地，每个图案可以是矩形或正方形。该组图案例如呈以行和列布置的阵列的形式。

优选地，照明系统被配置成使得图案各自的尺寸小于成像的表面元件的尺寸。

透射掩模的每个图案的透射率可以取零或一的值，即，透射掩模的每个图案可以完全阻挡光束的能量，或者使得光束全部穿过。透射率还可以取第一值和第二值，第一值介于0％至20％之间，第二值介于80％至100％之间。透射掩模例如具有50％的总透射率。

可替代地，透射掩模的每个图案的透射率可以取多个值，例如8、64、128或256。

根据一个特定的实施例，照明系统还包括移位装置，移位装置被布置成使透射掩模和/或光源相对于表面移位，以对序列的不同的结构化图像进行投影。

光源可以是点光源。因此，光源可以被单独地移位以获得不同的结构化图像。光源也可以采取背光的形式。特别地，光源可以包括发光二极管的阵列。当光源的范围大于由透射掩模在与序列中的不同的结构化图像相关联的位置上覆盖的范围时，光源不一定移位。

在一个特定实施例中，移位装置包括：

-支撑部，支撑部被布置成接纳透射掩模，以及

-定位板，定位板被布置成使支撑部沿着至少一个旋转轴线或至少一个平移轴线移位。

特别地，支撑部可以包括框架，透射掩模可以被定位和固定在框架内。

定位板例如被布置成使支撑部沿着与光源的投影轴线平行的旋转轴线移位。优选地，旋转轴线偏心于透射掩模的中心。可替代地，定位板可以被布置成使支撑部沿着第一平移轴线和第二平移轴线移位，第一平移轴线和第二平移轴线限定了与光源的投影轴线垂直的平面。

此外，在一个特定实施例中，透射掩模的图案具有沿着第一轴线的第一尺寸和沿着第二轴线的第二尺寸，并且移位装置被布置成使透射掩模和/或光源在两个相继的结构化图像之间以移位步长进行移位，移位步长大于或等于第一尺寸与第二尺寸中的较大尺寸。优选地，位移步长大于或等于第一尺寸与第二尺寸中的较大尺寸的两倍。

根据一个特定的实施例，透射掩模的每个图案包括液晶，照明系统还包括：一组电极，该组电极被布置在图案的两侧；以及控制单元，控制单元被配置成向电极供电，以单独地控制每个图案的透射率。因此，透射掩模形成液晶显示器。可选地，该特定实施例可以与其中照明系统包括移位装置的实施例结合，移位装置用于使透射掩模移位。因此，根据每个图案的透射率以及根据透射掩模相对于表面的位置来形成全光图像。

优选地，光源是单色的。光源例如发射波长为405nm(纳米)、465nm、525nm或625nm的光束。单色光源避免了色散，从而产生具有尖锐的边缘的投影图案。

此外，优选地，光源是非相干的或具有低的时间相干性。相干光源能够在被照射的表面上产生光斑。因此，这些光斑增加到投影图案中，并可能破坏图案的识别。

根据一个特定的实施例，全光相机包括：

-光传感器，光传感器包括一组传感元件，以及

-一组显微透镜，每个显微透镜与光传感器的传感元件的子组相关联，使得传感元件的每个子组能够生成子图像。

光传感器的传感元件例如被布置成行和列的形式。相似地，显微透镜可以被布置成行和列的形式。例如，光传感器可以包括15,000行乘15,000列的光传感器、以及150行乘150列的显微透镜。因此，每个显微透镜与一组100行乘100列的传感元件相关联。

在一个特定实施例中，处理单元被配置成：对于与给定的显微透镜相关联的子图像的每个序列，以及对于所考虑的子图像的每个像素，从与给定的显微透镜的相邻的显微透镜相关联的子图像的序列的像素中搜索具有最相似的强度矢量的一个或多个像素。给定的显微透镜的相邻的显微透镜至少包括位于同一列中且在上一行和下一行中的两个相邻显微透镜，以及位于同一行中且在前一列和后一列中的两个相邻显微透镜。相邻的显微透镜还可以包括位于上一行或下一行并且位于前一列或后一列中的四个显微透镜。更通常地，相邻的显微透镜可以包括秩为P的邻域(voisinage)，其中P表示给定透镜的行秩与相邻透镜的行秩之间的最大偏移，以及给定透镜的列秩与相邻透镜的列秩之间的最大偏移。因此，秩为2的邻域包括二十四个相邻显微透镜。当子图像的不同序列的多个像素具有与所考虑的像素相似的强度矢量时，可以考虑这些像素中的所有像素。

处理单元还可以被配置成根据与所述成像的表面元件相关联的匹配的像素来确定每个成像的表面元件的深度信息。特别地，生成匹配像素的传感元件的相应位置使得能够通过三角测量来确定成像的表面元件的距离信息。

本发明还涉及用于确定表面的三维轮廓的方法，该方法包括以下步骤：

-获取全光图像的序列，每个全光图像由一组像素形成，并且包括表面的从不同视角观察的多个子图像，该组像素各自与成像的表面元件的光强度相关联，

-将结构化图像的序列投影到表面上，结构化图像的序列与全光图像的序列同步，使得每个成像的表面元件被光强度的系列照射，该光强度的系列与照射其他成像的表面元件的光强度的系列不同，

-对于全光图像的每个像素构建强度矢量，强度矢量表示与所讨论的像素对应的成像的表面元件的光强度的系列，以及

-根据像素的强度矢量之间的相似性来将子图像的每个像素与另一个子图像的像素匹配。

附图说明

本发明的其他特征、细节以及优点将在阅读以下描述后显现，该描述仅为说明的目的而提供，并且参考附图给出，在附图中：

-图1概略地示出了根据本发明的用于确定表面的三维轮廓的系统的第一示例；

-图2概略地示出了根据本发明的用于确定表面的三维轮廓的系统的第二示例；

-图3示出了根据本发明的用于确定表面的三维轮廓的方法的示例。

具体实施方式

图1概略地示出了根据本发明的用于确定表面的三维轮廓的系统的第一示例。附图标记1表示其三维轮廓将重构的表面。该系统2包括全光相机3、照明系统4以及处理单元5。

全光相机3包括光学获取透镜6、显微透镜阵列7以及光传感器8。光学获取透镜6被布置成将从表面1反射的光束的一部分引导朝向显微透镜阵列7。光传感器8是平面传感器，该平面传感器包括被组织成阵列的一组传感元件9。例如，光传感器包括一组15,000行乘15,000列的传感元件。光传感器8例如对可见光波长敏感。光传感器至少对由照明系统4发射的光束的波长敏感。因此，光传感器8可以生成由15,000乘15,000的像素形成的全光图像，每个像素表示从由该像素成像的表面元件发出的光强度。显微透镜阵列7包括也被组织成行和列的一组显微透镜10。例如，显微透镜阵列包括150行乘150列的显微透镜。每个显微透镜10与传感元件9的独立的子组相关联。每个子组由相邻的传感元件形成，使得可以生成与全光图像的一部分对应的子图像。在这种情况下，每个显微透镜10和传感元件9的每个相关联的子组能够生成子图像，该子图像具有100行乘100列的像素。显微透镜10被布置成使得不同的子图像分区段地表示从不同的视角观察的表面1。

照明系统4包括光源11、透射掩模12、马达13以及光学投影透镜14。光源11被布置成均匀地照射透射掩模12。光源包括例如发光二极管的阵列。优选地，光源11发射具有单波长(例如405nm的波长)的非相干光束。透射掩模12由一组图案15形成，该组图案中的每个图案的透射率可以选取为零的值或接近零的值，或者选取单位值或接近单位值的值。换言之，每个图案15被布置成阻挡由光源11发射的光束或者使由光源发射的光束穿过。每个图案15例如呈正方形的形式，该正方形具有10μm(微米)的边长。透射掩模12包括例如不透明板，在不透明板中，开口被制造成形成交替的敞开和闭合的图案。图案15例如被组织成阵列的形式。优选地，图案被布置成具有随机分布的透射率值。马达13被布置成使得马达使透射掩模12围绕一轴线旋转，该轴线平行于由光源11发射的光束的轴线。例如，该马达是步进式马达。马达13被布置成将透射掩模12布置在至少N个不同的位置处，其中，N是大于或等于10的自然数。优选地，N大于或等于100。光学投影透镜14被布置成将光束聚焦在表面1上，光束由光源11发射并且由透射掩模12滤波。为了获得大的景深，光学投影透镜14可以是远心透镜。因此，照明系统4使得能够在表面1上生成所谓的结构化图像，每个结构化图像是通过将透射掩模12的图案15投影到表面1上而形成的。当图案15具有随机分布的透射率值时，每个结构化图像具有对应的随机分布的光强度。

处理单元5被配置成以同步的方式控制全光相机3和照明系统4。处理单元被设置成命令照明系统4相继地对N个结构化图像进行投影，并且命令全光相机3获取与N个结构化图像同步的N个全光图像。因此，每个全光图像在结构化图像的投影期间被获取。在图1中示出的示例实施例中，N个全光图像通过使透射掩模移位来获得。该移位被设置成使得由全光相机3成像的每个表面元件被光强度的系列照射，该光强度的系列与对其他成像的表面元件进行照射的光强度的系列不同。因此，每个成像的表面元件可以在全光图像的不同的子图像中被单独地识别。为此，处理单元5被配置成对于全光图像的每个像素构建强度矢量，该强度矢量表示与所讨论的像素对应的成像的表面元件的光强度的系列。处理单元5还可以被配置成根据像素的强度矢量之间的相似性来将子图像的每个像素与另一个子图像的像素匹配。可以使用不同的相似性方法，例如基于相关系数的方法、基于平方强度差(squared intensity difference，SD)的方法、基于绝对强度差(absolute intensitydifference，AD)的方法或基于平均绝对差(mean absolute difference，MAD)的方法。最后，处理单元5可以被配置成根据与所述成像的表面元件相关联的匹配的像素来确定每个成像的表面元件的深度信息。通常，该深度信息可以通过三角测量来获得。

图2概略地示出了根据本发明的用于确定表面的三维轮廓的系统的第二示例。该系统20包括处于同轴构造的全光相机、照明系统。与图1中的系统2相似，系统20包括光学获取透镜6、显微透镜阵列7、光传感器8、光源11、透射掩模12以及马达13。该系统还包括共用光学透镜21和强度分离板22。强度分离板22被布置成一方面使来自透射掩模12的光束的一部分朝向共用光学透镜21透射，另一方面使来自共用光学透镜21的光束的一部分朝向光传感器8透射。因此，结构化图像沿着光学轴线投影到表面1上，该光学轴线与获取全光图像所沿的光学轴线相同。

图3示出了根据本发明的用于确定表面的三维轮廓的方法的示例。以说明的方式，方法30被认为是使用图1中的系统2来实施的。方法30包括：获取N个全光图像的序列的步骤31、对N个结构化图像的序列进行投影的步骤32、构建强度矢量的步骤33、对像素进行匹配的步骤34以及对表面的三维轮廓进行重构的步骤35。获取全光图像的步骤31和对结构化图像进行投影的步骤32是同步的，获取全光图像的步骤由全光相机3执行，对结构化图像进行投影的步骤由照明系统4执行，每个全光图像是在对对应的结构化图像进行投影期间获取的。构建强度矢量的步骤33由处理单元5执行。如上文所述，构建强度矢量的步骤包括对于全光图像的每个像素形成具有维数为N的矢量，该矢量包括由光传感器8的对应传感元件量化的不同的光强度。像素匹配步骤34包括对于子图像的每个像素，搜索一个或多个其他子图像的具有相同或相似的强度矢量的像素。优选地，该搜索在相邻的子图像中执行，即，在与显微透镜10相关联的子图像中执行，该显微透镜10邻近于与所考虑的子图像相关联的显微透镜。三维轮廓重构步骤35包括根据与该成像的表面元件对应的匹配的像素来确定每个成像的表面元件的距离信息。该距离信息是沿着全光相机3的光学轴线确定的。

Claims (13)

1.用于确定表面的三维轮廓的系统，所述系统包括：

-全光相机(3)，所述全光相机被配置成获取所述表面(1)的全光图像的序列，每个全光图像由一组像素形成，并且包括所述表面的从不同视角观察的多个子图像，所述一组像素各自与成像的表面元件的光强度相关联，

-照明系统(4)，所述照明系统被配置成将结构化图像的序列投影到所述表面上，所述结构化图像的序列与所述全光图像的序列同步，使得每个成像的表面元件被光强度的系列照射，所述光强度的系列与照射其他成像的表面元件的光强度的系列不同，以及

-处理单元(5)，所述处理单元被配置成对于所述全光图像的每个像素构建强度矢量，所述强度矢量表示与所讨论的像素对应的成像的表面元件的光强度的系列，并且根据像素的强度矢量之间的相似性将子图像的每个像素与另一个子图像的像素匹配。

2.根据权利要求1所述的系统，其中，所述照明系统(4)被配置成使得每个结构化图像由一组投影图案形成，所述一组投影图案具有随机光强度分布。

3.根据权利要求1或2所述的系统，其中，所述照明系统(4)包括：

-透射掩模(12)，所述透射掩模由一组图案(15)形成，所述一组图案各自的透射率能够取两个不同的值中的至少一个值，以及

-光源(11)，所述光源被布置成通过穿过所述透射掩模(12)的投影来照射所述表面(1)。

4.根据权利要求3所述的系统，其中，所述照明系统(4)还包括移位装置(13)，所述移位装置被配置成使所述透射掩模(12)和/或所述光源(11)相对于所述表面(1)移位，以对所述序列的不同的结构化图像进行投影。

5.根据权利要求4所述的系统，其中，所述移位装置包括：

-支撑部，所述支撑部被布置成接纳所述透射掩模，以及

-定位板，所述定位板被布置成使所述支撑部沿着至少一个旋转轴线或至少一个平移轴线移位。

6.根据权利要求4或5所述的系统，其中，所述透射掩模(12)的图案(15)具有沿着第一轴线的第一尺寸和沿着第二轴线的第二尺寸，并且所述移位装置(13)被配置成使所述透射掩模(12)和/或所述光源(11)在两个相继的结构化图像之间以移位步长进行移位，所述移位步长大于或等于所述第一尺寸与所述第二尺寸中的较大尺寸。

7.根据权利要求3至6中任一项所述的系统，其中，所述透射掩模(12)的每个图案(15)包括液晶，所述照明系统(4)还包括：一组电极，所述一组电极被布置在所述图案的两侧；以及控制单元，所述控制单元被配置成向所述电极供电，以单独地控制每个图案的透射率。

8.根据权利要求3至7中任一项所述的系统，其中，所述光源(11)是单色的。

9.根据权利要求3至8中任一项所述的系统，其中，所述光源(11)是非相干的。

10.根据前述权利要求中任一项所述的系统，其中，所述全光相机(3)包括：

-光传感器(8)，所述光传感器包括一组传感元件(9)，以及

-一组显微透镜(7)，每个显微透镜(10)与光传感器的传感元件(9)的子组相关联，使得传感元件的每个子组能够生成子图像。

11.根据权利要求10所述的系统，其中，所述处理单元(5)被配置成：对于与给定的显微透镜(10)相关联的、子图像的每个序列，以及对于所考虑的子图像的每个像素，从与所述给定的显微透镜的相邻的显微透镜相关联的子图像的序列的像素中搜索具有最相似的强度矢量的像素。

12.根据前述权利要求中任一项所述的系统，其中，所述处理单元(5)还被配置成根据与所述成像的表面元件相关联的匹配的像素来确定每个成像的表面元件的深度信息。

13.用于确定表面的三维轮廓的方法，所述方法包括以下步骤：

-获取(31)全光图像的序列，每个全光图像由一组像素形成，并且包括所述表面的从不同视角观察的多个子图像，所述一组像素各自与成像的表面元件的光强度相关联，

-将结构化图像的序列投影(32)到所述表面上，所述结构化图像的序列与所述全光图像的序列同步，使得每个成像的表面元件被光强度的系列照射，所述光强度的系列与照射其他成像的表面元件的光强度的系列不同，

-对于所述全光图像的每个像素构建(33)强度矢量，所述强度矢量表示与所讨论的像素对应的成像的表面元件的光强度的系列，以及

-根据像素的强度矢量之间的相似性来将子图像的每个像素与另一个子图像的像素匹配(34)。

Images