CN111971525A - 用立体镜测量物体的方法和系统 - Google Patents

Abstract

本发明涉及一种通过立体镜测量物体(2)的方法和系统，其中通过投影仪(9)将图案(3)投影到物体表面上，并且由至少两个摄像机(4.1、4.2、4.3、4.4)捕获被指定为场景并投影到物体表面上的图案(3)，其中，由运算单元(5)使用图像处理在由摄像机(4.1、4.2、4.3、4.4)捕获的图像中找到场景的对应关系，并且利用找到的对应关系来测量物体(2)。根据本发明，摄像机(4.1、4.2、4.3、4.4)经过内部和外部校准，并且在图案投影期间以下来生成二维时间编码：(a)投影(完全的)二维编码图案(3)，并使用摄像机(4.1、4.2、4.3、4.4)来捕获场景，并且(b)连续多次投影具有不同二维编码的时间编码图案，并使用摄像机(4.1、4.2、4.3、4.4)连续捕获多个场景，在每种情况下，同时触发对所述场景的捕获。

Description

用立体镜测量物体的方法和系统

技术领域

本发明涉及一种方法和系统，该方法和系统用于根据权利要求1的前序部分所述的方法和根据权利要求12的前序部分所述的装置使用立体镜测量特别是三维物体，其中投影仪将图案投影到物体表面上，并且被指定为场景并被投影到物体表面的图案被至少两个摄像机捕获。通过运算单元使用图像处理，在摄像机捕获的图像中找到场景的对应关系，并且使用找到的对应关系来测量物体。这尤其是通过确定识别的对应关系的坐标来完成的。换句话说，测量用投影图案照射的物体表面。

所谓的立体镜测量是用于物体的三维光学测量的已知方法。因此两个摄像机被安装使得彼此相距一定距离并在该距离内观察待测场景。有尝试使用自然照明或至少使用非结构化照明的被动方法，以及使用结构化照明的主动方法。使用结构化的照明，以便可以更可靠地解决立体镜法中最困难的问题，即对各种摄像机图像中对应关系的进行坚固检测。同样，这里有几种已知的方法，所有这些方法最终都会评估每个摄像机中的像素。

背景技术

从DE102016002398A1中已知这种方法的示例，其中将多条(未编码的窄的)光线投影到待测物体上，并用摄像机捕获投影的线。由于这些线是未编码的线，因此，在摄像机与这些线的投影角之间存在较大视角的情况下，随着线数的增加，很难对这些线进行索引。然而，大的视角(三角剖分角度)允许精确确定物体在测量点的深度，由此对于物体的测量必须知道线索引。在系统上不可能同时具有高分辨率，即投影的线的高密度和物体深度的精确测量。因此，建议使用相对于线投影的光轴具有不同的大的三角剖分角度的两个摄像机进行测量，同时捕获相同的像素，第一摄像机的三角剖分角度较小，而第二摄像机的三角剖分角度较大。三角剖分角度小的摄像机可以非常精确地对投影线进行索引，但对物体的距离或深度的测量不确定性也很大。三角剖分角度大的摄像机可以使用小的三角剖分角度精确确定深度，但无法精确索引以密集线型产生的线，因此无法清晰地评估这些数据。建议将三角测量传感器的单个数据进行反投影以耦合数据，其中，首先使用小的三角测量传感器根据摄像机的数据重建物体的第一模型，两者在实际深度方面存在很大的不确定性，但是可以精确定位投影线。现在，利用从第一摄像机的三角测量获得的索引，将第一模型的3D点数字的反投影到具有大的三角测量传感器的第二摄像机的摄像机图像中。用这种方法获得的点存在很多噪音，但是它们被正确索引了。因此，应该有可能使用第二摄像机的三角测量将线的索引精确分配给更精确的深度测量。由于当索引根据待测物体的具体形状被分配给反投影中的测量点时，准确性不一定是明确的，反投影很复杂且容易出现故障。

从DE102011121969A1已知一种用于测量深度受限的物体的方法，其中，将时变的图案投影到物体上，并用两个立体镜的已校准的摄像机进行捕获，其中，利用时间相关方法将同源点分配给彼此。这是通过对单个像素的时间灰度值曲线进行逐像素相似性分析来实现的。3D测量仅限于深度受限的物体，即与参考物体的形状偏差受到限制的物体，其对应关系的搜索在相应的搜索区域中进行。为了可靠地关联时间灰度值曲线和较少的图像序列，此限制是必需的。

发明内容

本发明的目的是进一步开发这样的方法和系统，使得对物体的测量更具弹性且不易出错。根据本发明提出的方法和系统尤其旨在用于工业环境中，特别是在三维物体的制造或组装中。

在根据本发明提出的方法中，特别地对摄像机进行内部和外部校准。在图案投影时，生成二维编码和时间编码，其中，

·投影(完全的)二维编码的图案，并使用最好同时触发的摄像机捕获场景，并且

·连续多次投影具有二维不同编码的时间编码图案，并且在每种情况下，使用同时触发的摄像机连续捕获多个场景。

在所述二维编码的情况下，对于所述场景，在由不同的所述摄像机捕获的所述图像中找到相邻像素的对应关系。此外，在针对多个场景的所述时间编码中，在每种情况下，在由不同的所述摄像机捕获的所述图像中找到相同像素的对应关系。对于每个像素，将所述二维编码和所述时间编码的对应关系进行关联，并在测量所述物体时使用所述关联。例如，它可用于平均不同坐标点计算，使用允许的公差进行评估和偏差的检查以及丢弃单个像素等。

完全二维编码的图案应理解为该图案至少在感兴趣的整个投影区域中被编码，该区域是图案投影在物体(或更确切地说是物体的表面)上的显示的部分。基本上，在二维编码时，图案的投影实现了二维编码，即，可以在整个图案或围绕该图案点的至少某个图案环境的上下文中清楚地识别图案点。在这种情况下，二维伪随机图案已被证明是特别有利的，其分辨率的选择使得摄像机可以直接可靠地分辨出单个图案点，即，摄像机的像素的分辨率高于单个图案点。换句话说，图案在其上成像的摄像机的像素小于在摄像机的像素中成像的图案的图案点。通过摄像机和摄像机图像的多个像素来描述图案点，该像素优选在二维平面上彼此相邻地放置。图案点的分辨率必须达到多高才能使图像处理能够可靠地找到(即分辨)单个图案点，这取决于各自的光学条件，以及由本领域技术人员根据理论考虑和/或实验在设置系统时确定并作相应调整。基本上，根据应用情况，图案点可能仅在一个摄像机像素中成像。但是，它通常在图案点包括多个摄像机像素的二维排列时是有利的。

这些空间编码或二维编码的图案的优点在于，它们在每个摄像机中只有单个图像。但是，缺点是它需要每个图案点的邻域信息。因此，在每个图案点附近的摄像机像素中必须仍然有足够的区域，以便至少可以识别出足够的图案环境，从而可以可靠地识别出根据本发明通过单个图案点相对于彼此的排列而生成的二维编码。另外，由于相同的原因，例如由于来自摄像机的图像中的干扰或反射，该方法相对容易受到干扰。

使用时间编码，可以快速连续地投影和捕获多个图案。这些图案彼此略有不同。这里的编码在于亮度值的时间序列，例如灰度值，其在每个图案点(或摄像机像素或描述图案点的摄像机像素)中彼此跟随。该方法的优点在于，单个图案点不需要邻域信息。这使得检测更加可靠，并且摄像机的横向分辨率可以完全使用。该方法的缺点是需要多个图像才能为每个图案点获得足够的编码。

根据本发明，通过二维编码和时间编码的组合来实现特别可靠和鲁棒的编码和测量，如果两个编码之一不能提供精确的信息，则该组合仍然提供关于三维的待测物体的信息。其原因可能是多样的，例如，随机反射或覆盖二维或时间编码中的图案结构，基础物体结构。然而，通过关联二维和时间编码，测量变得更加可靠，因为在许多情况下可以通过相应的其他编码来校正干扰。如果可以通过二维和时间编码获得待测物体的测量点坐标(也称为坐标点的点云，它们总体上形成或表征或显示待测物体的表面)，由于冗余，可达到的准确性得到了提高，尤其是不同的编码对不同的干扰有不同的灵敏度。

根据优选实施例，可以通过相同(完全)二维编码的图案的至少一个空间位移或多个(可能也不同的)空间位移来生成时间编码的图案。因此，在图案点或者在摄像机像素上以时间偏移的方式显示不同的图案信息。因此，通过时间信息的特定序列可以以简单的方式实现时间编码。

与投影图案的整体尺寸相比，空间位移的尺寸优选地小。例如，位移约为图案点的数量级，其中该数量级的意思是图案点的尺寸的约0.25倍至10倍的范围。摄像机的图像分辨率优选大于(高于)图案点，优选至少大5或10倍。然而，根据本发明，当摄像机对图案点进行成像时，图案点的尺寸也可以对应于摄像机的像素的尺寸。摄像机的分辨率和投影的图案点的尺寸之间的有意义的关系还取决于物体的尺寸和类型，并且可以根据本领域技术人员的需要来设置。

在二维编码中，像素基本上意味着图案点，下面将对其进行详细定义。由于根据本发明的摄像机的像素分辨率在多数情况下大于具有单个图案点的图案的栅格化，因此为了评估通常根据本发明组合多个摄像机像素(在技术上可能的最小像素)，以将图案点描述为像素，然后使用图像处理进行评估，以查找二维对应关系。然而，基本上，根据本发明，单个摄像机像素也可以被视为像素。

根据本发明，优选在时间编码的情况下，这种情况(即，将单个摄像机像素作为像素的评估)在技术上更容易，按时间顺序检查摄像机图像的每个像素的内容值，从而捕获时间编码并找到其他摄像机的图像的对应关系。

因此，根据本发明的优选实施例，在二维编码和时间编码的情况下，可以不同地定义所评估的像素。根据本发明提出的二维编码和时间编码的对应关系，在这种情况下优选基于较小的像素，即特别是摄像机像素。

然而，在不同编码中不同像素的定义是可选的，因为基本上在评估两个编码期间以相同方式(以一种或另一种方式)定义像素的情况下也可以执行该方法。

根据本发明，图案的空间位移与同时触发的摄像机对场景的捕获不协调。这意味着，它们并不以预定的方式相互关联，而是在时间上随机地彼此关联。这避免了系统错误的发生。

此外，在连续捕获的场景之间用于产生时间编码的空间位移的尺寸可以不同。这还可以避免由于图案的位移尺寸与可能在物体上识别的结构之间的随机匹配而导致的系统错误。

根据本发明的优选的实施方式提出的，至少一个空间位移的尺寸小于二维图案的图案点，例如大约为图案点的一半。图案点，对应于图像捕获中的像素，被理解为图案中示出的最小图案区域，从该图案点中，各种最小图案区域(在描述中具有不同和/或相同的内容，每个图案区域被分配了诸如颜色或亮度的内容值)连接在一起可以显示整个图案。换句话说，图案点是由栅格点形成的，当整个图案由相邻的(连续的)栅格点栅格化时，会创建一个图案点，其中，栅格点(或图案点与二维相同内容(例如颜色或亮度的内容值)相关联。

该特征避免了物体和/或物体表面上的系统结构，其尺寸对应于图案点或由图案点预定的物体上的图案的系统栅格结构，在相关性评估中导致系统误差。

根据本发明，也可以通过亮度分布的相移投影来生成时间编码图案。(时间的)相移投影可以被实现为时间编码图案的唯一实现，或者可以实现为结合上述一种或多种配置中上述二维图案的空间位移。

亮度分布的相移投影可以例如通过具有不同投影亮度的二维图案的投影来进行。任何二维图案都可以用作图案。优点在于，可以将简单的幻灯机用于图案投影，该幻灯机投影(物理上)存在于透明载体(幻灯片)上的图案。通过适当地控制投影灯和/或通过不同密度的滤光片(例如灰度滤光片)，可以产生不同的亮度，这些滤光片叠加在投影中图案的透明载体(图案载体)上。

这样的幻灯机也可以用于上述二维图案的空间位移。在此，除了固定的幻灯机(包括其固定的投影光学设备)的幻灯片载体设置有载有图案的幻灯片，该幻灯机足以空间地(最小地)位移和/或倾斜(在下文中也通常称为“移动”)。然后根据投影光学设备将移动显示在物体的表面上。因此，幻灯片的位移根据投影放大倍数被投影到物体上。这就是术语“最小位移和/或倾斜”的含义。因此，通过投影放大倍数幻灯片在投影光学设备前的减小的运动就足以实现物体上图案的所需空间位移。

可以根据本发明用于执行这里描述的方法的这种幻灯机的优点是它们便宜，坚固并且技术上易于操作。因此，它们特别适用于工业环境。

基本上，也可以使用数字投影仪，该数字投影仪可以投影可以在显示器上显示的任何图案。除了二维(结构)图案外，这些图案还可以例如将亮度分布(本身无结构地)投影到物体上，该物体的空间位置会随时间相移而变化。典型的例子是时间相移的正弦亮度曲线，它特别易于生成和操作。利用这种相移方法，例如正弦灰度值曲线被相移投影。从理论上讲，对于这种正弦曲线，可以使用三个相移图案来实现，但是实际上总是使用至少四个相移图案。为了解决正弦曲线的歧义，通常在工业环境中需要更多的图案。使用数字投影仪可以比较容易地实现这一点。当然，本发明基本上不限于这里作为示例描述的正弦灰度值曲线(或一般的亮度曲线)。

当使用(常规的)幻灯机时，根据本发明更容易使用该方法的变型，其中仅投影二维图案。例如，通过使用合适的幻灯片盒(具有相应的定位准确性)，基本上也可以依次投影出不同的(二维结构的)图案，如果使用数字投影仪就更容易实现。然而，这些在技术上更加复杂并且明显更昂贵，而且还允许通过纯数字图案定义来使用不同的图案。

基本上，它还对应于所描述的方法的可能的变型，以通过时间投影不同的图案来生成时间编码的图案。该方法的该变型基本上也可以与上述所有变型自由组合。

根据本发明提出的方法的优选实施例提出，对于图案的一个像素，在上述意义上也称为图案点，执行所有摄像机的信息的相关性。

尤其有利的是，联合地(同时地)使用来自所有摄像机和所使用的所有编码的信息的相关性，至少作为至少一个二维编码和至少一个时间编码，并因此使用在运算单元中实现的评估算法来执行所描述的方法。可以将来自所有摄像机和/或所有编码的全部信息集成在一起并进行评估。有两个主要优点：

第一，当所有信息源都失败时不能测量像素。换句话说，如果将像素捕获在所使用的多种编码之一中并且捕获在两个摄像机中，则已经可以对该像素进行评估。因此，根据本发明，优选多个编码并且优选两个以上的摄像机，导致用于测量物体的方法(尤其是在从图像光学角度来看在技术上困难的工业环境中)更鲁棒。

第二，针对每个像素处理最大可能的信息。这导致像素可用信息的冗余，因为通常可用信息远远超过必要的信息源。可以相互检查该冗余信息。根据本领域技术人员确定的合适的标准，例如通过算法连接和/或丢弃某些信息(归类为有缺陷的)，可以将所有可用的冗余信息与可靠的像素的信息组合。这里可以使用人工智能，模糊逻辑和/或类似辅助手段的过程和方法。

由于立体镜需要至少两个像素图像，所以根据本发明优选的实施例提出，用至少三个摄像机，优选四个摄像机以不同视角捕获场景。这产生了冗余的图像捕获，如上所述，这些图像捕获进一步提高了该方法的鲁棒性。

为了进一步改善上述物体的(三维)测量，另一实施例建议使用二维图像分析评估单个摄像机(即一个或多个摄像机)的图像(尤其是用于边缘识别)，并将图像中识别的边缘投影在三维点云。该三维点云(物体表面测得的坐标点的总和)特别描述上述物体的三维测量结果。因此上述描述的具有三维物体立体镜测量的传感器系统也被称为点云传感器，因为点云的测量结果生成三维坐标，该三维坐标表示被测物体的表面。

这样的测量可以很好地测量二维物体，即具有连续形成的表面(即二维特征)的物体。然而，在不连续的过渡处，例如边缘，切割边缘，孔，阶梯状的凸起等，经常出现问题。尤其是对于带有主动照明的传感器，无论是否带有图案投影，在此类边缘经常会发生光学效果，例如过度曝光或变暗，这会干扰测量。这是因为不连续(在本文中统称为“边缘”)在现实中从来都不是理想的。例如，如果切割后的材料具有一定的厚度(例如金属片)，则边缘上会形成小的凹痕或凸起，其作用类似于光学微透镜或显微镜。

在尖锐边缘处，存在一个问题，摄像机像素不能无限小。物体表面的(也可以是很小的)区域总是最后成像在摄像机像素上。在边缘穿过像素的情况下(即表面的不连续性)，成像区域中具有不同的(在摄像机像素上成像的)表面。这导致该像素的亮度介于一个表面的亮度与另一表面的亮度之间，从而其中一个表面也可以是不属于待测物体的背景。

常见的基于摄像机的3D测量方法将这种亮度差异解释为物体高度的变化，尽管高度没有变化，但是只有物体的边缘穿过该区域(像素)。对于使用二维编码的方法，同样适用于该二维编码。如果这位于边缘上，则根据方法，这还会导致描述物体的测量的点云的三维坐标中的高度出现明显变化。

由于边缘的形状通常不是事先已知的，因此不能高准确性地补偿或校正这种效果。在这样的边缘上发生的影响甚至可能导致无法再评估单个摄像机像素。摄像机像素的编码于是无法再被解释。特别是，如果边缘(由摄像机或传感器看到)是表面的后边缘，则不再能确定表面在点云中的确切位置。无法可靠地识别出表面中是否不再存在任何点，因为表面已结束或存在这种干扰。这是使用立体镜进行三维评估的特殊问题。

根据本发明，不仅通过将摄像机图像用于3D点云计算的算法，而且还可以在二维方向上对其进行评估，可以在表面不连续(或边缘)的情况下获得更高的准确性。即，每个摄像机或几个摄像机的图像被馈送到独立的图像评估中。通过对单个摄像机图像的这种评估，可以确定图像中的边缘(在不连续的意义上)，特别是基于在每个图像中出现的亮度和/或颜色的梯度。然后借助摄像机的已知校准参数将以此方式确定的边缘投影到点云中。这样可以提高边缘的准确性，因为二维识别的边缘不受上述在三维重建中的作用的干扰。根据本发明，假设连续的边缘曲线，甚至可以实现边缘的亚像素精确的重建。假设在二维图像中识别出边缘的情况下在表面上发生突然的不连续，则可以通过关联数据来平滑和/或校正在三维测量期间发生的前述效果。

如果可以在多个图像中识别出边缘，则可以为每个图像确定边缘在点云中的投影，并且可以关联不同图像的点云中边缘数据的坐标。例如，可以通过平均值，加权平均值和/或平滑平均坐标数据来进行关联。

对于捕获场景的图像而不投影图案的情况，二维图像分析是特别有利的。为了进一步提高准确性，可以使用其他(非结构化)照明来捕获其他图像。图案会干扰二维评估，因为作为手工艺品的图案的结构会干扰二维图像评估。但是，即使没有捕获其他图像，也可以通过对使用结构化照明捕获的数据进行二维评估来提高准确性。

根据本发明的另一方面，通过四个摄像机捕获场景的特别有利的实施例，使得能够在运行期间对系统进行外部和/或内部重新校准。如果在所有四个摄像机的图像中都可以看到像素，则这是高度冗余的系统，因为这样很可能会为每个像素复制物体立体镜测量所需的来自两个摄像机的信息。为了进行重新校准，两个子系统可以分别由两个不同的摄像机组成，而其他子系统的测量值始终用于校准一个子系统。基本上，这仅用三个摄像机也是可能的，因为三个子系统分别由两个摄像机构成，其中，由两个摄像机组成的子系统每个都具有一个完全相同的摄像机。在多于四个摄像机的情况下，该系统可以根据需要扩展。

可替代地，可以重新校准整个系统。因此，可以使用原则上本领域技术人员已知的捆绑调整的修改。这种情况在工业环境中也是可行的，因为可以从四个摄像机中提取足够的信息。原则上，甚至可以针对每次测量执行该重新校准。但是，这并不总是有意义的，因为通常这导致在很短的时间内要执行大量的测量，在该时间内通常不存在需要重新校准的偏差。在这方面，根据本发明优选地建议，以预定的时间间隔自动地和/或(例如在某些特定的干扰之后)手动地进行重新校准。

通过使用至少三个，优选四个或可能甚至更多的摄像机，可以解决在立体镜测量中实际存在的问题，即系统对校准误差非常敏感。为了能够进行立体镜测量，必须对摄像机进行内部和外部的(尽可能精确的)校准。

内部的校准包括独立于摄像机位置的所有描述摄像机的参数的确定，例如焦距，光学失真，主点偏移等。在文献中，关于如何执行这种校准，已知许多不同的方法。几乎所有这些方法都使用已知相对位置的控制点图案。这些控制点可以是例如板上的点，也可以是空间分布的点。用摄像机捕获这些点的图像。内部的参数可以根据图像中识别的点位置以及这些点在空间中彼此之间的已知相对位置来确定。摄像机或多或少的建模取决于点的数量和布置以及所使用的摄像机模型。

在外部校准的情况下，可以相对于外部指定的参考坐标系确定摄像机的位置。文献中也为此目的描述了几种方法，其中大多数还使用控制点。如果已经对摄像机进行了内部校准，则此处少得多的点(至少三个)就足够了，但是必须知道它们在参考坐标系中的位置。

如果在立体镜传感器的操作过程中任何参数发生变化(例如，由于加热，轻微的颠簸等导致的变化)，则只要该参数变化不会导致整个系统发生故障，在工业条件下常规系统中通常发生不能识别和/或纠正该参数。有一种捆绑调整的方法可以从理论上解决此问题。这要么需要很多点，要么至少需要图像中的已知规模。两者通常都不是给定的。

因此，根据本发明提出的重新校准是在所执行的方法的框架内的特别有利的变型，其也可以独立于二维和时间编码的常规使用而使用。

本发明还提出一种系统(就设备而言)，该系统用于通过立体镜来测量尤其是三维物体，该系统具有用于将二维和/或时间编码的图案投影到物体表面上的投影仪、用于捕获被指定为场景并投影到物体表面上的摄像机、以及运算单元，运算单元由用于图像处理的程序设计为在由所述摄像机捕获的所述图像中找到所述场景的对应关系，并使用找到的所述对应关系进行所述物体的测量。这可以通过确定所发现的对应关系的点来完成，即换句话说，对物体表面进行测量，该物体表面被投影的图案照亮。因此，对摄像机进行内部和外部校准，其中设置和布置至少三个摄像机，使得从至少三个不同视角捕获场景。

结果，如已经描述的，立体镜实现了冗余，这使得物体的测量总体上更加鲁棒。至少三个摄像机解决了工业条件下的立体镜的另一个问题，即每个测量点始终需要来自两个图像的信息，但这通常无法通过这两个摄像机获得。如果要捕获在工业中非常常见的高光泽度部分的3D点云，则实际上在摄像机捕获的图像中总是会形成高光区域。由于这些形式在每个摄像机的不同位置(摄像机具有不同的视角)形成，因此两个摄像机中至少一个受到干扰的所有区域都无法测量。阴影也会发生类似的问题。在常规系统中，两个摄像机图像之一受到干扰的所有区域总是发生故障。在根据本发明提出的具有至少三个摄像机的系统中，这些故障显着减少。

根据所提出的系统的特别优选的实施例，如已经描述的以及对于所提出的系统和所提出的方法，提供和布置至少四个摄像机，使得从至少四个不同的视角捕获场景，所有摄像机都经过外部和内部校准。

在根据本发明特别优选提出的系统中，还可以将运算单元设置为由多个摄像机组成两个摄像机的子系统，并通过始终使用其他子系统的测量值来校准子系统，以重新校准系统中的摄像机。已经描述了根据本发明的用于重新校准的方法的优选的可能的变型。

另外，可以将运算单元和/或投影仪设置为生成具有二维和时间编码的图案投影。

已经描述了，即使特别优选使用至少三个摄像机，基本上也可以仅使用两个摄像机来执行这种具有二维和时间编码的图案投影的方法。因此，本发明还涉及一种用于通过立体镜测量物体的系统，其具有用于将二维和/或时间编码的图案投影到物体表面上的投影仪，以及用于捕获被指定为场景并投影到物体表面上的图案的摄像机，以及运算单元，由用于图像处理的程序设置，以在摄像机捕获的图像中查找场景的对应关系，并使用找到的对应关系来测量物体，其中摄像机进行了内部和外部校准，提供并布置了至少三个摄像机，以便从至少两个不同的视角捕获场景，并且将运算单元和/或投影仪设置为产生具有二维和时间编码的图案投影。

所提出的系统的特别优选的实施形式规定，运算单元被设置用于执行上述方法或其部分。参考该方法的以上解释。本领域技术人员将根据本发明提出的系统的部分必要时，联合或根据所描述的功能采用所描述的设备特征。

根据本发明的这种特别优选的系统和/或方法，避免了先前已知系统的缺点。这是通过组合两个措施来完成的，每个措施都是措施的组合，即联合生成二维和时间码以及至少使用三个摄像机。这些措施导致高度冗余的数据，这些数据相互关联，以提高从立体镜获得的信息的可靠性和鲁棒性。

下面描述了参考优选的实施例和附图的本发明的其他优点，特征和应用的可能性。所描述和/或示出的特征构成本发明的主题，独立于其权利要求及其参考文献中的概括。

附图说明

图1示出了根据本发明提出的系统的实施例；

图2以示例的方式示出了根据本发明可以使用的二维图案，该二维图案投影到待测物体的物体表面上，以及

图3示出了根据本发明提出的方法的基本实施例的流程。

图4示出了通过立体镜在栅格中对物体的测量以形成由大量三维坐标点构成的点云；

图5示出了根据图4的点云中的上表面和下表面之间的物体边缘的重建；和

图6示出了根据图5的点云中的投影，由用于边缘识别的二维图像分析而确定的边缘。

具体实施方式

图1示出如在示意性示出的实施例中的用于通过立体镜来测量三维物体2的系统1。在图1的示意图中，为清楚起见，将三维物体示为平面。然而，本发明明确地涉及任何三维物体2，其也包括平面。

系统1具有投影仪9，用于将(二维和/或时间上)编码的图案3投影到物体2的表面上。在根据特别优选的实施例中，在系统1中提供了四个摄像机4.1、4.2、4.3和4.4，用于捕获投影到物体表面上的图案3(被称为场景)。投影仪9可以是常规的幻灯机或数字投影仪，其中可以根据数字模板在透明的显示器上生成待投影的图案3。

此外，提供了连接到投影仪9和摄像机4.1、4.2、4.3和4.4的运算单元5，运算单元5由图像处理程序设计，以在由摄像机4.1、4.2、4.3、4.4捕获的图像中找出场景的对应关系，并使用找到的对应关系来测量物体2，特别是通过确定找到的对应关系的点(坐标)来测量物体2。换句话说，通过在物体2的表面上的投影图案3的像素的对应关系来测量物体2。在这种情况下，对于在不同摄像机4.1、4.2、4.3、4.4的图像中找到的对应关系，确定在表面上的投影图案的像素的坐标。

因此，对摄像机进行了内部和外部校准。摄像机4.1、4.2、4.3、4.4从不同视角6.1、6.2、6.3、6.4捕获场景(即投影到物体2的表面上的图案3)，图1中，对于每个摄像机4.1、4.2、4.3、4.4，通过从摄像机4.1、4.2、4.3、4.4到物体表面的捕获区域的角落(对应于捕获的图像)的视线来表示这些视角。摄像机4.1、4.2、4.3、4.4最好是数码相机，其图像可以直接由运算单元处理。投影7由相应的投影仪9发出的视线所示。

下面根据优选的实施例描述通过立体镜对物体2的测量。在所提出的发明的上下文中，不需要实现下面描述的所有步骤和特征。也可以考虑单个步骤的变型，其中一些已经在开始时进行了解释或指出。

投影仪9使用完全编码的二维图案3，该二维图案3产生二维编码，因此适用于识别单个图像中的对应关系。参考示例，在图2中再次更详细地示出了要投影或投影到平面上的投影图案3，具有单独的图案点8。

已经发现随机编码的图案3(伪随机图案)特别有利，因为它可生成大面积的图案，这些图案在带有少量图案点的小区域内也被清晰地编码，并且因为它们易于评估。

该图案3也连续多次位移，使得除了二维编码之外，还存在时间编码，其中，在摄像机4.1、4.2、4.3、4.4的图像中，投影图案3的单独像素随时间显示不同的信息。通过时变信息实现时间编码。

优选的建议提出二维编码和时间编码组合了二维编码和时间编码的优点而没有缺点，因为对于每个点或每个点(像素)的测量足以成功地评估其中一个编码。另外，对于两个编码的全部信息均可用的点，该方法由于冗余变得非常鲁棒，并且实现了非常好的准确性。

已经发现相同图案的小的随机位移是有利的。这是因为其实施起来非常容易且廉价。不需要能够投影不同图像的复杂的投影仪9。取而代之的是，简单的投影仪9就足够了，其中单个幻灯片随机移动就足够了。在这种情况下，“随机”是指移动与捕获图像的时间无关。还可以使用与图像捕获不同步的常规移动。

已经发现，位移也包括比二维图案3的图案点8更小的图案点是特别有利的，因为由此可以进一步提高准确性。然而，如果不满足此条件，则该方法也适用。另外，不同的图案3也可以依次地被投影。

优选地，，使用多于两个，特别是如图所示使用从不同视角6.1、6.2、6.3、6.4的四个摄像机4.1、4.2、4.3、4.4，它们全部看向相同的测量体积，即，看到并捕获由投影仪9投影的相同的图案3。

因此，出现图像的其他地方的每个摄像机4.1、4.2、4.3、4.4中的反射的缺点变得有利。由于只需要用至少两个摄像机4.1、4.2、4.3、4.4来查看每个地方，因此只有很少的地方无法测量，即四个摄像机4.1、4.2、4.3、4.4中的至少两个不可能提供可评估的图像。

这同样适用于在图像的不同地方由于不同摄像机4.1、4.2、4.3、4.4(由于不同视角6.1、6.2、6.3、6.4)而发生或可能发生的阴影和所有其他类型的干扰。

已经发现，四个摄像机4.1、4.2、4.3、4.4非常有优势，因为很有可能至少两个摄像机4.1、4.2、4.3、4.4提供每个像素的信息。使用不成对评估摄像机，而是对于每个像素，所有摄像机4.1、4.2、4.3、4.4一起提供与所有像素有关的信息的算法也是有利的。因此，这提高了准确性，并使测量更鲁棒。

由于这是高度冗余的系统，因此也可以一次又一次地重新确定校准，如已经详细说明的那样。

图3中所示的方法流程描述了根据本发明提出的方法的基本变型的执行，该基本变型可以根据需要以已经描述的实施例变型进行补充，并且可以通过在图1和2中以示例方式描述的系统来执行。

在所提出的用于通过立体镜测量物体2的方法50的背景下，在第一方法步骤51中，通过投影仪9将二维编码的图案3投影到物体表面上，并且利用最好同时触发的四个摄像机4.1、4.2、4.3、4.4将被称为场景的图案3投影到物体表面上。结果将生成二维编码。

随后，在第二方法步骤52中，将具有二维不同编码的时间编码图案连续地投影数次，并在摄像机4.1、4.2、4.3、4.4同时触发的情况下连续地捕获多个场景。以这种方式，产生了时间编码的图案，其中每个场景还代表了独立的二维编码。通过相同的二维编码图案3的多次空间位移来生成时间编码图案。

在另一方法步骤53中，在二维编码的情况下，通过与相邻像素进行比较，在由不同摄像机4.1、4.2、4.3、4.4捕获的图像中，在场景中，找到相邻像素的对应关系。以这种方式，在单独的图像中识别出相同的像素，并可选的进行测量。

在另一方法步骤54中，在时间编码的情况下，在每种情况下，由不同摄像机捕获的图像中找到相同像素的多个场景对应关系。以这种方式，在单独的图像中识别出相同的像素，并可选地进行测量。

在随后的方法步骤55中，对于每个像素，将识别出的二维编码和时间编码的对应关系相关联，并将这些相关性用于物体的测量中。

图4示意性地示出了三维物体20的测量结果，其在该图中的轮廓也示意性地示出。物体具有相对于物体高度的上表面21(在位于上方的表面上)和下表面22(在位于下方的表面上)。上表面21在其边界处具有边缘23，该边缘在边界处转换到下表面22。

还示出了栅格24，物体20的表面实际上通过测量而被扫描。理想地，上表面21与栅格元件24a相关联，并且下表面22与栅格元件24b相关联。栅格24是在根据本发明的方法的测量期间生成的，每个栅格元件24a、24b由三维坐标点25描述，该三维坐标点25通过立体镜确定。栅格元件的尺寸可以而非必须对应于摄像机的像素。通常，栅格元件优选地由多个组合的摄像机像素形成。坐标点25的整体也称为点云，其将物体20的表面测量描述为结果。相应地，坐标点25a与上表面相关联，而坐标点8b与下表面25b相关联。

坐标点25c描述了位于边缘23区域中的栅格元件。这些通常与误差26相关联，误差26是由于对边缘区域中的摄像机像素进行评估很困难所造成的，并且栅格24的栅格元件的坐标通常只能通过立体镜确定且有显著的误差。另外还有栅格元件24c，因为例如摄像机图像的立体镜评估不正确，因此没有为其计算坐标点。这种没有坐标点的栅格元件24c也经常出现在边缘23的区域中。

图5在理论上示出了用于测量物体20的系统方法，图4示出了作为坐标点25的整体的点云，其是通过根据本发明提出的方法确定的。在连续表面24a、24b的区域中，可以通过坐标点25a、25b整体上很好地识别物体20的表面。

然而，从这样的点云25(即，坐标点的整体)中提取的重建边缘27是有缺陷的，因为有缺陷的坐标点25c和由栅格元件24c产生的间隙也包括在重建边缘25中，因此是模糊的和磨损的。

为了纠正这一点，本发明提出，除了使用立体镜对物体进行测量外，也使用用于边缘识别的二维图像分析，在边缘23的区域(通常被理解为物体20的不连续的表面区域)中评估捕获场景的摄像机4.1、4.2、4.3、4.4中的至少一个的摄像机图像28。这在图6中示意性地示出。

图6示出了点云的上部，包括表示物体20的上表面24a的坐标点25a。另外，示出了重建边缘27以及上表面25a和边缘23的相关坐标点25a、25c。

在来自摄像机4.1、4.2、4.3、4.4之一的场景的摄像机图像28中，通过二维图像分析来评估物体20的边缘23，其中根据本发明也进行边缘识别。这可以使用用于二维图像评估的常规方法来完成，例如使用轮廓识别。这些方法原则上是本领域技术人员已知的，并且不需要进一步描述的。

因此，可以以子像素精度提取摄像机图像28中的边缘23，并相应地在二维图像坐标中对其进行参数化。如图6所示，可以将参数化的边缘29用线来表示。它覆盖了捕获图像28中边缘23的路线。

在二维图像中参数化的边缘29通过已知的摄像机校准被转换为场景的真实坐标。换句话说，将二维参数化的边缘29转换成三维场景。因此，可以将参数化的边缘29表示为场景坐标中的三维边缘30。

最后，三维边缘30可以投影到坐标点的点云中，点云描述了被测物体20的表面。坐标点的点云中的三维边缘30的投影在图6中由虚线示出。这种投影不是转换----三维边缘30和投影边缘31的三维坐标相同。投影仅涉及坐标点25和三维边缘30的组合表示。这涉及如图6所示的图形投影。然而，就本文而言，投影也应理解为数字投影，例如，数字投影也可用于物体20的表面的数字重建，其中可以考虑三维边缘30和边缘上的坐标点25c，以便在表面的测量中整体上产生真实的边缘路线，例如通过对描述边缘路线的坐标进行平均，通过抑制识别的错误坐标等。

结果，与仅从通过立体镜重建的坐标点25的点云相比，可以更精确地测量(确定)物体20的边缘23。在这种情况下，对重建特别有利的是，边缘路线的子像素精确度比纯立体测量更精确，更平滑的重建。

还应注意，为清楚起见，此处已画出平坦的边缘。然而，在本说明书的含义内，该方法适用于任何形状的任何边缘，物体20的表面中的任何奇异性或任何不连续(突变)的过渡都被视为边缘。

由于特别优选地根据本发明提出的二维和时间编码的组合以及至少三个摄像机4.1、4.2、4.3、4.4的优选的使用，使得三维物体2的测量变得特别鲁棒。

参考符号列表：

1 用于测量三维物体的系统

2 三维物体

3 投影图案/待投影图案

4.1 摄像机

4.2 摄像机

4.3 摄像机

4.4 摄像机

5 运算单元

6.1 摄像机的视角

6.2 摄像机的视角

6.3 摄像机的视角

6.4 摄像机的视角

7 投影

8 投影图案/待投影图案的图案点

9 投影仪

20 物体

21 物体的上表面

22 物体的下表面

23 边缘

24 栅格

24a 上表面的栅格元件

24b 下表面的栅格元件

24c 没有坐标点的栅格元件

25 栅格元件的坐标点

25a 上表面的坐标点

25b 下表面的坐标点

25c 边缘上的坐标点

26 坐标点的误差

27 重建边缘

28 摄像机图像

29 参数化边缘

30 三维边缘

31 投影边缘

50 使用立体镜测量物体的方法

51 方法步骤

52 方法步骤

53 方法步骤

54 方法步骤

55 方法步骤

Claims (15)

1.一种通过立体镜测量物体(2)的方法，其特征在于，通过投影仪(9)将图案(3)投影到物体表面上，并且通过至少两个经过内部和外部校准的摄像机(4.1、4.2、4.3、4.4)来捕获在所述物体表面上的被指定为场景的所述图案(3)，通过运算单元(5)使用图像处理，在由所述摄像机(4.1、4.2、4.3、4.4)捕获的所述图像中找到所述场景的对应关系，并通过找到的所述对应关系测量所述物体(2)，在图案投影期间生成二维时间编码：

·投影(完全的)二维编码图案(3)，并使用所述摄像机(4.1、4.2、4.3、4.4)来捕获所述场景，并且

·连续多次投影具有二维不同编码的时间编码图案，并且在每种情况下，通过同时触发的所述摄像机(4.1、4.2、4.3、4.4)来连续捕获多个场景，

其中，

·在所述二维编码的情况下，对于所述场景，在由不同的所述摄像机(4.1、4.2、4.3、4.4)捕获的所述图像中找到相邻像素的对应关系，

·在针对多个场景的所述时间编码的情况下，在每种情况下，在由不同的所述摄像机(4.1、4.2、4.3、4.4)捕获的所述图像中找到相同像素的对应关系，以及

·对于每个像素，将所述二维编码和所述时间编码的对应关系进行关联，并在测量所述物体(2)时使用所述关联。

2.根据权利要求1所述的方法，其特征在于，通过相同的二维编码图案(3)的空间位移来生成所述时间编码图案。

3.根据权利要求2所述的方法，其特征在于，所述图案(3)的所述空间位移和由同时触发的所述摄像机(4.1、4.2、4.3、4.4)的场景捕获彼此不匹配。

4.根据权利要求2或3所述的方法，其特征在于，在连续捕获的所述场景之间的所述图案(3)的所述空间位移的尺寸是不同的。

5.根据权利要求2至4中任一项所述的方法，其特征在于，所述空间位移中的至少一个空间位移的所述尺寸小于所述二维图案(3)的图案点(8)。

6.根据前述权利要求中的任一项所述的方法，其特征在于，所述时间编码图案是通过亮度分布的相移投影来生成的。

7.根据前述权利要求中任一项所述的方法，其特征在于，所述时间编码图案是通过不同图案(3)在时间上偏移的投影来生成的。

8.根据前述权利要求中的任一项所述的方法，其特征在于，针对一个像素(8)进行所有摄像机(4.1、4.2、4.3、4.4)的信息的关联。

9.根据前述权利要求中的任一项所述的方法，其特征在于，用至少三个摄像机，优选地用四个摄像机(4.1、4.2、4.3、4.4)，从不同视角(6.1、6.2、6.3、6.4)捕获所述场景。

10.根据前述权利要求中任一项所述的方法，其特征在于，通过用于边缘检测的二维图像分析来评估单个摄像机(4.1、4.2、4.3、4.4)的所述图像，并且将图像中识别出的边缘投影到三维点云中，所述点云表示所述物体(2)的三维测量。

11.根据权利要求10所述的方法，其特征在于，对于所述二维图像分析，在不投影图案的情况下，由所述摄像机(4.1、4.2、4.3、4.4)另外捕获所述场景。

12.一种用于通过立体镜来测量物体(2)的系统，其特征在于，所述系统包括投影仪(9)、摄像机(4.1、4.2、4.3、4.4)、以及运算单元(5)，所述投影仪(9)用于将编码图案(3)投影(7)到物体表面上，所述摄像机(4.1、4.2、4.3、4.4)用于捕获被指定为场景并被投影到所述物体表面的所述图案(3)，所述运算单元(5)由用于图像处理的程序设计为在由所述摄像机(4.1、4.2、4.3、4.4)捕获的所述图像中找到所述场景的对应关系，并使用找到的所述对应关系进行所述物体(2)的测量，其中所述摄像机(4.1、4.2、4.3、4.4)经过内部和外部校准，提供和布置至少三个摄像机(4.1、4.2、4.3、4.4)，以便从至少三个不同的视角(6.1、6.2、6.3、6.4)捕获所述场景，并且所述运算单元(5)被设计为进行根据权利要求1至11中任一项所述的方法。

13.根据权利要求12所述的系统，其特征在于，提供并布置至少四个摄像机(4.1、4.2、4.3、4.4)，以便从至少四个不同的视角(6.1、6.2、6.3、6.4)捕获所述场景。

14.根据权利要求12或13所述的系统，其特征在于，所述运算单元(5)还被设计为在每种情况下，由所述多个摄像机(4.1、4.2、4.3、4.4)形成两个摄像机(4.1、4.2、4.3、4.4)的子系统，并对所述系统(1)的摄像机(4.1、4.2、4.3、4.4)进行重新校准，以便总是使用其他子系统的测量值来校准一个子系统。

15.根据权利要求12至14中的任一项所述的系统，其特征在于，所述运算单元(5)和/或所述投影仪(9)被设计为生成具有二维和时间编码的图案投影(7)。

Images