CN117629109A - 三维测量装置、方法、存储介质、系统和物品制造方法 - Google Patents

Abstract

本公开涉及三维测量装置、方法、存储介质、系统和物品制造方法。一种三维测量装置，包括：将图案投影到对象物上的投影单元、从相互不同的视点捕获对象物的图像的多个图像捕获单元，以及通过使用由所述多个图像捕获单元捕获的对象物的图像组执行关联来计算到对象物的距离值的处理单元，其中处理单元将基于通过将图案投影到对象物上而捕获的第一图像组的信息和基于在未将图案投影到对象物上的情况下而捕获的第二图像组的信息整合为整合图像或评估值以在关联期间使用，使得来自第一图像组和第二图像组两者的图像的特征保留，并且使用已经被整合的整合图像或评估值来计算距离值。

Description

三维测量装置、方法、存储介质、系统和物品制造方法

技术领域

本发明涉及三维测量装置、三维测量方法、存储介质、系统以及用于制造物品的方法。

背景技术

常规而言，工厂生产线中产品的组装和检查是使用配备有三维测量装置的机器人来执行的。常规而言，在具有不同视点的两个相机捕获的图像之间搜索对应点、并基于对应点的视差信息利用三角测量原理测量距离点的立体测量装置被称为3D测量装置。

美国专利No.10636155描述了两个相机和投影一个图案的投影仪，其中点图案被投影到测量对象物上，并基于三角测量原理根据由一个相机捕获的图像上的点图案与来自投影仪的点图案之间的对应关系来测量距离值。

此外，计算测得的距离值和在没有将点图案投影到对象物上的情况下从由两个不同相机捕获的图像立体测得的距离值，并且通过基于距离值的可靠性程度对其执行加权轮询来计算最终距离值。

日本未经审查的专利申请公开No.2001-264033具有与美国专利No.10636155类似的配置，并且计算在投影图案之后根据由两个不同相机捕获的图像立体测得的距离值、以及其中未投影图案的根据由两个不同相机捕获的图像立体测得的距离值的可靠性程度。

此外，在这个计算之后，来自有源测量或可靠性程度低的区域的距离值被来自无源测量的距离值替换。注意的是，在下文中，在将图案投影到对象物上之后根据由两个不同相机捕获的图像的上述立体测量被称为有源测量，并且在不将图案投影到对象物上的情况下根据由两个不同相机捕获的图像的立体测量在下文中被称为无源测量。

通过如上所述组合有源测量和无源测量，即使对于纹理很少的测量对象物也变得有可能进行立体测量，并且可以实现更高精度的测量。

但是，在上述的现有技术方法中，有必要计算用于有源测量和无源测量两者的距离点。计算距离点的处理的计算负荷通常大，因此存在计算到测量对象物的距离值需要时间的问题。当用于工厂生产线中的装配和检查时，期望快速输出距离点，以尽可能缩短节拍时间。

发明内容

本发明的一个方面是一种三维测量装置，包括至少一个处理器或电路，被配置为用作：

投影单元，被配置为将图案投影到对象物上；

多个图像捕获单元，被配置为从相互不同的视点捕获对象物的图像，以及

处理单元，被配置为通过使用由多个图像捕获单元捕获的对象物的图像组执行关联来计算到对象物的距离值；

其中处理单元将基于通过将图案投影到对象物上而捕获的第一图像组的信息、和基于在没有将图案投影到对象物上的情况下而捕获的第二图像组的信息整合为在关联期间使用的评估值或整合图像，使得来自第一图像组和第二图像组两者的图像的特征保留，并且使用已经被整合的整合图像或评估值来计算距离值。

通过以下参考附图对实施例的描述，本发明的进一步的特征将变得清楚。

附图说明

图1是示出本发明的第一实施例中的三维测量装置的图。

图2是示出本发明的第一实施例中的三维测量装置的操作处理的流程图。

图3A和图3B是示出本发明的第一实施例中使用第一图像捕获单元和第二图像捕获单元获取的有源图像和无源图像的示例的图。

图4是示出本发明的第一实施例的处理单元中的距离值计算处理的流程图。

图5A和图5B是示出本发明的第一实施例中使用有源图像和无源图像生成的整合图像的示例的图。

图6是示出本发明的第二实施例中的第一图像捕获单元的构造示例的图。

图7是示出本发明的第二实施例中的三维测量装置的操作处理的流程图。

图8是示出本发明的第三实施例中的处理单元中的距离值计算处理的图。

图9是示出根据第六实施例的处理单元中的距离值计算处理的流程图。

图10是示出根据第七实施例的三维测量装置的操作处理的流程图。

图11是示出根据第八实施例的处理单元中的距离值计算处理的流程图。

图12A和图12B是示出根据第八实施例的第一图像捕获单元和第二图像捕获单元获取的有源图像和无源图像的示例的图。

图13是示出根据第九实施例的包括三维测量装置所具备的把持装置的控制系统的示例的图。

具体实施方式

在下文中，参考附图，将使用实施例来描述本发明的有利模式。在每个图中，相同的附图标记应用于相同的构件或元件，并且将省略或简化重复的描述。

<第一实施例>

在第一实施例中，将由多个图像捕获单元当中的一个图像捕获单元(同一图像捕获单元)捕获的有源图像和无源图像进行整合，并重新生成(创建)整合图像以用作用于立体测量的对应点搜索的图像数据。

在该过程期间，生成整合图像，使得在有源图像和无源图像中的每一个中获得的特征保留以用于关联。此外，基于新生成的图像来计算到测量对象物的距离值。

由此，与现有技术相比，在组合有源测量和无源测量的方法中有可能减少计算距离值所需的计算量。下面，将解释使用上述方法计算到测量对象物的距离值的三维测量装置100。

注意的是，有源测量是指在将图案投影到测量对象物上之后根据使用两个不同相机捕获的图像执行立体测量，而无源测量是指在不将图案投影到被测量对象物上的情况下根据使用两个不同相机捕获的图像执行立体测量。

有源图像是投影到测量对象物的表面上的图案被观察到的图像。无源图像是未将图案投影到测量对象物的表面上的图像，并且观察到测量对象物的三维构造和表面上的纹理。

图1是示出第一实施例的三维测量装置100的示例的图像。如图1中所示，第一实施例的三维测量装置100由控制单元101、投影单元102、第一图像捕获单元103、第二图像捕获单元104和处理单元105构成。注意的是，图1还示出了第一实施例中三维测量装置100测量的测量对象物106的示例。

控制单元101包括CPU和存储器(存储单元)等，并且由至少一个计算机构成。控制单元101对于三维测量装置100按次序控制投影单元102、第一图像捕获单元103、第二图像捕获单元104和处理单元105的每种操作以及操作的开始和完成，以输出到测量对象物106的距离值。

具体而言，控制单元101向投影单元102发送图案光投影开始命令和图案光投影停止命令，并且向第一图像捕获单元103和第二图像捕获单元104发送图像捕获开始命令和图像捕获停止命令。它向处理单元105发送距离值计算等的开始命令。

在从控制单元101接收到图案光投影开始命令后，投影单元102将图案光投影到测量对象物106的表面上，直到从控制单元101接收到图案光投影停止命令。

优选地，此时被投影的图案光具有基于均匀随机数或规则随机数的随机强度图案。给出激光器或LED等作为图案光的光源的示例，但是本发明不限于此。

只要被投影的光的波长包括在第一图像捕获单元103和第二图像捕获单元104具有灵敏度的波长带中，并且在有源图像中可以在测量对象物106的表面上观察到图案即可。

第一图像捕获单元103和第二图像捕获单元104部署在至少相互不同的位置，以便相对于测量对象物106具有不同的视角，并且第一图像捕获单元103和第二图像捕获单元104从相互不同的视点捕获测量对象物106的图像。

在第一图像捕获单元103和第二图像捕获单元104从控制单元101接收到图像捕获开始命令后，开始对测量对象物106的图像捕获。此外，在每个视线方向上捕获图像，直到从控制单元101接收到图像捕获停止命令，然后将获取的图像数据输出到处理单元105。注意的是，此时在第一图像捕获单元103和第二图像捕获装置104中，来自第一图像捕获单元103和第二图像捕获单元104的图像的导入定时被控制为彼此同步。

在从投影单元102投影的图案光是近红外光的情况下，作为来自测量对象物106的反射光接收到的波长带在有源图像与无源图像之间将是不同的。因此，在有源图像和无源图像中的相同像素位置中，容易发生仅在其中一个图像中观察到模糊的现象(色差)。

作为减少色差影响的手段，可以考虑几种方法，但是，例如，将色差校正透镜构建到第一图像捕获单元103和第二图像捕获单元104中是有效的。作为减少色差影响的另一种手段，还存在每次捕获有源图像时和捕获无源图像时将两个图像捕获单元调整到不同焦点位置的方法。

在使用这些方法的情况下，必须搭载特殊的构件和机构，因此整个装置的价格容易上升。作为减少色差影响的另一种方法，还存在在处理单元105中使用有源测量中使用的校准参数和无源测量中使用的校准参数来执行校正的方法，而该方法的细节下面将进行描述。

在无论有源图像的图像捕获和无源图像的图像捕获，第一图像捕获单元103和第二图像捕获单元104的焦点位置固定的情况下，特殊频率越高，图像变得越容易受到散焦的影响。因此，考虑到散焦的影响，还可以调整焦点，然后固定焦点，使得有源图像或无源图像对焦。

具体而言，从在有源图像中观察到的测量对象物106的表面上的图案导出的空间频率、和从在无源图像中观察到的测量对象物106上的特征导出的空间频率都被指定，然后进行比较。此后，调整并设置焦点位置，使得具有更高空间频率的图像对焦。

关于第一图像捕获单元103和第二图像捕获单元104的灵敏度，它们有必要在从投影单元102投影的图案光的波长带中具有灵敏度，并且在用于可见光的波长带中具有灵敏度。

处理单元105从其中捕获测量对象物106的图像的第一图像捕获单元103和第二图像捕获单元104接收每个图像数据以用作图像组，并且在从控制单元101接收到距离值计算开始命令后基于每个接收到的图像数据执行距离值计算处理。

具体而言，处理单元105执行以下处理：通过使用由第一图像捕获单元103和第二图像捕获单元104对测量对象物106进行图像捕获而得到的每个图像数据执行关联来计算到测量对象物的距离值。下面将解释处理单元105中计算到测量对象物106的距离值的处理的细节。

此外，处理单元105保存第一图像捕获单元103和第二图像捕获单元104的校准参数，以用作执行距离值计算处理所必需的数据。在这个上下文中，校准参数包括示出第一图像捕获单元103与第二图像捕获单元104的相对位置姿势的参数、以及示出两个图像捕获单元的图像中心、焦距和失真像差的参数。

注意的是，在针对有源图像的图像捕获时从投影单元102投影的图案光的波长是近红外的情况下，用于有源测量的校准参数和用于无源测量的校准参数也都可以被保存。相反，也可以仅保存基于两者之间的波长差异的倍率差异。

在第一实施例中，下面将针对单独执行针对有源图像的图像捕获和针对无源图像的图像捕获的情况来解释方法。

图2是示出第一实施例中的三维测量装置100中直到计算到测量对象物106的距离值的操作(处理)的流程图。注意的是，图2中的流程图中所示的每个操作(处理)由执行计算机程序的控制单元101来控制。

首先，在步骤S1101期间，从控制单元101向第一图像捕获单元103和第二图像捕获单元104发送图像捕获控制命令。在图像捕获开始命令被发送到每个图像捕获单元后，第一图像捕获单元103和第二图像捕获单元104从它们的视点中的每一个捕获环境光图像，在此期间图案光没有投影到测量对象物106的表面上。

环境光图像是用于在下面将要解释的噪声去除处理当中从有源图像中消除环境光噪声的图像，并且有必要使从捕获这些图像时起的曝光时间与从捕获有源图像时起的曝光时间相匹配。本步骤在针对有源图像的图像捕获与针对无源图像的图像捕获的曝光时间不同的情况下是必要的。但是，在以相同的曝光时间捕获有源图像和无源图像的情况下不需要执行这个操作。

接下来，在步骤S1102期间，从控制单元101向投影单元102发送图案光投影开始命令，并且从投影单元102将图案光投影到测量对象物106上(投影处理)。

接下来，在步骤S1103期间，从控制单元101向第一图像捕获单元103和第二图像捕获单元104发送图像捕获开始命令。一旦图像捕获开始命令被发送到执行图像捕获的每个图像捕获单元，第一图像捕获单元103和第二图像捕获单元104就从它们的视点中的每一个捕获图案光已被投影到测量对象物106的表面上的场景的图像(图像捕获过程)。

执行这个图像捕获处理，直到从控制单元101发送图像捕获停止命令。通过本步骤，每个图像捕获单元有可能获取通过将图案光投影到测量对象物106上而捕获的图像组(第一图像组)。

图3A和3B是示出在本发明的第一实施例中由第一图像捕获单元103和第二图像捕获单元104获取的有源图像和无源图像的示例的图。图3A是已经由第一图像捕获单元103和第二图像捕获单元104获取的有源图像的一个示例的图。图3B是示出已经由第一图像捕获单元103和第二图像捕获单元104获取的无源图像的一个示例的图。

图3A中所示的第一有源图像110是已经由第一图像捕获单元103图像捕获的有源图像的示意图，并且第二有源图像111是已经由第二图像捕获单元104图像捕获的有源图像的示意图。

在图3A中所示的第一有源图像110和第二有源图像111中，在测量对象物106的表面上观察到的图案被用作到测量对象物106的距离值的计算处理中计算视差值的关键点，这将在下面解释。

在本步骤中，将由第一图像捕获单元103和第二图像捕获单元104图像捕获并获取的每个有源图像(第一有源图像组)的图像数据发送到处理单元105。

接下来，在步骤S1104期间，从控制单元101向投影单元102发送图案光投影停止命令，并且投影单元102停止将图案光投影到测量对象物106上。

接下来，在步骤S1105期间，从控制单元101向第一图像捕获单元103和第二图像捕获单元104发送图像捕获开始命令。在图像捕获开始命令被传输到执行图像捕获的每个图像捕获单元后，第一图像捕获单元103和第二图像捕获单元104从它们的视点中的每一个捕获图案光没有投影到测量对象物106的表面上的场景的图像(图像捕获过程)。

执行这个图像捕获处理，直到从控制单元101发送图像捕获停止命令。此时，第一图像捕获单元103和第二图像捕获单元104接收从测量对象物106反射回的可见光。通过这个步骤，有可能获取在图案光没有被投影到测量对象物106上的状态下由每个图像捕获单元图像捕获的图像组(第二图像组)。

图3B中所示的第一无源图像112是已经由第一图像捕获单元103捕获的无源图像的示意图，并且第二无源图像113是已经由第二图像捕获单元104捕获的无源图像的示意图。

在第一无源图像112和第二无源图像113中观察到的特征(诸如测量对象物106的三维结构的边缘、其边缘和表面上的纹理等)被用作用于在到测量对象物106的距离值的计算处理期间计算视差值的关键点。在本步骤中，第一图像捕获单元103和第二图像捕获单元104执行图像捕获，并将获取到的每个无源图像(第二图像组)的图像数据发送到处理单元105。

到目前为止已经解释的从步骤S1101到步骤S1105的操作流程是按照用于消除环境光噪声的图像、有源图像、然后无源图像的次序捕获图像的情况的流程。但是，其次序也可以任意切换。例如，在按照无源图像、有源图像、然后用于消除环境光噪声的图像的次序捕获图像的情况下，将按照步骤S1105、步骤S1102、步骤S1103、步骤S1104、然后步骤S1101的次序执行每种类型的处理。

接下来，在步骤S1106期间，从控制单元101向处理单元105发送距离计算开始命令，并且控制单元105使用用于有源图像的每个图像数据、用于无源图像的每个图像数据以及校准参数来计算距离值(处理过程)。

图4是示出在处理单元105中执行的计算到测量对象物106的距离值的处理的具体操作的流程图。即，图4是解释图2中所示的S1106的处理的细节的流程图。注意的是，图4中的流程图中所示的每个操作(处理)由执行计算机程序的控制单元101来控制。

首先，在步骤S1111期间，对第一有源图像110和第二有源图像111执行噪声消除处理。在步骤1111期间，本发明试图去除的噪声是指在捕获第一有源图像110和第二有源图像111时所包括的环境光噪声，以及当图案光从测量对象物106反射回时出现的散斑噪声。

作为消除环境光噪声的手段，存在一种方法，其中相对于有源图像和在步骤S1101中捕获的环境光图像中相同像素位置的亮度值，从根据有源图像导出的亮度值中减去根据环境光图像导出的亮度值，其中有源图像和在步骤S1101中捕获的环境光图像是由同一图像捕获装置捕获的。

作为消除散斑噪声的手段，执行平滑处理是有效的，平滑处理是使用诸如例如高斯滤波器之类的平滑滤波器执行的。此时，通过根据观察到的图案优化用于平滑滤波器的内核尺寸，例如通过将其设置为在第一有源图像110和第二有源图像111中观察到的图案的点尺寸附近，预期更高的噪声去除消除效果。

注意的是，在本步骤中，对环境光噪声消除和散斑噪声消除的执行次序没有严格限制，并且也可以首先执行散斑噪声消除之后执行环境光噪声消除。

但是，优选地，在首先执行环境噪声消除之后执行散斑噪声消除。已经在假设针对有源图像的图像捕获与针对无源图像的图像捕获的曝光时间不同的情况下解释了本步骤中的环境噪声消除。但是，在两者的曝光时间相同的情况下，也可以使用无源图像作为环境光图像。

接下来，在步骤S1112期间，校正第一无源图像112、第二无源图像113、噪声消除之后的第一有源图像110以及噪声消除之后的第二有源图像中出现的光学像差(失真校正)。

光学像差的校正使用第一图像捕获单元103和第二图像捕获单元104的校准参数。注意的是，在针对有源图像的图像捕获和针对无源图像的图像捕获时第一图像捕获单元103和第二图像捕获单元104接收光的波长不同的情况下，为了减少色差的影响，优选的是单独使用用于有源测量和用于无源测量的校准参数。

具体而言，通过在用于有源图像的像差校正中使用用于有源测量的校准参数，以及通过在用于无源图像的像差校正中使用用于无源测量的校准参数，可以减少色差的影响。

接下来，在步骤S1113期间，在第一有源图像110、第二有源图像111、第一无源图像112和第二无源图像113的每个图像中检测特征。

如上面所解释的，有源图像中的特征是已投影到测量对象物106的表面上的图案。无源图像中的特征是测量对象物106的三维结构和表面上的纹理。

假设将在亮度梯度大的区域附近的图像中观察到这些特征。因此，对使用边缘检测滤波器(诸如Sobel滤波器等)检测(提取)边缘的第一有源图像110、第二有源图像111、第一无源图像112和第二无源图像113执行边缘检测处理(边缘提取处理)。

此后，有可能生成特征提取图像，其中例如通过执行经由二值化的扩展处理来提取有源图像和无源图像的特征，例如，测量对象物106的特征。通过使用特征提取图像，变得可能在步骤S1114期间在每个像素位置处执行适当的加权相加。

作为本步骤中用于特征提取图像的生成方法的另一个示例，在检测到边缘之后，还可以使用诸如高斯滤波器等的平滑滤波器。以这种方式，在步骤S1111至S1113中，根据每个图像的特性对每个图像执行单独的图像处理(校正处理)。此外，通过当前步骤中的处理完成以下段落中的步骤S1114中发生的图像生成的准备。

接下来，在步骤S1114中，使用已经执行了像差校正和噪声消除的有源图像(第一图像)、无源图像(第二图像)和特征提取图像，并且新生成用于视差计算的关联中使用的图像(第三图像)。

具体而言，基于由一个图像捕获单元从每个有源图像(第一图像组)中捕获的有源图像(第一图像)和由这一个图像捕获装置从每个无源图像(第二图像组)中捕获的无源图像(第二图像)，生成图像(第三图像)。

注意的是，在生成新图像期间，还使用特征提取图像，如上面所解释的。在这个上下文中，新生成的图像(第三图像)是通过整合(组合)这两个图像而生成的整合图像，使得保留有源图像和无源图像两者的特征。

即，新生成的整合图像是有可能清楚地观察到被投影到测量对象物106的表面上的图案以及测量对象物106的三维结构和表面上的纹理的图像。

此时，作为新图像的生成方法，存在对由同一图像捕获单元捕获的有源图像和无源图像中的对应像素位置的亮度值执行加权相加的方法。作为加权中的系数的确定方法，使用在步骤S1113期间生成的特征提取图像。例如，通过预先设置预定阈值、并确定特征提取图像中的亮度值是否等于或高于预定阈值，来确定权重系数。

例如，在从无源图像生成的特征提取图像中的亮度值等于或高于预定阈值的情况下，通过增加从无源图像导出的亮度值的权重系数来执行加权相加。在从有源图像生成的特征提取图像中的亮度值等于或高于预定阈值的情况下，以相同的方式，通过增加从有源图像导出的亮度值的权重系数来对亮度值执行加权相加。

在两个特征提取图像的亮度值等于或高于预定较高阈值的情况下，或者在两个特征提取图像的亮度值小于较低阈值的情况下，可以通过设置相同的权重系数来执行加权相加。

图5A和图5B是示出如下整合图像的示例的图，所述整合图像是第一实施例中的使用有源图像和无源图像生成的图像。图5A是示出从第一有源图像110和第一无源图像112新生成的第一整合图像114的示意图。图5B是示出从第二有源图像111和第二无源图像113新生成的第二整合图像115的示意图。

在这个上下文中，虽然在图3A中所示的有源图像中，有可能清楚地观察到测量对象物106的表面上的图案，但是作为从测量对象物导出的特征的凸块是不清楚的，并且难以正确地关联凸块附近的区域。虽然在图3B中所示的无源图像中，有可能清楚地观察到作为从测量对象物106导出的特征的凸块，但是在测量对象物106的表面上不存在任何特征，因此，难以正确地关联这个区域。

相比之下，在图5中所示的整合图像(第一整合图像114和第二整合图像115)中，从有源图像导出的特征和从无源图像导出的特征都保留，因此有可能清楚地观察到一起出现在这两个图像中的特征。

在之后的处理中，使用这个整合图像来计算到测量对象物106的距离值。通过使用这个整合图像，与通过单独使用有源图像和无源图像计算有源图像和无源图像中的每一个的视差值的现有技术相比，有可能进一步减少计算距离值之前所花费的计算量。

接下来，在步骤S1115期间，针对第一整合图像114和第二整合图像115中的目标像素的每种组合计算评估值。作为用于计算评估值的评估格式的示例，例如有SAD(绝对差之和)、SSD(平方差之和)等。

此外，还建议了ZNCC(零表示归一化的互相关)等。注意的是，本步骤中使用的评估格式不限于此，并且只要使用能够评估第一整合图像114中的关注像素位置附近的特征与第二整合图像115中的关注像素位置附近的特征之间的相似性的格式即可。

接下来，在步骤S1116期间，使用在步骤S1115期间计算的评估值来计算视差值。例如，在参考第一整合图像114计算视差值的情况下，与第一整合图像114中的目标像素位置Pi对应的核线存在于第二整合图像115中。

注意的是，在步骤S1115期间，第二整合图像115中的核线上的每个像素位置(Pj1，Pj2，Pj3，…Pjn)和Pi之间的评估值(Eij1，Eij2，Eij3…Eijn)已经被计算出来。在本步骤中，选择这些评估值中一致性程度最高的组合，并计算对应的视差值以用作用于Pi的视差值。在改变关注像素位置的同时执行相同的处理。

接下来，在步骤S1117期间，将视差值转换成距离值。可以使用第一图像捕获单元103和第二图像捕获单元104的校准参数根据视差值计算距离值。

注意的是，因为在步骤S1114期间整合了有源图像和无源图像，所以在整合之后可以保留两者的信息。作为结果，存在这样的情况：作为在本步骤中计算出的距离值，仅根据有源图像计算出的距离值与仅根据无源图像计算出的距离值两者将不同。

上面已经解释了第一实施例。但是，第一实施例不限于上述方法，并且有可能进行各种更改。例如，有可能执行步骤S1112之后的处理而不执行用于步骤S1111和步骤S1112的处理的全部或一部分。

关于步骤S1113，还有可能仅关于有源图像或仅关于无源图像执行特征提取图像的生成，并将其用于步骤S1114中的权重系数的确定。

例如，在不执行步骤S1113的情况下，在步骤S1114期间，还可以使用对所有像素统一设置预先设置的权重系数的方法。作为用于设置权重系数的方法，例如，还可以使用将有源图像中测量对象物表面中图案被投影到其上的区域的平均亮度与在无源图像中观察到从测量对象物导出的特征的区域的平均亮度进行比较的方法。在使用这种方法的情况下，使比较之后的比率为权重系数。

<第二实施例>

在第二实施例中，将解释这样的方法：仅执行一次测量对象物106的图像捕获，并且基于已经获取的图像数据的一个集合暂时分割成有源图像和无源图像。

在第二实施例中，假设从投影单元102投影的图案光的波长是近红外的。此外，假设对于第一图像捕获单元103和第二图像捕获单元104中的每一个，可以通过一次图像捕获会话获取有源图像和无源图像。

图6是示出第二实施例中的第一图像捕获单元103的构造示例的图。注意的是，虽然在图6中仅示出了第一图像捕获单元103的构造，但是第二图像捕获单元104的构造也是相同的。

在图6中所示的第二实施例的三维测量装置100中，从测量对象物106反射回的光被分光计120分到两条光路中。之后，来自被划分的反射光的一半的可见光成分被可见光截止滤波器121截止，并且近红外光光接收单元122接收通过该滤波器的近红外光。

使用近红外光截止滤波器123截止来自被划分的反射光的另一半的近红外光成分，并且可见光光接收单元124接收通过该滤波器的可见光。基于近红外光光接收单元122接收到的近红外光生成有源图像，并且基于可见光光接收单元124接收到的可见光生成无源图像。

图7是示出在三维测量装置100中计算到测量对象物106的距离值之前第二实施例中的操作(处理)的流程图。注意的是，步骤S1201、S1203和S1204中的处理内容分别与图2的步骤S1101、S11103和S1105中的处理内容相同，因此将省略其解释。

注意的是，图7中的流程图中所示的每个操作(处理)由执行计算机程序的控制单元101来控制。

在步骤S1202中，从控制单元101向第一图像捕获单元103和第二图像捕获单元104发送图像捕获开始命令，并且第一图像捕获单元103和第二图像捕获单元104从其相应视点捕获图案光已被投影到测量对象物106的表面上的场景的图像。

执行这个图像捕获处理，直到从控制单元101发送图像捕获停止命令。此外，在第二实施例中，如上面所解释的，第一图像捕获单元103和第二图像捕获单元104具有图6中所示的构造，因此，有可能通过步骤S1202中的图像捕获来同时获取有源图像和无源图像。

注意的是，作为第二实施例中的第一图像捕获单元103和第二图像捕获单元104的除了上面已经解释的构造之外的构造示例，例如，也可以使用诸如RGB-IR传感器之类的传感器，其中在可见光和近红外光的波长带中一个传感器具有灵敏度。在这种情况下，图6中所示的分光计120、可见光截止滤波器121和近红外光截止滤波器123变得不必要。

如上面已经解释的，根据第一实施例和第二实施例中的三维测量装置100，当计算到测量对象物106的距离值时，使用基于有源图像和无源图像生成的整合图像来计算这个距离值。由此，与对于有源图像和无源图像分别计算单独的视差值时相比，变得有可能减少计算距离值所花费的计算量。

<第三实施例>

在第三实施例中，不执行在第一实施例和第二实施例中执行的用于生成在关联中使用的图像(第三图像)的处理，并且使用与第一实施例和第二实施例中的方法不同的方法来计算评估值。即，在第三实施例中，解释了一种方法的示例，其中从有源图像导出的特征和从无源图像导出的特征被整合到在关联中使用的评估值，而不生成新图像，并且计算到测量对象物的距离值。

具体而言，基于由一个图像捕获装置从每个有源图像(第一图像组)中捕获的有源图像(第一图像)、和也由这一个图像捕获装置从每个无源图像(第二图像组)中捕获的无源图像(第二图像)，来计算关联中使用的评估值。

根据第三实施例中使用的方法，用于生成关联中使用的图像的处理是不必要的，因此有可能提高本发明的速度并减少其存储器使用量。此外，在第三实施例中，还有可能根据有源图像和无源图像中的每个特征的特性来执行评估值计算。

注意的是，第三实施例中的三维测量装置100的装置的构造与第一实施例和第二实施例中的三维测量装置100的装置的构造相同。因此，在第三实施方式中省略了装置构造的解释，并且下面对与第一实施例和第二实施例不同的部分进行解释。

下面，将参考图8来解释使用第三实施例中的三维测量装置的到测量对象物106的距离值计算方法。图8是示出第三实施例中直到计算到测量对象物106的距离值的操作(处理)的流程图。

注意的是，图8中步骤S2111、S2112、S2113、S2115和S2116的处理内容分别与图4中步骤S1111、S1112、S1113、S1116和S1117的处理内容相同，因此将省略对其的解释。图8中的流程图中所示的每个操作(处理)由执行计算机程序的控制单元101控制。

在图8中所示的步骤S2114期间，通过直接参考来自在步骤S2112期间已对其执行像差校正之后的有源图像的亮度值、以及来自在步骤S2113期间已检测到其中的特征之后的无源图像的亮度值，来计算评估值。在这个上下文中，当计算评估值时，以如下所示的方式定义第三实施例的第一图像捕获单元103中的有源图像的像素(X，Y)的亮度。

此外，以如下所示的方式定义第一图像捕获单元103中的无源图像的亮度。

此外，以如下所示的方式定义第三实施例的第二图像捕获单元104中的有源图像的像素(X，Y)的亮度。

此外，以如下所示的方式定义第二图像捕获单元104中的无源图像的亮度。

此外，在例如使用SAD作为计算评估值的评估格式的情况下，计算出的评估值SAD由以下公式(1)至(3)示出

在这个上下文中，k是基于有源图像的信息与基于无源图像的信息被整合的比率，并且选自0≤k≤1的范围。关于k的值，以与第二实施例中的步骤S1114中相同的方式，对于特征提取图像中其亮度值等于或高于预定阈值的像素位置，使k的值小，并且对于亮度值小于预定阈值的像素位置，使k的值大。

如上面所解释的，SAD已被示为评估格式的一个示例。但是，以与第一实施例和第二实施例中相同的方式，也可以使用诸如SSD、ZNCC等的评估格式。

<第四实施例>

第四实施例与第三实施例的不同之处在于，当在图8的步骤S2114期间计算有源图像和无源图像的评估值时，使用单独设置窗口尺寸的方法。

例如，根据诸如有源图像中投影图案的密度、无源图像的图像中的纹理等的特征的尺寸来适当地改变窗口尺寸。以这种方式，通过把将执行关联的范围与每个有源图像和每个无源图像中的每一个图像的特征相匹配以个别地设置将执行关联的范围，来提高关联的精度程度。

在这个上下文中，当使用SAD作为评估格式时，有源图像中的评估值被设为SAD^active，无源图像中的评估值被设为SAD^passive，并且整合之后的评估值Cost在以下公式(4)至(6)中示出。

Cost＝kSAD^active+(1-k)SAD^passipne…(4)

在这个上下文中，有源图像中的评估值SAD^active示出了从投影图案导出的特征的评估值。无源图像中的评估值SAD^passive示出了从测量对象物106的轮廓和纹理导出的特征的评估值。

K是这些被整合的比率，并且选自0≤k≤1的范围。此外，通过将在有源图像中计算评估值SAD^active的窗口尺寸xa、ya以及在无源图像中计算评估值SAD^passive的窗口尺寸xp、yp设置为不同的值来计算评估值。此外，基于整合之后的评估值执行以后步骤的计算，并且计算到测量对象物106的距离值。

<第五实施例>

第五实施例与第三实施例和第四实施例的不同之处在于，对这些图像中的每一个使用与有源图像和无源图像的特征的特性相匹配的不同评估准则。

即，在第五实施例中，使用与每个有源图像和每个无源图像的每个图像的特性相匹配的评估值的不同计算方法来计算评估值。例如，在有源图像中，可以假设即使对应的位置关系正确，图像中的图案的亮度和对比度也由于投影图案的强度、测量对象物的材料和姿势而不同的情况。在这种情况下，将亮度评估为标准化值(例如，ZNCC等)的方法是有效的。

相反，有可能将存在这样的情况：在无源图像中，从测量对象物导出的特征部分的亮度和对比度在正确的对应位置关系中没有大变化。在这种情况下，评估亮度差的绝对值(例如，SAD等)的方法是有效的。在这种示例中，有源图像中的评估值被设为ZNCC^active，无源图像中的评估值被设为SAD^passive，并且计算出的评估值Cost在以下公式(7)中示出。

Cost＝kZNCC^active+(1-k)SAD^passive…(7)

在这个上下文中，如果将有源图像中的评估值ZNCC^active和评估值SAD^passive标准化，使得它们都可以在相同的范围内获得，那么是优选的。注意的是，在第五实施例中，还可以根据有源图像和无源图像中的特征的特性来使用投影图案的光强度、测量对象物的材料以及评估方法的与上面解释不同的组合。

通过使用如上所述的第三至第五实施例的方法，有可能在不生成新图像的情况下整合用于关联从有源图像导出的特征和从无源图像导出的特征的评估值，并计算到测量对象物106的距离值。由此，与第一实施例和第二实施例相比，有可能提高三维测量装置100的速度并减少其存储器使用量，因为在第三至第五实施例中在三维测量装置100中生成图像的处理是不必要的。

注意的是，在上述实施例中的每一个中，在图案光已被投影到测量对象物106上之后对测量对象物106进行图像捕获。但是，本发明还可以应用于其中不将图案光投影到其上的情况。

<第六实施例>

图9是示出第六实施例中的处理单元105中执行的用于计算到测量对象物106的距离值的处理的具体操作的流程图。图9是解释第六实施例中图2中所示的步骤S1106的处理的细节的流程图。注意的是，图9中的流程图中所示的每个操作(处理)由执行计算机程序的控制单元101控制。

首先，在步骤S4111期间，对第一有源图像110和第二有源图像111执行噪声消除处理。例如，在对有源图像进行图像捕获期间，使用近红外激光器作为光源照射图案光的情况下，由于用作由照明光的光源造成的图像特性的散射光之间的干涉，会产生不规则的斑点(散斑噪声)。

散斑噪声根据位置被观察为不同的图案，因此造成立体匹配的精度降低。作为对策，使用诸如高斯滤波器、中值滤波器等的平滑滤波器是有效的。

通过优化平滑滤波器的尺寸，例如，通过将平滑滤波器的尺寸设置为大约在第一有源图像110和第二有源图像111中观察到的散斑的尺寸，可以实现更大的噪声消除效果。

相比之下，无源图像中不会出现散斑噪声，并且噪声消除处理是不必要的。因此，至少对第一图像组中的有源图像执行噪声消除处理。相反，也可以应用具有几个像素的内核尺寸的平滑滤波器，以便能够去除散粒噪声。

接下来，在步骤S4112期间，校正在第一无源图像112、第二无源图像113以及噪声消除之后的第一有源图像110和第二有源图像111中出现的像差(失真)(失真被校正)。

对有源图像或无源图像中的至少一个执行这种失真校正。此外，对第一有源图像110和第二有源图像111、以及第一无源图像112和第二无源图像113执行并行化处理。第一图像捕获单元103和第二图像捕获单元104的校准参数用于像差的校正。

注意的是，在第一图像捕获单元103和第二图像捕获单元104接收的照明光的波长在针对有源图像的图像捕获时和针对无源图像的图像捕获时不同的情况下，优选的是分开使用校准参数，以便减少色差的影响。

具体而言，优选的是分开使用用于有源测量的校准参数和用于无源测量的校准参数。例如，在通过照射近红外图案光来执行有源图像的图像捕获的情况下，使用其中近红外照明被照射的捕获图像来预先计算用于有源图像的校准参数。

此外，在通过照亮可见光执行针对无源图像的图像捕获的情况下，使用在用可见光照明下的捕获图像来预先设置用于无源图像的校准参数。此外，当校正有源图像中的像差时，使用计算出的用于有源计算的校准参数，并且当校正无源图像中的像差时，使用计算出的用于无源测量的校准参数。

由此，有可能减少并行化图像中作为基于照明光的波长的图像特性的像差的影响(可以基本消除该影响)。通过执行上述步骤S4111和S4112，作为在下面将描述的关联之前执行的预处理，有可能执行图像的校正。

接下来，在步骤S4113期间，使用有源图像和无源图像，计算评估值，所述评估值评估使用第一图像捕获单元103捕获的每个图像和使用第二图像捕获单元104捕获的每个图像之间的目标像素的每个组合的相似性程度。

作为在这个上下文中计算评估值的方法，将对使用SAD(绝对差之和)的方法进行解释。来自第一有源图像和第二有源图像的每个目标像素(x,y)的亮度值被设为I_LA(x,y)、I_RA(x,y)，并且第一无源图像和第二无源图像的每个目标像素(x,y)的亮度值被设为I_LP(x,y)和I_RP(x,y)。

此时，作为针对有源图像的相似性程度的评估值的评估值SAD_A和作为针对无源图像的相似性程度的评估值的评估值SAD_P分别由以下公式(8)和公式(9)示出。

对于有源图像的评估值SAD_A和无源图像的评估值SAD_P来说，该值越小，目标区域附近越相互相似。通过根据有源图像中被投影的图案(照明光图案)的密度以及无源图像中测量目标的特征的尺寸设置用于计算相似性程度的窗口尺寸以使得适当地包括每个图像的特征，来提高关联的精度。

例如，如图3中所示，在有源图像中计算评估值SAD_A的窗口107的宽度wa和高度ha被设置为在窗口内部包括至少一个点图案。

此外，在无源图像中计算评估值SAD_P的窗口108的宽度wp和高度hp在可能匹配的范围内被设置为尽可能小，以便能够执行利用测量对象物的微细结构的关联。由此有可能提高关联的精度。

匹配时使用的窗口尺寸大大地影响作为匹配的结果获得的距离图的水平分辨率能力，因此，在可以执行稳定匹配的范围内使窗口尺寸尽可能小更好。注意的是，区域内部使用的像素的数量也可以改变，而不仅仅是区域的尺寸。

具体而言，还可以在区域内适当地稀疏化用于评估值计算的像素，以便能够仅获得必要数量的有效特征。在计算出评估值SAD_A和评估值SAD_p这两个评估值之后，计算整合评估值SAD。

当将两者整合时，优选的是使得具有较大窗口尺寸的窗口的评估值不会过度贡献。将用于计算评估值SAD_A和评估值SAD_p两者的窗口内使用的像素的数量设为S_A和S_P，并且如下面的公式(10)所示来计算它。

注意的是，代替使用上述公式(10)，还可以通过根据有源图像和无源图像的优先程度改变两者的比率来对它们进行整合，如下面的公式(11)中所示。

在这个上下文中，k是用于有源图像的信息与用于无源图像的信息被整合的比率，并且在0≤k≤1的范围内选择。例如，在用户想要强调用于有源图像的信息的情况下，k的值应当被设置为大于0.5。

接下来，在步骤S4114期间，使用在步骤S4113期间计算出的评估值SAD来计算视差值。例如，在使用由第一图像捕获单元捕获的图像为参考来计算视差值的情况下，在使用第二图像捕获单元捕获的图像中在与目标像素位置Pi相同高度的线上存在对应的点。

在步骤S4113期间，已经计算出由第二图像捕获装置捕获的图像中这条线上的每个像素位置(Pj1、Pj2、Pj3、…Pjn)以及示出其与目标像素Pi的相似性程度的评估值(Eij1，Eij2，Eij3，…，Eijn)。在本步骤中，从这些评估值中选择相似性程度最高的组合，并计算对应的视差值以用作针对目标像素位置Pi的视差值。

在改变关注像素位置的同时执行相同的处理。注意的是，已经给出了使用SAD作为示出相似性程度的评估值的计算方法的示例。但是，也可以使用其它方法。例如，也可以使用诸如SSD(平方差之和)、NCC(归一化互相关)等的方法。

此外，还可以使用诸如ZNNC(零表示归一化的互相关)等的方法。

注意的是，本步骤中使用的评估方法不限于这些方法，并且只要使用能够评估第一整合图像114中的目标像素位置附近的特征与第二整合图像115中的目标像素位置附近的特征之间的相似性的方法即可。

接下来，在步骤S4115期间，将视差值转换成距离值。可以使用包括第一图像捕获单元103和第二图像捕获单元104之间的对应位置关系的校准参数，来根据视差值计算距离值。

以上，已经解释了在第六实施例中通过使用在执行关联之后整合的图像组来计算到测量对象物106的距离值的方法。但是，第六实施例不限于上述方法，并且诸如下面将解释的那些之类的各种改变是可能的。

在步骤S1103期间的有源图像的图像捕获中使用近红外图案光的情况下，如果环境光的光量相对大，那么会受到环境光中包括的可见光成分的影响，因此，也可以预先去除环境光成分。作为去除环境光成分的方法，存在通过使用同一图像捕获单元对单独的环境光图像执行图像捕获来减去环境光的方法。使用环境光图像是为了在噪声消除处理当中从有源图像中去除环境光噪声。

对于由同一图像捕获单元捕获的有源图像和环境光图像两者中的相同像素位置中的亮度值，通过从根据有源图像导出的亮度值中减去根据环境光图像导出的亮度值，有可能消除环境光成分。注意的是，在步骤S1105期间针对无源图像的图像捕获与步骤S1103期间针对有源图像的图像捕获的曝光时间相同的情况下，通过代替地减去无源图像，有可能消除环境光成分而不执行针对环境光图像的图像捕获。

此外，在步骤S4113期间，代替直接使用亮度值执行计算，还可以使用通过执行预定转换处理(具体地通过执行普查转换)获得的位序列的汉明距离来计算评估值。普查转换是如下转换：比较目标像素与周围区域中每个像素的亮度值的大小关系，并且在目标像素较大的情况下，将被比较的像素的亮度值设为0，而在目标像素值较小的情况下，将被比较的像素的亮度值设为1。

在这种情况下，以有源图像110和第二有源图像111两者的宽度wa和高度ha的区域作为目标来执行普查转换，并且通过使用转换之后的位序列，使用在窗口中具有相同位置的位序列来计算汉明距离。

在这个上下文中，将计算出的针对有源图像的评估值设为评估值CH_A。以相同的方式，以宽度wp和高度hp的区域作为目标在无源图像中执行普查转换，并通过使用转换之后的位序列计算汉明距离以用作无源图像的评估值CH_p。

此外，在上述公式(10)或上述公式(11)中，只要将计算出的评估值CH_A用作评估值SAD_A，并将计算出的评估值CH_p用作评估值SAD_p即可，并且将评估值SAD计算作为这两个评估值的整合评估值。或者，可以使用通过在有源图像和无源图像中具有不同尺寸的区域中执行普查转换而获得的位序列来计算汉明距离。

例如，在有源图像中的窗口尺寸为7x7的49个像素的区域中执行普查转换的情况下，将获得48位(＝49-1)的位序列。以相同的方式，在窗口尺寸为5x5的25个像素的区域中在无源图像中执行普查转换的情况下，将获得24位(＝25-1)的位序列。

此时，将这两个位序列排列起来，使用72位(＝48+24)的位序列来计算汉明距离，并且这个值也可以用作评估值。在这种情况下，有可能根据从每个图像中用于普查转换的像素的数量来改变两者的权重。注意的是，还可以以与第六实施例中相同的方式执行诸如适当地稀疏化区域内部所使用的像素的数量之类的处理。

在步骤S1102至S1105期间，使得针对有源图像和无源图像的图像捕获都在分开的定时执行。但是，也有可能通过使针对有源图像的图像捕获的图案光具有特定波长并且将这个成分与图像分离以执行图像捕获，来在一次图像捕获会话中获取有源图像和无源图像。

例如，设想这样的情况：将用于捕获有源图像的图案光的投影设为特定颜色，诸如红色等，然后使用RGB传感器来执行图像捕获。在这种情况下，还变得有可能使用提取了这个颜色成分的图像作为有源图像，并且使用提取了所有其它成分(或仅绿色)的图像作为无源图像(以替换它们)，并且可以在一次会话中执行针对有源图像和无源图像的图像捕获。

在这种情况下，两个图像的特性也将取决于其获取方法，并且以与第六实施例中相同的方式将不同，因此，执行适于每个图像的诸如噪声消除处理、像差校正处理等的预处理，如上所述，并且执行用于评估值的计算处理。在这个上下文中，用于这个预处理的方法以及用于评估值本身的计算处理与在第六实施例中解释的方法相同，因此将省略其解释。

如上面所解释的，根据第六实施例的三维测量装置，基于来自每个有源图像和每个无源图像的每个图像特性和特征的信息，根据每个有源图像和每个无源图像计算将在关联中使用的评估值。此外，有可能使用这些计算出的评估值来计算到测量对象物106的距离值。由此，变得有可能提供可以以高精度程度稳健地计算到测量对象物106的距离值的三维测量装置。

<第七实施例>

在第七实施例中，使用与第六实施例相同的装置构造，通过整合有源图像和无源图像来新生成(创建)用于立体测量的对应点搜索中使用的图像(整合图像、合成图像)。

当新生成整合图像(第三图像)时，生成整合图像，使得在有源图像和无源图像中的每一个中观察到的并且将成为关联的关键点的特征保留，并且使用整合图像计算距离值。由此，与单独执行有源测量和无源测量之后组合它们的情况相比，有可能以更高的精度程度来计算距离值。注意的是，如上面所解释的，第七实施例中的装置构造与第六实施例中的装置构造相同，因此，将省略装置构造的详细解释。

第七实施例不像第六实施例中执行的那样，在对有源图像和无源图像中的每一个执行适当的校正处理之后计算有源图像和无源图像中的评估值，然后对已经计算出的有源图像和无源图像的评估值执行整合处理。

代替地，在执行了适于每个图像的图像特性和特征的校正处理之后，第七实施例对图像进行整合使得它们将是一对立体图像，并且执行用于使用已整合的图像(整合图像)计算距离值的处理。下面，将参考图10解释第七实施例的三维测量装置。在这个上下文中，在第七实施例中，将解释与第六实施例不同的部分，并且将适当地省略重复部分等的解释。

图10是示出第七实施例中的距离值计算流程的图。在这个上下文中，图10中的步骤S5111、S5112、S5115和S5116的处理内容与图9中的步骤S4111、S41112、S4114和S4115的处理内容相同。因此，将省略对这些的解释，并且下面将解释包括与第六实施例中的距离值计算处理不同的处理的步骤S5113和步骤S5114的处理。

在步骤S5113期间，使用第一有源图像110和第二有源图像111以及第一无源图像112和第二无源图像113生成整合图像(第三图像)以用作在关联中使用的图像。

当生成整合图像时，基于由一个图像捕获单元从每个有源图像(第一图像组)中捕获的有源图像(第一图像)和由这同一个图像捕获单元从每个无源图像(第二图像组)中捕获的无源图像(第二图像)来生成整合图像。

具体而言，通过设置针对每个亮度值的比率，使用亮度值的简单和来生成整合图像。将有源图像和无源图像中的相同像素的亮度值分别设为I_A和I_P，并且根据下面的公式(12)计算合成图像中的相同像素的亮度值I_S。

I_s＝kI_A+(1-k)I_P…(12)

在这个上下文中，k是用于有源图像的信息和用于无源图像的信息被整合的比率，并且在0≤k≤1的范围内选择。例如，在用户想要强调用于有源图像的信息的情况下，k的值应当被设置为大于0.5。

注意的是，对于关联中使用的图像，也可以使用不同的生成方法。图像中的诸如具有高亮度梯度的区域之类的区域作为用于关联的关键点是有效的，因此，对图像进行整合以提高有源图像和无源图像两者中具有高亮度梯度的区域的比率的方法也是有效的。

在这种情况下，基于通过对有源图像和无源图像应用Sobel滤波器等而检测到的每个像素的亮度梯度的大小的比率，对有源图像和无源图像中的每一个执行加权相加。由此变得有可能通过执行根据每个像素位置的亮度梯度的强度的加权来合成图像。

在步骤S5114期间，针对第一整合图像114和第二整合图像115中关注像素的每种组合计算评估值。这些评估值的计算是上述公式(8)中所示的评估值的计算，其中将第六实施例中的第一有源图像和第二有源图像替换为第一整合图像114和第二整合图像115。

注意的是，在第七实施例中，通过生成整合图像来计算评估值，因此，上述公式(9)和公式(10)中所示的评估值的计算是不必要的，并且有可能如下面的步骤S5115中那样使用通过使用上述公式(8)计算出的评估值。

如上面已经解释过的，根据第七实施例中的三维测量装置100，有可能对无源图像和有源图像进行整合使得从有源图像导出的特征和从无源图像导出的特征保留，并通过使用整合图像计算评估值来计算到测量对象物106的距离值。由此，与各自单独执行有源测量和无源测量之后将有源测量和无源测量组合起来相比，变得有可能以更高的精度程度计算距离值。

<第八实施例>

在第八实施例中，代替第六实施例中执行的针对无源图像的图像捕获，通过用不同质量的图案光照射测量对象物106来捕获更多一个有源图像集合，并且距离值是使用这两个有源图像集合计算的。由此，通过使用各自具有不同特性的图案光来增强信息，变得有可能以高精度程度稳健地测量距离值。

除了投影单元102之外，第八实施例的装置构造与第六实施例中的装置构造相同，因此，将省略除了投影单元102以外的装置构造的详细描述。第八实施例中的投影单元102被配置为能够使用能够通过在多个图案光之间切换来执行照射的物品。即，第八实施例中的投影单元102被配置为能够将各自具有不同质量的图案光投影到测量对象物106上。

在这个上下文中，作为一个示例，使第八实施例的投影单元102是如下物品：该物品能够通过在将近红外激光器用作光源的具有大尺寸的稀疏点图案与将白色LED用作光源的具有小尺寸的密集点图案之间切换来执行照射。

以这种方式，第八实施例的投影单元102能够通过使用不同的光源和不同的图案光以具有不同质量的图案光照射测量对象物106。注意的是，被照射的图案光的光源和图案光的组合不限于此，并且如第六实施例中所解释的那样，可以使用各种图案组合。

此外，投影单元102还被配置为能够照射波长被改变的图案光。下面，将使用图11给出第八实施例的处理流程的解释。

首先，在步骤S7101期间，从控制单元101向投影单元102发送图案光投影开始命令，并且基于第一条件从投影单元102照射第一图案光。由此，第一图案光的图案(第一照明光图案)被投影到测量对象物106的表面上。在这个上下文中，将使用第一条件照射的第一图案光设为以近红外激光器作为其光源的图案光。

接下来，在步骤S3012期间，从控制单元101向第一图像捕获单元103和第二图像捕获单元104发送图像捕获开始命令。在图像捕获开始命令被传输到执行图像捕获的每个图像捕获单元之后，第一图像捕获单元103和第二图像捕获单元104在第一图案光的图案已经从其相应视点投影到测量对象物106的表面上的第一条件下捕获场景的图像(图像捕获过程)。

执行这个图像捕获处理，直到从控制单元101发送图像捕获停止命令。根据本步骤，每个图像捕获单元有可能获取将第一图案光的图案投影到测量对象物106的表面上的有源图像的图像组(第一图像组)。注意的是，在这个步骤期间由第一图像捕获单元103和第二图像捕获单元104执行图像捕获而获取的每个有源图像(第一图像组)的图像数据被发送到处理单元105。

接下来，在步骤S7103期间，从控制单元101向投影单元102发送图案光投影停止命令，投影单元102停止第一图案光的照射，并完成第一图案光到测量对象物106上的投影。在这个上下文中，控制单元101在本步骤期间将照射条件(投影条件)从照射第一图案光的第一条件切换到照射第二图案光的第二条件。

接下来，在步骤S7104期间，从控制单元101向投影单元102发送第二图案光的投影开始命令，并且基于第二条件从投影单元102将第二图案光照射到测量对象物106上。

由此，第二图案光的图案(第二照明光图案)被投影到测量对象物106的表面上。在这个上下文中，其中在本步骤中被照射的第二图案光和在步骤S7101期间被照射的第一图案光是具有不同质量的图案光，将第二图案光设为其中光源是白色LED的图案光。

接下来，在步骤S7105期间，从控制单元101向第一图像捕获单元103和第二图像捕获单元104发送图像捕获开始命令。第一图像捕获单元103和第二图像捕获单元104都从它们各自的视点在第二图案光的图案被投影到测量对象物206的表面上的第二条件下捕获场景的图像(图像捕获过程)。

执行这个图像捕获处理，直到从控制单元101发送图像捕获停止命令。此时，第一图像捕获单元103和第二图像捕获单元104接收被测量对象物106反射回的可见光。

根据本步骤，每个图像捕获单元有可能获取将第二图案光的图案投影到测量对象物106的表面上的有源图像的一组图像(第二图像组)。注意的是，在本步骤中由第一图像捕获单元103和第二图像捕获单元104执行图像捕获而获取的这些有源图像(第二图像组)中的每个有源图像的图像数据被发送到处理单元105。

图12A和12B是示出第八实施例中的由第一图像捕获单元103和第二图像捕获单元104获取的有源图像的示意图、以及其中与这些有源图像具有不同质量的图案光被照射的图像的示意图的一个示例的图。

图12A是由每个图像捕获单元获取的有源图像的示意性图像的一个示例，其中第一图案光的图案被投影到测量对象物106的表面上。注意的是，图12A是与图3A中所示的有源图像的示意图相同的示意图。

图12B是由每个图像捕获装置获取的有源图像的示意图的一个示例，其中第二图案光的图案被投影到测量对象物106的表面上。如果使用图11中的处理流程为例，图12A中的有源图像是步骤S7102期间捕获的图像，并且图12B中的有源图像是步骤S7104期间捕获的图像。

在测量对象物106的表面上观察到的图案被用作在以下段落中的距离值计算处理期间计算视差值的关键点。

接下来，在步骤S7106期间，从控制单元101向投影单元102发送图案光投影停止命令，投影单元102停止第二图案光的照射，并完成将第二图案光投影到测量对象物106上。

接下来，在步骤S7107期间，从控制单元101向处理单元105发送距离值计算开始命令。一旦距离值计算开始命令被发送到处理单元105，处理单元105就使用来自有源图像110、111、116和117的每个图像数据以及校准参数来计算距离值。

在这个上下文中，如果将无源图像替换为在图11的步骤S7104期间捕获的有源图像，那么在处理单元105中执行的计算到测量对象物106的距离值的处理的具体处理流程与第六实施例中图9的处理流程基本相同，因此将省略其解释。下面，对包括与第六实施例中的处理不同的处理的步骤S4111、S4112和S4113进行解释。

在步骤S4111期间，根据在步骤S7101和步骤S7104期间照射的每个图案光的特性来执行噪声消除处理。例如，将内核尺寸为观察到的散斑尺寸的程度的平滑滤波器应用于通过使用近红外激光器作为光源照射第一图案光而捕获的有源图像110和111，以便以与第六实施例中相同的方式减少散斑噪声的影响。

在通过照射使用白色LED作为其光源的第二图案光而捕获的有源图像116和117中不出现散斑，因此，不执行散斑噪声去除处理。

在步骤S4112期间，对有源图像110和111以及有源图像116和117中出现的像差(失真)执行校正，并且对有源图像110和111以及有源图像116和117执行并行化处理。

像差的校正使用第一图像捕获单元103和第二图像捕获单元104的校准参数。注意的是，在步骤S7102期间对有源图像进行图像捕获时和在步骤S7105期间对有源图像进行图像捕获时，第一图像捕获单元103和第二图像捕获单元104中接收到的光的波长不同，因此优选的是分开使用校准参数。

在步骤S4113期间，使用有源图像110和111以及有源图像116和117计算评估值，所述评估值评估使用第一图像捕获单元103捕获的图像与使用第二图像捕获单元104捕获的图像之间目标像素的每种组合的相似性程度。如果将无源图像112和113替换为有源图像116和117，那么评估值的计算方法与第六实施例中的计算方法相同，因此将省略其解释。

在这个上下文中，通过设置根据每个有源图像中的投影图案(照明光图案)的密度来计算相似性程度的窗口尺寸，以包括来自每个图像的适当量的特征，提高了关联的精度。

因此，这样做是优选的。例如，优选的是设置窗口尺寸以便包括点图案中的至少一个点，如图11中用于有源图像110和111的窗口107和用于有源图像116和117的窗口108中所示。

如上面所解释的，根据第八实施例中的三维测量装置，捕获其中各自照射具有不同质量的图案光的有源图像。此后，使用针对捕获的每个有源图像的每个图像组(第一图像组和第二图像组)来计算评估值，并且有可能使用计算出的评估值来计算到测量对象物106的距离值。

由此，通过使用各自具有不同特性的图案光来强化信息，变得有可能以高精度程度稳健地计算到测量对象物106的距离值。

以上，已经解释了第八实施例中到测量对象物106的距离值的计算方法，但是，第八实施例不限于上述方法，并且有可能进行各种改变，如下面将解释的。

例如，在上面的解释中，通过用各自具有不同特性的图案光照射测量对象物106并使用不同有源图像的两个集合来计算距离值。在这个上下文中，本示例中的距离值计算中使用的有源图像也可以增加到三个集合，并且可以针对这三个集合照射各自具有互不相同的特性的图案光。

同样在这种情况下，以与第八实施例中相同的方式，在步骤S4111期间根据每个图像的被照射的图案光的光源特性来执行噪声消除。此外，在步骤S4112期间，执行使用根据图案的波长的校准参数的像差校正和并行化处理。

此外，在步骤S4113期间，基于由照明光的图案引起的特征的尺寸(例如，基于点图案中的点的尺寸)设置窗口尺寸。此后，使用有源图像的这三个集合，并且计算评估它们的相似性程度的评估值。

由此，以与上述第八实施例中相同的方式，通过利用投影了图案光的图案(其中图案具有不同质量)的图像来强化信息，变得有可能以高精度程度稳健地计算到测量对象物106的距离值。即，使用其中改变了照明光的光源和波长、或图案等中的至少一个的图案。

注意的是，虽然在本示例中使用了图像的三个集合，但是使用图像的三个集合或更多集合的情况与上面的描述相同。此外，本示例不仅限于有源图像，还可以获取有源图像和无源图像的组合的三个集合或更多集合的图像，并且还可以使得在计算距离值时使用所获取的图像中的每一个。

此外，还有可能应用第七实施例至第八实施例中给出的改变的示例。即，在第八实施例中的步骤S4113期间，也可以使得使用预定的转换处理(具体而言，通过使用通过执行普查转换获得的位序列的汉明距离)来计算评估值，而不是按原样使用亮度值执行计算。

<根据用于制造物品的方法的第九实施例>

上述三维测量装置100可以在由特定支撑构件支撑它的状态下使用。在第九实施例中，作为一个示例，将给出控制系统的说明，其中通过将例如图13中所示的机器人臂200(把持装置)与其附接来使用三维测量装置100。

虽然图13中未示出，但是三维测量装置100具有第一图像捕获单元103和第二图像捕获单元104，并且使用第一图像捕获单元103和第二图像捕获单元104来捕获被放置在支撑平台T上的物体W的图像，并以与上述实施例中的每一个中相同的方式获取图像(图像数据)。

此外，三维测量装置100的控制单元101或已获取从三维测量装置100的控制单元101输出的图像的臂控制单元210确定对象物W的位置和姿势。臂控制单元210基于这个位置和姿势的信息(测量结果)以及使用上述每个实施例的三维测量装置100计算的到物体W的距离值的信息，通过向机器人臂200发送驱动命令来控制机器人臂200。

机器人臂200使用位于机器人臂200尖端的机器人手(把持单元)等来把持物体W，并基于由上述每个实施例的三维测量装置计算出的到物体W的距离值，通过使物体W前进、旋转等来移动物体W(移动过程)。此外，通过使用机器人臂2200将其它零件附接到物体W(执行组装处理)，有可能制造由多个部件构成的特定物品，诸如例如电路板、机器等。

此外，有可能通过对已移动的物体W执行处理(加工)来制造物品。注意的是，臂控制单元210具有用作计算机的诸如CPU等的计算装置，以及其上存储有计算机程序的诸如存储器等的记录装置。注意的是，控制机器人的控制单元也可以在臂控制单元210的外部提供。

此外，也可以将使用三维测量装置100测得的测量数据以及获得的图像显示在诸如显示器等的显示单元220上。此外，还可以对除物体W以外的物品执行把持和移动以便定位这个物品。注意的是，物体W具有与图1中所示的测量对象物106相同的构造。此外，三维测量装置100还可以被构造为包括机器人臂200。

如上面所解释的，处理单元基于第一图像组和第二图像组的图像中根据照明光的波长的图像特性、由照明光的光源引起的图像特性、或由照明光的图案引起的特征尺寸的信息，来对第一图像组和第二图像组执行关联，或者基于所述信息对第一图像组和第二图像组执行预定处理之后执行关联。

即，处理单元可以基于第一图像组和第二图像组的图像中关于以下的信息中的两个或三个的组合对第一图像组和第二图像组执行关联：基于照明光的波长的图像特性、由照明光的光源引起的图像特性、以及由照明光的图案引起的特征尺寸。

虽然已经参考示例性实施例描述了本发明，但是应该理解的是，本发明不限于所公开的示例性实施例。所附权利要求的范围应遵循最广泛的解释，以涵盖所有此类修改以及等同的结构和功能。

此外，作为根据实施例的控制的一部分或全部，可以通过网络或各种存储介质将实现上述实施例的功能的计算机程序供给三维测量装置。然后，三维测量装置的计算机(或CPU、MPU等)可以被配置为读取和执行程序。在这种情况下，程序和存储程序的存储介质构成本发明。此外，本发明还可以通过例如被配置为起到上述实施例的作用的至少一个处理器或电路来实现。注意的是，也可以使用多个处理器来执行分布式处理。

本申请要求于2022年8月30日提交的日本专利申请No.2022-136582和2022年10月7日提交的日本专利申请No.2022-162607的权益，这两个专利申请的全部内容通过引用并入本文。

Claims (31)

1.一种三维测量装置，包括至少一个处理器或电路，所述至少一个处理器或电路被配置为用作：

投影单元，被配置为将图案投影到对象物上；

多个图像捕获单元，被配置为从相互不同的视点捕获对象物的图像；以及

处理单元，被配置为通过使用由所述多个图像捕获单元捕获的对象物的图像组执行关联，来计算到对象物的距离值；

其中处理单元将基于通过将图案投影到对象物上而捕获的第一图像组的信息、和基于在未将图案投影到对象物上的情况下捕获的第二图像组的信息整合为整合图像或评估值以在关联期间使用，使得来自第一图像组和第二图像组两者的图像的特征保留，并且使用已经被整合的整合图像或评估值来计算距离值。

2.根据权利要求1所述的三维测量装置，其中处理单元基于包括在第一图像组中的第一图像和包括在第二图像组中的第二图像来生成第三图像以用作已经被整合的整合图像，其中第一图像和第二图像都是由图像捕获单元中的一个捕获的。

3.根据权利要求2所述的三维测量装置，其中处理单元通过执行根据第一图像中的特征和第二图像中的特征的加权来生成第三图像。

4.根据权利要求3所述的三维测量装置，其中处理单元生成其中分别从第一图像和第二图像提取了特征的特征提取图像，并且基于特征提取图像中的亮度值确定在执行加权时要使用的系数。

5.根据权利要求2所述的三维测量装置，其中处理单元生成第三图像，使得投影到对象物的表面上的图案、以及对象物的三维结构或表面上的纹理都保留，并且其中投影到对象物的表面上的图案是第一图像中的特征，以及对象物的三维结构或表面上的纹理是第二图像中的特征。

6.根据权利要求2所述的三维测量装置，其中处理单元根据第一图像组和第二图像组中的每个图像的特性执行平滑处理、图像失真的校正或图像边缘提取处理中的至少一种，并生成第三图像。

7.根据权利要求1所述的三维测量装置，其中处理单元使用包括在第一图像组中的第一图像和包括在第二图像组中的第二图像两者，其中第一图像和第二图像由一个图像捕获单元捕获，并且处理单元计算供关联中使用的评估值。

8.根据权利要求7所述的三维测量装置，其中处理单元根据第一图像组中的第一图像和第二图像组中的第二图像中的每一个的特性执行单独的处理，并计算要在关联中使用的评估值。

9.根据权利要求8所述的三维测量装置，其中所述处理包括平滑处理、图像失真校正和图像边缘提取处理中的至少一种。

10.根据权利要求7所述的三维测量装置，其中处理单元根据第一图像组中的第一图像和第二图像组中的第二图像中的每一个的特性单独地设置将在其中执行关联的范围，并计算评估值。

11.根据权利要求7所述的三维测量装置，其中处理单元使用根据第一图像组中的第一图像和第二图像组中的第二图像中的每一个的特性而不同的用于计算评估值的方法。

12.一种三维测量方法，包括：

将图案投影到对象物上；

从不同视点进行对象物的图像捕获；以及

进行处理以通过执行使用已捕获的对象物的图像组的关联来计算到对象物的距离值；其中

在所述处理期间，基于通过将图案投影到对象物上而捕获的第一图像组的信息、和基于在未将图案投影到对象物上的情况下捕获的第二图像组的信息被整合为整合图像或评估值以在关联期间使用，使得来自第一图像组和第二图像组两者的图像的特征保留，并且使用已经被整合的整合图像或评估值来计算距离值。

13.一种存储计算机程序的非暂态计算机可读存储介质，所述计算机程序包括用于执行以下过程的指令：

将图案投影到对象物上；

从不同视点进行对象物的图像捕获；以及

进行处理以通过执行使用已捕获的对象物的图像组的关联来计算到对象物的距离值；其中

在所述处理期间，基于通过将图案投影到对象物上而捕获的第一图像组的信息、和基于在未将图案投影到对象物上的情况下捕获的第二图像组的信息被整合为整合图像或评估值以在关联期间使用，使得来自第一图像组和第二图像组两者的图像的特征保留，并且使用已经被整合的整合图像或评估值来计算距离值。

14.一种系统，包括：

根据权利要求1所述的三维测量装置；以及

机器人，被配置为基于由三维测量装置计算出的到对象物的距离值来把持和移动对象物。

15.一种用于制造制品的方法，包括：

将图案投影到对象物上；

从不同视点进行对象物的图像捕获；以及

进行处理以通过执行使用已捕获的对象物的图像组的关联来计算到对象物的距离值；其中

在所述处理期间，基于通过将图案投影到对象物上而捕获的第一图像组的信息、和基于在未将图案投影到对象物上的情况下捕获的第二图像组的信息被整合为整合图像或评估值以在关联期间使用，使得来自第一图像组和第二图像组两者的图像的特征保留，并且使用已经被整合的整合图像或评估值来计算距离值，以及

基于通过所述处理计算出的到对象物的距离值，把持对象物以移动；以及

通过对对象物执行预定处理来制造预定物品。

16.一种三维测量装置，包括至少一个处理器或电路，所述至少一个处理器或电路被配置为用作：

多个图像捕获单元，被配置为从相互不同的视点捕获对象物的图像；以及

处理单元，被配置为通过使用由所述多个图像捕获单元在第一条件下获取的对象物的第一图像组、和由所述多个图像捕获单元在与第一条件不同的第二条件下获取的对象物的第二图像组执行关联，来计算到对象物的距离值；

其中处理单元基于第一图像组和第二图像组的图像中的根据照明光的波长的图像特性、由照明光的光源引起的图像特性、或由照明光的图案引起的特征的尺寸的信息，来对第一图像组和第二图像组执行关联，或者基于所述信息对第一图像组和第二图像组执行预定处理之后执行关联；以及

使用通过关联获得的视差值来计算距离值。

17.根据权利要求16所述的三维测量装置，其中基于所述信息，处理单元根据来自第一图像组和第二图像组的图像来计算要在关联中使用的评估值，对计算出的每个评估值进行整合，并使用该整合的评估值来计算距离值。

18.根据权利要求17所述的三维测量装置，其中处理单元基于来自第一图像组和第二图像组的图像的亮度值来计算评估值。

19.根据权利要求17所述的三维测量装置，其中处理单元通过使用通过对来自第一图像组和第二图像组的图像中的每一个执行预定转换处理而获得的位序列的汉明距离，来计算评估值。

20.根据权利要求16所述的三维测量装置，其中处理单元基于照明光的波长对第一图像组和第二图像组中的至少一个执行图像失真校正。

21.根据权利要求16所述的三维测量装置，其中处理单元对来自第一图像组和第二图像组的图像中的至少一个执行预定噪声消除处理。

22.根据权利要求17所述的三维测量装置，其中处理单元基于由照明光的图案导致的特征的尺寸在来自第一图像组和第二图像组的图像中设置要在关联中使用的区域，并计算要在关联中使用的评估值。

23.根据权利要求16所述的三维测量装置，其中处理单元基于包括在第一图像组中的第一图像和包括在第二图像组中的第二图像来生成第三图像以用作整合图像。

24.根据权利要求23所述的三维测量装置，其中处理单元通过使用第三图像来计算距离值。

25.根据权利要求16所述的三维测量装置，其中所述至少一个处理器或电路还被配置为用作：

投影单元，被配置为将照明光的图案投影到对象物上；以及

所述多个图像捕获单元获取第一图像组和第二图像组，第一图像组包括投影单元将照明光的图案投影到对象物上的图像，第二图像组包括未将照明光的图案投影到对象物上的图像。

26.根据权利要求16所述的三维测量装置，其中所述至少一个处理器或电路还被配置为用作：

投影单元，能够将至少第一照明光图案和第二照明光图案投影到对象物上，第二照明光图案在光源、波长或照明光图案中的至少一个方面与第一照明光图案不同；以及

所述多个图像捕获单元获取第一图像组和第二图像组，第一图像组包括将第一照明光图案投影到对象物上的图像，第二图像组包括将第二照明光图案投影到对象物上的图像。

27.根据权利要求16所述的三维测量装置，其中图像捕获单元从通过照射具有特定波长的照明光在一次图像捕获会话期间获取的图像中获取包括在第一图像组中的第一图像和包括在第二图像组中的第二图像。

28.一种三维测量方法，包括：

从相互不同的视点捕获对象物的图像；以及

进行处理以通过使用由图像捕获过程在第一条件下获取的对象物的第一图像组、和由图像捕获过程在与第一条件不同的第二条件下获取的对象物的第二图像组执行关联来计算到对象物的距离值；

其中在处理过程期间，基于第一图像组和第二图像组中的每一个的图像中的根据照明光的波长的图像特性、由照明光的光源引起的图像特性、或由照明光的图案引起的特征的尺寸的信息，来执行第一图像组和第二图像组的关联，或者基于所述信息对第一图像组和第二图像组执行关联之前的处理之后执行关联，以及

使用通过关联获得的视差值来计算距离值。

29.一种存储计算机程序的非暂态计算机可读存储介质，所述计算机程序包括用于执行以下过程的指令：

进行处理以使用从相互不同的视点在第一条件下获取的对象物的第一图像组、和从相互不同的视点在与第一条件不同的第二条件下获取的对象物的第二图像组执行关联，并由此计算到对象物的距离值；

其中在处理过程期间，基于来自第一图像组和第二图像组的图像中的每一个中的根据照明光的波长的图像特性、由照明光的光源引起的图像特性、或由照明光的图案引起的特征的尺寸的信息，来执行第一图像组和第二图像组的关联，或者基于所述信息对第一图像组和第二图像组执行关联之前的预定处理之后执行关联；以及

使用通过关联获得的视差值来计算距离值。

30.一种系统，包括：

根据权利要求16所述的三维测量装置；以及

机器人，基于由三维测量装置计算出的到对象物的距离值来把持和移动对象物。

31.一种用于制造制品的方法，包括：

从相互不同的视点捕获对象物的图像；以及

进行处理以通过使用由图像捕获过程在第一条件下获取的对象物的第一图像组、和由图像捕获过程在与第一条件不同的第二条件下获取的对象物的第二图像组执行关联来计算到对象物的距离值，其中在所述处理期间，

基于来自第一图像组和第二图像组的图像中的每一个中的根据照明光的波长的图像特性、由照明光的光源引起的图像特性、或由照明光的图案引起的特征的尺寸的信息，来执行第一图像组和第二图像组的关联，或者基于所述信息对第一图像组和第二图像组执行预定处理之后执行关联，以及

使用通过关联获得的视差值来计算距离值；

基于通过处理过程计算出的到对象物的距离值来把持和移动对象物；以及

通过对对象物执行处理来制造预定物品。