CN103069250B - 三维测量设备、三维测量方法 - Google Patents

Abstract

基于将不具有重叠的边缘位置的多个频率的狭缝状光图案投射到被摄体上时的所拍摄图像，来识别这些狭缝状光图案的边缘部分。在两个以上的狭缝状光图案的所拍摄图像中边缘部分重叠的情况下，与这些边缘相对应的位置的计算距离值的可靠度下降。

Description

三维测量设备、三维测量方法

技术领域

本发明涉及一种三维测量设备、三维测量方法和计算机程序。

背景技术

在诸如制品的三维形状检查、物理尺寸测量和组装定位等的通常被称为机器人视觉的领域中使用针对三维形状的测量设备。

存在针对三维形状的非接触测量的各种方法，并且这些方法既有优点也有缺点。例如，作为三维形状的测量方法的使用激光狭缝光的光切法的优点在于可以使用诸如扫描器、反射镜和半导体激光器等的紧凑型组件来执行该方法。然而，光切法的缺点在于该方法需要拍摄与扫描线一样多的图像，因而不利于对具有三维形状的物体进行高速测量。

作为用以克服这种缺陷的方法，存在被称为空间编码法的如下方法：通过将作为明暗图案的狭缝状光图案投射到物体上以进行空间分割，来测量三维形状。在该空间编码法中，要拍摄的图像的数量仅需为(log₂N)，其中N是空间分割数。因而，与光切法相比，空间编码法使得能够利用较少的所拍摄图像来测量具有三维形状的物体。

然而，在空间编码法中，在进行空间分割时，空间分割的分辨率受到投射图案的量化所使用的位数限制。

因而，存在被称为多狭缝光空间测量法的如下方法：使用空间编码法一直达到特定阶段，并且同时利用光切法来测量空间分割后的各区域的三维形状(参考专利文献1)。

该方法与光切法相比使得能够利用甚至更少的所拍摄图像来测量具有三维形状的物体，并且与仅使用空间编码法的测量相比使得能够利用更高的空间分辨率来测量具有三维形状的物体。

迄今为止，使用上述原理已提高了物体的三维形状的测量精度。

通过例如投射激光狭缝状光或狭缝状光图案来测量形状的三维形状测量设备根据投射光的反射光的拍摄状态而在针对测量值所基于的测量线的检测方面存在问题。换句话说，根据表示来自物体的光的反射特性的双向反射率分布函数(BRDF)，在理想状态(漫反射)下可能无法进行测量线的检测并且可能存在镜面性。由于该情况，例如，在三维形状测量设备中，对测量线的间接反射进行测量。

在这种情况下，由于观察到真实的测量线(由于直接反射所引起的测量线)和虚假的测量线(由于间接反射所引起的测量线)，因此测量距离值的可靠度可能变低。此外，在被摄体的反射强度低的情况下，测量线的信噪比(S/N比)可能下降，这导致难以观察到物体并且在例如观察到大量噪声成分的情况下测量距离值的可靠度下降。

另外，在从被摄体的观察方向观看被摄体的情况下出现依赖于该被摄体的倾斜状态的问题。在被摄体的表面与三维测量设备的投射器设备和照相机设备的光轴垂直的情况下，这被视为作为测量状态的良好状态。然而，在被摄体的表面与三维测量设备的投射器设备和照相机设备的光轴之间的角度由于倾斜而相对于上述状态改变的情况下，由于激光狭缝光或狭缝状光图案的投射所引起的反射光量下降。这导致观察信号内的噪声增加并且信噪比下降。

此外，在测量线之间的距离变得小于照相机设备的像素分辨率的情况下、即在狭缝状光图案的测量分辨率超过照相机设备的分辨率的奈奎斯特(Nyquist)频率的情况下，在图像的相应部分附近测量状态变得不稳定。

因而，在专利文献1中，通过将用于检测表示狭缝状光图案的一部分的空间分割的代码的编码错误的光图案投射到物体上，来检测编码错误。

然而，专利文献1所公开的方法例如需要投射新的图案以去除间接光的影响。尽管可以测量出间接光的影响，但这导致投射狭缝状光图案的操作次数增加。换句话说，专利文献1所公开的方法在测量三维形状时与通常方法相比需要更加频繁地摄像。因而，专利文献1所公开的方法导致测量时间增加并且难以对物体的三维形状进行高速测量。

此外，存在如下情况：由于如上所述照相机设备和投射器设备的光轴相对于被摄体的表面发生倾斜而导致拍摄了频率高于Nyquist频率的狭缝状光图案的情况、或者被摄体的反射率低的情况。在专利文献1所公开的方法中，应对在这些情况下发生的信噪比的下降并不容易。

引文列表

专利文献

专利文献1：日本特开2000-337829

发明内容

本发明是考虑到上述情形而作出的，并且本发明的目的在于在空间编码方法中高速地对被摄体的三维形状进行测量。

根据本发明，前述目的通过提供如下一种三维测量设备来实现，其包括：获得单元，用于获得被投射了具有明暗条纹图案的图案光的被摄体的拍摄图像；边缘位置检测单元，用于检测所述拍摄图像中的表示所述图案光的明部和暗部之间的边界的边缘位置；边缘重叠度检测单元，用于检测所述边缘位置检测单元所检测到的边缘位置的重叠度；以及位置计算单元，用于基于所述边缘位置和所述边缘位置的重叠度来计算所述被摄体的位置。

通过以下结合附图所进行的说明，本发明的其它特征和优点将变得明显，其中在所有附图中，相同的附图标记表示相同或类似的部件。

附图说明

包含在说明书中并构成说明书一部分的附图示出了本发明的实施例，并与说明书一起用来解释本发明的原理。

图1示出三维测量系统的系统结构。

图2示出投射到被摄体上的狭缝状光图案的示例。

图3示出三维测量系统所进行的三维测量的方法的示例。

图4示出三维测量系统的处理单元的软件结构。

图5示出要投射到被摄体上的狭缝状光图案的其它示例。

图6示出被摄体的实际拍摄图像。

图7示出通过投射低频率的狭缝状光图案所获得的边缘位置的计算结果。

图8示出通过投射中频率的狭缝状光图案所获得的边缘位置的计算结果。

图9示出通过投射高频率的狭缝状光图案所获得的边缘位置的计算结果。

图10A示出边缘重叠值的计算结果。

图10B示出边缘重叠值的计算结果。

图11是说明边缘重叠计算处理的流程图。

图12示出遮挡(occlusion)的影响的示例。

图13示出边缘坐标的计算。

图14示出边缘重叠的计算。

具体实施方式

将根据附图来详细说明本发明的优选实施例。

第一实施例

首先，将说明第一实施例。

图1示出三维测量系统的系统结构的示例。该三维测量系统包括投射器112、照相机113和处理单元100。

投射器112将条纹图案光或多狭缝图案光投射到被摄体117上。照相机113拍摄被投射了该图案光或多狭缝图案光的被摄体117(被摄体117所反射的图案光或多狭缝图案光)的图像。处理单元100指示条纹图案光或多狭缝图案光的投射或拍摄，处理所拍摄图像数据，并且进行被摄体117的三维测量。

处理单元100包括中央处理单元(CPU)110、帧缓冲器111、图像存储器114、存储器115、控制器116、输出单元(未示出)和显示单元(未示出)。这些单元经由总线彼此连接。

控制器116是进行自身与存储器115、图像存储器114和帧缓冲器111等之间的通信以及计算的辅助功能的硬件。帧缓冲器111例如由RAM构成。

CPU110使用存储在包括非易失性存储器的存储器115中的图案来构成投射图案，并且将这些投射图案存储在帧缓冲器111中。

在包括非易失性存储器的存储器115中存储有针对条纹图案光和多狭缝光的图案形状程序以及用于设置投射时间的计时程序等。

控制器116在从CPU110接收到投射指示时，将条纹图案光形状信号或多狭缝光形状信号从存储器115经由帧缓冲器111发送至投射器112。

控制器116基于来自CPU110的指示将计时信号发送至投射器112和照相机113。由此，对条纹图案光或多狭缝图案光的投射定时和摄像定时进行管理。

将照相机113所拍摄到的多个图像数据临时存储在图像存储器114中，并且经由控制器116输出至CPU110。CPU110对所输入的图像数据进行诸如二值化等的图像处理。该二值化处理是用于确定条纹图案光的明部和暗部之间的边界位置的处理。CPU110通过该二值化处理来生成黑白的二值化图像数据。将该二值化图像数据存储在存储器115中并且用于计算后续处理中的距离值。

存储器115被构成为包括作为非易失性存储器的ROM和作为易失性存储器的RAM等。存储器115存储诸如投射器112和照相机113之间的基线长度、照相机113的焦距和照相机113的像素数等的设备依赖参数以及诸如外部光亮度和通过预先进行的校准所获得的失真等的外部参数。存储器115还存储基于三角测量法的三维测量所用的程序。

CPU110利用二值化图像数据和各种参数作为数据来基于存储在存储器115中的三维测量程序执行处理，由此进行被摄体117的三维测量。

将CPU110所进行的被摄体117的三维测量的结果生成作为距离图像数据。

该距离图像数据被输出单元(未示出)转换成图像并且被显示单元(未示出)显示作为距离图像。

上述一系列处理总是基于来自CPU110的指示来进行。

注意，例如在以子像素精度水平计算条纹图案光的边缘(明暗边界)部分的情况下，可以通过假定比照相机113所拍摄到的图像大的虚拟拍摄图像作为图像存储器114的大小来创建考虑到子像素精度水平的二值化图像数据。

接着，将说明要投射的狭缝状光图案。在本实施例中，将说明基于格雷码(Graycode)的空间编码作为空间编码的示例。

图2示出投射到被摄体117上的狭缝状光图案的示例。

参考图2，狭缝状光图案200～202是具有交替配置的明暗狭缝部分的条纹图案。

在图2所示的示例中，基于空间编码法的狭缝状光图案200～202表示基于3位空间编码的狭缝条纹图案光。尽管说明了使用3位空间编码的示例，但本实施例不限于3位空间编码。在使用N位编码的情况下，利用N个图案来表示狭缝状光图案。

狭缝状光图案201表示空间分辨率是狭缝状光图案200的空间分辨率的两倍的条纹图案光。同样，狭缝状光图案202表示空间分辨率是狭缝状光图案201的空间分辨率的两倍的条纹图案光。

投射器112将基于上述空间编码法的狭缝状光图案200～202投射到被摄体117上，并且照相机113拍摄投射到被摄体117上的狭缝状光图案200～202。这样，处理单元100通过对摄像区域进行8分割来识别被摄体117。

图3概念性示出三维测量系统所进行的三维测量的方法的示例。

投射器112将由明部和暗部按预定周期交替配置的条纹图案构成的狭缝状光图案200～202投射到被摄体117上。

预先确定狭缝状光图案200～202的条纹图案(形状和大小)，并且将这些条纹图案顺次分别投射到被摄体117上。在每次投射各图案时，投射到被摄体117上的狭缝状光图案被照相机113拍摄到并且被处理单元100获得作为图像数据。

参考图3，假定被摄体117的明部和暗部的边界位置是(X,Y,Z)并且在边界位置(X,Y,Z)和投射器112经由直线彼此相连接的情况下投射器112的光的位置是(X1,Y1,Z1)。此外，假定在边界位置(X,Y,Z)和照相机113经由直线彼此相连接的情况下照相机113的光的位置是(X2,Y2,Z2)。照相机113的光的位置(X2,Y2,Z2)由照相机113的图像传感器(例如，CCD或CMOS)的像素的平面坐标所确定。投射器112的光的位置(X1,Y1,Z1)由光投射装置(例如，液晶装置)的像素的平面坐标所确定。

投射器112和照相机113之间的长度L是基线长度。基线长度L由设备的结构条件所确定。可以基于三角测量原理来利用这些参数确定被摄体117的边界位置(X,Y,Z)。可以通过针对被摄体117的整个表面而获得边界位置(X,Y,Z)来测量被摄体117的三维形状。注意，可以使用公知技术来实现针对被摄体117的整个表面的边界位置(X,Y,Z)的获得以及被摄体117的三维形状的测量，并且这里省略了针对这两者的详细说明。

现在将说明本实施例所提出的技术的概述。

图4示出三维测量系统的处理单元100的软件结构的示例。

处理单元100由402～412所表示的软件组件来实现。这些软件组件与图1所示的诸如CPU110、帧缓冲器111、图像存储器114、存储器115和控制器116等的硬件所执行的程序相对应。注意，尽管在本实施例中将这些组件描述为软件，但可以使用硬件来实现这些组件中的一部分或全部以供执行或处理。最终，使用这些软件组件来输出距离图像数据413是所有这些软件组件的目的。

距离图像数据413是由通过对照相机13所拍摄到的图像的各像素计算距离值所获得的二维阵列构成的数据。距离图像数据413是具有从照相机113到被摄体117的距离值作为各像素的值的三维空间信息。

首先，系统管理单元404控制整个三维测量系统。尽管图4示出系统管理单元404仅控制图案投射单元402和图像导入单元403，但系统管理单元404实际上还管理其它块。

系统管理单元404进行诸如投射狭缝状光图案的定时和拍摄图像的定时的管理、要进行计算的顺序的管理以及输出数据的管理等的整个三维测量系统的资源和时间管理。

图案投射单元402生成投射器112要投射的狭缝状光图案。所生成的狭缝状光图案被投射器112投射。

此时被摄体117的图像被照相机113拍摄到并且被图像导入单元403导入至设备(处理单元100)。

用于投射和拍摄狭缝状光图案的该处理通过投射例如图2所示的狭缝状光图案200～202并且拍摄图像来进行。

本实施例的方法的狭缝状光图案可以是图2所示的垂直图案或图5所示的水平图案以进行系统的适当操作。注意，在以下的说明中，说明使用图5所示的水平图案而不是图2所示的垂直图案的情况作为示例。

图案的该选择是由照相机113和投射器112之间的位置关系所确定的。

在照相机113和投射器112被配置成在垂直方向(在图3所示的示例中为Y方向)上分隔开的情况下，使用水平图案作为狭缝状光图案。另一方面，在照相机113和投射器112被配置成在水平方向(在图3所示的示例中为X方向)上分隔开的情况下，使用垂直图案作为狭缝状光图案。

参考图2，使用基于格雷码的狭缝状光图案作为狭缝状光图案，并且使用根据适合于分割空间的位数的、低频率～高频率的多个狭缝状光图案。

二值化单元405将被摄体117的各所拍摄图像分割成被投射了狭缝状光图案的区域和没有被投射狭缝状光图案的区域。例如，可以通过根据由诸如大津法(Ohtsumethod)等的阈值确定方法所确定的阈值对与被摄体117的所拍摄图像的亮度有关的信息进行分割来进行区域分割。二值化单元405所获得的二值化信息被发送至边缘计算单元407。

边缘计算单元407基于从二值化单元405输出的二值化信息来计算与狭缝状光图案的在明暗之间改变的部分有关的详细位置信息(以下根据需要称为“边缘位置信息”)。

边缘计算单元407将该边缘位置信息发送至子像素计算单元409。

子像素计算单元409基于与边缘附近的像素有关的亮度变化信息来计算更加详细的坐标数据作为与边缘位置有关的信息。此时，可以将与边缘位置有关的信息作为子像素精度的坐标值、而不是以照相机113的像素为单位或以投射器112的投射像素为单位的像素精度的坐标值。

边缘计算单元407将该边缘位置信息发送至边缘重叠计算单元410。

边缘重叠计算单元410针对上述狭缝状光图案的各频率来对各摄像像素中的狭缝状光图案的重叠边缘的数量进行计数。在本实施例中，在多个边缘位置存在于图像传感器的像素内的情况下，边缘重叠计算单元410判断为这些边缘位置正发生重叠。

二值化单元405还将二值化信息发送至二进制值计算单元406。

二进制值计算单元406对根据分别被投射了低频率～高频率的多个狭缝状光图案的被摄体117的图像所生成的各频率的二值化图像进行整合。由此，二进制值计算单元406生成如下图像，其中在该图像中，对投射器112所生成的投射图像中的位置信息(以下根据需要称为“差异映射数据”)进行了编码。

在空间编码法中，通常，已经使用被称为格雷码的代码对差异映射数据进行了编码。因此，投射面位置信息解码单元408对利用格雷码编码后的差异映射数据进行解码，并且计算未被编码的差异映射数据。

通过使用该差异映射数据来获得投射器112的投射面中的坐标与照相机113所拍摄到的图像中的坐标之间的关系。

距离值计算单元411接收投射面位置信息解码单元408解码后的差异映射数据的格雷码、与子像素计算单元409所获得的边缘位置有关的信息、以及边缘重叠计算单元410所获得的重叠边缘的计数。距离值计算单元411在接收到这些计算结果时，计算距离图像数据。

在空间编码法中，基于投射器112的投射面中的坐标和照相机113所拍摄到的图像中的坐标之间的对应关系，使用三角测量法来获得被摄体117上的各位置处的距离图像数据。特别地，在本实施例的方法中，子像素计算单元409利用比以图像像素为单位的精度高的子像素精度来计算狭缝状光图案的边缘位置。因而，可以利用非常高的精度计算出被摄体117在三维空间内的位置。注意，利用公知技术来实现计算距离图像数据的方法，并且省略了针对该方法的详细说明。

然后，将距离值计算单元411所获得的距离图像数据(到被摄体117的距离的计算结果)发送至高可靠度距离值计算单元412。

高可靠度距离值计算单元412基于边缘重叠计算部410所计算出的计数值来识别狭缝状光图案的边缘的位置正发生重叠的部分。然后，高可靠度距离值计算单元412判断为这些部分处的距离图像数据不精确，并且清除相应的距离值。

注意，后面将说明用于基于与边缘的位置正发生重叠的部分有关的信息来判断为这些相应部分处的距离图像数据不精确的详细处理、以及用于清除相应的距离值的处理。

最终，高可靠度距离值计算单元412通过使用已被判断为不精确的距离图像数据来重新构成距离图像数据413。

图5示出要投射到被摄体上的狭缝状光图案的其它示例。如前面所述，图5示出具有水平图案的狭缝状光图案作为狭缝状光图案。

图6～10示出照相机113和投射器112被配置成在垂直方向上分割开的情况作为示例。因而，在图6～10中，通过将图5所示的水平的狭缝状光图案(水平图案)投射到被摄体601上来计算狭缝状光图案的重叠边缘位置的计数。注意，在以下说明中，根据需要将该计数值称为“边缘重叠值”。

在图6～10中，与图2所示的示例相同，针对顺次投射到被摄体601上的低频率～高频率的多个狭缝状光图案500～505中的每个来拍摄被摄体601的图像。

例如，如下进行上述狭缝状光图案的边缘部分的计算。也就是说，基于与通过使用条纹投射图案(正图案)500所拍摄的图像和通过使用条纹投射图案(负图案)503所拍摄的图像有关的亮度梯度信息，来计算狭缝状光图案的边缘部分的位置。

此外，在图5所示的示例中，与图2所示的示例相同，在使用3位格雷码对投射面的位置信息进行了编码的状态下投射狭缝状光图案。

高频率图案(高频率的狭缝状光图案)所使用的位数是由投射器112的投射像素的分辨率来确定的。例如，在投射器112的投射像素的分辨率为1024×768并且投射水平图案的情况下，高频率图案所需的位数是10。

图6示出被摄体的实际拍摄图像的示例。可以将在投射狭缝状光图案时照相机113进行了摄像的被摄体601分割成亮度相对高的部分和亮度相对低的部分。该处理由二值化单元405来进行。

将用于投射狭缝状光图案并且拍摄狭缝状光图案的图像的处理重复与必要分辨率所需的一样多的次数，并且在每次重复该处理时，存储从所拍摄图像获得的边缘部分。这由上述的边缘计算单元407来进行。

在图6所示的示例中，要测量的被摄体601存在于所拍摄图像600中。图6示出在将狭缝状光图案投射到被摄体601上的状态下的所拍摄图像600。对被摄体601进行图7～10所示的边缘部分的计算示例。

图7示出通过投射低频率的狭缝状光图案所获得的边缘位置的计算结果的示例。

边缘计算值700示出通过投射低频率的狭缝状光图案所获得的边缘位置的所有计算结果。边缘计算值700是根据上述的条纹投射图案(正图案)和条纹投射图案(负图案)所计算出的结果。

边缘计算值700示出与狭缝状光图案的亮度变化相对应的边缘部分701。

边缘计算单元407将边缘部分701的值(边缘位置信息)存储在存储器115中。由边缘重叠计算单元410使用边缘部分701的值(边缘位置信息)。

图8示出通过投射中频率(中间频率)的狭缝状光图案所获得的边缘位置的计算结果的示例。

与边缘计算值700相比，边缘计算值800示出通过投射较高频率的狭缝状光图案所获得的边缘位置的所有计算结果。在将中间频率的狭缝状光图案投射到被摄体601上的情况下，如由边缘部分801所示，与图7所示的边缘部分701相比，可以针对较高的频率进行边缘部分的计算。

图9示出通过投射高频率的狭缝状光图案所获得的边缘位置的计算结果的示例。

边缘计算值900示出在已经使用10位对投射器112的像素的空间频率进行了编码的情况下的边缘位置的计算结果的示例。在将高频率的狭缝状光图案投射到被摄体601上的情况下，如由边缘部分901所示，与图7所示的边缘部分701和图8所示的边缘部分801相比，可以针对更高频率进行边缘部分的计算。

图10A和10B示出边缘重叠值的计算结果的示例。

如图7～9所示，边缘计算单元407从将各频率的狭缝状光图案投射到被摄体601上时的所拍摄图像获得边缘位置信息。边缘重叠计算单元401基于从各频率的狭缝状光图案获得的边缘位置信息，通过对与照相机113的同一像素相对应的位置处的边缘的存在进行计数来计算边缘重叠值。

图10A所示的边缘重叠值的计算结果1000示出照相机113的各像素位置处的边缘重叠值。图10B所示的边缘重叠值的计算结果1001示出在高度方向上表示计算结果1000的各像素的边缘重叠值的三维图。

图10A所示的具有一些边缘重叠值的图像位置(区域)1002和图10B所示的具有一些边缘重叠值的图像位置(区域)1003是同一位置，并且是边缘重叠值为2以上的位置。图10A所示的具有一些边缘重叠值的图像位置(区域)1004和图10B所示的具有一些边缘重叠值的图像位置(区域)1005是同一位置，并且是边缘重叠值为1的位置。

高可靠度距离值计算单元412判断为边缘重叠值为1的区域是距离图像数据中的、同一位置处的距离计算值的可靠度高的区域。另一方面，高可靠度距离值计算单元412判断为边缘重叠值为2以上的区域是距离图像数据中的、同一位置处的距离计算值的可靠度低的区域。这样，通过对边缘重叠值进行评价，高可靠度距离值计算单元412可以提取距离值计算单元411所获得的距离图像数据中的距离值的可靠度低的部分，由此不输出这些部分作为距离图像数据413。

现在将说明边缘重叠值和距离图像数据的可靠度之间的关系。

通常，在空间编码法中，通过使用格雷码对投射器设备的投射面中的坐标位置进行编码来进行投射。因而，在投射时，狭缝状光图案的投射面中的各边缘位置彼此完全平行并且没有重叠。这是因为，格雷码的特征在于低频成分的边缘位置和较高频率成分的边缘位置不重叠。此外，在投射图2和5所示的格雷码的狭缝状光图案的示例中，在各频率的狭缝状光图案中对明部和暗部进行切换的边缘位置在低频率、中间频率和高频率处没有重叠。

因而，例如，除了以下情况以外，在照相机设备所拍摄到的被摄体的图像中观察到的边缘位置没有重叠，由此导致信噪比下降：存在间接光的影响的情况；存在遮挡的情况；被摄体表面的倾斜对于照相机设备分辨狭缝状光图案的边缘而言过大的情况；以及被摄体的反射率过低的情况。

因而，可以判断为距离图像数据的边缘重叠值为1的部分满足空间编码法的算法的条件并且具有高可靠度。另一方面，难以判断为距离图像数据的边缘重叠值为2以上的部分满足空间编码法的算法的条件，并且可以判断为这些部分具有低可靠度。

如上所述，可以认为边缘重叠值为2以上的区域受到间接光、遮挡或者由于信噪比(S/N比)的下降所引起的噪声的影响。

在本实施例中，不需要如专利文献1所述的用于测量间接光的反射的影响或者由于信噪比的下降所引起的噪声的影响的特殊狭缝状光图案的投射，并且可以使用与通常的空间编码法所使用的所拍摄图像相同的所拍摄图像来测量三维形状。因而，摄像操作的次数没有增加，并且可以在保持与通常的空间编码法的摄像速度相同的摄像速度的情况下消除间接光的反射的影响或者信噪比的下降的影响。

图11是示出边缘重叠计算处理的示例流程图。

首先，在步骤S1101中，边缘重叠计算单元410清除边缘重叠值。

然后，在步骤S1102中，图像导入单元403针对各低频率～高频率，导入投射狭缝状光图案的正图案时的所拍摄图像(p图像)和投射狭缝状光图案的负图案时的所拍摄图像(n图像)。注意，在步骤S1103中逐一接收到所拍摄图像。

然后，在步骤S1103中，二值化单元405对步骤S1102中导入的所拍摄图像进行二值化处理并且生成二值化数据。

接着，在步骤S1104中，边缘计算单元407基于该二值化数据来提取边缘部分并且生成边缘位置信息。在步骤S1104中，获得图7～9所示的边缘计算值700、800和900。

然后，在步骤S1105中，边缘重叠计算单元410对与存在边缘的部分(区域)相对应的边缘重叠值加上“1”。已经参考图10说明了边缘重叠值的相加处理的详细内容。

然后，在步骤S1106中，系统管理单元404判断是否已对狭缝状光图案的所有频率进行了边缘重叠值的相加处理。在没有对狭缝状光图案的所有频率进行边缘值的相加处理的情况下，该流程返回至步骤S1102，其中在步骤S1102中，导入与下一频率相对应的所拍摄图像。

重复步骤S1102～S1106的处理，直到对狭缝状光图案的所有频率都进行了边缘重叠值的相加处理为止。

在已对狭缝状光图案的所有频率进行了边缘重叠值的相加处理的情况下，边缘重叠值的计算完成，并且图11所示的流程图的处理完成。由此，控制从该处理返回。这样，计算出边缘重叠。

遮挡的影响

这里，将说明本实施例中的遮挡的影响。在来自投射器的投射光接近无来自投射器的光的阴影(遮挡)的情况下观看到遮挡的影响。参考图12来说明遮挡。附图标记1301、1302和1303分别表示被摄体、照相机和投射器。

投射器1303所投射的光被被摄体1301遮挡。在作为阴影部分的区域1304中，照相机1302无法对图案进行摄像。然而，由于被摄体1301存在倾斜，因此区域1304的边缘部分的光具有与环境照明和微弱的图案光的总和相对应的亮度。

由于该状态是将微弱的图案光投射到窄区域上的状态，因此难以识别区域1304。因而，图案光的高频率图案的边缘和该图案光的低频率图案的边缘有可能位于同一拍摄像素区域内，这导致边缘重叠值增加。区域1305是尽管未被照相机1302摄像、但被投射了投射光的部分。

关于该部分，照相机1302对被摄体1301的表面进行摄像，并且投射器1303正常投射光图案。

区域1306也是地板表面，但该区域1306是被投射了图案光并且被照相机1302摄像的部分。

此时，在区域1305和区域1306之间的边界部分发生测量线的不连续或边缘重叠。因而，相应的边缘重叠值增加。

如上所述，认为边缘重叠值为2以上的部分是受到间接光、遮挡或者由于信噪比(S/N比)的下降所引起的噪声等的影响的部分。

也就是说，可以认为整个图像的边缘重叠值映射数据是表示利用图案光检测到的狭缝状光图案的边缘的可靠度的映射或可靠度映射数据。

注意，根据本实施例的方法与专利文献1所公开的技术相比，无需投射用于测量间接光的反射的影响或者由于信噪比(S/N比)的下降所引起的噪声的影响的特殊狭缝状光图案。因而，该方法可以通过使用与通常的空间编码法中所使用的所拍摄图像相同的所拍摄图像进行计算来实现。结果，摄像操作的次数没有增加，并且可以在保持与通常的空间编码法的摄像速度相同的摄像速度的情况下消除间接光的反射的影响或者信噪比的下降的影响。

计算边缘的方法

这里，将说明本实施例中计算边缘的方法。图13示出本实施例中计算边缘的方法。

可以利用一个使用正图案并且另一个使用负图案的两个所拍摄图像来计算边缘。图13是示出所投射图案的所拍摄图像的亮度分布的图。尽管利用二维数据来表示所拍摄图像，但图13将图像的垂直方向的数据示出作为一维数据。

横轴表示所拍摄图像的纵坐标，并且纵轴表示这些图像的亮度的强弱。亮度变化曲线1401表示与正图案投射相对应的所拍摄图像的亮度变化。亮度变化曲线1402表示与负图案投射相对应的所拍摄图像的亮度变化。图13所示的亮度变化是发生图案的变化的局部部分的放大图。亮度变化曲线1401和亮度变化曲线1402在图案变化部分1404中具有相同的亮度值。通过计算该点1404作为边缘坐标来确定边缘坐标位置1403。通过对整个所拍摄图像进行相同的计算处理，对各频率图案的所拍摄图像计算图案的边缘坐标位置。

边缘重叠值的计算

图14是示出用于计算边缘重叠值的处理的示意图。附图标记1501表示如下数据，其中该数据示出基于通过拍摄第N位的投射图案所获得的图像来使用上述方法计算出的边缘位置。附图标记1502表示如下数据，其中该数据示出基于通过拍摄第(N+1)位的投射图案所获得的图像以相同方式计算出的边缘位置。表示边缘位置的数据具有与拍摄画面相同的二维大小。

在与各像素相对应的部分中存在边缘的情况下，该数据示出“1”(1504)，并且在不存在边缘的情况下，该数据示出“0”(1505)。映射1503针对各像素示出如下数据，其中该数据是针对各位数的图案的同一像素处的重叠边缘的计数。在不存在边缘的情况下该数据示出“0”(1508)，在存在一个边缘(不存在边缘重叠的状态)的情况下该数据示出“1”(1507)，并且在存在两个边缘(边缘重叠的状态)的情况下该数据示出“2”(1506)。

在重叠边缘的数量是1的情况下，不存在重叠边缘，并且原理上这与使得能够利用空间编码法来实现正确测量的位置相对应。在重叠边缘的数量为2个以上的情况下，存在边缘重叠，并且原理上这与未被视为使得能够利用空间编码法来实现正确测量的位置相对应。作为上述处理的结果，可以计算出所拍摄图像的各像素位置处的边缘重叠值。

现在将说明高可靠度距离值计算处理的示例。

高可靠度距离值计算单元412判断为在边缘重叠值为1的区域中距离图像数据的值是可靠的，并且使该区域中的距离图像数据有效。另一方面，在边缘重叠值为2以上的情况下，高可靠度距离计算单元412判断为距离图像数据的值具有低可靠度并且使该区域中的距离图像数据无效。这样，对距离图像数据的可靠度低的部分进行无效处理，并且结果可以生成高度可靠的距离图像数据413。

如以上所述，在本实施例中，基于将不具有重叠边缘位置的多个频率的狭缝状光图案500～505投射到被摄体601上时的所拍摄图像，根据各所拍摄图像来识别狭缝状光图案的边缘部分。在两个以上的狭缝状光图案的所拍摄图像中边缘部分重叠的情况下，与这些边缘相对应的位置的计算距离值的可靠度下降。因而，在使用空间编码法来测量被摄体的三维形状时，在没有使投射狭缝状光图案的次数增加的情况下，可以将受到噪声或间接光影响的测量点处的部分识别为已进行了不正确的距离计算的部分。结果，可以以高精度来高速地进行被摄体的三维形状的测量。

第二实施例

现在将说明本发明的第二实施例。在第一实施例中，已经说明了使与边缘重叠值为2以上的区域相对应的距离图像数据无效的情况的示例。然而，在本实施例中，在边缘重叠值为2以上的情况下，使用位数直至从狭缝状光图案的最高频率的位数减去边缘重叠值所得到的值的狭缝状光图案来构成格雷码，由此形成距离图像数据。这样，本实施例与第一实施例的不同之处主要在于计算(或采用)距离图像数据的方法的一部分。

因而，在本实施例的说明中，例如，利用与图1～11所示的附图标记相同的附图标记来表示与第一实施例相同的部分，并且省略了针对这些部分的详细说明。

本实施例的目的如下：在距离值计算单元411所进行的距离计算处理中，通过使用边缘重叠计算单元410所计算出的边缘重叠值来计算与第一实施例相比更多的位置处的距离图像数据，尽管精度与第一实施例相比下降。也就是说，通过采用以下方式解释重叠值，使用低频率的狭缝状光图案的可靠投射结果来进行距离测量。

首先，在边缘重叠值为1的情况下，通过使用所有频率的狭缝状光图案构成格雷码来进行距离计算。

另一方面，在边缘重叠值为2以上的情况下，通过使用位数直至由(狭缝状光图案的最大频率的位数减去边缘重叠值)给出的值的狭缝状光图案构成格雷码来进行距离计算。

这是因为低频率的狭缝状光图案与高频率的狭缝状光图案相比具有较大的光量，并且结果与高频率的狭缝状光图案相比在计算结果中提供较高的信噪比(S/N比)。换句话说，即使边缘重叠值为2以上，在该边缘重叠值相对小的情况下，基于低频率的狭缝状光图案的计算结果的使用频率相对较多，并且在该边缘重叠值相对大的情况下，基于低频率的狭缝状光图案的计算结果的使用频率相对较少。

这样，与第一实施例相比，可以计算出更多位置处的距离图像数据。

注意，可以采用如下的另一结构：距离值计算单元411获得所有的距离图像数据；并且高可靠度距离值计算单元412判断处于重叠的边缘位置的子像素值是否相同，并且根据该判断结果来重新计算边缘重叠值为2以上的距离计算值。

第三实施例

接着，将说明第三实施例。在本实施例中，即使边缘重叠值为2以上，在利用子像素精度所获得的边缘位置不完全相同的情况下，也计算(或采用)该位置处的距离图像数据。这样，本实施例与第一实施例或第二实施例的不同之处主要在于计算(或采用)距离图像数据的方法。因而，在本实施例的说明中，例如，利用与图1～11所示的附图标记相同的附图标记来表示与第一实施例或第二实施例相同的部分，并且省略了针对这些部分的详细说明。

在本实施例中，在距离值计算单元411所进行的距离计算处理中使用边缘重叠计算单元410所计算出的边缘重叠值和子像素计算单元409所计算出的边缘坐标(子像素值)。由此，可以计算出第一实施例或第二实施例中无法计算出的、基于高频率的狭缝状光图案的投射的距离图像数据。

认为边缘重叠值为2以上的区域(像素)处于低频率的狭缝状光图案的边缘位置和高频率的狭缝状光图案的边缘位置存在于照相机113的同一像素内的状态。换句话说，还在边缘位置的分辨率高于照相机113的像素分辨率的情况下发生边缘重叠值为2以上的区域(像素)。

在这种情况下，子像素计算单元409通过使用各频率的狭缝状光图案的亮度来利用子像素精度计算边缘位置。因而，可以以比照相机113的像素的单位相比更精细的水平来计算边缘位置。

换句话说，在边缘重叠值为2以上的情况下，距离值计算单元411判断重叠的边缘位置的子像素值是否相同。在判断为重叠的边缘位置的子像素值不相同的情况下，距离值计算单元411计算与这些边缘位置相对应的到被摄体的距离。这样，本实施例与第一实施例和第二实施例相比实现了更高精度的距离计算，从而使得能够对被摄体的三维形状进行高精度测量。

注意，通过使距离值计算单元411获得所有的距离图像数据，高可靠度距离值计算单元412可以判断重叠的边缘位置的像素值是否相同，并且在这些像素值相同的情况下，清除与该边缘位置相对应的计算距离值。

在上述实施例中，例如，投射器112实现投射器的示例，并且照相机113实现摄像单元的示例。此外，例如，距离值计算单元411实现距离值计算单元的示例，并且边缘计算单元407实现边缘计算单元的示例。此外，边缘重叠计算单元410实现边缘重叠度检测单元的示例，并且距离值计算单元411和高可靠度距离值计算单元412中的至少一个实现位置检测可靠度计算单元的示例。另外，边缘重叠值为2是边缘的位置中的距离的可靠度的基准的示例。

上述实施例仅例示用于实现本发明的特定示例，并且不应当被解释为限制本发明的技术范围。换句话说，可以在没有背离本发明的技术思想或主要特征的情况下以各种形式实现本发明。

第四实施例

在第四实施例中，在距离值计算单元411所进行的距离计算处理中，通过使用边缘重叠计算单元410所获得的边缘重叠值，尽管精度与第一实施例相比下降，但在不会使距离值无效的情况下计算出距离值。

在第一实施例中，在边缘重叠计算单元410所计算出的边缘重叠值为2以上的情况下，将相应的距离值处理为不可靠的测量距离值。在本实施例中，通过如下解释边缘重叠值，使用可靠的低频率的狭缝状光图案来进行距离测量。

(1)在边缘重叠值为1的情况下，通过使用所有频率的投射图案构成格雷码来进行距离计算。

(2)在边缘重叠值为2以上的情况下，通过使用位数直至由(投射图案的最大频率的位数减去边缘重叠值)给出的值的投射图案而构成格雷码来进行距离计算。

这是因为低频率的狭缝状光图案与高频率的狭缝状光图案相比具有较大的光量，因此，与高频率的狭缝状光图案相比在计算结果中提供了较高的信噪比(S/N比)。由于上述处理，本实施例与第一实施例相比使得能够对更多位置进行距离图像数据的计算。

第五实施例

在第五实施例中，在距离值计算单元411所进行的距离计算处理中，通过使用边缘重叠计算单元410所获得的边缘重叠值和子像素计算单元409所获得的子像素值，基于投射高频率的狭缝状光图案的结果来计算其它实施例中无法计算出的距离图像数据。认为边缘重叠值为2以上的图像像素处于低频率的狭缝状光图案的边缘位置和高频率的狭缝状光图案的边缘位置存在于照相机设备的同一像素内的状态。换句话说，还在边缘位置的分辨率高于照相机设备的分辨率的情况下发生边缘重叠值为2以上的图像像素。

在这种情况下，子像素计算单元409可以通过使用各频率的狭缝状光图案的亮度来利用子像素精度计算边缘位置。结果，可以利用比照相机设备的像素单位高的分辨率来计算边缘位置。换句话说，作为在边缘重叠值为2以上的情况下、距离值计算单元411通过还使用边缘位置的子像素值来计算到被摄体的距离的结果，可以利用比其它实施例高的精度来计算距离。

其它实施例

还可以通过读出并执行记录在存储器装置上的程序以进行上述实施例的功能的系统或设备的计算机(或者CPU或MPU等装置)和通过下面的方法来实现本发明的各方面，其中，系统或设备的计算机通过例如读出并执行记录在存储器装置上的程序以进行上述实施例的功能来进行上述方法的各步骤。由于该原因，例如经由网络或者通过用作存储器装置的各种类型的记录介质(例如，计算机可读介质)将该程序提供给计算机。

尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

本申请要求2010年8月19日提交的日本专利申请2010-184195的优先权，在此通过引用包含其全部内容。

Claims (9)

1.一种三维测量设备，包括：

投射单元，用于将具有明暗条纹部的多个图案投射到被摄体上；

获得单元，用于获得被所述投射单元投射了各图案的被摄体的多个拍摄图像；以及

边缘位置检测单元，用于检测各拍摄图像中的表示各图案的明部和暗部之间的边界的边缘的位置，

其特征在于，所述三维测量设备还包括：

判断单元，用于判断是否在各拍摄图像中的相同位置处的像素中检测到多个边缘；以及

位置计算单元，用于基于所述边缘的位置和所述判断单元的判断结果来计算所述被摄体的位置。

2.根据权利要求1所述的三维测量设备，其中，具有明暗条纹部的图案是格雷码。

3.根据权利要求1所述的三维测量设备，其中，在所述判断单元判断为在各拍摄图像中的相同位置处的像素中检测到多个边缘的情况下，所述位置计算单元仅基于所述判断单元没有判断为检测到多个边缘的像素中的边缘的位置来计算所述被摄体的位置。

4.根据权利要求1所述的三维测量设备，其中，在所述判断单元判断为在各拍摄图像中的相同位置处的像素中检测到多个边缘的情况下，所述位置计算单元不使用在所判断的像素中所检测到的多个边缘的位置来计算所述被摄体的位置。

5.根据权利要求1所述的三维测量设备，其中，在各拍摄图像中的相同位置处的像素中检测到多个边缘的情况下，所述边缘位置检测单元通过子像素处理来检测边缘。

6.根据权利要求1～5中任一项所述的三维测量设备，其中，还包括可靠度计算单元，所述可靠度计算单元用于基于所述判断单元的判断结果来计算对所述被摄体的位置进行计算的可靠度。

7.根据权利要求6所述的三维测量设备，其中，所述可靠度计算单元不输出所述可靠度低于基准的位置。

8.根据权利要求6所述的三维测量设备，其中，所述可靠度计算单元基于所述可靠度来确定具有明暗条纹部的图案的频率。

9.一种三维测量方法，包括以下步骤：

投射步骤，用于将具有明暗条纹部的多个图案投射到被摄体上；

获得步骤，用于获得在所述投射步骤中被投射了各图案的被摄体的多个拍摄图像；以及

边缘位置检测步骤，用于检测各拍摄图像中的表示各图案的明部和暗部之间的边界的边缘的位置，

其特征在于，所述三维测量方法还包括：

判断步骤，用于判断是否在各拍摄图像中的相同位置处的像素中检测到多个边缘；以及

位置计算步骤，用于基于所述边缘的位置和所述判断步骤的判断结果来计算所述被摄体的位置。