CN101765755A - 三维形状计测装置、三维形状计测方法、三维形状计测程序及记录介质 - Google Patents

Abstract

本发明的三维形状计测装置包括：投光部(20)，其向对计测对象(12)进行计测的输送台(52)上的一部分区域投影亮度随位置周期性变化的光图案；第一线传感器(36)，其对光图案照射区域(14)进行拍摄；第二线传感器(38)，其对光图案非照射区域(16)进行拍摄；以及图像分析/驱动控制部(40)，其根据从第一线传感器(36)拍摄的图像(82)和第二线传感器(38)拍摄的图像(84)去除了背景信息后的图像(86)中包含的某一像素及其周边像素的亮度值，计算图像(86)中的像素的光图案的相位，并根据计算出的相位计算计测对象(12)的高度信息，其中第一线传感器(36)和第二线传感器(38)被配置成能够分别同时对光图案照射区域(14)和光图案非照射区域(16)进行拍摄。由此，实现能够迅速且高精度地计测三维形状信息的三维形状计测装置。

Description

三维形状计测装置、三维形状计测方法、三维形状计测程序及记录介质

技术领域

本发明涉及通过分析投影到计测对象上的光图案来对计测对象的三维形状进行计测的三维形状计测装置、三维形状计测方法、三维形状计测程序及记录介质。

背景技术

作为通过图像分析来获得对象物的三维形状信息的手段，有如下方法：将光图案投影到存在于预定拍摄视野内的计测对象上，对与计测对象的三维形状对应地变形后的光图案的变形量进行分析。作为代表性方法，可以举出光切割法、空间编码法和条纹分析法等。这些全部基于三角测量的原理，但其中，关于条纹分析法，已提出有空间条纹分析和时间条纹分析等多种方法，作为获得高计测精度的方法而被公知。

但是，通常在这些方法中，在投影了光图案的计测对象的读取中使用面传感器(area sensor)，但在使用面传感器时，会引起下述的问题：由于计测对象不能容纳在1个拍摄视野内，经常需要在纵向和横向的两个方向上移动面传感器，同时逐个拍摄视野地分多次进行拍摄，从而导致拍摄时间变长。

作为针对这种问题的解决对策，例如在专利文献1、2中，提出了取代面传感器而使用线传感器(line sensor)的三维形状计测方法。在专利文献1的计测方法中，用线阵照相机(line camera)拍摄投影了光图案的计测对象，接着，多次重复如下操作：通过输送计测对象，使投影的光图案的相位偏移，再利用其它的线阵照相机拍摄投影了相位偏移后的光图案的计测对象。然后，根据时间条纹分析法(相移法)分析所拍摄的多张图像中包含的光图案，从而计测三维形状。

并且，在专利文献2的三维形状测定装置中，利用设置在不同位置的两个线阵照相机分别拍摄投影了光图案的计测对象，基于立体法根据所拍摄的两个图像来测定三维形状。

作为针对这种问题的解决方案，例如在专利文献1中，提出了取代面传感器而使用线传感器的三维形状计测方法。在专利文献1的计测方法中，用线阵照相机拍摄投影了光图案的计测对象，接着，多次重复如下操作：通过输送计测对象，使投影的光图案的相位偏移，再利用其它的线阵照相机拍摄投影了相位偏移的光图案的计测对象，然后，根据时间条纹分析法(相移法)分析所拍摄的多张图像中包含的光图案，从而计测三维形状。

并且，在专利文献2的三维形状测定装置中，利用设置在不同位置的两个线阵照相机分别拍摄投影了光图案的计测对象，基于立体法根据所拍摄的两个图像测定三维形状。

专利文献1：日本专利申请公开“日本特开2002-286433号公报(2002年10月3日公开)”

专利文献2：日本专利申请公开“日本特开2004-117186号公报(2004年4月15日公开)”

但是，上述现有技术还存在线传感器的配置有困难，或拍摄所需时间较长这样的问题。

例如，在专利文献1所记载的技术中，作为条纹分析法，使用了在改变投影到计测对象上的光图案的相位的同时从同一角度多次拍摄计测对象的同一部分的时间条纹分析法。此处，为了使用多个线传感器拍摄沿直线方向输送的计测对象的同一部分，必须将全部的线传感器严格地平行配置。而且，还需要将全部的线传感器配置成从载置计测对象的基准面起的距离相同。而且，为了从相同角度进行拍摄，必须按照相同的姿势来配置全部的线传感器。例如，在专利文献1中使用了4个线传感器，但实际上难以如上述那样配置这4个线传感器。

如上所述，专利文献1所记载的技术存在线传感器的配置较困难的问题。而且，由于需要多个线传感器，所以还有可能导致计测装置的体积大、价格高、或故障频率上升等。

并且，在使用时间条纹分析法时，还有取代使用多个线传感器，而使用1个线传感器来多次拍摄计测对象的方法，但此时，由于不能够进行并行处理，因此为了拍摄分析所需张数的图像，需要数倍(例如拍摄4张图像时为4倍等)于使用多个线传感器时的时间。由此，产生计测所需时间变长的问题。

另一方面，在专利文献2所记载的技术中，利用立体法根据通过2个线传感器所得到的2个图像来计测三维形状，但为了根据立体法来计测三维形状，需要预先知道2个线传感器的精确的几何配置。因此，在该情况下也需要精确配置2个线传感器，产生线传感器的配置变困难的问题。而且，专利文献2的方法使用立体法，所以还存在如下问题：难以使三维形状的测定精度达到线传感器的像素以下的分辨率，因此测定精度变差。

发明内容

本发明是鉴于上述问题而提出的，其目的在于，实现能够迅速且容易地计测遍布广视场的计测对象的三维形状信息的三维形状计测装置和三维形状计测方法。

为了解决上述问题，本发明的三维形状计测装置使用了空间条纹分析法，该空间条纹分析法根据通过线传感器读取的图像中包含的某一像素及其周边像素的亮度值，计算图像中的像素的光图案的相位，并根据计算出的相位计算计测对象的高度信息。

即，本发明的三维形状计测装置是通过分析投影到计测对象上的光图案，对计测对象的三维形状进行计测的三维形状计测装置，其特征在于，该三维形状计测装置包括：光图案投影单元，其对设置了上述计测对象的计测面的一部分区域投影亮度随位置周期性变化的光图案；第一线传感器，其对上述计测对象的投影了光图案的光图案照射区域进行拍摄；第二线传感器，其对上述计测对象的没有投影光图案的光图案非照射区域进行拍摄；以及处理单元，其根据从上述第一和第二线传感器所拍摄的图像去除了背景信息后的图像中包含的某一像素及其周边像素的亮度值，计算上述图像中的上述像素的光图案的相位，并根据计算出的相位计算上述计测对象的高度信息，上述第一和第二线传感器被配置成能够分别同时拍摄上述光图案照射区域和光图案非照射区域。

根据上述结构，三维形状计测装置具有用于将投影到计测对象上的光图案作为图像读取的第一线传感器、和用于读取没有投影光图案的计测对象的图像的第二线传感器。这样，通过使用线传感器而不是面传感器，能够在线传感器的长度方向(副扫描方向)上延长拍摄区域。因此，能够减少相对于线传感器在副扫描方向上相对移动计测对象的次数(优选为0)，并且以高分辨率拍摄计测对象。由此，能够迅速且高精度地计测三维形状信息。

此处，三维形状计测装置通过分析投影到计测对象上的光图案来计算计测对象的形状信息。该光图案的亮度随位置周期性地变化，可以根据投影到计测对象的某一位置上的光图案的相位从作为基准的相位偏移的程度，计算计测对象在该位置上的高度。

此处，根据由线传感器所拍摄的图像的亮度值，计算投影到计测对象的各部分上的光图案的相位。即，根据与投影了光图案的计测对象的某一位置对应的像素(以下称作“关注像素”)的亮度值，计算与该亮度值对应的相位。但是，在利用具有周期性的连续函数来表示光图案的位置(即相位)和亮度值(即位移)的情况下，赋予了某一点的亮度值(位移)的相位在同一周期内最少存在2个。例如，在由y＝sinθ表示的函数中，赋予了位移y＝0的相位θ存在0和π这2个。因此，不能仅根据关注像素的亮度值(位移)来将与该亮度值对应的相位确定为1个。

此时，在现有的技术中，使用时间条纹分析法确定了关注像素中的相位。即，根据关注像素的亮度值将与该亮度值对应的相位锁定为两个，接着根据偏移光图案的相位后所拍摄的另一图像中的对应像素的亮度值，将关注像素中的光图案的相位确定为1个值。因此，即使计测对象的反射特性严格相同，拍摄了计测对象的同一部分的图像也最少需要2个，需要将对计测对象的同一部分进行延伸扫描的次数设为两次以上。

相对于此，本发明的三维形状计测装置具有图像分析部，该图像分析部根据通过线传感器所读取的图像中包含的某一像素及其周边像素的亮度值，计算该像素的光图案的相位。即，根据关注像素的亮度值来锁定关注像素中的光图案的相位，并且根据关注像素的周边像素的亮度值来将像素中的光图案的相位确定为1个值。

对该原理进行说明时，在具有周期性的连续函数中，在同一周期内至少存在2个赋予了某一位移的相位，而在这2个相位之间这2个相位的周边的位移不同。例如，在上述例子中，赋予了位移y＝0的相位θ存在0和π这2个，而此处，在关注像素中的相位为0时和为π时，周边像素的亮度值(位移)不同。如果关注像素中的相位为0，例如存在于相位比关注像素稍小的一侧的周边像素的亮度值比关注像素的亮度值小。另一方面，关注像素中的相位为π时，存在于相位比关注像素稍小的一侧的周边像素的亮度值比关注像素的亮度值大。由此，可以根据关注像素附近的像素的亮度值，将光图案的相位确定为1个。

此外，在本发明的三维形状计测装置中，光图案投影单元针对设置计测对象的计测面的一部分区域投影了光图案。第一线传感器配置在拍摄投影了上述光图案的光图案照射区域的位置上，第二线传感器配置在拍摄没有投影上述光图案的光图案非照射区域的位置上。

为了提高计测精度，考虑如下方法：拍摄投影了光图案的图像、和没有投影光图案的图像，通过比较各图像来去除背景信息。此时，在用单独的线传感器拍摄图像的结构中，为了拍摄投影了光图案的图像、和没有投影光图案的图像，需要多次拍摄。

此外，在多次拍摄中，为了正确对准摄像位置，需要使用光学尺(linear scaler)等进行精密的位置对准。此外，在多次拍摄中，需要用于临时存储各次拍摄的图像，存储放置到计算所需的图像齐备为止的图像存储器。此外，需要用于切换光图案的投影和不投影的可动式反射镜或半透半反镜等结构(图16)。

但是，在本发明的三维形状计测装置中，上述光图案照射区域和光图案非照射区域被配置成彼此不重叠，第一线传感器和第二线传感器被配置成能够同时拍摄上述各区域。根据上述结构，在计算从上述第一和第二线传感器所拍摄的图像去除了背景信息后的图像时，没有必要多次移动计测对象来拍摄整个计测区域，从而起到能够在一次拍摄中拍摄所需图像的效果。

由此，缩短了拍摄所需要的时间，不需要用于切换光图案的照射和非照射的半透半反镜等机构，不需要在多次拍摄中为了正确进行位置对准所需要的光学尺，能够削减成本并提高拍摄速度。

为了解决上述问题，本发明的三维形状计测方法是三维形状计测装置中的三维形状计测方法，该三维形状计测装置通过分析投影到计测对象上的光图案，对计测对象的三维形状进行计测，其特征在于，上述三维形状计测装置具有光图案投影单元、第一线传感器和第二线传感器，上述第一和第二线传感器被配置成能够分别同时拍摄上述计测对象的投影了光图案的光图案照射区域和上述计测对象的没有投影光图案的光图案非照射区域，该三维形状计测方法包括以下步骤：光图案投影步骤，上述光图案投影单元对设置了上述计测对象的计测面的一部分区域投影亮度随位置周期性变化的光图案；拍摄步骤，上述第一线传感器对上述光图案照射区域进行拍摄，并且上述第二线传感器对上述光图案非照射区域进行拍摄；以及计算步骤，根据从上述第一和第二线传感器所拍摄的图像去除了背景信息后的图像中包含的某一像素及其周边像素的亮度值，计算上述图像中的上述像素的光图案的相位，并根据计算出的相位计算上述计测对象的高度信息。

根据上述结构，可以实现与上述的三维形状计测装置起到相同的效果的三维形状计测方法。

此外，可以在计算机上执行上述三维形状计测方法中的计算步骤。

附图说明

图1示出本发明的一个实施方式，是示出三维形状计测装置的要部结构的剖视图和俯视图。

图2是示出上述三维形状计测装置的物理结构的概念图。

图3示出上述三维形状计测装置的要部结构的功能框图。

图4是示出由上述三维形状计测装置计测的计测对象的形状的图，(a)是俯视图，(b)是侧视图。

图5是示出在上述计测对象上投影了光图案时，投影到上述计测对象上的光图案的变形的图，(a)是俯视图，(b)是示出基准面上的亮度变动和凸部上的亮度变动的波形图。

图6是说明所投影的光图案和投光部20的图，(a)是所投影的光图案的俯视图，(b)是示出投光部20的投光器部分的结构的剖视图。

图7是示出在计测对象上投影了光图案或均匀照明的情况的图，(a)示出了在投影了光图案的状态下的光图案照射区域的一个例子，(b)示出了未投影光图案而投影了均匀照明的光图案非照射区域的一个例子。

图8是表示在上述三维形状计测装置中，关于高度固定的计测对象，去除了背景成分后的线图像的亮度值、与使用光图案照射区域的图像所计算的相位之间的曲线的图。

图9是示出根据在计测对象上投影了光图案的图像、和拍摄了没有投影光图案的计测对象的图像，制成去除了背景成分的图像的具体例子的图。

图10(a)和图10(b)是说明所投影的光图案的条纹和线传感器的间隔之间的关系的概念图。

图11是示出在上述三维形状计测装置中，用三维形状计测装置10计测三维形状的处理的步骤的流程图。

图12是示出本发明的另一实施方式的图，是针对在三维形状计测装置中使用的彩色拍摄照相机所具有的，对红色、绿色、蓝色和黑白色的亮度进行检测的各线传感器的配置进行说明的图。

图13是示出使用上述的三维形状计测装置计测了各颜色的亮度的曲线图的图。

图14是示出再一实施方式的图，是示出三维形状计测装置的要部结构的剖视图和俯视图。

图15是示出又一实施方式的图，是示出三维形状计测装置的各种结构的侧视图。

图16示出现有技术，是示出切换投影光图案的状态和没有投影光图案的状态的结构的侧视图。

标号说明

10：三维形状计测装置；12：计测对象；14：光图案照射区域；16：光图案非照射区域；20：投光部(投影单元)；22：光源；24：投影镜头；26：图案生成元件(光图案投影单元)；28：光线分离部；30：摄像部；31：光源；32：摄像镜头34：反射镜；36：第一线传感器；37：第一区域；38：第二线传感器；39：第二区域；40：图像分析/驱动控制部(处理单元)；42：采集卡；44：控制器；46：CPU；48：RAM；50：输送部；52：输送台；54：伺服电机。

具体实施方式

[实施方式1]

根据图1至图11如下说明本发明的一个实施方式。

图1是示出本实施方式中的三维形状计测装置10的概要结构的图，图1的(a)为剖视图，图1的(b)为俯视图。图2是示出三维形状计测装置10的物理结构的概念图。图3示出三维形状计测装置10的要部结构的功能框图。如图1到图3所示，三维形状计测装置10具有投光部(投影单元)20、摄像部30、图像分析/驱动控制部(处理部)40和输送部50。

投光部20用于将光图案投影到计测对象12的表面。此外，如图1所示，投光部20具有：卤素灯或氙气灯等光源22、微距镜头等投影镜头24、用于使从光源22照射的光具有图案的图案生成元件26以及用于通过透射或遮挡光线来使照射光图案的光图案照射区域14和光图案非照射区域16的边界变得明确的光线分离部28。

作为投影的光图案，只要是正弦波、三角波或矩形波等的，根据位置而具有周期性，且能够确定相位的图案，则可以是任何图案，在本实施方式中，假设采用有助于提高计测分辨率的正弦波形状的光图案。此外，作为图案生成元件26，可以使用对玻璃或薄膜进行加工而成的元件等。此外，图案生成元件26也可以使用液晶等来动态地生成图案。

如上所示，摄像部30读取投影了光图案的计测对象12，取得其图像。此外，如图1所示，摄像部30具有第一线传感器36、第二线传感器38和微距镜头等摄像镜头32。

第二线传感器38配置在能够拍摄光图案非照射区域16的位置上，使得第一线传感器36能够拍摄光图案照射区域14。此外，光图案照射区域14和光图案非照射区域16考虑第一线传感器36和第二线传感器38的拍摄范围，以各区域不重叠的方式排列配置。

输送部50用于使计测对象12沿图2的箭头方向(以下称作主扫描方向)、以及与该主扫描方向垂直的方向(以下称作“副扫描方向”)水平移动。此外，如图3所示，输送部50具有用于载置计测对象12的输送台52、和驱动输送台52的伺服电机54等。

通过输送部50使计测对象12在主扫描方向上移动，同时通过摄像部30依次进行拍摄，由此可以对计测对象12全体的三维形状进行计测。此外，当计测对象12在副扫描方向上比摄像部30的拍摄范围宽时，通过输送部50使计测对象12在副扫描方向上移动，通过摄像部30依次进行拍摄即可。

图像分析/驱动控制部40利用条纹分析法对通过摄像部30拍摄的图像中所包含的光图案进行分析，计算计测对象12的三维形状，并且在控制器44中进行各种指示。此外，如图3所示，图像分析/驱动控制部40具有以数字数据的方式取入来自摄像部30的图像的采集卡(captureboard)42、进行各种控制的CPU 46以及存储各种信息的RAM 48。

另外，在本实施方式中，输送部50构成为使计测对象12移动，但也可以替代使计测对象12移动，而构成为使投光部20和摄像部30在主扫描方向上、并且在副扫描方向上移动。即，输送部50只要使计测对象12相对于投光部20和摄像部30相对移动即可。

对于这种三维形状计测装置10所具备的各部的结构大致进行说明。在本实施方式的三维形状计测装置10中，摄像部30被设置成其副扫描方向的轴与输送台52的计测面平行。

通过使摄像部30的光轴与输送台52的计测面平行，可以以均匀的倍率拍摄计测对象12的上表面。并且，使摄像部30的光轴(副扫描方向上的轴)与主扫描方向垂直，因此在由一边输送一边拍摄的多张线图像组成的二维图像上，直角部分被拍摄为直角部分。

并且，投光部20被设置成其光轴与摄像部30的光轴呈预定角度。由此，能够根据投影到计测对象12上的光图案的偏移来计算计测对象12的高度。另外，摄像部30和投光部20的几何配置可以在设置时预先计测，也可以通过校正来计算。

下面说明这种三维形状计测装置10的动作。首先，根据经由控制器44来自图像分析/驱动控制部40的命令，输送部50的伺服电机54将输送台52设置在初始设定位置。该初始设定位置确定了摄像部30拍摄计测对象12时的主扫描方向上的拍摄开始位置，优选为摄像部30的拍摄区域达到承载于输送部50的输送台52上的计测对象12在主扫描方向的端部那样的位置。

而且，投光部20将光图案投影到计测对象12上。摄像部30对投影了光图案的计测对象12进行扫描，取得该计测对象12的图像。通过摄像部30所取得的图像被发送到图像分析/驱动控制部40，被图像分析/驱动控制部40的采集卡42转换成数字数据。然后，图像分析/驱动控制部40的CPU 46对光图案进行分析，由此计算计测对象12的高度信息。

此处，本实施方式的三维形状计测装置10是在分析图像中的光图案时采用空间条纹分析法的结构。由此，可以根据摄像部30所具备的1个线传感器进行1次扫描所取得的图像，求出计测对象12的、摄像部30的扫描区域(拍摄区域)内的各位置处的高度。

而且，输送部50通过图像分析/驱动控制部40的控制将计测对象12在主扫描方向上移动预定距离。由此，计测对象12上的摄像部30的拍摄区域和由投光部20投影的光图案在主扫描方向上偏移预定距离。之后，摄像部再次30扫描计测对象12，取得图像。这里得到的图像包含计测对象12的、与刚才的扫描区域相比在主扫描方向上偏移了预定距离的区域。所得到的图像同样地被发送到图像分析/驱动控制部40，求出在新的扫描区域内的各位置处的三维信息。

这样，输送部50再次将计测对象12移动预定距离，摄像部30拍摄计测对象12，图像分析/驱动控制部40分析线图像，重复上述处理，由此来对计测对象12全体的三维形状进行计测。

此外，通过公知的方法来对计测对象12的三维形状信息中的、在摄像部30的副扫描方向上的长度和主扫描方向上的长度信息进行计测。具体来说，根据在线图像上拍摄的计测对象在副扫描方向上的长度来计算计测对象12在副扫描方向上的长度信息。另一方面，根据输送部50的移动速度来计算计测对象12在主扫描方向的长度信息。由此，通过求出计测对象12在副扫描方向和主扫描方向上的长度信息和高度信息，可以得到计测对象12的三维形状信息。此外，也可以在校准时拍摄已知间隔的工件，并根据上述部位调节摄像部的高度和焦点，使得副扫描方向上的长度变成期望的分辨率。通过上述调节，即使在输送比拍摄视野小的未知尺寸的工件的情况下，也能够计算尺寸。

另外，优选上述预定距离与对摄像部30的拍摄区域进行拍摄的分辨率相同。由此，通过上述步骤，可以迅速地对计测对象12的全体区域进行计测，而不会发生遗漏。

并且，可以通过以固定速度移动输送台52，同时每相隔固定时间使摄像部30进行拍摄来实现每隔预定距离的拍摄。该情况下，控制器44经由采集卡42，每相隔例如几KHz级的固定时间，向摄像部30发送拍摄驱动信号。摄像部30将该驱动信号作为触发，取得投影了光图案的计测对象12的图像。另一方面，控制器44还每相隔同样的固定时间将输送驱动信号发送给输送部50。输送部50的伺服电机54以该输送驱动信号作为触发，按照固定速度驱动输送台52。由此，能够逐个预定区域地拍摄计测对象12。

此外，如图16所示，以往，对于通过聚光镜头会聚的来自光源的光的光线，在将可动式反射镜折起而除去了的状态下，用于经由反射镜、图案投影图卡(图案生成元件)和半透半反镜在计测对象上投影光图案的光线投射路径、与用于经由可动式反射镜、反射镜和半透半反镜在计测对象上投影不存在光图案的均匀照明的光线投射路径之间进行切换。

在本实施方式中，如图1所示，通过向图案生成元件26照射从光源22照射的光线来生成形成光图案的光线，并经由光线分离部28，将光线分离到光图案照射区域14和光图案非照射区域16上而照射计测对象12和计测面。第一线传感器36和第二线传感器38被配置在能同时分别拍摄光图案照射区域14和光图案非照射区域16的位置上，因此可以在一次拍摄中拍摄照射了光图案的图像和没有照射光图案的图像。

由此，在多次拍摄中，没有必要为了正确对准拍摄位置而使用光学尺等进行精密的位置对准。此外，在多次拍摄中，不需要用于在多次拍摄中临时存储各次拍摄的图像，存储放置到计算所需的图像齐备为止的图像存储器。此外，不需要用于切换光图案投影和不投影的可动式反射镜和半透半反镜等结构。由此，可以在使用了以往的光图案生成元件的状态下，缩短计测时间，实现用于构成各结构的成本削减。

此外，也可以替代使用光线分离部28来对投射到光图案照射区域14和光图案非照射区域16的光线进行分离，而构成为包括透射部和遮光部，该透射部和遮光部用于通过改变形成在图案生成元件26上的图(chart)的结构，针对上述光图案照射区域形成光图案，针对上述光图案非照射区域照射均匀照明。此外，也可以具有均匀照明投射部，该均匀照明投射部针对上述光图案非照射区域照射与由投光部20投影的光图案相同光量的均匀照明。

根据上述结构，与使用光线分离部28分离投射到光图案照射区域14和光图案非照射区域16的光线的情况同样地，可以实现计测时间的缩短和用于构成各结构的成本削减。

接着，说明图像分析/驱动控制部40中的图像分析的详细情况。首先，说明本实施方式的图像分析方法的原理。

图像分析/驱动控制部40根据空间条纹分析法分析投影了光图案的计测对象12的线图像。空间条纹分析法是基于三角测量原理的方法。以下，依次说明三角测量的原理、条纹分析法和空间条纹分析法。

首先，说明三角测量的原理。为了简化说明，考虑如下情况：利用具有与基准面垂直的光轴的摄像单元Cc，观测从基准面P0起的高度为h的平面Ph。并且，假设投光部Cp被配置成从基准面P0观察与摄像单元Cc高度相同，并朝基准面P0上的点O的位置投影光图案。

在观测与基准面P0平行且相隔高度h的平面Ph时，朝向点O的光图案与点P相交。此时，从摄像单元Cc观察时，在从原来应观测到的位置O(即位置Q)偏离了距离PQ的位置P处，观测到向基准面P0投影的光图案。将该位置偏移PQ称作相位差。

只要能够计算出相位差，就能够利用下述式(1)来计算高度h。

(其中，PQ表示PQ间的距离，即相位差。并且，d表示摄像部Cc和投光部Cp的光轴中心间的距离，L表示从摄像部Cc到基准面的距离，均为已知的值。)

接着，说明条纹分析法。在本实施方式中，将正弦波形状的光图案用作投影到计测对象12上的光图案。正弦波形状的光图案是指具有用正弦函数来表示亮度的等级(gradation)的图案。换言之，将利用正弦函数来表示位置与亮度之间的关系的光图案称作正弦波形状的光图案。

此处，参照图4和图5说明照射到计测对象12上的光图案。图4是示出计测对象12的形状的图，图4的(a)是俯视图，图4的(b)是侧视图。图5是示出在计测对象12上投影了光图案时，投影到计测对象12上的光图案的变形的图，图5的(a)是俯视图，图5的(b)是示出基准面上的亮度变动和凸部上的亮度变动的波形图。

在将光图案投影到图4(a)、图4(b)所示那样的计测对象12上时，从上面观测所投影的光图案如图5(a)所示。即，从倾斜方向投影的光图案在具有高度的凸部上产生变形。通过摄像部30扫描这样投影了光图案的计测对象12时，扫描位置和亮度之间的关系如图5(b)所示。

如图5(b)所示，投影到没有凸部的基准面上的光图案的亮度始终以固定的周期变化。与此相对，投影到凸部上的光图案的亮度的周期随着凸部的倾斜而变化，其结果是，相对于投影到基准面上的光图案产生相位偏移。由此，只要求出实际在计测对象12上投影光图案而拍摄的图像中包含的某一位置的像素处的光图案的相位、与在基准面上投影了光图案时的相同像素的相位(基准相位)之差，就能够根据三角测量的原理求出与该像素对应的位置处的计测对象12的高度。

计算上述相位差时，可以通过在基准面上投影光图案而进行拍摄等来预先求出基准相位。另一方面，求出实际在计测对象上投影光图案而拍摄的图像中包含的各位置的像素处的光图案的相位的方法大体分为两种。空间条纹分析法和时间条纹分析法的不同之处在于求出该相位的方法。

如5的(b)所示，在正弦函数中，在1个周期内存在2个赋予了某一位移的相位。例如，在由y＝sinθ表示的函数中，赋予了位移y＝0的相位θ存在0和π这两个。并且，赋予了位移y＝1/2的相位θ存在π/6和5π/6这两个。根据该理由，在所拍摄的图像中，不能够仅根据单一的像素亮度值(相当于正弦函数的位移)来求出该像素处的光图案的相位。

此处，在作为以往使用的方法的时间条纹分析法中，对计测对象投影相位偏移了预定量的光图案而再次拍摄计测对象，并分析两个图像，由此将相位确定为一个。即，根据最初拍摄的图像中的某个像素的亮度，将该像素处的光图案的相位锁定为两个，根据接着拍摄的图像中的该像素的亮度，将光图案的相位确定为一个。由此，可知在使用时间条纹分析法的情况下，即使计测对象的反射特性严格相同，最少也必须对计测对象进行两次拍摄。

另一方面，在空间条纹分析法中，根据要求出相位的像素(以下称作“关注像素”)及其周边像素的亮度，计算关注像素处的相位。例如，在上述例子中，赋予位移y＝0的相位θ存在0和π这两个，而此处，关注像素处的相位为0时和π时，周边像素的亮度不同。如果关注像素处的相位为0，则例如存在于相位比关注像素稍小的一侧的周边像素的亮度值比关注像素的亮度值小。另一方面，关注像素处的相位为π时，存在于相位比关注像素稍小的一侧的周边像素的亮度值比关注像素的亮度值大。因此，可以基于关注像素附近的像素，将光图案的相位确定为1个。这样，基于存在于关注像素附近的像素的亮度值来确定关注像素处的相位是空间条纹分析法的特征。

以下详细说明在本实施方式的三维形状计测装置10中使用的空间条纹分析法的具体处理过程，但本发明不限于此，只要是基于上述的空间条纹分析法的原理进行的，则可以是任何处理过程。

在本实施方式中，根据所拍摄的线图像，虚拟地制作光图案相移了90°的相移光图案。此处，将投影的光图案设为下述式(2)所示时，

I(x)＝B(x)sin(φ(x))      (2)

(其中，I(x)表示位置x处的亮度值，B(x)表示任意的函数，φ(x)表示位置x处的相位)，该光图案相移了90°后的相移光图案由下述式(3)表示：

$\hat{I}\left(x\right)=B\left(x\right)\left(\sin (\mathrm{\φ}\left(x\right)+\frac{\mathrm{\π}}{2}\right)---\left(3\right)$

$=B\left(x\right)\cos \left(\mathrm{\φ}\left(x\right)\right)$

(其中，

表示相移光图案的位置x处的亮度值)，由此，位置x处的像素的相位φ(x)可以根据下述式(4)求出。

$\mathrm{\φ}\left(x\right)={\tan }^{-1}\frac{I\left(x\right)}{\hat{I}\left(x\right)}---\left(4\right)$

此处，I(x)的值是副扫描方向的位置x处的像素的亮度值。另一方面，在计算

(以下简称为带上标的I(x))的值时，使用希尔伯特(Hilbert)变换。即，相移光图案的位置x处的亮度值

由下述式(5)表示。

$\hat{I}\left(x\right)=\frac{1}{\mathrm{\π}}{\∫}_{-\∞}^{\∞}\frac{I\left(\mathrm{\τ}\right)}{x-\mathrm{\τ}}\mathrm{d\τ}---\left(5\right)$

此处，可取得的亮度数据是各个像素的数据，即离散数据，所以将上述式(5)近似为下述式(6)。

$\hat{I}\left(x\right)=\underset{k=-N}{\overset{N}{\mathrm{\Σ}}}h(x-k)I\left(k\right)---\left(6\right)$

(其中，h(x)是用h(x)＝1/πx表示的函数，表示希尔伯特变换的时域特性)

根据该式(6)可以求出

的值。

如上，若取得亮度值I(x)，则可以根据上述式(6)求出

的值，根据上述式(4)求出相位φ(x)。然后，可以通过所求出的相位φ(x)与基准面上的相位φ₀(x)之间的相位差Δφ(x)，基于上述的三角测量原理来计算位置x处的高度z。

具体讲，作为离基准面的距离来计算高度z，可以通过下述式(7)求出。

$z=f\left(\mathrm{\Δ\φ}\left(x\right)\right)=\frac{\mathrm{\Δ\φ}\left(x\right)}{A(x,z)\mathrm{\Δ\φ}\left(x\right)+B(x,z)}---\left(7\right)$

在上述式(7)中，A(x，z)以及B(x，z)是取决于图案周期、从照相机到基准面的距离和图案的投影角度等几何配置而针对每个像素确定的函数。

接着，使用图6，详细说明投光部20的结构。图6是说明所投影的光图案和投光部20的图，图6的(a)是所投影的光图案的俯视图，图6的(b)是示出投光部20的投光器部分的结构的剖视图。投光部20具有光源(灯单元)22、投影镜头24a、图案生成元件(图卡)26以及由准直透镜、积分透镜(integrator lens)和聚光透镜等构成的聚光透镜组24b。

从光源22投影的光线在经由各透镜调整了光线量和波长后，照射到图案生成元件26。通过所照射的光线，利用投影镜头24a将形成在图案生成元件26上的条纹图样放大，将像翻转后在计测面上形成条纹状的光图案。

这里，作为图案生成元件26，示出了在右半部分形成了用于生成光图案的图卡，在左半部分形成了用于透过均匀照明的透射区域的例子，但是不限于此。也可以是使用光线分离部28将光线分离为用于照射到光图案照射区域14上的光线和用于照射到光图案非照射区域16上的光线的结构，也可以具有对上述光图案非照射区域照射与所投影的光图案相同光量的均匀照明的其它的均匀照明投射部。

图7的(a)示出了投影了光图案的状态下的光图案照射区域14的一个例子，图7的(b)示出了未投影光图案而投影了均匀照明的光图案非照射区域16的一个例子。如图7的(b)所示，可以了解即使对计测对象12照射一样亮度的光，在所拍摄的图像上也会产生不均匀(光斑)。这是由于计测对象12的各部位的反射特性的不同而引起的。如图7的(a)所示，在投影了光图案的状态下的光图案照射区域14的图像上也产生了上述不均匀，从而在使用上述光图案照射区域14的图像计算的相位中产生误差。

图8示出了关于高度固定的计测对象12，去除了背景成分后的线图像的亮度值、和使用光图案照射区域14的图像所计算的相位。在图示中，左侧的纵轴为背景去除后的信号量，右侧的纵轴为相位(rad)，且横轴为光图案照射区域14的图像中包含的像素在副扫描方向上的位置x。

参照图8，可以了解去除了背景成分后的光图案照射区域14的图像的亮度值成为与光图案同样的正弦函数，使用光图案照射区域14的图像计算的相位的增加率固定，去除了上述不均匀。由此，能够减轻由于计测对象12的各部位处的反射特性的不同而导致的误差。

图9是示出根据在计测对象12上投影了光图案的图像、和拍摄了没有投影光图案的计测对象12的图像，制成去除了背景成分的图像的具体例子的图。图像82是在计测对象12上投影了光图案的图像，图像84是拍摄了没有投影光图案的计测对象12的图像，图像86是从图像82和图像84去除背景成分并进行了归一化而得到的图像。

根据图像86可知，通过使用图像82和图像84去除背景成分，能够更明确地读取光图案。由此，在图像分析/驱动控制部40中，能够更正确地进行高度计测。

图10是说明所投影的光图案的条纹和线传感器的间隔之间的关系的概念图。在图10的(a)中，第一线传感器36和第二线传感器38被配置成通过摄像镜头32与计测面对置。区域37a和区域39a为线传感器36和线传感器38的拍摄区域。此时，将线传感器36和线传感器38的间隔设为N[μm]，将区域37a和区域39a的间隔设为L[μm]。

此外，在图10的(b)中，光图案的条纹与条纹之间的距离为200[μm]。但是，该200[μm]的距离是理想地投影了光图案时所计测的距离，实际上条纹图案洇渗，由于模糊而渗出到区域R中。因此，在用第二线传感器38拍摄光图案非照射区域16时，需要将拍摄场所设定为从由于模糊而渗出的范围R离开L的区域。

此时，可以通过摄像部的副扫描方向的分辨率/单元间隔×线传感器间隔N求出线间隔L(单位为μm)。

接着，使用图11，对在用本实施方式的三维形状计测装置10实际进行三维形状的计测时的处理步骤进行说明。图11是示出用三维形状计测装置10计测三维形状的处理步骤的流程图。

开始计测处理后，首先，在S1中，第二线传感器38拍摄照射了均匀照明的光图案非照射区域16，并且在S2中，通过第一线传感器36拍摄利用正弦波照明投影了光图案的光图案照射区域14。上述S1和S2的处理同时进行，上述各线传感器的拍摄图像被发送到图像分析/驱动控制部40的采集卡42。

接着，在S3中，从上述各线传感器的拍摄图像中去除背景信息。举出具体例子的话，例如，通过从图9中的图像82去除图像84来求得图像86。此外，也可以使用其它的归一化方法来去除背景信息。上述的S1到S3的处理由于根据图像进行条纹分析，所以相当于前处理。

此外，在采集卡42中，实时地处理上述各线传感器的拍摄图像，计算计测对象12的高度。具体而言，通过进行以下的S4到S7的处理来求出计测对象12的高度。

接着，在S4中，进行条纹分析来计算光图案的相位偏移了多少。在具体例子中，如式5到式7所示，使用希尔伯特变换法进行条纹分析。然后，在S5中，使用PLL(Phase Locked Loop：锁相环)等来进行相位噪声的去除和相位连接。上述的S4和S5的处理相当于根据图像计算相位的处理。

之后，在S6中，根据计测前的校正(校准)中预先取得参数和相位，将所照射的光图案的相位与三维坐标关联起来，在S7中，求出计测对象与三维坐标的交点坐标、即所计测的三维形状的高度(测距)，从而结束三维形状的计测处理。

如上所述，本实施方式的三维形状计测装置10是通过分析投影到计测对象12上的光图案来对计测对象12的三维形状进行计测的三维形状计测装置10，该三维形状计测装置包括：投光部20，其向对计测对象12进行计测的输送台52上的一部分区域投影亮度随位置周期性变化的光图案；第一线传感器36，其对计测对象12的投影了光图案的光图案照射区域14进行拍摄；第二线传感器38，其对计测对象12的没有投影光图案的光图案非照射区域16进行拍摄；以及图像分析/驱动控制部40，其根据从第一线传感器36所拍摄的图像82和第二线传感器38所拍摄的图像84去除了背景信息后的图像86中的像素及其周边像素的亮度值，计算图像86中包含的某一像素的光图案的相位，并根据计算出的相位来计算计测对象12的高度信息，其中第一线传感器36和第二线传感器38被配置成能够分别同时拍摄光图案照射区域14和光图案非照射区域16。

根据上述结构，三维形状计测装置10具有用于将投影到计测对象12上的光图案作为图像82读取的第一线传感器36，和用于读取没有投影光图案的计测对象12的图像84的第二线传感器38。这样，通过使用线传感器而不是面传感器，在线传感器的长度方向上延长拍摄区域。因此，能够减少相对于线传感器在副扫描方向上相对移动计测对象12的次数，并且以高分辨率拍摄计测对象12。由此，能够迅速且高精度地计测三维形状信息。

此外，在本实施方式的三维形状计测装置10中，投光部20针对设置了计测对象12的输送台52的一部分区域投影光图案。第一线传感器36配置在拍摄投影了光图案的光图案照射区域14的位置上，第二线传感器38配置在拍摄没有照射光图案的光图案非照射区域16的位置上。

由此，缩短了拍摄所需的时间，不需要用于切换光图案的照射和非照射的半透半反镜等机构，不需要在多次拍摄中为了正确进行位置对准所需要的光学尺，可以实现成本削减和拍摄速度的高速化。

此外，在本实施方式的三维形状计测装置10中，具有包括多个线传感器的摄像部30，使用摄像部30中的两个线传感器作为第一线传感器36和第二线传感器38。在上述结构中，使用包括多个线传感器的照相机，构成了本实施方式的三维形状计测装置10。

此外，在本实施方式的三维形状计测装置10中，具有光线分离部28，该光线分离部28针对光图案照射区域14透过用于形成光图案的光线，针对光图案非照射区域16透过均匀照明。

根据上述结构，使用与对图案生成元件26进行投射的光源相同的光源，通过透射或遮挡光图案照射区域14用的光线和光图案非照射区域16用的光线来分离光线，由此来将光图案照射区域14和光图案非照射区域16的光量保持为同等，从而提高了计算去除背景信息后的图像的精度。

此外，在本实施方式中，使用光线分离部28将光图案照射区域14和光图案非照射区域16的光量保持为同等，但也可以构成为通过使用用于在计测面上形成光图案的图卡等光图案形成元件来形成上述光图案照射区域和光图案非照射区域，由此将光图案照射区域和光图案非照射区域的光量保持为同等。

本实施方式的三维形状计测方法是通过分析投影到计测对象12上的光图案，对计测对象12的三维形状进行计测的三维形状计测装置10中的三维形状计测方法，三维形状计测装置10具有投光部20、第一线传感器36和第二线传感器38，第一线传感器36和第二线传感器38被配置成能够分别同时拍摄计测对象12的投影了光图案的光图案照射区域14和计测对象12的没有投影光图案的光图案非照射区域16，该三维形状计测方法包括以下步骤：光图案投影步骤，对设置了计测对象12的输送台52的一部分区域投影亮度随位置周期性变化的光图案；拍摄步骤，对光图案照射区域14进行拍摄，并且对光图案非照射区域16进行拍摄；以及计算步骤，根据从第一线传感器36所拍摄的图像82和第二线传感器38所拍摄的图像84去除了背景信息后的图像86中的像素及其周边像素的亮度值，计算图像86中包含的某一像素的光图案的相位，并根据计算出的相位计算计测对象12的高度信息。

此外，可以通过计算机的控制来在计算机上执行上述三维形状计测方法。

[实施方式2]

接着，根据图12和图13说明本发明的另一实施方式。本实施方式的三维形状计测装置10与图1所示的三维形状计测装置10相比，摄像部30内的线阵照相机的结构不同，其它结构相同。此外，对与在上述实施方式中说明的结构具有相同的功能的结构标以相同的标号，并省略其说明。

图12是说明本实施方式的三维形状计测装置10中所使用的彩色拍摄照相机(彩色摄像单元)具有的对红色、绿色、蓝色和黑白色的亮度进行检测的各线传感器的配置的图。此外，在图12中，作为彩色传感器，例示了Kodak公司的KLI-4104(CSL8000CL)，该彩色传感器具有多个CCD(Charge Coupled Device：电荷耦合器件)作为线传感器。

图12的“绿线”是检测绿色的亮度的CCD，“红线”是检测红色的亮度的CCD，“蓝线”是检测蓝色的亮度的CCD，“黑白线”是检测黑白的亮度的CCD。图12的上侧示出彩色拍摄照相机的主扫描方向，左端的虚线示出了最初的有效像素。右端的虚线示出最后的有效像素，对最初的有效像素的光学中心分配了检测黑白亮度的摄像元件。

示出为绿色、红色和蓝色的各线的四角形分别表示第1个、第2个、...第4080个摄像元件，1个四角形表示10μm的摄像元件的面积。示出为黑白线的四角形分别表示第1个、第2个、...第8060个摄像元件，1个四角形表示5μm的摄像元件的面积。由此，黑白摄像元件与绿色、红色和蓝色的摄像元件相比具有两倍的清晰度。

绿线与红线的间隔、以及红线与蓝线的间隔为80μm，各线的光学中心之间的间隔为90μm。蓝线与黑白线的间隔为115μm，各线的光学中心之间的间隔为122.5μm。

在本实施方式中，将检测黑白色的线传感器的检测结果作为第一线传感器的亮度信息，将红色、蓝色和绿色的线传感器的检测结果转换为亮度，作为第二线传感器的亮度信息。

图13示出了使用上述那样的具有红色、蓝色、绿色和黑白色的CCD的线传感器计测了各颜色的亮度结果的曲线图。图13的曲线图的横轴表示波长[μm]，纵轴表示相对于各颜色的灵敏度特性[V/μJ/cm²]。在本实施方式中，通过将红绿蓝转换为Y(亮度)，使红色、绿色和蓝色的灵敏度特性与黑白色的灵敏度特性一致。

在图13的曲线图中，线62表示蓝色的灵敏度特性，线64表示绿色的灵敏度特性，线66表示红色的灵敏度特性，线68表示安装红色、蓝色和绿色的滤色器之前的灵敏度特性。线70表示黑白灵敏度特性。

由此，通过对蓝色灵敏度特性62、绿色灵敏度特性64和红色灵敏度特性66乘以系数并相加来作成与黑白灵敏度特性70相近的特性，使用红色、蓝色、绿色和黑白色的任意一个传感器，都能够用作第一线传感器36或第二线传感器38。

如上所述，对来自红色、绿色和蓝色的三个线传感器的检测结果进行转换而用作为没有光图案的图像，将黑白线传感器的检测结果用作为具有光图案的图像，由此，可以与使用相同灵敏度的两个线传感器的情况同样地进行检测。

此外，在上述的例子中，示出了将红、绿、蓝的亮度检测转换为黑白亮度的情况，但是也可以对检测黑白色的线传感器赋予红、绿或蓝中的任意一种颜色(例如绿)的滤色器，使用来自该线传感器和原来的绿线传感器的检测结果。

[实施方式3]

接着，根据图14说明本发明的再一实施方式。图14是示出本实施方式的三维形状计测装置10的概略结构的图。此外，对具有与在上述实施方式中说明的结构相同功能的结构标以相同的标号，并省略其说明。

在图14的三维形状计测装置10中，以下方面与上述实施方式不同，其它结构相同：第一线传感器36和第二线传感器38分别设置在具有单独的线传感器的照相机中，具有与各照相机的线传感器对应、使拍摄视线与计测面相对的反射镜34。

在图14中，通过使具有第一线传感器36的第一照相机、和具有第二线传感器38的第二照相机在平行于计测对象面的方向上相互面对，并在两个照相机之间配置倾斜的反射镜34，使第一线传感器36和第二线传感器38的拍摄视线与计测对象面上的光图案照射区域14和光图案非照射区域16相对。

如上所述，通过在第一照相机和第二照相机之间配置反射镜，可以容易地控制第一线传感器36和第二线传感器38的摄影视线，因此可以不受第一照相机和第二照相机的尺寸和形状等物理制约，容易地配置各线传感器。

如上所述，在本实施方式的三维形状计测装置10中，包括具有第一线传感器36的第一照相机、具有第二线传感器38的第二照相机、被配置成使上述第一线传感器36的拍摄视线与光图案照射区域14相对的第一反射镜、以及被配置成使第二线传感器38的拍摄视线与光图案非照射区域16相对的第二反射镜。

此外，第一线传感器36和第二线传感器38通过同一摄像镜头32拍摄光图案照射区域14和光图案非照射区域16。

根据上述结构，通过组合具有单独的线传感器的多个照相机、和多个反射镜34，可以容易地控制线传感器36/38的摄影视线，使用多个照相机来构成三维形状计测装置10。

此外，通过同一摄像镜头32进行拍摄，因此在以下效果方面特别有效：在确定第一照相机和第二照相机的配置时，可以紧凑地形成包括照相机在内的部件，并且可以使用反射镜34来设定拍摄视线。

[实施方式4]

在上述实施方式中，针对分别各具有一个投光部20和摄像部30的三维形状计测装置10进行了说明，但是投光部20和摄像部30的组合不限于上述例子。例如，也可以如图15的(a)到(e)那样，为多种组合。

图15是示出为了拓宽视野而组合了多个投光部20和摄像部30的三维形状计测装置10的结构的概略图。

图15的(a)是使用两个线传感器36和38、以及两个投光部20a和20b构成了三维形状计测装置10的例子。图15的(b)是从图15的(a)的结构中省略了一个线传感器、一个投光部而构成三维形状计测装置10的例子。此时，需要增加用于使输送台52在副扫描方向上移动的X台，但是由于简化了装置的结构，因此能降低成本。

图15的(c)是使用两个线传感器和一个投光部20构成三维形状计测装置10的例子。此时，因为需要使投光部20的投影镜头24广角化，因此校正像差的难度提高，为了不变得拥挤而要牺牲精度，需要对精度进行重新考虑。

图15的(d)是使用一个摄像部30和一个投光部20构成三维形状计测装置10的例子。此时，可以假设对所要计测的基板的大小为250mm×330mm的、所谓M尺寸的底座进行扫描，并增大分辨率，由此成为一照相机、一投影器的结构。需要提高摄像部30的摄像元件的像素数，具体而言，例如需要XY纵横长度为20[μm]、12500[像素]那样的、20μm×12500＝250mm左右的清晰度，因为拍摄和投影的范围变宽，所以需要使投影镜头24和摄像镜头32广角化。此外，由于两个镜头广角化，到计测面的距离变大，可能会产生三维形状计测装置10的刚性下降等问题。

图15的(e)是使用一个摄像部30以及两个投光部20a和20b构成了三维形状计测装置10的例子。此时，在投光部20a和20b投影的光图案的接合点(虚线圆的部分)处可能会产生无法衔接的问题。

本发明不限于上述各实施方式，可以在权利要求所示的范围内进行各种变更，适当组合在不同的实施方式中分别公开的技术手段而得到的实施方式也包括在本发明的技术范围内。

此外，在本实施方式中，针对使用光源31和投影镜头来投影光图案的例子进行了说明，但是不限于此。可以用投影仪那样的装置来投影干涉条纹，也可以应用于衍射光栅。

最后，三维形状计测装置10的各模块、尤其是图像分析/驱动控制部40可以由硬件逻辑构成，也可以如下使用CPU通过软件来实现。

即，三维形状计测装置10具有执行实现各功能的控制程序的命令的CPU(central processing unit：中央处理器)、存储了上述程序的ROM(readonly memory：只读存储器)、展开上述程序的RAM(random accessmemory：随机存取存储器)和存储上述程序和各种数据的存储器等存储装置(记录介质)等。而且，通过向上述三维形状计测装置10提供以计算机可读取的方式记录了作为实现上述功能的软件的三维形状计测装置10的控制程序的程序代码(执行形式程序、中间代码程序、源程序)的记录介质，由该计算机(或CPU、MPU)读出记录在记录介质中的程序代码并执行这些程序代码，从而也可以达到本发明的目的。

作为上述记录介质，可以使用例如磁带或盒式磁带等带类，包括软盘(注册商标)/硬盘等磁盘或CD-ROM/MO/MD/DVD/CD-R等光盘的盘类，IC卡(包括存储卡)/光卡等卡类，或MaskROM/EPROM/EEPROM/flash ROM等半导体存储器类等。

并且，也可以使三维形状计测装置10构成为可以与通信网络连接，经由通信网络提供上述程序代码。作为该通信网络，没有特别限定，可以利用例如因特网、内部网、外联网、LAN、ISDN、VAN、CATV通信网、虚拟专用网(virtual private network)、电话线路网、移动通信网和卫星通信网等。并且，作为构成通信网络的传输介质，没有特别限定，可以利用例如IEEE1394、USB、电力线传输、有线电视线路、电话线、ADSL线路等的有线介质，也可以利用IrDA或遥控器那样的红外线，蓝牙(注册商标)、802.11无线、HDR、移动电话网、卫星线路、地面波数字网等的无线介质。另外，本发明可以以利用电子传输将上述程序代码具体化的、嵌入在载波中的计算机数据信号的形式来实现。

如上所述，本发明的三维形状计测装置为了解决上述问题，使用了如下的空间条纹分析法：基于通过线传感器读取的图像中的像素及其周边像素的亮度值，计算图像中包含的某一像素处的光图案的相位，并根据计算出的相位计算计测对象的高度信息。

即，本发明的三维形状计测装置是通过分析投影到计测对象上的光图案，对计测对象的三维形状进行计测的三维形状计测装置，其特征在于，该三维形状计测装置具有：光图案投影单元，其对设置了上述计测对象的计测面的一部分区域投影亮度随位置周期性变化的光图案；第一线传感器，其对上述计测对象的投影了光图案的光图案照射区域进行拍摄；第二线传感器，其对上述计测对象的没有投影光图案的光图案非照射区域进行拍摄；以及处理单元，其根据从上述第一和第二线传感器所拍摄的图像去除了背景信息后的图像中的某一像素及其周边像素的亮度值，计算上述图像中包含的上述像素处的光图案的相位，并根据计算出的相位计算上述计测对象的高度信息，其中上述第一和第二线传感器被配置成可以分别同时拍摄上述光图案照射区域和光图案非照射区域。

根据上述结构，三维形状计测装置具有用于将投影到计测对象上的光图案作为图像读取的第一线传感器、和用于读取没有投影光图案的计测对象的图像的第二线传感器。这样，通过使用线传感器而不是面传感器，可以在线传感器的长度方向(副扫描方向)上延长拍摄区域。因此，能够减少相对于线传感器在副扫描方向上相对移动计测对象的次数(优选为0)，并且以高分辨率拍摄计测对象。由此，能够迅速且高精度地计测三维形状信息。

此处，三维形状计测装置通过分析投影到计测对象上的光图案来计算计测对象的形状信息。该光图案的亮度随位置周期性地变化，可以根据投影到计测对象的某一位置的光图案的相位相对于基准相位的偏移程度来计算计测对象在该位置处的高度。

此处，根据由线传感器所拍摄的图像的亮度值，计算投影到计测对象的各部分上的光图案的相位。即，根据与投影了光图案的计测对象的某一位置对应的像素(以下称作“关注像素”)的亮度值，计算与该亮度值对应的相位。但是，在利用具有周期性的连续函数来表示光图案的位置(即相位)和亮度值(即位移)的情况下，在同一周期内最少存在2个赋予了某一点的亮度值(位移)的相位。例如，在由y＝sinθ表示的函数中，赋予了位移y＝0的相位θ存在0和π这2个。由此，不能仅根据关注像素的亮度值(位移)来将与该亮度值对应的相位确定为1个。

此时，在现有的技术中，使用时间条纹分析法来确定关注像素处的相位。即，根据关注像素的亮度值将与该亮度值对应的相位锁定为两个，接着，根据偏移光图案的相位后所拍摄的另一图像中的对应像素的亮度值，将关注像素处的光图案的相位确定为1个值。因此，即使计测对象的反射特性严格相同，拍摄了计测对象的同一部分的图像也最少需要2个，对于计测对象的同一部分需要两次以上的总扫描次数。

与此相对，本发明的三维形状计测装置具有图像分析部，该图像分析部根据通过线传感器所读取的图像中包含的某一像素及其周边像素的亮度值，计算该像素处的光图案的相位。即，根据关注像素的亮度值来锁定关注像素中的光图案的相位，并且根据关注像素的周边像素的亮度值来将像素的光图案的相位确定为1个值。

对该原理进行说明，在具有周期性的连续函数中，在同一周期内至少存在2个赋予了某一位移的相位，而在这2个相位之间这2个相位的周边的位移不同。例如，在上述例子中，赋予了位移y＝0的相位θ存在0和π这2个，而此处，在关注像素处的相位为0时和为π时，周边像素的亮度值(位移)不同。如果关注像素处的相位为0，例如存在于相位比关注像素稍小的一侧的周边像素的亮度值比关注像素的亮度值小。另一方面，关注像素中的相位为π时，存在于相位比关注像素稍小的一侧的周边像素的亮度值比关注像素的亮度值大。由此，可以基于关注像素附近的像素的亮度值，将光图案的相位确定为1个。

此外，在本发明的三维形状计测装置中，光图案投影单元针对设置计测对象的计测面的一部分区域投影光图案。第一线传感器配置在拍摄投影了上述光图案的光图案照射区域的位置上，第二线传感器配置在拍摄没有投影上述光图案的光图案非照射区域的位置上。

为了提高计测精度，考虑如下的方法：拍摄投影了光图案的图像、和没有投影光图案的图像，通过比较各图像来去除背景信息。此时，在用单独的线传感器拍摄图像的结构中，为了拍摄投影了光图案的图像、和没有投影光图案的图像，需要多次拍摄。

此外，在多次拍摄中，为了正确对准拍摄位置，需要使用光学尺等进行精密的位置对准。此外，在多次拍摄中，需要用于临时存储各次拍摄的图像，存储放置到计算所需图像齐备为止的图像存储器。此外，需要用于切换光图案的投影和不投影的可动式反射镜或半透半反镜等结构(图16)。

但是，在本发明的三维形状计测装置中，上述光图案照射区域和光图案非照射区域被配置成彼此不重叠，第一线传感器和第二线传感器被配置成能够同时拍摄上述各区域。根据上述结构，在对从上述第一和第二线传感器所拍摄的图像去除了背景信息后的图像进行计算时，没有必要多次移动计测对象来拍摄整个计测区域，从而起到能够在一次拍摄中拍摄所需图像的效果。

由此，缩短了拍摄所需要的时间，不需要用于切换光图案的照射和非照射的半透半反镜等机构，不需要在多次拍摄中为了正确进行位置对准所需要的光学尺，能够实现成本削减和拍摄速度的高速化。

在上述三维形状计测装置中，优选具有包括多个线传感器的摄像单元，将上述摄像单元的线传感器中的两个线传感器用作上述第一线传感器和第二线传感器。

此外，在上述三维形状计测装置中，也可以对来自红色、绿色和蓝色的三个线传感器的检测结果进行转换来用作没有光图案的图像，将黑白线传感器的检测结果用作具有光图案的图像。

此外，在上述三维形状计测装置中，也可以具有彩色摄像单元，该彩色摄像单元包括对红色、绿色、蓝色和黑白色的亮度进行检测的线传感器，作为上述第一线传感器，可以使用包括黑白线传感器，和红色、绿色或蓝色中的任意一个颜色的滤色器的传感器，作为上述第二线传感器，可以使用红色、绿色或蓝色中的与上述滤色器颜色相同的线传感器。

根据上述结构，可以使用包括多个线传感器的照相机，或包括检测红、绿、蓝、黑自各颜色的亮度值的线传感器的彩色照相机等来构成本发明的三维形状计测装置。

此外，也可以对检测黑白色的线传感器施加红色、绿色或蓝色中任意一个颜色(例如绿色)的滤色器，使用来自该线传感器和原来的绿色线传感器的检测结果。如果如上那样构成，则可以与使用相同灵敏度的两个线传感器的情况同样地进行检测。

此外，因为能同时取得彩色图像，所以能同时进行二维检查。

此外，在上述三维形状计测装置中，也可以具有：第一摄像单元，其具有第一线传感器；第二摄像单元，其具有第二线传感器；第一反射镜，其被配置成使上述第一线传感器的拍摄视线与上述光图案照射区域相对；以及第二反射镜，其被配置成使上述第二线传感器的拍摄视线与上述光图案非照射区域相对。

根据上述结构，通过组合具有单独的线传感器的多个照相机、和多个反射镜，能容易地控制上述线传感器的摄影视线，使用多个照相机来构成本发明的三维形状计测装置。

此外，上述第一线传感器和第二线传感器也可以构成为通过同一镜头来拍摄上述光图案照射区域和光图案非照射区域。

根据上述结构，通过同一镜头进行拍摄，因此在以下效果方面特别有效：在确定第一摄像单元和第二摄像单元的配置时，可以紧凑地形成包括摄像单元在内的部件，可以使用反射镜来设定拍摄视线。

在上述三维形状计测装置中，也可以具有图案形成元件，该图像形成元件包括用于针对上述光图案照射区域形成光图案、并针对上述光图案非照射区域照射均匀照明的透射部和遮光部。

此外，在上述三维形状计测装置中，也可以进一步具有均匀照明投射单元，该均匀照明投射单元针对上述光图案非照射区域照射与通过光图案投影单元投影的光图案相同光量的均匀照明。

根据上述结构，使用用于在计测面上形成光图案的光图案生成元件形成上述光图案照射区域和光图案非照射区域，或者照射与光图案相同光量的均匀照明，由此能够将光图案照射区域和光图案非照射区域的光量保持为同等，因此能够提高去除了背景信息后的图像的计算精度。

为了解决上述问题，本发明的三维形状计测方法是通过分析投影到计测对象上的光图案，对计测对象的三维形状进行计测的三维形状计测装置中的三维形状计测方法，该三维形状计测方法的特征在于，上述三维形状计测装置具有光图案投影单元、第一线传感器和第二线传感器，上述第一和第二线传感器被配置成能够分别同时拍摄上述计测对象的投影了光图案的光图案照射区域和上述计测对象的没有投影光图案的光图案非照射区域，该三维形状计测方法包括以下步骤：光图案投影步骤，上述光图案投影单元对设置了上述计测对象的计测面的一部分区域投影亮度随位置周期性变化的光图案；拍摄步骤，上述第一线传感器对上述光图案照射区域进行拍摄，并且上述第二线传感器对上述光图案非照射区域进行拍摄；以及计算步骤，根据从上述第一和第二线传感器所拍摄的图像去除了背景信息后的图像中包含的某一像素及其周边像素的亮度值，计算上述图像中的上述像素的光图案的相位，并根据所计算的相位计算上述计测对象的高度信息。

根据上述结构，可以实现与上述的三维形状计测装置起到相同的效果的三维形状计测方法。

此外，可以在计算机上执行上述三维形状计测方法中的计算步骤。

本发明的三维形状计测装置是通过分析投影到计测对象上的光图案，对计测对象的三维形状进行计测的三维形状计测装置，该三维形状计测装置包括：光图案投影单元，其对设置了上述计测对象的计测面的一部分区域投影亮度随位置周期性变化的光图案；第一线传感器，其对上述计测对象的投影了光图案的光图案照射区域进行拍摄；第二线传感器，其对上述计测对象的没有投影光图案的光图案非照射区域进行拍摄；以及处理单元，其根据从上述第一和第二线传感器所拍摄的图像去除了背景信息后的图像中包含的某一像素及其周边像素的亮度值，计算上述图像中的上述像素的光图案的相位，并根据计算出的相位计算上述计测对象的高度信息，其中上述第一和第二线传感器被配置成可以分别同时拍摄上述光图案照射区域和光图案非照射区域。

由此，可以减少相对于线传感器在主扫描方向上相对移动计测对象的次数，并且可以以高分辨率拍摄计测对象。此外，在计算去除了背景信息后的图像时，可以在一次拍摄中拍摄所需要的光图案照射区域和光图案非照射区域的图像，因此起到可以构成能削减成本并提高拍摄速度的三维形状计测装置的效果。

产业上的可利用性

本发明的三维形状计测装置10可以构成以下的三维形状计测装置：第一和第二线传感器被配置成可以分别同时拍摄照射区域和非照射区域，根据图像中的上述像素及其周边像素的亮度值来计算光图案的相位，并根据计算出的相位来计算上述计测对象的高度信息，在计算去除了背景信息后的图像时，可以在一次拍摄中拍摄所需要的图像，因此可以实现削减成本并提高拍摄速度。

Claims (10)

1.一种三维形状计测装置，该装置通过分析投影到计测对象上的光图案，对计测对象的三维形状进行计测，其特征在于，该三维形状计测装置包括：

光图案投影单元，其对设置了上述计测对象的计测面的一部分区域投影亮度随位置周期性变化的光图案；

第一线传感器，其对上述计测对象的投影了光图案的光图案照射区域进行拍摄；

第二线传感器，其对上述计测对象的没有投影光图案的光图案非照射区域进行拍摄；以及

处理单元，其根据从上述第一和第二线传感器所拍摄的图像去除了背景信息后的图像中包含的某一像素及其周边像素的亮度值，计算上述图像中的上述像素的光图案的相位，并根据计算出的相位计算上述计测对象的高度信息，

上述第一和第二线传感器被配置成能够分别同时拍摄上述光图案照射区域和光图案非照射区域。

2.根据权利要求1所述的三维形状计测装置，其特征在于，该三维形状计测装置具有摄像单元，该摄像单元包括多个线传感器，

使用上述摄像单元的线传感器中的两个线传感器作为上述第一线传感器和第二线传感器。

3.根据权利要求1所述的三维形状计测装置，其特征在于，该三维形状计测装置具有彩色摄像单元，该彩色摄像单元包括对红色、绿色、蓝色和黑白色的亮度进行检测的线传感器，

使用黑白的线传感器作为上述第一线传感器，

使用红色、绿色和蓝色的线传感器作为上述第二线传感器。

4.根据权利要求1所述的三维形状计测装置，其特征在于，该三维形状计测装置具有彩色摄像单元，该彩色摄像单元包括对红色、绿色、蓝色和黑白色的亮度进行检测的线传感器，

使用包括黑白的线传感器，和红色、绿色或蓝色中的任意一个颜色的滤色器的传感器作为上述第一线传感器，

使用红色、绿色或蓝色中的与上述滤色器相同颜色的线传感器作为上述第二线传感器。

5.根据权利要求1所述的三维形状计测装置，其特征在于，该三维形状计测装置具有：

第一摄像单元，其具有第一线传感器；

第二摄像单元，其具有第二线传感器；

第一反射镜，其被配置成使上述第一线传感器的摄像视线与上述光图案照射区域相对；以及

第二反射镜，其被配置成使上述第二线传感器的摄像视线与上述光图案非照射区域相对。

6.根据权利要求4所述的三维形状计测装置，其特征在于，上述第一线传感器和第二线传感器通过同一镜头拍摄上述光图案照射区域和光图案非照射区域。

7.根据权利要求1至5中任一项所述的三维形状计测装置，其特征在于，该三维形状计测装置具有图案形成元件，该图像形成元件包括用于针对上述光图案照射区域形成光图案、并针对上述光图案非照射区域照射均匀照明的透射部和遮光部。

8.根据权利要求1至5中任一项所述的三维形状计测装置，其特征在于，该三维形状计测装置还具有均匀照明投射单元，该均匀照明投射单元针对上述光图案非照射区域照射与通过光图案投影单元投影的光图案相同光量的均匀照明。

9.一种三维形状计测装置中的三维形状计测方法，该三维形状计测装置通过分析投影到计测对象上的光图案，对计测对象的三维形状进行计测，其特征在于，

上述三维形状计测装置具有光图案投影单元、第一线传感器和第二线传感器，

上述第一和第二线传感器被配置成能够分别同时拍摄上述计测对象的投影了光图案的光图案照射区域和上述计测对象的没有投影光图案的光图案非照射区域，

该三维形状计测方法包括以下步骤：

光图案投影步骤，上述光图案投影单元对设置了上述计测对象的计测面的一部分区域投影亮度随位置周期性变化的光图案；

拍摄步骤，上述第一线传感器对上述光图案照射区域进行拍摄，并且上述第二线传感器对上述光图案非照射区域进行拍摄；以及

计算步骤，根据从上述第一和第二线传感器所拍摄的图像去除了背景信息后的图像中包含的某一像素及其周边像素的亮度值，计算上述图像中的上述像素的光图案的相位，并根据计算出的相位计算上述计测对象的高度信息。

10.一种三维形状计测程序，其执行三维形状计测装置中的三维形状计测方法，该三维形状计测装置通过分析投影到计测对象上的光图案，对计测对象的三维形状进行计测，

上述三维形状计测装置具有：

光图案投影单元，其对设置了上述计测对象的计测面的一部分区域投影亮度随位置周期性变化的光图案；

第一线传感器，其对上述计测对象的投影了光图案的光图案照射区域进行拍摄；以及

第二线传感器，其对上述计测对象的没有投影光图案的光图案非照射区域进行拍摄；

上述第一和第二线传感器被配置成能够分别同时拍摄上述光图案照射区域和光图案非照射区域，

该三维形状计测程序使计算机执行以下的计算步骤：根据从上述第一和第二线传感器所拍摄的图像去除了背景信息后的图像中包含的某一像素及其周边像素的亮度值，计算上述图像中的上述像素的光图案的相位，并根据计算出的相位计算上述计测对象的高度信息。

Images