CN108072335B - 三维形状测量装置 - Google Patents

Abstract

本发明提供一种在通过图案的投影来进行物体的三维形状测量时，即使不增加投影单元的数量也能够抑制产生成为阴影的区域的技术。一种三维形状测量装置，具有：投影单元(10)，其对测量对象投影图案；拍摄单元(11)，其对被投影了所述图案的所述测量对象进行拍摄；测量单元(12)，其通过处理由所述拍摄单元取得的图像来对检查对象的三维形状进行测量；以及移动单元(13)，其使所述投影单元移动。

Description

三维形状测量装置

技术领域

本发明涉及三维形状的测量装置，特别涉及可取得测量对象的高度信息的三维形状测量装置。

背景技术

以往，作为使用图像对物体的三维形状进行测量的技术已知有相移法，在该方法中，从投影仪等投影单元对测量对象投影具有周期性的图案，利用照相机等拍摄单元对被投影了该图案的状态下的测量对象进行拍摄，使用拍摄到的二维图像求出测量对象的立体形状。具体而言，通过分析在拍摄到的图像中依赖于测量对象表面的形状(凹凸等)而产生的图案的变形，从而对测量对象的三维形状进行测量。

然而，在上述的方法中存在如下问题：由于检查对象的表面形状导致图案被遮挡而产生阴影，因此有时无法测量立体形状。

针对这样的问题，提出了以下技术：以从不同的方向对测量对象投影图案的方式配置多个投影单元，使成为阴影的区域减少(例如专利文献1、2)。

现有技术文献

专利文献

专利文献1：日本特开2015-1381号公报；

专利文献2：日本特开2015-21763号公报。

发明要解决的课题

然而，在像现有技术那样在装置中配置投影单元的方法中，为了充分地减少成为阴影的区域，需要配置许多投影单元，由此测量装置整体大型化，成本也会增加。

此外，即使要配置许多投影单元，也无法避免投影单元彼此间的物理干扰，配置能够从全方位对测量对象投影图案的投影单元是不可能的，因此不能够使产生阴影的区域充分地减少。

发明内容

本发明是鉴于上述的实际情况而完成的，其目的在于提供一种在通过图案的投影来进行物体的三维形状测量时，即使不增加投影单元的数量也能够抑制产生成为阴影的区域的技术。

用于解决课题的方案

为了实现所述目的，本发明采用以下的结构。

本发明的三维形状测量装置设为如下的结构：具有：投影单元，其对测量对象投影图案；拍摄单元，其对被投影了所述图案的所述测量对象进行拍摄；测量单元，其通过处理由所述拍摄单元取得的图像来对检查对象的三维形状进行测量；以及移动单元，其使所述投影单元移动。

通过这样的结构，即使在来自规定的位置的图案的投影而产生成为阴影的区域的情况下，通过使投影单元移动以使向该阴影区域投影图案，就能够在对于该区域也投影了图案的状态下拍摄测量对象。因此，所述移动单元使所述投影单元移动到如下位置即可，在该位置，所述拍摄单元能够对所述测量单元能够测量所述测量对象的三维形状的图案进行拍摄。

此外，所述移动单元可以是使所述投影单元在内部包含所述测量对象的圆周上旋转移动的单元。如果是这样的结构，则特别是在所述测量对象位于圆的中心附近的情况下，能够抑制所述拍摄单元和所述测量对象的距离的变化而使所述拍摄单元移动。因此，能够在图案的焦点基本上维持在所述测量对象处的状态下改变图案对所述测量对象的入射角，对成为阴影的区域也能投影图案。

此外，所述三维形状测量装置可以具有多个所述图像投影单元。如果是这样的结构，则能够同时地对所述测量对象投影多个图案，能够更有效地对测量对象的三维形状进行测量。

此外，所述移动单元可以是具有在轴向上开口的中空部的圆筒状的旋转机构，配置成该开口位于所述测量对象的上方，所述拍摄单元从相对于所述测量对象垂直的方向穿过所述圆筒状的旋转机构的开口来拍摄所述测量对象的单元。如果是这样的结构，则能够在实现装置整体的小型化的同时从正上方拍摄所述测量对象。

另外，本发明可以认为是具有上述结构或功能的至少一部分的三维形状测量装置。此外，本发明还可以认为是具有该三维形状测量装置的检查装置、3维扫描仪、物体识别装置。

发明效果

根据本发明，能够提供一种在通过图案的投影来进行物体的三维形状测量时，即使不增加投影单元的数量也能够抑制产生成为阴影的区域的技术。

附图说明

图1是示出本发明的第1实施例的三维形状测量装置的硬件结构的示意图。

图2是表示本发明的第1实施例的三维形状测量装置的拍摄单元、投影单元及移动单元与测量对象物体的配置关系的概略图。

图3是表示移动单元的内部结构的概略图。

图4是示出本发明的第1实施例的三维形状测量装置的测量单元的功能的框图。

图5是示出本发明的第1实施例的三维形状测量处理的过程的流程图。

图6是示出本发明的第1实施例的三维形状测量装置的第1变形例的概略图。

图7是示出本发明的第1实施例的三维形状测量装置的第2变形例的概略图。

图8是示出本发明的第2实施例的基板外观检查装置的概略图。

图9是表示移动单元和照明单元的内部结构的概略图。

图10是示出本发明的第2实施例的基板外观检查装置的主要功能的框图。

图11是示出本发明的第2实施例的基板外观检查装置的检查过程的流程图。

具体实施方式

以下参照附图，基于实施例对用于实施本发明的方式例示地进行详细说明。但是，只要没有特别记载，本发明的范围并不仅限于该实施例所记载的结构部件的尺寸、材质、形状、其相对配置等。

<实施例1>

(三维形状测量装置的结构)

首先，使用图1～图3对本实施例的三维形状测量装置1的结构例进行说明。图1是示出本实施例的三维形状测量装置1的硬件结构的示意图，图2是表示第1实施例的三维形状测量装置的拍摄单元、投影单元及移动单元与测量对象物体的配置关系的概略图。图3是示出移动单元13的内部结构的概略图。

如图1所示，在本实施例的三维形状测量装置1中，作为主要结构具有：作为投影单元的投影仪10、作为拍摄单元的照相机11、作为测量单元的控制装置12(例如计算机)、作为移动单元的移动机构13。

投影仪10是对测量对象投影图案的单元。此处，图案是例如亮度的变化示出周期性的条纹图案，能够使相位随着时间而改变。由于利用该图案对测量对象的三维形状进行测量的处理是公知的，因此省略详细的说明。另外，投影仪10的数量可以像本实施例这样为1个，也可以为2个以上。

照相机11是对被投影了图案的状态下的测量对象进行拍摄、并输出数字图像的单元。照相机11例如具有光学系统和图像传感器而构成。在进行三维形状的测量时，一边改变从投影仪10投影的图案的相位一边读入多张图像。

如图2和图3所示，在本实施例中，照相机11被收容在作为移动机构13的一部分的中空圆筒状的旋转机构131的中空部分中，穿过在同样作为移动机构13的一部分的基准板132的中央部设置的圆形的开口而拍摄测量对象物体O。即，在本实施方式中，配置成在测量时测量对象物体O位于照相机11的正下方。

另外，在本说明书中，将通过拍摄单元拍摄到的图像称作“观测图像”。

控制装置12具有对投影仪10、照相机11以及后述的移动机构13的控制、对从照相机11读入的图像的处理、三维形状的测量等的功能，相当于请求保护的范围中的测量单元。控制装置12能够由具有CPU(处理器)、存储器、非易失性存储装置(例如硬盘、闪存)、输入装置(例如键盘、鼠标、触摸面板等)、显示装置(例如液晶显示器等)的计算机构成。后述的控制装置12的功能能够通过将存储在非易失性存储装置中的程序加载到存储器中，CPU执行该程序来实现。但是，也可以用专用的硬件代替控制装置12的功能的全部或者一部分。此外，也可以利用分布式计算、云计算的技术，通过多台计算机的协作来实现控制装置12的功能。

移动机构13是使投影仪10相对于测量对象物体O相对地移动的单元。如图2和图3所示，本实施例的移动机构13具有由电动机(未图示)驱动的中空圆筒状的旋转机构131和组装于该旋转机构131并支承投影仪10的基准板132。旋转机构131由壳体131a和旋转体131b构成，壳体131a的上部被固定在三维形状测量装置1的框架14。

旋转机构131构成为通过利用例如齿轮来传递电动机的旋转从而旋转体131b以在Z轴方向上延伸的旋转轴为中心在360度的范围内旋转。当该旋转体131b旋转时，组装于旋转机构131的基准板132也旋转，由此卡定于基准板132的投影仪10在以圆筒状的旋转机构131的旋转轴为中心的圆周上旋转移动。即，在与旋转机构131的旋转轴同轴上配置有测量对象物体O的情况下，投影仪10以测量对象物体O为中心在由XY轴定义的平面上旋转移动。

(控制部的功能)

接着，基于图4对与控制装置12的三维形状测量相关的功能进行说明。控制装置12作为与三维形状测量相关的功能具有图像取得部20、三维形状测量部21、投影单元位置控制部22、阴影区域判定部23。

图像取得部20具有从照相机11读入用于三维形状测量的多个观测图像的功能，取得例如对测量对象物体O所投影的图案的相位依次相差4分之1π的4张图像。

三维形状测量部21具有基于所取得的多个观测图像来计算测量对象物体O的三维形状的功能。在本实施例中，基于所取得的4张图像间的表示测量对象物体O的表面上的一点的位置的像素的二维相位差来求出该点的三维位置，根据所取得的二维图像来对测量对象物体O的三维形状进行测量。

投影单元位置控制部22基于输入的投影单元位置信息，输出用于控制移动机构13的信号以使投影单元移动到该位置。在本实施例中，当用户使用输入装置而输入任意的投影单元位置信息时，输出用于驱动旋转机构131的信号以使投影仪10移动到该位置。另外，投影单元位置信息可以是以特定的位置为基准点的绝对值，也可以是以位置信息输入时刻的投影仪10的位置为基准而表示相对位置的值。

阴影区域判定部23是判定在由图像取得部20取得的观测图像上是否存在没有图案的投影的阴影区域的功能。用于判定的基准没有特别限定，例如可以设为如下方式：针对观测图像的亮度值将规定的阈值设定为基准，如果存在观测图像的亮度值低于该阈值的部分，则将其判定为阴影区域。此外，也可以对比所投影的图案和观测图像的图案，在观测图像中能够检测到图案的缺失部分的情况下，判断为存在阴影区域。

(三维形状测量处理的流程)

接着，参照图5对本实施例的三维形状测量的过程进行说明。首先，从投影仪10对测量对象物体O投影图案(步骤S11)。接着，通过拍摄单元12对被投影了图案的状态下的测量对象物体O进行拍摄，控制装置12通过图像取得部20取得该图像(步骤S12)。

然后，在步骤S13中，判断在步骤S12中所取得的图像上是否存在没有被投影图案的阴影区域。此处，在观测图像上存在阴影区域的情况下，进入步骤S14，输出向用户通知在观测图像上存在阴影区域的警告。警告例如可以是在显示装置上显示错误消息的方式，也可以是通过声音发出报警声的方式。此外，也可以将这些组合在一起。

在步骤S15中，收到警告的用户对控制装置12输入任意的投影单元位置信息，使投影仪10移动。然后再次对测量对象物体O投影图案，并进行拍摄，直到在观测图像上阴影区域消失为止，重复进行步骤S11～S15的处理。

另一方面，在步骤S13中，在判断为在观测图像上没有阴影区域的情况下，通过控制部12的三维形状测量部21计算测量对象物体O的三维形状(步骤S16)，结束三维形状测量的处理。

根据像以上这样的本实施例的三维形状测量装置1的结构，能够利用一个投影仪10从以测量对象物体O为中心的圆周上的任意位置对测量对象物体O投影图案。因此，不用配置许多投影单元就能够进行高精度的三维形状的测量，能够抑制装置的大型化、高成本化。

<变形例>

另外，在本实施例的三维形状测量装置1中，仅配置了一个投影仪10，但并不需要一定这样设置，也可以设置两个以上的投影单元。例如，如图6所示，也可以将2个投影仪10a、10b配置在基准板132的相向的位置，同时对测量对象物体O投影图案。在该情况下，旋转机构131的驱动(旋转)角度能够设为180度。

当通过多个投影单元投影图案时，相应地在测量对象物体O难以产生阴影区域，因此能够提高测量的效率。此外，在使投影单元移动的情况下，也能够减小移动单元的旋转角度，能够缩短用于移动的时间。因此，能够考虑测量的高效化和成本降低等的平衡来配置任意数量的投影单元。

此外，如图7所示，也可以对本实施例的三维形状测量装置1设置斜视照相机112，取得从斜上方拍摄测量对象物体O的斜视图像，将该画像用于三维形状测量。通过这样，对于在从正上方拍摄测量对象物体O的情况下成为死角的位置，也能够利用斜视图像进行观测，因此能够进行高精度的三维形状测量。

另外，在本实施例的三维形状测量处理中，在步骤S13中用控制部12判断了在观测图像上是否存在阴影区域，但该判断也可以在将观测图像显示在显示装置的基础上，由用户通过目测来进行。

此外，在本实施例中，在步骤S13判断了是否存在阴影区域，但也可以将该步骤设为判断是否能够基于观测图像来对测量对象物体O的三维形状进行测量的步骤。即，也可以设为在判断为由于阴影区域导致无法对测量对象物体O的三维形状进行测量的情况下进入步骤S14。这是因为，即使存在阴影区域，只要能够对测量对象物体O的三维形状进行测量，就不需要使投影仪10移动。

<实施例2>

接着，对作为本发明的其它的实施例的基板外观检查装置5进行说明。基板外观检查装置5是将根据所谓的彩色高亮方式的外观检查组合到实施例1的三维形状测量装置1的基板的外观检查装置。因此，由于与三维形状测量装置1的三维形状的测量相关的部分是与实施例1相同的结构，所以标记与实施例1相同的符号而省略说明。

图8是示出本发明的第2实施例的基板外观检查装置5的概略图。图9是表示照明装置51的内部结构的概略图。如图8所述，本实施例的基板外观检查装置5是在三维形状测量装置1的基准板132的底面组装有照明装置51的结构。此外，如图9所示，照明装置51是在不同高度配置了环状的红色照明(R)511、绿色照明(G)512、蓝色照明(B)513的中空的照明单元。

图10是示出基板外观检查装置5的主要功能的框图。如图10所示，在本实施例的基板外观检查装置5中，控制部12除了具有实施例1的功能之外，还具有三维形状判定部24、焊料状态测量部25和焊料状态判定部26。

三维形状判定部24具有判定测量出的测量对象物体O的三维形状是否满足规定的检查基准的功能。焊料状态测量部25具有基于拍摄装置11拍摄到的图像来对测量对象物体O上的焊料面的状态进行测量的功能。焊料状态判定部26具有判定测量出的焊料面的状态是否满足规定的检查基准的功能。

接着，对使用了本实施例的基板外观检查装置5的基板外观检查的处理的流程进行说明。图11是示出基板外观检查装置5的检查过程的流程图。如图11所示，基板外观装置5首先对测量对象物体O的三维形状进行测量(步骤S21)。另外，由于三维形状的测量处理的细节与在实施例1中说明的处理的流程(参照图5)相同，所以省略说明。

然后，在步骤S22中判断该形状是否满足规定的检查基准。此处，在该形状不满足规定的检查基准的情况下，判定为测量对象物体O为不合格品，结束处理(步骤S23)。

另一方面，在步骤S22中，在判断为满足规定的检查基准的情况下，进入步骤S24，进行彩色高亮方式的焊料状态的测量。另外，由于彩色高亮方式的焊料状态的测量是公知的技术，所以省略细节，概略而言通过如下方法进行。

即，从基板外观检查装置5的R照明511、G照明512、B照明513分别向测量对象物体O的焊料面照射照明光，通过拍摄装置11对根据测量对象物体O上的焊料面的角度以各不相同的角度入射的RGB三色的照明的反射光进行拍摄。由于根据焊料的状态(形状)决定了红、绿、蓝各颜色的反射方式，所以通过确定拍摄到的图像中的3种颜色的比例、位置，就能够测量焊料的状态。

然后，在步骤S25中判断像上述那样测量出的焊料的状态是否满足规定的检查基准。此处，在焊料的状态满足了检查基准的情况下，判定为测量对象物体O为合格品(步骤S26)，并结束处理。另一方面，在判断为焊料的状态不满足检查基准的情况下，判定为测量对象物体O为不合格品(步骤S23)，并结束处理。

如上所述，根据本实施例的基板外观检查装置5的结构，可利用众多要素是共同的一个装置，来实施在减少投影单元数量的同时可高精度地测量三维形状的、采用相移方式的外观检查和采用彩色高亮方式的焊料状态的测量，由此能够提供抑制装置的大型化、且具有高检查精度的检查装置。

<变形例>

另外，在本实施例的基板外观检查装置5中，在采用相移方式进行检查之后，进行彩色高亮方式的检查，但该顺序也可以相反。此外，也可以并行地实施各检查，最后核对检查结果来判定合格与否。

<其它>

上述各实施例仅是例示性地说明本发明的例子，本发明并不限于上述具体方式。本发明能够在其技术思想的范围内进行各种变形。例如，在上述实施例中，移动机构13是采用电动机和通过电动机的旋转而进行驱动的圆筒状的旋转机构以及基准板的结构，但未必需要一定限定于这种结构。例如，作为电动机，除了旋转电动机之外，也可以使用线性电动机。此外，也可以使用其它手段(例如使用气压、液压的致动器)来代替电动机。此外，旋转机构可以不是圆筒状，也可以是不使用基准板的结构。

此外，对于投影单元10的移动，在上述实施例中是在由XY轴定义的平面上旋转移动，但并不需要限定于此，例如也可以在由ZX轴定义的平面上旋转移动，也可以将这些组合在一起。此外，移动的方法也不仅限于旋转移动，也可以呈直线状、圆弧以外的曲线状地移动。

附图标记说明

1：三维形状测量装置；

5：基板外观检查装置；

10：投影仪；

11：照相机；

12：控制装置；

13：移动机构；

20：图像取得部；

21：三维形状测量部；

22：投影单元位置控制部；

23：阴影区域判定部；

51：照明装置；

O：测量对象物体。

Claims (9)

1.一种三维形状测量装置，具有：

投影单元，其对测量对象投影图案；

拍摄单元，其对被投影了所述图案的所述测量对象进行拍摄；

移动单元，其使所述投影单元相对于所述拍摄单元和测量对象移动；

控制单元，其包括测量单元和阴影区域判定单元，所述测量单元配置成基于由所述拍摄单元得到的拍摄图像来计算所述测量对象的三维形状，所述阴影区域判定单元用于判断在所述拍摄图像中是否存在没有被投影图案的阴影区域；以及

斜视照相机，其取得从斜上方拍摄所述测量对象的斜视图像，并将所述斜视图像用于三维形状的测量，

其中，所述控制单元配置成：当由所述阴影区域判定单元判断为在所述拍摄图像中存在阴影区域时向用户发出警告，和/或当由所述阴影区域判定单元判断为在所述拍摄图像中存在阴影区域时确定三维形状由于该阴影区域导致不能测量还是能够测量。

2.如权利要求1所述的三维形状测量装置，其特征在于，

所述移动单元使所述投影单元移动到如下位置，在该位置，所述拍摄单元能够对所述测量单元能够测量所述测量对象的三维形状的图案进行拍摄。

3.如权利要求1或2所述的三维形状测量装置，其特征在于，

所述移动单元使所述投影单元在内部包含所述测量对象的圆周上旋转移动。

4.如权利要求1或2所述的三维形状测量装置，其特征在于，

具有多个所述投影单元。

5.如权利要求3所述的三维形状测量装置，其特征在于，

具有多个所述投影单元。

6.如权利要求1或2所述的三维形状测量装置，其特征在于，

所述移动单元是具有在轴向上开口的中空部的圆筒状的旋转机构，配置成该开口位于所述测量对象的上方，

所述拍摄单元从相对于所述测量对象垂直的方向穿过所述旋转机构的开口来拍摄所述测量对象。

7.如权利要求3所述的三维形状测量装置，其特征在于，

所述移动单元是具有在轴向上开口的中空部的圆筒状的旋转机构，配置成该开口位于所述测量对象的上方，

所述拍摄单元从相对于所述测量对象垂直的方向穿过所述旋转机构的开口来拍摄所述测量对象。

8.如权利要求4所述的三维形状测量装置，其特征在于，

所述移动单元是具有在轴向上开口的中空部的圆筒状的旋转机构，配置成该开口位于所述测量对象的上方，

所述拍摄单元从相对于所述测量对象垂直的方向穿过所述旋转机构的开口来拍摄所述测量对象。

9.如权利要求5所述的三维形状测量装置，其特征在于，

所述移动单元是具有在轴向上开口的中空部的圆筒状的旋转机构，配置成该开口位于所述测量对象的上方，

所述拍摄单元从相对于所述测量对象垂直的方向穿过所述旋转机构的开口来拍摄所述测量对象。

Images