CN113494892B - 测量装置、测量方法、移动体、机器人、电子设备及造型装置 - Google Patents

Abstract

本发明提供高精度稳定测量的测量装置、测量方法、移动体、机器人、电子设备及造型装置，其中具有照射部，用于向对象物照射光；摄影部，用于拍摄所述光照射的对象物；测量部，用于根据所述摄影部拍摄的信息，测量所述对象物；以及位置控制部，用于在所述摄影部拍摄的信息满足规定条件时，控制改变所述对象物和所述照射部以及所述摄影部三者之间的相对位置关系。

Description

测量装置、测量方法、移动体、机器人、电子设备及造型装置

技术领域

本发明涉及测量装置、测量方法、移动体、机器人、电子设备及造型装置。

背景技术

本发明涉及测量装置、测量方法、移动体、机器人、电子设备及造型装置。

目前，在FA(Factory Automation)领域，例如工厂中各种装配生产线中，采用可以以非接触方式测量的主动立体方式测量装置来检测或识别零件。

这种非接触方式测量装置比如有采用激光探头或线激光器的传感方式等。对此，近年来，能够测量区域(表面)的即所谓投影仪照像机方式备受关注。

利用投影仪照像机方式的三维测量装置，用照相机(摄影装置)拍摄由投影装置投影了图案图像(测量用图案)的对象物，从该摄影图像获得对应点。然后从获得的对应点复原三维形状，测量被测体的三维形状。

专利文献1(JP特开2015-10845号公报)以稳定获得精度良好的测量结果为目的，公开了一种技术方案，其中根据投影装置、对象物、摄影装置三者之间的位置关系，局部调整投影装置的光量，用适当的光量使来自对象物的反射光入射摄影元件。

但是，具有现有投影光学单元(投影装置)的三维测量装置以及专利文献1公开的技术方案，其根据形状测量时三维测量装置和对象物之间的位置或姿势关系，会发生投影到对象物上的测量用图案正反射到摄影元件(照相机)上的问题。也就是说，有一部分较强的光入射摄影元件(照相机)，其结果，拍摄的图像中会出现亮度值饱和的像素区域(图像中发生部分饱和)。

相反，如果是容易吸收光的颜色或材质的对象物，根据三维测量装置和对象物之间的位置或者姿势关系，投影到对象物上的测量用图案会被对象物吸收，没有足够的测量所需要的光量入射光摄影元件(照相机)(亮度对比度下降)。其结果，拍摄的图像中将出现无法得到足够亮度对比度的像素区域(图像中形成部分暗区域)。

如果基于出现上述问题的图像进行对象物的测量，那么，一部分测量结果会产生缺陷等，由此可知，目前的测量装置或方法在测量精度和稳定性方面尚有改善余地。

发明内容

本发明的目的在于，提供能够高精度稳定测量的测量装置、测量方法、移动体、机器人、电子设备及造型装置。

为了解决上述课题，达到上述目的，本发明提供一种测量装置，其中具有照射部，用于向对象物照射光；摄影部，用于拍摄所述光照射的对象物；测量部，用于根据所述摄影部拍摄的信息，测量所述对象物；以及位置控制部，用于在所述摄影部拍摄的信息满足规定条件时，控制改变所述对象物和所述照射部以及所述摄影部三者之间的相对位置关系。

本发明的效果在于，能够高精度地进行稳定测量。

附图说明

图1是第一实施方式的三维测量装置的结构模块图。

图2是第一实施方式的三维测量装置向对象物投影测量用图案的状态的示意图。

图3是一例光偏转元件的MEMS镜的结构示意图。

图4是三维测量装置的控制单元的功能结构模块图。

图5是无效区域补全处理流程图。

图6是其他无效区域补全处理流程图。

图7是三维测量装置的控制单元的一例测量信息取得单元的斜视图。

图8是第二实施方式的机器人的多关节机器人手臂的示意图。

图9是第三实施方式的智能手机的示意图。

图10是第四实施方式的移动体的示意图。

图11是第五实施方式的其他移动体的示意图。

图12是第六实施方式的3D打印机装置的示意图。

具体实施方式

以下参考附图说明实施方式的三维测量装置。

[概述]

本实施方式涉及的测量装置以采用图案投影法进行对象物三维测量的三维测量装置为例，在这种情况下，三维测量装置识别其测量结果中的饱和或辉度对比度下降的无效区域。根据无效区域周围的有效测量区域的测量结果，推定相当于无效区域的对象物的部分、测量用图案的投影角度、以及反射光入射摄像元件的入射角度。进而，根据推定的测量结果，计算不会在无效区域中产生饱和或辉度对比度下降等的三维测量装置和对象物之间的位置以及姿势的关系。最后，通过以推定的位置和姿势控制三维测量装置进行摄像，获得不产生饱和或辉度对比度降低的摄影图像，用该摄像图像，对之前拍摄时获得的摄影图像的无效区域进行插值处理。由此，能够精确测量对象物。

[第一实施方式]

第一实施方式是使用图案投影法进行对象物三维形状测量的三维测量装置。图1是第一实施方式涉及的三维测量装置结构模块图。图2是通过第一实施方式的三维测量装置在对象物上投影测量用图案的状态的示意图。

如图1所示，第一实施方式的三维测量装置1具有测量信息取得单元20及控制单元30。

测量信息取得单元20如图1和图2所示，具有投影装置10和相机装置21。图1所示的投影装置10是一个投影部的例子，具有作为光源部的多个VCSEL(Vertical ChamberSurface Emit LASER)元件一维或二维的排列构成的垂直共振腔面发光激光阵列(VCSEL阵列)11、光学系统12、光偏转元件13。VCSEL阵列是一个照射部的例子。

测量信息取得单元20按照控制单元30的控制部31的控制，通过光学偏转元件13来偏转VCSEL阵列11的多个发光元件的光，把光投影到测量区域的对象物15上。控制部31通过控制VCSEL阵列11的各发光元件的亮度和点灯时间，如图2所示，向包含对象物15的区域投影规定的测量用图案的投影光14。

在此例举一个测量用图案的例子，比如通过控制VCSEL阵列11的发光元件点亮和熄灭(on/off)，投影黑白的灰色代码图案等规定的投影图案。图1中，用于把VCSEL阵列11的光形成为线状的光学系统12是独立于光源部设置的，但也可以包含在光源部内部。

相机装置21作为摄像部的一个例子，以可以以使得投影装置10向对象物15投影的投影光14的投影中心300成为摄影区域40的中心的固定的位置和角度，拍摄上述测量区域。

相机装置21具有镜头210和摄像元件211。可以用CCD(Charge Coupled Device)或CMOS(Complementary Metal Oxide Semiconductor)的图像传感器等作为摄像元件211。射入相机装置21的光通过透镜210在摄影元件211上成像而受到光电转换。摄像元件211中通过光电转换所生成的图像信号被提供到控制单元30的运算处理部32。

可以用透过VCSEL阵列11的发光波长的窄带滤波器作为镜头210。据此能够抑制测量时周围光(荧光灯等形成干扰的光)的影响，进行高精度测量。另外，还可以在镜头210的前部设置窄带滤波器。在这种情况下也能得到同样的效果。进而，通过使用振荡波长为不可见光范围的激光光源，可以消除环境光造成的可视光的影响，进行更高精度的测量。在这样的条件下，如果摄影图像中出现无效区域，则可以确定并判断在摄影图像中出现无效区域的原因是投影装置10射出的激光。

控制单元30控制投影装置10进行测量用图案光的投影、以及相机装置21进行拍摄等，根据关于相机装置21所拍摄的图像的信息，即根据图像信号，进行对象物15的三维测量等演算处理。控制部31还可以控制把投影装置10投影的测量用图案光切换到其他图案光的。进而，控制部31还可以控制用于运算处理部32三维坐标计算的遮挡信息的输出。

控制单元30的运算处理部32(一例测量部)，根据提供的图像信号，计算(测量)与对象物15的三维形状对应的三维坐标或关于三维坐标的信息。运算处理部32也可以按照控制部31的控制，把表示所求出的三维形状的三维形状信息输出到个人计算机装置等外部设备。

在输入的图像信号中存在难以作为有效数据进行处理，并且相较于其他区域比较难以处理的区域(无效区域)时，运算处理部32根据图像信号以及对象物15的三维形状，计算位置姿势信息，该位置姿势信息是关于能够在下一次测量中取得用来补全无效区域的补全数据的测量信息取得单元20的位置及姿势的信息。

控制单元30基于求出的位置姿势信息，借助于移动机构来控制测量信息取得单元20的位置和姿势，以取得用来补全无效区域的补全数据。因此，三维测量装置1在下一次测量中可以进行不存在无效区域的正常图像的摄影。

另外，位置姿势信息的输出值既可以是相对于三维测量装置1的规定基准原点的绝对值，也可以是相对于其他坐标的相对值，例如相对于测量时的机器人指尖位置和姿势的相对值等。使用相对值时，也可以适用于只利用对象物15和机器人手指的相对值的视觉反馈控制等。

图1是对于控制单元30设置了一组测量信息取得单元20的例子，控制单元30也可以设置多组测量信息取得单元20。在图1中测量信息取得单元20和控制单元30是独立设置的，但是控制单元30的一部分或者全部也可以包含在测量信息取得单元20之中。

光偏转元件的构成

光偏转元件13是可动镜，可在一轴以上的轴向上扫描激光。可动镜例如有MEMS(Micro Electro Mechanical Systems)镜、多面镜或检流计镜等，只要能够在一轴以上的轴向上扫描激光，可以使用任何光偏转元件。其中，从有望实现小型化和轻量化的观点出发，优选使用MEMS镜。

可动镜在对象物15上一轴扫描例如由光学系统12形成的线状投影光，通过对该线状投影光进行光扫描，形成二维平面投影图案。

图3是一例光偏转元件13的MEMS镜的结构示意图。如图3所示，MEMS镜的支撑部131具有可动部132和两组曲折形梁部133。

可动部132具备反射镜1320。两组曲折形梁部133各自的一端连接可动部132，另一端受到支撑部131支撑。两组曲折形梁部133分别由曲折形状的多个梁部构成，各梁部均交错设有通过施加第一电压而变形的第一压电部件1331和通过施加第二电压而变形的第二压电部件1332。

每个与第一压电部件1331和第二压电部件1332相邻的梁部独立设置。两组曲折形梁部133分别通过向第一压电部件1331及第二压电部件1332施加电压而变形，使可动部132的反射镜1320围绕转轴旋转。

具体来说，在第一压电部件1331和第二压电部件1332上施加相反位相的电压，使各梁部发生翘曲。由此，相邻梁部向不同方向弯曲，该弯曲累积，与连接两组曲折形梁部133的可动部132一起，反射镜1320以旋转轴为中心来回摆动。进而，通过以相反相位在第一压电部件1331和第二压电部件1332上施加具有配合以转轴为旋转中心的反射镜共振模式的驱动频率的正弦波，可以在低电压下得到非常大的旋转角度。

作为驱动波形，除上述正弦波以外，也可以是例如锯齿形波等其他波形。另外，不限于共振模式，也可以用非共振模式驱动。MEMS镜的驱动方式可以采用静电式、压电式或电磁式等任何驱动方式。

控制部的功能构成

图4是三维测量装置1的控制单元30的功能结构模块图。在图4中，运算处理部32解析由相机装置21提供的图像信号。运算处理部32通过使用图像信号的解析结果和校准信息的运算处理，进行三维信息的复原处理，据此执行对象的三维测量。运算处理部32向控制部31提供恢复了的三维信息。

控制部31具有系统控制部310、图案存储部311、光源驱动检测部312、光扫描驱动检测部313以及摄影控制部314。

光扫描驱动检测部313按照系统控制部310的控制来驱动光偏转元件13。系统控制部310控制光扫描驱动检测部313，将照射到光偏转元件13上的光照射到对象物15上。摄影控制部314按照系统控制部310的控制来控制相机装置21的摄影时间以及曝光量。

光源驱动检测部312根据系统控制部310的控制，控制VCSEL阵列11的各发光元件的点亮和熄灭。光源驱动检测部312监视VCSEL阵列11的发光量，在发生环境变化或光源劣化时进行反馈控制，保持一定光量。

图案存储部311读取保存在例如三维测量装置1的非易失性存储部中用于形成测量用图案光的图案信息。图案存储器311按照系统控制部310的控制，读取图案信息并提供给系统控制部310。系统控制部310基于图案存储器311提供的图案信息，控制光源驱动检测部312。

系统控制部310基于运算处理部32提供的经过复原的三维信息，指示图案存储部311进行图案信息的读取。系统控制部310按照图案存储器311读取的图案信息来控制光源驱动检测部312。

系统控制部310根据读取的图案信息，向运算处理部32发出演算方法指示。

运算处理部32、系统控制部310以及摄影控制部314通过在CPU(CentralProcessing Unit)上运行的测量程序来实现。具体来说，CPU通过执行从ROM(Read OnlyMemory)读取的测量程序，实现运算处理部32、系统控制部310以及摄影控制部314。

在输入的图像信号的图像中存在难以当作有效数据来处理、以及与其他区域相比难以处理的区域，也就是存在无效区域的情况下，运算处理部32根据图像信号以及对象物15的三维形状，在下一次测量中计算位置姿势信息，该位置姿势信息表示可以取得对无效区域进行补全的补全数据的测量信息取得单元20的位置及姿势。

控制单元30是一例位置控制部，控制单元30为了可以取得无效区域的补全数据，根据求出的位置姿势信息，借助于移动机构来控制测量信息取得单元20的位置和姿势。据此，在下一次测量中可以对不存在无效区域的正常图像进行摄影。

运算处理部32、系统控制部310以及摄影控制部314中的一部分或全部功能部也可以用硬件实现。运算处理部32、系统控制部310以及摄影控制部314以外的模块也可以通过测量程序实现。

无效区域的补全处理

图5是系统控制部310的无效区域补全处理流程图。系统控制部310根据测量程序，执行图5流程图所示的各项处理控制。

首先，在步骤S1中，系统控制部310控制信息取得单元20，执行对象物15的形状测量。在步骤S2中，系统控制部310判断在步骤S1的测量中得到的测量结果是对对象物15的初次测量结果，还是第二次以后测量中在用于补全用数据的测量中所获得的测量结果。如果是对对象物15的初次测量结果，则处理进入步骤S3，而如果是用于获得补全数据的测量，则处理前往步骤S4。

在步骤S4中，系统控制部310用从本次拍摄的摄影图像得到的补全数据，对上次测量时拍摄的摄影图像的无效区域进行补全，生成新的形状测量数据。这样，处理前往步骤S3。

如果步骤S2中判断为对对象物15的第一次测量结果而前往步骤S3后，系统控制部310判断第一次测量得到的拍摄图像中是否存在呈现饱和或亮度对比度下降的无效区域。如果存在无效区域，则处理前往步骤S5，如果不存在无效区域，则该图5的流程图全部处理完毕。

由于存在无效区域，处理进入步骤S5后，系统控制部310控制运算处理部32，求出用于对无效区域执行不发生饱获或亮度对比度下降的摄影的、表示测量信息取得单元20的位置和姿势的位置姿势信息。

在步骤S6中，系统控制部310根据求出的位置姿势信息，借助于移动机构，控制测量信息取得单元20的移动。这样，处理返回到步骤S1。在步骤S1中，测量信息取得单元20用经过移动控制的姿势和位置拍摄对象物15，从而获得补全数据生成用的摄像图像。在步骤S4中，系统控制部310根据补全数据生成用的摄影图像的图像数据，生成经过提取并生成相当于无效区域的图像数据的补全数据。然后，系统控制部310用该补全数据补全之前拍摄的摄影图像的无效区域，生成新的形状测量数据。

在步骤S3中不再检测到无效区域，或者无效区域的大小达到规定以下，再或不再从摄影图像上的中央区域等主要区域中检测到无效区域之前，系统控制部310反复执行步骤S1至步骤S6的处理。如此生成的对象物15的形状测量数据是从未发生饱和或亮度对比度下降的摄影图像中得到的数据。因此，基于该形状测量数据，能够生成准确的距离信息，提高三维测量装置1的测距精度。

在步骤S6中让测量信息取得单元20移动后的步骤S1中的测量中，既可以从上前一次测量时改变相机装置21的摄像时刻或者曝光量，也可以改变光源驱动检测部312或者光扫描驱动检测部313的参数。

补全处理的变形例

步骤S4中用于数据补全的测量数据，既可以是为了取得补全数据而重新测量的测量数据之中在步骤S3中判断的无效区域的测量数据，也可以是一部分或者全部的测量数据。

关于数据补全方法，既可以把前一次测量时的数据直接重叠，也可以在此之后进行部分缩减采样。也就是说，例如在补全用的测量数据全部都用于补全时，也可以只对在步骤S3被判断为有效的测量区域进行缩减采样。

另外，也可以只生成相当于无效区域的补全数据，进行补全处理。在这种情况下，如图6的流程图所示，在步骤S12以及步骤S13的测量之前，系统控制部310在步骤S11中判断本次测量是否是用于生成补全数据的测量。

如果本次测量是用于生成补全数据的测量(步骤S11:是)，则处理前往步骤S13，系统控制部310控制测量信息取得单元20，只对相当于无效区域的区域执行拍摄。在步骤S14中，系统控制部310根据相当于无效区域的区域的摄影图像，生成补全数据，用该补全数据对之前拍摄的摄影图像的无效区域进行补全处理，生成新的形状测量数据。

对此，如果此次测量是不生成补全数据的如首次测量等测量，则进行对象物15的拍摄(步骤S12)，在该摄像图像中存在无效区域的情况下，检测无效区域(步骤S3)。这样，测量信息取得单元20被控制为不会产生无效区域的位置和姿势(步骤S5、步骤S6)，在下一次测量(步骤S13)中，仅拍摄相当于无效区域的摄影图像。然后，只生成相当于无效区域的区域的补全数据，据此可以执行无效区域的补全操作(步骤S14)。

在该变形例的情况下，由于只需要测量用于无效区域补全所使用的部分，因此比测量处理在整体测量时更快，可以提高处理整体的处理速度。

无效区域的判断处理

接下来，详述图5和图6的流程图中的步骤S3的无效区域的判断处理。上述无效区域诸如亮度值饱和的像素区域、亮度对比度较低的区域、根据对象物15的形状投影的图案受到遮蔽而以阴影呈现在摄影图像上的区域(所谓的occlusion区域)等。

在进行对象物15的形状测量的情况下，投影多张测量用图案，对每个测量用图案进行摄影，获取图像。然后，进行拍摄的张数次的摄影图像的无效区域的提取。例如，关于亮度值饱和的无效区域，可以将获得的各摄影图像中亮度值饱和的所有像素的区域作为亮度值饱和的图像区域来提取。关于亮度对比度低的无效区域，在使用相移法进行测量的情况下，把在对每个像素检测相位的同时检测到的振幅值小于规定阈值的像素的区域，作为亮度对比度低的无效区域来提取。

关于成为阴影的遮挡区域的无效区域，在投影了使得整个投影区域发光的图案的摄影图像中，将亮度比预设阈值低的区域作为遮挡区域的无效区域来提取。

如果测量结果中存在如此提取的无效区域，则可以判断有无效区域。此外，也可以对于提取的区域重新设定指标，如区域的面积是否大于规定的阈值等，根据该指标是否超过预设值，判断是否为无效区域。再者，可以将负荷亮度饱和区域、亮度对比度下降区域、遮挡区域等中的某个区域作为无效区域来提取。如果是反复执行了预设次数的步骤S4的处理所生成的数据，则即使还有无效区域剩下，也可以看作是不再存在可用来进行数据补全的无效区域，结束图5或图6的流程图的处理。

位置姿势信息的计算动作

接下来详述图5和图6流程图中步骤S5中的位置姿势信息计算动作。如上所述，无效区域可分为亮度饱和区域、亮度对比度下降区域、遮挡区域等。虽然形成无效区域的原因是各不相同，但无论哪一种情况，都需要进行以下推定。

(1)无效区域中对象物15的面的法线方向、

(2)从投影装置10照射到无效区域的测量用图案光的入射角度、以及

(3)测量用图案光受到对象物15反射而产生的反射光射往相机装置21的角度。

当对象物15是已知物体，其有效的测量区域中包含特征点，可以充分用来识别，在这种情况下，相对于对象物15的投影装置10和相机装置21的位置姿势信息基本已知，与无效区域对应的对象物15的形状可以从形状模型中推定，因此，对于无效区域的每个像素可以推定对象物15表面的法线方向。另外，相对于对象物15的投影装置10及相机装置21的位置姿势信息大致已知，无效区域的对象物15的位置也大致已知。为此，可以从投影装置10和相机装置21的校准信息推定被投影到无效区域的每个像素上的测量用图案光的入射角度和从该区域射往相机装置21的反射光的角度。

而当对象物15是未知物体或是虽然是已知物体但不包含特征点，难以识别，在这种情况下，提取包含无效区域周围的有效测量区域的范围，在其中进一步分割成小区域，生成指定数量的包含有效的测量区域和无效区域的小区域。然后，在该小区域内推定平面，推定无效区域中的面的法线方向。

从包含在小区域内的有效测量区域信息，推定被投影小区域内无效区域中的图案光的入射角度。例如，如果投影图案为条纹图案，则可以推定条纹图案的变化方向，从被投影到无效区域周围的图案，推定该方向上的投影角度的变化量。为此，可以根据被投影到无效区域周围的测量用图案光的入射角度，推定无效区域中测量用图案光的入射角度。另外，还可以推定从无效区域的各像素朝向无效区域的方向，因此可以从这些信息推定射往相机装置21的反射光角度。

这样，利用推定的各信息，判断可供各种无效区域(亮度饱和区域、亮度对比度下降区域、遮挡区域等)进行测量信息取得单元20的数据补全的移动位置和姿势。

各种无效区域的测量信息取得单元的移动控制

以下说明各种无效区域的测量信息取得单元20的移动控制。在亮度饱和区域中，由于光以接近正反射角度入射无效区域，为此，在下一次测量时需要与正反射的轴形成角度地进行测量。改变测量信息取得单元20的位置及(或)姿势，使得相对于之前推定的无效区域中的对象物15的面的法线方向，从照射到无效区域上的来自投影装置10的图案光入射角度、以及从该区域射往相机装置21的反射光的角度发生指定大小的变化。

以下描述一例移动控制。在以下的说明中，用图7所示的作为投影部的投影装置10被设置在作为摄影部的相机装置21的-A方所构成的测量信息取得单元20为例进行说明。在摄影区域，即测量区域中，图7所示的-A方的区域比+A方的区域更加容易发生正反射时，容易产生亮度饱和区域。这是因为，摄影区域(测量区域)的-A方的区域比+A方的区域更接近投影装置10，容易受到更强的光照射。因此，当测量区域-A方发生亮度饱和区域时，控制单元30使得测量信息取得单元20向-A一方移动，使得测量对象的对象物15处于测量信息取得单元20+A方。据此，在下一次测量中，可以对之前为无效区域的区域进行测量。

具体来说，控制单元30使测量信息取得单元20移动测量区域水平方向长度一半左右的长度。据此，在下一次测量中可以使得位于原来测量区域的-A方的测量对象位于测量区域的+A方，在下一次测量中能够对之前是无效区域的区域进行测量。

举例说明其他移动控制。例如在对象物15是已知物体，在此情况下，事先在已知物体上决定指定的点。从该指定的点始终从测量信息取得单元20的原点(设定在测量信息取得单元20中指定的点)考虑，控制单元30让测量信息取得单元20旋转移动，而在规定方向上移动预定的量，从而一边保持一定间隔一边朝向正面。例如，在下一次测量中通过旋转移动，使得原来位于测量区域的-A方的测量对象位于测量区域的+A方，从而可以在下一次测量中对之前是无效区域的区域进行测量。

对此，在亮度对比度下降区域中，与亮度饱和区域相反，由于光的入射量较少，因此在下一次测量中，需要以接近正反射的轴的角度进行测量。在这种情况下，控制单元30改变测量信息取得单元20的位置以及/或者姿势，使得相对于先前推定的无效区域中对象物15的面的法线方向，照射在无效区域上的来自投影装置10的图案光入射角度、以及从该区域射往相机装置21的反射光的角度发生指定大小的量变。

在此说明一例在这种情况下的移动控制。图7所示的测量信息取得单元20中，投影装置10被设置在相机装置21的-A方。因此，在相机装置21的全部摄影区域(测量区域)中，位于+A一方的摄影区域距离投影装置10较远，因此不容易受到光照射，容易产生亮度对比度下降区域。由此，亮度对比度下降区域发生在测量区域的+A一方时，控制单元30使得测量信息取得单元20移动到+A方。

具体来说，控制单元30使测量信息取得单元20移动，移动距离为测量区域的水平方向长度的一半。由此，可以使得原来在测量区域的+A方的对象物15在下一次测量中，位于测量区域的-A方，在下一次测量中可以对本应成为无效区域的区域进行测量。

说明其他移动控制例。例如，对象物15是"已知"物体，在这种情况下，事先在已知物体上指定规定点。考虑到该预定的点始终是测量信息取得单元20的原点(设定在测量信息取得单元20上的预定点)，进行对象无的测量，控制单元30使得测量信息取得单元20在预定方向转动移动指定的量，用以在保持一定间隔的同时朝向正面。

在对象物15的反射模型是已知的情况下，控制单元30使用该反射模型信息，用以计算下一个测量的位置和姿势。由此，控制单元30可以求出测量信息取得单元20的更加合适的位置和姿势。

相反，在对象物15是"未知"物体的情况下，控制单元30求出在对象物15的有效测量区域内的形状信息中的中心点，如上所述的已知物体所进行的，使得测量信息取得单元20相对于这一点旋转移动。

其次，在遮挡区域中，投影到该区域的来自投影装置10的图案光是由于对象物15的形状而产生的，因此，可以根据被推定的区域中的对象物15的面的法线方向、以及被照射到无效区域上的来自投影装置10的图案光入射角度，来推测要使得测量信息取得单元20转入哪一个方向测量可以在下一次测量时补全遮挡区域。

在此说明一例这种情况下的移动控制。如图7所示，在投影装置10设置在相机装置21的-A方的测量信息取得单元20的情况下，从对象物的-A方照射的光受到遮挡。为此，在对象物15上存在凹部或凸部的情况下，由于凹部或凸部，光受到遮挡，凹部或凸部的+A方容易产生遮挡区域。在这种情况下，测量信息取得单元20以"规定角度"旋转，或者通过移动到图7的+A侧，便可以在下一次测量时对本应为无效区域的区域进行测量。

关于"规定角度"，例如优选90度至270度，或者除180度以外的90度至270度。这是为了在只以单向条纹图案投影作为上述测量用图案投影的测量信息取得单元20中，防止在与条纹图案方向相同的方向上存在对象物15的边缘时测量精度变差的缺陷。

作为另一个移动控制例，如上所述，如同在亮度饱和区域和亮度对比度下降区域进行的那样，控制单元30可以指定某个点来转动移动测量信息取得单元20。

此外，在存在多个上述的亮度饱和区域、亮度对比度下降区域、遮挡区域等无效区域的情况下，控制单元30按照对象物15的测量区域的位置或者无效区域的种类所决定的优先顺序，使测量信息取得单元20移动，以补全无效区域。这样，便可以测量在下一次测量时应成为无效区域的区域之中优先顺序较高的无效区域。

如上所述，在只进行以单向条纹图案作为测量用图案的投影的测量信息取得单元20的情况下，如果在与条纹图案的方向相同的方向上存在对象物15的边缘，则测量精度下降。为此，控制单元30在数据补全时的测量之际，使得测量信息取得单元20旋转指定角度后，进行数据补全的测量。所谓"指定角度"是指对象物15的边缘和条纹图案的方向不一致的角度，该两者之间优选至少存在3度以上的角度差。例如，更加优选90度的角度差。由此可以防止与条纹图案方向一致的方向上存在对象物15的边缘时测量精度下降的问题。

第一实施方式的效果

从以上的说明可知，在距测用摄影图像中发生饱和或辉度对比度下降等情况下，第一实施方式的三维测量装置1将发生饱和或辉度对比度降低等的区域作为无效区域来识别。从无效区域周围的有效的测量区域的测量结果，推定相当于无效区域的对象物15的部分、测量用图案的投影角度、以及反射光的入射相机装置21的入射角度。根据推定的测量结果，计算出在无效区域中不会产生饱和或辉度对比度下降的测量信息取得单元20和对象物15之间的位置以及姿势关系。

然后，通过控制测量信息取得单元20以推定的位置和姿势进行摄像，得到未产生饱和或辉度对比度下降等的摄影图像，用该摄像图像，对之前测量时得到的摄像图像的无效区域进行补全处理。由此，能够以良好的精度稳定测量对象物15的三维形状。此外，无需多次反复测量，可短时间获取经过数据补全的不含有缺陷等的测量数据。

移动对象的变形例

在上述第一实施方式的说明中，改变测量信息取得单元20的位置和姿势以形成补全数据。但是，控制单元30可以作以下改变

1.改变检测用图案光照射的对象物15的位置和姿势。

2.只改变投影装置10的位置和姿势。

3.只改变相机装置21的位置和姿势。

4.改变投影装置10和相机装置21的相对位置关系。

无论哪一种情况，各装置上设置移动机构，系统控制部310通过控制该移动机构，改变位置及姿势，均可以得到上述相同的效果。

[第二实施方式]

接下来说明第二实施方式。该第二实施方式是一例设有上述第一实施方式的三维测量装置1的机器人。图8是具备第二实施方式机器人多关节的机器人臂70的示意图。在图8中，机器人臂70具备用于捡拾对象物15的手部71，在部件71的近处设置了被作为第一实施方式说明的三维计测装置1。机器人臂70具备可分别弯曲的多个可动部，按照控制来改变手部71的位置和方向。

三维测量装置1被设为光的投影方向与手部71朝向一致，测量成为手部71捡拾对象的对象物15。

第二实施方式的机器人可以通过安装在机器人臂70上的三维测量装置1，近距离测量捡拾的对象物15。因此，与通过照相机装置等从远处测量捡拾对象物15的情况相比，可以提高测量精度。另外，也不会发生用相机装置等从远处测量时可能产生的测量范围内机器人臂70侵入而造成干扰，便于进行实时反馈。

进而，由于把三维测量装置1设置在三维测量装置1的测量范围不会与机器人部71不重合的位置，对于解决机器人手部71和测量范围重叠而使得测量范围变窄的问题，更加有效。

例如，在工厂的各种装配生产线等FA(Factory Automation)领域中，利用机器人臂70等机器人来进行零件的检测和识别等。通过在机器人上设置三维测量装置1，可以高精度地进行零件的检测和识别。

另外，也可以在机器人臂70的前端部设置三维测量装置1。在这种情况下，可以把机器人臂70伸入到如狭窄处和内径大于开口口径的空穴等体部直径大于口径的对象物15的内部空间内，测量内表面。也就是说，即使是工作区域受到限制的对象物15，只要是机器人臂70的可动范围，便可以进行测量。

把机器人臂70上的安装面和包括三维测定装置1长轴方向的面平行设置。由此可以缩短机器人臂70的前端部的各轴向的长度。因此，整个三维测量装置1可节省空间，缓和与周围环境之间的干涉。

在测距用摄影图像中存在无效区域时，把能够根据图像信号和三维形状在下一次测量中取得补全数据的位置和姿势的位置姿势信息，反馈到机器人臂70。由此，可以简单地进行机器人臂70的控制，根据取得补全数据进行的测量结果，进行更高精度的部件检查或识别等。

三维测量装置1的位置及姿势的关系只要相对于测量对象可以相对改变即可。因此，对于设有三维测量装置1的机器人臂70的图8的示例，也可以将测量对象设置在机器人臂70上，改变两者的相对位置关系和机器人臂70的姿势。

具体而言，在把测量对象设置在机器人臂70上时，可以把三维测量装置1和测量对象之间的位置以及姿势的相对关系作为无效区域的各种测量信息取得单元的移动控制，来进行改变，形成上述位置关系。

也就是说，当亮度饱和区域出现在测量区域-A方时，三维测量装置1使得机器人臂70朝图7所示的+A方向移动。此时，只要使机器人臂70移动测量区域水平方向长度的一半长度，则可以使原本位于测量区域的-A方的对象物15在下一次测量时位于测量区域的+A侧。这样便可对在下一次测量中对本应成为无效区域的区域进行测量。

在亮度对比度下降区域出现在测量区域的+A方时，三维测量装置1使得机器人臂70向图7的B方向移动。此时，使机器人臂70移动测量区域水平长度的一半长度。例如，如果测量区域的水平长度为100mm，则使得机器人臂70在图7的B方向上移动移动50mm。据此，可以让原本位于测量区域的+A方的对象物15，在下一次测量时，位于测量区域的-A方，在下一次测量中，可以对本应为无效区域的区域进行测量。

在产生遮挡区域时，使机器人臂70度旋转例如180度或使得机器人臂70向图7的B方向移动。据此，如上所述，可以对在下一次测量中本应成为无效区域的区域进行测量。

[第三实施方式]

以下说明第三实施方式。第三实施方式是将第一实施方式中描述的三维测量装置1设置在例如智能手机或个人计算机装置等电子设备上的例子。

图9是设有三维测量装置1的智能手机80的示意图。智能手机80中设置三维测量装置1和用户认证功能。用户认证功能由专用硬件设置。此外，除了专用硬件外，还可以通过计算机中的CPU执行ROM等中的程序来实现。

三维测量装置1测量用户81的脸、耳朵或头部的形状等。基于测量结果，认证功能部判断用户81是否是智能手机80中注册了的正规用户。

第三实施方式通过将三维测量装置1设置在智能手机80中，能够高精度地测量用户81的脸、耳或头部形状等，从而提高了用户识别精度。在第三实施方式的描述中将三维测量装置1设于智能手机80中，但三维测量装置1也可以安装在个人计算机装置或打印机装置等其他电子设备中。除个人认证功能以外，对于其他功能，也可以使用三维测量装置1。

在存在无效区域的情况下，可以在智能手机80的显示部上显示表示根据图像信号和三维形状，在下一次测量中能够获得补全数据的位置姿势的位置姿势信息。由此，用户可以控制智能手机80的位置和姿势，根据数据补偿的测量结果，进行更高精度的认证处理。

[第四实施方式]

以下说明第四实施方式。第四实施方式是在移动体上设置第一实施方式中描述的三维测量装置1的例子。图10是把三维测量装置1设置在作为伊利移动体的汽车内的例子。在图10中，汽车的车内85中设有三维测量装置1以及驾驶支援功能。该驾驶支援功能是通过专用的硬件设置的。

"驾驶支援功能"也可以用专用硬件以外的电脑中的CPU执行ROM等中程序来实现。三维测量装置1测量驾驶员86的脸和姿势等。基于测量结果，驾驶支援功能实行与驾驶员86的状况相应的合适的驾驶支援。

通过把上述三维测量装置1设置在汽车内，能够高精度地测量驾驶员86的脸和姿势等，提高车内85的驾驶员86的状态识别精度。

第四实施方式是把三维测量装置1设置在汽车内，除此之外，还可以把三维测量装置1设置在电车车内或飞机的驾驶席(或乘客座位)等设置三维测测装置1。另外，除了在驾驶员86的脸和姿势等状态识别中使用三维测量装置1以外，也可以在乘客或者车内85的状况的识别等时使用三维测量装置1。进而，三维测量装置1还可以进行驾驶员86的个人认证，用于判断作为汽车的驾驶员是否是预先注册了的正规驾驶员。

[第五实施方式]

接下来说明第五实施方式。图11是第五实施方式的其他移动体的示意图。图11所示的移动体是一例设置了三维测量装置1的可自律行驶的移动体。移动体87中设置了第一实施方式中描述了的三维测量装置1。三维测量装置1分别测量与移动体87周围各物体之间的距离。基于该测量结果，移动87识别桌子88的位置等室内89的布局，计算自己的移动路径。

如此，在第五实施方式中，通过将三维测量装置1设置在移动体87上，能够高精度地识别移动体87周围的物体的位置并求出移动路径，进行移动体87的驾驶支援。本例是将三维测量装置1设在小型移动体87上的例子，除此之外，还可以将三维测量装置1设置在汽车等中。不仅是室内，在室外也可以使用三维测量装置1，可以用于建筑物等的测量。

在存在无效区域的情况下，可以把表示根据图像信号和三维形状能够在下一次测量中获得补全数据的位置姿势的位置姿势信息反馈到移动体87。这样，将方便用户进行移动体87的控制，根据数据补偿的测量结果，进行更高精度的路径判断和布局计算。

[第六实施方式]

以下说明第六实施方式。第六实施方式是将上述三维测量装置1设置在一例成形装置的3D打印机装置上的例子。图12是3D打印机装置的斜视图。如图12所示，三维测量装置1被设在3D打印机装置90的打印头部91。打印头部91具有排出用于形成形成物92的造型液的喷嘴93。三维测量装置1在3D打印机装置90中形成物92的形成期间等，进行形状测量。3D打印机设备90基于该测量结果，控制形成物92的形成。

这样，第六实施方式的3D打印机装置90可通过三维测量装置1进行形成物92的形成期间等的形状测量，进行形成物92的高精度造型。

在本例中将三维测量装置1设置在3D打印机装置90的打印头部91，除此之外，也可以设置在3D打印机装置90的其他部位。

在存在无效区域的情况下，可以把表示可以根据图像信号和对象物15的三维形状在下一次测量中获得补全数据的位置姿势的位置姿势信息反馈到3D打印机装置90。这样，将方便用户进行3D打印机装置90的控制，根据数据补全的测量结果，进行更高精度的形成控制。

上述各种实施方式均只用一个示例来描述，但是这些示例并不本发明范围产生限制。这些新的实施方式可以以其他各种形态实施，只要是在不脱离发明宗旨，可以进行各种各样的增删、置换、改变。

附图标记列表

1 三维测量装置

10 投影装置

11 垂直共振器面发光激光阵列(VCSEL阵列)

12 光学系统

13 光偏转元件

14 测量用图案投影光

15 对象物

20 测量信息取得单元

21 相机装置

30 控制单元

31 控制部

32 运算处理部

40 摄像区域

210 透镜

211 摄像元件

300 投影光源的投影中心

Claims (18)

1.一种测量装置，其中具有

照射部，用于向对象物照射光；

摄影部，用于拍摄所述光照射的对象物；

测量部，用于根据所述摄影部拍摄的信息，测量所述对象物；

位置控制部，用于在所述摄影部拍摄的信息满足规定条件时，控制改变所述对象物和所述照射部以及所述摄影部三者之间的相对位置关系，以及

系统控制部，用于推测包含所述摄影部拍摄的信息的无效区域，

所述位置控制部根据所照射的所述光与所述无效区域的所述对象物的面的法线方向形成的入射角度，控制所述对象物、所述照射部以及所述摄影部三者之间的相对位置关系。

2.根据权利要求1所述的测量装置，其特征在于，所述位置控制部控制改变所述对象物和所述照射部之间的相对位置关系。

3.根据权利要求1所述的测量装置，其特征在于，所述位置控制部控制改变所述照射部和所述摄影部之间的相对位置关系。

4.根据权利要求1所述的测量装置，其特征在于，所述位置控制部控制改变所述摄影部和所述对象物之间的相对位置关系。

5.根据权利要求1至4中任意一项所述的测量装置，其特征在于，进一步具备补全处理部，该补全处理部用相对位置关系的改变后所述摄影部拍摄的信息，对所述摄影部拍摄的信息中所包含的满足所述规定条件的区域进行补全处理。

6.根据权利要求1至4中任意一项所述的测量装置，其特征在于，所述的位置控制部满足规定条件是指，拍摄的信息中存在规定值以上的亮度值的区域，或者是指，拍摄的信息中存在规定值以下的亮度对比度的区域。

7.根据权利要求1至4中任意一项所述的测量装置，其特征在于，所述照射部向所述对象物照射指定图案的图案光。

8.一种测量方法，其中具有

照射工序，由照射部向对象物照射光；

摄影工序，由摄影部拍摄所述光照射的对象物；

测量工序，由测量部根据在所述摄影工序中拍摄的信息，测量所述对象物；

位置控制工序，在所述摄影部拍摄的信息满足规定条件时，位置控制部控制改变所述对象物和所述照射部以及所述摄影部三者之间的相对位置关系，以及

系统控制工序，推测包含所述摄影部拍摄的信息的无效区域，

所述位置控制工序根据所照射的所述光与所述无效区域的所述对象物的面的法线方向形成的入射角度，控制所述对象物、所述照射部以及所述摄影部三者之间的相对位置关系。

9.根据权利要求8所述的测量方法，其特征在于，在所述位置控制工序中，所述位置控制部控制改变所述对象物和所述照射部之间的相对位置关系。

10.根据权利要求8所述的测量方法，其特征在于，在所述位置控制工序中，所述位置控制部控制改变所述照射部和所述摄影部之间的相对位置关系。

11.根据权利要求8所述的测量方法，其特征在于，在所述位置控制工序中，所述位置控制部控制改变所述摄影部和所述对象物之间的相对位置关系。

12.根据权利要求8至11中任意一项所述的测量方法，其特征在于，进一步具有补全处理工序，在该补全处理工序中，补全处理部用相对位置关系的改变后所述摄影部拍摄的信息，对所述摄影部拍摄的信息中所包含的满足所述规定条件的区域进行补全处理。

13.根据权利要求8至11中任意一项所述的测量方法，其特征在于，在所述的位置控制工序中满足规定条件是指，拍摄的信息中存在规定值以上的亮度值的区域，或者是指，拍摄的信息中存在规定值以下的亮度对比度的区域。

14.根据权利要求8至11中任意一项所述的测量方法，其特征在于，在所述照射工序中所述照射部向所述对象物照射指定图案的图案光。

15.一种机器人，其特征在于，具备权利要求1至4中任意一项所述的测量装置和搭载所述测量装置的多关节臂。

16.一种电子设备，其特征在于，具备权利要求1至4中任意一项所述的测量装置和根据所述测量装置的用户测量结果进行用户认证的认证部。

17.一种移动体，其特征在于，具备权利要求1至4中任意一项所述的测量装置和根据所述测量装置的测量结果进行移动体驾驶支援的驾驶支援部。

18.一种造型装置，其特征在于，具备权利要求1至4中任意一项所述的测量装置和根据所述测量装置的测量结果形成形成物的头部。