CN114424020A - 三维测量装置 - Google Patents

Abstract

本发明提供一种三维测量装置(10)，其根据事件数据，对测量对象物的三维形状或者表示该形状的信息进行测量。在该装置(10)中，从投影部(20)光学地投影规定的条纹状图案。在该投影状态下，通过拍摄部(30)来光学地拍摄测量对象物(R)，取得基于事件数据的拍摄图像。即，在拍摄部(30)中，从拍摄元件与在接收条纹状图案时存在亮度变化的像素相对应地输出包含确定该像素的位置的二维点数据在内的事件数据，根据该事件数据获得测量对象物(R)的拍摄图像。拍摄元件构成为，在变亮的亮度变化的情况下输出正亮度变化的事件数据，在变暗的亮度变化的情况下输出负亮度变化的事件数据。进一步，测量部(40)根据拍摄图像中的像素单元的正亮度变化的事件数据的输出与负亮度变化的事件数据的输出的时间差求出亮度信息。

Description

三维测量装置

技术领域

本发明涉及光学地对测量对象物的三维形状或者表示该形状的信息进行测量的三维测量装置，特别涉及搭载事件相机的三维测量装置。

背景技术

以往，作为光学地对测量对象物的三维形状或者表示该形状的信息进行测量的三维测量装置，例如，已知利用相移法的装置。

该相移法是通过投影相位偏移的多张条纹状图案图像(光学图像)，来光学地对投影该条纹状图案图像的测量对象物的形状等进行三维测量的方法。作为这样利用相移法进行三维测量的技术，已知在下述专利文献1所公开的三维测量装置。该三维测量装置将各相位的条纹分配给不同波长的光，将合成它们得到的条纹状图案图像投影到测量对象物，并通过彩色相机来拍摄投影了该条纹状图案图像的测量对象物。而且，通过从拍摄到的图像提取各颜色分量并以一次的拍摄进行相位计算，来实现三维形状的测量所需的时间的缩短。

现有技术文献

专利文献

专利文献1：日本专利第3723057号公报

专利文献2：美国专利申请公开第2016/0227135号

发明内容

本发明所要解决的技术问题

但是，作为更加高速地生成测量对象物的图像的技术，已知上述专利文献2所公开的事件相机。

该事件相机是在生物的视网膜结构中得到启示而开发的亮度值差分输出相机，构成为按照像素单位感知亮度的变化并输出其坐标、时间、以及亮度变化的极性。根据这种结构，事件相机存在不输出如以往的相机那样无亮度变化的像素信息、也就是冗余数据(事件数据)的特征。因此，能够通过实现数据通信量的减轻和图像处理的轻量化等，来更加高速地生成测量对象物的图像。

然而，在使用从事件相机输出的事件数据生成的测量对象物的拍摄图像中，即使能够根据该拍摄图像掌握像素单元的亮度变化的有无也无法直接测量亮度值。因此，在利用亮度值的相移法等的三维测量方法中，存在无法实施测量对象物的三维形状的测量的问题。

本发明是为了解决上述技术问题而提出的，其目的在于，提供一种利用事件数据对测量对象物的三维形状或者表示该形状的信息进行测量的装置。

用于解决技术问题的技术方案

为了达成上述目的，第一示例性实施例所记载的三维测量装置(10)具备：

投影部(20)，对于测量对象物(R)投影规定的条纹状图案；

拍摄部(30)，拍摄投影了所述规定的条纹状图案的所述测量对象物；以及

测量部(40)，利用根据所述拍摄部的拍摄图像求出的亮度信息通过相移法来测量所述测量对象物的三维形状，

其特征在于，

所述拍摄部具备与在受光时存在亮度变化的像素相对应地输出包含确定该像素的位置的二维点数据在内的事件数据的拍摄元件，根据从所述拍摄元件输出的事件数据生成所述拍摄图像，

所述拍摄元件构成为，在变亮的亮度变化的情况下输出正亮度变化的事件数据，在变暗的亮度变化的情况下输出负亮度变化的事件数据，

所述测量部根据所述拍摄图像中的像素单元的所述正亮度变化的事件数据的输出与所述负亮度变化的事件数据的输出的时间差求出所述亮度信息。

另外，第二示例性实施例所记载的三维测量装置(10)具备：

投影部(20)，对于测量对象物(R)投影规定的条纹状图案；

拍摄部(30)，拍摄投影了所述规定的条纹状图案的所述测量对象物；以及

测量部(40)，利用根据所述拍摄部的拍摄图像求出的亮度信息通过相移法来测量所述测量对象物的三维形状，

其特征在于，

所述拍摄部具备与在受光时存在亮度变化的像素相对应地输出包含确定该像素的位置的二维点数据在内的事件数据的拍摄元件，根据从所述拍摄元件输出的事件数据生成所述拍摄图像，

所述投影部利用在单位时间内多次发光的短脉冲发光投影所述规定的条纹状图案，

所述测量部根据所述拍摄图像中的像素单元的所述事件数据的每所述单位时间的输出次数求出所述亮度信息。

进一步，第三示例性实施例所记载的三维测量装置(10)具备：

投影部(20)，对于测量对象物(R)投影光切断法用的图案；

拍摄部(30)，拍摄投影了所述规定的图案的所述测量对象物；以及

测量部(40)，测量所述拍摄部所拍摄的所述测量对象物的三维形状，

其特征在于，

所述光切断法用的图案以亮度在第一方向上按一定的比例变化且亮度在与所述第一方向正交的第二方向上不变化的方式投影，

所述拍摄部具备与在受光时存在亮度变化的像素相对应地输出包含确定该像素的位置的二维点数据在内的事件数据的拍摄元件，根据从所述拍摄元件输出的事件数据生成所述拍摄图像，

所述测量部根据在拍摄所述测量对象物的拍摄图像中在相同时间段输出的所述事件数据的位置通过光切断法来测量该测量对象物的三维形状。

此外，上述各括号内的附图标记表示与将在后面进行说明的实施方式所记载的具体的手段的对应关系。

发明的效果

在第一示例性实施例所记载的三维测量装置中，拍摄从投影部投影了规定的条纹状图案的测量对象物的拍摄部具备与在受光时存在亮度变化的像素相对应地输出包含确定该像素的位置的二维点数据在内的事件数据的拍摄元件，根据从拍摄元件输出的事件数据生成拍摄图像。该拍摄元件构成为，在变亮的亮度变化的情况下输出正亮度变化的事件数据，在变暗的亮度变化的情况下输出负亮度变化的事件数据。而且，测量部根据拍摄图像中的像素单元的正亮度变化的事件数据的输出与负亮度变化的事件数据的输出的时间差求出亮度信息。

在投影部中，在投影相移法用的规定的条纹状图案时，例如，按照像素单元以规定的周期重复R色发光状态、G色发光状态、B色发光状态，单独地调整各自的发光时间。另一方面，在拍摄部中，关于拍摄图像中的各像素单元，当通过受光来产生变亮的亮度变化时输出正亮度变化的事件数据，通过使该光消失来产生变暗的亮度变化而输出负亮度变化的事件数据。这样，在某个像素等级(pixcel level)中，例如，从R色发光状态到G色发光状态为止，在R色发光开始的时刻输出正亮度变化的事件数据，在R色发光结束的时刻输出负亮度变化的事件数据，在G色发光开始的时刻输出正亮度变化的事件数据。此处，从R色发光开始的时刻到R色发光结束的时刻为止的时间越长R色越亮，因此能够根据从R色发光开始的时刻到R色发光结束的时刻为止的时间求出R色的亮度信息(亮度值)。因此，能够根据拍摄图像中的像素单元的正亮度变化的事件数据的输出与负亮度变化的事件数据的输出的时间差求出上述亮度信息，能够利用该求出的亮度信息通过相移法来对测量对象物的三维形状进行测量。即，能够利用事件数据对测量对象物的三维形状进行测量。

在第二示例性实施例所记载的三维测量装置中，拍摄从投影部投影了规定的条纹状图案的测量对象物的拍摄部具备与在受光时存在亮度变化的像素相对应地输出包含确定该像素的位置的二维点数据在内的事件数据的拍摄元件，根据从拍摄元件输出的事件数据生成拍摄图像。而且，投影部利用在单位时间内多次发光的短脉冲发光投影上述规定的条纹状图案，测量部根据拍摄图像中的像素单元的事件数据的每单位时间的输出次数求出亮度信息。

在投影部中，以消耗电力减轻等为目的，能够通过短脉冲发光分别实现上述的R色发光状态、G色发光状态、B色发光状态。在这种情况下，针对每个发光状态确保的每单位时间的短脉冲发光的发光次数越多其发光颜色越亮。这样，在拍摄元件的像素单元中，由于与一次短脉冲发光相应地输出正亮度变化的事件数据与负亮度变化的事件数据的输出，因此能够根据每单位时间的短脉冲发光的发光次数、即、事件数据的每单位时间的输出次数，求出该发光颜色的亮度信息(亮度值)。因此，能够利用根据事件数据的每单位时间的输出次数求出的亮度信息通过相移法来对测量对象物的三维形状进行测量。即，能够利用事件数据对测量对象物的三维形状进行测量。

在第二示例性实施例所记载的三维测量装置中，拍摄从投影部投影了光切断法用的图案的测量对象物的拍摄部具备与在受光时存在亮度变化的像素相对应地输出包含确定该像素的位置的二维点数据在内的事件数据的拍摄元件，根据从拍摄元件输出的事件数据生成拍摄图像。上述光切断法用的图案从投影部以亮度在第一方向上按一定的比例变化且亮度在与第一方向正交的第二方向上不变化的方式投影。而且，测量部在拍摄测量对象物的拍摄图像中根据在相同时间段输出的事件数据的位置测量该测量对象物的三维形状。

在投影部中，在以规定的周期重复R色发光状态、G色发光状态、B色发光状态的状态下，例如，在发出R色光时，从R色发光开始的时刻到R色发光结束的时刻为止的时间越长R色越亮。在根据该投影状态受光的拍摄元件中，针对每个发光状态确保的单位时间内，在R色发光开始的时刻输出正亮度变化的事件数据，在R色发光结束的时刻输出负亮度变化的事件数据。因此，例如，在通过拍摄部仅拍摄以R色的亮度在左右方向(第一方向)上从左侧到右侧按一定的比例增加的方式变化且R色的亮度在上下方向(第二方向)上不变化的方式投影的光切断法用的图案的情况下，拍摄为在相同时间段输出的负亮度变化的事件数据组在上下方向上为线条状，在上述单位时间内从左侧向右侧移动。这样以线条状移动的事件数据组能够利用为光切断法中使用的线条状的激光，因此能够在针对每个发光状态确保的单位时间内，根据在相同时间段输出的事件数据的位置通过光切断法来对测量对象物的三维形状进行测量。即，能够利用事件数据对测量对象物的三维形状进行测量。

更加具体而言，测量部作为判断部发挥功能，所述判断部根据上一次的测量结果与更以前的测量结果的差判断测量对象物相对于拍摄部的相对距离变化是否大于等于规定距离。而且，当通过测量部来判断为上述相对距离变化小于上述规定距离时，投影部利用短脉冲发光投影规定的条纹状图案，测量部根据拍摄图像中的像素单元的事件数据的每单位时间的输出次数求出亮度信息。另一方面，当通过测量部判断为上述相对距离变化大于等于上述规定距离时，投影部利用单脉冲发光投影规定的条纹状图案，测量部根据拍摄图像中的像素单元的正亮度变化的事件数据的输出与负亮度变化的事件数据的输出的时间差求出亮度信息。

由此，能够与测量对象物相对于拍摄部的相对距离变化相应地，切换根据事件数据的每单位时间的输出次数求出亮度信息的结构、与根据拍摄图像中的像素单元的正亮度变化的事件数据的输出与负亮度变化的事件数据的输出的时间差求出亮度信息的结构。

进一步在另一个例子中，测量部作为判断部发挥功能，所述判断部根据上一次的测量结果与更以前的测量结果的差判断测量对象物相对于拍摄部的相对距离变化是否大于等于规定距离。而且，当通过测量部判断为上述相对距离变化大于等于上述规定距离时，投影部投影光切断法用的图案，测量部根据在拍摄测量对象物的拍摄图像中在相同时间输出的事件数据的位置通过光切断法来测量该测量对象物的三维形状。另一方面，当通过测量部来判断为上述相对距离变化小于上述规定距离时，投影部投影相移法用的规定的条纹状图案，测量部利用根据拍摄图像中的像素单元的正亮度变化的事件数据的输出与负亮度变化的事件数据的输出的时间差求出的亮度信息通过相移法来对测量对象物的三维形状进行测量。

由此，与测量对象物相对于拍摄部的相对距离变化相应地，能够切换根据拍摄图像中在相同时间段输出的事件数据的位置通过光切断法来测量该测量对象物的三维形状的结构、与利用根据拍摄图像中的像素单元的正亮度变化的事件数据的输出与负亮度变化的事件数据的输出的时间差求出的亮度信息通过相移法来对测量对象物的三维形状进行测量的结构。

附图说明

图1是示出第一实施方式所涉及的三维测量装置的概略结构的框图。

图2中的(A)是说明投影规定的条纹状图案时的某个像素等级的R色发光状态、G色发光状态、B色发光状态的说明图，图2中的(B)是说明与图2中的(A)不同的像素等级的R色发光状态、G色发光状态、B色发光状态的说明图。

图3是说明第二实施方式所涉及的、利用短脉冲发光投影规定的条纹状图案时的R色发光状态、G色发光状态、B色发光状态的说明图。

图4是示例出第三实施方式所涉及的、光切断法用的图案的说明图。

图5是说明利用以仅投影了图4的光切断法用的图案的状态输出的事件数据生成的拍摄图像的说明图，图5中的(A)示出从开始光切断法用的图案的投影起10μs之后的状态，图5中的(B)示出50μs之后的状态，图5中的(C)示出100μs之后的状态。

图6是说明利用以对于圆形状的测量对象物投影了图4的光切断法用的图案的状态输出的事件数据生成的拍摄图像的说明图，图6中的(A)示出从开始光切断法用的图案的投影起10μs之后的状态，图6中的(B)示出50μs之后的状态，图6中的(C)示出100μs之后的状态。

具体实施方式

[第一实施方式]

以下，参照附图，对本发明所涉及的、具体化对测量对象物的三维形状或者表示该形状的信息进行测量的三维测量装置的第一实施方式进行说明。

本实施方式所涉及的三维测量装置10是光学地对测量对象物R的三维形状进行测量的装置。如图1所示，该三维测量装置10构成为分别作为独立部分，具备：投影部20，对于测量对象物R投影相移法用的规定的条纹状图案(光学图案)；拍摄部30，对投影规定的条纹状图案的测量对象物进行拍摄并获得光学图像(拍摄图像)；以及测量部40，根据该拍摄图像测量或者复原测量对象物的三维形状。这样构成的三维测量装置10例如通过组装到机器人的手上，测量相对于手高速地相对移动的工件等的测量对象物R的三维形状。

投影部20是所谓的DLP(Digital Light Processing；数字光处理)投影仪，通过由DMD(Digital Mirror Device；数字反射镜器件)元件反射来自光源的光来投影上述规定的条纹状图案。DMD元件是将与投影在屏幕上的图像的各像素相应的微小的反射镜配置为阵列状的，构成为以微秒单位对改变各反射镜的角度并向屏幕射出的光进行开/关切换。因此，能够根据开启各反射镜的时间与关闭的时间的比例，改变反射的光的色阶，从而进行基于投影的图像的图像数据的色阶显示。特别是，入射到DMD元件的光准备R色(红色)、G色(绿色)、B色(蓝色)，以短时间的规定的周期重复通过由反射镜反射R色来发光的R色发光状态、通过由反射镜反射G色来发光的G色发光状态以及通过由反射镜反射B色来发光的B色发光状态，单独地调整各自的发光时间，由此能够投影彩色图像。在这种结构中，在针对每个发光状态确保的单位时间内发光一次的单脉冲发光的发光时间越长其发光颜色越亮。

在本实施方式中，作为上述的相移法用的规定的条纹状图案(光学图案)，采用根据下述的式(1)的亮度值I(x，y，n)确定的正弦波图案。即，当令相移次数为N时，通过式(1)来表示N个经相移的栅格图像(条纹图像)的亮度值I(x，y，n)。

I(x，y，n)＝a(x，y)cos{θ(x，y)+2πn/N}+b(x，y)…(1)

此处，点(x，y)是栅格图像内的1点，a(x，y)表示亮度幅值，b(x，y)表示背景亮度，θ(x，y)表示n＝0的栅格的相位，与根据N个栅格图像的亮度值I(x，y，n)求出的θ(x，y)相应地测定到点(x，y)为止的距离z。

具体而言，在本实施方式中，以与基于上述的R色发光状态、G色发光状态、B色发光状态的一个周期相应地获得三个栅格图像为前提，作为N＝3，根据拍摄图像求出R色发光状态的亮度值I(x，y，0)、G色发光状态的亮度值I(x，y，1)与B色发光状态的亮度值I(x，y，2)。因此，本实施方式中的相移法用的规定的条纹状图案(光学图案)将仅由R色构成的正弦波图案、仅由G色构成的正弦波图案与仅由B色构成的正弦波图案构成为使相位错开2π/3。

拍摄部30是搭载作为所谓的事件相机(Event-Based Camera)发挥功能的拍摄元件30以及驱动该拍摄元件30的电路、数据输出电路、阈值设定电路等(均未图示)的拍摄装置。因此，拍摄部30具备通过该事件相机分别与在受光时存在亮度变化的像素相对应地输出包含确定该各像素的位置的二维点数据在内的事件数据(具体而言，二维点数据、时间、亮度变化的极性)的拍摄元件30，并构成为能够根据从该拍摄元件输出的事件数据生成拍摄图像。构成该事件相机的拍摄装置30例如通过美国专利申请公开第2016/0227135号等已知。

因此，在拍摄部30中，关于拍摄图像的各像素单元，当通过受光来产生变亮的亮度变化时输出正亮度变化的事件数据，通过使该光消失来产生变暗的亮度变化而输出负亮度变化的事件数据。能够通过分别将在一定期间内输出的多个事件数据的二维点数据作为点绘制在规定的平面上生成拍摄测量对象物的图像数据，拍摄部30构成为向测量部40输出这样生成的图像数据或者事件数据(二维点数据，时间，亮度变化的极性)。

测量部40根据拍摄部30拍摄到从投影部20投影了上述的规定的条纹状图案的状态的测量对象物R的拍摄图像，基于相移法测量该测量对象物R的三维形状。具体而言，测量部40通过获得上述拍摄图像中的点(x，y)的亮度值I(x，y，0)、亮度值I(x，y，1)、亮度值I(x，y，2)求出θ(x，y)，根据这样求出的θ(x，y)测定到点(x，y)为止的距离z。

此外，测量部40典型地构成为具备CPU40A以及各种存储器40B的微型计算机。该CPU40A依次执行预先保管在存储器40B的、用于三维测量的程序的各步骤，根据这种三维测量获得表示测量对象物R的三维形状的信息。

另一方面，该测量部40、即CPU40A为了执行这种三维测量，需要使投影部20以及拍摄部30协作，用于该协作控制的程序显然预先保存在存储器40B的其他区域。因此，CPU40A能够通过执行该控制程序，来担负投影部30的驱动控制及投光时刻的控制、以及拍摄部的驱动控制及从拍摄部30即拍摄元件31输出的事件数据的读取时刻的控制等(参照图1的虚线箭头)。

因此，测量部40作为三维测量的测量手段以及进行上述各种控制的控制手段发挥功能。

这样，在本实施方式中，三维测量装置10的控制功能(控制手段、控制单元)是测量部40的计算机结构兼任的结构。当然，也可以在与测量部40独立地设置的控制专用单元中具有该控制功能(控制手段、控制单元)。

此处，以下针对在利用相移法对测量对象物R的三维形状进行测量时通过测量部40实施的三维测量处理进行详细说明。

在本实施方式中，作为用于高精度地拍摄高速地相对移动的测量对象物R的拍摄部30的主要部分，采用事件相机。在这种结构中，输出与存在亮度变化的像素相对应的事件数据，由于该事件数据中不包含亮度值，因此无法直接取得相移法所需的亮度值(I(x，y，0)、I(x，y，1)、I(x，y，2))。

因此，在本实施方式中，根据拍摄图像中的像素单元的正亮度变化(亮度极性正向变化)的事件数据的输出与负亮度变化(亮度极性负向变化)的事件数据的输出的时间差，求出亮度值(亮度信息)作为表示测量对象物R的三维形状的信息。

为了更加详细地说明，例如，在某个像素等级中，如图2中的(A)所例示，设想以规定的周期T重复R色发光状态、G色发光状态、B色发光状态的情况。此外，在图2中的(A)以及图2中的(B)中，用向上的箭头图示正亮度变化的事件数据的输出，用向下的箭头图示负亮度变化的事件数据的输出。

在这种发光状态下，在R色发光开始的时刻输出正亮度变化的事件数据(参照图2中的(A)的t11)、在R色发光结束的时刻输出负亮度变化的事件数据(参照图2中的(A)的t12)。之后，在G色发光开始的时刻输出正亮度变化的事件数据(参照图2中的(A)的t13)、在G色发光结束的时刻输出负亮度变化的事件数据(参照图2中的(A)的t14)。之后，在B色发光开始的时刻输出正亮度变化的事件数据(参照图2中的(A)的t15)、在B色发光结束的时刻输出负亮度变化的事件数据(参照图2中的(A)的t16)。

另外，例如，如图2中的(B)所示例那样，在与图2中的(A)中的像素不同的像素等级中，在R色发光开始的时刻输出正亮度变化的事件数据(参照图2中的(B)的t21)、在R色发光结束的时刻输出负亮度变化的事件数据(参照图2中的(B)的t22)。之后，在G色发光开始的时刻输出正亮度变化的事件数据(参照图2中的(B)的t23)、在G色发光结束的时刻输出负亮度变化的事件数据(参照图2中的(B)的t24)。之后，在B色发光开始的时刻输出正亮度变化的事件数据(参照图2中的(B)的t25)、在B色发光结束的时刻输出负亮度变化的事件数据(参照图2中的(B)的t26)。

此处，从R色发光开始的时刻到R色发光结束的时刻为止的时间越长R色越变亮，因此能够根据从R色发光开始的时刻到R色发光结束的时刻为止的时间求出R色的亮度值。同样地，能够根据从G色发光开始的时刻到G色发光结束的时刻为止的时间求出G色的亮度值，能够根据从B色发光开始的时刻到B色发光结束的时刻为止的时间求出B色的亮度值。

因此，测量部40能够根据拍摄图像中的像素单元的正亮度变化的事件数据的输出与负亮度变化的事件数据的输出的时间差求出亮度值(亮度信息)。该亮度值(亮度信息)是表示测量对象物R的三维形状的信息。

在图2中的(A)的例子中，测量部40能够根据作为关于R色发光状态正亮度变化的事件数据的输出与负亮度变化的事件数据的输出的时间差的t12-t11求出R色发光状态的亮度值I(x，y，0)。同样地，能够根据时间差t14-t13以及时间差t16-t15，求出G色发光状态的亮度值I(x，y，1)以及B色发光状态的亮度值I(x，y，2)。

即，测量部40能够根据拍摄图像中的像素单元的正亮度变化的事件数据的输出与负亮度变化的事件数据的输出的时间差，求出亮度信息作为表示测量对象物的三维形状的信息。

能够利用这样求出的各亮度值通过相移法来对测量对象物的三维形状进行测量。即，能够利用事件数据对测量对象物的三维形状进行测量。此外，如将在后面进行说明的那样，也可以在利用在单位时间内多次发光的短脉冲发光投影上述规定的条纹状图案的情况下，根据在该单位时间内重复产生的正亮度变化的事件数据的输出与负亮度变化的事件数据的输出的时间差的总和求出亮度值。

特别是，与亮度变化相应地输出利用三维测量的事件数据，因此即使是不利用事件数据的通常的相移法所不擅长的与背景之间的亮度差较大的测量对象物(例如，白色桌面上的黑色物体)的测量，也能够准确地进行测量。

另外，即使是在产生使用彩色相机的RGB相移法所不擅长的测量对象物与背景的彩色波段重合所致的混色的情况下，也能够准确地进行测量。

[第二实施方式]

接下来，参照附图，对本第二实施方式所涉及的三维测量装置进行说明。

在本第二实施方式中，与上述第一实施方式主要不同之处在于，投影部20利用在单位时间内多次发光的、一个脉冲宽度(时间宽度)短的短脉冲发光投影上述规定的条纹状图案。因此，对于实质上与第一实施方式相同的结构部分赋予相同的附图标记，并省略其说明。

在本实施方式中，以在投影部20中的消耗电力减轻等为目的，通过短脉冲发光分别实现上述的R色发光状态、G色发光状态、B色发光状态。在这种结构中，针对每个发光状态确保的每单位时间(T/3)的短脉冲发光的发光次数越多其发光颜色越亮。

然后，在拍摄元件31的像素单元中，如图3所示，与一次的短脉冲发光相应地输出正亮度变化的事件数据与负亮度变化的事件数据的输出，由此能够根据每上述单位时间的短脉冲发光的发光次数、即事件数据的每上述单位时间的输出次数，求出该发光颜色的亮度值。

在图3的例子中，能够根据与R色发光状态相关的每上述单位时间的事件数据的输出次数(t31～t32之间的输出次数)求出R色发光状态下的亮度值I(x，y，0)。同样地，能够根据与G色发光状态相关的每上述单位时间的事件数据的输出次数(t33～t34之间的输出次数)求出G色发光状态下的亮度值I(x，y，1)。另外，能够根据与B色发光状态相关的每上述单位时间的事件数据的输出次数(t35～t36之间的输出次数)求出B色发光状态下的亮度值I(x，y，2)。

即，测量部40能够根据拍摄图像中的像素单元的事件数据的每单位时间的输出次数求出亮度信息，作为表示测量对象物的三维形状的信息。

能够利用这样求出的各亮度值通过相移法来对测量对象物的三维形状进行测量。即，即使投影部20为利用短脉冲发光投影上述规定的条纹状图案的结构，也能够利用事件数据对测量对象物的三维形状进行测量。

此外，也可以根据测量对象物R相对于拍摄部30的相对距离变化，切换根据事件数据的每单位时间的输出次数求出亮度信息的结构(本第二实施方式的特征的结构)、与根据拍摄图像中的像素单元的正亮度变化的事件数据的输出与负亮度变化的事件数据的输出的时间差求出亮度信息的结构(上述第一实施方式的特征的结构)。

具体而言，投影部20构成为能够切换利用在单位时间内多次发光的短脉冲发光投影规定的条纹状图案的状态与利用在单位时间内发光一次的单脉冲发光投影条纹状图案的状态。另外，测量部40作为判断部发挥功能，所述判断部根据上一次的测量结果与更以前的测量结果(例如，上上一次的测量结果)的差判断测量对象物R相对于拍摄部30的相对距离变化是否大于等于第一规定距离。而且，当通过测量部40判断为上述相对距离变化小于上述第一规定距离时，投影部20利用短脉冲发光投影规定的条纹状图案，测量部40根据拍摄图像中的像素单元的事件数据的每单位时间的输出次数求出亮度信息。另一方面，当通过测量部40判断为上述相对距离变化大于等于上述第一规定距离时，投影部20利用单脉冲发光投影规定的条纹状图案，测量部40根据拍摄图像中的像素单元的正亮度变化的事件数据的输出与负亮度变化的事件数据的输出的时间差求出亮度信息。该亮度信息是表示测量对象物R的三维形状的信息。

由此，在测量相对距离变化比较小的测量对象物R、即动作比较小的测量对象物R的三维形状的情况下，能够通过根据事件数据的每单位时间的输出次数求出亮度信息，来提高对于测量对象物R的颜色和周边光的影响等的鲁棒性。相对于此，在测量相对距离变化比较大的测量对象物R、即、动作比较大的测量对象物R的三维形状的情况下，通过根据正亮度变化的事件数据的输出与负亮度变化的事件数据的输出的时间差求出亮度信息，与如上述那样根据事件数据的输出次数求出亮度信息的情况相比，能够更加迅速地求出亮度信息。

[第三实施方式]

接下来，参照附图，对本第三实施方式所涉及的三维测量装置进行说明。

在本第三实施方式中，与上述第一实施方式主要不同之处在于，利用光切断法对测量对象物的三维形状进行测量。因此，对于实质上与第一实施方式相同的结构部分赋予相同的附图标记，并省略其说明。

在本实施方式中，利用光切断法对测量对象物的三维形状进行测量，因此投影部20构成为，对于测量对象物R投影光切断法用的图案。本实施方式中的光切断法用的图案在R色、G色、B色中的任意者中，以其亮度在第一方向上从左侧向右侧按一定的比例增加的方式变化并且其亮度在与第一方向正交的第二方向上不变化的方式投影。

另外，测量部40构成为，根据拍摄图像中在相同时间段输出的事件数据的位置通过光切断法来对测量对象物的三维形状进行测量。

以下，利用如上述那样投影的光切断法用的图案对光切断法进行说明。

在投影部20中，在以规定的周期重复R色发光状态、G色发光状态、B色发光状态的状态下，例如，在发出R色光时，从R色发光开始的时刻到R色发光结束的时刻为止的时间越长R色越亮。在与该投影状态相应地受光的拍摄部30的拍摄元件31中，在针对每个发光状态确保的单位时间内，在R色发光开始的时刻输出正亮度变化的事件数据，在R色发光结束的时刻输出负亮度变化的事件数据。

此处，如图4所例示，设想拍摄部30仅拍摄光切断法用的图案的情况(拍摄图像)，其中该光切断法用的图案以R色的亮度在左右方向(第一方向)上从左侧向右侧按一定的比例增加的方式变化且R色的亮度在上下方向(第二方向)上不变化的方式投影。

在这种情况下，在拍摄部30中，以动态图像的方式拍摄为在上述单位时间内，在相同时间段输出的负亮度变化的事件数据组在上下方向上为线条状，在上述单位时间内从左侧向右侧移动。这是因为，由于越靠近上述图案的左端越暗，所以R色发光结束的时刻越靠近左端越早，由于越靠近上述图案的右端越亮，所以R色发光结束的时刻越是靠近右端越越晚，在上下方向上R色发光结束的时刻几乎相同。

具体而言，例如，在从投影部20开始上述光切断法用的图案的投影起10μs之后通过拍摄部30拍摄的状态下，如图5中的(A)所示，拍摄为在上述图案的左端附近事件数据组S在上下方向上为线条状。之后，例如，在50μs之后，如图5中的(B)所示，拍摄为线条状的事件数据组S向右侧移动，在100μs之后，如图5中的(C)所示，拍摄为线条状的事件数据组S进一步向右侧移动。

这样以线条状移动的方式拍摄的事件数据组也能够利用为用于光切断法的线条状的激光。具体而言，例如，对于圆形状的测量对象物R从投影部20开始上述光切断法用的图案的投影起10μs之后，在如图6中的(A)所示事件数据组S未到达测量对象物R的状态下，事件数据组S拍摄为在上下方向上为线条状。之后，例如，在50μs之后，如图6中的(B)所示，当事件数据组S到达测量对象物R时，拍摄为该测量对象物R中与形状相应地事件数据组S的排列发生变化。之后，如图6中的(C)所示，拍摄为该测量对象物R中与形状相应地事件数据组S的排列发生变化。

因此，在针对每个发光状态确保的单位时间内，能够根据在相同时间段输出的事件数据的位置由测量部40通过光切断法来对测量对象物的三维形状进行测量。即，能够利用事件数据对测量对象物的三维形状进行测量。

此外，光切断法用的图案不局限于以R色的亮度在左右方向上从左侧向右侧按一定的比例增加的方式变化且R色的亮度在上下方向上不变化的方式投影，例如，也可以以G色(B色)的亮度在左右方向上从左侧向右侧按一定的比例增加的方式变化且G色(B色)的亮度在上下方向上不变化的方式投影。另外，光切断法用的图案不局限于以R色(G色，B色)的亮度在左右方向上从左侧向右侧按一定的比例增加的方式变化且R色(G色，B色)的亮度在上下方向上不变化的方式投影，也可以在R色、G色、B色的任意者中，以其亮度在第一方向上按一定的比例变化并其亮度在与第一方向正交的第二方向上不变化的方式投影。

此外，也可以根据相对于拍摄部30的测量对象物R的相对距离变化，切换利用光切断法对测量对象物的三维形状进行测量的结构(本第三实施方式的特征的结构)、与利用相移法对测量对象物的三维形状进行测量的结构(上述第一实施方式的特征的结构)。

具体而言，投影部20构成为能够切换投影光切断法用的图案的状态与投影相移法用的规定的条纹状图案的状态。另外，测量部40作为判断部发挥功能，所述判断部根据上一次的测量结果与更以前的测量结果(例如，上上次的测量结果)的差判断测量对象物R相对于拍摄部30的相对距离变化是否大于等于第二规定距离。而且，当通过测量部40判断为上述相对距离变化大于等于上述第二规定距离时，投影部20投影光切断法用的图案，测量部40根据在拍摄测量对象物R的拍摄图像中在相同时间段输出的事件数据的位置通过光切断法来测量该测量对象物的三维形状。另一方面，当通过测量部40判断为上述相对距离变化小于上述第二规定距离时，投影部20利用单脉冲发光投影规定的条纹状图案，测量部40根据基于拍摄图像中的像素单元的正亮度变化的事件数据的输出与负亮度变化的事件数据的输出的时间差求出的亮度信息通过相移法来对测量对象物的三维形状进行测量。

由此，在测量相对距离变化比较大的测量对象物R、即动作比较大的测量对象物R的三维形状的情况下，根据在相同时间段输出的事件数据的位置通过光切断法来测量该测量对象物R的三维形状，与利用相移法的情况相比，能够更加迅速地测量三维形状。相对于此，在测量相对距离变化比较小的测量对象物R、即动作比较小的测量对象物R的三维形状的情况下，利用根据正亮度变化的事件数据的输出与负亮度变化的事件数据的输出的时间差求出的亮度信息并通过相移法来对测量对象物R的三维形状进行测量，与利用光切断法的情况相比，能够高精度地测量三维形状。

此外，本发明不局限于上述各实施方式，例如，也可以如以下那样进行具体化。

(1)三维测量装置10不局限于以组装到机器人的手上的状态移动，并测量相对移动的测量对象物的三维形状，例如，也可以以固定状态使用，并测量在搬送线上移动的测量对象物的三维形状。

(2)三维测量装置10也可以构成为，投影部20、拍摄部30以及测量部40为独立部件且测量部40能够与投影部20以及拍摄部30无线通信或者有线通信的信息处理终端。

(3)本发明也可以适用于利用dot图案投影法对测量对象物的三维形状进行测量的三维测量装置。在该三维测量装置中，通过与在上述第三实施方式中陈述的光切断法同样地赋予亮度信息，可识别的数量依赖于亮度信息的分辨率，但是能够单独地识别各个点。在该dot图案投影法中，在与光切断法进行比较的情况下，能够减少数据传送量，因此能够进行功能的高速化。

附图标记的说明

10：三维测量装置

20：投影部

30：拍摄部

31：输出事件数据的拍摄元件(作为事件相机发挥功能)

40：测量部(作为测量手段以及控制手段发挥功能)

R：测量对象物

权利要求书(按照条约第19条的修改)

1.一种三维测量装置，具备：

投影部，对于测量对象物光学地投影规定的条纹状图案；

拍摄部，光学地拍摄投影了所述规定的条纹状图案的所述测量对象物并获得拍摄图像；以及

测量部，根据从所述拍摄部所取得的光学的所述拍摄图像求出的亮度信息，通过相移法来测量所述测量对象物的三维形状，

所述三维测量装置的特征在于，

所述拍摄部具备与在受光时存在亮度变化的像素相对应地输出包含确定该像素的位置的二维点数据在内的事件数据的拍摄元件，并构成为根据从所述拍摄元件输出的事件数据生成所述拍摄图像，

所述拍摄元件构成为，在变亮的亮度变化的情况下输出正亮度变化的事件数据，在变暗的亮度变化的情况下输出负亮度变化的事件数据，

所述测量部构成为，根据所述拍摄图像中的像素单元的所述正亮度变化的事件数据的输出与所述负亮度变化的事件数据的输出的时间差，求出所述亮度信息作为表示所述测量对象物的三维形状的信息。

2.一种三维测量装置，具备：

投影部，对于测量对象物光学地投影规定的条纹状图案；

拍摄部，光学地拍摄投影了所述规定的条纹状图案的所述测量对象物并获得拍摄图像；以及

测量部，根据从所述拍摄部所取得的光学的所述拍摄图像求出的亮度信息，通过相移法来测量所述测量对象物的三维形状，

所述三维测量装置的特征在于，

所述拍摄部具备与在受光时存在亮度变化的像素相对应地输出包含确定该像素的位置的二维点数据在内的事件数据的拍摄元件，构成为根据从所述拍摄元件输出的事件数据生成所述拍摄图像，

所述投影部构成为，利用在单位时间内多次发光的短脉冲发光来投影所述规定的条纹状图案，

所述测量部构成为，根据所述拍摄图像中的像素单元的所述事件数据的每所述单位时间的输出次数，求出所述亮度信息作为表示所述测量对象物的三维形状的信息。

3.一种三维测量装置，具备：

投影部，对于测量对象物投影光切断法用的图案；

拍摄部，拍摄投影了所述规定的图案的所述测量对象物；以及

测量部，测量通过所述拍摄部拍摄的所述测量对象物的三维形状，

所述三维测量装置的特征在于，

所述光切断法用的图案以亮度在第一方向上按一定的比例变化且亮度在与所述第一方向正交的第二方向上不变化的方式，被投影，

所述拍摄部具备与在受光时存在所述亮度的变化的像素相对应地输出包含确定该像素的位置的二维点数据在内的事件数据的拍摄元件，并构成为根据从所述拍摄元件输出的事件数据生成拍摄图像，

所述拍摄元件构成为，在所述亮度的变化为变亮的变化的情况下输出正亮度变化的事件数据，在所述亮度的变化为变暗的变化的情况下输出负亮度变化的事件数据，

所述测量部根据在所述拍摄图像中的像素单元的所述正亮度变化的事件数据的输出与所述负亮度变化的事件数据的输出的时间差求出亮度信息，根据在拍摄了所述测量对象物的拍摄图像中在相同时间段输出的所述事件数据的位置以及所述亮度信息，通过所述光切断法来测量该测量对象物的三维形状。

4.根据权利要求2所述的三维测量装置，其特征在于，

所述投影部构成为，能够切换利用在所述单位时间内多次发光的短脉冲发光来投影所述规定的条纹状图案的状态，与利用在所述单位时间内发光一次的单脉冲发光来投影所述规定的条纹状图案的状态，

所述拍摄元件构成为，在变亮的亮度变化的情况下输出正亮度变化的事件数据，在变暗的亮度变化的情况下输出负亮度变化的事件数据，

具备判断部，所述判断部根据基于所述测量部的上一次的测量结果与更以前的测量结果的差，判断所述测量对象物相对于所述拍摄部的相对距离变化是否大于等于规定距离，

当通过所述判断部判断为所述相对距离变化小于所述规定距离时，所述投影部基于所述短脉冲发光来投影所述规定的条纹状图案，所述测量部根据所述拍摄图像中的像素单元的所述事件数据的每所述单位时间的输出次数求出所述亮度信息，

当通过所述判断部判断为所述相对距离变化大于等于所述规定距离时，所述投影部基于所述单脉冲发光来投影所述规定的条纹状图案，所述测量部根据所述拍摄图像中的像素单元的所述正亮度变化的事件数据的输出与所述负亮度变化的事件数据的输出的时间差求出所述亮度信息。

5.根据权利要求3所述的三维测量装置，其特征在于，

所述投影部构成为，能够切换投影所述光切断法用的图案的状态与投影相移法用的规定的条纹状图案的状态，

所述拍摄元件构成为，在变亮的亮度变化的情况下输出正亮度变化的事件数据，在变暗的亮度变化的情况下输出负亮度变化的事件数据，

具备判断部，所述判断部根据基于所述测量部的上一次的测量结果与更以前的测量结果的差，判断所述测量对象物相对于所述拍摄部的相对距离变化是否大于等于规定距离，

当通过所述判断部判断为所述相对距离变化大于等于所述规定距离时，所述投影部投影所述光切断法用的图案，所述测量部根据在拍摄所述测量对象物的拍摄图像中在相同时间段输出的所述事件数据的位置，通过光切断法来测量该测量对象物的三维形状，

当通过所述判断部判断为所述相对距离变化小于所述规定距离时，所述投影部投影所述相移法用的规定的条纹状图案，所述测量部根据基于所述拍摄图像中的像素单元的所述正亮度变化的事件数据的输出与所述负亮度变化的事件数据的输出的时间差求出的亮度信息，通过相移法来测量所述测量对象物的三维形状。

Claims (5)

1.一种三维测量装置，具备：

投影部，对于测量对象物光学地投影规定的条纹状图案；

拍摄部，光学地拍摄投影了所述规定的条纹状图案的所述测量对象物并获得拍摄图像；以及

测量部，根据从所述拍摄部所取得的光学的所述拍摄图像求出的亮度信息，通过相移法来测量所述测量对象物的三维形状，

所述三维测量装置的特征在于，

所述拍摄部具备与在受光时存在亮度变化的像素相对应地输出包含确定该像素的位置的二维点数据在内的事件数据的拍摄元件，并构成为根据从所述拍摄元件输出的事件数据生成所述拍摄图像，

所述拍摄元件构成为，在变亮的亮度变化的情况下输出正亮度变化的事件数据，在变暗的亮度变化的情况下输出负亮度变化的事件数据，

所述测量部构成为，根据所述拍摄图像中的像素单元的所述正亮度变化的事件数据的输出与所述负亮度变化的事件数据的输出的时间差，求出所述亮度信息作为表示所述测量对象物的三维形状的信息。

2.一种三维测量装置，具备：

投影部，对于测量对象物光学地投影规定的条纹状图案；

拍摄部，光学地拍摄投影了所述规定的条纹状图案的所述测量对象物并获得拍摄图像；以及

测量部，根据从所述拍摄部所取得的光学的所述拍摄图像求出的亮度信息，通过相移法来测量所述测量对象物的三维形状，

所述三维测量装置的特征在于，

所述拍摄部具备与在受光时存在亮度变化的像素相对应地输出包含确定该像素的位置的二维点数据在内的事件数据的拍摄元件，构成为根据从所述拍摄元件输出的事件数据生成所述拍摄图像，

所述投影部构成为，利用在单位时间内多次发光的短脉冲发光来投影所述规定的条纹状图案，

所述测量部构成为，根据所述拍摄图像中的像素单元的所述事件数据的每所述单位时间的输出次数，求出所述亮度信息作为表示所述测量对象物的三维形状的信息。

3.一种三维测量装置，具备：

投影部，对于测量对象物光学地投影光切断法用的图案；

拍摄部，光学地拍摄投影了所述规定的图案的所述测量对象物并获得拍摄图像；以及

测量部，根据所述拍摄部所取得的光学的所述拍摄图像，测量所述测量对象物的三维形状，

所述三维测量装置的特征在于，

所述投影部构成为，以亮度在第一方向上按一定的比例变化且亮度在与所述第一方向正交的第二方向上不变化的方式，投影所述光切断法用的图案，

所述拍摄部具备与在受光时存在亮度变化的像素相对应地输出包含确定该像素的位置的二维点数据在内的事件数据的拍摄元件，并构成为根据从所述拍摄元件输出的事件数据生成所述拍摄图像，

所述测量部构成为，根据在所述拍摄图像中在相同时间段输出的所述事件数据的位置，通过所述光切断法来测量该测量对象物的三维形状。

4.根据权利要求2所述的三维测量装置，其特征在于，

所述投影部构成为，能够切换利用在所述单位时间内多次发光的短脉冲发光来投影所述规定的条纹状图案的状态，与利用在所述单位时间内发光一次的单脉冲发光来投影所述规定的条纹状图案的状态，

所述拍摄元件构成为，在变亮的亮度变化的情况下输出正亮度变化的事件数据，在变暗的亮度变化的情况下输出负亮度变化的事件数据，

具备判断部，所述判断部根据基于所述测量部的上一次的测量结果与更以前的测量结果的差，判断所述测量对象物相对于所述拍摄部的相对距离变化是否大于等于规定距离，

当通过所述判断部判断为所述相对距离变化小于所述规定距离时，所述投影部基于所述短脉冲发光来投影所述规定的条纹状图案，所述测量部根据所述拍摄图像中的像素单元的所述事件数据的每所述单位时间的输出次数求出所述亮度信息，

当通过所述判断部判断为所述相对距离变化大于等于所述规定距离时，所述投影部基于所述单脉冲发光来投影所述规定的条纹状图案，所述测量部根据所述拍摄图像中的像素单元的所述正亮度变化的事件数据的输出与所述负亮度变化的事件数据的输出的时间差求出所述亮度信息。

5.根据权利要求3所述的三维测量装置，其特征在于，

所述投影部构成为，能够切换投影所述光切断法用的图案的状态与投影相移法用的规定的条纹状图案的状态，

所述拍摄元件构成为，在变亮的亮度变化的情况下输出正亮度变化的事件数据，在变暗的亮度变化的情况下输出负亮度变化的事件数据，

具备判断部，所述判断部根据基于所述测量部的上一次的测量结果与更以前的测量结果的差，判断所述测量对象物相对于所述拍摄部的相对距离变化是否大于等于规定距离，

当通过所述判断部判断为所述相对距离变化大于等于所述规定距离时，所述投影部投影所述光切断法用的图案，所述测量部根据在拍摄所述测量对象物的拍摄图像中在相同时间段输出的所述事件数据的位置，通过光切断法来测量该测量对象物的三维形状，

当通过所述判断部判断为所述相对距离变化小于所述规定距离时，所述投影部投影所述相移法用的规定的条纹状图案，所述测量部根据基于所述拍摄图像中的像素单元的所述正亮度变化的事件数据的输出与所述负亮度变化的事件数据的输出的时间差求出的亮度信息，通过相移法来测量所述测量对象物的三维形状。

Images