CN103649674A - 测量设备以及信息处理设备 - Google Patents

Abstract

本发明的目的是在三维位置测量中为物体适当地设置投影图案的图案形状。测量设备包括用于将图案光投影到测量对象上的投影部件；用于拍摄测量对象的拍摄部件，图案光投影在测量对象上以获得测量对象的拍摄图像；用于基于拍摄图像、投影部件的位置和姿势以及拍摄部件的位置和姿势来测量物体的位置和/或姿势的测量部件；用于使用测量对象的位置和/或姿势的变化范围来设置图案光的识别分辨率的设置部件；以及用于根据识别分辨率改变图案光的图案形状的改变部件。

Description

测量设备以及信息处理设备

技术领域

本发明涉及获取关于三维被摄体的三维位置的信息的测量设备以及信息处理设备。

背景技术

通过图案投影方法测量距离图像是获取测量对象的三维位置信息的技术之一。

根据图案投影方法，图案投影设备首先将二维的图案投影到被测量空间上。然后图像拍摄部件(照相机)拍摄被测量空间的图像，并且从拍摄图像中检测图案。通过使用检测到的图案的三角测量来测量到测量对象的距离。

要输出的距离值通常以拍摄图像的像素值表示。称这样的以图像的像素表示距离的图像为距离图像。

用于测量距离图像的投影图案包括用于通过三角测量计算距离的诸如直线等的图形(下文中称为测距图形)，以及包括嵌入识别标志以将测距图形和其它图形区分开的诸如几何图案和颜色组合等的图形(下文中称为识别图形)。

为了提高被测量空间中的距离图像的测量密度，期望增加投影图案中的测距图形的密度。同时，需要这样的测距图形能够彼此区分以进行三角测量。因此，出于测距的目的，需要在测距图形中嵌入使得在整个图案中能够唯一识别的识别图形。

另一种方法是基于以下假定，即位于被测量空间中的测量对象是一个连续的光滑表面。根据该方法，基于测距图形的连续性识别出测距图形，而不必使用识别图形。

非专利文献1讨论了通过连续测量距离图像、基于测距图形在连续帧之间变化不大的事实以检测识别图形的变化并且改变投影图案的方法。在非专利文献1中，测距图形包括平行线，而识别图形包括颜色不同的斜线。投影图案包括作为代码的图形，其中该图形配置在测距图形和识别图形的交点处。

将所配置的代码的有无解释为代码串并且用作邻接的测距图形的编号。根据连续帧之间的识别图形和测距图形的检测误差改变投影图案。在检测误差大的情况下，增加测距图形的间隔，并且减少识别图形的重复。由于邻接图像的距离增加，因而测距位置的数量减少但是也减小了错误检测的概率。距离点的总量在帧之间变化小。

引用列表

专利文献

非专利文献1:Tohmas P.Knonckx and Luc Van Gool,"Real-Time Range Acquisition by Adaptive Structured Light",IEEETransactions on Pattern Analysis and Machine Intelligence,Vol.28,No.3,pp.432-445,(2006).

非专利文献2:Besl P.J.and McKay,N.D.,"A Method forRegistration of3-D Shapes",IEEE Transactions on Pattern Analysisand Machine Intelligence,Vol.14,No.2,pp.239-256,(1992).

非专利文献3:Y.Chen and G.Medioni,"Object modeling byregistration of multiple range images",Proceedings of IEEEInternational Conference on Robotics and Automation,Vol.3,pp.2724-2729,(1991)

非专利文献4:Griffin,P.M.,L.S.Narasimhan and S.R.Yee,Generation of uniquely encoded light patterns for range dataacquisition,Pattern Recognition,Vol.25,No.6,pp.609-616,(1992)

发明内容

发明要解决的问题

使用单一的投影图案的距离摄像获取方法能够以比使用需要多个投影图案的技术更短的时间获取距离图像。因此将这样的距离摄像获取方法用于需要高速响应的情况下。根据非专利文献1中讨论的技术，测距图形以及识别图形的检测精度依赖于被检表面的形状。

测距图形的密度变得越高，邻接的测距图形之间的错误检测就越容易发生。识别图形也需要具有更多的元素。各个单独的图形元素变大，这使得难以设置用于识别判断的阈值。

非专利文献1讨论了一种用于调整这样的投影图案的方法。该方法包括根据连续距离摄像期间的检测误差的变化调整测距图形和识别图形的重复间隔。

由于该方法使用投影到在连续帧之间变化平缓的对象物体上的图案的误检测率，因而已经难以将该方法用于变化大的环境或者用于仅拍摄一个单一距离图像的情况。换句话说，不存在能够有效地获取距离图像的针对单一投影图案的机制。

考虑到前述问题作出本发明，并且本发明旨在在三维位置测量中适当地设置投影图案的图案形状。

用于解决问题的方案

本发明提供了一种测量设备，设备包括：用于将图案光投影在测量对象上的投影部件；用于拍摄测量对象的图像摄像部件以获取测量对象的拍摄图像，其中图案光照射在测量对象上；用于基于拍摄图像、投影部件的位置和姿势、以及摄像部件的位置和姿势测量测量对象的位置和/或姿势的测量部件；用于使用测量对象的位置和/或姿势的变化范围设置图案光的识别分辨率的设置部件；以及用于根据识别分辨率改变图案光的图案形状的改变部件。

发明的效果

本发明能够在三维位置测量中适当地设置投影图案的图案形状。

附图说明

图1是示出根据第一实施例的三维测量设备的配置的图。

图2是示出用于根据第一实施例的三维测量设备的处理的流程的图。

图3包括示出根据第一实施例的图案光的图案形状的图。

图4包括示出根据第一实施例的测量对象和图案投影平面之间的关系、位置和姿势的精度与投影范围之间的关系以及编码长度和投影范围之间的关系的图。

图5是根据第三实施例的距离摄像设备的框图。

图6是示出根据第四实施例的用于估计测量对象的位置和姿势的设备的配置的图。

图7是示出编码长度和N行M列数列之间的关系的图。

具体实施方式

(第一实施例)

图1是示出根据本实施例的三维测量设备的配置的图。

三维信息保持单元20保持了测量对象的三维信息。如本文所采用的三维信息包括限定了测量对象的大小和形状的值。三维信息可以使用数值表或者多边形模型来表示。

包括位置和姿势的估计状态保持单元10包括表示测量对象在观察空间中所处的状态的值。估计状态保持单元保持了至少包括测量对象物体在先前设置的三维空间中的位置和姿势的信息。

识别分辨率调整单元30是通过使用保持于三维信息保持单元20以及包括位置姿势的估计状态保持单元10中的信息调整与投影图案的识别分辨率相关的参数的处理单元。

在本实施例中，与识别分辨率相关的参数包括图案光的图案形状的参数。此外，图案光的图案形状的参数包括图案光的图案之间的密度以及图案光的图案的编码串的长度。

投影图案构建单元40是通过使用由识别分辨率调整单元30调整后的参数来构建投影图案的处理单元。以上描述的包括位置姿势的估计状态保持单元20、识别分辨率调整单元30、以及投影图案构建单元40可以由包括一般的保持介质和CPU的控制部件来实现。控制部件从保持了计算机程序的记录介质读取用于进行各种类型的处理的计算机程序，并且进行各种类型的处理，以发挥信息处理设备的功能。

以下将参考图2描述根据本实施例的三维测量设备的处理的流程。

(步骤S10)

在步骤S10中，根据本实施例的三维测量设备从包括位置姿势的估计状态保持单元10获取测量对象的位置和姿势以及误差范围的信息。

如本文所采用的物体的位置和姿势通过在三维坐标系中的平移分量和转动分量表示。误差范围包括以各个位置和姿势处的平移分量和转动分量的不确定度或者精度来表示。误差范围可以表示为物体的变化范围。

如本文所采用的误差范围包括位置和姿势参数的方差。假定物体的位置和姿势包括平移分量(Xm、Ym、Zm)和转动分量(Rx、Ry、Rz)，平移分量的方差表示为(σxm,σym,σzm)。转动分量的方差表示为(σrx,σry,σrz)。因此位置和姿势以及误差范围可以用12个参数表示出来。

如果在拍摄物体的环境中确定了测量对象的位置和姿势的近似值，则可以使用这些值。例如，在测量台和摄像设备以固定的关系配置并且将测量对象放置在测量台上的情况下，可以使用相对于测量台的位置关系和配置位置的近似值。

包括在拍摄图像中的测量对象的图像可以通过图形界面(GUI)呈现，以使得用户可以选择图像中的测量对象的范围。可以基于选择的范围计算参数。

将描述用于通过使用由摄像设备的照相机拍摄的图像来在位置和姿势中确定物体的位置的流程。位置基本上基于三角测量(三角法)计算。

假定已知照相机的参数并且从照相机到物体的距离为Zd。将通过卷尺测量到的从照相机到物体的距离用作Zd的近似值。通过GUI呈现由照相机拍摄的图像，并且用户指定物体的区域的中心。区域的中心可以由图像处理确定。在这种情况下，可以将图像二值化以使得测量对象与其背景分离，然后确定物体区域的重心。假定区域的中心具有图像坐标(Ub，Vb)，可以通过以下的等式变换为三维空间中的位置：

[数学式1]

Xm=Zd·(Ub-Cx)/fx

Ym=Zd·(Vb-cy)/fy

Zm=Zd             式1

这里，fx是X轴方向上的焦距，fy是Y轴方向上的焦距，cx是X轴方向上的主点位置，并且cy是Y轴方向上的主点位置。fx、fy、cx以及cy都是照相机参数。

位置的方差(σx,σy,σz)指定了测量对象配置的范围。这里假定将测量对象放置在安装台的范围内的位置。预先通过照相机观察安装台的表面以获取安装范围。获取的值可以设置为(σx,σy,σz)。实际上，在更可靠的方差可用的情况下可以设置该更可靠的方差。

至于关于转动轴的转动，将模型在照相机坐标系中的姿势的初始值及其误差设置为转动分量(Rx，Ry，Rz)及其方差(σrx,σry,σrz)。在测量对象接近球体的情况下，任一值都可以是任意的。在测量对象具有细长的形状的情况下，姿势信息变得更加重要。可以容易地通过用GUI改变模型的姿势并采用当模型看起来和拍摄图像中的测量对象相似时的姿势值的方法来设置转动分量(Rx，Ry，Rz)。因为方差也依赖于测量对象的形状，所以姿势的方差可以任意地设置。

只要保存了物体的位置和姿势以及它们的不确定度，包括位置姿势的估计状态保持单元10就可以使用可用的任意表达的方法以及任意保持部件。例如，可以将与之前登记的信息的差异用作位置和姿势值的不确定度的指标。可以预先从多个视点观察测量对象并且可以将结果保持为图像。拍摄图像和相对应的视点的图像之间的相关值可以用作不确定度的指标。可以使用之前登记的视点和所保持的位置和姿势之间的差异。只要将位置和姿势的某种状态表示为数值并且位置和姿势值的确定度的范围可用，就可以使用任意表达方法和计算方法。

在测量对象的位置和姿势未知的情况下，可以将方差设置为拍摄画面的大小。利用这种设置，可以如同测量对象出现在拍摄画面中的某处那样处理测量对象。

(步骤20)

在步骤20中，根据本实施例的三维测量设备从三维信息保持单元20中获取测量对象的三维信息。然后三维测量设备通过使用步骤10中获取的位置和姿势信息来计算测量对象在拍摄图像中的投影范围。如本文所采用，将称这样的投影范围为模型投影范围。

三维信息保持单元20将物体的形状的信息保持为测量对象的三维信息。具体地，三维信息保持单元20可以保持包括了用于近似物体表面的离散多边形的模型信息。三维信息保持单元20可以保持用于近似测量对象的诸如长方体、圆柱以及球体等的简单立体图形的形状和大小信息。

以使用从先前设置的视点所拍摄的测量对象的拍摄图像的情况为例。在该情况中，可以基于拍摄图像和摄像设备的位置和姿势将模型投影范围表示为范围覆盖测量对象的视锥体。

三维测量设备计算投影范围在图案投影平面的图像坐标，其中该计算是基于三维信息保持单元20中所保持的形状模型存在于将步骤S10中获取的三维位置和姿势及其误差范围纳入考虑的范围内的假设。

现在将给出三维信息保持单元20将长方体的信息作为测量对象的三维信息保持的情况的描述。假定在以长方体的重心作为原点的情况下，长方体的顶点坐标为B(i)=[X(i),Y(i),Z(i)](i=1-8)。

还假定步骤S10中获取的位置和姿势包括以照相机坐标系表示的平移分量(Xm，Ym，Zm)以及转动分量(Rx，Ry，Rz)。

在将顶点B(i)变换为照相机坐标系的情况下，可以通过下面的式2计算出结果顶点Bc(i)=[Xc(i)，Yc(i)，Zc(i)]。

[数学式2]

$\mathrm{Bc}\left(i\right)=\left[\begin{array}{c}\mathrm{Xc}\left(i\right)\\ \mathrm{Yc}\left(i\right)\\ \mathrm{Zc}\left(i\right)\end{array}\right]=$

$\left[\begin{array}{ccc}\cos \left(\mathrm{Rz}\right)& \sin \left(\mathrm{Rz}\right)& 0\\ -\sin \left(\mathrm{Rz}\right)& \cos \left(\mathrm{Rz}\right)& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{ccc}\cos \left(\mathrm{Ry}\right)& 0& -\sin \left(\mathrm{Ry}\right)\\ 0& 1& 0\\ \sin \left(\mathrm{Ry}\right)& 0& \cos \left(\mathrm{Ry}\right)\end{array}\right]\left[\begin{array}{ccc}1& 0& 0\\ 0& \cos \left(\mathrm{Rx}\right)& \sin \left(\mathrm{Rx}\right)\\ 0& -\sin \left(\mathrm{Rx}\right)& \cos \left(\mathrm{Rx}\right)\end{array}\right]\left[\begin{array}{c}X\left(i\right)\\ Y\left(i\right)\\ Z\left(i\right)\end{array}\right]+\left[\begin{array}{c}\mathrm{Xm}\\ \mathrm{Ym}\\ \mathrm{Zm}\end{array}\right]$    式2

还假定已预先根据校准值获取基本矩阵E，该矩阵表示了从照相机坐标系到用于投影投影图案的设备的坐标系的变换。照相机坐标系中的顶点可以通过基本矩阵E乘以照相机坐标系中的顶点Bc(i)变换为投影图案的坐标系中顶点Bp(i)=[Xp(i)，Yp(i)，Zp(i)]，也就是Bp(i)=E·Bc(i)。

三维测量设备计算各个顶点Bp(i)在投影图案画面上的投影位置UVp(i)。

[数学式3]

$\mathrm{UVp}\left(i\right)=\left[\begin{array}{c}\mathrm{Up}\left(i\right)\\ \mathrm{Vp}\left(i\right)\end{array}\right]=\left[\begin{array}{c}\mathrm{fpxXp}\left(i\right)/\mathrm{Zp}\left(i\right)\\ \mathrm{fpyYp}\left(i\right)/\mathrm{Zp}\left(i\right)\end{array}\right]$    式3

这里，fpx和fpy为投影图案坐标系中的X轴方向和Y轴方向上的焦距。因为只要三维信息以点表示就可以进行相同的计算，所以顶点B(i)到投影位置UVp(i)的计算并不限于长方体的情况。

下面，假定平移分量的误差分量(σx,σy,σz)以及姿势分量的误差分量(σrx,σry,σrz)相加到各个顶点B(i)上或者从各个顶点B(i)中减去。所得的顶点B⁺(i)和B^-(i)分别由以下等式给出：

[数学式4]

Xm⁺＝Xm+σx,Ym⁺＝Ym+σy,Zm⁺＝Zm+σz

Rx⁺＝Rx+σrx,Ry⁺＝Ry+σry,Rz⁺＝Rz+σrz

Xm^-＝Xm-σx,Ym^-＝Ym-σy,Zm^-＝Zm-σz

Rx^-＝Rx-σrx,Ry^-＝Ry-σry,Rz^-＝Rz-σrz   式4

三维测量设备使用B⁺(i)，通过(Xm⁺，Ym⁺，Zm⁺)和(Rx⁺，R_x ⁺，Rz⁺)计算出UVp⁺(i)。B^-(i)用于通过(Xm^-，Ym^-，Zm^-)和(Rx^-，Ry^-，Rz^-)计算出UVp^-(i)。

将模型投影范围设置为包括了所有三个投影点UVp(i)、UVp^-(i)以及UVp⁺(i)的矩形区域。可以提取出各个投影点的最大值和最小值以设置包括了最大值和最小值的矩形。在实际物体存在于误差范围的参数内的情况下，测量对象出现在模型投影范围内的某处。在本实施例中，描述了包括测量对象的长方体。然而，基本上可以通过位置或姿势的变化以及不确定度的分布设置测量对象的投影范围。测量对象可以通过使用多个长方体来表示，并且可以使用长方体的投影位置的最大值和最小值。也可以使用诸如球或圆柱等的任何其它几何图形来表示测量对象，并且可以计算几何图形的投影位置。也可以使用测量对象的多边形模型所形成的投影图形。

假定配置模型以使得作为测量对象的三维信息的形状的值反映了包括步骤S10中所设置的位置和姿势的状态。于是三维测量设备进行投影图案到画面上的投影计算。只要能够确定模型投影范围，三维测量设备就可以使用其它的计算方法。

例如，前面的实施例处理了使用针孔照相机模型进行基于三维信息投影图案到画面上的投影计算。然而，在测量对象的深度值不变并且沿与照相机平面平行的平面移动的情况下，可以使用正交投影模型。

在投影图案的坐标系和照相机坐标系的基线短的情况下，可以用照相机坐标系中计算出的值近似模型投影范围。

(步骤S30)

在步骤S30中，三维测量设备确定投影图案的识别图形的识别分辨率以使得步骤S20中计算出的模型投影范围包括与图案的大小和测距图形的密度相对应的范围。图案的大小依赖于识别分辨率。

非专利文献4讨论了用于通过使用De Bruijn数列产生识别图形的方法。使用该方法，三维测量设备可以设置投影图案区域以使得投影图案面积包括模型投影范围，其中投影图案面积通过将图3中示出的图案大小乘以测距图形的间隔确定。

在位置和姿势的误差小的情况下，模型投影范围变小。在测距图形的间隔固定的情况下，识别图形的编码长度变小。

编码长度越小，识别图形的数量越少。这帮助识别各个单独的图形并且允许稳定的检测。与每个识别图案的数列对照检查的次数也减少了，以减少处理时间。

非专利文献4讨论了用于产生N行M列的数列包括3×3固有配置的数值的图案的方法。在识别图形的图案数量以k表示的情况下，N和M由等式5给出。

[数学式5]

N＝k^2+(2-1)

M＝k^3+(3-1)   式5

图7是示出了编码长度与N行M列的数列之间的关系的图。

图7示出了对于每个编码长度k的N和M的值。作为数列的具体例子，对于k=3的De Bruijn数列的行Vhm和Vhn由等式6给出。

[数学式6]

Vhm＝[1 1 1 2 1 1 3 1 2 2 1 2 3 1 3 2 1 3 3 2 2 2 3 2 3 3 3 1 1]

Vhn＝[1 1 2 1 3 2 2 3 3 1]             式6

通过这样的数列，图案的值f(i,j)能够通过等式(7)表示出来。

[数学式7]

f(i,j)＝1+((f(i-1,j)+Vhn(i))modk)     式7

这里，f(0,j)=vhm(j)。图3(a)示出了计算出的数列。该数列的特征为在数列的3×3选择区域的值是与其它3×3区域不同的固有配置。

针对所示出的数值准备识别图形。在图3(b)中，将不同颜色的圆形图形210用作对{1,2,3}的识别图形。图3(b)示出了将配置在格子状的测距图形230的格子点上的包括识别图形210的图案图形投影在物体表面的例子。

虚线框220中的图案与图3(a)中的图案200对应。图3(c)示出了同样的识别图形由矩形的配置来表示的例子。

识别图形240通过2×2矩形的配置表示对应的数值。图3(c)中的虚线框250与图3(a)中的3×3块200对应。

投影图案的实际的投影面积通过由识别图形的数量组成的图案的大小和测距图形的密度来确定。

图4(a)示出了根据典型的针孔照相机模型的测量对象和图案投影平面之间的关系。因为相对于实际观察到的测量对象的投影图像，假定的位置和姿势不准确，所以投影图像彼此偏离。

偏离起因于位置和姿势的精度和误差。图4(b)是示出位置和姿势的精度与投影范围之间的关系的图。在高精度下，实际观察到的测量对象的投影图像与三维模型的投影图像的差异较小(图4(b)左侧)。

另一方面，在包括了很多错误的情况下，三维模型的投影图像与实际测量对象的投影图像偏离很大(图4(b)右侧)。

通过计算确定可能的包含误差的投影图像的投影范围。

图4(b)的左边一半示出了位置和姿势的精度高的情况。将三维模型的投影范围310的高度称为H1。图4(b)的右边一半示出了位置和姿势的精度低的情况。三维模型的投影范围320比投影范围310大。将三维模型的投影范围320的高度称为H2。

在这些情况中，三维测量设备可以产生分别覆盖H1和H2的范围的图案。三维测量设备将图7中N的值与H1和H2比较，并且选择能够分别覆盖H1和H2的最小编码长度。H1的模型投影范围310小，编码长度为3的图案能够覆盖投影范围310。另一方面，H2的模型投影范围310大，三维测量设备确定使用编码长度为6的大的图案。

在另一个使用了其它识别图形的情况中，可以使模型投影范围以及识别图形范围可以如同上述方法那样可调整。

在步骤40中，三维测量设备通过在步骤S20中计算出的模型投影范围中将具有在步骤S30中确定的编码长度的图案图形配置为位图图像来产生投影图案图像。因为可以预先产生针对各编码长度的图案，所以三维测量设备可以简单地在整个投影图像的位图中将包括图案的矩形复制到模型投影范围内。

投影图案构建单元40根据识别分辨率调整单元30的信息构建投影图案。投影图案构建单元40根据测距图形和识别图形各自的参数构建投影图案。应当理解可以预先产生针对不同参数的图案图形，以使得可以读取这样的图案图形并且作为投影图案设置在位图内。只要准备步骤S30中设置的测距图形和识别图形以使得可以根据参数来投影投影图案，就不特别限制使用的测距图形和识别图形。

(第二实施例)

在前面的实施例中，三维测量设备通过使用识别图形的编码长度作为参数、根据包括误差的位置和姿势信息使用三维模型来计算要投影的模型投影范围。然后，三维测量设备确定编码长度作为针对覆盖该范围的识别图形的大小的参数。作为替代的方法，识别分辨率调整单元30可以调整其它确定投影图案的参数。

由于识别图案具有(N,M)的大小，因而实际的投影图案的大小覆盖了(N×D，M×D)的范围，其中D是包括测量线的测距图形的间隔。因此识别分辨率调整单元30可以通过使用D作为参数进行图案调整。具体地，识别分辨率调整单元30可以确定D以使得模型投影范围覆盖(N×D，M×D)的图案。如果D大，则测量线的密度减小。结果距离图像变得稀疏，并且邻接的识别图形的间隔变宽。这减少了检测错误并且允许稳定的检测。另一方面，如果位置和姿势的精度高，则可以增加测量线的密度。

识别分辨率调整单元30可以同时使用包括识别图形的编码长度和测距图形的间隔的两个参数。随着识别的识别图形的数量增大，各个单独的识别图形变得更加难以识别。在这种情况下，可以调宽测距图形的间隔。

(第三实施例)

第三实施例可以用作用于生成距离摄像设备的投影图案的处理。

图5是根据本实施例的距离摄像设备的框图。

三维信息输入单元输入用于近似测量对象的基本图形的维度作为模型信息。对于输入，可以将值显示在画面上并且由用户选择。可以读取在文件中描述的值。只要可以将测量对象物体的三维信息输入距离摄像设备，就可以使用任何输入模式。

近似位置和姿势信息输入单元将与距离摄像设备相关的测量对象的位置和姿势作为输入接收。在距离摄像设备和测量对象的配置信息已知的情况下可以使用该配置信息。在连续的测量中，在当前位置和先前位置大致相同的情况下可以使用在先前位置获得的值。

图5中的虚线框中的块进行之前在第一实施例中所描述的处理步骤。

根据本实施例的设备是将投影图案构建单元生成的投影图案投影并且拍摄投影图案的图像以获得距离图像的距离摄像设备。可以使用液晶投影仪和数字照相机作为实际装置来实现图案投影部件和图案摄像部件。投影图案可以作为胶片来保持。可以通过根据识别分辨率切换这样的胶片进行图案投影。可以通过扫描LED或者激光的光斑来进行具有亮度控制的图案照射。只要可以切换多个图案并且拍摄为测量对象的反射图像，就可以没有问题地实现本实施例。应当预先获得图案投影和图案摄像的相对配置、以及范围计算所需要的诸如照相机参数和镜头的失真系数等的校准值。

识别图形解码单元进行包含在拍摄图像内的识别图形的检测，并且将识别图形解码为对应的数值信息。识别图形解码单元可以通过执行诸如颜色区域检测以及阈值处理等的用于检测各个单独的识别图形的图像处理流程来执行检测。得到的信息应当与投影图案构建单元对应。

测距图形检测单元检测由识别图形解码单元检测到的识别图形附近的测距图形。然后，测距图形检测单元将检测到的测距图形与投影图案的图像位置相关联。

距离值计算单元基于由测距图形检测单元所关联的投影图案的图像位置和拍摄图像中的检测位置之间的关系通过三角测量计算测距图形的三维位置。将图案投影图像的平面上的图案的坐标表示为m=[u,v,1]^T。将拍摄图像上的投影图案的位置表示为m''=[u'',v'',1]^T。在实际地投影图案并进行拍摄的情况下，将检测到的坐标称为实际投影图案位置m''。将拍摄图像上的实际的投影图案的位置称为图案位置m。局部坐标变换矩阵R(3×3矩阵)、t(tx，ty，tz)以及实际图案的三维投影位置M’具有下面等式给出的关系。

[数学式8]

$\left[\begin{array}{ccc}{\mathrm{uR}}_{31}-R_{11}& {\mathrm{uR}}_{32}-R_{12}& {\mathrm{uR}}_{33}-R_{13}\\ {\mathrm{vR}}_{31}-R_{21}& {\mathrm{vR}}_{32}-R_{22}& {\mathrm{vR}}_{33}-R_{23}\\ u^{\′\′}{R}_{31}^{\′}-R_{11}^{\′}& u^{\′\′}{R}_{32}^{\′}-R_{12}^{\′}& u^{\′\′}{R}_{33}^{\′}-R_{13}^{\′}\\ v^{\′\′}{R}_{31}^{\′}-R_{21}^{\′}& v^{\′\′}{R}_{32}^{\′}-R_{22}^{\′}& v^{\′\′}{R}_{33}^{\′}-R_{23}^{\′}\end{array}\right]M^{\′}=\left[\begin{array}{c}{t}_x-{\mathrm{ut}}_z\\ t_y-{\mathrm{vt}}_z\\ t_x^{\′}-u^{\′\′}{t}_z^{\′}\\ t_y^{\′}-v^{\′\′}{t}_z^{\′}\end{array}\right]$    式8

通过在等式两侧同时乘以左边的矩阵的广义逆矩阵能够确定M’。

距离图像生成单元生成距离图像，其中各测距图形的图像位置与距离值相关联。

本实施例的处理根据包括在距离图像内的测量对象的大小自适应地调整识别图形的编码长度。与使用覆盖整个投影图案的编码长度的识别图形相比，本实施例的处理产生了稳定的图案检测的效果以及通过减少用于数列比较的时间而加速处理的效果。

(第四实施例)

图6是示出了根据本实施例的用于估计测量对象的位置和姿势的设备的配置的图。

第三实施例包括由投影图案距离测距部件进行的用于距离计算的处理。投影图案距离测距部件获得距离图像。位置和姿势估计单元使用距离图像根据三维信息以及测量对象的近似位置和姿势准确地估计位置和姿势。位置和姿势估计结果输出单元将位置和姿势的估计结果输出。

位置和姿势估计单元的处理包括用于估计位置和姿势的计算，以减小从三维信息输入单元输入的测量对象的形状模型与在来自投影图案距离测距部件的距离图像中所包括的距离点之间的距离。可用的估计位置和姿势的方法的例子包括非专利文献2中讨论的ICP(Iterative Closest Point,迭代最近点)方法以及非专利文献3中讨论的方法。这些方法包括确定构成与距离图像中的距离点最近邻的形状的表面的对应关系，并且更新位置和姿势参数以最小化在相对应的表面与距离点之间的距离。通过近似位置和姿势信息输入单元获得的位置和姿势可以用作非线性优化的初始值。

通过位置和姿势估计单元获得的值可以用作步骤S10中的位置和姿势状态。对于位置和姿势估计，使用图像雅可比。图像雅可比表示因位置和姿势参数的微小变化而导致的特征点在画面上的变化。

假定J为图像雅可比矩阵，E为观测误差矢量，并且Δ表示参数校正项矢量。通过线性优化，满足JΔ=E。使用J的广义逆矩阵，通过以下等式确定参数校正项Δ。

[数学式9]

Δ＝(J^TJ)^-1J^TE   式9

等式9中的校正项Δ表示实际的测量对象的位置和姿势参数的差异。通过误差分布的协方差矩阵计算校正项Δ。校正项Δ包括当前位置和姿势的估计状态的方差值。

实际上，可以在距离图像的计算前使用图像中的边缘进行位置和姿势估计，并且使用其结果。使用图像中的边缘的方法仅需要通过摄像设备拍摄单一图像。可以通过轮廓检测边缘。因为可以作为测量对象的三维信息获得与这样的边缘有关的信息，所以可以使用投影到照相机坐标时的图像雅可比以及初始值来计算和校正项Δ等价的值。

在本实施例中，能够利用由位置和姿势检测单元获得的结果确定更细节的三维位置和姿势及其方差。这可以使得模型投影范围准确并且改进识别分辨率的调整的精度。因为可以减少不必要的编码长度，所以提供了识别图形的检测稳定化的效果以及减少图案和数列的对照检查的处理时间的效果。

(第五实施例)

在识别分辨率调整中，只要考虑的信息包括了位置和姿势就能够实现本发明的效果。可以使用以下关于测量对象的位置和姿势以及几何形状的信息。可用的信息包括与焦距的差异、被测量表面的方向、在与模型的各姿势对应的视点所生成的模型与观察图像的相似度、针对视点的模型的视点和视线方向与所保持的位置和姿势之间的差异、以及测距的模糊性。以下将描述各项。

<与焦距的差异>

利用通过光学透镜的光照射投影图案。摄像设备也使用光学透镜。这样的光学元件仅在有限的范围内在焦距方面一致。某些位置聚焦了而其它位置没有聚焦。在失焦范围内，图形元素的边缘由于失焦变得模糊并且难以检测。深度信息、或者形状表面与焦距之间的差异可以用作位置和姿势的信息。在差异大的情况下，增大识别分辨率以增加深度方向的测量点。在焦距的聚焦范围内可以在不复杂化的情况下降低识别分辨率，这是由于该范围类似于平面。

具体地，将由失焦引起的大小表示为像素值。使用点扩散函数(PointSpread Function,PSF)。假定将在拍摄理想点的情况下由于模糊而在邻近像素的扩散表示为σ。在这样的情况下，图案或者测量线以比σ短的间隔配置，这使得由于模糊而难以识别图案或者测量线。因此，必须设置成图案以比σ值宽的间隔产生。例如，可以设置针对3σ的转换为像素值的值以表示图案识别的空间间隔。

<被测量表面的方向>

投影设备的方向以及测量对象各个表面的方向也与图案投影有关。在表面的朝向相对于投影光倾斜的情况下，反射光量减少。图案边缘变得模糊并且难以检测。然后，基于测量对象的各表面和光源的方向以及照相机的位置检测反射光量下降的倾斜区域。在这样的区域增大识别分辨率。在倾斜小的情况下减小识别分辨率。

在使用三角学从其它视点观察光的情况下，观察到从与组成照明系统图案的其中一个像素相对应的区域施加的光在该光所照射的表面的法线方向扩散。根据光源方向、表面的位置和姿势、以及照相机的方向计算光的扩散。计算光的照射面相对于测量对象的各表面的法线的扩散。假定将扩散表示为σ。与以上描述类似，可以根据σ来调整图案的间隔。

<模板图像的相似度>

为检测观察图像的特征检测位置与估计模型之间的差异，可以预先从多个视点观察测量对象并且可以将所得的图像用于检测。因为该图像包括视点的信息，所以这样的图像也可以用作位置和姿势的信息。对在各视点处获得的图像进行与拍摄图像的应用了模型的区域的模板匹配，并且计算相关值。相关值可以用作位置和姿势的误差。在相关值大的情况下，需要增加识别分辨率。在相关值小的情况下，需要减少识别分辨率。

首先，在先前设置的测量对象的位置处获取多个图像。提取与部件区域相对应的部分的图像并且对其进行平均处理。将结果图像与基准位置一起登记为模板图像。然后获取实际拍摄的测量对象的图像，并且计算在模板中的基准位置处的像素值的互相关系数。在像素值偏离基准位置的情况下，和模板的相关值呈现低的值。因为偏离了被拍摄对象，所以应当增加编码长度以增加识别分辨率。在没有偏离被拍摄对象的情况下，可以设置增加测量线或者识别图案的密度的图案以获取高密度距离图像。

<在产生模板图像时的位置和姿势与估计位置和姿势之间的差异>

通过观察具有与最终的位置和姿势不同的位置和姿势的测量对象来预先准备以上提到的模板图像。可以将与获取模板图像处的位置和姿势有关的信息与估计的位置和姿势的信息之间的差异用作指标。在模板图像的位置和姿势与估计位置和姿势之间的差异大的情况下，应当增加识别分辨率。在差异小的情况下，应当减小识别分辨率。

在多个视点处获取多个模板用图像，并且将作为视点的照相机和模型之间的相对的位置和姿势以及平均后的拍摄图像以表的形式来保持。然后，将实际拍摄的测量对象的位置和姿势的值与表中所保持的位置和姿势中最接近的位置和姿势相关联。计算表中所保持的位置和姿势与要比较的拍摄图像的位置和姿势之间的差异。对于位置可以使用欧氏距离，并且对于姿势可以计算关于转动轴的转动角度之间的差异。在位置和姿势的差异大的情况下，认为被测量的部件偏离得比预期大。然后，可以设置高识别分辨率以减少测量线的虚假检测。

<测距的模糊性>

可以使用σ_3D作为三维空间中三角测量(三角学)的误差的不确定度的因子。σ_3D是依赖于作为三角测量参数之一的照相机到投影仪的基线、并且依赖于到测量点的距离的函数。该距离越大，测距的分辨率越高。这导致深度方向的分布增加。在位置和姿势的变化范围内，与深度方向相关的Z方向上的精度以及与平面的法线相关的俯仰和横摆方向上的精度受到影响。

测距设备的模糊性σ_3D可以通过以下等式表达:

[数学式10]

${\mathrm{\&sigma;}}_{3D}=\frac{{\mathrm{\&sigma;}}_{\mathrm{img}}}{\mathrm{fB}}Z$    式10

其中B是照相机到投影仪的基线，Z是到测量点的距离，σ_img是图像上的测量点的模糊性，并且f是照相机的焦距。

通过使用σ_3D，可以调整照射在位于该区域内的测量对象上的图案的识别分辨率。如果模糊性高，则应当增加识别分辨率。如果模糊性低，则应当使得识别分辨率减少。

可以使用位置和姿势的一个以上过去的估计状态以确定识别分辨率。可以在系统中预设这样的设置。可以允许用户做出设置。

(第六实施例)

识别分辨率调整单元可以切换与图案的识别分辨率相对应的图案。以下是调整用于改变识别图形及测距图形的参数的可用的项。在改变大小和/或间隔的情况下，图案的大小也发生变化。可以调整并且确定各个元素的参数以使得覆盖模型投影区域。可用项包括图形元素的大小、图案切换以及识别图形的有无。以下将描述各个项。

<图形元素的大小>

如第一实施例中所描述的，可以调整图形元素的大小。在识别分辨率低的情况下，应当使用面积更小的图案。在识别分辨率高的情况下，应当使用面积更大的图案。

具体地，将由模糊或者拍摄图像中的变化引起的大小表示为σ。在这样的情况下，如果图形具有比σ小的大小，则可能未将图形检测为一个图形元素。因此，根据通过识别分辨率计算出的在投影图像上的变化范围的σ，图形应当设置得比σ大，其中σ。

<图案切换>

将描述图案切换。识别分辨率调整单元可以根据精度切换图案。例如，在识别分辨率高的情况下，识别分辨率调整单元使用较少依赖于检测的方向的圆形图案。在识别分辨率低的情况下，识别分辨率调整单元使用包括细条纹的图案。

此外，对于除了圆形图案以外的图案，还可以调整图案的方向。图案的姿势应当根据投影仪和照相机的扫描方向或者配置来调整。

如本文所采用，“圆形”、“矩形”、“线”元素和识别分辨率之间的对应以表的形式登记以示出图案图形的密度的差异。在拍摄到图像的情况下，可以根据图案的识别分辨率根据表来参考对应的图形。

<识别图形的有无>

在三维位置和姿势的状态包括足够小的方差的情况下，可以根据所保持的位置和姿势以及三维的形状信息确定测距图形在物体表面的准确投影位置。在该情况下，不需要识别图形。这给予了识别分辨率调整单元不生成识别图形作为识别图形的生成参数的选项。这可以消除检测识别图形的处理，从而为加速减少了处理量。可以利用紧密的配置测距图形进行高密度的测量。

<第七实施例>

第一实施例提供了将覆盖整个测量对象的矩形设置为模型投影范围的例子。可以以构成测量对象的各曲面为单位调整包含在投影图案中的识别图形的识别分辨率。长方体具有法线各自不同的六个面。可以逐个面(逐个测量表面)地改变识别图形。在这样的技术中，根据包括了位置和姿势的估计状态以及各个面的模型来计算模型投影范围。可以通过针对各个模型投影范围调整识别分辨率来确定投影图案。这使得投影范围更小并且识别图形的编码长度更短以稳定地检测识别图形。减少了用于图案扫描和对照检查的时间以进行加速。

具体地，在第一实施例中描述的长方体的例子中，可以以组成面的点序列为单位处理顶点。

<第八实施例>

在本实施例中，将描述把上文描述的位置和姿势估计设备用于由机器人(或机器手)进行的机器人把持以及组装的情况。在包括机器人的结构中，观察的对象的位置和姿势针对组装任务而彼此不同。在为了把持零件从远距离位置观察对象物体、以及在把持有对象物体时观察要组装的区域的情况下，对象物体在画面上的比例发生改变。在机器人和对象物体之间的距离大的情况下，视线方向的不确定度将由于与基线的关系而增加。因此，可以增加识别分辨率以进行调整，以使得即使投影图案的投影位置变化大也能够检测到识别图形。在机器人在把持对象物体时维持在某个姿势的情况下，视线方向的不确定度减小以增加位置或者姿势测量的精度。这使得能够进行用于减小识别分辨率的调整，例如减少编码长度。在这样的例子中，图案扫描和对照检查的时间减少了，并且因此可以在短时间内估计位置和姿势。本实施例提供了根据机器人(机器手)的观察位置的变化来改变识别分辨率的例子。本发明也可以应用于由任务改变对象物体的位置和姿势的情况。可以通过使用具有高识别分辨率的识别图案来估计在传送带上传送的多个对象物体的近似位置。在把持多个对象物体中的特定对象的情况下，因为已知近似的位置，所以可以使用具有低识别分辨率的基于多条线的投影图案以获得紧密配置的距离图像。也就是说，本发明的实施例可以提供包括如下驱动系统的系统，其中驱动系统涉及对象物体的位置和姿势的改变。在该系统中，可以通过使用诸如观察位置和对象物体的配置等的限制条件的信息来改变识别分辨率。

尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

本申请要求2011年7月11日提交的日本专利申请2011-152839以及2012年7月4日提交的日本专利申请2012-150471的优先权，在此通过引用包含该申请的全部内容。

Claims (12)

1.一种测量设备，包括：

投影部件，用于将图案光投影到测量对象上；

摄像部件，用于拍摄所述图案光投影在其上的所述测量对象，以获取所述测量对象的拍摄图像；

测量部件，用于基于所述拍摄图像、所述投影部件的位置和姿势以及所述摄像部件的位置和姿势测量所述测量对象的位置和/或姿势;

设置部件，用于使用所述测量对象的位置和/或姿势的变化范围设置所述图案光的识别分辨率；以及

改变部件，用于根据所述识别分辨率改变所述图案光的图案形状。

2.根据权利要求1所述的测量设备，其中，所述设置部件使用所述测量对象的位置和/或姿势的变化范围并且使用所述测量对象的几何形状设置所述图案光的识别分辨率。

3.根据权利要求1所述的测量设备，其中，还包括用于获取所述测量对象的距离图像的距离图像获取部件，

其中，所述设置部件使用所述测量对象的位置和/或姿势的变化范围并且使用包括在所述距离图像中的所述测量对象的大小，设置所述图案光的识别分辨率。

4.根据权利要求1所述的测量设备，其中，所述设置部件使用与所述测量对象的配置有关的限制条件确定所述测量对象的位置和/或姿势的变化范围。

5.根据权利要求1至4的任意一项所述的测量设备，其中，所述改变部件根据所述识别分辨率改变用于识别所述图案光的图案的编码串的长度。

6.根据权利要求1至4的任意一项所述的测量设备，其中，所述改变部件根据所述识别分辨率改变所述图案光的图案间的密度。

7.根据权利要求1至4的任意一项所述的测量设备，其中，所述改变部件根据所述识别分辨率改变所述图案光的图案图形的大小。

8.根据权利要求1至4的任意一项所述的测量设备，其中，所述改变部件根据所述识别分辨率在所述图案光的图案图形的有无之间切换。

9.根据权利要求1至8的任意一项所述的测量设备，其中，所述改变部件根据所述识别分辨率针对所述测量对象的各个测量表面改变所述图案光的图案形状。

10.一种信息处理设备，包括：

测量部件，用于通过使用图案光投影于其上的测量对象的拍摄图像、用于投影所述图案光的投影部件的位置和姿势以及用于获取所述拍摄图像的摄像部件的位置和姿势来测量所述测量对象的位置和/或姿势；

设置部件，用于使用与所述测量对象的位置和/或姿势有关的信息设置所述图案光的识别分辨率；以及

改变部件，用于根据所述识别分辨率改变所述图案光的图案形状。

11.一种信息处理方法，包括：

测量步骤，通过测量部件通过使用图案光投影于其上的测量对象的拍摄图像、用于投影所述图案光的投影部件的位置和姿势以及用于获取所述拍摄图像的摄像部件的位置和姿势来测量所述测量对象的位置和/或姿势；

设置步骤，通过设置部件使用与所述测量对象的位置和/或姿势有关的信息来设置投影所述图案光的识别分辨率；以及

改变步骤，通过改变部件根据所述识别分辨率改变所述图案光的图案形状。

12.一种计算机程序，用于使计算机起到信息处理设备的功能，该信息处理设备包括：

测量部件，用于通过使用图案光投影于其上的测量对象的拍摄图像、用于投影所述图案光的投影部件的位置和姿势以及用于获取所述拍摄图像的摄像部件的位置和姿势来测量所述测量对象的位置和/或姿势；

设置部件，用于使用与所述测量对象的位置和/或姿势有关的信息设置投影所述图案光的识别分辨率；以及

改变部件，用于根据所述识别分辨率改变所述图案光的图案形状。

Images