CN102410832B - 位置姿势测量设备和位置姿势测量方法 - Google Patents

Abstract

本发明涉及位置姿势测量设备和位置姿势测量方法。该位置姿势测量设备包括：距离信息获得单元，用于获得摄像单元所拍摄的对象物体的距离信息；灰度图像获得单元，用于获得对象物体的灰度图像；第一位置姿势估计单元，用于基于距离信息和三维形状模型的信息，来估计对象物体的位置和姿势；第二位置姿势估计单元，用于基于所述灰度图像的几何特征和通过将三维形状模型的信息投影在所述灰度图像上所获得的投影信息，来估计对象物体的位置和姿势；以及判断单元，用于基于第一估计值和第二估计值，来判断是否需要校准获得所述距离信息时所使用的参数。

Description

位置姿势测量设备和位置姿势测量方法

技术领域

本发明涉及用于测量已知为三维形状的物体的位置和姿势的位置姿势测量设备和位置姿势测量方法。

背景技术

已知有如下的距离图像测量设备：利用下文称为图案光的光线的图案照射物体表面；利用照相机获得图像。这种设备通过识别由物体表面反射的图案光来确定几何特征之间的对应关系，并且利用三角测量原理来测量相对于各像素的摄像面的深度值。即，这种设备利用三角测量原理来测量所拍摄图像的各像素相对于照相机的深度值。

如果已知测量物体的三维形状模型，则可以估计该形状模型的位置和姿势的6自由度参数，从而使得模型的表面的位置或距离值与所观察图像的几何特征的画面位置或距离值之间的差较小。

距离图像测量设备基于照明单元和摄像单元所利用的镜头的光学中心、光轴的位置和姿势以及焦距等，来计算距离，其中所述照明单元用于利用图案光照射物体，所述摄像单元用于拍摄图案。因此，这些参数对测量精度的影响大。需要通过多次拍摄校准夹具(calibration jig)来校准参数。通过拍摄夹具并将从所拍摄图像中提取的特征与该夹具的特征进行比较来进行校准。

将照明单元和摄像单元固定至各自的支撑件以进行校准。在这些单元的位置固定时，测量值被认为是正确值。在实际使用中，在校准处理之后，照明单元和摄像单元的位置可能由于设备的振动或安装件的松动而偏移。一旦这些单元移动，则即使使用了校准后的参数，也无法以高精度计算出距离图像。因此，需要再次进行校准处理。

由于例如多次拍摄校准夹具，因而校准处理复杂。希望将需要再次校准的情况检测为异常，然后进行校准。当距离图像测量设备连续用作生产系统的一部分功能时，这种动作尤其重要。

作为检测摄像设备的偏移的方法，日本专利2806604公开了如下的方法：通过设置作为参考的给定点并检查给定点相对于基准点的距离的估计值与校准时的距离之间的差，来检测异常。

日本特开2009-54759公开了基于多个设备的识别结果之间的差来检测设备的异常的方法。

在距离图像测量中，拍摄范围通常有限。例如，需要以测量物体占据画面的大部分的方式来拍摄图像。在这种情况下，可能无法在拍摄范围内设置作为参考的给定点来检测照相机参数的偏移。即使可以动态地改变测量设备的拍摄范围，仍附加地需要参考点的拍摄序列。此外，拍摄指标物的部分的精度可能不同于拍摄测量物体的部分的精度。在这种情况下，基于间接信息来检测异常，从而降低了可靠性。

仅在多个设备同时测量同一物体时，才可以使用其它设备的结果来检测异常。在这种情况下，为使多个设备的至少之一检测测量设备的异常，需要使这些设备相互协作，并且整个系统趋于变大。由于需要其它机构来维持和管理各校准后的信息，因而操作变得复杂。

如上所述，由于利用除距离图像测量设备以外的指标物和设备检测异常的传统技术除了测量测量物体之外还需要测量该指标物和该设备，因而出现上述与便利性有关的问题。

发明内容

考虑到上述问题作出了本发明。本发明提供了如下技术：通过根据距离图像的图像信息和灰度图像的图像信息、利用对象物体的模型、基于由两次位置姿势估计处理所获得的估计值之差来检测异常，从而在不需要检查用的其它指标物和其它设备的情况下将摄像设备的参数在校准之后的变化检测为异常。

根据本发明的第一方面，提供一种位置姿势测量设备，包括：距离信息获得单元，用于获得摄像单元所拍摄的对象物体的距离信息；灰度图像获得单元，用于获得所述摄像单元所拍摄的所述对象物体的灰度图像；第一位置姿势估计单元，用于基于所述距离信息和所述对象物体的三维形状模型的信息，来估计表示所述对象物体的位置和姿势的第一估计值；第二位置姿势估计单元，用于基于所述灰度图像的几何特征和通过将所述对象物体的三维形状模型的信息投影在所述灰度图像上所获得的投影信息，来估计表示所述对象物体的位置和姿势的第二估计值；以及判断单元，用于基于所述第一位置姿势估计单元估计出的所述第一估计值和所述第二位置姿势估计单元估计出的所述第二估计值这两者，来判断是否需要校准获得所述距离信息时所使用的参数。

根据本发明的第二方面，提供一种位置姿势测量方法，包括以下步骤：距离信息获得步骤，用于获得摄像单元所拍摄的对象物体的距离信息；灰度图像获得步骤，用于获得所述摄像单元所拍摄的所述对象物体的灰度图像；第一位置姿势估计步骤，用于基于所述距离信息和所述对象物体的三维形状模型的信息，来估计表示所述对象物体的位置和姿势的第一估计值；第二位置姿势估计步骤，用于基于所述灰度图像的几何特征和通过将所述对象物体的三维形状模型的信息投影在所述灰度图像上所获得的投影信息，来估计表示所述对象物体的位置和姿势的第二估计值；以及判断步骤，用于基于所述第一位置姿势估计步骤中估计出的所述第一估计值和所述第二位置姿势估计步骤中估计出的所述第二估计值这两者，来判断是否需要校准获得所述距离信息时所使用的参数。

通过以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。

附图说明

图1A是示出位置姿势测量设备的硬件结构的框图；

图1B是示出位置姿势测量设备的示意图；

图2是用于说明与位置姿势测量设备有关的各处理单元的框图；以及

图3是示出处理序列的流程图。

具体实施方式

现在将参考附图详细说明本发明的实施例。应当注意，除非特别说明，否则这些实施例给出的组件的相对配置、数值表达式及数值并没有限制本发明的范围。

第一实施例

将参考图1A说明根据第一实施例的位置姿势测量设备的硬件结构。

CPU 101控制(下文将说明的)各处理单元。存储装置102包括RAM和ROM，并且存储各种数据。显示单元103用作显示器以显示进行本发明所需的各种数据。I/F 104是接口。用户经由接口指示进行位置姿势测量设备的操作。总线105将上述CPU101、存储装置102、显示单元103和I/F 104互连。

接着将参考图1B说明根据本实施例的位置姿势测量设备的结构。图案光照明单元151利用受控的图案光对测量物体150进行照明。摄像单元152对由测量物体150反射的光进行拍摄。照明支撑件154和拍摄支撑件155分别固定图案光照明单元151和摄像单元152，以使得它们之间的位置关系保持固定。根据已由图案光照明单元151输出并由摄像单元152拍摄的图案光的图像，距离计算单元153通过进行图案识别来计算各图像的距离值。

异常检测单元156将校准摄像设备的拍摄条件之后、与图案光照明单元151和摄像单元152相关联的参数的变化检测为异常。

然后，将说明计算距离所需的图案光照明单元151和摄像单元152中的参数。这些参数可以包括内部参数和外部参数。内部参数与光学系统的设计值相关联，并且包括焦距、镜头畸变或主点位置。外部参数表示图案光照明单元151和摄像单元152之间的相对位置关系，其中该相对位置关系可以由转动/移动成分的六个参数来表示。

可以通过多次拍摄形状已知的校准图案来估计这些参数(照相机校准技术)。在本实施例中，由于校准后的值与设备的状态进行比较，因而可以使用任意方法作为校准方法。假定使用某种校准方法对参数进行了校准。

在校准参数时，假定图案光照明单元151和摄像单元152保持固定。如果设备的位置或镜头的设置从固定状态改变，则需要再次校准。存在改变设备的位置或镜头的设置的多种因素，诸如固定夹具的刚性、其它设备的振动或固定单元老化导致的磨损等。由于即使位置关系相对于校准后的状态的微小变化也会影响距离拍摄中的测量值，因而需要再次校准。

改变与图案光照明单元151和摄像单元152相关联的参数的因素发生的时刻不确定。通常，可以紧挨在使用设备之前进行校准处理。然而，由于校准指标的拍摄复杂，因而可以仅在检测到异常时进行校准处理。

将参考图2说明根据本实施例的各处理单元的结构。图案光照明单元151利用图案光对测量物体进行照明。摄像单元152拍摄反射图像。可以使用液晶投影器和用于生成图案的设备来实现实际照明步骤。作为摄像单元152，可以使用包括用于将光转换为电荷量的CMO S或CCD的电子照相机。在该距离图像测量处理中，假定可以使用除距离拍摄用的图案光以外的环境光在物体表面的反射来拍摄灰度图像。通常，出于将距离信息无法表示的物体表面的纹理提供给表示距离信息的距离图像的目的，许多设备可以在获得距离信息的同时获得灰度图像。在该例子中，假定对于摄像单元152的距离图像用的图案拍摄和灰度图像拍摄使用同一图像传感器。

距离图像存储单元200存储距离图像测量处理中测量得到的距离图像。灰度图像存储单元201存储灰度图像。这些图像是存储针对形成网格图案的各离散单位空间的测量值的信息。距离图像存储相对于摄像单元152的光学中心的距离值。另一方面，灰度图像存储反射亮度值。通过将这些信息记录在包括诸如RAM等的存储器元件或文件的存储装置102上，可以容易地存储这些信息。只要可以存储相对于光学中心的距离值，就无需以距离图像的形式存储距离值。

测量物体形状存储单元202存储与包括在所拍摄图像中的物体有关的几何信息。更具体地，可以使用以下各种表示方法中的任一个：用于表示物体形状的多边形网格、利用CAD中使用的BRep格式的表示方法、以及利用点群和距离场的方法等。此外，如果基于设计图或CAD模型制造的部件是对象，则可以使用该对象的设计信息。代替测量物体150的设计信息，可以使用将距离图像测量处理中所获得的测量物体150的测量点群进行合并的结果作为一个三维形状模型。在该例子中，如果与测量物体150相对应的三维形状模型的位置姿势参数能够用来估计测量物体150的位置姿势，则该位置姿势参数不局限于如上所述的参数。

利用距离图像存储单元200的信息或灰度图像存储单元201的信息以及测量物体形状存储单元202的信息，对形状模型进行两次位置姿势估计处理。

第一位置姿势估计单元203估计模型的位置姿势，以使得基于测量处理所获得的在测量物体150表面的深度方向上的距离值所变换得到的点群与从测量物体形状存储单元202所获得的物体表面之间的差变小。作为实际方法，可以利用Besl，P.J.等人提出的ICP(迭代最近点)算法来估计位置姿势(参见“Amethod for Registration of 3-D shapes”，IEEE Transactions onPattern Analysis and Machine Intelligence，Vol.14，No.2，pp.239-256.1992)。该方法利用模型表面与距离图像中的点群之间的最近邻对应关系，顺次计算模型的刚体变换，以使得将模型表面与点群相关联时的空间距离变小。第一位置姿势估计单元203使用距离图像和测量物体150的模型，但不使用灰度图像。

第二位置姿势估计单元204获得灰度图像中所包括的几何特征和与从测量物体形状存储单元202所获得的模型外观相关联的几何特征之间的对应关系。利用该对应关系中灰度图像面上的坐标值，估计测量物体150的位置姿势。更具体地，可以基于灰度图像的几何特征以及通过将三维形状模型的信息投影在灰度图像上所获得的投影信息中所包括的几何特征，来估计对象物体的位置姿势。可以使用光学系统的参数来正确计算将三维空间中的对象物体的几何特征投影在摄像画面(灰度图像面)的位置。更具体地，可以如David G.Lowe提出的方法中公开的那样，使用利用来自灰度图像的模型的位置姿势估计方法(参见“Fitting parameterized three-dimensional model to images”，IEEETransactions on Pattern Analysis and Machine Intelligence，13，5(May 1991)，pp.441-450)。

第二位置姿势估计单元204使用由于浓度梯度的变化而生成的边缘作为即使测量物体150的表面上不存在特定纹理也能够检测到的几何特征。该边缘相对于照明变化具有鲁棒性，但其对应关系不确定。因此，使用实际观察到的边缘和利用估计模型形状所用的位置姿势参数进行投影变换得到的摄像画面上的坐标值之间的最近邻对应关系，来更新位置姿势，以使得该画面上的误差变小。第二位置姿势估计单元204使用灰度图像和测量物体150的模型，但不使用距离图像。

如果不存在异常，则第一位置姿势估计单元203在位置姿势估计处理中的估计值与第二位置姿势估计单元204在位置姿势估计处理中的估计值应当相同。如果对这两个值进行比较，并且这两个值之间存在差异，则异常检测单元156检测到异常。第一位置姿势估计单元203使用利用与图案光照明单元151和摄像单元152相关联的参数计算出的距离值的信息。另一方面，第二位置姿势估计单元204使用利用与摄像单元152相关联的参数计算出的模型投影位置的信息。如上所述，第一位置姿势估计单元203和第二位置姿势估计单元204以不同的方式使用距离图像测量处理中的信息。因此，如果第一位置姿势估计单元203的位置姿势估计结果不同于第二位置姿势估计单元204的位置姿势估计结果，则可以判断为某些参数彼此不同。

对于位置姿势参数，可以使用相对于特定坐标系的x、y和z轴的位置信息作为与位置相关联的参数。作为与转动相关联的参数，可以通过与转动相关联的三个成分来表示姿势。异常检测单元156计算参数的内积。异常检测单元156可以使用如下事实：如果参数彼此严格一致，则内积为范数的平方。由于要求的测量精度通常依赖于测量物体或测量环境，因而假定预先给出适当的精度范围。基于精度范围来确定参数的内积值的容许范围。当内积超出容许范围时，判断为第一位置姿势估计单元203的位置姿势估计值与第二位置姿势估计单元204的位置姿势估计值之间存在的差异大于阈值，从而检测到异常状态。

在本实施例中，使用内积作为用于比较参数的方法。可以使用各参数成分的差的绝对值或者平方值的总和或加权总和。在这种情况下，如果该总和大于阈值，则检测到异常状态。实际上，例如当测量物体150的移动被限制为平面上的移动时，或者当测量物体150的移动被限制为轴向转动时，可以限制要比较的参数。使用适合于测量环境的任意比较方法。

异常判断结果存储单元206存储异常检测结果。实际上，异常检测单元156设置表示值是否等于或小于阈值的标志。异常判断结果存储单元206还可以存储比较对象值。这些信息可以用作后续处理所使用的信息数据。

异常判断结果存储单元206存储表示图案光照明单元151和摄像单元152处在与校准后的状态不同的状态中的信息。当然，作为非异常状态，异常判断结果存储单元206可以存储这些单元处于正常状态。通过经由显示单元103通知已判断出异常状态这一结果，用户可以基于该结果开始采取措施。作为通知方法，可以使警告灯闪烁，或者使警报鸣响。此外，可以使用网络通知通信终端设备的用户。

将参考图3说明示出使用上述各处理单元的实际处理序列的流程图。

在步骤S301中，图案光照明单元151利用图案光照射测量物体150。在步骤S302中，摄像单元152拍摄从测量物体150反射的光。在步骤S303中，距离图像存储单元200对测量物体150执行距离图像获得处理。

在步骤S305中，摄像单元152拍摄测量物体150的灰度图像。在步骤S306中，灰度图像存储单元201对测量物体150进行灰度图像获得处理。在步骤S304中，第一位置姿势估计单元203基于步骤S303中所获得的距离图像和测量物体形状存储单元202中所存储的测量物体150的形状信息来估计第一位置姿势(第一估计值)。在步骤S307中，第二位置姿势估计单元204基于步骤S306中所获得的灰度图像和测量物体形状存储单元202中所存储的测量物体150的形状信息来估计第二位置姿势(第二估计值)。在步骤S308中，异常检测单元156将第一位置姿势值与第二位置姿势值进行比较以检测是否存在异常。更具体地，如上所述，计算值之间的内积值以判断该内积值是否在容许范围内。如果内积值不在容许范围内(步骤S308中为“否”)，则判断为存在异常，并且在步骤S309中向用户通知该异常；否则(在步骤S308中判断为“是”)，判断为不存在异常，并且处理结束。注意，可以向用户通知正常状态。然后，处理结束。

根据本实施例，可以通过根据距离图像的图像信息和灰度图像的图像信息、利用对象物体的模型、基于由两次位置姿势估计处理所获得的估计值来检测异常，从而在不需要检查用的其它指标物和其它设备的情况下将校准之后的变化检测为异常。

第二实施例

可以通过在距离图像测量设备等中使用根据上述实施例的异常检测方法、然后使该设备能够利用异常检测结果作为驱动单元的控制信息，来避免测量不良所引起的失败。本发明的其它实施例对以下系统也是有用的：该系统使用机器手作为驱动单元，并且包括具有实现根据上述实施例的异常检测方法的装置的对象物体位置姿势测量设备。在安装在机器手单元的对象物体位置姿势测量设备中，由于马达的振动或者与其它部件的接触，可能发生照明单元和摄像单元的偏移。通过使用根据本发明的异常检测方法，可以在不使用检查用的其它指标物和其它设备的情况下检测到照明单元和摄像单元在校准后的变化。为了检测异常，重复检查图2中的异常检测单元156所检测到的各状态，并且如果检测到异常状态，则使设备停止。使设备停止避免了由于之后的测量不良所导致的失败。如果将校准处理登记为序列，则可以调用该序列以进行校准处理。这样可以减少校准用的工作负荷，从而提高系统的便利性。

根据本发明，可以通过根据距离图像的信息和灰度图像的信息、利用对象物体的模型、基于由两次位置姿势估计处理所获得的估计值之差来检测异常，从而在不需要检查用的其它指标物和其它设备的情况下将摄像设备的拍摄条件在校准之后的变化检测为异常。

尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims (5)

1.一种位置姿势测量设备，包括：

距离信息获得单元，用于获得摄像单元所拍摄的对象物体的距离信息；

灰度图像获得单元，用于获得所述摄像单元所拍摄的所述对象物体的灰度图像；

第一位置姿势估计单元，用于基于所述距离信息和所述对象物体的三维形状模型的信息，来估计表示所述对象物体的位置和姿势的第一估计值；

第二位置姿势估计单元，用于基于所述灰度图像的几何特征和与所述对象物体的三维形状模型的外观相关联的几何特征之间的对应关系，来估计表示所述对象物体的位置和姿势的第二估计值；以及

判断单元，用于基于所述第一位置姿势估计单元估计出的所述第一估计值和所述第二位置姿势估计单元估计出的所述第二估计值这两者，来判断是否需要校准获得所述距离信息时所使用的参数。

2.根据权利要求1所述的位置姿势测量设备，其特征在于，还包括通知单元，所述通知单元用于如果所述判断单元判断为需要校准获得所述距离信息时所使用的参数，则通知需要校准获得所述距离信息时所使用的参数。

3.根据权利要求1所述的位置姿势测量设备，其特征在于，

所述判断单元计算所述第一估计值和所述第二估计值之间的内积值，并且如果所述内积值不在容许范围内，则判断为需要校准获得所述距离信息时所使用的参数。

4.一种位置姿势测量方法，包括以下步骤：

距离信息获得步骤，用于获得摄像单元所拍摄的对象物体的距离信息；

灰度图像获得步骤，用于获得所述摄像单元所拍摄的所述对象物体的灰度图像；

第一位置姿势估计步骤，用于基于所述距离信息和所述对象物体的三维形状模型的信息，来估计表示所述对象物体的位置和姿势的第一估计值；

第二位置姿势估计步骤，用于基于所述灰度图像的几何特征和与所述对象物体的三维形状模型的外观相关联的几何特征之间的对应关系，来估计表示所述对象物体的位置和姿势的第二估计值；以及

判断步骤，用于基于所述第一位置姿势估计步骤中估计出的所述第一估计值和所述第二位置姿势估计步骤中估计出的所述第二估计值这两者，来判断是否需要校准获得所述距离信息时所使用的参数。

5.根据权利要求4所述的位置姿势测量方法，其特征在于，

所述判断步骤包括：计算所述第一估计值和所述第二估计值之间的内积值，并且如果所述内积值不在容许范围内，则判断为需要校准获得所述距离信息时所使用的参数。

Images