CN103302666B - 信息处理设备和信息处理方法 - Google Patents

Abstract

本发明涉及一种信息处理设备和信息处理方法。在第一计算中，基于第一传感器获得的第一测量数据来获得对象物体的位置姿势。在第二计算中，基于被设置成与第一传感器的位置姿势不同的位置姿势的可动式第二传感器所获得的第二测量数据来获得对象物体的位置姿势。在第一计算所获得的位置姿势和第二计算所获得的位置姿势彼此匹配的情况下，输出第一计算或第二计算所获得的位置姿势或者根据第一计算获得的位置姿势和第二计算获得的位置姿势所计算出的位置姿势，作为对象物体的位置姿势。

Description

信息处理设备和信息处理方法

技术领域

本发明涉及一种信息处理设备和信息处理方法。

背景技术

伴随着近来机器人技术的发展，机器人逐渐替代人类来进行诸如工业产品的组装等的原本人类所进行的复杂任务。机器人使用诸如手部等的端部受动器(endeffector)来拾取零件并且组装这些零件。传统上，使用用于逐一顺次供给零件的被称为零件进给器的设备、或者通过将多个零件以各种姿势堆放在托盘(箱)上来供给要拾取的零件。在使用零件进给器的情况下，各零件以预定位置姿势被供给，并且机器人相对容易地拾取该零件。然而，准备零件进给器需要花费附加成本。在一些情况下，根据零件的形状而需要准备不同的零件进给器。作为对比，对零件的堆放和供给可以避免成本增加，这是因为这些零件仅放置在托盘中。跟随近来朝向多品种小批量生产的趋势，能够快速地应对各种零件的堆放供给不断受到关注。

在日本特许第04226623号(以下称为专利文献1)所公开的传统技术中，首先，安装在托盘上方的照相机整体拍摄多个对象物体，并且获得这些对象物体的所拍摄图像中的二维位置。然后，使安装在机器人的手部上的传感器移动至一个对象物体附近的上方的位置。该传感器测量该对象物体的位置姿势，并且机器人手部把持该对象物体。利用拍摄全景的照相机与尽管测量范围窄但能够以高精度检测位置姿势的传感器的组合来分阶段地测量对象物体。在位置姿势测量失败或者机器人手部所进行的对象物体的把持失败的情况下，该对象物体从下一次的检测对象中被排除，并且再次执行位置姿势测量。可以通过从检测对象中排除测量时极有可能失败的对象物体来使该处理高效化。

在专利文献1所公开的方法中，在位置姿势测量失败或者机器人手部所进行的对象物体的把持失败的情况下，该对象物体从下一次的检测对象中被排除，并且再次执行位置姿势测量。此时，位置姿势测量的失败被分类成两种。第一种失败是在无法检测到对象物体并且无法输出位置姿势测量结果的情况下发生的。第二种失败是在错误地获得了与对象物体的位置姿势不同的位置姿势并且将该位置姿势作为测量结果输出的情况下发生的。这两种情况被视为无法测量对象物体的位置姿势这种意义上的失败。然而，专利文献1仅描述了前者的失败，但没有涉及后者的失败。因此，在专利文献1中发生后者的失败的情况下，没有判断为位置姿势测量已失败，并且在对象物体以错误的位置姿势存在的假设下，机器人手部尝试把持该对象物体。实际上，对象物体以与该测量结果不同的位置姿势放置，因而利用机器人手部的把持将会失败。此时，发生包括把持和把持失败检测的不必要处理并且导致效率下降。

发明内容

本发明是考虑到上述问题而作出的，并且提供一种用于以较高精度获得对象物体的位置姿势的技术。

根据本发明的第一方面，提供一种信息处理设备，包括：第一计算单元，用于基于从处于第一位置姿势的传感器所获得的第一测量数据来计算对象物体的第一计算位置姿势；第二计算单元，用于基于从处于与所述第一位置姿势不同的第二位置姿势的传感器所获得的第二测量数据来计算所述对象物体的第二计算位置姿势；判断单元，用于判断所述第一计算单元所计算出的所述第一计算位置姿势和所述第二计算单元所计算出的所述第二计算位置姿势是否匹配；以及输出单元，用于在所述判断单元判断为所述第一计算位置姿势和所述第二计算位置姿势匹配的情况下，输出基于所述第一计算位置姿势和所述第二计算位置姿势至少之一的所述对象物体的位置姿势。

根据本发明的第二方面，提供一种信息处理设备要进行的信息处理方法，包括以下步骤：第一计算步骤，用于基于通过处于第一位置姿势的传感器所获得的第一测量数据来计算对象物体的第一计算位置姿势；第二计算步骤，用于基于通过处于与所述第一位置姿势不同的第二位置姿势的传感器所获得的第二测量数据来计算所述对象物体的第二计算位置姿势；判断步骤，用于判断所述第一计算步骤中所计算出的所述第一计算位置姿势和所述第二计算步骤中所计算出的所述第二计算位置姿势是否匹配；以及输出步骤，用于在判断为所述第一计算位置姿势和所述第二计算位置姿势匹配的情况下，输出基于所述第一计算位置姿势和所述第二计算位置姿势至少之一的位置姿势作为所述对象物体的位置姿势。

通过以下参考附图对实施例的说明，本发明的其它特征将变得明显。

附图说明

图1是示出系统的结构的图；

图2A～2F是用于说明三维几何模型的图；

图3是示出CAD(计算机辅助设计)模型和包围CAD模型的测地线球体的图；

图4是示出系统的操作的流程图；

图5A和5B是用于说明边缘检测的图；以及

图6是用于说明线段的投影图像和检测边缘之间的关系的图。

具体实施方式

现在将参考附图来说明本发明的实施例。注意，以下要说明的实施例是具体实践本发明的示例，并且是落在权利要求书的范围内的结构的具体示例。

第一实施例

在第一实施例中，使用第一传感器和第二传感器来测量对象物体的三维位置姿势，其中该第一传感器用于获取(测量)对象物体的二维或三维信息，以及该第二传感器安装在机器人上并且用于获取(测量)对象物体的二维或三维信息。此时，判断各传感器的测量结果之间是否存在匹配性。在判断为这些测量结果彼此匹配的情况下，判断为这些测量结果正确，并且机器人通过使用这些测量结果来对对象物体进行作业。在判断为这些测量结果彼此不匹配的情况下，使机器人手部的位置移动以再次进行测量。因此，在使用第二传感器的测量的结果不同于对象物体的实际位置姿势的情况下，可以防止机器人基于错误的测量结果进行作业。由于没有发生包括把持和把持失败检测的不必要操作，因此使机器人所进行的作业高效化。

首先，将参考图1来说明根据第一实施例的系统的结构。

机器人100是多关节型机器人并且响应于来自机器人控制器单元120的控制指示而进行动作。用作端部受动器的手部安装在机器人100的前端并且可以对对象物体进行作业。在本实施例中，作为该端部受动器，使用具有能够把持对象物体的夹具机构的手部。该端部受动器可以使用马达驱动手部或者用于利用空气压力吸附对象物体的吸垫。

假定预先利用众所周知的技术对传感器单元101的位置姿势、机器人100和手部的位置和轨迹以及机器人100的臂部和传感器单元102之间的相对位置姿势进行了校准作业。这使得可以将后面要说明的三维位置姿势测量单元113和116测量出的位置姿势转换成固定于安装有托盘104的空间内的作业空间坐标系中的位置姿势。还可以对机器人100进行控制以使手部移动至在该作业空间坐标系中指定的位置姿势。

传感器单元101是用于拍摄作为二维信息的二维图像的照相机。传感器单元101以第一位置姿势固定在托盘104的上方，拍摄所堆放的对象物体103的图像，并将所拍摄图像输出至传感器信息获取单元111。在本实施例中，尽管图像处理单元110对传感器单元101所拍摄到的图像进行处理，但传感器单元101可以包含图像处理机构以输出图像处理结果。在利用传感器单元101拍摄对象物体103的情况下，照明器(未示出)利用照明光对对象物体103照明。该照明器配置在传感器单元101周围，以使得传感器单元101可以在均匀照明环境下拍摄对象物体103的二维图像。

传感器单元102包括紧凑型投影器和用于拍摄二维图像的紧凑型照相机。传感器单元102固定在机器人100的手部附近，并且通过对机器人100的各关节的角度进行控制，以位置姿势能够控制(能够改变)的方式来测量端部受动器附近的物体。假定预先通过校准获得了传感器单元102的投影器和照相机之间的相对位置关系。在本实施例中，尽管图像处理单元110对传感器单元102拍摄到的图像进行处理，但传感器单元102可以包含图像处理机构以输出图像处理结果。

传感器单元102的投影器利用预定的图案图像(图案光)照射对象物体103(对图案图像进行投影)。传感器单元102的照相机拍摄投影有图案图像的对象物体103，并将所拍摄图像输出至传感器信息获取单元115。作为预定的图案图像，使用了采用空间编码法的诸如具有不同宽度的多个条纹图案或多个线图案等的图像。还可利用二维图案或随机点图案。传感器单元102可以包括衍射光栅、照明器和照相机。在这种情况下，衍射光栅和照明器将图案光投影到对象物体上并且照相机拍摄该图案。三维位置姿势测量单元116经由传感器信息获取单元115使用所拍摄图像以基于三角测量原理来获得距离。

对象物体103是构成工业产品的零件。机器人100拾取对象物体103并将这些对象物体组装成产品。对于这些对象物体，可以使用包括塑料、金属和乙烯基的各种材料。对象物体103以各种姿势堆放在托盘104中。

托盘104是用于容纳对象物体103的箱。尽管没有限制托盘的材料，但托盘通常由塑料或纸制成。此外，没有限制托盘的形状，但为了便于制造，该形状通常为立方体或长方体。此外，没有限制托盘的大小，但通常确定该大小以使得该大小落在传感器单元101能够测量的范围内。

接着，将说明用作信息处理设备的图像处理单元110。

传感器信息获取单元111获取传感器单元101已获得的对象物体103的所拍摄图像，并将获取到的所拍摄图像输出至三维位置姿势测量单元113。

模型信息保持单元112对三维位置姿势测量单元113和116测量对象物体103的位置姿势所使用的模型信息进行保持。该模型信息的示例是基于三维CAD的对象物体103的三维几何模型。该模型信息的另一示例是作为参考图像的集合的参考图像模型，其中这些参考图像是在从多个预定视点观看实际对象物体103或模拟对象物体103的三维几何模型时所获得的。

三维几何模型是利用三维CAD软件可以处理的CAD模型本身、或者通过将三维CAD模型转换成计算机图形学领域中使用的多个多边形元素所获得的模型。本实施例采用由多边形元素构成的三维几何模型。将参考图2A～2F来说明由多边形元素构成的三维几何模型。

由多边形元素构成的三维几何模型包括诸如2A～2F所示的点、线和面等的构成组件。图2A～2C示出相同的三维几何模型。

针对图2A所例示的三维几何模型的各顶点，如图2D所示，由多边形元素构成的三维几何模型的模型信息对该顶点的索引和该顶点的三维坐标值进行管理。

针对图2B所例示的三维几何模型的各边，如图2E所示，模型信息对该边的索引和该边的两端处的顶点的索引进行管理。

针对图2C所例示的三维几何模型的各面(多边形)，如图2F所示，模型信息对该多边形的索引、该多边形的各边的索引和该多边形的法线矢量进行管理。

参考图像模型是包括多个二维图像的数据。根据通过使用对象物体103作为中心利用照相机从各个方向拍摄到的图像来创建基于实际拍摄图像的参考图像模型。可以通过设置摄像所用的支架来配置多个照相机，用户可以握持照相机以拍摄图像，或者安装在机器人上的照相机可以在该机器人移动的同时拍摄图像。尽管可以利用任何方法来拍摄图像，但获得摄像时照相机和对象物体103之间的相对位置姿势并且将该相对位置姿势与所拍摄图像相关联地存储。在支架上配置多个照相机的情况下，可以根据该支架的形状来获得相对位置姿势。在用户握持照相机的情况下，可以通过在该照相机上安装位置姿势传感器来从该位置姿势传感器获得相对位置姿势。在安装在机器人上的照相机拍摄图像的情况下，可以使用机器人的控制信息来获得相对位置姿势。

关于基于模拟对象物体103的三维几何模型的参考图像模型，设置各顶点相对于CAD模型的中心具有相同距离的测地线球体，并且使用从该测地线球体的各顶点向着CAD模型的中心观看到的图像。测地线球体具有多个顶点，并且相邻顶点之间的距离相等。将给定顶点设置为基准位置，并且基于与其它顶点的相对关系来获得对CAD模型进行观看的方向并将该方向连同图像一起存储。图3示出CAD模型和包围该CAD模型的测地线球体。将通过从测地线球体的各顶点观看中心所获得的图像的集合定义为参考图像模型。

在已知对象物体103仅为一种类型的情况下，仅将这种类型的模型信息存储在模型信息保持单元112中。在应对多种类型的对象物体的情况下，将多种类型的模型信息存储在模型信息保持单元112中并且在使用时进行切换。

三维位置姿势测量单元113通过使用从传感器信息获取单元111输出的对象物体103的所拍摄图像和模型信息保持单元112所保持的模型信息来获得对象物体103的位置姿势。然后，三维位置姿势测量单元113将所获得的位置姿势输出至传感器位置姿势确定单元114和位置姿势匹配判断单元117。

在使用三维几何模型作为模型信息的情况下，通过将用作该三维几何模型的边的线与在从传感器信息获取单元111输出的所拍摄图像中所提取出的边缘成分相关联，来获得对象物体103的位置姿势。在本实施例中，在所拍摄图像中，通过迭代运算来重复校正三维几何模型的粗略位置姿势，以使得对象物体103的边与三维几何模型中对应于该边的部分一致。获得该校正结果作为对象物体103的位置姿势。

在使用参考图像模型作为模型信息的情况下，通过使用该参考图像模型作为模板进行模板匹配来获得与所拍摄图像最匹配的参考图像，并且基于与所获得的参考图像相关联的相对位置姿势来获得对象物体103的位置姿势。

基于三维位置姿势测量单元113所获得的对象物体103的位置姿势，传感器位置姿势确定单元114获得用于利用第二传感器单元102测量对象物体103的第二位置姿势。然后，传感器位置姿势确定单元114将所获得的第二位置姿势输出至机器人作业指示单元121。后面将说明获得第二位置姿势的方法。

传感器信息获取单元115获取传感器单元102已获得的对象物体103的所拍摄图像，并将获取到的所拍摄图像输出至三维位置姿势测量单元116。

三维位置姿势测量单元116通过使用从传感器信息获取单元115输出的所拍摄图像和模型信息保持单元112所保持的模型信息来获得对象物体103的详细位置姿势。三维位置姿势测量单元116将所获得的位置姿势输出至位置姿势匹配判断单元117。

在使用三维几何模型作为模型信息的情况下，通过将从该三维几何模型提取出的表面的点群数据与在从传感器信息获取单元115输出的所拍摄图像中所提取出的距离点群相关联来获得对象物体103的位置姿势。通过使用诸如空间编码法或光切法等的已知技术，可以从投影有图案图像的对象物体103的所拍摄图像获得该距离点群。为了通过使用所获得的距离点群和模型信息来获得对象物体103的位置姿势，本实施例采用ICP(迭代最近点)法。通过迭代运算来重复校正对象物体103的位置姿势。注意，获得对象物体103的位置姿势的方法不限于ICP法。

在使用参考图像模型作为模型信息的情况下，通过使用参考图像模型作为模板进行模板匹配来获得与所拍摄图像最匹配的参考图像，并且基于与该参考图像相关联的相对位置姿势来获得对象物体103的位置姿势。

位置姿势匹配判断单元117判断从三维位置姿势测量单元113输出的位置姿势和从三维位置姿势测量单元116输出的位置姿势彼此是否匹配。然后，位置姿势匹配判断单元117将判断结果发送至机器人作业指示单元121。更具体地，在位置姿势匹配判断单元117判断为这些位置姿势彼此匹配的情况下，该位置姿势匹配判断单元117将表示该匹配的信息和三维位置姿势测量单元116所获得的位置姿势作为判断结果发送至机器人作业指示单元121。可选地，位置姿势匹配判断单元117可以将表示该匹配的信息、三维位置姿势测量单元113所获得的位置姿势和三维位置姿势测量单元116所获得的位置姿势作为判断结果发送至机器人作业指示单元121。在位置姿势匹配判断单元117判断为这些位置姿势彼此不匹配的情况下，该位置姿势匹配判断单元117将表示该不匹配的信息作为判断结果发送至机器人作业指示单元121。后面将说明位置姿势匹配判断单元117所进行的判断处理。

接着，将说明机器人控制器单元120。

机器人作业指示单元121生成用于使手部移动的指示信号。例如，在机器人作业指示单元121从传感器位置姿势确定单元114接收到第二位置姿势的情况下，该机器人作业指示单元121生成用以使手部移动至第二位置姿势(移动目的地)的指示信号。在机器人作业指示单元121接收到从位置姿势匹配判断单元117输出的位置姿势的情况下，该机器人作业指示单元121生成用以使手部移动至如下位置姿势并且把持或吸附对象物体103的指示信号，其中采用该位置姿势，手部可以把持或吸附处于该位置姿势的对象物体103。在机器人作业指示单元121从位置姿势匹配判断单元117接收到表示不匹配的信息的情况下，该机器人作业指示单元121生成用以使手部移动至与当前的位置姿势不同的位置姿势的指示信号。

注意，机器人作业操作不限于移动、把持和吸附，并且当然还包括诸如对象物体103的外观检查等的其它作业操作。此外，机器人不限于多关节型机器人，并且可以是能够进行NC控制的可动式机器。

在从机器人作业指示单元121接收到指示信号时，机器人控制单元122根据该指示信号来控制机器人100的操作。因此，机器人100的手部的位置姿势可以根据该指示信号而移动。

将参考图4的流程图来说明根据第一实施例的系统的操作。

在步骤S401中，以第一位置姿势固定在托盘104上方的传感器单元101拍摄对象物体103的图像，并将所拍摄图像输出至传感器信息获取单元111。假定预先通过校准获得了传感器单元101的位置姿势。传感器信息获取单元111将从传感器单元101接收到的对象物体103的所拍摄图像发送至三维位置姿势测量单元113。

在步骤S402中，三维位置姿势测量单元113测量从传感器信息获取单元111接收到的所拍摄图像中的多个对象物体103的至少一个对象物体103′的位置姿势。为了获得对象物体103′的位置姿势，模型信息保持单元112输出其内部所保持的模型信息，并且三维位置姿势测量单元113进行对象物体103的图像和模型信息之间的匹配。

在使用三维几何模型作为模型信息的情况下，通过将用作对象物体103′的三维几何模型的边的线与在从传感器信息获取单元111输出的所拍摄图像中提取出的边缘成分相关联来获得对象物体103′的位置姿势。在本实施例中，通过使用作为一种非线性最优化方法的Gauss-Newton法进行迭代运算来重复校正要测量的对象物体的粗略位置姿势(由六维矢量s来表示)，因而三维几何模型适合所拍摄图像。注意，用于获得对象物体的位置姿势的最优化方法不限于Gauss-Newton法。

图5A和5B是用于说明边缘检测的图。使用通过一些方法(例如，模板匹配)所获得的对象物体的粗略位置姿势以及校准后的传感器单元101的内部参数来计算构成三维几何模型的各线段在图像上的投影图像。线段的投影图像即使在图像上也是线段。然后，在该图像上，按规则间隔在投影后的线段501上设置控制点502。对于各控制点502，在投影后的线段501的法线方向503上检测一维边缘504(图5A)。由于边缘被检测为像素值的浓度梯度505的局部最大值，因此如图5B所示，可以检测到多个边缘506。在本实施例中，保持了检测到的所有边缘。

为了通过将用作三维几何模型的边的线段与从传感器信息获取单元111输出的所拍摄图像的边缘成分相关联来获得对象物体的位置姿势，对用于计算该位置姿势的系数矩阵以及误差矢量进行计算。系数矩阵的各元素是在将图像上的点和直线之间的距离设置为位置姿势的函数时、与位置姿势的各元素相关联的一阶偏微分系数。对于边缘，误差矢量是图像上投影线段和检测边缘之间的带符号的距离。以下将说明系数矩阵的推导。

图6是用于说明线段的投影图像和检测边缘之间的关系的图。参考图6，u轴601表示图像的水平方向，并且v轴602表示图像的垂直方向。(u₀,v₀)表示给定控制点603(在图像上按规则间隔对各投影线段进行分割的点的其中一个)在图像上的坐标604。相对于u轴601的斜率θ605表示该控制点所属于的线段在图像上的斜率。计算出斜率θ605，从而作为通过基于六维矢量s将线段606的两端的三维坐标投影到图像上并在该图像上连接两端的坐标所获得的直线的斜率。(sinθ,-cosθ)表示线段606在图像上的法线矢量。(u′,v′)表示与控制点603相对应的点607在图像上的坐标608。可以通过以下等式给出穿过相应点607的坐标608(u′,v′)并且具有斜率θ605的直线(图6的虚线)上的点(u,v)。

usinθ-vcosθ=d...(1)

d=u′sinθ-v′cosθ

控制点603在图像上的位置根据对象物体的位置姿势而改变。对象物体的位置姿势具有6个自由度。也就是说，s表示六维矢量，并且包括表示对象物体的位置的三个元素和表示其姿势的三个元素。表示姿势的三个元素例如由Euler角、或者方向表示穿过原点的转动轴并且范数表示转动角的三维矢量来表示。根据表达式(2)，可以通过坐标604(u₀,v₀)附近的一阶Taylor展开式来近似根据位置姿势而改变的点在图像上的坐标(u,v)。

$u\≈u_0+\underset{i=1}{\overset{6}{\mathrm{\Σ}}}\frac{\∂u}{{\∂s}_i}{\mathrm{\Δs}}_i,$ $v\≈v_0+\underset{i=1}{\overset{6}{\mathrm{\Σ}}}\frac{\∂v}{{\∂s}_i}{\mathrm{\Δs}}_i...\left(2\right)$

其中，Δs_i(i=1,2,...,6)是六维矢量s的各成分的极微小变化。

假定粗略位置姿势和实际位置姿势的差异不太大，则可以假定利用正确的六维矢量s所获得的控制点在图像上的位置存在于通过等式(1)所表示的直线上。将通过表达式(2)近似得到的u和v代入等式(1)得到等式(3)。

$\sin \mathrm{\θ}\underset{i=1}{\overset{6}{\mathrm{\Σ}}}\frac{\∂u}{{\∂s}_i}{\mathrm{\Δs}}_i-\cos \mathrm{\θ}\underset{i=1}{\overset{6}{\mathrm{\Σ}}}\frac{\∂v}{{\∂s}_i}{\mathrm{\Δs}}_i=d-r...\left(3\right)$

其中，r=u₀sinθ-v₀cosθ(常数)。

等式(3)适用于进行了关联的所有边缘。注意，等式(3)可以仅应用于一些边缘而不是所有边缘。由于等式(3)是六维矢量s的各成分的极微小变化Δs_i(i=1,2,...,6)的等式，因此如通过等式(4)所示，可以设置针对Δs_i的线性联立方程式。

这里，将等式(4)重写为等式(5)。

JΔs=E...(5)

为了计算线性联立方程式的系数矩阵J，计算偏微分系数。基于等式(5)，使用矩阵J的广义逆矩阵(J^T·J)^-1·J^T来基于最小二乘法标准获得位置姿势的校正值Δs。然而，由于检测误差等而存在针对边缘的许多离群值，因此采用以下要说明的鲁棒估计方法。对于作为离群值的边缘，等式(4)的右手侧上的误差矢量的值通常变大。据此，向误差的绝对值大的信息分配小的权重，并且向误差小的信息分配大的权重。通过如等式(6)所表示的Tukey函数来给出这些权重。

$w\left(z(d-r)\right)=\left\{\begin{array}{cc}{(1-{(z(d-r)/c_1)}^2)}^2& \left|z(d-r)\right|\≤c_1\\ 0& \left|z(d-r)\right|>c_1\end{array}\right....\left(6\right)$

$w\left(e-q\right)=\left\{\begin{array}{cc}{(1-{((e-q)/c_2)}^2)}^2& \left|e-q\right|\≤c_2\\ 0& \left|e-q\right|>c_2\end{array}\right.$

其中，c₁和c₂是常数。

用以给出权重的函数无需是Tukey函数，并且该函数是诸如Huber函数等的任意函数，只要该函数向误差大的信息分配小的权重并且向误差小的信息分配大的权重即可。设w_i是与各测量信息(边缘或点群数据)相对应的权重。然后，如通过等式(7)所示来定义权重矩阵W。

权重矩阵W是除了对角成分以外的所有成分均为0的方阵，并且将权重w_i代入这些对角成分。通过使用权重矩阵W，将等式(5)重写为等式(8)。

WJΔs=WE...(8)

如通过等式(9)所示，通过对等式(8)求解来获得校正值Δs。

Δs=(J^TWJ)^-1J^TWE...(9)

通过使用所计算出的位置姿势校正值Δs对以下表达式求解来校正粗略位置姿势。

s←s+Δs

判断六维矢量s是否已收敛。在六维矢量s已收敛的情况下，该计算结束；否则，重复该计算。在校正值Δs几乎为0、或者误差矢量的平方和在校正前后几乎没有改变的情况下，判断为六维矢量s已收敛。通过重复该计算直到六维矢量s收敛为止，可以计算出位置姿势。

本实施例已说明了使用Gauss-Newton法作为最优化方法。然而，可以使用用于使计算更加鲁棒的Levenberg-Marquardt法或者作为更为简单方法的最速下降法。此外，可以使用诸如共轭梯度法或ICCG法等的其它非线性最优化计算方法。

在使用参考图像模型作为模型信息的情况下，通过使用该参考图像模型作为模板进行模板匹配来获得与所拍摄图像最匹配的参考图像，并且基于与该参考图像相关联的相对位置姿势来获得对象物体的位置姿势。设T(i,j)是参考图像的亮度，并且I(i,j)是所拍摄图像的亮度。然后，在参考图像是具有m×n个像素的图像的情况下，可以根据等式(10)来获得参考图像和所拍摄图像之间的一致度R。

$R=\underset{j=0}{\overset{n-1}{\mathrm{\Σ}}}\underset{i=0}{\overset{m-1}{\mathrm{\Σ}}}{(I(i,j)-T(i,j))}^2...\left(10\right)$

三维位置姿势测量单元113将由此获得的对象物体103′的位置姿势输出至传感器位置姿势确定单元114和位置姿势匹配判断单元117。注意，将步骤S402中获得的对象物体103′的位置姿势保持在图像处理单元110的内部存储器(未示出)中，直到在步骤S407中判断为发生匹配为止。可选地，将步骤S402中获得的对象物体103′的位置姿势保持在图像处理单元110的内部存储器(未示出)中，直到例如在步骤S412中判断为机器人的手部的位置姿势已改变了n次为止，并且该处理返回至步骤S401。

在步骤S403中，基于步骤S402中获得的对象物体103′的位置姿势，传感器位置姿势确定单元114获得用作传感器单元102拍摄对象物体103′所采用的位置姿势的第二位置姿势。然后，传感器位置姿势确定单元114将所获得的第二位置姿势输出至机器人作业指示单元121。

由于在步骤S402中获得了至少一个对象物体103的位置姿势，因此为了便于说明，假定已获得了一个对象物体103′的位置姿势。无需说明，可以获得多个对象物体103的位置姿势，并且可以选择对象物体103的其中一个作为对象物体103′。

第二位置姿势是任意的，只要传感器单元102可以拍摄对象物体103′即可。然而，期望连接传感器单元101的照相机和对象物体103′的直线与传感器单元102的照相机的光轴之间的角度差变得等于或大于预定角度。由于传感器单元101和102拍摄相同的对象物体103′，因此期望来自传感器单元101的对象物体103′的外观和来自传感器单元102的对象物体103′的外观不同。通常在使用照相机的三维位置姿势测量中，深度方向上的测量精度低于朝向拍摄图像面的方向上的测量精度。例如，在传感器单元102在连接传感器单元101与对象物体103′的直线上拍摄对象物体103′的情况下，传感器单元101和102这两者从相同方向观看对象物体103′，并且无法补偿深度方向上的精度劣化。然而，通过改变角度并且从不同方向测量对象物体103′，传感器单元101和102可以补偿深度方向上的精度劣化。由于传感器单元101和102使用对象物体103′(尽管一部分)的不同特征来测量位置姿势，因此匹配判断的可靠性提高。

这样，传感器单元101和102从不同方向测量对象物体103′。更具体地，传感器单元102从如下位置拍摄对象物体103′，其中该位置存在于与穿过传感器单元101的照相机的位置和对象物体103′的位置的直线形成预定角度的直线上。这可以通过以下方法来实现。

首先，将传感器单元102的照相机所聚焦的相对于对象物体103′的距离范围内的如下位置姿势设置为第二位置姿势的候选位置姿势，其中所述位置姿势位于通过使用对象物体103′作为中心在相对于连接传感器单元101的照相机与对象物体103′的直线形成预定角度的直线上。然后，选择离传感器单元102的当前位置姿势最近的候选位置姿势作为第二位置姿势。选择该最近位置可以缩短使传感器单元102移动所需的时间，由此缩短了拾取零件所需的生产节拍时间(tacttime)。注意，利用照相机的最短摄像距离及其景深来确定照相机聚焦的距离范围。

在步骤S404中，机器人作业指示单元121生成用以使机器人100的手部移动至从传感器位置姿势确定单元114接收到的第二位置姿势的指示信号，并将所生成的指示信号发送至机器人控制单元122。根据该指示信号，机器人控制单元122控制机器人控制单元122以使手部移动至第二位置姿势。传感器单元102可以以第二位置姿势拍摄对象物体103′。

在步骤S405中，安装在机器人100上的传感器单元102以第二位置姿势拍摄对象物体103′，并将所拍摄图像输出至传感器信息获取单元115。传感器信息获取单元115将从传感器单元102获取到的所拍摄图像发送至三维位置姿势测量单元116。

在步骤S406中，三维位置姿势测量单元116根据从传感器信息获取单元115获取到的对象物体103′的所拍摄图像，以高精度获得对象物体103′的位置姿势。为了获得对象物体103′的位置姿势，模型信息保持单元112输出其内部所保持的模型信息，并且三维位置姿势测量单元116进行对象物体103′的所拍摄图像和模型信息之间的匹配。

在使用三维几何模型作为模型信息的情况下，通过使从三维几何模型所提取出的表面的点群与在从传感器信息获取单元115输出的所拍摄图像中所获得的距离图像点群相关联，来获得对象物体的位置姿势。通过以下来定义三维几何模型的表面点群P。

$P=\{p_1,p_2,...,P_{N_p}\}...\left(11\right)$

此外，通过以下来定义距离图像点群A。

$A=\{a_1,a_2,...,a_{N_a}\}...\left(12\right)$

将三维几何模型的表面点群P转换成与距离点群A对准。假定由b_i∈A来表示点群A中的相对于点群P的各点p_i的距离最短的点，则可以通过以下来定义误差函数(13)。

$E(R,t)=\underset{i=1}{\overset{N_p}{\mathrm{\Σ}}}{\left|\right|b_i-({\mathrm{Rp}}_i+t)\left|\right|}^2...\left(13\right)$

其中，R是姿势参数，并且t是运动矢量。

获得使误差函数E减小的R和t以根据表达式(14)进行校正。

P←RP+t...(14)

K.S.Arun、T.S.Huang和S.D.Blostein,“Least-SquaresFittingofTwo3-DPointSets”,PAMI,Vol.9,No.5,1987中描述了用于获得使误差函数E减小的R和T的方法。

判断P是否已收敛。在P已收敛的情况下，校正计算结束；否则，重复地进行校正计算。例如，在P几乎没有改变的情况下，判断为P已收敛。可以通过重复校正计算直到P收敛为止来计算位置姿势。

在使用参考图像模型作为模型信息的情况下，通过使用该参考图像模型作为模板进行模板匹配来获得与所拍摄图像最匹配的参考图像，并且基于与该参考图像相关联的相对位置姿势来获得对象物体的位置姿势。设T(i,j)是参考图像的距离值，并且I(i,j)是从所拍摄图像获得的距离图像的距离值。然后，在参考图像是具有m×n个像素的图像的情况下，可以根据等式(15)来获得参考图像和所拍摄图像之间的一致度R。

$R=\underset{j=0}{\overset{n-1}{\mathrm{\Σ}}}\underset{i=0}{\overset{m-1}{\mathrm{\Σ}}}{(I(i,j)-T(i,j))}^2...\left(15\right)$

在获得对象物体103′的位置姿势时，三维位置姿势测量单元116将所获得的位置姿势输出至位置姿势匹配判断单元117。

在步骤S407中，位置姿势匹配判断单元117判断从三维位置姿势测量单元113输出的对象物体103′的位置姿势与从三维位置姿势测量单元116输出的对象物体103′的位置姿势之间的匹配性。该匹配性是基于这些三维位置姿势之间是否存在差异来判断的。在位置姿势差异小于预定量的情况下，位置姿势匹配判断单元117判断为这些位置姿势彼此匹配。在位置姿势差异等于或大于预定量的情况下，位置姿势匹配判断单元117判断为这些位置姿势彼此不匹配。

将说明传感器单元101进行一次测量并且传感器单元102也进行一次测量的情况。设s是从三维位置姿势测量单元113输出的对象物体103′的位置姿势，p是从三维位置姿势测量单元116输出的对象物体103′的位置姿势，并且T是用于将s转换成p的齐次变换矩阵。

$s=\left(\begin{array}{cccc}{s}_{11}& s_{12}& s_{13}& s_{14}\\ s_{21}& s_{22}& s_{23}& s_{24}\\ s_{31}& s_{32}& s_{33}& s_{34}\\ s_{41}& s_{42}& s_{43}& s_{44}\end{array}\right)...\left(16\right)$

$p=\left(\begin{array}{cccc}{p}_{11}& p_{12}& p_{13}& p_{14}\\ p_{21}& p_{22}& p_{23}& p_{24}\\ p_{31}& p_{32}& p_{33}& p_{34}\\ p_{41}& p_{42}& p_{43}& p_{44}\end{array}\right)...\left(17\right)$

p=Ts...(18)

根据等式(16)～(18)，获得了T的平移成分x、y和z以及姿势转换成分θx、θy和θz。在所有这些值均小于预定阈值的情况下，判断为位置姿势s和位置姿势p几乎没有彼此不同，因而彼此匹配。然而，在一些值等于或大于预定阈值的情况下，判断为位置姿势s和位置姿势p彼此不匹配。

在位置姿势匹配判断单元117判断为这些位置姿势彼此匹配的情况下，该位置姿势匹配判断单元117将表示该匹配的信息以及从三维位置姿势测量单元116接收到的位置姿势发送至机器人作业指示单元121。代替从三维位置姿势测量单元116接收到的位置姿势，可以输出从三维位置姿势测量单元113接收到的位置姿势。可选地，可以输出从三维位置姿势测量单元113接收到的位置姿势与从三维位置姿势测量单元116接收到的位置姿势的平均位置姿势。该平均位置姿势可以是通过将各位置姿势乘以权重值所获得的平均值。之后，该处理进入步骤S408。

在位置姿势匹配判断单元117判断为这些位置姿势彼此不匹配的情况下，该位置姿势匹配判断单元117将表示该不匹配的信息发送至机器人作业指示单元121。然后，该处理进入步骤S411。

接着，将说明传感器单元101进行一次测量并且传感器单元102进行两次以上测量的情况。传感器单元102进行两次以上测量，这是因为：在步骤S407中判断为发生不匹配的情况下，该处理进入步骤S411以改变机器人手部的位置姿势并且在步骤S405和S406中再次测量对象物体103′。设s是从三维位置姿势测量单元113输出的对象物体103′的位置姿势，并且p(1)、p(2)、...、p(i)是从三维位置姿势测量单元116输出的对象物体103′的(第1个、第2个、...、第i个)位置姿势。假定传感器单元102进行i次测量。

基于(s,p(1)),(s,p(2)),...,(s,p(i))中的至少一个是否展现出匹配来判断匹配性。判断(s,p(k))(k=1,...,i)之间的匹配性的方法与在传感器单元101进行一次测量并且传感器单元102进行一次测量的情况下使用的方法相同。也就是说，基于齐次变换矩阵T中的所有平移成分和位置姿势成分是否均小于预定阈值来判断匹配性。

在位置姿势匹配判断单元117判断为这些位置姿势彼此匹配的情况下，该位置姿势匹配判断单元117将表示该匹配的信息以及位置姿势(s,p(1)),...,(s,p(i))中的相匹配的一个位置姿势或者这些位置姿势的平均值发送至机器人作业指示单元121。之后，该处理进入步骤S408。

可以判断(s和p(1),p(2),...,p(i))中是否存在差异小于预定量的至少两对位置姿势。在存在位置姿势对的情况下，可以判断为这些位置姿势彼此匹配，并且可以将这些位置姿势的其中一个或平均值设置为对象物体的位置姿势。此外，在这种情况下，位置姿势匹配判断单元117将所获得的位置姿势发送至机器人作业指示单元121。在无法获得这样的一对位置姿势的情况下，位置姿势匹配判断单元117判断为位置姿势彼此不匹配。

在位置姿势匹配判断单元117判断为位置姿势彼此不匹配的情况下，该位置姿势匹配判断单元117将表示该不匹配的信息发送至机器人作业指示单元121。然后，该处理进入步骤S411。

在步骤S408中，在从位置姿势匹配判断单元117接收到表示匹配的信息时，机器人作业指示单元121基于该信息以及从位置姿势匹配判断单元117接收到的位置姿势，来生成用以使机器人100进行作业的指示信号。在机器人100包括用于把持对象物体103′的手部的情况下，机器人作业指示单元121指示把持具有该位置姿势的对象物体103′。在机器人100包括用于吸附对象物体103′的垫的情况下，机器人作业指示单元121指示吸附具有该位置姿势的对象物体103′。

在步骤S409中，机器人控制单元122控制机器人100以执行由步骤S408中生成的指示信号所表示的指示内容。在机器人100要把持对象物体103′的情况下，机器人控制单元122控制机器人100把持对象物体103′。在机器人100要吸附对象物体103′的情况下，机器人控制单元122控制机器人100以吸附对象物体103′。

在步骤S410中，图像处理单元110的控制单元(未示出)判断是否已从指示单元(未示出)等输入了结束指示。在判断为输入了结束指示的情况下，该处理结束。在没有输入结束指示的情况下，该处理返回至步骤S401。注意，用户可以在无需等待步骤S410中的结束判断的情况下，按下紧急停止按钮(未示出)以结束该序列并且停止所有的操作。该处理结束条件不限于特定条件。

在步骤S411中，在机器人作业指示单元121接收到表示不匹配的信息的情况下，该机器人作业指示单元121获得与机器人100的手部的当前位置姿势不同的新位置姿势。然后，机器人作业指示单元121生成用以使机器人100的手部移动至所获得的位置姿势的指示信号，并将所生成的指示信号发送至机器人控制单元122。通过根据该指示信号对机器人100进行控制，机器人控制单元122使手部移动至新位置姿势。因此，传感器单元102以该新位置姿势拍摄对象物体103′。

代替机器人作业指示单元121，传感器位置姿势确定单元114可以获得新位置姿势，并将所获得的位置姿势输出至机器人作业指示单元121以使机器人100的手部移动。

步骤S411的处理通过以下方法(1)～(3)的其中一个来实现。

(1)使传感器单元102在与由连接传感器单元101和对象物体103′的直线以及传感器单元102的照相机的光轴所形成的平面垂直的方向上以预定角度转动移动。通过使传感器单元102的光轴移动到该平面外，能够观察到传感器单元101和102无法观察到的对象物体103′的特征(例如，边缘)。结果，用于在下一次的匹配判断时进行判断的信息增加。

(2)对传感器单元102的位置姿势进行改变，以使由连接传感器单元101和对象物体103′的直线与传感器单元102的照相机的光轴所形成的角度保持恒定。在连接传感器单元101与对象物体103′的直线被视为中心轴的情况下，传感器单元102移动时照相机的光轴的轨迹绘制了形成锥形的侧表面的曲面(的至少一部分)。在这种情况下，当从托盘104观看时，传感器单元102的高度没有大幅改变。由于该原因，传感器单元102不会与托盘104和放置有托盘104的表面冲突。

(3)可以预先将适合进行测量的传感器单元102的位置姿势登记在三维几何模型或参考图像模型中。可以登记多个位置姿势，或者可以登记位置姿势的范围。在这种情况下，采用离传感器单元102的当前位置姿势最近的登记位置姿势作为新位置姿势。

传感器单元102可以通过使用对象物体103′作为中心、沿着由连接传感器单元101和对象物体103′的直线与传感器单元102的照相机的光轴所形成的平面进行转动移动。可选地，传感器单元102可以沿着传感器单元102的照相机的光轴以接近或远离对象物体103′的方式移动。作为代替，传感器单元102的位置姿势可以随机改变。

在步骤S412中，图像处理单元110的控制单元(未示出)判断步骤S411中计算出新位置姿势的(控制单元计数得到的)次数c(手部的位置姿势已改变的次数)是否达到了预定次数n。在判断为c达到n的情况下，该处理返回至步骤S401，以将除了对象物体103′的位置姿势以外的位置姿势设置为测量对象。在c没有达到n的情况下，该处理返回至步骤S405。

在实施例中，在步骤S401中再次拍摄对象物体之前，可以利用抖动单元(未示出)使托盘104抖动，从而改变对象物体103的堆放状态。还可以设置除步骤S402中获得了位置姿势的对象物体103′以外的对象物体，使该处理返回至步骤S405，并且利用传感器单元102进行测量。在该处理返回至步骤S401的情况下，将次数c重置为0。

如上所述，根据第一实施例，在使用传感器单元102的测量结果不同于对象物体的实际位置姿势的情况下，可以防止机器人基于错误的测量结果进行作业。由于并没有发生包括把持和把持失败检测的不必要处理，因此可以使机器人的作业高效化。

变形例

作为第一实施例的变形例，传感器单元101可以是用于获得与对象物体有关的三维信息的传感器。例如，传感器单元101可以是用于测量表示到对象物体的距离的距离数据的距离传感器。

此外，传感器单元102可以是用于获得与对象物体有关的三维信息的传感器。例如，传感器单元102可以是用于测量表示到对象物体的距离的距离数据的距离传感器。

在这种情况下，传感器信息获取单元111和115从传感器单元101和102获取距离数据，并将所获得的距离数据分别输出至三维位置姿势测量单元113和116。三维位置姿势测量单元113通过使从传感器信息获取单元111输出的距离数据与从模型信息保持单元112输出的三维几何模型的表面的点群数据相关联，来获得对象物体的位置姿势。三维位置姿势测量单元116通过使从传感器信息获取单元115输出的距离数据与从模型信息保持单元112输出的三维几何模型的表面的点群数据相关联，来获得对象物体的位置姿势。使用ICP(迭代最近点)法来利用距离数据和模型信息获得对象物体的位置姿势。通过迭代运算来重复校正对象物体的位置姿势。注意，用于获得对象物体的位置姿势的最优化方法不限于ICP法。

作为第一实施例的另一变形例，传感器单元101可以是用于获得与对象物体有关的二维信息(二维图像)和三维信息(距离数据)的传感器(照相机和距离传感器的组合)。传感器单元102也可以是用于获得与对象物体有关的二维信息(二维图像)和三维信息(距离数据)的传感器(照相机和距离传感器的组合)。用于同时解决二维图像与模型信息的相关联以及距离数据与模型信息的相关联的方法是众所周知的。例如，可应用日本特开2011-27623中所公开的方法。

作为第一实施例的又一变形例，传感器单元102的投影器可以利用均匀亮度光代替图案光来照射整个表面。通过利用均匀亮度光照射表面，该投影器可以用作一般的照明器。在这种情况下，传感器单元102的投影器利用均匀亮度光照射对象物体，并且传感器单元102的照相机获取二维信息(二维图像)并将该二维信息输出至传感器信息获取单元115。传感器单元102可以包括：照明器，用于利用均匀亮度光来照射对象物体；以及照相机，用于拍摄二维图像。传感器信息获取单元115获取该二维图像，并将该二维图像输出至三维位置姿势测量单元116。三维位置姿势测量单元116通过使用二维图像和从模型信息保持单元112输出的模型信息来测量对象物体的位置姿势。用于测量位置姿势的方法与第一实施例中三维位置姿势测量单元113所使用的方法(步骤S402)相同。

第二实施例

在第一实施例中，基于三维位置姿势差异来判断三维位置姿势测量单元113所获得的位置姿势与三维位置姿势测量单元116所获得的位置姿势之间的匹配性。在第二实施例中，基于从三维几何模型提取出的几何特征之间的关联误差来判断匹配性。

除了位置姿势匹配判断单元117的操作以外，根据第二实施例的系统的结构与第一实施例相同。因此，第二实施例与第一实施例的不同之处仅在于图4的流程图中的步骤S407。以下将仅说明与第一实施例的不同之处，并且将不重复针对与第一实施例相同的其余部分的说明。

在步骤S407中，位置姿势匹配判断单元117通过执行以下列出的(a)～(d)的其中一个来判断位置姿势之间的匹配性。尽管在(a)～(d)中使用边缘、点和面作为几何特征，但几何特征并不局限于此。

(a)通过边缘关联来获得误差的情况

基于三维位置姿势测量单元113所获得的对象物体103′的位置姿势和三维位置姿势测量单元116所获得的对象物体103′的位置姿势，将例如从传感器单元102的位置姿势观看时对象物体的三维几何模型投影到二维图像上。MA是基于三维位置姿势测量单元113所获得的对象物体103′的位置姿势的模型投影图像。MB是基于三维位置姿势测量单元116所获得的对象物体103′的位置姿势的模型投影图像。

在模型投影图像MA的边缘成分上设置多个控制点，并且在二维画面内与边缘垂直的方向上搜索模型投影图像MB的边缘成分。在检测到模型投影图像MB的相应点的情况下，获得从控制点到相应点的像素数(误差)。对于模型投影图像MA的多个控制点，搜索模型投影图像MB的相应点，并且获得从控制点到相应点的像素数(误差)的平均值。在平均值小于预定值的情况下，可以判断为误差小。因而，可以判断为三维位置姿势测量单元113所获得的对象物体103′的位置姿势和三维位置姿势测量单元116所获得的对象物体103′的位置姿势彼此匹配。在平均值等于或大于预定值的情况下，由于该误差大，因此可以判断为这些位置姿势彼此不匹配。

(b)通过点群关联来获得误差的情况

基于三维位置姿势测量单元113所获得的位置姿势和三维位置姿势测量单元116所获得的位置姿势，在固定于放置有托盘的空间内的作业空间坐标系中配置从三维几何模型提取出的表面的各点群数据。MA′是基于三维位置姿势测量单元113所获得的对象物体103′的位置姿势的点群。MB′是基于三维位置姿势测量单元116所获得的对象物体103′的位置姿势的点群模型。

获得从点群MA′的给定点到点群MB′的最近点之间的距离(误差)。对于点群MA′的多个点，同样地搜索点群MB′的最近点，并且获得各点之间的距离(误差)的平均值。在平均值小于预定值的情况下，可以判断为误差小。因而，可以判断为三维位置姿势测量单元113所获得的对象物体103′的位置姿势和三维位置姿势测量单元116所获得的对象物体103′的位置姿势彼此匹配。在平均值等于或大于预定值的情况下，由于误差大，因而可以判断为这些位置姿势彼此不匹配。

(c)通过点群和模型的关联来获得误差的情况

获得如下误差，其中该误差是从基于三维位置姿势测量单元113所获得的对象物体103′的位置姿势的三维几何模型所提取出的表面的点群数据、与基于三维位置姿势测量单元116所获得的对象物体103′的位置姿势的三维几何模型之间的误差。MA′是基于三维位置姿势测量单元113所获得的对象物体103′的位置姿势的点群。MB″是基于三维位置姿势测量单元116所获得的对象物体103′的位置姿势的三维几何模型。

获得从点群MA′的给定点到模型MB″的最近面之间的距离(误差)。对于点群MA′的多个点，获得到模型MB″的面的距离(误差)的平均值。在平均值小于预定值的情况下，可以判断为误差小。因此，可以判断为三维位置姿势测量单元113所获得的对象物体103′的位置姿势与三维位置姿势测量单元116所获得的对象物体103′的位置姿势彼此匹配。在平均值等于或大于预定值的情况下，由于误差大，因而可以判断为这些位置姿势彼此不匹配。

当然，可以反转点群数据和三维几何模型之间的关系。也就是说，可以获得如下误差，其中该误差是基于三维位置姿势测量单元113所获得的对象物体103′的位置姿势的三维几何模型、与从基于三维位置姿势测量单元116所获得的对象物体103′的位置姿势的三维几何模型所提取出的表面的点群数据之间的误差。

(d)通过模型关联来获得误差的情况

基于三维位置姿势测量单元113所获得的对象物体103′的位置姿势和三维位置姿势测量单元116所获得的对象物体103′的位置姿势，在固定于放置有托盘的空间内的作业空间坐标系中配置三维几何模型。MA″是基于三维位置姿势测量单元113所获得的对象物体103′的位置姿势的模型，并且MB″是基于三维位置姿势测量单元116所获得的对象物体103′的位置姿势的模型。

获得从模型MA″的给定面的中心点到模型MB″的相应面的中心点的距离(误差)。对于模型MA″的多个面的中心点，类似地搜索模型MB″的相应点，并且获得各点之间的距离(误差)的平均值。在该平均值小于预定值的情况下，可以判断为误差小。据此，可以判断为三维位置姿势测量单元113所获得的对象物体103′的位置姿势与三维位置姿势测量单元116所获得的对象物体103′的位置姿势彼此匹配。在该平均值等于或大于预定值的情况下，由于误差大，因此可以判断为这些位置姿势彼此不匹配。

第三实施例

作为第一实施例的变形例，传感器单元101和102可以由单个传感器单元构成。更具体地，安装在机器人上的传感器单元102还用作传感器单元101。

首先，对机器人进行控制，以利用位于托盘104上方的传感器单元102来以第一位置姿势拍摄对象物体。在传感器单元102以第一位置姿势拍摄到对象物体并且三维位置姿势测量单元113测量出该对象物体的位置姿势之后，随后确定第二位置姿势。如第一实施例所述那样获得第二位置姿势。对机器人进行控制以使传感器单元102移动至第二位置姿势，并且三维位置姿势测量单元116测量对象物体的位置姿势。之后，判断通过使传感器单元102移动至第一位置姿势所获得的对象物体的位置姿势与通过使传感器单元102移动至第二位置姿势所获得的对象物体的位置姿势之间的匹配性。匹配性判断方法和该判断之后的处理与第一实施例和第二实施例所述的匹配性判断方法和该判断之后的处理相同。

在步骤S407中进行匹配性的判断时，在判断为发生不匹配的情况下，在使传感器单元102移动之前，三维位置姿势测量单元113或116可以改变图像处理参数并且再次获得对象物体的位置姿势。要改变的图像处理参数是边缘检测阈值、图5A所示的控制点的密度、以及从三维几何模型中提取出的表面的点群密度等。注意，要改变的参数不限于此。在图像处理参数改变并且判断为发生匹配的情况下，该处理在没有使传感器单元102移动的情况下进入步骤S408。这样可以省略用于使传感器单元102移动的工作。在判断为即使在改变图像处理参数之后也仍不匹配的情况下，该处理进入步骤S411以使传感器单元102移动。

在步骤S407中进行匹配性的判断时，在判断为发生不匹配的情况下，可以发出警告以使用户可以容易地掌握该情况。此外，在步骤S412中判断为机器人的手部的位置姿势改变了n次的情况下，可以发出警告，同时可以使机器人系统停止而不返回至步骤S401，从而提示用户调查错误的原因。

可以基于模型投影图像之间的一致度来进行步骤S407的匹配性判断。基于三维位置姿势测量单元113所获得的对象物体103′的位置姿势和三维位置姿势测量单元116所获得的对象物体103′的位置姿势，将例如从传感器单元102以第二位置姿势观看时对象物体的三维几何模型投影到二维图像上。MA是基于三维位置姿势测量单元113所获得的对象物体103′的位置姿势的模型投影图像。MB是基于三维位置姿势测量单元116所获得的对象物体103′的位置姿势的模型投影图像。可以根据投影图像MA和MB之间的各像素的亮度差来获得一致度。将该一致度与预先准备的阈值进行比较以判断是匹配还是不匹配。

以上已经说明了使用保持在模型信息保持单元112中的模型的位置姿势测量。然而，作为位置姿势测量方法，可以考虑其它方法。例如，传感器单元101和102可以由立体照相机构成，并且可以基于这些立体照相机拍摄到的图像来使用立体测量技术测量对象物体的位置姿势。

在上述说明中，尽管使用机器人作为用于改变传感器单元102的位置姿势的结构，但本发明不限于此。例如，传感器单元102可以安装在由直动段和转动段的组合构成的机构上，并且可以通过控制这些段来改变位置姿势。除了用于操作对象物体的机器人以外，也可以采用用于改变位置姿势的结构。

尽管第一实施例至第三实施例已说明了各种结构和各种变形例，但所有这些结构和变形例是实施例，并且还可以采用除上述以外的结构。

在上述实施例中，根据具有第一位置姿势的第一传感器所进行的测量的结果来获得对象物体的位置姿势(第一计算)。以与第一位置姿势不同的第二位置姿势配置第二传感器，并且根据该第二传感器所进行的测量的结果来获得对象物体的位置姿势(第二计算)。

在第一计算所获得的位置姿势和第二计算所获得的位置姿势满足预定条件的情况下，输出第二计算所获得的位置姿势、或者根据第一计算获得的位置姿势和第二计算获得的位置姿势所计算出的位置姿势。

在第一实施例中，针对第一计算和第二计算进行以下处理。在第一计算中，从第一传感器获取对象物体的所拍摄图像和/或表示到该对象物体的距离的距离数据作为第一测量数据。将从多个视点观看对象物体或模拟该对象物体的虚拟物体时所获得的图像群、或者该虚拟物体设置为对象物体信息。使用该对象物体信息和第一测量数据来获得对象物体的位置姿势。在第二计算中，使第二传感器移动至第二位置姿势，并且从该第二传感器获取对象物体的所拍摄图像和/或表示到该对象物体的距离的距离数据作为第二测量数据。使用对象物体信息和该第二测量数据来获得对象物体的位置姿势。

在又一实施例中，在第一计算和第二计算中，使用用作立体照相机的第一传感器和第二传感器所获得的对象物体的所拍摄图像来利用立体测量技术获得对象物体的位置姿势。

在第一实施例中，优选地，“预定条件”是“第一计算所获得的位置姿势和第二计算所获得的位置姿势之间的差异小于预定量”。在第二实施例中，优选地，“预定条件”是“具有第一计算所获得的位置姿势的虚拟物体在画面上的投影图像与具有第二计算所获得的位置姿势的虚拟物体在画面上的投影图像之间的差异小于预定量”。

第四实施例

可以适当地集成/分割图1所示的各单元。例如，图像处理单元110内的各单元可以由一个装置构成，或者几个组件可以由一个装置构成。图像处理单元110和机器人控制器单元120可以集成为一个装置。

构成图像处理单元110的各单元可以由硬件构成，但也可以由软件(即，计算机程序)构成。在这种情况下，将计算机程序安装在图像处理单元110内的诸如RAM等的存储器中，并且由图像处理单元110内的CPU来执行。因而，该CPU可以实现图1所示的图像处理单元110内的各单元的功能。

可以组合地使用第一实施例至第三实施例(包括变形例)中所述的技术，或者可以将这些实施例的其中一个所述的部分技术并入另一实施例并且使用。

其它实施例

还可以通过读出并执行记录在存储器装置上的程序以进行上述实施例的功能的系统或设备的计算机(或者CPU或MPU等装置)和通过下面的方法来实现本发明的各方面，其中，系统或设备的计算机通过例如读出并执行记录在存储器装置上的程序以进行上述实施例的功能来进行上述方法的各步骤。由于该原因，例如经由网络或者通过用作存储器装置的各种类型的记录介质(例如，计算机可读介质)将该程序提供给计算机。

尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims (24)

1.一种信息处理设备，其特征在于，包括：

第一计算单元，用于基于从处于第一位置姿势的第一传感器所获得的第一测量数据来计算对象物体的第一计算位置姿势；

第二计算单元，用于基于从处于与所述第一位置姿势不同的第二位置姿势的不同于所述第一传感器的第二传感器所获得的第二测量数据来计算所述对象物体的第二计算位置姿势；

判断单元，用于判断所述第一计算单元所计算出的所述第一计算位置姿势和所述第二计算单元所计算出的所述第二计算位置姿势是否匹配；

输出单元，用于在所述判断单元判断为所述第一计算位置姿势和所述第二计算位置姿势匹配的情况下，输出基于所述第一计算位置姿势和所述第二计算位置姿势至少之一的所述对象物体的位置姿势；以及

控制单元，用于在所述判断单元没有判断为所述第一计算位置姿势和所述第二计算位置姿势匹配的情况下，进行控制以使所述第二传感器移动至与所述第一位置姿势和所述第二位置姿势不同的第三位置姿势。

2.根据权利要求1所述的信息处理设备，其中，

所述第一计算单元基于从移动至所述第一位置姿势的所述第一传感器所获得的所述第一测量数据来计算所述第一计算位置姿势，并且所述第二计算单元基于从移动至与所述第一位置姿势不同的所述第二位置姿势的所述第二传感器所获得的所述第二测量数据来计算所述第二计算位置姿势。

3.根据权利要求1所述的信息处理设备，其中，

所述第一计算单元基于处于所述第一位置姿势的所述第一传感器所获得的所述第一测量数据来计算所述第一计算位置姿势，并且所述第二计算单元基于移动至与所述第一位置姿势不同的所述第二位置姿势的所述第二传感器所获得的所述第二测量数据来计算所述第二计算位置姿势。

4.根据权利要求1所述的信息处理设备，其中，所述控制单元在所述判断单元判断为所述第一计算位置姿势和所述第二计算位置姿势彼此不匹配的情况下，进一步进行控制以再次执行所述第二计算单元的计算和所述判断单元的判断。

5.根据权利要求1所述的信息处理设备，其中，

所述第一计算单元获取所述对象物体的所拍摄图像和/或表示到所述对象物体的距离的距离数据作为所述第一测量数据，以及

所述第二计算单元获取所述对象物体的所拍摄图像和/或表示到所述对象物体的距离的距离数据作为所述第二测量数据。

6.根据权利要求1所述的信息处理设备，其中，还包括保持单元，所述保持单元用于保持所述对象物体的模型信息，

其中，所述第一计算单元使用所述模型信息和所述第一测量数据来计算所述对象物体的所述第一计算位置姿势，以及

所述第二计算单元使用所述第二测量数据和所述模型信息来计算所述对象物体的所述第二计算位置姿势。

7.根据权利要求6所述的信息处理设备，其中，所述保持单元保持如下信息其中之一作为所述模型信息：模拟所述对象物体的虚拟物体；以及在从多个视点观看所述对象物体和所述虚拟物体其中之一时所获得的图像群。

8.根据权利要求4所述的信息处理设备，其中，所述控制单元还对用以使所述第二传感器移动的单元进行控制，以使所述第二传感器移动至如下位置，其中该位置位于与穿过所述第一计算单元所获得的位置和所述第一传感器处于所述第一位置姿势时的位置的直线形成至少预定角度的直线上。

9.根据权利要求4所述的信息处理设备，其中，

在所述第一计算单元所计算出的所述第一计算位置姿势和所述第二计算单元所计算出的所述第二计算位置姿势彼此不匹配的情况下，所述控制单元还获得与所述第二传感器的当前位置姿势不同的位置姿势，并且使所述第二传感器移动至所获得的位置姿势。

10.根据权利要求9所述的信息处理设备，其中，

每当所述第二传感器移动时，所述第二计算单元基于从所述第二传感器所获得的所述第二测量数据来计算所述对象物体的所述第二计算位置姿势，以及

所述输出单元还输出如下位置姿势作为所述对象物体的位置姿势：所述第二计算单元所计算出的位置姿势中、相对于所述第一计算单元所计算出的所述第一计算位置姿势的差异小于预定量的位置姿势；或者所述第二计算单元所计算出的位置姿势的平均值。

11.根据权利要求9所述的信息处理设备，其中，

每当所述第二传感器移动时，所述第二计算单元基于从所述第二传感器所获得的所述第二测量数据来计算所述对象物体的所述第二计算位置姿势，以及

所述输出单元还获得所述第二计算单元所计算出的多个位置姿势和所述第一计算单元所计算出的多个位置姿势中、差异小于预定量的多对位置姿势，并且输出所述多对位置姿势中的一个位置姿势或所述多对位置姿势的平均值作为所述对象物体的位置姿势。

12.根据权利要求1所述的信息处理设备，其中，在所述第一计算单元所计算出的所述第一计算位置姿势和所述第二计算单元所计算出的所述第二计算位置姿势之间的差异小于预定量的情况下，所述判断单元判断为所述第一计算单元所计算出的所述第一计算位置姿势和所述第二计算单元所计算出的所述第二计算位置姿势匹配。

13.根据权利要求1所述的信息处理设备，其中，在基于所述第一计算单元所计算出的所述第一计算位置姿势的几何特征群和基于所述第二计算单元所计算出的所述第二计算位置姿势的几何特征群之间的差异小于预定量的情况下，所述判断单元判断为所述第一计算单元所计算出的所述第一计算位置姿势和所述第二计算单元所计算出的所述第二计算位置姿势匹配。

14.根据权利要求1所述的信息处理设备，其中，还包括机器人控制单元，所述机器人控制单元用于基于从所述输出单元所输出的所述对象物体的位置姿势来控制与所述对象物体有关的机器人的作业。

15.一种信息处理设备要进行的信息处理方法，其特征在于，包括以下步骤：

第一计算步骤，用于基于通过处于第一位置姿势的第一传感器所获得的第一测量数据来计算对象物体的第一计算位置姿势；

第二计算步骤，用于基于通过处于与所述第一位置姿势不同的第二位置姿势的不同于所述第一传感器的第二传感器所获得的第二测量数据来计算所述对象物体的第二计算位置姿势；

判断步骤，用于判断所述第一计算步骤中所计算出的所述第一计算位置姿势和所述第二计算步骤中所计算出的所述第二计算位置姿势是否匹配；

输出步骤，用于在判断为所述第一计算位置姿势和所述第二计算位置姿势匹配的情况下，输出基于所述第一计算位置姿势和所述第二计算位置姿势至少之一的位置姿势作为所述对象物体的位置姿势；以及

控制步骤，用于在所述判断步骤中没有判断为所述第一计算位置姿势和所述第二计算位置姿势匹配的情况下，进行控制以使所述第二传感器移动至与所述第一位置姿势和所述第二位置姿势不同的第三位置姿势。

16.一种信息处理设备，其特征在于，包括：

第一计算单元，用于基于从处于第一位置姿势的传感器所获得的第一测量数据来计算对象物体的第一计算位置姿势；

第二计算单元，用于基于从处于与所述第一位置姿势不同的第二位置姿势的传感器所获得的第二测量数据来计算所述对象物体的第二计算位置姿势；

判断单元，用于判断所述第一计算单元所计算出的所述第一计算位置姿势和所述第二计算单元所计算出的所述第二计算位置姿势是否匹配；以及

输出单元，用于在所述判断单元判断为所述第一计算位置姿势和所述第二计算位置姿势匹配的情况下，输出基于所述第一计算位置姿势和所述第二计算位置姿势至少之一的所述对象物体的位置姿势，

其中，所述第一计算单元基于从移动至所述第一位置姿势的可动式传感器所获得的所述第一测量数据来计算所述第一计算位置姿势，并且所述第二计算单元基于从移动至与所述第一位置姿势不同的所述第二位置姿势的所述可动式传感器所获得的所述第二测量数据来计算所述第二计算位置姿势。

17.根据权利要求16所述的信息处理设备，其中，还包括执行控制单元，所述执行控制单元用于在所述判断单元判断为所述第一计算位置姿势和所述第二计算位置姿势彼此不匹配的情况下，对用以使所述可动式传感器移动的单元进行控制以改变所述可动式传感器的位置姿势，并且在使所述可动式传感器进行了移动的情况下再次执行所述第二计算单元的计算和所述判断单元的判断。

18.根据权利要求17所述的信息处理设备，其中，所述执行控制单元还对所述用以使所述可动式传感器移动的单元进行控制，以使所述可动式传感器移动至如下位置，其中该位置位于与穿过所述第一计算单元所获得的位置和所述可动式传感器处于所述第一位置姿势时的位置的直线形成至少预定角度的直线上。

19.根据权利要求17所述的信息处理设备，其中，

在所述第一计算单元所计算出的所述第一计算位置姿势和所述第二计算单元所计算出的所述第二计算位置姿势彼此不匹配的情况下，所述执行控制单元还获得与所述可动式传感器的当前位置姿势不同的位置姿势，并且使所述可动式传感器移动至所获得的位置姿势。

20.根据权利要求19所述的信息处理设备，其中，

每当所述可动式传感器移动时，所述第二计算单元基于从所述可动式传感器所获得的所述第二测量数据来计算所述对象物体的所述第二计算位置姿势，以及

所述输出单元还输出如下位置姿势作为所述对象物体的位置姿势：所述第二计算单元所计算出的位置姿势中、相对于所述第一计算单元所计算出的所述第一计算位置姿势的差异小于预定量的位置姿势；或者所述第二计算单元所计算出的位置姿势的平均值。

21.根据权利要求19所述的信息处理设备，其中，

每当所述可动式传感器移动时，所述第二计算单元基于从所述可动式传感器所获得的所述第二测量数据来计算所述对象物体的所述第二计算位置姿势，以及

所述输出单元还获得所述第二计算单元所计算出的多个位置姿势和所述第一计算单元所计算出的多个位置姿势中、差异小于预定量的多对位置姿势，并且输出所述多对位置姿势中的一个位置姿势或所述多对位置姿势的平均值作为所述对象物体的位置姿势。

22.一种信息处理设备，其特征在于，包括：

第一计算单元，用于基于从处于第一位置姿势的传感器所获得的第一测量数据来计算对象物体的第一计算位置姿势；

第二计算单元，用于基于从处于与所述第一位置姿势不同的第二位置姿势的传感器所获得的第二测量数据来计算所述对象物体的第二计算位置姿势；

判断单元，用于判断所述第一计算单元所计算出的所述第一计算位置姿势和所述第二计算单元所计算出的所述第二计算位置姿势是否匹配；以及

输出单元，用于在所述判断单元判断为所述第一计算位置姿势和所述第二计算位置姿势匹配的情况下，输出基于所述第一计算位置姿势和所述第二计算位置姿势至少之一的所述对象物体的位置姿势，

其中，所述第一计算单元基于处于所述第一位置姿势的第一传感器所获得的所述第一测量数据来计算所述第一计算位置姿势，并且所述第二计算单元基于移动至与所述第一位置姿势不同的所述第二位置姿势的可动式传感器所获得的所述第二测量数据来计算所述第二计算位置姿势。

23.一种信息处理设备要进行的信息处理方法，其特征在于，包括以下步骤：

第一计算步骤，用于基于从处于第一位置姿势的传感器所获得的第一测量数据来计算对象物体的第一计算位置姿势；

第二计算步骤，用于基于从处于与所述第一位置姿势不同的第二位置姿势的传感器所获得的第二测量数据来计算所述对象物体的第二计算位置姿势；

判断步骤，用于判断所述第一计算步骤中所计算出的所述第一计算位置姿势和所述第二计算步骤中所计算出的所述第二计算位置姿势是否匹配；以及

输出步骤，用于在所述判断步骤中判断为所述第一计算位置姿势和所述第二计算位置姿势匹配的情况下，输出基于所述第一计算位置姿势和所述第二计算位置姿势至少之一的所述对象物体的位置姿势，

其中，所述第一计算步骤基于从移动至所述第一位置姿势的可动式传感器所获得的所述第一测量数据来计算所述第一计算位置姿势，并且所述第二计算步骤基于从移动至与所述第一位置姿势不同的所述第二位置姿势的所述可动式传感器所获得的所述第二测量数据来计算所述第二计算位置姿势。

24.一种信息处理设备要进行的信息处理方法，其特征在于，包括以下步骤：

第一计算步骤，用于基于从处于第一位置姿势的传感器所获得的第一测量数据来计算对象物体的第一计算位置姿势；

第二计算步骤，用于基于从处于与所述第一位置姿势不同的第二位置姿势的传感器所获得的第二测量数据来计算所述对象物体的第二计算位置姿势；

判断步骤，用于判断所述第一计算步骤中所计算出的所述第一计算位置姿势和所述第二计算步骤中所计算出的所述第二计算位置姿势是否匹配；以及

输出步骤，用于在所述判断步骤中判断为所述第一计算位置姿势和所述第二计算位置姿势匹配的情况下，输出基于所述第一计算位置姿势和所述第二计算位置姿势至少之一的所述对象物体的位置姿势，

其中，所述第一计算步骤基于处于所述第一位置姿势的第一传感器所获得的所述第一测量数据来计算所述第一计算位置姿势，并且所述第二计算步骤基于移动至与所述第一位置姿势不同的所述第二位置姿势的可动式传感器所获得的所述第二测量数据来计算所述第二计算位置姿势。