CN104597891A - 信息处理装置及信息处理方法 - Google Patents

Abstract

本发明公开了一种信息处理装置及信息处理方法。获取预先被指定为把持单元把持物体而采用的姿势的姿势并作为基准姿势，所述物体相对于至少一个轴具有旋转对称形状；获取在所述把持单元把持所述物体时所述物体和所述把持单元的相对位置和姿势，并作为教导的位置和姿势；从包含所述物体的图像中识别所述物体的位置和姿势，并且基于识别位置和姿势以及所述教导的位置和姿势，导出所述把持单元把持所述物体的初始位置和初始姿势；以及，基于所述基准姿势和所述初始姿势，决定把持所述物体的把持姿势，并且基于所决定的把持姿势和初始位置，决定所述把持单元把持所述物体的把持位置和姿势。

Description

信息处理装置及信息处理方法

技术领域

本发明涉及一种信息处理装置及信息处理方法，尤其是用于计算手的位置和姿势的技术，其中机器人利用所述手来把持具有旋转对称形状的且被识别出三维位置和姿势的工件(work)。

背景技术

近年来，已发展了堆积拾取(pile picking)技术，该技术使用视觉系统从堆积的工件中指定一件个体并识别出它的三维位置和姿势，从而使安装在机器人上的手把持在工厂生产线等中的该个体。堆积的工件具有各种姿势。因此，视觉系统获取连同三维空间内的位置一起的每个工件的三轴姿势。此外，教导了接近以把持所识别的工件的手的位置和姿势，并且基于位置和姿势二者来操作所述手，从而在一堆工件中拾取任意位置和姿势的一个工件。

关于上述技术，专利文献1(日本特开第2006-130580号公报)描述了通过视觉系统识别具有类似于长方体、圆柱体或球体的简单形状的工件，并通过机器人手来把持该工件的方法。在该方法中，首先，已拍摄的图片适配于所述简单形状(长方体、圆柱体或球体)，并且计算已适配的形状的主轴的姿势、大小和位置。此外，机器人手把持工件的位置和姿势的计算方法被预先定义为一种规则，并且基于该规则来计算把持位置和姿势，从而把持在任意位置和姿势下的工件。

在上述推积拾取技术中，当工件具有旋转对称形状时，存在能够由视觉系统观察到相同信息的多个姿势。在这种情况下，视觉系统不能区分上述姿势，因此针对一个姿势的工件输出多个解决方案。当基于针对多个解决方案之一教导的把持位置和姿势而把持时，要被接近的手的位置和姿势取决于由视觉系统所识别的三维位置和姿势。因此，会发生以下情况：基于该教导信息而计算的手的接近方向与被教导的相反，并且实际可把持的工件被确定为不可把持。

然而，在专利文献1的方法中，没有三轴姿势被计算为工件的姿势信息。只计算了简单形状的主轴的姿势，并且通过被预先定义为规则的计算方法来决定要被接近的手的姿势。因此，即使在对象是旋转对称物体时，也可以通过获取三轴姿势而避免输出多个解决方案的问题。然而，在该方法中，假设工件具有简单形状，根据手的形状、手坐标系的设置和工件形状，把持工件的手的位置和姿势的计算方法被单独地编程。因此，能够仅通过该方法来把持工件。由此，如果工件相对于其重心而言具有不对称形状，则用户不能通过例如根据形状特征而移动把持的位置，来单独地设置把持的位置和姿势。

发明内容

鉴于上述问题，本发明提供了一种技术，该技术用于基于用户教导的把持位置和姿势，计算手把持具有旋转对称形状的且从堆积的工件中被识别出其三维位置和姿势的工件的合适位置和姿势。

根据本发明的第一方面，提供了一种信息处理装置包括：第一获取单元，用于获取预先被指定为把持单元把持物体而采用的姿势的姿势并作为基准姿势，所述物体相对于至少一个轴具有旋转对称形状；第二获取单元，用于获取在所述把持单元把持所述物体时所述物体和所述把持单元的相对位置和姿势，并作为教导的位置和姿势；导出单元，用于从包含所述物体的图像中识别所述物体的位置和姿势，并且基于识别位置和姿势以及所述教导的位置和姿势，导出所述把持单元把持所识别物体的初始位置和初始姿势；以及，决定单元，用于基于所述基准姿势和所导出的初始姿势，决定把持所述物体的把持姿势，并且基于所决定的把持姿势和初始位置，决定所述把持单元把持所述物体的把持位置和姿势。

根据本发明的第二方面，提供了一种由信息处理装置执行的信息处理方法包括：第一获取步骤，获取预先被指定为把持单元把持物体而采用的姿势的姿势并作为基准姿势，所述物体相对于至少一个轴具有旋转对称形状；第二获取步骤，获取在所述把持单元把持所述物体时所述物体和所述把持单元的相对位置和姿势，并作为教导的位置和姿势；导出步骤，从包含所述物体的图像中识别所述物体的位置和姿势，并且基于识别位置和姿势以及所述教导的位置和姿势，导出所述把持单元把持所识别物体的初始位置和初始姿势；以及，决定步骤，用于基于所述基准姿势和所导出的初始姿势，决定把持所述物体的把持姿势，并且基于所决定的把持姿势和初始位置，决定所述把持单元把持所述物体的把持位置和姿势。

根据下述示例性实施方式的描述并结合附图，本发明的进一步特征将变得清楚。

附图说明

图1表示把持位置和姿势计算装置1的功能配置的示例的框图。

图2A至图2E表示被配置为输入旋转信息的GUI的显示示例的视图。

图3表示由把持位置和姿势计算装置1所执行的处理的流程图；

图4表示当手把持工件时位置和姿势的教导的示例的视图。

图5A至图5C是用于说明手的初始位置和姿势的视图。

图6是通过把持位置和姿势计算装置1所执行的处理的流程图。

图7A和图7B是用于说明步骤S608的处理的视图。

图8是由把持位置和姿势计算装置1所执行的处理的流程图。

图9表示可适用在把持位置和姿势计算装置1的装置的硬件配置的示例的框图。

具体实施方式

下文将结合附图描述用于实施本发明的实施方式。注意到下面所述的实施方式是本发明的具体实现的示例或在所附权利要求中所描述的配置的详细示例。

[第一实施例]

在本实施例中，目标是计算把持单元的位置和姿势以使把持单元把持具有旋转对称的形状(旋转对称形状)的物体(工件)。旋转对称形状包括在围绕特定轴旋转时根本不会改变其外表的“旋转体”，以及当被旋转360/N度(N是2或更大的整数)时与自身重叠的“N次对称”。鉴于此，旋转对称形状被分为以下五种类型：

(a)相对于一个轴的N次对称：例如，角锥体。

(b)相对于一个轴的旋转体：例如，圆锥体。

(c)相对于两个相互垂直的轴之一的2次对称并且相对于另一个轴的旋转体：例如，圆柱体。

(d)相对于两个相互垂直的轴之一的2次对称并且相对于另一个轴的N次对称：例如，棱柱体。

(e)相对于相互垂直的两个轴的旋转体：例如，球体。

在本实施例中，将描述一种方法用以计算合适的把持位置和姿势以使把持单元把持上述(a)至(e)中具有形状(a)的工件，即相对于一个轴的N次对称。更具体地，在识别工件的三维位置和姿势之后，相对基于工件的N次对称而围绕轴旋转工件而获得的对称姿势下的各工件，基于教导的位置和姿势来计算把持单元的位置和姿势。在计算出的位置和姿势中，与预先设置(指定)的基准姿势最为接近的位置和姿势被选择为该把持单元的最终位置和姿势。

首先将结合图1的框图来描述把持位置和姿势计算装置1的功能配置，所述把持位置和姿势计算装置1作为用于计算被配置为把持工件的把持单元的把持位置和姿势的信息处理装置。

旋转信息输入单元11输入旋转信息，所述旋转信息是用于表达工件的旋转对称形状的信息，并且旋转信息输入单元11将所输入的旋转信息发送至后续阶段的把持位置和姿势决定单元15。更具体地，旋转信息输入单元11将保持必要组数的信息作为旋转信息输入，其中所述每一组包括定义了工件的旋转对称的轴的方向、代表工件相对于该轴是旋转体还是相对于该轴具有N次对称的信息、以及当工件具有N次对称时指定对称数的数量N。

旋转信息输入方法不限于特定的方法。可以获取由外部设备保持的旋转信息。或者，可以获取由用户通过对操作单元(未示出)进行操作而输入的旋转信息。例如，这里将描述通过使得用户在观看在把持位置和姿势计算装置1的显示单元(未示出)上显示的图形用户界面(GUI，Graphical User Interface)的同时对操作单元(未示出)进行操作，来输入旋转信息的输入方法。在这种情况下，旋转信息输入单元11获取由此通过用户操作而输入的旋转信息。

图2A至图2E示出被配置为输入旋转信息的GUI的显示示例。更具体地，图2A至图2E示出被配置为针对与上述(a)至(e)对应的工件输入旋转信息的GUI的显示示例。为简化描述，假定定义了工件形状的旋转对称性的各轴与基于工件形状的坐标系(具有将工件的一点作为原点并且在该原点处将相互垂直的三个轴作为x、y、z轴的坐标系：工件坐标系)的x、y、z轴之一相匹配。然而，当能够在工件坐标系中指定旋转轴的姿势时，该旋转轴可以是任意轴。

GUI基于工件形状来显示工件的形状和基于工具形状的工件坐标系。GUI也显示用于选择定义了工件形状的旋转对称性的旋转轴的复选框(check box)。基于工件形状，从工件坐标系的x、y、z轴中选择工件的旋转轴。注意到，最多能够选择两个轴。此外，通过与各所选轴相关联的单选按钮(radio button)来选择旋转体和N次对称之一。当选择轴时，各单选按钮最好是有效的。当选择N次对称时，N值被输入至与各所选轴相关联的窗口。当选择N次对称时，各窗口最好也是有效的。例如，在图2A中，工件围绕z轴具有N次对称(N＝6)。因此，与z轴对应的复选框被选择(标记)，与N次对称对应的单选按钮被选择，并且“6”被输入至所述窗口。

旋转信息输入单元11基于经由GUI输入的信息，分别通过三个参数xRot、yRot和zRot来表达相对于工件的x、y、z轴的旋转对称性，并且将其作为工件的旋转信息来输入。更具体地，当轴的复选框为无效时，工件围绕该轴不具有旋转对称性，并且将与该轴对应的参数设置为1。另一方面，当复选框为有效时，选择旋转体，将0设置给与该轴对应的参数。当选择N次对称时，将被输入至窗口的N值设置给与该轴对应的参数。例如，在图2A中，由于x轴和y轴的复选框为无效，因此xRot＝yRot＝1。对于z轴，由于复选框为有效，因此选择N次对称的单选按钮，并且将6输入至窗口，zRot＝6。在这种情况下，旋转信息输入单元11输入{xRot，yRot，zRot}＝{1，1，6}作为旋转信息。

注意到，当工件围绕两个轴具有旋转对称性时，可以考虑多个轴的选择方法。例如，图2C所示的工件围绕x轴具有2次对称，同时围绕y轴具有2次对称。因此，在上述情况下，可以标记其中任何一个复选框。无论工件的形状如何，工件的旋转对称性可以由最多两个轴来表达。因此，在本实施例中，最多可以选择两个轴。然而，也可以选择三个轴。在本实施例中，单选按钮用于选择旋转体或N次对称。然而，可以使用复选框或其他的GUI。可以不输入N次对称的N值，而输入N次对称的旋转角度(360/N)。此外，只要能够输入表达旋转对称性的轴数和各轴的方向、工件围绕各轴是否为旋转体、或能够针对轴而不是旋转体来指定旋转对称数的数值，就可以使用任何方法来输入旋转信息。

在工件由安装在机器人臂的末端的把持单元(手)把持时，教导位置和姿势输入单元12输入作为教导的位置和姿势的参数，其中所述教导的位置和姿势表示工件和把持单元(手)的相对位置和姿势。作为教导的位置和姿势，例如，通过在虚拟环境下对手和工件的几何模型进行操作、在把持时在几何关系中配置手和工件的几何模型、并且获取这个时侯的相对位置和姿势来预先设置的位置和姿势被使用。或者，在实际环境下配置的工件的三维位置和姿势由视觉系统识别，然后机器人臂被移动到手能够把持工件的位置和姿势，并且获取此时的手的位置和姿势。手和工件的相对位置和姿势可以由此被计算和使用。教导的位置和姿势可以通过任何方法来设置，只要该方法能够决定把持时手和工件的相对位置和姿势即可。

基准姿势输入单元13输入基准姿势，该基准姿势用于当基于教导位置和姿势输入单元12输入的教导的位置和姿势来决定把持在堆积的工件中被识别的在任意位置和姿势下的工件的手的位置和姿势时，比较手的姿势。优选地，将机器人臂能够把持工件而无需关节负担的理想姿势设置为基准姿势。然而，当利用实际机器人手和实际工件来教导把持位置和姿势时，可以使用教导时的手的姿势。

工件识别单元14从数个堆积的工件中检测一个工件(一件个体)。然后，工件识别单元14在机器人坐标系(具有将机器人的一个点作为原点并且将在该原点处相互垂直的三个轴作为x、y、z轴的坐标系)中计算所检测的工件的三维位置和姿势。

首先，计算在传感器坐标系中的工件的位置和姿势。在本实施例中，利用距离传感器来执行工件的测量，从而获取工件的距离图像和灰度图像。因此，在这种情况下的传感器坐标系是将具有距离传感器的一个点作为原点并且将在该原点相互垂直的三个轴作为x、y、z轴的坐标系。

首先，例如，从堆积的工件中检测一件个体，并且通过诸如图案匹配的已知技术来计算它的粗略位置和姿势。在这之后，基于所计算的粗略位置和姿势来校正工件的三维几何模型的位置和姿势，以便三维几何模型和获取的图像相互匹配，从而计算工件的精确位置和姿势。然而，可以使用任何方法作为传感器坐标系中的工件的计算方法。

利用预先校准而获取的“距离传感器和机器人之间的位置和姿势”，传感器坐标系中计算的工件的位置和姿势被变换为机器人坐标系中的工件的位置和姿势。这里假定在距离传感器和机器人之间的几何关系是固定的。在该实施例中，如上所述，距离传感器被固定在堆积的工件的垂直上方。然而，可以将距离传感器固定于机器人臂。

把持位置和姿势决定单元15从旋转信息输入单元11接收旋转信息、从基准姿势输入单元13接收基准姿势、从工件识别单元14接收“机器人坐标系中的工件的位置和姿势”、以及从教导位置和姿势输入单元12中接收教导的位置和姿势。利用所接收到的这些信息，把持位置和姿势决定单元15将在与基准姿势最接近的姿势下把持工件的手的位置和姿势决定为把持位置和姿势。更具体地，考虑到针对被识别的工件的形状的旋转对称性，从具有与教导时手和工件之间的几何关系相同的几何关系的手的姿势中，决定把持位置和姿势以使所述姿势与基准姿势最为匹配。

将由把持位置和姿势计算装置1执行的用以计算手的位置和姿势，从而把持被识别的三维位置和姿势的工件的处理，将在下面参照对该处理的流程图进行说明的图3来描述。

(步骤S201的处理)

旋转信息输入单元11获取如上所述的旋转信息。为了使用下面的详细示例进行描述，旋转信息输入单元11被假设利用图2A所示的GUI获取为图2A所示的工件而设置的旋转信息。在此情况下，如上所述，旋转信息为{xRot，yRot，zRot}＝{1，1，6}。此外，旋转信息输入单元11将旋转信息中针对各轴的参数值中除了1以外的值作为旋转对称数设置给变量N。因为，这里在旋转信息中针对各轴的参数值中除1以外的值是“6”，所以值“6”被设置给变量N。

(步骤S202的处理)

教导位置和姿势输入单元12输入表示工件和手的相对位置和姿势的6自由度参数，作为教导的位置和姿势。图4表示当手把持工件时位置和姿势的教导的示例。图4表示如下状态：在通过视觉系统计算机器人坐标系中的工件的三维位置和姿势之后，该机器人被移动到安装在机器人臂远端的手能够把持该工件的位置和姿势并停止。从此时的机器人坐标系中工件的位置和姿势以及手的位置和姿势，预先计算手和工件的相对位置和姿势作为教导的位置和姿势，并且存储在装置内或装置外的存储器中。在步骤S202中，教导位置和姿势输入单元12从该存储器中获取教导的位置和姿势。

令R_WH为3×3旋转矩阵，用于执行从工件坐标系至手坐标系(具有将手的一个点作为原点以及将在该原点处相互垂直的三个轴作为x、y、z轴的坐标系)的姿势变换，并且令t_WH为用于执行位置变换的三个平移矢量(translation vector)。此时，从工件坐标系X_W＝[X_W，Y_W，Z_W]^T至手坐标系X_H＝[X_H，Y_H，Z_H]^T的变换，可以利用以下4×4矩阵T_WH表示：

X_H′＝T_WHX_W′，

其中，X_W′，X_H′，和T_WH由以下给出：

X_W′＝[X_W，Y_W，Z_W，1]^T，X_H′＝[X_H，Y_H，Z_H，1]^T

$T_{\mathrm{WH}}=\left[\begin{array}{cc}{R}_{\mathrm{WH}}& t_{\mathrm{WH}}\\ 0^T& 1\end{array}\right]$

T_WH，R_WH和t_WH将会在下文中有时被分别称为教导的位置和姿势、教导的姿势和教导的位置。

(步骤S203的处理)

基准姿势输入单元13获取上述的基准姿势。通常，当教导把持工件的手的位置和姿势时，在很多情况下，工件被设置在允许机器人臂容易操作的位置和姿势，并且把持位置和姿势被教导。因此，在本实施例中，在步骤S202中图4所示的状态中机器人坐标系中手的姿势作为基准姿势被预先存储在存储器中。基准姿势输入单元13获取存储在存储器中的基准姿势。令R_RH′为3×3旋转矩阵，其表示从机器人坐标系至手坐标系的姿势变换。R_RH′作为基准姿势被获取。

(步骤S204的处理)

工件识别单元14从堆积的数个工件中检测将被把持的个别工件(把持目标工件)，并且计算表示在机器人坐标系中把持目标工件的位置和姿势的6个参数。在基于这里计算的6个参数从机器人坐标系至工件坐标系的坐标变换中，令R_RW为由代表姿势的3个参数所表现的3×3旋转矩阵，令t_RW为由代表位置的3个参数所表现的三个平移矢量。此时，从机器人坐标系X_R＝[X_R，Y_R，Z_R]^T至工件坐标系X_W＝[X_W，Y_W，Z_W]^T的变换能够使用4×4矩阵T_RW被表示为：

X_W′＝T_RWX_R′，

其中，X_W′和X_R′分别由以下给出：

X_W′＝[X_W，Y_W，Z_W，1]^T，X_R′＝[X_R，Y_R，Z_R，1]^T，

$T_{\mathrm{RW}}=\left[\begin{array}{cc}{R}_{\mathrm{RW}}& t_{\mathrm{RW}}\\ 0^T& 1\end{array}\right]$

T_RW，R_RW和t_RW将会在下文中有时被分别称为识别位置和姿势、识别姿势和识别位置。

(步骤S205的处理)

把持位置和姿势决定单元15计算(导出)用于决定被配置为把持住把持目标工件的手的位置和姿势的初始位置和姿势。令T_RH为4×4矩阵，其表示这里将被获取的初始位置和姿势。T_RH能够通过以下表达式来计算：

T_RH＝T_RWT_WH

令R_RH为3×3旋转矩阵，t_RH为三个平移矢量。T_RH被表示为：

$T_{\mathrm{RH}}=\left[\begin{array}{cc}{R}_{\mathrm{RH}}& t_{\mathrm{RH}}\\ 0^T& 1\end{array}\right]$

t_RH和R_RH将在下文中有时被分别称为手的初始位置和手的初始姿势。图5B示出了针对从图5A中堆积的工件中被识别出三维位置和姿势的工件，基于步骤S202输入的教导的位置和姿势来计算的手的初始位置和姿势。

(步骤S206的处理)

如果由基准姿势输入单元13获取的基准姿势和步骤S205获得的手的初始姿势之间的姿势的差量(差值)较大，则步骤S211以后当将该基准姿势与比较姿势(将在后续描述)进行比较时，匹配度的大小关系是相反的。在这种情况下，需要重新设置基准姿势。在本步骤中，把持位置和姿势决定单元15获得该基准姿势和初始姿势之间的姿势的差值，并且基于该差量确定是否需要重新设置基准姿势。更具体地，获得用于将基准姿势变换至初始姿势的3×3旋转矩阵D。此外，当由旋转轴和旋转角度表现两者的姿势变换时，从旋转矩阵D计算出角度θ。旋转矩阵D和旋转角度θ可以由以下表达式来计算：

D＝(R_RH)^-1R_RH′

θ＝arccos((Trace(D)-1)/2)

把持位置和姿势决定单元15确定是否θ＜90°。如果θ＜90°为确定结果，则把持位置和姿势决定单元15确定不需要重新设置基准姿势，并且处理推进至步骤S208。另一方面，如果θ≥90°(预定值或更高)，则把持位置和姿势决定单元15确定需要重新设置基准姿势，并且处理推进至步骤S207。

(步骤S207的处理)

把持位置和姿势决定单元15重新设置基准姿势。更具体地，具有基准姿势的手相对于在手的教导的位置和姿势下的工件的旋转轴变得对称的姿势被获得，并且被更新为手的基准姿势。为了做出该处理，首先，关于具有教导的位置和姿势的关系的手和工件，与手的中心轴以及工件的旋转轴(本实施例中z轴)相互垂直的轴被作为变换轴而获得。在这种情况下，手的中心轴被假定为z轴。作为工件的旋转轴，在旋转信息{xRot，yRot，zRot}＝{1，1，6}中与针对各轴的参数值中除1以外的值相对应的轴，即z轴被使用。通过围绕所获得的变换轴将具有基准姿势的手旋转180°而获得的姿势被计算，并且通过所计算的姿势来更新基准姿势R_RH′。

R_RH′＝R_revR_RH′

其中，R_rev是围绕变换轴执行180°旋转的3×3旋转矩阵。

(步骤S208的处理)

把持位置和姿势决定单元15执行初始化以决定相对于手的基准姿势的高匹配度的把持姿势。首先，令Vmax为表示姿势的最大匹配度的值。Vmax被初始化为较小值(例如Vmax＝-100000)。接下来，匹配度最大的姿势被定义为最大匹配姿势。令Rmax是表示姿势的3×3旋转矩阵。Rmax被初始化为手的初始姿势(Rmax＝R_RH)。令Rmax_w是表示此时的工件的姿势的3×3旋转矩阵。Rmax_w被初始化为工件的识别姿势(Rmax_w＝R_RW)。此外，被配置为对工件绕旋转轴的转数进行计数的计数器被定义为i，并且被初始化为i＝0。

(步骤S209的处理)

把持位置和姿势决定单元15首先将在旋转信息{xRot，yRot，zRot}＝{1，1，6}中与针对各轴的参数值中除1以外的值相对应的轴，即z轴设置为旋转轴。获得当识别姿势R_RW围绕旋转轴旋转(360/N×i)度时的姿势(旋转的姿势)。相对于获得的姿势具有教导的姿势的关系的手的姿势(比较姿势)R_{RH_i}被获得作为用于把持具有获得的姿势的把持目标工件的把持姿势。该比较姿势R_{RH_i}可以由以下表达式来计算：

R_{RH_i}＝R_RWR_iR_WH

其中，R_i是围绕工件的旋转轴执行(360/N×i)度旋转的3×3旋转矩阵。

(步骤S210的处理)

把持位置和姿势决定单元15将基准姿势R_RH′和步骤S209中计算的比较姿势R_{RH_i}之间的姿势的匹配度计算为V_i。更具体地，从用于在比较姿势和基准姿势之间进行姿势变换的旋转矩阵E中获得当通过旋转轴和旋转角度来表现姿势变换时的角度φ，并且匹配度被计算为V_i＝cosθ。注意到，旋转矩阵E和旋转角度φ通过以下表达式计算：

E＝(R_RH)^-1R_RH′

φ＝arccos((Trace(E)-1)/2)

(步骤S211的处理)

把持位置和姿势决定单元15比较Vmax和步骤S210中计算的匹配度Vi。如果Vmax＜Vi为比较的结果，则处理推进至步骤S212。如果Vmax≥Vi，则处理推进至S213。

(步骤S212的处理)

把持位置和姿势决定单元15通过V_i将姿势的最大匹配度Vmax的值更新。把持位置和姿势决定单元15还通过比较姿势R_{RH_i}更新最大匹配姿势Rmax。把持位置和姿势决定单元15还通过R_RWR_i更新Rmax_w。

(步骤S213的处理)

把持位置和姿势决定单元15确定是否i＜N。如果i＜N作为确定结果，则计数器的值i增加1并被更新(i←i+1)，然后处理返回至步骤S209。另一方面，如果i≥N，则利用N次对称的全对称姿势中最高匹配度的姿势R_max和初始位置t_RH，通过以下表达式来计算对把持目标工件进行把持的手的最终把持位置和姿势T_{RH_max}，

$T_{\mathrm{RH}\_\max }=\left[\begin{array}{cc}{R}_{\max }& t_{\mathrm{RH}}\\ 0^T& 1\end{array}\right]$

把持位置和姿势决定单元15将由此计算的手的最终把持位置和姿势T_{RH_max}输出至合适的输出目的地。所述输出目的地不局限于特定的输出目的地。即，把持位置和姿势可以被输出至装置中或装置外部的存储器、或者输出至控制具有手的机器人臂的控制设备。无论如何，当通过控制机器人臂将手移动至最终把持位置和姿势T_{RH_max}时，在堆积的工件中被识别的把持目标工件能够以与教导的位置和姿势类似的姿势被把持。注意到，图5C示出对图5A所示的识别的工件通过执行根据本实施例的一系列处理而最终计算的手的把持位置和姿势。

在本实施例中，已经描述了针对在堆积的工件中识别的“相对于一个轴具有N次对称的工件”计算手的合适的把持位置和姿势的方法。更具体地，计算在工件围绕旋转轴从它的识别姿势旋转360/N度时手的各把持姿势作为比较姿势，并且从比较姿势中选择与基准姿势最为匹配的姿势，从而决定把持位置和姿势。

注意到在本实施例中，表示在基准姿势和比较姿势之间姿势变换的旋转角度的余弦值被用作匹配度。然而，该角度的差值可以直接被用作匹配度。可选的，当旋转矩阵被表现为欧拉角时的围绕各轴的旋转量的总和可以被使用。也可以使用任何能够评估姿势匹配度的指标。

这里，在机器人坐标系中手的姿势被用作基准姿势。然而，也可以使用传感器坐标系中手的姿势。可选的，可以使用另外设置的坐标系中的姿势。

这里，针对通过围绕旋转轴旋转识别的工件而获得的各姿势的手的把持位置和姿势被更新为最大匹配姿势。然而，通过围绕旋转轴旋转识别的工件而获得的姿势可以被更新为最大匹配姿势，并且可以基于教导的姿势来最终计算手的姿势。

[第二实施例]

在本实施例中，将会描述针对上述五类旋转对称形状(a)至(e)中具有旋转对称形状(b)(即，相对于一个轴的旋转体的形状)的工件计算手的合适的把持位置和姿势的方法。更具体地，在识别工件的三维位置和姿势之后，基于定义了工件形状的旋转体的旋转轴和教导的位置和姿势，直接计算与预设的基准姿势最接近的把持位置和姿势。

下面将主要描述与第一实施例的区别，而与第一实施例相同的部分的描述将被省略。在本实施例中，同样利用具有图1所示的配置的把持位置和姿势计算装置1来计算手的合适的把持位置和姿势。

由把持位置和姿势计算装置1执行的、针对具有相对于一个轴的旋转体的形状的工件来计算手的合适的把持位置和姿势的处理，将会参照例示该处理的流程图的图6来进行描述。

(步骤S601的处理)

旋转信息输入单元11获取上述的旋转信息。在本实施例中，假定旋转信息输入单元11利用图2B所示的GUI获取针对图2B所示的工件设置的旋转信息。在此情况下，旋转信息是{xRot，yRot，zRot}＝{1，1，0}。

(步骤S602至S607的处理)

步骤S602至S607的处理与步骤S202至S207的处理相同，步骤S602至S607的处理的描述将被省略。

(步骤S608的处理)

把持位置和姿势决定单元15计算离基准姿势最近的手的位置和姿势，并将其作为把持位置和姿势。将参照图7A和图7B描述该处理。首先，利用基准姿势R_RH′和教导的姿势R_WH，由以下表达式将可由手以基准姿势把持的虚拟工件(由图7A中虚线表示的工件)的姿势计算为基准工件姿势R_RW′：

R_RW′＝R_RH′(R_WH)^-1

接下来，从旋转矩阵F计算在基准工件姿势R_RW′和工件的识别姿势R_RW之间的姿势变换由旋转轴和旋转角度来表达时的角度ψ。旋转矩阵F和旋转角度ψ能够由以下表达式计算：

F＝(R_RW′)^-1R_RW

ψ＝arccos((Trace(F)-1)/2)

这里，在步骤S601中输入的旋转信息{xRot，yRot，zRot}＝{1，1，0}中与针对各轴的参数值中值为“0”相对应的轴，即z轴被设置为旋转轴。此时，令Va为表示基准工件姿势中工件的旋转轴的矢量，Vb为表示工件的识别姿势中工件的旋转轴的矢量。计算矢量积V＝Va×Vb。令R_rot为3×3旋转矩阵，其围绕由矢量V所表现的轴执行旋转ψ。把持识别的工件的手的姿势Rmax由以下表达式计算：

Rmax＝R_rotR_RW′R_WH

把持位置和姿势决定单元15通过以下表达式计算对把持目标工件进行把持的手的最终把持位置和姿势T_{RH_max}：

$T_{\mathrm{RH}\_\max }=\left[\begin{array}{cc}{R}_{\max }& t_{\mathrm{RH}}\\ 0^T& 1\end{array}\right]$

如第一实施例一样，把持位置和姿势决定单元15将由此计算的手的最终把持位置和姿势T_{RH_max}输出至合适的输出目的地。无论如何，当通过控制机器人臂使手移动至最终把持位置和姿势T_{RH_max}时，在堆积的工件中被识别的把持目标工件能够以与教导的位置和姿势相类似的姿势被把持。注意到图7B示出针对图7A所示的识别的工件通过执行根据本实施例的一系列处理而最终被计算的手的把持位置和姿势。

在本实施例中，已经描述了针对相对于一个轴具有旋转体的形状的工件来计算手的合适的把持位置和姿势的方法。更具体地，获得在手的基准姿势下可把持的工件和在堆积的工件中被识别的工件之间的姿势差量，并且通过将手倾斜所述差量而获得的姿势被直接计算为把持姿势。

[第三实施例]

在本实施例中，将描述针对在上述五类旋转对称形状(a)至(e)中的具有旋转对称形状(c)(即相对于相互垂直的两个轴之一的2次对称并且相对于另一轴的旋转体的形状)的工件计算手的合适的把持位置和姿势的方法。更具体的，在识别工件之后，对于定义了2次对称的旋转轴，如第一实施例一样，首先选择与基准姿势最接近的把持姿势。接下来，如第二实施例一样，利用已选姿势作为初始姿势，对于定义了旋转体的旋转轴，直接计算与基准姿势最接近的把持位置和姿势。

下面将主要描述与第一实施例的区别，并且与第一实施例相同的部分的描述将被省略。在本实施例中，同样利用具有图1所示配置的把持位置和姿势计算装置1来计算手的合适的把持位置和姿势。

通过把持位置和姿势计算装置1执行的、针对相对于两个相互垂直的轴之一具有2次对称且相对于另一个轴具有旋转体的形状的工件来计算手的合适的把持位置和姿势的处理，将会参照例示该处理的流程图的图8来进行描述。

(步骤S801的处理)

旋转信息输入单元11获取上述旋转信息。在本实施例中，假定旋转信息输入单元11利用图2C所示的GUI获取针对图2C所示的工件设置的旋转信息。在此情况下，旋转信息是{xRot，yRot，zRot}＝{2，1，0}。此外，旋转信息输入单元11将在旋转信息中与针对各轴的参数值中除1以外的正整数值相对应的轴，即在此情况下的x轴设置为旋转轴α，并且将旋转信息中与针对各轴参数值中值为“0”相对应的轴，即在此情况下的z轴设置为旋转轴β。

(步骤S802至S805的处理)

步骤S802至S805的处理与步骤S202至S205的处理相同，并且步骤S802至S805的处理的描述将被省略。

(步骤S806的处理)

在步骤S806中，对于旋转轴α执行与上述步骤S206至S213相同的处理。

(步骤S807的处理)

当手采取最大匹配姿势T_RH_max时，工件的姿势Rmax_w被新设置为识别姿势R_RW，并且对于旋转轴β执行与上述步骤S608相同的处理，从而计算最终的把持位置和姿势。

在本实施例中，已经描述了针对相对于两个相互垂直的轴之一具有2次对称且相对于另一轴具有旋转体的形状的工件，计算手的合适的位置和姿势的方法。更具体的，在识别工件之后，如第一实施例一样，首先针对定义了2次对称的旋转轴，选择与基准姿势最接近的把持姿势。接下来，将所选择的姿势用作初始姿势，如第二实施例一样，针对定义了旋转体的旋转轴来直接计算与基准姿势最接近的把持位置和姿势。

[第四实施例]

在本实施例中，将描述针对上述五类旋转对称形状(a)至(e)中的具有旋转对称形状(d)(即相对于两个相互垂直的轴之一的2次对称且相对于另一轴的N次对称)的工件计算手的合适把持位置和姿势的方法。更具体的，在识别工件之后，基于在通过围绕相互垂直的两个N次对称轴旋转工件而得到的全对称姿势中各工件的教导的位置和姿势，计算手的位置和姿势，并且与预设的基准姿势最近的位置和姿势被选择为手的最终位置和姿势。

下面将主要描述与第一实施例的区别，与第一实施例中相同的部分的描述将被省略。在本实施例中，同样利用具有图1所示配置的把持位置和姿势计算装置1来计算手的合适的位置和姿势。

除了下文将描述的要点以外，由把持位置和姿势计算装置1执行的、针对相对于相互垂直的两个轴之一具有2次对称且相对于另一轴具有N次对称的工件而计算手的合适的把持位置和姿势的处理与图3所示的处理相同，。下面将描述与第一实施例不同的步骤S201、S208、S209和S213的处理。

(步骤S201的处理)

旋转信息输入单元11获取上述旋转信息。在本实施例中，假定旋转信息输入单元11利用图2D所示的GUI获取针对图2D所示的工件设置的旋转信息。在此情况下，旋转信息是{xRot，yRot，zRot}＝{2，1，6}。此外，旋转信息输入单元11将在旋转信息中与针对各轴的参数值中除1以外的正整数值相对应的轴，即在此情况下的x轴和z轴分别设置为旋转轴α和β。此外，旋转信息输入单元11将与x轴对应的参数值“2”作为旋转对称数设置给变量N，并且将与z轴对应的参数值“6”作为旋转对称数设置给变量M。

(步骤S208的处理)

把持位置和姿势决定单元15执行初始化以决定与手的基准姿势具有高匹配度的把持姿势。首先，令Vmax为表示姿势的最大匹配度的值。Vmax被初始化为较小的值(例如，Vmax＝-100000)。接下来，使匹配度最大化的姿势被定义为最大匹配姿势。令Rmax为表示该姿势的3×3旋转矩阵。Rmax被初始化为手的初始姿势(Rmax＝R_RH)。令Rmax_w为表示此时工件的姿势的3×3旋转矩阵。Rmax_w被初始化为工件的识别姿势(Rmax_w＝R_RW)。此外，用于对围绕旋转轴的工件的旋转次数进行计数的计数器被定义为i并被初始化为i＝0。用于对围绕旋转轴α的工件的旋转次数进行计数的计数器以及用于对围绕旋转轴β的工件的旋转次数进行计数的计数器被分别定义为j和k，并且被初始化为j＝k＝0。

(步骤S209的处理)

当识别姿势R_RW围绕旋转轴α旋转(360/N×j)度且围绕旋转轴β旋转(360/M×k)度时，把持位置和姿势决定单元15获得姿势。把持位置和姿势决定单元15获得相对于获得的姿势具有教导的姿势的关系的姿势(比较姿势)R_{RH_i}，作为用于把持具有所获得的姿势的把持目标工件的把持姿势。可以通过以下表达式来计算比较姿势R_{RH_i}：

R_{RH_i}＝R_RWR_kR_jR_WH

其中，R_j是3×3旋转矩阵，其围绕工件的旋转轴α执行(360/N×j)度的旋转，R_k是3×3旋转矩阵，其围绕工件的旋转轴β执行(360/M×k)度的旋转。

(步骤S213的处理)

把持位置和姿势决定单元15确定是否i＜N×M。如果i＜N×M为确定的结果，则计数器值i被增加1并且被更新(i←i+1)。此外，如果k＜M，则计数器值j不被更新，并且计数器值k被增加1并且被更新(k←k+1)。处理返回至步骤S209。另一方面，如果k≥M，则计数器值j被增加1并且被更新(j←j+1)。此时，计数器值k被初始化为0，并且处理返回至步骤S209。

另一方面，如果i≥N×M，利用全对称姿势中最高匹配度的姿势Rmax和初始位置t_RH，通过下述表达式来计算把持住把持目标工件的手的最终把持位置和姿势T_{RH_max}。

$T_{\mathrm{RH}\_\max }=\begin{array}{}\left[\begin{array}{cc}{R}_{\max }& t_{\mathrm{RH}}\\ 0^T& 1\end{array}\right]\end{array}$

如第一实施例一样把持位置和姿势决定单元15将这样计算的手的最终把持位置和姿势T_{RH_max}输出至合适的输出目的地。无论如何，当通过控制机器人臂将手移动至最终把持位置和姿势T_{RH_max}时，在堆积的工件中被识别的把持目标工件能够以与教导的位置和姿势相类似的姿势被把持。

在本实施例中，已经描述了针对相对于两个相互垂直的轴之一具有2次对称并且相对于另一轴具有N次对称形状的工件，计算手的合适的把持位置和姿势的方法。更具体的，在识别工件之后，基于在通过围绕相互垂直的两个N次对称轴旋转工件而获得的全对称姿势中各工件的教导的位置和姿势，计算手的位置和姿势，以及与预设的基准姿势最接近的位置和姿势被选择为手的最终位置和姿势。

注意到，针对在上述五类旋转对称形状(a)至(e)中的旋转对称形状(e)(即相对于相互垂直的两个轴的旋转体)，即球体，不会依据姿势而产生把持的区别。由此，基于识别的工件的位置和预设的姿势来简单地决定把持位置和姿势。

[第五实施例]

可通过硬件但也可通过软件(计算机程序)来形成图1所示的包含在把持位置和姿势计算装置1中各功能单元。在此情况下，能够执行计算机程序的装置适用于图1所示的把持位置和姿势计算装置1。将结合图9的方框图来描述能够执行计算机程序并适用于把持位置和姿势计算装置1的上述装置的硬件配置。

CPU 901利用计算机程序和存储在RAM 902或ROM 903中的数据来执行各种处理，从而控制整个装置的操作。CPU 901还执行上述各处理作为把持位置和姿势计算装置1要执行的处理。

RAM 902具有临时存储计算机程序、从外部存储设备906中加载的数据、以及经由I/F(接口)907从外部接收的数据等的区域。RAM 902还具有由CPU 901使用以执行各种处理的工作区。即RAM 902能够适当的提供各种区域。ROM 903存储装置的设置数据、引导程序等。

操作单元904由鼠标、键盘等形成。装置的用户可以通过操作该操作单元904向CPU 901输入各种指示。例如，经由操作单元904执行图2A至2E所示的向GUI的操作输入。

显示单元905由CRT、液晶显示屏等形成并且能够将CPU 901的处理结果显示为图像、字符等。例如，显示单元905上显示图2A至图2E所示的GUI。

外部存储设备906是由硬盘驱动表示的大容量信息存储设备。外部存储设备906存储OS(操作系统)以及使得CPU 901执行作为图1所示的各功能单元要执行的处理的上述各处理的计算机程序和数据。所述数据还包括作为已知信息描述的信息。存储在外部存储设备906中的所述计算机程序和数据，在CPU 901的控制下被适当地加载到RAM 902中并成为将由CPU 901处理的对象。

I/F 907用于连接外部设备和该装置。例如，上述距离传感器能够与I/F 907相连接。在此情况下，通过I/F 907将距离传感器的测量结果获取到RAM 902中，并且能够利用该测量结果来识别工件的位置和姿势。

上述所有的单元都与总线908相连接。注意到，可适用于把持位置和姿势计算装置1的装置的配置并不局限于图9所示的配置。即，只要能够执行使得CPU 901执行作为图1所示的各功能单元要执行的处理的上述各处理的计算机程序，可以采用任何的配置，。此外，可以由硬件或软件形成图1所示的功能单元的一些功能。

其他实施方式

本发明的实施例还可以通过系统或装置的、用于读出并执行记录在存储介质(例如，非临时性计算机可读存储介质)上的计算机可执行指令以完成本发明中一个或多个实施例功能的计算机来实现；本发明的实施例也可以通过方法来实现，该方法的各步骤由系统或装置的计算机、通过如从存储介质读出并执行计算机可执行指令以完成本发明一个或多个实施例功能来执行。计算机可以包括中央处理单元(CPU)、微处理单元(MPU)及其他电路中的一个或多个，也可以包括独立计算机网络或独立计算机处理器网络。计算机可执行指令可以从例如网络或存储介质提供给计算机。存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)及分布式计算系统存储器、光盘(例如压缩盘(CD)、数字化通用光盘(DVD)或蓝光光盘(BD)^TM)、闪存装置、存储卡等中的一个或多个。

虽然已经结合示例性实施例描述了本发明，应当认识到，本发明并不局限于公开的示例性实施例。下列权利要求的范围应当适合最广泛的解释，以便囊括所有改动、等同结构和功能。

Claims (12)

1.一种信息处理装置，包括：

第一获取单元，用于获取预先被指定为把持单元把持物体而采用的姿势的姿势并作为基准姿势，所述物体相对于至少一个轴具有旋转对称形状；

第二获取单元，用于获取在所述把持单元把持所述物体时所述物体和所述把持单元的相对位置和姿势，并作为教导的位置和姿势；

导出单元，用于从包含所述物体的图像中识别所述物体的位置和姿势，并且基于识别位置和姿势以及所述教导的位置和姿势，导出所述把持单元把持所识别物体的初始位置和初始姿势；以及，

决定单元，用于基于所述基准姿势和所导出的初始姿势，决定用以把持所述物体的把持姿势，并且基于所决定的把持姿势和初始位置，决定所述把持单元把持所述物体的把持位置和姿势。

2.根据权利要求1所述的装置，其中，所述决定单元包括第二导出单元，用于导出作为第二把持姿势的，所述把持单元把持具有通过围绕所述轴旋转所识别物体而获得的旋转姿势的所述物体时的姿势以及，

基于所述初始姿势和所述第二把持姿势中的每个与所述基准姿势之间的差值，决定所述把持姿势。

3.根据权利要求2所述的装置，其中，所述决定单元将所述初始姿势和所述第二把持姿势中与最小差值相对应的姿势决定为所述把持姿势。

4.根据权利要求1所述的装置，其中，在所述物体是仅相对于一个轴具有旋转对称的旋转体的情况下，当所述初始姿势和所述基准姿势之间的差值大于预定值时，所述决定单元将在所述基准姿势下可把持的所述物体的姿势获取为可把持的姿势，并且基于所述可把持的姿势和所述物体的识别姿势决定把持所述物体的所述把持姿势。

5.根据权利要求1所述的装置，其中，在所述物体是当围绕所述轴旋转360/N度时与自身重叠的物体的情况下，其中N是不小于2的整数，

所述决定单元通过围绕所述轴将所述物体的识别姿势每旋转360/N度而获得旋转姿势，针对每一个所获得的旋转姿势利用所述教导的位置和姿势获得被配置为把持具有所述旋转姿势的所述物体的所述把持单元的姿势，并且在所获得的所述把持单元的姿势中将与所述基准姿势最接近的姿势决定为所述把持姿势。

6.根据权利要求5所述的装置，其中，在所述轴包含第一轴和与所述第一轴相互垂直的第二轴的情况下，

所述决定单元针对所述第一轴与所述第二轴中的每个获得所述旋转姿势，针对每一个所获得的旋转姿势利用所述教导的位置和姿势获得被配置为把持具有所述旋转姿势的所述物体的所述把持单元的姿势，并且将所获得的所述把持单元的姿势中与所述基准姿势最接近的姿势决定为所述把持姿势。

7.根据权利要求1所述的装置，其中，在所述物体是当围绕所述轴旋转360/N度时与自身重叠、且当围绕与所述轴相互垂直的另一轴旋转时不会改变外表的物体的情况下，其中N是不小于2的整数，

所述决定单元针对依据所述形状而确定的每一个旋转角度通过旋转所述物体的所述识别姿势来获得旋转姿势，利用所述姿势和与所述把持姿势对应的所述旋转姿势之间的差量，来变换由所述把持单元在所述把持姿势下可把持的所述物体的姿势，并且将在所变换的姿势下可把持所述物体的所述把持单元的姿势决定为所述把持姿势。

8.根据权利要求1所述的装置，其中，所述决定单元导出所述初始姿势和所述基准姿势之间的差值，并且当所述差值大于预定值时更新所述基准姿势。

9.根据权利要求1至8任一项所述的装置，其中，用户通过操作单元输入关于所述物体的旋转对称的信息。

10.根据权利要求1所述的装置，进一步包括输出单元，用于输出由所述决定单元决定的把持位置和姿势。

11.根据权利要求10所述的装置，进一步包括用于将所述把持单元移动至所述输出单元输出的所述把持位置和姿势的单元。

12.一种由信息处理装置执行的信息处理方法，包括：

第一获取步骤，获取预先被指定为把持单元把持物体而采用的姿势的姿势并作为基准姿势，所述物体相对于至少一个轴具有旋转对称形状；

第二获取步骤，获取在所述把持单元把持所述物体时所述物体和所述把持单元的相对位置和姿势，并作为教导的位置和姿势；

导出步骤，从包含所述物体的图像中识别所述物体的位置和姿势，并且基于识别位置和姿势以及所述教导的位置和姿势，导出所述把持单元把持所识别物体的初始位置和初始姿势；以及，

决定步骤，用于基于所述基准姿势和所导出的初始姿势，决定把持所述物体的把持姿势，并且基于所决定的把持姿势和初始位置，决定所述把持单元把持所述物体的把持位置和姿势。