CN102781631B - 信息处理装置及控制该装置的方法 - Google Patents

Abstract

一种信息处理装置，包括成像单元并且能够设置机器人系统的结构部件的布置，该机器人系统基于由成像单元捕获的图像而操作。该信息处理装置包括：布置单元，被配置为在与机器人系统的操作空间相对应的虚拟空间中布置对应于结构部件的虚拟对象；第一获取单元，被配置为获取与捕获的图像相对应并且其中布置有虚拟对象的虚拟空间中的虚拟空间图像；以及第二获取单元，被配置为基于虚拟空间图像来获取评价值，该评价值表示虚拟对象的布置对机器人系统的操作的适应性。

Description

信息处理装置及控制该装置的方法

技术领域

本发明涉及信息处理装置及控制该装置的方法，用于设置装配有成像单元的机器人系统的构件的布置。

背景技术

近年来，在制造现场（比如工厂）中，装配有机械臂的机器人系统经常代替人类操作。机器人系统可以做的操作已经是复杂和精密的。例如，装配有成像摄像机的机器人系统获取将要操作的对象（比如制造构件）的捕获的图像，并分析该捕获的图像，从而允许机械臂移动到适于操作的位置。

在上述机器人系统中，如果成像摄像机的视场被障碍物（如工作台）遮挡，则不能捕获到需要的图像，从而使得机器人系统不能进行适当的操作。因此，在进行复杂操作的机器人系统中，需要把诸如机械臂、成像摄像机和要被操作的对象等的结构部件布置在适当的位置。

日本专利申请公开No.2008-21092讨论了一种装配有成像摄像机的机器人系统，其获取模仿由成像摄像机捕获的图像的虚拟空间图像（计算机图形图像）。该虚拟空间图像是由操作员视觉地确认的，并且所述操作员把成像摄像机布置在适当位置。

然而，在日本专利申请公开No.2008-21092中讨论的技术中，操作员视觉地确认虚拟空间图像，使得当进行复杂繁多的操作时，对结构部件的布置的自由度较高，从而增加了操作员的负担。例如，假设照明系统具有发光方向的20个模式和10个用于发光位置的候选，成像摄像机具有成像方向的20个模式和用于成像位置的10个候选。在该情况中，操作员必需确认虚拟空间图像的20*20*10*10=40000个组 合，以获得最适于操作的布置，这使得操作员难于视觉地确认图像。机器人系统越复杂，要被确认的虚拟空间图像的数目越大并且操作员的负担越重。

引用列表

[专利文献]

专利文献1：日本专利申请公开No.2008-21092。

发明内容

考虑上述情况做出了本发明，本发明的目的在于解决上述问题、减少操作员的负担、并适当地布置复杂机器人系统的结构部件。

根据本发明，前述目的是通过提供一种信息处理装置达到的，所述信息处理装置包括成像单元并且能够设置机器人系统的结构部件的布置，该机器人系统基于由成像单元捕获的图像而操作，该信息处理装置包括：布置单元，被配置为在与机器人系统的操作空间相对应的虚拟空间中布置对应于结构部件的虚拟对象；第一获取单元，被配置为获取与捕获的图像相对应并且其中布置有虚拟对象的虚拟空间中的虚拟空间图像；以及第二获取单元，被配置为基于虚拟空间图像来获取评价值，该评价值表示虚拟对象的布置对机器人系统的操作的适应性。

根据下面参考附图对示例实施例的详细描述，本发明的其它特征和方面将变得清楚。

附图说明

被并入说明书并构成说明书的一部分的附图示出了本发明的示例实施例、特征以及方面，与说明书一起用于说明本发明的原理。

图1示出根据第一示例实施例的机器人系统的配置示例。

图2示出由根据第一示例实施例的机器人系统执行的信息处理。

图3示出根据第一示例实施例的照明系统可以选择的方向。

图4示出根据第一示例实施例的成像单元可以选择的方向。

图5示出根据第一示例实施例的照明系统可被布置的位置。

图6示出根据第一示例实施例的成像单元可被布置的位置。

图7是示出成像单元与要被操作的对象之间的位置关系的示意图。

图8示出根据第一示例实施例的虚拟图像的示例。

图9示出在识别处理中被识别为要被操作的对象的区域的示例。

图10示出要被操作的对象的三维计算机辅助设计系统（CAD）数据的示例。

图11示出根据第二示例实施例的要被操作的对象的形状的示例。

图12示出根据第二示例实施例的照明系统的方向自由度。

图13示出根据第二示例实施例的成像单元的方向自由度。

图14示出根据第二示例实施例的照明系统的位置自由度。

图15示出根据第二示例实施例的成像单元的位置自由度。

图16示出根据用户指示的虚拟对象布置的限制的示例。

图17示出根据第三示例实施例的机器人系统的配置示例。

图18示出步骤1中的图形用户界面的示例。

图19示出步骤2中的图形用户界面的示例。

图20示出步骤3中的图形用户界面的示例。

图21示出根据第五示例实施例的图形用户界面的示例。

图22示出步骤4中的图形用户界面的示例。

图23示出根据第五示例实施例的警告的图形用户界面的示例。

具体实施方式

下面参考附图详细描述本发明的各个示例实施例、特征以及方面。

根据第一示例实施例的机器人系统的配置

图1示出根据第一示例实施例的机器人系统的配置。在操作区200中，通过生产线中的机械臂装配要被操作的对象（构件）。区域框12 以透明构件（如强化塑料）覆盖操作区200的一部分或全部。根据该示例实施例的机器人系统的结构部件100包括以下内容。

机械臂11抓取并处理要被操作的对象。机械臂11具有多个接点，从而机械臂11可以采取不同的位置和取向。在机械臂11上布置成像单元9。成像单元9可以包括用于检测可见光以获取捕获的图像的视频摄像机。照明系统10照亮要被操作的对象。照明系统10可以包括可以发出照明光的灯并且可以调节照明光的类型、强度和模式。照明系统10包括致动器19，以使得能够改变照明光的照明方向。

可以保持照明系统10的保持装置16包括多个致动器19，并且可以改变照明系统10的照明方向。保持装置15把机械臂11连接到成像单元9。保持装置15包括致动器20并且可以相对于机械臂11改变成像单元9的取向。将上述构件统称为根据该示例实施例的机器人系统的结构部件100。

控制单元18被连接到机器人系统的结构部件100并控制各个构件的操作。控制单元18包括中央处理单元（CPU）、随机存取存储器（RAM）以及存储操作程序和各条数据的只读存储器（ROM）。控制单元18充当信息处理装置，用于基于存储在ROM中的关于机器人系统的结构部件100的信息来设置机器人系统的结构部件100的布置。在下文详细描述该信息处理。

另外，控制单元18根据在存储在ROM中的计算机程序中描述的过程来控制照明系统10的照明光和取向、对由成像单元9获取的图像的图像处理、以及机械臂11的操作。例如，控制单元18从由成像单元9获取的捕获的图像提取要被操作的对象17，并基于提取结果向机械臂11传送用于抓取和处理要被操作的对象17的控制信号。

要被操作的对象被放置于传送装置13上。使用工作台14用于诸如抓取、处理和装配要被操作的对象等的任务。通过机械臂11对要被操作的对象17进行抓取、处理和装配。如图1所示，要被操作的对象17可包括诸如螺丝等构件。灯布置可能区域21是其中可以布置照明系统10的区域。成像布置可能区域22是其中可以布置成像单元9的区域。

信息处理

图2示出由根据本示例实施例的机器人系统执行的信息处理。图2中的信息处理是用于设置根据该示例实施例的机器人系统的结构部件100的每个的合适布置参数的处理。下面参考图2描述由根据该示例实施例的机器人系统执行的信息处理。控制单元18执行图2中所示的信息处理。

步骤1：设置要被识别和测量的对象的类型和物理特性

在其中设置要被识别和测量的对象的类型和物理特性的步骤1中，设置与要在根据该示例实施例的系统中识别和测量的对象的类型和物理特性有关的信息。

根据该示例实施例的要被识别和测量的对象是要被操作的对象17。物理特性例如包括对象的形状、硬度和光学特征。对象的形状为形状模型，比如三维CAD数据。对象的硬度是杨氏模数和振动阻尼特征。对象的光学特征可以是双向反射分布函数（BRDF）、双向透射分布函数（BTDF）、以及双向散射分布函数（BSDF）。

步骤1中的设置被执行为使得控制单元18读取在数据库中预先记录的数据。或者，控制单元18可通过接收来自用户的输入而进行设置。

步骤2：设置关于系统构件的特征信息

在其中设置关于系统构件的特征信息的步骤2中，设置与在识别和测量控制系统中包括的系统构件有关的特征信息。

根据该示例实施例的系统构件包括成像单元9、照明系统10和机械臂11。例如，关于成像单元9的特征信息可包括焦距、图像传感器的尺寸等。关于照明系统10的特征信息可包括照明灯的类型、照明强度、以及照明模式。关于机械臂11的特征信息可包括形状数据和操作动态模型。可以设置与其上放置要被操作的对象的传送装置13有关和与在其上装配要被操作的对象的工作台14有关的特征信息。

已经准备了关于构件的特征信息作为用于每个制造商和构件类型 的数据库。可通过用户指定制造商和构件的类型设置关于每个构件的特征信息。

步骤2中的设置被执行为使得控制单元18读取先前在数据库中记录的数据，如步骤1中的情况那样。或者，控制单元18可通过接收来自用户的输入而进行设置。在步骤2中，可设置系统构件中的每一个的数量。

如图2所示，根据该示例实施例的识别和测量控制系统包括一个摄像机、一个机械臂以及一个照明系统，从而在步骤2中将系统构件中每一个的数量设为一。

步骤3：设置与用于布置系统构件的条件相关的参数

在其中设置与用于布置系统构件的条件相关的参数的步骤3中，设置用于布置每个系统构件的位置和取向的条件。根据该示例实施例的要设置的对象为机械臂11、成像单元9和照明系统10。

设置在操作区200中布置机械臂11的位置。在该示例实施例中，通过全局坐标系表示在操作区200中布置的机械臂11。

设置在操作区200中布置照明系统10的位置。如上所述，在灯布置可能区域21中布置照明系统10。可通过致动器19改变照明系统10的照射方向。

设置在机械臂上布置成像单元9的位置。如上所述，在成像布置可能区域22中布置成像单元9。可通过致动器20改变成像单元9的图像捕获方向。在该示例实施例中，在作为可移动对象的机械臂上布置成像单元9，使得通过本地坐标系表示成像单元9。

步骤4：设置任务处理的内容

在其中设置任务处理的内容的步骤4中，设置基于识别和测量结果执行的任务处理的内容。在该示例实施例中，设置关于机械臂11的装配处理的操作的信息。

作为关于装配处理的操作的信息，设置当在操作区200中抓取要被操作的对象17时关于机械臂11的位置和操作的信息。另外，设置当执行在操作区200中装配要被操作的对象17的操作时关于机械臂11的 位置和操作的信息。通常，关于任务处理的操作的信息是关于由机械臂11跟踪的位置的坐标和机械臂11的操作速度的信息。

如步骤2中所述，由于机械臂11已经具有根据机械臂11的类型确定的操作动态模型，所以可以计算在执行下述装配处理时的机械臂11的操作的轨迹。

作为另一个示例，预先设置典型任务处理模型并选择对应的任务处理模型（根据该示例实施例对要被操作的对象17的装配），然后可以指定供给和装配构件的位置。

在该情况中，对于每个典型任务处理预先设置通过机械臂11跟踪的操作的轨迹。根据供给和装配构件的位置来确定机械臂11的操作。

上述步骤1到4中的处理被执行以获取用于虚拟地设置机器人系统的结构部件100的条件。在步骤4中，其中虚拟地设置机器人系统的结构部件100中的每一个的虚拟空间图像是根据在步骤1到4中获取的条件生成的。

在该示例实施例中，把通过计算机制图（虚拟对象）生成的机器人系统的结构部件100中的每一个布置到对应于操作空间的虚拟空间。控制单元18充当第一获取单元，其被配置为获取虚拟空间图像，并生成模拟通过捕获操作空间的成像单元9获取的图像的计算机制图图像作为虚拟空间图像。

如上所述，根据该示例实施例，照明系统10和成像单元9的方向可以改变。在该示例实施例中，如图3所示，照明系统10可选择20个不同的方向。如图4所示，成像单元9可选择20个不同的方向。如图5所示，照明系统10可被布置在10个不同的位置。如图6所示，成像单元9可被布置在10个不同的位置。

下面的等式（1）给出40000个组合以允许生成40000个不同的虚拟空间图像。

20*20*10*10=40000个组合...(1)

然而，在该示例实施例中，上述等式不考虑步骤4中的任务处理的操作。在考虑任务处理的操作的情况中，如果机械臂11可以被移动 到100个不同的位置，则对于40000个不同虚拟空间图像中的每一个获取100个不同的虚拟空间图像。下面详细描述用于生成虚拟空间图像的方法。

步骤5：设置用于评价值的条件

在其中设置用于评价值的条件的步骤5中，设置评价值的基准，通过该基准评价在步骤4中生成的虚拟空间图像。对于在步骤4中生成的每个虚拟空间图像来计算根据该示例实施例的评价值。评价值是通过对比度值、遮挡比率、识别可靠性以及测量可靠性的组合而计算出的，并表示虚拟对象的布置对机器人系统的操作的适应性。这意味着，评价值越高，根据该示例实施例的机器人系统可以越容易地工作。

下面描述用于计算对比度值、遮挡比率、识别可靠性以及测量可靠性的方法。在步骤5中，基于用户指示来设置确定是否采用对比度值、遮挡比率、识别可靠性以及测量可靠性中的每一个作为评价值或者设置对每个评价值的加权。

可以预先设置用于表示是否采用评价值中每一个的多个基准，并且用户可以从多个基准中选择希望的基准。在任一种情况中，基准仅必须使得可以确定机器人系统的结构部件100中的每个是否被适当地布置。

在该示例实施例中，评价值表示：在机械臂11在要被操作的对象17上操作的情况下，评价值越高，可以获取越合适的布置。

布置6：计算预定评价值

在其中计算评价值的步骤6中，控制单元18充当被配置为获取表示虚拟空间图像的布置的适应性的评价值的第二获取单元，并计算在步骤4中生成的虚拟空间图像中的每个的评价值。基于步骤5中设置的基准来计算评价值。如上所述，如果生成40000个不同的虚拟空间图像，则计算40000个不同的评价值。

如果考虑任务处理的操作，如上所述，则对于40000个不同虚拟空间图像中的每个获取100个不同的虚拟空间图像。在该情况中，上 述评价值例如是100个虚拟空间图像的评价值的平均值。对平均值的计算允许在整个任务处理中检测适于机器人系统的操作的布置。

步骤7：设置用于预定系统构件的布置参数

在步骤7中，基于步骤6中的计算结果来设置用于系统构件的合适布置参数。例如，合适布置参数是这样的参数，其表示系统构件的布置，其中机械臂11可以对要被操作的对象17进行合适的操作。如上所述，选择在步骤6中计算出的评价值中最大的评价值，并且设置与具有该评价值的虚拟空间图像相对应的布置参数。除了最大评价值之外，可以按评价值的降序设置多个布置参数。

在评价值具有正值或负值的情况中，存在用于比较评价值与基准值的方法作为用于检测最优值的方法。例如，计算评价值与基准值的比率，并且把最接近一的比率的平均值取为最优值。

步骤8：呈现布置参数

在其中向用户呈现布置参数的步骤8中，向用户呈现在步骤7中设置的系统构件的布置参数。可以使用用于使用例如显示器或语音通知用户的任何方法作为用于向用户呈现参数的方法。

用户可以使用所呈现的布置参数来在实际空间中在合适的位置布置机器人系统的结构部件100。

如上所述，执行根据该示例实施例的控制单元18的信息处理。根据上述信息处理，用户可以获得能够使机械臂11执行更适当的操作的布置参数。即使在结构部件的高布置自由度使得难于获得结构部件的适当布置的机器人系统中，仍可以容易地获得更适于机器人系统的操作的结构部件的布置参数。

用于生成虚拟空间图像的方法

下面描述步骤4中的用于生成虚拟空间图像的方法。在三维模型中成像单元9与要被操作的对象17之间的位置关系可在图7中示意地示出。

图7示出摄像机9（成像单元9）的透镜23、摄像机的图像传感器 24和要被操作的对象17之间的位置关系。在图7中，在要被操作的对象17与摄像机9的透镜23之间存在距离S。焦距f表示透镜23与摄像机9的图像传感器24之间的距离。宽度W和高度H分别表示成像区域的水平宽度和垂直高度。宽度w和高度h分别表示成像传感器24的水平宽度和垂直高度。

这里，参数满足下面的等式（2），从而可以计算推定由成像单元9捕获的成像区域的宽度W和高度H。

w/W=h/H=f/S...(2)

如上所述，照明强度、照射光的类型以及照射模式已经被确定为用于要被操作的对象17的照明环境。另外，对于要被操作的对象17，已经确定BRDF、BTDF和BSDF。从而，可以使用通用虚拟模型来生成包括在上述成像区域中的照明影响的虚拟空间图像。

还可以根据成像单元9的焦距、成像单元9的透镜23与对象之间的距离、以及成像传感器24与透镜23之间的距离之间的关系来计算虚拟空间图像中包括的除要被操作的对象17之外的背景对象和障碍物作为估计图像。

在装配位置通过照明系统10照射模式化光。估计图像包括模式化光25。

假设用于生成推定由成像单元9捕获的虚拟图像的上述方法使用常规技术，从而可以使用除上述技术之外的技术。已经讨论了大量的用于从三维模型生成在任何视点捕获的图像的方法。

用于计算对比度值、遮挡比率、识别可靠性及测量可靠性的方法

下面描述步骤6中的用于计算对比度值、遮挡比率、识别可靠性及测量可靠性的方法。

识别可靠性

下面描述根据该示例实施例的用于计算识别可靠性的方法。在该示例实施例中，把通过计算二维模型与根据要被操作的对象17的三维CAD数据生成的虚拟空间图像之间的相关性而获得的相关性系数用 作识别可靠性。如果该相关性系数超过例如预定值，则可以确定图像上的对象是要被识别的对象。把使用相关性系数的方法统称为模式匹配方法。可以使用除模式匹配方法之外的方法来计算识别可靠性。

例如，已知这样的方法，其中根据图像来计算预定特征量（例如，方向梯度直方图（HOG）或尺度不变特征变换（SIFT）），并且使用诸如支持向量机（SVM）的鉴别器来执行对特征量的确定。在该情况中，通过诸如支持向量机（SVM）等的鉴别函数输出值来表示识别可靠性。由于支持向量机（SVM）是公知的方法，从而省略对其的描述。

测量可靠性

在执行测量处理中，通过模式匹配处理的相关性计算中的相关性系数来表示根据该示例实施例的测量可靠性。测量处理是指用于根据由成像单元9捕获的图像来测量在装配位置中要被操作的对象17的位置和取向的处理。

在该示例实施例中，假定使用模式化光照射的三维测量方法作为测量处理方法。在使用模式化光照射的三维测量方法中，如果要被操作的对象17、成像单元9以及照明系统10之间的相对位置被设定了，则可以生成虚拟空间图像。

与通过照射模式化光而被捕获的图像对应的虚拟空间图像经受使用对应于照射光模式的特征提取和相关性计算的模式匹配处理，以计算关于图像上的模式的二维位置的信息。另外，可基于要被操作的对象17、成像单元9和模式化光照射之间的相对位置来将该信息转换为空间位置信息。

如图6所示，要被测量的斑点（照射光模式的每个点）位于从照明系统10延伸的投影直线“s_i”与从摄像机9的位置延伸的直线“P”的交点上。

从而，如果已知直线之间的几何位置关系，则可从由成像单元9捕获的图像的表面上的图像点m_i=[X_v,Y_v]_t获取空间点M_i=[x_w,y_w,z_w]_t。下标“i”表示每个投影斑点号。由下面的等式（3）表示从照 明系统10到要被测量的对象的投影直线。

[数学式1]

M_i＝c+δs_i+co_i(i＝1、…、N_p)…(3)

其中，“c”为照明系统10的中心坐标，“s_i”是每个斑点的梯度，以及“co_i”是每个斑点的偏移坐标。另外，“N_p”表示投影斑点的总数，以及δ表示参数。

由下面的等式（4）表示与成像系统相关的几何约束条件。

PM'_i=wm'_i...(4) 

等式（4）示出斑点“i”的空间点M'_i=[M_ti,1]_t由透射投影矩阵“P”与图像点m'_i=[m_ti,1]_t的积表示。其中，“w”为非零常数。

其中，c、si和P是已知参数，m_i是观察数据，即，m_i对应于作为图像而被获取的斑点位置。通过执行模式匹配处理，可将观察数据mi计算为图像上的二维位置信息，在所述模式匹配处理中，使其上投射了模式化光的图像数据经受对应于投影斑点模式的特征提取和相关性计算，以计算相关性系数。

可使用除特征提取和模式匹配处理以外的方法作为用于从图像数据计算关于斑点模式的位置信息的方法。

作为上述描述的结果，可以根据上述等式（3）和（4）来计算包括与在模式化光照射位置中的深度距离有关的信息的三维位置数据作为空间点M_i。预先确定每个观察数据m_i对应于哪个照射斑点。

用于计算对比度值的方法

下面描述根据该示例实施例的用于计算对比度值的方法。通过下面的等式（5）定义根据该示例实施例的对比度值：

(Lmax-Lmin)/(Lmax+Lmin)...(5)

其中，Lmax和Lmin分别表示图像的亮度值的最大值和最小值。

通常，如果图像的对比度值极低或极高，上述识别处理和测量处理的可靠性趋于较低。在该示例实施例中，通过对比度值表示在步骤6中计算出的对比度。

用于计算遮挡比率的方法

下面描述根据该示例实施例的用于计算遮挡比率的方法。在步骤6中，计算所生成的虚拟图像中被另一个对象遮挡的不可见区域与要被识别并测量的对象的区域的比率。为了计算由于遮挡导致的不可见区域的比率，首先，从图8所示的虚拟图像中提取在上述识别处理中被识别为要被操作的对象的区域。图9示出提取出的区域。

然后，通过再次计算从图10所示的对应的要被操作的对象的三维CAD数据生成的二维模型与图9中的提取出的区域中的虚拟图像之间的相关性，来获得相关性系数。

更具体地，图9所示的虚拟图像包括被机械臂11部分地遮挡的构件部分，从而相比于未引起遮挡的情况，相关性系数减小。在该示例实施例中，通过相关性系数表示在步骤6中计算出的遮挡比率。用于计算由于遮挡导致的不可见区域的比率的方法不限于上述方法。

下面描述第二示例实施例。该示例实施例不同于第一示例实施例之处在于，限制其中布置虚拟对象的范围（自由度）。在第一示例实施例中，生成40000个不同的虚拟空间图像用于虚拟对象的布置。在该示例实施例中，控制单元18充当限制单元，被配置为限制其中布置虚拟对象的范围。

控制单元18可能需要大量的时间以计算用于每个虚拟空间图像的评价值。为此，该示例实施例旨在减少控制单元18消耗用于计算的时间，从而限制其中布置虚拟对象的范围，以减少要被生成的虚拟空间图像的数量。下面更具体地描述一种方法。

根据要被操作的对象17的形状的限制

例如，如果要被操作的对象17具有凹陷形状并且要被三维测量的区域为图11所示的凹陷形（着色区），则可以限制其中布置机器人系统的虚拟对象的范围。

用于通过模式化光照射的三维测量处理的照明系统10的位置和方向以及成像单元9的位置和方向被限制为其中可照射和捕获凹陷区域的位置。假设图11所示的要被操作的对象17具有锥形和底开口表面， 并且锥形表面的内部（着色区域）需要被三维测量。

在该情况中，尽管在第一示例实施例中，对于照明系统10和成像单元9中的每个的方向设置例如20个不同的参数，但在该示例实施例中可将参数限制为10个不同的自由度，如图12和13所示。尽管在第一示例实施例中，在特定区域中对于照明系统10和成像单元9的每个相对于机械臂11的方向设置10个不同的参数，但在该示例实施例中可将参数限制为5个不同的自由度，如图14和15所示。结果，根据该示例实施例的评价值的自由度被限制为由下面的等式（6）表示的自由度。

10*10*5*5=2500个组合...(6)

因此，在步骤6中可以减少用于计算评价值所需的时间。在减少上述搜索自由度中，可预先生成与用于凹陷形状对象的有效系统构件的设置位置和方向相关的设置参数的模式数量，作为基准表。根据在步骤1中对象形状的输入，可自动减少搜索自由度。

例如，从基准表排除既不能照射凹陷形状也不能捕获凹陷形状的图像的照明系统和成像单元的布置参数的组合，以允许自动减少搜索自由度。

或者，可基于在步骤1中输入的要被操作的对象17的光学特征来限制与系统构件的布置位置和方向相关的布置参数的模式数量。

如果要被操作的对象17是透明体，则根据在步骤1中输入的BTDF和BSDF来限制用于通过模式化光照射的三维测量处理的照明系统10的位置和方向以及成像单元9的位置和方向。

尽管在第一示例实施例中例如对于照明系统10和摄像机9的每个的方向设置20个不同的参数，但在该示例实施例中把参数限制为5个不同的自由度。尽管在第一示例实施例中对于照明系统10和成像单元9的每个相对于机械臂11的位置设置10个不同的参数，但在该示例实施例中将参数限制为3个不同的自由度。结果，根据该示例实施例的评价值的搜索自由度被限制为由下面的等式（7）表示的自由度。

5*5*3*3=225个组合...(7)

因此，在步骤6中可以减少用于计算评价值所需的时间。

在减少上述搜索自由度中，可预先生成与对应于BTDF和BSDF的有效系统构件的设置位置和方向相关的设置参数的模式数量，作为基准表。根据关于在步骤1中输入的对象的光学特征的信息，可自动减少搜索自由度。

例如，在透明体（如透镜）的情况中，从基准表中排除在BTDF等于或小于预定值的情况中的照明系统和成像单元的设置参数的组合，以允许自动减少搜索自由度。

如上所述，根据该示例实施例的识别和测量控制系统中的评价方法通过在计算评价值时限制与设置参数的组合相对应的搜索自由度，使得能够减少用于计算评价值所需的时间。

对其中布置其它虚拟对象的范围的限制

作为用于限制其中布置虚拟对象的范围的方法，可使用下述方法。例如，基于由操作机器人系统的用户输入的指令，消除明显不适于机器人系统的操作的虚拟对象的布置。图16示出根据用户指示的对布置虚拟对象的限制。

在图16中，显示单元35通过使用图像向用户显示虚拟对象的位置或布置。显示单元35可以是通用监视器。指令装置300把用户的用于布置虚拟对象的指令传送给控制单元18。指令装置300可包括与通用个人计算机类似的单元。如果用户通过输入单元（如鼠标）发出删除不需要的虚拟对象的布置和方向的指令，则指令装置300将该删除指令传送给控制单元18。指令装置300可以在删除处理之后使监视器35显示关于指令装置300的布置和方向的信息。

作为用于限制其中布置虚拟对象的范围的另一个方法，存在一种用于检测更新机器人系统的结构部件的方法。在该情况中，控制单元18充当被配置为检测机器人系统的结构部件是被删除还是被添加的检测单元，仅在变化的范围中生成虚拟空间图像，并计算评价值。基于机器人系统的结构部件的更新来限制其中布置虚拟对象的范围，从而可以构造更有效的机器人系统。

增加屏幕设备 

第三示例实施例与第一和第二示例实施例区别在于增加屏幕设备作为将在步骤2中输入的系统配置。另外，对将在步骤3中输入的用于布置系统构件的条件增加对在机器人单元的操作区中设置屏幕设备的位置的指定。 

如图17所示，由特定范围指定屏幕设备26在操作区200的区域框12中的设置位置。

在该示例实施例中，通过由图17所示的阴影区域表示的特定范围31来指定该设置位置。在该点，用保持装置27保持屏幕设备26，该保持装置27在操作区200中具有预定可移动范围。保持装置27包括致动器28，并且屏幕设备26的方向通过机器人系统控制。

要经由保持装置27而被设置在操作区200中的屏幕设备26的设置位置和方向被添加为在步骤6中计算评价值时的具有多个模式的系统构件的设置参数。

因此，在该示例实施例中，下面仅描述与第一示例实施例的机器人系统的评价方法不同之处。这里省略与第一示例实施例类似的其它部分的描述。

在该示例实施例中，假设采用具有镜面的构件29和由透明体构成的构件30作为要被操作的对象17。例如，在对具有镜面的构件施加在第一示例实施例中描述的使用模式化光照射的三维测量方法的情况下，通常，从照明系统照射的模式化光一旦显示在屏幕设备上，以下图像就被摄像机捕获并经受计算处理：在屏幕设备上显示的模式化光被镜面反射的图像。在改变模式化光、构件、摄像机以及屏幕设备之间的相对布置的同时多次重复该处理。

在对由透明体构成的构件施加使用在第一示例实施例中描述的模式化光照射的三维测量方法的情况下，通常，从照明系统照射的模式化光一旦显示在屏幕设备上，以下图像就被摄像机捕获并经受计算处理：在屏幕设备上显示的模式化光透射通过透明体的图像。在改变模式化光、构件、摄像机以及屏幕设备之间的相对布置的同时多次重复该处理。

根据该示例实施例的评价方法使得将屏幕设备添加到第一和第二示例实施例，以针对镜面或透明体施加使用模式化光照射的三维测量方法。

第三示例实施例不同于第一和第二示例实施例之处在于，在步骤2中输入屏幕设备26的类型和数量作为系统构件。更具体地，输入关于屏幕设备26的制造商和型号的信息。

在该示例实施例中，如同根据第一和第二示例实施例的针对成像单元9、照明系统10和机械臂11的情况，准备用于每个制造商和型号的特征数据作为数据库。通过指定制造商和型号，可以输入关于屏幕设备26的特征信息。关于屏幕设备26的特征信息包括屏幕设备26的形状、尺寸和光学特征。

在步骤3中，如同根据第一和第二示例实施例的针对照明系统10的情况，指定在机器人单元的操作区中设置屏幕设备26的位置。更具体地，如图17所示，在特定范围中指定在操作区中设置屏幕设备26的位置。

在该示例实施例中，通过由图17所示的阴影区域表示的特定范围31来指定设置位置。在该点，用保持装置27保持该屏幕设备26，该保持装置27在操作区200中具有预定可移动范围。保持装置27包括致动器28，并且屏幕设备26的设置方向通过机器人系统控制。

在步骤6中，添加屏幕设备26的设置方向的设置参数和与特定区域中的屏幕设备26的位置相关的设置参数，作为第一和第二示例实施例中的系统构件的设置参数。

例如，根据该示例实施例，屏幕设备26的布置方向的设置参数具有20个不同的自由度，而与屏幕设备26的位置相关的设置参数具有10个不同的自由度。因此，基于在第一示例实施例中设置的搜索自由度（40000个组合），通过下面的等式（8）表示评价值的搜索自由度。

40000*20*10=8000000个组合...(8)

在上述搜索自由度中，与第一和第二示例实施例中类似地执行步 骤6中的评价值的计算。对于步骤7和后续步骤中的处理，选择符合基准值的屏幕设备26的布置方向的设置参数和与特定区域中的屏幕设备26的位置相关的布置参数。除了增加这些参数向用户的呈现之外，该示例实施例与第一和第二示例实施例相似。

在上文中，描述了这样的方法，其中从照明系统10照射的模式化光被显示在屏幕设备26上并且被捕获为图像。然而，除了上述方法之外，可以使用另一种方法，其中在代替照明系统10的诸如液晶显示器（LCD）的显示设备上显示模式化光，并捕获其中模式化光被镜面反射的图像或者其中模式化光透射通过透明体的图像。在这种情况下，不需要提供屏幕设备和照明系统的模式化光照射功能，并且可以与在第一和第二示例实施例中照射模式化光的情况中的照明系统类似地处理该显示设备。

关于在上述镜面和透明体中的三维测量已经讨论了大量的已知方法，从而省略对其的描述。如上所述，在根据该示例实施例的识别和测量控制系统中，可以考虑屏幕设备的布置和取向来确定布置参数。

在根据第四示例实施例的机器人系统的评价方法中，增加包括机械臂的操作速度的操作模式，作为在第一示例实施例中描述的在步骤3中输入的用于系统构件的布置条件。另外，增加任务处理的节拍时间（tact time）作为在步骤6中计算出的评价值，并且增加任务处理的节拍时间作为要被输入的评价值需要在步骤5中满足的基准值。

另外，增加把考虑机械臂和要被操作的对象的动态特征的图像用作由在第一示例实施例中描述的成像单元9获取的虚拟图像。因此，在该示例实施例中，下面仅描述与第一示例实施例的机器人系统的评价方法不同之处。这里省略与第一示例实施例类似的其它方面的描述。

在该示例实施例中，假设要作为要被操作的对象而被识别并测量的对象是以下对象：该对象当被机械臂抓取的同时而移动和停止时可能导致振动，并具有相对较小的杨氏模数。

例如，如果柔性印刷电路板在被机械臂抓取的同时而移动和停 止，则根据该电路板的杨氏模数和振动阻尼特性，该电路板可能导致在特定时段期间的振动。此处，如果构件在留有振动的情况下经受识别和测量处理，则由于图像上的构件形状变形所以识别和测量处理的精度下降。

在不能忽略这样的振动的构件中，需要适当地确定包括获取图像时的机械臂的操作速度的操作模式。因此，根据该示例实施例，把预先设置的包括机械臂11的操作速度的10个操作模式添加到在第一示例实施例中设置的搜索自由度（40000个组合）。因此，根据该示例实施例的评价值的搜索自由度由下面的等式（9）表示。

40000*10=400000个组合...(9)

在步骤5中，输入在任务处理中的节拍时间的基准值以及其它评价值需要满足的基准值。在步骤6中，针对400000个组合的搜索自由度计算包括节拍时间的每个评价值。

当计算识别可靠性和测量可靠性作为评价值时，虚拟地生成具有变形的要被操作的对象的图像，以执行识别处理和测量处理。当生成图像时，在对应于机械臂11的操作速度的10个操作模式中考虑要被操作的对象的动态特征。

在步骤7中，与第一示例实施例中的其它评价值的情况类似，把包括任务处理的节拍时间的每个评价值与要由在步骤5输入的每个评价值满足的基准值相比较。然后，选择表示最接近于基准值的值的设置参数的组合。

更具体地，要被操作的对象根据其杨氏模数、振动阻尼特征以及机械臂的操作速度而变形。使用受到上述因素的影响而变形的图像来计算评价值。因此，可以同时考虑由机械臂的操作导致的构件的变形和依赖于机械臂的操作速度的节拍时间来确定系统构件的设置参数。

用于选择设置参数的优化组合的方法与第一示例实施例类似。用于在最终的步骤8中向用户呈现在步骤7中确定的系统构件的布置参数的方法也与第一示例实施例类似。

在该示例实施例中，尽管包括机械臂11的操作速度的操作模式是 被预先设置的，但用户可在步骤4中直接输入多个操作模式。或者，用户可以从在步骤4中预先设置和呈现的多个操作模式中选择适当的操作模式。

如上所述，在根据该示例实施例的机器人系统中用户可通过在评价值中包括节拍时间基于所呈现的布置参数来容易地设置实际机器人系统的摄像机和照明系统。

在第五示例实施例中，下面描述与用户的图形用户界面。

图18示出根据该示例实施例的图形用户界面的示例。图18示出在上述步骤1中的图形用户界面。用户根据在显示单元上显示的向导来输入关于要被识别并测量的对象的类型和物理特性的信息。

图19示出在上述步骤2中的图形用户界面。用户根据所显示的向导来输入在识别和测量控制系统中包括的系统构件的类型和数量。

图20示出在上述步骤3中的图形用户界面。用户根据在显示单元上显示的向导来输入用于布置系统构件的条件。

如图20所示，当输入用于布置系统构件的条件时，可以使用在显示单元的屏幕上显示的操作区中的三维模型用于处理。用户可以通过用光标拖动目标系统构件来指定布置系统构件的区域。用户可使用坐标值来直接输入布置系统构件的区域。通过程序计算布置系统构件的指定区域并将其存储为操作区中的坐标值。

如图21所示，控制单元18充当被配置为显示虚拟对象和虚拟空间的显示单元。当指定其中布置照明系统和摄像机的区域时，用户可以通过在显示设备中拖动光标来指定矩形区域以设置希望的区域。用户可以使用坐标值直接输入布置区域。

图22示出在上述步骤4中的图形用户界面。用户根据在显示单元上显示的向导来输入任务处理的内容。如图22所示，可通过坐标值输入或从预先设置的典型任务处理模型中选择在处理机械臂的任务时的操作流程。

与上述图18至22类似的图形用户界面可被用于步骤5至8中的处理。

可以按照正在工作的生产线的要求来计算上述预定评价值，并且如果该评价值不满足预先设置的基准值，则可以作为附加功能执行通知。例如，可通过语音或在图23所示的屏幕上的显示向用户给出警告。

如果用户接收到警告，则用户可以再次利用识别和测量系统中的评价方法、模拟装置以及评价装置来修改设置，以使得系统构件的设置参数满足基准值。

如上所述，如果在生产线工作的同时布置参数不满足基准值，则根据该示例实施例的识别和测量系统中的评价方法和评价装置向用户给出警告。因此，用户可以容易地确定能够在不降低图像质量的情况下执行高可靠性识别和测量处理的布置参数。

尽管参考示例实施例描述了本发明，但应理解本发明不限于所公开的示例实施例。所附权利要求的范围要被赋予最宽泛的解释，从而包括所有修改、等同结构和功能。

本申请要求在2010年3月10日提交的日本专利申请No.2010-053409的优先权，其全部内容通过引入而合并于此。

Claims (12)

1.一种信息处理装置，包括成像单元并且能够设置机器人系统的结构部件的布置，所述机器人系统基于由所述成像单元捕获的图像而操作，所述信息处理装置包括：

布置单元，被配置为在与机器人系统的操作空间相对应的虚拟空间中布置与机器人系统的结构部件相对应的虚拟对象；以及

第一获取单元，被配置为获取与捕获的图像相对应并且其中布置有虚拟对象的虚拟空间中的虚拟空间图像，

其特征在于，所述信息处理装置还包括：

第二获取单元，被配置为基于所述虚拟空间图像来获取评价值，所述评价值表示虚拟对象的布置对机器人系统的操作的适应性。

2.根据权利要求1所述的信息处理装置，其中所述第一获取单元获取多个虚拟空间图像，所述多个虚拟空间图像彼此之间的虚拟对象的布置不同，并且所述第二获取单元获取与所述多个虚拟空间图像中的各个虚拟空间图像相对应的多个评价值，

所述信息处理装置还包括通知单元，该通知单元被配置为：从所述多个评价值中选择更适于机器人系统的操作的评价值并通知用户与所选择的评价值相对应的机器人系统的结构部件的布置参数。

3.根据权利要求1的信息处理装置，其中，所述第二获取单元使用以下至少一项来获取评价值：所述虚拟空间图像的对比度值、所述虚拟空间图像中的虚拟对象的识别可靠性、所述虚拟空间图像中的虚拟对象的遮挡比率、以及所述虚拟空间图像中的虚拟对象的测量可靠性。

4.根据权利要求1所述的信息处理装置，其中，所述机器人系统的结构部件的布置包括以下至少一项：成像单元的布置、用于照射所述机器人系统中的要被操作的对象的照明系统的布置、用于操作所述要被操作的对象的机械臂的布置、以及屏幕设备的布置。

5.根据权利要求1的信息处理装置，其中，所述第二获取单元使用以下至少一项来获取所述评价值：所述机器人系统的操作的节拍时间、关于照明系统的照射的信息、以及关于所述结构部件的形状模型的信息。

6.根据权利要求1所述的信息处理装置，还包括被配置为使显示单元显示作为计算机制图图像的虚拟空间和虚拟对象的显示控制单元。

7.根据权利要求1-6中任一项所述的信息处理装置，还包括限制单元，该限制单元被配置为限制其中通过所述布置单元布置虚拟对象的布置范围，

其中，所述第一获取单元在所述布置范围中获取多个虚拟空间图像，所述多个虚拟空间图像彼此之间的虚拟对象的布置不同。

8.根据权利要求7所述的信息处理装置，其中，所述限制单元基于用户指示来限制其中通过所述布置单元布置虚拟对象的布置范围。

9.根据权利要求7所述的信息处理装置，其中，所述限制单元根据所述机器人系统中的要被操作的对象的形状来限制其中通过所述布置单元布置虚拟对象的布置范围。

10.根据权利要求7所述的信息处理装置，还包括检测单元，该检测单元被配置为检测所述机器人系统的结构部件的改变，

其中，所述限制单元基于检测到的改变来限制其中通过所述布置单元布置虚拟对象的布置范围。

11.一种机器人系统，包括成像单元并且能够基于由成像单元捕获的图像而操作，所述机器人系统包括：

布置单元，被配置为在与机器人系统的操作空间相对应的虚拟空间中布置与机器人系统的结构部件相对应的虚拟对象；

第一获取单元，被配置为获取与捕获的图像相对应并且其中布置有虚拟对象的虚拟空间中的虚拟空间图像，

其特征在于，所述机器人系统还包括：

第二获取单元，被配置为基于所述虚拟空间图像来获取评价值，所述评价值表示虚拟对象的布置对机器人系统的操作的适应性；以及

输出单元，被配置为基于所述评价值来输出所述结构部件的布置参数。

12.一种用于控制信息处理装置的方法，所述信息处理装置包括成像单元并且能够设置机器人系统的结构部件的布置，所述机器人系统基于由所述成像单元捕获的图像而操作，所述方法包括：

布置步骤，用于使布置单元在与机器人系统的操作空间相对应的虚拟空间中布置与机器人系统的结构部件相对应的虚拟对象；以及

第一获取步骤，用于使第一获取单元获取与捕获的图像相对应并且其中布置有虚拟对象的虚拟空间中的虚拟空间图像，

其特征在于，所述方法还包括：

第二获取步骤，用于使第二获取单元基于所述虚拟空间图像来获取评价值，所述评价值表示虚拟对象的布置对机器人系统的操作的适应性。