CN106826809A - 位置姿势测量装置以及机器人系统 - Google Patents

位置姿势测量装置以及机器人系统 Download PDF

Info

Publication number
CN106826809A
CN106826809A CN201610920742.5A CN201610920742A CN106826809A CN 106826809 A CN106826809 A CN 106826809A CN 201610920742 A CN201610920742 A CN 201610920742A CN 106826809 A CN106826809 A CN 106826809A
Authority
CN
China
Prior art keywords
mentioned
posture
data
model data
combination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610920742.5A
Other languages
English (en)
Other versions
CN106826809B (zh
Inventor
佐藤大雅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Publication of CN106826809A publication Critical patent/CN106826809A/zh
Application granted granted Critical
Publication of CN106826809B publication Critical patent/CN106826809B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1684—Tracking a line or surface by means of sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/088—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices with position, velocity or acceleration sensors
    • B25J13/089—Determining the position of the robot with reference to its environment
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40053—Pick 3-D object from pile of objects
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40607—Fixed camera to observe workspace, object, workpiece, global
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Abstract

本发明涉及位置姿势测量装置以及机器人系统。该位置姿势测量装置能够正确地测量多个物品的位置姿势，该机器人系统包括该位置姿势测量装置和机器人，能够正确地进行该机器人针对该物品的作业。位置姿势测量装置具备：模型数据存储部，其将表示工件形状的三维形状数据存储为模型数据；位置姿势计算部，其对照从三维传感器发送的场景数据和存储在模型数据存储部中的模型数据，从而进行多个工件的各自的检测和位置姿势的计算；以及组合评价部，其对通过位置姿势计算部计算出的位置姿势的所有组合计算评价值，将上述评价值成为最大的位置姿势的组合作为测量结果发送给机器人控制装置。

Description

位置姿势测量装置以及机器人系统
技术领域
本发明涉及一种测量多个物品的位置以及姿势的位置姿势测量装置，还涉及具有该位置姿势测量装置、针对该多个物品进行作业的机器人的机器人系统。
背景技术
在针对配置在容器和托板等预定区域内的多个物品进行使用了机器人的取出等作业的机器人系统中，在进行该作业前，进行测量成为作业对象的物品的位置以及姿势(以后也称为位置姿势)的作业。以往，提出测量该作业对象物品的位置姿势的各种方法和装置。
例如在日本特开2010-210511号公报中记载一种三维位置/姿势识别装置，该装置比较对象物的集合的三维位置/姿势数据、使位置和姿势发生了变化的对象物的三维模型的位置/姿势数据，并识别对象物，根据对象物的集合决定与三维模型的位置/姿势一致度高的对象物。
另外，日本特开2009-128191号公报中记载一种物体识别装置，该装置通过进行基于自旋图像等对象物体的特征量的高速定位，对照对象物体的三维形状数据(模型)和从距离传感器得到的距离数据(场景)，以迅速识别对象物体的三维的位置姿势作为目的，还记载了以下内容，即通过使用从物体识别装置输出的位置姿势信息，能够使机器人沿着实际物体的位置姿势迅速地动作。
在密集配置有相同形状的多个物品的例如散乱堆积的状态等中，如果通过对照三维模型和测量数据等来求出各物品的位置姿势，则在测量区域内重复出现相同的特征，因此容易产生错误测量(参照后述的图5相关的说明)。这样错误的测量结果是可以通过多个物品之间的位置关系而产生的，在如日本特开2010-210511号公报或日本特开2009-128191号公报中所记载的、提高针对每个物品的测量精度的技术中，是难以解决的问题，其结果为，难以基于该测量结果适当地进行由机器人执行物品的取出作业。
发明内容
因此本发明的目的在于提供位置姿势测量装置和机器人系统，该位置姿势测量装置即使在散乱堆积多个同种物品的情况下，也能够正确地测量各物品的位置姿势，该机器人系统包括该位置姿势测量装置以及机器人，能够正确地进行该机器人针对该物品的作业。
为了达到上述目的，本申请发明的一个方式提供一种位置姿势测量装置，该位置姿势测量装置测量配置在测量区域内的多个物品的位置姿势，该位置姿势测量装置具备：模型数据存储部，其将上述物品的形状信息存储为模型数据；传感器部，其测量上述测量区域内，并作为包括上述多个物品的场景数据来取得；位置姿势计算部，其对照上述模型数据和上述场景数据，计算上述多个物品的位置姿势；以及组合评价部，其从由上述位置姿势计算部计算出的多个位置姿势选择多组包括单一位置姿势的位置姿势的组合，对于选择出的上述位置姿势的组合分别计算评价值，将上述评价值成为最大的位置姿势的组合作为上述多个物品的位置姿势进行输出。
在优选的实施方式中，上述组合评价部针对各物品的位置姿势配置上述模型数据，计算所配置的上述模型数据和上述场景数据之间的一致度，并计算针对在上述位置姿势的组合中包括的所有位置姿势配置了上述模型数据时，通过计算所配置的上述模型数据之间重复的区域而得到的重复度，根据上述一致度和上述重复度来计算上述评价值。
在优选的实施方式中，上述模型数据存储部将上述物品的三维模型数据存储为上述形状信息，上述组合评价部在针对在上述位置姿势的组合中包括的所有位置姿势配置上述模型数据时，将所配置的上述模型数据之间重复的体积计算为上述重复度。
在优选的实施方式中，上述模型数据存储部将上述物品的三维模型数据存储为上述形状信息，上述传感器部取得上述测量区域内的多个对象物品的表面的三维形状作为场景数据，上述组合评价部在对各物品的位置姿势配置上述三维模型数据时，将上述三维模型数据的表面和上述场景数据一致的区域的面积、或者通过上述三维模型数据的表面和上述场景数据而对应的三维点的个数计算为上述一致度。
在优选的实施方式中，上述传感器部取得上述测量区域内的多个对象物品的图像作为上述场景数据，上述组合评价部在对在上述位置姿势的组合中包括的所有位置姿势配置上述模型数据时，将在上述图像上上述模型数据之间重复的面积计算为上述重复度。
在优选的实施方式中，上述模型数据存储部存储从上述物品的形状信息提取出的上述物品的特征点的集合，上述组合评价部从上述场景数据提取特征点，计算在对上述位置姿势配置上述模型数据时上述模型数据所包括的特征点与从上述场景数据提取出的特征点一致的数量作为上述一致度。
另外，本发明的其他方式为，提供一种机器人系统，其具有上述位置姿势测量装置、构成为针对上述多个物品进行作业的机器人以及控制上述机器人的机器人控制装置。
附图说明
通过参照附图说明以下优选的实施方式，能够更加明确本发明的上述或者其他目的、特征和优点。
图1是表示本发明第一实施方式的机器人系统的概略结构的图。
图2是表示单一工件的形状的一例的图。
图3是表示图1的位置姿势测量装置的功能框图。
图4是表示图1的机器人系统中的处理的一例的流程图。
图5是表示散乱堆积配置多个工件的状态的一例的图。
图6是表示本发明第二实施方式的机器人系统的概略结构的图。
具体实施方式
图1是表示本发明第一实施方式的机器人系统10的概略结构的图。机器人系统10具有机器人12、与机器人12连接并控制机器人12的机器人控制装置14、拍摄存在机器人12的作业对象物品(工件)16的测量区域18并且取得工件16的表面三维形状作为场景数据的传感器部(三维传感器)20、与三维传感器20连接并且根据三维传感器20所取得的场景数据来测量工件的位置姿势的工件位置姿势测量部(位置姿势测量装置)22。
机器人12例如是6轴的多关节机器人，具有机器人臂24等可动部和安装在机器人臂24的前端上的机械手(夹具)26，通过夹具26把持并逐次地(通常是一个一个)取出配置在预定的(图示例中在托板28上的)作业区域18上的多个工件16。另外，机器人控制装置14根据位置姿势测量部22所测量/输出的工件16的位置姿势，控制机器人12(机器人臂24以及夹具26的动作)，并进行工件的取出作业。
三维传感器20将配置在测量范围内的多个工件16的表面形状的数据(场景数据)发送给位置姿势计算装置22。作为三维传感器20，能够使用各种的非接触方式的传感器，例如作为三维传感器20能够使用以下方式的传感器，即使用了2台照相机的立体式、激光裂隙扫描的方式、激光光斑扫描的方式、使用投影仪等将模式光投影到物品的方式、使用从投光灯出射光后到通过物品表面反射并入射到受光器为止的时间的方式等。另外，在图1的例子中，三维传感器20被固定在专用的架台30上，但是也可以安装在机器人臂24等可动部上。
图2是表示单一工件16的形状的一例的图。工件16具有圆柱形状的大直径部分32和比大直径部分32小的直径并且与大直径部分32同轴连接的小直径部分34，在小直径部分34的轴方向端部形成缺口36。在本实施方式中，多个工件16全部设为相同形状并且相同尺寸，但是本发明不限定于这些。
图3是表示位置姿势测量装置22的功能框图。位置姿势测量装置22具有：模型数据存储部38，其将表示工件16的形状的三维形状数据(形状信息)存储为模型数据；位置姿势计算部40，其通过对照从三维传感器20发送来的场景数据和存储在模型数据存储部38中的模型数据，进行多个工件16的各自的检测和位置姿势的计算；以及组合评价部42，其对于通过位置姿势计算部40计算出的位置姿势的所有组合计算评价值，将评价值为最大的位置姿势的组合作为测量结果发送给机器人控制装置14。另外，模型数据可以是工件16的CAD数据和从CAD数据生成的数据，也可以通过由三维传感器20测量工件16的形状后得到的数据而生成。
接着，参照图4的流程图说明机器人系统10的处理的流程。首先，在步骤S101中，如图1所示，通过三维传感器20测量配置在测量区域18内(例如托板28上)的多个(这里是相同形状和相同尺寸)工件16，取得包括测量区域18内的多个工件16的表面形状的场景数据。取得的场景数据被发送给位置姿势测量装置22(的位置姿势计算部40)。
接着，在步骤S102中，位置姿势计算部40对照发送来的场景数据和存储在模型数据存储部38中的模型数据，计算多个工件16的位置姿势。
关于步骤S102，对照模型数据和场景数据来计算工件的三维位置姿势的方法有各种方法，没有特别的限制。例如存在如下方法，即根据模型数据的表面上的多个三维位置计算PPF(Point Pair Feature：特征点对)特征量和SHOT(Signature Histogram ofOrientation：方向特征直方图)特征量这样的三维特征，对测量数据也计算三维特征，从场景数据搜索具有相同特征量的三维位置，从而根据这些计算位置姿势。作为其他的方法，有以下方法：在预先决定的搜索位置范围、在搜索姿势范围内使模型数据的位置姿势发生变化，计算模型数据和场景数据的表面一致的区域，如果一致的区域面积是预定值以上，则作为计算结果输出此时的位置姿势。
接着，在步骤S103中，组合评价部42针对通过位置姿势计算部40计算出的多个工件的各自的位置姿势虚拟地配置模型数据存储部38中存储的三维模型数据，对照模型数据的表面和场景数据，计算两者一致的区域面积来作为一致度。另外，在以三维点群的形式取得场景数据的情况下，计算场景数据和模型数据的表面相互对应的(在预定的误差范围内一致)三维点的个数来作为一致度。组合评价部42还针对通过位置姿势计算部40计算出的位置姿势的所有的对，虚拟地配置在模型数据存储部38中存储的模型数据，计算模型数据之间重复的区域的体积来作为重复度(步骤S104)。
接着，在步骤S105中，组合评价部42根据由位置姿势计算部40计算出的所有位置姿势来选择还没有计算出评价值的位置姿势的组合。并且在步骤S106中，针对选择出的位置姿势的组合，使用在步骤S103计算出的一致度和在步骤S104计算出的重复度中选择出的组合中包括的一个来计算组合的评价值。然后，在当前选择出的组合的评价值比在这之前计算出的组合的评价值中最大的值大的情况下，将当前选择出的组合作为测量结果候补存储(保持)在组合评价部42或适当的存储器等中。
关于步骤S106，组合评价部42针对通过位置姿势计算部40计算出的位置姿势的所有组合，根据各自的组合中包括的位置姿势的一致度和位置姿势之间的重复度来计算各自的组合的评价值。更具体地说，根据与选择出的工件的位置姿势对应的一致度和与选择出的工件组合中包括的所有对相对应的重复度来计算位置姿势的组合的评价值。通过以下的公式(1)表示该评价值的计算式的一例。
在公式(1)中，组合Ca的评价值Sa是例如从将加权k1乘以组合Ca中包括的位置姿势xi的一致度f(xi)后得到的值减去将加权k2乘以组合Ca中包括的2个位置姿势xi、xj的重复度g(xi、xj)后得到的值而得到的。
以将多个工件如图5那样的状态散乱配置的情况作为一例来说明上述的处理。在图5的例子中，实际上存在3个工件16a、16b以及16c，但是当工件16b的大直径部份32b和工件16c的小直径部分32b大致同轴地接触时，在现有的位置姿势检测方法中，由大直径部分32b和小直径部分34c组成的(实际不存在的)工件会作为1个工件16d而被检测出。此时，在步骤S102中检测出的工件的位置姿势为4种，另外，这些组合中也包括工件16d和工件16b、工件16d和工件16c的组合等包括工件16d的组合。
但是，如果对包括工件16以及工件16b的组合计算评价值，则工件16d的大直径部分与工件16b的大直径部分32b相同，所以两者重复，作为结果公式(1)的评价值为比较低的值。同样，如果对于包括工件16d以及工件16c的组合计算评价值，则工件16d的小直径部分和工件16c的小直径部分34c相同，所以两者重复，作为结果公式(1)的评价值还是为比较低的值。
作为结果，在图5的例子中，如果对于工件16a～16d的位置姿势的所有组合分别求出评价值，则包括工件16a、16b以及16c的(不包括工件16d)的组合的评价值为最高的值，这作为多个(此时3个)工件的位置姿势从位置姿势测量部22被发送给机器人控制装置14。因此机器人12能够根据正确的测量结果取出工件。
另外，求出评价值的公式不限于上述公式(1)。例如针对计算出的位置姿势虚拟地配置存储在模型数据存储部38中的模型数据，将其与场景数据对照，计算物理上与场景数据不一致的区域，也能够将计算出的区域组入到组合的评价值中。
在第一实施方式中，组合评价部42针对通过位置姿势计算部40计算出的位置姿势的所有组合计算评价值，输出测量结果，但是也可以将计算评价值的组合限定为预先选择出的组合。例如，可以将求出评价值的位置姿势的组合限定为包括特定工件的组合，相反也能够限定为不包括特定的工件的组合。另外上述公式(1)能够改写为2次整数计划问题，也能够有效地求出近似解。
再次参照图4，在步骤S107中，判定对于所有组合的评价值的计算是否结束，在结束的情况下进入步骤S108。另一方面，当有计算值的计算没有结束的组合时，返回步骤S105。
在步骤S108，位置姿势测量装置22所保持的测量结果候补(即评价值为最大)作为测量结果被输出/传送给机器人控制装置14。然后，在接下来的步骤S109，机器人控制装置14根据与传送来的测量结果对应的位置姿势，控制机器人12，并通过夹具26保持并取出对象工件。
在第一实施方式中，对于各组合而求出的评价值包括一致度以及重复度，该评价值被设定为，一致度越高则该评价值越高，重复度越高则该评价值越低。所以即使一致度高与重复度也高的组合的评价值则变低，在被发送到机器人控制装置14的位置姿势的组合中没有被采用。这样，在位置姿势测量装置22中，不是只对单一的工件位置姿势求出评价值，而是对于包括单一位置姿势的工件位置姿势的组合求出评价值，从而能够极力抑制图5例示的错误检测的发生。因此，在机器人控制装置14根据由位置姿势测量装置22输出的位置姿势来控制机器人12的机器人系统10中，机器人12能够根据正确的位置姿势信息进行针对工件16的处理作业等。
另外，在第一实施方式中，针对测量区域内的多个工件16的表面形状数据即场景数据，将模型数据一致的区域面积设为一致度，由此作为测量结果得到针对场景数据一致的部分变多的位置姿势候补的组合。由此，能够减少机器人针对测量区域内的对象物品作业遗漏的概率。进一步，将通过三维形状数据而分别配置在位置姿势候补上的模型数据之间的重复的区域体积设为重复度，由此能够判别物理上不能够共存的位置姿势候补的组合，能够正确地去除不正确的位置姿势候补的组合。这样，能够改善机器人正确地进行作业的概率。
图6是表示本发明第二实施方式的机器人系统10’的概略结构的图。另外在第二实施方式中，只说明与第一实施方式不同的部分，对于与第一实施方式相同的结构要素赋予相同的参照标记并省略详细的说明。
在第二实施方式中，取出对象的工件44具有钣金等平面的形状，多个配置在机器人12的作业区域(测量区域)18内的平面上。参照标记46表示取得工件的二维图像作为场景数据的二维传感器，例如(1台)照相机。照相机46能够取得测量区域18内的多个工件44的图像作为场景数据。
位置姿势测量装置22中包括的模型数据存储部38将通过照相机46拍摄工件44而得到的二维图像和该二维图像上的工件44的区域保持(存储)为模型数据。模型数据存储部38还存储从工件44的形状信息提取出的工件特征点的集合。
位置姿势测量装置22的位置姿势计算部40对照工件的模型数据和场景数据，从而确定各个工件的二维图像上的位置姿势。这里，对照模型数据和场景数据，计算对象物品的二维图像上的位置姿势的方法有多种，没有特别的限制。例如有以下方法，即根据模型数据计算SIFT(Scale Invariant Feature Transform：尺度恒定特征变换)特征和SURF(Speeded Up Robust Features：加速鲁棒特征)特征这样的图像特征，对场景数据也计算同样的图像特征，通过求出4个以上两图像特征间的对应关系来计算位置姿势。
另外，位置姿势计算部40保持配置有工件44的平面(这里是托板28的上面)的信息，能够根据该信息和二维图像上的各个工件的位置来确定各个工件44的三维位置姿势。
位置姿势测量装置22的组合评价部42为了计算一致度，从模型数据和场景数据提取图像的边缘特征(特征点)。另外，组合评价部42针对通过位置姿势计算部40计算出的位置姿势，计算虚拟地配置在模型数据存储部38中存储的模型数据时该模型数据中包括的边缘特征的位置姿势，对照从场景数据提取出的边缘特征，计算针对各自的位置姿势的一致度。具体地说，能够将从工件44的三维模型的形状信息提取出的特征点与从场景数据提取出的特征点一致的数量设为一致度。
进一步，组合评价部42针对通过位置姿势计算部40计算出的位置姿势虚拟地配置在模型数据存储部38中存储的模型数据，关于位置姿势的对，将模型数据存储部38中存储的模型数据的区域在通过二维传感器而得到的图像上重复的面积计算为重复度。
在第二实施方式中，工件44分别具有实质平面形状，所以作为取得场景数据的传感器能够不使用三维传感器而通过比较便宜的二维传感器(照相机等)构筑错误测量少的系统。另外，将从工件的形状信息提取出的特征点与从场景数据提取出的特征点一致的数量设为一致度，计算将在二维图像上模型数据之间重复的面积设为重复度的评价值，从而能够作为测量结果得到正确的位置姿势候补的组合。
另外，当然也可以将第一以及第二实施方式中分别说明的一致度和重复度的计算方法适当进行组合。例如，能够将第一实施方式说明的一致度的计算方法与第二实施方式说明的重复度的计算方法进行组合。
另外，上述实施方式的位置姿势测量装置被作为与机器人控制装置连接的另外装置(个人计算机等)进行了说明，但是，位置姿势测量装置也可以实质一体地被组入到机器人控制装置中。另外，例如能够通过CPU和存储器来实现位置姿势测量装置各部的功能。
根据本发明的位置姿势测量装置，能够不根据针对按照每个工件求出的位置姿势候补计算出的评价值，而是根据针对多个位置姿势候补计算的评价值来选择位置姿势候补，能够大大减少产生仅评价每个工件的位置姿势候补而难以判别的错误测量的可能性。另外，能够通过与对于各自的位置姿势候补的评价值不同的基准来去除错误测量，因此能够较低地设定针对各自的位置姿势的评价值的阈值，能够降低尽管实际存在而作为测量结果却没有被输出的对象物品发生的概率。
另外，在包括上述位置姿势测量装置的机器人系统中，能够改善机器人正确进行作业的概率。特别是需要机器人对测量区域内的所有对象物品进行作业的情况下，能够降低产生作业遗漏的概率。

Claims (7)

1.一种位置姿势测量装置，测量配置在测量区域内的多个物品的位置姿势，其特征在于，
该位置姿势测量装置具备：
模型数据存储部，其将上述物品的形状信息存储为模型数据；
传感器部，其测量上述测量区域内，并作为包括上述多个物品的场景数据来取得；
位置姿势计算部，其对照上述模型数据和上述场景数据，计算上述多个物品的位置姿势；以及
组合评价部，其从由上述位置姿势计算部计算出的多个位置姿势选择多组包括单一位置姿势的位置姿势的组合，对于选择出的上述位置姿势的组合分别计算评价值，将上述评价值成为最大的位置姿势的组合作为上述多个物品的位置姿势进行输出。
2.根据权利要求1所述的位置姿势测量装置，其特征在于，
上述组合评价部针对各物品的位置姿势配置上述模型数据，计算所配置的上述模型数据和上述场景数据之间的一致度，并计算针对在上述位置姿势的组合中包括的所有位置姿势配置了上述模型数据时，通过计算所配置的上述模型数据之间重复的区域而得到的重复度，根据上述一致度和上述重复度来计算上述评价值。
3.根据权利要求2所述的位置姿势测量装置，其特征在于，
上述模型数据存储部将上述物品的三维模型数据存储为上述形状信息，
上述组合评价部在针对在上述位置姿势的组合中包括的所有位置姿势配置上述模型数据时，将所配置的上述模型数据之间重复的体积计算为上述重复度。
4.根据权利要求2或3所述的位置姿势测量装置，其特征在于，
上述模型数据存储部将上述物品的三维模型数据存储为上述形状信息，
上述传感器部取得上述测量区域内的多个对象物品的表面的三维形状作为场景数据，
上述组合评价部在对各物品的位置姿势配置上述三维模型数据时，将上述三维模型数据的表面和上述场景数据一致的区域的面积、或者通过上述三维模型数据的表面和上述场景数据而对应的三维点的个数计算为上述一致度。
5.根据权利要求2或4所述的位置姿势测量装置，其特征在于，
上述传感器部取得上述测量区域内的多个对象物品的图像作为上述场景数据，
上述组合评价部在对在上述位置姿势的组合中包括的所有位置姿势配置上述模型数据时，将在上述图像上上述模型数据之间重复的面积计算为上述重复度。
6.根据权利要求2、3或5所述的位置姿势测量装置，其特征在于，
上述模型数据存储部存储从上述物品的形状信息提取出的上述物品的特征点的集合，
上述组合评价部从上述场景数据提取特征点，计算在对上述位置姿势配置上述模型数据时上述模型数据所包括的特征点与从上述场景数据提取出的特征点一致的数量作为上述一致度。
7.一种机器人系统，其特征在于，
该机器人系统具备：
权利要求1～6中的任意一项所述的位置姿势测量装置；
构成为针对上述多个物品进行作业的机器人；以及
控制上述机器人的机器人控制装置。
CN201610920742.5A 2015-11-30 2016-10-21 位置姿势测量装置以及机器人系统 Active CN106826809B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015233181A JP6117901B1 (ja) 2015-11-30 2015-11-30 複数の物品の位置姿勢計測装置及び該位置姿勢計測装置を含むロボットシステム
JP2015-233181 2015-11-30

Publications (2)

Publication Number Publication Date
CN106826809A true CN106826809A (zh) 2017-06-13
CN106826809B CN106826809B (zh) 2018-04-10

Family

ID=58667144

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610920742.5A Active CN106826809B (zh) 2015-11-30 2016-10-21 位置姿势测量装置以及机器人系统

Country Status (4)

Country Link
US (1) US10055805B2 (zh)
JP (1) JP6117901B1 (zh)
CN (1) CN106826809B (zh)
DE (1) DE102016013986B4 (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109551459A (zh) * 2017-09-25 2019-04-02 发那科株式会社 机器人系统以及工件取出方法
CN109814492A (zh) * 2017-11-22 2019-05-28 发那科株式会社 工具姿势控制装置
CN110348279A (zh) * 2018-04-05 2019-10-18 欧姆龙株式会社 物体识别处理装置和方法、以及物体拣选装置和方法
CN111185900A (zh) * 2018-11-14 2020-05-22 科沃斯机器人股份有限公司 机器人控制方法及清洁机器人
CN111860099A (zh) * 2019-04-24 2020-10-30 株式会社日立制作所 物品识别系统以及物品识别方法
CN112074382A (zh) * 2018-05-02 2020-12-11 X开发有限责任公司 定位机器人传感器以用于物体分类
CN112276935A (zh) * 2019-07-22 2021-01-29 发那科株式会社 位置姿势确定装置、位置姿势确定方法以及位置姿势确定程序
CN112534476A (zh) * 2018-09-07 2021-03-19 欧姆龙株式会社 对象物识别装置、操作器以及移动机器人
CN112584986A (zh) * 2019-03-15 2021-03-30 欧姆龙株式会社 参数调整装置、参数调整方法以及程序
CN112711249A (zh) * 2019-10-24 2021-04-27 科沃斯商用机器人有限公司 机器人定位方法、装置、智能机器人和存储介质

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6333871B2 (ja) * 2016-02-25 2018-05-30 ファナック株式会社 入力画像から検出した対象物を表示する画像処理装置
JP6589847B2 (ja) * 2016-12-26 2019-10-16 株式会社ダイフク 物品積載設備
JP7145851B2 (ja) * 2017-06-13 2022-10-03 川崎重工業株式会社 作業システム
JP6897396B2 (ja) * 2017-07-28 2021-06-30 セイコーエプソン株式会社 制御装置、ロボットシステムおよび制御方法
US11504853B2 (en) * 2017-11-16 2022-11-22 General Electric Company Robotic system architecture and control processes
JP7057214B2 (ja) 2018-05-18 2022-04-19 トヨタ自動車株式会社 把持装置、タグが付された容器、対象物把持プログラムおよび対象物把持方法
US11046519B2 (en) 2019-02-25 2021-06-29 Rehrig Pacific Company Delivery system
JP6966749B2 (ja) * 2019-05-29 2021-11-17 株式会社マーケットヴィジョン 画像処理システム
US11922253B2 (en) 2020-04-20 2024-03-05 Rehrig Pacific Company Camera enabled portal
US11823440B2 (en) 2021-08-19 2023-11-21 Rehrig Pacific Company Imaging system with unsupervised learning
EP4174787A3 (en) 2021-11-01 2023-05-10 Rehrig Pacific Company Delivery system

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009128191A (ja) * 2007-11-22 2009-06-11 Ihi Corp 物体認識装置およびロボット装置
JP2010210511A (ja) * 2009-03-11 2010-09-24 Honda Motor Co Ltd 対象物の３次元位置・姿勢認識装置及びその方法
CN102472612A (zh) * 2010-07-27 2012-05-23 3维媒体有限公司 三维物体识别装置以及三维物体识别方法
CN103307975A (zh) * 2012-03-13 2013-09-18 佳能株式会社 模型生成设备和方法以及信息处理设备和方法
CN104006740A (zh) * 2013-02-20 2014-08-27 国立大学法人九州工业大学 物体检测方法和物体检测装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0204516A3 (en) * 1985-06-04 1990-01-31 Adept Technology, Inc. Vision system for distinguishing touching parts
US7957583B2 (en) * 2007-08-02 2011-06-07 Roboticvisiontech Llc System and method of three-dimensional pose estimation
JP4900204B2 (ja) * 2007-11-22 2012-03-21 株式会社Ｉｈｉ 物体認識方法
JP5716433B2 (ja) * 2011-02-07 2015-05-13 株式会社Ihi 形状認識装置、形状認識方法、および、そのプログラム
JP5977544B2 (ja) * 2012-03-09 2016-08-24 キヤノン株式会社 情報処理装置、情報処理方法
JP6415026B2 (ja) * 2013-06-28 2018-10-31 キヤノン株式会社 干渉判定装置、干渉判定方法、コンピュータプログラム
KR102081139B1 (ko) * 2014-03-12 2020-02-25 한국전자통신연구원 물체 피킹 시스템, 물체 검출 장치 및 그 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009128191A (ja) * 2007-11-22 2009-06-11 Ihi Corp 物体認識装置およびロボット装置
JP2010210511A (ja) * 2009-03-11 2010-09-24 Honda Motor Co Ltd 対象物の３次元位置・姿勢認識装置及びその方法
CN102472612A (zh) * 2010-07-27 2012-05-23 3维媒体有限公司 三维物体识别装置以及三维物体识别方法
CN103307975A (zh) * 2012-03-13 2013-09-18 佳能株式会社 模型生成设备和方法以及信息处理设备和方法
CN104006740A (zh) * 2013-02-20 2014-08-27 国立大学法人九州工业大学 物体检测方法和物体检测装置

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109551459A (zh) * 2017-09-25 2019-04-02 发那科株式会社 机器人系统以及工件取出方法
CN109814492A (zh) * 2017-11-22 2019-05-28 发那科株式会社 工具姿势控制装置
CN110348279A (zh) * 2018-04-05 2019-10-18 欧姆龙株式会社 物体识别处理装置和方法、以及物体拣选装置和方法
CN112074382B (zh) * 2018-05-02 2024-03-22 X开发有限责任公司 机器人以及定位机器人传感器的方法
CN112074382A (zh) * 2018-05-02 2020-12-11 X开发有限责任公司 定位机器人传感器以用于物体分类
CN112534476A (zh) * 2018-09-07 2021-03-19 欧姆龙株式会社 对象物识别装置、操作器以及移动机器人
CN111185900A (zh) * 2018-11-14 2020-05-22 科沃斯机器人股份有限公司 机器人控制方法及清洁机器人
CN111185900B (zh) * 2018-11-14 2023-08-29 科沃斯机器人股份有限公司 机器人控制方法及清洁机器人
CN112584986A (zh) * 2019-03-15 2021-03-30 欧姆龙株式会社 参数调整装置、参数调整方法以及程序
US11945113B2 (en) 2019-03-15 2024-04-02 Omron Corporation Parameter adjustment device, parameter adjustment method, and program
CN111860099A (zh) * 2019-04-24 2020-10-30 株式会社日立制作所 物品识别系统以及物品识别方法
CN112276935A (zh) * 2019-07-22 2021-01-29 发那科株式会社 位置姿势确定装置、位置姿势确定方法以及位置姿势确定程序
CN112711249A (zh) * 2019-10-24 2021-04-27 科沃斯商用机器人有限公司 机器人定位方法、装置、智能机器人和存储介质

Also Published As

Publication number Publication date
DE102016013986B4 (de) 2019-01-31
US20170154397A1 (en) 2017-06-01
JP6117901B1 (ja) 2017-04-19
JP2017101946A (ja) 2017-06-08
CN106826809B (zh) 2018-04-10
DE102016013986A1 (de) 2017-06-01
US10055805B2 (en) 2018-08-21

Similar Documents

Publication Publication Date Title
CN106826809B (zh) 位置姿势测量装置以及机器人系统
EP3550470B1 (en) Object recognition processing apparatus and method, and object picking apparatus and method
CN103984362B (zh) 位置和姿势测量装置、信息处理装置以及信息处理方法
Björkman et al. Enhancing visual perception of shape through tactile glances
CN102829718B (zh) 信息处理设备、三维测量设备和信息处理方法
CN102906786B (zh) 脸部特征点位置校正设备和脸部特征点位置校正方法
JP6415291B2 (ja) 情報処理装置、情報処理方法、プログラム
CN103678754B (zh) 信息处理装置及信息处理方法
Brégier et al. Symmetry aware evaluation of 3d object detection and pose estimation in scenes of many parts in bulk
KR102056664B1 (ko) 센서를 이용한 작업 방법 및 이를 수행하는 작업 시스템
JP6016716B2 (ja) ビンピッキング性能評価装置及び方法
JP6703812B2 (ja) ３次元物体検査装置
JP2013217893A5 (ja) 位置姿勢推定装置、情報処理装置、情報処理方法
CN106808472A (zh) 工件位置姿势计算装置以及搬运系统
CN105066915A (zh) 模具曲面加工误差和表面粗糙度在机检测装置及检测方法
Li et al. Method for determining the probing points for efficient measurement and reconstruction of freeform surfaces
Bellandi et al. Roboscan: a combined 2D and 3D vision system for improved speed and flexibility in pick-and-place operation
WO2016036364A1 (en) Plenoptic cameras in manufacturing systems
Blank et al. 6DoF pose-estimation pipeline for texture-less industrial components in bin picking applications
CN104298358A (zh) 一种基于关节空间位置数据的动态3d手势识别方法
JP6880457B2 (ja) 把持方法、把持システム及びプログラム
CN112233104B (zh) 实时位移场和应变场检测方法、系统、装置和存储介质
JP5960642B2 (ja) ３次元情報取得方法及び３次元情報取得装置
JP2015111128A (ja) 位置姿勢計測装置、位置姿勢計測方法、およびプログラム
Grundmann et al. Robust high precision 6D pose determination in complex environments for robotic manipulation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant