CN106808472B - 工件位置姿势计算装置以及搬运系统 - Google Patents

工件位置姿势计算装置以及搬运系统 Download PDF

Info

Publication number
CN106808472B
CN106808472B CN201610941984.2A CN201610941984A CN106808472B CN 106808472 B CN106808472 B CN 106808472B CN 201610941984 A CN201610941984 A CN 201610941984A CN 106808472 B CN106808472 B CN 106808472B
Authority
CN
China
Prior art keywords
posture
workpiece
mentioned
location
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610941984.2A
Other languages
English (en)
Other versions
CN106808472A (zh
Inventor
安藤俊之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Publication of CN106808472A publication Critical patent/CN106808472A/zh
Application granted granted Critical
Publication of CN106808472B publication Critical patent/CN106808472B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40053—Pick 3-D object from pile of objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Abstract

本发明提供一种工件位置姿势计算装置以及搬运系统。工件位置姿势计算装置能够使用三维匹配高效地计算工件的位置以及姿势。工件位置姿势计算装置具备：工件位置姿势计算部，其对照包括通过三维测量器取得的工件的三维位置信息的测量数据和工件的三维模型来计算工件的位置以及姿势。另外，工件位置姿势计算装置还具备：测量数据排除部，其根据计算出的工件的位置以及姿势，将在工件位置姿势计算部进行的以后的计算中应该使用的测量数据的一部分排除。

Description

工件位置姿势计算装置以及搬运系统
技术领域
本发明涉及计算工件的位置以及姿势的工件位置姿势计算装置、以及具备工件位置姿势计算装置的搬运系统。
背景技术
已知三维匹配，其对照对象物的三维位置信息和对象物模型来确定对象物的实际位置。三维匹配需要使用6自由度的参数进行计算，所以施加给计算机的负荷大。已知一种为了将三维匹配高速化而限制搜索范围的技术(参照日本特开2012-218119号公报以及日本特开2012-125878号公报)。
发明内容
要求一种使用三维匹配来高效地计算对象物的位置以及姿势的技术。
根据本发明，提供一种计算工件5的位置以及姿势的工件位置姿势计算装置6，具备：三维测量器4，其测量配置在三维空间中的至少一个工件5，取得包括上述至少一个工件5的三维位置信息的测量数据60；三维模型存储部61，其存储上述工件5的三维模型5A；位置姿势计算数据生成部62，其生成在计算上述工件5的位置以及姿势时所使用的至少一个位置姿势计算数据63；工件位置姿势计算部64，其使用各个上述位置姿势计算数据63，对照上述测量数据60和上述三维模型5A来计算上述工件5位置以及姿势；以及测量数据排除部65，其根据通过上述工件位置姿势计算部64计算出的上述工件5的位置以及姿势，将在上述工件位置姿势计算部64进行的以后的计算中应该使用的上述测量数据60的一部分排除。
在优选的实施方式中，上述位置姿势计算数据63包括优先度，上述工件位置姿势计算部64依次使用具有高优先度的位置姿势计算数据63，对照上述测量数据60和上述三维模型5A来计算上述工件5的位置以及姿势。
在优选的实施方式中，上述位置姿势计算数据63包括将上述测量数据60和上述三维模型5A对照时应该搜索的姿势范围。
在优选的实施方式中，上述位置姿势计算数据63包括将上述测量数据60和上述三维模型5A对照时应该搜索的位置范围。
在优选的实施方式中，上述位置姿势计算数据63还包括与不应该通过上述测量数据排除部65排除的上述测量数据60相关的信息。
在优选的实施方式中，上述工件位置姿势计算部64计算上述工件5的位置以及姿势，并且计算表示计算结果的置信度的分数，上述位置姿势计算数据63包括分数阈值，在判定是否根据通过上述工件位置姿势计算部64计算出的工件5的位置姿势来排除上述测量数据60的一部分时使用分数阈值，上述测量数据排除部65在上述分数超过了上述分数阈值的情况下，将上述测量数据的一部分排除。
在优选的实施方式中，上述测量数据排除部65使用通过上述工件位置姿势计算部64计算出的上述工件5的位置以及姿势来对上述三维模型5A进行坐标转换，并且将存在于坐标转换后的上述三维模型附近的测量数据60排除。
在优选的实施方式中，上述位置姿势计算数据生成部62响应手动输入来生成上述位置姿势计算数据63。
在优选的实施方式中，上述位置姿势计算数据63包括使用物理模拟进行推定的上述工件5的位置以及姿势的发生概率。
在优选的实施方式中，上述位置姿势计算数据63包括根据统计数据进行推定的上述工件5的位置以及姿势的发生概率。
在优选的实施方式中，上述位置姿势计算数据生成部62根据上次的上述工件位置姿势计算部64的计算结果，生成追加的位置姿势计算数据63。
在优选的实施方式中，提供一种通过机器人2搬运工件5的搬运系统10，该搬运系统具备能够搬运工件5的机器人2、上述工件位置姿势计算装置6，根据通过上述工件位置姿势计算装置6计算出的上述工件5的位置以及姿势，由上述机器人2搬运上述工件5。
在优选的实施方式中，提供一种搬运系统10，该搬运系统具备能够搬运工件5的机器人2、上述工件位置姿势计算装置6，根据通过上述工件位置姿势计算装置6计算出的上述工件5的位置以及姿势，由上述机器人2搬运上述工件5，上述位置姿势计算数据生成部62根据通过上述工件位置姿势计算部64计算出的上述工件5的位置以及姿势中的、通过上述机器人2搬运的上述工件5以外的至少一个上述工件5的位置以及姿势，生成追加的上述位置姿势计算数据。
附图说明
通过参照附图所示的本发明例示的实施方式的详细说明，能够更加明确本发明的这些以及其他目的、特征和优点。
图1是表示一个实施方式的搬运系统的结构例的图。
图2是说明在图1的实施方式的搬运系统中执行的搬运处理的流程图。
图3是工件位置姿势计算装置的功能框图。
图4是表示位置姿势不同的2个工件的图。
图5是表示工件的三维模型以及根据其进行排除的测量数据的图。
图6是表示工件的装载例的图。
图7是用于说明工件的位置姿势的置信度的图。
图8A是用于说明变更工件的位置姿势的发生概率的处理的图。
图8B是用于说明变更工件的位置姿势的发生概率的处理的图。
图8C是用于说明变更工件的位置姿势的发生概率的处理的图。
图8D是用于说明变更工件的位置姿势的发生概率的处理的图。
图8E是用于说明变更工件的位置姿势的发生概率的处理的图。
图9是用于说明位置姿势计算数据的追加的图。
具体实施方式
以下，参照附图说明本发明的实施方式。图示的实施方式的结构要素为了有助于本发明的理解而适当变更了比例尺。对相同或相应的结构要素使用相同的参照标记。
图1表示一个实施方式的搬运系统的结构例。搬运系统10具备机器人2、机器人控制装置3、三维测量器4以及工件位置姿势计算装置6。
机器人2具有通过电动机驱动的多个关节，例如是图示那样的6轴垂直多关节机器人。机器人2构成为在根据机构部的尺寸以及构造决定的动作范围中，能够以任意的姿势将臂的前端定位在任意的位置。机器人2经由通信电缆等通信单元与机器人控制装置3连接。设置在机器人2的各关节上的电动机由机器人控制装置3控制。
机器人2在臂前端的手腕处具备机械爪21。机械爪21由机器人控制装置3控制，为了可释放地把持工件5而进行开闭动作。
机器人控制装置3是具备CPU、ROM、RAM、非易失性存储器以及输入输出接口等的数字计算机。
三维测量器4在散乱堆积的工件5的上方被固定在支架41上。三维测量器4相对于工件5被设置在预定的位置关系上，使得视野中包括散乱堆积的工件5。
三维测量器4检测工件5的表面，取得位于工件5的表面上的多个点的三维位置信息(以下有时称为“测量数据”)。三维测量器4经由通信电缆等通信单元与工件位置姿势计算装置6连接。在另外的实施方式中，三维测量器4也可以设置在机器人2的手腕上。
三维测量器4是任意类型的非接触方式的检测器。三维测量器4例如也可以是使用2个照相机的立体方式的检测器，也可以是通过激光狭缝光扫描对象物的表面的类型的检测器，也可以是使用投影仪等将图案光投影到对象物的类型的检测器，或者也可以是构成为计算在对象物的表面进行反射并返回到投光器的飞行时间的检测器。
工件位置姿势计算装置6从三维测量器4取得多个工件5的测量数据，并计算这些工件5的位置以及姿势(以下有时将“位置以及姿势”称为“位置姿势”)。工件位置姿势计算装置6是具备了CPU、ROM、RAM、非易失性存储器以及输入输出接口等的数字计算机。
工件位置姿势计算装置6经由通信电缆等通信单元与机器人控制装置3连接，能够相互发送接收数据和信号。图1中独立地示出工件位置姿势计算装置6以及机器人控制装置3，但是机器人控制装置3也可以具有工件位置姿势计算装置6的功能。
搬运系统10根据通过工件位置姿势计算装置6检测出的工件5的位置姿势控制机器人2，搬运工件5。
工件位置姿势计算装置6通过将工件5的测量数据和工件5的三维模型进行对照(以下有时称为“三维匹配”)，计算工件5的位置姿势。如果参照图3，则工件位置姿势计算装置6具备三维模型存储部61、位置姿势计算数据生成部62、工件位置姿势计算部64以及测量数据排除部65。
三维模型存储部61存储工件5的三维模型。工件5的三维模型根据工件5的CAD数据等而预先生成。
位置姿势计算数据生成部62生成在计算工件5的位置姿势时所使用的位置姿势计算数据63。位置姿势计算数据63是计算工件5的位置姿势所需要的参数的组合。例如，位置姿势计算数据63包括执行三维匹配时应该搜索的位置范围以及姿势范围等。
例如，当工件5的位置是已知时，需要只求出工件5的姿势，所以位置姿势计算数据中只包括姿势范围。相反，当工件5的姿势是已知时，位置姿势计算数据中只包括应该搜索的位置范围。
如图1所示，当散乱堆积工件5时，作为位置姿势计算数据，关于位置范围以及姿势范围分别需要3自由度，合计6自由度的范围。
在一个实施方式中，位置姿势计算数据63将位置范围以及姿势范围的至少一方包含多个种类。位置范围以及姿势范围包罗有可能配置工件5的位置范围以及工件5有可能取的姿势范围而生成。如后述那样，每个位置范围以及姿势范围与这些位置姿势产生的概率相关联。
图4表示位置姿势不同的2个工件50、51。一个工件50的长边方向面向水平方向，另一个工件51的长边方向面向铅垂方向。这时，工件50那样的姿势的产生概率比工件51要高。因此，与工件50对应的姿势范围以及与工件51对应的姿势范围构成不同的位置姿势计算数据63。
位置姿势计算数据63与优先度关联地被存储。具体地说，以包括产生概率高的位置范围以及姿势范围的位置姿势计算数据63优先度变高的方式，使优先度与各个位置姿势计算数据63关联。
位置姿势计算数据63可以根据工件5的形状或过去的工件5的装载状态，通过用户手动而生成。或者也可以使用物理模拟，在虚拟空间再现工件5的装载状态，并根据作为其结果而得到的统计数据来求出工件5的特定装载状态的发生概率。
工件位置姿势计算部64使用位置姿势计算数据63将通过三维测量器4取得的测量数据60与存储在三维模型存储部61中的工件5的三维模型进行对照来计算工件5的位置姿势。按照位置姿势计算数据63中包括的搜索范围来执行用于计算工件5的位置姿势的三维匹配。
在一个实施方式中，工件位置姿势计算部64可以构成为通过以下的方法来计算工件5的位置姿势。首先，按照位置姿势计算数据63中包括的位置范围以及姿势范围中的至少某一方将构成工件5的三维模型的三维点进行坐标转换，计算这些三维点和测量数据60的三维点之间的差值。当差值在预定的阈值以下时，测量数据的三维点和三维模型的三维点被视为一致。
工件位置姿势计算部64对三维模型的所有三维点执行上述的三维匹配，当三维点的一致数是预定的阈值以上时，将三维模型的位置姿势作为工件5的位置姿势而输出。
在另外的实施方式中，工件位置姿势计算部64可以构成为使用三维模型的特征量来计算工件5的位置姿势。能够使用三维模型的PPF(Point Pair Feature点对特征)特征量或者SHOT(Signature of Histogram Orientation直方图方向特征)特征量等。此时，通过将预先求出的三维模型的这些特征量与测量数据的三维特征量进行对照，计算出工件5的位置姿势。
测量数据排除部65根据由工件位置姿势计算部64计算出的工件5的位置姿势，排除在这之后的工件5的位置姿势的计算中所使用的测量数据60的一部分。
测量数据排除部65将三维模型坐标转换为通过工件位置姿势计算部64计算出的工件5的位置姿势并进行配置，排除存在于三维模型的附近的测量数据。
图5表示工件5的三维模型和根据其进行排除的测量数据。图5的箭头表示通过工件位置姿势计算部64计算出的工件5的位置姿势。将三维模型5A配置成与计算出的位置姿势的工件5的位置姿势一致。三维模型5A周围的虚线5B表示应该排除测量数据60的范围。图5的情况下，三维点P1位于通过虚线5B包围的范围内，所以，从测量数据60排除。另一方面，其他的三维点P2位于通过虚线5B包围的范围外，所以不从测量数据60排除。
但是，有时根据计算出的工件5的位置姿势，不应该排除测量数据60。即，在不适当地排除了测量数据60的情况下，在想要通过下一个工序计算工件5的位置姿势时，有可能无法识别实际存在的工件5。因此，也可以能够指定不排除测量数据60的范围。位置姿势计算数据63中可以包括不应该排除测量数据60的范围。
图6表示工件5的装载状态的例子。此时，错误地识别了一个工件52的位置姿势。因此，如果将位于错误地识别的工件52的附近的测量数据排除，则不能够识别工件53。
因此，在预先指定通过虚线5C表示的范围，计算出该范围中包括的工件5的位置姿势的情况下，不排除测量数据60即可。
在一个实施方式中，关于通过工件位置姿势计算部64计算出的工件5的位置姿势计算表示置信度的分数，当分数低时(置信度低时)，可以不排除测量数据60。
图7将表示置信度的分数高的情况和分数低的情况对比表示。即使排除与高分数对应的位置姿势的工件55附近的测量数据60，也能够推定对其他工件的位置姿势的计算没有影响。
另一方面，如果排除与低分数对应的位置姿势的工件56附近的测量数据60，则有可能无法识别其他工件57，57。因此，当对某个工件5的位置姿势赋予低分数时，不排除该工件5附近的测量数据60。在判定是否排除测量数据60时应该与分数比较的阈值可以包括在位置姿势计算数据63中。
图2是说明在本实施方式的搬运系统10中执行的搬运处理的流程图。例如响应操作员的开关操作来开始图2的处理。在步骤S101中，通过三维测量器4取得散乱堆积的工件5的测量数据60。测量数据60包括工件5的表面多个点的三维位置。
在步骤S102中，通过位置姿势计算数据生成部62按照优先度从高到低的顺序取得位置姿势计算数据63。
在步骤S103中，通过工件位置姿势计算部64，根据位置姿势计算数据63将测量数据60和工件5的三维模型进行对照，计算工件5的位置姿势。
在步骤S104中，通过测量数据排除部65，根据步骤S103计算出的工件5的位置姿势，排除测量数据60的一部分。
在步骤S105中，判定是否使用所有的位置姿势计算数据63执行了计算工件5的位置姿势的工序。当剩余未使用的位置姿势计算数据63时，返回步骤S102。
另一方面，当判定为使用了所有的位置姿势数据63时，进入步骤S106。在步骤S106中，判定是否识别了工件5。当没有识别出工件5时，能够推定搬运了所有的工件5，所以结束搬运处理。另一方面，当至少识别一个工件5时，进入步骤S107。
在步骤S107中，按照在步骤S013求出的工件5的位置姿势，控制机器人2以及机械爪21来搬运工件5。即，机器人2定位于能够由机械爪21保持工件5的位置姿势上，接着使机械爪21动作来保持工件5。
在另外的实施方式中，可以控制机器人2使得机械爪21相对于工件5的位置姿势成为预定的相对位置关系。此时，预先求出能够成为基准的任意的位置姿势的工件5和能够保持该工件5的机器人2的位置姿势之间的相对位置关系，并存储在机器人控制装置3中。并且，在执行步骤S107时，控制机器人2使得机械爪21相对于工件5满足预先确定的相对位置关系。
接着，在步骤S108中，为了下一次执行的工件5的位置姿势计算工序，变更且更新位置姿势计算数据63。
在一个实施方式中，根据工件5的位置姿势的计算结果的统计数据，推定某个位置姿势的工件5的发生概率，并且更新已经存储的位置姿势计算数据63中包括的优先度、位置范围以及姿势范围。
参照图8A～图8C，说明变更任意的位置姿势的工件5的发生概率的方法。图8A～图8C的横轴分别表示工件5的位置姿势，纵轴表示与其对应的发生概率。
图8A表示变更位置姿势计算数据63之前的状态，工件5的发生概率在任意的位置姿势都是固定的。图8B表示位置姿势X的工件5以及位置姿势Y的工件5的发生概率比较高的情况。这里，当新计算出位置姿势Y的工件5时，位置姿势Y的发生概率增大(参照图8C)。并且，以发生概率越高的位置姿势，搜索范围的优先度变得越高的方式更新优先度。
在一个实施方式中，如图8B以及图8C所示，可以按如下方式变更发生概率：使得从某个位置姿势起包括在预定范围中的姿势范围的发生概率全部增大固定值。在另外的实施方式中，如图8D以及图8E所示，也可以以计算出的位置姿势为中心进行加权的方式变更发生概率。
另外在其它的实施方式中，在步骤S108中，可以根据工件5的位置姿势的计算结果而新追加多个位置姿势计算数据63。参照图9说明追加位置姿势计算数据63的方式。
在步骤S103中，分别计算工件58，59，59的位置姿势，并且在步骤S107中，通过机器人2搬运工件58。此时，作为搬运工件58的结果，考虑到剩余的工件59，59的位置姿势大幅度变化的可能性低。
因此，新生成以将工件59，59的已经计算出的位置姿势的附近设为搜索范围的方式决定了位置范围以及姿势范围的位置姿势计算数据63，并存储在工件位置姿势计算装置6中。
此时，设定优先度，使得新生成的位置姿势计算数据63的优先度变得比之前存储的位置姿势计算数据63的优先度高。
根据上述的搬运系统10，能够达到以下的效果。
(1)将位置姿势计算数据63与其优先度一起进行存储，按照优先度从高到低的顺序使用位置姿势计算数据63，计算工件5的位置姿势。结果优先地搜索发生概率高的位置姿势的工件5，所以能够缩短计算工件5的位置姿势所需要的时间。
(2)将与发生概率低的位置姿势对应的位置范围以及姿势范围也存储为位置姿势计算数据63。由此，能够防止实际存在工件5而不识别工件5的情况。
(3)一旦计算出工件5的位置姿势，则将位于该工件5的表面上的三维点从测量数据中排除。由此，能够防止在下次以后的位置姿势计算工序中计算出错误的位置姿势。另外，能够缩短计算工件5的位置姿势所需要的时间。
(4)操作员能够根据通过工件位置姿势计算部64计算出的工件5的位置姿势指定范围，使得不将三维点从测量数据中排除。由此，根据容易引起错误识别的工件5的位置姿势，不排除必要的测量数据60，能够提高工件5的位置姿势计算功能的可靠性。
(5)当通过工件位置姿势计算部64计算出的工件5的位置姿势不正确时，会错误排除测量数据60，有时不能够检测出实际存在的工件5。但是，根据上述实施方式的搬运系统10，计算表示计算出的工件5的位置姿势的置信度的分数，所以只是在置信度高的位置姿势的情况下能够排除测量数据60。因此，能够防止错误地排除测量数据60，能够防止不能够检测出实际存在的工件5的情况。
(6)根据使用物理模拟或统计数据的实施方式，更加准确地求出与发生概率高的工件5的位置姿势对应的位置范围以及姿势范围。通过将搜索范围限定为可靠性高的位置范围以及姿势范围，缩短计算工件5的位置姿势所需要的时间。
(7)根据通过工件位置姿势计算部64计算出的工件5的位置姿势，新生成具有比以前存储的位置姿势计算数据63高的优先度的位置姿势计算数据63。由此，虽然计算出工件5的位置姿势，但是能够限制在计算未通过机器人2搬运的工件5的位置姿势时的位置范围以及姿势范围，能够缩短所需要的时间。
说明了搬运散乱堆积的工件的实施方式，但是本发明的机器人搬运系统也可以用于搬运台阶状装载的工件。此时，即使在从预定的位置移动了几个工件的情况下，在本发明的机器人搬运系统中也能够检测出任意位置姿势的工件，所以能够搬运工件。
以上，说明了本发明的各种实施方式，但是只要是本领域技术人员，就会识别出通过其它实施方式也能够实现本发明要达到的作用效果。特别是能够不脱离本发明的范围而删除或置换上述实施方式的结构要素，或者还能够附加公知的单元。另外，本领域技术人员也会明白通过任意组合本说明书中明示或暗示公开的多个实施方式的特征也能够实施本发明。根据本发明的工件位置姿势计算装置，根据通过位置姿势计算装置计算出的工件的位置以及姿势，排除用于三维匹配的测量数据的一部分。由此，限定执行三维匹配时的搜索范围，能够高效地计算工件的位置以及姿势。

Claims (12)

1.一种工件位置姿势计算装置(6)，计算工件(5)的位置以及姿势，其特征在于，
该工件位置姿势计算装置(6)具备：
三维测量器(4)，其测量配置在三维空间中的至少一个工件(5)，取得包括上述至少一个工件(5)的三维位置信息的测量数据(60)；
三维模型存储部(61)，其存储上述工件(5)的三维模型(5A)；
位置姿势计算数据生成部(62)，其生成在计算上述工件(5)的位置以及姿势时所使用的至少一个位置姿势计算数据(63)；
工件位置姿势计算部(64)，其使用各个上述位置姿势计算数据(63)，对照上述测量数据(60)和上述三维模型(5A)来计算上述工件(5)的位置以及姿势；以及
测量数据排除部(65)，其根据通过上述工件位置姿势计算部(64)计算出的上述工件(5)的位置以及姿势，将在上述工件位置姿势计算部(64)进行的以后的计算中应该使用的上述测量数据(60)的一部分排除，
上述位置姿势计算数据(63)还包括与不应该通过上述测量数据排除部(65)排除的上述测量数据(60)相关的信息。
2.一种工件位置姿势计算装置(6)，计算工件(5)的位置以及姿势，其特征在于，
该工件位置姿势计算装置(6)具备：
三维测量器(4)，其测量配置在三维空间中的至少一个工件(5)，取得包括上述至少一个工件(5)的三维位置信息的测量数据(60)；
三维模型存储部(61)，其存储上述工件(5)的三维模型(5A)；
位置姿势计算数据生成部(62)，其生成在计算上述工件(5)的位置以及姿势时所使用的至少一个位置姿势计算数据(63)；
工件位置姿势计算部(64)，其使用各个上述位置姿势计算数据(63)，对照上述测量数据(60)和上述三维模型(5A)来计算上述工件(5)的位置以及姿势；以及
测量数据排除部(65)，其根据通过上述工件位置姿势计算部(64)计算出的上述工件(5)的位置以及姿势，将在上述工件位置姿势计算部(64)进行的以后的计算中应该使用的上述测量数据(60)的一部分排除，
上述工件位置姿势计算部(64)计算上述工件(5)的位置以及姿势，并且计算表示计算结果的置信度的分数，
上述位置姿势计算数据(63)包括分数阈值，在判定是否根据通过上述工件位置姿势计算部(64)计算出的工件(5)的位置姿势来排除上述测量数据(60)的一部分时使用该分数阈值，
上述测量数据排除部(65)在上述分数超过了上述分数阈值的情况下，将上述测量数据的一部分排除。
3.根据权利要求1或2所述的工件位置姿势计算装置(6)，其特征在于，
上述位置姿势计算数据(63)包括优先度，
上述工件位置姿势计算部(64)依次使用具有高优先度的位置姿势计算数据(63)，对照上述测量数据(60)和上述三维模型(5A)来计算上述工件(5)的位置以及姿势。
4.根据权利要求1或2所述的工件位置姿势计算装置(6)，其特征在于，
上述位置姿势计算数据(63)包括将上述测量数据(60)和上述三维模型(5A)对照时应该搜索的姿势范围。
5.根据权利要求3所述的工件位置姿势计算装置(6)，其特征在于，
上述位置姿势计算数据(63)包括将上述测量数据(60)和上述三维模型(5A)对照时应该搜索的位置范围。
6.根据权利要求1或2所述的工件位置姿势计算装置(6)，其特征在于，
上述测量数据排除部(65)使用通过上述工件位置姿势计算部(64)计算出的上述工件(5)的位置以及姿势来对上述三维模型(5A)进行坐标转换，并且将存在于坐标转换后的上述三维模型附近的测量数据(60)排除。
7.根据权利要求1或2所述的工件位置姿势计算装置(6)，其特征在于，
上述位置姿势计算数据生成部(62)响应手动输入来生成上述位置姿势计算数据(63)。
8.根据权利要求1或2所述的工件位置姿势计算装置(6)，其特征在于，
上述位置姿势计算数据(63)包括使用物理模拟进行推定的上述工件(5)的位置以及姿势的发生概率。
9.根据权利要求3所述的工件位置姿势计算装置(6)，其特征在于，
上述位置姿势计算数据(63)包括根据统计数据进行推定的上述工件(5)的位置以及姿势的发生概率。
10.根据权利要求1或2所述的工件位置姿势计算装置(6)，其特征在于，
上述位置姿势计算数据生成部(62)根据上次的上述工件位置姿势计算部(64)的计算结果，生成追加的位置姿势计算数据(63)。
11.一种搬运系统(10)，通过机器人(2)搬运工件(5)，其特征在于，
该搬运系统(10)具备：
机器人(2)，其能够搬运工件(5)；和
权利要求1～10中的任意一项所述的工件位置姿势计算装置(6)，
根据通过上述工件位置姿势计算装置(6)计算出的上述工件(5)的位置以及姿势，由上述机器人(2)搬运上述工件(5)。
12.一种搬运系统(10)，其特征在于，
该搬运系统(10)具备：
机器人(2)，其能够搬运工件(5)；和
权利要求10所述的工件位置姿势计算装置(6)，
根据通过上述工件位置姿势计算装置(6)计算出的上述工件(5)的位置以及姿势，由上述机器人(2)搬运上述工件(5)，
上述位置姿势计算数据生成部(62)根据通过上述工件位置姿势计算部(64)计算出的上述工件(5)的位置以及姿势中的、通过上述机器人(2)搬运的上述工件(5)以外的至少一个上述工件(5)的位置以及姿势，生成追加的上述位置姿势计算数据。
CN201610941984.2A 2015-11-30 2016-10-31 工件位置姿势计算装置以及搬运系统 Active CN106808472B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-232991 2015-11-30
JP2015232991A JP6348097B2 (ja) 2015-11-30 2015-11-30 ワーク位置姿勢算出装置およびハンドリングシステム

Publications (2)

Publication Number Publication Date
CN106808472A CN106808472A (zh) 2017-06-09
CN106808472B true CN106808472B (zh) 2019-05-31

Family

ID=58692975

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610941984.2A Active CN106808472B (zh) 2015-11-30 2016-10-31 工件位置姿势计算装置以及搬运系统

Country Status (4)

Country Link
US (1) US10286557B2 (zh)
JP (1) JP6348097B2 (zh)
CN (1) CN106808472B (zh)
DE (1) DE102016122678B4 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6860843B2 (ja) * 2017-02-20 2021-04-21 株式会社安川電機 ロボットシステム、ロボット制御装置、及びロボット制御方法
JP6846950B2 (ja) * 2017-03-03 2021-03-24 株式会社キーエンス ロボットシミュレーション装置、ロボットシミュレーション方法、ロボットシミュレーションプログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
US11117262B2 (en) 2017-08-01 2021-09-14 eBots Inc. Intelligent robots
JP2019058993A (ja) * 2017-09-27 2019-04-18 セイコーエプソン株式会社 ロボットシステム
JP6662836B2 (ja) * 2017-11-24 2020-03-11 ファナック株式会社 収容領域又は治具にワークを配置するワーク配置システム
KR102565444B1 (ko) * 2017-12-21 2023-08-08 삼성전자주식회사 객체를 식별하기 위한 장치 및 방법
CN108398084A (zh) * 2018-02-01 2018-08-14 深圳前海优容科技有限公司 一种电池极片检测设备、系统、叠片机及方法
US11040452B2 (en) * 2018-05-29 2021-06-22 Abb Schweiz Ag Depth sensing robotic hand-eye camera using structured light
US10576526B2 (en) * 2018-07-03 2020-03-03 Komatsu Industries Corporation Workpiece conveying system, and workpiece conveying method
US11826919B2 (en) * 2019-01-30 2023-11-28 Fuji Corporation Work coordinate generation device
JP7316134B2 (ja) 2019-07-22 2023-07-27 ファナック株式会社 位置姿勢特定装置、位置姿勢特定方法及び位置姿勢特定プログラム
CN115717868B (zh) * 2022-10-08 2023-11-07 北京航天计量测试技术研究所 一种实时在线的三维自动化扫描测量系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1293752A (zh) * 1999-03-19 2001-05-02 松下电工株式会社 三维物体识别方法及使用该方法的零件抓取系统
JP2004188562A (ja) * 2002-12-13 2004-07-08 Fanuc Ltd ワーク取出し装置
CN102448679A (zh) * 2009-05-27 2012-05-09 莱卡地球系统公开股份有限公司 至少一个物体以高精度定位到空间最终位置的方法和系统
CN103085076A (zh) * 2011-11-08 2013-05-08 发那科株式会社 物品的三维位置姿势的识别装置以及识别方法
CN103302666A (zh) * 2012-03-09 2013-09-18 佳能株式会社 信息处理设备和信息处理方法

Family Cites Families (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2823584C2 (de) * 1978-05-30 1983-01-27 Pfaff Industriemaschinen Gmbh, 6750 Kaiserslautern Greifvorrichtung für Industrieroboter
US4921293A (en) * 1982-04-02 1990-05-01 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Multi-fingered robotic hand
US5108140A (en) * 1988-04-18 1992-04-28 Odetics, Inc. Reconfigurable end effector
US4957320A (en) * 1988-08-31 1990-09-18 Trustees Of The University Of Pennsylvania Methods and apparatus for mechanically intelligent grasping
US5501498A (en) * 1988-08-31 1996-03-26 The Trustees Of The University Of Pennsylvania Methods and apparatus for mechanically intelligent grasping
US4980626A (en) * 1989-08-10 1990-12-25 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Method and apparatus for positioning a robotic end effector
US5172951A (en) * 1990-08-06 1992-12-22 University Of Utah Research Foundation Robotic grasping apparatus
WO1997009153A1 (en) * 1995-09-08 1997-03-13 Ross-Hime Designs, Inc. Robotic manipulator
US5762390A (en) * 1996-07-16 1998-06-09 Universite Laval Underactuated mechanical finger with return actuation
US6517132B2 (en) * 2000-04-04 2003-02-11 Honda Giken Kogyo Kabushiki Kaisha Multifinger hand device
JP3996015B2 (ja) * 2002-08-09 2007-10-24 本田技研工業株式会社 姿勢認識装置及び自律ロボット
US6817641B1 (en) * 2002-08-30 2004-11-16 Lawrence J. Singleton, Jr. Robotic arm and hand
US7168748B2 (en) * 2002-09-26 2007-01-30 Barrett Technology, Inc. Intelligent, self-contained robotic hand
JPWO2005015466A1 (ja) * 2003-08-07 2006-10-05 松下電器産業株式会社 生活支援システム及びその制御用プログラム
JP4313125B2 (ja) * 2003-09-12 2009-08-12 本田技研工業株式会社 ロボットハンド
JP4592276B2 (ja) * 2003-10-24 2010-12-01 ソニー株式会社 ロボット装置のためのモーション編集装置及びモーション編集方法、並びにコンピュータ・プログラム
JP3733364B2 (ja) * 2003-11-18 2006-01-11 ファナック株式会社 教示位置修正方法
US7795832B2 (en) * 2004-03-31 2010-09-14 Japan Science And Technology Agency Robot hand
WO2005099417A2 (en) * 2004-04-12 2005-10-27 Strider Labs, Inc. System and method for computing grasps for a robotic hand with a palm
US7921741B2 (en) * 2004-12-15 2011-04-12 Motorola Mobility, Inc. Electromagnetic testing model of human hand
JP2007015037A (ja) * 2005-07-05 2007-01-25 Sony Corp ロボットのモーション編集装置及びモーション編集方法、コンピュータ・プログラム、並びにロボット装置
SE529377C2 (sv) * 2005-10-18 2007-07-24 Morphic Technologies Ab Publ Metod och arrangemang för att lokalisera och plocka upp föremål från en bärare
JP4908020B2 (ja) * 2006-03-02 2012-04-04 本田技研工業株式会社 ハンド制御システム
US7650263B2 (en) * 2006-09-26 2010-01-19 Strider Labs, Inc. Method for fast computation of optimal contact forces
WO2008058061A2 (en) * 2006-11-03 2008-05-15 President And Fellows Of Harvard College Robust compliant adaptive grasper and method of manufacturing same
JP4890199B2 (ja) * 2006-11-09 2012-03-07 本田技研工業株式会社 ロボットハンドおよびロボット
JP2009066685A (ja) * 2007-09-11 2009-04-02 Sony Corp ロボット装置及びロボット装置の制御方法
US20090306825A1 (en) * 2008-04-21 2009-12-10 Ying Li Manipulation system and method
KR100997140B1 (ko) * 2008-07-16 2010-11-30 삼성전자주식회사 인간형 로봇
KR101549818B1 (ko) * 2008-12-02 2015-09-07 삼성전자 주식회사 로봇 핸드 및 그 제어방법
US8346393B2 (en) * 2008-12-18 2013-01-01 Samsung Electronics Co., Ltd. Control apparatus of multi-finger hand and grasping method using the same
US20100179689A1 (en) * 2009-01-09 2010-07-15 National Taiwan University Of Science And Technology Method of teaching robotic system
US8364314B2 (en) * 2009-04-30 2013-01-29 GM Global Technology Operations LLC Method and apparatus for automatic control of a humanoid robot
US8504198B2 (en) * 2009-05-14 2013-08-06 Honda Motor Co., Ltd. Robot hand and control system, control method and control program for the same
JP5335551B2 (ja) * 2009-05-14 2013-11-06 本田技研工業株式会社 ロボットハンドならびにその制御システム、制御方法および制御プログラム
US8280837B2 (en) * 2009-05-28 2012-10-02 GM Global Technology Operations LLC Contact state estimation for multi-finger robot hands using particle filters
US8511964B2 (en) * 2009-09-22 2013-08-20 GM Global Technology Operations LLC Humanoid robot
DE102009058607A1 (de) * 2009-12-17 2011-06-22 KUKA Laboratories GmbH, 86165 Verfahren und Vorrichtung zum Steuern eines Manipulators
JP5618569B2 (ja) * 2010-02-25 2014-11-05 キヤノン株式会社 位置姿勢推定装置及びその方法
JP5624394B2 (ja) * 2010-07-16 2014-11-12 キヤノン株式会社 位置姿勢計測装置、その計測処理方法及びプログラム
JP5627325B2 (ja) 2010-07-23 2014-11-19 キヤノン株式会社 位置姿勢計測装置、位置姿勢計測方法、およびプログラム
JP5470190B2 (ja) * 2010-08-03 2014-04-16 株式会社日立製作所 ３次元環境生成システム
JP5685027B2 (ja) * 2010-09-07 2015-03-18 キヤノン株式会社 情報処理装置、物体把持システム、ロボットシステム、情報処理方法、物体把持方法およびプログラム
JP5769411B2 (ja) * 2010-12-15 2015-08-26 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP5762099B2 (ja) * 2011-04-06 2015-08-12 キヤノン株式会社 姿勢認識装置、作業ロボット、姿勢認識方法、プログラム及び記録媒体
JP5835926B2 (ja) 2011-04-11 2015-12-24 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、およびプログラム
US9053571B2 (en) * 2011-06-06 2015-06-09 Microsoft Corporation Generating computer models of 3D objects
JP6157066B2 (ja) 2012-06-11 2017-07-05 キヤノン株式会社 画像処理装置、物体取出システム、画像処理方法及びプログラム
US9393686B1 (en) * 2013-03-15 2016-07-19 Industrial Perception, Inc. Moveable apparatuses having robotic manipulators and conveyors to facilitate object movement
JP6415026B2 (ja) * 2013-06-28 2018-10-31 キヤノン株式会社 干渉判定装置、干渉判定方法、コンピュータプログラム
JP6573354B2 (ja) * 2014-11-28 2019-09-11 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
US9849591B2 (en) * 2015-10-02 2017-12-26 X Development Llc Localization of a robot in an environment using detected edges of a camera image from a camera of the robot and detected edges derived from a three-dimensional model of the environment

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1293752A (zh) * 1999-03-19 2001-05-02 松下电工株式会社 三维物体识别方法及使用该方法的零件抓取系统
JP2004188562A (ja) * 2002-12-13 2004-07-08 Fanuc Ltd ワーク取出し装置
CN102448679A (zh) * 2009-05-27 2012-05-09 莱卡地球系统公开股份有限公司 至少一个物体以高精度定位到空间最终位置的方法和系统
CN103085076A (zh) * 2011-11-08 2013-05-08 发那科株式会社 物品的三维位置姿势的识别装置以及识别方法
CN103302666A (zh) * 2012-03-09 2013-09-18 佳能株式会社 信息处理设备和信息处理方法

Also Published As

Publication number Publication date
CN106808472A (zh) 2017-06-09
DE102016122678B4 (de) 2021-03-04
US20170151672A1 (en) 2017-06-01
DE102016122678A1 (de) 2017-06-01
JP6348097B2 (ja) 2018-06-27
JP2017102529A (ja) 2017-06-08
US10286557B2 (en) 2019-05-14

Similar Documents

Publication Publication Date Title
CN106808472B (zh) 工件位置姿势计算装置以及搬运系统
EP3550470B1 (en) Object recognition processing apparatus and method, and object picking apparatus and method
EP1905548B1 (en) Workpiece picking apparatus
US11724400B2 (en) Information processing apparatus for determining interference between object and grasping unit, information processing method, and storage medium
JP6117901B1 (ja) 複数の物品の位置姿勢計測装置及び該位置姿勢計測装置を含むロボットシステム
US10894324B2 (en) Information processing apparatus, measuring apparatus, system, interference determination method, and article manufacturing method
US10532459B2 (en) Information processing apparatus, information processing method, and storage medium for grasping an object
US7283661B2 (en) Image processing apparatus
US9576363B2 (en) Object picking system, object detecting device, object detecting method
US11654571B2 (en) Three-dimensional data generation device and robot control system
CN110293553B (zh) 控制机械臂操作物体的方法、装置及模型训练方法、装置
JP2013010155A (ja) 対象物把持装置、対象物把持装置の制御方法、およびプログラム
JP6747665B2 (ja) ロボット
CN111745640B (zh) 物体检测方法、物体检测装置以及机器人系统
US10957067B2 (en) Control apparatus, object detection system, object detection method and program
JP2019179289A (ja) 処理装置、及びプログラム
US11436754B2 (en) Position posture identification device, position posture identification method and position posture identification program
JP2019179288A (ja) 処理装置、及びプログラム
EP4070922A2 (en) Robot system, control method, image processing apparatus, image processing method, method of manufacturing products, program, and recording medium
EP3792817A1 (en) Method and system for human behavior identification
JP2021003782A (ja) 物体認識処理装置、物体認識処理方法およびピッキング装置
KR20170136054A (ko) 물체의 3차원 형상을 센싱하기 위한 센서 테스트 베드, 물체 센싱 장치 및 물체 센싱 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant