CN1162681C - 三维物体识别方法及使用该方法的零件抓取系统 - Google Patents

三维物体识别方法及使用该方法的零件抓取系统 Download PDF

Info

Publication number
CN1162681C
CN1162681C CNB008000050A CN00800005A CN1162681C CN 1162681 C CN1162681 C CN 1162681C CN B008000050 A CNB008000050 A CN B008000050A CN 00800005 A CN00800005 A CN 00800005A CN 1162681 C CN1162681 C CN 1162681C
Authority
CN
China
Prior art keywords
dimensional
image
described object
dimensional character
character
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB008000050A
Other languages
English (en)
Other versions
CN1293752A (zh
Inventor
顾海松
治
中原智治
和
荒木秀和
之
藤井裕之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Electric Works Co Ltd
Original Assignee
Matsushita Electric Works Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Works Ltd filed Critical Matsushita Electric Works Ltd
Publication of CN1293752A publication Critical patent/CN1293752A/zh
Application granted granted Critical
Publication of CN1162681C publication Critical patent/CN1162681C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40053—Pick 3-D object from pile of objects

Abstract

一种三维物体识别方法，包括如下步骤：(A)：使用设置在不同位置的一对照相机对物体进行拍摄从而获得一对用于制作所述物体的立体图象的第一和第二图象；(B)：在每个第一和第二图象中检测物体的二维特征；(C)：通过与物体的模型数据进行比较来评估步骤(B)的结果的可靠性程度；(D)：根据立体测量原理产生第一和第二图象之间的二维特征的一致性；(E)：通过将在第一图象中检测的二维特征与在第二图象中检测的相应的二维特征进行比较来评估步骤(D)的结果的可靠性程度；(F)：根据通过一致性获得的二维特征的三维中的信息识别物体的三维位置和姿态；以及(G)：评估识别的三维位置和姿态的可靠性程度。

Description

三维物体识别方法及使用该方法的零件抓取系统
技术领域
本发明涉及一种三维物体识别方法，通过使用该方法可精确地高速识别物体，并且涉及一种使用该方法的零件抓取系统。
背景技术
在过去，人们提出了各种通过使用两幅二维图象制成立体图象来识别一个物体的三维位置和姿态或形状的方法。例如，日本早期公开专利[KOAKI]No.10-206135描述了“三维物体的位置姿态的确定方法”。在该方法中，通过观察三维物体的自由曲面体获得一立体图象，由该立体图象提取一个边缘图象。该边缘图象根据其局部特征被分为图段，然后，把局部几何特征加入图段中。接着，开始把图段的局部几何特征与预先产生的自由曲面体模型的局部几何特征模型进行比较，以检测出一个相应的候选物。根据候选物的位置姿态和观察方向选择与自由曲面体的外观轮廓线相对应的自由曲面体的一个小平面片。通过使用选择的小平面片将相应的候选物进行细微的调整。通过根据上述的细微调整和开始比较进行的识别处理可检测出自由曲面体的位置姿态。
另一方面，日本早期公开专利[KOAKI]No.8-136220描述了“用于检测物品位置的方法和装置”。在该方法中，通过两个照相机拍摄一个物品，获得一个图象，由该图象提取诸如线段和圆弧之类的特征部分。通过使这些特征部分与两维示意图形模型的特征部分相匹配，根据立体测量原理产生左右图象之间的一致性。通过使用一致性的结果测量特征部分的三维位置，从而可建立物品的三维结构模型。通过使测量了三维特征位置的特征部分与三维结构模型的特征部分相匹配来计算物品的三维位置。
另外，日本早期公开专利[KOAKI]No.4-130587描述了“三维图片评估装置”。在该装置中，根据用三个电视照相机拍摄物体获得的图片信息和已知的物品的三维模型数据可评估物体的位置和姿态。然后，预测在评估位置和姿态处拍摄模型时获得的图片信息以获得预测的图片信息。将由电视照相机拍摄的图片信息与预测的图片信息进行比较，确定它们之间的匹配度以识别三维物体。
由于该方法是建立在从通过图象拍摄装置提供的图象检测到的信息是正确的前提下，所以存在一个问题，即通过拍摄多个具有同样形状的物体杂乱地堆放在一起的场景可获得具有复杂信息的图象，当使用该具有复杂信息的图象或者含有噪音的图象时，不能精确地识别物体。此外，日本早期公开专利[KOAKI]No.10-206135和日本早期公开专利[KOAKI]No.08-136220的方法要求重复进行如下处理：从三维信息确定二维特征的预测值以进行校对，根据校对的结果修正三维位置和姿态的评估，以及从获得的三维信息预测二维特征。因此，存在处理时间过长的问题，使得识别效率低下。
发明内容
因此，本发明的主要目的是提供一种三维物体识别方法，通过使用该方法可精确地高速识别物体的位置和姿态。即该三维物体识别方法包括如下步骤：
步骤(A)：使用设置在不同位置的一对照相机对物体进行拍摄从而获得一对用于制作所述物体的立体图象的第一和第二图象；
步骤(B)：在每个第一和第二图象中检测物体的二维特征；
步骤(D)：根据立体测量原理产生第一和第二图象之间的二维特征的一致性；
步骤(F)：根据通过一致性获得的二维特征的三维中的信息识别物体的三维位置和姿态；
步骤(G)：评估识别的三维位置和姿态的可靠性程度；
其中所述三维物体识别方法包括：
步骤(C)：在步骤(B)和步骤(D)之间进行，通过与物体的已知模型数据进行比较来评估步骤(B)的结果的可靠性程度，和/或
步骤(E)：在步骤(D)和步骤(F)之间进行，通过将在第一图象中检测的二维特征与在第二图象中检测的相应的二维特征进行比较来评估步骤(D)的结果的可靠性程度。
另外，本发明的又一个目的是提供一种下述的三维识别方法，用于精确地高速识别物体的三维位置和姿态。即该三维识别方法包括如下步骤：
步骤(A)：使用设置在不同位置的一对照相机对物体进行拍摄从而获得一对用于制作所述物体的立体图象的第一和第二图象，并且使用与所述一对照相机设置在不同位置的另一照相机拍摄所述物体从而获得第三图象；
步骤(B)：在每个第一、第二和第三图象中检测物体的二维特征；
步骤(D)：根据立体测量原理产生第一和第二图象之间以及第一和第三图象之间的二维特征的一致性；
步骤(F)：根据通过第一和第二图象之间的一致性获得的二维特征的三维中的信息识别物体的三维位置和姿态的第一候选物，并且，根据通过第一和第三图象之间的一致性获得的二维特征的三维中的信息识别物体的三维位置和姿态的第二候选物；以及
步骤(G)：评估每个第一和第二候选物的可靠性程度；
其中所述三维物体识别识别方法包括：
步骤(C)：在步骤(B)和步骤(D)之间进行，通过与物体的模型数据进行比较来评估步骤(B)的结果的可靠性程度，和/或
步骤(E)：在步骤(D)和步骤(F)之间进行，通过将在第一图象中检测的二维特征与在第二和第三图象中检测的相应的二维特征进行比较来评估步骤(D)的结果的可靠性程度，以及
步骤(H)：根据步骤(G)中提供的第一和第二候选物确定物体的三维位置和姿态。
本发明的另一个目的是提供一种使用上述的三维物体识别方法的零件抓取系统。本发明的零件抓取系统包括一个用于执行上述三维物体识别方法的图象处理单元、一个具有灵活的机械手的机器人、以及一个机器人控制器，该机器人控制器用于根据图象处理单元提供的信息来控制机器人，使得机械手从杂乱地堆放着多个物体的料箱中抓取一个物体，并把抓取的物体移到需要的位置上。因此，即使当从杂乱地堆放着多个具有同样形状的零件的料箱中抓取一个零件时，有可能选择一个最容易从料箱中抓取的零件，并抓取所选择的零件。结果是，可以有效精确地提供生产线上的零件，同时防止抓取失误。
在下面结合附图对本发明的优选实施例的详细描述中，本发明的进一步特征和由此带来的优点将更加清楚。
附图说明
图1是使用本发明第一实施例的三维物体识别方法的零件抓取系统的示意图；
图2是示出本发明第一实施例的三维物体识别方法的流程图；
在图3中，(A)和(B)分别是由电视照相机拍摄的物品的左右图象；
图4是将在本实施例的零件抓取系统中被抓取的物品的透视图；
在图5中，(A)和(B)是左右图象，在每一个图象中，检测物品的二维特征(长边对)；
图6是示出检测单独一个物品的长边对和短边对的结果的图；
在图7中，(A)和(B)分别是示出在左右图象上识别的矩形中心的分布的图；
图8是示出检测单独一个物品的长边对和短边对的结果的图；
图9是通过使用一个金字塔图象选择二维特征的方法的原理图；
图10是基于线段的立体处理原理的示意图；
图11是一个具有用于物体识别的图形的物体的透视图；
在图13中，(A)是通过从倾斜方向拍摄堆放的物品获得的一个图片，(B)是通过本系统的照相机拍摄堆放的物品获得的一个图象；
图14是使用本发明第二实施例的三维物体识别方法的零件抓取系统的示意图；
图15是示出本发明第二实施例的三维物体识别方法的流程图；
图16是用于说明本发明的第三实施例的三维物体识别方法的示意图；
图17是用于说明本发明的第四实施例的三维物体识别方法的示意图；
图18是用于说明本发明的第五实施例的三维物体识别方法的示意图。
具体实施方式
[第一实施例]
本发明的三维物体识别方法可以很好地用于传送零件的零件抓取系统。例如，如图1所示，该零件抓取系统包括一对电视照相机(1A，1B)；通过使用这些电视照相机提供的图象信息执行本发明的三维物体识别方法的图象处理单元2；一个具有灵活的可以抓住零件30机械手的机器人5；以及一个机器人控制器4，该机器人控制器4用于根据图象处理单元2提供的输出来控制机器人5，使得机械手从料箱中抓取零件30，其中多个零件30杂乱地堆放在载物台3上，并把抓取的零件移到需要的位置上。
在图象处理单元2中，获得的视频信号由A/D转换器(20A，20B)转换为数字信号，并被暂时存储在存储器21中。接着，在CPU 22中执行本发明的三维物体识别方法，通过通讯I/F 23将零件的三维中的位置和姿态数据传送到机器人控制器4。识别结果存储在显示存储器24中，并可在显示器25上被监控。
下面将参考图2的流程图详细说明本发明的三维物体识别方法。
<步骤100A，100B>
在步骤100A和100B中，由电视照相机1A和1B拍摄杂乱地堆放在载物台3上的零件30的图象。例如，拍摄的两幅左右图象如图3(A)和3(B)所示。在本实施例中所使用的每个零件30是一个矩形框架零件，如图4所示，由光亮金属材料制成。该框架零件在后表面上具有长边对31，在前表面上具有长边对33和短边对32。
<步骤101A，101B>
接着，在步骤101A和101B中，从左右图象检测零件的二维特征。在由电视照相机1A和1B拍摄的左右图象通过A/D转换器(20A，20B)转换为数字信号后，根据相对于左右图象中的每个的明暗图形制备边缘图象。在该实施例中，由于框架零件由光亮金属材料制成，可根据照亮的最亮信息制备边缘图象。然后，在左右图象中的每个中，通过霍夫变换检测框架零件的长边对作为该框架零件的典型特征。图5(A)和5(B)是分别检测图3(A)和3(B)的左右图象上的长边对的结果。霍夫变换是一个基于“通过表决的证据信息的综合”和“大多数确定原则”的已知的检测直线的方法。因此，将省略对该原理的说明。
接着，通过霍夫变换检测短边对作为在长边对之间的区域中的零件的补充特征。图6示出了检测单独一个零件30的长边对(41a，41b)和短边对(42a，42b)的结果。因此，最好是，通过首先检测物体的典型几何特征且检测典型几何特征以外的几何特征作为补充特征来提取物体的二维特征。各包括检测的长边对和短边对的组合的矩形被作为识别候选物提供。确定各个矩形的中心点和四个角点。图7(A)和7(B)中示出了在左右图象上识别的矩形中心点的分布。如本实施例中所指出的，当多个具有同样形状的零件看起来重叠时，在二维特征的识别候选物中会出现很多的错误识别。因此，如下所述，为了获得精确的零件识别结果，有必要评估每个识别候选物的可靠性程度。
作为步骤101A和101B的另一个实施例，最好根据下述的方式检测零件的二维特征。如图8所示，通过霍夫变换检测长边对(51a，51b)作为零件的典型特征。然后，通过霍夫变换在被检测的长边对(51a，51b)包围的区域中检测第一短边对(52a，52b)和第二短边对(53a，53b)。提供由长边对(51a，51b)和第一短边对(52a，52b)组合而成的矩形作为第一识别候选物，提供由长边对(51a，51b)和第二短边对(53a，53b)组合而成的矩形作为第二识别候选物。因此，当检测多个候选物时，可以减少噪音的影响和输入图象的失真。
将被检测的二维特征并不限于上述的长边对和短边对。例如，根据将被识别的物体的形状，可以使用诸如圆、弧、直线、直线对、直线对长度、直线对方向以及平行直线对之间的距离之类的二维特征。另外，当使用黑白电视照相机拍摄左右图象时，通过分辨每个所获得的灰度图象以确定边缘和其斜率以及通过霍夫变换检测直线和直线对或圆和弧可以获得物体的典型和补充二维特征。此外，当使用彩色电视照相机时，可以使用相应于物体的典型彩色的图象区域作为典型的二维特征或补充的二维特征。
最好是，在图象拍摄方向和光亮变化上，作为三维物体的局部特征的二维特征是稳定的。例如，如图9所示，可以通过金字塔图象精确地选择二维特征。通过霍夫变换从具有粗糙分辨率的图象(原始图象)首先检测比如长边对的位置的粗糙特征。然后，根据测量精度、将被检测的特征的尺寸和图象的分辨率之间的关系，从具有适当分辨率的图象检测比如短边对之类的物体的其它特征。因此，可稳定地识别物体的矩形形状。在图中，标号45表示在原始图象上的物体的二维特征的图象。标号46、47和48分别表示在1/n1、1/n2和1/n3图象上的二维特征的图象。
<步骤102A，102B>
接着，在步骤102A和102B中，与已知零件模型数据进行比较，评估关于从步骤101A和101B提供的二维特征的信息的可靠性程度。通过使用诸如根据将要识别的物体的形状选择的几何尺寸之类的信息来进行可靠性评估。具体地说，例如，通过使用由下述的方程式表示的测量不确定性可评估可靠性程度，
fl＝|Lm-Lr|                                 ........(1)
其中“fl”是二维特征的可靠性评估值，“Lr”是物体的直线的长度(测量值)，“Lm”是物体的相应的直线的实际长度，当可靠性评估值“fl”大于要求的阈值时，检测的二维特征作为错误识别而被删除。
另外，通过使用由下述的方程式表示的测量不确定性可评估可靠性程度，
fv＝|Θm-Θr|                               ........(2)
其中，“fv”是二维特征的可靠性评估值，“Θr”是由形成物体的矩形的第一和第二平行直线对限定的角度(测量值)，“Θm”是由物体的第一和第二平行直线对限定的一个实际角度。当可靠性评估值“fv”大于要求的阈值时，检测的二维特征作为错误识别而被删除。
另外，通过使用由下述的方程式表示的测量不确定性可评估可靠性程度，
fd＝|Dm-Dr|                                 .........(3)
其中，“fd”是二维特征的可靠性评估值，“Dr”是从图象检测的物体的平行直线之间的距离(测量值)，“Dm”是物体的相对应的平行直线之间的实际距离。当可靠性评估值“fd”大于要求的阈值时，检测的二维特征作为错误识别而被删除。
此外，通过使用由方程式(2)或(3)获得的下述的方程式可评估总可靠性程度，
fσ＝|Θm-Θr|+|Dm-Dr|                      .........(4)
其中，“fσ”是二维特征的总可靠性评估值。
因此，最好是将在每个左右图象中检测的二维特征与实际物体的二维特征进行比较，并且在它们之间的差别超过一个要求的阈值时，删除作为错误识别的检测的二维特征。在这种情况下，由于在根据立体测量原理产生左右图象之间的二维特征的一致性的步骤103之前删除了从步骤(101A，101B)提供的信息中包含的错误识别，可以避免进行产生错误识别信息的一致性的处理，从而整体上改进三维物体识别方法的处理效率。在上述的可靠性评估中，通过设定多个具有不同权重系数的可靠性评估部分，以及使用包括确定的评估值的可靠性评估部分的权重系数，可以评估可靠性程度。
<步骤103>
在步骤103中，根据立体测量原理产生从步骤102A和102B中提供的物体的左右图象上的二维特征之间的一致性。在该实施例中，由于零件30具有线特征，使用基于线段的立体测量原理来产生一致性。图10是说明立体测量原理的图。对于图l0所示的左右图象的线段特征Ll、Lr，设定两条经过这些线段的外极线(epipolar)E1、E2，外极线是左右照相机的透镜中心和将被测量的一点确定的平面与每个照相机的图象拍摄平面的交线。由于从左右线段特征Ll、Lr与外极线E1的交点Pl1、Pr1可确定视差，通过下面的方程式可获得照相机透镜与物体的边L上的点P1之间的距离，即图象上的点P1的三维中的高度坐标。
Z＝(F×B)/D                       .........(5)
其中，“F”是焦距，“B”是照相机之间的距离，“D”是视差。因此，可确定物体的边L上的点P1的三维中的位置坐标。相类似，由于从左右线段特征Ll、Lr与外极线E2的交点Pl2、Pr2可确定视差，通过上面的方程式可获得图象的边L上的点P2的三维中的高度坐标。因此，可确定物体的边L上的点P2的三维中的位置坐标。从点P1和P2的三维中的位置坐标可确定三维中的线L的位置和姿态。因此，步骤103的目的是，通过产生左图象上的物体的二维特征(直线等)与右图象上的物体的相应的二维特征之间的一致性来确定二维特征的三维中的位置和姿态。
为了产生物体的左右图象之间的二维特征的一致性，比如，有如下方法：(a)、使用左右图象之间的直线对的中心轴和直线的平行度的方法，(b)、使用左右图象之间的直线对和直线的长度不同的方法，(c)、使用左右图象之间的物体的整体形状不同的方法，(d)、使用左右图象之间的直线对的中心轴和直线的方向不同的方法。作为方法(b)，可以采用(b1)、确定在通过霍夫变换进行直线检测时专用于直线的边缘点数目作为直线长度的方法，或者(b2)、确定通过边缘跟踪获得的直线两端之间的距离作为直线长度的方法。另外，作为方法(d)，可以采用(d1)、确定通过边缘跟踪获得的直线的起点和终点限定的方向作为直线方向的方法，(d2)、确定在通过霍夫变换进行直线检测时表示直线的参数β作为直线方向的方法，或者(d3)、确定在通过霍夫变换进行直线检测时专用于直线的边缘的效率方向的平均值作为直线方向的方法。
<步骤104>
在步骤104中，评估从步骤103提供的二维特征的一致性的可靠性程度。为了评估一致性的可靠性程度，可以使用物体的局部特征，比如，直线长度、形成物体的矩形的第一和第二平行直线对限定的角度、和/或平行直线之间的距离。当使用直线长度时，通过使用下述的方程式可评估一致性的可靠性程度，
Fl＝|Ll-Lr|                             .......(6)
其中“Fl”是左右图象之间产生的一致性的可靠性评估值，“Lr”是在右图象上检测的直线的长度，“Ll”是在左图象上检测的相应的直线的长度。当可靠性评估值“Fl”大于要求的阈值时，提供的一致性作为错误一致性而被删除。
另外，当使用两平行的直线对限定的角度时，通过使用下述的方程式可评估一致性的可靠性程度，
Fθ＝|Θl-Θr|                              .......(7)
其中，“Fθ”是左右图象之间产生的一致性的可靠性评估值，“Θr”是在右图象上检测的两平行的直线对限定的角度，“Θl”是在左图象上检测的相应的两平行的直线对限定的角度。当可靠性评估值“Fθ”大于要求的阈值时，提供的一致性作为错误一致性而被删除。
另外，当使用平行直线之间的距离时，通过使用下述的方程式可评估一致性的可靠性程度，
Fd＝|Dl-Dr|                                 ........(8)
其中，“Fd”是左右图象之间产生的一致性的可靠性评估值，“Dr”是在右图象上检测的平行直线之间的距离，“Dl”是在左图象上检测的相应的平行直线之间的距离。当可靠性评估值“Fd”大于要求的阈值时，提供的一致性作为错误一致性而被删除。
因此，最好是将在每个左图象中检测的二维特征与在右图象中检测的相应的二维特征进行比较，并且在它们之间的差别超过一个要求的阈值时，删除作为错误一致性的检测的二维特征。在这种情况下，由于在识别零件的三维中的位置和姿态的下一个步骤105之前删除了从步骤103提供的信息中包含的错误一致性，可以避免进行根据错误一致性信息识别零件的三维中的位置和姿态的处理，从而整体上改进三维物体识别方法的处理效率。在上述的可靠性评估中，通过设定多个具有不同权重系数的可靠性评估部分，以及使用包括确定的评估值的可靠性评估部分的权重系数，可以评估可靠性程度。
在本实施例中，通过使用长边和短边对的长度和方向来评估一致性的可靠性程度以删除错误一致性。为了获得精确的识别结果，如本实施例所示，最好进行步骤(102A，102B)和步骤104。但是，当在步骤(102A，102B)中评估可靠性程度时，可以省略步骤104的可靠性程度。另外，当在步骤104中评估可靠性程度时，可以省略步骤(102A，102B)。
<步骤105>
在步骤105中，根据从步骤104提供的物体的二维特征的三维中的信息识别物体的三维中的位置和姿态。例如，为了识别物体的三维中的位置和姿态，可以采用如下方法：(A)、测量物体上任意选择的三点构成的三角形的中心位置作为物体的位置以及垂直于三角形平面的方向作为物体的姿态，(B)、测量垂直于由物体上四点或更多点确定的三维中的平面的方向的平均值作为物体的姿态以及物体上的四点或更多点的位置的组合的平均值的三维中的位置作为物体的位置，或者(C)、测量垂直于由物体上的具有不同方向的两组平行线确定的平面的方向的平均值作为物体的姿态以及两组平行线的四个交点的平均位置作为物体的位置。另外，作为确定垂直于平面的方向的方法，可以使用确定垂直于通过最小正方形方法任意选择的三点的三维坐标构成的平面的方法，或者确定垂直于通过使用根据Matrin Newell方法任意选择的四点的三维坐标获得的平面方程的平面的方法。
下面将介绍步骤105的一个具体的实例。首先，限定物体的典型位置和姿态。具体地说，垂直于由图3中所示的零件的短边对32构成的平面的方向被限定为零件的姿态，由短边对32和通过把长边对31投影在短边对32的平面上获得的直线对构成的矩形的中心被限定为物体的典型位置。然后，确定用于获得典型位置和姿态所要求的物体的元素的三维中的信息。具体地说，对于图3中所示的零件，确定短边对32、长边对31、短边对平面和通过把长边对31投影在短边对平面上获得的直线对的三维中的信息。接着，从元素的三维中的信息确定物体的典型点的三维位置坐标。具体地说，确定由短边对32和通过把长边对31投影在短边对32的平面上获得的直线对构成的矩形的四个交点Pi(Xi，Yi，Zi)(i＝1-4)。把这些坐标代入下述的方程式中，可获得物体的典型点的三维位置坐标(Xc，Yc，Zc)。
Xc＝(X1+X2+X3+X4)/4                 .........(9)
Yc＝(Y1+Y2+Y3+Y4)/4                 .........(10)
Zc＝(Z1+Z2+Z3+Z4)/4                 .........(11)
另外，从元素的三维中的信息确定物体的姿态。即，根据下述的方程式(12)，通过Matrin Newell方法和最小正方形方法确定垂直于由短边对构成的平面aX+bY+Z+d＝0的方向参数(a，b，1)。
a b d = &Sigma; 1 4 X i 2 &Sigma; 4 4 X i Y i &Sigma; 1 4 X i &Sigma; 1 4 X i Y i &Sigma; 1 4 Y i 2 &Sigma; 1 4 Y i &Sigma; 1 4 X i &Sigma; 1 4 Y i 4 - 1 - &Sigma; 1 4 X i Z i - &Sigma; 1 4 Y i Z i - &Sigma; 1 4 Z i
a b 1 = &Sigma; i , j = 1 i &NotEqual; j 4 ( Y i - Y j ) ( Z i + Z j ) &Sigma; i , j = 1 i &NotEqual; j 4 ( X i - X j ) ( Y i + Y j ) &Sigma; i , j = 1 i &NotEqual; j 4 ( Z i - Z j ) ( X i + X j ) &Sigma; i , j = 1 i &NotEqual; j 4 ( X i - X j ) ( Y i + Y j ) 1
另外，物体的多个典型点的三维坐标的平均值可以被确定为物体的位置，并且，垂直于物体的多个典型平面的方向的平均值可以被确定为物体的姿态。
在步骤105中，最好识别物体的前面和后面。具体地说，确定物体所要求的元素，比如，图3所示的零件30的长边对31和短边对32构成的平面。接着，从三维中元素之间的相对位置关系识别物体的三维中的方向。例如，通过根据图3所示的零件30的长边对31的平面和短边对32的平面之间的宇宙坐标系统Oxyz中的相对位置关系，鉴别零件30的前面和后面识别物体的三维中的姿态。在该实例中，当长边对31的平面与短边对32的平面相比处于较高的位置时，它可被识别为后面。因此，通过根据物体的元素的三维中的信息鉴别物体的前面和后面可以进一步改进三维物体识别的精度。
另外，最好是，根据所要求的物体的区域上的图形和颜色来识别物体的三维中的姿态。例如，当根据零件上描绘的要求的图形鉴别物体的前面和后面时，在左右图形上检测所要求的物体的二维区域，以鉴别区域中诸如字母之类的图形存在与否。在图11的情况下，由于字母35“ABCD”仅描绘在零件30A的后面，可以通过鉴别字母的存在与否来识别零件30A的前面和后面。另外，当根据零件上所提供的所要求的颜色区域来鉴别物体的前面和后面时，通过使用彩色电视照相机检测零件30B上提供的颜色区域36来识别图12所示的零件30B的前面和后面。
<步骤106>
在步骤106中，评估从步骤105提供的物体的三维中的位置和姿态的识别结果的测量可靠性程度。即，将通过测量物体获得的三维中的信息与物体的已知三维特征(即模型数据)进行比较以便根据它们之间的不同对识别的三维中的位置和姿态给定一个可靠性分数。作为已知的将与测量值进行比较的物体的三维特征，比如，可以使用物体的三维中的直线之间的距离、物体的三维中的平面之间的距离、垂直于三维中的平面的方向之间限定的角度、在多个点测量的物体的三维中的平面之间的距离变化、测量的三维中的直线上的每个点的位置变化、以及测量的三维中的平面上的每个点的位置变化。
另外，最好是，通过使用可靠性评估方程式来评估测量可靠性的程度，该评估方程式包括至少两个与物体的几何特征相关的评估因子。在这种情况下，每个评估因子具有一个根据其重要性确定的权重。例如，在图3所示的零件的情况下，最好通过使用下述的方程式(13)和(14)来评估物体的三维中的位置和姿态的识别结果的可靠性程度。即，通过下述的方程式，使用在步骤103中产生一致性的矩形的线段元素可以评估三维中的总可靠性程度，从而在三维中重建只有满足线段基础上的恒定可靠性程度的立体象对。
U2d＝W1(短边的二维中的平行度)+W2(短边之间的二维中的距离的相似性)+W3(短边构成的平面和长边构成的平面之间的相似性)+W4(长边的二维中的平行度)+W5(长边之间的二维中的距离的相似性)+W6(短边构成的平面和长边构成的平面之间的距离)                .........(13)
其中“U2d”是二维中的总可靠性的评估值，Wi(i＝1-6)是权重系数。根据评估项目的重要性和测量值的稳定性确定每个用于评估项目的权重系数。例如，由于能以较好的精度检测距离的测量值，最好将距离的权重系数W2、W5和W6设定的比其它权重系数大。通过设定多个具有不同权重系数的可靠性评估部分，以及使用包括确定的评估值“U2d”的可靠性评估部分的权重系数，可以评估可靠性程度。
接着，对于每个边、平面和重建的物体的三维中的平面之间，检测测量值与模型数据之间的相似性，并且，通过下述的方程式确定三维中的总可靠性程度。
U3d＝W1(短边的平行度)+W2(短边之间的距离的相似性)+W3(短边构成的平面的平面度)+W4(长边的平行度)+W5(长边之间的距离的相似性)+W6(长边构成的平面的平面度)+W7(短边构成的平面和长边构成的平面之间距离的相似性)+W8(短边构成的平面和长边构成的平面之间的平行度)+W9(垂直于短边构成的平面的方向和垂直于长边构成的平面的方向之间的相似性)+W10(短边轴和长边轴之间的相似性)                                                .........(14)
其中“U3d”是三维中的总可靠性的评估值，Wi(i＝1-10)是权重系数。根据评估项目的重要性和测量值的稳定性确定每个用于评估项目的权重系数。
<步骤107>
在步骤107中，根据从步骤106提供的零件的三维中的位置和姿态的识别结果确定将由机械手抓取零件。在本实施例中，使用“零件存在于较高位置”和“获得的三维中的位置和姿态的识别结果的可靠性程度较高”的评估标准，关于这些评估标准，具有最高水平满意度的零件被作为最容易抓取的零件。在表1和图13(A)和13(B)中示出了最后结果的一个实例。表1示出了零件的中心点离开载物台的高度(Z)以及可靠性程度(C)，在图13(A)和13(B)中每个零件由标号#1至#4表示。
                      表1
    No     零件中心点的高度(Z)     可靠性程度(C)
    #1     22.5     5155
    #2     13.8     1052
    #3     13.0     1079
    #4     9.4     4079
如果数字值较小，可靠性程度增加。尽管零件#1的中心点位于较高位置，但其可靠性程度较低。另一方面，零件#2具有中心点的第二高度和最高的可靠性程度。因此，在该实例中，零件#2被选择作为最容易抓取的零件。零件#1由于其倾斜一个较大的角度而可靠性程度较低。
<步骤108-110>
确定将被抓取的零件后，零件的坐标数据被送到机器人控制器(步骤108)。机器人控制器控制机器人，使得机械手从料箱中抓取所选择的零件(在上述的实例中为#2)，并将零件送到要求的位置(步骤109)。接着，检测是否完成所有零件的抓取(步骤110)。在为是的情况下，操作结束。在为否的情况下，重复上述的操作。
最好采用包括如下步骤的方法，即根据在步骤105中识别的物体的三维中的位置和姿态预测左右图象上的物体的二维特征，并且评估预测的二维特征与在步骤(101A，101B)中检测的物体的二维特征之间的相似性。具体地说，根据在步骤105中获得的物体的三维中的信息和照相机的投影模型预测左右图象上的二维特征。将预测的二维特征与在步骤(101A，101B)中检测的物体的二维特征进行比较以评估在步骤(101A，101B)中检测的二维特征的结果。因此，通过把获得的三维中的信息反馈到二维特征的评估处理中，可以更精确地评估二维特征。因此，可以改进物体的三维中的位置和姿态的识别精度。
如上所述，根据本发明，由于测量结果的可靠性程度适合在从生成物体的立体图的两幅图象识别物体的三维中的位置和姿态的方法的较早阶段进行，可早期删除不确定性信息，可通过使用高可靠性程度的信息来进行下一步的处理。因此，即使面对多个零件杂乱堆放的复杂情况，也可以精确地高速识别物体的三维中的位置和姿态。
[第二实施例]
如图14所示，第二实施例的零件抓取系统基本上等于第一实施例的零件抓取系统，只是除了电视照相机之外还使用一个第三照相机1C，通过使用用于第三照相机1C的带有A/D转换器20C的图象处理单元可进行图15所示的三维物体识别方法。
本实施例的三维物体识别方法包括如下步骤：步骤200A，拍摄左图象；步骤201A，检测左图象上物体的二维特征；步骤202A，评估二维特征的可靠性程度；步骤200B，拍摄右图象；步骤201B，检测右图象上物体的二维特征；步骤202B，评估二维特征的可靠性程度。按照与第一实施例相同的方式进行这些步骤。本实施例的方法还包括如下步骤：步骤200C，拍摄第三图象；步骤201C，检测第三图象上物体的二维特征；步骤202C，评估二维特征的可靠性程度。按照与左右图象的情况相同的方式进行这些步骤。
接着，按照与第一实施例相同的方式进行如下步骤：步骤(203)，产生左右图象之间的二维特征的一致性；步骤(204)，评估一致性的可靠性程度；步骤(205)，识别物体的三维中的位置和姿态；以及步骤(206)，评估三维中的位置和姿态的识别结果的可靠性程度。另一方面，按照与上述相同的方式独立进行如下步骤：步骤(203’)，产生左图象和第三图象之间的二维特征的一致性；步骤(204’)，评估一致性的可靠性程度；步骤(205’)，识别物体的三维中的位置和姿态；以及步骤(206’)，评估三维中的位置和姿态的识别结果的可靠性程度。在步骤207中，从步骤206提供的三维中的位置和姿态的信息和从步骤206’提供的三维中的位置和姿态的信息被混合在一起。接着的步骤基本上与第一实施例相同，因此将省略对其的说明。
在本实施例的系统中，整个系统的结构的复杂性稍微增加。但是，有这样一个优点，即，无论物体的姿态如何，能以均匀的测量精度识别物体的三维中的位置和姿态。如有必要，该三维物体识别方法还可包括如下步骤：增加从不同于左、右和第三图象的视点拍摄图象的照相机，使用另外的照相机提供的图象信息进行识别处理。当使用很多照相机时，为了提供实际的系统，加速识别处理是一个重要的主题。因此，最好使用平行分布处理的结构。
在步骤204和步骤205之间以及步骤204’和步骤205’之间可根据物体的颜色评估可靠性的程度。具体地说，计算测量的物体矩形表面的颜色与实际的相对应物体矩形表面的颜色的偏移，所获得的偏移被用于评估可靠性程度。例如，确定标准颜色矢量的标量积。当用C(R，G，B)表示测量的物体矩形表面的颜色的标准颜色矢量时，用Cm(Rm，Gm，Bm)表示实际的物体矩形表面的标准颜色矢量，可由下述的方程式确定可靠性评估值“fc”，
“fc”＝Cm·C＝Rm*R+Gm*G+Bm*B              .........(15)
另外，可代替上述的颜色根据物体上的图形评估可靠性程度。具体地说，计算测量的物体矩形表面的图形与实际的相对应物体矩形表面的图形的偏差量，使用所获得的偏差量来评估可靠性程度。例如，最好使用表面亮度的变化。当用“I”和“Im”分别表示测量的物体矩形表面的亮度和实际的物体矩形表面的亮度时，并且“Var()表示变化时，可由下述的方程式确定可靠性评估值“fp”，
fp＝1/(1+|1+Var(Im)-Var(I)|)        .........(16)
因此，通过根据颜色或图形进行另外的可靠性评估可以进一步改进识别精度。
[第三实施例]
上述第二实施例说明了，通过产生左右图象之间及左图象与第三图象之间的二维特征的一致性，可以改进物体的三维中的位置和姿态的识别精度。在该实施例中，考虑到产生右图象和第三图象之间的二维特征的一致性来进行三维物体识别方法。
具体地说，如图16所示，说明了将矩形固体50用作物体的情况，并且，两个平行的直线对(51，52)，(53，54)被用作物体的二维特征。首先，使用三个照相机1A，1B和1C拍摄矩形固体的图象。接着，从三个图象中的每个中提取两个平行的直线对(51，52)，(53，54)作为二维特征。进行产生由照相机1A拍摄的左图象和由照相机1B拍摄的右图象之间的一致性的第一处理、产生左图象和由照相机1C拍摄的第三图象之间的一致性的第二处理、产生右图象和第三图象之间的一致性的第三处理。可根据与第一实施例的步骤103相同的方式进行每个处理。然后，通过下述的可靠性评估的方法从第一至第三处理的结果确定具有最高可靠性程度的结果。
两个平行直线对的四个方向被表示为127，128，129和130。另外，连接电视照相机1A和1B的光学中心的直线方向、连接电视照相机1B和1C的光学中心的直线方向、连接电视照相机1C和1A的光学中心的直线方向被分别表示为124，125和126。首先，关于平行直线对51，52的方向127，128，计算由连接两个电视照相机光学中心的直线和这些方向限定的角度(γ)。可根据这些角度的函数(在本说明中，是如下示出的三角几何函数的正弦函数)确定可靠性程度“f(γ)”。
γ＜90：f(γ)＝sin(γ)                .........(17)
γ≥90：f(γ)＝sin(180-γ)            .........(18)
作为计算角度的结果，由方向127，128和方向124限定的角度为10度，由方向127，128和方向125限定的角度为50度，由方向127，128和方向126限定的角度为70度。从这些结果中，由于电视照相机1C和1A之间的一致性表示关于线段51和52的最高程度的可靠性，所以选择第二处理的一致性的结果。另一方面，由线段53，54的方向129，130和方向124限定的角度为80度，由方向129，130和方向125限定的角度为40度，由方向129，130和方向126限定的角度为20度。从这些结果中，由于电视照相机1A和1B之间的一致性表示关于线段53和54的最高程度的可靠性，所以选择第一处理的一致性的结果。
因此，通过选择性地使用产生关于每个局部特征的最高程度的可靠性的一致性的处理的结果，可进行三维物体识别方法。因此，可以提供具有改进精度的识别结果。由于可根据与上述的实施例相同的方式进行如下步骤，即根据产生一致性的处理的结果识别物体的三维中的位置和姿态，以及评估识别结果的可靠性程度，故省略对其的描述。
[第四实施例]
如图14所示，在使用具有三个照相机的系统进行三维物体识别方法的情况下，本实施例的特征在于下述步骤：将通过产生左右图象之间的一致性获得的三维特征投影在由第三照相机拍摄的第三图象上，该第三照相机与第一和第二照相机之间具有已知的三维中的位置关系，计算投影的二维特征与相应的第三图象的二维特征之间的偏差，以及根据偏差量评估二维特征的可靠性程度。
具体地说，首先产生左右图象之间的一对直线的一致性。该结果被投影在第三图象上。在图17中，标号141和142表示直线对的投影图象，标号143和144表示第三图象145上相应的直线对的图象。计算由直线对143和144与投影的直线对141和142限定的角度(δ)。可根据这些角度的函数(在本说明中，是如下示出的三角几何函数的余弦函数)确定可靠性程度“f(δ)”。
f(δ)＝cos(δ)                     .........(19)
由于f(δ)的值较小，可靠性程度增加。当正确地进行测量时，直线对143，144和投影直线对141，142相一致。
因此，通过根据第三图象上的投影图象评估二维特征的可靠性程度以及选择性地使用具有高可靠性程度的一致性的结果，可识别物体的三维的位置和姿态。因此，可以提供具有改进精度的识别结果。由于可根据与上述的实施例相同的方式进行如下步骤，即根据产生一致性的处理的结果识别物体的三维中的位置和姿态，以及评估识别结果的可靠性程度，故省略对其的描述。
[第五实施例]
如图18所示，本实施例的三维物体识别方法的特征在于：使用第一对电视照相机81，82拍摄两幅图象来制作物体的立体图象，以及使用第二对电视照相机84，85从不同的角度拍摄两幅图象来制作物体的另一立体图象。
例如，提取平面88和90二维特征(相交成直角的直线)。接着，产生由电视照相机81和82检测的二维特征的一致性，以及产生由电视照相机84和85检测的二维特征的一致性。然后，确定由垂直于平面的方向与电视照相机的视点方向限定的角度(α)。具体地说，计算由垂直于平面88，90的方向89，91与第一对和第二对电视照相机的视点方向83，86限定的每个角度。可根据这些角度的函数(在本说明中，是如下示出的三角几何函数的余弦函数)确定可靠性程度“f(α)”。
α＜90：f(α)＝cos(α)           .........(20)
α≥90：f(α)＝cos(180-α)       .........(21)
关于由垂直于平面88的方向89与第一对和第二对电视照相机的每个视点方向83，86限定的角度，由于由方向89与视点方向83限定的角度小于由方向89与视点方向86限定的角度，前者的可靠性评估值f(α)较高。因此，选择测量平面88与第一对电视照相机的结果。另一方面，关于由垂直于平面90的方向91与第一对和第二对电视照相机的每个视点方向83，86限定的角度，由于由方向91与视点方向83限定的角度大于由方向91与视点方向86限定的角度，后者的可靠性评估值f(α)较高。因此，选择测量平面90与第二对电视照相机的结果。
因此，通过选择性地使用关于每个构成物体的平面的较高程度的可靠性的测量结果，可识别物体的三维中的位置和姿态。因此，可以提供具有改进精度的识别结果。由于可根据与上述的实施例相同的方式进行如下步骤，即根据产生一致性的处理的结果识别物体的三维中的位置和姿态，以及评估识别结果的可靠性程度，故省略对其的描述。
在上述的实施例中，已经详细描述了应用在提供零件的零件抓取系统上的本发明的三维物体识别方法。但是，本发明的方法不限于这种应用，其可应用在使用物体三维中的位置和/或姿态信息的各种系统中。

Claims (17)

1、一种三维物体识别方法，包括如下步骤：
步骤(A)：使用设置在不同位置的一对照相机对物体进行拍摄从而获得一对用于制作所述物体的立体图象的第一和第二图象；
步骤(B)：在每个第一和第二图象中检测所述物体的二维特征；
步骤(D)：根据立体测量原理产生第一和第二图象之间的所述二维特征的一致性；
步骤(F)：根据通过一致性获得的所述二维特征的三维中的信息识别所述物体的三维位置和姿态；以及
步骤(G)：评估识别的三维位置和姿态的可靠性程度；
其中所述三维物体识别方法包括：
步骤(C)：在步骤(B)和步骤(D)之间进行，通过与所述物体的已知模型数据进行比较来评估步骤(B)的结果的可靠性程度，和/或
步骤(E)：在步骤(D)和步骤(F)之间进行，通过将在第一图象中检测的所述二维特征与在第二图象中检测的相应的二维特征进行比较来评估步骤(D)的结果的可靠性程度。
2、按照权利要求1所述的三维物体识别方法，其特征在于，步骤(B)包括通过首先检测所述物体的典型几何特征提取所述物体的所述二维特征，并且检测所述典型特征以外的几何特征作为补充特征。
3、按照权利要求1所述的三维物体识别方法，其特征在于，步骤(C)包括将在每个第一和第二图象中检测的所述二维特征与相应的已知模型数据的二维特征进行比较，并且在它们之间的差别超过一个要求的阈值时，删除作为错误检测的检测的二维特征。
4、按照权利要求3所述的三维物体识别方法，其特征在于，步骤(C)中的所述二维特征包括所述物体的直线、直线长度、方向、形成所述物体的矩形的第一平行直线对和第二平行直线对之间限定的角度、和所述物体的平行直线之间的距离中的至少一个。
5、按照权利要求1所述的三维物体识别方法，其特征在于，步骤(E)包括将在第一图象中检测的所述二维特征与相应的在第二图象中检测的二维特征进行比较，并且在它们之间的差别超过一个要求的阈值时，删除作为错误检测的检测的二维特征。
6、按照权利要求5所述的三维物体识别方法，其特征在于，步骤(E)中的所述二维特征包括所述物体的直线、直线长度、形成所述物体的矩形的第一平行直线对和第二平行直线对之间限定的角度、和所述物体的平行直线之间的距离中的至少一个。
7、按照权利要求1所述的三维物体识别方法，其特征在于，步骤(F)包括根据所述二维特征的三维中的信息确定所述物体的一个点的三维坐标作为所述物体的位置，并且，确定垂直于所述物体的一个平面的方向作为所述物体的姿态。
8、按照权利要求1所述的三维物体识别方法，其特征在于，步骤(F)包括根据所述二维特征的三维中的信息确定所述物体的多个点的三维坐标的平均值作为所述物体的位置，并且，确定垂直于所述物体的多个平面的方向的平均值作为所述物体的姿态。
9、按照权利要求1所述的三维物体识别方法，其特征在于，步骤(F)包括通过检测在所述物体上提供的图形来识别所述物体的三维姿态。
10、按照权利要求1所述的三维物体识别方法，其特征在于，步骤(F)包括通过检测在所述物体上提供的颜色来识别所述物体的三维姿态。
11、按照权利要求1所述的三维物体识别方法，其特征在于，步骤(G)包括将在步骤(F)中识别的所述物体三维位置和姿态与所述物体的已知三维特征进行比较，并且根据它们之间的不同对识别的三维位置和姿态给定一个可靠性分数。
12、按照权利要求1所述的三维物体识别方法，其特征在于，通过使用可靠性评估方程式来评估可靠性的程度，该可靠性评估方程式包括至少两个关于所述物体的几何特征的评估因子，每个评估因子具有一个根据其重要性确定的权重。
13、按照权利要求1所述的三维物体识别方法，其特征在于还包括如下步骤：
步骤(H)：即根据步骤(F)中获得的三维位置和姿态预测每个第一和第二图象上的物体的二维特征；以及
步骤(I)：评估预测的二维特征与在步骤(B)中检测的所述二维特征之间的相似性程度。
14、按照权利要求1所述的三维物体识别方法，其特征在于，步骤(A)包括使用与所述一对照相机设置在不同位置的另一照相机拍摄所述物体从而获得第三图象；
步骤(B)包括除了第一和第二图象外在第三图象中检测所述物体的所述二维特征；以及
步骤(D)包括根据立体测量原理产生第一和第二图象之间、第二和第三图象之间和第一和第三图象之间每个的所述二维特征的一致性；
其中步骤(E)包括在可靠性程度上评估步骤(D)的结果，并且将具有最高可靠性程度的所述二维特征的一致性提供给步骤(F)。
15、一种零件抓取系统，所述系统包括：
一个用于执行三维物体识别方法的图象处理单元，所述三维物体识别方法包括如下步骤：
步骤(A)：使用设置在不同位置的一对照相机对物体进行拍摄从而获得一对用于制作所述物体的立体图象的第一和第二图象；
步骤(B)：在每个第一和第二图象中检测所述物体的二维特征；
步骤(D)：根据立体测量原理产生第一和第二图象之间的所述二维特征的一致性；
步骤(F)：根据通过一致性获得的所述二维特征的三维中的信息识别所述物体的三维位置和姿态；以及
步骤(G)：评估识别的三维位置和姿态的可靠性程度；
其中所述三维物体识别方法包括：
步骤(C)：在步骤(B)和步骤(D)之间进行，通过与所述物体的已知模型数据进行比较来评估步骤(B)的结果的可靠性程度，和/或
步骤(E)：在步骤(D)和步骤(F)之间进行，通过将在第一图象中检测的所述二维特征与在第二图象中检测的相应的二维特征进行比较来评估步骤(D)的结果的可靠性程度；
一个具有灵活的机械手的机器人；以及
一个机器人控制器，该机器人控制器用于根据图象处理单元提供的信息来控制所述机器人，使得所述机械手从杂乱地堆放着多个物体的料箱中抓取一个物体，并把抓取的物体移到需要的位置上。
16、一种三维物体识别方法，其包括如下步骤：
步骤(A)：使用设置在不同位置的一对照相机对物体进行拍摄从而获得一对用于制作所述物体的立体图象的第一和第二图象，并且使用与所述一对照相机设置在不同位置的另一照相机拍摄所述物体从而获得第三图象；
步骤(B)：在每个第一、第二和第三图象中检测所述物体的二维特征；
步骤(D)：根据立体测量原理产生第一和第二图象之间以及第一和第三图象之间的二维特征的一致性；
步骤(F)：根据通过第一和第二图象之间的一致性获得的二维特征的三维中的信息识别所述物体的三维位置和姿态的第一候选物，并且，根据通过第一和第三图象之间的一致性获得的二维特征的三维中的信息识别物体的三维位置和姿态的第二候选物；以及
步骤(G)：评估每个第一和第二候选物的可靠性程度；
其中所述三维物体识别方法包括：
步骤(C)：在步骤(B)和步骤(D)之间进行，通过与所述物体的模型数据进行比较来评估步骤(B)的结果的可靠性程度，和/或
步骤(E)：在步骤(D)和步骤(F)之间进行，通过将在第一图象中检测的二维特征与在第二和第三图象中检测的相应的二维特征进行比较来评估步骤(D)的结果的可靠性程度，以及
步骤(H)：根据步骤(G)中提供的第一和第二候选物确定所述物体的三维位置和姿态。
17、一种零件抓取系统，所述系统包括：
一个用于执行三维物体识别方法的图象处理单元，所述三维物体识别方法包括如下步骤：
步骤(A)：使用设置在不同位置的一对照相机对物体进行拍摄从而获得一对用于制作所述物体的立体图象的第一和第二图象，并且使用与所述一对照相机设置在不同位置的另一照相机拍摄所述物体从而获得第三图象；
步骤(B)：在每个第一、第二和第三图象中检测所述物体的二维特征；
步骤(D)：根据立体测量原理产生第一和第二图象之间以及第一和第三图象之间的二维特征的一致性；
步骤(F)：根据通过第一和第二图象之间的一致性获得的二维特征的三维中的信息识别所述物体的三维位置和姿态的第一候选物，并且，根据通过第一和第三图象之间的一致性获得的二维特征的三维中的信息识别物体的三维位置和姿态的第二候选物；以及
步骤(G)：评估每个第一和第二候选物的可靠性程度；
其中所述三维物体识别方法包括：
步骤(C)：在步骤(B)和步骤(D)之间进行，通过与所述物体的模型数据进行比较来评估步骤(B)的结果的可靠性程度，和/或
步骤(E)：在步骤(D)和步骤(F)之间进行，通过将在第一图象中检测的二维特征与在第二和第三图象中检测的相应的二维特征进行比较来评估步骤(D)的结果的可靠性程度，以及
步骤(H)：根据步骤(G)中提供的第一和第二候选物确定所述物体的三维位置和姿态；
一个具有灵活的机械手的机器人；以及
一个机器人控制器，该机器人控制器用于根据图象处理单元提供的信息来控制所述机器人，使得所述机械手从杂乱地堆放着多个物体的料箱中抓取一个物体，并把抓取的物体移到需要的位置上。
CNB008000050A 1999-03-19 2000-03-17 三维物体识别方法及使用该方法的零件抓取系统 Expired - Fee Related CN1162681C (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP076538/1999 1999-03-19
JP7653899 1999-03-19
JP253099/1999 1999-09-07
JP25309999 1999-09-07
JP30443799 1999-10-26
JP304437/1999 1999-10-26

Publications (2)

Publication Number Publication Date
CN1293752A CN1293752A (zh) 2001-05-02
CN1162681C true CN1162681C (zh) 2004-08-18

Family

ID=27302185

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB008000050A Expired - Fee Related CN1162681C (zh) 1999-03-19 2000-03-17 三维物体识别方法及使用该方法的零件抓取系统

Country Status (5)

Country Link
US (1) US6721444B1 (zh)
JP (1) JP3525896B2 (zh)
CN (1) CN1162681C (zh)
DE (1) DE10080012B4 (zh)
WO (1) WO2000057129A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104608136A (zh) * 2013-11-05 2015-05-13 发那科株式会社 用机器人取出散乱堆积的物品的装置以及方法
TWI675000B (zh) * 2019-03-22 2019-10-21 所羅門股份有限公司 物件運送方法及系統
CN110370268A (zh) * 2018-09-11 2019-10-25 天津京东深拓机器人科技有限公司 箱内拣选的方法、装置和系统
TWI702179B (zh) * 2019-12-05 2020-08-21 所羅門股份有限公司 取物系統及方法
TWI753989B (zh) * 2017-01-16 2022-02-01 中國大陸商泰科電子（上海）有限公司 膜片供應系統和方法

Families Citing this family (157)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2003239171A1 (en) * 2002-01-31 2003-09-02 Braintech Canada, Inc. Method and apparatus for single camera 3d vision guided robotics
JP4004899B2 (ja) * 2002-09-02 2007-11-07 ファナック株式会社 物品の位置姿勢検出装置及び物品取出し装置
JP3700707B2 (ja) * 2003-03-13 2005-09-28 コニカミノルタホールディングス株式会社 計測システム
DE602004006190T8 (de) * 2003-03-31 2008-04-10 Honda Motor Co., Ltd. Vorrichtung, Verfahren und Programm zur Gestenerkennung
FR2856170B1 (fr) * 2003-06-10 2005-08-26 Biospace Instr Procede d'imagerie radiographique pour la reconstruction tridimensionnelle, dispositif et programme d'ordinateur pour mettre en oeuvre ce procede
KR20060030902A (ko) * 2003-07-11 2006-04-11 올림푸스 가부시키가이샤 정보 제시 장치 및 그것을 이용한 정보 제시 시스템
US7376262B2 (en) * 2003-08-04 2008-05-20 American Gnc Corporation Method of three dimensional positioning using feature matching
GB0318733D0 (en) 2003-08-11 2003-09-10 Icerobotics Ltd Improvements in or relating to milking machines
KR100831187B1 (ko) * 2003-08-29 2008-05-21 닛본 덴끼 가부시끼가이샤 웨이팅 정보를 이용하는 객체 자세 추정/조합 시스템
AU2004212605A1 (en) * 2003-09-26 2005-04-14 Nec Australia Pty Ltd Computation of soft bits for a turbo decoder in a communication receiver
US7343035B1 (en) * 2003-10-20 2008-03-11 Open Invention Network Llc Method and system for three-dimensional feature attribution through synergy of rational polynomial coefficients and projective geometry
JP4377665B2 (ja) * 2003-12-01 2009-12-02 本田技研工業株式会社 位置検出用マーク、並びに、マーク検出装置、その方法及びそのプログラム
JP4220920B2 (ja) * 2004-03-08 2009-02-04 ファナック株式会社 視覚センサ
JP3930490B2 (ja) * 2004-04-23 2007-06-13 ファナック株式会社 物品取出し装置
US8275193B2 (en) * 2004-08-04 2012-09-25 America Gnc Corporation Miniaturized GPS/MEMS IMU integrated board
US7397970B2 (en) * 2004-12-07 2008-07-08 Lockheed Martin Corporation Automatic scene correlation and identification
KR100649523B1 (ko) * 2005-06-30 2006-11-27 삼성에스디아이 주식회사 입체 영상 표시 장치
SE529377C2 (sv) * 2005-10-18 2007-07-24 Morphic Technologies Ab Publ Metod och arrangemang för att lokalisera och plocka upp föremål från en bärare
JP4645411B2 (ja) * 2005-10-28 2011-03-09 コニカミノルタホールディングス株式会社 認証システム、登録システム及びプログラム
JP4042780B2 (ja) * 2005-11-04 2008-02-06 オムロン株式会社 物体認識方法、物体認識用のプログラムならびにその記憶媒体、および物体認識装置
FR2896441B1 (fr) * 2006-01-23 2009-07-03 Jerome Grosbois Procede et systeme permettant la prehension automatisee de piece(s)
JP4940715B2 (ja) * 2006-03-15 2012-05-30 日産自動車株式会社 ピッキングシステム
JP2007336516A (ja) * 2006-05-17 2007-12-27 Konica Minolta Business Technologies Inc 画像処理プログラム、画像処理装置、および画像処理方法
WO2007149183A2 (en) * 2006-05-25 2007-12-27 Braintech Canada, Inc. System and method of robotically engaging an object
JP4861772B2 (ja) * 2006-08-28 2012-01-25 富士通株式会社 移動体標定プログラム、該プログラムを記録した記録媒体、移動体標定装置、および移動体標定方法
US7313464B1 (en) 2006-09-05 2007-12-25 Adept Technology Inc. Bin-picking system for randomly positioned objects
WO2008036354A1 (en) * 2006-09-19 2008-03-27 Braintech Canada, Inc. System and method of determining object pose
JP5403861B2 (ja) * 2006-11-06 2014-01-29 キヤノン株式会社 情報処理装置、情報処理方法
US20080181485A1 (en) * 2006-12-15 2008-07-31 Beis Jeffrey S System and method of identifying objects
GB0700468D0 (en) * 2007-01-10 2007-02-21 Mitsubishi Electric Inf Tech Improved image identification
CN104807425A (zh) * 2007-04-03 2015-07-29 六边形度量衡股份公司 用于物体的精确测量的方法和设备
JP2008275542A (ja) * 2007-05-02 2008-11-13 Univ Of Fukui ３次元形状復元処理装置及び方法並びにそのプログラム
JP4535096B2 (ja) * 2007-07-27 2010-09-01 ソニー株式会社 平面抽出方法、その装置、そのプログラム、その記録媒体及び撮像装置
US7957583B2 (en) * 2007-08-02 2011-06-07 Roboticvisiontech Llc System and method of three-dimensional pose estimation
US20090051790A1 (en) * 2007-08-21 2009-02-26 Micron Technology, Inc. De-parallax methods and apparatuses for lateral sensor arrays
FR2924560A1 (fr) * 2007-11-30 2009-06-05 Commissariat Energie Atomique Procede de suivi stereoscopique d'un objet texture.
JP4516592B2 (ja) * 2007-12-06 2010-08-04 本田技研工業株式会社 移動型ロボット
KR101495333B1 (ko) * 2008-07-02 2015-02-25 삼성전자 주식회사 장애물 검출 장치 및 방법
JP5360369B2 (ja) * 2008-09-11 2013-12-04 株式会社Ｉｈｉ ピッキング装置と方法
JP5088278B2 (ja) * 2008-09-17 2012-12-05 株式会社安川電機 物体検出方法と物体検出装置およびロボットシステム
US8559699B2 (en) * 2008-10-10 2013-10-15 Roboticvisiontech Llc Methods and apparatus to facilitate operations in image based systems
JP5175230B2 (ja) * 2009-02-03 2013-04-03 株式会社トヨタＩｔ開発センター カメラの自動キャリブレーション装置及び自動キャリブレーション方法
WO2011031523A2 (en) * 2009-08-27 2011-03-17 Abb Research Ltd. Robotic picking of parts from a parts holding bin
US8249365B1 (en) 2009-09-04 2012-08-21 Adobe Systems Incorporated Methods and apparatus for directional texture generation using sample-based texture synthesis
JP5402697B2 (ja) * 2009-10-26 2014-01-29 株式会社安川電機 ロボット装置及びワーク取り出しシステム並びにワーク取り出し方法
JP5393531B2 (ja) * 2010-02-25 2014-01-22 キヤノン株式会社 位置姿勢推定装置、位置姿勢推定方法、プログラム、記憶媒体
JP5526942B2 (ja) * 2010-03-31 2014-06-18 ソニー株式会社 ロボット装置、ロボット装置の制御方法およびプログラム
JP5170154B2 (ja) * 2010-04-26 2013-03-27 オムロン株式会社 形状計測装置およびキャリブレーション方法
CN102338624B (zh) * 2010-07-19 2014-07-09 鸿富锦精密工业（深圳）有限公司 应用机械手臂测试物体的系统及方法
JP4940461B2 (ja) * 2010-07-27 2012-05-30 株式会社三次元メディア ３次元物体認識装置及び３次元物体認識方法
US20120050258A1 (en) * 2010-08-27 2012-03-01 Andrew Kay Method for obtaining 3d position information, computer program, data processor, and display panel incorporating the same
US9031813B2 (en) * 2010-08-27 2015-05-12 Corning Incorporated Methods and apparatus for estimating gravity-free shapes
US9171264B2 (en) 2010-12-15 2015-10-27 Microsoft Technology Licensing, Llc Parallel processing machine learning decision tree training
US8488888B2 (en) 2010-12-28 2013-07-16 Microsoft Corporation Classification of posture states
JP5533727B2 (ja) * 2011-02-18 2014-06-25 株式会社安川電機 ワークピッキングシステム
US10671841B2 (en) 2011-05-02 2020-06-02 Microsoft Technology Licensing, Llc Attribute state classification
JP5787642B2 (ja) * 2011-06-28 2015-09-30 キヤノン株式会社 対象物保持装置、対象物保持装置の制御方法、およびプログラム
JP2013022705A (ja) * 2011-07-25 2013-02-04 Sony Corp ロボット装置及びロボット装置の制御方法、コンピューター・プログラム、並びにロボット・システム
JP5852364B2 (ja) * 2011-08-26 2016-02-03 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、およびプログラム
US8861868B2 (en) 2011-08-29 2014-10-14 Adobe-Systems Incorporated Patch-based synthesis techniques
JP5839671B2 (ja) * 2011-09-20 2016-01-06 株式会社Ｓｃｒｅｅｎホールディングス 三次元位置・姿勢認識装置、産業用ロボット、三次元位置・姿勢認識方法、プログラム、記録媒体
US10552551B2 (en) 2011-11-18 2020-02-04 Nike, Inc. Generation of tool paths for shore assembly
US8958901B2 (en) 2011-11-18 2015-02-17 Nike, Inc. Automated manufacturing of shoe parts
US8755925B2 (en) * 2011-11-18 2014-06-17 Nike, Inc. Automated identification and assembly of shoe parts
US9451810B2 (en) 2011-11-18 2016-09-27 Nike, Inc. Automated identification of shoe parts
US8849620B2 (en) 2011-11-18 2014-09-30 Nike, Inc. Automated 3-D modeling of shoe parts
JP5266377B2 (ja) * 2011-12-19 2013-08-21 ファナック株式会社 物品の姿勢を修正する機能を備えた取出し装置
JP2013184257A (ja) 2012-03-08 2013-09-19 Sony Corp ロボット装置及びロボット装置の制御方法、並びにコンピューター・プログラム
JP2013184273A (ja) * 2012-03-09 2013-09-19 Sony Corp ロボット装置及びロボット装置の制御方法、並びにコンピューター・プログラム
CN102799725B (zh) * 2012-07-10 2014-10-15 北京航空航天大学 一种搬运机器人进行离线码垛时有效码垛区域的确定方法
DE102012015056A1 (de) * 2012-07-28 2014-02-13 Bsautomatisierung Gmbh Robotersteuerungsvorrichtung
JP5469216B2 (ja) * 2012-07-31 2014-04-16 ファナック株式会社 バラ積みされた物品をロボットで取出す装置
JP5670397B2 (ja) * 2012-08-29 2015-02-18 ファナック株式会社 バラ積みされた物品をロボットで取出す装置及び方法
FR2995596B1 (fr) * 2012-09-17 2014-09-05 Materials Technologies Procede de palettisation et dispositif de mise en oeuvre du procede
JP5642759B2 (ja) 2012-10-31 2014-12-17 ファナック株式会社 物品取出装置及び物品取出方法
US9361695B2 (en) * 2012-12-11 2016-06-07 Honda Motor Co., Ltd. Method of recognizing a position of a workpiece from a photographed image
JP6143469B2 (ja) * 2013-01-17 2017-06-07 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP2014161937A (ja) * 2013-02-22 2014-09-08 Seiko Epson Corp 姿勢検出装置、位置検出装置、ロボット、ロボットシステム、姿勢検出方法及びプログラム
CN103273496B (zh) * 2013-05-08 2015-07-15 长沙长泰机器人有限公司 一种利用智能相机在机器人搬运系统中定位工件的方法
JP5786896B2 (ja) * 2013-06-07 2015-09-30 株式会社安川電機 ワーク検出装置、ロボットシステム、被加工物の製造方法及びワーク検出方法
EP3044741B1 (en) 2013-09-09 2022-11-16 Dematic Corp. Autonomous mobile picking
JP5897532B2 (ja) * 2013-11-05 2016-03-30 ファナック株式会社 三次元空間に置かれた物品をロボットで取出す装置及び方法
CN103707300A (zh) * 2013-12-20 2014-04-09 上海理工大学 机械手装置
CN103753585A (zh) * 2014-01-10 2014-04-30 南通大学 一种基于视觉图像分析的机械手及抓紧力智能调节方法
JP5897624B2 (ja) * 2014-03-12 2016-03-30 ファナック株式会社 ワークの取出工程をシミュレーションするロボットシミュレーション装置
JP6364836B2 (ja) * 2014-03-14 2018-08-01 セイコーエプソン株式会社 ロボット、ロボットシステム、及び制御装置
JP5778311B1 (ja) * 2014-05-08 2015-09-16 東芝機械株式会社 ピッキング装置およびピッキング方法
JP6373984B2 (ja) * 2014-06-03 2018-08-15 株式会社Ｆｕｊｉ ばら部品供給装置、ばら部品供給方法
JP6009502B2 (ja) * 2014-07-29 2016-10-19 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および情報処理方法
JP6357949B2 (ja) * 2014-07-29 2018-07-18 セイコーエプソン株式会社 制御システム、ロボットシステム、及び制御方法
CN105329485A (zh) * 2014-08-11 2016-02-17 达和机械（昆山）有限公司 包装物自动抓取输送装置
CN104156973A (zh) * 2014-08-26 2014-11-19 清华大学深圳研究生院 基于立体匹配的实时三维视频监控方法
CN104669281A (zh) * 2015-03-16 2015-06-03 青岛海之晨工业装备有限公司 基于3d机器视觉引导的工业机器人自动拆垛系统
JP6632208B2 (ja) * 2015-03-24 2020-01-22 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
EP3347780B1 (en) 2015-09-11 2023-06-07 Berkshire Grey Operating Company, Inc. Robotic systems and methods for identifying and processing a variety of objects
JP6834964B2 (ja) * 2015-09-30 2021-02-24 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
JP2017077609A (ja) * 2015-10-21 2017-04-27 ファナック株式会社 ロボットの手首部の機構パラメータを校正する校正装置および校正方法
CN105405139A (zh) * 2015-11-12 2016-03-16 深圳市傲视检测技术有限公司 基于单目ccd的小尺寸玻璃面板的送料快速定位方法及系统
EP4088889A1 (en) * 2015-11-13 2022-11-16 Berkshire Grey Operating Company, Inc. Sortation systems and methods for providing sortation of a variety of objects
JP6348097B2 (ja) 2015-11-30 2018-06-27 ファナック株式会社 ワーク位置姿勢算出装置およびハンドリングシステム
JP6710946B2 (ja) * 2015-12-01 2020-06-17 セイコーエプソン株式会社 制御装置、ロボットおよびロボットシステム
RU2634069C2 (ru) * 2015-12-09 2017-10-23 Акционерное общество "Системы управления" Способ создания аппаратно-программного комплекса централизованного и децентрализованного управления группировкой робототехнических комплексов
CN105364927B (zh) * 2015-12-15 2018-05-22 天津立德尔智能装备科技有限公司 用于机器人搬运视觉系统中的机器人搬运的快速定位方法
JP6298035B2 (ja) * 2015-12-17 2018-03-20 ファナック株式会社 モデル生成装置、位置姿勢算出装置、およびハンドリングロボット装置
US9937532B2 (en) 2015-12-18 2018-04-10 Berkshire Grey Inc. Perception systems and methods for identifying and processing a variety of objects
CN105547152A (zh) * 2016-01-06 2016-05-04 上海交通大学 农作物表型田间高通量主动测量装置与方法
WO2017119982A1 (en) 2016-01-08 2017-07-13 Berkshire Grey Inc. Systems and methods for acquiring and moving objects
CN105479461A (zh) * 2016-01-26 2016-04-13 先驱智能机械（深圳）有限公司 控制方法、控制装置及机械手系统
CN105729468B (zh) * 2016-01-27 2018-01-09 浙江大学 一种基于多深度摄像机增强的机器人工作台
EP3988257B1 (en) 2016-02-08 2023-05-03 Berkshire Grey Operating Company, Inc. Systems and methods for providing processing of a variety of objects employing motion planning
JP2017181228A (ja) * 2016-03-30 2017-10-05 キヤノン株式会社 計測装置、計測方法及び物品の製造方法
CN105931218B (zh) * 2016-04-07 2019-05-17 武汉科技大学 模块化机械臂的智能分拣方法
CN105643664A (zh) * 2016-04-12 2016-06-08 上海应用技术学院 一种服务机器人的视觉识别判定方法及视觉系统
US20170323069A1 (en) * 2016-05-05 2017-11-09 James Stewart Bates Systems and methods for medical instrument patient measurements
CN106403845B (zh) * 2016-09-14 2017-10-03 杭州思看科技有限公司 三维传感器系统及三维数据获取方法
SE540708C2 (en) * 2016-10-14 2018-10-16 Envac Optibag Ab Disposable waste bag, system and method of gripping and emptying a bag, and a system for recycling waste
CA3046214C (en) 2016-12-09 2022-01-04 Berkshire Grey, Inc. Systems and methods for processing objects provided in vehicles
US10360531B1 (en) * 2016-12-19 2019-07-23 Amazon Technologies, Inc. Robot implemented item manipulation
CN108537841B (zh) * 2017-03-03 2021-10-08 株式会社理光 一种机器人拾取的实现方法、装置及电子设备
CN110382173B (zh) * 2017-03-10 2023-05-09 Abb瑞士股份有限公司 用于标识物体的方法和设备
CN106903706A (zh) * 2017-03-13 2017-06-30 广东工业大学 一种工作台物品整理系统及方法
US11173615B2 (en) 2017-03-30 2021-11-16 Soft Robotics, Inc. User-assisted robotic control systems
US11164679B2 (en) 2017-06-20 2021-11-02 Advinow, Inc. Systems and methods for intelligent patient interface exam station
US10434658B2 (en) 2017-11-29 2019-10-08 Midea Group Co., Ltd. Massage robot using machine vision
US10792809B2 (en) * 2017-12-12 2020-10-06 X Development Llc Robot grip detection using non-contact sensors
US10682774B2 (en) 2017-12-12 2020-06-16 X Development Llc Sensorized robotic gripping device
SE541843C2 (en) * 2017-12-22 2019-12-27 Envac Optibag Ab Systems and methods of gripping and emptying a bag
CN108044627B (zh) * 2017-12-29 2020-07-31 深圳市越疆科技有限公司 抓取位置的检测方法、装置及机械臂
JP6879238B2 (ja) * 2018-03-13 2021-06-02 オムロン株式会社 ワークピッキング装置及びワークピッキング方法
JP6937995B2 (ja) * 2018-04-05 2021-09-22 オムロン株式会社 物体認識処理装置及び方法、並びに、物体ピッキング装置及び方法
CN109015627A (zh) * 2018-05-24 2018-12-18 湘潭大学 大型机械臂姿态感知方法及系统
CN108785064A (zh) * 2018-06-11 2018-11-13 珠海市万瑙特健康科技有限公司 机械手的控制方法、装置、计算机设备和存储介质
US11407111B2 (en) 2018-06-27 2022-08-09 Abb Schweiz Ag Method and system to generate a 3D model for a robot scene
CN108709620A (zh) * 2018-08-02 2018-10-26 河北工业大学 一种异形工件检测装置
JP7031540B2 (ja) * 2018-09-07 2022-03-08 オムロン株式会社 対象物認識装置、マニピュレータ、および移動ロボット
CN112930547A (zh) 2018-10-25 2021-06-08 伯克希尔格雷股份有限公司 用于学习外推最佳物体运送和搬运参数的系统和方法
DE112019000125B4 (de) 2018-10-30 2021-07-01 Mujin, Inc. Systeme, vorrichtungen und verfahren zur automatisierten verpackungsregistrierung
US10369701B1 (en) 2018-10-30 2019-08-06 Mujin, Inc. Automated package registration systems, devices, and methods
JP7034971B2 (ja) * 2018-11-08 2022-03-14 株式会社東芝 作動システム、制御装置、およびプログラム
JP7134073B2 (ja) * 2018-11-14 2022-09-09 株式会社ダイフク 物品積載設備
US11361466B2 (en) * 2018-11-30 2022-06-14 Casio Computer Co., Ltd. Position information acquisition device, position information acquisition method, recording medium, and position information acquisition system
CN109731793A (zh) * 2018-12-17 2019-05-10 上海航天电子有限公司 一种小批量片式散料器件智能分拣设备
JP7275759B2 (ja) * 2019-03-28 2023-05-18 セイコーエプソン株式会社 物体検出方法、物体検出装置およびロボットシステム
CN110076772B (zh) * 2019-04-03 2021-02-02 浙江大华技术股份有限公司 一种机械臂的抓取方法及装置
TWI732506B (zh) * 2019-04-22 2021-07-01 日商新川股份有限公司 線形狀測量裝置、線三維圖像產生方法以及線形狀測量方法
CN110253575B (zh) * 2019-06-17 2021-12-24 达闼机器人有限公司 一种机器人抓取的方法、终端及计算机可读存储介质
US11389965B2 (en) * 2019-07-26 2022-07-19 Mujin, Inc. Post-detection refinement based on edges and multi-dimensional corners
CN111136656B (zh) * 2019-12-24 2020-12-08 上海智殷自动化科技有限公司 一种用于机器人三维不规则物体自动识别及抓取的方法
CN110980276B (zh) * 2019-12-30 2021-08-17 南京埃克里得视觉技术有限公司 一种三维视觉配合机器人实施铸件自动下料的方法
CN111232664B (zh) * 2020-03-18 2021-10-26 上海载科智能科技有限公司 工业机器人应用软包拆垛卸车码垛装置及拆垛卸车码垛的方法
JP7408496B2 (ja) 2020-06-24 2024-01-05 株式会社クボタ 農業用ロボット
EP4173467A1 (en) * 2020-06-24 2023-05-03 Kubota Corporation Agricultural robot
CA3189559A1 (en) 2020-07-22 2022-01-27 Berkshire Grey Operating Company, Inc. Systems and methods for object processing using a passively folding vacuum gripper
CA3202375A1 (en) * 2020-11-17 2022-05-27 Apera Ai Inc. Pick and place systems and methods
KR20230030366A (ko) * 2021-08-25 2023-03-06 삼성전자주식회사 로봇 및 그 제어 방법
US20230062286A1 (en) * 2021-09-01 2023-03-02 Exocad Gmbh Compensating deviations using a full manufacturing result
US11866269B2 (en) 2021-10-06 2024-01-09 Berkshire Grey Operating Company, Inc. Dynamic processing of objects provided in elevated vehicles with evacuation systems and methods for receiving objects

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4414685A (en) * 1979-09-10 1983-11-08 Sternberg Stanley R Method and apparatus for pattern recognition and detection
JPS58177295A (ja) * 1982-04-07 1983-10-17 株式会社日立製作所 ロボット制御装置
JPS59182688A (ja) * 1983-03-31 1984-10-17 Toshiba Corp ステレオ視処理装置
US4654872A (en) * 1983-07-25 1987-03-31 Omron Tateisi Electronics Co. System for recognizing three-dimensional objects
US5267329A (en) * 1990-08-10 1993-11-30 Kaman Aerospace Corporation Process for automatically detecting and locating a target from a plurality of two dimensional images
JP2532985B2 (ja) * 1990-09-20 1996-09-11 工業技術院長 ３次元画像評価装置
JP2679490B2 (ja) 1991-11-08 1997-11-19 株式会社デンソー 山積み部品の高速ピッキング装置
JP2859041B2 (ja) * 1992-07-20 1999-02-17 三洋電機株式会社 ロボットによる組み立て装置
JP2919284B2 (ja) 1994-02-23 1999-07-12 松下電工株式会社 物体認識方法
JP3516067B2 (ja) 1994-04-26 2004-04-05 川崎重工業株式会社 デパレタイズ用画像作成方法および画像作成装置
JP3738456B2 (ja) * 1994-11-14 2006-01-25 マツダ株式会社 物品の位置検出方法およびその装置
JPH08145628A (ja) * 1994-11-18 1996-06-07 Nippon Telegr & Teleph Corp <Ntt> 対象物位置特定方法
JP3054681B2 (ja) * 1995-07-19 2000-06-19 工業技術院長 画像処理方法
JP3054682B2 (ja) * 1995-07-19 2000-06-19 工業技術院長 画像処理方法
JP3375242B2 (ja) * 1995-11-24 2003-02-10 豊田工機株式会社 ロボットの物体認識方法及びその装置
JPH09277184A (ja) * 1996-04-15 1997-10-28 Ricoh Co Ltd 画像処理方法
JP2921496B2 (ja) * 1996-07-15 1999-07-19 三菱電機株式会社 画像処理装置および物体移載装置
JP2920513B2 (ja) 1997-01-21 1999-07-19 工業技術院長 ３次元物体位置姿勢決定方法
US5917937A (en) * 1997-04-15 1999-06-29 Microsoft Corporation Method for performing stereo matching to recover depths, colors and opacities of surface elements

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104608136A (zh) * 2013-11-05 2015-05-13 发那科株式会社 用机器人取出散乱堆积的物品的装置以及方法
US9434070B2 (en) 2013-11-05 2016-09-06 Fanuc Corporation Apparatus and method for picking up article randomly piled using robot
TWI753989B (zh) * 2017-01-16 2022-02-01 中國大陸商泰科電子（上海）有限公司 膜片供應系統和方法
CN110370268A (zh) * 2018-09-11 2019-10-25 天津京东深拓机器人科技有限公司 箱内拣选的方法、装置和系统
CN110370268B (zh) * 2018-09-11 2021-07-30 北京京东乾石科技有限公司 箱内拣选的方法、装置和系统
TWI675000B (zh) * 2019-03-22 2019-10-21 所羅門股份有限公司 物件運送方法及系統
TWI702179B (zh) * 2019-12-05 2020-08-21 所羅門股份有限公司 取物系統及方法
US11213958B2 (en) 2019-12-05 2022-01-04 Solomon Technology Corporation Transferring system and method for transferring an object

Also Published As

Publication number Publication date
DE10080012T1 (de) 2001-11-29
CN1293752A (zh) 2001-05-02
US6721444B1 (en) 2004-04-13
JP3525896B2 (ja) 2004-05-10
WO2000057129A1 (fr) 2000-09-28
DE10080012B4 (de) 2005-04-14

Similar Documents

Publication Publication Date Title
CN1162681C (zh) 三维物体识别方法及使用该方法的零件抓取系统
CN107067469B (zh) 获取损伤零件缺损部位模型的系统
JP4492654B2 (ja) ３次元計測方法および３次元計測装置
JP5955028B2 (ja) 画像処理装置、画像処理方法および画像処理用のプログラム
JP7174074B2 (ja) 画像処理装置、作業ロボット、基板検査装置および検体検査装置
JP2014035702A (ja) 光学データ処理装置、光学データ処理システム、光学データ処理方法、および光学データ処理用プログラム
JP2010210458A (ja) ３次元視覚センサによる認識結果の表示方法および３次元視覚センサ
JPH07287756A (ja) 物体認識方法
CN104215199B (zh) 一种假发头壳制作方法及系统
JP2008046687A (ja) 撮影環境校正方法及び情報処理装置
CN107025663A (zh) 视觉系统中用于3d点云匹配的杂波评分系统及方法
CN109945841B (zh) 一种无编码点的工业摄影测量方法
CN104976950B (zh) 物件空间信息量测装置与方法及取像路径的计算方法
CN111524115B (zh) 钢板切割件的定位方法和分拣系统
CN112509145B (zh) 基于三维视觉的物料分拣方法和装置
CN113920081A (zh) 一种刀具磨损度检测方法
CN112232319A (zh) 一种基于单目视觉定位的扫描拼接方法
CN111738971B (zh) 一种基于线激光双目立体视觉的电路板立体扫描检测方法
JP5476943B2 (ja) 姿勢認識方法およびこの方法を用いた３次元視覚センサ
CN111105467A (zh) 一种图像标定方法、装置及电子设备
CN112257536B (zh) 一种空间与物体三维信息采集匹配设备及方法
CN1045831C (zh) 识别三维空间目标物的方法
CN112304250A (zh) 一种移动物体之间的三维匹配设备及方法
Veitch-Michaelis et al. Data fusion of lidar into a region growing stereo algorithm
CN111354031A (zh) 基于深度学习的3d视觉引导系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20040818

Termination date: 20140317