CN101430192B - 确定场景中的对象的三维姿态的方法和系统 - Google Patents

确定场景中的对象的三维姿态的方法和系统 Download PDF

Info

Publication number
CN101430192B
CN101430192B CN2008101756167A CN200810175616A CN101430192B CN 101430192 B CN101430192 B CN 101430192B CN 2008101756167 A CN2008101756167 A CN 2008101756167A CN 200810175616 A CN200810175616 A CN 200810175616A CN 101430192 B CN101430192 B CN 101430192B
Authority
CN
China
Prior art keywords
scene
edge
node
sihouette
shade
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2008101756167A
Other languages
English (en)
Other versions
CN101430192A (zh
Inventor
阿米特·K·阿格拉瓦尔
拉梅什·拉什卡尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN101430192A publication Critical patent/CN101430192A/zh
Application granted granted Critical
Publication of CN101430192B publication Critical patent/CN101430192B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B22—CASTING; POWDER METALLURGY
    • B22D—CASTING OF METALS; CASTING OF OTHER SUBSTANCES BY THE SAME PROCESSES OR DEVICES
    • B22D46/00—Controlling, supervising, not restricted to casting covered by a single main group, e.g. for safety reasons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B22—CASTING; POWDER METALLURGY
    • B22D—CASTING OF METALS; CASTING OF OTHER SUBSTANCES BY THE SAME PROCESSES OR DEVICES
    • B22D11/00—Continuous casting of metals, i.e. casting in indefinite lengths
    • B22D11/12—Accessories for subsequent treating or working cast stock in situ
    • B22D11/126—Accessories for subsequent treating or working cast stock in situ for cutting
    • B22D11/1265—Accessories for subsequent treating or working cast stock in situ for cutting having auxiliary devices for deburring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Manipulator (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Abstract

本发明涉及确定场景中的对象的三维姿态的方法和系统。根据在改变包括多个对象的场景中的照明时所获取的所述场景的一组图像确定多个深度边缘。连接所述深度边缘来形成多个轮廓。根据所述轮廓来将所述图像划分成多个区域。使用所述区域来构造遮挡图。所述遮挡图包括代表场景中的未被遮挡对象的未被遮挡区域的源节点。将与所述未被遮挡区域相关的轮廓与所述多个对象的一组廓影进行比较，其中，每一个廓影都具有已知姿态。选择最佳匹配的廓影的已知姿态作为所述未被遮挡对象的姿态。

Description

确定场景中的对象的三维姿态的方法和系统
技术领域
本发明总体上涉及三维对象的检测和识别，更具体地说，涉及确定对象的姿态(pose)。本方法的实际输出(即，对象的姿态)使得能够进行多种有用的应用，尤其是用于制造现场(setting)的料箱提取机械(binpicking machine)。
背景技术
工业机器人通常被设计用来以高准确度和高精确度来重复执行相同任务。在多种工业应用中(诸如制造和装配中)，机器人用于从料箱中‘提取’零件(零件获取)，并以正确的位置和方向(姿态)来放置这些零件，用于后续处理。
机器人依赖于要提取的零件的一致姿态。任何偏差都会导致机器人或者零件的损坏，这会增加成本。通常，定制设计的机械及机电系统用于以特定的姿态向机器人供给零件。在有些情况下，零件是由人工预先定位的，使得机器人能够容易地提取零件。
最近，计算机视觉技术已经被用于使零件定位及提取的过程自动化。大多数传统的自动化技术只能提取单个非封闭(non-occluding)零件，或者彼此间隔放置的零件(例如，零散地分散在传送带上的零件)。
虽然一些视觉辅助系统能够提取堆叠(stacked)的零件，但是这只能在使用复杂的机械系统或者人工干预的情况下实现。大多数视觉辅助系统缺乏可靠性、准确度和鲁棒性，并且使用昂贵的视觉传感器和硬件。当零件被随机放置、被以随意的方式彼此上下放置成一堆或放置在料箱中时，传统的视觉辅助系统缺乏三维零件获取的能力。
三维姿态估计及零件获取的问题是公知的。手工零件获取包括人工地进行获取、放置以进行装配。对于对沉重的零件进行工作的人是存在风险的。另外，要求人类操作者具备特定水平的一系列技巧。期望通过取代人类操作者来降低成本。
自动的零件获取系统通常使用机电装置，诸如装备有特别设计的用于提取零件的抓取器(grasper)的机械手。然而，机器人需要了解要提取零件的姿态。诸如精确固定(precision fixturing)的一些方法能够用于以特定的姿态将零件递交给机械手。这些系统是昂贵的，缺乏互操作性(即，需要针对特定的零件专门地设计这些系统)，而且不能处理成箱的随机堆叠的零件。
计算机视觉系统能够用于确定对象的姿态。这些系统通常使用一个或更多个照相机。能够对由这些照相机所获取的图像进行分析，以对这些对象进行定位，并为机械手提供用于进行后续操作的反馈。大多数视觉系统是二维的，并且只能用于二维的任务，诸如检查和简单的零件获取。那些系统只能够确定该零件在平面内的方向和位置，但是不能确定在平面外的任何旋转和到该零件的距离。通常，那些二维系统要求零件没有交叠，并且放置在平坦的表面上。所以，那些系统不能对成堆(pile)的随机放置的对象进行操作。
一些系统通过使得到该对象的距离基于在图像中该对象的尺寸，来改进二维视觉系统。但是，那些2.5维系统不能估计平面外的旋转，而且它们的距离估计通常不可靠。
三维视觉系统通常使用传感器来估计场景(scene)的三维几何尺寸。立体(stereo)系统使用两个照相机来估计到对象的距离。首先，相应的特征都位于立体图像中。这些照相机之间的几何关系能够用于识别这些特征的深度(距离)。然而，对相应的特征进行定位本身就是一个挑战性的问题，尤其是对于在外表上通常具有高反射性并相似(homogeneous)的机器零件。如果图像关于特征是嘈杂的，则立体系统可能会错误地估计深度。立体系统的另一个问题在于，只针对特征、而不是覆盖整个对象来恢复深度。所降低的准确度不足以进行准确的料箱提取。
激光三角测量(triangulation)使用结构光(structured light)来生成其全部图像都通过照相机获取的对象表面的模型(pattern)。激光三角测量能够恢复该对象表面的三维形状。这种技术例如已经被用于包括对柔性的且尺寸不稳定的零件进行焊接(welding)、密封(sealing)、胶浆淀积(glue deposition)、研磨(grinding)、水射流切割(waterjet cutting)以及去毛刺(deburring)的边缘跟踪(edge tracking)的应用。
激光三角测量要求图像配准(image registration)，并考虑阴影(shadow)和遮挡(occlusion)。那些系统对于一般、随机的料箱提取应用还不够完善。另外，当在人类操作者附近设置激光时经常会引起安全问题。
发明内容
本发明的实施方式提供一种用于检测和识别在场景中的对象的系统和方法。此外，这些实施方式确定了各个对象的三维姿态。这里将姿态定义为对象的三维位置和方向。
在实际应用的示例中，这些对象在料箱中彼此上下成堆。距离照相机最近的对象位于堆的顶部，并且能够从料箱中被提取出来而不干扰其它对象。
当使用光源对该场景进行照明时，照相机获取该场景的图像。光源投下阴影。这些阴影用于获得该场景中的对象的深度边缘和阴影边缘。使用深度边缘与阴影边缘之间的物理及几何约束来将这些深度边缘连接起来，得到闭合轮廓(contour)。这些轮廓用于将该图像场景划分成多个区域。
构造一个“遮挡图(occlusion graph)”。该图针对每个所划分的区域都具有一个节点。如果与一个节点相关的区域将阴影投到(遮挡)与另一节点相关的区域上，则将这两个节点通过边(edge)连接起来。遮挡图标识出该场景中的未被遮挡对象。未被遮挡对象对应于该堆顶部的对象，该对象具有完整的连接轮廓。
使用这些对象的三维计算机辅助设计(CAD)模型来生成对象廓影(silhouette)的数据库(存储器)。这些廓影针对不同的视角。该数据库还包括针对不同视角的该对象的部分廓影。这些廓影也表示为深度边缘。
对该遮挡图进行遍历以找到潜在的候选未被遮挡对象。将顶层(未遮挡)对象的轮廓与该数据库的这些廓影进行匹配，以估计该未被遮挡对象的三维位置和方向(三维姿态)。
可以将所估计的三维姿态与机械手一起用于多种机器人任务，包括用于处理或装配的零件获取。该系统使得能够进行没有约束的三维料箱提取。
附图说明
图1是示出根据本发明实施方式的定位和提取对象的系统和方法的框图；
图2是示出根据本发明实施方式的一个对象及该对象所投下阴影的示意图；以及
图3是示出根据本发明一个实施方式的遮挡图。
具体实施方式
系统结构
图1示出了根据本发明实施方式的定位和提取对象的系统和方法。在本发明的一个实施方式中，这些对象在外观和形状上相似。在另一实施方式中，这些对象不同。
料箱101装有机器人103要提取的对象102。由多个光源104对该料箱进行照明。这些光源在该料箱上投下多个阴影。照相机105获取110当照明发生变化时该料箱中的这些对象的一组(多个)图像111。例如，如图2中所示，根据光源104的位置，阴影201-202可以是对象102的任何一侧。
确定120由于图像111中的阴影201-202而造成的深度边缘121及阴影边缘122。连接深度边缘121以形成130经连接的轮廓131。这些轮廓用于将该图像划分140成多个区域141。然后，将这些区域141用于构造150遮挡图151。
该图用于对预先存储在数据库(存储器)162中的廓影161进行定位160。这些廓影也采用深度边缘的形式。各个廓影都具有相关的姿态106。选择170该数据库中的与根据该图的未被遮挡对象的轮廓131最佳匹配的廓影161的姿态106，作为该料箱中的对象的姿态。机器人103使用这些姿态来从该料箱中提取对象，用于进一步处理。
方法操作
图像获取
通过一个或者更多个照相机105获取110一组(多个)图像111。这些照相机可以是摄像机或者是静态照相机。这些照相机可以被设置在机械手107上，或者被固定在靠近该机器人及料箱的工作空间内。使用光源104来获取这些图像。这些光源可以是放置在照相机附近或者工作空间中的发光二极管(LED)或其它类型的发光装置。出于校准的目的，确定这些光源相对于这些照相机的设置。在目前的实现中，我们使用多闪光灯(multiflash)照相机，参见授予Raskar的美国专利7,218,792，以引用的方式将该专利合并于此。
当只由环境(ambient)光对该场景进行照明时，还获取环境图像。从该组图像中的每一个图像中减去该环境图像，以消除环境光的影响。
确定深度边缘及阴影边缘
在获取这些图像之后，我们确定该料箱中的这些对象的深度边缘121和阴影边缘122。深度边缘被定义为对象的边界与背景之间的不连续性(discontinuity)。阴影边缘被定义为对象所投下的阴影与背景之间的不连续性。
通常，工业对象具有非朗伯反射(non-Lambertian reflectance)及镜面反射(specularity)，这导致噪声及伪深度边缘。因为亮度随着视角发生改变，所以很难处理非朗伯表面。本方法也能够处理具有孔的对象。与自投影(self-shadowing)类似，当存在由于镜面反射而产生的伪深度边缘时，本方法能够通过去除伪深度边缘而忽略镜面辉亮(specularhighlight)的影响。
为了简化该描述，这组图像包括通过将这些光源放置在该照相机的上方、下方、左方、右方而获得的四个不同照明的图像I1、I2、I3、I4。我们通过确定在各个像素处的梯度的中值并根据这些梯度重构回去，来从这组图像中确定本征图像(intrinsic image)Imedian，参见Raskar。
然后，用Ii＝min(Ii，Imedian)来替换各个图像Ii。也就是说，在图像Ii中的各个像素处，用亮度值或者中值Imedian中的最小值来替换该亮度值。然后，我们获得比值图像IR＝Ii/Imedian。这个操作的作用在于使这些图像中的镜面反射最小化。
在这些比值图像中检测边缘。根据对该图像照明的方向，这些边缘对应于深度边缘或阴影边缘。
轮廓形成
深度边缘121可能是不完整的，即，由于软阴影(soft shadow)或者缺少阴影而可能缺少深度边缘和阴影边缘的某些部分。使用格式塔规则(Gestalt rule)的用于连接边缘的启发式方法(heuristic method)是公知的。但是，我们使用物理及几何约束来进行边缘连接，而不使用启发式方法。这些约束是在深度边缘与阴影边缘之间。所投下的阴影具有半阴影区(penumbra region)，以上所定义的深度边缘对应于位于该半阴影的一侧的不连续性，而阴影边缘对应于该半阴影的另一侧的不连续性。因此，我们定义两个约束：
1)对于每一个深度边缘，存在平行的阴影边缘；以及
2)深度边缘和阴影边缘不能在同一像素处共存。
这两个约束使得我们能够完成(complete)缺失的深度边缘，以形成闭合轮廓。我们通过使线段与深度边缘拟合(fit)并且延长各条线段，来实现该处理。将符合上述约束的各条延长线段保留为轮廓131。
划分
由深度边缘121形成的轮廓131将该图像划分成多个区域141。如下面所述，通过合并对过度划分进行修正。
遮挡图构造
如图3中所示，遮挡图被定义为节点301、303及有向弧302的二维有向图。在该图中，这些节点表示区域，而当由第一节点所代表的区域在由第二节点所代表的区域上投下阴影时，有向弧从第一节点前进到第二节点。对于一个图像，可能存在一组图。例如，如果有两堆单独的对象，则我们构造两个遮挡图，每一堆一个遮挡图。
如下来构造该遮挡图。令A和B表示一对区域。将这对区域作为节点插入到该图中。然后，我们确定区域A是否在区域B上投下阴影，反之亦然。如果是，则由有向弧以投下阴影的方向来连接节点A和B。如果否，则可以将这些区域合并，并合并这些节点。
定位未被遮挡对象
该遮挡图标识出该料箱里的未被遮挡对象。源节点303是没有入(incoming)有向弧的节点。源节点必须表示未被遮挡对象的区域。
姿态估计
姿态估计是两阶段处理，第一阶段处理是粗处理，第二阶段处理是精处理。姿态估计使用预先存储在数据库中的廓影的深度边缘。
预处理
将在不同视角下的对象的廓影预先存储在数据库中。针对各个视角，还将对象的部分廓影存储在数据库中。视角得到相应的姿态。这些部分廓影有助于对存在自投影及自遮挡(self occlusion)的对象进行匹配。假定在制造和装配应用中很容易获得对象的CAD模型。
粗姿态估计
将与根据该图的未被遮挡对象相关的轮廓与存储在数据库中的廓影进行匹配，以获得最佳匹配姿态。这种匹配可以使用任何已知的技术，诸如斜面(chamfer)匹配或者匹配图像矩(moment)。由于存储在数据库中的廓影的数量是有限的，所以我们只能获得粗姿态估计。
精姿态估计
我们使用整个三维CAD模型来细化该三维姿态。使用通过将该三维CAD模型的廓影与给定区域进行匹配而对旋转及位移(translation)进行优化的传统技术，来对姿态进行细化。这种优化从粗姿态估计开始，并收敛于正确的姿态。
对象提取
机器人可以使用该姿态来从该料箱中提取最上层的对象。如果具体的图像显示出多个未被遮挡对象，则可以依次提取这些对象。
多个对象类型
当该数据库存储了不同对象的对应廓影时，针对类似的对象描述了以上方法。
多个图像获取
针对位于固定视角的单个照相机描述了以上方法。但是，该系统也可以工作于多个照相机视角。然后，额外的图像可以用于验证划分以及姿态估计结果。另选的是，可以组合来自多个图像的信息，以提高姿态估计的准确度。
本发明的效果
根据本发明的实施方式的系统和方法确定料箱中的未被遮挡零件的姿态。该系统使用装备有廉价发光二极管(LED)的单个照相机。可以将姿态馈送给机械手，以在制造应用中从料箱中提取出这些零件。由于本方法相对简单而且执行快捷，所以它可用于实时应用。
本发明执行三维对象识别和姿态估计而不使用三维获取设备(诸如立体摄像机、激光或者结构光)。重构场景的深度图是费时而昂贵的，尤其是对具有镜面反射及非朗伯表面的发亮的工业零件。本发明的系统不对三维深度进行估计。而是根据所投下的阴影获得深度边缘。与一般所用的特征(诸如亮度边缘、角部和接合点)不同，可以将深度边缘用作用于划分场景和估计姿态的特征。
使用深度边缘使得本系统能够对有纹理的(textured)对象、没有纹理的(non-textured)对象、发亮的或者镜面的对象进行操作。使用基于亮度边缘的特征的系统很难处理发亮的金属工业零件和无纹理的对象。
本发明提供了一种新颖的边缘连接处理，以完成场景中缺失的深度边缘。传统的边缘连接处理试图通过使用启发式方法来完成亮度边缘，以从亮度图像获得封闭轮廓。我们使用实际的物理及几何约束连接深度边缘，而不使用任何启发式方法。
我们还提供了一种新颖的场景遮挡图。从被深度边缘包围的区域构造该遮挡图。该遮挡图中的各个节点对应于被深度边缘所包围的二维区域。如果区域A在区域B上投下阴影，则在节点A与节点B之间存在有向弧。该遮挡图的源节点对应于该场景中的未被遮挡对象。
该图减少了将对象与它们的廓影进行匹配所需执行的匹配次数。
虽然通过优选实施方式的示例的方式对本发明进行了描述，但是可以理解的是，可以在本发明的精神和范围内作出各种其它改动和修改。因此，所附权利要求的目的在于覆盖落入本发明真实的精神和范围内的所有这些变形和修改。

Claims (16)

1.一种用于确定场景中的对象的三维姿态的方法，该方法包括以下步骤：
在变化包括多个对象的场景中的照明时根据所获取的所述场景的一组图像确定多个深度边缘；
连接所述深度边缘，来形成多个轮廓；
根据所述轮廓来将所述图像划分成多个区域；
使用所述区域来构造遮挡图，其中，所述遮挡图包括源节点，该源节点代表在所述场景中的未被遮挡对象的未被遮挡区域；
将与所述未被遮挡区域相关的轮廓与所述多个对象的一组廓影进行
比较，其中，每一个廓影都具有已知的姿态；以及
选择最佳匹配的廓影的已知姿态，作为所述未被遮挡对象的姿态，
其中，所述深度边缘被定义为所述对象的边界与所述场景中的背景之间的不连续性，
所述连接的步骤具有以下的约束：对于每一个深度边缘存在平行的阴影边缘，并且所述深度边缘和所述阴影边缘不能在所述一组图像中的同一像素处共存，所述阴影边缘被定义为由所述对象投下的阴影与所述背景之间的不连续性，并且
其中，所述遮挡图被定义为节点及有向弧的二维有向图，当由第一节点所代表的第一区域在由第二节点所代表的第二区域上投下阴影时，有向弧从所述第一节点前进到所述第二节点，并且所述源节点没有入有向弧，
该方法还包括以下步骤：如果所述第一节点与所述第二节点之间没有有向弧，则将所述第一节点与所述第二节点合并。
2.根据权利要求1所述的方法，该方法还包括以下步骤：
根据所述姿态将所述未被遮挡对象从所述场景中提取出来。
3.根据权利要求2所述的方法，其中，由机械手执行所述提取的步骤。
4.根据权利要求1所述的方法，其中，所述多个对象在外表和形状上类似。
5.根据权利要求1所述的方法，其中，所述多个对象具有非朗伯表面。
6.根据权利要求1所述的方法，其中，所述变化的照明来自位于照相机上方、下方、左方及右方的光源。
7.根据权利要求6所述的方法，其中，所述照相机是摄像机。
8.根据权利要求3所述的方法，其中，照相机被设置在所述机械手上。
9.根据权利要求1所述的方法，其中，所述多个对象包括镜面反射。
10.根据权利要求9所述的方法，其中，所述一组图像为Ii，并且该方法还包括以下步骤：
根据所述一组图像中的各个像素处的梯度的中值来确定对于各个图像Ii的本征图像Imedian；
用Ii＝min(Ii，Imedian)来替代各个图像Ii；
获得比值图像Ii/Imedian；以及
根据所述比值图像来确定所述深度边缘，以使所述镜面反射最小化。
11.根据权利要求1所述的方法，其中，所述廓影及已知姿态都预先存储在存储器或数据库中。
12.根据权利要求1所述的方法，其中，从所述多个对象的不同视角的计算机辅助设计模型来获得所述廓影及已知姿态。
13.根据权利要求1所述的方法，其中，所述廓影包括部分廓影。
14.根据权利要求1所述的方法，其中，由多个照相机获取所述一组图像。
15.一种用于确定场景中的对象的三维姿态的系统，该系统包括：
照相机，该照相机被设置为在改变包括多个对象的场景中的照明时获取所述场景的一组图像；
用于根据所述一组图像来确定多个深度边缘的装置；
用于连接所述深度边缘来形成多个轮廓的装置；
用于根据所述轮廓来将所述图像划分成多个区域的装置；
用于使用所述区域来构造遮挡图的装置，其中，该遮挡图包括源节点，该源节点代表所述场景中的未被遮挡对象的未被遮挡区域；
用于存储所述多个对象的一组廓影的数据库，其中，每一个廓影都具有已知姿态；
用于将对应于所述遮挡图的子图的深度边缘与所述一组廓影进行比较的装置；以及
用于选择最佳匹配的廓影的已知姿态作为所述未被遮挡对象的姿态的装置，
其中，所述深度边缘被定义为所述对象的边界与所述场景中的背景之间的不连续性，
所述用于连接所述深度边缘来形成多个轮廓的装置具有以下的约束：对于每一个深度边缘存在平行的阴影边缘，并且所述深度边缘和所述阴影边缘不能在所述一组图像中的同一像素处共存，所述阴影边缘被定义为由所述对象投下的阴影与所述背景之间的不连续性，并且
其中，所述遮挡图被定义为节点及有向弧的二维有向图，当由第一节点所代表的第一区域在由第二节点所代表的第二区域上投下阴影时，有向弧从所述第一节点前进到所述第二节点，并且所述源节点没有入有向弧，
该系统还包括：用于在所述第一节点与所述第二节点之间没有有向弧的情况下，将所述第一节点与所述第二节点合并的装置。
16.根据权利要求15所述的系统，该系统还包括：
用于根据所述姿态从所述场景提取出所述未被遮挡对象的装置。
CN2008101756167A 2007-11-07 2008-10-17 确定场景中的对象的三维姿态的方法和系统 Expired - Fee Related CN101430192B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/936,416 2007-11-07
US11/936,416 US7983487B2 (en) 2007-11-07 2007-11-07 Method and system for locating and picking objects using active illumination

Publications (2)

Publication Number Publication Date
CN101430192A CN101430192A (zh) 2009-05-13
CN101430192B true CN101430192B (zh) 2010-12-15

Family

ID=40342772

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008101756167A Expired - Fee Related CN101430192B (zh) 2007-11-07 2008-10-17 确定场景中的对象的三维姿态的方法和系统

Country Status (4)

Country Link
US (1) US7983487B2 (zh)
EP (1) EP2058761B1 (zh)
JP (1) JP5258465B2 (zh)
CN (1) CN101430192B (zh)

Families Citing this family (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007060653A1 (de) * 2007-12-15 2009-06-18 Abb Ag Positionsermittlung eines Objektes
EP2225728A1 (en) * 2007-12-20 2010-09-08 Philips Intellectual Property & Standards GmbH 3d reconstruction of a body and of a body contour
US8411080B1 (en) 2008-06-26 2013-04-02 Disney Enterprises, Inc. Apparatus and method for editing three dimensional objects
US8126688B2 (en) * 2008-11-05 2012-02-28 The Boeing Company Method and apparatus for identifying gaps between parts
US8244507B2 (en) * 2008-11-05 2012-08-14 The Boeing Company Method and apparatus for deriving associations between parts and fasteners
US20100142846A1 (en) * 2008-12-05 2010-06-10 Tandent Vision Science, Inc. Solver for image segregation
IT1394181B1 (it) * 2009-05-07 2012-06-01 Marchesini Group Spa Metodo di segmentazione basato sulle caratteristiche per segmentare una pluralita' di articoli duplicati disposti alla rinfusa e gruppo che attua tale metodo per alimentare una macchina confezionatrice
JP5333344B2 (ja) * 2009-06-19 2013-11-06 株式会社安川電機 形状検出装置及びロボットシステム
US8565479B2 (en) * 2009-08-13 2013-10-22 Primesense Ltd. Extraction of skeletons from 3D maps
US9563815B2 (en) * 2009-09-15 2017-02-07 Tandent Vision Science, Inc. Method and system for processing an image received from a remote source
JP5500926B2 (ja) * 2009-09-29 2014-05-21 キヤノン株式会社 物体把持制御方法及び装置
US8472698B2 (en) * 2009-11-24 2013-06-25 Mitsubishi Electric Research Laboratories, Inc. System and method for determining poses of objects
EP2353751B1 (de) * 2010-02-10 2012-12-05 GeGa GmbH Entbartungssystem zum mechanischen Entfernen eines Schneidbartes an einem stranggegossenen Werkstück
US8787663B2 (en) 2010-03-01 2014-07-22 Primesense Ltd. Tracking body parts by combined color image and depth processing
FR2957905B1 (fr) * 2010-03-29 2012-04-06 Otor Sa Procede et dispositif de transfert de decoupes pour boites d'emballage
CN101833759B (zh) * 2010-04-01 2012-05-30 复旦大学 一种基于连续视频的机器人场景深度判别方法
US8594425B2 (en) 2010-05-31 2013-11-26 Primesense Ltd. Analysis of three-dimensional scenes
US8582867B2 (en) * 2010-09-16 2013-11-12 Primesense Ltd Learning-based pose estimation from depth maps
CN102044089A (zh) * 2010-09-20 2011-05-04 董福田 一种三维模型的自适应化简、渐进传输和快速绘制的方法
JP5772446B2 (ja) * 2010-09-29 2015-09-02 株式会社ニコン 画像処理装置及び画像処理プログラム
DE102010050745A1 (de) * 2010-11-08 2012-05-10 Li-Tec Battery Gmbh Verfahren zur Ablage von blattförmigen Objekten und Anordnungen zur Durchführung dieses Verfahrens
US8165403B1 (en) * 2010-11-19 2012-04-24 Mitsubishi Electric Research Laboratories, Inc. Method and system for determining poses of specular objects
JP5767464B2 (ja) * 2010-12-15 2015-08-19 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、およびプログラム
US8537195B2 (en) * 2011-02-09 2013-09-17 Polycom, Inc. Automatic video layouts for multi-stream multi-site telepresence conferencing system
JP5533727B2 (ja) * 2011-02-18 2014-06-25 株式会社安川電機 ワークピッキングシステム
US9002099B2 (en) 2011-09-11 2015-04-07 Apple Inc. Learning-based estimation of hand and finger pose
JP5494597B2 (ja) * 2011-09-16 2014-05-14 株式会社安川電機 ロボットシステム
JP2013101045A (ja) * 2011-11-08 2013-05-23 Fanuc Ltd 物品の３次元位置姿勢の認識装置及び認識方法
US9002098B1 (en) * 2012-01-25 2015-04-07 Hrl Laboratories, Llc Robotic visual perception system
CN102663368B (zh) * 2012-04-16 2014-09-17 南京大学 基于格式塔视觉原理的运动目标区域整合优化方法
US9047507B2 (en) 2012-05-02 2015-06-02 Apple Inc. Upper-body skeleton extraction from depth maps
CN102819866B (zh) * 2012-08-22 2015-09-09 西安工业大学 一种非朗伯表面快速三维重构方法
US9019267B2 (en) 2012-10-30 2015-04-28 Apple Inc. Depth mapping with enhanced resolution
US10572774B2 (en) 2012-12-06 2020-02-25 Toyota Motor Engineering & Manufacturing North America. Inc. Methods and robots for adjusting object detection parameters, object recognition parameters, or both object detection parameters and object recognition parameters
US9251582B2 (en) * 2012-12-31 2016-02-02 General Electric Company Methods and systems for enhanced automated visual inspection of a physical asset
JP5845212B2 (ja) * 2013-06-28 2016-01-20 ファナック株式会社 視覚センサ及び力センサを備えたバリ取り装置
JP6271953B2 (ja) * 2013-11-05 2018-01-31 キヤノン株式会社 画像処理装置、画像処理方法
US9432636B2 (en) * 2013-11-26 2016-08-30 Microsoft Technology Licensing, Llc Large-scale surface reconstruction that is robust against tracking and mapping errors
TW201528775A (zh) 2014-01-02 2015-07-16 Ind Tech Res Inst 景深圖校正方法及系統
CN103753585A (zh) * 2014-01-10 2014-04-30 南通大学 一种基于视觉图像分析的机械手及抓紧力智能调节方法
US9259844B2 (en) 2014-02-12 2016-02-16 General Electric Company Vision-guided electromagnetic robotic system
KR102081139B1 (ko) 2014-03-12 2020-02-25 한국전자통신연구원 물체 피킹 시스템, 물체 검출 장치 및 그 방법
JP6331517B2 (ja) 2014-03-13 2018-05-30 オムロン株式会社 画像処理装置、システム、画像処理方法、および画像処理プログラム
JP6642968B2 (ja) * 2014-03-20 2020-02-12 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
EP3109190B1 (de) 2014-07-01 2018-04-11 Wincor Nixdorf International GmbH Vorrichtung zum vereinzeln von blattgut
DE102015100983A1 (de) 2015-01-23 2016-07-28 Sick Ag Verfahren zur Lokalisierung von Greifpunkten von Objekten
JP6512852B2 (ja) * 2015-02-10 2019-05-15 キヤノン株式会社 情報処理装置、情報処理方法
NL2014637B1 (nl) * 2015-04-14 2016-12-16 Rijk Zwaan Zaadteelt En Zaadhandel Bv Systeem en werkwijze voor het zaaien van zaden.
US10268188B2 (en) 2015-12-02 2019-04-23 Qualcomm Incorporated Active camera movement determination for object position and extent in three-dimensional space
US10043279B1 (en) 2015-12-07 2018-08-07 Apple Inc. Robust detection and classification of body parts in a depth map
EP3422955B1 (en) * 2016-02-29 2023-10-18 Packsize International, LLC System and method for assisted 3d scanning
US10252417B2 (en) * 2016-03-02 2019-04-09 Canon Kabushiki Kaisha Information processing apparatus, method of controlling information processing apparatus, and storage medium
US10366278B2 (en) 2016-09-20 2019-07-30 Apple Inc. Curvature-based face detector
CN108489418B (zh) * 2018-03-01 2020-02-14 北京农业智能装备技术研究中心 一种秧苗叶片立体形态测量方法及装置
CN110163046B (zh) * 2018-06-19 2023-09-19 腾讯科技（深圳）有限公司 人体姿态识别方法、装置、服务器及存储介质
CN109410304B (zh) * 2018-09-18 2023-06-16 珠海金山数字网络科技有限公司 一种投影确定方法、装置及设备
CN109215121A (zh) * 2018-10-23 2019-01-15 百度在线网络技术（北京）有限公司 用于生成信息的方法和装置
CN109472235B (zh) * 2018-11-01 2021-07-27 深圳蓝胖子机器智能有限公司 姿态确定方法、装置和计算机可读存储介质
CN109718945A (zh) * 2018-12-29 2019-05-07 中国神华能源股份有限公司 重介质选煤厂智能加介系统和方法
JP2020142323A (ja) * 2019-03-06 2020-09-10 オムロン株式会社 ロボット制御装置、ロボット制御方法、及びロボット制御プログラム
WO2021163219A1 (en) 2020-02-10 2021-08-19 Cognex Corporation Composite three-dimensional blob tool and method for operating the same
CN111546344A (zh) * 2020-05-18 2020-08-18 北京邮电大学 一种用于对准的机械臂控制方法
CN114092632A (zh) 2020-08-06 2022-02-25 财团法人工业技术研究院 标注方法、应用其的装置、系统、方法及计算机程序产品
DE102022124273A1 (de) * 2022-09-21 2024-03-21 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zur Ermittlung einer Brillenpose einer Datenbrille mithilfe eines Outside-In Tracking

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2861014B2 (ja) * 1989-01-18 1999-02-24 株式会社デンソー 物体認識装置
US5227985A (en) * 1991-08-19 1993-07-13 University Of Maryland Computer vision system for position monitoring in three dimensions using non-coplanar light sources attached to a monitored object
JP3059294B2 (ja) * 1992-04-03 2000-07-04 日鉄鉱業株式会社 物品個々の輪郭が明確な画像を得る方法および装置
US5297061A (en) * 1993-05-19 1994-03-22 University Of Maryland Three dimensional pointing device monitored by computer vision
WO1996029678A1 (en) * 1995-03-22 1996-09-26 Idt International Digital Technologies Deutschland Gmbh Method and apparatus for depth modelling and providing depth information of moving objects
US6064749A (en) * 1996-08-02 2000-05-16 Hirota; Gentaro Hybrid tracking for augmented reality using both camera motion detection and landmark tracking
US6295367B1 (en) * 1997-06-19 2001-09-25 Emtera Corporation System and method for tracking movement of objects in a scene using correspondence graphs
US6711278B1 (en) * 1998-09-10 2004-03-23 Microsoft Corporation Tracking semantic objects in vector image sequences
JP2000194859A (ja) 1998-12-25 2000-07-14 Canon Inc 被写体形状抽出方法、被写体形状抽出装置及び記録媒体
JP2001317916A (ja) * 2000-05-10 2001-11-16 Fuji Mach Mfg Co Ltd エッジ検出方法および装置
US6978167B2 (en) * 2002-07-01 2005-12-20 Claron Technology Inc. Video pose tracking system and method
US7218792B2 (en) * 2003-03-19 2007-05-15 Mitsubishi Electric Research Laboratories, Inc. Stylized imaging using variable controlled illumination
US7142726B2 (en) * 2003-03-19 2006-11-28 Mitsubishi Electric Research Labs, Inc. Three-dimensional scene reconstruction from labeled two-dimensional images
JP4610411B2 (ja) 2004-05-17 2011-01-12 ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド 物体を含むシーンの様式化された画像を生成する方法
JP2005100466A (ja) 2004-12-17 2005-04-14 Toshiba Corp パターン認識装置
JP2006224291A (ja) * 2005-01-19 2006-08-31 Yaskawa Electric Corp ロボットシステム
US7760956B2 (en) * 2005-05-12 2010-07-20 Hewlett-Packard Development Company, L.P. System and method for producing a page using frames of a video stream
US7720282B2 (en) * 2005-08-02 2010-05-18 Microsoft Corporation Stereo image segmentation
JP4153528B2 (ja) * 2006-03-10 2008-09-24 ファナック株式会社 ロボットシミュレーションのための装置、プログラム、記録媒体及び方法
JP2007098567A (ja) 2006-09-25 2007-04-19 Hitachi Ltd 自律制御型ロボットおよびその制御装置

Also Published As

Publication number Publication date
EP2058761A3 (en) 2010-11-17
JP5258465B2 (ja) 2013-08-07
US7983487B2 (en) 2011-07-19
CN101430192A (zh) 2009-05-13
EP2058761B1 (en) 2011-12-28
JP2009115783A (ja) 2009-05-28
US20090116728A1 (en) 2009-05-07
EP2058761A2 (en) 2009-05-13

Similar Documents

Publication Publication Date Title
CN101430192B (zh) 确定场景中的对象的三维姿态的方法和系统
US7271377B2 (en) Calibration ring for developing and aligning view dependent image maps with 3-D surface data
US7098435B2 (en) Method and apparatus for scanning three-dimensional objects
US20090010489A1 (en) Method for comparison of 3D computer model and as-built situation of an industrial plant
JP2009288235A (ja) 物体の姿勢を求める方法及び装置
JP2004288180A (ja) 較正された画像の組からシーンの３次元モデルを構築する方法
Gao et al. Complete scene reconstruction by merging images and laser scans
Harvent et al. Multi-view dense 3D modelling of untextured objects from a moving projector-cameras system
Jin et al. Depth-map driven planar surfaces detection
Zhang et al. 3D reconstruction of weak feature indoor scenes based on hector SLAM and floorplan generation
Olivier et al. Live structural modeling using RGB-D SLAM
Sobh et al. A sensing strategy for the reverse engineering of machined parts
Bellmann et al. A benchmarking dataset for performance evaluation of automatic surface reconstruction algorithms
WO2008044096A1 (en) Method for three-dimensionally structured light scanning of shiny or specular objects
Savarese et al. Implementation of a shadow carving system for shape capture
Zhang et al. Multi-vision Based 3D Reconstruction System for Robotic Grinding
Brenner et al. Experimental measurement system for industrial inspection of 3d parts
Tabb Three-dimensional reconstruction of fruit trees by a shape from silhouette method
Esquivel et al. Time budget evaluation for image-based reconstruction of sewer shafts
Lee et al. BUILDING Point Grouping Using View-Geometry Relations
Dragnea et al. Direct shape from isophotes
Song et al. 3D Shape recovery by the use of single image plus simple pattern illumination
Ahrary et al. A cooperative stereo matching algorithm for sewer inspection robots
Tomono Line-based 3D mapping from edge-points using a stereo camera
Song et al. Multi-View Stereo Reconstruction Technique

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20101215

Termination date: 20201017