CN111094136A - 用于制造业用的适应性箱子拾取的系统和方法 - Google Patents

用于制造业用的适应性箱子拾取的系统和方法 Download PDF

Info

Publication number
CN111094136A
CN111094136A CN201880060684.0A CN201880060684A CN111094136A CN 111094136 A CN111094136 A CN 111094136A CN 201880060684 A CN201880060684 A CN 201880060684A CN 111094136 A CN111094136 A CN 111094136A
Authority
CN
China
Prior art keywords
robot
item
destination
location
vision system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880060684.0A
Other languages
English (en)
Other versions
CN111094136B (zh
Inventor
亚历山大·扎克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magna International Inc
Original Assignee
Magna International Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magna International Inc filed Critical Magna International Inc
Publication of CN111094136A publication Critical patent/CN111094136A/zh
Application granted granted Critical
Publication of CN111094136B publication Critical patent/CN111094136B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1612Programme controls characterised by the hand, wrist, grip control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1671Programme controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40014Gripping workpiece to place it in another place
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40053Pick 3-D object from pile of objects
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40515Integration of simulation and planning

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Manipulator (AREA)

Abstract

提供了用于使用机器人在目的地与源位置处的结构之间自动地移动一个或更多个物品的系统和方法。该系统包括第一视觉系统和第二视觉系统,以识别物品并确定物品在源位置处的精确位置和取向以及目的地的精确位置和取向,该目的地可以在或可以不在固定位置中。控制器规划用于机器人在源位置与目的地之间移动物品时遵循的最佳路径。机器人上的末端执行器从源位置拾取物品,在机器人移动时保持该物品,并将该物品放置在目的地处。该系统还可以通过视觉系统中的一者或两者来检查物品的品质。提供了从机器装载和卸载篮筐的示例。

Description

用于制造业用的适应性箱子拾取的系统和方法
相关申请的交叉引用
本PCT国际专利申请要求于2017年9月20日提交的题为“System And Method ForAdaptive Bin Picking For Manufacturing”的美国临时专利申请序列号第62/560,968号的权益,该申请的全部公开内容被认为是本申请的公开内容的一部分并通过引用并入本文。
背景技术
实施组装过程(或组装线)以生产成品。成品是经过各种技术附接在一起的各种零件的组合。成品可以是任何种类的物体或产品,例如在商业中销售的物体或产品。汽车或车辆或者汽车或车辆的零件可以是经由组装过程生产的成品。制造过程的许多方面涉及移动物品(item),例如单个零件、组件或者保持一个或更多个单个零件或组件以用于运输或用于一起处理的载体。
许多成品包括来自各种来源的零件,这些零件被运输到制造地点并在制造地点内被组合成成品或者被组合成其组件或子组件。这些零件经常在箱子中运输,在箱子中这些零件可能是松散的,从而具有随机的位置和取向。零件必须从箱子转移到目的地,以便于在制造过程中使用零件。也经常使用诸如篮筐、箱子或油漆台的专门载体来成批处理零件,这些载体必须与单个零件或组件一起装载和卸载。此外,在某些情况下,由于制造过程的要求和/或诸如装载或卸载的载体的重量和/或尺寸的其他考虑,载体的移动需要特殊的处理。
对于制造过程的许多部分,当前移动物品的技术是手工过程。在移动大的和/或重的物品时需要特别考虑。例如,冲压的金属零件通常通过人从箱子中拾取并被放入到固定装置中以用于进一步处理(例如,切割、焊接、粘合或涂漆)。在处理之后,人可以从固定装置中拾取零件,并将零件放入到箱子中,该箱子可以是新的箱子或者是零件来源的同一箱子。在拾取/放置操作期间,人也可以对零件执行品质检查。
在另一个示例中,将车辆仪表板装载到在涂漆过程中使用的涂漆台或涂漆架上的过程可能需要一组工作人员,其中人员通过将零件转移给彼此来在从进入的箱子中拾取零件(在地板水平处)与将零件放置在台中(在髋部水平处)之间交替以便减轻人体工程学压力源。
在又一示例中,从清洗机器中装载和卸载要被清洗的零件的篮筐的过程可以被手动地执行以及/或者借助起重机执行,该起重机的辅助可能是由健康和安全法规对于称重超过预先确定的量的篮筐所要求的。
以这种方式,进入制造过程的给定步骤的每一个物品可能需要如下手动操作:拾取零件并将其放置在适合于制造过程中的下一步骤的目的地位置和取向。重的物品可能导致执行这些操作的人的疲劳。可能需要使用诸如起重机的机械辅助来移动重的物品;然而,这样的机械辅助可能难以使用,并且可能不被工作人员接受。重复的动作可能会造成代价高昂的伤害,尤其是在移动重的物品时。这些手动操作可能会给整个组装线过程带来延迟和低效。
发明内容
提供了用于使用机器人在源位置与目的地之间自动地移动一个或更多个物品的传送系统和方法。该系统包括第一视觉系统,其用于识别物品并确定物品在结构上的拾取位置和拾取取向。第二视觉系统确定目的地的位置和取向。控制器规划用于机器人在拾取位置与目的地之间移动物品时遵循的最佳路径。末端执行器被附接到机器人,以用于拾取物品并在机器人向目的地移动物品时保持物品。然后,末端执行器释放物品,或者在目的地位置处且以目的地取向来放置物品。
该方法包括以下步骤:使用第一视觉系统来识别源位置处具有非固定位置和取向的物品;使用第一视觉系统来确定源位置内的物品的拾取位置和拾取取向;以及使用第二视觉系统来确定目的地的位置和取向。该方法还包括以下步骤:执行适应性轨迹规划以确定拾取位置与目的地之间的最佳路径。
该方法继续进行以下步骤:通过机器人上的末端执行器从拾取位置拾取物品;通过机器人沿着最佳路径移动物品;通过机器人上的末端执行器将物品放置在目的地处。该方法还可以包括通过视觉系统中的一者或两者来检查零件的品质的步骤。
采用本文中公开的各个方面,系统和方法可以使用具有末端执行器的机器人在目的地与源位置处的箱子之间自动地移动一个或更多个物品。本文中公开的柔性固定装置允许从箱子中移动多种零件类型,在箱子中,这些零件可以是松散的,从而具有随机的位置和取向。此外,由于本文中讨论的方法的自动化性质,实现了效率的提高和资源的减少。
附图说明
详细描述参照以下附图,在附图中相同的附图标记指代相同的项,并且在附图中:
图1是用于在目的地与源位置处的箱子之间自动地移动一个或更多个零件的系统的示意图;
图2是用于在目的地与源位置处的箱子之间自动地移动一个或更多个零件的系统的另一示意图;
图3是机器和在用于机器的自动化装载和卸载的机器人周围的箱子的顶视图,其中每一个箱子位于窗口内并且没有定位的固定装置;
图4是根据本发明的一个方面的用于将零件的篮筐装载到机器以及从机器卸载零件的篮筐的自动化过程的示意图;
图5是根据本发明的一个方面的用于零件的篮筐的装载和卸载的自动化过程的另一示意图。
具体实施方式
在下文中将参照附图更全面地描述本发明,在附图中示出了本发明的示例性实施方式。然而,本发明可以以许多不同的形式来体现,并且不应该被解释为限于本文中阐述的实施方式。而是,提供这些示例性实施方式使得本公开内容透彻,并将本发明的范围全部地传达给本领域技术人员。将理解的是,为了本公开内容的目的,“每一个中的至少一个”将被解释成意味着遵循相应语言的所列举元件的任何组合,包括多个所列举元件的组合。例如,“X、Y和Z中的至少一个”将被解释成意味着仅X、仅Y、仅Z,或者两个或更多个项X、Y和Z的任意组合(例如,XYZ、XZ、YZ、X)。在整个附图和详细描述中,除非另外描述,否则相同的附图标记被理解成指代相同的元件、特征和结构。为了清楚、说明和方便起见,可能夸大了这些元件的相对尺寸和描绘。
参照附图,其中,遍及若干视图,相似的附图标记表示相应的零件,公开了用于使用具有末端执行器32的机器人30在目的地28与源位置26处的结构之间自动地移动一个或更多个物品21的传送系统20和方法。
在图1中示出了本公开内容的传送系统20的一个示例,以用于使用具有末端执行器32的机器人30在目的地28与源位置26处的箱子24之间自动地移动一个或更多个零件22,并且其中零件22可以是松散的或者没有被固定在箱子24中的特定位置处。如在本公开内容中所使用的,箱子24可以包括任何盒子、架、托盘或用于保持零件22的其他载体。应当理解,如贯穿包括权利要求的本主题公开内容所讨论的术语“零件”22可以包含各种类型的物体,所述各种类型的物体包括但不限于任何制造阶段中的原始材料、外壳和部件块(componentpiece)、任何构造阶段中的组件或子组件以及完工件或完工组件。可以通过相同的传送系统20使用相同或不同的末端执行器32来适应和移动各种不同的物品21。还应当理解,术语“物品”21可以指代零件22、箱子24或任何其他物理物品,所述任何其他物理物品包括但不限于任何制造阶段中的工具、零件、固定装置、原始材料、外壳、部件块、任何构造阶段中的组件或子组件、完工件或完工组件、盒子、架、托盘或其他载体。
如在图1中最佳地所示,第一视觉系统34可以识别源位置26处的箱子24内的零件22,并且确定零件22的拾取位置和拾取取向。第二视觉系统38可以确定目的地28的位置和取向,该目的地可以在箱子24内部或外部。目的地28可以是一个或更多个零件要被移动的任何地方,所述任何地方包括例如:用于制造或检查、装运等的固定装置或载体;用于储存或传送的架或包装;传送器;任何制造阶段中的固定装置或组件。目的地28在位置和取向上可以是固定的。目的地28在位置和/或取向上可以是可变的,例如对于当组件沿着组装线移动时被放置在组件上的零件。另外,例如,在架或其他这样的组件装载有多个零件22——其中每一个零件22在架上的单独隔间或位置处——的情况下,一系列零件22中的每一个的目的地28可以是不同的。
视觉系统34、38中的每一个可以是任何类型的机器视觉系统,该机器视觉系统包括一个或更多个摄像装置36或其他成像装置并且包括但不限于2D、2.5D和3D系统,该3D系统能够在具有x、y和z坐标以及翻滚、俯仰和偏航的三维取向的三维空间中识别和定位零件22。这样的机器视觉系统的一个示例是由康耐视(Cognex)制造的摄像装置系统。可以使用直接观察和测量、通过与一个或更多个参照图像的比较、通过任何其他方法或方法的组合来完成这样的识别和定位。
传送系统20包括具有末端执行器32的机器人30,该末端执行器用于从箱子24中拾取零件22、沿着路径40移动零件22并将零件22放置在目的地28处。末端执行器32可以是先进的执行器(例如,工具),或者是能够移动物品21的包括但不限于抓取装置、夹具和抽吸装置的任何其他执行器。该系统还包括控制器42,该控制器用于规划用于机器人30在源位置26与目的地28之间移动物品21时遵循的最佳路径40。
如图1中所示,视觉系统34、38中的每一个可以包括位于固定位置处的一个或更多个摄像装置36。替选地或附加地,如图2中所示,第一视觉系统34可以包括位于机器人30上的摄像装置36。更具体地,摄像装置36可以位于机器人30的自由端或远端上或者位于机器人30的自由端或远端附近。摄像装置36可以位于机器人30的末端执行器32上,或者位于机器人30的另一零件诸如末端执行器32附近的接合处或结构部件上。代替在固定位置处的一个或更多个摄像装置36或除了其以外,可以使用这样的机器人安装的摄像装置36。替选地或附加地,第二视觉系统38可以包括位于机器人30上的摄像装置36。在一个实施方式中,视觉系统34、38可以共享安装在机器人30上的一个或更多个摄像装置36。换言之,视觉系统34、38可以各自被配置成使用安装在机器人上的共享摄像装置。这样的配置可以包括:视觉系统34、38中的一个将来自共享摄像装置的图像信号传递到视觉系统34、38中的另一个。替选地,来自共享摄像装置的图像可以从共享摄像装置或从诸如信号分配器的另一装置提供给视觉系统34、38中的每一个。
如图3中所示,本发明的传送系统20的示例应用可以代替将车辆仪表板装载和卸载到在涂漆过程中使用的涂漆台或涂漆架上的手动操作。例如,装载涂漆台的过程可能需要一组工作人员,其中人员在从进入的箱子中拾取零件(在地板水平处)与将零件放入台中(在髋部水平处)之间交替,并通过将零件转移给彼此以便减轻人体工程学压力源。如图3中所示,本发明的传送系统20可以代替将车辆仪表板手动装载到涂漆台和从涂漆台手动卸载车辆仪表板,并且可以允许用每班更少的人员来执行组合操作。箱子24可以位于普通窗口区域内,该窗口区域可以是来自预先确定的标称位置或边界的预先确定的公差值。箱子24可能不需要被紧固或放置在精确的位置,因此可能不需要定位的固定装置。零件22可以例如通过形成在箱子24内的固定装置而被固定在箱子24内,并且箱子24内的零件的数目可以变化。本公开内容的传送系统20可以适应例如用于不同的车辆型号的若干不同类型的零件。例如,传送系统20可以适应17个或更多个不同类型的零件。根据一个方面,传送系统20可能要求源和目的地两者都是静止的。替选地,传送系统20可以允许同时在多达两个不同的方向上移动——例如可能由于沿着传送器轨道的弯曲段移动而引起——的台的装载和卸载。与现有技术的手动装载和卸载操作相比,本公开内容的传送系统20可以在装载或卸载零件22中提供更快和/或更一致的循环时间,并且可以允许从每班5人到每班1人的直接劳动力减少。
如图3中所示,传送系统20可以被用于控制机器人30以将一个或更多个零件22移入到机器44中和移出机器44。机器人30可以从可以是例如保持原始或未完工的零件22的第一箱子24的源位置26拾取一个或更多个零件22,并且将零件22运送到机器44以用于处理,在该处理之后机器人30可以将完工零件22移除拾取到目的地28,该目的地可以是例如用于将完工零件22运输到另一区域的第二箱子24。在图3中所示的示例中,机器人30可以装载和卸载右手(RH)零件22和左手(LH)零件22,以用于由机器44同时进行处理。传送系统20可以适应被用于源位置26和目的地28的箱子24的放置的一些变化。这样的变化可以允许将源箱子26和目的地箱子28定位在从标称位置开始沿每一个方向的空间窗口内的任何地方。因此,箱子24不需要被紧固在精确的位置,并且可能不需要定位的固定装置。机器人30可以适应零件22的位置和公差的变化。根据一个方面,传送系统20可以检查完工零件22,以确保在允许进一步处理零件22之前完工零件22被机器44适当地处理。这样的检查可以是例如孔检查,以核实在零件22中适当地制成了孔。根据另一方面,传送系统20可以适应位于源位置26和/或目的地28的零件22或箱子24的数目的变化,例如堆叠高度的变化,并且可以自动地从箱子24的堆叠的顶部拾取或放置零件22。这样的系统20可以代替当前的手动装载和卸载操作,并且可以在建筑楼层上占据相同或更小的平方英尺占地面积。图3中所示的示例可以允许用于执行零件22从机器44的装载和卸载的每一个班次从1到0的直接人工的减少。
如图4中所示,本发明的传送系统20的示例应用可以代替将零件22的篮筐46装载到机器44中以及将零件22的篮筐46从机器44中卸载的手动操作。在所示示例中,机器44是清洗机,该清洗机具有用于接收脏的零件22的篮筐46的输入带48和用于移除清洁的零件22的篮筐46的输出带50。要被清洗的零件22到达篮筐46并被放置在篮筐46内的架上的限定位置处。操作员可以将篮筐46从源位置26装载到输入带48上,然后可以通过将篮筐46移动到目的地28来从输出带50卸载篮筐46。带有零件22的篮筐46可能需要使用诸如起重机52的机械辅助来提升,以便符合健康和安全法规。起重机52的使用可能难以使用和/或使用起来大而笨重,并且可能不被工作人员接受。装载和卸载机器44的操作员可以对零件22执行品质、数量和数据记录任务。
手动装载和卸载清洗机器44的过程可以涉及以下步骤:
步骤1:操作员将篮筐46从站立/固定的输送托架54取下,并且将篮筐46放置在清洗机器44的右侧的输入带48上。
步骤2:操作员将篮筐46从清洗机器44的左侧的输出带50取下,并且将篮筐46放置在限定区域内的静止的托架56上。堆叠高度可以取决于在托架56上的合适位置处已经有多少个篮筐46而变化。
如图4中所示,托架56可以被固定,处于静止的并且位于通常预先确定的位置窗口中,该位置窗口被示出为地板上的用胶带粘住的矩形,但是托架56不需要例如通过使用机械托架固定装置被定位或紧固在精确的位置处。装载和卸载操作不是时间严格的。机器的循环时间可以允许篮筐46被装载和卸载的时间的一些变化。装载和装载操作可能需要仔细的处理。篮筐46的重量和高度可以变化,以适应不同数目和类型的零件22。由于机器44和托架54、56的物理限制,因此用于围绕机器44的传统机器人单元的围栏可能是不可行的。
如图4中所示,包括机器人30的传送系统20可以被用于从清洗机器44装载和卸载零件22的篮筐46。系统20可以根据站立/固定的输送托架54定位篮筐46,并且可以用机器人30上的末端执行器32来拾取篮筐46,该末端执行器可以将篮筐46放置在清洗机器44的输入带48(脏的零件)上。系统20可以检测并定位清洗机器44的输出带50上的篮筐46,并且可以将篮筐46移动到托架56上的堆叠上。传送系统20可以使用摄像装置36适应篮筐46,所述篮筐尺寸和重量变化并且没有被固定在具体位置处。传送系统20可以执行数量、品质检查和数据记录任务。传送系统20可以允许在托架56上的不同位置处堆叠篮筐,该托架上的不同位置可以根据该托架56上的现有装载而变化。系统20可以提供小于80s的装载和卸载循环时间,以防止装载或卸载步骤时的任何瓶颈。机器人30可以具有TUV认证皮肤技术,并且可以识别和/或通知工作区域中的人。以这种方式,机器人30能够在没有防护围栏的情况下进行操作。
图4和图5提供了本公开内容的传送系统20的示意图,该传送系统如被用于从清洗机器44装载和卸载零件22的篮筐46的示例应用。
如图4中所示,包括至少一个摄像装置36的第一视觉系统34可以识别篮筐46——包括其在源位置26中的精确拾取位置和拾取取向,该源位置可以是保持一个或更多个篮筐46的堆叠的输送托架54。机器人30可以从源位置26拾取篮筐46,并将篮筐46移动到清洗机器44的输入带48。摄像装置36可能不需要覆盖输入带48和/或输出带50,因为这些位置可以被固定,并且它们的作为空的或装载有篮筐46的状态可以从机器44传达到传送系统20。传送系统20还可以通过从输出带50拾取篮筐46并将该篮筐放置在目的地位置28来执行卸载清洗机器44的步骤,该目的地位置可以是托架56上的其他篮筐46的堆叠的顶部。目的地28的精确位置和取向可以根据托架的准确位置和/或篮筐46的堆叠的高度而变化,并且可以通过使用一个或更多个摄像装置36的第二视觉系统38来确定。系统20可以提供适应性轨迹规划以确定移动篮筐46的最佳路径。
如图5中所示,系统20可以包括控制器42,该控制器用于规划用于机器人30在源位置26与目的地28之间移动物品21时遵循的最佳路径40,该物品可以是篮筐46。一个或更多个摄像装置36可以提供三维视图以检测篮筐46的准确位置。系统20还可以检测篮筐46中的各个零件22的数目和形状。控制器42可以在系统20中执行若干功能,这些功能可以包括例如:篮筐46和其中的零件22的2D检查;3D感知和定位;感知以及装载和力测量;提供生产图形用户界面(GUI)的生产过程排序;校准和配置软件;以及生产过程具体的运动规划和控制,其包括对也被称为臂端工具(EOAT)的末端执行器32的控制。机器人30可以是在工业中用于自动化任务的标准类型,并且末端执行器32可以被配置成抓取不同重量的标准篮筐46。
控制器42可以使用预先确定或固定的位置以及通过视觉系统(拾取部分和放置部分)提供的信息来提供适应性轨迹规划,以计算用于机器人在拾取和放置物品21时遵循的最佳轨迹。机器人30可以由机器人控制器60直接控制,该机器人控制器可以处理安全功能、运动控制和对末端执行器32的控制。控制器42可以与机器人操作系统(ROS)驱动器62协调和通信。控制器42也可以操作地连接到诸如清洗机器44的控制器的机器控制器64。与机器控制器64的这种连接可以允许系统20了解物品何时可以被装载到机器44上或从机器44移除。装置之间的操作连接可以包括电气的、无线电的、光学的、基于光的和/或机械的互连,并且所述操作连接可以是有线的或无线的。
机器人30可以配备有触摸传感器65,该触摸传感器可以包括末端执行器32或抓取器上的加压空气垫,这可以允许在不需要围栏的情况下使用机器人30。诸如空气皮肤控制器的触摸传感器控制器66可以被用于监测机器人30上的一个或更多个触摸传感器65的状态,并且可以被操作地连接到机器人控制器60的安全电路。为了允许机器人30在没有传统安全围栏的情况下进行操作,这样的触摸传感器配置可能需要安全性能水平E,并且可能需要机器人30能够对生产区上的包括操作员、访客、供应商员工等的所有人做出反应。触摸传感器控制器66也可以被操作地连接到适应性系统控制器42。
在通过清洗机器44处理之后,摄像装置36可以识别目的地位置28,该目的地位置是托架56上的期望的篮筐46的堆叠,并且该目的地位置的高度可以随着另外的篮筐46被添加到堆叠而变化。
本公开内容的传送系统20可以提供以下功能:考虑到拾取操作和放置操作两者的精确特殊布置(x、y、z、翻滚、俯仰、偏航)的变化来运输篮筐46;根据每一个位置26、28处的一个或更多个篮筐46的堆叠识别一般的源位置26和目的地位置28(x、y、z、偏航);篮筐46的类型识别(高度、重量、插入特征和几何形状);识别篮筐46之间的相互作用(缠结相互作用或者与预先确定的标准相匹配的各种其他相互作用,例如在另一物品21上被抓并且可能被认为易于拆开);识别并报告损坏的篮筐46。
传送系统20还可以例如通过读取篮筐46上的条形码来提供关于被移动的物品21的标识和信息共享,并且还可以例如通过零件在3-D空间中的形状和尺寸和/或通过零件在篮筐46中的插入物内的定位来识别篮筐46内的各个零件22。可以提供以下模式:在该模式中,机器人30例如通过将托架56移动到指定的倾倒位置并打开排放阀或者通过使托架56倾斜来从托架56排出流体。
传送系统20可以自动地校准以解决诸如温度和/或光照的环境的改变,并且可以提供诸如碰撞检测和意识的环境意识。换言之,传送系统20的摄像装置36可以检测人或其他危险,并且可以指导机器人30以避免任何这样的危险。传送系统20可以提供增加的系统可靠性,并且例如在正常或特殊的操作模式下可以允许不同的排序或分类篮筐46。
本公开内容还提供了用于使用具有末端执行器32的机器人30在目的地28与源位置26处的结构之间自动地移动一个或更多个物品21的方法。物品21可以是单个的零件22或零件22的组件或其他东西诸如用于保持若干零件22的篮筐46。该结构可以是用于保持零件22的箱子24。该结构也可以是例如用于保持或移动零件22或篮筐46的手推车或堆叠或传送器。该方法包括以下步骤:使用第一视觉系统34来识别在源位置26处的结构上具有非固定位置和取向的零件22;使用第一视觉系统34来确定零件22在结构上的精确拾取位置和拾取取向;以及使用第二视觉系统38来确定目的地28的位置和取向。第一视觉系统34和第二视觉系统38可以是组合视觉系统,并且可以使用一个或更多个相同的摄像装置36。该方法还包括执行适应性轨迹规划以确定源位置26与目的地28之间的最佳路径40的步骤。根据一个方面,执行适应性轨迹规划的步骤可以包括以下的子步骤:结合机器人的几何信息和源位置26以及拾取取向和目的地28来规划源位置26与目的地之间的多个可能的路径40,该目的地可以包括目标位置和目标取向;以及通过对源位置26与目的地28之间的多个可能的路径40进行模拟来确定源位置26与目的地28之间的最佳路径40。这样的主动轨迹规划的一个示例是ROS(机器人操作系统)。
该方法继续进行以下步骤:通过机器人30上的末端执行器32从源位置26拾取物品21;通过机器人30沿着最佳路径40移动物品21;通过机器人30上的末端执行器32将物品21放置在目的地28处。该方法还可以包括以下步骤:通过第一视觉系统34和第二视觉系统38中的一个或更多个来检查物品21的品质和/或其他特性。
根据一个方面,目的地28可以具有固定的位置和取向。根据另一方面,目的地28可以具有变化的位置和/或取向或者在空间中不被固定的一者。根据另一方面,物品21可以被松散地设置或者被设置在源位置26处的箱子24内的固定位置处。
根据一个方面,第一视觉34系统可以是2D视觉系统,并且该方法还可以包括以下步骤:通过第一视觉系统34将物品21的图像与参照图像进行比较,以确定源位置26和物品21在源位置26处的取向,该取向也被称为拾取取向。根据另一方面,第一视觉系统34可以是能够直接地确定源位置26和拾取取向的3D视觉系统。根据一个方面,系统20可以被用于两个或更多个不同的拾取操作和放置操作,例如图4中所示的对机器44进行装载和卸载。
根据一个方面,第二视觉系统38可以是2D视觉系统,并且该方法还可以包括以下步骤:通过第二视觉系统38将物品21的图像与参照图像进行比较,以确定目的地28的位置和取向。根据另一方面,第二视觉系统38可以是可以直接地确定目的地28的位置取向的3D视觉系统。
显然,根据以上教导,本发明的许多修改和变化是可能的,并且这些修改和变化可以在所附权利要求的范围内以不同于具体描述的方式来实践。

Claims (15)

1.一种用于使用具有末端执行器的机器人在源位置与目的地之间自动地移动物品的方法,所述方法包括:
使用第一视觉系统来识别在所述源位置内具有非固定位置和取向的物品;
使用所述第一视觉系统来确定所述源位置内的所述物品的拾取位置和拾取取向;
使用第二视觉系统来确定目的地的位置和取向;
结合所述机器人的几何信息和拾取位置和所述拾取取向以及所述目标位置和所述目标取向来规划所述拾取位置与所述目的地之间的多个可能的路径;
通过对所述源位置与所述目的地之间的所述多个可能的路径进行模拟来确定所述源位置与所述目的地之间的最佳路径;
通过所述机器人上的所述末端执行器从所述源位置拾取所述物品;
通过所述机器人沿着所述最佳路径移动所述物品;以及
通过所述机器人上的所述末端执行器将所述物品放置在所述目的地处。
2.根据权利要求1所述的方法,其中,所述物品被设置在所述源位置处的箱子内。
3.根据权利要求1所述的方法,其中,所述物品被设置在所述源位置处的台架或托架或传送器之一上。
4.根据权利要求1所述的方法,其中,所述第一视觉系统包括位于固定位置处的摄像装置。
5.根据权利要求1所述的方法,其中,所述第一视觉系统包括位于所述机器人上的摄像装置。
6.一种用于使用具有末端执行器的机器人在目的地与源位置处的结构之间自动地移动物品的系统,包括:
第一视觉系统,所述第一视觉系统用于识别和确定所述结构上具有非固定位置和取向的所述物品的拾取位置和拾取取向;
第二视觉系统,所述第二视觉系统用于确定目的地的位置和取向;
机器人,所述机器人具有末端执行器,用于从所述结构拾取所述物品并将所述物品移动到所述目的地;以及
控制器,所述控制器用于规划用于所述机器人在所述拾取位置与所述目的地之间移动所述物品时遵循的最佳路径。
7.根据权利要求6所述的用于自动地移动一个或更多个物品的系统,其中,所述物品是零件,并且其中,所述结构是箱子,并且其中,所述物品被设置在所述源位置处的所述箱子中。
8.根据权利要求6所述的用于自动地移动物品的系统,其中,所述物品是用于保持多个零件的容器。
9.根据权利要求6所述的用于自动地移动物品的系统,其中,所述第一视觉系统包括位于固定位置处的摄像装置。
10.根据权利要求6所述的用于自动地移动物品的系统,其中,所述第一视觉系统包括位于所述机器人上的摄像装置。
11.根据权利要求10所述的用于自动地移动物品的系统,其中,所述第一视觉系统包括位于所述机器人的末端执行器上的摄像装置或位于所述机器人的末端执行器附近的摄像装置。
12.根据权利要求6所述的用于自动地移动物品的系统,其中,所述第二视觉系统包括位于固定位置处的摄像装置。
13.根据权利要求6所述的用于自动地移动物品的系统,其中,所述第二视觉系统包括位于所述机器人上的摄像装置。
14.根据权利要求13所述的用于自动地移动物品的系统,其中,所述第二视觉系统包括位于所述机器人的末端执行器上的摄像装置或位于所述机器人的末端执行器附近的摄像装置。
15.根据权利要求6所述的用于自动地移动物品的系统,其中,所述第一视觉系统和所述第二视觉系统各自被配置成使用安装在所述机器人上的共享摄像装置。
CN201880060684.0A 2017-09-20 2018-09-20 用于制造业用的适应性箱子拾取的系统和方法 Active CN111094136B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762560968P 2017-09-20 2017-09-20
US62/560,968 2017-09-20
PCT/US2018/051924 WO2019060529A1 (en) 2017-09-20 2018-09-20 SYSTEM AND METHOD FOR ADAPTIVE BAC TAKING FOR MANUFACTURING

Publications (2)

Publication Number Publication Date
CN111094136A true CN111094136A (zh) 2020-05-01
CN111094136B CN111094136B (zh) 2022-10-28

Family

ID=65811049

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880060684.0A Active CN111094136B (zh) 2017-09-20 2018-09-20 用于制造业用的适应性箱子拾取的系统和方法

Country Status (5)

Country Link
US (1) US11370111B2 (zh)
EP (1) EP3684699A4 (zh)
CN (1) CN111094136B (zh)
CA (1) CA3075274A1 (zh)
WO (1) WO2019060529A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4404012A3 (en) * 2019-09-26 2024-10-16 Financiera Maderera S.A. Method for packaging pieces by means of a manipulator robot and head for fastening and transporting said pieces by means of the manipulator robot
MX2022006131A (es) * 2019-12-05 2022-06-17 Magna Int Inc Metodo y configuracion para robotica sin vallas.
US12053887B2 (en) 2020-03-06 2024-08-06 Embodied Intelligence Inc. Imaging process for detecting failures modes
EP3875227A1 (en) * 2020-03-06 2021-09-08 Scape Technologies A/S Method of operating a picking robot and related devices
US11613431B2 (en) * 2020-04-30 2023-03-28 Kuka Systems North America Llc Fastener feeding system and method
WO2022016152A1 (en) 2020-07-17 2022-01-20 Path Robotics, Inc. Real time feedback and dynamic adjustment for welding robots
ES2898976A1 (es) * 2020-09-09 2022-03-09 Tecnologia De Corte E Ingenieria S L Aparato y metodo de descarga y clasificado automatizado de piezas de corte
WO2022182894A1 (en) 2021-02-24 2022-09-01 Path Robotics Inc. Autonomous welding robots
GB202204711D0 (en) * 2022-03-31 2022-05-18 Ocado Innovation Ltd Controlling a robotic manipulator for packing an object
US20230330764A1 (en) * 2022-04-19 2023-10-19 Path Robotics, Inc. Autonomous assembly robots

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2221152A1 (en) * 2009-02-19 2010-08-25 ABB Technology AB A robot system and a method for picking and placing components
US20110153076A1 (en) * 2009-12-22 2011-06-23 Canon Kabushiki Kaisha Robot system, and control apparatus and method thereof
CN104956850A (zh) * 2015-08-05 2015-10-07 张永清 一种金银花采摘机器人
US20160221187A1 (en) * 2013-03-15 2016-08-04 Industrial Perception, Inc. Object Pickup Strategies for a Robotic Device
CN206230514U (zh) * 2016-10-17 2017-06-09 Asm技术新加坡有限公司 一种基于视觉伺服的工业机器人
US20170225330A1 (en) * 2016-02-08 2017-08-10 Berkshire Grey Inc. Systems and methods for providing processing of a variety of objects employing motion planning
CN109791614A (zh) * 2016-07-15 2019-05-21 麦格纳国际公司 用于制造业用的适应性箱子拾取的系统和方法

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4613269A (en) * 1984-02-28 1986-09-23 Object Recognition Systems, Inc. Robotic acquisition of objects by means including histogram techniques
US5041907A (en) * 1990-01-29 1991-08-20 Technistar Corporation Automated assembly and packaging system
US7813559B2 (en) * 2001-11-13 2010-10-12 Cyberoptics Corporation Image analysis for pick and place machines with in situ component placement inspection
US7239399B2 (en) * 2001-11-13 2007-07-03 Cyberoptics Corporation Pick and place machine with component placement inspection
WO2003064116A2 (en) * 2002-01-31 2003-08-07 Braintech Canada, Inc. Method and apparatus for single camera 3d vision guided robotics
US7559134B2 (en) * 2003-11-04 2009-07-14 Cyberoptics Corporation Pick and place machine with improved component placement inspection
US7957583B2 (en) * 2007-08-02 2011-06-07 Roboticvisiontech Llc System and method of three-dimensional pose estimation
US8074431B1 (en) * 2009-06-01 2011-12-13 Top Tier, Inc. Hybrid palletizer
WO2011031523A2 (en) * 2009-08-27 2011-03-17 Abb Research Ltd. Robotic picking of parts from a parts holding bin
US9367770B2 (en) * 2011-08-30 2016-06-14 Digimarc Corporation Methods and arrangements for identifying objects
JP5911299B2 (ja) 2011-12-27 2016-04-27 キヤノン株式会社 情報処理装置、情報処理装置の制御方法およびプログラム
WO2015194868A1 (ko) * 2014-06-17 2015-12-23 (주)유진로봇 광각 카메라가 탑재된 이동 로봇의 주행을 제어하기 위한 장치 및 그 방법
US9272417B2 (en) * 2014-07-16 2016-03-01 Google Inc. Real-time determination of object metrics for trajectory planning
US9492923B2 (en) * 2014-12-16 2016-11-15 Amazon Technologies, Inc. Generating robotic grasping instructions for inventory items
US10223589B2 (en) * 2015-03-03 2019-03-05 Cognex Corporation Vision system for training an assembly system through virtual assembly of objects
US9862096B2 (en) * 2015-03-30 2018-01-09 The Boeing Company Automated dynamic manufacturing systems and related methods
US9694498B2 (en) * 2015-03-30 2017-07-04 X Development Llc Imager for detecting visual light and projected patterns
US11142398B2 (en) * 2015-06-02 2021-10-12 Alert Innovation Inc. Order fulfillment system
JP6407826B2 (ja) * 2015-09-03 2018-10-17 ファナック株式会社 座標系設定方法、座標系設定装置、及び座標系設定装置を備えたロボットシステム
ES2952517T3 (es) * 2015-09-11 2023-10-31 Berkshire Grey Operating Company Inc Sistemas robóticos y métodos para identificar y procesar diversos objetos
US9718188B2 (en) * 2015-09-21 2017-08-01 Amazon Technologies, Inc. Networked robotic manipulators
JP6630545B2 (ja) * 2015-11-24 2020-01-15 株式会社キーエンス 位置決め方法、位置決め装置、プログラムおよびコンピュータ可読記録媒体
US10268188B2 (en) * 2015-12-02 2019-04-23 Qualcomm Incorporated Active camera movement determination for object position and extent in three-dimensional space
US10730078B2 (en) * 2015-12-04 2020-08-04 Berkshire Grey, Inc. Systems and methods for dynamic sortation of objects
US9694494B1 (en) * 2015-12-11 2017-07-04 Amazon Technologies, Inc. Feature identification and extrapolation for robotic item grasping
US10226795B2 (en) * 2015-12-31 2019-03-12 Fives Intralogistics Corp. Vision based item typing and separation system
EP3742347B1 (en) * 2016-03-03 2022-11-02 Google LLC Deep machine learning methods and apparatus for robotic grasping
KR102023149B1 (ko) * 2016-03-03 2019-11-22 구글 엘엘씨 로봇 파지를 위한 심층 기계 학습 방법 및 장치
US9687983B1 (en) * 2016-05-11 2017-06-27 X Development Llc Generating a grasp pose for grasping of an object by a grasping end effector of a robot
US10122995B2 (en) * 2016-09-22 2018-11-06 X Development Llc Systems and methods for generating and displaying a 3D model of items in a warehouse

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2221152A1 (en) * 2009-02-19 2010-08-25 ABB Technology AB A robot system and a method for picking and placing components
US20110153076A1 (en) * 2009-12-22 2011-06-23 Canon Kabushiki Kaisha Robot system, and control apparatus and method thereof
US20160221187A1 (en) * 2013-03-15 2016-08-04 Industrial Perception, Inc. Object Pickup Strategies for a Robotic Device
CN104956850A (zh) * 2015-08-05 2015-10-07 张永清 一种金银花采摘机器人
US20170225330A1 (en) * 2016-02-08 2017-08-10 Berkshire Grey Inc. Systems and methods for providing processing of a variety of objects employing motion planning
CN109791614A (zh) * 2016-07-15 2019-05-21 麦格纳国际公司 用于制造业用的适应性箱子拾取的系统和方法
CN206230514U (zh) * 2016-10-17 2017-06-09 Asm技术新加坡有限公司 一种基于视觉伺服的工业机器人

Also Published As

Publication number Publication date
CA3075274A1 (en) 2019-03-28
US20200223064A1 (en) 2020-07-16
WO2019060529A1 (en) 2019-03-28
EP3684699A1 (en) 2020-07-29
US11370111B2 (en) 2022-06-28
EP3684699A4 (en) 2021-06-16
CN111094136B (zh) 2022-10-28

Similar Documents

Publication Publication Date Title
CN111094136B (zh) 用于制造业用的适应性箱子拾取的系统和方法
JP6852938B2 (ja) 調整機構を備えたロボットシステム及びロボットシステムを動作させる方法
US20220306407A1 (en) Vision-assisted robotized depalletizer
CN109791614B (zh) 用于制造业用的适应性箱子拾取的系统和方法
CN103043359B (zh) 机器人系统、机器人以及已分拣物品的制造方法
CN111730603A (zh) 机器人系统的控制装置以及控制方法
AU2018247168B2 (en) Split robotic article pick and put system
WO2021072545A1 (en) Vision-assisted robotized depalletizer
CN111776557B (zh) 物品拣选系统、相关方法、装置及可读存储介质
KR20230056013A (ko) 로봇식 조작기를 위한 모듈식 암-단부 툴링의 제어
CN117157616A (zh) 用于机器人水平分拣的系统和方法
JP2012040669A (ja) バラ積みピッキング装置および方法
US20230001587A1 (en) Method and setup for fenceless robotics
WO2023086868A1 (en) Automated product unloading, handling, and distribution
JP7021620B2 (ja) マニピュレータおよび移動ロボット
JP2021098560A (ja) ワーク積み付けシステム
Kreuzer Method for the evaluation of an autonomous handling system for improving the process efficiency of container unloading
CN118613354A (zh) 用于机器人操纵器的抓取规划的系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant