CN109791614A - 用于制造业用的适应性箱子拾取的系统和方法 - Google Patents

用于制造业用的适应性箱子拾取的系统和方法 Download PDF

Info

Publication number
CN109791614A
CN109791614A CN201780043950.4A CN201780043950A CN109791614A CN 109791614 A CN109791614 A CN 109791614A CN 201780043950 A CN201780043950 A CN 201780043950A CN 109791614 A CN109791614 A CN 109791614A
Authority
CN
China
Prior art keywords
component
location
robot
target location
chest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780043950.4A
Other languages
English (en)
Other versions
CN109791614B (zh
Inventor
亚历山大·扎克
达斯科·佩罗夫斯基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magna International Inc
Original Assignee
Magna International Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magna International Inc filed Critical Magna International Inc
Publication of CN109791614A publication Critical patent/CN109791614A/zh
Application granted granted Critical
Publication of CN109791614B publication Critical patent/CN109791614B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00—Gripping heads and other end effectors
    • B25J15/06—Gripping heads and other end effectors with vacuum or magnetic holding means
    • B25J15/0616—Gripping heads and other end effectors with vacuum or magnetic holding means with vacuum
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/4155—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by programme execution, i.e. part programme or machine function execution, e.g. selection of a programme
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/37—Measurements
    • G05B2219/37555—Camera detects orientation, position workpiece, points of workpiece
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40014—Gripping workpiece to place it in another place
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40053—Pick 3-D object from pile of objects
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40523—Path motion planning, path in space followed by tip of robot
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/45—Nc applications
    • G05B2219/45063—Pick and place manipulator
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Manufacturing & Machinery (AREA)
  • Automation & Control Theory (AREA)
  • Quality & Reliability (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Manipulator (AREA)
  • Image Processing (AREA)

Abstract

提供了用于使用机器人在目标地点与源位置处的箱子之间自动移动一个或更多个部件的系统和方法。该系统包括第一视觉系统以识别箱子内的部件并且确定部件的拾取位置和拾取方向。第二视觉系统确定可能在或可能不在固定位置的箱子内部或外部的目标地点的位置和方向。控制器规划用于机器人在拾取位置与目标地点之间移动部件时所遵循的最佳路径。末端执行器附接至机器人以用于从箱子中拾取部件，在机器人移动部件时保持该部件，并且将部件放置在目标地点。该系统还可以通过视觉系统中的一者或两者对部件的质量进行检查。

Description

用于制造业用的适应性箱子拾取的系统和方法
相关申请的交叉引用
本PCT国际专利申请要求于2016年7月15日提交的标题为“用于制造业用的适应性箱子拾取的系统和方法”的美国临时专利申请序列号62/362,970的权益，该申请的全部公开被认为是本申请的公开的一部分并且通过参引合并到本申请中。
背景技术
实施组装过程(或组装线)以产生成品。成品为通过各种技术附接在一起的各种部件的组合。成品可以是任何种类的物体或产品，例如在商业中销售的物体或产品。汽车或车辆、或汽车或车辆的部件可以是经由组装过程所生产的成品。
许多成品包括来自各种源的部件，这些部件被运送至制造场所并在制造场所内被组合为成品或被组合为成品的组件或子组件。这些部件经常在箱子中运输，在箱子中，它们可能是松散的，具有随机的位置和方向。部件必须从箱子转移至目标地点以便于在制造过程中使用部件。
对于许多部件，从部件的运输箱中移动部件的现有技术是手动过程。在移动较大部件时需要特殊的考虑。例如，冲压的金属部件由人从箱子中拾取并放置到固定装置中以用于进一步加工(例如切割、焊接、粘附、涂漆)。在加工之后，人可从固定装置中拾取部件并将其放置箱子中，该箱子可以是新的箱子或是部件所源自的相同的箱子。在拾取/放置操作期间，人还可以对部件执行质量检查。
在另一示例中，将车辆仪表板装载到在涂漆过程中使用的涂漆台、或涂漆架上的过程需要工作小组，该工作小组的成员可以在从进入的箱子中拾取部件(在地板水平处)与将部件放置在台中(在髋部水平处)之间交替，并且还可以彼此传送部件以便减轻人体工程学的压力。
以这种方式，进入制造过程的每个部件需要拾取部件并且将部件放置在适于制造过程中的下一步骤的目标地点的位置和方向处的手动操作。沉重的部件导致执行这些操作的人感到疲劳。重复的动作会导致代价高昂伤害。这些手动操作可能将延迟与低效率引入至整个组装线流程。
发明内容
提供了用于使用机器人在目标地点与源位置处的箱子之间自动移动一个或更多个部件的传送系统和方法。该系统包括第一视觉系统以识别箱子内的部件并且确定部件的拾取位置和拾取方向。第二视觉系统确定目标地点的位置和方向。控制器规划用于机器人在拾取位置与目标地点之间移动部件时所遵循的最佳路径。末端执行器附接至机器人以用以从箱子中拾取部件，并且在机器人将部件移动到目标地点时保持部件。然后，末端执行器释放部件或将部件放置在目标地点位置处并且以目标地点的方向放置部件。
该方法包括以下步骤：使用第一视觉系统识别在箱子内具有非固定的位置和方向的部件；使用第一视觉系统确定箱子内的部件拾取位置和拾取方向；以及使用第二视觉系统确定目标地点的位置和方向。该方法还包括执行自适应轨迹规划以确定拾取位置与目标地点之间的最佳路径的步骤。
该方法按以下步骤进行：通过机器人上的末端执行器从拾取位置拾取部件；通过机器人使部件沿所述最佳路径移动；通过机器人上的末端执行器将部件放置在目标地点处。该方法还可以包括通过视觉系统中的一者或两者对部件的质量进行检查的步骤。
采用本文公开的方面，系统和方法可以使用具有末端执行器的机器人在目标地点与源位置处的箱子之间自动移动一个或更多个部件。本文所公开的柔性固定装置允许从箱子移动各种部件类型，其中，这些部件可以是松散的、具有随机的位置和方向。此外，由于本文所讨论的方法的自动化性质，实现了效率的收益和资源的减少。
附图说明
参照以下附图进行详细描述，在附图中，相同的附图标记表示相同物体，在附图中：
图1为用于在源位置处的箱子与目标地点之间自动移动一个或更多个部件的系统的示意图。
具体实施方式
下文参照附图更全面地描述本发明，其中，示出了本发明的示例性实施方式。然而，本发明可以以许多不同的形式实施，并且不应被解释为限于本文所提出的实施方式。相反，通过提供这些示例性实施方式，使得本公开是透彻的并且将本发明的范围完全传达给本领域技术人员。可以理解的是，出于本公开的目的，“每一者中的至少一者”将被解释为意指遵循各自语言的所列举元素的任意组合，包括多个所列举元素的组合。例如，“X、Y和Z中的至少一者”将被解释为意指仅X、仅Y、仅Z，或X、Y和Z中的两者或更多者的任意组合(例如XYZ、XZ、YZ、X)。在整个附图和详细描述中，除非另有描述，否则相同的附图标记应理解为表示相同的元件、特征和结构。这些元件的相对尺寸和描绘可以为了清楚、说明和方便的目的而被放大。
参照附图，其中，相同的附图标记在多个视图中表示对应的部件，公开了用于使用具有末端执行器32的机器人30在源位置26处的箱子24与目标地点28之间自动移动一个或更多个部件的传送系统20和方法。
传送系统20如图1所示，其用于使用具有末端执行器32的机器人30在源位置26处的箱子24与目标地点28之间自动移动一个或更多个部件22，并且其中，在箱子24中，部件22可以是松散的或是没有固定在特定位置的。如本公开中所使用的，箱子24可以包括任何箱、架子、托盘或用于保持部件22的其他载体。应了解的是，在包括权利要求书的本公开中所讨论的术语“部件22”可以包含各种类型的物品，其包括但不限于：原料、壳体、在制造的任一阶段中的零部件、在构造的任一阶段中的组件或子组件、以及成品件或组件。通过使用相同或不同末端执行器32的同一传送系统20，可以安置和移动各种不同的部件22。
第一视觉系统34识别箱子24内的部件22，并且确定部件22的拾取位置和拾取方向。第二视觉系统38确定可以在箱子24的内部或外部的目标地点28的位置和方向。目标地点28可以是一个或更多个部件将被移动至的任何地方，例如包括：用于制造或检查、装运的固定装置或载体等；用于存储或传送的架子或包裹；传送器；在制造的任一阶段中的固定装置或组件。目标地点28的位置和方向可以是固定的。目标地点28的位置和/或方向可以是可变的，比如说为了使部件在组件沿组装线移动时被放置在该组件上。另外，一系列的部件22中的每一者的目标地点28可以是不同的，例如在架子或其他这样的组件装载有多个部件22，并且每个部件22在架子上的分离的隔室或位置的情况下。
视觉系统34、38中的每一者可以是任何类型的机器视觉系统，所述机器视觉系统包括一个或更多个相机36或其他成像设备、并且包括但不限于2D、2.5D和3D系统，3D系统能够在具有x、y和z坐标以及三维方向的滚转、俯仰和偏航的三维空间中识别和定位部件22。这种机器视觉系统的一个示例是由Cognex制造的相机系统。可以使用直接观察和测量，通过与一个或更多个参照图像进行比较，通过任何其他方法或这些方法的组合来完成这种识别和定位。
传送系统20包括具有末端执行器32的机器人30以从箱子24拾取部件22，沿着路径40移动部件22，并且将部件22放置在目标地点28处。末端执行器32可以是高级执行器(例如工具)，或是能够移动部件的其他执行器，包括但不限于抓握、夹取和抽吸装置。该系统还包括控制器42，该控制器42用于规划机器人30在拾取位置与目标地点28之间移动部件22时所遵循的最佳路径40。
本公开还提供了用于使用具有末端执行器32的机器人30将一个或更多个部件22在源位置26处的箱子24与目标地点28之间自动移动的方法。该方法包括以下步骤：使用第一视觉系统34识别在箱子24内具有非固定的位置和方向的部件22；使用第一视觉系统34确定部件22在箱子24内的拾取位置和拾取方向；以及使用第二视觉系统38确定目标地点28的位置和方向。该方法还包括执行自适应轨迹规划以确定拾取位置与目标地点28之间的最佳路径40的步骤。根据一方面，执行自适应轨迹规划的步骤可以包括以下子步骤：规划包含有机器人的几何信息和拾取位置和拾取方向和目标位置和目标方向的、在拾取位置与目标地点之间的多个可能路径40；以及通过模拟拾取位置与目标地点28之间的多个可能路径40来确定拾取位置与目标地点28之间的最佳路径40。这种主动轨迹规划的一个示例为ROS(机器人操作系统)。
该方法按照以下步骤进行：通过机器人30上的末端执行器32从拾取位置拾取部件22；通过机器人30将部件22沿着最佳路径40移动；通过机器人30上的末端执行器32将部件22放置在目标地点28处。该方法还可以包括通过一个或更多个第一视觉系统34和第二视觉系统38对部件22进行质量检查的步骤。
根据一方面，目标地点28可以具有固定的位置和方向。根据另一方面，目标地点28可以具有变化的位置和/方向或在空间中不固定的位置和/方向。
根据一方面，第一视觉系统34可以是2D视觉系统，并且该方法还包括通过第一视觉系统34将部件22的图像与参照图像进行比较以确定拾取位置和拾取方向的步骤。根据另一方面，第一视觉系统34可以是能够直接确定拾取位置和拾取方向的3D视觉系统。
根据一方面，第二视觉系统38可以是2D视觉系统，并且该方法还包括通过第二视觉系统38将部件22的图像与参照图像进行比较以确定目标地点28的位置和方向的步骤。根据另一方面，第二视觉系统38可以是能够直接确定目标地点28的位置方向的3D视觉系统。
显然地，鉴于以上教导，本发明可以进行许多修改与变化，并且所述修改与变化可以在所附权利要求的范围内以与具体描述不同的方式实践。
权利要求书(按照条约第19条的修改)
1.(原始)一种用于使用具有末端执行器的机器人在目标地点与源位置处的箱子之间自动移动一个或更多个部件的系统，所述系统包括：
第一视觉系统，所述第一视觉系统用于识别和确定在所述箱子内具有非固定的位置和方向的部件的拾取位置和拾取方向；
第二视觉系统，所述第二视觉系统用于确定目标地点的位置和方向；
机器人，所述机器人具有末端执行器，所述末端执行器用于从所述箱子拾取所述部件并且将所述部件移动至所述目标地点；以及
控制器，所述控制器用于规划用于所述机器人在所述拾取位置与所述目标地点之间移动所述部件时所遵循的最佳路径。
2.(原始)一种用于使用具有末端执行器的机器人在目标地点与源位置处的箱子之间自动移动一个或更多个部件的方法，所述方法包括：
使用第一视觉系统识别在所述箱子内具有非固定的位置和方向的部件；
使用所述第一视觉系统确定在所述箱子内的所述部件的拾取位置和拾取方向；
使用第二视觉系统确定目标地点的位置和方向；
确定所述拾取位置与所述目标地点之间的路径；
通过所述机器人上的所述末端执行器从所述拾取位置拾取所述部件；
通过所述机器人使所述部件沿所述路径移动；以及
通过所述机器人上的所述末端执行器将所述部件放置在所述目标地点处。
3.(原始)根据权利要求2所述的方法，其中，确定所述拾取位置与所述目标地点之间的路径的步骤包括从多个可能的路径中确定所述拾取位置与所述目标地点之间的最佳路径；并且其中，通过所述机器人使所述部件沿所述路径移动的步骤包括通过所述机器人使所述部件沿所述最佳路径移动。
4.(原始)根据权利要求2所述的方法，所述方法还包括以下步骤：
对包含有所述机器人的几何信息和所述拾取位置和所述拾取方向和目标位置和目标方向的、所述拾取位置与所述目标地点之间的多个可能的路径进行模拟。
5.(原始)根据权利要求4所述的方法，其中，确定所述拾取位置与所述目标地点之间的路径的步骤包括从所述多个可能的路径中确定所述拾取位置与所述目标地点之间的最佳路径；并且其中，通过所述机器人使所述部件沿所述路径移动的步骤包括通过所述机器人使所述部件沿所述最佳路径移动。
6.(新)根据权利要求2所述的方法，其中，使用第一视觉系统识别在所述箱子内具有非固定的位置和方向的部件的步骤还包括识别在所述箱子内具有随机的位置和方向的部件。
7.(新)根据权利要求2所述的方法，其中，使用所述第一视觉系统识别在所述箱子内具有非固定的位置和方向的部件的步骤还包括将所述部件的图像与一个或更多个参照图像进行比较。
8.(新)根据权利要求2所述的方法，其中，使用所述第一视觉系统确定在所述箱子内的所述部件的所述拾取位置和所述拾取方向的步骤还包括将所述部件的图像与一个或更多个参照图像进行比较。
9.(新)根据权利要求1所述的系统，其中，在所述箱子内具有非固定的位置和方向的所述部件在所述箱子内具有随机的位置和方向。
10.(新)根据权利要求1所述的系统，其中，所述目标地点在所述源位置处的所述箱子内。
11.(新)根据权利要求1所述的系统，其中，所述目标地点在所述源位置处的所述箱子的外部。
12.(新)根据权利要求1所述的系统，其中，所述第一视觉系统包括两个或更多个相机。
13.(新)根据权利要求1所述的系统，其中，所述第二视觉系统包括两个或更多个相机。
14.(新)根据权利要求1所述的系统，其中，所述第一视觉系统和/或所述第二视觉系统为2.5D系统。
15.(新)根据权利要求1所述的系统，其中，所述第一视觉系统和/或所述第二视觉系统为3D系统。

Claims (5)

1.一种用于使用具有末端执行器的机器人在目标地点与源位置处的箱子之间自动移动一个或更多个部件的系统，所述系统包括：
第一视觉系统，所述第一视觉系统用于识别和确定在所述箱子内具有非固定的位置和方向的部件的拾取位置和拾取方向；
第二视觉系统，所述第二视觉系统用于确定目标地点的位置和方向；
机器人，所述机器人具有末端执行器，所述末端执行器用于从所述箱子拾取所述部件并且将所述部件移动至所述目标地点；以及
控制器，所述控制器用于规划用于所述机器人在所述拾取位置与所述目标地点之间移动所述部件时所遵循的最佳路径。
2.一种用于使用具有末端执行器的机器人在目标地点与源位置处的箱子之间自动移动一个或更多个部件的方法，所述方法包括：
使用第一视觉系统识别在所述箱子内具有非固定的位置和方向的部件；
使用所述第一视觉系统确定在所述箱子内的所述部件的拾取位置和拾取方向；
使用第二视觉系统确定目标地点的位置和方向；
确定所述拾取位置与所述目标地点之间的路径；
通过所述机器人上的所述末端执行器从所述拾取位置拾取所述部件；
通过所述机器人使所述部件沿所述路径移动；以及
通过所述机器人上的所述末端执行器将所述部件放置在所述目标地点处。
3.根据权利要求2所述的方法，其中，确定所述拾取位置与所述目标地点之间的路径的步骤包括从多个可能的路径中确定所述拾取位置与所述目标地点之间的最佳路径；并且其中，通过所述机器人使所述部件沿所述路径移动的步骤包括通过所述机器人使所述部件沿所述最佳路径移动。
4.根据权利要求2所述的方法，所述方法还包括以下步骤：
对包含有所述机器人的几何信息和所述拾取位置和所述拾取方向和目标位置和目标方向的、所述拾取位置与所述目标地点之间的多个可能的路径进行模拟。
5.根据权利要求4所述的方法，其中，确定所述拾取位置与所述目标地点之间的路径的步骤包括从所述多个可能的路径中确定所述拾取位置与所述目标地点之间的最佳路径；并且其中，通过所述机器人使所述部件沿所述路径移动的步骤包括通过所述机器人使所述部件沿所述最佳路径移动。
CN201780043950.4A 2016-07-15 2017-07-17 用于制造业用的适应性箱子拾取的系统和方法 Active CN109791614B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662362970P 2016-07-15 2016-07-15
US62/362,970 2016-07-15
PCT/US2017/042389 WO2018014023A1 (en) 2016-07-15 2017-07-17 System and method for adaptive bin picking for manufacturing

Publications (2)

Publication Number Publication Date
CN109791614A true CN109791614A (zh) 2019-05-21
CN109791614B CN109791614B (zh) 2023-08-18

Family

ID=60953399

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780043950.4A Active CN109791614B (zh) 2016-07-15 2017-07-17 用于制造业用的适应性箱子拾取的系统和方法

Country Status (5)

Country Link
US (1) US11040447B2 (zh)
EP (1) EP3485427A4 (zh)
CN (1) CN109791614B (zh)
CA (1) CA3030738A1 (zh)
WO (1) WO2018014023A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111094136A (zh) * 2017-09-20 2020-05-01 麦格纳国际公司 用于制造业用的适应性箱子拾取的系统和方法
CN112720496A (zh) * 2020-12-30 2021-04-30 深兰人工智能芯片研究院（江苏）有限公司 机械手的控制方法、装置、拾取设备及存储介质
CN115816435A (zh) * 2021-09-18 2023-03-21 腾讯科技（深圳）有限公司 机器人搬运对象及确定机器人搬运对象的运动轨迹的方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108381509B (zh) * 2018-03-19 2021-03-02 京东方科技集团股份有限公司 智能抓取装置及其控制方法、智能抓取控制系统
JP7022036B2 (ja) * 2018-08-31 2022-02-17 ファナック株式会社 物品取出システム
US11919169B2 (en) * 2019-11-19 2024-03-05 Google Llc Optimization of motion paths of a robot using vision data
CN111347426B (zh) * 2020-03-26 2021-06-04 季华实验室 一种基于3d视觉的机械臂精确放置轨迹规划方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5041907A (en) * 1990-01-29 1991-08-20 Technistar Corporation Automated assembly and packaging system
CN1846951A (zh) * 2005-04-11 2006-10-18 中国科学院自动化研究所 一种自动拾取物体的智能移动机器人控制装置及方法
EP2221152A1 (en) * 2009-02-19 2010-08-25 ABB Technology AB A robot system and a method for picking and placing components
US20110153076A1 (en) * 2009-12-22 2011-06-23 Canon Kabushiki Kaisha Robot system, and control apparatus and method thereof
CN102411368A (zh) * 2011-07-22 2012-04-11 北京大学 机器人的主动视觉人脸跟踪方法和跟踪系统
US20140277694A1 (en) * 2013-03-14 2014-09-18 Kabushiki Kaisha Yaskawa Denki Robot system and method for producing to-be-processed material
CN104589354A (zh) * 2013-10-31 2015-05-06 精工爱普生株式会社 机器人控制装置、机器人系统以及机器人
US20150343733A1 (en) * 2014-06-03 2015-12-03 Siemens Aktiengesellschaft Method for calculating an optimized trajectory
US20160016311A1 (en) * 2014-07-16 2016-01-21 Google Inc. Real-Time Determination of Object Metrics for Trajectory Planning

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4613269A (en) * 1984-02-28 1986-09-23 Object Recognition Systems, Inc. Robotic acquisition of objects by means including histogram techniques
JPS6339778A (ja) * 1986-07-30 1988-02-20 マツダ株式会社 部品取出し装置
CH693710A5 (de) * 1999-07-02 2003-12-31 Sig Pack Systems Ag Verfahren zum Picken und Plazieren von Stückgütern.
EP2470333A2 (en) * 2009-08-27 2012-07-04 ABB Research Ltd. Robotic picking of parts from a parts holding bin
US9561587B2 (en) * 2014-12-16 2017-02-07 Amazon Technologies, Inc. Robotic grasping of items in inventory system
US9862096B2 (en) 2015-03-30 2018-01-09 The Boeing Company Automated dynamic manufacturing systems and related methods

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5041907A (en) * 1990-01-29 1991-08-20 Technistar Corporation Automated assembly and packaging system
CN1846951A (zh) * 2005-04-11 2006-10-18 中国科学院自动化研究所 一种自动拾取物体的智能移动机器人控制装置及方法
EP2221152A1 (en) * 2009-02-19 2010-08-25 ABB Technology AB A robot system and a method for picking and placing components
US20110153076A1 (en) * 2009-12-22 2011-06-23 Canon Kabushiki Kaisha Robot system, and control apparatus and method thereof
CN102411368A (zh) * 2011-07-22 2012-04-11 北京大学 机器人的主动视觉人脸跟踪方法和跟踪系统
US20140277694A1 (en) * 2013-03-14 2014-09-18 Kabushiki Kaisha Yaskawa Denki Robot system and method for producing to-be-processed material
CN104589354A (zh) * 2013-10-31 2015-05-06 精工爱普生株式会社 机器人控制装置、机器人系统以及机器人
US20150343733A1 (en) * 2014-06-03 2015-12-03 Siemens Aktiengesellschaft Method for calculating an optimized trajectory
CN105278448A (zh) * 2014-06-03 2016-01-27 西门子公司 计算优化的轨迹的方法、执行方法的控制装置和生产机器
US20160016311A1 (en) * 2014-07-16 2016-01-21 Google Inc. Real-Time Determination of Object Metrics for Trajectory Planning

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JAE-HAN PARK等: "Framework of grasping planning for multi-fingered robot hands", 2011 8TH INTERNATIONAL CONFERENCE ON UBIQUITOUS ROBOTS AND AMBIENT INTELLIGENCE (URAI), pages 455 - 458 *
李尧等: "基于图像识别和遗传算法的Tripod机器人最优轨迹控制", 计算机应用, vol. 36, pages 106 - 109 *
田鑫;施成章;朱学军;: "基于视觉定位的机器人搬运技术及应用", 微型机与应用, no. 07, pages 51 - 53 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111094136A (zh) * 2017-09-20 2020-05-01 麦格纳国际公司 用于制造业用的适应性箱子拾取的系统和方法
US11370111B2 (en) 2017-09-20 2022-06-28 Magna International Inc. System and method for adaptive bin picking for manufacturing
CN112720496A (zh) * 2020-12-30 2021-04-30 深兰人工智能芯片研究院（江苏）有限公司 机械手的控制方法、装置、拾取设备及存储介质
CN112720496B (zh) * 2020-12-30 2022-04-29 深兰智能科技(上海)有限公司 机械手的控制方法、装置、拾取设备及存储介质
CN115816435A (zh) * 2021-09-18 2023-03-21 腾讯科技（深圳）有限公司 机器人搬运对象及确定机器人搬运对象的运动轨迹的方法

Also Published As

Publication number Publication date
EP3485427A1 (en) 2019-05-22
WO2018014023A4 (en) 2019-03-07
WO2018014023A1 (en) 2018-01-18
EP3485427A4 (en) 2020-03-11
CN109791614B (zh) 2023-08-18
US20190232495A1 (en) 2019-08-01
CA3030738A1 (en) 2018-01-18
US11040447B2 (en) 2021-06-22

Similar Documents

Publication Publication Date Title
CN109791614A (zh) 用于制造业用的适应性箱子拾取的系统和方法
US11370111B2 (en) System and method for adaptive bin picking for manufacturing
DE102015102740B4 (de) Vorrichtung und Verfahren zum Anordnen von Gegenständen mittels Roboter und Gegenstandübertragungssystem
US9957120B2 (en) Stowage pattern calculation device and stowage device for stowing plurality types of objects
US9233469B2 (en) Robotic system with 3D box location functionality
US20210016454A1 (en) Control of modular end-of-arm tooling for robotic manipulators
DE112017007392B4 (de) Steuervorrichtung, Greifsystem, Verteilersystem, Programm, Steuerverfahren und Herstellungsverfahren
DE112017007399B4 (de) Steuervorrichtung, Greifsystem, Verteilersystem, Programm, Steuerverfahren und Herstellungsverfahren
US20190127000A1 (en) Production Plant And Production Method
DE112017007397B4 (de) Steuervorrichtung, Greifsystem, Verteilersystem, Programm, Steuerverfahren und Herstellungsverfahren
Zhang et al. Dorapicker: An autonomous picking system for general objects
EP3762188A2 (de) Robotersystem mit an warentypen angepassten bewegungsabläufen und betriebsverfahren hierfür
US11426864B2 (en) Robot manipulator system and methods for providing supplemental securement of objects
CN107303636A (zh) 基于机器人的自动装配系统和自动装配方法
CN107323753A (zh) 用于自动收纳smt产品的方法及设备
CN114714333B (zh) 用于更换夹持器设备上的工具的系统
Makris et al. Automated assembly of non-rigid objects
DE102005033112A1 (de) Verfahren und System zur automatisierten Übergabe von Stückgütern zwischen einem Lager und einem Transportmittel oder zwischen zwei Transportmitteln sowie Stückgut
WO2020010627A1 (zh) 一种工件跟踪方法、系统及机器人
Chen et al. Assembly on moving production line based on sensor fusion
Bloss Smart robot that picks parts from bins
US20230001587A1 (en) Method and setup for fenceless robotics
Chen et al. Flexible assembly automation using industrial robots
US20220016762A1 (en) Learning software assisted object joining
DE102016224377A1 (de) Flexibles Greifvorrichtungs-Steuersystem

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant