CN111452040B - 在引导装配环境中将机器视觉坐标空间关联的系统和方法 - Google Patents

在引导装配环境中将机器视觉坐标空间关联的系统和方法 Download PDF

Info

Publication number
CN111452040B
CN111452040B CN202010183812.XA CN202010183812A CN111452040B CN 111452040 B CN111452040 B CN 111452040B CN 202010183812 A CN202010183812 A CN 202010183812A CN 111452040 B CN111452040 B CN 111452040B
Authority
CN
China
Prior art keywords
workpiece
location
image
features
coordinate space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010183812.XA
Other languages
English (en)
Other versions
CN111452040A (zh
Inventor
G·希瓦拉姆
C·C·小马里恩
刘力峰
李拓拓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cognex Corp
Original Assignee
Cognex Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cognex Corp filed Critical Cognex Corp
Priority to CN202010183812.XA priority Critical patent/CN111452040B/zh
Publication of CN111452040A publication Critical patent/CN111452040A/zh
Application granted granted Critical
Publication of CN111452040B publication Critical patent/CN111452040B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1692—Calibration of manipulator
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1687—Assembly, peg and hole, palletising, straight line, weaving pattern movement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39039—Two cameras detect same reference on workpiece to define its position in space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00—Robots
    • Y10S901/46—Sensing device
    • Y10S901/47—Optical

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Manipulator (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Control Of Position Or Direction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明提供了一种在标定时间期间利用运行时工件的特征代替标定板将两个位置的坐标空间关联在一起的系统和方法。预计其存在三种可能的方案：其中，在二者位置上拍摄具有相同特征的工件的图像并进行识别；其中，拍摄到的运行时工件的特征图像在各个位置上均不同(可采用CAD或工件测量再现)；并且其中，利用手眼标定将含有运动平台的第一位置标定到运动平台，并通过在位置之间往复传送运行时零件，将第二位置手眼标定至相同的运动平台。举例来说，可通过运行多个运行时工件(每个工件姿态不同)，以提取特征，并累积每个位置上的此类特征，然后利用累积到的特征关联两个坐标空间，以提高前两种技术的质量。

Description

在引导装配环境中将机器视觉坐标空间关联的系统和方法
分案申请
本申请为申请号201610639067.9、申请日2016年08月05日、提案名称为“在引导装配环境中将机器视觉坐标空间关联在一起的系统和方法”、现已修改名称为“在引导装配环境中将机器视觉坐标空间关联的系统和方法”的分案申请。
相关申请
本申请基于申请号为62/201,723、名称为在引导装配环境中将机器视觉坐标空间关联在一起的系统和方法、申请日为2015年8月6日的美国共同未决临时专利申请提出，并要求该临时专利申请的优先权，本专利申请的教导示例在此明确引入本文中作为参考。
技术领域
本发明涉及一种机器视觉系统，尤其涉及在制造和引导装配环境中用于引导工件及其他对象的装配的视觉系统。
背景技术
在机器视觉系统(本文中也称作“视觉系统”)中，一个或多个相机用于在图像场景中在对象或表面上执行视觉系统流程。这些流程包括检查、符号解码、对齐以及若干其他自动化任务。尤其是，该视觉系统可用于检测通过图像场景的扁平物体。通常情况下，场景由包括内部或外部视觉系统处理器的一个或多个视觉系统相机进行拍摄，其中的视觉系统处理器运行相关的视觉系统进程，以生成结果。标定一个或多个相机，使其足够准确和可靠地执行视觉任务。可采用标定板标定相机并建立公共(全局)坐标空间(也称作坐标“系”)，以使全部相机的像素位置映射至该坐标空间中的相关坐标点，从而将所有相机中的特征图像定位于该坐标空间内。在采用运动平台引导对象装配的专利申请中，标定流程包括在运动平台(也称作“运动坐标空间”)与公共坐标空间之间建立关联。此类标定可采用已知的“手眼”标定技术完成。
视觉系统的一个显著任务是通过自动装配机构帮助引导和验证对象(也称作“工件”)的装配，其中，自动装配机构包括滑台(运动平台)，用于将工件准确支撑在装配位置；操纵器(如：执行“拾取和放置”操作的机械手或机械臂，或者其他类型的运动设备或运动平台)，用于将另一个处于“装配运动”状态的工件移动至用于安装该工件的重叠对齐位置。特殊的拾放操作包括将一个工件与另一个工件对齐。举例来说，操纵器可通过拾放操作拾取触摸屏并将其放入置于运动平台上的手机凹槽中，其中，操纵器从拾取位置移动各触摸屏，并将其放置在待装配手机机体上的放置位置(有时也称作“放置站点”)。这就要求触摸屏与手机机体适当且准确地对齐。
由于一些示例性系统经过初始校准，因此，各工件在系统运行操作期间可与其他工件正确对齐。在校准期间，这些工件被定位在其各自的位置或站点，因此，校准后，在装配时，已装配的工件具有了预定的相互位置关系。之后，为了体现所有的放置或尺寸偏差，在运行期间利用视觉系统控制位置上的相关运动平台，将一个工件或二者工件重新定位到各自的位置，然后再进行装配。因此，通过调整运动平台，可使工件处于与其校准时期相同的相互位置关系(预期位置关系)。其他示例性系统可忽略校准流程，举例来说，可在运行期间利用装配件的几何形状的系统，如：当第一矩形件以第二矩形件为中心时。
作为最后用于计算运动平台运动参数的流程的一部分，在拍摄工件场景后，应提取各工件的所属特征并映射至公共坐标空间，其中的运动参数可能会用于实现预期装配。公共坐标空间映射是出于标定流程的需要。在许多装配系统中，标定流程包括：利用传送零件的重复型操纵器在位置之间传送特殊标定板，并在二者位置上拍摄标定板图像。该技术存在若干缺点。举例来说，由于工件与标定板在形状、重量或其他特征方面存在差异，因此，用于传送零件的拾放抓手可能无法用于传送标定板。也就是说，标定板与抓手参数不匹配。在此类系统中，用户须手动输入公共坐标空间的映射参数，这常常会造成标定效果不理想。此外，由于零件和标定板的特征差异(如厚度差异或其他特征差异)，在标定和运行期间拾放操纵器的运行路径可能不同。这样将导致标定出现误差，这是因为操纵器在运行期间和校准期间的运行步骤存在差异。概括地说，由于需额外步骤进行设置等操作，因此，给用户在标定期间使用单独的标定板造成极大方便。
此外，现有标定技术的缺点还在于其对某些机械原理和/或反复试验及误差原则的依赖，这些原理和原则存在局限性和/或操作不方便，并且耗时。例如：在某一技术中，允许构建机械系统，因而，第一位置的坐标空间与第二位置的坐标空间之间的关系是已知且既定的。该技术对灵活性形成了限制，并且不能体现位置随时间变化而可能出现的移动或变化。在另一技术中，需初步估算两位置之间的关系，并利用装配件的质量反复优化该位置关系。该技术耗时，且需依赖多重迭代才可达到预期准确度。
发明内容
本发明通过提供一种利用运行时工件的特征在标定期间将两个位置的坐标空间关联在一起的标定系统和方法，克服了现有技术中由于采用操纵器(和相关抓手)在拾取与放置位置之间传送标定板所产生的问题导致的缺点。该系统和方法至少累积了三种不同的方案或技术：一种是可在二者位置上拍摄具有相同特征的工件的图像并进行识别；另一种是拍摄到的运行时工件的特征图像在各个位置均不同(其中，可采用CAD或工件测量再现)；再一种是利用手眼标定将含有运动平台的第一位置标定到运动平台，并通过在位置之间往复传送运行时零件，将第二位置手眼标定至相同的运动平台。举例来说，可通过运行多个运行时工件(每个工件姿态不同)，提取特征并累积每个位置上的此类特征，然后利用累积的特征将两个坐标空间关联起来，以提高前两种技术的质量。概括地说，该系统和方法对两个位置进行独立标定，并通过工件传送利用工件的特征(而非标定板的特征)将两个位置的坐标空间关联在一起，其中，在装配期间，构建、设置/利用操纵器来传送工件。
在一说明性实施例中，提供了一种在操纵器将第一位置的第一工件传送至第二位置的环境中用于标定视觉系统的系统和方法。在第一工件上执行操作，该操作依赖于将第一位置和第二位置的坐标空间关联在一起。至少设置一个视觉系统相机，当第一工件定位于第一位置时，用于拍摄第一工件的图像，并且当第一工件定位于第二位置时，用于拍摄第一工件的图像。相对于第一位置标定至少一个视觉系统相机，以获得限定第一坐标空间的第一标定数据，以及相对于第二位置标定至少一个视觉系统相机(可能为同一或相同的相机)，以获得限定第二坐标空间的第二标定数据。至少第一工件的特征可根据第一工件的第一图像在第一位置进行识别。基于第一图像中的识别特征，在相对于第一位置的第一坐标空间中定位第一工件。第一工件至少被操纵器抓取和移动一次至第二位置上的操纵器预定位置，并在第二位获得第一工件的第二图像。基于第二图像中的识别特征，在相对于第二位置的第二坐标空间中定位第一工件。为此，第一坐标空间和第二坐标空间被关联在一起。举例来说，如果第一图像中的识别特征与第二图像中的识别特征相同，那么该系统和方法包括：(a)映射相对于第一标定数据的第一图像中的识别特征的位置，(b)映射相对于第二标定数据的第二图像中的识别特征的位置，以及(c)计算将第二位置的映射特征映射至第一位置的映射特征的变换。或者，如果第一图像中的某些识别特征与第二图像中的识别特征不同，那么该系统和方法包括：(a)映射相对于第一标定数据的第一图像中的识别特征的位置，(b)计算相对于存储的第一工件特征位置规范的变换，(c)映射相对于第二标定数据的第二图像中的识别特征的位置，(d)工件在第一位置时，利用步骤(b)中计算得出的映射变换，从第一坐标空间中的第二图像中得出识别特征的位置，以及(e)计算将第二位置的映射特征映射至第一位置的相应转换特征的变换。第一工件规范可基于第一工件的CAD模型或第一工件的测量模型(CMM测量)。举例来说，该系统和方法可包括：(a)通过促动装置在第一位置或第二位置迭代移动第一工件，使其形成若干不同的姿态，(b)识别第一位置和第二位置中的每一个位置上的每种姿态的特征，以及(c)累积特征识别信息，以增强准确性；其中，第一工件可为相同的工件或为若干离散工件中的一个。在各个实施例中，该系统和方法，包括：从图像坐标系映射第一位置的标定坐标系，并且其中的映射为一个整体。在实施例中，第二位置具有第二工件，其中，第一工件以预定对齐方式与第二工件啮合，和/或第二工件为用于进一步处理第一工件的零件、容器或框架。此外，在各种实施例中，操作是指相对于另一对象的对齐操作、第一工件的打印操作和第一工件的应用操作中的至少一个，并且可在至少远离第一位置和第二位置的位置部分地执行所述操作。
在另一说明性实施例中，提供了一种在操纵器将第一位置的第一工件传送至第二位置的环境中用于标定视觉系统的系统和方法，其中，在第一工件上执行的操作依赖于将第一位置和第二位置的坐标空间关联在一起，并且位置中的至少一个需手眼标定。至少设置一个视觉系统相机，以拍摄第一位置的第一工件的图像和第二位置的第一工件的图像。相对于第一位置手眼标定视觉系统相机，以获得第一标定数据，将第一工件定位于第一位置。举例来说，第一工件通过操纵器从第一位置移动至第二位置，并获得图像；通过获得的图像，第一工件的特征可定位。之后，第一工件通过操纵器从第二位置移动至第一位置，并通过促动装置在第一位置使第一工件的姿态改变为新的已知姿态。促动装置可在任何一个位置进行定位，而由促动装置所致的姿态变化可在操纵器将第一工件从第二位置移动至第一位置之前或之后发生。
重复上述步骤直至累积并存储到特征位置和其他与手眼标定相关的数据，之后利用累积数据相对于第二位置对至少一个视觉系统相机进行手眼标定。这样就可通过相对于促动装置(通过手眼标定获得)的公共坐标空间，将第一坐标空间和第二坐标空间关联在一起。举例来说，第二位置在促动装置上具有第二工件，其中，第一工件以预定对齐方式与第二工件啮合。第二工件可以是用于进一步处理第一工件的零件、容器或框架，而操作可以是相对于另一对象的对齐操作、第一工件上的打印操作和第一工件的应用操作中的至少一个。
附图说明
结合附图对本发明做以下说明，其中：
图1是相对于示例性拾取和放置装配环境设置的多相机视觉系统的示图，示出了位于拾取位置的拾放操纵器提取工件，并将其传送至放置位置，其中一个位置包括与工件装配系统相结合使用的示例性运动平台，以及具有相关工具和标定、校准及运行操作流程的视觉处理器；
图2是相对于示例性拾取和放置装配装置设置的双相机视觉系统的示图，其中，一个工件与另一个工件对齐，该图示出了位于放置位置的拾放操纵器将拾取到的第一工件放置到第二工件上；
图3是一种基于操纵器在各位置抓取到的运行时工件的图像将第一位置的第一坐标空间与第二位置的第二坐标空间关联起来的方法的广义总体流程图，其中，相机系统相对于位置中的一个进行标定；
图4是图3中概述的利用各位置上的运行时工件图像特征将第一位置的坐标空间与第二位置的坐标空间关联起来的方法的更详细的流程图，其中，各位置上的特征相同；
图5是图3中概述的利用各位置上的运行时工件图像特征将第一位置的坐标空间与第二位置的坐标空间关联起来的方法的更详细的流程图，其中，各位置上的至少某些特征因各自视场的视觉差而有所不同；
图6是一种通过在第一位置和第二位置分别实施手眼标定将第一位置的坐标空间与第二位置的坐标空间关联起来的方法的流程图；和
图7是相对于图4和图5中的方法的其他工艺的流程图，其中的特征在若干已知姿态下进行提取，并将累积特征用于关联各位置的坐标空间。
具体实施方式
图1是根据一实施例的具有示例性拾放机构120(操纵器)的装配系统100的示图，该系统100可通过对象(第一工件)来应用标定系统和标定方法，其中的对象(第一工件)在装配运行时操作中被操纵器操纵(在位置/站点之间传送)至第二位置上的第二工件。这些位置具体包括：拾取位置122，被转移的运行时工件124在拾取位置122进行初始定位；以及放置位置110，配接第一工件124的第二工件112被定位于该放置位置110。操纵器包括抓手，抓手包括如吸盘125，用于选择性地吸附第一工件124。操纵器120选择性地拾取(箭头130)第一工件124，并将其传送(箭头132)至第二工件112上的对齐位置126。在本示例中，设有轨道128，以沿重复性路径引导操纵器120。该轨道为选配轨道，并且任何允许操纵器120在拾取位置与放置位置之间做重复性运动的模式均可明确预见。举例来说，操纵器通过Xm、Ym和Zm轴定义坐标空间134，其中，该操纵器120至少沿Ym轴和Zm轴的拾取/放置方向移动。图中还示出了θzm绕Zm轴旋转，但操纵器可能会，也可能不会按此进行操作。操纵器的运动是任意的，并且视觉系统的操作通常独立于此类运动(将举例说明)。
拾取位置122和/或放置位置110每个定义一个平台，各个工件124和112在拾取/放置操作之前被定位在该平台上。工件124和112可通过任何可接受的技术放置到位置/平台(分别为112、110)上，如：源自工件的输送机、机械操作手、用户手动放置等。在其他实施例中，工件124可被操纵器夹持在第一位置110，而非置于位置/平台122上。在示例性系统中，位置/平台122、110中的任何一个均可包括一个运动平台，该运动平台以一个或多个自由度按预定准确度移动。通过运动平台的运动，工件之间可在重复性拾取和放置运动之前或之后建立对齐。也就是说，工件中的一个通过运动平台预先对齐，然后，当该工件移动通过定义路径时，通过拾取/放置操作使其保持预定对齐。或者，工件通过拾取/放置操作移动后，在装配/放置运动前最终对齐。每个平台(任一平台可包括一个运动平台)各自定义其坐标空间，该坐标空间可以是位置的局部坐标空间，也可以是标定坐标空间。也就是说，拾取平台122定义第一坐标空间Xs1、Ys1、Zs1(正交轴135)，而放置平台110定义第二坐标空间Xs2、Ys2、Zs2(正交轴137)。其中，任一平台包括一个运动平台，运动平台可沿上述坐标轴中的一个或多个移动，并且可以选择性地以至少一个合理的自由度移动(如，沿所述的θzs1或θzs2移动)。
在该示例性系统环境/配置110中，各个位置(122、110)上至少分别有一个相机142、140进行拍摄。或者，单一相机或多个相机可在单一视场(FOV)中对二者位置进行拍摄。如本文中所述，通常可以预见的是，当工件定位于各位置上时，一个或多个相机对各位置上的工件的相同或不同特征是可见的。相机140、142与视觉流程(处理器)160互连。一个位置或位置二者122、110均可选择性地包括附加相机144(如阴影所示)。该视觉流程(处理器)160还在相关位置与一个运动平台运动控制器170可操作性地互连，从而使该控制器170向处理器160提供运动信息172(如：解码器或步进机距离/脉冲信息)，用于判认运动平台和相关工件的物理位置。由于运动平台可选择性地定位于任一位置122或110，因此，二者位置上的控制器170和相关运动信息均相似。在手眼标定(下文将做进一步说明)期间，记录并将运动信息与获得的图像相关联时，运动平台移动。
相机140、142、144各自与视觉系统处理器和相关的视觉系统流程160可操作连接，该处理器和流程160可在一个或多个相机外壳中全部或部分地集成为一个自定义视觉处理器电路，或者设置在一个互连的计算装置180中，以协助进行设置(标定)、校准和/或运行操作；其中，计算装置180包括但不限于：电脑、笔记本电脑、平板电脑、智能手机或具有图形用户界面(GUI，如：显示器和/或触摸屏182、键盘184和/或鼠标186)的类似设备。注意，在采用一个以上相机的装配系统中，每台相机都将用于将其获得的图像或从图像提取到的信息发送给中央处理器。然后，由中央处理器集成整合各相机采集到的装配期间的信息。视觉流程(处理器)160执行视觉系统的各流程(或元件/模块)，包括各视觉工具162，如：寻边器、斑点分析器、搜索工具和卡尺工具等。举例来说，该视觉流程(处理器)160包括对齐流程(处理器)，该对齐流程(处理器)以下述方式对齐两个工件的图像数据。标定流程(处理器)166便于对相机执行标定和手眼标定(下文将做进一步说明)。举例来说，校准流程(处理器)168可执行本文中可预见的各种校准程序，以重新定位工件，从而相对于第一工件准确装配第二工件。注意，视觉处理器160可构建成为由若干相机互连的处理器(或其他装置)，或单一相机组件(或远程计算装置)中的中央处理器。
还应注意，本申请各实施例中所述的工件装配物理配置包括任意数量的、可拍摄滑台/运动平台各区域的相机。在不同的配置中，用于拍摄每个位置(和/或整体装配环境)的相机的数量是高度变化的。同样地，在整个系统中，操纵器执行任务的位置的数量也是高度变化的。
此外，所述装配环境为各种配置的示例是显而易见的，其中，第一工件通过如重复性操纵器从第一位置传送至另一位置，在该位置，对第一工件实施操作。该操作可包括以预定对齐方式啮合第二工件，或者利用适当机构直接在第一工件上实施操作。例如，第二工件可以是配接第一工件的零件、第一工件放置其中的容器/盒和/或第一工件放置其中的框架，如：作为工具箱配置零件。除此类放置操作外，操作还可包括打印或封装第一工件、将第一工件暴露在激光、切削工具、刀具头或其他设备之下和/或其他任何用于修整第一工件的工艺流程。操作和第二工件的进一步定义，见下文。通常情况下，可以预见的主要是系统和方法允许将拍摄第一位置和第二位置的相机的坐标空间关联在一起，从而以预期方式进行操作。
在进一步详细描述说明性系统和方法之前，应参考下列定义，以帮助阅读者理解本申请中所述的概念：
定义
简单参照图2，所示操纵器120已沿轨道180从第一位置122移动至第二位置110，其中，第一工件124在其抓手150中。如图所示，操纵器120正准确地将第一工件126放入(箭头250)第二工件250上的对齐接收位置126。工件通过相机140、142和相关视觉系统流程(处理器)160基于公共坐标空间来移动运动平台进行对齐。该公共坐标空间是在标定期间通过将两个位置122、110中的每一个位置的标定坐标空间关联在一起建立的。现在将在下面对其进行介绍。
通过对某些标定原理的整体理解可发现，刚性体(如标定板)的运动特征在于姿态成对出现：运动前立即出现起始姿态，以及运动发生后立即出现终止姿态。本申请中的“姿态”的定义为在某些基础坐标空间(刚性体的虚拟表征)中用于及时描述刚性体在任何一个特定瞬间的位置和方向的数值集。例如，在二维空间中，一种姿态可通过三个数值表征：X轴上的偏移量、Y轴上的偏移量，以及旋转量R(或θ)。标定板的姿态描述了标定在呈现给相机的形态。通常情况下，在所谓的标准“手眼标定”中，标定板相被促动装置对于相机移动成为若干不同的姿态，而每台相机获取标定板在每种姿态下的图像。该手眼标定的目的是在单一坐标空间(也可称作“标定坐标空间”)中判认相机的姿态、标定板的姿态以及促动装置的姿态。“运动”通常由可提供物理运动的实际设备提供，如：机械臂或运动平台或起重机。注意，标定板可相对于一个或多个固定式相机移动，或者相机可相对于固定式标定板移动，如：当相机安装到提供运动的实际设备上时。促动装置的控制器利用数值(如姿态)命令促动装置提供任何所需的运动，而这些数值则在移动设备的本地坐标空间(本申请中也称作“运动坐标空间”)中进行解释。现参照图3，对一种整体标定流程300进行描述，该流程300通过利用操纵器在位置之间移动运行时工件，将两个离散位置(如拾取和放置位置)的坐标空间关联起来。显然，使用运行时工件可避免使用标定板所产生的相关缺点，并且允许用户方便地使用相同的结构，即可在运行操作中使用操纵器搬运。流程300从步骤310开始，即设置一个或多个相机，以拍摄/获取第一位置和第二位置的图像。相机拍摄每个位置上的运行时工件的特征，其中，各位置上的工件特征可全部或部分相同，或者各位置上的特征均不相同。在步骤320中，将拍摄第一位置或第二位置上的特征的相机标定在各自的标定坐标空间上。这包括通过运动平台移动标定板进行手眼标定，并基于该运动建立坐标空间，其中的运动是与运动平台提供的运动信息相关的运动。或者，这还包括一个标定流程，该流程可利用特殊标定板(如棋盘格标定板)的图像完成，从而将位置上的所有相机与各自的坐标空间关联起来。在步骤330中，运行时工件的图像可通过一个或多个用于拍摄第一位置上的工件的相机获得，并且该运行时工件上的位置特征可在第一位置上进行识别/提取。然后，将该识别/提取到的特征用于关联工件与第一标定坐标空间(通常与步骤340中的第一位置相关联)。这些特征可以是工件上的任何可识别的视觉元素，尤其是那些可独立地或组合地对工件的方向和位置进行唯一定义的元素。因此，如果将边缘和角用作识别特征，那么这些边缘和角对于整个工件上的某些位置(如：工件一侧上的凹槽)而言是唯一的。对于本领域技术人员而言，可利用各种视觉系统工具162(如：边缘检测器和斑点分析器等)(图1)来完成特征的提取。
在步骤350中，操纵器夹持住运行时工件(例如，在图1中，向运行时工件124施加吸盘125)，并将该工件移至第二位置。这种移动应至少发生一次(并且可参考下图7，通过利用图中所示的不同姿态进行多次移动)。之后，在步骤360中，第二位置上的相机(第二位置上用于拍摄工件特征的相机)获得工件(在图像坐标空间中)的一张或多张图像。与第一位置上拍摄到的特征相同或不同的特征被用于在第二位置上查找第二位置上的工件的位置。如果特征相同，那么两个坐标空间可直接关联在一起。如果特征不同，那么工件规范，如CAD绘图或测量重现/再现(例如，利用坐标测量机CMM测量工件，并存储尺寸)允许各个位置上的特征与视觉系统的标定流程相对应。之后，对应的特征使各坐标空间关联在一起。注意，如果位置中的一个通过步骤320手眼标定，那么计算得出的共同坐标空间可与运动平台的运动坐标空间相同。
图4和图5中对两种离散方法/流程400和500进行了更加详细的描述，其中的方法/流程用于根据图3中的广义流程将第一位置和第二位置的坐标空间关联在一起。在图4中，流程400包括步骤410，其中，设置一个或多个相机，以拍摄两个位置，两个位置中的一个可包括一个运动平台。如上所述，可通过一个设有运动平台的用于拍摄位置图像的相机选择性地进行手眼标定，以建立标定坐标空间。更通俗地说，在步骤420和430中，可利用适合的标定板对拍摄第一和第二位置的相机进行标定。在步骤440中，相机获得工件在第一位置上的一张或多张图像，并利用这些图像featuresImage1(特征图像1)通过适合的视觉系统工具(步骤450)在工件上进行特征定位。可将这些特征映射至第一位置的标定坐标空间，featuresCalibrated1＝Calibrated1FromImage1*featuresImage1(标定特征1＝图像1的标定1*特征图像1)。之后，操纵器抓取运行时工件，并将其移动至第二位置。其中，相机获取运行时对象的图像(步骤460)。在该项技术中，相机对于与第二位置上的特征(featuresImage2，特征图像2)相同的特征(featuresImage1，特征图像1)同样可见。因此，在步骤470中，第二位置上的相机对运行时工件上的相同特征进行定位，而流程400则基于第二位置上的标定数据进行位置映射(featuresCalibrated2＝Calibrated2FromImage2*featuresImage2，标定特征2＝图像2的标定2*特征图像2)。接着，在步骤480中，流程400计算将featuresCalibrated2(标定特征2)映射至featuresCalibrated1(标定特征1)的映射变换Calibrated1FromCalibrated2(来自标定2的标定1)(从步骤450开始)。该映射变换用于按照下列关系式将两个位置的坐标空间关联在一起：
featuresCalibrated1＝Calibrated1FromCalibrated2*featuresCalibrated2
如果含有平台的位置已选择性地进行了手眼标定，那么可将映射变换Calibrated1FromCalibrated2与手眼标定结果相结合使用，以便在运行期间引导零件的装配。
在图5中，流程500包括步骤510，其中，设置一个或多个相机，以拍摄两个位置的图像，两个位置中的一个可包括一个运动平台。如上所述，可通过设有运动平台的用于拍摄位置图像的相机选择性地进行手眼标定，以建立标定坐标空间。在步骤520和530中，可用适合的标定板对第一和第二位置进行标定。在步骤540中，相机获得第一位置上的工件的一张或多张图像，并且可利用这些图像featuresImage1通过适合的视觉系统工具对工件上的特征进行定位。在步骤550中，可将这些特征映射至第一位置的标定坐标空间featuresCalibrated1。在步骤560中，流程500按照下列关系式计算将第一位置上的第一标定坐标空间中的工件特征featuresCalibrated1(从步骤550开始)映射至存储的工件坐标空间的映射变换WorkpieceFromCalibrated1：
featuresWorkpiece＝WorkpieceFromCalibrated1*featuresCalibrated1
该工件坐标空间基于工件的CAD模型(特征参数再现)建立。或者，可通过物理测量工件来建立运行时工件的坐标空间规范，例如，利用普通技术人员可用的坐标测量机(CMM)进行物理测量。存储参数，以供映射流程中使用。
之后，操纵器将运行时工件夹持住，并将其移动至第二位置。其中，相机获取运行时对象(步骤570)的图像。在此项技术中，在第二位置上观察到的一个或多个特征与在第一位置上观察/拍摄到的特征不同。这可能会导致相机在二者位置上因障碍物和相机视场(FOV)等原因而无法观察到相同的特征。在步骤580中，在第二位置上的相机将可见特征featVisIn2Image2定位到运行时工件上，并基于第二位置的标定数据进行位置映射(featVisIn2Calibrated2＝Calibrated2FromImage2*featVisIn2Image2)。之后，在工件坐标空间中找到相应的点featVisIn2Workpiece。接着，在步骤590中，当可见特征位于第一位置时，流程500利用步骤560中的逆变换WorkpieceFromCalibrated1计算第一标定坐标空间中的第二位置上的可见特征的位置：
featVisIn2Calibrated1＝Calibrated1FromWorkpiece*featVisIn2Workpiece
在步骤592中，按照下列关系式，利用从第一位置计算得出的特征位置以及在第二位置上检测到的相应特征位置，将每个位置上的坐标空间关联在一起：
featVisIn2Calibrated1＝Calibrated1FromCalibrated2*featVisIn2Calibrated2
如果含有平台的位置已选择性地进行了手眼标定，那么可将映射变换Calibrated1FromCalibrated2与手眼标定结果相结合使用，以便在运行期间引导零件的装配。
注意，在各个实施方案中，可以明确预见的是，在第一位置从图像坐标空间映射至标定坐标空间的映射是一个整体。该技术适用于多种配置，其中，第二位置被标定，且第一位置的图像特征被映射至第二位置的标定坐标空间(如图3-5所示)。
图6详细介绍了根据另一设想技术的一种用于将两个离散位置的坐标空间关联在一起的方法/流程600，其中，第一位置的相机和第二位置的相机二者均无需标定。在该配置中，可以预见的是，每个位置均可分别进行手眼标定，二者位置均相对于运动平台与相同的共同坐标空间相关联。在步骤610中，设置相机，以拍摄各位置的图像。在步骤620中，手眼标定含有平台的位置(如，第一位置)。接着，在步骤630中，将运行时工件放置于含有平台的第一位置上。然后，在步骤640中，夹持运行时工件，并将其移动至第二位置，其中，通过相机获取一张或多张图像。在步骤650中，对工件上的特征进行定位。或者，如果工件的CAD或CMM规范可用，此类特征可与工件坐标空间的CAD或CMM表达相对应。将通过特征获得的姿态存储在Xl1中。在步骤660中，再次夹持工件，并将其移回第一位置/平台位置。当移动平台通过每次迭代(步骤680)建立新姿态时，重复步骤640、650和660，直至采集到足够的数据并将其存储在列表Xl1中。接着，在步骤690中，执行流程600(通过决策步骤670)，利用从步骤650(列表Xl1)中累积获得的数据手眼标定第二位置上的相机。因此，在二者位置上的相机的标定坐标空间通过相对于运动平台的公共坐标空间关联在一起。
可从运行时工件上迭代提取特征来强化方法/流程400和500(图4中的步骤450、470和图5中的步骤550、580)。图7中对该强化流程700进行了概述。在步骤710中，获取第一位置上的运行时工件的一张或多张图像，并提取/识别其特征。接着，在步骤720中，操纵器夹持并移动工件，且提取/识别其特征(如上所述的相同或不同特征)。操纵器将工件迭代返回第一位置，每次操作均使姿态大致发生变化(步骤730)，或者传送若干个姿态大致不同的复制工件。也就是说，可在同一系列的相同工件上或不同的工件上通过若干次迭代提取和累积特征来强化标定的准确性和鲁棒性，其中，每个工件需在位置之间经历一个运动周期。在每次迭代期间，通过步骤710和720在第一位置和第二位置上提取图像特征，直至获得足够的特征数据。该阈值可以以一定数量的迭代次数或其他度量标准为基础。之后，在步骤750中，执行流程700(通过决策步骤740)，其中，如上所述，将从若干姿态累积得到的特征数据用于关联各位置上的坐标空间。
显然，上述技术利用运行时工件将装配过程中的两个离散位置的坐标空间关联在一起，从而避免了因使用标定板而导致的相关缺点。这些技术的方式灵活，其中，相机可相对于每个位置进行设置。这些技术还允许通过迭代各个步骤(如，特征提取)来强化/改善准确度。此外，这些技术还避免了上述现有技术中存在的缺点，现有技术依赖于已知的机械装置或反复试验和误差方法。
上文中已经对本发明的说明性实施例进行了详细介绍。在不脱离本发明的精神和范围的情况下，可对本发明做各种修改和增添。上述各实施例中的每一个实施例的特征均可酌情与其他实施例的特征相结合，以便为相关的新实施例提供多重性特征组合。此外，虽然上文中对本发明的装置和方法的若干独立实施例进行描述，但是，本文中的描述仅用于对本发明的原理应用进行说明。举例来说，本文中所用的术语“流程”和/或“处理器”应从广义上理解为包括基于各种电子硬件和/或软件的功能和部件(或者也可称为功能性“模块”或“元件”)。此外，所描述的流程或处理器可与其他流程和/或处理器相结合或分为各种子流程或子处理器。此类子流程和/或子处理器可根据本文中的实施例进行各种组合。同样地，可以明确预见的是，本文的任何功能、流程和/或处理器可利用电子硬件、软件(含程序指令的非瞬时性计算机可读介质)或硬件和软件组合执行。此外，本文中所用的各种方向和方位术语，如“垂直”、“水平”、“上”、“下”、“底部”、“顶部”、“侧面”、“前”、“后”、“左”、“右”等仅用作相对性用语，而非固定坐标空间或坐标系的绝对方位，如：重力作用方向。举例来说，一个位置包括一个位置平台，但是，可以预见的是，多个位置可包括多个平台，例如，如果第一运动平台沿一轴移动工件，那么第二运动平台将沿另一正交轴移动工件(或第一平台不提供旋转操作)。因此，该描述仅作示例之用，而非旨在限制本发明的范围。

Claims (23)

1.一种在机械操纵器将第一位置上的第一工件传送至第二位置的环境中用于标定视觉系统的方法，其中，第一工件的操作依赖于将第一位置和第二位置的坐标空间关联在一起，所述方法的步骤包括：
设置第一视觉系统相机组件，当第一工件定位在第一位置时，用于拍摄第一工件的图像，以及第二视觉系统相机组件，当第一工件定位在第二位置时，用于拍摄第一工件的图像；
相对于第一位置标定所述第一视觉系统相机组件，以获得限定第一坐标空间的第一标定数据，以及相对于第二位置标定所述第二视觉系统相机组件，以获得限定第二坐标空间的第二标定数据；
根据第一工件的第一图像至少识别在第一位置上的第一工件的特征；
基于第一图像中的识别特征，在相对于第一位置的第一坐标空间中定位第一工件；
通过机械操纵器至少抓取并任意移动第一工件至第二位置处的预定操纵器位置一次；
获得第一工件在第二位置上的第二图像；以及
基于第二图像中的识别特征，在相对于第二位置的第二坐标空间中定位第一工件，并将第一坐标空间和第二坐标空间关联在一起。
2.根据权利要求1所述的方法，其中，第一图像中的识别特征与第二图像中的识别特征相同，并且所述方法进一步包括：(a)映射相对于第一标定数据的第一图像中的识别特征的位置，(b)映射相对于第二标定数据的第二图像中的识别特征的位置，以及(c)计算将第二位置的映射特征映射至第一位置的映射特征的变换。
3.根据权利要求1所述的方法，其中，第一图像中的某些识别特征与第二图像中的识别特征不同，并且所述方法进一步包括：(a)映射相对于第一标定数据的第一图像中的识别特征的位置，(b)计算相对于存储的第一工件特征位置规范的变换，(c)映射相对于第二标定数据的第二图像中的识别特征的位置，(d)第一工件在第一位置上时，利用步骤(b)中计算得出的映射变换，从第一坐标空间中的第二图像中得出识别特征的位置，以及(e)计算将第二位置的映射特征映射至第一位置的相应转换特征的变换。
4.根据权利要求3所述的方法，其中，所存储的规范基于以下之一：第一工件的CAD模型；或第一工件的测量模型。
5.根据权利要求1所述的方法，进一步包括提供从图像坐标系至第一位置的标定坐标系的映射，并且其中该映射为一整体。
6.根据权利要求1所述的方法，其中，所述第二位置上具有第二工件，在第二工件中，第一工件以预定对齐方式与第二工件啮合，其中，所述第二工件是用于进一步处理第一工件的零件、容器或框架。
7.根据权利要求1所述的方法，其中，所述操作是相对于另一对象的对齐操作、第一工件的打印操作和第一工件的应用操作中的至少一个。
8.根据权利要求7所述的方法，其中，至少应当在远离第一位置和第二位置的位置上部分地执行所述操作。
9.根据权利要求1所述的方法，其中标定包括手眼标定。
10.根据权利要求9所述的方法，其中，所述手眼标定在至少一个视觉系统相机、第一工件和机械操纵器之间建立关联。
11.根据权利要求1所述的方法，其中，所述机械操纵器包括抓手，其中所述抓手包括吸盘，所述吸盘配置成选择性地吸附所述第一工件。
12.根据权利要求1所述的方法，其中，所述机械操纵器由轨道沿重复性路径引导。
13.根据权利要求1所述的方法，其中，所述机械操纵器定义运动坐标空间。
14.根据权利要求1所述的方法，其中：
所述第一视觉系统相机组件包括多个视觉相机；和
所述第二视觉系统相机组件包括多个视觉相机。
15.根据权利要求1所述的方法，其中，所述第一工件定义工件坐标空间。
16.根据权利要求1所述的方法，其中，在抓取并任意移动第一工件至第二位置处的位置的过程中，保持第一工件预定对齐。
17.一种在机械操纵器将第一位置的第一工件传送至第二位置的环境中用于标定视觉系统的方法，其中，在第一工件上执行的操作依赖于将第一位置和第二位置的坐标空间关联在一起，所述方法的步骤包括：
(a)设置第一视觉系统相机组件以拍摄第一位置上的第一工件的图像和第二视觉系统相机组件以拍摄第二位置上的第一工件的图像；
(b)手眼标定相对于第一位置的第一视觉系统相机组件，以获得第一标定数据；
(c)将第一工件定位在第一位置；
(d)当机械操纵器抓取第一工件时，将第一工件从第一位置任意移动至第二位置；
(e)获取第一工件的图像和定位第一工件上的特征；
(f)当机械操纵器抓取第一工件时，将第一工件从第二位置任意移动至第一位置，并通过移动促动装置来将第一位置上的第一工件的姿态改变为新的已知姿态；
(g)迭代步骤d至f，直至特征位置和其他与手眼标定相关的数据累积，以及
(h)利用累积数据手眼标定相对于第二位置的第二视觉系统相机组件，并通过相对于促动装置的公共坐标空间将第一坐标空间与第二坐标空间关联在一起，其中的促动装置通过手眼标定获得。
18.根据权利要求17所述的方法，其中，所述第二位置在促动装置上具有第二工件，第一工件以预定对齐方式与第二工件啮合，其中，所述第二工件是用于进一步处理第一工件的零件、容器或框架。
19.根据权利要求17所述的方法，其中，所述操作是相对于另一对象的对齐操作、第一工件上的打印操作和第一工件的应用操作中的至少一个。
20.一种在机械操纵器将第一位置的第一工件任意传送至第二位置的环境中用于标定视觉系统的系统，其中，在第一工件上执行的操作依赖于将第一位置和第二位置的坐标空间关联在一起，所述系统包括：
第一视觉系统相机组件，设置用于当第一工件定位于第一位置上时拍摄第一工件的图像，以及第二视觉系统相机组件，设置用于当第一工件定位于第二位置时拍摄第一工件的图像；
标定流程，相对于第一位置标定至所述第一视觉系统相机组件，以获得第一标定数据，并相对于第二位置标定所述第二视觉系统相机组件，以获得第二标定数据；
特征提取流程，根据第一工件的第一图像识别第一位置上的至少第一工件的特征，并基于第一图像中的识别特征，在相对于第一位置的第一坐标空间中定位第一工件，以及基于第二位置上的第二图像中的识别特征，在相对于第二位置的第二坐标空间中定位第一工件，和
标定流程，将第一坐标空间和第二坐标空间关联在一起。
21.根据权利要求20所述的系统，其中，所述第二位置上具有第二工件，通过所述机械操纵器，所述第一工件以预定对齐方式与第二工件啮合。
22.根据权利要求20所述的系统，其中，第一图像中的一些识别特征与第二图像中的识别特征不同，并且其中，设置和构建标定流程，用于(a)映射相对于第一标定数据的第一图像中的识别特征的位置，(b)计算相对于存储的第一工件特征位置规范的变换，(c)映射相对于第二标定数据的第二图像中的识别特征的位置，(d)当第一工件在第一位置时，利用步骤(b)中计算得出的变换根据第一坐标空间中的第二图像，得出识别特征的位置，和(e)计算将第二位置的映射特征映射至第一位置的相应变换特征的变换。
23.根据权利要求22所述的系统，其中，所存储的规范基于第一工件的CAD模型或第一工件的测量模型。
CN202010183812.XA 2015-08-06 2016-08-05 在引导装配环境中将机器视觉坐标空间关联的系统和方法 Active CN111452040B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010183812.XA CN111452040B (zh) 2015-08-06 2016-08-05 在引导装配环境中将机器视觉坐标空间关联的系统和方法

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201562201723P 2015-08-06 2015-08-06
US62/201,723 2015-08-06
US15/223,436 US10290118B2 (en) 2015-08-06 2016-07-29 System and method for tying together machine vision coordinate spaces in a guided assembly environment
US15/223,436 2016-07-29
CN201610639067.9A CN106426161B (zh) 2015-08-06 2016-08-05 在引导装配环境中将机器视觉坐标空间关联的系统和方法
CN202010183812.XA CN111452040B (zh) 2015-08-06 2016-08-05 在引导装配环境中将机器视觉坐标空间关联的系统和方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201610639067.9A Division CN106426161B (zh) 2015-08-06 2016-08-05 在引导装配环境中将机器视觉坐标空间关联的系统和方法

Publications (2)

Publication Number Publication Date
CN111452040A CN111452040A (zh) 2020-07-28
CN111452040B true CN111452040B (zh) 2024-02-20

Family

ID=57853991

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202010183812.XA Active CN111452040B (zh) 2015-08-06 2016-08-05 在引导装配环境中将机器视觉坐标空间关联的系统和方法
CN201610639067.9A Active CN106426161B (zh) 2015-08-06 2016-08-05 在引导装配环境中将机器视觉坐标空间关联的系统和方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201610639067.9A Active CN106426161B (zh) 2015-08-06 2016-08-05 在引导装配环境中将机器视觉坐标空间关联的系统和方法

Country Status (6)

Country Link
US (2) US10290118B2 (zh)
JP (3) JP6685199B2 (zh)
KR (2) KR20170017786A (zh)
CN (2) CN111452040B (zh)
DE (1) DE102016114337B4 (zh)
TW (3) TWI816056B (zh)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10290118B2 (en) * 2015-08-06 2019-05-14 Cognex Corporation System and method for tying together machine vision coordinate spaces in a guided assembly environment
JP2018094648A (ja) * 2016-12-09 2018-06-21 セイコーエプソン株式会社 制御装置、ロボットおよびロボットシステム
CN107543497B (zh) * 2017-03-23 2019-10-01 四川精视科技有限公司 一种非重叠视域双目视觉测量站坐标关联方法
FI127555B (en) 2017-04-05 2018-08-31 Oy Mapvision Ltd Computer vision systems that include coordinate correction
JP6777604B2 (ja) * 2017-08-28 2020-10-28 ファナック株式会社 検査システムおよび検査方法
US11072074B2 (en) * 2017-12-13 2021-07-27 Cognex Corporation Calibration and operation of vision-based manipulation systems
US11830131B2 (en) * 2018-02-06 2023-11-28 Veo Robotics, Inc. Workpiece sensing for process management and orchestration
JP6879238B2 (ja) * 2018-03-13 2021-06-02 オムロン株式会社 ワークピッキング装置及びワークピッキング方法
CN108436909A (zh) * 2018-03-13 2018-08-24 南京理工大学 一种基于ros的相机和机器人的手眼标定方法
DE102018003434A1 (de) 2018-04-27 2019-10-31 Sms Group Gmbh Schrägwalzwerk mit hydraulischer Walzenanstellung
EP3788319A1 (en) 2018-04-30 2021-03-10 Path Robotics, Inc. Reflection refuting laser scanner
US11040452B2 (en) * 2018-05-29 2021-06-22 Abb Schweiz Ag Depth sensing robotic hand-eye camera using structured light
CN110539299B (zh) * 2018-05-29 2021-08-17 北京京东尚科信息技术有限公司 机器手作业方法、控制器以及机器手系统
CN109079777B (zh) * 2018-08-01 2021-09-10 北京科技大学 一种机械臂手眼协调作业系统
US11263780B2 (en) * 2019-01-14 2022-03-01 Sony Group Corporation Apparatus, method, and program with verification of detected position information using additional physical characteristic points
CN109993800B (zh) * 2019-03-18 2023-01-03 五邑大学 一种工件尺寸的检测方法、装置及存储介质
DE102019107417A1 (de) * 2019-03-22 2020-09-24 Günther Battenberg Verfahren zur Durchführung von zumindest einem Tätigkeitsprozess mittels eines Roboters
CN110335310B (zh) * 2019-07-09 2021-07-02 中国大恒(集团)有限公司北京图像视觉技术分公司 一种非共同视野下的标定方法
CN111791226B (zh) * 2019-12-31 2021-12-03 深圳市豪恩声学股份有限公司 通过机器人实现组装的方法、装置及机器人
TWI731548B (zh) * 2020-01-10 2021-06-21 廣達國際機械有限公司 鋼構之截角加工規劃方法
CN113155097B (zh) * 2020-01-22 2024-01-26 台达电子工业股份有限公司 具有位姿补偿功能的动态追踪系统及其位姿补偿方法
TWI727628B (zh) * 2020-01-22 2021-05-11 台達電子工業股份有限公司 具有位姿補償功能的動態追蹤系統及其位姿補償方法
CN111152229B (zh) * 2020-02-24 2023-08-25 群滨智造科技(苏州)有限公司 3d机械视觉的机械手引导方法和装置
CN111331604A (zh) * 2020-03-23 2020-06-26 北京邮电大学 一种基于机器视觉的阀门旋拧柔顺作业方法
CN111625001B (zh) * 2020-05-28 2024-02-02 珠海格力智能装备有限公司 机器人的控制方法及装置、工业机器人
WO2022016152A1 (en) 2020-07-17 2022-01-20 Path Robotics, Inc. Real time feedback and dynamic adjustment for welding robots
JP7526940B2 (ja) * 2020-09-11 2024-08-02 パナソニックＩｐマネジメント株式会社 情報処理方法及び情報処理装置
CN112577423B (zh) * 2020-10-13 2022-09-09 武汉凌云光电科技有限责任公司 包含在运动中进行机器视觉位置定位的方法及其应用
KR20220087623A (ko) * 2020-12-17 2022-06-27 삼성전자주식회사 기판 처리 장치
CN112879401A (zh) * 2020-12-30 2021-06-01 富泰华精密电子(成都)有限公司 工件加工方法
CN112853835B (zh) * 2021-01-04 2022-04-19 中铁四局集团有限公司 一种用于钢轨铺设的自动控制方法与系统
WO2022182894A1 (en) 2021-02-24 2022-09-01 Path Robotics Inc. Autonomous welding robots
US11912513B1 (en) * 2021-04-14 2024-02-27 Amazon Technologies, Inc. Robotic system camera calibration and localization using robot-mounted registered patterns
CN114378825B (zh) * 2022-01-21 2023-05-12 四川长虹智能制造技术有限公司 一种多相机视觉定位方法、系统及电子设备
CN115599092B (zh) * 2022-09-07 2024-09-24 格力电器（武汉）有限公司 一种工件搬运控制方法、装置、设备及存储介质
CN115383749B (zh) * 2022-10-25 2023-03-24 国网瑞嘉(天津)智能机器人有限公司 带电作业设备的标定方法、装置、控制器及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5547537A (en) * 1992-05-20 1996-08-20 Kulicke & Soffa, Investments, Inc. Ceramic carrier transport for die attach equipment
JP2000024973A (ja) * 1998-07-13 2000-01-25 Meidensha Corp ビンピッキング位置データ較正方法及びその方法を実現するソフトウェアを記録した媒体並びにこの方法を実施する装置
JP2001284899A (ja) * 2000-04-03 2001-10-12 Yamagata Casio Co Ltd 部品搭載座標補正方法
CN104006825A (zh) * 2013-02-25 2014-08-27 康耐视公司 沿至少三个不连续平面对机器视觉摄像机进行校准的系统和方法
CN104040426A (zh) * 2011-03-07 2014-09-10 马斯克莱斯印刷术股份有限公司 用于各种材料和材料流的对准系统
CN106426161B (zh) * 2015-08-06 2020-04-07 康耐视公司 在引导装配环境中将机器视觉坐标空间关联的系统和方法

Family Cites Families (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4380696A (en) * 1980-11-12 1983-04-19 Unimation, Inc. Method and apparatus for manipulator welding apparatus with vision correction for workpiece sensing
US4568816A (en) * 1983-04-19 1986-02-04 Unimation, Inc. Method and apparatus for manipulator welding apparatus with improved weld path definition
US4655596A (en) * 1983-10-28 1987-04-07 Levi Strauss & Co. Workpiece centering apparatus and method
EP0205628B1 (en) 1985-06-19 1990-06-13 International Business Machines Corporation Method for identifying three-dimensional objects using two-dimensional images
US4841460A (en) 1987-09-08 1989-06-20 Perceptron, Inc. Method and apparatus for calibrating a non-contact gauging sensor with respect to an external coordinate system
US4845639A (en) 1987-12-11 1989-07-04 Robotic Vision Systems, Inc. Robotic sealant calibration
US4959898A (en) 1990-05-22 1990-10-02 Emhart Industries, Inc. Surface mount machine with lead coplanarity verifier
US6419680B1 (en) 1993-06-10 2002-07-16 Sherwood Services Ag CT and MRI visible index markers for stereotactic localization
JPH08201021A (ja) 1995-01-23 1996-08-09 Mazda Motor Corp キャリブレーション方法
US6078846A (en) 1996-02-06 2000-06-20 Perceptron, Inc. Calibration and compensation of robot-based gauging system
US6858826B2 (en) 1996-10-25 2005-02-22 Waveworx Inc. Method and apparatus for scanning three-dimensional objects
US5960125A (en) 1996-11-21 1999-09-28 Cognex Corporation Nonfeedback-based machine vision method for determining a calibration relationship between a camera and a moveable object
US5933523A (en) 1997-03-18 1999-08-03 Cognex Corporation Machine vision method and apparatus for determining the position of generally rectangular devices using boundary extracting features
NL1007068C2 (nl) * 1997-09-18 1999-03-22 Nl Laser Res Laserbewerkingsapparaat.
US6950548B1 (en) 2000-05-17 2005-09-27 Cognex Corporation Creating geometric model descriptions for use in machine vision inspection systems
US6493574B1 (en) 2000-09-28 2002-12-10 Koninklijke Philips Electronics, N.V. Calibration phantom and recognition algorithm for automatic coordinate transformation in diagnostic imaging
US6819789B1 (en) 2000-11-08 2004-11-16 Orbotech Ltd. Scaling and registration calibration especially in printed circuit board fabrication
US6466841B2 (en) * 2001-02-14 2002-10-15 Xerox Corporation Apparatus and method for determining a reference position for an industrial robot
CH696103A5 (de) * 2003-06-06 2006-12-15 Esec Trading Sa Halbleiter-Montageeinrichtung.
US7324682B2 (en) * 2004-03-25 2008-01-29 Mitutoyo Corporation System and method for excluding extraneous features from inspection operations performed by a machine vision inspection system
JP4515814B2 (ja) * 2004-04-28 2010-08-04 パナソニック株式会社 装着精度測定方法
US6901673B1 (en) 2004-05-20 2005-06-07 The Boeing Company Tie-in device for the correlation of coordinate systems
EP1612843A1 (de) * 2004-07-02 2006-01-04 Unaxis International Trading Ltd Verfahren und Einrichtung fuer die Montage von Halbleiterchips
US7583852B2 (en) * 2004-10-26 2009-09-01 Mitutoyo Corporation Method of filtering an image for high precision machine vision metrology
US20060241432A1 (en) 2005-02-15 2006-10-26 Vanderbilt University Method and apparatus for calibration, tracking and volume construction data for use in image-guided procedures
WO2009047214A2 (en) 2007-10-09 2009-04-16 Oerlikon Assembly Equipment Ag, Steinhausen Method for picking up semiconductor chips from a wafer table and mounting the removed semiconductor chips on a substrate
CH698334B1 (de) 2007-10-09 2011-07-29 Esec Ag Verfahren für die Entnahme und Montage von auf einem Wafertisch bereitgestellten Halbleiterchips auf einem Substrat.
CN101149836B (zh) 2007-11-05 2010-05-19 中山大学 一种三维重构的双摄像机标定方法
US8264697B2 (en) 2007-11-27 2012-09-11 Intelligrated Headquarters, Llc Object detection device
ES2384245B9 (es) 2008-03-21 2013-07-08 Brett BORDYN Sistema externo para mejora de la precisión robótica.
US8106349B2 (en) * 2008-07-16 2012-01-31 Delta Design, Inc. Vision alignment with multiple cameras and common coordinate at contactor for IC device testing handlers
US7686631B1 (en) * 2008-12-12 2010-03-30 J.S.T. Corporation Electrical connector with a latch mechanism
US11699247B2 (en) * 2009-12-24 2023-07-11 Cognex Corporation System and method for runtime determination of camera miscalibration
JP5455123B2 (ja) * 2010-03-03 2014-03-26 富士機械製造株式会社 部品実装機の撮像画像処理装置
US8368762B1 (en) 2010-04-12 2013-02-05 Adobe Systems Incorporated Methods and apparatus for camera calibration based on multiview image geometry
US9393694B2 (en) 2010-05-14 2016-07-19 Cognex Corporation System and method for robust calibration between a machine vision system and a robot
US9508148B2 (en) * 2010-08-27 2016-11-29 Abb Research Ltd. Vision-guided alignment system and method
US9021344B2 (en) 2010-08-31 2015-04-28 New River Kinematics, Inc. Off-line graphical user interface system and method for three-dimensional measurement
JP5744587B2 (ja) 2011-03-24 2015-07-08 キヤノン株式会社 ロボット制御装置、ロボット制御方法、プログラム及び記録媒体
KR101591579B1 (ko) * 2011-03-29 2016-02-18 퀄컴 인코포레이티드 증강 현실 시스템들에서 실세계 표면들에의 가상 이미지들의 앵커링
US9188973B2 (en) 2011-07-08 2015-11-17 Restoration Robotics, Inc. Calibration and transformation of a camera system's coordinate system
EP2729850A4 (en) 2011-08-11 2015-07-08 Siemens Healthcare Diagnostics METHOD AND DEVICE FOR CALIBRATING AN ALIGNMENT OF A ROBOT GRIPPER AND A CAMERA
JP5924134B2 (ja) * 2012-05-30 2016-05-25 セイコーエプソン株式会社 侵入検出装置，ロボットシステム，侵入検出方法および侵入検出プログラム
CN102922521B (zh) 2012-08-07 2015-09-09 中国科学技术大学 一种基于立体视觉伺服的机械臂系统及其实时校准方法
US10477154B2 (en) * 2013-03-07 2019-11-12 Cognex Corporation System and method for aligning two work pieces with a vision system in the presence of occlusion
US10032273B2 (en) 2013-03-15 2018-07-24 Cognex Corporation Machine vision system calibration using inaccurate calibration targets
US9958854B2 (en) 2013-06-10 2018-05-01 The Boeing Company Systems and methods for robotic measurement of parts
US9305231B2 (en) 2013-08-01 2016-04-05 Cognex Corporation Associating a code with an object
US9211643B1 (en) 2014-06-25 2015-12-15 Microsoft Technology Licensing, Llc Automatic in-situ registration and calibration of robotic arm/sensor/workspace system
JP5911934B2 (ja) * 2014-09-18 2016-04-27 ファナック株式会社 輪郭線計測装置およびロボットシステム
CN104268876B (zh) 2014-09-26 2017-05-03 大连理工大学 基于分块的摄像机标定方法
CN104625268A (zh) 2015-01-16 2015-05-20 哈尔滨飞机工业集团有限责任公司 一种线切割薄板装夹装置
US10223589B2 (en) * 2015-03-03 2019-03-05 Cognex Corporation Vision system for training an assembly system through virtual assembly of objects
CN104819690B (zh) 2015-04-21 2017-05-31 上海瑞伯德智能系统股份有限公司 一种表面贴装元件的双相机机器视觉定位方法
JP6540472B2 (ja) * 2015-11-18 2019-07-10 オムロン株式会社 シミュレーション装置、シミュレーション方法、およびシミュレーションプログラム
JP6514156B2 (ja) * 2016-08-17 2019-05-15 ファナック株式会社 ロボット制御装置
US11072074B2 (en) * 2017-12-13 2021-07-27 Cognex Corporation Calibration and operation of vision-based manipulation systems

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5547537A (en) * 1992-05-20 1996-08-20 Kulicke & Soffa, Investments, Inc. Ceramic carrier transport for die attach equipment
JP2000024973A (ja) * 1998-07-13 2000-01-25 Meidensha Corp ビンピッキング位置データ較正方法及びその方法を実現するソフトウェアを記録した媒体並びにこの方法を実施する装置
JP2001284899A (ja) * 2000-04-03 2001-10-12 Yamagata Casio Co Ltd 部品搭載座標補正方法
CN104040426A (zh) * 2011-03-07 2014-09-10 马斯克莱斯印刷术股份有限公司 用于各种材料和材料流的对准系统
CN104006825A (zh) * 2013-02-25 2014-08-27 康耐视公司 沿至少三个不连续平面对机器视觉摄像机进行校准的系统和方法
CN106426161B (zh) * 2015-08-06 2020-04-07 康耐视公司 在引导装配环境中将机器视觉坐标空间关联的系统和方法

Also Published As

Publication number Publication date
JP2017037642A (ja) 2017-02-16
TWI816056B (zh) 2023-09-21
US20170132807A1 (en) 2017-05-11
JP6685199B2 (ja) 2020-04-22
TW202119356A (zh) 2021-05-16
DE102016114337A1 (de) 2017-02-09
TWI708216B (zh) 2020-10-21
KR20180120647A (ko) 2018-11-06
TW201923706A (zh) 2019-06-16
JP2023052266A (ja) 2023-04-11
TW201706091A (zh) 2017-02-16
KR20170017786A (ko) 2017-02-15
KR102661635B1 (ko) 2024-04-26
JP7292829B2 (ja) 2023-06-19
US11049280B2 (en) 2021-06-29
CN111452040A (zh) 2020-07-28
US20200065995A1 (en) 2020-02-27
US10290118B2 (en) 2019-05-14
CN106426161B (zh) 2020-04-07
DE102016114337B4 (de) 2019-08-14
TWI708215B (zh) 2020-10-21
JP2018169403A (ja) 2018-11-01
CN106426161A (zh) 2017-02-22

Similar Documents

Publication Publication Date Title
CN111452040B (zh) 在引导装配环境中将机器视觉坐标空间关联的系统和方法
US10223589B2 (en) Vision system for training an assembly system through virtual assembly of objects
JP2018169403A5 (zh)
EP3173194B1 (en) Manipulator system, image capturing system, transfer method of object, and carrier medium
JP2020116734A (ja) ロボットモーション用のビジョンシステムの自動ハンドアイ校正のためのシステム及び方法
JP5815761B2 (ja) 視覚センサのデータ作成システム及び検出シミュレーションシステム
US12002240B2 (en) Vision system for a robotic machine
CN104924309A (zh) 机器人系统、机器人系统的校准方法及位置修正方法
CN108827154A (zh) 一种机器人无示教抓取方法、装置及计算机可读存储介质
CN113302027B (zh) 作业坐标生成装置
Fan et al. An automatic robot unstacking system based on binocular stereo vision
TW202035255A (zh) 物件運送方法及系統
CN113977637A (zh) 可用于非精度料箱的机器人视觉识别抓件系统及方法
JP6708142B2 (ja) ロボットの制御装置
JP6735208B2 (ja) キャリブレーション治具、板金搬入システム、及びキャリブレーション方法
JP2017220036A (ja) ワーク検知システム及び衣服検知システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant