CN105938618A - 通过物体虚拟装配训练装配系统的视觉系统 - Google Patents

通过物体虚拟装配训练装配系统的视觉系统 Download PDF

Info

Publication number
CN105938618A
CN105938618A CN201610121089.6A CN201610121089A CN105938618A CN 105938618 A CN105938618 A CN 105938618A CN 201610121089 A CN201610121089 A CN 201610121089A CN 105938618 A CN105938618 A CN 105938618A
Authority
CN
China
Prior art keywords
workpiece
image
work station
video camera
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610121089.6A
Other languages
English (en)
Other versions
CN105938618B (zh
Inventor
G·希瓦拉姆
W·福斯特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cognex Corp
Original Assignee
Cognex Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cognex Corp filed Critical Cognex Corp
Publication of CN105938618A publication Critical patent/CN105938618A/zh
Application granted granted Critical
Publication of CN105938618B publication Critical patent/CN105938618B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/42—Recording and playback systems, i.e. in which the programme is recorded from a cycle of operations, e.g. the cycle of operations being manually controlled, after which this record is played back on the same machine
    • G05B19/4202—Recording and playback systems, i.e. in which the programme is recorded from a cycle of operations, e.g. the cycle of operations being manually controlled, after which this record is played back on the same machine preparation of the programme medium using a drawing, a model
    • G05B19/4207—Recording and playback systems, i.e. in which the programme is recorded from a cycle of operations, e.g. the cycle of operations being manually controlled, after which this record is played back on the same machine preparation of the programme medium using a drawing, a model in which a model is traced or scanned and corresponding data recorded
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0006—Industrial image inspection using a design-rule based approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/31—From computer integrated manufacturing till monitoring
    • G05B2219/31044—Assembly of modular products, variant configurability
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/31—From computer integrated manufacturing till monitoring
    • G05B2219/31066—Virtual assembly disassembly planning
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39045—Camera on end effector detects reference pattern
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40499—Reinforcement learning algorithm
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/45—Nc applications
    • G05B2219/45104—Lasrobot, welding robot
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • User Interface Of Digital Computer (AREA)
  • Manipulator (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)

Abstract

本发明提供了一种将工件引导至最优位置以训练装配系统的系统和方法，所述装配系统通常没有使用CMM或类似的计量设备。当所述工件位于它们各自的工作站时，所述系统和方法给出工件在共用坐标系中的特征图像。此能力使得用户能够对工件的装配结果进行“虚拟装配”的可视化处理而无需对工件进行事实上的装配。此虚拟装配有助于相对于各自的工作站将工件放置至需要的相对对齐位置。所述系统和方法说明性地利用来自用于引导工件的摄像机的图像生成了一合成图像，帮助用户想象零件在装配后是怎样的。所述用户能够在各自的工作站中对工件的图像进行重定位直至所述合成图像具有需要的外观。

Description

通过物体虚拟装配训练装配系统的视觉系统
相关申请
本申请要求于2015年3月3日提交的名称为VISION SYSTEM FOR TRAINING ANASSEMBLY SYSTEM THROUGH VIRTUAL ASSEMBLY OF OBJECTS(用于通过物体虚拟装配来训练装配系统的视觉系统)的美国临时申请62/127,808的优先权，并且要求2016年3月1日提交的美国申请15/058,118的优先权，这些申请的教导内容通过引用清楚地并入本文。
技术领域
本发明涉及一种机器视觉系统，更具体地，涉及一种用于在制造环境中引导工件组件和其它物体的视觉系统。
背景技术
在机器视觉系统中(此处亦可称为“视觉系统”)，利用一个或多个摄像机对成像区域内的物体或表面执行视觉系统进程。该进程可包括监测、解码符号、对齐及各种其他自动化任务。特别地，视觉系统可用于监测一通过成像区域的扁平工件。典型的，一个或多个视觉摄像机对该区域进行成像，该摄像机包括内置或者外接视觉系统处理器，用于与视觉系统进程共同生成结果。一个或多个摄像机被标定以使得其能够足够精确且可靠地来执行视觉任务。可以使用一标定板来标定一个或多个摄像机，并且建立一共用的(全局的)坐标系(也称为“运动坐标系”)，其中所有摄像头的像素位置被映射到坐标系中的相关点，从而实现在任意摄像机中的成像特征位于坐标空间内。可通过使用公知的“手-眼”标定技术来实现此标定。
视觉系统的一种显著应用是应用在通过自动装配机构的物体(也称为“工件”)装配中，该自动装配机构可包括移动平台(运动平台)以及机械手(例如，执行“拾取和放置”操作或其它类型的运动装置/运动平台)，该移动平台将工件精确支撑在装配位置，该机械手在“装配运动”中将另一工件移动至其被装配至工件的上层对齐位置。
视觉系统中装配工件的具体应用包括将一个平坦工件与另一平坦工件对齐。例如，在拾取和放置操作中，可通过机械手操作将一电池放置位于移动平台上的手机的井(well)上方并且放入该井内。
此类视觉系统首先被训练，使得在该系统的运行操作期间，每一工件与其它工件准确对齐。在训练期间，将工件定位在它们各自的工作站处，使得当被装配时，所装配的工件具有所需的相互位置关系。在训练之后，在运行期间，为了应对任何位移或尺寸变化，将工件重新定位在它们各自的工作站中，然后装配工件。从而当工件-装配进程开始时，部件被以与它们在训练时间段相同的相互位置关系放置。
当前的训练技术包括将工件放置在它们各自的工作站中、训练系统、装配工件以及在分开的测量系统上(如坐标测量机(CMM))测量装配误差。所测量的误差(a)用于引导工件的重新定位(分别通过机械手和运动平台)以及重新训练装配系统，或(b)在一些装配系统上，作为校正系数并入，在运行期间通过它们各自的机构应用该校正因子来校正一个或两个部件。使用通过重新定位工件来训练的缺点为其是一个反复并且耗时的过程。用户需要多次重复训练步骤，直到实现所需的装配特性。同样，将校正系数并入机械手和/或运动平台装配运动中的挑战是没有建立CMM坐标系和装配系统坐标系之间的关系。因此，校正系数的计算也是一个反复和耗时的过程。
发明内容
本发明通过提供一种用于将工件引导至优化位置来训练装配系统的系统及方法来克服现有技术缺点，该装配系统一般可以使用CMM或类似测量装置。所述系统和方法在一公共坐标系中表示工件处于它们各自的工作站中时的图像特征。此能力允许用户可以看见装配工件的结果而无需实际装配它们。这在本文中称为“虚拟装配”。所述系统和方法使用虚拟装配来帮助引导将工件放置在它们各自的工作站中，使得当被装配时，所装配的工件将具有所需的相对对齐。在一个实施例中，所述系统和方法通过使用来自在引导工件中使用的摄像机的图像来生成一复合图像(其可以是多张所获取的工件图像构造所得的拼接图像)，所述复合图像帮助用户可视化部件将如何随着装配而呈现。用户可重新定位工件在它们各自工作站中的图像，直到所述复合图像具有所需的外貌。在另一实施例中，用户可以找出工件图像上的特征并且将该特征信息表示在公共坐标系中。用户可以将横跨工件的特征之间的关系与对于正确装配的部件所设计的关系做比较，并且使用该结果来将工件引导至优化装配的位置。在第三实施例中，通过使用在先前实施例中提取的特征，将所述工件自动重新定位至优化位置。
举例说明，通过一校正过程，可将图像特征从多个工作站中映射至一公共坐标系。例如，在使用可重复拾取和放置的机械手来装配部件的系统上，一校正目标可通过使用机械手转移该目标以在多个工作站处成像。可以使用合适的夹具来实现如工件一样操纵该目标。通过这种方式，所述校正目标经历和工件相同的平移，因此，工件特征的坐标在操作期间跟随与工件路径相同的从拾取工作站至放置工作站的路径。可选地，基于对装配进程的了解，映射参数可通过具体化来手动计算。
有利地，所述系统和方法可使得可使得能够实现来自任意数量工作站的任意数量工作件虚拟装配，以为了训练一装配系统，该装配系统将这些工件装配成单个装配物体。
在一说明性实施例中，提供了一种在装配系统中虚拟装配物体的系统及方法，所述装配系统具有至少一个含有第一工件的第一工作站，所述装配系统在两者间将第二工件对齐装配至第一工件。一个或者多个视觉系统摄像机以及一视觉系统处理器总成，被设置为对第一工件和第二工件进行成像。所述多个摄像机在一共用坐标系中标定。对齐进程，生成所述第一工件和第二工件在所述共用坐标系中的图像和特征中的至少一个。操作进程，包括被设置来定位第一工件上的第一组特征和第二工件上的第二组特征的视觉工具，所述视觉工具相对于第二组特征自动对齐第一组特征。装配误差计算模块，基于在虚拟装配过程中通过操作进程的第一工件和第二工件的操作程度计算装配误差。例如，所述第二工件在远离第一工作站的第二工作站中成像。
在实施例中，所述视觉系统摄像机至少对第三工件成像。所述对齐进程生成所述第三工件在所述共用坐标系中的图像和特征中的至少一个。所述操作进程因此被设置为允许相对于所述第一工件和第二工件中的至少一个虚拟装配第三工件以将第三工件的图像和特征中的至少一个和所述第一工件和第二工件中的至少一个的图像和特征中的至少一个相对齐。所述装配误差计算模块由此基于第三工件相对于所述第一工件和第二工件中至少一个的操作程度计算装配误差。所述第一工件由视觉系统摄像机在第一工作站成像，以及第二工件和第三工件中的每一个由视觉系统摄像机在第二工作站成像。例如，至少第四工件可由视觉系统摄像机在第四工作站成像。通过这种方式，所述系统和方法可被用于训练装配系统，该装配系统在任意数量的工作站装配任意数量的工件。
在实施例中，对所述第一工件成像的视觉系统摄像机中的至少一个以及对所述第二工件成像的视觉系统摄像机中的至少一个随后被映射(标定)到离散的(分离的/不同的)坐标系。因此，使用基于两离散坐标系的界面装配所述第一工件以及第二工件。在实施例中，所述工作站中的至少一个为装配平台，并且所述工作站中的至少另一个为拾取位置。例如，所述装配误差可在至少3个自由度中定义。所述界面可具有一显示和用户界面，用于所述第一工件的图像与所述第二工件的图像手动对齐。所述第一工件和所述第二工件中的至少一个的图像可为缝合图像。所述界面可为整个操作进程或处理器的部分，该处理器也包括视觉工具，该视觉工具相对于第二组特征自动对齐第一组特征。
例如，至少一个视觉系统摄像机对所述第一工件和第二工件中的至少一个进行成像。所述一个或多个视觉系统摄像机被构造和设置来获取在装配系统训练和/或运行操作中使用的图像。该一个或多个摄像机与在对齐进程中使用的一个或多个摄像机分开(无关)。所述装配平台可定义一运动平台，以及所述装配系统具有一可复验的操纵器，所述操纵器从所述拾取位置移动所述第二工件至所述运动平台。例如，所述第一工件和第二工件(和/或第三工件、第四工件等)中的至少一个定义由视觉系统摄像机成像的一平坦表面。
例如，所述系统和方法可以包括：(a)第一标定进程，标定所有对第一工作站成像的视觉系统摄像机至第一坐标系，其中标定的视觉系统摄像机的全部或者子集适用于在装配系统的工作时间内使用；(b)第二标定进程，标定所有对第二工作站成像的视觉系统摄像机至第二坐标系，其中标定的视觉系统摄像机的全部或者子集适用于在装配系统的工作时间内使用；第三标定进程，将第一坐标系和第二坐标系绑定至所述共用坐标系，其使用标定的视觉系统摄像机的不同离散子集将第一坐标系和第二坐标系绑定至所述共用坐标系；以及(d)来自(a)和(b)的在第一工作站和第二工作站中的每一个中标定的视觉系统摄像机的全部或者子集在虚拟装配中基于所述共用坐标系使用，所述共用坐标系基于(a)中的第一标定进程和(b)中的第二标定进程和(c)中第三标定进程建立。
附图说明
下文将参考附图对本发明进行描述，其中：
图1所示为根据说明性实施例，相对于与工件装配系统一起使用的示例性运动平台设置的多摄像机视觉系统的示意图，该工件装配系统包括一虚拟训练处理(器)；
图2所示为相对示例性拾取和放置装配设置来设置的两摄像机视觉系统的示意图，其中一工件与另一工件对齐，该图显示了拾取和放置操纵器位于位置拾取工作站，以提取一工件；
图3所示为图2中的两摄像机视觉系统和示例性拾取和放置装配设置的示意图，该图显示拾取和放置机械手位于放置工作站，以将工件相对对齐地装配在一起；
图4所示为图2中的两摄像机视觉系统和示例性拾取和放置装配设置的示意图，该图显示一标定板位于拾取工作站摄像机的视场中，用于拾取工作站摄像机相对全局坐标系的标定；
图5所示为图2中的两摄像机视觉系统和示例性拾取和放置装配设置的示意图，该图显示一标定板位于放置工作站摄像机的视场中，用于放置工作站摄像机相对全局坐标系的标定；
图6所示为将装配系统中的多个摄像机标定至一共用坐标系的步骤流程图；
图7所示为生成工件在每个工作站的缝合图像以及使用该缝合图像生成复合图像的步骤流程图；
图8所示为表示在第一工作站使用第一工件上的四个示例性十字特征(基准点)来生成第一缝合图像的四摄像机系统的示意图；
图9所示为在第二工作站使用第二工件上的四个示例性圆形特征(基准点)来生成第二缝合图像的四摄像机系统的示意图；
图10所示为使用各自基准点未对齐的图8中的第一缝合图像和图9中的第二缝合图像的复合图像的示意图；
图11所示为使用各自基准点对齐的图8中的第一缝合图像和图9中的第二缝合图像的复合图像的示意图；
图12所示为由用户观察的图形用户界面(GUI)显示的示意图，其中多摄像机(例如四摄像机)设置对放置在平台上的工件边缘进行成像；
图13所示为由用户观察的图形用户界面(GUI)显示的示意图，其中多摄像机设置对放置在运动平台上的工件边缘进行成像；
图14所示为在多摄像机设置中由用户观察的图形用户界面(GUI)显示的示意图，其中当工件处于产生未对齐装配的位置时，该GUI显示四张为复合图像内的区域的图像；
图15所示为在多摄像机设置中由用户观察的图形用户界面(GUI)显示的示意图，其中当工件处于产生对齐装配的位置时，该GUI显示四张为复合图像内的区域的图像；
图16所示为基于使用虚拟装配的视觉工件对齐来训练装配系统的步骤流程图；以及
图17所示为使用特征关系来虚拟装配工件的步骤流程图。
具体实施方式
图1示出了装配系统100，其采用运动平台110以至少三个自由度(例如，Xs、Ys和)移动支撑第一工件112。工件112通常沿自身至少一部分是平面的(即是平的)，其带有的平面位于沿平台110的z轴Zs的特定高度。该平台可以称为“装配站”，并且由多个摄像机130摄像，其中每个摄像机成像的视野为第一工件112占据的整个区域中的一部分。下面进一步描述摄像机130及其功能。
在此配置100中，取放机构或“操纵器”120有选择地在源点(没有在此实例中以图示出)和重合了图示的第一工件112的位置之间配合和运送第二(平面的)工件122。对此配置的目的而言，“拾取位置”或“拾取站”是在不同高度处，使第二工件122成像(即是预第一工件重叠)的地方，如图1所示。在另一个实施例中(例如，如下面的图2-5所示)，拾取位置/站位于远程的源点，其中所述操纵器(比如，可重复拾放的机构)从该源点索取工件以装配在第一工件上。在本实例中的装配任务包含精确放置具有外边缘126、118的第二工件122到由第一工件112上的相应内边缘116、118界定的凹口114中。操纵器120沿多个自由度移动——例如沿轴Xm、Ym和Zm，及每个轴的旋转方向(例如，沿轴Zm的)。在此配置100中的每个摄像机130对第二工件122的顶面呈现，该顶面对比第一工件112的顶面处于不同的高度(z轴)。
每个摄像机130可操作地连接至视觉系统处理器140，该视觉系统处理器可以整体或部分地整合为摄像机壳体内的定制的视觉处理器电路，或者可以提供在交互的远程计算机设备150中，包括但不限于PC、膝上型轻便计算机、平板电脑、智能手机等。注意到，在采用超过一个摄像机的装配系统中，每个摄像机适应为发送自身获得的图像或提取自该图像的信息到中央处理器。中央处理器然后在装配期间整合来自各个摄像机的信息。当利用远程计算机设备时，所述计算机设备150可以包含显示器和关联的图形用户界面接口(GUI)控制器，比如键盘、鼠标和/或触摸屏。视觉处理器140运行多种视觉系统进程(或者单元/模型)，包含各种视觉工具142，比如边缘查找器、斑点分析器、检索工具、测径工具等。例如，视觉处理器140包括对齐处理(器)，用于以一种方式实现来自两个工件的图像数据的对齐，下面进一步描述此方式。标定处理(器)146促进将来自两个部分的图像所提取的图像特征映射到普通(运动)坐标系，例如使用下面进一步描述的标定板和手眼标定程序来标定。例如，训练处理(器)148实现本文考虑的多个训练处理程序以复位工件，从而精确地相对于第一工件装配第二工件。注意到，可以将视觉处理器140建立为多个交互的摄像机处理器(或其他设备)，或者是单摄像机装配中的一中央处理器(或者远程计算机设备)。
通过非限制性的实例，通常参考到2015年6月8日申请的，标题为SYSTEM ANDMETHOD FOR TYING TOGETHER MACHINE VISION COORDINATE SPACES IN A GUIDEDASSEMBLY ENVIRONMENT，第62/201,723号美国临时申请。该申请作为有用的背景信息以参考的方式并入本文，其涉及在远程位置之间建立普通的坐标系。更具体地，这里并入的申请，通过提供在标定时间内使用实时工件上的特征在两个位置一同绑定坐标空间的系统和方法，克服了从操纵器(和关联的抓取器)在拾放位置之间传递标定目标所产生的问题。该系统和方法提供至少三个不同的方案/技术——其中之一为在两个位置都能成像和识别相同的特征；其中之一为实时工件的成像特征在每个位置都不同(其中，CAD或工件的测量再现是可用的)；并且其中之一为，将包含运动平台的第一位置标定到使用手眼标定的运动平台，并且通过在位置之间往返传递实时零件，使第二位置以手眼标定到相同的运动平台。例如，可以通过运动多个具有不同的位姿的实时工件，提取特征并在每个位置累积这些特征，来改进起先的两种技术；然后使用累积的特征来绑定所述两个坐标空间。更一般地，该系统和方法单独标定这两个位置，并且通过传递工件为这两个位置一起绑定坐标空间，使操纵器构造和布置/适配为在装配期间传递该工件，并且使用该工件的特征而不是使用标定板的特征。
在所述并入申请的示例性实施例中，用于标定视觉系统的系统和方法处于通过操纵器将在第一位置的第一工件传递到所提供的第二位置的环境中。实施在第一工件的操作，依赖于对第一位置和第二位置的一起进行的坐标空间绑定。至少一个视觉系统摄像机布置为对位于第一位置时的第一工件成像，并且对位于第二位置时的第一工件进行成像。相对于第一位置对至少一个视觉系统摄像机标定，以得到定义第一坐标空间的第一标定数据，并且相对于第二位置对至少一个视觉系统摄像机(潜在相同的一个或多个摄像机)标定，以得到定义第二坐标空间的第二标定数据。在来自第一工件的第一图像的第一位置识别至少第一工件的特征。基于在第一图像中识别的特征，针对关联于第一位置的第一坐标空间定位第一工件。至少抓取或移动一次第一工件到预定的第二位置处的操纵臂地点，在第二位置获得第一工件的第二图像。基于在第二图像中识别的特征，针对关联于第二位置的第二坐标空间定位第二工件。由此一起绑定第一坐标空间和第二坐标空间。例如，当第一图像中识别的特征与第二图像中识别的特征相同时，所述系统和方法包括：(a)针对第一标定数据对第一图像中的识别特征的位置进行映射；(b)针对第二标定数据对第二图像中的识别特征的位置进行映射；以及(c)计算第二位置的映射特征到第一位置的映射特征的映射转换。可选地，当第一图像中识别的一些特征与第二图像中识别的特征不同时，所述系统和方法包括：(a)针对第一标定数据对第一图像中的识别特征的位置进行映射；(b)对与第一工件的特征位置的储存规格关联的转换进行计算；(c)针对第二标定数据对第二图像中的识别特征的位置进行映射；(d)当工件位于第一位置时，使用步骤(b)中计算的转换，以得出来自第一坐标空间中的第二图像的识别的特征的位置；以及(e)计算第二位置的映射特征到第一位置的对应转换特征的映射转换。第一工件的规格可以基于第一工件的CAD模型，或者第一工件的测量模型(例如，CMM生成的测量尺寸)。例如，所述系统和方法可以包括：(a)在第一位置或第二位置以运动呈现设备迭代地移动第一工件到多个不同的位姿；(b)识别每个第一位置和第二位置的每个位姿的特征；以及(c)累积识别的特征信息以增加精度，其中第一工件为相同的工件或者是多个离开的工件中的一个。在各个实施例中，所述系统和方法包括从图像坐标系至第一位置处的标定坐标系的映射，并且其中所述映射是唯一的。在多个实施例中，第二位置有第二工件，其中第一工件与第二工件以期望对齐的方式放置配合到第二工件中，和/或第二工件可以是零件、容器或支架，用于进一步处理第一工件。此外，在各个实施例中，该操作可以是至少一个相对于另一物体的对齐操作、在第一工件上的打印操作和在第一工件上的涂覆操作，以及所述操作可以在远离第一位置和第二位置的位置至少部分执行。
运动平台110包括运动控制器和/或针对视觉处理器传输运动信息的控制处理器160。这可以精确地知道和/或由视觉处理器跟踪平台110的位置。平台110可以使用各种编码器或其他传感设备以生成运动信息。运动控制器170还可以提供至操纵器120，以传送与其关联的运动信息172至视觉处理器140。
进一步如下描述，虚拟装配允许用户利用摄像机及其提供的图像以(通过视觉系统)对工件进行虚拟装配。在这样的虚拟装配过程中，用户使用操作处理(器)，获得在随后的操作中使用的装配误差信息，以调整物理装配机构的移动，从而代表性地实现通过装配误差矫正而修改的(典型)可重复的物理装配步骤组合。在示例性实施例中，采用合适的调整，基于来自虚拟装配的数据，利用运动平台使装配误差最小化。可选地，有其他的运动设备可以适应装配误差矫正/调整。
而所述装配系统通常布置为高可重复性机构，明确考虑到，在运行期间(或以非重复的方式)可以编程或输入运动变化的装配系统可以使用本文图示和描述的虚拟装配和虚拟装配流程来实施训练。
还注意到，在此处各个实施例描述的物理工件装配配置包含任意数量(例如一个或四个)的对运动平台各个区域进行成像的摄像机。在可选的配置中，每个站的摄像机数量具有高可变性。同理，整个系统中的站数量也具有高可变性。在本实施例中，单个站成像有不同的高度两个工件。下面进一步如图2-4的实施例所示，一个或多个摄像机分别定位为分别拍摄两个离开的工作站——一个拾取站和一个放置站。这些摄像机中的每一个被标定为公共坐标系。
根据进一步的实施例，还清楚考虑到多于两个站，使一个或多个关联的摄像机可以提供在整个虚拟装配和虚拟装配配置中。例如，可以提供额外的拾取站或中间装配站。在虚拟装配中采用的所有摄像机可以被标定为(基于运动平台或另一个坐标系来创建的)公共坐标系，并且来自每个站摄像机的图像可以是此处描述的虚拟装配和虚拟装配进程的一部分。
图2尤其说明了运动平台210和拾放(操纵器)机构220的可使用根据一实施例的系统和方法的替代配置200。拾取站222包括第二工件224，该第二工件由操纵臂220拾起(箭头250)然后直接(箭头252)沿轨道225至运动平台210，在本实施例中该运动平台定义一放置站。在装配期间，第一工件212适配为以合适的互相之间的对齐方式接收第二工件224，一般如上文所述。平台210沿两个或更多的自由度(例如，轴Xs、Ys，旋转)移动，并且驻于沿轴Zs的一高度。操纵器220至少沿轴Ym并且在轴Zm沿拾/放方向移动。还考虑关于轴Zm的旋转在放置操作(箭头350)期间，平台210和操纵器220的运动组合足以使第二工件224相对于第一工件212对齐，如图3所示。
在此配置200中，至少一个摄像机分别对每个站(210、222)成像。摄像机240、242预视觉处理(器)260交互，如上文描述的布置。一个或两个站可以包括额外的摄像机244(如平台210处的虚线所示)。视觉处理(器)260还操作地与平台运动控制器270和操纵器控制器280互相连接，以上文描述的方式提供运动信息。
现在参考图4和5，其所示为从两个摄像机到公共坐标系映射特征的自动化技术。该技术分别包含拾取站摄像机242和放置站摄像机的标定，以及用于标定安装在多个站的多个摄像机的流程600。开始，流程600(在步骤610)执行平台210上的一个或多个摄像机240、244(或者图1中的平台110上的摄像机130)的手眼标定，使得所有摄像机定义公共或运动坐标系。
注意到本文所使用的词语“所有摄像机”，指的是本发明虚拟装配中的系统所采用的全部摄像机。清楚考虑到，可以从任务中省去视觉系统所使用的摄像机。主要考虑到，对来自每个站的至少一个摄像机标定为公共坐标系并且生成训练进程中使用的图像。
通过普遍理解的特定标定原理的深入背景技术，对于刚体(比如标定目标或“板”)，运动可以由一对位姿来表征：运动前的瞬时起始位姿和运动后的瞬时结束位姿——此处的“位姿”定义为在任何一个特定瞬间在一些基础坐标系中的一组描述物体状态的数值——物体的虚拟特性。例如，在二维中，刚体可以表征为三个维度：平移X、平移Y和旋转R。当一个或多个摄像机与标定板之间存在相对运动时，标定板纹理中的位姿描述了如何让标定板呈现到一个或多个摄像机。典型地，在常规的所谓“手眼标定”中，标定板以若干个不同的位姿呈现至一个或多个摄像机，而每个摄像机在每个这样的位姿来获取标定板的图像。对于视觉系统手眼标定，通常将标定板移动至多个预设的位姿，其中摄像机获取相应的标定板图像。手眼标定的目的在于确定一个或多个摄像机的刚体位姿和“运动坐标系”中的标定板。可以用多种方式来定义运动坐标系。需要在合适的坐标系中解析位姿的数量(具体指定标定板和/或摄像机处于空间内的位置)。一旦选择单个公共坐标系，则在该公共/全局坐标系描述/解析所述位姿和运动。这个选择的坐标系一般命名为“运动坐标系”。通常，呈现(render)物理运动的物理设备提供“运动”，该物理设备比如是机械臂或运动平台，比如是起重台架。注意到，标定板可以相对于一个或多个静态的一个或多个摄像机移动，或者一个或多个摄像机可以相对于静态的标定板移动。这类运动呈现设备的控制器采用数值(即是位姿)来命令该设备来执行任何期望的运动，并且对于该设备，这些数值是在本地坐标系中解析。注意到，尽管可以选择任何运动坐标系来提供相对于运动呈现设备和一个或多个摄像机的公共、全局坐标系，通常期望选择运动呈现设备的本地坐标系作为总体的运动坐标系。
手眼标定，因此，通过对运动的呈现(移动标定板或移动相机)，将系统标定为单一的运动坐标系，以及获取在该运动之前和在之后获取图像，以确定该运动在一移动对象上的效果。
再次参照图4-6，程序600的下一个步骤620负责将标定目标/板410放置在其中一个站台(即拾取站222，或在由机械手120夹持的同时)，相机(或多个相机)242在该位置处获取目标410的一个或多个图像。该信息储存于视觉进程260(或视觉处理器140)。然后在步骤630中，目标410转移到其他站台(即运动平台210(或110))。然后于步骤640中，通过相机(或多个相机)240、244，或130，在该平台处获取目标410的一个或多个图像。然后在程序600的步骤650中，基于在目标410中使用步骤640的图像而查找到的边缘，将所有相机240、242、244(或130)的像素位置映射到标定目标坐标。然后在步骤660中，使用于步骤640中所获取的在该平台处的标定目标的图像，来计算标定板坐标至运动平台坐标系的映射。在步骤670中，平台处相机的像素位置映射到运动平台210(或110)的坐标系。
应当注意的是，610、660和670是可选的。为了本发明的目的，可止于步骤650，因为已获得将装配系统中的所有相机的像素映射至标定板坐标系的能力。执行步骤660和670的优点为，有助于生成一合成图像，其X和Y轴极大地对齐至运动平台的X和Y轴，以通过控制电动机轻易操作合成图像。
在已将相机像素位置映射至公共坐标系的情况下，视觉系统可利用该信息置为训练模式，并用于虚拟地相互对齐工件图像。
现参照图7，其示出程序700，用于生成每一站中的工件的缝合(stitch)和合成图像。在步骤710中，程序700计算由上述确定的公共坐标系中的每一站的每一相机成像的区域。在步骤720中，计算包含所有区域的边界方框。在步骤730中，程序700生成两个缝合图像，每一站对应一个。说明性地，该缝合图像的高度和宽度每个均相同，且可由用户定义。
如本文所使用的，术语“缝合图像”或“缝合”涉及将两个或以上源图像合并为一个合成的结果图像。当一相机视野太小，很难捕捉整个所需场景，从而需要多个图像时，该进程是有用的。对本领域技术人员而言，存在有各个不同的可用技术，来生成缝合图像。所述视觉系统可以，例如，包括一缝合工具，例如Natick，MA的Cognex公司所提供的CognexImage Stitching工具。该工具运行于和所有源图像和结果图像共用的计算空间中。每一源图像包含唯一的标定变换，将其图像映射进公共的空间中。概念性地，该图像缝合工具在公共空间中建造结果，且得出的缝合图像包含一变换，其将公共空间结果映射入缝合图像中。该缝合图像可以形成一“合成图像”的基础，其在本文中定义为合成进程的结果，在该进程中，合并不同图像的特征以生成单一图像。该合成图像为虚拟装配系统的GUI所用，以使用户或自动进程可以操纵工件(或多个工件)，以生成用于训练该系统的虚拟工件总成。
在图8的示例中，包含四个基准点/特征(在本示例中为叉符号810)的第一工件800在第一站经由四个示例性的具有如虚线框820所示视野的相机成像。应注意四个相机中的每一个的视野820在缝合图像中具有任意的朝向，因为无需担心将相机物理上对齐至公共坐标系(X1，Y1)。同样地，在图9的示例中，包含四个基准点/特征(在本示例中为叉符号910)的第二工件900在第二站经由四个示例性的具有如虚线框920所示视野的相机成像。应注意四个相机中的每一个的视野920在缝合图像中再次具有任意的朝向，因为无需担心将相机物理上对齐至公共坐标系(X1，Y1)。
在程序700的步骤740中，一变换将缝合图像的角映射至边界方框的角。然后，在步骤750中，对于每一站，程序700使用该变换将每一相机的图像像素映射入相应的缝合图像中。下一步，在步骤760中，程序通过，例如，对两个图像求平均，对来自750的缝合图像进行编辑，以生成合成图像。合成图像代表一虚拟总成，并可用于推断装配的质量。应注意这些步骤是示例性的用于生成经标定(图6)的缝合和合成图像的各种各样的程序和技术.这些程序通常采用将一图像中的特征位置映射至公共坐标系的能力。
图10显示一示例性的在一合成图像中处于不对齐朝向的工件800和900的视图，其中通过对来自两个站的缝合图像进行求平均来生成该合成图像。应注意各自的基准点810和910相互偏离中心。反过来，当如图11所示对齐时，合成图像描述了对齐的工件，其中类似尺寸的缝合图像的基准点相互移动至对准。
图12-15显示了具有相似的描述的图形用户界面(GUI)显示。在图12中，四-相机的配置生成置于(例如)拾取平台的第一工件的四个各自的图像1210、1220、1230和1240。应注意，由于各自的相机相对于平台和工件的物理放置，工件的各自的边缘1212、1222、1232和1242在每一图像中的大小不同。图13为由用户观察到的GUI显示，其中该四-相机配置生成置于(例如)运动平台的第二工件的四个各自的图像1310、1320、1330和1340。再次地，由于相机的定位，各自的边缘1312、1322、1332和1342大小不同。
在图14中示出了一GUI显示，其中，四个图像1410、1420、1430和1440为，当工件处于将导致不对齐的装配的位置时的合成图像内的区域。应注意每一图像的边缘是歪斜的(skewed)。反过来，在图15中，四个显示的图像1510、1520、1530和1540为，当工件处于将导致对齐的装配的位置时的合成图像内的区域。应注意边缘在每一图像中交叠。
应注意，尽管所描述的GUI包含对应于四个相机的四个图像，可设想，相对于给定数量的对站/场景进行成像的相机，可显示更少的图像。例如，在设置有多余的和/或有限的/没有有用的图像信息的情况下，某些图像可省略。因此可在所述的显示视图中设置包含两个或三个图像的合成图像。可设想到，在显示的合成图像中呈现每一工件上的足够的特征信息，允许用户(或自动进程)在虚拟装配过程中对齐那些工件。
可清楚地设想到，各种各样的技术可用于生成上述的缝合和合成图像。通常，这样的技术采用将每一图像的像素映射至公共坐标系的能力。此外，上述的合成图像为对缝合图像的平均。该合成图像可通过可替换的表示来定义，以及因此可使用其它技术生成。对于在每一站使用一个相机的装配系统，可省略缝合程序，且可直接地通过进程执行图像的合成。可注意，缝合程序采用来自一站的多个相机的图像，以生成用于该站的工件的单一图像。在各种实施例中，缝合和合成操作可合并为单一的视觉任务。
通常，本发明的系统和方法具有这样的优点，当工件处于它们的各自的站中，工件上的特征，表达于一公共的(全局或运动)坐标系中。存在有至少三种技术，其中在训练期间提供反馈以帮助将工件置于所需的朝向(例如由x和y平移和旋转限定的“姿势”)。如下：
1.视觉对准
该技术可用于在公共坐标系中具有重叠视野的装配系统(例如图1的机构100)。在每一站处，使用位于该站的所有相机来生成缝合图像。对于任一给定相机中的任一像素，公共坐标系中的位置为已知的，因此可生成缝合图像。一旦生成缝合图像，由进程通过合成位于两个站的缝合图像来生成合成图像(例如通过对缝合图像求平均)。再次，这是可能的，因为可以表达公共坐标系中的任一站处的像素。这事实上，虚拟装配该两个工件，帮助用户轻易地对装配的部件的可能的样子进行可视化。即，用户手动地或使用由GUI提供的控制，平移和旋转各自的工件(例如运动平台上的工件)的两个图像中的至少一个。这些可包括一鼠标、触摸屏和/或数据输入框。用户继续该平移/旋转进程，直到工件处于适当的对准，以表示装配的对象处于所需的配置和关联的外观。包含两个工件的所得对象因此为，“虚拟地”装配。在虚拟装配期间，用户可以对合成图像上的一些突出的特征进行变焦放大，并移动位于站台处的运动平台，直到实现所需的装配。一旦完成，用户可以训练该装配系统。参照图16的程序1600，由用户进行的视觉对准，概括来说必需：通过观察装配图像(步骤1610)估计装配质量；调整一个或两个站台中工件(或多个工件)的位置，直到一合成图像限定所需的外观(步骤1620)；并采用经调整的合成图像的所需的视觉外观来训练工件装配系统(步骤1630)。
2.通过计算工件上的特征关系来对准
该技术可用于在公共坐标系具有重叠或无重叠视野的装配系统。在该技术中，用户可以使用视觉工具，该视觉工具定位每一工件上的至少一个特征，并计算它们之间在公共坐标系中的几何学关系。例如，工件(或多个工件)可包括如上所述的基准点，并可使用基准点查找器来定位其位置和朝向。然后，用户可以对工件中的一个或多个进行重定位，直到虚拟装配部件的特征之间的几何学关系匹配对应的装配部件的设计文件中的关系。可通过在拾取和放置位置中的至少一个中手动地重定位工件，或通过控制运动平台，来实现这样的移动。在一示例性实施例中，用户可以定位一个工件上的两个点特征，和第二工件上的三个点特征。虚拟装配系统可设计为取特征对，其中在每一工件上取一个特征，以及测量它们之间的距离并反馈至用户。用户可以重定位工件，直到它们之间的距离与对应的正确装配的部件一致。
参照图17的程序1700。在步骤1710中，用户创建特征查找器，其可以定位第一工件上的特征并表达为用户在公共坐标系查找的位置。在步骤1720中，用户创建特征查找器，其可以定位第二工件上的特征并表达为用户在公共坐标系查找的位置。用户通过使用视觉进程(或视觉处理器)和关联的GUI中的视觉工具来执行这一步。然后，在步骤1730中，用户对一个或两个站台中的工件的位置进行调整，直到特征组之间的关系匹配所需的设计关系。特征查找器可设计为定位任一图像(原始图像、缝合图像或合成图像)上的特征。更通常地，用户训练装配系统，如步骤1740所示。
3.自动化引导
可选地或者额外地，自动引导能够用于引导工件至训练所需的位置。在前述的例子中，在装配中用户会被要求输入点对之间的距离。一旦用户输入校正值，所述装配系统则能够通过移动运动机构(例如操作器运动平台)移动零件，直至达到需要的虚拟装配的零件中的几何关系。通过使用合适的界面能够明确地实现此点，所述界面将误差校正系数转化为平台的线性驱动电机的标示动作(registered motion)。举例来说，在采用XXY平台的情况下，X和Y输入值沿正交轴线进行平移，而差分XY输入值则生成相对于Z轴的旋转(允许3个自由度上的移动)。只要最终的装配配置达到系统确认，就能够通过所述交界面从虚拟装配中将误差校正值直接转换出来。
一般地，使用以上训练技术中的任何一种均能生成一组映射的运动误差校正值，所述校正值关于运动平台的运动控制器或者操作器或者两者存储。这些值用于修改运动，因此工件可通过装配系统的可复验部件得到合适的对齐。
在另外的实施例中，可清楚地想象到，所述虚拟系统能够用于在任意数量的工作站上装配任意数量的工件。举例来说，所述虚拟装配系统能够联合物理系统使用，所述物理系统将典型的工件WA，WB1，WB2，WC装配进一装配的单个物体中-其中WA在工作站A中成像，WB1和WB1在工作站B中成像，而WC则在工作站C中成像。用户能够虚拟地将所有工件装配至装配完整的物体中，而每一装配工作站/平台中的装配误差则被计算以对物理系统进行训练。
在进一步的实施例中，可建立群组的视觉系统相机用于虚拟装配，以使每一群组包括每一站的至少一个相机，且所有相机映射到公共坐标系。按初始的组，可分别地标定群组，以使每一群组映射特征至不同的离散的坐标系。然后使用来自这些群组的图像，执行对整个对象的虚拟装配。此外，用于虚拟装配的一组视觉系统相机，可以与用于训练和运行物理装配系统的相机组相同或不相同。
应该清楚，以上描述的系统和方法，以避免尝试使用工件的物理移动带来出错的方式，允许用户更容易地考虑装配系统中的动作误差。该系统和方法还避免使用对设置和训练进程增加时间和成本的CMM或相似的计量学装置。
前文已经详细描述了本发明的实施例。在不脱离本发明的发明思想和范围情况下可进行各种修改和增加。为提供多种与新实施例相关的结合特征，上述各种实施例中的每一个实施例的特征可适当地与其他所述实施例的特征相结合。此外，虽然前文描述了一些本发明的设备和方法的单独的实施例，但本文的描述仅仅是对本发明原理的应用的说明。例如，此处所使用的术语“进程(process)”和/或“处理器”应从广义上来理解,包括各种基于功能和组件的电子硬件和/或软件(并可替换地称为功能性“模块”或“元件”)。此外,一所述的程序或处理器能够与其他程序和/或处理器组合或分为多个子程序或处理器。根据此处的实施例可对这种子程序和/或子处理器进行各种不同的组合。同样地,可明确设想到,此处所述的任何功能、程序和/或处理器能够利用电子硬件、软件(包括程序指令的非暂时计算机可读的媒介)、或硬件和软件的结合实施。还有，本文应用的方向性和方位性的术语，如“纵向”、“水平方向”、“上方”、“下方”、“低端”、“顶端”、“侧边”、“前边”、“后边”、“左边”、“右边”等，只适用于相对情况，与固定坐标系统中的绝对方位，如重力，不同。因此，该描述仅仅起示例性的作用，而并不旨在限制。

Claims (19)

1.一种在装配系统中虚拟装配物体的系统，具有至少一个含有第一工件的第一工作站，所述装配系统在两者间将第二工件对齐装配至第一工件，所述系统包括：
一个或者多个视觉系统摄像机以及一视觉系统处理器总成，被设置为对第一工件和第二工件进行成像，所述多个摄像机在一共用坐标系中标定；
对齐进程，生成所述第一工件和第二工件在所述共用坐标系中的图像和特征中的至少一个；
操作进程，具有定位第一工件上的第一组特征和第二工件上的第二组特征的视觉工具，所述视觉工具相对于第二组特征自动对齐第一组特征，以对齐所述第一工件和第二工件的图像和特征中的至少一个；以及
装配误差计算模块，基于在虚拟装配过程中操作进程的第一工件和第二工件的操作程度计算装配误差。
2.根据权利要求1所述的系统，其中所述第二工件在远离第一工作站的第二工作站中成像。
3.根据权利要求2所述的系统，进一步包括至少一个第三工件，所述视觉系统摄像机对第三工件进行成像，所述对齐进程生成所述第三工件在所述共用坐标系中的图像和特征中的至少一个，所述操作进程被设置为允许相对于所述第一工件和第二工件中的至少一个操作第三工件以将第三工件的图像和特征中的至少一个和所述第一工件和第二工件中的至少一个的图像和特征中的至少一个相对齐，以及其中所述装配误差计算模块基于第三工件相对于所述第一工件和第二工件中至少一个的操作程度计算装配误差。
4.根据权利要求3所述的系统，其中所述第一工件由视觉系统摄像机在第一工作站成像，以及第二工件和第三工件中的每一个由视觉系统摄像机在第二工作站成像。
5.根据权利要求4所述的系统，进一步包括至少一个由视觉系统摄像机在第四工作站中成像的第四工件。
6.根据权利要求2所述的系统，进一步包括：
(a)第一标定进程，标定所有对第一工作站成像的视觉系统摄像机至第一坐标系，其中标定的视觉系统摄像机的全部或者子集适用于在装配系统的工作时间内使用；
(b)第二标定进程，标定所有对第二工作站成像的视觉系统摄像机至第二坐标系，其中标定的视觉系统摄像机的全部或者子集适用于在装配系统的工作时间内使用；
(c)第三标定进程，将第一坐标系和第二坐标系绑定至所述共用坐标系，其使用标定的视觉系统摄像机的不同离散子集将第一坐标系和第二坐标系绑定至所述共用坐标系；以及
(d)其中，来自步骤(a)和步骤(b)的在第一工作站和第二工作站中的每一个中标定的视觉系统摄像机的全部或者子集在虚拟装配中基于所述共用坐标系使用，所述共用坐标系基于步骤(a)中的第一标定进程和步骤(b)中的第二标定进程和步骤(c)中第三标定进程建立。
7.根据权利要求2所述的系统，其中所述第一工作站和第二工作站中的一个为装配平台并且所述第一工作站和第二工作站中的另一个为拾取位置。
8.根据权利要求7所述的系统，其中所述装配平台定义一运动平台，以及所述装配系统具有一可复验的操纵器，所述操纵器从所述拾取位置移动所述第二工件至所述运动平台。
9.根据权利要求1所述的系统，其中所述装配误差在至少3个自由度中定义。
10.根据权利要求1所述的系统，进一步包括显示器和用户界面以人工对齐所述第一工件的至少一个图像以及所述第二工件的至少一个图像。
11.根据权利要求1所述的系统，进一步包括至少一个视觉系统摄像机对第一工件和第二工件中的至少一个进行成像，所述至少一个视觉系统摄像机被构建和设置为获取图像，所述图像用于所述装配系统的训练和运行中的至少一项，并与对齐进程的使用无关。
12.根据权利要求1所述的系统，其中所述操作进程使用(a)缝合的第一工件的图像以及(b)缝合的第二工件的图像中的至少一项。
13.根据权利要求12所述的系统，其中所述第一工件和第二工件的图像相对于交界面组成一合成图像。
14.根据权利要求1所述的系统，其中所述第一工件和第二工件中的至少一个定义由所述视觉系统摄像机成像的平坦表面。
15.一种虚拟装配物体的方法，使用具有至少一个含有第一工件的第一工作站的装配系统，所述装配系统在两者间将第二工件对齐装配至第一工件，所述方法包括：
通过一个或者多个视觉系统摄像机和视觉系统处理器总成获取第一工件和第二工件的图像，所述多个摄像机在一共用坐标系中标定。
生成所述第一工件和第二工件在所述共用坐标系中的图像和特征中的至少一个；
相对于第一工件自动操作第二工件以对齐所述第一工件和第二工件的图像和特征中的至少一个；以及
基于第一工件和第二工件在虚拟装配过程中的操作程度计算装配误差。
16.根据权利要求15所述的方法，其中获取图像的步骤包括获取第二工件在远离第一工作站的第二工作站中的图像。
17.根据权利要求16所述的方法，其中所述第一工作站和第二工作站中的一个为装配平台并且所述第一工作站和第二工作站中的另一个为拾取位置。
18.根据权利要求15所述的方法，其中所述装配误差在至少3个自由度中定义。
19.根据权利要求15所述的方法，进一步包括使用显示器和用户界面以人工对齐所述第一工件的至少一个图像以及所述第二工件的至少一个图像。
CN201610121089.6A 2015-03-03 2016-03-03 通过物体虚拟装配训练装配系统的视觉系统 Active CN105938618B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201562127808P 2015-03-03 2015-03-03
US62/127,808 2015-03-03
US15/058,118 2016-03-01
US15/058,118 US10223589B2 (en) 2015-03-03 2016-03-01 Vision system for training an assembly system through virtual assembly of objects

Publications (2)

Publication Number Publication Date
CN105938618A true CN105938618A (zh) 2016-09-14
CN105938618B CN105938618B (zh) 2019-11-08

Family

ID=56738992

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610121089.6A Active CN105938618B (zh) 2015-03-03 2016-03-03 通过物体虚拟装配训练装配系统的视觉系统

Country Status (6)

Country Link
US (1) US10223589B2 (zh)
JP (2) JP2016166872A (zh)
KR (2) KR102062423B1 (zh)
CN (1) CN105938618B (zh)
DE (1) DE102016103799B4 (zh)
TW (2) TW201730702A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108876838A (zh) * 2018-06-15 2018-11-23 重庆大学 微操作系统的微操作空间的数字化方法及系统
CN110027015A (zh) * 2019-03-31 2019-07-19 唐山百川智能机器股份有限公司 基于人工智能的动车杆件组装方法
CN110653823A (zh) * 2019-10-12 2020-01-07 四川长虹电器股份有限公司 基于数据反演的手眼标定结果可视化方法
CN112097673A (zh) * 2019-06-18 2020-12-18 上汽通用汽车有限公司 车身部件虚拟匹配方法和系统
CN112638593A (zh) * 2018-06-26 2021-04-09 发纳科美国公司 用于机器人拾取系统的增强现实可视化技术
CN113532341A (zh) * 2020-04-21 2021-10-22 卡尔蔡司工业测量技术有限公司 用于确定测量测量物体的测量策略的方法和设备及程序
CN114310869A (zh) * 2020-09-29 2022-04-12 上海科技大学 机器人手眼标定方法、系统以及终端
CN117066843A (zh) * 2023-10-08 2023-11-17 荣耀终端有限公司 产品组件的组装方法和设备

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016203377A1 (de) * 2015-03-02 2016-11-24 Virtek Vision International Inc. Laserprojektionssystem mit Videoüberlagerung
US10290118B2 (en) * 2015-08-06 2019-05-14 Cognex Corporation System and method for tying together machine vision coordinate spaces in a guided assembly environment
CA3075274A1 (en) * 2017-09-20 2019-03-28 Magna International Inc. System and method for adaptive bin picking for manufacturing
US11072074B2 (en) * 2017-12-13 2021-07-27 Cognex Corporation Calibration and operation of vision-based manipulation systems
US11442438B2 (en) * 2018-08-14 2022-09-13 The Boeing Company Automated supervision and inspection of assembly process
CN112798600A (zh) * 2019-11-14 2021-05-14 深圳百迈技术有限公司 检测方法及系统
WO2021155037A1 (en) * 2020-01-28 2021-08-05 Embodied Intelligence Inc. Identifying scene correspondences with neural networks
GB2619520A (en) * 2022-06-07 2023-12-13 Imperial College Innovations Ltd A method of determining an arrangement for objects

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4907169A (en) * 1987-09-30 1990-03-06 International Technical Associates Adaptive tracking vision and guidance system
US20050213807A1 (en) * 2004-03-25 2005-09-29 Wasserman Richard M System and method for excluding extraneous features from inspection operations performed by a machine vision inspection system
US20060088203A1 (en) * 2004-07-14 2006-04-27 Braintech Canada, Inc. Method and apparatus for machine-vision
US20110157373A1 (en) * 2009-12-24 2011-06-30 Cognex Corporation System and method for runtime determination of camera miscalibration
US20110157577A1 (en) * 2007-10-01 2011-06-30 Maskless Lithography, Inc. Alignment system for various materials and material flows
CN104006825A (zh) * 2013-02-25 2014-08-27 康耐视公司 沿至少三个不连续平面对机器视觉摄像机进行校准的系统和方法
CN104029008A (zh) * 2013-03-07 2014-09-10 康耐视公司 利用视觉系统在遮挡环境下对齐两工件的系统与方法

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0824235B2 (ja) 1987-04-15 1996-03-06 日立テクノエンジニアリング株式会社 実装機における電子部品の搭載位置決定方法
US4841460A (en) 1987-09-08 1989-06-20 Perceptron, Inc. Method and apparatus for calibrating a non-contact gauging sensor with respect to an external coordinate system
JP3057524B2 (ja) 1991-07-30 2000-06-26 ソニー株式会社 実装位置決めシステム
JPH0699321A (ja) 1992-09-22 1994-04-12 Toshiba Corp 自動組み立て装置
US5706416A (en) 1995-11-13 1998-01-06 Massachusetts Institute Of Technology Method and apparatus for relating and combining multiple images of the same scene or object(s)
US5825483A (en) 1995-12-19 1998-10-20 Cognex Corporation Multiple field of view calibration plate having a reqular array of features for use in semiconductor manufacturing
US5748505A (en) 1996-02-06 1998-05-05 Perceptron, Inc. Method and apparatus for calibrating a noncontact gauging sensor with respect to an external coordinate system
AU2928097A (en) 1996-04-29 1997-11-19 Government Of The United States Of America, As Represented By The Secretary Of The Department Of Health And Human Services, The Iterative image registration process using closest corresponding voxels
US6078700A (en) 1997-03-13 2000-06-20 Sarachik; Karen B. Method and apparatus for location and inspecting a two-dimensional image including co-linear features
US5974169A (en) 1997-03-20 1999-10-26 Cognex Corporation Machine vision methods for determining characteristics of an object using boundary points and bounding regions
JP3450704B2 (ja) * 1997-09-01 2003-09-29 キヤノン株式会社 位置姿勢検出装置及び情報処理方法
US6175652B1 (en) 1997-12-31 2001-01-16 Cognex Corporation Machine vision system for analyzing features based on multiple object images
US6516092B1 (en) 1998-05-29 2003-02-04 Cognex Corporation Robust sub-model shape-finder
JP3874949B2 (ja) 1998-11-30 2007-01-31 オプトレックス株式会社 液晶表示パネルの位置合わせ方法
JP2000265794A (ja) * 1999-03-15 2000-09-26 Ohbayashi Corp セグメント組立訓練装置
US6587601B1 (en) 1999-06-29 2003-07-01 Sarnoff Corporation Method and apparatus for performing geo-spatial registration using a Euclidean representation
US6323776B1 (en) 1999-12-21 2001-11-27 Snap-On Technologies, Inc. Method and apparatus of automatically identifying faults in a machine vision measuring system
US6517478B2 (en) 2000-03-30 2003-02-11 Cbyon, Inc. Apparatus and method for calibrating an endoscope
AU2001249647A1 (en) 2000-03-30 2001-10-15 The Board Of Trustees Of The Leland Standford Junior University Apparatus and method for calibrating an endoscope
US6678058B2 (en) 2000-10-25 2004-01-13 Electro Scientific Industries, Inc. Integrated alignment and calibration of optical system
JP3842233B2 (ja) * 2003-03-25 2006-11-08 ファナック株式会社 画像処理装置及びロボットシステム
US7755620B2 (en) * 2003-05-20 2010-07-13 Interlego Ag Method and system for manipulating a digital representation of a three-dimensional object
US7181111B2 (en) 2003-08-28 2007-02-20 Lucent Technologies Inc. Apparatus for splicing optical fibers
FI123306B (fi) 2004-01-30 2013-02-15 Wisematic Oy Robottityökalujärjestelmä, sekä sen ohjausmenetelmä, tietokoneohjelma ja ohjelmistotuote
EP1828862A2 (en) 2004-12-14 2007-09-05 Sky-Trax Incorporated Method and apparatus for determining position and rotational orientation of an object
US7583372B2 (en) 2005-06-01 2009-09-01 Hunter Engineering Company Machine vision vehicle wheel alignment image processing methods
JP2008014940A (ja) 2006-06-08 2008-01-24 Fast:Kk 平面状被撮像物のカメラ計測のためのカメラキャリブレーション方法、および応用計測装置
JP2008036918A (ja) 2006-08-04 2008-02-21 Hitachi Plant Technologies Ltd スクリーン印刷装置および画像認識位置合わせ方法
WO2008147355A1 (en) 2007-05-29 2008-12-04 Cognex Technology And Investment Corporation 3d assembly verification from 2d images
JP4883181B2 (ja) 2007-08-17 2012-02-22 富士通株式会社 部品実装方法
WO2009047214A2 (en) 2007-10-09 2009-04-16 Oerlikon Assembly Equipment Ag, Steinhausen Method for picking up semiconductor chips from a wafer table and mounting the removed semiconductor chips on a substrate
CH698334B1 (de) 2007-10-09 2011-07-29 Esec Ag Verfahren für die Entnahme und Montage von auf einem Wafertisch bereitgestellten Halbleiterchips auf einem Substrat.
JP5332576B2 (ja) * 2008-12-11 2013-11-06 富士ゼロックス株式会社 情報処理装置、情報処理システム及びプログラム
JP5481123B2 (ja) 2009-07-28 2014-04-23 新電元工業株式会社 部品の搭載装置、部品の搭載方法
US9393694B2 (en) * 2010-05-14 2016-07-19 Cognex Corporation System and method for robust calibration between a machine vision system and a robot
CN101922917B (zh) 2010-06-29 2012-06-20 华南理工大学 一种精密电子组装中基于视觉的微位移检测方法
WO2012027541A1 (en) 2010-08-27 2012-03-01 Abb Research Ltd Vision-guided alignment system and method
CN102540533B (zh) 2010-12-15 2015-04-08 华映视讯（吴江）有限公司 裸眼立体显示器的组装方法
CN102773524A (zh) 2012-08-01 2012-11-14 西北工业大学 一种基于机器视觉找正的制孔方法
JP6362401B2 (ja) * 2014-05-02 2018-07-25 キヤノン株式会社 画像処理装置及び画像処理装置の制御方法
JP6462269B2 (ja) * 2014-08-18 2019-01-30 株式会社大貴 排泄物処理材及びそれを用いた動物用トイレ

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4907169A (en) * 1987-09-30 1990-03-06 International Technical Associates Adaptive tracking vision and guidance system
US20050213807A1 (en) * 2004-03-25 2005-09-29 Wasserman Richard M System and method for excluding extraneous features from inspection operations performed by a machine vision inspection system
US20060088203A1 (en) * 2004-07-14 2006-04-27 Braintech Canada, Inc. Method and apparatus for machine-vision
US20110157577A1 (en) * 2007-10-01 2011-06-30 Maskless Lithography, Inc. Alignment system for various materials and material flows
US20110157373A1 (en) * 2009-12-24 2011-06-30 Cognex Corporation System and method for runtime determination of camera miscalibration
CN104006825A (zh) * 2013-02-25 2014-08-27 康耐视公司 沿至少三个不连续平面对机器视觉摄像机进行校准的系统和方法
CN104029008A (zh) * 2013-03-07 2014-09-10 康耐视公司 利用视觉系统在遮挡环境下对齐两工件的系统与方法
US20140253720A1 (en) * 2013-03-07 2014-09-11 Cognex Corporation System and method for aligning two work pieces with a vision system in the presence of occlusion

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108876838A (zh) * 2018-06-15 2018-11-23 重庆大学 微操作系统的微操作空间的数字化方法及系统
CN108876838B (zh) * 2018-06-15 2022-05-06 重庆大学 微操作系统的微操作空间的数字化方法及系统
CN112638593A (zh) * 2018-06-26 2021-04-09 发纳科美国公司 用于机器人拾取系统的增强现实可视化技术
CN110027015A (zh) * 2019-03-31 2019-07-19 唐山百川智能机器股份有限公司 基于人工智能的动车杆件组装方法
CN112097673A (zh) * 2019-06-18 2020-12-18 上汽通用汽车有限公司 车身部件虚拟匹配方法和系统
CN110653823A (zh) * 2019-10-12 2020-01-07 四川长虹电器股份有限公司 基于数据反演的手眼标定结果可视化方法
CN113532341A (zh) * 2020-04-21 2021-10-22 卡尔蔡司工业测量技术有限公司 用于确定测量测量物体的测量策略的方法和设备及程序
CN113532341B (zh) * 2020-04-21 2024-03-08 卡尔蔡司工业测量技术有限公司 用于确定测量测量物体的测量策略的方法和设备及程序
CN114310869A (zh) * 2020-09-29 2022-04-12 上海科技大学 机器人手眼标定方法、系统以及终端
CN114310869B (zh) * 2020-09-29 2023-04-25 上海科技大学 机器人手眼标定方法、系统以及终端
CN117066843A (zh) * 2023-10-08 2023-11-17 荣耀终端有限公司 产品组件的组装方法和设备
CN117066843B (zh) * 2023-10-08 2024-05-10 荣耀终端有限公司 产品组件的组装方法和设备

Also Published As

Publication number Publication date
DE102016103799A1 (de) 2016-09-08
DE102016103799B4 (de) 2020-09-03
JP2019169156A (ja) 2019-10-03
US20170024613A1 (en) 2017-01-26
KR102062423B1 (ko) 2020-01-03
JP6770605B2 (ja) 2020-10-14
JP2016166872A (ja) 2016-09-15
KR20180107043A (ko) 2018-10-01
US10223589B2 (en) 2019-03-05
KR20160107128A (ko) 2016-09-13
TW201730702A (zh) 2017-09-01
CN105938618B (zh) 2019-11-08
TWI594097B (zh) 2017-08-01
TW201638687A (zh) 2016-11-01

Similar Documents

Publication Publication Date Title
CN105938618B (zh) 通过物体虚拟装配训练装配系统的视觉系统
KR102661635B1 (ko) 가이드된 어셈블리 환경에서 머신비전 좌표공간과 함께 묶기 위한 시스템 및 방법
US9508146B2 (en) Automated frame of reference calibration for augmented reality
US10585167B2 (en) Relative object localization process for local positioning system
CN105073348B (zh) 用于校准的机器人系统和方法
KR20200093464A (ko) 로봇 모션 용 비전 시스템의 자동 핸드-아이 캘리브레이션을 위한 시스템 및 방법
DE102018109774B4 (de) Bildverarbeitungssystem, Bildverarbeitungsvorrichtung und Bildverarbeitungsprogramm
CN107639653A (zh) 控制装置、机器人以及机器人系统
CN105359640B (zh) 安放设备和安放方法
CN107613896A (zh) 用于使用物理对象来操控虚拟环境中的相应虚拟对象的方法以及相关联装置和计算机程序产品
CN106625713A (zh) 提高涂胶工业机器人涂胶精度的方法
CN107817500B (zh) 一种模块化舞台激光定位方法
CN105264436A (zh) 用于控制与图像捕捉有关的设备的系统和方法
CN104006825A (zh) 沿至少三个不连续平面对机器视觉摄像机进行校准的系统和方法
CN111475907A (zh) 产生接合线数据的方法及接合线数据产生系统
CN106737859A (zh) 基于不变平面的传感器与机器人的外部参数标定方法
CN110490942A (zh) 一种基于scara机械手第二臂的移动相机标定方法
CN103372715A (zh) 用于调整键合工具的图像辅助系统
Jagersand et al. Predictive display from computer vision models
CN117315027A (zh) 基于机器人的智能体测辅助方法及系统
Zhao et al. An intuitive teaching system using sensor fusion and 3D matching
Schindler et al. Real-Time Camera Guidance for 3d Scene Reconstruction
CN110587579A (zh) 一种基于Kinect的机器人示教编程引导方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant