CN108858251B - 一种高速运动机械手的防碰撞系统 - Google Patents

Abstract

一种高速运动机械手的防碰撞系统，包括高速视觉捕捉硬件系统、快速识别跟踪定位系统、初始化参照表模块、晶圆参照表对比模块、机械手标记检测模块和预警模块；获取正常工作中一工作节拍视频，制作搭载晶圆机械手位置、速度、加速度和时间关系表；通过视觉捕捉硬件系统和识别跟踪定位系统获得晶圆圆心位置坐标、速度和加速度信息，对比初始化参照表模块中存储数据；在晶圆边缘两侧固定位置做标记，通过获得机械手上的标记点有无信息，确定晶圆与机械手托持结构的相对位置关系；根据计算出的晶圆位置运动状态和建立的参照表，计算运动状态的差值，超过设定阈值启动碰撞预警装置。本发明低成本、高精确地实现高速运动物体碰撞视觉检测，具有通用性。

Description

一种高速运动机械手的防碰撞系统

技术领域

本发明属于工业机器人领域，涉及一种高速运动机械手的防碰撞系统，应用于真空中洁净环境中晶圆搬运机械手的防碰撞系统。

背景技术

半导体技术的发展决定了电子工业的繁荣程度，晶圆是半导体集成电路制作所需要的硅晶片，晶圆在半导体行业中起到了支柱作用，在工业生产中得到了愈来愈多的重视。因为晶圆易变形，易破损，易受尘埃颗粒影响，因此需要机械手搬运晶圆，且需要在洁净的真空腔室中搬运传递。

搬运晶圆的机械手其安全性与可靠性影响到整条生产线的质量与效率。搬运过程中，真空洁净机械手难免与周围环境发生碰撞，或晶圆脱落机械手的托持结构，因此及时检测碰撞的发生对于真空洁净机械手及晶圆安全性具有非常重要的作用。

就目前来看，高速运动机械手防碰撞方法的相关技术，可以分为：碰撞前、碰撞中和碰撞后三种情况，目前应用较多的是利用机器人自身传感器，通过坐标变换，计算末端执行器的运动状态，在此过程中存在运动振动和计算不准确的问题。通过对机器人碰撞过程这三个阶段运动学及动力学特性进行比较分析，机器人碰撞保护主要针对碰撞阶段及碰撞后这两个阶段进行研究。实际控制都是在碰撞后，不能很好地同时满足实时性和准确性这两个要求，也不能满足洁净真空腔中搬运晶圆机械手的实时防碰撞预警。

目前的目标跟踪方法中主要分为相关滤波方法和利用深度学习识别目标的两种方法，在相关滤波方法中应用了傅里叶变换加快了计算速度，部分简单相关滤波方法可以达到数百帧每秒，但是鲁棒性差。其中导致鲁棒性变差的原因是环境复杂，每帧图像之间变化过多，导致跟踪失败。其中深度学习方法计算消耗较大，导致运算速度有限，需要GPU加速实现，成本较高，且需要大量数据集和大量训练时间。高速运动机械手的防碰撞方法计算对实时性要求很高，深度学习方法由于计算量较大。

发明内容

针对当前机械手的防碰撞方法无法在碰撞前做到同时兼顾准确性和实时性的问题，本发明提供了一种高速运动机械手的防碰撞系统。本发明采用高速相机装置可以减少每帧图像之间变化过多的情况，提高计算速度快的简单相关滤波方法鲁棒性，降低了开发难度和成本。快速进行高速运行下的机械手及晶圆防碰撞检测，通过制作参照表对比法，减少机械手理论运动状态运算步骤，形成直接的数据比较。机械手标记检测可以检测晶圆与机械手的相对位置，可得到发生故障时是机械手本体控制问题还是托持结构与晶圆之间接触摩擦问题。使用高速相机装置获取高帧率视频数据，提高精确度，降低计算复杂程度，可提高计算速度，完成实时位置、速度和加速度的获取。

本发明采用的技术方案如下：

一种高速运动机械手的防碰撞系统，其特征在于：包括高速视觉捕捉硬件系统、快速识别跟踪定位软件系统、初始化参照表模块、晶圆参照表对比模块、机械手标记检测模块和预警模块；

高速视觉捕捉硬件系统包括高速相机装置、保护支撑架和高亮光源装置；

快速识别跟踪定位软件系统：晶圆检测、晶圆圆心跟踪定位及运动状态计算，结合高速视觉捕捉硬件系统和简单滤波器，达到快速晶圆跟踪；

初始化参照表模块：获取正常工作中一工作节拍视频，制作搭载晶圆的机械手位置、速度、加速度和时间关系表（参照表），并存储；保证机械手在测试运行中晶圆运动和制作参照表过程中晶圆运动同时启动或达到同步；

晶圆参照表对比模块：通过高速视觉捕捉硬件系统和快速识别跟踪定位软件系统获得晶圆圆心位置坐标、速度和加速度信息，对比初始化参照表模块中存储数据；

机械手标记检测模块：依据正常工作时晶圆在机械手托持结构上的位置，在晶圆边缘两侧固定位置做标记，通过高速视觉捕捉硬件系统和快速识别跟踪定位软件系统获得机械手上的标记点有无信息，确定晶圆与机械手托持结构的相对位置关系；在机械手上做标定记号，观察获取图片中标定记号情况，判断晶圆与机械手相对位置关系，达到快速检测晶圆与机械手位置关系的目的，及时防止晶圆因运动过快或因振动导致松动滑落机械手的末端执行器；

预警模块：当晶圆参照表对比模块和初始化参照表模块的对应时间内差值大于阈值时，启动预警装置，并将信号传输给机械手本体，对机械手运动状态及时做出调整或停止，以达保护机械手和晶圆的安全生产的目的。根据计算出的晶圆位置及运动状态和建立的参照表，计算运动状态的差值，超过设定的阈值则启动碰撞预警装置；其中的运动状态包括：速度和加速度；保证机械手在测试运行中晶圆运动和制作参照表过程中晶圆运动同时启动或达到同步。

机械手搭载晶圆过程中，通过视觉传感器获得晶圆圆心位置、速度和加速度信息，对比机械手理论运动状态保证运行稳定正常，保存一节拍下视觉传感器系统获取的晶圆圆心位置、速度和加速度与时间的关系，作为参照表。

所述的高速视觉捕捉硬件系统包括高速相机装置、保护支撑架和高亮光源装置，其中，高速相机装置固定安装在保护支撑架上，并置于搬运晶圆的机械手正上方，保证机械手在高速相机装置视场中，数据输出线连接计算机，提供所需计算图像；高亮光源装置包括高强度光源和光源控制器，高强度光源安装在支撑架上，置于高速相机装置正下方，机械手上方，补充因高速相机装置帧速率太高导致的高速相机装置缺少的进光量，保证高速相机装置成像不受外界光照干扰，以达到计算结果精确；保护支撑架可微调高速相机装置和高强度光源的位置，且有助于微调高速相机装置位置，保证成像清晰度。

高速视觉捕捉硬件系统主要实现利用高帧率相机捕捉高速运动状态下的机械手，减少帧与帧之间图像变化，使得简单的跟踪器跟踪有效。快速识别跟踪定位系统在识别算法运行在开始阶段准确识别晶圆，在机械手运行的起始阶段有相对充分的时间识别晶圆部分，不影响系统的实时性；在初始标定目标区域后，为了防止在每帧都对图像进行识别，采取较快且简单的相关滤波跟踪，在其他跟踪情况中该种跟踪器精确度不是最突出的。

本发明在机械手与晶圆发生相对滑动和晶圆运动信息超出阈值时进行警报，可达到提前进行报警，且同时兼顾精确度和实时性，解决控制前发生碰撞的难题。应用环境相对单一，且有高速视觉捕捉硬件系统保障，保证了精确度。利用高速视觉传感器，通过晶圆参照表对比法和机械手标记检测法的方式，进行真空洁净机械手的部分碰撞前检测，无须通过坐标变换计算机械手执行末端的运动信息，无须等到碰撞过程中和碰撞后，根据分析运动学及动力学特性，得到机械手电机电流变化，或根据机械手执行末端约束力变化，导致机器人各关节上会增加相应的关节转矩，可在发生碰撞前预测。该系统可以通过建立不同机械手运动信息和时间关系表和在机械手上作不同规格标记，普遍适用于各种型号和其他种类的运动路径单一固定的机械手中。

附图说明

图1是本发明高速运动机械手的防碰撞方法示意图。

图2是本发明高速运动机械手的防碰撞系统示意图。

图3是本发明搭载晶圆时机械手示意图。

图4是本发明搭载晶圆正常运行时机械手示意图。

图5(a)是本发明搭载晶圆与机械手发生相对滑动时，晶圆向前滑动示意图。

图5(b)是本发明搭载晶圆与机械手发生相对滑动时，晶圆向后滑动示意图。

图5(c)和图5(d)是本发明搭载晶圆与机械手发生相对滑动时，晶圆分别向两侧滑动示意图。

图6是本发明高速视觉捕捉硬件系统结构图。

图中：1机械手本体；2执行末端；3晶圆；4支撑保护架；5高速相机装置；6 PC机；

7高亮光源；8光源控制器；9晶圆托持结构A-1；10晶圆托持结构A-2；

11晶圆托持结构A-3；12标定记号B-1；13标定记号B-2；14标定记号B-3。

具体实施方式

下面结合附图对本发明的具体实施作详细说明。

一种高速运动机械手的防碰撞系统，如图2所示，包括：高速视觉捕捉硬件系统、快速识别、跟踪、定位软件系统、初始化参照表模块、晶圆参照表对比模块、机械手标记检测模块和预警模块。其中高速视觉捕捉硬件系统和快速识别、跟踪、定位软件系统为本发明的技术核心，分别对应图1中的步骤B和步骤C；初始化参照表模块、晶圆参照表对比模块和机械手标记检测模块是本发明的重要解决方法，分别对应图1中的晶圆参照表对比法和机械手标记检测法。

高速视觉捕捉硬件系统主要实现利用高帧率相机捕捉高速运动状态下的机械手，减少帧与帧之间图像变化，使得简单的跟踪器跟踪有效。

快速识别、跟踪、定位软件系统可以使用简化的方法，在识别算法运行在开始阶段准确识别晶圆3，在机械手运行的起始阶段有相对充分的时间识别晶圆部分，不影响系统的实时性；在初始标定目标区域后，为了不用在每帧都对图像进行识别，采取的相关滤波的跟踪方法，在其他跟踪情况中该种方法的精确度不是最突出的，但是本发明的应用环境相对单一，且有高速视觉捕捉硬件系统保障，故保证了本发明的精确度。

搭载晶圆时机械手示意图如图3所示，机械手执行末端2上有晶圆托持结构A-1、晶圆托持结构A-2、晶圆托持结构A-3、标定记号B-1、标定记号B-2和标定记号B-3。标定记号位置如图3所示，标定记号B-2在晶圆3位置边缘外，标定记号B-1和标定记号B-3 位置对称，在晶圆3位置边缘内。在机械手空载情况下，可以观测到标定记号B-1、标定记号B-2和标定记号B-3三个标记。

搭载晶圆正常运行时机械手示意图如图4所示，与图3相差于搭载晶圆3。在机械手正常运行情况下，可以观测到标定记号B-2标记。

图5(a)表示晶圆向前滑动，观测情况为三个标记点；图5(b)表示晶圆向后滑动，观测情况为无标记点；图5(c)、5(d)表示晶圆分别向两侧滑动，观测情况分别为标定记号B-2点和标定记号B-1点或标定记号B-3点，出现两个点。

总之根据标定记号B-1、标定记号B-2和标定记号B-3标记点，可得到晶圆和机械手的相对滑动位置，即同时出现标定记号B-1、标定记号B-2和标定记号B-3标记点、出现标定记号B-2和标定记号B-1或标定记号B-3标记点、无标记点、只出现标定记号B-1和标定记号B-3标记点时，为机械手执行末端2与晶圆3发生相对滑动，需要启动危险警报装置。

本发明高速视觉捕捉硬件系统结构图如图6所示，包括机械手本体1、执行末端2、晶圆3、支撑保护架4、高速相机装置5、PC机6、高亮光源7和光源控制器8，其中机械手本体1、执行末端2和晶圆3是视觉捕捉对象。高速相机装置5作为视觉传感器，根据机械手本体1、执行末端2和晶圆3的运动范围和大小，确定高速相机装置5位置，保证执行末端2和晶圆3在高速相机装置5的视场中。连接PC机6处理捕捉到的图像，通过快速识别、跟踪、定位软件系统得到晶圆的运动信息。在高速相机装置5正下方，安装高亮光源7，保证高速相机装置5捕捉图像清晰，补充进光量和去除光照干扰。光源控制器8与高亮光源7连接，调节高亮光源7亮度，以得到更好捕捉结果。高速相机装置5和高亮光源7安装在支撑保护架4的夹持结构上，可以调节高速相机装置5和高亮光源7的位置。

实验表明，这种高速运动机械手的防碰撞方法利用高速视觉传感器，通过晶圆参照表对比法和机械手标记检测法的方式，进行真空洁净机械手的部分碰撞前检测，该方法无须通过坐标变换计算机械手执行末端的运动信息，无须等到碰撞过程中和碰撞后，根据分析运动学及动力学特性，得到机械手电机电流变化，或根据机械手执行末端约束力变化，导致机器人各关节上会增加相应的关节转矩，可在发生碰撞前预测。该方法可以通过建立不同机械手运动信息和时间关系表和在机械手上作不同规格标记，普遍适用于各种型号和其他种类的运动路径单一固定的机械手中。

本发明的防碰撞系统采用的方法包括：初始化参照表、机械手标记检测法、晶圆参照表对比法和启动预警装置。初始化参照表包括：步骤A、步骤B和步骤C；机械手标记检测法包括：步骤B、步骤C和步骤D；晶圆参照表对比法包括：步骤B、步骤C和步骤E；启动预警装置包括步骤F。

A、制作正常工作中一工作节拍下，搭载晶圆的机械手位置、速度、加速度和时间关系表（参照表），并进行存储；

B、通过高速视觉系统获取被搭载晶圆的图像；

C、通过软件实时计算出晶圆的位置、速度、加速度信息；

D、在机械手上做标定记号，观察获取图片中标定记号信号，根据如图3-图5(d)所示判断晶圆与机械手相对位置关系，达到快速检测晶圆与机械手位置关系的目的，及时防止晶圆3因运动过快或因振动导致松动滑落机械手的末端执行器2；

E、根据步骤C中计算出的晶圆位置信息和步骤A中建立的参照表，计算运动状态的差值，超过设定的阈值则启动碰撞预警装置。其中的运动状态差值包括：位置、速度和加速度的差值；

F、根据步骤D中的标定记号信号有无情况和步骤E运动状态差值是否超过设定的阈值情况，启动预警装置，并将信号传输给机械手本体1，对机械手运动状态及时作出调整运动状态或停止实时控制，以达保护机械手和晶圆的安全生产的目的。

在步骤A中，运动状态需要校正，将视觉传感器获得的位置、速度、加速度信息与机械手理论运动状态对比校正，以保证初始建表数据的准确性。建立机械手搭载晶圆过程中针对晶圆的圆心，在一工作节拍中的时间运动状态信息表，并保存步骤C输出的晶圆位置信息。

所述步骤B，建立一套高速视觉系统捕获高速运动物体，其中包括高速相机装置、支撑架和光源装置。在高速相机装置中，高速相机装置固定安装在支撑架上，并置于搬运晶圆机械手正上方，保证机械手在高速相机装置视场中，数据输出线连接计算机，为中步骤C提供所需计算图像；光源装置包括高强度光源和光源控制器，高强度光源安装在支撑架上，置于高速相机装置正下方，机械手上方，补充因高速相机装置帧速率太高导致的高速相机装置缺少的进光量，解决成像较暗或无法成像问题，并保证高速相机装置成像不受外界光照干扰，保证步骤C中计算结果精确；支撑架起支撑保护高速相机装置和光源装置作用，且有助于微调高速相机装置位置，保证成像清晰度。

所述步骤C，建立一套适用于高速运动目标检测的计算方法，包括晶圆检测部分、晶圆跟踪、晶圆圆心跟踪定位和晶圆运动速度及加速度计算。利用高速相机装置捕获运动目标结合简单的相关滤波跟踪器实现计算晶圆运动信息的方法，通过提高捕获运动目标帧速率可以不需要深度特征和复杂的跟踪器，提高运动目标跟踪效果，提高实时计算晶圆位置、速度和加速度的速度，提高准确率，降低成本。

所述步骤E，根据步骤C计算得到的位置、速度和加速度信息可以对搭载晶圆的机械手的运动状态进行预判，计算误差在设定的阈值外可以提前报警。

所述步骤A和D，需要保证机械手在测试运行中晶圆运动和制作参照表过程中晶圆运动同时启动或达到同步。

Claims (3)

1.一种高速运动机械手的防碰撞系统，其特征在于：包括高速视觉捕捉硬件系统、快速识别跟踪定位软件系统、初始化参照表模块、晶圆参照表对比模块、机械手标记检测模块和预警模块；

高速视觉捕捉硬件系统包括高速相机装置、保护支撑架和高亮光源装置；

快速识别跟踪定位软件系统用于晶圆检测、晶圆圆心跟踪定位及运动状态计算，采取相关滤波法进行跟踪，结合高速视觉捕捉硬件系统和滤波器，达到晶圆的快速跟踪；

初始化参照表模块用于获取正常工作中一工作节拍视频，制作搭载晶圆的机械手位置、速度、加速度和时间关系表，并作为正常工作参照表存储，以保证机械手在测试运行中晶圆运动和制作正常工作参照表过程中晶圆运动同时启动或达到同步；

晶圆参照表对比模块用于通过高速视觉捕捉硬件系统和快速识别跟踪定位软件系统获得晶圆圆心的位置坐标、速度和加速度信息，与初始化参照表模块中存储数据进行对比；

机械手标记检测模块用于依据正常工作时晶圆在机械手托持结构上的位置，以晶圆边缘三点作为固定位置，在机械手相应的位置上做出标记点，标记点分别为标定记号B-1、B-2和B-3，标定记号B-2在晶圆位置边缘外，标定记号B-1和标定记号B-3 位置对称，在晶圆位置边缘内，通过高速视觉捕捉硬件系统和快速识别跟踪定位软件系统获得机械手上的标记点有无信息，即机械手上的标定记号B-1、B-2和B-3是否被观测到，确定晶圆与机械手托持结构的相对位置关系；

预警模块用于根据机械手标记检测模块中标定记号B-1、B-2和B-3的观测情况判断是否启动碰撞预警装置，当同时出现标定记号B-1、标定记号B-2和标定记号B-3标记点、出现标定记号B-2和标定记号B-3标记点、出现标定记号B-2和标定记号B-1标记点、无标记点、只出现标定记号B-1或标定记号B-3标记点时，则启动碰撞预警装置；根据计算出的晶圆运动状态和初始化参照表模块中储存的正常工作参照表，计算运动状态的差值，超过设定的阈值则启动碰撞预警装置；其中的运动状态包括：位置、速度和加速度。

2.根据权利要求1所述的一种高速运动机械手的防碰撞系统，其特征在于，机械手搭载晶圆过程中，通过视觉传感器获得晶圆的圆心位置、速度和加速度信息，与机械手理论运动状态进行对比并校正，保存一节拍下视觉传感器系统获取的晶圆的圆心位置、速度和加速度与时间的关系，作为正常工作参照表。

3.根据权利要求1或2所述的一种高速运动机械手的防碰撞系统，其特征在于，其中高速相机装置固定安装在保护支撑架上，并置于搬运晶圆的机械手正上方，保证机械手在高速相机装置的视场中，高速相机装置通过数据输出线连接计算机，所述计算机提供所需计算图像；高亮光源装置包括高强度光源和光源控制器，高强度光源安装在保护支撑架上，置于高速相机装置正下方和机械手上方，补充因高速相机装置帧速率太高导致的高速相机装置缺少的进光量；保护支撑架可微调高速相机装置和高强度光源的位置。

Images