CN108274469A - 基于多维视觉传感器的真空机械手防碰撞检测系统及检测方法 - Google Patents

Abstract

本发明公开了一种基于多维视觉传感器的真空机械手防碰撞检测系统及检测方法，包括：真空机械手设备系统；x‑y轴高清监测摄像头，用于检测真空机械手x‑y轴水平面运动位置和姿态的变化；z轴高清监测摄像头，于所述真空机械手侧面垂直放置，用于检测真空机械手伸缩轴方向上的位置变化。本发明所述的基于多维视觉传感器的真空机械手防碰撞检测系统及检测方法，通过建立视觉系统并向控制系统实时反馈真空机械手的位置、速度、加速度等信息，当真空机械手的位置状态异常出现在安全警戒区域时，视觉系统向控制系统发送异常警示信号，使控制系统能够及时控制停止当前机械手的运作，从而保证设备系统的安全，尽可能避免相应的潜在损失。

Description

基于多维视觉传感器的真空机械手防碰撞检测系统及检测 方法

技术领域

本发明涉及真空机械手视觉检测技术领域，具体涉及一种基于多维视觉传感器的真空机械手防碰撞检测系统及方法。

背景技术

目前，真空机械手是一种用于在特殊洁净环境下对硅片加工的机器人，其主要功能是实现硅片在不同工位之间快速、高效、可靠的转移。然而，所述真空机器人的安全问题一直是应用中的一个非常重要的问题。

当机械手与人或其它设备协同工作时，不小心发生碰撞会对设备系统本体或者周围设备(尤其是人)造成很大的伤害，尤其在真空机器手工作过程中，碰撞还会造成晶圆的损坏并且造成真空室的污染。

如何在机器人工作中能够及时检测到其他设备或者工作人员与机器人将要发生碰撞，并采取有效措施是需要解决的重要问题。

现有的机械手防碰撞的方法，是采用在机械手本体上安装距离传感器，并同时配有距离计算模块，通过计算模块计算出机器人与周围物体的距离来避免机械手发生碰撞。

然而，上述方法适用于服务机器人这样的移动机器人中，且需要在机器人正面安装距离传感器并且所述服务机器人始终朝着正面方向运动即可，而真空机器人的机械手无法安装这种传感器，而且真空机械手的运动方向有前有后，若四个方向同时采用距离传感器则成本太高。

发明内容

根据上述提出的技术问题，而提供一种基于多维视觉传感器的真空机械手防碰撞检测系统及检测方法，用于解决现有的真空机械手的运动方向有前有后，若四个方向同时采用距离传感器则成本太高的缺点。本发明采用的技术手段如下：

一种基于多维视觉传感器的真空机械手防碰撞检测系统，包括：真空机械手设备系统，用于搭载、搬运晶圆；x-y轴高清监测摄像头，安装于所述真空机械手设备系统中真空机械手的工作台面正上方，用于检测真空机械手x-y轴水平面运动位置和姿态的变化；z轴高清监测摄像头，于所述真空机械手侧面垂直放置，用于检测真空机械手伸缩轴方向上的位置变化；摄像头配套支架，用于支撑所述x-y轴高清监测摄像头和z轴高清监测摄像头。

PC机图像数据处理器，实时监控处理所述x-y轴高清监测摄像头和z轴高清监测摄像头采集的图像数据信息，并与控制系统完成通信，传递真空机械手的位姿状态信息，构建起控制链层级上的反馈回路；当所述控制系统获得真空机械手的位置信息，并实时判断其处于危险状态，控制系统采取保护措施，控制真空机械手停止工作。

一种上述真空机械手防碰撞检测系统的检测方法，包括以下步骤：

设定机器人本体运动状态安全临界位置参数，即当检测到真空机械手运动位置超出了临界区域，表明机器人处于异常工作状态。

x-y轴高清监测摄像头和z轴高清监测摄像头实时检测、跟踪真空机械手，并把采集到的图像发送到PC机数据处理器。

PC机对接收到的图像信息进行实时提取处理，分析计算真空机械手最前端位置的坐标参数及机械手的运动速度和加速度信息，通过构建起的通信线路将相关信息反馈到控制系统；控制系统通过分析处理接收到的信息判断机械手运动状态，做出控制决策。

作为优选所述检测方法为视觉系统防碰撞检测算法，具体包括以下步骤：

S1、首先初始化系统参数，设定真空机械手运动的安全临界位置X，此安全距离为机械手最前端位置与机械手旋转轴心之间的距离，启动视觉系统，完成高清摄像头组的标定和矫正工作，明确摄像头的外部参数和内部参数，以利于在检测识别的过程中获取到更加准确的位置信息。

S2、然后，检测识别真空机械手上的特定标签，尺寸大小为L×W，分析计算采集到的图像上标签占据的像素尺寸l×w，这样，通过下式即计算出图像与实物之间的比例尺度scale：

即表示在图像中，实际物体大小被放缩了scale倍。

S3、基于高清摄像头采集到的图像信息，通过PC机检测识别其中包含的目标真空机械手；在机器人未搭载晶圆的过程中，找到图像中真空机械手的轮廓范围，保留轮廓最前端的位置坐标即为机械手当前位置的最前端，记为x；在机器人搬运晶圆的过程中，检测图像中的圆轮廓并作匹配识别，找到晶圆的位置，进而确定机械手的最前端位置x。

根据系统初始化设定的参数X，计算出真空机械手运动轨迹在图像上的像素安全临界位置半径，记为r；真空机械手运动的安全临界位置X限定小于x-y轴高清摄像头组的视野覆盖平面的区域半径R，R通过摄像头的参数求得，计算公式如下：

R＝S*tan(θ)

其中，高清摄像头组的工作距离已知为S，高清摄像头组的工作视野角度范围为2θ，真空机械手运动的安全临界位置X满足X<R。

从而，根据前面已经计算获取到的图像-实际尺寸比例scale即可计算得出真空机械手运动轨迹在图像上的像素安全临界位置半径r，计算公式如下：

r＝X+scale。

S4、当x小于r时，即表明真空机械手处于正常工作状态；当x超出r时，表示当前真空机器人处于异常工作状态，视觉系统需要立即反馈一个相应的示警信号，使控制系统能够及时控制机械手停止工作，避免出现异常碰撞事故。

作为优选步骤S3中，通过算法计算得真空机械手的实时位置信息，选取一定时间间隔真空机械手的两个位置状态，分别记为s1和s2，间隔时间为Δt，从而计算出机械手的运动速度v；同时，选取一定时间间隔真空机械手的两个运动状态，运动速度记为v1和v2，间隔时间为Δt，计算出机械手的运动加速度信息a；视觉系统实时将真空机械手的运动位置、速度和加速度信息反馈给控制系统，从而实现真空机械手工作状态的实时监控。

与现有技术相比较，本发明所述的基于多维视觉传感器的真空机械手防碰撞检测系统及检测方法，综合考虑真空机械手工作平台的面积大小及视觉检测系统可操作性的问题，针对于真空机械手在x-y轴平面上的运动状态直接由一组高清摄像头完成实时检测、跟踪处理，摄像头安置在距离机械手工作平面一定高度处，保证摄像头的有效工作距离。

通过PC机处理采集到的运动图像信息，实时检测、跟踪真空机械手的运动轨迹，计算相关参数，确定真空机械手的位姿状态。一组高清摄像头用于采集真空机械手伸缩轴的位置状态变化，结合x-y轴的高清监测摄像头采集到的数据信息，从而可以在三维空间中对真空机械手进行准确运动定位。

本发明所述的基于多维视觉传感器的真空机械手防碰撞检测系统及检测方法，成本更小，能及时采取反馈保护措施。通过建立视觉系统并向控制系统实时反馈真空机械手的位置、速度、加速度等信息，当真空机械手的位置状态异常出现在安全警戒区域时，视觉系统向控制系统发送异常警示信号，使控制系统能够及时控制停止当前机械手的运作，从而保证设备系统的安全，尽可能避免相应的潜在损失。

附图说明

下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1是本发明基于多维视觉传感器的真空机械手防碰撞检测系统整体示意图。

图2是本发明检测系统工作示意图。

图3是本发明检测方法流程图。

其中：1、真空机械手设备系统，2、一组x-y轴高清监测摄像头，3、一组z轴高清监测摄像头，4、摄像头配套支架，5、PC机图像数据处理器。

具体实施方式

如图1至图3所示，一种基于多维视觉传感器的真空机械手防碰撞检测系统，包括：一个真空机械手设备系统1，用于正常工作，搭载、搬运晶圆；两组高清摄像头，其中一组为x-y轴高清监测摄像头2，安装于所述真空机械手设备系统1中真空机械手的工作台面正上方，用于检测真空机械手x-y轴水平面运动位置和姿态的变化；另一组为z轴高清监测摄像头3，于所述真空机械手侧面垂直放置，用于检测真空机械手伸缩轴方向上的位置变化；两组摄像头配套支架4，分别用于支撑安置所述x-y轴高清监测摄像头2和z轴高清监测摄像头3。

PC机图像数据处理器，实时监控处理所述x-y轴高清监测摄像头2和z轴高清监测摄像头3采集的图像数据信息，并与控制系统完成通信，传递真空机械手的位姿状态信息，构建起控制链层级上的反馈回路。

当所述控制系统获得真空机械手的位置信息，并实时判断其处于危险状态，控制系统采取保护措施，控制真空机械手停止工作。

为了保证x-y轴高清摄像头2的有效工作，将其安置在距离真空机械手操作台平面一定高度的位置处，这里安置的高度即为高清摄像头组的工作距离，记为S，此时，该组高清摄像头的视野角度范围记为2θ，同时，x-y轴高清摄像头2的视野覆盖平面的区域半径，记为R。

具有伸缩轴的z轴高清监测摄像头3放置在距离真空机械手设备系统1水平位置S＇处，由于真空机械手设备系统1在Z轴方向伸缩变化的尺度较小，需要监控的范围有限，因此，具有伸缩轴的z轴高清监测摄像头3的实际安置位置没有较为严苛的定量，能够保证其有效正常工作即可。

x-y轴高清监测摄像头2和z轴高清监测摄像头3两组高清摄像头采集到的图像信息通过数据线实时传送到PC机图像数据处理器5，在PC机上计算分析当前真空机械手的最前端的位置坐标信息以及相关的位姿状态信息并实时反馈到控制系统。控制系统获得真空机械手的相关位置信息，从而实时判断其是否处于安全正常工作状态，如果收到异常示警信号，控制系统得以及时采取保护措施，控制真空机械手停止工作。

如图1至图3所示，一种上述真空机械手防碰撞检测系统的检测方法，包括以下步骤：设定机器人本体运动状态安全临界位置参数，即当检测到真空机械手运动位置超出了临界区域，表明机器人处于异常工作状态；x-y轴高清监测摄像头2和z轴高清监测摄像头3实时检测、跟踪真空机械手，并把采集到的图像发送到PC机数据处理器5；PC机对接收到的图像信息进行实时提取处理，分析计算真空机械手最前端位置的坐标参数及机械手的运动速度和加速度信息，通过构建起的通信线路将相关信息反馈到控制系统；控制系统通过分析处理接收到的信息判断机械手运动状态，做出有效安全控制决策。

所述检测方法为视觉系统防碰撞检测算法，具体包括以下步骤：

S1、首先初始化系统参数，设定真空机械手运动的安全临界位置X，此安全距离为机械手最前端位置与机械手旋转轴心之间的距离，启动视觉系统，完成高清摄像头组的标定和矫正工作，明确摄像头的外部参数和内部参数，以利于在检测识别的过程中获取到更加准确的位置信息。

S2、然后，检测识别真空机械手上的特定标签，尺寸大小为L×W，分析计算采集到的图像上标签占据的像素尺寸l×w，这样，通过下式即计算出图像与实物之间的比例尺度scale：

即表示在图像中，实际物体大小被放缩了scale倍。

S3、基于高清摄像头采集到的图像信息，通过PC机检测识别其中包含的目标真空机械手；在机器人未搭载晶圆的过程中，找到图像中真空机械手的轮廓范围，保留轮廓最前端的位置坐标即为机械手当前位置的最前端，记为x；在机器人搬运晶圆的过程中，检测图像中的圆轮廓并作匹配识别，找到晶圆的位置，进而确定机械手的最前端位置x。

根据系统初始化设定的参数X，计算出真空机械手运动轨迹在图像上的像素安全临界位置半径，记为r；真空机械手运动的安全临界位置X限定小于x-y轴高清摄像头组的视野覆盖平面的区域半径R(未知)，R通过摄像头的参数求得，计算公式如下：

R＝S*tan(θ)

其中，高清摄像头组的工作距离已知为S，高清摄像头组的工作视野角度范围为2θ，真空机械手运动的安全临界位置X满足X<R。

从而，根据前面已经计算获取到的图像-实际尺寸比例scale即可计算得出真空机械手运动轨迹在图像上的像素安全临界位置半径r，计算公式如下：

r＝X+scale。

S4、当x小于r时，即表明真空机械手处于正常工作状态；当x超出r时，表示当前真空机器人处于异常工作状态，视觉系统需要立即反馈一个相应的示警信号，使控制系统能够及时控制机械手停止工作，避免出现异常碰撞事故。

步骤S3中，通过算法计算得真空机械手的实时位置信息，选取一定时间间隔真空机械手的两个位置状态，分别记为s1和s2，间隔时间为Δt，从而计算出机械手的运动速度v；同时，选取一定时间间隔真空机械手的两个运动状态，运动速度记为v1和v2，间隔时间为Δt，容易计算出机械手的运动加速度信息a；视觉系统实时将真空机械手的运动位置、速度和加速度信息反馈给控制系统，从而实现真空机械手工作状态的实时监控，保障真空机器人的有效安全工作。

本发明所述的基于多维视觉传感器的真空机械手防碰撞检测系统及检测方法，通过添加两组高清摄像头和一台PC机图像数据处理器，构建起了一套基于多维视觉传感器的真空机械手防碰撞检测系统，能够实时监控真空机械手的位置、速度和加速度等信息并反馈给控制系统，同时，当检测到真空机械手出现异常工作状态时，视觉系统会向控制系统发送相应的示警信号，从而及时采取保护措施，保障了真空机械手的有效安全工作，减免不必要的潜在损失。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (4)

1.一种基于多维视觉传感器的真空机械手防碰撞检测系统，其特征在于包括：

真空机械手设备系统，用于搭载、搬运晶圆；

x-y轴高清监测摄像头，安装于所述真空机械手设备系统中真空机械手的工作台面正上方，用于检测真空机械手x-y轴水平面运动位置和姿态的变化；

z轴高清监测摄像头，于所述真空机械手侧面垂直放置，用于检测真空机械手伸缩轴方向上的位置变化；

摄像头配套支架，用于支撑所述x-y轴高清监测摄像头和z轴高清监测摄像头；

PC机图像数据处理器，实时监控处理所述x-y轴高清监测摄像头和z轴高清监测摄像头采集的图像数据信息，并与控制系统完成通信，传递真空机械手的位姿状态信息，构建起控制链层级上的反馈回路；

当所述控制系统获得真空机械手的位置信息，并实时判断其处于危险状态，控制系统采取保护措施，控制真空机械手停止工作。

2.一种上述权利要求1所述的基于多维视觉传感器的真空机械手防碰撞检测系统的检测方法，其特征在于包括以下步骤：

设定机器人本体运动状态安全临界位置参数，即当检测到真空机械手运动位置超出了临界区域，表明机器人处于异常工作状态；

x-y轴高清监测摄像头和z轴高清监测摄像头实时检测、跟踪真空机械手，并把采集到的图像发送到PC机数据处理器；

PC机对接收到的图像信息进行实时提取处理，分析计算真空机械手最前端位置的坐标参数及机械手的运动速度和加速度信息，通过构建起的通信线路将相关信息反馈到控制系统；控制系统通过分析处理接收到的信息判断机械手运动状态，做出控制决策。

3.根据权利要求2所述的检测方法，其特征在于：

所述检测方法为视觉系统防碰撞检测算法，具体包括以下步骤：

S1、首先初始化系统参数，设定真空机械手运动的安全临界位置X，此安全距离为机械手最前端位置与机械手旋转轴心之间的距离，启动视觉系统，完成高清摄像头组的标定和矫正工作，明确摄像头的外部参数和内部参数，以利于在检测识别的过程中获取到更加准确的位置信息；

S2、然后，检测识别真空机械手上的特定标签，尺寸大小为L×W，分析计算采集到的图像上标签占据的像素尺寸l×w，这样，通过下式即计算出图像与实物之间的比例尺度scale：

即表示在图像中，实际物体大小被放缩了scale倍；

S3、基于高清摄像头采集到的图像信息，通过PC机检测识别其中包含的目标真空机械手；

在机器人未搭载晶圆的过程中，找到图像中真空机械手的轮廓范围，保留轮廓最前端的位置坐标即为机械手当前位置的最前端，记为x；

在机器人搬运晶圆的过程中，检测图像中的圆轮廓并作匹配识别，找到晶圆的位置，进而确定机械手的最前端位置x；

根据系统初始化设定的参数X，计算出真空机械手运动轨迹在图像上的像素安全临界位置半径，记为r；

真空机械手运动的安全临界位置X限定小于x-y轴高清摄像头组的视野覆盖平面的区域半径R，R通过摄像头的参数求得，计算公式如下：

R＝S*tan(θ)

其中，高清摄像头组的工作距离已知为S，高清摄像头组的工作视野角度范围为2θ，真空机械手运动的安全临界位置X满足X<R；

从而，根据前面已经计算获取到的图像-实际尺寸比例scale即可计算得出真空机械手运动轨迹在图像上的像素安全临界位置半径r，计算公式如下：

r＝X*scale；

S4、当x小于r时，即表明真空机械手处于正常工作状态；

当x超出r时，表示当前真空机器人处于异常工作状态，视觉系统需要立即反馈一个相应的示警信号，使控制系统能够及时控制机械手停止工作，避免出现异常碰撞事故。

4.根据权利要求3所述的检测方法，其特征在于：

步骤S3中，通过算法计算得真空机械手的实时位置信息，选取一定时间间隔真空机械手的两个位置状态，分别记为s1和s2，间隔时间为Δt，从而计算出机械手的运动速度v；

同时，选取一定时间间隔真空机械手的两个运动状态，运动速度记为v1和v2，间隔时间为Δt，计算出机械手的运动加速度信息a；

视觉系统实时将真空机械手的运动位置、速度和加速度信息反馈给控制系统，从而实现真空机械手工作状态的实时监控。