CN107976147A - 一种基于机器视觉的玻璃定位检测装置 - Google Patents

Abstract

一种基于机器视觉的玻璃定位检测装置，包括与计算机连接的双目视觉传感器，双目视觉传感器位于玻璃的上方，玻璃的四个角设有角标志点，玻璃的四个边设有若干边标志点，双目视觉传感器将采集到的图像传输给计算机通过软件进行处理分析；利用黑色消光剂和高亮反光膜设计了角标志点和边标志点，采用基于红外光源、标志点和窄带滤光片相结合的视觉成像装置，避免了玻璃反光现象对机器视觉识别的影响，并能消除外界环境光的干扰，获得清晰稳定的标志点图像，结合涂胶机，可以减轻人工劳动强度，提高工作效率和加工精度，从而使得玻璃幕墙涂胶工艺更具自动化智能化。

Description

一种基于机器视觉的玻璃定位检测装置

技术领域

本发明涉及玻璃幕墙制造技术领域，特别涉及一种基于机器视觉的玻璃定位检测装置。

背景技术

随着高层建筑的兴起，具有环保、美观、采光充足的玻璃幕墙在各种建筑中得到了广泛应用。在玻璃幕墙的加工中，最重要的环节就是将玻璃固定到铝合金边框上，然后沿玻璃边缘进行涂胶，将玻璃与铝合金边框粘合到一起组成玻璃幕墙板块。现有的自动涂胶机主要针对尺寸较小的规则工件，而且采用夹具夹持定位方法将其固定在指定的位置，如电子元器件点胶机和汽车挡风玻璃涂胶等。而玻璃幕墙最大尺寸可达4m*2m，重量高达几百公斤，采用夹具很难在传送带上将其移动到指定的位置，现有的自动涂胶机涂胶难以满足玻璃幕墙的涂胶要求。针对玻璃幕墙加工过程中的涂胶工艺环节，目前国内外大多加工企业只能采用人工手持胶枪完成涂胶。随着建筑行业的发展，未来的写字楼、住宅等建筑对玻璃幕墙的需求量将越来越大，而依靠人工完成玻璃幕墙涂胶的方式，其效率已远远达不到生产的需求。因此设计新的自动化涂胶设备提高生产效率，降低劳动强度，改善工作环境成为玻璃幕墙生产企业亟需解决的问题。

玻璃幕墙的重量和尺寸通常都比较大，而且有时其形状大小也有不同要求，即使同一型号的玻璃幕墙由人工进行组装并放置到轨道传送带，由于组装误差和放置偏差，每块玻璃幕墙传送到涂胶工位时，其位置也会各自不同，而且由于传送带的不平整还会造成玻璃幕墙相对涂胶机在高度方向存在±20mm的偏差。正是由于玻璃幕墙相对于涂胶机位置的不确定性，使得涂胶机无法按照事先指定的路径实现自动涂胶。这就要求对每个玻璃幕墙的玻璃边缘进行检测定位，自动生成涂胶路径，引导涂胶机沿玻璃边缘进行涂胶。

基于机器视觉的检测定位技术由于其具有获得信息快速、信息量丰富、实时性较强及非接触的优点，被广泛应用与定位检测。但是由于玻璃具有很强的反光特点，严重影响后期的图像处理，为玻璃边缘的视觉检测带来非常大的难度。目前还没有发现将机器视觉测量技术和标志点相结合的检测装置和方法应用于玻璃定位与检测的文献发表。

发明内容

为了克服上述现有技术的缺点，本发明的在于提供一种基于机器视觉的玻璃定位检测装置，能够对玻璃进行精确定位，实现涂胶自动化。

为了达到上述目的，本发明采取的技术方案为：

一种基于机器视觉的玻璃定位检测装置，包括与计算机5连接的双目视觉传感器1，双目视觉传感器1位于玻璃4的上方，玻璃4的四个角设有角标志点2，玻璃4的四个边设有若干边标志点3，双目视觉传感器1将采集到的图像传输给计算机5通过软件进行处理分析。

所述的双目视觉传感器1包括一个外壳1-1，外壳1-1上安装有相互倾斜的左相机1-2和右相机1-3，左相机1-2、右相机1-3中间外壳1-1上安装有与测量平面平行的940nm红外光源1-4，左相机1-2、右相机1-3的镜头前分别安装有第一红外窄带滤光片1-5、第二红外窄带滤光片1-6，红外光源1-4发射红外光照射到角标志点2或边标志点3上，经标志点反光进入左相机1-2、右相机1-3成像。

所述的角标志点2是由一个铝合金三面角码2-1和一块第一高亮反光膜2-2构成，三面角码2-1由互相垂直的两个长方形侧面和一个五边形上端面构成，各侧面的厚度均为d1，三面角码2-1的两个侧面内侧相交区域设计了一个倒角，并在表面喷涂黑色消光剂；第一高亮反光膜2-2的图案为将一正方形切掉一个角构成的五边形，正方形的四个顶点分别为A、B、C、D，切掉的正方形顶点称为角标志点虚点C，其对角顶点称为角标志点的主点A，切掉顶点C后形成的两个新角点分别为E、F，并且CE与CF的长度相等；将第一高亮反光膜2-2粘贴到三面角码2-1的上端面上，第一高亮反光膜2-2的两个长直角边与三面角码2-1的两个侧面外表面距离为d1。

所述的边标志点3是由一个L型铝合金角件3-1和一块第二高亮反光膜3-2构成；铝合金角件3-1由一窄一宽两个互相垂直的长方形侧面构成，各侧面的厚度均为d1，表面喷涂黑色消光剂；第二高亮反光膜3-2的图案为将一长方形切掉一个角构成的五边形，长方形的四个顶点分别为A’、B’、C’、D’，切掉的长方形顶点称为边标志点虚点C’，其对角点称为边标志点的主点A’，切掉顶点C’后形成的两个新角点分别为E’、F’，并且C’E’与C’F’的长度相等；将第二高亮反光膜3-2粘贴到铝合金角件3-1的长方形侧面上，第二高亮反光膜3-2的最长直角边与L型铝合金角件棱边的距离为d1。

利用一种基于机器视觉的玻璃定位检测装置构成基于机器视觉的玻璃幕墙自动涂胶装置，将双目视觉传感器1安装在涂胶机7的z轴上，并与胶枪8的位置相对固定；待加工玻璃幕墙由玻璃4和铝合金框架6组成，涂胶工艺是沿玻璃4边缘涂抹结构胶将玻璃4和铝合金框架6粘合在一起；涂胶机7上安装有一个对射式光电开关9，用于自动检测待涂胶玻璃幕墙是否到达涂胶工位。

一种基于机器视觉的玻璃定位检测装置的定位方法，包括以下步骤：

步骤1：初次使用前需要利用张正友标定法对双目视觉传感器左相机1-2、右相机1-3的内参数以及相对位姿进行标定；另外对双目视觉传感器1坐标系与涂胶机7坐标系之间的相对位置关系，即手眼标定；

步骤2：监听光电开关信号，当待涂胶的玻璃4从传送带传输到指定位置时触发光电开关9，停止传送带运动；

步骤3：在玻璃4的四个顶点上放置角标志点2，如果玻璃4的边长长度大于1m，在玻璃4的棱边上间隔角标志点不超过1m处放置边标志点3；

步骤4：标志点放置完毕后，控制涂胶机7沿光电开关9方向带动双目视觉传感器1运动，对角标志点2进行搜索检测；如果能够检测到角标志点2，控制涂胶机7停止运动；如果涂胶机7运动到位置极限仍然检测不到角标志点2，则控制涂胶机7沿原方向反向运动，如果回到初始点仍然检测不到角标志点2，进行报警提示人工干预确认；

步骤5：检测到角标志点2后，在涂胶机7静止状态下再对角标志点2进行检测；对该角标志点2的主点进行双目三维测量，并根据涂胶机7当前位置以及手眼标定结果，将其坐标值转换到涂胶机坐标系下，即为玻璃4的第一个顶点G1，计算角标志点2的D点的坐标值，计算DG1构成的向量，即为向量n；

步骤6：控制涂胶机7带动双目视觉传感器1沿向量n进行运动，并同时搜索检测标志点；当检测到标志点时，判断标志点是角标志点2还是边标志点3，如果是边标志点3，计算边标志点3的主点在涂胶机坐标系下的坐标值，重新计算该点与玻璃4的上一顶点构成的向量，用该向量来修正向量n，控制涂胶机7带动双目视觉传感器1沿新的向量n进行运动搜索标志点；如果是角标志点2，则记录该角标志点2主点为玻璃4的一个顶点；而如果涂胶机7触发限位开关后，还未检测到角标志点2，则控制涂胶机7沿向量n的反方向进行运动搜索，如果回到上一顶点位置还未检测到新的角标志点2，则认为检测失败，请求人工干预；

步骤7：当搜索检测到角标志点2后，判断是否检测到4个角标志点2；如果还未检测到，计算该角标志点2主点与上一次检测到的玻璃4顶点构成向量，记为k，计算该角标志点2两个直角边的空间向量，与向量k垂直的直角边向量记为新的向量n；

步骤8：重复步骤6和步骤7，直到检测到4个角标志点2，得到玻璃4的四个顶点的空间坐标值；

步骤9：计算玻璃4四个顶点构成的空间矩形外形尺寸，并与标准设计值进行比对，如果一致则认为检测正确，否则认为检测失败，报警并请求人工干预；

步骤10：根据检测得到的玻璃4四个顶点的空间坐标值拟合平面，沿平面法向量方向平移标志点的厚度的d1，即得到真正的玻璃顶点坐标值；

步骤11：发送检测成功信号，并自动生成涂胶路径，控制涂胶机7进行涂胶。

本发明的有益效果为：

本发明利用黑色消光剂和高亮反光膜设计了角标志点2和边标志点3，并提供了标志点的检测识别方法，设计了基于红外光源1-4、标志点和窄带滤光片相结合的视觉成像装置，避免了玻璃反光现象对机器视觉识别的影响，并能消除外界环境光的干扰，获得清晰稳定的标志点图像。通过对标志点图像的检测与识别，实现了玻璃4边缘的检测与定位，自动生成涂胶机涂胶路径，本发明结合涂胶机，可以减轻人工劳动强度，提高工作效率和加工精度，从而使得玻璃幕墙涂胶工艺更具自动化智能化。

附图说明

图1为本发明基于机器视觉的玻璃检测与定位装置的示意图。

图2为双目视觉传感器示意图。

图3a为角标志点结构图；图3b为角标志点标志图案示意图。

图4a为边标志点结构图；图4b为边标志点标志图案示意图。

图5为基于机器视觉的玻璃幕墙自动涂胶装置示意图。

图6为自动涂胶机视觉检测与定位流程图。

具体实施方式

下面结合附图对本发明作详细描述。

如图1所示，一种基于机器视觉的玻璃定位检测装置，包括与计算机5连接的双目视觉传感器1，双目视觉传感器1位于玻璃4的上方，玻璃4的四个角设有角标志点2，玻璃4的四个边设有若干边标志点3，双目视觉传感器1将采集到的图像传输给计算机5通过软件进行处理分析。

如图2所示，所述的双目视觉传感器1包括一个外壳1-1，外壳1-1上安装有相互倾斜的左相机1-2和右相机1-3，左相机1-2、右相机1-3中间外壳1-1上安装有与测量平面平行的940nm红外光源1-4，左相机1-2、右相机1-3的镜头前分别安装有第一红外窄带滤光片1-5、第二红外窄带滤光片1-6，红外光源1-4发射红外光照射到角标志点2或边标志点3上，经标志点反光进入左相机1-2、右相机1-3成像，由于左相机1-2、右相机1-3镜头前装有红外窄带滤光片只允许940nm的光通过，因此这种设计可以滤除外界环境光的干扰获得标志点清晰稳定的图像。

如图3所示，所述的角标志点2是由一个铝合金三面角码2-1和一块第一高亮反光膜2-2构成，三面角码2-1由互相垂直的两个长方形侧面和一个五边形上端面构成，其厚度为d1，为保证角标志点2能够紧靠玻璃的直角位置，三面角码2-1的两个侧面内侧相交区域设计了一个倒角，并在表面喷涂黑色消光剂；第一高亮反光膜2-2的图案为将一正方形切掉一个角构成的五边形，正方形的四个顶点分别为A、B、C、D，切掉的正方形顶点称为角标志点虚点C，其对角顶点称为角标志点的主点A，切掉顶点C后形成的两个新角点分别为E、F，并且CE与CF的长度相等；将第一高亮反光膜2-2粘贴到三面角码2-1的上端面上，第一高亮反光膜2-2的两个长直角边与三面角码2-1的两个侧面外表面距离为d1，以保证其位置与玻璃4边缘一致。

如图4所示，所述的边标志点3是由一个L型铝合金角件3-1和一块第二高亮反光膜3-2构成；铝合金角件3-1由一窄一宽两个互相垂直的长方形侧面构成，其厚度为d1，表面喷涂黑色消光剂；第二高亮反光膜3-2的图案为将一长方形切掉一个角构成的五边形，长方形的四个顶点分别为A’、B’、C’、D’，切掉的长方形顶点称为边标志点虚点C’，其对角点称为边标志点的主点A’，切掉顶点C’后形成的两个新角点分别为E’、F’，并且C’E’与C’F’的长度相等；将第二高亮反光膜3-2粘贴到铝合金角件3-1的长方形侧面上，第二高亮反光膜3-2的最长直角边与L型铝合金角件棱边的距离为d1，以保证其位置与玻璃4边缘一致。

如图5所示，利用本发明一种基于机器视觉的玻璃定位检测装置构成基于机器视觉的玻璃幕墙自动涂胶装置，将双目视觉传感器1安装在涂胶机7的z轴上，并与胶枪8的位置相对固定；待加工玻璃幕墙由玻璃4和铝合金框架6组成，涂胶工艺是沿玻璃4边缘涂抹结构胶将玻璃4和铝合金框架6粘合在一起；涂胶机上安装有一个对射式光电开关9，用于自动检测待涂胶玻璃幕墙是否到达涂胶工位。

如图6所示，一种基于机器视觉的玻璃定位检测装置的定位方法，包括以下步骤：

步骤1：初次使用前需要利用张正友标定法对双目视觉传感器左相机1-2、右相机1-3的内参数以及相对位姿进行标定；另外对双目视觉传感器1坐标系与涂胶机7坐标系之间的相对位置关系，即手眼标定；标定完毕后将参数保存，之后在使用过程中只要其相对位置不发生变化，不必再进行标定；

步骤2：监听光电开关信号，当待涂胶的玻璃4从传送带传输到指定位置时触发光电开关9，停止传送带运动；

步骤3：在玻璃4的四个顶点上放置角标志点2，如果玻璃的边长长度大于1m，在玻璃的棱边上间隔角标志点不超过1m处放置边标志点3，边标志点3主要作用是对双目视觉传感器1运动方向的校正，其放置位置没有严格要求，放置时要求将边标志点3紧靠玻璃4以免产生较大误差；

步骤4：标志点放置完毕后，控制涂胶机7沿光电开关9方向带动双目视觉传感器1运动，对角标志点2进行搜索检测；如果能够检测到角标志点2，控制涂胶机7停止运动；如果涂胶机7运动到位置极限仍然检测不到角标志点2，则控制涂胶机7沿原方向反向运动，如果回到初始点仍然检测不到角标志点2，进行报警提示人工干预确认；

步骤5：检测到角标志点2后，在涂胶机7静止状态下再对角标志点2进行检测，这样可以避免运动过程中成像造成的运动模糊影响检测精度；对该角标志点2的主点进行双目三维测量，并根据涂胶机7当前位置以及手眼标定结果，将其坐标值转换到涂胶机坐标系下，即为玻璃4的第一个顶点G1，计算角标志点2的D点的坐标值，计算DG1构成的向量，即为向量n；

步骤6：控制涂胶机7带动双目视觉传感器1沿向量n进行运动，并同时搜索检测标志点；当检测到标志点时，判断标志点是角标志点2还是边标志点3，如果是边标志点3，计算边标志点3的主点在涂胶机坐标系下的坐标值，重新计算该点与玻璃4的上一顶点构成的向量，用该向量来修正向量n，控制涂胶机7带动双目视觉传感器1沿新的向量n进行运动搜索标志点；如果是角标志点2，则记录该角标志点2主点为玻璃4的一个顶点；而如果涂胶机7触发限位开关后，还未检测到角标志点2，则控制涂胶机7沿向量n的反方向进行运动搜索，如果回到上一顶点位置还未检测到新的角标志点2，则认为检测失败，请求人工干预；

步骤7：当搜索检测到角标志点2后，判断是否检测到4个角标志点2；如果还未检测到，计算该角标志点2主点与上一次检测到的玻璃4顶点构成向量，记为k，计算该角标志点2两个直角边的空间向量，与向量k垂直的直角边向量记为新的向量n；

步骤8：重复步骤6和步骤7，直到检测到4个角标志点2，得到玻璃4的四个顶点的空间坐标值；

步骤9：计算玻璃4四个顶点构成的空间矩形外形尺寸，并与标准设计值进行比对，如果一致则认为检测正确，否则认为检测失败，报警并请求人工干预；

步骤10：根据检测得到的玻璃4四个顶点的空间坐标值拟合平面，沿平面法向量方向平移标志点的厚度的d1，即得到真正的玻璃顶点坐标值；

步骤11：发送检测成功信号，并自动生成涂胶路径，控制涂胶机7进行涂胶。

以上内容是结合具体的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (6)

1.一种基于机器视觉的玻璃定位检测装置，包括与计算机(5)连接的双目视觉传感器(1)，其特征在于：双目视觉传感器(1)位于玻璃(4)的上方，玻璃(4)的四个角设有角标志点(2)，玻璃(4)的四个边设有若干边标志点(3)，双目视觉传感器(1)将采集到的图像传输给计算机(5)通过软件进行处理分析。

2.根据权利要求1所述的一种基于机器视觉的玻璃定位检测装置，其特征在于：所述的双目视觉传感器(1)包括一个外壳(1-1)，外壳(1-1)上安装有相互倾斜的左相机(1-2)和右相机(1-3)，左相机(1-2)、右相机(1-3)中间外壳(1-1)上安装有与测量平面平行的940nm红外光源(1-4)，左相机(1-2)、右相机(1-3)的镜头前分别安装有第一红外窄带滤光片(1-5)、第二红外窄带滤光片(1-6)，红外光源(1-4)发射红外光照射到角标志点(2)或边标志点(3)上，经标志点反光进入左相机(1-2)、右相机(1-3)成像。

3.根据权利要求1所述的一种基于机器视觉的玻璃定位检测装置，其特征在于：所述的角标志点(2)是由一个铝合金三面角码(2-1)和一块第一高亮反光膜(2-2)构成，三面角码(2-1)由互相垂直的两个长方形侧面和一个五边形上端面构成，其厚度为d1，三面角码(2-1)的两个侧面内侧相交区域设计了一个倒角，并在表面喷涂黑色消光剂；第一高亮反光膜(2-2)的图案为将一正方形切掉一个角构成的五边形，正方形的四个顶点分别为A、B、C、D，切掉的正方形顶点称为角标志点虚点C，其对角顶点称为角标志点的主点A，切掉顶点C后形成的两个新角点分别为E、F，并且CE与CF的长度相等；将第一高亮反光膜(2-2)粘贴到三面角码(2-1)的上端面上，第一高亮反光膜(2-2)的两个长直角边与三面角码(2-1)两个棱边的距离为d1。

4.根据权利要求1所述的一种基于机器视觉的玻璃定位检测装置，其特征在于：所述的边标志点(3)是由一个L型铝合金角件(3-1)和一块第二高亮反光膜(3-2)构成；铝合金角件(3-1)由一窄一宽两个互相垂直的长方形侧面构成，其厚度为d1，表面喷涂黑色消光剂；第二高亮反光膜(3-2)的图案为将一长方形切掉一个角构成的五边形，长方形的四个顶点分别为A’、B’、C’、D’，切掉的长方形顶点称为边标志点虚点C’，其对角点称为边标志点的主点A’，切掉顶点C’后形成的两个新角点分别为E’、F’，并且C’E’与C’F’的长度相等；将第二高亮反光膜(3-2)粘贴到铝合金角件(3-1)的长方形侧面上，第二高亮反光膜(3-2)的最长直角边与L型铝合金角件棱边的距离为d1。

5.根据权利要求1所述的一种基于机器视觉的玻璃定位检测装置，其特征在于：利用一种基于机器视觉的玻璃定位检测装置构成基于机器视觉的玻璃幕墙自动涂胶装置，将双目视觉传感器(1)安装在涂胶机(7)的z轴上，并与胶枪(8)的位置相对固定；待加工玻璃幕墙由玻璃(4)和铝合金框架(6)组成，涂胶工艺是沿玻璃(4)边缘涂抹结构胶将玻璃(4)和铝合金框架(6)粘合在一起；涂胶机(7)上安装有一个对射式光电开关(9)，用于自动检测待涂胶玻璃幕墙是否到达涂胶工位。

6.一种基于机器视觉的玻璃定位检测装置的定位方法，其特征在于，包括以下步骤：

步骤1：初次使用前需要利用张正友标定法进行双目视觉传感器左相机1-2、右相机1-3的内参数以及相对位姿进行标定；另外对双目视觉传感器(1)坐标系与涂胶机(7)坐标系之间的相对位置关系，即手眼标定；

步骤2：监听光电开关信号，当待涂胶的玻璃(4)从传送带传输到指定位置时触发光电开关(9)，停止传送带运动；

步骤3：在玻璃(4)的四个顶点上放置角标志点(2)，如果玻璃(4)的边长长度大于1m，在玻璃(4)的棱边上间隔角标志点不超过1m处放置边标志点(3)；

步骤4：标志点放置完毕后，控制涂胶机(7)沿光电开关(9)方向带动双目视觉传感器(1)运动，对角标志点(2)进行搜索检测；如果能够检测到角标志点(2)，控制涂胶机(7)停止运动；如果涂胶机(7)运动到位置极限仍然检测不到角标志点(2)，则控制涂胶机(7)沿原方向反向运动，如果回到初始点仍然检测不到角标志点(2)，进行报警提示人工干预确认；

步骤5：检测到角标志点(2)后，在涂胶机(7)静止状态下再对角标志点(2)进行检测；对该角标志点(2)的主点进行双目三维测量，并根据涂胶机(7)当前位置以及手眼标定结果，将其坐标值转换到涂胶机坐标系下，即为玻璃(4)的第一个顶点G1，计算角标志点(2)的D点的坐标值，计算DG1构成的向量，即为向量n；

步骤6：控制涂胶机(7)带动双目视觉传感器(1)沿向量n进行运动，并同时搜索检测标志点；当检测到标志点时，判断标志点是角标志点(2)还是边标志点(3)，如果是边标志点(3)，计算边标志点(3)的主点在涂胶机坐标系下的坐标值，重新计算该点与玻璃(4)的上一顶点构成的向量，用该向量来修正向量n，控制涂胶机(7)带动双目视觉传感器(1)沿新的向量n进行运动搜索标志点；如果是角标志点(2)，则记录该角标志点(2)主点为玻璃(4)的一个顶点；而如果涂胶机(7)触发限位开关后，还未检测到角标志点(2)，则控制涂胶机(7)沿向量n的反方向进行运动搜索，如果回到上一顶点位置还未检测到新的角标志点(2)，则认为检测失败，请求人工干预；

步骤7：当搜索检测到角标志点(2)后，判断是否检测到4个角标志点(2)；如果还未检测到，计算该角标志点(2)主点与上一次检测到的玻璃(4)顶点构成向量，记为k，计算该角标志点(2)两个直角边的空间向量，与向量k垂直的直角边向量记为新的向量n；

步骤8：重复步骤6和步骤7，直到检测到4个角标志点(2)，得到玻璃(4)的四个顶点的空间坐标值；

步骤9：计算玻璃(4)四个顶点构成的空间矩形外形尺寸，并与标准设计值进行比对，如果一致则认为检测正确，否则认为检测失败，报警并请求人工干预；

步骤10：根据检测得到的玻璃(4)四个顶点的空间坐标值拟合平面，沿平面法向量方向平移标志点的厚度的d1，即得到真正的玻璃顶点坐标值；

步骤11：发送检测成功信号，并自动生成涂胶路径，控制涂胶机(7)进行涂胶。