CN111823224A - 一种光学镜片自动摆盘系统 - Google Patents

Abstract

本发明公开了一种基于视觉的光学镜片自动摆盘系统，以光学镜片为对象，根据光学镜片的加工工艺流程设计，该系统的软件部分主要是电脑客户端，通过智能化机器视觉识别算法实现了镜片圆心定位和正反面识别；硬件部分包括：照明系统、成像系统、电气模块和安全保护四个部分，并且使用拥有四个自由度的机械臂，配合一个自由度的旋转气缸，使机械臂共拥有五个自由度，用于将散乱的镜片整齐有序地摆放到工装盘，以便后续进行清洗或镀膜操作。本发明具有摆盘效率高、成本低、出错率低等优点。

Description

一种光学镜片自动摆盘系统

技术领域

本发明涉及图像处理技术，具体涉及一种光学镜片自动摆盘系统。

背景技术

光学镜片在市场中有广阔的应用前景，在光学零件加工过程中，经常需要将微小且无序摆放的镜片进行有序摆盘，但现有的摆盘方式存在着机械化程度低等问题。此类工作重复性高、工作场景单一，目前往往依靠人工完成，对人力需求量较大，效率低、成本高。所以市场上急需一种可以代替人工来完成此类精细工作的机器。近几年机器视觉技术的蓬勃发展，使实现这一目标变成了现实。

发明内容

本发明的目的在于提供一种基于视觉的光学镜片自动摆盘系统。

实现本发明的技术解决方案为：一种基于视觉的光学镜片自动摆盘系统，该系统的软件部分主要是电脑客户端，实现了镜片圆心定位和正反面识别；硬件部分包括：电气模块、照明系统、成像系统和安全保护模块，实现了机械臂准确抓取与摆放镜片。

所述电脑客户端软件主要用于在机械臂吸取镜片前进行一系列准备工作。利用机器视觉的方法识别镜片所在位置，进行边缘检测并准确定位其圆心，识别镜片的正反面，确定需要进行抓取的镜片，同时进行坐标校正，保证机械臂与料盘在同一坐标系下。

所述电气模块包括空气电磁阀、真空发生器、旋转气缸、气压表等装置，主要用于控制机械臂的动作，控制机械臂抓取与摆放镜片，控制机械臂“启动”、“暂停”、“复位”、“紧急复位”以及设备总电源的通断。

所述照明与成像系统用于稳定准确的获取镜片的图像，这是系统能够精确校准零点的前提，也是系统能够正常运作并且实现功能要求的前提。

所述安全保护模块是一个安全光幕即光电安全保护系统，由于机械臂运行过程中具有潜在危险，该模块可防止作业人员与机器协同工作时受到人身伤害。

作为一种优选实施方式，采用Canny算法进行边缘检测，再使用Hough圆变换算法计算的光学镜片的圆心位置。

作为一种优选实施方式，根据镜片正反两面表面成像不同，采用pHash算法来进行图像匹配，以区分正反面。

作为一种优选实施方式，本系统采用基于二维伽马函数光照不均匀图像自适应校正算法，实现对光照不均匀图像的校正。

作为一种优选实施方式，所述照明系统采用了一种工业级LED面阵平行光源，增加了镜片内部与边缘的反差，有助于识别图像的边界，消除边界效应。

作为一种优选实施方式，所述成像系统选择了一种体型较小，便于安装在光学组件下方的工业相机。

作为一种优选实施方式，所述机械臂本身拥有四个自由度，配合一个自由度的旋转气缸，共五个自由度，可保证机械臂能够吸取到料盘上任意位置的镜片。为减少对镜片的损伤，机械臂底部使用吸附型手爪。

作为一种优选实施方式，所述电气模块，包括空气电磁阀、真空发生器、旋转气缸、气压表等装置，通过机械臂控制器的IO，实现电气模块各元件的工作状态控制。进一步的，该系统使用的空气电磁阀的气压范围是0.15MPa-0.8MPa，其作用主要是控制旋转气缸是否旋转；真空发生器有真空产生阀和真空破坏阀，用于吸取或释放镜片；旋转气缸的旋转角度调节为90度，其主要作用就是在吸到镜片之后，可以实现水平或者竖直摆盘。

一种基于上述光学镜片自动摆盘系统的光学镜片摆放方法，包括以下步骤：

步骤1：电脑客户端软件运行，开启相机，使用MASK编辑功能，自由缩放 MASK框的大小和位置，把视场中需要搬运的镜片置于MASK框中；

步骤2：进行系统测试，使用圆心定位算法对视场中的镜片进行位置识别、数量统计；

步骤3：进行模式选择，选择摆盘方式：镜片全部摆盘或者单面摆盘并选定正、反面，若选择单面摆盘，则运行正反面识别算法，视场中不同状态下的镜片以不同颜色显示；

步骤4：系统软件在完成图像处理之后，由于相机与机械臂不在同一个坐标系下，为了保证机械臂抓取镜片的准确率以及成功率，进行坐标转换；

步骤5：将镜片坐标通过RS232串口发给机械臂控制器，机械臂获得位置坐标之后，进行抓取与摆放动作；

步骤6：机械臂获得坐标之后，移动到坐标位置，控制真空发生器的产生阀的IO将镜片吸起来，之后控制空气电磁阀的IO调整角度，然后将镜片放在指定位置，再关闭真空并打开破坏阀，相应操作也是控制对应的IO；

步骤7：一个镜片的摆放完成后，机械臂控制器会通过串口发送给电脑客户端，电脑客户端再将第二个镜片的坐标发过来，依次类推，直到最后一个镜片。

本发明与现有技术相比，其显著优点在于：以光学镜片为对象，根据光学镜片的加工工艺流程，提出了一种具有摆盘效率高、成本低、出错率低等特点的光学镜片自动摆盘系统，非常适合在市场上普及与推广。

附图说明

图1为本发明光学镜片自动摆放系统电脑客户端软件界面。

图2为本发明光学镜片自动摆放系统机械臂结构图。

图3为本发明光学镜片自动摆放系统整体布局图。

图4为本发明光学镜片自动摆放系统机械臂与相机相对位置图。

图5为本发明光学镜片自动摆放系统电气模块设计图。

图6为本发明光学镜片自动摆放系统气路图。

具体实施方法

下面结合附图和具体实施例，对本发明方案作进一步说明。

如图1所示，一种光学镜片自动摆盘系统，该系统的软件部分主要是电脑客户端，用于实现镜片圆心定位和正反面识别；硬件部分包括：电气模块、照明与成像系统和安全保护模块，用于实现机械臂准确抓取与摆放镜片。

所述电脑客户端软件作为系统控制部分，是实现系统功能的核心部分。该软件主要在机械臂进行吸取镜片前进行一系列准备工作。利用机器视觉的方法识别镜片所在位置，进行边缘检测并准确定位其圆心，识别镜片的正反面，确定需要进行抓取的镜片，同时进行坐标校正，保证机械臂与料盘在同一坐标系下。

下面详细介绍涉及的图像处理算法。

一、圆心定位

检测圆形镜片，可利用Hough变换算法检测得到。在笛卡尔坐标系中圆的方程为：(x-a)²+(y-b)²＝r²。其中(a,b)为圆心，r为半径。

对于XOY平面的一个点(x₀,y₀)，则对应的由a,b,r组成三维空间的空间曲面。对于abr曲面上的一个点，则对应的在xoy平面它是一个圆。在XOY平面上取三点(x₀,y₀)，(x₁,y₁)，(x₂,y₂)，在abr三维空间对应的是3个空间曲面。求解以下3个方程：

(x₀-a)²+(y₀-b)²＝r²

(x₁-a)²+(y₁-b)²＝r²

(x₂-a)²+(y₂-b)²＝r²

可得到a，b，r的值，从而确定圆心(a，b)和半径r。圆周上任意三个点为一选举点，而这三个点所确定的圆则为一侯选圆。遍历圆周上所有点，对任意三个点所确定的候选圆进行投票。遍历结束后，得票数最高点(理论上圆周上任意三点确定的圆在Hough变换后均对应三维参数空间中的同一点)，所确定的圆即为该圆周上绝大多数点所确定的圆，即绝大多数点均在该当选圆的圆周上，以此确定该圆。

由于三维空间的计算量大大增大的原因,我们选择更为灵活的Hough梯度法。它的原理依据是圆心一定是在圆上的每个点的模向量上，这些圆上点的模向量的交点就是圆心,这样三维的累加平面就又转化为二维累加平面。然后根据所有候选中心的边缘非0像素对其的支持程度来确定半径。

具体步骤如下：对采集到的图像进行中值滤波，灰度化处理，边缘检测后, 再通过Hough变换检测光学镜片，并获取圆心坐标，实现圆心定位。边缘检测采用Canny算法。首先为了平滑图像，使用高斯滤波器与图像进行卷积，该步骤将平滑图像，以减少边缘检测器上明显的噪声影响。大小为(2k+1)x(2k+1)的高斯滤波器核的生成方程式由下式给出：

其中1≤i,j≤(2k+1)。

使用边缘差分算子Sobel算子计算水平和垂直方向的差分G_x和G_y，其公式如下：

其中A代表原始图像。

梯度大小为：

梯度方向角为：

再运用非极大值抑制，进行边缘细化。最后通过双阈值检测抑制孤立的弱边缘完成检测。

边缘检测后，对边缘图像中的每一个非零点，使用Sobel算子计算局部梯度。从边缘点，沿着梯度和梯度的反方向，对参数指定的每一个像素，在累加器中累加，同时记下边缘图像中每一个非0点的位置。然后从二维累加器中这些点中选择大于给定阈值并且大于其所有近邻的候选中心，并按照累加值降序排列，以便于最支持像素的中心首先出现。再将所有非0像素按照其与中心的距离排序，从到最大支持的中心的最小距离算起，选择非零像素最支持的一条半径。如果一个中心受到边缘图像非0像素的充分支持，并且到前期被选择的中心有足够的距离。则将圆心和半径压入到序列中，得以保留。

二、正反面识别

根据镜片正反两面表面成像不同，采用图像匹配算法来区分正反面。目前大部分图像相似检索算法都是量化图像间的差异，通过阈值对其进行形似判定。 pHash(感知哈希)算法基于频域实现，通过离散余弦变换极大保留了图片的低频部分，保留了更多的图像细节，提高了准确率。因此，我们采用pHash算法来进行图像匹配。

pHash算法首先利用离散余弦变换(DCT)将图像从像素域变换到频率域，再保留其频率系数矩阵的左上角区域元素来计算图像哈希，增加更多的图像细节。DCT变换公式如下所示：

其中x,y是像素域中元素的坐标，f(x,y)是对应元素的值，n是像素矩阵的阶。u，v是频率域中元素的坐标，F(u,v)是转换后频率域的系数矩阵的元素，将系数矩阵记为M_n×n，其中m_k×k为左上角k×k矩阵。

在得到了图像的哈希值后，再计算两张图片哈希值的汉明距离，距离越小图片相似度越高。Hash值为二进制字符串，两个等长字符串之间的汉明距离是两个字符串对应位置的不同字符的个数。

三、坐标转换

在工业现场中，相机拍到的图像有一个相机坐标系，而机械臂自身也有自己的坐标系，所以当机械臂抓取相机坐标下的目标物时，需要将机械臂坐标系和相机坐标系相互转换。

具体操作为：相机检测到目标在图像中的像素位置后，通过标定好的坐标转换矩阵将相机的像素坐标转换到机械臂的空间坐标中去，然后根据机械臂坐标系向电机发出运动指令，从而控制机械臂到达目标位置。

本系统中采用的坐标转换标定方法为九点标定法。

九点标定法直接建立相机和机械臂之间的坐标变换关系。摄像机和九点标定板不动，让机械臂的末端去遍历这9个点，得到在机械臂坐标系中的坐标，同时用相机识别9个点得到像素坐标，这样就得到9组对应的坐标。

假设

为机械臂坐标，

为相机坐标，旋转矩阵

位移向量

[R|T]即为相机的外参数，求解转换矩阵就是求解相机的外参数矩阵。机械臂坐标和相机坐标满足以下公式关系：

即

由数学原理可知，至少要选取三个点才能求解出外参数矩阵。求解过程如下：

即

即

为了更精确的得到转换矩阵，采集了9个点的对应坐标，从而算出相应参数。有了相机的外参数矩阵，先将目标的标定坐标转换为相机的像素坐标，再转换为机械臂坐标系下的坐标。

四、阴影消除

在图像采集过程中，由于场景的光照不均匀，造成图像中亮的区域光线过强，而暗的区域照度不足，导致图像的一些重要细节无法凸显甚至被掩盖掉，严重影响图像的视觉效果^[6]。所以，消除不均匀光照对图像的影响在图像处理中很有必要。本系统中采用基于二维伽马函数光照不均匀图像自适应校正算法，实现对光照不均匀图像的校正。

真实场景图像中的光照分量主要存在于图像的低频部分，且整体变化平缓，所以采用多尺度高斯函数的方法来提取图像的光照分量。高斯函数的形式如下：

其中c是尺度因子，λ为归一化常数，确保高斯函数满足归一化条件，即∫∫G(x,y)dxdy＝1。利用高斯函数和原图像做卷积，即可得到光照分量的估计值，其结果如下：

I(x,y)＝F(x,y)G(x,y)

其中F(x,y)为输入图像，I(x,y)为估计的光照分量。利用不同尺度的高斯函数分别提取的光照分量进行加权，最后得到的光照分量的估计值，其表达式为：

其中w_i为第i个尺度高斯函数提取出的光照分量的权系数，N为用到的尺度数，考虑光照分量提取的精度和运算量间的均衡，N取3较为合适。

在提取出光照分量后，利用光照分量自适应地调整二维伽马函数的参数。对于输入图像F(x,y)，构造一种新的二维伽马函数，其表达式如下：

其中O(x,y)为校正后输出图像的亮度值，γ为亮度增强的指数值，m为光照分量的亮度均值。为避免RGB通道互相影响，整个处理过程是在HSV色彩空间进行的，对其中的亮度分量V进行处理，最后再从HSV空间转化到RGB空间。

如图3所示，光学镜片摆盘系统是一个庞大的结合体，机械整体设计是各部分相互协作，有机结合的框架基础。本设计，根据机械臂的活动范围和料盘的尺寸设计出台面的大小，再根据台面和机械臂的有效范围，得出将机械臂安装在台面的左上角是布局最优设计；而且取料盘放在右边更合适，台面右部分空间大，便于料盘的取放，位置调整和软件的视区校正；摆镜片的放料盘位置几乎不会改动，所以放在台面的左下部分更合适。

如图4所示，本系统采用了一种工业级LED面阵平行光源，增加了镜片内部与边缘的反差，有助于识别图像的边界，消除边界效应。光源和相机的位置设计一般有两种，一种是在取料盘的正上方，还有一种是将光源和相机安装在机械臂的运动末端，随着机械臂运动，这样的优点是保证同坐标系，精度高但是运动速度慢，由于本系统需要保证效率，有高速要求，通过算法的优化，精度也可以满足，所以选择第一种布局设计。相机从方形光源正中的孔里伸出来，捕获所需要的图像。

如图5和图6所示，为保证各元件能够协同工作，通过机械臂程序里对IO 的控制实现。工作机制如下：获得目标坐标之后，机械臂控制器控制真空发生器的产生阀的IO，使机械臂末端吸盘将镜片吸起，运动过程控制空气电磁阀的IO 调整角度，并将镜片放在指定位置，再关闭真空产生阀并打开破坏阀使吸盘放下镜片。这样一个镜片的操作就完成了，机械臂控制器会通过串口告诉上位机软件，软件再将第二个镜片的坐标发过来，依次类推下去，直到最后一个镜片。

Claims (8)

1.一种基于视觉的光学镜片自动摆盘系统，其特征在于，该系统的软件部分是电脑客户端，用于在机械臂进行吸取镜片前进行一系列准备工作，利用机器视觉的方法识别镜片所在位置，进行边缘检测并准确定位其圆心，识别镜片的正反面，确定需要进行抓取的镜片，同时进行坐标校正，保证机械臂与料盘在同一坐标系下；

该系统的硬件部分包括：机械臂、电气模块、照明系统、成像系统和安全保护模块，所述电气模块用于控制机械臂的动作，控制机械臂抓取与摆放镜片，控制机械臂“启动”、“暂停”、“复位”、“紧急复位”以及设备总电源的通断；所述照明系统与成像系统用于获取镜片的图像；所述安全保护模块用于防止作业人员与机器协同工作时受到人身伤害。

2.根据权利要求1所述的光学镜片自动摆盘系统，其特征在于，所述电脑客户端采用Canny算法进行边缘检测，再使用Hough圆变换算法计算的光学镜片的圆心位置。

3.根据权利要求1所述的光学镜片自动摆盘系统，其特征在于，所述电脑客户端根据镜片正反两面表面成像不同，采用pHash算法来进行图像匹配，以区分正反面。

4.根据权利要求1所述的光学镜片自动摆盘系统，其特征在于，所述电脑客户端采用基于二维伽马函数光照不均匀图像自适应校正算法，实现对光照不均匀图像的校正。

5.根据权利要求1所述的光学镜片自动摆盘系统，其特征在于，所述照明系统采用工业级LED面阵平行光源。

6.根据权利要求1所述的光学镜片自动摆盘系统，其特征在于，所述机械臂本身拥有四个自由度，配合一个自由度的旋转气缸，共五个自由度。

7.根据权利要求1所述的光学镜片自动摆盘系统，其特征在于，所述电气模块，包括空气电磁阀、真空发生器、旋转气缸、气压表，所述空气电磁阀的气压范围是0.15MPa-0.8MPa，用于控制旋转气缸是否旋转；所述真空发生器有真空产生阀和真空破坏阀，用于控制吸取或释放镜片；所述旋转气缸的旋转角度调节为90度，用于在吸到镜片之后，实现水平或者竖直摆盘。

8.基于权利要求1-7任意一项所述的光学镜片自动摆盘系统的光学镜片摆放方法，其特征在于，包括以下步骤：

步骤1：电脑客户端软件运行，开启相机，使用MASK编辑功能，自由缩放MASK框的大小和位置，把视场中需要搬运的镜片置于MASK框中；

步骤2：进行系统测试，使用圆心定位算法对视场中的镜片进行位置识别、数量统计；

步骤3：进行模式选择，选择摆盘方式：镜片全部摆盘或者单面摆盘并选定正、反面，若选择单面摆盘，则运行正反面识别算法，视场中不同状态下的镜片以不同颜色显示；

步骤4：系统软件在完成图像处理之后，由于相机与机械臂不在同一个坐标系下，为了保证机械臂抓取镜片的准确率以及成功率，进行坐标转换；

步骤5：将镜片坐标通过RS232串口发给机械臂控制器，机械臂获得位置坐标之后，进行抓取与摆放动作；

步骤6：机械臂获得坐标之后，移动到坐标位置，控制真空发生器的产生阀的IO将镜片吸起来，之后控制空气电磁阀的IO调整角度，然后将镜片放在指定位置，再关闭真空并打开破坏阀，相应操作也是控制对应的IO；

步骤7：一个镜片的摆放完成后，机械臂控制器会通过串口发送给电脑客户端，电脑客户端再将第二个镜片的坐标发过来，依次类推，直到最后一个镜片。

Images