CN106935683A - 一种太阳能电池片高速视觉定位及矫正系统及其方法 - Google Patents

Abstract

本发明涉及一种太阳能电池片高速视觉定位及矫正系统及其方法，系统包括用于在太阳能电池片自动生产线上自动采集太阳能电池片的图像的图像采集模块、用于分析采集到的太阳能电池片图像并对太阳能电池片图像进行定位的图像处理模块、用于控制动作执行模块进行太阳能电池片位置矫正的运动控制模块以及动作执行模块，四者顺序连接；方法的步骤包括：(1系统初始化获取太阳能电池片的标准位置和角度；(2系统后续运行获取太阳能电池片的当前位置和角度；(3太阳能电池片位置和角度矫正；本发明具有定位和角度精度高、定位速度快、自动化程度高、节省人力等优点。

Description

一种太阳能电池片高速视觉定位及矫正系统及其方法

技术领域

本发明涉及视觉检测的技术领域，尤其涉及到一种太阳能电池片高速视觉定位及矫正系统及其方法。

背景技术

光伏产业是我国新能源产业的中坚，国家十三五规划将继续大力发展光伏产业。而光伏组件制造是光伏产业的主要组成部分。光伏组件的生产制造工艺包括太阳能电池片检测分选、电池片串焊、汇流带焊接、排版铺设、中测、层压、装框、接线盒安装以及组件终测等环节，整个生产工艺中基本上每个工艺环节都涉及视觉检测技术，尤其在光伏组件的检测、分选、串焊等工艺环节，因此视觉检测技术的攻关程度将直接影响着整个光伏组件制造的生产效率。

太阳能全自动串焊机主要用于电池片的自动焊接。在串焊前有一道重要的工序是电池片的纠偏定位，电池片的定位精度直接影响串焊机的焊接效果。传统的定位通常以电池片边缘作为定位基准进行机械纠偏，由于电池片的特性极薄易碎，这种定位方式有很多缺陷，譬如：速度慢，增大了工件的损坏几率，无法适应实际生产线中要求等。

发明内容

本发明的目的在于克服现有技术的不足，提供一种定位和角度精度高、定位速度快、自动化程度高、节省人力的太阳能电池片高速视觉定位及矫正系统。

为实现上述目的，本发明所提供的技术方案为：系统包括图像采集模块、图像处理模块、运动控制模块以及动作执行模块，四者顺序连接；其中，所述图像采集模块用于在太阳能电池片自动生产线上自动采集太阳能电池片的图像；

所述图像处理模块用于分析采集到的太阳能电池片图像，对太阳能电池片图像进行定位，并将太阳能电池片的位置和角度数据发送至运动控制模块；

所述运动控制模块用于控制动作执行模块进行太阳能电池片位置矫正。

进一步地，所述图像采集模块包括工业相机和环形照明光源；其中，环形照明光源位于已放好位置的太阳能电池片和工业相机之间，工业相机位于环形照明光源正下方，垂直向上拍摄太阳能电池片。

进一步地，所述图像处理模块包括工控PC机、IO板卡、图像采集卡以及图像处理单元；其中，图像采集卡、图像处理单元、IO板卡均安装在工控PC机内，且三者顺序连接；图像处理模块通过图像采集卡和图像采集模块连接，通过IO板卡与运动控制模块连接。

进一步地，所述运动控制模块包括PLC和伺服电机驱动器；所述动作执行模块为机械手。

为实现上述目的，本发明另外提供一种用于太阳能电池片高速视觉定位及矫正系统的方法，该方法包括以下步骤：

(1系统初始化获取太阳能电池片的标准位置和角度，初始化包括1)相机标定；2)选定ROI区域；3)阈值化处理；4)直线检测；

(2系统后续通过运行与步骤(1一直的步骤获取太阳能电池片的当前位置和角度；

(3太阳能电池片位置和角度矫正。

进一步地，所述步骤(1中相机标定采用柔性算法，使用精确测量的棋盘格标定模板，通过随机变换工业相机或标定模板的位置，令工业相机至少在两个以上相对标定模板的不同方位成像，然后通过角点检测获得角点的图像坐标，进而计算相机参数(d_x，d_y，u₀，v₀)，设从相机获得的原始图像为p(x,y)，校正后的图像为q(u，v)，按如下公式进行转换：

进一步地，所述步骤(1中阈值化处理采用Otsu最大类间方差法进行阈值，公式如下：

δ²(T)＝W_A(μ_a-μ)²+W_B(μ_b-μ)²

其中，δ²(T)为两类间最大方差，W_A为A类概率，μ_a为A类平均灰度，W_B为B类概率，μ_b为B类平均灰度，μ为图像总体平均灰度。

进一步地，所述步骤(1中直线检测包括以下步骤：

((1对阈值化图像进行八领域Freeman链码跟踪；

跟踪canny边缘检测后的边缘点并将其生成链表，在分叉处优先选择可能在同一直线上的边缘点；

((2利用主元分析对边缘像素点集进行简化。拟合出单元线段，以边缘上一点A为中心，(x_t，y_t)为与A的八领域的边缘点A_i的坐标,构造其协方差矩阵，其中，

通过上述协方差矩阵得到特征向量和特征值，其中特征向量代表数据集中点的主分布方向即主元，特征值λ₁代表点集在主分布方向投影长度，特征值λ₂获取数据集的直线度；特征值的计算公式如下:

从特征向量可以获取主分布方向，直线的方向角度为:

然后对其余数据集，将其投影到过点(x_k，y_k)，且方向角为的直线上以获取端点产生线段；

((3用共线性度量删除不合条件的线段，定义两条线段之间共线度为：

其中l为两线段平均长度，d为最接近的一对端点距离，a为两线段之间的夹角，b为两线段中点连线与线段的夹角平均值，T_d，T_a，T_b为归一化阈值参数；

((4将上述拟合的共线短线段进行聚类；

得到短线段后,采用线段聚类的方法从所有短线段中分析可能存在的直线，设给定单元线段AB:S(t)＝(x(t),y(t))，0≤t≤1；

直线L用极坐标表示为：

x cosθ+y sinθ+ρ＝0，

式中d(S(t)，L)表示点到直线L的距离，设线段两端点A,B坐标分别(x₁,y₁),则

x(t)＝x₁+(x₂-x₁)t,

y(t)＝y₁+(y₂-y₁)t,

目标函数为：

根据err(L)最小化条件，对公式关于θ和t求导，计算出θ和t，从而完成拟合过程，从而得到直线L的解析式，将其表示成对应的斜截式：y＝kx+b即可；

((5定位太阳能电池片，选其不变量即相邻两边缘为检测对象，对太阳能电池片进行定位；

设其方程分别为：

y＝k₁x+b；

y＝k₂x+b；

其中，k₁-k₂≠0，所定位的太阳能电池片的图像位置(x₁,y₁)即为两条直线的交点，图像角度α₁为k₁和k₂中的较小值，由此得到太阳能电池片位置和角度的标准值。

进一步地，所述步骤(3太阳能电池片位置和角度矫正，其详细步骤如下：将定位中得到的位置和角度结果与初始化得到的标准值(x₀，y₀)和α₀做差得到(x_d，y_d)和α_d，根据初始化得到的工业相机参数得到太阳能电池片位置的实际偏差(x_r，y_r)，其中，u₀，v₀，d_x，d_y为工业相机参数；将该偏差传输到PLC，PLC控制机械手平移和旋转对太阳能电池片进行位置和角度矫正。

与现有技术相比，本方案的原理以及相应的有益效果如下：

用工业相机、图像处理模块和运动控制模块替代传统的机械校正工位，极大地提高了生产的柔性和自动化程度。并且机器视觉易于实现信息集成，是实现计算机集成制造的基础技术。在实际生产应用中，定位矫正过程在100ms以内，定位精度达到0.1mm，角度精度达到0.1°，精度比现有机械矫正方式提高一倍以上。在大批量工业生产中大大提高了生产效率的同时提高了串焊精度。

附图说明

图1为本发明视觉定位及矫正系统的结构示意图；

图2为本发明视觉定位及矫正系统的流程图。

具体实施方式

下面结合具体实施例对本发明作进一步说明：

参见附图1所示，本实施例所述的一种太阳能电池片高速视觉定位及矫正系统，包括图像采集模块1、图像处理模块2、运动控制模块3以及动作执行模块4，四者顺序连接；

图像采集模块1包括工业相机101和环形照明光源102；其中，环形照明光源102位于已放好位置的太阳能电池片和工业相机101之间，工业相机101位于环形照明光源102正下方，垂直向上拍摄太阳能电池片，拍摄前需调试工业101相机焦距、曝光时间和频闪；该模块用于在太阳能电池片自动生产线上自动采集太阳能电池片的图像；

图像处理模块2包括工控PC机201、IO板卡202、图像采集卡203以及图像处理单元204；其中，图像采集卡203、图像处理单元204、IO板卡202均安装在工控PC机201内，且三者顺序连接；图像处理模块2通过图像采集卡203和图像采集模块1连接，通过IO板卡202与运动控制模块3连接；图像处理单元204的界面基于微软基础库类(MFC)在VS2013开发,界面包括用户模块、显示模块和数据库模块。用户模块主要用于用户管理、模板选取以及系统调试和通讯调试；显示模块主要用于图像显示、处理结果和统计结果的输出；数据库模块存储和管理定位矫正过程的一些参数数据；图像处理模块2用于分析采集到的太阳能电池片图像，对太阳能电池片图像进行定位，并将太阳能电池片的位置和角度数据发送至运动控制模块3；

运动控制模块3包括PLC301和伺服电机驱动器302，用于控制动作执行模块4进行太阳能电池片位置矫正。

动作执行模块4为机械手。

系统的通信主要是工控PC机201与PLC301的数据通信。系统把检测出太阳能电池片的位置信息传输给PLC301，PLC301控制机械手进行位置和角度矫正。PLC301控制工业相机触发信号,工控PC机201与PLC301的通信采用以太网Modbus TCP/IP协议。Telnet通信先进行握手,然后进行数据的读写操作；握手信号成功后,相机充当客户端,通过TcpClient类中的connect方法进行网络通信,利用NetWorkStream类来进行网络数据传输。

如图2所示，视觉定位及矫正系统流程如下：

(1系统初始化获取太阳能电池片的标准位置和角度，初始化包括1)相机标定；2)选定ROI区域；3)阈值化处理；4)直线检测；

相机标定：采用柔性算法，使用精确测量的棋盘格标定模板，标定模板每个小方块的边长为25mm，通过随机变换工业相机或标定模板的位置，令工业相机至少在两个以上相对标定模板的不同方位成像，然后通过角点检测获得角点的图像坐标，进而计算相机参数(d_x，d_y，u₀，v₀)，设从相机获得的原始图像为p(x,y)，校正后的图像为q(u，v)，按如下公式进行转换：

选定ROI区域：待测太阳能电池片为156mm×156mm的多晶硅电池片。当前视觉定位检测多采用工业相机对电池片全局拍摄，但太阳能电池片由于生产工艺，装载运输，现场检测环境等客观因素的影响，导致电池片表面有严重的划痕和噪声，加之表面栅线的影响，拍摄范围增大，误差随之增大。所以，为定位准确，减小误差，本实施例选取电池片长宽各一半(78mm×78mm)，即电池片1/4区域作为图像处理区域。

阈值化处理：采用Otsu最大类间方差法进行阈值，公式如下：

δ²(T)＝W_A(μ_a-μ)²+W_B(μ_b-μ)²，

其中，δ²(T)为两类间最大方差，W_A为A类概率，μ_a为A类平均灰度，W_B为B类概率，μ_b为B类平均灰度，μ为图像总体平均灰度。

直线检测：其包括以下步骤：

((1对阈值化图像进行八领域Freeman链码跟踪；

跟踪canny边缘检测后的边缘点并将其生成链表，在分叉处优先选择可能在同一直线上的边缘点；

((2利用主元分析对边缘像素点集进行简化。拟合出单元线段，以边缘上一点A为中心，(x_t，y_t)为与A的八领域的边缘点A_i的坐标,构造其协方差矩阵，其中，

通过上述协方差矩阵得到特征向量和特征值，其中特征向量代表数据集中点的主分布方向即主元，特征值λ₁代表点集在主分布方向投影长度，特征值λ₂获取数据集的直线度；特征值的计算公式如下:

从特征向量可以获取主分布方向，直线的方向角度为:

然后对其余数据集，将其投影到过点(x_k，y_k)，且方向角为的直线上以获取端点产生线段；

((3用共线性度量删除不合条件的线段，定义两条线段之间共线度为：

其中l为两线段平均长度，d为最接近的一对端点距离，a为两线段之间的夹角，b为两线段中点连线与线段的夹角平均值，T_d，T_a，T_b为归一化阈值参数；由多次实验可得T_d＝3～5，T_a＝π/36～π/18，T_b＝π/18～π/9时，拟合出的单元线段最理想；

((4将上述拟合的共线短线段进行聚类；

得到短线段后,采用线段聚类的方法从所有短线段中分析可能存在的直线，设给定单元线段AB:S(t)＝(x(t),y(t))，0≤t≤1；

直线L用极坐标表示为：

x cosθ+y sinθ+ρ＝0，

式中d(S(t)，L)表示点到直线L的距离，设线段两端点A,B坐标分别(x₁,y₁),则

x(t)＝x₁+(x₂-x₁)t,

y(t)＝y₁+(y₂-y₁)t,

目标函数为：

根据err(L)最小化条件，对公式关于θ和t求导，计算出θ和t，从而完成拟合过程，从而得到直线L的解析式，将其表示成对应的斜截式：y＝kx+b即可；

((5定位太阳能电池片，选其不变量即相邻两边缘为检测对象，对太阳能电池片进行定位；

设其方程分别为：

y＝k₁x+b；

y＝k₂x+b；

其中，k₁-k₂≠0，所定位的太阳能电池片的图像位置(x₁,y₁)即为两条直线的交点，图像角度α₁为k₁和k₂中的较小值，由此得到太阳能电池片位置和角度的标准值。

(2系统后续运行获取太阳能电池片的当前位置和角度；

方式同系统初始化一致，具体包括：

(1)相机标定

(2)选定ROI区域

(3)阈值化处理

(4)直线检测

由此便得到当前电池片位置和角度值；

(3太阳能电池片位置和角度矫正，其详细步骤如下：

将定位中得到的位置和角度结果与初始化得到的标准值(x₀，y₀)和α₀作差得到(x_d，y_d)和α_d，根据初始化得到的工业相机参数得到太阳能电池片位置的实际偏差(x_r，y_r)，其中，u₀，v₀，d_x，d_y为工业相机参数；将该偏差传输到PLC，PLC控制机械手平移和旋转对太阳能电池片进行位置和角度矫正。

本实施例用工业相机、图像处理模块和运动控制模块替代传统的机械校正工位，极大地提高了生产的柔性和自动化程度。并且机器视觉易于实现信息集成，是实现计算机集成制造的基础技术。在实际生产应用中，定位矫正过程在100ms以内，定位精度达到0.1mm，角度精度达到0.1°，精度比现有机械矫正方式提高一倍以上。在大批量工业生产中大大提高了生产效率的同时提高了串焊精度。

以上所述之实施例子只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。

Claims (9)

1.一种太阳能电池片高速视觉定位及矫正系统，其特征在于：包括图像采集模块(1)、图像处理模块(2)、运动控制模块(3)以及动作执行模块(4)，四者顺序连接；其中，所述图像采集模块(1)用于在太阳能电池片自动生产线上自动采集太阳能电池片的图像；

所述图像处理模块(2)用于分析采集到的太阳能电池片图像，对太阳能电池片图像进行定位，并将太阳能电池片的位置和角度数据发送至运动控制模块(3)；

所述运动控制模块(3)用于控制动作执行模块(4)进行太阳能电池片位置矫正。

2.根据权利要求1所述的一种太阳能电池片高速视觉定位及矫正系统，其特征在于：所述图像采集模块(1)包括工业相机(101)和环形照明光源(102)；其中，环形照明光源(102)位于已放好位置的太阳能电池片和工业相机(101)之间，工业相机(101)位于环形照明光源(102)正下方，垂直向上拍摄太阳能电池片。

3.根据权利要求1所述的一种太阳能电池片高速视觉定位及矫正系统，其特征在于：所述图像处理模块(2)包括工控PC机(201)、IO板卡(202)、图像采集卡(203)以及图像处理单元(204)；其中，图像采集卡(203)、图像处理单元(204)、IO板卡(202)均安装在工控PC机(201)内，且三者顺序连接；图像处理模块(2)通过图像采集卡(203)和图像采集模块(1)连接，通过IO板卡(202)与运动控制模块(3)连接。

4.根据权利要求1所述的一种太阳能电池片高速视觉定位及矫正系统，其特征在于：所述运动控制模块(3)包括PLC(301)和伺服电机驱动器(302)；所述动作执行模块(4)为机械手。

5.一种用于权利要求1-4所述太阳能电池片高速视觉定位及矫正系统的方法，其特征在于：包括以下步骤：

(1系统初始化获取太阳能电池片的标准位置和角度，初始化包括1)相机标定；2)选定ROI区域；3)阈值化处理；4)直线检测；

(2系统后续通过运行与步骤(1一直的步骤获取太阳能电池片的当前位置和角度；

(3太阳能电池片位置和角度矫正。

6.根据权利要求5所述的一种太阳能电池片高速视觉定位及矫正方法，其特征在于：所述步骤(1中相机标定采用柔性算法，使用精确测量的棋盘格标定模板，通过随机变换工业相机或标定模板的位置，令工业相机至少在两个以上相对标定模板的不同方位成像，然后通过角点检测获得角点的图像坐标，进而计算相机参数(d_x，d_y，u₀，v₀)，设从相机获得的原始图像为p(x,y)，校正后的图像为q(u，v)，按如下公式进行转换：

$\left[\begin{array}{c}x\\ y\\ z\end{array}\right]=\left[\begin{array}{ccc}{d}_x& 0& -u_0{d}_x\\ 0& d_y& -v_0{d}_y\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}u\\ v\\ 1\end{array}\right].$

7.根据权利要求5所述的一种太阳能电池片高速视觉定位及矫正方法，其特征在于：所述步骤(1中阈值化处理采用Otsu最大类间方差法进行阈值，公式如下：

δ²(T)＝W_A(μ_a-μ)²+W_B(μ_b-μ)²，

其中，δ²(T)为两类间最大方差，W_A为A类概率，μ_a为A类平均灰度，W_B为B类概率，μ_b为B类平均灰度，μ为图像总体平均灰度。

8.根据权利要求5所述的一种太阳能电池片高速视觉定位及矫正方法，其特征在于：所述步骤(1中直线检测包括以下步骤：

((1对阈值化图像进行八领域Freeman链码跟踪；

跟踪canny边缘检测后的边缘点并将其生成链表，在分叉处优先选择可能在同一直线上的边缘点；

((2利用主元分析对边缘像素点集进行简化。拟合出单元线段，以边缘上一点A为中心，(x_t，y_t)为与A的八领域的边缘点A_i的坐标,构造其协方差矩阵，其中，

$w_{11}=\frac{1}{n}{\mathrm{\Σ}}_{t=1}^n{(x_t-x_m)}^2;$

$w_{12}=w_{21}=\frac{1}{n}{\mathrm{\Σ}}_{t=1}^n(x_t-x_k)(y_t-y_k);$

$w_{22}=\frac{1}{n}{\mathrm{\Σ}}_{t=1}^n{(y_t-y_m)}^2;$

$x_k=\frac{1}{n}{\mathrm{\Σ}}_{t=1}^n{x}_t;$

$y_k=\frac{1}{n}{\mathrm{\Σ}}_{t=1}^n{y}_t;$

通过上述协方差矩阵得到特征向量和特征值，其中特征向量代表数据集中点的主分布方向即主元，特征值λ₁代表点集在主分布方向投影长度，特征值λ₂获取数据集的直线度；特征值的计算公式如下:

${\mathrm{\λ}}_1=\frac{1}{2}\{w_{11}+w_{22}+\sqrt{{(w_{11}+w_{22})}^2-4{w_{12}}^2}\};$

${\mathrm{\λ}}_2=\frac{1}{2}\{w_{11}+w_{22}-\sqrt{{(w_{11}-w_{22})}^2-4{w_{12}}^2}\};$

从特征向量可以获取主分布方向，直线的方向角度为:

$\mathrm{\θ}=arctan\frac{w_{12}}{{\mathrm{\λ}}_1-w_{22}};$

然后对其余数据集，将其投影到过点(x_k，y_k)，且方向角为的直线上以获取端点产生线段；

((3用共线性度量删除不合条件的线段，定义两条线段之间共线度为：

$colinearity=\frac{(T_d-d/l)(T_a-a)(T_b-b)}{T_d{T}_a{T}_b};$

其中l为两线段平均长度，d为最接近的一对端点距离，a为两线段之间的夹角，b为两线段中点连线与线段的夹角平均值，T_d，T_a，T_b为归一化阈值参数；

((4将上述拟合的共线短线段进行聚类；

得到短线段后,采用线段聚类的方法从所有短线段中分析可能存在的直线，设给定单元线段AB:S(t)＝(x(t),y(t))，0≤t≤1；

直线L用极坐标表示为：

xcosθ+y sinθ+ρ＝0，

$d(AB,L)={\∫}_0^{1}d\left(S\right(t),L)dt,$

式中d(S(t)，L)表示点到直线L的距离，设线段两端点A,B坐标分别(x₁,y₁),则

x(t)＝x₁+(x₂-x₁)t,

y(t)＝y₁+(y₂-y₁)t,

目标函数为：

$err\left(L\right)={\mathrm{\Σ}}_i{\∫}_0^1{d}^2\left(S_i\right(t),L)dt;$

根据err(L)最小化条件，对公式关于θ和t求导，计算出θ和t，从而完成拟合过程，从而得到直线L的解析式，将其表示成对应的斜截式：y＝kx+b即可；

((5定位太阳能电池片，选其不变量即相邻两边缘为检测对象，对太阳能电池片进行定位；

设其方程分别为：

y＝k₁x+b；

y＝k₂x+b；

其中，k₁-k₂≠0，所定位的太阳能电池片的图像位置(x₁,y₁)即为两条直线的交点，图像角度α₁为k₁和k₂中的较小值，由此得到太阳能电池片位置和角度的标准值。

9.根据权利要求5所述的一种太阳能电池片高速视觉定位及矫正方法，其特征在于：所述步骤(3太阳能电池片位置和角度矫正，其详细步骤如下：将定位中得到的位置和角度结果与初始化得到的标准值(x₀，y₀)和α₀做差得到(x_d，y_d)和α_d，根据初始化得到的工业相机参数得到太阳能电池片位置的实际偏差(x_r，y_r)，其中，u₀，v₀，d_x，d_y为工业相机参数；将该偏差传输到PLC，PLC控制机械手平移和旋转对太阳能电池片进行位置和角度矫正。