CN105225225A - 一种基于机器视觉的皮革自动划线方法和装置 - Google Patents

Abstract

一种基于机器视觉的皮革自动划线方法，其特征在于包括以下步骤：步骤S1，抓取皮革；采用机械手从皮革放置架快速抓取皮革到传送带；步骤S2：实时扫描；放置在传送带正上方的相机实时扫描传送带上的图像，通过算法判断皮革是否完全进入相机的视场；步骤S3：提取皮革轮廓数据；当皮革完全进入相机的视场后，利用图像处理算法分析皮革的边缘轮廓，并转换至实际的物理坐标；步骤S4：确定划线轨迹；根据提取皮革的实际轮廓数据，从数据库中搜索与之相匹配的模板，相应地确定划线轨迹；步骤S5：划线；确定划线轨迹后，借助Delta并联机器人实现皮革的划线。本发明利用Delta并联机器人的实现划线具有精度高，速度快等优点。

Description

一种基于机器视觉的皮革自动划线方法和装置

技术领域

本发明涉及一种皮革自动划线技术，尤其涉及一种利用机器人快速实现划线的方法和装置。

背景技术

皮革广泛地用于服装、包箱等面料。在这些物品的生产过程中根据款式和尺寸的不同，需要对皮革进行裁剪，或为了后续的操作的方便需要在皮革上标记线条(划线)，这些都需要一条精确的轨迹。由于皮革形状的多样性及摆放位置的不确定性，固定的轨迹显然很难满足后续工艺的要求。而人工操作存在精度低、速度慢等缺点，因此其生产效率和产品的质量都比较低下，不符合产业的快速发展。目前，机器视觉广泛地应用工件轮廓形状的识别以及定位等功能，它具备很好的适应性和可靠性，因此也可以用来对皮革形状和位置的识别。

发明内容

本发明的目的在于针对已有技术存在的缺陷，提供一种基于机器视觉自动获得皮革划线轨迹并利用机器人实现快速划线的方法和装置。

为达到上述目的，本发明采用下述技术方案：一种基于机器视觉的皮革自动划线方法，其特征在于包括以下步骤：

步骤S1，抓取皮革；采用机械手从皮革放置架快速抓取皮革到传送带；

步骤S2：实时扫描；放置在传送带正上方的相机实时扫描传送带上的图像，通过算法判断皮革是否完全进入相机的视场；

步骤S3：提取皮革轮廓数据；当皮革完全进入相机的视场后，利用图像处理算法分析皮革的边缘轮廓，并转换至实际的物理坐标；

步骤S4：确定划线轨迹；根据提取皮革的实际轮廓数据，从数据库中搜索与之相匹配的模板，相应地确定划线轨迹；

步骤S5：划线；确定划线轨迹后，借助Delta并联机器人实现皮革的划线。

作为一种改进：所述步骤S1中的机械手为可在上下、左右两个自由度上移动，机械手的末端执行器为真空吸盘。

作为一种改进：所述步骤S2中的算法是利用背景差分方法，其步骤如下：

步骤S21：传送带上无皮革时采集一张图像作为背景图像；

步骤S22：传送带运动时，把实时采集的图像同背景图像进行差分；

步骤S23：统计差分图上的比较明显的像素点个数，个数比较少的认为图像中没有皮革，否则应用自适应阈值算法OTSU分割差分后的图像；

步骤S24：在分割后的二值图像上搜索前景区域即皮革区域，同时得到皮革区域的边缘轮廓，如所有的前景区域都不在图像的边框则认为皮革完全进入相机的视场。

作为一种改进：所述步骤S3中的图像边缘轮廓可以通过步骤S24得到，即从图像坐标到物理坐标的转换需要一个单应矩阵H，实现从图像平面(u,v)到传送带平面(x,y)的一个映射，其映射关系为：

$\mathrm{\λ}\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]=H\left[\begin{array}{c}u\\ v\\ 1\end{array}\right],$

单应矩阵H通过在传动带静止的时候放置一块平面标定靶标标定得到。

作为一种改进：所述步骤S4确定划线轨迹，其具体步骤如下：

步骤S41：利用轮廓的7个Hu矩具有尺度、旋转和平移的不变性，从数据库中搜索同获得的皮革轮廓相匹配的模板轮廓；

步骤S42：对获得的皮革轮廓数据求其倾斜的最紧凑包围盒，并模板轮廓的最紧凑包围盒做比较，获得实际皮革相对于模板的缩放系数，旋转角度和位置偏移量；

步骤S43：已知每个模板对应的划线轨迹，根据步骤S42得到的缩放系数，旋转角度和位置偏移量计算当前皮革对应的划线轨迹。

作为一种改进：所述步骤S4中所需要的皮革模板必须在装置运行前录入，录入模板的同时按照步骤S41和步骤S42相应地计算7个Hu不变矩和最紧凑包围盒，同时，录入模板对应的划线轨迹。

作为一种改进：所述步骤S5中得到实际划线轨迹后根据Delta并联机器人运动学转换为控制电机的数据，Delta并联机器人划线用的末端执行器为画笔。

一种基于机器视觉的皮革自动划线装置，包括末端带吸盘且在上下、左右两个自由度上可移动的机械手、传送带、相机、末端带画笔的Delta并联机器人以及工控机，机械手用来抓取皮革工件到传送带的一端，由传送带送至工业相机获得工件的划线轨迹，最后通过Delta并联机器人实现划线。

本发明利用Delta并联机器人的实现划线具有精度高，速度快等优点，大大提高了皮革划线的效率。

下面结合附图和具体实施方式对本发明作进一步说明。

附图说明

图1为本发明一种基于机器视觉的皮革自动划线装置一种实施例的结构示意图。

图2为划线轨迹生产的方法流程图。

图3为紧凑包围的估计。

具体实施方式

如图1所示，本发明一种基于机器视觉的皮革自动划线装置一种实施例，包括皮革放置架1、末端带吸盘且在上下、左右两个自由度上可移动的机械手2、精密传送带5、工业相机6、安装在机器人架3上且末端带画笔的Delta并联机器人4以及工控机7，机械手2从皮革放置架1中抓取单块皮革放置到精密传送带5的左侧，皮革被输送到工业相机6的下方时，通过图像处理算法计算对应皮革的划线轨迹，并用来控制Delta并联机器人4实现皮革的划线。其具体实现方法如图2所示，一种基于机器视觉皮革自动划线的方法，包括如下步骤：

步骤S1：用二自由度机械手从皮革放置架快速抓取皮革到传送带。

步骤S2：放置在传送带正上方的相机实时扫描传送带上的图像，通过算法判断皮革是否完全进入相机的视场。

当传送带上无皮革时用工业相机采集一张图像作为背景I_B，按固定帧率实时采集传送带上的图像I_t，对当前图像I_t和背景图像I_B做差分得到dI＝|I_t-I_B|。统计差分图像dI上比较明显的像素点个数n_B，如果n_B小于最小的皮革面积，则认为无皮革落在相机视场；否则应用自适应阈值算法OTSU分割差分后的图像dI，在分割后的二值图像上搜索前景区域(即皮革区域)，同时得到皮革区域的边缘轮廓，如果所有的皮革区域都不在图像的边框则认为皮革已完全进入相机的视场。

步骤S3：利用图像处理算法分析皮革的边缘轮廓，并转换到实际的物理坐标。从图像坐标到物理坐标的转换需要一个单应矩阵H，实现从图像平面(u,v)到传送带平面(x,y)的一个映射：

$\mathrm{\λ}\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]=H\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]$

单应矩阵H可以在传动带静止的时候放置一块平面标定靶标标定得到，靶标可以采用棋牌格或小黑点。在标定的过程中已知靶标上的特征点在传送带平面上的坐标，特征点在图像平面的坐标可以通过特定的角点检测算法获得，然后就可以通过最小化反投影误差估计单应矩阵H。

步骤S4：根据提取皮革的实际轮廓数据，从数据库中搜索与之相匹配的模板，相应地确定划线轨迹。

利用轮廓的7个Hu矩具有尺度、旋转和平移的不变性特征搜索数据库中与当前皮革轮廓相匹配的样本轮廓。对于离散曲线C＝{(x_i,y_i),i＝1…,n}，其p+q阶几何矩和中心矩分别定义为：

$m_{pq}=\underset{i=1}{\overset{n}{\Σ}}{x}^p{y}^q,{\mathrm{\μ}}_{pq}=\underset{i=1}{\overset{n}{\Σ}}{(x-\stackrel{\‾}{x})}^p{(y-\stackrel{\‾}{y})}^{q}p,q=0,1,2...$

其中分别表示轮廓重心的x，y坐标。对中心矩进行归一化得到：

${\mathrm{\η}}_{pq}={\mathrm{\μ}}_{pq}/{\mathrm{\μ}}_{00}^{\mathrm{\ρ}},$ 其中ρ＝(p+q)/2+1

这样利用二阶和三阶归一化的中心矩构造7个不变矩M(m₁,m₂,…,m₇)

m₁＝η₂₀+η₀₂

$m_2={({\mathrm{\η}}_{20}-{\mathrm{\η}}_{02})}^2+4{\mathrm{\η}}_{11}^2$

m₃＝(η₃₀-3η₁₂)²+(3η₂₁-η₀₃)²

m₄＝(η₃₀+η₁₂)²+(η₂₁+η₀₃)²

m₅＝(η₃₀-3η₁₂)(η₃₀+η₁₂)[(η₃₀+η₁₂)²-3(η₂₁+η₀₃)²]+(3η₂₁-η₀₃)(η₂₁+η₀₃)[3(η₃₀+η₁₂)²-(η₂₁+η₀₃)²]

m₆＝(η₂₀-η₀₂)[(η₃₀+η₁₂)²-(η₂₁+η₀₃)²]+4η₁₁(η₃₀+η₁₂)(η₂₁+η₀₃)

m₇＝(3η₂₁-η₀₃)(η₃₀+η₁₂)[(η₃₀+η₁₂)²-3(η₂₁+η₀₃)²]+(η₃₀-3η₁₂)(η₂₁+η₀₃)[3(η₃₀+η₁₂)²-(η₂₁+η₀₃)²]

计算当前轮廓的Hu矩同所有模板的Hu矩计算距离，距离最小的那个模板就是同当前轮廓相匹配的模板。

如图3所示紧凑包围的估计，计算当前轮廓1的最紧凑包围盒2，同时得到包围盒长轴和短轴的长度分别为a和b，长轴同水平线的夹角为θ，轮廓的重心P_C＝[x_c+y_c]^T。已知模板包围盒长轴和短轴的长度分别为a′和b′，那么可以近似得到当前皮革轮廓同模板的尺度因子λ＝(a′+b′)/(a+b)。由此可以根据模板对应的标准轨迹c′＝{(x_i′,y_i′),i＝1…,n}计算当前皮革的划线轨迹c＝{(x_i,y_i),i＝1…,n}：

$\left[\begin{array}{c}{x}_i\\ y_i\end{array}\right]=\mathrm{\λ}\left[\begin{array}{cc}cos\mathrm{\θ}& -sin\mathrm{\θ}\\ sin\mathrm{\θ}& \cos \mathrm{\θ}\end{array}\right]\left[\begin{array}{c}{x}_i^{\′}\\ y_i^{\′}\end{array}\right]+\left[\begin{array}{c}{x}_c\\ y_c\end{array}\right]$

利用轮廓的重心P_C取代包围盒的中心P_C作为偏移量的原因是P_C的计算更稳定，精度更高。

步骤S5：获得实际划线轨迹后根据Delta并联机器人运动学转换为控制电机的数据。上述所有的图像处理算法和运动控制算法均在工控机中实现。

上述具体实施例用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明做出的任何修改和改变，都落入本发明的保护范围。

Claims (8)

1.一种基于机器视觉的皮革自动划线方法，其特征在于包括以下步骤：

步骤S1，抓取皮革；采用机械手从皮革放置架快速抓取皮革到传送带；

步骤S2：实时扫描；放置在传送带正上方的相机实时扫描传送带上的图像，通过算法判断皮革是否完全进入相机的视场；

步骤S3：提取皮革轮廓数据；当皮革完全进入相机的视场后，利用图像处理算法分析皮革的边缘轮廓，并转换至实际的物理坐标；

步骤S4：确定划线轨迹；根据提取皮革的实际轮廓数据，从数据库中搜索与之相匹配的模板，相应地确定划线轨迹；

步骤S5：划线；确定划线轨迹后，借助Delta并联机器人实现皮革的划线。

2.根据权利要求1所述的一种基于机器视觉的皮革自动划线方法，其特征在于：所述步骤S1中的机械手为可在上下、左右两个自由度上移动，机械手的末端执行器为真空吸盘。

3.根据权利要求1或2所述的一种基于机器视觉的皮革自动划线方法，其特征在于：所述步骤S2中的算法是利用背景差分方法，其步骤如下：

步骤S21：传送带上无皮革时采集一张图像作为背景图像；

步骤S22：传送带运动时，把实时采集的图像同背景图像进行差分；

步骤S23：统计差分图上的比较明显的像素点个数，个数比较少的认为图像中没有皮革，否则应用自适应阈值算法OTSU分割差分后的图像；

步骤S24：在分割后的二值图像上搜索前景区域即皮革区域，同时得到皮革区域的边缘轮廓，如所有的前景区域都不在图像的边框则认为皮革完全进入相机的视场。

4.根据权利要求3所述的一种基于机器视觉的皮革自动划线方法，其特征在于：所述步骤S3中的图像边缘轮廓可以通过步骤S24得到，即从图像坐标到物理坐标的转换需要一个单应矩阵H，实现从图像平面(u,v)到传送带平面(x,y)的一个映射，其映射关系为：

$\mathrm{\λ}\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]=H\left[\begin{array}{c}u\\ v\\ 1\end{array}\right],$

单应矩阵H通过在传动带静止的时候放置一块平面标定靶标标定得到。

5.根据权利要求1或2所述的一种基于机器视觉的皮革自动划线方法，其特征在于：所述步骤S4确定划线轨迹，其具体步骤如下：

步骤S41：利用轮廓的7个Hu矩具有尺度、旋转和平移的不变性，从数据库中搜索同获得的皮革轮廓相匹配的模板轮廓；

步骤S42：对获得的皮革轮廓数据求其倾斜的最紧凑包围盒，并模板轮廓的最紧凑包围盒做比较，获得实际皮革相对于模板的缩放系数，旋转角度和位置偏移量；

步骤S43：已知每个模板对应的划线轨迹，根据步骤S42得到的缩放系数，旋转角度和位置偏移量计算当前皮革对应的划线轨迹。

6.根据权利要求5所述的一种基于机器视觉的皮革自动划线方法，其特征在于：所述步骤S4中所需要的皮革模板必须在装置运行前录入，录入模板的同时按照步骤S41和步骤S42相应地计算7个Hu不变矩和最紧凑包围盒，同时，录入模板对应的划线轨迹。

7.根据权利要求1所述的一种基于机器视觉的皮革自动划线方法，其特征在于：所述步骤S5中得到实际划线轨迹后根据Delta并联机器人运动学转换为控制电机的数据，Delta并联机器人划线用的末端执行器为画笔。

8.实现权利要求1的皮革自动划线装置，其特征在于：包括末端带吸盘且在上下、左右两个自由度上可移动的机械手、传送带、相机、末端带画笔的Delta并联机器人以及工控机，机械手用来抓取皮革工件到传送带的一端，由传送带送至工业相机获得工件的划线轨迹，最后通过Delta并联机器人实现划线。