CN102981406A - 一种基于双目视觉的鞋底喷胶厚度控制方法 - Google Patents

Abstract

一种基于双目视觉的鞋底喷涂厚度控制方法，包括以下步骤：1）在喷胶平台的上方架设双目相机，通过双目相机的两个摄像头获取鞋底的图像；2）依据步骤1）的两个摄像头进行立体标定；3）调整摄像头间角度和距离，输出行对准的校正图像；4）查找左右摄像头视场中的相同特征，输出视差图，计算摄像机的相对几何位置，通过三角测量的方法输出检测目标的三维坐标；5）提出一种针对离散点的双变量高斯分布模型，建立鞋底喷胶厚度沉积模型；6）将获得的最佳间距的鞋样三维点坐标输入到喷胶机械臂的运动队列中，从而控制机械臂完成喷胶过程。本发明提升工作效率、提高产品的质量，解决传统手工喷胶厚度不均匀的问题。

Description

一种基于双目视觉的鞋底喷胶厚度控制方法

技术领域

本发明涉及一种鞋底喷胶厚度控制技术，尤其是一种鞋底喷胶厚度控制方法。

背景技术

近年来，中国制鞋业可谓异军突起，成为了全球最大的鞋类生产国和出口国。然而随着国内外形势的迅猛发展和竞争的不断加剧，譬如人民币的升值、原材料价格的上涨、技工荒的出现和欧盟对中国鞋业的反倾销措施等，制鞋业面临着越来越多新的挑战。鞋底喷胶主要采用手工完成，具有制造成本低等优点。但是这样的粘胶鞋存在着以下问题：1）鞋底喷胶主要由人工完成，但胶膜的厚度不一致造成皮革后期缝合困难，影响了生产质量；2）胶粘鞋工艺中主要采用氯丁胶黏剂，但是它具有毒性，危害了工人的身体健康。

目前在计算机视觉和控制领域，技术还不够完善，在鞋底喷胶厚度控制方面还没有一套完整方法。国内外很多研究机构做了相关的研究，但是他们的研究重点都在于如何自动生成喷胶轨迹信息，很少对胶膜厚度控制进行研究。如申请号为201010620401.9的发明，利用三个点胶头相互配合，来完成各种宽度和形状轨迹的喷胶。但是喷胶轨迹、喷涂厚度都需要预先设定，不适用于复杂情况下曲面喷胶。申请号为200710123727.9的发明，公开了一种三维喷胶系统，从二维或三维文件中读取喷胶轨迹，能实现空间曲线的喷涂，但是众多的喷涂点影响喷胶效率。申请号为201010587709.8的发明，对双目相机进行立体标定，提取图像轮廓特征点进行曲率匹配，最后得到喷胶轨迹，但是也没有阐述如何控制喷胶厚度。

发明内容

为了解决传统手工喷胶厚度不均匀，有毒胶水影响工人身体健康等问题，同时也为了让计算机视觉技术能够应用于传统的手工行业，本发明提出了一种基于双目视觉的的鞋底喷胶厚度控制方法，该方法利用双目视觉可以快速对鞋底进行三维坐标重建，具有操作简单、胶膜厚度均匀等优点。

本发明解决其技术问题所采用的技术方案是：

一种基于双目视觉的鞋底喷胶厚度控制方法，该方法采用双目相机和喷胶机械臂，所述鞋底喷胶厚度控制方法包括以下步骤：

1）、获取图像：在喷胶平台的上方架设双目相机，通过双目相机的两个摄像头获取鞋底的图像；

2）、摄像头标定

分别对这两个摄像头进行标定，根据线性相机模型（1）得到各个相机的内参数(k l u₀ v₀ f θ)和外参数，由相机内外参数点乘得到的3×4矩阵M_3×4即为透视投影矩阵；

$\left(\begin{array}{c}u\\ v\\ 1\end{array}\right)=\frac{l}{\mathrm{\λ}}\left(\begin{array}{cccc}\frac{f}{k}& -\frac{f}{k}\cot \mathrm{\θ}& u_0& 0\\ 0& \frac{f}{l\sin \mathrm{\θ}}& v_0& 0\\ 0& 0& 1& 0\end{array}\right)\left(\begin{array}{cc}{R}_{3\×3}& t_{3\×1}\\ 0^T& 1\end{array}\right)\left(\begin{array}{c}{X}_W\\ Y_W\\ Z_W\\ 1\end{array}\right)=M_{3\×4}\left(\begin{array}{c}{X}_W\\ Y_W\\ Z_W\\ 1\end{array}\right)---\left(1\right)$

其中，k，l是双目相机的像素点大小，u₀，v₀是相机的光轴中心的坐标值，f是相机焦距，θ是相机坐标系的偏斜度，R_3×3是相机的旋转矩阵，t_3×1则是相机的平移矩阵，(u v 1)^T是图像中的任一点，(X_W Y_W Z_W 1)^T则是图像中任一点所对应的喷胶坐标系坐标；

3）、图像校正：调整摄像头间角度和距离，输出行对准的校正图像；

4）、图像匹配和重投影：查找左右摄像头视场中的相同特征，输出视差图，将视差图通过三角测量的方法输出检测目标的三维坐标；

5）、建立鞋底喷胶厚度沉积模型：

建立针对离散点的双变量高斯分布模型，涂层厚度沉积模型公式定义如下（4）：

$g(x,y)=\exp (-\frac{x^2}{{2\mathrm{\σ}}_x^2}-\frac{y^2}{{2\mathrm{\σ}}_y^2})---\left(4\right)$

x,y分别为鞋底的世界坐标系x轴和y轴的坐标值，g(x,y)为喷涂的厚度；

通过求函数二阶导数的方法来求解最佳的两次喷涂间距t；

6）、控制机器人完成喷胶：将获得的最佳的两次喷涂间距t的鞋样三维点坐标输入到喷胶机械臂的运动队列中，从而控制机械臂完成喷胶过程。

进一步，所述步骤3）中，图像校正的过程如下：

（3.1）、通过公式（2）及左右相机的内外参数得到右相机相对于左相机的旋转和平移矩阵，并校正左右图像使之行对准；

R＝R_r(R_l)T    （2）

T=T_r-RT_l

其中，R_l，R_r是左右相机的旋转矩阵，T_l，T_r是左右相机的平移矩阵，R，T是右相机相对于左相机的旋转矩阵和平移矩阵；

（3.2）、通过公式（2）及前面的相机内外参数得到重投影矩阵Q：

$Q=\left(\begin{array}{cccc}1& 0& 0& {-c}_x\\ 0& 1& 0& {-c}_y\\ 0& 0& 0& f\\ 0& 0& 1/T_x& 0\end{array}\right)---\left(3\right)$

其中，T_x是双目相机外参平移向量T的x轴分量，c_x和c_y是左相机光学中心的世界坐标系坐标值，f是左相机的焦距。

再进一步，所述步骤5）中，求函数二阶导数的方法来求解最佳的两次喷涂间距t的过程如下：

设G(x,y)=g(x,y)+g(x+t,y+t)，求出G(x,y)在x=t/2,y=t/2处的二阶导数为零，两次喷涂叠加后不会出现波谷，喷涂厚度均匀平滑，其公式定义如下（5）：

$G(x,y)=\exp (-\frac{x^2}{{2\mathrm{\σ}}_x^2}-\frac{y^2}{{2\mathrm{\σ}}_y^2})+\exp (-\frac{{(x+t_1)}^2}{{2\mathrm{\σ}}_x^2}-\frac{{(y-t_2)}^2}{{2\mathrm{\σ}}_y^2})---\left(5\right)$

从以上得到当两次喷涂叠加时，喷涂均匀区域依旧是高斯模型，将复杂的问题简化为截面的高斯函数的叠加，其公式如下（6）：

$G_1(x,y)=\exp (-\frac{x^2}{{2\mathrm{\σ}}^2})+\exp (-\frac{{(x+t)}^2}{{2\mathrm{\σ}}^2})---\left(6\right)$

令G₁(x,y)在x=t/2处的二阶导数G₁(x,y)″为零，此时σ=2，求出t=4。

本发明的技术构思为：通过双目摄像头采集图像数据，利用立体成像三角测量技术，将得到的鞋样轮廓三维坐标值转化为机械臂喷胶装置可识别的坐标。再通过建立鞋底喷胶厚度沉积双变量混合高斯模型，求出离散喷涂点的间距，控制喷枪的参数，对鞋底实现喷涂。

在喷涂行业中，实验人员经常利用经验数据来描述喷枪喷涂的生长速率，针对鞋底喷涂轨迹是一些离散的点，提出一种针对离散点的双变量高斯分布模型，直接得到积分函数可以获得平滑的代价函数。离散点的双变量高斯分布模型比其它模型更接近涂层的实际分布。

高斯函数的喷涂模型是经过人们经验总结的，其分布弧线比有限范围模型更平滑，更接近真实的喷涂情况。但是由于其收敛性较差，因此将此分布函数应用于离散点的喷涂。为了得到期望的喷涂厚度和均匀的喷涂效果，必须喷涂点叠加，补偿边缘厚度。

本发明就是按照上述构思有效的完成了非接触的鞋底喷胶厚度控制方法，这种将计算机视觉技术运用到传统行业的技术变革，将有效的提升我国制鞋产业的自动化程度，解决浙江等地中小企业的产业困境，促进我们制鞋业的技术升级和产业升级。

本发明的有益效果主要表现在：基于双目视觉的鞋底喷胶厚度控制方法喷涂精度高、效果好，比人工操作更能有效的控制喷涂厚度，自动化喷胶大大提高了工作效率。

附图说明

图1是本发明的喷胶厚度控制设备示意装置图。

图2是本发明的喷胶厚度控制方法流程图。

具体实施方式

下面结合附图对本发明作进一步描述。

参照图1和图2，一种基于双目视觉的鞋底喷胶厚度控制方法，该方法采用双目相机和6轴涂胶机械臂，所述鞋底喷胶厚度控制方法包括以下步骤：

1）、获取图像

在喷胶平台的上方架设双目相机，使双目相机的两个摄像头的光轴基本平行，双目摄像头与鞋底之间距离为90cm~110cm，设备由USB连线与电脑主机相连。

2）、摄像头标定

分别对这两个摄像头进行标定，根据线性相机模型（1）得到各个相机的内参数(k l u₀ v₀ f θ)和外参数，由相机内外参数点乘得到的3×4矩阵M_3×4即为透视投影矩阵；

$\left(\begin{array}{c}u\\ v\\ 1\end{array}\right)=\frac{l}{\mathrm{\λ}}\left(\begin{array}{cccc}\frac{f}{k}& -\frac{f}{k}\cot \mathrm{\θ}& u_0& 0\\ 0& \frac{f}{l\sin \mathrm{\θ}}& v_0& 0\\ 0& 0& 1& 0\end{array}\right)\left(\begin{array}{cc}{R}_{3\×3}& t_{3\×1}\\ 0^T& 1\end{array}\right)\left(\begin{array}{c}{X}_W\\ Y_W\\ Z_W\\ 1\end{array}\right)=M_{3\×4}\left(\begin{array}{c}{X}_W\\ Y_W\\ Z_W\\ 1\end{array}\right)---\left(1\right)$

其中，k，l是双目相机的像素点大小，u₀，v₀是相机的光轴中心的坐标值，f是相机焦距，θ是相机坐标系的偏斜度（一般为90°），R_3×3是相机的旋转矩阵，t_3×1则是相机的平移矩阵，(u v 1)^T是图像中的任一点，(X_W Y_W Z_W 1)^T则是图像中任一点所对应的喷胶坐标系坐标；

3）、图像校正

由于两个摄像头不可能有行对准的成像平面，因此调整摄像头间角度和距离，输出行对准的校正图像。

（3.1）、通过公式（2）及左右相机的内外参数得到右相机相对于左相机的旋转和平移矩阵，并校正左右图像使之行对准；

R=R_r(R_l)T    （2）

T=T_r-RT_l

其中，R_l，R_r是左右相机的旋转矩阵，T_l，T_r是左右相机的平移矩阵，R，T是右相机相对于左相机的旋转矩阵和平移矩阵。

（3.2）、通过公式（2）及前面的相机内外参数得到重投影矩阵Q：

$Q=\left(\begin{array}{cccc}1& 0& 0& {-c}_x\\ 0& 1& 0& {-c}_y\\ 0& 0& 0& f\\ 0& 0& 1/T_x& 0\end{array}\right)---\left(3\right)$

其中，T_x是双目相机外参平移向量T的x轴分量，c_x和c_y是左相机光学中心的世界坐标系坐标值，f是左相机的焦距。

4）、图像匹配和重投影

查找左右摄像头视场中的相同特征，输出视差图。当知道了摄像机的相对几何位置后，就可以将视差图通过三角测量的方法输出检测目标的三维坐标。

5）、建立鞋底喷胶厚度沉积模型

提出一种针对离散点的双变量高斯分布模型，涂层厚度沉积模型公式定义如下（4）：

$g(x,y)=\exp (-\frac{x^2}{{2\mathrm{\σ}}_x^2}-\frac{y^2}{{2\mathrm{\σ}}_y^2})---\left(4\right)$

x，y分别为鞋底的世界坐标系x轴和y轴的坐标值，g(x,y)为喷涂的厚度。

通过求函数二阶导数的方法来求解最佳的两次喷涂间距t。

设G(x,y)＝g(x,y)+g(x+t,y+t)，求出G(x,y)在x=t/2,y=t/2处的二阶导数为零，两次喷涂叠加后不会出现波谷，喷涂厚度均匀平滑，其公式定义如下（5）：

$G(x,y)=\exp (-\frac{x^2}{{2\mathrm{\σ}}_x^2}-\frac{y^2}{{2\mathrm{\σ}}_y^2})+\exp (-\frac{{(x+t_1)}^2}{{2\mathrm{\σ}}_x^2}-\frac{{(y+t_2)}^2}{{2\mathrm{\σ}}_y^2})---\left(5\right)$

从以上我们可以得到当两次喷涂叠加时，喷涂均匀区域依旧是高斯模型，可以将复杂的问题简化为截面的高斯函数的叠加，其公式如下（6）：

$G_1(x,y)=\exp (-\frac{x^2}{{2\mathrm{\σ}}^2})+\exp (-\frac{{(x+t)}^2}{{2\mathrm{\σ}}^2})---\left(6\right)$

令G₁(x,y)在x=t/2处的二阶导数G₁(x,y)″为零，此时σ=2，求出t=4。

6）、控制机器人完成喷胶

将获得的最佳间距的鞋样三维点坐标输入到喷胶机械臂的运动队列中，从而控制机械臂完成喷胶过程。

本实施例中，首先，通过以上1），2），3），4）步骤得到鞋样三维点云图。

其次，从点云图轮廓中，以间隔4mm提取喷涂点，提取坐标值如下（212，332，168），（215.5，334，168），（210，336，169）等总计145个喷涂点，最后将获得空间的三维坐标值传递给机械臂喷涂装置。

对非封闭曲线离散点的喷涂仿真，除了两端的端点喷涂不均匀，其余中间部位可以得到不错的喷涂效果。

如果离散点之间采用过大的喷涂间距，喷涂点与点之间会有间隙。如果喷涂间距太小，形成了喷涂效果，但是没有办法控制喷涂的厚度。

Claims (3)

1.一种基于双目视觉的鞋底喷胶厚度控制方法，其特征在于：该方法采用双目相机和喷胶机械臂，所述鞋底喷胶厚度控制方法包括以下步骤：

1）、获取图像：在喷胶平台的上方架设双目相机，通过双目相机的两个摄像头获取鞋底的图像；

2）、摄像头标定

分别对这两个摄像头进行标定，根据线性相机模型（1）得到各个相机的内参数(k l u₀ v₀ f θ)和外参数，由相机内外参数点乘得到的3×4矩阵M_3×4即为透视投影矩阵；

$\left(\begin{array}{c}u\\ v\\ 1\end{array}\right)=\frac{l}{\mathrm{\λ}}\left(\begin{array}{cccc}\frac{f}{k}& -\frac{f}{k}\cot \mathrm{\θ}& u_0& 0\\ 0& \frac{f}{l\sin \mathrm{\θ}}& v_0& 0\\ 0& 0& 1& 0\end{array}\right)\left(\begin{array}{cc}{R}_{3\×3}& t_{3\×1}\\ 0^T& 1\end{array}\right)\left(\begin{array}{c}{X}_W\\ Y_W\\ Z_W\\ 1\end{array}\right)=M_{3\×4}\left(\begin{array}{c}{X}_W\\ Y_W\\ Z_W\\ 1\end{array}\right)---\left(1\right)$

其中，k，l是双目相机的像素点大小，u₀，v₀是相机的光轴中心的坐标值，f是相机焦距，θ是相机坐标系的偏斜度，R_3×3是相机的旋转矩阵，t_3×1则是相机的平移矩阵，(u v 1)^T是图像中的任一点，(X_w Y_W Z_W 1)^T则是图像中任一点所对应的喷胶坐标系坐标；

3）、图像校正：调整摄像头间角度和距离，输出行对准的校正图像；

4）、图像匹配和重投影：查找左右摄像头视场中的相同特征，输出视差图，将视差图通过三角测量的方法输出检测目标的三维坐标；

5）、建立鞋底喷胶厚度沉积模型：

建立针对离散点的双变量高斯分布模型，涂层厚度沉积模型公式定义如下（4）：

$g(x,y)=\exp (-\frac{x^2}{{2\mathrm{\σ}}_x^2}-\frac{y^2}{{2\mathrm{\σ}}_y^2})---\left(4\right)$

x,y分别为鞋底的世界坐标系x轴和y轴的坐标值，g(x,y)为喷涂的厚度；

通过求函数二阶导数的方法来求解最佳的两次喷涂间距t；

6）、控制机器人完成喷胶：将获得的最佳的两次喷涂间距t的鞋样三维点坐标输入到喷胶机械臂的运动队列中，从而控制机械臂完成喷胶过程。

2.如权利要求1所述的一种基于双目视觉的鞋底喷胶厚度控制方法，其特征在于：所述步骤3）中，图像校正的过程如下：

（3.1）、通过公式（2）及左右相机的内外参数得到右相机相对于左相机的旋转和平移矩阵，并校正左右图像使之行对准；

R=R_r(R_l)T    （2）

T=T_r-RT_l

其中，R_l，R_r是左右相机的旋转矩阵，T_l，T_r是左右相机的平移矩阵，R，T是右相机相对于左相机的旋转矩阵和平移矩阵；

（3.2）、通过公式（2）及前面的相机内外参数得到重投影矩阵Q：

$Q=\left(\begin{array}{cccc}1& 0& 0& {-c}_x\\ 0& 1& 0& {-c}_y\\ 0& 0& 0& f\\ 0& 0& 1/T_x& 0\end{array}\right)---\left(3\right)$

其中，T_x是双目相机外参平移向量T的x轴分量，c_x和c_y是左相机光学中心的世界坐标系坐标值，f是左相机的焦距。

3.如权利要求1或2所述的一种基于双目视觉的鞋底喷胶厚度控制方法，其特征在于：所述步骤5）中，求函数二阶导数的方法来求解最佳的两次喷涂间距t的过程如下：

设G(x,y)=g(x,y)+g(x+t,y+t)，求出G(x,y)在x=t/2,y=t/2处的二阶导数为零，两次喷涂叠加后不会出现波谷，喷涂厚度均匀平滑，其公式定义如下（5）：

$G(x,y)=\exp (-\frac{x^2}{{2\mathrm{\σ}}_x^2}-\frac{y^2}{{2\mathrm{\σ}}_y^2})+\exp (-\frac{{(x+t_1)}^2}{{2\mathrm{\σ}}_x^2}-\frac{{(y+t_2)}^2}{{2\mathrm{\σ}}_y^2})---\left(4\right)$

从以上我们可以得到当两次喷涂叠加时，喷涂均匀区域依旧是高斯模型，可以将复杂的问题简化为截面的高斯函数的叠加，其公式如下（6）：

$G_1(x,y)=\exp (-\frac{x^2}{{2\mathrm{\σ}}^2})+\exp (-\frac{{(x+t)}^2}{{2\mathrm{\σ}}^2})---\left(5\right)$

令G₁(x,y)在x=t/2处的二阶导数G₁(x,y)″为零，此时σ=2，求出t=4。

Images