CN108089544B - 一种鞋底喷胶机械人的轨迹生成方法及控制系统 - Google Patents

Abstract

本发明涉及一种鞋底喷胶机械人的轨迹生成方法及控制系统，该方法包括：S1：分别采集鞋底的俯视图像以及沿鞋底宽度方向的两个侧视图像；S2：分别依次对俯视图像和两个侧视图像进行灰度化、平滑及边缘特征提取，得到鞋底边缘轮廓离散坐标点，对鞋底边缘轮廓离散坐标点进行拟合，并进行设定的偏置后，获得喷胶轨迹，所述喷胶轨迹包括鞋底平面喷胶轨迹和鞋底侧面喷胶轨迹；S3：根据喷胶轨迹对鞋底喷胶机械人进行路径规划。与现有技术相比，本发明采用三目机器视觉的方法对鞋底三维轮廓进行在线测量，在此基础上进行鞋底三维轮廓曲线的拟合自动生成喷胶轨迹，从而引导工业机器人进行路径规划自动完成喷胶任务。

Description

一种鞋底喷胶机械人的轨迹生成方法及控制系统

技术领域

本发明涉及制鞋领域，尤其是涉及一种鞋底喷胶机械人的轨迹生成方法及控制系统。

背景技术

我国的制鞋业尚属劳动密集且环境恶劣型产业，随着市场需求量的增加，企业产量需求逐年增多，对工人的需求也在持续扩大，恶劣的环境致使员工的大量流失，从而出现了招工困难即所谓的“劳工荒”，导致雇工成本持续上升，降低了企业的经济效益及其竞争力。鞋底粘胶工艺是制鞋过程中用工量最多，耗时最多的关键工艺之一，决定了鞋帮同鞋底的粘合牢度，反映了鞋子质量的优劣。传统的喷胶工艺均采用手工操作或是手工半自动操作，生产效率低，而且粘胶剂挥发出来的有毒性气体严重威胁操作工人的身体健康。尤其在某些要求严格的场合，手工喷胶几乎无法达到要求的质量，同时喷胶作业对于工人身体造成的健康问题也已得到社会越来越多的关注。

针对喷胶轨迹的自动生成问题，Kwon等人提出一种基于鞋底平面轮廓线生成喷胶轨迹的方法，但这种方法产生的喷胶轨迹在平面上，仅适用于鞋底是平面的情况。BickerRobet等人对鞋子进行轮廓测量，提出了采用一种结构光计算机视觉系统，但获取的数据误差比较大，需要进行二次处理。Kim等人提出一种可以自动生成喷胶轨迹的方法，需要鞋底的三视图和鞋帮的三维几何数据，操作相对繁琐复杂，降低了系统的效率，且控制精度偏低。Zhongxu Hu等人提出基于线结构光的视觉测量系统，这种方法需要计算出轮廓曲线的主法线方向，计算量大，且需要一维移动机构，装置结构复杂。武传宇等人提出基于CAD模型的鞋底喷胶轨迹生成方法，但是实际鞋模与CAD模型有误差，导致轨迹精度不高。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种鞋底喷胶机械人的轨迹生成方法及控制系统，采用三目机器视觉的方法对鞋底三维轮廓进行在线测量，在此基础上进行鞋底三维轮廓曲线的拟合自动生成喷胶轨迹，从而引导工业机器人进行路径规划自动完成喷胶任务。

本发明的目的可以通过以下技术方案来实现：

一种鞋底喷胶机械人的轨迹生成方法，包括以下步骤：

S1：分别采集鞋底的俯视图像以及沿鞋底宽度方向的两个侧视图像；

S2：分别依次对俯视图像和两个侧视图像进行灰度化、平滑及边缘特征提取，得到鞋底边缘轮廓离散坐标点，对鞋底边缘轮廓离散坐标点进行拟合，并进行设定的偏置后，获得喷胶轨迹，所述喷胶轨迹包括鞋底平面喷胶轨迹和鞋底侧面喷胶轨迹；

S3：根据喷胶轨迹对鞋底喷胶机械人进行路径规划。

所述步骤S2中，边缘特征提取采用改进型Canny边缘检测算法，在边缘提取的阈值处理中采用Otsu算法，通过计算最大类间方差来获取双阈值中的高阈值。

所述步骤S2中，先将鞋底边缘轮廓离散坐标点进行非均匀三次B样条曲线拟合得到平滑的边缘轮廓线，然后将边缘轮廓线偏置，得到光滑的喷胶轨迹。

所述步骤S2中，鞋底平面喷胶轨迹的提取过程为：

211：初始设置鞋底平面喷胶圈数为N，并设置当前循环次数为k，k＝1；

212：对俯视图像进行预处理，找最大连通区域并求出鞋底平面边缘轮廓离散坐标点，获得第k组的鞋底平面边缘轮廓数组；

213：判断k是否小于N，若是，则按设定比例缩小俯视图图像的尺寸，令k＝k+1，跳转步骤212，若否，则执行步骤214；

214：将N组的鞋底平面边缘轮廓数组的轮廓质心相重合并拟合，得到N圈的鞋底平面喷胶轨迹。

所述鞋底平面喷胶圈数N取值范围为：3≤N≤5。

所述步骤S2中，鞋底侧面喷胶轨迹的提取过程为：

221：对每个侧视图像进行预处理，找最大连通区域并求出鞋底侧面顶边缘轮廓离散坐标点和鞋底侧面底边缘轮廓离散坐标点，获得鞋底侧面顶边缘轮廓数组(x_i,z_D,i)和鞋底侧面底边缘轮廓数组(x_i,z_d,i)，i表示鞋底侧面顶边缘轮廓数组和鞋底侧面底边缘轮廓数组内坐标的总数；

222：得到鞋底侧面中线轮廓数组(x_i,z__i),z__i＝(z_D,i+z_d,i)/2；

223：对鞋底侧面中线轮廓数组进行拟合得到鞋底侧面喷胶轨迹。

一种基于上述的鞋底喷胶机械人的轨迹生成方法的控制系统，包括：

俯视图像采集器，用于采集鞋底的俯视图像；

侧视图像采集器，为两个，用于分别沿鞋底宽度方向采集鞋底的两个侧视图像；

光照装置，用于照射鞋底；

工控机，分别连接俯视图像采集器、侧视图像采集器和光照装置，用于根据采集的俯视图像和侧视图像获取喷胶轨迹，并根据喷胶轨迹对鞋底喷胶机械人进行路径规划。

与现有技术相比，本发明具有以下优点：

1、在图像预处理中，采用中值滤波对图像进行平滑处理，这样不仅能保留图像的边缘轮廓和细节，还对斑点噪声和椒盐噪声有突出的消噪能力。

2、在边缘特征提取中，采用改进型Canny边缘检测算法，在边缘检测的阈值处理中采用Otsu算法，通过计算最大类间方差来获取双阈值中的高阈值。其优点是：在处理复杂图像和不同图像时，不需要多次反复进行实验手动确定阈值。

3、基于三目视觉的方案对鞋模边缘的三维信息进行测量和提取，相对于双目视觉的方案来说，不需要对鞋模特征边缘进行匹配，这样大大降低了开发三维信息提取的难度，同时提高了鞋模边缘的三维信息的检测的速度和精度。

4、利用非均匀三次B样条曲线对鞋底边缘轮廓进行插值，其优点在于，能够用精确的数学方法描述鞋模曲线和曲面，可以保证工业机器人进行精确的轨迹规划，以利于喷胶轨迹光滑性及喷胶厚度的均匀性。

5、鞋底平面喷胶轨迹的提取过程中按设定比例缩小俯视图图像的尺寸，从而得到多组轮廓质心相重合的鞋底平面边缘轮廓数组，保证鞋底平面喷胶轨迹的精准度。

附图说明

图1为本发明系统的简要框图；

图2为本发明系统硬件连接示意图；

图3为本发明方法的流程图；

图4为鞋底边缘特征提取工作流程图；

图5为鞋底平面轮廓特征的提取算法流程图；

图6为鞋底的俯视图像的处理前后示意图；

图7为鞋底侧面轮廓特征的提取算法流程图；

图8为鞋底的侧视图像的处理前后示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

一种鞋底喷胶机械人的控制系统，通过三目视觉系统对鞋底特征的边缘进行测量，将得到的鞋模外形轮廓数据进行数据拟合生成鞋底喷胶轨迹，从而引导工业机器人自动完成喷胶任务。如图1所示，该系统的硬件部分包括：

俯视图像采集器，用于采集鞋底的俯视图像；

侧视图像采集器，为两个，用于分别沿鞋底宽度方向采集鞋底的两个侧视图像；

光照装置，用于照射鞋底；

工控机，分别连接俯视图像采集器、侧视图像采集器和光照装置，用于根据采集的俯视图像和侧视图像获取喷胶轨迹，并根据喷胶轨迹对鞋底喷胶机械人进行路径规划。

该系统的软件部分包括：图像处理模块，视觉定位模块和喷胶轨迹生成模块。

如图2所示，建立空间坐标系O-XYZ，相机1于安装于鞋模正上方，用于检测鞋模XY轴上的鞋底边缘特征；相机2安装于喷胶平台左边，正对鞋模的左侧边，用于检测鞋模左侧XZ轴上的边缘特征；相机3安装于装于喷胶平台右侧边，用于检测鞋模右侧XZ轴上的边缘特征。

控制系统的的软件工作流程如图3所示：

相机1、相机2、相机3同时开始工作，相机1采集鞋底XY轴(鞋底俯视)的图像；相机2采集鞋底XZ轴(鞋底左视图)的图像；相机2采集鞋底XZ轴(鞋底右视图)的图像。三个相机采集到的图像经过灰度化、平滑及边缘特征检测，分别得到鞋模底部(XY轴)边缘特征，鞋底左侧边高度(XZ轴)轮廓特征及鞋底右侧边高度(XZ轴)轮廓特征。由此三种对应的边缘特征就可建立起鞋底边缘轮廓三维信息。根据喷胶具体的工艺要求，对边缘轮廓三维信息进行拟合，并进行固定的偏置后，即可获得喷胶的轨迹。将获取的喷胶轨迹通过网络通信接口传递给六轴工业机器人，由六轴工业机器人控制器对喷胶轨迹进行路径规划，而后引导机器人执行喷胶任务。

视觉系统的开发平台：本发明使用Microsoft Visual Studio 2013作为开发平台，使用MFC/C++开发，采用QT用户图像界面设计。通过调用OpenCV的相关图像处理函数进行鞋模图像的处理，具有兼容大部分数字相机、开发速度快等优点。

机器视觉的图像特征提取流程如图4所示：图像采集后，在OpenCV平台上编制图像处理程序，自动完成图像的处理与分析，实现鞋模边缘的特征提取。鞋底边缘及鞋底侧面边缘轮廓是提取喷胶轨迹的关键信息，因此在图像灰度化后，采用中值滤波对图像进行平滑处理，这样不仅能保留图像的边缘轮廓和细节，还对斑点噪声和椒盐噪声有突出的消噪能力。在边缘特征提取中，采用改进型Canny边缘检测算法，在边缘检测的阈值处理中采用Otsu算法，通过计算最大类间方差来获取双阈值中的高阈值。其优点是：在处理复杂图像和不同图像时，不需要多次反复进行实验手动确定阈值。

喷胶轨迹的自动生成：由三目视觉得到的鞋底边缘轮廓的三维信息实际上是鞋底边缘轮廓离散点坐标。喷胶轨迹线是鞋底边缘轮廓线在鞋面向内偏置得到的偏置线。为了获得更高精度的喷胶轨迹，先将鞋底边缘轮廓的离散坐标点进行非均匀三次B样条曲线拟合得到平滑边缘轮廓线，然后将边缘轮廓线偏置，得到光滑的喷胶轨迹。利用非均匀三次B样条曲线对鞋底边缘轮廓进行插值，其优点在于，能够用精确的数学方法描述鞋模曲线和曲面。

则上述控制系统的鞋底喷胶机械人的轨迹生成方法，如图3所示，包括以下步骤：

S1：分别采集鞋底的俯视图像以及沿鞋底宽度方向的两个侧视图像。

S2：分别依次对俯视图像和两个侧视图像进行灰度化、平滑及边缘特征提取，得到鞋底边缘轮廓离散坐标点，对鞋底边缘轮廓离散坐标点进行拟合，并进行设定的偏置后，获得喷胶轨迹，喷胶轨迹包括鞋底平面喷胶轨迹和鞋底侧面喷胶轨迹。

步骤S2中，先将鞋底边缘轮廓离散坐标点进行非均匀三次B样条曲线拟合得到平滑的边缘轮廓线，然后将边缘轮廓线偏置，得到光滑的喷胶轨迹。如图4所示，步骤S2中，边缘特征提取采用改进型Canny边缘检测算法，在边缘提取的阈值处理中采用Otsu算法，通过计算最大类间方差来获取双阈值中的高阈值。

S3：根据喷胶轨迹对鞋底喷胶机械人进行路径规划。

步骤S2中，鞋底平面喷胶轨迹的提取过程为：

211：初始设置鞋底平面喷胶圈数为N，并设置当前循环次数为k，k＝1；

212：对俯视图像进行预处理，找最大连通区域并求出鞋底平面边缘轮廓离散坐标点，获得第k组的鞋底平面边缘轮廓数组；

213：判断k是否小于N，若是，则按设定比例缩小俯视图图像的尺寸，令k＝k+1，跳转步骤212，若否，则执行步骤214；

214：将N组的鞋底平面边缘轮廓数组的轮廓质心相重合并拟合，得到N圈的鞋底平面喷胶轨迹。

鞋底平面喷胶圈数N取值范围为：3≤N≤5。

步骤S2中，鞋底侧面喷胶轨迹的提取过程为：

221：对每个侧视图像进行预处理，找最大连通区域并求出鞋底侧面顶边缘轮廓离散坐标点和鞋底侧面底边缘轮廓离散坐标点，获得鞋底侧面顶边缘轮廓数组(x_i,z_D,i)和鞋底侧面底边缘轮廓数组(x_i,z_d,i)，i表示鞋底侧面顶边缘轮廓数组和鞋底侧面底边缘轮廓数组内坐标的总数；

222：得到鞋底侧面中线轮廓数组

223：对鞋底侧面中线轮廓数组进行拟合得到鞋底侧面喷胶轨迹。

以对鞋模底部平面喷胶三圈为例，在喷胶时，需要对鞋底边缘内侧面喷一圈，对鞋模底部平面喷胶三圈，最外圈标记为k＝1,中间圈标记为k＝3，最内圈标记为k＝3。鞋底边缘及鞋底侧面边缘轮廓是提取喷胶轨迹的最关键的信息。本发明的实施例如下，相机1、相机2、相机3鞋底俯视、右视、左视的鞋底图像采集后，在OpenCV平台上编制图像处理程序，自动完成图像的分析处理，实现鞋模边缘的特征提取。鞋底轮廓特征的提取算法流程如图5所示：1.相机1采集鞋底俯视图像，设喷胶圈数标志为k＝1(k<＝3)；2.进行鞋底俯视图像预处理，包括灰度化、边缘检测、水平垂直闭运算等；3.寻找最大连通区域并求出轮廓，获得鞋底边缘轮廓数组；4.判断喷胶的标志，若是k<3，表示鞋底的3圈喷胶轮廓还未计算完毕，需要对前一轮的轮廓向内圈做一定的偏置后再计算新喷胶轨迹，在算法上通过减少特征轨迹的尺寸来实现。5.k>＝3，则说明鞋底的三圈特征轨迹已经计算完毕。此时，需要将缩小的鞋底轮廓质心与原图轮廓质心重合。6.输出鞋底的三圈喷胶位置的轮郭曲线数据。采用本发明步骤S2的鞋底平面喷胶轨迹的提取算法，针对采集的图6中左侧的鞋底图像进行预处理及边缘检测后，得到图6右侧输出的三圈鞋底喷胶轮廓特征曲线。

以提取鞋模右侧面边缘特征为例，在喷胶时，需要对鞋底边缘内侧面喷一圈，因此需要提取实现鞋模左右侧面边缘的特征。相机2、相机3采集鞋模右视、左视的鞋底图像后，在OpenCV平台上编制图像处理程序，自动完成图像的分析处理，实现鞋模左右侧面边缘的特征提取。鞋模左侧轮廓(XZ轴)特征的提取算法流程如图7所示：1.相机2采集鞋模左视图像，设置索号Index＝0；2.进行鞋底俯视图像预处理，包括灰度化、边缘检测、水平垂直闭运算等；3.寻找最大连通区域并求出轮廓，获得鞋模左视图(XZ轴)的边缘轮廓数组；左侧面边缘轮廓的数据点依次存入数组map，X轴的值为key，Z轴的值value，Index++；4.判断插值是否成功；若插值未成功，则在轮廓数组map中查找X轴对应的value，与当前要插入点的Z轴数值相加除2，得到点Point(key,(value1+value2)/2)存入鞋模左侧轮廓中心线数组(即左内侧喷胶曲线)。若插值成功，则判断索引号Index的值与轮廓数据的长度(length)是否相等，若不等，说明左侧喷胶中线的计算未成功，则重复步骤3。5.若索引号Index的值与轮廓数据的长度(length)相等，则输出侧面中线数组，即输出输出侧面喷胶轨迹的坐标数据。采用本发明步骤S2的鞋底侧面喷胶轨迹的提取算法，针对采集的图8中上侧的鞋底左侧面图像进行预处理及边缘检测后，得到图8下侧输出的左侧边缘轮廓特征曲线及喷胶曲线(中线)。

Claims (6)

1.一种鞋底喷胶机械人的轨迹生成方法，其特征在于，包括以下步骤：

S1：分别采集鞋底的俯视图像以及沿鞋底宽度方向的两个侧视图像；

S2：分别依次对俯视图像和两个侧视图像进行灰度化、平滑及边缘特征提取，得到鞋底边缘轮廓离散坐标点，对鞋底边缘轮廓离散坐标点进行拟合，并进行设定的偏置后，获得喷胶轨迹，所述喷胶轨迹包括鞋底平面喷胶轨迹和鞋底侧面喷胶轨迹；

S3：根据喷胶轨迹对鞋底喷胶机械人进行路径规划；

鞋底侧面喷胶轨迹的提取过程为：

221：对每个侧视图像进行预处理，找最大连通区域并求出鞋底侧面顶边缘轮廓离散坐标点和鞋底侧面底边缘轮廓离散坐标点，获得鞋底侧面顶边缘轮廓数组(x _i , z _D,i )和鞋底侧面底边缘轮廓数组(x _i , z _d,i )，i表示鞋底侧面顶边缘轮廓数组和鞋底侧面底边缘轮廓数组内坐标的总数；

222：得到鞋底侧面中线轮廓数组(x _i ,

)，

=( z _D,i + z _d,i )/2；

223：对鞋底侧面中线轮廓数组进行拟合得到鞋底侧面喷胶轨迹。

2.根据权利要求1所述的一种鞋底喷胶机械人的轨迹生成方法，其特征在于，所述步骤S2中，边缘特征提取采用改进型Canny边缘检测算法，在边缘提取的阈值处理中采用Otsu算法，通过计算最大类间方差来获取双阈值中的高阈值。

3.根据权利要求1所述的一种鞋底喷胶机械人的轨迹生成方法，其特征在于，所述步骤S2中，先将鞋底边缘轮廓离散坐标点进行非均匀三次B样条曲线拟合得到平滑的边缘轮廓线，然后将边缘轮廓线偏置，得到光滑的喷胶轨迹。

4.根据权利要求1所述的一种鞋底喷胶机械人的轨迹生成方法，其特征在于，所述步骤S2中，鞋底平面喷胶轨迹的提取过程为：

211：初始设置鞋底平面喷胶圈数为N，并设置当前循环次数为k，k=1；

212：对俯视图像进行预处理，找最大连通区域并求出鞋底平面边缘轮廓离散坐标点，获得第k组的鞋底平面边缘轮廓数组；

213：判断k是否小于N，若是，则按设定比例缩小俯视图图像的尺寸，令k=k+1，跳转步骤212，若否，则执行步骤214；

214：将N组的鞋底平面边缘轮廓数组的轮廓质心相重合并拟合，得到N圈的鞋底平面喷胶轨迹。

5.根据权利要求4所述的一种鞋底喷胶机械人的轨迹生成方法，其特征在于，所述鞋底平面喷胶圈数N取值范围为：3 ≤ N ≤ 5。

6.一种基于如权利要求1所述的鞋底喷胶机械人的轨迹生成方法的控制系统，其特征在于，包括：

俯视图像采集器，用于采集鞋底的俯视图像；

侧视图像采集器，为两个，用于分别沿鞋底宽度方向采集鞋底的两个侧视图像；

光照装置，用于照射鞋底；

工控机，分别连接俯视图像采集器、侧视图像采集器和光照装置，用于根据采集的俯视图像和侧视图像获取喷胶轨迹，并根据喷胶轨迹对鞋底喷胶机械人进行路径规划。

Images