CN111702772B - 一种帮面自动引导涂胶方法及系统 - Google Patents

Abstract

本发明公开了制鞋技术领域内的一种帮面自动引导涂胶方法，具体包括如下步骤：S1，在样品鞋帮面预先绘制路径线，通过安装在机械手上的图像采集装置获取样品鞋帮面点云数据；S2，对点云数据进行拼接融合处理并分隔出路径线上的路径点云数据；S3，将路径点云数据中的位置信息及空间法向量信息转化为机械手xyzrpy坐标组从而引导机械手涂胶。上述涂胶方法可准确识别涂胶路径，无需多次尝试验证，操作简单且效率高，对操作人员要求低，同时涂胶路径精度高、一致性高。

Description

一种帮面自动引导涂胶方法及系统

技术领域

本发明涉及制鞋技术领域，特别涉及一种帮面自动引导涂胶方法及系统。

背景技术

在靴革加工制造行业中，目前的鞋底涂胶工序大多由人工来完成，费时费力且质量不均。另外，该工序涉及到气体、液体等多种介质，其多变的性能使得涂胶工艺变得复杂。而随着绿色环保和改善劳动者的工作环境要求越来越高，这不断促使了生产商对新技术的尝试与使用。在国内机器人的研究开发工作已有多年，其研究成果已相继应用到实际生产中。因此，在涂胶工艺中引入机器人技术是势在必行的，涂胶机器人的研究与开发对我国轻工支柱产业之一的制鞋行业来说具有巨大的经济价值和社会效益。

在制鞋行业里涂胶机械手已经应用于生产中，因鞋帮面为三维连续光滑曲面，难以通过图像采集处理手段直接确定出其上的特定涂胶路径线，为保证在复杂的工艺中实现高精度与高稳定性的涂胶，一般在正式工作前需要对机械手进行涂胶路径线示教，而传统示教轨迹的方案需要人工示教100个点位以上，因此必须选用熟悉机械手的人员进行操作，同时即使是熟悉机械手的人员，按传统示教轨迹的方案每示教一个新款式样品也需要2-3h，整个示教过程对操作人员要求较高且费时费力。

现有技术中，有通过相机采集鞋帮底面轮廓线的空间坐标并将采集到的轮廓线坐标进行整体偏移的方式来获取涂胶路径线的空间坐标，但因鞋帮面大多非竖直面，其具有一定的倾斜角，整体偏移的角度需要由操作人员根据经验进行尝试以及验证，对操作人员要求高，且很难保证涂胶路径线的精度。

发明内容

本申请通过提供一种帮面自动引导涂胶方法及系统，解决了现有技术中涂胶路径线获取困难且精度难以保证的问题，实现了涂胶路径线获取过程的简单化和高效化，同时提高了涂胶路径精度和一致性。

本申请实施例提供了一种帮面自动引导涂胶方法，具体包括如下步骤：

S1，在样品鞋帮面预先绘制路径线，通过安装在机械手上的图像采集装置获取样品鞋帮面点云数据；

S2，对点云数据进行拼接融合处理并分隔出路径线上的路径点云数据；

S3，将路径点云数据中的位置信息及空间法向量信息转化为机械手xyzrpy坐标组从而引导机械手涂胶。

上述方法的有益效果在于：本方法在鞋帮面预先绘制有路径线，再通过机械手带动图像采集装置获取样品鞋帮面点云数据，通过对采集的点云数据进行处理分隔出路径线上的点云，即可得出涂胶路径，操作简单，对操作人员要求低，也大大降低了操作人员的劳动强度；本方法识别并生成涂胶路径只需5min左右，且无需多次调试验证，效率高，节约时间成本；传统示教轨迹的方案或采集帮面底部轮廓并整体偏移的方案均需由操作人员经验判断，且不同的操作人员结果略有不同，本方法撇去了人为因素，从而提高了涂胶路径的精度和一致性。

上述涂胶方法还可以进一步改进，具体如下：

在本申请其中一个实施例中，所述步骤S1中，路径线绘制方法如下：在样品鞋底内垫上一块垫板后再套上样品鞋帮，然后再沿样品鞋底和样品鞋帮交界处绘制涂胶路径线。垫板厚度根据机械手涂胶口半径而定，通过上述方式绘制出的路径线更精准，沿该路径线涂胶，可以使得胶水在不溢出的情况下覆盖更多鞋底与鞋帮接触面。

在本申请其中一个实施例中，所述步骤S1具体为：

S1.1，将图像采集装置安装在机械手末端，并进行手眼标定；

S1.2，在样品鞋帮面预先绘制路径线，绕样品鞋帮面移动机械手，图像采集装置在不同位置获取帮面的点云数据，所述点云数据包括位置信息和纹理信息；

所述步骤S2具体为：

S2.1，根据点云数据中的位置信息对点云进行拼接以及融合处理；

S2.2，根据点云数据中的纹理信息识别分隔出路径线上的路径点云数据；

所述步骤S3具体为：

S3.1，根据相邻点云计算出路径点云中每个点的空间法向量，并将该空间法向量变换为机械手的欧拉角；

S3.2，将路径点云数据中的位置信息结合对应的欧拉角信息转化为机械手能识别的xyzrpy坐标组，并发送至机械手；

S3.3，机械手根据接收的xyzrpy坐标组进行涂胶。

在本申请其中一个实施例中，所述步骤S1.2中，所述纹理信息包括灰度或RGB信息。根据图像采集装置能够采集的信息以及鞋帮路径与鞋面差异点综合考量需要选用的纹理信息。

在本申请其中一个实施例中，所述步骤S1.2中绘制的路径线与周边帮面形成明显色差。人工预制路径线，路径线的颜色与帮面颜色区别较大，如帮面为黑色路径线为白色、帮面为白色路径线为黑色、帮面为红色路径线为绿色或蓝色等，从而方便后续根据RGB或灰度信息的区别将路径线上的点云与周边其它点云区分，从而方便分隔出路径点云，同时提高了分隔出的涂胶路径点云的精度。

在本申请其中一个实施例中，所述步骤S2.1中，所述融合处理包括栅格化去重处理。经栅格化去重处理后可以减少后续数据计算处理量，提高效率。

在本申请其中一个实施例中，在所述步骤S2.2前，对融合处理后的点云数据还进行去噪处理。经去噪处理后可提高后续识别分隔出路径点云的精度。

本申请实施例还提供一种基于上述涂胶方法的帮面自动引导涂胶系统，包括：

机械手，用以给鞋帮面自动涂胶；

图像采集装置，安装于机械手末端，所述图像采集装置用以采集样品鞋帮面点云数据；

处理器，与所述图像采集装置电连接，所述处理器接收并处理所述图像采集装置采集的点云数据并生成所述机械手能识别的坐标组。

在本申请其中一个实施例中，所述图像采集装置为可采集灰度或RGB信息的3D相机。

本申请实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：

1.本方法在鞋帮面预先绘制有路径线，再通过机械手带动图像采集装置获取样品鞋帮面点云数据，通过对采集的点云数据进行处理分隔出路径线上的点云，即可得出涂胶路径，操作简单，对操作人员要求低，也大大降低了操作人员的劳动强度；

2.本方法识别并生成涂胶路径只需5min左右，且无需多次调试验证，效率高，节约时间成本；

3.本涂胶方法通过相机采集路径线上的路径点，从而提高了涂胶路径的精度，且撇去了人为因素，使得涂胶路径一致性高。

附图说明

图1为本发明的方法流程图。

具体实施方式

下面结合具体实施方式，进一步阐明本发明，应理解这些实施方式仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

本申请实施例通过提供一种帮面自动引导涂胶方法及系统，解决了现有技术中涂胶路径线获取困难且精度难以保证的问题，实现了涂胶路径线获取过程的简单化和高效化，同时提高了涂胶路径精度和一致性。

本申请实施例中的技术方案为解决机械手示教过程困难的问题，总体思路如下：

实施例一：

如图1所示，一种帮面自动引导涂胶方法，具体包括如下步骤：

S1.1，图像采集装置选用3D相机，将3D相机安装在机械手末端，并进行手眼标定，确定3D相机相对于机械手末端的齐次变换关系，手眼标定方法如下：

旋转相机，每次都拍摄一个固定的尖锥，则有下式：

T_i·X·m_i＝T_j·X·m_j (l)；

式(1)中T_i是4x4齐次变化矩阵，表示机械手末端在第i次的姿态，X是4x4齐次变化矩阵，表示相机与机械手末端的安装关系，该安装关系是一个固定值，m_i是4x1的列向量，表示尖锥在相机视野中的坐标值，方程右侧表示第j次拍摄，将上式进行推导可得：

即可化简为XB＝AX类型公式，再通过opencv中的Tsai求解算子可以求得矩阵X，从而完成手眼标定，以确定3D相机与机械手坐标系的变换关系。

S1.2，在样品鞋底内垫上一块垫板后再套上样品鞋帮，然后再沿样品鞋底和样品鞋帮交界处绘制与周边形成明显色差的路径线，随后单独固定样品鞋帮，从鞋跟部位开始绕样品鞋帮面移动机械手一圈，期间3D相机在不断拍摄从而获取帮面整圈的点云数据，所述点云数据中每个点记录的数据均包括位置信息和RGB信息。

S2.1，根据S1.2中获取到的点云数据中的位置信息对点云进行拼接以及融合处理，具体流程如下：

首先根据帮面的范围设置Z的高度，对点云进行初步直通滤波，再将3D相机初始拍照点位记录为初始拍摄位置RT₀(RT₀为相机在机械手坐标系下的姿态,RT₀＝T₀X),此时的点云数据记录为PointCloud₀(简称PC₀)，后续所有的点云均以该副点云作为基准并进行拼接。移动相机至RT_i(RT_i＝T_iX)位置，第i次拍摄的数据记录为PC_i，通过下式可将PC_i变换至第0次拍摄的坐标系下，记为PC_{i_0}：

通过上述步骤可将n次拍摄的所有数据都转换至第0次拍摄的坐标系下，实现3D相机通过移动机械手的点云拼接。

随后将PC_{0_0},PC_{1_0}...PC_{i_0}共i副点云融合成一幅并记为PC_{total_0}，再对点云进行栅格化，并去重，过程如下:

先对融合后的点云进行3DAABB求解，通过遍历所有点的坐标值求得x_min、x_max、y_min、y_max、z_min、z_max使得点云中的每个点的xyz值都满足下式式(4)：

上述6个最大最小值可组成点云的最小外接长方体。假定现有一个长度为l的立方体，并用n块立方体对最小外接长方体进行栅格化，则每个xyz点都可在立体栅格中计算出该点的ijk索引，

式(5)中floor表示向下取整，

通过式(5)可求得每个点ijk索引，当同一个ijk索引对应多个点时，可通过下式式(6)对同一栅格中的点求均值，Pi表示该栅格中所有点，P′表示均值化后的点，

将P′作为该栅格的数据，并删除该栅格中的所有原始点，从而完成去重处理。

随后对去重后的点云进行统计滤波从而删除噪点数据，过程如下：对去重后的每一个点的邻域进行一个统计分析，计算它到所有临近点的平均距离，考虑到离群点的特征，则可以定义某处点云小于某个密度，既点云无效，计算每个点到其最近的k个点平均距离，则点云中所有点的距离应构成高斯分布，给定均值与方差，可将3∑之外的点定义为离群点并剔除。

S2.2，根据S1.2中路径线的RGB值来设定RGB边界信息的阈值，对经S2.1处理后的点云进行遍历，并提取出RGB值符合阈值的点，从而分隔出路径点云，记为PC_RGB；

S3.1，对经S2.1处理后的点云建立kdtree，并针对路径点云PC_RGB搜索附近的点云，进而求出路径点云中每个点的空间法向量，求解空间法向量过程如下：

通过kdtree搜索路径点云中第i个点周边的m个邻近点，为了增强拟合平面的鲁棒性，采用RANSAC平面拟合，即每次随机采样后都计算出一个平面方程Ax+By+Cz+D＝0中的ABCD4个值，从而求出该点的法向,拟合的迭代过程如下：

a)首先设定拟合精度为δ；

b)随机任取3个点拟合一个平面；

c)t表示n_inliers内点在m个数据集中的占比为t，即：

循环迭代b),c)n次，并记录每次迭代中的平面方程与t,再通过下式：

max{t₀,t₁..t_n} (8)；

求解出最优的一组解。

已知Ax+By+Cz+D＝0，则平面的单位法向量为(A,B,C)/|(A,B,C)|，根据上述求得的最优的一组解，再通过平面方程可轻松获取该平面的单位法向量。该单位法向量即为第i个点的空间法向量。

再通过罗德里格斯定理将空间法向量变换为机械手的Roll,Pitch,Yaw角，即机械手末端的姿态，通过zyx型的旋转矩阵相乘的形式，可将基准姿态下的空间向量n₀，转化为任意一个涂胶点位的法向n_i，具体转换方式如下：

注册一个机械手的基准姿态Pose₀(r₀,p₀,y₀)，对应的点云法向为n₀。

假设n_i是由向量n₀绕C旋转θ得到，则有

C＝AxB/|AxB| (9)；

此处A指代n₀，B指代n_i，C是某一个空间向量。可知：总是存在一个C，当C满足式(9)时，A绕C旋转θ度后变成B，此时，

根据罗德里格斯刚体旋转定理，绕空间单位向量C旋转θ的旋转矩阵为：

式(11)中

RT_{zyx_0_i}表示从基准姿态Pose₀(r₀,p₀,y₀)变换至任意姿态的旋转矩阵，根据旋转矩阵的唯一性，则有：

RT_{zyx_0_i}＝R_C，θ (12)；

通过下式(13)可将旋转矩阵RT_{zyx_0_i}转化为321型的

则有任意路径点位的姿态：

Pose_i(r_i,p_i,y_i)＝Pose₀(r₀，p₀，y_o)-Δrpy (14)。

S3.2，根据S1.1中确定的3D相机与机械手坐标系的变换关系，将路径点云数据中的空间位置坐标结合对应点的欧拉角姿态信息转化为机械手能识别的xyzrpy坐标组，并通过调用SDK发送至机械手。

S3.3，机械手根据接收的xyzrpy坐标组依次进行涂胶。

实施例二：一种采用实施例一所述涂胶方法的涂胶系统，包括：

机械手，用以给鞋帮面自动涂胶；

可采集灰度或RGB信息的3D相机，安装于机械手末端，所述图像采集装置用以采集样品鞋帮面点云数据；

处理器，分别与所述3D相机电连接，所述处理器接收并处理所述3D相机采集的点云数据并生成所述机械手能识别的坐标组。

上述本申请实施例中的技术方案，至少具有如下的技术效果或优点：

1.本方法在鞋帮面预先绘制有路径线，再通过机械手带动图像采集装置获取样品鞋帮面点云数据，通过对采集的点云数据进行处理分隔出路径线上的点云，即可得出涂胶路径，操作简单，对操作人员要求低，也大大降低了操作人员的劳动强度；

2.本方法识别并生成涂胶路径只需5min左右，且无需多次调试验证，效率高，节约时间成本；

3.本涂胶方法通过相机采集路径线上的路径点，从而提高了涂胶路径的精度，且撇去了人为因素，使得涂胶路径一致性高。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (7)

1.一种帮面自动引导涂胶方法，其特征在于，具体包括如下步骤：

S1，在样品鞋帮面预先绘制路径线，通过安装在机械手上的图像采集装置获取样品鞋帮面点云数据，具体为：

S1.1，将图像采集装置安装在机械手末端，并进行手眼标定；

S1.2，在样品鞋帮面预先绘制路径线，绕样品鞋帮面移动机械手，图像采集装置在不同位置获取帮面的点云数据，所述点云数据包括位置信息和纹理信息；

S2，对点云数据进行拼接融合处理并分隔出路径线上的路径点云数据，具体为：

S2.1，根据点云数据中的位置信息对点云进行拼接以及融合处理；

S2.2，根据点云数据中的纹理信息识别分隔出路径线上的路径点云数据；

S3，将路径点云数据中的位置信息及空间法向量信息转化为机械手xyzrpy坐标组从而引导机械手涂胶，具体为：

S3.1，根据相邻点云计算出路径点云中每个点的空间法向量，并将该空间法向量变换为机械手的欧拉角；

S3.2，将路径点云数据中的位置信息结合对应的欧拉角信息转化为机械手能识别的xyzrpy坐标组，并发送至机械手；

S3.3，机械手根据接收的xyzrpy坐标组进行涂胶。

2.根据权利要求1所述的涂胶方法，其特征在于：所述步骤S1中，路径线绘制方法如下：在样品鞋底内垫上一块垫板后再套上样品鞋帮，然后再沿样品鞋底和样品鞋帮交界处绘制涂胶路径线。

3.根据权利要求1所述的涂胶方法，其特征在于：所述步骤S1.2中，所述纹理信息包括灰度或RGB信息。

4.根据权利要求3所述的涂胶方法，其特征在于：所述步骤S1.2中绘制的路径线与周边帮面形成明显色差。

5.根据权利要求1所述的涂胶方法，其特征在于：所述步骤S2.1中，所述融合处理包括栅格化去重处理。

6.根据权利要求5所述的涂胶方法，其特征在于：在所述步骤S2.2前，对融合处理后的点云数据还进行去噪处理。

7.一种采用如权利要求1-6任一所述涂胶方法的涂胶系统，其特征在于，包括：

机械手，用以给鞋帮面自动涂胶；

图像采集装置，安装于机械手末端，所述图像采集装置用以采集样品鞋帮面点云数据；

处理器，与所述图像采集装置电连接，所述处理器接收并处理所述图像采集装置采集的点云数据并生成所述机械手能识别的坐标组。

Images