CN112263052B - 一种基于视觉数据自动映射鞋面喷胶路径的方法及系统 - Google Patents

Abstract

本发明涉及喷涂数据处理技术领域，公开了一种基于视觉数据自动映射鞋面喷胶路径的方法及系统，其方法包括步骤：S1、通过相机和激光器扫描，采集鞋底、鞋面三维数据；S2、采用微分算子对步骤S1中采集的三维数据进行处理，提取鞋底喷胶边界线；S3、通过映射恢复鞋面有效的喷胶边界。以解决目前的喷胶设备存在的喷胶精度不足，以及喷涂报废率高，无法完全应用于生产线的问题。

Description

一种基于视觉数据自动映射鞋面喷胶路径的方法及系统

技术领域

本发明涉及喷涂数据处理技术领域，具体而言，涉及一种基于视觉数据自动映射鞋面喷胶路径的方法及系统。

背景技术

鞋底跟鞋面在设计过程中，理论上是完全可以匹配的，虽然鞋面具有丰富的形状和曲率，但鞋底脱模后由于材料、温度、挤压等存在变型不规则现象。原则上只需对某一款式的尺码鞋底和鞋面的进行一次视觉扫描即可，提取到的鞋底边缘通过旋转平移和平面外变形在内的几种方法来匹配其对应的鞋帮。但是，由于制造工艺，鞋底变形收缩，材料的厚度，鞋面拉帮造成随机误差等，鞋底不可能和鞋帮的完美匹配。

在专利号为CN201910223738.7中，公开了一种基于掩模鞋面的喷胶方法及自动喷胶系统，包括机架、设于机架上的用于传送鞋楦的传动带以及依流水线依次设置于机架传送带上方的三维扫描装置、掩模溶剂喷涂机构、第一夹取机构、处理水喷涂机构、第一烘干装置、第一自动喷胶机构、第二烘干装置、第二自动喷胶机构、第三烘干装置、第二夹取机构、冷冻装置、风热除剂装置。本发明克服了现有的喷胶设备存在的喷胶精度不足、喷胶一致性差以及无法规避特定区域进行局部喷胶的缺陷。

现有技术中的缺陷在于，1、上述对比文件中复杂的结构特征和工艺流程仅仅是实现了喷胶误差度的减小，并没有从本质上解决生产制造工艺中产生的误差。2、市面上鞋面喷胶采用的机器人示教路径，并采用高精度治具固定的方法进行喷涂，由于鞋面的随机变型误差，喷涂报废率高，无法完全应用于生产线。

发明内容

本发明的主要目的在于提供一种基于视觉数据自动映射鞋面喷胶路径的方法及系统，以解决目前的喷胶设备存在的喷胶精度不足，以及喷涂报废率高，无法完全应用于生产线的问题。

为了实现上述目的，本发明提供了如下技术：

一种基于视觉数据自动映射鞋面喷胶路径的方法，包括步骤：

S1、通过相机和激光器扫描，采集鞋底、鞋面三维数据；包括：S10、通过相机和激光器对鞋面、鞋底进行扫描，获取深度图像；S11、根据相机内获取的参数和深度图像，计算出对应的多个点云以及各自法向量；具体的，通过对空间点的一邻域进行最小二乘法平面拟合估计求解法向量，构造一个最小化目标函数，使得该邻域拟合平面内的向量与目标点法向量的点乘和尽量为0，即：

其中，x_i是邻域内点，c是邻域内中心点，n是待求解的法向量；T表示转置；根据上式转换得到：

根据主成分分析原理求解，即构造邻域点的协方差矩阵C并进行奇异值分解得到：

C·n_j＝λ_j·n_j，j∈{0，1，2}；

其中n_j和λ_j分别是特征向量和特征值；设λ₀<λ₁<λ₂,λ₀是最小特征值，其对应的特征向量n₀即为待求的法向量；

S12、对这些点云进行下采样、离群点去除和平滑处理；S13、根据深度相机标定，匹配所有点云，得到鞋子的完整边界点云；S14、对完整边界点云采用泊松曲面重建算法，得到完整网格模型；

S2、采用微分算子对步骤S1中采集的三维数据进行处理，提取鞋底喷胶边界线；微分算子，用于使用卷积模板对图像中的像素点进行运算，将卷积核上的所有值同像素点在图像中的位置像素值做乘法后求和，得到的结果为边缘检测算子；

S3、通过映射恢复鞋面有效的喷胶边界；

S4、通过机器人与3D相机手眼标定方式将步骤S3所求得的鞋面有效喷胶边界转换到机器人坐标系中，规划出最优喷胶路径。

进一步地，步骤S11中，点云的法向量计算法，采用局部表面拟合法；具体通过对空间点的某个邻域进行最小二乘法平面拟合求解法向量。

进一步地，步骤S12中，点云下采样处理，采取点云下采样方法来减少点云中点的数量，同时保持原点云的形状特征。

进一步地，步骤S12中，离群点去除处理，用于剔除从深度图像计算得到的点云存在的许多噪声点和离群点，根据所有点之间的距离的标准差和平均值来设定一个滤波范围，将不在该范围内的点作为离群点去除。

进一步地，步骤S12中，点云平滑处理，用于去除不规则数据的同时保持原点云的几何特征。

进一步地，步骤S3包括：S31、沿着鞋面3D数据横截面使用一组相邻点计算离散梯度的值，横截面多个坐标点组成的曲线与指定的直线进行比较时，计算相邻点到扫描线的偏差，当两侧偏差接近时找到的边缘点就是鞋面的粗边缘点；S32、计算上部扫描线和鞋底扫描线的边缘点到中心的距离，以及上部扫描线和鞋底扫描线的边缘点之间的距离；S33、计算每对扫描线所成的角度，并将这些角度分别在左右两侧相加，再将两个相加之差作为方位偏差，沿物体坐标系的y方向，从脚跟到脚趾进行扫描映射；S34、通过映射恢复出鞋面有效的边界。

一种基于视觉数据自动映射鞋面喷胶路径的系统，包括：相机扫描模块、三维点云计算模块、点云处理模块、点云配准模块、曲面重建模块和映射边界模块；

相机扫描模块，用于采集鞋底、鞋面三维数据；所述相机扫描模块具体用于：通过相机和激光器对鞋面、鞋底进行扫描，获取深度图像；

三维点云计算模块，用于计算三维点坐标和点云的法向量；所述三维点云计算模块具体用于：根据相机内获取的参数和深度图像，计算出对应的多个点云以及各自法向量；具体的，通过对空间点的一邻域进行最小二乘法平面拟合估计求解法向量，构造一个最小化目标函数，使得该邻域拟合平面内的向量与目标点法向量的点乘和尽量为0，即：

其中，x_i是邻域内点，c是邻域内中心点，n是待求解的法向量，T表示转置，k为邻域内点的数量；根据上式转换得到：

根据主成分分析原理求解，即构造邻域点的协方差矩阵C并进行奇异值分解得到：

C·n_j＝λ_j·n_j，j∈{0，1，2}；

其中n_j和λ_j分别是特征向量和特征值；设λ₀<λ₁<λ₂,λ₀是最小特征值，其对应的特征向量n₀即为待求的法向量；

点云处理模块，用于对点云进行下采样、离群点去除和平滑的数据预处理；

点云配准模块，用于深度相机标定，匹配所有点云，得到鞋子的完整点云；

曲面重建模块，用于对完整点云使用泊松曲面重建算法得到完整网格模型；

映射边界模块，用于映射恢复出鞋面有效的边界；

所述系统还用于通过机器人与3D相机手眼标定方式将映射边界模块所求得的鞋面有效喷胶边界转换到机器人坐标系中，规划出最优喷胶路径。

与现有技术相比较，本发明能够带来如下技术效果：

1、通过算法对鞋底进行变型纠偏，再将鞋底的有效喷胶边缘映射到鞋面上，进而从本质上解决生产制造工艺中产生的误差；

2、本发明的方法和系统可以适用于各种鞋底和鞋面喷胶生产线，可移植性高，商用价值大；

3、喷涂效率高，传统的鞋生产线上刷胶沙水，每人24-32秒完成一只，此系统结合机器人可以做到4秒喷涂一只，可替代工人6到8名，并可以24小时作业。

附图说明

构成本发明的一部分的附图用来提供对本发明的进一步理解，使得本发明的其它特征、目的和优点变得更明显。本发明的示意性实施例附图及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是本发明一种基于视觉数据自动映射鞋面喷胶路径的方法的流程图；

图2是本发明一种基于视觉数据自动映射鞋面喷胶路径的系统的结构图；

图3是本发明实施例Laplacian算子检测提取的边缘喷胶轨迹图；

图中：相机扫描模块10、三维点云计算模块11、点云处理模块12、点云配准模块13、曲面重建模块14、映射边界模块15。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本发明中，术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、“内”、“外”、“中”、“竖直”、“水平”、“横向”、“纵向”等指示的方位或位置关系为基于附图所示的方位或位置关系。这些术语主要是为了更好地描述本发明及其实施例，并非用于限定所指示的装置、元件或组成部分必须具有特定方位，或以特定方位进行构造和操作。

并且，上述部分术语除了可以用于表示方位或位置关系以外，还可能用于表示其他含义，例如术语“上”在某些情况下也可能用于表示某种依附关系或连接关系。对于本领域普通技术人员而言，可以根据具体情况理解这些术语在本发明中的具体含义。

另外，术语“多个”的含义应为两个以及两个以上。

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。

实施例1

如图1和2所示，一种基于视觉数据自动映射鞋面喷胶路径的方法，包括步骤：

S1、通过相机和激光器扫描，采集鞋底、鞋面三维数据；

其步骤S1包括：S10、通过相机和激光器对鞋面、鞋底进行扫描，获取深度图像；S11、根据相机内获取的参数和深度图像，计算出对应的多个点云以及各自法向量；S12、对这些点云进行下采样、离群点去除和平滑处理；S13、根据深度相机标定，匹配所有点云，得到鞋子的完整边界点云；S14、对完整点云采用泊松曲面重建算法，得到完整网格模型。

步骤S11中，点云的法向量计算法，采用局部表面拟合法；具体通过对空间点的某个邻域进行最小二乘法平面拟合求解法向量。

步骤S12中，点云下采样处理，采取点云下采样方法来减少点云中点的数量，同时保持原点云的形状特征。

步骤S12中，离群点去除处理，用于剔除从深度图像计算得到的点云存在的许多噪声点和离群点，根据所有点之间的距离的标准差和平均值来设定一个滤波范围，将不在该范围内的点作为离群点去除。

步骤S12中，点云平滑处理，用于去除不规则数据的同时保持原点云的几何特征。

S2、采用微分算子对步骤S1中采集的三维数据进行处理，提取鞋底喷胶边界线；

在步骤S2中，微分算子，用于使用卷积模板对图像中的像素点进行运算，将卷积核上的所有值同其在图像中的位置像素值做乘法后求和，得到的结果为边缘检测算子。

S3、通过映射恢复鞋面有效的喷胶边界。

步骤S3包括：S31、沿着鞋面3D数据横截面使用一组相邻点计算离散梯度的值,横截面多个坐标点组成的曲线与指定的直线进行比较时,计算相邻点到扫描线的偏差，当两侧偏差接近时找到的边缘点就是鞋面的粗边缘点；S32、计算上部扫描线和鞋底扫描线的边缘点到中心的距离，以及上部扫描线和鞋底扫描线的边缘点之间的距离，分别a，b和c表示；S33、计算每对扫描线的a，b所成的角度，并将这些角度分别在左右两侧相加，再将两个相加之差作为方位偏差，沿物体坐标系的y方向，从脚跟到脚趾进行扫描映射；S34、通过映射恢复出鞋面有效的边界。

还包括步骤S4，S4、通过机器人与3D相机手眼标定方式将步骤S3所求得的鞋面有效喷胶边界转换到机器人坐标系中，规划出最优喷胶路径。

机器人与3D相机手眼标定，固定的3d相机与固定位置机器人，求出3d相机坐标系与机器人base坐标系的RT矩阵关系；求的有效边界用第六步中的手眼标定关系转换到机器人坐标系。

P(robot)＝[R T]P(cam)；

其中P(robot)是机器人坐标系的三维点，P(cam)是3D相机坐标系下的三维点。根据三维边界点云、机器人规划姿态算法、喷胶工艺结合形成规划出最优喷胶路径。

一种基于视觉数据自动映射鞋面喷胶路径的系统，包括：相机扫描模块10、三维点云计算模块11、点云处理模块12、点云配准模块13、曲面重建模块14和映射边界模块15；

相机扫描模块10，用于采集鞋底、鞋面三维数据；

三维点云计算模块11，用于计算三维点坐标和点云的法向量；

点云处理模块12，用于对点云进行下采样、离群点去除和平滑的数据预处理；

点云配准模块13，用于深度相机标定，匹配所有点云，得到鞋子的完整点云；

曲面重建模块14，用于对完整点云使用泊松曲面重建算法得到完整网格模型；

映射边界模块15，用于映射恢复出鞋面有效的边界。

实施例2

本发明的硬件系统组成：CCD工业相机、25mm焦距光学镜头、不可见线激光投射器、步进电机、光电限位器。

如图1和2所示，一种基于视觉数据自动映射鞋面喷胶路径的方法，包括步骤：

S1、通过相机和激光器扫描，采集鞋底、鞋面三维数据；

其步骤S1包括：S10、当视觉捕捉到工作平台上的带喷胶鞋产品时，工作平台停止运行，通过电机驱动上下两组相机和激光器的配合运转对鞋面、鞋底进行扫描，获取深度图像；S11、根据相机内获取的参数和深度图像，计算出对应的多个点云以及各自法向量；多个点云的数量大于36个点云以上，使最终计算的点云更加精准。S12、对这些点云进行下采样、离群点去除和平滑处理；S13、根据深度相机标定，匹配所有点云，得到鞋子的完整边界点云；S14、对完整点云采用泊松曲面重建算法，得到完整网格模型。

步骤S11中，点云的法向量计算法，采用局部表面拟合法；具体通过对空间点的某个邻域进行最小二乘法平面拟合求解法向量。局部表面拟合法在计算法向量方面原理简单，计算效率快，适合大规模点云计算。通过对空间点的k邻域进行最小二乘法平面拟合估计求解法向量。具体来说，构造一个最小化目标函数，使得邻域拟合平面内的向量与目标点法向量的点乘和尽量为0，即：

其中，x_i是邻域内点，c是邻域内中心点，n是待求解的法向量。

上述问题可以根据主成分分析原理求解，即构造邻域点的协方差矩阵C并进行奇异值分解得到：

C·n_j＝λ_j·n_j，j∈(0，1，2}；

其中n_j和λ_j分别是特征向量和特征值。设λ₀<λ₁<λ₂,λ₀是最小特征值，其对应的特征向量n₀即为待求的法向量。

步骤S12中，点云下采样处理，采取点云下采样方法来减少点云中点的数量，同时保持原点云的形状特征。由于初始点云的密度较大，过多数量的点会使后续点云配准，曲面重建过程运行速度变慢，因此需要采取点云下采样方法来减少点云中点的数量，同时保持原点云的形状特征，目前常用的下采样方法是体素网格下采样。体素网格下采样方法的原理如下：首先用一个立方体包围盒包围初始点云，然后将这个包围盒分割成一系列微小的空间三维立方体(体素栅格)，对输入点云构造一个三维体素栅格集合，最后用每个体素内的所有点的重心来近似表示这个体素中的点，从而达到对原点云下采样的目的，该方法可以完整保持点云的空间几何特征。

步骤S12中，离群点去除处理，用于剔除从深度图像计算得到的点云存在的许多噪声点和离群点，根据所有点之间的距离的标准差和平均值来设定一个滤波范围，将不在该范围内的点作为离群点去除。

离群点去除：受外部环境和深度相机传感器影响，从深度图像计算得到的点云通常存在许多噪声点和离群点，这些点会影响到后续的点云配准等操作，因此需要对这些点剔除。点云统计分析滤波是通过分析点云中的点到一定范围内的邻域点的距离均值来进行离群点去除。由于点云中的点符合高斯分布，因此可以根据所有点之间的距离的标准差和平均值来设定一个滤波范围，将不在该范围内的点作为离群点去除。将所有符合要求的点从初始点云中删除，可以得到滤波后的点云。记点云中某一点为p_i＝(x_i,y_i,z_i)^T，p_i到邻域内其他点的距离为l_ij，其中i，j＝1，2，3，.....，m(m为点的总数)，则：

根据之前的分析可知，pi到邻域内其他点的距离的均值li满足高斯分布，

记μ为所有l_i距离的平均值，σ为标准差，则关于l_i高斯分布为：

设标准差阈值倍数为k，则当

认为点p_i是离散点，需要剔除。

步骤S12中，点云平滑处理，用于去除不规则数据的同时保持原点云的几何特征。

下采样后的点云如果直接进行曲面重建，得到的模型往往会不够光滑。因此，需要使用点云平滑算法，去除不规则数据的同时保持原点云的几何特征，一般常用双边滤波器来达到平滑目的。双边滤波器可视为一种加权的高斯滤波器，高斯滤波器相当于一个低通滤波器，它可以将点云中的曲率变化大的点去除，同时保留原点云形状。而双边滤波器可以保持点云的局部边缘信息，在采样时同时考虑点在空间域和像素域上的变化程度，因而可以在保持初始点云的大体形状的同时保持局部细节。

S2、采用微分算子对步骤S1中采集的三维数据进行处理，提取鞋底喷胶边界线；

在步骤S2中，微分算子，用于使用卷积模板对图像中的像素点进行运算，将卷积核上的所有值同其在图像中的位置像素值做乘法后求和，得到的结果为边缘检测算子。

S3、通过映射恢复鞋面有效的喷胶边界。

步骤S3包括：S31、沿着鞋面3D数据横截面使用一组相邻点计算离散梯度的值,横截面多个坐标点组成的曲线与指定的直线进行比较时,计算相邻点到扫描线的偏差，当两侧偏差接近时找到的边缘点就是鞋面的粗边缘点；S32、计算上部扫描线和鞋底扫描线的边缘点到中心的距离，以及上部扫描线和鞋底扫描线的边缘点之间的距离，分别a，b和c表示；S33、计算每对扫描线的a，b所成的角度，并将这些角度分别在左右两侧相加，再将两个相加之差作为方位偏差，沿物体坐标系的y方向，从脚跟到脚趾进行扫描映射；S34、通过映射恢复出鞋面有效的边界。

还包括步骤S4，S4、通过机器人与3D相机手眼标定方式将步骤S3所求得的鞋面有效喷胶边界转换到机器人坐标系中，规划出最优喷胶路径。

机器人与3D相机手眼标定，固定的3d相机与固定位置机器人，求出3d相机坐标系与机器人base坐标系的RT矩阵关系；求的有效边界用第六步中的手眼标定关系转换到机器人坐标系。

P(robot)＝[R T]P(cam)；

其中P(robot)是机器人坐标系的三维点，P(cam)是3D相机坐标系下的三维点。根据三维边界点云、机器人规划姿态算法、喷胶工艺结合形成规划出最优喷胶路径。

一种基于视觉数据自动映射鞋面喷胶路径的系统，包括：相机扫描模块10、三维点云计算模块11、点云处理模块12、点云配准模块13、曲面重建模块14和映射边界模块15；

相机扫描模块10，用于采集鞋底、鞋面三维数据；

三维点云计算模块11，用于计算三维点坐标和点云的法向量；

点云处理模块12，用于对点云进行下采样、离群点去除和平滑的数据预处理；

点云配准模块13，用于深度相机标定，匹配所有点云，得到鞋子的完整点云；

曲面重建模块14，用于对完整点云使用泊松曲面重建算法得到完整网格模型；

映射边界模块15，用于映射恢复出鞋面有效的边界。

实施例3

本发明的硬件系统组成：CCD工业相机、25mm焦距光学镜头、不可见线激光投射器、步进电机、光电限位器。

如图1和2所示，一种基于视觉数据自动映射鞋面喷胶路径的方法，包括步骤：

S1、通过相机和激光器扫描，采集鞋底、鞋面三维数据；

其步骤S1包括：S10、当视觉捕捉到工作平台上的带喷胶鞋产品时，工作平台停止运行，通过电机驱动上下两组相机和激光器的配合运转对鞋面、鞋底进行扫描，获取深度图像；S11、根据相机内获取的参数和深度图像，计算出对应的多个点云以及各自法向量；多个点云的数量大于36个点云以上，使最终计算的点云更加精准。S12、对这些点云进行下采样、离群点去除和平滑处理；S13、根据深度相机标定，匹配所有点云，得到鞋子的完整边界点云；S14、对完整点云采用泊松曲面重建算法，得到完整网格模型。

步骤S11中，点云的法向量计算法，采用局部表面拟合法；具体通过对空间点的某个邻域进行最小二乘法平面拟合求解法向量。局部表面拟合法在计算法向量方面原理简单，计算效率快，适合大规模点云计算。通过对空间点的k邻域进行最小二乘法平面拟合估计求解法向量。具体来说，构造一个最小化目标函数，使得邻域拟合平面内的向量与目标点法向量的点乘和尽量为0，即：

其中，x_i是邻域内点，c是邻域内中心点，n是待求解的法向量。

上述问题可以根据主成分分析原理求解，即构造邻域点的协方差矩阵C并进行奇异值分解得到：

C·n_j＝λ_j·n_j，j∈(0，1，2}；

其中n_j和λ_j分别是特征向量和特征值。设λ₀<λ₁<λ₂,λ₀是最小特征值，其对应的特征向量n₀即为待求的法向量。

步骤S12中，点云下采样处理，采取点云下采样方法来减少点云中点的数量，同时保持原点云的形状特征。由于初始点云的密度较大，过多数量的点会使后续点云配准，曲面重建过程运行速度变慢，因此需要采取点云下采样方法来减少点云中点的数量，同时保持原点云的形状特征，目前常用的下采样方法是体素网格下采样。体素网格下采样方法的原理如下：首先用一个立方体包围盒包围初始点云，然后将这个包围盒分割成一系列微小的空间三维立方体(体素栅格)，对输入点云构造一个三维体素栅格集合，最后用每个体素内的所有点的重心来近似表示这个体素中的点，从而达到对原点云下采样的目的，该方法可以完整保持点云的空间几何特征。

步骤S12中，离群点去除处理，用于剔除从深度图像计算得到的点云存在的许多噪声点和离群点，根据所有点之间的距离的标准差和平均值来设定一个滤波范围，将不在该范围内的点作为离群点去除。

离群点去除：受外部环境和深度相机传感器影响，从深度图像计算得到的点云通常存在许多噪声点和离群点，这些点会影响到后续的点云配准等操作，因此需要对这些点剔除。点云统计分析滤波是通过分析点云中的点到一定范围内的邻域点的距离均值来进行离群点去除。由于点云中的点符合高斯分布，因此可以根据所有点之间的距离的标准差和平均值来设定一个滤波范围，将不在该范围内的点作为离群点去除。将所有符合要求的点从初始点云中删除，可以得到滤波后的点云。记点云中某一点为p_i＝(x_i,y_i,z_i)^T，p_i到邻域内其他点的距离为l_ij，其中i，j＝1，2，3，.....，m(m为点的总数)，则：

根据之前的分析可知，pi到邻域内其他点的距离的均值li满足高斯分布，

记μ为所有l_i距离的平均值，σ为标准差，则关于l_i高斯分布为：

设标准差阈值倍数为k，则当

认为点p_i是离散点，需要剔除。

步骤S12中，点云平滑处理，用于去除不规则数据的同时保持原点云的几何特征。

下采样后的点云如果直接进行曲面重建，得到的模型往往会不够光滑。因此，需要使用点云平滑算法，去除不规则数据的同时保持原点云的几何特征，一般常用双边滤波器来达到平滑目的。双边滤波器可视为一种加权的高斯滤波器，高斯滤波器相当于一个低通滤波器，它可以将点云中的曲率变化大的点去除，同时保留原点云形状。而双边滤波器可以保持点云的局部边缘信息，在采样时同时考虑点在空间域和像素域上的变化程度，因而可以在保持初始点云的大体形状的同时保持局部细节。

S2、采用微分算子对步骤S1中采集的三维数据进行处理，提取鞋底喷胶边界线；

在步骤S2中，微分算子，用于使用卷积模板对图像中的像素点进行运算，将卷积核上的所有值同其在图像中的位置像素值做乘法后求和，得到的结果为边缘检测算子。

如图3所示，Laplacian算子检测提取的边缘喷胶轨迹图。微分算子对于边缘检测提取来说是有效的工具。本实施例以Laplacian算子检测法为例，Laplacian算子是常用的二阶微分边缘检测算子。对于一个连续函数f(x，y)，它在位置(x，y)的拉普拉斯定义如下：

将其运用到离散的图像像素中，二阶偏导数可以用差分表示，则上式可以表示为：

将两个公式结合在一起就可以得到近似拉普拉斯算子的模板：

S3、通过映射恢复鞋面有效的喷胶边界。

步骤S3包括：S31、沿着鞋面3D数据横截面使用一组相邻点计算离散梯度的值,横截面多个坐标点组成的曲线与指定的直线进行比较时,计算相邻点到扫描线的偏差，当两侧偏差接近时找到的边缘点就是鞋面的粗边缘点；S32、计算上部扫描线和鞋底扫描线的边缘点到中心的距离，以及上部扫描线和鞋底扫描线的边缘点之间的距离；S33、计算每对扫描线所成的角度，并将这些角度分别在左右两侧相加，再将两个相加之差作为方位偏差，沿物体坐标系的y方向，从脚跟到脚趾进行扫描映射；S34、通过映射恢复出鞋面有效的边界。

还包括步骤S4，S4、通过机器人与3D相机手眼标定方式将步骤S3所求得的鞋面有效喷胶边界转换到机器人坐标系中，规划出最优喷胶路径。

机器人与3D相机手眼标定，固定的3d相机与固定位置机器人，求出3d相机坐标系与机器人base坐标系的RT矩阵关系；求的有效边界用第六步中的手眼标定关系转换到机器人坐标系。

P(robot)＝[R T]P(cam)；

其中P(robot)是机器人坐标系的三维点，P(cam)是3D相机坐标系下的三维点。根据三维边界点云、机器人规划姿态算法、喷胶工艺结合形成规划出最优喷胶路径。

一种基于视觉数据自动映射鞋面喷胶路径的系统，包括：相机扫描模块10、三维点云计算模块11、点云处理模块12、点云配准模块13、曲面重建模块14和映射边界模块15；

相机扫描模块10，用于采集鞋底、鞋面三维数据；

三维点云计算模块11，用于计算三维点坐标和点云的法向量；

点云处理模块12，用于对点云进行下采样、离群点去除和平滑的数据预处理；

点云配准模块13，用于深度相机标定，匹配所有点云，得到鞋子的完整点云；

曲面重建模块14，用于对完整点云使用泊松曲面重建算法得到完整网格模型；

映射边界模块15，用于映射恢复出鞋面有效的边界。

与现有技术相比较，本发明能够带来如下技术效果：

1、通过算法对鞋底进行变型纠偏，再将鞋底的有效喷胶边缘映射到鞋面上，进而从本质上解决生产制造工艺中产生的误差；

2、本发明的方法和系统可以适用于各种鞋底和鞋面喷胶生产线，可移植性高，商用价值大；

3、喷涂效率高，传统的鞋生产线上刷胶沙水，每人24-32秒完成一只，此系统结合机器人可以做到4秒喷涂一只，可替代工人6到8名，并可以24小时作业。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于视觉数据自动映射鞋面喷胶路径的方法，其特征在于，包括步骤：

S1、通过相机和激光器扫描，采集鞋底、鞋面三维数据；包括：S10、通过相机和激光器对鞋面、鞋底进行扫描，获取深度图像；S11、根据相机内获取的参数和深度图像，计算出对应的多个点云以及各自法向量；具体的，通过对空间点的一邻域进行最小二乘法平面拟合估计求解法向量，构造一个最小化目标函数，使得该邻域拟合平面内的向量与目标点法向量的点乘和尽量为0，即：

；

其中，x_i是邻域内点，c是邻域内中心点，n是待求解的法向量，T表示转置；根据上式转换得到：

；

根据主成分分析原理求解，即构造邻域点的协方差矩阵C并进行奇异值分解得到：

；

其中n_j和λ_j分别是特征向量和特征值；设λ₀<λ₁<λ₂,λ₀是最小特征值，其对应的特征向量n₀即为待求的法向量；

S12、对这些点云进行下采样、离群点去除和平滑处理；S13、根据深度相机标定，匹配所有点云，得到鞋子的完整边界点云；S14、对完整边界点云采用泊松曲面重建算法，得到完整网格模型；

S2、采用微分算子对步骤S1中采集的三维数据进行处理，提取鞋底喷胶边界线；微分算子，用于使用卷积模板对图像中的像素点进行运算，将卷积核上的所有值同像素点在图像中的位置像素值做乘法后求和，得到的结果为边缘检测算子；

S3、通过映射恢复鞋面有效的喷胶边界；

S4、通过机器人与3D相机手眼标定方式将步骤S3所求得的鞋面有效喷胶边界转换到机器人坐标系中，规划出最优喷胶路径。

2.如权利要求1所述的一种基于视觉数据自动映射鞋面喷胶路径的方法，其特征在于，步骤S11中，点云的法向量计算法，采用局部表面拟合法；具体通过对空间点的某个邻域进行最小二乘法平面拟合求解法向量。

3.如权利要求2所述的一种基于视觉数据自动映射鞋面喷胶路径的方法，其特征在于，步骤S12中，点云下采样处理，采取点云下采样方法来减少点云中点的数量，同时保持原点云的形状特征。

4.如权利要求1或3所述的一种基于视觉数据自动映射鞋面喷胶路径的方法，其特征在于，步骤S12中，离群点去除处理，用于剔除从深度图像计算得到的点云存在的许多噪声点和离群点，根据所有点之间的距离的标准差和平均值来设定一个滤波范围，将不在该范围内的点作为离群点去除。

5.如权利要求4所述的一种基于视觉数据自动映射鞋面喷胶路径的方法，其特征在于，步骤S12中，点云平滑处理，用于去除不规则数据的同时保持原点云的几何特征。

6.如权利要求1所述的一种基于视觉数据自动映射鞋面喷胶路径的方法，其特征在于，步骤S3包括：S31、沿着鞋面3D数据横截面使用一组相邻点计算离散梯度的值，横截面多个坐标点组成的曲线与指定的直线进行比较时，计算相邻点到扫描线的偏差，当两侧偏差接近时找到的边缘点就是鞋面的粗边缘点；S32、计算上部扫描线和鞋底扫描线的边缘点到中心的距离，以及上部扫描线和鞋底扫描线的边缘点之间的距离；S33、计算每对扫描线所成的角度，并将这些角度分别在左右两侧相加，再将两个相加之差作为方位偏差，沿物体坐标系的y方向，从脚跟到脚趾进行扫描映射；S34、通过映射恢复出鞋面有效的边界。

7.一种基于视觉数据自动映射鞋面喷胶路径的系统，其特征在于，包括：相机扫描模块、三维点云计算模块、点云处理模块、点云配准模块、曲面重建模块和映射边界模块；

相机扫描模块，用于采集鞋底、鞋面三维数据；所述相机扫描模块具体用于：通过相机和激光器对鞋面、鞋底进行扫描，获取深度图像；

三维点云计算模块，用于计算三维点坐标和点云的法向量；所述三维点云计算模块具体用于：根据相机内获取的参数和深度图像，计算出对应的多个点云以及各自法向量；具体的，通过对空间点的一邻域进行最小二乘法平面拟合估计求解法向量，构造一个最小化目标函数，使得该邻域拟合平面内的向量与目标点法向量的点乘和尽量为0，即：

；

其中，x_i是邻域内点，c是邻域内中心点，n是待求解的法向量，T表示转置，k为邻域内点的数量；根据上式转换得到：

；

根据主成分分析原理求解，即构造邻域点的协方差矩阵C并进行奇异值分解得到：

；

其中n_j和λ_j分别是特征向量和特征值；设λ₀<λ₁<λ₂,λ₀是最小特征值，其对应的特征向量n₀即为待求的法向量；

点云处理模块，用于对点云进行下采样、离群点去除和平滑的数据预处理；

点云配准模块，用于深度相机标定，匹配所有点云，得到鞋子的完整点云；

曲面重建模块，用于对完整点云使用泊松曲面重建算法得到完整网格模型；

映射边界模块，用于映射恢复出鞋面有效的边界；

所述系统还用于通过机器人与3D相机手眼标定方式将映射边界模块所求得的鞋面有效喷胶边界转换到机器人坐标系中，规划出最优喷胶路径。

Images