CN110881748A - 一种基于3d扫描的机器人鞋底自动涂胶系统及方法 - Google Patents

Abstract

本发明公开了一种基于3D扫描的机器人鞋底自动涂胶系统及方法，通过双相机和线激光扫描结合的方式获得鞋底点云数据，结合线扫激光的特点提取鞋底涂胶轮廓，相比在涂胶平台上的鞋底放置区用治具固持鞋底的方式对鞋底涂胶，该方法对鞋底放置状态要求相对宽松，有效降低了鞋底自动涂胶设备的复杂性，具有更快的测量速度。本方法采用实时处理的方式处理图像，对每条激光线图像做去噪处理，获取鞋底轮廓三维点云数据，并计算出鞋底的边缘点。当鞋底被扫描完时能立即给出鞋底的边缘轨迹及涂胶位姿。通过上述方式对鞋底三维数据快速准确的扫描测量，实现机器人自动涂胶，能够有效提高企业生产效率，增加企业竞争力。

Description

一种基于3D扫描的机器人鞋底自动涂胶系统及方法

技术领域

本发明属于鞋底涂胶领域，具体涉及一种基于3D扫描的机器人鞋底自动涂胶系统及方法。

背景技术

在靴革加工制造行业中，目前的鞋底涂胶工序大多由人工来完成，费时费力且质量不均。另外，该工序涉及到气体、液体等多种介质，其多变的性能使得涂胶工艺变得复杂。而随着绿色环保和改善劳动者的工作环境要求越来越高，这不断促使了生产商对新技术的尝试与使用。在国内机器人的研究开发工作已有多年，其研究成果已相继应用到实际生产中。因此，在涂胶工艺中引入机器人技术是实在必行的，涂胶机器人的研究与开发对我国轻工支柱产业之一的制鞋行业来说具有巨大的经济价值和社会效益。在制鞋行业里涂胶机器人已经应用于生产中，对机器人来说，如何在复杂的工艺中实现高精度与高稳定性的涂胶是一个具有挑战性的问题。

中国专利公开号CN105342070A公开了一种鞋底三维涂胶方法及装置，该装置和方法是先将鞋底固定好；然后通过三维激光扫描系统对上述的鞋底扫描,获取鞋底的待涂胶部位的三维坐标,存储在电脑中；再由电脑依据获取的三维坐标驱动涂胶胶嘴给待涂胶的鞋底涂胶。这种涂胶方式的缺陷在于扫描涂胶前必须先将鞋子固定好，这就要求必须要有一道负责固定鞋子的工序，从而增加了人力成本，降低了生产效率。

发明内容

本发明的目的是针对上述现有技术的不足，而提供一种基于3D扫描的机器人鞋底自动涂胶系统，可以使鞋子随意摆放也能实现扫描涂胶，本发明同时提供了一种使用上述系统的机器人鞋底自动涂胶方法。

为解决上述技术问题，本发明采用的一个技术方案是：一种基于3D扫描的机器人鞋底自动涂胶系统，包括视觉处理单元，所述视觉处理单元包括上位机及与其通讯连接的三维传感器，所述三维传感器固定于传感器安装架上，三维传感器下方设有用于放置待涂胶工件的工件放置机构，工件放置机构的一侧设有用于对待涂胶工件进行涂胶操作的涂胶机器人，所述涂胶机器人包括胶枪和用于与上位机通讯驱动连接以控制其运动的机械手，所述胶枪安装于机械手的末端；所述三维传感器包括两个相机和一个线激光器，所述线激光器用于与对应的驱动电机连接，所述相机和驱动电机均与上位机通讯连接，所述三维传感器获取待涂胶工件的信息传输给所述上位机，所述上位机控制所述驱动电机运动以使线激光器扫描待涂胶工件。

在本发明另一个实施例中，所述工件放置机构为传送带传动机构以用于将工件沿传送带移动方向传动。

在本发明另一个实施例中，所述传送带传动机构还包括用于检测传送带运动的编码器。

本发明基于3D扫描的机器人鞋底自动涂胶方法的技术方案包括如下步骤：

(1)安装三维传感器，标定坐标系：将三维传感器安装于工件放置机构扫描点上方设定位置处，标定相机坐标系与涂胶机器人的机械手工具坐标系的关系；

(2)采集数据：将工件移送至工件放置机构上的扫描点处，利用三维传感器拍摄图像、扫描数据；

(3)判断有无工件：根据三维传感器所拍摄的图像和数据信息判断是否存在工件，如果不存在则返回上一步骤，如果存在则将工件移至涂胶机器人的涂胶位置处；

(4)工件数据处理：对三维传感器扫描的三维数据进行处理，提取轮廓点，处理获取待涂胶工件的外轮廓数据，并进一步生成涂胶轨迹数据；

(5)坐标转换：将获取的涂胶轨迹数据转换至机械手工具坐标系下，得到机器人涂胶轨迹，再实时计算得到工件位置信息并保存，同时准备发送轨迹数据给涂胶机器人；

(6)涂胶：确认涂胶机器人是否可以接收数据，得到许可后将机器人涂胶轨迹数据发送给机器人，之后涂胶机器人再判断涂胶位置处是否有工件，如果没有则返回步骤(2)，如果有，涂胶机器人根据接收到的轨迹数据对静止的工件进行涂胶，涂胶完毕后返回步骤(2)。

在本发明另一个实施例中，所述步骤(1)中是利用圆形编码点标定相机坐标系与机械手工具坐标系的关系，通过三维传感器的相机采集编码点图像，得到各编码点的坐标，再利用涂胶机器人去分别接触对应的编码点，计算出各个编码点组图中心处圆形编码点在机械手工具坐标系下的灰度重心，从而求出相机坐标系与机械手工具坐标系之间的转换关系并进行标定。

在本发明另一个实施例中，所述步骤(2)中利用三维传感器拍摄图像、扫描数据是通过驱动电机驱动线激光器做弧面扫描运动，同时两个相机分别从左右两个视角拍摄工件；再分别提取投射到工件上的激光线条，并通过求解极线方程确定两条激光线匹配的同名点，然后采用三角测量原理计算出匹配激光线上每个点的三维坐标。

在本发明另一个实施例中，所述步骤(4)对工件数据处理的过程如下：首先对原始数据进行整体分割去噪，去除噪声及杂点，然后分别提取各个激光线左右两侧的峰值点作为鞋底的外轮廓上的点，将各个激光线上的峰值点相互连接，经过平滑滤波，获得鞋底的外轮廓数据；再将提取到的鞋底外轮廓进行等距收缩，相似的轮廓轨迹处于鞋底内侧，从而生成涂胶轨迹数据。

在本发明另一个实施例中，所述工件放置机构为传送带传动机构，工件的移送是通过传送带传送的，传送带的移动为定距传送，在扫描工件和对工件涂胶时均保持工件静止。

本发明基于3D扫描的机器人鞋底自动涂胶系统的有益效果是：

(1)通过双相机和线激光扫描结合的方式获得鞋底点云数据，结合线扫激光的特点提取鞋底涂胶轮廓，相比在涂胶平台上的鞋底放置区用治具固持鞋底的方式对鞋底涂胶，该方法对鞋底放置状态要求相对宽松，有效降低了鞋底自动涂胶设备的复杂性，具有更快的测量速度。同时，相比基于机器视觉的鞋底边缘轨迹及涂胶位姿提取方法，本方法采用实时处理的方式处理图像，对每条激光线图像做去噪处理，获取鞋底轮廓三维点云数据，并计算出鞋底的边缘点。当鞋底被扫描完时能立即给出鞋底的边缘轨迹及涂胶位姿。通过上述方式对鞋底三维数据快速准确的扫描测量，实现机器人自动涂胶，能够有效提高企业生产效率，增加企业竞争力。

(2)使客户能够在设计制造鞋子生产流水线设备时，为客户提供了易于操作的交互界面。

(3)能直观的显示点云扫描过程，以及鞋底扫描结果，便于操作人员了解系统的运行状况，使操作人员实时掌握系统的工作状态，使生产过程安全可控，提高了系统的可维护性。

附图说明

图1是本发明基于3D扫描的机器人鞋底自动涂胶系统实施例的结构示意图；

图2是本发明三维传感器实施例的结构示意图；

图3是本发明标定板实施例的结构示意图；

图4是本发明实施例中待处理图像的示意图；

图5是本发明实施例中外轮廓提取示意图；

图6是本发明实施例中获取的外轮廓点示意图；

图7是本发明本发明实施例中等距收缩轨迹示意图；

图8是本发明本发明实施例中机器人涂胶轨迹示意图；

图9是本发明基于3D扫描的机器人鞋底自动涂胶方法实施例的流程图。

具体实施方式

为了便于理解本发明，下面结合附图和具体实施例，对本发明进行更详细的说明。附图中给出了本发明的较佳的实施例。但是，本发明可以以许多不同的形式来实现，并不限于本说明书所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容的理解更加透彻全面。

需要说明的是，除非另有定义，本说明书所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是用于限制本发明。本说明书所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。

如图1所示为本发明基于3D扫描的机器人鞋底自动涂胶系统的结构示意图，由图可知，该系统包括视觉处理单元，视觉处理单元包括上位机(图中未示出)及与其通讯连接的三维传感器2，三维传感器固定于传感器安装架1上，三维传感器下方设有用于放置待涂胶工件5的工件放置机构4，工件放置机构4的一侧设有用于对待涂胶工件进行涂胶操作的涂胶机器人3，涂胶机器人包括胶枪和用于与上位机通讯驱动连接以控制其运动的机械手，胶枪安装于机械手的末端。

如图2所示，本实施例的三维传感器包括两个相机21和一个与对应驱动电机(图中未示出)连接的线激光器22，相机21和驱动电机均与上位机通讯连接，三维传感器获取待涂胶工件图像和三维数据信息传输给上位机，上位机控述驱动电机运动以使线激光器扫描待涂胶工件。该三维传感器还包括外壳24，外壳24上设置有用于与传感器安装架1固定连接的转接板23。三维传感器组装好以后先对两个相机标定好内参数和外参数。

本实施例的线激光器采用电机驱动，当然也可以采用其他方式，例如采用气动机构驱动或者液压驱动组件等，该驱动装置的结构不再赘述。

本实施例的工件放置机构为传送带传动机构以用于将工件沿传送带移动方向传动，传送带传动机构对工件按设定步长进行定距传送，实现整个涂胶过程的自动化。传送带传动机构还包括用于检测传送带运动的编码器，编码器能够触发相机采集图像，可实现在规律间歇性停止的传送带上静态涂胶。

当然，由于本发明的扫描及涂胶过程中工件均为静止状态，所以这里工件放置机构也可以选用普通的工作台，将三维传感器和涂胶机器人固定安装于工作台的对应合适位置，预先标定好三维传感器和涂胶机器人的位置关系即可实现扫描涂胶。

本实施例中所涉及到的工件均指鞋底，待涂胶工件即待涂胶鞋底。

本实施例的上位机中安装有系统的控制软件，该控制软件和三维传感器组成了系统的视觉处理单元，该系统的工作流程如下：首先将三维传感器安装于工件放置机构扫描点上方设定位置处，标定相机坐标系和涂胶机器人机械手工具坐标系的关系，然后将待涂胶鞋底放在工件放置机构4的扫描点处，利用三维传感器拍摄图像，扫描数据，视觉处理单元将扫描到的三维样本数据处理分析，将计算获取的涂胶轨迹数据转换至机械手工具坐标系下，得到机器人涂胶轨迹，并通过TCP通讯协议发送给涂胶机器人，涂胶机器人的机械手带动胶枪在视觉处理单元的控制下按照接收到的轨迹数据进行涂胶动作，直至完成整个鞋底的涂胶。

如图9所示，本发明还提供了一种基于3D扫描的机器人鞋底自动涂胶方法，包括如下步骤：

(1)安装三维传感器，标定坐标系：将三维传感器安装于工件放置机构扫描点上方设定位置处，标定相机坐标系与涂胶机器人的机械手工具坐标系的关系；

(2)采集数据：将工件移送至工件放置机构上的扫描点处，利用三维传感器拍摄图像、扫描数据；

(3)判断有无工件：根据三维传感器所拍摄的图像和数据信息判断是否存在工件，如果不存在则返回上一步骤，如果存在则将工件移至涂胶机器人的涂胶位置处；

(4)工件数据处理：对三维传感器扫描的三维数据进行处理，提取轮廓点，处理获取待涂胶工件的外轮廓数据，并进一步生成涂胶轨迹数据；

(5)坐标转换：将获取的涂胶轨迹数据转换至机械手工具坐标系下，得到机器人涂胶轨迹，再实时计算得到工件位置信息并保存，同时准备发送轨迹数据给涂胶机器人；

(6)涂胶：确认涂胶机器人是否可以接收数据，得到许可后将机器人涂胶轨迹数据发送给机器人，之后涂胶机器人再判断涂胶位置处是否有工件，如果没有则返回步骤(2)，如果有，涂胶机器人根据接收到的轨迹数据对静止的工件进行涂胶，涂胶完毕后返回步骤(2)。

优选地，本实施例的工件放置机构为传送带传动机构，工件的移送是通过传送带传送的，传送带的移动为定距传送，在扫描工件和对工件涂胶时均保持工件静止。

当然，如果工件放置机构选用普通的工作台，涂胶机器人安装于三维传感器扫描点的对应位置，则可以实现三维传感器扫描和涂胶机器人的涂胶均在同一位置处。

优选地，在步骤(1)中，三维传感器一般安装在扫描点上方的设定位置，这个设定距离本实施例优选800mm。

安装好以后，为了将相机采集的鞋底三维数据能够转换到涂胶机器人的机械手工具坐标系(这里的机械手工具即指胶枪)下，需要对相机坐标系和机械手工具坐标系进行转换标定。本实施例采用编码点来实现，本实施例的编码点是借助于标定板，编码点编码规则如下：将8个圆形点组成一个圆形编码点组，每一组编码点位置关系均不相同，且被赋予一个唯一的编号。编码点的编码使用原则是采用四个基准点做为编码点的识别标志，三个类别点与中心编码点的角度信息做为编码点的唯一标识特征，进而实现编码点识别和解算的唯一性。如图3所示给出了标定板上的编码点组织图，标定板的作用是使得三维传感器的相机能唯一识别标定板中每个编码点的坐标，从而解算出相机和机械手工具坐标系的标定关系。

标定时先将标定板放置到相机的公共视野内，通过三维传感器的相机采集编码点图像，得到各编码点的坐标，再利用涂胶机器人去分别接触对应的编码点，计算出标定板上各个编码点组图中心处圆形编码点在机械手工具坐标系下的灰度重心，从而求出相机坐标系与机械手工具坐标系之间的转换关系。

本方法具有高的标定精度，且能适应多种图像形变，适应多种图像形变是因为编码点提取时同时考虑了圆形点的形状和亮度信息，而高的标定精度是由于圆形点圆心的提取以圆的外边界作为支撑域，这比方格形标定板采用角点提取的方法具有更高的准确性。同时，发明中的标定方法同时矫正了相机镜头切向畸变和径向畸变，进一步保证了测量精度。

另外，为了保证三维扫描数据的完整性，需要保证鞋底的位置不能偏离传送带中心线太远，能够被三维传感器拍摄到。在传送带移动一定步长的距离后停止运动时，三维传感器开始动态扫描鞋底并获取其轮廓数据。

优选地，在步骤(2)中，当鞋底静止放置在工件放置机构扫描点时，利用三维传感器拍摄图像、扫描数据的过程如下：视觉处理单元的上位机通过驱动电机驱动线激光器做弧面扫描运动，同时两个相机分别从左右两个视角拍摄被投射有激光线条的鞋底图像，再分别提取各自图像中投射到鞋底上的激光线条，并进行亚像素的激光线条中心定位，然后对两组定位到的激光线条中心进行同名点匹配，通过求解极线方程确定两条激光线匹配的同名点，然后采用三角测量原理计算出匹配激光线上每个点的三维坐标。重复上述操作，直到鞋底扫描完成，可以获得整个鞋底轮廓三维点云数据，将所有数据合并到一起得到鞋底的完整三维轮廓数据，并计算出鞋底的边缘点。

优选地，在步骤(3)中，判断是否存在工件时，是通过视觉处理单元对三维传感器的相机拍摄到的激光线条数据处理后得到的三维数据进行判断的，若判断存在鞋底轮廓数据，就会将数据传给空闲的涂胶机器人，涂胶机器人会在传送带下次停止时对这只鞋底进行涂胶，否则，涂胶机器人将不进行涂胶动作。

优选地，在步骤(4)中，对工件数据处理的过程如下：鞋底涂胶一般要求将胶水涂在鞋底轮廓的外轮廓边沿内侧，待处理图像如图4所示，首先对原始数据进行整体分割去噪，去除噪声及杂点，然后分别提取各个激光线左右两侧的峰值点作为鞋底的外轮廓上的点，如图5所示，将各个激光线上的峰值点相互连接，经过平滑滤波，获得鞋底的外轮廓数据，如图6所示；再将提取到的鞋底外轮廓进行等距收缩(一般需要根据不同的机械手及涂胶设备，调整相应的收缩距离)，相似的轮廓轨迹处于鞋底内侧，从而生成涂胶轨迹数据，如图7所示。

优选地，在步骤(5)中，视觉处理弹单元将获取的涂胶轨迹数据转换至机械手工具坐标系下，得到机器人涂胶轨迹，并实时计算得到工件位置信息并保存，同时准备发送数据给涂胶机器人，由涂胶机器人完成鞋底的自动化涂胶。

另外，对于机械手的运动，出了需要位置信息外，还需提供其运动的姿态信息，因此视觉处理单元根据涂胶轨迹，生成了一系列的指向外侧机械臂运动轨迹点，如图8所示。

在步骤(6)中，确认涂胶机器人是否可以接收数据，如果不可以，则一直保存机器人涂胶轨迹，继续向涂胶机器人请求发送数据，直至得到许可，得到许可后通过TCP通讯协议将机器人涂胶轨迹数据发送给机器人。涂胶机器人接收到数据以后，首先判断接收到的是轨迹数据还是没有鞋底的指令，即判断涂胶位置处是否有鞋底，如果有，则视觉处理单元根据接收到的轨迹数据信息对静止的鞋底进行涂胶，涂胶完毕在确定扫描点没有鞋底在拍摄扫描后，返回步骤(2)，即将传送带向前移动一次固定距离，进入下一个拍摄循环；如果涂胶位置处不存在鞋底，则在确定扫描点没有鞋底在拍摄扫描后返回步骤(2)。

本发明基于3D扫描的机器人鞋底自动涂胶方法具有如下特点：采用双相机加线激光模式采集鞋底3D数据；通过编码点标定板将相机坐标系转换到涂胶机器人的机械手工具坐标系下；动态扫描与静态涂胶同时进行，传送带每次运动一定距离后停止时，机器人对当前鞋底进行涂胶的同时线激光开始扫描下一只鞋底。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构变换，或直接或间接运用在其他相关的技术领域，均包括在本发明的专利保护范围内。

Claims (8)

1.一种基于3D扫描的机器人鞋底自动涂胶系统，其特征在于，包括视觉处理单元，所述视觉处理单元包括上位机及与其通讯连接的三维传感器，所述三维传感器固定于传感器安装架上，三维传感器下方设有用于放置待涂胶工件的工件放置机构，工件放置机构的一侧设有用于对待涂胶工件进行涂胶操作的涂胶机器人，所述涂胶机器人包括胶枪和用于与上位机通讯驱动连接以控制其运动的机械手，所述胶枪安装于机械手的末端；所述三维传感器包括两个相机和一个线激光器，所述线激光器用于与对应的驱动电机连接，所述相机和驱动电机均与上位机通讯连接，所述三维传感器获取待涂胶工件的信息传输给所述上位机，所述上位机控制所述驱动电机运动以使线激光器扫描待涂胶工件。

2.根据权利要求1所述的基于3D扫描的机器人鞋底自动涂胶系统，其特征在于，所述工件放置机构为传送带传动机构以用于将工件沿传送带移动方向传动。

3.根据权利要求2所述的基于3D扫描的机器人鞋底自动涂胶系统，其特征在于，所述传送带传动机构还包括用于检测传送带运动的编码器。

4.一种基于3D扫描的机器人鞋底自动涂胶方法，其特征在于，包括如下步骤：

(1)安装三维传感器，标定坐标系：将三维传感器安装于工件放置机构扫描点上方设定位置处，标定相机坐标系与涂胶机器人的机械手工具坐标系的关系；

(2)采集数据：将工件移送至工件放置机构上的扫描点处，利用三维传感器拍摄图像、扫描数据；

(3)判断有无工件：根据三维传感器所拍摄的图像和数据信息判断是否存在工件，如果不存在则返回上一步骤，如果存在则将工件移至涂胶机器人的涂胶位置处；

(4)工件数据处理：对三维传感器扫描的三维数据进行处理，提取轮廓点，处理获取待涂胶工件的外轮廓数据，并进一步生成涂胶轨迹数据；

(5)坐标转换：将获取的涂胶轨迹数据转换至机械手工具坐标系下，得到机器人涂胶轨迹，再实时计算得到工件位置信息并保存，同时准备发送轨迹数据给涂胶机器人；

(6)涂胶：确认涂胶机器人是否可以接收数据，得到许可后将机器人涂胶轨迹数据发送给机器人，之后涂胶机器人再判断涂胶位置处是否有工件，如果没有则返回步骤(2)，如果有，涂胶机器人根据接收到的轨迹数据对静止的工件进行涂胶，涂胶完毕后返回步骤(2)。

5.根据权利要求4所述的基于3D扫描的机器人鞋底自动涂胶方法，其特征在于，所述步骤(1)中是利用圆形编码点标定相机坐标系与机械手工具坐标系的关系，通过三维传感器的相机采集编码点图像，得到各编码点的坐标，再利用涂胶机器人去分别接触对应的编码点，计算出各个编码点组图中心处圆形编码点在机械手工具坐标系下的灰度重心，从而求出相机坐标系与机械手工具坐标系之间的转换关系并进行标定。

6.根据权利要求4所述的基于3D扫描的机器人鞋底自动涂胶方法，其特征在于，所述步骤(2)中利用三维传感器拍摄图像、扫描数据是通过驱动电机驱动线激光器做弧面扫描运动，同时两个相机分别从左右两个视角拍摄工件；再分别提取投射到工件上的激光线条，并通过求解极线方程确定两条激光线匹配的同名点，然后采用三角测量原理计算出匹配激光线上每个点的三维坐标。

7.根据权利要求4所述的基于3D扫描的机器人鞋底自动涂胶方法，其特征在于，所述步骤(4)对工件数据处理的过程如下：首先对原始数据进行整体分割去噪，去除噪声及杂点，然后分别提取各个激光线左右两侧的峰值点作为鞋底的外轮廓上的点，将各个激光线上的峰值点相互连接，经过平滑滤波，获得鞋底的外轮廓数据；再将提取到的鞋底外轮廓进行等距收缩，相似的轮廓轨迹处于鞋底内侧，从而生成涂胶轨迹数据。

8.根据权利要求4所述的基于3D扫描的机器人鞋底自动涂胶方法，其特征在于，所述工件放置机构为传送带传动机构，工件的移送是通过传送带传送的，传送带的移动为定距传送，在扫描工件和对工件涂胶时均保持工件静止。

Images