CN115177079B - 一种基于3d视觉中段成型制鞋无人流水线控制系统 - Google Patents

Abstract

本发明提供了一种基于3D视觉中段成型制鞋无人流水线控制系统，属于智能制造领域，整个流程基于3D视觉实现整条流水线的智能化操作控制，创新性设计了整个系统包含的模块，具体为工艺库建立模块、上料模块与鞋面套楦模块、鞋面精细化打磨模块、处理剂喷涂模块、烘干加热及胶水喷涂模块、压底模块、冷冻定型模块及脱楦模块；设计了各个模块智能化处理实现技术手段；还提出了针对鞋面和鞋底物料识别的改进型3D数据深度网络目标识别方法，实现了以视觉为基础的智能制鞋无人流水线系统。

Description

一种基于3D视觉中段成型制鞋无人流水线控制系统

技术领域

本发明属于智能制造领域，具体涉及一种基于3D视觉中段成型制鞋无人流水线控制系统。

背景技术

目前市面上有一些传统的制鞋流水线中段成型线，占地面积大，能源消耗大，并且无法实现无人生产，只能生产大批量标准鞋款的定单，机器人工作站采用示教的方法，鞋面采用治具定位，当更换生产鞋款时，需要数天的时间进行调试并示教，传统的线需要几十人到几百人。整个制鞋流水线系统需要手工进行操作，因此急需一种基于视觉为基础的工业机器人，实时控制每个工位的硬件，使用整条线完成数字化，自动化，从而完成智能无人制鞋流水线。

发明内容

本发明的目的在于解决上述现有技术中存在的难题，提供一种基于3D视觉中段成型制鞋无人流水线系统。

本申请基于3D视觉中段成型制鞋无人流水线系统是通过以下技术方案以及技功能单元实现的：

制鞋生产工艺库建立模块，工艺库至少包含如下数据：鞋底数据、鞋面数据(长、宽、材质等)、面料数据(材质、弹性、颜色等)、加工工艺数据、热处理工艺数据、冷处理工艺数据、胶粘工艺数据。

通过建立制鞋生产工艺库，在后续的鞋子生产过程中实时通过中央控制管理系统及时对成型制鞋加工参数、工序流程的调整，从而实现柔性化生产和快速换产。

上料模块与鞋面套楦模块，基于运输车进行鞋底鞋面的上料，放置到对应工装，控制机械手将鞋面套楦在鞋楦上；上料过程中物料箱上方布置有3D视觉传感器，传感器会实时对物料箱中的鞋底、鞋面物料进行3D识别，当识别结果为无物料结果时，通过socket通讯向自动导引运输车AGV系统发送指定信息，当AGV接收到信息后自动对物料进行补充。

针对鞋面和鞋底物料识别，本申请通过改进型3D数据目标识别方法得到，具体包含如下过程：

对3D视觉得到三维图像数据重建得到3D点云数据；提取3D点云数据正视图、左视图、右视图、后视图的深度卷积特征；本申请中卷积特征网络由三层卷积三层池化层组成；

提取正视图3D点云深度特征,设M为3D点云单元格中的点的数目，强度和密度特征计算的是整个点云，而高度特征是计算N个切片，因此正视图深度特征俯视图被编码为(N+2)个通道的特征；依据正视图深度卷积特征中计算候选区域，候选区域网络采用RPN网络；

从点云正视图特征中计算候选区域ROI,将得到的正视图候选区域投影到正视图、左视图、右视图、后视图，分别得到投影后的深度特征，投影后的特征经过池化层进行池化操作；之后分别经过张量操作、中间层处理；最后将正视图、左视图、右视图、后视图4个分支的特征经过concatenation层进行融合处理，得到最终分类用融合特征；利用最终分类用融合特征输入至分类结果层进行目标标签分类。本申请目标标签为鞋底、鞋面和无物料。本领域技术人员清楚上述目标识别方法中识别模型需要进行模型训练，训练与识别网络相同，样本的设置等内容为现有技术本申请不做赘述。

鞋面精细化打磨模块，控制机械手将套有鞋楦的鞋面抓取并放置在鞋楦快速定位工装上，鞋楦快速定位工装气动装置将鞋楦快速固定，再由置于鞋面两侧上方的3D相机采集得到三维图像数据；目标工件区域确定打磨区域轨迹，并将打磨路径坐标信息转换为机器人坐标信息，引导机器人对鞋面进行打磨加工。

可选地，为了保证鞋底鞋面需要贴合的部位能够得到准确加工和相互贴合，在进行执行打磨操作前，本申请还通过纠偏方法对变形的鞋底进行纠偏，首先依据采集的图像确定出鞋底的加工路径和贴合部位边缘，再利用工艺库中鞋底数据对识别得到的鞋底目数据对比进行纠偏，再将鞋底纠偏后的数据映射到鞋面上，并计算出鞋面实际的加工部位和加工路径，从而保证鞋底鞋面需要贴合的部位能够得到准确加工。

打磨过的鞋面配上鞋底通过视觉传感器检测后自动上料。鞋底和鞋面上方均安装有3D视觉传感器，首先通过3D视觉传感器对鞋底和鞋面进行三维扫描，计算出鞋底鞋面轮廓信息，通过轮廓信息对鞋底和鞋面进行定位，并将定位坐标信息传输给上下料机器人，引导机器人对鞋底鞋面进行抓取并上料。

处理剂喷涂模块，首先由置于鞋底鞋面两侧上方的3D视觉传感器对需要喷涂的部位进行3D扫描并生成高精度三维数据，视觉系统自动计算出需要喷涂的加工轨迹，并将喷涂路径坐标信息转换为机器人坐标信息，引导机器人对鞋底鞋面进行喷涂加工。

烘干加热及胶水喷涂模块，首先控制上述喷涂加工处理后的鞋底鞋面进行第一次烘干加热，烘干上一道工序所喷涂的处理剂，并加热软化鞋底和鞋面，当判断满足预设烘干时间后，进行下一道胶水喷涂加工。进行第二次烘干加热和进行第二次喷胶，此处进行二次喷胶是对第一次喷胶的补充，第一次喷胶后胶水通过烤箱后会快速渗透，因此需要二次补交以增加鞋底鞋面的粘连牢固性。最后进行第三次烘干加热，第三段烤箱的主要作用是：对胶水进行烘烤，以加速胶水的渗透，并固化胶水，以便于鞋底鞋面能够快速粘合；之后进行贴底工序主要是将喷涂过胶水的鞋底和鞋面进行贴合。该模块中胶水喷涂中的3D视觉技术与上述处理剂喷涂模块技术相同。

压底模块，贴合后的鞋底鞋面通过流水线移动到压底工位后，由流水线上方的3D视觉传感器对鞋底鞋面进行3D扫描，通过Sobel算子进行鞋底鞋面边缘轮廓信息提取，通过轮廓信息对其进行定位，本申请以几何中心点作为坐标信息，进一步将定位坐标信息传输给上下料机器人，引导机器人对鞋底鞋面进行抓取并放置于压底机中，放置完成后，发送压底机启动信号进行压底。

冷冻定型模块，当鞋底鞋面压底完成后，压底系统反馈信号给生产管理系统，管理系统控制机器人对压底完成的鞋子从压底机中取出，并放置在流水线上，流向下一道工位进行冷冻定型。

脱楦模块，判断冷冻定型后的鞋子通过流水线移动到脱楦工位后，由流水线上方的3D视觉传感器对鞋子进行3D扫描，并计算出其轮廓信息，通过轮廓信息对其进行定位，并将定位坐标信息传输给上下料机器人，引导机器人对鞋子进行抓取并放置于脱楦机中，放置完成后，生产管理系统通过通讯控制程序启动脱楦机进行脱楦工作。脱楦完成后脱楦系统反馈信号给生产管理系统，管理系统控制机器人对完成脱楦的鞋子和鞋楦从脱楦机中取出，并放置在流水线上，流向下一道工位。

与现有技术相比，本发明的有益效果是：本申请提供的基于3D视觉中段成型制鞋无人流水线系统，整个流程基于3D视觉实现整条流水线的智能化操作控制，创新性设计了整个系统包含的模块，具体为工艺库建立模块、上料模块与鞋面套楦模块、鞋面精细化打磨模块、处理剂喷涂模块、烘干加热及胶水喷涂模块、压底模块、冷冻定型模块及脱楦模块；设计了各个模块智能化处理实现技术手段；还提出了针对鞋面和鞋底物料识别的改进型3D数据深度网络目标识别方法，实现了以视觉为基础的智能制鞋无人流水线系统。

附图说明

图1本发明基于3D视觉中段成型制鞋无人流水线系统结构示意图；

图2本发明改进型3D数据深度网络目标识别深度网络模型。

具体实施方式

下面结合附图对本发明作进一步详细描述：

本申请基于3D视觉中段成型制鞋无人流水线系统是通过以下技术方案以及技功能单元实现的：

制鞋生产工艺库建立模块，工艺库至少包含如下数据：鞋底数据、鞋面数据(长、宽、材质等)、面料数据(材质、弹性、颜色等)、加工工艺数据、热处理工艺数据、冷处理工艺数据、胶粘工艺数据。

建立工艺库的目的是为了在后续的鞋子生产过程中实时通过中央控制管理系统及时对成型制鞋加工参数、工序流程的调整，从而实现柔性化生产和快速换产。

上料模块与鞋面套楦模块，基于运输车进行鞋底鞋面的上料，放置到对应工装，控制机械手将鞋面套楦在鞋楦上；上料过程中物料箱上方布置有3D视觉传感器，传感器会实时对物料箱中的鞋底、鞋面物料进行3D识别，当识别结果为无物料结果时，通过socket通讯向自动导引运输车AGV系统发送结果信息，当AGV接收到信息后自动对物料进行补充。

针对鞋面和鞋底物料识别，本申请通过改进型3D数据目标识别方法得到，具体识别网络模型可参见说明书附图2,包含如下过程：

对3D视觉得到三维图像数据重建得到3D点云数据；提取3D点云数据正视图、左视图、右视图、后视图的深度卷积特征；本申请中卷积特征网络由三层卷积三层池化层组成；

提取正视图3D点云深度特征,设M为3D点云单元格中的点的数目，强度和密度特征计算的是整个点云，而高度特征是计算N个切片，因此正视图深度特征俯视图被编码为(N+2)个通道的特征；依据正视图深度卷积特征中计算候选区域，候选区域网络采用RPN网络；

从点云正视图特征中计算候选区域ROI,将得到的正视图候选区域投影到正视图、左视图、右视图、后视图，分别得到投影后的深度特征，得到经过池化层进行池化操作；之后分别经过张量操作、中间层处理；最后将正视图、左视图、右视图、后视图4个分支的特征经过concatenation层进行融合处理，得到最终分类用融合特征；利用最终分类用融合特征输入至分类结果层进行目标标签分类。本申请目标标签为鞋底、鞋面和无物料。本领域技术人员清楚上述目标识别方法中识别模型需要进行模型训练，训练与识别网络相同，样本的设置等内容为现有技术本申请不做赘述。

鞋面精细化打磨模块，控制机械手将套有鞋楦的鞋面抓取并放置在鞋楦快速定位工装上，鞋楦快速定位工装气动装置将鞋楦快速固定，再由置于鞋面两侧上方的3D相机采集得到三维图像数据；目标工件区域确定打磨区域轨迹，并将打磨路径坐标信息转换为机器人坐标信息，引导机器人对鞋面进行打磨加工。

可选地，为了保证鞋底鞋面需要贴合的部位能够得到准确加工和相互贴合，在进行执行打磨操作前，本申请还通过纠偏方法对变形的鞋底进行纠偏，首先依据采集的图像确定出鞋底的加工路径和贴合部位边缘，再利用工艺库中鞋底数据对识别得到的鞋底目数据对比进行纠偏，再将鞋底纠偏后的数据映射到鞋面上，并计算出鞋面实际的加工部位和加工路径，从而保证鞋底鞋面需要贴合的部位能够得到准确加工。

打磨过的鞋面配上鞋底通过视觉传感器检测后自动上料。鞋底和鞋面上方均安装有3D视觉传感器，首先通过3D视觉传感器对鞋底和鞋面进行三维扫描，计算出鞋底鞋面轮廓信息，通过轮廓信息对鞋底和鞋面进行定位，并将定位坐标信息传输给上下料机器人，引导机器人对鞋底鞋面进行抓取并上料。

处理剂喷涂模块，首先由置于鞋底鞋面两侧上方的3D视觉传感器对需要喷涂的部位进行3D扫描并生成高精度三维数据，视觉系统自动计算出需要喷涂的加工轨迹，并将喷涂路径坐标信息转换为机器人坐标信息，引导机器人对鞋底鞋面进行喷涂加工。

烘干加热及胶水喷涂模块，首先控制上述喷涂加工处理后的鞋底鞋面进行第一次烘干加热，烘干上一道工序所喷涂的处理剂，并加热软化鞋底和鞋面，当判断满足预设烘干时间后，进行下一道胶水喷涂加工。进行第二次烘干加热和进行第二次喷胶，此处进行二次喷胶是对第一次喷胶的补充，第一次喷胶后胶水通过烤箱后会快速渗透，因此需要二次补交以增加鞋底鞋面的粘连牢固性。最后进行第三次烘干加热，第三段烤箱的主要作用是：对胶水进行烘烤，以加速胶水的渗透，并固化胶水，以便于鞋底鞋面能够快速粘合；之后进行贴底工序主要是将喷涂过胶水的鞋底和鞋面进行贴合。该模块中胶水喷涂中的3D视觉技术与上述处理剂喷涂模块技术相同。

压底模块，贴合后的鞋底鞋面通过流水线移动到压底工位后，由流水线上方的3D视觉传感器对鞋底鞋面进行3D扫描，通过Sobel算子进行鞋底鞋面边缘轮廓信息提取，通过轮廓信息对其进行定位，本申请以几何中心点作为坐标信息，进一步将定位坐标信息传输给上下料机器人，引导机器人对鞋底鞋面进行抓取并放置于压底机中，放置完成后，发送压底机启动信号进行压底。

冷冻定型模块，当鞋底鞋面压底完成后，压底系统反馈信号给生产管理系统，管理系统控制机器人对压底完成的鞋子从压底机中取出，并放置在流水线上，流向下一道工位进行冷冻定型。

脱楦模块，判断冷冻定型后的鞋子通过流水线移动到脱楦工位后，由流水线上方的3D视觉传感器对鞋子进行3D扫描，并计算出其轮廓信息，通过轮廓信息对其进行定位，并将定位坐标信息传输给上下料机器人，引导机器人对鞋子进行抓取并放置于脱楦机中，放置完成后，生产管理系统通过通讯控制程序启动脱楦机进行脱楦工作。脱楦完成后脱楦系统反馈信号给生产管理系统，管理系统控制机器人对完成脱楦的鞋子和鞋楦从脱楦机中取出，并放置在流水线上，流向下一道工位。

与现有技术相比，本发明的有益效果是：本申请提供的基于3D视觉中段成型制鞋无人流水线系统，整个流程基于3D视觉实现整条流水线的智能化操作控制，创新性设计了整个系统包含的模块，具体为工艺库建立模块、上料模块与鞋面套楦模块、鞋面精细化打磨模块、处理剂喷涂模块、烘干加热及胶水喷涂模块、压底模块、冷冻定型模块及脱楦模块；设计了各个模块智能化处理实现技术手段；还提出了针对鞋面和鞋底物料识别的改进型3D数据深度网络目标识别方法，实现了以视觉为基础的智能制鞋无人流水线系统。

除此之外，本申请还提供了一种基于3D视觉中段成型制鞋无人流水线控制系统对应的计算设备，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机可执行指令，所述处理器执行所述计算机可执行指令以实现上述系统功能。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明的描述中，除非另有说明，术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

最后应说明的是，上述技术方案只是本发明的一种实施方式，对于本领域内的技术人员而言，在本发明公开了应用方法和原理的基础上，很容易做出各种类型的改进或变形，而不仅限于本发明上述具体实施方式所描述的方法，因此前面描述的方式只是优选的，而并不具有限制性的意义。

Claims (9)

1.一种基于3D视觉中段成型制鞋无人流水线系统，其特征在于包含如下模块以及数据处理过程：

制鞋生产工艺库建立模块，工艺库至少包含如下数据：鞋底、鞋面数据、面料数据、加工工艺数据、热处理工艺数据、冷处理工艺数据、胶粘工艺数据；

上料模块与鞋面套楦模块，基于运输车进行鞋底鞋面的上料放置到对应工装，控制机械手将鞋面套楦在鞋楦上；上料过程中物料箱上方布置有3D视觉传感器，实时对物料箱中的鞋底、鞋面物料进行3D识别；

鞋面精细化打磨模块，由目标工件区域确定打磨区域轨迹，并将打磨路径坐标信息转换为机器人坐标信息，引导机器人对鞋面进行打磨加工；

处理剂喷涂模块，对需要喷涂的部位进行3D扫描并生成高精度三维数据，视觉系统自动计算出需要喷涂的加工轨迹，并将喷涂路径坐标信息转换为机器人坐标信息，引导机器人对鞋底鞋面进行喷涂加工；

烘干加热及胶水喷涂模块，对上述喷涂加工处理后的鞋底鞋面依次进行烘干加热和喷胶处理；

压底模块，由流水线上方的3D视觉传感器对鞋底鞋面进行3D扫描，通过轮廓信息对其进行定位，将定位坐标信息传输给上下料机器人，引导机器人对鞋底鞋面进行抓取并放置于压底机中，放置完成后，发送压底机启动信号进行压底；

冷冻定型模块，当鞋底鞋面压底完成后，流向下一道工位进行冷冻定型；

脱楦模块，判断冷冻定型后的鞋子通过流水线移动到脱楦工位后，依据鞋子的轮廓信息定位，并将定型后的鞋子定位坐标信息传输给上下料机器人，控制机器人对完成脱楦的鞋子和鞋楦从脱楦机中取出；

其中，上料模块与鞋面套楦模块中针对鞋面和鞋底物料识别，通过改进型3D数据目标识别方法具体包含如下过程：

对3D视觉得到三维图像数据重建得到3D点云数据；提取3D点云数据正视图、左视图、右视图、后视图的深度卷积特征；本申请中卷积特征网络由三层卷积三层池化层组成；

从点云正视图特征中计算候选区域ROI,将得到的正视图候选区域投影到正视图、左视图、右视图、后视图，分别得到投影后的深度特征，投影后的深度特征经过池化层进行池化操作；之后分别经过张量操作、中间层处理；最后将正视图、左视图、右视图、后视图4个分支的特征经过concatenation层进行融合处理，得到最终分类用融合特征；利用最终分类用融合特征输入至分类结果层进行目标标签分类。

2.根据权利要求1所述的3D视觉中段成型制鞋无人流水线系统，其特征在于：所述从点云正视图特征中计算候选区域ROI中，候选区域网络采用RPN网络。

3.根据权利要求1所述的3D视觉中段成型制鞋无人流水线系统，其特征在于：所述鞋面精细化打磨模块，控制机械手将套有鞋楦的鞋面抓取并放置在鞋楦快速定位工装上，鞋楦快速定位工装气动装置将鞋楦快速固定，再由置于鞋面两侧上方的3D相机采集得到三维图像数据；目标工件区域确定打磨区域轨迹，并将打磨路径坐标信息转换为机器人坐标信息，引导机器人对鞋面进行打磨加工。

4.根据权利要求1所述的3D视觉中段成型制鞋无人流水线系统，其特征在于：所述处理剂喷涂模块具体处理过程如下，首先由置于鞋底鞋面两侧上方的3D视觉传感器对需要喷涂的部位进行3D扫描并生成高精度三维数据，视觉系统自动计算出需要喷涂的加工轨迹，之后将喷涂路径坐标信息转换为机器人坐标信息，引导机器人对鞋底鞋面进行喷涂加工。

5.根据权利要求1所述的3D视觉中段成型制鞋无人流水线系统，其特征在于：所述烘干加热及胶水喷涂模块处理过程如下，首先控制上述喷涂加工处理后的鞋底鞋面进行第一次烘干加热，烘干上一道工序所喷涂的处理剂，并加热软化鞋底和鞋面，当判断满足预设烘干时间后，进行下一道胶水喷涂加工；进行第二次烘干加热和进行第二次喷胶，此处进行二次喷胶是对第一次喷胶的补充，第一次喷胶后胶水通过烤箱后会快速渗透，因此需要二次补交以增加鞋底鞋面的粘连牢固性；最后进行第三次烘干加热。

6.根据权利要求1所述的3D视觉中段成型制鞋无人流水线系统，其特征在于：在所述压底模块中，贴合后的鞋底鞋面通过流水线移动到压底工位后，由流水线上方的3D视觉传感器对鞋底鞋面进行3D扫描，通过Sobel算子进行鞋底鞋面边缘轮廓信息提取，通过轮廓信息对其进行定位，以几何中心点作为坐标信息，进一步将定位坐标信息传输给上下料机器人，引导机器人对鞋底鞋面进行抓取并放置于压底机中，放置完成后，发送压底机启动信号进行压底。

7.根据权利要求1所述的3D视觉中段成型制鞋无人流水线系统，其特征在于：所述冷冻定型模块中，当鞋底鞋面压底完成后，压底系统反馈信号给生产管理系统，管理系统控制机器人对压底完成的鞋子从压底机中取出，并放置在流水线上，流向下一道工位进行冷冻定型。

8.根据权利要求1所述的3D视觉中段成型制鞋无人流水线系统，其特征在于：所述脱楦模块中，判断冷冻定型后的鞋子通过流水线移动到脱楦工位后，由流水线上方的3D视觉传感器对鞋子进行3D扫描，并计算出其轮廓信息，通过轮廓信息对其进行定位，并将定位坐标信息传输给上下料机器人，引导机器人对鞋子进行抓取并放置于脱楦机中，放置完成后，生产管理系统通过通讯控制程序启动脱楦机进行脱楦工作。

9.一种计算机设备，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机可执行指令，所述处理器执行所述计算机可执行指令以实现上述权利要求1-8任意一项所述的系统功能。

Images