CN109706636A - 基于机器视觉感知的毛衣自动缝合设备 - Google Patents

Abstract

基于机器视觉感知的毛衣自动缝合设备，包括输入展平装置、拉伸冻结装置、缝合预备装置、缝合装置、搬运机器人和控制箱；毛衣织片由人工放置到输入展平装置上，先进入到拉伸冻结装置内部进行拉伸，接着冻结后输送到缝合预备装置上，搬运机器人前后移动完成冻结后毛衣织片的翻面、搬运、缝合辅助推送和分拣，同时缝合装置对上下对应摆放的上毛衣织片和下毛衣织片进行缝合，缝合合格的毛衣织片由搬运机器人搬运到缝合装置后侧输出端，不合格的产品放入废品框中；本发明可代替传统人工的毛织缝合，提升加工效率，另外一方面，实现缝合质量的提升，实现批量生产下的产品一致性较稳定，从而也提升了产品的附加值。

Description

基于机器视觉感知的毛衣自动缝合设备

技术领域

本发明属于毛织技术领域，具体涉及一种基于机器视觉感知的毛衣自动缝合设备。

背景技术

我国是毛织行业大国，而毛织工艺流程主要包括编织、缝盘（缝合）、洗水、检验四大工艺，其中编织、洗水和检验工艺都已经实现了自动化操作，只有缝盘（缝合）还需要人工操作，因而毛织行业依旧是劳动密集型行业。随着人力成本的不断攀升，企业迫切希望实现机器换人，减少依靠个人的经验实现的产品质量保证。

为了实现毛衣的自动缝盘（缝合），本发明专利通过拉伸和冻结操作后，将柔性的毛衣织片转变为刚性的冻结毛衣织片，从而便于实现翻转、搬运、缝合操作，实现自动化的毛衣缝合，提出了一种基于机器视觉感知的毛衣自动缝合设备。

通过国内专利文献检索发现有一些相关专利文献报道，主要有以下一些：

公告号CN201711299866，名称为“一种毛衣缝合装置的机台”，专利的本质是基于传统缝合装置的基础上进行优化。推拉门与挡板之间的长方体空间内设有驱动系统和传动系统，可以使机身整体结构紧凑。挡板与纵长形工作台之间设置的透视窗口方便检视故障。但机身整体的紧凑性可能会忽略掉工人加工时的感受，也没有改变传统的由人工为主体的生产方式，没有实质性的提高生产效率。

公告号CN201710848121，名称为“一种工业缝纫机自动穿线装置”，本专利实质上提供了一种在缝纫过程中较传统人工穿线更高自动化的穿线方法。其主要实现过程可概括为：通过为底部连接穿线钩，顶部插有圆柱销的芯轴输入动力使之转动，在运动过程中当圆柱销碰到限位块后，通过滑槽带动底部穿线钩转动完成穿线操作。细想之后不难发现，在实际的生产过程中的为穿线钩上线的操作以及在完成穿线过程之后的取线操作仍需要人工来完成，而且整个缝纫过程仍然是以人工为主导，没有达到完全自动化生产。

以上所述关于缝纫机械的专利文献或多或少地忽略了关于提高生产效率和减少人力方面的问题，而实现这两者需要依赖更高的自动化程度，本专利则提供了一种高度自动化的毛衣自动缝合设备。

发明内容

本发明为了解决现有技术中的不足之处，提供一种基于机器视觉感知的毛衣自动缝合设备，该设备通过拉伸和冻结操作后，将柔性的毛衣织片转变为刚性的冻结毛衣织片，从而便于实现翻转、搬运、缝合操作，实现自动化的毛衣缝合。

为解决上述技术问题，本发明采用如下技术方案：基于机器视觉感知的毛衣自动缝合设备，包括输入展平装置、拉伸冻结装置、缝合预备装置、缝合装置、搬运机器人7和控制箱14；

输入展平装置、拉伸冻结装置、缝合预备装置和缝合装置由前向后依次连接，缝合预备装置和缝合装置的下部左侧沿前后方向设置有轨道6，搬运机器人底部滚动连接在轨道6上，搬运机器人7的工作部伸到缝合预备装置和缝合装置的上方；

毛衣织片由人工放置到输入展平装置上，先进入到拉伸冻结装置内部进行拉伸，接着冻结后输送到缝合预备装置上，搬运机器人7在轨道6上前后移动完成冻结后毛衣织片的翻面、搬运、缝合辅助推送和分拣，同时缝合装置对上下对应摆放的上毛衣织片和下毛衣织片进行缝合，缝合合格的毛衣织片由搬运机器人7搬运到缝合装置后侧输出端，不合格的产品放入废品框中；

控制箱14内设置有控制模块和机器视觉感知识别模块，控制模块通过工业以太网分别与输入展平装置、拉伸冻结装置、缝合预备装置、缝合装置和搬运机器人7连接，机器视觉感知识别模块与控制模块通过控制线缆连接。

拉伸冻结装置包括上箱体3、下箱体5、输送步进电机30和下滚筒2，下箱体5顶部敞口，下箱体5底部左右两侧分别设置有支腿4，下箱体5顶部左右两侧均设置有安装板24，下箱体5内底部均匀设置有若干个朝上喷出冷风的制冷装置20和若干根喷水雾管道19，喷水雾管道19上部开设一排均朝上喷出水雾的喷嘴，下滚筒2设置有若干根，若干根下滚筒2沿前后方向转动设置在下箱体5内部，下滚筒2位于制冷装置20上方，喷水雾管道19和下滚筒2均沿左右方向水平设置，每根喷水雾管道19均设置在相邻两根下滚筒2之间；输送步进电机30通过同步皮带23与所有的下滚筒2传动连接；

上箱体3底部敞口，上箱体3扣合在下箱体5上，上箱体3底部的中间部分设置有前后通透的输送通道，左侧和右侧的安装板24之间设置有位于上箱体3内部的若干个毛衣织片拉伸机构，毛衣织片拉伸机构与下滚筒2数量相同，且每个毛衣织片拉伸机构均位于一个下滚筒2的正上方，上箱体3的内侧顶部均匀设置有朝下拍摄的若干个高清摄像头9-1，每个高清摄像头9-1的外围均设置有环形LED灯，高清摄像头9-1用于检测毛衣织片的拉伸前后的形状。

每个毛衣织片拉伸机构均包括与下滚筒2平行且位于下滚筒2上方的上弹性滚筒18，下滚筒2与上弹性滚筒18之间具有小于毛衣织片的厚度的间隙，上弹性滚筒18包括同轴线设置的两根刚性导杆18-3，两根刚性导杆18-3之间设置有若干节弹性橡胶柱18-1和刚性圆柱体18-2，若干节弹性橡胶柱18-1和刚性圆柱体18-2间隔设置并同轴向固定连接；两根刚性导杆18-3分别连接有结构相同且左右对称布置的同步拉伸驱动机构；在其中两个同步拉伸驱动机构之间的安装板24上设置有红外传感器25。

左侧的同步拉伸驱动机构包括支撑块32、拉伸步进电机22、支撑件26、齿条21、齿条导轨31和弹簧18-4，齿条导轨31和支撑件26均固定设置在左侧的安装板24上，齿条导轨31平行于上弹性滚筒18，齿条21滑动连接在齿条导轨31上，拉伸步进电机22固定设置在支撑件26上，拉伸步进电机22的主轴安装有与齿条21啮合传动的齿轮，支撑块32固定设置在齿条21的右端部，支撑块32上开设有左右通透的导孔，左端的刚性导杆18-3滑动插设在导孔内，刚性导杆18-3的左端固定设置有直径大于刚性导杆18-3的限位帽，限位帽位于齿条21上方和支撑块32左侧，弹簧18-4套装在刚性导杆18-3上，弹簧18-4左右两端分别与限位帽和支撑块32顶压配合。

缝合预备装置包括支架13，支架13上沿前后方向设置有水平传输带机构17，水平传输带机构17的前侧与最后侧的一根下滚筒2衔接；支架13的右侧设置有第一L型支架8，第一L型支架8上设置有位于水平传输带机构17上方的预缝合摄像头9-2，水平传输带机构17将通过拉伸冻结装置后被拉伸冻结的毛衣织片往缝合装置输入口进行输送，在预缝合摄像头9-2的视觉感知下执行移动、暂停和停止动作。

缝合装置包括水平设置在支架13上的缝合工作台15，缝合工作台15上设置有若干个滚珠16，滚珠16按5~10mm的间距均匀内嵌布置于缝合工作台15上，缝合工作台15的右侧设置有第二L型支架50，第二L型支架50上设置有位于缝合工作台15上方的导引摄像头9-4，缝合工作台15的左侧和右侧分别设置有一根缝纫机支柱10，每根缝纫机支柱10上端均设置有一个位于缝合工作台15左右侧边上方的缝纫机11，每台缝纫机11上均设置有一个用于指导缝纫机11缝合过程的缝合摄像头9-3。

输入展平装置包括展平输送电机和垂直设置的两块支撑板1，两块支撑板1之间转动设置有若干根展平滚筒51，展平输送电机通过带传动机构与所有的展平滚筒51传到连接；最后侧的一根展平滚筒51与最前侧一根下滚筒2等高且衔接；人工将待缝合的毛衣织片放置到展平滚筒51上，人工引导毛衣织片向后输入到最前侧的下滚筒2与上弹性滚筒18之间的间隙内，输送步进电机30通过同步皮带23驱动所有的下滚筒2转动，毛衣织片在下滚筒2与上弹性滚筒18的夹持下向后移动。

控制模块包括工业控制计算机、嵌入式ARM单片机、输入/输出子模块、工业以太网通信子模块、显示子模块、灯光警示子模块；工业控制计算机通过工业以太网通信子模块与嵌入式ARM单片机相连接，嵌入式ARM单片机通过输入/输出子模块相连接； 输入/输出子模块分别与输入展平模块的输送步进电机控制信号、拉伸冻结装置的输送步进电机和拉伸步进电机控制信号、缝合预备装置的输送步进电机控制信号相连接，按照控制流程依次控制所对应的步进电机有序动作，输入/输出子模块还与拉伸冻结装置的喷水雾管道19和制冷装置20的电控阀相连接，根据动作流程，打开或者关闭电控阀；所述的输入/输出子模块还连接并控制环形LED灯开闭及其亮度；所述的输入/输出子模块还与拉伸冻结装置的红外传感器连接，感知毛衣织片；所述拉伸冻结装置的高清摄像头9-1、缝合预备装置的预缝合摄像头9-2和缝合装置的缝合摄像头9-3和导引摄像头9-4均通过USB总线方式与工业控制计算机相连接，工业控制计算机启动拉伸冻结装置中的全部高清摄像头9-1的拍照，获取照片后由机器视觉感知识别模块计算毛衣织片在拉伸冻结装置中的位置信息，并计算毛衣织片的轮廓形状，进一步，工业控制计算机还启动缝合预备装置中的摄像头和缝合装置中的导引摄像头9-4，获取照片后由机器视觉感知识别模块辨识毛衣织片的正反面和位置信息，为搬运机器人7提供机器视觉感知参数，进一步，工业控制计算机还启动缝合装置中的缝合摄像头9-3，获取照片后由机器视觉感知识别模块辨识毛衣织片当前缝合位置信息，为搬运机器人7缝合辅助推送毛衣织片提供信息；所述搬运机器人7通过工业以太网与工业控制计算机相连接。

机器视觉感知识别模块包括图像增强子模块、单目视觉定位子模块、图像切分子模块和深度卷积网络子模块组成；所述图像增强子模块对摄像头获取的照片进行增强处理，满足不同颜色、形状的毛衣织片，处理完后的图像发送到单目视觉定位子模块和图像切分子模块中分别进行处理；单目视觉定位子模块通过特征点匹配算法，特征点为毛衣织片拉伸机构中的18-1、刚性圆柱体18-2、缝合预备装置的水平传输带机构17上的标记点和缝合装置的滚珠16，获取毛衣织片的位置信息及其轮廓边缘；图像切分子模块对毛衣织片的边缘图像进行切分处理，并进行分割、缩放到128×128像素的固定尺寸，之后发送给深度卷积网络子模块；所述的深度卷积网络子模块检测毛衣织片的正反面信息及其缝合的质量，并将检查结果反馈控制模块。

采用上述技术方案，本发明具有以下技术效果：本发明先对毛衣织片拉伸操作，再对其喷水雾并冻结操作后，将柔性的毛衣织片转变为刚性的冻结毛衣织片，从而便于实现翻转、搬运、缝合操作，即可实现毛衣的自动缝合。一方面，本发明可代替传统人工的毛织缝合，提升加工效率，另外一方面，实现缝合质量的提升，实现批量生产下的产品一致性较稳定，从而也提升了产品的附加值。因而，本发明能用于毛织行业的毛衣织片的自动缝合，对于提升我国毛织行业装备的发展具有一定的意义，而且市场应用前景较好。

附图说明

图1是本发明在一个视角下的立体结构示意图；

图2是本发明在另一个视角下的立体结构示意图；

图3是图1中取下上箱体后拉伸冻结装置的示意图；

图4是图1中上箱体的仰视示意图；

图5是图3中制冷装置和喷水雾管道的布置示意图；

图6是图3中一个毛衣织片拉伸机构的示意图；

图7是缝纫机自动缝合上毛衣织片和下毛衣织片的示意图；

图8是控制模块逻辑连接示意图 ；

图9是深度卷积网络子模块示意图。

具体实施方式

如图1-图9所示，本发明的基于机器视觉感知的毛衣自动缝合设备，包括输入展平装置、拉伸冻结装置、缝合预备装置、缝合装置、搬运机器人7和控制箱14；

输入展平装置、拉伸冻结装置、缝合预备装置和缝合装置由前向后依次连接，缝合预备装置和缝合装置的下部左侧沿前后方向设置有轨道6，搬运机器人底部滚动连接在轨道6上，搬运机器人7的工作部伸到缝合预备装置和缝合装置的上方；

毛衣织片由人工放置到输入展平装置上，先进入到拉伸冻结装置内部进行拉伸，接着冻结后输送到缝合预备装置上，搬运机器人7在轨道6上前后移动完成冻结后毛衣织片的翻面、搬运、缝合辅助推送和分拣，同时缝合装置对上下对应摆放的上毛衣织片和下毛衣织片进行缝合，缝合合格的毛衣织片由搬运机器人7搬运到缝合装置后侧输出端，不合格的产品放入废品框中；

控制箱14内设置有控制模块和机器视觉感知识别模块，控制模块通过工业以太网分别与输入展平装置、拉伸冻结装置、缝合预备装置、缝合装置和搬运机器人7连接，机器视觉感知识别模块与控制模块通过控制线缆连接。

拉伸冻结装置包括上箱体3、下箱体5、输送步进电机30和下滚筒2，下箱体5顶部敞口，下箱体5底部左右两侧分别设置有支腿4，下箱体5顶部左右两侧均设置有安装板24，下箱体5内底部均匀设置有若干个朝上喷出冷风的制冷装置20和若干根喷水雾管道19，喷水雾管道19上部开设一排均朝上喷出水雾的喷嘴，下滚筒2设置有若干根，若干根下滚筒2沿前后方向转动设置在下箱体5内部，下滚筒2位于制冷装置20上方，制冷装置20为常规技术，具体构造不再赘述，喷水雾管道19和下滚筒2均沿左右方向水平设置，每根喷水雾管道19均设置在相邻两根下滚筒2之间；输送步进电机30通过同步皮带23与所有的下滚筒2传动连接；

上箱体3底部敞口，上箱体3扣合在下箱体5上，上箱体3底部的中间部分设置有前后通透的输送通道，左侧和右侧的安装板24之间设置有位于上箱体3内部的若干个毛衣织片拉伸机构，毛衣织片拉伸机构与下滚筒2数量相同，且每个毛衣织片拉伸机构均位于一个下滚筒2的正上方，上箱体3的内侧顶部均匀设置有朝下拍摄的若干个高清摄像头9-1，每个高清摄像头9-1的外围均设置有环形LED灯，高清摄像头9-1用于检测毛衣织片的拉伸前后的形状。

每个毛衣织片拉伸机构均包括与下滚筒2平行且位于下滚筒2上方的上弹性滚筒18，下滚筒2与上弹性滚筒18之间具有小于毛衣织片的厚度的间隙，上弹性滚筒18包括同轴线设置的两根刚性导杆18-3，两根刚性导杆18-3之间设置有若干节弹性橡胶柱18-1和刚性圆柱体18-2，若干节弹性橡胶柱18-1和刚性圆柱体18-2间隔设置并同轴向固定连接；两根刚性导杆18-3分别连接有结构相同且左右对称布置的同步拉伸驱动机构；在其中两个同步拉伸驱动机构之间的安装板24上设置有红外传感器25。

左侧的同步拉伸驱动机构包括支撑块32、拉伸步进电机22、支撑件26、齿条21、齿条导轨31和弹簧18-4，齿条导轨31和支撑件26均固定设置在左侧的安装板24上，齿条导轨31平行于上弹性滚筒18，齿条21滑动连接在齿条导轨31上，拉伸步进电机22固定设置在支撑件26上，拉伸步进电机22的主轴安装有与齿条21啮合传动的齿轮，支撑块32固定设置在齿条21的右端部，支撑块32上开设有左右通透的导孔，左端的刚性导杆18-3滑动插设在导孔内，刚性导杆18-3的左端固定设置有直径大于刚性导杆18-3的限位帽，限位帽位于齿条21上方和支撑块32左侧，弹簧18-4套装在刚性导杆18-3上，弹簧18-4左右两端分别与限位帽和支撑块32顶压配合。

缝合预备装置包括支架13，支架13上沿前后方向设置有水平传输带机构17，水平传输带机构17的前侧与最后侧的一根下滚筒2衔接；支架13的右侧设置有第一L型支架8，第一L型支架8上设置有位于水平传输带机构17上方的预缝合摄像头9-2，水平传输带机构17将通过拉伸冻结装置后被拉伸冻结的毛衣织片往缝合装置输入口进行输送，在预缝合摄像头9-2的视觉感知下执行移动、暂停和停止动作。

缝合装置包括水平设置在支架13上的缝合工作台15，缝合工作台15上设置有若干个滚珠16，滚珠16按5~10mm的间距均匀内嵌布置于缝合工作台15上，缝合工作台15的右侧设置有第二L型支架50，第二L型支架50上设置有位于缝合工作台15上方的导引摄像头9-4，缝合工作台15的左侧和右侧分别设置有一根缝纫机支柱10，每根缝纫机支柱10上端均设置有一个位于缝合工作台15左右侧边上方的缝纫机11，每台缝纫机11上均设置有一个用于指导缝纫机11缝合过程的缝合摄像头9-3。

输入展平装置包括展平输送电机和垂直设置的两块支撑板1，两块支撑板1之间转动设置有若干根展平滚筒51，展平输送电机通过带传动机构与所有的展平滚筒51传到连接；最后侧的一根展平滚筒51与最前侧一根下滚筒2等高且衔接；人工将待缝合的毛衣织片放置到展平滚筒51上，人工引导毛衣织片向后输入到最前侧的下滚筒2与上弹性滚筒18之间的间隙内，输送步进电机30通过同步皮带23驱动所有的下滚筒2转动，毛衣织片在下滚筒2与上弹性滚筒18的夹持下向后移动。

控制模块包括工业控制计算机、嵌入式ARM单片机、输入/输出子模块、工业以太网通信子模块、显示子模块、灯光警示子模块；工业控制计算机通过工业以太网通信子模块与嵌入式ARM单片机相连接，嵌入式ARM单片机通过输入/输出子模块相连接； 输入/输出子模块分别与输入展平模块的输送步进电机控制信号、拉伸冻结装置的输送步进电机和拉伸步进电机控制信号、缝合预备装置的输送步进电机控制信号相连接，按照控制流程依次控制所对应的步进电机有序动作，输入/输出子模块还与拉伸冻结装置的喷水雾管道19和制冷装置20的电控阀相连接，根据动作流程，打开或者关闭电控阀；所述的输入/输出子模块还连接并控制环形LED灯开闭及其亮度；所述的输入/输出子模块还与拉伸冻结装置的红外传感器连接，感知毛衣织片；所述拉伸冻结装置的高清摄像头9-1、缝合预备装置的预缝合摄像头9-2和缝合装置的缝合摄像头9-3和导引摄像头9-4均通过USB总线方式与工业控制计算机相连接，工业控制计算机启动拉伸冻结装置中的全部高清摄像头9-1的拍照，获取照片后由机器视觉感知识别模块计算毛衣织片在拉伸冻结装置中的位置信息，并计算毛衣织片的轮廓形状，进一步，工业控制计算机还启动缝合预备装置中的摄像头和缝合装置中的导引摄像头9-4，获取照片后由机器视觉感知识别模块辨识毛衣织片的正反面和位置信息，为搬运机器人7提供机器视觉感知参数，进一步，工业控制计算机还启动缝合装置中的缝合摄像头9-3，获取照片后由机器视觉感知识别模块辨识毛衣织片当前缝合位置信息，为搬运机器人7缝合辅助推送毛衣织片提供信息；所述搬运机器人7通过工业以太网与工业控制计算机相连接。

机器视觉感知识别模块包括图像增强子模块、单目视觉定位子模块、图像切分子模块和深度卷积网络子模块组成；所述图像增强子模块对摄像头获取的照片进行增强处理，满足不同颜色、形状的毛衣织片，处理完后的图像发送到单目视觉定位子模块和图像切分子模块中分别进行处理；单目视觉定位子模块通过特征点匹配算法，特征点为毛衣织片拉伸机构中的18-1、刚性圆柱体18-2、缝合预备装置的水平传输带机构17上的标记点和缝合装置的滚珠16，获取毛衣织片的位置信息及其轮廓边缘；图像切分子模块对毛衣织片的边缘图像进行切分处理，并进行分割、缩放到128×128像素的固定尺寸，之后发送给深度卷积网络子模块；所述的深度卷积网络子模块检测毛衣织片的正反面信息及其缝合的质量，并将检查结果反馈控制模块。

本发明的具体工作过程为：

（1）、操作控制箱14上的按钮，启动毛衣自动缝合设备；

（2）、操作者站在输入展平装置的左侧或右侧将待缝合的毛衣织片放置到展平滚筒51上展平，展平输送电机带动展平滚筒51转动，展平滚筒51带动毛衣织片向后移动，当毛衣织片移动到最前侧的下滚筒2与上弹性滚筒18之间的间隙处时，在操作者的引导下，毛衣织片被稍微挤压，被送入到下滚筒2与上弹性滚筒18之间的间隙内，即进入到拉伸冻结装置内部；

（3）、拉伸冻结装置内部可一次容纳一片毛衣织片，当拉伸冻结装置内部的红外传感器检测到毛衣织片后，判断其后续能否前移；如果可以移动，通过控制模块控制拉伸冻结装置的输送步进电机30的启停，将其移动到位进行拉伸并冻结，如果不能移动，就在当前位置进行拉伸并冻结；执行拉伸动作由毛衣织片拉伸机构完成，毛衣织片拉伸机构的拉伸步进电机22在控制模块控制的控制下，按照高清摄像头9-1对毛衣织片拉伸到位后传输给机器视觉感知识别模块的识别结果，以启停一个或多个拉伸步进电机22；接着对毛衣织片进行冻结；

毛衣织片被拉伸过程为：输送步进电机30带动下滚筒2转动，下滚筒2带动毛衣织片向后移动，直到毛衣织片全部进入到上箱体3内部后输送步进电机30停止，所有的拉伸步进电机22启动，左侧的拉伸步进电机22通过齿轮驱动齿条21沿齿条导轨31向左移动，右侧的拉伸步进电机22通过齿轮驱动齿条21沿齿条导轨31向右移动，齿条21端部固定连接的支撑块32压缩弹簧18-4并通过压缩弹簧18-4驱动限位帽向外轴向移动，限位帽轴向拉动刚性导杆18-3、弹性橡胶柱18-1和刚性圆柱体18-2，弹性橡胶柱18-1为拉伸，刚性圆柱体18-2也轴向移动，刚性圆柱体18-2下部拉动毛衣织片向左向右移动，毛衣织片被左右拉伸展开，直到当前位置毛衣织片的轮廓与工业控制计算机内部预先设定的拉伸状态图像信息的一致，或者误差小于0.1~0.2cm后，拉伸步进电机22停止；

毛衣织片被冻结的过程为：冻结动作由喷水雾管道19和制冷装置20共同配合完成，当毛衣织片拉伸到位后，控制模块通过输入/输出模块开启喷水雾管道19上的电磁阀，按照机器视觉感知识别模块的毛衣织片轮廓识别结果，分别对喷水雾管道19中的每个喷嘴独立控制，一方面减少不必要的喷水，另一方面也是防止水雾攒射到高清摄像头9-1上；喷水雾完成后，由控制模块通过输入/输出模块启动制冷装置20，制冷装置20向上朝向毛衣织片送冷风，制冷装置20采用低温氮气或者干冰进行制冷，将润湿的毛衣织片快速冷冻，将其由柔性体转变为刚性体，便于进行自动缝合；

（4）、毛衣织片被冷冻后，启动输送步进电机30，输送步进电机30带动下滚筒2转动，下滚筒2驱动毛衣织片向后移动到缝合预备装置的水平传输带机构17上，然后拉伸步进电机22反向转动，驱动齿条21复位，上弹性滚筒18也收缩复位；对由输入展平装置输送来的下一片毛衣织片进行拉伸；

（5）、自动缝合前的准备阶段；拉伸冻结后的毛衣织片输出到缝合预备装置，由机器视觉感知识别模块对当前的毛衣织片的位置及其正反面进行辨识；当后续的缝合装置需要当前的毛衣织片进行翻面时，由搬运机器人7在缝合预备装置的预缝合摄像头9-2指引下对其处理；

（6）、自动缝合阶段；搬运机器人7在缝合装置的导引摄像头9-4的拍照下，通过机器视觉感知识别模块进行处理位置及其轮廓信息，将缝合预备装置里的两片待缝合的毛衣织片依次搬运到缝合装置的工作台15上，两片待缝合的毛衣织片的外边缘轮廓放置在缝合装置的右侧的缝纫机11下方，搬运机器人7将两片待缝合的毛衣织片对齐；

（7）接着，缝合装置右侧的缝纫机11开始工作，搬运机器人7在缝合摄像头9-3的拍照下，通过机器视觉感知识别模块进行处理位置及其轮廓信息，辅助推送毛衣织片，实现毛衣织片的自动缝合；当缝合装置右侧的缝纫机11完成缝合后，缝合装置左侧的缝纫机11按照此流程对毛衣织片的左侧进行自动缝合；缝纫机11的缝合频率与搬运机器人7的推进速度成正比；由于工作台15上滚珠16的铺设，减少冻结后的毛衣织片运动摩擦阻力；

（8）、分拣阶段；搬运机器人7在缝合装置的导引摄像头9-4的拍照下，经过机器视觉感知识别模块对缝合后的毛衣织片进行缝合质量检测，获取缝合缺陷信息；缝合质量合格的由搬运机器人7移动到缝合装置后侧输出端，不合格的产品，由搬运机器人7放入废品框中。搬运机器人7对毛衣织片搬运采用机械手吸盘（即搬运机器人7的工作部）进行操作。

步骤（8）中的机器视觉感知识别模块对缝合质量检测由深度卷积网络子模块完成，具体工作过程为；

经过图像切分子模块后的毛衣织片缝合图像，转换为RGB单色3幅图像，送入深度卷积网络子模块中的A1卷积层，生成18幅126×126像素图像（采用5×5窗口进行卷积），之后由A2池化层进行1/2池化操作，生成18幅63×63像素的图像，之后，进行第二次卷积操作，送入深度卷积网络子模块中的A3卷积层，生成72幅61×61像素的图像（采用3×3窗口进行卷积），之后由A4池化层进行1/2池化操作，生成72幅30×30像素的图像，进一步，经过深度卷积网络子模块中的A5全连接层处理，输出1024维度的向量，再进一步，经过深度卷积网络子模块中的A6全连接层处理，输出256维度的向量；

进一步，经过图像切分子模块后的毛衣织片缝合图像，转换为RGB单色3幅图像，还送入深度卷积网络子模块中的B1卷积层，生成18幅127×127像素图像（采用3×3窗口进行卷积），之后由B2池化层进行1/2池化操作，生成18幅63×63像素的图像，之后，进行第二次卷积操作，送入深度卷积网络子模块中的B3卷积层，生成72幅63×63像素的图像（采用1×1窗口进行卷积），之后由B4池化层进行1/2池化操作，生成72幅31×31像素的图像，进一步，经过深度卷积网络子模块中的B5全连接层处理，输出1024维度的向量，再进一步，经过深度卷积网络子模块中的B6全连接层处理，输出256维度的向量；

最后，由深度卷积网络子模块中的S7汇集层，对A6全连接层输出256维度的向量和B6全连接层输出256维度的向量执行集合加法操作，生成表征缝合缺陷的特征信息，为512维度的向量，再由深度卷积网络子模块中的S8软回归层输出2维向量，表示待辨识图像属于合格和不合格的概率分布，从而辨识待检毛衣织片缝合是否存在缺陷；

深度卷积网络子模块的离线训练样本库可以增加样本数量；因而，待辨识图像属于合格和不合格种类可以随着样本数量的增加而进一步细分；深度卷积网络子模块既可以由用户在使用过程中进行训练更新，也可以选择由装置生产厂家定期更新；本装置支持多版本（卷积和池化参数）的深度卷积网络子模块，可由最终用户根据实际应用场景进行自主选择。

本实施例并非对本发明的形状、材料、结构等作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均属于本发明技术方案的保护范围。

Claims (9)

1.基于机器视觉感知的毛衣自动缝合设备，其特征在于：包括输入展平装置、拉伸冻结装置、缝合预备装置、缝合装置、搬运机器人（7）和控制箱（14）；

输入展平装置、拉伸冻结装置、缝合预备装置和缝合装置由前向后依次连接，缝合预备装置和缝合装置的下部左侧沿前后方向设置有轨道（6），搬运机器人底部滚动连接在轨道（6）上，搬运机器人（7）的工作部伸到缝合预备装置和缝合装置的上方；

毛衣织片由人工放置到输入展平装置上，先进入到拉伸冻结装置内部进行拉伸，接着冻结后输送到缝合预备装置上，搬运机器人（7）在轨道（6）上前后移动完成冻结后毛衣织片的翻面、搬运、缝合辅助推送和分拣，同时缝合装置对上下对应摆放的上毛衣织片和下毛衣织片进行缝合，缝合合格的毛衣织片由搬运机器人（7）搬运到缝合装置后侧输出端，不合格的产品放入废品框中；

控制箱（14）内设置有控制模块和机器视觉感知识别模块，控制模块通过工业以太网分别与输入展平装置、拉伸冻结装置、缝合预备装置、缝合装置和搬运机器人（7）连接，机器视觉感知识别模块与控制模块通过控制线缆连接。

2.根据权利要求1所述的基于机器视觉感知的毛衣自动缝合设备，其特征在于：拉伸冻结装置包括上箱体（3）、下箱体（5）、输送步进电机（30）和下滚筒（2），下箱体（5）顶部敞口，下箱体（5）底部左右两侧分别设置有支腿（4），下箱体（5）顶部左右两侧均设置有安装板（24），下箱体（5）内底部均匀设置有若干个朝上喷出冷风的制冷装置（20）和若干根喷水雾管道（19），喷水雾管道（19）上部开设一排均朝上喷出水雾的喷嘴，下滚筒（2）设置有若干根，若干根下滚筒（2）沿前后方向转动设置在下箱体（5）内部，下滚筒（2）位于制冷装置（20）上方，喷水雾管道（19）和下滚筒（2）均沿左右方向水平设置，每根喷水雾管道（19）均设置在相邻两根下滚筒（2）之间；输送步进电机（30）通过同步皮带（23）与所有的下滚筒（2）传动连接；

上箱体（3）底部敞口，上箱体（3）扣合在下箱体（5）上，上箱体（3）底部的中间部分设置有前后通透的输送通道，左侧和右侧的安装板（24）之间设置有位于上箱体（3）内部的若干个毛衣织片拉伸机构，毛衣织片拉伸机构与下滚筒（2）数量相同，且每个毛衣织片拉伸机构均位于一个下滚筒（2）的正上方，上箱体（3）的内侧顶部均匀设置有朝下拍摄的若干个高清摄像头（9-1），每个高清摄像头（9-1）的外围均设置有环形LED灯，高清摄像头（9-1）用于检测毛衣织片的拉伸前后的形状。

3.根据权利要求2所述的基于机器视觉感知的毛衣自动缝合设备，其特征在于：每个毛衣织片拉伸机构均包括与下滚筒（2）平行且位于下滚筒（2）上方的上弹性滚筒（18），下滚筒（2）与上弹性滚筒（18）之间具有小于毛衣织片的厚度的间隙，上弹性滚筒（18）包括同轴线设置的两根刚性导杆（18-3），两根刚性导杆（18-3）之间设置有若干节弹性橡胶柱（18-1）和刚性圆柱体（18-2），若干节弹性橡胶柱（18-1）和刚性圆柱体（18-2）间隔设置并同轴向固定连接；两根刚性导杆（18-3）分别连接有结构相同且左右对称布置的同步拉伸驱动机构；在其中两个同步拉伸驱动机构之间的安装板（24）上设置有红外传感器（25）。

4.根据权利要求3所述的基于机器视觉感知的毛衣自动缝合设备，其特征在于：左侧的同步拉伸驱动机构包括支撑块（32）、拉伸步进电机（22）、支撑件（26）、齿条（21）、齿条导轨（31）和弹簧（18-4），齿条导轨（31）和支撑件（26）均固定设置在左侧的安装板（24）上，齿条导轨（31）平行于上弹性滚筒（18），齿条（21）滑动连接在齿条导轨（31）上，拉伸步进电机（22）固定设置在支撑件（26）上，拉伸步进电机（22）的主轴安装有与齿条（21）啮合传动的齿轮，支撑块（32）固定设置在齿条（21）的右端部，支撑块（32）上开设有左右通透的导孔，左端的刚性导杆（18-3）滑动插设在导孔内，刚性导杆（18-3）的左端固定设置有直径大于刚性导杆（18-3）的限位帽，限位帽位于齿条（21）上方和支撑块（32）左侧，弹簧（18-4）套装在刚性导杆（18-3）上，弹簧（18-4）左右两端分别与限位帽和支撑块（32）顶压配合。

5.根据权利要求4所述的基于机器视觉感知的毛衣自动缝合设备，其特征在于：缝合预备装置包括支架（13），支架（13）上沿前后方向设置有水平传输带机构（17），水平传输带机构（17）的前侧与最后侧的一根下滚筒（2）衔接；支架（13）的右侧设置有第一L型支架（8），第一L型支架（8）上设置有位于水平传输带机构（17）上方的预缝合摄像头（9-2），水平传输带机构（17）将通过拉伸冻结装置后被拉伸冻结的毛衣织片往缝合装置输入口进行输送，在预缝合摄像头（9-2）的视觉感知下执行移动、暂停和停止动作。

6.根据权利要求5所述的基于机器视觉感知的毛衣自动缝合设备，其特征在于：缝合装置包括水平设置在支架（13）上的缝合工作台（15），缝合工作台（15）上设置有若干个滚珠（16），滚珠（16）按5~10mm的间距均匀内嵌布置于缝合工作台（15）上，缝合工作台（15）的右侧设置有第二L型支架（50），第二L型支架（50）上设置有位于缝合工作台（15）上方的导引摄像头（9-4），缝合工作台（15）的左侧和右侧分别设置有一根缝纫机支柱（10），每根缝纫机支柱（10）上端均设置有一个位于缝合工作台（15）左右侧边上方的缝纫机（11），每台缝纫机（11）上均设置有一个用于指导缝纫机（11）缝合过程的缝合摄像头（9-3）。

7.根据权利要求6所述的基于机器视觉感知的毛衣自动缝合设备，其特征在于：输入展平装置包括展平输送电机和垂直设置的两块支撑板（1），两块支撑板（1）之间转动设置有若干根展平滚筒（51），展平输送电机通过带传动机构与所有的展平滚筒（51）传到连接；最后侧的一根展平滚筒（51）与最前侧一根下滚筒（2）等高且衔接；人工将待缝合的毛衣织片放置到展平滚筒（51）上，人工引导毛衣织片向后输入到最前侧的下滚筒（2）与上弹性滚筒（18）之间的间隙内，输送步进电机（30）通过同步皮带（23）驱动所有的下滚筒（2）转动，毛衣织片在下滚筒（2）与上弹性滚筒（18）的夹持下向后移动。

8.根据权利要求6所述的基于机器视觉感知的毛衣自动缝合设备，其特征在于：控制模块包括工业控制计算机、嵌入式ARM单片机、输入/输出子模块、工业以太网通信子模块、显示子模块、灯光警示子模块；工业控制计算机通过工业以太网通信子模块与嵌入式ARM单片机相连接，嵌入式ARM单片机通过输入/输出子模块相连接； 输入/输出子模块分别与输入展平模块的输送步进电机控制信号、拉伸冻结装置的输送步进电机和拉伸步进电机控制信号、缝合预备装置的输送步进电机控制信号相连接，按照控制流程依次控制所对应的步进电机有序动作，输入/输出子模块还与拉伸冻结装置的喷水雾管道（19）和制冷装置（20）的电控阀相连接，根据动作流程，打开或者关闭电控阀；所述的输入/输出子模块还连接并控制环形LED灯开闭及其亮度；所述的输入/输出子模块还与拉伸冻结装置的红外传感器连接，感知毛衣织片；所述拉伸冻结装置的高清摄像头（9-1）、缝合预备装置的预缝合摄像头（9-2）和缝合装置的缝合摄像头（9-3）和导引摄像头（9-4）均通过USB总线方式与工业控制计算机相连接，工业控制计算机启动拉伸冻结装置中的全部高清摄像头（9-1）的拍照，获取照片后由机器视觉感知识别模块计算毛衣织片在拉伸冻结装置中的位置信息，并计算毛衣织片的轮廓形状，进一步，工业控制计算机还启动缝合预备装置中的摄像头和缝合装置中的导引摄像头（9-4），获取照片后由机器视觉感知识别模块辨识毛衣织片的正反面和位置信息，为搬运机器人（7）提供机器视觉感知参数，进一步，工业控制计算机还启动缝合装置中的缝合摄像头（9-3），获取照片后由机器视觉感知识别模块辨识毛衣织片当前缝合位置信息，为搬运机器人（7）缝合辅助推送毛衣织片提供信息；所述搬运机器人（7）通过工业以太网与工业控制计算机相连接。

9.根据权利要求8所述的基于机器视觉感知的毛衣自动缝合装置，其特征在于：机器视觉感知识别模块包括图像增强子模块、单目视觉定位子模块、图像切分子模块和深度卷积网络子模块组成；所述图像增强子模块对摄像头获取的照片进行增强处理，满足不同颜色、形状的毛衣织片，处理完后的图像发送到单目视觉定位子模块和图像切分子模块中分别进行处理；单目视觉定位子模块通过特征点匹配算法，特征点为毛衣织片拉伸机构中的（18-1）、刚性圆柱体（18-2）、缝合预备装置的水平传输带机构（17）上的标记点和缝合装置的滚珠（16），获取毛衣织片的位置信息及其轮廓边缘；图像切分子模块对毛衣织片的边缘图像进行切分处理，并进行分割、缩放到128×128像素的固定尺寸，之后发送给深度卷积网络子模块；所述的深度卷积网络子模块检测毛衣织片的正反面信息及其缝合的质量，并将检查结果反馈控制模块。