CN114146877A - 基于视觉检测的混流板材双面喷涂方法、装置、系统及存储介质 - Google Patents
基于视觉检测的混流板材双面喷涂方法、装置、系统及存储介质 Download PDFInfo
- Publication number
- CN114146877A CN114146877A CN202111413266.5A CN202111413266A CN114146877A CN 114146877 A CN114146877 A CN 114146877A CN 202111413266 A CN202111413266 A CN 202111413266A CN 114146877 A CN114146877 A CN 114146877A
- Authority
- CN
- China
- Prior art keywords
- spraying
- path
- workpiece
- sprayed
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000005507 spraying Methods 0.000 title claims abstract description 165
- 230000000007 visual effect Effects 0.000 title claims abstract description 35
- 238000001514 detection method Methods 0.000 title claims abstract description 34
- 238000003860 storage Methods 0.000 title claims abstract description 10
- 230000011218 segmentation Effects 0.000 claims abstract description 35
- 238000000034 method Methods 0.000 claims abstract description 29
- 239000007921 spray Substances 0.000 claims abstract description 26
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 17
- 238000007781 pre-processing Methods 0.000 claims abstract description 17
- 230000001133 acceleration Effects 0.000 claims abstract description 10
- 230000008569 process Effects 0.000 claims abstract description 9
- 230000007246 mechanism Effects 0.000 claims description 36
- 238000005457 optimization Methods 0.000 claims description 14
- 239000003973 paint Substances 0.000 claims description 14
- 238000010586 diagram Methods 0.000 claims description 13
- 239000003595 mist Substances 0.000 claims description 11
- 239000013598 vector Substances 0.000 claims description 9
- 238000011084 recovery Methods 0.000 claims description 8
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 8
- 230000004927 fusion Effects 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 claims description 3
- 238000004088 simulation Methods 0.000 claims description 3
- 238000011179 visual inspection Methods 0.000 claims 6
- 230000000295 complement effect Effects 0.000 claims 1
- 238000007689 inspection Methods 0.000 claims 1
- 238000013528 artificial neural network Methods 0.000 abstract description 3
- 238000010276 construction Methods 0.000 abstract description 3
- 238000013135 deep learning Methods 0.000 abstract description 3
- 238000012549 training Methods 0.000 abstract description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000005693 optoelectronics Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001035 drying Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011112 process operation Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B05—SPRAYING OR ATOMISING IN GENERAL; APPLYING FLUENT MATERIALS TO SURFACES, IN GENERAL
- B05D—PROCESSES FOR APPLYING FLUENT MATERIALS TO SURFACES, IN GENERAL
- B05D1/00—Processes for applying liquids or other fluent materials
- B05D1/02—Processes for applying liquids or other fluent materials performed by spraying
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B05—SPRAYING OR ATOMISING IN GENERAL; APPLYING FLUENT MATERIALS TO SURFACES, IN GENERAL
- B05B—SPRAYING APPARATUS; ATOMISING APPARATUS; NOZZLES
- B05B12/00—Arrangements for controlling delivery; Arrangements for controlling the spray area
- B05B12/08—Arrangements for controlling delivery; Arrangements for controlling the spray area responsive to condition of liquid or other fluent material to be discharged, of ambient medium or of target ; responsive to condition of spray devices or of supply means, e.g. pipes, pumps or their drive means
- B05B12/12—Arrangements for controlling delivery; Arrangements for controlling the spray area responsive to condition of liquid or other fluent material to be discharged, of ambient medium or of target ; responsive to condition of spray devices or of supply means, e.g. pipes, pumps or their drive means responsive to conditions of ambient medium or target, e.g. humidity, temperature position or movement of the target relative to the spray apparatus
- B05B12/122—Arrangements for controlling delivery; Arrangements for controlling the spray area responsive to condition of liquid or other fluent material to be discharged, of ambient medium or of target ; responsive to condition of spray devices or of supply means, e.g. pipes, pumps or their drive means responsive to conditions of ambient medium or target, e.g. humidity, temperature position or movement of the target relative to the spray apparatus responsive to presence or shape of target
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B05—SPRAYING OR ATOMISING IN GENERAL; APPLYING FLUENT MATERIALS TO SURFACES, IN GENERAL
- B05B—SPRAYING APPARATUS; ATOMISING APPARATUS; NOZZLES
- B05B13/00—Machines or plants for applying liquids or other fluent materials to surfaces of objects or other work by spraying, not covered by groups B05B1/00 - B05B11/00
- B05B13/02—Means for supporting work; Arrangement or mounting of spray heads; Adaptation or arrangement of means for feeding work
- B05B13/04—Means for supporting work; Arrangement or mounting of spray heads; Adaptation or arrangement of means for feeding work the spray heads being moved during spraying operation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/181—Segmentation; Edge detection involving edge growing; involving edge linking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20032—Median filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30161—Wood; Lumber
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
- Application Of Or Painting With Fluid Materials (AREA)
Abstract
本发明涉及双面喷涂技术领域，公开了一种基于视觉检测的混流板材双面喷涂方法、装置、系统及存储介质，采集待喷涂工件图像，并对所述待喷涂工件图像进行预处理；将预处理后的图像输入至UTransNet语义分割模型进行目标分割，提取出待喷涂工件轮廓；根据获取的待喷涂工件轮廓图输入至喷涂轨迹规划算法，结合预设的含有喷枪类型、工艺方法、示教喷涂路径速度、加速度参数的经验库，获取待喷涂工件的喷涂路径；根据喷涂路径进行工件喷涂。另外还公开了利用该双面喷涂方法对应的双面喷涂装置及系统。与现有技术相比，本发明通过基于深度学习神经网络的构建和训练的视觉系统，完成对待喷涂板材的几何特征和姿态的识别，智能生成喷涂路径。
Description
技术领域
本发明涉及双面喷涂技术领域，具体涉及一种基于视觉检测的混流板材双面喷涂方法、装置、系统及存储介质。
背景技术
目前，中国家具行业在经历了一个高速发展期后，初步建立起了相对完整的与国际接轨的工业体系，家具产品已经达到了满足人民生活需要和国际市场的需要。在未来的5到10年，中国家具行业将进入第二个高速发展期，定制家具相比于成品家具的竞争越来越大，实行全屋定制将会成为家具行业中的必然趋势。
一般而言，定制家具的订单尺寸规格、花纹样式各不相同，采用传统的定制生产模式成本高、效率低、生产周期长，现有技术方案存在的主要不足有：（1）目前主流的混流自动化喷涂设备是皮带流水线式，皮带流水线式可以实现混流喷涂，但无法实现双面喷涂，并且效率低，成本高，污染多；（2）传统示教编程操作繁琐，对装夹有要求，并且无法满足少批量、多品种的混流喷涂需求。
发明内容
发明目的：针对现有技术中存在的问题，本发明提供一种基于视觉检测的混流板材双面喷涂方法、装置、系统及存储介质，可通过基于深度学习神经网络的构建和训练的视觉系统，即时完成对待喷涂板材的几何特征和姿态的识别，智能生成喷涂路径。
技术方案：本发明提供了一种基于视觉检测的混流板材双面喷涂方法，包括如下步骤：
采集待喷涂工件图像，并对所述待喷涂工件图像进行预处理；
将预处理后的图像输入至UTransNet语义分割模型进行目标分割，提取出待喷涂工件轮廓；
根据获取的待喷涂工件轮廓图输入至喷涂轨迹规划算法，结合预设的含有喷枪类型、工艺方法、示教喷涂路径速度、加速度参数的经验库，获取待喷涂工件的喷涂路径；
根据所述喷涂路径进行工件喷涂。
进一步地，所述待喷涂工件图像预处理操作包括：
1）在获取图像阶段获取多张待喷涂工件图像，并对多张待喷涂工件图像的色彩与几何特征信息采集，利用多张图像残差计算生成权重W通道，与原图像合并生成RGBW图像；
2）对于合成的RGBW图像进行中值滤波、对数增强的预处理操作；
3）结合RGBW四通道信息初步提取待喷涂工件所在的ROI区间。
进一步地，所述UTransNet语义分割模型为U型编码器—解码器结构，其包括编码部分、解码部分以及瓶颈层部分，具体为：
所述UTransNet语义分割模型将预处理后的图像特征分割成7x7个Patch，Patch的大小不固定，随着Patch融合的操作而变化；
然后使用Linear Embedding线性嵌入将Patch编码成词向量后送入编码部分提取特征向量；
所述编码部分使用三个Transformer结构的编码器串行连接，Transformer结构的编码器由一个Patch融合和两个Swin Transformer模块组成；
瓶颈层部分由两个Swin Transformer模块串行连接组成，衔接编码部分与解码部分；
解码部分由三个解码器串行连接组成，每个解码器由一个Patch合并扩展和两个Swin Transformer模块组成，最后在经过一个Patch合并扩展和Linear Projection线性预测后，得到输出分割图；
每阶对称的Swin Transformer模块通过跳跃连接交换特征图信息。
进一步地，所述喷涂轨迹规划算法以“之”字形覆盖表面与轮廓补喷为主，其方法具体为：
1）创建与轮廓掩模图同尺寸的喷涂路径掩模图，其中背景像素编码为0，轮廓线像素编码为2，在喷涂路径掩模图上创建指定喷涂间隔的横或纵喷涂路径，路径上像素编码为1；将两个掩模图相加得到喷涂路径关键点掩模图，图中0为背景，1为背景上无效喷涂路径点，3为轮廓上喷涂路径关键点；
2）使用[-1,1]卷积核对每条路径数组卷积处理，结果为3则为路径起始点，-3则为路径结束点，将每条路径的指定元素索引保存为喷涂路径关键点集。
3）若标记序列为任意异形路径，进行构建坐标x、坐标y、索引值h三维数组，对其进行编码转换为标准序列；
4）最后，对关键点集做插补后得到喷涂路径点集，获取喷涂路径。
进一步地，所述喷涂轨迹规划算法还采用半监督学习优化模型进行喷涂轨迹优化，所述半监督学习优化模型包括如下步骤：
从经验库中选取喷涂路径点数量、平均点间隔、喷涂时长近似的参数进行参数初始化，通过仿真计算漆料堆叠均匀度、覆盖率、消耗量、喷涂时长，调整喷枪移动速度、加速度、高度、流量使得上述指标更趋于理想目标值，反复迭代得到最适合当前路径的喷涂参数方案，并将该套方案记录在经验库中，用于形近路径的参数初始化，相当于生成期望结果伪标签，优化喷涂轨迹规划算法参数。
本发明还公开了一种基于视觉检测的混流板材双面喷涂装置，包括壳体、主控制器和吊挂流水线，所述壳体内设置有视觉检测机构和喷涂作业机构；所述壳体左右两端均开设缺口，所述吊挂流水线贯穿所述缺口设置于壳体内；
所述视觉检测机构包括彩色工业相机、背光板和第一光电开关，所述第一光电开关设置于壳体内的视觉检测机构初始位置，所述彩色工业相机正对所述吊挂流水线设置，与所述彩色工业相机相对的吊挂流水线另一端设置有背光板；
所述喷涂作业机构位于所述视觉检测机构下一环节，包括一对设置于吊挂流水线两侧的工业机器人、设置于喷涂作业机构初始位置的第二光电开关，所述工业机器人其末端设置有喷枪；
喷枪、工业机器人、吊挂流水线的驱动控制机构、彩色工业相机、第一光电开关、第二光电开关均与主控制器连接，所述主控制器中设置有权利要求1至5任一所述的基于视觉检测的混流板材双面喷涂方法。
优选地，所述喷涂作业机构还包括水槽和漆雾回收设备，所述水槽设置于两个工业机器人之间的吊挂流水线下方，所述漆雾回收设备设置于所述壳体内。
本发明还公开了一种基于视觉检测的混流板材双面喷涂系统，包括：
图像获取模块，用于获取待喷涂工件图像；
图像预处理模块，用于对待喷涂工件图像进行预处理；
目标分割模块，用于将预处理后的图像输入至UTransNet语义分割模型进行目标分割，提取出待喷涂工件轮廓；
喷涂路径生成模块，用于根据获取的待喷涂工件轮廓图并结合预设的含有喷枪类型、工艺方法、示教喷涂路径速度、加速度参数的经验库，获取待喷涂工件的喷涂路径；
喷涂路径执行模块，用于控制各部件执行喷涂路径。
优选地，还包括喷涂路径优化模块，用于采用半监督学习优化模型对喷涂轨迹进行喷涂轨迹优化。
一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的混流板材双面喷涂方法的步骤。
有益效果：
1、本发明提供的一种基于视觉检测的混流板材双面喷涂方法，可通过基于深度学习神经网络的构建和训练的视觉系统，即时完成对待喷涂板材的几何特征和姿态的识别，智能生成喷涂路径。该方法自动生成喷涂路径，实现双面喷涂，提高了喷涂作业效率。
2、本发明的图像数据在实时性的基础上做了多张合成的图像增强预处理，利用了多张图像的合成工作，快速高效地初步提取出ROI区间，节省了大量无效分割运算。对RGB三通道图像增加权重W通道，对区域的变化程度进行量化描述，生成一张RGBW四通道图像，确保后续图像算法执行效率并有助于喷涂轨迹的高质量生成。
3、本发明采用的UTransNet语义分割模型为编码器—解码器结构，采用图像金字塔思想，对高分辨率图像进行多级检测，并合并宏观到微观的分割结果，非常适合工业场景对低延时的需求。利用UTransNet语义分割模型可以进行局部+全局的语义特征学习，提供置信度更高、更精准的分割结果。
4、本发明喷涂轨迹算法模块中还采用半监督学习设计，可根据喷涂质量、喷涂效率等结果，通过经验库反馈接口对规划算法进行结果反馈，生成期望结果伪标签，优化规划算法参数，达到智能化、自适应化的效果。
附图说明
图1为本发明的混流板材双面喷涂装置整体机构示意图；
图2为本发明的混流板材双面喷涂装置壳体内部结构示意图；
图3为本发明壳体内部正视图；
图4为本发明UTransNet语义分割模型结构框图；
图5为本发明两个串连的Swin Transformer模块结构框图；
图6为本发明喷涂轨迹生成方法示意图；
图7为本发明生成的喷涂轨迹示意图；
图8为本发明标准喷涂轨迹生成方法示意图；
图9为本发明任意喷涂轨迹生成方法示意图；
图10为本发明半监督学习优化流程示意图。
其中，1—视觉检测机构；11—彩色工业相机；12—背光板；13—相机支撑架；14—背光板支撑架；15—第一光电开关；16—壳体；2—喷涂作业机构；21—工业机器人；22—水槽；23—漆雾回收设备；24—第二光电开关；3—主控制器；4—吊挂流水线。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
本发明公开了一种基于视觉检测的混流板材双面喷涂方法，该方法设置于如图1至3所述的装置中，该装置包括壳体16、主控制器3和吊挂流水线4，壳体16内设置有视觉检测机构1和喷涂作业机构2；壳体16左右两端均开设缺口，吊挂流水线4贯穿缺口设置于壳体16内。
视觉检测机构1包括彩色工业相机11、背光板12和第一光电开关15，第一光电开关15设置于壳体16内的视觉检测机构1初始位置，彩色工业相机11正对吊挂流水线4设置，与彩色工业相机11相对的吊挂流水线4另一端设置有背光板12。背光板12利用背光板支撑架14设置设置，彩色工业相机11利用相机支撑架支撑。
喷涂作业机构2位于视觉检测机构1下一环节，包括一对设置于吊挂流水线4两侧的工业机器人21、设置于喷涂作业机构2初始位置的第二光电开关24，工业机器人21其末端设置有喷枪。
喷枪、工业机器人21、吊挂流水线4的驱动控制机构、彩色工业相机11、第一光电开关15、第二光电开关24均与主控制器3连接，主控制器3中设置有基于视觉检测的混流板材双面喷涂方法。
喷涂作业机构2还包括水槽22和漆雾回收设备23，水槽22设置于两个工业机器人21之间的吊挂流水线4下方，漆雾回收设备23设置于壳体16内。在该装置工作时，首先将待喷涂的目标工件通过吊挂流水线4先进入视觉检测机构1，工件通过视觉检测机构1入口处第一光电开关15时，触发打开背光板12和彩色工业相机11，工件通过第一光电开关15后，吊挂流水线4不停止，工件在背光板12前缓慢移动过程中，相机多次采集图像，并记录第一光电开关15的触发时长。彩色工业相机11对工件进行色彩与几何特征信息采集，通过多张图像残差计算生成权重W通道，与原图合并生成RGBW图像，并将图像信息传输给控制器进行处理。
控制器中设置的基于视觉检测的混流板材双面喷涂方法包括如下步骤：
步骤1：采集待喷涂工件图像，并对待喷涂工件图像进行预处理。
待喷涂工件图像预处理操作包括：
1）在获取图像阶段获取多张待喷涂工件图像，并对多张待喷涂工件图像的色彩与几何特征信息采集，利用多张图像残差计算生成权重W通道，与原图像合并生成RGBW图像；
2）对于合成的RGBW图像进行中值滤波、对数增强的预处理操作；
3）结合RGBW四通道信息初步提取待喷涂工件所在的ROI区间。
步骤2：将预处理后的图像输入至UTransNet语义分割模型进行目标分割，提取出待喷涂工件轮廓。
UTransNet语义分割模型为U型编码器—解码器结构，其包括编码部分、解码部分以及瓶颈层部分，参见附图2，具体为：
UTransNet语义分割模型将预处理后的图像特征分割成7x7个Patch，Patch的大小不固定，随着Patch融合的操作而变化；
然后使用Linear Embedding线性嵌入将Patch编码成词向量后送入编码部分提取特征向量；
编码部分使用三个Transformer结构的编码器串行连接，Transformer结构的编码器由一个Patch融合和两个Swin Transformer模块组成；
瓶颈层部分由两个Swin Transformer模块串行连接组成，衔接编码部分与解码部分；
解码部分由三个解码器串行连接组成，每个解码器由一个Patch合并扩展和两个Swin Transformer模块组成，最后在经过一个Patch合并扩展和Linear Projection线性预测后，得到输出分割图；
每阶对称的Swin Transformer模块通过跳跃连接交换特征图信息。
Swin Transformer模块由Layer Norm层归一化、W-MSA窗口信息交流、Layer Norm层归一化、MLP多层感知机串行组成，并且输入与W-MSA输出融合再送入下一层，该次融合结果与MLP输出融合后作为最后输出，一般至少使用2个Swin Transformer模块串行连接作为一个基本单元。
本发明设计的UTransNet语义分割模型通过注意力计算先知道不重叠的局部窗口，还允许跨窗口连接，各层级通过跳跃连接被送到基于Transformer的解码器结构中，进行语义特征学习，最终输出进行目标分割后的分割图。
步骤3：根据获取的待喷涂工件轮廓图输入至喷涂轨迹规划算法，结合预设的含有喷枪类型、工艺方法、示教喷涂路径速度、加速度参数的经验库，获取待喷涂工件的喷涂路径。
喷涂轨迹规划算法以“之”字形覆盖表面与轮廓补喷为主，其方法具体为：
1）创建与轮廓掩模图同尺寸的喷涂路径掩模图，其中背景像素编码为0，轮廓线像素编码为2，在喷涂路径掩模图上创建指定喷涂间隔的横或纵喷涂路径，路径上像素编码为1；将两个掩模图相加得到喷涂路径关键点掩模图，图中0为背景，1为背景上无效喷涂路径点，3为轮廓上喷涂路径关键点；
2）使用[-1,1]卷积核对每条路径数组卷积处理，结果为3则为路径起始点，-3则为路径结束点，将每条路径的指定元素索引保存为喷涂路径关键点集。
3）若标记序列为任意异形路径，进行构建坐标x、坐标y、索引值h三维数组，对其进行编码转换为标准序列；
4）最后，对关键点集做插补后得到喷涂路径点集，获取喷涂路径。
喷涂轨迹规划算法还采用半监督学习优化模型进行喷涂轨迹优化，所述半监督学习优化模型包括如下步骤：
从经验库中选取喷涂路径点数量、平均点间隔、喷涂时长近似的参数进行初始化，通过仿真计算漆料堆叠均匀度、覆盖率、消耗量、喷涂时长，调整喷枪移动速度、加速度、高度、流量使得上述指标更趋于理想目标值，反复迭代得到最适合当前路径的喷涂参数方案，并将该套方案记录在经验库中，用于形近路径的参数初始化，相当于生成期望结果伪标签，优化喷涂轨迹规划算法参数。
完成喷涂轨迹路径传输后，吊挂流水线4启动运行，将工件送出视觉检测机构1，送入下一个喷涂作业机构2。工件经过喷涂作业机构2入口处的第二光电开关24后，触发吊挂流水线4后开始喷涂，工件在两台工业机器人21中间继续缓慢运行，同时记录第二光电开关24的触发时长，控制器通过对比两次触发时长，对工件位置进行定位。2个工业机器人21先后完成板材的正面、反面喷涂及轮廓喷涂。
喷涂完成后，吊挂流水线4启动，将喷涂完成的工件送出喷涂作业机构2，进入后续烘干等一系列工序操作间。
水槽22在整个过程中都对空气中的漆雾进行溶解，漆雾回收设备23尽可能吸收空气中的漆雾，减少漆雾的外泄。如上循环作业，即可完成混流工件的自动化喷涂。
一种基于视觉检测的混流板材双面喷涂系统，包括：
图像获取模块，用于获取待喷涂工件图像；
图像预处理模块，用于对待喷涂工件图像进行预处理；
目标分割模块，用于将预处理后的图像输入至UTransNet语义分割模型进行目标分割，提取出待喷涂工件轮廓；
喷涂路径生成模块，用于根据获取的待喷涂工件轮廓图并结合预设的含有喷枪类型、工艺方法、示教喷涂路径速度、加速度参数的经验库，获取待喷涂工件的喷涂路径；
喷涂路径执行模块，用于控制各部件执行喷涂路径。
还包括喷涂路径优化模块，用于采用半监督学习优化模型对喷涂轨迹进行喷涂轨迹优化。
一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的混流板材双面喷涂方法的步骤。
上述实施方式只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所做的等效变换或修饰，都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种基于视觉检测的混流板材双面喷涂方法，其特征在于，包括如下步骤：
采集待喷涂工件图像，并对所述待喷涂工件图像进行预处理；
将预处理后的图像输入至UTransNet语义分割模型进行目标分割，提取出待喷涂工件轮廓；
根据获取的待喷涂工件轮廓图输入至喷涂轨迹规划算法，结合预设的含有喷枪类型、工艺方法、示教喷涂路径速度、加速度参数的经验库，获取待喷涂工件的喷涂路径；
根据所述喷涂路径进行工件喷涂。
2.根据权利要求1所述的基于视觉检测的混流板材双面喷涂方法，其特征在于，所述待喷涂工件图像预处理操作包括：
1）在获取图像阶段获取多张待喷涂工件图像，并对多张待喷涂工件图像的色彩与几何特征信息采集，利用多张图像残差计算生成权重W通道，与原图像合并生成RGBW图像；
2）对于合成的RGBW图像进行中值滤波、对数增强的预处理操作；
3）结合RGBW四通道信息初步提取待喷涂工件所在的ROI区间。
3.根据权利要求1所述的基于视觉检测的混流板材双面喷涂方法，其特征在于，所述UTransNet语义分割模型为U型编码器—解码器结构，其包括编码部分、解码部分以及瓶颈层部分，具体为：
所述UTransNet语义分割模型将预处理后的图像特征分割成7x7个Patch，Patch的大小不固定，随着Patch融合的操作而变化；
然后使用Linear Embedding线性嵌入将Patch编码成词向量后送入编码部分提取特征向量；
所述编码部分使用三个Transformer结构的编码器串行连接，Transformer结构的编码器由一个Patch融合和两个Swin Transformer模块组成；
瓶颈层部分由两个Swin Transformer模块串行连接组成，衔接编码部分与解码部分；
解码部分由三个解码器串行连接组成，每个解码器由一个Patch合并扩展和两个SwinTransformer模块组成，最后在经过一个Patch合并扩展和Linear Projection线性预测后，得到输出分割图；
每阶对称的Swin Transformer模块通过跳跃连接交换特征图信息。
4.根据权利要求1所述的基于视觉检测的混流板材双面喷涂方法，其特征在于，所述喷涂轨迹规划算法以“之”字形覆盖表面与轮廓补喷为主，其方法具体为：
1）创建与轮廓掩模图同尺寸的喷涂路径掩模图，其中背景像素编码为0，轮廓线像素编码为2，在喷涂路径掩模图上创建指定喷涂间隔的横或纵喷涂路径，路径上像素编码为1；将两个掩模图相加得到喷涂路径关键点掩模图，图中0为背景，1为背景上无效喷涂路径点，3为轮廓上喷涂路径关键点；
2）使用[-1,1]卷积核对每条路径数组卷积处理，结果为3则为路径起始点，-3则为路径结束点，将每条路径的指定元素索引保存为喷涂路径关键点集；
3）若标记序列为任意异形路径，进行构建坐标x、坐标y、索引值h三维数组，对其进行编码转换为标准序列；
4）最后，对关键点集做插补后得到喷涂路径点集，获取喷涂路径。
5.根据权利要求4所述的基于视觉检测的混流板材双面喷涂方法，其特征在于，所述喷涂轨迹规划算法还采用半监督学习优化模型进行喷涂轨迹优化，所述半监督学习优化模型包括如下步骤：
从经验库中选取喷涂路径点数量、平均点间隔、喷涂时长近似的参数进行参数初始化，通过仿真计算漆料堆叠均匀度、覆盖率、消耗量、喷涂时长，调整喷枪移动速度、加速度、高度、流量使得上述指标更趋于理想目标值，反复迭代得到最适合当前路径的喷涂参数方案，并将该套方案记录在经验库中，用于形近路径的参数初始化，相当于生成期望结果伪标签，优化喷涂轨迹规划算法参数。
6.一种基于权利要求1至5任一所述的基于视觉检测的混流板材双面喷涂装置，其特征在于，包括壳体、主控制器和吊挂流水线，所述壳体内设置有视觉检测机构和喷涂作业机构；所述壳体左右两端均开设缺口，所述吊挂流水线贯穿所述缺口设置于壳体内；
所述视觉检测机构包括彩色工业相机、背光板和第一光电开关，所述第一光电开关设置于壳体内的视觉检测机构初始位置，所述彩色工业相机正对所述吊挂流水线设置，与所述彩色工业相机相对的吊挂流水线另一端设置有背光板；
所述喷涂作业机构位于所述视觉检测机构下一环节，包括一对设置于吊挂流水线两侧的工业机器人、设置于喷涂作业机构初始位置的第二光电开关，所述工业机器人其末端设置有喷枪；
喷枪、工业机器人、吊挂流水线的驱动控制机构、彩色工业相机、第一光电开关、第二光电开关均与主控制器连接，所述主控制器中设置有权利要求1至5任一所述的基于视觉检测的混流板材双面喷涂方法。
7.根据权利要求6所述的基于视觉检测的混流板材双面喷涂装置，其特征在于，所述喷涂作业机构还包括水槽和漆雾回收设备，所述水槽设置于两个工业机器人之间的吊挂流水线下方，所述漆雾回收设备设置于所述壳体内。
8.一种基于权利要求1至5任一所述的基于视觉检测的混流板材双面喷涂系统，其特征在于，包括：
图像获取模块，用于获取待喷涂工件图像；
图像预处理模块，用于对待喷涂工件图像进行预处理；
目标分割模块，用于将预处理后的图像输入至UTransNet语义分割模型进行目标分割，提取出待喷涂工件轮廓；
喷涂路径生成模块，用于根据获取的待喷涂工件轮廓图并结合预设的含有喷枪类型、工艺方法、示教喷涂路径速度、加速度参数的经验库，获取待喷涂工件的喷涂路径；
喷涂路径执行模块，用于控制各部件执行喷涂路径。
9.根据权利要求8所述的基于视觉检测的混流板材双面喷涂系统，其特征在于，还包括喷涂路径优化模块，用于采用半监督学习优化模型对喷涂轨迹进行喷涂轨迹优化。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的混流板材双面喷涂方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111413266.5A CN114146877B (zh) | 2021-11-25 | 2021-11-25 | 基于视觉检测的混流板材双面喷涂方法、装置、系统及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111413266.5A CN114146877B (zh) | 2021-11-25 | 2021-11-25 | 基于视觉检测的混流板材双面喷涂方法、装置、系统及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114146877A true CN114146877A (zh) | 2022-03-08 |
| CN114146877B CN114146877B (zh) | 2023-04-18 |
Family
ID=80457524
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111413266.5A Active CN114146877B (zh) | 2021-11-25 | 2021-11-25 | 基于视觉检测的混流板材双面喷涂方法、装置、系统及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114146877B (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114612759A (zh) * | 2022-03-22 | 2022-06-10 | 北京百度网讯科技有限公司 | 视频处理方法、查询视频的方法和模型训练方法、装置 |
| CN114879621A (zh) * | 2022-07-11 | 2022-08-09 | 佛山市木木生活家具有限公司 | 一种家具喷涂加工控制方法、系统及装置 |
| CN115069470A (zh) * | 2022-06-24 | 2022-09-20 | 湖南森香木业有限公司 | 一种家具智能加工系统 |
| CN116215098A (zh) * | 2023-04-19 | 2023-06-06 | 中稀材(广东)技术有限公司 | 一种租赁共享的喷雾平板智能打印机 |
| CN116310916A (zh) * | 2023-05-23 | 2023-06-23 | 青岛理工大学 | 一种高分辨率遥感城市图像语义分割方法及系统 |
| CN116273751A (zh) * | 2022-12-12 | 2023-06-23 | 深圳研控自动化科技股份有限公司 | 涂覆机的喷涂方法、系统、装置及存储介质 |
| CN116422551A (zh) * | 2023-04-13 | 2023-07-14 | 盛景智能科技(嘉兴)有限公司 | 异型工件喷涂方法、装置、设备、存储介质及机器人 |
| CN116809345A (zh) * | 2023-06-26 | 2023-09-29 | 珠海新泉包装容器有限公司 | 一种防锈瓶盖二维码的喷涂方法及装置 |
| CN118551674A (zh) * | 2024-07-30 | 2024-08-27 | 瑞驰丰达（天津）股份有限公司 | 一种大数据的用户端汽车喷涂使用效果模拟系统及方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2161555A1 (en) * | 2007-06-20 | 2010-03-10 | Kansai Paint Co., Ltd | Coating color database creating method, search method using the database, their system, program, and recording medium |
| CN107908152A (zh) * | 2017-12-26 | 2018-04-13 | 苏州瀚华智造智能技术有限公司 | 一种活动式机器人自动喷涂装置、控制系统及方法 |
| CN108480101A (zh) * | 2018-05-21 | 2018-09-04 | 广州泽亨实业有限公司 | 一种视觉检测工件识别的喷涂控制方法和装置 |
| CN108763738A (zh) * | 2018-05-25 | 2018-11-06 | 大连交通大学 | 一种轨道车辆车体腻子自动化离线喷涂连续路径规划方法 |
| CN109946772A (zh) * | 2017-12-21 | 2019-06-28 | 张家港康得新光电材料有限公司 | 一种光扩散层及光扩散片 |
| CN109967292A (zh) * | 2019-04-18 | 2019-07-05 | 中联西北工程设计研究院有限公司 | 一种基于工件轮廓信息三维重构的自动喷涂系统及其方法 |
| JP2020062636A (ja) * | 2018-10-15 | 2020-04-23 | 立普思股▲ふん▼有限公司ＬＩＰＳ Ｃｏｒｐｏｒａｔｉｏｎ | 深度画像検知を用いた加工方法 |
-
2021
- 2021-11-25 CN CN202111413266.5A patent/CN114146877B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2161555A1 (en) * | 2007-06-20 | 2010-03-10 | Kansai Paint Co., Ltd | Coating color database creating method, search method using the database, their system, program, and recording medium |
| CN109946772A (zh) * | 2017-12-21 | 2019-06-28 | 张家港康得新光电材料有限公司 | 一种光扩散层及光扩散片 |
| CN107908152A (zh) * | 2017-12-26 | 2018-04-13 | 苏州瀚华智造智能技术有限公司 | 一种活动式机器人自动喷涂装置、控制系统及方法 |
| CN108480101A (zh) * | 2018-05-21 | 2018-09-04 | 广州泽亨实业有限公司 | 一种视觉检测工件识别的喷涂控制方法和装置 |
| CN108763738A (zh) * | 2018-05-25 | 2018-11-06 | 大连交通大学 | 一种轨道车辆车体腻子自动化离线喷涂连续路径规划方法 |
| JP2020062636A (ja) * | 2018-10-15 | 2020-04-23 | 立普思股▲ふん▼有限公司ＬＩＰＳ Ｃｏｒｐｏｒａｔｉｏｎ | 深度画像検知を用いた加工方法 |
| CN109967292A (zh) * | 2019-04-18 | 2019-07-05 | 中联西北工程设计研究院有限公司 | 一种基于工件轮廓信息三维重构的自动喷涂系统及其方法 |
Non-Patent Citations (1)
| Title |
|---|
| 赵泽政: "基于深度学习的混流板材喷涂图像分割系统开发", 《万方数据知识服务平台》 * |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114612759A (zh) * | 2022-03-22 | 2022-06-10 | 北京百度网讯科技有限公司 | 视频处理方法、查询视频的方法和模型训练方法、装置 |
| CN114612759B (zh) * | 2022-03-22 | 2023-04-07 | 北京百度网讯科技有限公司 | 视频处理方法、查询视频的方法和模型训练方法、装置 |
| CN115069470A (zh) * | 2022-06-24 | 2022-09-20 | 湖南森香木业有限公司 | 一种家具智能加工系统 |
| CN114879621A (zh) * | 2022-07-11 | 2022-08-09 | 佛山市木木生活家具有限公司 | 一种家具喷涂加工控制方法、系统及装置 |
| CN114879621B (zh) * | 2022-07-11 | 2022-09-27 | 佛山市木木生活家具有限公司 | 一种家具喷涂加工控制方法、系统及装置 |
| CN116273751A (zh) * | 2022-12-12 | 2023-06-23 | 深圳研控自动化科技股份有限公司 | 涂覆机的喷涂方法、系统、装置及存储介质 |
| CN116422551A (zh) * | 2023-04-13 | 2023-07-14 | 盛景智能科技(嘉兴)有限公司 | 异型工件喷涂方法、装置、设备、存储介质及机器人 |
| CN116215098A (zh) * | 2023-04-19 | 2023-06-06 | 中稀材(广东)技术有限公司 | 一种租赁共享的喷雾平板智能打印机 |
| CN116215098B (zh) * | 2023-04-19 | 2023-09-22 | 中稀材(广东)技术有限公司 | 一种租赁共享的喷雾平板智能打印机 |
| CN116310916A (zh) * | 2023-05-23 | 2023-06-23 | 青岛理工大学 | 一种高分辨率遥感城市图像语义分割方法及系统 |
| CN116809345A (zh) * | 2023-06-26 | 2023-09-29 | 珠海新泉包装容器有限公司 | 一种防锈瓶盖二维码的喷涂方法及装置 |
| CN118551674A (zh) * | 2024-07-30 | 2024-08-27 | 瑞驰丰达（天津）股份有限公司 | 一种大数据的用户端汽车喷涂使用效果模拟系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114146877B (zh) | 2023-04-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114146877B (zh) | 基于视觉检测的混流板材双面喷涂方法、装置、系统及存储介质 | |
| Zhang et al. | Context encoding for semantic segmentation | |
| CN112434655B (zh) | 一种基于自适应置信度图卷积网络的步态识别方法 | |
| CN110728183B (zh) | 一种基于注意力机制的神经网络的人体动作识别方法 | |
| CN110427938A (zh) | 一种基于深度学习的不规则文字识别装置和方法 | |
| CN106203363A (zh) | 人体骨架运动序列行为识别方法 | |
| CN109948453B (zh) | 一种基于卷积神经网络的多人姿态估计方法 | |
| CN110163813A (zh) | 一种图像去雨方法、装置、可读存储介质及终端设备 | |
| CN110378854B (zh) | 机器人图像增强方法及装置 | |
| CN110378208B (zh) | 一种基于深度残差网络的行为识别方法 | |
| CN110232361B (zh) | 基于三维残差稠密网络的人体行为意图识别方法与系统 | |
| CN111462192A (zh) | 一种人行道扫地机器人时空双流融合卷积神经网络动态避障方法 | |
| CN115393396B (zh) | 一种基于掩码预训练的无人机目标跟踪方法 | |
| CN116246338B (zh) | 一种基于图卷积和Transformer复合神经网络的行为识别方法 | |
| CN112734727A (zh) | 一种基于改进深度神经网络的苹果采摘方法 | |
| CN115588237A (zh) | 一种基于单目rgb图像的三维手部姿态估计方法 | |
| CN116872089A (zh) | 数控磨床的磨削自适应控制系统及其方法 | |
| Liu et al. | Data augmentation technology driven by image style transfer in self-driving car based on end-to-end learning | |
| CN117197727A (zh) | 一种基于全局时空特征学习的行为检测方法与系统 | |
| CN116958557A (zh) | 一种基于残差脉冲神经网络的三维室内场景语义分割方法 | |
| Patrona et al. | Self-supervised Convolutional Neural Networks for fast gesture recognition in human-robot interaction | |
| Wang et al. | Fine-grained image style transfer with visual transformers | |
| CN116863241A (zh) | 一种道路场景下基于计算机视觉的端到端语义鸟瞰图生成方法、模型及设备 | |
| CN116665300A (zh) | 基于时空自适应特征融合图卷积网络的骨架动作识别方法 | |
| CN116189054A (zh) | 基于神经网络的人机协作方法及人机协作系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |