CN116777872A - 一种基于语义分割的涂胶尺寸测量方法 - Google Patents
一种基于语义分割的涂胶尺寸测量方法 Download PDFInfo
- Publication number
- CN116777872A CN116777872A CN202310739577.3A CN202310739577A CN116777872A CN 116777872 A CN116777872 A CN 116777872A CN 202310739577 A CN202310739577 A CN 202310739577A CN 116777872 A CN116777872 A CN 116777872A
- Authority
- CN
- China
- Prior art keywords
- semantic segmentation
- gluing
- workpiece
- model
- adhesive tape
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 31
- 238000004026 adhesive bonding Methods 0.000 title claims abstract description 21
- 238000000691 measurement method Methods 0.000 title claims abstract description 8
- 238000001514 detection method Methods 0.000 claims abstract description 31
- 239000002390 adhesive tape Substances 0.000 claims abstract description 30
- 238000000034 method Methods 0.000 claims abstract description 26
- 238000012549 training Methods 0.000 claims abstract description 16
- 238000002372 labelling Methods 0.000 claims abstract description 13
- 230000004927 fusion Effects 0.000 claims abstract description 7
- 238000011176 pooling Methods 0.000 claims abstract description 7
- 230000008569 process Effects 0.000 claims abstract description 7
- 239000003292 glue Substances 0.000 claims description 24
- 238000003892 spreading Methods 0.000 claims description 18
- 230000007480 spreading Effects 0.000 claims description 18
- 238000012795 verification Methods 0.000 claims description 8
- 230000001965 increasing effect Effects 0.000 claims description 7
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 238000005259 measurement Methods 0.000 abstract 1
- 230000006872 improvement Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 238000003466 welding Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于语义分割的涂胶尺寸测量方法，其技术方案要点是包括以下步骤：标注涂胶样本图像，构建数据集；训练基于注意力融合和金字塔池化的语义分割模型；模型分割涂胶图像，获取mask结果；遍历mask中的像素点，灰度为1的点集归类为胶条区域，灰度为2的点集归类为工件区域；使用区域骨架算法提取胶条和工件区域的中轴轮廓；再使用矩形检测框拟合轮廓，生成平行线，计算线间距；统计所有检测框中最大和最小间距，判断涂胶工艺是否满足要求；本方法可以快速进行涂胶测量，无需示教过程，实时性好，鲁棒性强，适应各类胶条和工件场景。
Description
技术领域
本发明涉及涂胶检测技术领域，更具体的说是涉及一种基于语义分割的涂胶尺寸测量方法。
背景技术
目前涂胶技术已经广泛应用于各大汽车整车及汽车零部件制造商，常见于汽车焊装车间的白车身、引擎盖涂胶及总装车间内风挡玻璃等，直接影响到了车辆的减震降噪、防风等性能。为了评估胶条质量，需要对被涂胶条进行尺寸检测，以确保胶条的位置和连续性满足工艺要求。
现有的检测方法，需要人工示教胶条轨迹，即检测前手动选取胶头位置和胶条轨迹点，然后通过阈值分割、形态学操作、边缘提取等传统图像算法提取胶条区域和工件边缘，现有技术的技术方案存在以下问题：
1、示教过程耗时长，不利于涂胶生产线的高效进行，当被涂工件较大，需要采集的图像也会增多，此时，示教的时间将成倍增加；
2、现有胶条边缘检测方法存在易受背景信息干扰、阈值分割不准确，容易造成边缘点误检、漏检现象。
对此一种涂胶尺寸测量方法亟待解决，以使能够解决工业生产中涂胶质量的检测效率低、准确率差的问题，达到对胶条检测时具有高效率、高准确性和客观性强等特点，能大幅提升涂胶质量和效率。
发明内容
针对现有技术存在的不足，本发明的目的在于提供一种基于语义分割的涂胶尺寸测量方法，具有可以直接进行胶条检测，具有高效率、高准确性、客观性强等特点，能大幅提升涂胶质量和效率。
为实现上述目的，本发明提供了如下技术方案：
一种基于语义分割的涂胶尺寸测量方法，包括以下步骤：
S1：采集样本图像，标注胶条区域和工件边缘，划分训练集和验证集；
S2：输入数据集，训练基于注意力融合和金字塔池化的语义分割模型；
S3：语义分割模型对涂胶图像进行分割，生成mask结果，归类胶条和工件区域；
S4：使用区域骨架算法提取胶条以及工件中轴轮廓；
S5：设置矩形检测框，拟合框内胶条与工件轮廓，生成平行线段，计算线段距离；
S6：统计所有检测框最大和最小边距宽度，判断涂胶工艺是否满足要求。
作为本发明的进一步改进，所述步骤S1的具体步骤为：
使用labelme软件进行标注，多边形线段标注胶条区域，条带线段标注工件边缘，按照9：1的比例划分训练集和验证集合。
作为本发明的进一步改进，所述S2的具体步骤如下：
调整图像大小为1024*512像素；
构建语义分割模型，增加金字塔池化减小中间特征图的通道数、移除跳跃连接，提升模型速度，再增加注意力融合模块，加强特征表示，提升模型精度；
将训练集和验证集输入至语义分割模型，采用交叉熵损失函数作为网络评价指标，设置训练周期20，学习率0.025，训练模型，loss收敛最优后，保存语义分割模型。
作为本发明的进一步改进，所述S3的具体步骤如下：
使用语义分割模型对检测图像进行分割，生成mask结果；
遍历mask中所有像素点，灰度为1的点集归类为胶条区域，灰度为2的点集归类为工件区域。
作为本发明的进一步改进，所述S4的具体步骤如下：
使用最大圆盘法，分别提取胶条和工件区域骨骼线；
将骨骼线点集投影到最小二乘法拟合线上，平滑轮廓，获得最终的中轴轮廓。
作为本发明的进一步改进，所述S5的具体步骤如下：
涂胶方向与图像行方向平行，计算胶条轮廓C1的行坐标范围R＝RowMax-RowMin；
设置矩形检测框数量N，每个检测框高度为R/N，宽度为图像宽度；
拟合检测框中的轮廓，生成平行线段，计算平行线间的距离Li(i＝0，，，，N-1)。
作为本发明的进一步改进，所述S6的具体步骤如下：统计Li中的最大值和最小值，判断涂胶是处于过远、过近或正常状态。
本发明的有益效果：
通过训练后的语义分割网络模型，分割胶条和工件区域，拟合区域中轴轮廓，计算胶条中心到工件边缘距离，判断涂胶工艺优劣，具体而言，分割网络经过学习，可以在特征图上的每个像素输出一个分类结果，检测时，将所有分类为胶条和工件的像素归类为对应区域，无需再进行传统算法中的滤波，二值化，边缘分割等操作，且传统算法同一组参数在不同的场景下无法适用，容易出现误检，采用该方法可以避免重复调节滤波核、灰度阈值等参数的问题，更加鲁棒，相比现有技术，本发明检测速度快，准确度高，适应各种复杂场景，无需额外调整参数，操作简单，能大幅提升涂胶检测效率。
附图说明
图1为体现本发明的流程图；
图2为语义分割模型分割效果图；
图3为中轴轮廓线示意图；
图4为检测框示意图。
具体实施方式
下面结合附图和实施例，对本发明进一步详细说明。其中相同的零部件用相同的附图标记表示。需要说明的是，下面描述中使用的词语“前”、“后”、“左”、“右”、“上”和“下”指的是附图中的方向，词语“底面”和“顶面”、“内”和“外”分别指的是朝向或远离特定部件几何中心的方向。
参考图1至图4所示，为本发明一种基于语义分割的涂胶尺寸测量方法的具体实施方式，包括以下步骤：
S1：采集样本图像，标注胶条区域和工件边缘，划分训练集和验证集；
S2：输入数据集，训练基于注意力融合和金字塔池化的语义分割模型；
S3：语义分割模型对涂胶图像进行分割，生成mask结果，归类胶条和工件区域；
S4：使用区域骨架算法提取胶条以及工件中轴轮廓；
S5：设置矩形检测框，拟合框内胶条与工件轮廓，生成平行线段，计算线段距离；
S6：统计所有检测框最大和最小边距宽度，判断涂胶工艺是否满足要求。
所述步骤S1的具体步骤为：
使用labelme软件进行标注，多边形线段标注胶条区域，条带线段标注工件边缘，按照9∶1的比例划分训练集和验证集合。
所述S2的具体步骤如下：
调整图像大小为1024*512像素；
构建语义分割模型，增加金字塔池化减小中间特征图的通道数、移除跳跃连接，提升模型速度，再增加注意力融合模块，加强特征表示，提升模型精度；
将训练集和验证集输入至语义分割模型，采用交叉熵损失函数作为网络评价指标，设置训练周期20，学习率0.025，训练模型，loss收敛最优后，保存语义分割模型。
所述S3的具体步骤如下：
使用语义分割模型对检测图像进行分割，生成mask结果；
遍历mask中所有像素点，灰度为1的点集归类为胶条区域，灰度为2的点集归类为工件区域。
所述S4的具体步骤如下：
使用最大圆盘法，分别提取胶条和工件区域骨骼线；
将骨骼线点集投影到最小二乘法拟合线上，平滑轮廓，获得最终的中轴轮廓。
所述S5的具体步骤如下：
涂胶方向与图像行方向平行，计算胶条轮廓C1的行坐标范围R＝RowMax-RowMin；
设置矩形检测框数量N，每个检测框高度为R/N，宽度为图像宽度；
拟合检测框中的轮廓，生成平行线段，计算平行线间的距离Li(i＝0，，，，N-1)。
所述S6的具体步骤如下：统计Li中的最大值和最小值，判断涂胶是处于过远、过近或正常状态。
工作原理及其效果：
通过训练后的语义分割网络模型，分割胶条和工件区域，拟合区域中轴轮廓，计算胶条中心到工件边缘距离，判断涂胶工艺优劣，具体而言，分割网络经过学习，可以在特征图上的每个像素输出一个分类结果，检测时，将所有分类为胶条和工件的像素归类为对应区域，无需再进行传统算法中的滤波，二值化，边缘分割等操作，且传统算法同一组参数在不同的场景下无法适用，容易出现误检，采用该方法可以避免重复调节滤波核、灰度阈值等参数的问题，更加鲁棒，相比现有技术，本发明检测速度快，准确度高，适应各种复杂场景，无需额外调整参数，操作简单，能大幅提升涂胶检测效率。
以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (7)
1.一种基于语义分割的涂胶尺寸测量方法，其特征在于，包括以下步骤：
S1：采集样本图像，标注胶条区域和工件边缘，划分训练集和验证集；
S2：输入数据集，训练基于注意力融合和金字塔池化的语义分割模型；
S3：语义分割模型对涂胶图像进行分割，生成mask结果，归类胶条和工件区域；
S4：使用区域骨架算法提取胶条以及工件中轴轮廓；
S5：设置矩形检测框，拟合框内胶条与工件轮廓，生成平行线段，计算线段距离；
S6:统计所有检测框最大和最小边距宽度，判断涂胶工艺是否满足要求。
2.根据权利要求1所述的一种基于语义分割的涂胶尺寸测量方法，其特征在于，所述步骤S1的具体步骤为：
使用labelme软件进行标注，多边形线段标注胶条区域，条带线段标注工件边缘，按照9:1的比例划分训练集和验证集合。
3.根据权利要求2所述的一种基于语义分割的涂胶尺寸测量方法，其特征在于，所述S2的具体步骤如下：
调整图像大小为1024*512像素；
构建语义分割模型，增加金字塔池化减小中间特征图的通道数、移除跳跃连接，提升模型速度，再增加注意力融合模块，加强特征表示，提升模型精度；
将训练集和验证集输入至语义分割模型，采用交叉熵损失函数作为网络评价指标，设置训练周期20，学习率0.025，训练模型，loss收敛最优后，保存语义分割模型。
4.根据权利要求3所述的一种基于语义分割的涂胶尺寸测量方法，其特征在于，所述S3的具体步骤如下：
使用语义分割模型对检测图像进行分割，生成mask结果；
遍历mask中所有像素点，灰度为1的点集归类为胶条区域，灰度为2的点集归类为工件区域。
5.根据权利要求4所述的一种基于语义分割的涂胶尺寸测量方法，其特征在于，所述S4的具体步骤如下：
使用最大圆盘法，分别提取胶条和工件区域骨骼线；
将骨骼线点集投影到最小二乘法拟合线上，平滑轮廓，获得最终的中轴轮廓。
6.根据权利要求5所述的一种基于语义分割的涂胶尺寸测量方法，其特征在于，所述S5的具体步骤如下：
涂胶方向与图像行方向平行，计算胶条轮廓C1的行坐标范围R＝RowMax-RowMin；
设置矩形检测框数量N，每个检测框高度为R/N，宽度为图像宽度；
拟合检测框中的轮廓，生成平行线段，计算平行线间的距离Li(i＝0,,,,N-1)。
7.根据权利要求6所述的一种基于语义分割的涂胶尺寸测量方法，其特征在于，所述S6的具体步骤如下：统计Li中的最大值和最小值，判断涂胶是处于过远、过近或正常状态。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310739577.3A CN116777872A (zh) | 2023-06-20 | 2023-06-20 | 一种基于语义分割的涂胶尺寸测量方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310739577.3A CN116777872A (zh) | 2023-06-20 | 2023-06-20 | 一种基于语义分割的涂胶尺寸测量方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116777872A true CN116777872A (zh) | 2023-09-19 |
Family
ID=87985439
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310739577.3A Pending CN116777872A (zh) | 2023-06-20 | 2023-06-20 | 一种基于语义分割的涂胶尺寸测量方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116777872A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117943256A (zh) * | 2024-03-27 | 2024-04-30 | 海斯坦普汽车组件(北京)有限公司 | 一种自适应涂胶工艺控制方法及系统 |
-
2023
- 2023-06-20 CN CN202310739577.3A patent/CN116777872A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117943256A (zh) * | 2024-03-27 | 2024-04-30 | 海斯坦普汽车组件(北京)有限公司 | 一种自适应涂胶工艺控制方法及系统 |
| CN117943256B (zh) * | 2024-03-27 | 2024-06-21 | 海斯坦普汽车组件(北京)有限公司 | 一种自适应涂胶工艺控制方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111311542B (zh) | 一种产品质量检测方法及装置 | |
| CN109886896B (zh) | 一种蓝色车牌分割与矫正方法 | |
| CN101673338B (zh) | 基于多角度投影的模糊车牌识别方法 | |
| CN111563412B (zh) | 一种基于参数空间投票和贝塞尔拟合的快速车道线检测方法 | |
| CN107330373A (zh) | 一种基于视频的违章停车监控系统 | |
| CN107798330A (zh) | 一种焊缝图像特征信息提取方法 | |
| CN105260713A (zh) | 一种车道线检测方法和装置 | |
| CN109919883B (zh) | 一种基于灰度转换的交通视频数据获取方法 | |
| CN108399403B (zh) | 一种基于车牌尺寸计算的车距检测方法 | |
| CN116777872A (zh) | 一种基于语义分割的涂胶尺寸测量方法 | |
| CN102073852B (zh) | 基于最优阈值和随机标号法的多车辆分割方法 | |
| CN103971128A (zh) | 一种面向无人驾驶车的交通标志识别方法 | |
| CN103077387B (zh) | 视频中货运列车车厢自动检测方法 | |
| CN103093229B (zh) | 车标定位方法及装置 | |
| CN115018827B (zh) | 一种建材焊缝质量自动检测方法 | |
| CN104463138A (zh) | 基于视觉结构属性的文本定位方法及系统 | |
| CN110850394B (zh) | 一种自动驾驶激光雷达强度标定方法 | |
| CN105426863A (zh) | 检测车道线的方法和装置 | |
| CN109190483A (zh) | 一种基于视觉的车道线检测方法 | |
| CN113128507A (zh) | 一种车牌识别方法、装置、电子设备及存储介质 | |
| CN112434583A (zh) | 车道横向减速标线检测方法、系统、电子设备及存储介质 | |
| CN118153607B (zh) | 一种基于机器视觉的一维码定位方法 | |
| CN107247967B (zh) | 一种基于r-cnn的车窗年检标检测方法 | |
| CN107274673B (zh) | 基于修正局部方差的车辆排队长度测量方法及测量系统 | |
| CN106780529B (zh) | 基于外接矩形的会议视频马赛克检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |