CN112666180A - 一种点胶自动化检测方法及系统 - Google Patents
一种点胶自动化检测方法及系统 Download PDFInfo
- Publication number
- CN112666180A CN112666180A CN202011536976.2A CN202011536976A CN112666180A CN 112666180 A CN112666180 A CN 112666180A CN 202011536976 A CN202011536976 A CN 202011536976A CN 112666180 A CN112666180 A CN 112666180A
- Authority
- CN
- China
- Prior art keywords
- glue
- steel sheet
- detected
- dispensing
- lambda
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Spectrometry And Color Measurement (AREA)
Abstract
本发明公开了一种点胶自动化检测方法及系统，首先利用一个具有宽带光源的图谱成像系统分别对胶水和被测钢片做光谱分析，得到钢片和胶水的最强反应波长，然后用白光或或多波长无影灯照射被测钢片，再用图谱成像系统或彩色相机对被测钢片进行拍照，找到能使胶水与要上胶的被测钢片波带光强比值较大的几个合适波长，对上述几个合适波长对应的颜色通道取比值得到胶水与被测钢片最大对比度的图像，再利用人工智能分析被测钢片上的点胶情况。点胶自动化检测系统，包括图谱成像模块、彩色相机、无影照明模块和夹持模块。本发明首次利用光谱分析与人工智能的结合来处理点胶问题，可用于各种工业，生活中的点胶场景。
Description
技术领域
本发明公开一种点胶自动化检测方法及系统。
背景技术
在现代工业流水线情况下有很多工业品的生产流程存在点胶这一环节，同时点胶的质量直接决定了产品的质量，但是点胶质量的判断环节却未能满足工业需求，目前有通过二维相机结合人工智能的手段来判断点胶质量的技术，但是由于工业环境的光照情况往往不是很理想，所以通过简单的二维照片来进行点胶质量分析的手段效果并不好。
发明内容
为了克服现有技术的不足，本发明提供了一种点胶自动化检测方法及系统。光谱分析是一种新兴的检测手段，可以选择能使胶水与要上胶的工业样品（如钢片）波带光强比值较大的几个合适波长，通过不同波长的光强的比值还可以克服由于光照不均匀所带来的影响。
一种点胶自动化检测方法，首先利用一个具有宽带光源的图谱成像系统分别对胶水和被测钢片做光谱分析，得到钢片和胶水的最强反应波长，然后用白光或或多波长无影灯照射被测钢片，再用图谱成像系统或彩色相机对被测钢片进行拍照，找到能使胶水与要上胶的被测钢片波带光强比值较大的几个合适波长，对上述几个合适波长对应的颜色通道取比值得到胶水与被测钢片最大对比度的图像，再利用人工智能分析被测钢片上的点胶情况。
所述的一种点胶自动化检测方法，运用人工智能的方法对点胶情况进行判断，步骤如下：
步骤1：取λ1、λ2两通道，强度比值之后归一化成[0, 255]，生成新的图像数据，采用labelme进行Polygons标注，先对胶点所在的每个格子进行标注，然后对格子中的每个胶点进行标注，得到对应的label数据；
步骤2：采用 Deeplab v3+算法先对标注的格子数据进行训练，得到格子检测模型；然后对标注的胶点数据进行训练，得到胶点分割模型；
步骤3：测试时，输入一张处理后的图片，首先利用格子检测模型对检测出的格子进行裁剪，然后利用胶点分割模型对每个胶点进行分割，统计出所有的胶点个数，不满足个数要求则给出警报并返回缺失位置；
步骤4：对胶点分割模型分割后的结果，计算该有胶水位置的胶点像素面积大小，然后映射到实际胶点大小，不满足大小要求则给出警报并返回异常位置；
步骤5：给出零件点胶的整体情况，给出零件点胶的整体情况，包括胶点个数、胶点缺失位置，没有时则返回0，该有胶水位置的胶点大小、异常胶点大小位置，没有时则返回0。
所述的一种点胶自动化检测方法，进一步，运用机器学习的方法对点完胶的钢片进行分类，通过将不同钢片和胶水的光谱图输入二分类的机器学习模型进行训练，最终得到分类钢片点胶合格与否的二分类模型。
一种点胶自动化检测系统，包括图谱成像模块、彩色相机、无影照明模块和夹持模块；图谱成像模块用于获取胶水和被测钢片的图谱，并通过图谱分析选择能使胶水与要上胶的被测钢片反差较大的波长，无影照明模块用于产生照明光，使得相机及夹具不会在被测钢片上形成暗影, 从而成为亮度较均匀的画面；夹持模块用于固定图谱成像模块使之与被测钢片的距离保持固定的合适距离；所述的无影照明模块为无影灯，采用白光或多波长光源照射点好胶水的被测钢片，并用彩色相机拍摄被测钢片。
所述的图谱成像模块包括图谱仪，利用图谱仪分别获取被测钢片和胶水的图谱，并根据两个图谱选择两个波段，中心波长分别为λ1 与λ2，使得band-ratio 波带光强比值I（λ1）/I(λ2) 对于被测钢片和胶水有着较大的不同值，形成大的反差。
所述的一种点胶自动化检测系统，对彩色相机拍照所得的图片，分别取λ1，λ2通道的强度比值I（λ1）/I(λ2)。
本发明的有益效果：
１）由于两个波长的光强比值的对比度不受入射光强是否均匀等因素的影响，所以对于各种光源质量不够好的工业场景有很强的鲁棒性。另外无影灯可通过抛光反射面的角度调节成一种环形光照,使得相机及夹具等的遮挡不会在待测钢片上形成暗影, 从而成为亮度较均匀的画面。
２）首次利用光谱分析与人工智能的结合来处理点胶问题，可用于各种工业，生活中的点胶场景。
附图说明
图1是本发明中点胶自动化检测系统的示意图。
其中1是图谱成像模块，2是夹持模块，3是无影照明模块，4是彩色相机，5是被测钢片。
具体实施方式
下面结合附图对本发明作进一步说明。
如图1所示，首先分别将胶水放置在夹持模块2（夹具）上并由图谱成像模块1照射得到胶水的图谱，并取胶水的最强反映波长λ1，再以同样的方式得到被测钢片的最强反映波长λ2，记λ1，λ2的比值为参考值I。
之后将被测钢片5放置于无影照明模块3（无影灯）正下方，并打开无影灯投射出白光，并通过由夹具夹持的彩色相机4拍摄被测钢片5得到彩色图像。然后利用人工智能的方法来判断点胶位置和情况。
取λ1，λ2两通道强度值归一化成[0, 255]，生成新的图像数据，采用labelme进行标注，对胶点所在的格子进行Rectangle标注，强度比值为m则为正值，对每个胶点进行Polygons标注，得到对应的label数据。人工智能（AI）算法训练数据，采用EfficientDet算法对Rectangle标注的数据进行训练，得到格子检测模型；采用Deeplab v3+算法对Polygons标注的数据进行训练，得到胶点分割模型。计算出胶点个数，不满足个数要求则给出警报并返回缺失位置：测试时，输入一张处理后的图片，首先利用格子检测模型对检测出的格子进行裁剪，然后利用胶点分割模型对每个胶点进行分割，统计出所有的胶点个数，如果胶点数量小于预期值就发出警报并返回缺失位置。计算出该有胶水位置的胶点大小，不满足大小要求则给出警报并返回异常位置：对胶点分割模型分割后的结果，计算该有胶水位置的胶点像素面积大小，然后映射到实际胶点大小，不满足大小要求则给出警报并返回异常位置。给出零件点胶的整体情况，给出零件点胶的整体情况，包括胶点个数、胶点缺失位置（没有时则返回0），该有胶水位置的胶点大小、异常胶点大小位置（没有时则返回0）。
将胶水和被测钢片的光谱响应输入svm二分类模型训练，得到被测钢片和胶水的二分类模型。
上述描述中的实施方案可以进一步组合或者替换，如可以运用其它机器学习的方法（如逻辑回归）对钢片进行分类。通过将不同钢片和胶水的光谱图输入二分类的机器学习模型进行训练，最终得到可以分类钢片和胶水的二分类模型，该实例所运用的反射光谱也可以由荧光光谱替代实现。且实施方案仅仅是对本发明的优选实施例进行描述，并非对本发明的构思和范围进行限定，在不脱离本发明设计思想的前提下，本领域中技术人员对本发明的技术方案作出的各种变化和改进，均属于本发明的保护范围。
Claims (6)
1.一种点胶自动化检测方法，其特征在于，首先利用一个具有宽带光源的图谱成像系统分别对胶水和被测钢片做光谱分析，得到钢片和胶水的最强反应波长，然后用白光或或多波长无影灯照射被测钢片，再用图谱成像系统或彩色相机对被测钢片进行拍照，找到能使胶水与要上胶的被测钢片波带光强比值较大的几个合适波长，对上述几个合适波长对应的颜色通道取比值得到胶水与被测钢片最大对比度的图像，再利用人工智能分析被测钢片上的点胶情况。
2.根据权利要求1所述的一种点胶自动化检测方法，其特征在于：
运用人工智能的方法对点胶情况进行判断，步骤如下：
步骤1：取λ1、λ2两通道，强度比值之后归一化成[0, 255]，生成新的图像数据，采用labelme进行Polygons标注，先对胶点所在的每个格子进行标注，然后对格子中的每个胶点进行标注，得到对应的label数据；
步骤2：采用 Deeplab v3+算法先对标注的格子数据进行训练，得到格子检测模型；然后对标注的胶点数据进行训练，得到胶点分割模型；
步骤3：测试时，输入一张处理后的图片，首先利用格子检测模型对检测出的格子进行裁剪，然后利用胶点分割模型对每个胶点进行分割，统计出所有的胶点个数，不满足个数要求则给出警报并返回缺失位置；
步骤4：对胶点分割模型分割后的结果，计算该有胶水位置的胶点像素面积大小，然后映射到实际胶点大小，不满足大小要求则给出警报并返回异常位置；
步骤5：给出零件点胶的整体情况，给出零件点胶的整体情况，包括胶点个数、胶点缺失位置，没有时则返回0，该有胶水位置的胶点大小、异常胶点大小位置，没有时则返回0。
3. 根据权利要求1所述的一种点胶自动化检测方法，其特征在于：
进一步，运用机器学习的方法对点完胶的钢片进行分类，通过将不同钢片和
胶水的光谱图输入二分类的机器学习模型进行训练，最终得到分类钢片点胶合格与否的二分类模型。
4.一种点胶自动化检测系统，其特征在于：包括图谱成像模块、彩色相机、无影照明模块和夹持模块；图谱成像模块用于获取胶水和被测钢片的图谱，并通过图谱分析选择能使胶水与要上胶的被测钢片反差较大的波长，无影照明模块用于产生照明光，使得相机及夹具不会在被测钢片上形成暗影, 从而成为亮度较均匀的画面；夹持模块用于固定图谱成像模块使之与被测钢片的距离保持固定的合适距离；所述的无影照明模块为无影灯，采用白光或多波长光源照射点好胶水的被测钢片，并用彩色相机拍摄被测钢片。
5. 根据权利要求4所述的一种点胶自动化检测系统，其特征在于：所述的图谱成像模块包括图谱仪，利用图谱仪分别获取被测钢片和胶水的图谱，并根据两个图谱选择两个波段，中心波长分别为λ1 与λ2，使得band-ratio 波带光强比值I（λ1）/I(λ2) 对于被测钢片和胶水有着较大的不同值，形成大的反差。
6.根据权利要求4所述的一种点胶自动化检测系统，其特征在于：对彩色相机拍照所得的图片，分别取λ1，λ2通道的强度比值I（λ1）/I(λ2)。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011536976.2A CN112666180A (zh) | 2020-12-23 | 2020-12-23 | 一种点胶自动化检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011536976.2A CN112666180A (zh) | 2020-12-23 | 2020-12-23 | 一种点胶自动化检测方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112666180A true CN112666180A (zh) | 2021-04-16 |
Family
ID=75408148
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011536976.2A Pending CN112666180A (zh) | 2020-12-23 | 2020-12-23 | 一种点胶自动化检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112666180A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114152621A (zh) * | 2021-11-30 | 2022-03-08 | 联想(北京)有限公司 | 一种处理方法及处理装置、处理系统 |
| CN114612426A (zh) * | 2022-03-09 | 2022-06-10 | 威海市世一网业有限公司 | 一种用于防护野生动物的通电网具的质量检测方法 |
-
2020
- 2020-12-23 CN CN202011536976.2A patent/CN112666180A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114152621A (zh) * | 2021-11-30 | 2022-03-08 | 联想(北京)有限公司 | 一种处理方法及处理装置、处理系统 |
| CN114612426A (zh) * | 2022-03-09 | 2022-06-10 | 威海市世一网业有限公司 | 一种用于防护野生动物的通电网具的质量检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10890537B2 (en) | Appearance inspection device, lighting device, and imaging lighting device | |
| EP3531114B1 (en) | Visual inspection device and illumination condition setting method of visual inspection device | |
| EP2148189B1 (en) | Lumber inspection method, device and program | |
| KR102003781B1 (ko) | 초분광영상화 기법을 이용한 글라스(Glass) 결함 검출 장치 | |
| CN112666180A (zh) | 一种点胶自动化检测方法及系统 | |
| CN211347985U (zh) | 一种应用于表面检测行业的机器视觉检测装置 | |
| US10527557B2 (en) | Adaptive diffuse illumination systems and methods | |
| WO2014139231A1 (zh) | 光源光强均一性测调系统及测调方法 | |
| US11754506B2 (en) | Imaging assisted scanning spectroscopy for gem identification | |
| EP2212909B1 (en) | Patterned wafer defect inspection system and method | |
| CN110956627A (zh) | 智能型光学检测样品特征与瑕疵智能打光取像方法及装置 | |
| CN111712769A (zh) | 用于设定照明条件的方法、装置、系统及程序以及存储介质 | |
| TWI495867B (zh) | Application of repeated exposure to multiple exposure image blending detection method | |
| US20220222855A1 (en) | System and method for determining whether a camera component is damaged | |
| JP7223840B2 (ja) | ビジョンベース検査システムの光学構成要素の自律診断検証のためのシステム、方法、および装置 | |
| CN111879789A (zh) | 金属表面缺陷检测方法及系统 | |
| EP0870274A1 (en) | Inspection system for exterior article surfaces | |
| CN112683923A (zh) | 基于人工神经网络的物件表面型态的筛选方法 | |
| US10241000B2 (en) | Method for checking the position of characteristic points in light distributions | |
| KR20230139166A (ko) | 목재 제품의 불량 검사 방법 | |
| CN115343313A (zh) | 基于人工智能的视觉识别方法 | |
| CN110514670B (zh) | Ic料带检查装置 | |
| CN114663341A (zh) | 一种光学镜头眩光缺陷定量检测方法 | |
| CN114152621A (zh) | 一种处理方法及处理装置、处理系统 | |
| JP2018132355A (ja) | スクリーン版の検査方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |