CN117409010A - 漆面缺陷检测模型训练、检测、编码方法及检测系统 - Google Patents
漆面缺陷检测模型训练、检测、编码方法及检测系统 Download PDFInfo
- Publication number
- CN117409010A CN117409010A CN202311724313.7A CN202311724313A CN117409010A CN 117409010 A CN117409010 A CN 117409010A CN 202311724313 A CN202311724313 A CN 202311724313A CN 117409010 A CN117409010 A CN 117409010A
- Authority
- CN
- China
- Prior art keywords
- paint
- defect
- image
- model
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000007547 defect Effects 0.000 title claims abstract description 259
- 239000003973 paint Substances 0.000 title claims abstract description 214
- 238000001514 detection method Methods 0.000 title claims abstract description 182
- 238000012549 training Methods 0.000 title claims abstract description 50
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000003709 image segmentation Methods 0.000 claims abstract description 23
- 238000002372 labelling Methods 0.000 claims abstract description 14
- 230000005856 abnormality Effects 0.000 claims abstract description 7
- 239000011159 matrix material Substances 0.000 claims description 44
- 230000011218 segmentation Effects 0.000 claims description 32
- 238000012545 processing Methods 0.000 claims description 10
- 230000009466 transformation Effects 0.000 claims description 4
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 230000002159 abnormal effect Effects 0.000 description 9
- 239000002184 metal Substances 0.000 description 4
- 238000013136 deep learning model Methods 0.000 description 3
- 230000001965 increasing effect Effects 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000001678 irradiating effect Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000011179 visual inspection Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30156—Vehicle coating
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本发明公开了一种漆面缺陷检测模型训练、检测、编码方法及检测系统,涉及人工智能技术领域,包括:对带有漆面信息的样本图像进行缺陷标注,得到标注样本图像;将所述标注样本图像输入到有监督网络模型中进行模型训练,得到缺陷检测子模型;对所述样本图像进行图像分割,得到预设数量个未标注样本图像;将所述未标注样本图像输入到无监督网络模型中进行模型训练,得到异常检测子模型;将训练好的缺陷检测子模型和异常检测子模型作为漆面缺陷检测模型。应用本发明实施例可以避免出现漆面缺陷的漏检,提高漆面缺陷检测准确率。
Description
技术领域
本发明属于人工智能技术领域,具体是涉及一种漆面缺陷检测模型训练、检测、编码方法及检测系统。
背景技术
车企每日生产的汽车与电车数量众多,但是针对整车的漆面外观检测目前仍然采用传统人工目检,众多的汽车厂漆面检测,需要人工数量多,检测时间长。而且不同的目检工作人员对漆面缺陷的定义标准不同,容易造成缺陷的误检,准确度不高的现状。
基于上述原因,目前使用深度学习的方法进行整车漆面的外观检测,但是在车厂实际的漆面检测过程中无法保证获取全量的漆面缺陷数据,而且漆面缺陷数据的类型是无法预知的,容易使得深度学习模型漏掉那些没有学习过的漆面缺陷,进而导致深度学习模型的漆面缺陷检测的准确率较低。
发明内容
本发明的目的在于满足实际需求,提供一种漆面缺陷检测模型训练、检测、编码方法及检测系统,以避免出现漆面缺陷的漏检,提高漆面缺陷检测准确率。
第一方面,本发明提供了一种漆面缺陷检测模型训练方法,所述方法包括:
对带有漆面信息的样本图像进行缺陷标注,得到标注样本图像;
将所述标注样本图像输入到有监督网络模型中进行模型训练,得到缺陷检测子模型;
对所述样本图像进行图像分割,得到预设数量个未标注样本图像;
将所述未标注样本图像输入到无监督网络模型中进行模型训练,得到异常检测子模型;
将训练好的缺陷检测子模型和异常检测子模型作为漆面缺陷检测模型。
优选地,所述对所述样本图像进行图像分割,得到预设数量个未标注样本图像,包括:
基于所述样本图像的长度、宽度以及所述预设数量,配置分割长度参数、分割宽度参数和分割边缘参数;
基于所述分割长度参数、所述分割宽度参数和所述分割边缘参数对所述样本图像进行图像分割,得到预设数量个未标注样本图像。
优选地,还包括:
获取相机采集的车辆漆面图像,并对所述车辆漆面图像进行数据增强,得到所述样本图像;其中,对所述车辆漆面图像进行数据增强的方式包括以下的至少一种:
对所述车辆漆面图像进行几何变换、对所述车辆漆面图像进行颜色处理以及对所述车辆漆面图像进行缺陷生成处理。
优选地,所述车辆漆面图像的采集方式为:首先利用是余弦条纹光照射漆面,然后进行图像采集。
第二方面,本发明提供了一种漆面缺陷检测方法,根据上述第一方面任一项所述的漆面缺陷检测模型训练方法得到的漆面缺陷检测模型,执行如下步骤:
获取待检测漆面图像;
将所述待检测漆面图像输入缺陷检测子模型中,获取所述缺陷检测子模型输出的第一推理结果,其中,所述缺陷检测子模型为:基于有缺陷标注的样本图像进行训练得到的有监督网络模型;
将所述待检测漆面图像输入异常检测子模型中,获取所述异常检测子模型输出的第二推理结果,其中,所述异常检测子模型为:基于未缺陷标注的样本图像进行训练得到的无监督网络模型;
将所述第一推理结果包含的漆面缺陷种类和所述第二推理结果包含的漆面缺陷种类的并集作为检测结果。
优选地,所述步骤包括:
针对所述检测结果中的每一漆面缺陷,判断该漆面缺陷的检出率是否大于该漆面缺陷对应的检出率阈值;
若该漆面缺陷的检出率小于该漆面缺陷对应的检出率阈值,则调整样本图像的标注方式和将所述样本图像进行图像分割时所需要的图像分割参数,其中,所述图像分割参数包括:分割长度参数、分割宽度参数、图像分割数量和分割边缘参数。
第三方面,本发明提供了一种漆面缺陷编码方法,根据上述第二方面任一项所述的漆面缺陷检测方法,在获取所述检测结果之后,所述步骤包括:
构建编号矩阵,所述编号矩阵的长度等于待检测图像的长度,所述编号矩阵的宽度等于所述待检测漆面图像的宽度,所述编号矩阵中的所有元素的初始值为0;
针对所述检测结果中的每一漆面缺陷种类,所述编号矩阵中的目标元素值加上该漆面缺陷种类对应的编号数值;其中,针对每一漆面缺陷种类,该漆面缺陷种类在所述待检测图像中的位置坐标对应所述编号矩阵中的目标元素;
将所述编号矩阵传回至前端应用。
优选地,通过以下公式计算检测出的所述待检测图像中的漆面缺陷的总面积:
;
;
其中,m为编号矩阵的长度,n为编号矩阵的宽度,为所述编号矩阵第i行第j列个元素,/>表示所述编号矩阵中所有非零元素值的总和,/>表示所述待检测图像每个像素点的物理面积,/>表示漆面缺陷的总面积。
优选地,所述针对所述检测结果中的每一漆面缺陷种类,所述编号矩阵中的目标元素值加上该漆面缺陷种类对应的编号数值,还包括:
所述目标元素处包括不少于一项漆面缺陷种类,每项漆面缺陷种类的编号数值均不相等。
第四方面,本发明提供了一种漆面缺陷检测系统,包括:
采集模块,用于获取待检测漆面图像;
第一检测模块,用于将所述待检测漆面图像输入缺陷检测子模型中,获取所述缺陷检测子模型输出的第一推理结果,其中,所述缺陷检测子模型为:基于有缺陷标注的样本图像进行训练得到的有监督网络模型;
第二检测模块,用于将所述待检测漆面图像输入异常检测子模型中,获取所述异常检测子模型输出的第二推理结果,其中,所述异常检测子模型为:基于未缺陷标注的样本图像进行训练得到的无监督网络模型;
合并模块,用于将所述第一推理结果包含的漆面缺陷种类和所述第二推理结果包含的漆面缺陷种类的并集作为检测结果。
与现有技术相比,本申请具有的优点和积极效果是:
根据本发明实施例提供的漆面缺陷检测模型训练方法,分别训练缺陷识别子模型和异常检测子模型。缺陷识别子模型是将标注样本图像输入到有监督网络模型中进行模型训练得到的,由此,训练好的缺陷识别子模型可以检测出训练样本标注出的漆面缺陷。异常检测子模型是将未标注样本图像输入到无监督网络模型中进行模型训练得到的,训练好的异常检测子模型会在未标注样本图像识别出与正常漆面有差异的异常区域,并且可以将具有相同漆面缺陷特征的异常区域识别为属于同一漆面缺陷种类的异常区域,因此即使未对某一种类的漆面缺陷进行标注,异常检测子模型也可以识别出该种类的漆面缺陷。因此本发明实施例的漆面缺陷检测模型将缺陷识别子模型和异常检测子模型进行结合,可以避免出现漆面缺陷的漏检,提高漆面缺陷检测准确率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,还可以根据这些附图获得其他的实施例。
图1为本发明提供的一种漆面缺陷检测模型训练方法的流程示意图;
图2为本发明提供的另一种漆面缺陷检测模型训练方法的流程示意图;
图3为本发明提供的一种数据分割方法的示意图;
图4为本发明提供的一种漆面缺陷检测方法的流程示意图;
图5为本发明提供的一种漆面缺陷的示意图。
具体实施方式
下面将结合本发明实施例中附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本发明创造的描述中,需要说明的是,除非另有明确的规定和限定,术语“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以通过具体情况理解上述术语在本发明创造中的具体含义。
第一实施例,本发明提供了一种漆面缺陷检测模型训练方法,应用于电子设备,该电子设备可以为终端、服务器等能够支持对深度学习模型进行训练的设备。请参阅图1,该方法包括步骤101-步骤105。
步骤101、对带有漆面信息的样本图像进行缺陷标注,得到标注样本图像。
其中,样本图像可以是车厂中的采集相机拍摄的图像,本发明实施例中对该图像数据的数据格式不作限定。
一种实现方式中,如图2所示,可以将样本图像输入到第一数据处理模块,第一数据处理模块会对样本图像中的缺陷进行标注。例如,请参阅表1,表1为车厂漆面缺陷类型表。
表1:车厂漆面缺陷类型表
步骤102、将标注样本图像输入到有监督网络模型中进行模型训练,得到缺陷检测子模型。
对样本图像进行缺陷标注之后,将标注样本图像输入有监督网络模型中进行训练。在本发明实施例中,由于漆面检测项目需要对小目标进行检测,因此本实施例中的有监督网络模型可以用Mask R-CNN模型进行漆面的检测,该算法不但对小目标和复杂场景能较好地检测,还可以获取缺陷的形态特征。
步骤103、对样本图像进行图像分割,得到预设数量个未标注样本图像。
步骤104、将未标注样本图像输入到无监督网络模型中进行模型训练,得到异常检测子模型。
具体的,未标注样本可以作为未监督网络模型的输入进行训练。在进行模型训练时需要进行分辨率的映射,例如,可以将4096*3000的分辨率映射至224*224的分辨率,由于漆面检测项目中需要检测的缺陷类型都比较小,如果直接将分辨率为4096*3000的原图像映射到224*224,可能会造成图像中重要信息的缺失。因此在进行异常检测子模型的训练之前,需要对未标注样本图像进行图像分割,以得到预设数量个较小的未标注样本图像,进而可以避免进行分辨率的映射时造成的重要信息的缺失。
上述步骤102中的缺陷识别子模型为有监督模型,而有监督模型的检出能力受限于数据的获取情况。也就是说,如果上述标注样本图像中未对某一种类的漆面缺陷进行标注,则训练好的缺陷识别子模型不会检测出该漆面缺陷,进而造成漆面缺陷的漏检。为此,本发明的漆面缺陷检测模型还包括异常检测子模型。
异常检测子模型为无监督网络模型,会对具有相同漆面缺陷特征的样本图像进行聚类,例如将缩孔缺陷分为一类,划伤缺陷分为一类等。因此,即使未对某一种类的漆面缺陷进行标注,训练好的异常检测子模型也可以识别出该种类的漆面缺陷。
需要说明的是,上述缺陷识别子模型和异常检测子模型为两个独立模型,对上述两个模型进行分离训练,也就是说本发明实施例对上述步骤101-步骤102和步骤103-步骤104的执行顺序不作限定,可以先执行步骤101-步骤102,再执行步骤103-步骤104;也可以先执行步骤103-步骤104,再执行步骤101-步骤102;或者同时执行步骤101-步骤102和步骤103-步骤104。
步骤105、将训练好的缺陷检测子模型和异常检测子模型作为漆面缺陷检测模型。
由以上可知,本发明实施例分别训练缺陷识别子模型和异常检测子模型。缺陷识别子模型是将标注样本图像输入到有监督网络模型中进行模型训练得到的,由此,训练好的缺陷识别子模型可以检测出训练样本标注出的漆面缺陷。异常检测子模型是将未标注样本图像输入到无监督网络模型中进行模型训练得到的,训练好的异常检测子模型可以对具有相同漆面缺陷特征的样本图像进行聚类,即使未对某一种类的漆面缺陷进行标注,异常检测子模型也可以识别出该种类的漆面缺陷。因此本发明实施例的漆面缺陷检测模型将缺陷识别子模型和异常检测子模型进行结合,可以避免出现漆面缺陷的漏检,提高漆面缺陷检测准确率。
第二实施例,上述样本图像是对相机采集的车辆漆面图像进行数据增强得到的;其中,对车辆漆面图像进行数据增强的方式包括以下的至少一种:
(一)对车辆漆面图像进行几何变换。
针对漆面缺陷种类稀少的车辆漆面图像采用平移、翻转等几何变换进行数据增强,可以增加稀有缺陷类型的数量以及增加样本分布的多样性,从而实现在训练样本较少的情况下,也能够保证模型具有较高的检测准确率。
(二)对车辆漆面图像进行颜色处理。
整车车漆的漆面颜色丰富,但是实际采集的数据并不会覆盖所有颜色的数据,因此为增加样本图像的颜色的多样性进行颜色处理,以提高模型针对不同颜色的车漆缺陷检测的泛化能力,具体包括调整图像的色调、饱和度和亮度等。
(三)对车辆漆面图像进行缺陷生成处理。
作为一个示例,假设应需求需要检测缩孔类型缺陷,但是无法采集到包含缩孔缺陷的样本图像,为使有监督网络模型能够具检测出该种缺陷的能力,可以使用AIGC数据生成缩孔缺陷生成算法,进而利用缩孔缺陷生成算法生成包括缩孔缺陷的样本图像。由此可以使得本模型能够适应各种实际场景。
第三实施例,上述车辆漆面图像为基于余弦条纹光照射漆面的方式采集图像数据。
具体的,现有技术中的样本图像都是通过普通光源采集,但是整车漆面缺陷比较小不容易观察,使用普通光源难以采集全量的缺陷类型。而本实施例通过条纹光采集样本图像,条纹光是一种由光的干涉或衍射产生的光学现象,通过光学效应能够采集到不易观察的漆面缺陷,因此利用条纹光采集的样本图像进行模型训练,可以保证训练完成的漆面缺陷检测模型不漏检,提高检测的准确率。
第四实施例,上述步骤103中的对样本图像进行图像分割,得到预设数量个未标注样本图像,可以通过以下步骤A-步骤B实现。
步骤A:基于样本图像的长度、宽度以及预设数量,配置分割长度参数、分割宽度参数和分割边缘参数;
具体的,分割长度参数和分割宽度参数是指分割后的每一未标注样本图像的长度和宽度,分割边缘参数是指图像分割后相连两个未标注样本图像重叠的区域大小。因为将样本图像进行分割后,每一未标注样本图像的边缘信息会造成缺陷干扰,通过分割边缘参数可以把边缘信息这部分缺陷屏蔽掉,以降低模型的过杀率。
一种实现方式中,如图2所示,可以将样本图像输入到第二数据处理模块,基于第二数据处理模块的分割长度参数、分割宽度参数和分割边缘参数进行数据分割,得到预设数量个未标注样本图像。
例如,请参阅图3,样本图像的分辨率为200*200,预设数量为4,也就是说平均分割为4份,因此可以将分割长度参数和分割宽度参数都设置为100,分割边缘参数为10。因此,可以从(0,0)-(110,110)分割出第一个未标注样本图像;从(90,0)~(200,110)分割出第二个未标注样本图像;从(0,90)~(110,200)分割出第三个未标注样本图像;从(90,90)~(200,200)分割出第四个未标注样本图像。
第五实施例,根据上述实施例的漆面缺陷检测模型,本发明实施例还包括一种漆面缺陷检测方法,请参阅图4,可以包括以下步骤401-步骤404。
步骤401:获取待检测漆面图像。
具体的,待检测漆面图像是通过余弦条纹光照射漆面的方式采集的。
步骤402:将待检测漆面图像输入缺陷检测子模型中,获取缺陷检测子模型输出的第一推理结果。
其中,缺陷检测子模型为:基于有缺陷标注的样本图像进行训练得到的有监督网络模型。因此,如果待检测漆面图像中存在有缺陷标注的漆面缺陷,则可以通过缺陷检测子模型中检测出。
步骤403:将待检测漆面图像输入异常检测子模型中,获取异常检测子模型输出的第二推理结果。
其中,异常检测子模型为:基于未缺陷标注的样本图像进行训练得到的无监督网络模型。因此,针对待检测漆面图像中未进行缺陷标注的漆面缺陷,虽然异常检测子模型无法检测,但是可以通过异常检测子模型将具有相同特征的漆面缺陷检测出来。
步骤404:将第一推理结果包含的漆面缺陷种类和第二推理结果包含的漆面缺陷种类的并集作为检测结果。可以保证待检测图像中全量漆面缺陷的检出,进而避免了漆面缺陷的漏检。
第六实施例,上述待检测图像中包括预设数量张横条纹图像和竖条纹图像。例如为了保证缺陷信息的全面性,每个位于采集点位相机可以拍摄4张图像,即两张横条纹图像(横条纹黑白交替)和两张竖条纹图片(竖条纹黑白交替),也就是说在同一个位置会有四种条纹形态的图片展现出来。但是如果这四张图片中都检测到了缺陷信息,并且每一张都缺陷信息都回传给前端,势必会拖慢整个模型运行的节拍,更严重的后果会造成整个系统的崩塌。为此,本实施例将横条纹图像和竖条纹图像中的漆面缺陷的位置坐标通过聚类合并,具体方法如下:
首先把四张图像中每张图像的缺陷掩膜信息进行合并,并通过Mean Shift无监督聚类算法,来对缺陷的掩膜信息进行聚类,可以将数据点聚类成不同的簇,其中,每个簇代表合并后的缺陷信息。最后将上述图像展示在一张图片上,作为图像数据。
第七实施例。
在得到检测结果之后,针对检测结果中的每一漆面缺陷,判断该漆面缺陷的检出率是否大于该漆面缺陷对应的检出率阈值。
若该漆面缺陷的检出率小于该漆面缺陷对应的检出率阈值,则说明漆面缺陷检测模型对该漆面缺陷的检出率较低。因此,如图2所示,可以调整样本图像的标注方式和将样本图像进行图像分割时所需要的图像分割参数,其中,图像分割参数包括:分割长度参数、分割宽度参数、图像分割数量和分割边缘参数。然后重新对漆面缺陷检测模型进行训练,以提高对该漆面缺陷的检出率。
第八实施例。
待检测图像中同一像素可以被多个缺陷覆盖,如图5所示,某一区域可以同时包括ak缺陷和zw缺陷,其中,ak为凹坑缺陷的缩写,zw为划伤缺陷的缩写。如果对检测结果中的漆面缺陷使用普通的编号方式,针对某一像素同时被多个缺陷区域覆盖,则该像素所属得缺陷区域编号等价于最后一个缺陷区域的编号,则被覆盖的缺陷会出现缺失的情况,即用户无法根据编号确定该缺陷区域包括的所有缺陷,尤其是多个缺陷重叠时,前面的缺陷的缺失部分会比较大。为此,本发明实施例还提供了一种漆面缺陷编码方法,该方法通过构建编号矩阵的方式,能够获取各个缺陷,避免了缺陷缺失部分像素的问题。
具体的,在上述第五实施例得到检测结果之后,可以通过以下步骤a-步骤c对检测出的漆面缺陷进行编号。
步骤a、构建编号矩阵。其中,编号矩阵的长度等于样本图像的长度,编号矩阵的宽度等于待检测图像的宽度,编号矩阵中的所有元素的初始值为0。
例如,若样本图像的长度为3,宽度为3,则初始的编号矩阵为:
。
步骤b、针对检测结果中的每一漆面缺陷,编号矩阵中的目标元素值加上该漆面缺陷的类型对应的编号数值。
其中,针对每一漆面缺陷,该漆面缺陷在待检测图像中的位置坐标对应编号矩阵中的目标元素。在本发明实施例中,目标元素处包括不少于一项漆面缺陷种类,每项漆面缺陷种类的编号数值均不相等。
一种实现方式中,可以基于计算2的幂次方的方式确定漆面缺陷的类型对应的编号数值。例如,待检测图像中包括脏点、缩孔和钣金包3种不同类型的漆面缺陷,脏点缺陷对应的编号为,缩孔缺陷对应的编号为/>和钣金包缺陷对应的编号为/>。
若脏点缺陷对应的目标元素为编号矩阵中的第二行所有元素,则编号矩阵中的第二行所有元素值加上;若缩孔缺陷对应的目标元素为编号矩阵中的第二列所有元素,则编号矩阵中的第二列所有元素值加上/>;若钣金包缺陷对应的目标元素为编号矩阵中的第二行第二列元素,则编号矩阵中的第二行第二列元素值加上/>,最后得到的编号矩阵为:
。
步骤c、将编号矩阵传回至前端应用。
前端应用接收到编号矩阵后,可以通过以下方式进行解号:令x为当前像素值,令y为小于等于x的最大的2的幂次,即当,满足/>时,/>就是包含当前像素的缺陷中的一个编号,然后令/>,重复上述步骤,直至x为0。
以上述编号矩阵为例, 上述矩阵第二行第二列元素为7,即x=7,令y=4;即当,满足/>时,/>就是包含当前像素的缺陷中的一个编号,也就是钣金包缺陷对应的编号;然后令/>,即当/>,满足/>时,/>就是包含当前像素的缺陷中的一个编号,也就是缩孔缺陷对应的编号;然后令/>,即当,满足/>时,/>就是包含当前像素的缺陷中的一个编号,也就是脏点缺陷对应的编号;然后/>,此时便计算出该区域包括的所有漆面缺陷的编号。
另根据不同场景下的需求,需要计算漆面缺陷的面积。因此,在上述实施例的基础上,可以通过以下公式计算漆面缺陷的面积:
;
;
其中,m为编号矩阵的长度,n为编号矩阵的宽度,为编号矩阵第i行第j列个元素,/>表示编号矩阵中所有非零元素值的总和,/>表示待检测图像每个像素点的物理面积,/>表示漆面缺陷的总面积。
还需要说明的是,在漆面缺陷检测项目中,有效检测区域只有车的外车漆部位,采集相机在采集待检测漆面图像的时候不可避免的会获取到无效的检测区域,无效检测区域分为两个类别,第一个类别整张图片都是无效检测区域;第二个类别整张图片中只有部分区域包括有效检测区域。因此需要确定并过滤属于无效检测区域的漆面缺陷,以保证返回给用户的都是属于有效检测区域内的漆面缺陷。
具体的采集相机进行采集的流程是通过点位顺序进行采集的,其中,上述点位为在检测区域内采集相机要行走的路径。因为点位信息和拍摄角度固定后,获取每一组数据的形态几乎是不变的,因此,可以通过标注的方式去获取有效检测区域的掩膜信息,其中,掩膜信息就是有效检测区域边缘的点的一组位置坐标信息。通过掩膜信息和检测出的漆面缺陷的坐标信息比对,便可以确定哪些需要检测出的漆面缺陷在有效检测区域内,哪些在有效检测区域外。
在本发明实施例中,采集相机的点位一共是29个,每个点位保存固定的掩膜信息,通过有效的掩膜信息对检测出的漆面缺陷进行过滤。
本发明实施例还提供了一种漆面缺陷检测系统,包括:
采集模块,用于获取待检测漆面图像;
第一检测模块,用于将待检测漆面图像输入缺陷检测子模型中,获取缺陷检测子模型输出的第一推理结果,其中,缺陷检测子模型为:基于有缺陷标注的样本图像进行训练得到的有监督网络模型;
第二检测模块,用于将待检测漆面图像输入异常检测子模型中,获取异常检测子模型输出的第二推理结果,其中,异常检测子模型为:基于未缺陷标注的样本图像进行训练得到的无监督网络模型;
合并模块,用于将第一推理结果包含的漆面缺陷种类和第二推理结果包含的漆面缺陷种类的并集作为检测结果。
以上仅为本发明的较佳实施例,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。
Claims (10)
1.一种漆面缺陷检测模型训练方法,其特征在于,所述方法包括:
对带有漆面信息的样本图像进行缺陷标注,得到标注样本图像;
将所述标注样本图像输入到有监督网络模型中进行模型训练,得到缺陷检测子模型;
对所述样本图像进行图像分割,得到预设数量个未标注样本图像;
将所述未标注样本图像输入到无监督网络模型中进行模型训练,得到异常检测子模型;
将训练好的缺陷检测子模型和异常检测子模型作为漆面缺陷检测模型。
2.根据权利要求1所述的漆面缺陷检测模型训练方法,其特征在于,所述对所述样本图像进行图像分割,得到预设数量个未标注样本图像,包括:
基于所述样本图像的长度、宽度以及所述预设数量,配置分割长度参数、分割宽度参数和分割边缘参数;
基于所述分割长度参数、所述分割宽度参数和所述分割边缘参数对所述样本图像进行图像分割,得到预设数量个未标注样本图像。
3.根据权利要求1所述的漆面缺陷检测模型训练方法,其特征在于,还包括:
获取相机采集的车辆漆面图像,并对所述车辆漆面图像进行数据增强,得到所述样本图像;其中,对所述车辆漆面图像进行数据增强的方式包括以下的至少一种:
对所述车辆漆面图像进行几何变换、对所述车辆漆面图像进行颜色处理以及对所述车辆漆面图像进行缺陷生成处理。
4.根据权利要求3所述的漆面缺陷检测模型训练方法,其特征在于,所述车辆漆面图像的采集方式为:首先利用余弦条纹光照射漆面,然后进行图像采集。
5.一种漆面缺陷检测方法,其特征在于,根据权利要求1-4中任一项所述的漆面缺陷检测模型训练方法得到的漆面缺陷检测模型,执行如下步骤:
获取待检测漆面图像;
将所述待检测漆面图像输入缺陷检测子模型中,获取所述缺陷检测子模型输出的第一推理结果,其中,所述缺陷检测子模型为:基于有缺陷标注的样本图像进行训练得到的有监督网络模型;
将所述待检测漆面图像输入异常检测子模型中,获取所述异常检测子模型输出的第二推理结果,其中,所述异常检测子模型为:基于未缺陷标注的样本图像进行训练得到的无监督网络模型;
将所述第一推理结果包含的漆面缺陷种类和所述第二推理结果包含的漆面缺陷种类的并集作为检测结果。
6.根据权利要求5所述的漆面缺陷检测方法,其特征在于,所述步骤包括:
针对所述检测结果中的每一漆面缺陷,判断该漆面缺陷的检出率是否大于该漆面缺陷对应的检出率阈值;
若该漆面缺陷的检出率小于该漆面缺陷对应的检出率阈值,则调整样本图像的标注方式和将所述样本图像进行图像分割时所需要的图像分割参数,其中,所述图像分割参数包括:分割长度参数、分割宽度参数、图像分割数量和分割边缘参数。
7.一种漆面缺陷编码方法,其特征在于,根据权利要求5或6所述的漆面缺陷检测方法,在获取所述检测结果之后,所述步骤包括:
构建编号矩阵,所述编号矩阵的长度等于待检测图像的长度,所述编号矩阵的宽度等于所述待检测漆面图像的宽度,所述编号矩阵中的所有元素的初始值为0;
针对所述检测结果中的每一漆面缺陷种类,所述编号矩阵中的目标元素值加上该漆面缺陷种类对应的编号数值;其中,针对每一漆面缺陷种类,该漆面缺陷种类在所述待检测图像中的位置坐标对应所述编号矩阵中的目标元素;
将所述编号矩阵传回至前端应用。
8.根据权利要求7所述的漆面缺陷编码方法,其特征在于,通过以下公式计算检测出的所述待检测图像中的漆面缺陷的总面积:
;
;
其中,m为编号矩阵的长度,n为编号矩阵的宽度,为所述编号矩阵第i行第j列个元素,/>表示所述编号矩阵中所有非零元素值的总和,/>表示所述待检测图像每个像素点的物理面积,/>表示漆面缺陷的总面积。
9.根据权利要求7所述的漆面缺陷编码方法,其特征在于,所述针对所述检测结果中的每一漆面缺陷种类,所述编号矩阵中的目标元素值加上该漆面缺陷种类对应的编号数值,还包括:
所述目标元素处包括不少于一项漆面缺陷种类,每项漆面缺陷种类的编号数值均不相等。
10.一种漆面缺陷检测系统,其特征在于,包括:
采集模块,用于获取待检测漆面图像;
第一检测模块,用于将所述待检测漆面图像输入缺陷检测子模型中,获取所述缺陷检测子模型输出的第一推理结果,其中,所述缺陷检测子模型为:基于有缺陷标注的样本图像进行训练得到的有监督网络模型;
第二检测模块,用于将所述待检测漆面图像输入异常检测子模型中,获取所述异常检测子模型输出的第二推理结果,其中,所述异常检测子模型为:基于未缺陷标注的样本图像进行训练得到的无监督网络模型;
合并模块,用于将所述第一推理结果包含的漆面缺陷种类和所述第二推理结果包含的漆面缺陷种类的并集作为检测结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311724313.7A CN117409010B (zh) | 2023-12-15 | 2023-12-15 | 漆面缺陷检测模型训练、检测、编码方法及检测系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311724313.7A CN117409010B (zh) | 2023-12-15 | 2023-12-15 | 漆面缺陷检测模型训练、检测、编码方法及检测系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117409010A true CN117409010A (zh) | 2024-01-16 |
CN117409010B CN117409010B (zh) | 2024-04-26 |
Family
ID=89494771
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311724313.7A Active CN117409010B (zh) | 2023-12-15 | 2023-12-15 | 漆面缺陷检测模型训练、检测、编码方法及检测系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117409010B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110148130A (zh) * | 2019-05-27 | 2019-08-20 | 北京百度网讯科技有限公司 | 用于检测零件缺陷的方法和装置 |
US20200380655A1 (en) * | 2019-05-29 | 2020-12-03 | Samsung Sds Co., Ltd. | Method and apparatus for detecting defect pattern on wafer based on unsupervised learning |
US20220351362A1 (en) * | 2021-04-29 | 2022-11-03 | Syscom Inc. | Methods And Apparatus For Detecting Defects For Poultry Piece Grading |
CN115587999A (zh) * | 2022-10-27 | 2023-01-10 | 中科芯集成电路有限公司 | 一种基于深度学习的n95口罩面脏污破损褶皱缺陷检测方法 |
CN115586256A (zh) * | 2022-12-09 | 2023-01-10 | 成都西交智汇大数据科技有限公司 | 实验器材的清洁等级检测方法、装置、设备及存储介质 |
CN115661160A (zh) * | 2022-12-29 | 2023-01-31 | 成都数之联科技股份有限公司 | 一种面板缺陷检测方法及系统及装置及介质 |
US20230214985A1 (en) * | 2022-03-25 | 2023-07-06 | Beijing Baidu Netcom Science Technology Co., Ltd. | Product recognition method, model training method, device and electronic device |
CN116883313A (zh) * | 2023-05-31 | 2023-10-13 | 杭州爱祺昇视像科技有限公司 | 车身漆面缺陷快速检测方法、图像处理设备及可读介质 |
-
2023
- 2023-12-15 CN CN202311724313.7A patent/CN117409010B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110148130A (zh) * | 2019-05-27 | 2019-08-20 | 北京百度网讯科技有限公司 | 用于检测零件缺陷的方法和装置 |
US20200380655A1 (en) * | 2019-05-29 | 2020-12-03 | Samsung Sds Co., Ltd. | Method and apparatus for detecting defect pattern on wafer based on unsupervised learning |
US20220351362A1 (en) * | 2021-04-29 | 2022-11-03 | Syscom Inc. | Methods And Apparatus For Detecting Defects For Poultry Piece Grading |
US20230214985A1 (en) * | 2022-03-25 | 2023-07-06 | Beijing Baidu Netcom Science Technology Co., Ltd. | Product recognition method, model training method, device and electronic device |
CN115587999A (zh) * | 2022-10-27 | 2023-01-10 | 中科芯集成电路有限公司 | 一种基于深度学习的n95口罩面脏污破损褶皱缺陷检测方法 |
CN115586256A (zh) * | 2022-12-09 | 2023-01-10 | 成都西交智汇大数据科技有限公司 | 实验器材的清洁等级检测方法、装置、设备及存储介质 |
CN115661160A (zh) * | 2022-12-29 | 2023-01-31 | 成都数之联科技股份有限公司 | 一种面板缺陷检测方法及系统及装置及介质 |
CN116883313A (zh) * | 2023-05-31 | 2023-10-13 | 杭州爱祺昇视像科技有限公司 | 车身漆面缺陷快速检测方法、图像处理设备及可读介质 |
Also Published As
Publication number | Publication date |
---|---|
CN117409010B (zh) | 2024-04-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107578035B (zh) | 基于超像素-多色彩空间的人体轮廓提取方法 | |
CN107705288B (zh) | 伪目标运动强干扰下的危险气体泄漏红外视频检测方法 | |
CN109657632B (zh) | 一种车道线检测识别方法 | |
CN104715239B (zh) | 一种基于去雾处理和权重分块的车辆颜色识别方法 | |
CN112733950A (zh) | 一种基于图像融合与目标检测结合的电力设备故障诊断方法 | |
CN109460719A (zh) | 一种电力作业安全识别方法 | |
CN112364740B (zh) | 一种基于计算机视觉的无人机房监控方法及系统 | |
CN110866879A (zh) | 一种基于多密度雨纹感知的图像去雨方法 | |
CN109191429B (zh) | 一种基于机器视觉的3d打印喷嘴检测方法 | |
CN108197521A (zh) | 一种多相位二维码获取识别装置及方法 | |
CN109409289A (zh) | 一种电力作业安全监督机器人安全作业识别方法及系统 | |
CN112561899A (zh) | 电力巡检图像识别方法 | |
CN111815528A (zh) | 基于卷积模型和特征融合的恶劣天气图像分类增强方法 | |
CN116543241B (zh) | 泄露气体云团的检测方法、装置、存储介质和电子设备 | |
CN106952312A (zh) | 一种基于线特征描述的无标识增强现实注册方法 | |
Chen et al. | Robust license plate detection in nighttime scenes using multiple intensity IR-illuminator | |
CN111861866A (zh) | 一种变电站设备巡检图像全景重建方法 | |
CN108154496B (zh) | 一种适用于电力作业机器人的电力设备外观变化识别方法 | |
CN112288682A (zh) | 基于图像配准的电力设备缺陷定位方法 | |
CN108154490A (zh) | 基于改进模糊集理论的高压输电线路绝缘子图像增强方法 | |
CN117409010B (zh) | 漆面缺陷检测模型训练、检测、编码方法及检测系统 | |
Chen et al. | Night-time pedestrian detection by visual-infrared video fusion | |
Chen et al. | Image segmentation in thermal images | |
CN110428380A (zh) | 紫色土土壤图像阴影增强方法 | |
CN110969135A (zh) | 自然场景中的车标识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |