CN116228651A - 一种布匹缺陷检测方法、系统、设备及介质 - Google Patents
一种布匹缺陷检测方法、系统、设备及介质 Download PDFInfo
- Publication number
- CN116228651A CN116228651A CN202211660583.1A CN202211660583A CN116228651A CN 116228651 A CN116228651 A CN 116228651A CN 202211660583 A CN202211660583 A CN 202211660583A CN 116228651 A CN116228651 A CN 116228651A
- Authority
- CN
- China
- Prior art keywords
- detection
- model
- defect
- detection model
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 320
- 230000007547 defect Effects 0.000 title claims abstract description 163
- 239000004744 fabric Substances 0.000 title claims abstract description 52
- 238000003708 edge detection Methods 0.000 claims abstract description 38
- 238000001914 filtration Methods 0.000 claims abstract description 24
- 238000007781 pre-processing Methods 0.000 claims abstract description 20
- 230000002159 abnormal effect Effects 0.000 claims description 31
- 238000000034 method Methods 0.000 claims description 26
- 238000012549 training Methods 0.000 claims description 25
- 238000012360 testing method Methods 0.000 claims description 24
- 238000004422 calculation algorithm Methods 0.000 claims description 13
- 238000004891 communication Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 12
- 230000009466 transformation Effects 0.000 claims description 10
- 230000005856 abnormality Effects 0.000 claims description 8
- 230000000877 morphologic effect Effects 0.000 claims description 8
- 238000004821 distillation Methods 0.000 claims description 6
- 238000011049 filling Methods 0.000 claims description 6
- 238000003860 storage Methods 0.000 claims description 6
- 230000007797 corrosion Effects 0.000 claims description 3
- 238000005260 corrosion Methods 0.000 claims description 3
- 238000012805 post-processing Methods 0.000 claims description 3
- 230000001629 suppression Effects 0.000 claims description 3
- 238000003062 neural network model Methods 0.000 claims description 2
- 230000004927 fusion Effects 0.000 abstract description 5
- 238000009776 industrial production Methods 0.000 abstract description 5
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 230000008901 benefit Effects 0.000 abstract description 2
- 238000012545 processing Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 7
- 238000004519 manufacturing process Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 206010004542 Bezoar Diseases 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 241001292396 Cirrhitidae Species 0.000 description 1
- 206010011971 Decreased interest Diseases 0.000 description 1
- 206010070245 Foreign body Diseases 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009413 insulation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000004753 textile Substances 0.000 description 1
- 210000002268 wool Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30124—Fabrics; Textile; Paper
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Quality & Reliability (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本发明属于缺陷检测技术领域，提供了一种布匹缺陷检测方法、系统、设备及介质，由应用软件采集布匹图像并传输至检测系统；将所采集的图像按不同检测模型的需求进行预处理；将不同预处理后的图像分别作为异常检测模型、目标检测模型及边缘检测模型的输入进行缺陷检测，对各检测模型得到的检测结果进行合并，并在滤除折痕检测结果和伪瑕疵检测结果后，得到最终的检测结果。本发明的优点在于通过多模型融合的缺陷检测方法，有利于提高布匹缺陷检出率，降低误检率，从而满足大批量自动化工业生产中的缺陷检测要求，节省人力成本。
Description
技术领域
本发明涉及缺陷检测技术领域，尤其涉及一种布匹缺陷检测方法、系统、设备及介质。
背景技术
表面缺陷检测是机器视觉领域中非常重要的研究内容之一。随着制造业的发展，工业产品的数量和种类与日俱增，消费者对产品的质量要求也变得更高，因此有缺陷的产品会给企业带来很大的负面影响。在实际工业生产中，受工艺流程、生产设备和现场环境等因素的影响，产品表面会出现各种缺陷。这些表面缺陷不仅影响产品本身的外观质量，更影响产品的使用性能和商业价值。例如在全世界最大的制造业之一的纺织工业中，有缺陷的布匹会导致企业只能获取原有利润的45％-65％，这对各国尤其是产量第一的中国企业来说，是一笔巨大的利益损失。因此在产品生产加工时必须对其表面进行质量检测，以便及时发现缺陷并加以控制，提高企业的经济效益。
传统的人工目视缺陷检测方式主要存在新员工需要一定时间的培训，员工难以保持长时间专注、高效地检测，检测速度有限，检测成本高，人工检测与产品大小很难适配等问题，因此传统人工目视的缺陷检测方法难以满足企业的需求。
近年来图像处理技术的迅速发展和计算机处理速度的提高，很多工业检测场景可以应用机器视觉方法进行检测，这大大提高了检测速度和自动化程度，降低了大量人工成本，而且提高了检测的可靠性和客观性。典型的工业视觉检测系统主要包括光学照明、图像采集、图像处理与缺陷检测三个部分。其中，良好的光学照明平台和合适的图像采集设备是获得高质量图像和获得最终可靠检测结果的前提。图像处理技术则需要根据实际检测需求进行精心设计，通常包括图像去噪、图像增强、图像检测分割与识别。如申请号为CN201310437747.9的中国发明专利，公开了一种基于形态学分析的布匹瑕疵检测方法。
但是传统图像处理技术难以适应不同的任务环境，当检测场景改动后，需要花费大量成本重新设计图像处理算法。同时对一些缺陷特征丰富的产品，难以设计合适的算法。
随着以卷积神经网络(CNN)为代表的深度学习模型的诸多研究和发展，很多方法被应用于计算机视觉领域，其中包括不少缺陷检测方法。如申请号为CN202210654558.6的中国发明专利，公开了一种基于YOLOx-s增强目标特征检测的绝缘板缺陷识别方法。国内外一些公司甚至还开发了基于深度学习的商用工业缺陷检测软件，例如中国的Aititron人工智能软件、瑞士的VIDI、德国的Halcon等。基于卷积神经网络的方法可以通过训练学习到图像的更深层特征，同时提高了算法的适应性和检测精度。
从上述的分析可以发现，无论是形态学图像处理技术还是目标检测方法，都难以达到更复杂的工业检测要求。因为在工业缺陷检测中，缺陷往往非常复杂，而产品中的视觉缺陷也不一定被认定为产品瑕疵，所以采用单一算法难以满足复杂的检测要求。
发明内容
本发明的目的在于提供一种多模型融合判别的布匹缺陷检测方法、系统、设备及介质，用以解决上述问题。
为了实现上述目的，本发明采用的技术方案为：
一种布匹缺陷检测方法，包括:
S1、由应用软件采集布匹图像并传输至检测系统；
S2、将步骤S1中所采集的图像按不同检测模型的需求进行预处理；
S3、将不同预处理后的图像分别作为异常检测模型、目标检测模型及边缘检测模型的输入进行缺陷检测，由所述线缺陷检测模型和点缺陷检测模型共同构成目标检测模型；由异常检测模型检测出图像中所存在的缺陷数量，由目标检测模型检测出图像中各缺陷的类别，并由边缘检测模型得到所述异常检测模型和目标检测模型无法识别的缺陷类别及伪瑕疵检测结果；
S4、对步骤S3中各检测模型得到的检测结果进行合并，并在滤除折痕检测结果和伪瑕疵检测结果后，得到最终的检测结果。
进一步的，构建所述异常检测模型的步骤包括：
A1、采集布匹样本图像，标注出部分缺陷样本，标注的缺陷样本和部分的正常样本作为测试数据集，其余正常样本作为训练数据集；
A2、在基于多尺度特征蒸馏模型上建立网络模型，将A1中所述训练数据集输入至模型对网络模型进行训练，并通过所述测试数据集对网络模型进行测试，生成异常检测模型。
进一步的，构建所述目标检测模型的步骤包括：
B1、采集布匹各类别缺陷的样本图像，标注出相应的缺陷目标，分别构建线状和点状缺陷数据集，并划分训练数据集和测试数据集；
B2、基于预设神经网络模型分别建立线缺陷检测网络和点缺陷检测网络，将B1中的线状训练数据集输入至线缺陷检测网络中进行训练并通过线状测试数据集对网络进行测试，以生成线缺陷检测模型；将B1中的的点状训练数据集输入至点缺陷检测网络中进行训练并通过所述的测试集对网络进行测试，以生成点缺陷检测模型。
进一步的，步骤S2具体包括：
S21、将S1中所述图像进行标准化、分块裁剪、尺寸变换和并行堆叠的预处理操作后，作为所述异常检测模型的输入；
S22、将S1中所述图像进行标准化、设置重叠区域的分块裁剪和尺寸变换的预处理操作后，作为目标检测模型的输入；
S23、将S1中所述图像直接作为边缘检测模型的输入。
进一步的，由边缘检测模型得到所述异常检测模型和目标检测模型无法识别的缺陷类别及伪瑕疵检测结果的步骤包括：
C1、基于Canny算子构建边缘检测模型，将边缘检测模型输入的图像进行平方变换；
C2、将C1所得图像进行高斯滤波，以平滑图像噪声；
C3、采用Sobel算法的横向模板Sx和纵向模板Sy计算C2所得图像的横向梯度和纵向梯度；
C4、对C3所得的梯度进行非极大值抑制，去除非边缘；
C5、采用双阈值判别，得到真实的边缘和潜在的边缘，形成潜在异常区域；
C6、将C5所得的检测结果进行形态学膨胀处理，然后找出所有的轮廓，并对轮廓内部进行填充，接着对填充结果进行形态学腐蚀处理，找出所有腐蚀后的轮廓，形成所述异常检测模型和目标检测模型无法识别的缺陷类别。
进一步的，步骤S4包括：
S41、将三种模型的检测结果进行格式统一，得到各模型检测出的检测框分别的左上角坐标和右下角坐标；
S42、将异常检测模型所得的检测框与边缘检测模型所得潜在异常区域形成的检测框中没有交集的检测框进行滤除以消除伪瑕疵；
S43、将线缺陷检测模型得到的折痕检测框与边缘检测模型所得的缺陷检测框进行重合度判定，当重合度高于设定阈值时，则认为是线缺陷检测模型的折痕误检框，不对该缺陷做滤除；
S44、判别线缺陷检测模型得到的折痕检测框与异常检测模型的缺陷检测框重合度，如果重合度高于设定阈值，则对该缺陷进行滤除，以滤除折痕检测结果；
S45、将经过折痕滤除的异常检测模型检测框、线缺陷检测模型检测框和点缺陷检测模型检测框合并在一起，作为最终检测结果。
本发明的另一方面提供了一种布匹缺陷检测系统，包括：
数据通信模块，其被配置通过http通信协议接收应用软件采集到的布匹图像数据，并将检测结果通过http通信协议传回应用软件；
图像预处理模块，其被配置为将数据通信模块得到的待检测图像按不同检测模型的需求进行预处理，然后作为图像检测模块的输入；
图像检测模块，其被配置为将不同预处理后的图像分别作为异常检测模型、目标检测模型、边缘检测模型的输入进行缺陷检测；
结果后处理模块，其被配置为对各模型检测结果的整合。
日志模块，其被配置为对检测系统的使用情况进行监测和记录，如果检测系统使用异常，信息会被收集并存储在本地文件中。
本发明的另一方面提供了一种电子设备，电子设备包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现所述布匹缺陷检测方法的步骤。
本发明的另一方面提供了一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现所述布匹缺陷检测方法的步骤。
本发明与现有技术相比，至少包含以下有益效果：
(1)本发明采用无监督的异常检测算法，只需用正常样本训练即可检测出布匹中各种不同类型的缺陷，适用于缺陷种类丰富、尺寸多样的布匹缺陷检测任务，同时减少了大量的人工标注成本；
(2)本发明结合实际工业需求，在异常检测算法的基础上，结合目标检测算法和边缘检测算法，提高模型的总体检出率。此外，由于折痕在工业生成中不算瑕疵，所以使用目标检测算法检测出的折痕来滤除异常检测算法中的折痕检测结果；
(3)本发明基于上述的方法，提供了检测系统，可以满足大批量自动化工业生产的要求，从而可以一定程度上代替人力劳动，节省人力成本。
附图说明
图1是本发明实施例中布匹缺陷检测方法流程图；
图2是本发明实施例中边缘检测模型对图像的检测方法流程图；
图3是本发明实施例中基于Canny算子的边缘检测双阈值判别示意图；
图4是本发明实施例中各检测模型的结果融合方法流程图。
具体实施方式
需要说明，在本发明中如涉及“第一”、“第二”、“一”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“连接”、“固定”等应做广义理解，例如，“固定”可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
另外，本发明各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
以下是本发明的具体实施例，并结合附图对本发明的技术方案作进一步的描述，但本发明并不限于这些实施例。
如图1所示，本实施例中多模型融合判别的布匹缺陷检测方法，包括：
S1、由应用软件采集布匹图像并传输至检测系统。
S2、将步骤S1中所采集的图像按不同检测模型的需求进行预处理。
S3、将不同预处理后的图像分别作为异常检测模型、目标检测模型及边缘检测模型的输入进行缺陷检测，由所述线缺陷检测模型和点缺陷检测模型共同构成目标检测模型；由异常检测模型检测出图像中所存在的缺陷数量，由目标检测模型检测出图像中各缺陷的类别，并由边缘检测模型得到所述异常检测模型和目标检测模型无法识别的缺陷类别及伪瑕疵检测结果。
S4、对步骤S3中各检测模型得到的检测结果进行合并，并在滤除折痕检测结果和伪瑕疵检测结果后，得到最终的检测结果。
较佳实例中，通过异常检测模型对断纱、折痕、破洞、油污、划痕、羊毛尘等缺陷进行检测，线缺陷检测模型检测出断纱、折痕等线状缺陷，点缺陷检测模型检测出小油污、小毛球等点状缺陷，由边缘检测模型可检测出人工标记、长破洞等缺陷，并进行伪瑕疵判别。
可选地，步骤S2具体包括：
S21、将S1中所述图像进行标准化、分块裁剪、尺寸变换和并行堆叠的预处理操作后，作为所述异常检测模型的输入。
S22、将S1中所述图像进行标准化、设置重叠区域的分块裁剪和尺寸变换的预处理操作后，作为目标检测模型的输入。
S23、将S1中所述图像直接作为边缘检测模型的输入。
对S1中所述图像进行标准化的操作为：利用ImageNet数据集抽样统计得到的均值和标准差进行标准化，得到均值为0，标准差为1的图像数据。并行堆叠是将尺寸变换后的图像数据在新的维度上进行堆叠，得到批量检测样本(batch)，可以进行异常检测模型的并行检测。
在一具体实施例中，S3中构建异常检测模型，可以参照以下操作：
A1、采集布匹样本图像，标注出部分缺陷样本，标注的缺陷样本和部分的正常样本作为测试数据集，其余正常样本作为训练数据集。
A2、在基于多尺度特征蒸馏模型上建立网络模型，将A1中所述训练数据集输入至模型对网络模型进行训练，并通过所述测试数据集对网络模型进行测试，生成异常检测模型。
在通过异常检测模型进行检测时，在将待检测的2张尺寸为4096x1024像素的超大图像进行分块裁剪，得到8张尺寸为1024x1024像素的图像。然后对图像进行尺寸变换，得到8张尺寸为512x512像素的图像。再将该8张512x512像素的图像数据在新的维度上进行堆叠，得到一个批量检测样本，进行异常检测模型的并行检测。
本实施例中，采用基于多尺度蒸馏模型构建异常检测模型，可以利用多尺度蒸馏模型的易训练、高检出率等特点，同时将待检测图片尺寸裁剪并缩放512x512像素，通过并行处理进一步降低了检测时间，从而实现布匹缺陷的快速检测。当然，在其他实施例中，也可以采用其他的异常检测模型，并不限于多尺度蒸馏模型。
在一具体实施例中，S3中构建线缺陷检测模型和点缺陷检测模型，可以参照以下操作：
B1、采集布匹各类别缺陷的样本图像，标注出相应的缺陷目标，分别构建线状和点状缺陷数据集，并划分训练数据集和测试数据集。
B2、基于YOLOv5网络模型分别建立线缺陷检测网络和点缺陷检测网络，将B1中的线状训练数据集输入至线缺陷检测网络中进行训练并通过线状测试数据集对网络进行测试，以生成线缺陷检测模型；将B1中的的点状训练数据集输入至点缺陷检测网络中进行训练并通过所述的测试集对网络进行测试，以生成点缺陷检测模型。
其中，可以基于YOLOv5m模型和YOLOv5s模型分别构建一个线缺陷检测模型和一个点缺陷检测模型。当然，在其他实施例中，也可以采用其他的目标检测模型，并不限于YOLOv5模型。
在检测时，将待检测的2张尺寸为4096x1024像素的超大图像进行分块裁剪，相邻图像块之间设置了16像素的重叠，得到32张尺寸为526x520像素的图像。然后对图像进行尺寸变换，得到32张尺寸为512x512像素的图像。而后将该32张图像输入至线缺陷检测模型和点缺陷检测模型进行逐帧检测。
本实施例中，应用YOLOv5模型构建线状和点状模型，可以利用YOLOv5的模型小、检测效果好等特点，提高本方法对断纱、小毛球和小油污的检出率，同时利用折痕检测结果，滤除掉异常检测模型中的折痕检测结果，以满足工业实际需求(实际工业中，折痕不是布匹瑕疵)。
较佳实例中，通过传统边缘检测模型进行人工标记、长破洞等缺陷的检测，其中可以基于Canny算子构建边缘检测模型。当然，在其他实施例中，也可以采用其他的边缘检测方法，并不限于Canny算子。
在一具体实施例中，如图2所示，基于Canny算子的边缘检测模型对图像的检测，可以参照以下操作：
C1、将待检测图像进行平方变换，增强图像边缘性。
Is＝I⊙I/255
其中I为图像，Is为经过平方变换的结果，⊙为矩阵点乘。
C2、将C1得到的图像进行高斯滤波，平滑图像噪声。
设图像为Is，3x3的高斯核为K，对于Is中的某个像素e，以e为中心的3x3窗口为E，则像素e经过3x3高斯滤波后得到的结果e1为：
e1＝sum(E⊙K)
其中，sum()为求矩阵元素的和,⊙为矩阵点乘，通过上述计算方法得到每个元素滤波后的结果。
C3，采用Sobel算法的横向模板Sx和纵向模板Sy计算C2所得图像的横向梯度和纵向梯度。
设高斯滤波后图像为I1，对于I1中的像素e1，以e1为中心的3x3窗口为E1，则通过如下公式可计算得到梯度幅值G和梯度方向θ：
Gx＝sum(E1⊙Sx),Gy＝sum(E1⊙Sy)
C4、对C3所得的梯度进行非极大值抑制，去除非边缘，使边界更清晰。
对于每个像素，首先将求得的梯度方向近似为{0,45,90,135,180,225,270,315}中最接近的值。然后比较梯度方向上的2个相邻点梯度值G1和G2是否比G小，如果是则保留，否则置零。
C5，使用双阈值判别，得到真实的边缘和潜在的边缘，形成潜在异常区域。
如图3所示，设小阈值为Tmin，大阈值为Tmax，双阈值判别过程为曲线A中梯度大于Tmax的A1属于强边缘，曲线A中梯度小于Tmax的A2属于弱边缘，其与A1相邻，也因此属于边缘。曲线B的梯度小于Tmax，且大于Tmin属于弱边缘，其不与强边缘相邻，因此不属于边缘。曲线B的梯度小于Tmin，就不属于边缘。
C6、将C5得到的检测结果进行5x5形态学膨胀处理，使很接近的断点连接起来；然后找出所有的轮廓，并对轮廓内部进行填充；接着对填充结果进行7x7形态学腐蚀处理，找出所有腐蚀后的轮廓，形成所述异常检测模型和目标检测模型无法识别的缺陷类别，即为人工标记和长破洞等缺陷。
本实施例中，采用基于Canny算子构建边缘检测模型，可以利用Canny算子无需提前训练、计算快、鲁棒性强等特点，同时待检测图片尺寸无需裁剪即可计算，降低了预处理过程的耗时。
较佳实例中，步骤S4通过统一各检测模型的结果格式，滤除实际工业不需要的折痕检测结果，以及对伪瑕疵进行滤除处理。由于在实际生产中，会存在大量与异物缺陷成像相似，但不属于缺陷的良品样本，比如折痕类缺陷。深的折痕容易被异常检测模型检测出来，但异常检测模型并没有缺陷分类的能力，会使模型的误检率大大提高，因此需要通过线缺陷检测模型的折痕检测结果来进行滤除。
线缺陷检测模型容易将人工标记、长破洞等类别缺陷误检为折痕，所以在进行折痕滤除时，还需要结合边缘检测模型的检测结果，以避免漏检。
最后，由于实际应用中验布机没有将布匹充分展平、灯源打光不均等原因，使得采集的待检测布匹图像存在伪瑕疵，需要通过边缘检测模型得到潜在异常区域，滤除异常检测模型中的伪瑕疵检出结果。
在一具体实施例中，如图4所示，对统一各检测模型的结果格式、滤除实际工业不需要的折痕检测结果、以及对伪瑕疵进行滤除处理的过程，可以参照以下操作：
S41、将三种模型的检测结果进行格式统一，得到各模型检测出的检测框分别的左上角坐标和右下角坐标；
S42、将异常检测模型所得的检测框与边缘检测模型所得潜在异常区域形成的检测框中没有交集的检测框进行滤除以消除伪瑕疵；
S43、将线缺陷检测模型得到的折痕检测框与边缘检测模型所得的缺陷检测框进行重合度判定，当重合度高于设定阈值时，则认为是线缺陷检测模型的折痕误检框，不对该缺陷做滤除；
S44、判别线缺陷检测模型得到的折痕检测框与异常检测模型的缺陷检测框重合度，如果重合度高于设定阈值，则对该缺陷进行滤除，以滤除折痕检测结果；
S45、将经过折痕滤除的异常检测模型检测框、线缺陷检测模型检测框和点缺陷检测模型检测框合并在一起，作为最终检测结果。
本实施例中，通过滤除异常检测模型中的折痕检测框，降低了瑕疵误检率，通过边缘检测模型的检测框，避免了线缺陷检测模型的折痕误检带来的缺陷漏检以及通过边缘检测得到的潜在异常区滤除伪瑕疵，进一步减低了本方法的误检率。
基于上述相同的技术构思，本发明另一实施例中还提供一种布匹缺陷检测系统，包括：
数据通信模块，其被配置通过http通信协议接收应用软件采集到的布匹图像数据，并将检测结果通过http通信协议传回应用软件；
图像预处理模块，其被配置为将数据通信模块得到的待检测图像按不同检测模型的需求进行预处理，然后作为图像检测模块的输入；
图像检测模块，其被配置为将不同预处理后的图像分别作为异常检测模型、目标检测模型、边缘检测模型的输入进行缺陷检测；
结果后处理模块，其被配置为对各模型检测结果的整合。
日志模块，其被配置为对检测系统的使用情况进行监测和记录，如果检测系统使用异常，信息会被收集并存储在本地文件中。
本发明上述多模型融合判别的布匹缺陷检测系统实施例中各模块具体实现的技术，可以参照方法对应的步骤，在此不再赘述。本发明上述实例通过多模型的融合判别，有利于提高缺陷检出率，降低误检率，从而满足大批量自动化工业生产中的缺陷检测要求，节省人力成本。
本申请提供的计算机可读存储介质用于存储计算机程序，计算机程序在被处理器执行时，用于实现上述实施例中的布匹缺陷检测方法。
本领域内的技术人员应明白，本发明的实施例可提供为方法、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
Claims (9)
1.一种布匹缺陷检测方法，其特征在于，包括:
S1、由应用软件采集布匹图像并传输至检测系统；
S2、将步骤S1中所采集的图像按不同检测模型的需求进行预处理；
S3、将不同预处理后的图像分别作为异常检测模型、目标检测模型及边缘检测模型的输入进行缺陷检测，由所述线缺陷检测模型和点缺陷检测模型共同构成目标检测模型；由异常检测模型检测出图像中所存在的缺陷数量，由目标检测模型检测出图像中各缺陷的类别，并由边缘检测模型得到所述异常检测模型和目标检测模型无法识别的缺陷类别及伪瑕疵检测结果；
S4、对步骤S3中各检测模型得到的检测结果进行合并，并在滤除折痕检测结果和伪瑕疵检测结果后，得到最终的检测结果。
2.根据权利要求1所述的布匹缺陷检测方法，其特征在于，构建所述异常检测模型的步骤包括：
A1、采集布匹样本图像，标注出部分缺陷样本，标注的缺陷样本和部分的正常样本作为测试数据集，其余正常样本作为训练数据集；
A2、在基于多尺度特征蒸馏模型上建立网络模型，将A1中所述训练数据集输入至模型对网络模型进行训练，并通过所述测试数据集对网络模型进行测试，生成异常检测模型。
3.根据权利要求1所述的布匹缺陷检测方法，其特征在于，构建所述目标检测模型的步骤包括：
B1、采集布匹各类别缺陷的样本图像，标注出相应的缺陷目标，分别构建线状和点状缺陷数据集，并划分训练数据集和测试数据集；
B2、基于预设神经网络模型分别建立线缺陷检测网络和点缺陷检测网络，将B1中的线状训练数据集输入至线缺陷检测网络中进行训练并通过线状测试数据集对网络进行测试，以生成线缺陷检测模型；将B1中的的点状训练数据集输入至点缺陷检测网络中进行训练并通过所述的测试集对网络进行测试，以生成点缺陷检测模型。
4.根据权利要求1所述的布匹缺陷检测方法，其特征在于，步骤S2具体包括：
S21、将S1中所述图像进行标准化、分块裁剪、尺寸变换和并行堆叠的预处理操作后，作为所述异常检测模型的输入；
S22、将S1中所述图像进行标准化、设置重叠区域的分块裁剪和尺寸变换的预处理操作后，作为目标检测模型的输入；
S23、将S1中所述图像直接作为边缘检测模型的输入。
5.根据权利要求4所述的布匹缺陷检测方法，其特征在于，由边缘检测模型得到所述异常检测模型和目标检测模型无法识别的缺陷类别及伪瑕疵检测结果的步骤包括：
C1、基于Canny算子构建边缘检测模型，将边缘检测模型输入的图像进行平方变换；
C2、将C1所得图像进行高斯滤波，以平滑图像噪声；
C3、采用Sobel算法的横向模板Sx和纵向模板Sy计算C2所得图像的横向梯度和纵向梯度；
C4、对C3所得的梯度进行非极大值抑制，去除非边缘；
C5、采用双阈值判别，得到真实的边缘和潜在的边缘，形成潜在异常区域；
C6、将C5所得的检测结果进行形态学膨胀处理，然后找出所有的轮廓，并对轮廓内部进行填充，接着对填充结果进行形态学腐蚀处理，找出所有腐蚀后的轮廓，形成所述异常检测模型和目标检测模型无法识别的缺陷类别。
6.根据权利要求5所述的布匹缺陷检测方法，其特征在于，步骤S4包括：
S41、将三种模型的检测结果进行格式统一，得到各模型检测出的检测框分别的左上角坐标和右下角坐标；
S42、将异常检测模型所得的检测框与边缘检测模型所得潜在异常区域形成的检测框中没有交集的检测框进行滤除以消除伪瑕疵；
S43、将线缺陷检测模型得到的折痕检测框与边缘检测模型所得的缺陷检测框进行重合度判定，当重合度高于设定阈值时，则认为是线缺陷检测模型的折痕误检框，不对该缺陷做滤除；
S44、判别线缺陷检测模型得到的折痕检测框与异常检测模型的缺陷检测框重合度，如果重合度高于设定阈值，则对该缺陷进行滤除，以滤除折痕检测结果；
S45、将经过折痕滤除的异常检测模型检测框、线缺陷检测模型检测框和点缺陷检测模型检测框合并在一起，作为最终检测结果。
7.一种布匹缺陷检测系统，其特征在于，包括：
数据通信模块，其被配置通过http通信协议接收应用软件采集到的布匹图像数据，并将检测结果通过http通信协议传回应用软件；
图像预处理模块，其被配置为将数据通信模块得到的待检测图像按不同检测模型的需求进行预处理，然后作为图像检测模块的输入；
图像检测模块，其被配置为将不同预处理后的图像分别作为异常检测模型、目标检测模型、边缘检测模型的输入进行缺陷检测；
结果后处理模块，其被配置为对各模型检测结果的整合。
日志模块，其被配置为对检测系统的使用情况进行监测和记录，如果检测系统使用异常，信息会被收集并存储在本地文件中。
8.一种电子设备，其特征在于，所述电子设备包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如权利要求1-6任一所述布匹缺陷检测方法的步骤。
9.一种计算机可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-6中任一所述布匹缺陷检测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211660583.1A CN116228651A (zh) | 2022-12-23 | 2022-12-23 | 一种布匹缺陷检测方法、系统、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211660583.1A CN116228651A (zh) | 2022-12-23 | 2022-12-23 | 一种布匹缺陷检测方法、系统、设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116228651A true CN116228651A (zh) | 2023-06-06 |
Family
ID=86581396
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211660583.1A Pending CN116228651A (zh) | 2022-12-23 | 2022-12-23 | 一种布匹缺陷检测方法、系统、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116228651A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116630425A (zh) * | 2023-07-21 | 2023-08-22 | 长春市天之城科技有限公司 | 一种基于x光的食品智能检测系统 |
| CN116823817A (zh) * | 2023-08-28 | 2023-09-29 | 江苏州际数码印花有限公司 | 一种基于深度学习的纺织提花缺陷检测方法及系统 |
| CN117611590A (zh) * | 2024-01-24 | 2024-02-27 | 深存科技(无锡)有限公司 | 一种缺陷轮廓复合检测方法、装置、设备及存储介质 |
-
2022
- 2022-12-23 CN CN202211660583.1A patent/CN116228651A/zh active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116630425A (zh) * | 2023-07-21 | 2023-08-22 | 长春市天之城科技有限公司 | 一种基于x光的食品智能检测系统 |
| CN116630425B (zh) * | 2023-07-21 | 2023-09-22 | 长春市天之城科技有限公司 | 一种基于x光的食品智能检测系统 |
| CN116823817A (zh) * | 2023-08-28 | 2023-09-29 | 江苏州际数码印花有限公司 | 一种基于深度学习的纺织提花缺陷检测方法及系统 |
| CN116823817B (zh) * | 2023-08-28 | 2023-12-08 | 江苏州际数码印花有限公司 | 一种基于深度学习的纺织提花缺陷检测方法及系统 |
| CN117611590A (zh) * | 2024-01-24 | 2024-02-27 | 深存科技(无锡)有限公司 | 一种缺陷轮廓复合检测方法、装置、设备及存储介质 |
| CN117611590B (zh) * | 2024-01-24 | 2024-04-09 | 深存科技(无锡)有限公司 | 一种缺陷轮廓复合检测方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111080622B (zh) | 神经网络训练方法、工件表面缺陷分类与检测方法及装置 | |
| CN116228651A (zh) | 一种布匹缺陷检测方法、系统、设备及介质 | |
| CN109886298B (zh) | 一种基于卷积神经网络的焊缝质量检测方法 | |
| US20180253836A1 (en) | Method for automated detection of defects in cast wheel products | |
| CN107220649A (zh) | 一种素色布匹缺陷检测和分类方法 | |
| CN114549522A (zh) | 基于目标检测的纺织品质量检测方法 | |
| CN111982916A (zh) | 一种基于机器视觉的焊缝表面缺陷检测方法及系统 | |
| CN113554080A (zh) | 一种基于机器视觉的无纺布瑕疵检测分类方法及系统 | |
| CN102175692A (zh) | 织物坯布疵点快速检测系统及方法 | |
| CN111852792B (zh) | 一种基于机器视觉的风机叶片缺陷自诊断定位方法 | |
| CN115601355A (zh) | 一种产品表面缺陷检测与分类方法、装置及存储介质 | |
| CN110020691B (zh) | 基于卷积神经网络对抗式训练的液晶屏幕缺陷检测方法 | |
| CN113777030A (zh) | 一种基于机器视觉的布料表面缺陷检测装置及方法 | |
| CN111080600A (zh) | 一种铁路货车弹簧托板上开口销的故障识别方法 | |
| CN113706490B (zh) | 一种晶片缺陷检测方法 | |
| CN111415339B (zh) | 一种复杂纹理工业产品图像缺陷检测方法 | |
| US20220076404A1 (en) | Defect management apparatus, method and non-transitory computer readable medium | |
| CN112330598A (zh) | 一种化纤表面僵丝缺陷检测的方法、装置及存储介质 | |
| CN114612472A (zh) | 一种基于SegNet改进的皮革缺陷分割网络算法 | |
| CN115035092A (zh) | 基于图像的瓶体检测方法、装置、设备及存储介质 | |
| CN113393426A (zh) | 一种轧钢板表面缺陷检测方法 | |
| CN114820626B (zh) | 一种汽车前脸零件配置智能检测方法 | |
| WO2021109011A1 (zh) | 一种基于超声图像的电容内部缺陷智能检测方法 | |
| CN114331961A (zh) | 用于对象的缺陷检测的方法 | |
| CN111028250A (zh) | 一种实时智能验布方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |