CN114782346A - 基于多形态数据扩增与分块识别的布匹图像缺陷检测方法 - Google Patents

基于多形态数据扩增与分块识别的布匹图像缺陷检测方法 Download PDF

Info

Publication number
CN114782346A
CN114782346A CN202210384892.4A CN202210384892A CN114782346A CN 114782346 A CN114782346 A CN 114782346A CN 202210384892 A CN202210384892 A CN 202210384892A CN 114782346 A CN114782346 A CN 114782346A
Authority
CN
China
Prior art keywords
image
detection
defect
size
small
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210384892.4A
Other languages
English (en)
Inventor
薛林
李琦
刘志远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian University of Technology
Original Assignee
Dalian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian University of Technology filed Critical Dalian University of Technology
Priority to CN202210384892.4A priority Critical patent/CN114782346A/zh
Publication of CN114782346A publication Critical patent/CN114782346A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30124—Fabrics; Textile; Paper

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于图像处理技术领域，是一种基于多形态数据扩增与分块识别的布匹图像缺陷检测方法。本发明利用多形态数据扩增算法，通过提取缺陷特征，采用传统图像处理方法改变缺陷形态，将形态变换后的缺陷与原有布匹图像进行融合，批量生成新的缺陷图像；利用分块识别算法和检测框融合算法，通过裁剪图像，使用小尺寸图像训练模型，在推理时输入大尺寸图像，采用分块逐张检测、合并检测结果，用以完成尺寸较大、背景复杂的布匹图像的检测，从而提高尺寸较大、背景复杂的布匹图像中缺陷的检测精度。

Description

基于多形态数据扩增与分块识别的布匹图像缺陷检测方法
技术领域
本发明属于图像处理技术领域，是一种基于多形态数据扩增与分块识别的布匹图像缺陷检测方法。
背景技术
我国是世界上最大的布匹生产国和出口国，而布匹生产过程中会产生大量的缺陷，布匹的缺陷检测对布匹质量至关重要。然而目前大多数工厂仍由工人对布匹缺陷进行检测，这种缺陷检测方式精度较低，检测标准难以统一，并且耗费了大量的人力，因此布匹缺陷的自动化检测具有重大的研究意义。
随着计算机技术的快速发展，传统图像处理技术和基于深度学习的目标检测算法逐渐应用于布匹图像的缺陷检测。对于背景简单的布匹图像缺陷检测，传统的图像处理技术取得了良好的效果；对于尺寸较小、背景简单的布匹图像缺陷检测，基于深度学习的目标检测算法也已经基本达到了工业需求。然而，工厂生产的布匹大多具有尺寸较大、背景复杂的特点，对于尺寸较大、背景复杂、小缺陷数量多的布匹图像，现有的检测方法难以获得较高的检测精度，无法满足实际的生产需要。
发明内容
针对上述问题，本发明提出了一种基于多形态数据扩增与分块识别的布匹图像缺陷检测方法，是一种针对尺寸较大、背景复杂的布匹图像的检测方法，以解决高分辨率图像缺陷检测精度低的问题。
本发明利用多形态数据扩增算法，通过提取缺陷特征，采用传统图像处理方法改变缺陷形态，将形态变换后的缺陷与原有布匹图像进行融合，批量生成新的缺陷图像；利用分块识别算法和检测框融合算法，通过裁剪图像，使用小尺寸图像训练模型，在推理时输入大尺寸图像，采用分块逐张检测、合并检测结果，用以完成尺寸较大、背景复杂的布匹图像的检测，从而提高尺寸较大、背景复杂的布匹图像中缺陷的检测精度。
本发明的技术方案：
一种基于多形态数据扩增与分块识别的布匹图像缺陷检测方法，步骤如下：
步骤(1)、收集具有缺陷的布匹图像，根据颜色空间筛选出RGB三通道值在一定范围内的像素，从而提取固定颜色范围的布匹缺陷，将图像背景设置为白色或黑色，得到与背景无关的缺陷特征。
步骤(2)、将步骤(1)中得到的缺陷图像通过缩放、镜像、裁剪、旋转、形态学处理等常用的数据增强方法随机改变物体缺陷的形态，得到新的缺陷图像。
步骤(3)、将步骤(2)中得到的新的缺陷图像随机批量融合到布匹图像中，并去除白色或黑色背景，将原有数据集进行多形态扩增，从而构建具有多形态缺陷的布匹数据集，有效降低扩增相似度，实现跨花色布匹扩增。
步骤(4)、在训练过程中，采用图像分块方法，将大尺寸图像裁剪成小尺寸图像，利用小尺寸图像对模型进行训练，在推理过程中，将输入的大尺寸图像分割成小尺寸图像放入网络中，分块逐张检测，通过公式(1)～(4)，可得到关于图像分块的相关参数：
Figure BDA0003593198350000021
Figure BDA0003593198350000022
Figure BDA0003593198350000023
Figure BDA0003593198350000024
其中，h_times和w_times分别表示高度方向和宽度方向的识别次数，H和W分别表示大图像的高度和宽度，h和w分别表示裁剪的小图像的高度和宽度，bias_h和bias_w分别表示高度方向和宽度方向交叉区域长度。
步骤(5)、经过步骤(4)的推理过程得到每张小尺寸图像的检测结果，之后采用图像合并算法合并分块检测的结果。图像合并算法是根据缺陷与大尺寸图像的相对位置关系将小尺寸图像的检测结果映射到大尺寸图像上，因为小尺寸图像相对大尺寸图像位置确定，所以缺陷相对大尺寸图像位置确定，依据公式(5)～(10)可以得到大尺寸图像中缺陷的位置：
x1＝(w-bias_w)*i(i≥0) (5)
y1＝(h-bias_h)*j(j≥0) (6)
x2＝w+x1 (7)
y2＝h+y1 (8)
X＝x1+x (9)
Y＝y1+y (10)
其中，i和j分别为裁剪图像在宽度方向和高度方向的顺序数(顺序数从0开始)，(x1,y1)为裁剪图像左上角坐标，(x2,y2)为裁剪图像右下角坐标，(x,y)为布匹缺陷在裁剪图像中的位置，(X,Y)为缺陷相对全图坐标。
步骤(6)、图像分块检测结果中的重叠区域存在重复检测结果，假设两个重复检测结果是同类缺陷，且IoU(交并比)大于设定阈值，则采用非极大值抑制算法(抑制不是极大值的元素)，删除置信度较低的检测框，保留置信度高的检测框。
步骤(7)、相邻裁剪图像存在重叠区域，且两张图像的检测结果都不完整，在相交检测框合并过程中，当两个检测框的IoU(交并比)大于设定阈值，则将两个检测框合并成一个大的检测框，取两个小检测框的最大外接矩形作为新的检测框，并将两个置信度中的最大值设为新的置信度；根据公式(11)～(14)获得新检测框的各个位置坐标：
X1＝min(x1,x3) (11)
Y1＝min(y1,y3) (12)
X2＝Max(x2,x4) (13)
Y2＝Max(y2,y4) (14)
其中，(X1,Y1X2,Y2)为新的检测框坐标，(x1,y1,x2,y2)，(x3,y3,x4,y4)为小图像中的两个检测框坐标。
步骤(8)、Cascade R-CNN是目前比较流行的目标检测算法，精度高且稳定。使用Cascade R-CNN目标检测算法分块检测小尺寸图像中的缺陷得到小尺寸图像的缺陷检测结果，之后通过步骤(5)、(6)、(7)进行小尺寸图像的缺陷检测结果的合并，即将每一张小尺寸图像上检测到的缺陷位置映射到大尺寸图像上，最终得到大尺寸图像的检测结果。
本发明的有益效果：本发明提出多形态数据扩增方法及分块识别算法。与传统数据扩增方法相比，多形态数据扩增方法可以批量生成具有多形态特征的缺陷，解决了部分缺陷类别样本量不足的问题，提高了少样本量类别缺陷的检测精度。分块识别算法将高分辨率布匹图像缺陷检测转化为多张低分辨率图像缺陷检测，解决了高分辨率小尺寸缺陷难以检测的问题，提高了小尺寸缺陷的检测精度。本发明通过多形态数据扩增与分块识别算法解决了高分辨率、复杂背景的布匹图像缺陷检测问题，对同类型目标检测问题具有借鉴意义。
附图说明
图1为提取的布匹缺陷图像；
图2为改变原有形态的布匹缺陷图像；
图3为多形态扩增后的布匹图像；
图4为布匹图像分块图像；
图5为采用非极大值抑制算法合并后的图像；
图6为执行最大外接矩形合并算法后的图像；
图7为高分辨率布匹图像缺陷检测结果。
具体实施方法
为了使本发明的目的、技术方案及优点描述得更加清楚，下面将以布匹缺陷中的常见缺陷为例，结合本发明中的附图，对本发明中的技术方案进行完整的描述。
(1)收集具有缺陷的布匹图像，布匹图像的分辨率为4096×1680，对布匹图像中的缺陷部分进行提取，得到以布匹缺陷为主体，背景为白色或黑色的图像，如图1所示；
(2)将布匹缺陷图像通过一定随机的缩放、镜像、裁剪、旋转及常用的形态学处理方法改变缺陷的形态，生成新的缺陷图像，如图2所示；
(3)随后将改变形态后的缺陷图像与布匹图像进行融合，并去除掉缺陷图像的白色或黑色背景，得到扩增后的布匹图像，如图3所示；
(4)综合考虑检测时间和检测精度，将分辨率为4096×1680的布匹图像裁剪成6张分辨率为1680×960的布匹图像对模型进行训练；在推理过程中，采用图像分块算法，分块逐张检测，图像分块过程如图4所示，利用公式(1)和公式(2)：
Figure BDA0003593198350000051
Figure BDA0003593198350000052
得到高度方向识别次数h_times＝2和宽度方向的识别次数w_times＝3。
(5)经图像分块算法分块检测得到6张小尺寸图像的检测结果，根据小尺寸图像与大尺寸图像的相对位置，得到大尺寸图像中每个缺陷的位置，从而将小尺寸图像检测到的缺陷映射到大尺寸图像中，完成小尺寸图像检测结果的合并。
(6)图像分块检测结果中的重叠区域存在布匹缺陷的重复检测结果，且两种缺陷属于同一类别，这里取IoU(交并比)阈值为0.7，由于两个检测框的IoU(交并比)大于0.7，因此采用非极大值抑制算法，删除置信度为0.49和0.58的检测框，保留置信度为0.68和0.89的检测框，得到合并后的图像如图5所示；
(7)布匹缺陷的两个相交检测框合并过程中，取IoU(交并比)阈值为0.3，由于两个检测框的IoU(交并比)大于0.3，因此将两个检测框合并，并且取两个检测框的最大外接矩形作为新的检测框，同时将0.58设为新的置信度，执行最大外接矩形合并算法后的图像如图6所示；
(8)经过Cascade R-CNN目标检测算法分块检测及后续合并算法处理之后，得到高分辨率布匹图像中缺陷的检测结果，如图7所示，从而有效解决了高分辨率、复杂背景的布匹图像缺陷检测问题。

Claims (1)

1.一种基于多形态数据扩增与分块识别的布匹图像缺陷检测方法，其特征在于，步骤如下：
步骤(1)、收集具有缺陷的布匹图像，根据颜色空间筛选出RGB三通道值在一定范围内的像素，从而提取固定颜色范围的布匹缺陷，将图像背景设置为白色或黑色，得到与背景无关的缺陷特征；
步骤(2)、将步骤(1)中得到的缺陷图像通过数据增强方法随机改变物体缺陷的形态，得到新的缺陷图像；
步骤(3)、将步骤(2)中得到的新的缺陷图像随机批量融合到布匹图像中，并去除白色或黑色背景，将原有数据集进行多形态扩增，从而构建具有多形态缺陷的布匹数据集；
步骤(4)、在训练过程中，采用图像分块方法，将大尺寸图像裁剪成小尺寸图像，利用小尺寸图像对模型进行训练，在推理过程中，将输入的大尺寸图像分割成小尺寸图像放入网络中，分块逐张检测，通过公式(1)～(4)，得到关于图像分块的相关参数：
Figure FDA0003593198340000011
Figure FDA0003593198340000012
Figure FDA0003593198340000013
Figure FDA0003593198340000014
其中，h_times和w_times分别表示高度方向和宽度方向的识别次数，H和W分别表示大图像的高度和宽度，h和w分别表示裁剪的小图像的高度和宽度，bias_h和bias_w分别表示高度方向和宽度方向交叉区域长度；
步骤(5)、经过步骤(4)的推理过程得到每张小尺寸图像的检测结果，之后采用图像合并算法合并分块检测的结果；图像合并算法是根据缺陷与大尺寸图像的相对位置关系将小尺寸图像的检测结果映射到大尺寸图像上，因为小尺寸图像相对大尺寸图像位置确定，所以缺陷相对大尺寸图像位置确定，依据公式(5)～(10)得到大尺寸图像中缺陷的位置：
x1＝(w-bias_w)*i，i≥0 (5)
y1＝(h-bias_h)*j，j≥0 (6)
x2＝w+x1 (7)
y2＝h+y1(8)
X＝x1+x (9)
Y＝y1+y (10)
其中，i和j分别为裁剪图像在宽度方向和高度方向的顺序数，(x1,y1)为裁剪图像左上角坐标，(x2,y2)为裁剪图像右下角坐标，(x,y)为布匹缺陷在裁剪图像中的位置，(X,Y)为缺陷相对全图坐标；
步骤(6)、图像分块检测结果中的重叠区域存在重复检测结果，假设两个重复检测结果是同类缺陷，且交并比大于设定阈值，则采用非极大值抑制算法，删除置信度较低的检测框，保留置信度高的检测框；
步骤(7)、相邻裁剪图像存在重叠区域，且两张图像的检测结果都不完整，在相交检测框合并过程中，当两个检测框的交并比大于设定阈值，则将两个检测框合并成一个大的检测框，取两个小检测框的最大外接矩形作为新的检测框，并将两个置信度中的最大值设为新的置信度；根据公式(11)～(14)获得新检测框的各个位置坐标：
X1＝min(x1,x3) (11)
Y1＝min(y1,y3) (12)
X2＝Max(x2,x4) (13)
Y2＝Max(y2,y4) (14)
其中，(X1,Y1X2,Y2)为新的检测框坐标，(x1,y1,x2,y2)，(x3,y3,x4,y4)为小图像中的两个检测框坐标；
步骤(8)、使用Cascade R-CNN目标检测算法分块检测小尺寸图像中的缺陷得到小尺寸图像的缺陷检测结果，之后通过步骤(5)、(6)、(7)进行小尺寸图像的缺陷检测结果的合并，即将每一张小尺寸图像上检测到的缺陷位置映射到大尺寸图像上，最终得到大尺寸图像的检测结果。
CN202210384892.4A 2022-04-13 2022-04-13 基于多形态数据扩增与分块识别的布匹图像缺陷检测方法 Pending CN114782346A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210384892.4A CN114782346A (zh) 2022-04-13 2022-04-13 基于多形态数据扩增与分块识别的布匹图像缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210384892.4A CN114782346A (zh) 2022-04-13 2022-04-13 基于多形态数据扩增与分块识别的布匹图像缺陷检测方法

Publications (1)

Publication Number Publication Date
CN114782346A true CN114782346A (zh) 2022-07-22

Family

ID=82429396

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210384892.4A Pending CN114782346A (zh) 2022-04-13 2022-04-13 基于多形态数据扩增与分块识别的布匹图像缺陷检测方法

Country Status (1)

Country Link
CN (1) CN114782346A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115601363A (zh) * 2022-12-14 2023-01-13 中建科技集团有限公司（Cn） 一种基于小目标检测算法的装配式建筑产品缺陷检测方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115601363A (zh) * 2022-12-14 2023-01-13 中建科技集团有限公司（Cn） 一种基于小目标检测算法的装配式建筑产品缺陷检测方法

Similar Documents

Publication Publication Date Title
CN111223088B (zh) 一种基于深层卷积神经网络的铸件表面缺陷识别方法
CN108562589B (zh) 一种对磁路材料表面缺陷进行检测的方法
CN113658132B (zh) 基于计算机视觉的结构件焊缝检测方法
CN104751142B (zh) 一种基于笔划特征的自然场景文本检测方法
CN110309765B (zh) 一种视频运动目标高效检测方法
CN110598698B (zh) 基于自适应区域建议网络的自然场景文本检测方法和系统
CN108399644A (zh) 一种墙体图像识别方法及其装置
CN110738106A (zh) 一种基于fpga的光学遥感图像船舶检测方法
CN113221881B (zh) 一种多层级的智能手机屏幕缺陷检测方法
CN115601355A (zh) 一种产品表面缺陷检测与分类方法、装置及存储介质
CN104637066B (zh) 基于序贯细化的二值图像快速骨架提取方法
CN114005081A (zh) 一种烟丝异物智能检测装置及方法
CN112132196A (zh) 一种结合深度学习和图像处理的烟盒缺陷识别方法
CN114529925A (zh) 一种全线表表格结构识别方法
CN114782346A (zh) 基于多形态数据扩增与分块识别的布匹图像缺陷检测方法
CN113298809A (zh) 基于深度学习和超像素分割的复材超声图像缺陷检测方法
CN113537211A (zh) 一种基于非对称iou的深度学习车牌框定位方法
CN115082776A (zh) 一种基于图像识别的电能表自动检测系统及方法
CN113240668B (zh) 一种基于图像数字特征分布的生成熔池图像质量评估方法
CN114419006A (zh) 一种随背景变化的灰度视频文字类水印去除方法及系统
CN117197146A (zh) 一种铸件内部缺陷自动识别方法
CN112883797A (zh) 一种基于Yolo V3模型的烟丝杂物检测方法
CN114782413B (zh) 一种基于显微镜图像的星杆藻类细胞统计方法
CN115909405A (zh) 一种基于YOLOv5的人物交互检测方法
JPH1125222A (ja) 文字切り出し方法及び文字切り出し装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination