CN113298809A - 基于深度学习和超像素分割的复材超声图像缺陷检测方法 - Google Patents
基于深度学习和超像素分割的复材超声图像缺陷检测方法 Download PDFInfo
- Publication number
- CN113298809A CN113298809A CN202110714603.8A CN202110714603A CN113298809A CN 113298809 A CN113298809 A CN 113298809A CN 202110714603 A CN202110714603 A CN 202110714603A CN 113298809 A CN113298809 A CN 113298809A
- Authority
- CN
- China
- Prior art keywords
- sub
- image
- composite material
- segmentation
- defect
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
Abstract
本发明公开了基于深度学习和超像素分割的复材超声图像缺陷检测方法，包括以下步骤：步骤1、对复材超声检测图像进行扩增形成训练样本集，基于训练样本集通过YOLOv3神经网络对复材缺陷进行特征检出与提取，得到缺陷目标检测包围框；步骤2、采用超像素分割方法对复材超声检测图像进行像素级分割，得到若干超像素分割子区域；步骤3、将包含缺陷的超像素分割子区域位于缺陷目标检测包围框外部的部分舍弃，将包含缺陷的超像素分割子区域位于缺陷目标检测包围框内部的部分保留并合并作为最终缺陷区域；步骤4、拟合最终缺陷区域的最小外接矩形作为最终缺陷检测结果；本发明具有同时保证复合材料超声图像缺陷检测识别的高效性与精确性的有益效果。
Description
技术领域
本发明属于复合材料超声图像缺陷检测技术领域，具体涉及基于深度学习和超像素分割的复材超声图像缺陷检测方法。
背景技术
随着科技发展技术进步，碳纤维复合材料广泛应用于航空航天、军事工业、汽车制造、土木建筑等领域；但是由于碳纤维复合材料在制造或使用过程中会形成各种形式的缺陷，影响复合材料各项性能指标，且有些缺陷的形成不可避免，因此检测缺陷是否满足阈值标准以判断零件品质是否能够达到合格使用条件显得尤为重要；然而，现有缺陷检测多通过人员肉眼对缺陷图像进行判定，自动化程度低，效率不高，无法满足快速高效生产要求；有必要结合最新的计算机视觉技术及传统的图像处理方法解决这个问题。
通过深度学习方法进行目标检测使得检测效率大大提升，并且由于人工神经网络强大的特征学习提取能力，目标检测的鲁棒性、精确度也得到了长足提高；以YOLO为代表的基于神经网络的目标检测算法逐步应用于生产生活的各个方面；通过神经网络对复合材料缺陷进行检出是高效快捷的方法，但是传统基于YOLO对复合材料的超声图像进行缺陷检测识别存在着最终得到的检测目标包围框依然包含非缺陷特征的问题，即最终检测结果的精度依旧有待提高。
图像分割是将图像分为多个子区域，也即超像素的过程；超像素是由一系列位置相邻，颜色、亮度、纹理等特征相似的像素组成小区域；这些小区域在良好分割的情况下紧密贴合图像边缘，从而保留了边缘内部信息，方便了后续处理。但是传统的超像素分割由于分割形成的子区域较多，因此在处理效率上有待提高。
因此，针对缺陷要求精度较高的复合材料缺陷检测，急需一种能够同时保证检测精度与检测效率的缺陷检测方法。
发明内容
本发明的目的在于提供基于深度学习和超像素分割的复材超声图像缺陷检测方法，能够对复合材料超声图像上的缺陷特征进行高效精确检测提取，同时保证了复合材料缺陷检测的精确性与高效性。
本发明通过下述技术方案实现：
基于深度学习和超像素分割的复材超声图像缺陷检测方法，包括以下步骤：
步骤1、对复材超声检测图像进行扩增形成训练样本集，基于训练样本集通过YOLOv3神经网络对复材缺陷进行特征检出与提取，得到缺陷目标检测包围框；
步骤2、采用超像素分割方法对复材超声检测图像进行像素级分割，得到若干超像素分割子区域；
步骤3、将包含缺陷的超像素分割子区域位于缺陷目标检测包围框外部的部分舍弃，将包含缺陷的超像素分割子区域位于缺陷目标检测包围框内部的部分保留并合并作为最终缺陷区域；
步骤4、拟合最终缺陷区域的最小外接矩形作为最终缺陷检测结果。
为了更好的实现本发明，进一步地，所述步骤3具体包括：
步骤3.1、提取与缺陷目标检测包围框存在像素重叠的所有超像素分割子区域，检测提取的超像素分割子区域中是否包含缺陷，将包含缺陷的超像素分割子区域保留，将不包含缺陷的超像素分割子区域舍弃；
步骤3.2、将步骤3.1中保留的包含缺陷的超像素分割子区域位于缺陷目标检测包围框内部的部分提取并合并，将步骤3.1中保留的包含缺陷的超像素分割子区域位于缺陷目标检测包围框外部的部分舍弃；
步骤3.3、拟合步骤3.2中提取合并的超像素分割子区域的最小外接矩形，并提取该最小外接矩形的坐标位置、尺寸参数、像素数作为最终缺陷检测结果。
为了更好的实现本发明，进一步地，所述步骤1具体包括：
步骤1.1、读取复材超声检测图像，并对复材超声检测图像中的缺陷进行人工标注形成标注目标框；
步骤1.2、从复材超声检测图像中随机截取若干子图区域，判断子图区域中是否包含标注目标框，若子图区域中包含标注目标框，则保留该子图区域；若子图区域中不包含标注目标框，则舍弃该子图区域；
步骤1.3、以复材超声检测图像的左上角点为起点，按照从左至右、从上至下的方向滑动切割复材超声检测图像得到若干子图区域，判断子图区域中是否包含标注目标框，若子图区域中包含标注目标框，则保留该子图区域；若子图区域中不包含标注目标框，则舍弃该子图区域；
步骤1.4、对步骤1.2与步骤1.3中保留的子图区域进行扩增操作以形成训练样本集，采用YOLOv3算法基于训练样本集进行缺陷识别训练以得到缺陷检测框，计算缺陷检测框与标注目标框的重合度，迭代上述过程直到缺陷检测框与标注目标框的重合度达到设定阈值后得到训练完毕的YOLOv3神经网络模型；
步骤1.5、通过滑动窗口在复材超声检测图像上截取子图区域，并采用训练完毕的YOLOv3神经网络模型对截取的子图区域进行缺陷识别以得到最终的缺陷目标检测包围框。
为了更好的实现本发明，进一步地，所述步骤1.2具体包括：
步骤1.2.1、以复材超声检测图像的左上角点为原点向右建立X轴，向下建立Y轴，提取复材超声检测图像的左上角点坐标为(SX，SY)；
步骤1.2.2、从复材超声检测图像中随机截取宽度为SW，高度为SH的子图区域，提取标注目标框的左上角点的坐标(BX，BY)，标注目标框的宽度BW，标注目标框的高度BH；
步骤1.2.3、判断当前子图区域中是否包含标注目标框，判断公式如下：
其中：BX为标注目标框的左上角点在X轴上的坐标；BY为标注目标框的左上角点在Y轴上的坐标；SX为复材超声检测图像的左上角点在X轴上的坐标；SY为复材超声检测图像的左上角点在Y轴上的坐标；BW为标注目标框沿X轴的宽度；BH为标注目标框沿Y轴的高度；SW为从复材超声检测图像中随机截取的子图区域沿X轴的宽度；SH为从复材超声检测图像中随机截取的子图区域沿Y轴的高度。
为了更好的实现本发明，进一步地，所述步骤1.3具体包括：
步骤1.3.1、以复材超声检测图像的左上角点为原点向右建立X轴，向下建立Y轴，提取复材超声检测图像的左上角点坐标为(SX，SY)；
步骤1.3.2、以复材超声检测图像的左上角点为起点，按照从左至右，从上至下的顺序在复材超声检测图像上滑动切割截取宽度为SW，高度为SH的子图区域，提取标注目标框的左上角点的坐标(BX，BY)，标注目标框的宽度BW，标注目标框的高度BH；
步骤1.3.3、判断当前子图区域中是否包含标注目标框，判断公式如下：
其中：BX为标注目标框的左上角点在X轴上的坐标；BY为标注目标框的左上角点在Y轴上的坐标；SX为复材超声检测图像的左上角点在X轴上的坐标；SY为复材超声检测图像的左上角点在Y轴上的坐标；BW为标注目标框沿X轴的宽度；BH为标注目标框沿Y轴的高度；SW为从复材超声检测图像中随机截取的子图区域沿X轴的宽度；SH为从复材超声检测图像中随机截取的子图区域沿Y轴的高度。
为了更好的实现本发明，进一步地，所述步骤1.3.2中滑动切割的滑动步长为宽度SW为的0.2倍或为高度SH的0.2倍。
为了更好的实现本发明，进一步地，所述步骤1.5中针对滑动窗口截取的子图区域，采用NMS算法计算子图区域上相邻的检测框之间的IoU值，若IoU值大于0.9，则将相邻的检测框合并，迭代上述过程直到得到最终的缺陷目标检测包围框。
为了更好的实现本发明，进一步地，所述步骤2具体包括：
步骤2.1、对复材超声检测图像进行超像素分割得到宽度为SPW，高度为SPH的K个超像素分割子区域；
步骤2.2、提取K个超像素分割子区域中心的K个中心像素点以及每个中心像素点周围的8个周边像素点，计算提取的中心像素点与周边像素点的梯度模值，提取K个超像素分割子区域中梯度模值最低的像素点作为当前超像素分割子区域的聚类中心；
步骤2.3、采用K-means算法迭代计算当前超像素分割子区域的聚类中心周围3SPW×3SPH范围内的像素点与聚类中心之间的距离以及当前超像素分割子区域中所有像素点的平均向量值，进而迭代得到新的聚类中心；
步骤2.4、以新的聚类中心为基准搜索其周围与聚类中心的像素点相似的若干像素，并将相似的像素点进行归类，直到造成像素点的类别标签改变的像素数量小于设定阈值则停止迭代，得到超像素分割子区域。
为了更好的实现本发明，进一步地，所述步骤2中对复材超声检测图像进行像素级分割之前，预先通过双边滤波器对复材超声检测图像进行保边去噪以及区域平滑处理，并将处理后的复材超声检测图像转换至单通道灰度空间。
本发明与现有技术相比，具有以下优点及有益效果：
本发明通过YOLOv3神经网络对复合材料的复材超声检测图像进行缺陷检测与提取，进而得到包含缺陷的缺陷目标检测包围框，保证了缺陷检测的高效性；同时本发明对复材超声检测图像进行超像素分割，进而得到包含缺陷的超像素分割子区域，并将不包含缺陷的超像素分割子区域舍弃，有效提高后续进行超像素分割子区域合并的效率；然后将位于缺陷目标检测包围框外部的超像素分割子区域舍弃，进一步提高超像素分割子区域的合并效率，然后将位于缺陷目标检测包围框内部的包含缺陷的超像素分割子区域合并并拟合出最小外接矩形，剔除了缺陷目标检测包围框内部不包含缺陷的部分对最终检测结果的影响，有效提高了缺陷检测识别结果的精确性。
附图说明
图1为本发明的流程步骤示意图；
图2为超像素分割子区域与缺陷目标检测包围框的初始位置关系图
图3为舍弃不包含缺陷的超像素分割子区域后的示意图；
图4为超像素分割子区域提取合并示意图；
图5为最小外接矩形的拟合示意图。
具体实施方式
实施例1：
本实施例的基于深度学习和超像素分割的复材超声图像缺陷检测方法，如图1所示，包括以下步骤：
步骤1、对复材超声检测图像进行随机剪切与完全划分形成训练样本集，基于训练样本集通过YOLOv3神经网络对复材缺陷进行特征检出与提取，得到缺陷目标检测包围框；为了解决训练样本集中样本数量不足的问题，对训练样本集中的样本进行旋转、翻转、随机拉伸等变换以实现样本扩增，然后通过YOLOv3神经网络基于训练样本集中的样本进行复材缺陷检测与提取的迭代训练，直到检测精度达标后即得到训练完成的YOLOv3神经网络模型，然后通过训练完成的YOLOv3神经网络模型对复材超声检测图像进行缺陷检测与提取，得到最终的缺陷目标检测包围框。
步骤2、采用超像素分割方法对复材超声检测图像进行像素级分割，得到若干超像素分割子区域；部分超像素分割子区域不包含缺陷，剩下的超像素分割子区域包含缺陷。
步骤3、将包含缺陷的超像素分割子区域位于缺陷目标检测包围框外部的部分舍弃，有效降低后续进行超像素分割子区域合并的运算量，提高超像素分割区域合并的效率。然后将包含缺陷的超像素分割子区域位于缺陷目标检测包围框内部的部分保留并合并作为最终缺陷区域；
步骤4、拟合最终缺陷区域的最小外接矩形作为最终缺陷检测结果。
实施例2：
本实施例在实施例1的基础上做进一步优化，所述步骤3具体包括：
步骤3.1、如图2和图3所示，提取与缺陷目标检测包围框存在像素重叠的所有超像素分割子区域，检测提取的超像素分割子区域中是否包含缺陷，将包含缺陷的超像素分割子区域保留，将不包含缺陷的超像素分割子区域舍弃，避免不包含缺陷的超像素分割子区域参与后续合并，有效提升超像素子区域的合并效率。
步骤3.2、如图4所示，将步骤3.1中保留的包含缺陷的超像素分割子区域位于缺陷目标检测包围框内部的部分提取并合并，将步骤3.1中保留的包含缺陷的超像素分割子区域位于缺陷目标检测包围框外部的部分舍弃，避免位于缺陷目标检测包围框外部的超像素分割子区域参与后续合并，进一步提升超像素分割子区域的合并效率。
步骤3.3、如图5所示，拟合步骤3.2中提取合并的超像素分割子区域的最小外接矩形，并提取该最小外接矩形的坐标位置、尺寸参数、像素数作为最终缺陷检测结果。
本实施例的其他部分与实施例1相同，故不再赘述。
实施例3：
本实施例在上述实施例1或2的基础上做进一步优化，所述步骤1具体包括：
步骤1.1、读取复材超声检测图像，并对复材超声检测图像中的缺陷进行人工标注形成标注目标框；
步骤1.2、随机剪切：从复材超声检测图像中随机截取若干子图区域，判断子图区域中是否包含标注目标框，若子图区域中包含标注目标框，则保留该子图区域；若子图区域中不包含标注目标框，则舍弃该子图区域；
步骤1.3、完全划分：以复材超声检测图像的左上角点为起点，按照从左至右、从上至下的方向滑动切割复材超声检测图像得到若干子图区域，判断子图区域中是否包含标注目标框，若子图区域中包含标注目标框，则保留该子图区域；若子图区域中不包含标注目标框，则舍弃该子图区域；
步骤1.4、对步骤1.2与步骤1.3中保留的子图区域进行扩增操作以形成训练样本集，采用YOLOv3算法基于训练样本集进行缺陷识别训练以得到缺陷检测框，计算缺陷检测框与标注目标框的重合度，迭代上述过程直到缺陷检测框与标注目标框的重合度达到设定阈值后得到训练完毕的YOLOv3神经网络模型；
YOLOv3算法中输入的子图区域的大小为800像素×800像素，采用Darknet-53架构对子图区域进行特征计算，Darknet-53包含卷积层，池化层。采用全卷积的技术，并引入residual结构解决深层网络的梯度问题。该网络末端采用Softmax分类器进行训练，学习率设定为0.001，batches及subdivisions依据训练显卡性能进行确定，采用Batchnormalization对权重参数及偏置参数进行迭代训练，设置权重衰减速率为0.0005，动量梯度下降参数为0.8，迭代上述过程直到缺陷检测框与标注目标框的重合度达到设定阈值后得到训练完毕的YOLOv3神经网络模型，并保存该训练权重参数。
步骤1.5、通过滑动窗口在复材超声检测图像上截取子图区域，并采用训练完毕的YOLOv3神经网络模型对截取的子图区域进行缺陷识别以得到最终的缺陷目标检测包围框。
将复材超声检测图像输入训练完毕的YOLOv3神经网络模型中，并采用步骤1.4中保存的权重参数对复材超声检测图像进行缺陷检测。在YOLOv3神经网络模型对复材超声检测图像进行缺陷识别的过程中采用跨尺度预测，采用3个尺度预测边界框，通过在训练样本集中的样本图像上进行K-means聚类得到缺陷目标检测包围框的尺寸，最终输出缺陷目标检测包围框的参数及置信度。
步骤1.5中采用滑动窗口在复材超声检测图像上滑动截取子区域是为了兼容满足不同尺寸零件的复材超声检测图像进行缺陷检测。
进一步的，所述步骤1.5中针对滑动窗口截取的子图区域，采用NMS算法计算子图区域上相邻的检测框之间的IoU值，若IoU值大于0.9，则将相邻的检测框合并，迭代上述过程直到得到最终的缺陷目标检测包围框。
本实施例的其他部分与上述实施例1或2相同，故不再赘述。
实施例4：
本实施例在上述实施例1-3任一项的基础上做进一步优化，所述步骤1.2具体包括：
步骤1.2.1、以复材超声检测图像的左上角点为原点向右建立X轴，向下建立Y轴，提取复材超声检测图像的左上角点坐标为(SX，SY)；
步骤1.2.2、从复材超声检测图像中随机截取宽度为SW，高度为SH的子图区域，提取标注目标框的左上角点的坐标(BX，BY)，标注目标框的宽度BW，标注目标框的高度BH；
步骤1.2.3、判断当前子图区域中是否包含标注目标框，判断公式如下：
其中：BX为标注目标框的左上角点在X轴上的坐标；BY为标注目标框的左上角点在Y轴上的坐标；SX为复材超声检测图像的左上角点在X轴上的坐标；SY为复材超声检测图像的左上角点在Y轴上的坐标；BW为标注目标框沿X轴的宽度；BH为标注目标框沿Y轴的高度；SW为从复材超声检测图像中随机截取的子图区域沿X轴的宽度；SH为从复材超声检测图像中随机截取的子图区域沿Y轴的高度。
本实施例的其他部分与上述实施例1-3任一项相同，故不再赘述。
实施例5：
本实施例在上述实施例1-4任一项的基础上做进一步优化，所述步骤1.3具体包括：
步骤1.3.1、以复材超声检测图像的左上角点为原点向右建立X轴，向下建立Y轴，提取复材超声检测图像的左上角点坐标为(SX，SY)；
步骤1.3.2、以复材超声检测图像的左上角点为起点，按照从左至右，从上至下的顺序在复材超声检测图像上滑动切割截取宽度为SW，高度为SH的子图区域，提取标注目标框的左上角点的坐标(BX，BY)，标注目标框的宽度BW，标注目标框的高度BH；
步骤1.3.3、判断当前子图区域中是否包含标注目标框，判断公式如下：
其中：BX为标注目标框的左上角点在X轴上的坐标；BY为标注目标框的左上角点在Y轴上的坐标；SX为复材超声检测图像的左上角点在X轴上的坐标；SY为复材超声检测图像的左上角点在Y轴上的坐标；BW为标注目标框沿X轴的宽度；BH为标注目标框沿Y轴的高度；SW为从复材超声检测图像中随机截取的子图区域沿X轴的宽度；SH为从复材超声检测图像中随机截取的子图区域沿Y轴的高度。
进一步的，所述步骤1.3.2中滑动切割的滑动步长为宽度SW为的0.2倍或为高度SH的0.2倍。
本实施例的其他部分与上述实施例1-4任一项相同，故不再赘述。
实施例6：
本实施例在上述实施例1-5任一项的基础上做进一步优化，所述步骤2具体包括：
步骤2.1、对复材超声检测图像进行超像素分割得到宽度为SPW，高度为SPH的K个超像素分割子区域；
步骤2.2、提取K个超像素分割子区域中心的K个中心像素点以及每个中心像素点周围的8个周边像素点，计算提取的中心像素点与周边像素点的梯度模值，提取K个超像素分割子区域中梯度模值最低的像素点作为当前超像素分割子区域的聚类中心；
步骤2.3、采用K-means算法迭代计算当前超像素分割子区域的聚类中心周围3SPW×3SPH范围内的像素点与聚类中心之间的距离以及当前超像素分割子区域中所有像素点的平均向量值，进而迭代得到新的聚类中心；
步骤2.4、以新的聚类中心为基准搜索其周围与聚类中心的像素点相似的若干像素，并将相似的像素点进行归类，直到造成像素点的类别标签改变的像素数量小于设定阈值则停止迭代，得到超像素分割子区域。
本实施例的其他部分与上述实施例1-5任一项相同，故不再赘述。
实施例7：
本实施例在上述实施例1-6任一项的基础上做进一步优化，所述步骤2中对复材超声检测图像进行像素级分割之前，预先通过双边滤波器对复材超声检测图像进行保边去噪以及区域平滑处理，并将处理后的复材超声检测图像转换至单通道灰度空间。
本实施例的其他部分与上述实施例1-6任一项相同，故不再赘述。
以上所述，仅是本发明的较佳实施例，并非对本发明做任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化，均落入本发明的保护范围之内。
Claims (9)
1.基于深度学习和超像素分割的复材超声图像缺陷检测方法，其特征在于，包括以下步骤：
步骤1、对复材超声检测图像进行扩增形成训练样本集，基于训练样本集通过YOLOv3神经网络对复材缺陷进行特征检出与提取，得到缺陷目标检测包围框；
步骤2、采用超像素分割方法对复材超声检测图像进行像素级分割，得到若干超像素分割子区域；
步骤3、将包含缺陷的超像素分割子区域位于缺陷目标检测包围框外部的部分舍弃，将包含缺陷的超像素分割子区域位于缺陷目标检测包围框内部的部分保留并合并作为最终缺陷区域；
步骤4、拟合最终缺陷区域的最小外接矩形作为最终缺陷检测结果。
2.根据权利要求1所述的基于深度学习和超像素分割的复材超声图像缺陷检测方法，其特征在于，所述步骤3具体包括：
步骤3.1、提取与缺陷目标检测包围框存在像素重叠的所有超像素分割子区域，检测提取的超像素分割子区域中是否包含缺陷，将包含缺陷的超像素分割子区域保留，将不包含缺陷的超像素分割子区域舍弃；
步骤3.2、将步骤3.1中保留的包含缺陷的超像素分割子区域位于缺陷目标检测包围框内部的部分提取并合并，将步骤3.1中保留的包含缺陷的超像素分割子区域位于缺陷目标检测包围框外部的部分舍弃；
步骤3.3、拟合步骤3.2中提取合并的超像素分割子区域的最小外接矩形，并提取该最小外接矩形的坐标位置、尺寸参数、像素数作为最终缺陷检测结果。
3.根据权利要求2所述的基于深度学习和超像素分割的复材超声图像缺陷检测方法，其特征在于，所述步骤1具体包括：
步骤1.1、读取复材超声检测图像，并对复材超声检测图像中的缺陷进行人工标注形成标注目标框；
步骤1.2、从复材超声检测图像中随机截取若干子图区域，判断子图区域中是否包含标注目标框，若子图区域中包含标注目标框，则保留该子图区域；若子图区域中不包含标注目标框，则舍弃该子图区域；
步骤1.3、以复材超声检测图像的左上角点为起点，按照从左至右、从上至下的方向滑动切割复材超声检测图像得到若干子图区域，判断子图区域中是否包含标注目标框，若子图区域中包含标注目标框，则保留该子图区域；若子图区域中不包含标注目标框，则舍弃该子图区域；
步骤1.4、对步骤1.2与步骤1.3中保留的子图区域进行扩增操作以形成训练样本集，采用YOLOv3算法基于训练样本集进行缺陷识别训练以得到缺陷检测框，计算缺陷检测框与标注目标框的重合度，迭代上述过程直到缺陷检测框与标注目标框的重合度达到设定阈值后得到训练完毕的YOLOv3神经网络模型；
步骤1.5、通过滑动窗口在复材超声检测图像上截取子图区域，并采用训练完毕的YOLOv3神经网络模型对截取的子图区域进行缺陷识别以得到最终的缺陷目标检测包围框。
4.根据权利要求3所述的基于深度学习和超像素分割的复材超声图像缺陷检测方法，其特征在于，所述步骤1.2具体包括：
步骤1.2.1、以复材超声检测图像的左上角点为原点向右建立X轴，向下建立Y轴，提取复材超声检测图像的左上角点坐标为(SX，SY)；
步骤1.2.2、从复材超声检测图像中随机截取宽度为SW，高度为SH的子图区域，提取标注目标框的左上角点的坐标(BX，BY)，标注目标框的宽度BW，标注目标框的高度BH；
步骤1.2.3、判断当前子图区域中是否包含标注目标框，判断公式如下：
其中：BX为标注目标框的左上角点在X轴上的坐标；BY为标注目标框的左上角点在Y轴上的坐标；SX为复材超声检测图像的左上角点在X轴上的坐标；SY为复材超声检测图像的左上角点在Y轴上的坐标；BW为标注目标框沿X轴的宽度；BH为标注目标框沿Y轴的高度；SW为从复材超声检测图像中随机截取的子图区域沿X轴的宽度；SH为从复材超声检测图像中随机截取的子图区域沿Y轴的高度。
5.根据权利要求3所述的基于深度学习和超像素分割的复材超声图像缺陷检测方法，其特征在于，所述步骤1.3具体包括：
步骤1.3.1、以复材超声检测图像的左上角点为原点向右建立X轴，向下建立Y轴，提取复材超声检测图像的左上角点坐标为(SX，SY)；
步骤1.3.2、以复材超声检测图像的左上角点为起点，按照从左至右，从上至下的顺序在复材超声检测图像上滑动切割截取宽度为SW，高度为SH的子图区域，提取标注目标框的左上角点的坐标(BX，BY)，标注目标框的宽度BW，标注目标框的高度BH；
步骤1.3.3、判断当前子图区域中是否包含标注目标框，判断公式如下：
其中：BX为标注目标框的左上角点在X轴上的坐标；BY为标注目标框的左上角点在Y轴上的坐标；SX为复材超声检测图像的左上角点在X轴上的坐标；SY为复材超声检测图像的左上角点在Y轴上的坐标；BW为标注目标框沿X轴的宽度；BH为标注目标框沿Y轴的高度；SW为从复材超声检测图像中随机截取的子图区域沿X轴的宽度；SH为从复材超声检测图像中随机截取的子图区域沿Y轴的高度。
6.根据权利要求5所述的基于深度学习和超像素分割的复材超声图像缺陷检测方法，其特征在于，所述步骤1.3.2中滑动切割的滑动步长为宽度SW为的0.2倍或为高度SH的0.2倍。
7.根据权利要求3所述的基于深度学习和超像素分割的复材超声图像缺陷检测方法，其特征在于，所述步骤1.5中针对滑动窗口截取的子图区域，采用NMS算法计算子图区域上相邻的检测框之间的IoU值，若IoU值大于0.9，则将相邻的检测框合并，迭代上述过程直到得到最终的缺陷目标检测包围框。
8.根据权利要求2所述的基于深度学习和超像素分割的复材超声图像缺陷检测方法，其特征在于，所述步骤2具体包括：
步骤2.1、对复材超声检测图像进行超像素分割得到宽度为SPW，高度为SPH的K个超像素分割子区域；
步骤2.2、提取K个超像素分割子区域中心的K个中心像素点以及每个中心像素点周围的8个周边像素点，计算提取的中心像素点与周边像素点的梯度模值，提取K个超像素分割子区域中梯度模值最低的像素点作为当前超像素分割子区域的聚类中心；
步骤2.3、采用K-means算法迭代计算当前超像素分割子区域的聚类中心周围3SPW×3SPH范围内的像素点与聚类中心之间的距离以及当前超像素分割子区域中所有像素点的平均向量值，进而迭代得到新的聚类中心；
步骤2.4、以新的聚类中心为基准搜索其周围与聚类中心的像素点相似的若干像素，并将相似的像素点进行归类，直到造成像素点的类别标签改变的像素数量小于设定阈值则停止迭代，得到超像素分割子区域。
9.根据权利要求8所述的基于深度学习和超像素分割的复材超声图像缺陷检测方法，其特征在于，所述步骤2中对复材超声检测图像进行像素级分割之前，预先通过双边滤波器对复材超声检测图像进行保边去噪以及区域平滑处理，并将处理后的复材超声检测图像转换至单通道灰度空间。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110714603.8A CN113298809B (zh) | 2021-06-25 | 2021-06-25 | 基于深度学习和超像素分割的复材超声图像缺陷检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110714603.8A CN113298809B (zh) | 2021-06-25 | 2021-06-25 | 基于深度学习和超像素分割的复材超声图像缺陷检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113298809A true CN113298809A (zh) | 2021-08-24 |
| CN113298809B CN113298809B (zh) | 2022-04-08 |
Family
ID=77329689
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110714603.8A Active CN113298809B (zh) | 2021-06-25 | 2021-06-25 | 基于深度学习和超像素分割的复材超声图像缺陷检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113298809B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114387271A (zh) * | 2022-03-23 | 2022-04-22 | 武汉铂雅科技有限公司 | 基于角点检测的空调塑料接水盘网格缺胶检测方法及系统 |
| CN116012283A (zh) * | 2022-09-28 | 2023-04-25 | 逸超医疗科技(北京)有限公司 | 一种全自动超声图像量测方法、设备及存储介质 |
| CN116403094A (zh) * | 2023-06-08 | 2023-07-07 | 成都菁蓉联创科技有限公司 | 一种嵌入式图像识别方法及系统 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9147255B1 (en) * | 2013-03-14 | 2015-09-29 | Hrl Laboratories, Llc | Rapid object detection by combining structural information from image segmentation with bio-inspired attentional mechanisms |
| CN107833220A (zh) * | 2017-11-28 | 2018-03-23 | 河海大学常州校区 | 基于深度卷积神经网络与视觉显著性的织物缺陷检测方法 |
| CN108961235A (zh) * | 2018-06-29 | 2018-12-07 | 山东大学 | 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法 |
| CN109658381A (zh) * | 2018-11-16 | 2019-04-19 | 华南理工大学 | 一种基于超像素的柔性ic封装基板的铜面缺陷检测方法 |
| CN110310259A (zh) * | 2019-06-19 | 2019-10-08 | 江南大学 | 一种基于改进YOLOv3算法的木结瑕疵检测方法 |
| CN110400296A (zh) * | 2019-07-19 | 2019-11-01 | 重庆邮电大学 | 连铸坯表面缺陷双目扫描与深度学习融合识别方法及系统 |
| CN110827244A (zh) * | 2019-10-28 | 2020-02-21 | 上海悦易网络信息技术有限公司 | 一种用于电子设备外观瑕疵检测的方法与设备 |
| CN111210408A (zh) * | 2019-12-30 | 2020-05-29 | 南京航空航天大学 | 一种基于射线图像的复合材料缺陷识别方法 |
| CN111598084A (zh) * | 2020-05-11 | 2020-08-28 | 北京阿丘机器人科技有限公司 | 缺陷分割网络训练方法、装置、设备及可读存储介质 |
| CN111695482A (zh) * | 2020-06-04 | 2020-09-22 | 华油钢管有限公司 | 一种管道缺陷识别方法 |
| CN112541930A (zh) * | 2019-09-23 | 2021-03-23 | 大连民族大学 | 基于级联式的图像超像素目标行人分割方法 |
| CN112819771A (zh) * | 2021-01-27 | 2021-05-18 | 东北林业大学 | 一种基于改进YOLOv3模型的木材缺陷检测方法 |
-
2021
- 2021-06-25 CN CN202110714603.8A patent/CN113298809B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9147255B1 (en) * | 2013-03-14 | 2015-09-29 | Hrl Laboratories, Llc | Rapid object detection by combining structural information from image segmentation with bio-inspired attentional mechanisms |
| CN107833220A (zh) * | 2017-11-28 | 2018-03-23 | 河海大学常州校区 | 基于深度卷积神经网络与视觉显著性的织物缺陷检测方法 |
| CN108961235A (zh) * | 2018-06-29 | 2018-12-07 | 山东大学 | 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法 |
| CN109658381A (zh) * | 2018-11-16 | 2019-04-19 | 华南理工大学 | 一种基于超像素的柔性ic封装基板的铜面缺陷检测方法 |
| CN110310259A (zh) * | 2019-06-19 | 2019-10-08 | 江南大学 | 一种基于改进YOLOv3算法的木结瑕疵检测方法 |
| CN110400296A (zh) * | 2019-07-19 | 2019-11-01 | 重庆邮电大学 | 连铸坯表面缺陷双目扫描与深度学习融合识别方法及系统 |
| CN112541930A (zh) * | 2019-09-23 | 2021-03-23 | 大连民族大学 | 基于级联式的图像超像素目标行人分割方法 |
| CN110827244A (zh) * | 2019-10-28 | 2020-02-21 | 上海悦易网络信息技术有限公司 | 一种用于电子设备外观瑕疵检测的方法与设备 |
| CN111210408A (zh) * | 2019-12-30 | 2020-05-29 | 南京航空航天大学 | 一种基于射线图像的复合材料缺陷识别方法 |
| CN111598084A (zh) * | 2020-05-11 | 2020-08-28 | 北京阿丘机器人科技有限公司 | 缺陷分割网络训练方法、装置、设备及可读存储介质 |
| CN111695482A (zh) * | 2020-06-04 | 2020-09-22 | 华油钢管有限公司 | 一种管道缺陷识别方法 |
| CN112819771A (zh) * | 2021-01-27 | 2021-05-18 | 东北林业大学 | 一种基于改进YOLOv3模型的木材缺陷检测方法 |
Non-Patent Citations (5)
| Title |
|---|
| ABDULKADIR ALBAYRAK等: "A Hybrid Method of Superpixel Segmentation Algorithm and Deep Learning Method in Histopathological Image Segmentation", 《2018 INNOVATIONS IN INTELLIGENT SYSTEMS AND APPLICATIONS (INISTA)》 * |
| YUTU YANG等: "Wood Defect Detection Based on Depth Extreme Learning Machine", 《APPLIED SCIENCES》 * |
| 刘英等: "基于优化卷积神经网络的木材缺陷检测", 《林业工程学报》 * |
| 姜涛等: "基于卷积神经网络和超像素的CT图像肝脏分割", 《中国医疗设备》 * |
| 王璨等: "基于卷积神经网络提取多尺度分层特征识别玉米杂草", 《农业工程学报》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114387271A (zh) * | 2022-03-23 | 2022-04-22 | 武汉铂雅科技有限公司 | 基于角点检测的空调塑料接水盘网格缺胶检测方法及系统 |
| CN114387271B (zh) * | 2022-03-23 | 2022-06-10 | 武汉铂雅科技有限公司 | 基于角点检测的空调塑料接水盘网格缺胶检测方法及系统 |
| CN116012283A (zh) * | 2022-09-28 | 2023-04-25 | 逸超医疗科技(北京)有限公司 | 一种全自动超声图像量测方法、设备及存储介质 |
| CN116012283B (zh) * | 2022-09-28 | 2023-10-13 | 逸超医疗科技(北京)有限公司 | 一种全自动超声图像量测方法、设备及存储介质 |
| CN116403094A (zh) * | 2023-06-08 | 2023-07-07 | 成都菁蓉联创科技有限公司 | 一种嵌入式图像识别方法及系统 |
| CN116403094B (zh) * | 2023-06-08 | 2023-08-22 | 成都菁蓉联创科技有限公司 | 一种嵌入式图像识别方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113298809B (zh) | 2022-04-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106875381B (zh) | 一种基于深度学习的手机外壳缺陷检测方法 | |
| CN113298809B (zh) | 基于深度学习和超像素分割的复材超声图像缺陷检测方法 | |
| CN115861135B (zh) | 一种应用于箱体全景探测的图像增强及识别方法 | |
| CN108765371B (zh) | 一种病理切片中非常规细胞的分割方法 | |
| CN113160192B (zh) | 复杂背景下基于视觉的压雪车外观缺陷检测方法及装置 | |
| CN108562589B (zh) | 一种对磁路材料表面缺陷进行检测的方法 | |
| CN110175982B (zh) | 一种基于目标检测的缺陷检测方法 | |
| CN109977997B (zh) | 基于卷积神经网络快速鲁棒的图像目标检测与分割方法 | |
| CN111914698B (zh) | 图像中人体的分割方法、分割系统、电子设备及存储介质 | |
| CN111915704A (zh) | 一种基于深度学习的苹果分级识别方法 | |
| CN113724231B (zh) | 一种基于语义分割和目标检测融合模型的工业缺陷检测方法 | |
| CN108305260B (zh) | 一种图像中角点的检测方法、装置及设备 | |
| CN111161222B (zh) | 一种基于视觉显著性的印刷辊筒缺陷检测方法 | |
| CN111860439A (zh) | 一种无人机巡检图像缺陷检测方法、系统及设备 | |
| CN110910445B (zh) | 一种物件尺寸检测方法、装置、检测设备及存储介质 | |
| CN110598698A (zh) | 基于自适应区域建议网络的自然场景文本检测方法和系统 | |
| CN111161213B (zh) | 一种基于知识图谱的工业产品缺陷图像分类方法 | |
| CN113609984A (zh) | 一种指针式仪表读数识别方法、装置及电子设备 | |
| CN111868783B (zh) | 基于边界提取的区域合并图像分割算法 | |
| CN113989604A (zh) | 基于端到端深度学习的轮胎dot信息识别方法 | |
| CN112686872B (zh) | 基于深度学习的木材计数方法 | |
| CN110889418A (zh) | 一种气体轮廓识别方法 | |
| CN111047614A (zh) | 一种基于特征提取的复杂场景图像的目标角点提取方法 | |
| CN106056575A (zh) | 一种基于似物性推荐算法的图像匹配方法 | |
| CN114998701A (zh) | 基于像素特征匹配的目标检测损失优化方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |