CN111695482A - 一种管道缺陷识别方法 - Google Patents

一种管道缺陷识别方法 Download PDF

Info

Publication number
CN111695482A
CN111695482A CN202010502444.0A CN202010502444A CN111695482A CN 111695482 A CN111695482 A CN 111695482A CN 202010502444 A CN202010502444 A CN 202010502444A CN 111695482 A CN111695482 A CN 111695482A
Authority
CN
China
Prior art keywords
defect
target
pipeline
image
grid
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010502444.0A
Other languages
English (en)
Inventor
孙志刚
刘传水
赵毅
张恕孝
蓝梦莹
邹志忠
孙少卿
于振宁
刘晶晶
王艳云
魏婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Shengyao Intelligent Science & Technology Co ltd
North China Petroleum Steel Pipe Co ltd
Original Assignee
Shanghai Shengyao Intelligent Science & Technology Co ltd
North China Petroleum Steel Pipe Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Shengyao Intelligent Science & Technology Co ltd, North China Petroleum Steel Pipe Co ltd filed Critical Shanghai Shengyao Intelligent Science & Technology Co ltd
Priority to CN202010502444.0A priority Critical patent/CN111695482A/zh
Publication of CN111695482A publication Critical patent/CN111695482A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/954—Inspecting the inner surface of hollow bodies, e.g. bores
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Probability & Statistics with Applications (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供的一种管道缺陷识别的方法，在管道机器人实时传送管道内视频的同时，将视频采样为关键帧图像，并对图像中的管道缺陷进行有效的识别和抓取，将提取到的缺陷图像定位标记保存，本发明以DefectNet的基本思想将目标缺陷检测作为回归问题解决，首先通过卷积神经元网络进行特征提取得到一定尺寸的特征图，然后多尺度预测把不同尺度特征图划分为若干网格，缺陷目标的中心落在哪个网格，哪个网格就负责预测该缺陷目标，最后就是目标分类和边框回归，每个网格判定缺陷目标所属的类别以及对边框位置进行调整，与现有的技术相比，提高了检测精度和检测效率，具有较高的创新性和实用价值，适宜推广。

Description

一种管道缺陷识别方法
技术领域
本发明属于计算机视觉与机器学习领域，尤其涉及一种管道缺陷识别方法。
背景技术
传统的管道缺陷识别方法采用人工实时检测，或采用传统的典型缺陷检测算法Haar特征+Adaboost算法、Hog特征+Svm算法、DPM算法等进行缺陷检测。人工检测工作量大，采用传统算法也存在一些问题：传统的缺陷检测算法使用滑动窗口选择候选区域时没有针对性，同时，使用滑动窗口遍历一张图片时，所有的窗口都要分别进行一次计算，时间复杂度高，窗口冗余。这严重影响了后面的特征提取以及分类的效率。窗口的大小需要手工设定，需要设置不同的尺度以致鲁棒性不高。此外，在进行特征提取时，由于缺陷形态特征的多样性，光照强度以及背景变化的影响使得特征提取没有很好地鲁棒性，这也直接影响了分类的准确率。
发明内容
为解决上述背景技术中存在的缺陷，本发明提供的一种管道缺陷识别方法，通过Defect_Net智能检测模型进行目标检测，解决了现在技术中传统缺陷识别算法存在分类效率低，准确率不高的问题，适用于对管道内壁缺陷的检测，为实现上述目的，本发明技术解决方案如下：
一种管道缺陷识别方法，包括以下步骤：
步骤一，检测模型的训练，首先由管道机器人携带高清摄像头进入管道内部进行采集图像，将采集到的图像运用DefectNet方法中的目标缺陷检测模型进行训练；
步骤二，将训练好的模型应用于后续的缺陷检测；
步骤三，缺陷检测，具体缺陷检测方法采用管道机器人携带高清摄像头进入管道内部，将实时回传的视频进行采样为关键帧图像，并对图像中的管道缺陷进行有效的识别，其缺陷检测步骤为：
1.1)、分割图像和边界框的预测，分割图像采用超像素分割方法，提取图像前景和背景信息，主要检测图像前景信息，从而提高检测效率，DefectNet将输入图像分割成若干个格子，每个格子在不同的尺度预测边界框及其置信度和缺陷属于某种类别的概率信息，其中边界框信息为缺陷的中心位置相对于格子位置的偏移量、宽度和高度，置信度反映是否包含缺陷以及包含缺陷情况下位置的准确性；DefectNet对每个边界框通过逻辑回归预测一个缺陷的得分，然后根据此得分获取缺目标陷部位状况；
1.2)、卷积神经元网络提取网格中的特征，卷积神经元网络对整个图像进行系列卷积运算，得到特征图，取出特征图上每个边框内的特征形成高维特征向量；
1.3)、图像中缺陷的识别分类，每个网格预测若干个边界框，根据计算得到的分类误差，置信度以及类别概率等判别缺陷。
步骤四，将识别的结果进行分类保存。
优选地，步骤一中的对目标缺陷检测模型的训练包括以下几个步骤：
2.1)、将输入图像分成若干个网格，每个网格负责检测‘落入’该网格的管道内壁缺陷；
2.2)、对每个网格用卷积神经元网络提取特征，形成高维特征向量，所述卷积神经元网络为训练好的ImageNet网络；
2.3)、利用边框和提取出的特征对卷积神经元网络进行调优，调优依据标准的反向传播算法进行，从特征图开始向后调整各层权重；
2.4)、以特征图输出的高维特征向量和缺陷类别标签为输入，训练对目标边框和目标类别进行精细回归的回归器。
优选地，步骤三中具体为步骤1.1)中的所述的分割图像采用超像素分割(SLIC)算法并结合图和流形排序的显著性检测算法。这种方法的特征在于使用了超像素分割网格替代了传统的固定大小的网格，更有利于提取不规则的管道缺陷，而且有效地提取背景区域和前景显著目标。其具体实现的步骤如下：
3.1)、由SLIC算法生成超像素，构造一个以超像素为节点的闭环图；
3.2)、利用流形排序的显著性检测算法对图像背景先验的流行排序和前景上的流行排序；即使用图像每一侧的节点作为标记的背景种子点来开拓边界先验。从每个标记结果中，根据节点与这些种子点的相关性(即排名)计算节点的显著性作为背景标签，将四个标记的图集成以生成一幅显著性图。将前面的结果进行二值分割，并将标记的前景节点作为显著种子点。基于每个节点与最终映射的前景种子点的相关性来计算每个节点的显著性，以获得最终的显著性图。
优选地，步骤三具体为步骤1.1)中DefectNet设定的阈值是0.5，如果预测的边界框与真实的边框值大部分重合且比其他所有预测的要好，那么所述得分值为1，如果重合度没有达到此阈值，预测的边界框将会被忽略，显示成没有损失值。
优选地，步骤三中缺陷检测采取的检测框架由VGG16内核和DefectNet的检测框架组成，所述DefectNet借鉴了Faster R-卷积神经元网络中的Anchor box的思想，在公开的COCO数据集上，使用了K-means聚类的方法来对Anchor box的大小进行初始化，按图像输入尺寸416*416得到了9中不同尺度的Anchor box聚类结果，其大小分别是(10*13)，(16*30)，(33*23)，(30*61)，(62*45)，(59*119)，(116*90)，(156*198)，(373*362)。
优选地，所述DefectNet在3个不同尺度的特征图上进行预测，这三个不同尺度分别是尺寸为(13*13)的最小尺度特征图，尺寸为(26*26)的中尺度特征图和尺寸为(52*52)的最大尺度特征图。
优选地，所述置信度包括预测框的置信度和类别预测的置信度，其中所述预测框的置信度表示该缺陷目标的置信度和预测框的准确度的乘积，其公式如下所示：
Figure BDA0002524478400000041
，其中Condifence表示预测框的置信度，Pr(Object)表示该缺陷目标的置信度，
Figure BDA0002524478400000042
表示预测框的准确度其为真实框与预测框的交并比，若该缺陷目标中心落在这个网格内，则Pr(Object)为1，否则为0；所述类别预测的置信度为类别预测的概率乘以边界框的置信度，所述类别预测的概率为在单元格中存在缺陷目标的情况下，正确识别缺陷目标的概率。
有益效果，本发明具有以下有益效果：
1.本发明采用的一种管道缺陷识别的方法，在管道机器人实时传送管道内视频的同时，将视频采样为关键帧图像，并对图像中的管道缺陷进行有效的识别和抓取，将提取到的缺陷图像定位标记保存，与现有的技术相比，提高了检测精度和检测效率。
2.在DefectNet中，由于特征图中每个网格可以预测3个Anchor box，因此有效的解决了多个缺陷目标重叠的问题，有效解决了缺陷目标重叠的问题。
附图说明
图1是Defect_Net模型智能缺陷检测流程图；
图2是VGG16和DefectNet目标缺陷检测框架图；
图3是多尺度预测原理图；
图4是DefectNet目标缺陷检测网络结构；
图5是预测框示意图；
图6是边框回归示意图；
图7是Softmax分类器效果示意图；
图8是逻辑分类器示意图；
图9是图像超像素分割及灰度化实验结果。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅对本发明进行进一步详细说明而不是全部的实施例，不构成对本发明的限定。
DefectNet的基本思想为将目标缺陷检测作为回归问题解决，其实现方法为首先通过卷积神经元网络进行特征提取得到一定尺寸的特征图，然后就是多尺度预测即把不同尺度特征图划分为若干网格，缺陷目标的中心落在哪个网格，哪个网格就负责预测该缺陷目标。最后就是目标分类和边框回归，每个网格预测的内容包括4个坐标信息和一个置信度以及若干个类别数，然后每个网格判定缺陷目标所属的类别以及对边框位置进行调整。本方案提出的Defect_Net智能检测模型具体算法介绍如下，如图1所示一种管道缺陷识别方法，包括以下步骤：
步骤一，首先由管道机器人携带高清摄像头进入管道内部进行采集图像，将采集到的图像运用DefectNet方法中的目标缺陷检测模型进行训练；DefectNet方法中的目标缺陷检测模型是一种以人工智能中最核心的深度学习算法原理为基础的模型，模型需要通过对已有缺陷图像数据进行训练，通过优化缺陷特征提取的网络参数，使其更加准确的识别并找到缺陷；
步骤二，将训练好的模型应用于后面的缺陷检测。
步骤三，在网络训练完成后，该模型就可以用于实时对缺陷进行检测，具体缺陷检测方法采用管道机器人携带高清摄像头进入管道内部，将实时回传的视频进行采样为关键帧图像，并对图像中的管道缺陷(电弧烧伤、夹渣、管体凹坑、硬点、裂纹、焊缝缺陷等)进行有效的识别，具体缺陷检测识别步骤为：
1.1)、分割图像，边界框的预测和分类，DefectNet将输入图像分成S x S(S为自然数)个格子，每个格子在3个不同的尺度预测若干个边界框及其置信度，以及若干缺陷属于某种类别的概率信息，边界框信息为缺陷的中心位置相对于格子位置的偏移量及宽度和高度，置信度反映是否包含缺陷以及包含缺陷情况下位置的准确性，DefectNet对每个边界框通过逻辑回归预测一个缺陷的得分，如果预测的这个边界框与真实的边框值大部分重合且比其他所有预测的要好，那么这个值就为1，如果重合度没有达到一个阈值(DefectNet中设定的阈值是0.5)，那么这个预测的边界框将会被忽略，也就是会显示成没有损失值，所述的分割图像采用超像素分割方法，使每个分割的网格形状不是固定的，这样可以更好地提取缺陷特征和范围。
1.2)、卷积神经元网络提取网格中的特征，卷积神经元网络对整个图像进行系列卷积运算，得到特征图，取出特征图上每个边框内的特征形成高维特征向量。
1.3)、图像中缺陷的识别分类，每个网格预测多个边界框，根据计算得到的分类误差，置信度以及类别概率等判别缺陷。
步骤四，最后将识别的结果进行分类保存。
其中DefectNet方法中的目标缺陷检测模型是一种以人工智能中最核心的深度学习算法原理为基础的模型，模型需要通过对已有缺陷图像数据进行训练，通过优化缺陷特征提取的网络参数，使其更加准确的识别并找到缺陷，步骤一中的对目标缺陷检测模型的训练包括以下几个步骤：
2.1)、将输入图像分成若干个网格，每个网格负责检测‘落入’该网格的管道内壁缺陷；
2.2)、对每个网格用卷积神经元网络提取特征，形成高维特征向量，所述卷积神经元网络为训练好的ImageNet网络；
2.3)、利用边框和提取出的特征对卷积神经元网络进行调优，调优依据标准的反向传播算法进行，从特征图开始向后调整各层权重；
2.4)、以特征图输出的高维特征向量和缺陷类别标签为输入，训练对目标边框和目标类别进行精细回归的回归器。
步骤三中具体为步骤1.1)中的所述的分割图像采用分割图像采用超像素分割(SLIC)算法与图和流形排序的显著性检测算法相结合的方法，其步骤为：第一部分，由SLIC算法生成超像素，构造一个以超像素为节点的闭环图；第二部分，利用图和流形排序的显著性检测算法对图像背景先验的流行排序和前景上的流行排序；这种方法的特征在于使用了超像素分割网格替代了传统的固定大小的网格，更有利于提取不规则的管道缺陷，而且有效地提取背景区域和前景显著目标。其中，超像素(SLIC)算法具体实现步骤:
3.1)、初始化种子点(聚类中心)：种子点分配以超像素个数为基准，假设图片总共有N个像素点，预分割为K个相同尺寸的超像素，那个每个超像素的大小为N/K，则相令种子点的距离(步长)近似为S＝sqrt(N/K)；
3.2)、在种子点的n*n邻域内重新选择种子点(一般取n＝3)。具体方法为：计算该邻域内所有像素点的梯度值，将种子点移动该邻域内梯度最小的地方，这样做的目的是为了避免种子点落在梯度较大的轮廓边界上，以免影响后续聚类效果；
3.3)、在每个种子点周围的邻域内为每个像素点分配类标签(即属于哪个聚类中心)。SLIC的搜索范围限制为2S*2S，这样可以加速算法收敛；
3.4)、接着进行距离度量。距离度量包括颜色距离和空间距离。对于每个搜索到的像素点，分别计算它和该种子点的距离，其距离计算方法如下：
Figure BDA0002524478400000091
Figure BDA0002524478400000092
Figure BDA0002524478400000093
其中，dc代表颜色距离，ds代表空间距离，Ns是类内最大空间距离，定义为Ns＝S＝sqrt(N/K)，适用于每个聚类。由于颜色距离会随着聚类到聚类、图像到图像而变化，因此确定最大颜色距离Nc由常量m来代替。因此，距离度量表达式为：
Figure BDA0002524478400000094
3.5)、不断迭代优化，直到收敛；
3.6)、增强连通性。经过上述迭代优化可能出现以下瑕疵：出现多连通情况、超像素尺寸过小，单个超像素切割成多个不连续超像素等，这些情况可以通过增强连通性解决。主要思路是：新建一张标记表，表内元素均为-1，按照“Z”型走向(从左到右，从上到下顺序)将不连续的超像素、尺寸过小超像素重新分配给邻近的超像素，遍历过的像素点分配给相应的标签，直到所有点遍历完毕为止。
Manifold Ranking图和流形排序的显著性检测算法原理：
给定数据集X＝{x1，...，xl，xl+1，...，xn}∈R(m*n)，一些数据点补标记成种子点，其余的节点需要根据他们与种子点的相关性进行排序。让f：X→Rn记作成一个排序函数，它对于每一个数据点xi分配一个排序值fi，f可以被看与一个向量f＝[f1，f2，...，fn]T。让y＝[y1，y2，...，yn]作为一个指示向量，如果xi是一个种子点，则yi＝1，否则等于0。然后，我们在数据集上定义一个图G＝(V，E)，这里V代表数据集X，边缘E由邻接矩阵W＝[wij]n×n加权，通过求解以下优化问题来计算种子点的最佳排名，其公式如下：
Figure BDA0002524478400000101
其中，参数μ控制平滑度约束(第一项)和拟合约束(第二项)的平衡。也就是说，良好的排名函数不应该在附近点之间变化太多(平滑约束)，并且不应该与初始种子点赋值(拟合约束)相差太多。通过将上述函数的导数设置为零来计算最小解。通过变换，最终的排名函数可以写成：
f*＝(D-αW)-1y
图2为目标缺陷检测框架，由VGG16内核+DefectNet检测框架组成，采用的DefectNet借鉴了Faster R-卷积神经元网络中的Anchor box的思想，在公开的COCO数据集上，使用了K-means聚类的方法来对Anchor box的大小进行初始化，按图像输入尺寸416*416得到了9中不同尺度的Anchor box聚类结果，其大小分别是(10*13)，(16*30)，(33*23)，(30*61)，(62*45)，(59*119)，(116*90)，(156*198)，(373*362)。其中由于DefectNet有3种尺度进行分类预测，所以在每个尺度的特征图上分得3个Anchor box。其中，大的尺度特征语义少，适合检测小目标，用小的Anchor box以提高对小目标的检测，小尺度适合检测大目标，用大的Anchor box，不同尺度下Anchor box的分配如下：13*13的特征图中Anchor box为(116*90)，(156*198)，(373*362)，26*26的特征图Anchor box为(30*61)，(62*45)，(59*119)，52*52的特征图Anchor box为(10*13)，(16*30)，(33*23)。因此DefectNet算法中box的预测计算量大，总共的数量为(13*13+26*26+52*52)*3＝10647个。
DefectNet中Anchor box的聚类及初始化
(1)Anchor box的聚类：
DefectNet中引入的Anchor box是一组宽高固定的候选框，它的设定直接关系着目标缺陷检测的精度和速度。技术人员在公开的数据集中使用K-means聚类对目标框进行聚类分析，通过学习标注的目标特征，统计其宽高的规律，同时使用K即Anchor box个数作为聚类个数，根据聚类目标函数的变化来最终确定候选框的个数。
在以往的K-means聚类算法中，一个数据集给定K个类，接着再求每个类的均值得出聚类中心，然后每个类到聚类中心的欧式距离最短。然而在候选框的选择中，大的候选框比小的候选框会带来更大的误差，因此技术人员选用了交并比来代替消除其带来的误差。其最终的函数公式如式所示：
d(box，centroid)＝1-IOU(box，centroid)
聚类的目标函数如式所示：
Figure BDA0002524478400000121
其中，box代表候选框，truth代表真实目标框，随着k值的增大，目标函数变小，在公开的数据集技术人员使用聚类算法，根据目标函数的变化最终选择了k等于9，即Anchorbox个数为9。
(2)Anchor box的初始化：
DefectNet借鉴了Faster R-卷积神经元网络中的Anchor box的思想，在公开的COCO数据集上，使用了K-means聚类的方法来对Anchor box的大小进行初始化，按图像输入尺寸416*416得到了9中不同尺度的Anchor box聚类结果，其大小分别是(10*13)，(16*30)，(33*23)，(30*61)，(62*45)，(59*119)，(116*90)，(156*198)，(373*362)。其中由于DefectNet有3种尺度进行分类预测，所以在每个尺度的特征图上分得3个Anchor box。其中，小的尺度特征语义少，适合检测小目标，用小的Anchor box以提高对小目标的检测，小尺度适合检测大目标，用大的Anchor box，不同尺度下Anchor box的分配如下：13*13的特征图中Anchor box为(116*90)，(156*198)，(373*362)，26*26的特征图Anchor box为(30*61)，(62*45)，(59*119)，52*52的特征图Anchor box为(10*13)，(16*30)，(33*23)。因此DefectNet算法中box的预测计算量大，总共的数量为(13*13+26*26+52*52)*3＝10647个。
在之前的yolo中一个网格只能输出一个类别，在DefectNet中，由于特征图中每个网格可以预测3个Anchor box，因此有效的解决了3个缺陷目标重叠的问题，事实上，对于两个以上的缺陷目标中心重叠的情况已经很少了，因此，有效解决了缺陷目标重叠的问题。
DefectNet多尺度特征融合与预测
DefectNet在3个不同尺度的特征图上进行预测，这三个不同尺度分别是13*13，26*26，52*52的特征图，低层的特征语义少，但目标位置信息准确，适合检测尺寸小的对象，高层特征语义大，感受野大位置信息粗略适合检测尺寸大的缺陷目标。同时采用特征融合利于加强小目标缺陷检测精度，其原理图如图3所示：
DefectNet中在3个尺度的进行特征融合然后分别在特征图上独立检测，最终使得小目标缺陷检测效果得到了提升。
最小尺度特征图(13*13)：尺寸为13*13，通道数为1024的特征图，经过一系列卷积运算后输出为13*13，通道数为18的特征图，然后在此基础上进行目标分类与边框回归。
中尺度特征图(26*26)：通过route层引入22层中尺寸为13*13，通道数为512的特征图，经过一系列卷积运算后以及上采样后生成26*26，通道数为256的特征图，然后通过route层将其16层中26*26，通道数为512的特征图融合，然后经过一系列的卷积运算生成26*26，通道18的特征图，然后在此基础上进行目标分类与边框回归。
最大尺度特征图(52*52)：对34层中26*26，通道256的特征图进行卷积运算和上采样运算生成52*52，通道128的特征图，然后将其与12层中臣，通道为512的特征图进行融合，然后经过一系列的卷积运算生成52*52，通道数为18的特征图，然后在此基础上进行目标分类与边框回归。其目标缺陷检测网络结构进行目标缺陷检测时打印的信息如图4所示：在对输入图片进行预测时，将输入的特征图分解成网格后，如(13*13)特征图分解成13*13的网格，长和宽都为1，然后网格会输出一个向量，他会告诉我们网格中是否包含对象，然后每个单元格会选用合适的anchor box来预测它，事实上，大多数的预测的锚箱具有很低的缺陷目标概率存在值，因为大多数的网格中是没有包含缺陷目标的，然后使用非极大抑制来消除不可能出现的边界框。anchor box由哪个anchor box与缺陷目标真实框的交并比(IOU)最大来确定，交并比即为预测框与标注框并集除以他们的交集。当选用交并比最大的anchor box来进行预测后，则其余交并比较小的不与其进行匹配，接着所匹配的锚箱就要就行边框回归。
在对目标进行检测时，目标中心落在哪个单元格，就由哪个单元格负责预测这个目标。事实上，这要分两个阶段看，即训练阶段和预测阶段。再训练阶段，根据我们打的标签信息，训练教会单元格预测落在自己格子中的缺陷目标。换言之，在训练阶段，教会单元格预测图像中的落在自己格子中的类别以及训练后让模型自己寻找缺陷目标的中心。在测试阶段自然就就会了单元格去预测落在该格子中的缺陷目标。然而，在图像中预测中，如果格子划分的比较细，相邻的格子就会有接近的预测值，同时由于采用了多尺度预测，那么这需要预测10647个预测框，然而图像检测输出的目标框可能只有几个，这时我们采用非极大抑制来过滤边界框。首先舍弃掉所有缺陷目标概率存在值小于等于0.6的格子，然后在剩余格子中取出缺陷目标存在概率最大的作为预测值舍掉交并比大于0.5的格子，然后剔除该边界框重复第二步直没有剩余边界框。
bounding box的预测
在确定了由哪个anchor box来预测后，然后通过平移和尺度缩放最终输出边界框的位置。其预测的计算公式如下式所示：
bx＝σ(tx)+cx
by＝σ(ty)+cy
Figure BDA0002524478400000151
Figure BDA0002524478400000152
其中，cx，cy为特征图中负责预测缺陷目标单元格左上角的坐标，ph，Pw为预测的anchor box映射到特征图中的高和宽，anchor box的大小是在416*416的输入图像中聚类得出来的，因此在特征图中需要进行将anchor box进行归一化处理，
Figure BDA0002524478400000153
tx，ty，是预测的坐标相对于真值的偏移值。tw，th为尺度缩放，最后得到的bx，by，bw，bh，为预测框在特征图上的左上角坐标，宽以及高，对应到输出图片上还要进行缩放，如图5、图6所示：在DefectNet算法中，由于输出的是卷积特征图，在网络中直接学习bx，by，bw，bh不方便，因此网络中学习的实际上是tx，ty两个预测坐标偏移量以及tw，th另个尺度缩放量。有了这些值，自然可以求得预测框的坐标。4个偏移值计算公式如下：
tx＝Gx–Cx
ty＝Gy–Cy
tw＝log(Gw/Pw)
th＝log(Gh/Ph)
其中Gx，Gy，Gw，Gh，是标注的缺陷目标映射到特征图上的4个坐标，它也要通过归一化处理。Yolo算法中对于宽、高并没有直接缩放，而是缩放到对数中，以防止训练时所带来的不稳定。
在得到tx，ty，tw，th的值后，就可以通过平移和尺度缩放使得预测框与真值重合。其边框回归图如图7所示：在训练时通过神经网络不断地学习到这2个偏移量和2个尺度缩放，在对边框进行预测时，通过学习到的4个值，然后求出4个预测边框的坐标。实际上，在上面对预测框左上角坐标的计算中，之所以要用得到sigmiod函数是因为在求偏移坐标tx，ty时没有除以Anchor box的宽高归一化尺度，导致偏移坐标可能大于1，这样就超过了一个网格的距离，及预测缺陷目标的中心跑到了另一个网格，这与缺陷目标正在预测的网格矛盾了，总之，其作用为防止偏移过多。
DefectNet目标分类
因为图像中可能存在着重叠的类别标签，因此，DefectNet把单标签分类即二分类改成了多标签分类[30]。因为Softmax并不适合多标签分类，所以用多个独立的逻辑分类器替换掉Softmax分类器，并且准确率并不会下降，其分类效果如图8和图9所示：逻辑分类器使用了sigmoid函数，当输入图像经过特征提取后其类别置信度经过sigmoid约束后输出概率大于0.5时，则目标为该类。在训练时使用分类损失函数为二元交叉熵。
DefectNet置信度
DefectNet的置信度实际上包含预测框的置信度以及类别预测的置信度。
(1)预测框的置信度
在每个负责预测缺陷目标的单元格中，需要预测5的值，包括边界框中心坐标以及宽高，和一个置信度，其中这个置信度表示该缺陷目标的置信度和预测框的准确度的乘积，其公式如下所示：
Figure BDA0002524478400000171
如果该缺陷目标中心落在这个网格内，则Pr(Object)为1，否则为0。
Figure BDA0002524478400000172
为真实框与预测框的交并比。在预测阶段，虽然没有真实的目标框，无法计算交并比，但是，输出的置信值已经包含了交并比的信息。因为在你训练的时候其计算已经包含了
Figure BDA0002524478400000173
信息，所以在学习的时候已经包含了交并比的信息，最后输出的也包含了交并比的信息。
(2)类别预测
类别预测的概率为Pr(classi I Object)，即在单元格中存在缺陷目标的情况下，正确识别缺陷目标的概率，但是最后输出却乘以边界框的置信度，因此最终输出的置信度公式为：
Figure BDA0002524478400000181
其实这样既包含了目标分类的准确率信息也包含了预测框准确的位置信息。
DefectNet损失函数
损失函数对于网络学习速度以及最终检测效果好坏有重要的影响，它度量的是预测值与真实值的差异程度，通过减少损失函数的值来逼近真实的输出。DefectNet的损失函数的计算如下：
Figure BDA0002524478400000182
DefectNet的损失函数由坐标误差、置信度误差和分类误差损失函数三部分组成，其损失函数的目的就是让坐标、置信度以及分类误差三者达到很好的平衡。其中坐标误差由预测边界框的中心坐标以及宽高的误差损失函数组成，如下式所示：
预测中心坐标损失函数
Figure BDA0002524478400000191
该函数计算了每个预测框的中心相对于真实目标框中心的损失值，其中i表示第i个网格，j表示第j个预测框，
Figure BDA0002524478400000192
表示缺陷目标是否落入第i个格子的第j个预测框内，落入则值为1否则为0。s2为输入图像划分为S*S的网格数量，B为每个网格预测框的个数，在DefectNet不同尺度特征图下每个网格预测框的个数为3。实际上，我们只选择预测框与真实框交并比最大的来计算预测中心坐标损失。λcoord为预测坐标的惩罚系数，其值为5。xi，yi为预测缺陷目标的中心点坐标，
Figure BDA0002524478400000193
为目标的真实标注的坐标。
预测边界框高度和宽度的损失函数
Figure BDA0002524478400000194
该函数计算了预测边界框与实目标框的损失，其中wi，hi，
Figure BDA0002524478400000195
为预测的边界框以及真实标注的宽和高，其中之所以采用预测的边界框高度和宽度的平方根与真实的宽高做差再求平方和是为了使得当小方框和大方框偏移同样的尺寸时，小方框损失得更大即加大对小框的损失。
(1)置信度的损失
Figure BDA0002524478400000196
该函数为每个边界框的预测置信度的损失，由于DefectNet使用了多尺度训练及多标签分类，置信度和分类误差使用二元交叉熵损失函数。其中ci表示第i个网格中预测的置信度得分，
Figure BDA0002524478400000201
表示真实的置信度得分，即
Figure BDA0002524478400000202
当网格中包含缺陷目标时，其值为预测的目标框与真实的边界框的交并比。λnoobj为不包含运动目标置信度的惩罚系数，其值为0.5，因为我们更关注包含缺陷目标的网格所以包含缺陷目标的网格的置信度对损失函数的贡献要大于没有缺陷目标的网格，因此其值小于预测坐标的惩罚系数。没有缺陷目标中心落入预测框时，
Figure BDA0002524478400000203
为1否则为0。由上面
Figure BDA0002524478400000204
和
Figure BDA0002524478400000205
的取值可知，当有缺陷目标中心落入网格内，要计算坐标误差、置信度误差以及分类误差，当缺陷目标中心不落入网格内，只用计算置信度误差再乘以不包含运动目标置信度的惩罚系数，此时计算坐标误差和分类误差没有意义。相比较于R卷积神经元网络等模型，DefectNet多了计算置信度损失这一项，它其实起到了对目标框的筛选作用，而不用去计算滑动窗口。
(2)分类误差的损失函数
Figure BDA0002524478400000206
该式为计算分类误差的二元交叉熵损失函数，pi和
Figure BDA0002524478400000207
分别是在第i个网格中属于目标某个目标类别的概率和真实的概率即为0或1。当该单元格上没有缺陷目标时，不惩罚分类误差。
综上本发明达到预期效果。

Claims (7)

1.一种管道缺陷识别方法，其特征在于，包括以下步骤：
步骤一，检测模型的训练，首先由管道机器人携带高清摄像头进入管道内部进行采集图像，将采集到的图像运用DefectNet方法中的目标缺陷检测模型进行训练；
步骤二，将训练好的模型应用于后续的缺陷检测；
步骤三，缺陷检测，具体缺陷检测方法采用管道机器人携带高清摄像头进入管道内部，将实时回传的视频进行采样为关键帧图像，并对图像中的管道缺陷进行有效的识别，其缺陷检测步骤为：
1.1)、分割图像和边界框的预测，分割图像采用超像素分割方法，提取图像前景和背景信息，主要检测图像前景信息，从而提高检测效率，DefectNet将输入图像分割成若干个格子，每个格子在不同的尺度预测边界框及其置信度和缺陷属于某种类别的概率信息，其中边界框信息为缺陷的中心位置相对于格子位置的偏移量、宽度和高度，置信度反映是否包含缺陷以及包含缺陷情况下位置的准确性；DefectNet对每个边界框通过逻辑回归预测一个缺陷的得分，然后根据此得分获取缺目标陷部位状况；
1.2)、卷积神经元网络提取网格中的特征，卷积神经元网络对整个图像进行系列卷积运算，得到特征图，取出特征图上每个边框内的特征形成高维特征向量；
1.3)、图像中缺陷的识别分类，每个网格预测若干个边界框，根据计算得到的分类误差，置信度以及类别概率等判别缺陷；
步骤四，将识别的结果进行分类保存。
2.如权利要求1所述的一种管道缺陷识别方法，其特征在于：步骤一中的对目标缺陷检测模型的训练包括以下几个步骤：
2.1)、将输入图像分成若干个网格，每个网格负责检测‘落入’该网格的管道内壁缺陷；
2.2)、对每个网格用卷积神经元网络提取特征，形成高维特征向量，所述卷积神经元网络为训练好的ImageNet网络；
2.3)、利用边框和提取出的特征对卷积神经元网络进行调优，调优依据标准的反向传播算法进行，从特征图开始向后调整各层权重；
2.4)、以特征图输出的高维特征向量和缺陷类别标签为输入，训练对目标边框和目标类别进行精细回归的回归器。
3.如权利要求1所述的一种管道缺陷识别方法，其特征在于：步骤三中具体为步骤1.1)中的所述的分割图像采用超像素分割(SLIC)算法并结合图和流形排序的显著性检测算法，其具体实现的步骤如下：
3.1)、由SLIC算法生成超像素，构造一个以超像素为节点的闭环图；
3.2)、利用流形排序的显著性检测算法对图像背景先验的流行排序和前景上的流行排序，即使用图像每一侧的节点作为标记的背景种子点来开拓边界先验，从每个标记结果中，根据节点与这些种子点的相关性计算节点的显著性作为背景标签，将四个标记的图集成以生成一幅显著性图；将前面的结果进行二值分割，并将标记的前景节点作为显著种子点；基于每个节点与最终映射的前景种子点的相关性来计算每个节点的显著性，以获得最终的显著性图。
4.如权利要求1所述的一种管道缺陷识别方法，其特征在于：步骤三具体为步骤1.1)中DefectNet设定的阈值是0.5，如果预测的边界框与真实的边框值大部分重合且比其他所有预测的要好，那么所述得分值为1，如果重合度没有达到此阈值，预测的边界框将会被忽略，显示成没有损失值。
5.如权利要求4所述的一种管道缺陷识别方法，其特征在于：步骤三中缺陷检测采取的检测框架由VGG16内核和DefectNet的检测框架组成，所述DefectNet借鉴了Faster R-卷积神经元网络中的Anchor box的思想，在公开的COCO数据集上，使用了K-means聚类的方法来对Anchor box的大小进行初始化，按图像输入尺寸416*416得到了9中不同尺度的Anchorbox聚类结果，其大小分别是(10*13)，(16*30)，(33*23)，(30*61)，(62*45)，(59*119)，(116*90)，(156*198)，(373*362)。
6.如权利要求5所述的一种管道缺陷识别方法，其特征在于：所述DefectNet在3个不同尺度的特征图上进行预测，这三个不同尺度分别是尺寸为(13*13)的最小尺度特征图，尺寸为(26*26)的中尺度特征图和尺寸为(52*52)的最大尺度特征图。
7.如权利要求1所述的一种管道缺陷识别方法，其特征在于：所述置信度包括预测框的置信度和类别预测的置信度，其中所述预测框的置信度表示该缺陷目标的置信度和预测框的准确度的乘积，其公式如下所示：
Figure FDA0002524478390000031
其中Condifence表示预测框的置信度，Pr(Object)表示该缺陷目标的置信度，
Figure FDA0002524478390000032
表示预测框的准确度其为真实框与预测框的交并比，若该缺陷目标中心落在这个网格内，则Pr(Object)为1，否则为0；所述类别预测的置信度为类别预测的概率乘以边界框的置信度，所述类别预测的概率为在单元格中存在缺陷目标的情况下，正确识别缺陷目标的概率。
CN202010502444.0A 2020-06-04 2020-06-04 一种管道缺陷识别方法 Pending CN111695482A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010502444.0A CN111695482A (zh) 2020-06-04 2020-06-04 一种管道缺陷识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010502444.0A CN111695482A (zh) 2020-06-04 2020-06-04 一种管道缺陷识别方法

Publications (1)

Publication Number Publication Date
CN111695482A true CN111695482A (zh) 2020-09-22

Family

ID=72479395

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010502444.0A Pending CN111695482A (zh) 2020-06-04 2020-06-04 一种管道缺陷识别方法

Country Status (1)

Country Link
CN (1) CN111695482A (zh)

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112184693A (zh) * 2020-10-13 2021-01-05 东北大学 一种射线工业底片焊缝缺陷智能检测方法
CN112200246A (zh) * 2020-10-09 2021-01-08 河北工业大学 Svm分类器的训练方法和石化储罐锈蚀缺陷分割方法
CN112508915A (zh) * 2020-12-11 2021-03-16 中信银行股份有限公司 一种目标检测结果优化方法及系统
CN112560933A (zh) * 2020-12-10 2021-03-26 中邮信息科技(北京)有限公司 一种模型训练方法、装置、电子设备和介质
CN113298809A (zh) * 2021-06-25 2021-08-24 成都飞机工业（集团）有限责任公司 基于深度学习和超像素分割的复材超声图像缺陷检测方法
CN113326790A (zh) * 2021-06-10 2021-08-31 深圳市环水管网科技服务有限公司 基于异常检测思维的胶囊机器人排水管病害检测方法
CN113379737A (zh) * 2021-07-14 2021-09-10 西南石油大学 基于图像处理及深度学习的管道缺陷智能检测方法及应用
CN113393459A (zh) * 2021-08-09 2021-09-14 旻投电力发展有限公司 基于实例分割的红外图像光伏组件视觉识别方法
CN113487548A (zh) * 2021-06-29 2021-10-08 嵊州市浙江工业大学创新研究院 一种基于YOLO-v3的产品缺陷检测方法
CN113591575A (zh) * 2021-06-29 2021-11-02 北京航天自动控制研究所 一种基于改进YOLO v3网络的目标检测方法
CN113781402A (zh) * 2021-08-19 2021-12-10 中国电子产品可靠性与环境试验研究所（（工业和信息化部电子第五研究所）（中国赛宝实验室）） 芯片表面划痕缺陷的检测方法、装置和计算机设备
CN114140625A (zh) * 2022-01-30 2022-03-04 深圳市博铭维技术股份有限公司 管道缺陷检测方法、系统、设备与计算机可读存储介质
CN114596314A (zh) * 2022-05-09 2022-06-07 合肥联亚制衣有限公司 一种布匹瑕疵的检测模型的训练方法、装置、设备及介质
CN114638822A (zh) * 2022-03-31 2022-06-17 扬州市恒邦机械制造有限公司 一种利用光学手段的汽车盖板表面质量检测方法及系统
CN114648534A (zh) * 2022-05-24 2022-06-21 成都理工大学 基于视频帧聚类的管网缺陷智能识别方法及装置、介质
CN114998220A (zh) * 2022-05-12 2022-09-02 湖南中医药大学 一种基于改进的Tiny-YOLO v4自然环境下舌像检测定位方法
CN115410136A (zh) * 2022-11-01 2022-11-29 济钢防务技术有限公司 一种基于卷积神经网络的激光排爆系统紧急安全控制方法
CN115984275A (zh) * 2023-03-20 2023-04-18 菲特（天津）检测技术有限公司 一种用于缺陷检测的yolov5优化方法及优化系统
CN116433659A (zh) * 2023-06-09 2023-07-14 山东高速工程检测有限公司 一种三段式道路缺陷图像处理方法
CN116432988A (zh) * 2023-06-12 2023-07-14 青岛精锐机械制造有限公司 一种阀门生产工艺数据智能管理方法、介质及设备
CN116542974A (zh) * 2023-07-05 2023-08-04 杭州百子尖科技股份有限公司 一种基于多尺度网格化的覆铜板表面缺陷检测方法
CN117173087A (zh) * 2023-05-09 2023-12-05 郑州大学 基于yolox的abr管道缺陷识别方法、装置和计算机设备

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112200246A (zh) * 2020-10-09 2021-01-08 河北工业大学 Svm分类器的训练方法和石化储罐锈蚀缺陷分割方法
CN112184693B (zh) * 2020-10-13 2023-10-24 东北大学 一种射线工业底片焊缝缺陷智能检测方法
CN112184693A (zh) * 2020-10-13 2021-01-05 东北大学 一种射线工业底片焊缝缺陷智能检测方法
CN112560933A (zh) * 2020-12-10 2021-03-26 中邮信息科技(北京)有限公司 一种模型训练方法、装置、电子设备和介质
CN112508915A (zh) * 2020-12-11 2021-03-16 中信银行股份有限公司 一种目标检测结果优化方法及系统
CN113326790A (zh) * 2021-06-10 2021-08-31 深圳市环水管网科技服务有限公司 基于异常检测思维的胶囊机器人排水管病害检测方法
CN113298809A (zh) * 2021-06-25 2021-08-24 成都飞机工业（集团）有限责任公司 基于深度学习和超像素分割的复材超声图像缺陷检测方法
CN113298809B (zh) * 2021-06-25 2022-04-08 成都飞机工业（集团）有限责任公司 基于深度学习和超像素分割的复材超声图像缺陷检测方法
CN113591575A (zh) * 2021-06-29 2021-11-02 北京航天自动控制研究所 一种基于改进YOLO v3网络的目标检测方法
CN113487548A (zh) * 2021-06-29 2021-10-08 嵊州市浙江工业大学创新研究院 一种基于YOLO-v3的产品缺陷检测方法
CN113379737A (zh) * 2021-07-14 2021-09-10 西南石油大学 基于图像处理及深度学习的管道缺陷智能检测方法及应用
CN113393459A (zh) * 2021-08-09 2021-09-14 旻投电力发展有限公司 基于实例分割的红外图像光伏组件视觉识别方法
CN113781402A (zh) * 2021-08-19 2021-12-10 中国电子产品可靠性与环境试验研究所（（工业和信息化部电子第五研究所）（中国赛宝实验室）） 芯片表面划痕缺陷的检测方法、装置和计算机设备
CN113781402B (zh) * 2021-08-19 2024-03-26 中国电子产品可靠性与环境试验研究所（（工业和信息化部电子第五研究所）（中国赛宝实验室）） 芯片表面划痕缺陷的检测方法、装置和计算机设备
CN114140625A (zh) * 2022-01-30 2022-03-04 深圳市博铭维技术股份有限公司 管道缺陷检测方法、系统、设备与计算机可读存储介质
CN114638822A (zh) * 2022-03-31 2022-06-17 扬州市恒邦机械制造有限公司 一种利用光学手段的汽车盖板表面质量检测方法及系统
CN114638822B (zh) * 2022-03-31 2022-12-13 扬州市恒邦机械制造有限公司 一种利用光学手段的汽车盖板表面质量检测方法及系统
CN114596314A (zh) * 2022-05-09 2022-06-07 合肥联亚制衣有限公司 一种布匹瑕疵的检测模型的训练方法、装置、设备及介质
CN114998220A (zh) * 2022-05-12 2022-09-02 湖南中医药大学 一种基于改进的Tiny-YOLO v4自然环境下舌像检测定位方法
CN114648534A (zh) * 2022-05-24 2022-06-21 成都理工大学 基于视频帧聚类的管网缺陷智能识别方法及装置、介质
CN115410136A (zh) * 2022-11-01 2022-11-29 济钢防务技术有限公司 一种基于卷积神经网络的激光排爆系统紧急安全控制方法
CN115984275A (zh) * 2023-03-20 2023-04-18 菲特（天津）检测技术有限公司 一种用于缺陷检测的yolov5优化方法及优化系统
CN117173087A (zh) * 2023-05-09 2023-12-05 郑州大学 基于yolox的abr管道缺陷识别方法、装置和计算机设备
CN116433659A (zh) * 2023-06-09 2023-07-14 山东高速工程检测有限公司 一种三段式道路缺陷图像处理方法
CN116433659B (zh) * 2023-06-09 2023-08-29 山东高速工程检测有限公司 一种三段式道路缺陷图像处理方法
CN116432988A (zh) * 2023-06-12 2023-07-14 青岛精锐机械制造有限公司 一种阀门生产工艺数据智能管理方法、介质及设备
CN116432988B (zh) * 2023-06-12 2023-09-05 青岛精锐机械制造有限公司 一种阀门生产工艺数据智能管理方法、介质及设备
CN116542974A (zh) * 2023-07-05 2023-08-04 杭州百子尖科技股份有限公司 一种基于多尺度网格化的覆铜板表面缺陷检测方法
CN116542974B (zh) * 2023-07-05 2023-09-26 杭州百子尖科技股份有限公司 一种基于多尺度网格化的覆铜板表面缺陷检测方法

Similar Documents

Publication Publication Date Title
CN111695482A (zh) 一种管道缺陷识别方法
Yang et al. Real-time face detection based on YOLO
Zhao et al. Cloud shape classification system based on multi-channel cnn and improved fdm
CN108304798B (zh) 基于深度学习及运动一致性的街面秩序事件视频检测方法
CN109523520A (zh) 一种基于深度学习的染色体自动计数方法
CN112560675B (zh) Yolo与旋转-融合策略相结合的鸟类视觉目标检测方法
CN109033944B (zh) 一种全天空极光图像分类与关键局部结构定位方法及系统
CN111444939A (zh) 电力领域开放场景下基于弱监督协同学习的小尺度设备部件检测方法
CN114758288A (zh) 一种配电网工程安全管控检测方法及装置
CN110008899B (zh) 一种可见光遥感图像候选目标提取与分类方法
CN111275010A (zh) 一种基于计算机视觉的行人重识别方法
CN113743470B (zh) 自动破袋分类箱基于ai算法垃圾识别精度提升方法
CN109492596A (zh) 一种基于K-means聚类和区域推荐网络的行人检测方法及系统
CN112884742A (zh) 一种基于多算法融合的多目标实时检测、识别及跟踪方法
CN115272652A (zh) 基于多元回归和自适应焦点损失的密集物体图像检测方法
CN111815582B (zh) 改进背景先验和前景先验的二维码区域检测方法
CN110728307A (zh) 自生成数据集与标签实现x光影像图小样本字符识别方法
CN111860587A (zh) 一种用于图片小目标的检测方法
CN112861917A (zh) 基于图像属性学习的弱监督目标检测方法
Li et al. A review of deep learning methods for pixel-level crack detection
CN110633727A (zh) 基于选择性搜索的深度神经网络舰船目标细粒度识别方法
CN113221956A (zh) 基于改进的多尺度深度模型的目标识别方法及装置
CN115861738A (zh) 一种类别语义信息引导的遥感目标检测主动采样方法
CN116740758A (zh) 一种防止误判的鸟类图像识别方法及系统
CN111709317A (zh) 一种基于显著性模型下多尺度特征的行人重识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination