CN116977334B - 一种光缆表面瑕疵检测方法及装置 - Google Patents

一种光缆表面瑕疵检测方法及装置 Download PDF

Info

Publication number
CN116977334B
CN116977334B CN202311226734.7A CN202311226734A CN116977334B CN 116977334 B CN116977334 B CN 116977334B CN 202311226734 A CN202311226734 A CN 202311226734A CN 116977334 B CN116977334 B CN 116977334B
Authority
CN
China
Prior art keywords
image
flaw
result
classification
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311226734.7A
Other languages
English (en)
Other versions
CN116977334A (zh
Inventor
张坤
曹帅
杨德元
宋明泽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Oriental Smart Optical Network Communication Co ltd
Original Assignee
Shandong Oriental Smart Optical Network Communication Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Oriental Smart Optical Network Communication Co ltd filed Critical Shandong Oriental Smart Optical Network Communication Co ltd
Priority to CN202311226734.7A priority Critical patent/CN116977334B/zh
Publication of CN116977334A publication Critical patent/CN116977334A/zh
Application granted granted Critical
Publication of CN116977334B publication Critical patent/CN116977334B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种光缆表面瑕疵检测方法及装置，涉及数据处理技术领域，所述方法包括：读取图像数据,并进行数据增强,生成多个图像样本；使用深度学习模型ResNet对图像进行特征提取,得到图像特征；采用卷积神经网络R‑CNN对图像进行目标检测,以得到瑕疵区域；利用分割网络Mask R‑CNN对所述瑕疵区域进行分割，以得到瑕疵轮廓；根据所提取的图像特征,构建卷积神经网络,进行端到端的训练,实现对瑕疵轮廓的分类,得到分类结果；对分类结果进行后处理,过滤假阳性结果,输出最终检测结果。本发明提高了光缆表面瑕疵检测的准确率和鲁棒性，使用了目标检测网络和分割网络相结合的策略,可以有效检测不同类型的瑕疵,提高了检测性能。

Description

一种光缆表面瑕疵检测方法及装置
技术领域
本发明涉及数据处理技术领域，特别是指一种光缆表面瑕疵检测方法及装置。
背景技术
随着光纤通信技术的发展,光纤光缆在通信系统中的应用越来越广泛。光纤光缆表面存在的各种缺陷会直接影响光信号的传输,因此对光缆表面进行瑕疵检测与识别是保证光纤通信质量的关键。
近年来,图像分割技术发展迅速,一些方法引入分割网络获取瑕疵区域精确的像素级轮廓。但是有的分割网络对小目标的分割效果不佳,无法完整提取整个瑕疵轮廓。
发明内容
本发明要解决的技术问题是提供一种光缆表面瑕疵检测方法及装置，可以实现精确的瑕疵定位和轮廓提取。
为解决上述技术问题，本发明的技术方案如下：
第一方面，一种光缆表面瑕疵检测方法，所述方法包括：
读取图像数据,并进行数据增强,生成多个图像样本；
使用深度学习模型ResNet对图像进行特征提取,得到图像特征；
采用卷积神经网络R-CNN对图像进行目标检测,以得到瑕疵区域；
利用分割网络Mask R-CNN对所述瑕疵区域进行分割，以得到瑕疵轮廓；
根据所提取的图像特征,构建卷积神经网络,进行端到端的训练,实现对瑕疵轮廓的分类,得到分类结果；
对分类结果进行后处理,过滤假阳性结果,输出最终检测结果。
进一步的，读取图像数据,并进行数据增强,生成多个图像样本，包括：
读取原始图像数据；
按预设角度旋转原始图像数据,生成旋转后的新图像；
将原始图像数据进行水平或垂直方向的镜像反转,生成镜像后的新图像；
将原始图像数据平移预设像素，生成平移后的新图像；
将原始图像数据进行缩放，生成不同尺度的新图像；
为原始图像数据添加高斯噪声或椒盐噪声,生成带噪声的新图像；
改变原始图像数据的对比度、亮度、饱和度,生成颜色变化后的新图像；
裁剪原始图像数据的不同区域,生成新的子图像。
进一步的，使用深度学习模型ResNet对图像进行特征提取,得到图像特征，包括：
将读取的图像数据进行预处理；
将预处理后的图像输入到ResNet模型中进行处理,提取图像的特征映射；
通过全局平均池化层,将特征映射汇总为固定长度的特征向量；
根据固定长度的特征向量构建特征向量的模态,得到每个图像对应的特征向量。
进一步的，采用卷积神经网络R-CNN对图像进行目标检测,以得到瑕疵区域，包括：
构建卷积神经网络作为特征提取器；
将输入图像划分为多个区域提议,使用选择性搜索方法生成2000个的提议区域；
对每个提议区域,使用特征提取器提取每个提议区域固定长度的特征向量；
将特征向量输入到全连接层分类器中,判断提议区域是否包含瑕疵,并进行边界框回归获得检测结果；
对输入图像生成提议区域,并依次输入特征提取器和分类回归网络,获得瑕疵的检测框及检测框置信度分数；
使用非极大值抑制方法进行后处理,合并重叠检测框,输出最后检测结果；
根据检测框位置和置信度,筛选瑕疵区域。
进一步的，利用分割网络Mask R-CNN对所述瑕疵区域进行分割，以得到瑕疵轮廓，包括：
构建Mask R-CNN网络，生成提议区域,提取特征向量；
将特征向量输入分类回归分支,得到类别预测和边界框回归；
将特征向量输入分割分支,进行像素级分割,输出二值掩码；
对分割分支,设置像素级别的分类损失函数,训练分割预测；
对瑕疵区域提议,得到分类、回归和分割结果；
根据分割结果，提取出瑕疵区域的像素级轮廓；
对分割结果进行后处理,移除小的错误分割区域,得到最终的瑕疵轮廓。
进一步的，根据所提取的图像特征,构建卷积神经网络,进行端到端的训练,实现对瑕疵轮廓的分类,得到分类结果，包括：
构建卷积神经网络；
从Mask R-CNN分割网络中提取瑕疵轮廓图像区域的特征向量；
将特征向量输入到构建的卷积网络中,通过卷积层提取高级特征；
通过全连接层进行非线性转换,输出分类结果；
通过softmax分类层对所述分类结果进行预测，以得到每个类别的预测结果；
构建交叉熵损失函数，判断预测结果与真实标签的差异；
根据预测结果与真实标签的差异，获得最终的分类结果。
进一步的，对分类结果进行后处理,过滤假阳性结果,输出最终检测结果，包括：
收集分类器输出的预测结果及置信度；
设置分类置信度阈值，过滤预测结果≤置信度的部分，以得到过滤结果；
对所述过滤结果设置IOU阈值；
计算不同检测框的IOU,移除IOU＞阈值的冗余框；
在图像上绘制最终通过过滤的检测框,作为最终的检测结果。
第二方面，一种光缆表面瑕疵检测装置，包括：
获取模块，用于读取图像数据,并进行数据增强,生成多个图像样本；使用深度学习模型ResNet对图像进行特征提取,得到图像特征；采用卷积神经网络R-CNN对图像进行目标检测,以得到瑕疵区域；
处理模块，用于利用分割网络Mask R-CNN对所述瑕疵区域进行分割，以得到瑕疵轮廓；根据所提取的图像特征,构建卷积神经网络,进行端到端的训练,实现对瑕疵轮廓的分类,得到分类结果；对分类结果进行后处理,过滤假阳性结果,输出最终检测结果。
第三方面，一种计算设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述方法。
第四方面，一种计算机可读存储介质，所述计算机可读存储介质中存储有程序，该程序被处理器执行时实现上述方法。
本发明的上述方案至少包括以下有益效果：
本发明的上述方案，提高了光缆表面瑕疵检测的准确率和鲁棒性，使用了目标检测网络和分割网络相结合的策略,可以有效检测不同类型的瑕疵,提高了检测性能；实现了对瑕疵区域的精确分割，采用Mask R-CNN分割网络,可以在像素级别上准确提取出整个瑕疵轮廓；提取了表达能力强的图像特征，应用了ResNet深度模型进行特征提取,获得了语义信息丰富的特征表达；实现了端到端的检测与分类，构建专门的卷积神经网络,可以直接利用分割得到的瑕疵特征进行分类,无需人工设计特征；提高了分类准确率，端到端训练使分类器可以充分学习瑕疵特征,从而提升了分类性能；减少了误报率，通过分类后处理,可以有效过滤假阳性结果,输出准确的检测结果；降低了检测成本，可以实现自动化的瑕疵检测与识别,大大减少了人工检查的工作量，提升了光纤通信质量。该技术的应用可以有效控制光缆质量,减少光信号在传输中的损耗。
附图说明
图1是本发明的实施例提供的光缆表面瑕疵检测方法的流程示意图。
图2是本发明的实施例提供的光缆表面瑕疵检测装置示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
如图1所示，本发明的实施例提出一种光缆表面瑕疵检测方法，所述方法包括：
步骤11，读取图像数据,并进行数据增强,生成多个图像样本；
步骤12，使用深度学习模型ResNet对图像进行特征提取,得到图像特征；
步骤13，采用卷积神经网络R-CNN对图像进行目标检测,以得到瑕疵区域；
步骤14，利用分割网络Mask R-CNN对所述瑕疵区域进行分割，以得到瑕疵轮廓；
步骤15，根据所提取的图像特征,构建卷积神经网络,进行端到端的训练,实现对瑕疵轮廓的分类,得到分类结果；
步骤16，对分类结果进行后处理,过滤假阳性结果,输出最终检测结果。
在本发明实施例中，提高了光缆表面瑕疵检测的准确率和鲁棒性，使用了目标检测网络和分割网络相结合的策略,可以有效检测不同类型的瑕疵,提高了检测性能；实现了对瑕疵区域的精确分割，采用Mask R-CNN分割网络,可以在像素级别上准确提取出整个瑕疵轮廓；提取了表达能力强的图像特征，应用了ResNet深度模型进行特征提取,获得了语义信息丰富的特征表达；实现了端到端的检测与分类，构建专门的卷积神经网络,可以直接利用分割得到的瑕疵特征进行分类,无需人工设计特征；提高了分类准确率，端到端训练使分类器可以充分学习瑕疵特征,从而提升了分类性能；减少了误报率，通过分类后处理,可以有效过滤假阳性结果,输出准确的检测结果；降低了检测成本，可以实现自动化的瑕疵检测与识别,大大减少了人工检查的工作量，提升了光纤通信质量。该技术的应用可以有效控制光缆质量,减少光信号在传输中的损耗。
在本发明一优选的实施例中，上述步骤11，可以包括：
步骤111，读取原始图像数据；
步骤112，按预设角度旋转原始图像数据,生成旋转后的新图像；
步骤113，将原始图像数据进行水平或垂直方向的镜像反转,生成镜像后的新图像；
步骤114，将原始图像数据平移预设像素，生成平移后的新图像；
步骤115，将原始图像数据进行缩放，生成不同尺度的新图像；
步骤116，为原始图像数据添加高斯噪声或椒盐噪声,生成带噪声的新图像；
步骤117，改变原始图像数据的对比度、亮度、饱和度,生成颜色变化后的新图像；
步骤118，裁剪原始图像数据的不同区域,生成新的子图像。
在本发明实施例中，生成更加丰富、全面的训练数据。通过旋转、镜像、裁剪等多种变换,可以大大增加训练数据的量和覆盖面,提高模型的鲁棒性；提高模型对旋转、尺度、噪声的适应性，不同变换生成的数据集可以增强模型对旋转、缩放、噪声等变化的适应能力,提高检测准确度；提升模型对局部特征的学习能力，裁剪变换可以让模型学习到局部特征,不依赖整体信息,增强模型的泛化能力；更好地模拟真实场景中图像的变化。通过颜色、噪声等变换,可以模拟实际应用中图像质量下降的情况,使模型在复杂环境下的表现更佳；降低模型过拟合风险。数据增强技术可以生成新的训练样本,有效缓解由于训练数据不足导致的过拟合问题；减少人工标注工作量。通过数据增强,可以由少量标注数据生成更多样本,大大减少人工标注的工作量。
在本发明一优选的实施例中，上述步骤12，可以包括：
步骤121，将读取的图像数据进行预处理；
步骤122，将预处理后的图像输入到ResNet模型中进行处理,提取图像的特征映射；
步骤123，通过全局平均池化层,将特征映射汇总为固定长度的特征向量；
步骤124，根据固定长度的特征向量构建特征向量的模态,得到每个图像对应的特征向量。
在本发明实施例中，提取了图像的高级语义特征。ResNet模型通过深层网络结构可以学习到图像的高级语义信息；获得了固定长度的特征表达。通过全局池化操作可以将不定长的特征映射转换为固定长度的特征向量；提高了特征表达的鲁棒性。ResNet网络可以提取图像的稳定特征,对旋转、缩放、噪声等变化具有一定的鲁棒性；降低了特征设计的难度。通过深度网络可以自动学习特征,无需人工设计和提取特征；提高了检测和分类的性能。语义特征包含了丰富信息,可以提升瑕疵检测和分类的效果；可以进行端到端的训练。特征提取可以融入到整个检测网络中进行端到端训练,优化最终结果；简化了训练和部署流程。无需单独设计和训练特征提取模型,简化了整体流程；减少了存储和计算成本。固定长度特征比原始图像更加紧凑,降低了存储和计算量。
在本发明一优选的实施例中，上述步骤13，可以包括：
步骤131，构建卷积神经网络作为特征提取器；
步骤132，将输入图像划分为多个区域提议,使用选择性搜索方法生成2000个的提议区域；
步骤133，对每个提议区域,使用特征提取器提取每个提议区域固定长度的特征向量；
步骤134，将特征向量输入到全连接层分类器中,判断提议区域是否包含瑕疵,并进行边界框回归获得检测结果；
步骤135，对输入图像生成提议区域,并依次输入特征提取器和分类回归网络,获得瑕疵的检测框及检测框置信度分数；
步骤136，使用非极大值抑制方法进行后处理,合并重叠检测框,输出最后检测结果；
步骤137，根据检测框位置和置信度,筛选瑕疵区域。
在本发明实施例中，实现了候选区域提议与特征提取的结合,提高了检测效率；通过区域提议,可以检测不同尺寸和形状的瑕疵目标；提取每个提议区域的独立特征,可以更准确判断提议区域是否包含瑕疵；分类器和回归网络的结合,可以同时判断类别和精确定位；端到端的网络结构,可以联合优化区域提议、特征表达和分类回归；非极大值抑制可以有效去除冗余的检测框；根据置信度筛选结果,可以过滤假阳性,提高检测精度；R-CNN框架可以检测不同类型的瑕疵,提高了检测的鲁棒性；利用深度网络提取特征,避免了手工设计特征的困难；与分割网络协同,可以实现检测与定位的精确组合。
在本发明一优选的实施例中，上述步骤14，可以包括：
步骤141，构建Mask R-CNN网络，生成提议区域,提取特征向量；
步骤142，将特征向量输入分类回归分支,得到类别预测和边界框回归；
步骤143，将特征向量输入分割分支,进行像素级分割,输出二值掩码；
步骤144，对分割分支,设置像素级别的分类损失函数,训练分割预测；
步骤145，对瑕疵区域提议,得到分类、回归和分割结果；
步骤146，根据分割结果，提取出瑕疵区域的像素级轮廓；
步骤147，对分割结果进行后处理,移除小的错误分割区域,得到最终的瑕疵轮廓。
在本发明实施例中，基于R-CNN框架,继承了R-CNN的检测优势,实现检测与分割的有机结合；提出了像素级分割分支,可以精确提取出瑕疵区域的轮廓；分割预测以像素为单位,可以定位瑕疵边界,提高分割精度；设置像素级别的分类损失函数,驱动分割预测结果接近真值；共享特征提取器的参数,有利于协同优化检测与分割任务；提取精确的瑕疵轮廓,为后续分类提供关键的形状和纹理信息；对小目标也能实现精确分割,提高了对小瑕疵的检测能力；后处理可以过滤错误分割结果,确保输出准确的瑕疵轮廓；Mask R-CNN框架增强了对复杂形状瑕疵的检测与定位能力；端到端训练使检测、分割与分类能够有机结合,提升整体效果。
在本发明一优选的实施例中，上述步骤15，可以包括：
步骤151，构建卷积神经网络；
步骤152，从Mask R-CNN分割网络中提取瑕疵轮廓图像区域的特征向量；
步骤153，将特征向量输入到构建的卷积网络中,通过卷积层提取高级特征。
步骤154，通过全连接层进行非线性转换,输出分类结果；
步骤155，通过softmax分类层对所述分类结果进行预测，以得到每个类别的预测结果；
步骤156，构建交叉熵损失函数，判断预测结果与真实标签的差异；
步骤157，根据预测结果与真实标签的差异，获得最终的分类结果。
在本发明实施例中，构建专门的卷积神经网络,可以针对瑕疵轮廓进行有效的特征学习；从Mask R-CNN中提取丰富的轮廓特征,为分类提供关键信息；卷积层可以进一步提取轮廓的高级特征,提升表示能力；全连接层实现特征的非线性转换,提高了分类判别力；Softmax层输出类别概率,进行多分类预测；交叉熵损失函数可以有效优化网络,使预测接近真实标签；端到端训练使特征提取和分类联合优化,提高分类准确率；避免了手工设计分类特征的工作,简化了流程；基于Mask R-CNN分割结果,分类器可以专注学习精确的轮廓特征；分类与检测、分割网络协同工作,形成了完整的端到端检测与识别框架。
在本发明一优选的实施例中，上述步骤16，可以包括：
步骤161，收集分类器输出的预测结果及置信度；
步骤162，设置分类置信度阈值，过滤预测结果≤置信度的部分，以得到过滤结果；
步骤163，对所述过滤结果设置IOU阈值；
步骤164，计算不同检测框的IOU,移除IOU＞阈值的冗余框；
步骤165，在图像上绘制最终通过过滤的检测框,作为最终的检测结果。
在本发明实施例中，收集分类器输出的预测结果及置信度,为后处理提供基础数据；设置置信度阈值可以过滤低置信度的假阳性结果；IOU阈值可以去除 LOCALIZATION 重复的检测框；计算IOU移除冗余框,可以有效减少重复检测；串行的置信度过滤和IOU去冗余,可以层层剔除假阳性；在图像上绘制最后过滤结果,可以直观输出最终检测效果；后处理流程可以显著减少分类的误检率；可以广泛应用于基于深度学习的目标检测任务中；后处理对模型鲁棒性提升显著,可以处理更复杂场景；简单有效的设计,计算量小,易于部署使用。
如图2所示，本发明的实施例还提供一种光缆表面瑕疵检测装置20，包括：
获取模块21，用于读取图像数据,并进行数据增强,生成多个图像样本；使用深度学习模型ResNet对图像进行特征提取,得到图像特征；采用卷积神经网络R-CNN对图像进行目标检测,以得到瑕疵区域；
处理模块22，用于利用分割网络Mask R-CNN对所述瑕疵区域进行分割，以得到瑕疵轮廓；根据所提取的图像特征,构建卷积神经网络,进行端到端的训练,实现对瑕疵轮廓的分类,得到分类结果；对分类结果进行后处理,过滤假阳性结果,输出最终检测结果。
可选的，读取图像数据,并进行数据增强,生成多个图像样本，包括：
读取原始图像数据；
按预设角度旋转原始图像数据,生成旋转后的新图像；
将原始图像数据进行水平或垂直方向的镜像反转,生成镜像后的新图像；
将原始图像数据平移预设像素，生成平移后的新图像；
将原始图像数据进行缩放，生成不同尺度的新图像；
为原始图像数据添加高斯噪声或椒盐噪声,生成带噪声的新图像；
改变原始图像数据的对比度、亮度、饱和度,生成颜色变化后的新图像；
裁剪原始图像数据的不同区域,生成新的子图像。
可选的，使用深度学习模型ResNet对图像进行特征提取,得到图像特征，包括：
将读取的图像数据进行预处理；
将预处理后的图像输入到ResNet模型中进行处理,提取图像的特征映射；
通过全局平均池化层,将特征映射汇总为固定长度的特征向量；
根据固定长度的特征向量构建特征向量的模态,得到每个图像对应的特征向量。
可选的，采用卷积神经网络R-CNN对图像进行目标检测,以得到瑕疵区域，包括：
构建卷积神经网络作为特征提取器；
将输入图像划分为多个区域提议,使用选择性搜索方法生成2000个的提议区域；
对每个提议区域,使用特征提取器提取每个提议区域固定长度的特征向量；
将特征向量输入到全连接层分类器中,判断提议区域是否包含瑕疵,并进行边界框回归获得检测结果；
对输入图像生成提议区域,并依次输入特征提取器和分类回归网络,获得瑕疵的检测框及检测框置信度分数；
使用非极大值抑制方法进行后处理,合并重叠检测框,输出最后检测结果；
根据检测框位置和置信度,筛选瑕疵区域。
可选的，利用分割网络Mask R-CNN对所述瑕疵区域进行分割，以得到瑕疵轮廓，包括：
构建Mask R-CNN网络，生成提议区域,提取特征向量；
将特征向量输入分类回归分支,得到类别预测和边界框回归；
将特征向量输入分割分支,进行像素级分割,输出二值掩码；
对分割分支,设置像素级别的分类损失函数,训练分割预测；
对瑕疵区域提议,得到分类、回归和分割结果；
根据分割结果，提取出瑕疵区域的像素级轮廓；
对分割结果进行后处理,移除小的错误分割区域,得到最终的瑕疵轮廓。
可选的，根据所提取的图像特征,构建卷积神经网络,进行端到端的训练,实现对瑕疵轮廓的分类,得到分类结果，包括：
构建卷积神经网络；
从Mask R-CNN分割网络中提取瑕疵轮廓图像区域的特征向量；
将特征向量输入到构建的卷积网络中,通过卷积层提取高级特征；
通过全连接层进行非线性转换,输出分类结果；
通过softmax分类层对所述分类结果进行预测，以得到每个类别的预测结果；
构建交叉熵损失函数，判断预测结果与真实标签的差异；
根据预测结果与真实标签的差异，获得最终的分类结果。
可选的，对分类结果进行后处理,过滤假阳性结果,输出最终检测结果，包括：
收集分类器输出的预测结果及置信度；
设置分类置信度阈值，过滤预测结果≤置信度的部分，以得到过滤结果；
对所述过滤结果设置IOU阈值；
计算不同检测框的IOU,移除IOU＞阈值的冗余框；
在图像上绘制最终通过过滤的检测框,作为最终的检测结果。
需要说明的是，该装置是与上述方法相对应的装置，上述方法实施例中的所有实现方式均适用于该实施例中，也能达到相同的技术效果。
本发明的实施例还提供一种计算设备，包括：处理器、存储有计算机程序的存储器，所述计算机程序被处理器运行时，执行如上所述的方法。上述方法实施例中的所有实现方式均适用于该实施例中，也能达到相同的技术效果。
本发明的实施例还提供一种计算机可读存储介质，存储指令，当所述指令在计算机上运行时，使得计算机执行如上所述的方法。上述方法实施例中的所有实现方式均适用于该实施例中，也能达到相同的技术效果。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本发明所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
此外，需要指出的是，在本发明的装置和方法中，显然，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行，某些步骤可以并行或彼此独立地执行。对本领域的普通技术人员而言，能够理解本发明的方法和装置的全部或者任何步骤或者部件，可以在任何计算装置（包括处理器、存储介质等）或者计算装置的网络中，以硬件、固件、软件或者它们的组合加以实现，这是本领域普通技术人员在阅读了本发明的说明的情况下运用他们的基本编程技能就能实现的。
因此，本发明的目的还可以通过在任何计算装置上运行一个程序或者一组程序来实现。所述计算装置可以是公知的通用装置。因此，本发明的目的也可以仅仅通过提供包括实现所述方法或者装置的程序代码的程序产品来实现。也就是说，这样的程序产品也构成本发明，并且存储有这样的程序产品的存储介质也构成本发明。显然，所述存储介质可以是任何公知的存储介质或者将来所开发出来的任何存储介质。还需要指出的是，在本发明的装置和方法中，显然，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行。某些步骤可以并行或彼此独立地执行。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (4)

1.一种光缆表面瑕疵检测方法，其特征在于，所述方法包括：读取图像数据,并进行数据增强,生成多个图像样本，包括：读取原始图像数据；按预设角度旋转原始图像数据,生成旋转后的新图像；将原始图像数据进行水平或垂直方向的镜像反转,生成镜像后的新图像；将原始图像数据平移预设像素，生成平移后的新图像；将原始图像数据进行缩放，生成不同尺度的新图像；为原始图像数据添加高斯噪声或椒盐噪声,生成带噪声的新图像；改变原始图像数据的对比度、亮度、饱和度,生成颜色变化后的新图像；裁剪原始图像数据的不同区域 ,生成新的子图像；使用深度学习模型ResNet对图像进行特征提取,得到图像特征；采用卷积神经网络R-CNN对图像进行目标检测,以得到瑕疵区域；利用分割网络Mask R-CNN对所述瑕疵区域进行分割，以得到瑕疵轮廓；根据所提取的图像特征,构建卷积神经网络,进行端到端的训练,实现对瑕疵轮廓的分类,得到分类结果；对分类结果进行后处理,过滤假阳性结果 ,输出最终检测结果；使用深度学习模型ResNet对图像进行特征提取,得到图像特征，包括：将读取的图像数据进行预处理；将预处理后的图像输入到ResNet模型中进行处理,提取图像的特征映射；通过全局平均池化层,将特征映射汇总为固定长度的特征向量；根据固定长度的特征向量构建特征向量的模态,得到每个图像对应的特征向量；采用卷积神经网络R-CNN对图像进行目标检测,以得到瑕疵区域，包括：构建卷积神经网络作为特征提取器；将输入图像划分为多个提议区域,使用选择性搜索方法生成2000个的提议区域；对每个提议区域 ,使用特征提取器提取每个提议区域固定长度的特征向量；将特征向量输入到全连接层分类器中,判断提议区域是否包含瑕疵,并进行边界框回归获得检测结果；对输入图像生成提议区域,并依次输入特征提取器和分类回归网络,获得瑕疵的检测框及检测框置信度分数；使用非极大值抑制方法进行后处理,合并重叠检测框,输出最后检测结果；根据检测框位置和置信度,筛选瑕疵区域；利用分割网络Mask R-CNN对所述瑕疵区域进行分割，以得到瑕疵轮廓，包括：构建Mask R-CNN网络，生成提议区域 ,提取特征向量；将特征向量输入分类回归分支,得到类别预测和边界框回归；将特征向量输入分割分支,进行像素级分割,输出二值掩码；对分割分支,设置像素级别的分类损失函数,训练分割预测；对瑕疵提议区域,得到分类、回归和分割结果；根据分割结果，提取出瑕疵区域的像素级轮廓；对分割结果进行后处理,移除小的错误分割区域,得到最终的瑕疵轮廓；根据所提取的图像特征,构建卷积神经网络,进行端到端的训练,实现对瑕疵轮廓的分类,得到分类结果，包括：构建卷积神经网络；从Mask R-CNN分割网络中提取瑕疵轮廓图像区域的特征向量；将特征向量输入到构建的卷积网络中,通过卷积层提取高级特征；通过全连接层进行非线性转换,输出分类结果；通过softmax分类层对所述分类结果进行预测，以得到每个类别的预测结果；构建交叉熵损失函数，判断预测结果与真实标签的差异；根据预测结果与真实标签的差异，获得最终的分类结果；对分类结果进行后处理 ,过滤假阳性结果,输出最终检测结果，包括：收集分类器输出的预测结果及置信度；设置分类置信度阈值，过滤预测结果≤置信度的部分，以得到过滤结果；对所述过滤结果设置IOU阈值；计算不同检测框的IOU ,移除IOU＞阈值的冗余框；在图像上绘制最终通过过滤的检测框,作为最终的检测结果。
2.一种光缆表面瑕疵检测装置，其特征在于，包括：获取模块，用于读取图像数据,并进行数据增强,生成多个图像样本，包括：读取原始图像数据；按预设角度旋转原始图像数据,生成旋转后的新图像；将原始图像数据进行水平或垂直方向的镜像反转,生成镜像后的新图像；将原始图像数据平移预设像素，生成平移后的新图像；将原始图像数据进行缩放，生成不同尺度的新图像；为原始图像数据添加高斯噪声或椒盐噪声,生成带噪声的新图像；改变原始图像数据的对比度、亮度、饱和度,生成颜色变化后的新图像；裁剪原始图像数据的不同区域,生成新的子图像；使用深度学习模型ResNet对图像进行特征提取,得到图像特征；采用卷积神经网络R-CNN对图像进行目标检测,以得到瑕疵区域；处理模块，用于利用分割网络Mask R-CNN对所述瑕疵区域进行分割，以得到瑕疵轮廓；根据所提取的图像特征,构建卷积神经网络,进行端到端的训练,实现对瑕疵轮廓的分类,得到分类结果；对分类结果进行后处理,过滤假阳性结果,输出最终检测结果；使用深度学习模型ResNet对图像进行特征提取,得到图像特征，包括：将读取的图像数据进行预处理；将预处理后的图像输入到ResNet模型中进行处理,提取图像的特征映射；通过全局平均池化层,将特征映射汇总为固定长度的特征向量；根据固定长度的特征向量构建特征向量的模态,得到每个图像对应的特征向量；采用卷积神经网络R-CNN对图像进行目标检测,以得到瑕疵区域，包括：构建卷积神经网络作为特征提取器；将输入图像划分为多个提议区域,使用选择性搜索方法生成2000个的提议区域；对每个提议区域 ,使用特征提取器提取每个提议区域固定长度的特征向量；将特征向量输入到全连接层分类器中,判断提议区域是否包含瑕疵,并进行边界框回归获得检测结果；对输入图像生成提议区域,并依次输入特征提取器和分类回归网络,获得瑕疵的检测框及检测框置信度分数；使用非极大值抑制方法进行后处理,合并重叠检测框,输出最后检测结果；根据检测框位置和置信度,筛选瑕疵区域；利用分割网络Mask R-CNN对所述瑕疵区域进行分割，以得到瑕疵轮廓，包括：构建Mask R-CNN网络，生成提议区域 ,提取特征向量；将特征向量输入分类回归分支,得到类别预测和边界框回归；将特征向量输入分割分支,进行像素级分割,输出二值掩码；对分割分支,设置像素级别的分类损失函数,训练分割预测；对瑕疵提议区域,得到分类、回归和分割结果；根据分割结果，提取出瑕疵区域的像素级轮廓；对分割结果进行后处理,移除小的错误分割区域,得到最终的瑕疵轮廓；根据所提取的图像特征 ,构建卷积神经网络,进行端到端的训练,实现对瑕疵轮廓的分类,得到分类结果，包括：构建卷积神经网络；从Mask R-CNN分割网络中提取瑕疵轮廓图像区域的特征向量；将特征向量输入到构建的卷积网络中,通过卷积层提取高级特征；通过全连接层进行非线性转换,输出分类结果；通过softmax分类层对所述分类结果进行预测，以得到每个类别的预测结果；构建交叉熵损失函数，判断预测结果与真实标签的差异；根据预测结果与真实标签的差异，获得最终的分类结果；对分类结果进行后处理 ,过滤假阳性结果,输出最终检测结果，包括：收集分类器输出的预测结果及置信度；设置分类置信度阈值，过滤预测结果≤置信度的部分，以得到过滤结果；对所述过滤结果设置IOU阈值；计算不同检测框的IOU ,移除IOU＞阈值的冗余框；在图像上绘制最终通过过滤的检测框,作为最终的检测结果。
3.一种计算设备，其特征在于，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1所述的方法。
4.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有程序，该程序被处理器执行时实现如权利要求1所述的方法。
CN202311226734.7A 2023-09-22 2023-09-22 一种光缆表面瑕疵检测方法及装置 Active CN116977334B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311226734.7A CN116977334B (zh) 2023-09-22 2023-09-22 一种光缆表面瑕疵检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311226734.7A CN116977334B (zh) 2023-09-22 2023-09-22 一种光缆表面瑕疵检测方法及装置

Publications (2)

Publication Number Publication Date
CN116977334A CN116977334A (zh) 2023-10-31
CN116977334B true CN116977334B (zh) 2023-12-12

Family

ID=88481808

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311226734.7A Active CN116977334B (zh) 2023-09-22 2023-09-22 一种光缆表面瑕疵检测方法及装置

Country Status (1)

Country Link
CN (1) CN116977334B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110992311A (zh) * 2019-11-13 2020-04-10 华南理工大学 一种基于特征融合的卷积神经网络瑕疵检测方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110992311A (zh) * 2019-11-13 2020-04-10 华南理工大学 一种基于特征融合的卷积神经网络瑕疵检测方法

Also Published As

Publication number Publication date
CN116977334A (zh) 2023-10-31

Similar Documents

Publication Publication Date Title
CN112464883B (zh) 一种自然场景下船舶目标自动检测识别方法与系统
CN113591968A (zh) 一种基于非对称注意力特征融合的红外弱小目标检测方法
AU2020272936B2 (en) Methods and systems for crack detection using a fully convolutional network
CN113111947B (zh) 图像处理方法、装置和计算机可读存储介质
CN114419014A (zh) 基于特征重构的表面缺陷检测方法
CN111368634A (zh) 基于神经网络的人头检测方法、系统及存储介质
CN115578326A (zh) 一种道路病害识别方法、系统、设备及存储介质
CN111461121A (zh) 一种基于yolov3网络的电表示数识别方法
CN109558877B (zh) 基于kcf的海上目标跟踪算法
CN117079117B (zh) 水下图像处理及目标识别的方法及装置、存储介质及电子设备
CN114331961A (zh) 用于对象的缺陷检测的方法
CN113989604A (zh) 基于端到端深度学习的轮胎dot信息识别方法
CN116977334B (zh) 一种光缆表面瑕疵检测方法及装置
CN110889418A (zh) 一种气体轮廓识别方法
CN116152191A (zh) 基于深度学习的显示屏裂纹缺陷检测方法、装置及设备
CN115690001A (zh) 一种用于检测钢管焊接数字射线图像中缺陷的方法
CN112348011B (zh) 一种车辆定损方法、装置及存储介质
Castillo et al. Object detection in digital documents based on machine learning algorithms
CN114943834A (zh) 一种少标注样本下基于原型队列学习的全场景语义分割方法
CN114743257A (zh) 图像目标行为的检测识别方法
KR20230023263A (ko) 딥러닝 기반 하수도 결함 감지 방법 및 그 장치
Devereux et al. Automated object detection for visual inspection of nuclear reactor cores
CN117079103B (zh) 一种用于神经网络训练的伪标签生成方法及系统
CN112307908B (zh) 一种视频语义提取方法及装置
CN117689875A (zh) 图像检测方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant