CN113610843A - 一种光纤编织层的实时缺陷识别系统及其方法 - Google Patents
一种光纤编织层的实时缺陷识别系统及其方法 Download PDFInfo
- Publication number
- CN113610843A CN113610843A CN202111002427.1A CN202111002427A CN113610843A CN 113610843 A CN113610843 A CN 113610843A CN 202111002427 A CN202111002427 A CN 202111002427A CN 113610843 A CN113610843 A CN 113610843A
- Authority
- CN
- China
- Prior art keywords
- optical fiber
- defect
- area
- image
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000007547 defect Effects 0.000 title claims abstract description 166
- 239000013307 optical fiber Substances 0.000 title claims abstract description 145
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000001514 detection method Methods 0.000 claims abstract description 25
- 238000009954 braiding Methods 0.000 claims abstract description 19
- 238000007781 pre-processing Methods 0.000 claims abstract description 14
- 238000003384 imaging method Methods 0.000 claims abstract description 4
- 238000009940 knitting Methods 0.000 claims description 16
- 238000003062 neural network model Methods 0.000 claims description 14
- 238000004519 manufacturing process Methods 0.000 claims description 13
- 230000011218 segmentation Effects 0.000 claims description 10
- 238000011410 subtraction method Methods 0.000 claims description 6
- 238000005520 cutting process Methods 0.000 claims description 5
- 230000003287 optical effect Effects 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 4
- 239000000835 fiber Substances 0.000 claims description 4
- 238000012549 training Methods 0.000 claims description 4
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 238000009941 weaving Methods 0.000 abstract description 9
- 239000011159 matrix material Substances 0.000 description 3
- 239000011295 pitch Substances 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- -1 foreign matters Substances 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000002994 raw material Substances 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/181—Segmentation; Edge detection involving edge growing; involving edge linking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Evolutionary Biology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Geometry (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本发明公开了一种光纤编织层的实时缺陷识别系统及其方法,该系统包括:成像模块、计算机控制模块、图像预处理模块、缺陷检测模块、缺陷分类模块;并应用于由n台缺陷检测仪、一台主机以及n台编织机进行光纤编织的工厂作业中,在光纤编织过程中对光纤编织层进行实时的缺陷检测。本发明能克服人工检测主观性强、误判率高、漏检率高、效率低、劳动强度大、成本高等弊端,从而能实现光纤编织层在编织过程中实时缺陷检测、分类以及报警。
Description
技术领域
本发明属于图像识别和光纤编织层质量检测领域,具体的说是一种光纤编织层的实时缺陷识别系统及其方法。
背景技术
21世纪是信息时代,计算机和网络技术进一步普及和快速发展,传统的工业检测行业正在进行改革,智能化检测也逐渐进入了我们的视线里,现阶段光纤在生产和使用过程中,外部编织层可能会因为生产设备使用或维护不当产生故障,造成编织层损伤,产生露纤、毛丝、小节距、异物、油污等不同形态的表面缺陷,这些缺陷会对光纤的正常使用带来不可预见的危害,所以应该及早发现缺陷,及时定位和解决生产环节中的问题,消除隐患。
目前针对光纤编织层表面缺陷问题的常规检测手段是靠人工抽检,目视检测,容易受到人为主观因素的影响,造成缺陷误判、漏检等问题,而且人工检测效率较低,成本较高。
目前针对光纤编织层表面缺陷问题的智能化检测手段是使用神经网络模型进行光纤编织层缺陷的检测和分类,但是仅仅采用神经网络模型进行缺陷的检测时,由于在光纤编织层编织过程中,实时拍摄的光纤图像很多,在识别准确率差别不大的情况下,参数量和计算量较大,检测时间过长,且模型不容易进行修改。
发明内容
本发明是为了解决上述现有技术存在的不足之处,提出一种光纤编织层的实时缺陷识别系统及其方法,以期实现在光纤编织层编织过程中自动化获取图像,并进行光纤编织层缺陷的识别,从而实现针对光纤编织层的实时缺陷检测、分类以及报警,以克服人工检测主观性强、误判率高、漏检率高、效率低、劳动强度大、成本高等弊端。
本发明为达到上述发明目的,采用如下技术方案:
本发明一种光纤编织层的实时缺陷识别系统的特点是应用于由n台缺陷检测仪和n台光纤编织机所构成的光纤编织的生产作业中;
所述缺陷检测仪是通过检测仪架子设置在每一台光纤编织机上,在所述检测仪架子上按照圆周方向均匀布置有三台工业面阵相机,在三台工业面阵相机所围成的圆形拍摄区域中设置有环形光源,在所述环形光源的中心设置有纳入光纤编织层的开口结构,在所述开口结构中放置有光纤编织层,用于光纤编织层的缺陷识别;
所述实时缺陷识别系统包括:成像模块、计算机控制模块、图像预处理模块、缺陷检测模块、缺陷分类模块;
所述计算机控制模块对所述环形光源的光强和三台工业面阵相机的帧率、图像大小、曝光时间参数进行自动化配置,使得三台工业面阵相机能在一定的光强下同步成像;
在所述光纤编织机的编织过程中,所述计算机控制模块发出脉冲控制信号,用于定时触发三台工业面阵相机获取所述开口结构中光纤编织层的实时图像;
所述图像预处理模块对三台工业面阵相机所获取的光纤编织层的实时图像进行预处理;
所述缺陷检测模块利用神经网络模型对预处理后的图像信息进行处理,筛选出与标准光纤编织层参数不一致的光纤编织层图像,并作为缺陷图像,从而识别出光纤编织层的缺陷信息后反馈给所述计算机控制模块;
所述缺陷分类模块采用特征提取和阈值分割算法对所筛选出的缺陷图像进行分类,得到缺陷类型并进行显示;
所述计算机控制模块根据反馈的缺陷信息,采用光信号进行报警,从而提示按照缺陷类型对光纤编织层进行修补,使得光纤编织机能恢复正常工作。
本发明一种光纤编织层的实时缺陷识别方法的特点应用于由n台缺陷检测仪、一台主机以及n台光纤编织机所组成的光纤编织的生产作业中;所述缺陷检测仪是通过检测仪架子设置在每一台光纤编织机上,在所述检测仪架子上按照圆周方向均匀布置有三台工业面阵相机,在三台工业面阵相机所围成的圆形拍摄区域中设置有环形光源,在所述环形光源的中心设置有纳入光纤编织层的开口结构,在所述开口结构中放置有光纤编织层,用于光纤编织层的缺陷识别;所述实时缺陷识别方法是按如下步骤进行:
步骤1:所述主机对所述环形光源的光强和三台工业面阵相机的光圈、物距参数进行参数配置;使得三台工业面阵相机能在一定的光强下同步成像;
步骤2:在所述光纤编织机的编织过程中,所述主机输出脉冲控制信号,定时触发三台工业面阵相机获取所述开口结构中光纤编织层的实时图像;
步骤3:对所述实时图像进行灰度化、增强、降噪、旋转、裁剪的预处理,得到预处理后的光纤编织层图像;
步骤4:构建训练数据集;
步骤4.1:对所有预处理后的光纤编织层图像,采用sobel算子进行边缘特征的提取,得到预处理后图像的边缘图像;
步骤4.2:将图像的边缘图像与其对应的图像在各自的像素位置上相加,从而得到图像的边缘强化图像;
步骤5:构建基于神经网络模型的缺陷检测模型:
所述边缘强化图像输入到依次由卷积层F0、卷积模块M1、卷积模块M2、卷积模块M3、卷积模块M4和全连接层C0连接而成的神经网络模型中;
其中,所述卷积层F0是由卷积层大小为x1×x1,通道为Ks1的卷积核构成,所述边缘强化图像通过所述卷积层F0得到特征图MF0;
所述特征图MF0输入到由N0个卷积层组成,且每个卷积层中包含两个均为X1×X1、且卷积通道为Ks1的卷积核所构成的卷积模块M1中,并得到卷积通道数为Ks1的特征图MF1;
所述特征图MF1输入到由N0个卷积层组成,且每个卷积层中包含两个大小分别为X1×X1和X2×X2,且卷积通道为Ks2的卷积核所构成的卷积模块M2,并得到卷积通道数为Ks2的特征图MF2;
所述特征图MF2输入到由N0个卷积层组成,且每个卷积层中包含两个大小分别为X2×X2和X3×X3,且卷积通道为Ks2的卷积核所构成的卷积模块M3,并得到卷积通道数为Ks2的特征图MF3;
所述特征图MF3输入到由N0个卷积层组成,且每个卷积层中包含三个大小分别为X1×X1、X2×X2、X3×X3,且卷积通道为Ks3的卷积所构成的卷积模块M4,并得到卷积通道数为Ks3的特征图MF4;
所述特征图MF4输入到所述全连接层C0中,输出边缘强化图像为缺陷图像的概率,并将概率大于阈值T的图像记为缺陷图像;
步骤6、采用阈值分割算法对光纤编织层的缺陷图像进行分类:
步骤6.1:将缺陷图像中像素值大于像素阈值TP0、小于像素阈值TP1的标记为区域A,计算所述区域A的面积SA,若面积SA小于标准光纤编织层图像中的光纤面积,则表示缺陷类型为边缘油污;否则,执行步骤6.2;
步骤6.2:计算区域A的宽度WA,若宽度WA大于标准光纤编织层图像的光纤宽度阈值TW0,则表示缺陷类型为异物或边缘毛丝,并执行步骤6.3,否则,表示为正常图像,则执行步骤6.5;
步骤6.3:利用开运算将区域A中突出的块或条状物进行腐蚀,从而得到区域B;利用区域相减法计算区域A与区域B之间的差异区域,并作为所提取的异物和边缘毛丝部分;
步骤6.4:计算异物和边缘毛丝部分的个数和面积参数,若个数小于数量阈值TN0且面积参数大于面积阈值TS0,则表示缺陷类型为异物,反之则为边缘毛丝,完成缺陷分类;否则,继续执行步骤6.5;
步骤6.5:选取区域A周边的高亮部分,并利用动态阈值相减法计算高亮部分的像素位置,若像素位置为均匀分布,且像素位置的个数大于数量阈值TN1、高亮部分的面积大于面积阈值TS1,则表示缺陷类型为小节距,从而完成缺陷分类;若像素位置为条状随机分布,则继续执行步骤6.6;
步骤6.6:计算高亮部分的内部毛丝的个数,若个数大于数量阈值TS2,则表示缺陷类型为内部毛丝,从而完成缺陷分类;否则继续执行步骤6.7;
步骤6.7:补全区域A中的孔洞,并得到区域C,将区域C和区域A进行区域相减,得到差异部分D,再计算差异部分D中孔洞的长度、宽度、个数、面积;
步骤6.8:如果差异部分D中的孔洞个数大于数量阈值TN3且面积大于面积阈值TS3,则执行步骤6.9;否则表示为正常图像,从而完成缺陷分类;
步骤6.9:如果差异部分D中的孔洞长度大于长度阈值TW1且宽度小于宽度阈值TW2,则表示缺陷类型为露纤,从而完成缺陷分类;否则,则表示缺陷类型为油污;从而完成缺陷分类。
与现有技术相比,本发明的有益效果在于:
1、本发明实现了光纤编织层在编织过程中的实时图像采集、缺陷识别和报警的过程,通过计算机控制模块自动化设定光纤缺陷检测仪的参数,定时发出脉冲信号采集光纤编织层图像,在识别出缺陷之后,发出脉冲控制警示灯进行光信号报警,从而可以在生产过程中根据缺陷类型,实时修补光纤编织层,提高了光纤编织产品良品率;避免了产品倒缆修补,提高了原材料利用率。
2、本发明构建了训练数据集,将通过预处理提取的边缘图像和光纤编织层图像对应像素相加,得到边缘强化图像数据集。本发明对神经网络模型进行了结构上的修改,在该数据集上进行模型的训练,对图像进行粗分类,得到缺陷图像,从而避免了大量正常图像经过缺陷特征提取、阈值分割等操作,提高了算法执行效率。
3、本发明采用传统阈值分割的算法对缺陷图像进行了缺陷分类,通过对不同的缺陷类型的参数进行计算,与标准光纤编织层图像的参数进行对比,为不同的缺陷类型设置不同的阈值,最终对缺陷图像进行细分类,完成了对光纤编织生产过程的有效监管,提高了产品质量和生产效率。
4、本发明实现了深度神经网络模型和传统阈值分割算法相结合的方式对光纤编织层图像进行缺陷识别,在对光纤编织层图像进行缺陷识别的过程中,通过先粗分类再细分类的方式,减少了模型的计算量,加速了缺陷的识别过程,有效的提高了缺陷识别率,提高了对光纤编织生产过程的监管效率。
附图说明
图1为本发明所设计的光纤编织层缺陷检测仪示意图;
图2为本发明所设计的光纤编织层的实时缺陷识别系统装置图;
图3为本发明所设计的光纤编织层的实时缺陷识别系统流程图;
图4为本发明所设计的神经网络模型示意图;
图中标号:1缺陷检测仪,2第一台工业面阵相机,3第二台工业面阵相机,4第三台工业面阵相机,5三台工业面阵相机所围成的圆形拍摄区域,6检测仪架子,7环形光源,8光纤编织层;
具体实施方式
本实施例中,一种光纤编织层的实时缺陷识别系统,是应用于由n台缺陷检测仪和n台光纤编织机所构成的光纤编织的生产作业中;
如图1所示,缺陷检测仪1是通过检测仪架子6设置在每一台光纤编织机上,在检测仪架子6上按照圆周方向均匀布置有第一台工业面阵相机2,第二台工业面阵相机3,第三台工业面阵相机4;在三台工业面阵相机所围成圆形拍摄区域5中设置有环形光源7,在环形光源7的中心设置有纳入光纤编织层8的开口结构,在开口结构中放置有光纤编织层8,用于光纤编织层8的缺陷识别;
如图3所示,实时缺陷识别系统包括:成像模块、计算机控制模块、图像预处理模块、缺陷检测模块、缺陷分类模块;
如图2所示,计算机控制模块对环形光源7的光强和第一工业面阵相机2,第二工业面阵相机3,第三工业面阵相机4的帧率、图像大小、曝光时间参数进行自动化配置,使得三台工业面阵相机能在一定的光强下同步成像;
在光纤编织机的编织过程中,计算机控制模块发出脉冲控制信号,用于定时触发第一工业面阵相机2,第二工业面阵相机3,第三工业面阵相机4获取开口结构中光纤编织层8的实时图像;
图像预处理模块对三台工业面阵相机所获取的光纤编织层8的实时图像进行预处理;
缺陷检测模块利用神经网络模型对预处理后的图像信息进行处理,筛选出与标准光纤编织层参数不一致的光纤编织层图像,并作为缺陷图像,从而识别出光纤编织8的缺陷信息后反馈给计算机控制模块;
缺陷分类模块采用特征提取和阈值分割算法对所筛选出的缺陷图像进行分类,得到缺陷类型并进行显示;
计算机控制模块根据反馈的缺陷信息,采用光信号进行报警,从而提示按照缺陷类型对光纤编织层8进行修补,使得光纤编织机能恢复正常工作。
本实施例中,一种光纤编织层的实时缺陷识别方法,是应用于由n台缺陷检测仪1、一台主机以及n台光纤编织机所组成的光纤编织的生产作业中;缺陷检测仪1是通过检测仪架子6设置在每一台光纤编织机上,在检测仪架子6上按照圆周方向均匀布置有第一工业面阵相机2,第二工业面阵相机3,第三工业面阵相机4,在三台工业面阵相机所围成的圆形拍摄区域5中设置有环形光源7,在环形光源7的中心设置有纳入光纤编织层8的开口结构,在开口结构中放置有光纤编织层8,用于光纤编织层8的缺陷识别;该实时缺陷识别方法是按如下步骤进行:
步骤1:主机对环形光源7的光强和第一工业面阵相机2,第二工业面阵相机3,第三工业面阵相机4的帧率、图像大小、曝光时间参数进行参数配置;使得三台工业面阵相机能在一定的光强下同步成像;
步骤2:在光纤编织机的编织过程中,主机输出脉冲控制信号,定时触发第一工业面阵相机2,第二工业面阵相机3,第三工业面阵相机4获取开口结构中光纤编织层8的实时图像;如图2所示;
步骤3:对实时的RGB图像进行灰度化、增强、降噪、旋转、裁剪的预处理,以便于减少后续图像分析的计算量,得到预处理后的光纤编织层图像;
步骤3.1:将R、G、B三个分量求简单的平均值,其数学表达式为:F(x,y)=Average(f(i,j));其中,f(i,j)=R(i,j)+G(i,j)+B(i,j);其中,f(i,j):原始图像灰度值;F(x,y):经过处理后的图像灰度值。
步骤3.2:图像增强、降噪过程,采用改进的均值滤波方式进行去噪,使用高亮像素值周围的加权平均像素值代替该像素点;
步骤3.3:图像旋转处理,采用像素阈值分割,选中图像中固定在TP1-TP2范围内的像素点,建立掩码矩阵P,将选中的像素点置为1,其余部分的像素值置为0,遍历掩码矩阵找出像素点为1的位置坐标P(i,j),根据像素点的位置坐标映射原图像信息,计算光纤编织层直线的斜率k和倾斜角度α,以光纤编织层直线的中心点旋转α角度至水平;
步骤3.4:图像裁剪处理,将旋转后的光纤编织层图像进行裁剪,得到Y1×Y2大小的图像区域。
步骤4:构建训练数据集;
步骤4.1:对所有预处理后的光纤编织层图像,采用sobel算子进行边缘特征的提取,得到预处理后图像的边缘图像,记为Is={Is1,Is2,…,Isi,…Isn},Isi表示光纤编织层表面图像集Is中第i张图像,n表示光纤编织层表面图像数据集Is中图像总数目,记预处理后的图像数据集合为Io={Io1,Io2,…,Ioi,…Ion};Ioi表示为预处理后的图像数据集合Io中的第i张图像;
步骤4.2:将图像的边缘图像Ii与其对应的预处理图像Ioi在各自的像素位置上相加,从而得到图像的边缘强化图像集合Ios={Ios1,Ios2,…,Iosi,…Iosn};Iosi表示为边缘强化图像数据集合Ios中的第i张图像;
步骤5:构建基于神经网络模型的缺陷检测模型:
如图4所示,边缘强化图像输入到依次由卷积层F0、卷积模块M1、卷积模块M2、卷积模块M3、卷积模块M4和全连接层C0连接而成的神经网络模型中;
其中,卷积层F0是由卷积层大小为X1×X1,通道为Ks1的卷积核构成,边缘强化图像通过卷积层F0得到特征图MF0;
特征图MF0输入到由N0个卷积层组成,且每个卷积层中包含两个均为X1×X1、且卷积通道为Ks1的卷积核所构成的卷积模块M1中,并得到卷积通道数为Ks1的特征图MF1;
特征图MF1输入到由N0个卷积层组成,且每个卷积层中包含两个大小分别为X1×X1和X2×X2,且卷积通道为Ks2的卷积核所构成的卷积模块M2,并得到卷积通道数为Ks2的特征图MF2;
特征图MF2输入到由N0个卷积层组成,且每个卷积层中包含两个大小分别为X2×X2和X3×X3,且卷积通道为Ks2的卷积核所构成的卷积模块M3,并得到卷积通道数为Ks2的特征图MF3;
特征图MF3输入到由N0个卷积层组成,且每个卷积层中包含三个大小分别为X1×X1、X2×X2、X3×X3,且卷积通道为Ks3的卷积所构成的卷积模块M4,并得到卷积通道数为Ks3的特征图MF4;
特征图MF4输入到全连接层C0中,输出边缘强化图像为缺陷图像的概率,并将概率大于阈值T的图像记为缺陷图像;
步骤6、采用阈值分割算法对光纤编织层8的缺陷图像进行分类:
将缺陷图像像素值在像素阈值TP0-TP1范围内的像素值标记为1,其余的像素值标记为0,建立对应的掩码矩阵,将标记为1的像素值选取出来,映射到光纤编织层图像选中该图像区域,标记为A;计算区域A的参数,与标准光纤编织层图像的参数进行对比;
步骤6.1:将缺陷图像中像素值大于像素阈值TP0、小于像素阈值TP1的区域A的面积SA与光纤编织层图像的光纤面积进行比较,若面积SA小于标准光纤编织层图像中的光纤面积,则表示缺陷类型为边缘油污;否则,执行步骤6.2;
步骤6.2:计算区域A的宽度WA,若宽度WA大于标准光纤编织层图像的光纤宽度阈值TW0,则表示缺陷类型为异物或边缘毛丝,并执行步骤6.3,否则,表示为正常图像,则执行步骤6.5;
步骤6.3:利用开运算将区域A中突出的块或条状物进行腐蚀,从而得到区域B;利用区域相减法计算区域A与区域B之间的差异区域,并作为所提取的异物和边缘毛丝部分;
步骤6.4:计算异物和边缘毛丝部分的个数和面积参数,若个数小于数量阈值TN0且面积参数大于面积阈值TS0,则表示缺陷类型为异物,反之则为边缘毛丝,完成缺陷分类;否则,继续执行步骤6.5;
步骤6.5:选取区域A周边的高亮部分,并利用动态阈值相减法计算高亮部分的像素位置,若像素位置为均匀分布,且像素位置的个数大于数量阈值TN1、高亮部分的面积大于面积阈值TS1,则表示缺陷类型为小节距,从而完成缺陷分类;若像素位置为条状随机分布,则继续执行步骤6.6;
步骤6.6:计算高亮部分的内部毛丝的个数,若个数大于数量阈值TS2,则表示缺陷类型为内部毛丝,从而完成缺陷分类;否则继续执行步骤6.7;
步骤6.7:补全区域A中的孔洞,并得到区域C,将区域C和区域A进行区域相减,得到差异部分D,再计算差异部分D中孔洞的长度、宽度、个数、面积;
步骤6.8:如果差异部分D中的孔洞个数大于数量阈值TN3且面积大于面积阈值TS3,则执行步骤6.9;否则表示为正常图像,从而完成缺陷分类;
步骤6.9:如果差异部分D中的孔洞长度大于长度阈值TW1且宽度小于宽度阈值TW2,则表示缺陷类型为露纤,从而完成缺陷分类;否则,则表示缺陷类型为油污;从而完成缺陷分类。
综上所述,本发明系统和方法实现了光纤编织层8在光纤编制过程中缺陷的实时检测、分类和报警过程,有较好的应用前景,可以作为工厂作业中的缺陷识别实施方案。
Claims (2)
1.一种光纤编织层的实时缺陷识别系统,其特征是应用于由n台缺陷检测仪和n台光纤编织机所构成的光纤编织的生产作业中;
所述缺陷检测仪是通过检测仪架子设置在每一台光纤编织机上,在所述检测仪架子上按照圆周方向均匀布置有三台工业面阵相机,在三台工业面阵相机所围成的圆形拍摄区域中设置有环形光源,在所述环形光源的中心设置有纳入光纤编织层的开口结构,在所述开口结构中放置有光纤编织层,用于光纤编织层的缺陷识别;
所述实时缺陷识别系统包括:成像模块、计算机控制模块、图像预处理模块、缺陷检测模块、缺陷分类模块;
所述计算机控制模块对所述环形光源的光强和三台工业面阵相机的帧率、图像大小、曝光时间参数进行自动化配置,使得三台工业面阵相机能在一定的光强下同步成像;
在所述光纤编织机的编织过程中,所述计算机控制模块发出脉冲控制信号,用于定时触发三台工业面阵相机获取所述开口结构中光纤编织层的实时图像;
所述图像预处理模块对三台工业面阵相机所获取的光纤编织层的实时图像进行预处理;
所述缺陷检测模块利用神经网络模型对预处理后的图像信息进行处理,筛选出与标准光纤编织层参数不一致的光纤编织层图像,并作为缺陷图像,从而识别出光纤编织层的缺陷信息后反馈给所述计算机控制模块;
所述缺陷分类模块采用特征提取和阈值分割算法对所筛选出的缺陷图像进行分类,得到缺陷类型并进行显示;
所述计算机控制模块根据反馈的缺陷信息,采用光信号进行报警,从而提示按照缺陷类型对光纤编织层进行修补,使得光纤编织机能恢复正常工作。
2.一种光纤编织层的实时缺陷识别方法,其特征应用于由n台缺陷检测仪、一台主机以及n台光纤编织机所组成的光纤编织的生产作业中;所述缺陷检测仪是通过检测仪架子设置在每一台光纤编织机上,在所述检测仪架子上按照圆周方向均匀布置有三台工业面阵相机,在三台工业面阵相机所围成的圆形拍摄区域中设置有环形光源,在所述环形光源的中心设置有纳入光纤编织层的开口结构,在所述开口结构中放置有光纤编织层,用于光纤编织层的缺陷识别;所述实时缺陷识别方法是按如下步骤进行:
步骤1:所述主机对所述环形光源的光强和三台工业面阵相机的光圈、物距参数进行参数配置;使得三台工业面阵相机能在一定的光强下同步成像;
步骤2:在所述光纤编织机的编织过程中,所述主机输出脉冲控制信号,定时触发三台工业面阵相机获取所述开口结构中光纤编织层的实时图像;
步骤3:对所述实时图像进行灰度化、增强、降噪、旋转、裁剪的预处理,得到预处理后的光纤编织层图像;
步骤4:构建训练数据集;
步骤4.1:对所有预处理后的光纤编织层图像,采用sobel算子进行边缘特征的提取,得到预处理后图像的边缘图像;
步骤4.2:将图像的边缘图像与其对应的图像在各自的像素位置上相加,从而得到图像的边缘强化图像;
步骤5:构建基于神经网络模型的缺陷检测模型:
所述边缘强化图像输入到依次由卷积层F0、卷积模块M1、卷积模块M2、卷积模块M3、卷积模块M4和全连接层C0连接而成的神经网络模型中;
其中,所述卷积层F0是由卷积层大小为x1×x1,通道为Ks1的卷积核构成,所述边缘强化图像通过所述卷积层F0得到特征图MF0;
所述特征图MF0输入到由N0个卷积层组成,且每个卷积层中包含两个均为X1×X1、且卷积通道为Ks1的卷积核所构成的卷积模块M1中,并得到卷积通道数为Ks1的特征图MF1;
所述特征图MF1输入到由N0个卷积层组成,且每个卷积层中包含两个大小分别为X1×X1和X2×X2,且卷积通道为Ks2的卷积核所构成的卷积模块M2,并得到卷积通道数为Ks2的特征图MF2;
所述特征图MF2输入到由N0个卷积层组成,且每个卷积层中包含两个大小分别为X2×X2和X3×X3,且卷积通道为Ks2的卷积核所构成的卷积模块M3,并得到卷积通道数为Ks2的特征图MF3;
所述特征图MF3输入到由N0个卷积层组成,且每个卷积层中包含三个大小分别为X1×X1、X2×X2、X3×X3,且卷积通道为Ks3的卷积所构成的卷积模块M4,并得到卷积通道数为Ks3的特征图MF4;
所述特征图MF4输入到所述全连接层C0中,输出边缘强化图像为缺陷图像的概率,并将概率大于阈值T的图像记为缺陷图像;
步骤6、采用阈值分割算法对光纤编织层的缺陷图像进行分类:
步骤6.1:将缺陷图像中像素值大于像素阈值TP0、小于像素阈值TP1的标记为区域A,计算所述区域A的面积SA,若面积SA小于标准光纤编织层图像中的光纤面积,则表示缺陷类型为边缘油污;否则,执行步骤6.2;
步骤6.2:计算区域A的宽度WA,若宽度WA大于标准光纤编织层图像的光纤宽度阈值TW0,则表示缺陷类型为异物或边缘毛丝,并执行步骤6.3,否则,表示为正常图像,则执行步骤6.5;
步骤6.3:利用开运算将区域A中突出的块或条状物进行腐蚀,从而得到区域B;利用区域相减法计算区域A与区域B之间的差异区域,并作为所提取的异物和边缘毛丝部分;
步骤6.4:计算异物和边缘毛丝部分的个数和面积参数,若个数小于数量阈值TN0且面积参数大于面积阈值TS0,则表示缺陷类型为异物,反之则为边缘毛丝,完成缺陷分类;否则,继续执行步骤6.5;
步骤6.5:选取区域A周边的高亮部分,并利用动态阈值相减法计算高亮部分的像素位置,若像素位置为均匀分布,且像素位置的个数大于数量阈值TN1、高亮部分的面积大于面积阈值TS1,则表示缺陷类型为小节距,从而完成缺陷分类;若像素位置为条状随机分布,则继续执行步骤6.6;
步骤6.6:计算高亮部分的内部毛丝的个数,若个数大于数量阈值TS2,则表示缺陷类型为内部毛丝,从而完成缺陷分类;否则继续执行步骤6.7;
步骤6.7:补全区域A中的孔洞,并得到区域C,将区域C和区域A进行区域相减,得到差异部分D,再计算差异部分D中孔洞的长度、宽度、个数、面积;
步骤6.8:如果差异部分D中的孔洞个数大于数量阈值TN3且面积大于面积阈值TS3,则执行步骤6.9;否则表示为正常图像,从而完成缺陷分类;
步骤6.9:如果差异部分D中的孔洞长度大于长度阈值TW1且宽度小于宽度阈值TW2,则表示缺陷类型为露纤,从而完成缺陷分类;否则,则表示缺陷类型为油污;从而完成缺陷分类。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111002427.1A CN113610843B (zh) | 2021-08-30 | 2021-08-30 | 一种光纤编织层的实时缺陷识别系统及其方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111002427.1A CN113610843B (zh) | 2021-08-30 | 2021-08-30 | 一种光纤编织层的实时缺陷识别系统及其方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113610843A true CN113610843A (zh) | 2021-11-05 |
CN113610843B CN113610843B (zh) | 2023-10-24 |
Family
ID=78342271
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111002427.1A Active CN113610843B (zh) | 2021-08-30 | 2021-08-30 | 一种光纤编织层的实时缺陷识别系统及其方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113610843B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114092510A (zh) * | 2021-12-01 | 2022-02-25 | 常州市宏发纵横新材料科技股份有限公司 | 一种基于正态分布的分割方法、计算机设备及存储介质 |
CN117745730A (zh) * | 2024-02-21 | 2024-03-22 | 江苏嘉通能源有限公司 | 一种基于图像处理技术的涤纶长丝毛丝检测方法及系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019104767A1 (zh) * | 2017-11-28 | 2019-06-06 | 河海大学常州校区 | 基于深度卷积神经网络与视觉显著性的织物缺陷检测方法 |
CN112907519A (zh) * | 2021-01-29 | 2021-06-04 | 广州信邦智能装备股份有限公司 | 一种基于深度学习的金属曲面缺陷分析系统及方法 |
-
2021
- 2021-08-30 CN CN202111002427.1A patent/CN113610843B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019104767A1 (zh) * | 2017-11-28 | 2019-06-06 | 河海大学常州校区 | 基于深度卷积神经网络与视觉显著性的织物缺陷检测方法 |
CN112907519A (zh) * | 2021-01-29 | 2021-06-04 | 广州信邦智能装备股份有限公司 | 一种基于深度学习的金属曲面缺陷分析系统及方法 |
Non-Patent Citations (2)
Title |
---|
孙维康;刘曰涛;黄浩;肖春雷;: "模糊识别算法在坩埚缺陷检测系统的应用", 组合机床与自动化加工技术, no. 12 * |
路浩;陈原;: "基于机器视觉的碳纤维预浸料表面缺陷检测方法", 纺织学报, no. 04 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114092510A (zh) * | 2021-12-01 | 2022-02-25 | 常州市宏发纵横新材料科技股份有限公司 | 一种基于正态分布的分割方法、计算机设备及存储介质 |
CN117745730A (zh) * | 2024-02-21 | 2024-03-22 | 江苏嘉通能源有限公司 | 一种基于图像处理技术的涤纶长丝毛丝检测方法及系统 |
CN117745730B (zh) * | 2024-02-21 | 2024-04-26 | 江苏嘉通能源有限公司 | 一种基于图像处理技术的涤纶长丝毛丝检测方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN113610843B (zh) | 2023-10-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107437243B (zh) | 基于x光图像的轮胎杂质检测方法及装置 | |
CN114549522A (zh) | 基于目标检测的纺织品质量检测方法 | |
Schmugge et al. | Detection of cracks in nuclear power plant using spatial-temporal grouping of local patches | |
CN113610843A (zh) | 一种光纤编织层的实时缺陷识别系统及其方法 | |
US10607333B2 (en) | Real-time, full web image processing method and system for web manufacturing supervision | |
CN110858395B (zh) | 一种卷装长丝的污丝缺陷检测方法 | |
CN114841982A (zh) | 一种基于图像处理的空调滤芯质量监测方法 | |
Goyal | Automation in fabric inspection | |
CN111739012A (zh) | 基于转盘的摄像头模组白斑检测系统 | |
CN115131353B (zh) | 平网印花纺织品生产异常识别定位方法及系统 | |
CN115205209A (zh) | 一种基于弱监督学习的单色布匹瑕疵检测方法 | |
CN114429544A (zh) | 基于计算机视觉的振动筛筛网破损检测方法、系统及装置 | |
CN115100206A (zh) | 用于具有周期图案纺织物的印花缺陷识别方法 | |
KR102470422B1 (ko) | 합성곱 신경망 특징맵 기반 봉제 스티치 불량 자동 검출 방법 및 시스템 | |
CN216525503U (zh) | 一种基于机器视觉的碳纤维预浸料表面缺陷在线检测装置 | |
CN111402225B (zh) | 一种布匹折叠误检疵点判别方法 | |
CN113936001A (zh) | 一种基于图像处理技术的纺织品表面瑕疵点检测方法 | |
CN117333467B (zh) | 基于图像处理的玻璃瓶瓶身瑕疵识别检测方法及系统 | |
JP3013789B2 (ja) | 織布の検反装置および検反方法 | |
TW202034421A (zh) | 濾色器檢查裝置、檢查裝置、濾色器檢查方法及檢查方法 | |
CN116542963A (zh) | 一种基于机器学习的浮法玻璃缺陷检测系统及检测方法 | |
CN110857919A (zh) | 一种卷装长丝的尾丝缺陷检测方法 | |
CN114782426A (zh) | 基于人工智能系统的针织布料断纱缺陷检测方法 | |
CN114820622A (zh) | 一种层间异物检测方法和装置 | |
Kopaczka et al. | Fully Automatic Faulty Weft Thread Detection using a Camera System and Feature-based Pattern Recognition. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20211208 Address after: 230000 No. 369 Huayuan Avenue, Baohe District, Hefei City, Anhui Province Applicant after: INTELLIGENT MANUFACTURING INSTITUTE OF HFUT Address before: 230000 f426-1, No. 369 Huayuan Avenue, Baohe Economic Development Zone, Hefei City, Anhui Province Applicant before: Hefei Zhida Information Technology Co.,Ltd. Applicant before: INTELLIGENT MANUFACTURING INSTITUTE OF HFUT |
|
TA01 | Transfer of patent application right | ||
GR01 | Patent grant | ||
GR01 | Patent grant |