CN116051502A - 一种基于图像处理与深度学习相结合的大丝束碳纤维缺陷检测方法及系统 - Google Patents
一种基于图像处理与深度学习相结合的大丝束碳纤维缺陷检测方法及系统 Download PDFInfo
- Publication number
- CN116051502A CN116051502A CN202310031701.0A CN202310031701A CN116051502A CN 116051502 A CN116051502 A CN 116051502A CN 202310031701 A CN202310031701 A CN 202310031701A CN 116051502 A CN116051502 A CN 116051502A
- Authority
- CN
- China
- Prior art keywords
- defect
- image
- area
- region
- tow carbon
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 208
- 229920000049 Carbon (fiber) Polymers 0.000 title claims abstract description 79
- 239000004917 carbon fiber Substances 0.000 title claims abstract description 79
- VNWKTOKETHGBQD-UHFFFAOYSA-N methane Chemical compound C VNWKTOKETHGBQD-UHFFFAOYSA-N 0.000 title claims abstract description 52
- 238000001514 detection method Methods 0.000 title claims abstract description 48
- 238000013135 deep learning Methods 0.000 title claims abstract description 40
- 238000012545 processing Methods 0.000 title claims abstract description 33
- 238000000034 method Methods 0.000 claims abstract description 30
- 206010004542 Bezoar Diseases 0.000 claims abstract description 17
- 238000005520 cutting process Methods 0.000 claims abstract description 16
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 230000011218 segmentation Effects 0.000 claims description 16
- 238000012549 training Methods 0.000 claims description 10
- 230000002950 deficient Effects 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000012360 testing method Methods 0.000 claims description 5
- 238000012216 screening Methods 0.000 claims description 4
- 238000012795 verification Methods 0.000 claims description 4
- 238000009432 framing Methods 0.000 claims description 3
- 239000012535 impurity Substances 0.000 claims description 3
- 230000002787 reinforcement Effects 0.000 claims description 2
- 230000007613 environmental effect Effects 0.000 abstract description 2
- 238000003756 stirring Methods 0.000 abstract description 2
- 238000013528 artificial neural network Methods 0.000 abstract 1
- 238000004590 computer program Methods 0.000 description 7
- 238000004519 manufacturing process Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000003672 processing method Methods 0.000 description 5
- 239000002657 fibrous material Substances 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000003860 storage Methods 0.000 description 3
- 206010020112 Hirsutism Diseases 0.000 description 2
- 229910000831 Steel Inorganic materials 0.000 description 2
- 239000010959 steel Substances 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 229910052799 carbon Inorganic materials 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000002994 raw material Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20032—Median filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Quality & Reliability (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Treatment Of Fiber Materials (AREA)
Abstract
本发明公开了一种基于图像处理与深度学习相结合的大丝束碳纤维缺陷检测方法及系统，该方法包括：采集大丝束碳纤维图像并进行预处理；基于预处理后的图像对大丝束碳纤维中断丝和纬线缺陷进行检测；对于不存在断丝和纬线缺陷的图像，判断缺陷区域，并基于缺陷区域的中心点从大丝束碳纤维原图中裁剪出缺陷图像；对裁剪的缺陷图像基于深度神经网络检测毛团缺陷和打结缺陷。本发明实现了对大丝束碳纤维缺陷检测和分类，提高了检出率和分类准确率，降低了误报率，减少了环境因素和人工拨动大丝束碳纤维的影响。
Description
技术领域
本发明涉及机器视觉技术领域，尤其是涉及一种基于图像处理与深度学习相结合的大丝束碳纤维缺陷检测方法及系统。
背景技术
大丝束碳纤维是一种含碳量在95％以上的高强度新型纤维材料，其比重不到钢的四分之一，强度却是钢的7至9倍，并且还具有耐腐蚀的特性，被称为“新材料之王”，可广泛应用于飞机部件、轨道交通原材料、车身制造等领域。而国内大丝束碳纤维缺陷检测起步较慢，且以人工检测为主，人工成本高且准确度较低，因此大丝束碳纤维缺陷检测对于企业的生产成本的降低和提高自动化程度有着重要意义。
大丝束碳纤维生产的过程中会出现打结、纬线、毛团、断丝等缺陷，传统的图像处理方法对于大丝束碳纤维缺陷的检出精度不高，且缺陷分类效果较差，容易造成误报和漏报。其中也有采用深度学习进行检测，但其都需要人工进行标记缺陷区域位置，容易发生标记错误，导致数据集的不准确，降低分类精确度。并且需要采集、标记四类缺陷数据集，难度较大，造成人工成本提升。
发明内容
本发明的目的在于提供一种基于图像处理与深度学习相结合的大丝束碳纤维缺陷检测方法及系统，该方法采用图像处理和深度学习结合的方法对大丝束碳纤维生产的过程中出现的打结、纬线、毛团、断丝缺陷进行检出和分类，可提升大丝束碳纤维生产检测的自动化水平，降低企业人工成本，保证大丝束碳纤维的质量。
为达到上述目的，本发明采用的技术方案如下：
本发明一方面提供一种基于图像处理与深度学习相结合的大丝束碳纤维缺陷检测方法，包括：
采集大丝束碳纤维图像并进行预处理；
基于预处理后的图像对大丝束碳纤维中断丝和纬线缺陷进行检测；
对于不存在断丝和纬线缺陷的图像，判断缺陷区域，并基于缺陷区域的中心点从大丝束碳纤维原图中裁剪出缺陷图像；
对裁剪的缺陷图像基于深度学习检测毛团缺陷和打结缺陷。
进一步的，所述采集大丝束碳纤维图像并进行预处理，包括：
对采集的大丝束碳纤维图像进行中值滤波；
对中值滤波后的图像进行灰度加强；
对灰度加强后的图像进行全局阈值分割，并将分割后的区域进行打散得到单独的连通域，筛选灰度值满足预设要求的连通域区域并去除面积不符合预设要求的杂质区域。
进一步的，所述基于预处理后的图像对大丝束碳纤维中断丝和纬线缺陷进行检测，包括：
提取筛选后的各连通域区域宽度，如果存在连通域区域宽度大于整个图像宽度的一半则判断为纬线缺陷，否则不是纬线缺陷；
对筛选后的连通域区域取最小内接矩形；
对得到的最小内接矩形进行宽度延长，将筛选后的连通域区域与宽度延长后的区域进行相交得到交集区域；
将筛选后的连通域区域与所得到的交集区域做差，得到差值区域；
对所述差值区域进行打散，并计算打散后的连通域个数，若打散后的连通域个数大于等于2则判断为断丝缺陷，否则不为断丝缺陷。
进一步的，所述对于不存在断丝和纬线缺陷的图像，判断缺陷区域，包括：
对预处理筛选后的各个连通域区域进行矩形度计算；
对于矩形度大于0.8的连通域区域，基于灰度均值判断缺陷区域；
对于矩形度小于0.8的连通域区域，基于边缘提取及轮廓分割判断缺陷区域。
进一步的，所述对于矩形度大于0.8的连通域区域，基于灰度均值判断缺陷区域，包括：
对于矩形度大于0.8的连通域区域，计算连通域区域的灰度均值；
若灰度均值大于50，则判断为缺陷区域，否则不是缺陷区域。
进一步的，所述对于矩形度小于0.8的连通域区域，基于边缘提取及轮廓分割判断缺陷区域，包括：
对于矩形度小于0.8的连通域区域，对连通域区域进行亚像素边缘提取；
采用直线对提取的边缘轮廓进行分割；
将分割后的亚像素边缘轮廓转化为区域，并对区域的特征坐标、角度和宽度进行范围限定，若存在符合限定范围的区域则是缺陷区域，反之不是缺陷区域；
以及，
对于矩形度小于0.8的连通域区域进行灰度均值计算，对该连通域区域未进行预处理的图像进行全局阈值分割，灰度阈值范围为[0，M0+15]，其中M0为原图像的灰度均值；
对全局阈值分割后的区域进行打散得到连通域使，并对打散后的连通域进行面积范围、宽度范围、高度范围以及连通域中点坐标范围限定，若存在符合限定范围的连通域区域，则判断为缺陷区域；反之不是缺陷区域。
进一步的，所述基于缺陷区域的中心点从大丝束碳纤维原图中裁剪出缺陷图像，包括：
以缺陷区域中点横坐标和原图像宽度的一半为纵坐标作为中心点，生成800×500像素值的区域，从大丝束碳纤维原图中裁剪出该生成的800×500像素值区域作为缺陷图像。
进一步的，若裁剪后宽度不满足800则采用灰度值为255在右侧填充不满足的图像区域，保证裁剪后的图像尺寸满足统一数值。
进一步的，所述对裁剪的缺陷图像基于深度学习检测毛团缺陷和打结缺陷，包括：
采集大量含缺陷的大丝束碳纤维图像并进行人工标记缺陷种类标签，构建数据集；所述标签分为两类：毛团、打结；
将所述数据集划分为训练集、验证集和测试集；
将训练集导入ResNet50网络中进行训练，得到训练好的基于ResNet50网络的缺陷检测模型；
将裁剪的缺陷图像输入到训练好的缺陷检测模型中，输出所属的缺陷类别及缺陷区域中点坐标，并对缺陷区域进行加框显示。
本发明第二方面提供一种基于图像处理与深度学习相结合的大丝束碳纤维缺陷检测系统，用于实现前述的基于图像处理与深度学习相结合的大丝束碳纤维缺陷检测方法，所述系统包括：
预处理模块，用于采集大丝束碳纤维图像并进行预处理；
第一检测模块，用于基于预处理后的图像对大丝束碳纤维中断丝和纬线缺陷进行检测；
判断模块，用于对于不存在断丝和纬线缺陷的图像，判断缺陷区域，并基于缺陷区域的中心点从大丝束碳纤维原图中裁剪出缺陷图像；
第二检测模块，用于对裁剪的缺陷图像基于深度学习检测毛团缺陷和打结缺陷。
本发明的有益效果为：
本发明采用图像处理和深度学习结合的方法对大丝束碳纤维生产的过程中出现的打结、纬线、毛团、断丝缺陷进行检出和分类；对于纬线和断丝的缺陷特征明显，通过图像处理的方法进行纬线和断丝缺陷的检出和分类；而打结和毛团缺陷特征接近，本发明采用图像处理先对缺陷进行自动定位，并人工标记两个缺陷种类，采用深度学习的方法将打结和毛团进行分类出来。本发明采用图像处理和深度学习相结合的方法，与传统图像处理的方法相比，提高了缺陷的检出率和分类率；与深度学习的方法相比，将四类缺陷的人工定位和打缺陷种类标签优化到两类缺陷的自动定位和打缺陷种类标签，降低了人工因素带来的误差，降低了人工成本和时间成本，提高了缺陷检测的速度和精度。
本发明实现了对大丝束碳纤维缺陷检测和分类，提高了检出率和分类准确率，降低了误报率，减少了环境因素和人工拨动大丝束碳纤维的影响。
附图说明
图1为本发明实施例1提供的一种基于图像处理与深度学习相结合的大丝束碳纤维缺陷检测方法流程图；
图2为本发明实施例2中采用图像处理与深度学习相结合的方式对大丝束碳纤维进行缺陷检测的具体操作流程；
图3为本发明实施例提供的缺陷检测模型训练流程图。
具体实施方式
下面对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
实施例1
本实施例提供一种基于图像处理与深度学习相结合的大丝束碳纤维缺陷检测方法，参见图1，包括以下步骤：
S1、采集大丝束碳纤维图像并进行预处理；
S2、基于预处理后的图像对大丝束碳纤维中断丝和纬线缺陷进行检测；
S3、对于不存在断丝和纬线缺陷的图像，判断缺陷区域，并基于缺陷区域的中心点从大丝束碳纤维原图中裁剪出缺陷图像；
S4、对裁剪的缺陷图像基于深度学习检测毛团缺陷和打结缺陷。
本实施例中，采集大丝束碳纤维图像并进行预处理，包括：
对采集的大丝束碳纤维图像进行中值滤波，中值滤波的原理如下：每一像素点的灰度值设置为该点某邻域窗口内的所有像素点灰度值的中值；
对中值滤波后的图像进行灰度加强，使得目标区域和背景区域进一步分离；
对灰度加强后的图像进行全局阈值分割，将分割后的区域进行打散为一个个单独的连通域，选择灰度值满足要求的连通域区域并去除面积较小的杂质区域。
由于纬线和断丝的缺陷特征明显，通过图像处理的方法可以对其进行纬线和断丝缺陷的检出和分类；本实施例中，基于预处理后的图像对大丝束碳纤维中断丝和纬线缺陷进行检测，具体包括：
S21、对预处理后的图像进行纬线缺陷检测，具体如下：
纬线缺陷的特征是缺陷区域的宽度大于整个图像的宽度的一半，提取各个连通域区域宽度，如果存在连通域区域宽度大于整个图像宽度的一半则认为是纬线缺陷，否则不是纬线缺陷。
S22、对预处理后的图像进行断丝缺陷检测，具体如下：
断丝缺陷的特征是缺陷区域高度低于整个图像的高度的五分之四，并且断丝断开口区域是呈现锯齿状，因此提取连通域区域高度低于整个图像高度的五分之四的区域；
对提取的连通域区域取最小内接矩形；
对得到的最小内接矩形进行宽度延长，将提取后的连通域区域与拉伸后的区域进行相交得到交集区域；
将提取后的连通域区域与交集区域做差，得到差值区域；
对差值区域进行打散，并计算打散后的连通域个数，若打散后的连通域个数大于等于2则为断丝缺陷，否则不为断丝缺陷。
由于打结和毛团缺陷特征接近，采用图像处理方法不易检测出该缺陷且难以对两类缺陷进行分类，因此，本实施例中，先采用图像处理对缺陷进行自动定位，再采用深度学习的方法将打结和毛团进行分类。
本实施例中，对于不存在断丝和纬线缺陷的图像，采用图像处理的方式提取缺陷区域，具体实现过程如下：
S31、对预处理后的图像的各个连通域区域进行矩形度计算，若存在连通域区域的矩形度大于0.8，则计算区域的灰度均值；
若灰度均值大于50，则认为是缺陷区域，否则不认为是缺陷区域。
S32、若存在连通域区域的矩形度小于0.8，则对区域进行亚像素边缘提取；
采用直线对提取的边缘轮廓进行分割；
将分割后的亚像素边缘转化为区域，并对区域的特征坐标、角度、宽度进行范围限定，若存在符合限定范围的区域则认为是缺陷区域，反之则认为不存在缺陷。
S33、对矩形度小于0.8的连通域区域进行灰度均值计算，对该区域未进行预处理的图像进行全局阈值分割，灰度阈值范围为[0，M0+15]，其中M0为原图像的灰度均值；
对全局阈值分割后的区域进行打散连通域使之分开，并对打散后的连通域进行面积范围、宽度范围、高度范围以及连通域中点坐标范围限定，若存在符合限定范围的连通域区域，即代表存在缺陷区域；反之则不存在缺陷区域。
S34、以缺陷区域中点横坐标和原图像宽度的一半为纵坐标作为中心点，生成800×500像素值的区域，从大丝束碳纤维原图中裁剪出该区域作为缺陷图像。
需要说明的是，若裁剪后宽度不满足800则采用灰度值为255在右侧填充不满足的图像区域，保证裁剪后的图像尺寸满足统一数值。
本实施例中，对裁剪的缺陷图像采用深度学习的方法检测毛团缺陷和打结缺陷，具体实现过程如下：
S41、构建缺陷检测模型，参见图3，具体过程如下：
采集大量含缺陷的大丝束碳纤维图像并进行人工标记缺陷种类标签，构建数据集；标签分为两类：毛团、打结；
将数据集划分为训练集、验证集和测试集；
将训练集导入ResNet50网络中进行训练，结合人工标记信息，判断损失率和错误率是否符合预设标准，若不满足，则调整网络参数重新进行训练，若满足，则得到训练好的基于ResNet50网络的缺陷检测模型；
采用验证集和测试集对训练好的缺陷检测模型进行验证和测试。
S42、将裁剪的缺陷图像输入到训练好的缺陷检测模型中，输出所属的缺陷类别及缺陷区域中点坐标。
S43、对缺陷区域进行加框显示，方便工作人员查看。
进一步的，采用声光报警器进行报警提示位置和缺陷类型，提示前方工人快速去处理，同时提醒后方收卷的工人二次查看，避免因为缺陷导致一卷大丝束碳纤维的报废。
实施例2
基于与实施例1相同的发明构思，本实施例提供一种基于图像处理与深度学习相结合的大丝束碳纤维缺陷检测方法，具体操作流程参见图2，包括：
1)采集清晰大丝束碳纤维图像；
2)将大丝束碳纤维图像输入到缺陷检测算法中，判断是否含有断丝和纬线缺陷；
3)若存在断丝或者纬线缺陷则直接退出，否则提取缺陷区域；
4)将缺陷区域图像输入到深度学习网络进行缺陷种类识别，输出缺陷类型；
5)统计缺陷信息，输出缺陷中点坐标，并在图像中采用红色框进行显示。
其中各步骤的具体实现过程均与实施例1相同，在此不进行赘述。
实施例3
基于与实施例1相同的发明构思，本实施例提供一种基于图像处理与深度学习相结合的大丝束碳纤维缺陷检测系统，包括：
预处理模块，用于采集大丝束碳纤维图像并进行预处理；
第一检测模块，用于基于预处理后的图像对大丝束碳纤维中断丝和纬线缺陷进行检测；
判断模块，用于对于不存在断丝和纬线缺陷的图像，判断缺陷区域，并基于缺陷区域的中心点从大丝束碳纤维原图中裁剪出缺陷图像；
第二检测模块，用于对裁剪的缺陷图像基于深度学习检测毛团缺陷和打结缺陷。
其中各模块的具体实现过程均与实施例1相同，在此不进行赘述。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。
Claims (10)
1.一种基于图像处理与深度学习相结合的大丝束碳纤维缺陷检测方法，其特征在于，包括：
采集大丝束碳纤维图像并进行预处理；
基于预处理后的图像对大丝束碳纤维中断丝和纬线缺陷进行检测；
对于不存在断丝和纬线缺陷的图像，判断缺陷区域，并基于缺陷区域的中心点从大丝束碳纤维原图中裁剪出缺陷图像；
对裁剪的缺陷图像基于深度学习检测毛团缺陷和打结缺陷。
2.根据权利要求1所述的一种基于图像处理与深度学习相结合的大丝束碳纤维缺陷检测方法，其特征在于，所述采集大丝束碳纤维图像并进行预处理，包括：
对采集的大丝束碳纤维图像进行中值滤波；
对中值滤波后的图像进行灰度加强；
对灰度加强后的图像进行全局阈值分割，并将分割后的区域进行打散得到单独的连通域，筛选灰度值满足预设要求的连通域区域并去除面积不符合预设要求的杂质区域。
3.根据权利要求2所述的一种基于图像处理与深度学习相结合的大丝束碳纤维缺陷检测方法，其特征在于，所述基于预处理后的图像对大丝束碳纤维中断丝和纬线缺陷进行检测，包括：
提取筛选后的各连通域区域宽度，如果存在连通域区域宽度大于整个图像宽度的一半则判断为纬线缺陷，否则不是纬线缺陷；
对筛选后的连通域区域取最小内接矩形；
对得到的最小内接矩形进行宽度延长，将筛选后的连通域区域与宽度延长后的区域进行相交得到交集区域；
将筛选后的连通域区域与所得到的交集区域做差，得到差值区域；
对所述差值区域进行打散，并计算打散后的连通域个数，若打散后的连通域个数大于等于2则判断为断丝缺陷，否则不为断丝缺陷。
4.根据权利要求2所述的一种基于图像处理与深度学习相结合的大丝束碳纤维缺陷检测方法，其特征在于，所述对于不存在断丝和纬线缺陷的图像，判断缺陷区域，包括：
对预处理筛选后的各个连通域区域进行矩形度计算；
对于矩形度大于0.8的连通域区域，基于灰度均值判断缺陷区域；
对于矩形度小于0.8的连通域区域，基于边缘提取及轮廓分割判断缺陷区域。
5.根据权利要求4所述的一种基于图像处理与深度学习相结合的大丝束碳纤维缺陷检测方法，其特征在于，所述对于矩形度大于0.8的连通域区域，基于灰度均值判断缺陷区域，包括：
对于矩形度大于0.8的连通域区域，计算连通域区域的灰度均值；
若灰度均值大于50，则判断为缺陷区域，否则不是缺陷区域。
6.根据权利要求4所述的一种基于图像处理与深度学习相结合的大丝束碳纤维缺陷检测方法，其特征在于，所述对于矩形度小于0.8的连通域区域，基于边缘提取及轮廓分割判断缺陷区域，包括：
对于矩形度小于0.8的连通域区域，对连通域区域进行亚像素边缘提取；
采用直线对提取的边缘轮廓进行分割；
将分割后的亚像素边缘轮廓转化为区域，并对区域的特征坐标、角度和宽度进行范围限定，若存在符合限定范围的区域则是缺陷区域，反之不是缺陷区域；
以及，
对于矩形度小于0.8的连通域区域进行灰度均值计算，对该连通域区域未进行预处理的图像进行全局阈值分割，灰度阈值范围为[0，M0+15]，其中M0为原图像的灰度均值；
对全局阈值分割后的区域进行打散得到连通域使，并对打散后的连通域进行面积范围、宽度范围、高度范围以及连通域中点坐标范围限定，若存在符合限定范围的连通域区域，则判断为缺陷区域；反之不是缺陷区域。
7.根据权利要求4所述的一种基于图像处理与深度学习相结合的大丝束碳纤维缺陷检测方法，其特征在于，所述基于缺陷区域的中心点从大丝束碳纤维原图中裁剪出缺陷图像，包括：
以缺陷区域中点横坐标和原图像宽度的一半为纵坐标作为中心点，生成800×500像素值的区域，从大丝束碳纤维原图中裁剪出该生成的800×500像素值区域作为缺陷图像。
8.根据权利要求8所述的一种基于图像处理与深度学习相结合的大丝束碳纤维缺陷检测方法，其特征在于，若裁剪后宽度不满足800则采用灰度值为255在右侧填充不满足的图像区域，保证裁剪后的图像尺寸满足统一数值。
9.根据权利要求7所述的一种基于图像处理与深度学习相结合的大丝束碳纤维缺陷检测方法，其特征在于，所述对裁剪的缺陷图像基于深度学习检测毛团缺陷和打结缺陷，包括：
采集大量含缺陷的大丝束碳纤维图像并进行人工标记缺陷种类标签，构建数据集；所述标签分为两类：毛团、打结；
将所述数据集划分为训练集、验证集和测试集；
将训练集导入ResNet50网络中进行训练，得到训练好的基于ResNet50网络的缺陷检测模型；
将裁剪的缺陷图像输入到训练好的缺陷检测模型中，输出所属的缺陷类别及缺陷区域中点坐标，并对缺陷区域进行加框显示。
10.一种基于图像处理与深度学习相结合的大丝束碳纤维缺陷检测系统，其特征在于，用于实现权利要求1至9任意一项所述的基于图像处理与深度学习相结合的大丝束碳纤维缺陷检测方法，所述系统包括：
预处理模块，用于采集大丝束碳纤维图像并进行预处理；
第一检测模块，用于基于预处理后的图像对大丝束碳纤维中断丝和纬线缺陷进行检测；
判断模块，用于对于不存在断丝和纬线缺陷的图像，判断缺陷区域，并基于缺陷区域的中心点从大丝束碳纤维原图中裁剪出缺陷图像；
第二检测模块，用于对裁剪的缺陷图像基于深度学习检测毛团缺陷和打结缺陷。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310031701.0A CN116051502A (zh) | 2023-01-10 | 2023-01-10 | 一种基于图像处理与深度学习相结合的大丝束碳纤维缺陷检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310031701.0A CN116051502A (zh) | 2023-01-10 | 2023-01-10 | 一种基于图像处理与深度学习相结合的大丝束碳纤维缺陷检测方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116051502A true CN116051502A (zh) | 2023-05-02 |
Family
ID=86119689
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310031701.0A Pending CN116051502A (zh) | 2023-01-10 | 2023-01-10 | 一种基于图像处理与深度学习相结合的大丝束碳纤维缺陷检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116051502A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116485789A (zh) * | 2023-06-16 | 2023-07-25 | 新创碳谷集团有限公司 | 一种碳纤维劈丝缺陷检测方法、设备及存储介质 |
| CN116580023A (zh) * | 2023-07-10 | 2023-08-11 | 新创碳谷集团有限公司 | 一种碳纤维纱线表面毛团监测方法、设备及存储介质 |
-
2023
- 2023-01-10 CN CN202310031701.0A patent/CN116051502A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116485789A (zh) * | 2023-06-16 | 2023-07-25 | 新创碳谷集团有限公司 | 一种碳纤维劈丝缺陷检测方法、设备及存储介质 |
| CN116485789B (zh) * | 2023-06-16 | 2023-08-25 | 新创碳谷集团有限公司 | 一种碳纤维劈丝缺陷检测方法、设备及存储介质 |
| CN116580023A (zh) * | 2023-07-10 | 2023-08-11 | 新创碳谷集团有限公司 | 一种碳纤维纱线表面毛团监测方法、设备及存储介质 |
| CN116580023B (zh) * | 2023-07-10 | 2023-09-15 | 新创碳谷集团有限公司 | 一种碳纤维纱线表面毛团监测方法、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116051502A (zh) | 一种基于图像处理与深度学习相结合的大丝束碳纤维缺陷检测方法及系统 | |
| CN110310262A (zh) | 一种用于检测轮胎缺陷的方法、装置及系统 | |
| CN111080622B (zh) | 神经网络训练方法、工件表面缺陷分类与检测方法及装置 | |
| CN101320476B (zh) | 一种棉花异性纤维图像处理系统及方法 | |
| CN110490874A (zh) | 基于yolo神经网络的纺织布匹表面瑕疵检测方法 | |
| CN107886500A (zh) | 一种基于机器视觉和机器学习的产品生产监控方法及系统 | |
| CN110992329A (zh) | 一种产品表面缺陷检测方法、电子设备及可读存储介质 | |
| CN111311542A (zh) | 一种产品质量检测方法及装置 | |
| CN101739570B (zh) | 棉花异性纤维在线分类方法和系统 | |
| CN104077594B (zh) | 一种图像识别方法和装置 | |
| CN111815555A (zh) | 对抗神经网络结合局部二值的金属增材制造图像检测方法及装置 | |
| CN111709948A (zh) | 容器瑕疵检测方法和装置 | |
| CN115131348B (zh) | 一种纺织品表面缺陷的检测方法及系统 | |
| US20220076404A1 (en) | Defect management apparatus, method and non-transitory computer readable medium | |
| CN116228651A (zh) | 一种布匹缺陷检测方法、系统、设备及介质 | |
| CN104112123A (zh) | 一种用于子弹表观缺陷检测的aoi系统的缺陷特征提取与识别方法 | |
| CN116542984A (zh) | 五金件缺陷检测方法、装置、计算机设备及存储介质 | |
| CN103258218B (zh) | 蒙版检测框架生成方法、装置、缺陷检测方法及装置 | |
| CN117115171B (zh) | 一种应用于地铁lcd显示屏的轻微亮点缺陷检测方法 | |
| CN113435460A (zh) | 一种亮晶颗粒灰岩图像的识别方法 | |
| CN112434585A (zh) | 一种车道线的虚实识别方法、系统、电子设备及存储介质 | |
| CN109376619B (zh) | 一种细胞检测方法 | |
| CN112488986A (zh) | 基于Yolo卷积神经网络的布匹表面瑕疵识别方法、装置及系统 | |
| CN116206155A (zh) | 基于YOLOv5网络的废钢分类识别方法 | |
| CN115100650A (zh) | 基于多重高斯模型的高速公路异常场景去噪及识别方法、装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |