CN112907529A - 一种基于图像的编织预制体缺陷检测方法及装置 - Google Patents

一种基于图像的编织预制体缺陷检测方法及装置 Download PDF

Info

Publication number
CN112907529A
CN112907529A CN202110178257.6A CN202110178257A CN112907529A CN 112907529 A CN112907529 A CN 112907529A CN 202110178257 A CN202110178257 A CN 202110178257A CN 112907529 A CN112907529 A CN 112907529A
Authority
CN
China
Prior art keywords
image
defect
composite material
data
identification network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110178257.6A
Other languages
English (en)
Inventor
单忠德
汪俊
曹轩铭
谢乾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN202110178257.6A priority Critical patent/CN112907529A/zh
Publication of CN112907529A publication Critical patent/CN112907529A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30124—Fabrics; Textile; Paper

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明涉及一种基于图像的编织预制体缺陷检测方法及装置，包括：获取预制体图像数据，经图像预处理和缺陷标注后，形成图像数据集；构建编织复合材料缺陷识别网络，将图像数据集分为训练集和测试集，利用训练集训练编织复合材料缺陷识别网络，利用测试集验证编织复合材料缺陷识别网络的泛化性；利用训练好的编织复合材料缺陷识别网络对预制体缺陷进行实时检测。本发明可实现预制体图像中缺陷的位置及缺陷类别的实时高效、准确检测，解决现有技术中预制体缺陷检测效率和精度低的问题。

Description

一种基于图像的编织预制体缺陷检测方法及装置
技术领域
本发明涉及编织复合材料预制体缺陷检测技术领域，具体而言，涉及一种基于图像的编织预制体缺陷检测方法及装置。
背景技术
三维编织复合材料是三维编织技术和现代复合材料技术相结合的产物，由三维编织复合材料预制体增强而生成。在预制体中，纱线和纤维束按不同的取向相互交织在一起，形成一个不分层的三维四相整体结构。由三维编织复合材料预制体增强生成的三维编织复合材料以其高比刚度、高比强度以及优良的抗冲击，抗分层性能被广泛应用于航空航天领域结构之中。
三维编织复合材料的性质取决于其预制体的结构参数。为了生成满足需求的编织复合材料，首先需对编织预制体的参数进行测量和控制。因此，编织预制体若存在缺陷，将会严重影响最终成型的三维编织复合材料的性能。然而，目前对于预制体中的缺陷仍依赖人工识别和检测，该检测手段存在效率低、速度慢、容易受主观因素影响等问题。
发明内容
针对上述背景技术中所指出的问题，本发明提出一种高效、准确的基于图像的编织预制体缺陷检测方法及装置，实现编织预制体缺陷自动准确识别。
本发明所采用的技术方案为：
一种基于图像的编织预制体缺陷检测方法，包括如下步骤：
步骤一、获取预制体图像数据，经图像预处理和缺陷标注后，形成图像数据集；
步骤二、构建编织复合材料缺陷识别网络，将所述图像数据集分为训练集和测试集，利用所述训练集训练编织复合材料缺陷识别网络，利用所述测试集验证编织复合材料缺陷识别网络的泛化性；
步骤三、利用训练好的编织复合材料缺陷识别网络对预制体缺陷进行实时检测。
进一步地，步骤一中，图像预处理具体为：对预制体图像进行数据增强处理，包括图像左右翻转、亮度调节和随机移动，同时增强预制体图像对比度；
缺陷标注具体为：标注出经预处理的预制体图像中存在的缺陷和缺陷类别。
进一步地，步骤二包括：基于yolo目标检测框架构建编织复合材料缺陷识别网络，包括24个卷积层，1个空间金字塔池化层SPP和2个全连接层；
分批输入训练集数据，包括任意尺寸的训练图像和标注的标签数据；标签数据提前编码为7×7×30的向量，7表示检测精度，可自行设定；30＝((4+1)*2+20)，4表示检测框坐标x、y和高宽w、h，1表示置信度，2表示回归两个矩形框，20表示20个类别；
loss函数采用yolov1原始loss函数，用网络输出与样本标签的各项内容的误差平方和作为一个样本的整体误差；最后利用非极大值抑制去除网络输出结果中的重复框，通过测试集验证网络泛化性。
进一步地，图像数据集中80％为训练集，20％为测试集。
一种基于图像的编织预制体缺陷检测装置，包括：
数据采集模块，用于采集三维编织预制体图像数据；
分析模块，用于分析编织预制体图像中缺陷位置及缺陷类别；
预警模块，用于检测到缺陷时，作出预警提示。
进一步地，所述数据采集模块包括高精度工业相机、照明光源和图像采集卡；所述分析模块包括内置预训练编织复合材料缺陷识别网络的图像处理系统和用于图像处理算法计算的数据处理卡；所述预警模块包括用于有缺陷的预制体编号实时提示的缺陷预制体提示模块、缺陷位置提示的缺陷位置提示模块和缺陷类别提示的缺陷类别提示模块。
本发明的有益效果在于：
本发明可实现预制体图像中缺陷的位置及缺陷类别的实时高效、准确检测，解决现有技术中预制体缺陷检测效率和精度低的问题。
附图说明
图1为本发明的基于图像的编织预制体缺陷检测方法流程框图；
图2为编织复合材料缺陷识别网络结构图；
图3为基于图像的编织预制体缺陷检测装置的结构示意图。
具体实施方式
下面结合附图和具体的实施例对本发明的基于图像的编织预制体缺陷检测方法及装置作进一步地详细说明。
如图1所示，一种基于图像的编织预制体缺陷检测方法，包括如下步骤：
步骤一、获取预制体图像数据，经图像预处理和缺陷标注后，形成图像数据集。
图像预处理具体为：对预制体图像进行数据增强处理，包括图像左右翻转、亮度调节和随机移动，同时增强预制体图像对比度，提高识别准确度(图像数据由高精度工业相机获取，以此弥补训练数据样本过少的问题)。
缺陷标注具体为：(利用软件人工)标注出经预处理的预制体图像中存在的缺陷和缺陷类别。需要注意的是由于本发明中的编织复合材料缺陷识别网络特性，无需将输入裁剪为统一尺寸。
步骤二、构建编织复合材料缺陷识别网络，将图像数据集分为训练集和测试集(图像数据集中80％为训练集，20％为测试集)，利用训练集训练编织复合材料缺陷识别网络，利用测试集验证编织复合材料缺陷识别网络的泛化性。
具体包括：基于yolo目标检测框架构建编织复合材料缺陷识别网络，如图2所示，包括24个卷积层，1个空间金字塔池化层SPP(Spatial Pyramid Pooling layer)和2个全连接层。常规分类器(SVM/Softmax)及全连接层，均需要输入一个固定长度的向量，该向量由Bag-of-Words(BoW)生成，而空间金字塔下采样增强了BoW，因为它通过汇集空间分块保留了空间信息。这些空间分块的大小与图像大小成正比，因此无论图像大小如何，分块的数量都是固定的，这使得SPP不仅提高了预制体缺陷识别网络性能，而且通过避免重复计算卷积特征，大大减少了所需的计算时间，使编织复合材料预制体表面缺陷能够被实时检测。同时，SPP层的加入让本发明搭建的预制体缺陷识别网络能够处理任意尺寸的输入图片。
对搭建好的编织复合材料缺陷识别网络进行训练，具体为：分批输入训练集数据，包括任意尺寸的训练图像和标注的标签数据。标签数据提前编码为7×7×30的向量，7表示检测精度，可自行设定。30＝((4+1)*2+20)，4表示检测框坐标x、y和高宽w、h，1表示置信度，2表示回归两个矩形框，20表示20个类别。
loss函数采用yolov1原始loss函数，用网络输出与样本标签的各项内容的误差平方和作为一个样本的整体误差。最后利用非极大值抑制去除网络输出结果中的重复框，通过测试集验证网络泛化性。
步骤三、利用训练好的编织复合材料缺陷识别网络对预制体缺陷进行实时检测。通过加载已经训练好的网络模型，将工业相机实时采集的预制体原始图像输入该预制体缺陷识别网络中，网络模型即可实时框选出预制体图像中存在的缺陷位置及其缺陷种类。并通过预警装置实时向工作人员发出预警，方便工作人员现场及时处理有缺陷的编织预制体。
如图3所示，一种基于图像的编织预制体缺陷检测装置，包括：
数据采集模块，用于采集三维编织预制体图像数据。
分析模块，用于分析编织预制体图像中缺陷位置及缺陷类别。
预警模块，用于检测到缺陷时，作出预警提示，提醒操作员检查相关编织预制体。
具体地，数据采集模块包括高精度工业相机(采集三维编织预制体图像数据)、照明光源(帮助获取均匀高质量图像数据)和图像采集卡。分析模块包括内置预训练编织复合材料缺陷识别网络的图像处理系统和用于图像处理算法计算的数据处理卡(预制体缺陷识别网络计算)。预警模块包括用于有缺陷的预制体编号实时提示的缺陷预制体提示模块、缺陷位置提示的缺陷位置提示模块和缺陷类别提示的缺陷类别提示模块。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未发明的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由权利要求指出。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (6)

1.一种基于图像的编织预制体缺陷检测方法，其特征在于，包括如下步骤：
步骤一、获取预制体图像数据，经图像预处理和缺陷标注后，形成图像数据集；
步骤二、构建编织复合材料缺陷识别网络，将所述图像数据集分为训练集和测试集，利用所述训练集训练编织复合材料缺陷识别网络，利用所述测试集验证编织复合材料缺陷识别网络的泛化性；
步骤三、利用训练好的编织复合材料缺陷识别网络对预制体缺陷进行实时检测。
2.根据权利要求1所述的基于图像的编织预制体缺陷检测方法，其特征在于，步骤一中，图像预处理具体为：对预制体图像进行数据增强处理，包括图像左右翻转、亮度调节和随机移动，同时增强预制体图像对比度；
缺陷标注具体为：标注出经预处理的预制体图像中存在的缺陷和缺陷类别。
3.根据权利要求1所述的基于图像的编织预制体缺陷检测方法，其特征在于，步骤二包括：基于yolo目标检测框架构建编织复合材料缺陷识别网络，包括24个卷积层，1个空间金字塔池化层SPP和2个全连接层；
分批输入训练集数据，包括任意尺寸的训练图像和标注的标签数据；标签数据提前编码为7×7×30的向量，7表示检测精度，可自行设定；30＝((4+1)*2+20)，4表示检测框坐标x、y和高宽w、h，1表示置信度，2表示回归两个矩形框，20表示20个类别；
loss函数采用yolov1原始loss函数，用网络输出与样本标签的各项内容的误差平方和作为一个样本的整体误差；最后利用非极大值抑制去除网络输出结果中的重复框，通过测试集验证网络泛化性。
4.根据权利要求1或3所述的基于图像的编织预制体缺陷检测方法，其特征在于，图像数据集中80％为训练集，20％为测试集。
5.一种基于图像的编织预制体缺陷检测装置，其特征在于，包括：
数据采集模块，用于采集三维编织预制体图像数据；
分析模块，用于分析编织预制体图像中缺陷位置及缺陷类别；
预警模块，用于检测到缺陷时，作出预警提示。
6.根据权利要求5所述的基于图像的编织预制体缺陷检测装置，其特征在于，所述数据采集模块包括高精度工业相机、照明光源和图像采集卡；所述分析模块包括内置预训练编织复合材料缺陷识别网络的图像处理系统和用于图像处理算法计算的数据处理卡；所述预警模块包括用于有缺陷的预制体编号实时提示的缺陷预制体提示模块、缺陷位置提示的缺陷位置提示模块和缺陷类别提示的缺陷类别提示模块。
CN202110178257.6A 2021-02-09 2021-02-09 一种基于图像的编织预制体缺陷检测方法及装置 Pending CN112907529A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110178257.6A CN112907529A (zh) 2021-02-09 2021-02-09 一种基于图像的编织预制体缺陷检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110178257.6A CN112907529A (zh) 2021-02-09 2021-02-09 一种基于图像的编织预制体缺陷检测方法及装置

Publications (1)

Publication Number Publication Date
CN112907529A true CN112907529A (zh) 2021-06-04

Family

ID=76123107

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110178257.6A Pending CN112907529A (zh) 2021-02-09 2021-02-09 一种基于图像的编织预制体缺陷检测方法及装置

Country Status (1)

Country Link
CN (1) CN112907529A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110335239A (zh) * 2019-05-09 2019-10-15 菲特(天津)智能科技有限公司 基于深度学习的缺陷检测训练机器及其使用方法
CN110490874A (zh) * 2019-09-04 2019-11-22 河海大学常州校区 基于yolo神经网络的纺织布匹表面瑕疵检测方法
CN112258446A (zh) * 2020-08-31 2021-01-22 洛阳中信成像智能科技有限公司 一种基于改进yolo算法的工业零件缺陷检测方法
CN112270722A (zh) * 2020-10-26 2021-01-26 西安工程大学 一种基于深度神经网络的数码印花织物缺陷检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110335239A (zh) * 2019-05-09 2019-10-15 菲特(天津)智能科技有限公司 基于深度学习的缺陷检测训练机器及其使用方法
CN110490874A (zh) * 2019-09-04 2019-11-22 河海大学常州校区 基于yolo神经网络的纺织布匹表面瑕疵检测方法
CN112258446A (zh) * 2020-08-31 2021-01-22 洛阳中信成像智能科技有限公司 一种基于改进yolo算法的工业零件缺陷检测方法
CN112270722A (zh) * 2020-10-26 2021-01-26 西安工程大学 一种基于深度神经网络的数码印花织物缺陷检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HJIMCE: "深度学习（十九）基于空间金字塔池化的卷积神经网络物体检测", 《HTTPS://BLOG.CSDN.NET/HJIMCE/ARTICLE/DETAILS/50187655》 *

Similar Documents

Publication Publication Date Title
CN113192040B (zh) 一种基于YOLO v4改进算法的织物瑕疵检测方法
CN110992317B (zh) 一种基于语义分割的pcb板缺陷检测方法
CN112884768B (zh) 基于神经网络的3d打印在线质量监测方法、系统、装置
CN104992449A (zh) 基于机器视觉的信息识别及表面缺陷在线检测方法
CN110929795B (zh) 高速焊线机焊点快速识别与定位方法
CN111951232A (zh) 一种金属粉末注射成型外观缺陷检测方法及系统
CN112102281B (zh) 基于改进Faster Rcnn的货车制动缸故障检测方法
CN112085024A (zh) 一种罐表面字符识别方法
CN109840900A (zh) 一种应用于智能制造车间的故障在线检测系统及检测方法
CN106355579A (zh) 烟条表面褶皱的缺陷检测方法
CN113267452A (zh) 一种基于机器视觉的发动机缸体表面缺陷检测方法及系统
CN105023018A (zh) 一种喷码检测方法及系统
CN109693140A (zh) 一种智能化柔性生产线及其工作方法
CN114331995A (zh) 一种基于改进2d-icp的多模板匹配实时定位方法
CN115049821A (zh) 一种基于多传感器融合的三维环境目标检测方法
CN116740048A (zh) 一种基于融合目标检测技术的锂电池表面缺陷检测方法
CN106233126B (zh) 用于表征零件的方法
CN115035082A (zh) 一种基于YOLOv4改进算法的航空器透明件缺陷检测方法
Ni et al. Toward high-precision crack detection in concrete bridges using deep learning
CN113724204A (zh) 一种航天复合材料缺陷定位与识别方法及系统
CN113705564A (zh) 一种指针式仪表识别读数方法
CN112907529A (zh) 一种基于图像的编织预制体缺陷检测方法及装置
CN115219492B (zh) 一种三维物体的外观图像采集方法及装置
CN115601610A (zh) 一种基于改进EfficientDet模型的织物瑕疵检测方法
CN115393278A (zh) 压板状态巡检方法、系统、机器人及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210604

RJ01 Rejection of invention patent application after publication