CN114913129A - 一种针对复合材料铺放缺陷识别定位系统 - Google Patents

Abstract

本发明提供了一种针对复合材料铺放缺陷识别定位系统，它是由工业摄像机、后台分析服务器、系统客户端组成，其特征在于工业摄像机实时采集复合材料铺放过程中的实时铺丝图像，通过有线网络设备将实时铺丝图像发送至后台分析服务器，后台分析服务器配置有复合材料铺放缺陷智能识别算法平台，后台分析服务器针对实时铺丝图像进行缺陷分析，并将有铺放缺陷的铺丝图像实时反馈至客户端。本发明能够满足飞机复合材料铺丝缺陷检测的效率和精度，实时智能识别铺丝过程中缺陷类型、坐标等信息，为产品质量提供依据，具有高效、可靠等优势。

Description

一种针对复合材料铺放缺陷识别定位系统

技术领域

本发明涉及一种针对复合材料铺放缺陷识别定位系统，主要适用于复合材料铺放过程中的铺丝缺陷图像识别。

背景技术

复合材料是航空制造企业的重要材料，具有轻质的特点。新一代飞机材料将逐步采用复合材料替代传统材料，其目的就是为了减重。复合材料铺丝缺陷包括间隙/搭接、外来物、褶皱、架桥、缺丝、翻边、气泡，人工在线检测的方易受检测员主观经验影响，在检测任务量大且铺丝速度快时容易造成漏检等问题。因此，复合材料铺放缺陷识别定位系统将很大程度保证复合材料的铺丝质量，提升了复材零部件的制造效率。

随着基于深度学习的缺陷视觉检测技术的快速发展，以深度神经网络实现对缺陷图像特征的学习和自动提取，从而实现从原始数据输入到缺陷类型和定位结果反馈的端到端智能识别模式。目前，基于深度学习的卷积神经网络算法能够自动化提取复杂特征，适用于各类复杂缺陷识别应用场景，主要分为双阶段检测和单阶段检测。早期双阶段识别方法包算法R-CNN、SPP-net、Fast R-CNN以及Faster R-CNN。由于两阶段目标检测算法的计算量和参数仍然较大，无法满足实时检测和批量应用的需求。单阶段检测方法包括YOLO系列和SSD系列。输入图像仅需一次前向推断，即可预测出图像中所有目标位置及类别信息，但由于其目标识别尺度、精度、效率的问题，难以满足对复合材料铺丝缺陷的检测精度和实时性要求。

针对复合材料铺丝机在自动铺放过程中表面质量检测仍然依靠人工目测，手工铺放更是缺乏对铺放质量的实时检验，导致铺丝质量检测效率低且误差大的问题，严重影响了复材零部件的制造效率，因此需借助新一代图像智能识别技术进行铺丝缺陷自动化检测。

发明内容

为了克服机器快速铺丝过程中人眼判断的不足，本发明提供了一种针对复合材料铺放缺陷识别定位系统，该系统实时准确、稳定可靠，实现了复合材料铺放过程中的铺丝缺陷实时检测功能。

本申请解决其技术问题所采用的技术方案是：

一种针对复合材料铺放缺陷识别定位系统，包含工业摄像机、后台分析服务器、系统客户端，工业摄像机实时采集复合材料铺放过程中的实时铺丝图像，通过有线网络设备将实时铺丝图像发送至后台分析服务器，后台分析服务器配置有复合材料铺放缺陷智能识别算法平台，具体步骤如下：

S1：利用铺丝机上的工业摄像机实时收集铺丝图像，对实时收集的铺丝图像人工筛选出铺丝缺陷图像，对每一张铺丝缺陷图像中的铺丝缺陷进行分类定位标注，建立复合材料铺丝缺陷图像数据集；

S2：搭建复合材料的铺丝缺陷识别模型，利用复合材料铺丝缺陷图像数据集对铺丝缺陷识别模型进行训练，训练时加入图像预处理和数据增强模块，提升铺丝缺陷识别模型的泛化性；

S3：根据现场铺丝过程中对缺陷检测速度的要求，对铺丝缺陷识别模型进行压缩，计算铺丝缺陷识别模型中每层网络输出特征通道的相似度，用以判断并剪枝相似冗余特征通道，获得轻量化铺丝缺陷识别模型；

S4：对轻量化铺丝缺陷识别模型再通过复合材料铺丝缺陷图像数据集进行训练，直至铺丝缺陷识别模型训练损失值收敛，得到最终的铺丝缺陷识别模型；

S5：采用最终的铺丝缺陷识别模型，对复合材料铺放过程中的实时铺丝图像进行铺丝缺陷识别，并将识别结果包括缺陷类型与缺陷定位坐标实时反馈至客户端显示。

进一步的，步骤S1中，铺丝缺陷包含在复合材料铺丝机的自动铺放过程中，出现的间隙/搭接、外来物、褶皱、架桥、缺丝、翻边、气泡现象，由人工对每一种铺丝缺陷进行分类定位标注，缺陷图像标注信息包括缺陷类型、缺陷坐标、缺陷尺度大小，建立复合材料铺丝缺陷图像数据集。

进一步的，步骤S2中，搭建复合材料的铺丝缺陷识别模型时，铺丝缺陷识别模型以铺丝机上的工业摄像机拍摄的整个图像作为网络输入数据，铺丝缺陷识别模型基于目标识别YOLOv5框架，并在模型中引入自注意力机制SENet模块，提升模型在训练中对缺陷目标区域的特征表达能力并生成更有效的特征，图像预处理模块包括将采集的原始图像以640×640像素的规格进行缩放，并进行归一化处理，图像增强模块包括空间反转、镜像、色彩增强。

进一步的，步骤S3中，根据现场检测速度要求，对铺丝缺陷识别模型进行压缩时，利用基于特征相似度剪枝的模型压缩技术，以余弦相似性度量方法对每层网络每个输出通道中具有高相似性的特征通道进行识别并剪枝，以第l层的输出特征相似度判定为例，通过在其特征空间维度(H×W)上聚合特征图，这里采用特征范数对该通道聚合，计算如下式：

x_l,i＝||F_l,i||₁

对聚合后的特征点簇

进行聚类，以K-means对特征进行聚类，获得划分的K个簇，对每个簇群内的对应特征通道进行相似度衡量判定，以余弦相似性度量方法对每个簇群中具有高相似性的特征通道进行识别并剪枝，将尺寸为(C_out，batch×H×W)的特征通道F展平为尺寸(C_out，batch×H×W)的

张量

表示第l层的第i个特征图，

与

之间的内积F_sum定义为：

式中，·表示内积。

与

之间的相似度定义为：

式中，

代表向量l₂范数，相似度值位于区间[-1,1]，

为简化计算，相似度归一化为：

S＝CSM×0.5+0.5

式中，相似度S值的区间为[0,1]。S值越大，特征通道间的相似度越高。

所述的针对复合材料铺放缺陷识别定位系统，其特征在于，所述的复合材料铺放缺陷智能识别算法平台，含有图像处理模块、模型轻量化模块、缺陷识别定位模块；所述的图像处理模块，包括图像增强和预处理模块，提升网络的泛化性能并统一输入图像分辨率；所述的模型轻量化模块，用于满足现场检测速度和精度需求，对铺丝缺陷识别模型训练时，进行特征通道相似度冗余判断并剪枝，获得轻量化铺丝缺陷识别模型；所述的缺陷识别定位模块用于实现对实时铺丝图像中的缺陷进行多尺度目标的分类和定位，得到最终的缺陷检测结果。

本发明具有如下有益效果：1)复合材料铺放缺陷识别定位实时性好，铺丝缺陷识别模型占用硬件资源少、检测速度快；2)铺丝缺陷识别模型对多尺度缺陷目标识别精度高；3)有铺放缺陷的铺丝图像实时反馈至客户端，提升了复合材料的铺丝质量检测效率。

附图说明

下面结合附图和实施例对本结构进一步说明

图1为本发明的针对复合材料铺放缺陷识别定位系统结构图；

图2为本发明的复合材料铺放缺陷智能识别算法流程图；

图3为本发明的基于特征相似度剪枝的模型压缩技术示意图。

图中编号说明：1-实时铺丝图像、2-特征通道处理、3-铺丝缺陷识别模型、4-缺陷定位可视化、5-特征通道、6－特征L1范数与K－means聚类、7－余弦相似性度量与剪枝相似特征通道。

具体实施方式

应当理解，此处所描述的具体实例仅仅用以解释本发明，并不用于限定本发明。本发明经过了算法和现场技术验证，一种针对复合材料铺放缺陷识别定位系统，包含工业摄像机、后台分析服务器、系统客户端。

实施方式：工业摄像机实时采集复合材料铺放过程中的实时铺丝图像，通过有线网络设备将实时铺丝图像发送至后台分析服务器，后台分析服务器配置有复合材料铺放缺陷智能识别算法平台，后台分析服务器针对实时铺丝图像进行缺陷分析，并将有铺放缺陷的铺丝图像实时反馈至客户端，如图1所示。

参见图2，针对复合材料铺放缺陷识别定位系统，包括：

S1：利用铺丝机上的工业摄像机实时收集铺丝图像，对实时收集的铺丝图像人工筛选出铺丝缺陷图像，铺丝缺陷包含在复合材料铺丝机的自动铺放过程中，出现的间隙/搭接、外来物、褶皱、架桥、缺丝、翻边、气泡现象，由人工对每一种铺丝缺陷进行分类定位标注，缺陷图像标注信息包括缺陷类型、缺陷坐标、缺陷尺度大小，建立复合材料铺丝缺陷图像数据集；

S2：搭建复合材料的铺丝缺陷识别模型，利用复合材料铺丝缺陷图像数据集对铺丝缺陷识别模型进行训练，铺丝缺陷识别模型以铺丝机上的工业摄像机拍摄的整个图像作为网络输入数据，铺丝缺陷识别模型基于目标识别YOLOv5框架，并在模型中引入自注意力机制SENet模块，提升模型在训练中对缺陷目标区域的特征表达能力并生成更有效的特征，训练时加入图像预处理和数据增强模块，图像预处理模块包括将采集的原始图像以640×640像素的规格进行缩放，并进行归一化处理，图像增强模块包括空间反转、镜像、色彩增强，提升铺丝缺陷识别模型的泛化性；

S3：根据现场铺丝过程中对缺陷检测速度的要求，对铺丝缺陷识别模型进行压缩，利用基于特征相似度剪枝的模型压缩技术，如图3所示，以余弦相似性度量方法对每层网络每个输出通道中具有高相似性的特征通道进行识别并剪枝，获得轻量化铺丝缺陷识别模型，以第l层的输出特征相似度判定为例，通过在其特征空间维度(H×W)上聚合特征图，这里采用特征范数对该通道聚合，计算如下式：

x_l,i＝||F_l,i||₁

对聚合后的特征点簇

进行聚类，以K-means对特征进行聚类，获得划分的K个簇，对每个簇群内的对应特征通道进行相似度衡量判定，以余弦相似性度量方法对每个簇群中具有高相似性的特征通道进行识别并剪枝，将尺寸为(C_out，batch×H×W)的特征通道F展平为尺寸(C_out，batch×H×W)的

张量

表示第l层的第i个特征图，

与

之间的内积F_sum定义为：

式中，·表示内积。

与

之间的相似度定义为：

式中，

代表向量l₂范数，相似度值位于区间[-1,1]，

为简化计算，相似度归一化为：

S＝CSM×0.5+0.5

式中，相似度S值的区间为[0,1]。S值越大，特征通道间的相似度越高。

S4：对轻量化铺丝缺陷识别模型再通过复合材料铺丝缺陷图像数据集进行训练，直至铺丝缺陷识别模型训练损失值收敛，得到最终的铺丝缺陷识别模型；

S5：采用最终的铺丝缺陷识别模型，对复合材料铺放过程中的实时铺丝图像进行铺丝缺陷识别，并将识别结果包括缺陷类型与缺陷定位坐标实时反馈至客户端显示。

本发明提供了一种针对复合材料铺放缺陷识别定位系统的通用框架，不限于具体的检测方法。该框架的优势是，所述的复合材料铺放缺陷智能识别算法平台，含有图像处理模块、模型轻量化模块、缺陷识别定位模块；所述的图像处理模块，包括图像增强和预处理模块，提升网络的泛化性能并统一输入图像分辨率；所述的模型轻量化模块，用于满足现场检测速度和精度需求，对铺丝缺陷识别模型训练时，进行特征通道相似度冗余判断并剪枝，获得轻量化铺丝缺陷识别模型；所述的缺陷识别定位模块用于实现对实时铺丝图像中的缺陷进行多尺度目标的分类和定位，得到最终的缺陷检测结果。

最后说明的是，本领域的普通技术人员应当理解以上实施例仅用以说明本发明的技术方案而非限制，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (5)

1.一种针对复合材料铺放缺陷识别定位系统，包含工业摄像机、后台分析服务器、系统客户端，其特征在于，所述的工业摄像机实时采集复合材料铺放过程中的实时铺丝图像，通过有线网络设备将实时铺丝图像发送至后台分析服务器，后台分析服务器配置有复合材料铺放缺陷智能识别算法平台，后台分析服务器针对实时铺丝图像进行缺陷分析，并将有铺放缺陷的铺丝图像实时反馈至客户端，包括以下步骤：

S1：利用铺丝机上的工业摄像机实时收集铺丝图像，对实时收集的铺丝图像人工筛选出铺丝缺陷图像，对每一张铺丝缺陷图像中的铺丝缺陷进行分类定位标注，建立复合材料铺丝缺陷图像数据集；

S2：搭建复合材料的铺丝缺陷识别模型，利用复合材料铺丝缺陷图像数据集对铺丝缺陷识别模型进行训练，训练时加入图像预处理和数据增强模块，提升铺丝缺陷识别模型的泛化性；

S3：根据现场铺丝过程中对缺陷检测速度的要求，对铺丝缺陷识别模型进行压缩，计算铺丝缺陷识别模型中每层网络输出特征通道的相似度，用以判断并剪枝相似冗余特征通道，获得轻量化铺丝缺陷识别模型；

S4：对轻量化铺丝缺陷识别模型再通过复合材料铺丝缺陷图像数据集进行训练，直至铺丝缺陷识别模型训练损失值收敛，得到最终的铺丝缺陷识别模型；

S5：采用最终的铺丝缺陷识别模型，对复合材料铺放过程中的实时铺丝图像进行铺丝缺陷识别，并将识别结果包括缺陷类型与缺陷定位坐标实时反馈至客户端显示。

2.根据权利要求1所述的针对复合材料铺放缺陷识别定位系统，其特征在于，所述的复合材料铺放缺陷智能识别算法平台，含有图像处理模块、模型轻量化模块、缺陷识别定位模块；所述的图像处理模块，包括图像增强和预处理模块，提升网络的泛化性能并统一输入图像分辨率；所述的模型轻量化模块，用于满足现场检测速度和精度需求，对铺丝缺陷识别模型训练时，进行特征通道相似度冗余判断并剪枝，获得轻量化铺丝缺陷识别模型；所述的缺陷识别定位模块用于实现对实时铺丝图像中的缺陷进行多尺度目标的分类和定位，得到最终的缺陷检测结果。

3.根据权利要求1所述的针对复合材料铺放缺陷识别定位系统，其特征在于，步骤S2中，搭建复合材料的铺丝缺陷识别模型时，铺丝缺陷识别模型以铺丝机上的工业摄像机拍摄的整个图像作为网络输入数据，铺丝缺陷识别模型基于目标识别YOLOv5框架，并在模型中引入自注意力机制SENet模块，提升模型在训练中对缺陷目标区域的特征表达能力并生成更有效的特征，图像预处理模块包括将采集的原始图像以640×640像素的规格进行缩放，并进行归一化处理，图像增强模块包括空间反转、镜像、色彩增强。

4.根据权利要求1或2或3所述的针对复合材料铺放缺陷识别定位系统，其特征在于，步骤S3中，根据现场检测速度要求，对铺丝缺陷识别模型进行压缩时，利用基于特征相似度剪枝的模型压缩技术，以余弦相似性度量方法对每层网络每个输出通道中具有高相似性的特征通道进行识别并剪枝，以第l层的输出特征相似度判定为例，通过在其特征空间维度(H×W)上聚合特征图，这里采用特征范数对该通道聚合，计算如下式：

x_l,i＝||F_l,i||₁

对聚合后的特征点簇

进行聚类，以K-means对特征进行聚类，获得划分的K个簇，对每个簇群内的对应特征通道进行相似度衡量判定，以余弦相似性度量方法对每个簇群中具有高相似性的特征通道进行识别并剪枝，将尺寸为(C_out，batch×H×W)的特征通道F展平为尺寸(C_out，batch×H×W)的

张量

表示第l层的第i个特征图，

与

之间的内积F_sum定义为：

式中，·表示内积。

与

之间的相似度定义为：

式中，

代表向量l₂范数，相似度值位于区间[-1,1]，

为简化计算，相似度归一化为：

S＝CSM×0.5+0.5

式中，相似度S值的区间为[0,1]。S值越大，特征通道间的相似度越高。

5.根据权利要求1所述的针对复合材料铺放缺陷识别定位系统，其特征在于，步骤S1中，所述的铺丝缺陷包含在复合材料铺丝机的自动铺放过程中，出现的间隙/搭接、外来物、褶皱、架桥、缺丝、翻边、气泡现象，由人工对每一种铺丝缺陷进行分类定位标注，建立复合材料铺丝缺陷图像数据集。

Images