CN115830323A - 一种碳纤维复合材料数据集的深度学习分割方法 - Google Patents

一种碳纤维复合材料数据集的深度学习分割方法 Download PDF

Info

Publication number
CN115830323A
CN115830323A CN202211573597.XA CN202211573597A CN115830323A CN 115830323 A CN115830323 A CN 115830323A CN 202211573597 A CN202211573597 A CN 202211573597A CN 115830323 A CN115830323 A CN 115830323A
Authority
CN
China
Prior art keywords
data set
carbon fiber
layer
image
fiber composite
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211573597.XA
Other languages
English (en)
Inventor
郑克洪
陈浩
张曦彦
乔立正
吴承烈
陆文判
曹虓琪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Sci Tech University ZSTU
Sinohydro Bureau 12 Co Ltd
Original Assignee
Zhejiang Sci Tech University ZSTU
Sinohydro Bureau 12 Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Sci Tech University ZSTU, Sinohydro Bureau 12 Co Ltd filed Critical Zhejiang Sci Tech University ZSTU
Priority to CN202211573597.XA priority Critical patent/CN115830323A/zh
Publication of CN115830323A publication Critical patent/CN115830323A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)

Abstract

本发明提供了一种碳纤维复合材料数据集的深度学习分割方法,通过XCT断层扫描技术获取相关碳纤维复合材料的图像,构造模型的原数据集,然后通过参数化建模生成二维随机合成碳纤维图像,并将通过对抗学习风格迁移网络Pix2PixHD生成与真实结构相同的虚拟数据集,将原数据集与虚拟数据集作为一个混合数据集输入基于Swin‑Tranformer的语义分割网络,最终形成一个能精准分割碳纤维复合材料图像的语义分割网络。本方法解决了原数据集不足,人工标注困难的问题,能实现复合材料图像智能精准分割,节约了大量人工成本。

Description

一种碳纤维复合材料数据集的深度学习分割方法
技术领域
本发明涉及图像处理技术领域,具体涉及一种碳纤维复合材料数据集的深度学习分割方法。
背景技术
碳纤维增强复合材料(CFRP)的性能不仅与组成材料的性能密切相关,而且与这些材料的形态密切相关。CFRP中的几何缺陷可以诱发对理想结构的实质性扰动,这将引发失效机制并损害强度和寿命。CFRP结构的精确三维表示,其中不同的材料相被分割和标记,有助于合理选择材料、制造工艺和操作参数。而XCT断层扫描技术已被应用于识别CFRP的特性,在以非破坏性的方式分析CFRP的内部结构和描述其形态学成分。XCT断层扫描的应用主要包含图像数据采集和数据分析。为了从图像中提取有用的信息,有必要在图像采集后对图像进行分析。这种详细分析的最关键的一步是确定二维图像上纱线的边界。
图像质量对定量分析具有同等重要性。图像质量限制了CFRP中可测量的不规则类型,以及基体材料的空间分布和基体孔隙度的测量程度。常见的情况是,当纱线相互接触时,自动提取单个经线或纬线十分困难,特别是在完全压实的CFRP中,这主要是由于关键成分之间的对比度低,噪声数据,以及碳基材料的低衰减率。由于高纹理和噪声图像,图像强度不能为CFRP的准确分割提供足够的信息,特别是不同方向的纱线(纬线、经线、粘合剂等)。
这种在自动分割上的困难现在可以通过神经网络来解决,很多人工智能图像处理算法被用于复合材料成像后图像信息的检测。如人工神经网络(ANN)、多层感知机(MLP)、循环神经网络(RNN)、支持向量机(SVM)等。但这些算法往往需要大量数据样本的支撑,但是往往数据集的分割困难而且过于耗时导致无法获得足够的数据集使得分割精度不足。
发明内容
为解决上述问题,本发明提出了一种碳纤维复合材料数据集的深度学习分割方法,该方法主要涉及对于XCT断层扫描技术获取的碳纤维增强复合材料图像的数据集扩充,并利用合成数据集构建一个具有良好效果的语义分割神经网络模型。
为实现上述目的,本发明提供了一种碳纤维复合材料数据集的深度学习分割方法,包括以下步骤:
步骤1、采用人工标注方法对随机选取的复材XCT检测图像进行手工分割,构建原始数据集;
步骤2、基于所述原始数据集进行参数化统计分析,并进行参数化随机建模,扩充数据集,构建混合数据集;
步骤3、基于所述混合数据集,构建Swin-Tranformer语义分割网络;
步骤4、基于所述Swin-Tranformer语义分割网络,生成CFRP完整语义分割图像作为最终结果。
优选的,所述步骤1具体包括:
步骤1.1、经XCT断层扫描,获得复合材料XCT图像;
步骤1.2、裁剪去除所述复合材料XCT图像外层的空气部分,每隔10帧取出一张图片;
步骤1.3、对所有取出的图片进行手工筛选并标注,获得原始数据集。
优选的,所述原始数据集中主要包括四类,分别为经纱、纬纱、树脂基以及孔隙。
优选的,所述步骤2具体包括:
步骤2.1、基于原始数据集细观结构特征,进行参数化统计分析;
步骤2.2、基于参数化统计分析的结果,通过参数化随机建模的方式对数据集进行扩充,生成合成数据集;
步骤2.3、将所述合成数据集与所述原始数据集组成混合数据集。
优选的,所述步骤2.1具体包括:
步骤2.1.1、采集形状参数;
步骤2.1.2、对采集的形状参数进行分布拟合;
步骤2.1.3、对分布拟合的形状参数进行统计分析;
其中所述统计分析包括:轮廓类似于矩形的经纱几何参数统计分析和轮廓类似于椭圆的纬纱几何参数统计分析。
优选的,所述步骤2.2具体包括:
步骤2.2.1、根据经纱参数化统计分析生成经纱随机模型;
步骤2.2.2、根据纬纱参数化统计分析生成纬纱随机模型;
步骤2.2.3、基于所述经纱随机模型与所述纬纱随机模型,生成人工合成标签图像;
步骤2.2.4、基于所述人工合成标签图像,生成与真实细观结构相同的碳纤维复合材料图像,将所述与真实细观结构相同的碳纤维复合材料图像作为合成数据集。
优选的,所述步骤2.2.4具体包括:
步骤2.2.4.1、改动Pix2PixHD网络的生成部分,使所述生成部分同时训练两个不同尺度下的生成器模型,并将所述两个不同尺度下的生成器模型的特征进行融合;
步骤2.2.4.2、基于特征融合后的生成器模型,生成与真实细观结构相同的碳纤维复合材料图像。
优选的,所述步骤3具体包括:
步骤3.1将所述混合数据集通过Swin-Tranformer网络进行处理得到四个尺度的特征向量图;
步骤3.2将四个尺度的特征向量图输入到UPerNet网络中进行处理得到类别预测向量,基于类别预测向量,构建Swin-Tranformer语义分割网络。
优选的,所述步骤3.1具体包括:
步骤3.1.1将所述混合数据集中的训练图像输入到网络中,经过区块划分模块处理,得到图片,将所述图片按像素划分成不同的小块,将小块在所有通道上的像素拉伸为一维特征向量,将所有一维特征向量组合成特征向量图;
步骤3.1.2将特征向量图经过四个阶段处理,得到四个在不同尺度上的特征向量图,其中,每个阶段由区块合并和Swin-Transformer Block组成。
优选的,所述步骤3.2具体包括:
步骤3.2.1将底层特征向量图经过金字塔池化模块进行处理,得到第一多种尺度的复合特征图;
步骤3.2.2将四个特征向量图进行多尺度特征融合处理,得到第二多种尺度的复合特征图;
步骤3.2.3将两个复合特征图通过softmax函数进行归一化处理得到类别预测向量。
与现有技术相比,本发明具有如下优点和技术效果:
本发明公开了一种碳纤维复合材料数据集的深度学习分割方法,通过XCT断层扫描技术获取相关碳纤维复合材料的图像,构造模型的原数据集,然后通过参数化建模生成二维合成图像,并将其与Pix2PixHD风格迁移网络进行结合生成合成数据集,将原数据集与合成数据集一起作为一个混合数据集输入基于Swin-Tranformer的语义分割网络,最终形成一个能完整分割XCT图像的语义分割网络。本模型能完成复合材料图像的像素级分割,解决了原数据集人工标注困难,耗时导致的数据量不足的问题,使得分割结果更加精确,节约了大量人工成本。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为本发明的一种碳纤维复合材料数据集的深度学习分割方法流程示意图;
图2为本发明的用于生成合成数据集的流程步骤示意图;
图3为本发明的用于真实数据集细观结构参数化分析示意图;
图4为本发明的人工合成数据结果示例,其中(a)为原数据集图像,(b)为原数据集标签图像,(c)为合成数据集图像,(b)为合成数据集标签图像。
具体实施方式
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
实施例一:
如图1-图4所示,本发明提供了一种碳纤维复合材料数据集的深度学习分割方法,包括以下步骤:
步骤1、采用人工标注方法对随机选取的复材XCT检测图像进行手工分割,构建原始数据集;
步骤2、基于原始数据集进行参数化统计分析,并进行参数化随机建模,扩充数据集,构建混合数据集;
步骤3、基于混合数据集,构建Swin-Tranformer语义分割网络;
步骤4、基于Swin-Tranformer语义分割网络,生成CFRP完整语义分割图像作为最终结果。
在本实施例中,步骤1具体包括:
步骤1.1、经XCT断层扫描,获得复合材料XCT图像,假设所得扫描的图像共1450张;
步骤1.2、裁剪去除所述复合材料XCT图像外层的空气部分,每隔10帧取出一张图片,保证不丢失目标信息,同时减少样本提取工作量;
步骤1.3、对所有取出的图片进行手工筛选并标注,获得原始数据集139张图片。
在本实施例中,原始数据集中主要包括四类,分别为经纱、纬纱、树脂基以及孔隙。
在本实施例中,步骤2具体包括:
步骤2.1、基于原始数据集细观结构特征,进行参数化统计分析;
在本实施例中,步骤2.1具体包括:
步骤2.1.1、采集形状参数;
步骤2.1.2、对采集的形状参数进行分布拟合;
步骤2.1.3、对分布拟合的形状参数进行统计分析;
其中统计分析包括:轮廓类似于矩形的经纱几何参数统计分析和轮廓类似于椭圆的纬纱几何参数统计分析。
经纱几何参数统计分析的方法为:标注图像中经纱纤维,并统计经纱的平均宽度,宽度标准差,长度等信息,计算出每股经纱质心,并读取每股质心间的距离以生成多股经纱。
纬纱几何参数统计分析的方法为:通过opencv库中的fitellipse功能拟合出的椭圆,计算纬纱倾斜角,手动标注图像每个纬纱的最远距离并将其作为长轴,计算轮廓与长轴垂直的直线的两个交点以计算出短轴长度,得到长短轴之比。将收集到的每个纬纱数据以同样的圆心代入椭圆表示方程中,统计每个角度上的像素实际半径与理想半径比,实现椭圆的不规则化。
经纱几何参数统计分析及纬纱几何参数统计分析:使用fitter库直接自动搜索在scipy库中所支持的分布进行拟合,自动拟合经纱的宽度均值、标准差、长度等,纬纱的长径,长短径比,倾斜角等数据。
步骤2.2、基于参数化统计分析的结果,通过参数化随机建模的方式对数据集进行扩充,防止原始数据集较少而导致语义分割效果不达到预期的结果,生成合成数据集;
在本实施例中,步骤2.2具体包括:
步骤2.2.1、根据经纱参数化统计分析生成经纱随机模型;
具体包括:对于随机经纱的生成,首先生成一条直线作为其中心线,再对于中心线进行宽度填充。中心线通过选取一条直线中的4到6个节点,将其等分,其中包含上下两个端点,将中间部分的节点进行随机的坐标偏移,最大偏移量通过经验选取,将生成的几个点通过样条插值的方式拟合出一条曲线,将其作为中心线。
根据生成的中心线长度生成对应数量的宽度,在其中随机选取1-3个节点,将生成的宽度根据节点进行排序,并且以升降序交错的方式来接近真实经纱的宽度不均匀的形状,同时以这种方法生成其他类别所需的尖端部分。将生成出的弯曲的不规则矩形进行随机弹性形变。随机弹性形变通过随机生成两个大小与图像相同的矩阵,分别代表每个像素点的坐标在水平和竖直位置偏移,使用高斯滤波对其进行平滑,使得矩阵连续,形成两个方向上的坐标偏移矩阵。将图像原坐标施加上两个不同方向上的偏移,以偏移后的像素点通过插值的方法得到原图像坐标上的灰度值,重构出一张图像达到随机弹性形变的效果。另外,使用了中值滤波的方法去除宽度排序过程中产生的毛刺。将不同类型经纱按一定的间隔排列。
步骤2.2.2、根据纬纱参数化统计分析生成纬纱随机模型;
具体包括:所述对于纬纱的生成,以拟合出的短轴长度,长短轴比这两个形状参数生成一个基本的椭圆形状,在椭圆圆周上以均等的长度设置节点,随后为所有节点根据所拟合的纬纱偏移量生成偏移量,将其应用于所有节点的长度上,此处在生成时采集了720个节点,随后我们使用了一种特殊的平滑方式,将椭圆的相邻节点取中点,通过多次这种平滑后,对椭圆整体进行中值滤波消除毛刺,最终根据拟合生成的倾斜角对椭圆进行倾斜。
步骤2.2.3、基于经纱随机模型与纬纱随机模型,生成人工合成标签图像;
具体包括:对于合成标签图像的生成,以原图大小为生成的图像大小,人为限定树脂区域的上下边界,优先生成经纱,并通过生成的间距将经纱进行位置排列,直至图像中剩余的宽度容不下下一个生成的间距以及经纱宽度。之后,将经纱的两端位置选定为树脂区域的横向边界。随后生成纬纱,对纬纱随机选取位置进行投放,投放区域向上下扩展,并通过这种方式以生成原图像边界上的截断纬纱的形状,随后计算与已投入的纤维的重叠率来决定是否投入,最终纬纱投放失败一定次数或者图像的纤维总面积到达一定程度则停止投放。
步骤2.2.4、基于人工合成标签图像,生成与真实细观结构相同的碳纤维复合材料图像,将与真实细观结构相同的碳纤维复合材料图像作为合成数据集。
在本实施例中,步骤2.2.4具体包括:
步骤2.2.4.1、改动Pix2PixHD网络的生成部分,使生成部分同时训练两个不同尺度下的生成器模型,并将两个不同尺度下的生成器模型的特征进行融合;
步骤2.2.4.2、基于特征融合后的生成器模型,生成与真实细观结构相同的碳纤维复合材料图像。
其中,所述Pix2PixHD网络是一种条件对抗生成网络(cGAN),通过监督学习的方式,让生成的图像更精确的与输入的目标图像在灰度分布上相似。其主要目的是训练一个生成器G,将原图x通过生成器网络G从而得到一个假的图像G(x),同时训练一个判别器D,将生成的假的图像G(x)和真实图像输入判别器D中,通过训练让原图像的特征与生成图像的特征相似,使得判别器D无法辨别图像是否伪造。
步骤2.3、将合成数据集与原始数据集组成混合数据集。
在本实施例中,在200张合成数据集中手动挑选出120张合成效果较好的图片组成了合成数据集,并且与139张图片组成的原始数据集一起组成最终的数据集。我们从139张原始数据集中随机选取15张作为验证集,将剩下的124张原始数据集与120张合成数据集共同组成训练集。
在本实施例中,还包括对试验数据进行预处理,具体包括:
将尺寸为1119×1431图片随机裁剪至448×448;
对图片进行水平翻转、垂直翻转、旋转的数据增强;
其中,随机裁剪图片是因为原始图片尺寸较大,为了减少计算量并适应于SwinTransformer,加快训练速度。有效的数据增强能够增强模型鲁棒性,防止过拟合。最后将得到的图片输入到网络中进行训练。
在本实施例中,步骤3具体包括:
步骤3.1将混合数据集通过Swin-Tranformer网络进行处理得到四个尺度的特征向量图;
在本实施例中,步骤3.1具体包括:
步骤3.1.1将混合数据集中的训练图像输入到网络中,经过区块划分模块处理,得到图片,将图片按像素划分成不同的小块,将小块在所有通道上的像素拉伸为一维特征向量,将所有一维特征向量组合成特征向量图;
步骤3.1.2将特征向量图经过四个阶段处理,得到四个在不同尺度上的特征向量图,其中,每个阶段由区块合并和Swin-Transformer Block组成。
所述步骤3.1.2的Swin-TransformerBlock包括层归一化层,窗口多头自注意力层,多层感知层。
Swin-Tranformer语义分割网络的训练过程表示如下:
Swin-Tranformer网络由区块划分模块4个阶段组成,每个阶段由区块合并和Swin-TransformerBlock组成,区块合并主要作用是降低特征图分辨率,其中第一阶段除外,在小块组合在经过线性编码后输入到Swin-TransformerBlock中。
区块划分模块将将图片的最小单位从像素转变为区块,每一个小块由4×4个像素构成,即用包含4×4个像素的区块来对像素矩阵进行分割,将每个区块所有通道中的像素值拉伸为一维向量。区块划分模块的具体情况如下:
第1层为输入层,输入的图像样本通道数为3,尺寸为448*448;
第2层为卷积层,输入通道数为3,输出通道数为96,卷积核尺寸为4*4,卷积核步长为4*4;
第3层为层归一化层,输入通道数为96。
将区块划分模块所得的通道数为96,尺寸为112*112的特征向量图输入Swin-TransformerBlock。Swin-TransformerBlock的具体情况如下:
第1层为层归一化层,输入通道数为96;
第2层为全连接层,输入通道数为96,输出通道数为288;
第3层为窗口自注意力模块,输入通道数为96,输出通道数为96;
第4层为层归一化层,输入通道数为96;
第5层为多层感知层,输入通道数为96,输出通道数为96;
第6层为层归一化层,输入通道数为96;
第7层为全连接层,输入通道数为96,输出通道数为288;
第8层为移动窗口自注意力模块,输入通道数为96,输出通道数为96;
第9层为层归一化层,输入通道数为96;
第10层为多层感知层,输入通道数为96,输出通道数为96。
其中,在第1层以及第6层后将输入的特征向量图进行区块划分成7×7个的区块,将每个区块的特征向量图经过展平成通道数为96,长度为49的2080个特征向量。窗口自注意力模块将特征矩阵以通道数均分为3份得到Q、K、V三个特征,每个特征通道数为96,长度为49,数量为2080,然后经过矩阵转置、复制的操作,得到独立的窗口的3个的权值矩阵,根据所述的权值矩阵的计算公式如下:
Figure BDA0003988440300000131
其中,Q、K、V分表为三个特征;B表示相对位置偏差;dk表示特征K的方差,是一个常数。
多层感知层的具体情况如下:
第1层为全连接层,输入通道数为96,输出通道数为384;
第2层为GeLU激励层;
第3层为全连接层,输入通道数为384,输出通道数为96。
移动窗口自注意力模块将所有窗口进行3个窗口大小的位置移动,将特征图中左方以及上方3个窗口大小移动至右方以及下方,得到新的特征矩阵,对新的特征矩阵进行与窗口自注意力模块同样的方式计算自注意力,此处不再赘述。
经过Swin-TransformerBlock所得的通道数为96,长度为12544的特征向量输入还原成尺寸为112*112的特征矩阵,将其输入区块合并模块缩小分辨率,调整通道数达到层次化的设计,增加了感受野的目的。区块合并模块的具体情况如下:
第1层为展开层,输入通道为96,输入尺寸为112*112,输出通道为384,输出尺寸为3136,卷积核尺寸为2*2,卷积核步长为2*2;
第2层为层归一化层,输入通道为96;
第3层为全连接层,输入通道为384,输出通道为192。
后续3个阶段与上述方法相同,故此不再赘述。每个阶段得到了不同尺寸的特征向量图,第一阶段尺寸为112*112,通道数为96,第二阶段尺寸为56*56,通道数为192,第三阶段尺寸为28*28,通道数为384,第四阶段尺寸为14*14,通道数为768。
步骤3.2将四个尺度的特征向量图输入到UPerNet网络中进行处理得到类别预测向量,基于类别预测向量,构建Swin-Tranformer语义分割网络。
在本实施例中,步骤3.2具体包括:
步骤3.2.1将底层特征向量图经过金字塔池化模块进行处理,得到第一多种尺度的复合特征图;
步骤3.2.2将四个特征向量图进行多尺度特征融合处理,得到第二多种尺度的复合特征图;
步骤3.2.3将两个复合特征图通过softmax函数进行归一化处理得到类别预测向量。
其中,金字塔池化模块可以聚合不同区域的上下文信息,以提高网络获取全局信息的能力。金字塔池化模块由四部分并行的卷积操作组成,第一部分的具体情况如下:
第1层为自适应平均池化层,输出尺寸为1*1;
第2层为卷积层,输入通道数为768,输出通道数为512,卷积核尺寸为1*1;
第3层为批归一化层,输入通道数为512;
第4层为ReLU激励层;
第5层为上采样层,输入尺寸为1*1,输出尺寸为14*14。
第二部分的具体情况如下:
第1层为自适应平均池化层,输出尺寸为2*2;
第2层为卷积层,输入通道数为768,输出通道数为512,卷积核尺寸为1*1;
第3层为批归一化层,输入通道数为512;
第4层为ReLU激励层;
第5层为上采样层,输入尺寸为2*2,输出尺寸为14*14;
第三部分的具体情况如下:
第1层为自适应平均池化层,输出尺寸为3*3;
第2层为卷积层,输入通道数为768,输出通道数为512,卷积核尺寸为1*1;
第3层为批归一化层,输入通道数为512;
第4层为ReLU激励层;
第5层为上采样层,输入尺寸为3*3,输出尺寸为14*14;
第四部分的具体情况如下:
第1层为自适应平均池化层,输出尺寸为6*6;
第2层为卷积层,输入通道数为768,输出通道数为512,卷积核尺寸为1*1;
第3层为批归一化层,输入通道数为512;
第4层为ReLU激励层;
第5层为上采样层,输入尺寸为6*6,输出尺寸为14*14。
其中,如上所述四部分的输入均为底层特征图,其尺寸为14*14,通道数为768,上述四部分为并行运算,输出的特征图尺寸均为14*14,通道数为512,与底层特征图拼接,得到尺寸为14*14,通道数为2816。
多尺度特征融合的输入通道数不同,因此由四部分并行的卷积操作组成,其输入除了最后一层为金字塔池化模块的输出,其余输入分别为Swin-Transformer每个阶段后的输出,其中第一部分的具体情况如下:
第1层为卷积层,输入通道数为96,输出通道数为512,卷积核尺寸为1*1;
第2层为批归一化层,输入通道数为512;
第3层为ReLU激励层;
第4层为卷积层,输入通道数为512,输出通道数为512,卷积核尺寸为3*3;
第5层为批归一化层,输入通道数为512;
第6层为ReLU激励层;
第7层为上采样层,输入尺寸为112*112,输出尺寸为112*112。
第二部分的具体情况如下:
第1层为卷积层,输入通道数为192,输出通道数为512,卷积核尺寸为1*1;
第2层为批归一化层,输入通道数为512;
第3层为ReLU激励层;
第4层为卷积层,输入通道数为512,输出通道数为512,卷积核尺寸为3*3;
第5层为批归一化层,输入通道数为512;
第6层为ReLU激励层;
第7层为上采样层,输入尺寸为56*56,输出尺寸为112*112。
第三部分的具体情况如下:
第1层为卷积层,输入通道数为384,输出通道数为512,卷积核尺寸为1*1;
第2层为批归一化层,输入通道数为512;
第3层为ReLU激励层;
第4层为卷积层,输入通道数为512,输出通道数为512,卷积核尺寸为3*3;
第5层为批归一化层,输入通道数为512;
第6层为ReLU激励层;
第7层为上采样层,输入尺寸为28*28,输出尺寸为112*112。
第四部分的具体情况如下:
第1层为上采样层,输入尺寸为14*14,输出尺寸为112*112。
第2层为卷积层,输入通道数为512,输出通道数为512,卷积核尺寸为3*3;
第3层为批归一化层,输入通道数为512;
第4层为ReLU激励层。
如上所述四部分输出的特征向量图通道数均为512,尺寸均为112*112,经过拼接后得到通道数为2048的复合向量图,经过卷积和softmax函数得到类别预测向量,具体情况如下:
第1层为卷积层,输入通道数为2048,输出通道数为512,卷积核尺寸为3*3;
第2层为批归一化层,输入通道数为512;
第3层为ReLU激励层;
第4层为卷积层,输入通道数为512,输出通道数为4,卷积核尺寸为1*1;
第5层为上采样层,输入尺寸为112*112,输出尺寸为448*448。
由上得到类别预测向量尺寸为输入图像尺寸448*448,通道数为4,经过softmax函数得到归一化的长度为2的类别预测概率,在4个通道中分别对应孔隙、树脂基、纬纱以及经纱,其中最高的预测概率所在的通道被定为对应的类别,从而得到整张输入图像的语义分割结果图。
以上,仅为本申请较佳的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应该以权利要求的保护范围为准。

Claims (10)

1.一种碳纤维复合材料数据集的深度学习分割方法,其特征在于,包括以下步骤:
步骤1、采用人工标注方法对随机选取的复材XCT检测图像进行手工分割,构建原始数据集;
步骤2、基于所述原始数据集进行参数化统计分析,并进行参数化随机建模,扩充数据集,构建混合数据集;
步骤3、基于所述混合数据集,构建Swin-Tranformer语义分割网络;
步骤4、基于所述Swin-Tranformer语义分割网络,生成CFRP完整语义分割图像作为最终结果。
2.根据权利要求1所述的碳纤维复合材料数据集的深度学习分割方法,其特征在于,所述步骤1具体包括:
步骤1.1、经XCT断层扫描,获得复合材料XCT图像;
步骤1.2、裁剪去除所述复合材料XCT图像外层的空气部分,每隔10帧取出一张图片;
步骤1.3、对所有取出的图片进行手工筛选并标注,获得原始数据集。
3.根据权利要求2所述的碳纤维复合材料数据集的深度学习分割方法,其特征在于,所述原始数据集中主要包括四类,分别为经纱、纬纱、树脂基以及孔隙。
4.根据权利要求3所述的碳纤维复合材料数据集的深度学习分割方法,其特征在于,所述步骤2具体包括:
步骤2.1、基于原始数据集细观结构特征,进行参数化统计分析;
步骤2.2、基于参数化统计分析的结果,通过参数化随机建模的方式对数据集进行扩充,生成合成数据集;
步骤2.3、将所述合成数据集与所述原始数据集组成混合数据集。
5.根据权利要求4所述的碳纤维复合材料数据集的深度学习分割方法,其特征在于,所述步骤2.1具体包括:
步骤2.1.1、采集形状参数;
步骤2.1.2、对采集的形状参数进行分布拟合;
步骤2.1.3、对分布拟合的形状参数进行统计分析;
其中所述统计分析包括:轮廓类似于矩形的经纱几何参数统计分析和轮廓类似于椭圆的纬纱几何参数统计分析。
6.根据权利要求5所述的碳纤维复合材料数据集的深度学习分割方法,其特征在于,所述步骤2.2具体包括:
步骤2.2.1、根据经纱参数化统计分析生成经纱随机模型;
步骤2.2.2、根据纬纱参数化统计分析生成纬纱随机模型;
步骤2.2.3、基于所述经纱随机模型与所述纬纱随机模型,生成人工合成标签图像;
步骤2.2.4、基于所述人工合成标签图像,生成与真实细观结构相同的碳纤维复合材料图像,将所述与真实细观结构相同的碳纤维复合材料图像作为合成数据集。
7.根据权利要求6所述的碳纤维复合材料数据集的深度学习分割方法,其特征在于,所述步骤2.2.4具体包括:
步骤2.2.4.1、改动Pix2PixHD网络的生成部分,使所述生成部分同时训练两个不同尺度下的生成器模型,并将所述两个不同尺度下的生成器模型的特征进行融合;
步骤2.2.4.2、基于特征融合后的生成器模型,生成与真实细观结构相同的碳纤维复合材料图像。
8.根据权利要求1所述的碳纤维复合材料数据集的深度学习分割方法,其特征在于,所述步骤3具体包括:
步骤3.1将所述混合数据集通过Swin-Tranformer网络进行处理得到四个尺度的特征向量图;
步骤3.2将四个尺度的特征向量图输入到UPerNet网络中进行处理得到类别预测向量,基于类别预测向量,构建Swin-Tranformer语义分割网络。
9.根据权利要求8所述的碳纤维复合材料数据集的深度学习分割方法,其特征在于,所述步骤3.1具体包括:
步骤3.1.1将所述混合数据集中的训练图像输入到网络中,经过区块划分模块处理,得到图片,将所述图片按像素划分成不同的小块,将小块在所有通道上的像素拉伸为一维特征向量,将所有一维特征向量组合成特征向量图;
步骤3.1.2将特征向量图经过四个阶段处理,得到四个在不同尺度上的特征向量图,其中,每个阶段由区块合并和Swin-Transformer Block组成。
10.根据权利要求8所述的碳纤维复合材料数据集的深度学习分割方法,其特征在于,所述步骤3.2具体包括:
步骤3.2.1将底层特征向量图经过金字塔池化模块进行处理,得到第一多种尺度的复合特征图;
步骤3.2.2将四个特征向量图进行多尺度特征融合处理,得到第二多种尺度的复合特征图;
步骤3.2.3将两个复合特征图通过softmax函数进行归一化处理得到类别预测向量。
CN202211573597.XA 2022-12-08 2022-12-08 一种碳纤维复合材料数据集的深度学习分割方法 Pending CN115830323A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211573597.XA CN115830323A (zh) 2022-12-08 2022-12-08 一种碳纤维复合材料数据集的深度学习分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211573597.XA CN115830323A (zh) 2022-12-08 2022-12-08 一种碳纤维复合材料数据集的深度学习分割方法

Publications (1)

Publication Number Publication Date
CN115830323A true CN115830323A (zh) 2023-03-21

Family

ID=85544706

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211573597.XA Pending CN115830323A (zh) 2022-12-08 2022-12-08 一种碳纤维复合材料数据集的深度学习分割方法

Country Status (1)

Country Link
CN (1) CN115830323A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116958739A (zh) * 2023-06-25 2023-10-27 南京矩视科技有限公司 一种基于注意力机制的碳纤维丝道实时动态编号方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116958739A (zh) * 2023-06-25 2023-10-27 南京矩视科技有限公司 一种基于注意力机制的碳纤维丝道实时动态编号方法

Similar Documents

Publication Publication Date Title
CN109655019B (zh) 一种基于深度学习和三维重建的货物体积测量方法
CN111027547B (zh) 一种针对二维图像中的多尺度多形态目标的自动检测方法
CN111402203B (zh) 一种基于卷积神经网络的织物表面缺陷检测方法
CN109580630B (zh) 一种机械零部件缺陷的视觉检测方法
Xu et al. Reconstruction of scaffolds from a photogrammetric point cloud of construction sites using a novel 3D local feature descriptor
CN108288271A (zh) 基于三维残差网络的图像检测系统及方法
CN110598030B (zh) 一种基于局部cnn框架的甲骨拓片分类方法
CN108830319B (zh) 一种图像分类方法和装置
CN112964712A (zh) 一种快速检测沥青路面状态的方法
CN109584206B (zh) 零件表面瑕疵检测中神经网络的训练样本的合成方法
Dan et al. Application of deep learning-based image recognition technology to asphalt–aggregate mixtures: Methodology
Xie et al. Fabric defect detection method combing image pyramid and direction template
CN114332086B (zh) 基于风格迁移和人工智能的纺织品缺陷检测方法及系统
CN114758222A (zh) 一种基于PointNet++神经网络混凝土管道损伤识别与体积量化方法
CN115830323A (zh) 一种碳纤维复合材料数据集的深度学习分割方法
CN109544513A (zh) 一种钢管端面缺陷提取识别的方法
CN114037693A (zh) 一种基于深度学习的岩石孔-裂隙及杂质特征评价方法
Yang et al. Semantic segmentation of bridge point clouds with a synthetic data augmentation strategy and graph-structured deep metric learning
CN114998103A (zh) 一种基于孪生网络的点云文物碎片的三维虚拟拼接方法
Anusree et al. Characterization of sand particle morphology: state-of-the-art
CN111179278B (zh) 一种图像检测的方法、装置、设备和存储介质
CN109410233A (zh) 一种边缘特征约束的高分辨率图像道路精准提取方法
CN117011274A (zh) 自动化玻璃瓶检测系统及其方法
CN114963991A (zh) 一种基于三维重建的船体石料体积测量系统
Chen et al. RDUnet-A: A Deep Neural Network Method with Attention for Fabric Defect Segmentation Based on Autoencoder

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination