CN117392450A - 一种基于进化多尺度特征学习的钢铁材料质量解析方法 - Google Patents

一种基于进化多尺度特征学习的钢铁材料质量解析方法 Download PDF

Info

Publication number
CN117392450A
CN117392450A CN202311382524.7A CN202311382524A CN117392450A CN 117392450 A CN117392450 A CN 117392450A CN 202311382524 A CN202311382524 A CN 202311382524A CN 117392450 A CN117392450 A CN 117392450A
Authority
CN
China
Prior art keywords
quality analysis
steel material
feature
scale
material quality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311382524.7A
Other languages
English (en)
Inventor
唐立新
张凯楠
刘畅
Original Assignee
东北大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 东北大学 filed Critical 东北大学
Priority to CN202311382524.7A priority Critical patent/CN117392450A/zh
Publication of CN117392450A publication Critical patent/CN117392450A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • G06N3/0455Auto-encoder networks; Encoder-decoder networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/086Learning methods using evolutionary algorithms, e.g. genetic algorithms or genetic programming
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/42Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/52Scale-space analysis, e.g. wavelet analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/54Extraction of image or video features relating to texture
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06Recognition of objects for industrial automation
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Physiology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种基于进化多尺度特征学习的钢铁材料质量解析方法,涉及钢铁材料缺陷图像识别技术领域。该方法首先建立钢铁材料质量表面缺陷样本库,然后构建基于进化多尺度特征学习的钢铁材料质量解析模型,并设置质量解析模型的初始超参数及结构参数;再采用Knee点策略选择多尺度特征学习的钢铁材料质量解析模型最佳性能时的相关参数值;最后利用测试数据集对优化过程生成的最优的多尺度特征学习的质量解析模型进行测试。该方法能够明显提高带钢表面缺陷识别结果的精度和鲁棒性,且模型参数量少及计算资源小,可以有效地应用于实际生产过程中,为操作人员及时掌握带钢质量情况提供依据,帮助钢铁企业提高产品质量,降低生产成本。

Description

一种基于进化多尺度特征学习的钢铁材料质量解析方法
技术领域
本发明涉及钢铁材料缺陷图像识别技术领域,尤其涉及一种基于进化多尺度特征学习的钢铁材料质量解析方法。
背景技术
在钢板产品生产过程中,原材料质量不达标、制造工艺不完善、操作流程不规范等因素会导致产品出现多种类型的缺陷,比如表面缺陷、内部缺陷等。其中,表面缺陷出现的频率通常较高,这不仅会破坏产品的外观,还会对产品的设计性能构成潜在影响,继而可能诱发产品失效造成巨大的经济损失。准确识别产品的表面缺陷类型对提升钢铁企业的产品良率至关重要。传统的缺陷检测主要通过人工观察识别,这种模式不仅受限于工人经验的熟练程度,而且增加了操作人员的劳动强度,客观上存在着不稳定和不精确的弊端,无法达到企业精细化管理和高质量产品要求。随着机器学习/人工智能方法的不断推进,自动计算机视觉解析技术成为制造业产品质量解析的研究热点。
基于计算机视觉解析技术的产品表面质量解析任务中,用于识别的图像数据具有缺陷类型多样、类间距离模糊、类内距离大、对比度低、亮度变化不规则等特点。此外,获取的原始图像分辨率通常较高,需要在可用时间内进行高效地在线解析。在过去的几十年中,研究人员已经提出并开发了许多基于特征提取策略的质量解析方法来克服上述挑战,根据特征获取方式的差异,这些方法被归为传统方法和深度学习两类。传统的缺陷解析需结合专家知识进行特征提取,这种人为干预的方式会导致一些重要信息的丢失,降低识别的准确性。与传统机器视觉算法相比,深度学习方法因其强大的数据拟合和表征能力被广泛应用于钢铁企业产品质量解析中。
虽然现有的基于深度学习模型可实现产品质量解析,但这些方法均通过提取局部特征实现产品表面质量解析,对于分析表面相对复杂的缺陷时具有一定的局限性。中国专利CN110363253A公开了一种基于卷积神经网络的热轧带钢表面缺陷分类方法,其通过搭建若干个卷积神经网络模型实现带钢表面缺陷分类,然后对识别结果进行评价选出结果最优模型作为最终的缺陷识别模型。该方法需建立多个模型一起进行训练,较为耗时且需大量计算资源。中国专利CN108765412A通过构建生成式对抗网络的生成器和判别器,解决了工业环境下热轧带钢表面缺陷图像匮乏而导致的过拟合问题,然后采用改进的Optimal-ResNet34模型进行缺陷识别,提高了分类准确率。虽解决了工业图像匮乏的问题,但卷积神经网络在获取全局依赖关系的能力受到卷积核大小的限制,虽然可通过堆叠多个卷积层分层提取全局特征,但也无法对图像中局部元素的全局相互作用直接进行建模。
发明内容
本发明要解决的技术问题是针对上述现有技术的不足,提供一种基于进化多尺度特征学习的钢铁材料质量解析方法,实现钢铁材料质量的解析。
为解决上述技术问题,本发明所采取的技术方案是:一种基于进化多尺度特征学习的钢铁材料质量解析方法,包括以下步骤:
步骤1:建立钢铁材料质量表面缺陷样本库;
步骤1.1:从钢铁材料质量缺陷数据库中获取钢材表面缺陷典型图像样本;
步骤1.2:将获取的钢材表面缺陷典型图像样本分为N种类型,分别从每一类缺陷中随机抽取M个图像样本作为钢铁材料质量表面缺陷样本库;
步骤1.3:将获取的样本随机以1:1比例分为训练集和测试集,其中训练集和测试集均包含N种类型样本;
步骤1.4:对训练集和测试集中的样本进行标准化处理,得到标准样本集;
步骤2:构建基于进化多尺度特征学习的钢铁材料质量解析模型;所述的基于多尺度特征学习的钢铁材料质量解析模型包括CNN和Transformer融合的混合模型以及分形维数融合模块;
步骤2.1:建立CNN和Transformer融合的混合模型;首先构建基于多尺度注意模块的卷积标记化结构,充分保留局部空间关系,增强局部特征处理能力,利用Transformer注意力机制建立带钢图像与缺陷模式之间的内在联系;
步骤2.1.1:首先,将图像输入到卷积核为k×k的卷积层进行浅层特征提取,参数k是在优化过程中确定的;在卷积层之后,利用构建的多尺度注意模块有效地评估图像的每个像素点,提取更有价值的特征;然后,应用池化层对多尺度注意模块输出的特征矩阵进行下采样,以减少模型参数数量;
步骤2.1.2:多尺度注意模块利用多尺度注意机制增强了模型的信息集成能力,即关注不同粒度的空间信息,又关注通道信息;
首先使用1×1卷积处理特征矩阵,并将图像通道数由C压缩到C/2,从而集成与通道相关的特征,减少计算量;然后将图像通道划分为4组,每组通道数为C/8,且分别采用3×3的卷积进行特征提取,其中三组通道采用空洞卷积,扩张率分别为p,2×p,3×p;然后将得到的不同尺度的特征相连接;再将连接的特征矩阵输入到1×1的卷积进行操作,将通道恢复到C;最后,使用Sigmoid激活函数将最终特征映射到(0,1)范围,得到最终的注意矩阵,其中每个值表示输入特征对应位置的重要性,将得到的注意矩阵附加到原始特征值上,引入残差连接,残差连接避免了特征信息的丢失,加快了训练速度;
步骤2.1.3:构建Transformer的编码结构,将卷积标记化结构的输出特征重塑成一系列固定大小的特征向量F,其中,hc表示输出特征XC的高度,wc表示输出特征XC的宽度,d表示输出特征XC的维度;特征向量F的序列长度为hC×wC,为了在训练过程中模型能够更好地理解特征序列的顺序,引入位置嵌入Epos,将其添加到特征序列Fi中,公式如下:
T0=Fi+Epos
其中,T0为Transformer编码结构的输入特征;
将上述特征序列T0输入到N个串行的编码器中进行全局注意力计算和特征提取,每个编码器由一个多头注意力层和一个前馈层组成,其中多头注意力层用于进行全局特征提取,前馈层对序列进行特征变换;
Transformer编码器需要引入额外的可学习的分类令牌对整个质量解析模型的序列信息进行学习,为了消除对分类令牌的需求,引入序列池化的方法;序列池化对编码器产生的潜在空间的顺序嵌入进行加权,并更好地将输入数据中的数据进行相关;
为了将特征序列输出映射到单个类索引,编码器的整个输出序列输入至序列池化层;此操作看做映射变换T:其中,b表示序列特征的批量大小,n表示序列特征长度,n=hC×wC;首先,将最后一层编码器得到的输出特征TL喂入线性层,并应用softmax激活函数得到特征TL′,接着对特征TL与TL′进行计算得到特征Z0
然后,将Z0的第二个维度进行池化操作,得到最后将得到的输出特征Z输入到线性层中进行分类;
步骤2.2:构建分形维数融合模块,基于分形维数的纹理特征描述图像表面的不规则性,通过局部信息递归获得图像的整体特征,从而丰富图像的全局特征描述;
采用差分盒计算方法分别计算输入图像、卷积标记化结构输出特征以及Transformer编码器的输出特征的分形维数;将计算得到的分形维数特征相连接,接着与步骤2.1.3获取的输出特征进行特征融合,得到最终的输出图像特征;
步骤2.3:构建带有Knee点策略的非支配排序差分进化算法,优化构建的基于多尺度特征学习的钢铁材料质量解析模型结构,以生成满足精度要求的质量解析模型;
步骤3:设置构建的基于多尺度特征学习的质量解析模型的初始超参数及结构参数;
步骤3.1:设置构建的基于多尺度特征学习的质量解析模型的超参数为默认设置;
步骤3.2:对构建的基于多尺度特征学习的质量解析模型所涉及的结构参数进行范围设置;所涉及的结构参数包括:卷积标记化结构层数,卷积核大小,多尺度注意模块中空洞卷积扩张率大小,池化操作模式,编码器层数、编码器头数、编码器嵌入维度及编码结构前馈网络维数比率;
步骤4:执行基于进化多尺度特征学习的质量解析模型;具体为采用非支配排序差分进化算法优化步骤2构建的多尺度特征学习的钢铁材料质量解析模型,并采用Knee点策略选择多尺度特征学习的钢铁材料质量解析模型最佳性能时的相关参数值;
步骤4.1:初始化非支配排序差分进化算法的相关参数,定义优化过程中的最大种群规模和最大进化代数;
步骤4.2:输入步骤1.4生成的训练数据集训练步骤2建立的基于多尺度特征学习的质量解析模型,优化模型的网络结构,采用Knee点策略从帕累托最优解集中选取最佳性能模型参数;
步骤4.2.1:以质量解析模型识别准确率和网络参数量为目标,计算每个种群的适应度函数值;
步骤4.2.2:保存当前计算结果,种群数目加一,当种群数目等于最大种群数P时,种群数p=0,进化代数g加一;
步骤4.2.3:判断是否满足终止条件;重复步骤4.2.1至步骤4.2.3,直到进化代数g等于最大代数G;
步骤4.2.4:采用Knee点策略在钢铁材料质量解析模型的帕累托最优解集中寻找最优解;
步骤4.2.5:将最优结果对应的质量解析模型的结构参数设置为该模型的最优参数,其他超参数与之前设置相同;
步骤5:利用步骤1.4生成的测试数据集对步骤4优化过程生成的最优的多尺度特征学习的质量解析模型进行测试,最终得到测试数据的识别准确率。
采用上述技术方案所产生的有益效果在于:本发明提供的一种基于进化多尺度特征学习的钢铁材料质量解析方法,设计了一种卷积神经网络和变压器的混合模型结构,充分利用了卷积神经网络的区域感知尺度和变压器对图像全局信息进行编码的能力。同时,设计了基于多尺度注意模块的卷积标记化结构,增强了对细节的感知能力。此外,提出了分形维数特征融合模块来表征图像的表面复杂性,可以为模型提供额外的图像纹理信息,丰富图像的全局特征描述。最后,基于系统优化和数据解析的核心思想,采用非支配排序差分进化算法对模型进行优化,实现模型准确率和复杂性两个指标的平衡,并采用Knee点策略从帕累托最优解集中选取最符合实际的偏好结果,得到最优的识别模型,增强了模型的适应性和泛化能力。通过对NEU-CLS-64缺陷样本的实验,基于进化多尺度特征学习的钢铁材料质量解析方法能够明显提高带钢表面缺陷识别结果的精度和鲁棒性,且模型参数量少及计算资源小,可以有效地应用于实际生产过程中,为操作人员及时掌握带钢质量情况提供依据,帮助钢铁企业提高产品质量,降低生产成本,满足现代化工业需求。
附图说明
图1为本发明实施例提供的一种基于进化多尺度特征学习的钢铁材料质量解析方法的流程图;
图2为本发明实施例提供的不同钢铁材料质量缺陷样本数据图像,其中,(a)为龟裂,(b)为凹槽,(c)为夹杂物,(d)为斑块,(e)为点蚀面,(f)为轧制粉尘,(g)为压入氧化铁皮,(h)为划痕,(i)为黑斑;
图3为本发明实施例提供的基于进化多尺度特征学习的钢铁材料质量解析模型示意图;
图4为本发明实施例提供的钢铁材料质量解析模型的多尺度注意模块的示意图;
图5为本发明实施例提供的钢铁材料质量解析模型的分形维数融合模块的示意图;
图6为本发明实施例提供的非支配排序差分进化算法优化质量解析模型参数的流程图;
图7为本发明实施例提供的非支配排序差分进化算法对质量解析模型的优化结果;
图8为本发明具实施例提供的基于多尺度特征学习的质量解析模型的预测值与实际值比较结果的混淆矩阵图。
具体实施方式
下面结合附图和实施例,对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明,但不用来限制本发明的范围。
本实施例中,基于进化多尺度特征学习的钢铁材料质量解析方法,如图1所示,包括以下步骤:
步骤1:建立钢铁材料质量表面缺陷样本库;
步骤1.1:从钢铁材料质量缺陷数据库中获取钢材表面缺陷典型图像样本;
步骤1.2:将获取的钢材表面缺陷典型图像样本共分为9种类型,分别为:龟裂、凹槽、夹杂物、斑块、点蚀面、轧制粉尘、压入氧化铁皮、划痕及黑斑,分别从每一类缺陷中随机抽取200个图像样本作为多尺度特征学习的质量解析模型的样本库,如图2所示;
步骤1.3:将获取的样本随机以1:1比例分为训练集和测试集,其中训练集和测试集均包含9种类型;
步骤1.4:对训练集和测试集中的样本进行标准化处理,得到多尺度特征学习的质量解析模型所需要的标准样本集;
数据预处理技术的标准化过程为:求取获得的缺陷图像样本的均值与方差然后对输入图像/>进行标准化处理,即:
其中,h表示输入图像的高度,w表示输入图像的宽度,C表示输入图像的通道数,x∈X表示输入图像,y表示标准化处理后的图像。
步骤2:构建基于进化多尺度特征学习的钢铁材料质量解析模型;
首先构建CNN和Transformer的混合模型,通过建立的基于多尺度注意模块的卷积标记化结构,充分利用了CNN的局部特征提取能力,多尺度注意力机制模块有效地评估图像的每个像素点,使钢铁材料质量解析模型更关注有价值的信息,同时利用Transformer的注意力机制对目标映射的全局上下文特性进行编码;然后建立分形维数特征融合模块,为模型提供额外的纹理特征,丰富图像的全局特征描述;最后,采用非支配排序差分进化算法对构建的多尺度特征学习的质量解析模型进行优化,得到帕累托最优解集,并采用Knee点策略选取最优的网络结构,从而得到最优的钢铁材料质量解析模型,如图3所示。
步骤2.1:搭建CNN和Transformer的混合模型;建立基于多尺度注意模块的卷积标记化结构,充分保留局部空间关系,增强局部特征处理能力,利用Transformer注意力机制建立带钢图像与缺陷模式之间的内在联系;
步骤2.1.1:首先,将图像输入到卷积核为k×k的卷积层进行浅层特征提取,参数k是在优化过程中确定的;在卷积层之后,利用构建的多尺度注意模块有效地评估图像的每个像素点,提取更有价值的特征;然后,应用池化层对多尺度注意模块输出的特征矩阵进行下采样,以减少模型参数数量。
以上过程描述如下:
XC=Pool(MA(Relu(Conv2d(X)))) (2)
其中,卷积过程Conv2d的滤波器的个数等于嵌入维数。根据需要,卷积层数等于或大于1。MA表示多尺度注意模块的操作过程。池化操作Pool由优化过程确定。
步骤2.1.2:多尺度注意模块利用多尺度注意机制增强了模型的信息集成能力,即关注不同粒度的空间信息,又关注通道信息,如图4所示;
首先使用1×1卷积处理特征矩阵,并将图像通道数由C压缩到C/2,从而集成与通道相关的特征,减少计算量;然后将图像通道划分为4组,每组通道数为C/8,且分别采用3×3的卷积进行特征提取,其中三组通道采用空洞卷积,扩张率分别为p,2×p,3×p。然后将得到的不同尺度的特征相连接。接下来,将连接的特征矩阵输入到1×1的卷积进行操作,将通道恢复到C。最后,使用Sigmoid激活函数将最终特征映射到(0,1)范围,得到最终的注意矩阵,其中每个值表示输入特征对应位置的重要性,将得到的注意矩阵附加到原始特征值上,引入残差连接,残差连接避免了特征信息的丢失,加快了训练速度。因此,多尺度注意模块的输出特征βi描述为:
其中,αi表示输入,βi表示与输入相关的输出,i表示批索引,表示注意矩阵。
步骤2.1.3:构建Transformer的编码结构,将卷积标记化结构的输出特征(hc表示输出特征XC的高度,wc表示输出特征XC的宽度,d表示输出特征XC的维度)重塑成一系列固定大小的特征向量F,特征向量F的序列长度为hC×wC,为了在训练过程中模型能够更好地理解特征序列的顺序,引入位置嵌入Epos,将其添加到特征序列Fi中,公式如下:
T0=Fi+Epos (4)
其中,T0为Transformer编码结构的输入特征。
将上述特征序列T0输入到N个串行的编码器中进行全局注意力计算和特征提取,每个编码器由一个多头注意力层和一个前馈层组成,其中多头注意力层用于进行全局特征提取,前馈层对序列进行特征变换,计算过程如下:
Tl′=MSA(LN(Tl-1))+Tl-1,l=1,...,L (5)
Tl=FFN(LN(Tl′))+Tl′,l=1,...,L (6)
其中,Tl-1是第l-1层编码器获得的输出特征序列,Tl′是第l个多头注意力层计算得到的特征序列,Tl是第l个前馈层的输出序列,LN表示层归一化,MSA表示多头注意力层,FFN为前馈层。
Transformer编码器需要引入额外的可学习的分类令牌对整个质量解析模型的序列信息进行学习,为了消除对分类令牌的需求,引入了序列池化的方法。序列池化对编码器产生的潜在空间的顺序嵌入进行加权,并更好地将输入数据中的数据进行相关,为提出的分维融合模块提供了基础。
为了将特征序列输出映射到单个类索引,编码器的整个输出序列输入至序列池化层。此操作看做映射变换T:(b表示序列特征的批量大小,n表示序列特征长度,n=hC×wC)。首先,将最后一层编码器得到的输出特征TL喂入线性层,并应用softmax激活函数得到特征TL′,接着对特征TL与TL′进行计算得到特征Z0。过程描述如下:
然后,将Z0的第二个维度进行池化操作,得到最后将得到的输出特征Z输入到线性层中进行分类。
步骤2.2:构建分形维数融合模块,基于分形维数的纹理特征描述了图像表面的不规则性,通过局部信息递归获得图像的整体特征从而丰富图像的全局特征描述,如图5所示;
采用差分盒计算方法分别计算输入图像、卷积标记化结构输出特征以及Transformer编码器的输出特征的分形维数。将计算得到的分形维数特征相连接,接着与步骤2.1.3获取的输出特征进行特征融合,得到最终的图像特征。具体流程如下:
步骤2.2.1:计算输入图像的分形维数:
其中,fd表示分形维数计算过程,XO_FD表示输入图像的分形维数特征。
步骤2.2.2:计算卷积标记化结构与Transformer编码器的输出特征的分形维数。为了使得分形维数维度一致,且计算量小。首先使用1×1卷积将卷积标记化结构与Transformer编码器的输出特征矩阵降维至C。然后,分别计算其分形维数,如下公式所示:
式中,CL表示卷积标记化结构的输出特征,TL表示编码结构的输出特征,XC_FD表示卷积标记化结构输出的分形维数特征,XT_FD表示编码结构输出的分形维数特征。
步骤2.2.3:将以上输入图像的分形维数特征、卷积标记化结构输出的分形维数特征以及Transformer编码器输出的分形维数特征相连接,通过线性变换将连接后的分形维数特征的张量维数映射到嵌入维数:
式中,XFD表示经线性变换后的分形维数特征。
步骤2.2.4:采用特征融合方法将分形维数特征XFD与顺序池化层后的特征Z进行融合。由于使用双线性融合方法(相乘)得到的特征维数为原有维数的平方,会增大计算量。为了减少计算量,将空间域特征转换为频域特征并进行相乘,会提高计算效率以及精度。过程描述如下:
式中,XFF表示融合后的最终输出特征,FFT表示傅里叶变换,FFT-1表示反傅里叶变换,定义为按元素方式相乘。
步骤2.3:构建带有Knee点策略的非支配排序差分进化算法,以优化构建的基于多尺度特征学习的钢铁材料质量解析模型结构,生成满足精度要求的质量解析模型。
在神经网络训练过程中,需要通过不断调整网络的结构参数和超参数,达到网络训练模型最佳性能。常用的调参方法主要分为人工经验调参和算法自适应调参两种手段,人工调参的方式耗时耗力。因此,本发明采用带有Knee点策略的非支配排序差分进化算法优化构建的多尺度特征学习的质量解析模型。Knee解是帕累托前沿面上向理想点方向的一个“凸起”,与相邻的候选解比较时,Knee解在一个目标上表现出轻微的提高,而在另一个目标上则以不显著的退化为代价。本发明采用基于距离的方式选择最合适的解。
步骤3:设置构建的基于多尺度特征学习的钢铁材料质量解析模型的初始超参数及结构参数;
步骤3.1:对构建的多尺度特征学习的钢铁材料质量解析模型的多种超参数进行设置;本实施例具体设置为:批大小32,迭代次数100,学习率0.001,模型优化策略为AdamW,学习率调整策略为OneCycleLR,以及损失函数为LabelSmoothingCrossEntropy;
步骤3.2:对构建的多尺度特征学习的钢铁材料质量解析模型所涉及的结构参数进行范围设置,涉及的参数配置包括:卷积标记化结构层数{1,2,3},卷积核大小{3,5,7},多尺度注意模块的孔洞率大小{1,2,3},池化操作模式{MaxPool,AvgPool},编码器层数{2,4}、编码器头数{2,4,8}、编码器嵌入维度{64,128,256}及编码结构前馈网络维数比率{1,2,3,4};
步骤4:执行基于进化多尺度特征学习的质量解析模型;具体为采用非支配排序差分进化算法优化多尺度特征学习的质量解析模型(优化参数为步骤3.2中所描述的结构参数,)采用Knee点策略选择模型最佳性能时的相关参数值,流程图如图6所示;
步骤4.1:初始化非支配排序差分进化算法的相关参数,定义优化过程中的最大种群规模P=30和最大进化代数G=20,并设置初始种群数p=0,初始进化代数g=0;
步骤4.2:输入步骤1.4生成的训练数据集训练步骤2建立的基于多尺度特征学习的钢铁材料质量解析模型,优化模型的网络结构,采用Knee点策略选取最佳性能模型参数;
本发明采用带有Knee点策略的非支配排序差分进化算法优化构建的多尺度特征学习的钢铁材料质量解析模型,寻找在模型训练过程中平衡模型性能和复杂度两个指标的最优模型。在本发明中,质量解析模型的分类精度和结构复杂性被设计为两个优化目标,记为:
其中,θ定义为钢铁材料质量解析模型的结构参数,Y表示实际值,表示为预测值Acc为质量解析模型的识别准确率,Params为质量解析模型的参数量。Model表示多尺度特征学习的钢铁材料质量解析模型。
步骤4.2.1:以质量解析模型识别准确率和网络参数量为目标,计算每个种群的适应度函数值;
步骤4.2.2:保存当前计算结果,种群数目加一,当种群数目等于最大种群数P时,种群数p=0,进化代数g加一;
步骤4.2.3:判断是否满足终止条件;重复步骤4.2.1至步骤4.2.3,直到进化代数g等于最大代数G;
步骤4.2.4:采用Knee点策略在钢铁材料质量解析模型的帕累托最优解集中寻找最优解,由于质量解析模型的优化目标为钢铁材料表面缺陷识别准确率和模型参数量,它们分别代表为模型精度和计算复杂度,因在钢铁材料质量解析任务中,识别准确率与计算复杂度同样重要,因此本发明选择基于距离的方法选择Knee解作为最优解,如图7所示;
步骤4.2.5:将最优结果对应的质量解析模型的结构参数设置为该模型的最优参数,其他超参数与之前相同;
步骤5:利用步骤1.4生成的测试数据集对步骤4优化过程生成的最佳质量解析模型进行测试,得到测试数据的识别准确率;
基于钢铁材料质量表面缺陷测试数据,从本实施例优化得到的多尺度特征学习的质量解析模型进行验证得出统计结果,其中表1为本发明具体实施方式得到的钢铁材料表面缺陷识别的准确率、召回率、查准率和F1分数。从表1中可以看出,本发明得到的四个指标分别为92.89%,92.90%,92.89%,92.87%。为了分析所提方法对单个缺陷的性能,本实施例绘制了混淆矩阵,如图8所示。从图中可以看出,缺陷类型轧制粉尘和黑斑比其他类型更容易被错误地识别,这是由于它们的类内距离大,对比度低,亮度变化不规则所致。为了进一步证明本发明所构建的质量解析模型的有效性,本实施例对多尺度注意模块与分维特征融合模块进行了测试。从表1可以看出,MA-Trans模型在数据集上的准确率、召回率、查准率和F1分数分别为91.0%,91.0%,91.09%和91.91%。F-Trans模型在四项指标的结果分别为89.78%、89.78%、89.78%和89.71%。结果表明,本发明的基于进化多尺度特征学习的钢铁材料质量解析模型能够明显提高带钢表面缺陷识别结果的精度和鲁棒性,且模型参数量少及计算资源小,可以有效地应用于实际生产过程中,为操作人员及时掌握带钢质量情况提供依据,帮助钢铁企业提高产品质量,降低生产成本,满足现代化工业需求。
表1钢铁材料质量表面缺陷数据集实验结果
Model Acc Re Pre F1
F-Trans 89.78 89.78 89.78 89.71
MA-Trans 91.00 91.00 91.09 90.91
MO-MA&F-Trans 92.89 92.90 92.89 92.87
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明权利要求所限定的范围。

Claims (9)

1.一种基于进化多尺度特征学习的钢铁材料质量解析方法,其特征在于:包括以下步骤:
步骤1:建立钢铁材料质量表面缺陷样本库;
步骤2:构建基于进化多尺度特征学习的钢铁材料质量解析模型;所述的基于多尺度特征学习的钢铁材料质量解析模型包括CNN和Transformer融合的混合模型以及分形维数融合模块;
步骤3:设置构建的基于多尺度特征学习的质量解析模型的初始超参数及结构参数;
步骤4:执行基于进化多尺度特征学习的质量解析模型;具体为采用非支配排序差分进化算法优化步骤2构建的多尺度特征学习的钢铁材料质量解析模型,并采用Knee点策略选择多尺度特征学习的钢铁材料质量解析模型最佳性能时的相关参数值;
步骤5:利用步骤1.4生成的测试数据集对步骤4优化过程生成的最优的多尺度特征学习的质量解析模型进行测试,最终得到测试数据的识别准确率。
2.根据权利要求1所述的一种基于进化多尺度特征学习的钢铁材料质量解析方法,其特征在于:所述步骤1的具体方法为:
步骤1.1:从钢铁材料质量缺陷数据库中获取钢材表面缺陷典型图像样本;
步骤1.2:将获取的钢材表面缺陷典型图像样本分为N种类型,分别从每一类缺陷中随机抽取M个图像样本作为钢铁材料质量表面缺陷样本库;
步骤1.3:将获取的样本随机以1:1比例分为训练集和测试集,其中训练集和测试集均包含N种类型样本;
步骤1.4:对训练集和测试集中的样本进行标准化处理,得到标准样本集。
3.根据权利要求2所述的一种基于进化多尺度特征学习的钢铁材料质量解析方法,其特征在于:所述步骤2的具体方法为:
步骤2.1:建立CNN和Transformer融合的混合模型;首先构建基于多尺度注意模块的卷积标记化结构,充分保留局部空间关系,增强局部特征处理能力,利用Transformer注意力机制建立带钢图像与缺陷模式之间的内在联系;
步骤2.2:构建分形维数融合模块,基于分形维数的纹理特征描述图像表面的不规则性,通过局部信息递归获得图像的整体特征,从而丰富图像的全局特征描述;
步骤2.3:构建带有Knee点策略的非支配排序差分进化算法,优化构建的基于多尺度特征学习的钢铁材料质量解析模型结构,以生成满足精度要求的质量解析模型。
4.根据权利要求3所述的一种基于进化多尺度特征学习的钢铁材料质量解析方法,其特征在于:所述步骤2.1的具体方法为:
步骤2.1.1:首先,将图像输入到卷积核为k×k的卷积层进行浅层特征提取,参数k是在优化过程中确定的;在卷积层之后,利用构建的多尺度注意模块有效地评估图像的每个像素点,提取更有价值的特征;然后,应用池化层对多尺度注意模块输出的特征矩阵进行下采样,以减少模型参数数量;
步骤2.1.2:多尺度注意模块利用多尺度注意机制增强了模型的信息集成能力,即关注不同粒度的空间信息,又关注通道信息;
首先使用1×1卷积处理特征矩阵,并将图像通道数由C压缩到C/2,从而集成与通道相关的特征,减少计算量;然后将图像通道划分为4组,每组通道数为C/8,且分别采用3×3的卷积进行特征提取,其中三组通道采用空洞卷积,扩张率分别为p,2×p,3×p;然后将得到的不同尺度的特征相连接;再将连接的特征矩阵输入到1×1的卷积进行操作,将通道恢复到C;最后,使用Sigmoid激活函数将最终特征映射到(0,1)范围,得到最终的注意矩阵,其中每个值表示输入特征对应位置的重要性,将得到的注意矩阵附加到原始特征值上,引入残差连接,残差连接避免了特征信息的丢失,加快了训练速度;
步骤2.1.3:构建Transformer的编码结构,将卷积标记化结构的输出特征重塑成一系列固定大小的特征向量F,其中,hc表示输出特征XC的高度,wc表示输出特征XC的宽度,d表示输出特征XC的维度;特征向量F的序列长度为hC×wC,为了在训练过程中模型能够更好地理解特征序列的顺序,引入位置嵌入Epos,将其添加到特征序列Fi中,公式如下:
T0=Fi+Epos
其中,T0为Transformer编码结构的输入特征;
将上述特征序列T0输入到N个串行的编码器中进行全局注意力计算和特征提取,每个编码器由一个多头注意力层和一个前馈层组成,其中多头注意力层用于进行全局特征提取,前馈层对序列进行特征变换;
Transformer编码器需要引入额外的可学习的分类令牌对整个质量解析模型的序列信息进行学习,为了消除对分类令牌的需求,引入序列池化的方法;序列池化对编码器产生的潜在空间的顺序嵌入进行加权,并更好地将输入数据中的数据进行相关;
为了将特征序列输出映射到单个类索引,编码器的整个输出序列输入至序列池化层;此操作看做映射变换其中,b表示序列特征的批量大小,n表示序列特征长度,n=hC×wC;首先,将最后一层编码器得到的输出特征TL喂入线性层,并应用softmax激活函数得到特征TL′,接着对特征TL与TL′进行计算得到特征Z0
然后,将Z0第二个维度进行池化操作,得到最后将得到的输出特征Z输入到线性层中进行分类。
5.根据权利要求4所述的一种基于进化多尺度特征学习的钢铁材料质量解析方法,其特征在于:所述步骤2.2采用差分盒计算方法分别计算输入图像、卷积标记化结构输出特征以及Transformer编码器的输出特征的分形维数;将计算得到的分形维数特征相连接,接着与步骤2.1.3获取的输出特征进行特征融合,得到最终的输出图像特征。
6.根据权利要求5所述的一种基于进化多尺度特征学习的钢铁材料质量解析方法,其特征在于:所述步骤3的具体方法为:
步骤3.1:设置构建的基于多尺度特征学习的质量解析模型的超参数为默认设置;
步骤3.2:对构建的基于多尺度特征学习的质量解析模型所涉及的结构参数进行范围设置。
7.根据权利要求6所述的一种基于进化多尺度特征学习的钢铁材料质量解析方法,其特征在于:步骤3.2所涉及的结构参数包括:卷积标记化结构层数,卷积核大小,多尺度注意模块中空洞卷积扩张率大小,池化操作模式,编码器层数、编码器头数、编码器嵌入维度及编码结构前馈网络维数比率。
8.根据权利要求7所述的一种基于进化多尺度特征学习的钢铁材料质量解析方法,其特征在于:所述步骤4的具体方法为:
步骤4.1:初始化非支配排序差分进化算法的相关参数,定义优化过程中的最大种群规模和最大进化代数;
步骤4.2:输入步骤1.4生成的训练数据集训练步骤2建立的基于多尺度特征学习的质量解析模型,优化模型的网络结构,采用Knee点策略从帕累托最优解集中选取最佳性能模型参数。
9.根据权利要求8所述的一种基于进化多尺度特征学习的钢铁材料质量解析方法,其特征在于:所述步骤4.2的具体方法为:
步骤4.2.1:以质量解析模型识别准确率和网络参数量为目标,计算每个种群的适应度函数值;
步骤4.2.2:保存当前计算结果,种群数目加一,当种群数目等于最大种群数P时,种群数p=0,进化代数g加一;
步骤4.2.3:判断是否满足终止条件;重复步骤4.2.1至步骤4.2.3,直到进化代数g等于最大代数G;
步骤4.2.4:采用Knee点策略在钢铁材料质量解析模型的帕累托最优解集中寻找最优解;
步骤4.2.5:将最优结果对应的质量解析模型的结构参数设置为该模型的最优参数,其他超参数与之前设置相同。
CN202311382524.7A 2023-10-24 2023-10-24 一种基于进化多尺度特征学习的钢铁材料质量解析方法 Pending CN117392450A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311382524.7A CN117392450A (zh) 2023-10-24 2023-10-24 一种基于进化多尺度特征学习的钢铁材料质量解析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311382524.7A CN117392450A (zh) 2023-10-24 2023-10-24 一种基于进化多尺度特征学习的钢铁材料质量解析方法

Publications (1)

Publication Number Publication Date
CN117392450A true CN117392450A (zh) 2024-01-12

Family

ID=89471599

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311382524.7A Pending CN117392450A (zh) 2023-10-24 2023-10-24 一种基于进化多尺度特征学习的钢铁材料质量解析方法

Country Status (1)

Country Link
CN (1) CN117392450A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118070407A (zh) * 2024-04-22 2024-05-24 江苏省建筑工程质量检测中心有限公司 基于图像处理的防火风管耐火极限模拟和优化设计方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118070407A (zh) * 2024-04-22 2024-05-24 江苏省建筑工程质量检测中心有限公司 基于图像处理的防火风管耐火极限模拟和优化设计方法

Similar Documents

Publication Publication Date Title
CN111738363B (zh) 基于改进的3d cnn网络的阿尔茨海默病分类方法
CN109389171B (zh) 基于多粒度卷积降噪自动编码器技术的医疗图像分类方法
CN107957946B (zh) 基于邻域嵌入保护算法支持向量机的软件缺陷预测方法
CN111652273B (zh) 一种基于深度学习的rgb-d图像分类方法
CN113643268A (zh) 基于深度学习的工业制品缺陷质检方法、装置及存储介质
CN114299324B (zh) 一种基于多尺度域对抗网络的病理图像分类方法及系统
CN117392450A (zh) 一种基于进化多尺度特征学习的钢铁材料质量解析方法
CN112613536A (zh) 一种基于smote和深度学习的近红外光谱柴油牌号识别方法
CN116883393B (zh) 一种基于无锚框目标检测算法的金属表面缺陷检测方法
CN111598854B (zh) 基于丰富鲁棒卷积特征模型的复杂纹理小缺陷的分割方法
Tian et al. CASDD: Automatic surface defect detection using a complementary adversarial network
CN114565594A (zh) 基于软掩膜对比损失的图像异常检测方法
Chang et al. Blind image quality assessment by visual neuron matrix
Zhang Application of artificial intelligence recognition technology in digital image processing
CN112966735B (zh) 一种基于谱重建的监督多集相关特征融合方法
Ding et al. DHT: dynamic vision transformer using hybrid window attention for industrial defect images classification
Rethik et al. Attention Based Mapping for Plants Leaf to Classify Diseases using Vision Transformer
CN117593243A (zh) 可靠伪标签引导的压缩机外观自适应检测方法
CN112465062A (zh) 一种基于流形学习和秩约束的聚类方法
CN109741313B (zh) 独立成分分析和卷积神经网络的无参考图像质量评价方法
CN116665039A (zh) 基于两阶段因果干预的小样本目标识别方法
CN113835964B (zh) 基于小样本学习的云数据中心服务器能耗预测方法
CN114943862A (zh) 一种基于结构性解析字典学习的两阶段图像分类方法
CN115100694A (zh) 一种基于自监督神经网络的指纹快速检索方法
Bi et al. CASA-Net: a context-aware correlation convolutional network for scale-adaptive crack detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination