CN117237930A - 基于ResNet与迁移学习的腐蚀金具SEM图像识别方法 - Google Patents
基于ResNet与迁移学习的腐蚀金具SEM图像识别方法 Download PDFInfo
- Publication number
- CN117237930A CN117237930A CN202311499166.8A CN202311499166A CN117237930A CN 117237930 A CN117237930 A CN 117237930A CN 202311499166 A CN202311499166 A CN 202311499166A CN 117237930 A CN117237930 A CN 117237930A
- Authority
- CN
- China
- Prior art keywords
- corrosion
- model
- resnet
- network model
- sem image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001878 scanning electron micrograph Methods 0.000 title claims abstract description 58
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000013526 transfer learning Methods 0.000 title claims abstract description 21
- 238000005530 etching Methods 0.000 title description 5
- 238000005260 corrosion Methods 0.000 claims abstract description 89
- 230000007797 corrosion Effects 0.000 claims abstract description 89
- 238000012549 training Methods 0.000 claims abstract description 33
- 238000011156 evaluation Methods 0.000 claims abstract description 9
- 238000000605 extraction Methods 0.000 claims abstract description 9
- 238000013508 migration Methods 0.000 claims abstract description 9
- 230000005012 migration Effects 0.000 claims abstract description 9
- 238000013507 mapping Methods 0.000 claims description 23
- 230000006870 function Effects 0.000 claims description 22
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 20
- 230000004913 activation Effects 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000012360 testing method Methods 0.000 claims description 10
- 238000002372 labelling Methods 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 8
- 238000011176 pooling Methods 0.000 claims description 7
- 238000012795 verification Methods 0.000 claims description 7
- 230000005540 biological transmission Effects 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 4
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- 238000012546 transfer Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 238000003916 acid precipitation Methods 0.000 claims description 3
- 238000010200 validation analysis Methods 0.000 claims description 3
- 230000000875 corresponding effect Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 239000000463 material Substances 0.000 description 4
- 210000002569 neuron Anatomy 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 230000015556 catabolic process Effects 0.000 description 3
- 238000006731 degradation reaction Methods 0.000 description 3
- 230000001965 increasing effect Effects 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000008014 freezing Effects 0.000 description 2
- 238000007710 freezing Methods 0.000 description 2
- 239000012212 insulator Substances 0.000 description 2
- 239000007769 metal material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 229920002472 Starch Polymers 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008033 biological extinction Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 230000004660 morphological change Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 235000019698 starch Nutrition 0.000 description 1
- 239000008107 starch Substances 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于ResNet与迁移学习的腐蚀金具SEM图像识别方法，包括获取腐蚀金具SEM图像的数据集；构建ResNet网络模型并预训练模型权重；利用腐蚀金具SEM图像的数据集对模型迁移训练；模型评估及调优；将待识别的腐蚀金具SEM图像输入ResNet网络模型中进行识别。本发明在腐蚀金具SEM图像识别中引入了ResNet结构，充分利用其特征提取能力，实现了对腐蚀金具图像中复杂特征的准确捕捉，同时采用迁移学习策略，将预训练的模型在大规模图像数据上的知识迁移到腐蚀金具SEM图像识别任务中，通过调优提高了模型在腐蚀金具图像上的特征适应性。
Description
技术领域
本发明涉及材料科学和图像识别技术领域，具体地讲，是涉及一种基于ResNet与迁移学习的腐蚀金具SEM图像识别方法。
背景技术
在材料科学领域，腐蚀金具的表面状态评估是保障材料性能和延长使用寿命的关键环节之一。扫描电子显微镜（SEM）图像在材料科学领域中具有广泛的应用，尤其是在金属材料表面腐蚀研究中，是腐蚀金具表面形貌研究的重要手段之一。然而，随着腐蚀程度的不断加深，金具表面出现的形态变化越来越微小，SEM图像中的细微特征与腐蚀程度存在复杂关联，传统图像处理方法难以准确提取这些特征，逐渐显现出局限性。因此，腐蚀金具SEM图像识别技术成为当前研究热点，具有重要的理论与实际意义。
深度学习模型具有强大的特征提取能力，但其在不同领域可能需要调整以适应特定问题，另外神经网络需要大量的数据集提供识别准确率，但收集SEM图像数据耗时长、成本高。ResNet是由何凯明等人于2015年提出的，其核心思想是引入了"残差连接"（ResidualConnection），通过跳过一层或多层来实现网络的跳跃连接。这些跳跃连接允许模型直接传递原始信号，减少了在深层网络中梯度消失的问题，使得可以训练更深、更复杂的神经网络。ResNet在ImageNet图像分类任务中取得了显著的性能提升，并引领了后续深度神经网络的设计思路。
发明人通过研究发现，在腐蚀金具SEM图像识别中，图像的复杂性和特征之间的关联使得模型需要更好的表达能力和更深的网络结构。而ResNet的残差连接可以克服深层网络中的退化问题，有助于提取腐蚀金具SEM图像中复杂的特征。同时腐蚀金具SEM图像存在原始获取数据途径耗时长、成本高、数据稀缺等问题，单独采用ResNet还不能很好地适配该具体领域的图像识别应用。
发明内容
针对上述现有技术存在的问题，本发明提供一种基于ResNet与迁移学习的腐蚀金具SEM图像识别方法，通过将ResNet作为基础模型，增强了模型的特征提取能力，更好地捕捉了图像中的腐蚀程度特征，并通过迁移学习的方式克服数据稀缺、领域知识迁移等问题，使得模型能够在有限数据情况下更好地适应并解决特定领域的图像识别任务。
为了实现上述目的，本发明采用的技术方案如下：
一种基于ResNet与迁移学习的腐蚀金具SEM图像识别方法，包括以下步骤：
S10、获取腐蚀金具SEM图像的数据集：在实验室模拟酸雨对输电线金具不同程度工况的腐蚀，获得相应金具SEM图像的数据集，其中包含未腐蚀、细微结构腐蚀和亚表面腐蚀三种腐蚀类型，然后对数据集进行人工标注标签，并随机打散划分为训练集、验证集和测试集；
S20、模型构建：构建一个基于ResNet的卷积神经网络作为ResNet网络模型，使用已有的大规模图像数据集预训练ResNet网络模型的权重，将其作为基础模型结构；
S30、模型迁移训练：将步骤S10获得的训练集数据作为模型的初始输入，使用预训练的ResNet网络模型对输入图像进行特征提取，使用交叉熵损失函数来衡量ResNet网络模型输出的预测结果与对应的标注标签之间的差异，并通过优化算法调整模型参数，使其逐步收敛，获得训练后的ResNet网络模型；
S40、模型评估：使用步骤S10获得的验证集数据对训练后的ResNet网络模型进行评估，通过计算准确率、召回率和F1 sorce指标来评估模型的性能，根据评估结果对ResNet网络模型参数继续调优；
S50、模型应用：使用步骤S10获得的测试集数据对调优后的ResNet网络模型进行验证，并将其应用于对腐蚀金具SEM图像的识别。
具体地，所述步骤S10中标注标签后对数据集进行预处理，包括对图像添加噪声、旋转、调整明亮度、像素平移，以提高数据集包含的图像数据量。
具体地，所述步骤S10中的数据集按6：2：2的比例分为训练集、验证集和测试集。
具体地，所述步骤S20中的ResNet网络模型包括输入层、卷积层、批归一化层、由堆叠的残差块构成的瓶颈结构、全局平均池化层、全连接层和输出层，采用ReLu激活函数、交叉熵损失函数和随机梯度下降优化算法，其中每个残差块包含恒等映射分支和残差映射分支，恒等映射分支直接将残差块的输入传递到输出，保持输入信息的完整性，残差映射分支对残差块的输入进行卷积、批归一化和激活操作来进行特征变换输出，然后将恒等映射分支和残差映射分支的输出相加得到残差块的输出，形成残差连接。
具体地，所述步骤S20中构建ResNet网络模型时，根据问题的复杂性和计算资源，通过试错法选择相应的层数和通道数。
具体地，所述步骤S20中使用ImageNet数据集预训练ResNet网络模型的权重。
具体地，所述步骤S30中在模型迁移训练时，先固定特征提取层，加载ResNet网络模型时，默认对参数值的每一次更改都将被保存；在ResNet网络模型初始化时只冻结更新操作。
具体地，所述步骤S40中准确率Accuracy的计算公式为：
式中，T为正确预测的样本数，P为总样本数；
召回率Recall的计算公式为：
式中，TP表示真正例，FN表示假负例；
F1 sorce的计算公式为：
式中，TP表示真正例，FN表示假负例，FP表示假正例。
具体地，所述步骤S50中，将待识别的腐蚀金具SEM图像输入ResNet网络模型中进行自动识别，获取该图像对应的腐蚀类型。
现有技术相比，本发明具有以下有益效果：
（1）本发明通过引入ResNet深度卷积神经网络，能够更准确地提取腐蚀金具SEM图像中的复杂特征，包括腐蚀程度的多样性以及不同金具类型的差异。这导致了更精准的图像识别结果，有效地区分不同腐蚀程度。
（2）本发明采用迁移学习策略充分利用了预训练模型在大规模图像数据上学到的特征，解决了腐蚀金具SEM图像数据通常有限且标注困难的问题，这允许在少量标注数据上训练模型，从而最大化了数据的效用，提高了模型的泛化能力。
（3）本发明利用迁移学习使得预训练的ResNet网络模型能够适应腐蚀金具SEM图像特定的特征提取需求，从而增强了模型的领域适应性。这意味着模型能够更好地捕捉与腐蚀金具图像相关的细节，从而提高了识别性能。
（4）本发明通过基于ResNet的特征提取，不仅能够有效地识别腐蚀金具SEM图像，还能够对识别结果提供一定的可解释性。模型可以学习到不同腐蚀程度对应的特征，使得判断基于模型的决策更具有合理性，更利于金属材料表面腐蚀研究。
附图说明
图1为本发明-实施例的流程示意图。
图2为本发明-实施例中ResNet网络模型的结构示意图。
图3为本发明-实施例中残差块单元的结构示意图。
图4为本发明-实施例中模型迁移训练过程的示意图。
图5为本发明-实施例中未腐蚀金具SEM图像。
图6为本发明-实施例中细微结构腐蚀金具SEM图像。
图7为本发明-实施例中亚表面腐蚀金具SEM图像。
图8为本发明-实施例中预处理过程的图像数据量变化示意图。
图9为本发明-实施例中ResNet网络模型测试后的热力图。
图10为本发明-实施例中迭代10次的准确率曲线图。
图11为本发明-实施例中迭代10次的交叉熵曲线图。
具体实施方式
下面结合附图和实施例对本发明作进一步说明，本发明的实施方式包括但不限于下列实施例。
如图1所示，该基于ResNet与迁移学习的腐蚀金具SEM图像识别方法，包括以下步骤：
S10、获取腐蚀金具SEM图像的数据集。输电塔线是电力系统中的重要组成部分，用于输送高压电能。在输电线路中，绝缘子和连接金具是关键的部件，它们起着支撑电线、保护电线不受外界环境影响的作用。然而，长期暴露在恶劣的气候环境和高电压条件下，绝缘子和连接金具容易遭受腐蚀的影响。在实验室环境下制备了不同PH值的酸雨腐蚀液，将金具切片分批次放置，获得不同腐蚀工况的金具切片，并通过扫描电子显微镜获得腐蚀金具SEM图像。腐蚀金具SEM图像腐蚀分类分为三类：未腐蚀、细微结构腐蚀以及亚表面腐蚀，并对数据集进行人工标注标签，如图5、图6、图7所示。数据集包含3类共108张SEM图片。由于样本数量过少会影响模型训练结果，因此本发明还对数据集的样本数据进行了预处理，提高数据集包含的图像数据量，以提高模型的鲁棒性和泛化能力，如图8所示。预处理包括对图像添加噪声、旋转、调整明亮度、像素平移等操作。数据增强后数据集达到1296张，然后将整个数据集随机打散，按6:2:2的比例将数据集分为训练集、验证集和测试集。
S20、模型构建：构建一个基于ResNet的卷积神经网络作为ResNet网络模型，使用已有的大规模图像数据集如ImageNet 数据集预训练ResNet网络模型的权重，将其作为基础模型结构。如图2所示，ResNet网络模型包括输入层Input，用于接收大小为224×224的图片作为输入；卷积层Conv，用于使用7×7×64的卷积核对输入图片进行卷积操作，步长Stride设置为2，填充Padding设置为3，提取图像的基础特征；批归一化层BN，用于对数据集进行归一化处理；非线性激活函数Relu，用于对卷积层的输出通过Relu激活函数进行非线性变换；最大池化层MaxPool，用于对激活后的特征图进行3×3的最大池化操作，步长Stride设置为2，填充Padding设置为1，以降低特征图的维度，输出65×56×56的特征图；由堆叠的残差块构成的瓶颈结构BottleNeck，用于实现在更深的网络层次中进行有效的特征提取和学习，瓶颈结构BottleNeck依次连接有4个，各瓶颈结构BottleNeck中依次包含的残差块堆叠个数为3、4、6、3，每个残差块内部包含3个卷积层，用于学习图像的高级特征，整个网络有1＋（3+4+6+3）×3=49个卷积层，输出尺寸为2048×7×7的特征图；全局平均池化层Avg，用于将输出的特征图经过平均池化得到一维特征向量；全连接层Fc，用于将一维特征向量分类并输出不同类别的概率；输出层Output，用于最后输出分类后的图片。
其中输入层将图像数据输入作为网络模型的初始输入，卷积层使用一个标准的卷积层对输入图像进行特征提取，批归一化层在卷积层后进行批归一化操作，加速收敛和增强模型的稳定性。ResNet的核心是堆叠多个残差块，每个残差块由两个主要分支组成：恒等映射分支（Identity Mapping）和残差映射分支（Residual Mapping）。恒等映射分支直接将残差块的输入传递到输出，保持输入信息的完整性；残差映射分支对残差块的输入进行卷积、批归一化和激活操作来进行特征变换输出；然后将恒等映射分支和残差映射分支的输出相加得到残差块的输出，形成残差连接。这种跳跃连接允许网络在不同层之间直接传递信息，有助于防止梯度消失和模型退化。如图3所示为一个残差块单元，x代表神经网络的输入，ResNet网络可以通过跳跃结构直接将x传到输出作为输出结果，此时F(x)即为网络的学习目标，称为残差学习，当x代表的特征达到最为合理的状态时，F(x)会趋近于0，如果残差映射F(x)的结果的维度与跳跃连接的维度存在差异时，可以通过1×1卷积对x进行升维使其维度达到统一，此时可以对其开展加操作，进而使网络在拥有输入特征的同时获得新的特征。ResNet 网络通过跳跃结构，简化了学习目标，避免了信息在传递过程中出现丢失、损耗等问题，并且在网络进行前向传播的过程中，解决了由于网络过深而导致的模型退化问题，在后向传播上，引入残差结构使网络对输出的变化更敏感，进而对权重进行更好的调整，可以取得更好的效果。
对于模型深度和宽度的调整，根据问题的复杂性和计算资源，通过试错法选择不同层数和通道数的ResNet。在堆叠的残差块之后，通过全局平均池化层来压缩特征图的维度。然后通过全连接层将压缩后的特征图映射到类别标签的分数实现输出层的输出。最后使用交叉熵损失函数来优化网络参数。
激活函数位于ResNet网络模型相邻层级的输入和输出节点之间，利用激活函数，在神经网络的输入输出之间建立非线性映射，使网络能够学习和执行更复杂的任务。本发明使用的激活函数为Relu激活函数，公式为。在神经网络中，Relu激活函数作为神经元的激活函数，为神经元在线性变换wTx＋b之后的非线性输出结果。对于进入神经元的来自上一层神经网络的输入向量x，使用Relu函数的神经元会输出：。
本发明使用的交叉熵损失函数代表预测值与真实值之间的差距，训练采用Adam优化算法，学习率设置为0.001。交叉熵损失函数的公式为：
式中，n为金具SEM图像腐蚀相类别数，p(x)表示真实腐蚀情况概率，q(x)表示腐蚀识别情况概率。
S30、模型迁移训练：将步骤S10获得的训练集数据作为模型的初始输入，使用预训练的ResNet网络模型对输入图像进行特征提取，使用交叉熵损失函数来衡量ResNet网络模型输出的预测结果与对应的标注标签之间的差异，并通过优化算法调整模型参数，使其逐步收敛，获得训练后的ResNet网络模型。在对腐蚀金具SEM图像进行腐蚀分类时，由于样本数较少，且随着网络层数加深，学习的过程愈加漫长复杂，因此本发明采用基于ResNet网络模型的迁移学习方法对腐蚀金具SEM图像进行腐蚀分类预测。如图4所示，从先前预训练任务中学到的知识，仅需要进行微小的改动即可应用到相关的任务中，对于一些基本的规则，模型无需重新学习，大大降低了时间成本。本发明预训练采用的ImageNet 数据集包含1000类约120万张图片，使用在如此大的数据集上预训练好的网络模型，可以有效的迁移到腐蚀金具SEM图像识别的分类任务中。在模型迁移训练时，先固定特征提取层，加载ResNet网络模型时，默认对参数值的每一次更改都将被保存；迁移学习采用的ResNet网络模型，大部分参数已经在ImageNet 数据集上训练好，如卷积层参数等，因此在ResNet网络模型初始化时只需冻结更新操作。根据腐蚀金具SEM图像分类数修改全连接（fc）层结构、冻结不同卷积层参数，通过训练，进一步调整模型参数以适应腐蚀金具SEM图像数据集。经过多次对比实验，选择如下参数设置及相关函数进行迁移学习，可以获得较高的准确率、较低的损失率和较快的收敛速度，其中步长epoch设置为10，批大小batch size设置为4，学习率lr设置为0.001，动量Momentum设为0.9，预训练模型版本为resnet50d_ra2-464e36ba.pth。
S40、模型评估：使用步骤S10获得的验证集数据对训练后的ResNet网络模型进行评估，通过计算准确率、召回率和F1 sorce指标来评估模型的性能，训练完成后，若准确率较低，可能是因为模型未能捕捉到腐蚀金具图像的复杂特征；召回率较低，可能是因为模型错过了一些腐蚀金具图像；F1sorce较低，反映了模型在精确性和召回率之间的权衡。根据评估结果对ResNet网络模型参数进一步调优，如果初始化模型性能不理想，可以考虑增加网络深度或残差块的数量；根据损失函数的收敛情况，调整学习率，以避免训练中的梯度消失或梯度爆炸，在进行上述操作后，再次对模型进行评估，重复这个过程，直到达到满意的性能，最终确保其在不同数据上的泛化能力。
具体为将验证集数据输入训练好的ResNet网络模型，通过前向传播获得模型的预测结果；计算预测值和真实标签：将模型的预测结果与验证数据集中的真实标签进行对比，以计算每个样本的预测类别。根据预测类别和真实标签，计算准确率Accuracy和召回率Recall。准确率表示模型预测为正例的样本中，真正为正例的比例。召回率表示模型成功识别出的正例样本占实际正例样本的比例。最后使用准确率和召回率计算F1 sorce，以综合评估模型的性能（准确性和遗漏率）。F1 sorce能够平衡模型的准确性和召回率，特别适用于不平衡类别分布的情况。
准确率Accuracy的计算公式为：
式中，T为正确预测的样本数，P为总样本数；准确率高于90%一般表示模型性能良好，若准确率低于期望，可以通过改进模型的架构、数据增强或训练策略，以提高分类准确性。
召回率Recall的计算公式为：
式中，TP为（True Positive）表示真正例，FN为（FalseNegative）表示假负例；召回率是成功识别出正类别样本的比例，高召回率表示模型能够找到大多数正类别样本。如果召回率低，则需要检查模型的灵敏度和训练数据中的标签准确性，可以通过增加数据量或调整模型的阈值解决。
F1 sorce的计算公式为：
式中，TP为（True Positive）表示真正例，FN为（FalseNegative）表示假负例，FP为（False Positive）表示假正例。F1分数的理想值为1，表示完美的平衡，若F1 sorce未达到预期，可以调整模型的阈值，以在精确性和召回率之间实现平衡。
S50、模型应用：使用步骤S10获得的测试集数据对调优后的ResNet网络模型进行验证，根据测试集数据输出的分类结果评价，计算出：准确率Accuracy为0.944444，召回率Recall为0.944444，F1 sorce为0.935185。从上述结果可以得出，通过本发明中提出的ResNet网络模型的调优和训练，识别性能达到期望。模型的准确率、召回率和F1分数均表明其在腐蚀金具SEM图像的准确识别方面效果达到期望。这证实了本发明在腐蚀金具SEM图像识别领域的有效性和实用性。
结合热力图分析，根据热力图中不同方块颜色对应的相关系数的大小，可以判断出变量之间相关性的大小。两个变量之间相关系数的计算公式为：
式中，px1x2表示随机变量x1和随机变量x2的相关系数，Cov(x1,x2)表示随机变量x1和随机变量x2之间的协方差，Ex1x2表示随机变量x1和随机变量x2的乘积的期望值，Ex1和Ex2分别表示随机变量x1和随机变量x2的期望值，Dx1和Dx2分别表示随机变量x1和随机变量x2的方差。如图9所示，根据热力图可以看出数据集存在一个明确的模式，即当横纵坐标分别为细微结构腐蚀、未腐蚀以及亚表面腐蚀时，数值均为1，代表数据集中不同腐蚀类型样本与自身具有高度的相关，而与其他类型样本具有明显差异。
如图10和图11分别展示了腐蚀金具SEM图像数据中训练结果，通过准确率和交叉熵可以较为明显发现，准确率曲线图在迭代 5-10 次后达到了较高值约均为95%，交叉熵也同样此时明显下降到10%左右，实验中最高准确率有达到过 100%。
将优化好的ResNet网络模型应用于对腐蚀金具SEM图像的识别，将待识别的腐蚀金具SEM图像输入ResNet网络模型中进行自动识别，获取该图像对应的腐蚀类型。对于识别结果的输出，可以创建可视化界面向用户展示腐蚀金具SEM图像识别系统的预测和分析将数据集中部分样本和模型的预测结果进行可视化，以更直观地了解模型在不同情况下的表现。选择图像上传至Windows可视化界面，点击识别即可自动显示图像的腐蚀类型。
上述实施例仅为本发明的优选实施例，并非对本发明保护范围的限制，但凡采用本发明的设计原理，以及在此基础上进行非创造性劳动而做出的变化，均应属于本发明的保护范围之内。
Claims (9)
1.一种基于ResNet与迁移学习的腐蚀金具SEM图像识别方法，其特征在于，包括以下步骤：
S10、获取腐蚀金具SEM图像的数据集：在实验室模拟酸雨对输电线金具不同程度工况的腐蚀，获得相应金具SEM图像的数据集，其中包含未腐蚀、细微结构腐蚀和亚表面腐蚀三种腐蚀类型，然后对数据集进行人工标注标签，并随机打散划分为训练集、验证集和测试集；
S20、模型构建：构建一个基于ResNet的卷积神经网络作为ResNet网络模型，使用已有的大规模图像数据集预训练ResNet网络模型的权重，将其作为基础模型结构；
S30、模型迁移训练：将步骤S10获得的训练集数据作为模型的初始输入，使用预训练的ResNet网络模型对输入图像进行特征提取，使用交叉熵损失函数来衡量ResNet网络模型输出的预测结果与对应的标注标签之间的差异，并通过优化算法调整模型参数，使其逐步收敛，获得训练后的ResNet网络模型；
S40、模型评估：使用步骤S10获得的验证集数据对训练后的ResNet网络模型进行评估，通过计算准确率、召回率和F1 sorce指标来评估ResNet网络模型模型的性能，根据评估结果对ResNet网络模型参数继续调优；
S50、模型应用：使用步骤S10获得的测试集数据对调优后的ResNet网络模型进行验证，并将其应用于对腐蚀金具SEM图像的识别。
2.根据权利要求1所述的基于ResNet与迁移学习的腐蚀金具SEM图像识别方法，其特征在于，所述S10中对数据集进行人工标注标签后，对数据集进行预处理，包括对图像添加噪声、旋转、调整明亮度、像素平移，以提高数据集包含的图像数据量。
3.根据权利要求1所述的基于ResNet与迁移学习的腐蚀金具SEM图像识别方法，其特征在于，所述S10中的数据集按6：2：2的比例分为训练集、验证集和测试集。
4.根据权利要求1所述的基于ResNet与迁移学习的腐蚀金具SEM图像识别方法，其特征在于，所述S20中的ResNet网络模型包括输入层、卷积层、批归一化层、由堆叠的残差块构成的瓶颈结构、全局平均池化层、全连接层和输出层，采用ReLu激活函数、交叉熵损失函数和随机梯度下降优化算法，其中每个残差块包含恒等映射分支和残差映射分支，恒等映射分支直接将残差块的输入传递到输出，保持输入信息的完整性，残差映射分支对残差块的输入进行卷积、批归一化和激活操作来进行特征变换输出，然后将恒等映射分支和残差映射分支的输出相加得到残差块的输出，形成残差连接。
5.根据权利要求4所述的基于ResNet与迁移学习的腐蚀金具SEM图像识别方法，其特征在于，所述S20中构建ResNet网络模型时，根据问题的复杂性和计算资源，通过试错法选择相应的层数和通道数。
6.根据权利要求1所述的基于ResNet与迁移学习的腐蚀金具SEM图像识别方法，其特征在于，所述S20中使用ImageNet数据集预训练ResNet网络模型的权重。
7.根据权利要求1所述的基于ResNet与迁移学习的腐蚀金具SEM图像识别方法，其特征在于，所述S30中在模型迁移训练时，先固定特征提取层，加载ResNet网络模型时，默认对参数值的每一次更改都将被保存；在ResNet网络模型初始化时只冻结更新操作。
8.根据权利要求1所述的基于ResNet与迁移学习的腐蚀金具SEM图像识别方法，其特征在于，所述S40中准确率Accuracy的计算公式为：
式中，T为正确预测的样本数，P为总样本数；
召回率Recall的计算公式为：
式中，TP表示真正例，FN表示假负例；
F1 sorce的计算公式为：
式中，TP表示真正例，FN表示假负例，FP表示假正例。
9.根据权利要求1-8任一项所述的基于ResNet与迁移学习的腐蚀金具SEM图像识别方法，其特征在于，所述S50中，将待识别的腐蚀金具SEM图像输入ResNet网络模型中进行自动识别，获取该腐蚀金具SEM图像对应的腐蚀类型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311499166.8A CN117237930A (zh) | 2023-11-13 | 2023-11-13 | 基于ResNet与迁移学习的腐蚀金具SEM图像识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311499166.8A CN117237930A (zh) | 2023-11-13 | 2023-11-13 | 基于ResNet与迁移学习的腐蚀金具SEM图像识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117237930A true CN117237930A (zh) | 2023-12-15 |
Family
ID=89098696
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311499166.8A Pending CN117237930A (zh) | 2023-11-13 | 2023-11-13 | 基于ResNet与迁移学习的腐蚀金具SEM图像识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117237930A (zh) |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6264824B1 (en) * | 1998-02-20 | 2001-07-24 | Integriti Investments Ltd. | Assessment of corrosion |
| US20160024619A1 (en) * | 2014-07-28 | 2016-01-28 | Magnesium Elektron Limited | Corrodible downhole article |
| CN112258496A (zh) * | 2020-11-02 | 2021-01-22 | 郑州大学 | 一种基于全卷积神经网络的地下排水管道病害分割方法 |
| US20220044767A1 (en) * | 2019-11-28 | 2022-02-10 | Tencent Technology (Shenzhen) Company Limited | Compound property analysis method, model training method, apparatuses, and storage medium |
| WO2022076915A1 (en) * | 2020-10-08 | 2022-04-14 | Battelle Memorial Institute | Artificial intelligence (ai) assisted analysis of electron microscope data |
| CN115362471A (zh) * | 2021-01-28 | 2022-11-18 | 东莞职业技术学院 | 一种金属表面缺陷检测方法及装置 |
| CN116311237A (zh) * | 2023-02-22 | 2023-06-23 | 河钢集团有限公司 | 一种基于深度学习网络的钢铁微观组织识别算法 |
| CN116541911A (zh) * | 2023-07-05 | 2023-08-04 | 大家智合(北京)网络科技股份有限公司 | 一种基于人工智能的包装设计系统 |
| CN116664921A (zh) * | 2023-05-16 | 2023-08-29 | 合肥工业大学 | 基于迁移学习与多注意力机制的废旧电路板缺陷分类方法 |
| CN116758016A (zh) * | 2023-05-31 | 2023-09-15 | 西安理工大学 | 道岔滑床板腐蚀损伤检测方法、装置、设备和存储介质 |
| US20230297843A1 (en) * | 2022-03-15 | 2023-09-21 | Triad National Security, Llc | Deep learning method for defect characterization |
| DE202023105341U1 (de) * | 2023-09-14 | 2023-09-28 | Vidyadevi Gurunanjappa Biradar | Deep-Learning-basiertes System zur Erkennung von Korrosion in metallischen Objekten |
| CN116824239A (zh) * | 2023-06-19 | 2023-09-29 | 淮阴工学院 | 一种基于迁移学习及ResNet50神经网络的图像识别方法及系统 |
| CN117036834A (zh) * | 2023-10-10 | 2023-11-10 | 腾讯科技（深圳）有限公司 | 基于人工智能的数据分类方法、装置及电子设备 |
-
2023
- 2023-11-13 CN CN202311499166.8A patent/CN117237930A/zh active Pending
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6264824B1 (en) * | 1998-02-20 | 2001-07-24 | Integriti Investments Ltd. | Assessment of corrosion |
| US20160024619A1 (en) * | 2014-07-28 | 2016-01-28 | Magnesium Elektron Limited | Corrodible downhole article |
| US20220044767A1 (en) * | 2019-11-28 | 2022-02-10 | Tencent Technology (Shenzhen) Company Limited | Compound property analysis method, model training method, apparatuses, and storage medium |
| WO2022076915A1 (en) * | 2020-10-08 | 2022-04-14 | Battelle Memorial Institute | Artificial intelligence (ai) assisted analysis of electron microscope data |
| CN112258496A (zh) * | 2020-11-02 | 2021-01-22 | 郑州大学 | 一种基于全卷积神经网络的地下排水管道病害分割方法 |
| CN115362471A (zh) * | 2021-01-28 | 2022-11-18 | 东莞职业技术学院 | 一种金属表面缺陷检测方法及装置 |
| US20230297843A1 (en) * | 2022-03-15 | 2023-09-21 | Triad National Security, Llc | Deep learning method for defect characterization |
| CN116311237A (zh) * | 2023-02-22 | 2023-06-23 | 河钢集团有限公司 | 一种基于深度学习网络的钢铁微观组织识别算法 |
| CN116664921A (zh) * | 2023-05-16 | 2023-08-29 | 合肥工业大学 | 基于迁移学习与多注意力机制的废旧电路板缺陷分类方法 |
| CN116758016A (zh) * | 2023-05-31 | 2023-09-15 | 西安理工大学 | 道岔滑床板腐蚀损伤检测方法、装置、设备和存储介质 |
| CN116824239A (zh) * | 2023-06-19 | 2023-09-29 | 淮阴工学院 | 一种基于迁移学习及ResNet50神经网络的图像识别方法及系统 |
| CN116541911A (zh) * | 2023-07-05 | 2023-08-04 | 大家智合(北京)网络科技股份有限公司 | 一种基于人工智能的包装设计系统 |
| DE202023105341U1 (de) * | 2023-09-14 | 2023-09-28 | Vidyadevi Gurunanjappa Biradar | Deep-Learning-basiertes System zur Erkennung von Korrosion in metallischen Objekten |
| CN117036834A (zh) * | 2023-10-10 | 2023-11-10 | 腾讯科技（深圳）有限公司 | 基于人工智能的数据分类方法、装置及电子设备 |
Non-Patent Citations (1)
| Title |
|---|
| SARANGA VEERAMANGAL HEBBAR, 等: "Deep Learning-Based Approach for Classifying the Severity of Metal Corrosion Using Sem Images", DASET 2022: DATA SCIENCE AND EMERGING TECHNOLOGIES, vol. 165, pages 403 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107944396B (zh) | 一种基于改进深度学习的刀闸状态识别方法 | |
| CN112380952A (zh) | 基于人工智能的电力设备红外图像实时检测及识别方法 | |
| CN108229550B (zh) | 一种基于多粒度级联森林网络的云图分类方法 | |
| CN115249332B (zh) | 基于空谱双分支卷积网络的高光谱图像分类方法及设备 | |
| CN111079847B (zh) | 一种基于深度学习的遥感影像自动标注方法 | |
| CN111914728B (zh) | 高光谱遥感影像半监督分类方法、装置及存储介质 | |
| CN110147760B (zh) | 一种高效电能质量扰动图像特征提取与识别新方法 | |
| CN109726649B (zh) | 遥感影像云检测方法、系统及电子设备 | |
| CN106228182B (zh) | 基于spm和深度增量svm的sar图像分类方法 | |
| CN114092793B (zh) | 适用于复杂水下环境的端到端生物目标检测方法 | |
| CN111882554B (zh) | 一种基于SK-YOLOv3的电力线故障智能检测方法 | |
| CN113806746A (zh) | 基于改进cnn网络的恶意代码检测方法 | |
| CN113780242A (zh) | 一种基于模型迁移学习的跨场景水声目标分类方法 | |
| CN111368892A (zh) | 一种广义s变换和svm的电能质量扰动高效识别方法 | |
| CN112749633B (zh) | 分离与重构的个体辐射源识别方法 | |
| CN113111731A (zh) | 基于测信道信息的深度神经网络黑盒对抗样本生成方法及系统 | |
| CN113919401A (zh) | 基于星座图特征的调制类型识别方法、装置、计算机设备 | |
| CN113221614A (zh) | 一种基于混合神经网络的电网绝缘子破损图像识别方法 | |
| CN117237930A (zh) | 基于ResNet与迁移学习的腐蚀金具SEM图像识别方法 | |
| CN116630700A (zh) | 基于引入通道-空间注意力机制的遥感图像分类方法 | |
| CN114581407B (zh) | 一种光伏模块的自适应缺陷检测方法 | |
| CN113343924B (zh) | 一种基于循环谱特征和生成对抗网络的调制信号识别方法 | |
| CN116087880A (zh) | 一种基于深度学习的雷达辐射源信号分选系统 | |
| CN112348700B (zh) | 一种结合som聚类与ifou方程的线路容量预测方法 | |
| CN114972886A (zh) | 一种图像隐写分析方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |