CN111209964A - 模型训练方法、基于深度学习的金属断口分析方法及应用 - Google Patents
模型训练方法、基于深度学习的金属断口分析方法及应用 Download PDFInfo
- Publication number
- CN111209964A CN111209964A CN202010010744.7A CN202010010744A CN111209964A CN 111209964 A CN111209964 A CN 111209964A CN 202010010744 A CN202010010744 A CN 202010010744A CN 111209964 A CN111209964 A CN 111209964A
- Authority
- CN
- China
- Prior art keywords
- image
- target
- metal fracture
- sample
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000002184 metal Substances 0.000 title claims abstract description 112
- 238000012549 training Methods 0.000 title claims abstract description 67
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000004458 analytical method Methods 0.000 title claims abstract description 22
- 238000013135 deep learning Methods 0.000 title claims abstract description 19
- 238000000605 extraction Methods 0.000 claims abstract description 57
- 238000011176 pooling Methods 0.000 claims description 41
- 230000008859 change Effects 0.000 claims description 19
- 230000009466 transformation Effects 0.000 claims description 17
- 238000013519 translation Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 9
- 239000013598 vector Substances 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000003776 cleavage reaction Methods 0.000 claims description 6
- 210000002569 neuron Anatomy 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 238000009966 trimming Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 239000000126 substance Substances 0.000 claims description 4
- 230000007017 scission Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000010191 image analysis Methods 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000005012 migration Effects 0.000 description 2
- 238000013508 migration Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 235000002566 Capsicum Nutrition 0.000 description 1
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 239000006002 Pepper Substances 0.000 description 1
- 235000016761 Piper aduncum Nutrition 0.000 description 1
- 235000017804 Piper guineense Nutrition 0.000 description 1
- 244000203593 Piper nigrum Species 0.000 description 1
- 235000008184 Piper nigrum Nutrition 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000007769 metal material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000013138 pruning Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 150000003839 salts Chemical class 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 230000007306 turnover Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30136—Metal
Abstract
本发明揭示了模型训练方法、基于深度学习的金属断口分析方法及应用，以解决没有高效可靠的金属断口识别方法的问题。该模型训练方法包括将样本集中的多个图像样本输入目标特征提取网络以提取图像特征；将提取的图像特征输入目标分类网络，识别金属断口类别；根据目标分类网络识别的金属断口类别和对应标记的金属断口类别的比对结果，调整目标分类网络的各层权重值，以完成目标分类网络的训练；基于目标特征提取网络和训练完成的目标分类网络构建目标模型；将样本集中的多个图像样本输入目标模型，识别金属断口类别；根据目标模型识别的金属断口类别和对应标记的金属断口类别的比对结果，调整目标模型的各层权重值，以完成目标模型的训练。
Description
技术领域
本发明属于机器学习技术领域，具体涉及一种模型训练方法、基于深度学习的金属断口分析方法、以及应用上述方法的装置、电子设备和计算机存储介质。
背景技术
随着现代工业的发展，大型运载工具的出现和应用的日益广泛，其可能存在的断裂失效风险关系到生命财产安全，因此，研究断裂、预测断裂、预防断裂成为各国工程界关注的热门课题。
研究断裂的首要步骤就是分析断口，断口是金属构件断裂后，破坏部分外观形貌的统称。断口记录着裂纹的发生、扩展和断裂过程，所以，长期以来人们通过断口主要进行下列研究：分析金属组织或缺陷的特征、本质及其对使用性能的影响，以正确判定金属材料的质量；探讨金属构件断裂事故的内因和外因从而吸取经验，避免事故的再现；研究金属断裂过程的微观机制，以阐明断裂过程的基本理论。
近年来，国内外对断口的研究主要是通过扫描电子显微镜获取断口微观结构图像，然后再由专业人士根据理论和经验来分析图像从而得到金属断裂的原因。整个过程都需要耗费大量人力，对识图人员的专业知识要求极高，而且效率低下，因此，如何提供一种方便可靠的高效金属断口分析方法成为当前急需解决的问题。
发明内容
本发明一实施例提供一种模型训练方法，用于解决现有技术中缺少方便可靠的高效金属断口分析方法问题，该模型训练方法包括：
获取样本集，所述样本集中包括多个标记有金属断口类别的图像样本；
将所述样本集中的多个图像样本输入目标特征提取网络以提取图像特征；
将所述提取的图像特征输入目标分类网络，识别金属断口类别；
根据所述目标分类网络识别的金属断口类别和对应标记的金属断口类别的比对结果，调整目标分类网络的各层权重值，以完成目标分类网络的训练；
基于目标特征提取网络和训练完成的目标分类网络构建目标模型；
将所述样本集中的多个图像样本输入所述目标模型，识别金属断口类别；
根据所述目标模型识别的金属断口类别和对应标记的金属断口类别的比对结果，调整目标模型选定层的权重值，以完成目标模型的训练。
一实施例中，所述目标特征提取网络包括多个卷积层和最大池化层；
目标特征提取网络提取图像特征具体包括：
目标特征提取网络对图像样本进行多次级联的卷积和最大池化，以提取图像特征。
一实施例中，目标特征提取网络对图像样本进行多次级联的卷积和最大池化，具体包括：
S11、图像样本依次经过两个3*3*64的卷积层和一个最大池化层，进行卷积和最大池化；
S12、将步骤S11获得的图像依次经过两个3*3*128的卷积层和一个最大池化层，进行卷积和最大池化；
S13、将步骤S12获得的图像依次经过三个3*3*256的卷积层和一个最大池化层，进行卷积和最大池化；
S14、将步骤S13获得的图像依次经过两个3*3*512的卷积层、一个最大池化层、两个3*3*512的卷积层、以及一个最大池化层，进行卷积和最大池化。
一实施例中，所述目标分类网络包括第一全连接层和第二全连接层，所述第二全连接层的输出端连接分类器；
目标分类网络识别金属断口类别，具体包括：
目标分类网络依次通过所述第一全连接层和第二全连接层对目标特征提取网络提取的图像特征进行特征向量计算，并通过所述分类器输出识别的金属断口类别。
一实施例中，所述第一全连接层的神经元数为512，所述第二全连接层的神经元数为256；和/或，
所述分类器为softmax函数，输出大小为5；和/或，
所述分类器识别的金属断口类别包括解理、准解理、韧窝、沿晶和疲劳。
一实施例中，所述方法还包括：
对所述样本集中的图像样本进行数据增强，所述数据增强包括对图像样本翻转变化、随机修剪、色彩抖动、平移变化、尺度变换、对比度变换、噪声扰动、旋转变换中的一种或几种的组合；和/或，
将目标数据库中预训练网络模型的权重值迁移到所述目标特征提取网络中。
一实施例中，
对图像样本翻转变化具体包括：将样本图像以x、y轴为对称轴进行翻转；
对图像样本随机修剪具体包括：将图像样本剪切至设定尺寸；
对图像样本色彩抖动具体包括：调整图像样本的色差；
对图像样本平移变化具体包括：将图像样本中的所有像素坐标分别增加设定的水平偏移量和垂直偏移量；
对图像样本尺度变换具体包括：将图像样本进行尺寸缩放；
对图像样本对比度变换具体包括：调整样本图像像元的亮度值从而改变样本图像像元的对比度；
对图像样本噪声扰动具体包括：给样本图像添加噪声扰动；
对图像样本旋转变换具体包括：将样本图像旋转设定的角度。
本申请还提供一种基于深度学习的金属断口分析方法，所述方法包括：
获取待分析的金属断口微观图像并进行预处理；
将所述预处理后的金属断口微观图像输入目标模型，识别金属断口的类别；其中，
所述目标模型采用如上所述的模型训练方法获得。
一实施例中，对待分析的金属断口微观图像进行预处理，具体包括：
去除所述微观图像上的文字和数字，并缩放至设定尺寸。
本申请还提供一种模型训练装置，包括：
获取单元，用于获取样本集，所述样本集中包括多个标记有金属断口类别的图像样本；
第一输入单元，用于将所述样本集中的多个图像样本输入目标特征提取网络以提取图像特征；以及将所述提取的图像特征输入目标分类网络，识别金属断口类别；
第一训练单元，用于根据所述目标分类网络识别的金属断口类别和对应标记的金属断口类别的比对结果，调整目标分类网络的各层权重值，以完成目标分类网络的训练；
建模单元，用于基于目标特征提取网络和训练完成的目标分类网络构建目标模型；
第二输入单元，用于将所述样本集中的多个图像样本输入所述目标模型，识别金属断口类别；
第二训练单元，用于根据所述目标模型识别的金属断口类别和对应标记的金属断口类别的比对结果，调整目标模型的各层权重值，以完成目标模型的训练。
本申请还提供一种基于深度学习的金属断口分析装置，包括：
获取单元，用于获取待分析的金属断口微观图像并进行预处理；
处理单元，用于将所述预处理后的金属断口微观图像输入目标模型，识别金属断口的类别；其中，
所述目标模型采用如上所述的模型训练方法获得。
本申请还提供一种电子设备，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述处理器通过运行所述可执行指令以实现如上所述的模型训练方法；或者，所述处理器通过运行所述可执行指令以实现如上所述的基于深度学习的金属断口分析方法。
本申请还提供一种计算机存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如上所述的模型训练方法；或者，如上所述的基于深度学习的金属断口分析方法。
与现有技术相比，本申请首先训练目标分类网络，再将目标特征提取网络和目标分类网络组合后完整的可用于金属断口分析的目标模型，再对目标模型进行较小数据量的图像样本训练即可完整权重值的调整，在保证目标模型对金属断口类别识别可靠性的基础上，提高了模型的训练效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一实施方式中模型训练方法的流程图；
图2是本申请一实施方式中目标特征提取网络的框架示意图；
图3是本申请一实施方式中目标分类网络的框架示意图；
图4是本申请一实施方式中基于深度学习的金属断口分析方法的流程图；
图5是本申请一实施方式中电子设备的结构示意图；
图6是本申请一实施方式中模型训练装置的模块示意图；
图7是本申请一实施方式中基于深度学习的金属断口分析装置的模块示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
图像分析模型是一种用于对输入图像进行特征提取和分析的模型。本申请实施例针对图像分析模型提出了一种模型训练方法，采用该模型训练方法对图像分析模型进行训练，可以提高图像分析模型的准确性以及模型训练效率。该模型训练方法可应用在终端中，此处的终端包括但不限于：智能手机、平板电脑、膝上计算机以及台式电脑等等。
参图1，介绍本申请模型训练方法的一实施方式。在本实施方式中，该方法包括：
S1、获取样本集，所述样本集中包括多个标记有金属断口类别的图像样本。
样本集可以是由人工预先采集的金属断口微观图像样本集合，并由人工进行断口类别的标记。同时，为了增加图像样本数据的大小，使得训练的模型鲁棒性能更优、泛化能力更强、结果更加准确，本实施方式中，还对样本集中的这些图像样本进行数据增强，可选采用的数据增强包括对图像样本翻转变化、随机修剪、色彩抖动、平移变化、尺度变换、对比度变换、噪声扰动、旋转变换中的一种或几种的组合。
具体地，对图像样本翻转变化具体包括：将样本图像以x、y轴为对称轴进行翻转；对图像样本随机修剪具体包括：将图像样本剪切至设定尺寸；对图像样本色彩抖动具体包括：调整图像样本的色差，例如可以利用Floyd-Steinberg滤波抖动算法；对图像样本平移变化具体包括：将图像样本中的所有像素坐标分别增加设定的水平偏移量和垂直偏移量；对图像样本尺度变换具体包括：将图像样本进行尺寸缩放；对图像样本对比度变换具体包括：调整样本图像像元的亮度值从而改变样本图像像元的对比度；对图像样本噪声扰动具体包括：给样本图像添加噪声扰动，典型的例如椒盐噪声、高斯噪声等；对图像样本旋转变换具体包括：将样本图像旋转设定的角度。
在实际的应用中，针对样本集中的所有图像样本，可以是整体上随机地采用上述数据增强的手段中的一种或全部，又或者，有选择地/随机地针对任意一张图像样本采用上述数据增强手段中的一种或全部。并且，在采用具体的数据增强手段时，可以参考希望的模型优化方向，例如，在希望模型面对缺失值不敏感，增加稳定性时，可以对图样样本进行随机裁剪，建立每个因子特征与相应类别的权重关系，以减弱背景(或噪音)因子的权重。
同时，需要理解的是，可以被引用的其他数据增强手段也可以适应性地应用到本申请的图像样本的数据增强中，例如使用生成对抗网络(GAN)生成模拟图像、监督式数据扩充等。
S2、将所述样本集中的多个图像样本输入目标特征提取网络以提取图像特征。
目标特征提取网络包括多个卷积层和最大池化层。目标特征提取网络提取图像特征具体包括：对图像样本进行多次级联的卷积和最大池化，以提取图像特征。
参图2，本申请实施方式中，以目标特征提取网络包括13个卷积层和4个最大池化层为例，示意图像特征的提取过程：
S11、图像样本依次经过两个3*3*64的卷积层和一个最大池化层，进行卷积和最大池化；
S12、将步骤S11获得的图像依次经过两个3*3*128的卷积层和一个最大池化层，进行卷积和最大池化；
S13、将步骤S12获得的图像依次经过三个3*3*256的卷积层和一个最大池化层，进行卷积和最大池化；
S14、将步骤S13获得的图像依次经过两个3*3*512的卷积层、一个最大池化层、两个3*3*512的卷积层、以及一个最大池化层，进行卷积和最大池化。
上述步骤S11至S14卷积层中64、128、256、512为卷积核的个数。这里的特征提取网络由于有13个卷积层和4个最大池化层，需要训练的参数有一千多万个，如果全部从头开始训练需要大量的计算资源，也比较耗时，效率较低。因此，在本实施方式中，利用迁移学习的方法，可以预先将目标数据库中预训练网络模型的权重值迁移到该目标特征提取网络中，随后再用少量的数据进行目标特征提取网络权重值的微调，加快目标特征提取网络收敛速度，提高训练效率和准确率。
示意性地，可以是采用ImageNet上预训练模型的权重值来初始化目标特征提取网络的权重值。ImageNet是一个用于视觉对象识别软件研究的大型可视化数据库，里面包含各种预训练的模型，包括VGG16、GoogLeNet、ResNet等。
本实施方式中，经过目标特征提取网络后，输出的特征图像的大小为7*7*512，需要对输出的特征图像进行降维，从多维矩阵降为一维向量的形式，方便后续分类网络的计算。
S3、将所述提取的图像特征输入目标分类网络，识别金属断口类别。
目标分类网络包括第一全连接层和第二全连接层，该第二全连接层的输出端连接分类器。目标分类网络识别金属断口类别时，依次通过第一全连接层和第二全连接层对目标特征提取网络提取的图像特征进行特征向量计算，并通过分类器输出识别的金属断口类别。
示意性地，第一全连接层的神经元数为512，第二全连接层的神经元数为256，这样，相对于第一全连接层而言，第二全连接层可得到更加突出重要的图像特征向量。
本实施方式中，目标分类网络还可以包括dropout层，其用于在模型训练过程中，对于神经网络单元，按照一定的概率将其暂时从网络中丢弃。由于随机地让一些节点停止了工作，可以避免某些特征只在固定组合下才生效，有意识地让网络去学习一些普遍的共性。同时，dropout的随机意味着每次训练时只训练了一部分，而且其中大部分参数还是共享的，dropout可以看做训练了多个模型，实际使用时采用了模型平均作为输出。采用dropout后可以防止模型过拟合，提升模型泛化能力。
分类器为softmax函数，也即softmax分类器。由于在本实施方式的应用中，金属断口的类别主要有5类，因此分类器的输出大小为5，分类器识别的金属断口类别包括解理、准解理、韧窝、沿晶和疲劳。Softmax函数表示为：
可以看到它有多个值，所有值加起来刚好等于1，每个输出都映射到了0到1区间，可以看成是概率问题。将全连接层的特征向量通过softmax分类器就能得到当前输入的金属断口微观图像分别属于5个类别的概率，取最大的概率值的类别作为输入的图像样本中金属断口微观图像的断口类别。
S4、根据所述目标分类网络识别的金属断口类别和对应标记的金属断口类别的比对结果，调整目标分类网络的各层权重值，以完成目标分类网络的训练。
这里对目标分类网络的训练过程中，可以是通过大量图像样本的输入，不断地调整目标分类网络的各层权重值，直至目标分类网络识别的结果正确率达到预设的标准。具体的过程中，由目标特征提取网络的不断地输出有效图像特征到目标分类网络中，目标分类网络也随之进行梯度下降更新其权重值。
S5、基于目标特征提取网络和训练完成的目标分类网络构建目标模型。
这里是将目标特征提取网络和目标分类网络组合成一个完整的基于深度学习的目标模型。可以看出，组合后的目标模型为卷积神经网络模型，相对于传统的图像特征提取算法，例如LBP、HOG、Haar等，可以实现图像特征的自动提取，而且由于卷积和池化计算的性质，使得图像中的平移部分对于最后的特征向量是没有影响的。从这一角度说，提取到的特征更不容易过拟合。而且由于平移不变性，所以平移字符进行变造是无意义的，省去了再对样本进行变造的过程。其次卷积神经网络模型抽取出的特征要比简单的投影、方向，重心都要更科学，不会让特征提取成为最后提高准确率的瓶颈。最后可以利用不同的卷积、池化和最后输出的特征向量的大小控制整体模型的拟合能力。在过拟合时可以降低特征向量的维数，在欠拟合时可以提高卷积层的输出维数，相比于其它特征提取方法更加灵活。
示范性地，可以基于卷积神经网络框架VGG搭建目标模型，如上述所示，卷积层都使用较小的卷积核，一方面可以减少参数，另一方面可以进行更多的非线性映射，增加网络的拟合/表达能力。每个卷积层后面都跟有激活函数，本实施方式中，可以例如采用ReLU激活函数，该函数的特点是当输入信号小于0时，输出都是0，当输入信号大于0的情况下，输出等于输入。ReLU激活函数由于非负区间的梯度为常数，因此不存在梯度消失问题，使得模型的收敛速度维持在一个稳定状态。
相适应地，最大池化层(maxpool)即为采用3*3的矩阵在特征图上滑动，并对每个矩阵内的所有像素值取最大值。最大池化的优点是通过消除非极大值，降低了上层的计算复杂度，其次它提供了平移不变形的一种形式。
在将目标提取网络和目标分类网络合并为目标模型时，可以进一步利用迁移学习的思想，将已经训练完成的目标提取网络和目标分类网络的权重值作为目标模型的初始权重值。
S6、将所述样本集中的多个图像样本输入所述目标模型，识别金属断口类别。
目标模型相当于集合了上述目标提取网络和目标分类网络的完成功能，通过输入图像样本即可实现输出识别的金属断口类别。
S7、根据所述目标模型识别的金属断口类别和对应标记的金属断口类别的比对结果，调整目标模型选定层的权重值，以完成目标模型的训练。
这里类似地，由于在上述步骤中，已经将预训练完成的目标特征提取网络和目标分类网络的权重值作为目标模型的初始权重值，这里只需要输入较小数据量的图像样本，即可完成对目标模型的权重值的微调。
可以看出，本申请实施方式的的模型训练方法分为两个部分，第一个部分是训练自定义的分类网络，该分类网络的结构如图3所示，输入数据是采用特征提取网络提取的金属断口微观图像的特征数据，输出是金属断口类别，通过梯度下降算法调整全连接网络中的参数。
第二个部分是训练目标特征提取网络与目标分类网络合并后的完整的目标模型，这个目标模型是一个端到端的网络，输入是金属断口微观图像样本，输出即为金属断口类别，该完整网络的特征提取网络的初始权值由ImageNet上的预训练模型权值迁移得到，全连接网络的初始化权值即为上一步训练的全连接网络权重。
并且，考虑到卷积神经网络的前面几层提取的图像特征都是基础图像特征，比如角、线、边，因此在训练完整的端到端的目标模型时，如图2所示，可以固定前面4个block权重为初始权重不变，仅仅更新后面一个block和全连接层的权重。也即，这里的选定层可以是目标模型中最后少数几层的权重值，而不用更新全部层的权重值；当然，在不同的应用中，这里具体调整的层可以根据实际需要进行设定，并且，在一些情况下，这里的选定的层也可以指包括目标模型中所有的层。
本申请还提供一种基于深度学习的金属断口分析方法的具体实施方式，该方法包括
S21、获取待分析的金属断口微观图像并进行预处理。
去除所述微观图像上的文字和数字，并缩放至设定尺寸。
S22、将所述预处理后的金属断口微观图像输入目标模型，识别金属断口的类别。
这里的目标模型采用如上实施方式所提供的模型训练方法获得。由于不涉及对目标模型的进一步训练或改进，因此这里对目标模型的其他部分不再赘述。
图5是一示例性实施例提供的一种电子设备的示意结构图。请参考图5，在硬件层面，该设备包括处理器、内部总线、网络接口、内存以及非易失性存储器，当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成模型训练装置或者基于深度学习的金属断口分析装置。当然，除了软件实现方式之外，本说明书一个或多个实施例并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。
请参考图6，在硬件实施方式中，该模型训练装置，包括获取单元、第一输入单元、第一训练单元、建模单元、第二输入单元、以及第二训练单元。
获取单元用于获取样本集，所述样本集中包括多个标记有金属断口类别的图像样本。第一输入单元用于将所述样本集中的多个图像样本输入目标特征提取网络以提取图像特征；以及将所述提取的图像特征输入目标分类网络，识别金属断口类别；第一训练单元用于根据所述目标分类网络识别的金属断口类别和对应标记的金属断口类别的比对结果，调整目标分类网络的各层权重值，以完成目标分类网络的训练；建模单元用于基于目标特征提取网络和训练完成的目标分类网络构建目标模型；第二输入单元用于将所述样本集中的多个图像样本输入所述目标模型，识别金属断口类别；第二训练单元用于根据所述目标模型识别的金属断口类别和对应标记的金属断口类别的比对结果，调整目标模型的各层权重值，以完成目标模型的训练。
请参考图7，在硬件的实施方式中，该基于深度学习的金属断口分析装置，包括获取单元和处理单元。
获取单元用于获取待分析的金属断口微观图像并进行预处理。处理单元，用于将预处理后的金属断口微观图像输入目标模型，识别金属断口的类别。其中，目标模型采用上述实施方式提供的模型训练方法获得。
在一个实施方式中，提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述模型训练方法的步骤、或者执行上述基于深度学习的金属断口分析方法的步骤。
本申请通过上述实施方式，具有以下有益效果：
1)采用人工智能的方法进行金属断口自动分析，大大节约了人力成本、而且降低了对金属断口分析的技术门槛；
2)采用ImageNet上的预训练网络模型，避免了过多网络层数带来的巨大的计算量的问题，节约训练时间、减少内存占有、提高训练效率；
3)建立深度学习目标模型对金属断口进行分析，检测精度较高、结果准确可靠；
4)采用翻转变换，随机修剪，色彩抖动，平移变换，尺度变换，对比度变换，噪声扰动，旋转变换等一系列的数据增强的方案，增加样本数据的大小，使得训练的金属断口分析模型鲁棒性更优，泛化能力能强，结果更加准确。
5)在训练目标特征提取网络和目标分类网络合并的目标模型时，并没有更新全部层的权重参数，而是固定了前面14层的权值，只更新后面少数几层的权值，由于卷积神经网络的前面几层往往提取的是图像的基础特征，比如边、角、线，几乎所有的图像都包含上述基础特征，省略了再次重新训练目标模型的基础特征提取层，更加高效。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
在一个典型的配置中，计算机包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带、磁盘存储、量子存储器、基于石墨烯的存储介质或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
在本说明书一个或多个实施例使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本说明书一个或多个实施例可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书一个或多个实施例范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
以上所述仅为本说明书一个或多个实施例的较佳实施例而已，并不用以限制本说明书一个或多个实施例，凡在本说明书一个或多个实施例的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本说明书一个或多个实施例保护的范围之内。
Claims (13)
1.一种模型训练方法，其特征在于，所述方法包括：
获取样本集，所述样本集中包括多个标记有金属断口类别的图像样本；
将所述样本集中的多个图像样本输入目标特征提取网络以提取图像特征；
将所述提取的图像特征输入目标分类网络，识别金属断口类别；
根据所述目标分类网络识别的金属断口类别和对应标记的金属断口类别的比对结果，调整目标分类网络的各层权重值，以完成目标分类网络的训练；
基于目标特征提取网络和训练完成的目标分类网络构建目标模型；
将所述样本集中的多个图像样本输入所述目标模型，识别金属断口类别；
根据所述目标模型识别的金属断口类别和对应标记的金属断口类别的比对结果，调整目标模型选定层的权重值，以完成目标模型的训练。
2.根据权利要求1所述的方法，其特征在于，所述目标特征提取网络包括多个卷积层和最大池化层；
目标特征提取网络提取图像特征具体包括：
目标特征提取网络对图像样本进行多次级联的卷积和最大池化，以提取图像特征。
3.根据权利要求2所述的方法，其特征在于，目标特征提取网络对图像样本进行多次级联的卷积和最大池化，具体包括：
S11、图像样本依次经过两个3*3*64的卷积层和一个最大池化层，进行卷积和最大池化；
S12、将步骤S11获得的图像依次经过两个3*3*128的卷积层和一个最大池化层，进行卷积和最大池化；
S13、将步骤S12获得的图像依次经过三个3*3*256的卷积层和一个最大池化层，进行卷积和最大池化；
S14、将步骤S13获得的图像依次经过两个3*3*512的卷积层、一个最大池化层、两个3*3*512的卷积层、以及一个最大池化层，进行卷积和最大池化。
4.根据权利要求1所述的方法，其特征在于，所述目标分类网络包括第一全连接层和第二全连接层，所述第二全连接层的输出端连接分类器；
目标分类网络识别金属断口类别，具体包括：
目标分类网络依次通过所述第一全连接层和第二全连接层对目标特征提取网络提取的图像特征进行特征向量计算，并通过所述分类器输出识别的金属断口类别。
5.根据权利要求4所述的方法，其特征在于，所述第一全连接层的神经元数为512，所述第二全连接层的神经元数为256；和/或，
所述分类器为softmax函数，输出大小为5；和/或，
所述分类器识别的金属断口类别包括解理、准解理、韧窝、沿晶和疲劳。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
对所述样本集中的图像样本进行数据增强，所述数据增强包括对图像样本翻转变化、随机修剪、色彩抖动、平移变化、尺度变换、对比度变换、噪声扰动、旋转变换中的一种或几种的组合；和/或，
将目标数据库中预训练网络模型的权重值迁移到所述目标特征提取网络中。
7.根据权利要求6所述的方法，其特征在于，
对图像样本翻转变化具体包括：将样本图像以x、y轴为对称轴进行翻转；
对图像样本随机修剪具体包括：将图像样本剪切至设定尺寸；
对图像样本色彩抖动具体包括：调整图像样本的色差；
对图像样本平移变化具体包括：将图像样本中的所有像素坐标分别增加设定的水平偏移量和垂直偏移量；
对图像样本尺度变换具体包括：将图像样本进行尺寸缩放；
对图像样本对比度变换具体包括：调整样本图像像元的亮度值从而改变样本图像像元的对比度；
对图像样本噪声扰动具体包括：给样本图像添加噪声扰动；
对图像样本旋转变换具体包括：将样本图像旋转设定的角度。
8.一种基于深度学习的金属断口分析方法，其特征在于，所述方法包括：
获取待分析的金属断口微观图像并进行预处理；
将所述预处理后的金属断口微观图像输入目标模型，识别金属断口的类别；其中，
所述目标模型采用如权利要求1-7任一项所述的模型训练方法获得。
9.根据权利要求8所述的方法，其特征在于，对待分析的金属断口微观图像进行预处理，具体包括：
去除所述微观图像上的文字和/或数字，并缩放至设定尺寸。
10.一种模型训练装置，其特征在于，包括：
获取单元，用于获取样本集，所述样本集中包括多个标记有金属断口类别的图像样本；
第一输入单元，用于将所述样本集中的多个图像样本输入目标特征提取网络以提取图像特征；以及将所述提取的图像特征输入目标分类网络，识别金属断口类别；
第一训练单元，用于根据所述目标分类网络识别的金属断口类别和对应标记的金属断口类别的比对结果，调整目标分类网络的各层权重值，以完成目标分类网络的训练；
建模单元，用于基于目标特征提取网络和训练完成的目标分类网络构建目标模型；
第二输入单元，用于将所述样本集中的多个图像样本输入所述目标模型，识别金属断口类别；
第二训练单元，用于根据所述目标模型识别的金属断口类别和对应标记的金属断口类别的比对结果，调整目标模型的各层权重值，以完成目标模型的训练。
11.一种基于深度学习的金属断口分析装置，其特征在于，包括：
获取单元，用于获取待分析的金属断口微观图像并进行预处理；
处理单元，用于将所述预处理后的金属断口微观图像输入目标模型，识别金属断口的类别；其中，
所述目标模型采用如权利要求1-7任一项所述的模型训练方法获得。
12.一种电子设备，其特征在于，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述处理器通过运行所述可执行指令以实现如权利要求1-7中任一项所述的模型训练方法；或者，所述处理器通过运行所述可执行指令以实现如权利要求8-9中任一项所述的基于深度学习的金属断口分析方法。
13.一种计算机存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1-7中任一项所述的模型训练方法；或者，如权利要求8-9中任一项所述的基于深度学习的金属断口分析方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010010744.7A CN111209964A (zh) | 2020-01-06 | 2020-01-06 | 模型训练方法、基于深度学习的金属断口分析方法及应用 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010010744.7A CN111209964A (zh) | 2020-01-06 | 2020-01-06 | 模型训练方法、基于深度学习的金属断口分析方法及应用 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111209964A true CN111209964A (zh) | 2020-05-29 |
Family
ID=70789690
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010010744.7A Pending CN111209964A (zh) | 2020-01-06 | 2020-01-06 | 模型训练方法、基于深度学习的金属断口分析方法及应用 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111209964A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111639609A (zh) * | 2020-06-03 | 2020-09-08 | 大连交通大学 | 基于机器视觉与深度学习的金属断口类型智能识别系统 |
| CN111667002A (zh) * | 2020-06-05 | 2020-09-15 | 中国银行股份有限公司 | 一种币种识别方法、识别装置、以及电子设备 |
| CN111931817A (zh) * | 2020-07-10 | 2020-11-13 | 首钢集团有限公司 | 一种球团矿矿相识别方法和装置 |
| CN113706516A (zh) * | 2021-08-31 | 2021-11-26 | 西安交通大学 | 一种金相组织识别方法、系统、设备和存储介质 |
| CN114993832A (zh) * | 2022-08-03 | 2022-09-02 | 苏州翔楼新材料股份有限公司 | 一种基于表观显微形貌的金属材料寿命的预测方法及系统 |
| FR3123474A1 (fr) * | 2021-05-31 | 2022-12-02 | Safran Aircraft Engines | Procédé de classification d’un mode de rupture visible sur une image d’un faciès de rupture d’un assemblage collé |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109271522A (zh) * | 2018-11-20 | 2019-01-25 | 深圳大学 | 基于深度混合模型迁移学习的评论情感分类方法及系统 |
| CN109934212A (zh) * | 2018-11-29 | 2019-06-25 | 国家电网有限公司 | 基于广角的成像装置和自动识别图像的方法 |
| CN110516561A (zh) * | 2019-08-05 | 2019-11-29 | 西安电子科技大学 | 基于dcgan和cnn的sar图像目标识别方法 |
-
2020
- 2020-01-06 CN CN202010010744.7A patent/CN111209964A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109271522A (zh) * | 2018-11-20 | 2019-01-25 | 深圳大学 | 基于深度混合模型迁移学习的评论情感分类方法及系统 |
| CN109934212A (zh) * | 2018-11-29 | 2019-06-25 | 国家电网有限公司 | 基于广角的成像装置和自动识别图像的方法 |
| CN110516561A (zh) * | 2019-08-05 | 2019-11-29 | 西安电子科技大学 | 基于dcgan和cnn的sar图像目标识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| 鄂大伟等, 厦门大学出版社 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111639609A (zh) * | 2020-06-03 | 2020-09-08 | 大连交通大学 | 基于机器视觉与深度学习的金属断口类型智能识别系统 |
| CN111667002A (zh) * | 2020-06-05 | 2020-09-15 | 中国银行股份有限公司 | 一种币种识别方法、识别装置、以及电子设备 |
| CN111667002B (zh) * | 2020-06-05 | 2023-11-24 | 中国银行股份有限公司 | 一种币种识别方法、识别装置、以及电子设备 |
| CN111931817A (zh) * | 2020-07-10 | 2020-11-13 | 首钢集团有限公司 | 一种球团矿矿相识别方法和装置 |
| FR3123474A1 (fr) * | 2021-05-31 | 2022-12-02 | Safran Aircraft Engines | Procédé de classification d’un mode de rupture visible sur une image d’un faciès de rupture d’un assemblage collé |
| CN113706516A (zh) * | 2021-08-31 | 2021-11-26 | 西安交通大学 | 一种金相组织识别方法、系统、设备和存储介质 |
| CN113706516B (zh) * | 2021-08-31 | 2024-04-02 | 西安交通大学 | 一种金相组织识别方法、系统、设备和存储介质 |
| CN114993832A (zh) * | 2022-08-03 | 2022-09-02 | 苏州翔楼新材料股份有限公司 | 一种基于表观显微形貌的金属材料寿命的预测方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111209964A (zh) | 模型训练方法、基于深度学习的金属断口分析方法及应用 | |
| Nezhadarya et al. | Adaptive hierarchical down-sampling for point cloud classification | |
| WO2020244261A1 (zh) | 高分辨率遥感图像的场景识别系统及模型生成方法 | |
| CN112396002B (zh) | 一种基于SE-YOLOv3的轻量级遥感目标检测方法 | |
| CN109409222B (zh) | 一种基于移动端的多视角人脸表情识别方法 | |
| Sharma | Information Measure Computation and its Impact in MI COCO Dataset | |
| KR102591961B1 (ko) | 모델 트레이닝 방법 및 장치, 및 이를 위한 단말 및 저장 매체 | |
| CN110633745B (zh) | 一种基于人工智能的图像分类训练方法、装置及存储介质 | |
| CN109299716A (zh) | 神经网络的训练方法、图像分割方法、装置、设备及介质 | |
| CN109086653B (zh) | 手写模型训练方法、手写字识别方法、装置、设备及介质 | |
| CN112464865A (zh) | 一种基于像素和几何混合特征的人脸表情识别方法 | |
| WO2023193401A1 (zh) | 点云检测模型训练方法、装置、电子设备及存储介质 | |
| CN107784288A (zh) | 一种基于深度神经网络的迭代定位式人脸检测方法 | |
| CN108932455B (zh) | 遥感图像场景识别方法及装置 | |
| Nawaz et al. | AI-based object detection latest trends in remote sensing, multimedia and agriculture applications | |
| CN114549913B (zh) | 一种语义分割方法、装置、计算机设备和存储介质 | |
| CN110991513A (zh) | 一种具有类人连续学习能力的图像目标识别系统及方法 | |
| CN111325190A (zh) | 一种表情识别方法、装置、计算机设备及可读存储介质 | |
| CN113487610B (zh) | 疱疹图像识别方法、装置、计算机设备和存储介质 | |
| CN111382638A (zh) | 一种图像检测方法、装置、设备和存储介质 | |
| CN113963272A (zh) | 一种基于改进yolov3的无人机图像目标检测方法 | |
| CN111368865A (zh) | 遥感影像储油罐检测方法、装置、可读存储介质及设备 | |
| CN114170231A (zh) | 基于卷积神经网络的图像语义分割方法、装置及电子设备 | |
| CN111738069A (zh) | 人脸检测方法、装置、电子设备及存储介质 | |
| CN115512207A (zh) | 一种基于多路特征融合及高阶损失感知采样的单阶段目标检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200529 |
|
| WD01 | Invention patent application deemed withdrawn after publication |