CN113706516A - 一种金相组织识别方法、系统、设备和存储介质 - Google Patents

一种金相组织识别方法、系统、设备和存储介质 Download PDF

Info

Publication number
CN113706516A
CN113706516A CN202111017094.XA CN202111017094A CN113706516A CN 113706516 A CN113706516 A CN 113706516A CN 202111017094 A CN202111017094 A CN 202111017094A CN 113706516 A CN113706516 A CN 113706516A
Authority
CN
China
Prior art keywords
samples
training
sample
deep learning
learning model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111017094.XA
Other languages
English (en)
Other versions
CN113706516B (zh
Inventor
胡海军
申志远
李秀峰
谢国山
韩志远
张钰
康晓鹏
甄宏展
李涌泉
胡振龙
肖尧钱
龚雪茹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN202111017094.XA priority Critical patent/CN113706516B/zh
Publication of CN113706516A publication Critical patent/CN113706516A/zh
Application granted granted Critical
Publication of CN113706516B publication Critical patent/CN113706516B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30136—Metal
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种金相组织识别方法、系统、设备和存储介质，采集金属材料金相图像，组成原始数据集，并划分训练集和测试集，全部样本训练下获得的第一深度学习模型用于识别多数类别的金相组织；在此基础上，使用少数类别样本对模型进行训练，根据模型的输出结果选择难识别样本。将难识别样本与少数类别样本构成新的数据集，用以训练获得第二深度学习模型，所得第二深度学习模型用于识别少数类别的金相组织。该方法通过综合使用分治、欠采样和迁移学习的方法显著提高了模型对少数类别的识别准确率。本方法易于实现，可有效提高金属材料金相组织识别与分析过程的效率和准确率。

Description

一种金相组织识别方法、系统、设备和存储介质
技术领域
本发明属于计算机视觉测量金相检测技术领域，具体涉及一种金相组织识别方法、系统、设备和存储介质。
背景技术
金相指金属或合金的各种成分在合金内部的物理或化学状态，金相组织反应金属金相的具体形态。以承压装置结构材料为例，在承压装置运行过程中，材料受到温度、应力和腐蚀介质等因素的长久作用，性能会下降，组织结构会发生变化，需借助金相检验技术检测、分析材料的劣化情况，评价装置的服役安全性。金相检验的主要任务之一是判断设备材料的微观组织是否含有异常相。例如魏氏组织或马氏体相会降低珠光体型耐热钢的韧性，当在耐热钢的金相组织中检测到这两种相时，可以评判材料组织结构异常。
在金相检验中，一般是通过人的肉眼观察材料金相组织图像来判断材料是否合格，这要求检验人员具备丰富的现场经验和专业知识。人工金相组织识别的劳动强度大、检验效率低，还容易受由人的认知差异带来的主观影响。将基于深度学习的计算机视觉技术应用于金相检验中，可显著的提高检验效率和检验准确率，消除人工检验的主观误差。
材料金相组织的种类、数量和分布情况与采用的应用场景和种类高度相关，以承压装置用耐热钢为例，常见的相包括铁素体、贝氏体等，样本量大，属于多数类别；少见的相如魏氏组织、马氏体相等，数量少，属于少数类别。为使描述更加清晰，本发明对类别进行如下定义：统计数量最多的一类组织的样本数量，当某类别的样本数量小于该数量的十分之一时，该类别为少数类别，反之为多数类别。在工程中，金相图像数据样本是不均衡的，即异常相的金相图片样本数量远小于正常相的样本数量。在基于深度学习的金相检验技术领域，已经公开的专利和文献尚未考虑样本不均衡问题，这些方法通常在多数类别上表现良好，在少数类别上识别精度差。
发明内容
针对金相图像样本不均衡的问题，本发明的目的是提供一种金相组织识别方法、系统、设备和存储介质，提高了少数类别样本金相组织识别率。
为实现上述目的，本发明采用的技术方案如下：
一种金相组织识别方法，包括如下步骤：
采集若干金属材料金相图像，组成原始数据集，若含有某个类别金相组织的金属材料金相图像的数量小于设定阈值，则该金属材料金相图像为少数类别样本，反之为多数类别样本；
将原始数据集平均分为K个样本子集，每个样本子集均包含少数类别样本和多数类别样本；轮流将某个样本子集作为测试集，其余样本子集作为训练集，进行训练得到能够识别多数类别样本的第一深度学习模型和能够识别少数类别的第二深度学习模型；其中，K>2；
将待测试数据输入到第一深度学习模型中进行识别，得到待测试数据中多数类别的识别结果，将待测试数据输入到第二深度学习模型中进行识别，得到待测试数据少数类别的识别结果。
本发明进一步的改进在于，阈值通过以下过程确定：在原始数据集所含金相组织的全部类别中存在某类别使得含有该类别金相组织的图像数量m不小于含其他任意一个类别金相组织的图像数量，m的十分之一为阈值。
本发明进一步的改进在于，采用K折交叉验证法将原始数据集平均分为K个样本子集。
本发明进一步的改进在于，将原始数据集平均分为K个样本子集，每个样本子集均包含少数类别样本和多数类别样本；轮流将某个样本子集作为测试集，其余样本子集作为训练集，进行训练得到能够识别多数类别样本的第一深度学习模型和能够识别少数类别的第二深度学习模型的具体过程如下：
1)将原始数据集中含有少数类别的样本集合记为数据集a，其余样本的集合记为数据集b；样本子集Ωk＝{Ck，Tk}，k＝1,2,…,K；Ck为训练集，Tk为测试集；
k＝1时，对训练集C1采用深度学习模型进行训练，然后在经图像缩放和图像标准化操作后的测试集T1上进行测试，得到模型A；
采用训练集C1中属于数据集a的样本，对模型A进行训练，获得模型B；
2)在测试集T1中选择属于数据集b的样本，使用模型B进行测试，选出错检样本；
3)少数类别样本共有n个子类别，依次令i＝1，2，…，n，将含第i个子类别且属于测试集T1的样本的数目记为
Figure BDA0003240279060000031
对错检样本同为第i个子类别的样本，按照模型B对这些样本的输出值，进行降序排序，从高到低选择数目为
Figure BDA0003240279060000032
的样本，视为难识别样本；将难识别样本集合记录为第一难识别样本集合c1；
4)令k＝2，3，...，K，重复步骤1)至步骤3)，获得第二难识别样本集合c2，...，第k难识别样本集合ck，将第一难识别样本集合c1到第k难识别样本集合ck与数据集a混合，构成数据集c；
5)将原始数据集划分为训练集和测试集，在训练集上训练深度学习模型，得到第一深度学习模型，在训练集Ctrain选择数据集c中的样本，对第一深度学习模型进行训练，获得第二深度学习模型。
本发明进一步的改进在于，对训练集C1采用深度学习模型进行训练前，对训练集C1进行数据增强操作。
本发明进一步的改进在于，对训练集C1进行数据增强操作的具体过程为：对训练集C1进行图像缩放、翻转、模糊、亮度和对比度调整、随机裁剪、随机网格洗牌和图像标准化操作。
本发明进一步的改进在于，使用迁移学习的方式对模型A进行训练，获得模型B；采用迁移学习的方式对第一深度学习模型进行训练，获得第二深度学习模型。
一种基于金相组织识别系统，包括：
采集模块，用于采集若干金属材料金相图像，组成原始数据集，若含有某个类别金相组织的金属材料金相图像的数量小于设定阈值，则金属材料金相图像为少数类别样本，其余为多数类别样本；将原始数据集中含有少数类别的样本集合记为数据集a，其余样本的集合记为数据集b；
训练模块，用于将原始数据集平均分为K个样本子集，每个样本子集均包含少数类别样本和多数类别样本；轮流将某个样本子集作为测试集，其余样本子集作为训练集，进行训练得到能够识别多数类别样本的第一深度学习模型和能够识别少数类别的第二深度学习模型；其中，K>2；
测试模块，用于将待测试数据输入到第一深度学习模型中进行识别，得到待测试数据中多数类别的识别结果，将待测试数据输入到第二深度学习模型中进行识别，得到待测试数据少数类别的识别结果。
一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器上存储有能在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述的金相组织识别方法。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行如上所述的金相组织识别方法。
与现有技术相比，本发明具有的有益效果是：
本发明使用第一深度学习模型识别多数类别，第二深度学习模型识别少数类别。将样本不均衡的问题分隔开之后，第一深度学习模型可以充分利用大样本的多数类别样本，提高对多数类别的识别准确率和泛化能力，而样本不均衡导致的模第一深度学习模型对多数类的倾向不会影响最终的识别效果。本发明中，在训练识别少数类别的第二深度学习模型过程中，通过中间模型B对多数类别样本输出的置信度来选择难识别样本，使得欠采样过程中，所选的样本能充分表示所属类别。最终，第二深度学习模型对于少数类别的识别准确率大幅提高，对多数类别样本上的误检率大幅降低。
附图说明
图1为本发明所述的金相组织智能识别流程图。
图2为K折交叉验证法的示意图(假设K＝5)。
图3为本发明所识别金相图像示例图。
图4为本发明所述欠采样的方法示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的实施例仅用于解释本发明，使之更为清晰和具体。在不脱离本申请技术方案构思的前提下，所做出的若干改进及各种非创造性劳动成果，均属于本申请的保护范围。
参见图1-图4，一种基于计算机视觉的金相组织识别方法，包括如下步骤：
步骤1：定义：采集若干金属材料金相图像，组成原始数据集，若含有某个类别金相组织的金属材料金相图像的数量小于设定阈值(在原始数据集所含金相组织的全部类别中存在某类别，使得含有该类别金相组织的图像数量m不小于含其他任意一个类别金相组织的图像数量，m的十分之一为阈值)，则该金属材料金相图像为少数类别样本；将原始数据集中的少数类别样本集合记为数据集a，其余样本的集合记为数据集b。
如图2所示，按照K折交叉验证法将原始数据集平均分为K(K>2)个样本子集Ωk(k＝1,2,…,K)，每个样本子集均含有数据集a和数据集b中的若干样本。然后将样本子集进行训练，在训练过程中，轮流将某个样本子集作为测试集，其余样本子集作为训练集，这样训练集和测试集的样本数量比例为(K-1)：1，共获得K个训练集Ck和对应的测试集Tk，则样本子集Ωk＝{Ck，Tk}，(k＝1,2,…,K)。训练的具体过程如下：
步骤2：k＝1时，对训练集C1进行数据增强，采用深度学习模型进行训练，然后在经图像缩放和图像标准化操作后的测试集T1上进行测试，得到模型A。然后对模型A进行测试，测试过程为衡量模型训练效果，若模型A误差较大，则通过增加数据或改进模型训练策略等方式再次训练，直到模型A识别准确率达到既定要求后，训练结束。
对训练集C1进行数据增强的具体过程为：采用图像缩放、翻转、模糊、亮度和对比度调整、随机裁剪、随机网格洗牌和图像标准化等操作进行数据增强。
步骤3：k＝1时，将训练集C1进行数据增强，具体为：对训练集C1进行图像缩放、翻转、模糊、亮度和对比度调整、随机裁剪、随机网格洗牌和图像标准化操作，然后采用训练集C1中属于数据集a的样本，使用迁移学习的方式，即将已训练好的模型参数迁移到新的模型来帮助新模型训练，以模型A为预训练模型，进行训练，获得模型B；
然后在测试集T1中采用属于数据集a的样本，对模型B进行测试。测试过程为衡量模型训练效果，若模型B误差较大，则改进模型训练策略再次训练，直到模型B识别准确率达到既定要求后，训练结束。
测试过程对数据集的处理与步骤2相同。
步骤4：在测试集T1中选择属于数据集b的样本，使用模型B进行测试，选出错检样本。
其中，模型B会对每类金相组织均输出一个0到1之间的数值，大于0.5视为含有对应类别的金相组织，在本步骤仅考虑对少数类别中各个子类别的判断结果。
少数类别样本共有n个子类别，依次令i＝1，2，…，n，将含第i个子类别且属于测试集T1的样本的数目记为
Figure BDA0003240279060000071
对错检样本同为第i个子类别的样本，按照模型B对这些样本的输出值(此处将模型的输出值视为置信度)，进行降序排序，从高到低选择数目为
Figure BDA0003240279060000072
的样本，视为难识别样本。将这些难识别样本集合记录为第一难识别样本集合c1，c1为i所有取值过程中所选样本的集合。按照上述方式进行样本选择的过程即为欠采样过程，所选样本为原始数据集的一部分。
本步骤中测试过程对数据集的处理与步骤2相同。
步骤5：令k＝2，3，...，K，重复步骤2至步骤4，获得第二难识别样本集合c2，...，第k难识别样本集合ck，将第一难识别样本集合c1到第k难识别样本集合ck与数据集a混合，构成数据集c，至此，欠采样过程结束。
步骤6：将步骤1中获得的原始数据集，按照一定的比例划分为训练集Ctrain和测试集Ctest(如训练集：测试集＝8：2或训练集：测试集＝7：3)。在训练集Ctrain上训练深度学习模型，得到第一深度学习模型Ⅰ，并使用测试集Ctest对模型Ⅰ进行测试。在训练集Ctrain选择数据集c中的样本，采用迁移学习的方式，以模型Ⅰ为预训练模型，进行训练，获得第二深度学习模型Ⅱ；此时第一深度学习模型Ⅰ和第二深度学习模型Ⅱ可实现对金相组织的识别。
并使用测试集Ctest对第二深度学习模型Ⅱ进行测试。本步骤所述测试过程为衡量模型训练效果，若模型误差较大，则改进模型训练策略再次训练，直到模型识别准确率达到既定要求后，训练结束。
本步骤中，在进行模型训练之前对训练集进行数据增强的方式与步骤2相同，测试过程对数据集的处理与步骤2相同。
其中，第一深度学习模型Ⅰ用于识别多数类别，第二深度学习模型Ⅱ用于识别少数类别，即此处采取分而治之的策略，将金相组织识别问题转化为两部分，分别是对大样本的多数类别样本的识别和小样本的少数类别样本的识别。在测试过程中，仅考虑模型Ⅰ对多数类别的判断结果和模型Ⅱ对少数类别的判断结果，其余均弃之不用。
一种基于金相组织识别系统，包括：
采集模块，用于采集若干金属材料金相图像，组成原始数据集，若含有某个类别金相组织的金属材料金相图像的数量小于设定阈值，则金属材料金相图像为少数类别样本，其余为多数类别样本；将原始数据集中含有少数类别的样本集合记为数据集a，其余样本的集合记为数据集b；
训练模块，用于将原始数据集平均分为K个样本子集，每个样本子集均包含少数类别样本和多数类别样本；轮流将某个样本子集作为测试集，其余样本子集作为训练集，进行训练得到能够识别多数类别样本的第一深度学习模型和能够识别少数类别的第二深度学习模型；其中，K>2；
测试模块，用于将待测试数据输入到第一深度学习模型中进行识别，得到待测试数据中多数类别的识别结果，将待测试数据输入到第二深度学习模型中进行识别，得到待测试数据少数类别的识别结果。
一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器上存储有能在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述的金相组织识别方法。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行如权利要求1至7中任一项所述的金相组织识别方法。
实施例1
一种基于计算机视觉的金相组织识别方法，对承压装置用耐热钢的金相组织进行识别与判断，具体步骤如下：
一般情况下，在承压装置用耐热钢金相组织中，常见的金相组织有六种，分别是铁素体、珠光体、贝氏体、网状铁素体、魏氏组织和马氏体。其中，魏氏组织和马氏体在承压装置用耐热钢中为异常相，网状铁素体、魏氏组织和马氏体较为少见，样本分布不均衡，六种组织的数据分布不均衡，为便于描述，本实施例中将铁素体、珠光体和贝氏体定义为多数类别，其余三种相定义为少数类别。本实施例所述多数类别样本数目高出少数类别样本数目10倍以上。
步骤1：收集承压装置用耐热钢金相图像，构建原始数据集，金相图像如图3所示。涉及到的钢材牌号有15CrMoR、1Cr5Mo、SA516Gr.70、Cr9Mo、1.25Cr0.5Mo、1Cr5Mo、SA302Gr.C、12Cr1MoVR、ASTMA106Gr.B和P91等，设及到的承压装置有管道、塔设备、加热炉等。对收集到的数据进行标注，标签为铁素体、珠光体、贝氏体、网状铁素体、魏氏组织和马氏体的一种或多种。
步骤2：将原始数据集中含有少数类别的样本集合记为数据集a，其余样本的集合记为数据集b。结合图2，将原始数据集按照五折交叉验证的方式将数据集平均分为5部分，每一部分依次作为测试集，其余部分作为训练集，训练集和测试集的样本数比例为8：2，共获得5个训练集Ck和对应的测试集Tk。
步骤3：结合图2，令k＝1，以ResNet18作为基础模型。对训练集C1进行数据增强，将ResNet18在C1上进行训练，并在经图像缩放和图像标准化操作后的测试集T1上进行测试，所得模型记录为模型A。
所述的步骤3具体包括：
对训练集C1进行数据增强的具体过程为：采用图像缩放、翻转、模糊、亮度和对比度调整、随机裁剪、随机网格洗牌和图像标准化等操作进行数据增强。
步骤4：结合图4，在训练集C1中选择其中属于数据集a的样本，采用迁移学习的方式，将已训练好的模型参数迁移到新的模型来帮助新模型训练，即将模型A作为预训练模型，在所选样本上对模型A进行训练，获得模型B；并在T1中选择属于数据集a的样本，对模型B进行测试。其中，模型A和模型B均为ResNet18，训练过程中的数据增强与步骤3相同，测试过程对数据集的操作与步骤3相同。
步骤5：参见图4，在测试集T1中选择其中属于数据集b的样本，使用模型B进行测试，选出其中的错检样本。依次选择网状铁素体、魏氏组织和马氏体，将含有上述类别且属于测试集T1的错检样本，其数目分别记录为
Figure BDA0003240279060000101
根据模型B测试时对该类别输出的置信度，对推理结果为上述类别的错检样本进行降序排序，按照各个类别从高到低分别选择
Figure BDA0003240279060000102
个样本，视为难识别样本，将这些样本集合记录为c1。其中，测试过程对数据集的操作与步骤3相同。
步骤6：令k＝2，3，...，5，重复步骤2至步骤5，获得c2，...，c5，将c1至c5与数据集a混合，构成数据集c。
步骤7：对于步骤1中获得的原始数据集，按照8：2的比例划分训练集Ctrain和测试集Ctest，以ResNet18作为基础模型。在训练集Ctrain上训练ResNet18，获得模型记为模型Ⅰ，使用测试集Ctest对模型Ⅰ进行测试。在训练集Ctrain选择属于数据集c的样本，采用迁移学习的方式，以模型Ⅰ为预训练模型，训练获得模型Ⅱ，并使用测试集Ctest对模型Ⅱ进行测试。此处采取分而治之的策略，将金相组织识别问题转化为两部分，分别是对大样本的多数类别样本的识别和小样本的少数类别样本的识别。模型Ⅰ用于识别多数类别，模型Ⅱ用于识别少数类别。其中，训练过程中的数据增强与步骤3相同，测试过程对数据集的操作与步骤3相同。
为方便比较，在本实施例步骤7中，训练集Ctrain与测试集Ctest的划分与步骤2中K＝1时的训练集和测试集划分情况相同，此时模型A与模型Ⅰ为同一模型。为使本实施例结果更加清楚明白，表1和表2使用了两种准确率，其区别在于是否为每个类别单独计算准确率。举例来说，假设真实结果是[1，0，0，0]，预测结果是[0，0，0，0]，准确率(准确匹配)为0，准确率(分类别)为75％。
表1不同模型在不同测试集上对少数类别的识别准确率(准确匹配)
Figure BDA0003240279060000111
表1所示为不同模型对于网状铁素体、魏氏组织和马氏体的识别准确率。由表1可以看出，步骤3完成后，模型A(模型Ⅰ)对于少数类别样本欠拟合，识别准确率很低，仅有48.15％；模型B对少数类别样本严重过拟合，在多数类别样本上产生大量误检，导致对多数类别样本的识别准确率仅有0.58％；采用本发明所述方法后，模型Ⅱ对少数类别样本有着较为良好的拟合效果，泛化性良好，没有出现明显的过拟合或欠拟合现象，对少数类别样本的识别准确率达到77.78％，较模型Ⅰ提高了29.63％。
表2本方法对金相组织的识别准确率(分类别)
Figure BDA0003240279060000121
由表2可以看出，除铁素体相外，本发明所提的方法均达到90％以上乃至95％以上的准确率，对于多数类别样本和少数类别样本，本方法均能实现准确而稳定的识别。本实施例所述结果充分证明本发明能显著提高样本不均衡条件下少数类别样本的识别效果。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、元件、数据结构等等。也可以在分布式计算环境中实践本发明，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
在本发明中，“模块”、“装置”、“系统”等指应用于计算机的相关实体，如硬件、硬件和软件的组合、软件或执行中的软件等。详细地说，例如，元件可以、但不限于是运行于处理器的过程、处理器、对象、可执行元件、执行线程、程序和/或计算机。还有，运行于服务器上的应用程序或脚本程序、服务器都可以是元件。一个或多个元件可在执行的过程和/或线程中，并且元件可以在一台计算机上本地化和/或分布在两台或多台计算机之间，并可以由各种计算机可读介质运行。元件还可以根据具有一个或多个数据包的信号，例如，来自一个与本地系统、分布式系统中另一元件交互的，和/或在因特网的网络通过信号与其它系统交互的数据的信号通过本地和/或远程过程来进行通信。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”，不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (10)

1.一种金相组织识别方法，其特征在于，包括如下步骤：
采集若干金属材料金相图像，组成原始数据集，若含有某个类别金相组织的金属材料金相图像的数量小于设定阈值，则该金属材料金相图像为少数类别样本，反之为多数类别样本；
将原始数据集平均分为K个样本子集，每个样本子集均包含少数类别样本和多数类别样本；轮流将某个样本子集作为测试集，其余样本子集作为训练集，进行训练得到能够识别多数类别样本的第一深度学习模型和能够识别少数类别的第二深度学习模型；其中，K>2；
将待测试数据输入到第一深度学习模型中进行识别，得到待测试数据中多数类别的识别结果，将待测试数据输入到第二深度学习模型中进行识别，得到待测试数据少数类别的识别结果。
2.根据权利要求1所述的一种金相组织识别方法，其特征在于，阈值通过以下过程确定：在原始数据集所含金相组织的全部类别中存在某类别，使得含有该类别金相组织的图像数量m不小于含其他任意一个类别金相组织的图像数量，m的十分之一为阈值。
3.根据权利要求1所述的一种金相组织识别方法，其特征在于，采用K折交叉验证法将原始数据集平均分为K个样本子集。
4.根据权利要求1所述的一种金相组织识别方法，其特征在于，将原始数据集平均分为K个样本子集，每个样本子集均包含少数类别样本和多数类别样本；轮流将某个样本子集作为测试集，其余样本子集作为训练集，进行训练得到能够识别多数类别样本的第一深度学习模型和能够识别少数类别的第二深度学习模型的具体过程如下：
1)将原始数据集中含有少数类别的样本集合记为数据集a，其余样本的集合记为数据集b；样本子集Ωk＝{Ck，Tk}，k＝1,2,…,K；Ck为训练集，Tk为测试集；
k＝1时，对训练集C1采用深度学习模型进行训练，然后在经图像缩放和图像标准化操作后的测试集T1上进行测试，得到模型A；
采用训练集C1中属于数据集a的样本，对模型A进行训练，获得模型B；
2)在测试集T1中选择属于数据集b的样本，使用模型B进行测试，选出错检样本；
3)少数类别样本共有n个子类别，依次令i＝1，2，…，n，将含第i个子类别且属于测试集T1的样本的数目记为
Figure FDA0003240279050000022
对错检样本同为第i个子类别的样本，按照模型B对这些样本的输出值，进行降序排序，从高到低选择数目为
Figure FDA0003240279050000021
的样本，视为难识别样本；将难识别样本集合记录为第一难识别样本集合c1；
4)令k＝2，3，...，K，重复步骤1)至步骤3)，获得第二难识别样本集合c2，...，第k难识别样本集合ck，将第一难识别样本集合c1到第k难识别样本集合ck与数据集a混合，构成数据集c；
5)将原始数据集划分为训练集和测试集，在训练集上训练深度学习模型，得到第一深度学习模型，在训练集Ctrain选择数据集c中的样本，对第一深度学习模型进行训练，获得第二深度学习模型。
5.根据权利要求4所述的一种金相组织识别方法，其特征在于，对训练集C1采用深度学习模型进行训练前，对训练集C1进行数据增强操作。
6.根据权利要求5所述的一种金相组织识别方法，其特征在于，对训练集C1进行数据增强操作的具体过程为：对训练集C1进行图像缩放、翻转、模糊、亮度和对比度调整、随机裁剪、随机网格洗牌和图像标准化操作。
7.根据权利要求5所述的一种金相组织识别方法，其特征在于，使用迁移学习的方式对模型A进行训练，获得模型B；采用迁移学习的方式对第一深度学习模型进行训练，获得第二深度学习模型。
8.一种基于金相组织识别系统，其特征在于，包括：
采集模块，用于采集若干金属材料金相图像，组成原始数据集，若含有某个类别金相组织的金属材料金相图像的数量小于设定阈值，则金属材料金相图像为少数类别样本，其余为多数类别样本；将原始数据集中含有少数类别的样本集合记为数据集a，其余样本的集合记为数据集b；
训练模块，用于将原始数据集平均分为K个样本子集，每个样本子集均包含少数类别样本和多数类别样本；轮流将某个样本子集作为测试集，其余样本子集作为训练集，进行训练得到能够识别多数类别样本的第一深度学习模型和能够识别少数类别的第二深度学习模型；其中，K>2；
测试模块，用于将待测试数据输入到第一深度学习模型中进行识别，得到待测试数据中多数类别的识别结果，将待测试数据输入到第二深度学习模型中进行识别，得到待测试数据少数类别的识别结果。
9.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器上存储有能在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述的金相组织识别方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行如权利要求1至7中任一项所述的金相组织识别方法。
CN202111017094.XA 2021-08-31 2021-08-31 一种金相组织识别方法、系统、设备和存储介质 Active CN113706516B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111017094.XA CN113706516B (zh) 2021-08-31 2021-08-31 一种金相组织识别方法、系统、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111017094.XA CN113706516B (zh) 2021-08-31 2021-08-31 一种金相组织识别方法、系统、设备和存储介质

Publications (2)

Publication Number Publication Date
CN113706516A true CN113706516A (zh) 2021-11-26
CN113706516B CN113706516B (zh) 2024-04-02

Family

ID=78658378

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111017094.XA Active CN113706516B (zh) 2021-08-31 2021-08-31 一种金相组织识别方法、系统、设备和存储介质

Country Status (1)

Country Link
CN (1) CN113706516B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108921058A (zh) * 2018-06-19 2018-11-30 厦门大学 基于深度学习的鱼类识别方法、介质、终端设备及装置
CN111209964A (zh) * 2020-01-06 2020-05-29 武汉市盛隽科技有限公司 模型训练方法、基于深度学习的金属断口分析方法及应用
AU2020101874A4 (en) * 2020-08-18 2020-09-24 Hefei General Machinery Research Institute Co., Ltd. A method for predicting high-temperature mechanical properties of heat-resistant alloys based on deep learning
CN111881973A (zh) * 2020-07-24 2020-11-03 北京三快在线科技有限公司 一种样本选择方法、装置、存储介质及电子设备
US11087883B1 (en) * 2020-04-02 2021-08-10 Blue Eye Soft, Inc. Systems and methods for transfer-to-transfer learning-based training of a machine learning model for detecting medical conditions

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108921058A (zh) * 2018-06-19 2018-11-30 厦门大学 基于深度学习的鱼类识别方法、介质、终端设备及装置
CN111209964A (zh) * 2020-01-06 2020-05-29 武汉市盛隽科技有限公司 模型训练方法、基于深度学习的金属断口分析方法及应用
US11087883B1 (en) * 2020-04-02 2021-08-10 Blue Eye Soft, Inc. Systems and methods for transfer-to-transfer learning-based training of a machine learning model for detecting medical conditions
CN111881973A (zh) * 2020-07-24 2020-11-03 北京三快在线科技有限公司 一种样本选择方法、装置、存储介质及电子设备
AU2020101874A4 (en) * 2020-08-18 2020-09-24 Hefei General Machinery Research Institute Co., Ltd. A method for predicting high-temperature mechanical properties of heat-resistant alloys based on deep learning

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
郑誉煌;戴冰燕;熊泽珲;陈钊;: "基于迁移学习的可回收生活垃圾图像分类识别研究", 广东第二师范学院学报, no. 03 *

Also Published As

Publication number Publication date
CN113706516B (zh) 2024-04-02

Similar Documents

Publication Publication Date Title
CN111343147B (zh) 一种基于深度学习的网络攻击检测装置及方法
CN106528417A (zh) 软件缺陷智能检测方法和系统
Salim et al. Time series prediction on college graduation using kNN algorithm
CN111160959A (zh) 一种用户点击转化预估方法及装置
CN111445025B (zh) 确定业务模型超参数的方法和装置
CN108508319B (zh) 基于故障特征气体间关联特征的变压器故障类型识别方法
CN113283768A (zh) 食品检测项目提取方法、装置、设备及存储介质
CN117150232A (zh) 一种大模型非时序训练数据质量评价方法
CN115169504B (zh) 一种煤气精脱硫工艺中的设备异常识别方法
CN109460474B (zh) 用户偏好趋势挖掘方法
CN113706516A (zh) 一种金相组织识别方法、系统、设备和存储介质
CN111507534A (zh) 基于学生学习数据的知识点掌握情况的预测分析算法
CN107067034B (zh) 一种快速识别红外光谱数据分类的方法及系统
CN113889274B (zh) 一种孤独症谱系障碍的风险预测模型构建方法及装置
CN109886288A (zh) 一种用于电力变压器的状态评价方法及装置
CN106911512A (zh) 在可交换图中基于博弈的链接预测方法及系统
CN109767430A (zh) 有价票据的质量检测方法及质量检测系统
CN113011748A (zh) 推荐效果的评估方法、装置、电子设备及可读存储介质
CN113128556A (zh) 基于变异分析的深度学习测试用例排序方法
Olsen et al. Predicting dactyloscopic examiner fingerprint image quality assessments
Nikolikj et al. Sensitivity Analysis of RF+ clust for Leave-one-problem-out Performance Prediction
JP7383311B2 (ja) 評価済文献診断システム
Fan et al. Research on auto-generating test-paper model based on spatial-temporal clustering analysis
CN117116351B (zh) 基于机器学习算法的物种鉴定模型的构建方法、物种鉴定方法和物种鉴定系统
CN114819743B (zh) 一种化工企业能耗诊断分析方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant