CN111862093A - 一种基于图像识别的腐蚀等级信息处理方法及系统 - Google Patents

一种基于图像识别的腐蚀等级信息处理方法及系统 Download PDF

Info

Publication number
CN111862093A
CN111862093A CN202010783727.7A CN202010783727A CN111862093A CN 111862093 A CN111862093 A CN 111862093A CN 202010783727 A CN202010783727 A CN 202010783727A CN 111862093 A CN111862093 A CN 111862093A
Authority
CN
China
Prior art keywords
training
image
images
corrosion
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010783727.7A
Other languages
English (en)
Inventor
黄敏
陶雄飞
吴谢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN202010783727.7A priority Critical patent/CN111862093A/zh
Publication of CN111862093A publication Critical patent/CN111862093A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30136—Metal

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Testing Resistance To Weather, Investigating Materials By Mechanical Methods (AREA)
  • Image Processing (AREA)

Abstract

本发明属于金属腐蚀形貌等级判决技术领域，公开了一种基于图像识别的腐蚀等级信息处理方法及系统，获取已标注的实验室的金属形貌图片作为数据集；对获取的训练数据集进行去重，随机选择每个类别的一半数量的图像作为测试集，其余图像作为训练集图像；并对训练数据集进行扩充，即进行数据增强；使用Keras框架搭建卷积神经网络模型，进行模型训练，保存最优模型参数；利用训练好的最优模型分析金属表面腐蚀形貌的等级。本发明提出了使用计算机视觉技术来实现金属腐蚀形貌等级的判决，在保证判决准确率的情况下，极大提高了判决的效率并且保证判决的统一性与客观性。本发明可以辅助从事材料研究的工程师进行金属腐蚀等级的判决，解决了以往的判决方法的种种困难。

Description

一种基于图像识别的腐蚀等级信息处理方法及系统
技术领域
本发明属于金属腐蚀形貌等级判决技术领域，尤其涉及一种基于图像识别的腐蚀等级信息处理方法及系统。
背景技术
目前，在金属材料腐蚀的研究实验中，其表面的金属镀层在大气的自然环境下，都会在表面出现锈蚀的特征。这些特征主要表现为，在金属表面大量存在，但是锈蚀程度各不相同。研究人员通过分析处理该金属腐蚀表面形貌的特征图像,可以为金属材料的腐蚀等级进行评级以及进一步分析研究材料腐蚀的一些特性行为，在金属材料的抗腐蚀性和可用性的研究中，可以提供更广泛的研究途径。
过去判决金属材料表面的腐蚀等级的方法，通常都是使用传统的观察方法，由于人眼本身的辨析度限制，此法的误差会比较大。在判决时，对腐蚀形貌特征的评级也没有客观且统一的判决标准。这种方法还会造成不同的研究人员或工程师对腐蚀形貌的判断结果都有可能不同，使得金属材料腐蚀的研究中缺乏客观性和可比性。相关的文献中，有较少的文章采用了分析图像的像素特征，即通过图像的灰度值计算图像的二值特征，再结合特定的公式进行计算分析。这种方法需要研究较多的数理公式，并且在图像处理上耗费的时间较多，而且需要人工来进行全部的研究，所以效率低下，且前期准备过于复杂，不是一个能够提高金属表面腐蚀形貌等级判决效率的优秀方案。所以需要找到一种判决方法，在保证一定判决准确率的情况下，能够实现客观、严密的判决，并且拥有较高的效率，克服以往在金属形貌腐蚀等级判决的种种不足。
通过上述分析，现有技术存在的问题及缺陷为：传统的金属腐蚀形貌等级的判决是以人工检测为主，没有客观统一的标准，且效率低下，判决结果因人而异，缺乏客观性和可比性。而且人工检测方法需要专业的技术和研究人员，在评定过程中所需要的定性数据较多，定量数据较少，判定结果不能完全实现定量化处理，金属的腐蚀等级判定会存在一定的困难。由于金属每个腐蚀等级具有不同的腐蚀速率，不同的腐蚀等级中腐蚀面积、纹理、颜色存在的差异很小以及腐蚀特征的不规则，不能用常规的数学公式加以描述，这些都会影响金属腐蚀等级的判定。而且传统的金属腐蚀等级判定需要专业精密的仪器，对硬件设备的要求高，会增加判定过程的成本。
解决以上问题及缺陷的难度为：本发明提供了一种基于图像识别的腐蚀等级信息处理方法及系统，此方法能有效解决金属腐蚀等级判定过程中人工检测的主观性，将判定结果以准确的数据进行描述。通过对金属的腐蚀特征信息进行处理和分析，转化成计算机能够识别的信息，实现对腐蚀特征信息的数字化和定量化将是本发明存在的一个难点。
解决以上问题及缺陷的意义为：本发明提供的方法由于不受人为主观因素的影响，能够克服传统方法的缺陷，协助研究人员以更高的效率与更低的成本进行金属材料的研究，帮助专业的研究人员或工程师分析金属表面腐蚀形貌的等级。基于图像识别的腐蚀等级信息处理方法为金属材料的定量化评价系统提供了新的研究方向和途径，实现了计算机对金属材料腐蚀等级的判定。
发明内容
针对现有技术存在的问题，本发明提供了一种基于图像识别的腐蚀等级信息处理方法及系统。
本发明是这样实现的，一种基于图像识别的腐蚀等级信息处理方法，所述基于图像识别的腐蚀等级信息处理方法包括：
步骤一，获取已标注的实验室的金属形貌图片作为数据集；对获取的训练数据集进行去重，随机选择每个类别的一半数量的图像作为测试集，其余图像作为训练集图像；并对训练数据集进行扩充；
步骤二，使用Keras框架搭建卷积神经网络模型，进行模型训练；
步骤三，利用训练好的模型分析金属表面腐蚀形貌的等级。
进一步，步骤一中，所述训练数据集扩充方法包括：
(1)采用高斯模糊函数对数据集的图片进行高斯模糊处理；
(2)通过随机值函数进行数值矩阵的生成与运算，指定标准差与方差，将得到的高斯噪声矩阵与原图像叠加，对图像添加高斯噪声；
(3)对图像随机裁剪出原图面积64％的部分，即边长比为4:5的裁剪尺寸。
进一步，所述数值矩阵为25×25像素，均值为15。
进一步，步骤(2)中，所述将得到的高斯噪声矩阵与原图像叠加包括：叠加控制相加后的值保持在原图像的像素值范围内即0到255，将像素值低于0的点设置为0，高于255的点设置为255。
进一步，步骤二中，所述卷积神经网络模型包括：4个卷积加池化模块、全连接层以及输出层；
所述每个卷积加池化模块分别包括3个卷积层与一个最大池化层；所述卷积层卷积核尺寸为2×2；所述每个卷积层之后都添加有激活函数，所述激活函数为线性整流函数；
所述最大池化层尺寸为2×2；
所述全连接层神经节点个数为64，所述全连接层只有一层；所述全连接层之后添加有使用relu激活函数的激活层；所述激活层之后添加有Dropout层，所述Dropout层用于随机让部分神经元失活；所述失活神经元的比例为0.5；
所述输出层即预测层节点个数为3。
进一步，步骤二中，所述模型训练方法包括：
1)分别读取训练集与测试集的图像数据；
2)将卷积神经网络初始化，并设置训练批次大小与相关评价函数；
3)使用反向传播算法训练网络，使损失函数曲线收敛，网络拟合；
4)绘制网络训练的相关评价函数的图像以及记录测试准确率的数值；
5)根据损失函数和测试准确率，进行模型优化。
进一步，所述步骤1)之前，还需进行：将每张图片的尺寸重新设置448×448；并将每张图像的三个通道所有像素的值进行归一化处理，将每个通道的像素值的范围控制在0到1之间。
进一步，步骤2)中，所述训练批次大小设置为：训练轮数为300轮，将每个批次的数目设置为8、16、32或64，即每批次同时学习的图像数量。
进一步，步骤2)中，所述评价函数为正确分类的图像所占的百分比，计算方式如下：
Figure BDA0002621154940000031
式中，rtest即测试准确率，N′为测试集中样本的数量，I用于计算正确分类数目的指示函数，即仅当
Figure BDA0002621154940000032
时为1，而当
Figure BDA0002621154940000033
时为0，yi则是样本i的真实类别，
Figure BDA0002621154940000034
为样本i的预测类别；
损失函数为多分类交叉熵损失函数，计算方式如下：
Figure BDA0002621154940000035
式中，N为训练集中样本的总数量，M为类别的数量，yi,j表示样本i的真实类别是否属于类别j，若属于，则yij的值为1，否则为0，
Figure BDA0002621154940000036
则表示将样本i的类别预测为j类的概率值。
本发明的另一目的在于提供一种图像识别的腐蚀等级信息处理系统包括：
去重扩充模块，用于获取已标注的实验室的金属形貌图片作为数据集；对获取的训练数据集进行去重，随机选择每个类别的一半数量的图像作为测试集，其余图像作为训练集图像；并对训练数据集进行扩充；
训练模块，用于使用Keras框架搭建卷积神经网络模型，进行模型训练；
分析模块，利用训练好的模型分析金属表面腐蚀形貌的等级。
本发明的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：
获取已标注的实验室的金属形貌图片作为数据集；对获取的训练数据集进行去重，随机选择每个类别的一半数量的图像作为测试集，其余图像作为训练集图像；并对训练数据集进行扩充；
使用Keras框架搭建卷积神经网络模型，进行模型训练；
利用训练好的模型分析金属表面腐蚀形貌的等级
本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：
获取已标注的实验室的金属形貌图片作为数据集；对获取的训练数据集进行去重，随机选择每个类别的一半数量的图像作为测试集，其余图像作为训练集图像；并对训练数据集进行扩充；
使用Keras框架搭建卷积神经网络模型，进行模型训练；
利用训练好的模型分析金属表面腐蚀形貌的等级。
结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明提出了使用计算机视觉技术来实现金属腐蚀形貌等级的判决，在保证判决准确率的情况下，极大提高了判决的效率并且保证判决的统一性与客观性。针对金属腐蚀形貌的特征，本发明设计了卷积核更小的卷积神经网络，用不断增加的卷积器个数提取图像深度特征，保证网络学习到足够的特征。之后使用数据增强方法克服了图像数据集较小的困难，使各个类别的训练数据都增加并保持一致，满足作为深度学习任务的训练集的基本要求，减弱了网络训练时的过拟合现象并提高了泛化能力。最终，本发明搭建的最终网络在测试集上达到了接近90％的判决准确率。此网络可以辅助从事材料研究的工程师进行金属腐蚀等级的判决，解决了以往的判决方法的种种困难。
本发明改变了传统金属表面腐蚀形貌等级的判决方式，提出了使用计算机视觉技术中的卷积神经网络来实现对不同腐蚀等级金属图像的分类。在降低了人力成本的同时，极大增加了腐蚀形貌图片分类的效率，并且完全摒弃了人工的主观因素，使不同等级的判决更加具有统一性与客观性。通过计算机的自动化识别与处理，可以提高金属表面腐蚀形貌等级判决的效率。
本发明在搭建卷积神经网络时，结合了计算机视觉中经典的网络之一——VGG网络的结构特点，同时针对腐蚀形貌图像的实际特征设计了卷积核更小的网络。本发明的实验证明，对于金属表面腐蚀形貌的等级判决，采用2×2的小卷积核在输入层进行连续的卷积运算，其特征提取的效果要优于3×3的卷积核。因为金属表面腐蚀形貌具有更多细粒度的特征，并且这些细粒特征是广泛分布在金属表面的，而尺寸相对较大的卷积核更加适合用来提取图像的轮廓特征，所以本发明设计了更适合细粒度特征提取的小卷积核，且最终的实验证明了该设计的有效性。
输入图像的尺寸也用来提高网络的测试准确率。由于金属表面腐蚀形貌的特征都是细粒度特征，更高的分辨率才能保存更多的图像细节，但此时的代价就是更大的内存占用以及网络训练的耗时。所以在进行图像输入尺寸扩大时，要保证更多的消耗能够带来一定的提升。本发明在对比实验之后选择了448×448的图像输入尺寸，是一个较大的尺寸，但效果是极大增加了网络的测试准确率。
在本发明自建的数据集的数据量极小的情况下，针对金属腐蚀形貌的实际特征，通过大量的实验，并分析研究的结果，结合金属表面腐蚀形貌的实际特征，找到了多种有效的数据增强方法。在选择这些数据增强的方法并真正实施时，本发明分析了金属表面腐蚀形貌的等级判决需要考虑到的主要的图像特征，选择了能够改变一部分特征，但依然能够保证金属形貌的腐蚀等级能够被准确地判决的一些方法。考虑的主要因素为，金属形貌的腐蚀等级是一个综合整体细节情况的判断，即在进行腐蚀等级的判决时，需要考虑到金属表面的大多数细节的特征。所以在应用随机裁剪方法时，要保证裁剪的子图相对于原图像一定的比例，不能为了追求裁剪出图像的数量而选择较小的面积，否则很可能出现腐蚀情况的片面判断。而高斯模糊与高斯噪声导致的细节特征的变化，在进行实验时，需要多次设置高斯模糊和高斯噪声的参数做对比，以保证处理后的图像要保证依然留有可用来判决的重要特征，不能过于模糊，高斯噪声也不能完全覆盖原图像的细节特征。本发明使用随机裁剪、高斯模糊、高斯噪声等数据增强的方法将训练集的数据量增大到每种类别的图像数量为144张，使网络训练时的过拟合现象被极大地减弱，并且提高了网络在测试集上的判决准确率，增强了网络模型的泛化能力。
本发明最终实现的整体效果：根据实验对比最终搭建的网络训练出的网络在测试集上达到了接近90％的分类准确率，符合预期的标准。相比传统人工判定方法，本发明能够在保证一定准确率的情况下，快速高效地对金属腐蚀形貌图像的腐蚀等级进行判决，而且具备客观性与统一性，是可以应用到实际科学研究中的方案。
本发明的优点：本发明提出采用计算机视觉技术来实现锈蚀图像的分类。利用计算机视觉技术来实现图像分类，不仅效率高、具有很好的客观性，并且在一定的训练条件下，能达到接近人工判决的准确度，是解决腐蚀等级判决中以往难题的较好方法。计算机自动化处理图像数据的优势不仅在于其处理效率要远高于人工处理的效率，而且具备客观同一的标准，能提供有效帮助给研究人员进行材料相关的研究。通过训练出的网络自动化地对材料进行腐蚀等级的判决，解决了以往的各种局限，并更加快速与准确地得到材料腐蚀的研究数据。
对比的技术效果或者实验效果，包括：
在传统的方法中，采用腐蚀形貌特征作为腐蚀等级的评价标准，其判定依赖于专业的研究人员或者工程师和精密的测定仪器进行测定，对硬件条件的要求高，人力和金钱成本高，且结果因人而异，具有一定的主观性。本发明方法提出采用计算机视觉技术来实现锈蚀图像的分类，通过训练出的网络自动化地实现对金属材料进行腐蚀等级的判决，解决了以往的各种局限，并更加快速与准确地得到材料腐蚀的研究数据。此方法不仅效率高、具有很好的客观性，并且在一定的训练条件下，能达到接近人工判决的准确度，是解决腐蚀等级判决中以往难题的较好方法。
两种方法是从不同的角度对金属材料的腐蚀等级进行判定，用这两种方法进行材料腐蚀等级判定的对比实验，在同一测试集上得到的腐蚀等级判定结果如表2-1所示：
表2-1对比实验结果
Figure BDA0002621154940000051
通过两种方法的对比实验可以得出结论，在对材料腐蚀等级进行定量化评价时，两种判定方法的评价结果基本可以统一。
表中四级腐蚀图像的训练数量不足可以通过增加训练集中四级腐蚀形貌图像的种类和数量的方法来解决这个问题，从而平衡网络在各个腐蚀等级类别上的判定效果。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的基于图像识别的腐蚀等级信息处理方法流程图。
图2是本发明实施例提供的卷积层工作原理中卷积运算图。
图3是本发明实施例提供的最大池化层工作过程示意图。
图4是本发明实施例提供的全连接层结构示意图。
图5是本发明实施例提供的使用高斯模糊扩充图像训练数据效果示例图。
图6是本发明实施例提供的使用高斯噪声扩充图像训练数据效果示例图。
图7是本发明实施例提供的随机裁剪示意图。
图8是本发明实施例提供的网络训练及优化工作的流程图。
图9是本发明实施例提供的初始网络的损失函数和准确率变化曲线示意图；
图中：(a)为损失函数曲线，(b)为准确率曲线。
图10是本发明实施例提供的经过不同轮数训练的网络的表现示意图。
图11是本发明实施例提供的最优网络的损失函数和准确率变化曲线示意图；
图中：(a)为损失函数曲线，(b)为准确率曲线。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
针对现有技术存在的问题，本发明提供了一种基于图像识别的腐蚀等级信息处理方法及系统，下面结合附图对本发明作详细的描述。
如图1所示，本发明实施例提供的基于图像识别的腐蚀等级信息处理方法包括以下步骤：
S101，获取已标注的实验室的金属形貌图片作为数据集；对获取的训练数据集进行去重，随机选择每个类别的一半数量的图像作为测试集，其余图像作为训练集图像；并对训练数据集进行扩充；
S102，使用Keras框架搭建卷积神经网络模型，进行模型训练；
S103，利用训练好的模型分析金属表面腐蚀形貌的等级。
步骤S101中，本发明实施例提供的训练数据集扩充方法包括：
(1)采用高斯模糊函数对数据集的图片进行高斯模糊处理；
(2)通过随机值函数进行数值矩阵的生成与运算，指定标准差与方差，将得到的高斯噪声矩阵与原图像叠加，对图像添加高斯噪声；
(3)对图像随机裁剪出原图面积64％的部分，即边长比为4:5的裁剪尺寸。
本发明实施例提供的数值矩阵为25×25像素，均值为15。
步骤(2)中，本发明实施例提供的将得到的高斯噪声矩阵与原图像叠加包括：叠加控制相加后的值保持在原图像的像素值范围内即0到255，将像素值低于0的点设置为0，高于255的点设置为255。
步骤S102中，本发明实施例提供的卷积神经网络模型包括：4个卷积加池化模块、全连接层以及输出层；
所述每个卷积加池化模块分别包括3个卷积层与一个最大池化层；所述卷积层卷积核尺寸为2×2；所述每个卷积层之后都添加有激活函数，所述激活函数为线性整流函数；
所述最大池化层尺寸为2×2；
所述全连接层神经节点个数为64，所述全连接层只有一层；所述全连接层之后添加有使用relu激活函数的激活层；所述激活层之后添加有Dropout层，所述Dropout层用于随机让部分神经元失活；所述失活神经元的比例为0.5；
所述输出层即预测层节点个数为3。
步骤S102中，本发明实施例提供的模型训练方法包括：
1)分别读取训练集与测试集的图像数据；
2)将卷积神经网络初始化，并设置训练批次大小与相关评价函数；
3)使用反向传播算法训练网络，使损失函数曲线收敛，网络拟合；
4)绘制网络训练的相关评价函数的图像以及记录测试准确率的数值；
5)根据损失函数和测试准确率，进行模型优化。
本发明实施例提供的步骤1)之前，还需进行：将每张图片的尺寸重新设置448×448；并将每张图像的三个通道所有像素的值进行归一化处理，将每个通道的像素值的范围控制在0到1之间。
步骤2)中，本发明实施例提供的训练批次大小设置为：训练轮数为300轮，将每个批次的数目设置为8、16、32或64，即每批次同时学习的图像数量。
步骤2)中，本发明实施例提供的评价函数为正确分类的图像所占的百分比，计算方式如下：
Figure BDA0002621154940000071
式中，rtest即测试准确率，N′为测试集中样本的数量，I用于计算正确分类数目的指示函数，即仅当
Figure BDA0002621154940000072
时为1，而当
Figure BDA0002621154940000073
时为0，yi则是样本i的真实类别，
Figure BDA0002621154940000074
为样本i的预测类别；
损失函数为多分类交叉熵损失函数，计算方式如下：
Figure BDA0002621154940000075
式中，N为训练集中样本的总数量，M为类别的数量，yi,j表示样本i的真实类别是否属于类别j，若属于，则yij的值为1，否则为0，
Figure BDA0002621154940000076
则表示将样本i的类别预测为j类的概率值。
本发明提供一种图像识别的腐蚀等级信息处理系统包括：
去重扩充模块，用于获取已标注的实验室的金属形貌图片作为数据集；对获取的训练数据集进行去重，随机选择每个类别的一半数量的图像作为测试集，其余图像作为训练集图像；并对训练数据集进行扩充；
训练模块，用于使用Keras框架搭建卷积神经网络模型，进行模型训练；
分析模块，利用训练好的模型分析金属表面腐蚀形貌的等级。
下面结合具体实施例对本发明的技术效果作进一步描述。
实施例1：
2卷积神经网络
2.1卷积神经网络基本结构
在2006年提出深度学习理论以后，卷积神经网络的图像特征学习能力得到关注，并随着计算机计算能力的不断增强以及信息时代的海量数据的基础而得到迅速发展。卷积神经网络由多个层构成，分别有卷积层(Convolution Layer)、池化层(Max-PoolingLayer)、全连接层(Full-connect Layer)等等。其中，卷积层是最为核心的部分。牛津大学提出的VGG网络中，采用了连续多个小尺寸卷积核代替大尺寸卷积核来提取图像深度特征。比如使用2个3×3卷积核代替1个5×5卷积核，使用3个3×3卷积核来代替1个7×7卷积核。这种方法的优势在于，提取特征的层数虽然变多了，但是参数却变少了。3个3×3的卷积核一共只有3×3×3＝27个参数，而1个7×7的卷积核有7×7＝49个参数，并且连续多个小卷积核提取特征的能力反而优于大卷积核，这在图像分类深度学习任务的大量实验结果中得以体现。
本发明搭建的网络结构与VGG网络结构类似，都是使用连续的小卷积核来实现对图像的特征提取。针对金属腐蚀表面形貌的特点，本发明最终采用更小的卷积核尺寸(2×2)作为输入层来实现对锈蚀图像特征的提取。相比于3×3的卷积核，2×2的小尺寸卷积核更适合金属材料腐蚀特征的学习，其能学习到腐蚀颗粒的更多细节特征。实验证明这种方法能够让网络学习到判决所需要的更加重要的特征，能明显地提高网络的判决准确率。
2.1.1卷积层
卷积神经网络最为核心的部分就是该网络的卷积层(Convolution Layer)。卷积层是卷积神经网络用来提取图像特征的一层网络，其主要工作内容是将指定的卷积核(包括尺寸以及权重)与图像各个通道的数据做卷积运算，其运算后的结果将作为下一层网络的输入数据，继续进行下一步的操作，例如再次卷积、池化或者连接到输出层。卷积运算的基本步骤主要是把卷积核上的每一位置的数据与图像的一个指定位置的数据相乘，然后把每个点的数值相加，得到新的一个值，作为新矩阵的数据。(如图2所示)
从图中可看到，卷积核的大小决定了进行一次卷积运算时，新数据中一个点的数值会受到周围多少个数据值的影响。除了卷积核的权重是网络在训练时不断调整更新的，卷积核的尺寸需要根据实际需要来设置。在VGG网络中，所有的卷积层都使用了尺寸为3×3的卷积核，并通过不断增加卷积核的个数来增加卷积神经网络的深度，即前面的卷积模块使用一定数量的卷积核，卷积完成经过池化之后，下一卷积模块又使用两倍于之前数量的卷积核。此种方法的好处主要有两个：首先是用较小的卷积核来代替较大的卷积核，其权重参数减少了，这让网络的训练速度更快；其次是小卷积核在深度的细粒特征提取上有更好的性能。本发明最终选择将输入层的卷积核尺寸调整为2×2的大小，除了能减少网络的参数外，进一步减小卷积核的尺寸主要的目的是让卷积层能够提取出金属表面腐蚀形貌图像的更深度的特征。
2.1.2池化层
池化层添加一般在卷积层之后，其作用是对上一层输出的数据进行采样，从而减少数据的个数，因此该层也被称作下采样层。通常有两种采样方式，第一种是平均值采样，即指定一个池化尺寸，然后计算出图像数据中在该尺寸范围内的像素点的平均值；另一种方式是最大值采样法，即采样出最大值的那个像素点。通过采样的方式，能够减少图像的数据大小，在不断地卷积、不断地采样之后，图像的尺寸会得到大大减少。采用最大值采样进行池化的池化层也叫最大池化层(Max-Pooling Layer)，最大值池化层是现在最为常用的一种池化层。(如图3所示)
最大池化层在工作时不需要设置参数，也是网络结构中唯一不需要更新参数的层。在进行采样时，通常选择2×2的尺寸，这种设置能够刚好将图像的边长减小一半，并且采样的数据也足够多。本发明所应用的也是这个尺寸。
2.1.3输出层
输出层的结构就是传统的神经网络结构，在卷积神经网络结构中一般称之为全连接层(Full-connect Layer)。在卷积神经网络的最后一个卷积层之后，需要将输出的图像类数据序列化，即将图像数据从矩阵型调整为符合神经网络输入数据格式的序列型，从二维数据变为一维数据。(如图4所示)
全连接层中，由于要将序列化后的图像数据与神经节点一一对接，所以该层的参数是整个卷积神经网络参数的主要来源。神经元的个数过多会导致网络参数的几何倍增，将为网络的训练带来很大的难度；但是过少的神经节点将降低网络的学习能力。所以在设计全连接层时，需要综合考虑这些因素。本发明设置的神经节点个数为64，并且只有一层全连接层，接下来添加了输出层，即预测层。输出层的节点个数与图像的类别数量一致。本发明的金属表面形貌腐蚀等级共有3级，所以设置输出层节点个数为3。
2.2数据集
一个图像分类的深度学习任务通常有以下几个步骤：数据集的准备、网络模型选择与搭建、模型训练、模型优化及评估，最后采取一些其他提升准确率的方法并进行实验循环，试图达到更高的测试准确率，获得泛化能力更强的网络。从大量的深度学习任务研究工作中可以得出一个结论，数据集的质量与数量决定了一个模型的准确率的上限。所以在建立数据集时，必须保证一定的图像数量。最优的解决方案是通过获取更多的原始数据来增加数据量，这种方法最主要的优势是增加了图像的多样性，能让网络更有可能学习到图像分类需要掌握的本质特征。但这种方法也有明显的缺点，即实际图像的获取，需要消耗大量的人力成本以及时间，所以一般情况下一个深度学习任务很少去追求获取原始数据的解决方案。
训练集的数据量较少会造成诸多影响，其中最为主要的就是过拟合(Over-fitting)现象的出现，即网络在训练集上的表现与在测试集上的表现相去甚远，比如训练集上的准确率与测试集上的准确率相差15％甚至更大。解决这个问题的最普遍的办法就是增大训练集的数据量，但是增加原始数据的方法一般不采用，通常采取的办法是数据增强(Data Augmentation)方法。这种方法能够直接使用已有的数据集来扩充数据，能在极小的成本下，获得大量的数据增加，是一个在深度学习任务中解决数据量较小的问题时被广泛采取的方法。常用的数据增强方法一般有以下几种：随机裁切(Random Crop)、翻转/镜像、颜色抖动(Color Jitter)、高斯噪声(Gaussian Noise)、旋转/平移、缩放等等。
在进行数据增强时，需要考虑对图像进行了一定的处理之后，得到的新图的特征是否还具备像原图一样充足的特征，能够被准确的识别或分类。大多数的图像识别任务中，都是日常生活能见到的图像，在采取一定的措施以后，一般人都能够直接判断出其是否还能被准确分类。但金属形貌的腐蚀图像不同，主要问题为其特征并不明显，一般是专业的工程师或研究人员来进行肉眼观察后判决，且分类标准并不唯一，很难通过短时间学习来掌握分类的要点。所以要谨慎的选择数据增强方法，以免造成处理后的图像已经不能被识别与分类，但还错误地加入了训练集中去，这样会导致网络无法学习的情况出现。
本发明使用的是来自实验室的金属形貌图片，原始图片的标注都是经过专业的工程师来完成的，图片较少，自建了一个小数据集。为了避免过拟合问题的出现，在实验过程中尝试了大量的数据增强的方法，其中以下几种方法在本发明中是有效并且最终使用了的。
2.2.1高斯模糊
高斯模糊(Gaussian Blur)是一种用来处理图像的常用方法，其也可称作高斯平滑，通常利用高斯模糊来消除图像噪声的影响并且可以降低图像的一些细节。考虑到金属表面锈蚀等级判决是一个整体的判断，将其局部细节模糊化、平滑化并不会弱化图像特征使其难以识别。并且在网络学习图像特征的时候，能降低图像中的噪声带来的影响，让网络的学习更加关注腐蚀等级判决所需要的特征。综合以上考虑，本发明将使用高斯模糊来扩充一部分数据。
高斯模糊的原理即图像中每一个像素点的值都取周围像素点的加权平均值。在数值上，即是平滑化；在图形上，即产生了模糊效果。在计算平均值时，取值半径(即高斯矩阵的尺寸)越大，模糊效果也就越明显。由于离中心点越近的点与中心点的图像特征越接近，故高斯矩阵中不同位置的点所分配的权重是不同的。出于这个考虑，高斯模糊是基于正态分布而得到高斯矩阵的，能保证离中心点越近的点在计算像素平均值时起到的影响越大。得到一个高斯矩阵后，将其与原始图像做卷积，即可得到模糊处理后的图像。
本发明通过调用OpenCV库中的高斯模糊函数(cv2.GaussianBlur)，来实现对图像的高斯模糊处理，以达到数据增强的目的。作为示例，创建了一个大小为25×25、标准差为15的高斯矩阵，然后对一张图像做了卷积得到了高斯模糊处理后的图像。(如图5所示)
通过高斯模糊的处理，金属形貌腐蚀图像的细节噪声被减弱，减弱了一些对判决没有帮助的特征。同时图像中腐蚀面积与腐蚀颜色差异度等影响判决的主要特征仍然保留，网络可以学习到用来腐蚀判决的主要特征，训练出来的网络能够对金属腐蚀图像等级做出准确的判决。故将此法用来扩充训练数据集。
2.2.2高斯噪声
高斯噪声(Gaussian Noise)是常见的一种图像噪声，是指噪声的概率密度函数服从正态分布(即高斯分布)的一种噪声。高斯分布的视觉表现为在图像上的绝大多数位置都会出现引起明显的孤立像素点或者是像素块，高斯噪声的出现会导致图像充斥着一些无用的图像数据信息。但由于其干扰的影响只是像素点级别的，只要控制好高斯噪声的概率密度函数的标准差与方差，干扰噪声的出现对于金属表面腐蚀形貌特征的整体判断不会造成严重的影响。在网络训练时仍然能够提取出重要的图形特征，保证网络在学习时能学习到有效的金属表面腐蚀形貌的特征，从而保证最终训练出的网络可以在测试集上做出准确的金属形貌腐蚀等级的判决。
对图像添加高斯噪声，可通过将一个满足正态分布的矩阵与图像叠加而快速地实现。本发明通过调用Numpy库中的随机值函数(numpy.random)来实现数值矩阵的生成与运算。生成高斯噪声矩阵时，需要指定标准差与方差，然后将得到的高斯噪声矩阵与原图像叠加，叠加以后需要控制相加后的值保持在原图像的像素值范围内(即0到255)，本发明的处理是将像素值低于0的点设置为0，高于255的点设置为255。
本发明给出了高斯噪声扩充图像数据的示例，图中的高斯噪声满足正态分布的均值为0，方差为0.015。
(如图6所示)
添加了高斯噪声以后，导致金属表面腐蚀形貌图像的特征出现了一些无用的信息，但这些噪声不会造成原始图像特征的减弱或消失。而影响腐蚀等级判决的主要特征，即被腐蚀区域的面积以及被腐蚀的深度(即腐蚀部分与原始金属表面的颜色差异度)能够清晰地得到识别，所以此法也作为数据增强的一个方法。
2.2.3随机裁剪
随机裁剪，即从一张完整的图片中按照一定的大小或比例随机地从原图裁剪出一张比原图小的图像，此法能够在一张图像中得到很多的子图，只要控制好裁剪大小与位置，保证裁剪后的图像能基本保留原图特征，不影响分类判决，随机裁剪是一个很适合用来扩充数据量的方法。由于金属表面各个位置的腐蚀程度是不均匀的，会出现一部分位置严重腐蚀而另一些部分轻微腐蚀甚至未腐蚀的情况，在进行腐蚀等级判决的时候需要综合考虑金属表面的大部分位置的腐蚀情况。也就是说裁剪的部分不能相对原图太小，要保证一定的尺寸，否则会出现局部判决结果不符合总体判决结果的情况。因此本发明采用的措施是随机裁剪出原图面积64％的部分，即边长比为4:5的裁剪尺寸，以保证裁剪出的子图的腐蚀情况也能代表原图的腐蚀情况。本发明给出了一个随机裁剪的示例。(如图7所示)
从图中可以看出，长度比例为4:5的裁剪可以保留图像绝大多数特征。
2.3本章小结
本章介绍了卷积神经网络的基本结构以及各个层的工作原理，包括卷积层、池化层、全连接层等，这些网络层构成了整个卷积神经网络的核心部分，有关于网络结构的优化也是针对它们实现的。还介绍了各种数据增强方法，本发明针对实际情况，选择了3种有效的方法，即高斯模糊、高斯噪声、随机裁剪。在之后的工作中利用这三种方法将训练数据集扩充，减弱过拟合现象，增强网络的预测能力。
3基于卷积神经网络的腐蚀等级判决
这部分将介绍本发明实验的主要内容，有以下几个方面：1)使用实验室提供的已标注图像数据建立数据集。考虑到一个深度学习任务需要从一个比较简单的模型以及少量训练数据集开始研究，所以本发明在实验过程中首先使用的是原始的数据集，原始的训练数据集中仅仅只有20张训练图像，并没有在一开始就加入任何的数据增强方法来尝试扩充训练数据集。2)通过查阅相关文献后，结合本次金属表面腐蚀形貌图像特征的等级判决的思路，本发明用Keras框架搭建了一个类似于VGG网络结构的卷积神经网络，该网络结构在大量的图像识别任务中被使用，并且证明是十分有效的。3)然后本发明对网络进行了首次的训练，完成训练之后结合网络在训练集上的表现，针对金属腐蚀形貌图像的特点，尝试了大量的方法，试图改善网络的训练效果，以及提高网络在训练集上的预测准确率。本发明最后采取的方案，都是针对本次研究，即金属表面腐蚀形貌的特征来制定的，通过多次的实验得到的实验结果，本发明证明了这些方案的有效性。4)最后，本节分析了综合以上所有方案以后，再次进行实验的结果，并对实验结果进行了评估。本发明结合实际的研究情况及需要，指出了下一步的工作方向。
3.1建立数据集
原始的图像包含3个类别，分别是二级、三级和四级腐蚀程度的金属形貌图片。经过对原始图像的检查以后，删掉了一些重复的图片，最终剩下39张图片。二级与三级腐蚀等级的图像的数量差不多，分别为15和16张，四级腐蚀等级的图像是最少的，仅仅只有8张而已，大约为其他两个类别的一半。在进行对卷积神经网络的训练之前，需要将原始的全部图像数据按照一定的比例，合理地划分为训练集与测试集，并且数据增强的方法只能用在训练集中。
传统的机器学习任务中，训练集与测试集的数量比例一般为全部数据集的数量的70％和30％。考虑到测试集的图像数量过少的话，由于一定的随机性，将会导致衡量网络的测试准确率的数值会出现数值波动过大，并且泛化能力的证明力度不够充分的情况。所以本发明将随机选择每个类别的一半数量的图像(其中二级腐蚀图像随机选择7张)作为测试集，本发明所用的测试集一共得到了19张图像。将剩下的总共20张图像作为训练集的原始图像(二级腐蚀等级的图像与三级腐蚀等级的图像都是8张，四级腐蚀等级的图像是4张)。
3.2模型搭建
本发明使用Keras框架来完成卷积神经网络模型的搭建，所用语言为Python(3.7)。该深度学习框架的优势在于简洁易用。并且在网络搭建以后，也容易修改与重构。本发明搭建的卷积神经网络的主体结构类似于VGG网络。本发明给出了使用Keras搭建的首个卷积神经网络的结构细节。(如表1所示)
表1最初搭建的卷积神经网络结构
Figure BDA0002621154940000121
参数数量总计:13,326,339
从表1中可知，与VGG网络一样，本发明使用的网络的主要特点为在卷积层中使用了连续的小卷积核，并且各个卷积层中不断增加了卷积核的个数。该卷积神经网络可以大致分为3个主要部分。第一个部分是卷积神经网络的输入层。该卷积神经网络有多个卷积层，可以把这些卷积层与池化层抽象地结合在一起以后，将它们分为3个模块。每个卷积层的卷积核尺寸都是3×3；每个模块的主体结构都是一样的，即连续3个卷积层之后又加入1个最大池化层(Max-pooling)，并且每层卷积之后都加入了激活函数，本发明选择的激活函数是线性整流函数(Rectified Linear Unit，ReLU)。这样的连续卷积层，以及足够深的网络，在提取图像特征上具备很强的能力。
最后一个部分为一个全连接层和输出层。全连接层的神经元个数为128，在全连接层之后也加入了一个使用“relu”激活函数的激活层。然后添加了一个Dropout层，该层可以随机让一部分神经元失活，其主要效果是降低模型过拟合的风险，本发明将失活神经元的比例设置为0.5。输出层即预测层，由于本次研究的金属腐蚀图像的等级共有3级，所以输出层的神经元个数设置为3。
3.3模型训练
本发明的实验中，网络的整个训练及调优的过程主要可分为以下几步：1)分开训练集与测试集，各自读取图像数据；2)将卷积神经网络初始化，并设置训练批次大小与相关评价函数；3)使用反向传播算法训练网络，使损失函数曲线收敛，网络拟合；4)绘制网络训练的相关评价函数的图像以及记录测试准确率的数值；5)根据损失函数和测试准确率，分析网络存在的问题，寻找优化方法，然后实施相应的措施，重复第(3)步到第(5)步。这些训练及调优的过程可用流程图表示。(如图8所示)
本发明使用Python支持的Open-CV库来读取图像数据，原始的所有图像大小都为2144×1608像素。若使用图像的原始大小，在读取图像数据后占用极大内存，且在一定的数量下很可能会导致内存溢出错误，所以需要根据实际情况将每张图片的尺寸都重新设置为较小的值，一般为100×100或224×224。
在训练之前读取图像数据时，将每张图像的三个通道所有像素的值做了归一化，原本的像素大小的范围为0到255，进行像素值的归一化处理之后每个通道的像素值的范围都在0到1之间。
卷积神经网络的训练需要将训练集中所有的图像进行反复的学习(即一张图像会被多次用来训练网络，目的是让损失函数继续收敛)，每学习完一次训练集中的所有图像，即为完成一轮训练。本发明设置总共训练轮数(epoch)为300轮，即网络会反复学习300次整个训练数据集中的图像。根据训练集的大小，将每个批次(batch size)的数目设置为8、16、32或64，即每批次同时学习的图像数量。
在训练时还需要指定网络训练表现的评价函数以及损失函数，本发明在实验时使用的评价函数是正确分类的图像所占的百分比(accuracy)，其计算方式可表示如下：
Figure BDA0002621154940000131
式(1)中，rtest即测试准确率，N′为测试集中样本的数量，I是用来计算正确分类数目的指示函数(indicator function)，即仅当
Figure BDA0002621154940000132
时为1，而当
Figure BDA0002621154940000133
时为0，yi则是样本i的真实类别，
Figure BDA0002621154940000134
为样本i的预测类别。
使用的损失函数为多分类交叉熵损失函数(categorical cross entropy)，其计算方式可表示如下：
Figure BDA0002621154940000135
式(2)中，N为训练集中样本的总数量，M为类别的数量，本发明中的金属形貌腐蚀图像的等级共有3类，故这里M为3，yi,j即表示样本i的真实类别是否属于类别j，若属于，则yij的值为1，否则为0，
Figure BDA0002621154940000136
则表示将样本i的类别预测为j类的概率值。
本发明使用Kaggle网站提供的云端Tesla GPU(显存为16G)训练网络。
训练结束绘制了损失函数图像与准确率的曲线图像。(如图9所示)
图9(a)的损失函数曲线说明，网络在训练集上的损失函数在不断抖动，说明网络在欠拟合的状态；而图9(b)的准确率曲线也在抖动，没有有保持基本上升的趋势，网络的学习效果很差，所以还需要通过调整训练集与网络结构来优化模型。
初次训练的训练准确率仅为52.6％，是一个很低的值，本发明接下来将介绍模型调优及提高准确率的工作内容。
3.4模型调优
这一小节将介绍腐蚀等级图像判决任务模型的优化过程。再搭建了初始的简单网络后，使用原始的训练集来进行对网络的训练。但训练后的网络在测试集上的表现不佳。本发明在实施了数据增强、卷积神经网络结构调整等一系列优化方案之后，使网络在测试集上的表现得到了提高。本节将对比经过数据增强后的训练集与原始小训练集给网络训练的效果带来的不同影响；以及针对金属腐蚀形貌特征采取的一些措施的评估：首先分析了调整卷积核的大小之后，训练出来的网络性能的改变；以及考虑到腐蚀图像等级判决时主要是考虑细粒化特征而不只是轮廓特征这一要点，增大了原始输入图像的尺寸，通过实验结果可以得知，这一方案极大增强了网络的性能。最后本发明综合了以上几种很有成效的优化方案，训练出了一个最佳的网络，最后评价了其在测试集上的表现，并且提出了下一步工作的方向与内容。
3.4.1训练数据集
在大多数深度学习任务的网络训练过程中，总是采取数据增强的办法来增加训练集的数据，不仅能减弱过拟合的现象，同时能提高模型的准确率及增强模型的泛化能力。
因为初始的训练集中的样本量过少，每个腐蚀等级类别的图像数量不到10张。训练数据量过少将导致网络的学习效果不佳，将会出现严重的过拟合现象。本发明在此之后尝试了很多数据增强的方法。结合金属表面腐蚀形貌的特点，在经过大量的实验以后，本发明最终采取了三个有效的数据增强的方法来增加训练集的图像数量。
本发明先对原始训练集中的每张图像分别做了添加高斯噪声和应用高斯模糊的处理。对图像添加高斯噪声时，使用Numpy库生成了一个均值为0、方差为0.01的满足正态分布的数值矩阵，然后将其与原图像相叠加，使得训练集中的数据量增加了一倍；在进行高斯模糊的处理时，调用OpenCV库中的高斯模糊函数(cv2.GaussianBlur)来完成，该函数需要设置高斯矩阵的大小，本发明选择的高斯矩阵大小为25×25像素，均值设置为15。这两个数据增强方法使训练集的图像数据量增加了两倍，扩大到了60张图像。然后将裁剪子图的边长与原图的比例设置为4:5，对上一步得到的60张图像一一进行了6次随机裁剪，以获得6倍的训练图像数据。由于原始的图像训练集中，四级腐蚀图像的数据量只有其他两个等级的一半，为了保证各个类别的训练数据量基本一致，对四级腐蚀图像的随机裁剪次数为12次。经过三个数据增强方法处理以后，训练集中每个类别的图像数量都为144张，整个训练集的图像数量为432张。
在本发明的研究中，通过提供不同的训练数据量，将多个结构一样的网络在不同的训练集上训练，之后对比了它们在同一测试集上的表现。(如表2所示)
表2不同训练数据集的表现
训练集数据 训练准确率 测试准确率
原始数据(20张) 70.8％ 52.6％
原始数据+高斯模糊+高斯噪声(60张) 87.5％ 73.7％
原始数据+高斯模糊+高斯噪声+随机裁剪(432张) 91.7％ 78.9％
从表2中得知，使用高斯模糊与高斯噪声来扩大训练数据集的数据量，可以让网络的过拟合现象得到明显的降低，尤其是将网络在测试集上的准确率从52.6％提高到了73.7％。之后采用了随机裁剪的方法，将训练集数据量扩大到每个类别拥有144张用以训练的图像。该方法进一步将网络的在测试集上的准确率提高到了78.9％。对比以上实验数据得出结论，在深度学习研究的图像分类任务中，通过使用各种数据增强的方法，在确保能够留下图像分类所需要的重要特征的条件下，扩大原始训练集的数据量，并且使各个类别的训练数据量基本保持一致，能够明显地提高网络在测试集上的表现，有效地增强网络的性能。这种方法所需要的成本低，并且有效。
3.4.2网络结构
本小节主要介绍卷积神经网络结构方面的优化内容，主要针对于网络深度(即卷积层的个数)、输入层中卷积核的尺寸、全连接层的结构来进行调优。
3.4.2.1网络深度
本发明最初搭建的卷积神经网络结构有3个卷积加池化模块，考虑改变网络的深度来进行优化。本发明将通过继续添加卷积和池化层来加深网络深度，分别训练不同深度的网络之后，在同一个测试集上进行了对比。(如表3所示)
表3不同深度的网络的测试准确率
网络深度(卷积层个数) 测试准确率
9 78.9％
12 84.2％
15 73.7％
从表3中可以看出，当网络深度为12层卷积层时，其在测试集上的表现最好，而继续增加网络深度，其准确率反而降低。原因在于增加网络的深度与复杂度，需要更大的训练集来学习，所以在初始训练集不多的情况下，只能选择较简单的结构。本发明最终选择了12个卷积层的卷积神经网络。
3.4.2.2全连接层结构
对全连接层的结构进行优化主要通过调整神经节点个数、全连接层层数以及Dropout比例来实现。本发明搭建了多个不同全连接层结构的网络，对比了它们的表现。(如表4所示)
表4不同全连接层结构的网络的测试准确率
Figure BDA0002621154940000161
通过表4中数据可知，当网络的全连接层层数为1且神经节点个数为64个的时候，网络得到了最高的测试准确率84.2％，而继续增大网络的全连接层的层数将不会带来测试准确率的提升。原因是过于复杂的全连接层容易使网络过拟合，而本发明的训练集没有充足的腐蚀图像数据来降低过拟合的现象，故最终使用1层的全连接层，节点为64个。
在全连接层之后，还添加了Dropout层。Dropout层可以在网络学习时，随机使全连接层的一部分神经节点失活，不更新参数。此法主要用来降低网络的学习能力，即减弱过拟合。本发明将Dropout层的失活比例做了调整以及对比。(如表5所示)
表5 Dropout层不同失活比例的网络的测试准确率
Dropout层失活比例 测试准确率
0.25 73.7％
0.5 84.2％
0.75 63.2％
表5说明，设置0.5的失活比例，能得到最好的网络表现。过低与过高的Dropout层失活比例，都会导致测试准确率的极大下降。过低的失活比例导致测试准确率降低的主要原因是，在网络进行训练时，有大部分的神经节点上的参数都会被更新，网络出现了严重的过拟合现象，所以测试准确率下降；而过高的失活比例将导致只有小部分神经节点上的参数会在网络训练时更新，其学习能力不足，出现了欠拟合现象，导致测试准确率降低。本发明最终添加的Dropout层选择了表现最好的失活比例0.5。
3.4.2.3卷积核尺寸
本发明最初构建的卷积神经网络中，所有的卷积核尺寸均为3×3。经过不断地实验之后，并且结合金属表面腐蚀形貌的特征，本发明选择将网络输入层的卷积核的尺寸进行减小，即将其调整为相较于3×3的卷积核尺寸更小的2×2的卷积核尺寸。本发明只将输入层的三个卷积层的卷积核尺寸减小为了2×2的大小，其原因是在输入层提取了图像原始的深度特征以后，并不需要再次使用最小的卷积核提取图像的形貌特征。本发明通过控制变量进行了对比实验，将两个仅仅只有输入层的卷积核尺寸不相同的网络在同样的训练集下训练以后，对比了它们在测试集上的表现。(如表6所示)
表6不同输入层卷积核尺寸网络的表现
Figure BDA0002621154940000162
Figure BDA0002621154940000171
通过比较表6中的不同输入层卷积核尺寸的网络在测试集上的准确率可以得知，该方法是有效的。通过减小输入层的卷积核尺寸为2×2这种方法，用更少的参数让网络学习到更细致的腐蚀形貌图像的特征，使网络在金属表面腐蚀形貌等级的判决上更加准确，将网络在测试集上的预测准确率提高到了84.2％。
3.4.3输入图像尺寸
大多数的图像分类任务中，输入层图像的尺寸一般都设置为224×224或者100×100像素。由于本发明搭建的卷积神经网络是类似于VGG网络的结构，所以最初设置的网络输入层的图像大小也为224×224像素。考虑到金属腐蚀形貌的特征主要是细节特征，选择让网络学习更高分辨率的图像能够更完整地学习到金属表面腐蚀形貌更深层次的细节特征，所以本发明选择将输入层的图像尺寸扩大为448×448。本发明在输入图像时设置不同的三个尺寸，使用同样的训练集，训练了三个在结构上完全相同的网络，对比了它们在同一个测试集上的预测准确率的表现。(如表7所示)
表7输入图像不同尺寸的表现
输入图像尺寸 测试准确率
100×100 73.7％
224×224 84.2％
448×448 89.5％
从表7中可以得知，通过增大输入图像尺寸的方法，确实能够将网络在测试集上的预测准确率明显的提高，最终达到了接近90％的水平。该实验结果说明，金属表面腐蚀形貌的主要特征在较高的图像分辨率下能保留更多的有效信息。但并不能无止境的增大输入图像的尺寸，除了原本的图像分辨率的限制以外，还有一些更为重要的因素，也是该方法的最主要的缺点，即增大训练时输入图像的尺寸，会极大地增加参数的个数，导致网络的训练速度被大幅度减慢，并且网络训练时将占用大量的GPU显存，在GPU显存较小时，容易导致产生内存溢出的错误，进而无法训练网络。所以在实际的网络训练时，需要权衡输入图像的尺寸，在能够让网络学习到图像主要特征并达到一定测试准确率的情况下，不需要过大的图像尺寸。其好处不仅在于降低了对用来训练网络的GPU显存的大小的要求，还可以减少卷积神经网络的训练参数，加快网络训练时候的速度。本发明最终的输入层图像的尺寸选择为448×448像素。
3.4.4训练轮数
网络在训练时需要设置训练轮数这一关键参数，很多深度学习任务的训练轮数都会多达数千甚至数万轮，主要是因为很多网络结构复杂且层数极深，需要反复多次学习才能达到效果，并且拥有海量的训练数据的支持，不会过早发生过拟合的现象。由于本发明搭建的是不到20层的网络，并且训练集仅几百张图像，所以从比较少的训练轮数开始训练，分别训练了多个不同轮数的网络，记录下它们在训练中最优秀的一次表现，绘制图像做了比较。(如图10所示)
图10中看出，当设置总训练轮数为300轮时，网络在测试集上的表现是最好的，同时过拟合现象也是最弱的。轮数过少时，网络处于欠拟合的状态；训练轮数过大时，网络会发生过拟合的现象，由于本发明的训练数据集数目不够大，所以没有再次通过增加数据集来减弱过拟合现象。故最终选择训练轮数为300轮。
3.4.5最优网络的表现
本发明综合了以上所有的提高卷积神经网络性能的方案，包括数据增强(高斯模糊、高斯噪声、随机裁剪三个方法)、网络结构调整、增大输入图像的尺寸等主要措施，重新搭建了一个卷积神经网络，并用最佳的数据集进行训练，得到了最好的表现。
本发明给出了最终搭建的卷积神经网络的结构细节。(如表8所示)
表8最终搭建的卷积神经网络结构
Figure BDA0002621154940000181
参数数量总计:6,920,579
从表8中得知，最终搭建的卷积神经网络主要有以下3个改变：
(1)由于金属表面腐蚀形貌等级的判决需要金属表面图像比较深层次的细节特征，而图像中金属锈蚀表面的形状或轮廓线等等特征并不是用来进行等级判决的重要标准，所以本发明选择了更大的图像尺寸，即448×448(传统的VGG网络使用的尺寸为224×224)。
(2)网络还添加了卷积层的层数，即在第三个卷积模块后增加了第四个卷积模块，为3个连续的拥有256个卷积核的卷积层，和之前的结构一样，也在卷积结束之后添加了最大池化层。
(3)全连接层的节点被降到了64个，而层数保持不变仍然是1层。
最终训练出的最优网络在训练集中达到了89.5％的分类准确率，分析了其在测试集上各个类别的表现。
(如表9所示)
表9最优网络在测试集的各个类别中的表现
Figure BDA0002621154940000191
从表9中得知，网络在测试集上预测出错的地方为：将一张二级与一张三级腐蚀等级的图像判决为四级腐蚀图像。并且由于四级腐蚀图像的数量不足，导致网络在测试集中四级腐蚀图像的分类精确率仅有66.7％。解决这个问题的首要办法，可以通过加入更多种类的四级腐蚀形貌的图像到训练集中去，使训练集中各个类别的图像数据具备充分的腐蚀形貌特征，让网络能够学习到更为全面且重要的图像特征，能平衡网络在各个类别上的表现，避免出现网络在某些类别上的测试表现良好，而其他类别的测试表现欠佳的情况。
在网络训练时，程序同时记录了网络每一轮次训练完成后，当时的损失函数值以及评价函数即准确率的值，在完成所有轮数的训练之后，程序绘制了损失函数值和准确率数值与训练轮数的变化关系曲线。(如图11所示)。
损失函数曲线表现为训练集的损失函数曲线基本保持下降的趋势，而测试集的损失函数曲线严重的波动，这与测试集样本的数量过少有很大的关系。由于测试集中的较少数据不具备金属表面腐蚀形貌较完备的各类特征，在评价网络在测试集上的表现时，少数几张图像的数据就可以极大地影响损失函数的计算，在判决时一定的随机性下，导致损失函数曲线一直在波动。
尽管损失函数曲线在测试集上的表现不佳，但是在准确率的曲线中，训练集与测试集的准确率曲线都基本表现为上升趋势。从最终的准确率曲线可以看出，训练出的卷积神经网络仍然存在一定的过拟合现象，将来可以通过继续增大相关金属腐蚀形貌图像数据来改善。
3.5本发明工作的主要内容，主要包括以下几个方面：1)通过自建图像数据集，初步搭建卷积神经网络，完成第一轮训练与评估；2)针对模型存在的各种问题，尝试了各种优化方案，包括扩充训练集、优化网络结构、调整训练方式等等，将每次的工作内容做了介绍，并结合任务的实际情况分析了这些优化方法有效的原因，以及在采用这些方案时的思路。最后将调优前后的网络表现做了对比，证明调优的有效性，；3)在尝试了所有的优化方案以后，最终综合了所有有效的方案，训练出了最佳的网络，该网络过拟合现象弱，并且在测试集上的准确率达到了89.5％，实现了预期目标。
4金属材料腐蚀的研究中以往需要专业的工程师通过人工观察的方法来实现对不同腐蚀等级材料的分类，在本发明中，我们改变了传统金属表面腐蚀形貌等级的判决方式，提出了使用计算机视觉技术中的卷积神经网络来实现对不同腐蚀等级金属图像的分类。在降低了人力成本的同时，极大增加了腐蚀形貌图片分类的效率，并且完全摒弃了人工的主观因素，使不同等级的判决更加具有统一性与客观性。通过计算机的自动化识别与处理，可以提高金属表面腐蚀形貌等级判决的效率。
本发明在搭建卷积神经网络时，结合了计算机视觉中经典的网络之一——VGG网络的结构特点，同时针对腐蚀形貌图像的实际特征设计了卷积核更小的网络。本发明的实验证明，对于金属表面腐蚀形貌的等级判决，采用2×2的小卷积核在输入层进行连续的卷积运算，其特征提取的效果要优于3×3的卷积核。因为金属表面腐蚀形貌具有更多细粒度的特征，并且这些细粒特征是广泛分布在金属表面的，而尺寸相对较大的卷积核更加适合用来提取图像的轮廓特征，所以本发明设计了更适合细粒度特征提取的小卷积核。本发明最终的实验证明了该设计的有效性。
输入图像的尺寸也用来提高网络的测试准确率。由于金属表面腐蚀形貌的特征都是细粒度特征，更高的分辨率才能保存更多的图像细节，但此时的代价就是更大的内存占用以及网络训练的耗时。所以在进行图像输入尺寸扩大时，要保证更多的消耗能够带来一定的提升。本发明在对比实验之后选择了448×448的图像输入尺寸，是一个较大的尺寸，但效果是极大增加了网络的测试准确率。
在本发明自建的数据集的数据量极小的情况下，针对金属腐蚀形貌的实际特征，通过大量的实验，并分析研究的结果，结合金属表面腐蚀形貌的实际特征，找到了多种有效的数据增强方法。在选择这些数据增强的方法并真正实施时，本发明分析了金属表面腐蚀形貌的等级判决需要考虑到的主要的图像特征，选择了能够改变一部分特征，但依然能够保证金属形貌的腐蚀等级能够被准确地判决的一些方法。考虑的主要因素为，金属形貌的腐蚀等级是一个综合整体细节情况的判断，即在进行腐蚀等级的判决时，需要考虑到金属表面的大多数细节的特征。所以在应用随机裁剪方法时，要保证裁剪的子图相对于原图像一定的比例，不能为了追求裁剪出图像的数量而选择较小的面积，否则很可能出现腐蚀情况的片面判断。而高斯模糊与高斯噪声导致的细节特征的变化，在进行实验时，需要多次设置高斯模糊和高斯噪声的参数做对比，以保证处理后的图像要保证依然留有可用来判决的重要特征，不能过于模糊，高斯噪声也不能完全覆盖原图像的细节特征。本发明使用随机裁剪、高斯模糊、高斯噪声等数据增强的方法将训练集的数据量增大到每种类别的图像数量为144张，使网络训练时的过拟合现象被极大地减弱，并且提高了网络在测试集上的判决准确率，增强了网络模型的泛化能力。
最终训练出的网络在测试集上达到了接近90％的分类准确率，符合预期的标准，即能够在保证一定准确率的情况下，快速高效地对金属腐蚀形貌图像的腐蚀等级进行判决，而且具备客观性与统一性，是可以应用到实际科学研究中的方案。
下面结合具体实验数据对本发明作进一步描述。
实验
1)建立数据集：使用实验室提供的已标注图像数据作为原始数据集。原始的金属形貌图像数据包含3个等级类别，分别是二级、三级、四级，图片样本数为39，各个等级的训练样本数分别为15、16和8，四级腐蚀等级的样本数是最少的。传统机器学习一般将全部数据以7：3的比例划分为训练集和测试集。考虑到本实例的具体实施情况，如果测试集的图像数量过少，且由于划分数据集的随机性，网络的测试准确率的数值会出现波动过大，并且泛化能力的证明力度不够充分的情况。
所以本实例将随机选择每个类别的一半数量的图像(其中二级腐蚀图像随机选择7张)作为测试集，本文所用的测试集一共得到了19张图像。将剩下的总共20张图像作为训练集的原始图像(二级腐蚀等级的图像与三级腐蚀等级的图像都是8张，四级腐蚀等级的图像是4张)。
表10
腐蚀等级 训练集样本数(张) 测试集样本数(张) 各等级样本数(张)
二级 8 7 15
三级 8 8 16
四级 4 4 8
总计 20 19 39
根据原始数据集搭建初期的卷积神经网络。其网络结构如下所示。网络的主要特点为在卷积层中使用了连续的小卷积核，并且在各个卷积层中卷积核的个数不断增加。激活函数使用的是线性整流函数(ReLU)。
表11
Figure BDA0002621154940000211
Figure BDA0002621154940000221
2)模型调优：初期卷积神经网络的训练准确率较低，仅为52.6％，网络训练的损失函数抖动频繁，准确率曲线无明显上升趋势，对模型实施优化方案如下：
数据增强方法优化训练数据集：由于初始训练集中样本数小，导致网络的学习效果不佳，出现过拟合现象。对训练集进行不同的数据增强方法后分别输入到初始网络中，在同一测试集上的准确率对比如表，由此可见扩大原始训练集的数据量，能够明显地提高网络在测试集上的表现，有效地增强网络的性能。
表12
训练集数据 训练准确率 测试准确率
原始数据(20张) 70.8％ 52.6％
原始数据+高斯模糊+高斯噪声(60张) 87.5％ 73.7％
原始数据+高斯模糊+高斯噪声+随机裁剪(432张) 91.7％ 78.9％
网络结构调整优化：对卷积神经网络部分结构方面进行调整，针对于网络深度(即卷积层数)、输入层中卷积核的尺寸、全连接层的结构来进行调优，通过不同的对比实验训练后得到最优网络表现的网络层参数如表13所示。
表13
网络结构优化层 层参数
网络深度(卷积层数) 12
网络输入层卷积核尺寸 2x2
全连接层神经节点数 64
Dropout层失活比例 0.5
图像输入尺寸调整：金属腐蚀形貌的特征主要是细节特征，经过对比实验，将输入层的图像尺寸扩大为448×448，让网络学习更高分辨率的图像能够更完整地学习到金属表面腐蚀形貌更深层次的细节特征。
输入图像不同尺寸的表现表14
输入图像尺寸 测试准确率
100×100 73.7％
224×224 84.2％
448×448 89.5％
3)经模型优化后最终网络结构及参数如下表15：
表15
Figure BDA0002621154940000231
4)结果分析。经上述优化步骤后，训练数据集中各腐蚀等级的样本数都为144，测试数据集中二级、三级、四级腐蚀样本数分别为7、8和4，将训练数据输入最终网络结构中进行训练，得到最优网络参数，利用测试集进行测试得到各个等级类别中正确预测数。
最优网络在测试集的各个类别中的表现表16
Figure BDA0002621154940000232
根据分类准确率公式
Figure BDA0002621154940000241
测试集上达到了接近90％的判决准确率。相比于人工判定的效率低和主观性，本发明效率高、具有很好的客观性，在一定的训练条件下，能达到接近人工判决的准确度。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种基于图像识别的腐蚀等级信息处理方法，其特征在于，所述基于图像识别的腐蚀等级信息处理方法包括：
获取已标注的金属形貌图片作为数据集；对获取的训练数据集进行去重，随机选择每个类别的一半数量的图像作为测试集，其余图像作为训练集图像；并对训练数据集进行扩充；
使用Keras框架搭建卷积神经网络模型，进行模型训练；
利用训练好的模型分析金属表面腐蚀形貌的等级。
2.如权利要求1所述于图像识别的腐蚀等级信息处理方法，其特征在于，所述训练数据集扩充方法包括：
(1)采用高斯模糊函数对数据集的图片进行高斯模糊处理；
(2)通过随机值函数进行数值矩阵的生成与运算，指定标准差与方差，将得到的高斯噪声矩阵与原图像叠加，对图像添加高斯噪声；
(3)对图像随机裁剪出原图面积64％的部分，即边长比为4:5的裁剪尺寸。
3.如权利要求2所述于图像识别的腐蚀等级信息处理方法，其特征在于，所述数值矩阵为25×25像素，均值为15。
4.如权利要求2所述于图像识别的腐蚀等级信息处理方法，其特征在于，步骤(2)中，所述将得到的高斯噪声矩阵与原图像叠加包括：叠加控制相加后的值保持在原图像的像素值范围内即0到255，将像素值低于0的点设置为0，高于255的点设置为255。
5.如权利要求1所述于图像识别的腐蚀等级信息处理方法，其特征在于，所述卷积神经网络模型包括：4个卷积加池化模块、全连接层以及输出层；
所述每个卷积加池化模块分别包括3个卷积层与一个最大池化层；所述卷积层卷积核尺寸为2×2；所述每个卷积层之后都添加有激活函数，所述激活函数为线性整流函数；
所述最大池化层尺寸为2×2；
所述全连接层神经节点个数为64，所述全连接层只有一层；所述全连接层之后添加有使用relu激活函数的激活层；所述激活层之后添加有Dropout层，所述Dropout层用于随机让部分神经元失活；所述失活神经元的比例为0.5；
所述输出层即预测层节点个数为3。
6.如权利要求1所述于图像识别的腐蚀等级信息处理方法，其特征在于，所述模型训练方法包括：
1)分别读取训练集与测试集的图像数据；
2)将卷积神经网络初始化，并设置训练批次大小与相关评价函数；
3)使用反向传播算法训练网络，使损失函数曲线收敛，网络拟合；
4)绘制网络训练的相关评价函数的图像以及记录测试准确率的数值；
5)根据损失函数和测试准确率，进行模型优化。
7.如权利要求6所述于图像识别的腐蚀等级信息处理方法，其特征在于，所述步骤1)之前，还需进行：将每张图片的尺寸重新设置448×448；并将每张图像的三个通道所有像素的值进行归一化处理，将每个通道的像素值的范围控制在0到1之间；
步骤2)中，所述训练批次大小设置为：训练轮数为300轮，将每个批次的数目设置为8、16、32或64，即每批次同时学习的图像数量；
步骤2)中，所述评价函数为正确分类的图像所占的百分比，计算方式如下：
Figure FDA0002621154930000021
式中，rtest即测试准确率，N′为测试集中样本的数量，I用于计算正确分类数目的指示函数，即仅当
Figure FDA0002621154930000022
时为1，而当
Figure FDA0002621154930000023
时为0，yi则是样本i的真实类别，
Figure FDA0002621154930000024
为样本i的预测类别；
损失函数为多分类交叉熵损失函数，计算方式如下：
Figure FDA0002621154930000025
式中，N为训练集中样本的总数量，M为类别的数量，yi,j表示样本i的真实类别是否属于类别j，若属于，则yij的值为1，否则为0，
Figure FDA0002621154930000031
则表示将样本i的类别预测为j类的概率值。
8.一种实施权利要求1～7任意一项所述于图像识别的腐蚀等级信息处理方法的图像识别的腐蚀等级信息处理系统，其特征在于，所述图像识别的腐蚀等级信息处理系统包括：
去重扩充模块，用于获取已标注的实验室的金属形貌图片作为数据集；对获取的训练数据集进行去重，随机选择每个类别的一半数量的图像作为测试集，其余图像作为训练集图像；并对训练数据集进行扩充；
训练模块，用于使用Keras框架搭建卷积神经网络模型，进行模型训练；
分析模块，利用训练好的模型分析金属表面腐蚀形貌的等级。
9.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：
获取已标注的实验室的金属形貌图片作为数据集；对获取的训练数据集进行去重，随机选择每个类别的一半数量的图像作为测试集，其余图像作为训练集图像；并对训练数据集进行扩充；
使用Keras框架搭建卷积神经网络模型，进行模型训练；
利用训练好的模型分析金属表面腐蚀形貌的等级。
10.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：
获取已标注的实验室的金属形貌图片作为数据集；对获取的训练数据集进行去重，随机选择每个类别的一半数量的图像作为测试集，其余图像作为训练集图像；并对训练数据集进行扩充；
使用Keras框架搭建卷积神经网络模型，进行模型训练；
利用训练好的模型分析金属表面腐蚀形貌的等级。
CN202010783727.7A 2020-08-06 2020-08-06 一种基于图像识别的腐蚀等级信息处理方法及系统 Pending CN111862093A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010783727.7A CN111862093A (zh) 2020-08-06 2020-08-06 一种基于图像识别的腐蚀等级信息处理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010783727.7A CN111862093A (zh) 2020-08-06 2020-08-06 一种基于图像识别的腐蚀等级信息处理方法及系统

Publications (1)

Publication Number Publication Date
CN111862093A true CN111862093A (zh) 2020-10-30

Family

ID=72971529

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010783727.7A Pending CN111862093A (zh) 2020-08-06 2020-08-06 一种基于图像识别的腐蚀等级信息处理方法及系统

Country Status (1)

Country Link
CN (1) CN111862093A (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112884001A (zh) * 2021-01-15 2021-06-01 广东省特种设备检测研究院珠海检测院 碳钢石墨化自动评级方法和系统
CN112964793A (zh) * 2021-02-09 2021-06-15 常州大学 一种基于图像识别与声学识别的管道点蚀损伤智能识别方法
CN112990362A (zh) * 2021-04-20 2021-06-18 长沙树根互联技术有限公司 矿车驾驶等级识别模型训练方法、装置和终端设备
CN113111938A (zh) * 2021-04-09 2021-07-13 中国工程物理研究院电子工程研究所 基于数字高程模型数据的地形分类方法
CN113222873A (zh) * 2021-06-01 2021-08-06 平安科技（深圳）有限公司 基于二维高斯分布的图像数据增强方法、装置及存储介质
CN113283163A (zh) * 2021-05-08 2021-08-20 浙江大学 RVM烧结矿FeO含量软测量模型的构建及应用
CN113392853A (zh) * 2021-05-28 2021-09-14 中汽研（天津）汽车工程研究院有限公司 一种基于图像识别的关门声品质测评识别方法
CN113408393A (zh) * 2021-06-15 2021-09-17 上海海洋大学 一种木薯病害识别方法
CN113744179A (zh) * 2021-01-25 2021-12-03 云南电网有限责任公司德宏供电局 输配电线路上的金具缺陷检测方法
CN113962274A (zh) * 2021-11-18 2022-01-21 腾讯科技（深圳）有限公司 一种异常识别方法、装置、电子设备及存储介质
CN114067092A (zh) * 2022-01-17 2022-02-18 山东药品食品职业学院 一种基于DenseNet和lightGBM的脂肪肝B超图像分类方法
CN114066819A (zh) * 2021-10-25 2022-02-18 中国电器科学研究院股份有限公司 基于卷积神经网络深度学习的环境腐蚀严酷度识别方法
CN115170579A (zh) * 2022-09-09 2022-10-11 之江实验室 一种金属锈蚀图像分割方法和装置
CN116596934A (zh) * 2023-07-18 2023-08-15 华东交通大学 接地网腐蚀检测方法、系统、存储介质及移动终端
CN117058555A (zh) * 2023-06-29 2023-11-14 北京空间飞行器总体设计部 一种遥感卫星图像分级管理的方法及装置
WO2024103004A1 (en) * 2022-11-10 2024-05-16 Versiti Blood Research Institute Foundation, Inc. Systems, methods, and media for automatically detecting blood abnormalities using images of individual blood cells

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110689051A (zh) * 2019-09-06 2020-01-14 北京市安全生产科学技术研究院 一种基于迁移学习的燃气管道内腐蚀模式智能辨识方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110689051A (zh) * 2019-09-06 2020-01-14 北京市安全生产科学技术研究院 一种基于迁移学习的燃气管道内腐蚀模式智能辨识方法

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112884001A (zh) * 2021-01-15 2021-06-01 广东省特种设备检测研究院珠海检测院 碳钢石墨化自动评级方法和系统
CN112884001B (zh) * 2021-01-15 2024-03-05 广东省特种设备检测研究院珠海检测院 碳钢石墨化自动评级方法和系统
CN113744179A (zh) * 2021-01-25 2021-12-03 云南电网有限责任公司德宏供电局 输配电线路上的金具缺陷检测方法
CN112964793A (zh) * 2021-02-09 2021-06-15 常州大学 一种基于图像识别与声学识别的管道点蚀损伤智能识别方法
CN112964793B (zh) * 2021-02-09 2024-01-09 常州大学 一种基于图像识别与声学识别的管道点蚀损伤智能识别方法
CN113111938A (zh) * 2021-04-09 2021-07-13 中国工程物理研究院电子工程研究所 基于数字高程模型数据的地形分类方法
CN112990362A (zh) * 2021-04-20 2021-06-18 长沙树根互联技术有限公司 矿车驾驶等级识别模型训练方法、装置和终端设备
CN113283163A (zh) * 2021-05-08 2021-08-20 浙江大学 RVM烧结矿FeO含量软测量模型的构建及应用
CN113283163B (zh) * 2021-05-08 2022-04-19 浙江大学 RVM烧结矿FeO含量软测量模型的构建及应用
CN113392853A (zh) * 2021-05-28 2021-09-14 中汽研（天津）汽车工程研究院有限公司 一种基于图像识别的关门声品质测评识别方法
CN113222873A (zh) * 2021-06-01 2021-08-06 平安科技（深圳）有限公司 基于二维高斯分布的图像数据增强方法、装置及存储介质
CN113222873B (zh) * 2021-06-01 2023-06-16 平安科技（深圳）有限公司 基于二维高斯分布的图像数据增强方法、装置及存储介质
CN113408393A (zh) * 2021-06-15 2021-09-17 上海海洋大学 一种木薯病害识别方法
CN114066819A (zh) * 2021-10-25 2022-02-18 中国电器科学研究院股份有限公司 基于卷积神经网络深度学习的环境腐蚀严酷度识别方法
CN113962274A (zh) * 2021-11-18 2022-01-21 腾讯科技（深圳）有限公司 一种异常识别方法、装置、电子设备及存储介质
CN114067092A (zh) * 2022-01-17 2022-02-18 山东药品食品职业学院 一种基于DenseNet和lightGBM的脂肪肝B超图像分类方法
CN115170579A (zh) * 2022-09-09 2022-10-11 之江实验室 一种金属锈蚀图像分割方法和装置
WO2024103004A1 (en) * 2022-11-10 2024-05-16 Versiti Blood Research Institute Foundation, Inc. Systems, methods, and media for automatically detecting blood abnormalities using images of individual blood cells
CN117058555A (zh) * 2023-06-29 2023-11-14 北京空间飞行器总体设计部 一种遥感卫星图像分级管理的方法及装置
CN116596934B (zh) * 2023-07-18 2023-09-26 华东交通大学 接地网腐蚀检测方法、系统、存储介质及移动终端
CN116596934A (zh) * 2023-07-18 2023-08-15 华东交通大学 接地网腐蚀检测方法、系统、存储介质及移动终端

Similar Documents

Publication Publication Date Title
CN111862093A (zh) 一种基于图像识别的腐蚀等级信息处理方法及系统
CN109934293B (zh) 图像识别方法、装置、介质及混淆感知卷积神经网络
Yang et al. A feature-reduction multi-view k-means clustering algorithm
CN111126386B (zh) 场景文本识别中基于对抗学习的序列领域适应方法
CN113408605B (zh) 基于小样本学习的高光谱图像半监督分类方法
CN109255344B (zh) 一种基于机器视觉的数显式仪表定位与读数识别方法
CN110189255A (zh) 基于两级检测的人脸检测方法
CN113239782A (zh) 一种融合多尺度gan和标签学习的行人重识别系统及方法
CN111833322B (zh) 一种基于改进YOLOv3的垃圾多目标检测方法
CN110853009A (zh) 基于机器学习的视网膜病理图像分析系统
CN117788957B (zh) 一种基于深度学习的资质图像分类方法及系统
CN109344898A (zh) 基于稀疏编码预训练的卷积神经网络图像分类方法
CN111145145B (zh) 一种基于MobileNets的图像表面缺陷检测方法
CN114926680A (zh) 一种基于AlexNet网络模型的恶意软件分类方法及系统
CN112381030A (zh) 一种基于特征融合的卫星光学遥感图像目标检测方法
CN114782761B (zh) 基于深度学习的智能仓储物料识别方法和系统
Zhuang et al. A handwritten Chinese character recognition based on convolutional neural network and median filtering
CN111652430A (zh) 一种互联网金融平台违约率的预测方法及系统
CN105160666A (zh) 基于非平稳分析与条件随机场的sar图像变化检测方法
CN117312920A (zh) 加权集成不平衡分类方法、系统、存储介质、设备及终端
Diqi et al. Implementation of CNN for plant leaf classification
Wang et al. Remote sensing semantic segregation for water information extraction: Optimization of samples via training error performance
CN111429436B (zh) 一种基于多尺度注意力和标签损失的本质图像分析方法
Fedorchuk et al. Statistic metrics for evaluation of binary classifiers without ground-truth
CN113341890A (zh) 面向自适应调度与无人生产线协同的智能诊断方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination