CN116109518A - 一种金属锈蚀图像的数据增强、分割方法及装置 - Google Patents

一种金属锈蚀图像的数据增强、分割方法及装置 Download PDF

Info

Publication number
CN116109518A
CN116109518A CN202310323813.3A CN202310323813A CN116109518A CN 116109518 A CN116109518 A CN 116109518A CN 202310323813 A CN202310323813 A CN 202310323813A CN 116109518 A CN116109518 A CN 116109518A
Authority
CN
China
Prior art keywords
image
sub
metal
segmentation
graph
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310323813.3A
Other languages
English (en)
Inventor
宋伟
朱天成
郑涛
朱世强
施浩磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Lab
Original Assignee
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lab filed Critical Zhejiang Lab
Priority to CN202310323813.3A priority Critical patent/CN116109518A/zh
Publication of CN116109518A publication Critical patent/CN116109518A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30136—Metal
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种金属锈蚀图像的数据增强、分割方法及装置，通过获取金属锈蚀的图像进行切分，得到多个切分后的子图，再对每一张子图进行增强操作，将切分的子图重新组合成与原始金属锈蚀图像尺寸一致的新图像，从而实现图像数据的增强，再将新图像用于金属锈蚀分割模型的训练，并通过训练好的模型对待分割的图像进行金属锈蚀分割，通过本发明对金属构建锈蚀数据集进行数据扩充，不仅增加了图像的数量，而且增加了金属锈蚀图像的多样性，有助于网络充分训练，使网络模型的泛化能力以及分割性能得到提升。

Description

一种金属锈蚀图像的数据增强、分割方法及装置
技术领域
本发明属于图像数据增强领域，具体涉及一种金属锈蚀图像的数据增强、分割方法及装置。
背景技术
金属腐蚀是指金属材料在周围介质的作用下，产生材料性能劣化的过程。其中，锈蚀是最常见的腐蚀形态。锈蚀会导致金属构件的承载能力、稳定性下降。随着锈蚀程度加深，可能会导致金属构件破坏，造成人员伤亡并产生巨大的经济损失。据统计，中国每年由于钢铁锈蚀造成的直接经济损失高达数千亿元。尽早发现金属锈蚀，并根据锈蚀情况采取相应的措施和对策，可以降低安全隐患，避免不必要的经济损失。
语义分割是一种典型的计算机视觉问题，其涉及将一些原始数据（例如平面图像）作为输入并将它们转换为具有突出显示的感兴趣区域的掩模。语义分割可以表述为带有语义标签的像素分类问题或单个对象分割问题，属于同一类的像素都要被归为一类，因此语义分割是从像素级别来理解图像的。深度学习的发展促进了语义分割领域的快速发展，越来越多的应用场景需要精确且高效的分割技术，如自动驾驶、室内导航、工业检测甚至虚拟现实与增强现实等。其中，工业中的金属锈蚀分割是其中的一种应用场景。对于金属锈蚀图像的分割任务来说，属于锈蚀的像素要分成一类，属于背景的像素也要分成一类，即二分类问题。
复旦大学提出的ObjectAug，首先使用语义标签将图像分解为单独的对象和背景。接下来，使用常用的增强方法（例如缩放，平移和旋转）分别增强每个对象。然后，使用图像修复进一步恢复由对象增强带来的黑色区域。最后，将增强对象和背景组装为增强图像。但是这种方法往往是针对于有固定形状的对象，例如动物、车辆、行人等，而由于锈蚀并不具备此特点，所以并不适用。
丰富的高质量数据是训练出好的机器学习模型的关键，为了训练性能良好的锈蚀分割网络，需要大量锈蚀图像。然而在实际工业场景中，通常只能采集到几百张甚至几十张图像，同时目前并没有公开的锈蚀数据集，这就导致锈蚀分割网络模型的泛化能力差，分割效果不佳。众所周知，深度学习是有标签的监督学习，样本需要大量人工标注，费时费力，成本昂贵。因此，采用数据增强技术转换人工标注，保留标签生成数据增强集是目前最为有效的数据扩充方法。大量研究者应用数据增强技术扩充样本优化深度学习模型，提升识别精度。
数据增强是指根据一些先验知识，在保持特定信息的前提下，对原始数据进行适当变换以达到增加样本数据数量和多样性的效果。数据增强的本质是为了增强模型的泛化能力，且没有降低网络的容量，也不增加计算复杂度和调参工程量，是隐式的规整化方法，在实际应用中有重要意义。数据增强可以分为，有监督的数据增强和无监督的数据增强方法。其中有监督的数据增强采用预设的数据变换规则，在已有数据的基础上进行数据的扩增，包含单样本数据增强和多样本数据增强，无监督的数据增强分为生成新的数据和学习增强策略两个方向。
单样本数据增强，即增强一个样本时，全部围绕着该样本本身进行操作，包括几何变换类，颜色变换类等。不同于单样本数据增强，多样本数据增强方法利用多个样本来产生新的样本，如：
SMOTE即Synthetic Minority Over-sampling Technique方法（人工少数类过采样法），它是通过人工合成新样本来处理样本不平衡问题，从而提升分类器性能；类不平衡现象是很常见的，它指的是数据集中各类别数量不近似相等。如果样本类别之间相差很大，会影响分类器的分类效果。假设小样本数据数量极少，如仅占总体的1%，则即使小样本被错误地全部识别为大样本，在经验风险最小化策略下的分类器识别准确率仍能达到99%，但由于没有学习到小样本的特征，实际分类效果就会很差。
SamplePairing方法，从训练集中随机抽取两张图片分别经过基础数据增强操作（如随机翻转等）处理后经像素以取平均值的形式叠加合成一个新的样本，标签为原样本标签中的一种；这两张图片甚至不限制为同一类别，这种方法对于医学图像比较有效。经SamplePairing处理后可使训练集的规模从N扩增到N×N。实验结果表明，因SamplePairing数据增强操作可能引入不同标签的训练样本，导致在各数据集上使用SamplePairing训练的误差明显增加，而在验证集上误差则有较大幅度降低。尽管SamplePairing思路简单，性能上提升效果可观，符合奥卡姆剃刀原理，但遗憾的是可解释性不强。
Mixup是基于邻域风险最小化原则的数据增强方法，它使用线性插值得到新样本数据。
SMOTE，SamplePairing，Mixup三者思路上有相同之处，都是试图将离散样本点连续化来拟合真实样本分布，不过所增加的样本点在特征空间中仍位于已知小样本点所围成的区域内。如果能够在给定范围之外适当插值，也许能实现更好的数据增强效果。
无监督的数据增强方法包括两类：（1）通过模型学习数据的分布，随机生成与训练数据集分布一致的图片，代表方法生成式对抗网络（GAN，GenerativeAdversarialNetworks）。（2）通过模型学习出适合当前任务的数据增强方法，代表方法自动数据增强（AutoAugment）。AutoAugment的基本思路是使用增强学习从数据本身寻找最佳图像变换策略，对于不同的任务学习不同的增强方法，即学习已有数据增强的组合策略。
此外，也有学者将对抗生成网络用于数据增强，但是这种方法需要足够的数据来支持网络训练收敛，当真实数据较少时，网络难以达到一个满意的纳什平衡，很容易陷入模式崩溃。一旦如此，虽然增加了样本数量，但是新增的样本近似于对原始样本的简单复制，对于样本的多样性并没有帮助，同时在划分数据集时还有可能出现数据泄露。
上述方法通用数据集可以起到不错的效果。但是由于锈蚀图像有其特殊性：没有固定形状、背景复杂、颜色多样，应用到锈蚀数据集上，尽管可以增加数据集的样本数量，却并没有带来较大的网络性能提升。
发明内容
为解决现有技术的不足，实现利用有限样本数量生成更多的锈蚀图像，增加数据集样本数量的同时，增加样本多样性，使锈蚀分割网络训练充分，避免出现过拟合现象的目的，本发明采用如下的技术方案：
一种金属锈蚀图像的数据增强方法，包括如下步骤：
步骤S1，获取金属锈蚀的图像；
步骤S2，对图像进行切分，得到多个切分后的子图，包括如下步骤：
步骤S2.1，基于金属锈蚀图像的水平和竖直方向，确定切分次数，通过切分次数设置切分的子图数量；
步骤S2.2，基于金属锈蚀图像水平方向尺寸与子图水平方向切分次数，对金属锈蚀图像进行水平方向切分；
步骤S2.3，基于金属锈蚀图像竖直方向尺寸与子图竖直方向切分次数，对金属锈蚀图像进行竖直方向切分；
步骤S3，对每一张子图进行增强操作；
步骤S4，将切分的子图重新组合成与原始金属锈蚀图像尺寸一致的新图像。
进一步地，所述步骤S1中，获取的金属锈蚀图像宽高尺寸统一为N*M；
所述步骤S2.1中，子图数量为k*k，k表示水平或竖直方向切分次数，子图在不同取值时，能够生成不同的新样本；
所述步骤S2.2中，每一张子图的尺寸为，若N不能被k整除，则每前k-1张的子图尺寸为，第k张子图尺寸为，表示向上取整；
所述步骤S2.3中，若N和M能被k整除，则每一张子图的尺寸为；若N能被k整除，M不能被k整除，则有k2-k张子图的尺寸为，有k张子图的尺寸为；若N不能被k整除，M能被k整除，则有k2-k张子图的尺寸为，有k张子图的尺寸为；若N和M不能被k整除，则有k2-2k+1张子图的尺寸为，有k-1张子图的尺寸为，有k-1张子图的尺寸为，有1张子图的尺寸为。
进一步地，所述步骤S3包括如下步骤：
步骤S3.1，构建一组随机参数，分别对应不同的增强操作；
步骤S3.2，基于随机选取的随机参数，对子图做对应的增强操作。
进一步地，所述增强操作包括对子图不做任何操作、对子图做亮度调暗操作、对子图做亮度调亮操作、对子图做水平翻转操作、对子图做垂直翻转操作、对子图做顺时针旋转90°操作。
进一步地，所述步骤S4包括如下步骤：
步骤S4.1，构建子图列表blocklist=random.sample(range(0,k*k), k*k)，random.sample(·)表示随机取样操作，range(·)表示子图序列；
步骤S4.2，对每一张子图随机重新排序，并从子图的序列range中随机获取指定数量k*k的子图，使用数组序列拼接函数numpy.concatenate，将子图重新组合起来，得到与原始金属锈蚀图像一直的新图像。
一种金属锈蚀图像的分割方法，基于所述的一种金属锈蚀图像的数据增强方法，还包括步骤S5，将新图像用于金属锈蚀分割模型的训练，并通过训练好的模型对待分割的图像进行金属锈蚀分割。
进一步地，所述金属锈蚀分割模型采用二元交叉熵（BCE）损失函数进行训练：
，
其中表示二元标签值0或者1，即不属于金属锈蚀的背景或属于金属锈蚀的前景，表示属于标签值的概率，N’表示图像的像素点个数，在BCE损失中，背景与前景具有相同的权重。
一种金属锈蚀图像的数据增强装置，包括依次连接的图像获取模块、图像切分模块、子图增强模块和子图组合模块；
所述图像获取模块，获取金属锈蚀的图像；
所述图像切分模块，对图像进行切分，得到多个切分后的子图；具体地，基于金属锈蚀图像的水平和竖直方向，确定切分次数，通过切分次数设置切分的子图数量；基于金属锈蚀图像水平方向尺寸与子图水平方向切分次数，对金属锈蚀图像进行水平方向切分；基于金属锈蚀图像竖直方向尺寸与子图竖直方向切分次数，对金属锈蚀图像进行竖直方向切分；
所述子图增强模块，对每一张子图进行增强操作；
所述子图组合模块，将切分的子图重新组合成与原始金属锈蚀图像尺寸一致的新图像。
一种金属锈蚀图像的分割装置，包括相互连接的图像增强模块和金属锈蚀分割模块；
所述图像增强模块，是基于所述的一种金属锈蚀图像的数据增强装置得到的新图像；
所述金属锈蚀分割模块，采用金属锈蚀分割模型基于新图像进行分割训练，并通过训练好的模型对待分割的图像进行金属锈蚀分割。
一种金属锈蚀图像的数据增强设备，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述一个或多个处理器执行所述可执行代码时，用于实现所述的一种金属锈蚀图像的数据增强方法。
本发明的优势和有益效果在于：
本发明提出的一种金属锈蚀图像的数据增强、分割方法及装置，充分利用了已有的金属锈蚀图像，生成了新的样本图像，不仅增加了图像数量，并且增强了图像的丰富性，从而避免了锈蚀分割网络训练所需锈蚀图像难以采集、样本数量不足、样本多样性不足的情况，有利于提高网络的分割性能及其泛化能力。
附图说明
图1是本发明实施例中经数据增强的金属锈蚀图像分割方法流程图。
图2是本发明实施例中的原始输入图像。
图3是本发明实施例中数据增强处理后由子图组合成的新图。
图4a是本发明实施例中输入图像分割模型的图像、对应真值标签、未经数据增强和经各种数据增强的效果图之一。
图4b是本发明实施例中输入图像分割模型的图像、对应真值标签、未经数据增强和经各种数据增强的效果图之二。
图4c是本发明实施例中输入图像分割模型的图像、对应真值标签、未经数据增强和经各种数据增强的效果图之三。
图4d是本发明实施例中输入图像分割模型的图像、对应真值标签、未经数据增强和经各种数据增强的效果图之四。
图5是本发明实施例中一种金属锈蚀图像的数据增强设备的结构示意图。
具体实施方式
以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。
如图1所示，一种金属锈蚀图像的数据增强方法，包括如下步骤：
步骤S1，获取金属锈蚀的原始图像，并调整图像宽高尺寸为N*M。
步骤S2，对调整好的尺寸的图像进行切分，得到多个切分后的子图，具体包括如下步骤：
步骤S2.1，设置切分子图的数量为k*k，k在不同取值时，能够生成不同的新样本；
步骤S2.2，将锈蚀图像沿水平方向切分，每一张子图的尺寸为，如果N不能被k整除，则每前k-1张的子图尺寸为，第k张子图尺寸为，表示向上取整；
步骤S2.3，再将锈蚀图像沿竖直方向切分，如果N和M能被k整除，则每一张子图的尺寸为，如果N能被k整除，M不能被k整除，则有k2-k张子图的尺寸为，有k张子图的尺寸为；如果N不能被k整除，M能被k整除，则有k2-k张子图的尺寸为，有k张子图的尺寸为；如果N和M不能被k整除，则有k2-2k+1张子图的尺寸为，有k-1张子图的尺寸为，有k-1张子图的尺寸为，有1张子图的尺寸为。
步骤S3，对每一张子图进行增强操作，具体包括如下步骤：
步骤S3.1，构建一组随机参数，分别对应不同的增强操作：p=random.choice([0,1,2,3,4,5])；
步骤S3.2，基于随机选取的随机参数p，对子图做对应的增强操作。
图像数据的增强操作，包括有监督的图像数据增强和无监督的图像数据增强，有监督的图像数据增强包含单样本数据增强和多样本数据增强，无监督的数据增强分为生成新的数据和学习增强策略。其中，单样本图像数据增强，围绕单个样本进行操作，包括几何变换类，颜色变换类等。多样本数据增强方法利用多个样本来产生新的样本。
几何变换类即对图像进行几何变换，包括翻转，旋转，裁剪，变形，缩放等各类操作，下面展示其中的若干个操作。翻转操作和旋转操作，对于部分对方向不敏感的任务，如图像分类，属于常见的操作。但如手写数字识别，就不适合使用图像反转，因为图像返回会造成 6 和 9 的无法区分。翻转和旋转不改变图像的大小，而裁剪会改变图像的大小。通常在训练的时候会采用随机裁剪的方法，在测试的时候选择裁剪中间部分或者不裁剪。对图像的随机剪裁，往往根据图像本身大小，随机生成一个较小的方框，然后对该图像裁剪该方框大小的一块区域。通过这种方式，可以随机的将一个图片改变成不同中心的多个样本。该方法可以减少因为样本的噪声对深度学习模型的影响，同时也会增强模型的稳定性和鲁棒性。
上述的几何变换类操作，没有改变图像本身的内容，而是选择了图像的一部分或者对像素进行了重分布。如果需要改变图像本身的内容，则属于颜色变换类的数据增强，常见的包括噪声、模糊、颜色变换、擦除、填充等等。基于噪声的数据增强就是在原来的图片的基础上，随机叠加一些噪声，最常见的做法是高斯噪声。更复杂的噪声，则是在面积大小可选定、位置随机的矩形区域上丢弃像素产生黑色矩形块，从而产生一些彩色噪声，以CoarseDropout方法为代表，甚至还可以对图片上随机选取一块区域并擦除图像信息。图像的颜色空间编码方式一般是基于高、宽和 RGB 或者 RGBA 颜色通道的三维形式。而为了做图像的增强处理，最佳的方式是直接处理颜色通道，简单且可解释性高。例如使图像变成灰度图，便可提取 RGB 中的某个颜色通道，或者进行多种形式的累加，形成一个单通道的图像。也可以通过直接针对RGB 中的某个颜色通道进行减去或者增加一个阈值，从而做到整个图像色彩的增强或者变弱，基于修改通道颜色，可以影响图像的直方图分布特征，也可以影响图像上面光照的强度等信息。这种方法只适用于对颜色不敏感的任务，如农业领域的绿叶识别，则不适用于此方法。
本发明实施例中，当p=0时，对子图不做任何操作；当p=1时，对子图做亮度调暗操作；当p=2时，对子图做亮度调亮操作；当p=3时，对子图做水平翻转操作；当p=4时，对子图做垂直翻转操作；当p=5时，对子图做顺时针旋转90°操作。
步骤S4，将切分的子图重新组合成与原始图像尺寸一致的新图像，具体包括如下步骤：
步骤S4.1，构建子图列表，blocklist=random.sample(range(0, k*k), k*k)，random.sample(·)表示随机取样操作，range(·)表示子图序列；
步骤S4.2，对每一张子图随机重新排序，并从子图的序列range中随机获取指定数量k*k的子图，使用数组序列拼接函数numpy.concatenate将子图重新组合起来，得到新的图像。
如图2所示，对一张金属锈蚀图像进行尺寸调整，将图像的尺寸调整到256×256；设置切分子图的数量为2×2；将锈蚀图像沿水平方向切分为2张；将锈蚀图像沿垂直方向切分为2张；对第1张子图做顺时针旋转90°操作，对第2张子图做水平翻转操作，对第3张子图不做任何操作，对第4张子图做亮度调暗操作；将4张子图重新组合成与原来图像尺寸一致的新图像；其中：原左上角子图现处于右下角；原右上角子图现处于左上角；原左下角子图现处于右上角；原右下角子图现处于左下角；每张子图的尺寸为128×128。
如图3所示，这是经过处理后的金属锈蚀图像。通过上述方法对金属锈蚀图像进行数据增强，不仅增加了图像数量，而且增强了图像的丰富性。生成的图像使得网络更加关注锈蚀图像的低级语义信息，有利于提高网络的分割性能及其泛化能力。
步骤S5，将新图像用于金属锈蚀分割模型的训练，并通过训练好的模型对待分割的图像进行金属锈蚀分割。
金属锈蚀分割模型选择U-Net作为分割模型，U-Net是一个经典的语义分割模型，其结构形似U型，左侧可视为一个编码器，右侧可视为一个解码器。编码器有四个子模块，每个子模块包含两个卷积层，每个子模块之后有一个通过最大池化实现的下采样层，每次降采样之后特征图的尺寸减半，通道数翻倍。解码器包含四个子模块，分辨率通过上采样操作依次上升，直到与输入图像的分辨率一致，每经过一次上采样操作，都会使特征图的尺寸翻倍，通道数减半。该网络还使用了跳跃连接，将上采样结果与编码器中具有相同分辨率的子模块的输出进行连接，作为解码器中下一个子模块的输入。在上采样的最后一层中，采用一个卷积核为1*1的卷积层将特征向量映射到网络的输出层。
分割模型的损失函数采用二元交叉熵（BCE）损失函数进行训练，定义如下：
，
其中表示二元标签值0或者1，即不属于金属锈蚀的背景或属于金属锈蚀的前景，表示属于标签值的概率，N’表示图像的像素点个数。在BCE损失中，背景与前景具有相同的权重。
本发明实施例中，通过实验，将数据增强的金属锈蚀图像用于金属锈蚀分割模型，并将该模型与其他方法的技术锈蚀分割模型进行比较：
1、实验条件
本实验在如表1所示的环境下进行。
表1 实验环境配置
2、训练细节
训练时选择Adam算法作为优化器，初始的学习率设置为0.001，batchsize设置为16，epochs设置为200。采用学习率动态调整策略：如果验证集的损失在连续20个epoch中没有下降，则模型地学习率减少一半；如果验证集的损失在连续100个epoch中没有下降，则模型将自动停止训练，防止过拟合。
3、损失函数
选择二元交叉熵（BCE）损失函数，定义如下：
，
其中是二元标签值0或者1，是属于标签值的概率。在BCE损失中，背景与前景具有相同的权重。
4、评价指标
以下指标用于评估金属锈蚀分割模型的性能：Accuracy、Recall、Precision、F1、mIoU。TP为预测正例正确，FP为预测正例错误，TN为预测负例正确，FN为预测负例错误。这些评价函数的定义如下：
，
，
，
，
，
5、实验内容
分别利用旋转、翻转、添加噪声、亮度调节、随机遮挡以及本发明提出的数据增强方法对同一数据集进行处理，选择U-Net作为分割模型，输入图像尺寸为256×256×1，为了保证公平比较，每次训练的参数、环境、测试集都是一致的。实验结果如图4a至图4d及表2所示。
表2 不同数据增强方法的分割性能对比
上表显示，通过与各种数据增强方法如旋转、翻转、添加噪声、亮度调节以及随机剪切进行对比，本发明提出的数据增强方法在F1、mIoU指标上提升最多，相比于原始数据集，分割结果在F1和mIoU指标上分别提高了6.75%和7.81%。与其他数据增强方法进行对比，本发明提出的数据增强方法也表现出了明显优势。
如图4a至图4d所示，为上表中网络模型对金属锈蚀的分割结果比较，各图中，依次为输入图像、输入图像对应的真值标签图、未经过数据增强的分割效果图、经过旋转（180°）数据增强的分割结果图、经过垂直翻转数据增强的分割结果图、经过添加高斯噪声数据增强的分割结果图、随即剪切（120×120）数据增强的分割结果图、经过亮度调暗数据增强的分割结果图、经过本发明数据增强的分割结果图。
一种金属锈蚀图像的数据增强装置，包括依次连接的图像获取模块、图像切分模块、子图增强模块和子图组合模块；
图像获取模块，获取金属锈蚀的图像；
图像切分模块，对图像进行切分，得到多个切分后的子图；具体地，基于金属锈蚀图像的水平和竖直方向，确定切分次数，通过切分次数设置切分的子图数量；基于金属锈蚀图像水平方向尺寸与子图水平方向切分次数，对金属锈蚀图像进行水平方向切分；基于金属锈蚀图像竖直方向尺寸与子图竖直方向切分次数，对金属锈蚀图像进行竖直方向切分；
子图增强模块，对每一张子图进行增强操作；
子图组合模块，将切分的子图重新组合成与原始金属锈蚀图像尺寸一致的新图像。
一种金属锈蚀图像的分割装置，包括相互连接的图像增强模块和金属锈蚀分割模块；
图像增强模块，是基于所述的一种金属锈蚀图像的数据增强装置得到的新图像；
金属锈蚀分割模块，采用金属锈蚀分割模型基于新图像进行分割训练，并通过训练好的模型对待分割的图像进行金属锈蚀分割。
这部分内容实施方式与上述方法实施例的实施方式类似，此处不再赘述。
与前述一种金属锈蚀图像的数据增强方法的实施例相对应，本发明还提供了一种金属锈蚀图像的数据增强设备的实施例。
参见图5，本发明实施例提供的一种金属锈蚀图像的数据增强设备，包括存储器和一个或多个处理器，存储器中存储有可执行代码，所述一个或多个处理器执行所述可执行代码时，用于实现上述实施例中的一种金属锈蚀图像的数据增强方法。
本发明一种金属锈蚀图像的数据增强设备的实施例可以应用在任意具备数据处理能力的设备上，该任意具备数据处理能力的设备可以为诸如计算机等设备或装置。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在任意具备数据处理能力的设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图5所示，为本发明一种金属锈蚀图像的数据增强设备所在任意具备数据处理能力的设备的一种硬件结构图，除了图5所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的任意具备数据处理能力的设备通常根据该任意具备数据处理能力的设备的实际功能，还可以包括其他硬件，对此不再赘述。
上述设备中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本发明实施例还提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现上述实施例中的一种金属锈蚀图像的数据增强方法。
所述计算机可读存储介质可以是前述任一实施例所述的任意具备数据处理能力的设备的内部存储单元，例如硬盘或内存。所述计算机可读存储介质也可以是任意具备数据处理能力的设备的外部存储设备，例如所述设备上配备的插接式硬盘、智能存储卡（Smart Media Card，SMC）、SD卡、闪存卡（Flash Card）等。进一步的，所述计算机可读存储介质还可以既包括任意具备数据处理能力的设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述任意具备数据处理能力的设备所需的其他程序和数据，还可以用于暂时地存储已经输出或者将要输出的数据。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的范围。

Claims (10)

1.一种金属锈蚀图像的数据增强方法，其特征在于包括如下步骤：
步骤S1，获取金属锈蚀的图像；
步骤S2，对图像进行切分，得到多个切分后的子图，包括如下步骤：
步骤S2.1，基于金属锈蚀图像的水平和竖直方向，确定切分次数，通过切分次数设置切分的子图数量；
步骤S2.2，基于金属锈蚀图像水平方向尺寸与子图水平方向切分次数，对金属锈蚀图像进行水平方向切分；
步骤S2.3，基于金属锈蚀图像竖直方向尺寸与子图竖直方向切分次数，对金属锈蚀图像进行竖直方向切分；
步骤S3，对每一张子图进行增强操作；
步骤S4，将切分的子图重新组合成与原始金属锈蚀图像尺寸一致的新图像。
2.根据权利要求1所述的一种金属锈蚀图像的数据增强方法，其特征在于：
所述步骤S1中，获取的金属锈蚀图像宽高尺寸统一为N*M；
所述步骤S2.1中，子图数量为k*k，k表示水平或竖直方向切分次数；
所述步骤S2.2中，每一张子图的尺寸为，若N不能被k整除，则每前k-1张的子图尺寸为，第k张子图尺寸为，表示向上取整；
所述步骤S2.3中，若N和M能被k整除，则每一张子图的尺寸为；若N能被k整除，M不能被k整除，则有k2-k张子图的尺寸为，有k张子图的尺寸为；若N不能被k整除，M能被k整除，则有k2-k张子图的尺寸为，有k张子图的尺寸为；若N和M不能被k整除，则有k2-2k+1张子图的尺寸为，有k-1张子图的尺寸为，有k-1张子图的尺寸为，有1张子图的尺寸为。
3.根据权利要求1所述的一种金属锈蚀图像的数据增强方法，其特征在于：所述步骤S3包括如下步骤：
步骤S3.1，构建一组随机参数，分别对应不同的增强操作；
步骤S3.2，基于随机选取的随机参数，对子图做对应的增强操作。
4.根据权利要求1所述的一种金属锈蚀图像的数据增强方法，其特征在于：所述增强操作包括对子图不做任何操作、对子图做亮度调暗操作、对子图做亮度调亮操作、对子图做水平翻转操作、对子图做垂直翻转操作、对子图做旋转操作。
5.根据权利要求1所述的一种金属锈蚀图像的数据增强方法，其特征在于：所述步骤S4包括如下步骤：
步骤S4.1，构建子图列表；
步骤S4.2，对每一张子图随机重新排序，并从子图的序列中随机获取指定数量的子图，使用数组序列拼接，将子图重新组合起来，得到与原始金属锈蚀图像一直的新图像。
6.一种金属锈蚀图像的分割方法，其特征在于：基于权利要求1所述的一种金属锈蚀图像的数据增强方法，还包括步骤S5，将新图像用于金属锈蚀分割模型的训练，并通过训练好的模型对待分割的图像进行金属锈蚀分割。
7.根据权利要求6所述的一种金属锈蚀图像的分割方法，其特征在于：金属锈蚀分割模型采用二元交叉熵损失函数进行训练：
，
其中表示二元标签值0或者1，即不属于金属锈蚀的背景或属于金属锈蚀的前景，表示属于标签值的概率，N’表示图像的像素点个数。
8.一种金属锈蚀图像的数据增强装置，包括依次连接的图像获取模块、图像切分模块、子图增强模块和子图组合模块，其特征在于：
所述图像获取模块，获取金属锈蚀的图像；
所述图像切分模块，对图像进行切分，得到多个切分后的子图；具体地，基于金属锈蚀图像的水平和竖直方向，确定切分次数，通过切分次数设置切分的子图数量；基于金属锈蚀图像水平方向尺寸与子图水平方向切分次数，对金属锈蚀图像进行水平方向切分；基于金属锈蚀图像竖直方向尺寸与子图竖直方向切分次数，对金属锈蚀图像进行竖直方向切分；
所述子图增强模块，对每一张子图进行增强操作；
所述子图组合模块，将切分的子图重新组合成与原始金属锈蚀图像尺寸一致的新图像。
9.一种金属锈蚀图像的分割装置，包括相互连接的图像增强模块和金属锈蚀分割模块，其特征在于：
所述图像增强模块，是基于权利要求8所述的一种金属锈蚀图像的数据增强装置得到的新图像；
所述金属锈蚀分割模块，采用金属锈蚀分割模型基于新图像进行分割训练，并通过训练好的模型对待分割的图像进行金属锈蚀分割。
10.一种金属锈蚀图像的数据增强装置，其特征在于，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述一个或多个处理器执行所述可执行代码时，用于实现权利要求1-5中任一项所述的一种金属锈蚀图像的数据增强方法。
CN202310323813.3A 2023-03-30 2023-03-30 一种金属锈蚀图像的数据增强、分割方法及装置 Pending CN116109518A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310323813.3A CN116109518A (zh) 2023-03-30 2023-03-30 一种金属锈蚀图像的数据增强、分割方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310323813.3A CN116109518A (zh) 2023-03-30 2023-03-30 一种金属锈蚀图像的数据增强、分割方法及装置

Publications (1)

Publication Number Publication Date
CN116109518A true CN116109518A (zh) 2023-05-12

Family

ID=86267530

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310323813.3A Pending CN116109518A (zh) 2023-03-30 2023-03-30 一种金属锈蚀图像的数据增强、分割方法及装置

Country Status (1)

Country Link
CN (1) CN116109518A (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112085745A (zh) * 2020-09-07 2020-12-15 福建农林大学 基于均衡采样拼接的多通道u型全卷积神经网络的视网膜血管图像分割方法
CN113689353A (zh) * 2021-08-26 2021-11-23 上海联影智能医疗科技有限公司 三维图像的增强方法、图像增强模型的训练方法及装置
CN115170579A (zh) * 2022-09-09 2022-10-11 之江实验室 一种金属锈蚀图像分割方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112085745A (zh) * 2020-09-07 2020-12-15 福建农林大学 基于均衡采样拼接的多通道u型全卷积神经网络的视网膜血管图像分割方法
CN113689353A (zh) * 2021-08-26 2021-11-23 上海联影智能医疗科技有限公司 三维图像的增强方法、图像增强模型的训练方法及装置
CN115170579A (zh) * 2022-09-09 2022-10-11 之江实验室 一种金属锈蚀图像分割方法和装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
刘树春 等: "深度实践OCR 基于深度学习的文字识别", 31 May 2020, 哈尔滨工业大学出版社, pages: 123 *
周雨薇 等: "基于改进残差U-Net的乳腺肿块图像分割方法", 西南科技大学学报, vol. 36, no. 2, pages 70 *
石翠萍: "光学遥感图像压缩方法及应用", 哈尔滨工业大学出版社, pages: 10 *

Similar Documents

Publication Publication Date Title
CN111080628B (zh) 图像篡改检测方法、装置、计算机设备和存储介质
CN110738207B (zh) 一种融合文字图像中文字区域边缘信息的文字检测方法
CN108229490B (zh) 关键点检测方法、神经网络训练方法、装置和电子设备
CN111680690B (zh) 一种文字识别方法及装置
CN114529459B (zh) 一种对图像边缘进行增强处理的方法和系统及介质
CN110766017B (zh) 基于深度学习的移动终端文字识别方法及系统
CN111275034B (zh) 从图像中提取文本区域的方法、装置、设备和存储介质
CN110334709B (zh) 基于端到端多任务深度学习的车牌检测方法
CN112800955A (zh) 基于加权双向特征金字塔的遥感影像旋转目标检测方法及系统
CN116645592B (zh) 一种基于图像处理的裂缝检测方法和存储介质
CN111681198A (zh) 一种形态学属性滤波多模融合成像方法、系统及介质
CN115761225A (zh) 一种基于神经网络可解释性的图像标注方法
CN113159045A (zh) 一种结合图像预处理与卷积神经网络的验证码识别方法
CN116612280A (zh) 车辆分割方法、装置、计算机设备和计算机可读存储介质
CN111597845A (zh) 一种二维码检测方法、装置、设备及可读存储介质
CN111429468B (zh) 细胞核分割方法、装置、设备及存储介质
CN113723399A (zh) 一种车牌图像矫正方法、车牌图像矫正装置和存储介质
Han et al. An enhanced image binarization method incorporating with Monte-Carlo simulation
CN114519788A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN114511862B (zh) 表格识别方法、装置及电子设备
CN115909378A (zh) 单据文本检测模型的训练方法及单据文本检测方法
CN116109518A (zh) 一种金属锈蚀图像的数据增强、分割方法及装置
CN115937095A (zh) 融合图像处理算法和深度学习的印刷缺陷检测方法及系统
CN112651926A (zh) 一种基于递归注意力机制的裂纹检测的方法及装置
CN113537229A (zh) 票据图像生成方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination