CN114758133A - 基于超像素主动学习和半监督学习策略的图像瑕疵分割方法 - Google Patents

基于超像素主动学习和半监督学习策略的图像瑕疵分割方法 Download PDF

Info

Publication number
CN114758133A
CN114758133A CN202210468960.5A CN202210468960A CN114758133A CN 114758133 A CN114758133 A CN 114758133A CN 202210468960 A CN202210468960 A CN 202210468960A CN 114758133 A CN114758133 A CN 114758133A
Authority
CN
China
Prior art keywords
image
supervised
semi
inputting
branch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210468960.5A
Other languages
English (en)
Inventor
程良伦
胡文韬
吴文昊
黄国恒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN202210468960.5A priority Critical patent/CN114758133A/zh
Publication of CN114758133A publication Critical patent/CN114758133A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及工业机器视觉领域，公开了基于超像素主动学习和半监督学习策略的图像瑕疵分割方法，包括以下步骤：S1.得到图像数据集；S2.将图像数据集进行超像素处理，将每张图像的像素聚类成像素组；S3.通过主动学习策略选取有标注有价值的像素组，并由专家标注有标注价值的像素组对应的图像；S4.构建双分支半监督语义分割模型，将标注好的图像集和未标注的图像集分别输入至双分支半监督语义分割模型进行训练；S5.将待预测的图像输入至训练好的双分支半监督语义分割模型，得到待预测的图像的瑕疵分割结果。本发明解决了现有技术难以获得一个完整标注的大数据集进行全监督学习的问题，且具有样本需求量小，精度高的特点。

Description

基于超像素主动学习和半监督学习策略的图像瑕疵分割方法
技术领域
本发明涉及工业机器视觉领域，尤其涉及一种基于超像素主动学习和半监督学习策略的图像瑕疵分割方法。
背景技术
近年来，传统机器学习方法在物件外观瑕疵分割应用中取得了一定进展，例如，利用小波方法提出了识别变形材料外观瑕疵的检测方法；利用频域滤波器技术处理纹理瑕疵图像以削弱背景纹理的影响实现瑕疵特征的提取。尽管传统机器学习方法在各类器件表面瑕疵检测中取得了一定的效果，但远不能满足工业自动化生产对于瑕疵检测精度、速度和泛化能力的需求。随着深度学习在图像领域快速发展，基于深度学习的物件外观瑕疵分割方法在一定程度上取得了可观的效果。然而，现有的深度学习方法大多采用了全监督学习的策略，即所有的训练数据都进行了完整的标注。全监督学习的方法虽然能够实现很好的效果，但这种方法对数据及数据的标注具有极大的依赖性。数据量越大，数据的标注越精细，全监督学习就能取得越好的效果，反之，数据量越小，标注越粗糙，全监督学习的效果也会随之骤降。
然而，实际应用中，往往存在标记成本较为昂贵且标记难以大量获取的问题。尤其是在工业机器视觉领域，数据的获取和标注都会为实际生产增加大量的成本，制作一个完整标注的大数据集所带来的成本往往是无法接受的。在工业机器视觉领域中，未经标注的数据相对易于获取。在这种情况下，半监督学习更适用于实际生产的应用。半监督学习方法介于全监督学习和无监督学习之间。与全监督学习方法不同的是，半监督学习方法只需要少量标注好的样本和大量未经标注的样本，即可达到全监督学习的效果。然而，现有半监督学习方法大多没有考虑应该选取哪些样本进行少量标注的问题，导致训练样本的质量不稳定，难以在工业机器视觉领域获得较好的效果。
主动学习策略的核心思想是假设不同样本对于特定任务的重要程度不同，所以带来的表现提升也不全相同。通过选取样本中较为重要的样本进行少量标注，达到全监督学习的效果。在这一过程中，主动学习的本质是对样本的重要性进行评估。与半监督学习相似的是，主动学习策略可以使当前模型以较少的标注样本数得到较好的表现。因此，将主动学习策略和半监督学习的优势相结合并应用在工业视觉领域具有十分重要的意义。
本技术领域中现有一种基于正样本学习的半监督工业制品瑕疵检测方法及系统，通过正样本图像训练图像修复网络和瑕疵分割预测网络；采用含待测瑕疵的图像输入图像修复网络得到恢复后的正品图像，计算两者差值的绝对值后将三幅图像拼接得到检测张量，通过分割预测网络根据检测张量生成分割掩模二值图像，得到瑕疵区域。
然而现有技术存在难以获得一个完整标注的大数据集进行全监督学习的问题，因此如何发明基于超像素主动学习和半监督学习策略的图像瑕疵分割方法，是本技术领域亟需解决的问题。
发明内容
本发明为了解决现有技术难以获得一个完整标注的大数据集进行全监督学习的问题，提供了基于超像素主动学习和半监督学习策略的图像瑕疵分割方法，其具有样本需求量小，精度高的特点。
为实现上述本发明目的，采用的技术方案如下：
基于超像素主动学习和半监督学习策略的图像瑕疵分割方法，包括以下步骤：
S1.采集若干个含有瑕疵的图像并制作成图像数据集；
S2.将图像数据集进行超像素处理，将每张图像的像素聚类成像素组；
S3.通过主动学习策略选取有标注价值的像素组，并由专家标注有标注价值的像素组对应的图像，得到标注好的图像集；
S4.构建双分支半监督语义分割模型，将标注好的图像集和未标注的图像集分别输入至双分支半监督语义分割模型进行训练；
S5.将待预测的图像输入至训练好的双分支半监督语义分割模型，得到待预测的图像的瑕疵分割结果。
优选的，所述的主动学习策略，具体为：
A1.随机选取图像数据集中一部分图像进行标注，并将标注的图像组成种子图像集
A2.通过种子图像集分别训练一个全监督语义分割模型和一个成本预测模型；
A3.将图像数据集中未标注的图像依次输入至训练好的全监督语义分割模型和成本预测模型，并输出每张图像的瑕疵分割结果和成本预测结果图；
A4.将瑕疵分割结果通过价值估算得到图像数据集中图像的标注价值分布图，并与对应的成本预测结果图融合，得到融合信息图；
A5.选取每张融合信息图中信息量高于预设阈值的像素组，标记在原图上并交由专家进行标注，将标注后的图像加入至种子图像集；
A6.重复步骤A2～A5，直到用尽专家标注预算，并将此时的种子图像集作为标注好的图像集。
进一步的，将瑕疵分割结果通过价值估算得到图像数据集中图像的标注价值分布图，并与对应的成本预测结果图融合，得到融合信息图，具体步骤为：
B1.通过价值估算公式得到图像数据集中图像的像素点的信息熵：
Figure BDA0003625750080000031
其中，(x,y)为像素点、Ii为图像数据集中的图像、Seg(Ii)为瑕疵分割结果，Pdef (x ,y)(Seg(Ii))为像素点(x,y)属于瑕疵的概率、H(x,y)为像素点(x,y)的信息熵；
B2.组合图像数据集中图像中的每一个像素点，得到标注价值分布图
Figure BDA0003625750080000032
其中，Vi为标注价值分布图；
B3.将对应的标注价值分布图与成本预测结果图进行融合，得到融合信息图。
更进一步的，将对应的标注价值分布图与成本预测结果图进行融合，具体为：
Figure BDA0003625750080000033
其中，Fi为融合信息图、Ci为成本预测结果图。
更进一步的，所述的双分支半监督语义分割模型的第一分支为一个用于训练标注好的图像集的全监督卷积神经网络，第二分支为一个用于训练未标注的图像集的自监督卷积神经网络；第一分支和第二分支共用一个编码器和解码器。
更进一步的，将标注好的图像集和未标注的图像集分别输入至双分支半监督语义分割模型进行训练，具体为：将标注好的图像输入全监督卷积神经网络进行全监督训练，同时将未标注的图像输入自监督卷积神经网络进行自监督训练；训练时全监督卷积神经网络的损失函数和自监督卷积神经网络的损失函数合并为总损失函数。
更进一步的，将待预测的图像输入至训练好的双分支半监督语义分割模型，得到瑕疵分割结果，具体步骤为：
K1.关闭双分支半监督语义分割模型的自监督卷积神经网络的输入渠道；
K2.将待预测的图像输入全监督卷积神经网络的编码器，得到底层特征图和融合特征图；
K3.将底层特征图和融合特征图输入全监督卷积神经网络的解码器，得到最终的预测结果图。
更进一步的，将待预测的图像输入全监督卷积神经网络的编码器，得到底层特征图和融合特征图，具体步骤为：
K201.将待预测的图像通过深度卷积神经网络Resnet-101抽取特征，得到底层特征图M1；
K202.将底层特征图M1输入到金子塔池化模块进行多尺度特征抽取，得到多尺度特征图M2；
K203.将多尺度特征图M2输入一个1×1的卷积核进行特征融合，得到融合特征图M3。
更进一步的，将底层特征图和融合特征图输入全监督卷积神经网络的解码器，得到最终的预测结果图，具体步骤为：
K301.将底层特征图M1输入一个1×1的卷积核得到特征图M4；
K302.将融合特征图M3输入一个4倍的上采样模块得到特征图M5；
K303.将特征图M4及特征图M5拼接在一起以融合底层特征和多尺度特征，得到拼接特征图M6；
K304.将拼接特征图M6经过一个3×3的卷积核与一个4倍的上采样模块后，输出最终的预测结果图。
一种基于超像素主动学习和半监督学习策略的图像瑕疵分割系统，包括用于采集若干个含有瑕疵的图像并制作成图像数据集的数据采集模块、用于将图像数据集进行超像素处理，将每张图像的像素聚类成像素组的数据处理模块、用于选取并标注有标注价值的像素组中的图像的主动学习策略模块、用于对输入的预测的图像进行瑕疵分割的双分支半监督语义分割模型。
本发明的有益效果如下：
本发明对图像进行超像素处理，通过主动学习策略以选取并将标注像素组中的图像，构建并通过标注的图像训练双分支半监督语义分割模型，通过训练好的双分支半监督语义分割模型对待预测图像进行瑕疵分割。由此，本发明解决了现有技术难以获得一个完整标注的大数据集进行全监督学习的问题，并具有样本需求量小，精度高的特点。
附图说明
图1是本基于超像素主动学习和半监督学习策略的图像瑕疵分割方法的流程示意图。
图2是主动学习策略的流程示意图。
图3是双分支半监督语义分割模型的训练流程示意图。
图4是语义分割模型编码器解码器的结构示意图。
具体实施方式
下面结合附图和具体实施方式对本发明做详细描述。
实施例1
如图1所示，基于超像素主动学习和半监督学习策略的图像瑕疵分割方法，包括以下步骤：
S1.采集若干个含有瑕疵的图像并制作成图像数据集；
S2.将图像数据集进行超像素处理，将每张图像的像素聚类成像素组；
S3.通过主动学习策略选取有标注价值的像素组，并由专家标注有标注价值的像素组对应的图像，得到标注好的图像集；
S4.构建双分支半监督语义分割模型，将标注好的图像集和未标注的图像集分别输入至双分支半监督语义分割模型进行训练；
S5.将待预测的图像输入至训练好的双分支半监督语义分割模型，得到待预测的图像的瑕疵分割结果。
实施例2
如图1所示，基于超像素主动学习和半监督学习策略的图像瑕疵分割方法，包括以下步骤：
S1.采集若干个含有瑕疵的图像并制作成图像数据集；
本实施例中，所述的图像为瓦楞纸图像，从瓦楞纸印刷生产线上采集N张带有瑕疵、分辨率为w×h的高精度印刷瓦楞纸样本图像作为数据集。将数据集记为I＝{I1,I2,……,IN}。
S2.将图像数据集进行超像素处理，将每张图像的像素聚类成像素组；
S3.通过主动学习策略选取有标注价值的像素组，并由专家标注有标注价值的像素组对应的图像，得到标注好的图像集；
S4.构建双分支半监督语义分割模型，将标注好的图像集和未标注的图像集分别输入至双分支半监督语义分割模型进行训练；
S5.将待预测的图像输入至训练好的双分支半监督语义分割模型，得到待预测的图像的瑕疵分割结果。
在一个具体实施例中，所述超像素处理方法为Seeds分割算法。本实施例中，处理完成后，每张图像Ii对应的像素组可记为Pi＝{Pi1,Pi2,……,PiN}。像素组将在后续的处理中作为最小单元，由于像素组本身具备轮廓、像素相似性等信息，基于超像素的主动学习方法相比基于滑动窗口的方法能够更精细地获取图像标注价值，且后续专家标注时仅需选取需要标注的像素组即可完成标注，无需再手工对每一个像素进行标注。
在一个具体实施例中，所述的主动学习策略，具体为：
A1.随机选取图像数据集中一部分图像进行标注，并将标注的图像组成种子图像集
A2.通过种子图像集分别训练一个全监督语义分割模型和一个成本预测模型；
A3.将图像数据集中未标注的图像依次输入至训练好的全监督语义分割模型和成本预测模型，并输出每张图像的瑕疵分割结果和成本预测结果图；
本实施例中，所述的全监督语义分割模型为FCN，该部分模型亦可被替换成其他语义分割模型。用种子图像集的瑕疵分割结果和种子图像集作为训练集，训练一个成本预测模型Cost(·)，用于输出标注图像所需成本的成本预测结果图。其中，标注所需成本被定义为标注时所需要操作的次数。
A4.将瑕疵分割结果通过价值估算得到图像数据集中图像的标注价值分布图，并与对应的成本预测结果图融合，得到融合信息图；
A5.选取每张融合信息图中信息量高于预设阈值的像素组，标记在原图上并交由专家进行标注，将标注后的图像加入至种子图像集；
A6.重复步骤A2～A5，直到用尽专家标注预算，并将此时的种子图像集作为标注好的图像集。
在一个具体实施例中，将瑕疵分割结果通过价值估算得到图像数据集中图像的标注价值分布图，并与对应的成本预测结果图融合，得到融合信息图，具体步骤为：
B1.通过价值估算公式得到图像数据集中图像的像素点的信息熵：
Figure BDA0003625750080000071
其中，(x,y)为像素点、Ii为图像数据集中的图像、Seg(Ii)为瑕疵分割结果，Pdef (x ,y)(Seg(Ii))为像素点(x,y)属于瑕疵的概率、H(x,y)为像素点(x,y)的信息熵；
B2.组合图像数据集中图像中的每一个像素点，得到标注价值分布图
Figure BDA0003625750080000072
其中，Vi为标注价值分布图；
B3.将对应的标注价值分布图与成本预测结果图进行融合，得到融合信息图。
在一个具体实施例中，将对应的标注价值分布图与成本预测结果图进行融合，具体为：
Figure BDA0003625750080000073
其中，Fi为融合信息图、Ci为成本预测结果图。
在一个具体实施例中，所述的双分支半监督语义分割模型的第一分支为一个用于训练标注好的图像集的全监督卷积神经网络，第二分支为一个用于训练未标注的图像集的自监督卷积神经网络。
在一个具体实施例中，将标注好的图像集和未标注的图像集分别输入至双分支半监督语义分割模型进行训练，具体为：将标注好的图像输入全监督卷积神经网络进行全监督训练，同时将未标注的图像输入自监督卷积神经网络进行自监督训练；训练时全监督卷积神经网络的损失函数和自监督卷积神经网络的损失函数合并为总损失函数。
实施例3
如图1所示，基于超像素主动学习和半监督学习策略的图像瑕疵分割方法，包括以下步骤：
S1.采集若干个含有瑕疵的图像并制作成图像数据集；
S2.将图像数据集进行超像素处理，将每张图像的像素聚类成像素组；
S3.通过主动学习策略选取有标注价值的像素组，并由专家标注有标注价值的像素组对应的图像，得到标注好的图像集；
S4.构建双分支半监督语义分割模型，将标注好的图像集和未标注的图像集分别输入至双分支半监督语义分割模型进行训练；
S5.将待预测的图像输入至训练好的双分支半监督语义分割模型，得到待预测的图像的瑕疵分割结果。
在一个具体实施例中，所述超像素处理方法为Seeds分割算法。
如图2所示，在一个具体实施例中，所述的主动学习策略，具体为：
A1.随机选取图像数据集中一部分图像进行标注，并将标注的图像组成种子图像集
A2.通过种子图像集分别训练一个全监督语义分割模型和一个成本预测模型；
A3.将图像数据集中未标注的图像依次输入至训练好的全监督语义分割模型和成本预测模型，并输出每张图像的瑕疵分割结果和成本预测结果图；
A4.将瑕疵分割结果通过价值估算得到图像数据集中图像的标注价值分布图，并与对应的成本预测结果图融合，得到融合信息图；
A5.选取每张融合信息图中信息量高于预设阈值的像素组，标记在原图上并交由专家进行标注，将标注后的图像加入至种子图像集；
A6.重复步骤A2～A5，直到用尽专家标注预算，并将此时的种子图像集作为标注好的图像集。本实施例中，所述的专家预算为预先设定的标注图像总数、标注过程的总操作次数、标注过程的总工时。
在一个具体实施例中，在用尽专家标注预算前，若该轮的主动学习策略得到的标注好的图像集在后续测试中达到预期效果，即该主动学习策略得到的标注好的图像集达到同等数据集在完整标注的情况下全监督学习性能的95％时，停止循环，输出
在一个具体实施例中，将瑕疵分割结果通过价值估算得到图像数据集中图像的标注价值分布图，并与对应的成本预测结果图融合，得到融合信息图，具体步骤为：
B1.通过价值估算公式得到图像数据集中图像的像素点的信息熵：
Figure BDA0003625750080000091
其中，(x,y)为像素点、Ii为图像数据集中的图像、Seg(Ii)为瑕疵分割结果，Pdef (x ,y)iSeg(Ii))为像素点(x,y)属于瑕疵的概率、H(x,y)为像素点(x,y)的信息熵；
B2.组合图像数据集中图像中的每一个像素点，得到标注价值分布图
Figure BDA0003625750080000092
其中，Vi为标注价值分布图；
B3.将对应的标注价值分布图与成本预测结果图进行融合，得到融合信息图。
在一个具体实施例中，将对应的标注价值分布图与成本预测结果图进行融合，具体为：
Figure BDA0003625750080000093
其中，Fi为融合信息图、Ci为成本预测结果图。
在一个具体实施例中，所述的双分支半监督语义分割模型的第一分支为一个用于训练标注好的图像集的全监督卷积神经网络，第二分支为一个用于训练未标注的图像集的自监督卷积神经网络；第一分支和第二分支共用一个编码器和解码器。
在一个具体实施例中，将标注好的图像集和未标注的图像集分别输入至双分支半监督语义分割模型进行训练，具体为：将标注好的图像输入全监督卷积神经网络进行全监督训练，同时将未标注的图像输入自监督卷积神经网络进行自监督训练；训练时全监督卷积神经网络的损失函数和自监督卷积神经网络的损失函数合并为总损失函数。
在一个具体实施例中，第一个分支的损失函数为
Llabel＝-∑pilog(qi)
上式中，pi表示标注信息。qi表示双分支半监督语义分割模型预测的概率，由softmax函数得出。
在一个具体实施例中，第二个分支包括一个图像增强模块。
在一个具体实施例中，图像增强模块旨在将原始未标注的图像Ia通过图像增强的方法得到一张相似图像Ib，包括但不限于对图像进行裁剪、旋转、平移、颜色增强等；增强后，将原始图像Ia与相似图像Ib组合成正样本对，原始图像Ia与随机选取的不同图像Ic构成负样本对。
如图3所示，第一个分支通过将标注好的图像集输入编码器并过编码器进行全监督训练，第二个分支通过将未标注的图像集输入图像增强模块得到正样本对和负样本对，将正样本对和负样本输入编码器经过解码器进行自监督训练。
在一个具体实施例中，将待预测的图像输入至训练好的双分支半监督语义分割模型，得到瑕疵分割结果，具体步骤为：第二个分支所采用的损失函数为
Lunlabel＝∑[‖f(Ia)-f(Ib)‖-‖f(Ia)-f(Ic)‖]
上式中，f(·)表示经过模型处理后的结果，‖f(Ia)-f(Ib)‖表示正样本对之间的欧氏距离，‖f(Ia)-f(Ic)‖表示负样本对之间的欧氏距离。正样本对之间的距离越近，负样本对之间的距离越远，则自监督的效果越好，语义分割的效果越好。
在一个具体实施例中，两个分支同时进行训练，总的损失函数为
Ltotal＝Llabel+Lunlabel。
在一个具体实施例中，将待预测的图像输入至训练好的双分支半监督语义分割模型，得到瑕疵分割结果，具体步骤为：
K1.关闭双分支半监督语义分割模型的自监督卷积神经网络的输入渠道；
K2.将待预测的图像输入全监督卷积神经网络的编码器，得到底层特征图和融合特征图；
K3.将底层特征图和融合特征图输入全监督卷积神经网络的解码器，得到最终的预测结果图。
如图4所示，在一个具体实施例中，将待预测的图像输入全监督卷积神经网络的编码器，得到底层特征图和融合特征图，具体步骤为：
K201.将待预测的图像通过深度卷积神经网络Resnet-101抽取特征，得到底层特征图M1；
K202.将底层特征图M1输入到金子塔池化模块进行多尺度特征抽取，得到多尺度特征图M2；
K203.将多尺度特征图M2输入一个1×1的卷积核进行特征融合，得到融合特征图M3。
本实施例中，金字塔池化模块由多个并行的不同尺度卷积核和池化层组成，该模块的5个部分并行运行，分别输出特征图后拼接成一个完整的多尺度特征图。
本实施例中，多尺度特征抽取可被表示为：
M21＝Conv1×1(M1)
M22＝Conv3×3(M1)
M23＝Conv3×3(M1)
M24＝Conv3×3(M1)
M25＝Pool(M1)
M2＝Concat(M21，M22，M23，M24，M25)。
在一个具体实施例中，将底层特征图和融合特征图输入全监督卷积神经网络的解码器，得到最终的预测结果图，具体步骤为：
K301.将底层特征图M1输入一个1×1的卷积核得到特征图M4；
K302.将融合特征图M3输入一个4倍的上采样模块得到特征图M5；
K303.将特征图M4及特征图M5拼接在一起以融合底层特征和多尺度特征，得到拼接特征图M6；
K304.将拼接特征图M6经过一个3×3的卷积核与一个4倍的上采样模块后，输出最终的预测结果图。
本发明对图像进行超像素处理，通过主动学习策略以选取并将标注像素组中的图像，构建并通过标注的图像训练双分支半监督语义分割模型，通过训练好的双分支半监督语义分割模型对待预测图像进行瑕疵分割。由此，本发明解决了现有技术难以获得一个完整标注的大数据集进行全监督学习的问题，并具有样本需求量小，精度高的特点。
实施例4
一种基于超像素主动学习和半监督学习策略的图像瑕疵分割系统，包括用于采集若干个含有瑕疵的图像并制作成图像数据集的数据采集模块、用于将图像数据集进行超像素处理，将每张图像的像素聚类成像素组的数据处理模块、用于选取并标注有标注价值的像素组中的图像的主动学习策略模块、用于对输入的预测的图像进行瑕疵分割的双分支半监督语义分割模型。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (10)

1.基于超像素主动学习和半监督学习策略的图像瑕疵分割方法，其特征在于：包括以下步骤：
S1.采集若干个含有瑕疵的图像并制作成图像数据集；
S2.将图像数据集进行超像素处理，将每张图像的像素聚类成像素组；
S3.通过主动学习策略选取有标注价值的像素组，并由专家标注有标注价值的像素组对应的图像，得到标注好的图像集；
S4.构建双分支半监督语义分割模型，将标注好的图像集和未标注的图像集分别输入至双分支半监督语义分割模型进行训练；
S5.将待预测的图像输入至训练好的双分支半监督语义分割模型，得到待预测的图像的瑕疵分割结果。
2.根据权利要求1所述的基于超像素主动学习和半监督学习策略的图像瑕疵分割方法，其特征在于：所述的主动学习策略，具体为：
A1.随机选取图像数据集中一部分图像进行标注，并将标注的图像组成种子图像集
A2.通过种子图像集分别训练一个全监督语义分割模型和一个成本预测模型；
A3.将图像数据集中未标注的图像依次输入至训练好的全监督语义分割模型和成本预测模型，并输出每张图像的瑕疵分割结果和成本预测结果图；
A4.将瑕疵分割结果通过价值估算得到图像数据集中图像的标注价值分布图，并与对应的成本预测结果图融合，得到融合信息图；
A5.选取每张融合信息图中信息量高于预设阈值的像素组，标记在原图上并交由专家进行标注，将标注后的图像加入至种子图像集；
A6.重复步骤A2～A5，直到用尽专家标注预算，并将此时的种子图像集作为标注好的图像集。
3.根据权利要求2所述的基于超像素主动学习和半监督学习策略的图像瑕疵分割方法，其特征在于：将瑕疵分割结果通过价值估算得到图像数据集中图像的标注价值分布图，并与对应的成本预测结果图融合，得到融合信息图，具体步骤为：
B1.通过价值估算公式得到图像数据集中图像的像素点的信息熵：
Figure FDA0003625750070000021
其中，(x,y)为像素点、Ii为图像数据集中的图像、Seg(Ii)为瑕疵分割结果，Pdef (x,y)(Seg(Ii))为像素点(x,y)属于瑕疵的概率、H(x,y)为像素点(x,t)的信息熵；
B2.组合图像数据集中图像中的每一个像素点，得到标注价值分布图
Figure FDA0003625750070000022
其中，Vi为标注价值分布图；
B3.将对应的标注价值分布图与成本预测结果图进行融合，得到融合信息图。
4.根据权利要求3所述的基于超像素主动学习和半监督学习策略的图像瑕疵分割方法，其特征在于：将对应的标注价值分布图与成本预测结果图进行融合，具体为：
Figure FDA0003625750070000023
其中，Fi为融合信息图、Ci为成本预测结果图。
5.根据权利要求1所述的基于超像素主动学习和半监督学习策略的图像瑕疵分割方法，其特征在于：所述的双分支半监督语义分割模型的第一分支为一个用于训练标注好的图像集的全监督卷积神经网络，第二分支为一个用于训练未标注的图像集的自监督卷积神经网络；第一分支和第二分支共用一个编码器和解码器。
6.根据权利要求1所述的基于超像素主动学习和半监督学习策略的图像瑕疵分割方法，其特征在于：将标注好的图像集和未标注的图像集分别输入至双分支半监督语义分割模型进行训练，具体为：将标注好的图像输入全监督卷积神经网络进行全监督训练，同时将未标注的图像输入自监督卷积神经网络进行自监督训练；训练时全监督卷积神经网络的损失函数和自监督卷积神经网络的损失函数合并为总损失函数。
7.根据权利要求6述的基于超像素主动学习和半监督学习策略的图像瑕疵分割方法，其特征在于：将待预测的图像输入至训练好的双分支半监督语义分割模型，得到瑕疵分割结果，具体步骤为：
K1.关闭双分支半监督语义分割模型的自监督卷积神经网络的输入渠道；
K2.将待预测的图像输入全监督卷积神经网络的编码器，得到底层特征图和融合特征图；
K3.将底层特征图和融合特征图输入全监督卷积神经网络的解码器，得到最终的预测结果图。
8.根据权利要求7所述的基于超像素主动学习和半监督学习策略的图像瑕疵分割方法，其特征在于：将待预测的图像输入全监督卷积神经网络的编码器，得到底层特征图和融合特征图，具体步骤为：
K201.将待预测的图像通过深度卷积神经网络Resnet-101抽取特征，得到底层特征图M1；
K202.将底层特征图M1输入到金子塔池化模块进行多尺度特征抽取，得到多尺度特征图M2；
K203.将多尺度特征图M2输入一个1×1的卷积核进行特征融合，得到融合特征图M3。
9.根据权利要求8所述的基于超像素主动学习和半监督学习策略的图像瑕疵分割方法，其特征在于：将底层特征图和融合特征图输入全监督卷积神经网络的解码器，得到最终的预测结果图，具体步骤为：
K301.将底层特征图M1输入一个1×1的卷积核得到特征图M4；
K302.将融合特征图M3输入一个4倍的上采样模块得到特征图M5；
K303.将特征图M4及特征图M5拼接在一起以融合底层特征和多尺度特征，得到拼接特征图M6；
K304.将拼接特征图M6经过一个3×3的卷积核与一个4倍的上采样模块后，输出最终的预测结果图。
10.一种基于超像素主动学习和半监督学习策略的图像瑕疵分割系统，其特征在于：包括用于采集若干个含有瑕疵的图像并制作成图像数据集的数据采集模块、用于将图像数据集进行超像素处理，将每张图像的像素聚类成像素组的数据处理模块、用于选取并标注有标注价值的像素组中的图像的主动学习策略模块、用于对输入的预测的图像进行瑕疵分割的双分支半监督语义分割模型。
CN202210468960.5A 2022-04-29 2022-04-29 基于超像素主动学习和半监督学习策略的图像瑕疵分割方法 Pending CN114758133A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210468960.5A CN114758133A (zh) 2022-04-29 2022-04-29 基于超像素主动学习和半监督学习策略的图像瑕疵分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210468960.5A CN114758133A (zh) 2022-04-29 2022-04-29 基于超像素主动学习和半监督学习策略的图像瑕疵分割方法

Publications (1)

Publication Number Publication Date
CN114758133A true CN114758133A (zh) 2022-07-15

Family

ID=82333894

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210468960.5A Pending CN114758133A (zh) 2022-04-29 2022-04-29 基于超像素主动学习和半监督学习策略的图像瑕疵分割方法

Country Status (1)

Country Link
CN (1) CN114758133A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116152807A (zh) * 2023-04-14 2023-05-23 广东工业大学 一种基于U-Net网络的工业缺陷语义分割方法及存储介质
CN117173701A (zh) * 2023-08-14 2023-12-05 西北工业大学 一种基于超像素特征表征学习的语义分割主动学习方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116152807A (zh) * 2023-04-14 2023-05-23 广东工业大学 一种基于U-Net网络的工业缺陷语义分割方法及存储介质
CN116152807B (zh) * 2023-04-14 2023-09-05 广东工业大学 一种基于U-Net网络的工业缺陷语义分割方法及存储介质
CN117173701A (zh) * 2023-08-14 2023-12-05 西北工业大学 一种基于超像素特征表征学习的语义分割主动学习方法

Similar Documents

Publication Publication Date Title
CN108562589B (zh) 一种对磁路材料表面缺陷进行检测的方法
CN111340738B (zh) 一种基于多尺度渐进融合的图像去雨方法
CN112308860A (zh) 基于自监督学习的对地观测图像语义分割方法
CN114758133A (zh) 基于超像素主动学习和半监督学习策略的图像瑕疵分割方法
CN110059768A (zh) 用于街景理解的融合点与区域特征的语义分割方法及系统
CN113643268B (zh) 基于深度学习的工业制品缺陷质检方法、装置及存储介质
CN112070727B (zh) 一种基于机器学习的金属表面缺陷检测方法
CN112488025B (zh) 基于多模态特征融合的双时相遥感影像语义变化检测方法
CN114820579A (zh) 一种基于语义分割的图像复合缺陷的检测方法及系统
CN113066025B (zh) 一种基于增量学习与特征、注意力传递的图像去雾方法
CN117540779A (zh) 一种基于双源知识蒸馏的轻量化金属表面缺陷检测方法
CN111932639B (zh) 一种基于卷积神经网络的不均衡缺陷样本的检测方法
US20240185574A1 (en) Composite car image generator
CN116205876A (zh) 基于多尺度标准化流的无监督笔记本外观缺陷检测方法
CN111461006A (zh) 一种基于深度迁移学习的光学遥感图像杆塔位置检测方法
CN114638768B (zh) 一种基于动态关联学习网络的图像去雨方法、系统及设备
CN117830635A (zh) 烟支外观图像识别方法、装置及介质
CN113034388B (zh) 一种古代绘画虚拟修复方法及修复模型的构建方法
CN118115835A (zh) 导光板缺陷小样本数据扩充方法、系统、设备及存储介质
CN117522735A (zh) 基于多尺度的密流感知去雨图像增强方法
CN111612803B (zh) 一种基于图像清晰度的车辆图像语义分割方法
CN108537266A (zh) 一种深度卷积网络的织物纹理疵点分类方法
He et al. Unsupervised defect inspection algorithm based on cascaded GAN with edge repair feature fusion
Li et al. Automated Tire visual inspection based on low rank matrix recovery
Runhu et al. Semantic segmentation using deeplabv3+ model for fabric defect detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination