CN116883390B - 模糊抵抗性半监督缺陷检测方法、装置及存储介质 - Google Patents

模糊抵抗性半监督缺陷检测方法、装置及存储介质 Download PDF

Info

Publication number
CN116883390B
CN116883390B CN202311129775.4A CN202311129775A CN116883390B CN 116883390 B CN116883390 B CN 116883390B CN 202311129775 A CN202311129775 A CN 202311129775A CN 116883390 B CN116883390 B CN 116883390B
Authority
CN
China
Prior art keywords
defect
pixel point
model
network model
label information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311129775.4A
Other languages
English (en)
Other versions
CN116883390A (zh
Inventor
许秋菊
艾坤
刘海峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Zhongke Leinao Intelligent Technology Co ltd
Original Assignee
Hefei Zhongke Leinao Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Zhongke Leinao Intelligent Technology Co ltd filed Critical Hefei Zhongke Leinao Intelligent Technology Co ltd
Priority to CN202311129775.4A priority Critical patent/CN116883390B/zh
Publication of CN116883390A publication Critical patent/CN116883390A/zh
Application granted granted Critical
Publication of CN116883390B publication Critical patent/CN116883390B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本公开是关于一种模糊抵抗性半监督缺陷检测方法、模糊抵抗性半监督缺陷检测装置、存储介质及服务器。该模糊抵抗性半监督缺陷检测方法包括基于缺陷类别对应的联合置信度，对缺陷预测框内的每个像素点进行样本分类，得到每个像素点对应的样本标签信息；基于无标签图像、每个像素点对应的类别标签信息及每个像素点对应的样本标签信息对学生网络模型，进行模型训练,以缺陷类别对应的联合置信度作为目标损失函数的监督信息，优化学生网络模型的模型参数，有利于网络模型更好地衡量预测边界框与真实边界框之间的完整重叠度，有助于提高边界框尺寸和形状估计的准确度，进而提高模型训练质量。

Description

模糊抵抗性半监督缺陷检测方法、装置及存储介质
技术领域
本公开涉及图像处理技术领域，尤其涉及一种模糊抵抗性半监督缺陷检测方法、模糊抵抗性半监督缺陷检测装置、存储介质及服务器。
背景技术
随着超高压、特高压电网的建设的大规模开展、电网基础建设朝着智能化、大容量、大跨度输送点方向发展。随之而来的就是高压输电线路的运行维护任务强度也逐渐加大。由于客观原因，大量的高压输配电线路都是分布在户外，并且覆盖面积广，极易受到恶劣自然环境和人为因素影响，进而产生重大的安全隐患。因此需要对输配电线路缺陷进行检测。
发明内容
有鉴于此，本公开实施例期望提供一种模糊抵抗性半监督缺陷检测方法、模糊抵抗性半监督缺陷检测装置、存储介质及服务器。
本公开的技术方案是这样实现的：
第一方面，本公开提供一种模糊抵抗性半监督缺陷检测方法。
本公开实施例提供的模糊抵抗性半监督缺陷检测方法，包括：
获取待检测目标的无标签图像和有标签图像；
基于教师网络模型对所述无标签图像，进行标签信息预测，得到具有缺陷预测框的无标签图像及所述缺陷预测框中每个像素点对应的类别标签信息；其中所述类别标签信息至少包含有缺陷类别及与所述缺陷类别对应的联合置信度；其中，所述联合置信度用于表征所述缺陷预测框内像素点为目标缺陷的概率；其中，所述教师网络模型基于所述有标签图像预训练得到；
基于所述缺陷类别对应的联合置信度，对所述缺陷预测框内的每个像素点进行样本分类，得到每个像素点对应的样本标签信息；
基于所述无标签图像、每个像素点对应的所述类别标签信息及所述每个像素点对应的样本标签信息对学生网络模型，进行模型训练,以所述缺陷类别对应的联合置信度作为目标损失函数的监督信息，优化所述学生网络模型的模型参数；
基于所述学生网络模型的模型参数更新所述教师网络模型的模型参数，及基于模型参数更新后的教师网络模型对所述待检测目标进行缺陷检测。
在一些实施例中，所述教师网络模型包括分类分支模型与定位分支模型；
所述基于教师网络模型对所述无标签图像，进行标签信息预测，得到所述缺陷预测框中每个像素点对应的类别标签信息，包括：
基于所述分类分支模型对无标签图像，进行标签信息预测，得到所述缺陷预测框中每个像素点对应于目标缺陷的分类得分；
基于所述定位分支模型对无标签图像，进行标签信息预测，得到所述缺陷预测框中每个像素点对应的IOU得分；
基于一个像素点对应于目标缺陷的分类得分及所述像素点对应的IOU得分，进行乘积，得到所述像素点对应于目标缺陷的联合置信度。
在一些实施例中，所述缺陷类别为多种；一种所述缺陷类别对应有一个联合置信度；
所述基于所述缺陷类别对应的联合置信度，对所述缺陷预测框内的每个像素点进行样本分类，得到每个像素点对应的样本标签信息，包括：
确定出每个像素点对应于多种缺陷类别中的最大联合置信度及用于样本划分的第一阈值和第二阈值；其中，所述第一阈值大于第二阈值；
基于各像素点对应的所述最大联合置信度分布于由所述第一阈值和所述第二阈值划定的阈值范围，将所述每个像素点分类为正样本、模糊样本及负样本中的一种；
基于欧氏距离计算，将属于所述模糊样本的像素点进行正样本及负样本分类，得到每个像素点对应于正样本或负样本的样本标签信息。
在一些实施例中，所述基于所述学生网络模型的模型参数更新所述教师网络模型的模型参数前，所述方法包括：
对所述有标签图像进行强数据增强处理，得到强增强标签图像；
基于所述强增强标签图像对所述学生网络模型进行模型训练,以所述缺陷类别对应的联合置信度作为目标损失函数的监督信息，优化所述学生网络模型的模型参数。
在一些实施例中，所述目标损失函数L包括：
基于联合置信度的交叉熵损失函数FCOS loss、基于定位分支预测的IOU得分与模型预测的目标缺陷预测框与真实框的IOU值存在偏差的交叉熵损失函数BCE loss 及衡量缺陷预测框位置与真实框位置之间距离的交叉熵损失函数GIOU loss；
L= FCOS loss+ BCE loss+ GIOU loss；
其中，FCOS loss=；/>为用于分类的样本数量，/>为联合置信度的交叉熵损失；/>为模型预测的联合置信度，/>为缺陷预测框与真实框的IOU值，或为所述分类得分的最大值；
BCE loss=；/>为用于定位的样本数量，/>为定位分支预测的IOU，/>为缺陷预测框与真实框的IOU值，/>为用来调整损失函数比重的超参数，/>为IOU的交叉熵损失；
GIOU loss=；/>为缺陷预测框位置坐标，/>为真实框位置坐标，/>为衡量缺陷预测框位置与真实框位置间距离的交叉熵损失。
在一些实施例中，所述基于教师网络模型对所述无标签图像，进行标签信息预测，得到缺陷预测框及所述缺陷预测框中每个像素点对应的类别标签信息，包括：
对所述无标签图像进行弱数据增强处理，得到弱增强无标签图像；
基于教师网络模型对所述弱增强无标签图像，进行标签信息预测，得到所述弱增强无标签图像对应的缺陷预测框及所述缺陷预测框中每个像素点对应的类别标签信息；
对所述弱增强无标签图像进行逆弱数据增强处理，得到逆弱数据增强处理后的所述缺陷预测框中每个像素点对应的类别标签信息；
将所述逆弱数据增强处理后的所述缺陷预测框中每个像素点对应的类别标签信息，作为用于模型训练的每个像素点对应的所述类别标签信。
在一些实施例中，所述基于所述学生网络模型的模型参数更新所述教师网络模型的模型参数，包括：
在教师网络模型的网络层中增加EMA多层聚合的隐藏层张量；
基于所述EMA多层聚合的隐藏层张量，通过所述学生网络模型的模型参数，对教师网络模型的模型参数进行多次迭代更新。
第二方面，本公开提供一种模糊抵抗性半监督缺陷检测装置，包括：
图像获取模块，用于获取待检测目标的无标签图像和有标签图像；
信息预测模块，用于基于教师网络模型对所述无标签图像，进行标签信息预测，得到具有缺陷预测框的无标签图像及所述缺陷预测框中每个像素点对应的类别标签信息；其中所述类别标签信息至少包含有缺陷类别及与所述缺陷类别对应的联合置信度；其中，所述联合置信度用于表征所述缺陷预测框内像素点为目标缺陷的概率；其中，所述教师网络模型基于所述有标签图像预训练得到；
样本分类模块，用于基于所述缺陷类别对应的联合置信度，对所述缺陷预测框内的每个像素点进行样本分类，得到每个像素点对应的样本标签信息；
模型训练模块，用于基于所述无标签图像、每个像素点对应的所述类别标签信息及所述每个像素点对应的样本标签信息对学生网络模型，进行模型训练,以所述缺陷类别对应的联合置信度作为目标损失函数的监督信息，优化所述学生网络模型的模型参数；
缺陷检测模块，用于基于所述学生网络模型的模型参数更新所述教师网络模型的模型参数，及基于模型参数更新后的教师网络模型对所述待检测目标进行缺陷检测。
第三方面，本公开提供一种计算机可读存储介质，其上存储有模糊抵抗性半监督缺陷检测程序，该模糊抵抗性半监督缺陷检测程序被处理器执行时，实现上述第一方面所述的模糊抵抗性半监督缺陷检测方法。
第四方面，本公开提供一种服务器，包括存储器、处理器及存储在存储器上并可在处理器上运行的模糊抵抗性半监督缺陷检测程序，所述处理器执行所述模糊抵抗性半监督缺陷检测程序时，实现上述第一方面所述的模糊抵抗性半监督缺陷检测方法。
根据本公开实施例的模糊抵抗性半监督缺陷检测方法包括获取待检测目标的无标签图像和有标签图像；基于教师网络模型对所述无标签图像，进行标签信息预测，得到缺陷预测框及所述缺陷预测框中每个像素点对应的类别标签信息；其中类别标签信息至少包含有缺陷类别及与缺陷类别对应的联合置信度；其中，联合置信度用于表征缺陷预测框内像素点为目标缺陷的概率；其中，教师网络模型基于有标签图像预训练得到；基于缺陷类别对应的联合置信度，对缺陷预测框内的每个像素点进行样本分类，得到每个像素点对应的样本标签信息；基于无标签图像、每个像素点对应的类别标签信息及每个像素点对应的样本标签信息对学生网络模型，进行模型训练,以缺陷类别对应的联合置信度作为目标损失函数的监督信息，优化学生网络模型的模型参数；基于学生网络模型的模型参数更新教师网络模型的模型参数，及基于模型参数更新后的教师网络模型对待检测目标进行缺陷检测。本申请中通过联合置信度，对缺陷预测框内的每个像素点进行样本分类，有利于提高样本分类准确性，提高模型训练质量。同时，以缺陷类别对应的联合置信度作为目标损失函数的监督信息，优化学生网络模型的模型参数，有利于网络模型更好地衡量预测边界框与真实边界框之间的完整重叠度，有助于提高边界框尺寸和形状估计的准确度，进而提高模型训练质量。
本公开附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本公开的实践了解到。
附图说明
图1是根据一示例性实施例示出的模糊抵抗性半监督缺陷检测方法流程图；
图2是根据一示例性实施例示出的模糊抵抗性半监督缺陷检测过程示意图；
图3是根据一示例性实施例示出的学生网络模型训练时目标损失函数确定示意图；
图4是根据一示例性实施例示出的模糊抵抗性半监督缺陷检测过程参数更新示意图；
图5是根据一示例性实施例示出的模糊抵抗性半监督缺陷检测装置结构示意图。
具体实施方式
下面详细描述本公开的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本公开，而不能理解为对本公开的限制。
随着超高压、特高压电网的建设的大规模开展、电网基础建设朝着智能化、大容量、大跨度输送点方向发展。随之而来的就是高压输电线路的运行维护任务强度也逐渐加大。由于客观原因，大量的高压输配电线路都是分布在户外，并且覆盖面积广，极易受到恶劣自然环境和人为因素影响，进而产生重大的安全隐患。因此需要对输配电线路缺陷进行检测。
针对上述情况，本公开提供一种模糊抵抗性半监督缺陷检测方法。图1是根据一示例性实施例示出的模糊抵抗性半监督缺陷检测方法流程图。如图1所示，该模糊抵抗性半监督缺陷检测方法包括：
步骤10、获取待检测目标的无标签图像和有标签图像；
步骤11、基于教师网络模型对所述无标签图像，进行标签信息预测，得到缺陷预测框及所述缺陷预测框中每个像素点对应的类别标签信息；其中所述类别标签信息至少包含有缺陷类别及与所述缺陷类别对应的联合置信度；其中，所述联合置信度用于表征所述缺陷预测框内像素点为目标缺陷的概率；其中，所述教师网络模型基于所述有标签图像预训练得到；
步骤12、基于所述缺陷类别对应的联合置信度，对所述缺陷预测框内的每个像素点进行样本分类，得到每个像素点对应的样本标签信息；
步骤13、基于所述无标签图像、每个像素点对应的所述类别标签信息及所述每个像素点对应的样本标签信息对学生网络模型，进行模型训练,以所述缺陷类别对应的联合置信度作为目标损失函数的监督信息，优化所述学生网络模型的模型参数；
步骤14、基于所述学生网络模型的模型参数更新所述教师网络模型的模型参数，及基于模型参数更新后的教师网络模型对所述待检测目标进行缺陷检测。
在本示例性实施例中，模糊抵抗性半监督缺陷检测方法可应用于输配电线路的缺陷检测。例如，用于检测杆塔是否倾斜、法兰盘连接螺栓是否丢失、砼杆是否产生裂纹、接地螺栓或拉线线夹是否被埋、钢性铝绞线是否伤及钢芯等等缺陷。
在本示例性实施例中，图2是根据一示例性实施例示出的模糊抵抗性半监督缺陷检测过程示意图。如图2所示，无标签图像为待检测目标的采集图像中没有被打标签的采集图像。有标签图像为待检测目标的采集图像中被打标签的采集图像。有标签图像可以用来对初始模型FCOS进行模型预训练，得到初始的教师网络模型和学生网络模型。然后再通过初始的教师网络模型对无标签图像进行标签信息预测，得到具有缺陷预测框的无标签图像及所述缺陷预测框中每个像素点对应的类别标签信息。将缺陷预测框的无标签图像用来对学生网络模型进行模型训练。最后用训练后的学生网络模型对教师网络模型进行参数更新，来进行输配电线路的缺陷检测。
在本示例性实施例中，输配电线路可能存在的缺陷为多种，因此在进行标签信息预测时，一个像素点可能为多种缺陷中的任一种，所以每种缺陷均可对应一个联合置信度。
在本示例性实施例中，因为分类得分与定位质量没有直接的联系，在推理阶段仅仅使用分类得分作为置信度来对缺陷预测框进行排序时，低分类得分但高定位精度的缺陷预测框可能会被过滤掉，通过分类得分排序得到的标签存在定位的不准确性。通过联合置信度进行排序得到的标签可以提供更多的位置信息，例如缺陷目标的位置准确性，通过添加作为学习目标，模型可以被训练以更好地定位和预测缺陷对象。
在本示例性实施例中，在学生网络模型基于无标签数据训练前，利用教师网络的预测结果进行正负样本的划分时，使用联合置信度作为其中的衡量指标，主要原因是：
在不采用联合置信度的时候，通过教师网络得到的缺陷预测框的位置相较于真实框依旧存在相对的不精准问题，存在使得未标签图像的样本被赋予了不合适的标签，产生了许多假阴性和假阳性。对此，本申请教师网络预测的联合置信度能够更加准确的量化样本的质量，通过判定教师网络在每个样本点上预测的在所有类别上的联合置信度与指定阈值的大小关系分配标签，使得样本分配的更加精细准确。
根据本公开实施例的模糊抵抗性半监督缺陷检测方法包括获取待检测目标的无标签图像和有标签图像；基于教师网络模型对无标签图像，进行标签信息预测，得到缺陷预测框及所述缺陷预测框中每个像素点对应的类别标签信息；其中类别标签信息至少包含有缺陷类别及与缺陷类别对应的联合置信度；其中，联合置信度用于表征缺陷预测框内像素点为目标缺陷的概率；其中，教师网络模型基于有标签图像预训练得到；基于缺陷类别对应的联合置信度，对缺陷预测框内的每个像素点进行样本分类，得到每个像素点对应的样本标签信息；基于无标签图像、每个像素点对应的类别标签信息及每个像素点对应的样本标签信息对学生网络模型，进行模型训练,以缺陷类别对应的联合置信度作为目标损失函数的监督信息，优化学生网络模型的模型参数；基于学生网络模型的模型参数更新教师网络模型的模型参数，及基于模型参数更新后的教师网络模型对待检测目标进行缺陷检测。本申请中通过联合置信度，对缺陷预测框内的每个像素点进行样本分类，有利于提高样本分类准确性，提高模型训练质量。同时，以缺陷类别对应的联合置信度作为目标损失函数的监督信息，优化学生网络模型的模型参数，有利于网络模型更好地衡量预测边界框与真实边界框之间的完整重叠度，有助于提高边界框尺寸和形状估计的准确度，进而提高模型训练质量。
在一些实施例中，所述教师网络模型包括分类分支模型与定位分支模型；
所述基于教师网络模型对所述无标签图像，进行标签信息预测，得到所述缺陷预测框中每个像素点对应的类别标签信息，包括：
基于所述分类分支模型对无标签图像，进行标签信息预测，得到所述缺陷预测框中每个像素点对应于目标缺陷的分类得分；
基于所述定位分支模型对无标签图像，进行标签信息预测，得到所述缺陷预测框中每个像素点对应的IOU得分；
基于一个像素点对应于目标缺陷的分类得分及所述像素点对应的IOU得分，进行乘积，得到所述像素点对应于目标缺陷的联合置信度。
在本示例性实施例中，如图2所示，教师网络模型存在两个分支结构，分类分支和定位分支。联合置信度为分类分支的分类得分和定位分支预测的IOU得分的乘积。，其中，/>为联合置信度，/>为分类分支的分类得分，/>为定位分支预测的IOU得分。其中，/>可以由分类得分直接预测得到，/>可以由定位分支直接预测得到。其中，一个像素点对应有多种缺陷的分类得分。一种类别缺陷对应一个分类得分。例如，像素点a对应有缺陷a的分类得到A，缺陷b的分类得分B等等。联合置信度为目标缺陷的分类得分及所述像素点对应的IOU得分的乘积，即像素点a对应有缺陷a的联合置信度A1，缺陷b的联合置信度B1。如此，可得到每个像素点对应于每种缺陷的联合置信度。
一些实施例中，所述缺陷类别为多种；一种所述缺陷类别对应有一个联合置信度；
所述基于所述缺陷类别对应的联合置信度，对所述缺陷预测框内的每个像素点进行样本分类，得到每个像素点对应的样本标签信息，包括：
确定出每个像素点对应于多种缺陷类别中的最大联合置信度及用于样本划分的第一阈值和第二阈值；其中，所述第一阈值大于第二阈值；
基于各像素点对应的所述最大联合置信度分布于由所述第一阈值和所述第二阈值划定的阈值范围，将所述每个像素点分类为正样本、模糊样本及负样本中的一种；
基于欧氏距离计算，将属于所述模糊样本的像素点进行正样本及负样本分类，得到每个像素点对应于正样本或负样本的样本标签信息。
在本示例性实施例中，在进行样本分类时，由于常规FCOS模型单阶段目标检测分配策略是将边界框标签转化为像素级标签，会忽视许多伪框不准确性和大量缺陷目标被阈值过滤掉的情况。为此，采用联合置信度，对所述缺陷预测框内的每个像素点进行样本分类。教师网络预测的联合置信度能够量化样本的质量。如图2所示，采用TSA（Tree SearchAlgorithm，树搜索算法）分离分治策略，通过判定教师网络在每个样本点上预测的在所有类别上的联合置信度最高值与指定阈值的大小关系，来分配标签。TSA使用正负阈值将样本划分为正样本、负样本和模糊样本。然后在模糊候选样本中进一步提取分类、定位任务的潜在正样本。模糊样本主要由低置信度的正样本和困难负样本组成。这些模糊样本虽然涉及背景区域，但并不完全属于背景，其中还包括值得学习的前景信息。
例如，第一阈值为，第二阈值为/>；如果/>大于/>，则确定/>对应的像素点为正样本，如果/>大于等于/>小于等于/>，则确定/>对应的像素点为模糊样本，如果/>小于/>，则确定/>对应的像素点为负样本。其中，第二阈值/>可以自行设置为0.1。第一阈值/>由/>的平均值和标准差的动态计算得到。。/>为/>的平均值，/>为/>的标准差。
其中，对于分类任务，所有模糊样本都可以参与教师模型的一致性学习，直接模仿教师网络模型预测的概率分布。对于定位任务，根据它们与正样本的相似性（欧氏距离）选择潜在正样本，并将匹配的正样本设置为定位目标。
其中，由于差异性过大会导致定位任务训练不收敛。因此，TSA分离分治策略通过评估模糊样本与正样本的相似性来选取潜在正样本，并使用正样本边界框的加权值作为潜在正样本的学习目标。
其中，模糊样本与正样本之间的相似性度量主要包括：
分类相似性：模糊样本与正样本具有相同的预测类别；
定位相似性：模糊候选框与正样本框的IOU大于0.6；
位置相似性：模糊样本的位置在正样本框内。
根据分类相似性、定位相似性及位置相似性计算欧氏距离；根据欧式距离划分模糊样本为正样本或负样本。
在一些实施例中，所述基于所述学生网络模型的模型参数更新所述教师网络模型的模型参数前，所述方法包括：
对所述有标签图像进行强数据增强处理，得到强增强标签图像；
基于所述强增强标签图像对所述学生网络模型进行模型训练,以所述缺陷类别对应的联合置信度作为目标损失函数的监督信息，优化所述学生网络模型的模型参数。
在本示例性实施例中，本申请中在对学生网络模型进行训练时可以采用教师网络输出的标签图像作为输入数据，也可以采用经过强数据增强处理的强增强标签图像作为输入数据对学生网络模型进行训练。其中，强数据增强处理可以包括对有标签图像进行随机翻转、颜色抖动、裁剪等任一或任意组合操作。通过强数据增强处理改变有标签图像的像素点坐标等信息。在进行模型训练时，有利于丰富训练数据，提高训练质量。
在一些实施例中，图3是根据一示例性实施例示出的学生网络模型训练时目标损失函数确定示意图。如图3所示，所述目标损失函数L包括：
基于联合置信度的交叉熵损失函数FCOS loss、基于定位分支预测的IOU得分与模型预测的目标缺陷预测框与真实框的IOU值存在偏差的交叉熵损失函数BCE loss及衡量缺陷预测框位置与真实框位置之间距离的交叉熵损失函数GIOU loss；
L= FCOS loss+ BCE loss+ GIOU loss；
其中，FCOS loss=；/>为用于分类的样本数量，/>为联合置信度的交叉熵损失；/>为模型预测的联合置信度，/>为缺陷预测框与真实框的IOU值，或为所述分类得分的最大值；
BCE loss=；/>为用于定位的样本数量，/>为定位分支预测的IOU，/>为缺陷预测框与真实框的IOU值，/>为用来调整损失函数比重的超参数，/>为IOU的交叉熵损失；
GIOU loss=；/>为缺陷预测框位置坐标，/>为真实框位置坐标，/>为衡量缺陷预测框位置与真实框位置间距离的交叉熵损失。
在本示例性实施例中，当输入学生网络模型中进行模型训练的图像为有标签图像时，为缺陷预测框与真实框的IOU值，当输入学生网络模型中进行模型训练的图像为无标签图像时，/>为所述分类得分的最大值。
基于联合置信度的交叉熵损失函数FCOS loss、基于定位分支预测的IOU得分与学生网络模型预测的IOU值间存在偏差的交叉熵损失函数BCE loss及衡量缺陷预测框位置与真实框位置之间距离的交叉熵损失函数GIOU loss的累加为目标损失函数L。
在本示例性实施例中，原始的FCOS模型使用Center loss作为回归目标的损失函数，它仅关注缺陷预测框的中心点与真实框中心点之间的差异。然而，Center loss忽略了边界框的尺寸和形状，可能导致在计算重叠度时存在不准确性。相比之下，GIOU损失考虑了边界框的尺寸和形状，提供了更准确的重叠度度量。GIOU损失不仅考虑了边界框的中心点差异，还考虑了边界框的宽度和高度之间的IOU的差异。这使得GIOU能够更好地衡量预测边界框与真实边界框之间的完整重叠度，有助于解决原始FCOS模型中可能存在的边界框尺寸和形状估计的不准确问题。即在损失函数方面，使用联合置信度作为监督信息，使用GIOUloss代替原有的FCOS中的Center loss，缓解原始FCOS模型中可能存在的边界框尺寸和形状估计的不准确问题。
模型的分类损失为Fcos Loss：
，其中，/>为Fcos Loss的损失函数参数，/>是分类分支和定位分支组合的联合置信度，S在有标签的数据上为缺陷预测框与对应真实框的IOU值，在无标签的数据上为教师网络在所有类别上的置信度得分的最高得分。
同时为了使得定位分支中的更聚焦于IOU的估计，增加IOU的交叉熵损失：其中，。联合置信度有效地缓解了模型选择的模糊性提高了伪标签的质量进而增强了半监督的检测性能。
FCOS loss是基于联合置信度的交叉熵损失函数，通过缩小两个概率分布的差异，来使预测概率分布尽可能达到真实概率分布；它的意义是通过不断缩小模型的预测最终综合类别分数（即联合置信度）与真实类别之间的差异。当模型预测类别与真实类别有些偏差，loss值就往无穷大方向走，就逼迫模型去接近真实的label值，最终使得模型的预测类别的结果更加准确；
IOU的BCE loss就是基于定位分支预测出缺陷预测框与真实框的IOU得分，与实际缺陷预测框与真实框的IOU计算的交叉熵损失函数。它的意义是让模型正确的认识到自己预测的框与真实框之间的偏差程度，通过损失减小这个偏差程度；
GIOU loss是衡量缺陷预测框位置与真实框位置之间距离的一种方式，不仅反映了两个框的重叠重度，而且对于两个不重叠的框，体现了两个框之间的距离到底有多远，当模型预测的框与真实框偏差越大，GIOU loss越大，就会迫使模型调整参数使得缺陷预测框位置贴近真实框位置；
，其中，C表示包围两个框的最小矩形包络。本申请中，以缺陷类别对应的联合置信度作为目标损失函数的监督信息，优化学生网络模型的模型参数时，包括以联合置信度、定位分支预测IOU得分以及预测的缺陷预测框位置信息作为目标损失函数的监督信息，优化学生网络模型的模型参数，有利于网络模型更好地衡量预测边界框与真实边界框之间的完整重叠度，有助于提高边界框尺寸和形状估计的准确度，进而提高模型训练质量。
在一些实施例中，所述
基于教师网络模型对所述无标签图像，进行标签信息预测，得到缺陷预测框及所述缺陷预测框中每个像素点对应的类别标签信息，包括：
对所述无标签图像进行弱数据增强处理，得到弱增强无标签图像；
基于教师网络模型对所述弱增强无标签图像，进行标签信息预测，得到所述弱增强无标签图像对应的缺陷预测框及所述缺陷预测框中每个像素点对应的类别标签信息；
对所述弱增强无标签图像进行逆弱数据增强处理，得到逆弱数据增强处理后的所述缺陷预测框中每个像素点对应的类别标签信息；
将所述逆弱数据增强处理后的所述缺陷预测框中每个像素点对应的类别标签信息，作为用于模型训练的每个像素点对应的所述类别标签信息。
在本示例性实施例中，弱数据增强处理可以包括对无标签图像进行随机翻转操作。基于教师网络模型对随机翻转的无标签图像，进行标签信息预测，得到缺陷预测框及所述缺陷预测框中每个像素点对应的类别标签信息。当得到弱增强无标签图像后，再对弱增强无标签图像进行逆弱数据增强处理，得到弱增强无标签图像对应的缺陷预测框及所述缺陷预测框中每个像素点对应的类别标签信息。逆弱数据增强处理可以为反方向同角度值翻转。将弱增强无标签图像进行反方向同角度值翻转后，其对应的缺陷预测框的坐标信息也会随着改变，改变为初始的无标签图像对应下的坐标信息。将所述逆弱数据增强处理后的所述缺陷预测框中每个像素点对应的类别标签信息，作为用于模型训练的每个像素点对应的所述类别标签信息，输入至学生网络模型中，进行模型训练。如此在进行模型训练时，有利于丰富训练数据，提高训练质量。
在一些实施例中，图4是根据一示例性实施例示出的模糊抵抗性半监督缺陷检测过程参数更新示意图。如图4所示，所述基于所述学生网络模型的模型参数更新所述教师网络模型的模型参数，包括：
在教师网络模型的网络层中增加EMA（Exponential Moving Average，指数移动平均）多层聚合的隐藏层张量；
基于所述EMA多层聚合的隐藏层张量，通过所述学生网络模型的模型参数，对教师网络模型的模型参数进行多次迭代更新。
在本示例性实施例中，在学生网络每次的训练迭代过程中，一般半监督检框架仅使用EMA方法更新教师模型的参数，EMA方法在更新参数时，是对网络每层的参数进行单独处理，只考虑了每层的网络参数在迭代过程的变化，但是没有考虑网络各层之间的关联性，而本申请中在EMA的基础上增加了多层聚合模块，通过显示方式使用隐藏层来连接上一层和本层，使得信息在向前传播时更加准确和稳定，聚合网络各层的信息，为密集学习产生更稳定和准确的伪标签。利用学生网络学习更新后的参数来更新教师网络模型的参数，使用基于EMA的多层聚合方法进行网络参数的更新，这样可以保证教师网络模型的鲁棒性高于学生网络。
基于EMA的多层聚合方法对教师网络参数进行更新，提高教师网络的检测性能，EMA的多层聚合方法示意图。如图4所示，多聚合EMA的表达除了包括EMA基本表达式外，还有/>；，其中，/>是网络的第l层的张量，/>为该层对应的卷积参数，/>，为l+1层对应的卷积参数，/>为学生网络t层对应的卷积参数，/>为教师网络t层对应的卷积参数，/>为教师网络t-1层对应的卷积参数，/>为隐藏层张量，/>和/>分别表示用于递归计算用的1×1和3×3卷积层，多层聚合参考的是DenseNet模型结构中的聚合思想。/>为超参数，可以设置为0.5。
本公开提供一种模糊抵抗性半监督缺陷检测装置。图5是根据一示例性实施例示出的模糊抵抗性半监督缺陷检测装置结构示意图。如图5所示，模糊抵抗性半监督缺陷检测装置包括：
图像获取模块50，用于获取待检测目标的无标签图像和有标签图像；
信息预测模块51，用于基于教师网络模型对所述无标签图像，进行标签信息预测，得到缺陷预测框及所述缺陷预测框中每个像素点对应的类别标签信息；其中所述类别标签信息至少包含有缺陷类别及与所述缺陷类别对应的联合置信度；其中，所述联合置信度用于表征所述缺陷预测框内像素点为目标缺陷的概率；其中，所述教师网络模型基于所述有标签图像预训练得到；
样本分类模块52，用于基于所述缺陷类别对应的联合置信度，对所述缺陷预测框内的每个像素点进行样本分类，得到每个像素点对应的样本标签信息；
模型训练模块53，用于基于所述无标签图像、每个像素点对应的所述类别标签信息及所述每个像素点对应的样本标签信息对学生网络模型，进行模型训练,以所述缺陷类别对应的联合置信度作为目标损失函数的监督信息，优化所述学生网络模型的模型参数；
缺陷检测模块54，用于基于所述学生网络模型的模型参数更新所述教师网络模型的模型参数，及基于模型参数更新后的教师网络模型对所述待检测目标进行缺陷检测。
在本示例性实施例中，模糊抵抗性半监督缺陷检测方法可应用于输配电线路的缺陷检测。例如，用于检测杆塔是否倾斜、法兰盘连接螺栓是否丢失、砼杆是否产生裂纹、接地螺栓或拉线线夹是否被埋、钢性铝绞线是否伤及钢芯等等缺陷。
在本示例性实施例中，如图2所示，无标签图像为待检测目标的采集图像中没有被打标签的采集图像。有标签图像为待检测目标的采集图像中被打标签的采集图像。有标签图像可以用来对初始模型FCOS进行模型预训练，得到初始的教师网络模型和学生网络模型。然后再通过初始的教师网络模型对无标签图像进行标签信息预测，得到具有缺陷预测框的无标签图像及所述缺陷预测框中每个像素点对应的类别标签信息。将缺陷预测框的无标签图像用来对学生网络模型进行模型训练。最后用训练后的学生网络模型对教师网络模型进行参数更新，来进行输配电线路的缺陷检测。
在本示例性实施例中，输配电线路可能存在的缺陷为多种，因此在进行标签信息预测时，一个像素点可能为多种缺陷中的任一种，所以每种缺陷均可对应一个联合置信度。
在本示例性实施例中，因为分类得分与定位质量没有直接的联系，在推理阶段仅仅使用分类得分作为置信度来对缺陷预测框进行排序时，低分类得分但高定位精度的缺陷预测框可能会被过滤掉，通过分类得分排序得到的标签存在定位的不准确性。通过联合置信度进行排序得到的标签可以提供更多的位置信息，例如缺陷目标的位置准确性，通过添加作为学习目标，模型可以被训练以更好地定位和预测缺陷对象。
在本示例性实施例中，在学生网络模型基于无标签数据训练前，利用教师网络的预测结果进行正负样本的划分时，使用联合置信度作为其中的衡量指标，主要原因是：
在不采用联合置信度的时候，通过教师网络得到的缺陷预测框的位置相较于真实框依旧存在相对的不精准问题，存在使得未标签图像的样本被赋予了不合适的标签，产生了许多假阴性和假阳性。对此，本申请教师网络预测的联合置信度能够更加准确的量化样本的质量，通过判定教师网络在每个样本点上预测的在所有类别上的联合置信度与指定阈值的大小关系分配标签，使得样本分配的更加精细准确。
根据本公开实施例的模糊抵抗性半监督缺陷检测装置用于获取待检测目标的无标签图像和有标签图像；基于教师网络模型对无标签图像，进行标签信息预测，得到具有缺陷预测框的无标签图像及缺陷预测框中每个像素点对应的类别标签信息；其中类别标签信息至少包含有缺陷类别及与缺陷类别对应的联合置信度；其中，联合置信度用于表征缺陷预测框内像素点为目标缺陷的概率；其中，教师网络模型基于有标签图像预训练得到；基于缺陷类别对应的联合置信度，对缺陷预测框内的每个像素点进行样本分类，得到每个像素点对应的样本标签信息；基于无标签图像、每个像素点对应的类别标签信息及每个像素点对应的样本标签信息对学生网络模型，进行模型训练,以缺陷类别对应的联合置信度作为目标损失函数的监督信息，优化学生网络模型的模型参数；基于学生网络模型的模型参数更新教师网络模型的模型参数，及基于模型参数更新后的教师网络模型对待检测目标进行缺陷检测。本申请中通过联合置信度，对缺陷预测框内的每个像素点进行样本分类，有利于提高样本分类准确性，提高模型训练质量。同时，以缺陷类别对应的联合置信度作为目标损失函数的监督信息，优化学生网络模型的模型参数，有利于网络模型更好地衡量预测边界框与真实边界框之间的完整重叠度，有助于提高边界框尺寸和形状估计的准确度，进而提高模型训练质量。
在一些实施例中，所述教师网络模型包括分类分支模型与定位分支模型；
所述信息预测模块51，用于
基于所述分类分支模型对无标签图像，进行标签信息预测，得到所述缺陷预测框中每个像素点对应于目标缺陷的分类得分；
基于所述定位分支模型对无标签图像，进行标签信息预测，得到所述缺陷预测框中每个像素点对应的IOU得分；
基于一个像素点对应于目标缺陷的分类得分及所述像素点对应的IOU得分，进行乘积，得到所述像素点对应于目标缺陷的联合置信度。
在本示例性实施例中，如图2所示，教师网络模型存在两个分支结构，分类分支和定位分支。联合置信度为分类分支的分类得分和定位分支预测的IOU得分的乘积。，其中，/>为联合置信度，/>为分类分支的分类得分，/>为定位分支预测的IOU得分。其中，/>可以由分类得分直接预测得到，/>可以由定位分支直接预测得到。其中，一个像素点对应有多种缺陷的分类得分。一种类别缺陷对应一个分类得分。例如，像素点a对应有缺陷a的分类得到A，缺陷b的分类得分B等等。联合置信度为目标缺陷的分类得分及所述像素点对应的IOU得分的乘积，即像素点a对应有缺陷a的联合置信度A1，缺陷b的联合置信度B1。如此，可得到每个像素点对应于每种缺陷的联合置信度。
一些实施例中，所述缺陷类别为多种；一种所述缺陷类别对应有一个联合置信度；
所述样本分类模块52，用于
确定出每个像素点对应于多种缺陷类别中的最大联合置信度及用于样本划分的第一阈值和第二阈值；其中，所述第一阈值大于第二阈值；
基于各像素点对应的所述最大联合置信度分布于由所述第一阈值和所述第二阈值划定的阈值范围，将所述每个像素点分类为正样本、模糊样本及负样本中的一种；
基于欧氏距离计算，将属于所述模糊样本的像素点进行正样本及负样本分类，得到每个像素点对应于正样本或负样本的样本标签信息。
在本示例性实施例中，在进行样本分类时，由于常规FCOS模型单阶段目标检测分配策略是将边界框标签转化为像素级标签，会忽视许多伪框不准确性和大量缺陷目标被阈值过滤掉的情况。为此，采用联合置信度，对所述缺陷预测框内的每个像素点进行样本分类。教师网络预测的联合置信度能够量化样本的质量。如图2所示，采用TSA分离分治策略，通过判定教师网络在每个样本点上预测的在所有类别上的联合置信度最高值与指定阈值的大小关系，来分配标签。TSA使用正负阈值将样本划分为正样本、负样本和模糊样本。然后在模糊候选样本中进一步提取分类、定位任务的潜在正样本。模糊样本主要由低置信度的正样本和困难负样本组成。这些模糊样本虽然涉及背景区域，但并不完全属于背景，其中还包括值得学习的前景信息。
例如，第一阈值为，第二阈值为/>；如果/>大于/>，则确定/>对应的像素点为正样本，如果/>大于等于/>小于等于/>，则确定/>对应的像素点为模糊样本，如果/>小于/>，则确定/>对应的像素点为负样本。其中，第二阈值/>可以自行设置为0.1。第一阈值/>由/>的平均值和标准差的动态计算得到。。/>为/>的平均值，/>为/>的标准差。
其中，对于分类任务，所有模糊样本都可以参与教师模型的一致性学习，直接模仿教师网络模型预测的概率分布。对于定位任务，根据它们与正样本的相似性（欧氏距离）选择潜在正样本，并将匹配的正样本设置为定位目标。
其中，由于差异性过大会导致定位任务训练不收敛。因此，TSA分离分治策略通过评估模糊样本与正样本的相似性来选取潜在正样本，并使用正样本边界框的加权值作为潜在正样本的学习目标。
其中，模糊样本与正样本之间的相似性度量主要包括：
分类相似性：模糊样本与正样本具有相同的预测类别；
定位相似性：模糊候选框与正样本框的IOU大于0.6；
位置相似性：模糊样本的位置在正样本框内。
根据分类相似性、定位相似性及位置相似性计算欧氏距离；根据欧式距离划分模糊样本为正样本或负样本。
在一些实施例中，所述基于所述学生网络模型的模型参数更新所述教师网络模型的模型参数前，所述模型训练模块53，用于
对所述有标签图像进行强数据增强处理，得到强增强标签图像；
基于所述强增强标签图像对所述学生网络模型进行模型训练,以所述缺陷类别对应的联合置信度作为目标损失函数的监督信息，优化所述学生网络模型的模型参数。
在本示例性实施例中，本申请中在对学生网络模型进行训练时可以采用教师网络输出的标签图像作为输入数据，也可以采用经过强数据增强处理的强增强标签图像作为输入数据对学生网络模型进行训练。其中，强数据增强处理可以包括对有标签图像进行随机翻转、颜色抖动、裁剪等任一或任意组合操作。通过强数据增强处理改变有标签图像的像素点坐标等信息。在进行模型训练时，有利于丰富训练数据，提高训练质量。
在一些实施例中，如图3所示，图像输入网络模型进行卷积处理后，所述目标损失函数L包括：
基于联合置信度的交叉熵损失函数FCOS loss、基于定位分支预测的IOU得分与模型预测的目标缺陷预测框与真实框的IOU值存在偏差的交叉熵损失函数BCE loss及衡量缺陷预测框位置与真实框位置之间距离的交叉熵损失函数GIOU loss；
L= FCOS loss+ BCE loss+ GIOU loss；
其中，FCOS loss=；/>为用于分类的样本数量，/>为联合置信度的交叉熵损失；/>为模型预测的联合置信度，/>为缺陷预测框与真实框的IOU值，或为所述分类得分的最大值；
BCE loss=；/>为用于定位的样本数量，/>为定位分支预测的IOU，/>为缺陷预测框与真实框的IOU值，/>为用来调整损失函数比重的超参数，/>为IOU的交叉熵损失；
GIOU loss=；/>为缺陷预测框位置坐标，/>为真实框位置坐标，/>为衡量缺陷预测框位置与真实框位置间距离的交叉熵损失。
在本示例性实施例中，当输入学生网络模型中进行模型训练的图像为有标签图像时，为缺陷预测框与真实框的IOU值，当输入学生网络模型中进行模型训练的图像为无标签图像时，/>为所述分类得分的最大值。
基于联合置信度的交叉熵损失函数FCOS loss、基于定位分支预测的IOU得分与模型预测的目标缺陷预测框与真实框的IOU值存在偏差的交叉熵损失函数BCE loss及衡量缺陷预测框位置与真实框位置之间距离的交叉熵损失函数GIOU loss的累加为目标损失函数L。
在本示例性实施例中，原始的FCOS模型使用Center loss作为回归目标的损失函数，它仅关注缺陷预测框的中心点与真实框中心点之间的差异。然而，Center loss忽略了边界框的尺寸和形状，可能导致在计算重叠度时存在不准确性。相比之下，GIOU损失考虑了边界框的尺寸和形状，提供了更准确的重叠度度量。GIOU损失不仅考虑了边界框的中心点差异，还考虑了边界框的宽度和高度之间的IOU的差异。这使得GIOU能够更好地衡量预测边界框与真实边界框之间的完整重叠度，有助于解决原始FCOS模型中可能存在的边界框尺寸和形状估计的不准确问题。即在损失函数方面，使用联合置信度作为监督信息，使用GIOUloss代替原有的FCOS中的Center loss，缓解原始FCOS模型中可能存在的边界框尺寸和形状估计的不准确问题。
模型的分类损失为Fcos Loss：
，其中，/>为Fcos Loss的损失函数参数，/>是分类分支和定位分支组合的联合置信度，S在有标签的数据上为缺陷预测框与对应真实框的IOU值，在无标签的数据上为教师网络在所有类别上的置信度得分的最高得分。
同时为了使得定位分支中的更聚焦于IOU的估计，增加IOU的交叉熵损失：其中，。联合置信度有效地缓解了模型选择的模糊性提高了伪标签的质量进而增强了半监督的检测性能。
FCOS loss是基于联合置信度的交叉熵损失函数，通过缩小两个概率分布的差异，来使预测概率分布尽可能达到真实概率分布；它的意义是通过不断缩小模型的预测最终综合类别分数（即联合置信度）与真实类别之间的差异。当模型预测类别与真实类别有些偏差，loss值就往无穷大方向走，就逼迫模型去接近真实的label值，最终使得模型的预测类别的结果更加准确；
IOU的BCE loss就是基于定位分支预测出缺陷预测框与真实框的IOU得分，与实际缺陷预测框与真实框的IOU计算的交叉熵损失函数。它的意义是让模型正确的认识到自己预测的框与真实框之间的偏差程度，通过损失减小这个偏差程度；
GIOU loss是衡量缺陷预测框位置与真实框位置之间距离的一种方式，不仅反映了两个框的重叠重度，而且对于两个不重叠的框，体现了两个框之间的距离到底有多远，当模型预测的框与真实框偏差越大，GIOU loss越大，就会迫使模型调整参数使得缺陷预测框位置贴近真实框位置；
，其中，C表示包围两个框的最小矩形包络。本申请中，以缺陷类别对应的联合置信度作为目标损失函数的监督信息，优化学生网络模型的模型参数时，包括以联合置信度、定位分支预测IOU得分以及预测的缺陷预测框位置信息作为目标损失函数的监督信息，优化学生网络模型的模型参数，有利于网络模型更好地衡量预测边界框与真实边界框之间的完整重叠度，有助于提高边界框尺寸和形状估计的准确度，进而提高模型训练质量。
在一些实施例中，所述信息预测模块51，用于
对所述无标签图像进行弱数据增强处理，得到弱增强无标签图像；
基于教师网络模型对所述弱增强无标签图像，进行标签信息预测，得到所述弱增强无标签图像对应的缺陷预测框及所述缺陷预测框中每个像素点对应的类别标签信息；
对所述弱增强无标签图像进行逆弱数据增强处理，得到逆弱数据增强处理后的所述缺陷预测框中每个像素点对应的类别标签信息；
将所述逆弱数据增强处理后的所述缺陷预测框中每个像素点对应的类别标签信息，作为用于模型训练的每个像素点对应的所述类别标签信息。
在本示例性实施例中，弱数据增强处理可以包括对无标签图像进行随机翻转操作。基于教师网络模型对随机翻转的无标签图像，进行标签信息预测，得到缺陷预测框及所述缺陷预测框中每个像素点对应的类别标签信息。当得到弱增强无标签图像后，再对弱增强无标签图像进行逆弱数据增强处理，得到弱增强无标签图像对应的缺陷预测框及所述缺陷预测框中每个像素点对应的类别标签信息。逆弱数据增强处理可以为反方向同角度值翻转。将所述逆弱数据增强处理后的所述缺陷预测框中每个像素点对应的类别标签信息，作为用于模型训练的每个像素点对应的所述类别标签信息，输入至学生网络模型中，进行模型训练。如此在进行模型训练时，有利于丰富训练数据，提高训练质量。
在一些实施例中，所述缺陷检测模块54，用于
在教师网络模型的网络层中增加EMA多层聚合的隐藏层张量；
基于所述EMA多层聚合的隐藏层张量，通过所述学生网络模型的模型参数，对教师网络模型的模型参数进行多次迭代更新。
在本示例性实施例中，在学生网络每次的训练迭代过程中，一般半监督检框架仅使用EMA方法更新教师模型的参数，EMA方法在更新参数时，是对网络每层的参数进行单独处理，只考虑了每层的网络参数在迭代过程的变化，但是没有考虑网络各层之间的关联性，而本申请中在EMA的基础上增加了多层聚合模块，通过显示方式使用隐藏层来连接上一层和本层，使得信息在向前传播时更加准确和稳定，聚合网络各层的信息，为密集学习产生更稳定和准确的伪标签。利用学生网络学习更新后的参数来更新教师网络模型的参数，使用基于EMA的多层聚合方法进行网络参数的更新，这样可以保证教师网络模型的鲁棒性高于学生网络。
基于EMA的多层聚合方法对教师网络参数进行更新，提高教师网络的检测性能，EMA的多层聚合方法示意图。如图4所示，多聚合EMA的表达除了包括EMA基本表达式外，还有/>；，其中，/>是网络的第l层的张量，/>为该层对应的卷积参数，/>，为l+1层对应的卷积参数，/>为学生网络t层对应的卷积参数，/>为教师网络t层对应的卷积参数，/>为教师网络t-1层对应的卷积参数，/>为隐藏层张量，/>和/>分别表示用于递归计算用的1×1和3×3卷积层，多层聚合参考的是DenseNet模型结构中的聚合思想。/>为超参数，可以设置为0.5。
本公开提供一种计算机可读存储介质，其上存储有模糊抵抗性半监督缺陷检测程序，该模糊抵抗性半监督缺陷检测程序被处理器执行时，实现上述各实施例所述的模糊抵抗性半监督缺陷检测方法。
本公开提供一种服务器，包括存储器、处理器及存储在存储器上并可在处理器上运行的模糊抵抗性半监督缺陷检测程序，所述处理器执行所述模糊抵抗性半监督缺陷检测程序时，实现上述各实施例所述的模糊抵抗性半监督缺陷检测方法。
需要说明的是，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序，然后将其存储在计算机存储器中。
应当理解，本公开的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本公开的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
在本公开的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本公开和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本公开的限制。
此外，本公开实施例中所使用的“第一”、“第二”等术语，仅用于描述目的，而不可以理解为指示或者暗示相对重要性，或者隐含指明本实施例中所指示的技术特征数量。由此，本公开实施例中限定有“第一”、“第二”等术语的特征，可以明确或者隐含地表示该实施例中包括至少一个该特征。在本公开的描述中，词语“多个”的含义是至少两个或者两个及以上，例如两个、三个、四个等，除非实施例中另有明确具体的限定。
在本公开中，除非实施例中另有明确的相关规定或者限定，否则实施例中出现的术语“安装”、“相连”、“连接”和“固定”等应做广义理解，例如，连接可以是固定连接，也可以是可拆卸连接，或成一体，可以理解的，也可以是机械连接、电连接等；当然，还可以是直接相连，或者通过中间媒介进行间接连接，或者可以是两个元件内部的连通，或者两个元件的相互作用关系。对于本领域的普通技术人员而言，能够根据具体的实施情况理解上述术语在本公开中的具体含义。
在本公开中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
尽管上面已经示出和描述了本公开的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本公开的限制，本领域的普通技术人员在本公开的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (9)

1.一种模糊抵抗性半监督缺陷检测方法，其特征在于，包括：
获取待检测目标的无标签图像和有标签图像；
基于教师网络模型对所述无标签图像，进行标签信息预测，得到缺陷预测框及所述缺陷预测框中每个像素点对应的类别标签信息；其中所述类别标签信息至少包含有缺陷类别及与所述缺陷类别对应的联合置信度；其中，所述联合置信度用于表征所述缺陷预测框内像素点为目标缺陷的概率；其中，所述教师网络模型基于所述有标签图像预训练得到；
基于所述缺陷类别对应的联合置信度，对所述缺陷预测框内的每个像素点进行样本分类，得到每个像素点对应的样本标签信息；
基于所述无标签图像、每个像素点对应的所述类别标签信息及所述每个像素点对应的样本标签信息对学生网络模型，进行模型训练,以所述缺陷类别对应的联合置信度作为目标损失函数的监督信息，优化所述学生网络模型的模型参数；
基于所述学生网络模型的模型参数更新所述教师网络模型的模型参数，及基于模型参数更新后的教师网络模型对所述待检测目标进行缺陷检测；其中，所述缺陷类别为多种；一种所述缺陷类别对应有一个联合置信度；
所述基于所述缺陷类别对应的联合置信度，对所述缺陷预测框内的每个像素点进行样本分类，得到每个像素点对应的样本标签信息，包括：
确定出每个像素点对应于多种缺陷类别中的最大联合置信度及用于样本划分的第一阈值和第二阈值；其中，所述第一阈值大于第二阈值；
基于各像素点对应的所述最大联合置信度分布于由所述第一阈值和所述第二阈值划定的阈值范围，将所述每个像素点分类为正样本、模糊样本及负样本中的一种；
基于欧氏距离计算，将属于所述模糊样本的像素点进行正样本及负样本分类，得到每个像素点对应于正样本或负样本的样本标签信息。
2.根据权利要求1所述的模糊抵抗性半监督缺陷检测方法，其特征在于，所述教师网络模型包括分类分支模型与定位分支模型；
所述基于教师网络模型对所述无标签图像，进行标签信息预测，得到所述缺陷预测框中每个像素点对应的类别标签信息，包括：
基于所述分类分支模型对无标签图像，进行标签信息预测，得到所述缺陷预测框中每个像素点对应于目标缺陷的分类得分；
基于所述定位分支模型对无标签图像，进行标签信息预测，得到所述缺陷预测框中每个像素点对应的IOU得分；
基于一个像素点对应于目标缺陷的分类得分及所述像素点对应的IOU得分，进行乘积，得到所述像素点对应于目标缺陷的联合置信度。
3.根据权利要求2所述的模糊抵抗性半监督缺陷检测方法，其特征在于，所述基于所述学生网络模型的模型参数更新所述教师网络模型的模型参数前，所述方法包括：
对所述有标签图像进行强数据增强处理，得到强增强标签图像；
基于所述强增强标签图像对所述学生网络模型进行模型训练,以所述缺陷类别对应的联合置信度作为目标损失函数的监督信息，优化所述学生网络模型的模型参数。
4.根据权利要求2或3所述的模糊抵抗性半监督缺陷检测方法，其特征在于，所述目标损失函数包括：
基于联合置信度的交叉熵损失函数FCOS loss、基于定位分支预测的IOU得分与模型预测的目标缺陷预测框与真实框的IOU值存在偏差的交叉熵损失函数BCE loss 及衡量缺陷预测框位置与真实框位置之间距离的交叉熵损失函数GIOU loss；
目标损失函数L= FCOS loss+ BCE loss+ GIOU loss；其中，
FCOS loss=；/>为用于分类的样本数量，/>为联合置信度的交叉熵损失；/>为模型预测的联合置信度，/>为缺陷预测框与真实框的IOU值，或为所述分类得分的最大值；
BCE loss=；/>为用于定位的样本数量，/>为定位分支预测的IOU，为缺陷预测框与真实框的IOU值，/>为用来调整损失函数比重的超参数，/>为IOU的交叉熵损失；
GIOU loss=；/>为缺陷预测框位置坐标，/>为真实框位置坐标，/>为衡量缺陷预测框位置与真实框位置间距离的交叉熵损失。
5.根据权利要求1所述的模糊抵抗性半监督缺陷检测方法，其特征在于，所述基于教师网络模型对所述无标签图像，进行标签信息预测，得到缺陷预测框及所述缺陷预测框中每个像素点对应的类别标签信息，包括：
对所述无标签图像进行弱数据增强处理，得到弱增强无标签图像；
基于教师网络模型对所述弱增强无标签图像，进行标签信息预测，得到所述弱增强无标签图像对应的缺陷预测框及所述缺陷预测框中每个像素点对应的类别标签信息；
对所述弱增强无标签图像进行逆弱数据增强处理，得到逆弱数据增强处理后的所述缺陷预测框中每个像素点对应的类别标签信息；
将所述逆弱数据增强处理后的所述缺陷预测框中每个像素点对应的类别标签信息，作为用于模型训练的每个像素点对应的所述类别标签信息。
6.根据权利要求1所述的模糊抵抗性半监督缺陷检测方法，其特征在于，所述基于所述学生网络模型的模型参数更新所述教师网络模型的模型参数，包括：
在教师网络模型的网络层中增加EMA多层聚合的隐藏层张量；
基于所述EMA多层聚合的隐藏层张量，通过所述学生网络模型的模型参数，对教师网络模型的模型参数进行多次迭代更新。
7.一种模糊抵抗性半监督缺陷检测装置，其特征在于，包括：
图像获取模块，用于获取待检测目标的无标签图像和有标签图像；
信息预测模块，用于基于教师网络模型对所述无标签图像，进行标签信息预测，得到具有缺陷预测框的无标签图像及所述缺陷预测框中每个像素点对应的类别标签信息；其中所述类别标签信息至少包含有缺陷类别及与所述缺陷类别对应的联合置信度；其中，所述联合置信度用于表征所述缺陷预测框内像素点为目标缺陷的概率；其中，所述教师网络模型基于所述有标签图像预训练得到；
样本分类模块，用于基于所述缺陷类别对应的联合置信度，对所述缺陷预测框内的每个像素点进行样本分类，得到每个像素点对应的样本标签信息；
模型训练模块，用于基于所述无标签图像、每个像素点对应的所述类别标签信息及所述每个像素点对应的样本标签信息对学生网络模型，进行模型训练,以所述缺陷类别对应的联合置信度作为目标损失函数的监督信息，优化所述学生网络模型的模型参数；
缺陷检测模块，用于基于所述学生网络模型的模型参数更新所述教师网络模型的模型参数，及基于模型参数更新后的教师网络模型对所述待检测目标进行缺陷检测；其中，所述缺陷类别为多种；一种所述缺陷类别对应有一个联合置信度；
所述基于所述缺陷类别对应的联合置信度，对所述缺陷预测框内的每个像素点进行样本分类，得到每个像素点对应的样本标签信息，包括：
确定出每个像素点对应于多种缺陷类别中的最大联合置信度及用于样本划分的第一阈值和第二阈值；其中，所述第一阈值大于第二阈值；
基于各像素点对应的所述最大联合置信度分布于由所述第一阈值和所述第二阈值划定的阈值范围，将所述每个像素点分类为正样本、模糊样本及负样本中的一种；
基于欧氏距离计算，将属于所述模糊样本的像素点进行正样本及负样本分类，得到每个像素点对应于正样本或负样本的样本标签信息。
8.一种计算机可读存储介质，其特征在于，其上存储有模糊抵抗性半监督缺陷检测程序，该模糊抵抗性半监督缺陷检测程序被处理器执行时，实现权利要求1-6中任一项所述的模糊抵抗性半监督缺陷检测方法。
9.一种服务器，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的模糊抵抗性半监督缺陷检测程序，所述处理器执行所述模糊抵抗性半监督缺陷检测程序时，实现权利要求1-6中任一项所述的模糊抵抗性半监督缺陷检测方法。
CN202311129775.4A 2023-09-04 2023-09-04 模糊抵抗性半监督缺陷检测方法、装置及存储介质 Active CN116883390B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311129775.4A CN116883390B (zh) 2023-09-04 2023-09-04 模糊抵抗性半监督缺陷检测方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311129775.4A CN116883390B (zh) 2023-09-04 2023-09-04 模糊抵抗性半监督缺陷检测方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN116883390A CN116883390A (zh) 2023-10-13
CN116883390B true CN116883390B (zh) 2023-11-21

Family

ID=88271782

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311129775.4A Active CN116883390B (zh) 2023-09-04 2023-09-04 模糊抵抗性半监督缺陷检测方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN116883390B (zh)

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3392780A2 (en) * 2017-04-19 2018-10-24 Tata Consultancy Services Limited Systems and methods for classification of software defect reports
GB201910720D0 (en) * 2019-07-26 2019-09-11 Tomtom Global Content Bv Generative adversarial Networks for image segmentation
GB202104213D0 (en) * 2020-05-29 2021-05-12 Adobe Inc Exposure defects classification of images using a neural network
CN113096138A (zh) * 2021-04-13 2021-07-09 西安电子科技大学 选择性像素亲和学习的弱监督语义图像分割方法
CN113947601A (zh) * 2021-12-20 2022-01-18 武汉鑫国茂包装有限公司 基于半监督学习的塑料制品表面缺陷检测方法及系统
CN114240882A (zh) * 2021-12-16 2022-03-25 深圳市商汤科技有限公司 缺陷检测方法及装置、电子设备和存储介质
WO2022083157A1 (zh) * 2020-10-22 2022-04-28 北京迈格威科技有限公司 目标检测方法、装置及电子设备
CN114494780A (zh) * 2022-01-26 2022-05-13 上海交通大学 基于特征对比的半监督工业缺陷检测方法及系统
CN114898173A (zh) * 2022-04-13 2022-08-12 广东工业大学 一种改善伪标签质量和类别不平衡的半监督目标检测方法
CN115187525A (zh) * 2022-06-23 2022-10-14 四川启睿克科技有限公司 基于知识蒸馏的无监督图像缺陷检测方法、装置及介质
CN115239638A (zh) * 2022-06-28 2022-10-25 厦门微图软件科技有限公司 一种工业缺陷检测方法、装置、设备及可读存储介质
KR20230030258A (ko) * 2021-08-25 2023-03-06 금오공과대학교 산학협력단 소량 라벨 데이터를 사용하는 반지도학습 기반 결함 검출 방법
CN116310519A (zh) * 2023-02-22 2023-06-23 杭州电子科技大学 一种半监督深度学习的表面缺陷分类方法
CN116542911A (zh) * 2023-04-13 2023-08-04 常州大学 一种端到端的半监督钢材表面缺陷检测方法及系统
CN116563687A (zh) * 2023-06-07 2023-08-08 厦门大学 一种面向半监督指向性目标检测的教师-学生网络方法
EP4227856A1 (en) * 2022-02-14 2023-08-16 Samsung Display Co., Ltd. System and method for defect detection
CN116612120A (zh) * 2023-07-20 2023-08-18 山东高速工程检测有限公司 一种针对数据不平衡的两阶段式道路缺陷检测方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230154167A1 (en) * 2021-11-15 2023-05-18 Nec Laboratories America, Inc. Source-free cross domain detection method with strong data augmentation and self-trained mean teacher modeling
US20230267599A1 (en) * 2022-02-24 2023-08-24 Samsung Display Co., Ltd. System and method for defect detection

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3392780A2 (en) * 2017-04-19 2018-10-24 Tata Consultancy Services Limited Systems and methods for classification of software defect reports
GB201910720D0 (en) * 2019-07-26 2019-09-11 Tomtom Global Content Bv Generative adversarial Networks for image segmentation
GB202104213D0 (en) * 2020-05-29 2021-05-12 Adobe Inc Exposure defects classification of images using a neural network
WO2022083157A1 (zh) * 2020-10-22 2022-04-28 北京迈格威科技有限公司 目标检测方法、装置及电子设备
CN113096138A (zh) * 2021-04-13 2021-07-09 西安电子科技大学 选择性像素亲和学习的弱监督语义图像分割方法
KR20230030258A (ko) * 2021-08-25 2023-03-06 금오공과대학교 산학협력단 소량 라벨 데이터를 사용하는 반지도학습 기반 결함 검출 방법
CN114240882A (zh) * 2021-12-16 2022-03-25 深圳市商汤科技有限公司 缺陷检测方法及装置、电子设备和存储介质
CN113947601A (zh) * 2021-12-20 2022-01-18 武汉鑫国茂包装有限公司 基于半监督学习的塑料制品表面缺陷检测方法及系统
CN114494780A (zh) * 2022-01-26 2022-05-13 上海交通大学 基于特征对比的半监督工业缺陷检测方法及系统
EP4227856A1 (en) * 2022-02-14 2023-08-16 Samsung Display Co., Ltd. System and method for defect detection
CN114898173A (zh) * 2022-04-13 2022-08-12 广东工业大学 一种改善伪标签质量和类别不平衡的半监督目标检测方法
CN115187525A (zh) * 2022-06-23 2022-10-14 四川启睿克科技有限公司 基于知识蒸馏的无监督图像缺陷检测方法、装置及介质
CN115239638A (zh) * 2022-06-28 2022-10-25 厦门微图软件科技有限公司 一种工业缺陷检测方法、装置、设备及可读存储介质
CN116310519A (zh) * 2023-02-22 2023-06-23 杭州电子科技大学 一种半监督深度学习的表面缺陷分类方法
CN116542911A (zh) * 2023-04-13 2023-08-04 常州大学 一种端到端的半监督钢材表面缺陷检测方法及系统
CN116563687A (zh) * 2023-06-07 2023-08-08 厦门大学 一种面向半监督指向性目标检测的教师-学生网络方法
CN116612120A (zh) * 2023-07-20 2023-08-18 山东高速工程检测有限公司 一种针对数据不平衡的两阶段式道路缺陷检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于注意力反向知识蒸馏的车轮踏面异常检测;秦荣荣等;《激光与光电子学进展》;全文 *

Also Published As

Publication number Publication date
CN116883390A (zh) 2023-10-13

Similar Documents

Publication Publication Date Title
CN111444821B (zh) 一种城市道路标志自动识别方法
CN111160469B (zh) 一种目标检测系统的主动学习方法
CN113378686B (zh) 一种基于目标中心点估计的两阶段遥感目标检测方法
Xiao et al. Surface defect detection using image pyramid
CN111444939B (zh) 电力领域开放场景下基于弱监督协同学习的小尺度设备部件检测方法
CN109671071B (zh) 一种基于深度学习的地下管道缺陷定位及等级判定方法
CN114067109B (zh) 谷物检测方法及检测设备、存储介质
CN114749342B (zh) 一种锂电池极片涂布缺陷识别方法、装置及介质
CN113591948A (zh) 一种缺陷模式识别方法、装置、电子设备和存储介质
CN104537359A (zh) 一种车辆目标检测方法及装置
CN116030237A (zh) 工业缺陷检测方法、装置及电子设备、存储介质
CN115587964A (zh) 一种基于熵筛选的伪标签交叉一致性变化检测方法
CN113807450A (zh) 一种基于超高分辨率图片的无人机电力巡线故障检测方法
CN114972759A (zh) 基于分级轮廓代价函数的遥感图像语义分割方法
CN116977710A (zh) 一种遥感图像长尾分布目标半监督检测方法
Wang et al. Feature extraction and segmentation of pavement distress using an improved hybrid task cascade network
CN116823793A (zh) 设备缺陷检测方法、装置、电子设备和可读存储介质
CN115082444A (zh) 一种基于图像处理的铜管焊缝缺陷检测方法及系统
CN114663687A (zh) 模型训练方法、目标识别方法、装置、设备及存储介质
CN117611549A (zh) 一种芯片焊接质量实时监测方法、系统、设备及存储介质
CN116883390B (zh) 模糊抵抗性半监督缺陷检测方法、装置及存储介质
CN116612481A (zh) 基于知识图谱和多元图像的电力设备缺陷识别方法及系统
CN115953371A (zh) 一种绝缘子缺陷检测方法、装置、设备和存储介质
US20230084761A1 (en) Automated identification of training data candidates for perception systems
CN113160128B (zh) 用于led的缺陷检测方法以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant