CN116977256A - 缺陷检测模型的训练方法、装置、设备及存储介质 - Google Patents

缺陷检测模型的训练方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN116977256A
CN116977256A CN202310110319.9A CN202310110319A CN116977256A CN 116977256 A CN116977256 A CN 116977256A CN 202310110319 A CN202310110319 A CN 202310110319A CN 116977256 A CN116977256 A CN 116977256A
Authority
CN
China
Prior art keywords
sample image
original sample
target
image
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310110319.9A
Other languages
English (en)
Inventor
张博深
涂远鹏
李昱希
刘亮
王亚彪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202310110319.9A priority Critical patent/CN116977256A/zh
Publication of CN116977256A publication Critical patent/CN116977256A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及计算机领域，特别涉及了人工智能领域，提供了一种缺陷检测模型的训练方法、装置、设备及存储介质。该方法包括：以获得的参考点为中心，删除原始样本图像中可能存在严重缺陷的区域，生成相应的候选样本图像，再对候选样本图像进行缺陷检测，得到第二检测标签集，并基于第二检测标签集与标签调制得到的第二实际标签集，调整缺陷检测模型的模型参数。使得模型在训练阶段能够学习到表示轻微缺陷的有效特征，拥有抵抗噪声数据干扰的能力，减弱噪声样本带来的影响，进而获得鲁棒性高、泛化能力佳、性能强的目标缺陷检测模型。

Description

缺陷检测模型的训练方法、装置、设备及存储介质
技术领域
本申请涉及计算机领域，特别涉及了人工智能领域，提供了一种缺陷检测模型的训练方法、装置、设备及存储介质。
背景技术
工业缺陷质检是指对生产制造过程中的工业产品进行质量检测。近年来随着人工智能(Artificial Intelligence，AI)技术的兴起，基于计算机视觉的AI质检取代了以往的人工目检，大幅提升了质检准确率、节省人力成本，具有广阔的市场应用前景。
目前，在训练缺陷检测模型时，是将训练集中的样本图像输入到神经网络结构中进行特征提取，再使用全连接层进行分类，依据softmax损失函数对模型进行端到端的训练，得到训练完毕的缺陷检测模型，并利用缺陷检测模型对产品进行缺陷检测。
由于人工标注具有主观性，一部分人会将具有轻微缺陷的样本图像标注为正常标签，一部分人又会将其标注为缺陷标签，导致人工标注的标签带有噪声。然而，使用噪声样本训练模型，会影响到缺陷检测模型训练的准确性，进而降低缺陷检测模型的性能。
发明内容
本申请实施例提供了一种缺陷检测模型的训练方法、装置、设备及存储介质，以解决受噪声样本的影响，导致模型的检测准确率低、检测性能差的问题。
第一方面，本申请实施例提供了一种缺陷检测模型的训练方法，包括：
对原始样本图像进行缺陷检测，获得第一检测标签集；在检测过程中输出有：各颜色通道各自对应的与所述原始样本图像具有相同图像大小的缺陷特征图；
将所述各缺陷特征图中同一像素位置的第一像素点的特征值相加，获得与所述原始样本图像具有相同图像大小的响应图中各第二像素点的响应值，并将响应值超过第一设定阈值的第二像素点，确定为参考点；所述响应值表征：所述原始样本图像中与所述第二像素点对应的像素点，对于所述原始样本图像中缺陷区域的贡献程度；
在所述原始样本图像中删除以所述参考点对应的像素点为中心的目标区域，获得候选样本图像；
对所述候选样本图像进行缺陷检测，获得第二检测标签集，并基于所述第二检测标签集与所述原始样本图像的第二实际标签集，调整缺陷检测模型的模型参数；所述第二实际标签集是基于目标删除比例，对第一实际标签集进行调整得到的，所述目标删除比例表征：所述目标区域与所述原始样本图像之间的面积之比。
第二方面，本申请实施例还提供了一种缺陷检测模型的训练装置，包括：
第一检测单元，用于对原始样本图像进行缺陷检测，获得第一检测标签集；在检测过程中输出有：各颜色通道各自对应的与所述原始样本图像具有相同图像大小的缺陷特征图；
处理单元，用于将所述各缺陷特征图中同一像素位置的第一像素点的特征值相加，获得与所述原始样本图像具有相同图像大小的响应图中各第二像素点的响应值，并将响应值超过第一设定阈值的第二像素点，确定为参考点；所述响应值表征：所述原始样本图像中与所述第二像素点对应的像素点，对于所述原始样本图像中缺陷区域的贡献程度；
在所述原始样本图像中删除以所述参考点对应的像素点为中心的目标区域，获得候选样本图像；
第二检测单元，用于对所述候选样本图像进行缺陷检测，获得第二检测标签集；
参数调整单元，用于基于所述第二检测标签集与所述原始样本图像的第二实际标签集，调整缺陷检测模型的模型参数；所述第二实际标签集是基于目标删除比例，对第一实际标签集进行调整得到的，所述目标删除比例表征：所述目标区域与所述原始样本图像之间的面积之比。
可选的，所述处理单元通过执行以下操作，获得所述原始样本图像的可信度：
通过比较所述原始样本图像的第一检测标签集与对应的第一实际标签集，获得模型检测过程中产生的差异值；
对所述差异值进行概率拟合，得到所述原始样本图像的可信度。
可选的，所述参数调整单元用于：
基于所述第二检测标签集与所述原始样本图像的第二实际标签集，确定所述缺陷检测模型的模型总损失；
基于所述模型总损失，调整所述缺陷检测模型的模型参数。
第三方面，本申请实施例还提供了一种计算机设备，包括处理器和存储器，其中，所述存储器存储有程序代码，当所述程序代码被所述处理器执行时，使得所述处理器执行上述任意一种缺陷检测模型的训练方法的步骤。
第四方面，本申请实施例还提供了一种计算机可读存储介质，其包括程序代码，当程序产品在计算机设备上运行时，所述程序代码用于使所述计算机设备执行上述任意一种缺陷检测模型的训练方法的步骤。
第五方面，本申请实施例还提供了一种计算机程序产品，包括计算机指令，计算机指令被处理器执行上述任意一种缺陷检测模型的训练方法的步骤。
本申请有益效果如下：
本申请实施例提供了一种缺陷检测模型的训练方法、装置、设备及存储介质，该方法包括：
对原始样本图像进行缺陷检测，获得第一检测标签集，再将缺陷检测过程中输出的多张缺陷特征图叠加，获得原始样本图像具有相同图像大小的响应图中各第二像素点的响应值，并将响应值超过第一设定阈值的第二像素点，确定为参考点。
在原始样本图像中删除以参考点对应的像素点为中心的目标区域，获得候选样本图像，对候选样本图像进行缺陷检测，获得第二检测标签集，并基于第二检测标签集与原始样本图像的第二实际标签集，调整缺陷检测模型的模型参数；第二实际标签集是基于目标删除比例，对第一实际标签集进行调整得到的，目标删除比例表征：目标区域与原始样本图像之间的面积之比。
本申请实施例以获得的参考点为中心，删除原始样本图像中可能存在严重缺陷的区域，以免模型在训练阶段过多关注严重缺陷的区域，而忽略轻微缺陷的区域，以及利用目标区域与原始样本图像之间的目标删除比例，将原本比较尖锐、突出的标签，调整成比较平滑的标签，使得模型在训练阶段能够学习到表示轻微缺陷的有效特征，拥有抵抗噪声数据干扰的能力，减弱噪声样本带来的影响，进而获得鲁棒性高、泛化能力佳、性能强的目标缺陷检测模型。
本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本申请实施例提供的不同缺陷程度的产品图像的示例图；
图2为本申请实施例中一种应用场景的一个可选示意图；
图3A为本申请实施例提供的待训练的缺陷检测模型的模型结构示意图；
图3B为本申请实施例提供的基于CNN的第一编码器的结构示意图；
图3C为本申请实施例提供的训练缺陷检测模型的流程示意图；
图3D为本申请实施例提供的训练缺陷检测模型的逻辑示意图；
图3E为本申请实施例提供的生成响应图的逻辑示意图；
图3F为本申请实施例提供的按照固定尺寸删除目标区域的逻辑示意图；
图3G为本申请实施例提供的基于原始样本图像的可信度，删除目标区域的流程示意图；
图3H为本申请实施例提供的基于原始样本图像的可信度，删除目标区域的逻辑示意图；
图3I为本申请实施例提供的标签调制对比示意图；
图4A为本申请实施例提供的检测两张待检测图像中是否存在缺陷的流程示意图；
图4B为本申请实施例提供的检测两张待检测图像中是否存在缺陷的流程示意图；
图5为本申请实施例提供的一种缺陷检测模型的训练装置的结构示意图；
图6为应用本申请实施例的一种计算机设备的一个硬件组成结构示意图；
图7为应用本申请实施例的另一种电子设备的一个硬件组成结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请技术方案的一部分实施例，而不是全部的实施例。基于本申请文件中记载的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请技术方案保护的范围。
以下对本申请实施例中的部分用语进行解释说明，以便于本领域技术人员理解。
1、人工智能：
人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术；人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
随着人工智能技术研究和进步，人工智能在多个领域展开研究和应用，例如常见的智能家居、智能客服、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、机器人、智能医疗等，相信随着技术的发展，人工智能将在更多的领域得到应用，并发挥越来越重要的价值。
2、机器学习：
机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。
机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍布人工智能的各个领域，包括深度学习、强化学习、迁移学习、归纳学习、式教学习等技术。
3、计算机视觉是一门集计算机科学、信号处理、物理学、应用数学、统计学、神经生理学等多学科于一身的综合性学科，也是科学领域中一个富有挑战性的重要研究方向。
该学科使用各种成像系统代替视觉器官作为输入手段，由计算机代替大脑完成处理和解释，使得计算机可以具备像人类一样通过视觉的方式观察、理解世界的能力。其中，计算机视觉的子领域包括人脸检测、人脸对比、五官检测、眨眼检测、活体检测、疲劳检测等。
4、缺陷检测(Defect Detection)：缺陷检测通常是指对物品表面缺陷的检测，表面缺陷检测是采用先进的机器视觉检测技术，对工件表面的斑点、凹坑、划痕、色差、缺损等缺陷进行检测。
5、损失函数(loss function)或代价函数(cost function)是将随机事件或其有关随机变量的取值映射为非负实数以表示该随机事件的“风险”或“损失”的函数。在应用中，损失函数通常作为学习准则与优化问题相联系，即通过最小化损失函数求解和评估模型。例如在统计学和机器学习中被用于模型的参数估计(parameteric estimation)。
下面对本申请实施例的设计思想进行简要介绍：
工业缺陷质检是指对生产制造过程中的工业产品进行质量检测。近年来随着AI技术的兴起，基于计算机视觉的AI质检取代了以往的人工目检，大幅提升了质检准确率、节省人力成本，具有广阔的市场应用前景。
目前，在训练缺陷检测模型时，是将训练集中的样本图像输入到神经网络结构中进行特征提取，再使用全连接层进行分类，依据softmax损失函数对模型进行端到端的训练，得到训练完毕的缺陷检测模型，并利用缺陷检测模型对产品进行缺陷检测。
然而，缺陷质检并不是简单的二分类，很多缺陷图像的程度较为轻微，由于人工标注具有主观性，一部分人会将具有轻微缺陷的样本图像标注为正常标签，一部分人又会将其标注为缺陷标签，导致人工标注的标签带有噪声。使用噪声样本训练模型，会影响到缺陷检测模型训练的准确性，进而降低缺陷检测模型的性能。
例如，图1示出了不同缺陷程度的产品图像。其中，图1中(a)所示的产品图像为无缺陷图像，可以毫无疑问的为其标注无缺陷的图像类别标签，如标注为1。
图1中(c)所示的产品图像中出现了多个黑点，且产品图像存在明显的颗粒感，因此，也可以毫无疑问的为图1中(c)所示的产品图像，标注带有严重缺陷的图像类别标签，如标注为0。
然而，图1中(b)所示的产品图像中仅出现了个别黑点，且产品图像存在些许颗粒感，因此，图1中(b)所示的产品图像为带有轻度缺陷的图像。针对这类产品图像，在进行人工标注时，容易受到主观因素的影响，有人可能会将其归为无缺陷图像，为其标注为1，而有些人可能会将其归为有缺陷图像，为其标注为0。
有鉴于此，本申请实施例提供了一种缺陷检测模型的训练方法、装置、设备及存储介质。该方法包括：
对原始样本图像进行缺陷检测，获得第一检测标签集，再将缺陷检测过程中输出的多张缺陷特征图叠加，获得原始样本图像具有相同图像大小的响应图中各第二像素点的响应值，并将响应值超过第一设定阈值的第二像素点，确定为参考点。
在原始样本图像中删除以参考点对应的像素点为中心的目标区域，获得候选样本图像，对候选样本图像进行缺陷检测，获得第二检测标签集，并基于第二检测标签集与原始样本图像的第二实际标签集，调整缺陷检测模型的模型参数；第二实际标签集是基于目标删除比例，对第一实际标签集进行调整得到的，目标删除比例表征：目标区域与原始样本图像之间的面积之比。
本申请实施例设计了一种新的缺陷检测模型的训练方法，以获得的参考点为中心，删除原始样本图像中可能存在严重缺陷的区域，可以避免模型在进行特征提取时，只关注严重缺陷的区域，而忽略轻微缺陷的区域，以及利用目标区域与原始样本图像之间的目标删除比例，将原本比较尖锐、突出的标签，调整成比较平滑的标签，使得模型在训练阶段能够学习到表示轻微缺陷的有效特征，拥有抵抗噪声数据干扰的能力，减弱噪声样本带来的影响，进而获得鲁棒性高、泛化能力佳、性能强的目标缺陷检测模型。
以下结合说明书附图对本申请的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本申请，并不用于限定本申请，并且在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
本申请实施例可应用于各种场景，包括但不限于云技术、人工智能、智慧交通、辅助驾驶等。
图2示出了其中一种应用场景，包括两个物理终端设备210与一台服务器230，每个物理终端设备210通过有线网络或无线网络，与服务器230建立通信连接。
其中，本申请实施例的物理终端设备210可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。
本申请实施例的服务器230可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content DeliveryNetwork，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器，本申请在此不做限制。
物理终端设备210调用图像采集模块，拍摄工件表面，获得待检测图像220。再将待检测图像220发送到部署了目标缺陷检测模型的服务器230中，对工件表面进行斑点、凹坑、划痕、色差、缺损等多种类型的缺陷检测。
具体检测过程为：目标缺陷检测模型通过内部的编码器，对待检测图像220进行特征提取，获得各颜色通道各自对应的缺陷特征图。再通过全连接层，将各缺陷特征图映射到同一特征空间中，预测待检测图像220属于各个图像类别标签的概率值，其中，图像类别标签为以下任意一种：无缺陷的图像类别标签与具有各类缺陷的图像类别标签。最后，基于获得的多个预测标签，判断待检测图像220是否属于缺陷图像，以及具体存在哪种类型的缺陷。
为了解决噪声样本对模型性能和模型训练准确性的影响，本申请实施例使用多张原始样本图像对模型进行多轮迭代训练，直至输出训练完毕的目标缺陷检测模型；其中，每次迭代包括：以获得的参考点为中心，删除原始样本图像中可能存在严重缺陷的区域，获得候选样本图像，再基于目标区域与原始样本图像之间的目标删除比例，对原始样本图像的第一实际标签集进行标签调制，获得第二实际标签集；最后，基于候选样本图像与第二实际标签集，调整缺陷检测模型的模型参数。
接下来，将结合相应附图，详细介绍缺陷检测模型的训练过程。
首先，参阅图3A示出的结构示意图，先了解下训练阶段的缺陷检测模型由哪些工作模块构成。
如图3A所示，待训练的缺陷检测模型包括：针对原始样本图像进行缺陷检测的第一编码器，针对候选样本图像进行缺陷检测的第二编码器，用来删除可能存在严重缺陷的目标区域的对抗删除模块，以及样本可信度模块、标签调制模块与监督损失模块。
其中，第一编码器与第二编码器具有相同或者类似的网络结构，均是基于卷积神经网络(Convolutional Neural Network，CNN)、循环神经网络(Recurrent NeuralNetwork，RNN)或其他结构更加复杂的神经网络搭建的工作模块。
不过，无论采用哪种结构的神经网络，两个编码器均包括：输入层、输出层与隐藏层。例如，将CNN作为第一编码器，其网络结果如图3B所示，包括输入层、隐藏层与输出层，其中，隐藏层由多个神经单元组成，各神经单元对应的神经单元权重、偏置参数均有可能是不同的。
对抗删除模块是以参考点为中心，删除原始样本图像中可能存在严重缺陷的目标区域，获得候选样本图像，避免模型在进行特征提取时，只关注严重缺陷的区域，而忽略轻微缺陷的区域，有利于提高模型的泛化能力。
第一实际标签集包括至少一个第一实际标签，每个第一实际标签表征：标注原始样本图像属于相应图像类别的概率值。因此，概率值越高，意味着标注人员认为原始样本图像属于这类图像类别的可能性越大。
但是，人工标注容易受到主观影响，各第一实际标签的概率值参差不齐，存在比较尖锐、突出的one-hot标签，影响模型训练效果。因此，本申请实施例采用标签调制模块，下调不小于第二设定阈值的第一实际标签的概率值，上调小于第二设定阈值的第一实际标签的概率值，以确保某一类图像类别的第一实际标签的概率值不会过于高，以免模型过于关注这一类标签的特征，降低了模型的泛化能力。
监督损失模块则是采用交叉熵损失函数、骰子损失函数、聚焦损失函数(FocalLoss)、KL散度损失函数等损失函数，确定每次迭代时模型产生的模型总损失，再基于该模型总损失，调整模型参数。
使用多张原始样本图像对缺陷检测模型进行多轮迭代训练，直至输出训练完毕的目标缺陷检测模型，如图3C～3D所示，对缺陷检测模型进行一次迭代训练的过程如下：
S301：使用部署了待训练的缺陷检测模型的服务器，对原始样本图像进行缺陷检测，获得第一检测标签集；在检测过程中输出有：各颜色通道各自对应的与原始样本图像具有相同图像大小的缺陷特征图。
如公式1所示，第一编码器ME(其权重表示为θE)对原始样本图像xi进行特征提取，输出缺陷特征图集Fi。缺陷特征图集包括各颜色通道各自的缺陷特征图，每张缺陷特征图中各像素点的特征值，表征原始样本图像中同一像素位置的像素点的缺陷特征。
Fi＝ME(xi；θE) 公式1；
其中，WF是每张缺陷特征图的宽度，HF是每张缺陷特征图的高度，NC是维度总和。每个维度对应一个颜色通道，每个颜色通道对应至少一张缺陷特征图。
如公式2所示，将各缺陷特征图映射到同一特征空间中，获得第一检测标签集Pi。其中，θC是由缺陷特征图集Fi映射到第一检测标签集Pi的映射参数。
Pi＝f(Fi；θC) 公式2；
第一检测标签集包括至少一个第一检测标签，每个第一检测标签表征：预测原始样本图像属于相应图像类别的概率值。因此，概率值越高，意味着模型认为原始样本图像属于这类图像类别的可能性越大。
S302：将各缺陷特征图中同一像素位置的第一像素点的特征值相加，获得与原始样本图像具有相同图像大小的响应图中各第二像素点的响应值，并将响应值超过第一设定阈值的第二像素点，确定为参考点；响应值表征：原始样本图像中与第二像素点对应的像素点，对于原始样本图像中缺陷区域的贡献程度。
一张缺陷特征图里有多个第一像素点，每个第一像素点的坐标是唯一的。由于所有缺陷特征图的图像大小是相同的，因此，不同缺陷特征图中存在坐标相同的第一像素点，这些第一像素点就是“具有同一像素位置的像素点”。进一步地，对抗删除模块通过叠加各缺陷特征图中同一像素位置的第一像素点的特征值，获得与原始样本图像具有相同图像大小的响应图
如图3E所示，缺陷特征图1中第一像素点的坐标为(1,1)，缺陷特征图2中第一像素点的坐标也是(1,1)，缺陷特征图3中第一像素点的坐标还是(1,1)，因此，这三个第一像素点是不同缺陷特征图中具有同一像素位置的像素点。然后，将三个第一像素点的特征值相加，确定响应图中坐标(1,1)的第二像素点的响应值为0.1。
但是，受附图格式影响，图3E是将原图调整为灰度图后的示例，所以，响应图中不同颜色之间的差异不太明显，此图仅供参考，具体响应值对应的颜色，可根据实际情况而定。
响应值与贡献程度之间呈正相关，即响应值越高，原始样本图像中相应像素点对该图像中缺陷区域的贡献程度越高，意味着该像素点处于缺陷区域的可能性越高。因此，在生成响应图之后，将响应值超过第一设定阈值的第二像素点，确定为参考点，并获取各参考点的像素位置{hi,wi}，以便模型删除原始样本图像中以参考点为中心的目标区域，获得候选样本图像。
S303：在原始样本图像中删除以参考点对应的像素点为中心的目标区域，获得候选样本图像。
删除操作指的是在原始样本图像中去除可能存在严重缺陷的区域，以免模型在对候选样本图像进行特征提取时，只关注存在严重缺陷的区域，而忽略了存在轻微缺陷的区域。
在执行步骤303时，本申请实施例提供了以下几种删除目标区域的方式：
方式一：按照目标区域的固定尺寸，在原始样本图像中删除以参考点对应的像素点为中心的目标区域，获得相应的候选样本图像。
图3F左侧所示的原始样本图像是一张螺丝钉表面图像，使用待训练的缺陷检测模型对螺丝钉表面图像进行首次缺陷检测，发现在螺丝钉表面存在斑点、划痕、凹坑等缺陷。
但是，为了降低噪声样本给模型训练带来的影响，按照目标区域的固定尺寸(10*20)，删除原始样本图像中以参考点为对应的像素点中心的目标区域，获得图3F右侧所示的候选样本图像。
不过，受附图格式影响，图3F是使用斜格纹纹理表示目标删除区域中各第一像素点所填充的像素值，形成类似马赛克效果，以表明候选样本图像中被删除的目标删除区域。此图仅供参考，具体像素值所对应的颜色，可根据实际情况而定。
方式二：基于原始样本图像的可信度，确定用于调整目标区域面积的目标区域面积大小的目标删除比例，并基于目标删除比例与用于调整目标区域长宽比的目标范围比例，在原始样本图像中删除以参考点对应的像素点为中心的目标区域，获得相应的候选样本图像。
一般而言，噪声样本的第一检测标签与第一实际标签之间的差异较大，导致样本的可信度较低，而干净样本的标签间的差异较小，相应的可信度较高。因此，本申请实施例还可以利用可信度控制删除策略，对原始样本图像中以参考点对应的像素点为中心的目标区域删除，获得相应的候选样本图像。如图3G所示，具体操作如下：
S3031：基于原始样本图像的图像大小、目标删除比例、用于调整目标区域长宽比的目标范围比例与参考点的像素位置，确定原始样本图像中以参考点对应的像素点为中心的目标区域。
确定目标区域的具体实现方式如公式3所示。分别是目标区域的高度与宽度，Hi、Wi分别是原始样本图像的高度与宽度，hi、wi分别是参考点的横纵坐标，ri是目标删除比例，δi是目标范围比例。
根据前文的介绍可知，干净样本的可信度高，噪声样本的可信度低。将可信度代入公式4中，计算得到干净样本的目标删除比例较小，以免将干净样本中的缺陷区域全部删除，导致模型将其误识别为无缺陷图像；噪声样本的目标删除比例较大，确保尽可能删除完噪声样本中可能存在严重缺陷的区域，以免模型在对候选样本图像进行特征提取时，只关注严重缺陷的区域，而忽略轻微缺陷的区域。其中，Gi为原始样本图像的可信度，ri是目标删除比例，μ是一个预设的基准删除比例。
ri＝μ×(1-Gi) 公式4；
通过执行以下操作，获得原始样本图像的可信度：通过比较第一检测标签集与对应的第一实际标签集，获得模型检测过程中产生的差异值；再对差异值进行概率拟合，得到原始样本图像的可信度。
如公式5所示，本申请是使用一个高斯混合模型(Gaussian Mixture Model，GMM)，对第一检测标签集Pi与对应的第一实际标签集yi之间的差异值进行概率拟合，进而获得原始样本图像的可信度Gi。其中，abs指的是编程语言中的绝对值函数。
Gi＝GMM(abs(Pi-yi)) 公式5；
当制定的目标删除范围过大，容易删除原始样本图像中太多的缺陷，导致模型学习不到表示轻微缺陷的有效特征；当制定的目标删除范围过小，又容易让模型在训练阶段过多关注存在严重缺陷的区域，忽略存在轻微缺陷的区域，进而影响模型的泛化能力与检测性能。因此，而计算目标范围比例，成为了制定合理的目标删除范围的重要手段。
本申请确定目标范围比例的具体实现方式如公式6所示。其中，预设范围值δ是一个正整数，目标范围比例δi是用来调整目标区域长宽比的。
S3032：通过调整目标区域内各第一像素点的像素值，删除原始样本图像中的目标区域。
对以参考点为中心的目标区域，执行矩形删除、不规则图形删除等删除操作。再通过执行以下操作，调整目标区域内各第一像素点的像素值：重置目标区域内各第一像素点的像素值；按照预设的像素值填充范围，对各第一像素点的像素值进行填充。
具体实现方式如公式7所示，针对目标区域内的各第一像素点，分别进行像素值随机填充；针对目标区域之外的各第一像素点，不调整像素值。其中，像素值填充范围为(0,1)。
其中，m、n分别为第一像素点的横纵坐标，xi(m,n)是调整前的第一像素点的像素值，是调整后的第一像素点的像素值。
图3H左侧所示的原始样本图像是一张螺丝钉表面图像，使用待训练的缺陷检测模型对螺丝钉表面图像进行首次缺陷检测，发现在螺丝钉表面存在斑点、划痕、凹坑等缺陷。
但是，为了降低噪声样本给模型训练带来的影响，基于原始样本图像的可信度，删除原始样本图像中以参考点对应的像素点为中心的目标区域，获得图3H右侧所示的候选样本图像。
不过，受附图格式影响，图3H是使用斜格纹纹理表示目标删除区域中各第一像素点所填充的像素值，形成类似马赛克效果，以表明候选样本图像中被删除的目标删除区域。此图仅供参考，具体像素值所对应的颜色，可根据实际情况而定。
S304：对候选样本图像进行缺陷检测，获得第二检测标签集，并基于第二检测标签集与原始样本图像的第二实际标签集，调整缺陷检测模型的模型参数；第二实际标签集是基于目标删除比例，对第一实际标签集进行调整得到的，目标删除比例表征：目标区域与原始样本图像之间的面积之比。
由于两个编码器具有相同或相似的网络结构，因此，两个编码器执行的操作也是相同或相似。前文已经详细介绍过获得第一检测标签集的过程，在此便简短说明下得到第二检测标签集的过程。
第二编码器对读取的候选样本图像进行特征提取，输出缺陷特征图集，再基于第二编码器中各隐藏层权重与相应的偏置参数，将缺陷特征图集中的各缺陷特征图映射到同一特征空间中，得到第二检测标签集。
不过，由于受到人工标注的主观性影响，第一实际标签集中各第一类别标签的概率值参差不齐，存在比较尖锐、突出的one-hot标签，影响模型训练效果。因此，标签调制模块基于获得的目标删除比例，对第一实际标签集进行调整，得到第二实际标签集，以达到将原本比较尖锐、突出的one-hot标签，调整成图3I所示的比较平滑的标签，第二实际标签集也能防止模型过于关注存在严重缺陷的区域，而忽略存在轻微缺陷的区域，使用该第二实际标签集训练好的缺陷检测模型，其模型的泛化能力与检测性能也会有所提升。
具体调整过程为：基于获得的目标删除比例，下调第一实际标签集中不小于第二设定阈值的第一实际标签的概率值；以及，基于获得的目标删除比例，上调第一实际标签集中小于第二设定阈值的第一实际标签的概率值；最后，将调整后的第一实际标签集，确定为原始样本图像的第二实际标签集。
如公式8所示，针对各第一实际标签执行以下操作，获得相应的第二实际标签：获取第j类图像类别的第一实际标签，当第j类图像类别的第一实际标签的概率值是第一实际标签集中的最大概率值时，基于目标删除比例，下调该标签的概率值；当第j类图像类别的第一实际标签的概率值不是最大概率值时，基于目标删除比例，上调该标签的概率值。
其中，yi(j)表示调整前第j类图像类别的第一实际标签的概率值，表示调整后第j类图像类别的第一实际标签的概率值，ri表示目标删除比例，c表示第一实际标签的总数。
监督损失模块采用交叉熵损失函数、骰子损失函数、聚焦损失函数(Focal Loss)、KL散度损失函数等损失函数，基于第二检测标签集与对应的第二实际标签集，确定缺陷检测模型的模型总损失，再基于该模型总损失，调整缺陷检测模型的模型参数。
以交叉熵损失函数为例，将第二检测标签集与对应的第二实际标签集/>代入公式9，计算缺陷检测模型在一次迭代中产生的模型总损失/>其中，/>表示交叉熵损失函数，用来衡量针对同一图像类别的第二检测标签与第二实际标签之间的概率值分布相似程度。
本申请实施例设计了一种基于样本可信度引导对抗删除的模型训练方法，基于原始样本图像的可信度，删除原始样本图像中可能存在严重缺陷的区域，以免模型在训练阶段过多关注严重缺陷的区域，而忽略轻微缺陷的区域，以及利用目标区域与原始样本图像之间的目标删除比例，将原本比较尖锐、突出的标签，调整成比较平滑的标签，使得模型在训练阶段能够学习到表示轻微缺陷的有效特征，拥有抵抗噪声数据干扰的能力，减弱噪声样本带来的影响，进而获得鲁棒性高、泛化能力佳、性能强的目标缺陷检测模型，为工业AI缺陷质量检测提供可靠的技术支撑。
在模型应用阶段，训练完毕的目标缺陷检测模型只包括第一编码器。针对工业缺陷检测任务，目标缺陷检测模型的检测过程如图4A～4B所示：
S401：将两张待检测图像输入到第一编码器中，分别提取各自的缺陷特征，获得各自的缺陷特征图集，每个缺陷特征图集包括：各颜色通道各自对应的与待检测图像具有相同图像大小的缺陷特征图；
S402：基于第一编码器中各隐藏层权重与相应的偏置参数，将同一缺陷特征图集中的各缺陷特征图映射到同一特征空间中，输出待检测图像1的目标检测标签集1为{无缺陷：0.95；斑点：0.01；凹坑：0.01；划痕：0.01；色差：0.01；缺损：0.01}，与待检测图像2的目标检测标签集2为{无缺陷：0.01；斑点：0.80；凹坑：0.15；划痕：0.01；色差：0.02；缺损：0.01}；
S403：目标检测标签集1中无缺陷标签的预测概率值超过了预设门限值0.5，目标缺陷检测模型判定待检测图像1为无缺陷的图像，以及，目标检测标签集2中斑点标签与凹坑标签的预测概率值超过了预设门限值，目标缺陷检测模型判定待检测图像2为缺陷的图像，且该图像中还存在斑点、凹坑两种类型的缺陷。
与上述方法实施例基于同一发明构思，本申请实施例还提供了一种缺陷检测模型的训练装置。如图5所示，缺陷检测模型的训练装置500可以包括：
第一检测单元501，用于对原始样本图像进行缺陷检测，获得第一检测标签集；在检测过程中输出有：各颜色通道各自对应的与原始样本图像具有相同图像大小的缺陷特征图；
处理单元502，用于将各缺陷特征图中同一像素位置的第一像素点的特征值相加，获得与原始样本图像具有相同图像大小的响应图中各第二像素点的响应值，并将响应值超过第一设定阈值的第二像素点，确定为参考点；响应值表征：原始样本图像中与第二像素点对应的像素点，对于原始样本图像中缺陷区域的贡献程度；
在原始样本图像中删除以参考点对应的像素点为中心的目标区域，获得候选样本图像；
第二检测单元503，用于对候选样本图像进行缺陷检测，获得第二检测标签集；
参数调整单元504，用于基于第二检测标签集与原始样本图像的第二实际标签集，调整缺陷检测模型的模型参数；第二实际标签集是基于目标删除比例，对第一实际标签集进行调整得到的，目标删除比例表征：目标区域与原始样本图像之间的面积之比。
可选的，处理单元502用于：
按照目标区域的固定尺寸，在原始样本图像中删除以参考点对应的像素点为中心的目标区域，获得相应的候选样本图像；
或者，基于原始样本图像的可信度，确定用于调整目标区域面积大小的目标删除比例，并基于目标删除比例与用于调整目标区域长宽比的目标范围比例，在原始样本图像中删除以参考点为中心的目标区域，获得相应的候选样本图像。
可选的，处理单元502用于：
基于原始样本图像的图像大小、目标删除比例、目标范围比例与参考点的像素位置，确定原始样本图像中以参考点对应的像素点为中心的目标区域；
通过调整目标区域内各第一像素点的像素值，删除原始样本图像中的目标区域。
可选的，处理单元502通过执行以下操作，调整目标区域内各第一像素点的像素值，包括：
重置目标区域内各第一像素点的像素值；
按照预设的像素值填充范围，对各第一像素点的像素值进行填充。
可选的，处理单元502用于：
通过比较第一检测结果与对应的第一实际结果，获得模型检测过程中产生的差异值；
对差异值进行概率拟合，得到原始样本图像的可信度。
可选的，第一实际标签集包括至少一个第一实际标签，每个第一实际标签表征：标注原始样本图像属于相应图像类别的概率值；
缺陷检测模型的训练装置500还包括标签调制单元505，标签调制单元505通过执行以下操作，获得第二实际标签集：
基于获得的目标删除比例，下调第一实际标签集中不小于第二设定阈值的图像类别标签的概率值；以及，
基于获得的目标删除比例，上调第一实际标签集中小于第二设定阈值的图像类别标签的概率值；
将调整后的第一实际标签集，确定为原始样本图像的第二实际标签集。
可选的，参数调整单元504用于：
基于第二检测结果与对应的第二实际结果，确定缺陷检测模型的模型总损失；
基于模型总损失，调整缺陷检测模型的模型参数。
为了描述的方便，以上各部分按照功能划分为各模块(或单元)分别描述。当然，在实施本申请时可以把各模块(或单元)的功能在同一个或多个软件或硬件中实现。
在介绍了本申请示例性实施方式的缺陷检测模型的训练方法和装置之后，接下来，介绍根据本申请的另一示例性实施方式的计算机设备。
所属技术领域的技术人员能够理解，本申请的各个方面可以实现为系统、方法或程序产品。因此，本申请的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
与上述方法实施例基于同一发明构思，本申请实施例中还提供了一种计算机设备。在一种实施例中，该计算机设备可以是服务器，如图2所示的服务器230。在该实施例中，计算机设备的结构如图6所示，可以至少包括存储器601、通讯模块603，以及至少一个处理器602。
存储器601，用于存储处理器602执行的计算机程序。存储器601可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统，以及运行即时通讯功能所需的程序等；存储数据区可存储各种即时通讯信息和操作指令集等。
存储器601可以是易失性存储器(volatile memory)，例如随机存取存储器(random-access memory，RAM)；存储器601也可以是非易失性存储器(non-volatilememory)，例如只读存储器，快闪存储器(flash memory)，硬盘(hard disk drive，HDD)或固态硬盘(solid-state drive，SSD)；或者存储器601是能够用于携带或存储具有指令或数据结构形式的期望的计算机程序并能够由计算机存取的任何其他介质，但不限于此。存储器601可以是上述存储器的组合。
处理器602，可以包括一个或多个中央处理单元(central processing unit，CPU)或者为数字处理单元等等。处理器602，用于调用存储器601中存储的计算机程序时实现上述缺陷检测模型的训练方法。
通讯模块603用于与终端设备和其他服务器进行通信。
本申请实施例中不限定上述存储器601、通讯模块603和处理器602之间的具体连接介质。本申请实施例在图6中以存储器601和处理器602之间通过总线604连接，总线604在图6中以粗线描述，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。总线604可以分为地址总线、数据总线、控制总线等。为便于描述，图6中仅用一条粗线描述，但并不描述仅有一根总线或一种类型的总线。
存储器601中存储有计算机存储介质，计算机存储介质中存储有计算机可执行指令，计算机可执行指令用于实现本申请实施例的缺陷检测模型的训练方法。处理器602用于执行上述的缺陷检测模型的训练方法，如图3C所示。
在另一种实施例中，计算机设备也可以是其他计算机设备，如图2所示的物理终端设备210。在该实施例中，计算机设备的结构可以如图7所示，包括：通信组件710、存储器720、显示单元730、摄像头740、传感器750、音频电路760、蓝牙模块770、处理器780等部件。
通信组件710用于与服务器进行通信。在一些实施例中，可以包括电路无线保真(Wireless Fidelity，WiFi)模块，WiFi模块属于短距离无线传输技术，电子设备通过WiFi模块可以帮助对象收发信息。
存储器720可用于存储软件程序及数据。处理器780通过运行存储在存储器720的软件程序或数据，从而执行物理终端设备210的各种功能以及数据处理。存储器720可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。存储器720存储有使得终端设备210能运行的操作系统。本申请中存储器720可以存储操作系统及各种应用程序，还可以存储执行本申请实施例缺陷检测模型的训练方法的计算机程序。
显示单元730还可用于显示由对象输入的信息或提供给对象的信息以及终端设备210的各种菜单的图形用户界面(graphical user interface，GUI)。具体地，显示单元730可以包括设置在终端设备210正面的显示屏732。其中，显示屏732可以采用液晶显示器、发光二极管等形式来配置。显示单元730可以用于显示本申请实施例中的缺陷检测界面、模型训练界面等。
显示单元730还可用于接收输入的数字或字符信息，产生与物理终端设备210的对象设置以及功能控制有关的信号输入，具体地，显示单元730可以包括设置在终端设备210正面的触控屏731，可收集对象在其上或附近的触摸操作，例如点击按钮，拖动滚动框等。
其中，触控屏731可以覆盖在显示屏732之上，也可以将触控屏731与显示屏732集成而实现物理终端设备210的输入和输出功能，集成后可以简称触摸显示屏。本申请中显示单元730可以显示应用程序以及对应的操作步骤。
摄像头740可用于捕获静态图像，对象可以将摄像头740拍摄的图像通过应用发布。摄像头740可以是一个，也可以是多个。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给处理器780转换成数字图像信号。
物理终端设备还可以包括至少一种传感器750，比如加速度传感器751、距离传感器752、指纹传感器753、温度传感器754。终端设备还可配置有陀螺仪、气压计、湿度计、温度计、红外线传感器、光传感器、运动传感器等其他传感器。
音频电路760、扬声器761、传声器762可提供对象与终端设备210之间的音频接口。音频电路760可将接收到的音频数据转换后的电信号，传输到扬声器761，由扬声器761转换为声音信号输出。物理终端设备210还可配置音量按钮，用于调节声音信号的音量。另一方面，传声器762将收集的声音信号转换为电信号，由音频电路760接收后转换为音频数据，再将音频数据输出至通信组件710以发送给比如另一物理终端设备210，或者将音频数据输出至存储器720以便进一步处理。
蓝牙模块770用于通过蓝牙协议来与其他具有蓝牙模块的蓝牙设备进行信息交互。例如，物理终端设备可以通过蓝牙模块770与同样具备蓝牙模块的可穿戴电子设备(例如智能手表)建立蓝牙连接，从而进行数据交互。
处理器780是物理终端设备的控制中心，利用各种接口和线路连接整个终端的各个部分，通过运行或执行存储在存储器720内的软件程序，以及调用存储在存储器720内的数据，执行终端设备的各种功能和处理数据。在一些实施例中，处理器780可包括一个或多个处理单元；处理器780还可以集成应用处理器和基带处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，基带处理器主要处理无线通信。可以理解的是，上述基带处理器也可以不集成到处理器780中。本申请中处理器780可以运行操作系统、应用程序、用户界面显示及触控响应，以及本申请实施例的缺陷检测模型的训练方法。另外，处理器780与显示单元730耦接。
此外需要注意的是，在本申请的具体实施方式中，涉及到与缺陷检测模型等相关的对象数据，当本申请以上实施例运用到具体产品或技术中时，需要获得对象许可或者同意，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
在一些可能的实施方式中，本申请提供的缺陷检测模型的训练方法的各个方面还可以实现为一种程序产品的形式，其包括计算机程序，当程序产品在计算机设备上运行时，计算机程序用于使计算机设备执行本说明书上述描述的根据本申请各种示例性实施方式的缺陷检测模型的训练方法中的步骤，例如，计算机设备可以执行如图3C中所示的步骤。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体地例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
本申请的实施方式的程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括计算机程序，并可以在电子设备上运行。然而，本申请的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被命令执行系统、装置或者器件使用或者与其结合使用。
可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读计算机程序。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由命令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的计算机程序可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本申请操作的计算机程序，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。计算机程序可以完全地在用户计算机设备上执行、部分地在用户计算机设备上执行、作为一个独立的软件包执行、部分在用户计算机设备上部分在远程计算机设备上执行、或者完全在远程计算机设备上执行。在涉及远程计算机设备的情形中，远程计算机设备可以通过任意种类的网络包括局域网(LAN)或广域网(WAN)连接到用户计算机设备，或者，可以连接到外部计算机设备(例如利用因特网服务提供商来通过因特网连接)。
应当注意，尽管在上文详细描述中提及了装置的若干单元或子单元，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。
此外，尽管在附图中以特定顺序描述了本申请方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用计算机程序的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序命令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序命令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的命令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序命令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的命令产生包括命令装置的制造品，该命令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序命令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的命令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (15)

1.一种缺陷检测模型的训练方法，其特征在于，包括：
对原始样本图像进行缺陷检测，获得第一检测标签集；在检测过程中输出有：各颜色通道各自对应的与所述原始样本图像具有相同图像大小的缺陷特征图；
将所述各缺陷特征图中同一像素位置的第一像素点的特征值相加，获得与所述原始样本图像具有相同图像大小的响应图中各第二像素点的响应值，并将所述响应值超过第一设定阈值的第二像素点，确定为参考点；所述响应值表征：所述原始样本图像中与所述第二像素点对应的像素点，对于所述原始样本图像中缺陷区域的贡献程度；
在所述原始样本图像中删除以所述参考点对应的像素点为中心的目标区域，获得候选样本图像；
对所述候选样本图像进行缺陷检测，获得第二检测标签集，并基于所述第二检测标签集与所述原始样本图像的第二实际标签集，调整缺陷检测模型的模型参数；所述第二实际标签集是基于目标删除比例，对第一实际标签集进行调整得到的，所述目标删除比例表征：所述目标区域与所述原始样本图像之间的面积之比。
2.如权利要求1所述的方法，其特征在于，所述在所述原始样本图像中删除以所述参考点对应的像素点为中心的目标区域，获得候选样本图像，包括：
按照所述目标区域的固定尺寸，在所述原始样本图像中删除以所述参考点为中心的所述目标区域，获得相应的候选样本图像；
或者，基于所述原始样本图像的可信度，确定用于调整所述目标区域面积大小的目标删除比例，并基于所述目标删除比例与用于调整所述目标区域长宽比的目标范围比例，在所述原始样本图像中删除以所述参考点对应的像素点为中心的所述目标区域，获得相应的候选样本图像。
3.如权利要求2所述的方法，其特征在于，所述基于所述目标删除比例与用于调整所述目标区域长宽比的目标范围比例，在所述原始样本图像中删除以所述参考点对应的像素点为中心的所述目标区域，包括：
基于所述原始样本图像的图像大小、所述目标删除比例、用于调整所述目标区域长宽比的目标范围比例与所述参考点的像素位置，确定所述原始样本图像中以所述参考点对应的像素点为中心的目标区域；
通过调整所述目标区域内各第一像素点的像素值，删除所述原始样本图像中的所述目标区域。
4.如权利要求3所述的方法，其特征在于，通过执行以下操作，调整所述目标区域内各第一像素点的像素值，包括：
重置所述目标区域内所述各第一像素点的像素值；
按照预设的像素值填充范围，对所述各第一像素点的像素值进行填充。
5.如权利要求1-4任一项所述的方法，其特征在于，通过执行以下操作，获得所述原始样本图像的可信度：
通过比较所述原始样本图像的第一检测标签集与对应的第一实际标签集，获得模型检测过程中产生的差异值；
对所述差异值进行概率拟合，得到所述原始样本图像的可信度。
6.如权利要求1-4任一项所述的方法，其特征在于，所述第一实际标签集包括至少一个第一实际标签，每个第一实际标签表征：标注所述原始样本图像属于相应图像类别的概率值；
通过执行以下操作，获得所述第二实际标签集：
基于获得的目标删除比例，下调所述第一实际标签集中不小于第二设定阈值第一实际标签的概率值；以及，
基于获得的目标删除比例，上调所述第一实际标签集中小于所述第二设定阈值的第一实际标签的概率值；
将调整后的第一实际标签集，确定为所述原始样本图像的第二实际标签集。
7.如权利要求1-4任一项所述的方法，其特征在于，所述基于所述第二检测标签集与所述原始样本图像的第二实际标签集，调整缺陷检测模型的模型参数，包括：
基于所述第二检测标签集与所述原始样本图像的第二实际标签集，确定所述缺陷检测模型的模型总损失；
基于所述模型总损失，调整所述缺陷检测模型的模型参数。
8.一种缺陷检测模型的训练装置，其特征在于，包括：
第一检测单元，用于对原始样本图像进行缺陷检测，获得第一检测标签集；在检测过程中输出有：各颜色通道各自对应的与所述原始样本图像具有相同图像大小的缺陷特征图；
处理单元，用于将所述各缺陷特征图中同一像素位置的第一像素点的特征值相加，获得与所述原始样本图像具有相同图像大小的响应图中各第二像素点的响应值，并将响应值超过第一设定阈值的第二像素点，确定为参考点；所述响应值表征：所述原始样本图像中与所述第二像素点对应的像素点，对于所述原始样本图像中缺陷区域的贡献程度；
在所述原始样本图像中删除以所述参考点对应的像素点为中心的目标区域，获得候选样本图像；
第二检测单元，用于对所述候选样本图像进行缺陷检测，获得第二检测标签集；
参数调整单元，用于基于所述第二检测标签集与所述原始样本图像的第二实际标签集，调整缺陷检测模型的模型参数；所述第二实际标签集是基于目标删除比例，对第一实际标签集进行调整得到的，所述目标删除比例表征：所述目标区域与所述原始样本图像之间的面积之比。
9.如权利要求8所述的装置，其特征在于，所述处理单元用于：
按照所述目标区域的固定尺寸，在所述原始样本图像中删除以所述参考点为中心的所述目标区域，获得相应的候选样本图像；
或者，基于所述原始样本图像的可信度，确定用于调整所述目标区域面积大小的目标删除比例，并基于所述目标删除比例与用于调整所述目标区域长宽比的目标范围比例，在所述原始样本图像中删除以所述参考点对应的像素点为中心的所述目标区域，获得相应的候选样本图像。
10.如权利要求9所述的装置，其特征在于，所述处理单元用于：
基于所述原始样本图像的图像大小、所述目标删除比例、所述目标范围比例与所述参考点的像素位置，确定所述原始样本图像中以所述参考点对应的像素点为中心的目标区域；
通过调整所述目标区域内各第一像素点的像素值，删除所述原始样本图像中的所述目标区域。
11.如权利要求10所述的装置，其特征在于，所述处理单元通过执行以下操作，调整所述目标区域内各第一像素点的像素值，包括：
重置所述目标区域内所述各第一像素点的像素值；
按照预设的像素值填充范围，对所述各第一像素点的像素值进行填充。
12.如权利要求8-11任一项所述的装置，其特征在于，所述第一实际标签集包括至少一个第一实际标签，每个第一实际标签表征：标注所述原始样本图像属于相应图像类别的概率值；
所述缺陷检测模型的训练装置还包括标签调制单元，所述标签调制单元通过执行以下操作，获得所述第二实际标签集：
基于获得的目标删除比例，下调所述第一实际标签集中不小于第二设定阈值的图像类别标签的概率值；以及，
基于获得的目标删除比例，上调所述第一实际标签集中小于所述第二设定阈值的图像类别标签的概率值；
将调整后的第一实际标签集，确定为所述原始样本图像的第二实际标签集。
13.一种计算机设备，其特征在于，其包括处理器和存储器，其中，所述存储器存储有程序代码，当所述程序代码被所述处理器执行时，使得所述处理器执行权利要求1～7中任一项所述方法的步骤。
14.一种计算机可读存储介质，其特征在于，其包括程序代码，当所述程序代码在计算机设备上运行时，所述程序代码用于使所述计算机设备执行权利要求1～7中任一项所述方法的步骤。
15.一种计算机程序产品，其特征在于，包括计算机指令，所述计算机指令被处理器执行时实现权利要求1～7中任一项所述方法的步骤。
CN202310110319.9A 2023-01-30 2023-01-30 缺陷检测模型的训练方法、装置、设备及存储介质 Pending CN116977256A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310110319.9A CN116977256A (zh) 2023-01-30 2023-01-30 缺陷检测模型的训练方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310110319.9A CN116977256A (zh) 2023-01-30 2023-01-30 缺陷检测模型的训练方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN116977256A true CN116977256A (zh) 2023-10-31

Family

ID=88475470

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310110319.9A Pending CN116977256A (zh) 2023-01-30 2023-01-30 缺陷检测模型的训练方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN116977256A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117636077A (zh) * 2024-01-25 2024-03-01 高视科技(苏州)股份有限公司 缺陷检测参数调整方法、电子设备和储存介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117636077A (zh) * 2024-01-25 2024-03-01 高视科技(苏州)股份有限公司 缺陷检测参数调整方法、电子设备和储存介质
CN117636077B (zh) * 2024-01-25 2024-04-02 高视科技(苏州)股份有限公司 缺陷检测参数调整方法、电子设备和储存介质

Similar Documents

Publication Publication Date Title
CN111553929B (zh) 基于融合网络的手机屏幕缺陷分割方法、装置及设备
Li et al. Benchmarking single-image dehazing and beyond
US20210012198A1 (en) Method for training deep neural network and apparatus
CN109344908B (zh) 用于生成模型的方法和装置
CN111507343A (zh) 语义分割网络的训练及其图像处理方法、装置
CN110598620B (zh) 基于深度神经网络模型的推荐方法和装置
CN112818257B (zh) 基于图神经网络的账户检测方法、装置和设备
CN113822951B (zh) 图像处理方法、装置、电子设备及存储介质
CN113239914B (zh) 课堂学生表情识别及课堂状态评估方法、装置
CN111368634B (zh) 基于神经网络的人头检测方法、系统及存储介质
CN113642474A (zh) 一种基于yolov5的危险区域人员监控方法
CN113868497A (zh) 一种数据分类方法、装置和存储介质
CN112183672A (zh) 图像分类方法、特征提取网络的训练方法和装置
CN116977256A (zh) 缺陷检测模型的训练方法、装置、设备及存储介质
CN116823793A (zh) 设备缺陷检测方法、装置、电子设备和可读存储介质
CN114429577B (zh) 一种基于高置信标注策略的旗帜检测方法及系统及设备
CN111126155A (zh) 一种基于语义约束生成对抗网络的行人再识别方法
CN113065379B (zh) 融合图像质量的图像检测方法、装置、电子设备
CN111079930A (zh) 数据集质量参数的确定方法、装置及电子设备
JP2020064364A (ja) 学習装置、画像生成装置、学習方法、及び学習プログラム
CN117036843A (zh) 目标检测模型训练方法、目标检测方法和装置
CN112215122B (zh) 基于视频图像目标检测的火灾检测方法、系统、终端以及存储介质
CN115147353A (zh) 缺陷检测模型的训练方法、装置、设备、介质及程序产品
Yao et al. A unified neural network for panoptic segmentation
KR20210144049A (ko) 머신러닝 모델의 학습 데이터 생성과 머신러닝 모델을 이용한 유사 이미지 생성을 위한 장치, 방법, 시스템 및 컴퓨터 판독가능 저장 매체

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination