CN113344857B - 缺陷检测网络的训练方法、缺陷检测方法和存储介质 - Google Patents

缺陷检测网络的训练方法、缺陷检测方法和存储介质 Download PDF

Info

Publication number
CN113344857B
CN113344857B CN202110520478.7A CN202110520478A CN113344857B CN 113344857 B CN113344857 B CN 113344857B CN 202110520478 A CN202110520478 A CN 202110520478A CN 113344857 B CN113344857 B CN 113344857B
Authority
CN
China
Prior art keywords
image
defect
feature
network
primary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110520478.7A
Other languages
English (en)
Other versions
CN113344857A (zh
Inventor
杨洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Huahan Weiye Technology Co ltd
Original Assignee
Shenzhen Huahan Weiye Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Huahan Weiye Technology Co ltd filed Critical Shenzhen Huahan Weiye Technology Co ltd
Priority to CN202110520478.7A priority Critical patent/CN113344857B/zh
Publication of CN113344857A publication Critical patent/CN113344857A/zh
Application granted granted Critical
Publication of CN113344857B publication Critical patent/CN113344857B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

一种缺陷检测网络的训练方法、缺陷检测方法和存储介质，缺陷检测网络包括初级特征提取网络、特征融合选择层和缺陷语义分析网络，训练方法包括：将模板图像、正样本图像和负样本图像输入初级特征提取网络中得到各自的初级特征，并据此构造第一损失函数；将这三个初级特征输入特征融合选择层得到融合特征；将融合特征输入缺陷语义分析网络得到缺陷置信度图像和缺陷分类预测图像；根据缺陷置信度图像和缺陷分割标记图像、缺陷分类预测图像和缺陷分类标记图像构造第二损失函数，根据第一损失函数和第二损失函数对缺陷检测网络进行训练。训练后得到的缺陷检测网络能够对特征进行自动提取和选择，且能够实现缺陷位置精确定位和不同类别缺陷的检测。

Description

缺陷检测网络的训练方法、缺陷检测方法和存储介质
技术领域
本发明涉及机器视觉领域，具体涉及一种缺陷检测网络的训练方法、缺陷检测方法和存储介质。
背景技术
印制标签被广泛用作产品标识，其可记录产品关键信息，从而成为企业跟踪产品、质量监控和生产管理的有效载体，同时也可作为普通消费者对产品进行核对的有效工具。当前大部分产品的印制标签通过印刷机印刷而成，在现代快速的印刷生产过程中，受生产工艺、环境和设备等诸多不确定因素的影响，各种印刷缺陷与错误难以避免。常见的印刷质量缺陷主要有印刷不良、模糊、丝印偏移与歪斜、肥油、字符缺失、偏暗、偏亮、麻点/白点、毛刺、连墨/堵墨、丝印轻微异色等，如图1～8所示。不合格的印刷标签随产品流入市场势必给生产厂家带来损失，也将给消费者带来麻烦，因此，印制标签的质量检测也愈加为生产厂商所重视，而基于机器视觉的自动化检测系统具有检测速度快、精度高等优点，可有效降低生产厂家的人力成本，已成为行业趋势。
目前基于机器视觉的印刷质量缺陷检测方法大多为基于模板匹配的方法，该方法通过将待检测图像与没有印刷质量缺陷的模板图像进行相似度匹配，当相似度较小时则判定待检测图像存在印刷质量缺陷。基于模板匹配的检测方法是一种全局检测方法，容易受噪声影响，对于内容相对单一的标签检测效果尚可，但对于同时包含如logo类图形、说明性案例图形、条码类图形和字符类图形等复杂图形的标签，标签中的图形的重要性与图形的尺寸大小是不完全具有相关性的，而常用的基于模板匹配的检测方法并未针对不同图形的重要性，对图像中相应的区域设置不同权重或采用不同方法进行检测，因此常常导致误判率过高。
目前行业内主要采用的方法是黄金模板匹配方法，该方法首先确定待检测图像相对于模板图像的移动位置和偏转方向，计算将待检测图像与模板图像对准的刚性变换的变换参数，按照该变换参数对待检测图像进行变换以使其对准于模板图像，然后将待检测图像与模板图像进行逐像素比较，或者对Blob分析后的区域特征进行比较，判断待检测图像是否存在印刷质量缺陷。上述方法存在以下缺陷：(1)对待检测图像进行变换时，需要保证较高的定位精度，若发生位置偏移，则对待检测图像和模板图像进行逐像素点的比较时将大大增加误检的概率；(2)可检测的缺陷种类较少，只能检测上述缺陷中的丝印偏移、歪斜之类的缺陷，对其他类型的缺陷无法达到理想的效果，难以应用到实际的工业生产过程中。
发明内容
本申请提供一种缺陷检测网络的训练方法、缺陷检测方法和存储介质，旨在解决现有的印制品缺陷检测方法检测种类少、难以提高准确率的问题。
根据第一方面，一种实施例中提供一种缺陷检测网络的训练方法，所述缺陷检测网络包括初级特征提取网络、特征融合选择层和缺陷语义分析网络；所述缺陷检测网络的训练方法包括：
获取模板图像、正样本图像和负样本图像，所述模板图像和所述正样本图像为合格印制品的图像，所述负样本图像为有缺陷印制品的图像；
分别将所述模板图像、所述正样本图像和所述负样本图像输入所述初级特征提取网络中得到模板图像的初级特征α1、正样本图像的初级特征α2和负样本图像的初级特征α3，根据模板图像的初级特征α1、正样本图像的初级特征α2和负样本图像的初级特征α3构造第一损失函数；
根据所述第一损失函数对所述初级特征提取网络进行训练，得到相应的网络参数；
分别将所述模板图像和所述负样本图像输入训练后的所述初级特征提取网络中，得到模板图像的初级特征
Figure BDA0003063749420000021
和负样本图像的初级特征
Figure BDA0003063749420000022
将所述模板图像的初级特征
Figure BDA0003063749420000023
和所述负样本图像的初级特征
Figure BDA0003063749420000024
输入所述特征融合选择层以得到融合特征β；
将所述融合特征β输入所述缺陷语义分析网络中以得到缺陷置信度图像和缺陷分类预测图像，所述缺陷置信度图像包括所述负样本图像每个像素点的缺陷置信度，所述缺陷分类预测图像包括所述负样本图像每个像素点预测属于每个类别的概率；
根据所述缺陷置信度图像和对应的缺陷分割标记图像，以及所述缺陷分类预测图像和对应的缺陷分类标记图像构造第二损失函数；
根据所述第二损失函数对所述缺陷语义分析网络进行训练，得到相应的网络参数，从而完成对所述缺陷检测网络的训练。
根据第二方面，一种实施例中提供一种缺陷检测网络的训练方法，所述缺陷检测网络包括初级特征提取网络、特征融合选择层和缺陷语义分析网络；所述缺陷检测网络的训练方法包括：
获取模板图像、正样本图像和负样本图像，所述模板图像和所述正样本图像为合格印制品的图像，所述负样本图像为有缺陷印制品的图像；
分别将所述模板图像、所述正样本图像和所述负样本图像输入所述初级特征提取网络中得到模板图像的初级特征α1、正样本图像的初级特征α2和负样本图像的初级特征α3，根据模板图像的初级特征α1、正样本图像的初级特征α2和负样本图像的初级特征α3构造第一损失函数；
将所述模板图像的初级特征α1、正样本图像的初级特征α2和负样本图像的初级特征α3输入所述特征融合选择层以得到融合特征β；
将所述融合特征β输入所述缺陷语义分析网络中以得到缺陷置信度图像和缺陷分类预测图像，所述缺陷置信度图像包括所述负样本图像每个像素点的缺陷置信度，所述缺陷分类预测图像包括所述负样本图像每个像素点预测属于每个类别的概率；
根据所述缺陷置信度图像和对应的缺陷分割标记图像，以及所述缺陷分类预测图像和对应的缺陷分类标记图像构造第二损失函数；
根据所述第一损失函数和所述第二损失函数对所述缺陷检测网络进行训练。一种实施例中，所述第一损失函数为：
Figure BDA0003063749420000031
或
L1＝ε1max[0,μ(Dpos)-μ(Dneg)+ε2]+σ2(Dpos)+σ2(Dneg)，
其中，n为一批训练样本中的总样本数，i为样本序号，Dpos为所述正样本图像的初级特征α2和所述模板图像的初级特征α1的距离，Dneg为所述负样本图像的初级特征α3和所述模板图像的初级特征α1的距离；σ(Dpos)为同一批训练样本中各样本求得的Dpos值的标准差，σ2(Dpos)为同一批训练样本中各样本求得的Dpos值的方差，σ2(Dneg)为同一批训练样本中各样本求得的Dneg值的方差，μ(Dpos)为同一批训练样本中各样本求得的Dpos值的平均值，μ(Dneg)为同一批训练样本中各样本求得的Dneg值的平均值；k1、k2、ε1和ε2为预设的权重系数，且均大于0。
一种实施例中，所述特征融合选择层通过以下方式计算得到所述融合特征β：
计算各非模板图像的初级特征和所述模板图像的初级特征的距离，并将各非模板图像的初级特征和所述模板图像的初级特征的距离相加，将相加的结果和所述模板图像的初级特征进行哈达玛积运算，得到所述融合特征β。
一种实施例中，所述缺陷语义分析网络包括高级特征提取网络、缺陷分割网络和缺陷分类网络；所述将所述融合特征β输入所述缺陷语义分析网络中以得到缺陷置信度图像和缺陷分类预测图像，包括：
将所述融合特征β输入所述高级特征提取网络中以得到高级特征γ，其中所述高级特征提取网络用于提取所述融合特征β不同尺度的特征并进行融合以得到所述高级特征γ；
将所述高级特征γ输入所述缺陷分割网络中以得到所述缺陷置信度图像，将所述高级特征γ输入所述缺陷分类网络中以得到所述缺陷分类预测图像。
一种实施例中，所述高级特征提取网络通过以下方式对所述融合特征β进行计算以得到所述高级特征γ：
将所述融合特征β输入一卷积神经网络中，获得所述卷积神经网络的隐藏层输出的特征图；
根据所述卷积神经网络的隐藏层输出的特征图得到每一层的中间特征图，其中，本层的中间特征图，是对上一层的中间特征图进行上采样使得其尺度与本层输出的特征图尺度相同，然后与本层输出的特征图相加后得到的，最后一层的中间特征图为该层输出的特征图本身；
对每一层的中间特征图进行卷积和上采样处理，使得所有中间特征图的尺度相同，然后对所有中间特征图进行通道拼接，从而得到所述高级特征γ。
一种实施例中，所述缺陷分割网络通过以下方式对所述高级特征γ进行计算以得到所述缺陷置信度图像：
将所述高级特征γ输入一卷积神经网络中以得到相应的预测置信度图像和置信度阈值图像，所述预测置信度图像代表所述负样本图像每个像素点的预测置信度，所述置信度阈值图像代表所述负样本图像每个像素点的置信度阈值；
通过以下公式计算所述负样本图像每个像素点的缺陷置信度，从而得到所述缺陷置信度图像：
Figure BDA0003063749420000041
其中i和j分别代表行坐标和列坐标，Pi,j代表所述预测置信度图像上的像素点，Ti,j代表所述置信度阈值图像上的像素点，a为预设的权重系数。
一种实施例中，所述第二损失函数为：
L2＝LA+LB；
其中，LA代表缺陷分割的损失，LB代表缺陷分类的损失，且
LA＝Ls+w1Lb+w2Lt，
Figure BDA0003063749420000051
Figure BDA0003063749420000052
其中Ls代表预测置信度的损失，Lb代表缺陷置信度的损失，Lt代表置信度阈值的损失，k表示像素点的索引，S代表整个图像，yk代表像素点的标记值，xk代表像素点的预测置信度或缺陷置信度，S+代表前景区域，
Figure BDA0003063749420000053
代表前景区域中的像素点的标记值，
Figure BDA0003063749420000054
代表前景区域中的像素点的置信度阈值，w1和w2为预设的权重系数；
Figure BDA0003063749420000055
其中上标p和0为类别标记，p代表概率最大的那个类别，0代表背景信息，
Figure BDA0003063749420000056
代表像素点预测属于第p类的概率，
Figure BDA0003063749420000057
代表像素点属于第p类的标记值，
Figure BDA0003063749420000058
代表像素点预测属于背景信息的概率，S-代表背景区域。
一种实施例中，所述根据所述第一损失函数和所述第二损失函数对所述缺陷检测网络进行训练，包括：
计算所述第一损失函数和所述第二损失函数的和，得到总损失函数；
根据所述总损失函数，通过随机梯度下降法对所述缺陷检测网络的参数进行迭代更新，完成对所述缺陷检测网络的训练。
一种实施例中，所述缺陷检测网络包括两个共享权重的所述初级特征提取网络。
根据第三方面，一种实施例中提供一种缺陷检测方法，包括：
获取模板图像和待检测图像，所述模板图像为合格印制品的图像；
将所述模板图像和所述待检测图像输入通过第一方面或第二方面所述的训练方法得到的缺陷检测网络中，以得到所述待检测图像的缺陷置信度图像和缺陷分类预测图像，其中所述模板图像和所述待检测图像被先后输入到所述初级特征提取网络中，或者
将所述模板图像和所述待检测图像输入通过第一方面或第二方面所述的训练方法得到的，且包括两个共享权重的所述初级特征提取网络的缺陷检测网络中，以得到所述待检测图像的缺陷置信度图像和缺陷分类预测图像，其中所述模板图像和所述待检测图像被分别输入到两个所述初级特征提取网络中；所述缺陷置信度图像包括所述待检测图像每个像素点的缺陷置信度，所述缺陷分类预测图像包括所述待检测图像每个像素点属于每个类别的概率；
根据预设的二值化阈值对所述缺陷置信度图像进行二值分割，得到所述待检测图像的缺陷区域；
对于所述缺陷分类预测图像的每个像素点，取概率最大的那个类别为该像素点所属的类别，从而得到所述待检测图像的缺陷分类图像。
根据第四方面，一种实施例中提供一种计算机可读存储介质，所述介质上存储有程序，所述程序能够被处理器执行以实现如第一方面和第二方面所述的缺陷检测网络的训练方法，以及如第三方面所述的缺陷检测方法。
依据上述实施例的缺陷检测网络的训练方法、缺陷检测方法和计算机可读存储介质，其中缺陷检测网络包括初级特征提取网络、特征融合选择层和缺陷语义分析网络，通过初级特征提取网络提取模板图像和待检测图像的初级特征，并通过特征融合选择层对初级特征进行融合和选择，实现了对特征的自动提取和选择，减少了对工作人员经验的依赖，有利于降低调试难度，提高检测设备的调试效率；采用基于特征比较的方式，而不是基于灰度比较的方式，在训练阶段，通过学习样本图像与模板图像之间的特征对比关系，对缺陷进行检测，使得检测方法能够适应环境变化和位置变化，提高检测的准确性；通过缺陷语义分析网络对特征融合选择层得到的融合特征进行缺陷分割和缺陷分类，判断图像中每个像素点是否属于缺陷点以及属于何种类别，从而得到缺陷区域和缺陷分类图像，并且在训练阶段与实际的缺陷分割图像和缺陷分类图像进行比较，设置损失函数训练得到相应的网络参数，从而使得最终得到的缺陷检测网络能够实现缺陷位置精确定位和不同类别缺陷的检测。
附图说明
图1为模板图像的示意图；
图2为印刷不良图像的示意图；
图3为模糊图像的示意图；
图4为丝印偏移与歪斜图像的示意图；
图5为肥油图像的示意图；
图6为字符缺失图像的示意图；
图7为偏暗图像的示意图；
图8为偏亮图像的示意图；
图9为一种实施例中的缺陷检测网络的结构示意图；
图10为另一种实施例中的缺陷检测网络的结构示意图；
图11为一种实施例的缺陷检测网络的训练方法的流程图；
图12为一种实施例的缺陷检测网络的训练方法的原理示意图；
图13为一种实施例中的缺陷语义分析网络的结构示意图；
图14为另一种实施例的缺陷检测网络的训练方法的流程图；
图15为另一种实施例的缺陷检测网络的训练方法的原理示意图；
图16为一种实施例的缺陷检测方法的流程图。
具体实施方式
下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。
另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。
本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。而本申请所说“连接”、“联接”，如无特别说明，均包括直接和间接连接(联接)。
本申请的缺陷检测网络采用类似机器学习的思路进行设计，机器学习方法通常是通过人工选择和设计特征，然后通过特征工程的方法进行特征选择，最后经过分类器进行特征判断，本申请通过设置特征提取网络将上述过程中的特征选择变为一个自动选择的过程，并且通过特征选择后，对特征进行高维映射得到高级特征，利用高级特征进行缺陷判决，并且将判决的阈值由硬阈值转换为软阈值，可以进行稳定的特征判断，提高了缺陷检测的稳定性和鲁棒性。
请参考图9和图10，本申请的缺陷检测网络包括初级特征提取网络、特征融合选择层和缺陷语义分析网络，初级特征提取网络用于提取输入图像的初级特征，特征融合选择层用于对不同的初级特征进行融合和选择以得到融合特征，缺陷语义分析网络利用融合特征完成缺陷分割任务和缺陷分类任务，分别得到待检测图像的缺陷置信度图像和缺陷分类预测图像，最后进行判决，识别出缺陷区域并进行缺陷分类。本申请提供的缺陷检测网络是基于特征对比来进行缺陷检测的，因此在进行缺陷检测时，需要同时输入模板图像和待检测图像，以便进行比较、分析、判断，模板图像和待检测图像都需要经过初级特征提取网络提取出各自的初级特征，有两种输入方式来提取模板图像和待检测图像的初级特征，分别对应两种不同的网络结构，其中一种如图9所示，网络中可以只有一个初级特征提取网络，模板图像和待检测图像先后输入初级特征提取网络中得到各自的初级特征，另一种如图10所示，网络中有两个共享权重的初级特征提取网络，模板图像和待检测图像分别输入到这两个初级特征提取网络中得到各自的初级特征。在训练过程中也是如此，当需要输入多个图像时，可以将这些图像先后输入一个初级特征提取网络中得到各自的初级特征，也可以设置和输入图像数目相同的共享权重的初级特征提取网络，分别接收各个输入图像，这种情况下训练中可以对任一个初级特征提取网络的网络参数进行更新，因为当某一个初级特征提取网络的参数更新后，其他初级特征提取网络只需要复制这个网络的参数即可。
请参考图11，本申请一种实施例中的缺陷检测网络的训练方法包括步骤101～108，下面具体说明。
步骤101：获取模板图像、正样本图像和负样本图像，其中模板图像和正样本图像为合格印制品的图像，负样本图像为有缺陷印制品的图像。印制品可以是在纸张、布料、金属等材料上采用印刷、雕刻、烫金等工艺进行加工而得到的。
步骤102：分别将模板图像、正样本图像和负样本图像输入初级特征提取网络中得到模板图像的初级特征α1、正样本图像的初级特征α2和负样本图像的初级特征α3，根据模板图像的初级特征α1、正样本图像的初级特征α2和负样本图像的初级特征α3构造第一损失函数L1，如图12a所示，图中X代表模板图像，X+代表正样本图像，X-代表负样本图像。这里将模板图像、正样本图像和负样本图像输入初级特征提取网络中可以是上文所述的两种方式中的任一种。
初级特征提取网络应该能够分辨出合格印制品的图像和有缺陷印制品的图像，也就是说其所提取的正样本图像的初级特征α2和模板图像的初级特征α1的距离应该比较小，正样本图像的初级特征α2围绕模板图像的初级特征α1紧密分布，方差应该比较小，而负样本图像的初级特征α3和模板图像的初级特征α1的距离应该比较大，因此可以根据初级特征间的距离来设计损失函数。本申请提供两种第一损失函数L1：
Figure BDA0003063749420000091
或
L1＝ε1max[0,μ(Dpos)-μ(Dneg)+ε2]+σ2(Dpos)+σ2(Dneg)，
其中，n为一批训练样本中的总样本数，i为样本序号，Dpos为正样本图像的初级特征α2和模板图像的初级特征α1的距离，Dneg为负样本图像的初级特征α3和模板图像的初级特征α1的距离；σ(Dpos)为同一批训练样本中各样本求得的Dpos值的标准差，σ2(Dpos)为同一批训练样本中各样本求得的Dpos值的方差，σ2(Dneg)为同一批训练样本中各样本求得的Dneg值的方差，μ(Dpos)为同一批训练样本中各样本求得的Dpos值的平均值，μ(Dneg)为同一批训练样本中各样本求得的Dneg值的平均值；k1、k2、ε1和ε2为预设的权重系数，且均大于0。Dpos＝D(α2,α1)，Dneg＝D(α3,α1)，其中D()为距离函数，可以采用余弦距离函数、欧式距离函数等。
在一种实施例中，初级特征提取网络可以由三个模块组成，每个模块都包含有若干卷积(Conv)+ReLU激活函数层，以及一个最大池化层(MaxPooling)，具体参数请参见表1。
表1初级特征提取网络的参数
Figure BDA0003063749420000092
步骤103：根据第一损失函数L1对初级特征提取网络进行训练，得到相应的网络参数。
步骤104：分别将模板图像和负样本图像输入训练后的初级特征提取网络中，得到模板图像的初级特征
Figure BDA0003063749420000093
和负样本图像的初级特征
Figure BDA0003063749420000094
通过前面的步骤，初级特征提取网络已经能够获取较好的初级特征，因此在后续的步骤中，其参数保持不变，可以直接使用，只需继续对后续的网络参数进行训练即可。
步骤105：将模板图像的初级特征
Figure BDA0003063749420000101
和负样本图像的初级特征
Figure BDA0003063749420000102
输入特征融合选择层以得到融合特征β。
特征融合选择层对不同的特征进行融合，并提取出具有良好表达能力的特征，具体的，特征融合选择层通过以下方式计算得到融合特征β：计算各非模板图像的初级特征和模板图像的初级特征的距离，并将各非模板图像的初级特征和模板图像的初级特征的距离相加，将相加的结果和模板图像的初级特征进行哈达玛积运算，得到融合特征β。例如这里输入的是模板图像的初级特征
Figure BDA0003063749420000103
和负样本图像的初级特征
Figure BDA0003063749420000104
那么这里的非模板图像的初级特征就是
Figure BDA0003063749420000105
融合特征β可以由以下公式得到：
Figure BDA0003063749420000106
其中，符号
Figure BDA0003063749420000107
表示哈达玛积运算，dist()表示距离函数，可以采用余弦距离函数、欧式距离函数等。
步骤106：将融合特征β输入缺陷语义分析网络中以得到缺陷置信度图像和缺陷分类预测图像。缺陷置信度图像包括负样本图像每个像素点的缺陷置信度，缺陷置信度用于表征像素点属于缺陷点的概率；缺陷分类预测图像包括负样本图像每个像素点预测属于每个类别的概率，类别包括缺陷类别和背景信息，背景信息表示像素点不属于缺陷点，缺陷类别包括白点、毛刺等，可以用数字对类别进行编号，例如0代表背景信息，1代表白点，2代表毛刺等。根据缺陷置信度图像和缺陷分类预测图像可以做出判决，从而识别出缺陷区域并进行缺陷分类。
请参考图13，一种实施例中，缺陷语义分析网络包括高级特征提取网络、缺陷分割网络和缺陷分类网络，高级特征提取网络用于提取融合特征β不同尺度的特征并进行融合以得到高级特征γ，缺陷分割网络用于对高级特征γ进行计算得到缺陷置信度图像，缺陷分类网络用于对高级特征γ进行计算得到缺陷分类预测图像，下面分别说明。
请参考图13，高级特征提取网络中包括一卷积神经网络，卷积神经网络的结构可以根据具体需求来设置，从卷积神经网络的隐藏层中可以得到融合特征β不同尺度的特征图，根据这些特征图可以构造出中间特征图，每一层都可以有对应的中间特征图，而最后一层的中间特征图为该层输出的特征图本身。如图13所示，中间特征图可以通过上采样和特征图的相加来得到，具体的，本层的中间特征图，是对上一层的中间特征图进行上采样使得其尺度与本层输出的特征图尺度相同，也就是长和宽与本层输出的特征图尺度相同，然后与本层输出的特征图相加后得到的，图13中的标记“up”即指上采样，“up×2”表示2倍的上采样，“up×4”表示4倍的上采样，以此类推，特征图的相加是指对应位置像素的相加。得到中间特征图后，对每一层的中间特征图进行卷积和上采样处理，使得所有中间特征图的尺度相同，然后对所有中间特征图进行通道拼接，从而得到高级特征γ，高级特征γ输入到缺陷分割网络和缺陷分类网络中。
缺陷分割网络主要采用二值化技术，但与传统二值化技术不同，传统二值化技术采用的是刚性阈值，而本申请则对于每个像素都训练出来一个置信度阈值和预测置信度，每个像素的预测置信度都和各自的置信度阈值进行比较得到缺陷置信度用于二值分割。请参考图13，缺陷分割网络也包括一卷积神经网络，通过卷积神经网络对高级特征γ进行卷积和/或池化操作得到预测置信度图像和置信度阈值图像，预测置信度图像代表负样本图像每个像素点的预测置信度，置信度阈值图像代表负样本图像每个像素点的置信度阈值。例如可以对高级特征γ进行单个卷积核的卷积或者通道池化，得到通道数为1的图像，每个像素点上的值即为其预测置信度或置信度阈值。根据像素点的预测置信度和置信度阈值就可以计算像素点的缺陷置信度，从而得到缺陷置信度图像，具体公式如下：
Figure BDA0003063749420000111
其中i和j分别代表行坐标和列坐标，Pi,j代表预测置信度图像上的像素点，Ti,j代表置信度阈值图像上的像素点，a为预设的权重系数，可以取a＝40。利用缺陷置信度图像进行二值分割可以划分出缺陷区域。
在传统的二值化技术中，二值化采用的是刚性阈值，对于所有像素都采用相同的阈值进行处理，用公式表示为：
Figure BDA0003063749420000112
其中t为二值化阈值。
而本申请中，可以看到对于每个像素都有一个阈值，即置信度阈值，并且每个像素得到的预测置信度都是和各自的置信度阈值比较，进一步得到缺陷置信度，用于二值分割，可以称之为软阈值技术，软阈值技术有利于提高缺陷检测的稳定性和鲁棒性。
缺陷分类网络同样可以通过卷积神经网络得到每个像素点预测属于每个类别的概率，从而得到缺陷分类预测图像。
步骤107：根据缺陷置信度图像和对应的缺陷分割标记图像，以及缺陷分类预测图像和对应的缺陷分类标记图像构造第二损失函数，如图12b所示。
缺陷分割标记图像含有负样本图像每个像素点实际的缺陷置信度，也称为标记值，例如当某个像素点属于缺陷点时其标记值为1，否则为0。缺陷分类标记图像含有负样本图像每个像素点属于每个类别的实际分布，每个类别有对应的标记值，例如对于某个类别，如果像素点属于该类别那么该类别的标记值为1，否则为0。第二损失函数需要综合考虑缺陷分割的损失和缺陷分类的损失，公式如下：
L2＝LA+LB，
其中，LA代表缺陷分割的损失，LB代表缺陷分类的损失。缺陷分割的损失LA的计算公式为：
LA＝Ls+w1Lb+w2Lt，
Figure BDA0003063749420000121
其中Ls代表预测置信度的损失，Lb代表缺陷置信度的损失，Lt代表置信度阈值的损失，k表示像素点的索引，S代表整个图像，yk代表像素点的标记值，xk代表像素点的预测置信度或缺陷置信度，S+代表前景区域，
Figure BDA0003063749420000122
代表前景区域中的像素点的标记值，
Figure BDA0003063749420000123
代表前景区域中的像素点的置信度阈值，w1和w2为预设的权重系数，可以取w1＝1和w2＝10。
缺陷分类的损失LB的计算公式为：
Figure BDA0003063749420000124
其中上标p和0为类别标记，p代表概率最大的那个类别，0代表背景信息，
Figure BDA0003063749420000125
代表像素点预测属于第p类的概率，
Figure BDA0003063749420000126
代表像素点预测属于第p类的标记值，
Figure BDA0003063749420000127
代表像素点属于背景信息的概率，S-代表背景区域。
步骤108：根据第二损失函数对缺陷语义分析网络进行训练，得到相应的网络参数，从而完成对缺陷检测网络的训练。
上面的缺陷检测网络的训练方法是一种分阶段进行训练的技术方案，即先训练初级特征提取网络再训练缺陷语义分析网络，在一种实施例中，也可以综合考虑两个阶段的损失，设计一个总损失函数对缺陷检测网络进行训练，进行一次训练即可，请参考图14，本实施例中的缺陷检测网络的训练方法包括步骤201～206，下面具体说明。
步骤201：获取模板图像、正样本图像和负样本图像，其中模板图像和正样本图像为合格印制品的图像，负样本图像为有缺陷印制品的图像。印制品可以是在纸张、布料、金属等材料上采用印刷、雕刻、烫金等工艺进行加工而得到的。
步骤202：分别将模板图像、正样本图像和负样本图像输入初级特征提取网络中得到模板图像的初级特征α1、正样本图像的初级特征α2和负样本图像的初级特征α3，根据模板图像的初级特征α1、正样本图像的初级特征α2和负样本图像的初级特征α3构造第一损失函数L1，如图15所示。第一损失函数L1的构造方式与步骤102相同。
步骤203：将模板图像的初级特征α1、正样本图像的初级特征α2和负样本图像的初级特征α3输入特征融合选择层以得到融合特征β。
如前文所述，特征融合选择层是通过以下方式计算得到融合特征β：计算各非模板图像的初级特征和模板图像的初级特征的距离，并将各非模板图像的初级特征和模板图像的初级特征的距离相加，将相加的结果和模板图像的初级特征进行哈达玛积运算，得到融合特征β。这里输入的是模板图像的初级特征α1、正样本图像的初级特征α2和负样本图像的初级特征α3，那么这里的非模板图像的初级特征就是α2和α3，融合特征β可以由以下公式得到：
Figure BDA0003063749420000131
其中，符号
Figure BDA0003063749420000132
表示哈达玛积运算，dist()表示距离函数，可以采用余弦距离函数、欧式距离函数等。
步骤204：将融合特征β输入缺陷语义分析网络中以得到缺陷置信度图像和缺陷分类预测图像。缺陷语义分析网络的结构，以及缺陷置信度图像和缺陷分类预测图像的计算可以参考步骤106，在此不再赘述。
步骤205：根据缺陷置信度图像和对应的缺陷分割标记图像，以及缺陷分类预测图像和对应的缺陷分类标记图像构造第二损失函数，如图15所示。第二损失函数L2的构造方式与步骤107相同。
步骤206：根据第一损失函数L1和第二损失函数L2对缺陷检测网络进行训练。在一种实施例中，可以计算第一损失函数L1和第二损失函数L2的和，得到总损失函数，再根据总损失函数，通过随机梯度下降法对缺陷检测网络的参数进行迭代更新，完成对缺陷检测网络的训练，这样就综合考虑了两个阶段的损失。
在前文所述的缺陷检测网络的训练方法的基础上，可以利用上述训练方法得到的缺陷检测网络来进行缺陷检测，请参考图16，本申请提供一种基于上述训练方法得到的缺陷检测网络的缺陷检测方法，包括步骤301～303，下面具体说明。
步骤301：获取模板图像和待检测图像，模板图像为合格印制品的图像。
步骤302：将模板图像和待检测图像输入通过上述训练方法得到的缺陷检测网络中，以得到待检测图像的缺陷置信度图像和缺陷分类预测图像，这里将模板图像和待检测图像输入初级特征提取网络中可以是上文所述的两种方式中的任一种，缺陷置信度图像包括待检测图像每个像素点的缺陷置信度，缺陷分类预测图像包括待检测图像每个像素点属于每个类别的概率。
步骤303：对缺陷置信度图像和缺陷分类预测图像进行判决。
对于缺陷置信度图像，根据预设的二值化阈值对其进行二值分割，得到待检测图像的缺陷区域。例如设置二值化阈值为0.5，当像素点的缺陷置信度大于0.5时则判定其为缺陷点，将其像素值置为1，当像素点的缺陷置信度小于0.5时则判定其不为缺陷点，将其像素值置为0，这样缺陷区域就被突出显示出来，方便用户分辨。
对于缺陷分类预测图像，取每个像素点概率最大的那个类别为该像素点所属的类别，类别相同的像素可以使用同一种颜色显示，从而得到待检测图像的缺陷分类图像。
依据上述实施例的缺陷检测网络的训练方法和缺陷检测方法，其中的缺陷检测网络包括初级特征提取网络、特征融合选择层和缺陷语义分析网络，通过初级特征提取网络提取模板图像和待检测图像的初级特征，并通过特征融合选择层对初级特征进行融合和选择，实现了对特征的自动提取和选择，减少了对工作人员经验的依赖，有利于降低调试难度，提高检测设备的调试效率；采用基于特征比较的方式，而不是基于灰度比较的方式，在训练阶段，通过学习样本图像与模板图像之间的特征对比关系，对缺陷进行检测，使得检测方法能够适应环境变化和位置变化，提高检测的准确性；通过缺陷语义分析网络对特征融合选择层得到的融合特征进行缺陷分割和缺陷分类，判断图像中每个像素点是否属于缺陷点以及属于何种类别，从而得到缺陷区域和缺陷分类图像，并且在训练阶段与实际的缺陷分割图像和缺陷分类图像进行比较，设置损失函数训练得到相应的网络参数，从而使得最终得到的缺陷检测网络能够同时实现缺陷位置精确定位和不同类别缺陷的检测；缺陷语义分析网络中包括高级特征提取网络，高级特征提取网络提取出不同尺度的特征并进行融合，得到高级特征用于后续的缺陷分割和缺陷分类，使得缺陷检测网络能够适应不同尺度的缺陷的检测；缺陷分割采用了二值化技术，且使用了软阈值代替传统的刚性阈值，有利于提高缺陷检测的稳定性和鲁棒性。
本文参照了各种示范实施例进行说明。然而，本领域的技术人员将认识到，在不脱离本文范围的情况下，可以对示范性实施例做出改变和修正。例如，各种操作步骤以及用于执行操作步骤的组件，可以根据特定的应用或考虑与系统的操作相关联的任何数量的成本函数以不同的方式实现(例如一个或多个步骤可以被删除、修改或结合到其他步骤中)。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。另外，如本领域技术人员所理解的，本文的原理可以反映在计算机可读存储介质上的计算机程序产品中，该可读存储介质预装有计算机可读程序代码。任何有形的、非暂时性的计算机可读存储介质皆可被使用，包括磁存储设备(硬盘、软盘等)、光学存储设备(CD至ROM、DVD、Blu Ray盘等)、闪存和/或诸如此类。这些计算机程序指令可被加载到通用计算机、专用计算机或其他可编程数据处理设备上以形成机器，使得这些在计算机上或其他可编程数据处理装置上执行的指令可以生成实现指定的功能的装置。这些计算机程序指令也可以存储在计算机可读存储器中，该计算机可读存储器可以指示计算机或其他可编程数据处理设备以特定的方式运行，这样存储在计算机可读存储器中的指令就可以形成一件制造品，包括实现指定功能的实现装置。计算机程序指令也可以加载到计算机或其他可编程数据处理设备上，从而在计算机或其他可编程设备上执行一系列操作步骤以产生一个计算机实现的进程，使得在计算机或其他可编程设备上执行的指令可以提供用于实现指定功能的步骤。
虽然在各种实施例中已经示出了本文的原理，但是许多特别适用于特定环境和操作要求的结构、布置、比例、元件、材料和部件的修改可以在不脱离本披露的原则和范围内使用。以上修改和其他改变或修正将被包含在本文的范围之内。
前述具体说明已参照各种实施例进行了描述。然而，本领域技术人员将认识到，可以在不脱离本披露的范围的情况下进行各种修正和改变。因此，对于本披露的考虑将是说明性的而非限制性的意义上的，并且所有这些修改都将被包含在其范围内。同样，有关于各种实施例的优点、其他优点和问题的解决方案已如上所述。然而，益处、优点、问题的解决方案以及任何能产生这些的要素，或使其变得更明确的解决方案都不应被解释为关键的、必需的或必要的。本文中所用的术语“包括”和其任何其他变体，皆属于非排他性包含，这样包括要素列表的过程、方法、文章或设备不仅包括这些要素，还包括未明确列出的或不属于该过程、方法、系统、文章或设备的其他要素。此外，本文中所使用的术语“耦合”和其任何其他变体都是指物理连接、电连接、磁连接、光连接、通信连接、功能连接和/或任何其他连接。
具有本领域技术的人将认识到，在不脱离本发明的基本原理的情况下，可以对上述实施例的细节进行许多改变。因此，本发明的范围应仅由权利要求确定。

Claims (12)

1.一种缺陷检测网络的训练方法，其特征在于，所述缺陷检测网络包括初级特征提取网络、特征融合选择层和缺陷语义分析网络；所述缺陷检测网络的训练方法包括：
获取模板图像、正样本图像和负样本图像，所述模板图像和所述正样本图像为合格印制品的图像，所述负样本图像为有缺陷印制品的图像；
分别将所述模板图像、所述正样本图像和所述负样本图像输入所述初级特征提取网络中得到模板图像的初级特征α1、正样本图像的初级特征α2和负样本图像的初级特征α3，根据模板图像的初级特征α1、正样本图像的初级特征α2和负样本图像的初级特征α3构造第一损失函数；
根据所述第一损失函数对所述初级特征提取网络进行训练，得到相应的网络参数；
分别将所述模板图像和所述负样本图像输入训练后的所述初级特征提取网络中，得到模板图像的初级特征
Figure FDA0003063749410000011
和负样本图像的初级特征
Figure FDA0003063749410000012
将所述模板图像的初级特征
Figure FDA0003063749410000013
和所述负样本图像的初级特征
Figure FDA0003063749410000014
输入所述特征融合选择层以得到融合特征β；
将所述融合特征β输入所述缺陷语义分析网络中以得到缺陷置信度图像和缺陷分类预测图像，所述缺陷置信度图像包括所述负样本图像每个像素点的缺陷置信度，所述缺陷分类预测图像包括所述负样本图像每个像素点预测属于每个类别的概率；
根据所述缺陷置信度图像和对应的缺陷分割标记图像，以及所述缺陷分类预测图像和对应的缺陷分类标记图像构造第二损失函数；
根据所述第二损失函数对所述缺陷语义分析网络进行训练，得到相应的网络参数，从而完成对所述缺陷检测网络的训练。
2.一种缺陷检测网络的训练方法，其特征在于，所述缺陷检测网络包括初级特征提取网络、特征融合选择层和缺陷语义分析网络；所述缺陷检测网络的训练方法包括：
获取模板图像、正样本图像和负样本图像，所述模板图像和所述正样本图像为合格印制品的图像，所述负样本图像为有缺陷印制品的图像；
分别将所述模板图像、所述正样本图像和所述负样本图像输入所述初级特征提取网络中得到模板图像的初级特征α1、正样本图像的初级特征α2和负样本图像的初级特征α3，根据模板图像的初级特征α1、正样本图像的初级特征α2和负样本图像的初级特征α3构造第一损失函数；
将所述模板图像的初级特征α1、正样本图像的初级特征α2和负样本图像的初级特征α3输入所述特征融合选择层以得到融合特征β；
将所述融合特征β输入所述缺陷语义分析网络中以得到缺陷置信度图像和缺陷分类预测图像，所述缺陷置信度图像包括所述负样本图像每个像素点的缺陷置信度，所述缺陷分类预测图像包括所述负样本图像每个像素点预测属于每个类别的概率；
根据所述缺陷置信度图像和对应的缺陷分割标记图像，以及所述缺陷分类预测图像和对应的缺陷分类标记图像构造第二损失函数；
根据所述第一损失函数和所述第二损失函数对所述缺陷检测网络进行训练。
3.如权利要求1或2所述的方法，其特征在于，所述第一损失函数为：
Figure FDA0003063749410000021
或
L1＝ε1max[0,μ(Dpos)-μ(Dneg)+ε2]+σ2(Dpos)+σ2(Dneg)，
其中，n为一批训练样本中的总样本数，i为样本序号，Dpos为所述正样本图像的初级特征α2和所述模板图像的初级特征α1的距离，Dneg为所述负样本图像的初级特征α3和所述模板图像的初级特征α1的距离；σ(Dpos)为同一批训练样本中各样本求得的Dpos值的标准差，σ2(Dpos)为同一批训练样本中各样本求得的Dpos值的方差，σ2(Dneg)为同一批训练样本中各样本求得的Dneg值的方差，μ(Dpos)为同一批训练样本中各样本求得的Dpos值的平均值，μ(Dneg)为同一批训练样本中各样本求得的Dneg值的平均值；k1、k2、ε1和ε2为预设的权重系数，且均大于0。
4.如权利要求1或2所述的方法，其特征在于，所述特征融合选择层通过以下方式计算得到所述融合特征β：
计算各非模板图像的初级特征和所述模板图像的初级特征的距离，并将各非模板图像的初级特征和所述模板图像的初级特征的距离相加，将相加的结果和所述模板图像的初级特征进行哈达玛积运算，得到所述融合特征β。
5.如权利要求1或2所述的方法，其特征在于，所述缺陷语义分析网络包括高级特征提取网络、缺陷分割网络和缺陷分类网络；所述将所述融合特征β输入所述缺陷语义分析网络中以得到缺陷置信度图像和缺陷分类预测图像，包括：
将所述融合特征β输入所述高级特征提取网络中以得到高级特征γ，其中所述高级特征提取网络用于提取所述融合特征β不同尺度的特征并进行融合以得到所述高级特征γ；
将所述高级特征γ输入所述缺陷分割网络中以得到所述缺陷置信度图像，将所述高级特征γ输入所述缺陷分类网络中以得到所述缺陷分类预测图像。
6.如权利要求5所述的方法，其特征在于，所述高级特征提取网络通过以下方式对所述融合特征β进行计算以得到所述高级特征γ：
将所述融合特征β输入一卷积神经网络中，获得所述卷积神经网络的隐藏层输出的特征图；
根据所述卷积神经网络的隐藏层输出的特征图得到每一层的中间特征图，其中，本层的中间特征图，是对上一层的中间特征图进行上采样使得其尺度与本层输出的特征图尺度相同，然后与本层输出的特征图相加后得到的，最后一层的中间特征图为该层输出的特征图本身；
对每一层的中间特征图进行卷积和上采样处理，使得所有中间特征图的尺度相同，然后对所有中间特征图进行通道拼接，从而得到所述高级特征γ。
7.如权利要求5所述的方法，其特征在于，所述缺陷分割网络通过以下方式对所述高级特征γ进行计算以得到所述缺陷置信度图像：
将所述高级特征γ输入一卷积神经网络中以得到相应的预测置信度图像和置信度阈值图像，所述预测置信度图像代表所述负样本图像每个像素点的预测置信度，所述置信度阈值图像代表所述负样本图像每个像素点的置信度阈值；
通过以下公式计算所述负样本图像每个像素点的缺陷置信度，从而得到所述缺陷置信度图像：
Figure FDA0003063749410000031
其中i和j分别代表行坐标和列坐标，Pi,j代表所述预测置信度图像上的像素点，Ti,j代表所述置信度阈值图像上的像素点，a为预设的权重系数。
8.如权利要求7所述的方法，其特征在于，所述第二损失函数为：
L2＝LA+LB；
其中，LA代表缺陷分割的损失，LB代表缺陷分类的损失，且
LA＝Ls+w1Lb+w2Lt，
Figure FDA0003063749410000032
Figure FDA0003063749410000041
其中Ls代表预测置信度的损失，Lb代表缺陷置信度的损失，Lt代表置信度阈值的损失，k表示像素点的索引，S代表整个图像，yk代表像素点的标记值，xk代表像素点的预测置信度或缺陷置信度，S+代表前景区域，
Figure FDA0003063749410000042
代表前景区域中的像素点的标记值，
Figure FDA0003063749410000043
代表前景区域中的像素点的置信度阈值，w1和w2为预设的权重系数；
Figure FDA0003063749410000044
其中上标p和0为类别标记，p代表概率最大的那个类别，0代表背景信息，
Figure FDA0003063749410000045
代表像素点预测属于第p类的概率，
Figure FDA0003063749410000046
代表像素点属于第p类的标记值，
Figure FDA0003063749410000047
代表像素点预测属于背景信息的概率，S-代表背景区域。
9.如权利要求2所述的方法，其特征在于，所述根据所述第一损失函数和所述第二损失函数对所述缺陷检测网络进行训练，包括：
计算所述第一损失函数和所述第二损失函数的和，得到总损失函数；
根据所述总损失函数，通过随机梯度下降法对所述缺陷检测网络的参数进行迭代更新，完成对所述缺陷检测网络的训练。
10.如权利要求1至9中任一项所述的方法，其特征在于，所述缺陷检测网络包括两个共享权重的所述初级特征提取网络。
11.一种缺陷检测方法，其特征在于，包括：
获取模板图像和待检测图像，所述模板图像为合格印制品的图像；
将所述模板图像和所述待检测图像输入通过权利要求1至9中任一项所述的训练方法得到的缺陷检测网络中，以得到所述待检测图像的缺陷置信度图像和缺陷分类预测图像，其中所述模板图像和所述待检测图像被先后输入到所述初级特征提取网络中，或者
将所述模板图像和所述待检测图像输入通过权利要求10所述的训练方法得到的缺陷检测网络中，以得到所述待检测图像的缺陷置信度图像和缺陷分类预测图像，其中所述模板图像和所述待检测图像被分别输入到两个所述初级特征提取网络中；所述缺陷置信度图像包括所述待检测图像每个像素点的缺陷置信度，所述缺陷分类预测图像包括所述待检测图像每个像素点属于每个类别的概率；
根据预设的二值化阈值对所述缺陷置信度图像进行二值分割，得到所述待检测图像的缺陷区域；
对于所述缺陷分类预测图像的每个像素点，取概率最大的那个类别为该像素点所属的类别，从而得到所述待检测图像的缺陷分类图像。
12.一种计算机可读存储介质，其特征在于，所述介质上存储有程序，所述程序能够被处理器执行以实现如权利要求1至11中任一项所述的方法。
CN202110520478.7A 2021-05-13 2021-05-13 缺陷检测网络的训练方法、缺陷检测方法和存储介质 Active CN113344857B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110520478.7A CN113344857B (zh) 2021-05-13 2021-05-13 缺陷检测网络的训练方法、缺陷检测方法和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110520478.7A CN113344857B (zh) 2021-05-13 2021-05-13 缺陷检测网络的训练方法、缺陷检测方法和存储介质

Publications (2)

Publication Number Publication Date
CN113344857A CN113344857A (zh) 2021-09-03
CN113344857B true CN113344857B (zh) 2022-05-03

Family

ID=77468419

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110520478.7A Active CN113344857B (zh) 2021-05-13 2021-05-13 缺陷检测网络的训练方法、缺陷检测方法和存储介质

Country Status (1)

Country Link
CN (1) CN113344857B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114091620B (zh) * 2021-12-01 2022-06-03 常州市宏发纵横新材料科技股份有限公司 一种模板匹配检测方法、计算机设备及存储介质
CN114494260B (zh) * 2022-04-18 2022-07-19 深圳思谋信息科技有限公司 对象缺陷检测方法、装置、计算机设备和存储介质
CN114550021B (zh) * 2022-04-25 2022-08-09 深圳市华汉伟业科技有限公司 基于特征融合的表面缺陷检测方法及设备
CN114842005B (zh) * 2022-07-04 2022-09-20 海门市芳华纺织有限公司 一种基于半监督网络的纺织物表面疵点检测方法及系统
CN115439476B (zh) * 2022-11-07 2023-03-14 成都博视广达科技有限责任公司 基于图像分析的丝印缺陷检测方法及装置
CN116682069B (zh) * 2023-07-31 2023-11-24 水利部珠江水利委员会珠江水利综合技术中心 基于人工智能的船闸混凝土修复决策方法及系统
CN117152459A (zh) * 2023-10-30 2023-12-01 腾讯科技（深圳）有限公司 图像检测方法、装置、计算机可读介质及电子设备

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019104767A1 (zh) * 2017-11-28 2019-06-06 河海大学常州校区 基于深度卷积神经网络与视觉显著性的织物缺陷检测方法
CN110349176A (zh) * 2019-06-28 2019-10-18 华中科技大学 基于三重卷积网络和感知干扰学习的目标跟踪方法和系统
WO2020101448A1 (en) * 2018-08-28 2020-05-22 Samsung Electronics Co., Ltd. Method and apparatus for image segmentation
CN111553929A (zh) * 2020-05-12 2020-08-18 重庆邮电大学 基于融合网络的手机屏幕缺陷分割方法、装置及设备
CN111768388A (zh) * 2020-07-01 2020-10-13 哈尔滨工业大学（深圳） 一种基于正样本参考的产品表面缺陷检测方法及系统
CN111951249A (zh) * 2020-08-13 2020-11-17 浙江理工大学 基于多任务学习网络的手机导光板缺陷可视化检测方法
CN112085735A (zh) * 2020-09-28 2020-12-15 西安交通大学 一种基于自适应锚框的铝材质图像缺陷检测方法
CN112150410A (zh) * 2020-08-24 2020-12-29 浙江工商大学 一种焊缝缺陷的自动检测方法及其系统
CN112364754A (zh) * 2020-11-09 2021-02-12 云南电网有限责任公司迪庆供电局 螺栓缺陷检测方法及系统
CN112767354A (zh) * 2021-01-19 2021-05-07 南京汇川图像视觉技术有限公司 基于图像分割的缺陷检测方法、装置、设备及存储介质
CN112766244A (zh) * 2021-04-07 2021-05-07 腾讯科技（深圳）有限公司 目标对象检测方法、装置、计算机设备和存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105118044B (zh) * 2015-06-16 2017-11-07 华南理工大学 一种轮形铸造产品缺陷自动检测方法
US10657364B2 (en) * 2016-09-23 2020-05-19 Samsung Electronics Co., Ltd System and method for deep network fusion for fast and robust object detection
CN106803247B (zh) * 2016-12-13 2021-01-22 上海交通大学 一种基于多级筛选卷积神经网络的微血管瘤图像识别方法
CN110363210B (zh) * 2018-04-10 2023-05-05 腾讯科技（深圳）有限公司 一种图像语义分割模型的训练方法和服务器
US10896341B2 (en) * 2018-11-15 2021-01-19 International Business Machines Corporation Efficient defect localization/segmentation for surface defect inspection
US11158042B2 (en) * 2019-07-10 2021-10-26 International Business Machines Corporation Object defect detection
EP4032062A4 (en) * 2019-10-25 2022-12-14 Samsung Electronics Co., Ltd. IMAGE PROCESSING METHOD, APPARATUS, ELECTRONIC DEVICE AND COMPUTER READABLE STORAGE MEDIA

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019104767A1 (zh) * 2017-11-28 2019-06-06 河海大学常州校区 基于深度卷积神经网络与视觉显著性的织物缺陷检测方法
WO2020101448A1 (en) * 2018-08-28 2020-05-22 Samsung Electronics Co., Ltd. Method and apparatus for image segmentation
CN110349176A (zh) * 2019-06-28 2019-10-18 华中科技大学 基于三重卷积网络和感知干扰学习的目标跟踪方法和系统
CN111553929A (zh) * 2020-05-12 2020-08-18 重庆邮电大学 基于融合网络的手机屏幕缺陷分割方法、装置及设备
CN111768388A (zh) * 2020-07-01 2020-10-13 哈尔滨工业大学（深圳） 一种基于正样本参考的产品表面缺陷检测方法及系统
CN111951249A (zh) * 2020-08-13 2020-11-17 浙江理工大学 基于多任务学习网络的手机导光板缺陷可视化检测方法
CN112150410A (zh) * 2020-08-24 2020-12-29 浙江工商大学 一种焊缝缺陷的自动检测方法及其系统
CN112085735A (zh) * 2020-09-28 2020-12-15 西安交通大学 一种基于自适应锚框的铝材质图像缺陷检测方法
CN112364754A (zh) * 2020-11-09 2021-02-12 云南电网有限责任公司迪庆供电局 螺栓缺陷检测方法及系统
CN112767354A (zh) * 2021-01-19 2021-05-07 南京汇川图像视觉技术有限公司 基于图像分割的缺陷检测方法、装置、设备及存储介质
CN112766244A (zh) * 2021-04-07 2021-05-07 腾讯科技（深圳）有限公司 目标对象检测方法、装置、计算机设备和存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Detection of False Positive and False Negative Samples in Semantic Segmentation;Matthias Rottmann et al;《Autonomous System Design Initiative Paper》;20201231;1351-1356 *
基于卷积神经网络的电路缺陷识别方法;何俊杰等;《福建电脑》;20180225(第02期);13-15 *
深度卷积神经网络图像语义分割研究进展;青晨等;《中国图象图形学报》;20200616(第06期);5-26 *

Also Published As

Publication number Publication date
CN113344857A (zh) 2021-09-03

Similar Documents

Publication Publication Date Title
CN113344857B (zh) 缺陷检测网络的训练方法、缺陷检测方法和存储介质
CN110569899B (zh) 坝面缺陷分类模型训练方法及装置
CN108918536B (zh) 轮胎模具表面字符缺陷检测方法、装置、设备及存储介质
CN111160352B (zh) 一种基于图像分割的工件金属表面文字识别方法及系统
CN107133622B (zh) 一种单词的分割方法和装置
CN112818813A (zh) 图像中表格信息的识别方法、装置、电子设备及存储介质
CN101915769B (zh) 一种印刷电路板中带电阻元件的自动光学检测方法
JP6366024B2 (ja) 画像化された文書からテキストを抽出する方法及び装置
CN110648310B (zh) 基于注意力机制的弱监督铸件缺陷识别方法
CN108827969A (zh) 金属零件表面缺陷检测与识别方法及装置
CN109740609B (zh) 一种轨距检测方法及装置
CN113083804A (zh) 激光智能除锈方法、系统及可存读介质
CN110135225B (zh) 样本标注方法及计算机存储介质
Zhai et al. A generative adversarial network based framework for unsupervised visual surface inspection
CN111127417A (zh) 一种基于sift特征匹配和改进的ssd算法的软包装卷料印刷缺陷检测方法
CN112419260A (zh) 一种pcb文字区域缺陷检测方法
CN111965197A (zh) 一种基于多特征融合的缺陷分类方法
CN113034492A (zh) 一种印刷质量缺陷检测方法、存储介质
CN111754502A (zh) 基于多尺度特征融合的Faster-RCNN算法检测磁芯表面缺陷的方法
CN112884741B (zh) 一种基于图像相似性对比的印刷表观缺陷检测方法
CN109003257B (zh) 一种光学字符验证方法
CN111210417A (zh) 基于卷积神经网络的布匹缺陷检测方法
CN114299040A (zh) 瓷砖瑕疵检测方法、装置和电子设备
CN109063708B (zh) 基于轮廓提取的工业图像特征识别方法及系统
CN116912857A (zh) 手写体和印刷体文本分离方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant