CN111861966B - 模型训练方法、装置及缺陷检测方法、装置 - Google Patents

模型训练方法、装置及缺陷检测方法、装置 Download PDF

Info

Publication number
CN111861966B
CN111861966B CN201910312755.8A CN201910312755A CN111861966B CN 111861966 B CN111861966 B CN 111861966B CN 201910312755 A CN201910312755 A CN 201910312755A CN 111861966 B CN111861966 B CN 111861966B
Authority
CN
China
Prior art keywords
area
detection model
probability value
detected
defect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910312755.8A
Other languages
English (en)
Other versions
CN111861966A (zh
Inventor
陈佳伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201910312755.8A priority Critical patent/CN111861966B/zh
Priority to PCT/CN2020/085205 priority patent/WO2020211823A1/zh
Publication of CN111861966A publication Critical patent/CN111861966A/zh
Application granted granted Critical
Publication of CN111861966B publication Critical patent/CN111861966B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/0008Industrial image inspection checking presence/absence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/77Determining position or orientation of objects or cameras using statistical methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30124Fabrics; Textile; Paper

Abstract

本申请提供一种模型训练方法及装置,方法包括:获取多帧带标签的训练样本,所述标签至少包括第一标签和第二标签,所述第一标签用于记录训练样本中被标记的第一区域为易误检区域,所述第二标签用于记录训练样本中被标记的第二区域为存在缺陷的区域;利用各带标签的训练样本和各训练样本中第一区域的位置信息、第二区域的位置信息,训练出用于检测缺陷的检测模型。通过增加易误检区域的标签,在训练模型时可以根据增加的易误检区域的标签和位置加强对误检区域特征的学习,降低检测模型的误检率,提升检测模型的检出准确度。

Description

模型训练方法、装置及缺陷检测方法、装置
技术领域
本申请涉及一种计算机技术领域,尤其涉及一种模型训练方法、装置及缺陷检测方法、装置。
背景技术
在工业生产中,需要对生产出的产品进行缺陷检测(ASI,Automated SurfaceInspection)。比如,在纺织业生产出布匹后,需要检测布匹中是否存在瑕疵或缺陷,便于及时修补,提高布匹质量。传统的缺陷检测方法虽然有多种,但要么检测效果不佳,要么计算量大,效率低。
目前通过采用基于深度学习的神经网络进行缺陷检测,然而检测误检率比较高。
发明内容
有鉴于此,本申请提供一种缺陷检测方法及装置,以解决相关技术中的检测误检率比较高的问题。
根据本申请实施例的第一方面,提供一种模型训练方法,所述方法包括:
获取多帧带标签的训练样本,所述标签至少包括第一标签和第二标签,所述第一标签用于记录训练样本中被标记的第一区域为易误检区域,所述第二标签用于记录训练样本中被标记的第二区域为存在缺陷的区域;
利用各带标签的训练样本和各训练样本中第一区域的位置信息、第二区域的位置信息,训练出用于检测缺陷的检测模型。
根据本申请实施例的第二方面,提供一种模型训练装置,所述装置包括:
获取模块,用于获取多帧带标签的训练样本,所述标签至少包括第一标签和第二标签,所述第一标签用于记录训练样本中被标记的第一区域为易误检区域,所述第二标签用于记录训练样本中被标记的第二区域为存在缺陷的区域;
训练模块,用于利用各带标签的训练样本和各训练样本中第一区域的位置信息、第二区域的位置信息,训练出用于检测缺陷的检测模型。
应用本申请实施例,在训练检测模型时,通过增加易误检区域的标签,以根据增加的易误检区域的标签和位置信息加强对误检区域特征的学习,从而达到降低检测模型的误检率,提升检测模型检出准确度的目的。
根据本申请实施例的第三方面,提供一种应用如上述第一方面所述检测模型的缺陷检测方法,所述方法包括:
将待检测目标图输入检测模型,以由所述检测模型对所述待检测目标图进行检测,得到所述待检测目标图中每一像素点的目标缺陷概率值;
依据所述待检测目标图中各个像素点的目标缺陷概率值确定所述待检测目标图中是否存在缺陷区域。
根据本申请实施例的第四方面,提供一种应用如上述第一方面所述检测模型的缺陷检测装置,所述装置包括:
检测模块,用于将待检测目标图输入检测模型,以由所述检测模型对所述待检测目标图进行检测,得到所述待检测目标图中每一像素点的目标缺陷概率值;
确定模块,用于依据所述待检测目标图中各个像素点的目标缺陷概率值确定所述待检测目标图中是否存在缺陷区域。
应用本申请实施例,由于进行缺陷检测的模型是由增加了易误检区域的标签的训练样本训练得到的,易误检区域的标签和位置信息能够加强对误检区域特征的学习,因此通过该检测模型实现的缺陷检测误检率低,检出准确度高。
根据本申请实施例的第五方面,提供一种缺陷检测样本的获取方法,所述方法包括:
针对获取的每一训练样本,检测该训练样本中存在的缺陷区域;
在检测到的缺陷区域中,若存在与被标记有第二标签的第二区域未重合的区域,则确定该区域为易误检区域,并将该区域用第一标签标记,得到带有第一标签和第二标签的训练样本;
其中,获取的每一训练样本携带有第二标签,所述第二标签用于记录训练样本中被标记的第二区域为存在缺陷的区域。
根据本申请实施例的第六方面,提供一种缺陷检测样本的获取装置,所述装置包括:
检测模块,用于针对获取的每一训练样本,检测该训练样本中存在的缺陷区域;
打标签模块,用于在检测到的缺陷区域中,若存在与被标记有第二标签的第二区域未重合的区域,则确定该区域为易误检区域,并将该区域用第一标签标记,得到带有第一标签和第二标签的训练样本;
其中,获取的每一训练样本携带有第二标签,所述第二标签用于记录训练样本中被标记的第二区域为存在缺陷的区域。
应用本申请实施例,由于易误检区域是通过将检测到的缺陷区域与已标记了存在缺陷的区域对比自动获得,进而实现对易误检区域的标记,相对于人工手动标注方式更加准确,且还可节省人力成本。
附图说明
图1A为本申请根据一示例性实施例示出的一种待检测的筷子图;
图1B为本申请根据一示例性实施例示出的一种采用相关技术得到的筷子的缺陷图;
图2A为本申请根据一示例性实施例示出的一种模型训练方法的实施例流程图;
图2B为本申请根据图2A所示实施例示出的一种布匹缺陷类型示意图;
图2C为本申请根据图2A所示实施例示出的一种模型训练结构示意图;
图2D为本申请根据图2A所示实施例示出的另一种模型训练结构示意图;
图3A为本申请根据一示例性实施例示出的一种缺陷检测方法的实施例流程图;
图3B为本申请根据图3A所示实施例示出的一种缺陷检测结构示意图;
图3C为本申请根据图3A所示实施例示出的一种筷子的缺陷图;
图3D为本申请根据图3A所示实施例示出的一种待检测的布匹图;
图3E为本申请根据图3A所示实施例示出的一种布匹的缺陷图;
图4为本申请根据一示例性实施例示出的一种缺陷检测样本的获取方法的实施例流程图;
图5为本申请根据一示例性实施例示出的一种电子设备的硬件结构图;
图6为本申请根据一示例性实施例示出的一种模型训练装置的实施例结构图;
图7为本申请根据一示例性实施例示出的一种缺陷检测装置的实施例结构图;
图8为本申请根据一示例性实施例示出的一种缺陷检测样本的获取装置的实施例结构图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本申请可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本申请范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
目前采用的基于深度学习的神经网络的训练过程为:获取目标对象的样本图,并对每帧样本图中的缺陷区域和无缺陷区域分别用不同的标签标记,然后利用样本图和标记的标签对神经网络模型进行训练。但采用目前训练好的网络模型得到的检测结果,存在过拟合问题,导致误检率比较高。
在一个例子中,图1A是目标对象为筷子的待检测图,将图1A输入训练好的网络模型,由该网络模型对图1A进行检测,并利用检测结果确定的缺陷图为图1B,如图1B所示,黑色区域是无缺陷区域,白色区域是缺陷区域,但用虚线圈起来的白色区域:区域1、区域2、区域3、区域4以及区域5均被误检为缺陷区域。
为解决上述问题,本申请提出一种模型训练方法,通过获取多帧带标签的训练样本,所述标签至少包括第一标签和第二标签,第一标签用于记录训练样本中被标记的第一区域为易误检区域,第二标签用于记录训练样本中被标记的第二区域为存在缺陷的区域,然后利用各带标签的训练样本和各训练样本中第一区域的位置信息、第二区域的位置信息,训练出用于检测缺陷的检测模型。
基于上述描述可知,在训练检测模型时,通过增加易误检区域的标签,以根据增加的易误检区域的标签和位置信息加强对误检区域特征的学习,从而达到降低检测模型的误检率,提升检测模型检出准确度的目的。
下面以具体实施例对本申请提出的模型训练方法进行详细阐述。
图2A为本申请根据一示例性实施例示出的一种模型训练方法的实施例流程图,所述模型训练方法包括如下步骤:
步骤201:获取多帧带标签的训练样本,所述标签至少包括第一标签和第二标签,第一标签用于记录训练样本中被标记的第一区域为易误检区域,第二标签用于记录训练样本中被标记的第二区域为存在缺陷的区域。
示例性的,训练样本可以根据实际检测需求选取或抓拍,每一训练样本中的对象属于同一类别。
假设训练的模型是用于检测布匹表面的缺陷,那么可以获取多帧布匹训练样本,如图2B所示,其中图(a)中用黑线圈起来的区域表示错纱缺陷、图(b)中用黑线圈起来的区域表示坏针缺陷、图(c)中用黑线圈起来的区域表示开幅线缺陷、图(d)中用黑线圈起来的区域表示破洞缺陷;假设训练的模型是用于检测筷子表面的缺陷(如凹坑),那么可以获取多帧筷子训练样本。
在一实施例中,对于第一标签的标注过程,可以针对每一训练样本,检测该训练样本中存在的缺陷区域,在检测到的缺陷区域中,若存在与被标记有第二标签的第二区域未重合的区域,则确定该区域为易误检区域,并将该区域用第一标签标记,进而得到带有第一标签和第二标签的训练样本。
其中,用于标记存在缺陷区域的第二标签的标注过程可以通过相关技术实现,在此不再详述。
值得说明的是,带标签的训练样本还可包括第三标签,第三标签用于记录训练样本中被标记的第三区域为不存在缺陷的区域。
本申请对第一标签、第二标签、第三标签的具体表示形式不进行限定,只要可以区分出三个不同的区域即可。
在一示例性场景中,再如图1B所示,用虚线圈起来的白色区域:区域1、区域2、区域3、区域4以及区域5为易误检区域,用第一标签标记,其余的白色区域为存在缺陷的区域,用第二标签标记,黑色区域为不存在缺陷的区域,用第三标签标记。
本领域技术人员可以理解的是,对于存在缺陷的区域还可以进一步采用不同的标签来区分缺陷的种类。
步骤202:利用各带标签的训练样本和各训练样本中第一区域的位置信息、第二区域的位置信息,训练出用于检测缺陷的检测模型。
在一实施例中,如图2C所示,当检测模型为单独一个模型时,可以通过将各带标签的训练样本和各训练样本中第一区域的位置信息、第二区域的位置信息以及第三区域的位置信息输入至指定的模型训练引擎,以由所述模型训练引擎利用输入的带标签的训练样本、第一区域的位置信息、第二区域的位置信息以及第三区域的位置信息训练出用于检测缺陷的检测模型。
示例性的,模型训练引擎在训练过程中,第一标签的权重大于第二标签的权重和第三标签的权重,从而在进行梯度回传时,可以使得用更多的计算力去学习易误检区域的特征,降低误检率。
在另一实施例中,如图2D所示,当检测模型包括第一子检测模型和第二子检测模型时,可以通过将各带标签的训练样本和各训练样本中第一区域的位置信息输入至指定的模型训练引擎,以由模型训练引擎利用输入的带标签的训练样本和第一区域位置信息训练出第一子检测模型,并通过将各带标签的训练样本和各训练样本中第二区域的位置信息、第三区域的位置信息输入至指定的模型训练引擎,以由模型训练引擎利用输入的带标签的训练样本和第二区域的位置信息、第三区域的位置信息训练出第二子检测模型。
其中,第一子检测模型输出的是训练样本中每个像素点易于区分缺陷的概率值,值越大,表示越容易区分缺陷,值越小,表示比较难区分缺陷;第二子检测模型输出的是训练样本中每个像素点存在缺陷的概率值,值越大,表示存在缺陷的几率越大。
示例性的,第一子检测模型可以通过基于深度网络学习方法训练得到,其采用的网络结构可以卷积神经网络的结构,该卷积神经网络可以包括卷积层、池化层、BN(BatchNormalization,批量归一化)层、全连接层等计算层。第二子检测模型可以采用与第一子检测模型相同的方法得到,但也可以采用与第一子检测模型不同的方法得到,本申请对此不进行限定。
在本申请实施例中,通过获取多帧带标签的训练样本,所述标签至少包括第一标签和第二标签,第一标签用于记录训练样本中被标记的第一区域为易误检区域,第二标签用于记录训练样本中被标记的第二区域为存在缺陷的区域,然后利用各带标签的训练样本和各训练样本中第一区域的位置信息、第二区域的位置信息,训练出用于检测缺陷的检测模型。
基于上述描述可知,在训练检测模型时,通过增加易误检区域的标签,以根据增加的易误检区域的标签和位置信息加强对误检区域特征的学习,从而达到降低检测模型的误检率,提升检测模型检出准确度的目的。
图3A为本申请根据一示例性实施例示出的一种缺陷检测方法的实施例流程图,本实施例以上述图2A所示实施例为基础,应用上述所述的检测模型实现的缺陷检测,所述缺陷检测方法包括如下步骤:
步骤301:将待检测目标图输入检测模型,以由所述检测模型对待检测目标图进行检测,得到待检测目标图中每一像素点的目标缺陷概率值。
在一实施例中,如图3B所示,当检测模型包括第一子检测模型和第二子检测模型时,可以通过将所述待检测目标图输入第一子检测模型,以由所述第一子检测模型对所述待检测目标图进行检测,得到所述待检测目标图中每一像素点的第一候选概率值,所述第一候选概率值用于表示易于区分缺陷的概率,同时也将所述待检测目标图输入第二子检测模型,以由所述第二子检测模型对所述待检测目标图进行检测,得到所述待检测目标图中每一像素点的第二候选概率值,所述第二候选概率值用于表示存在缺陷的概率,然后对每个像素点的第一候选概率值和第二候选概率值进行融合,得到每个像素点的目标缺陷概率值。
其中,由于第一子检测模型输出的检测结果表示的是待检测目标图中每个像素点易于区分缺陷的概率,值越大,表示越容易区分缺陷,值越小,表示比较难区分缺陷,而第二子检测模型输出的检测结果表示的是待检测目标图中每个像素点存在缺陷的概率,值越大,表示存在缺陷的几率越大,因此需要对第一子检测模型输出的检测结果和第二子检测模型输出的检测结果进行融合,以得到每个像素点的目标缺陷概率。
针对对每个像素点的第一候选概率值和第二候选概率值进行融合的过程,下面详细介绍两种融合方式,当然也可以采用其它融合方式,本申请对此不进行限定。
第一种融合方式:可以针对每个像素点,将该像素点的第一候选概率值和第二候选概率值的均值作为该像素点的目标缺陷概率值。表示公式如下:
目标缺陷概率值=0.5*(第一候选概率值+第二候选概率值)
第二种融合方式:可以针对每个像素点,若该像素点的第一候选概率值小于预设数值,则将该像素点的第一候选概率值作为该像素点的目标缺陷概率值,若该像素点的第一候选概率值不小于预设数值,则将该像素点的第二候选概率值作为该像素点的目标缺陷概率值。表示公式如下:
目标缺陷概率值=第一候选概率值*(第一候选概率值<预设数值)+第二候选概率值*(第一候选概率值>=预设数值)
其中,若像素点的第一候选概率值小于预设数值,表示该像素点比较难区分是缺陷,且该像素点的第二候选概率值可信度不高,很有可能是错误的检测结果,因此选择将第一候选概率值作为该像素点的目标缺陷概率值;若像素点的第一候选概率值不小于预设数值,表示该像素点比较容易区分缺陷,且该像素点的第二候选概率值可信度比较高,因此选择将第二候选概率值作为该像素点的目标缺陷概率值。
假设预设数值为0.5,如果第一候选概率值小于0.5,则将第一候选概率值作为目标缺陷概率值,如果第一候选概率值大于等于0.5,则将第二候选概率值作为目标缺陷概率值。
基于上述描述,通过采用第一子检测模型和第二子检测模型的联合得到待检测目标图中每一像素点的目标缺陷概率值,由于第一子检测模型是用于检测每个像素点是否易于区分缺陷,通过将第一子检测模型的检测结果与第二子检测模型的检测结果融合,可以避免将不易于区分缺陷的像素点误检为缺陷。
步骤302:依据待检测目标图中各个像素点的目标缺陷概率值确定待检测目标图中是否存在缺陷区域。
在一实施例中,可以通过将待检测目标图中各个像素点的目标缺陷概率值转换为缺陷图,以便于实现缺陷区域的判断。转换过程可以是:确定待检测目标图中每一像素点的目标缺陷概率值映射的像素灰度值,并利用待检测目标图中各个像素点的目标缺陷概率值映射的像素灰度值生成待检测目标图对应的缺陷图。
其中,由于像素点的目标缺陷概率值的取值范围为0~1,而缺陷图所采用的是像素灰度值,取值范围为0~255,因此需要将像素点的目标缺陷概率值转换为缺陷图所用的像素灰度值,对于由目标缺陷概率值转换缺陷图所用的像素灰度值的映射关系可以预先根据实践经验设置,只要确保目标缺陷概率值越大,映射的像素灰度值越大即可。
示例性的,可以通过将缺陷图中像素灰度值大于预设数值的像素点所形成的区域确定为存在缺陷的区域。
以检测筷子缺陷为例,将上述待检测图1A输入检测模型,由所述检测模型对图1A进行检测,得到图1A中每个像素点的目标缺陷概率值,进而将待检测图中各个像素点的目标缺陷概率值转换为缺陷图,如图3C所示的缺陷图,黑色区域为无缺陷区域,白色区域为缺陷区域,与上述采用相关技术得到的缺陷图1B对比,图1B中的误检区域被检测模型过滤掉。
以检测布匹缺陷为例,如图3D所示,为待检测的布匹图,将图3D输入检测模型,由检测模型对图3D进行检测,得到图3D中每个像素点的目标缺陷概率值,进而将待检测布匹图中各像素点的目标缺陷概率值转换为缺陷图,如图3E所示的布匹的缺陷图,黑色区域为无缺陷区域,白色区域为缺陷区域。
在本实施例中,由于进行缺陷检测的模型是由增加了易误检区域的标签的训练样本训练得到的,易误检区域的标签和位置信息能够加强对误检区域特征的学习,因此通过该检测模型实现的缺陷检测误检率低,检出准确度高。
图4为本申请根据一示例性实施例示出的一种缺陷检测样本的获取方法的实施例流程图,该缺陷检测样本的获取方法包括如下步骤:
步骤401:针对获取的每一训练样本,检测该训练样本中存在的缺陷区域。
其中,获取的每一训练样本携带有第二标签,所述第二标签用于记录训练样本中被标记的第二区域为存在缺陷的区域。针对训练样本的描述可以参见上述步骤201中的相关描述,在此不再赘述。
本领域技术人员可以理解的是,第二标签的标注过程可以通过相关技术实现,在此不再详述。
值得说明的是,检测训练样本中存在的缺陷区域可以通过相关技术中所采用的检测模型进行检测,或者也可以通过传统的检测算法进行检测,以便于将检测到的缺陷区域与已标记的存在缺陷的区域进行区别对比,获得易误检的区域。
步骤402:在检测到的缺陷区域中,若存在与被标记有第二标签的第二区域未重合的区域,则确定该区域为易误检区域,并将该区域用第一标签标记,得到带有第一标签和第二标签的训练样本。
在一实施例中,获取的每一训练样本还可携带第三标签,所述第三标签用于记录训练样本中被标记的第三区域为不存在缺陷的区域。
本领域技术人员可以理解的是,第三标签的标注过程也可以通过相关技术实现,在此不再详述。
在本实施例中,由于易误检区域是通过将检测到的缺陷区域与已标记了存在缺陷的区域对比自动获得,进而实现对易误检区域的标注,相对于人工手动标注方式更加准确,且还可节省人力成本。
图5为本申请根据一示例性实施例示出的一种电子设备的硬件结构图,该电子设备包括:通信接口501、处理器502、机器可读存储介质503和总线504;其中,通信接口501、处理器502和机器可读存储介质503通过总线504完成相互间的通信。处理器502通过读取并执行机器可读存储介质503中与检测模型的生成方法的控制逻辑对应的机器可执行指令,可执行上文描述的检测模型的生成方法,该方法的具体内容参见上述实施例,此处不再累述。
本申请中提到的机器可读存储介质503可以是任何电子、磁性、光学或其它物理存储装置,可以包含或存储信息,如可执行指令、数据,等等。例如,机器可读存储介质可以是:易失存储器、非易失性存储器或者类似的存储介质。具体地,机器可读存储介质503可以是RAM(Radom Access Memory,随机存取存储器)、闪存、存储驱动器(如硬盘驱动器)、任何类型的存储盘(如光盘、DVD等),或者类似的存储介质,或者它们的组合。
图6为本申请根据一示例性实施例示出的一种模型训练装置的实施例结构图,所述模型训练装置包括:
获取模块610,用于获取多帧带标签的训练样本,所述标签至少包括第一标签和第二标签,所述第一标签用于记录训练样本中被标记的第一区域为易误检区域,所述第二标签用于记录训练样本中被标记的第二区域为存在缺陷的区域;
训练模块620,用于利用各带标签的训练样本和各训练样本中第一区域的位置信息、第二区域的位置信息,训练出用于检测缺陷的检测模型。
在一可选实现方式中,所述标签还可包括第三标签;所述第三标签用于记录训练样本中被标记的第三区域为不存在缺陷的区域;
所述训练模块620,具体用于将各带标签的训练样本和各训练样本中第一区域的位置信息、第二区域的位置信息以及第三区域的位置信息输入至指定的模型训练引擎,以由所述模型训练引擎利用输入的带标签的训练样本、第一区域的位置信息、第二区域的位置信息以及第三区域的位置信息训练出用于检测缺陷的检测模型。
在一可选实现方式中,所述检测模型包括第一子检测模型和第二子检测模型;
所述训练模块620,还具体用于将各带标签的训练样本和各训练样本中第一区域的位置信息输入至指定的模型训练引擎,以由所述模型训练引擎利用输入的带标签的训练样本和第一区域的位置信息训练出第一子检测模型;将各带标签的训练样本和各训练样本中第二区域的位置信息、第三区域的位置信息输入至指定的模型训练引擎,以由所述模型训练引擎利用输入的带标签的训练样本和第二区域的位置信息、第三区域的位置信息训练出第二子检测模型。
在一可选实现方式中,所述获取模块610,具体用于针对每一训练样本,检测该训练样本中存在的缺陷区域;在检测到的缺陷区域中,若存在与被标记有第二标签的第二区域未重合的区域,则确定该区域为易误检区域,并将该区域用第一标签标记,得到带有第一标签和第二标签的训练样本。
图7为本申请根据一示例性实施例示出的一种缺陷检测装置的实施例结构图,所述缺陷检测装置包括:
检测模块710,用于将待检测目标图输入检测模型,以由所述检测模型对所述待检测目标图进行检测,得到所述待检测目标图中每一像素点的目标缺陷概率值;
确定模块720,用于依据所述待检测目标图中各个像素点的目标缺陷概率值确定所述待检测目标图中是否存在缺陷区域。
在一可选实现方式中,所述检测模型包括第一子检测模型和第二子检测模型;
所述检测模块710,具体用于将所述待检测目标图输入第一子检测模型,以由所述第一子检测模型对所述待检测目标图进行检测,得到所述待检测目标图中每一像素点的第一候选概率值,所述第一候选概率值用于表示易于区分缺陷的概率;将所述待检测目标图输入第二子检测模型,以由所述第二子检测模型对所述待检测目标图进行检测,得到所述待检测目标图中每一像素点的第二候选概率值,所述第二候选概率值用于表示存在缺陷的概率;对每个像素点的第一候选概率值和第二候选概率值进行融合,得到每个像素点的目标缺陷概率值。
在一可选实现方式中,所述检测模块710,具体用于在将每个像素点的第一候选概率值和第二候选概率值进行融合过程中,针对每个像素点,将该像素点的第一候选概率值和第二候选概率值的均值作为该像素点的目标缺陷概率值。
在一可选实现方式中,所述检测模块710,具体用于在将每个像素点的第一候选概率值和第二候选概率值进行融合过程中,针对每个像素点,若该像素点的第一候选概率值小于预设数值,则将该像素点的第一候选概率值作为该像素点的目标缺陷概率值;若该像素点的第一候选概率值不小于预设数值,则将该像素点的第二候选概率值作为该像素点的目标缺陷概率值。
图8为本申请根据一示例性实施例示出的一种缺陷检测样本的获取装置的实施例结构图,所述缺陷检测样本的获取装置包括:
检测模块810,用于针对获取的每一训练样本,检测该训练样本中存在的缺陷区域;
打标签模块820,用于在检测到的缺陷区域中,若存在与被标记有第二标签的第二区域未重合的区域,则确定该区域为易误检区域,并将该区域用第一标签标记,得到带有第一标签和第二标签的训练样本;
其中,获取的每一训练样本携带有第二标签,所述第二标签用于记录训练样本中被标记的第二区域为存在缺陷的区域。
在一可选实现方式中,获取的每一训练样本还可携带第三标签,所述第三标签用于记录训练样本中被标记的第三区域为不存在缺陷的区域。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程,在此不再赘述。
对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由下面的权利要求指出。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上所述仅为本申请的较佳实施例而已,并不用以限制本申请,凡在本申请的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本申请保护的范围之内。

Claims (7)

1.一种缺陷检测方法,其特征在于,所述方法包括:
将待检测目标图输入检测模型,以由所述检测模型对所述待检测目标图进行检测,得到所述待检测目标图中每一像素点的目标缺陷概率值;
依据所述待检测目标图中各个像素点的目标缺陷概率值确定所述待检测目标图中是否存在缺陷区域;
其中,所述检测模型通过以下方法训练:
获取多帧带标签的训练样本,所述标签至少包括第一标签和第二标签,所述第一标签用于记录训练样本中被标记的第一区域为易误检区域,所述第二标签用于记录训练样本中被标记的第二区域为存在缺陷的区域;
利用各带标签的训练样本和各训练样本中第一区域的位置信息、第二区域的位置信息,训练出用于检测缺陷的检测模型;
其中,所述检测模型包括第一子检测模型和第二子检测模型;所述将待检测目标图输入检测模型,以由所述检测模型对所述待检测目标图进行检测,得到所述待检测目标图中每一像素点的目标缺陷概率值,包括:
将所述待检测目标图输入第一子检测模型,以由所述第一子检测模型对所述待检测目标图进行检测,得到所述待检测目标图中每一像素点的第一候选概率值,所述第一候选概率值用于表示易于区分缺陷的概率;
将所述待检测目标图输入第二子检测模型,以由所述第二子检测模型对所述待检测目标图进行检测,得到所述待检测目标图中每一像素点的第二候选概率值,所述第二候选概率值用于表示存在缺陷的概率;
对每个像素点的第一候选概率值和第二候选概率值进行融合,得到每个像素点的目标缺陷概率值。
2.根据权利要求1所述的方法,其特征在于,将每个像素点的第一候选概率值和第二候选概率值进行融合,包括:
针对每个像素点,将该像素点的第一候选概率值和第二候选概率值的均值作为该像素点的目标缺陷概率值。
3.根据权利要求1所述的方法,其特征在于,将每个像素点的第一候选概率值和第二候选概率值进行融合,包括:
针对每个像素点,若该像素点的第一候选概率值小于预设数值,则将该像素点的第一候选概率值作为该像素点的目标缺陷概率值;
若该像素点的第一候选概率值不小于预设数值,则将该像素点的第二候选概率值作为该像素点的目标缺陷概率值。
4.根据权利要求1所述的方法,其特征在于,所述标签还包括第三标签;所述第三标签用于记录训练样本中被标记的第三区域为不存在缺陷的区域;
利用各带标签的训练样本和各训练样本中第一区域的位置信息、第二区域的位置信息,训练出用于检测缺陷的检测模型,包括:
将各带标签的训练样本和各训练样本中第一区域的位置信息、第二区域的位置信息以及第三区域的位置信息输入至指定的模型训练引擎,以由所述模型训练引擎利用输入的带标签的训练样本、第一区域的位置信息、第二区域的位置信息以及第三区域的位置信息训练出用于检测缺陷的检测模型。
5.根据权利要求4所述的方法,其特征在于,所述检测模型包括第一子检测模型和第二子检测模型;
利用各带标签的训练样本和各训练样本中第一区域的位置信息、第二区域的位置信息,训练出用于检测缺陷的检测模型,包括:
将各带标签的训练样本和各训练样本中第一区域的位置信息输入至指定的模型训练引擎,以由所述模型训练引擎利用输入的带标签的训练样本和第一区域的位置信息训练出第一子检测模型;
将各带标签的训练样本和各训练样本中第二区域的位置信息、第三区域的位置信息输入至指定的模型训练引擎,以由所述模型训练引擎利用输入的带标签的训练样本和第二区域的位置信息、第三区域的位置信息训练出第二子检测模型。
6.根据权利要求1所述的方法,其特征在于,获取多帧带标签的训练样本,包括:
针对每一训练样本,检测该训练样本中存在的缺陷区域;
在检测到的缺陷区域中,若存在与被标记有第二标签的第二区域未重合的区域,则确定该区域为易误检区域,并将该区域用第一标签标记,得到带有第一标签和第二标签的训练样本。
7.一种缺陷检测装置,其特征在于,所述装置包括:
检测模块,用于将待检测目标图输入检测模型,以由所述检测模型对所述待检测目标图进行检测,得到所述待检测目标图中每一像素点的目标缺陷概率值;
其中,所述检测模型通过以下方法训练:
获取多帧带标签的训练样本,所述标签至少包括第一标签和第二标签,所述第一标签用于记录训练样本中被标记的第一区域为易误检区域,所述第二标签用于记录训练样本中被标记的第二区域为存在缺陷的区域;
利用各带标签的训练样本和各训练样本中第一区域的位置信息、第二区域的位置信息,训练出用于检测缺陷的检测模型;
其中,所述检测模型包括第一子检测模型和第二子检测模型;所述将待检测目标图输入检测模型,以由所述检测模型对所述待检测目标图进行检测,得到所述待检测目标图中每一像素点的目标缺陷概率值,包括:
将所述待检测目标图输入第一子检测模型,以由所述第一子检测模型对所述待检测目标图进行检测,得到所述待检测目标图中每一像素点的第一候选概率值,所述第一候选概率值用于表示易于区分缺陷的概率;
将所述待检测目标图输入第二子检测模型,以由所述第二子检测模型对所述待检测目标图进行检测,得到所述待检测目标图中每一像素点的第二候选概率值,所述第二候选概率值用于表示存在缺陷的概率;
对每个像素点的第一候选概率值和第二候选概率值进行融合,得到每个像素点的目标缺陷概率值;
确定模块,用于依据所述待检测目标图中各个像素点的目标缺陷概率值确定所述待检测目标图中是否存在缺陷区域。
CN201910312755.8A 2019-04-18 2019-04-18 模型训练方法、装置及缺陷检测方法、装置 Active CN111861966B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910312755.8A CN111861966B (zh) 2019-04-18 2019-04-18 模型训练方法、装置及缺陷检测方法、装置
PCT/CN2020/085205 WO2020211823A1 (zh) 2019-04-18 2020-04-16 模型训练方法、装置及缺陷检测方法、装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910312755.8A CN111861966B (zh) 2019-04-18 2019-04-18 模型训练方法、装置及缺陷检测方法、装置

Publications (2)

Publication Number Publication Date
CN111861966A CN111861966A (zh) 2020-10-30
CN111861966B true CN111861966B (zh) 2023-10-27

Family

ID=72838053

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910312755.8A Active CN111861966B (zh) 2019-04-18 2019-04-18 模型训练方法、装置及缺陷检测方法、装置

Country Status (2)

Country Link
CN (1) CN111861966B (zh)
WO (1) WO2020211823A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112651941A (zh) * 2020-12-25 2021-04-13 北京巅峰科技有限公司 车辆缺陷识别方法、装置、电子装置和存储介质
CN112784997B (zh) * 2021-01-22 2023-11-10 北京百度网讯科技有限公司 标注复核方法、装置、设备、存储介质以及程序产品
CN113706462A (zh) * 2021-07-21 2021-11-26 南京旭锐软件科技有限公司 产品表面缺陷检测方法、装置、设备及存储介质
CN117282687A (zh) * 2023-10-18 2023-12-26 广州市普理司科技有限公司 印刷品视觉检测自动剔补标控制系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103473925A (zh) * 2013-08-28 2013-12-25 惠州市德赛工业发展有限公司 一种道路车辆检测系统的验证方法
CN104156734A (zh) * 2014-08-19 2014-11-19 中国地质大学(武汉) 一种基于随机蕨分类器的全自主在线学习方法
CN106548155A (zh) * 2016-10-28 2017-03-29 安徽四创电子股份有限公司 一种基于深度信念网络的车牌检测方法
CN107871134A (zh) * 2016-09-23 2018-04-03 北京眼神科技有限公司 一种人脸检测方法及装置
CN107886133A (zh) * 2017-11-29 2018-04-06 南京市测绘勘察研究院股份有限公司 一种基于深度学习的地下管道缺陷自动识别方法
CN107966447A (zh) * 2017-11-14 2018-04-27 浙江大学 一种基于卷积神经网络的工件表面缺陷检测方法
CN108562589A (zh) * 2018-03-30 2018-09-21 慧泉智能科技(苏州)有限公司 一种对磁路材料表面缺陷进行检测的方法
CN108921111A (zh) * 2018-07-06 2018-11-30 南京旷云科技有限公司 对象检测后处理方法及对应装置
CN109410190A (zh) * 2018-10-15 2019-03-01 广东电网有限责任公司 基于高分辨率遥感卫星影像的杆塔倒断检测模型训练方法
CN109522968A (zh) * 2018-11-29 2019-03-26 济南浪潮高新科技投资发展有限公司 一种基于串行双任务网络的病灶区检测方法及系统
CN109558902A (zh) * 2018-11-20 2019-04-02 成都通甲优博科技有限责任公司 一种快速目标检测方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106875381B (zh) * 2017-01-17 2020-04-28 同济大学 一种基于深度学习的手机外壳缺陷检测方法
JP6705777B2 (ja) * 2017-07-10 2020-06-03 ファナック株式会社 機械学習装置、検査装置及び機械学習方法
US10977562B2 (en) * 2017-08-07 2021-04-13 International Business Machines Corporation Filter for harmful training samples in active learning systems
CN109146873B (zh) * 2018-09-04 2020-12-29 凌云光技术股份有限公司 一种基于学习的显示屏缺陷智能检测方法及装置
CN109389160A (zh) * 2018-09-27 2019-02-26 南京理工大学 基于深度学习的电力绝缘端子缺陷检测方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103473925A (zh) * 2013-08-28 2013-12-25 惠州市德赛工业发展有限公司 一种道路车辆检测系统的验证方法
CN104156734A (zh) * 2014-08-19 2014-11-19 中国地质大学(武汉) 一种基于随机蕨分类器的全自主在线学习方法
CN107871134A (zh) * 2016-09-23 2018-04-03 北京眼神科技有限公司 一种人脸检测方法及装置
CN106548155A (zh) * 2016-10-28 2017-03-29 安徽四创电子股份有限公司 一种基于深度信念网络的车牌检测方法
CN107966447A (zh) * 2017-11-14 2018-04-27 浙江大学 一种基于卷积神经网络的工件表面缺陷检测方法
CN107886133A (zh) * 2017-11-29 2018-04-06 南京市测绘勘察研究院股份有限公司 一种基于深度学习的地下管道缺陷自动识别方法
CN108562589A (zh) * 2018-03-30 2018-09-21 慧泉智能科技(苏州)有限公司 一种对磁路材料表面缺陷进行检测的方法
CN108921111A (zh) * 2018-07-06 2018-11-30 南京旷云科技有限公司 对象检测后处理方法及对应装置
CN109410190A (zh) * 2018-10-15 2019-03-01 广东电网有限责任公司 基于高分辨率遥感卫星影像的杆塔倒断检测模型训练方法
CN109558902A (zh) * 2018-11-20 2019-04-02 成都通甲优博科技有限责任公司 一种快速目标检测方法
CN109522968A (zh) * 2018-11-29 2019-03-26 济南浪潮高新科技投资发展有限公司 一种基于串行双任务网络的病灶区检测方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于卷积神经网络的晶圆缺陷检测与分类算法;邡鑫;史峥;;计算机工程(08);全文 *

Also Published As

Publication number Publication date
WO2020211823A1 (zh) 2020-10-22
CN111861966A (zh) 2020-10-30

Similar Documents

Publication Publication Date Title
CN111861966B (zh) 模型训练方法、装置及缺陷检测方法、装置
CN111179251A (zh) 基于孪生神经网络利用模板比对的缺陷检测系统及方法
CN113763312B (zh) 使用弱标记检测半导体试样中的缺陷
CN113344857B (zh) 缺陷检测网络的训练方法、缺陷检测方法和存储介质
KR20170058263A (ko) 화물을 검사하는 방법 및 그 시스템
TWI716012B (zh) 樣本標註方法、裝置、儲存媒體和計算設備、損傷類別的識別方法及裝置
CN110910353B (zh) 一种工业假不良检测方法及系统
CN110135225B (zh) 样本标注方法及计算机存储介质
CN111126393A (zh) 车辆外观改装判断方法、装置、计算机设备及存储介质
CN113095444B (zh) 图像标注方法、装置及存储介质
CN111753877B (zh) 一种基于深度神经网络迁移学习的产品质量检测方法
JP7408516B2 (ja) 欠陥管理装置、方法およびプログラム
CN111311546A (zh) 集装箱检测方法、装置及计算机可读存储介质
CN113850749A (zh) 训练缺陷侦测器的方法
CN114299040A (zh) 瓷砖瑕疵检测方法、装置和电子设备
CN111311545A (zh) 集装箱检测方法、装置及计算机可读存储介质
KR101782364B1 (ko) 케이평균군집화를 통한 학습기반의 비전검사 방법
CN113962980A (zh) 基于改进yolov5x的玻璃容器瑕疵检测方法及系统
CN113744252A (zh) 用于标记和检测缺陷的方法、设备、存储介质和程序产品
CN113034492A (zh) 一种印刷质量缺陷检测方法、存储介质
CN113673618A (zh) 一种融合注意力模型的烟虫目标检测方法
CN111275682A (zh) 集装箱检测方法、装置及计算机可读存储介质
CN115546139A (zh) 一种基于机器视觉的缺陷检测方法、装置及电子设备
CN115546145A (zh) 一种基于机器视觉的缺陷检测方法、装置及电子设备
CN115330743A (zh) 基于双光检测缺陷的方法及相应的系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant