CN113159216A - 一种用于表面缺陷检测的正样本扩充方法 - Google Patents

一种用于表面缺陷检测的正样本扩充方法 Download PDF

Info

Publication number
CN113159216A
CN113159216A CN202110504902.9A CN202110504902A CN113159216A CN 113159216 A CN113159216 A CN 113159216A CN 202110504902 A CN202110504902 A CN 202110504902A CN 113159216 A CN113159216 A CN 113159216A
Authority
CN
China
Prior art keywords
detection
positive sample
sample
frame
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110504902.9A
Other languages
English (en)
Other versions
CN113159216B (zh
Inventor
蒋三新
王新宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Electric Power University
Original Assignee
Shanghai Electric Power University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Electric Power University filed Critical Shanghai Electric Power University
Priority to CN202110504902.9A priority Critical patent/CN113159216B/zh
Publication of CN113159216A publication Critical patent/CN113159216A/zh
Application granted granted Critical
Publication of CN113159216B publication Critical patent/CN113159216B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明公开了一种用于表面缺陷检测的正样本扩充方法，包括，将检测器生成的目标框和检测框的位置坐标输入至非极大抑制单元，通过非极大抑制单元去除重叠检测框，保留包含目标信息的检测框；通过样本判定单元筛选和判定负样本、正样本以及半正样本；通过样本采样单元根据设定的正负样本采样比例对负样本、正样本以及半正样本进行采样；将全部采样数据输入至损失回归单元，通过损失回归单元进行检测框分类损失训练和检测框定位回归训练，进而扩充正样本；本发明可以更准确地衡量检测框与目标框之间的重叠程度；同时，改善了正负样本的不平衡问题，且可直接迁移应用至多种目标检测网络中，无需预训练，通用性好。

Description

一种用于表面缺陷检测的正样本扩充方法
技术领域
本发明涉及目标检测的技术领域，尤其涉及一种用于表面缺陷检测的正样本扩充方法。
背景技术
近年来基于深度神经网络的目标检测技术发展迅速，并在诸多产品的缺陷检测中得到了成功应用。两阶段的R-CNN(Region-Convolutional Neural Networks)目标检测算法是当前主流的目标检测方法之一。在两阶段检测器中，第一阶段使用区域提议网络(Region Proposal Network，RPN)从密集的预判定边界框(锚框)中筛选出若干候选框，然后第二阶段使用兴趣区域子网(RoI-subnet)对这些候选框进行目标分类和回归定位。
在两阶段R-CNN方法中，当算法训练时，只有少数与检测目标高度重叠的锚框被作为正样本分配给目标，其它绝大部分锚框则作为负样本分配给背景，这将是导致锚框中正负样本(目标和背景)数目的极大不平衡。这种正负样本数目的不平衡将不仅使得算法训练中收敛速度减缓，而且还将降低目标检测的准确性。
当两阶段目标检测算法用于产品表面缺陷检测时，由于缺陷的独特性质，如：缺陷类别不相容、缺陷尺寸大小不一等，使得分配给目标的锚框数量，也即正样本数目，更加减少，加剧了锚框中正负样本之间的不平衡，降低了网络收敛速度与检测精度。
发明内容
本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。
鉴于上述现有存在的问题，提出了本发明。
因此，本发明提供了一种用于表面缺陷检测的正样本扩充方法，能够改善检测框与目标框之间的匹配问题和正负样本之间的不平衡问题。
为解决上述技术问题，本发明提供如下技术方案：包括，将检测器生成的目标框和检测框的位置坐标输入至非极大抑制单元，通过所述非极大抑制单元去除重叠检测框，保留包含目标信息的检测框；通过样本判定单元筛选和判定负样本、正样本以及半正样本；通过样本采样单元根据设定的正负样本采样比例对所述负样本、正样本以及半正样本进行采样；将全部采样数据输入至损失回归单元，通过所述损失回归单元进行检测框分类损失训练和检测框定位回归训练，进而扩充所述正样本。
作为本发明所述的用于表面缺陷检测的正样本扩充方法的一种优选方案，其中：所述非极大抑制单元包括，所述非极大抑制单元在每个特征层内的检测框之间，通过执行非极大抑制策略，以去除所述重叠检测框；而后在相邻的特征层内检测框之间，所述非极大抑制单元通过衡量检测框之间的相关性，并据此筛选与保留所述包含目标信息的检测框。
作为本发明所述的用于表面缺陷检测的正样本扩充方法的一种优选方案，其中：所述样本判定单元包括，将所有检测框与目标框输入至所述样本判定单元，初始化所有检测框为忽略样本；遍历所述检测框与目标框，计算检测框与目标框的重叠区域在目标框中所占比例COPBGt、检测框与目标框的重叠区域在检测框中所占比例COPGtB和面积比；根据COPBGt的限定条件筛选并判定所述负样本；根据COPBGt、COPGtB和面积比的限定条件筛选并判定所述正样本与所述半正样本。
作为本发明所述的用于表面缺陷检测的正样本扩充方法的一种优选方案，其中：计算所述COPBGt和COPGtB包括，根据下式计算所述检测框与目标框的重叠区域在目标框中所占比例COPBGt：
Figure BDA0003057984740000021
根据下式计算检测框与目标框的重叠区域在检测框中所占比例COPGtB：
Figure BDA0003057984740000022
其中，B代表检测框，Gt代表目标框，SBGt表示检测框与目标框的重叠区域面积，SGt表示目标框面积，SB表示检测框面积。
作为本发明所述的用于表面缺陷检测的正样本扩充方法的一种优选方案，其中：所述COPBGt的限定条件包括，若每个检测框和所有目标框的COPBGt中的最大值低于负样本阈值，则此检测框判定为所述负样本。
作为本发明所述的用于表面缺陷检测的正样本扩充方法的一种优选方案，其中：判定所述正样本包括，若每个检测框和所有目标框的COPBGt中的最大值高于正样本阈值，或者所述每个检测框和所有目标框的COPGtB中的最大值高于所述正样本阈值，并且所述每个检测框和最大值所对应的目标框的面积比在一级范围内，则判定它为所述正样本；若每个目标框和所有检测框的COPBGt中的最大值所对应的检测框面积比在所述一级范围内，则判定最大值所对应的检测框为正样本。
作为本发明所述的用于表面缺陷检测的正样本扩充方法的一种优选方案，其中：判定所述半正样本包括，若所述每个检测框和所有目标框的COPBGt中的最大值高于所述正样本阈值，或者所述每个检测框和所有目标框的COPGtB中的最大值高于所述正样本阈值，且它和最大值所对应的目标框的面积比在二级范围内，则它为所述半正样本。
作为本发明所述的用于表面缺陷检测的正样本扩充方法的一种优选方案，其中：所述采样包括，所述样本采样单元采用随机采样策略并依照所述设定的正负样本采样比例分别从所有正样本和负样本中采样，若实际正样本数量不满足采样所需正样本数量，则通过半正样本补充正样本数量。
作为本发明所述的用于表面缺陷检测的正样本扩充方法的一种优选方案，其中：所述损失回归单元包括，以所述负样本、正样本以及半正样本作为损失回归单元的输入，采用交叉熵损失函数进行所述检测框分类损失训练；以所述正样本为损失回归单元的输入，采用Smooth L1损失函数进行所述检测框定位回归训练。
本发明的有益效果：本发明结合COP的计算方法，可以更准确地衡量检测框与目标框之间的重叠程度；同时，筛选了更多包含目标信息的检测框作为正样本，增加了正样本数量，改善了正负样本的不平衡问题，所筛选的正样本与半正样本共同应用于分类损失训练，提升了分类损失的收敛速度和分类准确度；且可直接迁移应用至多种目标检测网络中，而无需预训练，通用性好。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：
图1为本发明第一个实施例所述的一种用于表面缺陷检测的正样本扩充方法的整体架构示意图；
图2为本发明第一个实施例所述的一种用于表面缺陷检测的正样本扩充方法的样本判定单元算法流程示意图；
图3为本发明第一个实施例所述的一种用于表面缺陷检测的正样本扩充方法的COPBGt计算方法示意图；
图4为本发明第一个实施例所述的一种用于表面缺陷检测的正样本扩充方法的COPGtB计算方法示意图；
图5为本发明第一个实施例所述的一种用于表面缺陷检测的正样本扩充方法的Residue缺陷样本示意图；
图6为本发明第一个实施例所述的一种用于表面缺陷检测的正样本扩充方法的目标框可视化示意图；
图7为本发明第一个实施例所述的一种用于表面缺陷检测的正样本扩充方法的3960个检测框可视化示意图；
图8为本发明第一个实施例所述的一种用于表面缺陷检测的正样本扩充方法的1000个检测框可视化示意图；
图9为本发明第一个实施例所述的一种用于表面缺陷检测的正样本扩充方法的正样本检测框可视化示意图；
图10为本发明第一个实施例所述的一种用于表面缺陷检测的正样本扩充方法的半正样本检测框的可视化示意图；
图11为本发明第一个实施例所述的一种用于表面缺陷检测的正样本扩充方法的负样本检测框的可视化示意图；
图12为本发明第二个实施例所述的一种用于表面缺陷检测的正样本扩充方法的模型训练过程中分类损失收敛变化示意图；
图13为本发明第二个实施例所述的一种用于表面缺陷检测的正样本扩充方法的模型训练过程中定位损失收敛变化示意图；
图14为本发明第二个实施例所述的一种用于表面缺陷检测的正样本扩充方法的训练过程中平均准确率(mAP)变化示意图；
图15为本发明第二个实施例所述的一种用于表面缺陷检测的正样本扩充方法的各类别缺陷的检测平均准确率对比示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。
本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。
同时在本发明的描述中，需要说明的是，术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一、第二或第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
本发明中除非另有明确的规定和限定，术语“安装、相连、连接”应做广义理解，例如：可以是固定连接、可拆卸连接或一体式连接；同样可以是机械连接、电连接或直接连接，也可以通过中间媒介间接相连，也可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
实施例1
参照图1～图11，为本发明的第一个实施例，该实施例提供了一种用于表面缺陷检测的正样本扩充方法，包括：
其中需要说明的是，本实施例仅以标签为“Residue”的缺陷为例，通过展示各功能单元运行后的结果，说明本方法的关键细节；样本示例的大小为512*512像素，样本示例如图5所示。
S1：将检测器生成的目标框和检测框的位置坐标输入至非极大抑制单元，通过非极大抑制单元去除重叠检测框，保留包含目标信息的检测框。
其中需要说明的是，通过非极大抑制单元将每个特征层内的检测框依据类别置信度进行降序排序，利用参数COP判断特征层内检测框之间的重叠关系，去除相互重叠的检测框；其中利用参数COP判断特征层内检测框之间的重叠关系包括，在当前特征层内检测框集合中，依照类别置信度排序，依次设定基准框，其余检测框设定为对照框，计算基准框与对照框的参数COP，并根据参数COP与设定阈值的关系，判断基准框与对照框是否存在重叠关系，若COP大于阈值，则表明基准框与对照框相互重叠，将对照框都从当前层检测框集合中去除，若COP小于阈值，则表明无重叠关系，循环迭代直至任意检测框之间无重叠。
参数COP定义为基准框与对照框的重叠区域在对照框中的所占比例，其计算公式表示为如下：
Figure BDA0003057984740000061
其中：M为基准框，Bo为对照框，COP(M,Bo)为基准框与对照框的COP值，cover(M,Bo)为基准框与对照框的重叠区域面积，area(Bo)为对照框面积。
进一步的，在相邻的特征层内检测框之间，非极大抑制单元通过衡量检测框之间的相关性，并据此筛选与保留包含目标信息的检测框。
具体的，检测框之间的相关性即为如果某一特征层内的某个检测框包含目标物体，那么在相邻特征层中，与此检测框相互重叠的检测框也必然包含目标物体或目标物体的一部分，这些检测框都对目标有较好的定位，因此要在相邻特征层中筛选出这类检测框；设定所有特征层内检测框中类别置信度最大的检测框为层间基准框，设定其所在的特征层为基准层，依据层间基准框的所属特征层索引值，判断基准层是否为最低层，若不是最低层则在相邻低层内筛选检测框，并且判断是否为最高层，若不是最高层，则在相邻高层内筛选检测框并输出，进而筛选与保留包含目标信息的检测框。
具体的，(1)输入检测器生成的目标框和检测框的位置坐标至非极大抑制(NonMaximum Suppression，NMS)单元；在本实施例中，共输入1个目标框和3960个检测框，目标框和检测框的位置坐标如下，可视化图像如图6、图7、图8所示。
Figure BDA0003057984740000071
Figure BDA0003057984740000072
(2)通过非极大抑制(NMS)单元执行基于层间覆盖比的非极大抑制策略，去除重叠检测框，保留更多包含目标信息的检测框；在本实施例中，输入的3960个检测框经过基于层间覆盖比的非极大抑制策略处理后共保留1000个检测框。
Figure BDA0003057984740000073
S2：通过样本判定单元筛选和判定负样本、正样本以及半正样本。
样本判定单元主要通过遍历所有检测框与目标框计算COP与面积比，依据COP与面积比的限定条件筛选检测框，判定负样本、正样本以及半正样本，完成检测框与目标框之间的匹配，目标框所匹配的检测框即用以预测该目标框，样本判定单元算法流程如图2所示。
具体的，(1)将所有检测框与目标框输入至样本判定单元，初始化所有检测框为忽略样本，并将其标签设置为-1；
(2)遍历检测框与目标框，计算检测框与目标框的重叠区域在目标框中所占比例COPBGt、检测框与目标框的重叠区域在检测框中所占比例COPGtB和面积比；
根据下式计算检测框与目标框的重叠区域在目标框中所占比例COPBGt：
Figure BDA0003057984740000081
根据下式计算检测框与目标框的重叠区域在检测框中所占比例COPGtB：
Figure BDA0003057984740000082
其中，B代表检测框，Gt代表目标框，SBGt表示检测框与目标框的重叠区域面积，SGt表示目标框面积，SB表示检测框面积。
(3)根据COPBGt的限定条件筛选并判定负样本；
若每个检测框和所有目标框的COPBGt中的最大值低于负样本阈值，则此检测框判定为负样本。
(4)根据COPBGt、COPGtB和面积比的限定条件筛选并判定正样本与半正样本。
①判定正样本：
若每个检测框和所有目标框的COPBGt中的最大值高于正样本阈值(设置正样本阈值为0.5)，或者每个检测框和所有目标框的COPGtB中的最大值高于正样本阈值，并且每个检测框和最大值所对应的目标框的面积比在一级范围内，则判定它为正样本；其中，设置检测框与目标框的面积比一级范围为(0.7～2.4)。
若每个目标框和所有检测框的COPBGt中的最大值所对应的检测框面积比在一级范围内，则判定最大值所对应的检测框为正样本。
②判定半正样本：
若每个检测框和所有目标框的COPBGt中的最大值高于正样本阈值，或者每个检测框和所有目标框的COPGtB中的最大值高于正样本阈值，且它和最大值所对应的目标框的面积比在二级范围内，则它为半正样本；其中，设置面积比二级范围为(0.24～0.7，2.4～3.6)；将正样本与半正样本的类别标签设置为其所匹配的目标框的类别标签。
本实施例的样本判定单元共判定4个正样本、4个半正样本、504个负样本；正样本、半正样本和负样本检测框的位置坐标如下，对应的可视化图像如图9、图10、图11所示。
Figure BDA0003057984740000091
Figure BDA0003057984740000092
Figure BDA0003057984740000093
S3：通过样本采样单元根据设定的正负样本采样比例对负样本、正样本以及半正样本进行采样。
通过样本采样单元，采用随机采样的方法，依照特定正负样本采样比例进行采样；在本实施例中，设置正负样本采样比例为1：3，共采样512个检测框；在采样过程中，应采样正样本128个，实际采样正样本4个，不满足所需，所以进行半正样本补充采样，扩充正样本；正样本与半正样本共采样8个，仍不满足所需，则余下为负样本补充采样。
S4：将全部采样数据输入至损失回归单元，通过损失回归单元进行检测框分类损失训练和检测框定位回归训练，进而扩充正样本。
将所有采样数据输入损失回归单元，具体的，以负样本、正样本以及半正样本作为损失回归单元的输入，采用交叉熵损失函数进行检测框分类损失训练；
以正样本为损失回归单元的输入，采用Smooth L1损失函数进行检测框定位回归训练。
实施例2
为了对本方法中采用的技术效果加以验证说明，本实施例选择最大分配方法和采用本方法进行对比测试，以科学论证的手段对比试验结果，以验证本方法所具有的真实效果。
最大分配方法主要通过遍历检测框与目标框计算IoU，依据IoU筛选检测框，完成检测框与目标框的匹配，判定正负样本；其具体实现方法为：对于每个检测框，如果它和所有目标框的IoU中的最大值低于负样本阈值，则此检测框判定为负样本；对于每个检测框，如果它和所有目标框的IoU中的最大值高于正样本阈值，则此检测框判定为正样本；对于每个目标框，如果它和所有检测框的IoU中的最大值大于最小正样本阈值，则此最大IoU对应检测框也判定为正样本；其余检测框全部舍弃；
最大分配方法具有如下缺点：
(1)IoU不能准确反映检测框与目标框之间的重叠程度。
对于包含部分目标信息的小面积检测框，由于其计算所得IoU低于正样本阈值但仍高于负样本阈值，使其不能被分配，而成为忽略样本。
(2)当某个目标框与所有检测框的IoU均小于最小正样本阈值时，将不会被分配检测框，导致没有检测框对其进行预测，此部分目标框会成为忽略区域。
(3)判定的正样本数量较少，负样本数量较多，存在正负样本不均衡的问题，影响目标分类准确度。
为了验证本发明技术方案的有效性，分别将本方法与最大分配方法在实际缺陷样本中进行训练与测试，对比测试结果。
实验使用的硬件配置为Intel Xeon Silver 4210CPU、NVIDIA GeForceRTX2080Ti GPU；软件环境为Ubuntu20.04系统，Pytorch1.7.1和Python3.7作为深度学习环境，采用深度学习目标检测工具箱mmdetection为平台，搭建Faster RCNN目标检测模型。实验数据集共包含8个缺陷类别的5000个缺陷样本，8个类别缺陷名称为：“Foreign_M”、“Gold_P”、“Incomplete_B”、“Lump_OR_Nodule”、“Raw_M”、“Residue”、“Scratch_B”、“UBM”；数据集采用MS COCO数据集格式，其中训练集包含4500个样本，测试集包含500个样本；训练模型输入样本均为512*512像素，初始学习率为0.0025，模型训练24个Epoch，Batch size为2，iter为54000。
其中需要说明的是，Epoch表示使用训练集的全部数据对模型进行一次完整训练，称为一代训练；Batch表示使用训练集中的一部分样本对模型进行训练，这一部分样本称为一批Batch数据；Batch size为单个Batch中的样本数量；iter(iteration)表示使用一个Batch数据对模型进行一次参数更新的过程，称为一次迭代；AP(Average Precision)，APat IoU＝0.5:0.05:0.95，MS COCO数据集目标检测评估指标，表示单类标签平均的准确率；mAP(mean Average Precision)表示所有类标签的平均准确率。
本方法(ours)与最大分配方法(MaxIoUAssign)基于数据集训练集的模型训练结果如图12、图13、图14所示。
如图12所示，图中灰色曲线与黑色曲线分别代表本方法与最大分配方法在训练过程中分类损失的收敛变化过程，从图中可以看出，迭代过程中，本方法与最大分配方法的分类损失都在收敛，但本方法的分类损失收敛速度明显较快。
如图13所示，图中灰色曲线与黑色曲线分别代表本方法与最大分配方法在训练过程中定位损失的收敛变化过程，从图中可以看出，本方法的定位损失收敛效果好于最大分配方法。
如图14所示，图中灰色曲线与黑色曲线分别代表本方法与最大分配方法在训练过程中的平均准确率(mAP)变化图；从图中可以看出，模型训练模过程中，平均准确率不断提高并趋于稳定，且本方法的平均准确率明显高于最大分配方法。
本方法与最大分配方法基于数据集测试集的检测结果如表1、图15所示。
表1：基于数据集测试集的检测平均准确率对比(％)。
最大分配方法 本方法
Foreign_M 66.4 65.1
Gold_P 54.3 60.0
Incomplete_B 70.9 78.1
Lump_OR_Nodule 76.6 76.5
Raw_M 54.7 54.9
Residue 69.8 74.0
Scratch_B 55.9 78.9
UBM 60.3 56.3
mAP 63.6 68.0
由表1和图15可看出，本方法较好地提升了“Gold_P”、“Incomplete_B”、“Residue”和“Scratch_B”四类缺陷的检测准确率，同时，本方法的平均准确率高于最大分配方法，这表明本方法对缺陷类别判定的准确度有较好的提升。
应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (9)

1.一种用于表面缺陷检测的正样本扩充方法，其特征在于：包括，
将检测器生成的目标框和检测框的位置坐标输入至非极大抑制单元，通过所述非极大抑制单元去除重叠检测框，保留包含目标信息的检测框；
通过样本判定单元筛选和判定负样本、正样本以及半正样本；
通过样本采样单元根据设定的正负样本采样比例对所述负样本、正样本以及半正样本进行采样；
将全部采样数据输入至损失回归单元，通过所述损失回归单元进行检测框分类损失训练和检测框定位回归训练，进而扩充所述正样本。
2.如权利要求1所述的用于表面缺陷检测的正样本扩充方法，其特征在于：所述非极大抑制单元包括，
所述非极大抑制单元在每个特征层内的检测框之间，通过执行非极大抑制策略，以去除所述重叠检测框；
而后在相邻的特征层内检测框之间，所述非极大抑制单元通过衡量检测框之间的相关性，并据此筛选与保留所述包含目标信息的检测框。
3.如权利要求2所述的用于表面缺陷检测的正样本扩充方法，其特征在于：所述样本判定单元包括，
将所有检测框与目标框输入至所述样本判定单元，初始化所有检测框为忽略样本；
遍历所述检测框与目标框，计算检测框与目标框的重叠区域在目标框中所占比例COPBGt、检测框与目标框的重叠区域在检测框中所占比例COPGtB和面积比；
根据COPBGt的限定条件筛选并判定所述负样本；
根据COPBGt、COPGtB和面积比的限定条件筛选并判定所述正样本与所述半正样本。
4.如权利要求3所述的用于表面缺陷检测的正样本扩充方法，其特征在于：计算所述COPBGt和COPGtB包括，
根据下式计算所述检测框与目标框的重叠区域在目标框中所占比例COPBGt：
Figure FDA0003057984730000011
根据下式计算检测框与目标框的重叠区域在检测框中所占比例COPGtB：
Figure FDA0003057984730000012
其中，B代表检测框，Gt代表目标框，SBGt表示检测框与目标框的重叠区域面积，SGt表示目标框面积，SB表示检测框面积。
5.如权利要求3所述的用于表面缺陷检测的正样本扩充方法，其特征在于：所述COPBGt的限定条件包括，
若每个检测框和所有目标框的COPBGt中的最大值低于负样本阈值，则此检测框判定为所述负样本。
6.如权利要求5所述的用于表面缺陷检测的正样本扩充方法，其特征在于：判定所述正样本包括，
若每个检测框和所有目标框的COPBGt中的最大值高于正样本阈值，或者所述每个检测框和所有目标框的COPGtB中的最大值高于所述正样本阈值，并且所述每个检测框和最大值所对应的目标框的面积比在一级范围内，则判定它为所述正样本；
若每个目标框和所有检测框的COPBGt中的最大值所对应的检测框面积比在所述一级范围内，则判定最大值所对应的检测框为正样本。
7.如权利要求3或6所述的用于表面缺陷检测的正样本扩充方法，其特征在于：判定所述半正样本包括，
若所述每个检测框和所有目标框的COPBGt中的最大值高于所述正样本阈值，或者所述每个检测框和所有目标框的COPGtB中的最大值高于所述正样本阈值，且它和最大值所对应的目标框的面积比在二级范围内，则它为所述半正样本。
8.如权利要求1或2所述的用于表面缺陷检测的正样本扩充方法，其特征在于：所述采样包括，
所述样本采样单元采用随机采样策略并依照所述设定的正负样本采样比例分别从所有正样本和负样本中采样，若实际正样本数量不满足采样所需正样本数量，则通过半正样本补充正样本数量。
9.如权利要求8所述的用于表面缺陷检测的正样本扩充方法，其特征在于：所述损失回归单元包括，
以所述负样本、正样本以及半正样本作为损失回归单元的输入，采用交叉熵损失函数进行所述检测框分类损失训练；
以所述正样本为损失回归单元的输入，采用Smooth L1损失函数进行所述检测框定位回归训练。
CN202110504902.9A 2021-05-10 2021-05-10 一种用于表面缺陷检测的正样本扩充方法 Active CN113159216B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110504902.9A CN113159216B (zh) 2021-05-10 2021-05-10 一种用于表面缺陷检测的正样本扩充方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110504902.9A CN113159216B (zh) 2021-05-10 2021-05-10 一种用于表面缺陷检测的正样本扩充方法

Publications (2)

Publication Number Publication Date
CN113159216A true CN113159216A (zh) 2021-07-23
CN113159216B CN113159216B (zh) 2023-04-28

Family

ID=76874103

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110504902.9A Active CN113159216B (zh) 2021-05-10 2021-05-10 一种用于表面缺陷检测的正样本扩充方法

Country Status (1)

Country Link
CN (1) CN113159216B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114418898A (zh) * 2022-03-21 2022-04-29 南湖实验室 一种基于目标重叠度计算和自适应调整的数据增强方法
CN114612799A (zh) * 2022-03-11 2022-06-10 应急管理部国家自然灾害防治研究院 基于滑坡/非滑坡面积比的空间自适应正负样本生成方法及系统
CN115205257A (zh) * 2022-07-14 2022-10-18 武昌首义学院 一种基于正样本学习的人造板表面缺陷检测方法及系统
CN117351240A (zh) * 2023-10-12 2024-01-05 北京卓视智通科技有限责任公司 一种正样本采样方法、系统、存储介质和电子设备

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110569699A (zh) * 2018-09-07 2019-12-13 阿里巴巴集团控股有限公司 对图片进行目标采样的方法及装置
CN110826634A (zh) * 2019-11-11 2020-02-21 北京百度网讯科技有限公司 目标检测模型的训练方法、装置、电子设备及存储介质
CN111027547A (zh) * 2019-12-06 2020-04-17 南京大学 一种针对二维图像中的多尺度多形态目标的自动检测方法
CN111611998A (zh) * 2020-05-21 2020-09-01 中山大学 一种基于候选区域面积和宽高的自适应特征块提取方法
CN111860439A (zh) * 2020-07-31 2020-10-30 广东电网有限责任公司 一种无人机巡检图像缺陷检测方法、系统及设备
CN111914727A (zh) * 2020-07-28 2020-11-10 联芯智能(南京)科技有限公司 基于平衡采样与非线性特征融合的小目标人体检测方法
CN112507996A (zh) * 2021-02-05 2021-03-16 成都东方天呈智能科技有限公司 一种主样本注意力机制的人脸检测方法
CN112508090A (zh) * 2020-12-04 2021-03-16 重庆大学 一种外包装缺陷检测方法
CN112598048A (zh) * 2020-12-16 2021-04-02 佛山市南海区广工大数控装备协同创新研究院 一种根据物体的统计特性自适应的选择正负样本的方法
US20210117948A1 (en) * 2017-07-12 2021-04-22 Mastercard Asia/Pacific Pte. Ltd. Mobile device platform for automated visual retail product recognition

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210117948A1 (en) * 2017-07-12 2021-04-22 Mastercard Asia/Pacific Pte. Ltd. Mobile device platform for automated visual retail product recognition
CN110569699A (zh) * 2018-09-07 2019-12-13 阿里巴巴集团控股有限公司 对图片进行目标采样的方法及装置
CN110826634A (zh) * 2019-11-11 2020-02-21 北京百度网讯科技有限公司 目标检测模型的训练方法、装置、电子设备及存储介质
CN111027547A (zh) * 2019-12-06 2020-04-17 南京大学 一种针对二维图像中的多尺度多形态目标的自动检测方法
CN111611998A (zh) * 2020-05-21 2020-09-01 中山大学 一种基于候选区域面积和宽高的自适应特征块提取方法
CN111914727A (zh) * 2020-07-28 2020-11-10 联芯智能(南京)科技有限公司 基于平衡采样与非线性特征融合的小目标人体检测方法
CN111860439A (zh) * 2020-07-31 2020-10-30 广东电网有限责任公司 一种无人机巡检图像缺陷检测方法、系统及设备
CN112508090A (zh) * 2020-12-04 2021-03-16 重庆大学 一种外包装缺陷检测方法
CN112598048A (zh) * 2020-12-16 2021-04-02 佛山市南海区广工大数控装备协同创新研究院 一种根据物体的统计特性自适应的选择正负样本的方法
CN112507996A (zh) * 2021-02-05 2021-03-16 成都东方天呈智能科技有限公司 一种主样本注意力机制的人脸检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ASIF AFZAL等: "Response surface analysis, clustering, and random forest regression of pressure in suddenly expanded high-speed aerodynamic flows" *
王成济: "基于全卷积神经网络的人脸检测方法研究" *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114612799A (zh) * 2022-03-11 2022-06-10 应急管理部国家自然灾害防治研究院 基于滑坡/非滑坡面积比的空间自适应正负样本生成方法及系统
CN114612799B (zh) * 2022-03-11 2022-09-16 应急管理部国家自然灾害防治研究院 基于滑坡/非滑坡面积比的空间自适应正负样本生成方法及系统
CN114418898A (zh) * 2022-03-21 2022-04-29 南湖实验室 一种基于目标重叠度计算和自适应调整的数据增强方法
CN114418898B (zh) * 2022-03-21 2022-07-26 南湖实验室 一种基于目标重叠度计算和自适应调整的数据增强方法
CN115205257A (zh) * 2022-07-14 2022-10-18 武昌首义学院 一种基于正样本学习的人造板表面缺陷检测方法及系统
CN117351240A (zh) * 2023-10-12 2024-01-05 北京卓视智通科技有限责任公司 一种正样本采样方法、系统、存储介质和电子设备
CN117351240B (zh) * 2023-10-12 2024-04-09 北京卓视智通科技有限责任公司 一种正样本采样方法、系统、存储介质和电子设备

Also Published As

Publication number Publication date
CN113159216B (zh) 2023-04-28

Similar Documents

Publication Publication Date Title
CN113159216A (zh) 一种用于表面缺陷检测的正样本扩充方法
CN109977808B (zh) 一种晶圆表面缺陷模式检测与分析方法
US7236623B2 (en) Analyte recognition for urinalysis diagnostic system
CN111814704B (zh) 基于级联注意力与点监督机制的全卷积考场目标检测方法
JP2020501238A (ja) 顔検出トレーニング方法、装置及び電子機器
CN108446616B (zh) 基于全卷积神经网络集成学习的道路提取方法
CN111950488B (zh) 一种改进的Faster-RCNN遥感图像目标检测方法
CN101996405A (zh) 一种快速的玻璃图像缺陷检测及分类方法及其装置
CN113920107A (zh) 一种基于改进yolov5算法的绝缘子破损检测方法
CN112396619B (zh) 一种基于语义分割的内部复杂组成的小型颗粒分割方法
CN111832608A (zh) 一种基于单阶段检测模型yolov3的铁谱图像多磨粒识别方法
CN109584206B (zh) 零件表面瑕疵检测中神经网络的训练样本的合成方法
CN106650823A (zh) 一种基于概率极限学习机集成的泡沫镍表面缺陷分类方法
Lee et al. An adaptive resource-allocating network for automated detection, segmentation, and classification of breast cancer nuclei topic area: image processing and recognition
CN111351860A (zh) 基于Faster R-CNN的木材内部缺陷检测方法
WO2019176989A1 (ja) 検査システム、識別システム、及び学習データ生成装置
CN107193993A (zh) 基于局部学习特征权重选择的医疗数据分类方法及装置
CN112819821A (zh) 一种细胞核图像检测方法
CN112991271A (zh) 基于改进yolov3的铝型材表面缺陷视觉检测方法
CN114565959A (zh) 基于YOLO-SD-Tiny的目标检测方法及装置
CN114972759A (zh) 基于分级轮廓代价函数的遥感图像语义分割方法
CN109859199B (zh) 一种sd-oct图像的淡水无核珍珠质量检测的方法
CN113988222A (zh) 一种基于Faster-RCNN的森林火灾检测与识别方法
CN112927215A (zh) 一种消化道活检病理切片自动分析方法
CN110889418A (zh) 一种气体轮廓识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant