CN112800870B - 一种基于层间覆盖比的非极大抑制方法及系统 - Google Patents

一种基于层间覆盖比的非极大抑制方法及系统 Download PDF

Info

Publication number
CN112800870B
CN112800870B CN202110043146.4A CN202110043146A CN112800870B CN 112800870 B CN112800870 B CN 112800870B CN 202110043146 A CN202110043146 A CN 202110043146A CN 112800870 B CN112800870 B CN 112800870B
Authority
CN
China
Prior art keywords
detection
frame
layer
frames
interlayer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110043146.4A
Other languages
English (en)
Other versions
CN112800870A (zh
Inventor
蒋三新
王新宇
腾繁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Electric Power University
Original Assignee
Shanghai Electric Power University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Electric Power University filed Critical Shanghai Electric Power University
Priority to CN202110043146.4A priority Critical patent/CN112800870B/zh
Publication of CN112800870A publication Critical patent/CN112800870A/zh
Application granted granted Critical
Publication of CN112800870B publication Critical patent/CN112800870B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于层间覆盖比的非极大抑制方法及系统，包括利用非极大抑制去除每个特征层内重叠度较高的检测框；去除后根据相邻特征层内检测框之间的相关性，筛选出能够很好地定位目标的检测框；优化所述筛选出的检测框，并将其输出。先通过层内NMS模块筛除相互重叠的检测框，再通过层间筛选模块筛选出可能识别同一目标物体的检测框，最后优选模块择优保留检测框；利用层间检测框的相关性筛选出可能识别同一目标物体的检测框；保留定位好的若干检测框和类别置信度高的检测框，提升了目标识别准确度和定位准确度。

Description

一种基于层间覆盖比的非极大抑制方法及系统
技术领域
本发明涉及目标检测的技术领域，尤其涉及一种基于层间覆盖比的非极大抑制方法及系统。
背景技术
目标检测是机器视觉领域中的一个基本且具有挑战性的问题。它利用机器视觉设备获取图像来判断采集图像中是否存在目标物体，同时输出检测目标的位置和类别。近些年来，随着深度学习技术的快速发展，以卷积神经网络(CNN)为代表的深度学习模型在目标检测算法中广泛应用。
在当前主流的基于CNN的目标检测方法中，检测器通常会为一个目标物体生成多个检测结果，然后采用非极大抑制(NMS)方法去除错误的检测结果。以Faster R-CNN网络做目标检测为例，Faster RCNN网络在RPN和Fast R-CNN两个阶段中采用NMS相关方法去除冗余检测框。首先，卷积网络做特征提取得到多层不同尺度的特征图，然后通过区域提取网络(RPN)在每层特征图中生成大量可能含有目标的检测框，所有特征层内的检测框经过分类与回归后再通过NMS方法筛选检测框，随后通过Fast R-CNN检测器中的NMS方法精细化去除冗余检测框。然而，NMS方法过于依赖类别置信度，经常导致较好定位检测框的丢失。
发明内容
本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。
鉴于上述现有目标检测存在的问题，提出了本发明。
因此，本发明解决的技术问题是：传统方法只能衡量同一特征层内检测框之间的重叠程度，而无法衡量不同特征层内检测框之间的重叠度；在传统的非极大抑制过程中，部分定位好的检测框常因其类别置信度较低而被筛除并且没有充分利用相邻特征层内检测框之间的相关性，筛选的精确度较低。
为解决上述技术问题，本发明提供如下技术方案：利用非极大抑制去除每个特征层内重叠度较高的检测框；去除后根据相邻特征层内检测框之间的相关性，筛选出能够很好地定位目标的检测框；优化所述筛选出的检测框，并将其输出。
作为本发明所述的基于层间覆盖比的非极大抑制方法的一种优选方案，其中：所述利用非极大抑制去除每个特征层内重叠度较高的检测框包括，将每个特征层内的检测框依据类别置信度进行降序排序，利用参数COP判断所述特征层内检测框之间的重叠关系，去除相互重叠的所述检测框。
作为本发明所述的基于层间覆盖比的非极大抑制方法的一种优选方案，其中：所述利用参数COP判断所述特征层内检测框之间的重叠关系包括，将类别置信度最大的检测框设定为基准框，其余检测框设定为对照框，计算所述基准框与对照框的参数COP，并根据所述参数COP与设定阈值的关系，判断所述基准框与对照框是否存在重叠关系，若所述COP大于阈值，则表明所述基准框与对照框相互重叠，将所述基准框和对照框都从当前层检测框集合中去除同时添加所述基准框到空集合中，若所述COP小于阈值，则表明无重叠关系，将所述基准框从所述当前层检测框集合中去除同时添加所述基准框到所述空集合中。
作为本发明所述的基于层间覆盖比的非极大抑制方法的一种优选方案，其中：所述参数COP包括，所述参数COP定义为所述基准框与对照框的重叠区域在所述对照框中的所占比例，其计算公式表示为如下：
其中：M为基准框，Bo为对照框，COP(M,Bo)为基准框与对照框的COP值，cover(M,Bo)为基准框与对照框的重叠区域面积，area(Bo)为对照框面积。
作为本发明所述的基于层间覆盖比的非极大抑制方法的一种优选方案，其中：所述筛选出能够很好地定位目标的检测框包括，设定所有特征层内检测框中类别置信度最大的检测框为层间基准框，设定其所在的特征层为基准层，依据所述层间基准框的所属特征层索引值，判断所述基准层是否为最低层，若不是最低层则在相邻低层内筛选所述检测框，并且判断是否为最高层，若不是最高层，则在相邻高层内筛选所述检测框并输出。
作为本发明所述的基于层间覆盖比的非极大抑制方法的一种优选方案，其中：所述筛选检测框包括，在层间筛选算法流程中，在所述相邻高层或相邻低层内筛选检测框的流程相同，但是其中用来衡量重叠程度的COP参数的计算方法不同。
作为本发明所述的基于层间覆盖比的非极大抑制方法的一种优选方案，其中：所述筛选检测框的流程包括，设定相邻特征层内检测框为层间对照框，利用参数COP衡量所述层间基准框和层间对照框之间的重叠程度，通过遍历相邻层内所述层间对照框与层间基准框计算所述参数COP，若所述参数COP大于设定阈值，则认为所述层间对照框与层间基准框相重叠，相邻层内所有与所述层间基准框相重叠的所述层间对照框即为想要筛选的能够很好地定位目标的检测框。
作为本发明所述的基于层间覆盖比的非极大抑制方法的一种优选方案，其中：所述在层间筛选中的COP参数包括，所述层间基准框与相邻高层内对照框之间的COP即为所述层间基准框与相邻高层内对照框的重叠区域在对照框中所占比例，其计算公式与判断所述特征层内检测框之间的重叠关系的计算公式相同；所述层间基准框与相邻低层内对照框之间的COP即为所述层间基准框与相邻低层内对照框的重叠区域在基准框中所占比例，其计算公式如下：
其中：M1为层间基准框，Bo1为相邻低层内对照框，COP(M1,Bo1)为层间基准框与相邻低层内对照框的COP值，cover(M1,Bo1)为层间基准框与相邻低层内对照框的重叠区域面积，area(M1)为层间基准框面积。
作为本发明所述的基于层间覆盖比的非极大抑制方法的一种优选方案，其中：其特征在于：所述优化所述筛选出的检测框包括，采用检测框优选方法，对所述筛选出的能够很好地定位目标的检测框以及各层剩余检测框做优化整合，择优保留一定数量的检测框，即若最终需要保留k个检测框，而所述筛选出来的检测框不足k个，那么所述优选方法会优先保留层间筛选出来的具有较好定位的检测框，再将各特征层内剩余检测框依据类别置信度进行综合排序，顺序补足。
作为本发明所述的基于层间覆盖比的非极大抑制系统的一种优选方案，其中：检测框传输模块用于将检测框输入系统以及输出筛选的检测框结果；层内NMS模块连接于所述检测框传输模块，用于对每个特征层内检测框之间独立地执行非极大抑制，去除重叠度较高的检测框；层间筛选模块连接于所述层内NMS模块，接收去除后的检测框结果，并且依据相邻特征层内检测框之间的相关性，筛选出能够很好地定位目标的检测框；优选模块与所述层间筛选模块和检测框传输模块相连接，对所述层间筛选模块筛选出来的具有较好定位的检测框以及各层剩余检测框做优化整合，择优保留一定数量的检测框，并利用所述检测框传输模块输出系统。
本发明的有益效果：先通过层内NMS模块筛除相互重叠的检测框，再通过层间筛选模块筛选出可能识别同一目标物体的检测框，最后优选模块择优保留检测框；利用层间检测框的相关性筛选出可能识别同一目标物体的检测框；保留定位好的若干检测框和类别置信度高的检测框，提升了目标识别准确度和定位准确度。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：
图1为本发明第一个实施例所述的基于层间覆盖比的非极大抑制方法的流程示意图；
图2为本发明第一个实施例所述的基于层间覆盖比的非极大抑制方法的非极大抑制算法流程示意图；
图3为本发明第一个实施例所述的基于层间覆盖比的非极大抑制方法的层间筛选流程示意图；
图4为本发明第一个实施例所述的基于层间覆盖比的非极大抑制方法的IoU计算方法示意图；
图5为本发明第一个实施例所述的基于层间覆盖比的非极大抑制方法的层内基准框与对照框的COP计算方法示意图；
图6为本发明第一个实施例所述的基于层间覆盖比的非极大抑制方法的层间基准框与层间对照框的COP计算示意图；
图7为本发明第一个实施例所述的基于层间覆盖比的非极大抑制方法的检测框优选方法操作示意图；
图8为本发明第二个实施例所述的基于层间覆盖比的非极大抑制方法的检测框筛选过程的实施例图；
图9为本发明第二个实施例所述的基于层间覆盖比的非极大抑制方法的层内筛选过程的实施例图；
图10为本发明第二个实施例所述的基于层间覆盖比的非极大抑制方法的层间筛选过程的实施例图；
图11为本发明第二个实施例所述的基于层间覆盖比的非极大抑制方法的本发明与传统NMS算法检测过程对比图；
图12为本发明第二个实施例所述的基于层间覆盖比的非极大抑制方法的训练过程中模型损失函数损失值(loss)收敛变化图；
图13为本发明第二个实施例所述的基于层间覆盖比的非极大抑制方法的训练过程中平均准确率(AP75)变化图；
图14为本发明第二个实施例所述的基于层间覆盖比的非极大抑制方法的本发明与传统NMS算法对各类别缺陷检测的平均准确率对比图；
图15为本发明第二个实施例所述的基于层间覆盖比的非极大抑制方法的本发明与传统NMS算法的检测性能对比图；
图16为本发明第三个实施例所述的基于层间覆盖比的非极大抑制系统的流程框架图；
图17为本发明第三个实施例所述的基于层间覆盖比的非极大抑制系统的原理图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。
本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。
同时在本发明的描述中，需要说明的是，术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一、第二或第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
本发明中除非另有明确的规定和限定，术语“安装、相连、连接”应做广义理解，例如：可以是固定连接、可拆卸连接或一体式连接；同样可以是机械连接、电连接或直接连接，也可以通过中间媒介间接相连，也可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
实施例1
参照图1～7，为本发明的第一个实施例，该实施例提供了一种基于层间覆盖比的非极大抑制方法，包括：
S1：利用非极大抑制去除每个特征层内重叠度较高的检测框。其中需要说明的是，
参照图2，利用非极大抑制去除每个特征层内重叠度较高的检测框包括，将每个特征层内的检测框依据类别置信度进行降序排序，利用参数COP判断特征层内检测框之间的重叠关系，去除相互重叠的检测框；其中利用参数COP判断特征层内检测框之间的重叠关系包括，将类别置信度最大的检测框设定为基准框，其余检测框设定为对照框，计算基准框与对照框的参数COP，并根据参数COP与设定阈值的关系，判断基准框与对照框是否存在重叠关系，若COP大于阈值，则表明基准框与对照框相互重叠，将基准框和对照框都从当前层检测框集合中去除同时添加基准框到空集合中，若COP小于阈值，则表明无重叠关系，将基准框从当前层检测框集合中去除同时添加基准框到空集合中。
进一步的是，其具体流程可以表示：初始化各特征层内检测框，以最低层作为当前层，设定当前层检测框集合为B，空集合为D，将集合B中检测框依据类别置信度降序排序，设定类别置信度最大的检测框为基准框M，其余检测框为对照框为Bo；计算基准框M与对照框Bo的COP；根据COP与设定阈值的关系，判断基准框M与对照框Bo是否存在重叠关系；若COP大于阈值，则表明基准框M与对照框Bo相互重叠，将基准框M和对照框Bo都从集合B中去除同时添加M到集合D中；若COP小于阈值，则表明无重叠关系，将基准框M从集合B中去除同时添加M到集合D中；再判断集合B是否为空，若不为空，则集合B中检测框循进行类别置信度降序排序以及基准框和对照框重叠度判断直至集合B为空；若为空，则集合D中的检测框替换至当前层内；再判断当前层是否为最高层，若非最高层，则将更新相邻高层为当前层，循环验证空集直至当前层为最高层；若为最高层，则输出各层检测框即为算法在各特征层中想要保留的检测框。
更进一步的是，参数COP定义为基准框与对照框的重叠区域在对照框中的所占比例，其计算公式表示为如下：
其中：M为基准框，Bo为对照框，COP(M,Bo)为基准框与对照框的COP值，cover(M,Bo)为基准框与对照框的重叠区域面积，area(Bo)为对照框面积。
S2：去除后根据相邻特征层内检测框之间的相关性，筛选出能够很好地定位目标的检测框。其中需要说明的是，
筛选出能够很好地定位目标的检测框包括，相邻特征层内检测框之间的相关性即为如果某一特征层内的某个检测框包含目标物体，那么在相邻特征层中，与此检测框相互重叠的检测框也必然包含目标物体或目标物体的一部分，这些检测框都对目标有较好的定位，因此要在相邻特征层中筛选出这类检测框；设定所有特征层内检测框中类别置信度最大的检测框为层间基准框，设定其所在的特征层为基准层，依据层间基准框的所属特征层索引值，判断基准层是否为最低层，若不是最低层则在相邻低层内筛选检测框，并且判断是否为最高层，若不是最高层，则在相邻高层内筛选检测框并输出。
进一步的是，筛选检测框的流程包括，设定相邻特征层内检测框为层间对照框，利用参数COP衡量层间基准框和对照框之间的重叠程度，通过遍历相邻层内对照框与层间基准框计算参数COP，若参数COP大于设定阈值，则认为层间对照框与层间基准框相重叠，相邻层内所有与层间基准框相重叠的层间对照框即为想要筛选的能够很好地定位目标的检测框。
参照图3，其具体可以表示为：对各特征层内检测框进行筛选，设定所有特征层内检测框中类别置信度最大的检测框为层间基准框为M1，设定M1所在特征层为层间基准层记为L；依据层间基准框的所属特征层索引值，判断基准层L是否为最底层，如果L不是最低层，则在相邻低层内筛选检测框后判断其是否为最高层，如果L是最低层，则在相邻高层内筛选检测框后直接执行筛选判断；依据层间基准框的所属特征层索引值，判断基准层L是否为最高层，如果L不是最高层，则在相邻高层内筛选检测框后进行筛选判断，如果L是最高层，则直接执行筛选判断；判断检测框是否筛选充分，如果满足，则输出集合D中的检测框以及各层剩余检测框，反之则重新依据特征进行基准层判断，继续筛选直至满足。
在层间筛选中的COP参数包括，其中在层间筛选算法流程中，在相邻高层或相邻低层内筛选检测框的流程相同，但是其中用来衡量重叠程度的COP参数的计算方法不同；层间基准框与相邻高层内对照框之间的COP即为层间基准框与相邻高层内对照框的重叠区域在对照框中所占比例，其计算公式与判断特征层内检测框之间的重叠关系的计算公式相同；层间基准框与相邻低层内对照框之间的COP即为层间基准框与相邻低层内对照框的重叠区域在基准框中所占比例，其计算公式如下：
其中：M1为层间基准框，Bo1为相邻低层内对照框，COP(M1,Bo1)为层间基准框与相邻低层内对照框的COP值，cover(M1,Bo1)为层间基准框与相邻低层内对照框的重叠区域面积，area(M1)为层间基准框面积。
S3：优化筛选出的检测框，并将其输出。其中需要说明的是，
优化筛选出的检测框包括，采用检测框优选方法，对筛选出的能够很好地定位目标的检测框以及各层剩余检测框做优化整合，择优保留一定数量的检测框，即若最终需要保留k个检测框，而筛选出来的检测框不足k个，那么优选方法会优先保留层间筛选出来的具有较好定位的检测框，再将各特征层内剩余检测框依据类别置信度进行综合排序，顺序补足。
非极大抑制算法(NMS)，其本质思想是不断通过迭代，搜素局部最大值，抑制非极大值，当前NMS算法对特征提取后得到的多个特征层内检测框分别进行非极大抑制，以类别置信度(score)为标准，采用参数IoU衡量检测框之间的重叠程度，通过不断迭代搜素局部最佳检测框，去除与其相重叠的检测框，其中，IoU的定义为两个检测框的交集面积与并集面积的比值，IoU计算公式如下：
其中：IoU(a,b)为检测框a与检测框b的IoU值，cover(a,b)为检测框a与检测框b的重叠区域面积，即检测框交集区域面积，area(a)+area(b)-cover(a,b)为检测框a与检测框b所覆盖区域面积，即检测框并集区域面积。
而本发明提出的基于层间覆盖比的非极大抑制方法，应用于NMS过程，即对从多个特征层中提取的检测框采用基于层间覆盖比的非极大抑制算法进行重叠筛选，本方法对特征层内检测框的非极大抑制做了改进，并利用相邻特征层内检测框之间的相关性筛选出定位较好的检测框，提升了目标识别准确度和定位准确度。
实施例2
参照图8～15，为本发明的第二个实施例，为了更好地对本发明方法中采用的技术所产生的效果加以验证说明，本实施例中以“Raw_M”缺陷为示例详细介绍其检测过程，其中“Raw_M”缺陷样本为512*512像素，输入3960个检测框进行测试，以科学论证的手段验证本方法所具有的真实效果。
本实施例共输入3960个检测框，检测框的位置坐标、类别置信度及特征层索引如下所示：
3960个检测框的位置坐标为：
[[236.3647,236.8190,262.8875,289.1930],
[234.3439,237.1696,259.7005,288.6403],
[235.1605,234.3348,257.9639,281.9543],
[231.1362,327.7209,512.0000,512.0000],
[218.6614,298.6962,512.0000,512.0000],
[245.5270,151.2829,512.0000,512.0000]]
类别置信度为：
[0.0090,0.0086,0.0073,…,0.0008,0.0002,0.0007]
特征层索引为：
[0,0,0,...,4,4,4]
利用非极大抑制以及参数COP的计算，在每个特征层内检测框之间独立地执行非极大抑制，将输入的3960个检测框经过层内非极大抑制去除重叠度较高的检测框后保留1246个检测框，其1246个检测框的位置坐标、类别置信度及特征层索引如下：
1246个检测框的位置坐标：
[[236.36475,236.81895,262.88754,289.19296],
[234.76596,237.54350,266.50568,296.14816],
[231.64955,234.90323,253.96010,280.28732],
…
[0.00000,0.00000,110.64648,512.00000],
[0.00000,132.10852,452.22675,445.20813],
[5.48816,331.80557,509.55719,512.00000]]
类别置信度为：
[0.00904,0.00605,0.00493,…,0.00046,0.00044,0.00040]
特征层索引为：
[0,0,0,…,4,4,4]
再进行层间筛选，在相邻特征层内的检测框中筛选出识别同一缺陷的检测框，在本实施例中，输入的1246个检测框经过层间筛选处理后保留了569个检测框，569个检测框的位置坐标和类别置信度如下：
569个检测框的位置坐标为：
[[216.16052,237.16942,286.95758,320.12738],
[236.36475,236.81895,262.88754,289.19296],
[234.76596,237.54350,266.50568,296.14816],
…
[0.00000,0.00000,208.69370,134.04202],
[394.88727,24.94418,444.80627,315.16116],
[157.03273,0.00000,216.66765,233.24025]]
类别置信度为：
[0.99987,0.00904,0.00605,…,0.00454,0.00447,0.00444]
再进行优选，本实施例中，最终希望保留1000个检测框，因此优先保留层间筛选处理后的569个检测框，再将各特征层内层剩余检测框依据类别置信度(score)降序排序，取前431个检测框进行补足，其431个检测框的位置坐标和类别置信度为：
431个检测框的位置坐标为：
[[200.35023,209.31583,304.52057,373.70029],
[233.93610,288.60861,279.98779,384.85989],
[233.36807,263.13565,281.11545,378.43881],
…
[238.10957,324.62857,279.12439,374.63412],
[195.70993,282.07721,329,70761,377.56702],
[110.62648,111.35147,160.48531,371.99231]]
类别置信度为：
[0.99985,0.91203,0.72815,…,0.00269,0.00267,0.00262]
最终保留了具有较好缺陷定位和具有较高类别置信度的1000个检测框。
在进行层内检测框之间独立地执行非极大抑制时，其过程参照图9，输入3960个检测框，输入检测框的可视化图参照图8，将参数COP阈值设定为0.85，独立地在每个特征层内检测框之间不断迭代计算类别置信度最大检测框与其余检测框的COP，去除COP大于0.7的相应检测框，最终第0特征层至第4特征层内保留的检测框数目依次为373、257、391、201、24个，共保留1246个检测框，各特征层内保留的检测框的位置坐标和类别置信度如下：第0特征层内保留的373个检测框的位置坐标：
[[236.36475,236.81895,262.88754,289.19296],
[234.76596,237.54350,266.50568,296.14816],
[231.64955,234.90323,253.96010,280.28732],
…
[209.71381,248.70343,244.84338,269.39227],
[261.03119,207.68375,277.83496,244.88153],
[209.86159,252.53583,248.26134,275.02008]]
第0特征层内保留的373个检测框的类别置信度：
[0.00904,0.00605,0.00493,…,0.00020,0.00020,0.00020]第1特征层内保留的257个检测框的位置坐标：
[[216.16052,237.16942,286.95758,320.12738],
[225.73813,236.30600,292.49893,328.87497],
[208.99963,234.19269,266.05518,323.61353],
…
[197.59120,270.57562,237.87248,380.86554],
[116.62439,8.39557,152.10269,169.73045],
[41.23859,324.12283,76.07360,512.00000]]
第1特征层内保留的257个检测框的类别置信度：
[0.99987,0.56459,0.28764,…,0.00013,0.00013,0.00013]
第2特征层内保留的391个检测框的位置坐标：
[[213.02657,235.52304,294.55692,323.63022],
[209.92186,227.61676,294.90549,327.30243],
[211.67551,216.84619,287.05002,343.38690],
…
[58.55631,160.58572,174.86592,260.79993],
[309.88165,303.96396,423.57727,400.40176],
[274.79019,159.12787,367.56601,274.45007]]
第2特征层内保留的391个检测框的类别置信度：
[0.98981,0.97089,0.66937,…,0.00027,0.00027,0.00027]
第3特征层内保留的201个检测框的位置坐标：
[[135.72954,72.33498,296.33673,406.47668],
[68.16189,57.25801,241.78204,400.81683],
[95.21915,53.02600,274.35001,413.62543],
…
[285.43457,335.81152,512.00000,473.03644],
[340.28415,0.00000,497.08627,217.85367],
[316.65665,0.00000,511.26865,191.55612]]
第3特征层内保留的201个检测框的类别置信度：
[0.00710,0.00607,0.00595,…,0.00000,0.00000,0.00000]
第4特征层内保留的24个检测框的位置坐标：
[[0.00000,0.00000,145.80496,260.01291],
[0.00000,0.00000,208.69370,134.04202],
[27.06665,0.00000,335.06653,512.00000],
…
[0.00000,0.00000,110.64648,512.00000],
[0.00000,132.10852,452.22675,445.20813],
[5.48816,331.80557,509.55719,512.00000]]
第4特征层内保留的24个检测框的类别置信度：
[0.00676,0.00454,0.00330,…,0.00046,0.00044,0.00040]
进行层间筛选时，在相邻特征层内的检测框中筛选出识别同一缺陷的检测框，层间筛选过程可视化参照图10，对层内去除后剩余的1246个检测框进行层间筛选，输入检测框的可视化图参照图8，将层间筛选算法的COP阈值设定为0.85，共迭代100次，计算类别置信度最大检测框与相邻特征层内检测框的COP，COP值大于0.8的相应预测框即为识别出同一缺陷的检测框，将其保留，最终第0层至第4层内保留的检测框数目分别为68、274、81、145、0个，共保留569个检测框，各特征层内保留的检测框的位置坐标和类别置信度如下：
第0特征层内保留的68个检测框的位置坐标：
[[229.04149,0.00000,385.09961,225.95569],
[185.76953,0.00000,331.51849,229.01085],
[193.48950,0.00000,363.60126,204.26787],
…
[340.28415,0.00000,497.08627,217.85367],
[87.37025,200.74146,245.69106,512.00000],
[0.00000,0.00000,208.69370,134.04202]]
第0特征层内保留的68个检测框的类别置信度：
[0.00262,0.00013,0.00003,…,0.00000,0.00020,0.00454]
第1特征层内保留的274个检测框的位置坐标：
[[216.16052,237.16942,286.95758,320.12738],
[213.02657,235.52304,294.55692,323.63022],
[209.92186,227.61676,294.90549,327.30243],
…
[64.33609,7.90492,119.94847,295.73914],
[394.88727,24.94418,444.80627,315.16116],
[157.03273,0.00000,216.66765,233.24025]]
第1特征层内保留的274个检测框的类别置信度：
[0.99987,0.98981,0.97089,…,0.00460,0.00447,0.00444]
第2特征层内保留的81个检测框的位置坐标：
[[236.36475,236.81895,262.88754,289.19296],
[234.76596,237.54350,266.50568,296.14816],
[245.56721,232.51057,268.82010,281.58395],
…
[199.21074,58.83282,248.97899,117.46243],
[192.45187,231.65588,235.98578,324.42413],
[500.97702,177.28355,512.00000,354.39417]]
第2特征层内保留的81个检测框的类别置信度：
[0.00904,0.00605,0.00354,…,0.00020,0.00487,0.00456]
第3特征层内保留的145个检测框的位置坐标：
[[231.64955,234.90323,253.96010,280.28732],
[227.93140,234.19865,249.96381,278.68396],
[232.87776,244.34694,271.81155,265.73370],
…
[190.42999,231.74191,220.59836,248.59830],
[193.58142,258.71988,209.47754,304.48166],
[188.10516,238.97112,216.28955,256.65601]]
第3特征层内保留的145个检测框的类别置信度：
[0.00493,0.00372,0.00368,…,0.00023,0.00023,0.00020]
第4特征层内没有保留检测框。
为了证明本发明的有益效果，分别将本发明技术方案与当前多类别NMS算法在实际缺陷样本中进行训练与测试，NMS算法进行非极大抑制处理时，是在每个特征层内的检测框之间执行非极大抑制去除冗余框，没有考虑到相邻特征层内检测框之间的相关性，无法保留缺陷的定位较好但类别置信度低的检测框。
参照图11，为本发明方法与NMS算法的缺陷检测过程对比，在进行实验时使用的硬件配置为Intel Xeon Silver 4210CPU、NVIDIA GeForce RTX 2080Ti GPU，其软件环境是Ubuntu20.04系统，将Pytorch1.7.1和Python3.7作为深度学习环境，采用深度学习目标检测工具箱mmdetection为平台，搭建Faster RCNN目标检测模型，实验数据集分为8个缺陷类别的2223个缺陷样本，8个类别缺陷名称为：“Foreign_M”、“Gold_P”、“Incomplete_B”、“Lump_OR_Nodule”、“Raw_M”、“Residue”、“Scratch_B”、“UBM”，数据集采用MS COCO数据集格式，其中训练集包含2048个样本，测试集包含175个样本，训练模型输入样本均为512*512像素，初始学习率为0.0025，模型训练迭代24次，分别用两种方法对数据集训练集进行测试，其结果如下表1所示：
表1：算法性能对比。
/>
同时参照12～15，可以看出在图12中，浅色和深色曲线分别表示本发明方法与NMS算法在训练过程中模型损失函数损失值的收敛变化过程中，在0至10000次迭代过程中出现了小幅度波动,训练过程后期趋于稳定，且本发明技术方案的损失函数损失值收敛效果好于当前NMS算法；在图13中，浅色和深色曲线分别表示本发明方法与NMS算法在训练过程中的平均准确率变化，平均准确率的评估指标为AP75，在训练过程中，随着迭代次数的增加，模型的平均准确率不断提高，训练过程后期趋于稳定，且本发明技术方案的平均准确率高于当前NMS算法；在图14和图15中，对两种方法进行新能评估，其评估指标分别采用AP、AP50、AP75，可以看出本发明较好地改善了“Incomplete_B”、“Residue”、“UBM”三类缺陷的检测效果，并且本发明的性能评估指标AP、AP50、AP75均高于当前NMS算法，对缺陷目标的检测准确度有较好的提升。
通过将本发明技术方案和当前NMS算法在“Raw”缺陷样本中的检测过程相对比可以发现，当前NMS算法仅在每个特征层内的检测框之间执行非极大抑制去除冗余框，没有考虑到相邻特征层内检测框之间的相关性，同时部分对缺陷的定位较好但类别置信度低的检测框在筛选过程中会被去除，而本发明中的层间筛选模块算法充分利用相邻特征层内检测框之间的相关性，筛选出相邻特征层内识别同一缺陷目标的检测框，优选模块算法对其优先保留，有效地保留了更多定位较好和类别置信度较高的检测框。
实施例3
参照图16～17，为本发明的第三个实施例，该实施例提供了一种基于层间覆盖比的非极大抑制系统，包括检测框传输模块100、层内NMS模块200、层间筛选模块300以及优选模块400。
其中检测框传输模块100用于将检测框输入系统以及输出筛选的检测框结果；层内NMS模块200连接于检测框传输模块100，用于对每个特征层内检测框之间独立地执行非极大抑制，去除重叠度较高的检测框；层间筛选模块300连接于层内NMS模块200，接收去除后的检测框结果，并且依据相邻特征层内检测框之间的相关性，筛选出能够很好地定位目标的检测框；优选模块400与层间筛选模块300和检测框传输模块100相连接，对层间筛选模块300筛选出来的具有较好定位的检测框以及各层剩余检测框做优化整合，择优保留一定数量的检测框，并利用检测框传输模块100输出系统。
不难理解的是，本实施例中所提供的系统，其涉及检测框传输模块100、层内NMS模块200、层间筛选模块300以及优选模块400，例如可以是运行在计算机可读程序，通过提高各模块的程序数据接口实现。
应当认识到，本发明的实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。方法可以使用标准编程技术-包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现，其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。
此外，可按任何合适的顺序来执行本文描述的过程的操作，除非本文另外指示或以其他方式明显地与上下文矛盾。本文描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。计算机程序包括可由一个或多个处理器执行的多个指令。
进一步，方法可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、RAM、ROM等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文步骤的指令或程序时，本文的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明的方法和技术编程时，本发明还包括计算机本身。计算机程序能够应用于输入数据以执行本文的功能，从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中，转换的数据表示物理和有形的对象，包括显示器上产生的物理和有形对象的特定视觉描绘。
如在本申请所使用的，术语“组件”、“模块”、“系统”等等旨在指代计算机相关实体，该计算机相关实体可以是硬件、固件、硬件和软件的结合、软件或者运行中的软件。例如，组件可以是，但不限于是：在处理器上运行的处理、处理器、对象、可执行文件、执行中的线程、程序和/或计算机。作为示例，在计算设备上运行的应用和该计算设备都可以是组件。一个或多个组件可以存在于执行中的过程和/或线程中，并且组件可以位于一个计算机中以及/或者分布在两个或更多个计算机之间。此外，这些组件能够从在其上具有各种数据结构的各种计算机可读介质中执行。这些组件可以通过诸如根据具有一个或多个数据分组(例如，来自一个组件的数据，该组件与本地系统、分布式系统中的另一个组件进行交互和/或以信号的方式通过诸如互联网之类的网络与其它系统进行交互)的信号，以本地和/或远程过程的方式进行通信。
应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (6)

1.一种基于层间覆盖比的非极大抑制方法，其特征在于：包括，
利用非极大抑制去除每个特征层内重叠度较高的检测框；
去除后根据相邻特征层内检测框之间的相关性，筛选出能够很好地定位目标的检测框；
利用参数COP判断所述特征层内检测框之间的重叠关系包括，
将类别置信度最大的检测框设定为基准框，其余检测框设定为对照框，计算所述基准框与对照框的参数COP，并根据所述参数COP与设定阈值的关系，判断所述基准框与对照框是否存在重叠关系，若所述COP大于阈值，则表明所述基准框与对照框相互重叠，将所述基准框和对照框都从当前层检测框集合中去除同时添加所述基准框到空集合中，若所述COP小于阈值，则表明无重叠关系，将所述基准框从所述当前层检测框集合中去除同时添加所述基准框到所述空集合中；
所述参数COP包括，
所述参数COP定义为所述基准框与对照框的重叠区域在所述对照框中的所占比例，其计算公式表示为如下：
其中：M为基准框，Bo为对照框，COP(M,Bo)为基准框与对照框的COP值，cover(M,Bo)为基准框与对照框的重叠区域面积，area(Bo)为对照框面积；
所述筛选出能够很好地定位目标的检测框包括，
设定所有特征层内检测框中类别置信度最大的检测框为层间基准框，设定其所在的特征层为基准层，依据所述层间基准框的所属特征层索引值，判断所述基准层是否为最低层，若不是最低层则在相邻低层内筛选所述检测框，并且判断是否为最高层，若不是最高层，则在相邻高层内筛选所述检测框并输出；
优化筛选出的检测框，并将其输出；
所述优化所述筛选出的检测框包括，
采用检测框优选方法，对所述筛选出的能够很好地定位目标的检测框以及各层剩余检测框做优化整合，择优保留一定数量的检测框，即若最终需要保留k个检测框，而所述筛选出来的检测框不足k个，那么所述优选方法会优先保留层间筛选出来的具有较好定位的检测框，再将各特征层内剩余检测框依据类别置信度进行综合排序，顺序补足。
2.如权利要求1所述的基于层间覆盖比的非极大抑制方法，其特征在于：
所述利用非极大抑制去除每个特征层内重叠度较高的检测框包括，将每个特征层内的检测框依据类别置信度进行降序排序，利用参数COP判断所述特征层内检测框之间的重叠关系，去除相互重叠的所述检测框。
3.如权利要求1所述的基于层间覆盖比的非极大抑制方法，其特征在于：筛选检测框包括，
在层间筛选算法流程中，在所述相邻高层或相邻低层内筛选检测框的流程相同，但是其中用来衡量重叠程度的COP参数的计算方法不同。
4.如权利要求3所述的基于层间覆盖比的非极大抑制方法，其特征在于：所述筛选检测框的流程包括，
设定相邻特征层内检测框为层间对照框，利用参数COP衡量所述层间基准框和层间对照框之间的重叠程度，通过遍历相邻层内所述层间对照框与层间基准框计算所述参数COP，若所述参数COP大于设定阈值，则认为所述层间对照框与层间基准框相重叠，相邻层内所有与所述层间基准框相重叠的所述层间对照框即为想要筛选的能够很好地定位目标的检测框。
5.如权利要求4所述的基于层间覆盖比的非极大抑制方法，其特征在于：在层间筛选中的COP参数包括，
所述层间基准框与相邻高层内对照框之间的COP即为所述层间基准框与相邻高层内对照框的重叠区域在对照框中所占比例，其计算公式与判断所述特征层内检测框之间的重叠关系的计算公式相同；所述层间基准框与相邻低层内对照框之间的COP即为所述层间基准框与相邻低层内对照框的重叠区域在基准框中所占比例，其计算公式如下：
其中：M1为层间基准框，Bo1为相邻低层内对照框，COP(M1,Bo1)为层间基准框与相邻低层内对照框的COP值，cover(M1,Bo1)为层间基准框与相邻低层内对照框的重叠区域面积，area(M1)为层间基准框面积。
6.一种基于层间覆盖比的非极大抑制系统，其特征在于，包括，
检测框传输模块(100)用于将检测框输入系统以及输出筛选的检测框结果；
层内NMS模块(200)连接于所述检测框传输模块(100)，用于对每个特征层内检测框之间独立地执行非极大抑制，去除重叠度较高的检测框；
层间筛选模块(300)用于去除后根据相邻特征层内检测框之间的相关性，筛选出能够很好地定位目标的检测框；
设定所有特征层内检测框中类别置信度最大的检测框为层间基准框，设定其所在的特征层为基准层，依据所述层间基准框的所属特征层索引值，判断所述基准层是否为最低层，若不是最低层则在相邻低层内筛选所述检测框，并且判断是否为最高层，若不是最高层，则在相邻高层内筛选所述检测框并输出；
利用参数COP判断所述特征层内检测框之间的重叠关系包括，
将类别置信度最大的检测框设定为基准框，其余检测框设定为对照框，计算所述基准框与对照框的参数COP，并根据所述参数COP与设定阈值的关系，判断所述基准框与对照框是否存在重叠关系，若所述COP大于阈值，则表明所述基准框与对照框相互重叠，将所述基准框和对照框都从当前层检测框集合中去除同时添加所述基准框到空集合中，若所述COP小于阈值，则表明无重叠关系，将所述基准框从所述当前层检测框集合中去除同时添加所述基准框到所述空集合中；
所述参数COP包括，
所述参数COP定义为所述基准框与对照框的重叠区域在所述对照框中的所占比例，其计算公式表示为如下：
其中：M为基准框，Bo为对照框，COP(M,Bo)为基准框与对照框的COP值，cover(M,Bo)为基准框与对照框的重叠区域面积，area(Bo)为对照框面积；
优选模块(400)用于采用检测框优选方法，对所述筛选出的能够很好地定位目标的检测框以及各层剩余检测框做优化整合，择优保留一定数量的检测框，即若最终需要保留k个检测框，而所述筛选出来的检测框不足k个，那么所述优选方法会优先保留层间筛选出来的具有较好定位的检测框，再将各特征层内剩余检测框依据类别置信度进行综合排序，顺序补足。
CN202110043146.4A 2021-01-13 2021-01-13 一种基于层间覆盖比的非极大抑制方法及系统 Active CN112800870B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110043146.4A CN112800870B (zh) 2021-01-13 2021-01-13 一种基于层间覆盖比的非极大抑制方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110043146.4A CN112800870B (zh) 2021-01-13 2021-01-13 一种基于层间覆盖比的非极大抑制方法及系统

Publications (2)

Publication Number Publication Date
CN112800870A CN112800870A (zh) 2021-05-14
CN112800870B true CN112800870B (zh) 2023-10-31

Family

ID=75810552

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110043146.4A Active CN112800870B (zh) 2021-01-13 2021-01-13 一种基于层间覆盖比的非极大抑制方法及系统

Country Status (1)

Country Link
CN (1) CN112800870B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114140830A (zh) * 2021-12-09 2022-03-04 广东亿云付科技有限公司 一种基于循环肿瘤细胞图像的重复识别抑制方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108960174A (zh) * 2018-07-12 2018-12-07 广东工业大学 一种目标检测结果优化方法及装置
CN111027547A (zh) * 2019-12-06 2020-04-17 南京大学 一种针对二维图像中的多尺度多形态目标的自动检测方法
CN111368600A (zh) * 2018-12-26 2020-07-03 北京眼神智能科技有限公司 遥感图像目标检测识别方法、装置、可读存储介质及设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108960174A (zh) * 2018-07-12 2018-12-07 广东工业大学 一种目标检测结果优化方法及装置
CN111368600A (zh) * 2018-12-26 2020-07-03 北京眼神智能科技有限公司 遥感图像目标检测识别方法、装置、可读存储介质及设备
CN111027547A (zh) * 2019-12-06 2020-04-17 南京大学 一种针对二维图像中的多尺度多形态目标的自动检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
孙世强等.联合特征相似性度量和交并比的检测框优选研究.《电脑知识与技术》.2019,第15卷(第29期),第190-193页. *
改进的非极大值抑制算法的目标检测;赵文清;严海;邵绪强;;中国图象图形学报(第11期);全文 *
联合特征相似性度量和交并比的检测框优选研究;孙世强等;《电脑知识与技术》;20191031;第15卷(第29期);第190-193页 *

Also Published As

Publication number Publication date
CN112800870A (zh) 2021-05-14

Similar Documents

Publication Publication Date Title
WO2022053001A1 (zh) 焊缝内部缺陷智能检测装置、方法及介质
CN110047073B (zh) 一种x射线焊缝图像缺陷定级方法及系统
JP6992475B2 (ja) 情報処理装置、識別システム、設定方法及びプログラム
CN110402487B (zh) 对从晶片检测的缺陷进行分类的方法和装置
JP6896971B2 (ja) 試料の特性評価中にラベル数を決定するための方法および装置
JP6879366B2 (ja) 試料の溶血、黄疸、脂肪血症、又は正常性を検出する方法、装置及び品質チェックモジュール
CN111797890A (zh) 一种用于检测输电线路设备缺陷的方法及系统
CN109767418A (zh) 检査装置、数据生成装置、数据生成方法及存储介质
US20130279794A1 (en) Integration of automatic and manual defect classification
US20130279795A1 (en) Optimization of unknown defect rejection for automatic defect classification
CN110706224B (zh) 基于暗场图像的光学元件弱划痕检测方法、系统和装置
US20220178841A1 (en) Apparatus for optimizing inspection of exterior of target object and method thereof
CN111339891A (zh) 一种图像数据的目标检测方法及相关装置
CN107969148A (zh) 图像分析系统和方法
CN112800870B (zh) 一种基于层间覆盖比的非极大抑制方法及系统
CN114663380A (zh) 一种铝材表面缺陷检测方法、存储介质及计算机系统
CN110660049A (zh) 一种基于深度学习的轮胎缺陷检测方法
CN113609984A (zh) 一种指针式仪表读数识别方法、装置及电子设备
CN112419263B (zh) 一种基于类间覆盖比的多类别非极大抑制方法及系统
CN115861170A (zh) 基于改进yolo v4算法的表面缺陷检测方法
CN117392042A (zh) 缺陷检测方法、缺陷检测设备及存储介质
CN114170168A (zh) 显示模组缺陷检测方法、系统及计算机可读存储介质
CN116363136B (zh) 一种机动车部件自动化生产在线筛选方法及系统
JP5419555B2 (ja) 画像検査装置、画像検査方法および画像検査プログラム
AU2022283636B2 (en) A microfluidic image analysis system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant