CN115082722A - 基于正向样本的设备缺陷检测方法、系统、终端及介质 - Google Patents

基于正向样本的设备缺陷检测方法、系统、终端及介质 Download PDF

Info

Publication number
CN115082722A
CN115082722A CN202211002559.9A CN202211002559A CN115082722A CN 115082722 A CN115082722 A CN 115082722A CN 202211002559 A CN202211002559 A CN 202211002559A CN 115082722 A CN115082722 A CN 115082722A
Authority
CN
China
Prior art keywords
feature
distribution
image
clustering
defect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211002559.9A
Other languages
English (en)
Other versions
CN115082722B (zh
Inventor
杜成龙
张学敏
李孟福
沈建军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Kingscheme Information Technology Co ltd
Original Assignee
Sichuan Kingscheme Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Kingscheme Information Technology Co ltd filed Critical Sichuan Kingscheme Information Technology Co ltd
Priority to CN202211002559.9A priority Critical patent/CN115082722B/zh
Publication of CN115082722A publication Critical patent/CN115082722A/zh
Application granted granted Critical
Publication of CN115082722B publication Critical patent/CN115082722B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于正向样本的设备缺陷检测方法、系统、终端及介质，涉及设备缺陷检测技术领域，其技术方案要点是：基于正向样本对目标设备的待测图进行缺陷对比分析，得到待测图的特征分布图；对特征分布图中的特征点进行聚类分析，确定至少一个聚类中心；以聚类中心为起始点向不同的方向发射集成特征点，得到特征点的主干线分布图；以主干线分布图中聚类中心和各个主干线的分布形态匹配确定目标设备的设备缺陷类型。本发明仅依赖非常容易获取到的无缺陷的正向样本图片，并结合深度学习实例分割出设备主体，排除干扰项后进行设备缺陷检测，克服了深度学习算法对于缺陷样本的深度依赖问题。

Description

基于正向样本的设备缺陷检测方法、系统、终端及介质
技术领域
本发明涉及设备缺陷检测技术领域，更具体地说，它涉及基于正向样本的设备缺陷检测方法、系统、终端及介质。
背景技术
随着变电站智能运检工作的深入推进，使用各种图像采集设备获取图像，并使用基于深度学习的视觉计算模型识别变电站设备缺陷的条件日趋成熟，已呈现机器取代人工巡视的技术发展趋势。
目前，深度学习分为监督学习、半监督学习和非监督学习。（1）监督学习是指从有标记的训练数据中推导出预测函数。有标记的训练数据是指每个训练实例都包括输入和期望的输出。以设备缺陷检测为例，需要收集大量的设备缺陷样本，并人工在每张样本中标注出具体缺陷类型和位置，然后进行长时间有监督的训练。监督学习在缺陷样本较多的情况下非常成熟，然而一些设备缺陷样本非常稀缺，如表计外壳破损、表计表盘破损等，针对这类缺陷样本太少无法进行监督学习模型训练，而无缺陷的正向样本获取非常容易。（2）半监督学习是指从少量有标记的训练数据和大量无标注数据中推导出预测函数，依然无法解决设备缺陷稀缺样本的问题。（3）无监督学习是指从无标记且无缺陷的正向样本训练数据中推断结论。其研究的是如何对有限的已知数据中的模式进行抽取和表征，然后设计模式检测器，检测和识别任意新观测到的数据中不同于已知的数据或特征模式，要求在没有任何关于异常的先验知识下，能够轻易地检测和识别出新数据中的新颖或异常模式。针对无监督图像异常检测与识别问题，已有许多学者提出了多种基于深度学习的检测方法，如密度估计，图像重构，一类分类及自监督分类方法等。这些方法大多是针对图像级的检测或分类，其假设异常图像样本往往与正常图像在语义类别或视觉感知上存在显著的差异。比如，如果将语义类别为猫的图像作为正常图像样本，那么所有其他在类别语义上不同于猫的图像都将被视为异常，例如关于类别狗的图像。
目前，出现了很多新颖的图像异常检测与识别算法，但是针对异常与正常图像具有相似的语义类别情形或异常图像与正常图像仅有微小的视觉差异的情形。由于其往往出现于图像中局部有限区域，因此从图像整体或全局来观察时，异常图像与正常图像仅存在细微的视觉差异。在这种异常发生的情况下，现有的图像级异常检测算法通常无法胜任，因为图像级异常检测算法主要关注图像间整体语义或视觉的差异，故其容易忽略这些微小的局部差异。总体来说无监督学习当前针对的就是小场景中的小目标、大场景中的大目标，所以对于变电站内复杂的场景和繁多的设备缺陷检测并不能很好的工作。因此，如何研究设计一种能够克服上述缺陷的基于正向样本的设备缺陷检测方法、系统、终端及介质是我们目前急需解决的问题。
发明内容
为解决现有技术中的不足，本发明的目的是提供基于正向样本的设备缺陷检测方法、系统、终端及介质，仅依赖非常容易获取到的无缺陷的正向样本图片，并结合深度学习实例分割出设备主体，排除干扰项后进行设备缺陷检测，克服了深度学习算法对于缺陷样本的深度依赖问题。
本发明的上述技术目的是通过以下技术方案得以实现的：
第一方面，提供了基于正向样本的设备缺陷检测方法，包括以下步骤：
基于正向样本对目标设备的待测图进行缺陷对比分析，得到待测图的特征分布图；
对特征分布图中的特征点进行聚类分析，确定至少一个聚类中心；
以聚类中心为起始点向不同的方向发射集成特征点，得到特征点的主干线分布图；
以主干线分布图中聚类中心和各个主干线的分布形态匹配确定目标设备的设备缺陷类型。
进一步的，所述特征分布图的获得过程具体为：
采用预训练的实例分割模型分别对正常无缺陷的基准图、待缺陷检测的待测图进行设备主体分割、灰度图预处理以及特征点提取，得到基准图的第一特征集以及待测图的第二特征集；
依据第一特征集、第二特征集进行特征点匹配和图像配准处理，得到配准图；
将配准图与基准图做差分处理，得到差分图；
对差分图进行形态学处理，得到形态图；
依据形态图中的特征轮廓将形态图还原至待测图，得到 待测图的特征分布图。
进一步的，所述实例分割模型的预训练过程具体为：
获取不含缺陷的设备的正向样本；
确定实例分割标准格式，并对正向样本进行标注处理，以确定正向样本中的设备主体和标签；
将标注处理后的正向样本输入神经网络模型进行训练，得到实例分割模型。
进一步的，所述配准图的获得过程具体为：
将第一特征集和第二特征集进行特征点匹配，确定最优匹配点；
依据最优匹配点估算得到图像变换模型；
依据图像变换模型对待测图和最优匹配点进行变化处理，得到配准图。
进一步的，所述主干线分布图的获得过程具体为：
以固定距离为间隔建立覆盖范围序列；
以聚类中心为原点以及以覆盖范围序列中的覆盖范围值为半径建立多个圆形轨迹线；
对特征分布图中处于圆形轨迹线的分布范围内的特征点进行聚类分析，确保聚类后的聚类子中心分布在圆形轨迹线上，得到至少一个聚类子中心；
以聚类中心为起始点，将处于预设夹角范围内不同圆形轨迹线上的聚类子中心依次连接，得到至少一条主干线轨迹；
预设夹角范围为扇形区，且预设夹角范围的分布方向以确保靠近聚类中心的多个圆形轨迹线上均存在聚类子中心进行选取；
将所有的主干线轨迹集成后得到特征点的主干线分布图。
进一步的，所述主干线分布图的获得过程具体为：
以固定距离为间隔建立覆盖范围序列；
以聚类中心为原点以及以覆盖范围序列中的覆盖范围值为半径建立多个圆形轨迹线；
对特征分布图中处于圆形轨迹线的分布范围内的特征点进行聚类分析，确保聚类后的聚类子中心分布在圆形轨迹线上，得到至少一个聚类子中心；
以聚类中心为起始点，将处于预设偏角范围内不同圆形轨迹线上的聚类子中心依次连接，得到至少一条主干线轨迹；
预设偏角范围由预设正偏角值和预设负偏角值确定，并以靠近聚类中心侧的前两个圆形轨迹线上聚类子中心的连线延长线作为表示0偏角值的零界线，同时以前一个圆形轨迹线上聚类子中心作为偏角原点，以及以预设正偏角值、预设负偏角值为偏幅确定当前圆形轨迹线的预设偏角范围；
将所有的主干线轨迹集成后得到特征点的主干线分布图。
进一步的，所述圆形轨迹线的分布范围具体为：
以相邻圆形轨迹线之间的中点线分别确定圆形轨迹线的内侧边界线和外侧边界线；
以内侧边界线和外侧边界线构成的环形区域确定相应圆形轨迹线的分布范围。
第二方面，提供了基于正向样本的设备缺陷检测系统，包括：
对比分析模块，用于基于正向样本对目标设备的待测图进行缺陷对比分析，得到待测图的特征分布图；
聚类分析模块，用于对特征分布图中的特征点进行聚类分析，确定至少一个聚类中心；
特征集成模块，用于以聚类中心为起始点向不同的方向发射集成特征点，得到特征点的主干线分布图；
缺陷匹配模块，用于以主干线分布图中聚类中心和各个主干线的分布形态匹配确定目标设备的设备缺陷类型。
第三方面，提供了一种计算机终端，包含存储器、处理器及存储在存储器并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面中任意一项所述的基于正向样本的设备缺陷检测方法。
第四方面，提供了一种计算机可读介质，其上存储有计算机程序，所述计算机程序被处理器执行可实现如第一方面中任意一项所述的基于正向样本的设备缺陷检测方法。
与现有技术相比，本发明具有以下有益效果：
1、本发明提出的基于正向样本的设备缺陷检测方法，能够在没有异常缺陷图片作为样本来训练深度学习模型时，仅依赖非常容易获取到的无缺陷的正向样本图片，并结合深度学习实例分割出设备主体，排除干扰项后进行设备缺陷检测，克服了深度学习算法对于缺陷样本的深度依赖问题；此外，本发明通过对表示局部差异的特征分布图进行逐层次聚类分析，并依据聚类结果刻画出特征点的分布形态，可依据不同局部差异的分布形态精确确定设备缺陷类型，同时可以有效规避环境因素、杂物附着等因素对设备缺陷检测的干扰，使得设备缺陷检测的结果更加可靠；
2、本发明在设备缺陷检测过程中依次进行设备主体分割、灰度图预处理、特征点提取、差分处理和形态学处理，在仅仅只有正向样本时依据能够准确的识别出细节的特征点，使得整个设备缺陷检测更加精准；
3、本发明以聚类中心为原点，通过在半径不断增大的圆形轨迹线上对所属分布范围内的特征点进行聚类处理，并在预设夹角范围或预设偏角范围的约束下，能够快速刻画出所有特征点的分布细节，使得后期的分布形态匹配更为精准可靠。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：
图1是本发明实施例中的流程图；
图2是本发明实施例中的待测图；
图3是本发明实施例中的差分图；
图4是本发明实施例中的形态图；
图5是本发明实施例中的特征分布图；
图6是本发明实施例中的主干线分布图；
图7是本发明实施例中的系统框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
实施例1：基于正向样本的设备缺陷检测方法，如图1所示，包括以下步骤：
S1：基于正向样本对目标设备的待测图进行缺陷对比分析，得到待测图的特征分布图；
S2：对特征分布图中的特征点进行聚类分析，确定至少一个聚类中心；
S3：以聚类中心为起始点向不同的方向发射集成特征点，得到特征点的主干线分布图；
S4：以主干线分布图中聚类中心和各个主干线的分布形态匹配确定目标设备的设备缺陷类型。
需要说明的是，分布形态匹配时可以采用相似度计算方法进行匹配，相似度计算时可以考虑分支细节的分布方向、分布密度和分布远近等情况。
如图2-图5所示，特征分布图的获得过程具体为：采用预训练的实例分割模型分别对正常无缺陷的基准图、待缺陷检测的待测图进行设备主体分割、灰度图预处理以及特征点提取，得到基准图的第一特征集以及待测图的第二特征集；依据第一特征集、第二特征集进行特征点匹配和图像配准处理，得到配准图；将配准图与基准图做差分处理，得到差分图；对差分图进行形态学处理，得到形态图；依据形态图中的特征轮廓将形态图还原至待测图，得到待测图的特征分布图。需要说明的是，设备主体即为图像识别中感兴趣的区域。
本发明在设备缺陷检测过程中依次进行设备主体分割、灰度图预处理、特征点提取、差分处理和形态学处理，在仅仅只有正向样本时依据能够准确的识别出细节的特征点，使得整个设备缺陷检测更加精准。
实例分割模型的预训练过程具体为：获取不含缺陷的设备的正向样本，每类设备正向样本中需出现大于1000次；确定实例分割标准格式，并对正向样本进行标注处理，以确定正向样本中的设备主体和标签；将标注处理后的正向样本输入神经网络模型进行训练，得到实例分割模型。
在本实施例中，实例分割模型可采用SOLOv2实例分割模型。设定学习率为0.0004，训练迭代轮数为270轮。训练完成后，实例分割模型的准确率为88.62%，召回率 86.27%。
配准图的获得过程具体为：将第一特征集和第二特征集进行特征点匹配 ，确定最优匹配点；依据最优匹配点估算得到图像变换模型；依据图像变换模型对待测图和最优匹配点进行变化处理，得到配准图。
作为一种可选的实施方式，如图6所示，主干线分布图的获得过程具体为：以固定距离为间隔建立覆盖范围序列；以聚类中心为原点以及以覆盖范围序列中的覆盖范围值为半径建立多个圆形轨迹线；对特征分布图中处于圆形轨迹线的分布范围内的特征点进行聚类分析，确保聚类后的聚类子中心分布在圆形轨迹线上，得到至少一个聚类子中心；以聚类中心为起始点，将处于预设夹角范围内不同圆形轨迹线上的聚类子中心依次连接，得到至少一条主干线轨迹；预设夹角范围为扇形区，且预设夹角范围的分布方向以确保靠近聚类中心的多个圆形轨迹线上均存在聚类子中心进行选取；将所有的主干线轨迹集成后得到特征点的主干线分布图。
作为另一种可选的实施方式，主干线分布图的获得过程具体为：以固定距离为间隔建立覆盖范围序列；以聚类中心为原点以及以覆盖范围序列中的覆盖范围值为半径建立多个圆形轨迹线；对特征分布图中处于圆形轨迹线的分布范围内的特征点进行聚类分析，确保聚类后的聚类子中心分布在圆形轨迹线上，得到至少一个聚类子中心；以聚类中心为起始点，将处于预设偏角范围内不同圆形轨迹线上的聚类子中心依次连接，得到至少一条主干线轨迹；预设偏角范围由预设正偏角值和预设负偏角值确定，并以靠近聚类中心侧的前两个圆形轨迹线上聚类子中心的连线延长线作为表示0偏角值的零界线，同时以前一个圆形轨迹线上聚类子中心作为偏角原点，以及以预设正偏角值、预设负偏角值为偏幅确定当前圆形轨迹线的预设偏角范围；将所有的主干线轨迹集成后得到特征点的主干线分布图。
本发明以聚类中心为原点，通过在半径不断增大的圆形轨迹线上对所属分布范围内的特征点进行聚类处理，并在预设夹角范围或预设偏角范围的约束下，能够快速刻画出所有特征点的分布细节，使得后期的分布形态匹配更为精准可靠。
需要说明的是，预设正偏角值和预设负偏角值的绝对值可以相等，也可以不相等，绝对值的大小可以依据特征点的分布密度进行动态调整。例如，分布密度较为稀疏，则绝对值可以调大，分布密度较为密集，则绝对值可以调小。
圆形轨迹线的分布范围具体为：以相邻圆形轨迹线之间的中点线分别确定圆形轨迹线的内侧边界线和外侧边界线；以内侧边界线和外侧边界线构成的环形区域确定相应圆形轨迹线的分布范围。
实施例2：基于正向样本的设备缺陷检测系统，该设备缺陷检测系统用于实现实施例1中所记载的基于正向样本的设备缺陷检测方法，如图7所示，包括对比分析模块、聚类分析模块、特征集成模块和缺陷匹配模块。
其中，对比分析模块，用于基于正向样本对目标设备的待测图进行缺陷对比分析，得到待测图的特征分布图；聚类分析模块，用于对特征分布图中的特征点进行聚类分析，确定至少一个聚类中心；特征集成模块，用于以聚类中心为起始点向不同的方向发射集成特征点，得到特征点的主干线分布图；缺陷匹配模块，用于以主干线分布图中聚类中心和各个主干线的分布形态匹配确定目标设备的设备缺陷类型。
工作原理：本发明能够在没有异常缺陷图片作为样本来训练深度学习模型时，仅依赖非常容易获取到的无缺陷的正向样本图片，并结合深度学习实例分割出设备主体，排除干扰项后进行设备缺陷检测，克服了深度学习算法对于缺陷样本的深度依赖问题；此外，本发明通过对表示局部差异的特征分布图进行逐层次聚类分析，并依据聚类结果刻画出特征点的分布形态，可依据不同局部差异的分布形态精确确定设备缺陷类型，同时可以有效规避环境因素、杂物附着等因素对设备缺陷检测的干扰，使得设备缺陷检测的结果更加可靠。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
以上的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.基于正向样本的设备缺陷检测方法，其特征是，包括以下步骤：
基于正向样本对目标设备的待测图进行缺陷对比分析，得到待测图的特征分布图；
对特征分布图中的特征点进行聚类分析，确定至少一个聚类中心；
以聚类中心为起始点向不同的方向发射集成特征点，得到特征点的主干线分布图；
以主干线分布图中聚类中心和各个主干线的分布形态匹配确定目标设备的设备缺陷类型。
2.根据权利要求1所述的基于正向样本的设备缺陷检测方法，其特征是，所述特征分布图的获得过程具体为：
采用预训练的实例分割模型分别对正常无缺陷的基准图、待缺陷检测的待测图进行设备主体分割、灰度图预处理以及特征点提取，得到基准图的第一特征集以及待测图的第二特征集；
依据第一特征集、第二特征集进行特征点匹配和图像配准处理，得到配准图；
将配准图与基准图做差分处理，得到差分图；
对差分图进行形态学处理，得到形态图；
依据形态图中的特征轮廓将形态图还原至待测图，得到 待测图的特征分布图。
3.根据权利要求2所述的基于正向样本的设备缺陷检测方法，其特征是，所述实例分割模型的预训练过程具体为：
获取不含缺陷的设备的正向样本；
确定实例分割标准格式，并对正向样本进行标注处理，以确定正向样本中的设备主体和标签；
将标注处理后的正向样本输入神经网络模型进行训练，得到实例分割模型。
4.根据权利要求2所述的基于正向样本的设备缺陷检测方法，其特征是，所述配准图的获得过程具体为：
将第一特征集和第二特征集进行特征点匹配 ，确定最优匹配点；
依据最优匹配点估算得到图像变换模型；
依据图像变换模型对待测图和最优匹配点进行变化处理，得到配准图。
5.根据权利要求1所述的基于正向样本的设备缺陷检测方法，其特征是，所述主干线分布图的获得过程具体为：
以固定距离为间隔建立覆盖范围序列；
以聚类中心为原点以及以覆盖范围序列中的覆盖范围值为半径建立多个圆形轨迹线；
对特征分布图中处于圆形轨迹线的分布范围内的特征点进行聚类分析，确保聚类后的聚类子中心分布在圆形轨迹线上，得到至少一个聚类子中心；
以聚类中心为起始点，将处于预设夹角范围内不同圆形轨迹线上的聚类子中心依次连接，得到至少一条主干线轨迹；
预设夹角范围为扇形区，且预设夹角范围的分布方向以确保靠近聚类中心的多个圆形轨迹线上均存在聚类子中心进行选取；
将所有的主干线轨迹集成后得到特征点的主干线分布图。
6.根据权利要求1所述的基于正向样本的设备缺陷检测方法，其特征是，所述主干线分布图的获得过程具体为：
以固定距离为间隔建立覆盖范围序列；
以聚类中心为原点以及以覆盖范围序列中的覆盖范围值为半径建立多个圆形轨迹线；
对特征分布图中处于圆形轨迹线的分布范围内的特征点进行聚类分析，确保聚类后的聚类子中心分布在圆形轨迹线上，得到至少一个聚类子中心；
以聚类中心为起始点，将处于预设偏角范围内不同圆形轨迹线上的聚类子中心依次连接，得到至少一条主干线轨迹；
预设偏角范围由预设正偏角值和预设负偏角值确定，并以靠近聚类中心侧的前两个圆形轨迹线上聚类子中心的连线延长线作为表示0偏角值的零界线，同时以前一个圆形轨迹线上聚类子中心作为偏角原点，以及以预设正偏角值、预设负偏角值为偏幅确定当前圆形轨迹线的预设偏角范围；
将所有的主干线轨迹集成后得到特征点的主干线分布图。
7.根据权利要求5或6所述的基于正向样本的设备缺陷检测方法，其特征是，所述圆形轨迹线的分布范围具体为：
以相邻圆形轨迹线之间的中点线分别确定圆形轨迹线的内侧边界线和外侧边界线；
以内侧边界线和外侧边界线构成的环形区域确定相应圆形轨迹线的分布范围。
8.基于正向样本的设备缺陷检测系统，其特征是，包括：
对比分析模块，用于基于正向样本对目标设备的待测图进行缺陷对比分析，得到待测图的特征分布图；
聚类分析模块，用于对特征分布图中的特征点进行聚类分析，确定至少一个聚类中心；
特征集成模块，用于以聚类中心为起始点向不同的方向发射集成特征点，得到特征点的主干线分布图；
缺陷匹配模块，用于以主干线分布图中聚类中心和各个主干线的分布形态匹配确定目标设备的设备缺陷类型。
9.一种计算机终端，包含存储器、处理器及存储在存储器并可在处理器上运行的计算机程序，其特征是，所述处理器执行所述程序时实现如权利要求1-7中任意一项所述的基于正向样本的设备缺陷检测方法。
10.一种计算机可读介质，其上存储有计算机程序，其特征是，所述计算机程序被处理器执行可实现如权利要求1-7中任意一项所述的基于正向样本的设备缺陷检测方法。
CN202211002559.9A 2022-08-22 2022-08-22 基于正向样本的设备缺陷检测方法、系统、终端及介质 Active CN115082722B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211002559.9A CN115082722B (zh) 2022-08-22 2022-08-22 基于正向样本的设备缺陷检测方法、系统、终端及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211002559.9A CN115082722B (zh) 2022-08-22 2022-08-22 基于正向样本的设备缺陷检测方法、系统、终端及介质

Publications (2)

Publication Number Publication Date
CN115082722A true CN115082722A (zh) 2022-09-20
CN115082722B CN115082722B (zh) 2022-11-01

Family

ID=83245120

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211002559.9A Active CN115082722B (zh) 2022-08-22 2022-08-22 基于正向样本的设备缺陷检测方法、系统、终端及介质

Country Status (1)

Country Link
CN (1) CN115082722B (zh)

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103617618A (zh) * 2013-12-03 2014-03-05 西安电子科技大学 基于特征提取与聚类集成的sar图像分割方法
CN104680140A (zh) * 2015-02-13 2015-06-03 电子科技大学 基于图像的人群聚集状态检测方法
CN107180422A (zh) * 2017-04-02 2017-09-19 南京汇川图像视觉技术有限公司 一种基于词袋特征的标贴破损检测方法
CN107230205A (zh) * 2017-05-27 2017-10-03 国网上海市电力公司 一种基于卷积神经网络的输电线路螺栓检测方法
CN109472770A (zh) * 2018-09-27 2019-03-15 南通大学 一种印刷电路板检测中的图像特征点快速匹配算法
CN110503633A (zh) * 2019-07-29 2019-11-26 西安理工大学 一种基于图像差分的贴花陶瓷盘表面缺陷检测方法
US20200104993A1 (en) * 2018-10-01 2020-04-02 Skc Co., Ltd. Film defect detection method and system
CN111160373A (zh) * 2019-12-30 2020-05-15 重庆邮电大学 一种变速鼓零件缺陷图像特征提取以及检测分类方法
CN111242896A (zh) * 2019-12-31 2020-06-05 电子科技大学 一种彩色印刷标签缺陷检测与质量评级方法
US20210027454A1 (en) * 2019-07-24 2021-01-28 Beijing Boe Optoelectronics Technology Co., Ltd. Method for Defect Classification, Method for Training Defect Classifier, and Apparatus Thereof
CN113066079A (zh) * 2021-04-19 2021-07-02 北京滴普科技有限公司 木材缺陷自动检测方法、系统及其存储介质
CN113466330A (zh) * 2021-07-15 2021-10-01 上海应用技术大学 一种用于涡流探伤过程的缺陷类型识别方法
CN113971649A (zh) * 2020-07-21 2022-01-25 武汉Tcl集团工业研究院有限公司 一种面板缺陷检测模型的生成方法、检测方法及终端设备
CN114022415A (zh) * 2021-10-15 2022-02-08 成都博视广达科技有限责任公司 一种基于单像素特征聚类建立集群的液晶屏缺陷检测方法
CN114299059A (zh) * 2021-12-30 2022-04-08 北京科技大学 一种热轧带钢表面未分类铸坯划伤缺陷的判定方法
CN114862812A (zh) * 2022-05-16 2022-08-05 华中科技大学 基于先验知识的两阶段轨道交通车辆缺陷检测方法和系统
CN114897863A (zh) * 2022-05-26 2022-08-12 科大讯飞华南人工智能研究院（广州）有限公司 一种缺陷的检测方法、装置以及设备
CN114913176A (zh) * 2022-07-18 2022-08-16 江苏启航箱包有限公司 基于人工智能的柔性皮革材料疥癣缺陷检测方法及系统

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103617618A (zh) * 2013-12-03 2014-03-05 西安电子科技大学 基于特征提取与聚类集成的sar图像分割方法
CN104680140A (zh) * 2015-02-13 2015-06-03 电子科技大学 基于图像的人群聚集状态检测方法
CN107180422A (zh) * 2017-04-02 2017-09-19 南京汇川图像视觉技术有限公司 一种基于词袋特征的标贴破损检测方法
CN107230205A (zh) * 2017-05-27 2017-10-03 国网上海市电力公司 一种基于卷积神经网络的输电线路螺栓检测方法
CN109472770A (zh) * 2018-09-27 2019-03-15 南通大学 一种印刷电路板检测中的图像特征点快速匹配算法
US20200104993A1 (en) * 2018-10-01 2020-04-02 Skc Co., Ltd. Film defect detection method and system
US20210027454A1 (en) * 2019-07-24 2021-01-28 Beijing Boe Optoelectronics Technology Co., Ltd. Method for Defect Classification, Method for Training Defect Classifier, and Apparatus Thereof
CN110503633A (zh) * 2019-07-29 2019-11-26 西安理工大学 一种基于图像差分的贴花陶瓷盘表面缺陷检测方法
CN111160373A (zh) * 2019-12-30 2020-05-15 重庆邮电大学 一种变速鼓零件缺陷图像特征提取以及检测分类方法
CN111242896A (zh) * 2019-12-31 2020-06-05 电子科技大学 一种彩色印刷标签缺陷检测与质量评级方法
CN113971649A (zh) * 2020-07-21 2022-01-25 武汉Tcl集团工业研究院有限公司 一种面板缺陷检测模型的生成方法、检测方法及终端设备
CN113066079A (zh) * 2021-04-19 2021-07-02 北京滴普科技有限公司 木材缺陷自动检测方法、系统及其存储介质
CN113466330A (zh) * 2021-07-15 2021-10-01 上海应用技术大学 一种用于涡流探伤过程的缺陷类型识别方法
CN114022415A (zh) * 2021-10-15 2022-02-08 成都博视广达科技有限责任公司 一种基于单像素特征聚类建立集群的液晶屏缺陷检测方法
CN114299059A (zh) * 2021-12-30 2022-04-08 北京科技大学 一种热轧带钢表面未分类铸坯划伤缺陷的判定方法
CN114862812A (zh) * 2022-05-16 2022-08-05 华中科技大学 基于先验知识的两阶段轨道交通车辆缺陷检测方法和系统
CN114897863A (zh) * 2022-05-26 2022-08-12 科大讯飞华南人工智能研究院（广州）有限公司 一种缺陷的检测方法、装置以及设备
CN114913176A (zh) * 2022-07-18 2022-08-16 江苏启航箱包有限公司 基于人工智能的柔性皮革材料疥癣缺陷检测方法及系统

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
MD RASHEDUL ISLAM等: "Detecting and Learning Unknown Fault States by Automatically Finding the Optimal Number of Clusters for Online Bearing Fault Diagnosis", 《APPLIED SCIENCES》 *
TAMÁS CZIMMERMANN等: "Visual-Based Defect Detection and Classification Approaches for Industrial Applications—A SURVEY", 《SENSORS》 *
刘洋: "冷轧带钢表面缺陷在线检测算法的研究与应用", 《中国博士学位论文全文数据库 工程科技I辑》 *
周强等: "基于极坐标计盒维数的圆形通孔缺陷检测", 《陕西科技大学学报(自然科学版)》 *
廖佳乐: "基于机器视觉的光模块底座表面缺陷检测", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
朱冠英: "石英晶片表面在线缺陷检测算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
李捷: "基于机器视觉的贴花陶瓷盘表面缺陷检测方法研究", 《中国优秀硕士学位论文全文数据库 工程科技I辑》 *

Also Published As

Publication number Publication date
CN115082722B (zh) 2022-11-01

Similar Documents

Publication Publication Date Title
CN114549522B (zh) 基于目标检测的纺织品质量检测方法
CN110930357B (zh) 一种基于深度学习的在役钢丝绳表面缺陷检测方法与系统
CN101576956B (zh) 基于机器视觉的在线字符检测方法和系统
CN103279765B (zh) 基于图像匹配的钢丝绳表面损伤检测方法
Liang et al. Defect detection of rail surface with deep convolutional neural networks
CN110992349A (zh) 一种基于深度学习的地下管道异常自动化定位与识别方法
CN110969166A (zh) 一种巡检场景下小目标识别方法和系统
Jiang et al. A machine vision-based realtime anomaly detection method for industrial products using deep learning
Wu et al. Watershed-based morphological separation of wear debris chains for on-line ferrograph analysis
CN108171119B (zh) 基于残差网络的sar图像变化检测方法
CN109871875A (zh) 一种基于深度学习的建筑物变化检测方法
CN113192037A (zh) 一种皮带机监测方法、系统、介质及电子终端
CN110717602B (zh) 一种基于噪音数据的机器学习模型鲁棒性评估方法
CN115019294A (zh) 一种指针式仪表读数识别方法及系统
CN115018790A (zh) 一种基于异常检测的工件表面缺陷检测方法
Peng et al. Semi-supervised bolt anomaly detection based on local feature reconstruction
CN116110006B (zh) 一种用于智慧旅游系统的景区游客异常行为识别方法
CN115082722B (zh) 基于正向样本的设备缺陷检测方法、系统、终端及介质
Khamael et al. Using adapted JSEG algorithm with fuzzy C mean for segmentation and counting of white blood cell and nucleus images
CN114662594B (zh) 一种目标特征识别分析系统
CN114792300A (zh) 一种基于多尺度注意力x光断针检测方法
Evstafev et al. Surface Defect Detection and Recognition Based on CNN
CN111899221A (zh) 一种面向外观缺陷检测的自迁移学习方法
Zhang et al. ECF-STPM: A robust crack detection method for railway catenary components
CN117593300B (zh) 一种pe管材裂纹缺陷检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant