CN113781391A - 图像缺陷检测方法以及相关设备 - Google Patents

图像缺陷检测方法以及相关设备 Download PDF

Info

Publication number
CN113781391A
CN113781391A CN202110882273.3A CN202110882273A CN113781391A CN 113781391 A CN113781391 A CN 113781391A CN 202110882273 A CN202110882273 A CN 202110882273A CN 113781391 A CN113781391 A CN 113781391A
Authority
CN
China
Prior art keywords
image
defect
target detection
model
blocks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110882273.3A
Other languages
English (en)
Inventor
邱瀚
陈晓炬
杜松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Thunder Software Technology Co ltd
Original Assignee
Nanjing Thunder Software Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Thunder Software Technology Co ltd filed Critical Nanjing Thunder Software Technology Co ltd
Priority to CN202110882273.3A priority Critical patent/CN113781391A/zh
Publication of CN113781391A publication Critical patent/CN113781391A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Abstract

本申请公开了一种图像缺陷检测方法以及相关设备。该方法包括：对待检测图像进行分割，得到多个第一图像块；将所述多个第一图像块输入多目标检测模型，得到所述待检测图像的关键点；所述多目标检测模型是根据多个样本训练得到的，其中，所述样本包括包含缺陷区域的缺陷图块以及不包含所述缺陷区域的正常图块，且所述缺陷图块与正常图块的图块数量为预设比例；所述缺陷图块和所述正常图块是从样本图像中分割得到的；基于所述关键点确定所述待检测图像的图像缺陷。通过上述方法，能够快速检测出图像缺陷，并提高检测图像缺陷的准确性。

Description

图像缺陷检测方法以及相关设备
技术领域
本申请属于图像检测技术领域，尤其涉及一种图像缺陷检测及相关设备。
背景技术
由于有问题的产品的图像可能存在很多缺陷，依靠人工检测不仅效率低，还可能出现漏检。因此，采用基于机器视觉的缺陷检测方法检测产品的缺陷。
目前，基于机器视觉的缺陷检测方法一般是利用基于样本集训练出的检测模型对产品图像进行检测的。然而，上述缺陷检测方法存在准确性较差的问题。
发明内容
有鉴于此，本申请实施例提供的一种图像缺陷检测方法及相关设备，能够快速检测出图像缺陷，并提高检测图像缺陷的准确性。
第一方面，本申请实施例提供一种图像缺陷检测方法，所述方法包括：
对待检测图像进行分割，得到多个第一图像块；
将所述多个第一图像块输入多目标检测模型，得到所述待检测图像的关键点；所述多目标检测模型是根据多个样本训练得到的，其中，所述样本包括包含缺陷区域的缺陷图块以及不包含所述缺陷区域的正常图块，且所述缺陷图块与正常图块的图块数量为预设比例；所述缺陷图块和所述正常图块是从样本图像中分割得到的；
基于所述关键点确定所述待检测图像的图像缺陷。
在一些实施例中，所述将所述多个第一图像块输入多目标检测模型，得到所述待检测图像的关键点，包括：
将所述多个第一图像块输入至多目标检测模型，得到与第二图像块对应的热力图，所述第二图像块为所述多个第一图像块中包含图像缺陷的图像块；
将所述热力图中的峰值点作为所述待检测图像的关键点。
在一些实施例中，所述基于所述关键点确定所述待检测图像的图像缺陷，包括：
将所述关键点映射至待检测图像，得到目标检测图像；
对所述目标检测图像中多个关键点进行聚类，得到至少一个图像缺陷对应的缺陷区域；
对所述目标检测图像中的所述缺陷区域进行分割，得到多个第三图像块，所述第三图像块包括所述缺陷区域；
将所述多个第三图像块输入所述多目标检测模型，确定所述待检测图像的图像缺陷。
在一些实施例中，所述对所述目标检测图像中的所述缺陷区域进行分割，获取多个第三图像块，包括：
确定所述目标检测图像中的所述缺陷区域的特征点；
基于所述缺陷区域的特征点，按照所述模型分割尺寸分割所述目标检测图像中的所述缺陷区域，得到多个第三图像块。
在一些实施例中，在所述将所述多个第一图像块输入多目标检测模型，得到所述待检测图像的关键点之前，所述方法还包括：
获取训练数据集，训练数据集包括多个样本图像；
针对每个所述样本图像，对所述样本图像按照所述模型分割尺寸进行分割，得到所述缺陷图块以及所述正常图块；
针对每个所述样本图像，选取图块数量呈所述预设比例的所述缺陷图块以及所述正常图块作为样本；
基于多个所述样本训练多目标检测模型。
在一些实施例中，在所述对所述训练数据集按照模型分割尺寸进行分割，获取所述缺陷图块以及所述正常图块之前，所述方法还包括：
对所述训练数据集中的图像缺陷的边界框进行聚类，得到多个边界框分组；
从所述多个边界框分组中选取所述边界框的种类数量满足预设条件的目标回归框分组；
将所述目标边界框分组中最大边界框的尺寸作为所述模型分割尺寸。
在一些实施例中，所述针对每个所述样本图像，对所述样本图像按照所述模型分割尺寸进行分割，得到所述缺陷图块以及所述正常图块，包括：
针对每个所述样本图像，对所述样本图像中的图像缺陷进行层次聚类，得到多个缺陷分组，所述缺陷分组包括至少一个所述图像缺陷；
基于所述缺陷分组中的特征点，按照所述模型分割尺寸分割所述样本图像中每个缺陷分组对应的缺陷区域，得到多个包含所述缺陷区域的缺陷图块；
按照所述模型分割尺寸分割所述样本图像中除所述缺陷区域外的其它区域，得到多个不包含所述缺陷区域的正常图块。
第二方面，本申请实施例提供了一种图像缺陷检测装置，所述装置包括：
第一图像分割模块，用于对待检测图像进行分割，得到多个第一图像块；
第一输入模块，用于将所述多个第一图像块输入多目标检测模型，得到所述待检测图像的关键点；所述多目标检测模型是根据多个样本训练得到的，其中，所述样本包括包含缺陷区域的缺陷图块以及不包含所述缺陷区域的正常图块，且所述缺陷图块与正常图块的图块数量为预设比例；所述缺陷图块和所述正常图块是从样本图像中分割得到的；
缺陷确定模块，基于所述关键点确定所述待检测图像的图像缺陷。
第三方面，本申请实施例提供了一种电子设备，所述设备包括：处理器以及存储有计算机程序指令的存储器；
所述处理器执行所述计算机程序指令时实现如第一方面所述的图像缺陷检测方法。
第四方面，本申请实施例提供了一种计算机存储介质，所述计算机存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如第一方面所述的图像缺陷方法。
第五方面，本申请实施例提供一种计算机程序产品，包括计算机程序或指令，所述计算机程序或指令被处理器执行时实现如第一方面所述的图像缺陷检测方法。
本申请实施例提供的一种图像缺陷检测、模型训练方法、装置、电子设备、计算机存储介质和计算机程序产品，通过将待检测图像进行分割成小尺寸的第一图像，并将多个第一图像输入至训练好的多目标检测模型，得到待检测图像的关键点，如此，将大尺寸图像分割为小尺寸图像后，输入至多目标检测模型有利于减少模型的显存占用，提高模型检测效率。同时，训练多目标检测模型的样本包括图块数量成预设比例的缺陷图块和正常图块，因此，可以避免由于正负样本不均衡导致的模型不准确的问题。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单的介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为现有技术提供的一种图像缺陷训练和测试方法的原理示意图；
图2为现有技术提供的另一种图像缺陷训练和测试方法的原理示意图；
图3是根据本申请实施例提供的一种图像缺陷检测方法的流程示意图；
图4是本申请实施例提供的一种多目标检测模型的原理示意图；
图5是本申请实施例提供的另一种图像缺陷检测方法的流程示意图；
图6是本申请实施例提供的一种层次聚类方法的原理示意图；
图7为本申请实施例提供的一种多目标检测模型训练方法的原理示意图；
图8为本申请实施例提供的一种多目标检测模型训练方法的原理示意图；
图9是本申请实施例提供的一种图像缺陷检测装置的结构示意图；
图10是根据本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将详细描述本申请的各个方面的特征和示例性实施例，为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本申请进行进一步详细描述。应理解，此处所描述的具体实施例仅意在解释本申请，而不是限定本申请。对于本领域技术人员来说，本申请可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本申请的示例来提供对本申请更好的理解。
在对本申请实施例提供一种图像缺陷检测方法进行详细描述之前，首先对现有图像缺陷检测技术进行简要介绍。
回归框(bounding box，bbox)是图像缺陷检测中目标缺陷的外接矩形框，用于标识目标缺陷。
目前，采用基于神经网络构建的检测模型对低分辨率图像进行缺陷检测。然而，利用图像像素超过5000万的超高分辨率图像对检测模型进行训练时，存在以下问题：
1、将超高分辨率图像输入至检测模型时，由于超高分辨率图像分辨率过大，因此，检测模型运行过程中显存占用太高，在只有16G显存的处理器上可能无法正常训练。
2、由于缺陷尺度变化大，因此，一个检测模型很难同时兼顾大型缺陷和小型缺陷。
3、训练检测模型的时间较长。
为了解决上述问题，通常会在对超高分辨率图像的缺陷检测训练过程中，将整个完整的图像分割为多个小图像进行训练。从而一方面避免了图像过大而导致无法正常训练的问题。另一方面，保留了图像的所有细节，以保证超高分辨图像中的微小缺陷能够被检测出来，使得检测模型拥有对小缺陷的辨别能力，
图1为现有技术提供的一种图像缺陷训练和测试方法的原理示意图。如图1所示，利用固定尺寸的滑动窗口将超高分辨率图像分割为多个固定尺寸的图像块，其中，每个图像块之间没有重合的部分，或者每个图像块之间有重合的部分。将多个图像块输入至缺陷检测模型分别进行缺陷检测模型的训练以及测试。
然而，在上述方案中，一方面，由于分割的图像块较多，因此，训练模型的时间以及缺陷检测的时间比较长。
另一方面，缺陷区域在整体图像中占比非常小，少部分图像块为有缺陷的正样本，大部分图像块为没有缺陷的负样本。将所有图像块输入至检测模型进行训练，会导致训练模型时正负样本极度不平衡，以至于检测模型的漏检增加的问题。
又一方面，由于缺乏图像的整体信息，训练出的检测模型对于超过固定尺寸的大型缺陷的检测能力变弱。
再一方面，分割后的图像块中的回归框可能是将原图上回归框进行切割得到的，从而分割后的图像块中可能存在不完整的缺陷信息，或者图像块中有无用的回归框信息。如此，利用上述图像块进行检测模型的训练，会导致检测模型的过检增加的问题。
图2为现有技术提供的另一种图像缺陷训练和测试方法的原理示意图。如图2所示，遍历超高分辨图像中每个标注框的回归框，以回归框作为切图中心坐标，对原图进行中心切图，或者在中心点做适当的偏移以后再切图。将切割后的图像块输入至缺陷检测模型训练缺陷检测模型。在测试时，对超高分辨率图像进行带重叠的滑动窗口分割，将分割后的图像块输入至监测模型进行缺陷检测。
例如，10000x10000分辨率的图像，按单个缺陷的回归框中心点将图像缺陷区域分割为512*512分辨率的图像块。如此，原图上有多少个图像缺陷就分割出多少个图像块进行模型训练。
上述方案一方面通过做中心切图解决了图像分辨率过高导致无法正常训练的问题。另一方面，保留了图像缺陷的所有细节，从而使得检测模型具有对微小缺陷的辨别能力。又一方面，仅采用包含图像缺陷的图像块进行检测模型的训练，既可以解决图像块中缺陷信息不完整或者有无用的回归框信息的问题，又可以减少负样本的影响。
然而，上述方案仅采用正样本进行训练，会导致训练好的检测模型可能无法良好区分负样本，以至于检测模型的过检增加的问题。
并且，上述方案中按照每个缺陷的回归框进行分割，在多个缺陷同时存在且距离较近时，可能会将另外一个缺陷的一部分截取下来，并且在个图像块中没有这一部分的标注信息，导致检测模型将另一个缺陷识别为背景信息，从而可能导致检测模型对该缺陷的漏检增加。
以及，由于上述方案中缺乏图像的整体信息，导致检测模型对大型缺陷辨别能力变弱。
此外，由于训练流程与测试流程的分割方式不同，导致检测结果不准确。
有鉴于此，本申请提出一种图像缺陷检测方法、装置、电子设备、计算机存储介质以及计算机程序产品，能够基于图块数量成比例的缺陷图块和正常图块训练得到目标检测模型，使得多目标检测模型既能够学习到正样本的缺陷信息，也能够兼顾到负样本的无缺陷信息，从而使得多目标检测模型能够准确检测出图像缺陷。
本申请实施例提供的图像缺陷检测方法可由图像缺陷检测装置执行。图3是根据本申请实施例提供的一种图像缺陷检测方法的流程示意图。如图3所示，该图像缺陷检测方法包括：
步骤S11，对待检测图像进行分割，得到多个第一图像块。
步骤S12，将多个第一图像块输入多目标检测模型，得到待检测图像的关键点。
这里，多目标检测模型是根据多个样本训练得到的，其中，样本包括包含缺陷区域的缺陷图块以及不包含缺陷区域的正常图块，且缺陷图块与正常图块的图块数量为预设比例。缺陷图块和所述正常图块是从样本图像中分割得到的。
步骤S13，基于关键点确定待检测图像的图像缺陷。
在上述实施例中，通过将待检测图像进行分割成小尺寸的第一图像块，并将多个第一图像输入至训练好的多目标检测模型，得到待检测图像的关键点，如此，将大尺寸图像分割为小尺寸图像后，输入至多目标检测模型有利于减少模型的显存占用，提高模型检测效率。同时，训练多目标检测模型的样本包括图块数量成预设比例的缺陷图块和正常图块，因此，可以避免由于正负样本不均衡导致的模型不准确的问题。
上述各步骤的具体实现方式将在下文中进行详细描述。
在步骤S11中，图像缺陷检测装置可以按照固定尺寸的滑动窗口分割待检测图像，从而得到多个第一图像块。该待检测图像可以为超高分辨率图像，也可以为其它分分辨率图像。在本申请实施例中，对于待检测图像的类型不做限制。
可选地，固定尺寸可以为模型分割尺寸。该模型分割尺寸可以是用于训练多目标检测模型的样本的尺寸。
本申请实施例涉及的“第一图像块”可以是固定尺寸的。该第一图像块可以为待检测图像的局部图像。并且每个第一图像块之间不含有重合部分。
本申请实施例涉及的“缺陷图块”可以是包含缺陷区域的图像块，其中，缺陷区域是通过对样本图像中的图像缺陷进行聚类确定的。“正常图块”是不包含缺陷区域的图像块，可以是利用不带重叠的滑动窗口分割得到的。
本申请涉及的“多目标检测模型”可以采用端到端的检测模型，确定目标关键点，并根据关键点的位置回归出目标的某些属性，例如目标尺寸，回归框大小，以及目标类别。该多目标检测模型包括但不限于CornerNet、ExtremeNet以及CenterNet等模型。
本申请实施例以多目标检测模型为CenterNet为例进行说明多目标检测模型的结构。图4是本申请实施例提供的一种多目标检测模型的原理示意图，如图4所示，该多目标检测模型包括关键点的提取和坐标回归两部分，其中，该目标检测模型的主干网络，即keypoint backbone，可以为Resnet18、DLA-34，Hourglass-104等标准网络，用于提取图像关键点。回归主要包括：中心点偏置回归，以及回归框尺寸回归。该多目标检测模型的输出网络主要由三个分支网络组成的，该三个分支网络分别来输出中心点，中心点坐标的偏置值以及回归框的预测尺寸。整个模型会在每个位置输出C+4个值，即关键点类别C,偏移量的x，y，尺寸的w，h，所有输出共享一个全卷积的backbone。其中，中心点表示这个目标，中心点输出网络产生一个热力图，该热力图用于标识分类信息，每一个类别均有一个热力图。如图4中，128*128*80表示80种类别对应的热力图。
在一些实施例中，该多目标检测模型的损失函数可以为交叉熵损失函数FocalLoss。
需要说明的是，本申请实施例中该多目标检测模型的损失函数但不限于FocalLoss。
目标损失函数可以为：
Ldet＝Lk+λsizeLsize+λoffLoff (1)
其中，λsize为尺寸损失函数对应的权重，λoff为偏置损失函数对应的权重，Ldet表示总损失函数，Lsize为尺寸损失函数。
Lk表示关键点的损失函数，Lk可以表示为：
Figure BDA0003192494880000091
其中，Yxyc为真实值，表示该像素点是否为关键点的概率。当该像素点为关键点时，Yxyc为1。
Figure BDA0003192494880000092
为预测值，α和β是focal loss的超参数，N为一张图像中关键点的个数。
Loff为中心点偏置损失函数，可以采用回归损失函数L1loss。其表达式可以为：
Figure BDA0003192494880000093
其中，
Figure BDA0003192494880000094
表示中心点偏移量的预测值，N为一张图像中关键点的个数，R为尺寸缩放比例，
Figure BDA0003192494880000095
表示中心点在特征图上的位置，
Figure BDA0003192494880000096
表示中心点位置的预测值。
需要说明的是，由于图像下采样时，关键点会因数据是离散的而产生偏差，因此，设置中心点偏置损失函数。
Lsize为回归框尺寸损失函数，也可以采用回归损失函数L1loss。其表达式可以表示成：
Figure BDA0003192494880000097
其中，
Figure BDA0003192494880000098
为估计的回归框尺寸，Sk为真实的回归框尺寸，N为关键点个数。
本申请实施例中的“多目标检测模型”可以由多个样本训练成的。具体可以由其它设备进行训练后，提供给该图像缺陷检测装置，也可以由该图像缺陷检测装置自行训练。
图5是本申请实施例提供的另一种图像缺陷检测方法的流程示意图。
如图5所示，在步骤S12之前，该图像缺陷检测方法还包括：
步骤S21，获取训练数据集，训练数据集包括多个样本图像。
这里，样本图像包括图像缺陷的标注信息。获取训练数据集可以通过采集多个样本图像作为训练数据集，比如从数据库或网络中获取该原始数据集，然后对该训练数据集里的图像进行预处理，以得到满足多目标检测模型的输入标准的图像。
其中，预处理可以包括灰度化、几何变换、图像增强、去噪、插值、对转、旋转和翻转等操作。预处理可以根据多目标检测模型进行设置，也可以预先设置好预处理规则并存储在图像缺陷检测装置中，以使图像缺陷检测装置可以根据预设预处理规则对图像进行处理，从而提高提取样本特征的可靠性。
步骤S22，针对每个样本图像，对样本图像按照模型分割尺寸进行分割，得到缺陷图块以及正常图块。
这里，图像缺陷检测装置可以利用滑动窗口对每个样本图像进行分割，从而得到缺陷图块和正常图块。其中，该滑动窗口的尺寸为模型分割尺寸。缺陷图块为包含缺陷区域的图块，正常图块为包含缺陷区域的正常图块。缺陷区域为图像缺陷在样本图像中对应的区域。
步骤S23，针对每个所述样本图像，选取图块数量呈所述预设比例的缺陷图块以及正常图块作为样本。
这里，对于每个样本图像，将全部缺陷图块，以及筛选出部分正常图块作为训练多目标检测模型的样本，其中，缺陷图块与正常图块的图块数量呈预设比例。可选地，预设比例可以为1:1。
需要说明的是，本申请实施例中预设比例可以包括但不限于1:1，也可以为其它比例，如1:3等。
在一些实施例中，用于训练模型的正常图块可以为缺陷图块附近的正常图块，如此，将图像缺陷周围信息用于训练模型，有利于提高模型的准确性。
步骤S24，基于多个样本训练多目标检测模型。
这里，将多个样本输入至多目标检测模型进行模型训练。如此，利用多个样本完成缺陷定位以及缺陷分类的模型训练。
在本申请实施例中，将图块数量成预设比例的缺陷图块与正常图块作为样本，并且利用该样本训练模型。如此，使得模型既能够学习到正样本的缺陷信息，也能兼顾到负样本的背景信息。从而一方面，可以避免了由于正样本所占训练样本比例较少，导致正负样本不均衡，以使训练出的模型的漏检增加的问题。另一方面，可以避免了仅将正样本用于训练模型，导致模型无法较好区分出负样本，导致训练出的模型的过检增加的问题，从而使得用于训练模型的正负样本均衡。
在一些实施例中，为了图像分割为小图像块后，能完整保留大部分缺陷，以及避免通过重复试验选择合适的分割尺寸。在步骤S22之前，所述方法还包括：
对训练数据集中的图像缺陷的边界框进行聚类，得到多个边界框分组；
从多个边界框分组中选取边界框的种类数量满足预设条件的目标回归框分组；
将目标边界框分组中最大边界框的尺寸作为所述模型分割尺寸。
这里，对训练数据集中的图像缺陷的边界框进行聚类可以采用任意一种聚类方法进行聚类。可选地，对训练数据集中的图像缺陷的回归框进行聚类包括对训练数据集中的图像缺陷的边界框进行层次聚类。
图6是本申请实施例提供的一种层次聚类方法的原理示意图。如图6所示，在层次聚类中，簇C1中的一个对象和簇C2中的一个对象之间的距离是所有属于不同簇的对象间欧式距离中最小的，C1和C2可能被合并。层次聚类是一种单连接方法，每个簇可以被簇中的所有对象代表，两个簇之间的相似度由这两个簇中距离最近的数据点对的相似度来确定。
本申请实施例中，训练集中的样本图像包括图像缺陷的标注信息，该标注信息包括边界框的信息。边界框的信息可以包括边界框的尺寸和位置信息。边界框分组包括多种缺陷类别的边界框。预设条件可以为边界框种类数量最多的三个组，或者前n组。目标边界框可以为边界框种类数量最多的三个组，或者前n组的边界框分组。
也就是说，本申请实施例可以选取边界框种类数量最多的前n组中最大的边界框的尺寸作为模型分割尺寸。
本申请实施例中，模型分割尺寸用于在训练模型时对样本图像进行分割，以及在对图像缺陷检测时对待检测图像进行分割。
在本申实施例中，通过对图像缺陷的边界框进行聚类后，筛选满足预设条件的目标边界框分组，从目标边界框分组中选择尺寸最大的边界框，并将该最大边界框最大的尺寸作为模型分割尺寸。如此，能够自适应得到合适的分割尺寸，解决了训练时分割尺寸需要重复调试的问题，并且在分割时，能够将大部分缺陷保留在图像块中。
在一些实施例中，为了准确分割缺陷图块以及正常图块，步骤S22具体可以执行为：
针对每个样本图像，对样本图像中的图像缺陷进行层次聚类，得到多个缺陷分组；
基于所述缺陷分组中的特征点，按照所述模型分割尺寸分割所述样本图像中每个缺陷分组对应的缺陷区域，得到多个包含缺陷区域的缺陷图块；
按照模型分割尺寸分割所述样本图像中除缺陷区域外的其它区域，得到多个不包含缺陷区域的正常图块。
这里，缺陷分组包括至少一个所述图像缺陷。对样本图像的图像缺陷进行层次聚类可以是将样本图像中标注的图像缺陷的中心点按照指定的距离进行层次聚类，生成多个缺陷分组。并计算出每个缺陷分组的特征点，按照模型分割尺寸将缺陷分组对应的图像缺陷区域进行分割，如此，得到多个包含缺陷区域的缺陷图像。
此外，为了保持样本大小的一致，可以按照模型分割尺寸分割样本图像中除缺陷区域的其它区域，从而得到多个正常图块。
在上述实施例中，通过对样本图像进行聚类分组分割，可以使得缺陷图块上的缺陷信息完整，避免了分割后的缺陷图块含有无用的标注信息。并且可以将距离较近的图像缺陷划分为一组进行分割，可以避免在多个图像缺陷相邻较近时，由于某个分割后的图像块没有部分相邻图像缺陷的标注信息，导致多目标检测模型将部分缺陷识别为背景信息，以至于多目标检测模型对该类型缺陷的漏检增加的问题。
在步骤S12中，“关键点”可以表征待检测图像中图像缺陷的位置。关键点可以通过多目标检测模型的主干网络获取。待检测图像的关键点可以为多个。
在一些实施例中，为了便于确定待检测图像中的关键点。步骤S12具体可以执行为：
将所述多个第一图像块输入至多目标检测模型，得到与第二图像块对应的热力图；
将热力图中的峰值点作为所述待检测图像的关键点。
这里，热力图可以是特征图，是指神经网络中的一种可视化方法，它有助于了解一个图像的哪一部分让卷积神经网络做出最终的分类决策。热力图的峰值点可以为概率峰值点，即像素属于图像缺陷的概率峰值点。
本申请实施例涉及的“第二图像块”为多个第一图像块中包含图像缺陷的图像块。这里，第二图像块可以为一个，也可以为多个。需要说明的是，第二图像块可能包括完整的图像缺陷，也可能包括不完整的图像缺陷。
在本申请实施例中，可以利用多目标检测模型的主干网络提取关键点。具体地，利用件所有第一图像块输入至多目标检测模型，生成第二图像块的热力图，确定出每个热力图上每个缺陷类别的峰值点，将每个缺陷类别的峰值点作为关键点。
在上述实施例中，通过将多个第一图像块输入至多目标检测模型来提取待检测图像的关键点，可以解决图像分辨率过大，导致模型显存占用太高的问题，并且由于第一图像块尺寸较小，可以缩短提取关键点的时间。
在一些实施例中，为了检测出待检测图像中完整的图像缺陷信息，步骤S13具体可以执行为：
将关键点映射至待检测图像，得到目标检测图像；
对目标检测图像中多个关键点进行聚类，得到至少一个图像缺陷对应的缺陷区域；
对目标检测图像中的缺陷区域进行分割，得到多个第三图像块；
将多个第三图像块输入该多目标检测模型，确定待检测图像的图像缺陷。
这里，目标检测图像可以是待检测图像与包含关键点的热力图的融合图像。将关键点映射至待检测图像可以执行为将包含关键点的热力图像叠加到待检测图像。
本申请实施例涉及的“聚类”可以为采用任意一种聚类方法实现。可选地，对目标检测图像中多个关键点进行聚类，可以包括对目标检测图像中多个关键点进行层次聚类。
在本申请实施例中，对目标检测图像中多个关键点进行聚类，可以将距离较近点的关键点分到同一个聚类分组中，如此，既可以使得属于同一个图像缺陷的关键点分到同一组，又可以将距离较近的图像缺陷分到同一组。如此，得到每个聚类分组对应的缺陷区域，其中，每个缺陷区域可以是至少一个图像缺陷对应的图像区域。
本申请实施例涉及的“第三图像块”可以包括缺陷区域。图像缺陷检测装置将关键点聚类后得到的缺陷区域从目标检测图像中分割出来，从而得到多个第三图像块。
这里，确定待检测图像的图像缺陷可以包括确定图像缺陷的类别、图像缺陷的位置，以及回归框的大小。将包含缺陷区域的第三图块输入至多目标检测模型，可以快速检测出待检测图像中的图像缺陷。
在上述实施例中，通过将关键点映射至原图中，可以得到关键点在原图中的位置信息，并且对关键点进行聚类分组分割，既可以得到每个图像缺陷对应的所有关键点，有利于模型对大型缺陷的识别，又避免了将相邻图像缺陷进行部分分割，导致模型无法识别邻近的图像缺陷。同时，将包含缺陷区域的第三图块输入至多目标检测模型，可以避免多目标检测模型检测正常图像块，减少多目标检测模型检测缺陷图像块的数量。
为了提高模型检测的准确性，可以使得在训练模型和检测图像缺陷时，图像分割尺寸保持一致。在一些实施例中，所述对所述目标检测图像中的所述缺陷区域进行分割，获取多个第三图像块，包括：
确定所述目标检测图像中的缺陷区域的特征点；
基于缺陷区域的特征点，按照模型分割尺寸分割目标检测图像中的缺陷区域，得到多个第三图像块。
这里，缺陷区域的特征点可以是缺陷区域对应的聚类分组中的中心点。以该缺陷区域的特征点为中心，按照模型分割尺寸将缺陷区域从目标检测图像中分割出来，得到大小一致的多个第三图像块。
如此，使得输入多目标检测模型进行检测的图像块的大小与训练多目标检测模型的样本大小一致，提高了图像缺陷检测的准确性。
为进一步了解多目标检测模型训练方法，以多目标检测模型为centernet模型，聚类采用层次聚类算法为例进行说明。图7为本申请实施例提供的一种多目标检测模型训练方法的原理示意图。如图7所示，首先，对样本图像中的图像缺陷区域按照自动选择的分割尺寸进行聚类分组分割。
然后，在聚类分组分割后包含图像缺陷的图像数据集中，按照一定比例加入尺度分割后不包含缺陷的正常图像块送到多目标检测网络(Centernet)进行缺陷定位及缺陷分类的模型训练。
这里，聚类分组分割是指将标注的缺陷框中心点按指定的距离进行层次聚类，并分成多个或一个组，再计算出每个组的中心点，按指定的大小将缺陷进行分割。
尺度分割是指将图像的长和宽按照一定的比例进行滑动窗口裁剪，其中标注的缺陷框保留在裁剪后小图的相应位置。
在上述实施例中，利用数量成一定比例的正负样本训练多目标检测模型，使得模型既能够学习到正样本的缺陷信息，也能够兼顾到负样本的背景信息，并且可以解决由于正负样本不均衡导致的模型漏检增加的问题，以及仅用正样本进行训练，导致模型过检增加的问题，从而提高模型训练的准确性。
此外，由于通过聚类分组分割得到正样本，使得正样本不含有无用标注信息，提高图像缺陷信息的完整性。
在一些实施例中，在对样本图像进行聚类分组裁剪之前，需要自动选择训练集分割尺寸(即模型分割尺寸)。分割尺寸的选择方法是将将训练集的回归框(即图像缺陷的边界框)进行层次聚类，再将聚类后类别数量最多的三个分组中找出最大的回归框的尺寸作为分割尺寸，如此，这样不仅能保证大部分缺陷都被完整的分割，还能够避免需要繁琐的操作步骤才能选择分割尺寸。
为进一步了解利用多目标检测模型检测图像缺陷方法，以多目标检测模型为centernet模型，聚类采用层次聚类算法为例进行说明。图8为本申请实施例提供的一种多目标检测模型训练方法的原理示意图。如图8所示，首先，通过不带重叠的滑动窗口分割待检测图像，将待检测图像分割成小图。然后将所有小图送入多目标检测网络获取热力图，并通过热力图找到每张小图里的峰值点，再将峰值点映射回原图，在原图上用峰值点聚类分组分割，再送入多目标检测网络(Centernet)进行缺陷定位及缺陷分类。
在上述实施例中，提取分割后小图中的峰值点，将峰值点映射回原图，从而得到原图中完整的图像缺陷信息，如此，有利于模型对大型缺陷的识别，以及可以提高图像缺陷定位的准确性。并且对峰值点进行聚类分组分割，得到待检测的小图，如此，小图可以保留完整的图像缺陷。将小图输入至多目标检测模型进行检测，有利于降低多目标检测模型的显存占用，避免了对正常图块的监测，减少了待检测图块的数量，提高了模型检测的效率。
在实际应用中，对12000*8000的超大分辨率数据集的擦伤(Xs)和划伤(Hs)进行检测，对比本申请实施例提供的图像缺陷检测方法与现有技术提供的两种图像缺陷检测方法的模型效果以及检测效率。
在相同测试测试集下的检测结果：
表1为模型1的测试结果
Figure BDA0003192494880000161
Figure BDA0003192494880000171
表2为模型2的测试结果
Label Hs Xs TotalNoOther
precision 93.2％ 67.8％ 88.7％
recall 95.9％ 95.3％ 95.9％
ap 97.2％ 85.1％ 80.5％
f1 0.95 0.79 0.92
confidence 0.09 0.09 0.09
hit 2511 389 2900
pick 2695 574 3269
total 2617 408 3025
precent 86.5％ 13.5％ 100％
表3模型3的测试结果
Figure BDA0003192494880000172
Figure BDA0003192494880000181
其中，Label表示标签，precision表示准确率，recall表示召回率，ap表示平均准确率，f1表示F1值，confidence表示置信度，hit表示检出正确数量，pick表示检出数量，total表示总数，precent表示数量占比，TotalNoOther表示总计。
需要说明的是，模型1是通过带覆盖的滑动窗口对样本进行尺度分割训练出的样本。模型2是将对样本进行bbox的中心分割后训练出的模型。模型3是本申请实施例提供的多目标检测模型。
从表1-3可以看出，模型3检测结果优于模型1和模型2。并且模型1平均每张图片推理时间为1.45秒，模型2平均每张图片推理时间为1.45秒，模型3平均每张图片推理时间为1.23秒。由此可见，本申请实施例提供的多目标检测模型，在相同条件的情况下，无论是模型效果还是检测效率都优于其他图像缺陷检测方法。
图9是本申请实施例提供的一种图像缺陷检测装置的结构示意图。如图9所示，该图像缺陷检测装置30包括：
第一图像分割模块31，用于对待检测图像进行分割，得到多个第一图像块；
第一输入模块32，用于将所述多个第一图像块输入多目标检测模型，得到所述待检测图像的关键点；所述多目标检测模型是根据多个样本训练得到的，其中，所述样本包括包含缺陷区域的缺陷图块以及不包含所述缺陷区域的正常图块，且所述缺陷图块与正常图块的图块数量为预设比例；所述缺陷图块和所述正常图块是从样本图像中分割得到的；
缺陷确定模块33，基于所述关键点确定所述待检测图像的图像缺陷。
在一些实施例中，第一输入模块31，包括：
热力图生成子模块，用于将所述多个第一图像块输入至多目标检测模型，得到与第二图像块对应的热力图，所述第二图像块为所述多个第一图像块中包含图像缺陷的图像块；
第一作为子模块，用于将所述热力图中的峰值点作为所述待检测图像的关键点。
在一些实施例中，缺陷确定模块33，包括：
映射子模块，用于将所述关键点映射至待检测图像，得到目标检测图像；
第一聚类子模块，用于对所述目标检测图像中多个关键点进行聚类，得到至少一个图像缺陷对应的缺陷区域；
第一分割子模块，用于对所述目标检测图像中的所述缺陷区域进行分割，得到多个第三图像块，所述第三图像块包括所述缺陷区域；
缺陷确定子模块，用于将所述多个第三图像块输入所述多目标检测模型，确定所述待检测图像的图像缺陷。
在一些实施例中，第一分割子模块，具体用于确定所述目标检测图像中的所述缺陷区域的特征点；基于所述缺陷区域的特征点，按照所述模型分割尺寸分割所述目标检测图像中的所述缺陷区域，得到多个第三图像块。
在一些实施例中，在第一输入模块32之前，该图像缺陷检测装置还包括：
获取模块，用于获取训练数据集，训练数据集包括多个样本图像；
第一分割模块，用于针对每个所述样本图像，对所述样本图像按照所述模型分割尺寸进行分割，得到所述缺陷图块以及所述正常图块；
选取模块，用于针对每个所述样本图像，选取图块数量呈所述预设比例的所述缺陷图块以及所述正常图块作为样本；
训练模块，用于基于多个所述样本训练多目标检测模型。
在一些实施例中，在第一分割模块之前，该图像缺陷检测装置30还包括：
第一聚类模块，用于对所述训练数据集中的图像缺陷的边界框进行聚类，得到多个边界框分组；
选取子模块，用于从所述多个边界框分组中选取所述边界框的种类数量满足预设条件的目标回归框分组；
第二作为子模块，用于将所述目标边界框分组中最大边界框的尺寸作为所述模型分割尺寸。
在一些实施例中，第一分割模块具体用于针对每个所述样本图像，对所述样本图像中的图像缺陷进行层次聚类，得到多个缺陷分组，所述缺陷分组包括至少一个所述图像缺陷；基于所述缺陷分组中的特征点，按照所述模型分割尺寸分割所述样本图像中每个缺陷分组对应的缺陷区域，得到多个包含所述缺陷区域的缺陷图块；按照所述模型分割尺寸分割所述样本图像中除所述缺陷区域外的其它区域，得到多个不包含所述缺陷区域的正常图块。
图10是根据本申请实施例提供的一种电子设备的结构示意图，请参见图10，该电子设备包括：
在电子设备可以包括处理器41以及存储有计算机程序指令的存储器42。
具体地，上述处理器41可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。
存储器42可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器42可包括硬盘驱动器(Hard Disk Drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus，USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器42可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器42可在综合网关容灾设备的内部或外部。在特定实施例中，存储器42是非易失性固态存储器。
存储器42可包括只读存储器(ROM)，随机存取存储器(RAM)，磁盘存储介质设备，光存储介质设备，闪存设备，电气、光学或其他物理/有形的存储器存储设备。因此，通常，存储器包括一个或多个编码有包括计算机可执行指令的软件的有形(非暂态)计算机可读存储介质(例如，存储器设备)，并且当该软件被执行(例如，由一个或多个处理器)时，其可操作来执行参考根据本申请的一方面的方法所描述的操作。
处理器41通过读取并执行存储器42中存储的计算机程序指令，以实现上述实施例中的任意一种图像缺陷检测方法。
在一个示例中，电子设备还可包括通信接口43和总线44。其中，如图10所示，处理器41、存储器42、通信接口43通过总线44连接并完成相互间的通信。
通信接口43，主要用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。
总线44包括硬件、软件或两者，将在电子设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线44可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。
该电子设备可以基于执行本申请实施例中的方法，从而实现结合图3至图9描述的图像缺陷检测方法和装置。
另外，结合上述实施例中的图像缺陷检测方法，本申请实施例可提供一种计算机存储介质来实现。该计算机存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种图像缺陷检测方法。
此外，结合上述实施例中的图像缺陷检测方法，本申请实施例提供一种计算机程序产品，包括计算机程序或指令，计算机程序或指令被处理器执行时实现上述实施例中的任意一种图像缺陷检测方法。
需要明确的是，本申请并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本申请的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本申请的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本申请的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
还需要说明的是，本申请中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本申请不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。
上面参考根据本申请的实施例的方法、车载终端、电子设备和计算机程序产品的流程图和/或框图描述了本申请的各方面。应当理解，流程图和/或框图中的每个方框以及流程图和/或框图中各方框的组合可以由计算机程序指令实现。这些计算机程序指令可被提供给通用计算机、专用计算机、或其它可编程数据处理装置的处理器，以产生一种机器，使得经由计算机或其它可编程数据处理装置的处理器执行的这些指令使能对流程图和/或框图的一个或多个方框中指定的功能/动作的实现。这种处理器可以是但不限于是通用处理器、专用处理器、特殊应用处理器或者现场可编程逻辑电路。还可理解，框图和/或流程图中的每个方框以及框图和/或流程图中的方框的组合，也可以由执行指定的功能或动作的专用硬件来实现，或可由专用硬件和计算机指令的组合来实现。
以上所述，仅为本申请的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。

Claims (11)

1.一种图像缺陷检测方法，其特征在于，所述方法包括：
对待检测图像进行分割，得到多个第一图像块；
将所述多个第一图像块输入多目标检测模型，得到所述待检测图像的关键点；所述多目标检测模型是根据多个样本训练得到的，其中，所述样本包括包含缺陷区域的缺陷图块以及不包含所述缺陷区域的正常图块，且所述缺陷图块与正常图块的图块数量为预设比例；所述缺陷图块和所述正常图块是从样本图像中分割得到的；
基于所述关键点确定所述待检测图像的图像缺陷。
2.根据权利要求1所述的方法，其特征在于，所述将所述多个第一图像块输入多目标检测模型，得到所述待检测图像的关键点，包括：
将所述多个第一图像块输入至多目标检测模型，得到与第二图像块对应的热力图，所述第二图像块为所述多个第一图像块中包含图像缺陷的图像块；
将所述热力图中的峰值点作为所述待检测图像的关键点。
3.根据权利要求1所述的方法，其特征在于，所述基于所述关键点确定所述待检测图像的图像缺陷，包括：
将所述关键点映射至待检测图像，得到目标检测图像；
对所述目标检测图像中多个关键点进行聚类，得到至少一个图像缺陷对应的缺陷区域；
对所述目标检测图像中的所述缺陷区域进行分割，得到多个第三图像块，所述第三图像块包括所述缺陷区域；
将所述多个第三图像块输入所述多目标检测模型，确定所述待检测图像的图像缺陷。
4.根据权利要求3所述的方法，其特征在于，所述对所述目标检测图像中的所述缺陷区域进行分割，获取多个第三图像块，包括：
确定所述目标检测图像中的所述缺陷区域的特征点；
基于所述缺陷区域的特征点，按照所述模型分割尺寸分割所述目标检测图像中的所述缺陷区域，得到多个第三图像块。
5.根据权利要求1所述的方法，其特征在于，在所述将所述多个第一图像块输入多目标检测模型，得到所述待检测图像的关键点之前，所述方法还包括：
获取训练数据集，训练数据集包括多个样本图像；
针对每个所述样本图像，对所述样本图像按照所述模型分割尺寸进行分割，得到所述缺陷图块以及所述正常图块；
针对每个所述样本图像，选取图块数量呈所述预设比例的所述缺陷图块以及所述正常图块作为样本；
基于多个所述样本训练多目标检测模型。
6.根据权利要求5所述的方法，其特征在于，在所述对所述训练数据集按照模型分割尺寸进行分割，获取所述缺陷图块以及所述正常图块之前，所述方法还包括：
对所述训练数据集中的图像缺陷的边界框进行聚类，得到多个边界框分组；
从所述多个边界框分组中选取所述边界框的种类数量满足预设条件的目标回归框分组；
将所述目标边界框分组中最大边界框的尺寸作为所述模型分割尺寸。
7.根据权利要求5所述的方法，其特征在于，所述针对每个所述样本图像，对所述样本图像按照所述模型分割尺寸进行分割，得到所述缺陷图块以及所述正常图块，包括：
针对每个所述样本图像，对所述样本图像中的图像缺陷进行层次聚类，得到多个缺陷分组，所述缺陷分组包括至少一个所述图像缺陷；
基于所述缺陷分组中的特征点，按照所述模型分割尺寸分割所述样本图像中每个缺陷分组对应的缺陷区域，得到多个包含所述缺陷区域的缺陷图块；
按照所述模型分割尺寸分割所述样本图像中除所述缺陷区域外的其它区域，得到多个不包含所述缺陷区域的正常图块。
8.一种图像缺陷检测装置，其特征在于，所述装置包括：
第一图像分割模块，用于对待检测图像进行分割，得到多个第一图像块；
第一输入模块，用于将所述多个第一图像块输入多目标检测模型，得到所述待检测图像的关键点；所述多目标检测模型是根据多个样本训练得到的，其中，所述样本包括包含缺陷区域的缺陷图块以及不包含所述缺陷区域的正常图块，且所述缺陷图块与正常图块的图块数量为预设比例；所述缺陷图块和所述正常图块是从样本图像中分割得到的；
缺陷确定模块，基于所述关键点确定所述待检测图像的图像缺陷。
9.一种电子设备，其特征在于，所述设备包括：处理器以及存储有计算机程序指令的存储器；
所述处理器执行所述计算机程序指令时实现如权利要求1-7任一项所述的图像缺陷检测方法。
10.一种计算机存储介质，其特征在于，所述计算机存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如权利要求1-7任一项所述的图像缺陷检测方法。
11.一种计算机程序产品，包括计算机程序或指令，其特征在于，所述计算机程序或指令被处理器执行时实现如权利要求1-7任一项所述的图像缺陷检测方法。
CN202110882273.3A 2021-08-02 2021-08-02 图像缺陷检测方法以及相关设备 Pending CN113781391A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110882273.3A CN113781391A (zh) 2021-08-02 2021-08-02 图像缺陷检测方法以及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110882273.3A CN113781391A (zh) 2021-08-02 2021-08-02 图像缺陷检测方法以及相关设备

Publications (1)

Publication Number Publication Date
CN113781391A true CN113781391A (zh) 2021-12-10

Family

ID=78836488

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110882273.3A Pending CN113781391A (zh) 2021-08-02 2021-08-02 图像缺陷检测方法以及相关设备

Country Status (1)

Country Link
CN (1) CN113781391A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114235759A (zh) * 2022-02-25 2022-03-25 季华实验室 缺陷检测方法、装置、设备及计算机可读存储介质
CN114549961A (zh) * 2022-03-02 2022-05-27 北京百度网讯科技有限公司 目标对象的检测方法、装置、设备以及存储介质
CN114693652A (zh) * 2022-04-01 2022-07-01 南通睿谷纺织科技有限公司 基于高斯混合模型的织物缺陷检测方法
CN116206111A (zh) * 2023-03-07 2023-06-02 广州市易鸿智能装备有限公司 一种缺陷识别方法、装置、电子设备及存储介质
CN116309586A (zh) * 2023-05-22 2023-06-23 杭州百子尖科技股份有限公司 基于卷积神经网络的瑕疵检测方法、装置、设备及介质

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114235759A (zh) * 2022-02-25 2022-03-25 季华实验室 缺陷检测方法、装置、设备及计算机可读存储介质
CN114549961A (zh) * 2022-03-02 2022-05-27 北京百度网讯科技有限公司 目标对象的检测方法、装置、设备以及存储介质
CN114549961B (zh) * 2022-03-02 2023-04-07 北京百度网讯科技有限公司 目标对象的检测方法、装置、设备以及存储介质
CN114693652A (zh) * 2022-04-01 2022-07-01 南通睿谷纺织科技有限公司 基于高斯混合模型的织物缺陷检测方法
CN114693652B (zh) * 2022-04-01 2023-08-25 深圳市科宝图像技术有限公司 基于高斯混合模型的织物缺陷检测方法
CN116206111A (zh) * 2023-03-07 2023-06-02 广州市易鸿智能装备有限公司 一种缺陷识别方法、装置、电子设备及存储介质
CN116206111B (zh) * 2023-03-07 2024-02-02 广州市易鸿智能装备有限公司 一种缺陷识别方法、装置、电子设备及存储介质
CN116309586A (zh) * 2023-05-22 2023-06-23 杭州百子尖科技股份有限公司 基于卷积神经网络的瑕疵检测方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
CN113781391A (zh) 图像缺陷检测方法以及相关设备
CN107665348B (zh) 一种变电站数字仪表的数字识别方法和装置
CN111242899B (zh) 基于图像的瑕疵检测方法及计算机可读存储介质
CN110059635B (zh) 一种皮肤瑕疵检测方法及装置
CN113591967A (zh) 一种图像处理方法、装置、设备及计算机存储介质
CN109427062A (zh) 道路特征标记方法、装置、计算机设备以及可读存储介质
CN115690670A (zh) 一种晶圆瑕疵智能识别方法和系统
CN113240623A (zh) 一种路面病害检测方法及装置
CN115170501A (zh) 缺陷检测方法、系统、电子设备及存储介质
CN114549493A (zh) 一种基于深度学习的磁芯缺陷检测系统及方法
CN111754497B (zh) 一种基于几何代数的工业缺陷检测方法和系统
CN116523922B (zh) 一种轴承表面缺陷识别方法
CN112287905A (zh) 车辆损伤识别方法、装置、设备及存储介质
CN114078106A (zh) 基于改进Faster R-CNN的疵点检测方法
CN115063739B (zh) 异常行为的检测方法、装置、设备及计算机存储介质
CN110889418A (zh) 一种气体轮廓识别方法
CN115601293A (zh) 对象检测方法、装置、电子设备及可读存储介质
CN115187563A (zh) 一种用于电力仪表检验的骑缝章检测识别方法及系统
CN115345806A (zh) 对象检测方法、装置、电子设备及可读存储介质
CN113191351B (zh) 数字电表的示数识别方法及装置、模型训练方法及装置
CN111080562B (zh) 一种基于增强图像对比的变电场所悬挂物识别方法
CN113095359B (zh) 一种射线图像标记信息检测方法及系统
CN111724352B (zh) 一种基于核密度估计的贴片led瑕疵标注方法
CN116630991B (zh) 一种输电线路状态评价方法和系统
CN112949644B (zh) 一种货车下拉杆故障图像识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination