CN114663428A - 基于人工智能的物体表面异常检测方法、装置及相关设备 - Google Patents
基于人工智能的物体表面异常检测方法、装置及相关设备 Download PDFInfo
- Publication number
- CN114663428A CN114663428A CN202210526132.2A CN202210526132A CN114663428A CN 114663428 A CN114663428 A CN 114663428A CN 202210526132 A CN202210526132 A CN 202210526132A CN 114663428 A CN114663428 A CN 114663428A
- Authority
- CN
- China
- Prior art keywords
- image
- style
- abnormal
- target
- similarity value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种基于人工智能的物体表面异常检测方法、装置及相关设备，该方法包括：对待检测的图像进行目标检测，得到包含目标物体表面的第一目标图像，并确定该目标物体表面的检测类别；基于该检测类别确定与该目标物体表面匹配的检测模型；通过该检测模型将选定的异常风格特征迁移到第一目标图像，得到经过风格迁移的第二目标图像；获取第一目标图像与第二目标图像的相似度值，该相似度值用于衡量第一目标图像与第二目标图像的相似程度；基于该相似度值以及预设的第一范围、预设的第二范围确定第一目标图像的物体表面异常情况。通过本申请可以检测出已归类及未归类的物体表面异常，且不涉及大量样本数据的收集，具有较高的实用价值。
Description
技术领域
本申请涉及异常检测技术领域，更具体地说，是涉及一种基于人工智能的物体表面异常检测方法、装置及相关设备。
背景技术
通过对物体表面的图像进行分析处理以检测物体表面是否异常是图像处理技术的一个重要应用领域。典型的应用场景包括对墙体鼓包、路面裂痕、铸件缺陷等异常情况的识别，其中，对这些物体表面所拍取的图像可以是红外图像、遥感图像、医疗X光图像或声纳图像等。
目前，普遍采用传统的目标检测方法对物体表面的异常进行识别，由于不同物体表面的异常图像存在形态多样的特点，需要收集大量的样本数据并对此进行标注工作。此外，对于未知形态的图像异常，由于没有标注数据，无法通过目标检测方法对其进行检测。
发明内容
有鉴于此，本申请提供了一种基于人工智能的物体表面异常检测方法、装置及相关设备，以实现对物体表面异常的检测。
为实现上述目的，本申请第一方面提供了一种基于人工智能的物体表面异常检测方法，包括：
对待检测的图像进行目标检测，得到包含目标物体表面的第一目标图像，并确定所述目标物体表面的检测类别；
基于所述目标物体表面的检测类别确定与所述目标物体表面匹配的检测模型；
通过所述检测模型将选定的异常风格特征迁移到第一目标图像，得到经过风格迁移的第二目标图像；
获取第一目标图像与第二目标图像的相似度值，所述相似度值用于衡量第一目标图像与第二目标图像的相似程度；
基于所述相似度值确定第一目标图像的物体表面异常情况；
其中，所述检测模型被配置为，包括至少一种异常风格特征，具备将每一异常风格特征迁移到内容图像的能力，且被标注为包含物体表面异常的第一异常图像，与对所述第一异常图像进行风格迁移后得到的第二异常图像的相似度值落在预设的第一范围之内；被标注为物体表面正常的第一正常图像，与对所述第一正常图像进行风格迁移后得到的第二正常图像的相似度值落在预设的第二范围之内。
优选地，所述获取第一目标图像与第二目标图像的相似度值的过程，包括：
采用同样的划分方式，将待检测的第一目标图像划分成尺寸相等且互不重合的多个图像区域，以及将第二目标图像划分成尺寸相等且互不重合的多个迁移后图像区域；
针对每一图像区域，计算所述图像区域与跟所述图像区域对应的迁移后图像区域的特征差异，得到所述图像区域与所述迁移后图像区域的相似度值。
优选地，计算所述图像区域与跟所述图像区域对应的迁移后图像区域的特征差异，得到所述图像区域与所述迁移后图像区域的相似度值的过程，包括：
通过局部二值模式LBP算法提取所述图像区域的纹理特征，得到第一直方图；
通过LBP算法提取跟所述图像区域对应的迁移后图像区域的纹理特征，得到第二直方图；
利用预设的相似性度量函数计算第一直方图和第二直方图的相似程度，得到所述图像区域与所述迁移后图像区域的相似度值。
优选地，所述基于所述相似度值确定第一目标图像的物体表面异常情况的过程，包括：
针对每一图像区域，判断所述相似度值是否落在所述第一范围之内；
若是，确定第一目标图像包含对应于所述选定的异常风格特征的物体表面异常，且所述物体表面异常定位在所述图像区域内；
若否，判断所述相似度值是否落在所述第二范围之内；
若是，确定所述图像区域不包含物体表面异常；若否，确定第一目标图像包含未知的物体表面异常，且所述未知的物体表面异常定位在所述图像区域内。
优选地，通过所述检测模型将选定的异常风格特征迁移到第一目标图像之前，还包括：
对第一目标图像进行灰度化处理。
优选地，所述检测模型的训练过程，包括：
获取若干风格图像、若干被标注为包含物体表面异常的第一异常图像以及若干被标注为物体表面正常的第一正常图像，其中，每一风格图像包含一种异常风格特征，用于表征预设的检测类别下的一种物体表面异常；
针对每一风格图像：
利用所述风格图像包含的异常风格特征，计算得到每一第一异常图像的第一相似度值；
利用所述风格图像包含的异常风格特征，计算得到每一第一正常图像的第二相似度值；
以所述第一相似度值趋近于所述第一范围，所述第二相似度值趋近于所述第二范围，以及所述检测模型的风格损失和内容损失最小化为目标，更新所述检测模型的风格参数。
优选地，利用所述风格图像包含的异常风格特征，计算得到每一第一异常图像的第一相似度值的过程，包括：
针对每一第一异常图像，通过所述检测模型将所述异常风格特征迁移到所述第一异常图像中，得到经过风格迁移的第二异常图像，并计算得到所述第一异常图像与所述第二异常图像的第一相似度值；
利用所述风格图像包含的异常风格特征，计算得到每一第一正常图像的第二相似度值的过程，包括：
针对每一第一正常图像，通过所述检测模型将所述异常风格特征迁移到所述第一正常图像中，得到经过风格迁移的第二正常图像，并计算得到所述第一正常图像与所述第二正常图像的第二相似度值。
本申请第二方面提供了一种基于人工智能的物体表面异常检测装置，包括：
目标检测单元，用于对待检测的图像进行目标检测，得到包含目标物体表面的第一目标图像，并确定所述目标物体表面的检测类别；
模型确定单元，用于基于所述目标物体表面的检测类别确定与所述目标物体表面匹配的检测模型；
风格迁移单元，用于通过所述检测模型将选定的异常风格特征迁移到第一目标图像，得到经过风格迁移的第二目标图像；
差异计算单元，用于获取第一目标图像与第二目标图像的相似度值，所述相似度值用于衡量第一目标图像与第二目标图像的相似程度；
异常确定单元，用于基于所述相似度值确定第一目标图像的物体表面异常情况；
其中，所述检测模型被配置为，包括至少一种异常风格特征，具备将每一异常风格特征迁移到内容图像的能力，且被标注为包含物体表面异常的第一异常图像，与对所述第一异常图像进行风格迁移后得到的第二异常图像的相似度值落在预设的第一范围之内；被标注为物体表面正常的第一正常图像，与对所述第一正常图像进行风格迁移后得到的第二正常图像的相似度值落在预设的第二范围之内。
本申请第三方面提供了一种基于人工智能的物体表面异常检测设备，包括：存储器和处理器；
所述存储器，用于存储程序；
所述处理器，用于执行所述程序，实现上述的基于人工智能的物体表面异常检测方法的各个步骤。
本申请第四方面提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上述的基于人工智能的物体表面异常检测方法的各个步骤。
经由上述的技术方案可知，本申请首先准备好训练后的检测模型，其中，所述检测模型被配置为，包括至少一种异常风格特征，具备将每一异常风格特征迁移到内容图像的能力，且被标注为包含物体表面异常的第一异常图像，与对所述第一异常图像进行风格迁移后得到的第二异常图像的相似度值落在预设的第一范围之内；被标注为物体表面正常的第一正常图像，与对所述第一正常图像进行风格迁移后得到的第二正常图像的相似度值落在预设的第二范围之内。接着，对待检测的图像进行目标检测，得到包含目标物体表面的第一目标图像，并确定所述目标物体表面的检测类别。然后，基于所述目标物体表面的检测类别确定与所述目标物体表面匹配的检测模型。通过所述检测模型将选定的异常风格特征迁移到第一目标图像，得到经过风格迁移的第二目标图像。获取第一目标图像与第二目标图像的相似度值，其中，所述相似度值用于衡量第一目标图像与第二目标图像的相似程度。由于所述检测模型对于包含已归类的物体表面异常的图像所计算得到的相似度值落在所述第一范围之内，对于归类为正常物体表面的图像所计算得到的相似度值落在所述第二范围之内，因此，基于所述相似度值，可以确定第一目标图像的物体表面异常情况。可以理解的是，对于相似度值落在所述第一范围以及所述第二范围之外的情况，可以确定为包含未被归类的物体表面异常。通过本申请可以检测出已归类及未归类的物体表面异常，且不涉及大量样本数据的收集，具有较高的实用价值。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例公开的基于人工智能的物体表面异常检测方法的示意图；
图2示例了本申请实施例公开的相似度值的判断依据的示意图；
图3为本申请实施例公开的基于人工智能的物体表面异常检测方法的另一示意图；
图4示例了本申请实施例公开的图像区域及其迁移后图像区域的示意图；
图5示例了本申请实施例公开的直方图的示意图；
图6为本申请实施例公开的基于人工智能的物体表面异常检测装置的示意图；
图7为本申请实施例公开的基于人工智能的物体表面异常检测装置的另一示意图；
图8为本申请实施例公开的基于人工智能的物体表面异常检测装置的另一示意图；
图9为本申请实施例公开的基于人工智能的物体表面异常检测设备的示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在一张图像中，物体表面异常可以表现为一种分布不规则的斑纹，其中典型场景有墙体鼓包、路面裂痕、铸件表面瑕疵等，可以通过红外图像、遥感图像、声呐图像等形式记录下物体表面的表面形态，然后通过本申请实施例的方法来对物体表面的异常状况进行检测。下面介绍本申请实施例提供的基于人工智能的物体表面异常检测方法。请参阅图1，本申请实施例提供的基于人工智能的物体表面异常检测方法可以包括如下步骤：
步骤S101，对待检测的图像进行目标检测，得到包含目标物体表面的第一目标图像，并确定该目标物体表面的检测类别。
本步骤可以从待检测的图像中提取出目标物体表面所在的图像区域，由目标物体表面所在的图像区域构成第一目标图像，避免了与目标物体表面无关的图像区域对检测的干扰；并且通过确定该目标物体表面的检测类别，便于后续找到与该检测类别相匹配的检测模型。
步骤S102，基于该目标物体表面的检测类别确定与该目标物体表面匹配的检测模型。
其中，该检测是预训练的，经过训练后，该检测模型被配置为，包括至少一种异常风格特征，具备将每一异常风格特征迁移到内容图像的能力，且被标注为包含物体表面异常的第一异常图像，与对该第一异常图像以任何一种异常风格特征，进行风格迁移后得到的第二异常图像的相似度值落在预设的第一范围之内；被标注为物体表面正常的第一正常图像，与对所述第一正常图像以任何一种异常风格特征，进行风格迁移后得到的第二正常图像的相似度值落在预设的第二范围之内。如图2所示，该第一范围与该第二范围互不重合。
可以理解的是，不同检测类别的目标物体表面对应有不同的检测模型，例如，对于路面裂痕设置有专门的检测模型A，对于铸件缺陷设置有专门的检测模型B。其中，检测模型A和检测模型B的整体架构一致，但是具体的风格参数不一致，所采用的风格图像也不一致。
此外，当已经确定待检测图像中的目标物体表面所在区域，同时也已经确定目标物体表面的检测类别以及该目标物体表面所匹配的检测模型，则可以无需执行上述步骤S101及步骤S102。
步骤S103，通过该检测模型将选定的异常风格特征迁移到第一目标图像，得到经过风格迁移的第二目标图像。
其中，该检测模型可以包含VGG19网络或者VGG16网络，将预先定义好的包含选定的异常风格特征的风格图像与该待检测的第一目标图像输入至该检测模型，则可以得到各层卷积层的特征图，结合该检测模型的风格参数，可以得到由这些特征图确定的输出，该输出即构成经过风格迁移的第二目标图像。
步骤S104，获取第一目标图像与第二目标图像的相似度值。
其中，该相似度值用于衡量第一目标图像与第二目标图像的相似程度。
步骤S105，基于该相似度值确定第一目标图像的物体表面异常情况。
可以理解的是，当前面提及的选定的异常风格特征为一检测类别下某种物体表面异常的风格特征，那么，通过检测模型将该异常风格特征迁移到第一目标图像后，所得到的第二目标图像也会一定程度上具备该异常风格特征。这种情况下，假如第一目标图像与第二目标图像的相似程度比较大，即第一目标图像与第二目标图像的差异比较小，风格迁移这一操作对第一目标图像的更改比较小，意味着第一目标图像可能本身就包含该异常风格特征。相反地，假如第一目标图像与第二目标图像的相似程度比较小，则意味着第一目标图像可能是不包含该异常风格特征，即，可以为物体表面正常的情况，也可能是包含其他物体表面异常的情况。
本申请实施例首先准备好训练后的检测模型，其中，该检测模型被配置为，包括至少一种异常风格特征，具备将每一异常风格特征迁移到内容图像的能力，且被标注为包含物体表面异常的第一异常图像，与对该第一异常图像进行风格迁移后得到的第二异常图像的相似度值落在预设的第一范围之内；被标注为物体表面正常的第一正常图像，与对该第一正常图像进行风格迁移后得到的第二正常图像的相似度值落在预设的第二范围之内。接着，对待检测的图像进行目标检测，得到包含目标物体表面的第一目标图像，并确定该目标物体表面的检测类别。然后，基于该目标物体表面的检测类别确定与该目标物体表面匹配的检测模型。通过该检测模型将选定的异常风格特征迁移到第一目标图像，得到经过风格迁移的第二目标图像。获取第一目标图像与第二目标图像的相似度值，其中，该相似度值用于衡量第一目标图像与第二目标图像的相似程度。由于该检测模型对于包含已归类的物体表面异常的图像所计算得到的相似度值落在所述第一范围之内，对于归类为正常物体表面的图像所计算得到的相似度值落在所述第二范围之内，因此，基于该相似度值，可以确定第一目标图像的物体表面异常情况。可以理解的是，对于相似度值落在所述第一范围以及所述第二范围之外的情况，可以确定为包含未被归类的物体表面异常。通过本申请实施例可以检测出已归类及未归类的物体表面异常，且不涉及大量样本数据的收集，具有较高的实用价值。
在本申请的一些实施例中，该检测模型的训练过程，可以包括：
S1，获取若干风格图像、若干被标注为包含物体表面异常的第一异常图像以及若干被标注为物体表面正常的第一正常图像。
其中，每一风格图像包含一种异常风格特征，用于表征预设的检测类别下的一种物体表面异常。例如，针对每一种异常风格特征，可以将一张包含该种异常风格特征的典型物体表面异常的图像作为风格图像，该风格图像在风格迁移中用作风格参考，即，将该风格图像的风格迁移到待处理的图像中；可以准备该种物体表面异常下的第一异常图像10张，以及不包含任何物体表面异常的第一正常图像10张，作为训练样本。
S2，针对每一风格图像：
S21，利用该风格图像包含的异常风格特征，计算得到每一第一异常图像的第一相似度值。
其中，该第一相似度值表征了第一异常图像与，利用该风格图像对该第一异常图像进行风格迁移后得到的图像的相似程度。
S22，利用该风格图像包含的异常风格特征，计算得到每一第一正常图像的第二相似度值。
其中，该第二相似度值表征了第一正常图像与，利用该风格图像对该第一正常图像进行风格迁移后得到的图像的相似程度。
S3，以该第一相似度值趋近于该第一范围，该第二相似度值趋近于该第二范围，以及该检测模型的风格损失和内容损失最小化为目标，更新该检测模型的风格参数。
具体地，该检测模型可以包含多个卷积层，每个卷积层里面有可以包含不同规则的卷积核。以上述S21的操作为例，将风格图像和作为内容图的第一异常图像作为输入，经过该检测模型，得到各层卷积层的特征图，在这些特征图中，层数越浅，记录内容图的特征图越具体，层数越深则越抽象；从风格图像的角度来说，层数越浅的特征图则记录着颜色纹理等信息，而层数越深的特征图则会记录更高级的信息。
假设在风格迁移过程中，在某一层得到的响应是
，其中，
为
层的过滤器的个数，
为
层的过滤器的大小，
表示第
个过滤器在位置
的输出，
表示提供内容的图像（内容图像），
表示生成的图像（生成图像），
和
分别代表内容图像和生成图像对于
层的响应，那么，风格损失函数可以表示为：
内容损失函数可以表示为：
可以理解的是，风格参数可以包含卷积层的层数以及卷积层中的卷积核等组件的具体参数，例如输入矩阵的形状（shape），卷积核的宽（w）和高（h），输入矩阵pad的信息，输入矩阵的dilation信息等。第一相似度值与第二相似度值之间的差距越大，意味着风格参数越合适，检测模型能更有效地区分杂乱图像和规则图像。
在本申请的一些实施例中，上述S21利用该风格图像包含的异常风格特征，计算得到每一第一异常图像的第一相似度值的过程，可以包括：
S211，针对每一第一异常图像，通过该检测模型将该异常风格特征迁移到该第一异常图像中，得到经过风格迁移的第二异常图像。
S212，计算得到该第一异常图像与该第二异常图像的第一相似度值。
可以理解的是，对于10张第一异常图像的情况，可以计算得到10个第一相似度值。
上述S22利用该风格图像包含的异常风格特征，计算得到每一第一正常图像的第二相似度值的过程，可以包括：
S221，针对每一第一正常图像，通过该检测模型将该异常风格特征迁移到该第一正常图像中，得到经过风格迁移的第二正常图像。
S222，计算得到该第一正常图像与该第二正常图像的第二相似度值。
同样地，对于10张第一正常图像的情况，可以计算得到10个第二相似度值。
在本申请的一些实施例中，请参阅图3，在上述步骤S103通过该检测模型将选定的异常风格特征迁移到第一目标图像之前，还可以包括：
步骤S106，对第一目标图像进行灰度化处理。
通过对第一目标图像进行灰度化处理，过滤掉第一目标图像中的色彩特征，使得可以从图像的线条、角度等特征进行杂乱风格评估，有利于提高运算效率。可以理解的是，对于红外图像、X光图像或声纳图像等，灰度化处理带来的效果作用不大，因此，对于该类图像，可以忽略该步骤。
在本申请的一些实施例中，上述步骤S104获取第一目标图像与第二目标图像的相似度值的过程，可以包括：
S1，采用同样的划分方式，将待检测的第一目标图像划分成尺寸相等且互不重合的多个图像区域，以及将第二目标图像划分成尺寸相等且互不重合的多个迁移后图像区域。
示例性地，请参阅图4，假设第一图像的尺寸为100×100像素，将其划分为25个图像区域（A1～A5、B1～B5、…、E1～E5），每个图像区域的尺寸为20×20；同样地，将第二图像划分成25个尺寸为20×20的迁移后图像区域（a1～a5、b1～b5、…、e1～e5）。
S2，针对每一图像区域，计算该图像区域，与，跟所述图像区域对应的迁移后图像区域的特征差异，得到该图像区域与该迁移后图像区域的相似度值。
具体地，如图4所示，对于图像区域A1，跟该图像区域对应的迁移后图像区域为a1，那么，计算图像区域A1与迁移后图像区域a1的特征差异，得到图像区域A1与迁移后图像区域a1的相似度值；对于图像区域A2，跟该图像区域对应的迁移后图像区域为a2，那么，计算图像区域A2与迁移后图像区域a2的特征差异，得到图像区域A2与迁移后图像区域a2的相似度值，以此类推。
在本申请的一些实施例中，上述S2计算该图像区域与跟该图像区域对应的迁移后图像区域的特征差异，得到该图像区域与该迁移后图像区域的相似度值的过程，可以包括：
S21，通过局部二值模式LBP算法提取该图像区域的纹理特征，得到第一直方图。
S22，通过LBP算法提取跟该图像区域对应的迁移后图像区域的纹理特征，得到第二直方图。
S23，利用预设的相似性度量函数计算第一直方图和第二直方图的相似程度，得到该图像区域与该迁移后图像区域的相似度值。
其中，LBP是一种用来描述图像局部纹理特征的算子，其具有旋转不变性和灰度不变性等显著的优点，可以用于纹理特征的提取。
相似性度量（Similarity Measurement）函数用于计算两个比较对象之间的相似性，在本申请的一些实施例中，可以采用最大对数似然（log-Likelihood）方法来计算第一直方图和第二直方图的相似程度。
具体地，请参阅图5，假设第一直方图及第二直方图中的类别取值为
，那么，通过最大对数似然对第一直方图
和第二直方图
的相似度值
可以表示为：
在本申请的一些实施例中，上述步骤S105基于该相似度值确定第一目标图像的物体表面异常情况的过程，可以包括：
S1，针对每一图像区域，判断该相似度值是否落在该第一范围之内。若是，执行S2；若否，执行S3。
S2，确定第一目标图像包含对应于该选定的异常风格特征的物体表面异常，且该物体表面异常定位在该图像区域内。
S3，判断该相似度值是否落在该第二范围之内。若是，执行S4；若否，执行S5。
S4，确定该图像区域不包含物体表面异常。
S5，确定第一目标图像包含未知的物体表面异常，且该未知的物体表面异常定位在该图像区域内。
下面对本申请实施例提供的基于人工智能的物体表面异常检测装置进行描述，下文描述的基于人工智能的物体表面异常检测装置与上文描述的基于人工智能的物体表面异常检测方法可相互对应参照。
请参见图6，本申请实施例提供的基于人工智能的物体表面异常检测装置，可以包括：
目标检测单元21，用于对待检测的图像进行目标检测，得到包含目标物体表面的第一目标图像，并确定所述目标物体表面的检测类别；
模型确定单元22，用于基于所述目标物体表面的检测类别确定与所述目标物体表面匹配的检测模型；
风格迁移单元23，用于通过所述检测模型将选定的异常风格特征迁移到第一目标图像，得到经过风格迁移的第二目标图像；
差异计算单元24，用于获取第一目标图像与第二目标图像的相似度值，所述相似度值用于衡量第一目标图像与第二目标图像的相似程度；
异常确定单元25，用于基于所述相似度值确定第一目标图像的物体表面异常情况；
其中，所述检测模型被配置为，包括至少一种异常风格特征，具备将每一异常风格特征迁移到内容图像的能力，且被标注为包含物体表面异常的第一异常图像，与对所述第一异常图像进行风格迁移后得到的第二异常图像的相似度值落在预设的第一范围之内；被标注为物体表面正常的第一正常图像，与对所述第一正常图像进行风格迁移后得到的第二正常图像的相似度值落在预设的第二范围之内。
在本申请的一些实施例中，请参阅图7，该基于人工智能的物体表面异常检测装置还可以包括灰度处理单元26，所述灰度处理单元26用于通过所述检测模型将选定的异常风格特征迁移到第一目标图像之前，对第一目标图像进行灰度化处理。
在本申请的一些实施例中，请参阅图8，该基于人工智能的物体表面异常检测装置还可以包括模型训练单元27，用于对检测模型进行训练，模型训练单元27对检测模型进行训练的过程，可以包括：
获取若干风格图像、若干被标注为包含物体表面异常的第一异常图像以及若干被标注为物体表面正常的第一正常图像，其中，每一风格图像包含一种异常风格特征，用于表征预设的检测类别下的一种物体表面异常；
针对每一风格图像：
利用所述风格图像包含的异常风格特征，计算得到每一第一异常图像的第一相似度值；
利用所述风格图像包含的异常风格特征，计算得到每一第一正常图像的第二相似度值；
以所述第一相似度值趋近于所述第一范围，所述第二相似度值趋近于所述第二范围，以及所述检测模型的风格损失和内容损失最小化为目标，更新所述检测模型的风格参数。
在本申请的一些实施例中，模型训练单元27利用所述风格图像包含的异常风格特征，计算得到每一第一异常图像的第一相似度值的过程，可以包括：
针对每一第一异常图像，通过所述检测模型将所述异常风格特征迁移到所述第一异常图像中，得到经过风格迁移的第二异常图像，并计算得到所述第一异常图像与所述第二异常图像的第一相似度值；
模型训练单元27利用所述风格图像包含的异常风格特征，计算得到每一第一正常图像的第二相似度值的过程，可以包括：
针对每一第一正常图像，通过所述检测模型将所述异常风格特征迁移到所述第一正常图像中，得到经过风格迁移的第二正常图像，并计算得到所述第一正常图像与所述第二正常图像的第二相似度值。
在本申请的一些实施例中，差异计算单元24获取第一目标图像与第二目标图像的相似度值的过程，可以包括：
采用同样的划分方式，将待检测的第一目标图像划分成尺寸相等且互不重合的多个图像区域，以及将第二目标图像划分成尺寸相等且互不重合的多个迁移后图像区域；
针对每一图像区域，计算所述图像区域与跟所述图像区域对应的迁移后图像区域的特征差异，得到所述图像区域与所述迁移后图像区域的相似度值。
在本申请的一些实施例中，差异计算单元24计算所述图像区域与跟所述图像区域对应的迁移后图像区域的特征差异，得到所述图像区域与所述迁移后图像区域的相似度值的过程，可以包括：
通过局部二值模式LBP算法提取所述图像区域的纹理特征，得到第一直方图；
通过LBP算法提取跟所述图像区域对应的迁移后图像区域的纹理特征，得到第二直方图；
利用预设的相似性度量函数计算第一直方图和第二直方图的相似程度，得到所述图像区域与所述迁移后图像区域的相似度值。
在本申请的一些实施例中，异常确定单元25基于所述相似度值确定第一目标图像的物体表面异常情况的过程，可以包括：
针对每一图像区域，判断所述相似度值是否落在所述第一范围之内；
若是，确定第一目标图像包含对应于所述选定的异常风格特征的物体表面异常，且所述物体表面异常定位在所述图像区域内；
若否，判断所述相似度值是否落在所述第二范围之内；
若是，确定所述图像区域不包含物体表面异常；若否，确定第一目标图像包含未知的物体表面异常，且所述未知的物体表面异常定位在所述图像区域内。
本申请实施例提供的基于人工智能的物体表面异常检测装置可应用于基于人工智能的物体表面异常检测设备，如计算机等。可选的，图9示出了基于人工智能的物体表面异常检测设备的硬件结构框图，参照图9，基于人工智能的物体表面异常检测设备的硬件结构可以包括：至少一个处理器31，至少一个通信接口32，至少一个存储器33和至少一个通信总线34。
在本申请实施例中，处理器31、通信接口32、存储器33、通信总线34的数量为至少一个，且处理器31、通信接口32、存储器33通过通信总线34完成相互间的通信；
处理器31可能是一个中央处理器CPU，或者是特定集成电路ASIC（ApplicationSpecific Integrated Circuit），或者是被配置成实施本申请实施例的一个或多个集成电路等；
存储器32可能包含高速RAM存储器，也可能还包括非易失性存储器（non-volatilememory）等，例如至少一个磁盘存储器；
其中，存储器33存储有程序，处理器31可调用存储器33存储的程序，所述程序用于：
对待检测的图像进行目标检测，得到包含目标物体表面的第一目标图像，并确定所述目标物体表面的检测类别；
基于所述目标物体表面的检测类别确定与所述目标物体表面匹配的检测模型；
通过所述检测模型将选定的异常风格特征迁移到第一目标图像，得到经过风格迁移的第二目标图像；
获取第一目标图像与第二目标图像的相似度值，所述相似度值用于衡量第一目标图像与第二目标图像的相似程度；
基于所述相似度值确定第一目标图像的物体表面异常情况；
其中，所述检测模型被配置为，包括至少一种异常风格特征，具备将每一异常风格特征迁移到内容图像的能力，且被标注为包含物体表面异常的第一异常图像，与对所述第一异常图像进行风格迁移后得到的第二异常图像的相似度值落在预设的第一范围之内；被标注为物体表面正常的第一正常图像，与对所述第一正常图像进行风格迁移后得到的第二正常图像的相似度值落在预设的第二范围之内。
可选的，所述程序的细化功能和扩展功能可参照上文描述。
本申请实施例还提供一种存储介质，该存储介质可存储有适于处理器执行的程序，所述程序用于：
对待检测的图像进行目标检测，得到包含目标物体表面的第一目标图像，并确定所述目标物体表面的检测类别；
基于所述目标物体表面的检测类别确定与所述目标物体表面匹配的检测模型；
通过所述检测模型将选定的异常风格特征迁移到第一目标图像，得到经过风格迁移的第二目标图像；
获取第一目标图像与第二目标图像的相似度值，所述相似度值用于衡量第一目标图像与第二目标图像的相似程度；
基于所述相似度值确定第一目标图像的物体表面异常情况；
其中，所述检测模型被配置为，包括至少一种异常风格特征，具备将每一异常风格特征迁移到内容图像的能力，且被标注为包含物体表面异常的第一异常图像，与对所述第一异常图像进行风格迁移后得到的第二异常图像的相似度值落在预设的第一范围之内；被标注为物体表面正常的第一正常图像，与对所述第一正常图像进行风格迁移后得到的第二正常图像的相似度值落在预设的第二范围之内。
可选的，所述程序的细化功能和扩展功能可参照上文描述。
综上所述：
本申请首先准备好训练后的检测模型，其中，所述检测模型被配置为，包括至少一种异常风格特征，具备将每一异常风格特征迁移到内容图像的能力，且被标注为包含物体表面异常的第一异常图像，与对所述第一异常图像进行风格迁移后得到的第二异常图像的相似度值落在预设的第一范围之内；被标注为物体表面正常的第一正常图像，与对所述第一正常图像进行风格迁移后得到的第二正常图像的相似度值落在预设的第二范围之内。接着，对待检测的图像进行目标检测，得到包含目标物体表面的第一目标图像，并确定所述目标物体表面的检测类别。然后，基于所述目标物体表面的检测类别确定与所述目标物体表面匹配的检测模型。通过所述检测模型将选定的异常风格特征迁移到第一目标图像，得到经过风格迁移的第二目标图像。获取第一目标图像与第二目标图像的相似度值，其中，所述相似度值用于衡量第一目标图像与第二目标图像的相似程度。由于所述检测模型对于包含已归类的物体表面异常的图像所计算得到的相似度值落在所述第一范围之内，对于归类为正常物体表面的图像所计算得到的相似度值落在所述第二范围之内，因此，基于所述相似度值，可以确定第一目标图像的物体表面异常情况。可以理解的是，对于相似度值落在所述第一范围以及所述第二范围之外的情况，可以确定为包含未被归类的物体表面异常。通过本申请可以检测出已归类及未归类的物体表面异常，且不涉及大量样本数据的收集，具有较高的实用价值。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间可以根据需要进行组合，且相同相似部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种基于人工智能的物体表面异常检测方法，其特征在于，包括：
对待检测的图像进行目标检测，得到包含目标物体表面的第一目标图像，并确定所述目标物体表面的检测类别；
基于所述目标物体表面的检测类别确定与所述目标物体表面匹配的检测模型；
通过所述检测模型将选定的异常风格特征迁移到第一目标图像，得到经过风格迁移的第二目标图像；
获取第一目标图像与第二目标图像的相似度值，所述相似度值用于衡量第一目标图像与第二目标图像的相似程度；
基于所述相似度值确定第一目标图像的物体表面异常情况；
其中，所述检测模型被配置为，包括至少一种异常风格特征，具备将每一异常风格特征迁移到内容图像的能力，且被标注为包含物体表面异常的第一异常图像，与对所述第一异常图像进行风格迁移后得到的第二异常图像的相似度值落在预设的第一范围之内；被标注为物体表面正常的第一正常图像，与对所述第一正常图像进行风格迁移后得到的第二正常图像的相似度值落在预设的第二范围之内。
2.根据权利要求1所述的方法，其特征在于，所述获取第一目标图像与第二目标图像的相似度值的过程，包括：
采用同样的划分方式，将待检测的第一目标图像划分成尺寸相等且互不重合的多个图像区域，以及将第二目标图像划分成尺寸相等且互不重合的多个迁移后图像区域；
针对每一图像区域，计算所述图像区域与跟所述图像区域对应的迁移后图像区域的特征差异，得到所述图像区域与所述迁移后图像区域的相似度值。
3.根据权利要求2所述的方法，其特征在于，计算所述图像区域与跟所述图像区域对应的迁移后图像区域的特征差异，得到所述图像区域与所述迁移后图像区域的相似度值的过程，包括：
通过局部二值模式LBP算法提取所述图像区域的纹理特征，得到第一直方图；
通过LBP算法提取跟所述图像区域对应的迁移后图像区域的纹理特征，得到第二直方图；
利用预设的相似性度量函数计算第一直方图和第二直方图的相似程度，得到所述图像区域与所述迁移后图像区域的相似度值。
4.根据权利要求3所述的方法，其特征在于，所述基于所述相似度值确定第一目标图像的物体表面异常情况的过程，包括：
针对每一图像区域，判断所述相似度值是否落在所述第一范围之内；
若是，确定第一目标图像包含对应于所述选定的异常风格特征的物体表面异常，且所述物体表面异常定位在所述图像区域内；
若否，判断所述相似度值是否落在所述第二范围之内；
若是，确定所述图像区域不包含物体表面异常；若否，确定第一目标图像包含未知的物体表面异常，且所述未知的物体表面异常定位在所述图像区域内。
5.根据权利要求1所述的方法，其特征在于，通过所述检测模型将选定的异常风格特征迁移到第一目标图像之前，还包括：
对第一目标图像进行灰度化处理。
6.根据权利要求1至5任一项所述的方法，其特征在于，所述检测模型的训练过程，包括：
获取若干风格图像、若干被标注为包含物体表面异常的第一异常图像以及若干被标注为物体表面正常的第一正常图像，其中，每一风格图像包含一种异常风格特征，用于表征预设的检测类别下的一种物体表面异常；
针对每一风格图像：
利用所述风格图像包含的异常风格特征，计算得到每一第一异常图像的第一相似度值；
利用所述风格图像包含的异常风格特征，计算得到每一第一正常图像的第二相似度值；
以所述第一相似度值趋近于所述第一范围，所述第二相似度值趋近于所述第二范围，以及所述检测模型的风格损失和内容损失最小化为目标，更新所述检测模型的风格参数。
7.根据权利要求6所述的方法，其特征在于，利用所述风格图像包含的异常风格特征，计算得到每一第一异常图像的第一相似度值的过程，包括：
针对每一第一异常图像，通过所述检测模型将所述异常风格特征迁移到所述第一异常图像中，得到经过风格迁移的第二异常图像，并计算得到所述第一异常图像与所述第二异常图像的第一相似度值；
利用所述风格图像包含的异常风格特征，计算得到每一第一正常图像的第二相似度值的过程，包括：
针对每一第一正常图像，通过所述检测模型将所述异常风格特征迁移到所述第一正常图像中，得到经过风格迁移的第二正常图像，并计算得到所述第一正常图像与所述第二正常图像的第二相似度值。
8.一种基于人工智能的物体表面异常检测装置，其特征在于，包括：
目标检测单元，用于对待检测的图像进行目标检测，得到包含目标物体表面的第一目标图像，并确定所述目标物体表面的检测类别；
模型确定单元，用于基于所述目标物体表面的检测类别确定与所述目标物体表面匹配的检测模型；
风格迁移单元，用于通过所述检测模型将选定的异常风格特征迁移到第一目标图像，得到经过风格迁移的第二目标图像；
差异计算单元，用于获取第一目标图像与第二目标图像的相似度值，所述相似度值用于衡量第一目标图像与第二目标图像的相似程度；
异常确定单元，用于基于所述相似度值确定第一目标图像的物体表面异常情况；
其中，所述检测模型被配置为，包括至少一种异常风格特征，具备将每一异常风格特征迁移到内容图像的能力，且被标注为包含物体表面异常的第一异常图像，与对所述第一异常图像进行风格迁移后得到的第二异常图像的相似度值落在预设的第一范围之内；被标注为物体表面正常的第一正常图像，与对所述第一正常图像进行风格迁移后得到的第二正常图像的相似度值落在预设的第二范围之内。
9.一种基于人工智能的物体表面异常检测设备，其特征在于，包括：存储器和处理器；
所述存储器，用于存储程序；
所述处理器，用于执行所述程序，实现如权利要求1~7中任一项所述的基于人工智能的物体表面异常检测方法的各个步骤。
10.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1~7中任一项所述的基于人工智能的物体表面异常检测方法的各个步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210526132.2A CN114663428B (zh) | 2022-05-16 | 2022-05-16 | 基于人工智能的物体表面异常检测方法、装置及相关设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210526132.2A CN114663428B (zh) | 2022-05-16 | 2022-05-16 | 基于人工智能的物体表面异常检测方法、装置及相关设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114663428A true CN114663428A (zh) | 2022-06-24 |
| CN114663428B CN114663428B (zh) | 2022-09-02 |
Family
ID=82036613
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210526132.2A Active CN114663428B (zh) | 2022-05-16 | 2022-05-16 | 基于人工智能的物体表面异常检测方法、装置及相关设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114663428B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001255291A (ja) * | 2000-03-10 | 2001-09-21 | Toppan Printing Co Ltd | 転写マスクの欠陥検査方法及び欠陥検査装置 |
| CN108596830A (zh) * | 2018-04-28 | 2018-09-28 | 国信优易数据有限公司 | 一种图像风格迁移模型训练方法以及图像风格迁移方法 |
| CN110310222A (zh) * | 2019-06-20 | 2019-10-08 | 北京奇艺世纪科技有限公司 | 一种图像风格迁移方法、装置、电子设备及存储介质 |
| US20200219274A1 (en) * | 2017-08-01 | 2020-07-09 | 3M Innovative Properties Company | Neural style transfer for image varietization and recognition |
| CN111695605A (zh) * | 2020-05-20 | 2020-09-22 | 平安科技（深圳）有限公司 | 基于oct图像的图像识别方法、服务器及存储介质 |
| CN112381788A (zh) * | 2020-11-13 | 2021-02-19 | 北京工商大学 | 一种基于双分支匹配网络的零部件表面缺陷增量检测方法 |
| US20210358164A1 (en) * | 2020-05-15 | 2021-11-18 | Nvidia Corporation | Content-aware style encoding using neural networks |
| CN114332086A (zh) * | 2022-03-14 | 2022-04-12 | 启东市固德防水布有限公司 | 基于风格迁移和人工智能的纺织品缺陷检测方法及系统 |
-
2022
- 2022-05-16 CN CN202210526132.2A patent/CN114663428B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001255291A (ja) * | 2000-03-10 | 2001-09-21 | Toppan Printing Co Ltd | 転写マスクの欠陥検査方法及び欠陥検査装置 |
| US20200219274A1 (en) * | 2017-08-01 | 2020-07-09 | 3M Innovative Properties Company | Neural style transfer for image varietization and recognition |
| CN108596830A (zh) * | 2018-04-28 | 2018-09-28 | 国信优易数据有限公司 | 一种图像风格迁移模型训练方法以及图像风格迁移方法 |
| CN110310222A (zh) * | 2019-06-20 | 2019-10-08 | 北京奇艺世纪科技有限公司 | 一种图像风格迁移方法、装置、电子设备及存储介质 |
| US20210358164A1 (en) * | 2020-05-15 | 2021-11-18 | Nvidia Corporation | Content-aware style encoding using neural networks |
| CN111695605A (zh) * | 2020-05-20 | 2020-09-22 | 平安科技（深圳）有限公司 | 基于oct图像的图像识别方法、服务器及存储介质 |
| CN112381788A (zh) * | 2020-11-13 | 2021-02-19 | 北京工商大学 | 一种基于双分支匹配网络的零部件表面缺陷增量检测方法 |
| CN114332086A (zh) * | 2022-03-14 | 2022-04-12 | 启东市固德防水布有限公司 | 基于风格迁移和人工智能的纺织品缺陷检测方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114663428B (zh) | 2022-09-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Li et al. | Automatic pixel‐level multiple damage detection of concrete structure using fully convolutional network | |
| CN114418957B (zh) | 基于机器人视觉的全局和局部二值模式图像裂缝分割方法 | |
| WO2021000524A1 (zh) | 孔位保护门检测方法、装置、计算机设备和存储介质 | |
| Jahanshahi et al. | Adaptive vision-based crack detection using 3D scene reconstruction for condition assessment of structures | |
| Nayyeri et al. | Foreground–background separation technique for crack detection | |
| US9846929B2 (en) | Fast density estimation method for defect inspection application | |
| CN110633711B (zh) | 训练特征点检测器的计算机装置、方法及特征点检测方法 | |
| CN114332026B (zh) | 一种铭牌表面划痕缺陷的视觉检测方法及装置 | |
| CN110136130A (zh) | 一种检测产品缺陷的方法及装置 | |
| CN111626295B (zh) | 车牌检测模型的训练方法和装置 | |
| CN111126393A (zh) | 车辆外观改装判断方法、装置、计算机设备及存储介质 | |
| CN111144425B (zh) | 检测拍屏图片的方法、装置、电子设备及存储介质 | |
| CN111814852A (zh) | 图像检测方法、装置、电子设备和计算机可读存储介质 | |
| CN114723677A (zh) | 图像缺陷检测方法、检测装置、检测设备及存储介质 | |
| Maestro-Watson et al. | Deep learning for deflectometric inspection of specular surfaces | |
| CN114078127B (zh) | 物件的缺陷检测及计数方法、装置、设备和存储介质 | |
| CN111986103A (zh) | 图像处理方法、装置、电子设备和计算机存储介质 | |
| CN115829942A (zh) | 基于非负性约束稀疏自编码器的电子电路缺陷检测方法 | |
| CN117288761A (zh) | 一种基于测试材料的瑕疵检测分类评估方法及系统 | |
| CN113781511B (zh) | 传送带边缘磨损检测方法、装置、计算机设备及存储介质 | |
| CN117474918B (zh) | 异常检测方法和装置、电子设备以及存储介质 | |
| CN111178200A (zh) | 一种仪表盘指示灯的识别方法及计算设备 | |
| CN117523087B (zh) | 基于内容识别的三维模型优化方法 | |
| CN113658345A (zh) | 一种样本标注方法及装置 | |
| CN114663428B (zh) | 基于人工智能的物体表面异常检测方法、装置及相关设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Method, device, and related equipment for detecting surface anomalies of objects based on artificial intelligence Effective date of registration: 20230525 Granted publication date: 20220902 Pledgee: Bank of China Limited by Share Ltd. Guangzhou Panyu branch Pledgor: Networks Technology Co.,Ltd. Registration number: Y2023980041774 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right |