CN113657401A - 一种用于缺陷检测的概率图可视化方法及装置 - Google Patents

Abstract

本申请涉及缺陷检测技术领域，涉及一种用于缺陷检测的概率图可视化方法及装置。为了解决现有技术中不能直观显示像素点缺陷类别的概率信息、遗漏背景类别相关信息的问题。所述方法包括：将待检测目标图像输入至语义分割模型，得到与待检测目标图像对应的多通道概率图；根据多通道概率图，获取每个类别中同一像素点的概率，比较得出每个像素点的最大概率；基于每个最大概率对应的类别，记录每个最大概率对应类别的索引号；根据预设类别对应的索引号，判断每个最大概率对应的类别种类；根据类别种类，对每个最大概率进行处理，得到包含每个像素点属于某一类别概率的单通道概率图；将单通道概率图转化为RGB图像，得到伪彩色图，以实现概率图可视化。

Description

一种用于缺陷检测的概率图可视化方法及装置

技术领域

本申请涉及缺陷检测技术领域，尤其涉及一种用于缺陷检测的概率图可视化方法及装置。

背景技术

表面缺陷检测是采用先进的机器视觉检测技术，对工件表面的斑点、凹坑、划痕、色差、缺损等缺陷进行检测。在表面缺陷检测方面，语义分割可以精确地预测出缺陷的轮廓，因而对于精度要求高的缺陷检测任务，主要采用语义分割模型去进行表面缺陷检测。

目前，采用用于对图像中每个像素点进行分类的语义分割模型去进行表面缺陷检测，通常包含缺陷的待检测目标图像通过语义分割模型输出得到与待检测目标图像对应包含每个像素点属于各类别概率的多通道概率图，其中，多通道概率图是包含缺陷类别和背景类别的概率数组图。取每个像素点概率最大的缺陷类别作为此像素点的缺陷类别，得到只显示缺陷的掩码图像。采用轮廓分析方法对掩码图像进行轮廓分析，得到缺陷边缘信息，并显示到待检测目标图像中。

但这种直接通过获取像素点概率最大的缺陷类别确定每个像素点缺陷类别的方法，不能直观显示每个像素点缺陷类别的概率信息，且缺陷类别显示不突出。同时，该方法遗漏背景类别相关的信息，如背景类别的概率(即，背景类别的置信度)。

发明内容

本申请提供了一种用于缺陷检测的概率图可视化方法及装置，以解决现有技术中不能直观显示像素点缺陷类别的概率信息、遗漏背景类别相关信息的问题。

本申请的第一方面提供一种用于缺陷检测的概率图可视化方法，所述方法包括：

将待检测目标图像输入至语义分割模型，得到与所述待检测目标图像对应的多通道概率图，其中，所述多通道概率图中通道与类别一一对应，且类别为分割结果类别；

根据所述多通道概率图，获取每个类别中同一像素点的概率，比较得出每个像素点的最大概率；

基于每个所述最大概率对应的类别，记录每个所述最大概率对应类别的索引号，其中，索引号用于区分多个类别；

根据预设类别对应的索引号，判断每个所述最大概率对应的类别种类；

根据所述类别种类，对每个所述最大概率进行处理，得到包含每个像素点属于某一类别概率的单通道概率图；

将所述单通道概率图转化为RGB图像，得到对应的伪彩色图，以实现概率图可视化。

在一些实施例中，所述根据预设类别对应的索引号，包括：所述预设类别包括背景类别和缺陷类别，设定所述背景类别对应的索引号为0，所述缺陷类别对应的索引号为其他自然数。

在一些实施例中，所述根据预设类别对应的索引号，判断每个所述最大概率对应的类别种类，具体步骤，包括：

若所述最大概率对应类别的索引号为0，则所述最大概率对应的类别种类为背景类别；若所述最大概率对应类别的索引号为其他自然数，则所述最大概率对应的类别种类为缺陷类别。

在一些实施例中，所述根据所述类别种类，对每个所述最大概率进行处理，得到包含每个像素点属于某一类别概率的单通道概率图，具体步骤，包括：

根据所述类别种类为背景类别，对所述最大概率进行抑制，确定所述最大概率对应像素点的概率为1-P(A)，其中，P(A)为所述像素点的最大概率；根据所述类别种类为缺陷类别，对所述最大概率进行保留，确定所述最大概率对应的像素点概率为P(A)；得到包含每个像素点属于某一类别概率的单通道概率图。

在一些实施例中，将所述单通道概率图转化为RGB图像，得到对应的伪彩色图，以实现概率图可视化，具体步骤，包括：

将所述单通道概率图中每个像素点的概率乘以255，得到灰度图像；通过颜色映射算法对所述灰度图像进行颜色映射，得到对应的伪彩色图，以实现概率图可视化。

在一些实施例中，所述单通道概率图用于表示每个像素点属于背景类别、或缺陷类别的概率。

本申请的第二方面提供一种用于缺陷检测的概率图可视化装置，包括：

输入模块，用于将待检测目标图像输入至语义分割模型，得到与所述待检测目标图像对应的多通道概率图，其中，所述多通道概率图中通道与类别一一对应，且类别为分割结果类别；确定模块，用于根据多通道概率图，获取每个类别中同一像素点的概率，比较得出每个像素点的最大概率；记录模块，用于基于每个所述最大概率对应的类别，记录每个所述最大概率对应类别的索引号，其中，索引号用于区分多个类别；判断模块，用于根据预设类别对应的索引号，判断每个所述最大概率对应的类别种类；处理模块，用于根据所述类别种类，对每个所述最大概率进行处理，得到包含每个像素点属于某一类别概率的单通道概率图；转换模块，用于将所述单通道概率图转化为RGB图像，得到对应的伪彩色图，以实现概率图可视化。

在一些实施例中，所述判断模块，具体用于：

若所述最大概率对应类别的索引号为0，则所述最大概率对应的类别种类为背景类别；若所述最大概率对应类别的索引号为其他自然数，则所述最大概率对应的类别种类为缺陷类别。

在一些实施例中，所述处理模块，具体用于：

根据所述类别种类为背景类别，对所述最大概率进行抑制，确定所述最大概率对应像素点的概率为1-P(A)，其中，P(A)为所述像素点的最大概率；根据所述类别种类为缺陷类别，对所述最大概率进行保留，确定所述最大概率对应的像素点概率为P(A)；得到包含每个像素点属于某一类别概率单通道概率图。

在一些实施例中，所述转换模块，具体用于：

将所述单通道概率图中每个像素点的概率乘以255，得到灰度图像；通过颜色映射算法对所述灰度图像进行颜色映射，得到对应的伪彩色图，以实现概率图可视化。

本申请提供的技术方案包括以下有益技术效果：本申请提供一种用于缺陷检测的概率图可视化方法及装置，通过对背景类别的抑制，以实现突出显示缺陷类别的概率信息，且显示背景类别的概率信息。进一步通过将单通道概率图转化为RGB图像，得到对应的伪彩色图，以实现直观显示每个像素点的概率信息；进一步通过对灰度图像进行颜色映射，以实现有效突出灰度图像中的属于背景类别和缺陷类别过度区域像素点的概率信息。

附图说明

为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为现有技术中语义分割模型结构示意图；

图2为本申请实施例提供的一种用于缺陷检测的概率图可视化方法的流程示意图；

图3为本申请实施例提供的经语义模型分割得到分割图像的结构示意图；

图4为本申请实施例一提供的灰度图像的结构示意图；

图5为本申请实施例一提供的伪彩色图的结构示意图；

图6为本申请实施例一提供的灰度图像局部放大的结构示意图；

图7为本申请实施例一提供的伪彩色图局部放大的结构示意图；

图8为本申请实施例二提供的灰度图像的结构示意图；

图9为本申请实施例二提供的伪彩色图的结构示意图。

具体实施方式

为了使本领域技术人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对申请实施例中的技术方案进行清楚、完整地描述；显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

图1示出了现有技术中语义分割模型的结构示意图。

语义分割结合了图像分类、目标检测和图像分割，通过一定的方法将图像分割成具有一定语义含义的区域块，并识别出每个区域块的语义类别，实现从底层到高层的语义推理过程，最终得到一幅具有逐像素语义标注的分割图像。换言之，将像素按照图像中表达语义含义的不同进行分组/分割。

实施例1

请参阅图2，本申请实施例提供的一种用于缺陷检测的概率图可视化方法的流程示意图。所述方法包括如下步骤：

在步骤201中，将待检测目标图像输入至语义分割模型，得到与所述待检测目标图像对应的多通道概率图，其中，所述多通道概率图中通道与类别一一对应，且类别为分割结果类别。

在一些实施例中，语义分割模型设置为对待检测目标图像中每个像素点进行分类，针对物体表面缺陷区域像素点进行图像分割，输出结果为C*H*W的多通道概率图，其中，C为类别数，H为图像宽度，W为图像高度，且类别与多通道概率图中通道一一对应。

需要注意的是：多通道概率图中概率为每个像素点属于各个通道(即，分割结果类别)的概率。

在步骤202中，根据所述多通道概率图，获取每个类别中同一像素点的概率，比较得出每个像素点的最大概率。

图3示出了本申请实施例提供的经语义模型分割得到分割图像的结构示意图。

在一些实施例中，获取图像中每个像素点属于不同类别的概率。在一些实施例中，一张图像经语义分割模型分成类别为4的分割图像，如图3所示。多个类别包括：第一类别、第二类别、第三类别…。则图像中某像素点属于第一类别的概率为0.04、第二类别的概率为0.03、第三类别的概率为0.03、第四类别的概率为0.9，比较得出该像素点的最大概率为0.9。

在步骤203中，基于每个所述最大概率对应的类别，记录每个所述最大概率对应类别的索引号，其中，索引号用于区分多个类别。

在一些实施例中，设定用于区分多个不同类别的索引号，第一类别对应索引为0,第二类别对应索引为1，第三类别对应索引为2，第四类别对应索引为3…，基于所述最大概率对应的类别，判断所述最大概率对应类别的索引号并记录，则该像素点的最大概率对应类别的索引号为3，并记录。

在步骤204中，根据预设类别对应的索引号，判断每个所述最大概率对应的类别种类。

在一些实施例中，所述根据预设类别对应的索引号，包括：所述预设类别包括背景类别和缺陷类别，设定所述背景类别对应的索引号为0，所述缺陷类别对应的索引号为其他自然数。

其中，缺陷类别对应多个类别，通常设定缺陷类别对应类别的索引号为1、2、3…等自然数，背景类别对应类别的索引号为0。

在一些实施例中，所述根据预设类别对应的索引号，判断每个所述最大概率对应的类别种类，具体步骤，包括：若所述最大概率对应类别的索引号为0，则所述最大概率对应的类别种类为背景类别；若所述最大概率对应类别的索引号为其他自然数，则所述最大概率对应的类别种类为缺陷类别，则该像素点最大概率对应第四类别的类别种类为缺陷类别。

在步骤205中，根据所述类别种类，对每个所述最大概率进行处理，得到包含每个像素点属于某一类别概率的单通道概率图。

在一些实施例中，所述单通道概率图用于表示每个像素点属于背景类别、或缺陷类别的概率。其中，像素点属于背景类别的概率为该像素点最大概率经抑制后的概率，以凸显缺陷类别的概率(即，置信度)，同时也未丢弃背景类别的置信度。

需要注意的是：单通道概率图中单通道与某一个类别对应，其中，某一个类别为背景类别、或缺陷类别。

在一些实施例中，所述根据所述类别种类，对每个所述最大概率进行处理，得到包含每个像素点属于某一类别概率的单通道概率图，具体步骤，包括：

根据所述类别种类为背景类别，对所述最大概率进行抑制，确定所述最大概率对应像素点的概率为1-P(A)，其中，P(A)为所述像素点的最大概率；根据所述类别种类为缺陷类别，对所述最大概率进行保留，确定所述最大概率对应的像素点概率为P(A)；得到包含每个像素点属于某一类别概率的单通道概率图。

在一些实施例中，获取图像中每个像素点的最大概率。根据像素点最大概率对应的类别种类为背景类别，对此像素点最大概率进行抑制，确定此像素点的概率为1-P(A)，其中，P(A)为此像素点的最大概率；根据像素点最大概率对应的类别种类为缺陷类别，对此像素点最大概率进行保留，确定此像素点的概率为P(A)；直至遍历完图像中每个像素点，得到对应的单通道概率图。

在步骤206中，将所述单通道概率图转化为RGB图像，得到对应的伪彩色图，以实现概率图可视化。

图4示出了本申请实施例一提供的灰度图像的结构示意图。

在一些实施例中，将所述单通道概率图转化为RGB图像，得到对应的伪彩色图，以实现概率图可视化，具体步骤，包括：将所述单通道概率图中每个像素点的概率乘以255，得到灰度图像；通过颜色映射算法对所述灰度图像进行颜色映射，得到对应的伪彩色图，以实现概率图可视化。

在一些实施例中，遍历单通道概率图中每个像素点，将每个像素点的概率乘以255，转换为灰度图像(灰度图像的灰度值范围为0～255)，如图4所示。在一些实施例中，在灰度图中灰度值0表示概率为0，灰度值255表示概率为1，越接近于黑色，概率越小，即置信度越低，越接近于白色，概率越大即置信度越高。

图5示出了本申请实施例一提供的伪彩色图的结构示意图。

在一些实施例中，由于人的视觉系统对灰度图像中微小变化不敏感，通过颜色映射算法对所述灰度图像进行颜色映射后，将灰度图像转换为伪彩色图，如图5所示，以实现凸显这种变化。在一些实施例中，伪彩色图中RGB值(0，0，128)对应概率为0，即蓝色，RGB值(128，0，0)对应概率为1，即红色。颜色值越接近于蓝色表示概率越低，即置信度越低，颜色值越接近于红色表示概率越大，即置信度越高。

在一些实施例中，灰色图像中和伪彩色图相对应，即冷色调的蓝色对应低灰度值，暖色调的红色对应高灰度值。

图6示出了本申请实施例一提供的灰度图像局部放大的结构示意图。

图7示出了本申请实施例一提供的伪彩色图局部放大的结构示意图。

从图6中可以看出，在缺陷边缘区域的像素点处于背景类别和缺陷类别的过渡区域，无法清晰、明显的看出像素点的概率信息。通过将灰度图像转化为伪彩色图，以实现凸显处在缺陷边缘区域像素点的概率信息，直观、清晰的显示微小变化。图7中以不同颜色凸显像素点的概率大小，通过观察颜色判断像素点的概率，例如接近于背景(蓝色)，可判断该像素点的置信度越低；越接近与缺陷(红色)，可判断该像素点的置信度越高。

实施例2

图8示出了本申请实施例二提供的灰度图像的结构示意图。

根据多通道概率图进行概率阈值的设置，滤除低置信度的检测结果。在一些实施例中，如图8所示，左上角检测出一处缺陷，但该缺陷的置信度低，灰度值约为157，通过计算对应的概率(157除以255约等于0.6)，设置概率阈值为0.6以滤除该处缺陷。

图9示出了本申请实施例二提供的伪彩色图的结构示意图。

通过颜色映射算法对灰度图像进行颜色映射，得到对应的伪彩色图，如图9所示，靠近缺陷右侧存在一块与背景(蓝色)接近的区域，即该区域的中间部分与背景的灰度值很接近，相差10左右，通过伪彩色图以凸显灰度值的微小变化。

本申请还提供了一种用于缺陷检测的概率图可视化装置，包括：

输入模块，用于将待检测目标图像输入至语义分割模型，得到与所述待检测目标图像对应的多通道概率图，其中，所述多通道概率图中通道与类别一一对应，且类别为分割结果类别；

确定模块，用于根据多通道概率图，获取每个类别中同一像素点的概率，比较得出每个像素点的最大概率；

记录模块，用于基于每个所述最大概率对应的类别，记录每个所述最大概率对应类别的索引号，其中，索引号用于区分多个类别；

判断模块，用于根据预设类别对应的索引号，判断每个所述最大概率对应的类别种类；

处理模块，用于根据所述类别种类，对每个所述最大概率进行处理，得到包含每个像素点属于某一类别概率的单通道概率图；

转换模块，用于将所述单通道概率图转化为RGB图像，得到对应的伪彩色图，以实现概率图可视化。

在一些实施例中，所述判断模块，具体用于：若所述最大概率对应类别的索引号为0，则所述最大概率对应的类别种类为背景类别；若所述最大概率对应类别的索引号为其他自然数，则所述最大概率对应的类别种类为缺陷类别。

在一些实施例中，所述处理模块，具体用于：根据所述类别种类为背景类别，对所述最大概率进行抑制，确定所述最大概率对应像素点的概率为1-P(A)，其中，P(A)为所述像素点的最大概率；根据所述类别种类为缺陷类别，对所述最大概率进行保留，确定所述最大概率对应的像素点概率为P(A)；得到包含每个像素点属于某一类别概率单通道概率图。

在一些实施例中，，所述转换模块，具体用于：将所述单通道概率图中每个像素点的概率乘以255，得到灰度图像；通过颜色映射算法对所述灰度图像进行颜色映射，得到对应的伪彩色图，以实现概率图可视化。

采用本申请实施例提供的用于缺陷检测的概率图可视化装置，可以实施上述用于缺陷检测的概率图可视化方法中的各步骤，并获得相同的有益效果。采用本申请实施例提供的用于缺陷检测的概率图可视化装置，通过对背景类别的抑制，以实现突出显示缺陷类别的概率信息，且显示背景类别的概率信息。进一步通过将单通道概率图转化为RGB图像，得到对应的伪彩色图，以实现直观显示每个像素点的概率信息；进一步通过对灰度图像进行颜色映射，以实现有效突出灰度图像中的属于背景类别和缺陷类别过度区域像素点的概率信息。

需要说明的是，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本申请的具体实施方式，使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的内容，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (10)

1.一种用于缺陷检测的概率图可视化方法，其特征在于，包括：

将待检测目标图像输入至语义分割模型，得到与所述待检测目标图像对应的多通道概率图，其中，所述多通道概率图中通道与类别一一对应，且类别为分割结果类别；

根据所述多通道概率图，获取每个类别中同一像素点的概率，比较得出每个像素点的最大概率；

基于每个所述最大概率对应的类别，记录每个所述最大概率对应类别的索引号，其中，索引号用于区分多个类别；

根据预设类别对应的索引号，判断每个所述最大概率对应的类别种类；

根据所述类别种类，对每个所述最大概率进行处理，得到包含每个像素点属于某一类别概率的单通道概率图；

将所述单通道概率图转化为RGB图像，得到对应的伪彩色图，以实现概率图可视化。

2.根据权利要求1所述的概率图可视化方法，其特征在于，所述根据预设类别对应的索引号，包括：所述预设类别包括背景类别和缺陷类别，设定所述背景类别对应的索引号为0，所述缺陷类别对应的索引号为其他自然数。

3.根据权利要求2所述的概率图可视化方法，其特征在于，所述根据预设类别对应的索引号，判断每个所述最大概率对应的类别种类，具体步骤，包括：

若所述最大概率对应类别的索引号为0，则所述最大概率对应的类别种类为背景类别；

若所述最大概率对应类别的索引号为其他自然数，则所述最大概率对应的类别种类为缺陷类别。

4.根据权利要求3所述的概率图可视化方法，其特征在于，所述根据所述类别种类，对每个所述最大概率进行处理，得到包含每个像素点属于某一类别概率的单通道概率图，具体步骤，包括：

根据所述类别种类为背景类别，对所述最大概率进行抑制，确定所述最大概率对应像素点的概率为1-P(A)，其中，P(A)为所述像素点的最大概率；

根据所述类别种类为缺陷类别，对所述最大概率进行保留，确定所述最大概率对应的像素点概率为P(A)；

得到包含每个像素点属于某一类别概率的单通道概率图。

5.根据权利要求1所述的概率图可视化方法，其特征在于，将所述单通道概率图转化为RGB图像，得到对应的伪彩色图，以实现概率图可视化，具体步骤，包括：

将所述单通道概率图中每个像素点的概率乘以255，得到灰度图像；

通过颜色映射算法对所述灰度图像进行颜色映射，得到对应的伪彩色图，以实现概率图可视化。

6.根据权利要求2所述的概率图可视化方法，其特征在于，所述单通道概率图用于表示每个像素点属于背景类别、或缺陷类别的概率。

7.一种用于缺陷检测的概率图可视化装置，其特征在于，包括：

输入模块，用于将待检测目标图像输入至语义分割模型，得到与所述待检测目标图像对应的多通道概率图，其中，所述多通道概率图中通道与类别一一对应，且类别为分割结果类别；

确定模块，用于根据多通道概率图，获取每个类别中同一像素点的概率，比较得出每个像素点的最大概率；

记录模块，用于基于每个所述最大概率对应的类别，记录每个所述最大概率对应类别的索引号，其中，索引号用于区分多个类别；

判断模块，用于根据预设类别对应的索引号，判断每个所述最大概率对应的类别种类；

处理模块，用于根据所述类别种类，对每个所述最大概率进行处理，得到包含每个像素点属于某一类别概率的单通道概率图；

转换模块，用于将所述单通道概率图转化为RGB图像，得到对应的伪彩色图，以实现概率图可视化。

8.根据权利要求7所述的概率图可视化装置，其特征在于，所述判断模块，具体用于：

若所述最大概率对应类别的索引号为0，则所述最大概率对应的类别种类为背景类别；

若所述最大概率对应类别的索引号为其他自然数，则所述最大概率对应的类别种类为缺陷类别。

9.根据权利要求7所述的概率图可视化装置，其特征在于，所述处理模块，具体用于：

根据所述类别种类为背景类别，对所述最大概率进行抑制，确定所述最大概率对应像素点的概率为1-P(A)，其中，P(A)为所述像素点的最大概率；

根据所述类别种类为缺陷类别，对所述最大概率进行保留，确定所述最大概率对应的像素点概率为P(A)；

得到包含每个像素点属于某一类别概率单通道概率图。

10.根据权利要求7所述的概率图可视化装置，其特征在于，所述转换模块，具体用于：

将所述单通道概率图中每个像素点的概率乘以255，得到灰度图像；

通过颜色映射算法对所述灰度图像进行颜色映射，得到对应的伪彩色图，以实现概率图可视化。

Images