CN114897801A - Aoi缺陷检测方法、装置和设备及计算机介质 - Google Patents

Abstract

本申请公开了一种AOI缺陷检测方法，包括：获取待检测图像并进行ROI区域粗定位；基于语义分割模型对粗定位的ROI区域进行分割得到高精度区域；基于所述高精度区域分别进行检测模型预测和语义分割模型预测，分别得到缺陷区域的外接矩形区域和轮廓区域；将所述检测模型预测和所述语义分割模型预测的结果进行融合后输出；利用分类模型对输出的融合结果进行筛选得到目标缺陷检测结果。其可以解决现有技术中采用单一的深度学习算法模型难以达到较高的缺陷检出准确率及较低的缺陷误检率的问题。

Description

AOI缺陷检测方法、装置和设备及计算机介质

技术领域

本申请涉及自动光学检测技术领域，更具体地，涉及一种AOI缺陷检测方法、一种AOI缺陷检测装置和一种AOI缺陷检测设备以及一种计算机可读存储介质。

背景技术

工业AOI领域内的缺陷大多数都是小目标(目标缺陷在图像中占比非常小)，而且背景通常较为复杂。传统的CV算法鲁棒性较低，也难以处理背景较复杂的AOI检测场景；在背景十分复杂的工业AOI场景下，单一的深度学习算法模型存在较高的缺陷误检率，也难以达到较高的缺陷检出准确率，通常很难满足缺陷检测现场的高要求。

发明内容

针对现有技术的至少一个缺陷或改进需求，本发明提供了一种AOI缺陷检测方法、装置、设备及计算机可读存储介质，旨在解决现有技术中采用单一的深度学习算法模型难以达到较高的缺陷检出准确率及较低的缺陷误检率的问题。

为实现上述目的，按照本发明的第一个方面，提供了一种AOI缺陷检测方法，包括：获取待检测图像并进行ROI区域粗定位；基于语义分割模型对粗定位的ROI区域进行分割得到高精度区域；基于所述高精度区域分别进行检测模型预测和语义分割模型预测，分别得到缺陷区域的外接矩形区域和轮廓区域；将所述检测模型预测和所述语义分割模型预测的结果进行融合后输出；利用分类模型对输出的融合结果进行筛选得到目标缺陷检测结果。

在本发明的一个实施例中，所述基于语义分割模型对粗定位的ROI区域进行分割得到高精度区域，包括：利用深度学习语义分割模型对所述粗定位的ROI区域的四个角块区域进行分割得到四个角点，根据所述四个角点进行ROI区域透视变换得到所述高精度区域。

在本发明的一个实施例中，在所述基于所述高精度区域分别进行检测模型预测和语义分割模型预测之后，还包括：对所述检测模型结果和所述分割模型结果进行判断，当所述检测模型结果为空，所述分割模型结果为空，则输出为空；当所述检测模型结果为空，所述分割模型结果不为空，则输出所述分割模型结果；当所述检测模型结果不为空，所述分割模型结果为空，则输出所述检测模型结果；当所述检测模型结果不为空，所述分割模型结果不为空，则对于同一缺陷类别重合的区域，输出所述分割模型结果并将所述检测模型的置信度赋值给该缺陷，其余不重合区域的所述分割模型结果和所述检测模型结果均作为输出。

在本发明的一个实施例中，所述利用分类模型对融合结果进行筛选得到目标缺陷检测结果，包括：用分类模型对所有的所述检测模型结果和所述分割模型结果进行二分类判断，属于缺陷的判定为NG，属于误检的判定为OK，将判定为NG的所有结果作为本步骤的输出。

在本发明的一个实施例中，在所述利用分类模型对融合结果进行筛选之后，还包括：设置预设参数阈值对所述二分类判断得到的缺陷结果进行筛选，得到满足规格的缺陷检测结果；其中，所述预设参数指标包括：宽度、高度、面积、对比度中的一者或多者。

按照本发明的第二个方面，还提供了一种AOI缺陷检测装置，其包括：粗定位模块，用于获取待检测图像并进行ROI区域粗定位；高精度区域分割模块，用于基于语义分割模型对粗定位的ROI区域进行分割得到高精度区域；模型预测模块，用于基于所述高精度区域分别进行检测模型预测和语义分割模型预测，分别得到缺陷区域的外接矩形区域和轮廓区域；结果融合模块，用于将所述检测模型预测和所述语义分割模型预测的结果进行融合后输出；检测结果得到模块，用于利用分类模型对输出的融合结果进行筛选得到目标缺陷检测结果。

在本发明的一个实施例中，所述AOI缺陷检测装置还包括：模型预测结果判断模块，用于对所述检测模型结果和所述分割模型结果进行判断，当所述检测模型结果为空，所述分割模型结果为空，则输出为空；当所述检测模型结果为空，所述分割模型结果不为空，则输出所述分割模型结果；当所述检测模型结果不为空，所述分割模型结果为空，则输出所述检测模型结果；当所述检测模型结果不为空，所述分割模型结果不为空，则对于同一缺陷类别重合的区域，输出所述分割模型结果并将所述检测模型的置信度赋值给该缺陷，其余不重合区域的所述分割模型结果和所述检测模型结果均作为输出。

在本发明的一个实施例中，所述AOI缺陷检测装置还包括：阈值设置模块，用于设置预设参数阈值对所述二分类判断得到的缺陷结果进行筛选，得到满足规格的缺陷检测结果；其中，所述预设参数指标包括：宽度、高度、面积、对比度中的一者或多者。

按照本发明的第三个方面，还提供了一种AOI缺陷检测设备，其包括至少一个处理单元、以及至少一个存储单元，其中，所述存储单元存储有计算机程序，当所述计算机程序被所述处理单元执行时，使得所述处理单元执行上述中任一项实施例所述方法的步骤。

按照本发明的第四个方面，还提供了一种计算机可读存储介质，其存储有可由访问认证设备执行的计算机程序，当所述计算机程序在访问认证设备上运行时，使得所述访问认证设备上述中任一项实施例所述方法的步骤。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

本发明提供的一种AOI缺陷检测方法，通过引入语义分割模型对粗定位的ROI区域进行分割处理得到高精度区域，能够准确除去无关的图像区域从而降低缺陷检测的误检概率；

通过语义分割模型和检测模型并行对分割得到的高精度区域进行预测，将两者预测结果进行融合后输出，利用了多个深度学习模型的特性能够有效提高缺陷检出率，以及完善检出的缺陷区域，相比于单一的深度学习模型而言能够达到更高的缺陷检测准确率，满足背景复杂的AOI检测场景要求；

基于语义分割模型预测和检测模型预测融合后的结果，利用分类模型对该融合结果进行二分类判断，实现了对缺陷区域的二次判断，相比于由单一深度学习模型处理的结果直接进行缺陷判断而言，针对融合结果的二次判断能够有效降低误检，适用于对较难缺陷的判断；

通过设置预设参数指标如宽度、高度、面积、对比度等对判断的缺陷结果进行筛选，能够针对特定的缺陷特点来进行参数的配置，便于用户根据需要准确筛选出满足规格的缺陷。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例中所需使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种AOI缺陷检测方法的流程图；

图2a为本申请实施例提供的待检测图像示意图；

图2b为本申请实施例提供的粗定位后的检测图像示意图；

图2c为本申请实施例提供的利用语义分割模型对粗定位的ROI区域的四个角块区域进行分割的示意图；

图2d为本申请实施例提供的ROI区域透视变换示意图；

图3a为本申请实施例提供的检测模型预测结果示意图；

图3b为本申请实施例提供的语义分割模型预测结果示意图；

图4为本申请实施例提供的一种AOI缺陷检测装置示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

如图1所示，本发明第一实施例提出一种AOI缺陷检测方法，例如包括：步骤S1，获取待检测图像并进行ROI区域粗定位；步骤S2，基于语义分割模型对粗定位的ROI区域进行分割得到高精度区域；步骤S3，基于所述高精度区域分别进行检测模型预测和语义分割模型预测，分别得到缺陷区域的外接矩形区域和轮廓区域；步骤S4，将所述检测模型预测和所述语义分割模型预测的结果进行融合后输出；步骤S5，利用分类模型对融合结果进行筛选得到目标缺陷检测结果。

在步骤S1中，例如由上位机图像处理软件获取工业AOI(Automatic OpticInspection，自动光学检测)的待检测图像。如图2a所示为获取的原始待检测图像，进行ROI(region of interest，感兴趣区域)粗定位，例如采用传统的CV(Computer Vision，计算机视觉)算法进行ROI粗定位，如图2b所示为粗定位后的检测图像，初步裁剪掉无关的图像区域。

在步骤S2中，通过基于语义分割模型对粗定位的ROI区域进行分割得到高精度区域，如图2c所示，例如利用深度学习语义分割模型对粗定位的ROI区域的四个角块区域进行分割得到四个角点，结合图2d所示，例如根据该四个角点进行ROI区域透视变换得到高精度ROI区域。如此一来，通过引入语义分割模型对粗定位的ROI区域进行分割处理得到高精度区域，能够准确除去无关的图像区域从而降低缺陷检测的误检概率。

在步骤S3中，例如基于提取的高精度ROI区域，并行进行检测模型和语义分割模型的预测。目标检测模型预测得到的是矩形框，如图3a所示，该矩形框将缺陷包围；语义分割模型得到的是像素级别的预测，如图3b所示，左侧为预测前的原图，右侧的预测结果将缺陷区域标记出来。进一步的，例如对检测模型预测结果用置信度阈值做初步的卡控，分割模型预测结果用面积阈值做初步的卡控。两个模型的输入都是上一步提取的高精度ROI区域，模型运行处于并行的关系，互不干扰。

在步骤S4中，将检测模型和语义分割模型预测的结果进行融合后输出。具体的，例如对检测模型结果和分割模型结果进行判断，当检测模型结果为空，分割模型结果为空，则输出为空；当检测模型结果为空，分割模型结果不为空，则输出分割模型结果；当检测模型结果不为空，分割模型结果为空，则输出检测模型结果；当检测模型结果不为空，分割模型结果不为空，则对于同一缺陷类别重合的区域，输出分割模型结果并将检测模型的置信度赋值给该缺陷，其余不重合区域的分割模型结果和检测模型结果均作为输出。

如此一来，通过语义分割模型和检测模型并行对分割得到的高精度区域进行预测，将两者预测结果进行融合后输出，利用了多个深度学习模型的特性能够有效提高缺陷检出率，以及完善检出的缺陷区域，相比于单一的深度学习模型而言能够达到更高的缺陷检测准确率，满足背景复杂的AOI检测场景要求。

在步骤S5中，例如还基于融合得到的所有结果，用分类模型对所有的结果进行二分类判断，属于缺陷的判定为NG(Negative)，属于误检的判定为OK。将判定为NG的所有结果作为本步骤的输出。如此一来，通过利用分类模型对语义分割模型预测和检测模型预测融合后的结果进行二分类判断，相比于由单一深度学习模型处理的结果直接进行缺陷判断而言，针对融合结果的二次判断能够有效降低误检，适用于对较难缺陷的判断。

在一个实施方式中，在利用分类模型对融合结果进行筛选之后，例如还包括：设置预设参数阈值对所述二分类判断得到的缺陷结果进行筛选，得到满足规格的缺陷检测结果；其中，所述预设参数指标包括：宽度、高度、面积、对比度中的一者或多者。当然，在本申请的其他实施方式中，所述预设参数指标也可以为缺陷检测图像其它类型的参数指标，由用户自定义设置即可，本申请并不以此为限制。如此一来，能够针对特定的缺陷特点来进行参数的配置，便于用户根据需要准确筛选出满足规格的缺陷。

综上所述，本发明第一实施例提出一种AOI缺陷检测方法，通过引入语义分割模型对粗定位的ROI区域进行分割处理得到高精度区域，能够准确除去无关的图像区域从而降低缺陷检测的误检概率；通过语义分割模型和检测模型并行对分割得到的高精度区域进行预测，将两者预测结果进行融合后输出，利用了多个深度学习模型的特性能够有效提高缺陷检出率，以及完善检出的缺陷区域，相比于单一的深度学习模型而言能够达到更高的缺陷检测准确率，满足背景复杂的AOI检测场景要求；基于语义分割模型预测和检测模型预测融合后的结果，利用分类模型对该融合结果进行二分类判断，相比于由单一深度学习模型处理的结果直接进行缺陷判断而言，针对融合结果的二次判断能够有效降低误检，适用于对较难缺陷的判断；通过设置预设参数指标如宽度、高度、面积、对比度等对判断的缺陷结果进行筛选，能够针对特定的缺陷特点来进行参数的配置，便于用户根据需要准确筛选出满足规格的缺陷。

另外，如图4所示，本发明第二实施例提出一种AOI缺陷检测装置20，例如包括：粗定位模块201，高精度区域分割模块202、模型预测模块203、结果融合模块204和检测结果得到模块205。

其中，粗定位模块201用于获取待检测图像并进行ROI区域粗定位。高精度区域分割模块202用于基于语义分割模型对粗定位的ROI区域进行分割得到高精度区域。模型预测模块203用于基于所述高精度区域分别进行检测模型预测和语义分割模型预测，分别得到缺陷区域的外接矩形区域和轮廓区域。结果融合模块204用于将所述检测模型预测和所述语义分割模型预测的结果进行融合后输出。检测结果得到模块205用于利用分类模型对输出的融合结果进行筛选得到目标缺陷检测结果。

进一步的，AOI缺陷检测装置20例如还包括：模型预测结果判断模块，用于对所述检测模型结果和所述分割模型结果进行判断，当所述检测模型结果为空，所述分割模型结果为空，则输出为空；当所述检测模型结果为空，所述分割模型结果不为空，则输出所述分割模型结果；当所述检测模型结果不为空，所述分割模型结果为空，则输出所述检测模型结果；当所述检测模型结果不为空，所述分割模型结果不为空，则对于同一缺陷类别重合的区域，输出所述分割模型结果并将所述检测模型的置信度赋值给该缺陷，其余不重合区域的所述分割模型结果和所述检测模型结果均作为输出。

进一步的，AOI缺陷检测装置20例如还包括：阈值设置模块，用于设置预设参数阈值对所述二分类判断得到的缺陷结果进行筛选，得到满足规格的缺陷检测结果；其中，所述预设参数指标包括：宽度、高度、面积、对比度中的一者或多者。

本发明第二实施例公开的AOI缺陷检测装置20所实现的AOI缺陷检测方法如前述第一实施例所述，故在此不再进行详细讲述。可选地，第二实施例中的各个模块和上述其他操作或功能分别为了实现第一实施例所述的方法，且本实施例的有益效果同前述第一实施例的有益效果相同，为了简洁，不在此赘述。

本发明第三实施例还提供一种AOI缺陷检测设备，例如包括：至少一个处理单元、以及至少一个存储单元，其中，所述存储单元存储有计算机程序，当所述计算机程序被所述处理单元执行时，使得所述处理单元执行如第一实施例所述的方法，且本实施例提供的AOI缺陷检测设备的有益效果与第一实施例提供的AOI缺陷检测方法的有益效果相同。

本发明第四实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述方法的步骤。其中，计算机可读存储介质可以包括但不限于任何类型的盘，包括软盘、光盘、DVD、CD-ROM、微型驱动器以及磁光盘、ROM、RAM、EPROM、EEPROM、DRAM、VRAM、闪速存储器设备、磁卡或光卡、纳米系统(包括分子存储器IC)，或适合于存储指令和/或数据的任何类型的媒介或设备。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些服务接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通进程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(Random AccessMemory，RAM)、磁盘或光盘等。

以上所述者，仅为本公开的示例性实施例，不能以此限定本公开的范围。即但凡依本公开教导所作的等效变化与修饰，皆仍属本公开涵盖的范围内。本领域技术人员在考虑说明书及实践这里的公开后，将容易想到本公开的其实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未记载的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的范围和精神由权利要求限定。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种AOI缺陷检测方法，其特征在于，包括：

获取待检测图像并进行ROI区域粗定位；

基于语义分割模型对粗定位的ROI区域进行分割得到高精度区域；

基于所述高精度区域分别进行检测模型预测和语义分割模型预测，分别得到缺陷区域的外接矩形区域和轮廓区域；

将所述检测模型预测和所述语义分割模型预测的结果进行融合后输出；

利用分类模型对输出的融合结果进行筛选得到目标缺陷检测结果。

2.如权利要求1所述的AOI缺陷检测方法，其特征在于，所述基于语义分割模型对粗定位的ROI区域进行分割得到高精度区域，包括：

利用深度学习语义分割模型对所述粗定位的ROI区域的四个角块区域进行分割得到四个角点，根据所述四个角点进行ROI区域透视变换得到所述高精度区域。

3.如权利要求1所述的AOI缺陷检测方法，其特征在于，所述将所述检测模型预测和所述语义分割模型预测的结果进行融合后输出，包括：

对所述检测模型结果和所述分割模型结果进行判断，当所述检测模型结果为空，所述分割模型结果为空，则输出为空；当所述检测模型结果为空，所述分割模型结果不为空，则输出所述分割模型结果；当所述检测模型结果不为空，所述分割模型结果为空，则输出所述检测模型结果；当所述检测模型结果不为空，所述分割模型结果不为空，则对于同一缺陷类别重合的区域，输出所述分割模型结果并将所述检测模型的置信度赋值给该缺陷，其余不重合区域的所述分割模型结果和所述检测模型结果均作为输出。

4.如权利要求1所述的AOI缺陷检测方法，其特征在于，所述利用分类模型对融合结果进行筛选，包括：

通过分类模型对所述检测模型和所述分割模型的融合结果进行二分类判断，属于缺陷的判定为NG，属于误检的判定为OK，将判定为NG的所有结果作为本步骤的输出。

5.如权利要求4所述的AOI缺陷检测方法，其特征在于，在所述利用分类模型对融合结果进行筛选之后，还包括：

设置预设参数阈值对所述二分类判断得到的缺陷结果进行筛选，得到满足规格的缺陷检测结果；其中，所述预设参数指标包括：宽度、高度、面积、对比度中的一者或多者。

6.一种AOI缺陷检测装置，其特征在于，包括：

粗定位模块，用于获取待检测图像并进行ROI区域粗定位；

高精度区域分割模块，用于基于语义分割模型对粗定位的ROI区域进行分割得到高精度区域；

模型预测模块，用于基于所述高精度区域分别进行检测模型预测和语义分割模型预测，分别得到缺陷区域的外接矩形区域和轮廓区域；

结果融合模块，用于将所述检测模型预测和所述语义分割模型预测的结果进行融合后输出；

检测结果得到模块，用于利用分类模型对输出的融合结果进行筛选得到目标缺陷检测结果。

7.如权利要求6所述的AOI缺陷检测装置，其特征在于，还包括：

模型预测结果判断模块，用于对所述检测模型结果和所述分割模型结果进行判断，当所述检测模型结果为空，所述分割模型结果为空，则输出为空；当所述检测模型结果为空，所述分割模型结果不为空，则输出所述分割模型结果；当所述检测模型结果不为空，所述分割模型结果为空，则输出所述检测模型结果；当所述检测模型结果不为空，所述分割模型结果不为空，则对于同一缺陷类别重合的区域，输出所述分割模型结果并将所述检测模型的置信度赋值给该缺陷，其余不重合区域的所述分割模型结果和所述检测模型结果均作为输出。

8.如权利要求6所述的AOI缺陷检测装置，其特征在于，还包括：

阈值设置模块，用于设置预设参数阈值对所述二分类判断得到的缺陷结果进行筛选，得到满足规格的缺陷检测结果；其中，所述预设参数指标包括：宽度、高度、面积、对比度中的一者或多者。

9.一种AOI缺陷检测设备，其特征在于，包括至少一个处理单元、以及至少一个存储单元，其中，所述存储单元存储有计算机程序，当所述计算机程序被所述处理单元执行时，使得所述处理单元执行权利要求1～5中任一项所述方法的步骤。

10.一种计算机可读存储介质，其特征在于，其存储有可由访问认证设备执行的计算机程序，当所述计算机程序在访问认证设备上运行时，使得所述访问认证设备执行权利要求1～5中任一项所述方法的步骤。

Images