CN113469997A - 平面玻璃的检测方法、装置、设备和介质 - Google Patents

Abstract

本公开提供一种平面玻璃的检测方法、装置、设备和介质，所述检测方法包括：将获取的平面玻璃的原始图像划分为多个分块图像；将所述多个分块图像分别输入预置的缺陷检测模型，得到对应的分块缺陷检测数据，所述分块缺陷检测数据包括对应的分块图像中的缺陷类型和缺陷位置；将所述分块图像中的缺陷类型和缺陷位置进行融合得到所述平面玻璃的整体缺陷检测数据；将所述整体缺陷检测数据进行物理量计算后与设定的缺陷规则进行对比，得到最终的缺陷检测结果。本公开的技术方案可以提高平面玻璃的检测效率。

Description

平面玻璃的检测方法、装置、设备和介质

技术领域

本公开涉及检测技术领域，尤其涉及一种平面玻璃的检测方法、装置、电子设备和非暂态计算机可读存储介质。

背景技术

平面玻璃制品广泛应用于生活的方方面面，大到玻璃门窗、汽车挡风玻璃，小到手机屏幕、背板和手表表面，都属于平面玻璃制品。由于平面玻璃本身的物理化学性质，平面玻璃在生产运输过程中容易受到损伤，从而导致各种缺陷。作为透光部件，平面玻璃的缺陷将大大影响用户的使用体验。

现阶段，玻璃制品通用的检测手段依然是人工检测。人工检测的手段效率低、稳定性不高，容易在检测过程中对平面玻璃本身产生二次破坏。此外，人工检测手段单一，对于较为复杂的玻璃缺陷，如局部的突起和凹陷，缺乏有效的观察方法。在产量巨大、检测精度要求较高的平面玻璃生产应用领域，人工检测的方法极大的限制了生产线的整体效率、提高了产品的生产成本。

基于深度学习的缺陷自动检测算法已经开始在越来越多的工业检测场景中应用。但是，在将缺陷自动检测算法应用到平面玻璃检测中时，由于玻璃制品的缺陷较难以分辨，为满足玻璃制品检测要求的精度，采集到的玻璃制品的图像往往尺寸较大，图像分辨率较高。对高分辨率的图像进行计算需要占用较大的算力资源，这就导致处理器负担较大，检测效率较低。

发明内容

本公开提供一种平面玻璃的检测方法、装置、电子设备和非暂态计算机可读存储介质，用以解决现有技术中处理器负担较大的缺陷，提高平面玻璃的检测效率。

本公开提供一种平面玻璃的检测方法，包括：将获取的平面玻璃的原始图像划分为多个分块图像；将所述多个分块图像分别输入预置的缺陷检测模型，得到对应的分块缺陷检测数据，所述分块缺陷检测数据包括对应的分块图像中的缺陷类型和缺陷位置；将所述分块图像中的缺陷类型和缺陷位置进行融合得到所述平面玻璃的整体缺陷检测数据；将所述整体缺陷检测数据进行物理量计算后与设定的缺陷规则进行对比，得到最终的缺陷检测结果。

根据本公开提供一种的平面玻璃的检测方法，所述缺陷检测模型的训练方法包括：获取预先分组的缺陷样本图像集，其中，所述缺陷样本图像集中的每个样本分组中的任意两个缺陷类型的缺陷样本图像的数量的差小于设定的第一阈值；将所述缺陷样本图像集中的缺陷样本图像输入初始区域推荐子网络，得到所述缺陷样本图像的前景区域和背景区域；将所述前景区域和所述背景区域输入到初始检测子网络，得到当前区域中的缺陷类型和缺陷区域，其中，所述初始检测子网络包括多个分支，每个分支对应处理一个所述样本分组；将所述缺陷区域输入到初始掩膜子网络，得到所述缺陷区域中的缺陷位置；利用损失函数训练所述初始区域推荐子网络、所述初始检测子网络和所述初始掩膜子网络的模型参数，直到所述损失函数收敛，得到缺陷检测模型，所述缺陷检测模型包括目标区域推荐子网络、目标检测子网络和目标掩膜子网络。

根据本公开提供一种的平面玻璃的检测方法，所述缺陷检测模型部署在分布式图像处理器资源池中，所述将所述多个分块图像分别输入预置的缺陷检测模型，包括：将所述多个分块图像分别输入所述分布式图像处理器资源池中，使得所述分布式图像处理器将所述分块图像输入所述缺陷检测模型，得到所述分块缺陷检测数据。

根据本公开提供一种的平面玻璃的检测方法，所述将获取的平面玻璃的原始图像划分为多个分块图像，包括：将所述原始图像划分为多个相邻区域重叠的图像模块，其中，两个相邻区域的重叠部分的宽度大于设定的最小缺陷长度。

根据本公开提供一种的平面玻璃的检测方法，将获取的平面玻璃的原始图像划分为多个分块图像之前，所述方法还包括：使用对比度自适应的直方图均衡算法对所述原始图像进行图像增强。

根据本公开提供一种的平面玻璃的检测方法，根据权利要求1所述的方法，其特征在于，所述缺陷检测模型包括Resnet18卷积神经网络；所述初始区域推荐子网络、所述初始检测子网络和所述初始掩膜子网络各自包括：卷积层、池化层和全连接层；其中，所述卷积层的维度为128维，除第一层外的所述全连接层的维度为256维。

根据本公开提供一种的平面玻璃的检测方法，所述将所述前景区域和所述背景区域输入到初始检测子网络，得到当前区域中的缺陷类型和缺陷区域，包括：将所述前景区域和所述背景区域输入到初始检测子网络，得到所述当前区域中的所述缺陷区域，以及所述缺陷区域对应的不同的缺陷类型的第一概率；根据所述第一概率，以及所述当前区域属于前景区域的概率，获取所述缺陷区域对应的不同的缺陷类型的第二概率。

本公开还提供一种平面玻璃的检测装置，所述检测装置包括：划分单元，用于将获取的平面玻璃的原始图像划分为多个分块图像；检测单元，用于将所述多个分块图像分别输入预置的缺陷检测模型，得到对应的分块缺陷检测数据，所述分块缺陷检测数据包括对应的分块图像中的缺陷类型和缺陷位置；融合单元，用于将所述分块图像中的缺陷类型和缺陷位置进行融合得到所述平面玻璃的整体缺陷检测数据；对比单元，将所述整体缺陷检测数据进行物理量计算后与设定的缺陷规则进行对比，得到最终的缺陷检测结果。

根据本公开提供一种的平面玻璃的检测装置，该装置还包括：获取单元，用于获取预先分组的缺陷样本图像集，其中，所述缺陷样本图像集中的每个样本分组中的任意两个缺陷类型的缺陷样本图像的数量的差小于设定的第一阈值；第一输入单元，用于将所述缺陷样本图像集中的缺陷样本图像输入初始区域推荐子网络，得到所述缺陷样本图像的前景区域和背景区域；第二输入单元，用于将所述前景区域和所述背景区域输入到初始检测子网络，得到当前区域中的缺陷类型和缺陷区域，其中，所述初始检测子网络包括多个分支，每个分支对应处理一个所述样本分组；第三输入单元，用于将所述缺陷区域输入到初始掩膜子网络，得到所述缺陷区域中的缺陷位置；训练单元，用于利用损失函数训练所述初始区域推荐子网络、所述初始检测子网络和所述初始掩膜子网络的模型参数，直到所述损失函数收敛，得到缺陷检测模型，所述缺陷检测模型包括目标区域推荐子网络、目标检测子网络和目标掩膜子网络。

根据本公开提供一种的平面玻璃的检测装置，所述缺陷检测模型部署在分布式图像处理器资源池中，所述检测单元还用于将所述多个分块图像分别输入所述分布式图像处理器资源池中，使得所述分布式图像处理器将所述分块图像输入所述缺陷检测模型，得到所述分块缺陷检测数据。

根据本公开提供一种的平面玻璃的检测装置，所述划分单元还用于将所述原始图像划分为多个相邻区域重叠的图像模块，其中，两个相邻区域的重叠部分的宽度大于设定的最小缺陷长度。

根据本公开提供一种的平面玻璃的检测装置，所述装置还包括增强单元，用于使用对比度自适应的直方图均衡算法对所述原始图像进行图像增强。

根据本公开提供一种的平面玻璃的检测装置，所述缺陷检测模型包括Resnet18卷积神经网络；所述初始区域推荐子网络、所述初始检测子网络和所述初始掩膜子网络各自包括：卷积层、池化层和全连接层；其中，所述卷积层的维度为128维，除第一层外的所述全连接层的维度为256维。

根据本公开提供一种的平面玻璃的检测装置，所述第二输入单元还用于，将所述前景区域和所述背景区域输入到初始检测子网络，得到所述当前区域中的所述缺陷区域，以及所述缺陷区域对应的不同的缺陷类型的第一概率；根据所述第一概率，以及所述当前区域属于前景区域的概率，获取所述缺陷区域对应的不同的缺陷类型的第二概率。

本公开还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述平面玻璃的检测方法的步骤。

本公开还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述平面玻璃的检测方法的步骤。

本公开提供的平面玻璃的检测方法、装置、电子设备和非暂态计算机可读存储介质，通过将原始图像划分为分块图像，将分块图像输入缺陷检测模型得到检测数据后再进行融合，进而得到缺陷检测结果，可以减轻服务器的处理压力，提高检测效率。

附图说明

为了更清楚地说明本公开或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本公开提供的平面玻璃的检测方法的流程示意图之一；

图2是本公开提供的原始图像划分为分块图像的示意图；

图3是本公开提供的缺陷检测模型的训练方法的流程示意图；

图4是本公开提供的平面玻璃的检测方法的流程示意图之二；

图5是本公开提供的平面玻璃的检测装置的结构示意图；

图6是本公开提供的电子设备的结构示意图。

具体实施方式

为使本公开的目的、技术方案和优点更加清楚，下面将结合本公开中的附图，对本公开中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。

在本公开一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开一个或多个实施例。在本公开一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本公开一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本公开一个或多个实施例中可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开一个或多个实施例范围的情况下，第一也可以被称为第二，类似地，第二也可以被称为第一。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

在相关技术中，平面玻璃出现的缺陷主要包括以下几类：划伤是玻璃表面被尖锐物品划过留下的长条状划痕；黑点是玻璃晶体内存在的深色点状异物；白点是玻璃晶体内存在的浅色点状异物，崩边是玻璃边缘出现磕碰或缺口；压痕是玻璃表面被钝器破坏后出现的痕迹；凹凸是玻璃生产过程造成的局部凸起或凹陷。

对平面玻璃进行缺陷检测时，由于应用环境对平面玻璃质量的严苛要求，需要缺陷检测算法以较高的精度检测出极小的缺陷目标，由于平面玻璃的透明特点，需要图像采集系统采集的图像的尺寸较大，采集到的图像分辨率会很高。

对高分辨率的图像进行计算需要占用较大的算力资源；同时，高精度的检测要求对缺陷检测算法提出了较高的要求，这导致缺陷检测算法的检测难度较大。

可见，高分辨率的图像和高精度的检测要求将导致硬件成本增大，服务器处理压力增大，缺陷检测效率降低。

为解决该问题，本公开实施例提供一种平面玻璃的检测方法、装置、电子设备和非暂态计算机可读存储介质。

下面结合图1至图6对本公开示例实施方式进行详细说明。

如图1所示的是本公开实施例的平面玻璃的检测方法的流程图。本公开实施例提供的方法可以由任意具备计算机处理能力的电子设备执行，例如终端设备和/或服务器。如图1所示，该平面玻璃的检测方法包括：

步骤102，将获取的平面玻璃的原始图像划分为多个分块图像。

具体地，原始图像是对待检测的平面玻璃进行图像采集得到的整体图像。分块图像是对整体图像进行切割得到的待检测的平面玻璃的局部图像。

步骤104，将多个分块图像分别输入预置的缺陷检测模型，得到对应的分块缺陷检测数据，分块缺陷检测数据包括对应的分块图像中的缺陷类型和缺陷位置。

具体地，缺陷检测模型是一种神经网络模型。

步骤106，将分块图像中的缺陷类型和缺陷位置进行融合得到平面玻璃的整体缺陷检测数据。

具体地，融合是指将多个分块图像中的缺陷类型和缺陷位置按照分块图像之间的原始关联关系映射到同一图像中，例如映射到原始图像中，在将重复的缺陷删除后，即可以得到整体的原始图像中的缺陷类型和缺陷位置。

步骤108，将整体缺陷检测数据进行物理量计算后与设定的缺陷规则进行对比，得到最终的缺陷检测结果。

具体地，物理量计算指的是计算缺陷的长度和宽度等物理量。缺陷规则指的是预先设定好的一系列缺陷的长度最小值和宽度最小值等规则数据。对比指的是将缺陷的物理量与缺陷规则中的物理量进行对比，得到当前缺陷是否符合缺陷规则的过程。

在步骤102之前，需要先进行图像采集，一般场景下，可以采用线阵相机在一定的光照条件下对玻璃平面进行扫描获取玻璃样本的原始图像。

在图像采集过程中，由于检测精度和玻璃自身特性的需要，采集到的图像的尺寸较大，分辨率较高，这时，若同时将一整张图像输入缺陷检测模型，会占用进行缺陷检测的处理器较多的资源，从而影响到处理的处理效率。为了减小处理器的算力资源，可以对采集到的原始图像进行划分切割，即将原始图像划分为多个较小的分块图像。

如图2，在将尺寸较大的原始图像划分为分块图像时，可以将图像划分为四个尺寸较小的分块图像，即分块图像201、分块图像202、分块图像203和分块图像204。

具体地，可以将原始图像划分为多个相邻区域重叠的图像模块，其中，两个相邻区域的重叠部分205的宽度应大于设定的最小缺陷长度。

例如，若在一个检测场景中规定需要检出的缺陷的长度应该大于100个像素，那么重叠区域的宽度至少应设置为100个像素。该设置可以保证位置处于切割边缘的缺陷在图像被切割之后即使在某一个分块图像中仅呈现长度小于最小缺陷长度的一部分，在另一个分块图像中也会有长度大于最小缺陷长度的另一部分被检测出来，可以避免因为图像拆分导致的漏检。

此外，这四块分块图像的大小可以相等，也可以不相等。在将原始图像分割后，需要记录每块分块图像的边界的相对位置，即原始关联关系，以在后续的融合过程中根据该边界的相对位置将分块图像的分块缺陷检测数据融合为整体缺陷检测数据。

在本公开实施例中，为了更好地检测平面玻璃上的缺陷，可以使用经过优化的HTC(Hybrid Task Cascade for Instance Segmentation，实例分割的混合任务级联)算法作为缺陷检测算法。该算法的输入为图像，输出为以矩形框表示的缺陷位置、以概率表示的缺陷类型和以0-1矩阵表示的缺陷的具体区域，其中，矩阵中值1的位置表示存在缺陷。HTC的优化内容主要体现在神经网络的选择，卷积层的维度设计等内容中。

在平面玻璃的缺陷检测场景中，非缺陷目标区域的纹理相对单一，在图像上大多为纯色的区域。另外缺陷本身特点较为突出，不处于不同的姿态外，不存在复杂的语义信息。因此在本公开实施例中可以使用网络深度较浅的Resnet18卷积神经网络作为HTC算法的主干网络，该主干网络不仅不会降低模型检测识别缺陷的准确度，还大大降低了模型计算所需要的计算资源，在相同算力条件下提高了计算速度。另外由于采用了更浅层的网络结构，算法模型对小目标的检测效果有明显的提升。

在本公开实施例中，实现HTC算法的缺陷检测模型可以采用三个任务子网络，分别是区域推荐子网络，检测子网络，掩膜子网络。其中区域推荐子网络用于区分前景和背景；检测子网络用于识别前景中的缺陷类型，并准确定位缺陷的矩形区域；掩膜子网络用于在缺陷的矩形区域中对缺陷进行像素级的分割，定位具体的缺陷位置。本公开实施例的技术方案对区域推荐子网络、检测子网络和掩膜子网络进行了轻量化改造。

具体的，初始区域推荐子网络、初始检测子网络和初始掩膜子网络各自包括卷积层、池化层和全连接层；轻量化改造后的卷积层的维度都设定为128维，除第一层外的全连接层的维度都设定为256维。轻量化改造可以降低缺陷检测模型所需要的算力资源。

此外，区域推荐子网络在区分前景和背景时，需要在分块图像的特征图的每一个位置预先设定一组可能的区域尺寸，由于平面玻璃上的缺陷大多尺寸较小，在本公开实施例中可以将预设的区域尺寸调整为原始HTC算法模型的一半，使算法模型对小尺寸的缺陷有更好的检测能力。

在步骤104之前，需要训练缺陷检测模型。如图3所示，在缺陷检测模型的训练过程中，可以包括以下步骤：

步骤302，获取预先分组的缺陷样本图像集，其中，缺陷样本图像集中的每个样本分组中的任意两个缺陷类型的缺陷样本图像的数量的差小于设定的第一阈值。

具体地，每个样本分组中的任意两个缺陷类型的缺陷样本图像的数量的差小于设定的第一阈值的意义在于，每个样本分组中的相同缺陷类型的缺陷样本图像的数量相近。例如，在第一阈值为2时，在根据各个缺陷类型的缺陷样本图像数量查找缺陷类型时，若查找到缺陷类型C1和缺陷类型C2与缺陷类型C3的缺陷样本图像的数量的差值均小于2，则与C1和C2对应的缺陷样本图像可以与C3的缺陷样本图像被划分到同一图像分组。

步骤304，将缺陷样本图像集中的缺陷样本图像输入初始区域推荐子网络，得到缺陷样本图像的前景区域和背景区域。

步骤306，将前景区域和背景区域输入到初始检测子网络，得到当前区域中的缺陷类型和缺陷区域，其中，初始检测子网络包括多个分支，每个分支对应处理一个样本分组。

步骤308，将缺陷区域输入到初始掩膜子网络，得到缺陷区域中的缺陷位置。

步骤310，利用损失函数训练初始区域推荐子网络、初始检测子网络和初始掩膜子网络的模型参数，直到损失函数收敛，得到缺陷检测模型，缺陷检测模型包括目标区域推荐子网络、目标检测子网络和目标掩膜子网络。

其中，在步骤302之前，在获取样本图像之后，为了取得更好的模型训练效果，可以对样本图像进行图像扩增和黑白图像均衡。

在一般的检测场景中，缺陷样本的数量只占产品生产数量的较少的一部分，为了利用有限的缺陷图像数据更好地训练算法模型，可以采用图像的多尺度缩放的方式对缺陷图像数据进行图像扩增。考虑到部分缺陷宽度或长度很窄，若压缩图像的尺寸可能导致缺陷在图像上不可见，因此进行图像缩放时缩放的比例应该大于1。优选地，图像缩放的比例为100％至115％。

在工业相机采集到的黑白图像中，缺陷部位和背景之间的对比度可能很小，为了进一步突出缺陷区域，本公开实施例使用对比度自适应的直方图均衡化(ContrastLimited Adaptive Histogram Equalization，简称CLAHE)算法对原始图像进行图像增强。经过增强之后的图像，缺陷区域和背景之间对比度会增大，更容易被缺陷检测模型识别。

在玻璃的生产和运输过程中，有的缺陷类型出现的可能性很高，有的缺陷类型出现的可能性很低，而且在不同的应用场景中，不同缺陷类型出现的可能性是不同的，这就导致缺陷样本图像集中的缺陷类型的比例的不均衡，从而样本类型的均衡性较差。使用样本类型均衡性较差的数据训练算法模型，会导致算法模型偏向于预测出现概率较高的缺陷类型，从而降低模型整体的鲁棒性。

为了减少样本类型均衡性较差的影响，在步骤302之前，可以在对原始图像进行图像增强之后，将缺陷样本图像集进行分组。

具体地，在分组过程中，首先对产线采集到的缺陷样本图像出现的数量进行统计，按照缺陷类型出现的数量对缺陷类型进行分组，保证每个分组内的缺陷类型有相近的样本数量。

例如，缺陷样本图像集可以为设定时间段内在产线上出现的所有的缺陷图像的汇总。若缺陷样本图像集中包括第一类型的缺陷的图像的数量为35，第二类型的缺陷的图像的数量为7，第三类型的缺陷的图像的数量为34，……，第N类型的缺陷的图像的数量为5，其中，N为自然数且大于3。

这时，可以将包含第一类型的缺陷和第三类型的缺陷的图像分为一个A分组，将第二类型和第N类型的缺陷的图像分为一个B分组。这里，每个分组中的图像的数量并不局限于2个，也可以为3个或者更多。

检测子网络的功能是预测当前目标是某个缺陷类型的概率。在本公开实施例中，检测子网络具有多个分支，每个分支对应处理当前目标是某一样本分组内的缺陷类型的概率，例如，A分组内的第一类型和第三类型的概率。

若样本缺陷数据集中包括M个样本分组，则检测子网络可以设计M+1个分支，其中，M个分支分别与M个样本分组一一对应，用于检测对应样本分组中的缺陷类型。另外一个分支是独立的前景预测分支，该分支用于预测当前位置属于前景或背景的概率。

对于一个特定的分支，其需要预测的缺陷类型的数量为D+1，其中D为当前分支对应的样本分组中的缺陷类型的数量，1表示背景类以及不在当前样本分组中的其他缺陷类型。

使用训练完成的缺陷检测模型预测缺陷类型时，当前区域属于某一缺陷类型的概率等于该缺陷类型所属的分支下得到的该缺陷类型的概率值乘上前景预测分支中当前区域属于前景的概率。

具体地，在步骤306中，先将前景区域和背景区域输入到初始检测子网络，得到当前区域中的缺陷区域，以及缺陷区域对应的不同的缺陷类型的第一概率，在根据该该第一概率，以及当前区域属于前景区域的概率，获取缺陷区域对应的不同的缺陷类型的第二概率。

为了进一步降低处理器的压力，在步骤104中，可以将多个分块图像分别输入分布式图像处理器资源池中，使得分布式图像处理器将分块图像输入缺陷检测模型，得到分块缺陷检测数据。

具体地，由于缺陷检测算法服务需要消耗较多的处理器的算力资源。为了降低CPU(central processing unit，中央处理器)的处理压力，可以将缺陷检测步骤分配给分布式GPU(图像处理器，graphics processing unit)资源池中的图像处理器执行。这样，用户可以依据实际检测的性能要求，动态的调整服务使用的GPU资源，在保证满足生产线检测速度要求的同时，最大限度的利用GPU资源。

如图4所示，本公开实施例的一种平板玻璃的检测方法包括以下步骤：

步骤401，获取原始图像。

步骤402，对原始图像进行图像增强。

步骤403，将增强后的原始图像进行图像拆分，得到分块图像。

步骤404，将分块图像输入缺陷检测模型，进行缺陷检测。

步骤405，对分块图像的检测结果进行结果融合。

步骤406，对融合后的检测结果进行物理量计算。

步骤407，根据物理量计算结果和缺陷规则进行规则剔除。

步骤408，输出规则剔除后得到的缺陷检测结果。

其中，步骤401、步骤402、步骤403、步骤405、步骤407和步骤408由工控机411中的处理器执行，步骤404由分布式图像处理器412执行，步骤406由分布式中央处理器413执行。

在本公开实施例中，在服务架构上，步骤402、步骤403、步骤405、步骤407等算力要求不高的步骤有工控机执行，工控机安装在生产线的检测工位上。缺陷检测步骤分配给分布式GPU资源池中的图像处理器执行，物理量的计算也分布式地部署在CPU资源池，依据生产线的要求对CPU计算资源进行动态的调整，以满足生产线的需要。

这样的服务架构使得不同图像区域的缺陷检测之间是并行的，不同缺陷检测结果之间物理量的计算是并行的，大大提升了系统的检测速度，能够在有限的时间内实现较大分辨率输入图像的缺陷检测。

本公开针对平面玻璃缺陷检测场景，通过对HTC算法的优化和调整，解决了微小缺陷目标的检测、缺陷类型不均衡的难点问题，实现了平面玻璃缺陷较高精度的识别、检测和定位。

另外，针对较高分辨率的输入图像，构建了一套有效的图像拆分机制及软件服务架构，能够充分利用部署机器的CPU和GPU资源，允许系统以任意分辨率作为输入，在实现较低硬件需求的同时实现较大尺寸图像数据的缺陷检测。

本公开提供的平面玻璃的检测方法，通过将原始图像划分为分块图像，将分块图像输入缺陷检测模型得到检测数据后再进行融合，进而得到缺陷检测结果，可以减轻服务器的处理压力，提高检测效率。

下面对本公开提供的平面玻璃的检测装置进行描述，下文描述的平面玻璃的检测装置与上文描述的平面玻璃的检测方法可相互对应参照。

如图5所示，本公开实施例的平面玻璃的检测装置包括：

划分单元502，用于将获取的平面玻璃的原始图像划分为多个分块图像。

检测单元504，用于将多个分块图像分别输入预置的缺陷检测模型，得到对应的分块缺陷检测数据，分块缺陷检测数据包括对应的分块图像中的缺陷类型和缺陷位置。

融合单元506，用于将分块图像中的缺陷类型和缺陷位置进行融合得到平面玻璃的整体缺陷检测数据。

对比单元508，将整体缺陷检测数据进行物理量计算后与设定的缺陷规则进行对比，得到最终的缺陷检测结果。

在本公开实施例中，该装置还包括：获取单元，用于获取预先分组的缺陷样本图像集，其中，缺陷样本图像集中的每个样本分组中的任意两个缺陷类型的缺陷样本图像的数量的差小于设定的第一阈值；第一输入单元，用于将缺陷样本图像集中的缺陷样本图像输入初始区域推荐子网络，得到缺陷样本图像的前景区域和背景区域；第二输入单元，用于将前景区域和背景区域输入到初始检测子网络，得到当前区域中的缺陷类型和缺陷区域，其中，初始检测子网络包括多个分支，每个分支对应处理一个样本分组；第三输入单元，用于将缺陷区域输入到初始掩膜子网络，得到缺陷区域中的缺陷位置；训练单元，用于利用损失函数训练初始区域推荐子网络、初始检测子网络和初始掩膜子网络的模型参数，直到损失函数收敛，得到缺陷检测模型，缺陷检测模型包括目标区域推荐子网络、目标检测子网络和目标掩膜子网络。

在本公开实施例中，缺陷检测模型部署在分布式图像处理器资源池中，检测单元还用于将多个分块图像分别输入分布式图像处理器资源池中，使得分布式图像处理器将分块图像输入缺陷检测模型，得到分块缺陷检测数据。

在本公开实施例中，划分单元还用于将原始图像划分为多个相邻区域重叠的图像模块，其中，两个相邻区域的重叠部分的宽度大于设定的最小缺陷长度。

在本公开实施例中，该装置还包括增强单元，用于使用对比度自适应的直方图均衡算法对原始图像进行图像增强。

在本公开实施例中，缺陷检测模型包括Resnet18卷积神经网络；初始区域推荐子网络、初始检测子网络和初始掩膜子网络各自包括：卷积层、池化层和全连接层；其中，卷积层的维度为128维，除第一层外的全连接层的维度为256维。

在本公开实施例中，第二输入单元还用于，将前景区域和背景区域输入到初始检测子网络，得到当前区域中的缺陷区域，以及缺陷区域对应的不同的缺陷类型的第一概率；根据第一概率，以及当前区域属于前景区域的概率，获取缺陷区域对应的不同的缺陷类型的第二概率。

由于本公开的示例实施例的平面玻璃的检测装置的各个功能模块与上述平面玻璃的检测方法的示例实施例的步骤对应，因此对于本公开装置实施例中未披露的细节，请参照本公开上述的平面玻璃的检测方法的实施例。

本公开提供的平面玻璃的检测装置，通过将原始图像划分为分块图像，将分块图像输入缺陷检测模型得到检测数据后再进行融合，进而得到缺陷检测结果，可以减轻服务器的处理压力，提高检测效率。

图6示例了一种电子设备的实体结构示意图，如图6所示，该电子设备可以包括：处理器(processor)610、通信接口(Communications Interface)620、存储器(memory)630和通信总线640，其中，处理器610，通信接口620，存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储器630中的逻辑指令，以执行平面玻璃的检测方法，该方法包括：将获取的平面玻璃的原始图像划分为多个分块图像；将所述多个分块图像分别输入预置的缺陷检测模型，得到对应的分块缺陷检测数据，所述分块缺陷检测数据包括对应的分块图像中的缺陷类型和缺陷位置；将所述分块图像中的缺陷类型和缺陷位置进行融合得到所述平面玻璃的整体缺陷检测数据；将所述整体缺陷检测数据进行物理量计算后与设定的缺陷规则进行对比，得到最终的缺陷检测结果。

此外，上述的存储器630中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本公开还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的平面玻璃的检测方法，该方法包括：将获取的平面玻璃的原始图像划分为多个分块图像；将所述多个分块图像分别输入预置的缺陷检测模型，得到对应的分块缺陷检测数据，所述分块缺陷检测数据包括对应的分块图像中的缺陷类型和缺陷位置；将所述分块图像中的缺陷类型和缺陷位置进行融合得到所述平面玻璃的整体缺陷检测数据；将所述整体缺陷检测数据进行物理量计算后与设定的缺陷规则进行对比，得到最终的缺陷检测结果。

又一方面，本公开还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的平面玻璃的检测方法，该方法包括：将获取的平面玻璃的原始图像划分为多个分块图像；将所述多个分块图像分别输入预置的缺陷检测模型，得到对应的分块缺陷检测数据，所述分块缺陷检测数据包括对应的分块图像中的缺陷类型和缺陷位置；将所述分块图像中的缺陷类型和缺陷位置进行融合得到所述平面玻璃的整体缺陷检测数据；将所述整体缺陷检测数据进行物理量计算后与设定的缺陷规则进行对比，得到最终的缺陷检测结果。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本公开的技术方案，而非对其限制；尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本公开各实施例技术方案的精神和范围。

Claims (10)

1.一种平面玻璃的检测方法，其特征在于，所述方法包括：

将获取的平面玻璃的原始图像划分为多个分块图像；

将所述多个分块图像分别输入预置的缺陷检测模型，得到对应的分块缺陷检测数据，所述分块缺陷检测数据包括对应的分块图像中的缺陷类型和缺陷位置；

将所述分块图像中的缺陷类型和缺陷位置进行融合得到所述平面玻璃的整体缺陷检测数据；

将所述整体缺陷检测数据进行物理量计算后与设定的缺陷规则进行对比，得到最终的缺陷检测结果。

2.根据权利要求1所述的方法，其特征在于，所述缺陷检测模型的训练方法包括：

获取预先分组的缺陷样本图像集，其中，所述缺陷样本图像集中的每个样本分组中的任意两个缺陷类型的缺陷样本图像的数量的差小于设定的第一阈值；

将所述缺陷样本图像集中的缺陷样本图像输入初始区域推荐子网络，得到所述缺陷样本图像的前景区域和背景区域；

将所述前景区域和所述背景区域输入到初始检测子网络，得到当前区域中的缺陷类型和缺陷区域，其中，所述初始检测子网络包括多个分支，每个分支对应处理一个所述样本分组；

将所述缺陷区域输入到初始掩膜子网络，得到所述缺陷区域中的缺陷位置；

利用损失函数训练所述初始区域推荐子网络、所述初始检测子网络和所述初始掩膜子网络的模型参数，直到所述损失函数收敛，得到缺陷检测模型，所述缺陷检测模型包括目标区域推荐子网络、目标检测子网络和目标掩膜子网络。

3.根据权利要求1所述的方法，其特征在于，所述缺陷检测模型部署在分布式图像处理器资源池中，所述将所述多个分块图像分别输入预置的缺陷检测模型，包括：将所述多个分块图像分别输入所述分布式图像处理器资源池中，使得所述分布式图像处理器将所述分块图像输入所述缺陷检测模型，得到所述分块缺陷检测数据。

4.根据权利要求1所述的方法，其特征在于，所述将获取的平面玻璃的原始图像划分为多个分块图像，包括：

将所述原始图像划分为多个相邻区域重叠的图像模块，其中，两个相邻区域的重叠部分的宽度大于设定的最小缺陷长度。

5.根据权利要求1所述的方法，其特征在于，将获取的平面玻璃的原始图像划分为多个分块图像之前，所述方法还包括：

使用对比度自适应的直方图均衡算法对所述原始图像进行图像增强。

6.根据权利要求2所述的方法，其特征在于，根据权利要求1所述的方法，其特征在于，所述缺陷检测模型包括Resnet18卷积神经网络；

所述初始区域推荐子网络、所述初始检测子网络和所述初始掩膜子网络各自包括：卷积层、池化层和全连接层；

其中，所述卷积层的维度为128维，除第一层外的所述全连接层的维度为256维。

7.根据权利要求2所述的方法，其特征在于，所述将所述前景区域和所述背景区域输入到初始检测子网络，得到当前区域中的缺陷类型和缺陷区域，包括：

将所述前景区域和所述背景区域输入到初始检测子网络，得到所述当前区域中的所述缺陷区域，以及所述缺陷区域对应的不同的缺陷类型的第一概率；

根据所述第一概率，以及所述当前区域属于前景区域的概率，获取所述缺陷区域对应的不同的缺陷类型的第二概率。

8.一种平面玻璃的检测装置，其特征在于，所述装置包括：

划分单元，用于将获取的平面玻璃的原始图像划分为多个分块图像；

检测单元，用于将所述多个分块图像分别输入预置的缺陷检测模型，得到对应的分块缺陷检测数据，所述分块缺陷检测数据包括对应的分块图像中的缺陷类型和缺陷位置；

融合单元，用于将所述分块图像中的缺陷类型和缺陷位置进行融合得到所述平面玻璃的整体缺陷检测数据；

对比单元，将所述整体缺陷检测数据进行物理量计算后与设定的缺陷规则进行对比，得到最终的缺陷检测结果。

9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述的方法的步骤。

10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的方法的步骤。

Images