CN109613002B - 一种玻璃缺陷检测方法、装置和存储介质 - Google Patents
一种玻璃缺陷检测方法、装置和存储介质 Download PDFInfo
- Publication number
- CN109613002B CN109613002B CN201811392995.5A CN201811392995A CN109613002B CN 109613002 B CN109613002 B CN 109613002B CN 201811392995 A CN201811392995 A CN 201811392995A CN 109613002 B CN109613002 B CN 109613002B
- Authority
- CN
- China
- Prior art keywords
- defect
- image
- detected
- glass
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
Abstract
本发明实施例公开了一种玻璃缺陷检测方法、装置和存储介质。本发明实施例可以获取被检测玻璃图像，确定所述被检测玻璃图像中的待检测区域；获取所述待检测区域中像素的色彩信息，根据色彩信息在所述待检测区域中筛选出候选区域；采用预设的检测模型对所述候选区域进行缺陷检测；若在所述候选区域中检测到缺陷，则获取所述缺陷的属性信息。由此，相对于现有的人工检测，该方案实现了对玻璃缺陷的自动检测，大大提高了玻璃缺陷检测的效率，降低了漏检和误检的概率。
Description
技术领域
本发明涉及通信技术领域，具体涉及一种玻璃缺陷检测方法、装置和存储介质。
背景技术
玻璃在生产过程中可能会产生各种缺陷，例如裂纹、脏污和/或崩边等。有缺陷的玻璃进入昂贵的设备时可能破碎而损坏设备，或是影响产品质量，因此，需要对玻璃进行缺陷检测，以提高玻璃品质和生产效率。传统的玻璃缺陷检测通常是人工检测。
在对现有技术的研究和实践过程中，本发明的发明人发现，人工检测不仅工作量大，而且容易发生漏检和错检等情况，导致现有的玻璃缺陷检测效率较低。
发明内容
本发明实施例提供一种玻璃缺陷检测方法、装置和存储介质，旨在提高玻璃缺陷检测的效率。
本发明实施例提供一种玻璃缺陷检测方法，包括：
获取被检测玻璃图像，确定所述被检测玻璃图像中的待检测区域；
获取所述待检测区域中像素的色彩信息，根据色彩信息在所述待检测区域中筛选出候选区域；
采用预设的检测模型对所述候选区域进行缺陷检测；
若在所述候选区域中检测到缺陷，则获取所述缺陷的属性信息。
在一些实施例中，所述采用预设的检测模型对所述候选区域进行缺陷检测，包括：
基于预设的压缩网络，使用卷积神经网络提取所述候选区域的图像特征，所述图像特征为特征图；
在所述卷积神经网络的全连接层对所述图像特征进行分类，得到分类结果；
若分类结果为缺陷，则确定在所述候选区域中检测到缺陷。
在一些实施例中，所述在所述卷积神经网络的全连接层对所述图像特征进行分类，得到分类结果，包括：
在所述卷积神经网络的全连接层对所述特征图进行降维处理，获取所述候选区域的特征值；
使用预设的分类器对所述特征值进行分类，得到分类结果。
在一些实施例中，属性信息包括缺陷类型，所述获取缺陷的属性信息，包括：
根据所述分类结果，获取所述缺陷的缺陷类型。
在一些实施例中，属性信息包括缺陷区域，所述获取缺陷的属性信息，包括：
使用预设的区域定位算法在所述特征图中进行目标定位，得到初始矩形区域；
使用预设的边框回归算法对所述初始矩形区域进行边框回归，得到缺陷区域。
在一些实施例中，所述属性信息包括缺陷图像，包括：
使用预设的分割网络，根据所述图像特征在所述候选区域的图像中分割出缺陷图像。
在一些实施例中，所述获取所述缺陷的属性信息，之后包括：
根据预设的排序规则，对所述缺陷的属性信息进行排序，并显示。
在一些实施例中，所述获取所述缺陷的属性信息，之后包括：
根据所述特征值，计算所述分类结果的置信率；
根据所述置信率的数值大小对所述缺陷的属性信息进行排序，并显示。
在一些实施例中，所述确定所述被检测玻璃图像中的待检测区域，包括：
筛选出所述被检测玻璃图像中的玻璃区域，将所述玻璃区域确定为待检测区域。
本发明实施例还提供一种玻璃缺陷检测装置，包括：
图像单元，用于获取被检测玻璃图像，确定所述被检测玻璃图像中的待检测区域；
候选单元，用于获取所述待检测区域中像素的色彩信息，根据所述色彩信息在所述待检测区域中筛选出候选区域；
检测单元，用于采用预设的检测模型对所述候选区域进行缺陷检测；
属性单元，用于若在所述候选区域中检测到缺陷，则获取所述缺陷的属性信息。
本发明实施例还提供一种存储介质，所述存储介质存储有多条指令，所述指令适于处理器进行加载，以执行本发明实施例所提供的任一玻璃缺陷检测方法中的步骤。
本发明实施例通过获取被检测玻璃图像，确定被检测玻璃图像中的待检测区域，得到玻璃所在区域的图像；然后，获取待检测区域中像素的色彩信息，根据色彩信息在待检测区域中筛选出候选区域，用以减小后续缺陷检测的工作量；然后，采用预设的检测模型对候选区域进行缺陷检测；若在候选区域中检测到缺陷，则获取缺陷的属性信息。该方案通过候选区域的筛选，过滤掉待检测区域中大部分平坦无缺陷的区域，减小了后续检测模型中学习算法需要处理区域的大小，在保障缺陷检测精度的同时降低了整个检测模型运算的耗时。由此，相对于现有的人工检测，本发明实施例实现了对玻璃缺陷的自动检测，大大提高了玻璃缺陷检测的效率，降低漏检和误检的概率。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1a是本发明实施例提供的信息交互系统的场景示意图；
图1b是本发明实施例提供的图像缺陷检测方法的流程示意图；
图1c是本发明实施例提供的检测模型示意图；
图1d是本发明实施例提供的图像特征提取流程示意图；
图1e是本发明实施例提供的压缩模块示意图；
图1f是本发明实施例提供的另一检测模型示意图；
图1g是本发明实施例提供的又一检测模型示意图；
图1h是本发明实施例提供的U-Net卷积网络示意图；
图2a是本发明实施例提供的图像缺陷检测应用场景示意图；
图2b是本发明实施例提供的被检测玻璃图像示意图；
图2c是本发明实施例提供的待检测区域示意图；
图2d是本发明实施例提供的候选区域示意图；
图3a是本发明实施例提供的图像缺陷检测装置结构示意图；
图3b是本发明实施例提供的另一图像缺陷检测装置结构示意图；
图4是本发明实施例提供的服务器的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供一种玻璃缺陷检测方法、装置及存储介质。
本发明实施例还提供一种信息交互系统，该系统包括本发明实施例任一提供的玻璃缺陷检测装置，该玻璃缺陷检测装置可以集成在服务器等设备中；此外，该系统还可以包括其他设备，比如，客户端和/或图像采集设备等。客户端可以是终端或个人计算机(PC，Personl Computer)等设备，用于上传被检测玻璃图像，设置缺陷的排序规则等。
参考图1a，本发明实施例提供一种信息交互系统，包括玻璃缺陷检测装置和图像采集设备。其中，玻璃缺陷检测装置和图像采集设备通过网络连接，接收图像采集设备采集到的被检测玻璃的图像。图像采集设备至少包括光源和拍摄装置，光源和拍摄装置可以分别被设置在被检测玻璃的两侧，光源上电后，稳定的强光照射在玻璃上，并且，部分光线穿过玻璃进入拍摄装置，由此，拍摄装置采集到被检测玻璃图像。
图像采集设备可以将采集到的玻璃图像通过网络发送给玻璃缺陷检测装置。玻璃缺陷检测装置获取被检测玻璃图像，确定被检测玻璃图像中的待检测区域；获取待检测区域中像素的色彩信息，根据色彩信息在待检测区域中筛选出候选区域；采用预设的检测模型对候选区域进行缺陷检测；若在候选区域中检测到缺陷，则获取缺陷的属性信息。
由此，通过候选区域的筛选，过滤掉待检测区域中大部分平坦无缺陷的区域，减小了后续检测模型中学习算法需要处理区域的大小，在保障缺陷检测精度的同时降低了整个检测模型运算的耗时。由此，相对于现有的人工检测，本发明实施例实现了对玻璃缺陷的自动检测，大大提高了玻璃缺陷检测的效率，降低漏检和误检的概率。
上述图1a的例子只是实现本发明实施例的一个系统架构实例，本发明实施例并不限于上述图1a所示的系统结构，基于该系统架构，提出本发明各个实施例。
在本实施例中，将从图像表面缺陷检测装置的角度进行描述，该图像表面缺陷检测装置具体可以集成在终端设备如服务器、个人计算机等设备中。
如图1b所示，该图像缺陷检测方法的具体流程可以如下：
101、获取被检测玻璃图像，确定被检测玻璃图像中的待检测区域。
其中，被检测玻璃图像可以是图像采集设备实时采集的，也可以是用户上传的。需要说明的是，一张被检测玻璃图像可以包括一块或多块玻璃的图像，或仅包括一块玻璃的部分图像等，具体可根据实际需要灵活进行采样。
若被检测玻璃图像中包括了一块或多块玻璃的图像，则玻璃缺陷检测装置需要在被检测玻璃图像中识别出该一块或多块玻璃的图像，作为待检测区域；若张被检测玻璃图像仅包括一块玻璃的部分图像，则将该被检测玻璃图像中的全部区域作为待检测区域。
在一些实施例中，步骤“获取被检测玻璃图像”之后，“确定被检测玻璃图像中的待检测区域”之前，还包括：对被检测玻璃图像进行滤波处理和/或增强处理。
其中，对被检测玻璃图像进行滤波处理可以是均值滤波、中值滤波和/或高斯滤波等，用以消除被检测玻璃图像中的各种噪声。
增强处理可以是将被检测玻璃图像的对比度调整为预设数值，或是将被检测玻璃图像的对比度提高预设比例等。增强处理用以突出被检测玻璃图像中特定信息，同时削弱或去除不重要的信息，例如突出边缘信息等，以增强玻璃及其中缺陷的轮廓特征，提高缺陷检测的准确性。
在一些实施例中，步骤“确定被检测玻璃图像中的待检测区域”可以包括：筛选出被检测玻璃图像中的玻璃区域，将玻璃区域确定为待检测区域。
具体地，玻璃缺陷检测装置可以使用边界线检测和/或灰度检测来筛选出被检测玻璃图像中的玻璃区域，如下：
1、边界线检测。
由于强光照射和光线折射，拍摄装置拍摄到的玻璃边缘通常为较黑的细线。因此，玻璃缺陷检测装置可以检测被检测玻璃图像中是否有预设形状的线条，例如，预设形状可以是直线、椭圆或圆形等，具体可根据被检测玻璃的形状灵活配置。
若在被检测玻璃图像中未检测到预设形状的线条，则说明被检测玻璃图像中没有玻璃边缘，可以确定被检测玻璃图像中的全部区域为玻璃区域。
若在被检测玻璃图像中检测到预设形状的线条，则将检测到的线条所围成的区域确定为玻璃区域，得到待检测区域。例如，预设形状为圆形，玻璃权限装置检测到圆形的线条，则将该圆形内的区域确定为玻璃区域。
2、灰度检测。
由于强光照射和光线折射，拍摄装置拍摄到的玻璃所在的区域灰度值通常比背景更暗或黑。
因此，玻璃检测装置可以将获取被检测玻璃图像中各像素的灰度值，将灰度值超过预设第一阈值的像素作为背景像素，得到背景区域。例如，第一阈值可以是200及以上。由此，将被检测玻璃图像中的背景区域剔除，即可得到玻璃区域。当然，玻璃检测装置还根据预设的第二阈值确定玻璃区域中的像素，进而确定玻璃区域，具体可根据实际需要灵活配置。例如，第二阈值可以是50至60等数值。
然后，玻璃检测装置将得到的玻璃区域确定为待检测区域。
在一些实施例中，玻璃检测装置还可以结合边界线检测和灰度检测来确定待检测区域。例如，使用边界线检测来确定玻璃区域的边界，使用灰度检测对玻璃区域进行校准和修正，具体可根据实际需要灵活配置。
由此图像检测装置得到待检测区域。
102、根据待检测区域中像素的色彩信息，在待检测区域中筛选出候选区域。
其中，候选区域是指疑似包含缺陷的区域，例如不平坦的区域等。
色彩信息可以是灰度值、灰度梯度值和/或颜色值等。
以色彩信息为灰度值为例，玻璃检测装置可以获取待检测区域中各像素的灰度值，然后，计算被待检测区域中相邻像素之间的灰度梯度值。灰度梯度值指两个像素灰度值差值的绝对值，用以衡量两个像素之间的亮度差。
由于缺陷的光线反射与玻璃中平坦区域的光线反射存在一定区别，因此，玻璃检测装置可以将灰度梯度值超过预设第三阈值的像素作为候选区域和平坦区域的分界像素。
然后，玻璃检测装置根据得到的分界像素，确定候选区域。例如，玻璃检测装置可以将分界像素连接起来得到分界线，将分界线圈出的区域作为候选区域，分界线以外的区域即为平坦区域。
以色彩信息为灰度梯度值为例，玻璃检测装置计算待检测区域中像素与周围相邻各像素的灰度梯度值，得到多个灰度梯度值。若一个或多个灰度梯度值与其他的灰度梯度值之差的绝对值超过预设的第四阈值，则将该像素作为候选区域和平坦区域的分界像素。
然后，玻璃检测装置根据得到的分界像素，确定候选区域。例如，玻璃检测装置可以将分界像素连接起来得到分界线，将分界线圈出的区域作为候选区域，分界线以外的区域即为平坦区域。
以色彩信息为颜色值为例，若像素的颜色值属于预设的缺陷颜色值，则图像检索装置判定其可能为缺陷区域内的像素，作为候选像素。其中，预设的缺陷颜色值可以是根据大量样品玻璃缺陷区域内的像素颜色预先配置的，可以包括颜色值区间和/或指定的颜色值等。
由此，图像检索装置获取待检测区域中的全部候选像素，并将相邻和/或相近的候选像素合并到同一区域中，得到候选区域。
在一些实施例中，图像检索装置可以获取灰度值、灰度梯度值和颜色值这三个参数中的任意两个或三个，然后分别根据各参数在待检测区域中筛选出候选区域。然后，图像检索装置将得到的各候选区域进行合并处理，将合并处理后得到的候选区域输入预设的检测模型，以进行缺陷检测。
其中，合并处理包括重复合并和/或相近合并等方式。重复合并是指将部分重复或全部重复的候选区域合并为一个候选区域，合并得到的候选区域中包括合并前各候选区域的全部区域范围。相近合并指将距离在预设范围内的多个候选区域合并为一个候选区域，由此，降低误检、漏检。
由此，玻璃检测装置得到候选区域，过滤掉了玻璃图像中大部分无明显缺陷的平坦区域。
103、采用预设的检测模型对候选区域进行缺陷检测。
其中，预设的检测模型可以是MASKR-CNN(MASKRegions with ConvolutionalNeural Network，掩膜-基于卷积神经网络的目标检测)模型或Faster R-CNN(FasterRegions with Convolutional Neural Network，更快的基于卷积神经网络的目标检测)模型等。
在一些实施例中，步骤102可以包括：基于预设的压缩网络，使用卷积神经网络提取候选区域的图像特征，图像特征为特征图；在卷积神经网络的全连接层对图像特征进行分类，得到分类结果；若分类结果为缺陷，则确定在候选区域中检测到缺陷。
本实施例中，以预设的压缩网络为SqeezeNet进行举例说明，SqeezeNet用于提取图像特征。需要说明的是，预设的压缩网络还可以是其他网络模型，具体可根据实际需要灵活配置。
例如图1c，预设的检测模型可以包括压缩网络(SqeezeNet)和CLASS BOX(分类器)网络。其中，CLASS BOX用于在卷积神经网络的全连接层对图像特征进行分类。
1、图像特征提取。
具体地，例如图1d，基于压缩网络SqeezeNet的网络结构，玻璃检测装置将候选区域的图像输入压缩网络中卷积神经网络的第一卷积层(conv1)，进行图像特征提取。第一卷积层使用1*1的卷积核代替3*1卷积核，从而将参数减少为原来的1/9。
然后，第一卷积层将得到的数据输入最大池(maxpool)进行步长为2的池化，实现降维处理。然后，输入到压缩模块(Fire module)，例如，压缩模块2(Fire2)、压缩模块3(Fire3)、压缩模块4(Fire4)、压缩模块5(Fire5)、压缩模块6(Fire6)、压缩模块7(Fire7)、压缩模块8(Fire8)和压缩模块9(Fire9)。参照图1e，压缩模块先使用1*1卷积核进行降维操作，然后再用1*1和3*3的卷积核进行升维，以减小输入通道数量。在经历多个Fire module后，使用最大池进行一次或多册池化，从而给卷积层提供更大的激活图，保留更多的信息，从而在参数数量受限的情况下提高分类的准确率。
然后，压缩模块9(Fire9)将最终得到的数据输入第十卷积层(conv10)，进行图像特征提取，得到特征图(feature map)。
由此，实现了特征图提取的性能优化，使得提取效率和准确率达到了良好的性价比，在减小网络模型和降低了网络复杂度的同时，保障了特征提取的准确率，提高了玻璃缺陷检测效率。
然后，可以使用浮点线性层(RoiAlign layer)将特征图修剪为固定大小的特征图(fixed size feature map)，由此，得到的固定大小的特征图即为本实施中的图像特征。
2、分类。
在得到图像特征后，可以在卷积神经网络的全连接层对图像特征进行分类。
具体地，步骤“在卷积神经网络的全连接层对图像特征进行分类”可以包括：在卷积神经网络的全连接层对特征图进行降维处理，获取候选区域的特征值；使用预设的分类器对特征值进行分类，得到分类结果。
例如，图1c中，固定大小的特征图被输入全连接层(fully connected layer)。
全连接层将得到的特征图进行降维处理。例如，全连接层将得到的特征图降为1维，得到1维数据。然后，全连接层使用预设的权重将1维数据转换为初始特征值。然后，全连接层对初始特征值进行归一化处理，得到最终的特征值，作为候选区域的特征值。
然后，在全连接层，使用预设的分类器(CLASS BOX)对最终的特征值进行分类(classification)，得到分类结果，从而确定候选区域是否包含缺陷，以及缺陷类型。
具体地，归一化处理后的特征值数值在[0-1]之间，因此，可以通过预设的数值区间和对应的分类结果，来对特征值进行分类，从而实现对候选区域的图像的分类。例如，预设的数值区间包括[0-0.1]、(0.1-0.5]和(0.5-1]等。若候选区域的特征值为0.2，位于区间(0.1-0.5]，则分类器将数值区间(0.1-0.5]对应的分类结果作为候选区域的分类结果。
由此，得到分类结果。
需要说明的是，分类结果包括是否缺陷；若是缺陷，则还包括缺陷类型。
若分类结果为是缺陷，则玻璃检测装置可以确定在该候选区域中检测到缺陷。
若分类结果不是缺陷，则玻璃检测装置可以剔除该候选区域。
由此，实现了对候选区域的缺陷检测。
104、若在候选区域中检测到缺陷，则获取缺陷的属性信息。
其中，缺陷的属性信息是指描述候选区域中缺陷的相关参数，例如缺陷类型、缺陷区域和/或缺陷图像等，如下：
1、若属性信息包括缺陷类型，则步骤“获取缺陷的属性信息”可以包括：根据分类结果，获取缺陷的缺陷类型。
具体地，玻璃检测装置可以根据全连接层输出的分类结果，获取其中携带的缺陷类型，例如气泡或划痕等。
2、若属性信息包括缺陷区域，则步骤“获取缺陷的属性信息”可以包括：使用预设的区域定位算法在特征图中进行目标定位，得到初始矩形区域；使用预设的边框回归算法对初始矩形区域进行边框回归，得到缺陷区域。
本实施例中，以预设的区域定位算法为RPN(Region Proposal Network，区域建议网络)进行举例说明。需要说明的是，预设的区域定位算法还可以是其他算法，具体可根据实际需要灵活配置。
例如，参照图1f，预设的检测模型可以包括SqeezeNet、RPN和CLASS BOX。RPN用于对缺陷进行定位。
在卷积神经网络的卷积层进行图像特征提取后，可以使用RPN对得到的特征图进行目标检测和区域定位，并使用矩形框在特征图中标识出目标位置，得到初始矩形区域，实现目标定位。
在对特征图进行修剪得到固定大小的特征图后，再使用预设的边框回归算法(boxregression)，对初始矩形区域进行边框回归，得到最终的缺陷区域。其中，缺陷区域可以是由四个坐标连接得到的缺陷的最小外接矩形。
由此，通过进行边框回归，得到了更加精确的缺陷区域。
3、若缺陷参数包括缺陷图像，则步骤“获取缺陷的属性信息”可以包括：使用预设的分割网络，根据图像特征在候选区域的图像中分割出缺陷图像。
本实施例中，以预设的分割网络是U-Net(Convolutional Networks，卷积网络)进行举例说明。需要说明的是，预设的分割网络还可以是其他网络模型，具体可根据实际需要灵活配置。
例如，参照图1g，本实施例中，预设的检测模型可以包括SqeezeNet、RPN、CLASSBOX和U-Net。U-Net用于分割出缺陷图像。
U-Net包括收缩路径(contracting path)和扩展路径(expanding path)。收缩路径主要是用来捕捉图像中的上下文信息(context information)，而与之相对称的扩展路径则是为了对图像中所需要分割出来的部分进行精准定位(localization)。
例如，参照图1h，收缩路径与扩张路径基本对称。将图像输入U-Net后，经过多次卷积、下采样和上采样输出分割图。其中，收缩路径通过下采样用以逐渐展现环境信息，而扩展路径上采样的过程是结合下采样各层信息和上采样的输入信息来还原细节信息，并且逐步还原图像精度。
可以将获取的固定大小的特征图输入U-Net进行卷积，精准定位候选区域的图像中缺陷与平坦区域的边界线，从而在候选区域的图像中提取出只包含缺陷的图像，得到缺陷图像。由此，分割网络实现了对候选区域的图像中缺陷的分割，而分割得到的缺陷图像能够展示缺陷的具体形状。
由此，本实施例能够实现缺陷检测、分类和图像分割的同时进行，有效缩短了玻璃缺陷的检测时间，提高了检测效率。
由上可知，本发明实施例通过获取被检测玻璃图像，确定被检测玻璃图像中的待检测区域，得到玻璃所在区域的图像；然后，获取待检测区域中像素的色彩信息，根据色彩信息在待检测区域中筛选出候选区域，用以减小后续缺陷检测的工作量；然后，采用预设的检测模型对候选区域进行缺陷检测；若在候选区域中检测到缺陷，则获取缺陷的属性信息。该方案通过候选区域的筛选，过滤掉待检测区域中大部分平坦无缺陷的区域，减小了后续检测模型中学习算法需要处理区域的大小，在保障缺陷检测精度的同时降低了整个检测模型运算的耗时。由此，相对于现有的人工检测，本发明实施例实现了对玻璃缺陷的自动检测，大大提高了玻璃缺陷检测的效率，降低漏检和误检的概率。
根据前面实施例所描述的方法，以下将举例作进一步详细说明。
例如，参照图2a，在本实施例中，将以该玻璃检测装置具体集成在服务器中进行说明。
(一)获取被检测玻璃图像。
例如图2b，服务器获取拍摄装置采集的被检测玻璃图像。
(二)确定待检测区域。
服务器可以使用边界线检测和/或灰度检测，来确定玻璃所在的区域，得到被检测区域，例如图2c。
具体实施方式可参照上述玻璃缺陷检测方法实施例步骤101中的描述，在此不再赘述。
(三)筛选候选区域。
服务器可以通过计算待检测区域中相邻像素之间灰度梯度值的方式，来确定候选区域，得到的候选区域例如图2d。
具体实施方式可参照上述玻璃缺陷检测方法实施例步骤102中的描述，在此不再赘述。
(四)图像特征提取。
例如图1f，服务器使用检测模型中的基于预设压缩网络的卷积神经网络，对候选区域的图像特征进行提取，得到特征图，也即图像特征。
(五)分类及缺陷属性信息的获取。
例如图1f，在得到候选区域的图像特征后，卷积神经网络的一个全连接层对图像特征进行分类。
同时，另一全连接层可以使用预设的边框回归算法对，对RPN得到的初始矩形区域进行边框回归，得到缺陷区域。
同时，U-Net还可以根据特征图在候选区域的图像中分割出缺陷图像。
若分类结果是缺陷，则服务器根据分类结果确定该候选区域的图像中缺陷的类型。
若分类结果是缺陷，则服务器剔除该候选区域及其对应的缺陷区域和缺陷图像。
(六)显示缺陷的属性信息。
例如，在对待检测区域中的各候选区域完成缺陷检测后，可以控制显示设备显示各候选区域的图像中缺陷的属性信息，包括缺陷类型、缺陷区域和/或缺陷图像等。
需要说明的是，服务器可以在获取的被检测玻璃图像中显示各缺陷的属性信息，也可以使用列表的形式显示各缺陷的属性信息，具体可根据实际需要灵活配置。
在一些实施例中，服务器可以根据预设的排序规则，对缺陷的属性信息进行排序，并显示。
其中，预设的排序规则可以是根据缺陷重要程度排序、根据缺陷类型排序、根据缺陷面积排序等排序规则。需要说明的是，预设的排序规则可以是用户预先设置的。
例如，若排序规则为根据缺陷类型排序，则服务器统计缺陷类型相同的缺陷，按照预设的缺陷类型顺序，依次显示各类型缺陷的缺陷区域和/或缺陷图像等信息。当然，还可以进一步统计各类型缺陷的总计面积等信息，并显示。
例如，若排序规则为根据缺陷面积排序，则服务器根据缺陷区域或缺陷图像，计算各缺陷的面积，进而根据缺陷面积由大至小的顺序对各缺陷进行排序。然后，按照排序显示各缺陷的缺陷类型等信息。
在一些实施例中，服务器可以根据特征值，计算分类结果的置信率；根据置信率的数值大小对缺陷的属性信息进行排序，并显示。
例如，服务器可以获取图像特征分类时预设的数值区间及图像特征，计算特征值与其所在数值区间边界的最小距离值。例如，特征值与其所在数值区间边界的距离值，可以是特征值与其所在数值区间边界值之差的绝对值。
然后，计算距离值与预设距离阈值的比值，该比值即为分类结果的置信率。例如，预设的距离阈值可以根据该特征值所在数值区间的边界值计算得到。若该特征值所在数值区间的边界值分别为a和b，则预设阈值c＝|a-b|÷2，也即，预设距离阈值为两个边界值之间距离的二分之一。
例如，候选区域的图像的特征值为0.08，位于区间[0-0.1]，则0.8与0.1的距离值为其差值的绝对值，也即0.02，0.08与0的距离值为0.08，因此，最小距离值为0.02。可以根据边界值0和0.1计算得到预设距离阈值为0.05。由此，将0.02和0.05的比值40％确定为该候选区域的图像分类结果的置信率。
需要说明的是，该置信率可以理解为候选区域的图像中缺陷检测结果是否正确的概率。
由此，服务器可以分别计算得到各候选区域的图像中缺陷的置信率。
然后，服务器按照置信率数值由大至小的顺序，对对应的缺陷属性信息进行排序，例如降序排列，并显示。当然，还可以显示各缺陷分类结果的置信率，以供用户参考。
由上可知，本发明实施例通过对被检测玻璃图像进行初步过滤，减小后续检测模型中学习算法需要处理区域的大小，在保障缺陷检测精度的同时降低了整个检测模型运算的耗时。并且，对候选区域的图像特征集进行分类的过程中，同步进行缺陷区域和缺陷图像的提取，节省了大量的运算时间，进一步提高了玻璃缺陷检测效率。另外，还可以计算置信率来对缺陷检测结果的正确性进行预测，节约用户对玻璃缺陷的复检时间。
为了实施以上方法，本发明实施例还提供一种玻璃缺陷检测装置，该玻璃缺陷检测装置具体可以集成在终端设备如服务器或个人计算机等设备中。
例如，如图3a所示，该玻璃缺陷检测装置可以包括图像单元301、候选单元302、检测单元303和属性单元304，如下：
(一)图像单元301；
图像单元301，用于获取被检测玻璃图像，确定被检测玻璃图像中的待检测区域。
其中，被检测玻璃图像可以是图像采集设备实时采集的，也可以是用户上传的。需要说明的是，一张被检测玻璃图像可以包括一块或多块玻璃的图像，或仅包括一块玻璃的部分图像等，具体可根据实际需要灵活进行采样。
在一些实施例中，图像单元301，还可以用于对被检测玻璃图像进行滤波处理和/或增强处理。
其中，对被检测玻璃图像进行滤波处理可以是均值滤波、中值滤波和/或高斯滤波等，用以消除被检测玻璃图像中的各种噪声。
增强处理可以是将被检测玻璃图像的对比度调整为预设数值，或是将被检测玻璃图像的对比度提高预设比例等。增强处理用以突出被检测玻璃图像中特定信息，同时削弱或去除不重要的信息，例如突出边缘信息等，以增强玻璃及其中缺陷的轮廓特征，提高缺陷检测的准确性。
在一些实施例中，图像单元301，具体可以用于筛选出被检测玻璃图像中的玻璃区域，将玻璃区域确定为待检测区域。
例如，图像单元301可以使用边界线检测和/或灰度检测来筛选出被检测玻璃图像中的玻璃区域，具体实施方式可参照上述玻璃缺陷检测方法实施例步骤101中的描述，在此不再赘述。
(二)候选单元302；
候选单元302，用于获取待检测区域中像素的色彩信息，根据色彩信息在待检测区域中筛选出候选区域。
其中，候选区域是指疑似包含缺陷的区域，例如不平坦的区域等。
色彩信息可以是灰度值、灰度梯度值和/或颜色值等。
在一些实施例中，候选单元302可以根据待检测区域中像素的灰度值、灰度梯度值或颜色值，利用缺陷区域与平坦区域的颜色差异或亮度差异等，在待检测区域中筛选出候选区域。
在一些实施例中，候选单元302可以获取灰度值、灰度梯度值和颜色值这三个参数中的任意两个或三个，然后分别根据各参数在待检测区域中筛选出候选区域。然后，候选单元302将得到的各候选区域进行合并处理，将合并处理后得到的候选区域输入预设的检测模型，以进行缺陷检测。
由此，候选单元302得到候选区域，过滤掉了玻璃图像中大部分无明显缺陷的平坦区域。
(三)检测单元303；
检测单元303，用于采用预设的检测模型对候选区域进行缺陷检测；
例如，检测单元303具体可以用于：基于预设的压缩网络，使用卷积神经网络提取候选区域的图像特征，图像特征为特征图；在卷积神经网络的全连接层对图像特征进行分类，得到分类结果；若分类结果为缺陷，则确定在候选区域中检测到缺陷
本实施例中，以预设的压缩网络为SqeezeNet进行举例说明，SqeezeNet用于提取图像特征。需要说明的是，预设的压缩网络还可以是其他网络模型，具体可根据实际需要灵活配置。
1、图像特征提取。
例如，基于压缩网络SqeezeNet的网络结构，检测单元303将候选区域的图像输入压缩网络中卷积神经网络的第一卷积层(conv1)，进行图像特征提取。第一卷积层使用1*1的卷积核代替3*1卷积核，从而将参数减少为原来的1/9。
然后，第一卷积层将得到的数据输入最大池(maxpool)进行步长为2的池化，实现降维处理。然后，输入到压缩模块(Fire module)，例如压缩模块2(Fire2)、压缩模块3(Fire3)、压缩模块4(Fire4)、压缩模块5(Fire5)、压缩模块6(Fire6)、压缩模块7(Fire7)、压缩模块8(Fire8)和压缩模块9(Fire9)。压缩模块先使用1*1卷积核进行降维操作，然后再用1*1和3*3的卷积核进行升维，以减小输入通道数量。在经历多个Fire module后，使用最大池进行一次或多册池化，从而给卷积层提供更大的激活图，保留更多的信息，从而在参数数量受限的情况下提高分类的准确率。
然后，Fire9将最终得到的数据输入第十卷积层(conv10)，进行图像特征提取，得到特征图(feature map)。
由此，实现了特征图提取的性能优化，使得提取效率和准确率达到了良好的性价比，在减小网络模型和降低了网络复杂度的同时，保障了特征提取的准确率，提高了玻璃缺陷检测效率。
然后，可以使用浮点线性层(RoiAlign layer)将特征图修剪为固定大小的特征图(fixed size feature map)，由此，得到的固定大小的特征图即为本实施中的图像特征。
2、分类。
在得到图像特征后，可以在卷积神经网络的全连接层对图像特征进行分类。
具体地，检测单元303具体还可以用于：在卷积神经网络的全连接层对特征图进行降维处理，获取候选区域的特征值；使用预设的分类器对特征值进行分类，得到分类结果。
固定大小的特征图被输入全连接层(fully connected layer)。全连接层将得到的特征图进行降维处理。例如，全连接层将得到的特征图降为1维，得到1维数据。然后，全连接层使用预设的权重将1维数据转换为初始特征值。然后，全连接层对初始特征值进行归一化处理，得到最终的特征值，作为候选区域的特征值。
然后，在全连接层，使用预设的分类器(CLASS BOX)对最终的特征值进行分类(classification)，得到分类结果，从而确定候选区域是否包含缺陷，以及缺陷类型。
由此，得到分类结果。
需要说明的是，分类结果包括是否缺陷；若是缺陷，则还包括缺陷类型。
若分类结果为是缺陷，则检测单元303可以确定在该候选区域中检测到缺陷。
若分类结果不是缺陷，则检测单元303可以剔除该候选区域。
由此，实现了对候选区域的缺陷检测。
(四)属性单元304。
属性单元304，用于若在候选区域中检测到缺陷，则获取缺陷的属性信息。
其中，缺陷的属性信息是指描述候选区域中缺陷的相关参数，例如缺陷类型、缺陷区域和/或缺陷图像等，如下：
1、若属性信息包括缺陷类型，则属性单元304具体可以用于：根据分类结果，获取缺陷的缺陷类型。
具体地，玻璃检测装置可以根据全连接层输出的分类结果，获取其中携带的缺陷类型，例如气泡或划痕等。
2、若属性信息包括缺陷区域，则属性单元304具体可以用于：使用预设的区域定位算法在特征图中进行目标定位，得到初始矩形区域；使用预设的边框回归算法对初始矩形区域进行边框回归，得到缺陷区域。
本实施例中，以预设的区域定位算法为RPN(Region Proposal Network，区域建议网络)进行举例说明。需要说明的是，预设的区域定位算法还可以是其他算法，具体可根据实际需要灵活配置。
在卷积神经网络的卷积层进行图像特征提取后，可以使用RPN对得到的特征图进行目标检测和区域定位，并使用矩形框在特征图中标识出目标位置，得到初始矩形区域，实现目标定位。
在对特征图进行修剪得到固定大小的特征图后，再使用预设的边框回归算法(boxregression)，对初始矩形区域进行边框回归，得到最终的缺陷区域。其中，缺陷区域可以是由四个坐标连接得到的缺陷的最小外接矩形。
由此，通过进行边框回归，属性单元304得到了更加精确的缺陷区域。
3、若缺陷参数包括缺陷图像，则属性单元304：使用预设的分割网络，根据图像特征在候选区域的图像中分割出缺陷图像。
本实施例中，以预设的分割网络是U-Net(Convolutional Networks，卷积网络)进行举例说明。需要说明的是，预设的分割网络还可以是其他网络模型，具体可根据实际需要灵活配置。
可以将获取的固定大小的特征图输入U-Net进行卷积，精准定位候选区域的图像中缺陷与平坦区域的边界线，从而在候选区域的图像中提取出只包含缺陷的图像，得到缺陷图像。由此，分割网络实现了对候选区域的图像中缺陷的分割，而分割得到的缺陷图像能够展示缺陷的具体形状。
由此，本实施例能够实现缺陷检测、分类和图像分割的同时进行，有效缩短了玻璃缺陷的检测时间，提高了检测效率。
由上可知，本发明实施例通过图像单元301获取被检测玻璃图像，确定被检测玻璃图像中的待检测区域，得到玻璃所在区域的图像；然后，候选单元302获取待检测区域中像素的色彩信息，根据色彩信息在待检测区域中筛选出候选区域，用以减小后续缺陷检测的工作量；然后，检测单元303采用预设的检测模型对候选区域进行缺陷检测；若在候选区域中检测到缺陷，则属性单元304获取缺陷的属性信息。该方案通过候选区域的筛选，过滤掉待检测区域中大部分平坦无缺陷的区域，减小了后续检测模型中学习算法需要处理区域的大小，在保障缺陷检测精度的同时降低了整个检测模型运算的耗时。由此，相对于现有的人工检测，本发明实施例实现了对玻璃缺陷的自动检测，大大提高了玻璃缺陷检测的效率，降低漏检和误检的概率。
此外，该玻璃缺陷检测装置还可以包括显示单元。
如图3b所示，该玻璃缺陷检测装置可以包括图像单元301、候选单元302、检测单元303、属性单元304和显示单元305，其中，
显示单元305，用于根据预设的排序规则，对缺陷的属性信息进行排序，并显示。
例如，在对待检测区域中的各候选区域完成缺陷检测后，显示单元305可以控制显示设备显示各候选区域的图像中缺陷的属性信息，包括缺陷类型、缺陷区域和/或缺陷图像等。
需要说明的是，显示单元305可以在获取的被检测玻璃图像中显示各缺陷的属性信息，也可以使用列表的形式显示各缺陷的属性信息，具体可根据实际需要灵活配置。
其中，预设的排序规则可以是根据缺陷重要程度排序、根据缺陷类型排序、根据缺陷面积排序等排序规则。
例如，若排序规则为根据缺陷类型排序，则显示单元305统计缺陷类型相同的缺陷，按照预设的缺陷类型顺序，依次显示各类型缺陷的缺陷区域和/或缺陷图像等信息。当然，还可以进一步统计各类型缺陷的总计面积等信息，并显示。
例如，若排序规则为根据缺陷面积排序，则显示单元305根据缺陷区域或缺陷图像，计算各缺陷的面积，进而根据缺陷面积由大至小的顺序对各缺陷进行排序。然后，按照排序显示各缺陷的缺陷类型等信息。
在一些实施例中，显示单元305具体可以用于：根据特征值，计算分类结果的置信率；根据置信率的数值大小对缺陷的属性信息进行排序，并显示。
例如，显示单元305可以获取图像特征分类时预设的数值区间及图像特征，计算特征值与其所在数值区间边界的最小距离值。例如，特征值与其所在数值区间边界的距离值，可以是特征值与其所在数值区间边界值之差的绝对值。
然后，计算距离值与预设距离阈值的比值，该比值即为分类结果的置信率。例如，预设的距离阈值可以根据该特征值所在数值区间的边界值计算得到。若该特征值所在数值区间的边界值分别为a和b，则预设阈值c＝|a-b|÷2，也即，预设距离阈值为两个边界值之间距离的二分之一。
需要说明的是，该置信率可以理解为候选区域的图像中缺陷检测结果是否正确的概率。
由此，显示单元305可以分别计算得到各候选区域的图像中缺陷的置信率。
然后，显示单元305按照置信率数值由大至小的顺序，对对应的缺陷属性信息进行排序，并显示。当然，还可以显示各缺陷分类结果的置信率，以供用户参考。
由上可知，本发明实施例还可以计算置信率来对缺陷检测结果的正确性进行预测，节约用户对玻璃缺陷的复检时间。
本发明实施例还提供一种服务器，如图4所示，其示出了本发明实施例所涉及的服务器的结构示意图，具体来讲：
该服务器可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403和输入单元404等部件。本领域技术人员可以理解，图4中示出的服务器结构并不构成对服务器的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
处理器401是该服务器的控制中心，利用各种接口和线路连接整个服务器的各个部分，通过运行或执行存储在存储器402内的软件程序和/或模块，以及调用存储在存储器402内的数据，执行服务器的各种功能和处理数据，从而对服务器进行整体监控。可选的，处理器401可包括一个或多个处理核心；优选的，处理器401可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器401中。
存储器402可用于存储软件程序以及模块，处理器401通过运行存储在存储器402的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据服务器的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器402还可以包括存储器控制器，以提供处理器401对存储器402的访问。
服务器还包括给各个部件供电的电源403，优选的，电源403可以通过电源管理系统与处理器401逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该服务器还可包括输入单元404，该输入单元404可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出，服务器还可以包括显示单元等，在此不再赘述。具体在本实施例中，服务器中的处理器401会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中，并由处理器401来运行存储在存储器402中的应用程序，从而实现各种功能，如下：
获取被检测玻璃图像，确定被检测玻璃图像中的待检测区域；
获取待检测区域中像素的色彩信息，根据色彩信息在待检测区域中筛选出候选区域；
采用预设的检测模型对候选区域进行缺陷检测；
若在候选区域中检测到缺陷，则获取缺陷的属性信息。
在一些实施例中，处理器401运行存储在存储器402中的应用程序，还可以实现如下功能：
基于预设的压缩网络，使用卷积神经网络提取候选区域的图像特征，图像特征为特征图；在卷积神经网络的全连接层对图像特征进行分类，得到分类结果；若分类结果为缺陷，则确定在候选区域中检测到缺陷。
在一些实施例中，处理器401运行存储在存储器402中的应用程序，还可以实现如下功能：
在卷积神经网络的全连接层对特征图进行降维处理，获取候选区域的特征值；使用预设的分类器对特征值进行分类，得到分类结果。
在一些实施例中，属性信息包括缺陷类型，处理器401运行存储在存储器402中的应用程序，还可以实现如下功能：
根据分类结果，获取缺陷的缺陷类型。
在一些实施例中，属性信息包括缺陷区域，处理器401运行存储在存储器402中的应用程序，还可以实现如下功能：
使用预设的区域定位算法在特征图中进行目标定位，得到初始矩形区域；使用预设的边框回归算法对初始矩形区域进行边框回归，得到缺陷区域。
在一些实施例中，属性信息包括缺陷图像，处理器401运行存储在存储器402中的应用程序，还可以实现如下功能：
使用预设的分割网络，根据图像特征在候选区域的图像中分割出缺陷图像。
在一些实施例中，处理器401运行存储在存储器402中的应用程序，还可以实现如下功能：
根据预设的排序规则，对缺陷的属性信息进行排序，并显示。
在一些实施例中，处理器401运行存储在存储器402中的应用程序，还可以实现如下功能：
根据特征值，计算分类结果的置信率；根据置信率的数值大小对缺陷的属性信息进行排序，并显示。
在一些实施例中，处理器401运行存储在存储器402中的应用程序，还可以实现如下功能：
筛选出被检测玻璃图像中的玻璃区域，将玻璃区域确定为待检测区域。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
为此，本发明实施例提供一种存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本发明实施例所提供的任一种玻璃缺陷检测方法中的步骤。例如，该指令可以执行如下步骤：
获取被检测玻璃图像，确定被检测玻璃图像中的待检测区域；
获取待检测区域中像素的色彩信息，根据色彩信息在待检测区域中筛选出候选区域；
采用预设的检测模型对候选区域进行缺陷检测；
若在候选区域中检测到缺陷，则获取缺陷的属性信息。
在一些实施例中，该指令还可以执行如下步骤：
基于预设的压缩网络，使用卷积神经网络提取候选区域的图像特征，图像特征为特征图；在卷积神经网络的全连接层对图像特征进行分类，得到分类结果；若分类结果为缺陷，则确定在候选区域中检测到缺陷。
在一些实施例中，该指令还可以执行如下步骤：
在卷积神经网络的全连接层对特征图进行降维处理，获取候选区域的特征值；使用预设的分类器对特征值进行分类，得到分类结果。
在一些实施例中，属性信息包括缺陷类型，该指令还可以执行如下步骤：
根据分类结果，获取缺陷的缺陷类型。
在一些实施例中，属性信息包括缺陷区域，该指令还可以执行如下步骤：
使用预设的区域定位算法在特征图中进行目标定位，得到初始矩形区域；
使用预设的边框回归算法对初始矩形区域进行边框回归，得到缺陷区域。
在一些实施例中，属性信息包括缺陷图像，该指令还可以执行如下步骤：
使用预设的分割网络，根据图像特征在候选区域的图像中分割出缺陷图像。
在一些实施例中，该指令还可以执行如下步骤：
根据预设的排序规则，对缺陷的属性信息进行排序，并显示。
在一些实施例中，该指令还可以执行如下步骤：
根据特征值，计算分类结果的置信率；
根据置信率的数值大小对缺陷的属性信息进行排序，并显示。
在一些实施例中，该指令还可以执行如下步骤：
筛选出被检测玻璃图像中的玻璃区域，将玻璃区域确定为待检测区域。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
其中，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。
由于该存储介质中所存储的指令，可以执行本发明实施例所提供的任一种玻璃缺陷检测方法中的步骤，因此，可以实现本发明实施例所提供的任一种玻璃缺陷检测方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
以上对本发明实施例所提供的一种玻璃缺陷检测方法、装置及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种玻璃缺陷检测方法，其特征在于，包括：
获取被检测玻璃图像，确定所述被检测玻璃图像中的待检测区域；
获取所述待检测区域中像素的色彩信息，根据所述色彩信息在所述待检测区域中筛选出候选区域；
基于预设的压缩网络，使用卷积神经网络提取所述候选区域的图像特征，所述预设的压缩网络为利用模型压缩技术减少原有网络参数的网络；
对所述图像特征进行分类，得到分类结果；
若分类结果为缺陷，则确定在所述候选区域中检测到缺陷以及获取所述缺陷的属性信息；
当所述属性信息指向缺陷图像时，将所述图像特征输入预设的分割网络，由所述预设的分割网络的采样路径对所述图像特征进行信息提取和信息融合，以及根据提取和融合后的信息在所述候选区域的图像中分割出所述缺陷图像，所述采样路径包括收缩路径和扩展路径。
2.如权利要求1所述的方法，其特征在于，所述预设的压缩网络属于预设的检测模型，所述预设的检测模型对应所述卷积神经网络，所述对所述图像特征进行分类，得到分类结果，包括：
在所述卷积神经网络的全连接层对所述图像特征进行分类，得到分类结果。
3.如权利要求2所述的方法，其特征在于，所述图像特征为特征图，所述在所述卷积神经网络的全连接层对所述图像特征进行分类，得到分类结果，包括：
在所述卷积神经网络的全连接层对所述特征图进行降维处理，获取所述候选区域的特征值；
使用预设的分类器对所述特征值进行分类，得到分类结果。
4.如权利要求1所述的方法，其特征在于，当所述属性信息指向缺陷类型时，所述获取所述缺陷的属性信息，包括：
根据所述分类结果，获取所述缺陷类型。
5.如权利要求1所述的方法，其特征在于，所述图像特征为特征图，当所述属性信息指向缺陷区域时，所述获取所述缺陷的属性信息，包括：
使用预设的区域定位算法在所述特征图中进行目标定位，得到初始矩形区域；
使用预设的边框回归算法对所述初始矩形区域进行边框回归，得到所述缺陷区域。
6.如权利要求1所述的方法，其特征在于，所述获取所述缺陷的属性信息，之后包括：
根据预设的排序规则，对所述缺陷的属性信息进行排序，并显示。
7.如权利要求3所述的方法，其特征在于，所述获取所述缺陷的属性信息，之后包括：
根据所述特征值，计算所述分类结果的置信率；
根据所述置信率的数值大小对所述缺陷的属性信息进行排序，并显示。
8.如权利要求1-7任一项所述的方法，其特征在于，所述确定所述被检测玻璃图像中的待检测区域，包括：
筛选出所述被检测玻璃图像中的玻璃区域，将所述玻璃区域确定为待检测区域。
9.一种玻璃缺陷检测装置，其特征在于，包括：
图像单元，用于获取被检测玻璃图像，确定所述被检测玻璃图像中的待检测区域；
候选单元，用于获取所述待检测区域中像素的色彩信息，根据所述色彩信息在所述待检测区域中筛选出候选区域；
图像特征提取单元：用于基于预设的压缩网络，使用卷积神经网络提取所述候选区域的图像特征，所述预设的压缩网络为利用模型压缩技术减少原有网络参数的网络；
分类单元：用于对所述图像特征进行分类，得到分类结果；
缺陷确定单元：用于若分类结果为缺陷，则确定在所述候选区域中检测到缺陷以及获取所述缺陷的属性信息；
分割单元：用于当所述属性信息指向缺陷图像时，将所述图像特征输入预设的分割网络，由所述预设的分割网络的采样路径对所述图像特征进行信息提取和信息融合，以及根据提取和融合后的信息在所述候选区域的图像中分割出所述缺陷图像，所述采样路径包括收缩路径和扩展路径。
10.一种存储介质，其特征在于，所述存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1至8任一项所述的玻璃缺陷检测方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811392995.5A CN109613002B (zh) | 2018-11-21 | 2018-11-21 | 一种玻璃缺陷检测方法、装置和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811392995.5A CN109613002B (zh) | 2018-11-21 | 2018-11-21 | 一种玻璃缺陷检测方法、装置和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109613002A CN109613002A (zh) | 2019-04-12 |
| CN109613002B true CN109613002B (zh) | 2020-06-26 |
Family
ID=66003660
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811392995.5A Active CN109613002B (zh) | 2018-11-21 | 2018-11-21 | 一种玻璃缺陷检测方法、装置和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109613002B (zh) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110047073B (zh) * | 2019-05-05 | 2021-07-06 | 北京大学 | 一种x射线焊缝图像缺陷定级方法及系统 |
| CN110136110A (zh) * | 2019-05-13 | 2019-08-16 | 京东方科技集团股份有限公司 | 光伏组件缺陷的检测方法和装置 |
| CN110208284B (zh) * | 2019-05-27 | 2021-09-17 | 武汉中导光电设备有限公司 | 一种多通道缺陷合并分析的方法及系统 |
| CN110827263B (zh) * | 2019-11-06 | 2021-01-29 | 创新奇智(南京)科技有限公司 | 基于视觉识别技术的磁瓦表面缺陷检测系统及检测方法 |
| CN110907473B (zh) * | 2019-11-29 | 2023-04-07 | 上海科世达-华阳汽车电器有限公司 | 光伏组件的检修方法、装置、设备以及存储介质 |
| CN111127416A (zh) * | 2019-12-19 | 2020-05-08 | 武汉珈鹰智能科技有限公司 | 基于计算机视觉的混凝土结构表面缺陷自动检测方法 |
| CN112347292A (zh) * | 2020-11-09 | 2021-02-09 | 常州微亿智造科技有限公司 | 缺陷标注方法和装置 |
| CN112508939B (zh) * | 2020-12-22 | 2023-01-20 | 郑州金惠计算机系统工程有限公司 | 法兰表面缺陷检测方法及系统和设备 |
| CN112907519A (zh) * | 2021-01-29 | 2021-06-04 | 广州信邦智能装备股份有限公司 | 一种基于深度学习的金属曲面缺陷分析系统及方法 |
| CN113109368B (zh) * | 2021-03-12 | 2023-09-01 | 浙江华睿科技股份有限公司 | 玻璃裂纹检测方法、装置、设备及介质 |
| CN113284094A (zh) * | 2021-04-30 | 2021-08-20 | 芜湖东旭光电科技有限公司 | 获取玻璃基板缺陷信息的方法、装置、存储介质及设备 |
| CN113469997B (zh) * | 2021-07-19 | 2024-02-09 | 京东科技控股股份有限公司 | 平面玻璃的检测方法、装置、设备和介质 |
| CN113620614A (zh) * | 2021-07-27 | 2021-11-09 | 深圳市若菲特科技有限公司 | 玻璃表面油墨去除方法、装置、设备及存储介质 |
| CN117333467A (zh) * | 2023-10-16 | 2024-01-02 | 山东景耀玻璃集团有限公司 | 基于图像处理的玻璃瓶瓶身瑕疵识别检测方法及系统 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE4410603C1 (de) * | 1994-03-26 | 1995-06-14 | Jenoptik Technologie Gmbh | Verfahren zur Erkennung von Fehlern bei der Inspektion von strukturierten Oberflächen |
| CN105405142B (zh) * | 2015-11-12 | 2019-04-05 | 冯平 | 一种玻璃面板的边缺陷检测方法及系统 |
| CN107871134A (zh) * | 2016-09-23 | 2018-04-03 | 北京眼神科技有限公司 | 一种人脸检测方法及装置 |
| CN108108768B (zh) * | 2017-12-29 | 2020-09-25 | 清华大学 | 基于卷积神经网络的光伏玻璃缺陷分类方法及装置 |
| CN108230321A (zh) * | 2018-01-19 | 2018-06-29 | 深圳市亿图视觉自动化技术有限公司 | 缺陷检测方法及装置 |
| CN108682012B (zh) * | 2018-05-15 | 2021-07-27 | 佛山市南海区广工大数控装备协同创新研究院 | 一种基于线扫激光的3d曲面玻璃表面平整性缺陷检测方法 |
-
2018
- 2018-11-21 CN CN201811392995.5A patent/CN109613002B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN109613002A (zh) | 2019-04-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109613002B (zh) | 一种玻璃缺陷检测方法、装置和存储介质 | |
| CN110533084B (zh) | 一种基于自注意力机制的多尺度目标检测方法 | |
| CN110060237B (zh) | 一种故障检测方法、装置、设备及系统 | |
| CN113344849B (zh) | 一种基于YOLOv5的微乳头检测系统 | |
| KR20230124713A (ko) | 결함 검출 방법, 장치 및 시스템 | |
| KR102166458B1 (ko) | 인공신경망 기반의 영상 분할을 이용한 불량 검출 방법 및 불량 검출 장치 | |
| CN111667455B (zh) | 一种刷具多种缺陷的ai检测方法 | |
| CN106886216B (zh) | 基于rgbd人脸检测的机器人自动跟踪方法和系统 | |
| CN111325713A (zh) | 基于神经网络的木材缺陷检测方法、系统及存储介质 | |
| CN109671058B (zh) | 一种大分辨率图像的缺陷检测方法及系统 | |
| CN109781733A (zh) | 缺陷检查装置、缺陷检查方法及计算机可读存储介质 | |
| JP2019087181A (ja) | 画像検査装置および方法 | |
| CN109344864B (zh) | 用于密集物体的图像处理方法及装置 | |
| CN111815564A (zh) | 一种检测丝锭的方法、装置及丝锭分拣系统 | |
| CN111598827A (zh) | 外观瑕疵检测方法、电子装置及存储介质 | |
| CN116740728B (zh) | 一种用于晶圆读码器动态获取方法和系统 | |
| WO2024002187A1 (zh) | 缺陷检测方法、缺陷检测设备及存储介质 | |
| CN116071315A (zh) | 一种基于机器视觉的产品可视缺陷检测方法及系统 | |
| CN111178405A (zh) | 一种融合多种神经网络的相似物体识别方法 | |
| CN110008949B (zh) | 一种图像目标检测方法、系统、装置和存储介质 | |
| CN113706496B (zh) | 一种基于深度学习模型的飞行器结构裂纹检测方法 | |
| CN114170168A (zh) | 显示模组缺陷检测方法、系统及计算机可读存储介质 | |
| CN114078127A (zh) | 物件的缺陷检测及计数方法、装置、设备和存储介质 | |
| CN117351472A (zh) | 烟叶信息检测方法、装置及电子设备 | |
| CN114596244A (zh) | 基于视觉处理和多特征融合的红外图像识别方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |