CN117132563A - 一种玻璃缺陷检测方法、装置、电子设备及存储介质 - Google Patents
一种玻璃缺陷检测方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN117132563A CN117132563A CN202311076365.8A CN202311076365A CN117132563A CN 117132563 A CN117132563 A CN 117132563A CN 202311076365 A CN202311076365 A CN 202311076365A CN 117132563 A CN117132563 A CN 117132563A
- Authority
- CN
- China
- Prior art keywords
- image
- glass
- target detection
- defect
- suspicious region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 143
- 230000007547 defect Effects 0.000 title claims abstract description 108
- 239000011521 glass Substances 0.000 title claims abstract description 96
- 238000000034 method Methods 0.000 claims abstract description 36
- 238000012549 training Methods 0.000 claims description 39
- 230000008859 change Effects 0.000 claims description 14
- 238000012795 verification Methods 0.000 claims description 13
- 238000012360 testing method Methods 0.000 claims description 11
- 238000006073 displacement reaction Methods 0.000 claims description 7
- 230000002950 deficient Effects 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 238000003708 edge detection Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 2
- 238000010200 validation analysis Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本发明涉及检测技术领域，具体涉及一种玻璃缺陷检测方法、电子设备及存储介质，玻璃缺陷检测方法通过扫描待测玻璃获取辉度数据和高度数据，分别合并辉度数据和高度数据生成辉度图像和高度图像，进而后续通过预训练好的目标检测模型输出目标检测结果，并在目标检测结果中包含标注有缺陷的位置和类型的图像时在待测玻璃的原始图像中标注出缺陷的位置和类型，相较于人工视觉方法和机器视觉方法，提高了玻璃缺陷检测的准确性和效率；通过在辉度图像和高度图像中提取第一可疑区域图像和第二可疑区域图像来进行后续的缺陷目标检测，进一步提高了玻璃缺陷检测的效率。
Description
技术领域
本发明涉及检测技术领域，尤其是一种玻璃缺陷检测方法、装置、电子设备及存储介质。
背景技术
玻璃在制造过程中可能会发生形变，出现各种表面缺陷，如凹陷、凸起、污迹和划痕等。现有的玻璃缺陷检测方法通过人工视觉进行检查或者采用机器视觉设备对玻璃表面进行分析检测。其中，人工视觉检查不仅效率低下，而且检测结果的移植性较差，难以保证准确度；机器视觉方法能够对比较明显的缺陷进行识别检测，但由于玻璃是透明的，机器视觉方法难以甚至无法实现大多数缺陷的正常成像，缺陷漏检的情况比较严重，检测结果准确性较低。
发明内容
为解决上述现有技术问题，本发明提供玻璃缺陷检测方法、装置、电子设备及存储介质，提升了玻璃缺陷检测的准确性和效率。
为了达到上述技术目的，本申请实施例所采取的技术方案包括：
第一方面，本申请实施例提供了一种玻璃缺陷检测方法，包括以下步骤：
扫描待测玻璃，获取待测玻璃表面的辉度数据和高度数据；
分别合并辉度数据和高度数据，生成由辉度数据构成的辉度图像以及由高度数据构成的高度图像；
提取辉度图像和高度图像中数据变化幅度超过预设阈值的区域，分别得到第一可疑区域图像和第二可疑区域图像；
分别将第一可疑区域图像和第二可疑区域图像输入对应的预训练好的目标检测模型中，输出目标检测结果，目标检测模型用于采用目标框和对应的目标框类型对第一可疑区域图像和第二可疑区域图像中的缺陷的位置和对应的类型进行标注；
确认目标检测结果中包括标注有缺陷的位置和类型的第一可疑区域图像以及标注有缺陷的位置和类型的第二可疑区域图像中的至少一个，根据目标检测结果在待测玻璃的原始图像中标注出缺陷的位置和类型。
另外，根据本申请上述实施例的一种玻璃缺陷检测方法，还可以具有以下附加的技术特征：
进一步地，本申请实施例的一种玻璃缺陷检测方法中，提取辉度图像和高度图像中数据变化幅度超过预设阈值的区域，分别得到第一可疑区域图像和第二可疑区域图像，包括：
分别对辉度图像和高度图像进行预处理，得到第一可疑区域图像和第二可疑区域图像，预处理包括去噪、图像增强和边缘检测。
进一步地，在本申请的一个实施例中，目标检测模型的训练包括：
获取图像样本集，图像数据集中包括正常样本和缺陷样本，缺陷样本中的缺陷采用边界框标注；
构建目标检测模型；
将图像样本集划分为训练集、验证集和测试集；
采用训练集训练目标检测模型；
采用验证集验证目标检测模型，得到验证结果；
根据验证结果调整目标检测模型的模型参数；
采用测试集评估目标检测模型的性能，其中，若性能达到预设目标，完成目标检测模型的训练；若性能低于预设目标，返回采用训练集训练目标检测模型这一步骤。
进一步地，在本申请的一个实施例中，目标检测模型包括区域建议网络和目标检测网络；
采用所述训练集训练目标检测模型，包括：
依次将训练集中的样本输入目标检测模型；
根据训练集中的样本，通过区域建议网络生成候选目标框，并采用候选目标框标注训练集中的样本的缺陷的可能位置；
通过所述目标检测网络对所述候选目标框进行分类和回归。
进一步地，在本申请的一个实施例中，在将图像样本集划分为训练集、验证集和测试集这一步骤之前，目标检测模型的训练还包括：
对图像样本集中的各个样本进行图像大小调整和归一化。
进一步地，在本申请的一个实施例中，检测方法还包括：
确认目标检测结果中包括标注有缺陷的位置和类型的第一可疑区域图像以及标注有缺陷的位置和类型的第二可疑区域图像中的至少一个，发出报警信息。
进一步地，在本申请的一个实施例中，扫描待测玻璃，包括：
控制线激光位移传感器扫描待测玻璃。
第二方面，本申请实施例提出了一种玻璃缺陷检测装置，包括：
扫描模块，用于扫描待测玻璃，获取待测玻璃表面的辉度数据和高度数据；
合并模块，用于分别合并辉度数据和高度数据，生成由辉度数据构成的辉度图像以及由高度数据构成的高度图像；
提取模块，用于提取辉度图像和高度图像中数据变化幅度超过预设阈值的区域，分别得到第一可疑区域图像和第二可疑区域图像；
检测模块，用于分别将第一可疑区域图像和第二可疑区域图像输入对应的预训练好的目标检测模型中，输出目标检测结果，目标检测模型用于采用目标框和对应的目标框类型对第一可疑区域图像和第二可疑区域图像中的缺陷的位置和对应的类型进行标注；
标注模块，用于确认目标检测结果中包括标注有缺陷的位置和类型的第一可疑区域图像以及标注有缺陷的位置和类型的第二可疑区域图像中的至少一个，根据目标检测结果在待测玻璃的原始图像中标注出缺陷的位置和类型。
第三方面，本申请实施例提出了一种电子设备，包括：
至少一个存储器以及至少一个处理器；
存储器，用于存储一个或多个程序；
当一个或多个程序被所述至少一个处理器执行，使得至少一个处理器实现第一方面的玻璃缺陷检测方法的步骤。
第四方面，本申请实施例提出了一种存储介质，存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现第一方面的玻璃缺陷检测方法的步骤。
本发明的有益效果体现在，通过扫描待测玻璃获取辉度数据和高度数据，分别合并辉度数据和高度数据生成辉度图像和高度图像，进而后续通过预训练好的目标检测模型输出目标检测结果，并在目标检测结果中包含标注有缺陷的位置和类型的图像时在待测玻璃的原始图像中标注出缺陷的位置和类型，相较于人工视觉方法和机器视觉方法，提高了玻璃玻璃缺陷检测的准确性和效率；通过在辉度图像和高度图像中提取第一可疑区域图像和第二可疑区域图像来进行后续的缺陷目标检测，进一步提高了玻璃玻璃缺陷检测的效率。
附图说明
图1为本发明所提供的玻璃缺陷检测方法具体实施例的流程示意图；
图2为本发明所提供的玻璃缺陷检测装置具体实施例的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
参照图1，本申请实施例中的一种玻璃缺陷检测方法，包括以下步骤：
S101、扫描待测玻璃，获取待测玻璃表面的辉度数据和高度数据。
其中，通过扫描装置扫描待测玻璃，扫描得到的辉度数据表示扫描装置接收到的待测玻璃表面各点的亮度，高度数据表示扫描装置与待测玻璃表面各点的距离。
具体地，通过扫描装置发射激光照射待测玻璃的表面各点，并实时接收待测玻璃反射回来的光线，对反射回来的光线进行数据处理，得到待测玻璃表面各点的光强度变化(亮度变化)，并结合扫描角度和光的传播时间，计算扫描装置与待测玻璃表面各点的距离，从而得到待测玻璃表面的辉度数据和高度数据。
可选地，在一些实施例中，扫描装置为线激光位移传感器，控制线激光位移传感器扫描待测玻璃。
可以理解的是，线激光位移传感器由激光发射器、光学系统、激光线阵列传感器和数据处理单元组成。线激光位移传感器工作时，激光发射器会发射一束脉冲激光光束，该激光光束经过光学系统被聚焦成一条细线。激光线阵列传感器将这条细线投影到待测玻璃上，形成一条激光线。随着待测玻璃或线激光位移传感器的移动，激光线在待测玻璃表面形成一条亮度变化线。当激光线照射到待测玻璃表面时，一部分光被待测玻璃表面反射回来，经过光学系统后，被激光线阵列传感器接收。激光线阵列传感器将接收到的激光信号转换为电信号，并通过数据处理单元进行处理。通过分析接收到的光强度变化，结合扫描角度和光的传播时间，线激光位移传感器可以计算出物体的距离，从而得到待测玻璃表面的辉度数据和高度数据。
S102、分别合并辉度数据和高度数据，生成由辉度数据构成的辉度图像以及由高度数据构成的高度图像。
可以理解的是，辉度图像表示了待测玻璃表面的光反射强度，为一幅灰度图像，该灰度图像中每个像素的灰度值表示待测玻璃表面在对应位置的光反射强度或亮度。辉度图像显示了待测玻璃的外观特征，比如颜色、纹理等。在辉度图像中，待测玻璃的轮廓、形状和边缘信息都可以被清晰地观察到。高度图像是根据扫描装置测得的距离信息生成的图像，它表示了待测玻璃表面各个点的高度或距离。高度数据本身不可见，需要转换为高度图像，在高度图像中每个像素的灰度值表示该位置到扫描装置的距离或高度，通常以灰度级或伪彩色来表示不同高度的区域。高度图像可以用于显示待测玻璃表面的高度信息，凹陷、凸起等缺陷在高度图像中较为明显。因此，本申请实施例基于辉度图像和高度图像进行待测玻璃的缺陷检测，相较于人工视觉方法和机器视觉方法能够更加准确地检测到待测玻璃表面的缺陷，并大大减少了缺陷漏检情况。此外，本申请实施例同时获取辉度图像和高度图像进行缺陷检测，充分利用了多源信息，提高了缺陷检测的准确性，特别是在复杂场景下或缺陷形状不规则的情况下，可以更好地满足缺陷检测的需求。
S103、提取辉度图像和高度图像中数据变化幅度超过预设阈值的区域，分别得到第一可疑区域图像和第二可疑区域图像。
可以理解的是，在对待测玻璃进行缺陷检测时，往往待测玻璃绝大部分区域都是无缺陷区域，这些区域体现在辉度图像和高度图像上都比较平坦。若直接采用步骤S102得到的辉度图像和高度图像进行缺陷检测，需要耗费较多的时间在待测玻璃的无缺陷区域上。因此，本申请实施例考虑到有缺陷的区域在辉度图像或者高度图像上有明显的变化，通过提取辉度图像和高度图像中数据变化幅度超过预设阈值的区域，作为可能存在缺陷的区域，分别得到第一可疑区域图像和第二可疑区域图像，并在后续基于尺寸较辉度图像和高度图像小的第一可疑区域图像和第二可疑区域图像进行缺陷检测，在不影响缺陷检测准确性的情况下减少了缺陷检测的工作量，提高了缺陷检测的效率。
可选地，在一些实施例中，步骤S103具体包括：
分别对辉度图像和高度图像进行预处理，得到第一可疑区域图像和第二可疑区域图像。
其中，预处理包括去噪、图像增强和边缘检测。
S104、分别将第一可疑区域图像和第二可疑区域图像输入对应的预训练好的目标检测模型中，输出目标检测结果。
其中，目标检测模型用于采用目标框和对应的目标框类型对第一可疑区域图像和第二可疑区域图像中的缺陷的位置和对应的类型进行标注。
具体地，在一些实施例中，采用YOLO(You Only Look Once)、Faster R-CNN，SSD(Single Shot Multibox Detector)、RetinaNet、Mask R-CNN等目标检测模型对第一可疑区域图像和第二可疑区域图像进行缺陷检测，输出目标检测结果。可以理解的是，将第一可疑区域图像输入预训练好的针对辉度图像的目标检测模型中，将第二可疑区域图像输入预训练好的针对高度图像的目标检测模型，输出目标检测结果。
可以理解的是，本申请实施例选用目标检测模型对第一可疑区域图像和第二可疑区域图像进行缺陷检测，相较于传统的需要工程师进行大量图像分析的方式，具有周期短、检测速度快的优势，同时还具有较高的准确性，能够实现多尺度检测，并且具有可迁移性。
可选地，在一些实施例中，目标检测模型的训练具体包括：
1)获取图像样本集，图像数据集中包括正常样本和缺陷样本，所陷样本中的缺陷采用边界框标注；
2)构建目标检测模型；
3)将图像样本集划分为训练集、验证集和测试集；
4)采用训练集训练目标检测模型；
5)采用验证集验证目标检测模型，得到验证结果；
6)根据验证结果调整目标检测模型的模型参数；
7)采用测试集评估目标检测模型的性能，其中，若性能达到预设目标，完成目标检测模型的训练；若性能低于预设目标，返回步骤4)。
可选地，在一些实施例中，采用Faster R-CNN作为目标检测模型，目标检测模型包括区域建议网络和目标检测网络。采用训练集训练目标检测模型，包括：
a.依次将训练集中的样本输入目标检测模型；
b.根据训练集中的样本，通过区域建议网络生成候选目标框，并采用候选目标框标注训练集中的样本的缺陷的可能位置；
c.通过目标检测网络对候选目标框进行分类和回归。
可选地，在一些实施例中，在步骤3)之前，目标检测模型的训练步骤还包括：
对图像样本集中的各个样本进行图像大小调整和归一化，使得图像样本集中的各个样本适合输入到目标检测模型中。
S105、确认目标检测结果中包括标注有缺陷的位置和类型的第一可疑区域图像以及标注有缺陷的位置和类型的第二可疑区域图像中的至少一个，根据目标检测结果在待测玻璃的原始图像中标注出缺陷的位置和类型。
具体地，若第一可疑区域图像或第二可疑区域图像上标注有缺陷的位置和类型，则根据该缺陷位置和类型在待测玻璃的原始图像中对应标注出缺陷的位置和类型。可选地，在一些实施例中，采用边界框、类别标签和置信度在待测玻璃的原始图像中对应标注缺陷。
可选地，在一些实施例中，确认目标检测结果中包括标注有缺陷的位置和类型的第一可疑区域图像以及标注有缺陷的位置和类型的第二可疑区域图像中的至少一个，发出报警信息，便于进行及时地查验和处理。
综上所述，上述步骤S101-S105的玻璃缺陷检测方法，通过扫描待测玻璃获取辉度数据和高度数据，分别合并辉度数据和高度数据生成辉度图像和高度图像，进而后续通过预训练好的目标检测模型输出目标检测结果，并在目标检测结果中包含标注有缺陷的位置和类型的图像时在待测玻璃的原始图像中标注出缺陷的位置和类型，相较于人工视觉方法和机器视觉方法，提高了玻璃缺陷检测的准确性和效率；通过在辉度图像和高度图像中提取第一可疑区域图像和第二可疑区域图像来进行后续的缺陷目标检测，进一步提高了玻璃缺陷检测的效率。
其次，参照附图描述根据本申请实施例提出的一种玻璃缺陷检测装置。
图2是本申请一个实施例的一种玻璃缺陷检测装置结构示意图。
玻璃缺陷检测装置具体包括：
扫描模块201，用于扫描待测玻璃，获取待测玻璃表面的辉度数据和高度数据；
合并模块202，用于分别合并辉度数据和高度数据，生成由辉度数据构成的辉度图像以及由高度数据构成的高度图像；
提取模块203，用于提取辉度图像和高度图像中数据变化幅度超过预设阈值的区域，分别得到第一可疑区域图像和第二可疑区域图像；
检测模块204，用于分别将第一可疑区域图像和第二可疑区域图像输入对应的预训练好的目标检测模型中，输出目标检测结果，目标检测模型用于采用目标框和对应的目标框类型对第一可疑区域图像和第二可疑区域图像中的缺陷的位置和对应的类型进行标注；
标注模块205，用于确认目标检测结果中包括标注有缺陷的位置和类型的第一可疑区域图像以及标注有缺陷的位置和类型的第二可疑区域图像中的至少一个，根据目标检测结果在待测玻璃的原始图像中标注出缺陷的位置和类型。
可见，上述方法实施例中的内容均适用于本系统实施例中，本系统实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
本申请实施例还提出了一种电子设备，包括：
至少一个存储器以及至少一个处理器；
存储器，用于存储一个或多个程序；
当一个或多个程序被所述至少一个处理器执行，使得至少一个处理器实现如步骤S101-S105所述的玻璃缺陷检测方法的操作。
对于设备实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的设备实施例仅仅是示意性的，其中所述作为分离部件说明的组件可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本公开方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本申请实施例还提出了一种存储介质，存储介质中存储有计算机程序，计算机程序被处理器执行时实现如步骤S101-S105所述的玻璃缺陷检测方法的操作。
存储介质为计算机可用的，包括永久性和非永久性、可移动和非可移动媒体，可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括但不限于：相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(R AM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本申请的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
此外，虽然在功能性模块的背景下描述了本申请，但应当理解的是，除非另有相反说明，功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本申请是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本申请。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本申请的范围，本申请的范围由所附权利要求书及其等同方案的全部范围来决定。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的程序执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本发明的实施例的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“坚直”、“水平”、“中心”、“顶”、“底”、“顶部”、“底部”、“内”、“外”、“内侧”、“外侧”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。其中，“里侧”是指内部或围起来的区域或空间。“外围”是指某特定部件或特定区域的周围的区域。
在本发明的实施例的描述中，术语“第一”、“第二”、“第三”、“第四”仅用以描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”、“第四”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本发明的实施例的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“组装”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
在本发明的实施例的描述中，具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
在本发明的实施例的描述中，需要理解的是，“-”和“～”表示的是两个数值之同的范围，并且该范围包括端点。例如:“A-B”表示大于或等于A，且小于或等于B的范围。“A～B”表示大于或等于A，且小于或等于B的范围。
在本发明的实施例的描述中，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (10)
1.一种玻璃缺陷检测方法，其特征在于，包括以下步骤：
扫描待测玻璃，获取所述待测玻璃表面的辉度数据和高度数据；
分别合并所述辉度数据和所述高度数据，生成由所述辉度数据构成的辉度图像以及由所述高度数据构成的高度图像；
提取所述辉度图像和所述高度图像中数据变化幅度超过预设阈值的区域，分别得到第一可疑区域图像和第二可疑区域图像；
分别将所述第一可疑区域图像和所述第二可疑区域图像输入对应的预训练好的目标检测模型中，输出目标检测结果，所述目标检测模型用于采用目标框和对应的目标框类型对所述第一可疑区域图像和所述第二可疑区域图像中的缺陷的位置和对应的类型进行标注；
确认所述目标检测结果中包括标注有缺陷的位置和类型的所述第一可疑区域图像以及标注有缺陷的位置和类型的所述第二可疑区域图像中的至少一个，根据所述目标检测结果在所述待测玻璃的原始图像中标注出缺陷的位置和类型。
2.根据权利要求1所述的一种玻璃缺陷检测方法，其特征在于，所述提取所述辉度图像和所述高度图像中数据变化幅度超过预设阈值的区域，分别得到第一可疑区域图像和第二可疑区域图像，包括：
分别对所述辉度图像和所述高度图像进行预处理，得到所述第一可疑区域图像和所述第二可疑区域图像，所述预处理包括去噪、图像增强和边缘检测。
3.根据权利要求1所述的一种玻璃缺陷检测方法，其特征在于，所述目标检测模型的训练包括：
获取图像样本集，所述图像数据集中包括正常样本和缺陷样本，所述缺陷样本中的缺陷采用边界框标注；
构建所述目标检测模型；
将所述图像样本集划分为训练集、验证集和测试集；
采用所述训练集训练所述目标检测模型；
采用所述验证集验证所述目标检测模型，得到验证结果；
根据所述验证结果调整所述目标检测模型的模型参数；
采用所述测试集评估所述目标检测模型的性能，其中，若所述性能达到预设目标，完成所述目标检测模型的训练；若所述性能低于所述预设目标，返回所述采用所述训练集训练所述目标检测模型这一步骤。
4.根据权利要求3所述的一种玻璃缺陷检测方法，其特征在于，所述目标检测模型包括区域建议网络和目标检测网络；
所述采用所述训练集训练所述目标检测模型，包括：
依次将所述训练集中的样本输入所述目标检测模型；
根据所述训练集中的样本，通过所述区域建议网络生成候选目标框，并采用所述候选目标框标注所述训练集中的样本的缺陷的可能位置；
通过所述目标检测网络对所述候选目标框进行分类和回归。
5.根据权利要求3所述的一种玻璃缺陷检测方法，其特征在于，在所述将所述图像样本集划分为训练集、验证集和测试集这一步骤之前，所述目标检测模型的训练还包括：
对所述图像样本集中的各个样本进行图像大小调整和归一化。
6.根据权利要求1任一项所述的一种玻璃缺陷检测方法，其特征在于，所述检测方法还包括：
确认所述目标检测结果中包括标注有缺陷的位置和类型的所述第一可疑区域图像以及标注有缺陷的位置和类型的所述第二可疑区域图像中的至少一个，发出报警信息。
7.根据权利要求1所述的一种玻璃缺陷检测方法，其特征在于，所述扫描待测玻璃，包括：
控制线激光位移传感器扫描所述待测玻璃。
8.一种玻璃缺陷检测装置，其特征在于，包括：
扫描模块，用于扫描待测玻璃，获取所述待测玻璃表面的辉度数据和高度数据；
合并模块，用于分别合并所述辉度数据和所述高度数据，生成由所述辉度数据构成的辉度图像以及由所述高度数据构成的高度图像；
提取模块，用于提取所述辉度图像和所述高度图像中数据变化幅度超过预设阈值的区域，分别得到第一可疑区域图像和第二可疑区域图像；
检测模块，用于分别将所述第一可疑区域图像和所述第二可疑区域图像输入对应的预训练好的目标检测模型中，输出目标检测结果，所述目标检测模型用于采用目标框和对应的目标框类型对所述第一可疑区域图像和所述第二可疑区域图像中的缺陷的位置和对应的类型进行标注；
标注模块，用于确认所述目标检测结果中包括标注有缺陷的位置和类型的所述第一可疑区域图像以及标注有缺陷的位置和类型的所述第二可疑区域图像中的至少一个，根据所述目标检测结果在所述待测玻璃的原始图像中标注出缺陷的位置和类型。
9.一种电子设备，其特征在于，包括：
至少一个存储器以及至少一个处理器；
所述存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如权利要求1-7任一项所述的玻璃缺陷检测方法的步骤。
10.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-7任一项所述的玻璃缺陷检测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311076365.8A CN117132563A (zh) | 2023-08-24 | 2023-08-24 | 一种玻璃缺陷检测方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311076365.8A CN117132563A (zh) | 2023-08-24 | 2023-08-24 | 一种玻璃缺陷检测方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117132563A true CN117132563A (zh) | 2023-11-28 |
Family
ID=88852153
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311076365.8A Pending CN117132563A (zh) | 2023-08-24 | 2023-08-24 | 一种玻璃缺陷检测方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117132563A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117636077A (zh) * | 2024-01-25 | 2024-03-01 | 高视科技(苏州)股份有限公司 | 缺陷检测参数调整方法、电子设备和储存介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101996405A (zh) * | 2010-08-30 | 2011-03-30 | 中国科学院计算技术研究所 | 一种快速的玻璃图像缺陷检测及分类方法及其装置 |
| US20110235894A1 (en) * | 2010-03-26 | 2011-09-29 | The Boeing Company | Method for detecting optical defects in transparencies |
| CN106645168A (zh) * | 2016-12-19 | 2017-05-10 | 湘潭大学 | 一种起重机臂筒表面凹凸缺陷的检测方法 |
| CN108846837A (zh) * | 2018-06-01 | 2018-11-20 | 联想(北京)有限公司 | 物体表面缺陷检测方法和装置 |
| CN109613002A (zh) * | 2018-11-21 | 2019-04-12 | 腾讯科技（深圳）有限公司 | 一种玻璃缺陷检测方法、装置和存储介质 |
| CN111929329A (zh) * | 2020-07-30 | 2020-11-13 | 广东寰球智能科技有限公司 | 玻璃幕墙智能检测方法、系统及存储介质 |
| CN112798617A (zh) * | 2021-01-28 | 2021-05-14 | 江苏骠马智能工业设计研究有限公司 | 类镜面物体的缺陷检测装置及其检测方法 |
| CN114299066A (zh) * | 2022-03-03 | 2022-04-08 | 清华大学 | 基于显著性特征预提取与图像分割的缺陷检测方法和装置 |
| KR20230116985A (ko) * | 2022-01-28 | 2023-08-07 | 배성호 | 필름 피트 결함 검출 시스템 및 방법 |
-
2023
- 2023-08-24 CN CN202311076365.8A patent/CN117132563A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110235894A1 (en) * | 2010-03-26 | 2011-09-29 | The Boeing Company | Method for detecting optical defects in transparencies |
| CN101996405A (zh) * | 2010-08-30 | 2011-03-30 | 中国科学院计算技术研究所 | 一种快速的玻璃图像缺陷检测及分类方法及其装置 |
| CN106645168A (zh) * | 2016-12-19 | 2017-05-10 | 湘潭大学 | 一种起重机臂筒表面凹凸缺陷的检测方法 |
| CN108846837A (zh) * | 2018-06-01 | 2018-11-20 | 联想(北京)有限公司 | 物体表面缺陷检测方法和装置 |
| CN109613002A (zh) * | 2018-11-21 | 2019-04-12 | 腾讯科技（深圳）有限公司 | 一种玻璃缺陷检测方法、装置和存储介质 |
| CN111929329A (zh) * | 2020-07-30 | 2020-11-13 | 广东寰球智能科技有限公司 | 玻璃幕墙智能检测方法、系统及存储介质 |
| CN112798617A (zh) * | 2021-01-28 | 2021-05-14 | 江苏骠马智能工业设计研究有限公司 | 类镜面物体的缺陷检测装置及其检测方法 |
| KR20230116985A (ko) * | 2022-01-28 | 2023-08-07 | 배성호 | 필름 피트 결함 검출 시스템 및 방법 |
| CN114299066A (zh) * | 2022-03-03 | 2022-04-08 | 清华大学 | 基于显著性特征预提取与图像分割的缺陷检测方法和装置 |
Non-Patent Citations (1)
| Title |
|---|
| ZHANG ZHONGXING ET AL.: "CCNet: A high-speed cascaded convolutional neural network for ship detection with multispectral images", 《红外与毫米波学报》, vol. 38, no. 3, 30 June 2019 (2019-06-30), pages 1 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117636077A (zh) * | 2024-01-25 | 2024-03-01 | 高视科技(苏州)股份有限公司 | 缺陷检测参数调整方法、电子设备和储存介质 |
| CN117636077B (zh) * | 2024-01-25 | 2024-04-02 | 高视科技(苏州)股份有限公司 | 缺陷检测参数调整方法、电子设备和储存介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111855664B (zh) | 一种可调节隧道病害三维检测系统 | |
| JP5932110B2 (ja) | 原石のインクルージョンを検出／同定する方法および機器 | |
| US10825165B2 (en) | Inspection method for a manufactured article and system for performing same | |
| EP3814758A1 (en) | Item inspection by dynamic selection of projection angle | |
| CN109580630A (zh) | 一种机械零部件缺陷的视觉检测方法 | |
| CN102016565A (zh) | 用于将三维模型配准到表现零件姿态的点数据的系统、程序产品、和相关方法 | |
| AU2018208312A1 (en) | Mobile and automated apparatus for the detection and classification of damages on the body of a vehicle | |
| CN117132563A (zh) | 一种玻璃缺陷检测方法、装置、电子设备及存储介质 | |
| CN110189257A (zh) | 点云获取的方法、装置、系统及存储介质 | |
| CN109948637A (zh) | 对象检测装置、对象检测方法及计算机可读介质 | |
| JP7094400B2 (ja) | シミュレーション装置およびシミュレーション方法 | |
| US9324125B2 (en) | Methods and apparatuses for rendering CT image data | |
| CN111602177A (zh) | 用于生成物体的3d重建的方法和设备 | |
| CN105160754A (zh) | 基于高度测量的硬币表面质量检测装置及其检测方法 | |
| Tao et al. | Gap detection of switch machines in complex environment based on object detection and image processing | |
| CN112858351A (zh) | 一种基于机器视觉的x射线无损探伤方法 | |
| CN115601359A (zh) | 一种焊缝检测方法及装置 | |
| CN103218805A (zh) | 处理用于对象检验的图像的方法和系统 | |
| US20210012485A1 (en) | Method for detecting tumor by image analysis, device using method, and non-transitory storage medium | |
| CN105572133A (zh) | 瑕疵检测方法及其装置 | |
| CN116148277A (zh) | 一种透明体缺陷三维检测方法、装置、设备及存储介质 | |
| CN116125489A (zh) | 一种室内物体三维检测方法、计算机设备及存储介质 | |
| CN114139353A (zh) | 模拟成像感知数据的优化方法、系统及计算机程序 | |
| JP2023137057A (ja) | 欠陥予測モデルの生成方法、びん外観検査方法、およびびん外観検査装置 | |
| KR102114013B1 (ko) | 디스플레이 결함 검출 장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |