CN117392136B - 基于图像处理的玻璃盖板透光异常检测方法 - Google Patents
基于图像处理的玻璃盖板透光异常检测方法 Download PDFInfo
- Publication number
- CN117392136B CN117392136B CN202311703592.9A CN202311703592A CN117392136B CN 117392136 B CN117392136 B CN 117392136B CN 202311703592 A CN202311703592 A CN 202311703592A CN 117392136 B CN117392136 B CN 117392136B
- Authority
- CN
- China
- Prior art keywords
- image
- block
- abnormal
- cover plate
- glass cover
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 174
- 239000011521 glass Substances 0.000 title claims abstract description 116
- 230000005540 biological transmission Effects 0.000 title claims abstract description 40
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000012545 processing Methods 0.000 title claims abstract description 27
- 230000005856 abnormality Effects 0.000 claims abstract description 40
- 230000007547 defect Effects 0.000 claims abstract description 35
- 238000012216 screening Methods 0.000 claims abstract description 8
- 230000007797 corrosion Effects 0.000 claims description 14
- 238000005260 corrosion Methods 0.000 claims description 14
- 230000000877 morphologic effect Effects 0.000 claims description 10
- 238000013528 artificial neural network Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000002834 transmittance Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 3
- 238000005286 illumination Methods 0.000 abstract description 23
- 238000001514 detection method Methods 0.000 abstract description 18
- 230000000694 effects Effects 0.000 description 5
- 230000002950 deficient Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 238000005530 etching Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000000227 grinding Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/0008—Industrial image inspection checking presence/absence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/54—Extraction of image or video features relating to texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/06—Recognition of objects for industrial automation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Computational Linguistics (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本发明涉及图像数据处理技术领域，具体涉及基于图像处理的玻璃盖板透光异常检测方法，包括：使用相机从多个不同的拍摄角度下拍摄同一个玻璃盖板，得到若干张玻璃盖板表面图像，并进行图像差分，获取若干个差分图像，将差分图像等分为若干个图像块，筛选出异常块和正常块，获取异常块中存在划痕的可能性，从而得到异常块中每个像素点的更新灰度值，由此得到差分图像的更新图像，用以判断所述玻璃盖板是否存在透光异常。本发明通过多角度拍摄同一个玻璃盖板，根据多角度拍摄图像之间的差异、划痕缺陷和不均匀光照区域之间的差异，提高了缺陷检测的准确性，增加了玻璃盖板透光异常检测准确性。
Description
技术领域
本发明涉及图像数据处理技术领域，具体涉及基于图像处理的玻璃盖板透光异常检测方法。
背景技术
玻璃盖板在生产过程中，因在开孔、倒边和研磨工艺中，由于工具操作不当导致玻璃盖板表面产生形态不一、深浅不同的划痕，致使玻璃盖板透光出现异常，为保证玻璃盖板生产质量，需要对玻璃盖板表面透光异常进行检测，当前常使用图像处理技术中的Canny边缘检测算法，来进行玻璃盖板透光异常检测。
现有的问题：玻璃盖板由于玻璃材质的折射和反射效应，很难保障采集的玻璃盖板图像中光照均匀，而不均匀的光照可能会增加Canny边缘检测时的误差率，使得边缘像素点的检测结果可信度较低，从而减小了玻璃盖板透光异常检测准确性。
发明内容
本发明提供基于图像处理的玻璃盖板透光异常检测方法，以解决现有的问题。
本发明的基于图像处理的玻璃盖板透光异常检测方法采用如下技术方案：
本发明一个实施例提供了基于图像处理的玻璃盖板透光异常检测方法，该方法包括以下步骤：
使用相机从多个不同的拍摄角度下拍摄同一个玻璃盖板，得到若干张玻璃盖板表面图像；使用图像灰度化算法，得到每张玻璃盖板表面图像的玻璃盖板灰度图像；根据所有玻璃盖板灰度图像之间的像素点灰度值差异，得到若干个差分图像；
将任意一个差分图像，记为主差分图像，并将主差分图像等分为若干个图像块；根据每个图像块中像素点之间的灰度值差异，得到每个图像块的异常程度；在所有图像块中，根据每个图像块的异常程度，筛选出异常块和正常块；
将任意一个异常块，记为主异常块；根据主异常块和所有正常块之间的距离、像素点之间的梯度差异、主异常块的异常程度，得到主异常块中存在划痕的可能性；
根据主异常块中存在划痕的可能性、主异常块中每个像素点的灰度值，得到主异常块中每个像素点的更新灰度值；根据所有正常块中所有像素点的灰度值、所有异常块中所有像素点的更新灰度值，得到主差分图像的更新图像；根据所有差分图像的更新图像，判断所述玻璃盖板是否存在透光异常。
进一步地，所述根据所有玻璃盖板灰度图像之间的像素点灰度值差异，得到若干个差分图像，包括的具体步骤如下：
使用形态学腐蚀算法，对每张玻璃盖板灰度图像进行形态学腐蚀操作，得到每张玻璃盖板灰度图像的腐蚀图像；
所述多个不同的拍摄角度中存在正俯视拍摄角度，将相机从正俯视拍摄角度下拍摄的玻璃盖板表面图像对应的腐蚀图像，记为目标图像；
将不是目标图像的腐蚀图像，记为参考图像；
使用图像差分算法，得到目标图像与每个参考图像的差分图像。
进一步地，所述将主差分图像等分为若干个图像块，包括的具体步骤如下：
将主差分图像等分为若干个大小为的图像块，所述n为预设的边长。
进一步地，所述根据每个图像块中像素点之间的灰度值差异，得到每个图像块的异常程度，包括的具体步骤如下：
将任意一个图像块，记为目标块；
将目标块内所有像素点灰度值的均值，记为目标块的标准灰度值；
在目标块内，根据所有像素点灰度值与标准灰度值的差异，筛选出所有像素点中的异常点；
将目标块内所有异常点的数量与所有像素点的数量的比值，记为目标块的异常程度。
进一步地，所述在目标块内，根据所有像素点灰度值与标准灰度值的差异，筛选出所有像素点中的异常点，包括的具体步骤如下：
将目标块内每个像素点的灰度值与标准灰度值的差值的绝对值，记为目标块内每个像素点的异常值；
将目标块内异常值大于预设的灰度阈值的像素点，记为异常点。
进一步地，所述在所有图像块中，根据每个图像块的异常程度，筛选出异常块和正常块，包括的具体步骤如下：
在所有图像块中，将异常程度大于预设的异常阈值的图像块，记为异常块；将异常程度小于等于预设的异常阈值的图像块，记为正常块。
进一步地，所述根据主异常块和所有正常块之间的距离、像素点之间的梯度差异、主异常块的异常程度，得到主异常块中存在划痕的可能性，包括的具体步骤如下：
使用Sobel算子，得到主差分图像中每个像素点的梯度；
根据图像块中像素点的位置，在主异常块与每个正常块中，计算每个对应相同位置上的两个像素点的梯度的夹角值，将所有对应相同位置上的两个像素点的梯度的夹角值的均值，记为主异常块与每个正常块的纹理相似性；
根据主异常块与所有正常块的纹理相似性、主异常块和所有正常块的中心点之间的距离、主异常块的异常程度，得到主异常块中存在划痕的可能性。
进一步地，所述根据主异常块与所有正常块的纹理相似性、主异常块和所有正常块的中心点之间的距离、主异常块的异常程度，得到主异常块中存在划痕的可能性对应的具体计算公式为：
其中P为主异常块中存在划痕的可能性，A为主异常块的异常程度，为主异常块与第i个正常块的纹理相似性，/>为主异常块的中心点与第i个正常块的中心点之间的距离，m为正常块的数量，/>为线性归一化函数。
进一步地，所述根据主异常块中存在划痕的可能性、主异常块中每个像素点的灰度值，得到主异常块中每个像素点的更新灰度值对应的具体计算公式为：
其中为主异常块中第j个像素点的更新灰度值，/>为主异常块中第j个像素点的灰度值，P为主异常块中存在划痕的可能性，/>为预设的常数。
进一步地，所述根据所有差分图像的更新图像，判断所述玻璃盖板是否存在透光异常，包括的具体步骤如下：
使用深度神经网络，得到每个差分图像的更新图像中的划痕缺陷区域；
当所有差分图像的更新图像中存在划痕缺陷区域时，判定所述玻璃盖板存在透光异常；
当所有差分图像的更新图像中不存在划痕缺陷区域时，判定所述玻璃盖板不存在透光异常。
本发明的技术方案的有益效果是：
本发明实施例中，使用相机从多个不同的拍摄角度下拍摄同一个玻璃盖板，得到若干张玻璃盖板表面图像，并进行图像差分，获取若干个差分图像，其通过多角度拍摄得到更加全面的缺陷区域信息，并通过图像差分，提高图像内缺陷和光照不均匀区域的灰度特征，提高缺陷检测的准确性。将差分图像等分为若干个图像块，筛选出异常块和正常块，获取异常块中存在划痕的可能性，从而得到异常块中每个像素点的更新灰度值，其通过区分缺陷和光照不均匀区域，从而调整两区域像素点的灰度值，进一步提高了缺陷检测的准确性，最后得到差分图像的更新图像，由此判断所述玻璃盖板是否存在透光异常。至此本发明通过多角度拍摄同一个玻璃盖板，根据多角度拍摄图像之间的差异、划痕缺陷和不均匀光照区域之间的差异，提高了缺陷检测的准确性，增加了玻璃盖板透光异常检测准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明基于图像处理的玻璃盖板透光异常检测方法的步骤流程图；
图2为本实施例所提供的一个玻璃盖板表面图像拍摄过程示意图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的基于图像处理的玻璃盖板透光异常检测方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的基于图像处理的玻璃盖板透光异常检测方法的具体方案。
请参阅图1，其示出了本发明一个实施例提供的基于图像处理的玻璃盖板透光异常检测方法的步骤流程图，该方法包括以下步骤：
步骤S001：使用相机从多个不同的拍摄角度下拍摄同一个玻璃盖板，得到若干张玻璃盖板表面图像；使用图像灰度化算法，得到每张玻璃盖板表面图像的玻璃盖板灰度图像；根据所有玻璃盖板灰度图像之间的像素点灰度值差异，得到若干个差分图像。
已知玻璃盖板由于玻璃材质的折射和反射效应，很难保障采集的玻璃盖板图像中光照均匀，而不均匀光照特征复杂多变，因此通过单一角度采集的玻璃盖板图像中的缺陷检测结果可信度较低。因此本实施例通过多个角度采集玻璃盖板图像，由此增加玻璃盖板的图像信息和视角，减少阴影和反光问题，确保检测结果更加有信服力，由此通过多角度采集图像之间的分析，提高玻璃盖板透光异常检测的准确性。
使用相机从多个不同的拍摄角度下拍摄同一个玻璃盖板，得到若干张玻璃盖板表面图像。所述多个不同的拍摄角度中存在正俯视拍摄角度。图2为本实施例所提供的一个玻璃盖板表面图像拍摄过程示意图。
所需说明的是：由于玻璃的透光性，本施例将光源设置在玻璃盖板正下方，使用相机先正俯视拍摄玻璃盖板，然后以玻璃盖板为中心，以玻璃盖板到相机的距离为半径构建左右方向上圆弧，然后在圆弧上分别向左右每旋转10度，使用相机拍摄一次玻璃盖板，此过程如图2所示，其从正俯视开始别向左右最大旋转40度，即同一个玻璃盖板对应9张玻璃盖板表面图像，本实施例以此为例进行叙述，其它实施方式中可设置其它多角度拍摄方式，本实施例不进行限定。并且由于相机到玻璃盖板的距离不变，故拍摄的图像大小相同。
使用图像灰度化算法，对每张玻璃盖板表面图像进行灰度化处理，得到每张玻璃盖板表面图像的玻璃盖板灰度图像。其中，图像灰度化算法为公知技术，具体方法在此不做介绍。
由于玻璃盖板透光异常检测的过程中，盖板表面很难保证光照均匀，造成不同拍摄角度下得到的图像存在差异，差异包括：划痕显现特征差异，反光影响不一样，所以，本实施例通过对不同图像之间的差分图像进行分析，确定区域特征的不稳定性，再对图像中不稳定区域内的像素点进行灰度值调整。
已知玻璃盖板透光异常主要是由于玻璃盖板表面的划痕缺陷造成的，而传统的固定拍摄位置采集玻璃盖板图像，要使得图像上包含全部划痕，拍摄位置的选择比较困难，所以本实施例通过多个角度拍摄，每个角度拍摄所得到的图像之间会存在差异，因此先对每个角度拍摄所获得的图像进行形态学处理，再将形态学处理过后的图像进行差分，减少差分图像中噪声的影响。
使用形态学腐蚀算法，对每张玻璃盖板灰度图像进行形态学腐蚀操作，得到每张玻璃盖板灰度图像的腐蚀图像。
所需说明的是：形态学腐蚀算法为公知技术，具体方法在此不做介绍。本实施例设定形态学腐蚀算法中的腐蚀核大小为3×3，以此为例进行叙述，其它实施方式中可设置为其它值，本实施例不进行限定。由此对玻璃盖板灰度图像进行噪声滤除处理。
将相机从正俯视拍摄角度下拍摄的玻璃盖板表面图像对应的腐蚀图像，记为目标图像。
将不是目标图像的腐蚀图像，记为参考图像。
使用图像差分算法，得到目标图像与每个参考图像的差分图像。其中，图像差分算法为公知技术，具体方法在此不做介绍。
所需说明的是：由于多角度拍摄，玻璃盖板表面上的同一个划痕缺陷，由于划痕的反光影响，该划痕缺陷会在不同角度拍摄的图像中表现出不同的灰度特征，而玻璃盖板表面的正常区域，会在不同角度拍摄的图像中表现出相似的灰度特征。因此划痕缺陷会在差分图像中表现为高灰度特征。但由于光照不均匀的影响，也会导致差分图像中存在高灰度的不均匀光照区域。
步骤S002：将任意一个差分图像，记为主差分图像，并将主差分图像等分为若干个图像块；根据每个图像块中像素点之间的灰度值差异，得到每个图像块的异常程度；在所有图像块中，根据每个图像块的异常程度，筛选出异常块和正常块。
因玻璃盖板表面很难保证光照均匀，导致每个拍摄角度拍摄所获得的图像之间存在差异，因此获得差分图像后，差分图像中会包含划痕和不均匀光照区域，所以需要进一步识别划痕缺陷，本实施例将通过图像内每个像素点所处局部区域内的灰度值差异和像素点的连续特征，确定每个像素点的不稳定程度，从而利用每个像素点的不稳定程度对其灰度值进行调整。
将任意一个差分图像，记为主差分图像。
本实施例预设的边长n为5，以此为例进行叙述，其它实施方式中可设置为其它值，本实施例不进行限定。
将主差分图像等分为若干个大小为的图像块。
所需说明的是：预设的边长n的取值应为图像长度和宽度的公倍数，由此保障图像能够刚好被完全等分。并且当玻璃盖板不存在缺陷和不均匀光照影响时，每个图像块内的像素点灰度值应相似，且各图像块之间相似。
已知差分图像中划痕、光照不均匀处的像素点比正常像素点的灰度值大，因此当图像块中像素点灰度值的差异较大时，图像块中越可能存在缺陷区域或者不均匀光照区域。划痕会破坏玻璃盖板的纹理，但不均匀光照不会破坏玻璃盖板的纹理，并且整个玻璃盖板受到光照方向一致，因此当只存在不均匀光照的图像块与正常图像块内的纹理差异较小，存在划痕的图像块与正常图像块内的纹理差异较大。故可根据图像块之间的像素点梯度方向的差异，判断纹理变化，并结合图像块内的像素点灰度差异，识别存在划痕的图像块。
将任意一个图像块，记为目标块。
将目标块内所有像素点灰度值的均值，记为目标块的标准灰度值。
在目标块内，将每个像素点灰度值与标准灰度值的差值的绝对值，记为每个像素点的异常值。
本实施例预设的灰度阈值为30，预设的异常阈值为0.5，以此为例进行叙述，其它实施方式中可设置为其它值，本实施例不进行限定。
在目标块内，将异常值大于预设的灰度阈值的像素点，记为异常点。
在目标块内，将所有异常点的数量与所有像素点的数量的比值，记为目标块的异常程度。
按照上述方式，得到每个图像块的异常程度。
将异常程度大于预设的异常阈值的图像块，记为异常块。
将异常程度小于等于预设的异常阈值的图像块，记为正常块。
步骤S003：将任意一个异常块，记为主异常块；根据主异常块和所有正常块之间的距离、像素点之间的梯度差异、主异常块的异常程度，得到主异常块中存在划痕的可能性。
使用Sobel算子，得到主差分图像中每个像素点的梯度。其中，Sobel算子为公知技术，具体方法在此不做介绍。
将任意一个异常块，记为主异常块。
根据图像块中像素点的位置，在主异常块与每个正常块中，计算每个对应相同位置上的两个像素点的梯度的夹角值，将所有对应相同位置上的两个像素点的梯度的夹角值的均值，记为主异常块与每个正常块的纹理相似性。
所需说明的是：所有图像块大小相同，因此在两个图像块中对应相同位置上的两个像素点，如同为图像块中心的两个像素点，同为图像块左上角的两个像素点。梯度为矢量，本实施例使用反余弦函数，得到两个梯度的夹角值，反余弦函数为公知技术，具体方法在此不做介绍。
由此可知主异常块中存在划痕的可能性P的计算公式为：
其中P为主异常块中存在划痕的可能性，A为主异常块的异常程度，为主异常块与第i个正常块的纹理相似性，/>为主异常块的中心点与第i个正常块的中心点之间的距离，m为正常块的数量，/>为线性归一化函数，将数据值归一化至[0,1]区间内。
所需说明的是：A越大，说明主异常块中越可能存在缺陷区域或者不均匀光照区域，而越大，说明主异常块与第i个正常块中像素点的梯度方向差异越大，即纹理相似性越小，故为缺陷的可能性越大。并且当正常块距离主异常块越近，正常块越可信，因此以为/>的距离权重，故用A与/>的归一化值，表示主异常块中存在划痕的可能性，P越大，越可能存在划痕。
步骤S004：根据主异常块中存在划痕的可能性、主异常块中每个像素点的灰度值，得到主异常块中每个像素点的更新灰度值；根据所有正常块中所有像素点的灰度值、所有异常块中所有像素点的更新灰度值，得到主差分图像的更新图像；根据所有差分图像的更新图像，判断所述玻璃盖板是否存在透光异常。
若差分图像中的局部区域内含有划痕，说明差分图像中的局部区域特征的不稳定程度较大，则做图像差分的两种图像之间存在差异越大，通过上述方式可获得差分图像中的异常块和异常块中存在划痕的可能性，由此可对异常块中像素点的灰度值进行调整，减小不均匀光照的影响，提高划痕缺陷的表现程度，从而提高缺陷检测的准确性。
已知差分图像中正常像素点的灰度值较小，存在异常的像素点灰度值较大，因此本实施例需要调大异常像素点中的真正缺陷像素点的灰度值，调小异常像素点中的光照不均匀造成的异常像素点的灰度值。
由此可知主异常块中每个像素点的更新灰度值的计算公式为：
其中为主异常块中第j个像素点的更新灰度值，/>为主异常块中第j个像素点的灰度值，P为主异常块中存在划痕的可能性，/>为预设的常数，y为主异常块中的像素点数量。本实施例设定/>，以此为例进行叙述，其它实施方式中可设置为其它值，本实施例不进行限定。
所需说明的是：当主异常块中存在划痕的可能性P越大，则应赋予主异常块中的像素点较大的灰度值，提高划痕缺陷的表现程度，当主异常块中存在划痕的可能性P越小，则应赋予主异常块中的像素点较小的灰度值，减小不均匀光照对缺陷检测的影响，因此用表示主异常块中第j个像素点的更新灰度值。
按照上述方式，得到每个异常块中每个像素点的更新灰度值。
在主差分图像中，将所有正常块中所有像素点的灰度值、所有异常块中所有像素点的更新灰度值构成的图像，记为主差分图像的更新图像。
按照上述方式，得到每个差分图像的更新图像。
本发明实施例采用深度神经网络来识别每个差分图像的更新图像中的划痕缺陷区域。
深度神经网络的相关内容如下：
本实施例使用的深度神经网络为DeepLabV3神经网络；使用的数据集为差分图像的更新图像数据集。
需要分割的像素点，共分为2类，即训练集对应标签标注过程为：单通道的语义标签，对应位置像素点属于背景类的标注为0，属于支划痕缺陷区域的标注为1。
网络的任务是分类，所以使用的loss函数为交叉熵损失函数。
通过深度神经网络得到每个差分图像的更新图像中的划痕缺陷区域。
所需说明的是：当玻璃盖板正常时，深度神经网络识别不出差分图像的更新图像中的划痕缺陷区域。
在所有差分图像的更新图像中，当存在划痕缺陷区域时，判定所述玻璃盖板存在透光异常，当不存在划痕缺陷区域时，判定所述玻璃盖板不存在透光异常。
至此，本发明完成。
综上所述，在本发明实施例中，使用相机从多个不同的拍摄角度下拍摄同一个玻璃盖板，得到若干张玻璃盖板表面图像，并进行图像差分，获取若干个差分图像，将差分图像等分为若干个图像块，筛选出异常块和正常块。根据异常块和所有正常块之间的距离、像素点之间的梯度差异、异常块的异常程度，得到异常块中存在划痕的可能性。根据异常块中存在划痕的可能性、异常块中每个像素点的灰度值，得到异常块中每个像素点的更新灰度值，从而得到差分图像的更新图像，由此判断所述玻璃盖板是否存在透光异常。本发明通过多角度拍摄同一个玻璃盖板，根据多角度拍摄图像之间的差异、划痕缺陷和不均匀光照区域之间的差异，提高了缺陷检测的准确性，增加了玻璃盖板透光异常检测准确性。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.基于图像处理的玻璃盖板透光异常检测方法，其特征在于，该方法包括以下步骤：
使用相机从多个不同的拍摄角度下拍摄同一个玻璃盖板，得到若干张玻璃盖板表面图像；使用图像灰度化算法，得到每张玻璃盖板表面图像的玻璃盖板灰度图像；根据所有玻璃盖板灰度图像之间的像素点灰度值差异，得到若干个差分图像；
将任意一个差分图像，记为主差分图像，并将主差分图像等分为若干个图像块；根据每个图像块中像素点之间的灰度值差异，得到每个图像块的异常程度；在所有图像块中，根据每个图像块的异常程度，筛选出异常块和正常块；
将任意一个异常块，记为主异常块；根据主异常块和所有正常块之间的距离、像素点之间的梯度差异、主异常块的异常程度，得到主异常块中存在划痕的可能性；
根据主异常块中存在划痕的可能性、主异常块中每个像素点的灰度值，得到主异常块中每个像素点的更新灰度值；根据所有正常块中所有像素点的灰度值、所有异常块中所有像素点的更新灰度值，得到主差分图像的更新图像；根据所有差分图像的更新图像，判断所述玻璃盖板是否存在透光异常。
2.根据权利要求1所述基于图像处理的玻璃盖板透光异常检测方法，其特征在于，所述根据所有玻璃盖板灰度图像之间的像素点灰度值差异，得到若干个差分图像，包括的具体步骤如下：
使用形态学腐蚀算法，对每张玻璃盖板灰度图像进行形态学腐蚀操作，得到每张玻璃盖板灰度图像的腐蚀图像；
所述多个不同的拍摄角度中存在正俯视拍摄角度，将相机从正俯视拍摄角度下拍摄的玻璃盖板表面图像对应的腐蚀图像，记为目标图像；
将不是目标图像的腐蚀图像，记为参考图像；
使用图像差分算法，得到目标图像与每个参考图像的差分图像。
3.根据权利要求1所述基于图像处理的玻璃盖板透光异常检测方法，其特征在于，所述将主差分图像等分为若干个图像块，包括的具体步骤如下：
将主差分图像等分为若干个大小为的图像块，所述n为预设的边长。
4.根据权利要求1所述基于图像处理的玻璃盖板透光异常检测方法，其特征在于，所述根据每个图像块中像素点之间的灰度值差异，得到每个图像块的异常程度，包括的具体步骤如下：
将任意一个图像块，记为目标块；
将目标块内所有像素点灰度值的均值，记为目标块的标准灰度值；
在目标块内，根据所有像素点灰度值与标准灰度值的差异，筛选出所有像素点中的异常点；
将目标块内所有异常点的数量与所有像素点的数量的比值，记为目标块的异常程度。
5.根据权利要求4所述基于图像处理的玻璃盖板透光异常检测方法，其特征在于，所述在目标块内，根据所有像素点灰度值与标准灰度值的差异，筛选出所有像素点中的异常点，包括的具体步骤如下：
将目标块内每个像素点的灰度值与标准灰度值的差值的绝对值，记为目标块内每个像素点的异常值；
将目标块内异常值大于预设的灰度阈值的像素点，记为异常点。
6.根据权利要求1所述基于图像处理的玻璃盖板透光异常检测方法，其特征在于，所述在所有图像块中，根据每个图像块的异常程度，筛选出异常块和正常块，包括的具体步骤如下：
在所有图像块中，将异常程度大于预设的异常阈值的图像块，记为异常块；将异常程度小于等于预设的异常阈值的图像块，记为正常块。
7.根据权利要求1所述基于图像处理的玻璃盖板透光异常检测方法，其特征在于，所述根据主异常块和所有正常块之间的距离、像素点之间的梯度差异、主异常块的异常程度，得到主异常块中存在划痕的可能性，包括的具体步骤如下：
使用Sobel算子，得到主差分图像中每个像素点的梯度；
根据图像块中像素点的位置，在主异常块与每个正常块中，计算每个对应相同位置上的两个像素点的梯度的夹角值，将所有对应相同位置上的两个像素点的梯度的夹角值的均值，记为主异常块与每个正常块的纹理相似性；
根据主异常块与所有正常块的纹理相似性、主异常块和所有正常块的中心点之间的距离、主异常块的异常程度，得到主异常块中存在划痕的可能性。
8.根据权利要求7所述基于图像处理的玻璃盖板透光异常检测方法，其特征在于，所述根据主异常块与所有正常块的纹理相似性、主异常块和所有正常块的中心点之间的距离、主异常块的异常程度，得到主异常块中存在划痕的可能性对应的具体计算公式为：
其中P为主异常块中存在划痕的可能性，A为主异常块的异常程度，为主异常块与第i个正常块的纹理相似性，/>为主异常块的中心点与第i个正常块的中心点之间的距离，m为正常块的数量，/>为线性归一化函数。
9.根据权利要求1所述基于图像处理的玻璃盖板透光异常检测方法，其特征在于，所述根据主异常块中存在划痕的可能性、主异常块中每个像素点的灰度值，得到主异常块中每个像素点的更新灰度值对应的具体计算公式为：
其中为主异常块中第j个像素点的更新灰度值，/>为主异常块中第j个像素点的灰度值，P为主异常块中存在划痕的可能性，/>为预设的常数。
10.根据权利要求1所述基于图像处理的玻璃盖板透光异常检测方法，其特征在于，所述根据所有差分图像的更新图像，判断所述玻璃盖板是否存在透光异常，包括的具体步骤如下：
使用深度神经网络，得到每个差分图像的更新图像中的划痕缺陷区域；
当所有差分图像的更新图像中存在划痕缺陷区域时，判定所述玻璃盖板存在透光异常；
当所有差分图像的更新图像中不存在划痕缺陷区域时，判定所述玻璃盖板不存在透光异常。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311703592.9A CN117392136B (zh) | 2023-12-13 | 2023-12-13 | 基于图像处理的玻璃盖板透光异常检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311703592.9A CN117392136B (zh) | 2023-12-13 | 2023-12-13 | 基于图像处理的玻璃盖板透光异常检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117392136A CN117392136A (zh) | 2024-01-12 |
| CN117392136B true CN117392136B (zh) | 2024-02-09 |
Family
ID=89435924
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311703592.9A Active CN117392136B (zh) | 2023-12-13 | 2023-12-13 | 基于图像处理的玻璃盖板透光异常检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117392136B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118261536A (zh) * | 2024-05-29 | 2024-06-28 | 山东华世力自动化科技有限公司 | 一种用于玻璃原片智能仓储的数据处理系统及方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114627110A (zh) * | 2022-05-12 | 2022-06-14 | 济宁海富光学科技有限公司 | 一种玻璃盖板透光异常检测方法 |
| CN115249246A (zh) * | 2022-09-23 | 2022-10-28 | 深圳市欣冠精密技术有限公司 | 一种光学玻璃表面缺陷检测方法 |
| WO2023005058A1 (zh) * | 2021-07-30 | 2023-02-02 | 上海集成电路制造创新中心有限公司 | 相机盖板的脏污检测方法及检测装置 |
| CN116908220A (zh) * | 2023-07-10 | 2023-10-20 | 清华大学深圳国际研究生院 | 一种基于深度学习的玻璃缺陷监测方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7463903B2 (ja) * | 2020-08-13 | 2024-04-09 | コニカミノルタ株式会社 | 画像検査装置、画像検査方法、および画像検査プログラム |
-
2023
- 2023-12-13 CN CN202311703592.9A patent/CN117392136B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023005058A1 (zh) * | 2021-07-30 | 2023-02-02 | 上海集成电路制造创新中心有限公司 | 相机盖板的脏污检测方法及检测装置 |
| CN114627110A (zh) * | 2022-05-12 | 2022-06-14 | 济宁海富光学科技有限公司 | 一种玻璃盖板透光异常检测方法 |
| CN115249246A (zh) * | 2022-09-23 | 2022-10-28 | 深圳市欣冠精密技术有限公司 | 一种光学玻璃表面缺陷检测方法 |
| CN116908220A (zh) * | 2023-07-10 | 2023-10-20 | 清华大学深圳国际研究生院 | 一种基于深度学习的玻璃缺陷监测方法 |
Non-Patent Citations (2)
| Title |
|---|
| 张彩霞 ; 陈晓荣 ; 徐云洁 ; 卫志豪 ; 周书辰 ; .玻璃表面缺陷检测系统研究.包装工程.2020,(第13期),全文. * |
| 赵文宏 ; 彭超 ; 陈红星 ; .基于形态学玻璃屏幕表面划痕检测方法研究.浙江工业大学学报.2016,(第03期),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117392136A (zh) | 2024-01-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114862862B (zh) | 一种基于图像处理的泵体冷隔缺陷识别方法与系统 | |
| CN115082419B (zh) | 一种吹塑箱包生产缺陷检测方法 | |
| CN116758083B (zh) | 基于计算机视觉的金属洗脸盆缺陷快速检测方法 | |
| CN105894036B (zh) | 一种应用于手机屏幕缺陷检测的图像特征模板匹配方法 | |
| CN115170576A (zh) | 基于机器视觉的铝管表面缺陷检测方法 | |
| WO2022099598A1 (zh) | 一种基于图像像素相对统计特征的视频动态目标检测的方法 | |
| CN114882044B (zh) | 金属管件表面质量检测方法 | |
| CN117392136B (zh) | 基于图像处理的玻璃盖板透光异常检测方法 | |
| CN110648330B (zh) | 摄像头玻璃的缺陷检测方法 | |
| CN116152242B (zh) | 一种篮球用天然皮革缺陷可视化检测系统 | |
| CN116630304B (zh) | 一种基于人工智能的锂电池模具加工检测方法及系统 | |
| CN116990323A (zh) | 一种高精密印刷版视觉检测系统 | |
| CN114359161A (zh) | 一种缺陷检测方法、装置、设备和存储介质 | |
| CN117745715A (zh) | 基于人工智能的大口径望远镜镜片缺陷检测方法 | |
| WO2022121021A1 (zh) | 一种身份证号码检测方法、装置、可读存储介质和终端 | |
| CN116596899A (zh) | 基于荧光图像识别循环肿瘤细胞方法、装置、终端及介质 | |
| Li et al. | Surface Defect Detection of Seals Based on K‐Means Clustering Algorithm and Particle Swarm Optimization | |
| CN114418935A (zh) | 用于手机tp框螺丝孔的检测识别方法及螺丝锁付装置 | |
| CN114937003A (zh) | 一种针对玻璃面板的多类型缺陷检测系统和方法 | |
| CN114648734A (zh) | 基于图像处理的摄像机工作异常检测方法 | |
| CN117974657B (zh) | 一种基于计算机视觉的电缆表面缺陷检测方法 | |
| CN117078678B (zh) | 基于图像识别的废硅片形状检测方法 | |
| CN115620121A (zh) | 一种基于数字孪生的光电目标高精度检测方法 | |
| CN112801963B (zh) | 一种视频图像遮挡检测方法及系统 | |
| CN112329572B (zh) | 一种基于边框和闪光点的快速静态活体检测方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A method for detecting abnormal light transmission of glass cover plates based on image processing Granted publication date: 20240209 Pledgee: Qilu Bank Co.,Ltd. Rizhao Branch Pledgor: Rizhao Maoyuan Electronics Co.,Ltd. Registration number: Y2024980041849 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right |