CN114705696A - 一种基于数字图像处理和自动光学检测的缺陷检测方法 - Google Patents

一种基于数字图像处理和自动光学检测的缺陷检测方法 Download PDF

Info

Publication number
CN114705696A
CN114705696A CN202111624334.2A CN202111624334A CN114705696A CN 114705696 A CN114705696 A CN 114705696A CN 202111624334 A CN202111624334 A CN 202111624334A CN 114705696 A CN114705696 A CN 114705696A
Authority
CN
China
Prior art keywords
image processing
image
dust
defect detection
automatic optical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111624334.2A
Other languages
English (en)
Inventor
李达
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Freesense Image Technology Co ltd
Original Assignee
Shanghai Freesense Image Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Freesense Image Technology Co ltd filed Critical Shanghai Freesense Image Technology Co ltd
Priority to CN202111624334.2A priority Critical patent/CN114705696A/zh
Publication of CN114705696A publication Critical patent/CN114705696A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/02—Affine transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G06T3/608—Rotation of whole images or parts thereof by skew deformation, e.g. two-pass or three-pass rotation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于数字图像处理和自动光学检测的缺陷检测方法，包括以下步骤：步骤S1：在固定的感兴趣区域对其中一张图像进行校正计算，得到校正的变换关系；步骤S2：对灰尘图像进行灰尘计算，取得灰尘分布结果；步骤S3：根据每个图像显现的缺陷，采用相应的图像处理算子和预设的参数进行检测，得到缺陷检测结果；步骤S4：将缺陷结果和预先设置的标签屏蔽区域与灰尘分布区域进行比较，得到最终的检测结果，本发明提出一套屏幕检测的方法和流程，尽可能地增加可检测的屏幕缺陷类型以及排除灰尘、标签的干扰。

Description

一种基于数字图像处理和自动光学检测的缺陷检测方法
技术领域：
本发明涉及图像处理、机器视觉以及计算机视觉等领域。
背景技术：
现有的屏幕缺陷检测发明大多只能用于特定设备，且可检测的缺陷类型受到较大的限制。产品屏幕上存在的不同缺陷可能需要在不同的打光条件下才能在图像上显现，并且很可能存在灰尘干扰。
还例如申请号为CN201911057633.5，名称为一种基于图像灰度特征的缺陷检测方法公开了，包括：1)对实测的特征区域图像进行如下步骤，得到①将图像进行灰度化处理，得到灰度图；②在灰度图中建立选区，当前选区内的各像素点生成特征值；将选区内的特征值按行/列级联，组成当前预选像素点的特征向量；③标记新的预选像素点，重复步骤②，直到得出最后一个预选像素点的特征向量；④将所有特征向量进行排序，剔除部分特征向量；对被保留的特征向量进行加权处理；将经过加权处理的所有特征向量级联，组成全局特征向量； 2)计算余弦相似度3)将相似度较大值对应的特征图像类型标记为被测物形态；能够对于成像质量的要求低，适用于工业现场对产品的质量检测；但是检测过程过于繁琐。
发明内容：
针对现有技术存在的不足，本发明实施例的目的在于提供一种基于数字图像处理和自动光学检测的缺陷检测方法，当前流水线生产的屏幕产品(包括手机屏、车载屏等)在生产过程中可能存在多种缺陷，这些不同类型的缺陷需要在不同的打光条件下才能显现，而且产品本身可能贴有标签，以及生产过程中屏幕难免沾上灰尘，为缺陷的检测带来干扰。提出一套屏幕检测的方法和流程，尽可能地增加可检测的屏幕缺陷类型以及排除灰尘、标签的干扰。
为实现上述目的，本发明提供如下技术方案：
一种基于数字图像处理和自动光学检测的缺陷检测方法，包括以下步骤：
步骤S1：在固定的感兴趣区域对其中一张图像进行校正计算，得到校正的变换关系；
步骤S2：对灰尘图像进行灰尘计算，取得灰尘分布结果；
步骤S3：根据每个图像显现的缺陷，采用相应的图像处理算子和预设的参数进行检测，得到缺陷检测结果；
步骤S4：将缺陷结果和预先设置的标签屏蔽区域与灰尘分布区域进行比较，得到最终的检测结果。
作为本发明进一步的方案，所述步骤S1还包括：按照变换关系，采用仿射变换的方式将其他所有图像中的产品位置按同一方式校正。
作为本发明进一步的方案，所述校正方式为通过灰度阈值将图像分割，得到二值图，从而得到图像亮度相对较高的部分的连通域。
作为本发明进一步的方案，对所得连通域进行面积筛选，得到产品的连通域并进行最小外接矩形操作，获得产品连通域的最小外接矩形。
作为本发明进一步的方案，根据外接矩形的四个顶点到图像左上角的距离，获得产品移到目标位置的平移变换关系；根据得到的坐标变换关系，仿射变换，将产品位置移到目标位置。
作为本发明进一步的方案，所述步骤S4还包括：缺陷中心点坐标在标签屏蔽区域以及灰尘区域内的缺陷，被视为干扰项从检测结果中剔除，得到最终的检测结果。
作为本发明进一步的方案，对图像进行预处理，对图像采用灰度阈值进行二值化分割；对分割的结果进行形态学处理；获得最终分割的结果。
本发明能够检测的较多类型的缺陷，由于一套流程有不同的灯光点亮，一些在常规图像上或者某一张图上不易显现缺陷很可能在另一张图上显现，使得尽可能多的缺陷被一套流程所检测，提升了检测和生产的效率。
为更清楚地阐述本发明的结构特征和功效，下面结合附图与具体实施例来对本发明进行详细说明。
附图说明：
图1是本发明中流程图示意图。
图2是本发明中校正效果示例图；
图3是本发明中阈值分割后的二值图；
图4是本发明中校正原始图像；
图5是本发明中原始图像的校正图。
图6是本发明中用于灰尘计算的原图。
图7是本发明中用于灰尘计算的原图的校正且计算灰尘分布的二值图。
图8-图15是本发明中以油墨导致的块状内污为例，显示屏产品上的墨水痕迹在不同灯光点亮显示的效果不同。
具体实施方式：
下面将结合附图和有关知识对本发明作出进一步的说明，进行清楚、完整地描述，显然，所描述的应用仅仅是本发明的一部分实施例，而不是全部的实施例。
在本发明中，通过一种基于数字图像处理和自动光学检测的缺陷检测方法，针对一些可被灯光点亮的屏幕产品。当前流水线生产的屏幕产品(包括手机屏、车载屏等)在生产过程中可能存在多种缺陷，这些不同类型的缺陷需要在不同的打光条件下才能显现，而且产品本身可能贴有标签，以及生产过程中屏幕难免沾上灰尘，为缺陷的检测带来干扰。一套屏幕检测的方法和流程，尽可能地增加可检测的屏幕缺陷类型以及排除灰尘、标签的干扰。如图1所示，每件产品都执行一套检测流程：切换不同颜色灯光点亮产品，产生如白图、红图、黑图、黄图之类的图像，以及一张用于显现灰尘的清灰图，传入算法执行图像处理过程。
参见图1-图7所示，一种基于数字图像处理和自动光学检测的缺陷检测方法，包括以下步骤：
包括以下步骤：
步骤S1：在固定的感兴趣区域对其中一张图像进行校正计算，得到校正的变换关系；
步骤S2：对灰尘图像进行灰尘计算，取得灰尘分布结果；
步骤S3：根据每个图像显现的缺陷，采用相应的图像处理算子和预设的参数进行检测，得到缺陷检测结果；
步骤S4：将缺陷结果和预先设置的标签屏蔽区域与灰尘分布区域进行比较，得到最终的检测结果。
其中，步骤S1中，按照变换关系，通过采用仿射变换的方式将其他所有图像中的产品位置按同一方式校正；具体为对其中一张图像进行校正计算，产品在图像中的位置统一移动到固定的感兴趣区域(Region of Interesting，简称 ROI)，得到校正的变换关系。之后按变换关系，采用仿射变换的方式将其他所有图像中的产品位置也按同一方式校正。
进一步优选，参照图2、图3所示，校正一般采用与背景差异明显的图，比如白图，大致过程为：
通过灰度阈值将图像分割，得到二值图(注：仅有黑、白两种颜色，高于阈值的部分视为前景，也是产品部分，以白色显示；低于阈值的部分视为背景，以黑色显示)，从而得到图像亮度相对较高的部分的连通域(注：图像中白色区域连通的部分)。对所得连通域进行面积筛选，得到产品的连通域。
对上述得到的连通域进行最小外接矩形操作，获得产品连通域的最小外接矩形。根据外接矩形的四个顶点到图像左上角的距离，获得产品移到目标位置 (一般为图像左上角)的平移变换关系。根据上一步得到的坐标变换关系，仿射变换，将产品位置移到目标位置(一般为图像左上角)。
另外，计算灰尘分布使用专门拍摄的图像，主要的步骤如下：
对图像进行预处理(中值滤波或高斯滤波等)，对图像采用灰度阈值进行二值化分割。对分割的结果进行形态学处理(腐蚀、膨胀、开、闭运算等等) 获得最终分割的结果。
在本发明中，步骤S3具体包括：根据每个图像显现的缺陷，采用相应的图像处理算子和预设的参数进行检测，得到缺陷检测结果(包括缺陷在产品上的中心点坐标)。
本发明中，步骤S4具体包括：将缺陷结果和预先设置的标签屏蔽区域以及步骤2所得到的灰尘区域进行比较，缺陷中心点坐标在标签屏蔽区域以及灰尘区域内的缺陷，被视为干扰项从检测结果中剔除，得到最终的检测结果。
本发明中，参照图6和图7所示，灰尘的分布用清灰图计算，清灰图原图如图6，图7是校正后的灰尘分布结果图，该图也是一张二值图，白色部分(灰尘颗粒以及感兴趣区域ROI以外的部分)视为灰尘区域。
以下提供本发明一具体的实施例
实施例1
参照图1-图7所示，本发明一种基于数字图像处理和自动光学检测的缺陷检测方法，具体包括；根据待检测的产品设置好点亮的图；选择对应算子以及设置参数；
具体检测步骤如下：
选择一张原始图像(如图4)进行校正计算(一般采用白图)，将产品移动到图像左上角，得到校正图(如图5的结果)。
其他图随着校正关系校正产品位置。
每一张图的算子检测，得到缺陷检测结果(清灰图用于计算灰尘分布)。
若每张图都没检测到缺陷，则产品是良品，报OK；反之，报NG以及在对应图上根据缺陷中心点坐标标识矩形框。
本发明的优点：当前流水线生产的屏幕产品(包括手机屏、车载屏等)在生产过程中可能存在多种缺陷，这些不同类型的缺陷需要在不同的打光条件下才能显现，而且产品本身可能贴有标签，以及生产过程中屏幕难免沾上灰尘，为缺陷的检测带来干扰。本发明尽可能地增加可检测的屏幕缺陷类型以及排除灰尘、标签的干扰；对于可被点亮的屏幕产品(包括但不限于手机屏和车载屏)，本发明能够检测的较多类型的缺陷，由于一套流程有不同的灯光点亮，一些在常规图像上或者某一张图上不易显现缺陷很可能在另一张图上显现，使得尽可能多的缺陷被一套流程所检测，提升了检测和生产的效率。
参照图8-图15所示，分别为白图、黑图、红图、蓝图、绿图、浅灰图、深灰图、上清灰图，不同灯光点亮的情形示例，以油墨导致的块状内污为例，显示屏产品上的墨水痕迹在不同灯光点亮显示的效果不同，不同颜色的图代表用不同颜色灯光点亮的显示效果。其中，上清灰图用于计算灰尘分布，其他图上用于显示缺陷。可以看出，这类缺陷在蓝图中显示得最为明显，所以检测这类缺陷，在蓝图上添加算子最佳。
以上结合具体实施例描述了本发明的技术原理，仅是本发明的优选实施方式。本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。本领域的技术人员不需要付出创造性的劳动即可联想到本发明的其它具体实施方式，这些方式都将落入本发明的保护范围之内。

Claims (7)

1.一种基于数字图像处理和自动光学检测的缺陷检测方法，其特征在于，包括以下步骤：
步骤S1：在固定的感兴趣区域对其中一张图像进行校正计算，得到校正的变换关系；
步骤S2：对灰尘图像进行灰尘计算，取得灰尘分布结果；
步骤S3：根据每个图像显现的缺陷，采用相应的图像处理算子和预设的参数进行检测，得到缺陷检测结果；
步骤S4：将缺陷结果和预先设置的标签屏蔽区域与灰尘分布区域进行比较，得到最终的检测结果。
2.如权利要求1的一种基于数字图像处理和自动光学检测的缺陷检测方法，其特征在于，所述步骤S1还包括：按照变换关系，采用仿射变换的方式将其他所有图像中的产品位置按同一方式校正。
3.如权利要求2的一种基于数字图像处理和自动光学检测的缺陷检测方法，其特征在于，所述校正方式为通过灰度阈值将图像分割，得到二值图，从而得到图像亮度相对较高的部分的连通域。
4.如权利要求3的一种基于数字图像处理和自动光学检测的缺陷检测方法，其特征在于，对所得连通域进行面积筛选，得到产品的连通域并进行最小外接矩形操作，获得产品连通域的最小外接矩形。
5.如权利要求4的一种基于数字图像处理和自动光学检测的缺陷检测方法，其特征在于，根据外接矩形的四个顶点到图像左上角的距离，获得产品移到目标位置的平移变换关系；根据得到的坐标变换关系，仿射变换，将产品位置移到目标位置。
6.如权利要求5的一种基于数字图像处理和自动光学检测的缺陷检测方法，其特征在于，所述步骤S4还包括：缺陷中心点坐标在标签屏蔽区域以及灰尘区域内的缺陷，被视为干扰项从检测结果中剔除，得到最终的检测结果。
7.如权利要求2的一种基于数字图像处理和自动光学检测的缺陷检测方法，其特征在于，对图像进行预处理，对图像采用灰度阈值进行二值化分割；对分割的结果进行形态学处理；获得最终分割的结果。
CN202111624334.2A 2021-12-28 2021-12-28 一种基于数字图像处理和自动光学检测的缺陷检测方法 Pending CN114705696A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111624334.2A CN114705696A (zh) 2021-12-28 2021-12-28 一种基于数字图像处理和自动光学检测的缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111624334.2A CN114705696A (zh) 2021-12-28 2021-12-28 一种基于数字图像处理和自动光学检测的缺陷检测方法

Publications (1)

Publication Number Publication Date
CN114705696A true CN114705696A (zh) 2022-07-05

Family

ID=82167339

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111624334.2A Pending CN114705696A (zh) 2021-12-28 2021-12-28 一种基于数字图像处理和自动光学检测的缺陷检测方法

Country Status (1)

Country Link
CN (1) CN114705696A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115401045A (zh) * 2022-08-16 2022-11-29 红云红河烟草(集团)有限责任公司 除尘器料斗堵塞自动清灰疏通的方法、装置及其存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115401045A (zh) * 2022-08-16 2022-11-29 红云红河烟草(集团)有限责任公司 除尘器料斗堵塞自动清灰疏通的方法、装置及其存储介质
CN115401045B (zh) * 2022-08-16 2023-12-12 红云红河烟草(集团)有限责任公司 除尘器料斗堵塞自动清灰疏通的方法、装置及其存储介质

Similar Documents

Publication Publication Date Title
TWI409718B (zh) 移動中車輛之車牌定位方法
CN107705288B (zh) 伪目标运动强干扰下的危险气体泄漏红外视频检测方法
CN108288264B (zh) 一种广角摄像头模组脏污测试方法
CN108416766B (zh) 双侧入光式导光板缺陷视觉检测方法
CN111260616A (zh) 一种基于Canny算子二维阈值分割优化的绝缘子裂纹检测方法
CN111915704A (zh) 一种基于深度学习的苹果分级识别方法
JP2004294202A (ja) 画面の欠陥検出方法及び装置
CN108898132B (zh) 一种基于形状上下文描述的太赫兹图像危险品识别方法
CN113034464B (zh) 一种多背景下的液晶显示器缺陷视觉实时检测方法
CN111079955A (zh) 一种基于x射线成像的gis设备缺陷检测方法
CN115908269A (zh) 视觉缺陷检测方法、装置、存储介质和计算机设备
CN113034488A (zh) 一种喷墨印刷品的视觉检测方法
CN111861979A (zh) 一种定位方法、设备及计算机可读存储介质
CN115078365A (zh) 一种软包装印刷质量缺陷检测方法
CN110807763A (zh) 一种陶瓦表面鼓包检测方法及系统
CN114705696A (zh) 一种基于数字图像处理和自动光学检测的缺陷检测方法
CN107818583A (zh) 十字中心检测方法及装置
CN106558044A (zh) 影像模组的解像力测量方法
CN113971681A (zh) 一种复杂环境下带式输送机边缘检测方法
JP2005165387A (ja) 画面のスジ欠陥検出方法及び装置並びに表示装置
CN115131336B (zh) 一种显示屏四色背景画面下的暗线缺陷检测方法
CN114820582B (zh) 一种基于混合注意力形变卷积神经网络的手机表面缺陷精准分级方法
CN115239595A (zh) 一种包装印刷品二维码合格性检测方法
CN114937003A (zh) 一种针对玻璃面板的多类型缺陷检测系统和方法
Yang et al. A novel binarization approach for license plate

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination