CN112630222B - 一种基于机器视觉的手机盖板玻璃缺陷检测方法 - Google Patents

一种基于机器视觉的手机盖板玻璃缺陷检测方法 Download PDF

Info

Publication number
CN112630222B
CN112630222B CN202011329133.5A CN202011329133A CN112630222B CN 112630222 B CN112630222 B CN 112630222B CN 202011329133 A CN202011329133 A CN 202011329133A CN 112630222 B CN112630222 B CN 112630222B
Authority
CN
China
Prior art keywords
image
defect
mobile phone
area
defects
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011329133.5A
Other languages
English (en)
Other versions
CN112630222A (zh
Inventor
李奕文
赵春
王延杰
朱灯林
骆敏舟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu China Israel Industrial Technology Research Institute
Changzhou Campus of Hohai University
Original Assignee
Jiangsu China Israel Industrial Technology Research Institute
Changzhou Campus of Hohai University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu China Israel Industrial Technology Research Institute, Changzhou Campus of Hohai University filed Critical Jiangsu China Israel Industrial Technology Research Institute
Priority to CN202011329133.5A priority Critical patent/CN112630222B/zh
Publication of CN112630222A publication Critical patent/CN112630222A/zh
Application granted granted Critical
Publication of CN112630222B publication Critical patent/CN112630222B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于机器视觉的手机玻璃盖板缺陷检测方法，包括如下步骤：采集手机盖板玻璃表面的图像；对采集到的手机盖板玻璃表面的图像进行几何畸变矫正；对畸变矫正后的图像进行去噪处理；对去噪处理后的图像进行边缘增强；对边缘增强后的图像进行ROI区域提取和模板匹配定位；在提取的ROI区域中，对缺陷进行提取，依据七个不同矢量对不同缺陷进行定性判断；统计各类缺陷的信息和数量；本发明可以快速准确提取出各种型号手机的待检测区域，并精确检测和识别诸如线状刮伤、点状刮伤、脏污、亮白点、毛丝异物等缺陷。

Description

一种基于机器视觉的手机盖板玻璃缺陷检测方法
技术领域
本发明涉及缺陷检测技术领域，具体是一种基于机器视觉的手机盖板玻璃缺陷检测方法。
背景技术
手机盖板玻璃作为手机的重要零部件，其表面的缺陷严重影响着产品质量和用户体验。随着通讯技术、信息技术的高速发展，手机厂商在手机外观的追求上日以创新，市面上曲屏手机和折叠手机大放异彩。目前我国各大厂商对手机盖板玻璃的质量检测仍然处于传统的人工灯检上，该检测方法存在效率低、成本高等诸多缺点，严重影响规模化生产需求。近年来，随着人工智能、机械学习等相关理论的迅猛发展，基于机器视觉的无损检测技术日趋用于各类工业产品的检测中，逐步代替人工检测的过程，扩大了社会生产力，创造了良好的社会效益。当前国内许多检测设备厂商对手机盖板玻璃进行了缺陷检测算法的研发，但该缺陷检测方法存在精度不够，漏检率或过检率过高的问题。
发明内容
本发明的目的在于提供一种基于机器视觉的手机盖板玻璃缺陷检测方法，以解决现有技术中对手机盖板玻璃进行缺陷检测的方法存在精度不够，漏检率或过检率过高的问题。
为实现上述目的，本发明提供如下技术方案：
一种基于机器视觉的手机盖板玻璃缺陷检测方法，包括如下步骤：
采集手机盖板玻璃表面的图像；
对采集到的手机盖板玻璃表面的图像进行几何畸变矫正；
对畸变矫正后的图像进行去噪处理；
对去噪处理后的图像进行边缘增强；
对边缘增强后的图像进行ROI区域提取和模板匹配定位；
在提取的ROI区域中，对缺陷进行提取，依据七个不同矢量对不同缺陷进行定性判断；
统计各类缺陷的信息和数量。
进一步的，对采集到的手机盖板玻璃表面的图像进行几何畸变矫正的具体方法包括：原图像f(x0,y0)经过一定的变形生成另一幅图像g(x1,y1)，则对于几何失真的图像进行矫正的过程就是其逆变换过程，函数表达式为
Figure BDA0002795278930000021
采用双线性建模进行还原：
Figure BDA0002795278930000022
取手机盖板玻璃的四个角点求得模型参数，将失真图像上的所有点进行逆转换，得到畸变矫正后的图像。
进一步的，对畸变矫正后的图像进行去噪处理的具体方法包括：
如果畸变修正后的图像中尖端细节较多或噪声数量较多，则采用高斯滤波进行去噪处理，
高斯模板公式为：
Figure BDA0002795278930000031
其中，(x,y)为模板中心坐标，(xc,yc)为中心像素的领域各像素点的坐标，K(x,y)为滤波系数权值，离模板中心坐标越远的地方，其滤波系数权值越低，σ为标准差参数，σ值越大，高斯滤波器的频带就越宽，平滑程度就越好；
如果畸变修正后的图像中噪声点较少，则采用中值滤波进行去噪处理，采用5*5的奇数模板，对模板中心像素点取周围像素点的中值，
二维中值滤波器的输出为g(x,y)＝med{f(x-k,y-l),(k,l∈W)}，
其中，W为二维模板，g(x,y)为中值滤波器的输出，即处理后的图像，f(x,y)为原始图像，(k,l)为二维模板W中的元素，利用二维滑动模板将板内像素按像素值大小进行单调性排序，并取得其中值med。
进一步的，对去噪处理后的图像进行边缘增强的具体方法包括：
如果去噪处理后的图像的边缘灰度变换范围较大，则采用Sobel算子对去噪处理后的图像进行边缘增强；
如果去噪处理后的图像的边缘灰度变换范围较小，则采用高通滤波对去噪处理后的图像进行边缘增强。
进一步的，对边缘增强后的图像进行ROI区域提取和模板匹配定位的具体方法包括：
根据预设灰度值进行成像中待检测手机外轮廓的粗提取，输出外轮廓中心坐标、偏移角度和最小外接矩形长宽；
对传统基于阈值的边缘提取算法进行改进，利用外轮廓输出参数粗定位手机盖板玻璃四边，在垂直于手机盖板玻璃边缘的方向寻找边缘点；
利用直边的端点进行弧边粗提取，对提取到的弧边区域进行局部阈值分割，实现弧边精提取；
利用外轮廓输出参数定位上刘海区域，对提取到的摄像孔进行局部阈值分割，实现摄像孔区域精提取；
采用特征匹配中的最小均方误差匹配法，选取油墨区和视窗区的边界线以及一个角点组合特征作为匹配基础，采用仿射变换修正拍摄角度以及运动引起的尺寸变换；
仿射变换为：(X,Y)→(X′,Y′)，
变换方程为：
Figure BDA0002795278930000041
向量A＝[s cosθ s sinθ tx ty]T为仿射变换参数，方程中角度θ为原始坐标旋转角度，参数s和t表征原图像所进行的线性变换，(x',y')为变换后的像素点，对应的经过变换前的原像素点(x,y)；
根据给定的n对应响应特征点(n≥4)，构造点坐标矩阵方程为：
Figure BDA0002795278930000042
Y＝[x1' y1' … xn' yn']T，其中(xn,yn)为选取的特征点；
关于参数向量的方程解为A＝(XTX)-1XTY；
进一步的，对传统基于阈值的边缘提取算法进行改进，利用外轮廓输出参数粗定位手机盖板玻璃四边，在垂直于手机盖板玻璃边缘的方向寻找边缘点的具体方法包括：
沿着切片方向计算平均灰度值，若畸变矫正效果不佳，则采用双线性差值算法对像素点进行拟合，
双线性差值算法具体步骤如下：
Figure BDA0002795278930000051
其中，Q11(x1,y1)，Q12(x1,y2)，Q21(x2,y1)，Q22(x2,y2)分别是目标像素点的四个已知领域点，R1(x,y1)是与目标像素点P(x,y)具有相同横坐标，与Q11(x1,y1)和Q21(x2,y1)有相同纵坐标的插值点，R2(x,y2)是与目标像素点P(x,y)具有相同横坐标，与Q12(x1,y2)和Q22(x2,y2)有相同纵坐标的插值点，其像素值均由上式求得，通过R1(x,y1)与R2(x,y2)在y方向上的插值计算出像素点P(x,y)的像素值；
针对畸变矫正效果不佳的图像，在垂直于边缘的方向通过插值法拟合点，进行边缘提取，沿着切片方向计算平均灰度值，通过高斯滤波消除噪声点，平滑曲线，对平滑后的轮廓求一阶导数，将一阶导数的所有局部候选点作为边界候选点，如果候选点的绝对值大于设定的阈值，则候选点作为检测到的边界点输出。
进一步的，在提取的ROI区域中，对缺陷进行提取，依据七个不同矢量对不同缺陷进行定性判断的具体方法包括：
构建以圆度C、外接矩形长宽比P、凸度Con、目标区域面积S、目标区域灰度均值E、灰度方差D和区域内孔洞数量N为矢量的判断依据；
分析点刮缺陷；
分析线刮缺陷与毛丝异物；
分析脏污缺陷。
进一步的，分析点刮缺陷的具体方法包括：
将视窗区图像进行二值化处理，将灰度值和玻璃盖板背景差值较大的最先分离，其中大于背景灰度值的区域被提取处理，统计计算灰度值为1的区域，并求出面积；
当可疑瑕疵的区域面积大于临界最小值S，则记为缺陷，否则产品无缺陷；
点刮缺陷面积有上限S1,超出则是其它缺陷，进入其它缺陷判别流程；由于点刮缺陷的灰度值较大，根据灰度临界阈值E可有效区分毛丝脏污等灰度较小缺陷，当面积和灰度值都满足后，存在的可疑瑕疵为点刮、长刮缺陷，还需进一步判断；
点刮和线刮成像迥异，如果该缺陷有较小的长宽比P和较大的圆度C，则可直接判断为点刮，否则再添加凸度Con、缩小圆度C1进行判断。
进一步的，分析线刮缺陷与毛丝异物的具体方法包括：
线刮和毛丝异物等缺陷的面积均大于点刮缺陷，且小于脏污缺陷；
如果二值化处理后区域的面积<S，则直接进入可疑点刮判断流程算法，如果面积>S1，判断为脏污缺陷；
当符合面积条件后，如果可疑瑕疵有较大的长宽比，则可以确定为狭长型的线刮或者毛丝异物缺陷，当满足灰度均值σ2>E和灰度方差>综合判断，则为线刮缺陷，否则狭长毛丝异物缺陷；
当可疑瑕疵没有大的长宽比，则缺陷可能为短线刮、毛丝异物、脏污的集合；
因此可先根据灰度值>E1，最先分离明亮的线刮缺陷，因为毛丝异物和脏污灰度值接近，故可以根据面积大小区分毛丝异物和脏污缺陷。
进一步的，分析脏污缺陷的具体方法包括：
首先对可疑瑕疵进行判断，如果是特大面积>S或者含有孔洞数N>0，则一定是脏污缺陷；如果缺陷面积<S1，进入可疑点刮判断；
当介于两个面积之间，则可能为线刮、毛丝异物和中等面积脏污的混合；可首先根据线刮灰度均值较大优先剔除线刮缺陷；
如果是片状脏污，则其圆度C较大，否则为线状脏污；
存在的异物以狭长矩形居多，椭圆状异物较少，为了区分可通过面积判断。
与现有技术相比，本发明的有益效果是：
本发明提供的一种基于机器视觉的手机盖板玻璃缺陷检测方法，先采集手机盖板玻璃表面的图像；对采集到的手机盖板玻璃表面的图像依次进行几何畸变矫正、去噪处理、边缘增强等预处理；再对预处理后的图像进行ROI区域提取，利用区域边界线和角点完成模板匹配；在提取的ROI区域中，对缺陷进行提取，依据七个不同矢量对不同缺陷进行定性判断；统计各类缺陷的信息和数量；本发明可以快速准确提取出各种型号手机的待检测区域，并精确检测和识别诸如线状刮伤、点状刮伤、脏污、亮白点、毛丝异物等缺陷。
附图说明
图1是本发明实施例提供的一种基于机器视觉的手机盖板玻璃缺陷检测方法的检测流程示意图；
图2是本发明实施例提供的待处理手机；
图3是本发明实施例提供的待检测手机图像经过预处理和ROI区域提取以后的图像；
图4是本发明实施例提供的模板匹配方式示意图；
图5是本发明实施例提供的点刮缺陷示意图；
图6是本发明实施例提供的线刮缺陷示意图；
图7是本发明实施例提供的毛丝异物缺陷示意图；
图8是本发明实施例提供的脏污缺陷示意图；
图9是本发明实施例提供的点刮检测算法流程图；
图10是本发明实施例提供的线刮异物检测算法流程图；
图11是本发明实施例提供的脏污检测算法流程图；
图12是本发明实施例提供的缺陷检测结果示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供的一种基于机器视觉的手机盖板玻璃缺陷检测方法，包括如下步骤：
步骤1：采集手机盖板玻璃表面的图像，如图1所示，采集图像的分辨率为12000*23000，检测精度为0.01mm；
步骤2：对采集到的手机盖板玻璃表面的图像进行几何畸变矫正，原图像f(x0,y0)经过一定的变形生成另一幅图像g(x1,y1)，则对于几何失真的图像进行矫正的过程就是其逆变换过程，函数表达式为
Figure BDA0002795278930000091
采用双线性建模进行还原：
Figure BDA0002795278930000092
取手机盖板玻璃的四个角点求得模型参数，将失真图像上的所有点进行逆转换，得到畸变矫正后的图像；
步骤3：如果畸变矫正后的图像中尖端细节较多或噪声数量较多，则采用高斯滤波进行去噪，高斯模板公式为：
Figure BDA0002795278930000101
其中，(x,y)为模板中心坐标，(xc,yc)为中心像素的领域各像素点的坐标，K(x,y)为滤波系数权值，离模板中心坐标越远的地方，其滤波系数权值越低，σ为标准差参数，σ值越大，高斯滤波器的频带就越宽，平滑程度就越好；
如果畸变矫正后的图像中噪声点较少，则采用中值滤波进行去噪，二维中值滤波器的输出为
g(x,y)＝med{f(x-k,y-l),(k,l∈W)}，
其中，W为二维模板，g(x,y)为中值滤波器的输出，即处理后的图像，f(x,y)为原始图像，(k,l)为二维模板W中的元素，利用二维滑动模板将板内像素按像素值大小进行单调性排序，并取得其中值med；
采用5*5的奇数模板，对模板中心像素点取周围像素点的中值；
步骤4：如果去噪处理后的图像边缘灰度变换范围较大，则采用拉普拉斯变形算子或者Sobel算子对去噪处理后的图像进行边缘增强；
如果去噪处理后的图像边缘灰度变换范围较小，则采用频率域对去噪处理后的图像进行边缘增强，同时采用高通滤波，抑制低频信号，加强高频信号；
步骤5：对边缘增强的图像进行ROI区域提取和模板匹配定位；
根据预设灰度值进行成像中待检测手机外轮廓的粗提取，输出外轮廓中心坐标，、移角度和最小外接矩形长宽；
对传统基于阈值的边缘提取算法进行改进，利用外轮廓输出参数粗定位手机屏幕盖板四边，在垂直于盖板玻璃边缘的方向寻找边缘点；
算法具体步骤为：沿着切片方向计算平均灰度值，若畸变矫正效果不佳，则采用双线性差值算法对像素点进行拟合，双线性插值算法具体步骤如下：
Figure BDA0002795278930000111
其中，Q11(x1,y1)，Q12(x1,y2)，Q21(x2,y1)，Q22(x2,y2)分别是目标像素点的四个已知领域点，R1(x,y1)是与目标像素点P(x,y)具有相同横坐标，与Q11(x1,y1)和Q21(x2,y1)有相同纵坐标的插值点，R2(x,y2)是与目标像素点P(x,y)具有相同横坐标，与Q12(x1,y2)和Q22(x2,y2)有相同纵坐标的插值点，其像素值均由上式求得，通过R1(x,y1)与R2(x,y2)在y方向上的插值计算出像素点P(x,y)的像素值；
针对畸变矫正效果不佳的图像，在垂直于边缘的方向通过插值法拟合点，进行边缘提取；
沿着切片方向计算平均灰度值，通过高斯滤波消除噪声点，平滑曲线，对平滑后的轮廓求一阶导数，将一阶导数的所有局部候选点作为边界候选点，如果候选点的绝对值大于设定的阈值，则候选点作为检测到的边界点输出；
利用直边的端点进行弧边粗提取，对提取到的弧边区域进行局部阈值分割，实现弧边精提取；
利用外轮廓输出参数定位上刘海区域，对提取到的摄像孔进行局部阈值分割，实现摄像孔区域精提取；提取到的ROI区域如图3所示；
采用特征匹配中的最小均方误差匹配法，选取油墨区和视窗区的边界线以及一个角点组合特征作为匹配基础，完成模板匹配；模板匹配示意图与模板匹配效果如图4所示；
步骤6：在提取出的ROI区域中，基于形状区域特征和灰度特征对缺陷进行提取，依据七个不同矢量对不同缺陷进行定性判断，七个不同矢量分别为圆度C、外接矩形长宽比P、凸度Con、目标区域面积S、目标区域灰度均值E、灰度方差D和区域内孔洞数量N；
对于点刮缺陷，其形态特征如图5所示；将视窗区图像进行二值化处理，将灰度值和盖板玻璃背景差值较大的最先分离，其中大于背景灰度值的区域被提取处理，统计计算灰度值为1的区域，并求出面积；
当可疑瑕疵的区域面积大于临界最小值S，则记为缺陷，否则产品无缺陷；
根据样本分析可知，点刮缺陷面积有上限S1,超出则是其它缺陷，进入其它缺陷判别流程；由于点刮缺陷的灰度值较大，根据灰度临界阈值E可有效区分毛丝脏污等灰度较小缺陷；当面积和灰度值都满足后，存在的可疑瑕疵为点刮、长刮缺陷，还需进一步判断；
从形状分析可知，点刮和线刮成像迥异，如果该缺陷有较小的长宽比P和较大的圆度C，则可直接判断为点刮，否则再添加凸度Con、缩小圆度C1进行判断，以免遗漏一些不规则点刮缺陷，点刮缺陷检测算法的流程图如附图9所示；
对于线刮缺陷与毛丝异物，线刮缺陷和毛丝异物缺陷的形态特征如图6和图7所示；
线刮和毛丝异物等缺陷的面积均大于点刮缺陷且小于脏污缺陷，因此如果二值化处理后，区域的面积<S，即可疑瑕疵面积很小，则可直接进入可疑点刮判断流程算法，如果面积>S1，即面积过大，判断为脏污缺陷；
当符合面积条件后，可疑瑕疵如果有较大的长宽比，则可以确定为狭长型的线刮或者毛丝异物缺陷，当满足灰度均值σ2>E和灰度方差>综合判断，即表现为亮区域特征，则为线刮缺陷，否则狭长毛丝异物缺陷；当可疑瑕疵没有大的长宽比，则缺陷可能为短线刮、毛丝异物、脏污的集合；因此可先根据灰度值>E1，最先分离明亮的线刮缺陷，因为毛丝异物和脏污灰度值接近，故可以根据面积大小区分毛丝异物和脏污缺陷，线刮缺陷与毛丝异物检测算法的流程图如图10所示；
对于脏污缺陷，其形态特征如图8所示；首先对可疑瑕疵进行判断，如果是特大面积>S或者含有孔洞数N>0，则一定是脏污缺陷，如果缺陷面积<S1，即小于点刮缺陷面积上限值，即进入可疑点刮判断；当介于两个面积之间，则可能为线刮、毛丝异物和中等面积脏污的混合；可先根据线刮灰度均值较大，优先剔除线刮缺陷；如果是片状脏污，则其圆度C较大，否则为线状脏污；存在的异物以狭长矩形居多，椭圆状异物较少，为了区分可通过面积判断，脏污检测算法的流程图如图11所示；
步骤7：各类缺陷的信息和数量进行统计，输出结果如图12所示。
本发明可以快速准确提取出各种型号手机的待检测区域，并精确检测和识别诸如线状刮伤、点状刮伤、脏污、亮白点、毛丝异物等缺陷。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (9)

1.一种基于机器视觉的手机盖板玻璃缺陷检测方法，其特征在于，包括如下步骤：
采集手机盖板玻璃表面的图像；
对采集到的手机盖板玻璃表面的图像进行几何畸变矫正；
对采集到的手机盖板玻璃表面的图像进行几何畸变矫正的具体方法包括：原图像f(x0,y0)经过一定的变形生成另一幅图像g(x1,y1)，则对于几何失真的图像进行矫正的过程就是其逆变换过程，函数表达式为
Figure FDA0003902776500000011
采用双线性建模进行还原：
Figure FDA0003902776500000012
取手机盖板玻璃的四个角点求得模型参数，将失真图像上的所有点进行逆转换，得到畸变矫正后的图像；
对畸变矫正后的图像进行去噪处理；
对去噪处理后的图像进行边缘增强；
对边缘增强后的图像进行ROI区域提取和模板匹配定位；
在提取的ROI区域中，对缺陷进行提取，依据七个不同矢量对不同缺陷进行定性判断；
统计各类缺陷的信息和数量。
2.根据权利要求1所述的一种基于机器视觉的手机盖板玻璃缺陷检测方法，其特征在于，对畸变矫正后的图像进行去噪处理的具体方法包括：
如果畸变修正后的图像中尖端细节较多或噪声数量较多，则采用高斯滤波进行去噪处理，
高斯模板公式为：
Figure FDA0003902776500000021
其中，(x,y)为模板中心坐标，(xc,yc)为中心像素的领域各像素点的坐标，K(x,y)为滤波系数权值，离模板中心坐标越远的地方，其滤波系数权值越低，σ为标准差参数，σ值越大，高斯滤波器的频带就越宽，平滑程度就越好；
如果畸变修正后的图像中噪声点较少，则采用中值滤波进行去噪处理，采用5*5的奇数模板，对模板中心像素点取周围像素点的中值，
二维中值滤波器的输出为g(x,y)＝med{f(x-k,y-l),(k,l∈W)}，
其中，W为二维模板，g(x,y)为中值滤波器的输出，即处理后的图像，f(x,y)为原始图像，(k,l)为二维模板W中的元素，利用二维滑动模板将板内像素按像素值大小进行单调性排序，并取得其中值med。
3.根据权利要求1所述的一种基于机器视觉的手机盖板玻璃缺陷检测方法，其特征在于，对去噪处理后的图像进行边缘增强的具体方法包括：
如果去噪处理后的图像的边缘灰度变换范围较大，则采用Sobel算子对去噪处理后的图像进行边缘增强；
如果去噪处理后的图像的边缘灰度变换范围较小，则采用高通滤波对去噪处理后的图像进行边缘增强。
4.根据权利要求1所述的一种基于机器视觉的手机盖板玻璃缺陷检测方法，其特征在于，对边缘增强后的图像进行ROI区域提取和模板匹配定位的具体方法包括：
根据预设灰度值进行成像中待检测手机外轮廓的粗提取，输出外轮廓中心坐标、偏移角度和最小外接矩形长宽；
对传统基于阈值的边缘提取算法进行改进，利用外轮廓输出参数粗定位手机盖板玻璃四边，在垂直于手机盖板玻璃边缘的方向寻找边缘点；
利用直边的端点进行弧边粗提取，对提取到的弧边区域进行局部阈值分割，实现弧边精提取；
利用外轮廓输出参数定位上刘海区域，对提取到的摄像孔进行局部阈值分割，实现摄像孔区域精提取；
采用特征匹配中的最小均方误差匹配法，选取油墨区和视窗区的边界线以及一个角点组合特征作为匹配基础，采用仿射变换修正拍摄角度以及运动引起的尺寸变换。
5.根据权利要求4所述的一种基于机器视觉的手机盖板玻璃缺陷检测方法，其特征在于，对传统基于阈值的边缘提取算法进行改进，利用外轮廓输出参数粗定位手机盖板玻璃四边，在垂直于手机盖板玻璃边缘的方向寻找边缘点的具体方法包括：
沿着切片方向计算平均灰度值，若畸变矫正效果不佳，则采用双线性差值算法对像素点进行拟合，
双线性差值算法具体步骤如下：
Figure FDA0003902776500000041
其中，Q11(x1,y1)，Q12(x1,y2)，Q21(x2,y1)，Q22(x2,y2)分别是目标像素点的四个已知领域点，R1(x,y1)是与目标像素点P(x,y)具有相同横坐标，与Q11(x1,y1)和Q21(x2,y1)有相同纵坐标的插值点，R2(x,y2)是与目标像素点P(x,y)具有相同横坐标，与Q12(x1,y2)和Q22(x2,y2)有相同纵坐标的插值点，其像素值均由上式求得，通过R1(x,y1)与R2(x,y2)在y方向上的插值计算出像素点P(x,y)的像素值；
针对畸变矫正效果不佳的图像，在垂直于边缘的方向通过插值法拟合点，进行边缘提取，沿着切片方向计算平均灰度值，通过高斯滤波消除噪声点，平滑曲线，对平滑后的轮廓求一阶导数，将一阶导数的所有局部候选点作为边界候选点，如果候选点的绝对值大于设定的阈值，则候选点作为检测到的边界点输出。
6.根据权利要求1所述的一种基于机器视觉的手机盖板玻璃缺陷检测方法，其特征在于，在提取的ROI区域中，对缺陷进行提取，依据七个不同矢量对不同缺陷进行定性判断的具体方法包括：
构建以圆度C、外接矩形长宽比P、凸度Con、目标区域面积S、目标区域灰度均值E、灰度方差D和区域内孔洞数量N为矢量的判断依据；
分析点刮缺陷；
分析线刮缺陷与毛丝异物；
分析脏污缺陷。
7.根据权利要求6所述的一种基于机器视觉的手机盖板玻璃缺陷检测方法，其特征在于，分析点刮缺陷的具体方法包括：
将视窗区图像进行二值化处理，将灰度值和玻璃盖板背景差值较大的最先分离，其中大于背景灰度值的区域被提取处理，统计计算灰度值为1的区域，并求出面积；
当可疑瑕疵的区域面积大于临界最小值S，则记为缺陷，否则产品无缺陷；
点刮缺陷面积有上限S1,超出则是其它缺陷，进入其它缺陷判别流程；
点刮和线刮成像迥异，如果该缺陷有较小的长宽比P和较大的圆度C，则可直接判断为点刮，否则再添加凸度Con、缩小圆度C1进行判断。
8.根据权利要求6所述的一种基于机器视觉的手机盖板玻璃缺陷检测方法，其特征在于，分析线刮缺陷与毛丝异物的具体方法包括：
如果二值化处理后区域的面积<S，则直接进入可疑点刮判断流程算法，如果面积>S1，判断为脏污缺陷；
如果可疑瑕疵有较大的长宽比，则可以确定为狭长型的线刮或者毛丝异物缺陷，当满足灰度均值σ2>E和灰度方差>综合判断，则为线刮缺陷，否则狭长毛丝异物缺陷；
当可疑瑕疵没有大的长宽比，则缺陷可能为短线刮、毛丝异物、脏污的集合。
9.根据权利要求6所述的一种基于机器视觉的手机盖板玻璃缺陷检测方法，其特征在于，分析脏污缺陷的具体方法包括：
如果是特大面积>S或者含有孔洞数N>0，则一定是脏污缺陷；如果缺陷面积<S1，进入可疑点刮判断；
当介于两个面积之间，则可能为线刮、毛丝异物和中等面积脏污的混合；
如果是片状脏污，则其圆度C较大，否则为线状脏污。
CN202011329133.5A 2020-11-24 2020-11-24 一种基于机器视觉的手机盖板玻璃缺陷检测方法 Active CN112630222B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011329133.5A CN112630222B (zh) 2020-11-24 2020-11-24 一种基于机器视觉的手机盖板玻璃缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011329133.5A CN112630222B (zh) 2020-11-24 2020-11-24 一种基于机器视觉的手机盖板玻璃缺陷检测方法

Publications (2)

Publication Number Publication Date
CN112630222A CN112630222A (zh) 2021-04-09
CN112630222B true CN112630222B (zh) 2022-12-06

Family

ID=75303753

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011329133.5A Active CN112630222B (zh) 2020-11-24 2020-11-24 一种基于机器视觉的手机盖板玻璃缺陷检测方法

Country Status (1)

Country Link
CN (1) CN112630222B (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113732265A (zh) * 2021-06-16 2021-12-03 浙江路飞镁业有限公司 一种高强度镁制轮毂生产工艺
CN113379723B (zh) * 2021-06-29 2023-07-28 上海闻泰信息技术有限公司 不规则溢胶口检测方法、装置、设备和存储介质
CN113504244A (zh) * 2021-07-13 2021-10-15 安徽绿舟科技有限公司 一种新能源汽车电池探伤检测方法与装置
CN113706468B (zh) * 2021-07-27 2024-09-13 河北光兴半导体技术有限公司 基于bp神经网络的玻璃缺陷检测方法
CN113838039A (zh) * 2021-09-29 2021-12-24 逸美德科技股份有限公司 一种能实现多种几何度量特征的检测方法
CN114219794B (zh) * 2021-12-17 2023-01-20 沭阳县桐盛木业制品厂(普通合伙) 基于机器视觉的刨花板表面质量评估方法及系统
CN114486883A (zh) * 2021-12-30 2022-05-13 中科蓝海(扬州)智能视觉科技有限公司 一种手机电源线定位检测方法和装置
CN114354491A (zh) * 2021-12-30 2022-04-15 苏州精创光学仪器有限公司 一种基于机器视觉的dcb陶瓷基板缺陷检测方法
CN114757900B (zh) * 2022-03-31 2023-04-07 绍兴柯桥奇诺家纺用品有限公司 基于人工智能的纺织品缺陷类型识别方法
CN114519714B (zh) * 2022-04-20 2022-07-26 中导光电设备股份有限公司 一种显示屏脏污缺陷判定的方法和系统
CN115272341B (zh) * 2022-09-29 2022-12-27 华联机械集团有限公司 一种基于机器视觉的包装机缺陷产品检测方法
CN115908269B (zh) * 2022-10-26 2023-07-04 中科慧远视觉技术(北京)有限公司 视觉缺陷检测方法、装置、存储介质和计算机设备
CN115496754B (zh) * 2022-11-16 2023-04-11 深圳佰维存储科技股份有限公司 Ssd的弯曲度检测方法、装置、可读存储介质及电子设备
CN116008294B (zh) * 2022-12-13 2024-03-08 无锡微准科技有限公司 一种基于机器视觉的键帽表面颗粒缺陷检测方法
CN116309570B (zh) * 2023-05-18 2023-08-04 山东亮马新材料科技有限公司 一种钛合金棒材质量检测方法及系统
CN116468729B (zh) * 2023-06-20 2023-09-12 南昌江铃华翔汽车零部件有限公司 一种汽车底盘异物检测方法、系统及计算机
CN116778263B (zh) * 2023-08-22 2023-11-14 四川坤鸿电子科技有限公司 分拣设备控制方法、电子设备和计算机可读介质
CN116934752B (zh) * 2023-09-18 2023-12-08 山东国泰民安玻璃科技有限公司 一种基于人工智能的玻璃检测方法及系统
CN117218114B (zh) * 2023-11-06 2024-01-30 山东滨州安惠绳网集团有限责任公司 一种基于图像数据处理的网状织物缺陷快速检测方法
CN117422714B (zh) * 2023-12-18 2024-03-29 大陆汽车电子(济南)有限公司 装配检测方法、设备和存储介质
CN117783155B (zh) * 2024-02-23 2024-04-26 江苏华鸥玻璃有限公司 一种基于机器视觉的玻璃仪器缺陷检测系统及方法
CN118067728B (zh) * 2024-04-19 2024-07-09 深圳市博硕科技股份有限公司 一种摄像头保护盖自动化摆盘的检测系统及方法
CN118134907B (zh) * 2024-04-29 2024-07-02 金洲精工科技(昆山)有限公司 钻针头型的控制方法、装置及电子设备

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103942777A (zh) * 2014-03-13 2014-07-23 华南理工大学 一种基于主成分分析的手机玻璃盖板缺陷检测方法
CN106053479B (zh) * 2016-07-21 2018-09-11 湘潭大学 一种基于图像处理的工件外观缺陷的视觉检测系统
CN110570393B (zh) * 2019-07-31 2023-06-23 华南理工大学 一种基于机器视觉的手机玻璃盖板视窗区缺陷检测方法
CN110567965A (zh) * 2019-07-31 2019-12-13 华南理工大学 一种智能手机玻璃盖板边缘视觉缺陷检测方法
CN110567976B (zh) * 2019-08-30 2023-05-26 中国地质大学（武汉） 基于机器视觉的手机盖板丝印缺陷检测装置及检测方法
CN110672617B (zh) * 2019-09-14 2022-06-14 华南理工大学 基于机器视觉的智能手机玻璃盖板丝印区缺陷检测方法
CN111189854B (zh) * 2020-04-13 2020-08-07 征图新视(江苏)科技股份有限公司 玻璃盖板自动检测系统缺陷分层检测方法
CN111693549B (zh) * 2020-05-14 2021-08-20 西安电子科技大学 一种手机盖板玻璃缺陷检测与分类方法

Also Published As

Publication number Publication date
CN112630222A (zh) 2021-04-09

Similar Documents

Publication Publication Date Title
CN112630222B (zh) 一种基于机器视觉的手机盖板玻璃缺陷检测方法
CN107808378B (zh) 基于垂直纵横线轮廓特征的复杂结构铸件潜在缺陷检测方法
CN111145161B (zh) 一种路面裂缝数字图像处理和识别的方法
CN109410230B (zh) 一种可抗噪声的改进Canny图像边缘检测方法
CN111986190B (zh) 一种基于伪影剔除的印刷品缺陷检测方法及装置
CN111310558B (zh) 一种基于深度学习和图像处理法的路面病害智能提取方法
CN108460757B (zh) 一种手机TFT-LCD屏Mura缺陷在线自动检测方法
CN109816652B (zh) 一种基于灰度显著性的复杂铸件缺陷识别方法
CN106780486B (zh) 一种钢板表面缺陷图像提取方法
CN109685766B (zh) 一种基于区域融合特征的布匹瑕疵检测方法
CN114399522A (zh) 一种基于高低阈值的Canny算子的边缘检测方法
CN109993099A (zh) 一种基于机器视觉的车道线提取识别方法
CN107490582B (zh) 一种流水线工件检测系统
CN113034452B (zh) 一种焊件轮廓检测方法
CN115330784B (zh) 一种布匹表面缺陷检测方法
CN110596116B (zh) 一种车辆表面瑕疵检测方法及检测系统
CN108921813B (zh) 一种基于机器视觉的无人机检测桥梁结构裂缝识别方法
CN102426649A (zh) 一种简单的高准确率的钢印数字自动识别方法
CN109472788B (zh) 一种飞机铆钉表面的伤痕检测方法
CN117541588B (zh) 一种纸制品的印刷缺陷检测方法
CN111667475B (zh) 一种基于机器视觉的大枣分级检测方法
CN114820631B (zh) 一种抗纹理干扰的面料缺陷检测方法
CN115330770B (zh) 一种布匹区域类疵点识别方法
CN114549441A (zh) 基于图像处理的吸管缺陷检测方法
CN115311289A (zh) 一种素色布匹油渍缺陷检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant