CN109658376A - 一种基于图像识别的表面缺陷识别方法 - Google Patents

一种基于图像识别的表面缺陷识别方法 Download PDF

Info

Publication number
CN109658376A
CN109658376A CN201811245513.3A CN201811245513A CN109658376A CN 109658376 A CN109658376 A CN 109658376A CN 201811245513 A CN201811245513 A CN 201811245513A CN 109658376 A CN109658376 A CN 109658376A
Authority
CN
China
Prior art keywords
image
surface defect
defect
recognition
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811245513.3A
Other languages
English (en)
Inventor
林琳
吕彦诚
郭丰
王晨
钟诗胜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN201811245513.3A priority Critical patent/CN109658376A/zh
Publication of CN109658376A publication Critical patent/CN109658376A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0006—Industrial image inspection using a design-rule based approach
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering

Abstract

一种基于图像识别的表面缺陷识别方法。属于图像识别领域。现有的生产加工流水线上物体表面外观的检测通过肉眼直接观察的方式，存在工作量大、工作效率低的问题，且易出现错检、漏检的情况。一种基于图像识别的表面缺陷识别方法，采集表面缺陷图像作为样本，并进行数据扩充；之后通过中值滤波算法对表面缺陷图像进行去噪；之后以表面缺陷图像中采样点周围四个点中灰度值最大的作为该点的灰度值，进行缩放处理；之后提取表面缺陷图像中缺陷的轮廓以及表面缺陷图像与背景之间的轮廓，并将灰度图像转换为二值化的表面缺陷图像，之后对二值化表面缺陷图像进行图像分类；本发能进行物体表面的缺陷快速识别，且识别准确率高。

Description

一种基于图像识别的表面缺陷识别方法
技术领域
本发明涉及一种智能图像识别方法，特别涉及一种基于图像识别的表面缺陷识别方法。
背景技术
随着科技进步，智能手机的使用量越来越多，普及率越来越高。艾媒咨询发布的《2017-2018中国智能手机市场研究报告》显示，截止到2017年底，中国手机网民用户达到7.68亿，智能手机用户规模达6.68亿。手机保护膜又称手机美容膜、手机贴膜，是可用于装裱手机机身、屏幕的一种冷裱膜。在中国，为了保护手机屏幕，90％以上的智能手机用户都习惯给自己的手机贴手机膜，2014年时手机保护膜的销量已经达到了5.54亿张。因此，每年手机保护膜的产量跟需求量十分巨大。然而，现行的手机保护膜制造行业内部对于外观，比如杂色点、刮伤、缺损、尘点、麻点、脏污、气泡等的检验，仍采用肉眼观察的方法，工作量大，且容易存在错检、漏检等情况。
除了手机生产线外，现有的生产加工流水线上物体表面外观的检测通过肉眼直接观察的方式，存在工作量大、工作效率低的问题，且易出现错检、漏检的情况。
发明内容
本发明的目的是为了解决现有的生产加工流水线上物体表面外观的检测通过肉眼直接观察的方式，存在工作量大、工作效率低的问题，且易出现错检、漏检的情况，而提出一种基于图像识别的表面缺陷识别方法。
一种基于图像识别的表面缺陷识别方法，所述的方法通过以下步骤实现：
步骤一、采集表面缺陷图像作为样本，并对采集的表面缺陷图像进行整体图像和细节图像的数据扩充，获得完整的表面缺陷图像的样本；其中，表面缺陷是指物体表面存在的杂色点、刮伤、缺损、尘点、麻点、脏污、气泡问题，所述的表面缺陷图像为二维图像；
步骤二、通过中值滤波算法对表面缺陷图像进行去噪；
步骤三、通过最近邻最值法，即以表面缺陷图像中采样点周围四个点中灰度值最大的作为该点的灰度值，对步骤二去噪后的表面缺陷图像进行缩放处理；
步骤四、对步骤三的缩放处理后的表面缺陷图像进行边缘检测确定，提取表面缺陷图像中缺陷的轮廓以及表面缺陷图像与背景之间的轮廓，并将灰度图像转换为二值化的表面缺陷图像，其中，背景是指生产线上的传送带，轮廓是指表面边框和表面上的缺陷这类具有位置；
步骤五、通过SVM分类器，对步骤四获得的二值化表面缺陷图像进行图像分类；SVM表示支持向量机，为support vector machine的缩写。
本发明的有益效果为：
本发明针对目前生产线表面缺陷识别的三个关键问题，提出了基于边缘检测的表面缺陷识别方法，重点解决正常与缺陷类别不平衡、高信噪比的图像去噪和高效率缺陷识别问题。通过采用RST的整体图像扩充和局部缺陷样本扩充了缺陷样本集合，保证缺陷样本特征提取完备性；在采集图像中加入多种噪声数据，对不同去噪方法进行对比分析后，选择了在峰值信噪比(PSNR)、均方误差(MSE)及结构相似性(SSIM)等指标表现良好的中值去噪方法，获得了较好去噪效果；提出了通过最近邻最值法进行图像缩放，提高了缺陷特征显著度，提高检测效率和检测能力，最后采用边缘检测和SVM相结合的方法实现了物体表面的缺陷快速识别，该方法的漏检率为零，达到了生产线上表面缺陷检测的工程要求。
本发明应用于手机膜生产加工线上时，基于手机膜生产线自动化程度高，生产速度快，节奏固定，因此可以在停顿间隙对生产线上的手机膜进行快速图像采集，通过图像高效处理进行手机膜的缺陷识别和检验，为缺陷手机膜抓取动作提供激发信号。本发明利用图像识别的方法实现了手机膜生产线缺陷自动识别，降低工人工作量，且准确率高，检测速度快，满足生产要求。其中，本发明检测准确率可以达到99％以上。
附图说明
图1为本发明涉及的最近邻最值法示意图；
图2为本发明涉及的部分边缘检测结果；
图3为本发明涉及的图像镜像、平移、旋转的基本操作示意图；图中，3(a)为原图，3(b)、3(c)、3(d)分别为镜像、平移、旋转操作示意图；
图4a、图4b、图4c分别为本发明涉及的图像经镜像、平移、旋转的基本操作对应的图像数据变化；
图5为本发明的流程图；
图6为本发明涉及的对去噪后的手机膜缺陷图像进行缩小处理的图示。
具体实施方式
具体实施方式一：
本实施方式的基于图像识别的表面缺陷识别方法，所述方法通过以下步骤实现：
步骤一、采集表面缺陷图像作为样本，并对采集的表面缺陷图像进行整体图像和细节图像的数据扩充，增加表面缺陷图像的样本数量，获得完整的表面缺陷图像的样本，以提高所要训练的分类模型的分类效果会；其中，表面缺陷是指物体表面存在的杂色点、刮伤、缺损、尘点、麻点、脏污、气泡问题，所述的表面缺陷图像为二维图像；
步骤二、通过中值滤波算法作为最适合表面缺陷图像去噪方法对表面缺陷图像进行去噪；
步骤三、通过最近邻最值法，即以表面缺陷图像中采样点周围四个点中灰度值最大的作为该点的灰度值，对步骤二去噪后的表面缺陷图像进行缩放处理；
步骤四、对步骤三的缩放处理后的表面缺陷图像进行边缘检测确定，提取表面缺陷图像中缺陷的轮廓以及表面缺陷图像与背景之间的轮廓，并将灰度图像转换为二值化的表面缺陷图像，其中，背景是指生产线上的传送带，轮廓是指表面边框和表面上的缺陷这类具有明显变化的位置；
步骤五、通过SVM分类器，对步骤四获得的二值化表面缺陷图像进行图像分类；SVM表示支持向量机，为support vector machine的缩写；具体为：
实际使用中，物体表面缺陷检测实质是一个二元分类问题，本发明选择SVM作为表面缺陷识别的分类器，其优势主要体现在：系统结构简单、全局最优、推广能力强、学习和预测时间短。通过前述对物体表面图像的处理过程，根据现有的物体表面图像，将获得二值化表面缺陷图像作为训练样本，随机选择其中25％的图像作为测试样本进行模型的测试，并使用剩余的75％的图像作为训练样本进行模型训练。
具体实施方式二：
与具体实施方式一不同的是，本实施方式的基于图像识别的表面缺陷识别方法，步骤一所述的采集的表面缺陷图像的整体图像和细节图像进行数据扩充，具体为：
缺陷识别是根据物体表面正常和缺陷样本的特征信息进行模式识别，训练样本数目少意味着所能提取的相关物体表面的特征信息减少，训练样本数量不足是模式识别的主要需解决的问题。因为物体表面生产过程中出现外观缺陷的位置是随机的，并且缺陷率低，初始的缺陷图像样本数量少，因此需要对现有的缺陷图像样本进行扩充。本发明中分整体扩充以及细节扩充分别进行图像样本扩充。
整体图像数据扩充：由于物体表面图像的采集过程中难免会有节拍误差，且存在生产线的震动等问题，因此拍摄到的物体表面二维图像并不一定位于图像中央，偶尔伴随一些旋转现象。针对以上特点，本发明采用RST的数据扩充方法，对现有的样本进行镜像、平移、旋转的基本操作以及复合操作进行数据扩充，其中，复合操作是指将前述基本操作任意组合；所述RST的数据扩充方法进行扩充的数学形式具体为：
其中，T表示操作函数，g表示扩充后图像，f表示原始图像，θ表示旋转角度， (△x,△y)为平移量，对一幅二维图像，有镜像、平移、旋转的基本操作如图3中a、b、c、 d所示，图3-a为原图像，对其进行水平翻转，得到竖直对称图像，图3-b；对原图像进行平移，得到变换后的平移图像，图3-c；将原图像绕中心旋转，得到相应的旋转图像，图3-d。其对应的图像数据变化如图4a、4b、4c所示；
细节图像数据扩充：由于物体表面不同部位的特征信息差别较大，为了尽可能保留物体表面照片的细节，本发明将表面缺陷图像按照(听筒部分、屏幕部分和home键部分等) 不同功能区域，且在不同的功能区域按照不同的位置分别截取部分图像进行图像的数据扩充；例如将一张表面缺陷图像分为听筒部分、屏幕部分和home键部分三部分功能区域，每个功能区域按照不同的截取部位进行图像的数据扩充；其中，表面缺陷图像的屏幕部分按照图像的四个角和中间部分进行截取，将截取的5幅图作为该表面缺陷图像的数据扩充，表面缺陷图像听筒部分按照图像的上部和下部两部分进行图像截取，将截取的2幅图作为该表面缺陷图像的数据扩充，表面缺陷图像的home键部分按照上部和下部两部分进行图像截取，将截取的2幅图作为该表面缺陷图像的数据扩充。
具体实施方式三：
与具体实施方式一或二不同的是，本实施方式的基于图像识别的表面缺陷识别方法，步骤二所述的通过中值滤波算法作为最适合表面缺陷图像去噪方法对表面缺陷图像进行去噪的过程，具体为：
在实际的生产线中，由于成像设备与外部环境噪声的影响，数字图像在数字化与传输过程中会受到噪声的干扰，需采取有效的降噪技术提高图像的质量。本发明通过不同去噪方法对不同噪声的去噪效果对比以及原始图像局部处理效果对比，选择中值滤波算法作为最适合缺陷物体表面图像去噪方法。
中值滤波是一种非线性滤波，是基于排序统计理论的一种能够有效抑制噪声的非线性信号处理技术，通过中值滤波算法，确定一个含有奇数个点的滑动滤波窗口，并利用滑动滤波窗口的灰度值的中值代替数字图像中像素点的灰度值，把数字图像中的一个像素点的像素灰度值用其邻域中各点的中值代替，从而消除孤立的噪声点，即：对滤波窗口中的灰度值进行排序，然后将其中的中值赋值给中心点，则原始表面缺陷图像f(x,y)与处理后的表面缺陷图像g(x,y)之间的关系为：
其中，A表示滤波窗口；Med表示中值滤波算法。
具体实施方式四：
与具体实施方式三不同的是，本实施方式的基于图像识别的表面缺陷识别方法，步骤三所述的对步骤二去噪后的表面缺陷图像进行缩放处理的过程具体为：
一般情况下，直接从摄像头获得的图像像素较大，在进行图像识别时效率较低，为了缩短识别时间，提高物体表面在线识别工作效率，要对图像进行图像缩放。生产线上物体表面图像的元素比较简单，其边缘部分亮度较高，背景部分亮度较低，在进行图像识别时，需要重点突出其边缘部分。本发明提出一种新的图像缩放算法——最近邻最值法，即以表面缺陷图像中采样点周围四个点中灰度值最大的作为该点的灰度值，如下所示，缩放后的表面缺陷图像中的点P对应原始表面缺陷图像中的点P'，Q11、Q12、Q21、Q22为点P' 周围的四个点，缩放后点P的灰度值由四个点中灰度值的最大值代替，重点突出物体表面四周边框和缺陷处的边缘部分，完成对表面缺陷图像的缩放，以缩短识别时间，提高物体表面在线识别工作效率，即：
f′(P)＝max{g(Q11),g(Q12),g(Q21),g(Q22)} (6)
其中，f′为缩放后图像，g为原始图像。
具体实施方式五：
与具体实施方式一、二或四不同的是，本实施方式的基于图像识别的表面缺陷识别方法，步骤四所述的对步骤三的缩放处理后的表面缺陷图像进行边缘检测确定，提取表面缺陷图像中缺陷的轮廓以及表面缺陷图像与背景之间的轮廓，并将灰度图像转换为二值化的表面缺陷图像的过程，具体为：
边缘是图像局部灰度发生急剧变化的不连续地方，主要存在于目标与目标、目标与背景、区域与区域(包括不同色彩)之间。边缘检测是图像处理的一个关键技术，其实质是提取图像中目标与背景之间的轮廓。通过边缘检测获得的是二值化图像，在增强图像特征的同时使图像变得简单，数据量减少，有利于图像进一步处理。图像边缘检测的核心操作是一个卷积的过程，
步骤四一、构造一个矩阵，利用所述的矩阵与图像中的每个像素点及其邻域作卷积；当该矩阵与图像中轮廓边缘上的像素点及其邻域作卷积时，得到一个卷积运算结果，把该值作为新图像中相同位置的像素点的值；当该矩阵与图像中的平滑区域中的像素点及其邻域作卷积时，也得到一个卷积运算结果，把该值作为新图像中相同位置的像素点的值，且利用平滑区域中的像素点及其邻域进行卷积运算所得结果小于利用轮廓边缘上的像素点及其邻域进行卷积运算所得结果；平滑区域是指图像中除了缺陷等轮廓边缘以外的正常平整区域；
步骤四二、输出新图像，且输出的新图像为轮廓部分具有较大像素值而其他区域具有较小像素值的灰度图像；
步骤四三、设置合理的阈值，将该灰度图像转换为二值化图像。
步骤四四、本发明通过对比不同边缘检测算子的检测效果，最终选定Sobel算子作为物体表面缺陷检测中的边缘检测算子，并使用迭代阈值法对边缘检测结果进行处理，得到最终的边缘提取结果。最终得到的部分边缘提取结果如图2所示。
具体实施方式六：
与具体实施方式五不同的是，本实施方式的基于图像识别的表面缺陷识别方法，步骤四一所述的利用平滑区域中的像素点及其邻域进行卷积运算所得结果远小于利用轮廓边缘上的像素点及其邻域进行卷积运算所得结果。
具体实施方式七：
与具体实施方式五或六不同的是，本实施方式的基于图像识别的表面缺陷识别方法，步骤五所述的通过SVM分类器，对步骤四获得的二值化表面缺陷图像进行图像分类的过程具体为：实际使用中，物体表面缺陷检测实质是一个二元分类问题，本发明选择SVM 作为表面缺陷识别的分类器，其优势主要体现在：系统结构简单、全局最优、推广能力强、学习和预测时间短。通过前述对物体表面图像的处理过程，根据现有的物体表面图像，将获得二值化表面缺陷图像作为训练样本，随机选择其中25％的图像作为测试样本进行模型的测试，并使用剩余的75％的图像作为训练样本进行模型训练。
具体实施方式八：
与具体实施方式七不同的是，本实施方式的基于图像识别的表面缺陷识别方法，步骤三所述的对步骤二去噪后的表面缺陷图像进行缩放处理为缩小处理，具体为：设缩放后图像点(Dx,Dy)与原图像中的点(Sx,Sy)对应，对应关系如下：
Dx＝Sx*DW/SW
Dy＝Sy*DW/SW
其中，DW为缩小后的图像的宽，SW为原图像的宽；DH为缩小后的图像的高，DH 为原图像的高。
具体实施方式九：
与具体实施方式八不同的是，本实施方式的基于图像识别的表面缺陷识别方法，所述的表面缺陷为手机膜表面存在的杂色点、刮伤、缺损、尘点、麻点、脏污、气泡问题。
实施例1：
基于图像识别的表面缺陷识别方法，在用于手机膜表面缺陷识别过程中，所述方法通过以下步骤实现：
步骤一、采集手机膜缺陷图像作为样本，并对采集的手机膜缺陷图像进行整体图像和细节图像的数据扩充，增加手机膜缺陷图像的样本数量，获得完整的手机膜缺陷图像的样本，以提高所要训练的分类模型的分类效果会；其中，手机膜缺陷是指手机膜表面存在的杂色点、刮伤、缺损、尘点、麻点、脏污、气泡问题，所述的手机膜缺陷图像为二维图像；
缺陷识别是根据手机膜正常和缺陷样本的特征信息进行模式识别，训练样本数目少意味着所能提取的相关手机膜的特征信息减少，训练样本数量不足是模式识别的主要需解决的问题。因为手机膜生产过程中出现外观缺陷的位置是随机的，并且缺陷率低，初始的缺陷图像样本数量少，因此需要对现有的缺陷图像样本进行扩充。本发明中分整体扩充以及细节扩充分别进行图像样本扩充。
整体图像数据扩充：由于手机膜图像的采集过程中难免会有节拍误差，且存在生产线的震动等问题，因此拍摄到的手机膜二维图像并不一定位于图像中央，偶尔伴随一些旋转现象。针对以上特点，本发明采用RST的数据扩充方法，对现有的样本进行镜像、平移、旋转的基本操作以及复合操作进行数据扩充，其中，复合操作是指将前述基本操作任意组合；所述RST的数据扩充方法进行扩充的数学形式具体为：
其中，T表示操作函数，g表示扩充后图像，f表示原始图像，θ表示旋转角度， (△x,△y)为平移量，对一幅二维图像，有镜像、平移、旋转的基本操作如图3-a、3--b、3--c、 3-d所示，图3-a为原图像，对其进行水平翻转，得到竖直对称图像，图3-b；对原图像进行平移，得到变换后的平移图像，图3-c；将原图像绕中心旋转，得到相应的旋转图像，图3-d。其对应的图像数据变化如图4a、4b、4c所示；
细节图像数据扩充：由于手机屏幕不同部位的特征信息差别较大，为了尽可能保留手机膜照片的细节，本发明将一张手机膜缺陷图像分为听筒部分、屏幕部分和home键部分三部分功能区域，每个功能区域按照不同的截取部位进行图像的数据扩充；其中，手机膜缺陷图像的屏幕部分按照图像的四个角和中间部分进行截取，将截取的5幅图作为该手机膜缺陷图像的数据扩充，手机膜缺陷图像听筒部分按照图像的上部和下部两部分进行图像截取，将截取的2幅图作为该手机膜缺陷图像的数据扩充，手机膜缺陷图像的home键部分按照上部和下部两部分进行图像截取，将截取的2幅图作为该手机膜缺陷图像的数据扩充。
步骤二、通过中值滤波算法作为最适合手机膜缺陷图像去噪方法对手机膜缺陷图像进行去噪；
步骤二所述的通过中值滤波算法作为最适合手机膜缺陷图像去噪方法对手机膜缺陷图像进行去噪的过程，具体为：
在实际的手机钢化膜生产线中，由于成像设备与外部环境噪声的影响，数字图像在数字化与传输过程中会受到噪声的干扰，需采取有效的降噪技术提高图像的质量。本发明通过不同去噪方法对不同噪声的去噪效果对比以及原始图像局部处理效果对比，选择中值滤波算法作为最适合缺陷手机膜图像去噪方法。
中值滤波是一种非线性滤波，是基于排序统计理论的一种能够有效抑制噪声的非线性信号处理技术，通过中值滤波算法，确定一个含有奇数个点的滑动滤波窗口，并利用滑动滤波窗口的灰度值的中值代替数字图像中像素点的灰度值，把数字图像中的一个像素点的像素灰度值用其邻域中各点的中值代替，从而消除孤立的噪声点，即：对滤波窗口中的灰度值进行排序，然后将其中的中值赋值给中心点，则原始手机膜缺陷图像f(x,y)与处理后的手机膜缺陷图像g(x,y)之间的关系为：
其中，A表示滤波窗口；Med表示中值滤波算法。
为了对各种去噪方法进行更直观的对比，本文提出用峰值信噪比(PSNR)、均方误差 (MSE)及结构相似性(SSIM)相结合的方式衡量去噪效果，以避免单一评价方法的片面性。 MSE是原图像与处理图像的均方误差；PSNR是最普遍和使用最为广泛的一种图像客观评价指标，基于对应像素点间的误差，即基于误差敏感的图像质量评价；SSIM是一种全参考的图像质量评价指标，它分别从亮度、对比度、结构三方面度量图像相似性。三种指标的计算公式为：
其中，X为去噪后的图像，Y为原始图像，H、W分别为图像的高度和宽度，Xmax为去噪后图像像素的最大值，l,c,s为亮度，相似度和结构相似度，μX，μY分别表示图像X 和Y的均值，σX，σY分别表示图像X和Y的方差，σXY表示图像X和Y的协方差， C1、C2、C3为较小常数，为了避免分母为0的情况，通常取 C1＝(K1*L)2,C2＝(K2*L)2,一般地K1＝0.01,K2＝0.03,L＝255。
步骤三、通过最近邻最值法，即以手机膜缺陷图像中采样点周围四个点中灰度值最大的作为该点的灰度值，对步骤二去噪后的手机膜缺陷图像进行缩放处理；
一般情况下，直接从摄像头获得的图像像素较大，在进行图像识别时效率较低，为了缩短识别时间，提高手机膜在线识别工作效率，要对图像进行图像缩放。生产线上手机膜图像的元素比较简单，其边缘部分亮度较高，背景部分亮度较低，在进行图像识别时，需要重点突出其边缘部分。本发明提出一种新的图像缩放算法——最近邻最值法如图1所示，即以手机膜缺陷图像中采样点周围四个点中灰度值最大的作为该点的灰度值，缩放后的手机膜缺陷图像中的点P对应原始手机膜缺陷图像中的点P'，Q11、Q12、Q21、Q22为点P'周围的四个点，缩放后点P的灰度值由四个点中灰度值的最大值代替，重点突出手机膜四周边框和缺陷处的边缘部分，完成对手机膜缺陷图像的缩放，以缩短识别时间，提高手机膜在线识别工作效率，即：
f′(P)＝max{g(Q11),g(Q12),g(Q21),g(Q22)} (6)
其中，f′为缩放后图像，g为原始图像。
其中，所述的对步骤二去噪后的手机膜缺陷图像进行缩放处理为缩小处理，具体为：如图6，左边为缩放后的图像，右边为原图像，假设缩放后图像点(Dx,Dy)与原图像中的点(Sx,Sy)对应，对应关系如下：
Dx＝Sx*DW/SW
Dy＝Sy*DW/SW
其中，DW为缩小后的图像的宽，SW为原图像的宽；DH为缩小后的图像的高，DH 为原图像的高
步骤四、对步骤三的缩放处理后的手机膜缺陷图像进行边缘检测确定，提取手机膜缺陷图像中缺陷的轮廓以及手机膜缺陷图像与背景之间的轮廓，并将灰度图像转换为二值化的手机膜缺陷图像，其中，背景是指生产线上的传送带，轮廓是指手机膜边框和缺陷这类具有明显变化的位置；
边缘是图像局部灰度发生急剧变化的不连续地方，主要存在于目标与目标、目标与背景、区域与区域(包括不同色彩)之间。边缘检测是图像处理的一个关键技术，其实质是提取图像中目标与背景之间的轮廓。通过边缘检测获得的是二值化图像，在增强图像特征的同时使图像变得简单，数据量减少，有利于图像进一步处理。图像边缘检测的核心操作是一个卷积的过程，
步骤四一、构造一个矩阵，利用所述的矩阵与图像中的每个像素点及其邻域作卷积；当该矩阵与图像中轮廓边缘上的像素点及其邻域作卷积时，得到一个卷积运算结果，把该值作为新图像中相同位置的像素点的值；当该矩阵与图像中的平滑区域中的像素点及其邻域作卷积时，也得到一个卷积运算结果，把该值作为新图像中相同位置的像素点的值，且利用平滑区域中的像素点及其邻域进行卷积运算所得结果小于利用轮廓边缘上的像素点及其邻域进行卷积运算所得结果；
步骤四二、输出新图像，且输出的新图像为轮廓部分具有较大像素值而其他区域具有较小像素值的灰度图像；
步骤四三、设置合理的阈值，将该灰度图像转换为二值化图像。
步骤四四、本发明通过对比不同边缘检测算子的检测效果，最终选定Sobel算子作为手机膜表面缺陷检测中的边缘检测算子，并使用迭代阈值法对边缘检测结果进行处理，得到最终的边缘提取结果。最终得到的部分边缘提取结果如图2所示。
步骤五、通过SVM分类器，对步骤四获得的二值化手机膜缺陷图像进行图像分类；SVM表示支持向量机，为support vector machine的缩写；具体为：
实际使用中，手机膜表面缺陷检测实质是一个二元分类问题，本发明选择SVM作为手机膜缺陷识别的分类器，其优势主要体现在：系统结构简单、全局最优、推广能力强、学习和预测时间短。通过前述对手机膜图像的处理过程，根据现有的手机膜图像，将获得二值化手机膜缺陷图像作为训练样本，随机选择其中25％的图像作为测试样本进行模型的测试，并使用剩余的75％的图像作为训练样本进行模型训练。
为了验证SVM的效率与准确率，本发明在实验过程中与将SVM与K近邻分类器相比较，实验结果如图2所示，结果表明SVM在训练时间与准确率方面均优于K近邻分类器。
同时，还利用Sklearn中classification_report()函数统计了两种分类器的精确率 P(precision)，召回率R(recall)及F1值F1(f1-score)等分类指标。缺陷手机膜的识别问题实质是一个二元分类问题，对于实际数据测试结果有如下4种情况：①TP：正确识别有缺陷图像为缺陷图像，即“命中”；②FP：正常图像被识别为有缺陷，即“虚警”；③FN：有缺陷图像被错误识别为正常图像，即“漏警”；③TN：正确识别有正常图像为正常图像，即“正确拒绝”。精确率是指所有"正确被检索的(TP)"占所有"实际被检索到的(TP+FP)"的比例；召回率是指所有"正确被检索的(TP)"占所有"应该检索到的(TP+FN)"的比例；F1值就是精确率和召回率的调和均值。即
两种分类器的分类指标如表7，表8所示，由于考虑到实际情况，不应允许存在破损手机膜被错分为正常手机膜，即正常手机膜的预测精确率必须为100％，对比表内数据，SVM分类效果更加明显。
表7 SVM主要分类指标(训练样本757张)
表8 K近邻分类器主要分类指标(训练样本757张)
采用边缘检测和SVM相结合的方法实现了手机膜的缺陷快速识别。上述实验结果表明，该方法的漏检率为零，达到了生产线上表面缺陷检测的工程要求。
本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (9)

1.一种基于图像识别的表面缺陷识别方法，其特征在于：所述方法通过以下步骤实现：
步骤一、采集表面缺陷图像作为样本，并对采集的表面缺陷图像进行整体图像和细节图像的数据扩充，获得完整的表面缺陷图像的样本；其中，表面缺陷是指物体表面存在的杂色点、刮伤、缺损、尘点、麻点、脏污、气泡问题，所述的表面缺陷图像为二维图像；
步骤二、通过中值滤波算法对表面缺陷图像进行去噪；
步骤三、通过最近邻最值法，即以表面缺陷图像中采样点周围四个点中灰度值最大的作为该点的灰度值，对步骤二去噪后的表面缺陷图像进行缩放处理；
步骤四、对步骤三的缩放处理后的表面缺陷图像进行边缘检测确定，提取表面缺陷图像中缺陷的轮廓以及表面缺陷图像与背景之间的轮廓，并将灰度图像转换为二值化的表面缺陷图像，其中，背景是指生产线上的传送带，轮廓是指表面边框和表面上的缺陷这类具有位置；
步骤五、通过SVM分类器，对步骤四获得的二值化表面缺陷图像进行图像分类；SVM表示支持向量机。
2.根据权利要求1所述的一种基于图像识别的表面缺陷识别方法，其特征在于：所述的步骤一中采集的表面缺陷图像的整体图像和细节图像进行数据扩充，具体为：
整体图像数据扩充：采用RST的数据扩充方法，对现有的样本进行镜像、平移、旋转的基本操作以及复合操作进行数据扩充，其中，复合操作是指将前述基本操作任意组合；所述RST的数据扩充方法进行扩充的数学形式具体为：
其中，T表示操作函数，g表示扩充后图像，f表示原始图像，θ表示旋转角度，(Δx,Δy)为平移量；
细节图像数据扩充：将表面缺陷图像按照不同功能区域，且在不同的功能区域按照不同的位置分别截取部分图像进行图像的数据扩充。
3.根据权利要求1或2所述的一种基于图像识别的表面缺陷识别方法，其特征在于：所述的步骤二中通过中值滤波算法对表面缺陷图像进行去噪的过程，具体为：
通过中值滤波算法，确定一个含有奇数个点的滑动滤波窗口，并利用滑动滤波窗口的灰度值的中值代替数字图像中像素点的灰度值，消除孤立的噪声点，即：对滤波窗口中的灰度值进行排序，然后将其中的中值赋值给中心点，则原始表面缺陷图像f(x,y)与处理后的表面缺陷图像g(x,y)之间的关系为：
其中，A表示滤波窗口；Med表示中值滤波算法。
4.根据权利要求3所述的一种基于图像识别的表面缺陷识别方法，其特征在于：步骤三所述的对步骤二去噪后的表面缺陷图像进行缩放处理的过程具体为：
以表面缺陷图像中采样点周围四个点中灰度值最大的作为该点的灰度值，缩放后的表面缺陷图像中的点P对应原始表面缺陷图像中的点P'，Q11、Q12、Q21、Q22为点P'周围的四个点，缩放后点P的灰度值由四个点中灰度值的最大值代替，突出物体表面四周边框和缺陷处的边缘部分，完成对表面缺陷图像的缩放，即：
f′(P)＝max{g(Q11),g(Q12),g(Q21),g(Q22)} (6)
其中，f′为缩放后图像，g为原始图像。
5.根据权利要求1、2或4所述的一种基于图像识别的表面缺陷识别方法，其特征在于：步骤四所述的对步骤三的缩放处理后的表面缺陷图像进行边缘检测确定，提取表面缺陷图像中缺陷的轮廓以及表面缺陷图像与背景之间的轮廓，并将灰度图像转换为二值化的表面缺陷图像的过程，图像边缘检测的核心操作是一个卷积的过程，具体为：
步骤四一、构造一个矩阵，利用所述的矩阵与图像中的每个像素点及其邻域作卷积；当该矩阵与图像中轮廓边缘上的像素点及其邻域作卷积时，得到一个卷积运算结果，把该值作为新图像中相同位置的像素点的值；当该矩阵与图像中的平滑区域中的像素点及其邻域作卷积时，也得到一个卷积运算结果，把该值作为新图像中相同位置的像素点的值，且利用平滑区域中的像素点及其邻域进行卷积运算所得结果小于利用轮廓边缘上的像素点及其邻域进行卷积运算所得结果；
步骤四二、输出新图像，且输出的新图像为轮廓部分具有较大像素值而其他区域具有较小像素值的灰度图像；
步骤四三、设置阈值，将该灰度图像转换为二值化图像。
6.根据权利要求5所述的一种基于图像识别的表面缺陷识别方法，其特征在于：
步骤四一所述的利用平滑区域中的像素点及其邻域进行卷积运算所得结果远小于利用轮廓边缘上的像素点及其邻域进行卷积运算所得结果。
7.根据权利要求5或6所述的一种基于图像识别的表面缺陷识别方法，其特征在于：
步骤五所述的通过SVM分类器，对步骤四获得的二值化表面缺陷图像进行图像分类的过程具体为：选择SVM作为表面缺陷识别的分类器，将表面缺陷检测转换为二元分类过程，根据现有的物体表面图像，将获得二值化表面缺陷图像作为训练样本，随机选择其中25％的图像作为测试样本进行模型的测试，并使用剩余的75％的图像作为训练样本进行模型训练。
8.根据权利要求7所述的一种基于图像识别的表面缺陷识别方法，其特征在于：步骤三所述的对步骤二去噪后的表面缺陷图像进行缩放处理为缩小处理，具体为：设缩放后图像点(Dx,Dy)与原图像中的点(Sx,Sy)对应，对应关系如下：
Dx＝Sx*DW/SW
Dy＝Sy*DH/SH
其中，DW为缩小后的图像的宽，SW为原图像的宽；DH为缩小后的图像的高，DH为原图像的高。
9.根据权利要求8所述的一种基于图像识别的表面缺陷识别方法，其特征在于：所述的表面缺陷为手机膜表面存在的杂色点、刮伤、缺损、尘点、麻点、脏污、气泡问题。
CN201811245513.3A 2018-10-24 2018-10-24 一种基于图像识别的表面缺陷识别方法 Pending CN109658376A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811245513.3A CN109658376A (zh) 2018-10-24 2018-10-24 一种基于图像识别的表面缺陷识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811245513.3A CN109658376A (zh) 2018-10-24 2018-10-24 一种基于图像识别的表面缺陷识别方法

Publications (1)

Publication Number Publication Date
CN109658376A true CN109658376A (zh) 2019-04-19

Family

ID=66110551

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811245513.3A Pending CN109658376A (zh) 2018-10-24 2018-10-24 一种基于图像识别的表面缺陷识别方法

Country Status (1)

Country Link
CN (1) CN109658376A (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110111330A (zh) * 2019-05-17 2019-08-09 上海应用技术大学 手机屏幕检测方法
CN110136110A (zh) * 2019-05-13 2019-08-16 京东方科技集团股份有限公司 光伏组件缺陷的检测方法和装置
CN111422664A (zh) * 2020-03-30 2020-07-17 深圳市腾盛精密装备股份有限公司 一种卷式压敏胶自动供料机构
CN112082999A (zh) * 2020-07-27 2020-12-15 深检数据科技(江苏)有限公司 一种工业产品缺陷检测方法和工业智能相机
CN112669286A (zh) * 2020-12-29 2021-04-16 北京建筑材料检验研究院有限公司 基于红外热像的外墙外保温系统缺陷识别与损伤程度评价方法
CN112733868A (zh) * 2021-03-30 2021-04-30 所托(杭州)汽车智能设备有限公司 图像轮廓查找方法、装置、服务器及介质
CN112750119A (zh) * 2021-01-19 2021-05-04 上海海事大学 一种面向白玻璃盖板表面微弱缺陷的检测与测量方法
WO2021109011A1 (zh) * 2019-12-04 2021-06-10 电子科技大学 一种基于超声图像的电容内部缺陷智能检测方法
CN113505811A (zh) * 2021-06-10 2021-10-15 常州理工科技股份有限公司 一种轮毂生产用机器视觉成像方法
CN113962907A (zh) * 2021-12-21 2022-01-21 山东信通电子股份有限公司 一种图像去噪方法、装置及设备
CN114445685A (zh) * 2022-04-07 2022-05-06 江苏智云天工科技有限公司 缺陷检测模型的训练方法及装置
CN115661156A (zh) * 2022-12-28 2023-01-31 成都数联云算科技有限公司 图像生成方法、装置、存储介质、设备及计算机程序产品
CN115797361A (zh) * 2023-02-13 2023-03-14 山东淼泰建筑科技有限公司 一种铝模板表面缺陷检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102654464A (zh) * 2012-03-13 2012-09-05 浙江工业大学 基于多特征模糊识别的铜带表面缺陷检测系统
CN104751447A (zh) * 2015-01-10 2015-07-01 哈尔滨工业大学（威海） 一种锂电池单元缺陷检测方法
CN108631727A (zh) * 2018-03-26 2018-10-09 河北工业大学 一种基于卷积神经网络的太阳能电池板缺陷识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102654464A (zh) * 2012-03-13 2012-09-05 浙江工业大学 基于多特征模糊识别的铜带表面缺陷检测系统
CN104751447A (zh) * 2015-01-10 2015-07-01 哈尔滨工业大学（威海） 一种锂电池单元缺陷检测方法
CN108631727A (zh) * 2018-03-26 2018-10-09 河北工业大学 一种基于卷积神经网络的太阳能电池板缺陷识别方法

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110136110A (zh) * 2019-05-13 2019-08-16 京东方科技集团股份有限公司 光伏组件缺陷的检测方法和装置
CN110111330A (zh) * 2019-05-17 2019-08-09 上海应用技术大学 手机屏幕检测方法
CN110111330B (zh) * 2019-05-17 2023-02-21 上海应用技术大学 手机屏幕检测方法
WO2021109011A1 (zh) * 2019-12-04 2021-06-10 电子科技大学 一种基于超声图像的电容内部缺陷智能检测方法
CN111422664B (zh) * 2020-03-30 2021-01-08 深圳市腾盛精密装备股份有限公司 一种卷式压敏胶自动供料机构
CN111422664A (zh) * 2020-03-30 2020-07-17 深圳市腾盛精密装备股份有限公司 一种卷式压敏胶自动供料机构
CN112082999A (zh) * 2020-07-27 2020-12-15 深检数据科技(江苏)有限公司 一种工业产品缺陷检测方法和工业智能相机
CN112669286A (zh) * 2020-12-29 2021-04-16 北京建筑材料检验研究院有限公司 基于红外热像的外墙外保温系统缺陷识别与损伤程度评价方法
CN112750119A (zh) * 2021-01-19 2021-05-04 上海海事大学 一种面向白玻璃盖板表面微弱缺陷的检测与测量方法
CN112733868A (zh) * 2021-03-30 2021-04-30 所托(杭州)汽车智能设备有限公司 图像轮廓查找方法、装置、服务器及介质
CN112733868B (zh) * 2021-03-30 2021-08-20 所托(杭州)汽车智能设备有限公司 图像轮廓查找方法、装置、服务器及介质
CN113505811A (zh) * 2021-06-10 2021-10-15 常州理工科技股份有限公司 一种轮毂生产用机器视觉成像方法
CN113962907A (zh) * 2021-12-21 2022-01-21 山东信通电子股份有限公司 一种图像去噪方法、装置及设备
CN114445685A (zh) * 2022-04-07 2022-05-06 江苏智云天工科技有限公司 缺陷检测模型的训练方法及装置
CN115661156A (zh) * 2022-12-28 2023-01-31 成都数联云算科技有限公司 图像生成方法、装置、存储介质、设备及计算机程序产品
CN115661156B (zh) * 2022-12-28 2023-04-14 成都数联云算科技有限公司 图像生成方法、装置、存储介质、设备及计算机程序产品
CN115797361A (zh) * 2023-02-13 2023-03-14 山东淼泰建筑科技有限公司 一种铝模板表面缺陷检测方法

Similar Documents

Publication Publication Date Title
CN109658376A (zh) 一种基于图像识别的表面缺陷识别方法
CN111815630B (zh) 一种用于lcd屏幕的缺陷检测方法、装置
CN110570393B (zh) 一种基于机器视觉的手机玻璃盖板视窗区缺陷检测方法
CN107229930B (zh) 一种指针式仪表数值智能识别方法
CN108537117B (zh) 一种基于深度学习的乘客检测方法和系统
CN106875373B (zh) 基于卷积神经网络剪枝算法的手机屏幕mura缺陷检测方法
CN108009515B (zh) 一种基于fcn的无人机航拍图像的输电线定位识别方法
CN106951870B (zh) 主动视觉注意的监控视频显著事件智能检测预警方法
CN106600593B (zh) 一种中铝瓷球表面缺陷检测方法
CN110060237A (zh) 一种故障检测方法、装置、设备及系统
CN109410192B (zh) 一种多纹理分级融合的织物缺陷检测方法及其装置
CN101551853A (zh) 复杂静态彩色背景下的人耳检测方法
CN108665458A (zh) 透明体表面缺陷提取及识别方法
CN113554080A (zh) 一种基于机器视觉的无纺布瑕疵检测分类方法及系统
CN113240626A (zh) 一种基于神经网络的玻璃盖板凹凸型瑕疵检测与分类方法
Medina et al. Automated visual classification of frequent defects in flat steel coils
CN113252568A (zh) 基于机器视觉的镜片表面缺陷检测方法、系统、产品、终端
CN114612472B (zh) 一种基于SegNet改进的皮革缺陷分割网络算法
CN109615604A (zh) 基于图像重构卷积神经网络的零件外观瑕疵检测方法
CN108647593A (zh) 基于图像处理和svm的无人机路面破损分类检测方法
CN104966300A (zh) 轴承滚子图像检测系统及方法及图像检测装置
CN109584206B (zh) 零件表面瑕疵检测中神经网络的训练样本的合成方法
CN113221881A (zh) 一种多层级的智能手机屏幕缺陷检测方法
CN109559273A (zh) 一种面向车底图像的快速拼接方法
CN108960276A (zh) 提升光谱图像监督分类性能的样本扩充与一致性判别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190419

RJ01 Rejection of invention patent application after publication