CN113409254B - 一种针对模糊成像环境的印刷品缺陷检测方法 - Google Patents
一种针对模糊成像环境的印刷品缺陷检测方法 Download PDFInfo
- Publication number
- CN113409254B CN113409254B CN202110624234.3A CN202110624234A CN113409254B CN 113409254 B CN113409254 B CN 113409254B CN 202110624234 A CN202110624234 A CN 202110624234A CN 113409254 B CN113409254 B CN 113409254B
- Authority
- CN
- China
- Prior art keywords
- image
- fuzzy
- defect detection
- detection
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 74
- 230000007547 defect Effects 0.000 title claims abstract description 66
- 238000003384 imaging method Methods 0.000 title claims abstract description 16
- 238000000034 method Methods 0.000 claims abstract description 32
- 238000005286 illumination Methods 0.000 claims description 23
- 230000002159 abnormal effect Effects 0.000 claims description 19
- 238000004364 calculation method Methods 0.000 claims description 18
- 238000007781 pre-processing Methods 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 15
- 238000012549 training Methods 0.000 claims description 15
- 238000012216 screening Methods 0.000 claims description 13
- 230000015556 catabolic process Effects 0.000 claims description 6
- 238000006731 degradation reaction Methods 0.000 claims description 6
- 238000003708 edge detection Methods 0.000 claims description 6
- 238000011156 evaluation Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 3
- 238000010191 image analysis Methods 0.000 claims description 3
- 230000003278 mimic effect Effects 0.000 claims description 3
- 230000035945 sensitivity Effects 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 5
- 238000002474 experimental method Methods 0.000 abstract description 2
- 230000006872 improvement Effects 0.000 abstract description 2
- 238000013135 deep learning Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000003707 image sharpening Methods 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/0008—Industrial image inspection checking presence/absence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30144—Printing quality
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
一种针对模糊成像环境的印刷品缺陷检测方法,本发明涉及印刷品缺陷检测技术。为了解决缺陷检测任务中复杂环境和镜头畸变所导致的误检和漏检问题。基于机器视觉的表面缺陷检测技术被广泛应用,然而高精度的印刷产品表面缺陷检测依赖于高质量的图像。在目标快速移动、相机摇晃、失焦等影响下,相机捕捉的图像会有一定程度的模糊和失真,从根本上阻碍了印刷品缺陷检测精度的提升。本发明提出一种针对模糊成像环境的印刷品缺陷检测方法。实验表明,该方法可以有效地提升图像的清晰度和缺陷检测的鲁棒性,减少复杂环境和镜头畸变所导致的误检和漏检情况。本发明主要应用于模糊成像环境的印刷品缺陷检测。
Description
技术领域
本发明涉及印刷品缺陷检测。
背景技术
近年来,包装印刷工艺在不断地进步和发展,人们对印刷品品质的要求从最初的简洁大方到如今的美观高档。通过质检员对产品外包装进行缺陷检测的传统方法存在很多弊端:受个人的主观意识影响大,生产效率低下,人力成本高,漏检率高。为了提高检测质量,检测人员使用色差仪、密度计、偏光应力仪等仪器对产品外包装进行缺陷检测。但印刷品缺陷种类繁多、情况复杂,颜色失真、错位漏印、针孔黑点、文字模糊等都是印刷过程中经常出现的缺陷。借助手持仪器的方法无法满足实际生产中大批量、高速度、智能化等需求。机器视觉技术可以克服传统印刷品缺陷检测方法所存在的弊端,当检测装置投入生产线运行后,能够长期执行标准化、自动化的流水线工作,从而极大地减少人力资源,降低企业的生产成本。
复杂工业环境下的图像清晰化处理是计算机视觉中的一个重要任务。高精度的印刷产品表面缺陷检测依赖于高质量的图像,在目标快速移动、相机摇晃、失焦等影响下,相机捕捉的图片会有一定程度的失真,从根本上阻碍了印刷品缺陷检测的精度提升,严重影响计算机视觉应用。传统的图像清晰化技术采用高斯混合模型、低秩估计、字典学习等技术。虽然能够取得一定效果,但是由于目标快速移动、相机摇晃、失焦等影响因素在图像中表现为多方向、多密度、多类别,简单地使用传统方法难以建模图像中的复杂影响因素。因此,传统技术在复杂的工业环境中降低了其原有的性能。
随着深度学习的广泛应用,卷积神经网络已应用于图像去模糊。传统的方案需要先估计模糊核再来做模糊图像复原工作,且估计过程对噪声敏感,易产生振铃现象。而后产生了大量基于深度学习的端到端模型去重建模糊图像,解决了未知运动类型去模糊问题,且在不同任务中存在一定的泛化能力。本发明提出一种针对模糊成像环境的印刷品缺陷检测方法,以有效提高复杂工业环境中印刷品缺陷检测的准确性。同时利用马尔可夫随机过程增强训练数据集,减少模型对数据量的需求。将深度学习与传统机器学习方法相结合的模式应用于实际工业应用中,提高了印刷品缺陷检测的鲁棒性。
发明内容
本发明的目的是为了解决缺陷检测任务中复杂环境和镜头畸变所导致的误检和漏检问题,从而提出一种针对模糊成像环境的印刷品缺陷检测方法。
上述发明主要流程分成两个阶段:一阶段是建立模板;二阶段是缺陷检测。
一阶段主要是通过以下技术方案实现的:
S1、采集不同印刷图案的清晰图像和模糊图像对,制作训练数据集;
训练数据集由基础数据集和增强数据集构成,通过高帧率相机获取到不同印刷图案的清晰图像与模糊图像对,作为基础数据集;随机选取一组不同印刷图案的清晰图像进行数据增强,作为增强数据集,数据增强的具体方法包括以下步骤:
S1-1.利用马尔可夫随机过程生成随机轨迹矢量,再将亚像素插值应用于轨迹矢量来生成模糊核;
每个轨迹矢量都是一个复数矢量,对应着一个连续域中的二维随机运动物体的离散位置,轨迹生成由马尔可夫过程完成,轨迹中每个点的位置是基于先前点的速度与位置、高斯扰动、脉冲扰动和确定性惯性分量而随机生成的,轨迹矢量的公式如下:
式中,*为卷积操作,M为轨迹矢量长度,Lmax为两个时刻间最大移动长度,M和Lmax为常量,vt表示第t时刻点利用马尔可夫随机过程生成的位置矢量,公式如下:
式中,v0为一个复数,cos(φ)为v0的实部,sin(φ)为v0的虚部,φ∈(0,2π)为随机初始化角度,ps为随机脉冲扰动,旨在模仿用户按下摄像机按钮或试图补偿摄像机抖动时发生的突然移动,pg为高斯扰动,I为惯性分量,pg和I服从N(0,0.7)高斯正态分布,nrand为标准正态分布N(0,1)中的单个随机数,St为0-t时段随机生成的轨迹矢量,Dnext为下一个时刻轨迹矢量随机生成的方向,公式如下:
S1-2.利用退化模型获取清晰图像对应的模糊图像,退化模型的公式如下:
B=W*K+N (4)
其中,B为模糊图像,W为清晰图像,K为模糊核,N为高斯噪声。
S2、利用对抗方式训练去模糊模型DeblurGAN;
通过对抗方式训练生成网络和判别网络,生成网络将模糊图像作为输入并产生预测图像,判别网络计算预测图像和清晰图像的特征差异,并输出它们之间的距离,引导生成网络生成更为清晰的图像。
S3、采集一组同一印刷图案的无缺陷产品的图像,制作模版图像集合;
S3-1.通过工业相机获取一组同一印刷图案的无缺陷产品的图像,作为模版图像集合,然后对其进行预处理,预处理内容包含:通道筛选、灰度化、光照补偿;
当待检测印刷图案色彩较为单一时,利用通道筛选可提高检测准确率,通道筛选是指根据印刷图案的颜色人为选择合适的图像通道进行后续操作;当待检测印刷图案色彩较为丰富时,利用灰度化降低计算复杂性;当待检测印刷图像光照不均匀时,利用光照补偿减少光源或光路不均匀的影响,光照补偿的公式如下:
其中,Fi(x,y)为图像Fi在(x,y)处的像素灰度值,Fi′(x,y)为图像Fi进行光照补偿后在(x,y)处的像素灰度值,u为目标灰度均值;
S3-2.使用清晰度评价函数计算出模板图像集合中每张图像的模糊分数,模糊分数越低则表明图像的清晰度越高,利用DeblurGAN模型对模糊分数超过阈值的模板图像进行去模糊处理,并更新模糊分数;清晰度评价函数Tenengrad的计算公式如下:
其中,di为图像Fi的清晰度,t为控制检测计算灵敏度的阈值,G(x,y)为图像Fi在(x,y)处的梯度值,定义如下:
Gx(x,y)与Gy(x,y)为图像Fi在(x,y)处的水平和垂直方向的梯度值,其计算公式如下:
S4、选择模版图像,选定感兴趣区域,生成上限图像和下限图像;
S4-1.从模板图像集合中选择模糊分数最低一张图像作为模板图像;由于整张图像分析会带来较大的计算冗余,通过感兴趣区域的选定可极大的提高缺陷检测效率,根据实际检测任务选定模版图像的感兴趣区域,生成目标图像;
S4-2.印刷图案的成像结果易受光照影响,成像位置不同所获得的光照情况则不同,从而导致相同区域的灰度值产生一定范围的波动,如果直接利用目标图像做缺陷检测会导致较高的误检率;因此,利用边缘图像和目标图像生成的上限图像和下限图像是降低缺陷误检率的关键,边缘图像为目标图像提供正常的灰度值波动范围,可有效提高缺陷检测的鲁棒性;
首先利用sobel算子对目标图像进行边缘检测,生成边缘轮廓,再通过膨胀操作填充边缘轮廓,生成边缘图像,边缘检测的计算公式如下:
其中,E(x,y)为模板图像在(x,y)处的边缘梯度值;
上限图像和下限图像的计算公式如下:
Tmax(x,y)=Fm(x,y)+max{a,bE(x,y)} (11)
Tmin(x,y)=Fm(x,y)-max{a,bE(x,y)} (12)
其中,Fm(x,y)为目标图像Fm在(x,y)处的灰度值,Tmax(x,y)为上限图像Tmax在(x,y)处的灰度值,Tmin(x,y)为下限图像Tmin在(x,y)处的灰度值,a,b为常量。
阶段二主要是通过以下技术方案实现的:
S5、采集待检测图像,预处理后进行图像配准;
利用工业相机获取待检测图像,通过S3-1中所述内容对待检测图像进行预处理,然后计算模糊分数,利用DeblurGAN模型对模糊分数超过阈值的待检测图像进行去模糊处理,然后利用模板匹配对待检测图像与目标图像做图像配准;
模板匹配方法为基于形状的模板匹配,利用待检测图像相对于目标图像的位置偏移和旋转角度等信息,通过仿射变换将待检测图像最优映射到目标图像位置,进而获得配准图像。
S6、利用上限图像和下限图像进行缺陷检测;
上、下限图像中像素点的灰度值是目标图像中像素点灰度值的上、下限,当配准图像中像素点灰度值未在上、下限的范围内时,该像素点则被视为异常像素点,判别像素点是否异常的计算公式如下:
其中,Oj为缺陷检测生成的异常图像,当Oj(x,y)为0时,待检测图像Fj在(x,y)处的像素点正常,当Oj(x,y)为1时,待检测图像Fj在(x,y)处的像素点异常;
将异常图像中相邻的异常像素点连通形成异常区域,计算异常区域的面积,由实际检测要求设定阈值,根据阈值筛选出缺陷区域。
发明效果
本发明提出了一种模糊成像环境下印刷缺陷检测方法,利用机器学习方法进行图像预处理和光照补偿,再利用已训练好的深度学习网络对超过模糊阈值的图像进行去模糊处理,在确保图像最大真实性的情况下恢复图像,有效去除影响缺陷检测结果的模糊区域,进而提高缺陷检测的正确率。同时,由于物体在相机视野的不同位置会导致采集到的图像会产生畸变,这会使印刷图案边缘被误检成缺陷。为了解决相机畸变带来的误检问题,提出利用模板匹配方法来矫正模板图像和待测图像的位置差异。实验表明,该方法可以有效地改善由于相机畸变导致图像边缘部分误检的壁垒,提升了缺陷检测的准确性。
附图说明
图1缺陷检测流程示意图;
图2去模糊的效果图;
图3去模糊后进行缺陷检测的效果图;
具体实施方法
具体实施方式一:
为使本发明实施例的目的、技术方案和优点更加清楚,下面将对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示本发明提供的一种针对模糊成像环境的印刷缺陷检测方法,包含建立模板和缺陷检测两个阶段。
所述建立模板包含如下步骤:
S1、采集不同印刷图案的清晰图像和模糊图像对,制作训练数据集;
S2、利用对抗方式训练去模糊模型DeblurGAN;
S3、采集一组同一印刷图案的无缺陷产品的图像,制作模版图像集合;
S4、选择模版图像,选定感兴趣区域,生成上限图像和下限图像;
所述缺陷检测包含如下步骤:
S5、采集待检测图像,预处理后进行图像配准;
S6、利用上限图像和下限图像进行缺陷检测。
本发明实施例首先利用机器学习方法进行图像预处理和光照补偿。然后在模型训练阶段利用马尔可夫随机过程增强训练数据集,减少模型对数据量的需求。而后利用已训练好的深度学习网络对超过模糊阈值的图像进行去模糊处理,在确保图像最大真实性的情况下恢复图像。接着利用模板匹配使待测图像的感兴趣区域与模板图像的感兴趣区域进行配准。最后检测待测图像的感兴趣区域中每个像素的灰度值是否合法,筛选出缺陷区域。
下面对本发明实施例进行详细的说明:
建立模板包含步骤:
S1、采集不同印刷图案的清晰图像和模糊图像对,制作训练数据集;
训练数据集由基础数据集和增强数据集构成,通过高帧率相机获取到不同印刷图案的清晰图像与模糊图像100对,作为基础数据集;随机选取50张不同印刷图案的清晰图像进行数据增强,作增强数据集,数据增强的具体方法包括以下步骤:
S1-1.利用马尔可夫随机过程生成随机轨迹矢量,再将亚像素插值应用于轨迹矢量来生成模糊核;
每个轨迹矢量都是一个复数矢量,对应着一个连续域中的二维随机运动物体的离散位置,轨迹生成由马尔可夫过程完成,轨迹中每个点的位置是基于先前点的速度与位置、高斯扰动、脉冲扰动和确定性惯性分量而随机生成的,轨迹矢量的公式如下:
式中,*为卷积操作,M为轨迹矢量长度,Lmax为两个时刻间最大移动长度,本实施例中M=2000,Lmax=60,vt表示第t时刻点利用马尔可夫随机过程生成的位置矢量,公式如下:
式中,v0为一个复数,cos(φ)为v0的实部,sin(φ)为v0的虚部,φ∈(0,2π)为随机初始化角度,ps为随机脉冲扰动,旨在模仿用户按下摄像机按钮或试图补偿摄像机抖动时发生的突然移动,本实施例中ps=0.001,pg为高斯扰动,I为惯性分量,pg和I服从N(0,0.7)高斯正态分布,nrand为标准正态分布N(0,1)中的单个随机数,St为0-t时段随机生成的轨迹矢量,Dnext为下一个时刻轨迹矢量随机生成的方向,公式如下:
S1-2.利用退化模型获取清晰图像对应的模糊图像,退化模型的公式如下:
B=W*K+N (4)
其中,B为模糊图像,W为清晰图像,K为模糊核,N为高斯噪声。
S2、利用对抗方式训练去模糊模型DeblurGAN;
通过对抗方式训练生成网络和判别网络,生成网络将模糊图像作为输入并产生预测图像,判别网络计算预测图像和清晰图像的特征差异,并输出它们之间的距离,引导生成网络生成更为清晰的图像。
S3、采集一组同一印刷图案的无缺陷产品的图像,制作模版图像集合;
S3-1.通过工业相机获取10张同一印刷图案的无缺陷产品的图像,作为模版图像集合,然后对其进行预处理,预处理内容包含:通道筛选、灰度化、光照补偿;
当待检测印刷图案色彩较为单一时,利用通道筛选可提高检测准确率,通道筛选是指根据印刷图案的颜色人为选择合适的图像通道进行后续操作;当待检测印刷图案色彩较为丰富时,利用灰度化降低计算复杂性;当待检测印刷图像光照不均匀时,利用光照补偿减少光源或光路不均匀的影响,光照补偿的公式如下:
其中,Fi(x,y)为图像Fi在(x,y)处的像素灰度值,Fi′(x,y)为图像Fi进行光照补偿后在(x,y)处的像素灰度值,u为目标灰度均值,本实施例中u=125;
S3-2.使用清晰度评价函数计算出模板图像集合中每张图像的模糊分数,模糊分数越低则表明图像的清晰度越高,利用DeblurGAN模型对模糊分数超过阈值的模板图像进行去模糊处理,并更新模糊分数;清晰度评价函数Tenengrad的计算公式如下:
其中,di为图像Fi的清晰度,t为控制检测计算灵敏度的阈值,本实施例中t=0.6,G(x,y)为图像Fi在(x,y)处的梯度值,定义如下:
Gx(x,y)与Gy(x,y)为图像Fi在(x,y)处的水平和垂直方向的梯度值,其计算公式如下:
S4、选择模版图像,选定感兴趣区域,生成上限图像和下限图像;
S4-1.从模板图像集合中选择模糊分数最低一张图像作为模板图像;由于整张图像分析会带来较大的计算冗余,通过感兴趣区域的选定可极大的提高缺陷检测效率,根据实际检测任务选定模版图像的感兴趣区域,生成目标图像;
S4-2.印刷图案的成像结果易受光照影响,成像位置不同所获得的光照情况则不同,从而导致相同区域的灰度值产生一定范围的波动,如果直接利用目标图像做缺陷检测会导致较高的误检率;因此,利用边缘图像和目标图像生成的上限图像和下限图像是降低缺陷误检率的关键,边缘图像为目标图像提供正常的灰度值波动范围,可有效提高缺陷检测的鲁棒性;
首先利用sobel算子对目标图像进行边缘检测,生成边缘轮廓,再通过膨胀操作填充边缘轮廓,生成边缘图像,边缘检测的计算公式如下:
其中,E(x,y)为模板图像在(x,y)处的边缘梯度值;
上限图像和下限图像的计算公式如下:
Tmax(x,y)=Fm(x,y)+max{a,bE(x,y)} (11)
Tmin(x,y)=Fm(x,y)-max{a,bE(x,y)} (12)
其中,Fm(x,y)为目标图像Fm在(x,y)处的灰度值,Tmax(x,y)为上限图像Tmax在(x,y)处的灰度值,Tmin(x,y)为下限图像Tmin在(x,y)处的灰度值,a,b为常量,本实施例中a=30,b=1.5。
缺陷检测包含步骤:
S5、采集待检测图像,预处理后进行图像配准;
利用工业相机获取待检测图像,通过S3-1中所述内容对待检测图像进行预处理,然后计算模糊分数,利用DeblurGAN模型对模糊分数超过阈值的待检测图像进行去模糊处理,然后利用模板匹配对待检测图像与目标图像做图像配准;
模板匹配方法为基于形状的模板匹配,利用待检测图像相对于目标图像的位置偏移和旋转角度等信息,通过仿射变换将待检测图像最优映射到目标图像位置,进而获得配准图像。
S6、利用上限图像和下限图像进行缺陷检测;
上、下限图像中像素点的灰度值是目标图像中像素点灰度值的上、下限,当配准图像中像素点灰度值未在上、下限的范围内时,该像素点则被视为异常像素点,判别像素点是否异常的计算公式如下:
其中,Oj为缺陷检测生成的异常图像,当Oj(x,y)为0时,待检测图像Fj在(x,y)处的像素点正常,当Oj(x,y)为1时,待检测图像Fj在(x,y)处的像素点异常;
将异常图像中相邻的异常像素点连通形成异常区域,计算异常区域的面积,由实际检测要求设定阈值,实施例中异常区域的面积阈值为5个像素点,根据面积阈值筛选出缺陷区域。
最终的实现效果如图3所示,从图中可以看出去模糊后的可以有效提高缺陷检测精度,降低复杂环境和镜头畸变所导致的缺陷误检和漏检现象。
本发明还可有其它多种实施例,在不背离本发明精神及其实质的情况下,本领域技术人员当可根据本发明做出各种相应的改变和变形,但这些相应的改变和变形都应属于本发明范围。
Claims (1)
1.一种针对模糊成像环境的印刷品缺陷检测方法,其特征在于,包含建立模板和缺陷检测:
所述建立模板包含如下步骤:
S1、采集不同印刷图案的清晰图像和模糊图像对,制作训练数据集;
训练数据集由基础数据集和增强数据集构成,通过高帧率相机获取到不同印刷图案的清晰图像与模糊图像对,作为基础数据集;随机选取一组不同印刷图案的清晰图像进行数据增强,作为增强数据集,数据增强的具体方法包括以下步骤:
S1-1.利用马尔可夫随机过程生成随机轨迹矢量,再将亚像素插值应用于轨迹矢量来生成模糊核;
每个轨迹矢量都是一个复数矢量,对应着一个连续域中的二维随机运动物体的离散位置,轨迹生成由马尔可夫过程完成,轨迹中每个点的位置是基于先前点的速度与位置、高斯扰动、脉冲扰动和确定性惯性分量而随机生成的,轨迹矢量的公式如下:
式中,*为卷积操作,M为轨迹矢量长度,Lmax为两个时刻间最大移动长度,M和Lmax为常量,vt表示第t时刻点利用马尔可夫随机过程生成的位置矢量,公式如下:
式中,v0为一个复数,cos(φ)为v0的实部,sin(φ)为v0的虚部,φ∈(0,2π)为随机初始化角度,ps为随机脉冲扰动,旨在模仿用户按下摄像机按钮或试图补偿摄像机抖动时发生的突然移动,pg为高斯扰动,I为惯性分量,pg和I服从N(0,0.7)高斯正态分布,nrand为标准正态分布N(0,1)中的单个随机数,St为0-t时段随机生成的轨迹矢量,Dnext为下一个时刻轨迹矢量随机生成的方向,公式如下:
S1-2.利用退化模型获取清晰图像对应的模糊图像,退化模型的公式如下:
B=W*K+N (4)
其中,B为模糊图像,W为清晰图像,K为模糊核,N为高斯噪声;
S2、利用对抗方式训练去模糊模型DeblurGAN;
通过对抗方式训练生成网络和判别网络,生成网络将模糊图像作为输入并产生预测图像,判别网络计算预测图像和清晰图像的特征差异,并输出它们之间的距离,引导生成网络生成更为清晰的图像;
S3、采集一组同一印刷图案的无缺陷产品的图像,制作模版图像集合;
S3-1.通过工业相机获取一组同一印刷图案的无缺陷产品的图像,作为模版图像集合,然后对其进行预处理,预处理内容包含:通道筛选、灰度化、光照补偿;
当待检测印刷图案色彩较为单一时,利用通道筛选可提高检测准确率,通道筛选是指根据印刷图案的颜色人为选择合适的图像通道进行后续操作;当待检测印刷图案色彩较为丰富时,利用灰度化降低计算复杂性;当待检测印刷图像光照不均匀时,利用光照补偿减少光源或光路不均匀的影响,光照补偿的公式如下:
其中,Fi(x,y)为图像Fi在(x,y)处的像素灰度值,Fi′(x,y)为图像Fi进行光照补偿后在(x,y)处的像素灰度值,u为目标灰度均值;
S3-2.使用清晰度评价函数计算出模板图像集合中每张图像的模糊分数,模糊分数越低则表明图像的清晰度越高,利用DeblurGAN模型对模糊分数超过阈值的模板图像进行去模糊处理,并更新模糊分数;清晰度评价函数Tenengrad的计算公式如下:
其中,di为图像Fi的清晰度,t为控制检测计算灵敏度的阈值,G(x,y)为图像Fi在(x,y)处的梯度值,定义如下:
Gx(x,y)与Gy(x,y)为图像Fi在(x,y)处的水平和垂直方向的梯度值,其计算公式如下:
S4、选择模版图像,选定感兴趣区域,生成上限图像和下限图像;
S4-1.从模板图像集合中选择模糊分数最低一张图像作为模板图像;由于整张图像分析会带来较大的计算冗余,通过感兴趣区域的选定可极大的提高缺陷检测效率,根据实际检测任务选定模版图像的感兴趣区域,生成目标图像;
S4-2.印刷图案的成像结果易受光照影响,成像位置不同所获得的光照情况则不同,从而导致相同区域的灰度值产生一定范围的波动,如果直接利用目标图像做缺陷检测会导致较高的误检率;因此,利用边缘图像和目标图像生成的上限图像和下限图像是降低缺陷误检率的关键,边缘图像为目标图像提供正常的灰度值波动范围,可有效提高缺陷检测的鲁棒性;
首先利用sobel算子对目标图像进行边缘检测,生成边缘轮廓,再通过膨胀操作填充边缘轮廓,生成边缘图像,边缘检测的计算公式如下:
其中,E(x,y)为模板图像在(x,y)处的边缘梯度值;
上限图像和下限图像的计算公式如下:
Tmax(x,y)=Fm(x,y)+max{a,bE(x,y)} (11)
Tmin(x,y)=Fm(x,y)-max{a,bE(x,y)} (12)
其中,Fm(x,y)为目标图像Fm在(x,y)处的灰度值,Tmax(x,y)为上限图像Tmax在(x,y)处的灰度值,Tmin(x,y)为下限图像Tmin在(x,y)处的灰度值,a,b为常量;
所述缺陷检测包含如下步骤:
S5、采集待检测图像,预处理后进行图像配准;
利用工业相机获取待检测图像,通过S3-1中所述预处理内容对待检测图像进行预处理,然后计算模糊分数,利用DeblurGAN模型对模糊分数超过阈值的待检测图像进行去模糊处理,然后利用模板匹配对待检测图像与目标图像做图像配准;
模板匹配方法为基于形状的模板匹配,利用待检测图像相对于目标图像的位置偏移和旋转角度等信息,通过仿射变换将待检测图像最优映射到目标图像位置,进而获得配准图像;
S6、利用上限图像和下限图像进行缺陷检测;
上、下限图像中像素点的灰度值是目标图像中像素点灰度值的上、下限,当配准图像中像素点灰度值未在上、下限的范围内时,该像素点则被视为异常像素点,判别像素点是否异常的计算公式如下:
其中,Oj为缺陷检测生成的异常图像,当Oj(x,y)为0时,待检测图像Fj在(x,y)处的像素点正常,当Oj(x,y)为1时,待检测图像Fj在(x,y)处的像素点异常;
将异常图像中相邻的异常像素点连通形成异常区域,计算异常区域的面积,由实际检测要求设定阈值,根据阈值筛选出缺陷区域。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110624234.3A CN113409254B (zh) | 2021-06-04 | 2021-06-04 | 一种针对模糊成像环境的印刷品缺陷检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110624234.3A CN113409254B (zh) | 2021-06-04 | 2021-06-04 | 一种针对模糊成像环境的印刷品缺陷检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113409254A CN113409254A (zh) | 2021-09-17 |
CN113409254B true CN113409254B (zh) | 2022-06-07 |
Family
ID=77676286
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110624234.3A Active CN113409254B (zh) | 2021-06-04 | 2021-06-04 | 一种针对模糊成像环境的印刷品缺陷检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113409254B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114771120B (zh) * | 2022-06-18 | 2022-09-02 | 南通人民彩印有限公司 | 微接触印刷过程压力控制方法、装置及人工智能系统 |
CN115619715A (zh) * | 2022-09-16 | 2023-01-17 | 苏州斯普兰蒂科技股份有限公司 | 一种基于人工智能的丝网印刷制品的检测方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010057081A1 (en) * | 2008-11-14 | 2010-05-20 | The Scripps Research Institute | Image analysis platform for identifying artifacts in samples and laboratory consumables |
CN110782399A (zh) * | 2019-08-22 | 2020-02-11 | 天津大学 | 一种基于多任务cnn的图像去模糊方法 |
CN111340754A (zh) * | 2020-01-18 | 2020-06-26 | 中国人民解放军国防科技大学 | 一种基于飞机蒙皮表面缺陷检测和分类的方法 |
CN111709909A (zh) * | 2020-05-12 | 2020-09-25 | 安徽艾睿思智能科技有限公司 | 基于深度学习的通用印刷缺陷检测方法及其模型 |
CN111986190A (zh) * | 2020-08-28 | 2020-11-24 | 哈尔滨工业大学(深圳) | 一种基于伪影剔除的印刷品缺陷检测方法及装置 |
CN112381794A (zh) * | 2020-11-16 | 2021-02-19 | 哈尔滨理工大学 | 一种基于深度卷积生成网络的印刷缺陷检测方法 |
-
2021
- 2021-06-04 CN CN202110624234.3A patent/CN113409254B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010057081A1 (en) * | 2008-11-14 | 2010-05-20 | The Scripps Research Institute | Image analysis platform for identifying artifacts in samples and laboratory consumables |
CN110782399A (zh) * | 2019-08-22 | 2020-02-11 | 天津大学 | 一种基于多任务cnn的图像去模糊方法 |
CN111340754A (zh) * | 2020-01-18 | 2020-06-26 | 中国人民解放军国防科技大学 | 一种基于飞机蒙皮表面缺陷检测和分类的方法 |
CN111709909A (zh) * | 2020-05-12 | 2020-09-25 | 安徽艾睿思智能科技有限公司 | 基于深度学习的通用印刷缺陷检测方法及其模型 |
CN111986190A (zh) * | 2020-08-28 | 2020-11-24 | 哈尔滨工业大学(深圳) | 一种基于伪影剔除的印刷品缺陷检测方法及装置 |
CN112381794A (zh) * | 2020-11-16 | 2021-02-19 | 哈尔滨理工大学 | 一种基于深度卷积生成网络的印刷缺陷检测方法 |
Non-Patent Citations (2)
Title |
---|
Efficient blind image deblurring method for palm print images;M. Saad Shakeel等;《IEEE International Conference on Identity, Security and Behavior Analysis (ISBA 2015)》;20150727;第1-7页 * |
基于颜色直方图特征的印刷品颜色缺陷检测;唐海艳;《cnki优秀硕士学位论文全文库 工程科技Ⅰ辑》;20210415;第B024-302页 * |
Also Published As
Publication number | Publication date |
---|---|
CN113409254A (zh) | 2021-09-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113409254B (zh) | 一种针对模糊成像环境的印刷品缺陷检测方法 | |
EP3309703B1 (en) | Method and system for decoding qr code based on weighted average grey method | |
CN109816673B (zh) | 一种非极大值抑制、动态阈值计算及图像边缘检测方法 | |
CN110059642B (zh) | 人脸图像筛选方法与装置 | |
CN106548111B (zh) | 一种二维码外观缺陷检测方法及装置 | |
CN109166137A (zh) | 针对抖动视频序列中运动目标检测算法 | |
CN106952280B (zh) | 一种基于计算机视觉的喷枪喷漆量均匀度检测方法 | |
CN113449606B (zh) | 一种目标对象识别方法、装置、计算机设备及存储介质 | |
CN116468640B (zh) | 一种用于互联网教学的视频图像增强方法 | |
CN110189375A (zh) | 一种基于单目视觉测量的图像目标识别方法 | |
CN115078365A (zh) | 一种软包装印刷质量缺陷检测方法 | |
CN116704516A (zh) | 一种用于水溶肥料包装的视觉检测方法 | |
CN107818583A (zh) | 十字中心检测方法及装置 | |
CN108111760A (zh) | 一种电子稳像方法及系统 | |
CN103473753A (zh) | 一种基于多尺度小波阈值去噪的目标检测方法 | |
CN115184362B (zh) | 一种基于结构光投影的快速缺陷检测方法 | |
CN109448012A (zh) | 一种图像边缘检测方法及装置 | |
CN115424107A (zh) | 基于图像融合与深度学习的水下桥墩表观病害检测方法 | |
CN111583341B (zh) | 云台像机移位检测方法 | |
CN114663562A (zh) | 基于人工智能和模式识别的中间画图像优化方法及系统 | |
TWI450572B (zh) | 影像邊界掃描的電腦系統及方法 | |
Singh et al. | Surface Area Calculation of Asymmetric/Axisymmetric Shapes Utilising Simple Image Processing and OpenCV | |
Xibin et al. | Mobile phone label online detection system based on machine vision | |
CN108961248A (zh) | 一种应用于包含复杂信息的机箱表面划痕检测方法 | |
Zhongtang et al. | High Precision Autocollimation Measurement Technology Based on Image Recognition |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |