CN113409254B - 一种针对模糊成像环境的印刷品缺陷检测方法 - Google Patents

一种针对模糊成像环境的印刷品缺陷检测方法 Download PDF

Info

Publication number
CN113409254B
CN113409254B CN202110624234.3A CN202110624234A CN113409254B CN 113409254 B CN113409254 B CN 113409254B CN 202110624234 A CN202110624234 A CN 202110624234A CN 113409254 B CN113409254 B CN 113409254B
Authority
CN
China
Prior art keywords
image
fuzzy
defect detection
detection
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110624234.3A
Other languages
English (en)
Other versions
CN113409254A (zh
Inventor
何勇军
梁義钦
侯建新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin University of Science and Technology
Original Assignee
Harbin University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin University of Science and Technology filed Critical Harbin University of Science and Technology
Priority to CN202110624234.3A priority Critical patent/CN113409254B/zh
Publication of CN113409254A publication Critical patent/CN113409254A/zh
Application granted granted Critical
Publication of CN113409254B publication Critical patent/CN113409254B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/0008Industrial image inspection checking presence/absence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30144Printing quality
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

一种针对模糊成像环境的印刷品缺陷检测方法,本发明涉及印刷品缺陷检测技术。为了解决缺陷检测任务中复杂环境和镜头畸变所导致的误检和漏检问题。基于机器视觉的表面缺陷检测技术被广泛应用,然而高精度的印刷产品表面缺陷检测依赖于高质量的图像。在目标快速移动、相机摇晃、失焦等影响下,相机捕捉的图像会有一定程度的模糊和失真,从根本上阻碍了印刷品缺陷检测精度的提升。本发明提出一种针对模糊成像环境的印刷品缺陷检测方法。实验表明,该方法可以有效地提升图像的清晰度和缺陷检测的鲁棒性,减少复杂环境和镜头畸变所导致的误检和漏检情况。本发明主要应用于模糊成像环境的印刷品缺陷检测。

Description

一种针对模糊成像环境的印刷品缺陷检测方法
技术领域
本发明涉及印刷品缺陷检测。
背景技术
近年来,包装印刷工艺在不断地进步和发展,人们对印刷品品质的要求从最初的简洁大方到如今的美观高档。通过质检员对产品外包装进行缺陷检测的传统方法存在很多弊端:受个人的主观意识影响大,生产效率低下,人力成本高,漏检率高。为了提高检测质量,检测人员使用色差仪、密度计、偏光应力仪等仪器对产品外包装进行缺陷检测。但印刷品缺陷种类繁多、情况复杂,颜色失真、错位漏印、针孔黑点、文字模糊等都是印刷过程中经常出现的缺陷。借助手持仪器的方法无法满足实际生产中大批量、高速度、智能化等需求。机器视觉技术可以克服传统印刷品缺陷检测方法所存在的弊端,当检测装置投入生产线运行后,能够长期执行标准化、自动化的流水线工作,从而极大地减少人力资源,降低企业的生产成本。
复杂工业环境下的图像清晰化处理是计算机视觉中的一个重要任务。高精度的印刷产品表面缺陷检测依赖于高质量的图像,在目标快速移动、相机摇晃、失焦等影响下,相机捕捉的图片会有一定程度的失真,从根本上阻碍了印刷品缺陷检测的精度提升,严重影响计算机视觉应用。传统的图像清晰化技术采用高斯混合模型、低秩估计、字典学习等技术。虽然能够取得一定效果,但是由于目标快速移动、相机摇晃、失焦等影响因素在图像中表现为多方向、多密度、多类别,简单地使用传统方法难以建模图像中的复杂影响因素。因此,传统技术在复杂的工业环境中降低了其原有的性能。
随着深度学习的广泛应用,卷积神经网络已应用于图像去模糊。传统的方案需要先估计模糊核再来做模糊图像复原工作,且估计过程对噪声敏感,易产生振铃现象。而后产生了大量基于深度学习的端到端模型去重建模糊图像,解决了未知运动类型去模糊问题,且在不同任务中存在一定的泛化能力。本发明提出一种针对模糊成像环境的印刷品缺陷检测方法,以有效提高复杂工业环境中印刷品缺陷检测的准确性。同时利用马尔可夫随机过程增强训练数据集,减少模型对数据量的需求。将深度学习与传统机器学习方法相结合的模式应用于实际工业应用中,提高了印刷品缺陷检测的鲁棒性。
发明内容
本发明的目的是为了解决缺陷检测任务中复杂环境和镜头畸变所导致的误检和漏检问题,从而提出一种针对模糊成像环境的印刷品缺陷检测方法。
上述发明主要流程分成两个阶段:一阶段是建立模板;二阶段是缺陷检测。
一阶段主要是通过以下技术方案实现的:
S1、采集不同印刷图案的清晰图像和模糊图像对,制作训练数据集;
训练数据集由基础数据集和增强数据集构成,通过高帧率相机获取到不同印刷图案的清晰图像与模糊图像对,作为基础数据集;随机选取一组不同印刷图案的清晰图像进行数据增强,作为增强数据集,数据增强的具体方法包括以下步骤:
S1-1.利用马尔可夫随机过程生成随机轨迹矢量,再将亚像素插值应用于轨迹矢量来生成模糊核;
每个轨迹矢量都是一个复数矢量,对应着一个连续域中的二维随机运动物体的离散位置,轨迹生成由马尔可夫过程完成,轨迹中每个点的位置是基于先前点的速度与位置、高斯扰动、脉冲扰动和确定性惯性分量而随机生成的,轨迹矢量的公式如下:
Figure BDA0003100413320000021
式中,*为卷积操作,M为轨迹矢量长度,Lmax为两个时刻间最大移动长度,M和Lmax为常量,vt表示第t时刻点利用马尔可夫随机过程生成的位置矢量,公式如下:
Figure BDA0003100413320000022
式中,v0为一个复数,cos(φ)为v0的实部,sin(φ)为v0的虚部,φ∈(0,2π)为随机初始化角度,ps为随机脉冲扰动,旨在模仿用户按下摄像机按钮或试图补偿摄像机抖动时发生的突然移动,pg为高斯扰动,I为惯性分量,pg和I服从N(0,0.7)高斯正态分布,nrand为标准正态分布N(0,1)中的单个随机数,St为0-t时段随机生成的轨迹矢量,Dnext为下一个时刻轨迹矢量随机生成的方向,公式如下:
Figure BDA0003100413320000031
S1-2.利用退化模型获取清晰图像对应的模糊图像,退化模型的公式如下:
B=W*K+N (4)
其中,B为模糊图像,W为清晰图像,K为模糊核,N为高斯噪声。
S2、利用对抗方式训练去模糊模型DeblurGAN;
通过对抗方式训练生成网络和判别网络,生成网络将模糊图像作为输入并产生预测图像,判别网络计算预测图像和清晰图像的特征差异,并输出它们之间的距离,引导生成网络生成更为清晰的图像。
S3、采集一组同一印刷图案的无缺陷产品的图像,制作模版图像集合;
S3-1.通过工业相机获取一组同一印刷图案的无缺陷产品的图像,作为模版图像集合,然后对其进行预处理,预处理内容包含:通道筛选、灰度化、光照补偿;
当待检测印刷图案色彩较为单一时,利用通道筛选可提高检测准确率,通道筛选是指根据印刷图案的颜色人为选择合适的图像通道进行后续操作;当待检测印刷图案色彩较为丰富时,利用灰度化降低计算复杂性;当待检测印刷图像光照不均匀时,利用光照补偿减少光源或光路不均匀的影响,光照补偿的公式如下:
Figure BDA0003100413320000032
其中,Fi(x,y)为图像Fi在(x,y)处的像素灰度值,Fi′(x,y)为图像Fi进行光照补偿后在(x,y)处的像素灰度值,u为目标灰度均值;
S3-2.使用清晰度评价函数计算出模板图像集合中每张图像的模糊分数,模糊分数越低则表明图像的清晰度越高,利用DeblurGAN模型对模糊分数超过阈值的模板图像进行去模糊处理,并更新模糊分数;清晰度评价函数Tenengrad的计算公式如下:
Figure BDA0003100413320000033
其中,di为图像Fi的清晰度,t为控制检测计算灵敏度的阈值,G(x,y)为图像Fi在(x,y)处的梯度值,定义如下:
Figure BDA0003100413320000041
Gx(x,y)与Gy(x,y)为图像Fi在(x,y)处的水平和垂直方向的梯度值,其计算公式如下:
Figure BDA0003100413320000042
Figure BDA0003100413320000043
S4、选择模版图像,选定感兴趣区域,生成上限图像和下限图像;
S4-1.从模板图像集合中选择模糊分数最低一张图像作为模板图像;由于整张图像分析会带来较大的计算冗余,通过感兴趣区域的选定可极大的提高缺陷检测效率,根据实际检测任务选定模版图像的感兴趣区域,生成目标图像;
S4-2.印刷图案的成像结果易受光照影响,成像位置不同所获得的光照情况则不同,从而导致相同区域的灰度值产生一定范围的波动,如果直接利用目标图像做缺陷检测会导致较高的误检率;因此,利用边缘图像和目标图像生成的上限图像和下限图像是降低缺陷误检率的关键,边缘图像为目标图像提供正常的灰度值波动范围,可有效提高缺陷检测的鲁棒性;
首先利用sobel算子对目标图像进行边缘检测,生成边缘轮廓,再通过膨胀操作填充边缘轮廓,生成边缘图像,边缘检测的计算公式如下:
Figure BDA0003100413320000044
其中,E(x,y)为模板图像在(x,y)处的边缘梯度值;
上限图像和下限图像的计算公式如下:
Tmax(x,y)=Fm(x,y)+max{a,bE(x,y)} (11)
Tmin(x,y)=Fm(x,y)-max{a,bE(x,y)} (12)
其中,Fm(x,y)为目标图像Fm在(x,y)处的灰度值,Tmax(x,y)为上限图像Tmax在(x,y)处的灰度值,Tmin(x,y)为下限图像Tmin在(x,y)处的灰度值,a,b为常量。
阶段二主要是通过以下技术方案实现的:
S5、采集待检测图像,预处理后进行图像配准;
利用工业相机获取待检测图像,通过S3-1中所述内容对待检测图像进行预处理,然后计算模糊分数,利用DeblurGAN模型对模糊分数超过阈值的待检测图像进行去模糊处理,然后利用模板匹配对待检测图像与目标图像做图像配准;
模板匹配方法为基于形状的模板匹配,利用待检测图像相对于目标图像的位置偏移和旋转角度等信息,通过仿射变换将待检测图像最优映射到目标图像位置,进而获得配准图像。
S6、利用上限图像和下限图像进行缺陷检测;
上、下限图像中像素点的灰度值是目标图像中像素点灰度值的上、下限,当配准图像中像素点灰度值未在上、下限的范围内时,该像素点则被视为异常像素点,判别像素点是否异常的计算公式如下:
Figure BDA0003100413320000051
其中,Oj为缺陷检测生成的异常图像,当Oj(x,y)为0时,待检测图像Fj在(x,y)处的像素点正常,当Oj(x,y)为1时,待检测图像Fj在(x,y)处的像素点异常;
将异常图像中相邻的异常像素点连通形成异常区域,计算异常区域的面积,由实际检测要求设定阈值,根据阈值筛选出缺陷区域。
发明效果
本发明提出了一种模糊成像环境下印刷缺陷检测方法,利用机器学习方法进行图像预处理和光照补偿,再利用已训练好的深度学习网络对超过模糊阈值的图像进行去模糊处理,在确保图像最大真实性的情况下恢复图像,有效去除影响缺陷检测结果的模糊区域,进而提高缺陷检测的正确率。同时,由于物体在相机视野的不同位置会导致采集到的图像会产生畸变,这会使印刷图案边缘被误检成缺陷。为了解决相机畸变带来的误检问题,提出利用模板匹配方法来矫正模板图像和待测图像的位置差异。实验表明,该方法可以有效地改善由于相机畸变导致图像边缘部分误检的壁垒,提升了缺陷检测的准确性。
附图说明
图1缺陷检测流程示意图;
图2去模糊的效果图;
图3去模糊后进行缺陷检测的效果图;
具体实施方法
具体实施方式一:
为使本发明实施例的目的、技术方案和优点更加清楚,下面将对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示本发明提供的一种针对模糊成像环境的印刷缺陷检测方法,包含建立模板和缺陷检测两个阶段。
所述建立模板包含如下步骤:
S1、采集不同印刷图案的清晰图像和模糊图像对,制作训练数据集;
S2、利用对抗方式训练去模糊模型DeblurGAN;
S3、采集一组同一印刷图案的无缺陷产品的图像,制作模版图像集合;
S4、选择模版图像,选定感兴趣区域,生成上限图像和下限图像;
所述缺陷检测包含如下步骤:
S5、采集待检测图像,预处理后进行图像配准;
S6、利用上限图像和下限图像进行缺陷检测。
本发明实施例首先利用机器学习方法进行图像预处理和光照补偿。然后在模型训练阶段利用马尔可夫随机过程增强训练数据集,减少模型对数据量的需求。而后利用已训练好的深度学习网络对超过模糊阈值的图像进行去模糊处理,在确保图像最大真实性的情况下恢复图像。接着利用模板匹配使待测图像的感兴趣区域与模板图像的感兴趣区域进行配准。最后检测待测图像的感兴趣区域中每个像素的灰度值是否合法,筛选出缺陷区域。
下面对本发明实施例进行详细的说明:
建立模板包含步骤:
S1、采集不同印刷图案的清晰图像和模糊图像对,制作训练数据集;
训练数据集由基础数据集和增强数据集构成,通过高帧率相机获取到不同印刷图案的清晰图像与模糊图像100对,作为基础数据集;随机选取50张不同印刷图案的清晰图像进行数据增强,作增强数据集,数据增强的具体方法包括以下步骤:
S1-1.利用马尔可夫随机过程生成随机轨迹矢量,再将亚像素插值应用于轨迹矢量来生成模糊核;
每个轨迹矢量都是一个复数矢量,对应着一个连续域中的二维随机运动物体的离散位置,轨迹生成由马尔可夫过程完成,轨迹中每个点的位置是基于先前点的速度与位置、高斯扰动、脉冲扰动和确定性惯性分量而随机生成的,轨迹矢量的公式如下:
Figure BDA0003100413320000071
式中,*为卷积操作,M为轨迹矢量长度,Lmax为两个时刻间最大移动长度,本实施例中M=2000,Lmax=60,vt表示第t时刻点利用马尔可夫随机过程生成的位置矢量,公式如下:
Figure BDA0003100413320000072
式中,v0为一个复数,cos(φ)为v0的实部,sin(φ)为v0的虚部,φ∈(0,2π)为随机初始化角度,ps为随机脉冲扰动,旨在模仿用户按下摄像机按钮或试图补偿摄像机抖动时发生的突然移动,本实施例中ps=0.001,pg为高斯扰动,I为惯性分量,pg和I服从N(0,0.7)高斯正态分布,nrand为标准正态分布N(0,1)中的单个随机数,St为0-t时段随机生成的轨迹矢量,Dnext为下一个时刻轨迹矢量随机生成的方向,公式如下:
Figure BDA0003100413320000073
S1-2.利用退化模型获取清晰图像对应的模糊图像,退化模型的公式如下:
B=W*K+N (4)
其中,B为模糊图像,W为清晰图像,K为模糊核,N为高斯噪声。
S2、利用对抗方式训练去模糊模型DeblurGAN;
通过对抗方式训练生成网络和判别网络,生成网络将模糊图像作为输入并产生预测图像,判别网络计算预测图像和清晰图像的特征差异,并输出它们之间的距离,引导生成网络生成更为清晰的图像。
S3、采集一组同一印刷图案的无缺陷产品的图像,制作模版图像集合;
S3-1.通过工业相机获取10张同一印刷图案的无缺陷产品的图像,作为模版图像集合,然后对其进行预处理,预处理内容包含:通道筛选、灰度化、光照补偿;
当待检测印刷图案色彩较为单一时,利用通道筛选可提高检测准确率,通道筛选是指根据印刷图案的颜色人为选择合适的图像通道进行后续操作;当待检测印刷图案色彩较为丰富时,利用灰度化降低计算复杂性;当待检测印刷图像光照不均匀时,利用光照补偿减少光源或光路不均匀的影响,光照补偿的公式如下:
Figure BDA0003100413320000081
其中,Fi(x,y)为图像Fi在(x,y)处的像素灰度值,Fi′(x,y)为图像Fi进行光照补偿后在(x,y)处的像素灰度值,u为目标灰度均值,本实施例中u=125;
S3-2.使用清晰度评价函数计算出模板图像集合中每张图像的模糊分数,模糊分数越低则表明图像的清晰度越高,利用DeblurGAN模型对模糊分数超过阈值的模板图像进行去模糊处理,并更新模糊分数;清晰度评价函数Tenengrad的计算公式如下:
Figure BDA0003100413320000082
其中,di为图像Fi的清晰度,t为控制检测计算灵敏度的阈值,本实施例中t=0.6,G(x,y)为图像Fi在(x,y)处的梯度值,定义如下:
Figure BDA0003100413320000083
Gx(x,y)与Gy(x,y)为图像Fi在(x,y)处的水平和垂直方向的梯度值,其计算公式如下:
Figure BDA0003100413320000091
Figure BDA0003100413320000092
S4、选择模版图像,选定感兴趣区域,生成上限图像和下限图像;
S4-1.从模板图像集合中选择模糊分数最低一张图像作为模板图像;由于整张图像分析会带来较大的计算冗余,通过感兴趣区域的选定可极大的提高缺陷检测效率,根据实际检测任务选定模版图像的感兴趣区域,生成目标图像;
S4-2.印刷图案的成像结果易受光照影响,成像位置不同所获得的光照情况则不同,从而导致相同区域的灰度值产生一定范围的波动,如果直接利用目标图像做缺陷检测会导致较高的误检率;因此,利用边缘图像和目标图像生成的上限图像和下限图像是降低缺陷误检率的关键,边缘图像为目标图像提供正常的灰度值波动范围,可有效提高缺陷检测的鲁棒性;
首先利用sobel算子对目标图像进行边缘检测,生成边缘轮廓,再通过膨胀操作填充边缘轮廓,生成边缘图像,边缘检测的计算公式如下:
Figure BDA0003100413320000093
其中,E(x,y)为模板图像在(x,y)处的边缘梯度值;
上限图像和下限图像的计算公式如下:
Tmax(x,y)=Fm(x,y)+max{a,bE(x,y)} (11)
Tmin(x,y)=Fm(x,y)-max{a,bE(x,y)} (12)
其中,Fm(x,y)为目标图像Fm在(x,y)处的灰度值,Tmax(x,y)为上限图像Tmax在(x,y)处的灰度值,Tmin(x,y)为下限图像Tmin在(x,y)处的灰度值,a,b为常量,本实施例中a=30,b=1.5。
缺陷检测包含步骤:
S5、采集待检测图像,预处理后进行图像配准;
利用工业相机获取待检测图像,通过S3-1中所述内容对待检测图像进行预处理,然后计算模糊分数,利用DeblurGAN模型对模糊分数超过阈值的待检测图像进行去模糊处理,然后利用模板匹配对待检测图像与目标图像做图像配准;
模板匹配方法为基于形状的模板匹配,利用待检测图像相对于目标图像的位置偏移和旋转角度等信息,通过仿射变换将待检测图像最优映射到目标图像位置,进而获得配准图像。
S6、利用上限图像和下限图像进行缺陷检测;
上、下限图像中像素点的灰度值是目标图像中像素点灰度值的上、下限,当配准图像中像素点灰度值未在上、下限的范围内时,该像素点则被视为异常像素点,判别像素点是否异常的计算公式如下:
Figure BDA0003100413320000101
其中,Oj为缺陷检测生成的异常图像,当Oj(x,y)为0时,待检测图像Fj在(x,y)处的像素点正常,当Oj(x,y)为1时,待检测图像Fj在(x,y)处的像素点异常;
将异常图像中相邻的异常像素点连通形成异常区域,计算异常区域的面积,由实际检测要求设定阈值,实施例中异常区域的面积阈值为5个像素点,根据面积阈值筛选出缺陷区域。
最终的实现效果如图3所示,从图中可以看出去模糊后的可以有效提高缺陷检测精度,降低复杂环境和镜头畸变所导致的缺陷误检和漏检现象。
本发明还可有其它多种实施例,在不背离本发明精神及其实质的情况下,本领域技术人员当可根据本发明做出各种相应的改变和变形,但这些相应的改变和变形都应属于本发明范围。

Claims (1)

1.一种针对模糊成像环境的印刷品缺陷检测方法,其特征在于,包含建立模板和缺陷检测:
所述建立模板包含如下步骤:
S1、采集不同印刷图案的清晰图像和模糊图像对,制作训练数据集;
训练数据集由基础数据集和增强数据集构成,通过高帧率相机获取到不同印刷图案的清晰图像与模糊图像对,作为基础数据集;随机选取一组不同印刷图案的清晰图像进行数据增强,作为增强数据集,数据增强的具体方法包括以下步骤:
S1-1.利用马尔可夫随机过程生成随机轨迹矢量,再将亚像素插值应用于轨迹矢量来生成模糊核;
每个轨迹矢量都是一个复数矢量,对应着一个连续域中的二维随机运动物体的离散位置,轨迹生成由马尔可夫过程完成,轨迹中每个点的位置是基于先前点的速度与位置、高斯扰动、脉冲扰动和确定性惯性分量而随机生成的,轨迹矢量的公式如下:
Figure FDA0003615716340000011
式中,*为卷积操作,M为轨迹矢量长度,Lmax为两个时刻间最大移动长度,M和Lmax为常量,vt表示第t时刻点利用马尔可夫随机过程生成的位置矢量,公式如下:
Figure FDA0003615716340000012
式中,v0为一个复数,cos(φ)为v0的实部,sin(φ)为v0的虚部,φ∈(0,2π)为随机初始化角度,ps为随机脉冲扰动,旨在模仿用户按下摄像机按钮或试图补偿摄像机抖动时发生的突然移动,pg为高斯扰动,I为惯性分量,pg和I服从N(0,0.7)高斯正态分布,nrand为标准正态分布N(0,1)中的单个随机数,St为0-t时段随机生成的轨迹矢量,Dnext为下一个时刻轨迹矢量随机生成的方向,公式如下:
Figure FDA0003615716340000013
S1-2.利用退化模型获取清晰图像对应的模糊图像,退化模型的公式如下:
B=W*K+N (4)
其中,B为模糊图像,W为清晰图像,K为模糊核,N为高斯噪声;
S2、利用对抗方式训练去模糊模型DeblurGAN;
通过对抗方式训练生成网络和判别网络,生成网络将模糊图像作为输入并产生预测图像,判别网络计算预测图像和清晰图像的特征差异,并输出它们之间的距离,引导生成网络生成更为清晰的图像;
S3、采集一组同一印刷图案的无缺陷产品的图像,制作模版图像集合;
S3-1.通过工业相机获取一组同一印刷图案的无缺陷产品的图像,作为模版图像集合,然后对其进行预处理,预处理内容包含:通道筛选、灰度化、光照补偿;
当待检测印刷图案色彩较为单一时,利用通道筛选可提高检测准确率,通道筛选是指根据印刷图案的颜色人为选择合适的图像通道进行后续操作;当待检测印刷图案色彩较为丰富时,利用灰度化降低计算复杂性;当待检测印刷图像光照不均匀时,利用光照补偿减少光源或光路不均匀的影响,光照补偿的公式如下:
Figure FDA0003615716340000021
其中,Fi(x,y)为图像Fi在(x,y)处的像素灰度值,Fi′(x,y)为图像Fi进行光照补偿后在(x,y)处的像素灰度值,u为目标灰度均值;
S3-2.使用清晰度评价函数计算出模板图像集合中每张图像的模糊分数,模糊分数越低则表明图像的清晰度越高,利用DeblurGAN模型对模糊分数超过阈值的模板图像进行去模糊处理,并更新模糊分数;清晰度评价函数Tenengrad的计算公式如下:
Figure FDA0003615716340000022
其中,di为图像Fi的清晰度,t为控制检测计算灵敏度的阈值,G(x,y)为图像Fi在(x,y)处的梯度值,定义如下:
Figure FDA0003615716340000023
Gx(x,y)与Gy(x,y)为图像Fi在(x,y)处的水平和垂直方向的梯度值,其计算公式如下:
Figure FDA0003615716340000031
Figure FDA0003615716340000032
S4、选择模版图像,选定感兴趣区域,生成上限图像和下限图像;
S4-1.从模板图像集合中选择模糊分数最低一张图像作为模板图像;由于整张图像分析会带来较大的计算冗余,通过感兴趣区域的选定可极大的提高缺陷检测效率,根据实际检测任务选定模版图像的感兴趣区域,生成目标图像;
S4-2.印刷图案的成像结果易受光照影响,成像位置不同所获得的光照情况则不同,从而导致相同区域的灰度值产生一定范围的波动,如果直接利用目标图像做缺陷检测会导致较高的误检率;因此,利用边缘图像和目标图像生成的上限图像和下限图像是降低缺陷误检率的关键,边缘图像为目标图像提供正常的灰度值波动范围,可有效提高缺陷检测的鲁棒性;
首先利用sobel算子对目标图像进行边缘检测,生成边缘轮廓,再通过膨胀操作填充边缘轮廓,生成边缘图像,边缘检测的计算公式如下:
Figure FDA0003615716340000033
其中,E(x,y)为模板图像在(x,y)处的边缘梯度值;
上限图像和下限图像的计算公式如下:
Tmax(x,y)=Fm(x,y)+max{a,bE(x,y)} (11)
Tmin(x,y)=Fm(x,y)-max{a,bE(x,y)} (12)
其中,Fm(x,y)为目标图像Fm在(x,y)处的灰度值,Tmax(x,y)为上限图像Tmax在(x,y)处的灰度值,Tmin(x,y)为下限图像Tmin在(x,y)处的灰度值,a,b为常量;
所述缺陷检测包含如下步骤:
S5、采集待检测图像,预处理后进行图像配准;
利用工业相机获取待检测图像,通过S3-1中所述预处理内容对待检测图像进行预处理,然后计算模糊分数,利用DeblurGAN模型对模糊分数超过阈值的待检测图像进行去模糊处理,然后利用模板匹配对待检测图像与目标图像做图像配准;
模板匹配方法为基于形状的模板匹配,利用待检测图像相对于目标图像的位置偏移和旋转角度等信息,通过仿射变换将待检测图像最优映射到目标图像位置,进而获得配准图像;
S6、利用上限图像和下限图像进行缺陷检测;
上、下限图像中像素点的灰度值是目标图像中像素点灰度值的上、下限,当配准图像中像素点灰度值未在上、下限的范围内时,该像素点则被视为异常像素点,判别像素点是否异常的计算公式如下:
Figure FDA0003615716340000041
其中,Oj为缺陷检测生成的异常图像,当Oj(x,y)为0时,待检测图像Fj在(x,y)处的像素点正常,当Oj(x,y)为1时,待检测图像Fj在(x,y)处的像素点异常;
将异常图像中相邻的异常像素点连通形成异常区域,计算异常区域的面积,由实际检测要求设定阈值,根据阈值筛选出缺陷区域。
CN202110624234.3A 2021-06-04 2021-06-04 一种针对模糊成像环境的印刷品缺陷检测方法 Active CN113409254B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110624234.3A CN113409254B (zh) 2021-06-04 2021-06-04 一种针对模糊成像环境的印刷品缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110624234.3A CN113409254B (zh) 2021-06-04 2021-06-04 一种针对模糊成像环境的印刷品缺陷检测方法

Publications (2)

Publication Number Publication Date
CN113409254A CN113409254A (zh) 2021-09-17
CN113409254B true CN113409254B (zh) 2022-06-07

Family

ID=77676286

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110624234.3A Active CN113409254B (zh) 2021-06-04 2021-06-04 一种针对模糊成像环境的印刷品缺陷检测方法

Country Status (1)

Country Link
CN (1) CN113409254B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114771120B (zh) * 2022-06-18 2022-09-02 南通人民彩印有限公司 微接触印刷过程压力控制方法、装置及人工智能系统
CN115619715A (zh) * 2022-09-16 2023-01-17 苏州斯普兰蒂科技股份有限公司 一种基于人工智能的丝网印刷制品的检测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010057081A1 (en) * 2008-11-14 2010-05-20 The Scripps Research Institute Image analysis platform for identifying artifacts in samples and laboratory consumables
CN110782399A (zh) * 2019-08-22 2020-02-11 天津大学 一种基于多任务cnn的图像去模糊方法
CN111340754A (zh) * 2020-01-18 2020-06-26 中国人民解放军国防科技大学 一种基于飞机蒙皮表面缺陷检测和分类的方法
CN111709909A (zh) * 2020-05-12 2020-09-25 安徽艾睿思智能科技有限公司 基于深度学习的通用印刷缺陷检测方法及其模型
CN111986190A (zh) * 2020-08-28 2020-11-24 哈尔滨工业大学(深圳) 一种基于伪影剔除的印刷品缺陷检测方法及装置
CN112381794A (zh) * 2020-11-16 2021-02-19 哈尔滨理工大学 一种基于深度卷积生成网络的印刷缺陷检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010057081A1 (en) * 2008-11-14 2010-05-20 The Scripps Research Institute Image analysis platform for identifying artifacts in samples and laboratory consumables
CN110782399A (zh) * 2019-08-22 2020-02-11 天津大学 一种基于多任务cnn的图像去模糊方法
CN111340754A (zh) * 2020-01-18 2020-06-26 中国人民解放军国防科技大学 一种基于飞机蒙皮表面缺陷检测和分类的方法
CN111709909A (zh) * 2020-05-12 2020-09-25 安徽艾睿思智能科技有限公司 基于深度学习的通用印刷缺陷检测方法及其模型
CN111986190A (zh) * 2020-08-28 2020-11-24 哈尔滨工业大学(深圳) 一种基于伪影剔除的印刷品缺陷检测方法及装置
CN112381794A (zh) * 2020-11-16 2021-02-19 哈尔滨理工大学 一种基于深度卷积生成网络的印刷缺陷检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Efficient blind image deblurring method for palm print images;M. Saad Shakeel等;《IEEE International Conference on Identity, Security and Behavior Analysis (ISBA 2015)》;20150727;第1-7页 *
基于颜色直方图特征的印刷品颜色缺陷检测;唐海艳;《cnki优秀硕士学位论文全文库 工程科技Ⅰ辑》;20210415;第B024-302页 *

Also Published As

Publication number Publication date
CN113409254A (zh) 2021-09-17

Similar Documents

Publication Publication Date Title
CN113409254B (zh) 一种针对模糊成像环境的印刷品缺陷检测方法
EP3309703B1 (en) Method and system for decoding qr code based on weighted average grey method
CN109816673B (zh) 一种非极大值抑制、动态阈值计算及图像边缘检测方法
CN110059642B (zh) 人脸图像筛选方法与装置
CN106548111B (zh) 一种二维码外观缺陷检测方法及装置
CN109166137A (zh) 针对抖动视频序列中运动目标检测算法
CN106952280B (zh) 一种基于计算机视觉的喷枪喷漆量均匀度检测方法
CN113449606B (zh) 一种目标对象识别方法、装置、计算机设备及存储介质
CN116468640B (zh) 一种用于互联网教学的视频图像增强方法
CN110189375A (zh) 一种基于单目视觉测量的图像目标识别方法
CN115078365A (zh) 一种软包装印刷质量缺陷检测方法
CN107818583A (zh) 十字中心检测方法及装置
CN108111760A (zh) 一种电子稳像方法及系统
CN108765456A (zh) 基于直线边缘特征的目标跟踪方法、系统
CN103473753A (zh) 一种基于多尺度小波阈值去噪的目标检测方法
CN115184362B (zh) 一种基于结构光投影的快速缺陷检测方法
CN109448012A (zh) 一种图像边缘检测方法及装置
CN111583341B (zh) 云台像机移位检测方法
CN114663562A (zh) 基于人工智能和模式识别的中间画图像优化方法及系统
CN110516667B (zh) 一种基于安卓的文字水平矫正方法
Singh et al. Surface Area Calculation of Asymmetric/Axisymmetric Shapes Utilising Simple Image Processing and OpenCV
CN108961248A (zh) 一种应用于包含复杂信息的机箱表面划痕检测方法
Zhongtang et al. High Precision Autocollimation Measurement Technology Based on Image Recognition
CN109271986B (zh) 一种基于Second-Confirm的数字识别方法
TWI450572B (zh) 影像邊界掃描的電腦系統及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant