CN117197112A - 一种基于样本比对的工业丝印缺陷检测方法及系统 - Google Patents
一种基于样本比对的工业丝印缺陷检测方法及系统 Download PDFInfo
- Publication number
- CN117197112A CN117197112A CN202311264156.6A CN202311264156A CN117197112A CN 117197112 A CN117197112 A CN 117197112A CN 202311264156 A CN202311264156 A CN 202311264156A CN 117197112 A CN117197112 A CN 117197112A
- Authority
- CN
- China
- Prior art keywords
- detected
- base
- image
- map
- top3
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000007547 defect Effects 0.000 title claims abstract description 46
- 238000001514 detection method Methods 0.000 title claims abstract description 42
- 238000007650 screen-printing Methods 0.000 title claims abstract description 19
- 101100261006 Salmonella typhi topB gene Proteins 0.000 claims abstract description 62
- 101150032437 top-3 gene Proteins 0.000 claims abstract description 62
- 238000010586 diagram Methods 0.000 claims abstract description 51
- 238000012545 processing Methods 0.000 claims abstract description 20
- 238000012549 training Methods 0.000 claims abstract description 18
- 230000002159 abnormal effect Effects 0.000 claims abstract description 16
- 238000001914 filtration Methods 0.000 claims abstract description 16
- 238000000034 method Methods 0.000 claims abstract description 13
- 230000000007 visual effect Effects 0.000 claims abstract description 6
- 238000012805 post-processing Methods 0.000 claims abstract description 3
- 230000004044 response Effects 0.000 claims description 40
- 230000009466 transformation Effects 0.000 claims description 17
- 239000013598 vector Substances 0.000 claims description 15
- 238000000605 extraction Methods 0.000 claims description 10
- 238000002372 labelling Methods 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 5
- 230000006870 function Effects 0.000 description 9
- 230000005856 abnormality Effects 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 230000005012 migration Effects 0.000 description 2
- 238000013508 migration Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000005498 polishing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本发明公开了一种基于样本比对的工业丝印缺陷检测方法及系统，属于工业图像处理技术领域，解决现有技术在异常样本稀疏和不可预见的情况下，无法对工业丝印缺陷进行精确检测的问题。本发明标注获取的正常样本库中的各图中的待检测目标区域，并训练模型，训练后识别待识别图像中的待识别区域，并截取区域图像作为待识别兴趣区域；对正常样本库中的底图和待识别兴趣区域进行折射光线过滤处理，分别得到校正后的底图库和待检测图；基于底图库选取与待检测图最相似的top3底图；基于top3的底图和待检测图进行视觉上的对齐处理；对齐处理后，求top3的各底图与待检测图的绝对值差得到差异图，并基于差异图进行后处理，得到缺陷区域。本发明用于工业丝印缺陷检测。
Description
技术领域
一种基于样本比对的工业丝印缺陷检测方法及系统，用于工业丝印缺陷检测，属于工业图像处理技术领域。
背景技术
在工业生产领域，往往需要对生产产品(例如玻璃瓶、包装盒)丝印相应的图案，而丝印图案的质量检测就成为一道不可或缺的工序。
目前大部分生产工序的丝印质检是靠人工完成的，面对每天数以万计的产品，人工检测不仅效率较低，容易疲劳，更会出现错判、漏判的情况。一旦遗漏的丝印次品流入市场，会对消费者和企业品牌价值造成不可预估的影响。因此，依靠图像处理的视觉检测系统就十分有必要。
目前常见的缺陷检测方法，对数据依赖较大，特别是样本需要覆盖所有缺陷异常情况，才能找出各类缺陷的特征，设计相应的算子进行识别，亦或是使用深度学习训练模型进行识别。但是，在生产过程中，往往99％都是无缺陷产品，较少的缺陷数据导致不能充分掌握缺陷的形态或者特征，导致效果较差。
因此，现有技术面临如下技术问题：
1.异常样本稀疏性，在工业产品丝印生产中，调试好的设备一般是不易出现丝印异常的，在不同的领域，丝印异常出现的概率在0％至2％，因此，异常样本的数量通常较少，现有技术就很难从异常样本中学到多样的异常特征，导致检测效果不佳；
2.异常样本不可预见性，通常异常丝印次品的出现和各个生产环节都有关系，任意环节出现误差都会造成丝印异常，但是现有的技术无法穷举所有异常案例，对于从未出现的异常，就有较高的漏检率；
3.算法的迁移性，产品丝印图案种类多种多样，现有技术针对每种图案都需要通过学习其特征，才能完成有效识别，数据的标注、模型算法的设计都需要大量的时间，在产品快速更迭的过程中，现有技术针对新产品的迁移性较差的缺点就暴露无遗。
发明内容
针对上述研究的问题，本发明的目的在于提供一种基于样本比对的工业丝印缺陷检测方法及系统，解决现有技术在异常样本稀疏、不可预见以及待测产品快速迭代的情况下，无法对工业丝印缺陷进行精确检测的问题。
为了达到上述目的，本发明采用如下技术方案：
一种基于样本比对的工业丝印缺陷检测方法，包括如下步骤：
步骤1、基于光电眼触发蓝色频闪光源，相机拍摄获取产品图像构成正常样本库；
步骤2、基于yolo系列中的目标检测算法，标注正常样本库中的各图中的待检测目标区域，并训练模型，训练后识别待识别图像中的待识别区域，并截取区域图像作为待识别兴趣区域；
步骤3、对正常样本库中的底图和待识别兴趣区域进行折射光线过滤处理，分别得到校正后的底图库和待检测图，其中，底图指正常的兴趣区域，即标注的目标区域；
步骤4、基于底图库选取与待检测图最相似的top3底图；
步骤5、基于top3的底图和待检测图进行视觉上的对齐处理；
步骤6、对齐处理后，求top3的各底图与待检测图的绝对值差得到差异图，并基于差异图进行后处理，得到缺陷区域。
进一步，所述步骤3的具体步骤为：
步骤3.1、根据均值和标准差的公式计算正常样本库中所有底图共同G通道的均值μ和标准差σ；
其中，Pi表示第i张底图每个位置的像素值，N表示底图总数；
步骤3.2、基于均值μ、标准差σ和正常样本库中每个底图ibase的均值μi和标准差σi，对底图ibase进行折射光线过滤处理，得到校正后的底图，所有底图校正后得到校正后的底图库，校正后的底图的公式为：
步骤3.3、基于均值μ、标准差σ和待识别兴趣区域Iinput图像的均值μ1和标准差σ1对待识别兴趣区域Iinput进行折射光线过滤处理上，得到校正后的待识别兴趣区域，即得到校正后的待检测图，校正后的待识别兴趣区域的公式为：
进一步，所述步骤4的具体步骤为：
步骤4.1、将底图库中的各底图分别与待检测图中的各像素点作绝对值像素差，再将两两像素点的差异值逐一求和，得到总体差异值Dp；
步骤4.2、将底图库中的各底图与待检测图分别输入预训练特征提取网络进行高维度特征向量提取，再计算待检测图和各底图的高维度特征向量之间的余弦相似度Sp，其中，高维特征向量包含了纹理、色彩和边缘信息，其中，特征提取网络为Resnet；
步骤4.3、将差异值Dp除以待检测图的图像尺寸，得到像素平均差异值Dmp，再除以255得到归一化后的像素值Dmp，结合余弦相似度Sp，利用公式v＝Sp-D’mp获取v排列前三小的底图，即得到与待检测图最近似top3的底图。
进一步，所述步骤5的具体步骤为：
步骤5.1、使用opencv开源的Harris角点检测函数，获取top3的底图和待检测图的关键点，以及关键点的距离置信度；
步骤5.2、基于步骤5.1中Harris角点检测函数给出的关键点距离置信度，将待检测图角点和top3底图角点一一配对；
步骤5.3、基于匹配好的角点对，利用opencv开源的findHomography函数得到top3底图分别针对待检测图的三个变换矩阵Mi；
步骤5.4、基于变换矩阵Mi将top3的底图作透视变换，变换后与待检测图对齐，即得到视觉上对齐的top3的底图和待检测图。
进一步，所述步骤6的具体步骤为：
步骤6.1、对齐处理后，求top3的各底图与待检测图的绝对值差得到三张差异图，若三张差异图的像素最大差异值都不超过20，则表示待检测图和top3的各底图高度相似，就表示其呈现均匀的低亮度响应，也即表示待检测图为无缺陷产品，否则，转到步骤6.2；
步骤6.2、对步骤6.1得到的三张差异图一起求像素尺寸的与运算得到像素差异值D’l；
步骤6.3、判断像素差异值D’l的亮度响应，即判断与运算后得到的像素差异值D’l，是否低于给定的亮度响应阈值，若是，则表示正常，否则，表示异常，转到步骤6.4；
步骤6.4、基于步骤6.3得到的结果，计算D’l的亮度响应区域像素面积，若低于15个像素点，则去掉该区域，否则，转到步骤6.5；
步骤6.5、判断亮度响应区域像素面积的区域形态比值是否在给定的范围，若是，则此区域为最终的缺陷区域，否则，不是。
一种基于样本比对的工业丝印缺陷检测系统，包括：
样本获取模块：基于光电眼触发蓝色频闪光源，相机拍摄获取产品图像构成正常样本库；
区域识别模块：基于yolo系列中的目标检测算法，标注正常样本库中的各图中的待检测目标区域，并训练模型，训练后识别待识别图像中的待识别区域，并截取区域图像作为待识别兴趣区域；
处理模块：对正常样本库中的底图和待识别兴趣区域进行折射光线过滤处理，分别得到校正后的底图库和待检测图，其中，底图指正常的兴趣区域，即标注的目标区域；
选择模块：基于底图库选取与待检测图最相似的top3底图；
对齐模块：基于top3的底图和待检测图进行视觉上的对齐处理；
缺陷识别模块：对齐处理后，求top3的各底图与待检测图的绝对值差得到差异图，并基于差异图进行后处理，得到缺陷区域。
进一步，所述处理模块的具体实现步骤为：
步骤3.1、根据均值和标准差的公式计算正常样本库中所有底图共同G通道的均值μ和标准差σ；
其中，Pi表示第i张底图每个位置的像素值，N表示底图总数；
步骤3.2、基于均值μ、标准差σ和正常样本库中每个底图ibase的均值μi和标准差σi，对底图ibase进行折射光线过滤处理，得到校正后的底图，所有底图校正后得到校正后的底图库，校正后的底图的公式为：
步骤3.3、基于均值μ、标准差σ和待识别兴趣区域Iinput图像的均值μ1和标准差σ1对待识别兴趣区域Iinput进行折射光线过滤处理上，得到校正后的待识别兴趣区域，即得到校正后的待检测图，校正后的待识别兴趣区域的公式为：
进一步，所述对齐模块的具体实现步骤为：
步骤4.1、将底图库中的各底图分别与待检测图中的各像素点作绝对值像素差，再将两两像素点的差异值逐一求和，得到总体差异值Dp；
步骤4.2、将底图库中的各底图与待检测图分别输入预训练特征提取网络进行高维度特征向量提取，再计算待检测图和各底图的高维度特征向量之间的余弦相似度Sp，其中，高维特征向量包含了纹理、色彩和边缘信息，其中，特征提取网络为Resnet；
步骤4.3、将差异值Dp除以待检测图的图像尺寸，得到像素平均差异值Dmp，再除以255得到归一化后的像素值Dmp，结合余弦相似度Sp，利用公式v＝Sp-Dmp获取v排列前三小的底图，即得到与待检测图最近似top3的底图。
进一步，所述对齐模块的具体实现步骤为：
步骤5.1、使用opencv开源的Harris角点检测函数，获取top3的底图和待检测图的关键点，以及关键点的距离置信度；
步骤5.2、基于步骤5.1中Harris角点检测函数给出的关键点距离置信度，将待检测图角点和top3底图角点一一配对；
步骤5.3、基于匹配好的角点对，利用opencv开源的findHomography函数得到top3底图分别针对待检测图的三个变换矩阵Mi；
步骤5.4、基于变换矩阵Mi将top3的底图作透视变换，变换后与待检测图对齐，即得到视觉上对齐的top3的底图和待检测图。
进一步，所述缺陷识别模块的具体实现步骤为：
步骤6.1、对齐处理后，求top3的各底图与待检测图的绝对值差得到三张差异图，若三张差异图的像素最大差异值都不超过20，则表示待检测图和top3的各底图高度相似，就表示其呈现均匀的低亮度响应，也即表示待检测图为无缺陷产品，否则，转到步骤6.2；
步骤6.2、对步骤6.1得到的三张差异图一起求像素尺寸的与运算得到像素差异值D’l；
步骤6.3、判断像素差异值D’l的亮度响应，即判断与运算后得到的像素差异值D’l，是否低于给定的亮度响应阈值，若是，则表示正常，否则，表示异常，转到步骤6.4；
步骤6.4、基于步骤6.3得到的结果，计算D’l的亮度响应区域像素面积，若低于15个像素点，则去掉该区域，否则，转到步骤6.5；
步骤6.5、判断亮度响应区域像素面积的区域形态比值是否在给定的范围，若是，则此区域为最终的缺陷区域，否则，不是。
本发明同现有技术相比，其有益效果表现在：
一、本发明通过光源打光处理、图像对齐处理和差异图后处理，能对工业丝印缺陷进行精确检测，最终的缺陷检测精度和召回都能达到95％，并且误报率低于3％，超过人工检测水平，提升质检效率、降低人力资源成本。
二、本发明在异常样本稀疏和不可预见的情况下，通过样本比对完成质量检测，在更少的样本数量条件下，达到较高的检测精度。
三、本发明提出的基于样本比对的检测方法，可以在短时间内完成底图库采集和算法的迁移，大大缩短产品更新后算法的适配时间，在保证检测精度的同时，突出灵活迁移性，使质检效率以及应用空间大大提升。
附图说明
图1为本发明中待识别兴趣区域的示意图；
图2为本发明中选择top3底图的流程图；
图3为本发明中缺陷区域检测流程图；
图4为本发明实施例中待检测图与top3的底图，其中，(a)为待检测图，(b)、(c)、(d)为top3的底图；
图5为本发明实施例中top3的底图变换后与待检测图对齐的示意图，其中，(a)为待检测图，(b)、(c)、(d)为经过变换后与待检测图对齐的top3底图；
图6为本发明中三张差异图的示意图；
图7为本发明的检测结果示意图。
具体实施方式
下面将结合附图及具体实施方式对本发明作进一步的描述。
一种基于样本比对的工业丝印缺陷检测方法，包括如下步骤：
步骤1、基于光电眼触发蓝色频闪光源，相机拍摄获取产品图像构成正常样本库；
步骤2、基于yolo系列中的目标检测算法，标注正常样本库中的各图中的待检测目标区域，并训练模型，训练后识别待识别图像中的待识别区域，并截取区域图像作为待识别兴趣区域；
步骤3、对正常样本库中的底图和待识别兴趣区域进行折射光线过滤处理，分别得到校正后的底图库和待检测图，其中，底图指正常的兴趣区域，即标注的目标区域；具体步骤为：
步骤3.1、根据均值和标准差的公式计算正常样本库中所有底图共同G通道的均值μ和标准差σ；
其中，Pi表示第i张底图每个位置的像素值，N表示底图总数；
步骤3.2、基于均值μ、标准差σ和正常样本库中每个底图ibase的均值μi和标准差σi，对底图ibase进行折射光线过滤处理，得到校正后的底图，所有底图校正后得到校正后的底图库，校正后的底图的公式为：
步骤3·3、基于均值μ、标准差σ和待识别兴趣区域Iinput图像的均值μl和标准差σl对待识别兴趣区域Iinput进行折射光线过滤处理上，得到校正后的待识别兴趣区域，即得到校正后的待检测图，校正后的待识别兴趣区域的公式为：
步骤4、基于底图库选取与待检测图最相似的top3底图；具体步骤为：
步骤4.1、将底图库中的各底图分别与待检测图中的各像素点作绝对值像素差，再将两两像素点的差异值逐一求和，得到总体差异值Dp；
步骤4.2、将底图库中的各底图与待检测图分别输入预训练特征提取网络进行高维度特征向量提取，再计算待检测图和各底图的高维度特征向量之间的余弦相似度Sp，其中，高维特征向量包含了纹理、色彩和边缘信息，其中，特征提取网络为Resnet；
步骤4.3、将差异值Dp除以待检测图的图像尺寸，得到像素平均差异值Dmp，再除以255得到归一化后的像素值D’mp，结合余弦相似度Sp，利用公式v＝Sp-D’mp获取v排列前三小的底图，即得到与待检测图最近似top3的底图，如图4所示。
步骤5、基于top3的底图和待检测图进行视觉上的对齐处理；具体步骤为：
步骤5.1、使用opencv开源的Harris角点检测函数，获取top3的底图和待检测图的关键点，以及关键点的距离置信度；
步骤5.2、基于步骤5.1中Harris角点检测函数给出的关键点距离置信度，将待检测图角点和top3底图角点一一配对；
步骤5.3、基于匹配好的角点对，利用opencv开源的findHomography函数得到top3底图分别针对待检测图的三个变换矩阵Mi；
步骤5.4、基于变换矩阵Mi将top3的底图作透视变换，变换后与待检测图对齐，即得到视觉上对齐的top3的底图和待检测图，如图5所示。
步骤6、对齐处理后，求top3的各底图与待检测图的绝对值差得到差异图，并基于差异图进行后处理，得到缺陷区域。具体步骤为：
步骤6.1、对齐处理后，求top3的各底图与待检测图的绝对值差得到三张差异图(如图6所示)，若三张差异图的像素最大差异值都不超过20，则表示待检测图和top3的各底图高度相似，就表示其呈现均匀的低亮度响应，也即表示待检测图为无缺陷产品，否则，转到步骤6.2；
步骤6.3、判断像素差异值D’l的亮度响应，即判断与运算后得到的像素差异值D’l，是否低于给定的亮度响应阈值，若是，则表示正常，否则，表示异常，转到步骤6.4；
步骤6.4、基于步骤6.3得到的结果，计算D’l的亮度响应区域像素面积，若低于15个像素点，则去掉该区域，否则，转到步骤6.5；
步骤6.5、判断亮度响应区域像素面积的区域形态比值是否在给定的范围，若是，则此区域为最终的缺陷区域，如图7所示，否则，不是。
以上仅是本发明众多具体应用范围中的代表性实施例，对本发明的保护范围不构成任何限制。凡采用变换或是等效替换而形成的技术方案，均落在本发明权利保护范围之内。
Claims (10)
1.一种基于样本比对的工业丝印缺陷检测方法，其特征在于，包括如下步骤：
步骤1、基于光电眼触发蓝色频闪光源，相机拍摄获取产品图像构成正常样本库；
步骤2、基于yolo系列中的目标检测算法，标注正常样本库中的各图中的待检测目标区域，并训练模型，训练后识别待识别图像中的待识别区域，并截取区域图像作为待识别兴趣区域；
步骤3、对正常样本库中的底图和待识别兴趣区域进行折射光线过滤处理，分别得到校正后的底图库和待检测图，其中，底图指正常的兴趣区域，即标注的目标区域；
步骤4、基于底图库选取与待检测图最相似的top3底图；
步骤5、基于top3的底图和待检测图进行视觉上的对齐处理；
步骤6、对齐处理后，求top3的各底图与待检测图的绝对值差得到差异图，并基于差异图进行后处理，得到缺陷区域。
2.根据权利要求1所述的一种基于样本比对的工业丝印缺陷检测方法，其特征在于，所述步骤3的具体步骤为：
步骤3.1、根据均值和标准差的公式计算正常样本库中所有底图共同G通道的均值μ和标准差σ；
其中，Pi表示第i张底图每个位置的像素值，N表示底图总数；
步骤3.2、基于均值μ、标准差σ和正常样本库中每个底图ibase的均值μi和标准差σi，对底图ibase进行折射光线过滤处理，得到校正后的底图，所有底图校正后得到校正后的底图库，校正后的底图的公式为：
步骤3.3、基于均值μ、标准差σ和待识别兴趣区域Iinput图像的均值μ1和标准差σ1对待识别兴趣区域Iinput进行折射光线过滤处理上，得到校正后的待识别兴趣区域，即得到校正后的待检测图，校正后的待识别兴趣区域的公式为：
3.根据权利要求2所述的一种基于样本比对的工业丝印缺陷检测方法，其特征在于，所述步骤4的具体步骤为：
步骤4.1、将底图库中的各底图分别与待检测图中的各像素点作绝对值像素差，再将两两像素点的差异值逐一求和，得到总体差异值Dp；
步骤4.2、将底图库中的各底图与待检测图分别输入预训练特征提取网络进行高维度特征向量提取，再计算待检测图和各底图的高维度特征向量之间的余弦相似度Sp，其中，高维特征向量包含了纹理、色彩和边缘信息，其中，特征提取网络为Resnet；
步骤4.3、将差异值Dp除以待检测图的图像尺寸，得到像素平均差异值Dmp，再除以255得到归一化后的像素值D’mp，结合余弦相似度Sp，利用公式v＝Sp-D’mp获取v排列前三小的底图，即得到与待检测图最近似top3的底图。
4.根据权利要求3所述的一种基于样本比对的工业丝印缺陷检测方法，其特征在于，所述步骤5的具体步骤为：
步骤5.1、使用opencv开源的Harris角点检测函数，获取top3的底图和待检测图的关键点，以及关键点的距离置信度；
步骤5.2、基于步骤5.1中Harris角点检测函数给出的关键点距离置信度，将待检测图角点和top3底图角点一一配对；
步骤5.3、基于匹配好的角点对，利用opencv开源的findHomography函数得到top3底图分别针对待检测图的三个变换矩阵Mi；
步骤5.4、基于变换矩阵Mi将top3的底图作透视变换，变换后与待检测图对齐，即得到视觉上对齐的top3的底图和待检测图。
5.根据权利要求4所述的一种基于样本比对的工业丝印缺陷检测方法，其特征在于，所述步骤6的具体步骤为：
步骤6.1、对齐处理后，求top3的各底图与待检测图的绝对值差得到三张差异图，若三张差异图的像素最大差异值都不超过20，则表示待检测图和top3的各底图高度相似，就表示其呈现均匀的低亮度响应，也即表示待检测图为无缺陷产品，否则，转到步骤6.2；
步骤6.2、对步骤6.1得到的三张差异图一起求像素尺寸的与运算得到像素差异值D’l；
步骤6.3、判断像素差异值D’l的亮度响应，即判断与运算后得到的像素差异值D’l，是否低于给定的亮度响应阈值，若是，则表示正常，否则，表示异常，转到步骤6.4；
步骤6.4、基于步骤6.3得到的结果，计算D’l的亮度响应区域像素面积，若低于15个像素点，则去掉该区域，否则，转到步骤6.5；
步骤6.5、判断亮度响应区域像素面积的区域形态比值是否在给定的范围，若是，则此区域为最终的缺陷区域，否则，不是。
6.一种基于样本比对的工业丝印缺陷检测系统，其特征在于，包括：
样本获取模块：基于光电眼触发蓝色频闪光源，相机拍摄获取产品图像构成正常样本库；
区域识别模块：基于yolo系列中的目标检测算法，标注正常样本库中的各图中的待检测目标区域，并训练模型，训练后识别待识别图像中的待识别区域，并截取区域图像作为待识别兴趣区域；
处理模块：对正常样本库中的底图和待识别兴趣区域进行折射光线过滤处理，分别得到校正后的底图库和待检测图，其中，底图指正常的兴趣区域，即标注的目标区域；
选择模块：基于底图库选取与待检测图最相似的top3底图；
对齐模块：基于top3的底图和待检测图进行视觉上的对齐处理；
缺陷识别模块：对齐处理后，求top3的各底图与待检测图的绝对值差得到差异图，并基于差异图进行后处理，得到缺陷区域。
7.根据权利要求6所述的一种基于样本比对的工业丝印缺陷检测系统，其特征在于，所述处理模块的具体实现步骤为：
步骤3.1、根据均值和标准差的公式计算正常样本库中所有底图共同G通道的均值μ和标准差σ；
其中，Pi表示第i张底图每个位置的像素值，N表示底图总数；
步骤3.2、基于均值μ、标准差σ和正常样本库中每个底图ibase的均值μi和标准差σi，对底图ibase进行折射光线过滤处理，得到校正后的底图，所有底图校正后得到校正后的底图库，校正后的底图的公式为：
步骤3·3、基于均值μ、标准差σ和待识别兴趣区域Iinput图像的均值μ1和标准差σ1对待识别兴趣区域Iinput进行折射光线过滤处理上，得到校正后的待识别兴趣区域，即得到校正后的待检测图，校正后的待识别兴趣区域的公式为：
8.根据权利要求7所述的一种基于样本比对的工业丝印缺陷检测系统，其特征在于，所述对齐模块的具体实现步骤为：
步骤4.1、将底图库中的各底图分别与待检测图中的各像素点作绝对值像素差，再将两两像素点的差异值逐一求和，得到总体差异值Dp；
步骤4.2、将底图库中的各底图与待检测图分别输入预训练特征提取网络进行高维度特征向量提取，再计算待检测图和各底图的高维度特征向量之间的余弦相似度Sp，其中，高维特征向量包含了纹理、色彩和边缘信息，其中，特征提取网络为Resnet；
步骤4.3、将差异值Dp除以待检测图的图像尺寸，得到像素平均差异值Dmp，再除以255得到归一化后的像素值D’mp，结合余弦相似度Sp，利用公式v＝Sp-D’mp获取v排列前三小的底图，即得到与待检测图最近似top3的底图。
9.根据权利要求8所述的一种基于样本比对的工业丝印缺陷检测系统，其特征在于，所述对齐模块的具体实现步骤为：
步骤5.1、使用opencv开源的Harris角点检测函数，获取top3的底图和待检测图的关键点，以及关键点的距离置信度；
步骤5.2、基于步骤5.1中Hatris角点检测函数给出的关键点距离置信度，将待检测图角点和top3底图角点一一配对；
步骤5.3、基于匹配好的角点对，利用opencv开源的findHomography函数得到top3底图分别针对待检测图的三个变换矩阵Mi；
步骤5.4、基于变换矩阵Mi将top3的底图作透视变换，变换后与待检测图对齐，即得到视觉上对齐的top3的底图和待检测图。
10.根据权利要求9所述的一种基于样本比对的工业丝印缺陷检测系统，其特征在于，所述缺陷识别模块的具体实现步骤为：
步骤6.1、对齐处理后，求top3的各底图与待检测图的绝对值差得到三张差异图，若三张差异图的像素最大差异值都不超过20，则表示待检测图和top3的各底图高度相似，就表示其呈现均匀的低亮度响应，也即表示待检测图为无缺陷产品，否则，转到步骤6.2；
步骤6.2、对步骤6.1得到的三张差异图一起求像素尺寸的与运算得到像素差异值D’i；
步骤6.3、判断像素差异值D’i的亮度响应，即判断与运算后得到的像素差异值D’i，是否低于给定的亮度响应阈值，若是，则表示正常，否则，表示异常，转到步骤6.4；
步骤6.4、基于步骤6.3得到的结果，计算D’i的亮度响应区域像素面积，若低于15个像素点，则去掉该区域，否则，转到步骤6.5；
步骤6.5、判断亮度响应区域像素面积的区域形态比值是否在给定的范围，若是，则此区域为最终的缺陷区域，否则，不是。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311264156.6A CN117197112B (zh) | 2023-09-26 | 2023-09-26 | 一种基于样本比对的工业丝印缺陷检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311264156.6A CN117197112B (zh) | 2023-09-26 | 2023-09-26 | 一种基于样本比对的工业丝印缺陷检测方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117197112A true CN117197112A (zh) | 2023-12-08 |
| CN117197112B CN117197112B (zh) | 2024-04-30 |
Family
ID=88985007
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311264156.6A Active CN117197112B (zh) | 2023-09-26 | 2023-09-26 | 一种基于样本比对的工业丝印缺陷检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117197112B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001343337A (ja) * | 2000-06-05 | 2001-12-14 | Nano System Kk | 基板欠陥検出装置 |
| CN109584220A (zh) * | 2018-11-15 | 2019-04-05 | 锐捷网络股份有限公司 | 一种丝印定位方法、丝印缺陷检测方法和相关装置 |
| CN115761611A (zh) * | 2022-12-18 | 2023-03-07 | 四川数聚智造科技有限公司 | 基于图像对比异常检测的多阶段多底图图像差异过滤方法 |
| CN116642907A (zh) * | 2022-09-16 | 2023-08-25 | 武汉帝尔激光科技股份有限公司 | 电池片丝网印刷外观缺陷检测方法、设备及存储介质 |
| CN116664566A (zh) * | 2023-07-28 | 2023-08-29 | 成都数智创新精益科技有限公司 | 一种oled面板丝印质量控制方法及系统及装置及介质 |
-
2023
- 2023-09-26 CN CN202311264156.6A patent/CN117197112B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001343337A (ja) * | 2000-06-05 | 2001-12-14 | Nano System Kk | 基板欠陥検出装置 |
| CN109584220A (zh) * | 2018-11-15 | 2019-04-05 | 锐捷网络股份有限公司 | 一种丝印定位方法、丝印缺陷检测方法和相关装置 |
| CN116642907A (zh) * | 2022-09-16 | 2023-08-25 | 武汉帝尔激光科技股份有限公司 | 电池片丝网印刷外观缺陷检测方法、设备及存储介质 |
| CN115761611A (zh) * | 2022-12-18 | 2023-03-07 | 四川数聚智造科技有限公司 | 基于图像对比异常检测的多阶段多底图图像差异过滤方法 |
| CN116664566A (zh) * | 2023-07-28 | 2023-08-29 | 成都数智创新精益科技有限公司 | 一种oled面板丝印质量控制方法及系统及装置及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117197112B (zh) | 2024-04-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111612763B (zh) | 手机屏幕缺陷检测方法、装置及系统、计算机设备及介质 | |
| CN108074231B (zh) | 一种基于卷积神经网络的磁片表面缺陷检测方法 | |
| CN105067638B (zh) | 基于机器视觉的轮胎胎膜表面字符缺陷检测方法 | |
| CN105675626B (zh) | 一种轮胎模具的字符缺陷检测方法 | |
| CN108573261A (zh) | 一种适用于变电站巡检机器人的数字显示仪表识别方法 | |
| CN111091544B (zh) | 铁路货车转向架侧面一体架构断裂故障检测方法 | |
| CN108491788A (zh) | 一种用于财务报表单元格的智能提取方法及装置 | |
| CN108596880A (zh) | 基于图像处理的焊接缺陷特征提取与焊接质量分析方法 | |
| CN104992449A (zh) | 基于机器视觉的信息识别及表面缺陷在线检测方法 | |
| CN111383209A (zh) | 一种基于全卷积自编码器网络的无监督瑕疵检测方法 | |
| CN111242896A (zh) | 一种彩色印刷标签缺陷检测与质量评级方法 | |
| CN111563896B (zh) | 一种用于接触网异常检测的图像处理方法 | |
| CN113724231A (zh) | 一种基于语义分割和目标检测融合模型的工业缺陷检测方法 | |
| CN111105389B (zh) | 融合Gabor滤波器与卷积神经网络的路面裂缝的检测方法 | |
| CN112258490A (zh) | 基于光学和红外图像融合的低发射率涂层智能探损方法 | |
| CN108764251A (zh) | 一种工件表面裂缝检测方法及系统 | |
| CN116188756A (zh) | 一种基于深度学习的仪表角度校正与示数识别方法 | |
| CN114187247A (zh) | 一种基于图像配准的安瓿瓶印刷字缺陷检测方法 | |
| CN113095445B (zh) | 一种目标识别方法及装置 | |
| CN112926563B (zh) | 一种钢卷喷印标记故障诊断系统 | |
| CN112634179B (zh) | 一种防摄像头抖动的变电设备图像变化检测方法和系统 | |
| CN114065798A (zh) | 基于机器识别的视觉识别方法及装置 | |
| CN117197112B (zh) | 一种基于样本比对的工业丝印缺陷检测方法及系统 | |
| CN108734158B (zh) | 一种实时列车车号识别方法及装置 | |
| CN113065556B (zh) | 一种数字式仪表定位和数字识别方法、装置和计算机设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |