CN115049638A - 一种基于图像处理的丝网印刷玻璃缺陷检测方法及装置 - Google Patents
一种基于图像处理的丝网印刷玻璃缺陷检测方法及装置 Download PDFInfo
- Publication number
- CN115049638A CN115049638A CN202210855694.1A CN202210855694A CN115049638A CN 115049638 A CN115049638 A CN 115049638A CN 202210855694 A CN202210855694 A CN 202210855694A CN 115049638 A CN115049638 A CN 115049638A
- Authority
- CN
- China
- Prior art keywords
- image
- connected domain
- text
- printing
- text printing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 92
- 239000011521 glass Substances 0.000 title claims abstract description 63
- 238000007650 screen-printing Methods 0.000 title claims abstract description 27
- 238000012545 processing Methods 0.000 title claims abstract description 24
- 238000001514 detection method Methods 0.000 title claims abstract description 22
- 238000007639 printing Methods 0.000 claims abstract description 246
- 238000000034 method Methods 0.000 claims description 31
- 239000003086 colorant Substances 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000002372 labelling Methods 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 claims description 3
- 230000000877 morphologic effect Effects 0.000 abstract description 3
- 230000002950 deficient Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000007797 corrosion Effects 0.000 description 3
- 238000005260 corrosion Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000005034 decoration Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005530 etching Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20164—Salient point detection; Corner detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30144—Printing quality
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于图像处理的丝网印刷玻璃缺陷检测方法，涉及缺陷检测领域。包括获取图文印刷连通域并标号；获取图文印刷连通域中心点之间的最短路径从而得到图文模板连通域和图文印刷连通域的对应关系，然后对图文模板连通域和图文印刷连通域进行配准，再进行角点匹配，得到图文印刷连通域被图文模板连通域划分的短游程边，获取短游程边的链结构；计算图文印刷连通域边界线的缺陷概率以及角点匹配性；根据得到的角点匹配性和图文印刷连通域边界线的缺陷概率得到所有的缺陷区域。本发明通过计算对应图文印刷连通域的边缘游程距离和角点匹配性对图文印刷连通域进行分析，对其中较为细节的、有效的形态特征进行分析，使检测结果更精确。
Description
技术领域
本申请涉及人工智能领域，具体涉及一种基于图像处理的丝网印刷玻璃缺陷检测方法及装置。
背景技术
在日常生活中，可以看到很多玻璃制产品都会有图文印刷在产品上，有些图文印刷是用作装饰，有些图文印刷则用于一些简单的产品介绍等作用。玻璃丝印是玻璃加工的一道工序，在丝网印刷产品中，经常会出现印刷墨膜边缘出现锯齿状毛刺，所以在玻璃出厂之前，对丝印玻璃上的图文印刷进行缺陷检测是非常重要的。
现有的方法无法分析毛刺缺陷所呈现较为细节的、有效地形态特征，使得无法明确区分有毛刺和无毛刺所存在的显著差异，不利于毛刺缺陷的检测，尤其是不利于毛刺缺陷产生程度大小的判断，不利于玻璃的生产或质量监控，尤其是对于毛刺要求严格的生产应用场景。
发明内容
针对上述技术问题，本发明提供了一种基于图像处理的丝网印刷玻璃缺陷检测方法，用于解决背景技术中存在的现有技术不能对更细节的部分进行分析，造成检测结果不够完整，且对于不明显的毛刺缺陷检测结果不够精确的问题。
本发明提供了一种基于图像处理的丝网印刷玻璃缺陷检测方法，具体包括：
获取完成丝印后玻璃上所有图文印刷连通域；
利用所有图文印刷连通域的中心点之间的最短路径和标准图文中所有图文模板连通域中心点之间的最短路径匹配出每一个图文印刷连通域及与其对应的图文模板连通域；
利用每一对相互匹配的图文印刷连通域和图文模板连通域中相互匹配的角点，将每一个图文印刷连通域的边缘划分为多段短游程边；
根据划分的短游程边得到短游程边的链结构，根据短游程边的链结构中的节点值和边值计算该图文印刷连通域边界线的缺陷概率；
根据图文模板连通域和对应的图文印刷连通域的角点坐标计算图文模板连通域和对应的图文印刷连通域的角点匹配性；
根据得到的角点匹配性和图文印刷连通域边界线的缺陷概率判断每个图文印刷连通域是否为缺陷区域，得到所有的缺陷区域。
根据短游程边的链结构中的节点值和边值计算该图文印刷连通域边界线的缺陷概率的方法为：利用图文印刷连通域的链结构中数据计算均值比例，再计算图文印刷连通域短游程边的占比，根据均值比例和边值占比作商，得到该图文印刷连通域边界线的缺陷概率，具体计算如下：
式中：
为第
个图文印刷连通域的边界线的缺陷概率，
为图文印刷连通域的序号，
为均值比例，
为短游程边的占比。
短游程边是对配准后的图文模板连通域和图文印刷连通域进行角点匹配，匹配后存在缺陷的图文印刷连通域的边界线会被图文模板连通域的边界线上的角点分割，得到多段短游程边。
根据划分的短游程边构建短游程边的链结构的过程如下：
对角点匹配后的图文模板连通域和图文印刷连通域进行二值化处理，然后根据分割后的短游程边上相互匹配的图文模板连通域和图文印刷连通域上的像素点的像素值构建短游程边的链结构；
若相互匹配的图文模板连通域和图文印刷连通域上的对应像素点的像素值都为1，则将图文印刷连通域上的该像素点作为节点像素点，若相互匹配的图文模板连通域和图文印刷连通域上的对应像素点的像素值不同，则将图文印刷连通域上的该像素点作为边像素点；
节点值为连续节点像素点的数量，边值为连续边像素点的数量，对图文印刷连通域中边界线上所有像素点进行分析，得到该图文印刷连通域被划分的短游程的链结构。
获取完成丝印后玻璃上所有图文印刷连通域的过程如下：
对完成丝印后的玻璃进行图像采集得到丝印玻璃图像，将丝印玻璃图像转换为HSI图像提取HSI图像上的色调通道，得到色调图像，对色调图像中的色调值进行统计，频数最多的颜色为玻璃颜色，其余的颜色作为图文颜色，将图文颜色的像素点作为图文像素点；
对得到的图文像素点进行八连通域分析，得到的图文连通域，根据图文连通域的中心点坐标对各图文连通域进行标号，将带有标号的图文连通域与丝印玻璃图像相乘得到图文印刷连通域。
计算图文印刷连通域的角点匹配性的方法：
获取图文模板连通域每个角点的角度值，通过harris角点检测得到和图文模板连通域对应的图文印刷连通域的角点，再获取得到的图文印刷连通域的每个角点的角度值，计算对应角点的角度差值；
构建角点匹配坐标系，横坐标为相邻角点之间的距离，纵坐标为相邻角点之间的角度差值，分别得到图文模板连通域和图文印刷连通域的角点匹配坐标系；
获取图文模板连通域和图文印刷连通域的角点匹配坐标系中的数据，利用DTW算法对角点匹配坐标系中的数据计算得到图文模板连通域和图文印刷连通域的角点匹配性。
匹配出每一个图文印刷连通域及与其对应的图文模板连通域的方法为：
分别获取图文模板连通域和图文印刷连通域的中心点之间的最短路径，利用图文模板连通域和图文印刷连通域的最短路径进行匹配，根据路径匹配的结果对图文模板连通域和图文印刷连通域进行对应，得到每一个图文印刷连通域及与其对应的图文模板连通域。
判断每个图文印刷连通域是否为缺陷区域的方法如下：
设置图文印刷连通域的匹配性阈值和缺陷阈值；
将图文印刷连通域的角点匹配性和匹配性阈值进行比较：若该图文印刷连通域的角点匹配性超过匹配性阈值时，该图文印刷连通域为缺陷区域；若该图文印刷连通域的角点匹配性不超过匹配性阈值时，该图文印刷连通域边界线的缺陷概率大于缺陷阈值，则该图文印刷连通域为缺陷区域。
相比于现有技术，本发明实施例的有益效果在于：本发明通过计算对应图文印刷连通域的边缘游程距离和角点匹配性对图文印刷连通域进行分析，对其中较为细节的、有效的形态特征进行分析，使检测结果更精确。
具体的，通过计算的角点匹配性判断印刷的图文的整体形状变形程度，然后通过计算边缘游程距离计算缺陷概率，通过缺陷概率进一步判断印刷区域的缺陷程度，不仅能够有效的检测到图文印刷连通域的细节部分，同时能够提高缺陷检测的精确度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种基于图像处理的丝网印刷玻璃缺陷检测方法的系统框图。
图2是本发明实施例提供的一种基于图像处理的丝网印刷玻璃缺陷检测方法的流程图。
图3是本发明实施例提供的印刷区域的对比示意图。
图4是本发明实施例提供的腐蚀操作的结构元示意图。
图5是本发明实施例提供的划分效果示意图和链结构示意图。
图6是本发明实施例提供的图文模板连通域和图文印刷连通域的匹配性坐标示意图。
图7是本发明实施例提供的图文模板连通域边界线与图文印刷连通域边界线及其对应的角点信息示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征；在本实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。
实施例1
本发明实施例提供了一种基于图像处理的丝网印刷玻璃缺陷检测方法，如图1与图2所示，包括：
S101、提取丝印玻璃HSI图像色调通道得到色调图像
获取丝印玻璃图像，由于丝印玻璃中玻璃的颜色与印刷的图文颜色差异一般来说都比较大，所以将丝印玻璃图像转化为HSI图像，提取色调得到色调图像，对色调图像进行分析，能过得到较为精确的完整的图文区域。
S102、得到带标号的图文印刷连通域
对得到的色调图像进行二值化处理，确定出图文颜色，根据图文颜色对色调图上的图文像素点通过八连通域分析得到图文连通域，对得到的所有图文连通域进行标号处理，方便后续与图文模板连通域进行匹配，然后将带标号的图文连通域图像和丝印玻璃图像相乘得到带标号的图文印刷连通域图像。
S103、获取图文模板连通域和图文印刷连通域的对应关系
通过狄克斯特拉算法计算得到丝印图像中图文印刷连通域的中心点组成的最短路径，通过最短路径匹配得到图文印刷连通域与图文模板连通域的对应关系。
通过最短路径对印刷区域进行匹配是为了解决图文印刷连通域和图文模板连通域相比发生的旋转问题。同一张图像旋转后对应印刷区域的位置也会发生变化，因此不能直接用坐标得到印刷区域的对应关系。
S104、对图文模板连通域和图文印刷连通域进行配准点配准
根据图文模板连通域和图文印刷连通域的对应关系，对每个印刷区域的中心点为基点对图文模板连通域和图文印刷连通域进行配准点的配准，使图文模板连通域和图文印刷连通域中大部分的像素点坐标位置相同。
S105、获取图文印刷连通域被图文模板连通域划分的链结构
对配准点配准后的图文模板连通域和图文印刷连通域做进一步的角点匹配，从而得到了图文印刷连通域被图文模板连通域的角点划分的短游程边，获取短游程边被划分的分隔程度，根据短游程边的分隔程度和长度得到被划分的短游程边的链结构。
S106、计算图文印刷连通域边界线的缺陷概率
根据得到的被划分的链结构，计算链结构中节点和边长度的均值比例，根据图文印刷连通域边界线被划分的短游程边长度和图文模板连通域中边界线的长度计算边值占比，根据均值比例和边值占比计算图文印刷连通域边界线的缺陷概率。
S107、计算图文模板连通域和图文印刷连通域的角点匹配性
图文印刷连通域与图文模板连通域的大体形状一致，只是增加了许多的角点，通过计算角点匹配性得到图文印刷连通域与图文模板连通域的匹配程度，角点匹配性越小，即图文印刷连通域变形程度越大，缺陷问题越严重。
S108、得到所有的缺陷区域
根据得到的图文模板连通域和图文印刷连通域的角点匹配性以及图文印刷连通域边界线的缺陷概率对图文印刷连通域是否为缺陷区域进行判断，得到所有的缺陷区域。
S109、根据缺陷区域进行相应修复
由于图文印刷连通域都带有标号，根据标号对相应的印刷区域进行分析，及时对印刷版进行修复，对后续质量进行把控。
实施例2
本发明实施例提供了一种基于图像处理的丝网印刷玻璃缺陷检测方法，如图1与图2所示，具体内容包括：
S201、提取丝印玻璃HSI图像色调通道得到色调图像
获取丝印玻璃图像，由于丝印玻璃中玻璃的颜色与印刷的图文颜色差异一般来说都比较大，所以将丝印玻璃图像转化为HSI图像，提取色调得到色调图像，对色调图像进行分析，能过得到较为精确的完整的图文区域。
1.获取丝印玻璃图像
本实施例需要对丝印玻璃进行缺陷检测，因此需要先采集丝印玻璃图像，本实施例中采用DNN语义分割的方式来识别分割图像中的目标像素，具体内容如下：
(1) 使用的数据集为俯视采集的玻璃图像数据集，丝印玻璃的样式为多种多样的。
(2) 需要分割的像素共分为两类，即训练集对应标签标注过程为：单通道的语义标签，对应位置像素属于背景类的标注为0，属于丝印玻璃的标注为1。
(3) 网络的任务是分类，所有使用的loss函数为交叉熵损失函数。
通过语义分割得到的0-1掩膜图像与原图像相乘，得到的图像中只含有丝印玻璃的图像，去除了背景的干扰。
2.提取丝印玻璃HSI图像色调通道得到色调图像
将得到的丝印玻璃图像转化为HSI图像，提取HSI图像中的色调通道，得到色调图像。
S202、得到带标号的图文印刷连通域
对得到的色调图像进行二值化处理，确定出图文颜色，根据图文颜色对色调图上的图文像素点通过八连通域分析得到图文连通域，对得到的所有图文连通域进行标号处理，方便后续与图文模板连通域进行匹配，然后将带标号的图文连通域图像和丝印玻璃图像相乘得到带标号的图文印刷连通域图像。
1.确定图文颜色，得到所有图文像素点
对色调图像中的不同像素值（即色调图像中不同的色调值）的数量进行统计得到色调数量的直方图，将色调直方图中数量最多的色调作为玻璃的颜色，其他颜色全部作为玻璃上图文的颜色。
将色调图像中色调值为玻璃颜色的像素点的像素值记为0，其他作为图文颜色的像素点的像素值记为1，得到所有的图文像素点。
2.分析图文像素点得到带标号的图文印刷连通域
对所有的图文像素点进行八连通域分析得到图像上的图文连通域，通过横纵坐标值对图文连通域进行标号，标号为1—N，N为图文连通域的数量。具体根据格局横纵坐标对图文连通域标号的规则如下：
1）首先得到不同连通域的中心点坐标。
2）中心点的横坐标和纵坐标的和越小，标号越小。
3）中心点的横坐标相同时纵坐标越小，标号越小。
将得到的带有标号的图文连通域图像和丝印玻璃图像相乘，得到带标号的图文印刷连通域图像。
S203、获取图文模板连通域和图文印刷连通域的对应关系
通过狄克斯特拉算法计算得到丝印图像中图文印刷连通域的中心点组成的最短路径，通过最短路径匹配得到图文印刷连通域与图文模板连通域，。相互匹配的对应关系。
图文印刷连通域与图文模板连通域相比，印刷区域的坐标，即位置信息可能发生变化，但印刷区域的中心点之间的最短路径是不变的。通过最短路径对印刷区域进行匹配是为了解决图文印刷连通域和图文模板连通域相比发生的旋转问题。同一张图像旋转后对应印刷区域的位置也会发生变化，因此不能直接用坐标得到印刷区域的对应关系。
将图文模板连通域构成的集合记为S1，图文印刷连通域构成的集合记为S2，令S1和S2中的印刷区域一一对应，从一条最短路径上任意获取一对相邻的印刷区域，并获取与该对印刷区域相对应的在另一条最短路径上的由图文印刷连通域与图文模板连通域的印刷区域组成的一对印刷区域，令这种对应关系满足：后者所述的一对印刷区域在在最短路径上是相邻的，且后者所述的一对印刷区域的距离与前者所述的一段印刷区域的距离相等。
例如：图文模板连通域的最短路径为：1-2-3-4-5，12345是图文模板连通域的标号。对应的印刷区域中心点的距离序列为：(0.5,0.8,1,0.4),0.5表示图文模板连通域1与图文模板连通域2的中心点的欧式距离，...，0.4表示图文模板连通域4与图文模板连通域5的中心点的欧式距离。
图文印刷连通域的最短路径也为：（1）-（2）-（3）-（4）-（5），对应的图文印刷连通域中心点的距离序列为：（0.4,1,0.8,0.5），则印刷区域的对应关系为：1-（5），2-（4），3-（3），4-（2），5-（1）。
S204、对图文模板连通域和图文印刷连通域进行配准点配准
根据图文模板连通域和图文印刷连通域的对应关系，对每个印刷区域的中心点为基点对图文模板连通域和图文印刷连通域进行配准点的配准，使图文模板连通域和图文印刷连通域中大部分的像素点坐标位置相同。
S205、获取图文印刷连通域被图文模板连通域划分的链结构
对配准点配准后的图文模板连通域和图文印刷连通域做进一步的角点匹配，从而得到了图文印刷连通域被图文模板连通域的角点划分的短游程边，获取短游程边被划分的分隔程度，根据短游程边的分隔程度和长度得到被划分的短游程边的链结构。
如图3所示，图3中（1）表示图文模板连通域，图3中（2）表示图3中（1）对应的有缺陷图文印刷连通域，有缺陷图文印刷连通域的边缘与图文模板连通域相比，沿着图文模板连通域边缘的方向，有缺陷图文印刷连通域的长游程被分割为一块块的短游程边，因此可以通过计算图文模板连通域的边缘方向将有缺陷图文印刷连通域长游程被分割的程度进而得到有缺陷图文印刷连通域的严重程度。
通过腐蚀操作得到图文模板连通域和对应的图文印刷连通域的边界，腐蚀操作的结构元如图4所示，用图文印刷连通域减去图文印刷连通域的腐蚀结果得到单像素边缘，即印刷区域边界。
通过harris角点检测得到图文模板连通域上的角点，进而得到了不同角点之间的印刷区域的边界线，然后计算对应印刷区域上不同角点之间边界线的情况。
角点匹配：对图文模板连通域上的角点与图文印刷连通域上的角点进行坐标匹配，得到图文印刷连通域上的与图文模板连通域角点对应的角点。如图3所示，图文模板连通域的角点为4个90°的点，根据坐标信息得到了图文印刷连通域上对应的4个角点的位置信息。进而得到了图文印刷连通域的被图文模板连通域角点划分的边，将每条边记为L1,L2,...Ln，其中n=图文模板连通域角点数量-1，如图5中（1）所示。
根据图5中（1）所示，计算图文印刷连通域每条边的边缘游程分布距离，如图5中（1）所示，分别计算得到图文印刷连通域的四条边的游程分布情况得到游程距离，即计算沿着标准游程方向的实际边缘被切分的游程情况。
其中标准游程方法为图文模板连通域对应边中每个像素点的切线方向，即线段的前进方向。
根据图5中（1）所示的分割情况得到图5中（2）所示的图文印刷连通域被图文模板连通域划分的短游程边的链结构，链结构的节点值是位于印刷区域内部的分割长度，链结构的边值是位于印刷区域外部的分割程度，得到短游程边的链结构的具体方法如下：
1)将角点匹配后的图文印刷连通域和图文模板连通域进行二值化处理，得到的图文印刷连通域和图文模板连通域上的像素点的像素值只有0和1两种情况；
2)根据相互匹配的图文印刷连通域和图文模板连通域上相对应的的像素点的像素值进行链结构的计算，若相对应的像素点的像素值都为1，则该像素点为节点上的像素点，将该像素点作为节点像素点；若相对应的像素点的像素值一个为1，另一个为0，则该像素点为边上的点，将该像素点作为边像素点；
3)对节点像素点和边像素点进行统计，若出现连续的节点像素点，则将连续出现的节点像素点的数量作为节点值，若出现连续的边像素点，则将连续出现的边像素点的数量作为边值；如图5中（2）所示，被分割的第一段短游程中对应的是连续的四对像素值不同的像素点，则第一段短游程是节点，节点值为4；被分割的第二段短游程中对应的是连续的两对像素值都为1的像素点，则第二段短游程为边，边值为2；被分割的第三段短游程中对应的是连续的两对像素值不同的像素点，则第三段短游程为节点，节点值为2，......；
4)对相互匹配的图文印刷连通域被图文模板连通域划分的短游程边上所有的像素点进行统计，得到该图文印刷连通域被划分的短游程的链六结构，对所有的图文印刷连通域被划分的短游程进行分析计算，得到所有图文印刷连通域被划分的短游程的链结构。
印刷区域内部的分割长度越大（即对应像素点的像素值都为1且连续出现的像素点越多），外部的分割长度越小（即对应的像素点的像素值不同且连续出现的像素点越少），即节点值越大，边权值越小，该处边属于缺陷边的概率越小。
S206、计算图文印刷连通域边界线的缺陷概率
根据得到的被划分的链结构，计算链结构中节点和边长度的均值比例，根据图文印刷连通域边界线被划分的短游程边长度和图文模板连通域中边界线的长度计算边值占比，根据均值比例和边值占比计算图文印刷连通域边界线的缺陷概率。
根据短游程边的链结构可以得到链结构的节点值和边值，计算节点均值和边均值的比例作为均值比例，均值比例越小，该部分印刷区域边界线属于缺陷边的概率越大。
获取短游程边的链结构中的边值，计算短游程边的边值和与图文模板连通域边值和的比值，作为边值占比，边值占比越大，该部分印刷区域边界线为曲线边的概率越大。
对均值比例和边值占比作商，得到该图文印刷连通域边界线的缺陷概率，具体计算如下：
式中：
为第
个图文印刷连通域的边界线的缺陷概率，
为图文印刷连通域的序号，
为均值比例，
为短游程边的边值占比。
如图5所示，点A和点B属于图文模板连通域中的点，点A和点B之间的折线部分是对应的图文印刷连通域边界，直线段部分是图文模板连通域的边界，由于点A和点B处的缺陷部分会影响后续计算的精度，选择图文模板连通域中除点A和点B的像素点参与后续计算。
S207、计算图文模板连通域和图文印刷连通域的角点匹配性
图文印刷连通域与图文模板连通域的大体形状一致，只是增加了许多的角点，通过计算角点匹配性得到图文印刷连通域与图文模板连通域的匹配程度，角点匹配性越小，即图文印刷连通域变形程度越大，缺陷问题越严重。
通过harris角点检测得到图文印刷连通域的角点，然后通过DTW计算图文印刷连通域角点与对应的图文模板连通域角点的距离。DTW计算得到的距离是由于毛刺缺陷导致的图文印刷连通域与图文模板连通域的形状的相近程度，DTW距离越大，即图文印刷连通域与图文模板连通域的形状变化越大，即毛刺缺陷越严重。
DTW原本是用来比较长度不相等的两个时间序列的相似性。图文模板连通域与图文印刷连通域可以看做是一个像素点从同一个起点出发最终又回到起点的过程，区别只是图文模板连通域经过的道路较为平缓，用时较短；而图文印刷连通域经过的道路比较陡，用时较长。可以用路径的长短表示时间长短。
因此可以建立一个坐标系，用横坐标表示相邻角点之间的距离，纵坐标表示对应的相邻角点之间的角度差值，通过比较图文模板连通域和图文印刷连通域的匹配性坐标，如图6所示，进而计算得到DTW距离，将DTW距离的倒数作为角点的匹配性，DTW距离越大，即角点匹配性越小，图文印刷连通域与对应图文模板连通域的形状相似性越小，即毛刺缺陷造成图文印刷连通域变形越大，毛刺现象越严重。用D表示计算得到的角点匹配性，即DTW距离的倒数。
计算DTW距离时的具体过程如下：
图6中（1）是图文模板连通域，图6中（2）是图文模板连通域对应的DTW坐标系，通过对图6中图（1）进行角点检测，得到了a,b,c,d四个角点，建立的坐标系中，横坐标为不同角点之间的欧式距离，纵坐标为不同角点之间的角度差值，根据图6中图（1）建立图6中图（2）的过程如下：
以点a为坐标原点O，点a，b之间的距离作为点b的横坐标，向量ab和向量bd之间的向量角度值作为点b的纵坐标，就得到了点b的坐标。
以此类推，进而得到了后面点的坐标值，连接形成折线。
由于是印刷区域角点，因此起点和终点是同一个点。
图6中的（3）是图6中的（1）对应的缺陷图像，图6中的（4）是根据图6中的（3）建立的坐标系折线图。通过计算图6中的（2）和图6中的（4）中折线的DTW距离得到结果。
S208、得到所有的缺陷区域
根据得到的图文模板连通域和图文印刷连通域的角点匹配性以及图文印刷连通域边界线的缺陷概率对图文印刷连通域是否为缺陷区域进行判断，得到所有的缺陷区域。
边缘游程距离计算得到的是图7（1）中图文模板连通域边界线与图文印刷连通域边界线的距离，即相似性。
形状距离计算得到的是图文模板连通域边界线与图文印刷连通域边界线角点的突变点的距离，即图7（2）中的大角点。当较大的角点出现时，图文印刷连通域形状与对应图文模板连通域的DTW距离较大，即形状距离较大，此时该连通域的毛刺现象较为严重。
因此在计算得到角点匹配性D和缺陷概率P后，对图文印刷连通域是否为缺陷区域确定方法如下：
(1) 当图文印刷连通域的D超过预设的匹配性阈值时，该图文印刷连通域必然为缺陷区域，且较为严重。
(2) 当图文印刷连通域的D没有超过预设的匹配性阈值时，认为缺陷概率P大于缺陷阈值的图文印刷连通域为缺陷区域，本实施例的缺陷阈值设置为0.9。
S209、根据缺陷区域进行相应修复
由于图文印刷连通域都带有标号，根据标号对相应的印刷区域进行分析，及时对印刷版进行修复，对后续质量进行把控。
本发明中涉及诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
还需要指出的是，在本发明的方法和系统中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。
上述实施例仅仅是为清楚地说明所做的举例，并不构成对本发明的保护范围的限制。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无需也无法对所有的实施方式予以穷举。凡是与本发明相同或相似的设计均属于本发明的保护范围之内。
Claims (8)
1.一种基于图像处理的丝网印刷玻璃缺陷检测方法，其特征在于，包括：
获取完成丝印后玻璃上所有图文印刷连通域；
利用所有图文印刷连通域的中心点之间的最短路径和标准图文中所有图文模板连通域中心点之间的最短路径匹配出每一个图文印刷连通域及与其对应的图文模板连通域；
利用每一对相互匹配的图文印刷连通域和图文模板连通域中相互匹配的角点，将每一个图文印刷连通域的边缘划分为多段短游程边；
根据划分的短游程边得到短游程边的链结构，根据短游程边的链结构中的节点值和边值计算该图文印刷连通域边界线的缺陷概率；
根据图文模板连通域和对应的图文印刷连通域的角点坐标计算图文模板连通域和对应的图文印刷连通域的角点匹配性；
根据得到的角点匹配性和图文印刷连通域边界线的缺陷概率判断每个图文印刷连通域是否为缺陷区域，得到所有的缺陷区域。
2.根据权利要求1所述的一种基于图像处理的丝网印刷玻璃缺陷检测方法，其特征在于，所述根据短游程边的链结构中的节点值和边值计算该图文印刷连通域边界线的缺陷概率的方法为：利用图文印刷连通域的链结构中数据计算均值比例，再计算图文印刷连通域短游程边的占比，根据均值比例和边值占比作商，得到该图文印刷连通域边界线的缺陷概率，具体计算如下：
式中：
为第
个图文印刷连通域的边界线的缺陷概率，
为图文印刷连通域的序号，
为均值比例，
为短游程边的占比。
3.根据权利要求2所述的一种基于图像处理的丝网印刷玻璃缺陷检测方法，其特征在于，所述短游程边是对配准后的图文模板连通域和图文印刷连通域进行角点匹配，匹配后存在缺陷的图文印刷连通域的边界线会被图文模板连通域的边界线上的角点分割，得到多段短游程边。
4.根据权利要求1所述的一种基于图像处理的丝网印刷玻璃缺陷检测方法，其特征在于，所述根据划分的短游程边构建短游程边的链结构的过程如下：
对角点匹配后的图文模板连通域和图文印刷连通域进行二值化处理，然后根据分割后的短游程边上相互匹配的图文模板连通域和图文印刷连通域上的像素点的像素值构建短游程边的链结构；
若相互匹配的图文模板连通域和图文印刷连通域上的对应像素点的像素值都为1，则将图文印刷连通域上的该像素点作为节点像素点，若相互匹配的图文模板连通域和图文印刷连通域上的对应像素点的像素值不同，则将图文印刷连通域上的该像素点作为边像素点；
节点值为连续节点像素点的数量，边值为连续边像素点的数量，对图文印刷连通域中边界线上所有像素点进行分析，得到该图文印刷连通域被划分的短游程的链结构。
5.根据权利要求1所述的一种基于图像处理的丝网印刷玻璃缺陷检测方法，其特征在于，所述获取完成丝印后玻璃上所有图文印刷连通域的过程如下：
对完成丝印后的玻璃进行图像采集得到丝印玻璃图像，将丝印玻璃图像转换为HSI图像提取HSI图像上的色调通道，得到色调图像，对色调图像中的色调值进行统计，频数最多的颜色为玻璃颜色，其余的颜色作为图文颜色，将图文颜色的像素点作为图文像素点；
对得到的图文像素点进行八连通域分析，得到的图文连通域，根据图文连通域的中心点坐标对各图文连通域进行标号，将带有标号的图文连通域与丝印玻璃图像相乘得到图文印刷连通域。
6.根据权利要求1所述的一种基于图像处理的丝网印刷玻璃缺陷检测方法，其特征在于，所述计算图文印刷连通域的角点匹配性的方法：
获取图文模板连通域每个角点的角度值，通过harris角点检测得到和图文模板连通域对应的图文印刷连通域的角点，再获取得到的图文印刷连通域的每个角点的角度值，计算对应角点的角度差值；
构建角点匹配坐标系，横坐标为相邻角点之间的距离，纵坐标为相邻角点之间的角度差值，分别得到图文模板连通域和图文印刷连通域的角点匹配坐标系；
获取图文模板连通域和图文印刷连通域的角点匹配坐标系中的数据，利用DTW算法对角点匹配坐标系中的数据计算得到图文模板连通域和图文印刷连通域的角点匹配性。
7.根据权利要求1所述的一种基于图像处理的丝网印刷玻璃缺陷检测方法，其特征在于，所述匹配出每一个图文印刷连通域及与其对应的图文模板连通域的方法为：
分别获取图文模板连通域和图文印刷连通域的中心点之间的最短路径，利用图文模板连通域和图文印刷连通域的最短路径进行匹配，根据路径匹配的结果对图文模板连通域和图文印刷连通域进行对应，得到每一个图文印刷连通域及与其对应的图文模板连通域。
8.根据权利要求1所述的一种基于图像处理的丝网印刷玻璃缺陷检测方法，其特征在于，所述判断每个图文印刷连通域是否为缺陷区域的方法如下：
设置图文印刷连通域的匹配性阈值和缺陷阈值；
将图文印刷连通域的角点匹配性和匹配性阈值进行比较：若该图文印刷连通域的角点匹配性超过匹配性阈值时，该图文印刷连通域为缺陷区域；若该图文印刷连通域的角点匹配性不超过匹配性阈值时，该图文印刷连通域边界线的缺陷概率大于缺陷阈值，则该图文印刷连通域为缺陷区域。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210855694.1A CN115049638A (zh) | 2022-07-21 | 2022-07-21 | 一种基于图像处理的丝网印刷玻璃缺陷检测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210855694.1A CN115049638A (zh) | 2022-07-21 | 2022-07-21 | 一种基于图像处理的丝网印刷玻璃缺陷检测方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115049638A true CN115049638A (zh) | 2022-09-13 |
Family
ID=83167243
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210855694.1A Pending CN115049638A (zh) | 2022-07-21 | 2022-07-21 | 一种基于图像处理的丝网印刷玻璃缺陷检测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115049638A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115272343A (zh) * | 2022-09-29 | 2022-11-01 | 江苏剑山包装科技有限公司 | 一种包装印刷品印刷质量检测方法 |
| CN115272320A (zh) * | 2022-09-27 | 2022-11-01 | 江苏昱恒电气有限公司 | 一种电子产品表面印刷质量检测方法 |
| CN115439476A (zh) * | 2022-11-07 | 2022-12-06 | 成都博视广达科技有限责任公司 | 基于图像分析的丝印缺陷检测方法及装置 |
| CN116141829A (zh) * | 2022-12-30 | 2023-05-23 | 苏州江天电子材料有限公司 | 一种丝网印刷智能化工艺方法和系统 |
| CN116596929A (zh) * | 2023-07-18 | 2023-08-15 | 湖北三环三立汽车后视镜有限公司 | 一种汽车后视镜生产质量监控系统 |
| CN117197138A (zh) * | 2023-11-07 | 2023-12-08 | 深圳市极摩客科技有限公司 | 基于图像特征的电脑主机外壳划痕检测方法 |
-
2022
- 2022-07-21 CN CN202210855694.1A patent/CN115049638A/zh active Pending
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115272320A (zh) * | 2022-09-27 | 2022-11-01 | 江苏昱恒电气有限公司 | 一种电子产品表面印刷质量检测方法 |
| CN115272320B (zh) * | 2022-09-27 | 2022-12-13 | 江苏昱恒电气有限公司 | 一种电子产品表面印刷质量检测方法 |
| CN115272343A (zh) * | 2022-09-29 | 2022-11-01 | 江苏剑山包装科技有限公司 | 一种包装印刷品印刷质量检测方法 |
| CN115439476A (zh) * | 2022-11-07 | 2022-12-06 | 成都博视广达科技有限责任公司 | 基于图像分析的丝印缺陷检测方法及装置 |
| CN115439476B (zh) * | 2022-11-07 | 2023-03-14 | 成都博视广达科技有限责任公司 | 基于图像分析的丝印缺陷检测方法及装置 |
| CN116141829A (zh) * | 2022-12-30 | 2023-05-23 | 苏州江天电子材料有限公司 | 一种丝网印刷智能化工艺方法和系统 |
| CN116141829B (zh) * | 2022-12-30 | 2024-02-13 | 苏州江天电子材料有限公司 | 一种丝网印刷智能化工艺方法和系统 |
| CN116596929A (zh) * | 2023-07-18 | 2023-08-15 | 湖北三环三立汽车后视镜有限公司 | 一种汽车后视镜生产质量监控系统 |
| CN116596929B (zh) * | 2023-07-18 | 2023-10-20 | 湖北三环三立汽车后视镜有限公司 | 一种汽车后视镜生产质量监控系统 |
| CN117197138A (zh) * | 2023-11-07 | 2023-12-08 | 深圳市极摩客科技有限公司 | 基于图像特征的电脑主机外壳划痕检测方法 |
| CN117197138B (zh) * | 2023-11-07 | 2024-02-23 | 深圳市极摩客科技有限公司 | 基于图像特征的电脑主机外壳划痕检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115049638A (zh) | 一种基于图像处理的丝网印刷玻璃缺陷检测方法及装置 | |
| CN114842009B (zh) | 一种基于灰度游程矩阵的电缆缺陷检测优化方法 | |
| CN107729899B (zh) | 一种车牌号码识别方法及装置 | |
| CN113344857B (zh) | 缺陷检测网络的训练方法、缺陷检测方法和存储介质 | |
| CN104331695B (zh) | 一种鲁棒的圆形标志符形状质量检测方法 | |
| CN107389693B (zh) | 一种基于机器视觉的印刷品缺陷自动检测方法 | |
| CN111242896A (zh) | 一种彩色印刷标签缺陷检测与质量评级方法 | |
| CN109886954B (zh) | 一种印刷品缺陷检测方法 | |
| CN112686264B (zh) | 数字式仪表读数方法、装置、计算机设备和存储介质 | |
| CN112508857B (zh) | 基于改进型Cascade R-CNN的铝材表面缺陷检测方法 | |
| CN112016563B (zh) | 一种圆形印章的真伪识别方法 | |
| CN110633635A (zh) | 一种基于roi的交通标志牌实时检测方法及系统 | |
| Choi et al. | Localizing slab identification numbers in factory scene images | |
| CN107798355B (zh) | 一种基于文档图像版式自动分析与判断的方法 | |
| CN110533660B (zh) | 一种电子产品外壳丝印缺陷的检测方法 | |
| CN115035118B (zh) | 一种基于识别模型的pcb生产线残缺检测方法及系统 | |
| CN113870154A (zh) | 图像数据处理方法、装置、计算机设备和存储介质 | |
| CN109635679B (zh) | 一种实时的靶纸定位及环线识别方法 | |
| CN115290697B (zh) | 一种聚氨酯生产异常识别方法 | |
| CN115272320B (zh) | 一种电子产品表面印刷质量检测方法 | |
| CN108256526B (zh) | 一种基于机器视觉的机动车车牌定位检测方法 | |
| CN112288782A (zh) | 一种基于边界段数数值pcb缺陷检测方法 | |
| CN106408021B (zh) | 一种基于笔画粗细的手写体与印刷体的鉴别方法 | |
| Guo et al. | A license plate recognition algorithm based on image processing technology. | |
| Han et al. | Research on Blob Analysis Algorithm-based Segmentation of Characters in License Plate |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20220913 |
|
| WD01 | Invention patent application deemed withdrawn after publication |