CN110390677A - 一种基于滑动自匹配的缺陷定位方法及系统 - Google Patents

一种基于滑动自匹配的缺陷定位方法及系统 Download PDF

Info

Publication number
CN110390677A
CN110390677A CN201910873172.2A CN201910873172A CN110390677A CN 110390677 A CN110390677 A CN 110390677A CN 201910873172 A CN201910873172 A CN 201910873172A CN 110390677 A CN110390677 A CN 110390677A
Authority
CN
China
Prior art keywords
image
value
pixel
sliding
level correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910873172.2A
Other languages
English (en)
Other versions
CN110390677B (zh
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Shuzhilian Technology Co Ltd
Original Assignee
Chengdu Shuzhilian Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Shuzhilian Technology Co Ltd filed Critical Chengdu Shuzhilian Technology Co Ltd
Priority to CN201910873172.2A priority Critical patent/CN110390677B/zh
Publication of CN110390677A publication Critical patent/CN110390677A/zh
Application granted granted Critical
Publication of CN110390677B publication Critical patent/CN110390677B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction

Abstract

本发明公开了一种基于滑动自匹配的缺陷定位方法及系统，基于面板生产等领域产品的循环重复特性，在三维空间中，将水平校正的原始图像沿Z轴方向移动生成滑动图像；滑动图像沿X轴滑动并计算与水平校正的原始图像重叠区域的像素差异值序列，查找序列的最小的极小值及对应的滑动步数k；计算滑动k步时重叠区域之间的差异图像灰度图的像素值直方图，获取直方图对应的像素值分布序列中的首个局部极小值对应的像素值分割点t，基于t二值化差异灰度图；提取二值化图像中像素值不为0的像素区域获取到重叠区域中缺陷区域矩形框位置，与k值结合获得原始图像的缺陷区域；通过该方法和系统，可以在无标准模板的条件下，快速自动定位缺陷区域位置信息。

Description

一种基于滑动自匹配的缺陷定位方法及系统
技术领域
本发明涉及智能制造与人工智能技术领域，具体地，涉及一种基于滑动自匹配的缺陷定位方法及系统。
背景技术
现有面板制造生产过程通常包含Array、CF、Cell和模组等流程，其中Array生产会逐层叠加生产最终生成阵列基板。在每个层次进行生产时，会通过AOI设备拍摄产品，然后识别出其中可能有问题的部位及对应的缺陷Code。目前AOI设备识别缺陷的方法主要通过对比产品的拍照图像和标准模板识别其中的缺陷区域。另外，目前基于深度学习的缺陷分类方法需要大量的人工标注过程，从现有的图像中标示出缺陷的位置信息然后训练目标识别模型。
综上所述，本发明发明人在实现本发明技术方案的过程中，发现上述技术至少存在如下技术问题：
现有的基于图像处理技术的缺陷识别方法需要依赖标准模板对比识别，基于深度学习的缺陷分类方法需要大量的人工标注。
发明内容
本发明提供了一种基于滑动自匹配的缺陷定位方法及系统，解决了背景技术中的问题，实现了在不依赖标准模板及人工标注的前提下的面板缺陷识别。
为实现上述发明目的，本发明一方面提供了一种基于滑动自匹配的缺陷定位方法，所述方法包括：
步骤1：水平校正原始图像；
步骤2：在三维空间中，将水平校正后的原始图像沿Z轴方向上移或者下移生成滑动图像；将滑动图像沿X轴向左或向右逐像素滑动；每次滑动后计算滑动图像和水平校正后的原始图像在Z轴方向上重叠区域的像素差异值，基于若干次滑动的像素差异值生成像素差异值序列；
步骤3：采用局部峰值查找算法获取像素差异值序列的极小值序列，将最小的极小值对应的滑动步数作为目标滑动值k；
步骤4：利用帧差法计算滑动步数为k时水平校正后的原始图像与滑动图像重叠区域之间的像素值差异图像；
步骤5：将像素值差异图像转化为像素值差异灰度图，并计算像素值差异灰度图的像素值直方图；
步骤6：基于像素值直方图获得对应的像素值分布序列，采用局部峰值查找算法获取像素值分布序列中的首个局部极小值，获取首个局部极小值对应的像素值分割点t；
步骤7：基于步骤6获取的像素值分割点t二值化差异灰度图，获得二值化后的图像；
步骤8：提取二值化后的图像中像素值不为0的像素区域，即缺陷区域，并计算该区域在步骤7所得的二值化后的图像上Y轴方向最大值h max 、最小值h min 以及X轴方向的最大值w max 、最小值w min ，从而获取到水平校正后的原始图像和目标滑动值k对应的滑动图像重叠区域中缺陷区域矩形框的左上角的像素坐标(w min ,h min )和右下角的像素点坐标(w max ,h max )；
步骤9：结合步骤8获取的坐标信息和目标滑动值获得水平校正后的原始图像的缺陷区域矩形框位置信息。
其中，本发明的原理为：在面板制造等领域，产品设计具有重复性，即产品的结构和形状前后相同，面板图像的各个部分是相同的，因此可以通过对比滑动图像和水平校正后的原始图像的差异有效识别出缺陷区域的位置及边缘，从而从图像中有效定位缺陷，实现滑动图像和水平校正后的原始图像的有效自匹配。
滑动图像为水平校正后的原始图像的副本，通过逐个像素向右滑动滑动图像，对比三维空间中Z轴方向上两个图像的重叠区域。由于产品图像在线路上具有重复性，所以当滑动到重复部分时，通过两幅图像相减（帧差法）突出缺陷区域，从而有效识别缺陷区域。
优选的，所述方法在步骤2和步骤3之间还包括步骤：采用多项式回归拟合步骤2生成的像素差异值序列，然后计算像素差异值序列和拟合曲线之间的差异值，形成修正像素差异值序列，后续步骤3针对修正像素差异值序列进行处理。
优选的，所述步骤2中的像素差异值为diff(S_P,R_P)，其中S_P为滑动图像中与水平校正后的原始图像重叠区域，R_P为水平校正后的原始图像中与滑动图像重叠区域；计算公式为：
其中，w为S_P的像素宽度，h为S_P的像素高度，其中， 为S_P上第n个通道上（i，j）坐标像素的像素值；其中，为R_P上第n个通道上（i，j）坐标像素的像素值，其中通道包含RGB图像三通道。
优选的，步骤2中，假设第k次滑动，计算出的像素差异值为 ，得到从第1次滑动到第w-1次滑动的像素差异值序列 ，其中w为水平校正后的原始图像的宽度。
优选的，采用多项式回归拟合步骤2的像素差异值序列，得到滑动次数k和像素差异值的回归函数f(k)，修正的像素差异值序列为：
。
优选的，本方法采用Hough变换校正原始图像；本方法采用的局部峰值查找算法为信号处理领域的findpeaks算法，基于周边邻域值来获得所有的局部峰值；通过局部峰值算法获得修正的像素差异值序列中的多个局部极小值点，然后从获得的局部极小值点中选择最小的极小值点对应的滑动值作为目标滑动值。
优选的，帧差法为S_P_min和R_P_min图像之差的绝对值：
，其中S_P_min表示滑动目标滑动值k时的S_P，R_P_min表示滑动目标滑动值k时的R_P。
优选的，所述步骤6针对步骤5获取的像素值差异灰度图的像素值分布做log处理，采用局部峰值查找算法寻找不同像素值统计出的分布曲线log值的极小值，该极小值对应的像素值将作为像素值差异灰度图的二值化转换的阈值。
优选的，所述步骤8，将步骤7二值化后的图像记为B，图像B在高度方向的最大值和最小值分别为：
图像B在宽度方向的最大值和最小值分别为：
其中，为高度方向的坐标索引，为二值化后的图像的高度，为水平方向的坐标索引，为二值化后的图像的宽度，由于二值化后的图像对应于水平校正后的原始图像和目标滑动值滑动图像的重叠区域，则为缺陷区域矩形框的左上角像素坐标，为缺陷区域矩形框的右下角坐标；
在目标滑动值为k且滑动图像向右滑动时，定位出的缺陷区域矩形框在水平校正后的原始图像的左上角坐标为，右下角坐标为；
在目标滑动值为k且滑动图像向左滑动时，定位出的缺陷区域矩形框在水平校正后的原始图像的左上角坐标为，右下角坐标为。
另一方面，与本发明中的方法对应，本发明还提供了一种基于滑动自匹配的缺陷定位系统，所述系统包括：
校正单元，水平校正原始图像；
滑动单元，用于在三维空间中，将水平校正后的原始图像沿Z轴方向上移或者下移生成滑动图像；将滑动图像沿X轴向左或向右逐像素滑动；
像素差异值序列生成单元，用于每次滑动后计算滑动图像和水平校正后的原始图像在Z轴方向上重叠区域的像素差异值，基于若干次滑动的像素差异值生成像素差异值序列；
目标滑动值获得单元，采用局部峰值查找算法获取像素差异值序列的极小值序列，将最小的极小值对应的滑动步数作为目标滑动值；
差异图像获得单元，用于利用帧差法计算滑动目标滑动值时水平校正后的原始图像和滑动图像重叠区域之间的差异图像；
像素值直方图获得单元，用于将差异图像转化为差异灰度图，并计算差异灰度图的像素值直方图；
像素值分割点获取单元，用于基于像素值直方图获得对应的像素值分布序列，采用局部峰值查找算法获取像素值分布序列中的首个局部极小值，获取首个局部极小值对应的像素值分割点；
缺陷区域矩形框位置获得单元，用于基于获取的像素值分割点二值化差异灰度图；提取二值化后的图像中像素值不为0的像素区域，即缺陷区域，并计算该区域在二值化后的图像上的Y轴方向最大值h max 、最小值h min 以及X轴方向的最大值w max 、最小值w min ，从而获取到水平校正后的原始图像和目标滑动值k对应的滑动图像重叠区域中缺陷区域矩形框的左上角的像素坐标(w min ,h min )和右下角的像素点坐标(w max ,h max )，结合获取的坐标信息和目标滑动值k获得水平校正后的原始图像的缺陷区域矩形框位置信息，即在滑动图像向右滑动的情况下，缺陷区域矩形框在水平校正后的原始图像的左上角坐标为，右下角坐标为 。
其中，本系统中各单元的实现方式与上述方法中各步骤的实现方式相同。
本发明提供了一种基于滑动自匹配的缺陷定位方法与系统，结合面板生产等领域产品的循环重复特性，通过滑动自匹配的方法对比匹配水平校正后的原始图像和滑动图像自动识别水平校正后的原始图像和滑动图像最相似的滑动位置；针对识别出的滑动位置采用帧差法识别出缺陷区域的位置及可能轮廓，从而自动定位图像中缺陷区域位置。通过该方法和系统，实现了在不依赖标准模板及人工标注的前提下的快速面板缺陷识别。
本发明提供的一个或多个技术方案，至少具有如下技术效果或优点：
通过面板生产自动缺陷检测方法的实现，可以自动从AOI输出图像中识别缺陷区域的位置。一方面，可以解决在无模板情况下的缺陷识别及定位问题；另一方面，针对基于深度学习缺陷识别人工打标工作量大及标注标准难统一的问题可以实现自动识别。另外，结合滑动自匹配算法，可以有效解决新缺陷的分类问题。从而有效提升缺陷识别能力，同时有效应对新缺陷的识别，提升企业产品质量。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解，构成本发明的一部分，并不构成对本发明实施例的限定；
图1是本发明中原始图像水平校正示意图；
图2是本发明中水平校正后的原始图像与滑动图像的滑动对比示意图；
图3是本发明中滑动图像中与水平校正后的原始图像重叠差异计算示意图；
图4是本发明中多项式回归示意图；
图5是本发明中通过局部峰值算法获得目标滑动值示意图；
图6是本发明中差异灰度图的像素值分布log处理示意图；
图7是本发明中一种基于滑动自匹配的缺陷定位方法的流程示意图；
图8是本发明中一种基于滑动自匹配的缺陷定位系统的组成示意图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在相互不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述范围内的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
本发明提出了一种基于滑动自匹配的定位方法，包括利用Hough变换校正原始图像；通过滑动自匹配方法逐步对比校正后的原始图像和滑动图像之间的距离，得到像素差异值序列，采用多项式回归修正像素差异值序列；采用局部极值寻找算法获得滑动最佳匹配值，并对比此时水平校正后的原始图像和滑动图像的像素值差异，获得像素值差异图像；将像素值差异图像转化为像素值差异灰度图，并计算像素值差异灰度图的像素值直方图，并采用像素值直方图确定像素值差异图的二值化阈值，寻找二值化后的像素值差异图中不为零的像素，得到缺陷区域的坐标位置。本方法可以针对发生的缺陷，实现计算量较小的有效定位，快速识别出图像中的缺陷区域。
请参考图7，本发明实施例提供了一种基于滑动自匹配的缺陷定位方法，包括步骤：
步骤1，采用Hough变换水平校正原始图像。
步骤2：定义水平校正后的原始图像为refer image，在三维空间中，将referimage沿Z轴方向上移或者下移生成滑动图像slide image；将slide image沿X轴向左或向右逐像素滑动；每次滑动后计算slide image和refer image在Z轴方向上重叠区域的像素差异值，基于若干次滑动的像素差异值生成像素差异值序列。
步骤3，采用多项式回归拟合步骤2生成的像素差异值序列，然后计算像素差异值序列和拟合曲线之间的差异值，形成修正像素差异值序列，从而去除其他因素如光照不同对图像间差异的影响。
步骤4，采用局部峰值查找算法获取修正后像素差异序列的极小值序列，将最小的极小值对应的滑动步数作为目标滑动值。
步骤5，利用帧差法计算滑动目标滑动值时refer image与slide image重叠区域之间的像素值差异图像。
步骤6，将像素值差异图像转化为像素值差异灰度图，并计算像素值差异灰度图的像素值直方图，在直方图中横坐标对应于灰度值，纵坐标代表像素的个数，即像素值分别从0-255，每个像素值对应的像素个数。
步骤7，根据直方图，采用极值寻找算法获取像素值直方图首个局部极小值，首个局部极小值基于像素值直方图的像素个数序列求出，然后该极小值对应的灰度值为差异灰度图的像素值分割点。
步骤8，基于步骤7获取的像素值分割点二值化差异灰度图，获得二值化后的图像，即将像素值大于分割点的像素转化为255，小于阈值的部分转为0；
步骤9，针对二值化后的图像，提取像素值不为0的像素区域，即缺陷区域，并计算该区域在步骤8所得的二值化后的图像上的Y轴方向上的最大值和最小值及X轴方向上的最大值和最小值，从而获取到refer image及滑动目标滑动值时和slide image重叠区域的左上角和右下角的像素点坐标。在图像处理领域，左上角为坐标（0，0），然后右上角为（w-1，0），左下角为（0，h-1）。
步骤10，结合步骤9获取的坐标信息和目标滑动值得到refer image的缺陷区域矩形框位置信息。即可从refer image中定位出缺陷区域位置。
其中步骤1中的水平校正是为了修正AOI设备拍照时产品摆放倾斜导致的图像中元器件线路发生轻微倾斜的情况，如图1所示。上述过程目的是防止在向右水平滑动过程中，无法匹配到重复单元。
所述步骤2 中的refer image和slide image的定义如图2所示。针对产品对应的一张图像，需要从图像中识别出是否具有缺陷以及缺陷对应的区域。所以，将该图像本身对应为水平校正后的原始图像（refer image），而滑动图像（slide image）为水平校正后的原始图像的副本，通过逐个像素向右滑动slide image，对比上下两个图像的重叠区域，由于产品图像在线路上具有重复性，所以当滑动到重复部分时，通过两幅图像相减（帧差法），可以突出缺陷区域，从而有效识别缺陷区域。
所述步骤2中的每次滑动是按图像的单个像素滑动，由于是通过滑动寻找重复单元，所以可向左或向右滑动且每次滑动方向一致。
所述步骤2中的差异值如图3的diff(S_P,R_P),其中S_P为slide image中与referimage重叠区域，R_P为refer image中与slide image重叠区域。计算公式为：
其中，w为S_P的像素宽度，h为S_P的像素高度，其中，为S_P上第n个通道上（i，j）坐标像素的像素值；其中，为R_P上第n个通道上（i，j）坐标像素的像素值，其中通道包含RGB图像三通道。
所述步骤2中，假设第k次滑动，计算出的像素差异值为，得到从第1次滑动到第w-1次滑动的像素差异值序列，其中w为水平校正后的原始图像的宽度。
所述步骤3的多项式回归，是对步骤2的像素差异值序列做3次多项式回归，如图4所示，图4中横坐标代表滑动次数，图4中左半部分图的纵坐标表示refer image和slideimage的重叠区域差异值，图4中右半部分图中的纵坐标表示修正后的像素差异值；得到滑动次数k和像素差异值的回归函数f(k), 然后修正的像素差异值序列为：
。
所述步骤4中的局部峰值查找算法采用信号处理领域的findpeaks算法，其核心思想为基于周边邻域值来获得所有的局部最大值。如图5所示，图5中横坐标代表滑动次数，纵坐标表示修正后的像素差异值。基于周边邻域值来获得所有的局部峰值；通过局部峰值算法获得修正的像素差异值序列中的多个局部极小值点，然后从获得的局部极小值点中选择最小的极小值点对应的滑动值作为目标滑动值。
所述步骤7，首先针对步骤6获取的差异灰度图的像素值分布做log处理，如图6所示，图6中横坐标表示像素值（0-255），图6中左半部分图的纵坐标表示对应像素区间统计的像素数量，图6中右半部分图的纵坐标表示对像素个数进行log处理后的数值。然后采用步骤4相同方法寻找不同像素值统计出的分布曲线log处理值的极小值，该极小值对应的像素值将作为差异灰度图的二值化转换的阈值。
所述步骤9，将步骤8二值化后的图像记为B，图像B在高度方向的最大值和最小值分别为：
图像在宽度方向的最大值和最小值分别为：
其中，为高度方向的坐标索引，为二值化后的图像的高度，为水平方向的坐标索引，为二值化后的图像的宽度，由于二值化后的图像对应于refer image和目标滑动值slideimage的重叠区域，则为缺陷区域矩形框的左上角像素坐标，为缺陷区域矩形框的右下角坐标。
所述步骤10，基于步骤9的结果，在目标滑动值为k且向右滑动的情况下，定位出的缺陷区域矩形框在refer image的左上角坐标为，右下角坐标为。
请参考图8，本发明实施例还提供了一种基于滑动自匹配的缺陷定位系统，所述系统包括：
校正单元，用于水平校正原始图像；
滑动单元，用于在三维空间中，定义水平校正后的原始图像为refer image，将referimage沿Z轴方向上移或者下移生成滑动图像slide image；将slide image沿X轴向左或向右逐像素滑动；
像素差异值序列生成单元，用于每次滑动后计算slide image和refer image在Z轴方向上重叠区域的像素差异值，基于若干次滑动的像素差异值生成像素差异值序列；
目标滑动值获得单元，用于采用局部峰值查找算法获取像素差异值序列的极小值序列，将最小的极小值对应的滑动步数作为目标滑动值；
差异图像获得单元，用于利用帧差法计算滑动目标滑动值时refer image和slideimage重叠区域之间的差异图像；
像素值直方图获得单元，用于将差异图像转化为差异灰度图，并计算差异灰度图的像素值直方图；
像素值分割点获取单元，用于基于像素值直方图获得对应的像素值分布序列，采用局部峰值查找算法获取像素值分布序列中的首个局部极小值，获取首个局部极小值对应的像素值分割点；
缺陷区域矩形框位置获得单元，用于基于获取的像素值分割点，二值化差异灰度图；提取二值化后的图像中像素值不为0的像素区域，即缺陷区域，并计算该区域在二值化后的图像上的Y轴方向最大值h max 、最小值h min 以及X轴方向的最大值w max 、最小值w min ，从而获取到refer image和目标滑动值k对应的slide image重叠区域中缺陷区域矩形框的左上角的像素坐标(w min ,h min )和右下角的像素点坐标(w max ,h max )，结合获取的坐标信息和目标滑动值k获得refer image的缺陷区域矩形框位置信息，即在slide image向右滑动的情况下，缺陷区域矩形框在refer image的左上角坐标为，右下角坐标为。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种基于滑动自匹配的缺陷定位方法，其特征在于，所述方法包括：
步骤1：水平校正原始图像；
步骤2：在三维空间中，将水平校正后的原始图像沿Z轴方向上移或者下移生成滑动图像；将滑动图像沿X轴向左或向右逐像素滑动；计算每次滑动后滑动图像和水平校正后的原始图像在Z轴方向上重叠区域的像素差异值，基于若干次滑动的像素差异值生成像素差异值序列；
步骤3：采用局部峰值查找算法获取像素差异值序列的极小值序列，将最小的极小值对应的滑动步数作为目标滑动值k；
步骤4：利用帧差法计算滑动步数为k时水平校正后的原始图像与滑动图像重叠区域之间的像素值差异图像；
步骤5：将像素值差异图像转化为像素值差异灰度图，并计算像素值差异灰度图的像素值直方图；
步骤6：基于像素值直方图获得对应的像素值分布序列，采用局部峰值查找算法获取像素值分布序列中的首个局部极小值，获取首个局部极小值对应的像素值分割点t；
步骤7：基于步骤6获取的像素值分割点t二值化差异灰度图，获得二值化后的图像；
步骤8：提取二值化后的图像中像素值不为0的像素区域，即缺陷区域，并计算该区域在步骤7所得的二值化后的图像上Y轴方向最大值h max 、最小值h min 以及X轴方向的最大值w max 、最小值w min ，从而获取到水平校正后的原始图像和目标滑动值k对应的滑动图像重叠区域中缺陷区域矩形框的左上角的像素坐标(w min ,h min )和右下角的像素点坐标(w max ,h max )；
步骤9：结合步骤8获取的坐标信息和目标滑动值k获得水平校正后的原始图像的缺陷区域矩形框位置信息，即在滑动图像向右滑动的情况下，缺陷区域矩形框在水平校正后的原始图像的左上角坐标为，右下角坐标为 。
2.根据权利要求1所述的一种基于滑动自匹配的缺陷定位方法，其特征在于，所述方法在步骤2和步骤3之间还包括步骤：采用多项式回归拟合步骤2生成的像素差异值序列，然后计算像素差异值序列和拟合曲线之间的差异值，形成修正像素差异值序列，后续步骤3针对修正像素差异值序列进行处理。
3.根据权利要求1所述的一种基于滑动自匹配的缺陷定位方法，其特征在于，所述步骤2中的像素差异值为diff(S_P,R_P)，其中S_P为滑动图像中与水平校正后的原始图像重叠区域，R_P为水平校正后的原始图像中与滑动图像重叠区域；计算公式为：
其中，w为S_P的像素宽度，h为S_P的像素高度，其中，为S_P上第n个通道上（i，j）坐标像素的像素值；其中，为R_P上第n个通道上（i，j）坐标像素的像素值，其中通道包含RGB图像三通道。
4.根据权利要求3所述的一种基于滑动自匹配的缺陷定位方法，其特征在于，帧差法为S_P_min和R_P_min图像之差的绝对值：，其中S_P_min表示滑动目标滑动值k时的S_P，R_P_min表示滑动目标滑动值k时的R_P。
5.根据权利要求3所述的一种基于滑动自匹配的缺陷定位方法，其特征在于，步骤2中，假设第k次滑动，计算出的像素差异值为，得到从第1次滑动到第w-1次滑动的像素差异值序列，其中w为水平校正后的原始图像的宽度。
6.根据权利要求2所述的一种基于滑动自匹配的缺陷定位方法，其特征在于，采用多项式回归拟合步骤2的像素差异值序列，得到滑动次数k和像素差异值的回归函数f(k)，修正的像素差异值序列为。
7.根据权利要求1所述的一种基于滑动自匹配的缺陷定位方法，其特征在于，本方法采用Hough变换校正原始图像；本方法中采用的局部峰值查找算法为信号处理领域的findpeaks算法，基于周边邻域值来获得所有的局部峰值；通过局部峰值算法获得修正的像素差异值序列中的多个局部极小值点，然后从获得的局部极小值点中选择最小的极小值点对应的滑动值作为目标滑动值。
8.根据权利要求1所述的一种基于滑动自匹配的缺陷定位方法，其特征在于，所述步骤6针对步骤5获取的像素值差异灰度图的像素值分布做log处理，采用局部峰值查找算法寻找不同像素值统计出的分布曲线log值的极小值，该极小值对应的像素值将作为像素值差异灰度图的二值化转换的阈值。
9.根据权利要求1所述的一种基于滑动自匹配的缺陷定位方法，其特征在于，所述步骤8，将步骤7二值化后的图像记为B，图像B在高度方向的最大值和最小值分别为：
图像B在宽度方向的最大值和最小值分别为：
其中，为高度方向的坐标索引，为二值化后的图像的高度，为水平方向的坐标索引，为二值化后的图像的宽度，由于二值化后的图像对应于水平校正后的原始图像和目标滑动值滑动图像的重叠区域，则为缺陷区域矩形框的左上角像素坐标，为缺陷区域矩形框的右下角坐标；
在目标滑动值为k且滑动图像向右滑动时，定位出的缺陷区域矩形框在水平校正后的原始图像的左上角坐标为，右下角坐标为；
在目标滑动值为k且滑动图像向左滑动时，定位出的缺陷区域矩形框在水平校正后的原始图像的左上角坐标为，右下角坐标为。
10.一种基于滑动自匹配的缺陷定位系统，其特征在于，所述系统包括：
校正单元，用于水平校正原始图像；
滑动单元，用于在三维空间中，将水平校正后的原始图像沿Z轴方向上移或者下移生成滑动图像；将滑动图像沿X轴向左或向右逐像素滑动；
像素差异值序列生成单元，用于计算每次滑动后滑动图像和水平校正后的原始图像在Z轴方向上重叠区域的像素差异值，基于若干次滑动的像素差异值生成像素差异值序列；
目标滑动值获得单元，用于利用局部峰值查找算法定位像素差异值序列的极小值序列，将最小的极小值对应的滑动步数作为目标滑动值；
差异图像获得单元，用于利用帧差法计算滑动目标滑动值时水平校正后的原始图像和滑动图像重叠区域之间的差异图像；
像素值直方图获得单元，用于将差异图像转化为差异灰度图，并计算差异灰度图的像素值直方图；
像素值分割点获取单元，用于基于像素值直方图获得对应的像素值分布序列，采用局部峰值查找算法获取像素值分布序列中的首个局部极小值，获取首个局部极小值对应的像素值分割点；
缺陷区域矩形框位置获得单元，用于基于获取的像素值分割点，二值化差异灰度图，获得二值化后的图像；提取二值化后的图像中像素值不为0的像素区域，即缺陷区域，并计算该区域在二值化后的图像上的Y轴方向最大值hmax、最小值hmin以及X轴方向的最大值wmax、最小值wmin，从而获取到水平校正后的原始图像和目标滑动值k对应的滑动图像重叠区域中缺陷区域矩形框的左上角的像素坐标(w min ,h min )和右下角的像素点坐标(w max ,h max )，结合获取的坐标信息和目标滑动值k获得水平校正后的原始图像的缺陷区域矩形框位置信息，即在滑动图像向右滑动的情况下，缺陷区域矩形框在水平校正后的原始图像的左上角坐标为，右下角坐标为。
CN201910873172.2A 2019-09-17 2019-09-17 一种基于滑动自匹配的缺陷定位方法及系统 Active CN110390677B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910873172.2A CN110390677B (zh) 2019-09-17 2019-09-17 一种基于滑动自匹配的缺陷定位方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910873172.2A CN110390677B (zh) 2019-09-17 2019-09-17 一种基于滑动自匹配的缺陷定位方法及系统

Publications (2)

Publication Number Publication Date
CN110390677A true CN110390677A (zh) 2019-10-29
CN110390677B CN110390677B (zh) 2020-01-07

Family

ID=68289655

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910873172.2A Active CN110390677B (zh) 2019-09-17 2019-09-17 一种基于滑动自匹配的缺陷定位方法及系统

Country Status (1)

Country Link
CN (1) CN110390677B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110837717A (zh) * 2019-11-06 2020-02-25 成都数之联科技有限公司 一种基于Map图的玻璃面板多元缺陷根因分析方法
CN111060527A (zh) * 2019-12-30 2020-04-24 歌尔股份有限公司 一种字符缺陷检测方法及装置
CN111160432A (zh) * 2019-12-19 2020-05-15 成都数之联科技有限公司 一种面板生产制造缺陷的自动分类方法及系统
CN112651961A (zh) * 2021-01-06 2021-04-13 华虹半导体(无锡)有限公司 晶圆缺陷的识别方法及装置
CN114862856A (zh) * 2022-07-07 2022-08-05 成都数之联科技股份有限公司 一种面板缺陷区域识别方法、装置、电子设备及介质
CN115988641A (zh) * 2023-03-20 2023-04-18 深圳市美力高集团有限公司 一种基于深度数据的人员无线定位辅助系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104360501A (zh) * 2014-10-15 2015-02-18 西安交通大学 一种液晶屏幕缺陷视觉检测方法及装置
WO2015068294A1 (ja) * 2013-11-11 2015-05-14 Ykk株式会社 スライダー組立機のスライダー検査装置
CN105160641A (zh) * 2015-08-04 2015-12-16 成都多贝科技有限责任公司 基于图像处理的x射线焊缝区域提取方法
CN106127780A (zh) * 2016-06-28 2016-11-16 华南理工大学 一种曲面表面缺陷自动检测方法及其装置
CN107768267A (zh) * 2017-10-20 2018-03-06 上海华力微电子有限公司 重复性缺陷的筛选方法
CN108447070A (zh) * 2018-03-15 2018-08-24 中国科学院沈阳自动化研究所 一种基于像素向量不变关系特征的工业零件缺损检测算法
CN208537378U (zh) * 2018-02-27 2019-02-22 陈一泽 一种注塑面板表面瑕疵检测设备
CN109564166A (zh) * 2016-07-08 2019-04-02 Ats自动化加工系统公司 用于自动和人工的组合检查的系统和方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015068294A1 (ja) * 2013-11-11 2015-05-14 Ykk株式会社 スライダー組立機のスライダー検査装置
CN104360501A (zh) * 2014-10-15 2015-02-18 西安交通大学 一种液晶屏幕缺陷视觉检测方法及装置
CN105160641A (zh) * 2015-08-04 2015-12-16 成都多贝科技有限责任公司 基于图像处理的x射线焊缝区域提取方法
CN106127780A (zh) * 2016-06-28 2016-11-16 华南理工大学 一种曲面表面缺陷自动检测方法及其装置
CN109564166A (zh) * 2016-07-08 2019-04-02 Ats自动化加工系统公司 用于自动和人工的组合检查的系统和方法
CN107768267A (zh) * 2017-10-20 2018-03-06 上海华力微电子有限公司 重复性缺陷的筛选方法
CN208537378U (zh) * 2018-02-27 2019-02-22 陈一泽 一种注塑面板表面瑕疵检测设备
CN108447070A (zh) * 2018-03-15 2018-08-24 中国科学院沈阳自动化研究所 一种基于像素向量不变关系特征的工业零件缺损检测算法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110837717A (zh) * 2019-11-06 2020-02-25 成都数之联科技有限公司 一种基于Map图的玻璃面板多元缺陷根因分析方法
CN110837717B (zh) * 2019-11-06 2022-09-06 成都数之联科技股份有限公司 一种基于Map图的玻璃面板多元缺陷根因分析方法
CN111160432A (zh) * 2019-12-19 2020-05-15 成都数之联科技有限公司 一种面板生产制造缺陷的自动分类方法及系统
CN111060527A (zh) * 2019-12-30 2020-04-24 歌尔股份有限公司 一种字符缺陷检测方法及装置
CN112651961A (zh) * 2021-01-06 2021-04-13 华虹半导体(无锡)有限公司 晶圆缺陷的识别方法及装置
CN114862856A (zh) * 2022-07-07 2022-08-05 成都数之联科技股份有限公司 一种面板缺陷区域识别方法、装置、电子设备及介质
CN115988641A (zh) * 2023-03-20 2023-04-18 深圳市美力高集团有限公司 一种基于深度数据的人员无线定位辅助系统

Also Published As

Publication number Publication date
CN110390677B (zh) 2020-01-07

Similar Documents

Publication Publication Date Title
CN110390677A (zh) 一种基于滑动自匹配的缺陷定位方法及系统
CN111223088B (zh) 一种基于深层卷积神经网络的铸件表面缺陷识别方法
CN109859171A (zh) 一种基于计算机视觉和深度学习的楼面缺陷自动检测方法
CN103955949B (zh) 基于Mean-shift算法的运动目标检测方法
CN109191429B (zh) 一种基于机器视觉的3d打印喷嘴检测方法
CN106204494B (zh) 一种包含大面积天空区域的图像去雾方法及系统
CN110648349A (zh) 基于背景减除和连通区域算法的焊缝缺陷分割方法
CN105740945A (zh) 一种基于视频分析的人群计数方法
CN110443791B (zh) 一种基于深度学习网络的工件检测方法及其检测装置
CN102306307B (zh) 一种彩色显微图像序列中固点噪声的定位方法
CN108537816A (zh) 一种基于超像素和背景连接先验的显著物体分割方法
CN110473174A (zh) 一种基于图像计算铅笔精确数目的方法
CN105654515A (zh) 基于分片及多特征自适应融合的目标跟踪方法
CN104331695A (zh) 一种鲁棒的圆形标志符形状质量检测方法
CN106204617A (zh) 基于残差图像直方图循环移位的自适应图像二值化方法
CN104599288A (zh) 一种基于肤色模板的特征跟踪方法及装置
CN110458812A (zh) 一种基于颜色描述及稀疏表达的类圆形水果缺陷检测方法
CN109781737A (zh) 一种软管表面缺陷的检测方法及其检测系统
CN108364675A (zh) 一种基于图像识别的食物重量及营养素含量的鉴定方法
CN110222735A (zh) 一种基于神经网络与背景建模的物品被盗遗留识别方法
TWI383690B (zh) 影像處理的方法
Shiting et al. Clustering-based shadow edge detection in a single color image
CN117197682A (zh) 一种长波红外遥感影像进行盲元检测与去除的方法
CN104978558A (zh) 目标的识别方法及装置
CN114187267B (zh) 基于机器视觉的冲压件缺陷检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: 610000 No. 270, floor 2, No. 8, Jinxiu street, Wuhou District, Chengdu, Sichuan

Patentee after: Chengdu shuzhilian Technology Co.,Ltd.

Address before: 610000 No.2, 4th floor, building 1, Jule Road intersection, West 1st section of 1st ring road, Wuhou District, Chengdu City, Sichuan Province

Patentee before: CHENGDU SHUZHILIAN TECHNOLOGY Co.,Ltd.

EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20191029

Assignee: Chengdu Shulian Cloud Computing Technology Co.,Ltd.

Assignor: Chengdu shuzhilian Technology Co.,Ltd.

Contract record no.: X2023510000019

Denomination of invention: A defect localization method and system based on sliding self matching

Granted publication date: 20200107

License type: Common License

Record date: 20231009