CN116309287A - 图像检测方法和图像检测装置 - Google Patents
图像检测方法和图像检测装置 Download PDFInfo
- Publication number
- CN116309287A CN116309287A CN202211708512.4A CN202211708512A CN116309287A CN 116309287 A CN116309287 A CN 116309287A CN 202211708512 A CN202211708512 A CN 202211708512A CN 116309287 A CN116309287 A CN 116309287A
- Authority
- CN
- China
- Prior art keywords
- image
- target
- detected
- line segment
- map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 159
- 230000007547 defect Effects 0.000 claims abstract description 139
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 55
- 238000000605 extraction Methods 0.000 claims abstract description 16
- 230000000873 masking effect Effects 0.000 claims abstract description 11
- 238000000034 method Methods 0.000 claims description 46
- 238000010586 diagram Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 13
- 238000003860 storage Methods 0.000 claims description 10
- 230000000694 effects Effects 0.000 abstract description 37
- 230000008569 process Effects 0.000 description 14
- 238000001914 filtration Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 229910052704 radon Inorganic materials 0.000 description 1
- SYUHGPGVQRZVTB-UHFFFAOYSA-N radon atom Chemical compound [Rn] SYUHGPGVQRZVTB-UHFFFAOYSA-N 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种图像检测方法和图像检测装置,属于图像处理技术领域。所述图像检测方法,包括:基于梯度算法对待测图像进行边缘提取,获取第一梯度图;对所述第一梯度图进行边缘掩模,获取二值图;对所述二值图进行随机Hough算法与生长算法处理,获取所述待测图像中的缺陷线段。本申请的图像检测方法,通过加入掩模阶段,使得算法适应性广,显著拓宽划痕检测的应用场景,通过采用自适应梯度阈值与随机Hough相结合的方式,执行效率高且可提取断续的浅划痕缺陷,有效提高划痕缺陷检测效率和检测效果。
Description
技术领域
本申请属图像处理技术领域,尤其涉及一种图像检测方法和图像检测装置。
背景技术
对于划痕类缺陷的图像检测,一般采用灰度相机成像,利用划痕处灰度值较大的特点进行缺陷检测,如将图像朝同一个方向投影,以找到投影中的异常值。但该方法不能解决任意方向的线段缺陷检测,适用范围具有局限性,对于同一张图像内的所有缺陷的识别,往往需从不同的方向进行投影以获取该投影方向所对应的线段缺陷,然后基于线段缺陷确定缺陷线段,从而影响检测效率和检测效果,无法满足快速地生产加工工艺的在线检测需求。
发明内容
本申请旨在至少解决现有技术中存在的技术问题之一。为此,本申请提出一种图像检测方法和图像检测装置,提高缺陷检测效果和缺陷检测效率,可对断续的浅划痕进行提取,且执行效率高于目前基于投影和基于深度学习的方法。
第一方面,本申请提供了一种图像检测方法,该方法包括:
基于梯度算法对待测图像进行边缘提取,获取第一梯度图;
对所述第一梯度图进行边缘掩模,获取二值图;
对所述二值图进行随机Hough算法与生长算法处理,获取所述待测图像中的缺陷线段。
根据本申请的图像检测方法,通过加入掩模阶段,使得算法适应性广,显著拓宽划痕检测的应用场景,通过采用自适应梯度阈值与随机Hough相结合的方式,执行效率高且可提取断续的浅划痕缺陷,有效提高划痕缺陷检测效率和检测效果。
根据本申请的一个实施例,所述对所述第一梯度图进行边缘掩模,获取二值图,包括:
基于所述待测图像的类型,获取目标掩模图;
基于所述第一梯度图和所述目标掩模图的差值,获取所述二值图;
其中,所述待测图像的类型包括有模板图或无模板图。
根据本申请的一个实施例,所述基于所述待测图像的类型,获取目标掩模图,包括:
在所述待测图像有模板图的情况下,对所述模板图进行梯度处理以及灰度膨胀,获取所述目标掩模图。
根据本申请实施例提供的图像检测方法,通过对模板图进行梯度处理以及灰度膨胀以获取目标掩模图,只需在检测待测图像之前计算一次,即可对同类待测图像进行复用,从而能够实现并行加速的检测方式,显著降低操作步骤,提高检测效率。
根据本申请的一个实施例,所述基于所述待测图像的类型,获取目标掩模图,包括:
在所述待测图像无模板图的情况下,获取时序图像序列,所述时序图像序列包括多个待测产品对应的待测图像,所述多个待测产品为同类产品;
对所述时序图像序列进行叠加处理,获取所述时序图像序列中目标图案区域的高值图和所述目标图案区域的低值图;
基于所述高值图和所述低值图,确定所述目标掩模图。
根据本申请实施例提供的图像检测方法,通过对时序图像序列进行叠加处理以获取目标掩模图,能够屏蔽图案边缘和图像纹理变化的线段缺陷特征,从而突出所获取的二值图的缺陷特征,减少误差,有助于提高检测效果。
根据本申请的一个实施例,所述基于梯度算法对待测图像进行边缘提取,获取第一梯度图,包括:
采用第一算子对所述待测图像进行水平方向的边缘提取,获取第二梯度图;
采用第二算子对所述待测图像进行竖直方向的边缘提取,获取第三梯度图;
对所述第二梯度图和所述第三梯度图求和,获取所述第一梯度图。
根据本申请实施例提供的图像检测方法,通过采用第一算子和第二算子获取第一梯度图,相对于Sobel算子求出的梯度图,可以显著削弱滤波效果,使得浅缺陷更加容易呈现,且可以将执行效率提高一倍,从而有助于提高检测效率和检测效果。
根据本申请的一个实施例,所述对所述二值图进行随机Hough算法与生长算法处理,获取所述待测图像中的缺陷线段,包括:
提取所述二值图中的多个白点;
将所述多个白点中的目标白点转换至Hough空间,生成第一特征点,并记录所生成的第一特征点的数量,所述目标白点为从所述多个白点中随机确定的点;
在所述第一特征点的数量大于目标阈值的情况下,基于所述第一特征点向两端生长,获取特征线段;
在所述特征线段满足目标条件的情况下,将所述特征线段确定为所述缺陷线段;
其中,所述目标条件包括第一目标线段长度和第二目标线段长度中的至少一种。
根据本申请实施例提供的图像检测方法,通过优化的Hough找线算法基于二值图获取缺陷线段,找线速率高,且最终确定的缺陷线段的准确度和精确度较高,显著提高了缺陷线段的检测效率和缺陷线段的检测效果,实现以极低的耗时代价找到线段缺陷。
根据本申请的一个实施例,在所述将所述特征线段确定为所述缺陷线段之后,所述方法包括:
将所述缺陷线段加入缺陷集;
在所述缺陷集中的线段数量满足目标缺陷数量的情况下,输出缺陷位置信息。
第二方面,本申请提供了一种图像检测装置,该装置包括:
第一处理模块,用于基于梯度算法对待测图像进行边缘提取,获取第一梯度图;
第二处理模块,用于对所述第一梯度图进行边缘掩模,获取二值图;
第三处理模块,用于对所述二值图进行随机Hough算法与生长算法处理,获取所述待测图像中的缺陷线段。
根据本申请的图像检测装置,通过加入掩模阶段,使得算法适应性广,显著拓宽划痕检测的应用场景,通过采用自适应梯度阈值与随机Hough算法相结合的方式,执行效率高且可提取断续的浅划痕缺陷,有效提高划痕缺陷检测效率和检测效果。
第三方面,本申请提供了一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述第一方面所述的图像检测方法。
第四方面,本申请提供了一种非暂态计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上述第一方面所述的图像检测方法。
第五方面,本申请提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现如第一方面所述的图像检测方法。
第六方面,本申请提供了一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述第一方面所述的图像检测方法。
本申请实施例中的上述一个或多个技术方案,至少具有如下技术效果之一:
通过加入掩模阶段,使得算法适应性广,显著拓宽划痕检测的应用场景,通过采用自适应梯度阈值与随机Hough相结合的方式,执行效率高且可提取断续的浅划痕缺陷,有效提高划痕缺陷检测效率和检测效果。
进一步的,通过采用第一算子和第二算子获取第一梯度图,相对于Sobel算子求出的梯度图,可以显著削弱滤波效果,使得浅缺陷更加容易呈现,且可以将执行效率提高一倍,从而有助于提高检测效率和检测效果。
更进一步的,通过采用自适应梯度阈值与随机Hough的结合方式,能够提高算法检测能力,拓宽应用场景,能够有效消除第一梯度图中图案边缘对线段浅缺陷检测的干扰,突出所获取的二值图的缺陷特征,减少误差,从而提高后续缺陷输出结果的准确性和精确性,提高输出的检测图像的效果。
再进一步的,通过优化的Hough找线算法基于二值图获取缺陷线段,找线速率高,且最终确定的缺陷线段的准确度和精确度较高,显著提高了缺陷线段的检测效率和缺陷线段的检测效果,实现以极低的耗时代价找到线段缺陷。
本申请的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本申请的实践了解到。
附图说明
本申请的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解,其中:
图1是本申请实施例提供的图像检测方法的流程示意图之一;
图2是本申请实施例提供的图像检测方法的流程示意图之二;
图3是本申请实施例提供的图像检测方法的流程示意图之三;
图4是本申请实施例提供的图像检测方法的流程示意图之四;
图5是本申请实施例提供的图像检测装置的结构示意图;
图6是本申请实施例提供的电子设备的结构示意图;
图7是本申请实施例提供的图像检测方法的效果示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施,且“第一”、“第二”等所区分的对象通常为一类,并不限定对象的个数,例如第一对象可以是一个,也可以是多个。此外,说明书以及权利要求中“和/或”表示所连接对象的至少其中之一,字符“/”,一般表示前后关联对象是一种“或”的关系。
相关技术中,划痕类缺陷检测主要有以下几种方式:
其一,基于投影的方法,将图像往一个方向投影,找到投影中的异常值,该方法不能解决任意方向的线段缺陷检测,使用场景具有较大的局限性,从而影响检测效率。
其二、基于各种变换的方式,如小波变换,Hough变换以及Radon变换的方式,该方法的检测准确度和检测精度不佳,导致检测效果不佳。
其三、基于分类的方法,对疑似缺陷区域进行SVM,K-means以及决策树分类方式等进行分类得到准确的线段划痕特征,该方法需要使用其它前置算法得到大致的缺陷位置,步骤较为繁杂,从而影响检测效率。
其四、基于深度卷积神经网络的方法,使用大量线段特征的图像进行训练得到检测模型,进行线段缺陷的检测,该方法涉及大量算法,导致计算时间较长,从而影响检测效率。
其五、基于算法库组合的方式,根据不同的线段缺陷特征,通过人为示教的方式,指导算法运行时选用某种算法和某几种算法的组合,该方法需涉及大量的人工辅助操作,人力成本较高,且检测效率较低。
以上多个方式均无法满足快速地生产加工工艺的在线检测需求。
下面结合附图,通过具体的实施例及其应用场景对本申请实施例提供的图像检测方法、图像检测装置、电子设备和可读存储介质进行详细地说明。
本申请实施例提供的图像检测方法,其执行主体可以为图像检测装置,或者可以为服务器,或者还可以为用户终端,包括但不限于手机、平板电脑和电脑等。
需要说明的是,该图像检测方法应用于浅划痕检测情景。
如图1所示,该图像检测方法包括:步骤110、步骤120和步骤130。
步骤110、基于梯度算法对待测图像进行边缘提取,获取第一梯度图;
在该步骤中,待测图像为对待测产品进行图像采集所获取的图像。
待测产品为需进行缺陷检测的产品。
需要说明的是,待测图像可能包括图案,也可能不包括图案。其中,图案为待测产品表面除缺陷特征以外的区别于背景图像的特征。
在实际执行过程中,可以采用相应的算子确定第一梯度图,算子可以为用户自定义的算子,或者可以为Sobel算子,或者还可以为其他任意可实现的算子,如Lapacian算子,Roberts算子以及Prewitt算子等,本申请不作限定。
下面以用户自定义的算子为例,对步骤110的实现方式进行说明。
在一些实施例中,步骤110可以包括:
采用第一算子对待测图像进行水平方向的边缘提取,获取第二梯度图;
采用第二算子对待测图像进行竖直方向的边缘提取,获取第三梯度图;
对第二梯度图和第三梯度图求和,获取第一梯度图。
在该实施例中,第一算子和第二算子为用户自定义的算子。
第二梯度图为水平方向的梯度图,第三梯度图为竖直方向的梯度图。
根据本申请实施例提供的图像检测方法,通过采用第一算子和第二算子获取第一梯度图,相对于Sobel算子求出的梯度图,可以显著削弱滤波效果,使得浅缺陷更加容易呈现,且可以将执行效率提高一倍,从而有助于提高检测效率和检测效果。
步骤120、对第一梯度图进行边缘掩模,获取二值图;
在该步骤中,通过对第一梯度图进行边缘掩模,以除去第一梯度图像中与缺陷特征无关的其他特征,获取二值图。
在实际执行过程中,可以通过设置自适应阈值(即目标掩模图)对第一梯度图进行边缘掩模以获取二值图。
其中,目标掩模图可以为任意可实现的掩模图,例如,目标掩模图可以为基于模板梯度方法所确定的掩模图,或者可以为基于时序图像波动方法确定的掩模图,或者还可以为基于滤波,图案分区以及深度学习等方法确定的自适应阈值,本申请在此不作限定。
在该步骤中,通过加入掩模阶段,能够有效消除第一梯度图中图案边缘对线段浅缺陷检测的干扰,适用于纯背景产品和有图案的产品,具有较广泛的应用场景,且检测效果较好。
在一些实施例中,步骤120可以包括:
基于待测图像的类型,获取目标掩模图;
基于第一梯度图和目标掩模图的差值,获取二值图;
其中,待测图像的类型包括有模板图或无模板图。
在该实施例中,待测图像的类型包括有模板图或无模板图。
其中,模板图为在待测图像包括图案的情况下,与该待测图像的图案相同且不包括缺陷特征的图像。
可以理解的是,基于待测图像有无模板图,其对应的目标掩模图的获取方式也不同。
例如,目标掩模图可以为基于模板梯度方法所确定的掩模图,或者可以为基于时序图像波动方法确定的掩模图。
在获取目标掩模图后,对第一梯度图和目标掩模图进行差值计算,以减去自适应阈值,从而去除第一梯度图中图案边缘对线段浅缺陷检测的干扰,突出所获取的二值图的缺陷特征,减少误差。
在本申请中,通过提供多种自适应阈值,以基于待测图像的类型选择合适的自适应阈值,采用梯度与自适应阈值相结合的方式,能够显著提高算法的检测能力,可以检测50像素长度以上,1像素宽度以上以及5对比度以上的线段浅缺陷。
根据本申请实施例提供的图像检测方法,通过采用梯度与自适应阈值的结合方式,能够提高算法检测能力,拓宽应用场景,能够有效消除第一梯度图中图案边缘对线段浅缺陷检测的干扰,突出所获取的二值图的缺陷特征,减少误差,从而提高后续缺陷输出结果的准确性和精确性,提高输出的检测图像的效果。
下面分别从两个实现角度,对目标掩模图的确定方式进行说明。
其一、基于模板梯度确定
如图2所示,在一些实施例中,基于待测图像的类型,获取目标掩模图,可以包括:在待测图像有模板图的情况下,对模板图进行梯度处理以及灰度膨胀,获取目标掩模图。
在该实施例中,在检测准备阶段,可以先获取一张无缺陷的图作为模板图,并对模板图进行梯度图计算。
例如,在模板图为彩色图的情况下,基于梯度处理可以得到3个通道对应的子梯度图,将3张子梯度图进行叠加,在同一位置取最大值得到一张第四梯度图,然后对第四梯度图进行灰度膨胀,即可得到目标掩模图。
根据本申请实施例提供的图像检测方法,通过对模板图进行梯度处理以及灰度膨胀以获取目标掩模图,只需在检测待测图像之前计算一次,即可对同类待测图像进行复用,从而能够实现并行加速的检测方式,显著降低操作步骤,提高检测效率。
其二、基于时序图像波动确定
如图3所示,在一些实施例中,基于待测图像的类型,获取目标掩模图,可以包括:
在待测图像无模板图的情况下,获取时序图像序列,时序图像序列包括多个待测产品对应的待测图像,多个待测产品为同类产品;
对时序图像序列进行叠加处理,获取时序图像序列中目标图案区域的高值图和目标图案区域的低值图;
基于高值图和低值图,确定目标掩模图。
在该实施例中,时序图像序列为在相同采集环境下,所采集的与待测产品同类型的多个待测产品所对应的图像帧所形成的图像序列。
其中,同类型的待测产品具有相同的图案、相同的背景图像以及相同的尺寸以及形状等。
可以理解的是,在实际应用过程中,同一产线上存在有多个同类型的待测产品。获取每一个待测产品的产品图像,并进行对齐,再基于多个产品图像生成时序图像序列,该时序图像序列用于确定与该待测产品所对应的类型的产品的目标掩模图。
目标图案区域为任意图案对应的区域。
在实际执行过程中,可以将一系列的待测产品的产品图像作为一个序列输入,对不同图像帧进行叠加,并根据同一位置的像素值波动得到不同图案区域的高值图和低值图,使用该高值图和低值图进行掩模。
在该实施例中,通过对时序图像序列进行叠加处理,能够利用叠加所产生的平移误差,使得在图像边缘处的高值和低值阈值范围较大,在纯色区域的高值和低值阈值范围较小,从而使得掩模后可以得到屏蔽图案边缘和图像纹理变化的线段缺陷特征,从而突出所获取的二值图的缺陷特征,减少误差。
根据本申请实施例提供的图像检测方法,通过对同类型的多个待测产品对应的产品图像所生成的时序图像序列进行叠加处理以获取目标掩模图,能够屏蔽图案边缘和图像纹理变化的线段缺陷特征,从而突出所获取的二值图的缺陷特征,减少误差,有助于提高检测效果。
步骤130、对二值图进行随机Hough算法与生长算法处理,获取待测图像中的缺陷线段。
在该步骤中,Hough算法为优化后的算法。
在实际执行过程中,可以采用i7-6700k处理器,16GB内存,每秒可处理100张8k*4k的彩色图像或者250张8k*4k的灰度图像,具有较高的计算效率。
需要说明的是,本申请的随机Hough算法执行速度快,对于一张8k*4k的彩色图,使用i7-6700k处理器,16GB内存,平均用时仅10ms,最长不超过15ms。
在本申请中,通过加入掩模阶段,能够有效消除第一梯度图中图案边缘对线段浅缺陷检测的干扰,适用于纯背景产品和有图案的产品,且适用于任意方向的线段缺陷检测,具有较广泛的应用场景,且对人眼可见的线段浅缺陷有良好的检测能力,无需拍摄多张图像即可检测到缺陷线段,检测效果较好且检测效率高。
通过采用自适应梯度阈值与随机Hough的结合方式,能够提高算法检测能力,拓宽应用场景,有效消除第一梯度图中图案边缘对线段浅缺陷检测的干扰,突出所获取的二值图的缺陷特征,减少误差,从而提高后续缺陷输出结果的准确性和精确性,提高输出的检测图像的效果。
根据本申请实施例提供的图像检测方法,通过加入掩模阶段,使得算法适应性广,显著拓宽划痕检测的应用场景,通过采用自适应梯度阈值与随机Hough相结合的方式,执行效率高且可提取断续的浅划痕缺陷,有效提高划痕缺陷检测效率和检测效果。
如图4所示,在一些实施例中,步骤130可以包括:
提取二值图中的多个白点;
将多个白点中的目标白点转换至Hough空间,生成第一特征点,并记录所生成的第一特征点的数量,目标白点为从多个白点中随机确定的点;
在第一特征点的数量大于目标阈值的情况下,基于第一特征点向两端生长,获取特征线段;
在特征线段满足目标条件的情况下,将特征线段确定为缺陷线段;
其中,目标条件包括第一目标线段长度和第二目标线段长度中的至少一种。
在该实施例中,白点对应有坐标值。
目标白点可以为多个白点中的任意白点,可以通过随机算法随机选择。
目标阈值用于判断第一特征点的数量是否满足要求。
目标阈值可以基于用户自定义,本申请不作限定。
目标条件包括第一目标线段长度和第二目标线段长度中的至少一种。
其中,第一目标线段长度为预设的所生成的特征线段需满足的长度。
第二目标线段长度为预设的所生成的特征线段在除去断点后的剩余长度所需满足的长度。
在实际执行过程中,从多个白点中随机选择目标白点,并将目标白点转换至Hough空间生成第一特征点,重复该步骤直至生成的第一特征点的数量超过目标阈值,则进入下一步骤,基于第一特征点向两端生长,获取特征线段。
在一些实施例中,在特征线段满足目标条件的情况下,将特征线段确定为缺陷线段,可以包括:在特征线段的总长度满足第一目标线段长度,且特征线段的实际长度满足第二目标线段长度的情况下,将特征线段确定为缺陷线段。
在该实施例中,目标条件包括第一目标线段长度和第二目标线段长度。
特征线段的总长度为特征线段首尾两个端点之间的长度。
特征线段的实际长度为特征线段中除去断点后的剩余长度。
例如,继续参考图4,在实际执行过程中,输入一张二值图,首先将二值图中的白点坐标提取出来;在提取出的白点中随机取一个点,转到Hough空间生成第一特征点;只要有大于目标阈值的第一特征点,则开始向两端生长,以生成特征线段;在生长完毕后判断该特征线段的总长度和实际长度是否满足目标条件;若满足目标条件,则找到一条线段浅缺陷(即缺陷线段)。
继续参考图4,在一些实施例中,在将特征线段确定为缺陷线段之后,该方法还可以包括:
将缺陷线段加入缺陷集;
在缺陷集中的线段数量满足目标缺陷数量的情况下,输出缺陷位置信息。
在该实施例中,缺陷集为存储所有满足目标条件的特征线段的集合。
缺陷位置信息用于表征缺陷在待测产品中的位置信息。
缺陷位置信息基于目标白点的坐标值确定。
目标缺陷数量可以基于实际输出的图像精度等需求进行自定义,本申请不作限定。
根据本申请实施例提供的图像检测方法,在确定缺陷线段以后,通过提取的目标白点的坐标值进一步生成缺陷位置信息,并输出缺陷位置信息以实现缺陷检测,具有较高的检测精度和检测速率。
在另一些实施例中,在缺陷集中的线段数量不满足目标缺陷数量的情况下,获取实际取点数;
在实际取点数超过预设取点数的情况下,输出缺陷位置信息;
在实际取点数不超过预设取点数的情况下,更新目标白点。
在该实施例中,当实际取点数不超过预设取点数的情况下,则重新选择目标白点,并将重新提取的目标白点转到Hough空间生成第一特征点;然后判断第一特征点与目标阈值,对于大于目标阈值的第一特征点,开始向两端生长,以生成特征线段;在生长完毕后判断该特征线段的长度和线段上的点数是否满足目标条件;若满足目标条件,则找到一条线段浅缺陷(即缺陷线段),以此类推,本申请在此不作赘述。
在一些实施例中,在基于第一特征点向两端生长,获取特征线段之后,该方法还可以包括:
在特征线段的总长度满足目标第一目标线段长度,且特征线段的实际长度不满足第二目标线段长度的情况下,获取实际取点数;
在实际取点数超过预设取点数的情况下,输出缺陷位置信息;
在实际取点数不超过预设取点数的情况下,更新目标白点。
在该实施例中,在基于第一特征点向两端生长,获取特征线段之后,可以进一步判断特征线段的总长度是否满足第一目标线段长度,在满足第一目标线段长度的情况下则判断特征线段的实际长度是否满足第二目标线段长度,在不满足第一目标线段长度的情况下,则获取实际取点数,并将实际取点数与预设取点数进行比较。
在实际取点数超过预设取点数的情况下,则输出缺陷位置信息,结束流程。
在实际取点数不超过预设取点数的情况下,则重新选择目标白点,并重复上述步骤,本申请在此不作赘述。
在一些实施例中,在基于第一特征点向两端生长,获取特征线段之后,该方法还可以包括:
在特征线段的总长度不满足第一目标线段长度的情况下,获取实际取点数;
在实际取点数超过预设取点数的情况下,输出缺陷位置信息;
在实际取点数不超过预设取点数的情况下,更新目标白点。
在该实施例中,在实际取点数不超过预设取点数的情况下,则更新提取目标白点,并重复后续步骤。
在一些实施例中,在第一特征点不大于目标阈值的情况下,获取实际取点数;
在实际取点数超过预设取点数的情况下,输出缺陷位置信息;
在实际取点数不超过预设取点数的情况下,更新目标白点。
例如,继续参考图4,在实际执行过程中,在生长完毕后判断该特征线段的总长度和实际长度是否满足目标条件;若不满足目标条件,则继续随机取白点,直到取够限制数量的点或者找到足够数量的线段,算法退出。
需要说明的是,在本申请中,通过对随机Hough找线算法进行优化,显著提高了算法执行速度,对于一张8k*4k的彩色图,使用i7-6700k处理器以及16GB内存,平均用时仅10ms,最长不超过15ms。
如图7示例了一种效果示意图,其中图7(a)为待测图像,图7(b)为目标掩模图;图7(c)为缺陷特征图(即二值图),图7(d)为hough连接结果,可见,通过本申请提供的方法,具有较好的检测效果。
根据本申请实施例提供的图像检测方法,通过优化的Hough找线算法基于二值图获取缺陷线段,找线速率高,且最终确定的缺陷线段的准确度和精确度较高,显著提高了缺陷线段的检测效率和缺陷线段的检测效果,实现以极低的耗时代价找到线段缺陷。
本申请实施例提供的图像检测方法,执行主体可以为图像检测装置。本申请实施例中以图像检测装置执行图像检测方法为例,说明本申请实施例提供的图像检测装置。
本申请实施例还提供一种图像检测装置。
如图5所示,该图像检测装置包括:第一处理模块510、第二处理模块520和第三处理模块530。
第一处理模块510,用于基于梯度算法对待测图像进行边缘提取,获取第一梯度图;
第二处理模块520,用于对第一梯度图进行边缘掩模,获取二值图;
第三处理模块530,用于对二值图进行Hough算法与生长算法处理,获取待测图像中的缺陷线段。
根据本申请实施例提供的图像检测装置,通过加入掩模阶段,使得算法适应性广,显著拓宽划痕检测的应用场景,通过采用自适应梯度阈值与随机Hough相结合的方式,执行效率高且可提取断续的浅划痕缺陷,有效提高划痕缺陷检测效率和检测效果。
在一些实施例中,第二处理模块520,还可以用于:
基于待测图像的类型,获取目标掩模图;
基于第一梯度图和目标掩模图的差值,获取二值图;
其中,待测图像的类型包括有模板图或无模板图。
根据本申请实施例提供的图像检测装置,通过加入掩模阶段,使得算法适应性广,显著提高划痕检测的应用场景,通过采用梯度与自适应阈值相结合的方式,有效提高了算法的检测速率和检测能力,从而提高缺陷检测效果和缺陷检测效率。
在一些实施例中,第二处理模块520,还可以用于:
在待测图像有模板图的情况下,对模板图进行梯度处理以及灰度膨胀,获取目标掩模图。
根据本申请实施例提供的图像检测装置,通过对模板图进行梯度处理以及灰度膨胀以获取目标掩模图,只需在检测待测图像之前计算一次,即可对同类待测图像进行复用,从而能够实现并行加速的检测方式,显著降低操作步骤,提高检测效率。
在一些实施例中,第二处理模块520,还可以用于:
在待测图像无模板图的情况下,获取时序图像序列,时序图像序列包括多个待测产品对应的待测图像,多个待测产品为同类产品;
对时序图像序列进行叠加处理,获取时序图像序列中目标图案区域的高值图和目标图案区域的低值图;
基于高值图和低值图,确定目标掩模图。
根据本申请实施例提供的图像检测装置,通过对时序图像序列进行叠加处理以获取目标掩模图,能够屏蔽图案边缘和图像纹理变化的线段缺陷特征,从而突出所获取的二值图的缺陷特征,减少误差,有助于提高检测效果。
在一些实施例中,第一处理模块510,还可以用于:
采用第一算子对待测图像进行水平方向的边缘提取,获取第二梯度图;
采用第二算子对待测图像进行竖直方向的边缘提取,获取第三梯度图;
对第二梯度图和第三梯度图求和,获取第一梯度图。
根据本申请实施例提供的图像检测装置,通过采用第一算子和第二算子获取第一梯度图,相对于Sobel算子求出的梯度图,可以显著削弱滤波效果,使得浅缺陷更加容易呈现,且可以将执行效率提高一倍,从而有助于提高检测效率和检测效果。
在一些实施例中,第三处理模块530,还可以用于:
提取二值图中的多个白点;
将多个白点中的目标白点转换至Hough空间,生成第一特征点,并记录所生成的第一特征点的数量,目标白点为从多个白点中随机确定的点;
在第一特征点的数量大于目标阈值的情况下,基于第一特征点向两端生长,获取特征线段;
在特征线段满足目标条件的情况下,将特征线段确定为缺陷线段;
其中,目标条件包括第一目标线段长度和第二目标线段长度中的至少一种。
根据本申请实施例提供的图像检测装置,通过优化的Hough找线算法基于二值图获取缺陷线段,找线速率高,且最终确定的缺陷线段的准确度和精确度较高,显著提高了缺陷线段的检测效率和缺陷线段的检测效果,实现以极低的耗时代价找到线段缺陷。
在一些实施例中,该装置还可以包括:
第四处理模块,用于在将特征线段确定为缺陷线段之后,将缺陷线段加入缺陷集;
第五处理模块,用于在缺陷集中的线段数量满足目标缺陷数量的情况下,输出缺陷位置信息。
本申请实施例中的图像检测装置可以是电子设备,也可以是电子设备中的部件,例如集成电路或芯片。该电子设备可以是终端,也可以为除终端之外的其他设备。示例性的,电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置(Mobile Internet Device,MID)、增强现实(augmented reality,AR)/虚拟现实(virtualreality,VR)设备、机器人、可穿戴设备、超级移动个人计算机(ultra-mobile personalcomputer,UMPC)、上网本或者个人数字助理(personal digital assistant,PDA)等,还可以为服务器、网络附属存储器(Network Attached Storage,NAS)、个人计算机(personalcomputer,PC)、电视机(television,TV)、柜员机或者自助机等,本申请实施例不作具体限定。
本申请实施例中的图像检测装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统,可以为IOS操作系统,还可以为其他可能的操作系统,本申请实施例不作具体限定。
本申请实施例提供的图像检测装置能够实现图1至图4的方法实施例实现的各个过程,为避免重复,这里不再赘述。
在一些实施例中,如图6所示,本申请实施例还提供一种电子设备600,包括处理器601、存储器602及存储在存储器602上并可在处理器601上运行的计算机程序,该程序被处理器601执行时实现上述图像检测方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
需要说明的是,本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。
本申请实施例还提供一种非暂态计算机可读存储介质,该非暂态计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述图像检测方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
其中,所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质,包括计算机可读存储介质,如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。
本申请实施例还提供一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述图像检测方法。
其中,所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质,包括计算机可读存储介质,如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。
本申请实施例另提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现上述图像检测方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
应理解,本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外,需要指出的是,本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能,还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能,例如,可以按不同于所描述的次序来执行所描述的方法,并且还可以添加、省去、或组合各种步骤。另外,参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本申请的保护之内。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本申请的实施例,本领域的普通技术人员可以理解:在不脱离本申请的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型,本申请的范围由权利要求及其等同物限定。
Claims (10)
1.一种图像检测方法,其特征在于,包括:
基于梯度算法对待测图像进行边缘提取,获取第一梯度图;
对所述第一梯度图进行边缘掩模,获取二值图;
对所述二值图进行随机Hough算法与生长算法处理,获取所述待测图像中的缺陷线段。
2.根据权利要求1所述的图像检测方法,其特征在于,所述对所述第一梯度图进行边缘掩模,获取二值图,包括:
基于所述待测图像的类型,获取目标掩模图;
基于所述第一梯度图和所述目标掩模图的差值,获取所述二值图;
其中,所述待测图像的类型包括有模板图或无模板图。
3.根据权利要求2所述的图像检测方法,其特征在于,所述基于所述待测图像的类型,获取目标掩模图,包括:
在所述待测图像有模板图的情况下,对所述模板图进行梯度处理以及灰度膨胀,获取所述目标掩模图。
4.根据权利要求2所述的图像检测方法,其特征在于,所述基于所述待测图像的类型,获取目标掩模图,包括:
在所述待测图像无模板图的情况下,获取时序图像序列,所述时序图像序列包括多个待测产品对应的待测图像,所述多个待测产品为同类产品;
对所述时序图像序列进行叠加处理,获取所述时序图像序列中目标图案区域的高值图和所述目标图案区域的低值图;
基于所述高值图和所述低值图,确定所述目标掩模图。
5.根据权利要求1-4任一项所述的图像检测方法,其特征在于,所述基于梯度算法对待测图像进行边缘提取,获取第一梯度图,包括:
采用第一算子对所述待测图像进行水平方向的边缘提取,获取第二梯度图;
采用第二算子对所述待测图像进行竖直方向的边缘提取,获取第三梯度图;
对所述第二梯度图和所述第三梯度图求和,获取所述第一梯度图。
6.根据权利要求1-4任一项所述的图像检测方法,其特征在于,所述对所述二值图进行随机Hough算法与生长算法处理,获取所述待测图像中的缺陷线段,包括:
提取所述二值图中的多个白点;
将所述多个白点中的目标白点转换至Hough空间,生成第一特征点,并记录所生成的第一特征点的数量,所述目标白点为从所述多个白点中随机确定的点;
在所述第一特征点的数量大于目标阈值的情况下,基于所述第一特征点向两端生长,获取特征线段;
在所述特征线段满足目标条件的情况下,将所述特征线段确定为所述缺陷线段;
其中,所述目标条件包括第一目标线段长度和第二目标线段长度中的至少一种。
7.根据权利要求6所述的图像检测方法,其特征在于,在所述将所述特征线段确定为所述缺陷线段之后,所述方法还包括:
将所述缺陷线段加入缺陷集;
在所述缺陷集中的线段数量满足目标缺陷数量的情况下,输出缺陷位置信息。
8.一种图像检测装置,其特征在于,包括:
第一处理模块,用于基于梯度算法对待测图像进行边缘提取,获取第一梯度图;
第二处理模块,用于对所述第一梯度图进行边缘掩模,获取二值图;
第三处理模块,用于对所述二值图进行随机Hough算法与生长算法处理,获取所述待测图像中的缺陷线段。
9.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1-7任一项所述图像检测方法。
10.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现如权利要求1-7任一项所述的图像检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211708512.4A CN116309287A (zh) | 2022-12-29 | 2022-12-29 | 图像检测方法和图像检测装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211708512.4A CN116309287A (zh) | 2022-12-29 | 2022-12-29 | 图像检测方法和图像检测装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116309287A true CN116309287A (zh) | 2023-06-23 |
Family
ID=86815674
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211708512.4A Pending CN116309287A (zh) | 2022-12-29 | 2022-12-29 | 图像检测方法和图像检测装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116309287A (zh) |
-
2022
- 2022-12-29 CN CN202211708512.4A patent/CN116309287A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108564579B (zh) | 一种基于时空相关的混凝土裂缝检测方法及检测装置 | |
CN111008961B (zh) | 一种输电线路设备缺陷检测方法及其系统、设备、介质 | |
CN112336342B (zh) | 手部关键点检测方法、装置及终端设备 | |
CN111445459A (zh) | 一种基于深度孪生网络的图像缺陷检测方法及系统 | |
CN111489337B (zh) | 一种自动光学检测伪缺陷去除方法及系统 | |
CN112381061B (zh) | 一种面部表情识别方法及系统 | |
Rahim et al. | Hand gesture recognition based on optimal segmentation in human-computer interaction | |
CN112348778A (zh) | 一种物体识别方法、装置、终端设备及存储介质 | |
CN111126248A (zh) | 一种遮挡下的车辆识别方法及装置 | |
CN114331961A (zh) | 用于对象的缺陷检测的方法 | |
CN116309287A (zh) | 图像检测方法和图像检测装置 | |
Pandey et al. | Implementation of 5-block convolutional neural network (cnn) for saliency improvement on flying object detection in videos | |
CN112084874B (zh) | 一种物体检测方法、装置及终端设备 | |
CN114821075A (zh) | 空间目标捕获方法、装置、终端设备及存储介质 | |
CN112348112A (zh) | 图像识别模型的训练方法、训练装置及终端设备 | |
CN112733670A (zh) | 指纹特征提取方法、装置、电子设备及存储介质 | |
CN113111921B (zh) | 物体识别方法、装置、电子设备及存储介质 | |
CN114511591B (zh) | 轨迹跟踪方法、装置、电子设备及存储介质 | |
CN117523636B (zh) | 一种人脸检测方法、装置、电子设备及存储介质 | |
CN110232321B (zh) | 指尖点击位置的检测方法、装置、终端及计算机存储介质 | |
CN115393337A (zh) | 工业缺陷检测方法、装置、设备及计算机可读存储介质 | |
Sato et al. | Performance Comparison of Semantic Segmentation Models and Loss Functions for Seat Belt Detection | |
Fenyi et al. | Colored Edge Detection Using Thresholding Techniques | |
CN114998953A (zh) | 人脸关键点检测方法及装置 | |
CN116309288A (zh) | 图像检测方法和图像检测装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |