CN115239735B - 基于计算机视觉的通信柜表面缺陷检测方法 - Google Patents
基于计算机视觉的通信柜表面缺陷检测方法 Download PDFInfo
- Publication number
- CN115239735B CN115239735B CN202211164723.6A CN202211164723A CN115239735B CN 115239735 B CN115239735 B CN 115239735B CN 202211164723 A CN202211164723 A CN 202211164723A CN 115239735 B CN115239735 B CN 115239735B
- Authority
- CN
- China
- Prior art keywords
- edge
- suspected
- segment
- communication cabinet
- suspected edge
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004891 communication Methods 0.000 title claims abstract description 80
- 230000007547 defect Effects 0.000 title claims abstract description 70
- 238000001514 detection method Methods 0.000 title claims abstract description 16
- 238000000034 method Methods 0.000 claims abstract description 25
- 239000012634 fragment Substances 0.000 claims description 31
- 238000013528 artificial neural network Methods 0.000 claims description 11
- 238000013507 mapping Methods 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 6
- 238000012217 deletion Methods 0.000 claims description 3
- 230000037430 deletion Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 6
- 238000012216 screening Methods 0.000 abstract description 3
- 230000008859 change Effects 0.000 description 10
- 230000011218 segmentation Effects 0.000 description 9
- 238000003708 edge detection Methods 0.000 description 5
- 238000002372 labelling Methods 0.000 description 4
- 239000003973 paint Substances 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 206010039509 Scab Diseases 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 230000000739 chaotic effect Effects 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 231100000241 scar Toxicity 0.000 description 2
- 208000032544 Cicatrix Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- FWTXWYXPXGKVJG-UHFFFAOYSA-N atrolactamide Chemical compound NC(=O)C(O)(C)C1=CC=CC=C1 FWTXWYXPXGKVJG-UHFFFAOYSA-N 0.000 description 1
- 229950011225 atrolactamide Drugs 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000002994 raw material Substances 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 230000037387 scars Effects 0.000 description 1
- -1 scratches Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration by the use of local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration by the use of histogram techniques
-
- G06T5/70—
-
- G06T5/90—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及图像处理领域,具体涉及基于计算机视觉的通信柜表面缺陷检测方法。该方法包括如下步骤:采集通信柜表面图像,基于图像中像素点的梯度幅值绘制梯度幅值直方图获取第一阈值,筛选出疑似边缘点并得到所有疑似边缘;对疑似边缘分段;基于疑似边缘每个片段中所有像素点的切线方向获取疑似边缘每个片段的平滑度以及权重,进而获取疑似边缘的边缘率,筛选出准确边缘,排除了噪声点及伪边缘的干扰,更加准确地获取到通信柜表面不明显的缺陷;本发明提高了对通信柜表面缺陷检测的可靠性。
Description
技术领域
本发明涉及图像处理领域,具体涉及基于计算机视觉的通信柜表面缺陷检测方法。
背景技术
通信柜是指用在通讯方面的机箱机柜,通过钣金设备加工而成的机箱机壳。在通信柜生产过程中,由于受到原材料、轧制工艺和系统控制等诸多技术因素的影响,可能会在通信柜表面产生凹坑、结疤、滴漆、刮痕和孔洞等缺陷。通信柜表面缺陷不仅会严重影响通信柜成品的销售,也会为通信柜内设备的安全造成影响。因此在通信柜出厂前需对通信柜表面缺陷进行检测。
目前对于通信柜表面缺陷的检测方法多为人工目测法及图像处理法。由于通信柜表面部分缺陷如凹坑、划痕等特征不明显,通过人工目测法及普通的图像处理法,漏检误检率高。如通过图像处理边缘检测来提取缺陷特征,常用的方法如Canny算子,通过设置双阈值来获取边缘,但若阈值设置不当,可能会导致通信柜表面上不明显的边缘检测不出来,或检测出许多伪边缘干扰最终的缺陷检测结果。
发明内容
为了解决上述技术问题,本发明的目的在于提供一种基于计算机视觉的通信柜表面缺陷检测方法,包括如下步骤:
S1:采集通信柜表面灰度图像,根据所述灰度图像所有像素点的梯度幅值获取梯度幅值直方图;根据所述梯度幅值直方图获取第一阈值;将所述灰度图像中梯度幅值大于第一阈值的所有像素点记为疑似边缘点;根据疑似边缘点的位置获取所有疑似边缘,计算每个疑似边缘中每个像素点的切线方向;
S2:将每个疑似边缘按照第一预设长度进行分段,得到每个疑似边缘的所有片段;
根据每个疑似边缘每个片段中所有像素点的切线方向获取每个疑似边缘每个片段的平滑度,包括:
S201:计算疑似边缘每个片段中相邻像素点切线方向角度的差值,所有所述相邻像素点的所述差值构成疑似边缘每个片段的切线方向角度差值序列,将每个片段的切线方向角度差值序列的长度记为每个片段的第一长度;将所述序列中连续大于等于第一预设阈值的切线方向角度差值划分为一个类别,得到疑似边缘每个片段的多个第一类别;将所述序列中连续小于所述第一预设阈值的切线方向角度差值划分为一个类别,得到疑似边缘每个片段的多个第二类别;
S202:获取疑似边缘每个片段的每个第一类别所包含的元素数量,将每个片段所有第一类别的最大元素数量记为每个片段的第一最大长度,获取疑似边缘每个片段的每个第二类别所包含的元素数量,将每个片段所有第二类别的最大元素数量记为每个片段的第二最大长度;
S203:根据每个片段的第一最大长度、第二最大长度、第一长度及每个片段所有类别的个数获取每个片段的平滑度;
S3:根据每个疑似边缘每个片段中所有像素点的切线方向与梯度方向的夹角得到每个疑似边缘每个片段的方向垂直性;将每个疑似边缘每个片段的方向垂直性除以每个疑似边缘所有片段的方向垂直性之和得到所述每个疑似边缘每个片段的权重;根据每个疑似边缘每个片段的平滑度、权重及所述每个疑似边缘中像素点个数获取每个疑似边缘的边缘率;
S4:根据疑似边缘的边缘率得到疑似缺陷区域,将疑似缺陷区域输入到神经网络中,得到通信柜表面准确的缺陷区域及缺陷类别。
优选的,所述根据所述梯度幅值直方图获取第一阈值,包括:
对梯度幅值直方图进行均值滤波,计算均值滤波后的梯度幅值直方图上每个点的切线的斜率,将第一个斜率局部极小值对应的点所对应的梯度幅值设为第一阈值。
优选的,所述根据疑似边缘点的位置获取所有疑似边缘,包括:
将所有疑似边缘点作为顶点,八邻域范围内相邻的任意两个疑似边缘点之间的设置边,八邻域范围内不相邻的任意两个疑似边缘点之间的不设置边,构建一个无向图;获取无向图中所有可能的游走路径构成的第一集合;
将第一集合中任意两个游走路径作为第一游走路径与第二游走路径,对第一游走路径与第二游走路径执行如下判断和删除操作:当第一游走路径经过的所有边构成的第一边集为第二游走路径经过的所有边构成的第二边集的一个子集时,将第一游走路径从第一集合中删除,当所述第二边集为所述第一边集的一个子集时,将第二游走路径从第一集合中删除;
对第一集合中所有成对的第一游走路径与第二游走路径进行判断和删除操作后,将第一集合中剩余的每个游走路径作为疑似边缘。
优选的,所述根据每个片段的第一最大长度、第二最大长度、第一长度及每个片段所有类别的个数获取每个片段的平滑度的方法为:
分别获取每个片段的第一最大长度与每个片段第一长度的第一比值、每个片段的第二最大长度与每个片段第一长度的第二比值,将第一比值和第二比值的和记为每个片段的第一转折特征;将每个片段所有类别的个数减去一后与每个片段第一长度的比值记为每个片段的第二转折特征,将第二转折特征输入到负相关映射模型中获得映射结果,所述映射结果与第一转折特征的乘积作为每个片段的平滑度;所述负相关映射模型采用的是以自然常数为底的负指数模型。
优选的,所述疑似边缘每个片段的方向垂直性的表达式如下:
优选的,所述疑似边缘的边缘率的表达式如下:
优选的,根据疑似边缘的边缘率得到疑似缺陷区域的方法为:
当疑似边缘的边缘率大于第二预设阈值时,则判断疑似边缘为准确边缘,当疑似边缘的边缘率小于等于第二预设阈值时,则判断疑似边缘不是准确边缘;将以准确边缘为边缘的连通域作为疑似缺陷区域。
本发明实施例至少具有如下有益效果:
根据通信柜表面图像的梯度幅值绘制梯度幅值直方图,获取通信柜上的所有疑似边缘,避免了传统边缘检测方法中由于双阈值选择不合适导致的边缘漏检的情况;并且进一步的通过对疑似边缘进行分段以及平滑度的计算得到疑似边缘的边缘率,进而筛选出准确边缘,排除了噪声点及伪边缘的干扰,更加准确地获取到通信柜表面不明显的缺陷;另外在计算疑似边缘的边缘率的过程中通过引入每个片段的平滑度和权重,使得边缘率的计算结果进一步避免了准确边缘与伪边缘混在在一起导致边缘检测不准确的情况,本发明提高了对通信柜表面缺陷检测的可靠性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图1为本发明提供的一种基于计算机视觉的通信柜表面缺陷检测方法的流程图。
图2为本发明提供的一种基于计算机视觉的通信柜表面缺陷检测方法的平滑后的梯度幅值直方图示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整的描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例,基于本发明实施例,本领域普通技术人员所获得的所有其它实施例,都属于本发明实施例保护的范围。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
本实施例提供了一种基于计算机视觉的通信柜表面缺陷检测方法,如图1所示,该一种基于计算机视觉的通信柜表面缺陷检测方法,包括以下步骤:
步骤101,获取待检测的通信柜表面灰度图像。
通过在通信柜四周架设相机,拍摄通信柜各个表面的RGB图像,图像中包含通信柜和背景,得到通信柜表面初始图像。
将通信柜表面初始图像输入到语义分割网络中识别通信柜表面初始图像中的通信柜目标。所述语义分割网络内容如下:语义分割网络使用的数据集为采集的通信柜表面初始图像数据集;需要分割的像素,共分为2类,即训练集对应标签标注过程为:单通道的语义标签,对应位置像素属于通信柜的标注为,属于背景的标注为;语义分割网络使用的loss函数为交叉熵损失函数。
常用的语义分割网络有U-net、SegNet、DeepLabV3等,本实施例使用DeepLabV3语义分割网络实现通信柜表面图像的处理,在其他实施例中实施者可根据实际情况选择语义分割网络。
本步骤通过语义分割网络实现了通信柜表面图像的处理,获得图像中通信柜连通域信息,将语义分割网络的输出结果作为遮罩,与原图相乘,得到仅包含通信柜不包含背景的图像,作为通信柜表面图像。为了便于后续分析,本实施例将该通信柜表面图像进行灰度化处理,得到该通信柜表面图像对应的灰度图像。
步骤102,基于图像中像素点的梯度幅值绘制梯度幅值直方图获取第一阈值,筛选出疑似边缘点并得到所有疑似边缘。
边缘可以认为是一定数量点亮度发生变化的地方,即梯度变化较大的地方。因此本实施例结合梯度来获取边缘。首先利用Sobel算子计算所述图像中每个像素点的梯度幅值以及梯度方向。
统计所述图像中所有梯度幅值出现的个数,以梯度幅值为横坐标,梯度幅值个数为纵坐标,绘制梯度幅值直方图。由于通信柜为表面颜色较统一,因此在噪声作用下,大部分像素点的梯度幅值集中在梯度幅值直方图左侧。梯度幅值直方图右侧的梯度幅值较大,可能为边缘点对应的梯度幅值或大的噪声点对应的梯度幅值,通信柜表面边缘点较少,同时大的噪声点也较少,因此梯度幅值直方图右侧的梯度幅值个数较少。
获取一个梯度幅值阈值,将梯度幅值直方图左右分开,以便根据右侧的梯度幅值获取可能的边缘点。为对梯度幅值直方图进行平滑,对梯度幅值直方图进行均值滤波,计算均值滤波后的梯度幅值直方图上每个点的切线的斜率。斜率越小意味着对应点的切线越陡峭,对应点两侧的梯度幅值个数相差越大。由于通信柜表面颜色较统一,因此通信柜梯度幅值直方图呈现梯度幅值集中在左侧,且梯度幅值的数量在直方图左侧呈现急剧下降的趋势,又由于通信柜表面存在通信柜柜门边缘、把手边缘等边缘点,也可能存在通信柜表面上的凹坑、结疤、滴漆、刮痕和孔洞缺陷的边缘,边缘点较少,边缘点的梯度幅值较大,因此通信柜梯度幅值直方图中右侧梯度幅值的数量呈现先上升再下降的趋势。平滑后的梯度幅值直方图示意图如图2所示。为了获取边缘点可能的梯度幅值,将第一个斜率局部极小值对应的点所对应的梯度幅值设为第一阈值。第一阈值左侧梯度幅值小且个数非常多,右侧的梯度幅值大且个数少。所述图像中梯度幅值小于第一阈值的像素点为非边缘点,所述图像中梯度幅值大于第一阈值的所有像素点可能为边缘点,将其记为疑似边缘点;
疑似边缘点构成的边缘可能为实际准确的边缘,也可能为噪声干扰下的伪边缘,为获取准确的边缘,结合所有疑似边缘点获取所有疑似边缘:
将所有疑似边缘点作为顶点,八邻域范围内相邻的任意两个疑似边缘点之间的设置边,八邻域范围内不相邻的任意两个疑似边缘点之间的不设置边,构建一个无向图;获取无向图中所有可能的游走路径构成的第一集合。
将第一集合中任意两个游走路径作为第一游走路径与第二游走路径,对第一游走路径与第二游走路径执行如下判断和删除操作:当第一游走路径经过的所有边构成的第一边集为第二游走路径经过的所有边构成的第二边集的一个子集时,将第一游走路径从第一集合中删除,当所述第二边集为所述第一边集的一个子集时,将第二游走路径从第一集合中删除。
对第一集合中所有成对的第一游走路径与第二游走路径进行判断和删除操作后,将第一集合中剩余的每个游走路径作为疑似边缘。
步骤103,对疑似边缘进行分段,基于疑似边缘每个片段中所有像素点的切线方向获取疑似边缘每个片段的平滑度以及权重,进而获取疑似边缘的边缘率。
疑似边缘可能为准确的边缘,也可能为伪边缘。准确的边缘可能为通信柜表面上的凹坑、结疤、滴漆、刮痕和孔洞缺陷的边缘,也可能为通信柜柜门边缘、把手边缘等立体形状的边缘。无论是通信柜表面缺陷的边缘,还是通信柜柜门、把手边缘等立体形状的边缘,在局部范围内都较为平滑,即使有转折点,在转折点两侧局部范围内都较为平滑。可认为连续的第一预设长度个像素点为同一个局部范围。首先将第个疑似边缘进行长度为的等分,若最后一个片段长度不足,则最后一个片段为不等长,将所有片段的个数记为。在本实施例中第一预设长度的取值为,在其他实施例中实施者可根据实际情况调整该取值。准确边缘的局部范围内较为平滑,因此,引入平滑度指标用来衡量疑似边缘每个片段是否平滑。疑似边缘每个片段的平滑度计算方法如下:
对每个片段进行分析,若为准确的边缘,则可能为存在一个转折点的线段,也可能为平滑的曲线,其相邻像素点的切线方向角度变化存在一定规律性。若为伪边缘,则可能呈现蜿蜒曲折的形状,其上相邻像素点的切线方向角度变化混乱无规律性。获取每个片段中每个像素点的切线方向角度,用表示。准确的边缘相邻像素点的切线方向角度变化存在一定规律性,如直线上像素点的切线方向角度都一致;存在一个转折点的线段,仅转折点的切线方向角度与其他不一致;曲线上像素点的切线方向角度规律性变化,可能从小到大或从大到小。而伪边缘上像素点的切线方向角度变化混乱。
计算第个疑似边缘第个片段中每两个相邻像素点的切线方向角度的差值,第个疑似边缘第个片段中所有相邻两个像素点的切线方向角度差值构成一个长度为切线方向角度差值序列。根据该序列中切线方向角度差值的正负可得到切线方向角度变化的规律:以第一预设阈值,本发明以为例进行叙述,在其他实施例中实施者可根据实际情况调整该取值。将切线方向角度差值序列中连续大于等于第一预设阈值的切线方向角度差值划分为一个类别,从而得到疑似边缘每个片段的多个第一类别。子串指序列中的连续的一部分,所述连续大于等于的意思是指切线方向角度差值序列的一个子串中的所有切线方向角度差值均大于等于第一预设阈值,且切线方向角度差值序列中与该子串相邻的切线方向角度差值均小于第一预设阈值;将切线方向角度差值序列中连续小于所述第一预设阈值的切线方向角度差值划分为一个类别,得到疑似边缘每个片段的多个第二类别。所述连续小于的意思是指切线方向角度差值序列的一个子串中所有切线方向角度差值均小于第一预设阈值,且切线方向角度差值序列中与该子串相邻的切线方向角度差值均大于等于第一预设阈值。通过以上步骤,将个疑似边缘第个片段的切线方向角度差值序列分成了个类别。
获取第个疑似边缘第个片段的每个第一类别所包含的元素数量,将所有第一类别的最大元素数量记为第一最大长度,用表示。获取疑似边缘第个片段的每个第二类别所包含的元素数量,将所述所有第二类别的最大元素数量记为第二最大长度,用表示。第一最大长度与第二最大长度的大小可以反应该片段规律变化的情况,当第一最大长度或第二最大长度比较大时,该片段相邻像素点的切线方向角度变化规律,该片段较为平滑;当第一最大长度与第二最大长度都较小时,该片段相邻像素点的切线方向角度变化混乱无规律,该片段蜿蜒曲折。
其中为第条疑似边缘第个片段第一最大长度;为第条疑似边缘第个片段第二最大长度;为第条疑似边缘第个片段切线方向角度差值序列的长度;为第个疑似边缘第个片段所有类别的个数,包括第个疑似边缘第个片段所有第一类别与所有第二类别的个数;为第一转折特征,若为准确的边缘,如曲线上像素点切线方向角度可能从小到大或从大到小,此时、中一个为,一个为,使得第一转折特征结果为。如直线上像素点切线方向角度都为,此时,,使得第一转折特征结果为。即当第一转折特征较大时,第个疑似边缘第个片段越可能为准确的边缘;当第一转折特征较小时,、都较小,切线方向角度变化混乱,此时第个疑似边缘第个片段上存在次及以上的多次转折。此时第个疑似边缘第个片段可能为伪边缘,也可能为准确边缘,如存在一个转折点的线段。因此仅根据第一转折特征无法准确区分伪边缘和准确边缘,此时需根据每个片段所有类别的个数获取第二转折特征,对第一转折特征进行修正;为是以自然常数为底的负指数模型,是一个的负相关映射模型,除此之外无任何其他意义;为第二转折特征;若为伪边缘,切线方向角度变化混乱,则第个疑似边缘第个片段所有类别的个数较多,较大,第二转折特征较小。若为准确边缘,如曲线、直线,第个疑似边缘第个片段所有类别的个数为,则为,第二转折特征。如存在一个转折点的线段,第个疑似边缘第个片段所有类别的个数为,较小,第二转折特征较大;将第二转折特征对第一转折特征的修正结果作为第个疑似边缘第个片段的平滑度。第条疑似边缘第个片段的平滑度越小,第条疑似边缘第个片段越不可能为准确的边缘,第条疑似边缘第个片段的平滑度越大,第条疑似边缘第个片段越可能为准确的边缘。
跟据游走路径获取的疑似边缘可能存在一条疑似边缘实际包含准确边缘和伪边缘的情况,此时若直接根据疑似边缘的所有片段的平滑度判断该疑似边缘是否为准确边缘,可能会导致该疑似边缘中包含的准确边缘被当作伪边缘舍弃。因此需结合疑似边缘每个片段中像素点的梯度方向和切线方向为疑似边缘每个片段设置一个权重,使得判断疑似边缘是否为准确边缘时更加关注权重大的片段的平滑度。疑似边缘每个片段的权重获取方法如下:梯度方向为像素点灰度变化最为剧烈的方向,因此准确的边缘上像素点的梯度方向与边缘方向垂直,而像素点的边缘方向即为像素点的切线方向,即准确边缘上像素点的梯度方向与切线方向垂直。因此以疑似边缘每个片段的方向垂直性指标归一化后的值作为疑似边缘每个片段的权重。疑似边缘每个片段的方向垂直性计算方法如下:
其中为第个疑似边缘第个片段上第个像素点梯度方向与切线方向的角度差异,即梯度方向与切线方向的夹角角度。为便于与相比,判断梯度方向与切线方向是否垂直或近似垂直,通过分段函数来获取第个疑似边缘第个片段上第个像素点梯度方向与切线方向小于的夹角角度,作为第个疑似边缘第个片段上第个像素点梯度方向与切线方向的角度差异;用来判断第个疑似边缘第个片段上第个像素点梯度方向与切线方向是否垂直或近似垂直;为归一化系数,用于将归一化,除此之外无任何意义;当越小时,第个疑似边缘第个片段上第个像素点梯度方向与切线方向越近似垂直,反之当越大时,第个疑似边缘第个片段上第个像素点梯度方向与切线方向越不垂直;为第个疑似边缘第个片段上像素点的个数;为负相关函数;当越大时,第个疑似边缘第个片段的方向垂直性越小;反之当越小时,第个疑似边缘第个片段的方向垂直性越大。
对于通信柜表面上的凹坑、结疤、滴漆、刮痕、孔洞缺陷边缘以及通信柜柜门、把手边缘等立体形状的边缘来说,边缘都具有一定的长度。可能存在较少的连续噪声点分段个数为1,此时该片段的平滑度较大,同时该片段的权重为1。此时衡量疑似边缘是否为准确的边缘仅根据每个片段的平滑度不能获得准确结果,还需结合疑似边缘中像素点的个数。因此,引入边缘率指标,结合疑似边缘每个片段平滑度、疑似边缘每个片段的权重以及疑似边缘中像素点的个数共同反应疑似边缘为准确边缘的概率。
其中为第个疑似边缘第个片段的平滑度;为第个疑似边缘第个片段的权重;为第条疑似边缘所有片段的个数;为第个疑似边缘中像素点的个数;为双曲正切函数,用于将归一化,除此之外无其他任何意义;为归一化系数。本实施例中归一化系数取值为,在其他实施例中实施者可根据实际情况调整该取值;只有当与都较大时,边缘率才较大,此时该疑似边缘越可能为准确的边缘;反之,只要当与中有一项较小时,边缘率就会较小,此时该疑似边缘越不可能为准确的边缘。
步骤104,筛选准确边缘,获取通信柜表面缺陷区域及缺陷类别。
根据疑似边缘的边缘率获取准确的边缘:当疑似边缘的边缘率大于等于第二预设阈值时,该疑似边缘为准确的边缘;当疑似边缘的边缘率小于第二预设阈值时,该疑似边缘为伪边缘。本实施例中所述第二预设阈值根据实际需要进行设置,例如第二预设阈值的大小为。
至此,获取了所有准确的边缘。准确的边缘可能为通信柜表面缺陷的边缘,因此将所有准确的边缘都称作疑似缺陷的边缘。将以准确边缘为边缘的连通域作为疑似缺陷区域。构建一幅与通信柜表面图像同样大小的二值图像,疑似缺陷区域在二值图像上对应位置的像素点的像素值为1,其余位置的像素点的像素值为0。将该二值图像作为遮罩与通信柜表面图像相乘,得到疑似缺陷图像。
在本实施例中采用DNN神经网络,以Encoder-FC的结构来识别疑似缺陷的类别。该DNN神经网络的相关内容包括:
DNN神经网络采用Encoder-FC的形式。先对疑似缺陷图像进行编码提取图像特征,而后使用FC全连接进行分类任务。将疑似缺陷图像输入到训练好的DNN神经网络中,输出为疑似缺陷的类别;
需要说明的是,由于输入的疑似缺陷图像只包含一种缺陷类别且不包含通信柜表面其他区域信息,因此DNN神经网络参数量少,容易训练以及具有较少的计算量;
训练该DNN神经网络时使用的数据集为疑似缺陷图像数据集;本实施例需要分类的疑似缺陷,包含非缺陷、凹坑、结疤、滴漆、刮痕和孔洞共类,即训练集对应标签标注过程为:首先由人工对训练集中疑似缺陷图像进行分类并标注,对不同类别的疑似缺陷图像标注为不同的one-hot编码作为疑似缺陷图像的标签。网络使用的loss函数为交叉熵损失函数。
常用的Encoder-FC结构的DNN神经网络有VGGNet16、VGGNet19等,本实施例使用VGGNet19实现疑似缺陷的类别的识别,在其他实施例中实施者可根据实际情况选择DNN神经网络。
至此,通过DNN神经网络实现了疑似缺陷的识别,获取了通信柜表面准确的缺陷区域及缺陷类别。
根据通信柜表面图像的梯度幅值绘制梯度幅值直方图,获取通信柜上的所有疑似边缘,避免了传统边缘检测方法中由于双阈值选择不合适导致的边缘漏检的情况;并且进一步的通过对疑似边缘进行分段以及平滑度的计算得到疑似边缘的边缘率,进而筛选出准确边缘,排除了噪声点及伪边缘的干扰,更加准确地获取到通信柜表面不明显的缺陷;另外在计算疑似边缘的边缘率的过程中通过引入每个片段的平滑度和权重,使得边缘率的计算结果进一步避免了准确边缘与伪边缘混在在一起导致边缘检测不准确的情况,本发明提高了对通信柜表面缺陷检测的可靠性。
需要说明的是:以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (7)
1.基于计算机视觉的通信柜表面缺陷检测方法,包括如下步骤:
S1:采集通信柜表面灰度图像,根据所述灰度图像所有像素点的梯度幅值获取梯度幅值直方图;根据所述梯度幅值直方图获取第一阈值;将所述灰度图像中梯度幅值大于第一阈值的所有像素点记为疑似边缘点;根据疑似边缘点的位置获取所有疑似边缘,计算每个疑似边缘中每个像素点的切线方向;
S2:将每个疑似边缘按照第一预设长度进行分段,得到每个疑似边缘的所有片段;
根据每个疑似边缘每个片段中所有像素点的切线方向获取每个疑似边缘每个片段的平滑度,包括:
S201:计算疑似边缘每个片段中相邻像素点切线方向角度的差值,所有所述相邻像素点的所述差值构成疑似边缘每个片段的切线方向角度差值序列,将每个片段的切线方向角度差值序列的长度记为每个片段的第一长度;将所述序列中连续大于等于第一预设阈值的切线方向角度差值划分为一个类别,得到疑似边缘每个片段的多个第一类别;将所述序列中连续小于所述第一预设阈值的切线方向角度差值划分为一个类别,得到疑似边缘每个片段的多个第二类别;
S202:获取疑似边缘每个片段的每个第一类别所包含的元素数量,将每个片段所有第一类别的最大元素数量记为每个片段的第一最大长度,获取疑似边缘每个片段的每个第二类别所包含的元素数量,将每个片段所有第二类别的最大元素数量记为每个片段的第二最大长度;
S203:根据每个片段的第一最大长度、第二最大长度、第一长度及每个片段所有类别的个数获取每个片段的平滑度;
S3:根据每个疑似边缘每个片段中所有像素点的切线方向与梯度方向的夹角得到每个疑似边缘每个片段的方向垂直性;将每个疑似边缘每个片段的方向垂直性除以每个疑似边缘所有片段的方向垂直性之和得到所述每个疑似边缘每个片段的权重;根据每个疑似边缘每个片段的平滑度、权重及所述每个疑似边缘中像素点个数获取每个疑似边缘的边缘率;
S4:根据疑似边缘的边缘率得到疑似缺陷区域,将疑似缺陷区域输入到神经网络中,得到通信柜表面准确的缺陷区域及缺陷类别。
2.根据权利要求1所述的基于计算机视觉的通信柜表面缺陷检测方法,其特征在于,所述根据所述梯度幅值直方图获取第一阈值,包括:
对梯度幅值直方图进行均值滤波,计算均值滤波后的梯度幅值直方图上每个点的切线的斜率,将第一个斜率局部极小值对应的点所对应的梯度幅值设为第一阈值。
3.根据权利要求1所述的基于计算机视觉的通信柜表面缺陷检测方法,其特征在于,所述根据疑似边缘点的位置获取所有疑似边缘,包括:
将所有疑似边缘点作为顶点,八邻域范围内相邻的任意两个疑似边缘点之间的设置边,八邻域范围内不相邻的任意两个疑似边缘点之间的不设置边,构建一个无向图;获取无向图中所有可能的游走路径构成的第一集合;
将第一集合中任意两个游走路径作为第一游走路径与第二游走路径,对第一游走路径与第二游走路径执行如下判断和删除操作:当第一游走路径经过的所有边构成的第一边集为第二游走路径经过的所有边构成的第二边集的一个子集时,将第一游走路径从第一集合中删除,当所述第二边集为所述第一边集的一个子集时,将第二游走路径从第一集合中删除;
对第一集合中所有成对的第一游走路径与第二游走路径进行判断和删除操作后,将第一集合中剩余的每个游走路径作为疑似边缘。
4.根据权利要求1所述的基于计算机视觉的通信柜表面缺陷检测方法,其特征在于,所述根据每个片段的第一最大长度、第二最大长度、第一长度及每个片段所有类别的个数获取每个片段的平滑度的方法为:
分别获取每个片段的第一最大长度与每个片段第一长度的第一比值、每个片段的第二最大长度与每个片段第一长度的第二比值,将第一比值和第二比值的和记为每个片段的第一转折特征;将每个片段所有类别的个数减去一后与每个片段第一长度的比值记为每个片段的第二转折特征,将第二转折特征输入到负相关映射模型中获得映射结果,所述映射结果与第一转折特征的乘积作为每个片段的平滑度;所述负相关映射模型采用的是以自然常数为底的负指数模型。
7.根据权利要求1所述的基于计算机视觉的通信柜表面缺陷检测方法,其特征在于,根据疑似边缘的边缘率得到疑似缺陷区域的方法为:
当疑似边缘的边缘率大于第二预设阈值时,则判断疑似边缘为准确边缘,当疑似边缘的边缘率小于等于第二预设阈值时,则判断疑似边缘不是准确边缘;将以准确边缘为边缘的连通域作为疑似缺陷区域。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211164723.6A CN115239735B (zh) | 2022-09-23 | 2022-09-23 | 基于计算机视觉的通信柜表面缺陷检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211164723.6A CN115239735B (zh) | 2022-09-23 | 2022-09-23 | 基于计算机视觉的通信柜表面缺陷检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115239735A CN115239735A (zh) | 2022-10-25 |
CN115239735B true CN115239735B (zh) | 2022-12-27 |
Family
ID=83667569
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211164723.6A Active CN115239735B (zh) | 2022-09-23 | 2022-09-23 | 基于计算机视觉的通信柜表面缺陷检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115239735B (zh) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115861291B (zh) * | 2023-01-06 | 2023-05-09 | 曲阜天博汽车电器有限公司 | 基于机器视觉的贴片电路板生产缺陷检测方法 |
CN116152255B (zh) * | 2023-04-21 | 2023-06-27 | 高唐县红发塑业有限公司 | 一种改性塑料生产瑕疵判断方法 |
CN116168025B (zh) * | 2023-04-24 | 2023-07-07 | 日照金果粮油有限公司 | 一种油幕式油炸花生生产系统 |
CN116188468B (zh) * | 2023-04-27 | 2023-07-21 | 济宁市长荣电器科技有限公司 | 一种hdmi线缆传输分拣智能控制系统 |
CN116309561B (zh) * | 2023-05-17 | 2023-08-04 | 威海赛宝工业信息技术研究院有限公司 | 一种基于防漏电绝缘材料的表面缺陷识别方法 |
CN116611748B (zh) * | 2023-07-20 | 2023-10-20 | 吴江市高瑞庭园金属制品有限公司 | 一种钛合金家具生产质量监控系统 |
CN116630315B (zh) * | 2023-07-24 | 2023-09-29 | 山东东阿亿福缘阿胶制品有限公司 | 基于计算机视觉的饮料包装缺陷智能检测方法 |
CN117132506B (zh) * | 2023-10-23 | 2024-01-19 | 深圳市高进实业有限公司 | 基于视觉技术的钟表零配件质量检测方法 |
CN117214183B (zh) * | 2023-11-07 | 2024-01-30 | 山东泗水金立得纸业有限公司 | 一种基于机器视觉的纸张缺陷检测方法 |
CN117314925B (zh) * | 2023-11-30 | 2024-02-20 | 东莞市旺佳五金制品有限公司 | 基于计算机视觉的金属工件表面缺陷检测方法 |
CN117437223B (zh) * | 2023-12-20 | 2024-02-23 | 连兴旺电子(深圳)有限公司 | 一种高速板对板连接器缺陷智能检测方法 |
CN117474977B (zh) * | 2023-12-27 | 2024-03-22 | 山东旭美尚诺装饰材料有限公司 | 基于机器视觉的欧松板凹坑快速检测方法及系统 |
CN117611589B (zh) * | 2024-01-24 | 2024-04-12 | 深圳市格瑞邦科技有限公司 | 一种平板电脑质量检测方法及系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114187289A (zh) * | 2021-12-23 | 2022-03-15 | 武汉市坤瑞塑胶模具制品有限公司 | 一种基于计算机视觉的塑料制品缩坑检测方法及系统 |
CN114445387A (zh) * | 2022-01-29 | 2022-05-06 | 泗阳富艺木业股份有限公司 | 一种基于机器视觉的纤维板质量分类方法 |
CN114663416A (zh) * | 2022-03-31 | 2022-06-24 | 海门市重型矿山机械厂 | 基于计算机视觉的铜排冷隔缺陷检测方法及系统 |
CN114757949A (zh) * | 2022-06-15 | 2022-07-15 | 济宁市海富电子科技有限公司 | 基于计算机视觉的电线电缆缺陷检测方法及系统 |
-
2022
- 2022-09-23 CN CN202211164723.6A patent/CN115239735B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114187289A (zh) * | 2021-12-23 | 2022-03-15 | 武汉市坤瑞塑胶模具制品有限公司 | 一种基于计算机视觉的塑料制品缩坑检测方法及系统 |
CN114445387A (zh) * | 2022-01-29 | 2022-05-06 | 泗阳富艺木业股份有限公司 | 一种基于机器视觉的纤维板质量分类方法 |
CN114663416A (zh) * | 2022-03-31 | 2022-06-24 | 海门市重型矿山机械厂 | 基于计算机视觉的铜排冷隔缺陷检测方法及系统 |
CN114757949A (zh) * | 2022-06-15 | 2022-07-15 | 济宁市海富电子科技有限公司 | 基于计算机视觉的电线电缆缺陷检测方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN115239735A (zh) | 2022-10-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115239735B (zh) | 基于计算机视觉的通信柜表面缺陷检测方法 | |
CN114842017B (zh) | 一种hdmi线缆表面质量检测方法及系统 | |
CN116721106B (zh) | 一种基于图像处理的型材瑕疵视觉检测方法 | |
CN115294113B (zh) | 一种木饰面板质量检测方法 | |
CN115170576B (zh) | 基于机器视觉的铝管表面缺陷检测方法 | |
CN115311292B (zh) | 基于图像处理的带钢表面缺陷检测方法及系统 | |
CN109377485B (zh) | 一种方便面包装缺陷机器视觉检测方法 | |
CN114419025A (zh) | 一种基于图像处理的纤维板质量评估方法 | |
CN115082418B (zh) | 一种汽车零部件精密识别方法 | |
CN109444169B (zh) | 一种轴承缺陷检测方法及系统 | |
CN107945200B (zh) | 图像二值化分割方法 | |
CN115345885A (zh) | 一种金属健身器材外观质量检测方法 | |
CN107610114A (zh) | 基于支持向量机的光学卫星遥感影像云雪雾检测方法 | |
CN110472479B (zh) | 一种基于surf特征点提取和局部lbp编码的指静脉识别方法 | |
CN116645367B (zh) | 一种高端制造用的钢板切割质量检测方法 | |
CN115063423B (zh) | 基于计算机视觉的机械铸件冷热裂纹自适应辨别方法 | |
CN103593670A (zh) | 一种基于在线序列极限学习机的铜板带表面缺陷检测方法 | |
CN113554629A (zh) | 基于人工智能的带钢红锈缺陷检测方法 | |
CN114998323B (zh) | 基于注意力机制的螺纹钢异常判定方法 | |
CN115222743B (zh) | 基于视觉的家具表面喷漆缺陷检测方法 | |
CN113935666B (zh) | 基于图像处理的建筑装饰墙面砖异常评估方法 | |
CN105023027A (zh) | 基于多次反馈机制的现场鞋底痕迹花纹图像检索方法 | |
CN111753794B (zh) | 水果品质分类方法、装置、电子设备及可读存储介质 | |
CN116342586B (zh) | 基于机器视觉的路面质量检测方法 | |
CN115880699B (zh) | 一种食品包装袋检测方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |