CN115115644B - 一种基于人工智能的车辆焊接缺陷检测方法 - Google Patents

一种基于人工智能的车辆焊接缺陷检测方法 Download PDF

Info

Publication number
CN115115644B
CN115115644B CN202211050291.6A CN202211050291A CN115115644B CN 115115644 B CN115115644 B CN 115115644B CN 202211050291 A CN202211050291 A CN 202211050291A CN 115115644 B CN115115644 B CN 115115644B
Authority
CN
China
Prior art keywords
welding
connected domain
degree
edge
beading
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211050291.6A
Other languages
English (en)
Other versions
CN115115644A (zh
Inventor
陈晓萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qidong Delishen Lifting And Transportation Machinery Co ltd
Original Assignee
Qidong Delishen Lifting And Transportation Machinery Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qidong Delishen Lifting And Transportation Machinery Co ltd filed Critical Qidong Delishen Lifting And Transportation Machinery Co ltd
Priority to CN202211050291.6A priority Critical patent/CN115115644B/zh
Publication of CN115115644A publication Critical patent/CN115115644A/zh
Application granted granted Critical
Publication of CN115115644B publication Critical patent/CN115115644B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/457—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by analysing connectivity, e.g. edge linking, connected component analysis or slices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30152—Solder
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明涉及人工智能领域，具体涉及一种基于人工智能的车辆焊接缺陷检测方法。包括：将采集的焊接图像进行语义分割得到焊缝图像；对焊缝图像进行边缘检测得到焊缝的边缘二值图，确定连通域边缘的方向和波动性，得到连通域边缘的光滑程度，利用连通域凹陷处的高亮比和灰度渐变程度得到连通域的亮度程度，根据光滑程度和亮度程度确定连通域的焊瘤程度；将焊瘤程度与设定焊瘤率阈值对比确定是否属于焊瘤；根据焊瘤程度得到焊瘤掩膜进而得到焊瘤分割图像，实现焊瘤缺陷的识别和分割图像。该方法是针对焊瘤特性提出的一种缺陷检测方法，能够降低多余噪声对检测结果的影响，达到较为理想的分割效果。

Description

一种基于人工智能的车辆焊接缺陷检测方法
技术领域
本发明涉及人工智能领域，具体涉及一种基于人工智能的车辆焊接缺陷检测方法。
背景技术
在常规的车辆配件焊接过程中，难免会出现焊接缺陷，在常规的焊接缺陷检测方法中，检测焊瘤可以通过亮度的变化，利用灰度值做焊瘤的边缘检测，但是会检测到大量的噪声边缘，难以确定焊瘤的所在。
由于在焊瘤的缺陷检测中，缺陷并不唯一，导致噪声太多，并严重受到光照的影响，使得焊瘤的分割效果很不理想。
所以本方案在对车辆配件，进行焊接中的焊瘤缺陷检测时，对得到的边缘检测图像，结合焊瘤这种焊接缺陷的特性，提出了一种对焊瘤具针对性的缺陷检测方法，得到较为理想的分割效果。
发明内容
为了克服上述现有技术的缺点，本发明的目的是提供一种基于人工智能的车辆焊接缺陷检测方法。
为达到上述目的，本发明采用以下技术方案，一种基于人工智能的车辆焊接缺陷检测方法。
包括以下步骤：
S1：采集焊接图像，利用语义分割模型获取焊缝图像，对获取的焊缝图像进行边缘检测，得到焊缝图像的边缘二值图；
S2：计算边缘二值图中各连通域边缘曲线的光滑程度，根据各连通域边缘曲线的光滑程度，判断各连通域的边缘是否属于焊瘤的边缘；
S3：利用S2中判断为焊瘤边缘的连通域，确定出该连通域内部的高亮区域和边缘暗区域，计算出连通域内的高亮比和灰度渐变程度，利用获得的高亮比和灰度渐变程度得到连通域凹陷处的亮度程度，根据获得的高亮比、灰度渐变程度和亮度程度，依次对属于焊瘤边缘的连通域内部是否符合焊瘤内部特征进行判断；
S4：利用S3中判断为具有焊瘤内部特征的连通域对应的光滑程度和亮度程度计算出该连通域的焊瘤程度，根据得到的焊瘤程度对具有焊瘤内部特征的连通域是否属于焊瘤进行判断；
S5：将S4中判断为焊瘤的连通域生成掩膜，将焊瘤掩膜和原焊缝图像进行按位与操作，得到焊瘤缺陷检测图像。
所述各连通域边缘的光滑程度的获取步骤如下：
对边缘二值图进行连通域分析，得到各连通域的边缘曲线的链码值，将得到的链码值缩放至-4~4之间得到新链码值，求出各连通域新链码值的方差，利用新链码值的方差
Figure 282000DEST_PATH_IMAGE001
表示边缘曲线的波动程度；
根据新链码值中的正数的数量与非零值的数量，求出方向统一率
Figure 967060DEST_PATH_IMAGE002
，用方向统一率表示连通域边缘曲线的方向变化程度；
根据边缘曲线的波动程度和边缘曲线的方向变化程度计算出连通域边缘的光滑程度。
所述对属于焊瘤边缘的连通域内部是否符合焊瘤内部特征进行判断的步骤如下：
S301：计算各连通域边缘曲线上选取的像素点在其垂线方向上的灰度渐变程度，根据获得的灰度渐变程度，判断该连通域是否具有焊瘤内部的灰度特征；
S302：利用S301中判断为具有焊瘤内部的灰度特征的连通域，确定出该连通域的高亮比，根据获得的高亮比，对具有焊瘤内部的灰度特征的连通域是否具有焊瘤内部的亮度特征；
S303：利用S302中判断为具有焊瘤内部的亮度特征的连通域对应的灰度渐变程度和高亮比，计算出该连通域凹陷处的亮度程度，根据获得的亮度程度对属于焊瘤边缘的连通域内部是否符合焊瘤内部特征进行判断。
所述灰度渐变程度的获取步骤如下：
根据各连通域边缘曲线的链码值得到边缘曲线在各处的斜率，根据获得的斜率求出该处切线方程，利用该处的切线方程求出该点处的垂线方程即边缘曲线凹陷方向的方程；
将边缘曲线均匀等分，每隔t个像素取一个切点像素点，求得切点像素点的垂线方程，将切点像素点的坐标和该切点像素点对应的垂线方程输入模拟器中得到每个垂线方程上的第一交点
Figure 318407DEST_PATH_IMAGE003
，获取该切点像素点与其对应的第一交点的线段上所有的像素点作为该切点像素点的采集点；
将采集点的灰度值的方差作为对应切点像素点的灰度值的渐变剧烈程度，根据每个切点像素点的灰度值的渐变剧烈程度计算该连通域内部的灰度渐变程度，计算公式如下：
Figure 139732DEST_PATH_IMAGE004
式中：
Figure 252919DEST_PATH_IMAGE005
是焊瘤连通域内部的灰度渐变程度，
Figure 425275DEST_PATH_IMAGE006
为切点像素点的灰度值的渐变剧烈程度，
Figure 580312DEST_PATH_IMAGE007
为切点像素点对应的采集点数量，
Figure 459407DEST_PATH_IMAGE008
为连通域边缘曲线上切点像素点数量。
获取第一交点所对应的灰度值，将获取的灰度值与设定高亮阈值进行对比，得到第一交点对应的灰度值大于高亮阈值的像素点个数，根据第一交点对应的灰度值大于高亮阈值的像素点个数计算高亮比。
所述各连通域凹陷处的亮度程度，是根据计算求出的灰度渐变程度与高亮比相乘得到的，利用求出的亮度程度与设定亮度阈值进行比较，判断连通域内部是否符合焊瘤的内部特征。
根据判断为具有焊瘤内部特征的连通域，将该连通域凹陷处的亮度程度和边缘曲线的光滑程度相乘得到焊瘤程度，利用求出的焊瘤程度与设定焊瘤率阈值进行比较，判断是否属于焊瘤。
本发明的有益效果是：利用边缘检测得到焊缝图像的边缘二值图，并结合焊瘤的特性进行分析，能够降低噪声边缘的干扰，根据针对焊瘤的缺陷检测，使分析求得的焊瘤率更精确，确定焊瘤的部分边缘，得到较为理想的焊瘤分割效果。
附图说明
图1是本发明的流程步骤示意图。
图2是本实施例中焊接图像焊缝中的焊瘤。
图3是本实施例中焊缝图像。
图4是本实施例中焊缝图像中局部偏暗的区域图像。
图5是本实施例中laplace算子模板。
图6是本实施例中偏暗区域二值图。
图7是本实施例中偏暗区域的边缘二值图。
图8是本实施例中各连通域的边缘曲线的链码值。
图9是本实施例中边缘曲线链码值变换后的新链码值。
具体实施方式
下面结合附图和实施例对本发明进行详细的描述。
在本发明的描述中，需要理解的是，术语“中心”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征；在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
实施例1
下面结合实施例和图1的流程图展开描述。
在常规的焊瘤区域检测中，由于边缘检测得到的图像往往具有很多噪声，难以分辨哪些属于焊瘤，哪些属于噪声干扰。所以本实施例结合焊瘤在形成时，具有像水滴一样，是外部边缘具有光滑的特性，内部具有高亮度区域和灰度渐变的特性。
本实施例获得焊瘤程度的过程为：
1）对焊接图像做边缘检测，得到焊缝图形的边缘二值图。
2）对边缘二值图中，各边缘区域进行边缘曲线分析，得到各边缘区域的光滑程度。
3）依据各边缘区域的边缘方向，得到区域内部的灰度渐变程度和高亮比，进而得到高亮程度。
4）根据各边缘区域的光滑程度和高亮程度，得到各个边缘的焊瘤程度。
下面为具体展开：
Figure 41698DEST_PATH_IMAGE009
：相机采集焊接图像，通过DNN网络语义分割模型得到焊缝图像，对焊缝图像进行边缘检测得到焊缝图像的边缘二值图
通过RGB相机拍摄得到当前焊接的图像，用作于焊接过程中，焊瘤缺陷检测；采用语义分割网络模型，得到焊缝图像；在焊接图像的缺陷检测过程中，只需要对焊缝区域做缺陷检测就够了，不考虑焊缝以外的区域。
a.RGB相机采集得到焊接图像
RGB相机正对焊接位置，拍到焊接图像，相机在焊接处的正上方，正对焊接处，相机从上方处拍摄，得到焊接处的俯视图，并要求周围具有适当的光照，能够在焊接中的凸起处，形成部分阴影。焊缝中的焊瘤部分如图2所示。
b．训练DNN网络得到语义分割网络模型，对焊接图像做图像处理，得到焊缝图像
本实施例中对焊缝的感知采用语义分割的方式，其中DNN网络为Encode-Decoder的结构，具体训练内容为：
1.数据集采用摄像头正视拍摄的焊接处的图像；
2.标签为两类，焊缝和焊接背景。该方式为像素级的分类，即需要给图像中所有像素标注上对应标签，属于焊缝的像素，其值标注为1，属于焊接背景的像素，其值标注为0。
3.网络所用Loss函数为交叉熵损失函数。
对得到的焊接图像，使用训练完成的语义分割网络模型做图像处理，从焊接图像中得到焊缝标签区域，将焊缝标签区域从焊接图像中分离出来，得到图3所示焊缝图像。
c.对得到的焊缝图像进行边缘检测，得到焊缝图像的边缘二值图。
1.对焊缝图像做边缘检测，得到边缘区域。
Figure 701349DEST_PATH_IMAGE010
算子选用
Figure 394499DEST_PATH_IMAGE011
算子做边缘检测，可以增强每个像素周围的灰度差异，由于其算子模板的特性，可以增强该算子模板中，中心锚点受周围灰度的影响，当一个区域整个周围都是偏暗时，所受周围像素的影响就越小，周围像素的灰度值越大，所受周围像素的影响越大，通过这样的逻辑，选用Laplace算子，遍历整个图像，将局部发暗的区域提取出来。得到图4所示局部偏暗的区域。
本实施例选用的Laplace算子模板如图5所示；
2.将得到的边缘区域进行二值化分割，得到边缘二值图。
在仅具有局部偏暗的区域图像中，非偏暗区域都变为灰度范围的上限，所以通过阈值化，在图像中小于等于254的灰度值的灰度变1，其余变为0，得到图6所示局部偏暗的区域的二值图像。
得到偏暗区域的二值图后，通过形态学的图像处理，和Canny边缘检测得到图7所示偏暗区域的边缘二值图：
至此，得到焊缝图像的边缘二值图。
Figure 892214DEST_PATH_IMAGE012
：计算焊缝图像的边缘二值图中各连通域边缘的光滑程度。
对边缘二值图中，各边缘区域进行边缘曲线分析，得到各边缘区域的光滑程度
Figure 379827DEST_PATH_IMAGE013
。
焊瘤是焊缝上的光滑凸起，所以焊瘤的边缘是光滑曲线，边缘二值图中各连通域的边缘曲线的方向变化，应当是一种缓缓改变的形态，并非突变的变化形式。
焊瘤边缘的边缘呈现向焊瘤内部凹陷的状态，所以焊瘤的边缘的方向变化呈现了一种大方向上的统一性。
所以结合焊瘤的边缘特征，对边缘二值图中各连通域的边缘曲线，进行曲线的光滑性和方向统一性分析，得到边缘二值图中，各连通域的光滑程度
Figure 526775DEST_PATH_IMAGE013
。
本实施例中获取光滑程度
Figure 23615DEST_PATH_IMAGE013
的过程如下：
1.对各连通域的边缘曲线的边缘，获取边缘的链码值。
对边缘二值图进行连通域分析，得到各连通域的不同标签，对连通域的边缘做8-邻域的链码分析，得到每个连通域边缘的链码值
Figure 877302DEST_PATH_IMAGE014
，
Figure 801395DEST_PATH_IMAGE015
为每个连通域的像素个数，也是链码值的个数)变化，得到图8所示各连通域的边缘曲线的链码值。
2.由上述链码值，变换得到图9所示的新链码值，对新链码值分析得到各连通域边缘的光滑程度
Figure 662736DEST_PATH_IMAGE013
。
由上述可以得到链码值，由链码值的变化，可以得到边缘曲线的方向变化和变化程度。链码的值表示边缘曲线的方向变化，不同的值对应着不同的边缘曲线走向。
链码的值的波动表示边缘曲线的变化程度，波动越大，数据之间离散程度越大，则说明其边缘曲线的变化越陡峭、突变。链码值的波动越小，数据之间离散程度越小，则说明其边缘曲线的变化越缓慢平滑。
从常规的链码值规定来看，可以看出链码值在规定方向时，存在不合理的地方，为了使链码值在本方案中，描述方向波动更加适用，更加的合理，对原链码值简单变换重新得到一组新的链码值
Figure 900950DEST_PATH_IMAGE016
和新的表示曲线方向的链码曲线。
变换过程：采用连续两个像素点之间链码值的差，得到原链码差值，如果两个像素点链码之间的差值，大于4，则将两个像素之间的差值减去8。经过这样的操作得到新的链码值
Figure 937039DEST_PATH_IMAGE016
。新链码值示意图：
新链码值可以更好的表示各方向之间的变化距离。新链码值中将链码值缩放到-4~4之间，以链码对应方向的距离为度量而不是单纯只看链码值的大小。
通过方差公式，求得每个连通域新链码值的方差，因为方差能够衡量一组数据的离散程度，可得每个连通域的方差值
Figure 235296DEST_PATH_IMAGE017
，其中
Figure 91257DEST_PATH_IMAGE018
为连通域的个数。用新链码的方差表示链码的值的波动，进而表示边缘曲线的波动程度。方差值越小，说明其边缘曲线的变化越缓慢平滑。
焊瘤的边缘曲线在凹陷时，边缘曲线方向具有一致性。方向的一致性在新链码上表现方式为，大部分新链码的值应为正值，根据正数在整个新链码值中非零值的个数比值，得到新的方向统一率
Figure 929900DEST_PATH_IMAGE019
：
Figure 256714DEST_PATH_IMAGE020
其中
Figure 522610DEST_PATH_IMAGE021
为正数在新链码值中的个数，
Figure 865867DEST_PATH_IMAGE022
为新链码值中非零值的个数，其中
Figure 445884DEST_PATH_IMAGE019
值越大时，证明在新链码中，其方向越统一，连通域的边缘曲线方向就越具有一致性，比较均衡，就说明边缘是在产生突变，连通域的边缘曲线方向就越是多变。
其方向统一率
Figure 925407DEST_PATH_IMAGE019
的值越大，证明其方向性越统一变化；方差
Figure 627783DEST_PATH_IMAGE023
越小，说明越稳定光滑。连通域边缘的光滑程度
Figure 894554DEST_PATH_IMAGE013
：
Figure 75000DEST_PATH_IMAGE024
光滑程度
Figure 674609DEST_PATH_IMAGE013
越大，说明边缘越光滑，方向越具有一致性，越可能是焊瘤的边缘。
设定光滑率阈值
Figure 282308DEST_PATH_IMAGE025
，由实施者根据具体需求确定，本方案为
Figure 537839DEST_PATH_IMAGE026
。如果
Figure 521976DEST_PATH_IMAGE027
，则认为该边缘属于焊瘤的边缘，然后进行下一步判断。
S3：对符合焊瘤边缘的连通域进一步分析，求出符合条件的连通域的高亮程度。
沿着边缘的统一凹陷方向，得到区域内部的灰度渐变程度和高亮比，进而得到高亮程度
Figure 209047DEST_PATH_IMAGE028
。
在焊瘤的内部，由于在形成时，是一个表面光滑的突起。在适当的光照下，焊瘤的内部区域会存在高亮区域，并且由于焊瘤的部分边缘是偏暗的区域，所以从边缘到高亮区域，由于表面光滑，所以灰度值也是一个渐变的过程。
所以焊瘤内部上，通过高亮比
Figure 253226DEST_PATH_IMAGE029
和灰度渐变程度
Figure 792792DEST_PATH_IMAGE005
得到内部的亮度程度
Figure 518303DEST_PATH_IMAGE028
。即如果在连通域凹陷方向上，满足亮度程度的要求，就满足了焊瘤的内部的特征要求。
在本实施例中，获取亮度程度
Figure 92503DEST_PATH_IMAGE028
的过程如下：
1.边缘曲线的切线上的垂线是往边缘内部变化的方向，进而得到边缘曲线向内部的变化方向。
在各连通域中，其边缘曲线在每两个像素点之间的变化方向即旧链码值，根据旧链码值可得到边缘曲线在各处的斜率值，根据斜率值可以得该处切线。已知在连通域分析中可以得到，各连通域的边缘曲线上每个像素值的坐标，在边缘曲线上，两个连续像素点中选取其中第一个像素（链码跟踪时的顺序）作为切线点的坐标
Figure 42005DEST_PATH_IMAGE030
，将两个像素点之间的切线斜率
Figure 776524DEST_PATH_IMAGE031
，作为第一个像素的切线斜率。可以求的在第一个像素上，其切线在该点处的垂线方程。
Figure 836884DEST_PATH_IMAGE032
，将
Figure 265591DEST_PATH_IMAGE033
带入，可以解得
Figure 651573DEST_PATH_IMAGE034
值，进而得到一元一次方程。同理可以得到其余像素的垂线方程。
2.获取焊瘤连通域内部灰度渐变的程度
本实施例通过获取焊瘤连通域边缘曲线相同间隔处的切点像素点的垂线方程以及该切点像素点的坐标输入模拟器中获取每个垂线方程的第一交点（即每条垂线上第一个与其他垂线的交点），获取每个切点像素点与该切点像素点对应的第一交点的线段上每个像素点作为该切点像素点的采集点，根据每个切点像素点对应的所有采集点的灰度值方差值作为该切点像素点对应的灰度值的变化剧烈程度，根据边缘曲线上所有切点对应的灰度值的变化剧烈程度以及每个切点像素点对应的采集点的数量计算该边缘二值图像内部灰度渐变程度，具体过程如下：
上述1过程中，可以得到各边缘曲线往边缘曲线凹陷方向的方程，即垂线方程。在本方案中，通过在边缘曲线上均匀等分，间隔
Figure 103414DEST_PATH_IMAGE035
个像素后，在边缘曲线上获取一个垂线方程。其中
Figure 233044DEST_PATH_IMAGE035
的值，可由实施者根据具体需求给出，本方案中
Figure 516258DEST_PATH_IMAGE036
，表示在边缘曲线上，每隔10个像素点取一个像素点，得到该像素点对应的垂线方程。本方案选取了
Figure 509359DEST_PATH_IMAGE037
个切点像素点，
Figure 245234DEST_PATH_IMAGE038
为连通域分析得到的每个连通域的周长。
将各垂线方程和对应切点像素点的坐标输入到模拟器中，在模拟器里，将垂线方程无限延长，得到两两垂线方程之间的交点坐标，选取每个垂线方程上第一交点（沿其向内/凹陷方向上的每条垂线上第一个与其他垂线的交点））所在的坐标作为对应输出
Figure 178555DEST_PATH_IMAGE003
。
在边缘曲线向着边缘曲线凹陷处灰度渐变的过程中，其距离越短，渐变程度越大，距离越长，渐变程度越缓。获取的每个切点像素点与该切点像素点对应的垂线上第一交点的线段上的每个像素点作为该切点像素点的采集点，获取该切点像素点的采集点的灰度值
Figure 519538DEST_PATH_IMAGE039
，
Figure 981743DEST_PATH_IMAGE007
为该切点像素点对应的采集点的数量，采集点的数量就代表了渐变距离（每个切点像素与其对应第一个交点的距离），利用方差公式得到切点像素点对应的采集点的灰度值方差
Figure 470493DEST_PATH_IMAGE040
作为采集点的灰度值的变化剧烈程度，切点像素点的采集点的灰度值方差越大，灰度变化的越快，方差越小，灰度变化的越慢。
所以边缘二值图像内部灰度渐变程度
Figure 174882DEST_PATH_IMAGE005
：
Figure 370371DEST_PATH_IMAGE041
可以得到焊瘤连通域内部灰度渐变程度
Figure 534636DEST_PATH_IMAGE005
，
Figure 245103DEST_PATH_IMAGE040
是对应的第
Figure 192330DEST_PATH_IMAGE008
个切点像素点对应的采集点的灰度值的变化剧烈程度，
Figure 304643DEST_PATH_IMAGE042
为第
Figure 607186DEST_PATH_IMAGE008
个切点像素点对应的采集点的数量，每个切点像素点与其对应的第一交点的距离，其距离越短，渐变程度越大，距离越长，渐变程度越缓。
至此得到焊瘤连通域内部灰度渐变程度。
而由于焊瘤中间总是具有高亮部分，所以从偏暗区域至高亮区域（认为第一交点所在的位置），总是存在灰度渐变过程的，所以
Figure 70528DEST_PATH_IMAGE005
的值越大，证明其渐变的程度越大，越可能是焊瘤，
Figure 821447DEST_PATH_IMAGE005
的值越小，说明边缘曲线向曲线内部凹陷的灰度渐变过程中，灰度变化越小，就越不可能像焊瘤。
设定灰度渐变程度阈值
Figure 788266DEST_PATH_IMAGE043
，由实施者根据具体需求确定，本方案为
Figure 294333DEST_PATH_IMAGE044
。如果
Figure 917076DEST_PATH_IMAGE045
，则认为该连通域具有焊瘤内部的灰度渐变特征，然后进行下一步判断。
1.获取边缘曲线向曲线内部凹陷处的高亮比：
由模拟器已经得到了，选取的各像素点对应的第一交点坐标。而在焊瘤区域的内部往往有高亮部分，因为焊瘤在形成时是个光滑突起，在遇到光时，会产生局部高亮的效果。
所以通过统计各像素点对应的第一交点坐标在图像上的灰度值，得到局部高亮处是否存在于边缘曲线所围部分，若存在的话，高亮部分在边缘曲线所围部分中的占比。
本实施例设定当第一交点坐标处的灰度值大于
Figure 784536DEST_PATH_IMAGE046
时，认为其属于高亮，R的值可由实施者在具体实施过程中，根据焊瘤所受光照强度决定。
已知每个第一交点的坐标值
Figure 871441DEST_PATH_IMAGE003
，将坐标值变为图像中的行数和列数，在图像中找到每隔第一交点所对应的灰度值
Figure 282830DEST_PATH_IMAGE047
，并统计第一交点对应的灰度值
Figure 189606DEST_PATH_IMAGE048
大于高亮阈值的个数
Figure 282327DEST_PATH_IMAGE049
，则边缘曲线向曲线内部凹陷处的高亮比
Figure 800902DEST_PATH_IMAGE050
Figure 586456DEST_PATH_IMAGE051
Figure 639250DEST_PATH_IMAGE029
的越大，越说明第一交点所在的位置都是高亮区域，越可能是焊瘤，
Figure 332399DEST_PATH_IMAGE029
的值越小，说明第一交点所在的位置都是常规亮度区域，没有形成由于光滑图像造成高亮的区域，说明不是焊瘤。
设定高亮比阈值
Figure 128317DEST_PATH_IMAGE052
，由实施者根据具体需求确定，本方案为
Figure 881509DEST_PATH_IMAGE053
。如果，则认为该连通域具有焊瘤内部的亮度特征，然后进行下一步判断。
2.根据高亮比
Figure 966140DEST_PATH_IMAGE029
和渐变程度得到亮度程度
Figure 227095DEST_PATH_IMAGE028
：
Figure 80781DEST_PATH_IMAGE054
灰度的渐变程度
Figure 739296DEST_PATH_IMAGE005
，与边缘曲线的高亮比
Figure 373540DEST_PATH_IMAGE029
，是判断一个连通域凹陷处的否符合焊瘤内部区域亮度特征的缺一不可因素。各连通域凹陷处
Figure 611754DEST_PATH_IMAGE055
的值越大，就越符合焊瘤的内部特征，值越小就越不符合焊瘤的内部特征。
设定亮度程度阈值
Figure 647843DEST_PATH_IMAGE056
，由实施者根据具体需求确定，本方案为
Figure 975794DEST_PATH_IMAGE057
。如果
Figure 35017DEST_PATH_IMAGE058
，则认为该连通域符合焊瘤的内部特征，然后进行下一步判断。
S4：根据已经得到各连通域的边缘特征光滑程度
Figure 139239DEST_PATH_IMAGE013
，和反应其凹陷处内部特征的亮度程度
Figure 498676DEST_PATH_IMAGE059
得到各连通域的焊瘤程度
Figure 967835DEST_PATH_IMAGE060
。判断连通域是否属于焊瘤偏暗区域的边缘区域。
将各连通域的内部亮度特征和外部边缘特征，均满足焊瘤特征的连通域，检测为焊瘤。
本实施例中各连通域的焊瘤程度
Figure 45512DEST_PATH_IMAGE060
，获取过程如下：
连通域的外部边缘曲线的光滑程度
Figure 446101DEST_PATH_IMAGE013
，和凹陷处的内部特征高亮程度
Figure 128886DEST_PATH_IMAGE028
，都是判断一个焊瘤缺一不可的因素，所以两者之间是一种相乘的关系，不满足一个就不会是焊瘤。
Figure 565684DEST_PATH_IMAGE060
的值越大满足的越多越可能是焊瘤，所以一个连通域的焊瘤程度
Figure 396237DEST_PATH_IMAGE060
为：
Figure 779945DEST_PATH_IMAGE061
Figure 113974DEST_PATH_IMAGE060
的值越大，该边缘曲线是一个焊瘤的可能性就越大，J的值越小，则是一个焊瘤的可能性就越小。
设定焊瘤率的阈值
Figure 220208DEST_PATH_IMAGE062
，如果
Figure 538057DEST_PATH_IMAGE063
时，则认为是一个焊瘤，若过小于
Figure 256614DEST_PATH_IMAGE064
时，则认为不是一个焊瘤，
Figure 913992DEST_PATH_IMAGE062
的值由实施者根据焊瘤缺陷检测精度的要求进行更改，本方案选取
Figure 958171DEST_PATH_IMAGE062
的值为60。
Figure 497737DEST_PATH_IMAGE065
：根据焊瘤程度得到焊瘤掩膜，进而得到焊瘤分割图像，实现焊瘤缺陷的识别和分割图像。
将符合焊瘤率的焊瘤连通域，生成掩膜，用于将焊瘤从原图像中给框出显示。在得到焊瘤的掩膜后，就将掩膜叠加到原图像中，得到最终的焊瘤缺陷检测图像。
a.通过焊瘤连通域，得到焊瘤掩膜；
由模块二可以得到，是焊瘤的连通域，通过连通域分析，从边缘二值图中，提取得到该连通域至一张新的图像，将新的图像转化生成二值图，得到焊瘤的掩膜。
b.焊瘤掩膜，和原图像叠加，得到焊瘤缺陷检测图像；
将焊瘤的掩膜与原焊缝图像进行按位与操作，得到焊瘤缺陷检测图像。(框出的是焊瘤暗区域的，而不是焊瘤)。
以上实施例仅仅是对本发明的举例说明，并不构成对本发明的保护范围的限制，凡是与本发明相同或相似的设计均属于本发明的保护范围之内。

Claims (6)

1.一种基于人工智能的车辆焊接缺陷检测方法，其特征在于，包括以下步骤：
S1：采集焊接图像，利用语义分割模型获取焊缝图像，对获取的焊缝图像进行边缘检测，得到焊缝图像的边缘二值图；
S2：计算边缘二值图中各连通域边缘曲线的光滑程度，根据各连通域边缘曲线的光滑程度，判断各连通域的边缘是否属于焊瘤的边缘；
S3：利用S2中判断为焊瘤边缘的连通域，确定出该连通域内部的高亮区域和边缘暗区域，计算出连通域内的高亮比和灰度渐变程度，利用获得的高亮比和灰度渐变程度得到连通域凹陷处的亮度程度，根据获得的高亮比、灰度渐变程度和亮度程度，依次对属于焊瘤边缘的连通域内部是否符合焊瘤内部特征进行判断，其中连通域内的灰度渐变程度的计算方法如下：
根据各连通域边缘曲线的链码值得到边缘曲线在各处的斜率，根据获得的斜率求出该处切线方程，利用该处的切线方程求出该点处的垂线方程即边缘曲线凹陷方向的方程；
将边缘曲线均匀等分，每隔t个像素取一个切点像素点，求得切点像素点的垂线方程，将切点像素点的坐标和该切点像素点对应的垂线方程输入模拟器中得到每个垂线方程上的第一交点
Figure 483608DEST_PATH_IMAGE001
，获取该切点像素点与其对应的第一交点的线段上所有的像素点作为该切点像素点的采集点；
将采集点的灰度值的方差作为对应切点像素点的灰度值的渐变剧烈程度，根据每个切点像素点的灰度值的渐变剧烈程度计算该连通域内部的灰度渐变程度，计算公式如下：
Figure 829139DEST_PATH_IMAGE002
式中：
Figure 854864DEST_PATH_IMAGE003
是焊瘤连通域内部的灰度渐变程度，
Figure 528422DEST_PATH_IMAGE004
为切点像素点的灰度值的渐变剧烈程度，
Figure 258481DEST_PATH_IMAGE005
为切点像素点对应的采集点数量，
Figure 333884DEST_PATH_IMAGE006
为连通域边缘曲线上切点像素点数量；
S4：利用S3中判断为具有焊瘤内部特征的连通域对应的光滑程度和亮度程度计算出该连通域的焊瘤程度，根据得到的焊瘤程度对具有焊瘤内部特征的连通域是否属于焊瘤进行判断；
S5：将S4中判断为焊瘤的连通域生成掩膜，将焊瘤掩膜和原焊缝图像进行按位与操作，得到焊瘤缺陷检测图像。
2.根据权利要求1所述一种基于人工智能的车辆焊接缺陷检测方法，其特征在于，所述各连通域边缘的光滑程度的获取步骤如下：
对边缘二值图进行连通域分析，得到各连通域的边缘曲线的链码值，将得到的链码值缩放至-4~4之间得到新链码值，求出各连通域新链码值的方差，利用新链码值的方差
Figure 858406DEST_PATH_IMAGE007
表示边缘曲线的波动程度；
根据新链码值中的正数的数量与非零值的数量，求出方向统一率
Figure 347156DEST_PATH_IMAGE008
，用方向统一率表示连通域边缘曲线的方向变化程度；
根据边缘曲线的波动程度和边缘曲线的方向变化程度计算出连通域边缘的光滑程度。
3.根据权利要求1所述一种基于人工智能的车辆焊接缺陷检测方法，其特征在于，所述对属于焊瘤边缘的连通域内部是否符合焊瘤内部特征进行判断的步骤如下：
S301：计算各连通域边缘曲线上选取的像素点在其垂线方向上的灰度渐变程度，根据获得的灰度渐变程度，判断该连通域是否具有焊瘤内部的灰度特征；
S302：利用S301中判断为具有焊瘤内部的灰度特征的连通域，确定出该连通域的高亮比，根据获得的高亮比，对具有焊瘤内部的灰度特征的连通域是否具有焊瘤内部的亮度特征；
S303：利用S302中判断为具有焊瘤内部的亮度特征的连通域对应的灰度渐变程度和高亮比，计算出该连通域凹陷处的亮度程度，根据获得的亮度程度对属于焊瘤边缘的连通域内部是否符合焊瘤内部特征进行判断。
4.根据权利要求3所述一种基于人工智能的车辆焊接缺陷检测方法，其特征在于，获取第一交点所对应的灰度值，将获取的灰度值与设定高亮阈值进行对比，得到第一交点对应的灰度值大于高亮阈值的像素点个数，根据第一交点对应的灰度值大于高亮阈值的像素点个数计算高亮比。
5.根据权利要求3所述一种基于人工智能的车辆焊接缺陷检测方法，其特征在于，所述各连通域凹陷处的亮度程度，是根据计算求出的灰度渐变程度与高亮比相乘得到的，利用求出的亮度程度与设定亮度阈值进行比较，判断连通域内部是否符合焊瘤的内部特征。
6.根据权利要求1所述一种基于人工智能的车辆焊接缺陷检测方法，其特征在于，根据判断为具有焊瘤内部特征的连通域，将该连通域凹陷处的亮度程度和边缘曲线的光滑程度相乘得到焊瘤程度，利用求出的焊瘤程度与设定焊瘤率阈值进行比较，判断是否属于焊瘤。
CN202211050291.6A 2022-08-31 2022-08-31 一种基于人工智能的车辆焊接缺陷检测方法 Active CN115115644B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211050291.6A CN115115644B (zh) 2022-08-31 2022-08-31 一种基于人工智能的车辆焊接缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211050291.6A CN115115644B (zh) 2022-08-31 2022-08-31 一种基于人工智能的车辆焊接缺陷检测方法

Publications (2)

Publication Number Publication Date
CN115115644A CN115115644A (zh) 2022-09-27
CN115115644B true CN115115644B (zh) 2022-11-15

Family

ID=83336206

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211050291.6A Active CN115115644B (zh) 2022-08-31 2022-08-31 一种基于人工智能的车辆焊接缺陷检测方法

Country Status (1)

Country Link
CN (1) CN115115644B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115283125A (zh) * 2022-10-09 2022-11-04 如皋市中如新材料科技有限公司 一种基于石料破碎设备的运行异常监测方法
CN115601369B (zh) * 2022-12-16 2023-03-03 国网山东省电力公司东营供电公司 一种输变电工程用变电设备支架质量评估方法
CN115880280B (zh) * 2023-02-01 2023-05-09 山东建筑大学鉴定检测中心有限公司 一种钢结构焊缝质量的检测方法
CN115984272B (zh) * 2023-03-20 2023-05-23 山东杨嘉汽车制造有限公司 基于计算机视觉的半挂车车桥缺陷识别方法
CN116342611B (zh) * 2023-05-31 2023-09-08 无锡日联科技股份有限公司 微型半导体的焊线检测方法、检测装置
CN116664569B (zh) * 2023-07-31 2023-10-10 山东正华建筑科技有限公司 一种焊瘤缺陷检测方法
CN116703903B (zh) * 2023-08-04 2023-10-20 山东济宁运河煤矿有限责任公司 一种基于机器视觉的锚杆修复质量检测方法
CN117314920B (zh) * 2023-11-30 2024-02-02 江苏高特高金属科技有限公司 一种金属管道x光焊缝表面焊瘤检测方法
CN117372436B (zh) * 2023-12-08 2024-02-13 红叶风电设备(营口)有限公司 基于图像数据的风电叶片故障检测方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101826213A (zh) * 2010-04-20 2010-09-08 杭州电子科技大学 一种基于链码描述的区域填充方法
CN105405137B (zh) * 2015-11-09 2018-10-26 长沙慧联智能科技有限公司 基于机器视觉的轴质量检测方法
CN105976352B (zh) * 2016-04-14 2019-01-11 北京工业大学 一种基于灰度图像形态学的焊缝表面缺陷特征提取方法
CN114071104B (zh) * 2022-01-18 2022-04-19 山东捷瑞数字科技股份有限公司 基于着色器实现多投影机投影渐变融合的方法

Also Published As

Publication number Publication date
CN115115644A (zh) 2022-09-27

Similar Documents

Publication Publication Date Title
CN115115644B (zh) 一种基于人工智能的车辆焊接缺陷检测方法
CN113160192B (zh) 复杂背景下基于视觉的压雪车外观缺陷检测方法及装置
CN110598610B (zh) 一种基于神经选择注意的目标显著性检测方法
US10088600B2 (en) Weather recognition method and device based on image information detection
CN108960245B (zh) 轮胎模具字符的检测与识别方法、装置、设备及存储介质
WO2020137222A1 (ja) 欠陥検査装置、欠陥検査方法、及びそのプログラム
CN107909081B (zh) 一种深度学习中图像数据集的快速获取和快速标定方法
CN110009607B (zh) 显示屏坏点检测方法、装置、计算机设备和存储介质
CN113658132A (zh) 基于计算机视觉的结构件焊缝检测方法
CN108154502A (zh) 一种基于卷积神经网络的通孔焊点识别方法
CN111915704A (zh) 一种基于深度学习的苹果分级识别方法
CN103914708B (zh) 基于机器视觉的食品品种检测方法及系统
CN103543394A (zh) 一种高压电气设备放电紫外成像量化参数提取方法
CN111046872B (zh) 一种光学字符识别方法
CN109800698A (zh) 基于深度网络的图标检测方法
CN111797766B (zh) 识别方法、识别装置、计算机可读存储介质和车辆
CN115170669A (zh) 基于边缘特征点集配准的识别定位方法及系统、存储介质
CN108898132A (zh) 一种基于形状上下文描述的太赫兹图像危险品识别方法
CN113034474A (zh) 一种oled显示器晶圆图的测试方法
CN114881965A (zh) 一种基于人工智能和图像处理的木板节子检测方法
CN111310768A (zh) 基于鲁棒性背景先验和全局信息的显著性目标检测方法
CN107273884A (zh) 一种基于移动终端摄像头的车辆牌照识别方法
CN111754525A (zh) 一种基于非精确切分的工业字符检测流程
CN117253024B (zh) 一种基于机器视觉的工业盐质检管控方法及系统
CN117197064A (zh) 一种无接触眼红程度自动分析方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant