CN115115644A - 一种基于人工智能的车辆焊接缺陷检测方法 - Google Patents
一种基于人工智能的车辆焊接缺陷检测方法 Download PDFInfo
- Publication number
- CN115115644A CN115115644A CN202211050291.6A CN202211050291A CN115115644A CN 115115644 A CN115115644 A CN 115115644A CN 202211050291 A CN202211050291 A CN 202211050291A CN 115115644 A CN115115644 A CN 115115644A
- Authority
- CN
- China
- Prior art keywords
- welding
- connected domain
- edge
- degree
- flash
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/457—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by analysing connectivity, e.g. edge linking, connected component analysis or slices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30152—Solder
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Abstract
本发明涉及人工智能领域,具体涉及一种基于人工智能的车辆焊接缺陷检测方法。包括:将采集的焊接图像进行语义分割得到焊缝图像;对焊缝图像进行边缘检测得到焊缝的边缘二值图,确定连通域边缘的方向和波动性,得到连通域边缘的光滑程度,利用连通域凹陷处的高亮比和灰度渐变程度得到连通域的亮度程度,根据光滑程度和亮度程度确定连通域的焊瘤程度;将焊瘤程度与设定焊瘤率阈值对比确定是否属于焊瘤;根据焊瘤程度得到焊瘤掩膜进而得到焊瘤分割图像,实现焊瘤缺陷的识别和分割图像。该方法是针对焊瘤特性提出的一种缺陷检测方法,能够降低多余噪声对检测结果的影响,达到较为理想的分割效果。
Description
技术领域
本发明涉及人工智能领域,具体涉及一种基于人工智能的车辆焊接缺陷检测方法。
背景技术
在常规的车辆配件焊接过程中,难免会出现焊接缺陷,在常规的焊接缺陷检测方法中,检测焊瘤可以通过亮度的变化,利用灰度值做焊瘤的边缘检测,但是会检测到大量的噪声边缘,难以确定焊瘤的所在。
由于在焊瘤的缺陷检测中,缺陷并不唯一,导致噪声太多,并严重受到光照的影响,使得焊瘤的分割效果很不理想。
所以本方案在对车辆配件,进行焊接中的焊瘤缺陷检测时,对得到的边缘检测图像,结合焊瘤这种焊接缺陷的特性,提出了一种对焊瘤具针对性的缺陷检测方法,得到较为理想的分割效果。
发明内容
为了克服上述现有技术的缺点,本发明的目的是提供一种基于人工智能的车辆焊接缺陷检测方法。
为达到上述目的,本发明采用以下技术方案,一种基于人工智能的车辆焊接缺陷检测方法。
包括以下步骤:
S1:采集焊接图像,利用语义分割模型获取焊缝图像,对获取的焊缝图像进行边缘检测,得到焊缝图像的边缘二值图;
S2:计算边缘二值图中各连通域边缘曲线的光滑程度,根据各连通域边缘曲线的光滑程度,判断各连通域的边缘是否属于焊瘤的边缘;
S3:利用S2中判断为焊瘤边缘的连通域,确定出该连通域内部的高亮区域和边缘暗区域,计算出连通域内的高亮比和灰度渐变程度,利用获得的高亮比和灰度渐变程度得到连通域凹陷处的亮度程度,根据获得的高亮比、灰度渐变程度和亮度程度,依次对属于焊瘤边缘的连通域内部是否符合焊瘤内部特征进行判断;
S4:利用S3中判断为具有焊瘤内部特征的连通域对应的光滑程度和亮度程度计算出该连通域的焊瘤程度,根据得到的焊瘤程度对具有焊瘤内部特征的连通域是否属于焊瘤进行判断;
S5:将S4中判断为焊瘤的连通域生成掩膜,将焊瘤掩膜和原焊缝图像进行按位与操作,得到焊瘤缺陷检测图像。
所述各连通域边缘的光滑程度的获取步骤如下:
根据边缘曲线的波动程度和边缘曲线的方向变化程度计算出连通域边缘的光滑程度。
所述对属于焊瘤边缘的连通域内部是否符合焊瘤内部特征进行判断的步骤如下:
S301:计算各连通域边缘曲线上选取的像素点在其垂线方向上的灰度渐变程度,根据获得的灰度渐变程度,判断该连通域是否具有焊瘤内部的灰度特征;
S302:利用S301中判断为具有焊瘤内部的灰度特征的连通域,确定出该连通域的高亮比,根据获得的高亮比,对具有焊瘤内部的灰度特征的连通域是否具有焊瘤内部的亮度特征;
S303:利用S302中判断为具有焊瘤内部的亮度特征的连通域对应的灰度渐变程度和高亮比,计算出该连通域凹陷处的亮度程度,根据获得的亮度程度对属于焊瘤边缘的连通域内部是否符合焊瘤内部特征进行判断。
所述灰度渐变程度的获取步骤如下:
根据各连通域边缘曲线的链码值得到边缘曲线在各处的斜率,根据获得的斜率求出该处切线方程,利用该处的切线方程求出该点处的垂线方程即边缘曲线凹陷方向的方程;
将边缘曲线均匀等分,每隔t个像素取一个切点像素点,求得切点像素点的垂线方程,将切点像素点的坐标和该切点像素点对应的的垂线方程输入模拟器中得到每个垂线方程上的第一交点,获取该切点像素点与其对应的第一交点的线段上所有的像素点作为该切点像素点的采集点;
将采集点的灰度值的方差作为对应切点像素点的灰度值的渐变剧烈程度,根据每个切点像素点的灰度值的渐变剧烈程度计算该连通域内部的灰度渐变程度,计算公式如下:
获取第一交点所对应的灰度值,将获取的灰度值与设定高亮阈值进行对比,得到第一交点对应的灰度值大于高亮阈值的像素点个数,根据第一交点对应的灰度值大于高亮阈值的像素点个数计算高亮比。
所述各连通域凹陷处的亮度程度,是根据计算求出的灰度渐变程度与高亮比相乘得到的,利用求出的亮度程度与设定亮度阈值进行比较,判断连通域内部是否符合焊瘤的内部特征。
根据判断为具有焊瘤内部特征的连通域,将该连通域凹陷处的亮度程度和边缘曲线的光滑程度相乘得到焊瘤程度,利用求出的焊瘤程度与设定焊瘤率阈值进行比较,判断是否属于焊瘤。
本发明的有益效果是:利用边缘检测得到焊缝图像的边缘二值图,并结合焊瘤的特性进行分析,能够降低噪声边缘的干扰,根据针对焊瘤的缺陷检测,使分析求得的焊瘤率更精确,确定焊瘤的部分边缘,得到较为理想的焊瘤分割效果。
附图说明
图1是本发明的流程步骤示意图。
图2是本实施例中焊接图像焊缝中的焊瘤。
图3是本实施例中焊缝图像。
图4是本实施例中焊缝图像中局部偏暗的区域图像。
图5是本实施例中laplace算子模板。
图6是本实施例中偏暗区域二值图。
图7是本实施例中偏暗区域的边缘二值图。
图8是本实施例中各连通域的边缘曲线的链码值。
图9是本实施例中边缘曲线链码值变换后的新链码值。
具体实施方式
下面结合附图和实施例对本发明进行详细的描述。
在本发明的描述中,需要理解的是,术语“中心”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征;在本发明的描述中,除非另有说明,“多个”的含义是两个或两个以上。
实施例1
下面结合实施例和图1的流程图展开描述。
在常规的焊瘤区域检测中,由于边缘检测得到的图像往往具有很多噪声,难以分辨哪些属于焊瘤,哪些属于噪声干扰。所以本实施例结合焊瘤在形成时,具有像水滴一样,是外部边缘具有光滑的特性,内部具有高亮度区域和灰度渐变的特性。
本实施例获得焊瘤程度的过程为:
1)对焊接图像做边缘检测,得到焊缝图形的边缘二值图。
2)对边缘二值图中,各边缘区域进行边缘曲线分析,得到各边缘区域的光滑程度。
3)依据各边缘区域的边缘方向,得到区域内部的灰度渐变程度和高亮比,进而得到高亮程度。
4)根据各边缘区域的光滑程度和高亮程度,得到各个边缘的焊瘤程度。
下面为具体展开:
通过RGB相机拍摄得到当前焊接的图像,用作于焊接过程中,焊瘤缺陷检测;采用语义分割网络模型,得到焊缝图像;在焊接图像的缺陷检测过程中,只需要对焊缝区域做缺陷检测就够了,不考虑焊缝以外的区域。
a.RGB相机采集得到焊接图像
RGB相机正对焊接位置,拍到焊接图像,相机在焊接处的正上方,正对焊接处,相机从上方处拍摄,得到焊接处的俯视图,并要求周围具有适当的光照,能够在焊接中的凸起处,形成部分阴影。焊缝中的焊瘤部分如图2所示。
b.训练DNN网络得到语义分割网络模型,对焊接图像做图像处理,得到焊缝图像
本实施例中对焊缝的感知采用语义分割的方式,其中DNN网络为Encode-Decoder的结构,具体训练内容为:
1.数据集采用摄像头正视拍摄的焊接处的图像;
2.标签为两类,焊缝和焊接背景。该方式为像素级的分类,即需要给图像中所有像素标注上对应标签,属于焊缝的像素,其值标注为1,属于焊接背景的像素,其值标注为0。
3.网络所用Loss函数为交叉熵损失函数。
对得到的焊接图像,使用训练完成的语义分割网络模型做图像处理,从焊接图像中得到焊缝标签区域,将焊缝标签区域从焊接图像中分离出来,得到图3所示焊缝图像。
c.对得到的焊缝图像进行边缘检测,得到焊缝图像的边缘二值图。
1.对焊缝图像做边缘检测,得到边缘区域。
算子选用算子做边缘检测,可以增强每个像素周围的灰度差异,由于其算子模板的特性,可以增强该算子模板中,中心锚点受周围灰度的影响,当一个区域整个周围都是偏暗时,所受周围像素的影响就越小,周围像素的灰度值越大,所受周围像素的影响越大,通过这样的逻辑,选用Laplace算子,遍历整个图像,将局部发暗的区域提取出来。得到图4所示局部偏暗的区域。
本实施例选用的Laplace算子模板如图5所示;
2.将得到的边缘区域进行二值化分割,得到边缘二值图。
在仅具有局部偏暗的区域图像中,非偏暗区域都变为灰度范围的上限,所以通过阈值化,在图像中小于等于254的灰度值的灰度变1,其余变为0,得到图6所示局部偏暗的区域的二值图像。
得到偏暗区域的二值图后,通过形态学的图像处理,和Canny边缘检测得到图7所示偏暗区域的边缘二值图:
至此,得到焊缝图像的边缘二值图。
焊瘤是焊缝上的光滑凸起,所以焊瘤的边缘是光滑曲线,边缘二值图中各连通域的边缘曲线的方向变化,应当是一种缓缓改变的形态,并非突变的变化形式。
焊瘤边缘的边缘呈现向焊瘤内部凹陷的状态,所以焊瘤的边缘的方向变化呈现了一种大方向上的统一性。
1.对各连通域的边缘曲线的边缘,获取边缘的链码值。
对边缘二值图进行连通域分析,得到各连通域的不同标签,对连通域的边缘做8-邻域的链码分析,得到每个连通域边缘的链码值,为每个连通域的像素个数,也是链码值的个数)变化,得到图8所示各连通域的边缘曲线的链码值。
由上述可以得到链码值,由链码值的变化,可以得到边缘曲线的方向变化和变化程度。链码的值表示边缘曲线的方向变化,不同的值对应着不同的边缘曲线走向。
链码的值的波动表示边缘曲线的变化程度,波动越大,数据之间离散程度越大,则说明其边缘曲线的变化越陡峭、突变。链码值的波动越小,数据之间离散程度越小,则说明其边缘曲线的变化越缓慢平滑。
新链码值可以更好的表示各方向之间的变化距离。新链码值中将链码值缩放到-4~4之间,以链码对应方向的距离为度量而不是单纯只看链码值的大小。
通过方差公式,求得每个连通域新链码值的方差,因为方差能够衡量一组数据的离散程度,可得每个连通域的方差值,其中为连通域的个数。用新链码的方差表示链码的值的波动,进而表示边缘曲线的波动程度。方差值越小,说明其边缘曲线的变化越缓慢平滑。
其中为正数在新链码值中的个数,为新链码值中非零值的个数,其中值越大时,证明在新链码中,其方向越统一,连通域的边缘曲线方向就越具有一致性,比较均衡,就说明边缘是在产生突变,连通域的边缘曲线方向就越是多变。
S3:对符合焊瘤边缘的连通域进一步分析,求出符合条件的连通域的高亮程度。
在焊瘤的内部,由于在形成时,是一个表面光滑的突起。在适当的光照下,焊瘤的内部区域会存在高亮区域,并且由于焊瘤的部分边缘是偏暗的区域,所以从边缘到高亮区域,由于表面光滑,所以灰度值也是一个渐变的过程。
1.边缘曲线的切线上的垂线是往边缘内部变化的方向,进而得到边缘曲线向内部的变化方向。
在各连通域中,其边缘曲线在每两个像素点之间的变化方向即旧链码值,根据旧链码值可得到边缘曲线在各处的斜率值,根据斜率值可以得该处切线。已知在连通域分析中可以得到,各连通域的边缘曲线上每个像素值的坐标,在边缘曲线上,两个连续像素点中选取其中第一个像素(链码跟踪时的顺序)作为切线点的坐标,将两个像素点之间的切线斜率,作为第一个像素的切线斜率。可以求的在第一个像素上,其切线在该点处的垂线方程。,将带入,可以解得值,进而得到一元一次方程。同理可以得到其余像素的垂线方程。
2.获取焊瘤连通域内部灰度渐变的程度
本实施例通过获取焊瘤连通域边缘曲线相同间隔处的切点像素点的垂线方程以及该切点像素点的坐标输入模拟器中获取每个垂线方程的第一交点(即每条垂线上第一个与其他垂线的交点),获取每个切点像素点与该切点像素点对应的第一交点的线段上每个像素点作为该切点像素点的采集点,根据每个切点像素点对应的所有采集点的灰度值方差值作为该切点像素点对应的灰度值的变化剧烈程度,根据边缘曲线上所有切点对应的灰度值的变化剧烈程度以及每个切点像素点对应的采集点的数量计算该边缘二值图像内部灰度渐变程度,具体过程如下:
上述1过程中,可以得到各边缘曲线往边缘曲线凹陷方向的方程,即垂线方程。在本方案中,通过在边缘曲线上均匀等分,间隔个像素后,在边缘曲线上获取一个垂线方程。其中的值,可由实施者根据具体需求给出,本方案中,表示在边缘曲线上,每隔10个像素点取一个像素点,得到该像素点对应的垂线方程。本方案选取了个切点像素点,为连通域分析得到的每个连通域的周长。
将各垂线方程和对应切点像素点的坐标输入到模拟器中,在模拟器里,将垂线方程无限延长,得到两两垂线方程之间的交点坐标,选取每个垂线方程上第一交点(沿其向内/凹陷方向上的每条垂线上第一个与其他垂线的交点))所在的坐标作为对应输出。
在边缘曲线向着边缘曲线凹陷处灰度渐变的过程中,其距离越短,渐变程度越大,距离越长,渐变程度越缓。获取的每个切点像素点与该切点像素点对应的垂线上第一交点的线段上的每个像素点作为该切点像素点的采集点,获取该切点像素点的采集点的灰度值,为该切点像素点对应的采集点的数量,采集点的数量就代表了渐变距离(每个切点像素与其对应第一个交点的距离),利用方差公式得到切点像素点对应的采集点的灰度值方差作为采集点的灰度值的变化剧烈程度,切点像素点的采集点的灰度值方差越大,灰度变化的越快,方差越小,灰度变化的越慢。
可以得到焊瘤连通域内部灰度渐变程度,是对应的第个切点像素点对应的采集点的灰度值的变化剧烈程度,为第个切点像素点对应的采集点的数量,每个切点像素点与其对应的第一交点的距离,其距离越短,渐变程度越大,距离越长,渐变程度越缓。
至此得到焊瘤连通域内部灰度渐变程度。
而由于焊瘤中间总是具有高亮部分,所以从偏暗区域至高亮区域(认为第一交点所在的位置),总是存在灰度渐变过程的,所以的值越大,证明其渐变的程度越大,越可能是焊瘤,的值越小,说明边缘曲线向曲线内部凹陷的灰度渐变过程中,灰度变化越小,就越不可能像焊瘤。
1.获取边缘曲线向曲线内部凹陷处的高亮比:
由模拟器已经得到了,选取的各像素点对应的第一交点坐标。而在焊瘤区域的内部往往有高亮部分,因为焊瘤在形成时是个光滑突起,在遇到光时,会产生局部高亮的效果。
所以通过统计各像素点对应的第一交点坐标在图像上的灰度值,得到局部高亮处是否存在于边缘曲线所围部分,若存在的话,高亮部分在边缘曲线所围部分中的占比。
将各连通域的内部亮度特征和外部边缘特征,均满足焊瘤特征的连通域,检测为焊瘤。
连通域的外部边缘曲线的光滑程度,和凹陷处的内部特征高亮程度,都是判断一个焊瘤缺一不可的因素,所以两者之间是一种相乘的关系,不满足一个就不会是焊瘤。的值越大满足的越多越可能是焊瘤,所以一个连通域的焊瘤程度为:
将符合焊瘤率的焊瘤连通域,生成掩膜,用于将焊瘤从原图像中给框出显示。在得到焊瘤的掩膜后,就将掩膜叠加到原图像中,得到最终的焊瘤缺陷检测图像。
a.通过焊瘤连通域,得到焊瘤掩膜;
由模块二可以得到,是焊瘤的连通域,通过连通域分析,从边缘二值图中,提取得到该连通域至一张新的图像,将新的图像转化生成二值图,得到焊瘤的掩膜。
b.焊瘤掩膜,和原图像叠加,得到焊瘤缺陷检测图像;
将焊瘤的掩膜与原焊缝图像进行按位与操作,得到焊瘤缺陷检测图像。(框出的是焊瘤暗区域的,而不是焊瘤)。
以上实施例仅仅是对本发明的举例说明,并不构成对本发明的保护范围的限制,凡是与本发明相同或相似的设计均属于本发明的保护范围之内。
Claims (6)
1.一种基于人工智能的车辆焊接缺陷检测方法,其特征在于,包括以下步骤:
S1:采集焊接图像,利用语义分割模型获取焊缝图像,对获取的焊缝图像进行边缘检测,得到焊缝图像的边缘二值图;
S2:计算边缘二值图中各连通域边缘曲线的光滑程度,根据各连通域边缘曲线的光滑程度,判断各连通域的边缘是否属于焊瘤的边缘;
S3:利用S2中判断为焊瘤边缘的连通域,确定出该连通域内部的高亮区域和边缘暗区域,计算出连通域内的高亮比和灰度渐变程度,利用获得的高亮比和灰度渐变程度得到连通域凹陷处的亮度程度,根据获得的高亮比、灰度渐变程度和亮度程度,依次对属于焊瘤边缘的连通域内部是否符合焊瘤内部特征进行判断,其中连通域内的灰度渐变程度的计算方法如下:
根据各连通域边缘曲线的链码值得到边缘曲线在各处的斜率,根据获得的斜率求出该处切线方程,利用该处的切线方程求出该点处的垂线方程即边缘曲线凹陷方向的方程;
将边缘曲线均匀等分,每隔t个像素取一个切点像素点,求得切点像素点的垂线方程,将切点像素点的坐标和该切点像素点对应的的垂线方程输入模拟器中得到每个垂线方程上的第一交点,获取该切点像素点与其对应的第一交点的线段上所有的像素点作为该切点像素点的采集点;
将采集点的灰度值的方差作为对应切点像素点的灰度值的渐变剧烈程度,根据每个切点像素点的灰度值的渐变剧烈程度计算该连通域内部的灰度渐变程度,计算公式如下:
S4:利用S3中判断为具有焊瘤内部特征的连通域对应的光滑程度和亮度程度计算出该连通域的焊瘤程度,根据得到的焊瘤程度对具有焊瘤内部特征的连通域是否属于焊瘤进行判断;
S5:将S4中判断为焊瘤的连通域生成掩膜,将焊瘤掩膜和原焊缝图像进行按位与操作,得到焊瘤缺陷检测图像。
3.根据权利要求1所述一种基于人工智能的车辆焊接缺陷检测方法,其特征在于,所述对属于焊瘤边缘的连通域内部是否符合焊瘤内部特征进行判断的步骤如下:
S301:计算各连通域边缘曲线上选取的像素点在其垂线方向上的灰度渐变程度,根据获得的灰度渐变程度,判断该连通域是否具有焊瘤内部的灰度特征;
S302:利用S301中判断为具有焊瘤内部的灰度特征的连通域,确定出该连通域的高亮比,根据获得的高亮比,对具有焊瘤内部的灰度特征的连通域是否具有焊瘤内部的亮度特征;
S303:利用S302中判断为具有焊瘤内部的亮度特征的连通域对应的灰度渐变程度和高亮比,计算出该连通域凹陷处的亮度程度,根据获得的亮度程度对属于焊瘤边缘的连通域内部是否符合焊瘤内部特征进行判断。
4.根据权利要求3所述一种基于人工智能的车辆焊接缺陷检测方法,其特征在于,获取第一交点所对应的灰度值,将获取的灰度值与设定高亮阈值进行对比,得到第一交点对应的灰度值大于高亮阈值的像素点个数,根据第一交点对应的灰度值大于高亮阈值的像素点个数计算高亮比。
5.根据权利要求3所述一种基于人工智能的车辆焊接缺陷检测方法,其特征在于,所述各连通域凹陷处的亮度程度,是根据计算求出的灰度渐变程度与高亮比相乘得到的,利用求出的亮度程度与设定亮度阈值进行比较,判断连通域内部是否符合焊瘤的内部特征。
6.根据权利要求1所述一种基于人工智能的车辆焊接缺陷检测方法,其特征在于,根据判断为具有焊瘤内部特征的连通域,将该连通域凹陷处的亮度程度和边缘曲线的光滑程度相乘得到焊瘤程度,利用求出的焊瘤程度与设定焊瘤率阈值进行比较,判断是否属于焊瘤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211050291.6A CN115115644B (zh) | 2022-08-31 | 2022-08-31 | 一种基于人工智能的车辆焊接缺陷检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211050291.6A CN115115644B (zh) | 2022-08-31 | 2022-08-31 | 一种基于人工智能的车辆焊接缺陷检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115115644A true CN115115644A (zh) | 2022-09-27 |
CN115115644B CN115115644B (zh) | 2022-11-15 |
Family
ID=83336206
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211050291.6A Active CN115115644B (zh) | 2022-08-31 | 2022-08-31 | 一种基于人工智能的车辆焊接缺陷检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115115644B (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115283125A (zh) * | 2022-10-09 | 2022-11-04 | 如皋市中如新材料科技有限公司 | 一种基于石料破碎设备的运行异常监测方法 |
CN115601369A (zh) * | 2022-12-16 | 2023-01-13 | 国网山东省电力公司东营供电公司(Cn) | 一种输变电工程用变电设备支架质量评估方法 |
CN115880280A (zh) * | 2023-02-01 | 2023-03-31 | 山东建筑大学鉴定检测中心有限公司 | 一种钢结构焊缝质量的检测方法 |
CN115984272A (zh) * | 2023-03-20 | 2023-04-18 | 山东杨嘉汽车制造有限公司 | 基于计算机视觉的半挂车车桥缺陷识别方法 |
CN116342611A (zh) * | 2023-05-31 | 2023-06-27 | 无锡日联科技股份有限公司 | 微型半导体的焊线检测方法、检测装置 |
CN116664569A (zh) * | 2023-07-31 | 2023-08-29 | 山东正华建筑科技有限公司 | 一种焊瘤缺陷检测方法 |
CN116703903A (zh) * | 2023-08-04 | 2023-09-05 | 山东济宁运河煤矿有限责任公司 | 一种基于机器视觉的锚杆修复质量检测方法 |
CN117314920A (zh) * | 2023-11-30 | 2023-12-29 | 江苏高特高金属科技有限公司 | 一种金属管道x光焊缝表面焊瘤检测方法 |
CN117372436A (zh) * | 2023-12-08 | 2024-01-09 | 红叶风电设备(营口)有限公司 | 基于图像数据的风电叶片故障检测方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101826213A (zh) * | 2010-04-20 | 2010-09-08 | 杭州电子科技大学 | 一种基于链码描述的区域填充方法 |
CN105405137A (zh) * | 2015-11-09 | 2016-03-16 | 长沙慧联智能科技有限公司 | 基于机器视觉的轴质量检测方法 |
CN105976352A (zh) * | 2016-04-14 | 2016-09-28 | 北京工业大学 | 一种基于灰度图像形态学的焊缝表面缺陷特征提取方法 |
CN114071104A (zh) * | 2022-01-18 | 2022-02-18 | 山东捷瑞数字科技股份有限公司 | 基于着色器实现多投影机投影渐变融合的方法 |
-
2022
- 2022-08-31 CN CN202211050291.6A patent/CN115115644B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101826213A (zh) * | 2010-04-20 | 2010-09-08 | 杭州电子科技大学 | 一种基于链码描述的区域填充方法 |
CN105405137A (zh) * | 2015-11-09 | 2016-03-16 | 长沙慧联智能科技有限公司 | 基于机器视觉的轴质量检测方法 |
CN105976352A (zh) * | 2016-04-14 | 2016-09-28 | 北京工业大学 | 一种基于灰度图像形态学的焊缝表面缺陷特征提取方法 |
CN114071104A (zh) * | 2022-01-18 | 2022-02-18 | 山东捷瑞数字科技股份有限公司 | 基于着色器实现多投影机投影渐变融合的方法 |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115283125A (zh) * | 2022-10-09 | 2022-11-04 | 如皋市中如新材料科技有限公司 | 一种基于石料破碎设备的运行异常监测方法 |
CN115601369A (zh) * | 2022-12-16 | 2023-01-13 | 国网山东省电力公司东营供电公司(Cn) | 一种输变电工程用变电设备支架质量评估方法 |
CN115601369B (zh) * | 2022-12-16 | 2023-03-03 | 国网山东省电力公司东营供电公司 | 一种输变电工程用变电设备支架质量评估方法 |
CN115880280A (zh) * | 2023-02-01 | 2023-03-31 | 山东建筑大学鉴定检测中心有限公司 | 一种钢结构焊缝质量的检测方法 |
CN115984272A (zh) * | 2023-03-20 | 2023-04-18 | 山东杨嘉汽车制造有限公司 | 基于计算机视觉的半挂车车桥缺陷识别方法 |
CN116342611B (zh) * | 2023-05-31 | 2023-09-08 | 无锡日联科技股份有限公司 | 微型半导体的焊线检测方法、检测装置 |
CN116342611A (zh) * | 2023-05-31 | 2023-06-27 | 无锡日联科技股份有限公司 | 微型半导体的焊线检测方法、检测装置 |
CN116664569A (zh) * | 2023-07-31 | 2023-08-29 | 山东正华建筑科技有限公司 | 一种焊瘤缺陷检测方法 |
CN116664569B (zh) * | 2023-07-31 | 2023-10-10 | 山东正华建筑科技有限公司 | 一种焊瘤缺陷检测方法 |
CN116703903A (zh) * | 2023-08-04 | 2023-09-05 | 山东济宁运河煤矿有限责任公司 | 一种基于机器视觉的锚杆修复质量检测方法 |
CN116703903B (zh) * | 2023-08-04 | 2023-10-20 | 山东济宁运河煤矿有限责任公司 | 一种基于机器视觉的锚杆修复质量检测方法 |
CN117314920A (zh) * | 2023-11-30 | 2023-12-29 | 江苏高特高金属科技有限公司 | 一种金属管道x光焊缝表面焊瘤检测方法 |
CN117314920B (zh) * | 2023-11-30 | 2024-02-02 | 江苏高特高金属科技有限公司 | 一种金属管道x光焊缝表面焊瘤检测方法 |
CN117372436A (zh) * | 2023-12-08 | 2024-01-09 | 红叶风电设备(营口)有限公司 | 基于图像数据的风电叶片故障检测方法 |
CN117372436B (zh) * | 2023-12-08 | 2024-02-13 | 红叶风电设备(营口)有限公司 | 基于图像数据的风电叶片故障检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN115115644B (zh) | 2022-11-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115115644B (zh) | 一种基于人工智能的车辆焊接缺陷检测方法 | |
CN113160192B (zh) | 复杂背景下基于视觉的压雪车外观缺陷检测方法及装置 | |
CN110598610B (zh) | 一种基于神经选择注意的目标显著性检测方法 | |
CN110009607B (zh) | 显示屏坏点检测方法、装置、计算机设备和存储介质 | |
CN111915704A (zh) | 一种基于深度学习的苹果分级识别方法 | |
CN113658132A (zh) | 基于计算机视觉的结构件焊缝检测方法 | |
CN103543394A (zh) | 一种高压电气设备放电紫外成像量化参数提取方法 | |
CN108154502A (zh) | 一种基于卷积神经网络的通孔焊点识别方法 | |
CN108898132A (zh) | 一种基于形状上下文描述的太赫兹图像危险品识别方法 | |
CN115082466B (zh) | 一种pcb表面焊点缺陷检测方法及系统 | |
CN115170669A (zh) | 基于边缘特征点集配准的识别定位方法及系统、存储介质 | |
CN108961307B (zh) | 基于核相关滤波跟踪的圆形目标尺度自适应跟踪方法 | |
CN113034474A (zh) | 一种oled显示器晶圆图的测试方法 | |
CN112991283A (zh) | 基于超像素的柔性ic基板线宽检测方法、介质和设备 | |
CN114881965A (zh) | 一种基于人工智能和图像处理的木板节子检测方法 | |
CN108491857A (zh) | 一种视域重叠的多摄像机目标匹配方法 | |
CN118275449A (zh) | 铜带表面缺陷检测方法、装置及设备 | |
CN111754525A (zh) | 一种基于非精确切分的工业字符检测流程 | |
CN117274405B (zh) | 基于机器视觉的led灯工作颜色检测方法 | |
CN110717910B (zh) | 基于卷积神经网络的ct图像目标检测方法及ct扫描仪 | |
CN118506338A (zh) | 一种基于深度学习的电子器件印刷字符识别检测方法 | |
CN115546141A (zh) | 一种基于多维度度量的小样本Mini LED缺陷检测方法及系统 | |
CN112598632B (zh) | 一种压接连接器接触件外观检测方法及装置 | |
CN114638793A (zh) | 一种屏幕老化程度检测方法及装置 | |
CN118710641B (zh) | 一种焊接质量智能检测方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |