CN116168032B - 一种基于点云的端接焊缝缺陷检测方法及系统 - Google Patents
一种基于点云的端接焊缝缺陷检测方法及系统 Download PDFInfo
- Publication number
- CN116168032B CN116168032B CN202310452620.8A CN202310452620A CN116168032B CN 116168032 B CN116168032 B CN 116168032B CN 202310452620 A CN202310452620 A CN 202310452620A CN 116168032 B CN116168032 B CN 116168032B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- weld
- cloud data
- point
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/0006—Industrial image inspection using a design-rule based approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Quality & Reliability (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种基于点云的端接焊缝缺陷检测方法及系统,包括以下步骤:采样模块对端接焊缝进行采样,将采集到的点云数据保存到样本空间;训练模块对样本空间中的点云数据进行预处理;训练模块对预处理之后的点云数据进行建模,得到标准焊缝模型;采样模块实时采集端接焊缝的点云数据输入实时检测模块,所述实时检测模块同时加载所述标准焊缝模型,对端接焊缝进行实时检测;将检测合格的焊缝样本的数据添加到样本空间中进行保存,并将该焊缝样本运送至下一步处理处;将检测不合格的焊缝样本移出检测队列,返回焊接车间进行人工再焊接。本发明能生成端接焊缝的形状并分析,实现精密的形状检测,且能实现无人工的在线动态检测。
Description
技术领域
本发明涉及质量检测领域,尤其涉及一种基于点云的端接焊缝缺陷检测方法及系统。
背景技术
在焊接的后续工序中,若采用人工目视对焊接件进行全数检测,不仅非常费时,同时由于检测员的检测经验和能力的不同,难以保证检测员的检测结果准确,可能会遗漏一些细微缺陷,出现人为失误,这是一个非常严峻的问题。焊接工序中导入激光视觉传感器,可在不增加单件作业时间的前提下,追踪机器人的焊枪,在焊接后立即稳定地对焊道进行形状检测。
经对现有的技术文献和专利检索发现,专利号202110913937.8的中国发明专利,将点云数据转换成二维图像,对图像中的感兴趣区域进行特征提取关键特征(焊缝高度差、焊缝宽度、焊缝最小值和最高点边距),基于所述关键特征值判断所述焊缝是否存在质量缺陷。其中从点云数据转换到图像数据存在一定的精度损失,点云数据采集时要以焊接物圆心进行圆周运动,对焊接物摆放位置有较高要求。
专利号201510074062.1的中国发明专利,通过焊缝轮廓曲线上任意点与拟合轮廓曲线的差值判断缺陷。其中拟合轮廓曲线选用八阶拟合至十五阶拟合,需要消耗大量的计算资源,难以做到实时监测。
专利号202210275374.9的中国发明专利,通过DTW算法计算当前焊缝轮廓数据与正常焊缝轮廓模板之间的距离d,由此判断焊缝表面是否存在缺陷。其中,基于历史数据设定正常焊缝轮廓模板的具体方法并未公开。
目前对焊缝的缺陷检测研究,主要针对对接焊缝和角焊缝为主,缺少针对端接焊缝的缺陷检测研究。
发明内容
针对现有技术的不足,本发明提出一种基于点云的端接焊缝缺陷检测方法及系统,具体技术方案如下:
一种基于点云的端接焊缝缺陷检测方法,基于检测系统实现,所述检测系统包括:采样模块、训练模块、实时检测模块;检测方法包括以下步骤:
S1:采样模块对端接焊缝进行采样,将采集到的点云数据保存到样本空间;
S2:训练模块对样本空间中的点云数据进行预处理;
S3:训练模块对预处理之后的点云数据进行建模,得到标准焊缝模型;
S4:采样模块实时采集端接焊缝的点云数据输入实时检测模块,所述实时检测模块同时加载所述标准焊缝模型,对端接焊缝进行实时检测;
S5:将检测合格的焊缝样本的数据添加到样本空间中进行保存,并将该焊缝样本运送至下一步处理处;将检测不合格的焊缝样本移出检测队列,返回焊接车间进行人工再焊接。
进一步地,所述步骤S2具体通过以下子步骤实现:
S2.1:对样本空间中的点云数据进行均匀下采样;在点云数据中选取一个点,并设该点所在集合为内点集合,初始内点集合中只有一个点,之后每次从点云数据中不属于内点集合的点中,找出距离内点集合最远的点,并将该点添加到内点集合中,该点与内点集合的距离计算方式为该点至内点集合中所有点的距离的最小值;当内点集合的数量达到预先设置的数量时,完成点云数据的下采样工作;
S2.2:对内点集合中的点云数据进行统计滤波,去除离群点,具体为:在一个点周围选择若干个点,计算它们距离的统计参数,如果某个点偏离平均值超过SR倍的方差,则认为该点是离群点,并进行去除,其中SR为标准偏差比率;
S2.3:采用主成分分析法分析点云的主方向,并选用中间部分的点云数据的主方向代替整体点云数据的主方向;
S2.4:将点云数据进行旋转,旋转的角度为主方向与世界坐标系的夹角,使得焊缝方向与世界坐标系方向保持一致。
进一步地,所述步骤S3具体通过以下子步骤实现:
S3.1:对于经过步骤S2预处理后,焊缝方向与世界坐标系方向一致的点云数据,其中x轴是焊缝运动方向,z轴是高度轴;将坐标轴y=0附近的点投影到xz平面上,通过z轴高度得到两个极小值点,将这两个极小值点投影到x轴上,获得两个x轴投影点,这两个x轴投影点将点云数据分为首段、中间段、尾段三部分;
S3.2:选择中间段的点云数据,以x轴坐标为依据,分割成若干个切片,并将各个切片上的点投影到yz平面上;yz平面上的数据分布即可表示当前x轴坐标下焊缝的形状特征;
S3.3:在每一中间段的切片投影到yz平面的点云数据中,选择两端的点云数据进行最小二乘拟合,得到拟合曲线,计算拟合曲线的最高点坐标;将切片上的点云数据进行平移,使拟合曲线的最高点坐标位于yz平面的原点;
S3.4:对平移之后的切片点云数据选用中间部分的点云数据进行两次最小二乘拟合,得到一条拟合曲线A;选用切片两端的点云数据进行两次最小二乘拟合,得到第二条拟合曲线B;拟合曲线A和拟合曲线B存在两个交点,两交点在y方向上的坐标分别为a、b,且a<b;最终的拟合曲线C为拟合曲线A和拟合曲线B的组合,当切片点云数据中的点在y方向上的坐标位于两交点坐标a、b之间时,选择拟合曲线A,当点在y方向上的坐标位于两交点坐标a、b之外时,选择拟合曲线B;拟合曲线C的表达式如下:
;
S3.5:通过合理率来评判曲线拟合的好坏,所述合理率为在拟合曲线C上的点占所有切片点云数据中点数的比例;当合理率达到阈值时,对该切片的拟合曲线A和拟合曲线B进行存储;反之,则舍弃该切片的拟合曲线A和拟合曲线B;
S3.6:通过统计若干条良好焊缝的各个中间段所有合理率达到阈值的切片的拟合曲线A系数的平均值,得到最终曲线D,通过统计若干条良好焊缝的各个中间段所有合理率达到阈值的切片的拟合曲线B系数的平均值,得到最终的曲线E;其中,曲线D为选用中间部分的点云数据拟合的曲线,曲线E为选用两端的点云数据拟合的曲线;曲线D和曲线E存在两个交点,两交点在y方向上的坐标分别为d、e,且d<e;最终得到的标准焊缝模型F为曲线D和曲线E的组合,当点在y方向上的坐标位于两交点坐标d、e之间时,选择曲线D,当点在y方向上的坐标位于两交点坐标d、e之外时,选择曲线E。
进一步地,所述步骤S4具体通过以下子步骤实现:
S4.1:采样模块实时采集端接焊缝的点云数据,实时检测模块对点云数据进行和步骤S2中相同的预处理;
S4.2:实时检测模块对于经过预处理后,焊缝方向与世界坐标系方向一致的点云数据,其中,x轴是焊缝运动方向,z轴是高度轴;将坐标轴y=0附近的点投影到xz平面上,通过z轴高度判断两个极小值点,这两个极小值点投影到x轴上的两个点,将点云数据分为首段、中间段、尾段三部分;将中间段的点云数据,以x轴坐标为依据,分割成若干个切片,并将各个切片上的点投影到yz平面上,yz平面上的数据分布即表示当前x轴坐标下焊缝的形状特征;在单个切片中,若存在两点间隔大于最大阈值,或者最左端和最右端距离小于最小阈值的情况,则判定为数据丢失,将其添加到缺陷信息中;
S4.3:采用分段式检测,对中间段数据的检测具体如下:
(1)在S4.2得到的中间段的切片上,选择两端的点云数据进行最小二乘拟合,得到拟合曲线;计算拟合曲线的最高点坐标,将切片上的点云数据进行平移,使拟合曲线的最高点坐标位于yz平面的原点;
(2)将平移后切片点云的y轴坐标代入所述标准焊缝模型,得到预测的z轴数据,将其与真实的z轴数据进行比较,计算合格率;所述合格率为该切片中预测的z轴数据和真实的z轴数据偏差在误差范围内的点的数量与该切片内所有点的数量的比值;若合格率低于设定阈值,则认为该条焊缝在该切片内存在问题,并输出该缺陷信息;反之则认为该条焊缝在该切片内正常;
(3)重复步骤(1)、(2),直到该条焊缝的中间段切片全部检测完成;若所有切片检测结果均为正常,则认为该条焊缝的中间段合格,反之则输出各切片存在的缺陷信息;
对首段和尾段点云数据的检测具体如下:
将首段和尾段的点云数据以x轴坐标为依据,分割成若干个切片,在首段和尾段的切片上,分别进行极大值、极小值判定,若单个切片数据中存在两个波峰一个波谷,这认为存在焊缝弧坑,并输出该缺陷信息;若单个切片数据中存在两个波谷,则认为存在焊瘤,并输出该缺陷信息;若单个切片数据中只存在一个波峰,则认为焊缝正常;当所有切片均判断为正常时,首尾段合格;反之则输出各切片存在的缺陷信息;
当该条焊缝的中间段、首段和尾段均检测合格时,认为该条焊缝检测合格,反之则检测不合格。
进一步地,对于合格的焊缝样本,实时检测模块最终输出其焊缝3D模型,所述焊缝3D模型能够进行旋转、平移和缩放;
对于不合格的焊缝样本,实时检测模块最终输出的检测信息包括焊缝文本信息和焊缝3D模型,其中焊缝文本信息包括焊缝缺陷类型和缺陷的坐标位置;焊缝3D模型中不同类型的缺陷以不同的颜色标记,所述焊缝3D模型能够进行旋转、平移和缩放。
进一步地,实时检测模块将数据上传到云端,上传数据包括以文本信息上传的本次检测的检测结果和焊缝3D模型的快照截图。
进一步地,上传数据还包括所述采样模块实时采集的原始点云数据。
进一步地,所述步骤S5中,当样本空间中的样本数量达到设定数值时,训练模块对所述标准焊缝模型进行重新训练,使所述标准焊缝模型的精度进一步提高。
一种基于点云的端接焊缝缺陷检测系统,包括采样模块、训练模块、实时检测模块、系统设置模块;
所述采样模块采集历史端接焊缝的点云数据,并将其存入样本空间;在线状态下采样模块实时采集端接焊缝的点云数据,输入实时检测模块中;
所述训练模块调用所述样本空间中批量的点云数据,对点云数据进行预处理后,构建标准焊缝模型;
所述实时检测模块调用所述标准焊缝模型,对输入的实时采集到的端接焊缝的点云数据进行检测,得到该端接焊缝的检测结果,并将检测合格的焊缝点云数据输入所述样本空间中,用于更新所述标准焊缝模型;
系统设置模块用于对所述检测系统进行参数设置,包括:对采样模块中激光视觉传感器的采样尺寸和采样时间的设置、预处理参数的设置、标准焊缝模型参数的设置。
本发明的有益效果是:
(1)本发明能生成端接焊缝的3D形状,并对其进行分析,从而实现精密的形状检测,且能实现在线动态检测,无人值守焊接检测。
(2)本发明采用的检测方法,标准焊缝模型的建模时间短,检测速度快。
(3)本发明将采样、训练、实时检测等一系列功能集成到同一系统中,集成化程度高,使用简单,容易上手。
附图说明
图1是本发明基于点云的端接焊缝缺陷检测的方法流程框图。
图2是本发明所测的端接焊缝结构示意图。
图3是本发明步骤S3.4中的曲线拟合示意图。
图4是本发明步骤S4的流程图。
具体实施方式
下面根据附图和优选实施例详细描述本发明,本发明的目的和效果将变得更加明白,以下结合附图和实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
基于点云的端接焊缝缺陷检测系统,包括采样模块、训练模块、实时检测模块、系统设置模块,各模块之间数据互通。
其中,采样模块用于采集端接焊缝的点云数据,采样模块采集的历史端接焊缝的点云数据存入样本空间;在线状态下采样模块实时采集的端接焊缝的点云数据,输入实时检测模块中。
训练模块调用样本空间中一定批量的点云数据,对点云数据进行预处理后,构建标准焊缝模型。
实时检测模块调用标准焊缝模型,对输入的实时采集到的端接焊缝的点云数据进行检测,得到该端接焊缝的检测结果,并将检测合格的焊缝点云数据输入样本空间中,用于更新标准焊缝模型。
系统设置模块,可以对整个检测系统做到精细化设置,包括:对采样模块中激光视觉传感器的采样尺寸和采样时间的设置、预处理相关参数的设置、标准焊缝模型参数的设置、界面皮肤设置等。
如图1所示,基于点云的端接焊缝缺陷检测的方法包括两个阶段,第一阶段为离线建立标准焊缝模型,第二阶段为在线对焊接流水线上的端接焊缝进行实时检测,并按是否合格进行分离。具体的检测流程如下:
第一阶段:建立标准焊缝模型。
S1:如图2所示,采样模块利用激光视觉传感器对端接焊缝进行采样,将采集到的点云数据保存到样本空间。激光视觉传感器的采样精度高,能够实时的采集数据。
S2:训练模块对样本空间中的点云数据进行预处理。具体通过如下子步骤实现:
S2.1:对样本空间中的点云数据进行均匀下采样。首先需要在点云数据中选取一个点,并设该点所在集合为内点集合,初始内点集合中只有一个点,之后每次从点云数据中不属于内点集合的点中,找出距离内点集合最远的点,并将该点添加到内点集合中,该点与内点集合的距离计算方式为,该点至内点集合中所有点的距离的最小值。当内点集合的数量达到预先设置的数量时,完成点云数据的下采样工作;本实施例中预先设置的数量为总点云数量的五十分之一。
S2.2:对下采样后的点云数据(即内点集合中的点云数据)进行统计滤波,去除离群点。在一个点周围选择若干个点,计算它们距离的统计参数,如果某个点偏离平均值超过SR倍的方差,则认为该点是离群点,并进行去除,其中SR为标准偏差比率。本实施例中,在一个点周围选择20个点,SR=2。
S2.3:采用主成分分析法(Principal Component Analysis,以下简称PCA)分析点云的主方向。PCA是将步骤S2.2得到的原点云数据投影到一个新的正交坐标系下,通过选择新坐标轴的方向,使得点云数据在新坐标轴上的投影的方差最大,从而得到点云的主方向。选用中间部分的点云数据的主方向代替整体点云数据的主方向,避免因焊缝两端不对称导致的方向偏差。
S2.4:将点云数据进行旋转,旋转的角度为主方向与世界坐标系,即xyz坐标系的夹角,使得焊缝方向与xyz坐标系方向保持一致,其中,x轴是焊缝运动方向,z轴是高度轴。
S3:训练模块对预处理之后的点云数据进行建模,得到标准焊缝模型。建模过程采用统计学的方法,具体通过如下子步骤实现:
S3.1:将坐标轴y=0附近的点投影到xz平面上,通过z轴高度判断得到两个极小值点,这两个极小值点投影到x轴上的两个点分别为焊缝首段和中间段、尾段和中间段的分界点,即将点云数据分为首段、中间段、尾段三部分。
S3.2:选择中间段的点云数据,以x轴坐标为依据,分割成若干个切片,并将各个切片上的点投影到yz平面上。yz平面上的数据分布即可表示当前x轴坐标下焊缝的形状特征。
S3.3:在每一中间段的切片投影到yz平面的点云数据中,选择两端的点云数据进行最小二乘拟合,得到拟合曲线。计算拟合曲线的最高点坐标。将切片上的点云数据进行平移,使得拟合曲线最高点坐标为(0,0),即位于yz平面的原点。
S3.4:如图3所示,对平移之后的切片点云数据选用中间部分的点云数据进行两次最小二乘拟合,得到一条拟合曲线A,对应图3中用虚线表示的曲线;本实施例中,选用中间部分的三分之二点云数据进行拟合。选用切片两端的点云数据进行两次最小二乘拟合,得到第二条拟合曲线B,对应图3中用实线表示的曲线;本实施例中,选用切片两端各三分之一的点云数据进行拟合。拟合曲线A和拟合曲线B存在两个交点,两交点在y方向上的坐标分别为a、b,且a<b。最终的拟合曲线C为拟合曲线A和拟合曲线B的组合,当切片点云数据中的点在y方向上的坐标位于两交点坐标a、b之间时,选择拟合曲线A,当点在y方向上的坐标位于两交点坐标a、b之外时,选择拟合曲线B,拟合曲线C的表达式如下:
S3.5:通过合理率来评判曲线拟合的好坏,合理率的定义为在拟合曲线C上的点占所有切片点云数据中点数的比例。当合理率高时,对该切片的拟合曲线A和拟合曲线B进行存储,反之,则舍弃该切片的拟合曲线A和拟合曲线B;本实施例中,合理率达到90%以上时,存储曲线。合理率fit的计算表达式如下:
式中,M为拟合曲线C上的点的数量,即预测值与真实值偏差在误差范围内的数量,N为所有点的数量。本实施例中,误差范围为±0.05以内。
S3.6:通过统计若干条良好焊缝的各个中间段所有合理率高的切片的拟合曲线A系数的平均值,得到最终曲线D,通过统计若干条良好焊缝的各个中间段所有合理率达到阈值的切片的拟合曲线B系数的平均值,得到最终的曲线E;本实施例中,选用20条良好焊缝求平均。其中,曲线D为选用中间部分的点云数据拟合的曲线,曲线E为选用两端的点云数据拟合的曲线;曲线D和曲线E存在两个交点,两交点在y方向上的坐标分别为d、e,且d<e;最终得到的标准焊缝模型F的表达式为:
;
即当点在y方向上的坐标位于两交点坐标d、e之间时,选择曲线D,当点在y方向上的坐标位于两交点坐标d、e之外时,选择曲线E。
第二阶段:对焊接流水线上的焊缝进行实时检测,并按是否合格进行分离。
S4:采样模块实时采集端接焊缝的点云数据输入实时检测模块,同时实时检测模块加载标准焊缝模型F,对焊接流水线上的端接焊缝进行实时检测,同时将检测结果显示在系统客户端上,并且进行数据上传。如图4所示,具体通过如下子步骤实现:
S4.1:采样模块实时采集焊接流水线上的端接焊缝的点云数据,实时检测模块对点云数据进行和步骤S2中相同的预处理。
S4.2:实时检测模块采用步骤S3.1的方法,将S4.1得到的预处理后的点云数据划分为首段、中间段、尾段三部分。将中间段的点云数据,以x轴坐标为依据,分割成若干个切片,并将各个切片上的点投影到yz平面上,yz平面上的数据分布即可表示当前x轴坐标下焊缝的形状特征。在单个切片中,两点间隔过大,或者,最左端和最右端距离过近,则判定为数据丢失,将其添加到缺陷信息中。在本实施例中,将中间段的点云数据分割成若干个厚度为0.05mm的切片;在单个切片中,两点间隔大于0.5mm,或者,最左端和最右端距离小于1.75mm,判定为数据丢失。
S4.3:采用分段式检测,对中间段数据和首段、尾段的数据采用不同的方法进行检测,对中间段数据的检测具体如下:
(1)在S4.2得到的中间段的切片上,选择两端的点云数据进行最小二乘拟合,得到拟合曲线;本实施例中,选择两端各三分之一的点云数据进行拟合。计算拟合曲线的最高点坐标。将切片上的点云数据进行平移,使得拟合曲线最高点坐标为(0,0),即位于yz平面的原点。
(2)将平移后切片点云的y轴坐标代入标准焊缝模型F,得到预测的z轴数据,将其与真实的z轴数据进行比较。若合格率fit'低于设定阈值,则认为该条焊缝在该切片内存在问题,并输出该缺陷信息;反之则认为该条焊缝在该切片内正常;本实施例中,合格率fit'小于90%,则判断存在问题。合格率fit'的表达式如下:
;
式中,P为该切片中,预测的z轴数据和真实的z轴数据偏差在误差范围内的点的数量;Q为该切片内的所有点的数量。本实施例中,误差范围为±0.05以内。
(3)重复步骤(1)、(2),直到该条焊缝的中间段切片全部检测完成;若所有切片检测结果均为正常,则认为该条焊缝的中间段合格,反之则输出各切片存在的缺陷信息。
对首段和尾段点云数据的检测具体如下:
将首段和尾段的点云数据,以x轴坐标为依据,分割成若干个切片,在首段和尾段的切片上,进行极大值、极小值判定,若单个切片数据中存在两个波峰一个波谷,这认为存在焊缝弧坑,并输出该缺陷信息;若单个切片数据中存在两个波谷,则认为存在焊瘤,并输出该缺陷信息;若单个切片数据中只存在一个波峰,则认为焊缝正常。当所有切片均判断为正常时,首尾段合格;反之则输出各切片存在的缺陷信息。
当焊缝的中间段、首段和尾段均检测合格时,认为该焊缝样本检测合格,反之则检测不合格。对于合格的焊缝样本,实时检测模块最终输出其焊缝3D模型,显示在系统客户端上,同时可以对模型进行旋转、平移和缩放。对于不合格的焊缝样本,实时检测模块最终输出的检测信息包括焊缝文本信息和焊缝3D模型,显示在系统客户端上。其中焊缝文本信息包括焊缝缺陷类型和缺陷的坐标位置;焊缝3D模型中不同类型的缺陷将以不同的颜色标记,同时可以对模型进行旋转、平移和缩放。将实时检测模块最终输出的检测结果显示在系统客户端上。
同时实时检测模块将数据上传到云端,上传数据包括本次检测的检测结果(此处的检测结果为文本信息)和快照截图(快照截图为焊缝3D模型的截图),同时也可选择上传原始点云数据。上传数据可以实现远程中控,以及实时监控现场情况,并且通过大数据的分析,对整体的焊接流程和焊接设备提出新的指导意见。
S5:将检测合格的焊缝样本的数据添加到样本空间中进行保存,并将该焊缝样本送往装配车间进行下一步处理。当样本空间中的样本数量达到阈值时,训练模块对标准焊缝模型F进行重新训练,使模型精度进一步提高;本实施例中,限定阈值为20的倍数。将检测不合格的焊缝样本,通过传送带移除出检测队列,重新回到焊接车间进行人工再焊接。
本发明集成采样、训练、实时检测等功能,无需构建复杂的机器学习模型或神经网络模型,即可有效检测出端接焊缝表面是否存在缺陷,大大节约计算资源,实现高效稳定的焊缝质量检测,具有较高的生产价值。
本领域普通技术人员可以理解,以上所述仅为发明的优选实例而已,并不用于限制发明,尽管参照前述实例对发明进行了详细的说明,对于本领域的技术人员来说,其依然可以对前述各实例记载的技术方案进行修改,或者对其中部分技术特征进行等同替换。凡在发明的精神和原则之内,所做的修改、等同替换等均应包含在发明的保护范围之内。
Claims (8)
1.一种基于点云的端接焊缝缺陷检测方法,其特征在于,基于检测系统实现,所述检测系统包括:采样模块、训练模块、实时检测模块;检测方法包括以下步骤:
S1:采样模块对端接焊缝进行采样,将采集到的点云数据保存到样本空间;
S2:训练模块对样本空间中的点云数据进行预处理;
S3:训练模块对预处理之后的点云数据进行建模,得到标准焊缝模型;
S4:采样模块实时采集端接焊缝的点云数据输入实时检测模块,所述实时检测模块同时加载所述标准焊缝模型,对端接焊缝进行实时检测;
S5:将检测合格的焊缝样本的数据添加到样本空间中进行保存,并将该焊缝样本运送至下一步处理处;将检测不合格的焊缝样本移出检测队列,返回焊接车间进行人工再焊接;
所述步骤S3具体通过以下子步骤实现:
S3.1:对于经过步骤S2预处理后,焊缝方向与世界坐标系方向一致的点云数据,其中x轴是焊缝运动方向,z轴是高度轴;将坐标轴y=0附近的点投影到xz平面上,通过z轴高度得到两个极小值点,将这两个极小值点投影到x轴上,获得两个x轴投影点,这两个x轴投影点将点云数据分为首段、中间段、尾段三部分;
S3.2:选择中间段的点云数据,以x轴坐标为依据,分割成若干个切片,并将各个切片上的点投影到yz平面上;yz平面上的数据分布即可表示当前x轴坐标下焊缝的形状特征;
S3.3:在每一中间段的切片投影到yz平面的点云数据中,选择两端的点云数据进行最小二乘拟合,得到拟合曲线,计算拟合曲线的最高点坐标;将切片上的点云数据进行平移,使拟合曲线的最高点坐标位于yz平面的原点;
S3.4:对平移之后的切片点云数据选用中间部分的点云数据进行两次最小二乘拟合,得到一条拟合曲线A;选用切片两端的点云数据进行两次最小二乘拟合,得到第二条拟合曲线B;拟合曲线A和拟合曲线B存在两个交点,两交点在y方向上的坐标分别为a、b,且a<b;最终的拟合曲线C为拟合曲线A和拟合曲线B的组合,当切片点云数据中的点在y方向上的坐标位于两交点坐标a、b之间时,选择拟合曲线A,当点在y方向上的坐标位于两交点坐标a、b之外时,选择拟合曲线B;拟合曲线C的表达式如下:
;
S3.5:通过合理率来评判曲线拟合的好坏,所述合理率为在拟合曲线C上的点占所有切片点云数据中点数的比例;当合理率达到阈值时,对该切片的拟合曲线A和拟合曲线B进行存储;反之,则舍弃该切片的拟合曲线A和拟合曲线B;
S3.6:通过统计若干条良好焊缝的各个中间段所有合理率达到阈值的切片的拟合曲线A系数的平均值,得到最终曲线D,通过统计若干条良好焊缝的各个中间段所有合理率达到阈值的切片的拟合曲线B系数的平均值,得到最终的曲线E;其中,曲线D为选用中间部分的点云数据拟合的曲线,曲线E为选用两端的点云数据拟合的曲线;曲线D和曲线E存在两个交点,两交点在y方向上的坐标分别为d、e,且d<e;最终得到的标准焊缝模型F为曲线D和曲线E的组合,当点在y方向上的坐标位于两交点坐标d、e之间时,选择曲线D,当点在y方向上的坐标位于两交点坐标d、e之外时,选择曲线E。
2.根据权利要求1所述的基于点云的端接焊缝缺陷检测方法,其特征在于,所述步骤S2具体通过以下子步骤实现:
S2.1:对样本空间中的点云数据进行均匀下采样;在点云数据中选取一个点,并设该点所在集合为内点集合,初始内点集合中只有一个点,之后每次从点云数据中不属于内点集合的点中,找出距离内点集合最远的点,并将该点添加到内点集合中,该点与内点集合的距离计算方式为该点至内点集合中所有点的距离的最小值;当内点集合的数量达到预先设置的数量时,完成点云数据的下采样工作;
S2.2:对内点集合中的点云数据进行统计滤波,去除离群点,具体为:在一个点周围选择若干个点,计算它们距离的统计参数,如果某个点偏离平均值超过SR倍的方差,则认为该点是离群点,并进行去除,其中SR为标准偏差比率;
S2.3:采用主成分分析法分析点云的主方向,并选用中间部分的点云数据的主方向代替整体点云数据的主方向;
S2.4:将点云数据进行旋转,旋转的角度为主方向与世界坐标系的夹角,使得焊缝方向与世界坐标系方向保持一致。
3.根据权利要求1所述的基于点云的端接焊缝缺陷检测方法,其特征在于,所述步骤S4具体通过以下子步骤实现:
S4.1:采样模块实时采集端接焊缝的点云数据,实时检测模块对点云数据进行和步骤S2中相同的预处理;
S4.2:实时检测模块对于经过预处理后,焊缝方向与世界坐标系方向一致的点云数据,其中,x轴是焊缝运动方向,z轴是高度轴;将坐标轴y=0附近的点投影到xz平面上,通过z轴高度判断两个极小值点,这两个极小值点投影到x轴上的两个点,将点云数据分为首段、中间段、尾段三部分;将中间段的点云数据,以x轴坐标为依据,分割成若干个切片,并将各个切片上的点投影到yz平面上,yz平面上的数据分布即表示当前x轴坐标下焊缝的形状特征;在单个切片中,若存在两点间隔大于最大阈值,或者最左端和最右端距离小于最小阈值的情况,则判定为数据丢失,将其添加到缺陷信息中;
S4.3:采用分段式检测,对中间段数据的检测具体如下:
(1)在S4.2得到的中间段的切片上,选择两端的点云数据进行最小二乘拟合,得到拟合曲线;计算拟合曲线的最高点坐标,将切片上的点云数据进行平移,使拟合曲线的最高点坐标位于yz平面的原点;
(2)将平移后切片点云的y轴坐标代入所述标准焊缝模型,得到预测的z轴数据,将其与真实的z轴数据进行比较,计算合格率;所述合格率为该切片中预测的z轴数据和真实的z轴数据偏差在误差范围内的点的数量与该切片内所有点的数量的比值;若合格率低于设定阈值,则认为该条焊缝在该切片内存在问题,并输出该缺陷信息;反之则认为该条焊缝在该切片内正常;
(3)重复步骤(1)、(2),直到该条焊缝的中间段切片全部检测完成;若所有切片检测结果均为正常,则认为该条焊缝的中间段合格,反之则输出各切片存在的缺陷信息;
对首段和尾段点云数据的检测具体如下:
将首段和尾段的点云数据以x轴坐标为依据,分割成若干个切片,在首段和尾段的切片上,分别进行极大值、极小值判定,若单个切片数据中存在两个波峰一个波谷,这认为存在焊缝弧坑,并输出该缺陷信息;若单个切片数据中存在两个波谷,则认为存在焊瘤,并输出该缺陷信息;若单个切片数据中只存在一个波峰,则认为焊缝正常;当所有切片均判断为正常时,首尾段合格;反之则输出各切片存在的缺陷信息;
当该条焊缝的中间段、首段和尾段均检测合格时,认为该条焊缝检测合格,反之则检测不合格。
4.根据权利要求3所述的基于点云的端接焊缝缺陷检测方法,其特征在于,对于合格的焊缝样本,实时检测模块最终输出其焊缝3D模型,所述焊缝3D模型能够进行旋转、平移和缩放;
对于不合格的焊缝样本,实时检测模块最终输出的检测信息包括焊缝文本信息和焊缝3D模型,其中焊缝文本信息包括焊缝缺陷类型和缺陷的坐标位置;焊缝3D模型中不同类型的缺陷以不同的颜色标记,所述焊缝3D模型能够进行旋转、平移和缩放。
5.根据权利要求3所述的基于点云的端接焊缝缺陷检测方法,其特征在于,实时检测模块将数据上传到云端,上传数据包括以文本信息上传的本次检测的检测结果和焊缝3D模型的快照截图。
6.根据权利要求5所述的基于点云的端接焊缝缺陷检测方法,其特征在于,上传数据还包括所述采样模块实时采集的原始点云数据。
7.根据权利要求1所述的基于点云的端接焊缝缺陷检测方法,其特征在于,所述步骤S5中,当样本空间中的样本数量达到设定数值时,训练模块对所述标准焊缝模型进行重新训练,使所述标准焊缝模型的精度进一步提高。
8.一种基于点云的端接焊缝缺陷检测系统,应用权利要求1-7任一项所述的基于点云的端接焊缝缺陷检测方法,其特征在于,包括采样模块、训练模块、实时检测模块、系统设置模块;
所述采样模块采集历史端接焊缝的点云数据,并将其存入样本空间;在线状态下采样模块实时采集端接焊缝的点云数据,输入实时检测模块中;
所述训练模块调用所述样本空间中批量的点云数据,对点云数据进行预处理后,构建标准焊缝模型;
所述实时检测模块调用所述标准焊缝模型,对输入的实时采集到的端接焊缝的点云数据进行检测,得到该端接焊缝的检测结果,并将检测合格的焊缝点云数据输入所述样本空间中,用于更新所述标准焊缝模型;
系统设置模块用于对所述检测系统进行参数设置,包括:对采样模块中激光视觉传感器的采样尺寸和采样时间的设置、预处理参数的设置、标准焊缝模型参数的设置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310452620.8A CN116168032B (zh) | 2023-04-25 | 2023-04-25 | 一种基于点云的端接焊缝缺陷检测方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310452620.8A CN116168032B (zh) | 2023-04-25 | 2023-04-25 | 一种基于点云的端接焊缝缺陷检测方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116168032A CN116168032A (zh) | 2023-05-26 |
CN116168032B true CN116168032B (zh) | 2023-07-18 |
Family
ID=86420422
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310452620.8A Active CN116168032B (zh) | 2023-04-25 | 2023-04-25 | 一种基于点云的端接焊缝缺陷检测方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116168032B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116503409B (zh) * | 2023-06-28 | 2023-09-12 | 矽瞻科技(成都)有限公司 | 一种焊缝缺陷3d点云检测方法、设备和介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113610814A (zh) * | 2021-08-10 | 2021-11-05 | 广东利元亨智能装备股份有限公司 | 焊缝质量检测方法、装置、电子设备及存储介质 |
CN115810133A (zh) * | 2023-02-09 | 2023-03-17 | 中建科技集团有限公司 | 基于图像处理和点云处理的焊接控制方法及相关设备 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5729235B2 (ja) * | 2011-09-26 | 2015-06-03 | トヨタ自動車株式会社 | 溶接ビード欠陥検出装置及び溶接ビード欠陥検出方法 |
CN111462110B (zh) * | 2020-04-20 | 2021-04-13 | 广东利元亨智能装备股份有限公司 | 焊缝质量检测方法、装置、系统及电子设备 |
CN114240944B (zh) * | 2022-02-25 | 2022-06-10 | 杭州安脉盛智能技术有限公司 | 一种基于点云信息的焊接缺陷检测方法 |
CN114354639B (zh) * | 2022-03-21 | 2022-06-10 | 苏芯物联技术(南京)有限公司 | 一种基于3d点云的焊缝缺陷实时检测方法及系统 |
-
2023
- 2023-04-25 CN CN202310452620.8A patent/CN116168032B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113610814A (zh) * | 2021-08-10 | 2021-11-05 | 广东利元亨智能装备股份有限公司 | 焊缝质量检测方法、装置、电子设备及存储介质 |
CN115810133A (zh) * | 2023-02-09 | 2023-03-17 | 中建科技集团有限公司 | 基于图像处理和点云处理的焊接控制方法及相关设备 |
Also Published As
Publication number | Publication date |
---|---|
CN116168032A (zh) | 2023-05-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111462110B (zh) | 焊缝质量检测方法、装置、系统及电子设备 | |
CN116168032B (zh) | 一种基于点云的端接焊缝缺陷检测方法及系统 | |
CN108765378B (zh) | 基于g代码引导下工件轮廓飞边凸起的机器视觉检测方法 | |
CN110223345B (zh) | 基于点云的配电线路作业对象位姿估计方法 | |
CN110065068B (zh) | 一种基于逆向工程的机器人装配作业演示编程方法及装置 | |
CN103499585A (zh) | 基于机器视觉的非连续性锂电池薄膜缺陷检测方法及其装置 | |
CN110728667A (zh) | 一种基于灰度图像概率的刀具磨损量自动精确测量方法 | |
CN114354639B (zh) | 一种基于3d点云的焊缝缺陷实时检测方法及系统 | |
CN110751604A (zh) | 一种基于机器视觉的钢管焊缝缺陷在线检测方法 | |
CN115065708B (zh) | 基于机器视觉检测的工业物联网系统及其控制方法 | |
CN111311618A (zh) | 一种基于高精度几何基元提取的圆弧工件匹配与定位方法 | |
CN106091934A (zh) | 轴类零件机器视觉尺寸检测系统 | |
CN115619738A (zh) | 一种模组侧缝焊焊后检测方法 | |
CN113554587A (zh) | 一种基于深度学习的熔池图像几何特征提取方法及系统 | |
CN116228652A (zh) | 一种基于三维点云曲率的管道焊缝表面缺陷检测方法 | |
CN113393524B (zh) | 一种结合深度学习和轮廓点云重建的目标位姿估计方法 | |
CN112683166B (zh) | 一种模切产品尺寸检测方法 | |
CN113705564A (zh) | 一种指针式仪表识别读数方法 | |
CN110586491B (zh) | 检测柚果姿态和品质的方法、装置和存储介质 | |
CN111001967B (zh) | 一种基于雷塞控制器u型工件自动焊接跟踪系统及工作方法 | |
CN116740036A (zh) | 一种钢管管端引熄弧板切割点位检测方法和系统 | |
CN115656177A (zh) | 基于条纹图像统计分布规律的镜面物体表面缺陷检测方法 | |
CN115106615A (zh) | 一种基于工况智能识别的焊偏实时检测方法及系统 | |
CN113902728A (zh) | 用于检测产品质量的系统 | |
Hryniewicz et al. | Object positioning in storages of robotized workcells using LabVIEW Vision |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |