CN115147370A - 一种电池顶盖焊接缺陷检测方法、装置、介质及电子设备 - Google Patents
一种电池顶盖焊接缺陷检测方法、装置、介质及电子设备 Download PDFInfo
- Publication number
- CN115147370A CN115147370A CN202210777063.2A CN202210777063A CN115147370A CN 115147370 A CN115147370 A CN 115147370A CN 202210777063 A CN202210777063 A CN 202210777063A CN 115147370 A CN115147370 A CN 115147370A
- Authority
- CN
- China
- Prior art keywords
- image
- welding
- defect
- top cover
- predicted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30152—Solder
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
- Y02E60/00—Enabling technologies; Technologies with a potential or indirect contribution to GHG emissions mitigation
- Y02E60/10—Energy storage using batteries
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Geometry (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本发明提供了一种电池顶盖焊接缺陷检测方法、装置、介质及电子设备,该方法包括:获取待检测电池顶盖焊接部位的2D图像和3D图像;对2D图像和3D图像中的像素坐标进行标定,得到2D图像与3D图像间的像素坐标映射关系;分别对2D图像和3D图像进行焊接缺陷检测,得到2D图像和3D图像中的预测缺陷位置;利用像素坐标映射关系提取预测缺陷位置在另一图像中对应的预测缺陷图像;对预测缺陷图像进行焊接缺陷检测,得到待检测电池顶盖焊接部位的缺陷检测结果。从而通过将2D视觉检测和3D视觉检测相融合,可以有效避免检测效果因焊缝表面光滑反光等因素的影响,提高了检测结果的准确率,并且无需人工复检大大降低了人工成本。
Description
技术领域
本发明涉及电池技术领域,具体涉及一种电池顶盖焊接缺陷检测方法、装置、介质及电子设备。
背景技术
目前新能源汽车高速发展,与之配套的动力电池质量的好坏,决定了整车的续航能力和安全性能,生产一块合格的电池,等于给汽车安装上一个健康的心脏。动力电池顶盖焊接质量自动检测技术的开发,显得尤为重要。它不但可以使质量检测脱离对人工目检的依赖,也可以保证产品外观检测标准的一致性,稳定性,同时提高设备运行节拍。
行业内虽然已有基于机器视觉对顶盖焊接质量检测的应用,但大部分是单独基于2D相机图像或单独基于3D相机图像进行的缺陷检测,实际检测效果并不好,检测准确性较低,常常还要安排人工复检,增加了检测成本。
发明内容
有鉴于此,本发明实施例提供了一种电池顶盖焊接缺陷检测方法、装置、介质及电子设备,以克服现有技术中单独基于2D相机图像或单独基于3D相机图像进行顶盖焊接质量检测的方式检测结果准确性低的问题。
本发明实施例提供了一种电池顶盖焊接缺陷检测方法,包括:
获取待检测电池顶盖焊接部位的2D图像和3D图像;
对所述2D图像和3D图像中的像素坐标进行标定,得到2D图像与3D图像间的像素坐标映射关系;
分别对所述2D图像和所述3D图像进行焊接缺陷检测,得到所述2D图像和所述3D图像中的预测缺陷位置;
利用所述像素坐标映射关系提取所述预测缺陷位置在另一图像中对应的预测缺陷图像,其中,在当前预测缺陷位置位于所述2D图像时,所述另一图像为所述3D图像,在当前预测缺陷位置位于所述3D图像时,所述另一图像为所述2D图像;
对所述预测缺陷图像进行焊接缺陷检测,得到所述待检测电池顶盖焊接部位的缺陷检测结果。
可选地,所述对所述2D图像进行焊接缺陷检测,包括:
根据焊缝的灰度值和顶盖灰度的差异,从所述2D图像中识别出焊缝区域;
对所述焊缝区域进行特征提取;
将提取的特征与预设焊接缺陷对应的特征进行对比,确定所述焊缝区域的预测缺陷位置。
可选地,所述对所述3D图像进行焊接缺陷检测,包括:
从所述3D图像中提取深度图和亮度图;
根据焊缝与顶盖的亮度差异从所述亮度图中识别出焊缝区域;
基于所述深度图对所述焊缝区域进行切片处理,得到所述焊缝区域的高度信息;
基于所述焊缝区域不同位置高度信息的差异,确定所述焊缝区域的预测缺陷位置。
可选地,所述利用所述像素坐标映射关系提取所述预测缺陷位置在另一图像中对应的预测缺陷图像,包括:
利用所述像素坐标映射关系,对所述预测缺陷位置在当前图像中的像素坐标进行坐标转换,得到所述预测缺陷位置在另一图像中对应的像素坐标;
基于所述预测缺陷位置在另一图像中对应的像素坐标,从所述另一图像中提取预测缺陷图像。
可选地,所述对所述预测缺陷图像进行焊接缺陷检测,得到所述待检测电池顶盖焊接部位的缺陷检测结果,包括:
对所述预测缺陷图像进行图像识别,预测所述预测缺陷图像上是否存在焊接缺陷;
在预测所述预测缺陷图像上存在焊接缺陷时,确定所述待检测电池顶盖焊接部位的缺陷检测结果为存在缺陷;
在预测所述预测缺陷图像上不存在焊接缺陷时,待检测电池顶盖焊接部位的缺陷检测结果为不存在缺陷。
可选地,所述对所述2D图像和3D图像中的像素坐标进行标定,得到2D图像与3D图像间的像素坐标映射关系,包括:
分别从所述2D图像和3D图像中提取多组特征点对;
基于各组特征点对在所述2D图像和3D图像中对应的像素坐标,计算所述2D图像与3D图像间的像素坐标映射关系。
可选地,所述方法还包括:
基于所述缺陷检测结果,确定所述待检测电池顶盖的产品质量。
本发明实施例还提供了一种电池顶盖焊接缺陷检测装置,包括:
获取模块,用于获取待检测电池顶盖焊接部位的2D图像和3D图像;
第一处理模块,用于对所述2D图像和3D图像中的像素坐标进行标定,得到2D图像与3D图像间的像素坐标映射关系;
第二处理模块,用于分别对所述2D图像和所述3D图像进行焊接缺陷检测,得到所述2D图像和所述3D图像中的预测缺陷位置;
第三处理模块,用于利用所述像素坐标映射关系提取所述预测缺陷位置在另一图像中对应的预测缺陷图像,其中,在当前预测缺陷位置位于所述2D图像时,所述另一图像为所述3D图像,在当前预测缺陷位置位于所述3D图像时,所述另一图像为所述2D图像;
第四处理模块,用于对所述预测缺陷图像进行焊接缺陷检测,得到所述待检测电池顶盖焊接部位的缺陷检测结果。
本发明实施例还提供了一种电子设备,包括:存储器和处理器,所述存储器和所述处理器之间互相通信连接,所述存储器中存储有计算机指令,所述处理器通过执行所述计算机指令,从而执行本发明实施例提供的方法。
本发明实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质存储计算机指令,所述计算机指令用于使计算机执行本发明实施例提供的方法。
本发明技术方案,具有如下优点:
本发明实施例提供了一种电池顶盖焊接缺陷检测方法,通过获取待检测电池顶盖焊接部位的2D图像和3D图像;对2D图像和3D图像中的像素坐标进行标定,得到2D图像与3D图像间的像素坐标映射关系;分别对2D图像和3D图像进行焊接缺陷检测,得到2D图像和3D图像中的预测缺陷位置;利用像素坐标映射关系提取预测缺陷位置在另一图像中对应的预测缺陷图像,其中,在当前预测缺陷位置位于2D图像时,另一图像为3D图像,在当前预测缺陷位置位于3D图像时,另一图像为2D图像;对预测缺陷图像进行焊接缺陷检测,得到待检测电池顶盖焊接部位的缺陷检测结果。从而通过将2D视觉检测和3D视觉检测相融合,利用二者单独进行缺陷检测得到的预测缺陷位置在另一图像中的区域进行针对性再次检测的方式,可以有效避免检测效果因焊缝表面光滑反光等因素的影响,提高了检测结果的准确率,可以完全满足动力电池顶盖焊接缺陷质量检测的要求,并且这种完全自动化的缺陷检测方式,无需人工复检大大降低了人工成本。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例中的电池顶盖焊接缺陷检测方法的流程图;
图2为本发明实施例中电池顶盖焊接缺陷检测的整体工作过程示意图;
图3为本发明实施例中的电池顶盖焊接缺陷检测的具体工作过程示意图;
图4为本发明实施例中的电池顶盖焊接缺陷检测装置的结构示意图;
图5为本发明实施例中的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本发明的描述中,需要说明的是,术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。
在本发明的描述中,需要说明的是,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,还可以是两个元件内部的连通,可以是无线连接,也可以是有线连接。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
目前新能源汽车高速发展,与之配套的动力电池质量的好坏,决定了整车的续航能力和安全性能,生产一块合格的电池,等于给汽车安装上一个健康的心脏。动力电池顶盖焊接质量自动检测技术的开发,显得尤为重要。它不但可以使质量检测脱离对人工目检的依赖,也可以保证产品外观检测标准的一致性,稳定性,同时提高设备运行节拍。
行业内虽然已有基于机器视觉对顶盖焊接质量检测的应用,但大部分是单独基于2D相机图像或单独基于3D相机图像进行的缺陷检测,实际检测效果并不好,检测准确性较低,常常还要安排人工复检,增加了检测成本。
基于上述问题,本发明实施例提供了一种电池顶盖焊接缺陷检测方法,如图1所示,该电池顶盖焊接缺陷检测方法具体包括如下步骤:
步骤S101:获取待检测电池顶盖焊接部位的2D图像和3D图像。
示例性地,可以将本发明实施例提供的电池顶盖焊接缺陷检测方法应用至电池顶盖焊焊缝系统中,以锂电池为例,在锂电池顶盖焊接完成后,移动到拍照位置,触发拍照传感器对焊接部位进行拍照,该拍照传感器包括:2D相机和3D相机,以分别采集包含焊接部位的2D图像和3D图像,其中,本发明实施例中所利用的2D图像为2D相机拍摄的RGB图像经过灰度处理后的灰度图像,3D图像为3D相机拍摄的亮度图像和深度图像。
步骤S102:对2D图像和3D图像中的像素坐标进行标定,得到2D图像与3D图像间的像素坐标映射关系。
具体地,通过分别从2D图像和3D图像中提取多组特征点对;基于各组特征点对在2D图像和3D图像中对应的像素坐标,计算2D图像与3D图像间的像素坐标映射关系。进一步详细的计算过程可参照现有技术中对不同相机进行标定的方式加以实现,在此不再进行赘述。
示例性地,2D图像与3D图像间的像素坐标映射关系由标定矩阵表示,矩阵数据结构见公式(1)和公式(2),并保存为Json文件,其中,公式(1)是2D相机到3D相机坐标映射,公式(2)是3D相机到2D相机坐标映射。
软件初始化时,加载Json文件公式(1)矩阵数据,生成矩阵对象HomMat2D,当获取到缺陷在2D图像上的坐标(x1,y1)时,传入矩阵对象HomMat2D,会计算出该坐标在3D相机图像上的坐标位置(x2,y2)。
软件初始化时,加载Json文件公式(2)矩阵数据,生成矩阵对象HomMat3D,当获取到缺陷在3D图像上的坐标(x3,y3)时,传入矩阵对象HomMat3D,会计算出该坐标在3D相机图像上的坐标位置(x4,y4)。
步骤S103:分别对2D图像和3D图像进行焊接缺陷检测,得到2D图像和3D图像中的预测缺陷位置。
其中,在对2D图像和3D图像进行焊接缺陷检测之前,还需要对图像进行预处理,示例性地,对2D相机的彩色图像进行预处理,通过直方图归一化和高反差算法对图像进行预处理,去除图像中干扰的背景,再转换为灰度图像。类似地,3D图像中的亮度图也需要进行去除图像干扰等步骤,以避免干扰对焊接缺陷检测的影响,进一步提高焊接缺陷检测结果的准确性。
步骤S104:利用像素坐标映射关系提取预测缺陷位置在另一图像中对应的预测缺陷图像。
其中,在当前预测缺陷位置位于2D图像时,另一图像为3D图像,在当前预测缺陷位置位于3D图像时,另一图像为2D图像。
具体地,通过利用像素坐标映射关系,对预测缺陷位置在当前图像中的像素坐标进行坐标转换,得到预测缺陷位置在另一图像中对应的像素坐标。基于预测缺陷位置在另一图像中对应的像素坐标,从另一图像中提取预测缺陷图像。
步骤S105:对预测缺陷图像进行焊接缺陷检测,得到待检测电池顶盖焊接部位的缺陷检测结果。
通过执行上述步骤,本发明实施例提供的电池顶盖焊接缺陷检测方法,通过将2D视觉检测和3D视觉检测相融合,利用二者单独进行缺陷检测得到的预测缺陷位置在另一图像中的区域进行针对性再次检测的方式,可以有效避免检测效果因焊缝表面光滑反光等因素的影响,提高了检测结果的准确率,可以完全满足动力电池顶盖焊接缺陷质量检测的要求,并且这种完全自动化的缺陷检测方式,无需人工复检大大降低了人工成本。
具体地,在一实施例中,上述步骤S103中对2D图像进行焊接缺陷检测,具体包括如下步骤:
步骤S31:根据焊缝的灰度值和顶盖灰度的差异,从2D图像中识别出焊缝区域。
具体地,由于焊缝和顶盖在灰度图像中所呈现的灰度差异特别明显,因此可以通过利用焊缝对应的灰度范围,在灰度图像中准确识别出来,示例性地,用阈值分割算法设定灰度阈值筛选范围即可得到焊缝区域。
步骤S32:对焊缝区域进行特征提取。
具体地,提取的特征可以包括但不限于外观特征、面积、位置、长宽比、图像距等。
步骤S33:将提取的特征与预设焊接缺陷对应的特征进行对比,确定焊缝区域的预测缺陷位置。
具体地,预设焊接缺陷包括:爆点、虚焊、内瑕疵缺陷等,示例性地,可以通过对提取到的焊缝进行二值化和形态学处理,采用Bolb理论,根据爆点、虚焊、内瑕疵缺陷对应的外观特征、面积、位置、长宽比、图像距等提取到以上3种缺陷在2D图像中的预测缺陷位置。从而通过对2D图像进行焊接缺陷检测,可以预测出可能出现缺陷的焊接位置,通过初步筛选为后续联合缺陷检测提供数据基础。
具体地,在一实施例中,上述步骤S103中对3D图像进行焊接缺陷检测,具体包括如下步骤:
步骤S301:从3D图像中提取深度图和亮度图。
步骤S302:根据焊缝与顶盖的亮度差异从亮度图中识别出焊缝区域。
具体地,焊缝与顶盖在亮度上也存在明显差异,因此可以通过利用焊缝对应的亮度范围,在亮度图像中准确识别出来,得到焊缝的长度和宽度及在图像中的位置。
步骤S303:基于深度图对焊缝区域进行切片处理,得到焊缝区域的高度信息。
步骤S304:基于焊缝区域不同位置高度信息的差异,确定焊缝区域的预测缺陷位置。
具体地,如果焊缝是正常无缺陷的,则其对应的高度信息应该是一致的,如果某个位置出现了漏焊、断焊的情况,则会出现高度不一致,因此,可以通过利用焊缝各个位置高度的差异确定是否出现漏焊或断焊等缺陷。从而通过对3D图像进行焊接缺陷检测,可以预测出可能出现缺陷的焊接位置,通过初步筛选为后续联合缺陷检测提供数据基础。
具体地,在一实施例中,上述步骤S105具体包括如下步骤:
步骤S51:对预测缺陷图像进行图像识别,判断预测缺陷图像上是否存在焊接缺陷。
具体地,在预测预测缺陷图像上存在焊接缺陷时,确定待检测电池顶盖焊接部位的缺陷检测结果为存在缺陷;在预测预测缺陷图像上不存在焊接缺陷时,待检测电池顶盖焊接部位的缺陷检测结果为不存在缺陷。从而通过2D图像和3D图像初步筛选出疑似缺陷部位,然后利用该疑似缺陷部位在另一图像中对应的图像信息再次进行缺陷检测,这种2D图像和3D图像融合检测的方式克服了单一图像进行缺陷检测准确性低的问题,可以有效保障电池顶盖焊接的质量,提高产品性能。
具体地,在一实施例中,本发明实施例提供的电池顶盖焊接缺陷检测方法还包括如下步骤:
步骤S106:基于缺陷检测结果,确定待检测电池顶盖的产品质量。
具体地,如果待检测电池顶盖焊接部位的缺陷检测结果为存在缺陷,则确定待检测电池顶盖的产品质量为不合格产品即NG产品,反之,如果待检测电池顶盖焊接部位的缺陷检测结果为不存在缺陷,则确定待检测电池顶盖的产品质量为不合格产品即OK产品。
通过执行上述步骤,本发明实施例提供的电池顶盖焊接缺陷检测方法,通过将2D视觉检测和3D视觉检测相融合,利用二者单独进行缺陷检测得到的预测缺陷位置在另一图像中的区域进行针对性再次检测的方式,可以有效避免检测效果因焊缝表面光滑反光等因素的影响,提高了检测结果的准确率,可以完全满足动力电池顶盖焊接缺陷质量检测的要求,并且这种完全自动化的缺陷检测方式,无需人工复检大大降低了人工成本。
下面将结合具体应用示例,对本发明实施例提供的电池顶盖焊接缺陷检测方法构建的电池顶盖焊接缺陷检测软件系统的工作过程进行说明。
如图2所示,该电池顶盖焊接缺陷检测软件系统的整体工作过程如下:
S601:锂电池顶盖焊接完成后,移动到拍照位置,触发拍照传感器;
S602:2D彩色相机和3D相机像素坐标进行标定,2D相机和3D相机同时分别拍照;
S603:获取2D相机RGB图像,同时获取3D相机的亮度图像和深度图像;
S604:对所获取的图像数据,进行图像预处理;
S605:根据2D和3D图像预处理的结果,联合起来进行图像处理;
S606:根据处理结果,判断产品是OK还是NG;
S607:停止软件或接着检测下一个产品。
本系统主要检测锂电池顶盖焊缝的漏焊,断焊,爆点,虚焊,内瑕疵等缺陷。基于S602,2D相机和3D相机像素的坐标的换算矩阵,实现2D相机和3D相机像素坐标的相互转换;基于S603,同时从2D、3D相机上,获取RGB彩色图像,亮度图像和深度图像方便算法对图像进行进一步处理。
上述顶盖焊缝缺陷检测的具体工作流程如图3所示,具体包括如下过程:
C803:获取2D相机彩色图像;
C805:对2D相机的彩色图像进行预处理,通过直方图归一化和高反差算法对图像进行预处理,去除图像中干扰的背景,根据焊缝的灰度值和顶盖灰度的差异,精确提取到焊缝的位置;
C807、C809:对提取到的焊缝进行二值化和形态学处理,采用Bolb理论,根据爆点,虚焊,内瑕疵缺陷外观特征,面积,位置,长宽比,Hu距初步提取到以上3种缺陷;
C813:综合初步提取的缺陷,配合3D相机对焊缝的高度信息,精确的提取到爆点,虚焊,内瑕疵缺陷,有效的减小了误判,提高了系统的准确率;
C806、C808:将3D相机的图像数据转化为灰度图和亮度图,方便对焊缝进行进一步分析;
C810、C812:对亮度图像进行预处理,根据亮度图焊缝亮度的差异提取焊缝,计算出焊缝的长度和宽度,同时根据深度图像的高度信息,提取焊缝的高度。
C804:根据焊缝高度的差异,提取焊缝的漏焊,断焊等缺陷;
C815:汇总2D彩色相机提取的缺陷信息和3D相机提取的缺陷信息综合判断产品的质量。
综上:把2D视觉和3D视觉融合在一起,在尺寸检测上不但可以检测焊缝的长度和宽度,而且还可以检测焊缝的高度。在缺陷检测上可以有效的对漏焊,断焊,爆点,虚焊,内瑕疵等缺陷进行检测。2D视觉检测和3D视觉检测相融合,不但可以避免检测效果因焊缝表面光滑反光的影响,而且提高了检测的准确率,可以使尺寸测量准确性100%控制在误差范围内,严重的质量缺陷漏检控制在0%,误检控制在0.3%以内。
3D和2D标定后具体融合判断是否有缺陷的过程如下:
从3D相机中获取亮度图和深度图,从亮度图中计算出焊缝的长度和宽度,并把这个区域切割出来作为ROI区域,对这个区域做切片处理,获取高度信息。
根据高度信息的差异,判断顶盖焊接是否有漏焊,断焊,爆点等缺陷,从3D图像数据中,查出以上可疑缺陷时,当缺陷的尺寸和大小大于某个设定值时,认为确实时缺陷,当小于设定值时无法确认是否是真的缺陷。此时我们可以获取到缺陷的左上角坐标A(x_u1,y_u1),右下角坐标B(x_d1,y_d1),把左上角坐标A(x_u1,y_u1),和右下角坐标B(x_d1,y_d1)传入矩阵对象HomMat3D,获取该坐标在2D相机图像中对应的像素坐标,左上角坐标C(x_u2,y_u2),右下角坐标D(x_d2,y_d2)。
根据上一步获取到2D相机图像上的左上角坐标C(x_u2,y_u2),右下角坐标D(x_d2,y_d2),把整个缺陷从2D图像上切割下来,对这一小块区域进行分析处理,当图像算法处理结果认定上面有缺陷时,可以认定顶盖焊产品在这个位置确实有缺陷。当图像算法处理结果认定上面没有缺陷时,可以认定顶盖焊产品在这个位置没有缺陷。
获取2D相机的彩色图像,通过直方图归一化和高反差算法对图像进行预处理,去除图像中干扰的背景,根据焊缝的灰度值和顶盖灰度的差异,精确提取到焊缝的位置,沿焊缝的位置,分块对焊缝进行缺陷提取,当通过Blob判断图像上有虚焊,内瑕疵等缺陷时,缺陷的大小尺寸大于设定值时,直接认为顶盖焊产品在这个位置确实有缺陷。否则获取缺陷的左上角坐标A(x_u1,y_u1),右下角坐标B(x_d1,y_d1),把左上角坐标A(x_u1,y_u1),和右下角坐标B(x_d1,y_d1)传入矩阵对象HomMat2D,获取该坐标在3D相机图像中对应的像素坐标,左上角坐标C(x_u2,y_u2),右下角坐标D(x_d2,y_d2)。
根据上一步获取到3D相机图像上的左上角坐标C(x_u2,y_u2),右下角坐标D(x_d2,y_d2),把整个缺陷从3D图像(亮度图和深度图)上切割下来,对这一小块区域进行分析处理,当图像算法处理结果认定上面有缺陷时,可以认定顶盖焊产品在这个位置确实有缺陷。当图像算法处理结果认定上面没有缺陷时,可以认定顶盖焊产品在这个位置没有缺陷。
从而通过把2D视觉和3D视觉融合在一起,在尺寸检测上不但可以检测焊缝的长度和宽度,而且还可以检测焊缝的高度。在缺陷检测上可以有效的对漏焊,断焊,爆点,虚焊,内瑕疵等缺陷进行检测。2D视觉检测和3D视觉检测相融合,不但可以避免检测效果因焊缝表面光滑反光的影响,而且提高了检测的准确率,可以使尺寸测量准确性100%控制在误差范围内,严重的质量缺陷漏检控制在0%,误检控制在0.3%以内,完全满足动力电池顶盖焊接缺陷质量检测的要求,这种完全自动化的检测,真实的降低了人工成本,提高了企业的利润。
本发明实施例还提供了一种电池顶盖焊接缺陷检测装置,如图4所示,该电池顶盖焊接缺陷检测装置具体包括:
获取模块101,用于获取待检测电池顶盖焊接部位的2D图像和3D图像。详细内容参见上述方法实施例中步骤S101的相关描述,在此不再进行赘述。
第一处理模块102,用于对2D图像和3D图像中的像素坐标进行标定,得到2D图像与3D图像间的像素坐标映射关系。详细内容参见上述方法实施例中步骤S102的相关描述,在此不再进行赘述。
第二处理模块103,用于分别对2D图像和3D图像进行焊接缺陷检测,得到2D图像和3D图像中的预测缺陷位置。详细内容参见上述方法实施例中步骤S103的相关描述,在此不再进行赘述。
第三处理模块104,用于利用像素坐标映射关系提取预测缺陷位置在另一图像中对应的预测缺陷图像,其中,在当前预测缺陷位置位于2D图像时,另一图像为3D图像,在当前预测缺陷位置位于3D图像时,另一图像为2D图像。详细内容参见上述方法实施例中步骤S104的相关描述,在此不再进行赘述。
第四处理模块105,用于对预测缺陷图像进行焊接缺陷检测,得到待检测电池顶盖焊接部位的缺陷检测结果。详细内容参见上述方法实施例中步骤S105的相关描述,在此不再进行赘述。
上述各个功能模块更进一步的详细描述,具体可参见上述方法实施例的相关描述,在此不再进行赘述。
通过上述各个组成部分的协同合作,本发明实施例提供的电池顶盖焊接缺陷检测装置,通过将2D视觉检测和3D视觉检测相融合,利用二者单独进行缺陷检测得到的预测缺陷位置在另一图像中的区域进行针对性再次检测的方式,可以有效避免检测效果因焊缝表面光滑反光等因素的影响,提高了检测结果的准确率,可以完全满足动力电池顶盖焊接缺陷质量检测的要求,并且这种完全自动化的缺陷检测方式,无需人工复检大大降低了人工成本。
根据本发明实施例还提供了一种电子设备,如图5所示,该电子设备可以包括处理器901和存储器902,其中处理器901和存储器902可以通过总线或者其他方式连接,图5中以通过总线连接为例。
处理器901可以为中央处理器(Central Processing Unit,CPU)。处理器901还可以为其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片,或者上述各类芯片的组合。
存储器902作为一种非暂态计算机可读存储介质,可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块,如本发明方法实施例中的方法所对应的程序指令/模块。处理器901通过运行存储在存储器902中的非暂态软件程序、指令以及模块,从而执行处理器的各种功能应用以及数据处理,即实现上述方法实施例中的方法。
存储器902可以包括存储程序区和存储数据区,其中,存储程序区可存储操作装置、至少一个功能所需要的应用程序;存储数据区可存储处理器901所创建的数据等。此外,存储器902可以包括高速随机存取存储器,还可以包括非暂态存储器,例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中,存储器902可选包括相对于处理器901远程设置的存储器,这些远程存储器可以通过网络连接至处理器901。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
一个或者多个模块存储在存储器902中,当被处理器901执行时,执行上述方法实施例中的方法。
上述电子设备具体细节可以对应参阅上述方法实施例中对应的相关描述和效果进行理解,此处不再赘述。
本领域技术人员可以理解,实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,实现的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)、随机存储记忆体(Random Access Memory,RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive,缩写:HDD)或固态硬盘(Solid-State Drive,SSD)等;存储介质还可以包括上述种类的存储器的组合。
虽然结合附图描述了本发明的实施例,但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型,这样的修改和变型均落入由所附权利要求所限定的范围之内。
Claims (10)
1.一种电池顶盖焊接缺陷检测方法,其特征在于,包括:
获取待检测电池顶盖焊接部位的2D图像和3D图像;
对所述2D图像和3D图像中的像素坐标进行标定,得到2D图像与3D图像间的像素坐标映射关系;
分别对所述2D图像和所述3D图像进行焊接缺陷检测,得到所述2D图像和所述3D图像中的预测缺陷位置;
利用所述像素坐标映射关系提取所述预测缺陷位置在另一图像中对应的预测缺陷图像,其中,在当前预测缺陷位置位于所述2D图像时,所述另一图像为所述3D图像,在当前预测缺陷位置位于所述3D图像时,所述另一图像为所述2D图像;
对所述预测缺陷图像进行焊接缺陷检测,得到所述待检测电池顶盖焊接部位的缺陷检测结果。
2.根据权利要求1所述的方法,其特征在于,所述对所述2D图像进行焊接缺陷检测,包括:
根据焊缝的灰度值和顶盖灰度的差异,从所述2D图像中识别出焊缝区域;
对所述焊缝区域进行特征提取;
将提取的特征与预设焊接缺陷对应的特征进行对比,确定所述焊缝区域的预测缺陷位置。
3.根据权利要求1所述的方法,其特征在于,所述对所述3D图像进行焊接缺陷检测,包括:
从所述3D图像中提取深度图和亮度图;
根据焊缝与顶盖的亮度差异从所述亮度图中识别出焊缝区域;
基于所述深度图对所述焊缝区域进行切片处理,得到所述焊缝区域的高度信息;
基于所述焊缝区域不同位置高度信息的差异,确定所述焊缝区域的预测缺陷位置。
4.根据权利要求1所述的方法,其特征在于,所述利用所述像素坐标映射关系提取所述预测缺陷位置在另一图像中对应的预测缺陷图像,包括:
利用所述像素坐标映射关系,对所述预测缺陷位置在当前图像中的像素坐标进行坐标转换,得到所述预测缺陷位置在另一图像中对应的像素坐标;
基于所述预测缺陷位置在另一图像中对应的像素坐标,从所述另一图像中提取预测缺陷图像。
5.根据权利要求1所述的方法,其特征在于,所述对所述预测缺陷图像进行焊接缺陷检测,得到所述待检测电池顶盖焊接部位的缺陷检测结果,包括:
对所述预测缺陷图像进行图像识别,预测所述预测缺陷图像上是否存在焊接缺陷;
在预测所述预测缺陷图像上存在焊接缺陷时,确定所述待检测电池顶盖焊接部位的缺陷检测结果为存在缺陷;
在预测所述预测缺陷图像上不存在焊接缺陷时,待检测电池顶盖焊接部位的缺陷检测结果为不存在缺陷。
6.根据权利要求1所述的方法,其特征在于,所述对所述2D图像和3D图像中的像素坐标进行标定,得到2D图像与3D图像间的像素坐标映射关系,包括:
分别从所述2D图像和3D图像中提取多组特征点对;
基于各组特征点对在所述2D图像和3D图像中对应的像素坐标,计算所述2D图像与3D图像间的像素坐标映射关系。
7.根据权利要求1-6任一项所述的方法,其特征在于,还包括:
基于所述缺陷检测结果,确定所述待检测电池顶盖的产品质量。
8.一种电池顶盖焊接缺陷检测装置,其特征在于,包括:
获取模块,用于获取待检测电池顶盖焊接部位的2D图像和3D图像;
第一处理模块,用于对所述2D图像和3D图像中的像素坐标进行标定,得到2D图像与3D图像间的像素坐标映射关系;
第二处理模块,用于分别对所述2D图像和所述3D图像进行焊接缺陷检测,得到所述2D图像和所述3D图像中的预测缺陷位置;
第三处理模块,用于利用所述像素坐标映射关系提取所述预测缺陷位置在另一图像中对应的预测缺陷图像,其中,在当前预测缺陷位置位于所述2D图像时,所述另一图像为所述3D图像,在当前预测缺陷位置位于所述3D图像时,所述另一图像为所述2D图像;
第四处理模块,用于对所述预测缺陷图像进行焊接缺陷检测,得到所述待检测电池顶盖焊接部位的缺陷检测结果。
9.一种电子设备,其特征在于,包括:
存储器和处理器,所述存储器和所述处理器之间互相通信连接,所述存储器中存储有计算机指令,所述处理器通过执行所述计算机指令,从而执行权利要求1-7任一项所述方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使计算机执行权利要求1-7任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210777063.2A CN115147370A (zh) | 2022-06-30 | 2022-06-30 | 一种电池顶盖焊接缺陷检测方法、装置、介质及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210777063.2A CN115147370A (zh) | 2022-06-30 | 2022-06-30 | 一种电池顶盖焊接缺陷检测方法、装置、介质及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115147370A true CN115147370A (zh) | 2022-10-04 |
Family
ID=83410729
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210777063.2A Pending CN115147370A (zh) | 2022-06-30 | 2022-06-30 | 一种电池顶盖焊接缺陷检测方法、装置、介质及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115147370A (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115294135A (zh) * | 2022-10-09 | 2022-11-04 | 临沂华太电池有限公司 | 一种电池卷边封口质量检测方法 |
CN115601359A (zh) * | 2022-12-12 | 2023-01-13 | 广州超音速自动化科技股份有限公司(Cn) | 一种焊缝检测方法及装置 |
CN115797354A (zh) * | 2023-02-09 | 2023-03-14 | 厦门微亚智能科技有限公司 | 用于检测激光焊接焊缝外观缺陷的方法 |
CN116228640A (zh) * | 2022-12-14 | 2023-06-06 | 广州市斯睿特智能科技有限公司 | 基于深度图像的焊缝检测方法、系统、装置及存储介质 |
CN116542967A (zh) * | 2023-06-29 | 2023-08-04 | 厦门微图软件科技有限公司 | 一种锂电池极柱缺陷的检测方法、装置以及设备 |
CN116818780A (zh) * | 2023-05-26 | 2023-09-29 | 深圳市大德激光技术有限公司 | 纽扣电池壳体激光焊接后视觉2d和3d检测系统 |
-
2022
- 2022-06-30 CN CN202210777063.2A patent/CN115147370A/zh active Pending
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115294135A (zh) * | 2022-10-09 | 2022-11-04 | 临沂华太电池有限公司 | 一种电池卷边封口质量检测方法 |
CN115601359A (zh) * | 2022-12-12 | 2023-01-13 | 广州超音速自动化科技股份有限公司(Cn) | 一种焊缝检测方法及装置 |
CN116228640A (zh) * | 2022-12-14 | 2023-06-06 | 广州市斯睿特智能科技有限公司 | 基于深度图像的焊缝检测方法、系统、装置及存储介质 |
CN116228640B (zh) * | 2022-12-14 | 2024-04-12 | 广州市斯睿特智能科技有限公司 | 基于深度图像的焊缝检测方法、系统、装置及存储介质 |
CN115797354A (zh) * | 2023-02-09 | 2023-03-14 | 厦门微亚智能科技有限公司 | 用于检测激光焊接焊缝外观缺陷的方法 |
CN116818780A (zh) * | 2023-05-26 | 2023-09-29 | 深圳市大德激光技术有限公司 | 纽扣电池壳体激光焊接后视觉2d和3d检测系统 |
CN116818780B (zh) * | 2023-05-26 | 2024-03-26 | 深圳市大德激光技术有限公司 | 纽扣电池壳体激光焊接后视觉2d和3d检测系统 |
CN116542967A (zh) * | 2023-06-29 | 2023-08-04 | 厦门微图软件科技有限公司 | 一种锂电池极柱缺陷的检测方法、装置以及设备 |
CN116542967B (zh) * | 2023-06-29 | 2023-10-03 | 厦门微图软件科技有限公司 | 一种锂电池极柱缺陷的检测方法、装置以及设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115147370A (zh) | 一种电池顶盖焊接缺陷检测方法、装置、介质及电子设备 | |
WO2021000524A1 (zh) | 孔位保护门检测方法、装置、计算机设备和存储介质 | |
WO2021109627A1 (zh) | 一种小样本缺陷分类方法、装置及计算设备 | |
CN102175700B (zh) | 数字x射线图像焊缝分割和缺陷检测方法 | |
KR20190088089A (ko) | 용접 표면 결점 검출 장치 및 방법 | |
KR101898947B1 (ko) | 결함 검사 방법 및 결함 검사 시스템 | |
CN110596120A (zh) | 玻璃边界缺陷检测方法、装置、终端及存储介质 | |
CN111160301A (zh) | 基于机器视觉的隧道病害目标智能识别及提取方法 | |
KR102027986B1 (ko) | 비전 카메라를 이용한 비드 인식 장치 및 그 방법 | |
WO2021102741A1 (zh) | 一种免疫层析检测的图像分析方法以及系统 | |
US11823326B2 (en) | Image processing method | |
CN116429768A (zh) | 一种密封钉焊接质量检测方法、系统、设备及存储介质 | |
CN117576014A (zh) | 陶瓷基板质量检测方法、系统、电子设备及存储介质 | |
CN117058411B (zh) | 电池棱边外形瑕疵识别方法、装置、介质和设备 | |
CN113724218A (zh) | 图像识别芯片焊接缺陷的方法、装置及存储介质 | |
CN114119497A (zh) | 圆柱电芯封焊质量检测方法、装置、电子设备及存储介质 | |
CN116993654B (zh) | 摄像头模组缺陷检测方法、装置、设备、存储介质及产品 | |
CN111914589A (zh) | 空调机组安装过程的监测方法、计算设备、装置、监测系统和计算机可读存储介质 | |
CN111928944B (zh) | 激光光线检测方法、装置和系统 | |
CN115908292A (zh) | 焊接工件的缺陷检测方法、装置及存储介质 | |
KR20150009842A (ko) | 카메라 모듈용 결함 픽셀 평가 시스템 및 이를 사용한 카메라 모듈용 결함 픽셀 평가 방법 | |
CN114219758A (zh) | 缺陷检测方法、系统、电子设备和计算机可读存储介质 | |
KR102028196B1 (ko) | 영상 처리를 이용한 엘이디 모듈 검사 장치 | |
CN117309766B (zh) | 一种产品表面缺陷的视觉检测方法及系统 | |
JP2003216930A (ja) | 変色検査方法及び変色検査装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |