CN117474839A - 工件缺陷检测方法、装置、电子设备及存储介质 - Google Patents
工件缺陷检测方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN117474839A CN117474839A CN202311309157.8A CN202311309157A CN117474839A CN 117474839 A CN117474839 A CN 117474839A CN 202311309157 A CN202311309157 A CN 202311309157A CN 117474839 A CN117474839 A CN 117474839A
- Authority
- CN
- China
- Prior art keywords
- workpiece
- detected
- height image
- defect detection
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 169
- 230000007547 defect Effects 0.000 title claims abstract description 154
- 238000003860 storage Methods 0.000 title claims abstract description 30
- 238000012937 correction Methods 0.000 claims abstract description 98
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 50
- 238000000034 method Methods 0.000 claims description 38
- 230000002950 deficient Effects 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 230000000877 morphologic effect Effects 0.000 claims description 5
- 230000008569 process Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000007689 inspection Methods 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000004804 winding Methods 0.000 description 3
- 206010063385 Intellectualisation Diseases 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000005260 corrosion Methods 0.000 description 2
- 230000007797 corrosion Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000005299 abrasion Methods 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000003754 machining Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
- 238000003466 welding Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/60—Rotation of whole images or parts thereof
- G06T3/608—Rotation of whole images or parts thereof by skew deformation, e.g. two-pass or three-pass rotation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Geometry (AREA)
- Image Processing (AREA)
Abstract
本申请实施例公开了工件缺陷检测方法、装置、电子设备及存储介质,涉及工业检测技术领域。通过获取待检测工件的点云数据,提取点云数据中的第一边沿信息进行拟合得到第一矫正信息,并提取点云数据中的第二边沿信息进行拟合得到第二矫正信息。对点云数据进行转化得到待检测工件对应的初始高度图像,根据第一矫正信息对初始高度图像进行第一方向矫正,并根据第二矫正信息对初始高度图像进行第二方向矫正,得到高度图像。最后利用预设检测算法对高度图像进行缺陷检测,得到待检测工件的缺陷检测结果,由此无需采集各种类别的大量缺陷图像并进行人工标注,即可快速准确地进行工件缺陷检测,自动化程度高。
Description
技术领域
本申请涉及工业检测技术领域,特别是涉及一种工件缺陷检测方法、装置、电子设备及存储介质。
背景技术
在工业领域,为了满足后续的工艺要求,需要对工业零部件的表面进行缺陷检测以便保证产品的质量。在智能制造的不断发展下,数字化、智能化日益成为制造业的主要趋势,随着人工智能和计算机视觉技术的进步,使得工业缺陷检测变得越来越智能化,相比于传统的人工质检,可以有效提高检测的效率和准确性。相关技术中主要使用深度学习技术预训练模型进行缺陷检测,然而这需要搜集各种类别的大量缺陷图像并进行人工标注以用于深度学习模型训练,导致工作量大自动化程度低,从而影响效率。
发明内容
本申请旨在至少解决现有技术中存在的技术问题之一。为此,本申请实施例提供了一种工件缺陷检测方法、装置、电子设备及存储介质,能够快速准确地进行工件缺陷检测,自动化程度高。
第一方面,本申请实施例提供了一种工件缺陷检测方法,包括:
获取待检测工件的点云数据;其中,所述点云数据包括所述待检测工件的第一边沿信息和第二边沿信息;
提取所述第一边沿信息并拟合得到第一矫正信息,提取所述第二边沿信息并拟合得到第二矫正信息;
对所述点云数据进行转化得到所述待检测工件的初始高度图像;
根据所述第一矫正信息对所述初始高度图像进行第一方向矫正,以及根据所述第二矫正信息对所述初始高度图像进行第二方向矫正,得到高度图像;
利用预设检测算法对所述高度图像进行缺陷检测,得到所述待检测工件的缺陷检测结果。
在本申请的一些实施例中,所述点云数据包括多个空间点,所述第一边沿信息为第一边沿点集合,所述提取所述第一边沿信息并拟合得到第一矫正信息,包括:
设置第一区域和第一距离阈值,并获取所述第一区域中的所述空间点;
对所述空间点进行平面拟合得到空间平面方程,根据所述第一距离阈值和所述空间平面方程得到所述第一区域的三维平面点云;
根据所述空间平面方程对所述三维平面点云进行投影,得到二维点集;
利用预设算法对所述二维点集进行识别得到所述第一边沿点集合;
利用最小二乘法对所述第一边沿点集合进行拟合,得到所述第一矫正信息。
在本申请的一些实施例中,所述点云数据包括多个空间点,所述空间点包括第一坐标、第二坐标和第三坐标;所述对所述点云数据进行转化得到所述待检测工件的初始高度图像,包括:
获取所述第三坐标的最大值和最小值,并根据所述最大值和所述最小值计算得到灰度值缩放比例;
根据所述第三坐标和所述灰度值缩放比例,计算得到每个所述空间点对应的灰度值;
根据第一间距对所述第一坐标进行转换得到水平坐标,并根据第二间距对所述第二坐标进行转换得到垂直坐标;
根据所述水平坐标和所述垂直坐标,确定所述空间点的图像位置,并将所述灰度值赋值至所述图像位置,得到所述初始高度图像。
在本申请的一些实施例中,所述第一矫正信息为第一直线方程,所述第一直线方程包括斜率和第一偏移,所述第二矫正信息为第二直线方程,所述第二直线方程包括第二偏移;所述根据所述第一矫正信息对所述初始高度图像进行第一方向矫正,以及根据所述第二矫正信息对所述初始高度图像进行第二方向矫正,得到高度图像,包括:
根据所述斜率对所述初始高度图像进行俯仰角矫正,若所述斜率为正数则向下调整所述俯仰角,若所述斜率为负数则向上调整所述俯仰角;
根据所述第一偏移对所述初始高度图像进行水平矫正,若所述第一偏移为正数则向上平移所述初始高度图像,若所述第一偏移为负数则向下平移所述初始高度图像;
根据所述第二偏移对所述初始高度图像进行垂直矫正,若所述第二偏移为正数则向左平移所述初始高度图像,若所述第二偏移为负数则向右平移所述初始高度图像。
在本申请的一些实施例中,所述预设检测算法包括虫洞检测算法;所述利用预设检测算法对所述高度图像进行缺陷检测,得到所述待检测工件的缺陷检测结果,包括:
在所述点云数据中设置所述待检测工件的待检测区域,并将所述待检测区域映射至所述高度图像;
在所述高度图像中查找所述待检测区域中的外轮廓和内轮廓;
若未查找到所述内轮廓,则所述待检测区域的所述缺陷检测结果为无虫洞,若查找到所述内轮廓,则计算所述内轮廓的轮廓面积;
如果所述轮廓面积小于预设的第一面积阈值,则所述待检测区域的所述缺陷检测结果为无虫洞,否则有虫洞并记录虫洞坐标信息。
在本申请的一些实施例中,所述预设检测算法包括层隙检测算法;所述利用预设检测算法对所述高度图像进行缺陷检测,得到所述待检测工件的缺陷检测结果,包括:
在所述点云数据中设置所述待检测工件的待检测区域,并将所述待检测区域映射至所述高度图像;
按列遍历所述高度图像中的所述待检测区域,记录每列中像素平均值的二分之一作为该列的二值化阈值,并基于所述二值化阈值对该列进行二值化,得到二值化图像;
根据层高阈值按行遍历所述二值化图像,记录第一像素的个数得到第一数据;
若所述第一数据小于或等于所述层高阈值的像素个数与占比阈值的乘积,则所述待检测区域的所述缺陷检测结果为无层隙,否则有层隙并记录层隙坐标信息。
在本申请的一些实施例中,所述预设检测算法包括凹槽检测算法;所述利用预设检测算法对所述高度图像进行缺陷检测,得到所述待检测工件的缺陷检测结果,包括:
获取所述待检测工件的高度图模板;
对所述高度图模板和所述高度图像进行图像处理,得到对应的连通域的外接矩形坐标信息;其中,所述外接矩形坐标信息包括第一坐标信息和第二坐标信息,所述第一坐标信息包括至少一个外接矩形,所述第二坐标信息包括至少一个外接矩形,所述第一坐标信息对应所述高度图模板,所述第二坐标信息对应所述高度图像;
将所述第一坐标信息中的每个所述外接矩形扩大预设像素,得到预设外接矩形;
若所述第二坐标信息中的每个所述外接矩形都被包含至任一个所述预设外接矩形中,则所述待检测工件的缺陷检测结果为凹槽无缺陷,否则凹槽有缺陷并记录所述外接矩形的凹槽坐标信息。
在本申请的一些实施例中,对所述高度图模板和所述高度图像进行图像处理,得到对应的连通域的外接矩形坐标信息,包括:
提取所述高度图模板和所述高度图像的边缘信息,并设置所述边缘信息的像素为第一数值,非边缘信息的像素为第二数值;
按列遍历所述高度图模板和所述高度图像,记录每列中第二像素的个数得到第二数据;
若所述第二数据超过对应列的像素个数的第一比例,则确定该列为焊槽边缘并设置该列的像素为第二数值;
按行遍历所述高度图模板和所述高度图像,记录每行中第三像素的个数得到第三数据;
若所述第三数据超过对应行的像素个数的第二比例,则确定该行为连接槽边缘并设置该行的像素为第二数值;
对所述高度图模板和所述高度图像进行形态学处理,将凹槽位置的区域连通得到多个所述连通域;
计算所述连通域的连通域面积,若所述连通域面积大于预设的第二面积阈值,则记录所述连通域的外接矩形坐标信息。
在本申请的一些实施例中,所述方法还包括:
若所述缺陷检测结果表征所述待检测工件有缺陷,则在所述高度图像上对缺陷的外接矩形进行标注并显示;
或者,
若所述缺陷检测结果表征所述待检测工件有缺陷,则对缺陷区域的像素设置为第一数值,非缺陷区域的像素设置为第二数值,得到二值化图像,并在所述二值化图像上对缺陷进行标注并显示。
第二方面,本申请实施例还提供了一种工件缺陷检测装置,应用如本申请第一方面实施例所述的工件缺陷检测方法,包括:
获取模块,用于获取待检测工件的点云数据;其中,所述点云数据包括所述待检测工件的第一边沿信息和第二边沿信息;
拟合模块,用于提取所述第一边沿信息并拟合得到第一矫正信息,提取所述第二边沿信息并拟合得到第二矫正信息;
转化模块,用于对所述点云数据进行转化得到所述待检测工件的初始高度图像;
矫正模块,用于根据所述第一矫正信息对所述初始高度图像进行第一方向矫正,以及根据所述第二矫正信息对所述初始高度图像进行第二方向矫正,得到高度图像;
检测模块,用于利用预设检测算法对所述高度图像进行缺陷检测,得到所述待检测工件的缺陷检测结果。
第三方面,本申请实施例还提供了一种电子设备,包括存储器、处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现如本申请第一方面实施例所述的工件缺陷检测方法。
第四方面,本申请实施例还提供了一种计算机可读存储介质,所述存储介质存储有程序,所述程序被处理器执行实现如本申请第一方面实施例所述的工件缺陷检测方法。
本申请实施例至少包括以下有益效果:
本申请实施例提供了一种工件缺陷检测方法、装置、电子设备及存储介质,其中,方法首先获取待检测工件的点云数据,提取点云数据中的第一边沿信息进行拟合得到第一矫正信息,并提取点云数据中的第二边沿信息进行拟合得到第二矫正信息。对点云数据进行转化得到待检测工件对应的初始高度图像,根据第一矫正信息对初始高度图像进行第一方向矫正,并根据第二矫正信息对初始高度图像进行第二方向矫正,得到高度图像。最后利用预设检测算法对高度图像进行缺陷检测,得到待检测工件的缺陷检测结果,由此无需采集各种类别的大量缺陷图像并进行人工标注,即可快速准确地进行工件缺陷检测,自动化程度高。
本申请的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本申请的实践了解到。
附图说明
本申请的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解,其中:
图1是本申请一个实施例提供的工件缺陷检测系统示意图;
图2是本申请一个实施例提供的电机定子实物示意图;
图3是本申请一个实施例提供的工件缺陷检测方法的流程示意图;
图4是图3中步骤S102的流程示意图;
图5是图3中步骤S103的流程示意图;
图6是图3中步骤S104的流程示意图;
图7是本申请一个实施例提供的虫洞检测算法流程图;
图8是本申请一个实施例提供的层隙检测算法流程图;
图9是本申请一个实施例提供的凹槽检测算法流程图;
图10是本申请一个实施例提供的高度图模板示意图;
图11是本申请一个实施例提供的层隙缺陷示意图;
图12是本申请一个实施例提供的工件缺陷检测装置模块示意图;
图13是本申请一个实施例提供的电子设备的结构示意图。
附图标记:待检测工件1、第一相机2、第二相机3、载物台4、获取模块100、拟合模块200、转化模块300、矫正模块400、检测模块500、电子设备1000、处理器1001、存储器1002。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本申请,并不用于限定本申请。
下面详细描述本申请的实施例,实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本申请,而不能理解为对本申请的限制。
在本申请的描述中,需要理解的是,涉及到方位描述,例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本申请和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本申请的限制。
在本申请的描述中,若干的含义是一个或者多个,多个的含义是两个以上,大于、小于、超过等理解为不包括本数,以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
本申请的描述中,除非另有明确的限定,设置、安装、连接等词语应做广义理解,所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本申请中的具体含义。
在工业领域,为了满足后续的工艺要求,需要对工业零部件的表面进行缺陷检测以便保证产品的质量。在智能制造的不断发展下,数字化、智能化日益成为制造业的主要趋势,随着人工智能和计算机视觉技术的进步,使得工业缺陷检测变得越来越智能化,相比于传统的人工质检,可以有效提高检测的效率和准确性。相关技术中主要使用深度学习技术预训练模型进行缺陷检测,然而这需要搜集各种类别的大量缺陷图像并进行人工标注以用于深度学习模型训练,导致工作量大自动化程度低,从而影响效率。
基于此,本申请实施例提供了一种工件缺陷检测方法、装置、电子设备及存储介质,通过获取待检测工件的点云数据,提取点云数据中的第一边沿信息进行拟合得到第一矫正信息,并提取点云数据中的第二边沿信息进行拟合得到第二矫正信息。对点云数据进行转化得到待检测工件对应的初始高度图像,根据第一矫正信息对初始高度图像进行第一方向矫正,并根据第二矫正信息对初始高度图像进行第二方向矫正,得到高度图像。最后利用预设检测算法对高度图像进行缺陷检测,得到待检测工件的缺陷检测结果,由此无需采集各种类别的大量缺陷图像并进行人工标注,即可快速准确地进行工件缺陷检测,自动化程度高。
本申请实施例提供工件缺陷检测方法、装置、电子设备及存储介质,具体通过如下实施例进行说明,首先描述应用如本申请实施例中工件缺陷检测方法的工件缺陷检测系统。
参照图1所示的工件缺陷检测系统示意图,系统用于采集待检测工件的点云数据并基于点云数据对该待检测工件进行缺陷检测,该系统可以包括但不限于待检测工件1、第一相机2、第二相机3、载物台4、控制器(图未示)和显示设备(图未示)。
在本申请的一些实施例中,第一相机2和第二相机3组成视觉采集系统,第一相机2为线扫相机,第二相机3为线扫相机或面阵相机,载物台4为可旋转载物台。控制器主要控制载物台4的旋转以及视觉采集系统的上下运动对待检测工件1进行扫描,由此采集待检测工件1的点云数据和灰度图像等。示例性的,参照图2所示,待检测工件1可以为电机定子,第一相机2配合载物台4的旋转对电机定子扫描一周,用于检测电机定子环面矩形凹槽的位置是否正确。第二相机3为线扫相机时,则控制其上下运动扫描电机定子的焊槽及周边;第二相机3为面阵相机时,则固定第二相机的位置并调整其视野覆盖电机定子的高度,从而检测焊槽和焊槽周边定子环面的层隙。可以理解的是,本领域技术人员可以根据实际情况设置,本实施例对此不做限制。
参照图3所示,本申请实施例提供了一种工件缺陷检测方法,可以应用于上述工件缺陷检测系统,本申请的待检测工件1以电机定子作为示例,方法可以包括但不限于以下步骤S101至步骤S105。
步骤S101,获取待检测工件的点云数据。
在一些实施例中,由工件缺陷检测系统采集到的点云数据包括待检测工件1的第一边沿信息和第二边沿信息。示例性的,参照图2所示,第一边沿信息为电机定子的上边沿信息①,第二边沿信息为电机定子的凹槽边沿信息②,本实施例对此不做限制。
可以理解的是,点云数据提供了丰富的三维信息,可以用来进行各种任务的分析和处理。在本实施中点云数据由第一相机2和第二相机3采集,通过获取待检测工件1的点云数据并基于此可以对该待检测工件1进行缺陷检测。
步骤S102,提取第一边沿信息并拟合得到第一矫正信息,提取第二边沿信息并拟合得到第二矫正信息。
在一些实施例中,针对电机定子的上边沿,对应提取点云数据中的第一边沿信息并进行拟合得到第一矫正信息;针对电机定子的凹槽边沿,对应提取点云数据中的第二边沿信息并进行拟合得到第二矫正信息。可以理解的是,点云数据由多个空间点组成,第一边沿信息和第二边沿信息对应由符合条件的空间点组成,这些空间点具有三维坐标,进行拟合可以得到矫正信息,本实施例对此不做限制。
步骤S103,对点云数据进行转化得到待检测工件的初始高度图像。
在一些实施例中,对点云数据进行转化可以得到待检测工件1的初始高度图像,即将三维点云数据映射到二维的高度图像上,以显示待检测工件1的高度信息。具体的,对于每个像素位置,通过将点云数据映射到该像素位置,并计算在该位置上的高度值。可以选取点云数据在该像素位置上的最高点或者平均高度,也可以进行插值计算得到更精细的高度值。由此通过将高度值映射到灰度或彩色,以得到初始高度图像并显示待检测工件1的不同高度信息。可以理解的是,本领域技术人员可以根据实际需求设置不同的颜色映射方案,例如使用灰度级别表示高度值,或者使用渐变的颜色表示高度变化等,本实施例对此不做限制。
步骤S104,根据第一矫正信息对初始高度图像进行第一方向矫正,以及根据第二矫正信息对初始高度图像进行第二方向矫正,得到高度图像。
在一些实施例中,对初始高度图像进行矫正是为了消除图像中的畸变和偏差,使得高度图像更准确地反映待检测工件1的高度信息,从而确保了待检测工件1的缺陷检测准确率。具体的,根据第一矫正信息对初始高度图像进行第一方向矫正,以及根据第二矫正信息对初始高度图像进行第二方向矫正,得到矫正后的高度图像。示例性的,第一方向为水平方向,即X方向,根据电机定子的上边沿信息拟合的第一矫正信息对初始高度图像的X方向进行矫正;第二方向为垂直方向,即Y方向,根据电机定子的凹槽边沿信息拟合的第二矫正信息对初始高度图像的Y方向进行矫正,本实施例对此不做限制。
步骤S105,利用预设检测算法对高度图像进行缺陷检测,得到待检测工件的缺陷检测结果。
在一些实施例中,不同的预设检测算法对应不同的缺陷检测流程,根据待检测工件1的检测需求可以对应选择预设检测算法,对高度图像进行缺陷检测,从而得到待检测工件1的缺陷检测结果。可以理解的是,缺陷检测结果主要包括有缺陷和无缺陷两种,进一步的,对于有缺陷的工件,还可以对应记录缺陷的位置信息等,本实施例对此不做限制。
参照图4所示,在本申请的一些实施例中,上述步骤S102可以包括但不限于以下步骤S201至步骤S205。
步骤S201,设置第一区域和第一距离阈值,并获取第一区域中的空间点。
在一些实施例中,点云数据是空间点集合,由多个空间点组成,每个空间点具有三维坐标信息。对点云数据提取第一边沿信息并进行拟合得到第一矫正信息,首先通过选取第一区域,并获取第一区域中的空间点。示例性的,设置第一区域为ROI(Region ofInterest)区域,可以使用坐标、边界框、多边形或其他几何形状来定义第一区域,然后通过比较空间点的坐标值和第一区域的边界提取第一区域中的空间点,本实施例对此不做限制。
步骤S202,对空间点进行平面拟合得到空间平面方程,根据第一距离阈值和空间平面方程得到第一区域的三维平面点云。
在一些实施例中,对第一区域中的空间点进行平面拟合,得到空间平面方程。具体的,首先随机选择一定数量的空间点作为初始样本,使用最小二乘法或其他拟合方法拟合一个初始平面方程。然后将第一区域内的所有空间点带入拟合的初始平面方程,计算每个空间点到平面的距离,并设定一个阈值。将距离小于阈值的点定义为内点,否则为外点。重复执行上述过程直到达到预设的迭代次数或满足停止条件。最后在所有迭代中,选择具有最多内点的初始平面方程作为空间平面方程。可以理解的是,空间平面方程可以表示为Ax+By+Cz+D=0,其中A、B、C为平面的法向量的三个分量,D为平面的偏移量,本实施例对此不做限制。
在一些实施例中,根据预先设置的第一距离阈值,计算点云数据中其他空间点距离空间平面方程的距离,如果距离小于第一距离阈值,则将该空间点属于第一区域的三维平面点云,最终得到第一区域的三维平面点云。
步骤S203,根据空间平面方程对三维平面点云进行投影,得到二维点集。
在一些实施例中,获得三维平面点云后,可以将其投影到拟合的空间平面方程上,从而得到二维点集。具体的,遍历三维平面点云中的空间点,对于每个空间点(x,y,z)在空间平面方程上进行投影。首先根据空间平面方程,计算空间点(x,y,z)到平面的垂直距离d=|Ax+By+Cz+D|/sqrt(A^2+B^2+C^2)。然后根据平面法向量的方向,将点的垂直距离d乘以法向量的分量,即得到该空间点在平面上的投影坐标(x_proj,y_proj)。最后将所有三维平面点云的投影点(x_proj,y_proj)形成二维点集。
步骤S204,利用预设算法对二维点集进行识别得到第一边沿点集合。
在一些实施例中,预设算法可以为Alpha Shape算法,Alpha Shape算法是一种用于识别点集边沿的方法,它基于点集中的alpha参数来构建一个凸包,从而找到边沿点集合,是一种简单、有效的快速提取边界点算法,克服了点云边界点形状影响的缺点,可快速准确提取边界点。具体的,利用Alpha Shape算法识别二维点集中的第一边沿点,可以得到第一边沿点集合,即第一边沿信息。
步骤S205,利用最小二乘法对第一边沿点集合进行拟合,得到第一矫正信息。
在一些实施例中,第一边沿点集合中包括多个二维的第一边沿点,利用最小二乘法可以对第一边沿点集合中的各个第一边沿点进行拟合,得到第一矫正信息。可以理解的是,提取点云数据中的第二边沿信息并拟合得到第二矫正信息的具体实施方式与上述过程基本一致,在此不再一一赘述。
可以理解的是,选取的第一区域和第二区域分别是水平和垂直的,两者是相互垂直的关系。示例性的,选取的第一区域是水平的,对应于图2中的上边沿信息①,则用于X方向矫正;第二区域是垂直的,对应于图2中的凹槽边沿信息②,则对应用于Y方向矫正,本实施例对此不做限制。
参照图5所示,在本申请的一些实施例中,上述步骤S103可以包括但不限于以下步骤S301至步骤S305。
步骤S301,获取第三坐标的最大值和最小值,并根据最大值和最小值计算得到灰度值缩放比例。
在一些实施例中,点云数据包括多个三维的空间点,每个空间点包括第一坐标x、第二坐标y和第三坐标z的三维信息。使用点云数据转化得到待检测工件1的初始高度图像,首先需要获取点云数据中第三坐标的最大值Zmax和最小值Zmin,从而根据最大值Zmax和最小值Zmin计算得到灰度值缩放比例。具体的,灰度值缩放比例r=255/(Zmax-Zmin)。由此根据最大值Zmax和最小值Zmin以及灰度范围0至255得到的灰度值缩放比例,可以对点云数据进行归一化处理。
步骤S302,根据第三坐标和灰度值缩放比例,计算得到每个空间点对应的灰度值。
在一些实施例中,根据每个空间点的第三坐标z和灰度值缩放比例r,可以计算得到对应的灰度值G,其中G=r*(z-Zmin)。由此将点云数据中的各个空间点归化至灰度值范围,利用灰度值可以表示待检测工件1不同位置的高度信息。可以理解的是,在相机拍摄过程中,如果被拍摄物体超过相机景深范围则不会成像,因此该区域没有点云,本实施例将没有点云的区域的灰度值统一设置为0,对于本实施例对此不作限制。
步骤S303,根据第一间距对第一坐标进行转换得到水平坐标,并根据第二间距对第二坐标进行转换得到垂直坐标。
在一些实施例中,点云数据还包括每个空间点之间的第一间距和第二间距,其中第一间距为列间距c,第二间距为行间距r。根据第一间距c对第一坐标x进行转换得到水平坐标u,其中u=x/c;并根据第二间距r对第二坐标y进行转换得到垂直坐标v,其中v=y/r。由此将点云数据中的各个空间点转换至对应的图像uv坐标上。
步骤S304,根据水平坐标和垂直坐标,确定空间点的图像位置,并将灰度值赋值至图像位置,得到初始高度图像。
在一些实施例中,根据水平坐标u和垂直坐标v,可以确定该空间点在初始高度图像中的图像位置(u,v),由此将对应的灰度值G赋值至图像位置中即可得到由灰度值表示的初始高度图像。可以理解的是,初始高度图像的图像尺寸与视觉采集系统采集到的灰度图像的尺寸相同,本实施例对此不做限制。
参照图6所示,在本申请的一些实施例中,第一矫正信息为第一直线方程,第一直线方程包括斜率和第一偏移,第二矫正信息为第二直线方程,第二直线方程包括第二偏移。上述步骤S104可以包括但不限于以下步骤S401至步骤S403。
步骤S401,根据斜率对初始高度图像进行俯仰角矫正,若斜率为正数则向下调整俯仰角,若斜率为负数则向上调整俯仰角。
在一些实施例中,第一直线方程形如y=kx+b,其中k代表斜率,b代表第一偏移。根据第一矫正信息对初始高度图像进行第一方向矫正,即根据斜率和第一偏移对初始高度图像进行X方向的矫正。具体的,根据斜率对初始高度图像进行俯仰角矫正,若斜率k=tanα为正数,则将初始高度图像沿X轴顺时针向下旋转α角度大小;若斜率k=tanα为负数,则将初始高度图像沿X轴逆时针向上旋转α角度大小。
步骤S402,根据第一偏移对初始高度图像进行水平矫正,若第一偏移为正数则向上平移初始高度图像,若第一偏移为负数则向下平移初始高度图像。
在一些实施例中,根据第一偏移对初始高度图像进行水平矫正,若第一偏移为正数,则将初始高度图像沿Y轴向上平移第一偏移个距离;若第一偏移为负数,则将初始高度图像沿Y轴向下平移第一偏移的绝对值个距离。
步骤S403,根据第二偏移对初始高度图像进行垂直矫正,若第二偏移为正数则向左平移初始高度图像,若第二偏移为负数则向右平移初始高度图像。
在一些实施例中,根据第二矫正信息对初始高度图像进行第二方向矫正,即根据第二偏移对初始高度图像进行Y方向的矫正。具体的,根据第二偏移对初始高度图像进行垂直矫正,若第二偏移为正数,则将初始高度图像沿X轴向左平移第二偏移个距离;若第二偏移为负数,则将初始高度图像沿X轴向右平移第二偏移的绝对值个距离。
在一些实施例中,X、Y方向的矫正可以是基于点云边沿检测进行的矫正,也可以是基于图像边缘检测的矫正,可以是在点云数据转换成初始高度图像之前进行矫正,也可以是在完成初始高度图像转化后再进行矫正,只要其矫正结果作用在初始高度图像上即可。同时也可根据绘制ROI区域的方式寻找ROI区域内的边缘来进行X、Y方向的矫正,本实施例对此不做限制。
可以理解的是,由于在进行第一方向矫正时已经对俯仰角矫正,所以在进行第二方向矫正时只需要用第二偏移信息进行垂直矫正,即可完成Y方向矫正。在实际的工程应用中,由于机械结构存在的误差等原因,每次待检测工件1摆放的位置不可能完全一致,总会存在些许偏差。本实施例通过对初始高度图像进行矫正,在后续的自动化检测过程中,自定义绘制ROI检测区域进行缺陷检测时,可以有效保证检测的ROI区域不会因为同一产品类型的待检测工件在摆放时存在差异而导致检测区域不同,而最终导致错检漏检的情况出现。
在本申请的一些实施例中,预设检测算法包括虫洞检测算法,虫洞是指工件表面的小孔或孔洞,可能是由于材料缺陷、加工不良或使用过程中的磨损引起的。参照图7所示的虫洞检测算法流程图,首先根据需要检测的区域在点云数据中设置待检测工件1的待检测区域,待检测区域作为ROI区域可以由用户手动选择或者绘制。待检测区域会自动映射至高度图像中,从而得到高度图像中的待检测区域。在高度图像的待检测区域中查找所有轮廓和外轮廓,进一步在所有轮廓中排除与外轮廓相同的轮廓,剩余的轮廓即为提取的内轮廓。判断是否查找到内轮廓,若未查找到内轮廓,则对该待检测区域完成缺陷检测,缺陷检测结果显示为无虫洞。若查找到内轮廓,则进一步计算内轮廓的轮廓面积,然后判断该内轮廓的轮廓面积是否大于预设的第一面积阈值。如果轮廓面积小于第一面积阈值,则该待检测区域的缺陷检测结果为无虫洞,否则有虫洞并记录虫洞坐标信息。
可以理解的是,通过设置第一面积阈值可以排除面积比较小的内轮廓的影响,从而排除相机成像质量的影响,例如将第一面积阈值设置为2。通过计算各个内轮廓的轮廓面积并与第一面积阈值比较,如果轮廓面积比第一面积阈值小,则排除该内轮廓,若比第一面积阈值大,则保留该内轮廓并记录对应的坐标信息,本实施例对此不做限制。
在本申请的一些实施例中,预设检测算法包括层隙检测算法,层隙是指定子绕组与铁芯之间的间隙,通常由于绕组安装不当或绕组松动引起。参照图8所示的层隙检测算法流程图,首先根据需要检测的区域在点云数据中设置待检测工件1的待检测区域,待检测区域作为ROI区域可以由用户手动选择或者绘制。待检测区域会自动映射至高度图像中,从而得到高度图像中的待检测区域。按列遍历高度图像的待检测区域进行二值化,具体的,记录每列中像素平均值的二分之一作为该列的二值化阈值,将该列中大于二值化阈值的像素设置为255,否则设置为0,从而得到二值化图像。
在二值化图像的基础上,进一步的设置层高阈值和占比阈值,例如层高阈值设置为5和占比阈值设置为0.5。根据层高阈值按行遍历二值化图像,每行向下查找层高阈值行数为一个单元行进行一次单元遍历,记录单元行内像素为第一像素的个数得到第一数据,例如第一像素为0,即记录单元行内像素为0的个数得到第一数据。判断第一数据是否超过预设阈值,具体的,预设阈值即层高阈值对应的单元行中像素个数与占比阈值的乘积。如果第一数据小于或等于层高阈值的像素个数与占比阈值的乘积,则待检测区域的缺陷检测结果为无层隙,否则有层隙并记录该单元行坐标作为层隙坐标信息,本实施例对此不做限制。
在本申请的一些实施例中,预设检测算法包括凹槽检测算法,凹槽是指定子铁芯表面的凹陷或不平整,可能由于加工不当、磨损或腐蚀引起。参照图9所示的凹槽检测算法流程图,由于凹槽检测是为了检测电机定子的凹槽位置是否正确,首先需要添加一个凹槽位置正确的高度图模板,参照图10所示的高度图模板示意图,图中的凹槽对应于图2中的凹槽部位③。对高度图模板和高度图像依次进行图像处理,可以得到对应的连通域的外接矩形坐标信息。
具体的,首先进行自适应阈值提取高度图模板和高度图像的所有边缘信息,并设置边缘信息的像素为第一数值,例如0,非边缘信息的像素为第二数值,例如255。然后去除焊槽和连接槽边缘,先通过按列遍历高度图模板和高度图像,记录每列中第二像素的个数得到第二数据,示例性的,第二像素为0,则记录每列中像素为0的个数得到第二数据。如果第二数据超过该列的像素个数的第一比例,例如第一比例为四分之一,即第二数据超过该列像素个数的四分之一,则确定该列为焊槽边缘并设置该列的各个像素为第二数值,例如255。然后按行遍历高度图模板和高度图像,记录每行中第三像素的个数得到第三数据,示例性的,第三像素为0,即记录每行中像素为0的个数得到第三数据。如果第三数据超过该行的像素个数的第二比例,例如第二比例为四分之一,及第三数据超过该行像素个数的四分之一,则确定该行为连接槽边缘并设置该行的各个像素为第二数值,例如255。由此去除了高度图模板和待检测工件1的高度图像中焊槽和连接槽边缘,本实施例对此不做限制。
接着高度图模板和高度图像进行形态学处理,进行膨胀腐蚀操作,把凹槽位置的区域连通起来得到多个连通域。可以理解的是,形态学处理是图像处理中的一种常用方法,用于改善图像的质量、强调图像的特征或去除图像中的噪声等,膨胀和腐蚀是形态学处理中常用的基本操作。计算连通域的连通域面积,并将连通域面积与第二面积阈值作比较,排除小面积的连通域,这种小面积连通域可能是相机拍照质量以及图像处理过程中误识别的小边缘形成的。具体的,如果连通域面积大于预设的第二面积阈值,则记录该连通域的外接矩形坐标信息,其中第二面积阈值可以默认设置为3000像素,也可以根据最小凹槽设置,本实施例对此不做限制。
在一些实施例中,外接矩形坐标信息包括第一坐标信息和第二坐标信息,第一坐标信息包括至少一个外接矩形,第二坐标信息包括至少一个外接矩形。其中第一坐标信息对应高度图模板,即第一坐标信息中的外接矩形是在高度图模板中的;第二坐标信息则对应待检测工件1的高度图像,即第二坐标信息中的外接矩形是在高度图像中的。将第一坐标信息中的每个外接矩形向外扩大预设像素,例如预设像素为10,即将外接矩形的坐标向外扩大10个像素,得到对应的预设外接矩形。然后将第二坐标信息中的外接矩形与预设外接矩形进行比较,如果高度图像中的每个外接矩形都被包含至任一个预设外接矩形中,即高度图像的每个外接矩形都可以在高度图模板中找到一个预设外接矩形把它包含在里面,则该待检测工件的缺陷检测结果为凹槽位置正常无缺陷,否则凹槽有缺陷并记录该外接矩形的凹槽坐标信息。
进一步的,检测高度图模板和高度图像中的外接矩形数量是否一致,如果高度图模板的外接矩形较多,则把高度图模板多出来的外接矩形坐标信息记录下来,并确定待检测工件1对应位置上缺少凹槽,本实施例对此不做限制。
在本申请的一些实施例中,得到待检测工件1的缺陷检测结果后,还可以对其进行标注并显示。具体的,若缺陷检测结果表征待检测工件1有缺陷,则在高度图像上对缺陷的外接矩形进行标注并显示,否则直接显示高度图像。或者若缺陷检测结果表征待检测工件1有缺陷,则对缺陷区域的像素设置为第一数值,例如0,非缺陷区域的像素设置为第二数值,例如255,得到二值化图像,并在二值化图像上对缺陷进行标注并显示,否则直接显示二值化图像。示例性的,参照图11所示层隙缺陷示意图,非缺陷区域的像素灰度值设置为255,即图中的白色部分均代表无缺陷,缺陷区域的像素灰度值设置为0,即图中的黑色部分代表有层隙缺陷,通过不同颜色的线框进行标注并显示,本实施例对此不做限制。
由此利用预设检测算法对高度图像进行缺陷检测,得到待检测工件的缺陷检测结果,无需采集各种类别的大量缺陷图像并进行人工标注,即可快速准确地进行工件缺陷检测,自动化程度高。具体可应用于电机定子铁心表面和焊槽的缺陷及位置度的检测,也可用于其它类似产品的缺陷检测,本实施例对此不做限制。
本申请实施例还提供一种工件缺陷检测装置,可以实现上述工件缺陷检测方法,参照图12所示,在本申请一些实施例中,工件缺陷检测装置包括:
获取模块100,用于获取待检测工件的点云数据;其中,点云数据包括待检测工件的第一边沿信息和第二边沿信息;
拟合模块200,用于提取第一边沿信息并拟合得到第一矫正信息,提取第二边沿信息并拟合得到第二矫正信息;
转化模块300,用于对点云数据进行转化得到待检测工件的初始高度图像;
矫正模块400,用于根据第一矫正信息对初始高度图像进行第一方向矫正,以及根据第二矫正信息对初始高度图像进行第二方向矫正,得到高度图像;
检测模块500,用于利用预设检测算法对高度图像进行缺陷检测,得到待检测工件的缺陷检测结果。
本实施例的工件缺陷检测装置的具体实施方式与上述工件缺陷检测方法的具体实施方式基本一致,在此不再一一赘述。
图13示出了本申请实施例提供的电子设备1000。电子设备1000包括:处理器1001、存储器1002及存储在存储器1002上并可在处理器1001上运行的计算机程序,计算机程序运行时用于执行上述的工件缺陷检测方法。
处理器1001和存储器1002可以通过总线或者其他方式连接。
存储器1002作为一种非暂态计算机可读存储介质,可用于存储非暂态软件程序以及非暂态性计算机可执行程序,如本申请实施例描述的工件缺陷检测方法。处理器1001通过运行存储在存储器1002中的非暂态软件程序以及指令,从而实现上述的工件缺陷检测方法。
存储器1002可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储执行上述的工件缺陷检测方法。此外,存储器1002可以包括高速随机存取存储器1002,还可以包括非暂态存储器1002,例如至少一个储存设备存储器件、闪存器件或其他非暂态固态存储器件。在一些实施方式中,存储器1002可选包括相对于处理器1001远程设置的存储器1002,这些远程存储器1002可以通过网络连接至该电子设备1000。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
实现上述的工件缺陷检测方法所需的非暂态软件程序以及指令存储在存储器1002中,当被一个或者多个处理器1001执行时,执行上述的工件缺陷检测方法,例如,执行图3中的方法步骤S101至步骤S105、图4中的方法步骤S201至步骤S205、图5中的方法步骤S301至步骤S304、图6中的方法步骤S401至步骤S403。
本申请实施例还提供了一种存储介质,存储介质为计算机可读存储介质,该存储介质存储有计算机程序,该计算机程序被处理器执行时实现上述工件缺陷检测方法。存储器作为一种非暂态计算机可读存储介质,可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外,存储器可以包括高速随机存取存储器,还可以包括非暂态存储器,例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中,存储器可选包括相对于处理器远程设置的存储器,这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
本申请实施例提供的工件缺陷检测方法、装置、电子设备及存储介质,首先获取待检测工件的点云数据,提取点云数据中的第一边沿信息进行拟合得到第一矫正信息,并提取点云数据中的第二边沿信息进行拟合得到第二矫正信息。对点云数据进行转化得到待检测工件对应的初始高度图像,根据第一矫正信息对初始高度图像进行第一方向矫正,并根据第二矫正信息对初始高度图像进行第二方向矫正,得到高度图像。最后利用预设检测算法对高度图像进行缺陷检测,得到待检测工件的缺陷检测结果,由此无需采集各种类别的大量缺陷图像并进行人工标注,即可快速准确地进行工件缺陷检测,自动化程度高。
以上所描述的实施例仅仅是示意性的,其中作为分离部件说明的单元可以是或者也可以不是物理上分开的,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
本领域普通技术人员可以理解,上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器,如中央处理器、数字信号处理器或微处理器执行的软件,或者被实施为硬件,或者被实施为集成电路,如专用集成电路。这样的软件可以分布在计算机可读介质上,计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的,术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、储存设备存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外,本领域普通技术人员公知的是,通信介质通常包括计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据,并且可包括任何信息递送介质。
还应了解,本申请实施例提供的各种实施方式可以任意进行组合,以实现不同的技术效果。以上是对本申请的较佳实施进行了具体说明,但本申请并不局限于上述实施方式,熟悉本领域的技术人员在不违背本申请精神的共享条件下还可作出种种等同的变形或替换。
Claims (12)
1.一种工件缺陷检测方法,其特征在于,包括:
获取待检测工件的点云数据;其中,所述点云数据包括所述待检测工件的第一边沿信息和第二边沿信息;
提取所述第一边沿信息并拟合得到第一矫正信息,提取所述第二边沿信息并拟合得到第二矫正信息;
对所述点云数据进行转化得到所述待检测工件的初始高度图像;
根据所述第一矫正信息对所述初始高度图像进行第一方向矫正,以及根据所述第二矫正信息对所述初始高度图像进行第二方向矫正,得到高度图像;
利用预设检测算法对所述高度图像进行缺陷检测,得到所述待检测工件的缺陷检测结果。
2.根据权利要求1所述的工件缺陷检测方法,其特征在于,所述点云数据包括多个空间点,所述第一边沿信息为第一边沿点集合,所述提取所述第一边沿信息并拟合得到第一矫正信息,包括:
设置第一区域和第一距离阈值,并获取所述第一区域中的所述空间点;
对所述空间点进行平面拟合得到空间平面方程,根据所述第一距离阈值和所述空间平面方程得到所述第一区域的三维平面点云;
根据所述空间平面方程对所述三维平面点云进行投影,得到二维点集;
利用预设算法对所述二维点集进行识别得到所述第一边沿点集合;
利用最小二乘法对所述第一边沿点集合进行拟合,得到所述第一矫正信息。
3.根据权利要求1所述的工件缺陷检测方法,其特征在于,所述点云数据包括多个空间点,所述空间点包括第一坐标、第二坐标和第三坐标;所述对所述点云数据进行转化得到所述待检测工件的初始高度图像,包括:
获取所述第三坐标的最大值和最小值,并根据所述最大值和所述最小值计算得到灰度值缩放比例;
根据所述第三坐标和所述灰度值缩放比例,计算得到每个所述空间点对应的灰度值;
根据第一间距对所述第一坐标进行转换得到水平坐标,并根据第二间距对所述第二坐标进行转换得到垂直坐标;
根据所述水平坐标和所述垂直坐标,确定所述空间点的图像位置,并将所述灰度值赋值至所述图像位置,得到所述初始高度图像。
4.根据权利要求1所述的工件缺陷检测方法,其特征在于,所述第一矫正信息为第一直线方程,所述第一直线方程包括斜率和第一偏移,所述第二矫正信息为第二直线方程,所述第二直线方程包括第二偏移;所述根据所述第一矫正信息对所述初始高度图像进行第一方向矫正,以及根据所述第二矫正信息对所述初始高度图像进行第二方向矫正,得到高度图像,包括:
根据所述斜率对所述初始高度图像进行俯仰角矫正,若所述斜率为正数则向下调整所述俯仰角,若所述斜率为负数则向上调整所述俯仰角;
根据所述第一偏移对所述初始高度图像进行水平矫正,若所述第一偏移为正数则向上平移所述初始高度图像,若所述第一偏移为负数则向下平移所述初始高度图像;
根据所述第二偏移对所述初始高度图像进行垂直矫正,若所述第二偏移为正数则向左平移所述初始高度图像,若所述第二偏移为负数则向右平移所述初始高度图像。
5.根据权利要求1至4中任一项所述的工件缺陷检测方法,其特征在于,所述预设检测算法包括虫洞检测算法;所述利用预设检测算法对所述高度图像进行缺陷检测,得到所述待检测工件的缺陷检测结果,包括:
在所述点云数据中设置所述待检测工件的待检测区域,并将所述待检测区域映射至所述高度图像;
在所述高度图像中查找所述待检测区域中的外轮廓和内轮廓;
若未查找到所述内轮廓,则所述待检测区域的所述缺陷检测结果为无虫洞,若查找到所述内轮廓,则计算所述内轮廓的轮廓面积;
如果所述轮廓面积小于预设的第一面积阈值,则所述待检测区域的所述缺陷检测结果为无虫洞,否则有虫洞并记录虫洞坐标信息。
6.根据权利要求1至4中任一项所述的工件缺陷检测方法,其特征在于,所述预设检测算法包括层隙检测算法;所述利用预设检测算法对所述高度图像进行缺陷检测,得到所述待检测工件的缺陷检测结果,包括:
在所述点云数据中设置所述待检测工件的待检测区域,并将所述待检测区域映射至所述高度图像;
按列遍历所述高度图像中的所述待检测区域,记录每列中像素平均值的二分之一作为该列的二值化阈值,并基于所述二值化阈值对该列进行二值化,得到二值化图像;
根据层高阈值按行遍历所述二值化图像,记录第一像素的个数得到第一数据;
若所述第一数据小于或等于所述层高阈值的像素个数与占比阈值的乘积,则所述待检测区域的所述缺陷检测结果为无层隙,否则有层隙并记录层隙坐标信息。
7.根据权利要求1至4中任一项所述的工件缺陷检测方法,其特征在于,所述预设检测算法包括凹槽检测算法;所述利用预设检测算法对所述高度图像进行缺陷检测,得到所述待检测工件的缺陷检测结果,包括:
获取所述凹槽检测的高度图模板;
对所述高度图模板和所述高度图像进行图像处理,得到对应的连通域的外接矩形坐标信息;其中,所述外接矩形坐标信息包括第一坐标信息和第二坐标信息,所述第一坐标信息包括至少一个外接矩形,所述第二坐标信息包括至少一个外接矩形,所述第一坐标信息对应所述高度图模板,所述第二坐标信息对应所述高度图像;
将所述第一坐标信息中的每个所述外接矩形扩大预设像素,得到预设外接矩形;
若所述第二坐标信息中的每个所述外接矩形都被包含至任一个所述预设外接矩形中,则所述待检测工件的缺陷检测结果为凹槽无缺陷,否则凹槽有缺陷并记录所述外接矩形的凹槽坐标信息。
8.根据权利要求7所述的工件缺陷检测方法,其特征在于,对所述高度图模板和所述高度图像进行图像处理,得到对应的连通域的外接矩形坐标信息,包括:
提取所述高度图模板和所述高度图像的边缘信息,并设置所述边缘信息的像素为第一数值,非边缘信息的像素为第二数值;
按列遍历所述高度图模板和所述高度图像,记录每列中第二像素的个数得到第二数据;
若所述第二数据超过对应列的像素个数的第一比例,则确定该列为焊槽边缘并设置该列的像素为第二数值;
按行遍历所述高度图模板和所述高度图像,记录每行中第三像素的个数得到第三数据;
若所述第三数据超过对应行的像素个数的第二比例,则确定该行为连接槽边缘并设置该行的像素为第二数值;
对所述高度图模板和所述高度图像进行形态学处理,将凹槽位置的区域连通得到多个所述连通域;
计算所述连通域的连通域面积,若所述连通域面积大于预设的第二面积阈值,则记录所述连通域的外接矩形坐标信息。
9.根据权利要求1所述的工件缺陷检测方法,其特征在于,所述方法还包括:
若所述缺陷检测结果表征所述待检测工件有缺陷,则在所述高度图像上对缺陷的外接矩形进行标注并显示;
或者,
若所述缺陷检测结果表征所述待检测工件有缺陷,则对缺陷区域的像素设置为第一数值,非缺陷区域的像素设置为第二数值,得到二值化图像,并在所述二值化图像上对缺陷进行标注并显示。
10.一种工件缺陷检测装置,其特征在于,应用如权利要求1至9中任一项所述的工件缺陷检测方法,包括:
获取模块,用于获取待检测工件的点云数据;其中,所述点云数据包括所述待检测工件的第一边沿信息和第二边沿信息;
拟合模块,用于提取所述第一边沿信息并拟合得到第一矫正信息,提取所述第二边沿信息并拟合得到第二矫正信息;
转化模块,用于对所述点云数据进行转化得到所述待检测工件的初始高度图像;
矫正模块,用于根据所述第一矫正信息对所述初始高度图像进行第一方向矫正,以及根据所述第二矫正信息对所述初始高度图像进行第二方向矫正,得到高度图像;
检测模块,用于利用预设检测算法对所述高度图像进行缺陷检测,得到所述待检测工件的缺陷检测结果。
11.一种电子设备,其特征在于,包括存储器、处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至9中任一项所述的工件缺陷检测方法。
12.一种计算机可读存储介质,其特征在于,所述存储介质存储有程序,所述程序被处理器执行实现如权利要求1至9中任一项所述的工件缺陷检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311309157.8A CN117474839A (zh) | 2023-10-10 | 2023-10-10 | 工件缺陷检测方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311309157.8A CN117474839A (zh) | 2023-10-10 | 2023-10-10 | 工件缺陷检测方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117474839A true CN117474839A (zh) | 2024-01-30 |
Family
ID=89632216
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311309157.8A Pending CN117474839A (zh) | 2023-10-10 | 2023-10-10 | 工件缺陷检测方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117474839A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117670888A (zh) * | 2024-02-01 | 2024-03-08 | 天津滨海雷克斯激光科技发展有限公司 | 管道内壁缺陷检测方法、装置、设备及介质 |
-
2023
- 2023-10-10 CN CN202311309157.8A patent/CN117474839A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117670888A (zh) * | 2024-02-01 | 2024-03-08 | 天津滨海雷克斯激光科技发展有限公司 | 管道内壁缺陷检测方法、装置、设备及介质 |
CN117670888B (zh) * | 2024-02-01 | 2024-05-17 | 天津滨海雷克斯激光科技发展有限公司 | 管道内壁缺陷检测方法、装置、设备及介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114140679B (zh) | 一种缺陷融合方法、装置、识别系统及存储介质 | |
CN108562250B (zh) | 基于结构光成像的键盘键帽平整度快速测量方法与装置 | |
CN109472271B (zh) | 印刷电路板图像轮廓提取方法及装置 | |
CN111982921B (zh) | 孔缺陷的检测方法、装置、传送平台及存储介质 | |
CN113269762B (zh) | 屏幕不良检测方法、系统及计算机存储介质 | |
CN112304954B (zh) | 一种基于线激光扫描及机器视觉的零件表面缺陷检测方法 | |
CN113160161B (zh) | 目标边缘处缺陷的检测方法和装置 | |
CN117474839A (zh) | 工件缺陷检测方法、装置、电子设备及存储介质 | |
CN115170669A (zh) | 基于边缘特征点集配准的识别定位方法及系统、存储介质 | |
CN112767359B (zh) | 复杂背景下的钢板角点检测方法及系统 | |
CN115760820A (zh) | 一种塑料件缺陷图像识别方法及应用 | |
CN115018846A (zh) | 基于ai智能相机的多目标裂纹缺陷检测方法和装置 | |
CN114119535A (zh) | 基于视觉检测的激光清洗效果在线监测方法 | |
CN115272199A (zh) | 一种pcb载板缺陷检测方法、系统、电子设备及介质 | |
CN110426395B (zh) | 一种太阳能el电池硅片表面检测方法及装置 | |
CN107993223A (zh) | 划痕检测方法、装置和电子设备 | |
CN117058411B (zh) | 电池棱边外形瑕疵识别方法、装置、介质和设备 | |
CN110310239B (zh) | 一种基于特性值拟合消除光照影响的图像处理方法 | |
CN111932517A (zh) | 余料板材的轮廓测绘方法、装置、电子设备与存储介质 | |
CN116596987A (zh) | 一种基于双目视觉的工件三维尺寸高精度测量方法 | |
CN116125489A (zh) | 一种室内物体三维检测方法、计算机设备及存储介质 | |
CN113888504A (zh) | mesh组件检测方法、装置和存储介质 | |
CN110163056B (zh) | 智能视觉识别车板线缆盘中心坐标系统 | |
JP2017016169A (ja) | 検査方法、検査装置、画像処理装置、プログラム及び記録媒体 | |
CN112581473B (zh) | 一种基于实现表面缺陷检测灰度图像定位算法的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |