CN114719749B - 基于机器视觉的金属表面裂纹检测及真实尺寸测量方法及系统 - Google Patents

基于机器视觉的金属表面裂纹检测及真实尺寸测量方法及系统 Download PDF

Info

Publication number
CN114719749B
CN114719749B CN202210356342.1A CN202210356342A CN114719749B CN 114719749 B CN114719749 B CN 114719749B CN 202210356342 A CN202210356342 A CN 202210356342A CN 114719749 B CN114719749 B CN 114719749B
Authority
CN
China
Prior art keywords
image
crack
light source
metal surface
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210356342.1A
Other languages
English (en)
Other versions
CN114719749A (zh
Inventor
郝传鹏
何彦
牛晓博
李育锋
康玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University
Original Assignee
Chongqing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University filed Critical Chongqing University
Priority to CN202210356342.1A priority Critical patent/CN114719749B/zh
Publication of CN114719749A publication Critical patent/CN114719749A/zh
Application granted granted Critical
Publication of CN114719749B publication Critical patent/CN114719749B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30136—Metal
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Abstract

本发明公开一种基于机器视觉的金属表面裂纹检测及真实尺寸测量方法及系统，首先进行图像变换和相机标定，然后通过光场控制采集裂纹图像，以及对采集的图像进行预处理，提取裂纹和测量裂纹的实际尺寸，该方法通过图像变换、光照控制、图像预处理、基于形态学进行裂纹提取和测量裂纹的实际尺寸，解决由于裂纹缺陷信噪比低而难以检测以及裂纹实际尺寸难以精确测量的问题；同时构建了具有蓝色圆顶光源的采集金属零件高分辨率的图像，可以显着减少金属表面反射对缺陷识别的负面影响，并使目标与背景之间具有较高的对比度。以及采用基于形态学的裂纹提取方法，不需要寻找复杂的裂纹边缘线，而是可以直接获取属于裂纹区域的像素，从而表征裂纹几何特征。

Description

基于机器视觉的金属表面裂纹检测及真实尺寸测量方法及 系统
技术领域
本发明涉及图像处理技术领域，特别是一种基于机器视觉的金属表面裂纹检测及真实尺寸测量方法及系统。
背景技术
裂纹是金属零部件最常见的失效模式之一。裂纹形成初期的宽度通常小于1毫米，难以通过传统人工目视的方法准确检测。裂纹失效对金属零部件的机械结构完整性和性能具有威胁，放任裂纹生长还会导致结构断裂等严重失效，存在巨大的安全隐患。例如，意外摄入石头等坚硬物体会导致飞机发动机涡轮叶片产生裂纹缺陷，如果不能及时修复，在高转速、高压和高温的恶劣工作环境下，涡轮叶片可能会因为裂纹而发生断裂，造成严重的安全事故和高昂的经济成本。此外，医疗器械、智能机床、汽车等高精密设备的性能都会受到关键金属零部件裂纹缺陷的影响，严重时甚至会引发安全事故。因此，在金属零部件裂纹形成初期进行精确识别、测量和修复，以保持设备性能，确保安全运行至关重要。
人工目视检测是目前识别金属表面潜在裂纹的主要方法。但是由于裂纹缺陷信噪比较低，且金属表面反射率高，人眼很难准确识别微小的裂纹缺陷。近年来，渗透检测(PT)、磁粉检测(MPT)等无损检测技术(NDT)可以通过凸显缺陷的方式协助人工检测裂纹，但是人工目视检查仍然具有劳动密集，成本高昂等缺点。此外，人工目视检测方法要求检测人员具有专业的知识和经验，检测人员注意力不集中和疲劳会导致检测结果产生错误，因此，人工目视检测方法的可靠性、客观性受到限制。更重要的是，通过人工目视检测的方法无法对裂纹的真实尺寸进行快速精确的测量，无法对修复策略提供准确的缺陷特征数据支撑。随着光学镜头和成像传感器的迅速发展，基于图像的裂纹检测方法可以准确有效地识别金属表面的裂纹。基于图像的裂纹检测方法可以进一步分为三类：传统机器学习方法、深度学习方法和图像处理方法。基于机器学习的方法可以在一定程度上提高检测的自动化程度和效率，但在实际工业部署中错误率仍然很高。深度学习方法可以自动学习和提取输入图像的特征，解决了传统机器学习方法中手动特征提取的复杂性和不确定性。对于深度学习方法，大量的裂纹图像数据对于模型训练和检测性能至关重要，而实际工业场景中特定金属零部件的裂纹图像的数量较少，导致很难使用端到端的学习的方式自动提取裂纹特征。图像处理方法不依赖于大量的训练图像，可以部署在真实的缺陷检测场景中。在过去的20年中，使用图像处理对表面裂纹检测进行了大量研究，如全局和局部阈值、边缘检测等。并且形态学运算、Gabor滤波器和小波变换等一系列图像处理算法已被开发用于从含有噪声的图像中识别裂纹。毫无疑问，上述研究对裂纹检测做出了重大贡献，但对于裂纹真实值测量的问题仍有待解决。大多数研究仅在图像像素级别对裂纹的长度和宽度进行量化，但是在真实的工业场景中，故障评估和修复决策需要获取裂纹缺陷的真实尺寸值，仅仅在像素级别测量裂纹的几何属性是不够的。因此金属零部件裂纹的准确检测和真实值测量是一项有意义但有待解决的挑战性任务。
发明内容
有鉴于此，本发明的目的在于提供一种基于机器视觉的金属表面裂纹检测及真实尺寸测量方法，该方法利用机器视觉的金属表面裂纹真实尺寸测量方法，涉及到工业表面缺陷检测技术。
为达到上述目的，本发明提供如下技术方案：
本发明提供的基于机器视觉的金属表面裂纹检测及真实尺寸测量方法，包括以下步骤：
步骤1：图像变换：基于图像变换使用标准标定板对相机内外参数进行标定，建立世界坐标系和像素坐标系之间的关系；
步骤2：光场控制：建立能产生均匀漫射光的光源的可控成像系统；
步骤3：图像预处理：利用图像预处理技术获取具有裂缝区域的目标图像；
步骤4：裂纹提取：从目标图像中的背景中提取裂纹；
步骤5：裂纹测量：通过自适应边界框对裂纹进行定位，基于图像转换关系准确测量裂纹的实际尺寸。
进一步，所述可控成像系统用于生成具有均匀蓝色光场的圆顶光源的光场照明系统，所述蓝色光源的波长在430-480nm之间。
进一步，所述图像预处理的步骤如下：
采集工件原始图像；
ROI提取：使用方形边界框从原始图像中标记和裁剪包含裂纹的子图像；
图像增强：调整像素的灰度级，确定输入图像的阈值范围[lowin,highin]和输出图像的阈值范围[lowout,highout]，当灰度值不在给定的阈值范围内时，像素被替换为lowout或highout，当灰度值在阈值内时，像素根据以下公式映射到新的阈值范围[lowout,highout]；
Figure BDA0003583089950000031
式中，s为输出灰度值，r为输入灰度值，γ为映射参数；
lowin,表示输入图像阈值下限；highin表示输入图像阈值上限；
lowout表示输出图像阈值下限；highout表示输出图像阈值上限；
图像去噪：使用双边滤波器对增强后的图像进行去噪。
进一步，所述裂纹提取的步骤具体如下：
构造元素B：所述元素B是包括局部原点的邻域；
应用膨胀变换X⊕B：X是图像中的像素点集，根据以下公式进行向量加法完成膨胀变换得到新的结果集合：
Figure BDA0003583089950000034
其中，p表示图像中的每个点；ε表示图像空间；b表示变换向量；x表示原图像中的每个点；
应用腐蚀变换
Figure BDA0003583089950000032
按照以下公式通过向量减法得到新的结果集合：
Figure BDA0003583089950000033
通过从初始图像像素点集X中减去腐蚀变换后的结果集合来确定裂纹区域。
进一步，所述裂纹测量的步骤具体如下：
获取图像中的裂纹像素点集，提取裂纹像素点集中裂纹的几何属性；采用自适应最小边界框法用于提取裂纹的长度和宽度几何特征，所述裂纹的长度和宽度特征由边界框的长度和宽度值定义。
进一步，所述裂纹测量还包括以下步骤：
在像素坐标系下获得边界框的顶点坐标并计算出相应的像素长度和像素宽度；
通过将标定计算得到的参数以及边界框顶点坐标，得到在世界坐标系中裂纹的真实尺寸。
本发明提供的基于机器视觉的金属表面裂纹检测及真实尺寸测量系统，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法的步骤。
进一步，所述可控成像系统包括相机、光源、圆顶球形罩、光源控制器和处理器；所述相机设置于圆顶球形兆顶部，所述光源设置于圆顶球形罩顶部用于向圆顶球形罩内部空间发射均匀光线，在圆顶球形罩内部空间形成均匀光场；所述光源控制器与光源连接用于控制光源的工作状态，所述处理器与相机和光源控制器连接。
进一步，所述光源为蓝色光源，所述蓝色光源的波长在430-480nm之间。
本发明的有益效果在于：
本发明提供的基于机器视觉的金属表面裂纹检测及真实尺寸测量方法，通过采用标准标定板对相机进行标定，无需人工选取标尺，通过标定对相机内外参数进行计算，消除了相机的径向畸变和切向畸变的影响，进而将像素坐标转化为实际世界坐标。同时本方法构建了具有蓝色圆顶光源的可控成像系统，可以显着减少金属反射对缺陷识别的影响，并使检测目标与背景之间具有较高的对比度。
相比现有技术，本发明具有如下有益效果：
(1)提出了一种集图像变换、光照控制、图像预处理、基于形态学的裂纹提取、实际尺寸测量于一体的高效图像处理方法。它提供了一个新颖的框架来解决由于裂纹缺陷信噪比低而难以检测以及裂纹实际尺寸难以精确测量的问题。
(2)构建了具有蓝色圆顶光源的可控成像系统，用于捕获金属零件高分辨率和均匀的图像，可以显着减少金属表面反射对缺陷识别的负面影响，并使目标与背景之间具有较高的对比度。
(3)开发了一种基于形态学的裂纹提取方法，不需要寻找复杂的裂纹边缘线，而是可以直接获取属于裂纹区域的像素，从而表征裂纹几何特征。
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行说明：
图1为基于机器视觉的金属表面裂纹缺陷检测及真实尺寸测量方法总体流程图。
图2为四个坐标系之间的图像转换示意图。
图3我为图像透视投影示意图。
图4为图像仿射变换示意图。
图5为用于相机校准的9个12×9棋盘图像样本。
图6为圆顶光源照明示意图。
图7为缺陷金属齿轮的RGB图像和相应的灰度图像对比效果图。
图8为典型结构元素示例图。
图9为使用形态变换的裂纹提取过程示意图。
图10为提取的裂纹的最小边界框示意图。
图11为裂纹识别实验装置示意图。
图12为包含六个裂纹的铝合金板。
图13为铝合金板表面裂纹识别流程。
图14为缺陷齿轮裂纹识别。
图15为不同裂纹缺陷测量值准确度示意图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好的理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
如图1所示，图1为测量方法总体流程图，本实施例提供的基于机器视觉的金属表面裂纹检测及真实尺寸测量方法，包括如下步骤：
(1)图像变换：基于图像变换使用标准标定板对相机内外参数进行标定，以建立世界坐标系和像素坐标系之间的关系，同时消除镜头的畸变影响。
(2)光场控制：建立一个具有蓝色圆顶光源的可控成像系统，以产生均匀的漫射光减少金属表面的反射。在该光场环境下，通过完成标定的工业相机捕获高分辨率图像。
(3)图像预处理：利用图像预处理技术以提高方法提取细小裂缝的性能，包括ROI提取以提高信噪比并减少不必要的计算、灰度对比度增强、图像去噪以平滑图像。
(4)裂纹提取：通过图像二值化将目标从背景中分割出来，然后使用提出的基于形态学的裂纹提取技术准确地提取裂纹。
(5)裂纹测量：通过自适应边界框对裂纹进行定位，基于图像转换关系准确测量裂纹的实际尺寸。
其中，图像变换步骤具体如下：
当从真实的三维场景中拍摄图像时，相机传感设备的精确位置和方向通常是未知的，并且需要将其与某个全局参考框架相关联。在检测领域中，从图像中准确测量物体尤为重要。因此需要对相机进行标定，建立世界坐标系、相机坐标系、图像坐标系、像素坐标系之间的关系，实现裂纹准确的真实值测量。
四个坐标系图像转换对应关系
如图2所示，图2为四个坐标系之间的图像转换示意图，世界坐标系、相机坐标系、图像坐标系、像素坐标系四个坐标系在相机成像过程中依次关联，Ow-XwYwZw是世界坐标系，用来描述相机的位置。Oc-XcYcZc为相机坐标系，原点Oc为光心，f为相机焦距。o-xy是图像坐标系，op-uv是像素坐标系。P(Xw,Yw,Zw)是世界坐标系中的一点。p(Xc,Yc,Zc)是P在相机坐标系中的图像点，其坐标分别对应图像坐标系和像素坐标系中的(x,y)和(u,v)。
坐标系转换：世界坐标系可以通过刚体变换将其转换为相机坐标系，刚体变换包括平移变换T和旋转变换R。
平移变换矩阵T和旋转变换矩阵R采用以下形式：
Figure BDA0003583089950000061
因此，世界坐标系转换到相机坐标系的刚体变换可以表示为：
Figure BDA0003583089950000062
世界坐标系转化为相机坐标系之后，通过透视投影将相机坐标系转换为图像坐标系。图像中p(x,y)的坐标可以通过相似三角形原理计算，如图3所示，图3为图像透视投影示意图，公式推导如下：
Figure BDA0003583089950000063
其中，Zc称为比例因子，透视投影变换可以表示为：
Figure BDA0003583089950000064
透视投影后，投影点p(x,y)的单位仍然是mm，而不是像素，因此需要进一步将图像坐标系转换为像素坐标系，称为仿射变换，如，图4所示，图4为图像仿射变换示意图，这两个坐标系都在成像平面上，但它们的原点和单位不同。图像坐标系的原点是相机光轴与成像平面的交点。通常是成像平面的图像中点或主点。仿射变换可以表示为：
Figure BDA0003583089950000071
因此，世界坐标系中的一个点可以通过如下三种变换转换到像素坐标系中：
Figure BDA0003583089950000072
Ginternal定义为内部相机变换，其中包括相机内部参数，Gexternal是外部相机变换，由R和T组成的参数矩阵表示：
Figure BDA0003583089950000073
Figure BDA0003583089950000074
本实施例提供的方法在获取转换比例时存在3种误差的叠加：1.采用的标尺并非标准件，其制造精度不高引入的误差；2.人为选取属于标尺的像素点不精确造成误差；3.未考虑相机镜头的畸变问题，镜头边缘处像素的转换比例和像素中间的比例并非一致。以上3种误差的叠加大大影响缺陷测量的精度。本方法通过采用标准标定板对相机进行标定，无需人工选取标尺，通过标定对相机内外参数进行计算，消除了相机的径向畸变和切向畸变的影响，进而将像素坐标转化为实际世界坐标。同时本发明构建了具有蓝色圆顶光源的可控成像系统，可以显着减少金属反射对缺陷识别的影响，并使检测目标与背景之间具有较高的对比度。
相机的内部参数和外部参数可以使用张正友的相机标定方法计算，在本实施例中，从不同角度捕获了大约20张12×9的棋盘格图像来计算这些参数。这些棋盘格图像的一部分如图5所示，图5为用于相机校准的9个12×9棋盘图像样本，其中每个小正方形的边长为6mm，如果比例因子Zc是已知的情况下，裂纹可以从像素坐标系下的像素尺寸直接计算转换到世界坐标系下的实际尺寸，转换公式(9)所示：
Figure BDA0003583089950000081
其中，光场控制的步骤具体如下：
图像采集质量对真实条件下噪声和光照的变化非常敏感。尤其对于高反光材料，如金属，陶瓷等，会产生不期望的高光和反光，从而极大地影响检测精度。为避免此问题，本发明引入蓝色圆顶光源用于金属表面缺陷检测的照明控制。圆顶光源具有良好的抑制反射性能，适合对金属和有光泽的材料进行检测。圆顶光源上LED灯珠发出的光在半球壁中多次反射，形成均匀的漫射光场，如，图6所示，图6为圆顶光源照明示意图，另外，蓝色光源的波长在430-480nm之间，在可见光谱中是一个相对具有高能量的光。在同等功率的情况下，蓝光对被检工件表面的缺陷有较强的显示能力，可以用来对银色背景产品进行缺陷的识别和检测，如金属板、机加工零件和薄膜上喷涂的金属品。因此，本发明建立了包含蓝色圆顶光源的光场照明系统，并可以通过光源控制器控制光的强度。
其中，图7为缺陷金属齿轮的RGB图像和相应的灰度图像对比效果图，显示了在黑色工作台背景下，缺陷金属齿轮的RGB图像和相应的灰度图像分别在环境光、白色环形光源和蓝色圆顶光源下的对比。在环境光和环形光源下，齿轮表面会产生大量的高光。相比之下，蓝色圆顶光源产生非常均匀的漫射光，能够有效地抑制高光。裂纹和腐蚀等缺陷在蓝色圆顶光源下和无缺陷区域的对比更加明显，有利于进行缺陷检测。
其中，图7中(a)环境光、(b)环形光、(c)蓝色圆顶光源下RGB图像和(d)环境光、(e)环形光、(f)蓝色圆顶光源下灰度图像对比。
此外，照明控制系统最大限度地提高了目标和背景之间的差异，因此与其中，图7(d)和其中，图7(f)相比，本光照系统产生了更清晰、更锐利的图像。在灰度图像中良好的对比度将大大降低后续图像处理和裂纹识别的难度和复杂度。
其中，图像预处理的步骤具体如下：
使用工业相机在具有蓝色圆顶光源的光场环境下采集图像。由于缺陷区域与工件其他区域之间存在显著的灰度差异，因此应用ROI提取、图像增强、图像去噪等图像预处理技术可以对金属表面上缺陷的大致位置进行定位。
ROI提取：使用固定大小方形边界框(512×512像素)从具有高分辨率的原始图像中手动标记和裁剪包含裂纹的子图像。ROI提取的好处之一是放大了子图像中裂纹的信噪比(SNR)，从而避免了小缺陷在原始图像中被视为噪声。此外，还可以提高裂纹识别算法的性能，加快计算机的计算速度。
图像增强：调整像素的灰度级以增加子图像的强度对比度。给定输入图像的阈值范围[lowin,highin]和输出图像的阈值范围[lowout,highout]，当灰度值不在给定的阈值范围内时，像素被替换为lowout或highout，灰度值在阈值内的像素根据公式映射到新的阈值范围[lowout,highout]。(10)式中，s为输出灰度值，r为输入灰度值，γ为映射参数。
Figure BDA0003583089950000091
图像去噪：为了进一步去除经过ROI提取后子图像中的噪声，使用双边滤波器对其进行去噪，因为双边滤波可以在平滑图像的同时保留重要边缘信息，并且裂纹形态可以在图像中更加突出。
其中，裂纹提取的步骤具体如下：
常见的裂纹提取方法都是基于边缘线的提取，但在实际应用中由于噪声边缘较多导致其性能不佳。而且基于边缘线的提取对裂纹的尺寸进行正确测量是困难的，如当检测到的目标边界线与裂纹边缘线相连接时。此外，从几何角度看，裂纹应该是一个狭长的区域，而不是单个像素组成的边缘线。因此本发明开发了一种基于形态学的方法来提取裂纹。
首先，构造元素B，一个局部原点的邻域，用于图像的形态变换，如图8所示，图8为典型结构元素示例图。
其次，应用膨胀变换X⊕B。X是图像中的像素点集。通过对这两个集合中的元素利用式(11)进行向量加法完成膨胀变换得到新的结果集合。
Figure BDA0003583089950000092
第三，应用腐蚀变换
Figure BDA0003583089950000093
该变换对两个集合中的元素进行由式(12)定义的向量减法得到新的结果集合。
Figure BDA0003583089950000104
先膨胀后腐蚀是一种重要的形态变换，称为闭运算，用于填充小的空隙和狭窄的间隙，同时使物体的边缘更平滑。它被定义为
Figure BDA0003583089950000101
最后，可以通过从初始图像像素点集X中减去闭运算的结果来确定裂纹区域，直观的如图9所示，图9为使用形态变换的裂纹提取过程示意图。
其中，裂纹测量的步骤具体如下：
利用上一步中获得的子图像中的裂纹像素点集，对裂纹的几何属性进行提取和测量。采用自适应最小边界框法用于提取裂纹的长度和宽度几何特征，裂纹的长度和宽度特征由边界框的长度和宽度值定义，如，图10所示，图10为提取的裂纹的最小边界框示意图。
首先在像素坐标系下获得边界框的顶点坐标并计算出相应的像素长度和像素宽度。然后，通过将标定计算得到的参数以及边界框顶点坐标分别代入式(9)，得到在世界坐标系中裂纹的真实尺寸(mm)。
实施例2
下面将结合本发明实施例中的附图对技术方案进行清楚、完整地描述
为了验证所提出的方法，进行了两个实施例来验证所提出的裂纹识别方法的性能。第一个案例是在具有6个裂纹状图案的铝合金板上进行的，第二个案例是在一个真正有缺陷的金属齿轮上进行的。
案例测试环境
实验装置如图11所示，图11为裂纹识别实验装置示意图，使用工业相机捕捉高分辨率图像，工业相机的型号为(acA2440-20gc-Basler ace)，使用光源控制器控制光照强度。配备
Figure BDA0003583089950000105
i5处理器、12GB RAM的笔记本电脑用于图像处理，/>
Figure BDA0003583089950000103
用于信号处理。
使用张正友的相机标定方法，Ginternal计算结果如下：
Figure BDA0003583089950000102
Zc在本实验中被设置为214.6904，Gexternal计算结果如下：
Figure BDA0003583089950000111
铝合金板表面裂纹识别测试：通过线切割人工创建了具有六个裂纹的铝合金板(132×80mm)用提出的方法进行缺陷检测，用于验证提出方法的性能。图12是本案例中用到的缺陷铝合金板，图12为包含六个裂纹的铝合金板，表1列出了六个裂纹的尺寸信息。裂纹#1-3和#4-6的线宽分别为0.3mm和0.4mm，是典型的微裂纹缺陷。
表1铝合金板裂纹大小
Figure BDA0003583089950000112
如图13所示，图13为铝合金板表面裂纹识别流程图，在蓝色圆顶光源下的黑色工作台上捕获了高分辨率的铝合金板图像(2448×2048像素)。铝合金板表面无高光，而且铝合金板与工作台背景的对比清晰。之后对包括裂纹在内的缺陷大致位置进行定位。然后将图像转换为灰度模式，并使用512×512像素的边界框提取包含裂纹的子图像。提高了裂纹缺陷在图像的信噪比，保证了检测性能，同时减少了不必要的计算成本。随后进行图像增强、图像去噪和图像二值化，铝合金板上所有的细小裂缝都被成功地用边界框提取出来。最后准确测量出长宽的实际尺寸，如表2所示。
表2铝合金板表面裂纹测量结果
Figure BDA0003583089950000113
Figure BDA0003583089950000121
真实缺陷齿轮表面裂纹识别测试：一个真实的缺陷齿轮用本方法进行表面缺陷检测来验证方法的有效性。在具有蓝色圆顶光源的光照系统下用标定好的工业相机捕捉高分辨率图像并用本发明的检测方法进行处理，如，图14所示，图14为缺陷齿轮裂纹识别效果图，同时，表3给出了裂纹的测量值和实际尺寸的对比。因此本实施例的检测方法可以成功识别并测量齿轮齿根处的裂纹的几何属性。
表2缺陷齿轮裂纹实际值与测量值对比
Figure BDA0003583089950000122
结果分析：该方法可以有效提取并测量金属表面的裂纹缺陷，如铝合金板和缺陷齿轮。本发明在具有可控蓝色圆顶光源下的光照系统下通过工业相机获取高对比度和均匀的图像，并采用基于形态学的方法准确提取包含裂纹的像素。此外，通过图像变换和相机标定，可以准确获得裂纹的真实尺寸，例如高度和宽度。本发明方法测量的平均精度在1mm级别下接近97％，在0.1mm级别下平均精度达到90％，如图15所示，图15为不同裂纹缺陷测量值准确度示意图。对于宽度小至3mm的裂纹，测量精度最低可达82.43％，可以满足加工流水线金属产品缺陷检测和实际再制造场景的精度要求。
以上所述实施例仅是为充分说明本发明而所举的较佳的实施例，本发明的保护范围不限于此。本技术领域的技术人员本发明基础上所作的等同替代或变换，均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。

Claims (7)

1.基于机器视觉的金属表面裂纹检测及真实尺寸测量方法，其特征在于：包括以下步骤：
步骤1：图像变换：基于图像变换使用标准标定板对相机内外参数进行标定，建立世界坐标系和像素坐标系之间的关系；
步骤2：光场控制：建立能产生均匀漫射光的光源的可控成像系统；
步骤3：图像预处理：利用图像预处理技术获取具有裂缝区域的目标图像；
步骤4：裂纹提取：从目标图像中的背景中提取裂纹；
步骤5：裂纹测量：通过自适应边界框对裂纹进行定位，基于图像转换关系准确测量裂纹的实际尺寸；
所述图像预处理的步骤如下：
采集工件原始图像；
ROI提取：使用方形边界框从原始图像中标记和裁剪包含裂纹的子图像；
图像增强：调整像素的灰度级，确定输入图像的阈值范围[lowin,highin]和输出图像的阈值范围[lowout,highout]，当灰度值不在给定的阈值范围内时，像素被替换为lowout或highout，当灰度值在阈值内时，像素根据以下公式映射到新的阈值范围[lowout,highout]；
Figure FDA0004279663730000011
式中，s为输出灰度值，r为输入灰度值，γ为映射参数；
lowin,表示输入图像阈值下限；highin表示输入图像阈值上限；
lowout表示输出图像阈值下限；highout表示输出图像阈值上限；
图像去噪：使用双边滤波器对增强后的图像进行去噪；
所述裂纹提取的步骤具体如下：
构造元素B：所述元素B是包括局部原点的邻域；
应用膨胀变换X⊕B：X是图像中的像素点集，根据以下公式进行向量加法完成膨胀变换得到新的结果集合：
Figure FDA0004279663730000012
其中，p表示图像中的每个点；ε表示图像空间；b表示变换向量；x表示原图像中的每个点；
应用腐蚀变换
Figure FDA0004279663730000021
按照以下公式通过向量减法得到新的结果集合：
Figure FDA0004279663730000022
通过从初始图像像素点集X中减去腐蚀变换后的结果集合来确定裂纹区域。
2.如权利要求1所述的基于机器视觉的金属表面裂纹检测及真实尺寸测量方法，其特征在于：所述可控成像系统用于生成具有均匀蓝色光场的圆顶光源的光场照明系统，蓝色光源的波长在430-480nm之间。
3.如权利要求1所述的基于机器视觉的金属表面裂纹检测及真实尺寸测量方法，其特征在于：所述裂纹测量的步骤具体如下：
获取图像中的裂纹像素点集，提取裂纹像素点集中裂纹的几何属性；采用自适应最小边界框法用于提取裂纹的长度和宽度几何特征，所述裂纹的长度和宽度特征由边界框的长度和宽度值定义。
4.如权利要求3所述的基于机器视觉的金属表面裂纹检测及真实尺寸测量方法，其特征在于：所述裂纹测量还包括以下步骤：
在像素坐标系下获得边界框的顶点坐标并计算出相应的像素长度和像素宽度；
通过将标定计算得到的参数以及边界框顶点坐标，得到在世界坐标系中裂纹的真实尺寸。
5.基于机器视觉的金属表面裂纹检测及真实尺寸测量系统，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于：所述处理器执行所述程序时实现权利要求1-4中任一项所述的方法的步骤。
6.如权利要求5所述的基于机器视觉的金属表面裂纹检测及真实尺寸测量系统，其特征在于：所述可控成像系统包括相机、光源、圆顶球形罩、光源控制器和处理器；所述相机设置于圆顶球形兆顶部，所述光源设置于圆顶球形罩顶部用于向圆顶球形罩内部空间发射均匀光线，在圆顶球形罩内部空间形成均匀光场；所述光源控制器与光源连接用于控制光源的工作状态，所述处理器与相机和光源控制器连接。
7.如权利要求5所述的基于机器视觉的金属表面裂纹检测及真实尺寸测量系统，其特征在于：所述光源为蓝色光源，所述蓝色光源的波长在430-480nm之间。
CN202210356342.1A 2022-04-06 2022-04-06 基于机器视觉的金属表面裂纹检测及真实尺寸测量方法及系统 Active CN114719749B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210356342.1A CN114719749B (zh) 2022-04-06 2022-04-06 基于机器视觉的金属表面裂纹检测及真实尺寸测量方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210356342.1A CN114719749B (zh) 2022-04-06 2022-04-06 基于机器视觉的金属表面裂纹检测及真实尺寸测量方法及系统

Publications (2)

Publication Number Publication Date
CN114719749A CN114719749A (zh) 2022-07-08
CN114719749B true CN114719749B (zh) 2023-07-14

Family

ID=82242918

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210356342.1A Active CN114719749B (zh) 2022-04-06 2022-04-06 基于机器视觉的金属表面裂纹检测及真实尺寸测量方法及系统

Country Status (1)

Country Link
CN (1) CN114719749B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115830118B (zh) * 2022-12-08 2024-03-19 重庆市信息通信咨询设计院有限公司 一种基于双目相机的水泥电杆的裂纹检测方法和系统
CN115830021B (zh) * 2023-02-15 2023-04-21 东莞市新通电子设备有限公司 一种用于五金件加工的金属表面缺陷检测方法
CN116465315A (zh) * 2023-04-06 2023-07-21 浙江迈沐智能科技有限公司 一种网版质量自动化检测方法及系统

Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009029051A1 (en) * 2007-08-24 2009-03-05 Stratech Systems Limited Runway surveillance system and method
JP2011203950A (ja) * 2010-03-25 2011-10-13 Glocal-Food:Kk 調理作業時間を配分する調理支援システム
CN102565072A (zh) * 2011-12-30 2012-07-11 重庆大学 拉伸铝合金板表面裂纹立体视觉在线检测方法
CN103872983A (zh) * 2014-04-04 2014-06-18 天津市鑫鼎源科技发展有限公司 太阳能电池表面缺陷检测设备及方法
WO2016112018A1 (en) * 2015-01-06 2016-07-14 Sikorsky Aircraft Corporation Structural masking for progressive health monitoring
CN107179322A (zh) * 2017-06-15 2017-09-19 长安大学 一种基于双目视觉的桥梁底面裂缝检测方法
CN107490582A (zh) * 2017-09-20 2017-12-19 深圳市晟达机械设计有限公司 一种流水线工件检测系统
CN109190628A (zh) * 2018-08-15 2019-01-11 东北大学 一种基于机器视觉的板材镰刀弯检测方法
CN109991885A (zh) * 2019-05-08 2019-07-09 广东博智林机器人有限公司 烹饪器具的控制通信系统
CN110189375A (zh) * 2019-06-26 2019-08-30 中国科学院光电技术研究所 一种基于单目视觉测量的图像目标识别方法
CN110687122A (zh) * 2019-09-19 2020-01-14 湖北三江航天万峰科技发展有限公司 一种陶瓦表面裂纹检测方法及系统
CN110866569A (zh) * 2019-10-31 2020-03-06 珠海优特智厨科技有限公司 数字菜谱的执行方法、装置、智能烹饪设备及存储介质
CN111145161A (zh) * 2019-12-28 2020-05-12 北京工业大学 一种路面裂缝数字图像处理和识别的方法
CN111310558A (zh) * 2019-12-28 2020-06-19 北京工业大学 一种基于深度学习和图像处理法的路面病害智能提取方法
CN111722547A (zh) * 2020-07-16 2020-09-29 宁波方太厨具有限公司 烹饪设备及其控制方法、存储介质
KR20210003661A (ko) * 2019-07-02 2021-01-12 주식회사 마키나락스 패널의 이미지를 이용하여 패널의 결함을 검출하는 방법 및 시스템
CN112308832A (zh) * 2020-10-29 2021-02-02 常熟理工学院 一种基于机器视觉的轴承质量检测方法
CN112727705A (zh) * 2020-12-23 2021-04-30 蚌埠学院 风力发电机组桨叶监测探伤方法
CN113066072A (zh) * 2021-04-08 2021-07-02 南昌航空大学 一种航空发动机导向叶片微裂纹缺陷检测方法及系统
CN113744270A (zh) * 2021-11-05 2021-12-03 南京市特种设备安全监督检验研究院 起重机复杂钢结构表面缺陷的无人机视觉检测与识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9036861B2 (en) * 2010-04-22 2015-05-19 The University Of North Carolina At Charlotte Method and system for remotely inspecting bridges and other structures

Patent Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009029051A1 (en) * 2007-08-24 2009-03-05 Stratech Systems Limited Runway surveillance system and method
JP2011203950A (ja) * 2010-03-25 2011-10-13 Glocal-Food:Kk 調理作業時間を配分する調理支援システム
CN102565072A (zh) * 2011-12-30 2012-07-11 重庆大学 拉伸铝合金板表面裂纹立体视觉在线检测方法
CN103872983A (zh) * 2014-04-04 2014-06-18 天津市鑫鼎源科技发展有限公司 太阳能电池表面缺陷检测设备及方法
WO2016112018A1 (en) * 2015-01-06 2016-07-14 Sikorsky Aircraft Corporation Structural masking for progressive health monitoring
CN107179322A (zh) * 2017-06-15 2017-09-19 长安大学 一种基于双目视觉的桥梁底面裂缝检测方法
CN107490582A (zh) * 2017-09-20 2017-12-19 深圳市晟达机械设计有限公司 一种流水线工件检测系统
CN109190628A (zh) * 2018-08-15 2019-01-11 东北大学 一种基于机器视觉的板材镰刀弯检测方法
CN109991885A (zh) * 2019-05-08 2019-07-09 广东博智林机器人有限公司 烹饪器具的控制通信系统
CN110189375A (zh) * 2019-06-26 2019-08-30 中国科学院光电技术研究所 一种基于单目视觉测量的图像目标识别方法
KR20210003661A (ko) * 2019-07-02 2021-01-12 주식회사 마키나락스 패널의 이미지를 이용하여 패널의 결함을 검출하는 방법 및 시스템
CN110687122A (zh) * 2019-09-19 2020-01-14 湖北三江航天万峰科技发展有限公司 一种陶瓦表面裂纹检测方法及系统
CN110866569A (zh) * 2019-10-31 2020-03-06 珠海优特智厨科技有限公司 数字菜谱的执行方法、装置、智能烹饪设备及存储介质
CN111145161A (zh) * 2019-12-28 2020-05-12 北京工业大学 一种路面裂缝数字图像处理和识别的方法
CN111310558A (zh) * 2019-12-28 2020-06-19 北京工业大学 一种基于深度学习和图像处理法的路面病害智能提取方法
CN111722547A (zh) * 2020-07-16 2020-09-29 宁波方太厨具有限公司 烹饪设备及其控制方法、存储介质
CN112308832A (zh) * 2020-10-29 2021-02-02 常熟理工学院 一种基于机器视觉的轴承质量检测方法
CN112727705A (zh) * 2020-12-23 2021-04-30 蚌埠学院 风力发电机组桨叶监测探伤方法
CN113066072A (zh) * 2021-04-08 2021-07-02 南昌航空大学 一种航空发动机导向叶片微裂纹缺陷检测方法及系统
CN113744270A (zh) * 2021-11-05 2021-12-03 南京市特种设备安全监督检验研究院 起重机复杂钢结构表面缺陷的无人机视觉检测与识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于改进高低帽变换的钢轨裂纹红外图像增强;顾桂梅;刘丽;;激光与红外(第01期);全文 *
拉深件缺陷在线检测系统设计;徐信;肖小亭;温锡昌;谢家静;;锻压技术(第07期);全文 *

Also Published As

Publication number Publication date
CN114719749A (zh) 2022-07-08

Similar Documents

Publication Publication Date Title
CN114719749B (zh) 基于机器视觉的金属表面裂纹检测及真实尺寸测量方法及系统
US8238635B2 (en) Method and system for identifying defects in radiographic image data corresponding to a scanned object
CN108846397B (zh) 一种基于图像处理的电缆半导电层自动检测方法
CN109118471A (zh) 一种适用于复杂环境下的打磨工件缺陷检测方法
CN111539927B (zh) 汽车塑料组合件紧固卡扣缺装检测装置的检测方法
JP2009097922A (ja) 外観検査方法及び外観検査装置
EP2605213B1 (en) Method and system for processing images for inspection of an object
CN110189375A (zh) 一种基于单目视觉测量的图像目标识别方法
CN113222937A (zh) 一种核燃料芯块外观周面缺陷的检测方法及检测装置
CN112927223A (zh) 一种基于红外热成像仪的玻璃幕墙检测方法
CN111879789A (zh) 金属表面缺陷检测方法及系统
CN115775236A (zh) 基于多尺度特征融合的表面微小缺陷视觉检测方法及系统
CN110426395B (zh) 一种太阳能el电池硅片表面检测方法及装置
CN112858351A (zh) 一种基于机器视觉的x射线无损探伤方法
CN116678826A (zh) 一种基于快速立体重建的外观缺陷检测系统及方法
Peng et al. Non-uniform illumination image enhancement for surface damage detection of wind turbine blades
CN109785290A (zh) 基于局部光照归一化的钢板缺陷检测方法
CN113705564A (zh) 一种指针式仪表识别读数方法
Lee et al. Development of an On-Machine External Thread Measurement System for CNC Lathes Using Eye-in-Hand Machine Vision with Morphology Technology.
TW200842339A (en) Mura detection method and system
CN114926675A (zh) 外壳污损缺陷检测方法、装置、计算机设备及存储介质
CN113870328A (zh) 一种液体异物视觉检测方法及系统
CN117495846B (zh) 图像检测方法、装置、电子设备及存储介质
Yi et al. The method of thread defect detection based on machine vision
Wang et al. Method for detecting internal cracks in joints of composite metal materials based on dual-channel feature fusion

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant