CN108776964A - 一种基于Adaboost及Haar特征的船舶焊缝缺陷图像检测系统及方法 - Google Patents

Abstract

本发明公开了一种基于Adaboost及Haar特征的船舶焊缝缺陷图像检测系统就方法，系统包括图像采集单元、数据传输单元、以及计算机；图像采集单元包括CCD摄像机和图像采集卡，图像采集卡设置在计算机内；数据传输单元用于CCD摄像机和计算机之间的数据传输；计算机内配置有焊缝检测单元，包括图像预处理模块、焊缝缺陷检测模块以及焊缝缺陷识别模块，用于对采集图像的焊缝缺陷检测。本发明针对焊缝图像特向，构建相应的点、线等Haar特征模板，借助Haar特征的抗光照、旋转等性质，对船舶缝隙特征进行提取。在特征的训练及融合方法上，选择Adaboost方法对提取到Haar特征进行训练及融合，在满足检测精度的基础上，加快了计算速度，通过积分图的引入，使得本方法具有好的实时性。

Description

一种基于Adaboost及Haar特征的船舶焊缝缺陷图像检测系统 及方法

技术领域

本发明属于图像处理技术领域，具体涉及一种基于Adaboost及Haar特征的船舶焊缝缺陷图像检测系统及方法。

背景技术

船舶焊缝是指在船体焊接过程中，由于焊接特点所形成的焊接缺陷。熔化焊接时，被焊金属在热源作用下被加热，发生局部熔化，同时熔化了的金属、熔渣、气相之间进行着一系列影响焊缝金属的成分、组织和性能的化学冶金反应，随着热源的离开，熔化金属开始结晶，由液态转为固态，形成焊缝。船体焊接过程中，受到内外部因素的影响，可能会出现各种质量缺陷，包括裂纹、夹渣和未焊透等。

船舶焊接检验一般分为破坏性检验和非破坏性检验。对于船体内部的焊缝检查工作，通常使用射线探伤以及超声波检测等方式。而射线探伤作为无损检测方式，具有应用方便、可靠性高等优点，但射线探伤检测的极限厚度与材料密度有关，且射线检测焊缝原始图像具有灰度值区间比较窄、缺陷边缘模糊、图像噪声多等缺陷。超声波检测通过传感器高频声脉冲在试件材料中传播，遇交界面反射。多用于声音传播性和表面粗糙度较好,形状不复杂的材料，但无法永久记录，需要其他检测材料配合，材质表面不平时会影响检测结构。与上述方法相比，基于图像的船舶焊缝检测具有更强的适用性，操作简单易行，无需人工监督，将使得检测过程更加客观化、科学化及规范化，且检测结果得以保障。

目前，在焊缝图像的缺陷检测定位上以有一些成果。如都东等提出自适应双阈值大模版中值滤波背景消除的焊缝缺陷预分割方法，来对动态的连续焊缝图像中的缺陷进行定位，该方法对连续焊缝图像有较好的处理效果，但对单幅焊缝图像的检测精度仍有所欠缺。张明星等提出多模板拟合的方式对焊缝图像中的缺陷进行定位，该方法较传统方法精度上有所提升，但最终的检测精度过于依赖模板的数量及选择。樊凌等人利用深度信息进行焊缝区域定位和分割，实验结果表明所采用的方法可以获得较好的鲁棒性和较高的识别率，但该方法依赖于Kinect设备提取缺陷图像深度信息，不具有普实性。

发明内容

为了解决上述技术问题，本发明提供了一种基于Adaboost及Haar特征的船舶焊缝检测系统及方法，提高焊缝检测准效率和精度。

本发明的系统所采用的技术方案是：一种基于Adaboost及Haar特征的船舶焊缝缺陷图像检测系统，其特征在于：包括图像采集单元、数据传输单元、以及计算机；

所述图像采集单元包括CCD摄像机和图像采集卡，所述图像采集卡设置在所述计算机内；

所述数据传输单元用于所述CCD摄像机和所述计算机之间的数据传输；

所述计算机内配置有焊缝检测单元，所述焊缝检测单元包括图像预处理模块、焊缝缺陷检测模块以及焊缝缺陷识别模块，用于对采集图像的焊缝缺陷检测。

本发明的方法所采用的技术方案是：一种基于Adaboost及Haar特征的船舶焊缝缺陷图像检测方法，其特征在于，包括以下步骤：

步骤1：利用CCD摄像机(1)和图像采集卡(2)采集船舶焊缝图像，将数字化后的图像存入计算机内；

步骤2：图像预处理，获取二值图像；

步骤3：二值图像Haar特征提取；

步骤4：Adaboost分类器检测；

通过已知焊缝缺项样本对Adaboost分类器进行构建，所得强分类器给出两个离散结果，即0和1，0表示检测到缝隙，1表示为非缝隙；将步骤3中获得的Haar特征作为强分类器输入输入至Adaboost分类器，根据所得结果对焊缝进行检测。

本发明的有益效果为：本发明利用CCD摄像机以及图像采集卡采集焊缝图像数据，利用USB总线将数据传回至PC端，通过正负样本的构建，建立样本Haar特征库，采用Adaboost算法对Haar特征进行级联，构建基于Haar特征的船舶焊缝检测器，使用积分图对待检测图像进行多尺度Haar特征提取，通过检测器对提取到的特征进行检测，完成对船舶焊缝的检测。

附图说明

图1为本发明实施例的系统结构示意图；

图2为本发明实施例的方法流程图；

图3为本发明实施例的Haar结构示意图；

图4为本发明实施例的Adaboost训练过程图；

图5为本发明实施例的正负训练样本示意图；

图6为本发明实施例的积分图计算方式示意图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

请见图1，本发明提供的一种基于Adaboost及Haar特征的船舶焊缝缺陷图像检测系统，包括图像采集单元、数据传输单元、以及计算机；图像采集单元包括CCD摄像机1和图像采集卡2，图像采集卡2采用PCI总线5作为数据存取通道，安装于计算机内；数据传输单元用于CCD摄像机1和计算机之间的数据传输，数据传输单元由USB总线4构成，数据经由USB总线4传输至计算机内；计算机内配置有焊缝检测单元3，焊缝检测单元3包括图像预处理模块、焊缝缺陷检测模块以及焊缝缺陷识别模块，用于对采集图像的焊缝缺陷检测。

本实施例的采集卡采用嘉恒图像的OK_VGA41A图像采集卡，该采集卡可采集高分辨的DVI/HDMI/RGB分量式图像信号，最大传输速度达480MByte/s。CCD相机采用DO3THINK的YS510相机，该摄像机感光尺寸为2/3，分辨率为1360*1024，像素数量为1.4MP，其像素规格满足系统所需要求。总线采用采用PCI Express X4总线作为数据存取通道。

请见图2，本发明提供的一种基于Adaboost及Haar特征的船舶焊缝缺陷图像检测方法，包括以下步骤：

步骤1：利用CCD摄像机1和图像采集卡2采集船舶焊缝图像，将数字化后的图像存入计算机内；

本实施例将CCD摄像机1对准船舶焊接区域，使用图像采集卡对区域图像进行截取保存，将采集到的图像通过PCI Express X4总线传输至计算机端。

步骤2：图像预处理，获取二值图像；

使用中值滤波方法对图像进行去噪，消除图像内噪声以及梯度值超过100的背景边缘；使用OTSU方法对图像进行二值化处理，将图像由彩色图像转为二值图像。

1)中值滤波去噪

采集到的图像存在一定的噪声干扰，使用中值滤波方法对图像进行去噪处理。中值滤波核心思想是对区域内的像素值进行排序，将排序后序列的中值代替该像素的值。本实施例中，滤波窗口采用3*3大小，以实际实施过程对中值滤波进行说明。

使用3*3窗口对图像进行卷积处理，在卷积过程中，每一个窗口所得值呈3*3矩阵形式，共9个像素值，存储值pixel[9]数组中。对pixel数组进行排序处理，取排序后序列中第5个像素值，即pixel(4)作为替代为模板所处位置像素值。当模板遍历整幅图像后，即完成了中值滤波去噪过程。

2)OTSU二值化

采用OTSU方法对图像进行二值化操作，将图像由灰度图像转为二值图像。OTSU方法核心思想在于寻找到分类阈值，使得背景和前景之间的类间方差最大。其具体实施方式如下。

设T为二值化阈值，像素值小于T的记为前景，大于等于T的记为背景，像素总数为N。其中前景点数量占图像总数的比例为w₀,前景平均灰度值为u₀；背景点数量占图像比例w₁，背景平均灰度u₁；图像整体平均灰度值为u、前景和背景像素的方差和g可表示为：

u＝w₀×u₀+w₁×u₁

g＝w₀×(u₀-u)²+w₁×(u₁-u)²

联立上述公式可得：

对T进行遍历取值，一直到所取T值后所得的g值，即类间差最大，则该阈值T即为所求阈值。根据阈值T遍历图像进行二值化处理。

步骤3：二值图像Haar特征提取；

针对焊缝二值图像特征，构建10种Haar特征模板，包括边缘特征模板、线性特征模板以及对角特征模板，通过积分图方法，对焊缝二值图像Haar特征进行提取。

在具体实施中，一共构建了10类Haar特征模板，其结构如图3所示。结合实例中，对Haar特征值的计算方式说明如下：

取4*4大小Haar特征模板，其中白色区域大小4*2，黑色区域大小4*2。在实际图像中覆盖该模板，则Haar特征值为黑色区域像素值之和减去白色区域像素值之和，可表达为：

v＝Sum(黑)-Sum(白)

步骤4：Adaboost分类器检测；

通过已知焊缝缺项样本对Adaboost分类器进行构建，所得强分类器给出两个离散结果，即0和1，0表示检测到缝隙，1表示为非缝隙；将步骤3中获得的Haar特征作为强分类器输入输入至Adaboost分类器，根据所得结果对焊缝进行检测。

步骤4的具体实现包括以下子步骤：

步骤4.1：选取若干张(本实施例取100张)焊缝缺陷图像，提取裂纹缺陷若干个(本实施例取141个)，链状气孔若干个(本实施例取76个)，气孔缺陷若干个(本实施例取61个)，夹杂缺陷若干个(本实施例取37个)，未融合缺陷若干个(本实施例取19个)，以上缺陷特征图像作为样本集；

步骤4.2：将每一个训练样本归一化至N*N(本实施例取24*24)大小，并通过图像预处理的方式消除其噪声及明暗度的影响；

步骤4.3：通过积分图的方式计算预处理后的图像Haar特征值；初始化Adaboost权值，以100轮为训练终止轮次，在迭代计算中，以最小误差率为目标，调整正负焊缝样本权重，获取最终强分类器；

步骤4.4：遍历待检测图像，计算图像像素中每一点积分值，通过积分值计算Haar特征值，将Haar特征计算结果作为强分类器输入，由输出结果判断区域是否为船舶焊缝。

其中有两个步骤，分别为分类器的训练及分类器的检测，分别结合实例进行如下说明：

1)分类器训练

分类器训练过程如图4所示。在图像所得Haar特征中，每一个haar特征可视为一个弱分类器，其定义如下：

其中，h(x)表示简单分类器的值，其中1表示为焊缝，0表示非焊缝；θ对应分类器的阀值，p做为符号因子表示不等号的方向，取值为-1或+1，如果正样本被分类在阈值以下，p取+1，否则p取-1，x表示一个待检子窗口，f(x)表示特征值计算函数。

将焊缝缺陷图像样本193个作为训练集，标记为正样本；取无焊缝缺陷样本200个作为负样本，如图5所示。分别标记检测值：y_i∈Y＝{-1,+1}，其中，-1和1分别表示负样本和正样本。初始化权值：

取训练轮次100轮，将弱学习算法在权值D_t下训练，得到弱分类器：h_t:X→[-1,+1]。计算该弱分类器在权值D_t下的错误率：

根据上述错误率更新权值：

100轮训练完毕，最终的强分类器为：

对于强分类器进行权值归一化

最终的强分类器是由T轮训练所得的T个弱分类器合并而成，其中每一个弱分类器都是当前轮次中检测效果最好的一个Haar特征。强分类器给出两个离散的结果，即0和1，0表示检测到缝隙，1表示为非缝隙。

2)焊缝缺陷检测

对于待检测图像，通过积分图方法建立不同尺度下Haar特征模板值，将模板值输入至强分类器H(x)，强分类器给出两个离散的结果，即0和1，0表示检测到缝隙，1表示为非缝隙。结合实例说明如下：

积分图计算方式如图6所示。图6中，点1的积分特征值为：

则阴影区域D的区域像素点之和为：

S_d＝ii₄+ii₁-ii₂-ii₃

只需遍历一次图像，即可得到所有像素点的积分值，对数个像素点积分值进行简单的加减运算，即可求取任意矩形的特征值。通过积分图的方式计算Haar特征值，将极大减少Haar特征的计算效率。

遍历图像后，通过积分图计算不同尺度下的图像Haar特征值，将该特征值输入分类器，根据分类器输出结果对焊缝进行检测。

本发明针对船舶焊缝特点，采用CCD摄像头结合图像采集卡的形式，采集船舶焊缝图像信息。针对焊缝图像特向，构建相应的点、线等Haar特征模板，借助Haar特征的抗光照、旋转等性质，对船舶缝隙特征进行了较好的提取。在特征的训练及融合方法上，选择Adaboost方法对提取到Haar特征进行训练及融合，在满足检测精度的基础上，加快了计算速度，并通过积分图的引入，使得本文方法具有较好的实时性。

应当理解的是，本说明书未详细阐述的部分均属于现有技术。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (7)

1.一种基于Adaboost及Haar特征的船舶焊缝缺陷图像检测系统，其特征在于：包括图像采集单元、数据传输单元、以及计算机；

所述图像采集单元包括CCD摄像机(1)和图像采集卡(2)，所述图像采集卡(2)设置在所述计算机内；

所述数据传输单元用于所述CCD摄像机(1)和所述计算机之间的数据传输；

所述计算机内配置有焊缝检测单元(3)，所述焊缝检测单元(3)包括图像预处理模块、焊缝缺陷检测模块以及焊缝缺陷识别模块，用于对采集图像的焊缝缺陷检测。

2.根据权利要求1所述的基于Adaboost及Haar特征的船舶焊缝缺陷图像检测系统，其特征在于：所述图像采集卡(2)采用PCI总线(5)作为数据存取通道，安装于所述计算机内。

3.根据权利要求1所述的基于Adaboost及Haar特征的船舶焊缝缺陷图像检测系统，其特征在于：所述数据传输单元由USB总线(4)构成，数据经由USB总线(4)传输至所述计算机内。

4.一种基于Adaboost及Haar特征的船舶焊缝缺陷图像检测方法，其特征在于，包括以下步骤：

步骤1：利用CCD摄像机(1)和图像采集卡(2)采集船舶焊缝图像，将数字化后的图像存入计算机内；

步骤2：图像预处理，获取二值图像；

步骤3：二值图像Haar特征提取；

步骤4：Adaboost分类器检测；

通过已知焊缝缺项样本对Adaboost分类器进行构建，所得强分类器给出两个离散结果，即0和1，0表示检测到缝隙，1表示为非缝隙；将步骤3中获得的Haar特征作为强分类器输入输入至Adaboost分类器，根据所得结果对焊缝进行检测。

5.根据权利要求4所述的基于Adaboost及Haar特征的船舶焊缝缺陷图像检测方法，其特征在于，步骤2的具体实现过程是：使用中值滤波方法对图像进行去噪，消除图像内噪声以及梯度值超过100的背景边缘；使用OTSU方法对图像进行二值化处理，将图像由彩色图像转为二值图像。

6.根据权利要求4所述的基于Adaboost及Haar特征的船舶焊缝缺陷图像检测方法，其特征在于，步骤3的具体实现过程是：针对焊缝二值图像特征，构建10种Haar特征模板，包括边缘特征模板、线性特征模板以及对角特征模板，通过积分图方法，对焊缝二值图像Haar特征进行提取。

7.根据权利要求4-6任意一项所述的基于Adaboost及Haar特征的船舶焊缝缺陷图像检测方法，其特征在于，步骤4的具体实现包括以下子步骤：

步骤4.1：选取若干张焊缝缺陷图像，提取裂纹缺陷若干个，链状气孔若干个，气孔缺陷若干个，夹杂缺陷若干个，未融合缺陷若干个，以上缺陷特征图像作为样本集；

步骤4.2：将每一个训练样本归一化至N*N大小，并通过图像预处理的方式消除其噪声及明暗度的影响；其中N≤50；

步骤4.3：通过积分图的方式计算预处理后的图像Haar特征值；初始化Adaboost权值，以100轮为训练终止轮次，在迭代计算中，以最小误差率为目标，调整正负焊缝样本权重，获取最终强分类器；

步骤4.4：遍历待检测图像，计算图像像素中每一点积分值，通过积分值计算Haar特征值，将Haar特征计算结果作为强分类器输入，由输出结果判断区域是否为船舶焊缝。