CN108053402B - 一种缺陷图像分割方法 - Google Patents

Abstract

本发明涉及图像处理领域，更具体地，涉及一种缺陷图像分割方法。方法包括：对原始图像进行差分运算得到差分图像；对原始图像和差分图像进行处理得到两组数组信号；对两组数组信号进行归一化处理；利用独立分量分析进行解混，对归一化后的两组数组信号中的背景信号和缺陷目标特征信号进行分离，得到两个独立分量；将两个独立分量还原成矩阵形成两个分量图像；对每一个分量图像设置阈值进行阈值分割；将两个分量图像的分割结果进行融合得到缺陷分割图。本发明将原始图像和原始图像的差分图像分别利用独立分量分析的方法进行图像分割，再将两个图像分割结果进行融合，可以有效解决图像背景编号对分割的干扰，从而有效地将缺陷从图像中分割出来。

Description

一种缺陷图像分割方法

技术领域

本发明涉及图像处理领域，更具体地，涉及一种缺陷图像分割方法。

背景技术

在有色金属行业和钢铁行业，对板带材、铝箔的表面质量的要求越来越高，需要对表面进行实时的在线检测，这其中包含一些特殊用途的薄带材料，如密封包装料、管料等，需要对其内部存在的针孔缺陷进行全面准确的检测，避免由于误检和漏检对后续产品造成损失。基于光学图像的机器视觉检测技术是目前的主流检测方法，其检测的高效性和工作环境要求低的特点使得它正逐步取代人工检测。缺陷分割是缺陷图像分割作为缺陷检测系统的中级处理，在缺陷图像预处理和机器视觉高级分析两个阶段之间起到了关键的桥梁作用，属于基础和关键性技术。其目的是把图像分成各具特性的区域并把其中感兴趣的区域提取出来，把输入图像转化为分割图像，它对提取目标特征、目标识别与分类以及其后的高层处理等都非常重要。

传统的图像分割算法大致有三种：1)基于阈值的分割技术；2)基于边缘检测的图像分割；3)基于区域特征的图像分割技术。后续又发展出很多其它的方法，如基于小波变换技术、神经网络技术、Gabor滤波。

在这些传统的分割算法中，全局阈值分割算法最简单，运算速度最快，尤其当目标和背景之间拥有较好的对比度时，一般总能获得封闭的联通的一个或多个目标分割区域，尽管如此，阈值分割技术的缺点也很明显，最直接的问题就是阈值如何选取，特别是图像背景复杂且处于一个动态变化的过程时，阈值的选择变得无从下手，即便在一些理想的状态下可以选定最佳的阈值，也会因该方法仅考虑像素本身的灰度、忽略图像的空间相关性特征而极易受噪声的干扰。

边缘检测图像分割技术本质上依赖图像的不连续性，其缺点也比较明显，比如串行边缘检测分割技术存在起点选择和执行效率低下的问题，并行边缘检测的边界不连续性和非单像素性使得该方法在实际应用中如想取得理想的分割效果必须借助其它辅助手段或进行相应的后处理技术。

以区域增长和分裂合并为主要形式的区域特征图像分割技术考虑到了像素的空间相关或邻接特性，分别从像素和整体图像两个相反的出发点进行合并或分裂，最终得到分割结果。无论是从像素开始进行区域生长还是从整体图像开始进行区域分裂都可以有效克服孤立噪声点的干扰，获得理想的鲁棒性，但是该方法存在容易造成过度分割的问题.

其它方法，如基于小波变换技术，神经网络技术，Gabor滤波等的图像分割方法，被认为对噪声具有鲁棒性，然而这些方法普遍存在耗时较长，不适合实时性图像的处理。

发明内容

本发明为克服上述现有技术所述的至少一种缺陷(不足)，提供一种有效地将缺陷从图像中分割出来的缺陷图像分割方法。

为解决上述技术问题，本发明的技术方案如下：

一种缺陷图像分割方法，包括：

对原始图像进行差分运算得到差分图像；

对原始图像和差分图像进行处理得到两组数组信号；

对两组数组信号进行归一化处理；

利用独立分量分析进行解混，对归一化后的两组数组信号中的背景信号和缺陷目标特征信号进行分离，得到两个独立分量；

将两个独立分量还原成矩阵形成两个分量图像；

对每一个分量图像设置阈值进行阈值分割；

将两个分量图像的分割结果进行融合得到缺陷分割图。

本发明将原始图像和原始图像的差分图像分别利用独立分量分析的方法进行图像分割，再将两个图像分割结果进行融合，可以有效解决图像背景编号对分割的干扰，从而有效地将缺陷从图像中分割出来。

上述方案中，所述对原始图像和差分图像进行处理得到两组数组信号的具体为：

将原始图像和差分图像按行或列首尾相连得到两组数组X₁和X₂。

此方式通过按行或按列的方式对原始图像和差分图像进行拉伸，可以简单并快速地将每个图像矩阵转化成一个数组，这样就可以得到由原始图像和差分图像组成的两组信号。

上述方案中，对两组数组信号进行归一化处理的具体步骤包括：

设X₁和X₂分别为原始图像和差分图像所对应的数组信号，长度均为MN；

min₁＝min(X₁),max₁＝max(X₁)，X₁归一化后的数据为G₁，

min₂＝min(X₂),max₂＝max(X₂)，X₂归一化后的数据为G₂，

其中X₁(t)、X₂(t)分别表示t时刻观测到的信号。

上述方案中，利用独立分量分析进行解混，对归一化后的两组数组信号中的背景信号和缺陷目标特征信号进行分离，得到两个独立分量的具体步骤包括：

采用基于负熵的FastICA方法求解分离矩阵W，通过分离矩阵W计算独立分量。

此步骤中采用基于负熵的FastICA法(定点迭代算法，称为Fixed-Point算法)作为独立分量分析(ICA)的优化算法，其分离出来的信号更逼近源信号，更逼近源信号是相比于峰度，负熵在度量非高斯性上更稳定，不易受外点影响。而且由于采用逼近的牛顿算法，收敛较有保证，可证明它有三阶收敛速度，有利于提高整个算法的效率，迭代过程无需引入调节步长等人为设置的参数，因而更简单方便。

上述方案中，采用基于负熵的FastICA方法求解分离矩阵W，通过分离矩阵W计算独立分量的具体步骤包括：

求解分离矩阵W的具体步骤：

将数据

进行中心化和白化，其中G₁和G₂分别表示归一化后的两组数组信号，MN表示数组的长度：设数据G，其均值为

互相关矩阵为

相关矩阵的特征值对角阵为V，特征值对应的特征向量矩阵为U^T，白化数据为

取任意初始正交矩阵W＝[w₁,...,w_m]^T，逐个估计出分解向量w_i的方向，i＝1,2,...,m，m为待提取的独立分量的数目，取值为整数，具体数值跟信号源有关，即为信号源的独立分量数目。本专利中，信号源为图像数据，独立分量为缺陷目标和背景，所以m＝2。

(1)w_i(0),且||w_i(0)||＝1，令k＝0,

(2)计算

其中

E(·)可以对Z的各采样时刻值求均值来估计

(3)将w_i(k+1)归一化：

(4)如果w_i(k+1)^Tw_i(k)不接近于1，则令k＝k+1，回到

步骤(3)；否则迭代结束，输出最终的w_i(k+1)作为w_i

其中，负熵采用的近似表达式为J(y)∝{E[g(y)]-E[g(y)]}²，g(y)＝(1/a₁)logcosha₁y，

分别为函数g(y)的一阶导数和二阶导数；y是随机变量,y的方差为1，||w||₂也必须等于1。y的负熵为J(y),其中，1≤a₁≤2，通常取a₁＝1。

通过分离矩阵W＝[w₁,w₂,...,w_m]^T计算独立分量：

上述方案中，将两个独立分量还原成矩阵形成两个分量图像的具体为：

将两个独立分量进行归一化，将归一化的两个独立分量转化成M*N的矩阵，得到分量图像。

由于实际的独立分量分析的分解中，丰度有正有负，得到的分量值也有正有负，所以需要将所获得的独立分量进行归一化处理，再进行矩阵转化处理。

上述方案中，对每一个分量图像设置阈值进行阈值分割的具体步骤包括：

采用直方图分割方法对每个分量图像进行阈值分割，具体的，

f₁、f₂分别表示对分量图像A₁,A₂的分割结果，阈值分割函数如下:

其中，(i,j)表示空间位置，0标签表示背景像元，1标签代表目标像元，d表示预设阈值。

此步骤中采用直方图分割方法作为图像的目标分割算法，主要是因为目标特征图像已将背景信息和目标信息最大程度地分离了，其灰度直方图能够很好地表现背景和兴趣目标的分布，充分展示了背景和目标极强的可分度，加上背景和目标的亮度的对比度也很强，因此基于直方图分割方法的阈值也很好设定，基于实验可知，预设阈值的范围在(0.65,1)的实数范围内均可达到分类的目的，每个分量图像都能够突出目标，从而获得很好的分割结果图。

上述方案中，将两个分量图像的分割结果进行融合得到缺陷分割图的具体步骤包括：

设f_i(i，j)，i＝1，2分别表示两个分割结果，用f(i,j)表示对两个分割结果进行融合，若像素(i,j)是背景像元，记为f(i,j)＝0，若为目标则记为f(i,j)＝1。融合函数为：

上述方案中，所述方法还包括对缺陷分割图进行噪声消除，得到最终的缺陷分割图。所获得的缺陷分割图中存在由于噪音引起的异质点，加入噪声消除步骤可以去掉缺陷分割图像中的噪声。

上述方案中，所述噪声消除具体采用ISing模型进行噪声去除。为了去除那些由于噪音引起的异质点，并将同类像元的连在一块，本发明采用了ISing模型。

与现有技术相比，本发明技术方案的有益效果是：

本发明的缺陷图像分割方法能够充分利用图像信息，将原始图像和差分图像的信息融合起来，能够有效解决图像背景变化对分割的干扰问题，可以有效地将缺陷从图像中分割处理，在此基础上计算其特征可以用于板带材等表面缺陷检测系统，为板带材等表面缺陷检测系统提供重要的应用基础。

附图说明

图1为本发明一种缺陷图像分割方法具体实施例的流程图。

图2为本发明一种缺陷图像分割方法具体实施例的具体实施流程图。

图3为利用本发明的方法对金属带材表面缺陷图像进行缺陷分割的示意图。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；

为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；

对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

在本发明的描述中，需要理解的是，此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或隐含所指示的技术特征的数量。由此，限定的“第一”、“第二”的特征可以明示或隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以是通过中间媒介间接连接，可以说两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明的具体含义。

下面结合附图和实施例对本发明的技术方案做进一步的说明。

实施例1

如图1和2所示，为本发明一种缺陷图像分割方法具体实施例的流程图。参见图1和2所示，本具体实施例一种缺陷图像分割方法的具体步骤包括：

S101.对原始图像进行差分运算得到差分图像；具体地：

设原始图像的灰度图像为I,大小M×N,M为行，N为列，(i,j)表示空间位置，I(i,j)表示图像在空间位置(i,j)处的灰度值；

采用Prewitt微分算子对图像I进行水平和垂直方向的差分，得到差分图像D，图像大小为M×N，D(i,j)表示差分图像在(i,j)处的像素值。

S102.对原始图像和差分图像进行处理得到两组数组信号；

图像I按行或列首尾相连得到，比如按行首尾相连，即第二行的元素排在第一行后，第三行的元素接到第二行后，……,依次类推，得到长度为MN的数组X₁；同样差分图像D分别按行或列首位相接或按行首位相接，得到长度为MN的数组X₂，将这两个数组并在一起得到2维信号

用x(t)表示t时刻的观测到的信号，

设观测到的信号是各个源信号的瞬时线性混合，并且假设源信号之间是统计独立的，线性模型为：

x(t)＝As(t)+z(t) (1.1)

其中x＝(x₁,x₂,...,x_n)^T是n维观测信号矢量，表达式中忽略了t；A为未知的混合矩阵或称传递矩阵，s＝(s₁,s₂,...,s_m)^T为独立的m维(m≤n)未知的源信号矢量，z＝(z₁,z₂,...,z_n)^T为观测噪声矢量。ICA的基本问题是仅用混合的观测信号x_i(i＝1,2,...,n)的信息来估计混合矩阵A和独立成分s_i(i＝1,2,...,m)，即寻找一个分离矩阵W，通过线性变换，由观测信号恢复出相互独立的原信号s：

y＝Wx (1.2)

这里，y＝(y₁,y₂,...,y_m)^T为s的估计量，n是观测信号矢量的维度，m是未知的信号矢量的维度，即待提取的独立分量的数目。M和N是一幅图像的行数和列数，MN＝M*N，是该幅图像的像素个数。在本发明中有两个图像：原始图像和差分图像，这样一个观测信号向量是2维的，n＝2，总共观测到的样本容量(向量个数)是MN个；而恢复出的独立信号向量也是2维的，m＝2。

S103.对两组数组信号进行归一化处理；

min₁＝min(X₁),max₁＝max(X₁)，X₁归一化后的数据为G₁，

min₂＝min(X₂),max₂＝max(X₂)，X₂归一化后的数据为G₂，

S104.利用独立分量分析进行解混，对归一化后的两组数组信号中的背景信号和缺陷目标特征信号进行分离，得到两个独立分量；具体地，本具体实施例采用基于负熵的FastICA方法求解分离矩阵W，通过分离矩阵W计算独立分量。

S1041.求解分离矩阵W的具体步骤：

将数据

进行中心化和白化：设数据G，其均值为

互相关矩阵为

相关矩阵的特征值对角阵为V，特征值对应的特征向量矩阵为U^T，白化数据为

取任意初始正交矩阵W＝[w₁,...,w_m]^T，逐个估计出分解向量w_i的方向，i＝1,2,...,m

(1)w_i(0),且||w_i(0)||＝1，令k＝0,

(2)计算

其中

E(·)可以对Z的各采样时刻值求均值来估计

(3)将w_i(k+1)归一化：

(4)如果w_i(k+1)^Tw_i(k)不接近于1，则令k＝k+1，回到

步骤(3)；否则迭代结束，输出最终的w_i(k+1)作为w_i

其中，负熵采用的近似表达式为J(y)∝{E[g(y)]-E[g(y)]}²，g(y)＝(1/a₁)logcosha₁y，

分别为函数g(y)的一阶导数和二阶导数；y是随机变量,y的方差为1，||w||₂也必须等于1。y的负熵为J(y),其中，1≤a₁≤2，通常取a₁＝1。直观上，ICA模型估计的关键是非高斯性，峰度来度量随机变量的非高斯性，它的优点是计算简单，但在实际计算中，它的缺陷是对于外点相当敏感。负熵是一种更稳定的度量非高斯性的方法，但是它的计算较为复杂难以直接应用，所以必须用某些方法来逼近它。现有技术中有Hyvarinen给出了负熵的一个近似表达式(随机变量假设为零均值且具有单位方差)：J(y)∝{E[G(y)]-E[G(v)]}²。

S1042.通过分离矩阵W＝[w₁,w₂,...,w_m]^T计算独立分量：

图像数据在不同分解向量上进行投影，图像按感兴趣的方向(为分离数据中类别成份效果最好的方向)投影，在新的空间中数据的可分性增强，得到不同的独立成份。计算公式为：

在此步骤中，如当n＝2,m＝2，W为2×2矩阵，S为2×MN矩阵，

则S的每一行对应一个分量图像。

S105.将两个独立分量还原成矩阵形成两个分量图像；

由于实际ICA分解中，丰度有正有负，得到的分量值有正有负，所以将图像分量数据S归一化，即对S的每个行向量数据进行归一化，归一化的处理可以采用上述原始图像和差分图像的归一化方式进行。再将归一化后的S₁,S₂分别转化成M×N矩阵，得到分量图像,分别记为A₁,A₂。

S106.对每一个分量图像设置阈值进行阈值分割；

采用直方图分割方法对每个分量图像进行阈值分割，具体的，

f₁、f₂分别表示对分量图像A₁,A₂的分割结果，阈值分割函数如下:

其中，(i,j)表示空间位置，0标签表示背景像元，1标签代表目标像元，d表示预设阈值。

选用直方图分割法作为图像的目标分割算法，这主要是目标特征图像已将背景信息和目标信息最大程度地分离，其灰度直方图能很好地表现背景和兴趣目标的分布，充分展示了背景和目标极强的可分度，由于背景和目标的亮度的对比度也很强，因此阈值d很好设定，阈值d的范围在(0.65,1)的实数均可以达到分类的目的。每个分量图像都突出了目标。

S107.将两个分量图像的分割结果进行融合得到缺陷分割图，具体的，

用f(i,j)表示对两个分割结果进行融合，若像素(i,j)是背景像元，记为f(i,j)＝0，若为目标则记为f(i,j)＝1。融合函数为：

S108.所述方法还包括对缺陷分割图进行噪声消除，得到最终的缺陷分割图，具体的：

为去除那些由于噪音引起的异质点，并将同类像元的连在一块，本具体实施例采用了ISing模型。

Ising模型倾向于相邻的点拥有相同的邻域标签。这里选用两种邻域结构：一种含水平和垂直两个方向，即为N¹ _i,j＝{(i-1,j),(i+1,j),(i,j-1),(i,j+1)}；另一个是N² _i,j＝{(i-1,j-1),(i+1,j+1),(i+1,j-1),(i-1,j+1)}，为对角线45度和135度方向的邻域，均称他们为四邻域，两者都包含了四个相邻点。定义每个邻域下点(i,j)的能量函数为

其中k＝1,2，设置的阈值为2，像素(i,j)的标签按如下准则取值：

在具体应用中，如图3所示，利用本发明的缺陷图像分割方法对金属带材表面缺陷图像进行缺陷分割，其中图3中第二列和第三列分别对应两种不同的缺陷图，从图3可以看到利用本发明的方法得到得到很好地分割融合后的缺陷分割图。

相同或相似的标号对应相同或相似的部件；

附图中描述位置关系的用于仅用于示例性说明，不能理解为对本专利的限制；

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (9)

1.一种缺陷图像分割方法，其特征在于，包括：

对原始图像进行差分运算得到差分图像，具体为采用Prewitt微分算子对原始图像进行水平和垂直方向的差分，得到差分图像；

对原始图像和差分图像进行处理得到两组数组信号；

对两组数组信号进行归一化处理；

利用独立分量分析进行解混，对归一化后的两组数组信号中的背景信号和缺陷目标特征信号进行分离，得到两个独立分量；

将两个独立分量还原成矩阵形成两个分量图像；

对每一个分量图像设置阈值进行阈值分割；

将两个分量图像的分割结果进行融合得到缺陷分割图；

采用基于负熵的FastICA方法求解分离矩阵W，通过分离矩阵W计算独立分量的具体步骤包括：

求解分离矩阵W的具体步骤：

将数据

进行中心化和白化，其中G₁和G₂分别表示归一化后的两组数组信号，MN表示数组的长度：设数据G，其均值为

互相关矩阵为

相关矩阵的特征值对角阵为V，特征值对应的特征向量矩阵为U^T，白化数据为

取任意初始正交矩阵W＝[w₁,...,w_m]^T，逐个估计出分解向量w_i的方向，i＝1,2,...,m，m为待提取的独立分量的数目，取值为整数；

(1)w_i(0),且||w_i(0)||＝1，令k＝0,

(2)计算

其中E(·)可以对Z的各采样时刻值求均值来估计；

(3)将w_i(k+1)归一化：

(4)如果w_i(k+1)^Tw_i(k)不接近于1，则令k＝k+1，回到步骤(3)；否则迭代结束，输出最终的w_i(k+1)作为w_i；

其中，负熵采用的近似表达式为J(y)∝{E[g(y)]-E[g(y)]}²，g(y)＝(1/a₁)log cosha₁y，

分别为函数g(y)的一阶导数和二阶导数；y是随机变量,y的方差为1，||w||₂也必须等于1，y的负熵为J(y),其中，1≤a₁≤2；

通过分离矩阵W＝[w₁,w₂,...,w_m]^T计算独立分量：

2.根据权利要求1所述的缺陷图像分割方法，其特征在于，所述对原始图像和差分图像进行处理得到两组数组信号的具体为：

将原始图像和差分图像按行或列首尾相连得到两组数组X₁和X₂。

3.根据权利要求1所述的缺陷图像分割方法，其特征在于，对两组数组信号进行归一化处理的具体步骤包括：

设X₁和X₂分别为原始图像和差分图像所对应的数组信号，长度均为MN；

min₁＝min(X₁),max₁＝max(X₁)，X₁归一化后的数据为G₁，

min₂＝min(X₂),max₂＝max(X₂)，X₂归一化后的数据为G₂，

其中X₁(t)、X₂(t)分别表示t时刻观测到的信号。

4.根据权利要求1所述的缺陷图像分割方法，其特征在于，利用独立分量分析进行解混，对归一化后的两组数组信号中的背景信号和缺陷目标特征信号进行分离，得到两个独立分量的具体步骤包括：

采用基于负熵的FastICA方法求解分离矩阵W，通过分离矩阵W计算独立分量。

5.根据权利要求1所述的缺陷图像分割方法，其特征在于，将两个独立分量还原成矩阵形成两个分量图像的具体为：

将两个独立分量进行归一化，将归一化的两个独立分量转化成M*N的矩阵，得到分量图像。

6.根据权利要求1所述的缺陷图像分割方法，其特征在于，对每一个分量图像设置阈值进行阈值分割的具体步骤包括：

采用直方图分割方法对每个分量图像进行阈值分割，具体的，

f₁、f₂分别表示对分量图像A₁,A₂的分割结果，阈值分割函数如下:

其中，(i,j)表示空间位置，0标签表示背景像元，1标签代表目标像元，d表示预设阈值。

7.根据权利要求1所述的缺陷图像分割方法，其特征在于，将两个分量图像的分割结果进行融合得到缺陷分割图的具体步骤包括：

设f_i(i，j)，i＝1，2分别表示两个分割结果，用f(i,j)表示对两个分割结果进行融合，若像素(i,j)是背景像元，记为f(i,j)＝0，若为目标则记为f(i,j)＝1，融合函数为：

8.根据权利要求1至7任一项所述的缺陷图像分割方法，其特征在于，所述方法还包括对缺陷分割图进行噪声消除，得到最终的缺陷分割图。

9.根据权利要求8所述的缺陷图像分割方法，其特征在于，所述噪声消除采用ISing模型进行噪声去除。

Images