CN110648342B - 基于nsst显著性检测及图割的泡沫红外图像分割方法 - Google Patents

Abstract

本发明涉及一种基于NSST显著性检测及图割的泡沫红外图像分割方法，首先，对泡沫红外图像进行NSST分解，得到低频子带图像和多尺度高频子带；其次，采用GBVS算法对低频子带图像进行显著性检测，得到显著性值和视觉显著图；然后，对各个高频方向子带系数计算阈值和尺度相关系数，去除噪声系数和非线性增强边缘、弱边缘系数；最后，对NSST重构图像，结合视觉显著性进行图割，得到分割结果。该方法抗干扰能力强，分割精度高。

Description

基于NSST显著性检测及图割的泡沫红外图像分割方法

技术领域

本发明涉及浮选技术领域，具体涉及一种基于NSST显著性检测及图割的泡沫红外图像分割方法。

背景技术

浮选是浮选机内矿物与空气中的微气泡发生碰撞粘附，利用矿物与杂质表面的亲疏水性质，可浮性高的矿物颗粒随着气泡上浮至液面泡沫层，从而将目标矿物从物质组成复杂的矿石中分选出来的选矿方法。研究表明浮选过程中气泡的生成和崩塌可有效反映矿物含量，而图像分割是浮选图像处理分析和检测新生成的和崩塌的气泡的关键，广泛应用于计算机视觉及工业生产等领域。

浮选气泡的崩塌率、稳定性影响了回收率、精矿品位等生产指标性能，目前国内外学者主要先对前后两帧泡沫图像进行分割，根据分割结果计算气泡的稳定性和崩塌率，但是气泡不断位移且发生形变，工业现场采集的泡沫图像光照不均、噪声大、对比度低、气泡粘连等特点，导致气泡分割精度不高。

现有的浮选气泡分割方法主要在可见光图像上进行，这种方法受光照影响很大，容易出现过分割和欠分割，因此可在红外图像上对浮选气泡进行处理。对泡沫进行红外热成像，因新生成的和崩塌的气泡会产生高温，热成像后新生成的和崩塌的气泡成为高温区域目标，可通过分割泡沫红外图像的高温区域目标提取新生成或者崩塌的气泡。但泡沫红外图像存在分辨率和对比度低问题，容易受噪声干扰，且气泡边缘的高温区域会影响分割结果，目前，红外图像的分割方法主要有：区域生长分割算法先进行高斯滤波去除噪声，再运用区域生长算法，提高了分割精度和速度，但会造成分割区域有洞和边缘模糊；改进的分水岭分割方法，采用了面积重构变换解决了分水岭标识点难以提取的问题，但是存在边界模糊问题且分割参数需要随实际情况变化；阈值分割算法将大津阈值分割扩展为大津多阈值分割，把群体搜索随机优化算法引入多阈值分割，提高了阈值查找速度和分割精度，但是不适用于噪点处理和对背景复杂的红外光伏图像的处理；K聚类算法分割先基于形态学对红外图像做增强处理，再通过修改k-means聚类使用的距离公式进行图像分割，分割后的图像目标轮廓清晰，但是目标区域完整度较低。

发明内容

本发明的目的在于提供一种基于NSST显著性检测及图割的泡沫红外图像分割方法，该方法抗干扰能力强，分割精度高。

为实现上述目的，本发明采用的技术方案是：一种基于NSST显著性检测及图割的泡沫红外图像分割方法，首先，对泡沫红外图像进行NSST分解，得到低频子带图像和多尺度高频子带；其次，采用GBVS算法对低频子带图像进行显著性检测，得到显著性值和视觉显著图；然后，对各个高频方向子带系数计算阈值和尺度相关系数，去除噪声系数和非线性增强边缘、弱边缘系数；最后，对NSST重构图像，结合视觉显著性进行图割，得到分割结果。

进一步地，该方法具体包括以下步骤：

步骤1、对泡沫红外图像进行NSST多尺度分解，得到1个低频图像和k个尺度不同的高频子带，各尺度高频子带再分解为l个方向子带；

步骤2、采用GBVS算法对低频子带图像进行显著性检测，通过马尔科夫链计算特征差异得到显著性值，并通过归一化显著值和合并多个激活图生成视觉显著图；

步骤3、对各个高频方向子带系数计算阈值和尺度相关系数，去除噪声系数和非线性增强边缘、弱边缘系数，得到增强及去噪后的各个高频子带；

步骤4、结合步骤1得到的低频子带图像和步骤4得到的增强及去噪后的各个高频子带，进行NSST重构，得到增强及去噪后的泡沫红外图像；然后，结合图像显著值和亮度特征构造一个包含区域项和边界项的能量函数；最后，利用最大流/最小割算法求解能量函数的最小值，得到分割结果。

进一步地，步骤3中，假设第k尺度第l方向的高频子带存在阈值

高频子带系数小于

为噪声，反之，代表边缘信息，阈值

的计算公式为：

其中，

表示k尺度l方向高频子带的能量，σ_n表示子带噪声标准差，σ_x表示子带信号标准差，

表示子带系数方差，L为第k尺度的方向总数，

表示该子带在(i,j)点的系数；

将弱相关的噪声系数去除，而强相关的边缘系数增强，边缘系数采用非线性增益函数为：

其中，

参数c用于控制增强强度，参数b用于控制增强范围，由下式计算，式中

表示该子带的最大系数：

定义像素点(i,j)在第k尺度第l方向高频子带上的尺度相关系数

为：

其中，

表示不同尺度在(i,j)位置上的系数乘积，

表示第k尺度第l方向子带的

系数能量，

是归一化处理，便于系数比较；最后，高频子带系数的增强函数为：

为调整后的高频子带系数，直接去除小于

的噪声系数，对边缘、弱边缘系数进行非线性增强。

进一步地，步骤4中，构造一个包含区域项和边界项的能量函数，把图像映射成一个带权图G＝(V,E)，V和E分别是顶点和边的集合，图割的能量函数构建为：

其中，

和

表示图割能量函数的区域项和边界项；参数λ控制区域项和边界项的相对重要性；P为图像f中所有像素的集合；N_p为像素点p的领域像素集；参数α和β为控制区域约束项F_I(f_p)和F_s(v′_i)的权重，满足α+β＝1；最后，利用最大流/最小割算法求解能量函数的最小值，得到分割结果。

相较于现有技术，本发明具有以下有益效果：将多尺度多方向的NSST引入到分割方法中，低频子带通过显著性检测定位目标区域，高频子带进行增强及去噪处理，然后结合显著性检测结果及图割对NSST反变换图像进行目标区域分割。本发明受光照影响小，抗干扰能力强，能有效的对新生成和崩塌气泡进行定位，能精准的分割新生成和崩塌的气泡，一定程度上解决了过分割和欠分割问题，分割精度较现有方法有明显提高，且表现出良好的抗噪性。为后续的浮选气泡崩塌率和稳定性计算提供基础。

附图说明

图1是本发明实施例的工作流程图。

图2是本发明实施例中经过NSST变换分解后的低频图像和高频图像。

图3是本发明实施例中分割结果与标准割比较示意图。

图4是本发明实施例中本发明分割方法与现有分割方法的实验结果及对比图。

图5是本发明实施例中加噪泡沫红外图像分割方法的对比图。

具体实施方式

下面结合附图及具体实施例对本发明作进一步说明。

本发明提供了一种基于NSST显著性检测及图割的泡沫红外图像分割方法，首先，对泡沫红外图像进行NSST分解，得到低频子带图像和多尺度高频子带；其次，采用GBVS算法对低频子带图像进行显著性检测，得到显著性值和视觉显著图；然后，对各个高频方向子带系数计算阈值和尺度相关系数，去除噪声系数和非线性增强边缘、弱边缘系数；最后，对NSST重构图像，结合视觉显著性进行图割，得到分割结果。如图1所示，该方法具体包括以下步骤：

步骤1、对泡沫红外图像进行NSST多尺度分解，得到1个低频图像和k个尺度不同的高频子带，各尺度高频子带再分解为l个方向子带；

步骤2、采用GBVS算法对低频子带图像进行显著性检测，通过马尔科夫链计算特征差异得到显著性值，并通过归一化显著值和合并多个激活图生成视觉显著图；

步骤3、对各个高频方向子带系数计算阈值和尺度相关系数，去除噪声系数和非线性增强边缘、弱边缘系数，得到增强及去噪后的各个高频子带；

步骤4、结合步骤1得到的低频子带图像和步骤4得到的增强及去噪后的各个高频子带，进行NSST重构，得到增强及去噪后的泡沫红外图像；然后，结合图像显著值和亮度特征构造一个包含区域项和边界项的能量函数；最后，利用最大流/最小割算法求解能量函数的最小值，得到分割结果。

下面对本发明的技术方案详述如下：

1.泡沫红外图像的NSST分解

非下采样Shearlet变换(NSST)采用非下采样金字塔分解(NSP)，变换过程包括多尺度分解和多方向分解两部分，是对NSCT的优化改进。NSCT继承了Contourlet变换的多尺度多方向及良好的空域和频域特性，但是运算效率不高，不适用于对实时性要求高的场合。NSST与NSCT相比，运行时间短，能够满足实时性要求。NSST具有多尺度多方向、平移不变的变换特性，而且运算效率高。泡沫图像通过k级NSP多尺度分解后，得到k+1个子带图像，其中包括1个低频图像和k个尺度不同的高频图像。对多尺度分解后子带图像进行l级多方向分解，分解为2l+2个方向子带图像，NSST方向分解采用Shear滤波器保证图像不失真，使图像具有平移不变性，并有效抑制伪吉布斯效应。

根据非下采样Shearlet变换(NSST)相较于其他多尺度变换方法的优势，将其运用到气泡检测中，低频子带图像去除噪声，提高气泡亮点对比度，保留气泡轮廓信息，留下显著性的高温区域，有利于定位新生成的和崩塌的气泡；高频子带图像包含气泡的边缘、纹理特征，能有效估算崩塌位置和范围进行分割，以提高算法整体的鲁棒性。原图像经过NSST变换分解后的低频图像和高频图像如图2所示。

2.低频子带图像显著性检测

视觉显著性检测是指通过智能算法模拟人的视觉特点，获取图像中局部视觉特征突出的显著区域，既自动的选择感兴趣的区域进行处理，忽略不感兴趣的区域。显著性检测通常被直接用于进行图像分割，但其基于阈值的分割方法缺乏通用性，本发明在Graphcuts框架下，融入低频子带图像的显著性检测，能够估计泡沫红外图像的目标物体与背景，将资源集中处理图像中最能引起用户兴趣，表现图像内容的区域，减少计算量、提高信息处理效率和通用性。

显著性检测中的GBVS算法是对ITTI算法的优化改进，特征提取方法与ITTI一致，且生成的显著图有利于阈值分割。本发明采用GBVS算法对低频子带图像进行显著性检测，引入马尔可夫链计算特征差异得到显著性值，并通过归一化显著值和合并多个激活图生成视觉显著图。从NSST分解后的低频子带图像中提取亮度和方向视觉信息分别对应的特征矩阵，得到图像尺寸为n×n的特征图。依次以特征图为输入，计算相应的激活图。对于特征图或者原图，用马尔可夫的方法来定义一个像素(i,j)和其领域的不同，并要求(i,j)对应于激活图中的位置处要有较高的值。本发明构造一个图，首先以特征图中的一个像素作为图中的一个节点，然后根据像素点间的灰度值相似度和像素点位置间的欧氏距离作为连接权值，将每个像素点两两连接，构成一个有向全连接的图G_A，从节点(i,j)和节点(p,q)的连接权重表示从某一节点(i,j)出发访问到另一节点(p,q)的概率，定义为：

W((i,j),(p,q))＝d((i,j)||(p,q))·D(i-p,j-q)。 (1)

其中G(i,j)和G(p,q)分别代表节点(i,j)和节点(p,q)的特征，两者差异的具体衡量公式为：

D(i-p,j-q)表示节点(i,j)和节点(p,q)位置间的欧式距离，计算公式为：

在有向全连接图G_A上定义一个马尔可夫链，因为马尔可夫链中转移概率矩阵具有从一个节点到其他所有节点的转移概率之和必须为1的性质，所以对连接权重进行归一化，每一个连接权重都乘以一个系数使得总和为1，形成马尔可夫状态转移矩阵。并将节点作为马尔可夫链的状态，边权重作为马尔可夫链中状态的转移概率。权值越大，转移概率越大，节点视觉特征差异越大的点越显著。根据多次迭代马尔可夫转移矩阵达到的马尔可夫链平稳分布对节点进行计算获得显著值。最后把每个特征图的激活图进行归一化并相加，得到视觉显著图。

3.高频子带增强及去噪

泡沫红外图像进行NSST分解后，得到多尺度多方向的高频子带图像，各个高频方向子带包含了气泡的边缘、纹理特征和噪声。通过对多尺度高频子带图像进行边缘增强及去噪处理，使气泡分割更准确。假设第k尺度第l方向的高频子带存在一个阈值

高频子带系数小于

为噪声，反之，代表边缘信息。阈值

的计算公式为：

其中，

表示k尺度l方向高频子带的能量，σ_n表示子带噪声标准差，σ_x表示子带信号标准差，

表示子带系数方差，L为第k尺度的方向总数，

表示该子带在(i,j)点的系数。

泡沫红外图像经过NSST分解后，边缘系数相对稳定即强相关，而噪声系数迅速衰减即弱相关。实验发现弱边缘系数主要集中在

范围内，因此对该范围内的系数进行尺度间的相关性统计，将弱相关的噪声系数去除，而强相关的边缘系数增强。边缘系数采用非线性增益函数为：

其中，

参数c用于控制增强强度取[10,30]之间，参数b用于控制增强范围取[0,1]之间，由下式计算，式中

表示该子带的最大系数：

定义像素点(i,j)在第k尺度第l方向高频子带上的尺度相关系数

为：

其中，

表示不同尺度在(i,j)位置上的系数乘积，

表示第k尺度第l方向子带的

系数能量，

是归一化处理，便于系数比较。最后，高频子带系数的增强函数为：

为调整后的高频子带系数：直接去除小于

的噪声系数，对边缘、弱边缘系数进行非线性增强。

4.结合视觉显著性检测的图割方法

融合各个尺度下的细节，并对多尺度高频子带做增强和去噪处理后进行NSST重构，得到增强及去噪后的图像，对该图像进行图割(Graph Cuts)。图割算法模型将图像的区域特征和边界特征很好地结合起来，具有多特征融合、全局最优的特点，在一定程度上解决了过分割或分割不足的问题。构造一个包含区域项和边界项的能量函数，把图像映射成一个带权图G＝(V,E)，V和E分别是顶点和边的集合，图割的能量函数构建为：

其中，

和

表示图割能量函数的区域项和边界项；参数λ控制区域项和边界项的相对重要性，本发明取λ＝1；P为图像f中所有像素的集合；N_p为像素点p的领域像素集；参数α和β为控制区域约束项F_I(f_p)和F_s(v′_i)的权重，满足α+β＝1，本发明取α＝0.7，β＝0.3。最后，利用最大流/最小割算法求解能量函数的最小值，得到分割结果。

为了突出泡沫红外图像中高温区域表示的新生成和崩塌的气泡，本发明采用基于高斯拟合的气泡亮度模型，气泡亮度模型构建公式为：

其中，I为图像亮度，气泡亮度范围为[I_L,I_H]，参数k用于气泡亮度模型中新生成和崩塌的气泡与背景的对比度调节，k取1.5。亮度模型f_I要进行各向异性滤波并归一化到[0,1]之间。

对泡沫红外图像中的显著性区域进行高斯拟合，运用高斯函数拟合其亮度分布，来获取气泡亮度范围[I_L,I_H]，公式表示为：

其中，a为高斯分布的中心，c表示高斯分布的峰值，b控制高斯分布的宽度，气泡亮度范围[I_L,I_H]取[a-b,a+b]，图像亮度I越靠近气泡亮度范围[I_L,I_H]的中心，f_I(I)值越大，表明该像素点属于高温区域表示的新生成和崩塌的气泡的概率越大。

I_p为像素点p的亮度值，F_I(f_p)为亮度约束项，定义如下：

仅依赖亮度特征的区域项会出现不是目标的区域也被提取分割的现象。为弥补亮度特征判断的不足，本发明引入显著性约束项，显著值高的区域为用户最感兴趣区域，属于前景的可能性较大；反之，属于背景的可能性较大。

对低频子带图像的显著图进行预分割，得到n个区域块R＝{R_i|i＝1,2,...,n}，每一个区域块对应面积为A＝{A_i|i＝1,2,...n}，并建立区域邻接图G′＝(V',E')，其中，V'由区域块R_i构成，E'由相邻区域构成的，顶点用v′_i表示。在低频显著性检测中计算得到显著值S_p(0～1)，并求每个区域块R_i的显著均值S′_i，公式为：

显著性约束项由显著均值S′_i决定，为增加前景/背景之间的显著性差异，分别以前景/背景显著均值S′_i的平均值作m为调节参数，公式为：

其中S′_Fi为前景的显著均值，S'_Bi为背景的显著均值，F_s(v′_i)为显著性约束项，定义如下：

图割能量函数中的边界项用B(f_p,f_q)表示，公式为：

其中，I_p、I_q分别表示像素点p和像素点q的亮度值，d(p,q)为像素p和q之间的欧氏距离，S_P为像素集P的像素总数。如果邻域像素p和q越相似，那么B(f_p,f_q)越大，如果两者存在很大差异，那么B(f_p,f_q)逼近于0，即能量越小，它们处于目标和背景的边缘部分的可能性很大，则有较大可能被分割。

为验证本发明所提出的泡沫红外图像分割方法的有效性，以福建金东矿业股份有限公司的铅矿浮选厂泡沫红外图像作为实验测试对象，对本发明方法进行验证，并与现有方法进行了结果比较分析。

在完成图像分割任务之后需要对分割结果进行性能评估，一般采用的指标是IOU和假阳性率，公式为：

其中，TP为标准割和算法分割结果相交部分，FN为标准割减去TP部分，FP为算法分割结果减去TP部分，分割结果与标准割比较示意图如图3所示。

选取一幅泡沫红外图像进行分割，实验结果如图4所示。对浮选泡沫红外图像(见图4(a))进行NSST分解，得到低频子带图像(见图4(b))和多尺度高频子带，其中高频尺度1如图4(c)所示、高频尺度2如图4(d)所示。对低频子带图像进行GBVS显著性检测，GBVS图如图4(e)所示，显著部分如图4(f)所示，图中点表示显著部分的质心。融合各个尺度下的细节，并对增强和去噪处理后的多尺度高频子带、低频子带图像进行NSST重构，得到增强及去噪后的泡沫红外图像如图4(g)所示。最后对图像进行图割(Graph Cuts)操作，分割结果如图4(h)所示。将本发明分割方法与现有分割方法相比较，分割结果如图4(i)～(l)所示。

图4(i)～(l)给出了现有分割方法的效果图，从主观视觉上可以看出，相比于原始泡沫红外图像(a)，区域生长算法分割结果图(i)，分割存在区域空洞和边缘模糊问题。分水岭算法分割结果图(j)，分割精度有所提高，但缺乏边缘平滑。阈值分割算法分割结果图(k)，分割速度较快但精度不高。K聚类算法分割结果图(l)，分割后的图像轮廓清晰，但是完整度较低，本发明分割结果图(h)，分割效果最好。

为了进一步定量对比本发明方法的性能，验证本发明方法在红外图像下具有较好的抗噪声性能，对浮选泡沫红外图像叠加了均值为0，方差为10％的高斯白噪声，并与现有分割方法进行结果比较分析，结果如图5所示。用IOU和假阳性率对分割结果进行性能评估，验证本发明分割方法的精确度和有效性，各分割算法的实验数据统计如表1所示。本发明方法表现出良好的分割效果和抗噪性，具有较大的优势。

表1加噪泡沫红外图像分割结果比较

实验数据表明：区域生长分割算法、阈值分割算法易受光照和运动形变影响，造成分割区域有空洞、分割出非目标区域，精确度较低。分水岭分割算法存在边界模糊问题且受限于分割参数的选取，存在一定的误差。K聚类算法分割一定程度上解决了过分割和欠分割现象，分割后的图像目标轮廓清晰，但精度仍较低。本发明方法受影响小，分割精度较高，且在噪声较大的红外图像下，阈值分割算法、K聚类算法的分割精度急剧下降，而本发明方法仍保持较高精度，有较好的抗噪性。

以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims (2)

1.一种基于NSST显著性检测及图割的泡沫红外图像分割方法，其特征在于，具体包括以下步骤：

步骤1、对泡沫红外图像进行NSST多尺度分解，得到1个低频子带图像和k个尺度不同的高频子带，各尺度高频子带再分解为l个方向的高频子带；

步骤2、采用GBVS算法对低频子带图像进行显著性检测，通过马尔科夫链计算特征差异得到显著性值，并通过归一化显著值和合并多个激活图生成视觉显著图；

步骤3、对各个方向的高频子带计算阈值和尺度相关系数，去除噪声系数和非线性增强边缘、弱边缘系数，得到增强及去噪后的各个高频子带；

步骤4、结合步骤1得到的低频子带图像和步骤3得到的增强及去噪后的各个高频子带，进行NSST重构，得到增强及去噪后的泡沫红外图像；然后，结合图像显著值和亮度特征构造一个包含区域项和边界项的能量函数；最后，利用最大流/最小割算法求解能量函数的最小值，得到分割结果；

步骤3中，假设第k尺度第l方向的高频子带存在阈值

高频子带的系数小于

为噪声，反之，代表边缘信息，阈值

的计算公式为：

其中，

表示k尺度l方向高频子带的能量，σ_n表示子带噪声标准差，σ_x表示子带信号标准差，

表示子带系数方差，L为第k尺度的方向总数，

表示该子带在(i,j)点的系数；

将弱相关的噪声系数去除，而强相关的边缘系数增强，边缘系数采用非线性增益函数为：

其中，

参数c用于控制增强强度，参数b用于控制增强范围，由下式计算，式中

表示该子带的最大系数：

定义像素点(i,j)在第k尺度第l方向高频子带上的尺度相关系数

为：

其中，

表示不同尺度在(i,j)位置上的系数乘积，

表示第k尺度第l方向子带的

系数能量，

是归一化处理，便于系数比较；最后，高频子带系数的增强函数为：

为调整后的高频子带系数，直接去除小于

的噪声系数，对边缘、弱边缘系数进行非线性增强。

2.根据权利要求1所述的基于NSST显著性检测及图割的泡沫红外图像分割方法，其特征在于，步骤4中，构造一个包含区域项和边界项的能量函数，把图像映射成一个带权图G＝(V,E)，V和E分别是顶点和边的集合，图割的能量函数构建为：

其中，

和

表示图割能量函数的区域项和边界项；参数λ控制区域项和边界项的相对重要性；P为图像f中所有像素的集合；N_p为像素点p的领域像素集；参数α和β为控制区域约束项F_I(f_p)和F_s(v′_i)的权重，满足α+β＝1；最后，利用最大流/最小割算法求解能量函数的最小值，得到分割结果。

Images