CN115131561A - 基于多尺度特征提取与融合的钾盐浮选泡沫图像分割方法 - Google Patents

Abstract

本公开实施例中提供了一种基于多尺度特征提取与融合的钾盐浮选泡沫图像分割方法，属于图像处理技术领域，具体包括：采集钾盐粗选过程的泡沫图像，标注泡沫图像中各个泡沫边缘的多个像素点获取泡沫所在区域，进而得到语义分割标签图像后，由泡沫图像和语义分割标签图像构建原始数据集，并扩充原始数据集的样本，划分为训练集和测试集；构建浮选泡沫图像分割深度神经网络模型；以训练集作为输入，对浮选泡沫图像分割深度神经网络模型进行训练；获取待分割的浮选泡沫图像并裁剪至指定尺寸，随后输入到训练完成的浮选泡沫图像分割深度神经网络模型，得到分割结果。通过本公开的方案，提高了钾盐浮选泡沫图像的分割精准度。

Description

基于多尺度特征提取与融合的钾盐浮选泡沫图像分割方法

技术领域

本公开实施例涉及图像处理技术领域，尤其涉及一种基于多尺度特征提取与融合的钾盐浮选泡沫图像分割方法。

背景技术

目前，浮选是钾盐生产加工过程的重要环节，其目的是将盐湖晒矿生成的光卤石等矿物按其表面的物理及化学性质差异分离出有用矿物与杂质的过程，通过将有用矿物选择性地附着在矿浆中的空气泡上，并随之上浮到矿浆表面，达到有用矿物与杂质分离的目的。实际生产过程中，有用矿物随气泡上浮至矿浆表面后会形成具有一定视觉特征的泡沫层，这些视觉特征取决于当前浮选槽刮板刮出的泡沫数量、浮选药剂添加量、矿物品位高低等诸多实际生产因素，因此在一定程度上能够反映当前时刻的浮选工况。

其中，浮选泡沫尺寸特征，如气泡个数、平均尺寸等，是评估当前浮选工况和浮选矿品位的重要参考指标。现有浮选泡沫尺寸特征绝大多数依赖现场工人的肉眼观察，这种依赖于肉眼观察进行的操作调整具有一定的局限性：一是操作工人无法时刻监视泡沫的变化情况，因此会导致操作调整滞后；二是对于操作调整的准确判断需要依赖于长时间的经验积累，对操作工的能力要求较高；三是工人的观察判断主观性强，定性而非定量，没有统一的评判标准，这导致生产流程控制上的随意性和变化性，进而可能导致浮选的工况波动问题。

应用计算机视觉技术，以图像分割方法为基础，从采集的钾盐浮选槽泡沫图像中分离出各个泡沫再做进一步定量且准确的尺寸特征参数提取，对后续浮选过程操作优化等应用起关键作用。传统图像分割方法，如阈值分割法、区域生长法，以及在浮选泡沫分割应用最为广泛的分水岭算法等，大多依赖于寻找一个合适的阈值这一关键步骤，然而，钾盐浮选泡沫图像分割面临着如下难题：一是钾盐浮选槽中的泡沫与泡沫之间、泡沫与背景矿浆之间的颜色对比度低，导致泡沫边缘模糊；二是受浮选工况波动的影响，不同时刻的泡沫形态、尺寸等信息存在较大的差异；三是泡沫层表面上升的空气和水雾、现场设备运行造成的相机抖动，以及泡沫自身移动等因素，进一步加剧所采集图像的模糊程度，弱化了泡沫的边缘。上述难题导致阈值选取对于钾盐泡沫图像而言极其困难，也因此导致传统方法准确性低、鲁棒性弱。目前深度学习在浮选泡沫图像分割上的应用较少，且多以U-Net网络为基础架构，这些方法或是其他一些常见的深度学习分割方法尽管在某些领域取得了极好的分割效果，但是没有结合钾盐浮选泡沫图像的实际特点进行网络设计，直接应用于钾盐浮选泡沫图像分割也效果不佳。

可见，亟需一种能精准分割钾盐浮选泡沫图像的基于多尺度特征提取与融合的钾盐浮选泡沫图像分割方法。

发明内容

有鉴于此，本公开实施例提供一种基于多尺度特征提取与融合的钾盐浮选泡沫图像分割方法，至少部分解决现有技术中存在分割精准较差的问题。

本公开实施例提供了一种基于多尺度特征提取与融合的钾盐浮选泡沫图像分割方法，包括：

步骤1，采集钾盐粗选过程的泡沫图像，标注泡沫图像中各个泡沫边缘的多个像素点获取泡沫所在区域，进而得到语义分割标签图像后，由泡沫图像和语义分割标签图像构建原始数据集，并扩充原始数据集的样本，划分为训练集和测试集；

步骤2，构建浮选泡沫图像分割深度神经网络模型，其中，浮选泡沫图像分割深度神经网络模型包括交替堆叠并行多尺度特征提取子模块和基于注意力机制的多尺度特征融合子模块构成的分割网络主干、输入调整模块和输出调整模块；

步骤3，以训练集作为输入，对浮选泡沫图像分割深度神经网络模型进行训练；

步骤4，获取待分割的浮选泡沫图像并裁剪至指定尺寸，随后输入到训练完成的浮选泡沫图像分割深度神经网络模型，得到分割结果。

根据本公开实施例的一种具体实现方式，所述步骤1具体包括：

步骤1.1，采集钾盐粗选浮选槽泡沫图像并裁剪至730×730像素尺寸；

步骤1.2，通过图像标注软件对步骤1.1所得图像进行精细分割标签的制作，通过标注图像中各个泡沫边缘的若干像素点并连接成封闭图形，获取泡沫所在区域，进而得到语义分割标签图像，由泡沫图像和语义分割标签图像构建原始数据集；

步骤1.3，借助平移、旋转、添加噪声、仿射变换等手段，对原始数据集进行扩充，对扩充后的数据集进行裁剪，得到中心区域512×512像素尺寸的图像划分为训练集和测试集。

根据本公开实施例的一种具体实现方式，所述步骤2具体包括：

步骤2.1，构建带残差连接的双卷积子模块；

步骤2.2，构建并行多尺度特征提取子模块，包括多个尺度特征提取分支，每个尺度特征提取分支由堆叠的双卷积子模块构成，单个尺度特征提取分支的输入和输出特征图尺寸、通道数均相同，相邻尺度特征提取分支的输入特征图之间为尺寸减半、通道数加倍的关系；

步骤2.3，构建基于注意力机制的多尺度特征融合子模块，以多个尺度图像特征图作为输入，将输入调整为指定尺度后进行加权求和，得到单个指定尺度的输出特征图；

步骤2.4，交替堆叠多个并行多尺度特征提取子模块及基于注意力机制的多尺度特征融合子模块；

步骤2.5，对原始输入图像做初步调整，输入至分割网络主干中，获取分割网络主干输出；

步骤2.6，对步骤2.5的分割网络主干输出进行上采样后，通过双卷积子模块进一步提取特征并通过1×1卷积变换特征图通道数，得到浮选泡沫图像分割深度神经网络模型输出。

根据本公开实施例的一种具体实现方式，所述步骤2.1的双卷积子模块通过以下公式进行：

Y＝ReLU(BN(W₂(ReLU(BN(W₁X))))+X)

其中，X、Y分别表示输入、输出特征图，W₁、W₂分别表示第一个、第二个3×3卷积的卷积核权重，BN表示批量归一化，ReLU表示逐像素执行ReLU激活函数，表达式为

根据本公开实施例的一种具体实现方式，所述步骤2.2中，并行多尺度特征提取子模块在图像尺度最大的分支上带有从输入特征图至输出特征图的跳跃连接。

根据本公开实施例的一种具体实现方式，所述步骤2.3具体包括：

步骤2.3.1，将输入的各个尺度特征图调整至目标尺度，得到调整后的特征图记为X'_i,i＝1…K，K为输入的不同尺度特征图数量；

步骤2.3.2，在步骤2.3.1调整后的各个尺度特征图上进行通道维度的最大池化和平均池化操作，得到2×H×W维度的特征图，H、W分别为特征图高、宽，后接单个卷积核的膨胀卷积，扩大感受野并进一步融合信息，得到表示单尺度空间信息的1×H×W特征图；

步骤2.3.3，对步骤2.3.2所提取的K个单通道特征图在通道维度上进行拼接，随后接1×1卷积，得到多尺度注意力特征图W_i,i＝1...K；

步骤2.3.4，将步骤2.3.1调整后的特征图X'_i,i＝1...K通过步骤2.3.3所提多尺度注意力特征图W_i,i＝1...K进行加权求和，得到输出特征图Y，公式如下

其中上标j表示特征图的第j个通道，⊙表示哈达玛积，C表示输出特征图通道数。

根据本公开实施例的一种具体实现方式，所述步骤2.4具体包括：

步骤2.4.1，对于第S次堆叠，该阶段的特征提取子模块中包含S+1个分支，后接S+1个特征融合子模块，每个特征融合子模块接收特征提取子模块全部S+1个分支的输出作为输入，并分别得到与输入相同的S+1个尺度的输出，对于最后一次堆叠，包含1个特征融合子模块，输入为特征提取子模块的全部分支输出，输出尺度为最大的输入特征图尺度；

步骤2.4.2，每进行一次堆叠，在下一阶段特征提取子模块中增加一个分支，该分支的输入由当前阶段特征提取子模块的最小尺度分支输出经卷积和下采样获得。

根据本公开实施例的一种具体实现方式，所述步骤2.5具体包括：

步骤2.5.1，通过双卷积子模块进行初步特征提取；

步骤2.5.2，接步长为2的3×3卷积将特征图尺寸减半通道数加倍，减小网络整体参数；

步骤2.5.3，将步骤2.5.2的输出特征图接步长为1的3×3卷积，不改变特征图尺寸，将特征图通道数调整至基准通道数C_base，以及，将步骤2.5.2的输出特征图接步长为2的3×3卷积将特征图尺寸减半，调整通道数至基准通道数的两倍，得到分割网络主干两个分支的输入特征图；

步骤2.5.4，将步骤2.5.3调整得到的两个不同尺度特征图输入至分割网络主干，获取分割网络主干输出。

根据本公开实施例的一种具体实现方式，所述步骤3具体包括：

以训练集作为输入，对浮选泡沫图像分割深度神经网络模型进行3次特征提取和特征融合子模块的堆叠，基准通道数C_base为64，并按照如下方式进行训练：

采用Dice Loss损失函数，表达式如下：

其中，P表示预测标签，R表示真实标签，|P∩R|表示对应元素点乘后相加求和，|·|表示各元素求和，使用Adam优化器更新训练权重，按照以下公式调整学习率：

其中，lr(epoch)表示迭代至第epoch次的学习率，

表示向下取整，n_max表示最大迭代次数。

本公开实施例中的基于多尺度特征提取与融合的钾盐浮选泡沫图像分割方案，包括：步骤1，采集钾盐粗选过程的泡沫图像，标注泡沫图像中各个泡沫边缘的多个像素点获取泡沫所在区域，进而得到语义分割标签图像后，由泡沫图像和语义分割标签图像构建原始数据集，并扩充原始数据集的样本，划分为训练集和测试集；步骤2，构建浮选泡沫图像分割深度神经网络模型，其中，浮选泡沫图像分割深度神经网络模型包括交替堆叠并行多尺度特征提取子模块和基于注意力机制的多尺度特征融合子模块构成的分割网络主干、输入调整模块和输出调整模块；步骤3，以训练集作为输入，对浮选泡沫图像分割深度神经网络模型进行训练；步骤4，获取待分割的浮选泡沫图像并裁剪至指定尺寸，随后输入到训练完成的浮选泡沫图像分割深度神经网络模型，得到分割结果。

本公开实施例的有益效果为：(1)本发明结合钾盐浮选泡沫图像中多尺度、弱边缘的形态特征进行泡沫分割深度网络的构建，在分割标签制作困难造成标签数据集少的情况下较为准确地实现了泡沫图像的分割；

(2)本发明设计了堆叠残差块构成的并行多尺度特征提取子模块，在特征提取过程中逐步将特征图尺寸减半，通道数加倍，使网络的感受野逐渐扩大，更好地捕捉尺寸较大的泡沫边缘，在下采样进行特征提取的同时，仍保持高分辨率特征图上的特征提取同步进行，以避免小泡沫边缘信息的丢失。通过并行在多个尺度上提取特征，使网络能够取得较大感受野的同时较好地降低了图像信息的损失，兼顾了不同尺度泡沫特征的学习；

(3)本发明针对提取到的多个尺度特征图，考虑到不同尺度关注的空间信息存在一定差异，尺度较大的特征图中因为包含了更多细节信息，对识别小物体更有利，反之尺度较小的特征图能更好地识别大物体，设计了基于注意力机制的多尺度特征融合子模块，让网络自身学习各个尺度关注的空间信息并赋予不同权重进而加权求和，实现特征的融合互补。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本公开实施例提供的一种基于多尺度特征提取与融合的钾盐浮选泡沫图像分割方法的流程示意图；

图2为本公开实施例提供的另一种基于多尺度特征提取与融合的钾盐浮选泡沫图像分割方法的流程示意图；

图3为本公开实施例提供的一种浮选泡沫图像分割深度神经网络模型的结构示意图；

图4为本公开实施例提供的一种基于注意力机制的多尺度特征融合子模块结构图；

图5为本公开实施例提供的一种基于多尺度特征提取与融合的钾盐浮选泡沫图像分割方法与各方法的分割效果对比图。

具体实施方式

下面结合附图对本公开实施例进行详细描述。

以下通过特定的具体实例说明本公开的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本公开的其他优点与功效。显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。本公开还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本公开的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。

需要说明的是，下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见，本文中所描述的方面可体现于广泛多种形式中，且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本公开，所属领域的技术人员应了解，本文中所描述的一个方面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。举例来说，可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外，可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。

还需要说明的是，以下实施例中所提供的图示仅以示意方式说明本公开的基本构想，图式中仅显示与本公开中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

另外，在以下描述中，提供具体细节是为了便于透彻理解实例。然而，所属领域的技术人员将理解，可在没有这些特定细节的情况下实践所述方面。

本公开实施例提供一种基于多尺度特征提取与融合的钾盐浮选泡沫图像分割方法，所述方法可以应用于钾盐生产工业场景的钾盐浮选泡沫图像分析过程中。

参见图1，为本公开实施例提供的一种基于多尺度特征提取与融合的钾盐浮选泡沫图像分割方法的流程示意图。如图1和图2所示，所述方法主要包括以下步骤：

步骤1，采集钾盐粗选过程的泡沫图像，标注泡沫图像中各个泡沫边缘的多个像素点获取泡沫所在区域，进而得到语义分割标签图像后，由泡沫图像和语义分割标签图像构建原始数据集，并扩充原始数据集的样本，划分为训练集和测试集；

可选的，所述步骤1具体包括：

步骤1.1，采集钾盐粗选浮选槽泡沫图像并裁剪至730×730像素尺寸；

步骤1.2，通过图像标注软件对步骤1.1所得图像进行精细分割标签的制作，通过标注图像中各个泡沫边缘的若干像素点并连接成封闭图形，获取泡沫所在区域，进而得到语义分割标签图像，由泡沫图像和标签图像构建原始数据集；

步骤1.3，借助平移、旋转、添加噪声、仿射变换等手段，对原始数据集进行扩充，对扩充后的数据集进行裁剪，得到中心区域512×512像素尺寸的图像划分为训练集和测试集。

具体实施时，可以先进行数据准备与数据预处理，具体包括采集钾盐粗选过程的泡沫图像，通过标注图像中各个泡沫边缘的若干像素点获取泡沫所在区域，进而得到语义分割标签，由泡沫图像和标签图像构建原始数据集；借助图像处理手段扩充原始数据集样本，划分为训练集和测试集，具体包括：

通过工业相机采集钾盐粗选浮选槽泡沫图像并裁剪至730×730像素尺寸；

通过图像标注软件对所得的图像进行精细分割标签的制作，通过标注图像中各个泡沫边缘的若干像素点并连接成封闭图形，获取泡沫所在区域，进而得到语义分割标签图像，由泡沫图像和语义分割标签图像构建原始图像分割数据集；

借助平移、旋转、添加噪声、仿射变换等手段，对原始数据集进行扩充，使得后续的分割网络能够充分学习不同工况下泡沫的位置、面积和亮度差异，对扩充后数据集进行裁剪，得到中心区域512×512像素尺寸的图像划分为训练集和测试集。

步骤2，构建浮选泡沫图像分割深度神经网络模型，其中，浮选泡沫图像分割深度神经网络模型包括交替堆叠并行多尺度特征提取子模块和基于注意力机制的多尺度特征融合子模块构成的分割网络主干、输入调整模块和输出调整模块；

进一步的，所述步骤2具体包括：

步骤2.1，构建带残差连接的双卷积子模块；

步骤2.2，构建并行多尺度特征提取子模块，包括多个尺度特征提取分支，每个尺度特征提取分支由堆叠的双卷积子模块构成，单个尺度特征提取分支的输入和输出特征图尺寸、通道数均相同，相邻尺度特征提取分支的输入特征图之间为尺寸减半、通道数加倍的关系；

步骤2.3，构建基于注意力机制的多尺度特征融合子模块，以多个尺度图像特征图作为输入，将输入调整为指定尺度后进行加权求和，得到单个指定尺度的输出特征图；

步骤2.4，交替堆叠多个并行多尺度特征提取子模块及基于注意力机制的多尺度特征融合子模块；

步骤2.5，对原始输入图像做初步调整，输入至分割网络主干中，获取分割网络主干输出；

步骤2.6，对步骤2.5的分割网络主干输出进行上采样后，通过双卷积子模块进一步提取特征并通过1×1卷积变换特征图通道数，得到浮选泡沫图像分割深度神经网络模型输出。

可选的，所述步骤2.1的双卷积子模块通过以下公式进行：

Y＝ReLU(BN(W₂(ReLU(BN(W₁X))))+X)

其中，X、Y分别表示输入、输出特征图，W₁、W₂分别表示第一个、第二个3×3卷积的卷积核权重，BN表示批量归一化，ReLU表示逐像素执行ReLU激活函数，表达式为

可选的，所述步骤2.2中，并行多尺度特征提取子模块在图像尺度最大的分支上带有从输入特征图至输出特征图的跳跃连接。

可选的，所述步骤2.3具体包括：

步骤2.3.1，将输入的各个尺度特征图调整至目标尺度，得到调整后的特征图记为X'_i,i＝1...K，K为输入的不同尺度特征图数量；

步骤2.3.2，在步骤2.3.1调整后的各个尺度特征图上进行通道维度的最大池化和平均池化操作，得到2×H×W维度的特征图，H、W分别为特征图高、宽，后接单个卷积核的膨胀卷积，扩大感受野并进一步融合信息，得到表示单尺度空间信息的1×H×W特征图；

步骤2.3.3，对步骤2.3.2所提取的K个单通道特征图在通道维度上进行拼接，随后接1×1卷积，得到多尺度注意力特征图W_i,i＝1...K；

步骤2.3.4，将步骤2.3.1调整后的特征图X'_i,i＝1...K通过步骤2.3.3所提多尺度注意力特征图W_i,i＝1...K进行加权求和，得到输出特征图Y，公式如下

其中上标j表示特征图的第j个通道，⊙表示哈达玛积，C表示输出特征图通道数。

可选的，所述步骤2.4具体包括：

步骤2.4.1，对于第S次堆叠，该阶段的特征提取子模块中包含S+1个分支，后接S+1个特征融合子模块，每个特征融合子模块接收特征提取子模块全部S+1个分支的输出作为输入，并分别得到与输入相同的S+1个尺度的输出，对于最后一次堆叠，包含1个特征融合子模块，输入为特征提取子模块的全部分支输出，输出尺度为最大的输入特征图尺度；

步骤2.4.2，每进行一次堆叠，在下一阶段特征提取子模块中增加一个分支，该分支的输入由当前阶段特征提取子模块的最小尺度分支输出经卷积和下采样获得。

可选的，所述步骤2.5具体包括：

步骤2.5.1，通过双卷积子模块进行初步特征提取；

步骤2.5.2，接步长为2的3×3卷积将特征图尺寸减半通道数加倍，减小网络整体参数；

步骤2.5.3，将步骤2.5.2的输出特征图接步长为1的3×3卷积，不改变特征图尺寸，将特征图通道数调整至基准通道数C_base，以及，将步骤2.5.2的输出特征图接步长为2的3×3卷积将特征图尺寸减半，调整通道数至基准通道数的两倍，得到分割网络主干两个分支的输入特征图；

步骤2.5.4，将步骤2.5.3调整得到的两个不同尺度特征图输入至分割网络主干，获取分割网络主干输出。

具体实施时，构建浮选泡沫图像分割深度神经网络，如图3所示，浮选泡沫图像分割深度神经网络模型包括依次连接的三个组成部分：输入调整模块、交替堆叠并行多尺度特征提取子模块和基于注意力机制的多尺度特征融合子模块构成的分割网络主干、输出调整模块；输入调整模块接收512×512像素尺寸的泡沫图像，通过带残差连接的双卷积子模块进行初步特征提取，并通过下采样操作获取输入到分割网络主干的不同尺度特征图；并行多尺度特征提取子模块包含多个由堆叠双卷积子模块构成的分支，不同分支接收不同尺寸的特征图作为输入，在多个图像尺度上同步进行特征的提取，同时在图像尺度最大的分支上引入从输入至输出的跳跃连接；

如图4所示，基于注意力机制的多尺度特征融合子模块以并行多尺度特征提取子模块各个分支的输出作为输入，对所提不同尺度特征图进行尺度调整，并为调整后的每个特征图自动学习一个权重矩阵进行加权求和，使不同尺度关注的空间信息得到融合互补；输出调整模块将网络主干的输出特征图上采样至网络输入图像的尺寸，在该尺度上通过双卷积子模块进一步提取特征，最后经过1×1卷积变换特征图通道数得到网络的输出，具体包括：

步骤21，构建带残差连接的双卷积子模块，通过引入残差连接，避免分割网络层数加深可能导致的梯度下降和梯度消失问题，双卷积子模块通过以下公式进行：

Y＝ReLU(BN(W₂(ReLU(BN(W₁X))))+X)

其中X、Y分别表示输入、输出特征图，W₁、W₂分别表示第一个、第二个3×3卷积的卷积核权重，BN表示批量归一化，ReLU表示逐像素执行ReLU激活函数，表达式为

步骤22，构建并行多尺度特征提取子模块，包含多个尺度特征提取分支，每个分支由堆叠的双卷积子模块构成，单个分支的输入和输出特征图尺寸、通道数均相同，相邻分支的输入特征图之间具有尺寸减半、通道数加倍的关系；在单个子模块中图像尺度最大的分支上，带有从输入特征图至输出特征图的跳跃连接。

步骤23，构建基于注意力机制的多尺度特征融合子模块，以多个尺度图像特征图作为输入，将输入调整为指定尺度后进行加权求和，得到单个指定尺度的输出特征图，具体包括：

步骤231，将输入的各个尺度特征图调整至目标尺度。共分为三种情况：(1)输入特征图尺寸和目标特征图尺寸相同，无需调整；(2)输入特征图尺寸为目标特征图尺寸的2ⁿ,n＝1,2,3,…倍，对输入特征图重复执行n次如下操作：首先通过1×1卷积使特征图通道数加倍，后接池化操作使特征图尺寸减半；(3)输入特征图尺寸为目标特征图的

倍，对输入特征图重复执行n次如下操作：首先通过1×1卷积使特征图通道数减半，随后进行双线性插值使特征图尺寸加倍。得到调整后的特征图记为X'_i,i＝1...K，K为输入的不同尺度特征图数量；

步骤232，在步骤231调整后的各个尺度特征图上进行通道维度的最大池化和平均池化操作，得到2×H×W维度的特征图，H、W分别为特征图高、宽。后接单个卷积核的膨胀卷积，扩大感受野并进一步融合信息，得到表示单尺度空间信息的1×H×W特征图；

步骤233，对步骤232所提取的K个单通道特征图在通道维度上进行拼接，随后接1×1卷积，得到多尺度注意力特征图W_i,i＝1...K；

步骤234，将步骤231调整后的特征图X'_i,i＝1...K通过步骤233所提多尺度注意力特征图W_i,i＝1...K进行加权求和，得到输出特征图Y，公式如下

其中上标j表示特征图的第j个通道，⊙表示哈达玛积，C表示输出特征图通道数。

步骤24，交替堆叠多个并行多尺度特征提取子模块及基于注意力机制的多尺度特征融合子模块。堆叠方式如下：对于第S次堆叠，该阶段的特征提取子模块中包含S+1个分支，后接S+1个特征融合子模块，每个特征融合子模块接收特征提取子模块全部S+1个分支的输出作为输入，并分别得到与输入相同的S+1个尺度的输出。对于最后一次堆叠，仅包含1个特征融合子模块，输入仍为特征提取子模块的全部分支输出，输出尺度为最大的输入特征图尺度。每进行一次堆叠，在下一阶段特征提取子模块中增加一个分支，该分支的输入由当前阶段特征提取子模块的最小尺度分支输出经卷积和下采样获得。

步骤25，对原始输入图像做初步调整，首先通过双卷积子模块进行初步特征提取，随后接步长为2的3×3卷积，使特征图尺寸减半通道数加倍，减小网络整体参数。后接不同操作产生分割网络主干两个分支的输入特征图：一是接步长为1的3×3卷积，不改变特征图尺寸，将特征图通道数调整至基准通道数C_base，二是接步长为2的3×3卷积，使特征图尺寸减半，通道数调整至基准通道数的两倍。将调整得到的两个不同尺度特征图输入到堆叠特征提取和特征融合子模块构成的分割网络主干中，获取分割网络主干输出；

步骤26，对步骤25所述网络主干输出进行上采样，随后通过双卷积子模块进一步提取特征并通过1×1卷积变换特征图通道数，得到分割网络输出。

步骤3，以训练集作为输入，对浮选泡沫图像分割深度神经网络模型进行训练；

在上述实施例的基础上，所述步骤3具体包括：

以训练集作为输入，对浮选泡沫图像分割深度神经网络模型进行3次特征提取和特征融合子模块的堆叠，基准通道数C_base为64，并按照如下方式进行训练：

采用Dice Loss损失函数，表达式如下：

其中，P表示预测标签，R表示真实标签，|P∩R|表示对应元素点乘后相加求和，|·|表示各元素求和，使用Adam优化器更新训练权重，按照以下公式调整学习率：

其中，lr(epoch)表示迭代至第epoch次的学习率，

表示向下取整，n_max表示最大迭代次数。

具体实施时，训练图像分割网络，以步骤1所述训练集作为输入，对进行了3次特征提取和特征融合子模块堆叠，且基准通道数C_base为64的分割网络模型进行训练；输入图像经过输入调整模块初步提取特征并下采样至256×256像素尺寸，随后分别接步长为1、卷积核个数为64以及步长为2、卷积核个数为128的卷积操作，得到两个尺度的特征图作为分割网络主干输入；分割网络主干接收两个尺度的特征图输入后，在特征提取子模块的两个分支上同步提取特征，随后在特征融合子模块完成不同尺度特征的加权求和，与此同时特征提取子模块的输出会经过下采样产生另一尺度特征图作为后续特征提取子模块的输入；重复进行特征提取及特征融合过程，使不同尺度关注的空间信息融合互补，最终得到256×256像素尺寸的分割网络主干输出，经输出调整模块上采样至512×512像素尺寸并变换通道数，得到模型预测标签；随后，采用Dice Loss损失函数计算预测标签和真实标签的差异程度，表达式如下：

其中，P表示预测标签，R表示真实标签，|P∩R|表示对应元素点乘后相加求和，|·|表示各元素求和，使用Adam优化器更新训练权重，使更新后的权重对应的分割网络输出计算得到的Dice损失逐渐减小；通过调整学习率控制模型权重的更新速度，在模型训练初期采用较大的学习率使权重快速更新，加快模型的收敛速度，随后逐步减小学习率，防止模型在最优权重附近发生震荡，优化模型的精度，学习率调整公式如下：

其中，lr(epoch)表示迭代至第epoch次的学习率，

表示向下取整，n_max表示最大迭代次数。

步骤4，获取待分割的浮选泡沫图像并裁剪至指定尺寸，随后输入到训练完成的浮选泡沫图像分割深度神经网络模型，得到分割结果。

具体实施时，当对所述浮选泡沫图像分割深度神经网络模型训练完成后，可以获取待分割的浮选泡沫图像输入工业计算机，工业计算机将输入图像裁剪至指定尺寸，随后输入到训练完成的分割网络，获取分割网络输出作为分割结果。

本实施例提供的基于多尺度特征提取与融合的钾盐浮选泡沫图像分割方法，通过结合钾盐浮选泡沫图像中多尺度、弱边缘的形态特征进行泡沫分割深度网络的构建，在分割标签制作困难造成标签数据集少的情况下较为准确地实现了泡沫图像的分割；设计了堆叠残差块构成的并行多尺度特征提取子模块，在特征提取过程中逐步将特征图尺寸减半，通道数加倍，使网络的感受野逐渐扩大，更好地捕捉尺寸较大的泡沫边缘，在下采样进行特征提取的同时，仍保持高分辨率特征图上的特征提取同步进行，以避免小泡沫边缘信息的丢失。通过并行在多个尺度上提取特征，使网络能够取得较大感受野的同时较好地降低了图像信息的损失，兼顾了不同尺度泡沫特征的学习；针对提取到的多个尺度特征图，考虑到不同尺度关注的空间信息存在一定差异，尺度较大的特征图中因为包含了更多细节信息，对识别小物体更有利，反之尺度较小的特征图能更好地识别大物体，设计了基于注意力机制的多尺度特征融合子模块，让网络自身学习各个尺度关注的空间信息并赋予不同权重进而加权求和，实现特征的融合互补，提高了钾盐浮选泡沫图像的分割精准度。

为了进一步说明本公开实施例的方法的有益效果，图5展示了不同方法针对512×512像素尺寸泡沫图像的分割效果对比，其中(a)、(b)分别为原始泡沫图像及人工标注的真实标签，(c)～(f)分别为SegNet、U-Net、DeepLab-v3+以及本发明所提方法的泡沫分割效果，从图中可见，本发明所提方法能够较为准确地进行不同尺寸大小泡沫的分割，与此同时在粘连紧密的成片泡沫中也能够更为精准地识别出泡沫的边缘，相较于其他方法效果更佳。为了对不同方法的优异进行定量评估，本发明针对泡沫图像分割的直接应用，即尺寸特征提取，使用了分割结果提取的气泡个数以及和真实标签之间气泡平均尺寸的相对误差Er和绝对误差Ea来判断分割算法的优劣。

其中

E_a＝mean_gt-mean_pre，mean_gt、mean_pre分别表示真实标签和分割算法输出结果的平均气泡尺寸(以像素为单位)。所提气泡个数越接近真实标签、气泡平均尺寸的误差绝对值越小，说明所提的尺寸特征越准确，也即分割网络更好地学习到了泡沫图像的特征。表1展示了上述四种分割方法的评估结果，实验结果表明本发明所提方法预测气泡个数(140个)最接近实际气泡个数(158个)，气泡平均尺寸相对误差的绝对值为2.997％，绝对误差的绝对值为36.325像素，远小于其他方法，可见本发明所提方法能够更加准确的分割泡沫图像。

表1

综上可知，所述一种基于多尺度特征提取与融合的钾盐浮选泡沫图像分割方法，具有以下优点：

(1)本发明结合钾盐浮选泡沫图像中多尺度、弱边缘的形态特征进行泡沫分割深度网络的构建，在分割标签制作困难造成标签数据集少的情况下较为准确地实现了泡沫图像的分割；

(2)本发明设计了堆叠残差块构成的并行多尺度特征提取子模块，在特征提取过程中逐步将特征图尺寸减半，通道数加倍，使网络的感受野逐渐扩大，更好地捕捉尺寸较大的泡沫边缘。在下采样进行特征提取的同时，仍保持高分辨率特征图上的特征提取同步进行，以避免小泡沫边缘信息的丢失。通过并行在多个尺度上提取特征，使网络能够取得较大感受野的同时较好地降低了图像信息的损失，兼顾了不同尺度泡沫特征的学习；

(3)本发明针对提取到的多个尺度特征图，考虑到不同尺度关注的空间信息存在一定差异，尺度较大的特征图中因为包含了更多细节信息，对识别小物体更有利，反之尺度较小的特征图能更好地识别大物体，设计了基于注意力机制的多尺度特征融合子模块，让网络自身学习各个尺度关注的空间信息并赋予不同权重进而加权求和，实现特征的融合互补。

本发明的上述实施例所述的一种基于多尺度特征提取与融合的钾盐浮选泡沫图像分割方法，根据钾盐浮选泡沫图像展现出的泡沫形态特点进行分割网络的构建，精准地进行了泡沫图像的分割，为后续尺寸特征参数的提取打下良好基础，进一步地，可为钾盐浮选相关的工况识别、品位预测、操作优化等应用提供重要的状态信息。

应当理解，本公开的各部分可以用硬件、软件、固件或它们的组合来实现。

以上所述，仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以权利要求的保护范围为准。

Claims (9)

1.一种基于多尺度特征提取与融合的钾盐浮选泡沫图像分割方法，其特征在于，包括：

步骤1，采集钾盐粗选过程的泡沫图像，标注泡沫图像中各个泡沫边缘的多个像素点获取泡沫所在区域，进而得到语义分割标签图像后，由泡沫图像和语义分割标签图像构建原始数据集，并扩充原始数据集的样本，划分为训练集和测试集；

步骤2，构建浮选泡沫图像分割深度神经网络模型，其中，浮选泡沫图像分割深度神经网络模型包括交替堆叠并行多尺度特征提取子模块和基于注意力机制的多尺度特征融合子模块构成的分割网络主干、输入调整模块和输出调整模块；

步骤3，以训练集作为输入，对浮选泡沫图像分割深度神经网络模型进行训练；

步骤4，获取待分割的浮选泡沫图像并裁剪至指定尺寸，随后输入到训练完成的浮选泡沫图像分割深度神经网络模型，得到分割结果。

2.根据权利要求1所述的方法，其特征在于,所述步骤1具体包括：

步骤1.1，采集钾盐粗选浮选槽泡沫图像并裁剪至730×730像素尺寸；

步骤1.2，通过图像标注软件对步骤1.1所得图像进行精细分割标签的制作，通过标注图像中各个泡沫边缘的若干像素点并连接成封闭图形，获取泡沫所在区域，进而得到语义分割标签图像，由泡沫图像和语义分割标签图像构建原始数据集；

步骤1.3，借助平移、旋转、添加噪声、仿射变换等手段，对原始数据集进行扩充，对扩充后的数据集进行裁剪，得到中心区域512×512像素尺寸的图像划分为训练集和测试集。

3.根据权利要求2所述的方法，其特征在于,所述步骤2具体包括：

步骤2.1，构建带残差连接的双卷积子模块；

步骤2.2，构建并行多尺度特征提取子模块，包括多个尺度特征提取分支，每个尺度特征提取分支由堆叠的双卷积子模块构成，单个尺度特征提取分支的输入和输出特征图尺寸、通道数均相同，相邻尺度特征提取分支的输入特征图之间为尺寸减半、通道数加倍的关系；

步骤2.3，构建基于注意力机制的多尺度特征融合子模块，以多个尺度图像特征图作为输入，将输入调整为指定尺度后进行加权求和，得到单个指定尺度的输出特征图；

步骤2.4，交替堆叠多个并行多尺度特征提取子模块及基于注意力机制的多尺度特征融合子模块；

步骤2.5，对原始输入图像做初步调整，输入至分割网络主干中，获取分割网络主干输出；

步骤2.6，对步骤2.5的分割网络主干输出进行上采样后，通过双卷积子模块进一步提取特征并通过1×1卷积变换特征图通道数，得到浮选泡沫图像分割深度神经网络模型输出。

4.根据权利要求3所述的方法，其特征在于,所述步骤2.1的双卷积子模块通过以下公式进行：

Y＝ReLU(BN(W₂(ReLU(BN(W₁X))))+X)

其中，X、Y分别表示输入、输出特征图，W₁、W₂分别表示第一个、第二个3×3卷积的卷积核权重，BN表示批量归一化，ReLU表示逐像素执行ReLU激活函数，表达式为

5.根据权利要求4所述的方法，其特征在于,所述步骤2.2中，并行多尺度特征提取子模块在图像尺度最大的分支上带有从输入特征图至输出特征图的跳跃连接。

6.根据权利要求5所述的方法，其特征在于,所述步骤2.3具体包括：

步骤2.3.1，将输入的各个尺度特征图调整至目标尺度，得到调整后的特征图记为X'_i,i＝1...K，K为输入的不同尺度特征图数量；

步骤2.3.2，在步骤2.3.1调整后的各个尺度特征图上进行通道维度的最大池化和平均池化操作，得到2×H×W维度的特征图，H、W分别为特征图高、宽，后接单个卷积核的膨胀卷积，扩大感受野并进一步融合信息，得到表示单尺度空间信息的1×H×W特征图；

步骤2.3.3，对步骤2.3.2所提取的K个单通道特征图在通道维度上进行拼接，随后接1×1卷积，得到多尺度注意力特征图W_i,i＝1...K；

步骤2.3.4，将步骤2.3.1调整后的特征图X'_i,i＝1…K通过步骤2.3.3所提多尺度注意力特征图W_i,i＝1…K进行加权求和，得到输出特征图Y，公式如下

其中上标j表示特征图的第j个通道，⊙表示哈达玛积，C表示输出特征图通道数。

7.根据权利要求6所述的方法，其特征在于,所述步骤2.4具体包括：

步骤2.4.1，对于第S次堆叠，该阶段的特征提取子模块中包含S+1个分支，后接S+1个特征融合子模块，每个特征融合子模块接收特征提取子模块全部S+1个分支的输出作为输入，并分别得到与输入相同的S+1个尺度的输出，对于最后一次堆叠，包含1个特征融合子模块，输入为特征提取子模块的全部分支输出，输出尺度为最大的输入特征图尺度；

步骤2.4.2，每进行一次堆叠，在下一阶段特征提取子模块中增加一个分支，该分支的输入由当前阶段特征提取子模块的最小尺度分支输出经卷积和下采样获得。

8.根据权利要求7所述的方法，其特征在于,所述步骤2.5具体包括：

步骤2.5.1，通过双卷积子模块进行初步特征提取；

步骤2.5.2，接步长为2的3×3卷积将特征图尺寸减半通道数加倍，减小网络整体参数；

步骤2.5.3，将步骤2.5.2的输出特征图接步长为1的3×3卷积，不改变特征图尺寸，将特征图通道数调整至基准通道数C_base，以及，将步骤2.5.2的输出特征图接步长为2的3×3卷积将特征图尺寸减半，调整通道数至基准通道数的两倍，得到分割网络主干两个分支的输入特征图；

步骤2.5.4，将步骤2.5.3调整得到的两个不同尺度特征图输入至分割网络主干，获取分割网络主干输出。

9.根据权利要求8所述的方法，其特征在于,所述步骤3具体包括：

以训练集作为输入，对浮选泡沫图像分割深度神经网络模型进行3次特征提取和特征融合子模块的堆叠，基准通道数C_base为64，并按照如下方式进行训练：

采用Dice Loss损失函数，表达式如下：

其中，P表示预测标签，R表示真实标签，|P∩R|表示对应元素点乘后相加求和，|·|表示各元素求和，使用Adam优化器更新训练权重，按照以下公式调整学习率：

其中，lr(epoch)表示迭代至第epoch次的学习率，

表示向下取整，n_max表示最大迭代次数。

Images