CN110245672B - 基于快速视网膜特征点匹配及多尺度分割的浮选破碎气泡检测方法 - Google Patents

Abstract

本发明涉及一种基于快速视网膜特征点匹配及多尺度分割的浮选破碎气泡检测方法，首先采集连续两帧浮选气泡图像，对两帧气泡图像进行NSST分解，在多尺度高频子带进行气泡边缘检测及融合，并提取后一帧图像各个分割气泡的中心点；其次采用改进的FREAK采样模型对两帧图像进行特征点描述及匹配，根据前一帧分割气泡周围匹配点分布密度提取候选破碎气泡；最后将后一帧图像各个分割气泡的中心点映射到前一帧分割图像中，统计候选破碎气泡包含的中心点数；将包含多个中心点或无中心点的候选破碎气泡判为破碎气泡。本发明改进的FREAK算法的匹配效果和实时性强，破碎气泡检测方法受光照和运动变化的影响小，能有效提取出各个破碎气泡。

Description

基于快速视网膜特征点匹配及多尺度分割的浮选破碎气泡检 测方法

技术领域

本发明涉及浮选气泡检测技术领域，特别是基于快速视网膜特征点匹配及多尺度分割的浮选破碎气泡检测方法。

背景技术

浮选气泡的稳定性影响了回收率、精矿品位等生产指标性能，精确地提取破碎气泡对于浮选生产指标预测模型的建立至关重要，但是气泡时刻发生着位移、形变、破裂等变化，而且采集的图像受光照影响，导致破碎气泡检测困难。目前，国内外主要采用帧差异和特征点匹配两种检测方法：帧差异法先对相邻图像帧进行位移校正再求差，将差值图像中的高亮区域判为相应的崩塌气泡，检测精度受气泡形变和光照的影响，形变气泡的亮点和高亮边缘易被误检；特征点匹配法是将SIFT匹配算法应用到破碎气泡检测中，通过两帧图像的匹配结果估算破碎率，但精度受限于判断阈值的选取，存在一定误差,且SIFT算法实时性不强。

2012年，Alahi等在CVPR大会上提出了快速视网膜关键点(FREAK)算法，采用类似人体视网膜的二进制描述子，该算法定位精度高、计算快的优点使其在实时性要求高的场合得到广泛应用，FREAK可解决SIFT在实时性方面的不足，但是特征点匹配法精度不高。

发明内容

有鉴于此，本发明的目的是提出一种基于快速视网膜特征点匹配及多尺度分割的浮选破碎气泡检测方法，匹配效果和实时性强，破碎气泡检测方法受光照和运动变化的影响小，能有效提取出各个破碎气泡。

本发明采用以下方案实现：一种基于快速视网膜特征点匹配及多尺度分割的浮选破碎气泡检测方法，具体包括以下步骤：

步骤S1：采集连续两帧浮选气泡图像，对两帧气泡图像进行NSST分解，在多尺度高频子带进行气泡边缘检测及融合，并提取后一帧图像各个分割气泡的中心点；

步骤S2：采用改进的FREAK采样模型对两帧图像进行特征点描述及匹配，根据前一帧分割气泡周围匹配点分布密度提取候选破碎气泡；

步骤S3：将后一帧图像各个分割气泡的中心点映射到前一帧分割图像中，统计候选破碎气泡包含的中心点数；将包含多个中心点或无中心点的候选破碎气泡判为破碎气泡。

进一步地，步骤S1具体包括以下步骤：

步骤S11：连续采集两帧浮选气泡图像I_t和I_t+1，对I_t和I_t+1进行NSST多尺度分解，分别得到1个低频图像和k个高频子带图像，通过下式在各尺度高频子带进行气泡边缘检测：

式中，

表示k尺度上(i，j)点上的一个方向分量；采用上式对其中任何一个方向分量

与其他方向分量的模值进行比较，选出模值最大的分量，并将其他分量置零；

步骤S12：计算模极大值

方向上临近点系数的加权平均值，进行气泡边缘系数判断，分解的尺度越多边缘越细

步骤S13：进行多尺度边缘融合及形态学处理，分割出各个气泡区域，并提取I_t+1图像各个分割气泡的中心点。

进一步地，步骤S2具体包括以下步骤：

步骤S21：FREAK描述符是通过采样点对的强度比较级联而成的一个二进制数据串，假设某采样点的描述符为F，采用以下两个式子对相邻两帧图像I_t和I_t+1的各特征点采用改进的FREAK采样模型进行描述：

式中，P_a表示采样点的位置，a表示二进制字符的位值，A表示描述符长度，

和

是两个采样点区域的灰度值；

步骤S22：对于I_t的任何特征点p，计算p与I_t+1中各待匹配点的汉明距离HF，找到汉明距离最近的待匹配点p₁和近次的待匹配点p₂，并将p₁、p₂与p的汉明距离分别记为HF₁和HF₂，如果满足HF₁/HF₂＜0.6，则接受p₁为匹配点；

步骤S23：将匹配结果中一定长度和斜率范围的点作为RANSAC算法的内点，进一步剔除误匹配点，并计算匹配点间的平均位移d；

步骤S24：对I_t中的各分割气泡，统计以分割气泡的质心为圆心、2.0倍半径的圆形区域内的匹配点数，如果匹配点数为零，则该气泡为候选破碎气泡。

进一步地，步骤S3具体包括以下步骤：

步骤S31：根据匹配点间的平均位移d对I_t+1中各分割气泡的中心点位置进行校正，然后映射到I_t分割图像中，统计候选破碎气泡包含的中心点数；

步骤S32：将包含多个中心点或无中心点的候选破碎气泡判为最终的破碎气泡。

与现有技术相比，本发明有以下有益效果：本发明方法改进的FREAK算法的匹配效果和实时性强，破碎气泡检测方法受光照和运动变化的影响小，能有效提取出各个破碎气泡，检测精度较现有方法有较大提高，能定量表征各生产工况下气泡的稳定性，且在不同工况下均表现出良好的鲁棒性，为后续浮选生产回收率、精矿品位等生产指标预测提供基础。

附图说明

图1为本发明实施例的泡沫图像NSST分解流程示意图

图2为本发明实施例的简化的FREAK采样模型。

图3为本发明实施例的方法原理流程示意图。

图4为本发明实施例的破碎气泡提取结果及对比示意图。其中(a)为图像I_t和I_t+1，(b)为特征点提取，(c)为改进FREAK描述及匹配，(d)为图像I_t和I_t+1分割结果，(e)I_t+1为气泡中心点提取，(f)为I_t匹配点分布，(g)为候选破碎气泡，(h)为最终破碎气泡提取，(i)为帧差异法提取结果，(j)为SIFT匹配法提取结果。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

如图3所示，本实施例提供了一种基于快速视网膜特征点匹配及多尺度分割的浮选破碎气泡检测方法，具体包括以下步骤：

步骤S1：采集连续两帧浮选气泡图像，对两帧气泡图像进行NSST分解，在多尺度高频子带进行气泡边缘检测及融合，并提取后一帧图像各个分割气泡的中心点；

步骤S2：采用改进的FREAK采样模型对两帧图像进行特征点描述及匹配，根据前一帧分割气泡周围匹配点分布密度提取候选破碎气泡；

步骤S3：将后一帧图像各个分割气泡的中心点映射到前一帧分割图像中，统计候选破碎气泡包含的中心点数；将包含多个中心点或无中心点的候选破碎气泡判为破碎气泡。

在本实施例中，步骤S1具体包括以下步骤：

步骤S11：连续采集两帧浮选气泡图像I_t和I_t+1，对I_t和I_t+1进行NSST多尺度分解，分别得到1个低频图像和k个高频子带图像(其中浮选泡沫图像的NSST分解流程如图1所示)，然后采用剪切滤波器(SF)对高频子带进行l级多方向分解，得到个大小与原图像相同的多方向子带。分解后的低频子带包含图像的大部分能量，保留了图像的近似特征，各高频方向子带包含了气泡的边界、纹理细节以及噪声。因此，在多尺度高频子带进行气泡边缘检测，以提取不同大小气泡的粗细边缘，然后将多尺度边缘进行融合。对各尺度高频子带先采用方向模极大值进行边缘检测，假设k尺度上点包含

个方向分量，对其中任何一个方向分量

与其他方向分量的模值进行比较，选出模值最大的分量，并将其他分量置零：

式中，

表示k尺度上(i，j)点上的一个方向分量；

步骤S12：经过方向模极大值检测后的边缘信息，包含了气泡边缘和干扰信息，需进一步检测。气泡图像NSST分解后的高频子带边缘系数，系数大的对应着强边缘，系数小对应着弱边界，边缘线上的系数值较邻域系数都高。因此，计算模极大值

方向上临近点系数的加权平均值，进行气泡边缘系数判断，以0°方向检测为例：

分解的尺度越多边缘越细，上式中用分解尺度k控制比较范围以提取微弱边界,如果C₁≥0,C₂≥0,C₃＞0,C₄＞0,则判定该方向具有边缘特性，该点为气泡边缘点。

步骤S13：进行多尺度边缘融合及形态学处理，分割出各个气泡区域，并提取I_t+1图像各个分割气泡的中心点。具体为：采用形态学对融合的边缘进行细化，然后直接去除孤立点和毛刺，而如果短线处于闭合边界内部，且短线长度小于闭合边界的短轴半径，则判定为伪边界直接去除，否则将短线与最近的边界点进行连接。最后将断开的边缘进行连接，提取各个气泡。

较佳的，在本实施例中，FREAK算法采用二进制数字符描述特征，大大降低了匹配时间，但是采用加速分割算法检测特征点，对尺度变化较为敏感，借鉴BRISK算法的特征点检测方法，在尺度空间上进行特征点检测，尺度空间分解为多个内层和外层，在各内层上检测兴趣点，然后在本层和上下层通过非极大值抑制提取特征点，使特征点具有尺度不变性。FREAK算法是基于人类视网膜成像原理而提出的特征描述方法，借鉴人眼的中央视觉细胞与周缘视觉细胞的关系，构建了快速视网膜关键点采样模型，该模型由7层同心圆环构成，每层都带有6个采样点，离中心附近的采样点密集，有利于提取更多的细节信息，而外围的采样点稀疏，便于捕捉更多的轮廓信息。为提高在线检测的实时性，对FREAK采样模型进行简化，如图2所示，将原有7层同心圆环的采样模型简化为4层，减少采样点数、提高效率，也能减少误匹配点数。

在本实施例中，步骤S2具体包括以下步骤：

步骤S21：FREAK描述符是通过采样点对的强度比较级联而成的一个二进制数据串，假设某采样点的描述符为F，采用以下两个式子对相邻两帧图像I_t和I_t+1的各特征点采用改进的FREAK采样模型进行描述：

式中，P_a表示采样点的位置，a表示二进制字符的位值，A表示描述符长度，

和

是两个采样点区域的灰度值；采用异或操作计算两特征点对应描述符F₁和F₂之间的汉明距离HF,用于衡量两个特征点间的近似度，值越大代表相似度越小，反之越大：

步骤S22：对相邻两帧图像I_t和I_t+1的各特征点采用改进的FREAK采样模型进行描述，对于I_t的任何特征点p，计算p与I_t+1中各待匹配点的汉明距离HF，找到汉明距离最近的待匹配点p₁和近次的待匹配点p₂，并将p₁、p₂与p的汉明距离分别记为HF₁和HF₂，如果满足HF₁/HF₂＜0.6，则接受p₁为匹配点；

步骤S23：将匹配结果中一定长度和斜率范围的点作为RANSAC算法的内点，进一步剔除误匹配点，并计算匹配点间的平均位移d；

步骤S24：气泡破碎可能带动周围气泡产生破碎或形变，使得破碎气泡以及外围气泡区域的匹配点数急剧下降。因此，对I_t中的各分割气泡，统计以分割气泡的质心为圆心、2.0倍半径的圆形区域内的匹配点数，如果匹配点数为零，则该气泡为候选破碎气泡。

在本实施例中，步骤S3具体包括以下步骤：

步骤S31：根据匹配点间的平均位移d对I_t+1中各分割气泡的中心点位置进行校正，然后映射到I_t分割图像中，统计候选破碎气泡包含的中心点数；

步骤S32：将包含多个中心点或无中心点的候选破碎气泡判为最终的破碎气泡。

具体的，本实施例以福建金东矿业股份有限公司的铅矿浮选槽作为试验对象，选取产生破碎的前后两帧256×256图像I_t和I_t+1进行试验，结果如图4所示。采集的连续两帧图像I_t和I_t+1如图4中的(a),I_t+1中有部分气泡产生了破碎，图像I_t和I_t+1的特征点检测结果如图4中的(b)，改进FREAK算法特征描述及匹配结果如图4中的(c)，破碎气泡区域的图像信息发生巨大变化，使得破碎气泡及周围不存在匹配点，根据匹配结果计算两帧图像的平均位移d＝4.13。对图像I_t和I_t+1进行NSST多尺度分解，然后在多尺度高频子带进行边缘检测及融合，气泡分割结果如图4中的(d)，并提取图像各个分割气泡的中心点，中心点标注如图4中的(e)。将改进FREAK匹配点对映射到I_t的气泡分割图像上，如图4中的(f)所示，对I_t中的各分割气泡，搜索分割区域内的匹配点数，如果无匹配点，则该气泡为候选破碎气泡，检测结果如图4中的(g)的浅灰色区域。对I_t中的各个候选破碎气泡，根据匹配点间的平均位移d对I_t+1中各分割气泡的中心点位置进行校正，然后映射到I_t分割图像中，统计候选破碎气泡包含的中心点数，将包含多个中心点或无中心点的候选破碎气泡判为最终的破碎气泡，破碎气泡检测结果如图4中的(h)的深灰色区域。

采用人工选取破碎气泡而计算得到的破碎气泡占所有气泡的比例P_b＝26.53％，本实施例根据破碎气检测结果计算得到破碎率P_b＝28.35％，误差较小。帧差异法先对I_t和I_t+1进行位移校正再求差，将差值图像中的高亮区域判为崩塌气泡，结果如图4中的(i)所示，由于受光照、整体运动不均匀性的影响，I_t和I_t+1的大气泡浅色区域、浅色边缘区域易发生偏移，使得差值图像中的高亮区域增多，检测的P_b＝35.52％，误判的破碎气泡较多。SIFT匹配方法通过I_t和I_t+1的特征点匹配结果估算破碎气泡比例，结果如图4中的(j)所示，当判断阈值取0.12，计算的P_b＝40.83％，该方法受限于判断阈值的选取,误差较大、实用性不强。综上分析，本实施例受光照、运动形变、运动不均匀的影响小，能准确提取各个破碎气泡，检测精度高、实用性强。

将本实施例进行工业现场试验，选取正常浮选、过浮选和欠浮选三种工况下的气泡视频图像进行实验，以专家人工标注方法计算的破碎气泡比率为标准，采用破碎率P_b和误差绝对值E_b对实验结果进行评估，并与现有方法进行比较分析，统计结果如表1所示。试验数据表明：正常浮选下泡沫流动速度中等且方向稳定，帧差异法受光照和运动形变影响，SIFT匹配法受限于判断阈值的选取，都存在一定的误差，而本发明受影响小，检测精度较高；过浮选下气泡流动缓慢而造成堆积，相邻两帧图像的信息变化较小，帧差异法受运动影响小，而SIFT算法的匹配点数上升，检测精度都有一定提高；欠浮选下泡沫快速运动且变化大，运动方向不稳定，导致帧差异法和SIFT匹配法的检测精度急剧下降，而本发明仍保持较高的精度。综上分析，本发明检测的破碎率能定量表征各工况下浮选气泡的稳定性，且在不同浮选工况下均表现出良好的鲁棒性。

表1气泡破碎率检测结果客观评价

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。

Claims (3)

1.一种基于快速视网膜特征点匹配及多尺度分割的浮选破碎气泡检测方法，其特征在于，包括以下步骤：

步骤S1：采集连续两帧浮选气泡图像，对两帧气泡图像进行NSST分解，在多尺度高频子带进行气泡边缘检测及融合，并提取后一帧图像各个分割气泡的中心点；

步骤S2：采用改进的FREAK采样模型对两帧图像进行特征点描述及匹配，根据前一帧分割气泡周围匹配点分布密度提取候选破碎气泡；

步骤S3：将后一帧图像各个分割气泡的中心点映射到前一帧分割图像中，统计候选破碎气泡包含的中心点数；将包含多个中心点或无中心点的候选破碎气泡判为破碎气泡；

其中，步骤S2具体包括以下步骤：

步骤S21：FREAK描述符是通过采样点对的强度比较级联而成的一个二进制数据串，假设某采样点的描述符为F，采用以下两个式子对相邻两帧图像I_t和I_t+1的各特征点采用改进的FREAK采样模型进行描述：

式中，P_a表示采样点的位置，a表示二进制字符的位值，A表示描述符长度，

和

是两个采样点区域的灰度值；

步骤S22：对于I_t的任何特征点p，计算p与I_t+1中各待匹配点的汉明距离HF，找到汉明距离最近的待匹配点p₁和近次的待匹配点p₂，并将p₁、p₂与p的汉明距离分别记为HF₁和HF₂，如果满足HF₁/HF₂＜0.6，则接受p₁为匹配点；

步骤S23：将匹配结果中一定长度和斜率范围的点作为RANSAC算法的内点，进一步剔除误匹配点，并计算匹配点间的平均位移d；

步骤S24：对I_t中的各分割气泡，统计以分割气泡的质心为圆心、2.0倍半径的圆形区域内的匹配点数，如果匹配点数为零，则该气泡为候选破碎气泡。

2.根据权利要求1所述的基于快速视网膜特征点匹配及多尺度分割的浮选破碎气泡检测方法，其特征在于，步骤S1具体包括以下步骤：

步骤S11：连续采集两帧浮选气泡图像I_t和I_t+1，对I_t和I_t+1进行NSST多尺度分解，分别得到1个低频图像和k个高频子带图像，通过下式在各尺度高频子带进行气泡边缘检测：

式中，

表示k尺度上(i，j)点上的一个方向分量；采用上式对其中任何一个方向分量

与其他方向分量的模值进行比较，选出模值最大的分量，并将其他分量置零；

步骤S12：计算模极大值

方向上临近点系数的加权平均值，进行气泡边缘系数判断，分解的尺度越多边缘越细；

步骤S13：进行多尺度边缘融合及形态学处理，分割出各个气泡区域，并提取I_t+1图像各个分割气泡的中心点。

3.根据权利要求1所述的基于快速视网膜特征点匹配及多尺度分割的浮选破碎气泡检测方法，其特征在于，步骤S3具体包括以下步骤：

步骤S31：根据匹配点间的平均位移d对I_t+1中各分割气泡的中心点位置进行校正，然后映射到I_t分割图像中，统计候选破碎气泡包含的中心点数；

步骤S32：将包含多个中心点或无中心点的候选破碎气泡判为最终的破碎气泡。

Images