CN109410248B - 一种基于r-K算法的浮选泡沫运动特征提取方法 - Google Patents

Abstract

本发明公开了一种基于r‑K算法的浮选泡沫运动特征提取方法。该方法思想为：首先使用工业照相机获取动态浮选泡沫图像，使用加速鲁棒特性算子提取浮选泡沫图像的特征点，然后结合随机一致性算法和滤波算法对浮选泡沫图像的特征点进行匹配，在该方法的基础上计算浮选泡沫运动的速度和熵，验证该方法的可行性和有效性，工业实验数据仿真结果表明，该方法算法复杂度低，特征点匹配率高，鲁棒性强，能够有效的提取出浮选泡沫的动态特征，本发明适用于金锑浮选生产过程，可用于金锑浮选过程生产工况识别模型的建立，对于降低工况误判率，提高金锑精矿品位，节约能源减少药剂添加量，减少环境污染，实现金锑浮选工艺条件的优化有重要意义。

Description

一种基于r-K算法的浮选泡沫运动特征提取方法

技术领域

本发明涉及图像处理技术等领域，特别涉及一种基于r-K算法的浮选泡沫运动特征提取方法。

背景技术

浮选是一种应用最为广泛的选矿方法，其作用在于将有用矿物从矿石中分离出来。一直以来，选厂的生产操作都是依靠有经验的工人对浮选泡沫进行肉眼观察完成，对泡沫的判断缺乏客观标准，使得人工观测为主的矿物浮选过程难以处于稳定的最优运行状态。采用机器视觉代替人类视觉,利用图像处理技术从泡沫图像中提取出最为显著、有效的视觉特征，对浮选泡沫进行客观描述，能为矿物浮选过程实现实时控制与优化提供操作指导。

随着计算机技术的快速发展，数字图像处理技术在浮选控制中的应用取得了较好的浮选结果。但是，不同矿物浮选所呈现的泡沫状态可能完全不一样，在金锑浮选中，浮选泡沫的运动特征直接反应了浮选性能的好坏，浮选泡沫的运动特征一般包括泡沫运动速度、泡沫稳定度等，但现存的浮选泡沫运动特征提取方法还有许多问题，比如计算精度低，提取特征点不足，仅能计算整体运动趋势，而不能计算内部运动趋势等。

发明内容

为克服现有方法中存在的上述问题，本发明提供一种基于r-K算法的浮选泡沫运动特征提取方法。

本发明解决上述问题的技术方案是：一种基于r-K算法的浮选泡沫运动特征提取方法，其步骤为：

1)使用工业照相机获取浮选泡沫的运动图像；

2)对浮选泡沫图像进行特征点的提取；使用SURF算法提取浮选泡沫图像的特征点，具体内容包括：

特征点检测与定位：构建Hessian矩阵

用于特征点的检测和提取，x表示特征点坐标，σ表示尺度，L_xx(x,σ)是输入图像I与高斯二阶微分

的卷积，g(σ)为高斯函数，L_xy(x,σ)、L_yy(x,σ)分别表示输入图像I与高斯二阶微分的卷积。为了定位特征点，运用3维空间上的非极大值抑制法寻找极值点。即将Hessian矩阵特征点与以该点为中心的3×3×3尺度空间的其他26个值比较，只有该点比其他值都大或都小时，才为局部极值点；然后在尺度空间及图像空间中进行插值，最终得到特征点位置和所在尺度值。

生成特征点描述算子：在已得到的特征点为中心的60度扇形区域内，计算所有点水平、垂直方向上的Haar小波特征总和。将π/3范围内的所有Haar小波dx，dy相加形成一个新的矢量(m_w,θ_w)，其中m_w＝∑_w dx+∑_w dy，

以步长0.2rad遍历整个圆形区域，最长矢量代表该特征点的主方向。然后，以该特征点为中心将坐标轴旋转到主方向，选取20s×20s的正方形区域，其中s为特征点的尺度，划分成4×4共16个的正方形子窗口，每个子窗口边长为5s；再利用尺度为2s的Haar小波模板获得沿主方向和垂直于主方向的高斯加权dx和dy。最后，在每个正方形内，对Haar小波在x和y方向的响应求和，形成四维向量v＝[∑dx∑|dx|∑dy∑|dy|]，归一化后形成16×4共64维SURF描述算子；

3)提取特征点后，使用r-K算法进行特征点的匹配：首先在浮选泡沫视频的前两帧使用RANSAC算法筛选匹配点得到初始数据；具体的RANSAC算法为：①估计模型参数：假设b是从数据集中选取一个内点的概率，估计该模型需要选定的n个点，p表示在迭代过程中从数据集内随机选取的点均为内点的概率，那么采样次数R需满足：p＝1-(1-bⁿ)^R，

②去除误匹配点：

用单应性矩阵H描述图像之间几何变换关系，具体为

确定H中的8个参数h 0-h 7，将前后两帧图像进行粗匹配，得到N个待匹配点对的集合P；从集合P中随机选取4个点对，计算出H中的8个参数；对于数据集中其余的P-4个特征点对，计算出他们与H之间的距离，记录满足误差允许范围的数据点的个数C。重复①②步骤M次，所求模型即对应C取最大值的模型，集合P中这C个数据点为内点，即为得到的初始数据。

4)然后从视频第二帧开始，继续使用RANSAC算法的同时对获取的图片帧进行子块划分，在子块图的基础上，使用基于Kalman滤波的运动目标跟踪算法。具体流程为：以初始数据作为Kalman滤波器的目标，运用Kalman滤波器实时预测各个目标的运动状态信息；检测出序列图像中每一帧内各个目标的子块位置；匹配子块中提取出的有效特征；

5)当RANSAC算法获得的匹配结果与Kalman算法获得的匹配结果在误差范围内相一致时，停止使用RANSAC算法，Kalman算法单独运行。具体流程为：在特征点的基础上获取观测数据，将该观测数据与Kalman算法获取的预测数据进行匹配，运用匹配成功的状态信息对Kalman滤波器进行修正；以修正后的状态信息作为Kalman滤波器的输入，为预测该目标在下一帧的运动状态信息做准备。观测值为x_observe，y_observe，W_observe，H_observe，对于子块位置的获取，认为子块移动可以由特征点的位移来表示，若在第k帧中L子块中心坐标为(x_kl,y_kl)，可匹配特征点个数为A，特征点坐标为(x_li,y_li)，每个特征点在对应的第k+1帧中的匹配点坐标为(x_mi,y_mi)，可得观测点对于第k帧中L子块宽度为W_init，子块的高度为H_init，其特征点均值坐标为(μ_lx,μ_ly)；对于k+1帧，其特征点均值坐标为(μ_mx,μ_my)，则宽度观测值为高度观测值为

6)建立Kalman滤波器区域预测流程图，扩展的状态转移方程和观测方程为：

其中，x_k，y_k，

W_k，H_k，

分别表示泡沫子块的x坐标、y坐标，x方向速度、y方向速度、泡沫子块宽度、泡沫子块高度、泡沫子块宽度变化率、子块高度变化率。获得子块跟踪的状态转移方程和观测方程后，根据子块配准情况不断更新预测方程，实现各子块的实时跟踪；将观测值放入Kalman滤波中经行迭代，为了克服单帧误差造成的影响，将观测值和算法2获取的预测值进行比较，在误差范围内认为该观测值有效，如果单帧误差大于阈值T超过m次，其中m取25，则当前滤波循环无效，重新开始检测。在区域预测流程图中进行循环，最终得到最优匹配结果；

进一步的，一种基于r-K算法的浮选泡沫运动特征提取方法，其特征在于：在步骤1)的基础上，使用步骤2)中的SURF算法提取浮选泡沫视频帧的特征点，相比于常用是SIFT的算法，SURF算法提取特征点时间更快；

进一步的，一种基于r-K算法的浮选泡沫运动特征提取方法，其特征在于：步骤3)中，前两帧仅使用RANSAC算法提取出匹配对作为初始数据，为下一步Kalman算法提供初始值；

进一步的，一种基于r-K算法的浮选泡沫运动特征提取方法，其特征在于：步骤4)中，浮选泡沫视频从第二帧开始，RANSAC算法和Kalman算法同时运行，对它们分别获取的匹配对进行误差分析；

进一步的，如权利要求4所述的一种基于r-K算法的浮选泡沫运动特征提取方法，其特征在于：在步骤5)中，当步骤4)中的误差分析小于一定值时，停止使用RANSAC算法，Kalman算法独立运行，反复循环最终得到最优结果。

本发明的有益效果在于:一种基于r-K算法的浮选泡沫运动特征提取方法，适合于金锑浮选泡沫的动态特征提取，具有较强的实用性。现场操作人员能快速准确判断金锑浮选粗选过程工况；对规范操作，降低金锑浮选工况误判率，优化金锑浮选流程操作以及稳定金锑浮选产品品位具有重大的意义。

附图说明

图1为SURF滤波器模板。

图2为泡沫图像在不同尺度空间的描述，SURF金字塔构造为4层，每层3组图像。

图3为浮选泡沫图像的原始图和SURF特征点图。

图4为浮选泡沫图像的原始图和子块划分图。

图5为基于Kalman滤波器的区域预测流程图。

图6为现场设备与系统接口图。

图7为本实验的算法流程图。

图8为泡沫在三种不同状态下Kalman匹配结果图。

图9为泡沫在三种不同状态下的速度场特征示意图。

图10为图9中速度场图对应的熵值直方图。

图11为不同工况状态下的泡沫熵值大小曲线图。

图12为不同工况下的泡沫运动速度大小曲线图。

具体实施方式

为了更好的理解本发明的技术方案，以下结合图1至图12以及具体算法对本发明作进一步的阐述。

在泡沫浮选中，泡沫图像的特征的准确提取是实现基于机器视觉的浮选过程自动控制的关键，泡沫图像的特征表现在两个方面，一是静态特征，比如泡沫的大小、形状、颜色特征、纹理特征等；二是动态特征，一般包括泡沫运动速度、泡沫稳定度等。本文以浮选金锑工况为例，针对因局部纹理、颜色等静态特征相似，难以识别出运动紊乱泡沫图像的问题，采用动态特征对其进行工况识别；最后提出一种基于r-K算法的浮选泡沫图像运动特征提取方法，从而得到浮选泡沫的运动特征。此方法为提高金锑精矿品位，实现金锑浮选生产操作的优化提供帮助。

对于基于r-K算法的浮选泡沫运动特征提取方法，其思路是首先使用SURF算子提取浮选泡沫图像的特征点，然后使用r-K算法对已获取的特征点进行匹配。下面对这种基于r-K算法的浮选泡沫运动特征提取方法做出更为详细的说明。

如图1所示为滤波器模板；

如图2所示为泡沫图像在不同尺度空间的描述，SURF金字塔构造为4层，每层3组图像。用于构建SURF算法提取浮选泡沫图像的特征点。

如图3为获取矿物浮选泡沫原始图像及其SURF提取特征点图；

如图4所示为获取矿物浮选泡沫原始图像及其子块划分图；对于子块位置的获取，认为子块移动可以由特征点的位移来表示，若在第k帧中L子块中心坐标为(x_kl,y_kl)，可匹配特征点个数为A，特征点坐标为(x_li,y_li)，每个特征点在对应的第K+1帧中的匹配点坐标为(x_mi,y_mi)可得观测点对于第k帧中L子块宽度为W_init，子块高度为H_init，其特征点均值坐标为(μ_lx,μ_ly)；对于k+1帧，其特征点均值坐标为(μ_mx,μ_my)，则宽度观测值为高度观测值为具体获取观测值的算法如下所示：

算法一基于特征点的观测值获取

输入：子块N个特征点坐标,子块尺寸W_init，H_init，子块中心坐标，N个特征点匹配坐标

输出：观测值x_observe，y_observe，W_observe，H_observe

如图5所示为基于Kalman滤波器的区域预测流程图，扩展的状态转移方程和观测方程为：

其中，x_k，y_k，

W_k，H_k，

分别表示泡沫子块的x坐标、y坐标，x方向速度、y方向速度、泡沫子块宽度、泡沫子块高度、泡沫子块宽度变化率、子块高度变化率。获得子块跟踪的状态转移和观测方程后，根据子块配准情况不断更新预测方程，实现各子块的实时跟踪。具体的算法如下所示。在区域预测流程图中进行循环，最终得到最优匹配结果。

算法二卡尔曼滤波迭代算法

输入：第k次子块观测数据x_k，y_k，W_k，H_k

输出：第k+1次子块预测数据

//根据观测值更新参数

θ_k＝x_k,k-1+K_k(z_k-H_k x_k,k-1)

P_k＝P_k,k-1-K_kH_kP_k,k-1

//将更新的参数用于下一次的预测

P_k+1,k＝AP_k-1+N(0,Q)

x_k+1＝Aθ_k+N(0,R)

K＝k+1

Return x_k+1

我们在中国某浮选工厂搭建了一个金锑浮选监控系统，利用工业摄像头实时采集大量的浮选泡沫图像进行浮选工业过程监控(图像分辨率为800×600，视频采样率为7帧/秒，每个像素对应的区域为0.015cm×0.015cm)，如图6(a)为现场设备图，图像的金锑浮选系统的监控软件系统如图6(b)显示。

图7为本发明r-K算法的具体流程图。首先在视频的前两帧使用RANSAC算法匹配特征点得到初始数据，之后开始同时使用RANSAC算法和Kalman算法进行特征点的匹配，当它们获得的匹配结果在一定误差范围内相一致时，Kalman算法独立运行，将此时得到的两帧图像放入图7(b)区域预测流程图中进行循环检测，得到最优估计值。

图8为金锑浮选泡沫在三种不同状态下的匹配图。从图中可以看出即使泡沫出现了翻矿浆的现象，也能很好的匹配出特征点。

图9为金锑浮选泡沫在三种不同状态下的速度场图，根据速度场的表现形式可以看出浮选泡沫的工况，进而还可以计算出浮选泡沫在不同状态下的熵值大小和速度大小，如图10所示的熵值直方图可以判断出不同状况下熵的大小，根据熵值曲线图，如图11所示，以及速度大小曲线图，如图12所示，可以进一步更好的判别出金锑浮选在不同工况下的特征。

下面结合具体例子进行分析。

浮选泡沫图像动态特征提取流程：

第一步，采集金锑浮选泡沫图像，采用SURF算法提取出浮选泡沫图像的特征点，如图3所示。

第二步，针对浮选泡沫的前两帧图像，采用RANSAC算法进行特征点的匹配得到初始数据，具体为将两帧图像进行粗匹配得到N个待匹配点对的集合P，从集合P中随机选取4个点对，计算出模型H的8个参数，计算出数据集中其余P-4个特征点对与模型H之间的距离，记录满足误差允许范围内的数据点的个数C，重复①②骤M次后，所求模型即对应C取最大值的模型，集合P中这C个数据点为内点，即为RANSAC算法筛选出来的匹配点作为观测数据，初始化Kalman区域预测。

第三步，从视频第三帧开始，继续使用RANSAC算法的同时对获取的图片帧进行子块划分，在子块图的基础上，使用基于Kalman滤波的运动目标跟踪算法。具体流程为：以初始数据作为Kalman滤波器的目标，运用Kalman滤波器实时预测各个目标的运动状态信息；检测出序列图像中每一帧内各个目标的子块位置；匹配子块中提取出的有效特征；

第四步，当RANSAC算法获得的匹配结果与Kalman算法获得的匹配结果在误差范围内相一致时，停止使用RANSAC算法，Kalman算法单独运行。具体流程为：使用算法1在特征点的基础上获取观测数据，将该观测数据与Kalman算法获取的预测数据进行匹配，运用匹配成功的状态信息对Kalman滤波器进行修正；以修正后的状态信息作为Kalman滤波器的输入，为预测该目标在下一帧的运动状态信息做准备。观测量为x_observe，y_observe，W_observe，H_observe，对于子块位置的获取，认为子块移动可以由特征点的位移来表示，若在第k帧中L子块中心坐标为(x_kl,y_kl)，可匹配特征点个数为A，特征点坐标为(x_li,y_li)，每个特征点在对应的第k+1帧中的匹配点坐标为(x_mi,y_mi)，可得观测点对于第k帧中L子块宽度为W_init，子块的高度为H_init，其特征点均值坐标为(μ_lx,μ_ly)；对于k+1帧，其特征点均值坐标为(μ_mx,μ_my)，则宽度观测值为高度观测值为

第五步，我们在中国某浮选工厂搭建了一个金锑浮选监控系统，利用工业摄像头实时采集大量的浮选泡沫图像进行浮选工业过程监控(图像分辨率为800×600，视频采样率为7帧/秒，每个像素对应的区域为0.015cm×0.015cm)。为了验证本文所提方法的有效性，针对不同的浮选工况，采集大量的浮选泡沫视频进行仿真实验。

第六步，针对本发明提出的算法，我们选取三种不同状态下的金锑浮选泡沫作为研究对象进行实验，利用熵计算公式h(x)＝-∑p(x_i)lnp(x_i)来获得不同状态下浮选泡沫的熵的大小，从而获得浮选泡沫的混乱程度；然后利用速度计算公式其中V_x＝x·D，V_y＝y·D，两帧图像在X方向上的像素位移为x，在Y方向上的像素位移为y，水平方向上的移动速度为V_x，垂直方向上的移动速度为V_y，泡沫移动速度为V，得到浮选泡沫在不同状态下的速度特性曲线，如图11，图12所示。实验结果表明，该算法提取出的特征点可以很好的用于判断金锑浮选泡沫在不同状态下的表现形式。

Claims (5)

1.一种基于r-K算法的浮选泡沫运动特征提取方法，其步骤为：

1)使用工业照相机获取浮选泡沫的运动图像；

2)对浮选泡沫图像进行特征点的提取；使用SURF算法提取浮选泡沫图像的特征点，具体内容包括：

特征点检测与定位：构建Hessian矩阵

用于特征点的检测和提取，x表示特征点坐标，σ表示尺度，

是输入图像I与高斯二阶微分

的卷积，g(σ)为高斯函数，

、

分别表示输入图像I与高斯二阶微分的卷积，为了定位特征点，运用3维空间上的非极大值抑制法寻找极值点；即将Hessian矩阵特征点与以该点为中心的3×3×3尺度空间的其他26个值比较，只有该点比其他值都大或都小时，才为局部极值点；然后在尺度空间及图像空间中进行插值，最终得到特征点位置和所在尺度值；

生成特征点描述算子：在已得到的特征点为中心的60度扇形区域内，计算所有点水平、垂直方向上的Haar小波特征总和；将π/3范围内的所有Haar小波

，

相加形成一个新的矢量(

,

)，其中

，

以步长0.2rad遍历整个圆形区域，最长矢量代表该特征点的主方向；然后，以该特征点为中心将坐标轴旋转到主方向，选取20s×20s的正方形区域，其中s为特征点的尺度，划分成4×4共16个的正方形子窗口，每个子窗口边长为5s；再利用尺度为2s的Haar小波模板获得沿主方向和垂直于主方向的高斯加权

和

；最后，在每个正方形内，对Haar小波在x和y方向的响应求和，形成四维向量

，归一化后形成16×4共64维SURF描述算子；

3)提出特征点后，使用r-K算法进行特征点的匹配：首先在浮选泡沫视频的前两帧使用RANSAC算法筛选匹配点得到初始数据；具体的RANSAC算法为：①估计模型参数：假设b是从数据集中选取一个内点的概率，估计该模型需要选定的n个点，p表示在迭代过程中从数据集内随机选取的点均为内点的概率，那么采样次数R需满足：

，

；②去除误匹配点：求出单应性矩阵

用单应性矩阵H描述图像之间几何变换关系，具体为

确定H中的8个参数h₀ -h₇，将前后两帧图像进行粗匹配，得到N个待匹配点对的集合P；从集合P中随机选取4个点对，计算出H中的8个参数；对于数据集中其余的P-4个特征点对，计算出他们与H之间的距离，记录满足误差允许范围内的数据点个数C；重复①②步骤M次，所求模型即对应C取最大值的模型，集合P中这C个数据点为内点，即为得到的初始数据；

4)然后从视频第二帧开始，继续使用RANSAC算法的同时对获取的视频帧进行子块划分，在子块图的基础上，使用基于Kalman滤波的运动目标跟踪算法；具体流程为：以初始数据作为Kalman滤波器的目标，运用Kalman滤波器实时预测各个目标的运动状态信息；检测出序列图像中每一帧内各个目标的子块位置；匹配子块中提取出的有效特征；

5)当RANSAC算法获得的匹配结果与Kalman算法获得的匹配结果在误差范围内相一致时，停止使用RANSAC算法，Kalman算法单独运行；具体流程为：在特征点的基础上获取观测数据，将该观测数据与Kalman算法获取的预测数据进行匹配，运用匹配成功的状态信息对Kalman滤波器进行修正；以修正后的状态信息作为Kalman滤波器的输入，为预测该目标在下一帧的运动状态信息做准备；观测值为x_observe，y_observe，W_observe， H_observe，对于子块位置的获取，认为子块移动可以由特征点的位移来表示，若在第k帧中L子块中心坐标为(x_kl,y_kl)，可匹配特征点个数为A，特征点坐标为(x_li ,y_li)，每个特征点在对应的第k+1帧中的匹配点坐标为(x_mi,y_mi )，可得观测点对于第k帧中L子块宽度为W_init，子块高度为H_init，其特征点均值坐标为(μ_lx ,μ_ly )；对于k+1帧，其特征点均值坐标为(μ_mx ,μ_my )，则宽度观测值为高度观测值为

,

；

6)建立Kalman滤波器区域预测流程图，扩展的状态转移方程和观测方程为：

;

其中，

，

，

，

，

，

，

，

分别表示泡沫子块的x坐标、y坐标，x方向速度、y方向速度、泡沫图像子块宽度、子块高度、子块宽度变化率、子块高度变化率，Δt为时间变化值，N(0,Q)和N(0,R)表示系统噪声和观测噪声的正态分布，平均白噪声为零；获得子块跟踪的状态转移方程和观测方程后，根据子块配准情况不断更新预测方程，实现各子块的实时跟踪；将观测值放入Kalman滤波中经行迭代，为了克服单帧误差造成的影响，将观测值和算法二获取的预测值进行比较，在误差范围内认为该观测值有效，如果单帧误差大于阈值T超过m次，其中m取25，则当前滤波循环无效，重新开始检测；在区域预测流程图中进行循环，最终得到最优匹配结果。

2.如权利要求1所述的一种基于r-K算法的浮选泡沫运动特征提取方法，其特征在于：在所述步骤1）的基础上，使用所述步骤2）中的SURF算法提取浮选泡沫视频帧的特征点，相比于常用的SIFT算法，SURF算法提取特征点时间更快。

3.如权利要求1所述的一种基于r-K算法的浮选泡沫运动特征提取方法，其特征在于：所述步骤3）中，前两帧仅使用RANSAC算法提取出匹配对作为初始数据，为下一步Kalman算法提供初始值。

4.如权利要求1所述的一种基于r-K算法的浮选泡沫运动特征提取方法，其特征在于：所述步骤4）中，浮选泡沫视频从第二帧开始，RANSAC算法和Kalman算法同时运行，对它们分别获取的匹配对进行误差分析。

5.如权利要求4所述的一种基于r-K算法的浮选泡沫运动特征提取方法，其特征在于：所述步骤5）中，当所述步骤4)中的误差分析小于一定值时，停止使用RANSAC算法，Kalman算法独立运行并反复循环最终得到最优结果。

Images