CN103578112B - 一种基于视频图像特征的增氧机工作状态检测方法 - Google Patents

Abstract

本发明公开一种基于视频图像特征的增氧机工作状态检测方法，分为学习阶段和工作阶段，学习阶段提取采集到的增氧机视频中的前后两帧图像，利用角点检测方法检测前一帧图像的角点；根据前一帧图像的角点，利用光流法在后一帧中搜索出对应的角点；计算所提取前后两帧图像对应角点的平均位移量，统计视频中所有前后连续两帧图像对应角点的位移，画出位移直方图，获取增氧机停止/运行工作状态的判断阈值T；工作阶段，采用同样的方式获取前后两帧对应角点的平均位移量，当平均位移量大于T时，判断增氧机为运行状态，否则增氧机为停止状态。该方法可在无人监管的情况下，利用已有的摄像装置对增氧机的运行状态进行实时的监控，且安装和调试十分方便。

Description

一种基于视频图像特征的增氧机工作状态检测方法

技术领域

本发明涉及计算机视觉技术领域，更具体地，涉及一种基于视频图像特征的增氧机异常工作检测方法。

背景技术

在水产养殖中，养殖塘水中溶氧含量偏低会妨害鱼类生长，引起浮头、甚至大量窒息死亡，给水产养殖业造成巨大损失。所以，人们利用增氧机来增加养殖水中的溶氧量，以改善水体中溶氧分布不均匀的问题。然而，增氧机的工作条件恶劣，鱼塘的水对增氧机有着较强的腐蚀性、叶轮上时常有缠绕物或附着物、浮体磨损降低浮力致使负荷增大、增氧机电动机与水接触、以及供电系统断电等原因均能造成增氧机电机烧毁或异常停止，而增氧机的异常停止会给水产养殖企业或养殖户带来巨大的损失。因此，实时检测增氧机的异常停止工作状态变得十分重要。

目前，对增氧机的监控主要是依赖人工看守，但这一方式非常耗费人力，无法实现渔场管理的智能化；另外一种常用方法是利用电流或电压等传感器对增氧机的异常停止状态进行检测，该方法因其硬件系统和安装调试过程复杂，抗干扰能力差等缺点，无法得到广泛的应用。

发明内容

为了克服现有方法的不足，本发明提出一种基于视频图像特征的增氧机工作状态检测方法，该方法通过已有的监控摄像头获取增氧机工作视频，利用智能视频分析技术对增氧机的启动、停止状态进行自动检测，实现在无人监管的情况下实时监控，提高了渔场管理的智能化水平。

为了实现上述目的，本发明的技术方案为：

一种基于视频图像特征的增氧机工作状态检测方法，该方法分为学习阶段和工作阶段，

学习阶段时，用摄像装置采集增氧机视频，在视频窗口选定增氧机的检测区域，将增氧机从停止到启动运行再由运行到停止重复数次，以采集增氧机停止/运行状态；具体步骤如下：

（1a）提取视频中的前后两帧图像，并利用角点检测方法检测前一帧图像在增氧机检测区域的角点；

（1b）根据前一帧图像的角点，利用光流法在后一帧中搜索出对应的角点；

（1c）计算所提取前后两帧图像对应角点的平均位移量s，统计学习阶段视频中所有前后连续两帧图像对应角点的平均位移量S，根据平均位移量S画出位移直方图，并利用OTSU算法自动获取增氧机停止/运行工作状态的判断阈值T；

工作阶段时，用摄像装置采集增氧机视频，在已选定增氧机的检测区域，采用上述学习阶段的（1a）、（1b），计算视频中前后两帧对应角点的平均位移量，当平均位移量大于T时，则判断增氧机为运行状态，反之，则增氧机为停止状态。

上述在视频窗口选定增氧机的检测区域是通过人机交互方式人为在视频窗口选定增氧机的检测区域。通过在学习阶段学习训练，得到一个判断阈值T。在学习阶段计算所提取前后两帧图像对应角点的平均位移量s，其具体计算过程为：统计前后两帧所有角点的位置之和，除以前后两帧的角点数得到平均位移量s。进一步计算学习阶段视频中所有前后连续两帧图像对应角点的平均位移量S。

光流法检测运动目标的基本原理是通过给图像中的每一个像素点赋予一个速度矢量，从而形成一个图像运动场。在运动的某一个特定时刻，通过投影关系，可以使图像上的点与三维物体上的点一一对应。根据各个像素点的速度矢量特征，可以对图像进行动态分析。

本方法需要统计视频前后两帧增氧机检测区域水花角点的运动平均位移量，进而判断增氧机是否异常工作，所以应用光流法来计算角点的方向运动特征。一般情况下，光流法采用迭代的近似求解，计算复杂度高、时间开销大，但本发明中用光流法只对增氧机的检测区域的角点进行计算，计算量比较少，运算速度较快，因而实时性较好。

更进一步的，所述增氧机的检测区域是根据增氧机具体工作位置设定的水花运动区域，因为在水花运动区域内进行检测可以减少渔场其它环境对检测判断的影响，也可以减少算法的运算量。

更进一步的，所述角点检测方法检测到的角点是对应增氧机运动时激起的水花或水面上的水纹。

更进一步的，所述角点检测方法采用Harris算法，Harris算法是目前比较流行的角点检测方法之一，与Sift特征点检测相比，该方法有更快的检测速度，更符合渔场增氧机实时检测的要求。

更进一步的，所述光流法采用Lucas-Kanade光流法。

与现有技术相比，本发明技术方案的有益效果是：该方法可以在无人监管的情况下，利用已有的摄像装置对增氧机的运作状态进行实时的监控，而且系统的安装和调试十分方便；本发明通过统计视频前后两帧增氧机检测区域水花角点的运动平均位移量，进而判断增氧机是否异常工作，应用光流法来计算角点的方向运动特征。一般情况下，光流法采用迭代的近似求解，计算复杂度高、时间开销大，但本发明中用光流法只对增氧机的检测区域的角点进行计算，计算量比较少，运算速度较快，因而具有较好的实时性。

附图说明

图1为本发明的流程图。

图2为拍摄增氧机的停止/运行工作状态示意图。

图3为自动阈值提取直方图。

图4为实施例一拍摄增氧机的停止/运行工作状态示意图。

图5为实施例一自动阈值提取直方图。

图6为实施例二拍摄增氧机的停止/运行工作状态示意图。

图7为实施例二自动阈值提取直方图。

具体实施方式

下面结合附图和实施例对本发明的技术方案做进一步的说明。

本发明提供了一种基于视频图像特征的增氧机工作状态检测方法，该方法在无人监管的情况下，利用摄像装置对增氧机的运作状态进行实时的监控，提高了渔场管理的智能化水平。

如附图1所示，该方法分为学习阶段和工作阶段，学习阶段时，用摄像装置采集增氧机视频，视频的分辨率必须在D1以上，通过人机交互人为在视频窗口选定增氧机的检测区域，必须保证检测区域的大小在100×100像素以上，将增氧机从停止到启动运行再由运行到停止重复数次，以达到采集增氧机停止/运行状态目的。

具体实现为：

学习阶段，获取增氧机停止/运行的判断阈值。

因为不同的增氧机运动时激起的水花数量和水花运动的速度不同，增氧机离摄像头的远近也不尽相同，这些因素都直接影响判断阈值的大小。因此，在要对增氧机运动状态判断前，需要自动学习摄像头在某一角度下拍摄该增氧机的阈值T。

（1）首先，用摄像装置采集视频，通过人机交互方式选定增氧机检测区域，将增氧机从停止到启动运行再由启动到停止多次，如增氧机状态为：停止（2分钟）——启动运行（2分钟，第一个周期）——停止（2分钟）——启动运行（2分钟，第二个周期）……如此重复5个周期，以达到采集增氧机运行/停止状态的目的。

（2）从视频中提取前后两帧图像，利用Harris算法检测前一帧图像的角点。Harris方法提取图像中角点的过程可以分为以下几步：

21）计算图像像素点在水平和垂直方向上的梯度，以及两者的乘积，得到协方差矩阵M中4个元素的值：

$M=\left[\begin{array}{cc}{I}_x^2& I_x{I}_y\\ I_x{I}_y& I_y^2\end{array}\right]$

其中，I_x为图像在水平方向上的梯度,I_y为图像在垂直方向上的梯度。

22）对得到的I_xI_y进行高斯滤波，分别得到I′_xI′_y，其中，离散二维零均值高斯函数为：

$\mathrm{Causs}=e^{-(x^2+y^2)/{2\mathrm{\δ}}^2}$

23）计算原图像上对应的每个像素点的兴趣值，即R值。

$R=I_x^{\′2}\×I_y^{\′2}-{\left(I_x^{\′}{I}_y^{\′}\right)}^2-k{(I_x^{\′2}+I_y^{\′2})}^2$

24）选取局部极值点。Harris特征点是局部范围内的极大兴趣值对应的像素点。

25）设定提取角点的阈值，选取一定量的角点。

（3）利用Lucas-Kanade光流法，在后一帧中搜索出对应的角点。

Lucas-Kanade计算两帧在时间t到t+δt之间每个像素点位置的移动。由于它是基于图像信号的泰勒级数，这种方法称为差分，是对于空间和时间坐标使用偏导数。

图像约束方程可以写为I(x,y,t)=I(x+δx,y+δy,t+δt)，是在(x,y)位置的像素值。假设移动足够的小，那么对图像约束方程使用泰勒公式，可以得到：

$I(x+\mathrm{\δx},y+\mathrm{\δy},t+\mathrm{\δt})=I(x,y,t)+\frac{\∂I}{\∂x}\mathrm{\δx}+\frac{\∂I}{\∂y}\mathrm{\δy}+\frac{\∂I}{\∂t}\mathrm{\δt}+H.O.T$ H.O.T是指更高阶，在移动足够小的情况下可以忽略。从这个方程中可以得到：

$\frac{\∂I}{\∂x}\mathrm{\δx}+\frac{\∂I}{\∂y}\mathrm{\δy}+\frac{\∂I}{\∂t}\mathrm{\δt}=0$

或者 $\frac{\∂I}{\∂x}\frac{\mathrm{\δx}}{\mathrm{\δt}}+\frac{\∂I}{\∂y}\frac{\mathrm{\δy}}{\mathrm{\δt}}+\frac{\∂I}{\∂t}\frac{\mathrm{\δt}}{\mathrm{\δt}}=0$

得到： $\frac{\∂I}{\∂x}\mathrm{Vx}+\frac{\∂I}{\∂y}\mathrm{Vy}+\frac{\∂I}{\∂t}=0$

Vx,Vy分别是I(x,y,t)的光流向量中x，y的组成。则是图像在(x,y,t)这一点向相应方向的差分。

所以：I_xV_x+I_yV_y=-I_t。

可写做： $\▿I^T\·\stackrel{\→}{V}=-I_t$

这个方程有两个未知量，尚不能被解决，这也就是所谓光流算法的光圈问题。那么要找到光流向量则需要另一套解决的方案。而Lucas-Kanade算法是一个非迭代的算法：

假设光流(V_x,V_y)在一个大小为m×m(m>1)的小窗中是一个常数，那么从像素1...n,n=m²中可以得到下列一组方程：

$\begin{array}{c}{I}_{x1}{V}_x+I_{y1}{V}_y=-I_{t1}\\ I_{x2}{V}_x+I_{y2}{V}_y=-I_{t2}\\ \·\\ \·\\ \·\\ I_{\mathrm{xn}}{V}_x+I_{\mathrm{yn}}{V}_y=-I_{\mathrm{tn}}\end{array}$

两个未知数但是有多于两个的方程，所以这个方程组是个超定方程，方程组内存在冗余，方程组可以表示为：

$\left[\begin{array}{cc}{I}_{x1}& I_{y1}\\ I_{x2}& I_{y2}\\ \·& \·\\ \·& \·\\ \·& \·\\ I_{\mathrm{xn}}& I_{\mathrm{yn}}\end{array}\right]\left[\begin{array}{c}{V}_x\\ V_y\end{array}\right]=\left[\begin{array}{c}-I_{t1}\\ -I_{t2}\\ \·\\ \·\\ \·\\ -I_{\mathrm{tn}}\end{array}\right]$

记作： $A\stackrel{\→}{v}=-b.$ 其中 $A=\left[\begin{array}{cc}{I}_{x1}& I_{y1}\\ I_{x2}& I_{y2}\\ \·& \·\\ \·& \·\\ \·& \·\\ I_{\mathrm{xn}}& I_{\mathrm{yn}}\end{array}\right],\stackrel{\→}{v}=\left[\begin{array}{c}{V}_x\\ V_y\end{array}\right],b=\left[\begin{array}{c}{I}_{t1}\\ I_{t2}\\ \·\\ \·\\ \·\\ I_m\end{array}\right].$

为了解决超定问题，采用最小二乘法：

$A^{T}A\stackrel{\→}{v}=A^T(-b)$

$\stackrel{\→}{v}={\left(A^{T}A\right)}^{-1}{A}^T(-b)$

得到： $\left[\begin{array}{c}{V}_x\\ V_y\end{array}\right]={\left[\begin{array}{cc}{\mathrm{\ΣI}}_{\mathrm{xi}}^2& \mathrm{\Σ}{I}_{\mathrm{xi}}{I}_{\mathrm{yi}}\\ \mathrm{\Σ}{I}_{\mathrm{xi}}{I}_{\mathrm{yi}}& \mathrm{\Σ}{I}_{\mathrm{yi}}^2\end{array}\right]}^{-1}\left[\begin{array}{c}-\mathrm{\Σ}{I}_{\mathrm{xi}}{I}_{\mathrm{ti}}\\ -\mathrm{\Σ}{I}_{\mathrm{yi}}{I}_{\mathrm{ti}}\end{array}\right]$

其中的求和是从1到n。

这也就是说寻找光流可以通过在二维上图像导数的分别累加得出。此时，还需要一个权重函数W(i,j)，i,j∈[1,m]来突出窗口中心点的坐标。

（4）计算前后两帧对应角点的平均位移量s。

（5）判断是否达到学习阶段视频帧数X，如果未达到，则重复步骤（2）—（4）；如果达到，则统计学习阶段视频中各前后两帧对应角点的平均位移量S，并形成直方图，上述学习阶段视频帧数X根据需要选定，在本实施例中X=15000。当然，不同情景下的学习阶段，其值可以不同，X越大，则最后获得的判断阈值T的精度越高，但是其运算量必然增大，故在实际学习阶段，可根据需要选定。

应用最大化类间方差法OTSU寻找出直方图的分割阈值T，并把该阈值作为该视频的增氧机是否异常启动的判断阈值T。其中，应用OTSU方法计算直方图的分割阈值过程如下所示：

从处理一个离散概率密度函数的归一化直方图开始，

$p_q=\frac{n_q}{n}$ q=1,2...,L

其中，n是直方图所有直方柱上的值的总数，n_q是第q个直方柱的值，L为直方图中所有直方柱的数目。设现在已经选定了一个阈值k，C₀是一个包含直方柱[q=1,2...k]组成的类别，C₁是一个包含直方柱[q=k+1,k+2,...L]组成的类别。OTSU方法是选择阈值k，使得类间方差达到最大值，类间方差定义为：

${\mathrm{\σ}}_B^2={\mathrm{\ω}}_0{({\mathrm{\μ}}_0-{\mathrm{\μ}}_T)}^2+{\mathrm{\ω}}_1{({\mathrm{\μ}}_1-{\mathrm{\μ}}_T)}^2$

其中，

${\mathrm{\ω}}_0=\underset{q=0}{\overset{k-1}{\mathrm{\Σ}}}{p}_q$

${\mathrm{\ω}}_1=\underset{q=k}{\overset{L-1}{\mathrm{\Σ}}}{p}_q$

${\mathrm{\μ}}_0=\underset{q=0}{\overset{k-1}{\mathrm{\Σ}}}{\mathrm{qp}}_q/w_0$

${\mathrm{\μ}}_1=\underset{q=k}{\overset{L-1}{\mathrm{\Σ}}}{\mathrm{qp}}_q/{\mathrm{\ω}}_1$

${\mathrm{\μ}}_T=\underset{q=0}{\overset{L-1}{\mathrm{\Σ}}}{\mathrm{qp}}_q$

以上参数的数学意义为：ω₀为直方图中C₀类别所占比例，ω₁为直方图中C₁类别所占比例，μ₀为直方图中C₀类别的期望值，μ₁为直方图中C₁类别的期望值，μ_T为整个直方图的期望值。

该方法应用于不同的光照条件下，不同视频获取角度、不同增氧机类型的增氧机运行/停止状态检测阈值是不相同。

如图2（a）、2（b），其中图2（a）为增氧机非启动状态的拍摄图，图2（b）为增氧机启动状态的拍摄图，如图3，为自动阈值提取直方图，所得阈值T为6。

工作阶段时，进行增氧机的运行/停止状态检测，具体实现为：

1）通过摄像装置采集增氧机工作的视频，并从视频中提取前后两帧图像，在已选定的检测区域内，利用Harris算法检测前一帧图像的角点；

2）利用Lucas-Kanade光流法，在后一帧中搜索出对应的角点；

3）最后，统计前后两帧对应角点的平均位移量，当位移量大于T时，则判断增氧机为运行工作状态，反之，则增氧机为停止状态。

拍摄增氧机的位置不同，获取到的判断阈值T是不相同，在本实施方式具体介绍不同的拍摄情况对判断阈值T影响。

拍摄位置分为：远距离、近距离；低角度，中角度，高角度。本实验是基于VS2005平台下进行的。

实施例一

低角度、近距离拍摄位置拍摄增氧机的测试，其学习过程如图4（a）、4（b），其中图4（a）为增氧机非启动状态图，图4（b）为增氧机启动状态图，统计直方图并提取阈值，如图5所示，获取的判断阈值T=8。

实施例二

中角度、远距离拍摄位置拍摄增氧机的测试，其学习过程如图6（a）、6（b），其中图6（a）为增氧机非启动状态图，图6（b）为增氧机启动状态图，统计直方图并提取阈值，如图7所示，获取的判断阈值T=3。

在具体实验过程还获取以下阈值及检测准确率：

通过上表可知，拍摄位置在近距离时，得到特征点的平均位移较大；拍摄位置在远距离时，得到特征点的平均位移较小。特征点的平均位移与拍摄的角度无明显关系，近距离拍摄得到的统计效果更明显。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (3)

1.一种基于视频图像特征的增氧机工作状态检测方法，其特征在于，该方法分为学习阶段和工作阶段，

学习阶段时，用摄像装置采集增氧机视频，在视频窗口选定增氧机的检测区域，将增氧机从停止到启动运行再由运行到停止重复数次，以采集增氧机停止/运行状态；具体步骤如下：

（1a）提取视频中的前后两帧图像，并利用角点检测方法检测前一帧图像在增氧机检测区域的角点；

（1b）根据前一帧图像的角点，利用光流法在后一帧中搜索出对应的角点；

（1c）计算所提取前后两帧图像对应角点的平均位移量S，统计学习阶段视频中所有前后连续两帧图像对应角点的平均位移量S，根据平均位移量S画出位移直方图，并利用OTSU算法自动获取增氧机停止/运行工作状态的判断阈值T；

工作阶段时，用摄像装置采集增氧机视频，在已选定增氧机的检测区域，采用上述学习阶段的（1a）、（1b），计算视频中前后两帧对应角点的平均位移量，当平均位移量大于T时，则判断增氧机为运行状态，反之，则增氧机为停止状态；

所述增氧机的检测区域是根据增氧机具体工作位置设定的水花运动区域；

所述角点检测方法检测到的角点对应增氧机运动时激起的水花或水面上的水纹。

2.根据权利要求1所述的基于视频图像特征的增氧机工作状态检测方法，其特征在于，所述角点检测方法采用Harris算法。

3.根据权利要求1所述的基于视频图像特征的增氧机工作状态检测方法，其特征在于，所述光流法采用Lucas-Kanade光流法。