CN202035106U - 一种鼠虫监控装置 - Google Patents

Abstract

本实用新型公开了一种鼠虫监控装置，包括监控装置和远程监控平台，监控装置包括DSP图像处理模块、图像采集模块、A/D转换模块、FPGA图像预处理模块和D/A转换模块，实现了无人看守情况下粮库鼠虫的自动监测，提高了粮库自动程度，有效的节省了人力、物力、财力资源的开销，光流法的应用提高了监控系统的采集精度，能够及时有效的监测鼠虫活动情况，降低了鼠虫对粮食的损坏，提高了粮库粮食储存率。

Description

一种鼠虫监控装置

技术领域

本实用新型涉及一种监控装置，具体地说是一种能实时监控鼠虫的监控装置.

背景技术

中国是世界上人口最多的国家，也是粮食需求大国。“能吃几天”并不是衡量一个国家粮食储备的唯一标准。储备粮质量好、数量够，在国家需要时能用得上、调得出，是对粮食储备的综合要求。然而全世界每年至少有5％的粮食被害虫糟蹋，其中中国约为18％，可见搞好害虫防治工作的重要性。

即使粮库内没有鼠虫，粮站工作人员一般会采取定期毒药熏蒸的办法，达到驱虫的目的。这既增加了粮站资源的开销，更为重要的是此种方法必然会污染粮食，对人们的身体造成一定的损害。如何及时发现鼠虫，降低毒药熏蒸的频率，是一个值得探究的问题。

国内粮站一般采用人工观察法，由粮库工作人员对粮食采样，观察粮仓内有无鼠虫，这种方法有一定的局限性，需要耗费大量的人力、物力、财力，另外工作人员无法随时随刻对粮食进行采样分析。国内粮站尚缺乏一种鼠虫自动监控报警装置。

光流的概念是Gibson于1950年提出的，视觉心理学家认为：人与被观察物体发生相对运动时，被观察物体的表面带光学特征部位的移动给人提供了运动及结构的信息。在这个基础上，将摄像机与场景目标问发生相对运动时观察到的亮度模式运动称为光流。光流有三个要素：一是运动，这是光流形成的前提条件；而是带光学特征的部位，用以携带信息；三是从场景到平面的成像，即使运动目标能被观察到。

实用新型内容

本实用新型所要解决的技术问题是提供一种能实时监控和跟踪鼠虫的监控装置。

为解决上述技术问题，本实用新型一种鼠虫监控装置包括监控装置和远程监控平台，其中监控装置包括DSP图像处理模块、图像采集模块、A/D转换模块、FPGA图像预处理模块和D/A转换模块；

图像采集模块包括云台和位于云台前方的摄像头，用于采集粮仓内部视频信号，该图像采集模块与A/D转换模块相连，将采集到的模拟图像信号转化为数字图像信号，

A/D转换模块与FPGA图像预处理模块相连，将数字图像信号传输给FPGA图像预处理模块进行图像的预处理，

FPGA图像预处理模块还与DSP图像处理模块和D/A转换模块相连，将预处理后的图像信息传输给DSP图像处理模块进行图像运算处理，DSP图像处理模块将处理后的图像通过FPGA模块传送给D/A转换模块，

D/A转换模块与远程监控平台相连，将处理后的数字图像信号转化为模拟图像信号后，通过视频信号线将图像传输到远程监控平台。

采用本实用新型实现了无人看守情况下粮库鼠虫的自动监测，提高了粮库自动程度，有效的节省了人力、物力、财力资源的开销，光流法的应用提高了监控系统的采集精度，能够及时有效的监测鼠虫活动情况，降低了鼠虫对粮食的损坏，提高了粮库粮食储存率。

附图说明

下面结合附图说明和具体实施方式对本实用新型作进一步详细的说明，

图1，本实用新型鼠虫监控装置的工作原理图。

图2，本实用新型鼠虫监控装置的工作流程图。

具体实施方式

如图1所示，本实用新型鼠虫监控装置，包括监控装置和远程监控平台，其中监控装置包括DSP图像处理模块、图像采集模块、A/D转换模块、FPGA图像预处理模块和D/A转换模块；

图像采集模块包括云台和位于云台前方的摄像头，用于采集粮仓内部视频信号，该图像采集模块与A/D转换模块相连，将采集到的模拟图像信号转化为数字图像信号，A/D转换模块选用SAA7113芯片，使用FPGA模拟的I²C接口对SAA7113进行控制和读写；

A/D转换模块与FPGA图像预处理模块相连，将数字图像信号传输给FPGA图像预处理模块进行图像的预处理，FPGA图像预处理模块是系统的核心单元，采用TI公司的TMS320芯片；

FPGA图像预处理模块还与DSP图像处理模块和D/A转换模块相连，将预处理后的图像信息传输给DSP图像处理模块进行图像运算处理，DSP图像处理模块将处理后的图像通过FPGA模块传送给D/A转换模块，D/A转换模块采用SAA7121，使用FPGA模拟的I²C接口可以对SAA7121提供多个控制字进行读写；

D/A转换模块与远程监控平台采用有线或者无线的方式相连，将处理后的数字图像信号转化为模拟图像信号后，通过视频信号线将图像传输到远程监控平台，远程监控平台设有报警器。

如图2所示，本实用新型利用该鼠虫装置对图像检测跟踪的方法，包括以下步骤：

步骤一、计算背景差分判断检测到的图像中是否有运动目标，该运动目标即为鼠虫：首先利用公式(1)，求出当前帧f_k与背景b_k的差值D_k：

D_k(x，y)＝|f_k(x，y)-b_k(x，y)|            (1)

式中，(x，y)为以图像左上角为原点，宽方向为X轴，高方向为Y轴建立的坐标系中像素点的坐标，k为当前帧的索引；再利用公式(2)判断是否有运动目标：

$X(x,y)=\left\{\begin{array}{cc}1& D_k(x,y)>T\\ 0& D_k(x,y)\≤T\end{array}\right.---\left(2\right)$

式中，X(x，y)为目标图像，T为阈值，若X(x，y)为1，表示有运动目标出现，所有X(x，y)的像素组成了运动目标图像；否则表示无运动目标出现。

步骤二、计算运动目标图像的角点：

首先利用公式(3)计算目标图像X(x，y)的每个像素计算梯度值：

$I_x(x,y)=\frac{I(x+1,y)-I(x-1,y)}{2}$ (3)

$I_y(x,y)=\frac{I(x,y+1)-I(x,y-1)}{2}$

式中，I(x，y)为图像在(x，y)处的灰度值，I_x(x，y)为当前像素x方向的梯度值，I_y(x，y)为当前像素y方向的梯度值。

再利用公式(4)计算空域梯度矩阵G：

$G=\underset{x=p_x-{\mathrm{\ω}}_x}{\overset{p_x+{\mathrm{\ω}}_x}{\mathrm{\Σ}}}\underset{y=p_y-{\mathrm{\ω}}_y}{\overset{p_y+{\mathrm{\ω}}_y}{\mathrm{\Σ}}}\left[\begin{array}{cc}{I}_x^2(x,y)& I_x(x,y)I_y(x,y)\\ I_x(x,y)I_y(x,y)& I_y^2(x,y)\end{array}\right]---\left(4\right)$

式中，p＝[p_x，p_y]^T为图像中某一点的位置向量，窗口大小为(2ω_x+1)×(2ω_y+1)，p_x和p_y分别表示x方向和y方向的位置向量，ω_x和ω_y为窗口在x和y方向上的半径大小。该空域梯度矩阵G为2*2矩阵，各个像素点有两个特征值λ₁和λ₂，最小特征值为λ_m＝min(λ₁，λ₂)；

取所有像素点最小特征值中的最大值λ_max，则取阈值为λ_T＝0.1λ_max，用所有点的最小特征值与λ_T比较，保留λ_m＞λ_T的点为候选角点；

步骤三、计算运动目标图像角点的光流，

1、设图像上点(x，y)在时刻t的灰度为I(x，y，t)，设u和v为光流w＝(u，v)在该点的水平和垂盲移动分量：

$u=\frac{\mathrm{dx}}{\mathrm{dt}},$ $v=\frac{\mathrm{dy}}{\mathrm{dt}}$

按以下方法计算运动目标图像角点的光流，满足光流约束方程：

I_xu+I_yv+I_t＝0                                (5)

其中： $I_x=\frac{\∂I}{\∂x},$ $I_y=\frac{\∂I}{\∂y},$ $I_t=\frac{\∂I}{\∂t}$

式(5)中I_x，I_y，I_t可直接从图像中计算出来，但要求解dx和dy两个分量，必须加入附加约束。

2、金字塔Lucas-Kanade光流法解上述方程里的未知量dx和dy

为了解决上述问题，采用金字塔Lucas-Kanade光流跟踪迭代法，即利用图像序列的灰度函数来计算像素点的速度矢量。该方法的基本思想是构造图像的金字塔，较高层是下层平滑后的下采样形式，原始图像层数等于0。当构造到一定层后，相邻帧间图像运动量足够小，满足光流计算的约束条件，可以直接进行光流估计。在实际计算时，由金字塔图像的上层向下层进行，当某一层的光流增量计算出来后，加到初始值上，进行投影重建，作为其下一层的光流计算初值。不断进行该过程，就可以估计出原始图像的光流。该方法计算简单、易于实现，而且能够得到精确的速度矢量，易于实现较好的跟踪。

1)建立图像金字塔，确定角点在每层金字塔图像中的位置和像素值

首先定义图像I的大小为M×N，I⁰＝I是第0层图像(最底层)，即原始图像，其分辨率最高，然后从下到上递归生成图像金字塔(分辨率不断变小)，灰度图像表示为I¹，I²，...，I^L(L为金字塔高度，则共有L+I层图像)，同样，对I的下一帧图像J用相同方法建立图像金字塔。则第L级图像的金字塔表示为：

$I^L(x,y)=\frac{1}{4}{I}^{L-1}(2x,2y)+$

$\frac{1}{8}[I^{L-1}(2x+\mathrm{1,2}y)+I^{L-1}(2x-\mathrm{1,2}y)+I^{L-1}(2x,2y+1)+I^{L-1}(2x,2y-1)]+$

$\frac{1}{16}[I^{L-1}(2x-\mathrm{1,2}y-1)+I^{L-1}(2x+\mathrm{1,2}y-1)+I^{L-1}(2x-12y+1)+I^{L-1}(2x+\mathrm{1,2}y+1)]$

上式中，x和y的值需要满足：

0≤2x≤M^L-1-1和0≤2y≤N^L-1-1

从而I^L的宽度和高度满足：

$M^L\≤\frac{M^{L-1}+1}{2}$

$N^L\≤\frac{N^{L-1}+1}{2}$

图像金字塔表述I和J可解释为和

L_m为金字塔的高度，一般为2，3和4。

对图像I中一点p＝(p_x，p_y)^T在相邻帧图像J中有相似图像灰度的对应点为q＝p+d＝(p_x+d_x，p_y+d_y)^T，这里光流计算的目的就是计算d＝(d_x，d_y)^T，将其做为控制信号传送给控制器进行运动目标跟踪。

2)根据建立好的图像金字塔，进行光流的迭代计算

已经得到运动目标图像I(第0层)的一些特征点p＝[p_x p_y]^T，则

为特征点在金字塔图像层I^L的特征位置，一般：

$p^L=\frac{p}{2}(p^0=p)$

L到L-1层之间的递归计算如下：设第L层的光流初始估计值为定义下一帧图像J的匹配误差函数e^L最小残差位移矢量

$e^L\left(d^L\right)=e^L(d_x^L,d_y^L)=\underset{x=p_x^L-{\mathrm{\ω}}_x}{\overset{p_x^L+{\mathrm{\ω}}_x}{\mathrm{\Σ}}}\underset{y=p_y^L-{\mathrm{\ω}}_y}{\overset{p_y^L+{\mathrm{\ω}}_y}{\mathrm{\Σ}}}{[I^L(x,y)-J^L(x+g_x^L+d_x^L,y+g_y^L+d_y^L)]}^2$

上式ω_x和ω_y同式(4)中窗口定义，这里取ω_x＝ωy＝1，即窗口大小为3*3。

为了方便，用

表示位移矢量，现在问题是求解使得匹配误差函数e^L最小的位移矢量，为了得到最优解，关于对eL对求一阶导数为0，得到光流向量的计算公式(即Lucas-Kanade光流方程，简称L-K光流方程)：

${\stackrel{\‾}{v}}_{\mathrm{opt}}=G^{-1}\stackrel{\‾}{b}$

其中空域梯度矩阵：

误匹配矢量

差分图像为

L-K光流方法是通过迭代实现的，设k为迭代次数并初始化为1，迭代计算到K次为止。吉萨和从1到k-1迭代计算得到

现在需要求使误差函数最小的残差运动矢量

可写成：

$e^L\left({\stackrel{\‾}{\mathrm{\η}}}^k\right)=e^L({\mathrm{\η}}_x^k,{\mathrm{\η}}_y^k)=\underset{x=p_x^L-{\mathrm{\ω}}_x}{\overset{p_x^L+{\mathrm{\ω}}_x}{\mathrm{\Σ}}}\underset{y=p_y^L-{\mathrm{\ω}}_y}{\overset{p_y^L+{\mathrm{\ω}}_y}{\mathrm{\Σ}}}{[I^L(x,y)-J^L(x+{\mathrm{\η}}_x^k+g_x^L+v_x^{k-1},y+{\mathrm{\η}}_y^k+g_y^L+v_y^{k-1})]}^2$

通过L-K光流方程得到光流大小和方向：

${\stackrel{\‾}{\mathrm{\η}}}^k=G^{-1}{\stackrel{\‾}{b}}_k---\left(6\right)$

其中误匹配矢量为：

L层第k次迭代的图像差分可写成：

$\mathrm{\δ}{I}_k=I^L(x,y)-J^L(x+g_x^L+v_x^{k-1},y+g_y^L+v_y^{k-1})$

可以看出，每次迭代时都需要重新计算的值，这样根据(6)式得到

的值，从而计算出第k+1次迭代的位移估计

${\stackrel{\‾}{v}}^k={\stackrel{\‾}{v}}^{k-1}+{\stackrel{\‾}{\mathrm{\η}}}^k$

L-K光流方法迭代的终止条件是残差运动向量

的值小于一个趋于0的阈值或是达到最大迭代次数。一般取最大迭代次数K＝5。

设第一次迭代(k＝1)时初始化估计值为0，即：

${\stackrel{\‾}{v}}^0={\left(\begin{array}{cc}0& 0\end{array}\right)}^T$

根据以上推导可以得到最终光流向量

$\stackrel{\‾}{v}=d^L={\stackrel{\‾}{v}}^K=\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{\stackrel{\‾}{\mathrm{\η}}}^k$

这样，得到第L层的光流向量d^L后将该层结果通过估计新的光流初始值向下一层L-1传递：

$\left\{\begin{array}{c}{g}^{L-1}=2(g^L+d^L)\\ g^{L_m}={\left(\begin{array}{cc}0& 0\end{array}\right)}^T\end{array}\right.$

由粗到精计算得到原始图像的光流大小和方向为：

其中，d＝(dx，dy)^T。

根据以上方法计算所有运动目标特征点的平均光流大小和方向d，做为控制信号发送给平台进行跟踪。

Claims (6)

1.一种鼠虫监控装置，包括监控装置和远程监控平台，其特征在于，所述监控装置包括DSP图像处理模块、图像采集模块、A/D转换模块、FPGA图像预处理模块和D/A转换模块，其中，图像采集模块包括云台和位于云台前方的摄像头，用于采集粮仓内部视频信号，该图像采集模块与A/D转换模块相连，将采集到的模拟图像信号转化为数字图像信号，

     所述A/D转换模块与FPGA图像预处理模块相连，将数字图像信号传输给FPGA图像预处理模块进行图像的预处理，

     所述FPGA图像预处理模块还与DSP图像处理模块和D/A转换模块相连，将预处理后的图像信息传输给DSP图像处理模块进行图像运算处理，DSP图像处理模块将处理后的图像通过FPGA模块传送给D/A转换模块，

    所述D/A转换模块与远程监控平台相连，将处理后的数字图像信号转化为模拟图像信号后，通过视频信号线将图像传输到远程监控平台。

2.根据权利要求1所述的鼠虫监控装置，其特征在于，所述DSP图像处理模块采用TI公司的TMS320芯片。

3.根据权利要求1所述的鼠虫监控装置，其特征在于，所述A/D转换模块采用SAA7113芯片。

4.根据权利要求1所述的鼠虫监控装置，其特征在于，所述D/A转换模块与远程监控平台采用有线方式连接。

5.根据权利要求1所述的鼠虫监控装置，其特征在于，所述D/A转换模块与远程监控平台采用无线方式连接。

6.根据权利要求1所述的鼠虫监控装置，其特征在于，所述远程监控平台设有报警器。

Images