CN101320319A - 一种适时识别水生动物的装置及其工作方法 - Google Patents

Abstract

适时识别水生动物的装置，包括摄像头、数字信号处理器(DSP)、存储器、译码器、两个外接RAM、外接FLASH和液晶显示屏幕，摄像头通过存储器与后面的数字信号处理器相接，数字信号处理器分别和译码器、外接RAM、外接FLASH及液晶显示屏幕相连接；整机安装在密封机壳内，可适时定位追踪水生动物。本发明使游客可随意选择水生动物的信息，大大提高效率；可达到实时获取水生动物种类信息目的。

Description

一种适时识别水生动物的装置及其工作方法

一、技术领域

本发明涉及一种适时识别水生动物的装置及其工作方法，属于计算机识别技术领域。

二、背景技术

在一些海底观光场所，诸如中国青岛的海底世界，游客们对各种水生动物信息的获取都是通过导游的介绍而得的。这种信息接收方式存在几个严重的缺陷：首先，导游对于各种水生动物的介绍，仅仅限于眼前的几种，并不能全面介绍水族馆里的所有物种。其次，每个游客感兴趣的动物各不相同，仅仅通过导游基于个人喜好的介绍，并不能满足每个顾客独特的需求。再次，导游解说是一个串行过程，效率低下，耗时费力。

三、发明内容

为克服现有技术的缺陷，本发明提供一种适时识别水生动物的装置及其工作方法。

一种适时识别水生动物的装置，包括摄像头、数字信号处理器(DSP)、存储器、译码器、两个外接RAM、外接FLASH和液晶显示屏幕，其特征在于摄像头通过存储器与后面的数字信号处理器相接，数字信号处理器通过数据线分别和译码器、外接RAM、外接FLASH及液晶显示屏幕相连接；摄像头、数字信号处理器(DSP)、存储器、译码器、外接RAM、外接FLASH和液晶显示屏幕可安装在密封的机壳内，由机壳内的锂离子电池供电，整机架设在可移动底盘上，可适时定位追踪水生动物。

本发明装置采用图像采集处理部分、水生动物定位追踪部分、水生动物识别部分以及信息输出部分可将水生动物适时识别并显示在液晶显示屏幕上，同时在液晶显示屏幕上显示事先编辑好的该水生动物习性。

上述适时识别水生动物装置的工作方法，步骤如下：

a.机器初始化；

b.确定有无采集视频命令；无采集视频命令，返回等待采集视频命令；有采集视频命令，摄像头开始采集视频信息；

c.提取前景图像；

d.MCMC方法进行追踪定位，定位后的目标都被椭圆框圈定。MCMC算法可以同时跟踪多个水生动物，并且目标个数的增加对跟踪速度影响不大，实时性好；

e.确定有无训练命令；有训练命令，开始训练，训练用到HMM中的BW算法，每个样本被λ＝(π，A，B)代替，训练好的参数模型λ被存储到样本数据库中；

f.无训练命令，进行识别，识别中的参数提取部分同步骤e，每一个新得到的观测模型λ＝(π，A，B)需同数据库中的样本模型比较，识别用Forward算法；

g.经过识别步骤，每帧图像中的各个被跟踪的水生动物都被识别出来，对应每个种类，显示该动物的习性，经过DSP处理后的信息通过图1所示的通信方式由DSP传输到液晶显示屏上，游客通过显示屏，可以看到这些信息。

上述步骤c中所述的提取前景图像，步骤如下：

c1.对输入视频进行预处理，去除干扰噪声；

c2.对预处理后的视频经过像素级间和帧级间的更新，得到背景视频；

c3.从预处理后的视频中减除背景视频，得到前景视频；

c4.对上述得到的前景视频进行形态学滤波，得到理想的前景视频。

上述步骤e中所述的训练，步骤如下：

e1.计算每个目标的长宽比，作为形状模型的参数；

e2.计算目标的颜色模型参数时，在HSV颜色空间中计算每个目标的直方图，为提高速度，仅仅采用直方图中的色调H和饱和度S，并进一步对参数H和S进行尺度缩减，最后实际用到的直方图维数是30×32维；

e3.计算目标的纹理模型参数时，用到共生矩阵，并重新定义四个参数分别反映纹理一致性、纹理对比、纹理的熵和纹理相关性，上述四个参数即为纹理模型的参数；

e4.上面的形状参数、颜色参数、纹理参数组成一个观测序列O；

e5.选择一个初始模型λ＝(π，A，B)，定义最大迭代次数K，开始迭代运算；

e6.迭代次数k超过K，运算结束，得到目标的训练模型λ＝(π，A，B)；

上述步骤f中所述的识别，步骤如下：

f1.计算每个目标的长宽比，作为形状模型的参数；

f2.计算目标的颜色模型参数时，在HSV颜色空间中计算每个目标的直方图，为提高速度，仅仅采用直方图中的色调H和饱和度S，并进一步对参数H和S进行尺度缩减，最后实际用到的直方图维数是30×32维；

f3.计算目标的纹理模型参数时，用到共生矩阵，并重新定义四个参数分别反映纹理一致性、纹理对比、纹理的熵和纹理相关性，上述四个参数即为纹理模型的参数；

f4.上面的形状参数、颜色参数、纹理参数组成一个观测序列O；

f5.计算观测序列O在数据库中每一个样本模型λ₁，λ₂…λ_I下的条件概率P(O|λ₁)，P(O|λ₂)，…P(O|λ_I)；

f6.找出上述条件概率中最大值所对应的样本模型λ_M，则对应该观测序列O的目标被识别为第M类。

本发明提供了一种基于马尔可夫链蒙特卡罗(MCMC)跟踪算法和隐马尔可夫(HMM)识别算法对水生动物进行自动分类，并且在液晶屏上可以适时显示事先编辑好的该水生动物习性的系统。MCMC算法的核心是用MH模拟马尔可夫链，该算法扩展了MH算法，在MH算法中定义了不改变维数的运动模式。在每一时刻t，先前时刻的后验概率用N个不加权的粒子来近似，即 $p\left(X_{t-1}\right|Z_{1:t-1})\≈{\left\{X_{t-1}^{\left(n\right)}\right\}}_{n-1}^N.$ 当前时刻的后验概率p(X_t|Z_1:t)，通过建立马尔可夫链来估计。马尔可夫链的建立过程要产生N_m+N_B个抽样，其中N_B是要去掉的抽样个数，N_m是使马尔可夫链达到收敛所需要的抽样个数，MCMC算法可以同时跟踪多个水生动物，并且目标个数的增加对跟踪速度影响不大，实时性好。HMM算法是一种概率统计算法，现已发展比较成熟，它主要包含三个基本算法：前向-后向算法、Viterbi算法和Baum-Welch算法。适时识别水生动物装置可以对摄像头1采集到的所有水生动物同时进行分类，在液晶屏幕上分别显示每一类水生动物的习性，易知该过程是一个并行输出信息的过程，可以在一块液晶屏幕上同时显示多种水生动物的特性，游客们只需有选择性地了解自己感兴趣的水生动物即可，该方法是人工解说所不能及的，可以大大提高效率。

本发明的优点是游客可以在一个液晶屏幕上同时获取多个水生动物的名称和习性等信息，这种并行的信息传输方式，使每个游客可以有选择性地获取自己感兴趣的水生动物的信息，因而可以大大提高效率；发明中用到的识别算法计算复杂度较低，可以在对水生动物种类信息获取时达到实时。

四、附图说明

图1是本发明装置的方框示意图；

其中：1、摄像头，2、FIFO存储器，3、数字信号处理器，4、译码器，5、外接RAM，6、外接RAM，7、外接FLASH，8、液晶显示屏幕。

图2是本发明工作方法流程图；

图3是本发明工作方法中的前景提取结构框图；

图4是本发明工作方法中的目标训练结构框图；

图5是本发明工作方法中的目标识别结构框图。

五、具体实施方式

实施例：

本发明装置如图1所示，包括摄像头1、数字信号处理器(DSP)3、存储器2、译码器4、外接RAM 5，6、外接FLASH 7和液晶显示屏幕8，其特征在于摄像头1通过存储器2与后面的数字信号处理器3相接，数字信号处理器3通过数据线分别和译码器4、外接RAM 5，6、外接FLASH 7及液晶显示屏幕8相连接；摄像头1、数字信号处理器(DSP)3、存储器2、译码器4、外接RAM 5，6、外接FLASH 7和液晶显示屏幕8可安装在密封的机壳内，由机壳内的锂离子电池供电，整机架设在可移动底盘上，可适时定位追踪水生动物。

本发明装置的工作方法，步骤如下：

a.机器初始化；

b.确定有无采集视频命令；无采集视频命令，返回等待采集视频命令；有采集视频命令，摄像头1开始采集视频信息；

c.提取前景图像；

d.MCMC方法进行追踪定位，定位后的目标都被椭圆框圈定。MCMC算法可以同时跟踪多个水生动物，并且目标个数的增加对跟踪速度影响不大，实时性好；

e.确定有无训练命令；有训练命令，开始训练，训练用到HMM中的BW算法，每个样本被λ＝(π，A，B)代替，训练好的参数模型λ被存储到样本数据库中；

f.无训练命令，进行识别，识别中的参数提取部分同步骤e，每一个新得到的观测模型λ＝(π，A，B)需同数据库中的样本模型比较，识别用Forward算法；

g.经过识别步骤，每帧图像中的各个被跟踪的水生动物都被识别出来，对应每个种类，显示该动物的习性，经过数字信号处理器DSP 3处理后的信息通过图1所示的通信方式由DSP 3传输到液晶显示屏8上，游客通过显示屏8，可以看到这些信息。

上述步骤c中所述的提取前景图像，步骤如下：

c1.对输入视频进行预处理，去除干扰噪声；

c2.对预处理后的视频经过像素级间和帧级间的更新，得到背景视频；

c3.从预处理后的视频中减除背景视频，得到前景视频；

c4.对上述得到的前景视频进行形态学滤波，得到理想的前景视频。

上述步骤e中所述的训练，步骤如下：

e1.计算每个目标的长宽比，作为形状模型的参数；

e2.计算目标的颜色模型参数时，在HSV颜色空间中计算每个目标的直方图，为提高速度，仅仅采用直方图中的色调H和饱和度S，并进一步对参数H和S进行尺度缩减，最后实际用到的直方图维数是30×32维；

e3.计算目标的纹理模型参数时，用到共生矩阵，并重新定义四个参数分别反映纹理一致性、纹理对比、纹理的熵和纹理相关性，上述四个参数即为纹理模型的参数；

e4.上面的形状参数、颜色参数、纹理参数组成一个观测序列O；

e5.选择一个初始模型λ＝(π，A，B)，定义最大迭代次数K，开始迭代运算；

e6.迭代次数k超过K，运算结束，得到目标的训练模型λ＝(π，A，B)；

上述步骤f中所述的识别，步骤如下：

f1.计算每个目标的长宽比，作为形状模型的参数；

f2.计算目标的颜色模型参数时，在HSV颜色空间中计算每个目标的直方图，为提高速度，仅仅采用直方图中的色调H和饱和度S，并进一步对参数H和S进行尺度缩减，最后实际用到的直方图维数是30×32维；

f3.计算目标的纹理模型参数时，用到共生矩阵，并重新定义四个参数分别反映纹理一致性、纹理对比、纹理的熵和纹理相关性，上述四个参数即为纹理模型的参数；

f4.上面的形状参数、颜色参数、纹理参数组成一个观测序列O；

f5.计算观测序列O在数据库中每一个样本模型λ₁，λ₂…λ_I下的条件概率P(O|λ₁)，P(O|λ₂)，…P(O|λ_I)；

f6.找出上述条件概率中最大值所对应的样本模型λ_M，则对应该观测序列O的目标被识别为第M类。

其中摄像头1采用低功耗、电路简单、连接编程方便的CMOS数字图像传感器(DPS)1，数字信号处理器3采用TMS320VC5402芯片，USB2.0接口板采用EZ-USB FX2芯片，该芯片把USB2.0接发器、串行接口引擎SIE(Serial Interface Engine)、I²C总线接口以及通用可编程接口GPIF(General Programmable Interface)集成于一体、外接ROM 5采用ISSI61LV4616芯片，外接ROM 6采用ISSI61LV5616芯片，外接FLASH 7采用SST39VF040芯片，液晶显示屏幕8采用SED1520液晶模块，锂离子电池型号为DC-PC5GBT/W。

CMOS传感器1与接口板的信号线包括8根图像输出数据线、1根行同步信号线HSYNC、1根场同步信号线VSYNC、1根像素时钟信号PCLK等，最高输入主频是54MHz，对其所有的控制均通过I²C总线完成，当CMOS摄像头1开始工作后，被采集的数字图像信号送到FIFO存储器2，再从USB接收器经USB总线传入DSP 3，系统利用帧信号作为DSP 3与设备端图像数据传输的同步信号，当USB控制器检测到帧信号(表示一帧图像的开始)时，就向DSP芯片3发送1个数据包，当DSP芯片3接收到这个数据包并校验读到的数据正确时，DSP芯片3端的客户应用程序就用一个单独的线程，通过调用USB驱动程序从USB总线读取图像数据，当接收到完整的1帧图像数据后，交给负责显示和处理的线程，对这一帧图像显示和相应的处理。

从CMOS传感器1获取到的数字图像在DSP 3内部进行追踪、定位与识别等操作。

DSP 3与液晶显示屏幕8之间的通信：TMS320VC5402芯片3由于其内部ROM不可写，所以外挂一片4M的27256EEPROM作为外部程序区来存储程序与外部数据库，考虑到TMS320VC5402芯片具有高达1Mbit的外扩空间，对于不同的应用场合可以根据需要改变ROM的大小。对于液晶显示屏幕8的数据接口，因为DSP 3与液晶显示屏幕8均由3.3V供电，可以直接将两者数据线相连，这样DSP 3就能将ROM或RAM中的数据直接送入控制器的缓存中以便显示。DSP 3地址线A4与液晶显示屏幕8的A0连接，作为命令/数据信号控制存储器的选择；DSP 3地址线A2与液晶显示屏幕8的WR连接，作为读写信号控制数据总线的数据流向；DSP 3地址线A9，A8和IS通过编译器4和液晶显示屏幕8的CS1、CS2连接，控制选通液晶显示屏幕8上左右两个显示区的控制器；液晶显示屏幕8的数据线D7~D0直接与DSP 3的数据线D7~D0连接。

Claims (5)

1.一种适时识别水生动物的装置，包括摄像头、数字信号处理器、存储器、译码器、两个外接RAM、外接FLASH和液晶显示屏幕，其特征在于摄像头通过存储器与后面的数字信号处理器相接，数字信号处理器通过数据线分别和译码器、外接RAM、外接FLASH及液晶显示屏幕相连接；摄像头、数字信号处理器、存储器、译码器、外接RAM、外接FLASH和液晶显示屏幕可安装在密封的机壳内，由机壳内的锂离子电池供电，整机架设在可移动底盘上，可适时定位追踪水生动物。

2.如权利要求1所述一种适时识别水生动物装置的工作方法，步骤如下：

a.机器初始化；

b.确定有无采集视频命令；无采集视频命令，返回等待采集视频命令；有采集视频命令，摄像头开始采集视频信息；

c.提取前景图像；

d.MCMC方法进行追踪定位，定位后的目标都被椭圆框圈定；

e.确定有无训练命令；有训练命令，开始训练，训练好的参数模型λ被存储到样本数据库中；

f.无训练命令，进行识别，识别中的参数提取部分同步骤e；

g.经过识别步骤，每帧图像中的各个被跟踪的水生动物都被识别出来，对应每个种类，显示该动物的习性，经过数字信号处理器处理后的信息传输到液晶显示屏上，游客通过显示屏。

3.如权利要求2所述一种适时识别水生动物装置的工作方法，其特征在于所述步骤c中的提取前景图像，步骤如下：

c1.对输入视频进行预处理，去除干扰噪声；

c2.对预处理后的视频经过像素级间和帧级间的更新，得到背景视频；

c3.从预处理后的视频中减除背景视频，得到前景视频；

c4.对上述得到的前景视频进行形态学滤波，得到理想的前景视频。

4.如权利要求2所述一种适时识别水生动物装置的工作方法，其特征在于所述步骤e中的训练，步骤如下：

e1.计算每个目标的长宽比，作为形状模型的参数；

e2.计算目标的颜色模型参数时，在HSV颜色空间中计算每个目标的直方图，为提高速度，仅仅采用直方图中的色调H和饱和度S，并进一步对参数H和S进行尺度缩减，最后实际用到的直方图维数是30×32维；

e3.计算目标的纹理模型参数时，用到共生矩阵，并重新定义四个参数分别反映纹理一致性、纹理对比、纹理的熵和纹理相关性，上述四个参数即为纹理模型的参数；

e4.上面的形状参数、颜色参数、纹理参数组成一个观测序列O；

e5.选择一个初始模型λ＝(π，A，B)，定义最大迭代次数K，开始迭代运算；

e6.迭代次数k超过K，运算结束，得到目标的训练模型λ＝(π，A，B)。

5.如权利要求2所述一种适时识别水生动物装置的工作方法，其特征在于所述步骤f中的识别，步骤如下：

f1.计算每个目标的长宽比，作为形状模型的参数；

f2.计算目标的颜色模型参数时，在HSV颜色空间中计算每个目标的直方图，为提高速度，仅仅采用直方图中的色调H和饱和度S，并进一步对参数H和S进行尺度缩减，最后实际用到的直方图维数是30×32维；

f3.计算目标的纹理模型参数时，用到共生矩阵，并重新定义四个参数分别反映纹理一致性、纹理对比、纹理的熵和纹理相关性，上述四个参数即为纹理模型的参数；

f4.上面的形状参数、颜色参数、纹理参数组成一个观测序列O；

f5.计算观测序列O在数据库中每一个样本模型λ₁，λ₂…λ_I下的条件概率P(O|λ₁)，P(O|λ₂)，…P(O|λ_I)；

f6.找出上述条件概率中最大值所对应的样本模型λ_M，则对应该观测序列O的目标被识别为第M类。

Images