CN104992189A - 基于深度学习网络模型的鱼群异常行为识别方法 - Google Patents

Abstract

本发明公开了一种基于深度学习网络模型的鱼群异常行为识别方法，属于图像处理技术领域。利用互信息提取最具代表性的图像分块改进深度学习模型，结合时空卷积，对鱼群的行为进行判断，得到鱼群所处的状态。本发明提供的方法可以监控水下鱼群的生长状况，根据深度学习网络输出反馈鱼群所处行为，进行针对性处理，为水产养殖的监控与预警提供重要的方法和手段。

Description

基于深度学习网络模型的鱼群异常行为识别方法

技术领域

本发明涉及一种基于深度学习网络模型的鱼群异常行为识别方法，属于图像处理技术领域。

背景技术

21世纪是人类探索与开发的世纪，智能视觉物联网的发展越来越快，基于智能视觉物联网的水产养殖的研究因而越来越受到重视。水产养殖最主要的是鱼群的生长状况是否良好，水体环境质量是否合格。水体缺氧会导致鱼群大面积聚集浮头、车轮虫病的感染会导致鱼群狂躁不安，成群沿边狂游、腐皮病会导致鱼群游动缓慢，食欲减退，衰竭死亡等等，这些突发状况将会给养殖户带来重大损失，而仅依靠养殖户的看守将会带来很大的人力资源消耗，而通过智能视觉物联网来监控鱼群，判断是否处于异常行为状态下并及时调控联网设备，可以大大减少养殖成本。

行为识别一直是计算机视觉领域内的研究热点，因为它在现实中具有重要的应用价值，诸如人机交互、安防监控、基于内容的视频检索等应用中都有行为识别的应用。一般的行为识别方法都釆用两步法，即：第一步，从原始输入视频中计算出特征；第二步，根据得到的特征学习出一个分类器。人工选择的特征很大一部分是受任务驱动的，不同的任务可能使用完全不同的特征，然而事实上，很难知道哪种特征对目前的任务是有效的，因此，特征选择是盲目的。对于动作识别来说，不同的动作可能在外在表现和运动模式上显得极其不同，釆用手工设置的特征很难从这些剧烈变化的场景获得行为的本质特征。

深度学习网络模型是一种机器学习模型，它釆用分层学习机制，能够自动地从输入数据逐层学习出高级抽象特征，因此，深度学习也称为特征学习，釆用深度学习的系统己经在可视目标识别、人体动作识别、自然语言处理、语音识别、人机交互、人体跟踪、图像恢复、降噪等领域取得具有竞争性的结果。互信息(Mutual Information)是两个事件集合之间相关性的信息度量，利用互信息对深度学习输入的标签数据进行信息块提取，将大大提高深度学习的正确率。时空卷积是一种利用时空关联性的模型，通过在连续输入图像上进行卷积和子采样操作，获得一种含有时空信息的复杂特征。在训练时通过合适的调整，深度学习网络能够在可视目标识别分类任务中获得更优异的表现。

基于深度学习网络模型的水下鱼群异常行为研究，通过智能视觉物联网来降低人工、电力成本的开销，及时反映鱼群生长情况，对处于异常行为下的鱼群发出警报，智能调控联网设备，使得养殖更加便捷智能化。专利检索及对国内外各种科技文献的最新检索表明，尚未有基于深度学习识别鱼群异常行为的研究方法见诸文献。

发明内容

本发明所要解决的技术问题：针对鱼群缺氧、生病等导致其行为异常的特点，需要一种鱼群异常行为识别方法，能够有效地分辨出鱼群所处的行为状态。

为解决上述技术问题，本发明提供一种基于深度学习网络模型的鱼群异常行为识别方法，包括以下步骤：

(1)选取鱼群视频数据一，对鱼群视频数据一中的图像数据帧进行灰度化处理，然后进

行压缩，在压缩后的图像数据帧中，每隔M1帧选取一个图像数据帧形成样本一；

(2)在样本一中选取连续M2帧图像数据进行时空卷积和降采样处理，将得到的数据送入深度学习网络模型进行训练；

(3)选取鱼群视频数据二，对鱼群视频数据二中的每个图像数据帧赋予一个标签数据一，在某一图像数据帧中，如果鱼群为正常行为状态，则标签数据为1；如果鱼群为异常行为状态，则标签数据为2，再对鱼群视频数据二中的图像数据帧进行灰度化处理，然后进行压缩，在压缩后的图像数据帧中，每隔M3帧选取一个图像数据帧形成样本二；

(4)将样本二中的每个图像数据帧利用大小为m×m像素的滑窗分成t个分块，进入步骤(5)；

(5)给每个分块赋予一个标签数据二，标签数据二的值与所在图像的标签数据一的值相同，进入步骤(6)；

(6)将所有分块融合成一个m*m*t行、n列的输入矩阵，同时形成一个n行、1列的标签数据矩阵，进入步骤(7)；

(7)对输入矩阵和标签数据矩阵求互信息，并求出每m*m行的互信息总和，对各互信息总和降序排序，进入步骤(8)；

(8)保留互信息总和排序第一的m*m行、n列的矩阵，并按列拆解，对某一列，每m行作为新矩阵的每一列，形成m行m列的新矩阵，对每个新矩阵做转置运算，最终获得n个，大小为m×m的新分块矩阵；

(9)对步骤(8)得到的n个互信息最高的新分块矩阵，按每M4个连续分块的输入矩阵进行时空卷积并降采样处理，得到M5个特征图及对应的标签矩阵；

(10)将步骤(9)得到的特征图与标签矩阵送入深度学习网络模型的Softmax分类器中进行训练；

(11)对待识别的鱼群视频数据三中的每个图像数据帧进行灰度化处理，然后进行压缩，每隔M6帧选取一个图像数据帧形成测试样本，对测试样本进行时空卷积和降采样处理；

(12)将步骤(11)得到的测试样本数据送入已经训练好的深度学习网络模型，得到鱼群行为状态结果，结果包括异常行为状态和正常行为状态。

本发明综合利用深度学习良好的非线性品质和拟合精度对图像进行学习与分类，同时利用互信息对输入的含标签样本进行处理，提取图像信息量最大的分块送入深度学习分类器进行训练，提高了深度学习的分类正确率。结合时空卷积图像处理手段，可以对视频中鱼群的行为进行分类，分析判断鱼群是正常行为或是异常行为。

附图说明

图1为本发明的鱼群异常行为识别方法流程图；

图2为时空卷积示意图；

图3为深度学习网络结构示意图；

图4为互信息处理数据样本示意图。

具体实施方式

有关本发明的详细内容和技术，结合附图说明如下。

本发明的流程图如图1所示，其具体包括以下步骤：

(1)选取鱼群视频数据一，对鱼群视频数据一中的图像数据帧进行灰度化处理，然后进行压缩，在压缩后的图像数据帧中，每隔M1帧选取一个图像数据帧形成样本一；

在本步骤中，将鱼群视频数据一中的图像数据帧压缩至64×64像素大小，然后根据视频时长隔数帧选取图像。按每0.1秒取1帧图像，对于每秒25帧的视频来说即从最开始每隔3帧取1帧图像。

(2)在样本一中选取连续M2帧进行时空卷积和降采样处理，将得到的数据送入深度学习网络模型进行训练；

在本步骤中，对样本一中的图像数据帧取连续的7帧做时空卷积。时间维度上，采用7×5×5的卷积核，从连续输入7帧图像数据中获得36个特征图；空间维度上，卷积核大小为5×5，原图像大小为64×64，可获得大小为60×60的特征图，最终每7帧图像将获得36个大小为60×60的特征图。

对获得的特征图进行降采样，得到多个大小为40×40的特征图，时空卷积示意图如图2所示。将样本一中的图像进行时空卷积获得的所有特征图作为深度学习网络模型的无监督输入样本进行训练，其中深度学习网络模型参数为：输入层为1600个，第一层隐含层200个，第二层隐含层200个，输出层为2层，2个输出层分别为正常行为和异常行为，深度学习网络模型结构示意图如图3所示。

(3)选取鱼群视频数据二，对鱼群视频数据二中的每个图像数据帧赋予一个标签数据一，在某一图像数据帧中，如果鱼群为正常行为状态，则标签数据为1；如果鱼群为异常行为状态，则标签数据为2，对鱼群视频数据二中的图像数据帧进行灰度化处理，然后进行压缩，在压缩后的图像数据帧中，每隔M3帧选取一个图像数据帧形成样本二；

在本步骤中，将鱼群视频数据二中的每个图像数据帧压缩至128×128像素大小，每隔3帧取1帧图像，将所有取得的图像组成样本二。

(4)将样本二中的每个图像数据帧利用大小为m×m像素的滑窗分成t个分块；

在本步骤中，用大小为64×64像素、步长20像素的滑窗对样本进行分块。用滑窗将每个样本图像分成若干块是指从样本图像左上角原点开始，以窗长m像素，步长s(s<40)像素将图像分块，得到t个m×m像素大小的分块矩阵。

(5)给每个分块赋予一个标签数据二，标签数据二的值与所在图像的标签数据一的值相同；

(6)将所有分块融合成一个m*m*t行、n列的输入矩阵，同时形成一个n行、1列的标签数据矩阵；

即把一幅图像数据帧得到的分块矩阵按行的顺序转成大小为m*m*t×1的矩阵，然后将所有图像数据帧的所有分块按列融合转成m*m*t×n大小的输入矩阵。

标签数据矩阵是指将每个分块矩阵对应的标签数据二按行的方式转成n×1的矩阵。

(7)对输入矩阵和标签数据矩阵求互信息，并求出每m*m行的互信息总和，对各互信息总和降序排序；

求每m*m行的互信息总和并降序排序是指每隔m*m行求这m*m行的互信息的和，最终求得t个互信息和I_t，并对t个互信息和I_t降序排序。

(8)保留各排序第一的输入矩阵；该分块矩阵是该图像数据帧中最能区别其他类图像数据帧的分块；

保留排序第一的输入矩阵是指对t个互信息和I_t降序排序后，取排名第一的分块数据，作为新的输入矩阵，大小为m×m，共n个。

得到的输入矩阵是指I_t中互信息最大的分块，代表着图像数据帧中最能用于分类的数据，将此数据作为样本分类数据将极大提高分类正确率。标签分块数据的提取示意图如图4所示。

(9)对步骤(8)得到的互信息最高的n个分块矩阵，按每M4个连续的分块矩阵进行时空卷积并降采样处理；

本步骤中，按照标签数据，对每7个连续分块的输入矩阵进行时空卷积并降采样，最终获得多个带标签的大小为40×40的特征图。

(10)将步骤(9)得到的输入矩阵与标签数据矩阵送入深度学习网络的分类器中进行训练；

把步骤(9)得到的特征图与标签矩阵作为深度学习Softmax分类器的输入，对分类器进行训练以及对整个深度学习网络进行参数的再调整。至此，深度学习网络全部训练完成。

(11)对待识别的鱼群视频数据三中的每个图像数据帧进行灰度化处理，然后进行压缩，每隔M5帧选取一个图像数据帧形成测试样本，对测试样本进行时空卷积和降采样处理；

在本步骤中，将待识别的鱼群视频数据三中的每个图像数据帧压缩至64×64像素大小，每隔3帧取一个图像数据帧，对取得的连续图片做时空卷积和降采样处理，获得多个40×40的特征图，每36个特征图为深度学习的一个输入。

(12)将步骤(11)得到的测试样本数据送入已经训练好的深度学习模型，得到鱼群行为状态结果，结果为异常行为状态或正常行为状态。

深度学习网络的输出为1则表示鱼群行为状态为正常，输出为2则表示鱼群行为状态为异常，每36个特征图的输入将得到36个输出。当输出为1的个数是输出为2的个数3倍以上时，则最终输出结果为1，表示这7帧数据图像、36个输入数据代表鱼群行为状态是正常；当输出为2的个数是输出为1的个数3倍以上时，则最终输出结果为2，表示这7帧数据图像、36个输入数据代表鱼群行为状态是异常；当输出结果为1和输出结果为2的个数相差在10以内时，则最终输出结果为0，表示输入的7帧数据图像里鱼群从正常行为状态转变成异常行为状态(比如夏天雷雨天气前，空气闷热，水中氧的溶解率降低，鱼群浮出水面呼吸)，或由异常行为状态转变成正常行为状态(如鱼群大面积浮头时，打开增氧泵，使得水中溶解氧含量提高，鱼群恢复正常状态)；当输出结果为1和输出结果为2的个数相差在11到18时，则无法判断视频中鱼群所处状态，最终输出结果为-1。

对图像数据帧进行压缩是指将图像数据帧用双线性插值方法缩放到设定大小，如2*m×2*m像素。

对图像数据帧进行灰度化处理是指将图像数据帧由RGB图转为灰度图。

在步骤(7)中,对输入矩阵和标签数据矩阵按公式(1)求互信息I(x_:i,y)，

I(x_:i,y)＝H(x_:i)+H(y)-H(x_:i,y)      公式(1)

其中H()是信息熵，x_:i是输入矩阵中第i列的数据，y是标签数据矩阵，H(x_:i,y)是x_:i和y的联合熵。

深度学习网络的分类器是指Softmax分类器，深度学习网络采用Softmax回归模型，Softmax回归模型是由logistic回归模型在多分类问题上推广得到的，在多分类的问题中，类标签y可以选取两个以上的值。

本发明在具体实施时，深度学习的训练样本数据选取有较大灵活性，但视频样本数不能少于5个，每个视频样本帧频不能低于25，样本时长不能低于3分钟，人为分类标定的视频样本需准确，尽量不要正常状态与异常状态混合出现，这样才能在最终分类时获得较高的准确率。如果待识别视频的最终输出由连续1然后跳变为0或2(允许出现部分的-1)，最终稳定输出2，则表示鱼群从正常状态到异常状态的转变，需要发出警报，警告可能出现的异常行为；如果待识别视频的最终输出由连续2跳变为0或1(允许出现部分-1)，最终稳定输出1时，则表示鱼群恢复正常，智能控制设备的工作或关闭。

Claims (9)

1.一种基于深度学习网络模型的鱼群异常行为识别方法，其特征在于，包括以下步骤：

(1)选取鱼群视频数据一，对鱼群视频数据一中的图像数据帧进行灰度化处理，然后进行压缩，在压缩后的图像数据帧中，每隔M1帧选取一个图像数据帧形成样本一；

(2)在样本一中选取连续M2帧图像数据进行时空卷积和降采样处理，将得到的数据送入深度学习网络模型进行训练；

(3)选取鱼群视频数据二，对鱼群视频数据二中的每个图像数据帧赋予一个标签数据一，在某一图像数据帧中，如果鱼群为正常行为状态，则标签数据为1；如果鱼群为异常行为状态，则标签数据为2，再对鱼群视频数据二中的图像数据帧进行灰度化处理，然后进行压缩，在压缩后的图像数据帧中，每隔M3帧选取一个图像数据帧形成样本二，共n帧；

(4)将样本二中的每个图像数据帧利用大小为m×m像素的滑窗分成t个分块，进入步骤(5)；

(5)给每个分块赋予一个标签数据二，标签数据二的值与所在图像的标签数据一的值相同，进入步骤(6)；

(6)将所有分块融合成一个m*m*t行、n列的输入矩阵，同时形成一个n行、1列的标签矩阵，进入步骤(7)；

(7)对输入矩阵和标签矩阵求互信息，并求出每m*m行的互信息总和，对各互信息总和降序排序，进入步骤(8)；

(8)保留互信息总和排序第一的m*m行、n列的矩阵，并按列拆解，对某一列，每m行作为新矩阵的每一列，形成m行m列的新矩阵，对每个新矩阵做转置，最终获得n个，大小为m×m的新分块矩阵；

(9)对步骤(8)得到的n个互信息最高的新分块矩阵，按每M4个连续分块的输入矩阵进行时空卷积并降采样处理，得到M5个特征图及对应的标签矩阵；

(10)将步骤(9)得到的特征图与标签矩阵送入深度学习网络模型的Softmax分类器中进行训练；

(11)对待识别的鱼群视频数据三中的每个图像数据帧进行灰度化处理，然后进行压缩，每隔M6帧选取一个图像数据帧形成测试样本，对测试样本进行时空卷积和降采样处理；

(12)将步骤(11)得到的测试样本数据送入已经训练好的深度学习网络模型，得到鱼群行为状态结果，结果包括异常行为状态和正常行为状态。

2.根据权利要求1所述的基于深度学习网络模型的鱼群异常行为识别方法，其特征在于：在所述步骤(1)中，将鱼群视频数据一中的图像数据帧压缩至64×64像素大小，M1＝3。

3.根据权利要求1所述的基于深度学习网络模型的鱼群异常行为识别方法，其特征在于：在所述步骤(2)中，M2＝7，时间维度上，卷积核大小为7×5×5，从连续输入7帧图像数据中获得36个特征图；空间维度上，卷积核大小为5×5，原图像大小为64×64，获得大小为60×60的特征图，最终每7帧图像获得36个大小为60×60的特征图；进行降采样处理后，得到多个大小为40×40的特征图；

深度学习网络模型参数为：输入层为1600个，第一层隐含层200个，第二层隐含层200个，输出层为2层，2个输出层分别为正常行为和异常行为。

4.根据权利要求1所述的基于深度学习网络模型的鱼群异常行为识别方法，其特征在于：

在所述步骤(2)中，将鱼群视频数据二中的每个图像数据帧用双线性插值算法压缩至128×128像素大小，M3＝3。

5.根据权利要求1所述的基于深度学习网络模型的鱼群异常行为识别方法，其特征在于：在所述步骤(6)中，把一幅图像数据帧得到的分块矩阵按行的顺序转成m*m*t×1的矩阵，然后将所有图像数据帧的所有分块按列融合转成m*m*t×n大小的输入矩阵；标签数据矩阵是指将每个分块矩阵对应的标签数据二按行的方式转成n×1的矩阵。

6.根据权利要求1所述的基于深度学习网络模型的鱼群异常行为识别方法，其特征在于：

在步骤(7)中,对输入矩阵和标签数据矩阵按公式(1)求互信息I(x_:i,y)，

I(x_:i,y)＝H(x_:i)+H(y)-H(x_:i,y)   公式(1)

其中H()是信息熵，x_:i是输入矩阵中第i列的数据，y是标签数据矩阵，H(x_:i,y)是x_:i和y的联合熵。

7.根据权利要求1所述的基于深度学习网络模型的鱼群异常行为识别方法，其特征在于：在步骤(10)中,深度学习网络的分类器是指Softmax分类器，深度学习网络采用Softmax回归模型。

8.根据权利要求1所述的基于深度学习网络模型的鱼群异常行为识别方法，其特征在于：在所述步骤(11)中，将待识别的鱼群视频数据三中的每个图像数据帧用双线性插值算法压缩至64×64像素大小，M6＝3。

9.根据权利要求1所述的基于深度学习网络模型的鱼群异常行为识别方法，其特征在于：在所述步骤(12)中，深度学习网络模型的输出为1，则表示鱼群行为状态为正常，输出为2则表示鱼群行为状态为异常，当输出结果为1的个数是输出结果为2的个数3倍以上时，则最终输出结果为1，代表鱼群行为状态是正常；当输出结果为2的个数是输出结果为1的个数3倍以上时，则最终输出结果2，表示鱼群行为状态是异常；当输出结果为1和输出结果为2的个数相差在10以内时，则最终输出结果为0，表示鱼群从正常行为状态转变成异常行为状态，或由异常行为状态转变成正常行为状态；当输出结果为1和输出结果为2的个数相差在11到18时，则无法判断视频中鱼群所处状态，最终输出结果为-1。