CN109117877A - 一种基于深度卷积生成对抗网络的黄颡鱼及其套养种识别方法 - Google Patents

Abstract

本发明公开了一种基于深度卷积生成对抗网络的黄颡鱼及其套养种识别方法，属于机器学习技术领域。该方法包括：采集黄颡鱼及其套养种鱼类的原始图片，通过生成式对抗网络生成类似原始图片的鱼类图片；将生成的鱼类图片与原始图片混合，送入卷积神经网络进行训练；利用训练后的卷积神经网络对黄颡鱼及其套养种鱼类进行识别。该方法可在极少样本的情况下，生成类似真实的黄颡鱼及其套养种图像，彻底解决了生活在水中的黄颡鱼离水应激强，图像难以采集，体表带有硬刺而导致人工分拣易受伤的难题。通过将原始数据与深度卷积生成式对抗网络生成的图片共同用于卷积神经网络的输入，显著提高网络模型识别的精度，最终识别精度可达94.2％，具有重要的应用价值。

Description

一种基于深度卷积生成对抗网络的黄颡鱼及其套养种识别 方法

技术领域

本发明涉及水产智能化养殖方法，具体涉及一种基于深度卷积生成对抗网络的黄颡鱼及其套养种识别方法。

背景技术

黄颡鱼(Pseudobagrus fulvidraco)为我国农业水产养殖中主要的小型经济鱼类。由于黄颡鱼是杂食性鱼类，随着黄颡鱼产业体系的扩大，开展黄颡鱼与其它品种套养，有利于充分利用不同鱼类的食性，充分利用饵料，净化水质，提高池塘饲料转化率，有利于提高产量，有益于渔民创汇争收。黄颡鱼的套养模式主要包括：滤食性鱼与黄颡鱼套养，滤食性的养殖鱼类主要有鲢、鳙等；草食性鱼与黄颡鱼套养，草食性鱼类主要有草鱼、鳊、鲂等食性为水草或陆生草类的鱼类；以及肉食性鱼类与黄颡鱼套养，肉食性鱼类包括翘嘴铂、青鱼、乌鱼、鳜、鲈等。套养黄颡鱼可以充分利用池塘资源，加速池塘饵料装换速率，极大提高渔民经济收入，实际生产中得到了广泛应用。但在长途运输前，起捕时需对不同种类的鱼分开装车，由于黄颡鱼背部有坚硬的脊间刺，人工分拣时容易刺伤手指，而且多种鱼类混合容易造成人眼视觉疲劳，导致分类错误。探讨机器自动化识别黄颡鱼有利于精准识别黄颡鱼与其套养种，有利于减少上述问题。

在鱼类识别方面，近年来开发的一些识别系统如Naiberg开发的测量原型系统(Fish Image Capturing and Sizing System,FICASS)，该系统利用水底2台摄像机的位置与前后端距离的几何关系来计算鱼的尺寸和游速，主要通过人工选择品质好的图像和鱼的位置来加以计算。虽然具有较好的识别精度，但是任需要大量人工参与，耗时费力，效率低下，因此急需有一种有效的识别方法可以智能化实现套养种识别，提高工作效率，特别是对于黄颡鱼这类背部有坚硬倒刺的鱼类，还有助于避免人工分拣导致的皮肤刺伤。

发明内容

发明目的：针对现有技术的不足，本发明提供了一种基于深度卷积生成对抗网络的黄颡鱼及其套养种识别方法，将深度学习方法和鱼类识别方法结合在一起，旨在解决传统黄颡鱼及其套养品种的识别精度低、数据预处理耗时、费力的缺点。

技术方案：一种基于深度卷积生成对抗网络的黄颡鱼及其套养种识别方法，包括以下步骤：

采集黄颡鱼及其套养种鱼类的原始图片，通过生成式对抗网络生成鱼类图片；

将生成的鱼类图片与原始图片混合，送入深度卷积神经网络进行训练；

利用训练后的深度卷积神经网络对黄颡鱼及其套养种鱼类进行识别。

优选地，通过生成式对抗网络生成鱼类图片后，通过仿射变换增加样本量，然后再进行训练。

作为优选，生成式对抗网络中的判别网络与生成网络均为卷积神经网络。

作为优选，套养种鱼类包括翘嘴鲌、鲢鱼、鳊鱼。

作为优选，用于训练混合图片的卷积神经网络的结构为：前五层是卷积层，后三层是是全连接层，在第一、第二、第五个卷积层之后分别加入最大池化层。

所述的卷积神经网络的一次进化过程为：

(1)深度卷积神经网络的的第一个卷积核的大小是16*16，在一个颜色通道上进行采样，采用30个卷积核，在间隔为1的采样频率上对识别对象进行卷积操作，得到第一个特征图，再进行池化操作；

(2)第二个卷积核的大小是10*10，30个输入通道，卷积核的大小是32*32接入池化层；

(3)第三个卷积层的卷积核大小是8*8，输入通道是32，一共有64个卷积核；

(4)第四个卷积层的卷积核大小是5*5，输入通道是64，卷积核数量是90；

(5)第五层卷积层的卷积核大小是3*3，输入通道是90，卷积核数量是100，输出送入池化层；

(6)将特征图重塑为8*8*100的大小，再接入含有1024个神经元的第一全连接层；

(7)第二个全连接层含512个神经元；

(8)最后一层为含4个神经元的全连接层，作为网络的输出层，每一个神经元的输出对应待识别的一种鱼。

有益效果：相对于现有技术，本发明方法具有以下优势：

1、结合计算机视觉技术和深度学习技术，实现了黄颡鱼及其套养种的无损识别，解决了传统识别方法导致的鱼体应激较大，不易采集的问题。

2、结合生成式对抗网络与深度卷积神经网络模型，生成训练集图片，增加了样本的丰富性，提高了模型的泛化能力，只需要极少的原始图片就能得到很好的识别效果，解决了黄颡鱼体表带有硬刺难以捕捞、脱水应激强烈导致的样本难以采集，导致样本数量少，模型训练不稳定，难以收敛的问题。

3、通过深度卷积神经网络模型鉴别黄颡鱼及其套养种，避免了传统算法模型大量人工特征提取的过程，加快了工作效率，提高了识别精度。

4、利用本发明的方法可以实现黄颡鱼及其套养种的自动分选，避免了人工分拣时鱼刺刺伤皮肤以及人眼视觉疲劳造成的识别误判，实现高质量、高精度的生产自动化。

附图说明

图1为本发明方法的流程图；

图2为本发明涉及的生成式对抗网络中的生成网络示意图；

图3为本发明涉及的生成式对抗网络中的判别网络示意图；

图4为本发明所涉及的深度卷积神经网络生成的黄颡鱼及其套养种图片；

图5为本发明涉及的用于黄颡鱼及其套养种图像识别的深度卷积神经网络模型的误差下降过程；

图6为本发明涉及的用于黄颡鱼及其套养种图像识别的深度卷积神经网络模型的进化过程。

具体实施方式

下面结合附图对本发明的技术方案作进一步说明。

参照图1，本发明的方法通过采集黄颡鱼及其套养种鱼类的原始图片，通过生成式对抗网络(Generative adversarial networks，GAN)生成类似原始图片的逼真图片；然后将生成的逼真图片与原始图片混合，送入深度卷积神经网络进行训练；实际应用时，利用训练后的深度卷积神经网络对黄颡鱼及其套养种鱼类进行识别。本发明通过生成式对抗网络来生成新的样本，同时通过仿射变换(旋转、拉伸、切变等)来增加样本的数量，增加了样本的丰富性，提高了模型的泛化能力。

在一个实施例中，根据黄颡鱼的套养模式分别选取三种具有代表性的套养种，分别是翘嘴鲌、鲢鱼、鳊鱼作为识别对象，提出一种结合深度卷积神经网络对四种鱼类进行高精度识别的方法。以下详述具体实施过程。

1、图片采集和预处理

采集黄颡鱼、翘嘴鲌、鲢鱼、鳊鱼图片各一千张，用于生成式对抗网络的输入样本。将采集的彩色图片转换为灰度图，将其大小重塑成60*60px。

2、利用生成式对抗网络生成鱼类图片

通过深度卷积神经网络来构造生成式对抗网络，利用卷积神经网络自身的容错机制来改善低质量图片(鱼塘背景、反光、遮挡所致)的生成效果。

参照图2，生成网络含有四个反卷积层，输入是含100个点的随机噪声。生成过程为：首先生成100维的随机噪声，通过一个全连接层变成16384维的向量，再重塑为4*4*1024的特征图，然后通过四个反卷积层生成64*64*3的图片，反卷积核大小是5*5。

参照图3，判别网络的前四层是卷积层，第五层是全连接层，然后是输出层。四个卷积层通过5*5大小的卷积核来采样，最后一层全连接层的激活函数是tanh。

判别网络定义为：其中p_data(x)是真实的数据，p_model(x)是预测数据。

如果生成的数据与判别的数据(即真实数据)完全一样，则判别器就无法正常工作，判别器无法分辨真假。因此，引入损失函数用于最大化判别网络D(x)的区分度，最小化生成数据和真实数据的数据分布。网络训练的损失函数形式为：

式中G是生成网络，D是判别网络，为真实数据的数学期望，是生成数据的数学期望，x为真实数据，z表示输入G网络的噪声。

深度生成式对抗网络没有池化层，而是用卷积层来代替池化层，目的是容许网络学习自己的空间下采样。对于判别模型，容许网络学习自己的空间下采样。对于生成模型，允许学习它自己的空间上采样。生成式对抗网络生成的类似于真实的鱼类图片如图4所示，从左到右依次为翘嘴鲌、黄颡鱼、鲢鱼、鳊鱼，图片是具有1个颜色通道的60*60大小的灰度图。为进一步丰富数据的多样性，对生成的数据进行仿射变换，例如平移(Translation)、缩放(Scale)、翻转(Flip)、旋转(Rotation)和剪切(Shear)等变换，以期实现更好的网络迭代效果。

用于识别的深度卷积神经网络的输入图片为1个颜色通道的60*60大小的灰度图，将其装换为TFRecord格式，采用这种方式维护图像和类别的关系，可扩展性好，可以有效地记录输入数据中的信息，并且加速计算。

3、训练卷积神经网络模型

卷积神经网络的结构采用八层。前五层是卷积层，后三层是是全连接层。鱼类图像像素点分布具有高维、密集型的特点，为了防止过拟合，在第一、第二、第五个卷积层之后加入最大池化层。第一个卷积核的大小是16*16，在一个颜色通道上进行卷积，采用30个卷积核，在间隔为1的采样频率上对采集的鱼类图像进行卷积操作，得到第一个特征图(FeatureMap)，再进行池化操作。这里的鱼类图像为原始和灰度图和生成网络生成的灰度图的集合，实施例中是放在同一个文件夹下进行简单融合。第二个卷积核的大小是10*10，30个输入通道，卷积核的大小是32*32，采样完毕后接入池化层。第三个卷积层的卷积核大小是8*8，输入通道是32，一共有64个卷积核，第四个卷积层的卷积核大小是5*5，输入通道是64，卷积核数量是90。第五层卷积层的卷积核大小是3*3，输入通道是90，卷积核数量是100，网络输出接入池化层。60*60的输入图片经过三次下采样后(池化核的大小为2*2、滑动步长是2*2、采用边缘填充的方式)，特征图的大小变为8*8，故接入全连接层之前，应当先将特征图重塑为8*8*100的大小，再接入含有1024个神经元的第一全连接层，再进入Relu(RectifiedLinear Unit)激活函数进行非线性映射。第二个全连接层含有512个神经元，网络输出送入Relu，最后一层为含有4个神经元的全连连层作为网络的输出层，每一个神经元的输出结果对应一个分类结果。图5、图6是是本发明涉及的深度卷积神经网络完整的网络进化过程，实验结果表明，经过多次复杂的网络迭代，网络已成功收敛，证明本发明涉及的网络结构在黄颡鱼及其套养种的识别中发挥了重要作用，通过卷积层提取图片的特征，正则化层消除了网络的过拟合，全连接层输出了每一张图片属于每一类的概率，起到了统筹全部特征的作用。网络的学习率设置合理，可以让网络朝着全局误差最小的方向进化，最终收敛。

4、利用训练好的卷积神经网络模型对翘嘴鲌、黄颡鱼、鲢鱼、鳊鱼四种鱼类进行识别，将测试集图片制作成TFRecord模式，调取神经网络参数，进行识别，计算每一张图片属于某个分类的概率值。

通过将原始数据与深度卷积生成式对抗网络生成的图片共同用于卷积神经网络的输入，能够显著提高网络模型识别的精度，最终识别精度可达94.2％，无限逼近人眼的识别精度，在世界级计算机视觉挑战赛中，人眼的视觉识别精度为95％。在大型的深度网络模型中，由于参数量巨大，普通PC机无法正常训练模型，需要使用高性能的GPU加速，所以必须使用海量样本才能使网络收敛，通常需要2万张图片。相比之下，本发明仅用极少的原始图片即能取得很好的识别效果，因此具有重要的应用价值。

Claims (9)

1.一种基于深度卷积生成对抗网络的黄颡鱼及其套养种识别方法，其特征在于，所述方法包括以下步骤：

采集黄颡鱼及其套养种鱼类的原始图片，通过生成式对抗网络生成类似原始图片的鱼类图片；

将生成的鱼类图片与原始图片混合，送入卷积神经网络进行训练；

利用训练后的卷积神经网络对黄颡鱼及其套养种鱼类进行识别。

2.根据权利要求1所述的基于深度卷积生成对抗网络的黄颡鱼及其套养种识别方法法，其特征在于，通过生成式对抗网络生成生成鱼类图片后，通过仿射变换增加样本量，然后再进行训练。

3.根据权利要求1所述的基于深度卷积生成对抗网络的黄颡鱼及其套养种识别方法，其特征在于，所述生成式对抗网络中的判别网络与生成网络均为卷积神经网络。

4.根据权利要求3所述的基于深度卷积生成对抗网络的黄颡鱼及其套养种识别方法，其特征在于，所述生成网络的生成过程为：首先生成100维的随机噪声，通过一个全连接层变成16384维的向量，再重塑为4*4*1024的特征图，然后通过四个反卷积层生成64*64*3的图片，反卷积核大小是5*5。

5.根据权利要求3所述的基于深度卷积生成对抗网络的黄颡鱼及其套养种识别方法，其特征在于，所述判别网络的前四层是卷积层，第五层是全连接层，然后是输出层，四个卷积层通过5*5大小的卷积核来采样，最后一层全连接层的激活函数是tanh。

6.根据权利要求3所述的基于深度卷积生成对抗网络的黄颡鱼及其套养种识别方法，其特征在于，所述生成式对抗网络训练的损失函数形式为：

式中G是生成网络，D是判别网络，为真实数据的数学期望，是生成数据的数学期望，x为真实数据，z表示输入G网络的噪声。

7.根据权利要求1所述的基于深度卷积生成对抗网络的黄颡鱼及其套养种识别方法，其特征在于，所述套养种鱼类包括翘嘴鲌、鲢鱼、鳊鱼。

8.根据权利要求1所述的基于深度卷积生成对抗网络的黄颡鱼及其套养种识别方法，其特征在于，用于对混合图片进行训练的卷积神经网络的结构为：前五层是卷积层，后三层是是全连接层，在第一、第二、第五个卷积层之后分别加入最大池化层。

9.根据权利要求8所述的基于深度卷积生成对抗网络的黄颡鱼及其套养种识别方法，其特征在于，所述卷积神经网络的一次进化过程为：

(1)深度卷积神经网络的的第一个卷积核的大小是16*16，在一个颜色通道上进行采样，采用30个卷积核，在间隔为1的采样频率上对识别对象进行卷积操作，得到第一个特征图，再进行池化操作；

(2)第二个卷积核的大小是10*10，30个输入通道，卷积核的大小是32*32接入池化层；

(3)第三个卷积层的卷积核大小是8*8，输入通道是32，一共有64个卷积核；

(4)第四个卷积层的卷积核大小是5*5，输入通道是64，卷积核数量是90；

(5)第五层卷积层的卷积核大小是3*3，输入通道是90，卷积核数量是100，输出送入池化层；

(6)将特征图重塑为8*8*100的大小，再接入含有1024个神经元的第一全连接层；

(7)第二个全连接层含512个神经元；

(8)最后一层为含4个神经元的全连接层，作为网络的输出层，每一个神经元的输出对应待识别的一种鱼。