CN110766013A - 一种基于卷积神经网络的鱼类识别方法和装置 - Google Patents

Abstract

本发明公开了一种基于卷积神经网络的鱼类识别方法和装置，包括：(1)采集原始鱼图像，对其进行显著性分析以对鱼图像中的鱼类目标定位分割，获得前景图像，并线性融合前景图像与原始鱼图像，获得对比度明显的鱼图像作为训练样本，以此构建训练集；(2)利用ImageNet预训练ResNet，提取网络参数确定的ResNet作为特征提取单元，该特征提取单元的输出依次连接平均池化层与Softmax分类器，形成鱼类识别网络；(3)利用训练集对鱼类识别网络的网络参数进行优化，获得鱼类识别模型；(4)利用鱼类识别模型对待识别鱼图像进行识别，输出识别结果。该基于卷积神经网络的鱼类识别方法和装置能够准确实现对鱼类的识别。

Description

一种基于卷积神经网络的鱼类识别方法和装置

技术领域

本发明属于图像识别领域，具体涉及一种卷积神经网络的鱼类识别方法和装置。

背景技术

渔业作为农业的重要组成部分，对拉动整个农业经济和国民经济的发展发挥着重要的作用。科学开发和保护渔业资源，建设现代渔业示范园区是渔业转型升级、实现更大发展的必然要求。发展现代渔业关系到很多新设施、新技术、新机制，但最重要的部分首先是渔业监测。基于计算机视觉技术的自动化检测方法在水产养殖领域得到了广泛应用，目前已经建立了许多系统有效的鱼类识别方法。文献1：张志强,牛智有,赵思明.基于机器视觉技术的淡水鱼品种识别[J].农业工程学报,2011,27(11):388-39提取鱼类图像中的各个颜色分量及长短轴之比作为分类特征，最后运用该特征值建立有关淡水鱼的品种识别模型。文献2：Alsmadi M K,Omar K B,Noah S A,et al.A hybrid memetic algorithm withback-propagation classifier for fish classification based on robust featuresextraction from PLGF and shape measurements[J].Information TechnologyJournal,2011,10(5):944－954利用Memetic算法优化BP神经网络进行鱼类分类。吴一全等提出了一种蜂群优化多核支持向量机的淡水鱼识别方法。然而这些方法需要鱼体离水后在相对结构化的单一背景下手动提取尺寸、形状、颜色和纹理等特征参数，不仅耗时耗力，而且对鱼类的生长和存活都造成了难以逆转的影响。

近年来深度学习在物种识别上取得了积极进展，深度卷积神经网络能够实现自动化的图像特征提取并逐级获取更深层次的信息，因而可以无接触的对水下活鱼实现高效分类。

发明内容

本发明的目的是提供一种基于卷积神经网络的鱼类识别方法和装置，该基于卷积神经网络的鱼类识别方法和装置能够准确实现对鱼类的识别。

实现上述发明的技术方案为：

一种基于卷积神经网络的鱼类识别方法，包括以下步骤：

(1)采集原始鱼图像，对原始鱼图像进行显著性分析以对鱼图像中的鱼类目标定位分割，获得前景图像，并线性融合前景图像与原始鱼图像，获得对比度明显的鱼图像作为训练样本，以此构建训练集；

(2)利用ImageNet预训练ResNet，预训练结束后，提取网络参数确定的ResNet作为特征提取单元，该特征提取单元的输出依次连接平均池化层与Softmax分类器，形成鱼类识别网络；

(3)利用训练集对鱼类识别网络的网络参数进行优化，优化结束后获得鱼类识别模型；

(4)按照步骤(1)对待识别的鱼图像进行处理，获得对比度明显的待识别鱼图像，利用鱼类识别模型对对比度明显的待识别鱼图像进行识别，输出识别结果。

优选地，所述对原始鱼图像进行显著性分析以对鱼图像中的鱼类目标定位分割，获得前景图像包括：

采用全频域显著性检测方法对鱼图像进行处理，形成显著图；

对显著图进行自适应阈值计算得到二值显著图；

将二值显著图作为Grab Cut算法的初始区域对鱼类目标进行半自动图像分割，获得前景图像。

优选地，所述采用全频域显著性检测方法对鱼图像进行处理包括：

首先，对于原始鱼图像，在LAB空间中利用颜色和亮度特征来估计中央周边差对比度；

然后，采用多个带通滤波器组合的方法滤除高频噪声信息，得到更多显著性区域检测需要的低频信息进而计算图像显著值，显著值的计算公式为：

S_FT(x,y)＝‖I_u-I_G(x,y)‖

式中，I_u为原始鱼图像在LAB空间的像素算术平均值，I_G(x,y)为高斯滤波后的像素特征值，‖·‖为所有像素特征值I_G(x,y)与像素算术平均值I_u之间的欧氏距离。

优选地，选择ResNet_50作为预训练网络，即利用ImageNet预训练ResNet_50，预训练结束后，提取网络参数确定的ResNet_50作为特征提取单元。

优选地，对数量小于300那类鱼图像进行数据增强，具体采取水平翻转，垂直翻转，90°旋转、180°旋转、270°旋转5种数据增强方法对该类鱼图像进行数据扩充。

优选地，在对鱼类识别网络的网络参数进行优化时，设置初始学习率为0.05～0.2，批次处理量为32；

每次迭代优化时，针对特征提取单元的卷积层，以连接全连接层的卷积层为起始，依次向前逐步开放卷积层，并固定剩余的卷积层，利用训练集对开放的卷积层参数、全连接层参数进行优化。

在一个实施方式中，在对鱼类识别网络的网络参数进行优化时，设置初始学习率为0.1，批次处理量为32，迭代次数大于4000次；

针对特征提取单元的卷积层，固定从输入层算起的第一个卷积层和第二个卷积层，开放其他卷积层，利用训练集对开放的卷积层参数、全连接层参数进行优化。

一种基于卷积神经网络的鱼类识别装置，包括计算机存储器、计算机处理器以及存储在所述计算机存储器中并可在所述计算机处理器上执行的计算机程序，所述计算机存储器中存有上述的鱼类识别模型，所述计算机处理器执行所述计算机程序时实现以下步骤：

对原始鱼图像进行显著性分析以对鱼图像中的鱼类目标定位分割，获得前景图像，并线性融合前景图像与原始鱼图像，获得对比度明显的待识别鱼图像；

调用所述鱼类识别模型对对比度明显的待识别鱼图像进行识别，输出识别结果。

与现有技术相比，本发明具有的有益效果为：

本发明利用显著性分析在滤除背景噪声的同时实现了对鱼类目标的定位增强，即获得较清晰的前景图像，将前景图像与原始鱼图像进行融合维持了最大信息内容，保证了样本的准备性，将ResNet预训练网络参数迁移到鱼类识别网络中，缩短了训练时间长，经训练获得的鱼类识别模型取得了最高的识别准确率，平均识别精度达到99.64％。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。

图1是基于卷积神经网络的鱼类识别方法的识别过程流程图；

图2是显著性分析的流程示意图；

图3是不同学习率对损失值的影响示意图；

图4是不同批处理量对损失值的影响示意图；

图5是ResNet-N分类精度示意图；

图6是鱼类识别网络Loss值曲线。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。

本实施例提供了一种卷积神经网络的鱼类识别方法，该鱼类识别方法包括训练集构建、鱼类识别网络构建、鱼类识别网络的训练以及鱼类识别模型的应用四个阶段，下面针对每个阶段进行详细说明。

训练集构建

本实施例中用作训练的原始鱼图像来自于Fish4Knowledge数据集，该数据集包含23种鱼类27370张鱼图像，不同种类的鱼图像数量差异巨大，其中单个顶级物种约占图像的44％，排名前15的物种对应于97％的图像。本实施中将该数据集以5:1:1的比例划分为训练集，验证集和测试集。考虑到训练集中数据不均衡现象易对模型训练结果造成偏差，所以对于训练集中数量小于300的种类，采取水平翻转，垂直翻转，90°旋转、180°旋转、270°旋转5种数据增强方法来扩充数据集。然后，统一将鱼图像缩放到224×224像素。

图像分类中目标区域的定位对提升精确度有一定帮助，为了提升模型的训练精度，在获得尺寸统一的鱼图像基础上，去除背景噪声以获得前景图像。然而去除背景噪声来定位目标区域可能对分类产生负面影响，在对图像分割预处理期间可能无意剔除有效轮廓，移除有用的对象背景信息，所以本发明采取前景图像融合原始图像的方法来维持最大信息内容。针对传统深度学习的图像分类方法无法较好地定位鱼类区域，同时训练参数多训练时间长等问题，在降低对数据标注的需求下，本实施例采用图像显著性分析和Grubcut算法对复杂背景下的鱼类目标进行定位增强，获得对比度明显的鱼图像作为训练样本，以此构建训练集。

具体地，如图2所示，采用全频域显著性检测方法对鱼图像进行鱼类目标的定位，即在LAB空间中利用颜色和亮度特征来估计中央周边差对比度，并采用多个带通滤波器组合的方法滤除高频噪声信息，得到更多显著性区域检测需要的低频信息进而计算图像显著值，形成显著图。

频域显著性检测方法能够突出区域中最大的显著物体，得到显著目标的整体轮廓，同时生成的显著图分辨率与原图相同且计算速度较快。其显著值计算公式可表示为：

S_FT(x,y)＝‖I_u-I_G(x,y)‖

式中，I_u为原始鱼图像在LAB空间的像素算术平均值，I_G(x,y)为高斯滤波后的像素特征值，‖·‖为所有像素特征值I_G(x,y)与像素算术平均值I_u之间的欧氏距离。

显著图提供了鱼类目标的潜在区域，在此基础上，对显著图进行自适应阈值计算得到二值显著图，并将该二值显著图作为Grab Cut算法的初始区域对鱼类目标进行半自动图像分割，获得前景图像。最后将前景图像与原始鱼图像进行线性融合，获得对比度明显的鱼图像作为训练样本，至此，获得由训练样本组成的训练集。

鱼类识别网络构建

经过探究发现，针对鱼图像识别任务，虽然鱼图像数据集与ImageNet图像数据集中的图像内容不同，但是图像的边缘、纹理、颜色等底层特征是通用的，因此可以将利用在ImageNet大型图像数据集上预训练的ResNet学习到的图像底层网络特征迁移到鱼图像识别网络中，在网络训练中初始化权重参数，进而优化模型的学习效率并减少过拟合的可能。

具体地，本实施例中，选择ResNet_50作为预训练网络，利用ImageNet预训练ResNet_50，预训练结束后，提取网络参数确定的ResNet_50作为特征提取单元，该特征提取单元的输出依次连接平均池化层与Softmax分类器，形成鱼类识别网络，至此，鱼类识别网络构建完成。

鱼类识别网络的训练

经验可知，实验中模型训练得越久离最优值越近，因此在训练过程中随着迭代的继续应逐步降低学习率。本实施例运用指数衰减法对学习率进行更新。指数衰减法的学习率更新式为：

式中，lr为衰减过后的学习率，lr₀为初始学习率，dr为衰减率，gs为当前的迭代轮数，ds为衰减步长。

在训练过程中采用多类别交叉熵计算分类损失。为提高调参效率，使模型在训练集上的训练能力达到最大，本实施例采用自适应矩阵估计算法(Adaptive momentestimation，Adam)来实现模型优化，权重和偏置更新。Adam是一种自适应学习率的梯度更新法，它有效地减少了出现局部最优解的情况，而且内存需求低，计算效率高。

经实验探究，训练时，学习率、批处理量、以及训练策略均都影响最后获得的鱼类识别模型的识别准确度。

学习率控制梯度下降的步长，不同的学习率对于模型收敛，识别准确度差异影响较大。为了优化实验结果，分析本实验中学习率与分类结果之间的关系，在默认参数设置下对不同学习率模型进行试验。模型在训练过程中损失值随迭代次数的变化情况如图3所示。

由图3可知，更高的学习率可以实现更快的收敛。初始学习率为0.001，0.01的模型收敛缓慢，0.2的学习率可以实现快速收敛但最终的损失值偏高，这是因为太高的学习率可能会错过最优解，降低识别准确率。而学习率处于0.1时能够取得比较好的结果，所以实验初始学习率均设置为0.1。

训练深度神经网络时，由于样本数据量巨大，一般会分批从数据集中抽取少量的图像计算平均值，然后根据平均值更新权重值。抽取图像的数量即为批处理量(batch)，批处理量的大小影响模型的性能和准确率。较大的批提高了梯度的精度，但是较小的批有利于收敛，因此要选择合适的批处理量。

图4为初始学习率为0.1时不同批处理量对模型优化过程的影响。可以看出，批量越大，损失值性能越好，批大小为64的模型损失值最小。批处理量为64时会出现内存溢出现象，所以本实验选取损失值性能与64相近的32作为批处理量。

为进一步提高准确率，需要对模型进行微调操作，每次迭代优化时，针对特征提取单元的卷积层，以连接全连接层的卷积层为起始，依次向前逐步开放卷积层，并固定剩余的卷积层，利用训练集对开放的卷积层参数、全连接层参数进行优化。

实施例中使用ResNet-N代表参数微调的范围，N表示将ResNet_50预训练模型第N层与其之后的参数利用实验训练集进行微调训练，并将其余低层网络参数全部冻结。除conv1层外，其中每一层都是一组残差块。图5曲线展示了模型的识别精度随微调层数的变化趋势。

实验表明，随着微调层数的增加，模型的识别准确率整体呈上升趋势，且在ResNet-conv3_1时识别准确率达到最高。说明预训练模型的conv1层和conv2层已具备良好的基础特征提取能力。因此，本实施例后续迁移模型采取固定低2层网络参数，微调高层的训练方式，即针对特征提取单元的卷积层，固定从输入层算起的conv1层和conv2层，开放其他卷积层，利用训练集对开放的卷积层参数、全连接层参数进行优化。

在上述学习率、批处理量、以及训练策略的选择下，训练时，训练集跟测试集Loss值随迭代次数的变化曲线如图6所示。可以看出训练集和测试集的走势基本一致，并且在迭代4000次时Loss值基本稳定，因此可以判断模型没有发生过拟合。

为验证本实施例提供的鱼类识别模型的性能，针对同样的训练样本，使用与图像识别相关的深度神经网络迁移学习方法Inception V3迁移学习，Inception-ResNet-v2迁移学习，ResNet-152迁移学习进行分类性能比较。因为4种模型的大小不同，所以训练时系统所允许的批处理量大小也不同，其中Inception V3采用的批大小为16，Inception-ResNet-v2和ResNet-152所用的批大小为8。在其他参数设置保持一致的情况下，对3种模型的所有权重参数进行微调测试，实验结果如表1所示。

表1不同卷积神经网络模型的训练结果

由表1可知，深度神经网络均具有强大的特征表达能力，均能够获得比较理想的实验结果。但是本发明所提方法的测试准确率最高，平均检测时间最短，且与其他3种识别方法相比，本发明提供的鱼类识别方法在实验中能够允许较大的批处理量，保证了更加稳定的识别效果。

鱼类识别模型的应用

应用时，按照训练集构建阶段的方法步骤，对待识别鱼图像进行显著性分析以对鱼图像中的鱼类目标定位分割，获得前景图像，并线性融合前景图像与原始鱼图像，获得对比度明显的待识别鱼图像；然后，将对比度明显的待识别鱼图像输入至鱼类图像识别模型中，经计算，输出识别置信度，依次获得识别结果。

实施例还提供了一种基于卷积神经网络的鱼类识别装置，包括计算机存储器、计算机处理器以及存储在所述计算机存储器中并可在所述计算机处理器上执行的计算机程序，所述计算机存储器中存有上述鱼类识别方法构建获得的鱼类识别模型，所述计算机处理器执行所述计算机程序时实现以下步骤：

对原始鱼图像进行显著性分析以对鱼图像中的鱼类目标定位分割，获得前景图像，并线性融合前景图像与原始鱼图像，获得对比度明显的待识别鱼图像；

调用所述鱼类识别模型对对比度明显的待识别鱼图像进行识别，输出识别结果。

鱼类识别装置中获得对比度明显的待识别鱼图像的步骤与鱼类识别方法中获得对比度明显的待识别鱼图像步骤相同，此处不再赘述。该鱼类识别装置由于应用了上述的鱼类识别模型，因此，平均识别精度达到99.64％。

实际应用中，计算机存储器可以为在近端的易失性存储器，如RAM，还可以是失性存储器，如ROM，FLASH，软盘，机械硬盘等，还可以是远端的存储云。计算机处理器可以为中央处理器(CPU)、微处理器(MPU)、数字信号处理器(DSP)、或现场可编程门阵列(FPGA)，即可以通过这些处理器实现对比度明显的待识别鱼图像的获取步骤以及识别步骤。

以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于卷积神经网络的鱼类识别方法，包括以下步骤：

(1)采集原始鱼图像，对原始鱼图像进行显著性分析以对鱼图像中的鱼类目标定位分割，获得前景图像，并线性融合前景图像与原始鱼图像，获得对比度明显的鱼图像作为训练样本，以此构建训练集；

(2)利用ImageNet预训练ResNet，预训练结束后，提取网络参数确定的ResNet作为特征提取单元，该特征提取单元的输出依次连接平均池化层与Softmax分类器，形成鱼类识别网络；

(3)利用训练集对鱼类识别网络的网络参数进行优化，优化结束后获得鱼类识别模型；

(4)按照步骤(1)对待识别的鱼图像进行处理，获得对比度明显的待识别鱼图像，利用鱼类识别模型对对比度明显的待识别鱼图像进行识别，输出识别结果。

2.如权利要求1所述的基于卷积神经网络的鱼类识别方法，其特征在于，所述对原始鱼图像进行显著性分析以对鱼图像中的鱼类目标定位分割，获得前景图像包括：

采用全频域显著性检测方法对鱼图像进行处理，形成显著图；

对显著图进行自适应阈值计算得到二值显著图；

将二值显著图作为Grab Cut算法的初始区域对鱼类目标进行半自动图像分割，获得前景图像。

3.如权利要求2所述的基于卷积神经网络的鱼类识别方法，其特征在于，所述采用全频域显著性检测方法对鱼图像进行处理包括：

首先，对于原始鱼图像，在LAB空间中利用颜色和亮度特征来估计中央周边差对比度；

然后，采用多个带通滤波器组合的方法滤除高频噪声信息，得到更多显著性区域检测需要的低频信息进而计算图像显著值，显著值的计算公式为：

S_FT(x,y)＝‖I_u-I_G(x,y)‖

式中，I_u为原始鱼图像在LAB空间的像素算术平均值，I_G(x,y)为高斯滤波后的像素特征值，‖·‖为所有像素特征值I_G(x,y)与像素算术平均值I_u之间的欧氏距离。

4.如权利要求1所述的基于卷积神经网络的鱼类识别方法，其特征在于，选择ResNet_50作为预训练网络，即利用ImageNet预训练ResNet_50，预训练结束后，提取网络参数确定的ResNet_50作为特征提取单元。

5.如权利要求1所述的基于卷积神经网络的鱼类识别方法，其特征在于，对数量小于300那类鱼图像进行数据增强，具体采取水平翻转，垂直翻转，90°旋转、180°旋转、270°旋转5种数据增强方法对该类鱼图像进行数据扩充。

6.如权利要求1所述的基于卷积神经网络的鱼类识别方法，其特征在于，在对鱼类识别网络的网络参数进行优化时，设置初始学习率为0.05～0.2，批次处理量为32；

每次迭代优化时，针对特征提取单元的卷积层，以连接全连接层的卷积层为起始，依次向前逐步开放卷积层，并固定剩余的卷积层，利用训练集对开放的卷积层参数、全连接层参数进行优化。

7.如权利要求1所述的基于卷积神经网络的鱼类识别方法，其特征在于，在对鱼类识别网络的网络参数进行优化时，设置初始学习率为0.1，批次处理量为32，迭代次数大于4000次；

针对特征提取单元的卷积层，固定从输入层算起的第一个卷积层和第二个卷积层，开放其他卷积层，利用训练集对开放的卷积层参数、全连接层参数进行优化。

8.一种基于卷积神经网络的鱼类识别装置，包括计算机存储器、计算机处理器以及存储在所述计算机存储器中并可在所述计算机处理器上执行的计算机程序，其特征在于，所述计算机存储器中存有权利要求1～7任一项所述的鱼类识别模型，所述计算机处理器执行所述计算机程序时实现以下步骤：

对原始鱼图像进行显著性分析以对鱼图像中的鱼类目标定位分割，获得前景图像，并线性融合前景图像与原始鱼图像，获得对比度明显的待识别鱼图像；

调用所述鱼类识别模型对对比度明显的待识别鱼图像进行识别，输出识别结果。

Images