CN112633400B - 基于计算机视觉的贝类分类识别方法及装置 - Google Patents

Abstract

本发明提供一种基于计算机视觉的贝类分类识别方法及装置，属于图像识别领域，所述方法基于python语言开发，以现有的贝类图片为研究对象，先对其所属科目进行识别，再具体识别其类别的分步识别方法；为了确保贝类识别算法的精度和效率，以部署到便携式设备上对贝类进行现场识别。本发明一种以熵信息和相似性为标准的剪枝技术，剔除了DNN(Deep Neural Networks,深度神经网络)中大量无用和相似的特征，减少了DNN模型的参数量，提高了DNN的计算速度，且提高了贝类识别的准确性。本发明设计了一种包含摄像头和支持AI处理的边缘计算设备的装置，运行剪枝后的算法模型对贝类类别现场识别，节省了数据传输的时间和成本。

Description

基于计算机视觉的贝类分类识别方法及装置

技术领域

本发明属于图像识别领域，尤其涉及一种基于计算机视觉的贝类分类识别方法及装置。

背景技术

我国海洋资源中贝类资源丰富，是世界贝类多样性最丰富的国家之一，贝类形态千姿百态，虽然每种贝类都有其独特的壳型和壳色特征，但对于有些外形非常相似的贝类贝壳，普通人甚至专业人士若仅通过肉眼观察很难对其进行精确判别，目前针对贝类的分类方法和自动分拣系统仍停留在初级阶段，主要体现在传统的贝类分类方法是基于分子生物技术从基因角度进行区分，或是基于Gabor变换设计特定的方法采集特征进行区分，识别的贝类种类少且准确率不高。目前深度神经网络(Deep Neural Networks,以下简称DNN)在物体识别方面取得突破性进展，但是由于某些贝类非常相似，DNN直接应用于贝类识别上效果不佳，且计算量大，难以部署到便携设备上。基于以上考虑，本发明研究了一种新的深度学习算法，充分利用纲、科等信息用于识别贝类；提出了一种以熵信息和相似性为标准的剪枝技术，使深度学习算法便于部署到边缘设备上；设计了一种包含摄像头和支持AI处理的边缘计算设备的装置，运行剪枝后的算法模型可对贝类的类别现场识别。

文献《基于Gabor变换和极限学习机的贝类图像种类识别》，提出了对贝类图像进行Gabor变换提取图像特征，采用2DPCA方法对变换后的特征进行降维，并利用极限学习机(ELM)对海螺、海虹、鲍鱼、扇贝、蚬子进行分类识别，泛化性良好，具有较高的识别率。

根据传统图像特征提取方法来解决贝类的分类鉴别问题，存在着大量的参数冗余，带有冗余参数的模型不仅浪费存储空间和计算资源，而且容易导致过拟合问题，在计算资源有限的嵌入式平台上难以发挥优异的性能。

文献《利用DNA条形码COI基因分析我国重要贝类系统进化关系》，提出了利用DNA条形码基因对海洋贝类进行分类鉴定，从分子生物学角度给出了海洋贝类的分类鉴别方法。

基于分子生物技术从基因角度进行区分贝类的方法，并不能实现对形貌特征相似的贝类，且部署到嵌入式设备上对数据采集模块的经济成本要求较高。

文献《基于机器视觉的贝类自动识别与定位方法研究》，提出了先对图像预处理，突出目标物的边缘特征，再应用canny算子提取出目标物的边缘信息。针对形状特征，提出了图像边缘距中心点的绝对平均误差作为扇贝的识别特征，通过训练BP神经网络，实现对扇贝的自动识别。

基于机器视觉的贝类自动识别方法，识别的贝类种类少，并不能实现对形貌特征相似的贝类。神经网络泛化能力差，且计算量大，难以部署到便携设备上。

发明内容

本发明要解决的技术问题在于提供一种基于计算机视觉的贝类分类识别方法及装置。为了确保贝类识别算法的精度和效率，以部署到便携式设备上对贝类进行现场识别。本发明所要解决的技术问题是：第一，研究一种新的深度学习算法，充分利用纲、科等信息，提高贝类识别的准确性。第二，提出一种以熵信息和相似性为标准的剪枝技术，剔除了DNN中大量无用和相似的特征，减少了DNN模型的参数量，提高了DNN的计算速度。第三，设计了一种包含摄像头和支持AI处理的边缘计算设备的装置，运行剪枝后的算法模型对贝类类别现场识别，节省了数据传输的时间和成本。

一种基于计算机视觉的贝类分类识别方法，所述方法基于python语言开发，以现有的贝类图片为研究对象，先对其所属科目进行识别，再具体识别其类别的分步识别方法；

所述的对其所属科目进行识别的方法为：对已知科目的样本训练比较简单的深度神经网络；将采集的不同科目的贝类图片样本，根据生物学特征分成科目存储到文件夹，将采集到的图片样本分为训练集和测试集，最后通过随机旋转，随机翻转，中心裁剪，修改图像亮度、对比度、饱和度在内的数据增强策略来扩充训练集和测试集，然后读取各科目文件夹下的贝类数据集，以一张图片做为一个样本，输入到神经网络模型中进行训练；

搭建卷积神经网络用于训练采集的样本；将数据增强后的图片作为输入，自动读入每一个文件夹中的图片样本，对样本采用线性缩放的方法将图片归一化为224*224大小的待训练样本；新建一个列表用来保存对应的样本科目类别，取80％作为训练集，20％做为验证集；图片样本集基于简单的浅层神经网络模型进行训练，并在训练过程中加入剪枝技术，最终输出分科结果；其中，卷积层用于提取图片的时空特征；池化层对卷积层的输出缩小维度，并提取主要特征；剪枝技术用于在训练过程中每次更新参数时随机裁剪大量无用的特征；模型结构以AlexNet网络结构为基础，为匹配贝类数据集，修改全连接层FC1输入大小为9216，输出大小为4096；全连接层FC2输入大小为4096，输出大小为2048；最后一层输入大小为2048，输出大小为33；通过softmax函数输出科目编号，即可得分科结果；对模型采取SGD的优化方法进行训练，以交叉熵作为损失函数；分批进行训练，每一批为64个样本，共训练100次；训练好后的模型用PKL文件保存，并采用交叉验证的方式验证测试集，验证通过后保存为model_K.pkl文件；

所述的具体识别其类别的方法：

采集不同类别的贝类图片样本，根据生物学特征以及类别所属科目信息分成分别存储到文件夹，将采集到的图片样本分为训练集和测试集，最后通过随机旋转，随机翻转，中心裁剪，修改图像亮度、对比度、饱和度在内的数据增强策略来扩充训练集和测试集；然后读取各类别文件夹下的贝类数据集，以一张图片做为一个样本，输入到神经网络模型中进行训练；

搭建卷积神经网络用于训练采集的样本；将数据增强后的图片作为输入，读入每一个文件夹中的图片样本，对样本采用线性缩放的方法将图片归一化为224*224大小的待训练样本；新建一个列表用来保存对应的样本类别，取80％作为训练集，20％做为验证集；图片样本集根据分科结果评判分类难易程度，分别选择基于VGGNet网络模型和基于AlexNet网络模型进行训练，最终输出分类结果；模型结构以VGGNet网络结构或AlexNet网络结构为基础，为匹配贝类数据集，修改最后一层输入大小为4096，输出大小为每科所含类别数；通过softmax函数输出类别编号，即得分类结果；对模型采取SGD的优化方法进行训练，以交叉熵作为损失函数；分批进行训练；训练好后的模型用PKL文件保存，并采用交叉验证的方式验证测试集，验证通过后分别保存为model_L1.pkl和model_L2.pkl文件；最后基于科目识别模型文件model_K.pkl先识别出科目，再根据科目信息把不同科目类别的贝类图片送入类别识别模型文件model_L1.pkl和model_L2.pkl，从而实现贝类具体类别识别功能；

进一步，所述的剪枝技术：衡量剪枝与否的标准有两个：1)同时基于L1范数和L2范数来衡量滤波器的信息重要性，裁剪掉z％最不重要的滤波器；2)以1)为基础，计算各滤波器之间信息相似性，若两个滤波器相似，裁剪掉不重要的那一个，其中，z设置为30；

将

表示为第i卷积层中第j个滤波器的，其重要性可表示为：

其中k为滤波器

的尺寸，α_hw为滤波器

的一个参数。

越小，意味着滤波器的信息越少，即信息越不重要。

将

经过离散哈特利变换(DHT)后得到的变换系数作为向量在各个维度上的分量，进而使用向量间欧几里德距离来刻画两两滤波器间的相关性；

DHT是一个线性可逆的函数，定义域和值域都是实数域(H:Rⁿ→Rⁿ)；滤波器的N个实数参数w₀，w₁，...，w_N-1被变换为h₀，h₁，...，h_N-1，变换公式如下所示：

变换后的滤波器A＝(a₀，a₁，...，a_N-1)和滤波器B＝(b₀，b₁，...，b_N-1)之间的距离具体定义如下：

把所有滤波器对按距离从小到大排序，依次从距离小的滤波器对中删除一个

值较低的滤波器，直到滤波器的数目达到指定裁剪比例(例如20％)。

进一步，设备采集的不同科目的贝类图片样本大小为256*256。

本发明还提供一种基于计算机视觉的贝类分类识别的装置，包括图片采集模块、嵌入式控制处理器和边缘计算处理器模块和数据通信模块，图片采集模块将采集到的图片信息传输给嵌入式控制处理器和边缘计算处理器模块，所述模块将贝类所属科目进行识别和具体类别进行识别，识别信息经过数据传输模块输出分类结果。

本发明技术方案带来的有益效果

首先，研究一种新的深度学习算法，充分利用纲、科等信息逐级鉴定贝类类别。这在以往贝类的分类方法和自动分拣系统未曾提出，根据科目信息进而识别贝类类别一定程度上为神经网络增添了可参考的特征信息，提高分类准确度

其次，提出一种以熵信息和相似性为标准的剪枝技术应用于贝类识别网络，消除了大量无用特征，减少了神经网络模型的参数数量，提高了神经网络的计算速度。

最后，设计了一种包含摄像头和支持AI处理的边缘计算设备的装置，运行剪枝后的算法模型对贝类类别现场识别，相比于云计算技术，节省了数据传输成本与时间，用户直接查看分类结果，一目了然。

附图说明

图1为本发明逐级鉴定贝类方法流程图；

图2为滤波器裁剪流程图；

图3贝类识别装置整体结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

以贝类为例，目前的分类方法存在效率低下，且准确度不高的问题。因此急需一种贝类的分类识别方法，以实现对毛蛤、黄蛤、丽文蛤、海虹和红扇贝等高效准确的识别和分类。

实施例1

一种基于计算机视觉的贝类分类识别方法，以现有的贝类图片为研究对象，提出对其所属科目进行识别，再具体识别其类别的分步识别方法，最后基于边缘计算技术把所得模型部署在我们发明的装置上对贝类类别现场识别。我们使用的设备采集到的图片大小为256*256。本发明的技术方案将分为以下四部分阐述：

基于DNN算法的贝类科目识别功能：

考虑到贝类所属科目之间在特征上具有较大差异，相比类别之间较容易分辨。我们决定对已知科目的样本训练比较简单的深度神经网络。本发明所提出的简单深度神经网络在确保神经网络精度的同时取得较好的压缩和加速效果，并且收敛较快，训练效率高，为后期将算法部署到嵌入式设备中进行边缘计算做好准备。提出了一种称为剪枝的新学习范例，该方法剔除了大量无用的特征，减少了神经网络模型的参数量，提高了神经网络的计算速度。我们先采集了不同科目的贝类图片样本10494张，根据生物学特征分成33种科目存储到33个文件夹，平均每个文件夹318张图片样本，将采集到的图片样本分为训练集(8395张)和测试集(2099张)，最后通过随机旋转，随机翻转，中心裁剪，修改图像亮度、对比度、饱和度等数据增强策略来扩充数据集到41976张，其中训练集33580张和测试集8396张。然后读取各科目文件夹下的贝类数据集，以一张图片做为一个样本，输入到神经网络模型中进行训练，分33个文件夹存储每种科目的贝类，每种科目各包含1272个图片样本。

然后搭建卷积神经网络用于训练采集的样本。将数据增强后的图片作为输入，读入每一个文件夹中的图片样本，对样本采用线性缩放的方法将图片归一化为224*224大小的待训练样本。这些预处理操作可以加快训练速度，提高了模型的精确度。新建一个列表用来保存对应的样本科目类别，分33个类共41976个样本，取80％作为训练集，20％做为验证集。图片样本集基于AlexNet网络模型进行训练，并在训练过程中加入剪枝技术，最终输出分科结果。其中，卷积层用于提取图片的时空特征。池化层对卷积层的输出缩小维度，并提取主要特征。剪枝技术用于在训练过程中每次更新参数时随机裁剪大量无用的特征，减少了神经网络模型的参数量，防止过拟合，提高模型效率和准确度。模型结构以AlexNet网络结构为基础，为匹配贝类数据集，修改全连接层FC1输入大小为9216，输出大小为4096；全连接层FC2输入大小为4096，输出大小为2048；最后一层输入大小为2048，输出大小为33。通过softmax函数输出科目编号，即可得分科结果。对模型采取SGD的优化方法进行训练，以交叉熵作为损失函数。分批进行训练，每一批为64个样本，共训练100次。训练好后的模型用PKL文件保存，并采用交叉验证的方式验证测试集，验证通过后保存为model_K.pkl文件。

基于DNN算法识别贝类功能：

考虑到贝类不同科目之间具有一定差异性而同科目直接差异性较小，本算法基于贝类所属科目识别功能，进一步识别贝类具体类别，进而提高识别贝类类别的准确率。本发明所提出的对贝类所属科目进行识别，再具体识别贝类类别的分步识别方法，给贝类类别以有效的科目信息指导，从而实现准确识别贝类具体类别的功能。先采集了不同类别的贝类图片样本29600张，根据生物学特征以及类别所属科目信息分成74种类别分别存储到74个文件夹，平均每个文件夹400张图片样本，将采集到的图片样本分为训练集(23680张)和测试集(5920张)，最后通过随机旋转，随机翻转，中心裁剪，修改图像亮度、对比度、饱和度等数据增强策略来扩充数据集到59200张，其中训练集47360张和测试集11840张。然后读取各类别文件夹下的贝类数据集，以一张图片做为一个样本，输入到神经网络模型中进行训练，分74个文件夹存储每种类别的贝类，每种科目各包含800个图片样本。

搭建卷积神经网络用于训练采集的样本。将数据增强后的图片作为输入，读入每一个文件夹中的图片样本，对样本采用线性缩放的方法将图片归一化为224*224大小的待训练样本。这些预处理操作可以加快训练速度，提高了模型的精确度。新建一个列表用来保存对应的样本类别，分74个类共59200个样本，取80％作为训练集，20％做为验证集。图片样本集根据分科结果评判分类难易程度，分别选择基于VGGNet网络模型和基于AlexNet网络模型进行训练，最终输出分类结果。模型结构以VGGNet网络结构或AlexNet网络结构为基础，为匹配贝类数据集，修改最后一层输入大小为4096，输出大小为每科所含类别数。通过softmax函数输出类别编号，即可得分类结果。对模型采取SGD的优化方法进行训练，以交叉熵作为损失函数。分批进行训练，每一批为32个样本，共训练100次。训练好后的模型用PKL文件保存，并采用交叉验证的方式验证测试集，验证通过后分别保存为model_L1.pkl和model_L2.pkl文件。最后基于科目识别模型文件model_K.pkl先识别出科目，再根据科目信息把不同科目类别的贝类图片送入类别识别模型文件model_L1.pkl和model_L2.pkl，从而实现贝类具体类别识别功能。逐级鉴定贝类方法流程图如下图1所示。

剪枝技术：

所提出的剪枝技术衡量剪枝与否的标准有两个：

1)同时基于L1范数和L2范数来衡量滤波器的信息重要性，裁剪掉z％最不重要的滤波器；2)以1)为基础，计算各滤波器之间信息相似性，若两个滤波器相似，裁剪掉不重要的那一个，其中，z设置为30；

将

表示为第i卷积层中第j个滤波器的，其重要性可表示为：

其中k为滤波器

的尺寸，α_hw为滤波器

的一个参数。

地小，意味着滤波器的信息越少，即信息越不重要。

将

经过离散哈特利变换(DHT)后得到的变换系数作为向量在各个维度上的分量，进而使用向量间欧几里德距离来刻画两两滤波器间的相关性；

DHT是一个线性可逆的函数，定义域和值域都是实数域(H:Rⁿ→Rⁿ)；滤波器的N个实数参数w₀，w₁，...，w_N-1被变换为h₀，h₁，...，h_N-1，变换公式如下所示：

变换后的滤波器A＝(a₀，a₁，...，a_N-1)和滤波器B＝(b₀，b₁，....，b_N-1)之间的距离具体定义如下：

把所有滤波器对按距离从小到大排序，依次从距离小的滤波器对中删除一个

值较低的滤波器，直到滤波器的数目达到指定裁剪比例20％。

剪枝的流程图如下图2所示。基于边缘计算技术把所得模型部署在的装置上对贝类类别现场识别得到贝类识别装置。

把以上两个功能的模型文件经测试集验证后部署到嵌入式设备上，让嵌入式设备把现场拍摄到的贝类图片根据已部署好的网络模型现场识别，得出分类结果。应用得边缘计算技术相比于云计算技术节省了数据传输的成本，且节省了数据传输的时间。基于边缘计算技术的贝类类别识别装置整体结构示意图如下图3所示，装置包括图片采集模块、嵌入式控制处理器和边缘计算处理器模块和数据通信模块，图片采集模块将采集到的图片信息传输给嵌入式控制处理器和边缘计算处理器模块，所述模块将贝类所属科目进行识别和具体类别进行识别，识别信息经过数据传输模块输出分类结果。

实施例2

利用实施例1所述的识别装置实现对80种贝类的识别分类。设备采集到的图片大小为256*256。前期训练在服务器上完成，配置为：CPU：i9 9820X，内存：128G，GPU：英伟达RTX 2080 Ti*2。训练时采用8万张图片。模型训练好之后，经过本发明的剪枝技术处理之后，部署到嵌入式设备上，配置为：CPU：RK3399(CortexA72*2，CortexA54*4，Mali-T860GPU)，内存：4G。经过测试，对80种贝类的识别准确率为91％。

Claims (2)

1.一种基于计算机视觉的贝类分类识别方法，其特征在于所述方法基于python语言开发，以现有的贝类图片为研究对象，先对其所属科目进行识别，再具体识别其类别的分步识别方法；

所述的对其所属科目进行识别的方法为：对已知科目的样本训练比较简单的深度神经网络；将采集的不同科目的贝类图片样本，根据生物学特征分成科目存储到文件夹，将采集到的图片样本分为训练集和测试集，最后通过随机旋转，随机翻转，中心裁剪，修改图像亮度、对比度、饱和度在内的数据增强策略来扩充训练集和测试集，然后读取各科目文件夹下的贝类数据集，以一张图片做为一个样本，输入到神经网络模型中进行训练；

搭建卷积神经网络用于训练采集的样本；将数据增强后的图片作为输入，自动读入每一个文件夹中的图片样本，对样本采用线性缩放的方法将图片归一化为224*224大小的待训练样本；新建一个列表用来保存对应的样本科目类别，取80％作为训练集，20％做为验证集；图片样本集基于简单的浅层神经网络模型进行训练，并在训练过程中加入剪枝技术，最终输出分科结果；其中，卷积层用于提取图片的时空特征；池化层对卷积层的输出缩小维度，并提取主要特征；剪枝技术用于在训练过程中每次更新参数时随机裁剪大量无用的特征；模型结构以AlexNet网络结构为基础，为匹配贝类数据集，修改全连接层FC1输入大小为9216，输出大小为4096；全连接层FC2输入大小为4096，输出大小为2048；最后一层输入大小为2048，输出大小为33；通过softmax函数输出科目编号，即可得分科结果；对模型采取SGD的优化方法进行训练，以交叉熵作为损失函数；分批进行训练，每一批为64个样本，共训练100次；训练好后的模型用PKL文件保存，并采用交叉验证的方式验证测试集，验证通过后保存为model_K.pkl文件；

所述的具体识别其类别的方法：

采集不同类别的贝类图片样本，根据生物学特征以及类别所属科目信息分成分别存储到文件夹，将采集到的图片样本分为训练集和测试集，最后通过随机旋转，随机翻转，中心裁剪，修改图像亮度、对比度、饱和度在内的数据增强策略来扩充训练集和测试集；然后读取各类别文件夹下的贝类数据集，以一张图片做为一个样本，输入到神经网络模型中进行训练；

搭建卷积神经网络用于训练采集的样本；将数据增强后的图片作为输入，读入每一个文件夹中的图片样本，对样本采用线性缩放的方法将图片归一化为224*224大小的待训练样本；新建一个列表用来保存对应的样本类别，取80％作为训练集，20％做为验证集；图片样本集根据分科结果评判分类难易程度，分别选择基于VGGNet网络模型和基于AlexNet网络模型进行训练，最终输出分类结果；模型结构以VGGNet网络结构或AlexNet网络结构为基础，为匹配贝类数据集，修改最后一层输入大小为4096，输出大小为每科所含类别数；通过softmax函数输出类别编号，即得分类结果；对模型采取SGD的优化方法进行训练，以交叉熵作为损失函数；分批进行训练；训练好后的模型用PKL文件保存，并采用交叉验证的方式验证测试集，验证通过后分别保存为model_L1.pkl和model_L2.pkl文件；最后基于科目识别模型文件model_K.pkl先识别出科目，再根据科目信息把不同科目类别的贝类图片送入类别识别模型文件model_L1.pkl和model_L2.pkl，从而实现贝类具体类别识别功能；

所述的剪枝技术：衡量剪枝与否的标准有两个，分别为1)同时基于L1范数和L2范数来衡量滤波器的信息重要性，裁剪掉z％最不重要的滤波器；2)以1)为基础，计算各滤波器之间信息相似性，若两个滤波器相似，裁剪掉不重要的那一个，其中，z设置为30；

将

表示为第i卷积层中第j个滤波器的，其重要性可表示为：

其中k为滤波器

的尺寸，α_hw为滤波器

的一个参数；

越小，意味着滤波器的信息越少，即信息越不重要；

将

经过离散哈特利变换后得到的变换系数作为向量在各个维度上的分量，进而使用向量间欧几里德距离来刻画两两滤波器间的相关性；

离散哈特利变换是一个线性可逆的函数，定义域和值域都是实数域H:Rⁿ→Rⁿ；滤波器的N个实数参数w₀,w₁,...,w_N-1被变换为h₀,h₁,...,h_N-1，变换公式如下所示：

变换后的滤波器A＝(a₀,a₁,...,a_N-1)和滤波器B＝(b₀,b₁,...,b_N-1)之间的距离具体定义如下：

把所有滤波器对按距离从小到大排序，依次从距离小的滤波器对中删除一个

值较低的滤波器，直到滤波器的数目达到指定裁剪比例。

2.根据权利要求1所述的一种基于计算机视觉的贝类分类识别方法，其特征在于所述采集的不同科目的贝类图片样本大小为256*256。

Images