CN111666986A - 基于机器学习的小龙虾分级方法 - Google Patents

基于机器学习的小龙虾分级方法 Download PDF

Info

Publication number
CN111666986A
CN111666986A CN202010439424.3A CN202010439424A CN111666986A CN 111666986 A CN111666986 A CN 111666986A CN 202010439424 A CN202010439424 A CN 202010439424A CN 111666986 A CN111666986 A CN 111666986A
Authority
CN
China
Prior art keywords
data set
crayfish
processing model
training
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010439424.3A
Other languages
English (en)
Inventor
杜闯
李晔
高竟博
尹海涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN202010439424.3A priority Critical patent/CN111666986A/zh
Publication of CN111666986A publication Critical patent/CN111666986A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明揭示了一种基于机器学习的小龙虾分级方法，包括如下步骤：S1、从龙虾原始数据集中提取部分样本构建得到干净图像数据集，并将其随机划分为训练集、验证集以及测试集；S2、构建初步数据集处理模型并完成特征迁移，随后利用训练集、验证集对模型进行反复训练、验证，得到预训练数据集处理模型，利用测试集对模型进行测试，得到完善的数据集处理模型；S3、使用数据集处理模型对龙虾原始数据集内的样本进行逐条处理，得到分级结果。本发明将机器视觉与深度学习技术相融合，实现了对于小龙虾大小的自动化分级，不仅显著地提升了操作过程中的识别率与准确率，而且有效地弥补了现有方法在后续图像理解及分级性能等方面的缺陷。

Description

基于机器学习的小龙虾分级方法
技术领域
本发明为一种产品的分级算法，具体涉及一种基于机器学习技术的小龙虾分级算法设计，属于人工智能和机器学习技术领域。
背景技术
随着近年来人工智能领域的飞速发展，模式识别、机器学习、深度学习等相关技术也日益成熟，并且开始被广泛地应用于人们生产生活各个领域、开始逐步影响和改变人类的生产生活方式。
以餐饮行业为例，目前全国的餐饮市场总量约为3万亿元，与小龙虾相关的餐饮项目占据了其中7%～8%的份额、而且呈现出逐年增长的发展态势。由于小龙虾的大小、品质直接决定着小龙虾的价格，因此在小龙虾从养殖厂到餐桌的过程中，对于小龙虾的分级必不可少。在现有的操作中，对小龙虾的分级大多采用人工操作的方式进行，在分级的同时，死虾和空壳虾也会被单独分拣出来。显而易见的是，这样的操作方式不仅工作量巨大而且操作效率低下，一旦出现小龙虾数目庞大的情况，还很容易因为人工操作的不确定性而出现较大的操作误差。
针对上述问题，目前也出现了一些工业化的小龙虾自动检测流水线，这种流水线主要利用机器视觉技术、通过拟合小龙虾虾体特征与重量关系以及对比虾体位姿图像来实现小龙虾自动分级。具体而言，在这一技术方案中，针对图像采集器传回的图像数据，后端服务器通过智能图像处理提取出小龙虾的标志性区域，并通过一系列的图像预处理和模式识别技术对其进行计数，最后通过小龙虾的标志性区域的大小将其进行分级。区别于人工操作的方式，这一技术手段能够有效避免对人力、物力和财力的过度消耗。但是在实际的技术应用过程中，操作人员发现，此类技术存在一定的应用局限性，在后续图像理解及分级性能等方面仍然有所欠缺。
综上所述，如何设计一种全新的、具有优异分级性能且能够克服现有技术中诸多不足的小龙虾分级方法，也就成为了本领域内技术人员所期望解决的一项技术问题。
发明内容
鉴于现有技术存在上述缺陷，本发明的目的是提出一种基于机器学习技术的小龙虾分级算法设计，具体如下。
一种基于机器学习的小龙虾分级方法，包括如下步骤：
S1、数据集建立步骤，从包含有若干小龙虾图像样本的龙虾原始数据集中提取部分小龙虾图像样本，构建得到干净图像数据集，并将所述干净图像数据集随机划分为训练集、验证集以及测试集；
S2、模型建立步骤，构建初步数据集处理模型，设置所述初步数据集处理模型的超参数并对所述初步数据集处理模型进行特征迁移，随后利用所述训练集、验证集内的数据对所述初步数据集处理模型进行反复训练、验证，得到预训练数据集处理模型，最后利用所述测试集内的数据对所述预训练数据集处理模型进行测试，得到完善的数据集处理模型；
S3、模型使用步骤，使用所述数据集处理模型对所述龙虾原始数据集内的小龙虾图像样本进行逐条处理，最终得到小龙虾分级结果。
优选地，S1所述数据集建立步骤具体包括：
S11、获取若干小龙虾图像样本，按“大”、“中”、“小”三个等级对每个所述小龙虾图像样本进行人工标注等级，将全部样本及其对应等级进行汇总得到龙虾原始数据集，随后从所述龙虾原始数据集选取部分小龙虾图像样本、保证每个等级的样本数量相同，最终构建得到干净图像数据集；
S12、按照划分比例对所述干净图像数据集中的小龙虾图像样本进行随机划分，分别得到训练集、验证集以及测试集、共三个子数据集，在每个子数据集中每个等级的样本数量相同；
S13、利用python中的keras图像预处理模块ImageDataGenerator对所述训练集内的小龙虾图像样本进行图像归一化和数据增强处理，对小龙虾图像样本进行旋转操作以增加所述训练集内的数据量，随后通过flow_from_directory()函数将小龙虾图像样本打乱并将所述干净图像数据集转化为二维的one-hot编码标签，实现对所述训练集、验证集以及测试集的优化更新。
优选地，所述划分比例为训练集∶验证集∶测试集=6∶2∶2。
优选地，S2所述模型建立步骤具体包括：
S21、使用ImageNet数据集上预训练的EfficientNet-B0网络模型作为初步数据集处理模型，设置所述初步数据集处理模型的超参数，通过对所述初步数据集处理模型内的全连接层进行全局平均池化完成特征迁移，再通过线性分类器完成Softmax分类；
S22、对经过S21处理后的初步数据集处理模型进行编译处理，随后使用优化更新后的所述训练集、验证集内的数据对所述初步数据集处理模型进行反复训练、验证，得到预训练数据集处理模型；
S24、利用优化更新后的所述测试集内的数据对所述预训练数据集处理模型进行测试，得到完善的数据集处理模型。
优选地，所述初步数据集处理模型采用Sequential顺序结构，由一个特征提取层、两个全连接层以及一个线性分类层组成，两个所述全连接层的特征维度分别为512和128，两个所述全连接层内均包含有用于拟合训练数据的ReLU激活函数。
优选地，所述超参数至少包括要输入的数据集中图像样本的尺寸、batch大小、迭代次数以及类别数。
优选地，所述线性分类器为包含于所述线性分类层内的Softmax激活函数。
优选地，S22具体包括：采用编译函数对所述初步数据集处理模型进行编译处理，损失函数选用交叉熵损失函数、优化器选用Adam损失函数优化器，冻结EfficientNet-B0网络参数、仅训练全连接层和线性分类器内的参数，随后使用fit_generator()函数、结合优化更新后的所述训练集、验证集内的数据对所述初步数据集处理模型进行反复训练、验证，得到预训练数据集处理模型。
优选地，在S22与S24之间，还包括如下步骤：
S23、使用matplotlib.pyplot模块和pandas模块绘制accuracy、loss曲线。
优选地，S24具体包括：利用所述测试集内的数据对所述预训练数据集处理模型进行测试，使用evaluate_generator()函数测试所述预训练数据集处理模型的准确率和loss值，最终得到完善的数据集处理模型。
本发明的优点主要体现在以下几个方面：
本发明所提出的一种基于机器学习技术的小龙虾分级方法，通过将机器视觉与深度学习技术相融合的手段，实现了对于小龙虾大小的自动化分级，大幅减少了使用者的各项成本投入。本发明的方法不仅显著地提升了操作过程中的识别率与准确率，而且有效地弥补了现有方法在后续图像理解及分级性能等方面的缺陷。
此外，本发明的方法也为同领域内的其他相关问题提供了参考，可以以此为依据进行拓展延伸和深入研究，将类似的思路和操作应用于其他的操作平台，应用于对其他产品的分类、分级操作中，具有十分广阔的应用前景和很高的实际应用价值。
以下便结合实施例附图，对本发明的具体实施方式作进一步的详述，以使本发明技术方案更易于理解、掌握。
附图说明
图1为本发明的方法整体流程示意图；
图2为本发明的方法中初步数据集处理模型内全连接层中的处理流程示意图；
图3为本发明的方法在处理干净图像数据集时训练集与验证集的accuracy对比曲线图；
图4为本发明的方法在处理干净图像数据集时训练集与验证集的Loss对比曲线图；
图5为本发明的方法在处理高斯噪声图像数据集时训练集与验证集的accuracy对比曲线图；
图6为本发明的方法在处理高斯噪声图像数据集时训练集与验证集的Loss对比曲线图；
图7为本发明的方法在处理椒盐噪声图像数据集时训练集与验证集的accuracy对比曲线图；
图8为本发明的方法在处理椒盐噪声图像数据集时训练集与验证集的Loss对比曲线图。
具体实施方式
本发明揭示了一种基于机器学习技术的小龙虾分级算法设计，方案细节如下。
如图1~图2所示，一种基于机器学习的小龙虾分级方法，包括如下步骤：
S1、数据集建立步骤，从包含有若干小龙虾图像样本的龙虾原始数据集中提取部分小龙虾图像样本，构建得到干净图像数据集，并将所述干净图像数据集随机划分为训练集、验证集以及测试集。
S2、模型建立步骤，构建初步数据集处理模型，设置所述初步数据集处理模型的超参数并对所述初步数据集处理模型进行特征迁移，随后利用所述训练集、验证集内的数据对所述初步数据集处理模型进行反复训练、验证，得到预训练数据集处理模型，最后利用所述测试集内的数据对所述预训练数据集处理模型进行测试，得到完善的数据集处理模型。
S3、模型使用步骤，使用所述数据集处理模型对所述龙虾原始数据集内的小龙虾图像样本进行逐条处理，最终得到小龙虾分级结果。
S1所述数据集建立步骤具体包括：
S11、获取若干小龙虾图像样本，按“大”、“中”、“小”三个等级对每个所述小龙虾图像样本进行人工标注等级，将全部样本及其对应等级进行汇总得到龙虾原始数据集，随后从所述龙虾原始数据集选取部分小龙虾图像样本、保证每个等级的样本数量相同，最终构建得到干净图像数据集。
S12、按照划分比例对所述干净图像数据集中的小龙虾图像样本进行随机划分，分别得到训练集、验证集以及测试集、共三个子数据集，在每个子数据集中每个等级的样本数量相同。
所述划分比例为训练集∶验证集∶测试集=6∶2∶2。
在本发明的实施例中训练数据是等级为“大”、“中”和“小”的小龙虾图像样本，每类采集565个，共565*3=1695个，并将每一类的样本按照比例6:2:2随机划分成训练集（339个）、验证集（113个）和测试集（113个）。同时通过Matlab软件分别对数据集加入方差为0.4的椒盐噪声、加入方差为0.1的高斯噪声模拟实际生产线图像。
S13、利用python中的keras图像预处理模块ImageDataGenerator对所述训练集内的小龙虾图像样本进行图像归一化和数据增强处理，对小龙虾图像样本进行旋转操作以增加所述训练集内的数据量，随后通过flow_from_directory()函数将小龙虾图像样本打乱并将所述干净图像数据集转化为二维的one-hot编码标签，实现对所述训练集、验证集以及测试集的优化更新、即完成对所述训练集、验证集以及测试集的生成器部分的补充。
在上述操作中，利用ImageDataGenerator图片生成器进行图像预处理，图像归一化处理，将图片像素值归一化为[0,1]，图片随机旋转[-40,40]度，采用flow_from_directory(directory)，以文件夹路径为参数,生成经过数据归一化处理后的数据,产生batch数据，直到达到设定的迭代次数为止。
S2所述模型建立步骤具体包括：
S21、使用ImageNet数据集上预训练的EfficientNet-B0网络模型作为初步数据集处理模型，设置所述初步数据集处理模型的超参数，通过对所述初步数据集处理模型内的全连接层进行全局平均池化完成特征迁移，再通过线性分类器完成Softmax分类。
所述初步数据集处理模型采用Sequential顺序结构，由一个特征提取层、两个全连接层以及一个线性分类层组成。
所述特征提取层主要用于将训练样本输入预训练的EfficientNet-B0网络模型中。
所述全连接层用于将将预训练的EfficientNet-B0网络模型的特征迁移到小龙虾样本空间。全连接对应矩阵乘积，在实际使用中，全连接层可由卷积操作实现。两个所述全连接层的特征维度分别为512和128，两个所述全连接层内均包含有ReLU激活函数。所述ReLU激活函数主要用于修正线性单元、用于隐层神经元输出，其公式为
Figure DEST_PATH_IMAGE001
。
通过RelU激活函数可实现稀疏后的模型能够更好地挖掘相关特征、拟合训练数据。
所述线性分类器为包含于所述线性分类层内的Softmax激活函数，其公式为
Figure 246058DEST_PATH_IMAGE002
。
在构建神经网络中，Softmax输出有K个概率值，每个输出都映射到了0到1区间，并且和为1。
Figure DEST_PATH_IMAGE003
为多个输入，训练其实就是为了逼近最佳的
Figure 631909DEST_PATH_IMAGE004
。
所述超参数至少包括要输入的数据集中图像样本的尺寸（input_shape）、batch大小（batch_size）、迭代次数（epochs）以及类别数（num_classes）。在本发明的实施例中，设置要输入的数据集中图像样本的尺寸input_shape=224*224*3；设定batch大小batch_size= 8 ；通常为2^N，如32、64、128... ；设定类别数num_classes = 3 ；设定迭代次数epochs= 40。
所述迁移学习是指一种机器学习方法，就是把针对数据 A 训练的模型作为初始点，用于针对数据 B 的模型的开发和设计过程中。本发明对ImageNet数据集上预训练的EfficientNet-B0模型进行迁移学习。该模型在ImageNet数据集上训练时，其一共包含4049564个参数，其中需要梯度下降来训练的参数有4007548个，不需要训练的参数是BatchNormalization层中的均值和方差共42016个。
S22、对经过S21处理后的初步数据集处理模型进行编译处理，随后使用优化更新后的所述训练集、验证集内的数据对所述初步数据集处理模型进行反复训练、验证，得到预训练数据集处理模型。
上述操作可以具体为，采用编译函数(compile)对所述初步数据集处理模型进行编译处理，损失函数选用交叉熵损失函数、优化器选用Adam损失函数优化器，冻结EfficientNet-B0网络参数、仅训练全连接层和线性分类器内的参数，随后使用fit_generator()函数、结合优化更新后的所述训练集、验证集内的数据对所述初步数据集处理模型进行反复训练、验证，得到预训练数据集处理模型。
所述编译函数的公式为
compile(self,optimizer,loss,metrics=[])，
所述交叉熵损失函数是一个平滑函数，其本质是信息理论中的交叉熵在分类问题中的应用，其公式为
Figure DEST_PATH_IMAGE005
。
Adam损失函数优化器是一种计算能每个参数的自适应学习率的优化方法。即存储了过去梯度的平方
Figure 238471DEST_PATH_IMAGE006
的指数衰减平均值，又保持了过去梯度
Figure DEST_PATH_IMAGE007
的指数衰减平均值：
Figure 418785DEST_PATH_IMAGE008
。
其中，
Figure 110798DEST_PATH_IMAGE007
为指数移动均值，
Figure 847810DEST_PATH_IMAGE006
为平方梯度，
Figure DEST_PATH_IMAGE009
为时间步序列上梯度
如果
Figure 495829DEST_PATH_IMAGE007
和
Figure 925673DEST_PATH_IMAGE006
被初始化为0向量，那它们就会向0偏置，所以做了偏差校正，通过计算偏差校正后的
Figure 354249DEST_PATH_IMAGE007
和
Figure 567056DEST_PATH_IMAGE006
来抵消这些偏差：
Figure 210527DEST_PATH_IMAGE010
，
Figure DEST_PATH_IMAGE011
。
梯度更新规则为：
Figure 732644DEST_PATH_IMAGE012
。
超参数设定值为：
Figure DEST_PATH_IMAGE013
。
fit_generator()函数利用Python的生成器，逐个生成数据的batch并进行训练。生成器与模型将并行执行以提高效率。
S23、使用matplotlib.pyplot模块和pandas模块绘制accuracy、loss曲线，结果如图3~图4所示。
S24、利用所述测试集内的数据对所述预训练数据集处理模型进行测试，使用evaluate_generator()函数测试所述预训练数据集处理模型的准确率和loss值，最终得到完善的数据集处理模型。evaluate_generator()函数使用一个生成器作为数据源评估模型，生成器应返回与test_on_batch的输入数据相同类型的数据。该函数的参数与fit_generator同名参数含义相同。
为了进一步验证本发明方法的有效性，研究人员在原始的干净图像数据集的基础上分别合成了高斯噪声图像数据集以及椒盐噪声图像数据集，并按照本发明的方法重复执行了上述流程，其最终的验证结果如图5~图8所示。
本发明所提出的一种基于机器学习技术的小龙虾分级方法，通过将机器视觉与深度学习技术相融合的手段，实现了对于小龙虾大小的自动化分级，大幅减少了使用者的各项成本投入。本发明的方法不仅显著地提升了操作过程中的识别率与准确率，而且有效地弥补了现有方法在后续图像理解及分级性能等方面的缺陷。
具体而言，本发明的方法以预训练的EfficientNet-B0网络作为基础框架，通过Tensorflow平台实现算法流程，使用两层全连接层及ReLU激活函数对EfficientNet-B0特征进行了迁移，并利用Adam优化器对两层全连接层和线性分类层进行了训练。
通过评估本发明的方法在处理干净图像数据集及不同类型的噪声图像数据集时的实际表现可以得知，本发明的方法在不同数据集上均具有较好的泛化性能，在干净图像、高斯噪声图像以及椒盐噪声图像上的识别率分别达到了99.70%、92.07%、88.41%。可以说，本发明的方法为小龙虾的批量化、规模化分级提供了强有力的技术支持。
此外，本发明的方法也为同领域内的其他相关问题提供了参考，可以以此为依据进行拓展延伸和深入研究，将类似的思路和操作应用于其他的操作平台，应用于对其他产品的分类、分级操作中，具有十分广阔的应用前景和很高的实际应用价值。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神和基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。
最后，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (10)

1.一种基于机器学习的小龙虾分级方法，其特征在于，包括如下步骤：
S1、数据集建立步骤，从包含有若干小龙虾图像样本的龙虾原始数据集中提取部分小龙虾图像样本，构建得到干净图像数据集，并将所述干净图像数据集随机划分为训练集、验证集以及测试集；
S2、模型建立步骤，构建初步数据集处理模型，设置所述初步数据集处理模型的超参数并对所述初步数据集处理模型进行特征迁移，随后利用所述训练集、验证集内的数据对所述初步数据集处理模型进行反复训练、验证，得到预训练数据集处理模型，最后利用所述测试集内的数据对所述预训练数据集处理模型进行测试，得到完善的数据集处理模型；
S3、模型使用步骤，使用所述数据集处理模型对所述龙虾原始数据集内的小龙虾图像样本进行逐条处理，最终得到小龙虾分级结果。
2.根据权利要求1所述的基于机器学习的小龙虾分级方法，其特征在于，S1所述数据集建立步骤具体包括：
S11、获取若干小龙虾图像样本，按“大”、“中”、“小”三个等级对每个所述小龙虾图像样本进行人工标注等级，将全部样本及其对应等级进行汇总得到龙虾原始数据集，随后从所述龙虾原始数据集选取部分小龙虾图像样本、保证每个等级的样本数量相同，最终构建得到干净图像数据集；
S12、按照划分比例对所述干净图像数据集中的小龙虾图像样本进行随机划分，分别得到训练集、验证集以及测试集、共三个子数据集，在每个子数据集中每个等级的样本数量相同；
S13、利用python中的keras图像预处理模块ImageDataGenerator对所述训练集内的小龙虾图像样本进行图像归一化和数据增强处理，对小龙虾图像样本进行旋转操作以增加所述训练集内的数据量，随后通过flow_from_directory()函数将小龙虾图像样本打乱并将所述干净图像数据集转化为二维的one-hot编码标签，实现对所述训练集、验证集以及测试集的优化更新。
3.根据权利要求2所述的基于机器学习的小龙虾分级方法，其特征在于：所述划分比例为训练集∶验证集∶测试集=6∶2∶2。
4.根据权利要求2所述的基于机器学习的小龙虾分级方法，其特征在于，S2所述模型建立步骤具体包括：
S21、使用ImageNet数据集上预训练的EfficientNet-B0网络模型作为初步数据集处理模型，设置所述初步数据集处理模型的超参数，通过对所述初步数据集处理模型内的全连接层进行全局平均池化完成特征迁移，再通过线性分类器完成Softmax分类；
S22、对经过S21处理后的初步数据集处理模型进行编译处理，随后使用优化更新后的所述训练集、验证集内的数据对所述初步数据集处理模型进行反复训练、验证，得到预训练数据集处理模型；
S24、利用优化更新后的所述测试集内的数据对所述预训练数据集处理模型进行测试，得到完善的数据集处理模型。
5.根据权利要求4所述的基于机器学习的小龙虾分级方法，其特征在于：所述初步数据集处理模型采用Sequential顺序结构，由一个特征提取层、两个全连接层以及一个线性分类层组成，两个所述全连接层的特征维度分别为512和128，两个所述全连接层内均包含有用于拟合训练数据的ReLU激活函数。
6.根据权利要求4所述的基于机器学习的小龙虾分级方法，其特征在于：所述超参数至少包括要输入的数据集中图像样本的尺寸、batch大小、迭代次数以及类别数。
7.根据权利要求4所述的基于机器学习的小龙虾分级方法，其特征在于：所述线性分类器为包含于所述线性分类层内的Softmax激活函数。
8.根据权利要求4所述的基于机器学习的小龙虾分级方法，其特征在于，S22具体包括：采用编译函数对所述初步数据集处理模型进行编译处理，损失函数选用交叉熵损失函数、优化器选用Adam损失函数优化器，冻结EfficientNet-B0网络参数、仅训练全连接层和线性分类器内的参数，随后使用fit_generator()函数、结合优化更新后的所述训练集、验证集内的数据对所述初步数据集处理模型进行反复训练、验证，得到预训练数据集处理模型。
9.根据权利要求4所述的基于机器学习的小龙虾分级方法，其特征在于，在S22与S24之间，还包括如下步骤：
S23、使用matplotlib.pyplot模块和pandas模块绘制accuracy、loss曲线。
10.根据权利要求9所述的基于机器学习的小龙虾分级方法，其特征在于，S24具体包括：利用所述测试集内的数据对所述预训练数据集处理模型进行测试，使用evaluate_generator()函数测试所述预训练数据集处理模型的准确率和loss值，最终得到完善的数据集处理模型。
CN202010439424.3A 2020-05-22 2020-05-22 基于机器学习的小龙虾分级方法 Withdrawn CN111666986A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010439424.3A CN111666986A (zh) 2020-05-22 2020-05-22 基于机器学习的小龙虾分级方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010439424.3A CN111666986A (zh) 2020-05-22 2020-05-22 基于机器学习的小龙虾分级方法

Publications (1)

Publication Number Publication Date
CN111666986A true CN111666986A (zh) 2020-09-15

Family

ID=72384280

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010439424.3A Withdrawn CN111666986A (zh) 2020-05-22 2020-05-22 基于机器学习的小龙虾分级方法

Country Status (1)

Country Link
CN (1) CN111666986A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112070761A (zh) * 2020-09-18 2020-12-11 福州大学 一种基于深度学习的明虾新鲜度无损检测方法
CN112270341A (zh) * 2020-10-15 2021-01-26 西安工程大学 一种融合迁移学习与深度学习的口罩检测方法
CN113011486A (zh) * 2021-03-12 2021-06-22 重庆理工大学 鸡爪分类及定位模型的构建方法及系统、鸡爪分拣方法
CN113408334A (zh) * 2021-04-30 2021-09-17 华中农业大学 一种小龙虾全链条数据采集与智能检测方法及装置
CN113405667A (zh) * 2021-05-20 2021-09-17 湖南大学 基于深度学习的红外热人体姿态识别方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112070761A (zh) * 2020-09-18 2020-12-11 福州大学 一种基于深度学习的明虾新鲜度无损检测方法
CN112270341A (zh) * 2020-10-15 2021-01-26 西安工程大学 一种融合迁移学习与深度学习的口罩检测方法
CN113011486A (zh) * 2021-03-12 2021-06-22 重庆理工大学 鸡爪分类及定位模型的构建方法及系统、鸡爪分拣方法
CN113408334A (zh) * 2021-04-30 2021-09-17 华中农业大学 一种小龙虾全链条数据采集与智能检测方法及装置
CN113405667A (zh) * 2021-05-20 2021-09-17 湖南大学 基于深度学习的红外热人体姿态识别方法

Similar Documents

Publication Publication Date Title
CN111666986A (zh) 基于机器学习的小龙虾分级方法
CN109271522B (zh) 基于深度混合模型迁移学习的评论情感分类方法及系统
CN109508655A (zh) 基于孪生网络的不完备训练集的sar目标识别方法
CN110046671A (zh) 一种基于胶囊网络的文本分类方法
CN107220277A (zh) 基于手绘草图的图像检索算法
CN108932314A (zh) 一种基于深度哈希学习的菊花图像内容检索方法
CN108596327A (zh) 一种基于深度学习的地震速度谱人工智能拾取方法
CN111914728B (zh) 高光谱遥感影像半监督分类方法、装置及存储介质
CN106022363B (zh) 一种适用于自然场景下的中文文字识别方法
CN112699247A (zh) 一种基于多类交叉熵对比补全编码的知识表示学习框架
CN105608471A (zh) 一种鲁棒直推式标签估计及数据分类方法和系统
CN107977677A (zh) 一种应用于大规模城区重建中的多标签像素分类方法
US11695898B2 (en) Video processing using a spectral decomposition layer
Zhou et al. Convolutional deep networks for visual data classification
CN106529604B (zh) 一种自适应的图像标签鲁棒预测方法及系统
CN114782737A (zh) 一种基于改进残差网络的图像分类方法、设备和存储介质
CN112686376A (zh) 一种基于时序图神经网络的节点表示方法及增量学习方法
Lata et al. Data augmentation using generative adversarial network
CN115294563A (zh) 一种基于Transformer的增强了局部语义学习能力的3D点云分析方法及装置
CN110414626A (zh) 一种猪只品种识别方法、装置和计算机可读存储介质
Pan et al. A Novel Combinational Convolutional Neural Network for Automatic Food-Ingredient Classification.
CN115909011A (zh) 基于改进的SE-Inception-v3网络模型的天文图像自动分类方法
CN110334747A (zh) 基于改进卷积神经网络的图像识别方法及应用
CN108537266A (zh) 一种深度卷积网络的织物纹理疵点分类方法
CN113011091A (zh) 一种自动分组的多尺度轻量型深度卷积神经网络优化方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20200915