CN113537394A - 一种改进vgg-19的冰鲜鲳鱼新鲜度评估方法 - Google Patents

一种改进vgg-19的冰鲜鲳鱼新鲜度评估方法 Download PDF

Info

Publication number
CN113537394A
CN113537394A CN202110907707.0A CN202110907707A CN113537394A CN 113537394 A CN113537394 A CN 113537394A CN 202110907707 A CN202110907707 A CN 202110907707A CN 113537394 A CN113537394 A CN 113537394A
Authority
CN
China
Prior art keywords
pomfret
vgg
image
model
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110907707.0A
Other languages
English (en)
Inventor
李振波
李萌
吴宇峰
赵远洋
岳峻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Agricultural University
Original Assignee
China Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Agricultural University filed Critical China Agricultural University
Publication of CN113537394A publication Critical patent/CN113537394A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/061—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using biological neurons, e.g. biological neurons connected to an integrated circuit
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Neurology (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种改进VGG‑19的冰鲜鲳鱼新鲜度评估方法，包括以下步骤：步骤1.鲳鱼样本处理；步骤2.TVB‑N挥发性盐基氮测定；步骤3.鲳鱼图像采集；步骤4.图像预处理；步骤5.鲳鱼新鲜度等级划分；步骤6.划分数据集；步骤7.通过随机初始化网络权重方法训练三种经典CNN分类网络；步骤8.通过迁移学习方法训练三种经典CNN分类网络；步骤9.VGG‑19模型结构优化；步骤10.保存训练好的模型；步骤11.使用训练好的模型对测试数据集进行测试，对鲳鱼图像的新鲜度等级分类；步骤12.CAM可视化。

Description

一种改进VGG-19的冰鲜鲳鱼新鲜度评估方法
技术领域
本发明涉及食品质量检测领域，尤其涉及一种改进VGG-19的冰 鲜鲳鱼新鲜度评估方法。
背景技术
新鲜度作为鱼最重要的品质指标，直接关系到食品的质量与安 全。国内外的研究者们已经采用不同的方法对水产品品质进行预测， 常见方法包括理化指标、物理方法与感官评价，此类方法在鱼新鲜度 检测方面应用最多，相对准确，但多在实验室环境应用，且为有损检 测、检测效率低、不适合批量检测。随着渔业的发展，消费者对鱼品 质的要求也越来越高，传统的检测方法已无法满足社会的需求，冷链 储运领域也急需一种快速无损、自动化的鱼肉品质检测技术。
为此，本发明提出了一种改进VGG-19的冰鲜鲳鱼新鲜度评估方 法。
发明内容
为实现本发明之目的，采用以下技术方案予以实现：
一种改进VGG-19的冰鲜鲳鱼新鲜度评估方法，包括以下步骤：
步骤1.鲳鱼样本处理；
步骤2.TVB-N挥发性盐基氮测定；
步骤3.鲳鱼图像采集；
步骤4.图像预处理；
步骤5.鲳鱼新鲜度等级划分；
步骤6.划分数据集；
步骤7.通过随机初始化网络权重方法训练三种经典CNN分类网 络；
步骤8.通过迁移学习方法训练三种经典CNN分类网络；
步骤9.将VGG-19*模型进行结构优化；
步骤10.保存训练好的模型；
步骤11.使用训练好的模型对测试数据集进行测试，对鲳鱼图像 的新鲜度等级分类；
步骤12.CAM可视化。
所述的方法，其中步骤2中挥发性盐基氮TVB-N测定包括：
首先，取出六组鲳鱼样品，分割背部去皮，鱼肉使用搅碎机搅碎， 将3.0g绞碎的鱼肉与30mL蒸馏水混合，使用离心管均质20秒。随 后将样品密封，送入水浴式震荡仪中摇震30分钟，震荡结束后将六 组样品取出，加入蒸馏水实现配平操作，将配平好的样品放入离心机 中离心8分钟，使悬浮液中的固体颗粒与液体分开；其次，向接收瓶 内加入10mL硼酸溶液(20g/L)和5滴甲基红-次甲基蓝指示剂，并 将冷凝管下端插入接收瓶底，向消化管中加入离心后上清液和氧化镁 悬浊液各5mL，利用凯氏定氮仪蒸馏5分钟得到吸收液；TVB-N值计 算如下：
TVB-N值＝[(V1-V2)×c×14]/(m×V0/V)×100
其中，V1和V2分别代表对照试验组、空白实验组消耗盐酸的体积；c代表盐酸浓度；m代表样品质量；V0代表吸取的上清液体积；V代表 样液总体积。
所述的方法，其中步骤3中鲳鱼图像采集包括：在照明室环境进 行鲳鱼图像采集，鲳鱼样本上方固定一盏144颗灯珠的LED光源，以 获得均匀的采光效果，下方放置黑色背景板；将鲳鱼样品水平放置， 相机镜头位于样品上方30cm的垂直固定位置，每日14:00从冷藏箱 中取出固定十条样品放入冰袋中控制温度，所获图像包含样品两侧全 貌以及鱼头部位，每次拍照耗时15～20分钟，拍摄结束后将样品放 入样品袋，重新放回冷藏箱中，鲳鱼图像数据采集耗时30天。
所述的方法，其中步骤7中鲳鱼图像采集包括通过随机初始化网 络权重方法，利用预先划分好的训练集训练三种经典CNN分类网络， 直至损失值收敛,其中：
1)AlexNet：采用AlexNet原始网络模型结构，并随机初始化网 络权重。其中，模型迭代次数为100，初始学习率设置为0.01，选择 SGD，得到鲳鱼新鲜度评估模型，记为AlexNet；
2)VGGNet：采用VGG-16和VGG-19原始网络模型结构，并对网 络权重随机初始化，其中，模型迭代次数为100，初始学习率为0.001， 使用指定间隔的学习率动态调整策略加快模型训练，采用Adam梯度 下降算法优化训练过程中的模型参数，得到鲳鱼新鲜度评估模型，分 别记为VGG-16和VGG-19；
3)ResNet：采用ResNet-50原始网络模型结构，并对网络权重随 机初始化，网络超参数设置为模型迭代次数为100，权重的初始学习 率设置为0.001，选择SGD作为优化器，得到鲳鱼新鲜度评估模型，记 为ResNet-50。
所述的方法，其中步骤8中通过迁移学习方法，利用预先划分好的 训练集训练三种经典CNN分类网络，直至损失值收敛,其中：
1)AlexNet：利用在ImageNet预训练完成的AlexNet权重对网 络参数初始化，模型迭代次数为30，其余网络训练超参数设置见步 骤7中AlexNet，得到鲳鱼新鲜度评估模型记为AlexNet*；
2)VGGNet：利用在ImageNet预训练完成的VGG-16和VGG-19权 重对网络参数初始化，模型迭代次数为30，为特征提取模块设置的 初始学习率为0.0001，其余网络训练超参数设置与步骤7中相同， 得到鲳鱼新鲜度评估模型，分别记为VGG-16*和VGG-19*；
3)ResNet：利用在ImageNet预训练完成的ResNet-50权重对模 型参数初始化，模型迭代次数为20，其余网络训练超参数设置与步 骤7相同；
比较步骤7和步骤8，确定选取VGG-19*模型作为分类模型。
所述的方法，其中步骤9中VGG-19*模型结构优化包括：
FC2_VGG-19*由16个卷积层、2个全连接层以及Softmax分类器 组成，卷积层负责提取图像局部特征，将运算结果处理为新的特征图 像，全连接层起到分类器作用，其中：
卷积层工作过程如下：
(1)对输入图像进行卷积与激活操作，生成卷积图；
y＝f(Mat·ω+b)
ReLU激活函数的数学公式为：
Figure RE-GDA0003240469850000051
其中，y为卷积过后的输出结果，f(x)为ReLU激活函数，Mat为灰 度图矩阵，ω为权重，·为卷积运算，b为偏置值；
(2)对卷积图进行池化操作，生成特征图；
(3)调整上述步骤的参数后进行若干次重复计算；
(4)达到预设的计算次数时，输出多组参数下生成的特征图。
全连接层工作过程如下：
(1)将特征提取后的全部神经元串联在一起，并与全连接层的 每一个神经元连接；
Figure RE-GDA0003240469850000052
其中yi代表特征向量输出的第i个特征值，xj代表输入的第j个 特征图，ωij代表yi对应的第j个权重，bi代表yi对应的偏置，Cx代表输 入特征值数目，Cy代表输出特征值的数目；
(2)将最后一个全连接层的C×1维向量送入Softmax分类器；
Softmax分类器输出得到C×1维向量，每个值表示该样本属于某 类的概率，Softmax函数公式表示为：
Figure RE-GDA0003240469850000053
其中，zi为第i个节点的输出值，C为分类类别数，f(zi)为分类类别 为i的概率，在测试模型时，Softmax层会取f(z1)，f(z2),…,f(zc)中数 值最大的类别作为样本的预测标签。
所述的方法，其中步骤12CAM可视化包括：
给定一幅图片，设置fk(x，y)是最后一个卷积层的第k个特征图在空 间坐标(x，y)处的激活值，对第k个特征图做GAP，记为Fk：
Figure RE-GDA0003240469850000061
Figure RE-GDA0003240469850000062
Figure RE-GDA0003240469850000063
为类别C与第k个特征图连接的权值，对于给定类别C，Softmax 输入值记为Sk：
设Mc是对应类别C的CAM矩阵，则每个空间元素对应公式为：
Figure RE-GDA0003240469850000064
于是Mc(x，y)空间坐标(x，y)的数值在CAM矩阵中的重要程度，这些 数值最终组成类别C的热力图，热力图对高亮处即为CNN所认为的对 分类结果最有用的区域信息。
附图说明
图1为鲳鱼数据集样例示意图；
图2为AlexNet*的Accuracy和Loss值曲线示意图；
图3为VGG-16*的Accuracy和Loss值曲线示意图；
图4为VGG-19*的Accuracy和Loss值曲线示意图；
图5为ResNet-50*的Accuracy和Loss值曲线示意图；
图6为FC2_VGG-19网络结构示意图；
图7为CAM可视化热力图结果示意图；
图8FC2_VGG-19特征可视化分析示意图。
具体实施方式
下面结合附图1-8对本发明的具体实施方式进行详细说明。
如图1所示，改进VGG-19的冰鲜鲳鱼新鲜度评估方法包括以下 步骤：
步骤1.鲳鱼样本处理。
步骤2.TVB-N(挥发性盐基氮)测定。
步骤3.鲳鱼图像采集，图像采集环境为照明室环境，鲳鱼图像使 用数码单反相机捕获，将样品水平放置，相机镜头位于样品上方30cm 的垂直固定位置，在每天的特定时间，从冷藏箱中取出样品进行拍摄。
步骤4.图像预处理，考虑到将高分辨率图片直接送入深度学习网 络会导致内存溢出，通过编写Python脚本实现对鲳鱼图片的统一缩 放，尺寸降低至为2660×1260像素。经图像处理后，共获得鲳鱼数据 集2387张。鲳鱼数据集样例如图1所示。
步骤5.鲳鱼新鲜度等级划分。
步骤6.划分数据集，将3类不同新鲜度等级的鲳鱼图像数据集 分别以4:1的比例划分为训练集和测试集，冰鲜鲳鱼新鲜度分类数据 集划分如表3所示。
表1冰鲜鲳鱼新鲜度分类数据集划分表
Figure RE-GDA0003240469850000081
步骤7.通过随机初始化网络权重方法训练三种经典CNN分类网 络。
步骤8.通过迁移学习方法训练三种经典CNN分类网络。
步骤9.将VGG-19*模型进行结构优化，得到FC2_VGG-19模型；
步骤10.保存训练好的模型；
步骤11.使用训练好的模型对测试数据集进行测试，对鲳鱼图像 的新鲜度等级分类；
步骤12.CAM可视化：为了更好的理解FC2_VGG-19模型对鲳鱼新 鲜度分级的特征学习能力以及如何对鲳鱼图像进行新鲜度分级，利用 类激活映射(CAM)方法生成可视化热力图，从而增强模型识别分级 的可信度。
具体的：
步骤1.鲳鱼样本处理包括：
本发明采用鲜活金鲳鱼60条，(平均重量为500±10克)购于北 京某农贸市场，将鱼体宰杀、去腮盖、去内脏、放入冰袋，将所有样 本在30分钟内运输到北京农业信息技术研究中心实验室，期间严格 监控鱼类运输环境。到达实验室后，快速清洗鲳鱼内脏、血渍，使用 厨房专用纸巾将鱼体表面擦干，然后将每条鱼放入样品袋中。样品竖 立置于0℃的冷藏箱中存放30天。每次随机取样六条，每天特定时 间采集鲳鱼图像，每三天测定一次TVB-N含量直至样品腐败。每日检 查三次实验样品的存储环境。
步骤2.TVB-N测定包括：
首先，取出六组鲳鱼样品，分割背部去皮，鱼肉使用搅碎机搅碎， 将3.0g绞碎的鱼肉与30mL蒸馏水混合，使用离心管均质20秒。随 后将样品密封，送入水浴式震荡仪中摇震30分钟。震荡结束后将六 组样品取出，加入蒸馏水实现配平操作。将配平好的样品放入离心机 中离心8分钟，使悬浮液中的固体颗粒与液体分开。其次，向接收瓶 内加入10mL硼酸溶液(20g/L)和5滴甲基红-次甲基蓝指示剂，并 将冷凝管下端插入接收瓶底。向消化管中加入离心后上清液和氧化镁 悬浊液各5mL，利用凯氏定氮仪蒸馏5分钟得到吸收液。实验过程需 要空白组与对照组，以5mL蒸馏水代替上清液作为空白实验，共做6 组对照试验与3组空白试验。最后，用盐酸标准溶液(0.0100mol/L) 对吸收液滴定至变色。TVB-N值计算如下：
TVB-N值＝[(V1-V2)×c×14]/(m×V0/V)×100
其中，V1和V2分别代表对照试验组、空白实验组消耗盐酸的体积 (mL)；c代表盐酸浓度(mol/L)；m代表样品质量(g)；V0代表吸取 的上清液体积(mL)；V代表样液总体积(mL)，此处为100mL。
TVB-N是检测鱼类新鲜度的理化指标，其含量随内源性酶和腐败 细菌活性的增加而增加，TVB-N含量越高，鱼肉品质劣变程度越严重。
步骤3.鲳鱼图像采集包括：
在照明室环境进行鲳鱼图像采集，鲳鱼样本上方固定一盏144颗 灯珠的LED光源，以获得均匀的采光效果，下方放置黑色背景板，使 得鲳鱼主体更突出，成像更清晰。鲳鱼图像使用型号为X-S10的数码 单反相机拍摄。将鲳鱼样品水平放置，相机镜头位于样品上方30cm 的垂直固定位置，每日14:00从冷藏箱中取出固定十条样品放入冰袋 中控制温度，所获图像包含样品两侧全貌以及鱼头部位，每次拍照耗 时15～20分钟，拍摄结束后将样品放入样品袋，重新放回冷藏箱中， 鲳鱼图像数据采集耗时30天，共采集2387张有效鲳鱼图像样本，尺 寸为5184×3456像素。
步骤5.鲳鱼新鲜度等级划分：
根据SC/T 3103-2010《鲜、冻鲳鱼》标准规定，鲳鱼样品 TVB-N≤18mg/100g为一级品，样品质量等级新鲜可食用； 18mg/100g＜TVB-N≤30mg/100g为合格品，样品质量等级较新鲜可食 用；TVB-N＞30mg/100g为不合格品，样品质量等级腐败不可食用。表 1为0℃存储条件下鲳鱼TVB-N的含量变化情况。最初，鲳鱼样品TVB-N 值增长缓慢，在0～14天样品质量等级为一级品。从15天起，样品 TVB-N值增长速度加剧，在15～23天样品质量等级为合格品。第24 天，样品TVB-N＞30mg/100g，到达贮藏终点，样品质腐败变质不可食 用。
表2 0℃存储条件下鲳鱼TVB-N含量变化
Figure RE-GDA0003240469850000101
Figure RE-GDA0003240469850000111
本发明将采集到的鲳鱼图像依据新鲜度等级评判标准划分为三 类：一级品，合格品，不合格品，如表2所示。
表3鲳鱼图像新鲜度等级划分
Figure RE-GDA0003240469850000112
步骤7.通过随机初始化网络权重方法，利用预先划分好的训练集 训练三种经典CNN分类网络，直至损失值收敛。
1)AlexNet：采用AlexNet原始网络模型结构，并随机初始化网 络权重。其中，模型迭代次数为100，初始学习率设置为0.01。为了 提升模型的训练效率及收敛速度，使用指数衰减策略动态调整学习 率，选择SGD(Stochastic Gradient Descent)作为优化器。得到鲳鱼新鲜度评估模型，记为AlexNet。
2)VGGNet：采用VGG-16和VGG-19原始网络模型结构，并对网 络权重随机初始化。其中，模型迭代次数为100，初始学习率为0.001， 使用指定间隔的学习率动态调整策略加快模型训练，采用Adam梯度 下降算法优化训练过程中的模型参数。得到鲳鱼新鲜度评估模型，分 别记为VGG-16和VGG-19。
3)ResNet：采用ResNet-50原始网络模型结构，并对网络权重随 机初始化。网络超参数设置为模型迭代次数为100，权重的初始学习 率设置为0.001，选择SGD作为优化器。得到鲳鱼新鲜度评估模型记为 ResNet-50。
随机初始化网络权重方法训练三种经典CNN分类网络的实验结果 如下：
如表4所示，随着分类网络结构的加深，网络提取鲳鱼新鲜度等 级特征的能力增强，分类的准确率也逐步提高，但鲳鱼新鲜度分类准 确率仍有一定的提升空间。但是从表格可以看出，训练集与测试集的 准确率相差约10％，存在过拟合现象。这是因为网络的训练需要巨大 的数据量，而本专利自建数据集属于小规模数据集，故网络提取鲳鱼 新鲜度特征的能力有限，泛化能力较差。为此，本发明采用迁移学习 方法，使模型的训练基于一个较好的初始状态，在加速模型收敛速度 的同时提高了网络的鲁棒性。
表4预实验建模准确率对比
Figure RE-GDA0003240469850000121
Figure RE-GDA0003240469850000131
步骤8.通过迁移学习方法，利用预先划分好的训练集训练三种 经典CNN分类网络，直至损失值收敛：
1)AlexNet：利用在ImageNet预训练完成的AlexNet权重对网 络参数初始化。模型迭代次数为30，其余网络训练超参数设置见步 骤7中AlexNet。得到鲳鱼新鲜度评估模型记为AlexNet*。
2)VGGNet：利用在ImageNet预训练完成的VGG-16和VGG-19权 重对网络参数初始化。模型迭代次数为30，为加快模型收敛速度， 论文实验为分类模块设置较大的初始学习率0.001，为特征提取模块 设置的初始学习率为0.0001，其余网络训练超参数设置见步骤7中 VGGNet。得到鲳鱼新鲜度评估模型记为VGG-16*和VGG-19*。
3)ResNet：利用在ImageNet预训练完成的ResNet-50权重对模 型参数初始化。模型迭代次数为20，其余网络训练超参数设置见步 骤7中ResNet，得到鲳鱼新鲜度评估模型，记为ResNet-50*。
利用迁移学习方法训练三种经典CNN分类网络的实验结果如下：
1)图2为AlexNet*网络训练过程中的Accuracy和Loss值曲线。
随着迭代次数的增加，AlexNet*模型的准确率越来越高，训练集 和测试集准确率最终分别稳定在90.30％和87.89％；模型的Loss逐步 下降，训练集Loss在0.25附近波动，测试集Loss稳定在0.33。
2)VGG-16*网络训练过程中的Accuracy和Loss值曲线如图3所 示。
VGG-16*模型的训练集准确率最终稳定在93.83％附近，测试集准 确率稳定在90.06％，未出现过拟合和欠拟合现象；模型的Loss逐步 下降，训练集Loss最终在0.16附近波动，测试集Loss稳定在0.24。 与AlexNet*模型相比，训练集和验证集准确率均有3％提升。实验表 明，随着网络深度的增加，模型可以学习到更丰富的特征表达和更深 层次的语义信息，模型的分类、识别能力也随之增强。
3)图4展示的是VGG-19*网络随迭代次数变化的Accuracy和Loss 曲线。
VGG-19*模型的训练集准确率最终稳定在98.32％，测试集准确率 稳定在98.74％，模型的Loss逐步下降，训练集Loss最终在0.16附 近波动，测试集Loss稳定在0.24。训练集和测试集准确率、损失值 基本持平。与VGG-16*模型相比，VGG-19*模型准确率提高了近7％， 进一步论证了加深网络深度可以有效增强模型分类与识别效果。
4)ResNet-50*网络训练过程中Accuracy和Loss曲线如图5所示。
模型训练集准确率在97.82％附近波动，测试集准确率稳定在 95.90％，模型训练集Loss最终在0.09附近波动，测试集Loss稳定 在0.11。ResNet-50*相较于VGG-19*模型网络结构更深，却出现了错 误率上升现象。经分析是由于本文数据集样本量少导致，当网络结构 过于复杂时，优化器的优化过程变得更加困难，导致模型达不到最优 的学习效果。
表5展示了使用迁移学习方法前后，不同CNN分类模型的训练集 和测试集准确率情况。
表5经典CNN分类模型迁移学习前后准确率对比
Figure RE-GDA0003240469850000151
AlexNet*、VGG-16*、VGG-19*、ResNet-50*采用了迁移学习方法， 在加速模型收敛速度的同时提高网络的鲁棒性。与AlexNet、VGG-16、 VGG-19、ResNet-50相比，训练集、测试集准确率均有了较大提高， 验证了将迁移学习方法应用在本文数据集的有效性。
分析AlexNet*、VGG-16*、VGG-19*、ResNet-50*模型实验结果， 随着网络结构一定程度的加深，网络提取特征的能力变强，模型可以 学习到更深层次的语义信息，网络的分类、识别能力有所提高，但将 过于复杂的模型结构应用于样本量少的数据集，反而导致模型分类准 确率下降，不能达到最好的学习效果。综合上述分类模型结果，结合 迁移学习的VGG-19*模型在训练集、验证集均达到最好的分类准确率， 且未出现过拟合和欠拟合现象，VGG-19*方法充分体现了模型复杂度 与分类准确率的平衡。故本发明选取VGG-19*模型进一步优化。
步骤9.将VGG-19*模型进行结构优化
传统的VGG-19网络Softmax层分类的数目为1000，通过3个全 连接层提升网络分类性能，结构为[4096,4096,1000]。第一个全连接 层的输入来自池化层，共25088个神经元，因此第一个全连接层训练 过程需要4096×25088+4096＝102764544个参数，占VGG-19网络参数 总量的73.6％。全连接层参数占比大造成了计算成本的浪费，并且容 易使网络发生过拟合现象
因此，本发明对VGG-19*全连接层进行改进，在节约时间空间成 本的同时保证网络分类识别的效率和准确率。FC2_VGG-19*由16个卷 积层、2个全连接层以及Softmax分类器组成。卷积层负责提取图像 局部特征，将运算结果处理为新的特征图像。
其中卷积层工作过程如下：
(1)对输入图像进行卷积与激活操作，生成卷积图；
y＝f(Mat·ω+b)
ReLU激活函数的数学公式为：
Figure RE-GDA0003240469850000161
其中，y为卷积过后的输出结果，f(x)为ReLU激活函数，Mat为灰 度图矩阵，ω为权重，·为卷积运算，b为偏置值；
(2)对卷积图进行池化操作，生成特征图；
(3)调整上述步骤的参数后进行若干次重复计算；
(4)达到预设的计算次数时，输出多组参数下生成的特征图。
全连接层起到分类器作用，其工作过程如下：
(1)它将特征提取后的全部神经元串联在一起，并与全连接层 的每一个神经元连接。
Figure RE-GDA0003240469850000171
其中yi代表特征向量输出的第i个特征值，xj代表输入的第j个 特征图，ωij代表yi对应的第j个权重，bi代表yi对应的偏置，Cx代表输 入特征值数目，Cy代表输出特征值的数目。
(2)将最后一个全连接层的C×1维向量送入Softmax层得到C×1 维向量，每个值表示该样本属于某类的概率，Softmax函数公式表示 为：
Figure RE-GDA0003240469850000172
其中，zi为第i个节点的输出值，C为分类类别数，f(zi)为分类类别 为i的概率，在测试模型时，Softmax层会取f(z1)，f(z2),…,f(zc)中数 值最大的类别作为样本的预测标签。
本发明中冰鲜鲳鱼新鲜度分类数据集为3分类任务，传统VGG-19 的3层全连接层参数量过多，并不能提高模型分类准确率。因此，本 发明对VGG-19全连接层进行改进，在节约时间空间成本的同时保证 网络分类识别的效率和准确率，将VGG-19网络中[4096,4096,1000] 的三层全连接层结构改进为[T，3]的两层全连接结构，其中T代表全 连接层神经元最优个数。表6展示了T值的选取过程。
表6 T值选取过程
Figure RE-GDA0003240469850000181
注：T代表第一个全连接层神经元个数
由表6可知，随着全连接层神经元个数的增加，网络分类性能的 准确率逐步提升，神经元个数为128时得到模型最高准确率。此后， 随着神经元个数的增加，网络分类准确率趋于稳定，全连接层参数的 增加并不能再提高模型准确率。因此，改进后的VGG-19全连接层结 构为[128,3]，改进后的FC2_VGG-19网络结构如图6所示，记为 FC2_VGG-19。
VGG-19全连接层改进前后结构对比如表7所示。
表7 VGG-19全连接层改进前后结构表
Figure RE-GDA0003240469850000182
表7可以直观的看到，FC2_VGG-19的全连接层参数量为3211779， 相较于VGG-19的全连接层参数量123642856，降低了97％。
步骤12.CAM可视化包括：
为了更好的理解FC2_VGG-19模型对鲳鱼新鲜度分级的特征学习 能力以及如何对鲳鱼图像进行新鲜度分级，利用类激活映射(CAM) 方法生成可视化热力图，从而增强模型识别分级的可信度。CAM可视 化计算公式如下：
给定一幅图片，设置fk(x，y)是最后一个卷积层的第k个特征图在空 间坐标(x，y)处的激活值，对第k个特征图做GAP，记为Fk：
Figure RE-GDA0003240469850000191
Figure RE-GDA0003240469850000192
为类别C与第k个特征图连接的权值，对于给定类别C，Softmax 输入值记为Sk：
Figure RE-GDA0003240469850000193
设Mc是对应类别C的CAM矩阵，则每个空间元素对应公式为：
Figure RE-GDA0003240469850000194
其中，Mc(x，y)反映了空间坐标(x，y)的数值对分类结果的重要程度， 这些数值最终组成类别C的热力图，热力图对高亮处即为CNN所认为 的对分类结果最有用的区域信息。
为了验证FC2_VGG-19模型对鲳鱼新鲜度分级的特征学习能力，本 发明挑选了18张不同新鲜度分级类别、不同区域、不同方位的鲳鱼 图片，利用CAM方法生成可视化热力图进行实验分析，如图7所示。 图中每一列分别代表一级品、合格品和不合格品的热力图，颜色越高 亮说明该部位对鲳鱼新鲜度分级任务的贡献度越高。对于完整鲳鱼图 像而言，无论鲳鱼的分类等级或是摆放位置如何，图像的高亮区域总 是准确地定位在鲳鱼腹部，说明FC2_VGG-19模型学习到的新鲜度分 类最强的特征是鲳鱼腹部，并且模型准确预测了新鲜度分级结果。对 于局部的鲳鱼图像而言，图像的高亮区域定位在鲳鱼的胸鳍和鳃处， 说明当图像丢失鱼腹部信息时，鳃和胸鳍部特征是对分类结果最有用 的信息。对于肉眼难以判定新鲜度等级的鲳鱼样本，CNN模型可以准 确预测新鲜度等级并给出判断依据。
图8是对FC2_VGG-19模型进行的特征可视化分析。左侧一、二行 分别是鲳鱼样本原始图像和CAM可视化热力图，右侧第一行的4张图 是第1个卷积层提取的特征，可以看到浅层卷积层主要提取鲳鱼样本 的边缘、轮廓和纹理信息。中层卷积层提取的图像信息如图右侧第二 行所示，随着卷积层深度的加深，提取的特征变得复杂抽象、难以理 解。右侧第三行是最后第一个卷积层提取的特征图，高层特征将分散 的细节特征逐渐转化为整体的轮廓，同时学习到了更丰富的语义信 息，因此CAM利用最后一个卷积层提取的特征图的信息构建模型分 类的热力图。对比高层特征图与热力图可知，特征图的高亮区域与分 类区分性最强的部位对应。同时，FC2_VGG-19在自主学习过程中， 会舍弃无用的浅层特征(例如边缘、轮廓和纹理信息)，起到特征提 纯的作用，以提高模型的分类精度。
通过本发明，可实现鲳鱼品质无损实时检测。通过批量上传鲳鱼 图像数据，结合上述鲳鱼新鲜度分级预测模型，即可对鲳鱼品质进行 实时无损检测。为保障冰鲜水产品货架期安全及品质无损预测提供理 论依据。

Claims (3)

1.一种改进VGG-19的冰鲜鲳鱼新鲜度评估方法，其特征在于包括以下步骤：
步骤1.鲳鱼样本处理；
步骤2.TVB-N挥发性盐基氮测定；
步骤3.鲳鱼图像采集；
步骤4.图像预处理；
步骤5.鲳鱼新鲜度等级划分；
步骤6.划分数据集；
步骤7.通过随机初始化网络权重方法训练分类网络；
步骤8.使用训练好的模型对测试数据集进行测试，对鲳鱼图像的新鲜度等级分类。
2.根据权利要求1所述的方法，其特征在于步骤3中鲳鱼图像采集包括：在照明室环境进行鲳鱼图像采集，鲳鱼样本上方固定一盏144颗灯珠的LED光源，以获得均匀的采光效果，下方放置黑色背景板；将鲳鱼样品水平放置，相机镜头位于样品上方30cm的垂直固定位置。
3.根据权利要求1所述的方法，其特征在于步骤7中鲳鱼图像采集包括通过随机初始化网络权重方法，利用预先划分好的训练集训练分类网络。
CN202110907707.0A 2021-04-08 2021-08-09 一种改进vgg-19的冰鲜鲳鱼新鲜度评估方法 Pending CN113537394A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110379747 2021-04-08
CN2021103797472 2021-04-08

Publications (1)

Publication Number Publication Date
CN113537394A true CN113537394A (zh) 2021-10-22

Family

ID=78090788

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110907707.0A Pending CN113537394A (zh) 2021-04-08 2021-08-09 一种改进vgg-19的冰鲜鲳鱼新鲜度评估方法

Country Status (1)

Country Link
CN (1) CN113537394A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107942015A (zh) * 2017-12-15 2018-04-20 山东商业职业技术学院 一种水产品新鲜度无损检测装置及评价方法
CN110298388A (zh) * 2019-06-10 2019-10-01 天津大学 基于改进vgg19网络的玉米5种旱情识别方法
CN110766013A (zh) * 2019-09-25 2020-02-07 浙江农林大学 一种基于卷积神经网络的鱼类识别方法和装置
CN111723738A (zh) * 2020-06-19 2020-09-29 安徽工业大学 一种基于迁移学习的煤岩壳质组显微图像分类方法及系统
CN111768401A (zh) * 2020-07-08 2020-10-13 中国农业大学 一种基于深度学习的冰鲜鲳鱼新鲜度快速分级方法
CN111768402A (zh) * 2020-07-08 2020-10-13 中国农业大学 一种基于mu-svm的冰鲜鲳鱼新鲜度评估方法
AU2020103779A4 (en) * 2020-11-30 2021-02-11 Ningxia Medical University Covid-19 classification recognition method based on ct images of lungs

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107942015A (zh) * 2017-12-15 2018-04-20 山东商业职业技术学院 一种水产品新鲜度无损检测装置及评价方法
CN110298388A (zh) * 2019-06-10 2019-10-01 天津大学 基于改进vgg19网络的玉米5种旱情识别方法
CN110766013A (zh) * 2019-09-25 2020-02-07 浙江农林大学 一种基于卷积神经网络的鱼类识别方法和装置
CN111723738A (zh) * 2020-06-19 2020-09-29 安徽工业大学 一种基于迁移学习的煤岩壳质组显微图像分类方法及系统
CN111768401A (zh) * 2020-07-08 2020-10-13 中国农业大学 一种基于深度学习的冰鲜鲳鱼新鲜度快速分级方法
CN111768402A (zh) * 2020-07-08 2020-10-13 中国农业大学 一种基于mu-svm的冰鲜鲳鱼新鲜度评估方法
AU2020103779A4 (en) * 2020-11-30 2021-02-11 Ningxia Medical University Covid-19 classification recognition method based on ct images of lungs

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
方瑶等: "基于近红外光谱的金鲳鱼新鲜度快速检测技术", 江苏农业学报, vol. 37, no. 1, pages 213 - 218 *

Similar Documents

Publication Publication Date Title
Altaheri et al. Date fruit classification for robotic harvesting in a natural environment using deep learning
Raikar et al. Classification and Grading of Okra-ladies finger using Deep Learning
CN109508655A (zh) 基于孪生网络的不完备训练集的sar目标识别方法
CN106651830A (zh) 一种基于并行卷积神经网络的图像质量测试方法
CN108663367A (zh) 一种基于鸡蛋容重的鸡蛋品质无损检测方法
CN109543679A (zh) 一种基于深度卷积神经网络的死鱼识别方法及预警系统
CN111695466B (zh) 一种基于特征mixup的半监督极化SAR地物分类方法
CN109117877A (zh) 一种基于深度卷积生成对抗网络的黄颡鱼及其套养种识别方法
CN107909109A (zh) 基于显著性和多尺度深度网络模型的sar图像分类方法
CN111523542A (zh) 一种菌落总数回归预测模型的构建及运用该模型检测鱼肉新鲜度的方法
CN109472798A (zh) 生猪脂肪含量检测模型训练方法及生猪脂肪含量检测方法
CN109191434A (zh) 一种细胞分化中的图像检测系统及检测方法
CN107871316A (zh) 一种基于深度神经网络的x光片手骨兴趣区域自动提取方法
CN106650823A (zh) 一种基于概率极限学习机集成的泡沫镍表面缺陷分类方法
CN114493680B (zh) 一种基于流刺网调查的渔业资源统计方法及系统
CN106417143B (zh) 一种基于被动声学信息的淡水鱼品种识别装置和方法
CN114708492A (zh) 一种果树病虫害图像识别方法
CN113537394A (zh) 一种改进vgg-19的冰鲜鲳鱼新鲜度评估方法
Treible et al. Fine-scale habitat associations of medusae and ctenophores along a gradient of river influence and dissolved oxygen
CN110123484A (zh) 一种牲畜分娩检测方法和装置
CN114357877A (zh) 一种基于模糊评价与改进支持向量机的鱼塘水质评价预测系统及方法
Liu et al. Study on Pig Body Condition Scoring Based on Deep Learning Model EfficientNet-B0
Afridi et al. Deep learning based udder classification for cattle traits analysis
CN217902456U (zh) 一种鸡蛋裂纹检测试验系统
Sangsongfa et al. Prediction of pineapple sweetness from images using convolutional neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination