CN116067931A

CN116067931A - 一种基于荧光响应图像的冻条罗非鱼tvb-n无损检测方法

Info

Publication number: CN116067931A
Application number: CN202310068203.3A
Authority: CN
Inventors: 王慧慧; 杜忠霖; 秦磊; 张旭; 刘阳; 杨继新
Original assignee: Dalian Polytechnic University
Current assignee: Dalian Polytechnic University
Priority date: 2023-02-06
Filing date: 2023-02-06
Publication date: 2023-05-05
Anticipated expiration: 2043-02-06
Also published as: CN116067931B

Abstract

本发明属于食品检测领域，公开一种基于荧光响应图像的冻条罗非鱼TVB‑N无损检测方法。本发明基于紫外荧光响应实现对冻条罗非鱼新鲜度TVB‑N的无损检测，避免了传统检测方法对待测样本造成破坏，且操作复杂、耗时较长的问题。本发明对所采集的荧光图像分别面向RGB、HSI、L*a*b*三个颜色空间进行特征提取和融合，获取更多有益于检测的特征。本发明设计的搭建VGG16SENet‑LSSVM模型，即面向三个颜色空间，并联设计三个VGG16网络并加入空间转换模块、SENet模块，最后融合三个颜色空间提取的特征，串联LSSVM实现冻条罗非鱼TVB‑N值无损、快速、智能、准确检测。

Description

一种基于荧光响应图像的冻条罗非鱼TVB-N无损检测方法

技术领域

本发明属于食品检测领域，尤其涉及一种基于荧光响应图像的冻条罗非鱼TVB-N无损检测方法。

背景技术

罗非鱼富含蛋白质、维生素、多不饱和脂肪酸以及人体必需的矿物质和微量元素。较高的营养价值使其深受消费者的喜爱。罗非鱼产品主要有三类：浅去皮罗非鱼片、深去皮罗非鱼片、冻条罗非鱼。其中，冻条罗非鱼既可以作为深加工产品的原料，也可以作为最终成品进行销售，面向的市场需求广泛、销量大。冻条罗非鱼产品从生产地到加工、贮藏、运输以及销售，最后再到消费者手中的有效供应链体系，期间经历的所有环节都必须保证产品始终处于低温冷冻状态，从而保障产品的质量和食用安全。我国冷库容量和冷库企业分布不均，产品的“断链”问题严重，不规范行为或外界因素(如冷冻的温度和湿度等)不适宜都可能导致产品出现反复冻融的现象。反复冻融循环会引起的冻融物的变质，在细菌和化学作用下会产生的挥发性物质包括氮、胺和氨等。挥发性盐基氮(TVB-N)的测定是评估鱼类新鲜度的一个重要指标。欧盟关于水产品卫生的指令明确指出，如果对新鲜度有任何怀疑，检查人员需要测定TVB-N作为化学检查的一种手段。TVB-N测定方法主要包括微量扩散法、分光光度法等。然而，这些传统的分析技术往往具有复杂、耗时和可能对鱼类造成不可逆损伤的缺点，限制了实时检测。因此，本发明提出了一种基于荧光响应图像的冻条罗非鱼TVB-N无损检测方法，实现了冻条罗非鱼TVB-N无损、快速检测。

发明内容

本发明的目的是克服现有技术中存在的不足，提供一种基于荧光响应图像的冻条罗非鱼TVB-N无损检测方法，该方法能对冻条罗非鱼的TVB-N值进行准确预测，帮助检查人员快速、无损检测冻条罗非鱼的TVB-N值。

本发明提供的技术方案，

一种基于荧光响应图像的冻条罗非鱼TVB-N无损检测方法，该方法包括以下步骤：

步骤1：建立紫外荧光成像系统；

建立紫外荧光成像系统，包括输送装置、计算机、荧光光源、长通滤光片、工业相机和暗箱；暗箱置于输送装置上，暗箱内部两侧分别安装4只条形荧光光源，荧光光源上安装长通滤光片；暗箱上设置与计算机相连的工业相机，工业相机的摄像头对准暗箱内部；为减少外部光照的影响，暗箱外部采用不透明材料；荧光光源波段范围为360-370nm；条形荧光光源与水平线呈45度，底部距离暗箱两侧水平距离为50mm，光源与输送装置表面的垂直距离为55mm；

步骤2：制作用于训练和测试所设计冻条罗非鱼TVB-N值预测模型的样品；

为保证设计的冻条罗非鱼TVB-N值预测模型的泛化性，面向不同批次的新鲜罗非鱼共480条用于训练和测试所设计冻条罗非鱼TVB-N值预测模型的样品制作；将新鲜罗非鱼随机分成8组，分装于无菌密封袋中，每组60个样本；第1组为对照组，不进行反复冻融；第2组在-20℃下冷冻12小时后取出，置于4℃冰箱中解冻12小时，上述过程为1个冻融周期，第3-8组按照第2组的方案分别冻融2-7个周期，获得0-7次冻融的冻条罗非鱼，用于TVB-N值预测模型的训练和测试；

步骤3：数据采集；

采集图像前半小时打开系统，以获得稳定的光照条件；将不同冻融周期的冻条罗非鱼放入输送装置，由其送至暗箱，由工业相机采集其俯视图图像，作为原始荧光响应图像；

步骤4：设计VGG16SENet-LSSVM预测模型；

针对RGB、HSI、L*a*b*3个颜色空间，创建VGG16SENet-LSSVM预测模型；VGG16SENet-LSSVM预测模型：3个VGG16网络进行并联后再串联LSSVM网络，在3个VGG16网络第5个池化层后分别嵌入2个SENet模块；VGG16SENet-LSSVM预测模型的输入为采集的原始荧光响应图像，由于原始荧光响应图像对应RGB空间，为分别提取三个颜色空间特征，三个并联的VGG16网络中的2个VGG16网络分别加入HIS颜色空间转换模块和L*a*b*颜色空间转换模块，实现原始荧光响应图像从RGB空间到HSI空间和L*a*b*空间的转换；VGG16SENet-LSSVM预测模型首先通过VGG16网络的13个卷积层和5个池化层提取初级特征，接着通过2个SENet模块学习图像块中的高级特征，3个VGG16网络通过全连接层相连实现特征融合，最后将融合的特征输入LSSVM网络对TVB-N值进行预测；将采集图像按7:3的比例分成训练集和测试集，通过训练集和测试集的决定系数(R²)、训练集均方根误差(RMSEC)、测试集均方根误差(RMSEP)和残差预测偏差(RPD)来进行模型预测性能评估。

与之前的技术相比，本发明的有益效果：

1.本发明利用荧光响应图像结合深度学习、经典机器学习的冻条罗非鱼TVB-N无损检测方法，避免了传统检测方法对待测样本造成破坏、操作复杂、耗时较长的问题。

2.目前大多数方法只对图像的RGB颜色空间进行特征提取，会忽略一部分信息，为实现丰富颜色特征的提取，在所设计的VGG16SENet-LSSVM模型中嵌入HSI、L*a*b*空间转换模块，对图像的RGB、HSI、L*a*b*三个颜色空间都进行特征提取并将其融合，能够提取更多有益信息用于检测模型的构建。

3.本发明使用了深度学习与经典机器学习相结合的方法构建冻条罗非鱼的TVB-N检测模型，针对3个颜色空间的特征，创建了VGG16SENet-LSSVM模型，模型以3个并联的VGG16网络作为骨干网络，每个VGG16网络中嵌入2个SENet模块，分别实现对图像的3个颜色空间进行特征提取，然后将模型中的3个VGG16网络的全连接层串联拼接实现特征融合，将融合后的特征输入到LSSVM网络中实现对冻条罗非鱼TVB-N值无损、快速预测。

附图说明

图1为本发明方法流程图。

图2为紫外荧光成像系统图。

图3为VGG16SENet-LSSVM模型结构图。

图4为本发明中SENet结构图。

图5为VGG16SENet-LSSVM模型的适应度变化曲线图。

具体实施方式

以下结合附图和技术方案，进一步说明本发明的具体实施方式。

如图1所示，本发明的总体步骤如下：

步骤1：建立紫外荧光成像系统，如图2所示该系统主要包括：输送装置1、暗箱2、计算机3、工业相机4、荧光光源5和长通滤光片6。待检测的冻条鱼样品间距10cm通过输送装置到达暗箱，为减少外部光照的影响，暗箱外部采用不透明材料，暗箱规格为63×50×44cm。暗箱内两侧分别安装4只光源波段范围为360-370nm的条形荧光灯作为光源，条形荧光光源与水平线呈45度，光源上安装长通滤光片，滤光片中心波长为365nm，工业相机安装在暗箱上方中间位置，相机帧频设置为60fps，图像分辨率设置为2592×1728、图像类型为JPEG，通过工业相机对冻条鱼进行采集传输到计算机中对冻条罗非鱼的TVB-N预测。

步骤2：用于训练和测试所设计冻条罗非鱼TVB-N值预测模型的样品制作，面向不同批次的新鲜罗非鱼共480条，放置于带冰保温箱内迅速运回实验室，用吸水纸吸干表面水分，随机分成8组分装于无菌密封袋中，每组60个样本。第1组为对照组，不进行反复冻融；第2组在-20℃下冷冻12小时后取出，置于4℃冰箱中解冻12小时，这个过程代表1个冻融周期；第3-8组分别按照第2组的方案冻融2-7次。从而保证利用多个冻融周期的样品对搭建的模型进行训练，提高其泛化性。

步骤3：数据的采集，将样品置于紫外荧光成像系统的输送装置上，送至暗箱中，条形荧光灯与水平线呈45度照射待测的样品，通过工业相机进行原始图像的采集。采集0-7次冻融周期下的罗非鱼样品紫外荧光图像，共获得480个样本。荧光图像采集后立即测定样品中TVB-N含量。如公式1，TVB-N含量的测定参照国家标准GB 5009.228-2016，采用微量扩散法测定。

步骤4：VGG16SENet-LSSVM模型设计，进行冻条罗非鱼TVB-N预测，VGG16SENet-LSSVM模型结构如图3所示。为提取丰富的颜色信息，针对RGB、HSI、L*a*b*3个颜色空间构建VGG16SENet-LSSVM，模型的骨干网络由三个并联的VGG16网络构成。模型输入为采集的原始荧光响应图像，由于原始图像对应RGB空间，为了能够分别提取三个颜色空间特征，三个并联的网络中的2个VGG16网络分别加入HSI颜色空间转换模块和L*a*b*颜色空间转换模块，实现原始图像从RGB空间到HSI空间和L*a*b*空间的转换。原始的VGG16网络由13个卷积层、5个池化层和3个全连接层组成，本发明对原始的VGG16进行改进，保留了13个卷积层和5个池化层，将3个全连接层改为1个1x1x100的全连接层，分别使用三个并联的VGG16网络的13个卷积层和5个池化层对不同颜色空间图像数据特征进行初提取，之后将3个VGG16网络在全连接层拼接实现特征融合，由于本发明利用VGG16网络针对3个颜色空间进行特征提取，容易出现大量无用的信息从而影响模型的准确度，此外多次卷积还容易出现梯度消失。针对上述问题，本发明在每个VGG16网络中嵌入2个SENet模块，图4所示为SENet结构图，SENet模块由SE模块和残差块构成，其中残差块为了避免网络训练过程中出现梯度消失和梯度爆炸问题，训练更深网络的同时，又能保证良好的信息。SE模块在网络训练中突出重要特征，抑制不重要的特征，从而减少噪声，增加模型的准确率。最后将在全连接层融合后的特征输入到LSSVM网络中，实现冻条罗非鱼TVB-N预测。

LSSVM基于线性规划方法求解一组线性方程组，能较好地解决非线性和局部极值点问题。用于建模的训练集为T₃₃₆＝(x×y)ⁿ，其中，n为训练集样本个数(n＝336)，输入矩阵x由336个样品的特征组成，输出y为样本对应的TVB-N值。由于高斯径向基函数(RBF)能够实现非线性映射，提高全局收敛性，本发明将其作为LSSVM的核函数，LSSVM模型的表达式如公式2所示：

式中，

表示输出的样本TVB-N值，a_i表示拉格朗日函数；x表示输入的第i个样本的特征；x_i表示RBF核函数的中心；σ表示RBF核函数的宽度系数；

LSSVM模型中的惩罚参数c和核函数的宽度系数σ决定了其学习能力和泛化能力，选取不当会导致模型输出结果取值并非全局最优，且会大大降低模型精度。在本发明中采用粒子群优化算法将问题合理转化为选择区间内参数的最优适应搜索，达到自动寻优效果。粒子群优化算法中最大迭代次数为300，粒子群个数为20，初始权重为0.95，终止权重为0.4，矩阵方式定义粒子的速度和位置，最大速度为25，然后将粒子群优化算法寻优得到的惩罚参数c和核函数的宽度系数σ代入LSSVM，从而得到模型对训练样本和预测样本的输出结果。采用粒子群优化算法寻优的VGG16SENet-LSSVM模型的适应度变化曲线如图5所示，在迭代145次之后适应度曲线开始趋于平稳并收敛，说明VGG16SENet-LSSVM模型的验证参数达到最优解，此时惩罚参数c＝0.01，核函数的宽度系数σ＝15.2918。将采集的图像按7:3划分为训练集和测试集，即随机选取336个数据作为训练集，其余数据144个作为测试集。通过训练集和测试集的决定系数(R²)、训练集均方根误差(RMSEC)、测试集均方根误差(RMSEP)和残差预测偏差(RPD)来进行模型预测性能评估。

VGG16SENet-LSSVM模型表现如表1所示，R_C ²和R_P ²分别为0.9653、0.9233均大于0.9，说明预测值与实测值之间的相关程度高；RMSEC和RMSEP的差值为0.782mg N/100g，差值较小，说明模型的误差小；RPD为3.752，大于3，表明模型预测效果较为优异，上述模型表现出较好的预测能力、较小的误差和较高的稳定性。

实验测试：

1.测试RGB、HSI、L*a*b*三个颜色空间和只有RGB颜色空间作为VGG16SENet-LSSVM模型输入的性能，如表1所示，使用RGB、HSI、L*a*b*三个颜色空间特征的VGG16SENet-LSSVM模型比只有RGB颜色空间特征的模型R_C ²、R_P ²和RPD值从0.9480、0.9078、3.484提升到0.9653、0.9233、3.752。说明使用多个颜色空间作为模型的输入能提取到更多有利于冻条罗非鱼TVB-N值预测的信息。

2.测试嵌入SENet模块性能，如表2所示嵌入了SENet模块后R_C ²、R_P ²和RPD值均有提升，RMSEC和RMSEP的差值减小，说明了嵌入SENet模块的有效性。

3.测试嵌入SENet模块的数量对模型的影响，如表3所示，数量1表示只嵌入了一个SENet模块，如表所示当模块数量从1增加到2时，R_C ²、R_P ²和RPD值均有提升，RMSEC和RMSEP的差值减小，说明了随着嵌入SENet模块数量增加，模型的性能提高，当模块数量从2增加到3时，模型性能基本保持不变，说明模型达到最优性能。所以本发明在每个VGG16网络中嵌入2个SENet模块。

表1

表2

表3

Claims

1.一种基于荧光响应图像的冻条罗非鱼TVB-N无损检测方法，其特征在于，该方法包括以下步骤：

步骤1：建立紫外荧光成像系统；

建立紫外荧光成像系统，包括输送装置、计算机、荧光光源、长通滤光片、工业相机和暗箱；暗箱置于输送装置上，暗箱内部两侧分别安装4只条形荧光光源，荧光光源上安装长通滤光片；暗箱上设置与计算机相连的工业相机，工业相机的摄像头对准暗箱内部；

步骤3：数据采集；

步骤4：设计VGG16SENet-LSSVM预测模型；

针对RGB、HSI、L*a*b*3个颜色空间，创建VGG16SENet-LSSVM预测模型；VGG16SENet-LSSVM预测模型：3个VGG16网络进行并联后再串联LSSVM网络，在3个VGG16网络第5个池化层后分别嵌入2个SENet模块；VGG16SENet-LSSVM预测模型的输入为采集的原始荧光响应图像，由于原始荧光响应图像对应RGB空间，为分别提取三个颜色空间特征，三个并联的VGG16网络中的2个VGG16网络分别加入HIS颜色空间转换模块和L*a*b*颜色空间转换模块，实现原始荧光响应图像从RGB空间到HSI空间和L*a*b*空间的转换；VGG16SENet-LSSVM预测模型首先通过VGG16网络的13个卷积层和5个池化层提取初级特征，接着通过2个SENet模块学习图像块中的高级特征，3个VGG16网络通过全连接层相连实现特征融合，最后将融合的特征输入LSSVM网络对TVB-N值进行预测；将采集图像按7:3的比例分成训练集和测试集，通过训练集和测试集的决定系数、训练集均方根误差、测试集均方根误差和残差预测偏差来进行模型预测性能评估。

2.根据权利要求1所述的冻条罗非鱼TVB-N无损检测方法，其特征在于，为减少外部光照的影响，暗箱外部采用不透明材料。

3.根据权利要求1所述的冻条罗非鱼TVB-N无损检测方法，其特征在于，条形荧光光源的波段范围为360-370nm，条形荧光光源与水平线呈45度，条形荧光光源的底部距离暗箱两侧水平距离为50mm，条形荧光光源与输送装置表面的垂直距离为55mm。