CN113077420A - 一种基于卷积神经网络的鱼肉纤维评价方法和系统 - Google Patents

一种基于卷积神经网络的鱼肉纤维评价方法和系统 Download PDF

Info

Publication number
CN113077420A
CN113077420A CN202110295929.1A CN202110295929A CN113077420A CN 113077420 A CN113077420 A CN 113077420A CN 202110295929 A CN202110295929 A CN 202110295929A CN 113077420 A CN113077420 A CN 113077420A
Authority
CN
China
Prior art keywords
neural network
convolutional neural
fish
tensor
fiber
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110295929.1A
Other languages
English (en)
Inventor
范大明
闫博文
俞军华
黄建联
周文果
黄程远
焦熙栋
张文海
叶伟建
张清苗
赵建新
张灏
陈卫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
FUJIAN ANJOY FOOD CO LTD
Jiangnan University
Original Assignee
FUJIAN ANJOY FOOD CO LTD
Jiangnan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by FUJIAN ANJOY FOOD CO LTD, Jiangnan University filed Critical FUJIAN ANJOY FOOD CO LTD
Priority to CN202110295929.1A priority Critical patent/CN113077420A/zh
Publication of CN113077420A publication Critical patent/CN113077420A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/02—Food
    • G01N33/12—Meat; fish
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N2021/8444—Fibrous material
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30128—Food products

Abstract

本发明公开了一种基于卷积神经网络的鱼肉纤维评价方法和系统，属于食品检测技术领域。借助图像识别技术，利用深度卷积神经网络算法，通过机器学习方式检测鱼肉肌纤维的形态特征，进而表征鱼肉纤维程度。该方法避免了传统感官评定方法易受主观因素影响，且结果也无法直接用精确的数据表达等缺点，具有识别准确率高、速度快、检测结果更精确等优点。针对传统卷积神经网络在对鱼肉纤维识别时，受染色操作和拍照环境影响，鱼肉纤维显微图片颜色存在差异导致识别结果准确性低等问题，本发明在传统卷积神经网络的基础上引入基于边缘特征注意力的网络结构，强调机器对鱼肉纤维纹理信息的学习，降低了模型受图片颜色变化的影响，显著提高了检测准确性。

Description

一种基于卷积神经网络的鱼肉纤维评价方法和系统
技术领域
本发明涉及一种基于卷积神经网络的鱼肉纤维评价方法和系统，属于食品检测技术领域。
背景技术
传统鱼糜制品生产过程中，原料组成结构过度破坏，导致鱼糜产品呈现胶质化口感，无肉感。并且目前相关研究也都侧重于对鱼糜制品胶质化口感提升，却忽略了消费者对真实纤维口感的追求。因此，减损采肉，保留鱼肉纤维将是鱼糜制品产品研发的新方向。
鱼肉的纤维口感是由肌纤维整齐有序地排列所形成的，所以通过感官评定的方式能够在一定程度上反馈鱼肉纤维情况，但受到样品相似性及感官评定员生理状态等因素的影响，感官评定的结果准确性低且无法直接用精确的数据表达，故该方法无法满足后续具有鱼肉纤维的鱼糜制品的研发和生产的需求。
在对其他肉类的研究中，常对畜禽肉进行切片、染色后在显微镜下拍照测定肌肉纤维直径、密度和面积等指标来评价肌肉纤维。但该方法只适用于评价完整的肌肉纤维，而许多鱼肉制品在实际加工过程中，需要经过采肉处理，去除鱼刺等杂质，采肉环节中，机械破坏作用使得鱼肉肌纤维断裂破损，呈混乱排列，原有的人工标注加上软件测量工具的方式不再适用，因此，构建一种适合鱼肉纤维评价的方法成为具有鱼肉纤维的鱼糜制品研制的首要任务。
图像识别技术作为一种应用广泛的技术，其核心算法之一就是卷积神经网络，它的工作原理是将图像转换成数字信息，通过卷积、池化等处理提取图片中的特征，进行学习，模拟人的判别准则去识别图像，从而作出优于人眼的客观评定，具有识别准确率高、速度快等特点。因而王博等人(重组牛肉图像识别模型的比较研究[J].肉类研究,2020,34(7):13-17)将LeNet-5、ResNet-50、ResNet-101、ResNet-152和VGG-16等卷积神经网络模型直接用于重组牛肉的图像识别中，对粘合碎肉和整块牛肉表面拍的图片进行区分，并取得较好的识别结果。中国专利CN 111798445 A公开了一种基于卷积神经网络的牙齿图像龋坏识别方法及系统，针对牙齿龋坏图像，在传统卷积神经网络框架中增加了自注意力机制模块，对网络训练过程中的牙齿龋坏特征图进行重新加权，使得图像中龋坏的部分获得更大的关注，从而提高了网络模型判别的准确率。
理论上，鱼肉蛋白被伊红染液染成红色，其余部分为无色，也可以采用上述图像识别技术进行鱼肉纤维的识别，但受染色操作和拍照环境的影响，图片的颜色会存在一定的差异，而图片中的颜色信息是一个很明显并且很容易被机器学习的特征，颜色变化对传统卷积神经网络模型的识别效果影响很大，但评价鱼肉纤维的过程中，最主要的是关注肌纤维的纹理结构，而非颜色差异。直接套用传统的卷积神经网络模型，识别结果主要受照片颜色的影响，模型的泛化能力低，错误率高。因此需要引入注意力机制，让网络模型重点关注肌纤维的纹理结构。而目前常用的注意力机制主要依靠计算机自身根据识别结果来确定注意哪些特征及注意程度等，存在实际注意特征不明确，针对性不强等问题，因而无法对鱼肉纤维进行准确的评价。
发明内容
为了解决目前鱼肉纤维单纯依靠感官评定的方式进行评价，存在结果准确性低，易受主观因素影响且无法直接用精确的数据表达等问题，本发明借助图像识别技术，针对性地设计出基于边缘特征注意力的卷积神经网络结构，提出了一种根据鱼肉肌纤维的形态特征来表征鱼肉纤维程度的评价方法和系统。
一种基于卷积神经网络的鱼肉纤维评价方法，所述方法针对鱼肉纤维评价，在传统的卷积神经网络基础上引入边缘特征注意力网络得到基于卷积神经网络的鱼肉纤维评价模型，其中，边缘特征注意力网络对应于传统的卷积神经网络的结构设置对应的模块；
传统的卷积神经网络用于提取原始图片RGB 3个通道中的原始图片特征，边缘特征注意力网络用于提取原始图片经过Canny边缘算子变换得到的边缘特征图的边缘图特征，其中，原始图片为鱼肉样品的显微图片；将边缘特征注意力网络每个模块提取的边缘图特征的张量与传统的卷积神经网络对应的模块提取的原始图片特征的张量相乘得到新的张量，再将新的张量与原始图片特征的张量相加，得到的加和张量输入到传统的卷积神经网络的下一模块中进一步提取特征；同时将边缘图特征输入边缘特征注意力网络的下一模块中进一步提取特征；将边缘特征注意力网络最后一个模块提取的边缘图特征的张量与传统的卷积神经网络对应的模块提取的原始图片特征的张量相乘得到的新的张量，再将新的张量与原始图片特征的张量相加，得到的加和张量进行池化操作后，输入一个全连接层，得到原始图片中鱼肉样品的纤维程度数值。
可选的，所述传统的卷积神经网络为LeNet-5、AlexNet、ZFNet、VGGNet、GoogLeNet、ResNet和UNet的任一网络。
可选的，当所述传统的卷积神经网络采用ResNet网络时，所述传统的卷积神经网络由卷积核为7×7的卷积层、3×3的池化层、4个残差模块、7×7的池化层以及全连接层依次连接构成；所述边缘特征注意力网络对应于传统的卷积神经网络，由卷积核为7×7的卷积层、3×3的池化层、4个分别与传统的卷积神经网络4个残差模块一一对应的模块依次连接构成；其中4个分别与传统的卷积神经网络4个残差模块一一对应的模块所提取的边缘图特征的张量与对应的残差模块提取的原始图片特征的张量相乘得到新的张量，再将新的张量与原始图片特征的张量相加输入至传统的卷积神经网络的下一残差模块中进一步提取特征。
所述方法包括以下步骤：
(1)获取不同鱼肉纤维破损程度的鱼肉样品；
(2)采集不同鱼肉纤维破损程度的鱼肉样品的显微图像，并添加鱼肉纤维程度标签，建立样本数据集；
(3)对采集到的显微图片按照对应的鱼肉纤维程度标签进行清洗以及预处理，将样本数据集按一定比例随机分为训练集和测试集；
(4)将训练集中的显微图片作为训练数据，对所述基于卷积神经网络的鱼肉纤维评价模型进行卷积训练；
(5)用测试集对训练好的模型进行准确性评估，若准确性未满足要求，则返回步骤4调整卷积神经网络结构和训练参数，重新训练所述基于卷积神经网络的鱼肉纤维评价模型，直到达到准确性要求。
可选的，所述方法将整块鱼肉的纤维程度定义为100％，充分斩拌成糜状的浆料为0％；所述获取不同鱼肉纤维破损程度的鱼肉样品包括：通过调节破碎程度得到不同的鱼碎肉样品，模拟不同的纤维保留程度值。
可选的，所述若准确性未满足要求，则返回步骤(4)调整卷积神经网络结构和训练参数，包括：若训练好的基于卷积神经网络的鱼肉纤维评价模型预测得到的测试集中的原始图片中鱼肉样品的纤维程度数值与其鱼肉纤维标签的平均误差超过±5％，则更换其他传统卷积神经网络模型，改善特征注意力网络结构或调整遍历数据集次数、批处理尺寸、学习率的大小。
可选的，对采集到的显微图片按照对应的破损程度标签进行预处理，包括：对采集到的显微图片随机裁剪、大小调整、旋转和镜像处理。
本申请还提供一种基于卷积神经网络的鱼肉纤维评价系统，所述系统包括：图像采集模块、图像预处理模块、图像识别模块和结果输出模块，各模块依次连接；其中，所述图像采集模块用于对鱼肉样品切片、染色后，在显微镜下采集图片，并将采集到的鱼肉样品的显微图片发送至预处理模块；
所述图像预处理模块用于对输入的鱼肉样品的显微图片进行预处理，包括图像随机裁剪、大小调整、旋转和镜像；
所述图像识别模块包括已训练好的基于卷积神经网络的鱼肉纤维评价模型，用于预测鱼肉样品的纤维程度数值；所述结果输出模块用于输出鱼肉样品的纤维程度数值。
可选的，所述基于卷积神经网络的鱼肉纤维评价模型为在传统的卷积神经网络基础上引入边缘特征注意力网络得到的，其中，边缘特征注意力网络对应于传统的卷积神经网络的结构设置对应的模块；
传统的卷积神经网络用于提取原始图片RGB 3个通道中的原始图片特征，边缘特征注意力网络用于提取原始图片经过Canny边缘算子变换得到的边缘特征图的边缘图特征，其中，原始图片为鱼肉样品的显微图片；将边缘特征注意力网络每个模块提取的边缘图特征的张量与传统的卷积神经网络对应的模块提取的原始图片特征的张量相乘得到新的张量，再将新的张量与原始图片特征的张量相加，得到的加和张量输入到传统的卷积神经网络的下一模块中进一步提取特征；同时将边缘图特征输入边缘特征注意力网络的下一模块中进一步提取特征；将边缘特征注意力网络最后一个模块提取的边缘图特征的张量与传统的卷积神经网络对应的模块提取的原始图片特征的张量相乘得到的新的张量，再将新的张量与原始图片特征的张量相加，得到的加和张量进行池化操作后，输入一个全连接层，得到原始图片中鱼肉样品的纤维程度数值。
本申请还提供上述方法和/或上述系统在评价畜禽肉纤维程度中的应用。
本发明有益效果是：
本发明打破了鱼肉纤维口感无系统性评价方法的局面，借助图像识别技术，利用深度卷积神经网络算法，提出了一种基于破损鱼肉肌纤维的形态特征来表征鱼肉纤维的评价方法。与传统感官评定的评价方法相比，通过引入卷积神经网络进行机器学习，模拟人的判别准则去识别图像，从而作出优于人眼的客观评定，具有识别准确率高、速度快和检测结果更精确等特点，能够有效地促进鱼肉纤维制品的发展。
针对传统卷积神经网络在进行鱼肉纤维识别时，受染色操作和拍照环境的影响，鱼肉纤维显微图片颜色存在差异，导致识别结果准确性低等问题，本发明在卷积神经网络的基础上设计了一种基于边缘特征注意力的网络结构，增加了模型对鱼肉肌纤维纹理信息的注意力，实现了对鱼肉肌纤维程度的检测，降低了模型对图片颜色变化的影响，显著提高了检测准确性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明基于卷积神经网络的鱼肉纤维评价方法的流程图；
图2为构建的深度卷积神经网络结构示意图；
图3为本申请提出的模型与传统卷积神经网络模型对调色图片的识别结果对比图；
图4为本申请提出的模型准确性评估结果图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
实施例一：
本实施提供一种基于卷积神经网络的鱼肉纤维评价方法，所述方法针对鱼肉纤维评价，在传统的卷积神经网络基础上引入边缘特征注意力网络得到基于卷积神经网络的鱼肉纤维评价模型，其中，边缘特征注意力网络对应于传统的卷积神经网络的结构设置对应的模块；
传统的卷积神经网络用于提取原始图片RGB 3个通道中的原始图片特征，边缘特征注意力网络用于提取原始图片经过Canny边缘算子变换得到的边缘特征图的边缘图特征，其中，原始图片为鱼肉样品的显微图片；将边缘特征注意力网络每个模块提取的边缘图特征的张量与传统的卷积神经网络对应的模块提取的原始图片特征的张量相乘得到新的张量，再将新的张量与原始图片特征的张量相加，得到的加和张量输入到传统的卷积神经网络的下一模块中进一步提取特征；同时将边缘图特征输入边缘特征注意力网络的下一模块中进一步提取特征；将边缘特征注意力网络最后一个模块提取的边缘图特征的张量与传统的卷积神经网络对应的模块提取的原始图片特征的张量相乘得到的新的张量，再将新的张量与原始图片特征的张量相加，得到的加和张量进行池化操作后，输入一个全连接层，得到原始图片中鱼肉样品的纤维程度数值。
实施例二：
本实施提供一种基于卷积神经网络的鱼肉纤维评价方法，如图1所示，包括以下步骤：
(1)设置不同破坏条件，得到一系列不同鱼肉纤维程度的鱼肉样品；
将整块鱼肉的纤维程度定义为100％，充分斩拌成糜状的浆料为0％，中间通过调节破碎程度得到不同的鱼碎肉样品，模拟各个纤维保留程度值，具体处理条件见表1。为了减少水分含量对识别结果的影响，样品水分含量控制在82％-85％。
表1梯度样品处理条件对应表
Figure BDA0002984345000000061
(2)采集不同鱼肉纤维破损程度的显微图像，并添加鱼肉纤维程度标签，建立样本数据集；
(3)对采集到的显微图片按照对应的鱼肉纤维程度标签进行清洗以及预处理，将数据集按训练集:测试集＝4:1的比例随机分配；
对步骤(2)中采集到的所有照片进行清洗，逐一对每一种鱼肉纤维程度的鱼肉纤维图片进行校验和类别标注，确保每个纤维程度文件夹下的鱼肉纤维图片与鱼肉纤维程度标签对应。然后对清洗完的鱼肉纤维图片进行预处理，预处理方式包括：图像随机裁剪、大小调整、旋转和镜像等。其中，图像裁剪以宽为边界，裁剪出1536×1536大小的图像；图像大小调整为227×227；图像的旋转为180°旋转。
(4)结合待识别的鱼肉纤维显微图像特征，针对性地设计卷积神经网络结构；
设计的卷积神经网络结构由两部分组成，具体网络结构如图2所示：
第一部分为传统的卷积神经网络结构，通过卷积池化等操作提取原始图片RGB 3个通道中的特征，参考Lingling Guo等人(Portable Food-Freshness PredictionPlatform Based on Colorimetric Barcode Combinatorics and Deep ConvolutionalNeural Networks[J].Advanced Materials,2020,32(45):2004805)选用ResNet网络结构，考虑到样本图片内容并不复杂，这里设置了34层卷积层，即使用ResNet-34算法模型，原始图片先用7×7的卷积核进行卷积，接一层3×3的池化层，再经过4个残差模块处理后再接7×7池化层、全连接层，最后输出识别结果。本实施例中，因为采用的是ResNet-34算法模型，故图2中第1模块至第4模块采用的是4个残差模块；若采用其他传统的卷积神经网络结构，图2中第1模块至第4模块可对应采用相应的卷积模块。
第二部分为边缘特征注意力网络结构，该部分输入信息为原始图片经过Canny边缘算子变换得到的边缘图，边缘图先用7×7的卷积核进行卷积，接一层3×3的池化层，再经过4个卷积模块处理，每个模块含有一层卷积层。两部分并行计算，之间通过5次注意力操作连接，这5次分别为第一次经过池化处理后和4个模块分别处理后。
注意力操作为：第一部分提取的是原始图特征，第二部分提取的是边缘图特征，两个特征的尺寸相同，将两个特征的张量相乘得到新的张量，再将新的张量与原始图片特征的张量相加，得到的加和张量输入到传统的卷积神经网络的下一模块中进一步提取特征；同时将边缘图特征输入边缘特征注意力网络的下一模块中进一步提取特征。
(5)训练集照片作为训练数据，对上述卷积神经网络模型进行卷积训练；
利用所述深度卷积神经网络结构，结合训练数据集，设置训练参数，所述训练参数包括：遍历数据集次数、批处理尺寸、学习率的大小等。当训练次数达到最大训练次数后训练完毕，得到训练好的鱼肉纤维程度识别模型。
(6)用测试集对训练好的模型进行准确性评估，若训练好的基于卷积神经网络的鱼肉纤维评价模型预测得到的测试集中的原始图片中鱼肉样品的纤维化程度数值与其破损程度鱼肉纤维标签的平均误差超过±5％，则返回步骤(5)调整卷积神经网络结构和训练参数，重新训练模型，直到达到准确性要求。
为探究颜色波动对模型识别结果的影响，本申请随机从数据集中选出一张图片，并对其进行不同程度调色处理，调色处理使用的RGB值如表2所示。
表2调色处理参数对应表
Figure BDA0002984345000000071
将训练好的本项目模型和只使用ResNet-34的传统卷积神经网络模型分别对调色后的照片进行识别，识别结果见图3。根据图3可知，颜色发生变化，但鱼肉纤维程度理论上相同，传统的卷积神经网络模型识别结果波动很大，有几组图片识别结果为0，表明颜色变化对传统卷积神经网络模型的影响很大，因此传统卷积神经网络不能直接应用于鱼肉纤维的评价方法中。本申请提出的模型通过引入注意力机制，强调机器对鱼肉肌纤维的纹理信息这一特征的学习，大幅度削弱了图片颜色变化对模型识别结果的影响，调色后的图片识别结果基本与原图的识别结果接近，证明了本申请方法准确性较高。最终模型的准确性评估结果如图4所示，模型对测试集图片鱼肉纤维程度识别值基本分布在样本标签附近，平均结果误差在4％左右，达到准确性要求，可以投入使用。
实施例三：
本实施提供一种基于卷积神经网络的猪肉纤维评价方法，如图1所示，包括以下步骤：
(1)设置不同破坏条件，得到一系列不同猪肉纤维程度的猪肉样品；
将整块猪肉的纤维程度定义为100％，充分斩拌成糜状的浆料为0％，中间通过调节破碎程度得到不同的猪碎肉样品，模拟各个纤维保留程度值，具体处理条件见表2。为了减少水分含量对识别结果的影响，样品水分含量控制在77％±2％。
表2梯度样品处理条件对应表
Figure BDA0002984345000000081
(2)采集不同猪肉纤维破损程度的显微图像，并添加猪肉纤维程度标签，建立样本数据集；
(3)对采集到的显微图片按照对应的猪肉纤维程度标签进行清洗以及预处理，将数据集按训练集:测试集＝4:1的比例随机分配；
对步骤(2)中采集到的所有照片进行清洗，逐一对每一种猪肉纤维程度的猪肉纤维图片进行校验和类别标注，确保每个纤维程度文件夹下的猪肉纤维图片与猪肉纤维程度标签对应。然后对清洗完的猪肉纤维图片进行预处理，预处理方式包括：图像随机裁剪、大小调整、旋转和镜像等。其中，图像裁剪以宽为边界，裁剪出1536×1536大小的图像；图像大小调整为227×227；图像的旋转为180°旋转。
(4)结合待识别的猪肉纤维显微图像特征，针对性地设计卷积神经网络结构，此处选用实施例二中的卷积神经网络；
(5)训练集照片作为训练数据，对上述卷积神经网络模型进行卷积训练；
利用所述深度卷积神经网络结构，结合训练数据集，设置训练参数，所述训练参数包括：遍历数据集次数、批处理尺寸、学习率的大小等。当训练次数达到最大训练次数后训练完毕，得到训练好的猪肉纤维程度识别模型。
(6)用测试集对训练好的模型进行准确性评估，若训练好的基于卷积神经网络的猪肉纤维评价模型预测得到的测试集中的原始图片中猪肉样品的纤维化程度数值与其破损程度猪肉纤维标签的平均误差超过±5％，则返回步骤(5)调整卷积神经网络结构和训练参数，重新训练模型，直到达到准确性要求。
实施例四
本实施例提供一种基于卷积神经网络的鱼肉纤维评价的测定系统，包括图像采集模块、图像预处理模块、图像识别模块和结果输出模块。
所述图像采集模块为对鱼肉样品切片、染色后，在显微镜下采集图片，并将采集到的鱼肉纤维图片发送至预处理模块；
所述图像预处理模块对输入的鱼肉纤维图片进行预处理，包括图像随机裁剪、大小调整、旋转和镜像等。其中，图像大小调整为227×227；图像裁剪以宽为边界，裁剪出1536×1536大小的图像；图像的旋转为180°旋转。
所述图像识别模块包括已训练好的卷积神经网络模型。该结构由两部分组成，具体网络结构如图2所示：第一部分为传统的卷积神经网络结构，通过卷积池化等操作提取原始图片RGB 3个通道中的特征，这里采用的是ResNet-34算法模型，原始图片先用7×7的卷积核进行卷积，接一层3×3的池化层，再经过4个残差模块处理后再接7×7的池化层、全连接层，最后输出识别结果，4个残差模块即图2中的第1至第4模块。第二部分为边缘特征注意力网络结构，该部分输入信息为原始图片经过Canny边缘算子变换得到的边缘图，边缘图先用7×7的卷积核进行卷积，接一层3×3的池化层，再经过4个卷积模块处理，每个模块含有一层卷积层。两部分并行计算，之间通过5次注意力操作连接，这5次分别为第一次经过池化处理后和4个模块分别处理后。注意力操作为：第一部分提取的是原始图特征，第二部分提取的是边缘图特征，两个特征的尺寸相同，将两个特征的张量相乘得到新的张量，再将新的张量与原始图片特征的张量相加，得到的加和张量输入到第一部分的下一层卷积层中；第二部分提取到的边缘图特征输入下一模块中进一步提取特征。
所述结果输出模块，接受所述图像识别模块输出的识别结果，进而输出所述鱼肉纤维图片的纤维程度。
本发明实施例中的部分步骤，可以利用软件实现，相应的软件程序可以存储在可读取的存储介质中，如光盘或硬盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于卷积神经网络的鱼肉纤维评价方法，其特征在于，所述方法针对鱼肉纤维评价，在传统的卷积神经网络基础上引入边缘特征注意力网络得到基于卷积神经网络的鱼肉纤维评价模型，其中，边缘特征注意力网络对应于传统的卷积神经网络的结构设置对应的模块；
传统的卷积神经网络用于提取原始图片RGB 3个通道中的原始图片特征，边缘特征注意力网络用于提取原始图片经过Canny边缘算子变换得到的边缘特征图的边缘图特征，其中，原始图片为鱼肉样品的显微图片；将边缘特征注意力网络每个模块提取的边缘图特征的张量与传统的卷积神经网络对应的模块提取的原始图片特征的张量相乘得到新的张量，再将新的张量与原始图片特征的张量相加，得到的加和张量输入到传统的卷积神经网络的下一模块中进一步提取特征；同时将边缘图特征输入边缘特征注意力网络的下一模块中进一步提取特征；将边缘特征注意力网络最后一个模块提取的边缘图特征的张量与传统的卷积神经网络对应的模块提取的原始图片特征的张量相乘得到的新的张量，再将新的张量与原始图片特征的张量相加，得到的加和张量进行池化操作后，输入一个全连接层，得到原始图片中鱼肉样品的纤维程度数值。
2.根据权利要求1所述的方法，其特征在于，所述传统的卷积神经网络为LeNet-5、AlexNet、ZFNet、VGGNet、GoogLeNet、ResNet和UNet的任一网络。
3.根据权利要求2所述的方法，其特征在于，当所述传统的卷积神经网络采用ResNet网络时，所述传统的卷积神经网络由卷积核为7×7的卷积层、3×3的池化层、4个残差模块、7×7的池化层以及全连接层依次连接构成；所述边缘特征注意力网络对应于传统的卷积神经网络，由卷积核为7×7的卷积层、3×3的池化层、4个分别与传统的卷积神经网络4个残差模块一一对应的模块依次连接构成；其中4个分别与传统的卷积神经网络4个残差模块一一对应的模块所提取的边缘图特征的张量与对应的残差模块提取的原始图片特征的张量相乘得到新的张量，再将新的张量与原始图片特征的张量相加输入至传统的卷积神经网络的下一残差模块中进一步提取特征。
4.根据权利要求3所述的方法，其特征在于，所述方法包括：
(1)获取不同鱼肉纤维破损程度的鱼肉样品；
(2)采集不同鱼肉纤维破损程度的鱼肉样品的显微图像，并添加鱼肉纤维程度标签，建立样本数据集；
(3)对采集到的显微图片按照对应的鱼肉纤维程度标签进行清洗以及预处理，将样本数据集按一定比例随机分为训练集和测试集；
(4)将训练集中的显微图片作为训练数据，对所述基于卷积神经网络的鱼肉纤维评价模型进行卷积训练；
(5)用测试集对训练好的模型进行准确性评估，若准确性未满足要求，则返回步骤4调整卷积神经网络结构和训练参数，重新训练所述基于卷积神经网络的鱼肉纤维评价模型，直到达到准确性要求。
5.根据权利要求4所述的方法，其特征在于，所述方法将整块鱼肉的纤维程度定义为100％，充分斩拌成糜状的浆料为0％；所述获取不同鱼肉纤维程度的鱼肉样品包括：通过调节破碎程度得到不同的鱼碎肉样品，模拟不同的纤维保留程度值。
6.根据权利要求5所述的方法，其特征在于，所述若准确性未满足要求，则返回步骤(4)调整卷积神经网络结构和训练参数，包括：若训练好的基于卷积神经网络的鱼肉纤维评价模型预测得到的测试集中的原始图片中鱼肉样品的纤维程度数值与其鱼肉纤维标签的平均误差超过±5％，则更换其他传统卷积神经网络模型，改善特征注意力网络结构或调整遍历数据集次数、批处理尺寸、学习率的大小等。
7.根据权利要求4所述的方法，其特征在于，对采集到的显微图片按照对应的破损程度标签进行预处理，包括：对采集到的显微图片随机裁剪、大小调整、旋转和镜像处理。
8.一种基于卷积神经网络的鱼肉纤维评价系统，其特征在于，所述系统包括：图像采集模块、图像预处理模块、图像识别模块和结果输出模块，各模块依次连接；其中，所述图像采集模块用于对鱼肉样品切片、染色后，在显微镜下采集图片，并将采集到的鱼肉样品的显微图片发送至预处理模块；
所述图像预处理模块用于对输入的鱼肉样品的显微图片进行预处理，包括图像随机裁剪、大小调整、旋转和镜像；
所述图像识别模块包括已训练好的基于卷积神经网络的鱼肉纤维评价模型，用于预测鱼肉样品的纤维程度数值；所述结果输出模块用于输出鱼肉样品的纤维程度数值。
9.根据权利要求8所述的系统，其特征在于，所述基于卷积神经网络的鱼肉纤维评价模型为在传统的卷积神经网络基础上引入边缘特征注意力网络得到的，其中，边缘特征注意力网络对应于传统的卷积神经网络的结构设置对应的模块；
传统的卷积神经网络用于提取原始图片RGB 3个通道中的原始图片特征，边缘特征注意力网络用于提取原始图片经过Canny边缘算子变换得到的边缘特征图的边缘图特征，其中，原始图片为鱼肉样品的显微图片；将边缘特征注意力网络每个模块提取的边缘图特征的张量与传统的卷积神经网络对应的模块提取的原始图片特征的张量相乘得到新的张量，再将新的张量与原始图片特征的张量相加，得到的加和张量输入到传统的卷积神经网络的下一模块中进一步提取特征；同时将边缘图特征输入边缘特征注意力网络的下一模块中进一步提取特征；将边缘特征注意力网络最后一个模块提取的边缘图特征的张量与传统的卷积神经网络对应的模块提取的原始图片特征的张量相乘得到的新的张量，再将新的张量与原始图片特征的张量相加，得到的加和张量进行池化操作后，输入一个全连接层，得到原始图片中鱼肉样品的纤维程度数值。
10.权利要求1-7任一所述的方法和/或权利要求8或9所述的系统在评价畜禽肉纤维程度中的应用。
CN202110295929.1A 2021-03-19 2021-03-19 一种基于卷积神经网络的鱼肉纤维评价方法和系统 Pending CN113077420A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110295929.1A CN113077420A (zh) 2021-03-19 2021-03-19 一种基于卷积神经网络的鱼肉纤维评价方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110295929.1A CN113077420A (zh) 2021-03-19 2021-03-19 一种基于卷积神经网络的鱼肉纤维评价方法和系统

Publications (1)

Publication Number Publication Date
CN113077420A true CN113077420A (zh) 2021-07-06

Family

ID=76613899

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110295929.1A Pending CN113077420A (zh) 2021-03-19 2021-03-19 一种基于卷积神经网络的鱼肉纤维评价方法和系统

Country Status (1)

Country Link
CN (1) CN113077420A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115620283A (zh) * 2022-11-17 2023-01-17 武汉理工大学 基于计算机视觉的猪肉大理石纹表型数据测量方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102564993A (zh) * 2011-12-31 2012-07-11 江南大学 一种利用傅里叶变换红外光谱识别大米品种方法及其应用
CN108090498A (zh) * 2017-12-28 2018-05-29 广东工业大学 一种基于深度学习的纤维识别方法及装置
CN109583564A (zh) * 2018-10-31 2019-04-05 东华大学 基于vgg卷积神经网络的极相似动物纤维自动识别方法
CN110210555A (zh) * 2019-05-29 2019-09-06 西南交通大学 基于深度学习的钢轨鱼鳞伤损检测方法
US20200293781A1 (en) * 2019-07-01 2020-09-17 Zhejiang Normal University Food detection and identification method based on deep learning

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102564993A (zh) * 2011-12-31 2012-07-11 江南大学 一种利用傅里叶变换红外光谱识别大米品种方法及其应用
CN108090498A (zh) * 2017-12-28 2018-05-29 广东工业大学 一种基于深度学习的纤维识别方法及装置
CN109583564A (zh) * 2018-10-31 2019-04-05 东华大学 基于vgg卷积神经网络的极相似动物纤维自动识别方法
CN110210555A (zh) * 2019-05-29 2019-09-06 西南交通大学 基于深度学习的钢轨鱼鳞伤损检测方法
US20200293781A1 (en) * 2019-07-01 2020-09-17 Zhejiang Normal University Food detection and identification method based on deep learning

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
姜晓佳;杨孟京;全永志;何欣龙;何亚;: "基于卷积神经网络的毛发显微图像分类", 激光杂志, no. 05, 25 May 2019 (2019-05-25) *
陈英义;龚川洋;刘烨琦;方晓敏;: "基于FTVGG16卷积神经网络的鱼类识别方法", 农业机械学报, no. 05, 28 February 2019 (2019-02-28) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115620283A (zh) * 2022-11-17 2023-01-17 武汉理工大学 基于计算机视觉的猪肉大理石纹表型数据测量方法及装置
CN115620283B (zh) * 2022-11-17 2023-04-28 武汉理工大学 基于计算机视觉的猪肉大理石纹表型数据测量方法及装置

Similar Documents

Publication Publication Date Title
Shamir et al. Computer analysis of art
CN110490895B (zh) 一种基于高光谱图像处理的提高肉源真伪鉴别正确率方法
CN110889838A (zh) 一种织物疵点检测方法及装置
Hu et al. A rapid, low-cost deep learning system to classify squid species and evaluate freshness based on digital images
Tripathy Detection of cotton leaf disease using image processing techniques
Yang et al. Prediction of quality traits and grades of intact chicken breast fillets by hyperspectral imaging
CN113077420A (zh) 一种基于卷积神经网络的鱼肉纤维评价方法和系统
CN109190571A (zh) 一种放牧绵羊采食典型植物种类的检测识别方法及其装置
Kamrul et al. A deep learning based approach on categorization of tea leaf
CN110378842A (zh) 一种图像纹理滤波方法、终端设备及存储介质
Janjic et al. Measurement-oriented deep-learning workflow for improved segmentation of myelin and axons in high-resolution images of human cerebral white matter
Hortinela et al. Classification of Cacao Beans Based on their External Physical Features Using Convolutional Neural Network
Xia et al. Retinal vessel segmentation via a coarse-to-fine convolutional neural network
CN116958960A (zh) 一种基于机器学习随机森林算法的鸡蛋暗斑检测方法
Wang et al. A new approach for unqualified salted sea cucumber identification: integration of image texture and machine learning under the pressure contact
Mohammad et al. Classification of fresh N36 pineapple crop using image processing technique
Gunawan et al. Wood identification on microscopic image with daubechies wavelet method and local binary pattern
Macías-Macías et al. Mask R-CNN for quality control of table olives
Al Noman et al. HYBRID-CNN: For Identification of Rohu Fish Disease
CN108318433B (zh) 利用高光谱图像技术检测三文鱼中注水量的方法
Yang et al. Research and design of a machine vision-based silk cocoon quality inspection system
Jian et al. Identification and grading of tea using computer vision
Setiaji et al. Deep Learning as a Solution for Egg Quality Assessment
CN117113010B (zh) 基于卷积网络轻量化的输电通道安全监测方法及系统
Doshi et al. Singe Image Dehazing using Deep Neural Networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 214000 1800 Lihu Avenue, Binhu District, Wuxi, Jiangsu

Applicant after: Jiangnan University

Applicant after: Anji Food Group Co., Ltd

Address before: 214000 1800 Lihu Avenue, Binhu District, Wuxi, Jiangsu

Applicant before: Jiangnan University

Applicant before: Fujian Anjing Food Co., Ltd

CB02 Change of applicant information