CN111768401A - 一种基于深度学习的冰鲜鲳鱼新鲜度快速分级方法 - Google Patents
一种基于深度学习的冰鲜鲳鱼新鲜度快速分级方法 Download PDFInfo
- Publication number
- CN111768401A CN111768401A CN202010650676.0A CN202010650676A CN111768401A CN 111768401 A CN111768401 A CN 111768401A CN 202010650676 A CN202010650676 A CN 202010650676A CN 111768401 A CN111768401 A CN 111768401A
- Authority
- CN
- China
- Prior art keywords
- pomfret
- freshness
- model
- iced
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 241000630524 Taractes rubescens Species 0.000 title claims abstract description 68
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000013135 deep learning Methods 0.000 title claims abstract description 17
- 241000251468 Actinopterygii Species 0.000 claims abstract description 28
- 210000002816 gill Anatomy 0.000 claims abstract description 15
- 210000001508 eye Anatomy 0.000 claims abstract description 12
- 230000006866 deterioration Effects 0.000 claims abstract description 6
- 230000008569 process Effects 0.000 claims abstract description 6
- 238000012549 training Methods 0.000 claims description 34
- 238000013527 convolutional neural network Methods 0.000 claims description 28
- 238000012360 testing method Methods 0.000 claims description 21
- 230000011218 segmentation Effects 0.000 claims description 20
- 238000002372 labelling Methods 0.000 claims description 15
- 238000000605 extraction Methods 0.000 claims description 10
- 238000011156 evaluation Methods 0.000 claims description 9
- 238000004422 calculation algorithm Methods 0.000 claims description 7
- 241001214258 Pampus argenteus Species 0.000 claims description 5
- 238000013526 transfer learning Methods 0.000 claims description 5
- 238000012952 Resampling Methods 0.000 claims description 4
- 210000003128 head Anatomy 0.000 claims description 4
- 238000003062 neural network model Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 239000013535 sea water Substances 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 238000012795 verification Methods 0.000 claims description 4
- 210000005252 bulbus oculi Anatomy 0.000 claims description 3
- 238000013508 migration Methods 0.000 claims description 2
- 230000005012 migration Effects 0.000 claims description 2
- 238000001514 detection method Methods 0.000 abstract description 12
- 238000005516 engineering process Methods 0.000 abstract description 9
- 238000003860 storage Methods 0.000 abstract description 7
- 230000008901 benefit Effects 0.000 abstract description 4
- 235000013305 food Nutrition 0.000 abstract description 4
- 238000013441 quality evaluation Methods 0.000 abstract description 4
- 230000036541 health Effects 0.000 abstract description 3
- 230000009286 beneficial effect Effects 0.000 abstract 1
- 230000002265 prevention Effects 0.000 abstract 1
- 230000005180 public health Effects 0.000 abstract 1
- 235000019688 fish Nutrition 0.000 description 22
- 230000000694 effects Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 241000972773 Aulopiformes Species 0.000 description 3
- 241000252233 Cyprinus carpio Species 0.000 description 3
- 241000277263 Salmo Species 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 235000019515 salmon Nutrition 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000003556 assay Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000005057 refrigeration Methods 0.000 description 2
- 238000004904 shortening Methods 0.000 description 2
- 241000894006 Bacteria Species 0.000 description 1
- 241000252210 Cyprinidae Species 0.000 description 1
- 102000004190 Enzymes Human genes 0.000 description 1
- 108090000790 Enzymes Proteins 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 235000005911 diet Nutrition 0.000 description 1
- 230000000378 dietary effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 229910052500 inorganic mineral Inorganic materials 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 235000004213 low-fat Nutrition 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000011707 mineral Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 210000001087 myotubule Anatomy 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 102000004169 proteins and genes Human genes 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000011782 vitamin Substances 0.000 description 1
- 229940088594 vitamin Drugs 0.000 description 1
- 229930003231 vitamin Natural products 0.000 description 1
- 235000013343 vitamin Nutrition 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30128—Food products
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了属于冷藏食品质量评估技术领域的一种基于深度学习的冰鲜鲳鱼新鲜度快速分级方法，具体是基于Mask R‑CNN技术对鲳鱼图像实现新鲜度分级，获取冰鲜鲳鱼图像，建立数字图像数据集，将特征学习融入到建立模型的过程中，对鱼眼和鱼鳃部位进行准确的检测分割，不仅可以自主进行特征学习，而且能够精确分割和准确分类鲳鱼新鲜度。以此实现对冰鲜鲳鱼品质劣变快速检测与智能预测；增进模型的可扩展性和可迁移性。实现快速，低成本，精确，无损，实时的自动化检测技术，有利于保障消费者健康和利益。本发明对不同品种的冷链储运环境、供应链源头上控制产品质量、为公共卫生防疫事业提供技术支持。
Description
技术领域
本发明属于冷藏食品质量评估技术领域，特别涉及一种基于深度学习的冰鲜鲳鱼新鲜度快速分级方法，具体是一种基于Mask R-CNN的语义分割方法针对鲳鱼图像实现新鲜度分级，该模型实现端到端训练(end-to-end training)，可嵌入移动端，集成面向生产商和消费者的冰鲜鲳鱼新鲜度便携式快速评估系统。
背景技术
鱼类富含丰富的蛋白质、矿物质和维生素，且脂肪含量低，口感好，是人们饮食结构中重要的组成部分。但其水分含量较高，肌纤维较短，肌肉组织脆弱，易于细菌的生长繁殖；而且其内源性酶丰富；赵永强,李娜等发表在“.大连海洋大学学报,2016,31(04):456-462.”上的“鱼类鲜度评价指标及测定方法的研究进展”中指出，如果加上不适当的处理和贮藏，极易发生理化变化和由微生物引起的腐败，腐败变质的鱼肉不仅不能食用，还会对人的生命健康构成威胁。
近年来，人们对水产品的需求也日益趋向鲜活化，使得新鲜度成为了人们在选购水产品时的重要标准。目前，在国内从生产、贮藏、运输，到加工销售各个环节大多采用冷链物流的方式，以降低各类水产品的鲜度损耗。其中贮藏方式大多为冷藏货架或冷藏车。而在冷链储运环节中，新鲜度和颜色是评价水生生物质量的最重要参数，它决定了产品的质量、顾客的可接受度和产品的商业价值；在国内外相关领域展开了广泛研究。
蒋飞燕在“江苏大学,2012.DOI:10.7666/d.y2093104.”上发表的“.鲳鱼储藏期新鲜度变化的嗅觉可视化快速检测技术研究”论文中提出，计算机视觉技术作为一种可以通过色差分析快速检测鱼类新鲜度的方法；Misimi等人在文献“Quality Grading ofAtlantic Salmon(Salmo salar)by Computer Vision[J].Journal of Food Science,2008,73(5)”提出了一种基于计算机视觉技术对大西洋鲑鱼进行质量分级的方法，首先将鲑鱼图像分割成二值图像，在不同等级下对鱼的几何参数进行特征提取，使用基于阈值的分类器进行分类，并使用交叉验证进行性能测试，实现了无损的方式对大西洋鲑鱼质量分级。Quevedo等人在文献“Color of salmon fillets by computer vision and sensorypanel[J].Food and Bioprocess Technology,2010,3(5):637-643.”中对10组独立设置的三文鱼鱼片进行色差分析，其结果也表明与人工检查小组的分类具有良好的一致性。Taheri-Garavand等人在“Real-time nondestructive monitoring of Common Carp Fishfreshness using robust vision-based intelligent modeling approaches[J].Computers and Electronics in Agriculture,2019,159.”中使用人工神经网络来评估鲤鱼在储存过程中的新鲜度。首先，进行预处理并从每个选定通道中提取不同的特征。然后使用ABS-ANN算法选择最佳特征。使用SVM，KNN和ANN算法对图像进行分类。最后获得了具有22-10-4拓扑结构和93.01％高精度的ANN分类算法来评估鲤鱼的新鲜度。进一步的，他们应用了深度学习技术，输入鲤鱼图像到深度卷积神经网络(CNN)，提出了一种新颖且准确的鱼新鲜度检测方法。首先，通过VGG-16网络自动提取鱼图像特征。然后，利用由Dropout层和Dense层组成的分类器块对鱼图像进行分类。所得分类精度为98.21％，证明了深度学习技术在鱼类质量评估应用上的潜力。
Mask R-CNN是何凯明等在文献“.Mask r-cnn.arXiv:1703.06870,2017”中于2017年在Faster R-CNN的基础上，借鉴FCN网络，在其现有边界框识别分支的基础上，扩展了分割掩码分支，实现了目标检测、目标分类及实例分割的功能，完成了端到端的像素级分割，是目前目标物体识别和分割的优秀算法之一。在机器学习的最新发展中，单任务的网络结构已经逐渐不再引人瞩目，取而代之的是集成、复杂、高效的多任务网络模型；Mask R-CNN就是典型的代表，Mask R-CNN网络的结构如图1所示。其主要分为四个部分，分别为特征提取网络、区域建议网络(Region Proposal Network，RPN)、RoIAlign层以及全连接层。该算法首先将待检测图像通过预训练好的卷积神经网络，即特征金字塔网络(Feature PyramidNetwork，FPN)中进行特征提取，获取特征图，同时对每个卷积层进行特征融合。在RPN网络中，会在提取的特征图产生若干候选区域，这些候选区域在RoIAlign层中会被进行下采样处理得到固定维度的特征向量，最后在全连接层实现对目标物体的定位、分类和分割。
Resnet即残差网络，是何凯明团队在文献“Deep residual learning for imagerecognition[C]//Proceedings of the IEEE conference on computer vision andpattern recognition.2016:770-778”中于2016年提出的使用直接映射来连接网络不同层的方法。Resnet由一系列残差块组成的(如图2所示)；一个残差块可以表示为：
yl＝h(xl)+F(xl，Wl)
xl+1＝f(yl)，
残差块分成两部分直接映射部分和残差部分，h(xl)是直接映射，反应在图2中是左边的曲线；F(xl，Wl)是残差部分，一般由两个或者三个卷积操作构成(如图2所示)，其中，addition是指单位加操作，ReLU是激活函数。
图3所示Resnet网络架构中展示了几种常见深度的ResNet，分别是ResNet18，ResNet34，ResNet50，ResNet101，ResNet152。这几种深度的网络都由conv1、conv2_x、conv3_x、conv4_x、conv5_x组成。其中conv2_x、conv3_x、conv4_x、conv5_x又称为结构块(building block),里面包含残差网络，因此可以用res来表示。那么ResNet50可以表示为[res3 res4 res6 res3]，ResNet101则表示为[res3 res4res23 res3]。而每个buildingblock又有相应的层组成(如图4所示)。
发明内容
本发明的目的是提出一种基于深度学习的冰鲜鲳鱼新鲜度快速分级方法，其特征在于，所述冰鲜鲳鱼新鲜度快速分级方法是基于Mask R-CNN的语义分割方法针对鲳鱼图像实现新鲜度分级建模，该模型实现端到端训练，可嵌入移动端，面向生产商和消费者的冰鲜鲳鱼新鲜度提供方便、快速评估方法；具体包括如下步骤：
1)获取冰鲜鲳鱼图像，建立数字图像数据集；
2)根据2019鲜海水鱼通则国家标准划分新鲜度等级为四类：一级新鲜、二级新鲜、变质、腐败；
3)图像预处理，将原有的图像尺寸从5184×3456×3，采用局部像素重采样(INTER_AREA)的方法缩放到1024×640×3；
4)使用labelme软件辅助标注，对标注后生成的Json文件进行处理，生成Mask R-CNN运行所需要的yaml文件、mask层图片、标签txt文件及相应的文件夹结构；
5)数据增强，对原有图像连同生成json文件进行X轴对称、Y轴对称和原点对称变换，扩大数据量的同时不需要重新进行标注；
6)将数据集划分为训练集、验证集和测试集；
7)网络训练，分别使用Resnet50和Resnet101作为基础网络；采用迁移学习的方法使用预训练好的mask_rcnn_coco.h5模型来初始化参数，从而保持模型的特征提取层参数不变的同时缩短了模型训练的时间；
8)由鲳鱼图像训练得到区域生成RPN网络(Region Proposal Network，RPN)、RoIAlign层及全连接层(fully connected layers,FC)参数；
9)优化模型，选择了更小的锚框尺寸(Anchor Size)及减少RPN生成的候选区域个数；
10)保存训练好的模型；
11)模型评价，使用训练好的模型对测试数据集测试输出。
所述步骤1获取冰鲜鲳鱼图像，建立数字图像数据集，基于Mask R-CNN采用深度学习框架Keras搭建的深度神经网络模型；在实验过程中，分别采用ResNet50和ResNet101残差网络对金鲳和银鲳进行训练；每个类别分别训练60个周期epoch，每个ecpoch迭代100次；其中前30个epoch在训练时选择layers为head，降低内存消耗；后30个epoch选择layers为all，提高分割和分类的准确率。
所述步骤4对标注后生成的Json文件进行处理，具体对于鱼眼部位，对应标注标签分别为eye1、eye2、eye3、eye4；对于鱼鳃部位，对应标注标签分别为gill1、gill2、gill3、gill4；标注后生成的每张图片会生成相应的json文件，
所述步骤7采用迁移学习的方法使用预训练好的mask_rcnn_coco.h5模型初始化参数，保持模型的特征提取层参数不变，用来提取鲳鱼的有效特征并缩短模型的训练时间；对于其他层的结构RPN、RoIAlign层及全连接层则利用鲳鱼图像进行再训练；同时分别选用残差网络ResNet50和ResNet101作为特征提取层的基础网络(Backbone)进行对比；其中，模型的超参设定，为了使模型更加适用于鲳鱼的眼球和鳃部的分割和识别任务，相对于原模型选择了更小的锚框尺寸及减少RPN生成的候选区域个数；优化器(Optimizer)选用随机梯度下降算法(Stochastic Gradient Descent,SGD)，用于更新优化模型参数。
所述步骤10，保存训练好的模型，鲳鱼评估的最终结果是判断整条鲳鱼是否新鲜，而预测的结果是对鱼眼和鱼鳃部位分别给出新鲜等级和置信度。对于鱼眼和鱼鳃新鲜度等级不一致的预测，采用比较置信度的方法选取置信度高的结果作为最终的评定等级，使用训练好的模型对测试数据集测试输出，进行模型评价。
本发明的有益效果是与传统分类方法相比，本发明基于Mask R-CNN网络的方法具有较低的复杂度和较高的准确性。以冰鲜鲳鱼图像为研究对象，将特征学习融入到建立模型的过程中，从而减少了人为设计特征造成的不完备性；不仅可以使用其语义分割分支对鱼眼和鱼鳃部位进行准确的检测分割，不仅可以自主进行特征学习，而且能够精确分割和准确分类鲳鱼新鲜度。以此实现对冰鲜鲳鱼品质劣变快速检测与智能预测；增进模型的可扩展性和可迁移性。而且实现快速，低成本，精确，无损，实时的自动化检测技术。
本发明提出的质量评估模型可以嵌入移动端，具有面向冷链储运环境的鱼类质量快速检测的应用前景，不仅可以实现快速检测，而且还可以对于不同品种的水产品，进行方法迁移。从而可以在供应链源头上控制产品质量，为水产品的自动化生产监测提供技术支持，而且有利于保障消费者健康和利益，促进我国食品安全的可持续健康发展。
附图说明
图1 Mask R-CNN网络架构。
图2残差快示意图。
图3 Resnet网络架构。
图4 Resnet101网络结构。
图5不同阈值下的PR曲线，其中a为Precision-Recall curve AP@50＝1000；b为Precision-Recall curve AP@60＝1000；c为Precision-Recall curve AP@80＝1000；d为Precision-Recall curve AP@90＝1000。
图6不同新鲜度等级鲳鱼图像；其中a一级新鲜、b二级新鲜、c变质、d-腐败。
图7标注图片；a标注前图片,b标注后的图片。
图8数据增强对比：其中a未进行数据增强图片，b进行Y轴对称后图像,c进行原点对称后图像；d进行X轴对称后图像。
图9 Mask R-CNN训练所需数据结构图。
图10 Mask R-CNN检测结果。
图11 Mask生成示意图。
图12分类分割结果。
图13 ResNet50和ResNet101结构图。
图14冰鲜鲳鱼新鲜度快速分级流程图。
具体实施方式
本发明提出一种基于深度学习的冰鲜鲳鱼新鲜度快速分级方法，所述冰鲜鲳鱼新鲜度快速分级方法是基于Mask R-CNN的语义分割方法针对鲳鱼图像实现新鲜度分级建模，该模型实现端到端训练，可嵌入移动端，集成面向生产商和消费者的冰鲜鲳鱼新鲜度便携式快速评估系统；具体如图14所示的冰鲜鲳鱼新鲜度快速分级流程图，包括如下步骤：
1)获取冰鲜鲳鱼图像，建立数字图像数据集；获取冰鲜鲳鱼图像，建立数字图像数据集，基于Mask R-CNN采用深度学习框架Keras搭建的深度神经网络模型；在实验过程中，分别采用ResNet50和ResNet101残差网络对金鲳和银鲳进行训练(如图13所示)；每个类别分别训练60个周期epoch，每个ecpoch迭代100次；其中前30个epoch在训练时选择layers为head，降低内存消耗；后30个epoch选择layers为all，提高分割和分类的准确率。
2)根据2019鲜海水鱼通则国家标准划分新鲜度等级为四类：一级新鲜、二级新鲜、变质、腐败；
3)图像预处理，将原有的图像尺寸从5184×3456×3，采用局部像素重采样(INTER_AREA)的方法缩放到1024×640×3；
4)使用labelme软件辅助标注，对标注后生成的Json文件进行处理，生成Mask R-CNN运行所需要的yaml文件、mask层图片、标签txt文件及相应的文件夹结构；
5)数据增强，对原有图像连同生成json文件进行X轴对称、Y轴对称和原点对称变换，扩大数据量的同时不需要重新进行标注；
6)将数据集划分为训练集、验证集和测试集；
7)网络训练，分别使用Resnet50和Resnet101作为基础网络；采用迁移学习的方法使用预训练好的mask_rcnn_coco.h5模型来初始化参数，从而保持模型的特征提取层参数不变的同时缩短了模型训练的时间；
8)由鲳鱼图像训练得到区域生成RPN网络(Region Proposal Network，RPN)、RoIAlign层及全连接层(fully connected layers,FC)参数；
9)优化模型，选择了更小的锚框尺寸(Anchor Size)及减少RPN生成的候选区域个数；
10)保存训练好的模型；
11)模型评价，使用训练好的模型对测试数据集测试输出结果；评价标准参考国家2019鲜海水鱼通则中感官要求标准。
下面结合附图对本发明予以说明。
依据Mask R-CNN深度学习框架Keras(后端为tensorflow)搭建的深度神经网络模型。在实验过程中，分别采用ResNet50和ResNet101残差网络对金鲳和银鲳进行训练；每个类别分别训练60个周期(epoch)，每个ecpoch迭代100次；其中前30个epoch在训练时选择layers为head，降低内存消耗；后30个epoch选择layers为all，提高分割和分类的准确率。
在实例分割网络中，通过IoU(Intersection-over-Union)来描述实例分割质量，即产生的候选框与真实标记的框的重叠程度，计算方式为其交集与并集的比；IoU>0.5就是正确的检测结果；通过设置不同的阈值IoU，得出在某张图片上的PR(Precision-Recall)曲线，PR曲线的面积越接近1，说明效果越好；具体如图5所示在不同阈值下的PR曲线，其中，a为Precision-Recall curve AP@50＝1000；b为Precision-Recall curve AP@60＝1000；c为Precision-Recall curve AP@80＝1000；d为Precision-Recall curve AP@90＝1000；
通过图5可以看出，Mask R-CNN的对于鱼眼和鱼鳃的分割质量较高，可以作为评价鲳鱼新鲜度的有效方法。用测试集进行效果验证，最终金鲳与银鲳在不同网络架构下的表现如下面表1、表2所示：
表1 resnet50下测试集准确率
表2 resnet101下测试集准确率
鲳鱼评估的最终结果是判断整条鲳鱼是否新鲜，而预测的结果是对鱼眼和鱼鳃部位分别给出新鲜等级和置信度。对于鱼眼和鱼鳃新鲜度等级不一致的预测，采用选取置信度高的结果作为最终的评定等级。从测试集的表现效果可以看出，鲳鱼数据集在resnet50残差网络结构上表现优于resnet101。
实施例
(1)为了保证不影响预测性能的情况下，提高系统的运行效率，将原有的图像尺寸从5184像素×3456像素×3像素，采用INTER_AREA(局部像素重采样)的方法缩放到1024像素×640像素×3像素。
(2)使用Labelme软件对所有缩放的图像进行标注，分成四类新鲜度等级：一级新鲜、二级新鲜、变质、腐败。不同新鲜度等级图片效果如图6所示：
(3)对于鲳鱼鱼眼部位，对应标注标签分别为eye1、eye2、eye3、eye4；对于鲳鱼鱼鳃部位，对应标注标签分别为gill1、gill2、gill3、gill4。标注后生成每张图片会生成相应的json文件。标注效果如图7中a标注前图片；b标注后的图片所示。
(4)采用数据增强的方法对原有图像连同生成json文件进行X轴对称、Y轴对称和原点对称变换，扩大数据量的同时不需要重新进行标注。数据增强后的鲳鱼数量如表3所示：
表3数据增强后的鲳鱼数量
数据增强后的效果图如图8所示数据增强对比，其中：a未进行数据增强图片，b进行Y轴对称后图像,c进行原点对称后图像；d进行X轴对称后图像。
(5)对标注后生成的Json文件进行处理，生成Mask R-CNN运行所需要的yaml文件、mask层图片、标签txt文件及相应的文件夹结构；如图9Mask R-CNN训练所需数据结构所示；
(6)采用迁移学习的方法使用预训练好的mask_rcnn_coco.h5模型初始化参数，保持模型的特征提取层参数不变，用来提取鲳鱼的有效特征并缩短模型的训练时间。对于其他层的结构RPN、RoIAlign层及全连接层则利用鲳鱼图像进行再训练。同时，选用残差网络ResNet50和ResNet101作为特征提取层的基础网络(Backbone)进行对比。
(7)模型的超参设定，为了使模型更加适用于鲳鱼的眼球和鳃部的分割和识别任务，相对于原模型选择了更小的锚框尺寸及减少RPN生成的候选区域个数。优化器(Optimizer)选用随机梯度下降算法(Stochastic Gradient Descent,SGD)，用于更新优化模型参数；在训练过程中的超参设置如表4所示。
表4 Mask R-CNN模型超参数设定
(8)使用refinement方法裁掉超出图像边界的anchors。测试RPN的召回率(recall)，即被anchors覆盖的物体比例；这里采用了三种不同的方法测试recall，设置iou_threshold为0.7，得到的结果如表5所示。
表5召回率测试
(9)去掉被分为背景的boxes和低置信度的检测结果，并为每一个类别做NMS，显示最后的检测结果。如图10Mask R-CNN检测结果所示。
(10)生成mask。这一步从上一层获取检测结果，并且运行mask分支来生成每一个实例的分割masks；如图11所示Mask生成。
(11)最终预测和分割结果如图12所示分类分割结果。
Claims (5)
1.一种基于深度学习的冰鲜鲳鱼新鲜度快速分级方法，其特征在于，所述冰鲜鲳鱼新鲜度快速分级方法是基于Mask R-CNN的语义分割方法针对鲳鱼图像实现新鲜度分级建模，该模型实现端到端训练，可嵌入移动端，集成面向生产商和消费者的冰鲜鲳鱼新鲜度方便、快速评估；具体包括如下
步骤：
1)获取冰鲜鲳鱼图像，建立数字图像数据集；
2)根据2019鲜海水鱼通则国家标准划分新鲜度等级为四类：一级新鲜、二级新鲜、变质、腐败；
3)图像预处理，将原有的图像尺寸从5184×3456×3，采用局部像素重采样(INTER_AREA)的方法缩放到1024×640×3；
4)使用labelme软件辅助标注，对标注后生成的Json文件进行处理，生成Mask R-CNN运行所需要的yaml文件、mask层图片、标签txt文件及相应的文件夹结构；
5)数据增强，对原有图像连同生成json文件进行X轴对称、Y轴对称和原点对称变换，扩大数据量的同时不需要重新进行标注；
6)将数据集划分为训练集、验证集和测试集；
7)网络训练，分别使用Resnet50和Resnet101作为基础网络；采用迁移学习的方法使用预训练好的mask_rcnn_coco.h5模型来初始化参数，从而保持模型的特征提取层参数不变的同时缩短了模型训练的时间；
8)由鲳鱼图像训练得到区域生成RPN网络(Region Proposal Network，RPN)、RoIAlign层及全连接层(fully connected layers,FC)参数；
9)优化模型，选择了更小的锚框尺寸(Anchor Size)及减少RPN生成的候选区域个数；
10)保存训练好的模型；
11)模型评价，使用训练好的模型对测试数据集测试输出。
2.根据权利要求1所述基于深度学习的冰鲜鲳鱼新鲜度快速分级方法，其特征在于，所述步骤1获取冰鲜鲳鱼图像，建立数字图像数据集，基于Mask R-CNN采用深度学习框架Keras搭建的深度神经网络模型；在实验过程中，分别采用ResNet50和ResNet101残差网络对金鲳和银鲳进行训练；每个类别分别训练60个周期epoch，每个ecpoch迭代100次；其中前30个epoch在训练时选择layers为head，降低内存消耗；后30个epoch选择layers为all，提高分割和分类的准确率。
3.根据权利要求1所述基于深度学习的冰鲜鲳鱼新鲜度快速分级方法，其特征在于，所述步骤4对标注后生成的Json文件进行处理，具体对于鱼眼部位，对应标注标签分别为eye1、eye2、eye3、eye4；对于鱼鳃部位，对应标注标签分别为gill1、gill2、gill3、gill4；标注后生成的每张图片会生成相应的json文件。
4.根据权利要求1所述基于深度学习的冰鲜鲳鱼新鲜度快速分级方法，其特征在于，所述步骤7采用迁移学习的方法使用预训练好的mask_rcnn_coco.h5模型初始化参数，保持模型的特征提取层参数不变，用来提取鲳鱼的有效特征并缩短模型的训练时间；对于其他层的结构RPN、RoIAlign层及全连接层则利用鲳鱼图像进行再训练；同时分别选用残差网络ResNet50和ResNet101作为特征提取层的基础网络(Backbone)进行对比；其中，模型的超参设定，为了使模型更加适用于鲳鱼的眼球和鳃部的分割和识别任务，相对于原模型选择了更小的锚框尺寸及减少RPN生成的候选区域个数；优化器(Optimizer)选用随机梯度下降算法(Stochastic Gradient Descent,SGD)，用于更新优化模型参数。
5.根据权利要求1所述基于深度学习的冰鲜鲳鱼新鲜度快速分级方法，其特征在于，所述步骤10，保存训练好的模型，鲳鱼评估的最终结果是判断整条鲳鱼是否新鲜，而预测的结果是对鱼眼和鱼鳃部位分别给出新鲜等级和置信度；对于鱼眼和鱼鳃新鲜度等级不一致的预测，采用比较置信度的方法选取置信度高的结果作为最终的评定等级，使用训练好的模型对测试数据集测试输出，进行模型评价。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010650676.0A CN111768401B (zh) | 2020-07-08 | 2020-07-08 | 一种基于深度学习的冰鲜鲳鱼新鲜度快速分级方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010650676.0A CN111768401B (zh) | 2020-07-08 | 2020-07-08 | 一种基于深度学习的冰鲜鲳鱼新鲜度快速分级方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111768401A true CN111768401A (zh) | 2020-10-13 |
| CN111768401B CN111768401B (zh) | 2024-01-26 |
Family
ID=72725093
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010650676.0A Active CN111768401B (zh) | 2020-07-08 | 2020-07-08 | 一种基于深度学习的冰鲜鲳鱼新鲜度快速分级方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111768401B (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113011486A (zh) * | 2021-03-12 | 2021-06-22 | 重庆理工大学 | 鸡爪分类及定位模型的构建方法及系统、鸡爪分拣方法 |
| CN113111925A (zh) * | 2021-03-29 | 2021-07-13 | 宁夏新大众机械有限公司 | 基于深度学习的饲料合格性分类方法 |
| CN113409255A (zh) * | 2021-06-07 | 2021-09-17 | 同济大学 | 一种基于Mask R-CNN的斑马鱼形态学分类方法 |
| CN113537394A (zh) * | 2021-04-08 | 2021-10-22 | 中国农业大学 | 一种改进vgg-19的冰鲜鲳鱼新鲜度评估方法 |
| CN113670920A (zh) * | 2021-07-30 | 2021-11-19 | 华中农业大学 | 一种柑橘新鲜度检测方法及装置 |
| CN114743193A (zh) * | 2022-03-29 | 2022-07-12 | 深圳市海清视讯科技有限公司 | 食物检测方法和相关设备 |
| CN114847217A (zh) * | 2022-06-02 | 2022-08-05 | 中国农业大学 | 一种面向水产品保活储运的方法及装置 |
| CN115512429A (zh) * | 2022-11-21 | 2022-12-23 | 山东理工大学 | 基于眼部图像识别的养殖鱼产品新鲜度判别方法 |
| CN116516029A (zh) * | 2023-06-30 | 2023-08-01 | 中国海洋大学三亚海洋研究院 | 一种金鲳全基因组育种芯片及应用 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104880412A (zh) * | 2014-02-28 | 2015-09-02 | 松下电器产业株式会社 | 新鲜度信息输出方法和新鲜度信息输出装置 |
| KR20190027431A (ko) * | 2017-09-07 | 2019-03-15 | 조선대학교산학협력단 | 생선의 신선도 판별을 수행하기 위한 매체에 저장된 어플리케이션 및 그 어플리케이션이 저장된 스마트 기기 |
| CN110443262A (zh) * | 2019-08-22 | 2019-11-12 | 上海海洋大学 | 基于计算机视觉的鱼体新鲜度快速无损检测方法及其装置 |
| CN110782461A (zh) * | 2019-10-28 | 2020-02-11 | 华北电力大学 | 一种基于Mask-RCNN的电力设备红外图像分割方法 |
| CN111199192A (zh) * | 2019-12-23 | 2020-05-26 | 中国农业大学 | 一种采用平行线取样的田间红提葡萄整体成熟度检测方法 |
-
2020
- 2020-07-08 CN CN202010650676.0A patent/CN111768401B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104880412A (zh) * | 2014-02-28 | 2015-09-02 | 松下电器产业株式会社 | 新鲜度信息输出方法和新鲜度信息输出装置 |
| KR20190027431A (ko) * | 2017-09-07 | 2019-03-15 | 조선대학교산학협력단 | 생선의 신선도 판별을 수행하기 위한 매체에 저장된 어플리케이션 및 그 어플리케이션이 저장된 스마트 기기 |
| CN110443262A (zh) * | 2019-08-22 | 2019-11-12 | 上海海洋大学 | 基于计算机视觉的鱼体新鲜度快速无损检测方法及其装置 |
| CN110782461A (zh) * | 2019-10-28 | 2020-02-11 | 华北电力大学 | 一种基于Mask-RCNN的电力设备红外图像分割方法 |
| CN111199192A (zh) * | 2019-12-23 | 2020-05-26 | 中国农业大学 | 一种采用平行线取样的田间红提葡萄整体成熟度检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 黄星奕;吴磊;徐富斌: "计算机视觉技术在鱼新鲜度检测中的应用研究", 计算机工程与设计, vol. 34, no. 010, pages 3562 - 3567 * |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113011486A (zh) * | 2021-03-12 | 2021-06-22 | 重庆理工大学 | 鸡爪分类及定位模型的构建方法及系统、鸡爪分拣方法 |
| CN113111925A (zh) * | 2021-03-29 | 2021-07-13 | 宁夏新大众机械有限公司 | 基于深度学习的饲料合格性分类方法 |
| CN113537394A (zh) * | 2021-04-08 | 2021-10-22 | 中国农业大学 | 一种改进vgg-19的冰鲜鲳鱼新鲜度评估方法 |
| CN113409255A (zh) * | 2021-06-07 | 2021-09-17 | 同济大学 | 一种基于Mask R-CNN的斑马鱼形态学分类方法 |
| CN113670920A (zh) * | 2021-07-30 | 2021-11-19 | 华中农业大学 | 一种柑橘新鲜度检测方法及装置 |
| CN114743193A (zh) * | 2022-03-29 | 2022-07-12 | 深圳市海清视讯科技有限公司 | 食物检测方法和相关设备 |
| CN114847217A (zh) * | 2022-06-02 | 2022-08-05 | 中国农业大学 | 一种面向水产品保活储运的方法及装置 |
| CN115512429A (zh) * | 2022-11-21 | 2022-12-23 | 山东理工大学 | 基于眼部图像识别的养殖鱼产品新鲜度判别方法 |
| CN115512429B (zh) * | 2022-11-21 | 2023-03-10 | 山东理工大学 | 基于眼部图像识别的养殖鱼产品新鲜度判别方法 |
| US11900584B1 (en) | 2022-11-21 | 2024-02-13 | Shandong University Of Technology | Method for judging freshness of cultured fish product based on eye image recognition |
| CN116516029A (zh) * | 2023-06-30 | 2023-08-01 | 中国海洋大学三亚海洋研究院 | 一种金鲳全基因组育种芯片及应用 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111768401B (zh) | 2024-01-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111768401A (zh) | 一种基于深度学习的冰鲜鲳鱼新鲜度快速分级方法 | |
| CN112395987B (zh) | 基于无监督域适应cnn的sar图像目标检测方法 | |
| CN108921057B (zh) | 基于卷积神经网络的对虾形态测量方法、介质、终端设备及装置 | |
| CN106845408A (zh) | 一种复杂环境下的街道垃圾识别方法 | |
| KR102151688B1 (ko) | 작물의 숙도 판별 장치, 방법 및 그 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체 | |
| CN105389581B (zh) | 一种胚芽米胚芽完整度智能识别系统及其识别方法 | |
| CN109766823A (zh) | 一种基于深层卷积神经网络的高分辨率遥感船舶检测方法 | |
| CN114399480A (zh) | 蔬菜叶片病害严重程度检测方法及装置 | |
| Liu et al. | Deep learning based research on quality classification of shiitake mushrooms | |
| CN115861409B (zh) | 大豆叶面积测算方法、系统、计算机设备及存储介质 | |
| CN111199195A (zh) | 一种基于遥感图像的池塘状态全自动监测方法和装置 | |
| CN114155213A (zh) | 基于主动学习的芯片缺陷检测方法和装置 | |
| CN114005081A (zh) | 一种烟丝异物智能检测装置及方法 | |
| CN110363218A (zh) | 一种胚胎无创评估方法及装置 | |
| CN113177929A (zh) | 一种基于全卷积网络的海面溢油检测方法及其系统和应用 | |
| CN112529886A (zh) | 一种基于Attention DenseUNet的MRI神经胶质瘤分割方法 | |
| CN105354547A (zh) | 一种结合纹理和彩色特征的行人检测方法 | |
| CN114120359A (zh) | 一种基于堆叠沙漏网络的群养猪体尺测量方法 | |
| Xu et al. | Detection of bluefin tuna by cascade classifier and deep learning for monitoring fish resources | |
| CN110309786B (zh) | 一种基于深度视频的哺乳母猪姿态转换识别方法 | |
| CN110136098B (zh) | 一种基于深度学习的线缆顺序检测方法 | |
| CN110991300A (zh) | 一种肉鸡腹部异常肿胀状态的自动识别方法 | |
| Huang et al. | Mango surface defect detection based on HALCON | |
| CN113642847B (zh) | 对虾质量的估算方法和装置 | |
| CN112115824B (zh) | 果蔬检测方法、装置、电子设备以及计算机可读介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |