CN114677671A - 一种基于多光谱图像和深度学习的榨菜老筋自动识别方法 - Google Patents

一种基于多光谱图像和深度学习的榨菜老筋自动识别方法 Download PDF

Info

Publication number
CN114677671A
CN114677671A CN202210150605.3A CN202210150605A CN114677671A CN 114677671 A CN114677671 A CN 114677671A CN 202210150605 A CN202210150605 A CN 202210150605A CN 114677671 A CN114677671 A CN 114677671A
Authority
CN
China
Prior art keywords
old
multispectral
preserved szechuan
szechuan pickle
deep learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210150605.3A
Other languages
English (en)
Inventor
石铁柱
邓东平
刘会增
杨超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN202210150605.3A priority Critical patent/CN114677671A/zh
Publication of CN114677671A publication Critical patent/CN114677671A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于多光谱图像和深度学习的榨菜老筋自动识别方法，所述方法包括：基于多光谱图像数据筛选特征波段，根据特征波段选取马赛克式多光谱高速相机，通过马赛克式多光谱高速相机拍摄榨菜切片，获取榨菜切片的多光谱影像数据；将所述多光谱影像数据进行预处理得到训练数据，所述预处理包括样本标注、主成分分析和数据增广处理；构建语义分割模型，将所述训练数据输入到所述语义分割模型进行训练，并调节所述语义分割模型的分割参数；基于已训练的所述语义分割模型对榨菜切片的榨菜老筋区域进行分割，识别榨菜老筋。本发明通过语义分割模型对榨菜切片的榨菜老筋区域进行分割识别，有效识别榨菜的老筋，提高了榨菜老筋的识别效率和精度。

Description

一种基于多光谱图像和深度学习的榨菜老筋自动识别方法
技术领域
本发明涉及图像识别技术领域，尤其涉及一种基于多光谱图像和深度学习的榨菜老筋自动识别方法、系统、终端及计算机可读存储介质。
背景技术
近年来，工业生产规模不断扩大，对生产制造过程的自动化、智能化需求愈发迫切，智能制造技术也得到迅猛发展。其中产品的识别检测是实现自动化、智能化生产的核心环节之一。目前，复杂产品的生产制造仍存在大量依赖人工的场景，产品质量也受到人工经验、熟练度的影响而存在不稳定，尤其是复杂产品生产过程中的识别、检测、标定等工艺环节影响更加突出，急需快速、准确的智能识别检测技术。
在物体识别的技术领域，图像处理是一种常用的识别检测手段，能够在不破坏目标物表面及化学结构的环境下，实现对目标信息的提取，其检测受外界条件影响小，操作简易、稳定性强，在工业自动化领域已有广泛的应用。当前，传统图像处理技术的应用主要集中在目标物单一、特征显著、背景固定的检测领域，如印刷电路板线路检测、3D视觉码垛系统、饼干缺陷检测、铁路导轨缺陷检测等。复杂物体的形状、颜色、纹理特征的一致性较低，使用OUT图像阈值处理、灰度检测、边缘轮廓检测、图像增强等常规技术均不能将复杂物体的特征显著化；使用机器学习结合人工标注的方法，采用CNN、YOLOv3等框架进行训练，目标物识别准确率也难以达到工业生产的要求。
同时，复杂物体的表面颜色特征不明显，但其生物物理特性的规律显著，光谱图像技术是一种典型的生物物理特性识别方式，在食品加工领域已有广泛的应用，如冷冻牛肉保鲜识别、苹果外部品质检测、咖啡豆中咖啡因含量检测等。
目前，在食品加工业存在大量的复杂物体识别需求，尤其是具有我国传统工艺特色的产品。例如，腌渍榨菜的规模化生产过程中，需要进行将严重影响口感的皮质纤维去除，以提升产品品质，但是，榨菜成熟度、破损度、产地不同，其表面轮廓复杂，颜色，纹理差异小，区分皮纤维与肉质区域常依赖人工，导致去皮纤维工艺环节未能实现自动化，进而导致产品生产全流程的自动化难以实现。
以腌渍榨菜等复杂物体为例，研究榨菜生长条件及深加工工艺发现，榨菜皮纤维是保护个体生长而形成密度大、硬度大的表皮，其吸收水分较少；腌制时，皮纤维与肉质区域对盐的吸收量存在明显差异。以上差异均为物体生物物理特性的差异，是目标物固有的特性，与颜色、纹理、光照等外界环境无关，因此可作为目标物精准识别的一种判断依据。
传统视觉仅利用红、绿、蓝三波段的信息，在工业应用领域已取得很多应用。多光谱图像技术可分析数百个波段的信息，更多的生物物理特性如大小、形状、密度、介电常数、表面粗糙度、光学性质、温度等特性可以被利用。信息量的增多使得多光谱图像数据由传统图像的几百KB倍增到几十MB，对图像数据的获取、传输、存储、处理要求更高。近年来，镀膜技术、光刻技术的进步加快了多光谱相机工业化的步伐，计算机硬件处理能力不断攀升促使多光谱图像传输耗时由秒级降至毫秒级，神经网络、深度学习类算法能充分发掘光谱数据的潜在联系。因此，多光谱识别技术在传统图像尚未突破的领域，尤其是复杂物体的识别领域有广阔的市场前景。
多光谱图像技术作为一种新型的分析检测技术，在生物医学、食品检测等多个研究领域有了一定的应用。目前，光谱图像技术已经突破地质遥感领域，逐步应用于食品质量的评价和检验。发展趋势主要分为：(1)蔬菜类食品，因保质期短不宜存放，且营养物质变化过快，急需对蔬菜的营养品质进行快速无损检测。可溶性固形物含量是指包括可溶性糖、酸、维生素、矿物质和纤维素等成分的综合性指标，是评价蔬菜营养价值的重要参数，现常用折射仪法，耗时长且需破坏样品，因此，利用多光谱图像系统快速无损地检测蔬菜是研究者们关注的重点；(2)粮油作物种植领域，光谱图像技术结合无人机航拍可实现大面积、快速、准确的病虫灾害防治；(3)中药材质量控制领域，近红外漫反射光谱具有分析速度快、成本低、无损、前处理简单等优点，可对易混药材之间进行准确的分类识别。
近几年，随着多光谱成像技术的兴起，学者们通过对食品的多光谱图像的研究，诞生了一系列的食品特征识别方法，然而，这些方法也仅仅利用了影像的光谱特征，并没有充分利用食品本身的纹理，形状等语义信息，因此对于复杂的食品的特征识别例如榨菜的老筋识别效果不佳。
因此，现有技术还有待于改进和发展。
发明内容
本发明的主要目的在于提供一种基于多光谱图像和深度学习的榨菜老筋自动识别方法、系统、终端及计算机可读存储介质，旨在解决现有技术中在生产全流程的自动化过程中对榨菜的老筋识别效果不佳的问题。
为实现上述目的，本发明提供一种基于多光谱图像和深度学习的榨菜老筋自动识别方法，所述基于多光谱图像和深度学习的榨菜老筋自动识别方法包括如下步骤：
基于多光谱图像数据筛选特征波段，根据特征波段选取马赛克式多光谱高速相机，通过马赛克式多光谱高速相机拍摄榨菜切片，获取榨菜切片的多光谱影像数据；
将所述多光谱影像数据进行预处理得到训练数据，所述预处理包括样本标注、主成分分析和数据增广处理；
构建语义分割模型，将所述训练数据输入到所述语义分割模型进行训练，并调节所述语义分割模型的分割参数；
基于已训练的所述语义分割模型对榨菜切片的榨菜老筋区域进行分割，识别榨菜老筋。
可选地，所述的基于多光谱图像和深度学习的榨菜老筋自动识别方法，其中，所述样本标注具体包括：
采用深度学习对榨菜老筋进行语义分割时，将人工目视判读的榨菜老筋原图进行标注，将榨菜背景值设为0，表示负样本，而将目标区域值设为1，表示正样本。
可选地，所述的基于多光谱图像和深度学习的榨菜老筋自动识别方法，其中，所述主成分分析具体包括：
通过主成分分析将多光谱影像数据压缩成多个波段，选取主成分分析后的第一个波段对应的第一个主成分特征进行训练。
可选地，所述的基于多光谱图像和深度学习的榨菜老筋自动识别方法，其中，所述数据增广处理具体包括：
将榨菜老筋原图进行裁剪、旋转和镜像处理，将多光谱影像数据的数量增广为原来的12倍。
可选地，所述的基于多光谱图像和深度学习的榨菜老筋自动识别方法，其中，所述语义分割模型包括编码过程和解码过程。
可选地，所述的基于多光谱图像和深度学习的榨菜老筋自动识别方法，其中，所述语义分割模型的训练为GPU训练。
可选地，所述的基于多光谱图像和深度学习的榨菜老筋自动识别方法，其中，所述语义分割模型为在UNet++和UNet3+基础上改进的UNet5+模型。
此外，为实现上述目的，本发明还提供一种基于多光谱图像和深度学习的榨菜老筋自动识别系统，其中，所述基于多光谱图像和深度学习的榨菜老筋自动识别系统包括：
数据获取模块，用于基于多光谱图像数据筛选特征波段，根据特征波段选取马赛克式多光谱高速相机，通过马赛克式多光谱高速相机拍摄榨菜切片，获取榨菜切片的多光谱影像数据；
数据处理模块，用于将所述多光谱影像数据进行预处理得到训练数据，所述预处理包括样本标注、主成分分析和数据增广处理；
模型训练模块，用于构建语义分割模型，将所述训练数据输入到所述语义分割模型进行训练，并调节所述语义分割模型的分割参数；
图像识别模块，用于基于已训练的所述语义分割模型对榨菜切片的榨菜老筋区域进行分割，识别榨菜老筋。
此外，为实现上述目的，本发明还提供一种终端，其中，所述终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于多光谱图像和深度学习的榨菜老筋自动识别程序，所述基于多光谱图像和深度学习的榨菜老筋自动识别程序被所述处理器执行时实现如上所述的基于多光谱图像和深度学习的榨菜老筋自动识别方法的步骤。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有基于多光谱图像和深度学习的榨菜老筋自动识别程序，所述基于多光谱图像和深度学习的榨菜老筋自动识别程序被处理器执行时实现如上所述的基于多光谱图像和深度学习的榨菜老筋自动识别方法的步骤。
本发明中，基于多光谱图像数据筛选特征波段，根据特征波段选取马赛克式多光谱高速相机，通过马赛克式多光谱高速相机拍摄榨菜切片，获取榨菜切片的多光谱影像数据；将所述多光谱影像数据进行预处理得到训练数据，所述预处理包括样本标注、主成分分析和数据增广处理；构建语义分割模型，将所述训练数据输入到所述语义分割模型进行训练，并调节所述语义分割模型的分割参数；基于已训练的所述语义分割模型对榨菜切片的榨菜老筋区域进行分割，识别榨菜老筋。本发明通过语义分割模型对榨菜切片的榨菜老筋区域进行分割识别，有效识别榨菜的老筋，提高了榨菜老筋的识别效率和精度。
附图说明
图1是本发明基于多光谱图像和深度学习的榨菜老筋自动识别方法的较佳实施例的流程图；
图2是本发明基于多光谱图像和深度学习的榨菜老筋自动识别方法的较佳实施例的整个处理过程示意图；
图3是本发明基于多光谱图像和深度学习的榨菜老筋自动识别方法的较佳实施例中榨菜切片多光谱图像的示意图；
图4是图3的榨菜切片多光谱图像的光谱曲线图；
图5是本发明基于多光谱图像和深度学习的榨菜老筋自动识别方法的较佳实施例中马赛克式多光谱高速相机的示意图；
图6是本发明基于多光谱图像和深度学习的榨菜老筋自动识别方法的较佳实施例中的榨菜原图；
图7是图6的榨菜原图的榨菜老筋标注样本的示意图；
图8是本发明基于多光谱图像和深度学习的榨菜老筋自动识别方法的较佳实施例中UNet5+模型示意图；
图9是本发明基于多光谱图像和深度学习的榨菜老筋自动识别方法的较佳实施例中训练过程损失值的示意图；
图10是本发明基于多光谱图像和深度学习的榨菜老筋自动识别方法的较佳实施例中训练过程准确率的示意图；
图11是本发明基于多光谱图像和深度学习的榨菜老筋自动识别方法的较佳实施例中测试数据真实标签的示意图；
图12是本发明基于多光谱图像和深度学习的榨菜老筋自动识别方法的较佳实施例中测试数据分割结果的示意图；
图13是本发明基于多光谱图像和深度学习的榨菜老筋自动识别方法的较佳实施例中Dice系数折线图；
图14是本发明基于多光谱图像和深度学习的榨菜老筋自动识别系统的较佳实施例的原理示意图；
图15为本发明终端的较佳实施例的运行环境示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明较佳实施例所述的基于多光谱图像和深度学习的榨菜老筋自动识别方法，如图1和图2所示，所述基于多光谱图像和深度学习的榨菜老筋自动识别方法包括以下步骤：
步骤S10、基于多光谱图像数据筛选特征波段，根据特征波段选取马赛克式多光谱高速相机，通过马赛克式多光谱高速相机拍摄榨菜切片，获取榨菜切片的多光谱影像数据。
具体地，将榨菜切成2-3mm厚度的切片，使用多光谱成像仪拍摄静态榨菜切片40余幅，通过比对分析确定640nm、660nm、740nm等波段为老筋识别的特征波段，基于特征波段选取马赛克式多光谱高速相机，如图5所示，所述马赛克式多光谱高速相机的光谱范围为600-800nm，光谱通道为9个，图像分辨率为341×341，基本涵盖多光谱成像仪确定的特征波段。多光谱成像仪虽然波段多，但成像速度慢，无法满足流水线作业需求，而马赛克式多光谱高速相机的成像速度快，成像时间小于500ms，光谱质量好，并解决了传统滤光片式多光谱成像仪不共视场的难题。
如图3所示，表示榨菜切片的多光谱图像，图4表示光谱曲线，图4中的上方曲线表示老筋平均光谱曲线，下方曲线表示非老筋平均光谱曲线，由反射率光谱曲线可以看出，非老筋在660nm处有明显吸收峰，而老筋在670nm处反射率较高，故可以通过640nm、660nm、740nm三个波段反映老筋和非老筋的光谱差异。
步骤S20、将所述多光谱影像数据进行预处理得到训练数据，所述预处理包括样本标注、主成分分析和数据增广处理。
具体地，采用深度学习的方法对榨菜老筋进行语义分割时，在训练之前，需要人工目视判读榨菜老筋原图(如图6)，并将其标注出来做成样本(如图7)，标注完成后，训练之前需要将榨菜背景值设为0，表示负样本，而将目标区域值设为1，表示正样本，这样做的目的是为了在计算中区分背景和老筋，样本标注前后图像如图6和图7所示。
多光谱数据包含丰富的信息，这无疑为研究和应用提供丰富的信息，但是也在一定程度上增加了数据采集的工作量。然而其中许多变量之间可能存在相关性，从而增加了问题分析的复杂性。如果分别对每个指标进行分析，分析往往是孤立的，不能完全利用数据中的信息，因此盲目减少指标会损失很多有用的信息，从而产生错误的结论。因此需要找到一种合理的方法，在减少需要分析的指标同时，尽量减少原指标包含信息的损失，以达到对所收集数据进行全面分析的目的。由于各变量之间存在一定的相关关系，因此可以考虑将关系紧密的变量变成尽可能少的新变量，使这些新变量是两两不相关的，那么就可以用较少的综合指标分别代表存在于各个变量中的各类信息。主成分分析就属于这类降维算法。
具体地，通过主成分分析，将取主成分分析后的前几个波段，对于本次实验的榨菜数据，通过对主成分分析后的各特征值分析，发现第一个波段对应的特征已经足够将原始数据特征表达，故在本次实验中取主成分分析后的第一个主成分特征进行训练(即选取主成分分析后的第一个波段对应的第一个主成分特征进行训练)。
进一步地，在深度学习中，训练一个好的模型往往需要大量的训练样本，以便能够学习到训练数据的各种特征，从而在预测时能够获得更好的结果。但本次实验由于数据量比较小，且原始训练数据尺寸为1020*1020，其中大部分的区域为背景，榨菜占据的区域实际上不大，且榨菜大部分位于图像中心位置，且若直接将原始尺寸数据进行训练的话对计算机硬件要求太高，不利于本次实验的进行。因此，需要对数据进行一定的处理以增大数据量。
首先，针对原始数据尺寸太大，而目标占据的区域较小的问题，将原来的1020*1020尺寸的图片取中心的640*640个像素，然后再裁剪成320*320的图片，这样原始数据尺寸变得适合深度学习训练，且数据量变成了原来的4倍，虽然由于榨菜在图中的位置并不完全一致而导致一些榨菜数据丢失，但总体上每一张裁剪后的图片都包含有榨菜。再将裁剪后的图像进行旋转，镜像操作，由于旋转以及镜像后的图像对于原图来说图像的特征已经发生改变，因此计算机读入图片后，图片矩阵和原图相比也发生了改变，相当于新增了两倍的图片，因此数据相当于变为原来的3倍，因而实际训练的数据是原始数据的12倍。经过数据增广后，样本量大幅度增加，对于后续的训练是极其有利。至此数据预处理便完成了，下一步就是将训练数据用语义分割模型进行训练。
步骤S30、构建语义分割模型，将所述训练数据输入到所述语义分割模型进行训练，并调节所述语义分割模型的分割参数。
具体地，本发明实验选用的模型是在用于医学影像分割的UNet++模型和UNet3+模型之上改进的模型，并将这个改进的模型称之为UNet5+，该模型采用了类似UNet++和UNet3+模型的跳跃连接和深度监督，跳跃连接能将细粒度语义与不同尺度的特征映射中的粗粒度语义相结合，而深度监督则从全尺度聚合特征映射中学习多层次信息。相较于传统的Unet模型，UNet++通过一系列嵌套的，密集的跳跃路径来实现，能够显著提高分割精度。重新设计的跳跃路径使语义相似的特征映射更容易优化。密集的跳跃连接提高了分割精度，改善了梯度流。深度监督允许模型复杂性调优，以平衡速度和性能优化。而UNet3+模型特别有利于出现在不同尺度的器官，相较于其他的语义分割模型，UNet3+模型在提高精度的基础上，还减少了参数计算量，能够有效提高运算速度。相较于医学影像，本实验所用的榨菜数据与其有一定的相似之处，但不同于医学影像的是本实验中榨菜的位置和形状是明了的，因此不必分辨不同尺度的器官信息，本实验所要识别的榨菜影像相比于医学影像，老筋位置比较明朗，大致分布在榨菜边缘，但是老筋数量繁多，且比较细小，因此，本实验模型在UNet++和UNet3+模型的基础上进行了一定的改进，吸取了两种模型各自的特长，使其能够更好的服务于本实验，其结构图如图8所示。
如图8所示，本实验采用的UNet5+模型可分为编码过程和解码过程。首先在编码过程中，编码骨架采用的是传统的VGG16网络，但不同于标准的VGG16，为了更契合于本次实验数据，本次编码的第一层特征层的特征数为16，下一层编码层特征数是上一层的两倍，依次卷积操作后，最后一层编码层特征层为256层，每一层编码层包括卷积操作、批规范化，最大池化操作。解码过程则比较复杂，例如图8中的X23解码层，它会融合编码层X14层反卷积后的结果以及解码层X24层反卷积后的结果，然后进行两次卷积操作后作为这一层的输出结果。而对于最终的输出层例如X31层，它会融合来自上一层X22以及X32反卷积操作后的结果和X33以及X13双线性插值的结果，进行双线性插值是为了实现跳跃连接，以便将粗粒度语义和细粒度语义信息融合，然后再进行卷积操作，最后再进行深度监督作为整个模型的输出结果。
模型训练之前，需要选取各种参数。在本实验中，理论上当所有数据一次性输入到模型训练时损失的精度最小，但考虑到本实验所用到硬件条件，因此输入数据的批大小为20张，即每次输入的张量为20*1*320*320，本实验中所用的激活函数为RELU函数，优化器选用Adam，权值衰减的值设为0.0001，以防止过拟合，损失函数为采用α-balanced的FocalLoss，损失值越低，表明分割结果越接近于样本，其表达式如下：
Figure BDA0003510284770000131
其中，N是所有像素的数量，
Figure BDA0003510284770000132
n为正样本的个数，m为负样本的个数，γ为参数，用来调节正负样本量不均衡，γ∈[0,1]，经过实验，γ优先取0.9，yi表示样本i的label，正类为1，负类为0，pi为样本i的预测为正类的概率。
本次训练中，所采用的方式为GPU训练，相较于CPU，GPU能够拥有更快的计算速度，可以极大缩短训练所用的时间，本次所用的GPU为RTX3090，显存大小为24G，训练迭代一轮数据所用的时间为一分钟左右。训练过程中，利用tensorboard库可实现训练过程可视化，有助于测试时训练模型的选择，每次训练产生的损失值以及准确率如图9和图10所示。
由图9可知，训练过程中损失值随着迭代次数的增加不断下降，并且在迭代了140次左右后，损失值(loss)下降缓慢；由图10可知，准确率(accuracy)在迭代140次以及160次时达到峰值，因此在后续测试时，选用迭代160次的模型进行测试数据的语义分割。
进一步地，Dice是医学图像比赛中使用频率最高的度量指标，它是一种集合相似度度量指标，通常用于计算两个样本的相似度，阈值为[0，1]。在医学图像中经常用于图像分割，Dice通过预测值和真实值之间的交集的两倍与预测值和真实值之间的并集之比来得到，分割的最好结果是1，最差时候结果为0，在本实验中分割的数据与医学影像较为相似，故可以采用Dice系数来衡量语义分割的结果，Dice值越接近1，表明预测结果与真实样本越接近，预测效果越好，反之预测效果越差。Dice系数表达式如下：
Figure BDA0003510284770000141
其中，pred为预测值的集合，true为真实值的集合，分子为pred和true之间的交集，乘以2是因为分母存在重复计算pred和true之间的共同元素的原因，分母为pred和true的并集。
步骤S40、基于已训练的所述语义分割模型对榨菜切片的榨菜老筋区域进行分割，识别榨菜老筋。
具体地，通过训练好的语义分割模型，能够充分的利用数据的语义信息，很好的将不规则的榨菜老筋区域进行分割，解决传统方法不能将食品的复杂物理特征识别出来的难题。
训练完成后，选取准确率最高的模型进行测试数据的测试，测试数据要求不参与训练训练过程和验证过程，这样才能有效识别所用的模型是否过拟合。因此本次测试的数据完全没有参与过训练，可以有效的测试模型的效果，此外测试数据原图尺寸为1020*1020，不适于导入模型，故裁剪成640*640且完全包含榨菜在内的数据。裁剪后的数据真实标签如下图11所示，通过模型分割的结果图如图12所示：
从分类结果可以看出，通过本次实验所用的算法以及模型，对于本次测试数据有不错的效果，参照图11以及图12，可以发现，榨菜老筋大致轮廓基本能够很好的被分割出来。本次共测试了50张图，每张图分割后的结果与样本标签进行比较得到Dice系数如下表1，Dice系数折线图如下图13所示。
图名 Dice系数 图名 Dice系数 图名 Dice系数 图名 Dice系数
Image1 0.74014 Image2 0.57317 Image3 0.46306 Image4 0.76017
Image5 0.64998 Image6 0.62873 Image7 0.65233 Image8 0.59345
Image9 0.74171 Image10 0.74830 Image11 0.54446 Image12 0.69965
Image13 0.59117 Image14 0.57902 Image15 0.58715 Image16 0.53886
Image17 0.40865 Image18 0.58336 Image19 0.61048 Image20 0.57748
Image21 0.66667 Image22 0.51249 Image23 0.71536 Image24 0.31099
Image25 0.55863 Image26 0.54986 Image27 0.65169 Image28 0.58940
Image29 0.52859 Image30 0.46666 Image31 0.64536 Image32 0.63871
Image33 0.75133 Image34 0.59181 Image35 0.47362 Image36 0.66201
Image37 0.59035 Image38 0.51289 Image49 0.61283 Image40 0.47392
Image41 0.52390 Image42 0.62255 Image43 0.5764 Image44 0.76095
Image45 0.54664 Image46 0.51823 Image47 0.49562 Image48 0.60511
Image49 0.68261 Image50 0.68154
表1：各测试数据Dice系数值
结合表1，从图13可知，纵观整幅图，图像分割的Dice精度基本都在0.6左右，对于图像的分割效果还算比较好，其中预测结果最好的图片的Dice值为0.76，将近0.8，说明模型预测的结果基本符合真实样本，而有些图片的Dice值却跌破了0.4，说明这张图在识别上出了一些问题，当然也有可能是在制作样本时出现了一些失误，使得某一些本该标为正样本的区域标为了负样本，这在后续的实验中值得注意。总的来说，本次实验可以良好的将榨菜的老筋区域进行语义分割，说明本实验所用模型对于榨菜老筋的识别具有良好的效果，但是本次实验也还有值得改进的地方，比如模型的参数，样本制作更加精细等。
本方案通过工业流水线实现，切片机将腌渍好的榨菜切成2-3毫米的切片，切片在传送装置上摊平摆放，过相机模块，拍摄多光谱图像，读取数据格式为.raw。通过算法识别图片中的老筋部分，将识别结果以数组的形式传递给下一个工作模块。
与现有技术相比，本发明的方案采用纯视觉方法，不必接触物体本身，其过程包括图像的拍摄，预处理，训练，预测推理。拍摄采用的是多光谱工业相机拍摄多光谱影像。然后对图像进行预处理，在这个过程中，需要对影像进行主成分分析以及样本标签的制作，主成分分析后选取第一主成分作为训练的图像，并且需要对图像进行旋转、镜像、裁剪以便增大数据量和方便训练。在训练过程中，采用的模型为在UNet++和UNet3+基础上改进的UNet5+模型，采用的损失函数为采用α-balanced的Focal Loss，交叉熵函数，Dice Loss，IOULoss，优化器为Adam。在预测阶段，也需要对图像进行主成分分析，并选取第一主成分并且裁剪成640*640尺寸的图像。
在拍摄照片阶段，采用高光谱相机获取高光谱影像。图像预处理时，不进行主成分分析，而是选用其中三个波段进行RGB假彩色合成图像，或者主成分分析后采用多个主成分合成图像；不进行图像的裁剪，或者裁剪成其他尺寸的图像，以及不进行旋转，镜像操作。在训练过程中，采用的模型可能为UNet、UNet++、UNet3+、PSPNet、SegNet等其他类似于U型结构的网络；训练过程采用的损失函数为Tversky Loss、Generalized Dice loss等其他损失函数，优化器为SGD(随机梯度下降)、SGDM(加入了一阶动量)等其他优化器。预测阶段，不进行主成分分析，而是选取三个波段进行RGB假彩色合成影像进行预测，或者主成分分析后选取前多个主成分进行合成影像进行预测；在预测时不进行数据裁剪直接将原图进行预测，或者裁剪成其他尺寸进行预测。
在图像识别过程中，采用机器学习的方法进行模型的训练，例如利用Hog特征、Harr特征结合SVM分类器对影像进行训练，利用训练好的特征模型进行影像的识别。
随着计算机技术以及人工智能特别是深度学习的兴起，为食品特征的识别打开了一条新的大门，因此本发明利用深度学习的方法能够充分利用多光谱影像的信息，从而对复杂的食品特征识别达到较好的效果。
进一步地，如图14所示，基于上述基于多光谱图像和深度学习的榨菜老筋自动识别方法，本发明还相应提供了一种基于多光谱图像和深度学习的榨菜老筋自动识别系统，其中，所述基于多光谱图像和深度学习的榨菜老筋自动识别系统包括：
数据获取模块51，用于基于多光谱图像数据筛选特征波段，根据特征波段选取马赛克式多光谱高速相机，通过马赛克式多光谱高速相机拍摄榨菜切片，获取榨菜切片的多光谱影像数据；
数据处理模块52，用于将所述多光谱影像数据进行预处理得到训练数据，所述预处理包括样本标注、主成分分析和数据增广处理；
模型训练模块53，用于构建语义分割模型，将所述训练数据输入到所述语义分割模型进行训练，并调节所述语义分割模型的分割参数；
图像识别模块54，用于基于已训练的所述语义分割模型对榨菜切片的榨菜老筋区域进行分割，识别榨菜老筋。
进一步地，如图15所示，基于上述基于多光谱图像和深度学习的榨菜老筋自动识别方法和系统，本发明还相应提供了一种终端，所述终端包括处理器10、存储器20及显示器30。图5仅示出了终端的部分组件，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
所述存储器20在一些实施例中可以是所述终端的内部存储单元，例如终端的硬盘或内存。所述存储器20在另一些实施例中也可以是所述终端的外部存储设备，例如所述终端上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器20还可以既包括所述终端的内部存储单元也包括外部存储设备。所述存储器20用于存储安装于所述终端的应用软件及各类数据，例如所述安装终端的程序代码等。所述存储器20还可以用于暂时地存储已经输出或者将要输出的数据。在一实施例中，存储器20上存储有基于多光谱图像和深度学习的榨菜老筋自动识别程序40，该基于多光谱图像和深度学习的榨菜老筋自动识别程序40可被处理器10所执行，从而实现本申请中基于多光谱图像和深度学习的榨菜老筋自动识别方法。
所述处理器10在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)，微处理器或其他数据处理芯片，用于运行所述存储器20中存储的程序代码或处理数据，例如执行所述基于多光谱图像和深度学习的榨菜老筋自动识别方法等。
所述显示器30在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。所述显示器30用于显示在所述终端的信息以及用于显示可视化的用户界面。所述终端的部件10-30通过系统总线相互通信。
在一实施例中，当处理器10执行所述存储器20中基于多光谱图像和深度学习的榨菜老筋自动识别程序40时实现以下步骤：
基于多光谱图像数据筛选特征波段，根据特征波段选取马赛克式多光谱高速相机，通过马赛克式多光谱高速相机拍摄榨菜切片，获取榨菜切片的多光谱影像数据；
将所述多光谱影像数据进行预处理得到训练数据，所述预处理包括样本标注、主成分分析和数据增广处理；
构建语义分割模型，将所述训练数据输入到所述语义分割模型进行训练，并调节所述语义分割模型的分割参数；
基于已训练的所述语义分割模型对榨菜切片的榨菜老筋区域进行分割，识别榨菜老筋。
其中，所述样本标注具体包括：
采用深度学习对榨菜老筋进行语义分割时，将人工目视判读的榨菜老筋原图进行标注，将榨菜背景值设为0，表示负样本，而将目标区域值设为1，表示正样本。
其中，所述主成分分析具体包括：
通过主成分分析将多光谱影像数据压缩成多个波段，选取主成分分析后的第一个波段对应的第一个主成分特征进行训练。
其中，所述数据增广处理具体包括：
将榨菜老筋原图进行裁剪、旋转和镜像处理，将多光谱影像数据的数量增广为原来的12倍。
其中，所述语义分割模型包括编码过程和解码过程。
其中，所述语义分割模型的训练为GPU训练。
其中，所述语义分割模型为在UNet++和UNet3+基础上改进的UNet5+模型。
本发明还提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有基于多光谱图像和深度学习的榨菜老筋自动识别程序，所述基于多光谱图像和深度学习的榨菜老筋自动识别程序被处理器执行时实现如上所述的基于多光谱图像和深度学习的榨菜老筋自动识别方法的步骤。
综上所述，本发明提供一种基于多光谱图像和深度学习的榨菜老筋自动识别方法、系统、终端及计算机可读存储介质，所述方法包括：基于多光谱图像数据筛选特征波段，根据特征波段选取马赛克式多光谱高速相机，通过马赛克式多光谱高速相机拍摄榨菜切片，获取榨菜切片的多光谱影像数据；将所述多光谱影像数据进行预处理得到训练数据，所述预处理包括样本标注、主成分分析和数据增广处理；构建语义分割模型，将所述训练数据输入到所述语义分割模型进行训练，并调节所述语义分割模型的分割参数；基于已训练的所述语义分割模型对榨菜切片的榨菜老筋区域进行分割，识别榨菜老筋。本发明通过语义分割模型对榨菜切片的榨菜老筋区域进行分割识别，有效识别榨菜的老筋，提高了榨菜老筋的识别效率和精度。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者终端中还存在另外的相同要素。
当然，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关硬件(如处理器，控制器等)来完成，所述的程序可存储于一计算机可读取的计算机可读存储介质中，所述程序在执行时可包括如上述各方法实施例的流程。其中所述的计算机可读存储介质可为存储器、磁碟、光盘等。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (10)

1.一种基于多光谱图像和深度学习的榨菜老筋自动识别方法，其特征在于，所述基于多光谱图像和深度学习的榨菜老筋自动识别方法包括：
基于多光谱图像数据筛选特征波段，根据特征波段选取马赛克式多光谱高速相机，通过马赛克式多光谱高速相机拍摄榨菜切片，获取榨菜切片的多光谱影像数据；
将所述多光谱影像数据进行预处理得到训练数据，所述预处理包括样本标注、主成分分析和数据增广处理；
构建语义分割模型，将所述训练数据输入到所述语义分割模型进行训练，并调节所述语义分割模型的分割参数；
基于已训练的所述语义分割模型对榨菜切片的榨菜老筋区域进行分割，识别榨菜老筋。
2.根据权利要求1所述的基于多光谱图像和深度学习的榨菜老筋自动识别方法，其特征在于，所述样本标注具体包括：
采用深度学习对榨菜老筋进行语义分割时，将人工目视判读的榨菜老筋原图进行标注，将榨菜背景值设为0，表示负样本，而将目标区域值设为1，表示正样本。
3.根据权利要求1所述的基于多光谱图像和深度学习的榨菜老筋自动识别方法，其特征在于，所述主成分分析具体包括：
通过主成分分析将多光谱影像数据压缩成多个波段，选取主成分分析后的第一个波段对应的第一个主成分特征进行训练。
4.根据权利要求1所述的基于多光谱图像和深度学习的榨菜老筋自动识别方法，其特征在于，所述数据增广处理具体包括：
将榨菜老筋原图进行裁剪、旋转和镜像处理，将多光谱影像数据的数量增广为原来的12倍。
5.根据权利要求1所述的基于多光谱图像和深度学习的榨菜老筋自动识别方法，其特征在于，所述语义分割模型包括编码过程和解码过程。
6.根据权利要求1所述的基于多光谱图像和深度学习的榨菜老筋自动识别方法，其特征在于，所述语义分割模型的训练为GPU训练。
7.根据权利要求1所述的基于多光谱图像和深度学习的榨菜老筋自动识别方法，其特征在于，所述语义分割模型为在UNet++和UNet3+基础上改进的UNet5+模型。
8.一种基于多光谱图像和深度学习的榨菜老筋自动识别系统，其特征在于，所述基于多光谱图像和深度学习的榨菜老筋自动识别系统包括：
数据获取模块，用于基于多光谱图像数据筛选特征波段，根据特征波段选取马赛克式多光谱高速相机，通过马赛克式多光谱高速相机拍摄榨菜切片，获取榨菜切片的多光谱影像数据；
数据处理模块，用于将所述多光谱影像数据进行预处理得到训练数据，所述预处理包括样本标注、主成分分析和数据增广处理；
模型训练模块，用于构建语义分割模型，将所述训练数据输入到所述语义分割模型进行训练，并调节所述语义分割模型的分割参数；
图像识别模块，用于基于已训练的所述语义分割模型对榨菜切片的榨菜老筋区域进行分割，识别榨菜老筋。
9.一种终端，其特征在于，所述终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于多光谱图像和深度学习的榨菜老筋自动识别程序，所述基于多光谱图像和深度学习的榨菜老筋自动识别程序被所述处理器执行时实现如权利要求1-7任一项所述的基于多光谱图像和深度学习的榨菜老筋自动识别方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有基于多光谱图像和深度学习的榨菜老筋自动识别程序，所述基于多光谱图像和深度学习的榨菜老筋自动识别程序被处理器执行时实现如权利要求1-7任一项所述的基于多光谱图像和深度学习的榨菜老筋自动识别方法的步骤。
CN202210150605.3A 2022-02-18 2022-02-18 一种基于多光谱图像和深度学习的榨菜老筋自动识别方法 Pending CN114677671A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210150605.3A CN114677671A (zh) 2022-02-18 2022-02-18 一种基于多光谱图像和深度学习的榨菜老筋自动识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210150605.3A CN114677671A (zh) 2022-02-18 2022-02-18 一种基于多光谱图像和深度学习的榨菜老筋自动识别方法

Publications (1)

Publication Number Publication Date
CN114677671A true CN114677671A (zh) 2022-06-28

Family

ID=82073118

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210150605.3A Pending CN114677671A (zh) 2022-02-18 2022-02-18 一种基于多光谱图像和深度学习的榨菜老筋自动识别方法

Country Status (1)

Country Link
CN (1) CN114677671A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115508366A (zh) * 2022-10-20 2022-12-23 南京鹤梦信息技术有限公司 基于多光谱成像的产品缺陷智能检测系统及其方法
CN115601542A (zh) * 2022-10-08 2023-01-13 湖北工业大学（Cn） 基于全尺度密集连接的图像语义分割方法、系统及设备
CN116563237A (zh) * 2023-05-06 2023-08-08 大连工业大学 一种基于深度学习的鸡胴体缺陷高光谱图像检测方法
CN116912214A (zh) * 2023-07-19 2023-10-20 首都医科大学宣武医院 用于对动脉瘤检测图像进行分割的方法、设备及存储介质

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115601542A (zh) * 2022-10-08 2023-01-13 湖北工业大学（Cn） 基于全尺度密集连接的图像语义分割方法、系统及设备
CN115508366A (zh) * 2022-10-20 2022-12-23 南京鹤梦信息技术有限公司 基于多光谱成像的产品缺陷智能检测系统及其方法
CN115508366B (zh) * 2022-10-20 2023-09-22 南京鹤梦信息技术有限公司 基于多光谱成像的产品缺陷智能检测系统及其方法
CN116563237A (zh) * 2023-05-06 2023-08-08 大连工业大学 一种基于深度学习的鸡胴体缺陷高光谱图像检测方法
CN116563237B (zh) * 2023-05-06 2023-10-20 大连工业大学 一种基于深度学习的鸡胴体缺陷高光谱图像检测方法
CN116912214A (zh) * 2023-07-19 2023-10-20 首都医科大学宣武医院 用于对动脉瘤检测图像进行分割的方法、设备及存储介质
CN116912214B (zh) * 2023-07-19 2024-03-22 首都医科大学宣武医院 用于对动脉瘤检测图像进行分割的方法、设备及存储介质

Similar Documents

Publication Publication Date Title
Bhargava et al. Fruits and vegetables quality evaluation using computer vision: A review
Mazen et al. Ripeness classification of bananas using an artificial neural network
CN114677671A (zh) 一种基于多光谱图像和深度学习的榨菜老筋自动识别方法
Nasiri et al. An automatic sorting system for unwashed eggs using deep learning
Surya Prabha et al. Assessment of banana fruit maturity by image processing technique
Dai et al. Advances in feature selection methods for hyperspectral image processing in food industry applications: A review
Gururaj et al. Deep grading of mangoes using convolutional neural network and computer vision
Khodabakhshian et al. Application of Vis/SNIR hyperspectral imaging in ripeness classification of pear
Dhiman et al. Fruit quality evaluation using machine learning techniques: review, motivation and future perspectives
Ghasemi-Varnamkhasti et al. Application of image analysis combined with computational expert approaches for shrimp freshness evaluation
CN103528967A (zh) 基于高光谱图像的过熟蓝靛果果实识别方法
Rafiq et al. Application of computer vision system in food processing
Choi et al. Applying convolutional neural networks to assess the external quality of strawberries
CN110929787B (zh) 一种基于图像的苹果客观定级系统
Calvo et al. A practical framework for automatic food products classification using computer vision and inductive characterization
Zuñiga et al. Grape maturity estimation based on seed images and neural networks
Bhole et al. A transfer learning-based approach to predict the shelf life of fruit
Habib et al. External features-based approach to date grading and analysis with image processing
Medeiros et al. Computer vision and machine learning for tuna and salmon meat classification
CN116758074B (zh) 一种多光谱食品图像智能增强方法
CN115516519A (zh) 用于视觉感知的基于层次的对象识别的方法和装置
Verdú et al. Laser scattering imaging combined with CNNs to model the textural variability in a vegetable food tissue
Ji et al. Apple color automatic grading method based on machine vision
Ong et al. A non‐destructive methodology for determination of cantaloupe sugar content using machine vision and deep learning
Behera et al. A novel approach for classification of apple using on-tree images based on image processing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination