CN117036952A - 基于rgb图像重建高光谱图像的红枣水分含量等级检测方法 - Google Patents

基于rgb图像重建高光谱图像的红枣水分含量等级检测方法 Download PDF

Info

Publication number
CN117036952A
CN117036952A CN202311032473.5A CN202311032473A CN117036952A CN 117036952 A CN117036952 A CN 117036952A CN 202311032473 A CN202311032473 A CN 202311032473A CN 117036952 A CN117036952 A CN 117036952A
Authority
CN
China
Prior art keywords
layer
red date
convolution
hyperspectral
reconstructed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311032473.5A
Other languages
English (en)
Other versions
CN117036952B (zh
Inventor
聂晶
陈继国
李景彬
丁龙鹏
李阳
晁雪薇
刘长国
李宏伟
江嘉晨
刘亚婕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shihezi University
Original Assignee
Shihezi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shihezi University filed Critical Shihezi University
Priority to CN202311032473.5A priority Critical patent/CN117036952B/zh
Publication of CN117036952A publication Critical patent/CN117036952A/zh
Application granted granted Critical
Publication of CN117036952B publication Critical patent/CN117036952B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/194—Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开基于RGB图像重建高光谱图像的红枣水分含量等级检测方法，涉及农业智能技术领域，以解决现有通常使用干燥法或者蒸馏法来检测红枣水分含量具有高时间成本和能源成本，不利于红枣批量检测的问题。包括：采集第一红枣RGB图像，其中，所述第一红枣RGB图像是通过工业相机采集的；将第一红枣RGB图像输入到预先训练好的高光谱图像重建模型中重建，以得到第一重建红枣高光谱图像；将第一重建红枣高光谱图像输入到预先训练好的红枣水分含量等级分类模型中分类，以得到第一红枣水分含量等级标签。

Description

基于RGB图像重建高光谱图像的红枣水分含量等级检测方法
技术领域
本申请涉及农业智能技术领域，特别涉及基于RGB图像重建高光谱图像的红枣水分含量等级检测方法。
背景技术
现有的红枣业在各地实现了规模化批量生产，随着红枣产量和质量的提高，对红枣的运输和贮藏提出了新的要求，对于收获的红枣而言，水分是衡量其品质的重要因素，也是生产加工和贮藏过程中的重要标准。然而，收获红枣贮藏性差，室温下一般存放5天左右就会失去鲜脆状态；
为了延长红枣鲜脆状态的保存时间，一般采取机械制冷贮藏的方式对收获的红枣进行保鲜，保鲜是水分处理过程中的重要指标，一般要保证收获的红枣水分在35～45％，即使对红枣进行保鲜处理，收获的红枣也会容易因运输和保鲜贮藏不佳等情况导致水分含量流失并低于正常标准，从而导致红枣的口感欠佳、腐烂生虫等难题，因此，实现对红枣的水分含量检测，从而根据其所检测的水分含量进行相应的处理是非常迫切的需求。
目前，对于红枣水分含量的检测通常是使用干燥法或者蒸馏法。其中，蒸馏法是通过适宜有机溶剂作为蒸馏剂来分离红枣水分的方法，只适用于实验室水分含量测定；干燥法主要是通过烘箱干燥的方式来进行水分含量测定的，有学者基于烘箱干燥失重法原理设计出了冠亚红枣水分检测仪，该检测仪不仅操作简单，而且只需要几分钟就能快速准确地检测出红枣的水分含量，远优于传统的实验室检测法，适合于工厂生产线上的红枣水分含量检测，但是这种红枣水分检测仪仍然具有高时间成本和能源成本，不利于红枣批量进行水分含量的检测。
发明内容
针对现有技术的不足，本申请提供基于RGB图像重建高光谱图像的红枣水分含量等级检测方法，以解决现有通常使用干燥法或者蒸馏法来检测红枣水分含量具有高时间成本和能源成本，不利于红枣批量检测的问题。
为了解决上述技术问题，本申请实施例第一方面提供了基于RGB图像重建高光谱图像的红枣水分含量等级检测方法，包括：
采集第一红枣RGB图像，其中，所述第一红枣RGB图像是通过工业相机采集的；
将第一红枣RGB图像输入到预先训练好的高光谱图像重建模型中重建，以得到第一重建红枣高光谱图像；
将第一重建红枣高光谱图像输入到预先训练好的红枣水分含量等级分类模型中分类，以得到第一红枣水分含量等级标签。
根据以上所述的基于RGB图像重建高光谱图像的红枣水分含量等级检测方法，所述将第一红枣RGB图像输入到预先训练好的高光谱图像重建模型中重建，以得到第一重建红枣高光谱图像的步骤中，所述预先训练好的高光谱图像重建模型是通过第一训练数据集和多尺度空洞卷积U型编码-解码器残差连接网络共同确定的；
其中，所述第一训练数据集包括多个第二红枣RGB图像和目标高光谱图像，所述第二红枣RGB图像是基于原始高光谱图像的三个波段送入ENVI软件中的RGB通道生成的，所述目标高光谱图像是基于原始高光谱图像中与红枣水分含量相关的三十一个特征波段组成的，所述原始高光谱图像是通过高光谱相机采集的。
根据以上所述的基于RGB图像重建高光谱图像的红枣水分含量等级检测方法，所述预先训练好的高光谱图像重建模型是通过第一训练数据集和多尺度空洞卷积U型编码-解码器残差连接网络共同确定的步骤具体为：
获取多个目标高光谱图像和多个第二红枣RGB图像；
将多个第二红枣RGB图像输入到预先搭建的多尺度空洞卷积U型编码-解码器残差连接网络中重建，以得到多个第二重建红枣高光谱图像；
将多个第二重建红枣高光谱图像与其对应的目标高光谱图像进行对照，直至第二重建红枣高光谱图像满足第一预设条件时，将多尺度空洞卷积U型编码-解码器残差连接网络确定为训练好的高光谱图像重建模型。
根据以上所述的基于RGB图像重建高光谱图像的红枣水分含量等级检测方法，所述将多个第二红枣RGB图像输入到预先搭建的多尺度空洞卷积U型编码-解码器残差连接网络中重建，以得到多个第二重建红枣高光谱图像的步骤中，所述预先搭建的多尺度空洞卷积U型编码-解码器残差连接网络具体包括：
第一特征提取模块，其用于对第二红枣RGB图像进行第一初始特征提取，并将3通道的第二红枣RGB图像变换成31通道的第一初始特征图，
特征映射模块，其输入端与所述第一特征提取模块的输出端连接，并用于对第二红枣RGB图像进行第二深层特征提取，以得到第二红枣RGB图像对应目标高光谱图像的深层映射关系的第二深层特征图；
特征转换模块，其输入端与所述特征映射模块的输出端连接，并用于将深层特征图与第一初始特征图相叠加后，再进行卷积处理，以得到第二重建红枣高光谱图像。
根据以上所述的基于RGB图像重建高光谱图像的红枣水分含量等级检测方法，所述将多个第二红枣RGB图像输入到预先搭建的多尺度空洞卷积U型编码-解码器残差连接网络中重建，以得到多个第二重建红枣高光谱图像的步骤中，所述第一特征提取模块具体包括：依次连接第一卷积层、第一Batch Normalization正则化层和第一Swish激活层，所述特征映射模块具体包括：顺序连接而成的三个多尺度空洞卷积U型编码-解码器，所述第一Swish激活层与三个多尺度空洞卷积U型编码-解码器中的其中一个多尺度空洞卷积U型编码-解码器连接，所述特征转换模块包括第二卷积层，所述第二卷积层与三个多尺度空洞卷积U型编码-解码器中的另一个多尺度空洞卷积U型编码-解码器连接；
其中，所述第一卷积层为一层卷积核大小为3×3，stride＝1，padding＝1，输入通道数为3，输出通道数为31的卷积层，所述第二卷积层为一层卷积核大小为3×3，stride＝1，padding＝1，输出通道数等于输入通道数的卷积层，所述多尺度空洞卷积U型编码-解码器具体包括：两层3×3的第三卷积层、三个依次连接的组合结构和第一多尺度空洞卷积层，两层3×3的第二卷积层分别位于所述多尺度空洞卷积U型编码-解码器的初始端和结束端，并与三个组合结构中的其中一个组合结构连接，所述第一多尺度空洞卷积层与三个组合结构中的另一个组合结构连接。
根据以上所述的基于RGB图像重建高光谱图像的红枣水分含量等级检测方法，所述将多个第二红枣RGB图像输入到预先搭建的多尺度空洞卷积U型编码-解码器残差连接网络中重建，以得到多个第二重建红枣高光谱图像的步骤中，所述组合结构具体包括第二多尺度空洞卷积层、下采样层、特征拼接环节、三层1×1的第四卷积层、上采样层和第三多尺度空洞卷积层，所述第二多尺度空洞卷积层的输出端分别与下采样层和特征拼接环节连接，所述特征拼接环节的输出端与第四卷积层连接，所述上采样层的输出端与特征拼接环节连接，所述第四卷积层的输出端与第三多尺度空洞卷积层连接，每个组合结构的下采样层的输出端与其相邻的组合结构中的第二多尺度空洞卷积层连接，每个组合结构的上采样层的输入端与其相邻的组合结构中的第三多尺度空洞卷积层连接，所述第一多尺度空洞卷积层分别连接末端的组合结构中的下采样层和上采样层，两层3×3的第三卷积层分别与首端的组合结构中的第二多尺度空洞卷积层和第三多尺度空洞卷积层连接，其中，每个多尺度空洞卷积层均包括三层并联的空洞卷积层和一层1×1的第四卷积层组成，每层空洞卷积层之后都串接一层第二Batch Normalization正则化层和第二Swish激活层，所述三层并联的空洞卷积层的输入特征图与第四卷积层的输出特征图进行残差连接，并将所述残差连接后的结果通过第三Swish激活层进行一次Swish激活，所述下采样层为一层卷积核大小为3×3，stride＝2，padding＝1，输出通道数为输入通道数的两倍的卷积层，所述上采样层为一层卷积核大小为3×3，stride＝2，padding＝1，输出通道数为输入通道数的二分之一的反卷积层。
根据以上所述的基于RGB图像重建高光谱图像的红枣水分含量等级检测方法，所述将第一重建红枣高光谱图像输入到预先训练好的红枣水分含量等级分类模型中分类，以得到第一红枣水分含量等级标签的步骤中，所述预先训练好的红枣水分含量等级分类模型是通过第二训练数据集和卷积神经网络共同确定的；
其中，所述第二训练数据集为多个第二重建红枣高光谱图像、多个目标高光谱图像及其对应的目标红枣水分含量等级标签，所述第二重建红枣高光谱图像是通过将第一红枣RGB图像输入到预先训练好的高光谱图像重建模型中重建得到的，所述目标红枣水分含量等级标签是根据实验方法测量目标高光谱图像的水分含量结果标定的。
根据以上所述的基于RGB图像重建高光谱图像的红枣水分含量等级检测方法，所述预先训练好的红枣水分含量等级分类模型是通过第二训练数据集和卷积神经网络共同确定的步骤具体为：
获取多个第二重建红枣高光谱图像、多个目标高光谱图像及其对应的目标红枣水分含量等级标签；
将多个第二重建红枣高光谱图像和目标高光谱图像输入到预先搭建的卷积神经网络中分类，以得到多个第二红枣水分含量等级标签；
将多个第二红枣水分含量等级标签与其对应的目标红枣水分含量等级标签进行对照，直至第二红枣水分含量等级标签满足第二预设条件，将卷积神经网络确定为训练好的红枣水分含量等级分类模型。
根据以上所述的基于RGB图像重建高光谱图像的红枣水分含量等级检测方法，所述将第一重建红枣高光谱图像输入到预先训练好的红枣水分含量等级分类模型中分类，以得到第一红枣水分含量等级标签的步骤中，所述预先搭建的卷积神经网络具体包括：
第二特征提取模块，其用于对第二重建高光谱图像或目标高光谱图像进行第二初始特征提取，并将三十一通道的第二重建高光谱图像或目标高光谱图像变换成六十四通道的第二初始特征图；
倒残差结构模块，其输入端与所述第二特征提取模块的输出端连接，并用于对第二重建高光谱图像或目标高光谱图像进行第二深层特征提取，以得到第二重建高光谱图像或高光谱图像对应目标红枣水分含量等级标签的深层映射关系的第二深层特征图；
分类模块，其输入端与所述倒残差结构模块的输出端连接。
根据以上所述的，所述将第一重建红枣高光谱图像输入到预先训练好的红枣水分含量等级分类模型中分类，以得到第一红枣水分含量等级标签的步骤中，所述第二特征提取模块具体包括一层卷积核大小为3×3，stride＝2，padding＝1，输入通道数为31，输出通道数为64的第六卷积层，所述倒残差结构模块具体包括：依次连接的三组Fused-MBConv块、三组MBConv块和一层1×1的第七卷积层，所述第六卷积层的输出端连接三组Fused-MBConv块的首端的Fused-MBConv块，所述分类模块具体包括依次连接的第一自适应平均池化层、第一线性层、HardSwish激活层、Dropout层和第二线性层，所述第七卷积层的输出端连接自适应平均池化层；
其中，所述Fused-MBConv块具体包括：依次连接的一层3×3的第八卷积层、第一注意力机制块和一层1×1的第九卷积层；
所述MBConv块具体包括：一层1×1的第十卷积层、一层3×3的第一DW卷积层、第二注意力机制块和一层1×1的第十一卷积层；
所述第一注意力机制块和第二注意力机制块均具体包括一层3×3的第二DW卷积层、第二自适应平均池化层、一层1×1的第十二卷积层、一层1×1的第十三卷积层、ReLU激活层、一层1×1的第十四卷积层、HardSigmoid激活层，所述第二DW卷积层的输出端分别与第二自适应平均池化层和第十二卷积层连接，所述第二自适应平均池化层的输出端与第十三卷积层连接，所述第十三卷积层的输出端与ReLU激活层连接，所述ReLU激活层的输出端与第十四卷积层连接，所述第十四卷积层的输出端与HardSigmoid激活层连接，所述HardSigmoid激活层的输出端与所述第十二卷积层连接。
本申请提供的基于RGB图像重建高光谱图像的红枣水分含量等级检测方法的有益效果至少在于：
本申请只需要通过工业相机采集红枣的第一红枣RGB图像，分别输入到预先训练好的高光谱图像重建模型和红枣水分含量等级分类模型就可以快速得到红枣水分含量等级，检测效率高，并且，相比于高光谱相机，本申请在预先训练好的高光谱图像重建模型和红枣水分含量等级分类模型的基础上，只要使用工业相机采集红枣的第一红枣RGB图像输入到上述模型中即可，检测成本低。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的基于RGB图像重建高光谱图像的红枣水分含量等级检测方法的流程图。
图2为本申请实施例提供的基于RGB图像重建高光谱图像的红枣水分含量等级检测方法中多尺度空洞卷积U型编码-解码器残差连接网络的构成示意图。
图3为本申请实施例提供的基于RGB图像重建高光谱图像的红枣水分含量等级检测方法中多尺度空洞卷积U型编码-解码器的构成示意图。
图4为本申请实施例提供的基于RGB图像重建高光谱图像的红枣水分含量等级检测方法中多第一尺度空洞卷积层或第二多尺度空洞卷积层或第三多尺度空洞卷积层的构成示意图。
图5为本申请实施例提供的基于RGB图像重建高光谱图像的红枣水分含量等级检测方法中卷积神经网络的构成示意图。
图6为本申请实施例提供的基于RGB图像重建高光谱图像的红枣水分含量等级检测方法中的Fused-MBConv块的构成示意图。
图7为本申请实施例提供的基于RGB图像重建高光谱图像的红枣水分含量等级检测方法中MBConv块的构成示意图。
图8为本申请实施例提供的基于RGB图像重建高光谱图像的红枣水分含量等级检测方法中第一注意力机制块或第二注意力机制块的构成示意图。
具体实施方式
为了使本申请所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
现有的红枣业在各地实现了规模化批量生产，随着红枣产量和质量的提高，对红枣的运输和贮藏提出了新的要求，对于收获的红枣而言，水分是衡量其品质的重要因素，也是生产加工和贮藏过程中的重要标准。然而，收获红枣贮藏性差，室温下一般存放5天左右就会失去鲜脆状态；
为了延长红枣鲜脆状态的保存时间，一般采取机械制冷贮藏的方式对收获的红枣进行保鲜，保鲜是水分处理过程中的重要指标，一般要保证收获的红枣水分在35～45％，即使对红枣进行保鲜处理，收获的红枣也会容易因运输和保鲜贮藏不佳等情况导致水分含量流失并低于正常标准，从而导致红枣的口感欠佳、腐烂生虫等难题，因此，实现对红枣的水分含量检测，从而根据其所检测的水分含量进行相应的处理是非常迫切的需求。
目前，对于红枣水分含量的检测通常是使用干燥法或者蒸馏法。其中，蒸馏法是通过适宜有机溶剂作为蒸馏剂来分离红枣水分的方法，只适用于实验室水分含量测定；干燥法主要是通过烘箱干燥的方式来进行水分含量测定的，有学者基于烘箱干燥失重法原理设计出了冠亚红枣水分检测仪，该检测仪不仅操作简单，而且只需要几分钟就能快速准确地检测出红枣的水分含量，远优于传统的实验室检测法，适合于工厂生产线上的红枣水分含量检测，但是这种红枣水分检测仪仍然具有高时间成本和能源成本，不利于红枣批量进行水分含量的检测。
近年来，随着卷积神经网络的快速发展，机器学习在各行各业都掀起了蓬勃发展的浪潮，高光谱图像因其具有丰富光谱信息的特性而被广泛应用于目标检测、图像处理等计算机视觉任务中，但也伴随着采集成本过高、受环境限制大的缺陷，相比于价格高昂的高光谱相机，通过普通相机拍摄所得的RGB图像成本更低、且受环境因素的限制更小，且三通道的RGB图像的像素值与高光谱图像的像素辐射值有高度相关性，因此可以从RGB图像中重建出高质量的高光谱图像，重建出的低成本的高光谱图像虽然会损失一些数据，但相比于RGB图像仍然可以展示出更多的光谱信息；
本申请通过将第一红枣RGB图像输入到预先训练好的高光谱图像重建模型中重建，以得到第一重建红枣高光谱图像，将第一重建红枣高光谱图像输入到预先训练好的红枣水分含量等级分类模型中分类，以得到红枣水分含量等级，相比于现有用干燥法或蒸馏法来检测红枣的水分含量，本申请只要通过工业相机采集红枣的第一红枣RGB图像，分别输入到预先训练好的高光谱图像重建模型和红枣水分含量等级分类模型就可以快速得到红枣水分含量等级，检测效率高，并且，相比于高光谱相机，本申请在预先训练好的高光谱图像重建模型和红枣水分含量等级分类模型的基础上，只要使用工业相机采集红枣的第一红枣RGB图像输入到上述模型中即可，检测成本低。
下面结合附图，通过对实施例的描述，对发明内容作进一步说明。
参阅图1，本实施例第一方面提供了基于RGB图像重建高光谱图像的红枣水分含量等级检测方法，所述红枣水分含量等级检测方法包括：
S10、采集第一红枣RGB图像；
S20、将第一红枣RGB图像输入到预先训练好的高光谱图像重建模型中重建，以得到第一重建红枣高光谱图像；
S30、将第一重建红枣高光谱图像输入到预先训练好的红枣水分含量等级分类模型分类，以得到第一红枣水分含量等级标签。
具体的，所述预先训练好的高光谱图像重建模型和所述红枣水分含量等级分类模型均是在Pytorch(其是一个开源的Python机器学习库，基于Torch，用于自然语言处理等应用程序)框架上实现的，并且在单个RTX 3060Ti GPU上训练58个小时完成，所述第一红枣RGB图像是通过工业相机采集的，所述第一重建红枣高光谱图像是通过将第一红枣RGB图像输入至预先训练好的高光谱图像重建模型中得到的，所述第一红枣水分含量等级标签是通过将一重建红枣高光谱图像输入至预先训练好的红枣水分含量等级分类模型得到的，其中，所述第一红枣水分含量等级标签可以理解成一种信息，在本实施例中该标签为等级信息，例如：可以将红枣水分含量低于35％属于低含水量红枣、红枣水分含量在35％-45％属于含水量较优红枣、红枣水分含量高于45％属于高含水量红枣，这样，当将第一重建红枣高光谱图像输入至预先训练好的红枣水分含量等级分类模型中，就会根据检测到的红枣水分含量输出：低含水量红枣、含水量较优红枣和高含水量红枣中的其中一种标签。
本实施例只需要通过工业相机采集红枣的第一红枣RGB图像，分别输入到预先训练好的高光谱图像重建模型和红枣水分含量等级分类模型就可以快速得到红枣水分含量等级，检测效率高，并且，相比于高光谱相机，本实施例在预先训练好的高光谱图像重建模型和红枣水分含量等级分类模型的基础上，只要使用工业相机采集红枣的第一红枣RGB图像输入到上述模型中即可，检测成本低。
进一步的，所述预先训练好的高光谱图像重建模型是通过第一训练数据集和多尺度空洞卷积U型编码-解码器残差连接网络共同确定的，其中，所述第一训练数据集为多个第二红枣RGB图像和目标高光谱图像；
其中，所述原始高光谱图像是通过高光谱相机采集的，例如，所述原始高光谱图像可以为使用Specim高光谱相机拍摄400-2500nm范围内的图像，所述第二红枣RGB图像是利用ENVI软件自动选择原始高光谱图像的三个波段送入RGB通道生成的，所述目标高光谱图像是根据WBI(水体指数)从原始高光谱图像中选取三十一个与红枣水分含量相关的特征波段组成的图像，也就是说，所述目标高光谱图像皆为与红枣水分含量相关的三十一个特征波段组成的图像。
在一种实施例中，所述预先训练好的高光谱图像重建模型是通过第一训练数据集和多尺度空洞卷积U型编码-解码器残差连接网络共同确定的步骤具体为：
获取多个目标高光谱图像和多个第二红枣RGB图像；
将多个第二红枣RGB图像输入到预先搭建的多尺度空洞卷积U型编码-解码器残差连接网络中重建，以得到多个第二重建红枣高光谱图像；
将多个第二重建红枣高光谱图像与其对应的目标高光谱图像进行对照，直至第二重建红枣高光谱图像满足第一预设条件时，将多尺度空洞卷积U型编码-解码器残差连接网络确定为预先训练好的高光谱图像重建模型。
具体的，所述第一预设条件为：将多个不同的第二红枣RGB图像输入至预先搭建的多尺度空洞卷积U型编码-解码器残差连接网络中训练，直至输出的第二重建红枣高光谱图像与目标高光谱图像的相似度不在继续接近，得到高光谱图像重建模型的最优权重参数，并将高光谱图像重建模型的最优权重参数加载到预先搭建的多尺度空洞卷积U型编码-解码器残差连接网络中，形成训练好的高光谱图像重建模型。
在一种实施例中，在所述将多个第二红枣RGB图像输入到预先搭建的多尺度空洞卷积U型编码-解码器残差连接网络中重建，以得到多个第二重建红枣高光谱图像的步骤之前，所述红枣水分含量等级检测方法还包括：
对第二红枣枣RGB图像和目标高光谱图像进行预处理。
具体的，对多第二红枣RGB图像和其对应的目标高光谱图像构成的样本对进行切割，形成尺寸为256×256的小样本对，并对其进行旋转、镜像等数据增强操作，生成可使用的二红枣枣RGB图像和目标高光谱图像。
在一种实施例中，参阅图2，所述预先搭建的多尺度空洞卷积U型编码-解码器残差连接网络具体包括第一特征提取模块、特征映射模块和特征转换模块，所述第一特征提取模块用于对第二红枣RGB图像进行第一初始特征提取，并将3通道的第二红枣RGB图像变换成31通道的第一初始特征图，所述特征映射模块的输入端与所述第一特征提取模块的输出端连接，并用于对第二红枣RGB图像进行深层特征提取，以得到第二红枣RGB图像对应目标高光谱图像的深层映射关系的深层特征图，所述特征转换模块的输入端与所述特征映射模块的输出端连接，并用于将深层特征图与第一初始特征图相叠加后，再进行卷积处理，以重建第二重建红枣高光谱图像。
另外，所述多尺度空洞卷积U型编码-解码器残差连接网络是在多尺度空洞卷积层的基础上，搭建多尺度空洞卷积U型编码-解码器，并且在多尺度空洞卷积U型编码-解码器上采用了残差连接，融合了不同层次的信息，提高了模型从低维RGB图像重建高维高光谱图像的能力。
进一步的，参阅图2，所述第一特征提取模块具体包括：依次连接第一卷积层(Conv1)、第一BatchNormalization正则化层和第一Swish激活层，所述特征映射模块具体包括：顺序连接而成的三个多尺度空洞卷积U型编码-解码器(DC)，所述第一Swish激活层与三个多尺度空洞卷积U型编码-解码器中最首端的多尺度空洞卷积U型编码-解码器连接，所述特征转换模块包括第二卷积层(Conv2)，所述第二卷积层与三个多尺度空洞卷积U型编码-解码器中的最末端的多尺度空洞卷积U型编码-解码器连接，其中，所述第一卷积层为一层卷积核大小为3×3，stride＝1，padding＝1，输入通道数为3，输出通道数为31的卷积层，所述第二卷积层为一层卷积核大小为3×3，stride＝1，padding＝1，输出通道数等于输入通道数的卷积层。
本实施例的特征映射模块通过三个多尺度空洞卷积U型编码-解码器顺序连接的方式融合不同层次的信息，得到更加丰富、高质量的特征表示。
进一步的，参阅图3，所述多尺度空洞卷积U型编码-解码器具体包括：两层3×3的第三卷积层(Conv3)、三个依次连接的组合结构和第一多尺度空洞卷积层(DCC1)，两层3×3的第三卷积层分别位于所述多尺度空洞卷积U型编码-解码器的初始端和结束端，并与三个组合结构中的首端的组合结构连接，所述第一多尺度空洞卷积层与三个组合结构中的末端的组合结构连接，其中，所述组合结构具体包括第二多尺度空洞卷积层(DCC2)、下采样层(DownSample)、特征拼接环节(C)、三层1×1的第四卷积层(Conv4)、上采样层(UpSample)和第三多尺度空洞卷积层(DCC3)，所述第二多尺度空洞卷积层的输出端分别与下采样层和特征拼接环节连接，所述特征拼接环节的输出端与第四卷积层连接，所述上采样层的输出端与特征拼接环节连接，所述第四卷积层的输出端与第三多尺度空洞卷积层连接；
其中，初始端的第三卷积层用于调整第一特征提取模块的第一初始特征图，结束端的第三卷积层用于将经过的多尺度空洞卷积U型编码-解码器的第二深层特征图进一步特征优化，所述特征拼接环节的主要目的是将编码器的信息传递给解码器，实现特征重用，解码器通过融合编码器相对低级的特征信息，能够更好的理解特征图中的上下文信息，有助于提高模型的感知能力，所述紧接于特征拼接环节的第四卷积层是用于通道调整，使模型特征图的通道数不至于过大，降低了模型的冗余度，提高了计算效率。
值得说明的是，每个组合结构的下采样层的输出端与其相邻的组合结构中的第二多尺度空洞卷积层连接，每个组合结构的上采样层的输入端与其相邻的组合结构中的第三多尺度空洞卷积层连接，所述第一多尺度空洞卷积层分别连接末端的组合结构中的下采样层和上采样层，两层3×3的第三卷积层分别与首端的组合结构中的第二多尺度空洞卷积层和第三多尺度空洞卷积层连接。
进一步的，参阅图4，所述第一多尺度空洞卷积层、第二多尺度空洞卷积层和第三多尺度空洞卷积层的结构一样，均包括三层并联的空洞卷积层和一层1×1的第五卷积层(Conv5)组成，每层均为3×3空洞卷积层，三层并联的空洞卷积层的空洞率分别设置为1、2、3，以获得不同感受野下的特征图，将所述不同感受野下的特征图在通道维度进行拼接，实现多尺度特征融合，然后每层空洞卷积层的输出端依次连接第二BatchNormalization正则化层和第二Swish激活层，其中一个空洞卷积层的输入特征图与第四卷积层的输出特征图进行残差连接，用于调整特征图的通道数，便于后续U型编码-解码器的残差连接，并将所述残差连接后的结果通过第三Swish激活层进行一次Swish激活。
进一步的，所述下采样层为一层卷积核大小为3×3，stride＝2，padding＝1，输出通道数为输入通道数的两倍的卷积层。
进一步的，所述上采样层为一层卷积核大小为3×3，stride＝2，padding＝1，输出通道数为输入通道数的二分之一的反卷积层。
进一步的，所述预先训练好的红枣水分含量等级分类模型是通过第二训练数据集和卷积神经网络共同确定的，其中，所述第二训练数据集为多个第二重建红枣高光谱图像、多个目标高光谱图像及其对应的目标红枣水分含量等级标签，所述第二测试数据集为目标红枣水分含量等级标签；
其中，所述第二重建红枣高光谱图像是通过将第一红枣RGB图像输入到预先训练好的高光谱图像重建模型重建得到的，所述目标红枣水分含量等级标签是根据实验方法测量目标高光谱图像的水分含量结果标定的，具体可以利用红枣水分含量测量仪通过破坏红枣结构的方式测量出红枣水分含量，并进行分级，其分级方法可以为：红枣水分含量低于35％属于低含水量红枣、红枣水分含量在35％-45％属于含水量较优红枣、红枣水分含量高于45％属于高含水量红枣。
在一种实施例中，所述预先训练好的红枣水分含量等级分类模型是通过第二训练数据集和卷积神经网络共同确定的步骤具体为：
获取多个第二重建红枣高光谱图像、多个目标高光谱图像及其对应的目标红枣水分含量等级标签；
将多个第二重建红枣高光谱图像和目标高光谱图像输入到预先搭建的卷积神经网络中分类，以得到多个第二红枣水分含量等级标签；
将多个第二红枣水分含量等级标签与其对应的目标红枣水分含量等级标签进行对照，直至第二红枣水分含量等级标签满足第二预设条件，将卷积神经网络确定为预先训练好的红枣水分含量等级分类模型。
具体的，所述卷积神经网络可以为以MobileNetV3为baseline的卷积神经网络，所述第二预设条件为：将多个不同的第二重建红枣高光谱图像和目标高光谱图像输入至预先搭建的卷积神经网络中训练，直至输出的第二红枣水分含量等级标签与目标红枣水分含量等级标签的相似度不再继续接近，得到红枣水分含量等级分类模型的最优权重参数，并将红枣水分含量等级分类模型的最优权重参数加载到预先搭建的卷积神经网络中，形成训练好的红枣水分含量等级分类模型。
进一步的，参阅图5，所述预先搭建的卷积神经网络具体包括第二特征提取模块、倒残差结构模块和分类模块，所述第二特征提取模块用于对第二重建高光谱图像或目标高光谱图像进行第二初始特征提取，并将三十一通道的第二重建高光谱图像或高光谱图像变换成六十四通道的第二初始特征图；所述倒残差结构模块输入端与所述第二特征提取模块的输出端连接，并用于对第二重建高光谱图像或目标高光谱图像进行第二深层特征提取，以得到第二重建高光谱图像或高光谱图像对应目标红枣水分含量等级标签的深层映射关系的第二深层特征图，所述分类模块的输入端与所述倒残差结构模块的输出端连接。
进一步的，所述第二特征提取模块具体包括第六卷积层(Conv6)，所述第六卷积层为一层卷积核大小为3×3，stride＝2，padding＝1，输入通道数为31，输出通道数为64的卷积层；所述倒残差结构模块具体包括：依次连接的三组Fused-MBConv块、三组MBConv块和一层1×1的第七卷积层(Conv7)，所述第六卷积层的输出端连接三组Fused-MBConv块的首端的Fused-MBConv块，所述分类模块具体包括依次连接的第一自适应平均池化层(AvgPool1)、第一线性层(Linear1)、HardSwish激活层、Dropout层和第二线性层(Linear2)，所述第七卷积层的输出端连接自适应平均池化层；
进一步的，参阅图6，所述Fused-MBConv块具体包括：依次连接的一层3×3的第八卷积层(Conv8)、第一注意力机制块(SE1)和一层1×1的第九卷积层(Conv9)，通过残差连接将第八卷积层的输入特征图与第九卷积层的输出特征图进行叠加，其中，三组Fused-MBConv块中对应的第八卷积层的stride分别为1、2、2，padding皆为1。
进一步的，参阅图7，所述MBConv块具体包括：一层1×1的第十卷积层(Conv10)、一层3×3的第一DW卷积层(DWConv1)、第二注意力机制块(SE2)和一层1×1的第十一卷积层(Conv11)，通过残差连接将第十卷积层的输入特征图与第十一卷积层的输出特征图进行叠加，其中，三组MBConv块中对应的第十卷积层的stride分别为2、1、2，padding都为0，第十一卷积层的stride皆为1，padding都为0，所述第一DW卷积层的的stride皆为1，padding都为1，groups等于第一DW卷积输入特征图的通道数。
其中，首端的Fused-MBConv块中的第八卷积层的输入端与第六卷积层连接，在相邻组的Fused-MBConv块中，前一组的第九卷积层输出端连接后一组的第八卷积层，末端的Fused-MBConv块中的第九卷积层的输出端与首端的MBConv块中的第十卷积层连接，在相邻组的MBConv块中，前一组的第十一卷积层的输出端与后一组的第十卷积层连接，末端的MBConv块中的第十一卷积层的输出端与第七卷积层连接。
值得说明的是，本实施例中，通过所述Fused-MBConv块和MBConv块的引入，增加了模型的表达能力，减少模型训练的参数量，并能加速计降低内存消耗，另外，所述Fused-MBConv块是通过一层3×3的普通卷积层代替所述MBConv块中的一层1×1的普通卷积层和一层3×3的DW卷积层，能加速计算并降低内存消耗。
进一步的，参阅图8，所述第一注意力机制块和第二注意力机制块的结构是一样的，均具体包括一层3×3的第二DW卷积层(DWConv2)、第二自适应平均池化层(AvgPool)、一层1×1的第十二卷积层(Conv12)、一层1×1的第十三卷积层(Conv13)、ReLU激活层、一层1×1的第十四卷积层(Conv14)、HardSigmoid激活层，所述第二DW卷积层的输出端分别与第二自适应平均池化层和第十二卷积层连接，所述第二自适应平均池化层的输出端与第十三卷积层连接，所述第十三卷积层的输出端与ReLU激活层连接，所述ReLU激活层的输出端与第十四卷积层连接，所述第十四卷积层的输出端与HardSigmoid激活层连接，所述HardSigmoid激活层的输出端与所述第十二卷积层连接。其中，所述第二DW卷积层的的stride皆为1，padding都为1，groups等于第二DW卷积输入特征图的通道数；
本实施例第二注意力机制块接受到来自于第二DW卷积层的输出特征图后，首先经过第二自适应平均池化层(全局)进行展平，然后把第十三卷积层和第十四卷积层作为全连接层对展平后的特征进行整合，得到每个通道的重要系数，然后与第二DW卷积层的输出特征图相乘，得到通道重要系数不同的特征图，使模型更加关注重要区域，并降低了冗余信息对模型的干扰。
以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.基于RGB图像重建高光谱图像的红枣水分含量等级检测方法，其特征在于，包括：
采集第一红枣RGB图像，其中，所述第一红枣RGB图像是通过工业相机采集的；
将第一红枣RGB图像输入到预先训练好的高光谱图像重建模型中重建，以得到第一重建红枣高光谱图像；
将第一重建红枣高光谱图像输入到预先训练好的红枣水分含量等级分类模型中分类，以得到第一红枣水分含量等级标签。
2.根据权利要求1所述的基于RGB图像重建高光谱图像的红枣水分含量等级检测方法，其特征在于，所述将第一红枣RGB图像输入到预先训练好的高光谱图像重建模型中重建，以得到第一重建红枣高光谱图像的步骤中，所述预先训练好的高光谱图像重建模型是通过第一训练数据集和多尺度空洞卷积U型编码-解码器残差连接网络共同确定的；
其中，所述第一训练数据集包括多个第二红枣RGB图像和目标高光谱图像，所述第二红枣RGB图像是基于原始高光谱图像的三个波段送入ENVI软件中的RGB通道生成的，所述目标高光谱图像是基于原始高光谱图像中与红枣水分含量相关的三十一个特征波段组成的，所述原始高光谱图像是通过高光谱相机采集的。
3.根据权利要求2所述的基于RGB图像重建高光谱图像的红枣水分含量等级检测方法，其特征在于，所述预先训练好的高光谱图像重建模型是通过第一训练数据集和多尺度空洞卷积U型编码-解码器残差连接网络共同确定的步骤具体为：
获取多个目标高光谱图像和多个第二红枣RGB图像；
将多个第二红枣RGB图像输入到预先搭建的多尺度空洞卷积U型编码-解码器残差连接网络中重建，以得到多个第二重建红枣高光谱图像；
将多个第二重建红枣高光谱图像与其对应的目标高光谱图像进行对照，直至第二重建红枣高光谱图像满足第一预设条件时，将多尺度空洞卷积U型编码-解码器残差连接网络确定为训练好的高光谱图像重建模型。
4.根据权利要求3所述的基于RGB图像重建高光谱图像的红枣水分含量等级检测方法，其特征在于，所述将多个第二红枣RGB图像输入到预先搭建的多尺度空洞卷积U型编码-解码器残差连接网络中重建，以得到多个第二重建红枣高光谱图像的步骤中，所述预先搭建的多尺度空洞卷积U型编码-解码器残差连接网络具体包括：
第一特征提取模块，其用于对第二红枣RGB图像进行第一初始特征提取，并将3通道的第二红枣RGB图像变换成31通道的第一初始特征图，
特征映射模块，其输入端与所述第一特征提取模块的输出端连接，并用于对第二红枣RGB图像进行第二深层特征提取，以得到第二红枣RGB图像对应目标高光谱图像的深层映射关系的第二深层特征图；
特征转换模块，其输入端与所述特征映射模块的输出端连接，并用于将深层特征图与第一初始特征图相叠加后，再进行卷积处理，以得到第二重建红枣高光谱图像。
5.根据权利要求4所述的基于RGB图像重建高光谱图像的红枣水分含量等级检测方法，其特征在于，所述将多个第二红枣RGB图像输入到预先搭建的多尺度空洞卷积U型编码-解码器残差连接网络中重建，以得到多个第二重建红枣高光谱图像的步骤中，所述第一特征提取模块具体包括：依次连接第一卷积层、第一BatchNormalization正则化层和第一Swish激活层，所述特征映射模块具体包括：顺序连接而成的三个多尺度空洞卷积U型编码-解码器，所述第一Swish激活层与三个多尺度空洞卷积U型编码-解码器中的其中一个多尺度空洞卷积U型编码-解码器连接，所述特征转换模块包括第二卷积层，所述第二卷积层与三个多尺度空洞卷积U型编码-解码器中的另一个多尺度空洞卷积U型编码-解码器连接；
其中，所述第一卷积层为一层卷积核大小为3×3，stride＝1，padding＝1，输入通道数为3，输出通道数为31的卷积层，所述第二卷积层为一层卷积核大小为3×3，stride＝1，padding＝1，输出通道数等于输入通道数的卷积层，所述多尺度空洞卷积U型编码-解码器具体包括：两层3×3的第三卷积层、三个依次连接的组合结构和第一多尺度空洞卷积层，两层3×3的第二卷积层分别位于所述多尺度空洞卷积U型编码-解码器的初始端和结束端，并与三个组合结构中的其中一个组合结构连接，所述第一多尺度空洞卷积层与三个组合结构中的另一个组合结构连接。
6.根据权利要求5所述的基于RGB图像重建高光谱图像的红枣水分含量等级检测方法，其特征在于，所述将多个第二红枣RGB图像输入到预先搭建的多尺度空洞卷积U型编码-解码器残差连接网络中重建，以得到多个第二重建红枣高光谱图像的步骤中，所述组合结构具体包括第二多尺度空洞卷积层、下采样层、特征拼接环节、三层1×1的第四卷积层、上采样层和第三多尺度空洞卷积层，所述第二多尺度空洞卷积层的输出端分别与下采样层和特征拼接环节连接，所述特征拼接环节的输出端与第四卷积层连接，所述上采样层的输出端与特征拼接环节连接，所述第四卷积层的输出端与第三多尺度空洞卷积层连接，每个组合结构的下采样层的输出端与其相邻的组合结构中的第二多尺度空洞卷积层连接，每个组合结构的上采样层的输入端与其相邻的组合结构中的第三多尺度空洞卷积层连接，所述第一多尺度空洞卷积层分别连接末端的组合结构中的下采样层和上采样层，两层3×3的第三卷积层分别与首端的组合结构中的第二多尺度空洞卷积层和第三多尺度空洞卷积层连接，其中，每个多尺度空洞卷积层均包括三层并联的空洞卷积层和一层1×1的第四卷积层组成，每层空洞卷积层之后都串接一层第二BatchNormalization正则化层和第二Swish激活层，所述三层并联的空洞卷积层的输入特征图与第四卷积层的输出特征图进行残差连接，并将所述残差连接后的结果通过第三Swish激活层进行一次Swish激活，所述下采样层为一层卷积核大小为3×3，stride＝2，padding＝1，输出通道数为输入通道数的两倍的卷积层，所述上采样层为一层卷积核大小为3×3，stride＝2，padding＝1，输出通道数为输入通道数的二分之一的反卷积层。
7.根据权利要求2所述的基于RGB图像重建高光谱图像的红枣水分含量等级检测方法，其特征在于，所述将第一重建红枣高光谱图像输入到预先训练好的红枣水分含量等级分类模型中分类，以得到第一红枣水分含量等级标签的步骤中，所述预先训练好的红枣水分含量等级分类模型是通过第二训练数据集和卷积神经网络共同确定的；
其中，所述第二训练数据集为多个第二重建红枣高光谱图像、多个目标高光谱图像及其对应的目标红枣水分含量等级标签，所述第二重建红枣高光谱图像是通过将第一红枣RGB图像输入到预先训练好的高光谱图像重建模型中重建得到的，所述目标红枣水分含量等级标签是根据实验方法测量目标高光谱图像的水分含量结果标定的。
8.根据权利要求7所述的基于RGB图像重建高光谱图像的红枣水分含量等级检测方法，其特征在于，所述预先训练好的红枣水分含量等级分类模型是通过第二训练数据集和卷积神经网络共同确定的步骤具体为：
获取多个第二重建红枣高光谱图像、多个目标高光谱图像及其对应的目标红枣水分含量等级标签；
将多个第二重建红枣高光谱图像和目标高光谱图像输入到预先搭建的卷积神经网络中分类，以得到多个第二红枣水分含量等级标签；
将多个第二红枣水分含量等级标签与其对应的目标红枣水分含量等级标签进行对照，直至第二红枣水分含量等级标签满足第二预设条件，将卷积神经网络确定为训练好的红枣水分含量等级分类模型。
9.根据权利要求1所述的基于RGB图像重建高光谱图像的红枣水分含量等级检测方法，其特征在于，所述将第一重建红枣高光谱图像输入到预先训练好的红枣水分含量等级分类模型中分类，以得到第一红枣水分含量等级标签的步骤中，所述预先搭建的卷积神经网络具体包括：
第二特征提取模块，其用于对第二重建高光谱图像或目标高光谱图像进行第二初始特征提取，并将三十一通道的第二重建高光谱图像或目标高光谱图像变换成六十四通道的第二初始特征图；
倒残差结构模块，其输入端与所述第二特征提取模块的输出端连接，并用于对第二重建高光谱图像或目标高光谱图像进行第二深层特征提取，以得到第二重建高光谱图像或高光谱图像对应目标红枣水分含量等级标签的深层映射关系的第二深层特征图；
分类模块，其输入端与所述倒残差结构模块的输出端连接。
10.根据权利要求9所述的基于RGB图像重建高光谱图像的红枣水分含量等级检测方法，其特征在于，所述将第一重建红枣高光谱图像输入到预先训练好的红枣水分含量等级分类模型中分类，以得到第一红枣水分含量等级标签的步骤中，所述第二特征提取模块具体包括一层卷积核大小为3×3，stride＝2，padding＝1，输入通道数为31，输出通道数为64的第六卷积层，所述倒残差结构模块具体包括：依次连接的三组Fused-MBConv块、三组MBConv块和一层1×1的第七卷积层，所述第六卷积层的输出端连接三组Fused-MBConv块的首端的Fused-MBConv块，所述分类模块具体包括依次连接的第一自适应平均池化层、第一线性层、HardSwish激活层、Dropout层和第二线性层，所述第七卷积层的输出端连接自适应平均池化层；
其中，所述Fused-MBConv块具体包括：依次连接的一层3×3的第八卷积层、第一注意力机制块和一层1×1的第九卷积层；
所述MBConv块具体包括：一层1×1的第十卷积层、一层3×3的第一DW卷积层、第二注意力机制块和一层1×1的第十一卷积层；
所述第一注意力机制块和第二注意力机制块均具体包括一层3×3的第二DW卷积层、第二自适应平均池化层、一层1×1的第十二卷积层、一层1×1的第十三卷积层、ReLU激活层、一层1×1的第十四卷积层、HardSigmoid激活层，所述第二DW卷积层的输出端分别与第二自适应平均池化层和第十二卷积层连接，所述第二自适应平均池化层的输出端与第十三卷积层连接，所述第十三卷积层的输出端与ReLU激活层连接，所述ReLU激活层的输出端与第十四卷积层连接，所述第十四卷积层的输出端与HardSigmoid激活层连接，所述HardSigmoid激活层的输出端与所述第十二卷积层连接。
CN202311032473.5A 2023-08-15 2023-08-15 基于rgb图像重建高光谱图像的红枣水分含量等级检测方法 Active CN117036952B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311032473.5A CN117036952B (zh) 2023-08-15 2023-08-15 基于rgb图像重建高光谱图像的红枣水分含量等级检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311032473.5A CN117036952B (zh) 2023-08-15 2023-08-15 基于rgb图像重建高光谱图像的红枣水分含量等级检测方法

Publications (2)

Publication Number Publication Date
CN117036952A true CN117036952A (zh) 2023-11-10
CN117036952B CN117036952B (zh) 2024-04-12

Family

ID=88622344

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311032473.5A Active CN117036952B (zh) 2023-08-15 2023-08-15 基于rgb图像重建高光谱图像的红枣水分含量等级检测方法

Country Status (1)

Country Link
CN (1) CN117036952B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200372686A1 (en) * 2019-05-22 2020-11-26 Fujitsu Limited Image coding apparatus, probability model generating apparatus and image decoding apparatus
CN113222822A (zh) * 2021-06-02 2021-08-06 西安电子科技大学 基于多尺度变换的高光谱图像超分辨率重建方法
CN113240613A (zh) * 2021-06-07 2021-08-10 北京航空航天大学 一种基于边缘信息重建的图像修复方法
CN113538359A (zh) * 2021-07-12 2021-10-22 北京曙光易通技术有限公司 一种用于指静脉图像分割的系统以及方法
CN114898352A (zh) * 2022-06-29 2022-08-12 松立控股集团股份有限公司 一种同时实现图像去雾与车牌检测的方法
CN115546907A (zh) * 2022-09-21 2022-12-30 厦门市美亚柏科信息股份有限公司 一种多尺度特征聚合的活体检测方法和系统
CN115578280A (zh) * 2022-10-18 2023-01-06 三峡大学 一种双分支遥感图像去雾网络的构建方法
CN116228912A (zh) * 2023-05-06 2023-06-06 南京信息工程大学 基于U-Net多尺度神经网络的图像压缩感知重建方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200372686A1 (en) * 2019-05-22 2020-11-26 Fujitsu Limited Image coding apparatus, probability model generating apparatus and image decoding apparatus
CN113222822A (zh) * 2021-06-02 2021-08-06 西安电子科技大学 基于多尺度变换的高光谱图像超分辨率重建方法
CN113240613A (zh) * 2021-06-07 2021-08-10 北京航空航天大学 一种基于边缘信息重建的图像修复方法
CN113538359A (zh) * 2021-07-12 2021-10-22 北京曙光易通技术有限公司 一种用于指静脉图像分割的系统以及方法
CN114898352A (zh) * 2022-06-29 2022-08-12 松立控股集团股份有限公司 一种同时实现图像去雾与车牌检测的方法
CN115546907A (zh) * 2022-09-21 2022-12-30 厦门市美亚柏科信息股份有限公司 一种多尺度特征聚合的活体检测方法和系统
CN115578280A (zh) * 2022-10-18 2023-01-06 三峡大学 一种双分支遥感图像去雾网络的构建方法
CN116228912A (zh) * 2023-05-06 2023-06-06 南京信息工程大学 基于U-Net多尺度神经网络的图像压缩感知重建方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
JUNXIA LID等: "Stacked U-Shape Network With Channel-Wise Attention for Salient Object Detection", 《IEEE TRANSACTIONS ON MULTIMEDIA》, vol. 23, 28 May 2020 (2020-05-28), pages 1397 - 1409, XP011851944, DOI: 10.1109/TMM.2020.2997192 *
XINYA WANG等: "Dilated projection correction network based on autoencoder for hyperspectral image super-resolution", 《NEURAL NETWORKS》, vol. 146, 28 February 2022 (2022-02-28), pages 107 - 109 *
林立昊等: "多尺度并行全卷积神经网络的肺计算机断层扫描图像非刚性配准算法", 《激光与光电子学进展》, vol. 59, no. 16, 31 August 2022 (2022-08-31), pages 1 - 11 *
罗敏: "基于RGB的高光谱图像重建算法研究", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》, no. 01, 15 January 2023 (2023-01-15), pages 138 - 2477 *

Also Published As

Publication number Publication date
CN117036952B (zh) 2024-04-12

Similar Documents

Publication Publication Date Title
CN111259905B (zh) 一种基于下采样的特征融合遥感图像语义分割方法
US11521379B1 (en) Method for flood disaster monitoring and disaster analysis based on vision transformer
CN112561910A (zh) 一种基于多尺度特征融合的工业表面缺陷检测方法
CN113780211A (zh) 一种基于改进型Yolov4-tiny的轻量级飞机检测方法
Zipfel et al. Anomaly detection for industrial quality assurance: A comparative evaluation of unsupervised deep learning models
CN115690479A (zh) 一种基于卷积Transformer的遥感图像分类方法及系统
CN110599502B (zh) 一种基于深度学习的皮肤病变分割方法
CN115457396B (zh) 一种基于遥感影像的地表目标地物检测方法
Jie et al. Research on Citrus grandis granulation determination based on hyperspectral imaging through deep learning
CN112686261A (zh) 一种基于改进U-Net的葡萄根系图像分割方法
CN115512192A (zh) 基于跨尺度的octave卷积网络的多光谱和高光谱图像融合方法
Huang et al. GCS-YOLOV4-Tiny: A lightweight group convolution network for multi-stage fruit detection
CN114565594A (zh) 基于软掩膜对比损失的图像异常检测方法
CN117540779A (zh) 一种基于双源知识蒸馏的轻量化金属表面缺陷检测方法
Kong et al. Semi-supervised classification of wafer map based on ladder network
Guo et al. Detection model transfer of apple soluble solids content based on NIR spectroscopy and deep learning
CN117036952B (zh) 基于rgb图像重建高光谱图像的红枣水分含量等级检测方法
Wang et al. Peanut origin traceability: A hybrid neural network combining an electronic nose system and a hyperspectral system
CN116091940B (zh) 一种基于高分辨率卫星遥感影像的作物分类和识别方法
CN116485802A (zh) 一种绝缘子闪络缺陷检测方法、装置、设备及存储介质
CN116309069A (zh) 一种基于多源融合的星载光谱遥感图像超分辨率重构方法
Zhu et al. Detection of fungal infection in apple using hyperspectral transformation of RGB images with kernel regression
CN113870241A (zh) 一种基于胶囊神经网络的药片缺陷识别方法和装置
Zhang et al. Structural similarity preserving GAN for infrared and visible image fusion
CN113379859B (zh) 一种基于全卷积级联自编码器的高光谱异常检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Nie Jing

Inventor after: Liu Yajie

Inventor after: Chen Jiguo

Inventor after: Li Jingbin

Inventor after: Ding Longpeng

Inventor after: Li Yang

Inventor after: Chao Xuewei

Inventor after: Liu Changguo

Inventor after: Li Hongwei

Inventor after: Jiang Jiachen

Inventor before: Nie Jing

Inventor before: Liu Yajie

Inventor before: Chen Jiguo

Inventor before: Li Jingbin

Inventor before: Ding Longpeng

Inventor before: Li Yang

Inventor before: Chao Xuewei

Inventor before: Liu Changguo

Inventor before: Li Hongwei

Inventor before: Jiang Jiachen

CB03 Change of inventor or designer information
GR01 Patent grant
GR01 Patent grant