CN115331216A - 核桃果实成熟度聚类识别方法、装置及系统和存储介质 - Google Patents

核桃果实成熟度聚类识别方法、装置及系统和存储介质 Download PDF

Info

Publication number
CN115331216A
CN115331216A CN202210961079.9A CN202210961079A CN115331216A CN 115331216 A CN115331216 A CN 115331216A CN 202210961079 A CN202210961079 A CN 202210961079A CN 115331216 A CN115331216 A CN 115331216A
Authority
CN
China
Prior art keywords
maturity
walnut
fruits
image
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210961079.9A
Other languages
English (en)
Other versions
CN115331216B (zh
Inventor
陈锋军
朱学岩
沈德宇
王瑞鹏
郑一力
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Forestry University
Original Assignee
Beijing Forestry University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Forestry University filed Critical Beijing Forestry University
Priority to CN202210961079.9A priority Critical patent/CN115331216B/zh
Publication of CN115331216A publication Critical patent/CN115331216A/zh
Application granted granted Critical
Publication of CN115331216B publication Critical patent/CN115331216B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01D—HARVESTING; MOWING
    • A01D46/00—Picking of fruits, vegetables, hops, or the like; Devices for shaking trees or shrubs
    • A01D46/30—Robotic devices for individually picking crops
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Robotics (AREA)
  • Environmental Sciences (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开一种核桃果实成熟度聚类识别方法、装置及系统和存储介质，通过人工智能深度学习中的无监督学习技术构建核桃果实成熟度聚类识别模型，实现核桃成熟度的自动聚类识别，并测量不同成熟度核桃果实的内部品质，进而解释核桃果实内部品质与外部表型间的关系，建立核桃成熟度与内部品质间的模糊联系，并根据识别的成熟度以及对应的内部品质确定最佳采收成熟度，为核桃的智能化采摘提供了一种全新的技术思路。

Description

核桃果实成熟度聚类识别方法、装置及系统和存储介质
技术领域
本发明涉及智能农业技术领域，特别是涉及一种核桃果实成熟度聚类识别方法、装置及系统和存储介质。
背景技术
核桃果实中不仅含有丰富的营养物质且具有较高的医疗和保健功能，又被誉为长寿果。核桃的种仁含油率一般可以达到60％～70％，在食用油料中发挥着至关重要的作用。2020年全国核桃种植面积已经达到上亿亩，核桃年产量479.59万吨。核桃产业的种植规模不断扩大，但是核桃每亩产油量却没有显著提升。这其中不仅与核桃的良种方面有关，分析主要的原因是采收成熟度不合适，即未在最佳成熟度采收核桃。应当着力研究核桃果实的成熟度和含油率等内部品质间的关系，确定核桃含油率最高的成熟度，并进而确定核桃在含油率最高时的表型特征，提高核桃的亩产油量，实现提质增效。
专利申请号为CN113192026A，发明名称为“一种基于可见光图像的核桃成熟度检测与预测方法”的中国专利。该发明在核桃成熟度等级划分中，需要每隔3天采样一次且每次选择50颗健康且成熟度相对一致的核桃进行采摘，并在之后测量每次采样的核桃果实的脂肪含量进而划分成熟度，然后以此成熟度训练深度学习模型实现成熟度检测。这种采用有监督学习技术预先划分成熟度再训练深度学习模型的方式需要采集千余颗核桃果实并进行几十次实验，需要耗费大量的人力物力和时间。并且，在划分成熟度时也仅参考了每次采摘的50颗果实样本，存在一定的局限性。除此之外，该专利在进行核桃成熟度检测时并未对图像进行裁剪，导致图像中仍有大量的背景区域干扰核桃的成熟度识别，这也在一定程度上影响了该算法的准确率。
从目前核桃产业发展的需求以及当前人工老龄化和劳动力不足的现状可以发现，实现核桃智能化采收是技术智能化的发展趋势。而要实现核桃的智能化采收需要解决的一个关键问题就是核桃的成熟度识别问题。为了达到核桃成熟度智能识别的目的，需要解决的一个关键问题就是核桃的成熟度划分并要将划分的成熟度与内部品质相联系。如何自动提取核桃果实的表型特征并与内部品质相联系进而划分成熟度等级是本领域研究人员关注的热点问题。且综合核桃和成熟度检测的相关研究发现，核桃机械化采摘技术的研究正在进行中；核桃智能化采摘相关的研究鲜有涉及。成熟度识别的研究大多是采用有监督学习的方式，即需要专家根据经验预先划分成熟度或者根据脂肪含量划分成熟度，然后再训练模型识别成熟度的检测和识别，采用人工智能深度学习的无监督学习方式进行核桃成熟度聚类识别相关研究至今鲜有报道。
发明内容
提供了本发明以解决现有技术中存在的上述问题。因此，需要一种核桃果实成熟度聚类识别方法、装置及系统和存储介质，建立基于无监督学习的核桃果实成熟度聚类识别模型，阐明不同成熟度核桃果实的表型特征差异，确定核桃果实含油率最高时所对应的表型状态，指导核桃的智能化采摘。
根据本发明的第一方案，提供了一种核桃果实成熟度聚类识别方法，所述方法包括：利用卷积神经网络模型提取样本集中各图像样本中核桃果实的表型特征信息，并进行主成分分析和归一化处理，获得用于描述核桃果实成熟度差异的关键表型特征；基于所述关键表型特征，对所述图像样本进行聚类处理，将图像样本划分为多个成熟度分组；以所述多个成熟度分组为训练样本，对所述卷积神经网络模型进行训练，得到识别模型；利用所述识别模型识别核桃果实样本，将所述核桃果实样本中的核桃果实识别为不同的成熟度；从每个成熟度的核桃果实中随机选择至少十个核桃果实，根据不同成熟度核桃果实间的内部品质参数的联系，建立核桃成熟度与内部品质参数间的模糊联系，并根据识别的成熟度以及对应的内部品质确定最佳采收成熟度；所述内部品质参数包括含油率、可溶性糖含量以及可溶性蛋白含量。
根据本发明的第二技术方案，提供一种核桃果实成熟度聚类识别装置，所述装置包括：特征提取模块，被配置为利用卷积神经网络模型提取样本集中各图像样本中核桃果实的表型特征信息，并进行主成分分析和归一化处理，获得用于描述核桃果实成熟度差异的关键表型特征；聚类分析模块，被配置为基于所述关键表型特征，对所述图像样本进行聚类处理，将图像样本划分为多个成熟度分组；模型训练模块，被配置为以所述多个成熟度分组为训练样本，对所述卷积神经网络模型进行训练，得到识别模型；模型识别模块，被配置为利用所述识别模型识别核桃果实样本，将所述核桃果实样本中的核桃果实识别为不同的成熟度；最佳采收成熟度确定模块，被配置为从每个成熟度的核桃果实中随机选择至少十个核桃果实，根据不同成熟度核桃果实间的内部品质参数的联系，建立核桃成熟度与内部品质参数间的模糊联系，并根据识别的成熟度以及对应的内部品质确定最佳采收成熟度；所述内部品质参数包括含油率、可溶性糖含量以及可溶性蛋白含量。
根据本发明的第三技术方案，提供一种核桃果实成熟度聚类识别系统，所述系统包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序以实现如上所述的方法。
根据本发明的第四技术方案，提供一种存储有指令的非暂时性计算机可读存储介质，当所述指令由处理器执行时，执行如上所述的方法。
根据本发明各个方案的核桃果实成熟度聚类识别方法、装置及系统和存储介质，其至少具有以下技术效果：
本发明以未标记的核桃果实图像为实验数据，通过人工智能深度学习中的无监督学习技术构建核桃果实成熟度聚类识别模型，实现核桃成熟度的自动聚类识别，并测量不同成熟度核桃果实的内部品质，进而解释核桃果实内部品质与外部表型间的关系，建立核桃成熟度与内部品质间的模糊联系，并根据识别的成熟度以及对应的内部品质确定最佳采收成熟度。
附图说明
在不一定按比例绘制的附图中，相同的附图标记可以在不同的视图中描述相似的部件。具有字母后缀或不同字母后缀的相同附图标记可以表示相似部件的不同实例。附图大体上通过举例而不是限制的方式示出各种实施例，并且与说明书以及权利要求书一起用于对所发明的实施例进行说明。在适当的时候，在所有附图中使用相同的附图标记指代同一或相似的部分。这样的实施例是例证性的，而并非旨在作为本装置或方法的穷尽或排他实施例。
图1示出了根据本发明实施例的一种核桃果实成熟度聚类识别方法的流程图。
图2示出了根据本发明实施例的基于无监督学习的核桃果实成熟度聚类识别网络模型示意图。
图3示出了根据本发明实施例的一种核桃果实成熟度聚类识别装置的结构图。
具体实施方式
为使本领域技术人员更好的理解本发明的技术方案，下面结合附图和具体实施方式对本发明作详细说明。下面结合附图和具体实施例对本发明的实施例作进一步详细描述，但不作为对本发明的限定。本文中所描述的各个步骤，如果彼此之间没有前后关系的必要性，则本文中作为示例对其进行描述的次序不应视为限制，本领域技术人员应知道可以对其进行顺序调整，只要不破坏其彼此之间的逻辑性导致整个流程无法实现即可。
本发明实施例提供一种核桃果实成熟度聚类识别方法，请参阅图1，该方法始于步骤S100，利用卷积神经网络模型提取样本集中各图像样本中核桃果实的表型特征信息，并进行主成分分析和归一化处理，获得用于描述核桃果实成熟度差异的关键表型特征。本文中所述的样本集指的是包含有多个图样样本的数据集，所述图像样本为挂枝状态下不同角度的核桃果实样品图像，可以从已有的数据库中获取，也可以用手机、相机或者无人机等设备进行采集。
在一些实施例中，所述样本集通过如下方法获得：获取核桃果实的可见光图像；对所述可见光图像进行裁剪以确保可见光图像内包含核桃果实而不包含背景区域；以裁剪后的可见光图像搭建所述样本集。
在一些实施例中，所述利用卷积神经网络模型提取样本集中各图像样本中核桃果实的表型特征信息，并进行主成分分析和归一化处理，获得用于描述核桃果实成熟度差异的关键表型特征，包括：
基于表型特征信息，采用主成分分析提取累积贡献率超过95%的表型特征信息，并对所述累积贡献率超过95%的表型特征信息进行L2归一化处理，得到用于描述核桃果实成熟度差异的关键表型特征；
所述L2归一化处理如公式（1）所示：
Figure DEST_PATH_IMAGE001
（1）
其中，x为归一化之前的特征向量，y为归一化后的特征向量，x T 为归一化之前的特征向量x的转置矩阵。
步骤S200，基于所述关键表型特征，对所述图像样本进行聚类处理，将图像样本划分为多个成熟度分组。
在一些实施例中，所述基于所述关键表型特征，对所述图像样本进行聚类处理，将图像样本划分为多个成熟度分组，包括：
对所述关键表型特征进行聚类分析，通过如下公式（2）为各个图像样本分配伪标签；
Figure 834419DEST_PATH_IMAGE002
（2）
其中，N为样本集中图像样本的数量；y n 为每个图像样本的伪标签；k为用于标识核桃成熟度的伪标签数量；C为d×k质心矩阵，d为聚类的成熟度数量，
Figure DEST_PATH_IMAGE003
为关键表型特征，x n 为第n幅图像样本，
Figure 984777DEST_PATH_IMAGE004
为每个图像样本的伪标签的转置矩阵，1 k 为k维单位矩阵。
步骤S300，以所述多个成熟度分组为训练样本，对所述卷积神经网络模型进行训练，得到识别模型。
在一些实施例中，所述以所述多个成熟度分组为训练样本，对所述卷积神经网络模型进行训练，得到识别模型，包括：
采用交叉熵损失函数度量所述伪标签与以初始权重配置的卷积神经网络模型分类的结果，并通过反向传播更新卷积神经网络模型的网络参数；
以更新后的网络参数配置的卷积神经网络模型再次提取核桃图像的表型特征，进而进行主成分分析、归一化以及聚类，获得新的聚类分配伪标签，并再次通过交叉熵损失计算聚类和预测结果的损失，再次更新网络参数，反复执行预设的次数最终获得一组最优表型特征信息提取的网络参数；
利用最优表型特征信息提取的网络参数配置卷积神经网络模型得到识别模型。
在一些实施例中，所述交叉熵损失函数计算损失值如公式（3）所示：
Figure DEST_PATH_IMAGE005
（3）
其中N-数据集中核桃图像的数量；
Figure 894221DEST_PATH_IMAGE006
卷积神经网络的网络参数；f-特征映射；l-多项对数损失函数；gW-参数化分类器。
最后，在步骤S400，利用所述识别模型识别核桃果实样本，将所述核桃果实样本中的核桃果实识别为不同的成熟度，从每个成熟度的核桃果实中随机选择至少十个核桃果实，根据不同成熟度核桃果实间的内部品质参数的联系，建立核桃成熟度与内部品质参数间的模糊联系，并根据识别的成熟度以及对应的内部品质确定最佳采收成熟度；所述内部品质参数包括含油率、可溶性糖含量以及可溶性蛋白含量。
在一些实施例中，通过索氏提取法、考马斯亮蓝-G250染料法和苯酚硫酸法检测不同成熟度核桃果实的含油率、可溶性蛋白含量以及可溶性糖含量。
下面本发明实施例将结合具体的实验以进一步说明本发明的可行性和进步性。
本发明实施例确定河北省临城市绿岭核桃小镇、陕西省黄龙县干锅公司以及北京国际核桃庄园为实验基地，本实施例选取香玲、辽一和绿岭三个核桃品种为研究对象。在核桃果实的成熟期利用棋盘式取样法挑选不同的核桃果树，并从每棵核桃果树树冠中部四周位置随机选取5颗果实样品；利用手机、相机或者无人机采集挂枝状态下不同角度的核桃果实样品图像，制备核桃果实样品，带回实验室以供测量果实的含油量、可溶性蛋白含量以及可溶性糖含量。累计获得三个核桃品种的260GB的图像数据和100颗核桃果实样本。将采集的核桃果实图像裁剪至仅包含核桃果实区域，并以裁剪后的图像搭建核桃果实成熟度识别数据集，为训练基于无监督学习的核桃果实成熟度聚类识别模型做出充分的数据准备。
使用深度学习的卷积神经网络自动提取核桃果实的表型特征，该卷积神经网络模型可以是AlexNet、VGG16、ResNet和DenseNet等。其中，卷积神经网络的初始参数是通过随机初始化产生的。深度学习的卷积神经网络不仅可以提取核桃果实的颜色、纹理等人类肉眼可发现的特征，还能提取人类很多人类肉眼发现不了的表型特征。而这些深层特征往往更稳定，具有更高的鲁棒性。深度学习的卷积神经网络提取的核桃果实的表型特征通过倒数第二个全连接层输出。以VGG16为例，如图2所示，VGG16提取的每颗核桃果实的表型特征输出后是一个4096维的特征向量，该特征向量包含了VGG16模型东提取的核桃果实丰富的表型特征信息。4096维的特征在处理时会导致复杂的计算过程和较高的硬件需求，为此我们采用主成分分析提取了累积贡献率超过95%的前181个特征。并对累积贡献率超过95%的前181个特征进行L2归一化处理，以避免奇异值的影响。L2归一化计算如公式（1）：
Figure DEST_PATH_IMAGE007
（1）
其中，x为归一化之前的特征向量，y为归一化后的特征向量，x T 为归一化之前的特征向量x的转置矩阵。
描述核桃果实成熟度的关键表型信息自动提取阶段，提取了数据集中每幅核桃图像的181维特征。采用K-Means聚类算法对归一化后的数据集中每幅图像的181维特征进行聚类分析，实现数据集中核桃果实成熟度的分类。如图2所示，在完成聚类后，数据集中每幅图像均会有一个聚类分配。接着，以该聚类分配为伪标签数据，由此获得了以伪标签为监督信息的核桃果实成熟度分类数据集。核桃成熟度的伪标签分配计算如公式（2）：
Figure 171750DEST_PATH_IMAGE002
（2）
其中，N为样本集中图像样本的数量；y n 为每个图像样本的伪标签；k为用于标识核桃成熟度的伪标签数量；C为d×k质心矩阵，d为聚类的成熟度数量，
Figure 309470DEST_PATH_IMAGE008
为关键表型特征，x n 为第n幅图像样本，
Figure DEST_PATH_IMAGE009
为每个图像样本的伪标签的转置矩阵，1 k 为k维单位矩阵。
采用交叉熵损失函数度量K-Means聚类分配的伪标签与以初始权重的VGG16模型分类的结果，并通过反向传播更新VGG16模型的网络参数。接着，以更新后的网络参数再次提取核桃图像的表型特征，进而进行主成分分析、归一化以及聚类，获得新的聚类分配伪标签，进而再次通过交叉熵损失计算聚类和预测结果的损失，再次更新网络参数，如图2。如此反复执行特征提取、聚类、损失计算和参数更新后最终获得一组最适合核桃表型特征提取的网络参数。基于伪标签计算损失值如公式（3）：
Figure 942314DEST_PATH_IMAGE005
（3）
其中N-数据集中核桃图像的数量；
Figure 165485DEST_PATH_IMAGE010
卷积神经网络的网络参数；f-特征映射；l-多项对数损失函数；gW-参数化分类器。
使用训练好的核桃果实成熟度聚类识别模型识别100颗核桃果实样本的图像，将100颗核桃果实样本划分成不同的成熟度。然后，从每个成熟度中随机选择10颗果实，采用索氏提取法、考马斯亮蓝-G250染料法和苯酚硫酸法检测采用本文方法自动聚类的不同成熟度核桃果实的含油率、可溶性蛋白含量以及总糖含量。接着，分析不同成熟度核桃果实的含油率、可溶性蛋白含量以及总糖含量区间，确定哪个成熟度的核桃果实具有较高的品质和含油率。最后，分析获得较高品质和含油率的核桃果实的表型特征，从而指导核桃人工的精细化采摘。
本发明在通过无监督学习技术自动提取核桃果实的表型特征后聚类识别核桃果实的成熟度，并检测每个成熟度典型样本果实的含油率、可溶性蛋白含有以及可溶性糖含量，确定最佳采收成熟度，并分析最佳采收成熟度核桃果实的表型特征，进而揭示对应何种表型特征的核桃果实品质最佳。
本发明实施例还提供一种核桃果实成熟度聚类识别装置，请参阅图3，图3示出了根据本发明实施例的一种核桃果实成熟度聚类识别装置的结构图。所述装置300包括：
特征提取模块301，被配置为利用卷积神经网络模型提取样本集中各图像样本中核桃果实的表型特征信息，并进行主成分分析和归一化处理，获得用于描述核桃果实成熟度差异的关键表型特征；
聚类分析模块302，被配置为基于所述关键表型特征，对所述图像样本进行聚类处理，将图像样本划分为多个成熟度分组；
模型训练模块303，被配置为以所述多个成熟度分组为训练样本，对所述卷积神经网络模型进行训练，得到识别模型；
模型识别模块304，被配置为利用所述识别模型识别核桃果实样本，将所述核桃果实样本中的核桃果实识别为不同的成熟度；
最佳采收成熟度确定模块305，被配置为从每个成熟度的核桃果实中随机选择至少十个核桃果实，根据不同成熟度核桃果实间的内部品质参数的联系，建立核桃成熟度与内部品质参数间的模糊联系，并根据识别的成熟度以及对应的内部品质确定最佳采收成熟度；所述内部品质参数包括含油率、可溶性糖含量以及可溶性蛋白含量。
在一些实施例中，所述特征提取模块301被进一步配置为：
基于表型特征信息，采用主成分分析提取累积贡献率超过95%的表型特征信息，并对所述累积贡献率超过95%的表型特征信息进行L2归一化处理，得到用于描述核桃果实成熟度差异的关键表型特征；
所述L2归一化处理如公式（1）所示：
Figure DEST_PATH_IMAGE011
（1）
其中，x为归一化之前的特征向量，y为归一化后的特征向量，x T 为归一化之前的特征向量x的转置矩阵。
在一些实施例中，所述聚类分析模块302被进一步配置为：
对所述关键表型特征进行聚类分析，通过如下公式（2）为各个图像样本分配伪标签；
Figure 230393DEST_PATH_IMAGE002
（2）
其中，N为样本集中图像样本的数量；y n 为每个图像样本的伪标签；k为用于标识核桃成熟度的伪标签数量；C为d×k质心矩阵，d为聚类的成熟度数量，
Figure 97986DEST_PATH_IMAGE012
为关键表型特征，x n 为第n幅图像样本，
Figure DEST_PATH_IMAGE013
为每个图像样本的伪标签的转置矩阵，1 k 为k维单位矩阵。
在一些实施例中，所述模型训练模块303被进一步配置为：
采用交叉熵损失函数度量所述伪标签与以初始权重配置的卷积神经网络模型分类的结果，并通过反向传播更新卷积神经网络模型的网络参数；
以更新后的网络参数配置的卷积神经网络模型再次提取核桃图像的表型特征，进而进行主成分分析、归一化以及聚类，获得新的聚类分配伪标签，并再次通过交叉熵损失计算聚类和预测结果的损失，再次更新网络参数，反复执行预设的次数最终获得一组最优表型特征信息提取的网络参数；
利用最优表型特征信息提取的网络参数配置卷积神经网络模型得到识别模型。
在一些实施例中，所述交叉熵损失函数计算损失值如公式（3）所示：
Figure 793410DEST_PATH_IMAGE005
（3）
其中N-数据集中核桃图像的数量；
Figure 874848DEST_PATH_IMAGE014
卷积神经网络的网络参数；f-特征映射；l-多项对数损失函数；gW-参数化分类器。
在一些实施例中，通过索氏提取法、考马斯亮蓝-G250染料法和苯酚硫酸法检测不同成熟度核桃果实的含油率、可溶性蛋白含量以及可溶性糖含量。
需要注意，描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的模块也可以设置在处理器中。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定。
本发明实施例所提到的核桃果实成熟度聚类识别装置与在先阐述的方法属于同一技术构思，其起到的技术效果基本一致，此处不赘述。
本发明实施例还提供一种核桃果实成熟度聚类识别系统，所述系统包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序以实现本发明任一实施例的方法。
本发明实施例还提供了一种存储有指令的非暂时性计算机可读介质，当指令由处理器执行时，执行根据本发明任一实施例所述的方法。
此外，尽管已经在本文中描述了示例性实施例，其范围包括任何和所有基于本发明的具有等同元件、修改、省略、组合（例如，各种实施例交叉的方案）、改编或改变的实施例。权利要求书中的元件将被基于权利要求中采用的语言宽泛地解释，并不限于在本说明书中或本申请的实施期间所描述的示例，其示例将被解释为非排他性的。因此，本说明书和示例旨在仅被认为是示例，真正的范围和精神由以下权利要求以及其等同物的全部范围所指示。
以上描述旨在是说明性的而不是限制性的。例如，上述示例（或其一个或更多方案）可以彼此组合使用。例如本领域普通技术人员在阅读上述描述时可以使用其它实施例。另外，在上述具体实施方式中，各种特征可以被分组在一起以简单化本发明。这不应解释为一种不要求保护的发明的特征对于任一权利要求是必要的意图。相反，本发明的主题可以少于特定的发明的实施例的全部特征。从而，以下权利要求书作为示例或实施例在此并入具体实施方式中，其中每个权利要求独立地作为单独的实施例，并且考虑这些实施例可以以各种组合或排列彼此组合。本发明的范围应参照所附权利要求以及这些权利要求赋权的等同形式的全部范围来确定。

Claims (10)

1.一种核桃果实成熟度聚类识别方法，其特征在于，所述方法包括：
利用卷积神经网络模型提取样本集中各图像样本中核桃果实的表型特征信息，并进行主成分分析和归一化处理，获得用于描述核桃果实成熟度差异的关键表型特征；
基于所述关键表型特征，对所述图像样本进行聚类处理，将图像样本划分为多个成熟度分组；
以所述多个成熟度分组为训练样本，对所述卷积神经网络模型进行训练，得到识别模型；
利用所述识别模型识别核桃果实样本，将所述核桃果实样本中的核桃果实识别为不同的成熟度，从每个成熟度的核桃果实中随机选择至少十个核桃果实，根据不同成熟度核桃果实间的内部品质参数的联系，建立核桃成熟度与内部品质参数间的模糊联系，并根据识别的成熟度以及对应的内部品质确定最佳采收成熟度；所述内部品质参数包括含油率、可溶性糖含量以及可溶性蛋白含量。
2.根据权利要求1所述的方法，其特征在于，所述样本集通过如下方法获得：
获取核桃果实的可见光图像；
对所述可见光图像进行裁剪以确保可见光图像内包含核桃果实而不包含背景区域；
以裁剪后的可见光图像搭建所述样本集。
3.根据权利要求1所述的方法，其特征在于，所述利用卷积神经网络模型提取样本集中各图像样本中核桃果实的表型特征信息，并进行主成分分析和归一化处理，获得用于描述核桃果实成熟度差异的关键表型特征，包括：
基于表型特征信息，采用主成分分析提取累积贡献率超过95%的表型特征信息，并对所述累积贡献率超过95%的表型特征信息进行L2归一化处理，得到用于描述核桃果实成熟度差异的关键表型特征；
所述L2归一化处理如公式（1）所示：
Figure DEST_PATH_IMAGE002
（1）
其中，x为归一化之前的特征向量，y为归一化后的特征向量，
Figure DEST_PATH_IMAGE004
为归一化之前的特征向量x的转置矩阵。
4.根据权利要求1所述的方法，其特征在于，所述基于所述关键表型特征，对所述图像样本进行聚类处理，将图像样本划分为多个成熟度分组，包括：
对所述关键表型特征进行聚类分析，通过如下公式（2）为各个图像样本分配伪标签；
Figure DEST_PATH_IMAGE006
（2）
其中，N为样本集中图像样本的数量；y n 为每个图像样本的伪标签；k为用于标识核桃成熟度的伪标签数量；C为d×k质心矩阵，d为聚类的成熟度数量，
Figure DEST_PATH_IMAGE008
为关键表型特征，x n 为第n幅图像样本，
Figure DEST_PATH_IMAGE010
为每个图像样本的伪标签的转置矩阵，1 k 为k维单位矩阵。
5.根据权利要求4所述的方法，其特征在于，所述以所述多个成熟度分组为训练样本，对所述卷积神经网络模型进行训练，得到识别模型，包括：
采用交叉熵损失函数度量所述伪标签与以初始权重配置的卷积神经网络模型分类的结果，并通过反向传播更新卷积神经网络模型的网络参数；
以更新后的网络参数配置的卷积神经网络模型再次提取核桃图像的表型特征，进而进行主成分分析、归一化以及聚类，获得新的聚类分配伪标签，并再次通过交叉熵损失计算聚类和预测结果的损失，再次更新网络参数，反复执行预设的次数最终获得一组最优表型特征信息提取的网络参数；
利用最优表型特征信息提取的网络参数配置卷积神经网络模型得到识别模型。
6.根据权利要求5所述的方法，其特征在于，所述交叉熵损失函数计算损失值如公式（3）所示：
Figure DEST_PATH_IMAGE012
（3）
其中N-数据集中核桃图像的数量；
Figure DEST_PATH_IMAGE014
卷积神经网络的网络参数；f-特征映射；
Figure DEST_PATH_IMAGE016
多项对数损失函数；gW-参数化分类器。
7.根据权利要求1所述的方法，其特征在于，通过索氏提取法、考马斯亮蓝-G250染料法和苯酚硫酸法检测不同成熟度核桃果实的含油率、可溶性蛋白含量以及可溶性糖含量。
8.一种核桃果实成熟度聚类识别装置，其特征在于，所述装置包括：
特征提取模块，被配置为利用卷积神经网络模型提取样本集中各图像样本中核桃果实的表型特征信息，并进行主成分分析和归一化处理，获得用于描述核桃果实成熟度差异的关键表型特征；
聚类分析模块，被配置为基于所述关键表型特征，对所述图像样本进行聚类处理，将图像样本划分为多个成熟度分组；
模型训练模块，被配置为以所述多个成熟度分组为训练样本，对所述卷积神经网络模型进行训练，得到识别模型；
模型识别模块，被配置为利用所述识别模型识别核桃果实样本，将所述核桃果实样本中的核桃果实识别为不同的成熟度；
最佳采收成熟度确定模块，被配置为从每个成熟度的核桃果实中随机选择至少十个核桃果实，根据不同成熟度核桃果实间的内部品质参数的联系，建立核桃成熟度与内部品质参数间的模糊联系，并根据识别的成熟度以及对应的内部品质确定最佳采收成熟度；所述内部品质参数包括含油率、可溶性糖含量以及可溶性蛋白含量。
9.一种核桃果实成熟度聚类识别系统，其特征在于：所述系统包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序以实现如权利要求1至7中任一项所述的方法。
10.一种存储有指令的非暂时性计算机可读存储介质，当所述指令由处理器执行时，执行根据权利要求1至7中任一项所述的方法。
CN202210961079.9A 2022-08-11 2022-08-11 核桃果实成熟度聚类识别方法、装置及系统和存储介质 Active CN115331216B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210961079.9A CN115331216B (zh) 2022-08-11 2022-08-11 核桃果实成熟度聚类识别方法、装置及系统和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210961079.9A CN115331216B (zh) 2022-08-11 2022-08-11 核桃果实成熟度聚类识别方法、装置及系统和存储介质

Publications (2)

Publication Number Publication Date
CN115331216A true CN115331216A (zh) 2022-11-11
CN115331216B CN115331216B (zh) 2023-05-23

Family

ID=83922065

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210961079.9A Active CN115331216B (zh) 2022-08-11 2022-08-11 核桃果实成熟度聚类识别方法、装置及系统和存储介质

Country Status (1)

Country Link
CN (1) CN115331216B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110309707A (zh) * 2019-05-08 2019-10-08 昆明理工大学 一种基于深度学习的咖啡果实成熟度的识别方法
CN111860678A (zh) * 2020-07-29 2020-10-30 中国矿业大学 一种基于聚类的无监督跨域行人重识别方法
WO2021121127A1 (zh) * 2020-07-28 2021-06-24 平安科技（深圳）有限公司 样本类别识别方法、装置、计算机设备及存储介质
CN113192026A (zh) * 2021-04-28 2021-07-30 北京林业大学 一种基于可见光图像的核桃成熟度检测与预测方法
WO2022001489A1 (zh) * 2020-06-28 2022-01-06 北京交通大学 一种无监督域适应的目标重识别方法
CN113947693A (zh) * 2021-10-13 2022-01-18 北京百度网讯科技有限公司 获取目标对象识别模型的方法、装置及电子设备
CN113963239A (zh) * 2021-12-23 2022-01-21 北京林业大学 一种智能化检测油茶果实成熟度的方法
CN114842337A (zh) * 2022-04-27 2022-08-02 大连理工大学 基于深度学习与多维信息融合聚类的果实采摘点识别方法
US20220262108A1 (en) * 2021-01-12 2022-08-18 Fujitsu Limited Apparatus, program, and method for anomaly detection and classification

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110309707A (zh) * 2019-05-08 2019-10-08 昆明理工大学 一种基于深度学习的咖啡果实成熟度的识别方法
WO2022001489A1 (zh) * 2020-06-28 2022-01-06 北京交通大学 一种无监督域适应的目标重识别方法
WO2021121127A1 (zh) * 2020-07-28 2021-06-24 平安科技（深圳）有限公司 样本类别识别方法、装置、计算机设备及存储介质
CN111860678A (zh) * 2020-07-29 2020-10-30 中国矿业大学 一种基于聚类的无监督跨域行人重识别方法
US20220262108A1 (en) * 2021-01-12 2022-08-18 Fujitsu Limited Apparatus, program, and method for anomaly detection and classification
CN113192026A (zh) * 2021-04-28 2021-07-30 北京林业大学 一种基于可见光图像的核桃成熟度检测与预测方法
CN113947693A (zh) * 2021-10-13 2022-01-18 北京百度网讯科技有限公司 获取目标对象识别模型的方法、装置及电子设备
CN113963239A (zh) * 2021-12-23 2022-01-21 北京林业大学 一种智能化检测油茶果实成熟度的方法
CN114842337A (zh) * 2022-04-27 2022-08-02 大连理工大学 基于深度学习与多维信息融合聚类的果实采摘点识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHUANG NIU ET AL: "GATCLUSTER: SELF-SUPERVISED GAUSSIAN-ATTENTION NETWORK FOR IMAGE CLUSTERING" *
QIZHE XIE ET AL: "Self-training with Noisy Student improves ImageNet classification" *

Also Published As

Publication number Publication date
CN115331216B (zh) 2023-05-23

Similar Documents

Publication Publication Date Title
Kumar et al. Diseases detection of various plant leaf using image processing techniques: A review
CN107067043A (zh) 一种农作物病虫害检测方法
de Luna et al. Size classification of tomato fruit using thresholding, machine learning, and deep learning techniques
CN103065149A (zh) 网纹甜瓜果实表型提取与量化方法
CN107742290A (zh) 植物病害识别预警方法及装置
CN112836623B (zh) 设施番茄农事决策辅助方法及装置
Tumang Pests and diseases identification in mango using MATLAB
Samanta et al. Scab diseases detection of potato using image processing
CN115620151B (zh) 物候期识别方法、装置、电子设备和存储介质
US20240013380A1 (en) Cigar tobacco leaf harvesting maturity identification method and system based on integrated learning
CN108038499A (zh) 一种基于深度学习的树种分类方法与系统
Paulo et al. Distinguishing volunteer corn from soybean at seedling stage using images and machine learning
CN111291686A (zh) 农作物根果表型参数的提取与根果表型判别方法及系统
Rajeshram et al. Leaf Diseases Prediction Pest Detection and Pesticides Recommendation using Deep Learning Techniques
Sahoo et al. Automatic Dead zone detection in 2-D leaf image using clustering and segmentation technique
CN113076873A (zh) 一种基于多阶段训练的农作物病害长尾图像识别方法
CN116524279A (zh) 一种数字农业的人工智能图像识别作物长势分析方法
Pratondo et al. Classification of sweet potato leaf variants using transfer learning
CN115331216A (zh) 核桃果实成熟度聚类识别方法、装置及系统和存储介质
Sarwar et al. Detection and classification of cotton leaf diseases using faster R-CNN on field condition images
CN114937030A (zh) 一种用于智慧农业种植生菜的表型参数计算方法
Mudgil et al. Identification of Tomato Plant Diseases Using CNN-A Comparative Review
Dash et al. Maize diseases diagnosis based on computer intelligence: A systematic review
CN112991312B (zh) 一种基于ai深度学习的梨品种苗木鉴别方法
Wahed et al. Sago Palm Detection and its Maturity Identification Based on Improved Convolution Neural Network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant