CN114882299A - 水果分类方法、装置、采摘设备及存储介质 - Google Patents

水果分类方法、装置、采摘设备及存储介质 Download PDF

Info

Publication number
CN114882299A
CN114882299A CN202210809892.4A CN202210809892A CN114882299A CN 114882299 A CN114882299 A CN 114882299A CN 202210809892 A CN202210809892 A CN 202210809892A CN 114882299 A CN114882299 A CN 114882299A
Authority
CN
China
Prior art keywords
fruit
classified
ith
quality information
network model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210809892.4A
Other languages
English (en)
Other versions
CN114882299B (zh
Inventor
李勇军
朱琦
杨光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Xinrun Fulian Digital Technology Co Ltd
Original Assignee
Shenzhen Xinrun Fulian Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Xinrun Fulian Digital Technology Co Ltd filed Critical Shenzhen Xinrun Fulian Digital Technology Co Ltd
Priority to CN202210809892.4A priority Critical patent/CN114882299B/zh
Publication of CN114882299A publication Critical patent/CN114882299A/zh
Application granted granted Critical
Publication of CN114882299B publication Critical patent/CN114882299B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Sorting Of Articles (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及一种水果分类方法、装置、采摘设备及存储介质，该方法包括：S1，获取待分类水果对应的第i图像信息，并将第i图像信息输入至预先训练的第i个网络模型，得到待分类水果的第i个维度的品质信息；S2，根据第i个维度的品质信息对待分类水果进行分类，得到第i分类结果；S3，将第i分类结果中的任一类水果确定为待分类水果，重复执行S1至S3，得到第N个维度的品质信息；S4，根据第N个维度的品质信息对待分类的水果进行分类；其中，网络模型的数量与待分类水果的品质信息的维度相对应，不同的网络模型用于对待分类水果的不同维度的品质信息进行预测。这样可以得到待分类水果的分类结果，而无需人为进行分类，节约了人力成本和时间成本。

Description

水果分类方法、装置、采摘设备及存储介质
技术领域
本申请涉及深度学习技术领域，尤其涉及一种水果分类方法、装置、采摘设备及存储介质。
背景技术
目前，水果采摘已经逐渐机械化，市面上已经出现了各式各样的水果采摘装置，这大大提高了水果采摘的便利性，且能够有效降低高空采摘的危险性。但是，现有的水果采摘装置并不能对水果的形状、大小和缺陷等不同维度进行分类，仍然需要人为进行分拣，从而导致人力成本和时间成本较高。
发明内容
本申请提供了一种水果分类方法、装置、采摘设备及存储介质，以解决现有的水果采摘装置并不能对水果的形状、大小和缺陷等不同维度进行分类，仍然需要人为进行分拣，从而导致人力成本和时间成本较高。
第一方面，本申请提供了一种水果分类方法，所述方法包括：
S1，获取待分类水果对应的第i图像信息，并将所述第i图像信息输入至预先训练的第i个网络模型，得到所述待分类水果的第i个维度的品质信息，i为大于或等于1，且小于或等于N的正整数，N为大于1的任一整数；
S2，根据所述第i个维度的品质信息对所述待分类水果进行分类，得到第i分类结果；
S3，将所述第i分类结果中的任一类水果确定为所述待分类水果，重复执行所述S1至所述S3，得到第N个维度的品质信息；其中，i的取值从1开始每重复完成一次所述S1至所述S3的执行，所述i的取值加1直到所述i的取值为N；
S4，根据所述第N个维度的品质信息对所述待分类的水果进行分类；
其中，所述网络模型的数量与所述待分类水果的品质信息的维度相对应，不同的所述网络模型用于对所述待分类水果的不同维度的品质信息进行预测。
可选地，所述第i个网络模型包括输入层、输出层和多个隐含层；
所述将所述第i图像信息输入至预先训练的第i个网络模型，得到所述待分类水果的第i个维度的品质信息，包括：
将所述第i图像信息输入至所述输入层进行特征数值化，得到第一中间特征信息；
将所述第一中间特征信息依次输入至所述多个隐含层中的每个隐含层进行特征提取，得到第二中间特征信息；
将所述第二中间特征信息输入至所述输出层进行品质分类，得到所述待分类水果的第i个维度的品质信息。
可选地，所述第i个网络模型为第一网络模型、第二网络模型、第三网络模型或者第四网络模型，所述第一网络模型用于对所述待分类水果的形状进行预测，所述第二网络模型用于对所述待分类水果的尺寸进行预测，所述第三网络模型用于对所述待分类水果的缺陷进行预测，所述第四网络模型用于对所述待分类水果的口感进行预测。
可选地，所述第一网络模型、所述第二网络模型和所述第三网络模型中的每个隐含层均包括池化层和多个卷积层，每个所述卷积层包括多个节点，各节点的卷积核的数量成倍增加，且每个节点对应的所述卷积核的大小相等。
可选地，所述待分类水果的口感包括所述待分类水果的甜度，所述第四网络模型用于对根据所述待分类水果的尺寸和重量对所述待分类水果的甜度进行拟合。
可选地，在所述将所述第i图像信息输入至预先训练的第i个网络模型，得到所述待分类水果的第i个维度的品质信息之前，所述方法还包括：
获取水果的N个维度的品质信息对应的N类样本图像信息；
将所述N类样本图像信息分别输入至N个待训练模型进行训练，待所述N个待训练模型的损失值均小于自身对应的预设阈值的情况下，训练得到N个网络模型；
其中，所述网络模型的数量与所述水果的品质信息的维度相对应，不同的所述网络模型用于对所述水果的不同维度的品质信息进行预测。
可选地，在所述获取水果的N个维度的品质信息对应的N类样本图像信息之后，所述方法还包括：
对所述N类样本图像信息进行图像对中处理；
将图像对中处理后的N类样本图像信息进行图像增强处理；
将图像增强处理后的N类样本图像信息进行裁剪，得到预设尺寸的N类样本图像信息；
所述将所述N类样本图像信息分别输入至N个待训练模型进行训练，待所述N个待训练模型的损失值均小于自身对应的预设阈值的情况下，训练得到N个网络模型，包括：
将所述预设尺寸的N类样本图像信息分别输入至N个待训练模型进行训练，待所述N个待训练模型的损失值均小于自身对应的预设阈值的情况下，训练得到N个网络模型。
第二方面，本申请还提供了一种水果分类装置，所述装置包括：
第一处理模块，用于执行步骤S1，获取待分类水果对应的第i图像信息，并将所述第i图像信息输入至预先训练的第i个网络模型，得到所述待分类水果的第i个维度的品质信息，i为大于或等于1，且小于或等于N的正整数，N为大于1的任一整数；
第一分类模块，用于执行步骤S2，根据所述第i个维度的品质信息对所述待分类水果进行分类，得到第i分类结果；
重复执行模块，用于执行步骤S3，将所述第i分类结果中的任一类水果确定为所述待分类水果，重复执行所述S1至所述S3，得到第N个维度的品质信息；其中，i的取值从1开始每重复完成一次所述S1至所述S3的执行，所述i的取值加1直到所述i的取值为N；
循环模块，用于将所述第i分类结果中的任一类水果确定为所述待分类水果，重复执行所述S1至所述S3，得到第N个维度的品质信息；其中，所述i的取值从1开始每重复完成一次所述S1至所述S3的执行，所述i的取值加1直到所述i的取值为N；
第二分类模块，用于执行步骤S4，根据所述第N个维度的品质信息对所述待分类的水果进行分类；
其中，所述网络模型的数量与所述待分类水果的品质信息的维度相对应，不同的所述网络模型用于对所述待分类水果的不同维度的品质信息进行预测。
第三方面，本申请还提供了一种采摘设备，所述采摘设备包括如第二方面任一项实施例所述的水果分类装置和多个传送通道，所述水果分类装置用于预测得到待分类水果的N个维度的品质信息所对应的N个分类结果，并根据所述N个分类结果将所述待分类水果分类传送至所述多个传送通道。
第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面任一项实施例所述的水果分类方法的步骤。
在本申请实施例中，S1，获取待分类水果对应的第i图像信息，并将所述第i图像信息输入至预先训练的第i个网络模型，得到所述待分类水果的第i个维度的品质信息，i为大于或等于1，且小于或等于N的正整数，N为大于1的任一整数；S2，根据所述第i个维度的品质信息对所述待分类水果进行分类，得到第i分类结果；S3，将所述第i分类结果中的任一类水果确定为所述待分类水果，重复执行所述S1至所述S3，得到第N个维度的品质信息；其中，i的取值从1开始每重复完成一次所述S1至所述S3的执行，所述i的取值加1直到所述i的取值为N；S4，根据所述第N个维度的品质信息对所述待分类的水果进行分类；其中，所述网络模型的数量与所述待分类水果的品质信息的维度相对应，不同的所述网络模型用于对所述待分类水果的不同维度的品质信息进行预测。通过执行上述步骤S1至S4，可以对待分类水果的N个维度的品质信息进行预测，并根据预测得到的N个维度的品质信息进行N次分类，从而得到待分类水果的精细化的分类结果，而无需人为对待分类水果进行分类，从而节约了人力成本和时间成本。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的水果分类方法的流程示意图；
图2为本申请实施例提供的各网络模型的模型结构的结构示意图；
图3为本申请实施例提供的采用第一网络模型、第二网络模型、第三网络模型和第四网络模型分别对待分类水果进行分类的流程图；
图4为本申请实施例提供的水果分类装置的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
参见图1，图1为本申请实施例提供的水果分类方法的流程示意图。如图1所示，该水果分类方法包括：
步骤S1，获取待分类水果对应的第i图像信息，并将第i图像信息输入至预先训练的第i个网络模型，得到待分类水果的第i个维度的品质信息，i为大于或等于1，且小于或等于N的正整数，N为大于1的任一整数。
具体地，上述待分类水果可以为同一种类的水果，也可以为不同种类的水果，本申请不做具体限定。例如，当待分类水果仅有苹果时，可以对苹果的形状、尺寸、缺陷等维度进行分类；当待分类水果包括苹果、橙子和梨子时，可以先对苹果、橙子和梨子进行分类，再分别对苹果、橙子和梨子的形状、尺寸、缺陷等维度进行分类。当i等于1时，上述第i图像信息可以理解为刚采摘完，且暂未开始进行分类的水果所对应的图像信息；当i大于1时，上述第i图像信息可以理解为已经完成第i-1次分类后的任一分类的水果所对应的图像信息。其中，获取图像信息的方式，可以通过摄像头进行拍摄获取，为使得获取到的特征信息更为完整，可以设置多个摄像头来获取水果的全方位图像信息。上述第i个网络模型为预选训练好的深度学习模型，用于对待分类水果的第i个维度的品质信息进行预测。此处的品质信息可以包括但不限于水果的形状、尺寸、缺陷类型等维度的信息，此处的i可以为大于或等于1，且小于或等于N的任一正整数。
步骤S2，根据第i个维度的品质信息对待分类水果进行分类，得到第i分类结果。
在得到第i个维度的品质信息后，可以基于第i个维度的品质信息对待分类水果进行分类，得到第i分类结果。需要说明的是，假设在第i-1次分类得到的第i-1分类结果包括结果1、结果2和结果3三种类型，那么在第i次分类时，需要对这三种类型分别进行图像信息获取，再基于获取到的图像信息分别输入至第i个网络模型，得到三种类型对应的分类结果，一起作为第i分类结果。
步骤S3，将第i分类结果中的任一类水果确定为待分类水果，重复执行S1至S3，得到第N个维度的品质信息；其中，i的取值从1开始每重复完成一次S1至S3的执行，i的取值加1直到i的取值为N。
在完成第i次分类后，可以对第i分类结果中的任一类水果确定为待分类水果，重复执行上述步骤S1至S3，可以得到第N个维度的品质信息。也就是说，在完成第i次分类后，假设得到的第i分类结果包括结果1、结果2和结果3三种类型，那么在第i+1次分类时，需要对这三种类型分别进行图像信息获取，再基于获取到的图像信息分别输入至第i+1个网络模型，得到三种类型对应的分类结果，一起作为第i+1分类结果。如此循环，直到得到待分类水果的第N个维度的品质信息。
步骤S4，根据第N个维度的品质信息对待分类的水果进行分类，其中，网络模型的数量与待分类水果的品质信息的维度相对应，不同的网络模型用于对待分类水果的不同维度的品质信息进行预测。
需要说明的是，网络模型和待分类水果的品质信息的维度一一对应，不同的网络模型用于对待分类水果的不同维度的品质信息进行预测，这样，通过将待分类水果依次输入至各网络模型，可以依次得到待分类水果的各品质信息，进而对各品质信息进行分类，使得待分类水果的分类不断细化，实现精准分类的效果。
在本实施例中，通过执行上述步骤S1至S4，可以对待分类水果的N个维度的品质信息进行预测，并根据预测得到的N个维度的品质信息进行N次分类，从而得到待分类水果的精细化分类结果，而无需人为对待分类水果进行分类，从而节约了人力成本和时间成本。
进一步地，第i个网络模型包括输入层、输出层和多个隐含层；
将第i图像信息输入至预先训练的第i个网络模型，得到待分类水果的第i个维度的品质信息，包括：
将第i图像信息输入至输入层进行特征数值化，得到第一中间特征信息；
将第一中间特征信息依次输入至多个隐含层中的每个隐含层进行特征提取，得到第二中间特征信息；
将第二中间特征信息输入至输出层进行品质分类，得到待分类水果的第i个维度的品质信息。
在一实施例中，各网络模型均为深度学习模型，其网络模型的模型结构均可以包括输入层、输出层和多个隐含层，如图2所示。在获取待分类水果的第i个维度的品质信息时，可以将待分类水果的第i图像信息输入至输入层进行特征数值化，得到第一中间特征信息，再将第一中间特征信息依次输入至多个隐含层中的每个隐含层进行特征提取，得到第二中间特征信息，最后将第二中间特征信息输入至输出层进行品质分类，得到待分类水果的第i个维度的品质信息。
需要说明的是，由于各网络模型用于对待分类水果的不同维度的品质信息进行预测，因而各网络模型使用的模型参数存在区别。例如，N个网络模型分别用于对待分类水果的N个维度的品质信息进行预测，那么就需要使用N个维度的样本图像对N个待训练模型进行训练，由于提取的特征数据为不同维度，其训练的模型参数必然也会存在区别。另外，各网络模型所使用的激活函数和损失函数等也可以根据需要进行灵活设置，可以相同，也可以不同。
进一步地，第i个网络模型为第一网络模型、第二网络模型、第三网络模型或者第四网络模型，第一网络模型用于对待分类水果的形状进行预测，第二网络模型用于对待分类水果的尺寸进行预测，第三网络模型用于对待分类水果的缺陷进行预测，第四网络模型用于对待分类水果的口感进行预测。
在一实施例中，可以使用第一网络模型、第二网络模型、第三网络模型和第四网络模型分别对待分类水果进行分类，其中，第一网络模型用于对待分类水果的形状进行预测，第二网络模型用于对待分类水果的尺寸进行预测，第三网络模型用于对待分类水果的缺陷进行预测，第四网络模型用于对待分类水果的口感进行预测，这里的口感包括但不限于甜度、软度等。在该实施例中，可以采用第一网络模型、第二网络模型、第三网络模型和第四网络模型分别对待分类水果进行分类，其流程图如图3所示，获取待分类水果的第1图像信息，将其输入至第一网络模型，假设当使用第一网络模型对待分类水果的形状进行预测可以得到形状1、形状2和形状3（如形状非常美观、形状较为美观、形状不美观）时，那么可以对形状1、形状2和形状3中的水果进行分类和拍照，再将获取到的待分类水果的第2图像信息输入至第二网络模型对待分类水果的尺寸进行预测，假设每个形状类型中的水果可以预测得到尺寸1、尺寸2和尺寸3（如个头较大、个头一般、个头较小），那么就可以得到9种预测结果，接着再对这9种预测结果对应的水果进行分类和拍照，再将获取到的待分类水果的第3图像信息输入至第三网络模型对待分类水果的缺陷进行预测，假设每个预测结果中的水果可以预测得到缺陷1、缺陷2和缺陷3（如表面有腐烂、表面有磕碰、表面有虫眼），那么就可以得到27种预测结果，最后再对这27种预测结果对应的水果进行分类和拍照，再将获取到的待分类水果的第4图像信息输入至第四网络模型对待分类水果的口感进行预测，假设每个预测结果中的水果可以预测得到口感1、口感2和口感3（如味道非常好、味道一般、味道较差），那么可以得到81种预测结果。这样，通过将待分类水果依次输入至4个网络模型，可以依次得到待分类水果在形状、尺寸、缺陷和口感上的分类，使得待分类水果的分类不断细化，实现精准分类的效果。当然，在实际应用中，每个网络模型对应的输出类型可以为大于1的任意正整数，如2种、4种、5种等等，并不局限于上述举例中的3种。
进一步地，第一网络模型、第二网络模型和第三网络模型中的每个隐含层均包括池化层和多个卷积层，每个卷积层包括多个节点，各节点的卷积核的数量成倍增加，且每个节点对应的卷积核的大小相等。
在一实施例中，上述第一网络模型、第二网络模型和第三网络模型的模型结构相同，三者均包含多个隐含层，且每个隐含层均包括池化层和多个卷积层。并且，每个卷积层包括多个节点，各节点的卷积核的数量成倍增加，且每个节点对应的卷积核的大小相等。作为一可选实施方式，上述第一网络模型、第二网络模型和第三网络模型可以均包括1层输入层、5层隐含层和1层输出层，其中，输入层用于将图像数据进行特征数值化后输入至隐含层。输出层用于对结果进行输出，输出层的神经元数量通常设置为类别数量，如果水果类别数量是10类，那么输出层的神经元（即节点）数量就是10 个，根据图片中10个类别的概率值对图片进行分类。每层隐含层可以包括5层卷积层和1层池化层，每个卷积层可以包括5个节点，节点 1对应的每个卷积层的卷积核数量为64个，卷积核大小设置为3*3；节点2对应的每个卷积层的卷积核数量为128个，卷积核大小设置为3*3；节点3的卷积核数量为256个，卷积核大小设置为 3*3；节点4的卷积核数量为512个，卷积核大小设置为3*3；节点5的卷积核数量为512 个，卷积核大小设置为3*3。每个节点设置padding=＂same＂，这样每次卷积后，数据大小会被填充为与原来大小一致。此外，对于池化层，每个节点的池化层窗口均为2*2，步长为2*2。设置padding=＂same＂，它能让输入图片在传播过程中大小依然保持不变。
进一步地，待分类水果的口感包括待分类水果的甜度，第四网络模型用于对根据待分类水果的尺寸和重量对待分类水果的甜度进行拟合。
在一实施例中，可以使用第四网络模型对水果的甜度进行分类，具体地，上述待分类水果的尺寸（即体积）可以采用第二网络模型进行预测得到，上述待分类水果的重量可以通过测量得到。将待分类水果的体积和重量输入至第四网络模型进行预测，可以得到待分类水果的甜度。需要说明的是，由于待分类水果的体积和重量与待分类水果的甜度为非线性关系，因而可以采用如下公式作为第四网络模型的激活函数：
Figure 29365DEST_PATH_IMAGE001
其中，S(x)表示第四网络模型用的激活函数，x1和x2分别表示水果的尺寸和重量，a和b均为系数，c为常量。
这样，激活函数可以引入非线性因素，由待分类水果的体积和重量得到待分类水果的甜度。
进一步地，在上述步骤、将第i图像信息输入至预先训练的第i个网络模型，得到待分类水果的第i个维度的品质信息之前，该方法还包括：
获取水果的N个维度的品质信息对应的N类样本图像信息；
将N类样本图像信息分别输入至N个待训练模型进行训练，待N个待训练模型的损失值均小于自身对应的预设阈值的情况下，训练得到N个网络模型；
其中，网络模型的数量与水果的品质信息的维度相对应，不同的网络模型用于对水果的不同维度的品质信息进行预测。
在一实施例中，在采用N个网络模型对待分类水果的N个维度的品质信息进行预测之前，需要对N个待训练模型进行训练，以得到N个网络模型。具体地，可以获取水果的N个维度的品质信息对应的N类样本图像信息，N为大于1的任一正整数，每类样本图像信息中携带有水果一个维度的品质信息的标签，如水果的形状、尺寸、缺陷或者甜度等。这样，将N类样本图像信息分别输入至N个待训练模型进行训练，待N个待训练模型的损失值均小于自身对应的预设阈值的情况下，训练得到N个网络模型。其中，上述N个待训练模型的模型结构与上述N个网络模型的模型结构一一对应。在训练过程中，可以采用交叉熵代价函数进行损失值计算，该交叉熵代价函数的公式如下:
Figure 74682DEST_PATH_IMAGE002
其中，Lcee表示代价，y表示真实数据，a 表示模型输出值。模型训练中会不断地进行迭代，每次迭代都会使损失值尽可能小，损失值越小，就代表模型性能越好。当待N个待训练模型的损失值均小于自身对应的预设阈值或者完成预设次数的迭代训练的情况下，可以得到N个网络模型。作为一可选实施方式，可以在进行了50epoch（1个epoch等于使用训练集中的全部样本训练一次，通俗的讲epoch的值就是整个数据集被轮几次）的迭代之后得到最终的N个网络模型。
进一步地，在上述步骤、获取水果的N个维度的品质信息对应的N类样本图像信息之后，该方法还包括：
对N类样本图像信息进行图像对中处理；
将图像对中处理后的N类样本图像信息进行图像增强处理；
将图像增强处理后的N类样本图像信息进行裁剪，得到预设尺寸的N类样本图像信息；
上述步骤、将N类样本图像信息分别输入至N个待训练模型进行训练，待N个待训练模型的损失值均小于自身对应的预设阈值的情况下，训练得到N个网络模型，包括：
将预设尺寸的N类样本图像信息分别输入至N个待训练模型进行训练，待N个待训练模型的损失值均小于自身对应的预设阈值的情况下，训练得到N个网络模型。
具体地，上述图像对中处理是指将第i图像信息中特征较为明显的区域框选出来，用于匹配出该第i图像信息为何种水果的何个部位的图像。上述图像增强处理是指是将原来不清晰的图像变得清晰或强调某些感兴趣的特征，抑制不感兴趣的特征，使之改善图像质量、丰富信息量，加强图像判读和识别效果的图像处理。上述裁剪是指按照一定的尺寸进行裁剪，得到尺寸统一的图像。
在一实施例中，可以将N类样本图像信息先进行图像对中处理，再将图像对中处理后的N类样本图像信息进行图像增强处理，然后将图像增强处理后的N类样本图像信息进行裁剪，得到预设尺寸的N类样本图像信息，最后将得到的预设尺寸的N类样本图像信息分别输入至N个待训练模型进行训练，待N个待训练模型的损失值均小于自身对应的预设阈值的情况下，训练得到N个网络模型。这样，通过对N类样本图像信息进行图像对中处理、图像增强处理和裁剪，可以提高模型的训练效率和精度。
参见图4，图4为本申请实施例提供的水果分类装置的结构示意图。如图4所示，该水果分类装置400包括：
第一处理模块401，用于执行步骤S1，获取待分类水果对应的第i图像信息，并将第i图像信息输入至预先训练的第i个网络模型，得到待分类水果的第i个维度的品质信息，i为大于或等于1，且小于或等于N的正整数，N为大于1的任一整数；
第一分类模块402，用于执行步骤S2，根据第i个维度的品质信息对待分类水果进行分类，得到第i分类结果；
重复执行模块403，用于执行步骤S3，将第i分类结果中的任一类水果确定为待分类水果，重复执行S1至S3，得到第N个维度的品质信息；其中，i的取值从1开始每重复完成一次S1至S3的执行，i的取值加1直到i的取值为N；
循环模块404，用于将第i分类结果中的任一类水果确定为待分类水果，重复执行S1至S3，得到第N个维度的品质信息；其中，i的取值从1开始每重复完成一次S1至S3的执行，i的取值加1直到i的取值为N；
第二分类模块，用于执行步骤S4，根据第N个维度的品质信息对待分类的水果进行分类；
其中，网络模型的数量与待分类水果的品质信息的维度相对应，不同的网络模型用于对待分类水果的不同维度的品质信息进行预测。
进一步地，第i个网络模型包括输入层、输出层和多个隐含层；
第一处理模块401包括：
数值化子模块，用于将第i图像信息输入至输入层进行特征数值化，得到第一中间特征信息；
特征提取子模块，用于将第一中间特征信息依次输入至多个隐含层中的每个隐含层进行特征提取，得到第二中间特征信息；
品质分类子模块，用于将第二中间特征信息输入至输出层进行品质分类，得到待分类水果的第i个维度的品质信息。
进一步地，第i个网络模型为第一网络模型、第二网络模型、第三网络模型或者第四网络模型，第一网络模型用于对待分类水果的形状进行预测，第二网络模型用于对待分类水果的尺寸进行预测，第三网络模型用于对待分类水果的缺陷进行预测，第四网络模型用于对待分类水果的口感进行预测。
进一步地，第一网络模型、第二网络模型和第三网络模型中的每个隐含层均包括池化层和多个卷积层，每个卷积层包括多个节点，各节点的卷积核的数量成倍增加，且每个节点对应的卷积核的大小相等。
进一步地，待分类水果的口感包括待分类水果的甜度，第四网络模型用于对根据待分类水果的尺寸和重量对待分类水果的甜度进行拟合。
进一步地，该装置400还包括：
获取模块，用于获取水果的N个维度的品质信息对应的N类样本图像信息；
训练模块，用于将N类样本图像信息分别输入至N个待训练模型进行训练，待N个待训练模型的损失值均小于自身对应的预设阈值的情况下，训练得到N个网络模型；
其中，网络模型的数量与水果的品质信息的维度相对应，不同的网络模型用于对水果的不同维度的品质信息进行预测。
进一步地，该装置400还包括：
图像对中处理模块，用于对N类样本图像信息进行图像对中处理；
图像增强处理模块，用于将图像对中处理后的N类样本图像信息进行图像增强处理；
裁剪模块，用于将图像增强处理后的N类样本图像信息进行裁剪，得到预设尺寸的N类样本图像信息；
训练模块，还用于将预设尺寸的N类样本图像信息分别输入至N个待训练模型进行训练，待N个待训练模型的损失值均小于自身对应的预设阈值的情况下，训练得到N个网络模型。
需要说明的是，该水果分类装置400可以实现如前述任意一个方法实施例提供的水果分类方法的步骤，且能达到相同的技术效果，在此不再一一赘述。
本申请实施例提供的采摘设备，该采摘设备包括前述实施例提供的水果分类装置和多个传送通道，水果分类装置用于预测得到待分类水果的N个维度的品质信息所对应的N个分类结果，并根据N个分类结果将待分类水果分类传送至多个传送通道。
需要说明的是，该采摘设备可以实现如前述任意一个实施例提供的水果分类装置，且能达到相同的技术效果，在此不再一一赘述。
本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如前述任意一个方法实施例提供的水果分类方法的步骤。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种水果分类方法，其特征在于，所述方法包括：
S1，获取待分类水果对应的第i图像信息，并将所述第i图像信息输入至预先训练的第i个网络模型，得到所述待分类水果的第i个维度的品质信息，i为大于或等于1，且小于或等于N的正整数，N为大于1的任一整数；
S2，根据所述第i个维度的品质信息对所述待分类水果进行分类，得到第i分类结果；
S3，将所述第i分类结果中的任一类水果确定为所述待分类水果，重复执行所述S1至所述S3，得到第N个维度的品质信息；其中，i的取值从1开始每重复完成一次所述S1至所述S3的执行，所述i的取值加1直到所述i的取值为N；
S4，根据所述第N个维度的品质信息对所述待分类的水果进行分类；
其中，所述网络模型的数量与所述待分类水果的品质信息的维度相对应，不同的所述网络模型用于对所述待分类水果的不同维度的品质信息进行预测。
2.根据权利要求1所述的方法，其特征在于，所述第i个网络模型包括输入层、输出层和多个隐含层；
所述将所述第i图像信息输入至预先训练的第i个网络模型，得到所述待分类水果的第i个维度的品质信息，包括：
将所述第i图像信息输入至所述输入层进行特征数值化，得到第一中间特征信息；
将所述第一中间特征信息依次输入至所述多个隐含层中的每个隐含层进行特征提取，得到第二中间特征信息；
将所述第二中间特征信息输入至所述输出层进行品质分类，得到所述待分类水果的第i个维度的品质信息。
3.根据权利要求2所述的方法，其特征在于，所述第i个网络模型为第一网络模型、第二网络模型、第三网络模型或者第四网络模型，所述第一网络模型用于对所述待分类水果的形状进行预测，所述第二网络模型用于对所述待分类水果的尺寸进行预测，所述第三网络模型用于对所述待分类水果的缺陷进行预测，所述第四网络模型用于对所述待分类水果的口感进行预测。
4.根据权利要求3所述的方法，其特征在于，所述第一网络模型、所述第二网络模型和所述第三网络模型中的每个隐含层均包括池化层和多个卷积层，每个所述卷积层包括多个节点，各节点的卷积核的数量成倍增加，且每个节点对应的所述卷积核的大小相等。
5.根据权利要求3所述的方法，其特征在于，所述待分类水果的口感包括所述待分类水果的甜度，所述第四网络模型用于对根据所述待分类水果的尺寸和重量对所述待分类水果的甜度进行拟合。
6.根据权利要求1所述的方法，其特征在于，在所述将所述第i图像信息输入至预先训练的第i个网络模型，得到所述待分类水果的第i个维度的品质信息之前，所述方法还包括：
获取水果的N个维度的品质信息对应的N类样本图像信息；
将所述N类样本图像信息分别输入至N个待训练模型进行训练，待所述N个待训练模型的损失值均小于自身对应的预设阈值的情况下，训练得到N个网络模型；
其中，所述网络模型的数量与所述水果的品质信息的维度相对应，不同的所述网络模型用于对所述水果的不同维度的品质信息进行预测。
7.根据权利要求6所述的方法，其特征在于，在所述获取水果的N个维度的品质信息对应的N类样本图像信息之后，所述方法还包括：
对所述N类样本图像信息进行图像对中处理；
将图像对中处理后的N类样本图像信息进行图像增强处理；
将图像增强处理后的N类样本图像信息进行裁剪，得到预设尺寸的N类样本图像信息；
所述将所述N类样本图像信息分别输入至N个待训练模型进行训练，待所述N个待训练模型的损失值均小于自身对应的预设阈值的情况下，训练得到N个网络模型，包括：
将所述预设尺寸的N类样本图像信息分别输入至N个待训练模型进行训练，待所述N个待训练模型的损失值均小于自身对应的预设阈值的情况下，训练得到N个网络模型。
8.一种水果分类装置，其特征在于，所述装置包括：
第一处理模块，用于执行步骤S1，获取待分类水果对应的第i图像信息，并将所述第i图像信息输入至预先训练的第i个网络模型，得到所述待分类水果的第i个维度的品质信息，i为大于或等于1，且小于或等于N的正整数，N为大于1的任一整数；
第一分类模块，用于执行步骤S2，根据所述第i个维度的品质信息对所述待分类水果进行分类，得到第i分类结果；
重复执行模块，用于执行步骤S3，将所述第i分类结果中的任一类水果确定为所述待分类水果，重复执行所述S1至所述S3，得到第N个维度的品质信息；其中，i的取值从1开始每重复完成一次所述S1至所述S3的执行，所述i的取值加1直到所述i的取值为N；
循环模块，用于将所述第i分类结果中的任一类水果确定为所述待分类水果，重复执行所述S1至所述S3，得到第N个维度的品质信息；其中，所述i的取值从1开始每重复完成一次所述S1至所述S3的执行，所述i的取值加1直到所述i的取值为N；
第二分类模块，用于执行步骤S4，根据所述第N个维度的品质信息对所述待分类的水果进行分类；
其中，所述网络模型的数量与所述待分类水果的品质信息的维度相对应，不同的所述网络模型用于对所述待分类水果的不同维度的品质信息进行预测。
9.一种采摘设备，其特征在于，所述采摘设备包括如权利要求8所述的水果分类装置和多个传送通道，所述水果分类装置用于预测得到待分类水果的N个维度的品质信息所对应的N个分类结果，并根据所述N个分类结果将所述待分类水果分类传送至所述多个传送通道。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7任一项所述的水果分类方法的步骤。
CN202210809892.4A 2022-07-11 2022-07-11 水果分类方法、装置、采摘设备及存储介质 Active CN114882299B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210809892.4A CN114882299B (zh) 2022-07-11 2022-07-11 水果分类方法、装置、采摘设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210809892.4A CN114882299B (zh) 2022-07-11 2022-07-11 水果分类方法、装置、采摘设备及存储介质

Publications (2)

Publication Number Publication Date
CN114882299A true CN114882299A (zh) 2022-08-09
CN114882299B CN114882299B (zh) 2022-11-15

Family

ID=82683599

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210809892.4A Active CN114882299B (zh) 2022-07-11 2022-07-11 水果分类方法、装置、采摘设备及存储介质

Country Status (1)

Country Link
CN (1) CN114882299B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN206430750U (zh) * 2016-09-29 2017-08-22 西北农林科技大学 一种小型猕猴桃果实检测分级装置
US20180295783A1 (en) * 2017-04-17 2018-10-18 Iron Ox, Inc. Method for monitoring growth of plants and generating a plant grow schedule
CN109359636A (zh) * 2018-12-14 2019-02-19 腾讯科技（深圳）有限公司 视频分类方法、装置及服务器
CN110807495A (zh) * 2019-11-08 2020-02-18 腾讯科技（深圳）有限公司 多标签分类方法、装置、电子设备及存储介质
CN111062439A (zh) * 2019-12-17 2020-04-24 腾讯科技（深圳）有限公司 一种视频清晰度分类方法、装置、设备和存储介质
US10664722B1 (en) * 2016-10-05 2020-05-26 Digimarc Corporation Image processing arrangements
CN111222747A (zh) * 2019-11-22 2020-06-02 南宁职业技术学院 一种生鲜货物拣货方法和装置
CN111340148A (zh) * 2020-05-22 2020-06-26 支付宝(杭州)信息技术有限公司 一种业务分类模型的训练方法、业务分类方法以及终端
CN111553439A (zh) * 2020-05-08 2020-08-18 视睿（杭州）信息科技有限公司 一种农产品品质分类方法、装置、计算机设备和存储介质
CN111753794A (zh) * 2020-06-30 2020-10-09 创新奇智(成都)科技有限公司 水果品质分类方法、装置、电子设备及可读存储介质
CN112966541A (zh) * 2020-09-23 2021-06-15 北京豆牛网络科技有限公司 果蔬自动验货方法、系统、电子设备以及计算机可读介质
US20220121884A1 (en) * 2011-09-24 2022-04-21 Z Advanced Computing, Inc. System and Method for Extremely Efficient Image and Pattern Recognition and Artificial Intelligence Platform

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220121884A1 (en) * 2011-09-24 2022-04-21 Z Advanced Computing, Inc. System and Method for Extremely Efficient Image and Pattern Recognition and Artificial Intelligence Platform
CN206430750U (zh) * 2016-09-29 2017-08-22 西北农林科技大学 一种小型猕猴桃果实检测分级装置
US10664722B1 (en) * 2016-10-05 2020-05-26 Digimarc Corporation Image processing arrangements
US20180295783A1 (en) * 2017-04-17 2018-10-18 Iron Ox, Inc. Method for monitoring growth of plants and generating a plant grow schedule
CN109359636A (zh) * 2018-12-14 2019-02-19 腾讯科技（深圳）有限公司 视频分类方法、装置及服务器
CN110807495A (zh) * 2019-11-08 2020-02-18 腾讯科技（深圳）有限公司 多标签分类方法、装置、电子设备及存储介质
CN111222747A (zh) * 2019-11-22 2020-06-02 南宁职业技术学院 一种生鲜货物拣货方法和装置
CN111062439A (zh) * 2019-12-17 2020-04-24 腾讯科技（深圳）有限公司 一种视频清晰度分类方法、装置、设备和存储介质
CN111553439A (zh) * 2020-05-08 2020-08-18 视睿（杭州）信息科技有限公司 一种农产品品质分类方法、装置、计算机设备和存储介质
CN112801220A (zh) * 2020-05-08 2021-05-14 视睿（杭州）信息科技有限公司 一种农产品品质分类方法、装置、计算机设备和存储介质
CN111340148A (zh) * 2020-05-22 2020-06-26 支付宝(杭州)信息技术有限公司 一种业务分类模型的训练方法、业务分类方法以及终端
CN111753794A (zh) * 2020-06-30 2020-10-09 创新奇智(成都)科技有限公司 水果品质分类方法、装置、电子设备及可读存储介质
CN112966541A (zh) * 2020-09-23 2021-06-15 北京豆牛网络科技有限公司 果蔬自动验货方法、系统、电子设备以及计算机可读介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HARMANDEEP SINGH GILL等: "Multi-Model CNN-RNN-LSTM Based Fruit Recognition and Classification", 《INTELLIGENT AUTOMATION & SOFT COMPUTING》 *
刘亚东: "基于图像处理的苹果外观品质分级研究", 《中国优秀硕士学位论文全文数据库_农业科技辑》 *

Also Published As

Publication number Publication date
CN114882299B (zh) 2022-11-15

Similar Documents

Publication Publication Date Title
CN109754017B (zh) 基于可分离的三维残差网络和迁移学习高光谱图像分类方法
CN110334765B (zh) 基于注意力机制多尺度深度学习的遥感影像分类方法
US20190228268A1 (en) Method and system for cell image segmentation using multi-stage convolutional neural networks
Raikar et al. Classification and Grading of Okra-ladies finger using Deep Learning
CN111611924B (zh) 一种基于深度迁移学习模型的蘑菇识别方法
CN109308696B (zh) 基于层级特征融合网络的无参考图像质量评价方法
CN106897673B (zh) 一种基于retinex算法和卷积神经网络的行人再识别方法
EP3340129A1 (en) Artificial neural network class-based pruning
CN109753996B (zh) 基于三维轻量化深度网络的高光谱图像分类方法
CN110264407B (zh) 图像超分辨模型训练及重建方法、装置、设备及存储介质
Jassmann et al. Leaf classification utilizing a convolutional neural network
Begum et al. Maturity detection of tomatoes using transfer learning
CN113569881A (zh) 一种基于链式残差与注意力机制的自适应语义分割方法
CN110503149B (zh) 一种图像中局部特征分类方法及系统
CN114841209A (zh) 一种基于深度领域自适应的多目标域心电信号分类方法
Correa et al. Design and Implementation of a CNN architecture to classify images of banana leaves with diseases
CN111079691A (zh) 一种基于双流网络的剪枝方法
Bhole et al. A transfer learning-based approach to predict the shelf life of fruit
CN114882299B (zh) 水果分类方法、装置、采摘设备及存储介质
Buczkowski et al. Convolutional neural network-based image distortion classification
CN112801220B (zh) 一种农产品品质分类方法、装置、计算机设备和存储介质
CN110930314A (zh) 图像条带噪声抑制方法及其装置、电子设备、存储介质
CN114841887A (zh) 一种基于多层次差异学习的图像恢复质量评价方法
CN113436200B (zh) 基于轻量分割卷积网络的rgb图像分类方法
KR102291164B1 (ko) 최대화 또는 최소화 파라미터 수 딥러닝 구조가 적용된 잡초 판별 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant