CN115713762A - 水果分级方法、装置、电子设备、分拣系统和存储介质 - Google Patents
水果分级方法、装置、电子设备、分拣系统和存储介质 Download PDFInfo
- Publication number
- CN115713762A CN115713762A CN202211478117.1A CN202211478117A CN115713762A CN 115713762 A CN115713762 A CN 115713762A CN 202211478117 A CN202211478117 A CN 202211478117A CN 115713762 A CN115713762 A CN 115713762A
- Authority
- CN
- China
- Prior art keywords
- fruit
- image
- grade
- graded
- damage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
Abstract
本发明提供一种水果分级方法、装置、电子设备、分拣系统和存储介质，其中方法包括：基于多光谱图像的局部特征、全局特征和水果区域特征，进行成熟度检测，得到待分级水果的成熟度等级；基于水果图像的图像特征以及多光谱图像中各个通道的特征图，进行损伤检测，得到待分级水果的损伤等级；基于待分级水果的体积和重量，以及成熟度等级和/或损伤等级，进行水果等级划分，得到待分级水果的水果等级，实现了水果分级过程的精细化和全面化，克服了传统方案中水果等级的准确度和可信度低下的缺陷，基于综合性的信息的自动化水果分级流程，减少了人力需求，降低了水果分级成本，实现了水果等级的准确度和可信度的双重提升。
Description
技术领域
本发明涉及果实检测技术领域，尤其涉及一种水果分级方法、装置、电子设备、分拣系统和存储介质。
背景技术
水果分级，作为水果包装售卖前的重要步骤，其能够筛选出品质上佳的水果，以及剔除品质低劣的水果，然后按照水果大小进行分级，以便不同品质水果的包装、运输和售卖。
目前，在进行水果分级时，大多是直接测算水果的体积或者重量，然后根据体积或者重量进行水果等级划分，即直接从分拣机上按照果实大小进行分级，然而果实大小仅仅只是水果分级标准中的一个指标，仅依据其进行水果等级划分，得到的水果等级的准确度和可靠性堪忧。进一步地，在精细的水果分级上，目前主要依靠分拣传送带上的工人，或者水果店工作人员，而此种依靠人工进行水果分级的方式，不仅成本高昂，还效率低下，实用性较差。
发明内容
本发明提供一种水果分级方法、装置、电子设备、分拣系统和存储介质，用以解决现有技术中水果分级太过局限和粗糙，以致分级所得的水果等级的准确度和可信度低下的缺陷，实现水果分级过程的精细化和全面化，以及水果等级的准确度和可信度的双重提升。
本发明提供一种水果分级方法，包括：
获取待分级水果的水果图像和多光谱图像；
基于所述多光谱图像的局部特征、全局特征和水果区域特征，进行成熟度检测，得到所述待分级水果的成熟度等级；
基于所述水果图像的图像特征，以及所述多光谱图像中各个通道的特征图，进行损伤检测，得到所述待分级水果的损伤等级；
基于所述待分级水果的体积和重量，以及所述成熟度等级和/或所述损伤等级，进行水果等级划分，得到所述待分级水果的水果等级。
根据本发明提供的一种水果分级方法，所述待分级水果的体积和重量的确定步骤包括：
对所述待分级水果的融合点云图像进行下采样，基于下采样所得的多个采样点进行特征提取，得到采样点特征；
对所述融合点云图像进行体素划分，并对体素划分后的点云图像分别进行体素特征编码和稀疏特征提取，得到体素特征和深度体素特征，对所述深度体素特征进行投影，得到不同尺度的鸟瞰特征；
基于所述体素特征、所述采样点特征以及不同尺度的鸟瞰特征，分别进行分割检测、体积估计和重量估计，得到分割点云图像，以及所述待分级水果的体积和重量。
根据本发明提供的一种水果分级方法，所述基于所述待分级水果的体积和重量，以及所述成熟度等级和/或所述损伤等级，进行水果等级划分，得到所述待分级水果的水果等级，包括：
基于所述分割点云图像，进行果形拟合，得到所述待分级水果在二维平面上的最大果形轮廓，以及三维果形轮廓；
基于所述最大果形轮廓，以及所述三维果形轮廓，确定所述待分级水果的果形等级；
基于所述待分级水果的体积和重量、所述果形等级，以及所述成熟度等级和/或所述损伤等级，进行水果等级划分，得到所述待分级水果的水果等级。
根据本发明提供的一种水果分级方法，所述基于所述水果图像的图像特征，以及所述多光谱图像中各个通道的特征图，进行损伤检测，得到所述待分级水果的损伤等级，包括：
基于所述水果图像的图像特征，进行表皮损伤检测，得到所述待分级水果的表皮损伤情况；
基于所述多光谱图像中各个通道的特征图，进行皮下损伤检测，得到所述待分级水果的皮下损伤情况；
基于所述表皮损伤情况，以及所述皮下损伤情况，确定所述待分级水果的损伤等级。
根据本发明提供的一种水果分级方法，所述基于所述水果图像的图像特征，进行表皮损伤检测，得到所述待分级水果的表皮损伤情况，包括：
对所述水果图像进行特征提取，得到所述水果图像的图像特征，对所述图像特征进行解码，得到所述水果图像的水果特征图；
对所述水果特征图进行通道降维，得到单通道特征图，基于所述单通道特征图进行语义分割，得到各个分割区域的区域图像特征；
对各个区域图像特征和所述图像特征进行融合，并基于融合所得的特征，以及所述各个区域图像特征，进行表皮损伤检测，得到所述待分级水果的表皮损伤情况。
根据本发明提供的一种水果分级方法，所述基于所述多光谱图像中各个通道的特征图，进行皮下损伤检测，得到所述待分级水果的皮下损伤情况，包括：
对所述多光谱图像进行特征提取，得到多光谱图像特征，并对所述多光谱图像特征进行解码，得到所述多光谱图像的多光谱特征图；
基于所述多光谱特征图中各个通道之间的相关性，进行通道分离，得到各个通道的特征图，基于所述各个通道的特征图中的各个分割区域，进行皮下损伤检测，得到所述待分级水果的皮下损伤情况。
根据本发明提供的一种水果分级方法，所述基于所述多光谱图像的局部特征、全局特征和水果区域特征，进行成熟度检测，得到所述待分级水果的成熟度等级，包括：
分别提取所述多光谱图像的局部特征和全局特征；
对所述多光谱图像进行语义分割，并基于语义分割所得的所述多光谱图像中的水果区域进行特征提取，得到水果区域特征；
对所述局部特征、所述全局特征和所述水果区域特征进行融合，基于融合所得的特征进行成熟度检测，得到所述待分级水果的成熟度等级。
本发明还提供一种水果分级装置，包括：
图像获取单元，用于获取待分级水果的水果图像和多光谱图像；
指标检测单元，用于基于所述多光谱图像的局部特征、全局特征和水果区域特征，进行成熟度检测，得到所述待分级水果的成熟度等级；基于所述水果图像的图像特征，以及所述多光谱图像中各个通道的特征图，进行损伤检测，得到所述待分级水果的损伤等级；
水果分级单元，用于基于所述待分级水果的体积和重量，以及所述成熟度等级和/或所述损伤等级，进行水果等级划分，得到所述待分级水果的水果等级。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述的水果分级方法。
本发明还提供一种分拣系统，包括：图像采集设备、传送带、处理器以及机械臂；
所述图像采集设备用于采集所述传送带上的待分级水果的水果图像、多光谱图像和不同视角的点云图像，并将所述水果图像、所述多光谱图像和所述不同视角的点云图像传输至所述处理器；
所述处理器用于基于所述水果图像、所述多光谱图像，以及融合点云图像，确定所述待分级水果的水果等级，并将所述水果等级传输至所述机械臂；所述融合点云图像基于所述不同视角的点云图像确定；
所述机械臂用于基于所述水果等级，对所述待分级水果进行分拣。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述的水果分级方法。
本发明提供的水果分级方法、装置、电子设备、分拣系统和存储介质，从水果的大小规格和外形品质入手，通过水果图像和多光谱图像，确定了待分级水果成熟度等级和损伤等级，结合待分级水果的体积和重量，以及成熟度等级和/或损伤等级，进行综合性的水果等级划分，得到水果等级，通过不同层面指标的精准计算，实现了水果分级过程的精细化和全面化，以及水果经济效益的最大化，克服了传统方案中水果分级太过局限和粗糙，以致分级所得的水果等级的准确度和可信度低下的缺陷，在对应水果分级标准的基础上，借助综合性的信息进行自动化的水果分级，不仅减少了人力需求，降低了水果分级成本，提升了水果分级效率，还实现了水果等级的准确度和可信度的双重提升。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的水果分级方法的流程示意图；
图2是本发明提供的体积和重量的确定过程的示意图；
图3是本发明提供的体积和重量的确定过程的框架图；
图4是本发明提供的水果分级方法中步骤140的流程示意图；
图5是本发明提供的水果分级方法中步骤130的流程示意图；
图6是本发明提供的水果分级方法中步骤131的流程示意图；
图7是本发明提供的水果分级方法中步骤131的框架示意图；
图8是本发明提供的水果分级方法中步骤132的流程示意图；
图9是本发明提供的水果分级方法中步骤132的框架示意图；
图10是本发明提供的水果分级方法中步骤120的流程示意图；
图11是本发明提供的水果分级方法中步骤120的框架示意图；
图12是本发明提供的水果分级方法的总体框架图；
图13是本发明提供的水果分级装置的结构示意图；
图14是本发明提供的电子设备的结构示意图；
图15是本发明提供的分拣系统的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
目前，各地的水果分级标准间存在部分差异，但是各地的水果分级标准大体上均是从以下两个方面，对水果的品质进行度量：
其一是水果的大小规格，即水果的果径、体积、重量等，依据水果大小的不同，水果的品质可以分为3L、2L、L、M、S等，但是值得注意的是，不同种类水果的水果分级标准可能存在差异。
其二是水果的外形品质，其包括成熟度、完整度、优良度等，即水果的成熟情况，水果表面完整情况，以及色泽优良情况等。
当下的水果分级大多依赖于水果的体积或者重量，即是直接测算水果的体积或者重量，然后根据体积或者重量进行水果等级划分，简而言之，是直接从分拣机上按照果实大小进行分级，然而果实大小仅仅只是水果分级标准中的一个指标，仅将其作为水果分级的依据，则不仅会使得水果分级方案过于单薄和片面，局限性极强，还会导致分级得到的水果等级的准确度低下，可信度较差。
进一步地，在精细的水果分级上，目前主要依靠分拣传送带上的工人，或者水果店工作人员，而此种依靠人工进行水果分级的方式，不仅成本高昂，还效率低下，实用性较差。
综上可知，目前虽存在水果分级的相关标准，但是具体在实施时，由于各种问题(如场地问题、设备问题、成本问题等)，为了节省成本和提高效率，往往会简化分级流程，如此则会使得水果分级过程如同形式，意义不大，水果分级效果也极差。
对此，本发明提供一种水果分级方法，旨在利用计算机视觉技术，从水果的大小规格和外形品质入手，通过水果的体积和重量、成熟度等级、损伤等级等指标，进行综合评判，以得到水果等级，实现了水果分级过程的精细化和全面化，借助综合性的信息进行水果分级，能够极大地提升水果等级的准确度和可信度，同时自动化的流程减少了人力需求，降低了水果分级成本，提升了水果分级效率。图1是本发明提供的水果分级方法的流程示意图，如图1所示，该方法包括：
步骤110，获取待分级水果的水果图像和多光谱图像；
具体地，在进行水果分级之前，首先需要确定待分级水果，并获取待分级水果的图像，鉴于传统方案中基于单一指标的水果分级方法，会致使分级过程极为粗糙，分级所得的水果等级的准确度低下、可信度不高的情况，本发明实施例中从多个层面进行评判，以得到精细化的水果等级，从而实现水果等级的可信度和准确度的双重提升。
因此，此处在获取待分级水果的图像时，可以建立图像数据集，其中包括检测待分级水果的外形品质中成熟度情况和损伤情况的图像，具体可以是待分级水果的水果图像和多光谱图像。
其中，水果图像即待分级水果的RGB图像，其可以用于检测待分级水果的损伤情况；多光谱图像中由于包含待分级水果较为敏感的多个波段的光谱，因而可以据其进行成熟度检测和损伤检测，以获知待分级水果的成熟度情况和损伤情况。
步骤120，基于多光谱图像的局部特征、全局特征和水果区域特征，进行成熟度检测，得到待分级水果的成熟度等级；
具体地，步骤110中，得到待分级水果的多光谱图像之后，即可利用多光谱图像进行成熟度检测，以得到待分级水果的成熟度等级，具体过程包括如下步骤：
确定待分级水果的种类之后，依据水果的种类进行光谱查询，可以获知待分级水果对于哪部分波段的光谱较为敏感，从而得到待分级水果敏感的光谱波段，而在选定敏感波段后，即可利用多光谱相机采集待分级水果的图像，从而得到多光谱图像；又由于不同成熟度对应于多光谱图像上的表现形式不同，因而，可以利用此多光谱图像进行成熟度检测，以得到待分级水果的成熟度等级。
鉴于此，针对于待分级水果的多光谱图像，本发明实施例中可以采用混合检测算法，以提升成熟度检测的准确性，具体可以是，分三条支路进行就按测，其中一条用于从局部上提取CNN(Convolutional Neural Network)特征，即多光谱图像的局部特征，另一条则用于从全局上提取图像的特征，即多光谱图像的全局特征，中间的支路则为语义分割支路，用于对多光谱图像进行语义分割，以从中提取待分级水果的水果区域，并提取水果区域的CNN特征，即水果区域特征；
此后，即可以此局部特征、全局特征和水果区域特征为基准，对待分级水果进行成熟度检测，以确定待分级水果的成熟度等级，具体可以是，对此三者进行融合，以利用融合所得的特征进行成熟度检测，从而得到待分级水果的成熟度等级。此处，对于待分级水果的成熟度可以预先将其划分为若干个等级，例如，4、5、6等，检测得到的成熟度等级对应于其中某一等级。
值得注意的是，此处针对于上述三者融合的情况，局部特征可以弥补全局特征中缺失的细节信息，全局特征则可以补充局部特征在提取过程中丢失的全局语义信息，而水果区域特征则可以同时补充上述两者中缺少的针对于待分级水果的水果信息，三者的互相补充能够使得由此得到的特征能够更加完成的反映待分级水果的成熟度信息，从而能够更加精准的进行成熟度检测，以确保成熟度等级的精准度。
此处，三者融合的方式可以是拼接、相加、加权融合等，本发明实施例对此不做具体限定。
步骤130，基于水果图像的图像特征，以及多光谱图像中各个通道的特征图，进行损伤检测，得到待分级水果的损伤等级；
具体地，经过步骤110得到待分级水果的水果图像和多光谱图像之后，即可利用水果图像和多光谱图像进行损伤检测，以得到待分级水果的损伤等级，具体过程包括如下步骤：
由于水果的损伤分为了表皮损伤和皮下损伤，而可见光的水果图像无法直接对藏于表皮之下的损伤进行检测，因而，本发明实施例中同时借助于水果图像和多光谱图像，对待分级水果进行损伤检测，以获知其表皮以及皮下的损伤情况，从而明确其损伤等级。
鉴于此，可以利用待分级水果的水果图像，检测其表皮损伤，具体可以是，首先将水果图像输入至编码网络(Encoder)，以对水果图像进行特征提取，从而得到其图像特征，然后可利用此图像特征，进行表皮损伤检测，以确定其表皮损伤情况，即以水果图像的图像特征为基准，对待分级水果进行表皮损伤检测，从而得到其皮下损伤情况。
同时，可以利用待分级水果的多光谱图像，检测其皮下损伤，由于多光谱图像包含多个通道，每一通道对应一个波段，因而可以利用多光谱图像中各个通道的特征图，检测待分级水果的皮下损伤，以确定其皮下损伤情况，具体可以是，首先对多光谱图像进行编解码，以得到其多光谱特征图，然后可对此多光谱特征图进行通道分离，以得到各个通道的特征图，此后即可据此各个通道的特征图，进行皮下损伤检测，从而得到待分级水果的皮下损伤情况。
而后，即可结合表皮损伤情况以及皮下损伤情况，以确定待分级水果的损伤等级，具体可以是，在表皮损伤情况的基础上，结合皮下损伤情况，共同评判待分级水果的损伤情况，并对应确定其损伤等级。
步骤140，基于待分级水果的体积和重量，以及成熟度等级和/或损伤等级，进行水果等级划分，得到待分级水果的水果等级。
具体地，得到待分级水果的成熟度等级，以及损伤等级之后，即可结合待分级水果的体积和重量，以及成熟度等级和/或损伤等级，进行水果等级划分，以确定待分级水果的水果等级，具体过程包括：
首先，需获取待分级水果的融合点云图像，此处的融合点云图像是在不同视角的点云图像的基础上确定，即可以利用部署于传送带两侧的毫米波雷达设备或工业级的3D(3-Dimension，三维)相机，对传送带上的待分级水果进行图像采集，以得到待分级水果在两个不同视角的点云图像，然后对此两个不同视角的点云图像进行配准融合，从而得到待分级水果的融合点云图像。
此处，配准融合的过程，可以借助三维点云配准模型完成，具体可以是，将两个不同视角的点云图像输入值三维点云配准模型，由三维点云配准模型对输入的不同视角的点云图像进行配准融合，最终得到三维点云配准模型输出的融合点云图像。而在借助三维点云配准模型进行配融合之前，还可以应用不同视角的样本点云图像，以及样本点云图像中水果位置标签，预先训练得到三维点云配准模型。
随即，可以借此融合点云图像，确定待分级水果的体积和重量，具体可以是，对于融合点云图像，首先可以对齐以进行体素网格的划分，得到体素划分后的点云图像，然后可以从此体素划分后的点云图像中提取voxel特征(Volume Pixel feature，体素特征)，以及点云中Points特征(Points feature，采样点特征)，此处Points即对融合点云图像进行下采样所得的多个采样点，采样点越多，采样点特征的表达能力越强，反之，特征表达能力越弱。值得注意的是，此处体素特征和采样点特征的融合特征，可以视为融合点云图像的图像特征。
同时，针对于融合点云图像，可以利用不同尺度的卷积函数，以得到不同尺度的特征图，然后不同尺度的特征图可以进行融合和上采样，最终能够得到不同尺度的BEV特征(Bird′s Eye View，鸟瞰特征)。
而后，即可利用融合点云图像的体素特征、采样点特征，以及不同尺度的鸟瞰特征，进行重量估计和体积估计，以确定待分级水果的重量和体积，即可以将体素特征、采样点特征，以及不同尺度的鸟瞰特征视为整体的特征，利用其在体积层面和重量层面进行预测，以通过回归估计得到待分级水果的体积和重量。
随后，从对应区域下的所有水果分级标准中，确定对应于待分级水果的种类的水果分级标准，即以待分级水果的种类为索引，从对应区域下的所有水果分级标准中查找确定该种类对应的水果分级标准；
此后，在待分级水果的体积和重量，以及成熟度等级和/或损伤等级的基础上，对比待分级水果的种类对应的水果分级标准，以确定其水果等级，即可以直接将待分级水果的各类指标与对应水果分级标准中的对应指标进行对比，结合各类指标的对比结果，确定水果等级。
具体而言，可以是将待分级水果的体积和重量，以及成熟度等级，与对应水果分级标准中的体积分级标准和重量分级标准，以及成熟度分级标准进行对比，据此对比结果确定待分级水果的水果等级；也可以是将待分级水果的体积和重量，以及损伤等级，与对应水果分级标准中的体积分级标准和重量分级标准，以及损伤分级标准进行对比，据此对比结果确定待分级水果的水果等级；还可以是将分级水果的体积和重量、成熟度等级以及损伤等级，与对应水果分级标准中的体积分级标准和重量分级标准、成熟度分级标准，以及损伤分级标准进行对比，据此对比结果综合评判待分级水果的水果等级。
本发明提供的水果分级方法，从水果的大小规格和外形品质入手，通过水果图像和多光谱图像，确定了待分级水果成熟度等级和损伤等级，结合待分级水果的体积和重量，以及成熟度等级和/或损伤等级，进行综合性的水果等级划分，得到水果等级，通过不同层面指标的精准计算，实现了水果分级过程的精细化和全面化，以及水果经济效益的最大化，克服了传统方案中水果分级太过局限和粗糙，以致分级所得的水果等级的准确度和可信度低下的缺陷，在对应水果分级标准的基础上，借助综合性的信息进行自动化的水果分级，不仅减少了人力需求，降低了水果分级成本，提升了水果分级效率，还实现了水果等级的准确度和可信度的双重提升。
基于上述实施例，图2是本发明提供的体积和重量的确定过程的示意图，如图2所示，待分级水果的体积和重量的确定步骤：
步骤210，对待分级水果的融合点云图像进行下采样，基于下采样所得的多个采样点进行特征提取，得到采样点特征；
步骤220，对融合点云图像进行体素划分，并对体素划分后的点云图像分别进行体素特征编码和稀疏特征提取，得到体素特征和深度体素特征，对深度体素特征进行投影，得到不同尺度的鸟瞰特征；
步骤230，基于体素特征、采样点特征以及不同尺度的鸟瞰特征，分别进行分割检测、体积估计和重量估计，得到分割点云图像，以及待分级水果的体积和重量。
具体地，图3是本发明提供的体积和重量的确定过程的框架图，参见图3可知，待分级水果的体积和重量的确定过程，包括以下步骤：
步骤210，首先可以获取待分级水果的融合点云图像，并对融合点云图像进行下采样，以得到多个采样点，并可对此多个采样点进行特征提取，从而得到采样点特征，具体可以是，对融合点云图像进行点云的下采样，得到不同的采样点，然后对采样点设置查询半径，并将设定好的采样点输入至两层的三维卷积神经网络中进行特征提取，将此时得到的特征再经过多层感知机(Multilayer Perceptron，MLP)和Max Pooling层(最大池化层)，最终得到采样点特征。
其中，查询半径能够直接影响采样点特征的细粒度，而基于采样点的特征(采样点特征)展现了融合点云图像的细粒度程度。并且，采样点越多则采样点特征的表达能力越强，对应的内存越大；反之，采样点越少则采样点特征的表达能力越弱，对应的内存越小。
步骤220，同时可以对融合点云图像进行体素划分，从而得到体素划分后的点云图像，并可对此点云图像进行体素特征编码，以得到体素特征，具体可以是，若点云的维度大小为(D,H,W)，每个体素的大小为(Vd,Vh,Vw)，则将点云在三个维度上按照一定的大小进行划分，划分后点云的维度为(D/Vd,D/Vh,D/Vw)，本发明实施例中，将融合点云图像按照点云所属的体素进行划分，每个体素中的点的数量不同，然后对每个体素内的点进行均匀采样，得到多个采样点(T个采样点)，此T个采样点即代表了对应体素，将此T个采样点输入至多个连续的VFE(Voxel Feature Encoding，体素特征编码)层中，以进行体素编码，随后将体素编码层输出的特征再输入至MLP和Max Pooling层，最终能够体素特征；
此处，融合点云图像的体素特征体现了三维空间中各个体素之间的关联关系，其保留了沿Z轴的特征表达能力；并且对于空的体素，此处仅保留位置信息，即该体素的坐标位置。
进一步地，由于鸟瞰特征可以视为三维物体在二维空间上的投影，其感受野较大，能够捕捉丰富的上下文信息，有益于三维物体的检测，因而，在得到体素划分后的点云图像之后，还可对其进行稀疏特征提取，以得到深度体素特征，并可对此深度体素特征进行投影，以得到不同尺度的鸟瞰特征，具体可以是，首先将体素划分后的点云图像，输入至稀疏三维卷积神经网络，得到网络输出的深度体素特征，然后将该深度体素特征作为二维特征，通过二维卷积和上采样，以得到不同尺度的鸟瞰特征。
步骤230，即可对此体素特征、采样点特征以及不同尺度的鸟瞰特征进行融合，得到各个采样点的融合特征，具体可以是，体素特征为Fv，采样点特征为Fp，鸟瞰特征为Fb，考虑到不同特征对应的属性不同，因而此处以采样点特征为基准，采样点的数为M，体素的个数为N，M>N，将采样点归属至各自的体素中，对N进行扩充以使N与M大小相同，然后计算Fp与Fv的转置的乘积，得到一个M*M的矩阵，沿着矩阵最后一个维度进行Softmax，以归一化到0与1之间，得到每个采样点的特征(Fip)和不同的体素特征之间的相似度；
接着，将各个相似度降序排列，即按照相似度从高到低的顺序进行排列，从此相似度序列中选取前预设数量个(k个)相似度对应的体素特征，并据此k个体素特征进行加权平均，以得到新的体素特征Fiv，同时可基于采样点的位置确定对应的鸟瞰特征Fib，然后对此三者进行融合(Concat)，以得到各个采样点的融合特征Fi＝[Fip,Fiv,Fib]；该融合特征为基于一个采样点的特征，而对所有采样点的融合特征进行组合，即可得到融合特征F。
而后，即可据此融合特征，进行分割检测、体积估计和重量估计，以得到分割点云图像，以及待分级水果的体积和重量，具体可以是，以每个采样点的融合特征Fi为基准，利用三个支路分别对每个采样点的3Dboxes框与置信度得分、体积和重量进行回归估计，换而言之，即通过三个MLP支路分别进行分割检测、体积估计以及重量估计，从而得到分割点云图像，以及待分级水果的体积和重量。
此处，对于分割检测支路，不直接回归中心点，而是预测当前采样点到物体中心点的位置偏移量，采用smooth L1损失对逐点进行边界框回归进行约束，对于置信度得分，采用检测到的3D boxes与真实的3D boxes的IOU(Intersection over Union，交并比)作为对应的得分，其损失函数也采用smooth L1损失。
对于体积估计支路和重量估计支路，则直接回归对应的体积和重量，并分别使用MAE(Mean Absolute Error，均绝对误差)损失进行约束。此外，还可以使用两个支路的损失进行联合约束，即依据密度计算公式，通过重量和体积求得密度，将其作为一个额外约束，而对于密度的损失函数同样采用MSE损失，简而言之，增设了密度损失函数，用于约束体积和重量。
基于上述实施例，图4是本发明提供的水果分级方法中步骤140的流程示意图，如图4所示，步骤140包括：
步骤141，基于分割点云图像，进行果形拟合，得到待分级水果在二维平面上的最大果形轮廓，以及三维果形轮廓；
步骤142，基于最大果形轮廓，以及三维果形轮廓，确定待分级水果的果形等级；
步骤143，基于待分级水果的体积和重量、果形等级以及成熟度等级和/或损伤等级，进行水果等级划分，得到待分级水果的水果等级。
具体地，步骤140中，依据待分级水果的体积和重量，以及成熟度等级和/或损伤等级，进行水果等级划分，从而得到水果等级的过程，具体可以包括如下步骤：
步骤141，首先可以利用通过分割检测得到的分割点云图像，进行果形拟合，以确定待分级水果在二维平面上的最大果形轮廓，以及其三维果形轮廓，具体可以是，对分割点云图像进行投影，以确定其在二维面上的最大果形轮廓，简而言之，通过其在二维面上的投影可以直接拟合得到待分级水果的最大果形轮廓，同时在分割点云图像的基础上，也可以拟合得到待分级水果的三维形状，即三维果形轮廓。
步骤142，随即可以结合待分级水果的最大果形轮廓和三维果形轮廓，确定待分级水果的果形等级，具体可以是，通过对比待分级水果在二维平面上的最大果形轮廓，以及三维果形轮廓，进行综合评判以确定待分级水果在果形层面的优劣程度，即其果形等级。
步骤143，此后即可在前述确定的待分级水果的各类指标的基础上，结合其果形等级，进行水果等级划分，以确定其水果等级，即依据体积和重量、果形等级，以及成熟度等级和/或损伤等级，对待分级水果进行水果等级划分，从而得到其水果等级，具体可以是，将待分级水果的上述指标与对应水果分级标准中的对应指标进行对比，结合各类指标的对比结果，确定待分级水果的水果等级。
具体而言，可以是将待分级水果的体积和重量、果形等级，以及成熟度等级，与对应水果分级标准中的体积分级标准和重量分级标准、果形分级标准，以及成熟度分级标准进行对比，据此对比结果确定待分级水果的水果等级；也可以是将待分级水果的体积和重量、果形等级，以及损伤等级，与对应水果分级标准中的体积分级标准和重量分级标准、果形分级标准，以及损伤分级标准进行对比，据此对比结果确定待分级水果的水果等级；还可以是将分级水果的体积和重量、果形等级、成熟度等级以及损伤等级，与对应水果分级标准中的体积分级标准和重量分级标准、果形分级标准、成熟度分级标准，以及损伤分级标准进行对比，据此对比结果综合评判待分级水果的水果等级。
基于上述实施例，图5是本发明提供的水果分级方法中步骤130的流程示意图，如图5所示，步骤130包括：
步骤131，基于水果图像的图像特征，进行表皮损伤检测，得到待分级水果的表皮损伤情况；
步骤132，基于多光谱图像中各个通道的特征图，进行皮下损伤检测，得到待分级水果的皮下损伤情况；
步骤133，基于表皮损伤情况，以及皮下损伤情况，确定待分级水果的损伤等级。
具体地，由于水果损伤分为两种，其一是可以直接看见的表皮损伤，例如，果皮裂开、表皮溃烂等，其二则为藏于表皮下的皮下损伤，例如，因碰撞、挤压等导致的果肉损磕、果肉分离、果肉变质等，此种损伤无法直接从表皮看出。鉴于此，本发明实施例中，需针对此两者进行检测，又由于因碰撞、挤压等造成的皮下损伤，难以通过可见光图像进行检测，遂转用多光谱图像进行检测。
因而，步骤130中，依据水果图像的图像特征，以及多光谱图像中各个通道的特征图，进行损伤检测，从而得到待分级水果的损伤等级的过程，具体可以包括如下步骤：
步骤131，首先可以利用水果图像的图像特征，检测待分级水果的表皮损伤情况，具体可以是，将待分级水果的水果图像输入至编码网络，以对其进行特征提取，从而得到其图像特征，接着可利用此图像特征，进行表皮损伤检测，以确定其表皮损伤情况，即可以在此图像特征解码得到的水果特征图的基础上，进行语义分割，得到分割结果(各个分割区域的区域图像特征)，而后结合分割结果和图像特征，即可检测得到待分级水果的表皮损伤情况。
需要说明的是，此处通过分割结果进行表皮损伤检测，实质上针对的是不同分割区域的损伤分类，而非对于整个水果图像的损伤检测，即是通过语义分割的分割结果辅助分类，以明确表皮损伤情况。
步骤132，同时可以利用多光谱图像中各个通道的特征图，检测待分级水果的皮下损伤情况，由于多光谱图像包含多个通道，每一通道对应一个波段，因而可以对其进行通道分离，以获取各个通道的图像，具体可以是，在多光谱图像编解码得到的多光谱特征图的基础上，依据多光谱特征图中各个通道之间的相关性，进行通道分离，从而得到各个通道的特征图，而后即可据此各个通道的特征图，检测得到待分级水果的皮下损伤情况。
步骤133，随后即可依据待分级水果的表皮损伤情况，以及其皮下损伤情况，确定其损伤等级，即结合表皮损伤情况和皮下损伤情况，共同评判待分级水果的损伤情况，并对应确定其损伤等级。
基于上述实施例，图6是本发明提供的水果分级方法中步骤131的流程示意图，如图6所示，步骤131包括：
步骤131-1，对水果图像进行特征提取，得到水果图像的图像特征，对图像特征进行解码，得到水果图像的水果特征图；
步骤131-2，对水果特征图进行通道降维，得到单通道特征图，基于单通道特征图进行语义分割，得到各个分割区域的区域图像特征；
步骤131-3，对各个区域图像特征和图像特征进行融合，并基于融合所得的特征，以及各个区域图像特征，进行表皮损伤检测，得到待分级水果的表皮损伤情况。
具体地，步骤131中，利用水果图像的图像特征，进行表皮损伤检测，从而得到待分级水果的表皮损伤情况的过程，包括以下步骤：图7是本发明提供的水果分级方法中步骤131的框架示意图，参见图7可知，待分级水果的表皮损伤情况的检测过程，具体可以包括：
步骤131-1，首先对水果图像进行特征提取，以得到其图像特征，并对图像特征进行解码，以得到水果图像的水果特征图，具体可以是，将水果图像输入至编码网络，以对其进行特征提取，从而得到其图像特征，然后连接一个语义分割支路和一个分类支路，语义分割支路中，先通过解码网络(Decoder)对图像特征进行解码，能够得到与水果图像大小一致的水果特征图；
步骤131-2，接着通过1*1卷积层对水果特征图进行通道降维，以将其降维至单通道，从而得到单通道特征图，再利用单通道特征图进行语义分割，从而得到各个分割区域的区域图像特征，即在单通道特征图的基础上进行语义分割，通过sigmod函数得到分割结果，即各个分割区域的区域图像特征；
步骤131-3，随后将分割结果压缩后与编码网络输出的图像特征进行融合，并在融合所得的特征的基础上，通过卷积层进行进一步的特征提取，此后即可将卷积层输出的特征与分割结果进行特征聚合，即将分割结果通过Max Pooling层和1*1卷积层，然后将此时输出的特征与卷积层输出的特征进行点乘，得到分类支路的分类结果，即对待分级水果进行表皮损伤检测，得到的表皮损伤情况。
需要说明的是，此处的分类结果针对的是不同分割区域，而非整个水果图像，通过语义分割的分割结果辅助分类，从而实现针对于待分级水果的表皮损伤检测，明确了其表皮损伤情况。
基于上述实施例，图8是本发明提供的水果分级方法中步骤132的流程示意图，如图8所示，步骤132包括：
步骤132-1，对多光谱图像进行特征提取，得到多光谱图像特征，并对多光谱图像特征进行解码，得到多光谱图像的多光谱特征图；
步骤132-2，基于多光谱特征图中各个通道之间的相关性，进行通道分离，得到各个通道的特征图，基于各个通道的特征图中的各个分割区域，进行皮下损伤检测，得到待分级水果的皮下损伤情况。
具体地，步骤132中，利用多光谱图像中各个通道的特征图，进行皮下损伤检测，从而得到待分级水果的皮下损伤情况的过程，包括以下步骤：图9是本发明提供的水果分级方法中步骤132的框架示意图，如图9所示，待分级水果的皮下损伤情况的检测过程，具体包括：
步骤132-1，首先可以对多光谱图像进行特征提取，以确定其多光谱图像特征，并可对多光谱图像特征进行解码，从而得到多光谱图像的多光谱特征图，具体可以是，通过编码网络对多光谱图像进行特征提取，得到多光谱图像特征，然后可通过解码网络对多光谱图像特征进行解码，能够与多光谱图像大小一致的多光谱特征图；
步骤132-2，接着可以通过SENet对不同通道间的关系进行建模，以获取各个通道的重要程度，从而加重相关通道特征的提取，并削弱无关通道特征的提取，然后对不同的通道采用注意力机制，以获取各个通道之间的相关性，并据此相关性进行通道分离，从而得到各个通道的特征图，而后即可利用各个通道的特征图中的各个分割区域，进行皮下损伤检测，从而得到待分级水果的皮下损伤情况，即分别对各个通道的特征图进行分割区域的提取，通过连通域和得分合并得到最终的分类结果，即待分级水果的皮下损伤情况。
基于上述实施例，图10是本发明提供的水果分级方法中步骤120的流程示意图，如图10所示，步骤120包括：
步骤121，分别提取多光谱图像的局部特征和全局特征；
步骤122，对多光谱图像进行语义分割，并基于语义分割所得的多光谱图像中的水果区域进行特征提取，得到水果区域特征；
步骤123，对局部特征、全局特征和水果区域特征进行融合，基于融合所得的特征进行成熟度检测，得到待分级水果的成熟度等级。
具体地，步骤120中，利用多光谱图像的局部特征、全局特征以及水果区域特征，进行成熟度检测，得到待分级水果的成熟度等级的过程，包括以下步骤：图11是本发明提供的水果分级方法中步骤120的框架示意图，如图11所示，待分级水果的成熟度检测过程，包括：
步骤121，首先可以对多光谱图像分别进行局部特征提取和全局特征提取，具体可以是，通过卷积神经网络对多光谱图像进行局部特征提取，得到其局部特征，同时可以利用多个连续的Swin Transformer Block提取多光谱图像的全局特征；
步骤122，同时可以对多光谱图像进行语义分割，并利用语义分割所得的多光谱图像中的水果区域进行特征提取，得到水果区域特征，具体可以是，使用语义分割网络对多光谱图像进行语义分割，将分割结果中除水果区域以外的直接各个区域直接置零，而保留水果区域，然后对水果区域进行特征提取，从而得到水果区域特征；
步骤123，随后即可对多光谱图像的局部特征、全局特征以及水果区域特征进行融合，并利用融合所得的特征进行成熟度检测，从而得到待分级水果的成熟度等级，具体可以是，对上述三者进行融合，然后通过全连接层进行降维，最后分类输出待分级水果的成熟度等级。
值得注意的是，此处针对于上述三者融合的情况，局部特征可以弥补全局特征中缺失的细节信息，全局特征则可以补充局部特征在提取过程中丢失的全局语义信息，而水果区域特征则可以同时补充上述两者中缺少的针对于待分级水果的水果信息，三者的互相补充能够使得由此得到的特征能够更加完成的反映待分级水果的成熟度信息，从而能够更加精准的进行成熟度检测，以确保成熟度等级的精准度。
此处，三者融合的方式可以是拼接、相加、加权融合等，而作为优选，本发明实施例中将融合方式选定为拼接。
图12是本发明提供的水果分级方法的总体框架图，如图12所示，该方法包括：
首先，获取待分级水果的水果图像和多光谱图像；
随即，基于多光谱图像的局部特征、全局特征和水果区域特征，进行成熟度检测，得到待分级水果的成熟度等级，具体可以是，分别提取多光谱图像的局部特征和全局特征；对多光谱图像进行语义分割，并基于语义分割所得的多光谱图像中的水果区域进行特征提取，得到水果区域特征；对局部特征、全局特征和水果区域特征进行融合，基于融合所得的特征进行成熟度检测，得到待分级水果的成熟度等级；
同时，基于水果图像的图像特征，以及多光谱图像中各个通道的特征图，进行损伤检测，得到待分级水果的损伤等级，具体可以是，基于水果图像的图像特征，进行表皮损伤检测，得到待分级水果的表皮损伤情况；基于多光谱图像中各个通道的特征图，进行皮下损伤检测，得到待分级水果的皮下损伤情况；基于表皮损伤情况，以及皮下损伤情况，确定待分级水果的损伤等级；
其中，基于水果图像的图像特征，进行表皮损伤检测，得到待分级水果的表皮损伤情况，包括：对水果图像进行特征提取，得到水果图像的图像特征，对图像特征进行解码，得到水果图像的水果特征图；对水果特征图进行通道降维，得到单通道特征图，基于单通道特征图进行语义分割，得到各个分割区域的区域图像特征；对各个区域图像特征和图像特征进行融合，并基于融合所得的特征，以及各个区域图像特征，进行表皮损伤检测，得到待分级水果的表皮损伤情况。
基于多光谱图像中各个通道的特征图，进行皮下损伤检测，得到待分级水果的皮下损伤情况，包括：对多光谱图像进行特征提取，得到多光谱图像特征，并对多光谱图像特征进行解码，得到多光谱图像的多光谱特征图；基于多光谱特征图中各个通道之间的相关性，进行通道分离，得到各个通道的特征图，基于各个通道的特征图中的各个分割区域，进行皮下损伤检测，得到待分级水果的皮下损伤情况。
此后，基于待分级水果的体积和重量，以及成熟度等级和/或损伤等级，进行水果等级划分，得到待分级水果的水果等级，具体可以是，基于分割点云图像，进行果形拟合，得到待分级水果在二维平面上的最大果形轮廓，以及三维果形轮廓；基于最大果形轮廓，以及三维果形轮廓，确定待分级水果的果形等级；基于待分级水果的体积和重量、果形等级以及成熟度等级和/或损伤等级，进行水果等级划分，得到待分级水果的水果等级。
其中，待分级水果的体积和重量的确定步骤包括：对待分级水果的融合点云图像进行下采样，基于下采样所得的多个采样点进行特征提取，得到采样点特征；对融合点云图像进行体素划分，并对体素划分后的点云图像分别进行体素特征编码和稀疏特征提取，得到体素特征和深度体素特征，对深度体素特征进行投影，得到不同尺度的鸟瞰特征；基于体素特征、采样点特征以及不同尺度的鸟瞰特征，分别进行分割检测、体积估计和重量估计，得到分割点云图像，以及待分级水果的体积和重量。
本发明实施例提供的方法，从水果的大小规格和外形品质入手，通过水果图像和多光谱图像，确定了待分级水果成熟度等级和损伤等级，结合待分级水果的体积和重量，以及成熟度等级和/或损伤等级，进行综合性的水果等级划分，得到水果等级，通过不同层面指标的精准计算，实现了水果分级过程的精细化和全面化，以及水果经济效益的最大化，克服了传统方案中水果分级太过局限和粗糙，以致分级所得的水果等级的准确度和可信度低下的缺陷，在对应水果分级标准的基础上，借助综合性的信息进行自动化的水果分级，不仅减少了人力需求，降低了水果分级成本，提升了水果分级效率，还实现了水果等级的准确度和可信度的双重提升。
下面对本发明提供的水果分级装置进行描述，下文描述的水果分级装置与上文描述的水果分级方法可相互对应参照。
图13是本发明提供的水果分级装置的结构示意图，如图13所示，该装置包括：
图像获取单元1310，用于获取待分级水果的水果图像和多光谱图像；
指标检测单元1320，用于基于所述多光谱图像的局部特征、全局特征和水果区域特征，进行成熟度检测，得到所述待分级水果的成熟度等级；基于所述水果图像的图像特征，以及所述多光谱图像中各个通道的特征图，进行损伤检测，得到所述待分级水果的损伤等级；
水果分级单元1330，用于基于所述待分级水果的体积和重量，以及所述成熟度等级和/或所述损伤等级，进行水果等级划分，得到所述待分级水果的水果等级。
本发明提供的水果分级装置，从水果的大小规格和外形品质入手，通过水果图像和多光谱图像，确定了待分级水果成熟度等级和损伤等级，结合待分级水果的体积和重量，以及成熟度等级和/或损伤等级，进行综合性的水果等级划分，得到水果等级，通过不同层面指标的精准计算，实现了水果分级过程的精细化和全面化，以及水果经济效益的最大化，克服了传统方案中水果分级太过局限和粗糙，以致分级所得的水果等级的准确度和可信度低下的缺陷，在对应水果分级标准的基础上，借助综合性的信息进行自动化的水果分级，不仅减少了人力需求，降低了水果分级成本，提升了水果分级效率，还实现了水果等级的准确度和可信度的双重提升。
基于上述实施例，指标检测单元1320还用于：
对所述待分级水果的融合点云图像进行下采样，基于下采样所得的多个采样点进行特征提取，得到采样点特征；
对所述融合点云图像进行体素划分，并对体素划分后的点云图像分别进行体素特征编码和稀疏特征提取，得到体素特征和深度体素特征，对所述深度体素特征进行投影，得到不同尺度的鸟瞰特征；
基于所述体素特征、所述采样点特征以及不同尺度的鸟瞰特征，分别进行分割检测、体积估计和重量估计，得到分割点云图像，以及所述待分级水果的体积和重量。
基于上述实施例，水果分级单元1330用于：
基于所述分割点云图像，进行果形拟合，得到所述待分级水果在二维平面上的最大果形轮廓，以及三维果形轮廓；
基于所述最大果形轮廓，以及所述三维果形轮廓，确定所述待分级水果的果形等级；
基于所述待分级水果的体积和重量、所述果形等级，以及所述成熟度等级和/或所述损伤等级，进行水果等级划分，得到所述待分级水果的水果等级。
基于上述实施例，指标检测单元1320用于：
基于所述水果图像的图像特征，进行表皮损伤检测，得到所述待分级水果的表皮损伤情况；
基于所述多光谱图像中各个通道的特征图，进行皮下损伤检测，得到所述待分级水果的皮下损伤情况；
基于所述表皮损伤情况，以及所述皮下损伤情况，确定所述待分级水果的损伤等级。
基于上述实施例，指标检测单元1320用于：
对所述水果图像进行特征提取，得到所述水果图像的图像特征，对所述图像特征进行解码，得到所述水果图像的水果特征图；
对所述水果特征图进行通道降维，得到单通道特征图，基于所述单通道特征图进行语义分割，得到各个分割区域的区域图像特征；
对各个区域图像特征和所述图像特征进行融合，并基于融合所得的特征，以及所述各个区域图像特征，进行表皮损伤检测，得到所述待分级水果的表皮损伤情况。
基于上述实施例，指标检测单元1320用于：
对所述多光谱图像进行特征提取，得到多光谱图像特征，并对所述多光谱图像特征进行解码，得到所述多光谱图像的多光谱特征图；
基于所述多光谱特征图中各个通道之间的相关性，进行通道分离，得到各个通道的特征图，基于所述各个通道的特征图中的各个分割区域，进行皮下损伤检测，得到所述待分级水果的皮下损伤情况。
基于上述实施例，指标检测单元1320用于：
分别提取所述多光谱图像的局部特征和全局特征；
对所述多光谱图像进行语义分割，并基于语义分割所得的所述多光谱图像中的水果区域进行特征提取，得到水果区域特征；
对所述局部特征、所述全局特征和所述水果区域特征进行融合，基于融合所得的特征进行成熟度检测，得到所述待分级水果的成熟度等级。
基于上述实施例，本发明还提供一种分拣系统，图15是本发明提供的分拣系统的结构示意图，如图15所示，该系统包括图像采集设备1510、传送带1520、处理器1410以及机械臂1530；
所述图像采集设备1510用于采集所述传送带1520上的待分级水果的水果图像、多光谱图像和不同视角的点云图像，并将所述水果图像、所述多光谱图像和所述不同视角的点云图像传输至所述处理器1410；
所述处理器1410用于基于所述水果图像、所述多光谱图像，以及融合点云图像，确定所述待分级水果的水果等级，并将所述水果等级传输至所述机械臂1530；所述融合点云图像基于所述不同视角的点云图像确定；
所述机械臂1530用于基于所述水果等级，对所述待分级水果进行分拣。
本发明提供的分拣系统，处理器应用图像采集设备所采集的图像，实现了待分级水果的自动分级，完善了水果分级流程，实现了水果分级的全面性和精细化，同时提升了水果等级的准确度和可信度；此外，通过处理器与机械臂的连接，可以使得机械臂分品质分批次进行水果分拣，实现了水果从采摘分级至包装售卖全流程的自动化，与此同时，能够使得水果的经济效益最大化。
图14示例了一种电子设备的实体结构示意图，如图14所示，该电子设备可以包括：处理器(processor)1410、通信接口(Communications Interface)1420、存储器(memory)1430和通信总线1440，其中，处理器1410，通信接口1420，存储器1430通过通信总线1440完成相互间的通信。处理器1410可以调用存储器1430中的逻辑指令，以执行水果分级方法，该方法包括：获取待分级水果的水果图像和多光谱图像；基于所述多光谱图像的局部特征、全局特征和水果区域特征，进行成熟度检测，得到所述待分级水果的成熟度等级；基于所述水果图像的图像特征，以及所述多光谱图像中各个通道的特征图，进行损伤检测，得到所述待分级水果的损伤等级；基于所述待分级水果的体积和重量，以及所述成熟度等级和/或所述损伤等级，进行水果等级划分，得到所述待分级水果的水果等级。
此外，上述的存储器1430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的水果分级方法，该方法包括：获取待分级水果的水果图像和多光谱图像；基于所述多光谱图像的局部特征、全局特征和水果区域特征，进行成熟度检测，得到所述待分级水果的成熟度等级；基于所述水果图像的图像特征，以及所述多光谱图像中各个通道的特征图，进行损伤检测，得到所述待分级水果的损伤等级；基于所述待分级水果的体积和重量，以及所述成熟度等级和/或所述损伤等级，进行水果等级划分，得到所述待分级水果的水果等级。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法所提供的水果分级方法，该方法包括：获取待分级水果的水果图像和多光谱图像；基于所述多光谱图像的局部特征、全局特征和水果区域特征，进行成熟度检测，得到所述待分级水果的成熟度等级；基于所述水果图像的图像特征，以及所述多光谱图像中各个通道的特征图，进行损伤检测，得到所述待分级水果的损伤等级；基于所述待分级水果的体积和重量，以及所述成熟度等级和/或所述损伤等级，进行水果等级划分，得到所述待分级水果的水果等级。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (11)
1.一种水果分级方法，其特征在于，包括：
获取待分级水果的水果图像和多光谱图像；
基于所述多光谱图像的局部特征、全局特征和水果区域特征，进行成熟度检测，得到所述待分级水果的成熟度等级；
基于所述水果图像的图像特征，以及所述多光谱图像中各个通道的特征图，进行损伤检测，得到所述待分级水果的损伤等级；
基于所述待分级水果的体积和重量，以及所述成熟度等级和/或所述损伤等级，进行水果等级划分，得到所述待分级水果的水果等级。
2.根据权利要求1所述的水果分级方法，其特征在于，所述待分级水果的体积和重量的确定步骤包括：
对所述待分级水果的融合点云图像进行下采样，基于下采样所得的多个采样点进行特征提取，得到采样点特征；
对所述融合点云图像进行体素划分，并对体素划分后的点云图像分别进行体素特征编码和稀疏特征提取，得到体素特征和深度体素特征，对所述深度体素特征进行投影，得到不同尺度的鸟瞰特征；
基于所述体素特征、所述采样点特征以及不同尺度的鸟瞰特征，分别进行分割检测、体积估计和重量估计，得到分割点云图像，以及所述待分级水果的体积和重量。
3.根据权利要求2所述的水果分级方法，其特征在于，所述基于所述待分级水果的体积和重量，以及所述成熟度等级和/或所述损伤等级，进行水果等级划分，得到所述待分级水果的水果等级，包括：
基于所述分割点云图像，进行果形拟合，得到所述待分级水果在二维平面上的最大果形轮廓，以及三维果形轮廓；
基于所述最大果形轮廓，以及所述三维果形轮廓，确定所述待分级水果的果形等级；
基于所述待分级水果的体积和重量、所述果形等级，以及所述成熟度等级和/或所述损伤等级，进行水果等级划分，得到所述待分级水果的水果等级。
4.根据权利要求1至3中任一项所述的水果分级方法，其特征在于，所述基于所述水果图像的图像特征，以及所述多光谱图像中各个通道的特征图，进行损伤检测，得到所述待分级水果的损伤等级，包括：
基于所述水果图像的图像特征，进行表皮损伤检测，得到所述待分级水果的表皮损伤情况；
基于所述多光谱图像中各个通道的特征图，进行皮下损伤检测，得到所述待分级水果的皮下损伤情况；
基于所述表皮损伤情况，以及所述皮下损伤情况，确定所述待分级水果的损伤等级。
5.根据权利要求4所述的水果分级方法，其特征在于，所述基于所述水果图像的图像特征，进行表皮损伤检测，得到所述待分级水果的表皮损伤情况，包括：
对所述水果图像进行特征提取，得到所述水果图像的图像特征，对所述图像特征进行解码，得到所述水果图像的水果特征图；
对所述水果特征图进行通道降维，得到单通道特征图，基于所述单通道特征图进行语义分割，得到各个分割区域的区域图像特征；
对各个区域图像特征和所述图像特征进行融合，并基于融合所得的特征，以及所述各个区域图像特征，进行表皮损伤检测，得到所述待分级水果的表皮损伤情况。
6.根据权利要求4所述的水果分级方法，其特征在于，所述基于所述多光谱图像中各个通道的特征图，进行皮下损伤检测，得到所述待分级水果的皮下损伤情况，包括：
对所述多光谱图像进行特征提取，得到多光谱图像特征，并对所述多光谱图像特征进行解码，得到所述多光谱图像的多光谱特征图；
基于所述多光谱特征图中各个通道之间的相关性，进行通道分离，得到各个通道的特征图，基于所述各个通道的特征图中的各个分割区域，进行皮下损伤检测，得到所述待分级水果的皮下损伤情况。
7.根据权利要求1至3中任一项所述的水果分级方法，其特征在于，所述基于所述多光谱图像的局部特征、全局特征和水果区域特征，进行成熟度检测，得到所述待分级水果的成熟度等级，包括：
分别提取所述多光谱图像的局部特征和全局特征；
对所述多光谱图像进行语义分割，并基于语义分割所得的所述多光谱图像中的水果区域进行特征提取，得到水果区域特征；
对所述局部特征、所述全局特征和所述水果区域特征进行融合，基于融合所得的特征进行成熟度检测，得到所述待分级水果的成熟度等级。
8.一种水果分级装置，其特征在于，包括：
图像获取单元，用于获取待分级水果的水果图像和多光谱图像；
指标检测单元，用于基于所述多光谱图像的局部特征、全局特征和水果区域特征，进行成熟度检测，得到所述待分级水果的成熟度等级；基于所述水果图像的图像特征，以及所述多光谱图像中各个通道的特征图，进行损伤检测，得到所述待分级水果的损伤等级；
水果分级单元，用于基于所述待分级水果的体积和重量，以及所述成熟度等级和/或所述损伤等级，进行水果等级划分，得到所述待分级水果的水果等级。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述的水果分级方法。
10.一种分拣系统，其特征在于，包括：图像采集设备、传送带、处理器以及机械臂；
所述图像采集设备用于采集所述传送带上的待分级水果的水果图像、多光谱图像和不同视角的点云图像，并将所述水果图像、所述多光谱图像和所述不同视角的点云图像传输至所述处理器；
所述处理器用于基于所述水果图像、所述多光谱图像，以及融合点云图像，确定所述待分级水果的水果等级，并将所述水果等级传输至所述机械臂；所述融合点云图像基于所述不同视角的点云图像确定；
所述机械臂用于基于所述水果等级，对所述待分级水果进行分拣。
11.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的水果分级方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211478117.1A CN115713762A (zh) | 2022-11-23 | 2022-11-23 | 水果分级方法、装置、电子设备、分拣系统和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211478117.1A CN115713762A (zh) | 2022-11-23 | 2022-11-23 | 水果分级方法、装置、电子设备、分拣系统和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115713762A true CN115713762A (zh) | 2023-02-24 |
Family
ID=85234539
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211478117.1A Pending CN115713762A (zh) | 2022-11-23 | 2022-11-23 | 水果分级方法、装置、电子设备、分拣系统和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115713762A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116307899A (zh) * | 2023-03-22 | 2023-06-23 | 荆州华洋供应链管理有限公司 | 一种基于人工智能的食品食材供应管理系统及方法 |
-
2022
- 2022-11-23 CN CN202211478117.1A patent/CN115713762A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116307899A (zh) * | 2023-03-22 | 2023-06-23 | 荆州华洋供应链管理有限公司 | 一种基于人工智能的食品食材供应管理系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2020215985A1 (zh) | 医学影像分割方法、装置、电子设备和存储介质 | |
| Kampffmeyer et al. | Semantic segmentation of small objects and modeling of uncertainty in urban remote sensing images using deep convolutional neural networks | |
| US20230099113A1 (en) | Training method and apparatus for a target detection model, target detection method and apparatus, and medium | |
| CN112132119B (zh) | 客流统计方法、装置、电子设备和存储介质 | |
| CN108257128B (zh) | 一种基于3d卷积神经网络的肺结节检测装置的建立方法 | |
| CN103279765B (zh) | 基于图像匹配的钢丝绳表面损伤检测方法 | |
| CN104504377B (zh) | 一种公交车乘客拥挤程度识别系统及方法 | |
| CN111222395A (zh) | 目标检测方法、装置与电子设备 | |
| CN115713762A (zh) | 水果分级方法、装置、电子设备、分拣系统和存储介质 | |
| CN109543498B (zh) | 一种基于多任务网络的车道线检测方法 | |
| CN112001317A (zh) | 基于语义信息的导线缺陷识别方法、系统及终端设备 | |
| Li et al. | An improved binocular localization method for apple based on fruit detection using deep learning | |
| CN113112456A (zh) | 一种基于目标检测算法的浓稠食品灌装成品缺陷检测方法 | |
| Wu et al. | Automatic railroad track components inspection using hybrid deep learning framework | |
| CN114648669A (zh) | 一种域自适应双目视差计算的动车组故障检测方法及系统 | |
| CN116129291A (zh) | 一种面向无人机畜牧的图像目标识别方法及其装置 | |
| CN114359235A (zh) | 一种基于改进YOLOv5l网络的木材表面缺陷检测方法 | |
| CN112395953A (zh) | 一种道面异物检测系统 | |
| CN115187844A (zh) | 基于神经网络模型的图像识别方法、装置及终端设备 | |
| CN114998744A (zh) | 基于运动与视觉双特征融合的农机轨迹田路分割方法 | |
| CN115147383A (zh) | 一种基于轻量化YOLOv5模型的绝缘子状态快速检测方法 | |
| CN115035381A (zh) | 一种SN-YOLOv5的轻量化目标检测网络及农作物采摘检测方法 | |
| Ferrer-Ferrer et al. | Simultaneous fruit detection and size estimation using multitask deep neural networks | |
| CN111583171B (zh) | 融合前景紧凑特性和多环境信息的绝缘子缺陷检测方法 | |
| CN112966541A (zh) | 果蔬自动验货方法、系统、电子设备以及计算机可读介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |