CN114820619B - 块茎类植物分选方法、系统、计算机设备和存储介质 - Google Patents
块茎类植物分选方法、系统、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN114820619B CN114820619B CN202210748593.4A CN202210748593A CN114820619B CN 114820619 B CN114820619 B CN 114820619B CN 202210748593 A CN202210748593 A CN 202210748593A CN 114820619 B CN114820619 B CN 114820619B
- Authority
- CN
- China
- Prior art keywords
- defect
- plant
- mask
- area
- processed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000003860 storage Methods 0.000 title claims abstract description 16
- 230000007547 defect Effects 0.000 claims abstract description 299
- 230000011218 segmentation Effects 0.000 claims abstract description 56
- 239000000463 material Substances 0.000 claims description 104
- 238000012545 processing Methods 0.000 claims description 75
- 238000005520 cutting process Methods 0.000 claims description 60
- 238000004590 computer program Methods 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 10
- 238000004806 packaging method and process Methods 0.000 abstract description 7
- 241000196324 Embryophyta Species 0.000 description 269
- 238000010586 diagram Methods 0.000 description 11
- 244000061456 Solanum tuberosum Species 0.000 description 9
- 235000002595 Solanum tuberosum Nutrition 0.000 description 9
- 230000007797 corrosion Effects 0.000 description 7
- 238000005260 corrosion Methods 0.000 description 7
- 238000012856 packing Methods 0.000 description 7
- 238000012549 training Methods 0.000 description 7
- 238000012360 testing method Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 238000012937 correction Methods 0.000 description 5
- 238000012795 verification Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 244000017020 Ipomoea batatas Species 0.000 description 2
- 235000002678 Ipomoea batatas Nutrition 0.000 description 2
- 206010039509 Scab Diseases 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000029052 metamorphosis Effects 0.000 description 2
- 235000012015 potatoes Nutrition 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 235000006481 Colocasia esculenta Nutrition 0.000 description 1
- 244000205754 Colocasia esculenta Species 0.000 description 1
- 235000002722 Dioscorea batatas Nutrition 0.000 description 1
- 235000006536 Dioscorea esculenta Nutrition 0.000 description 1
- 240000001811 Dioscorea oppositifolia Species 0.000 description 1
- 235000003416 Dioscorea oppositifolia Nutrition 0.000 description 1
- 229920002472 Starch Polymers 0.000 description 1
- 235000014633 carbohydrates Nutrition 0.000 description 1
- 150000001720 carbohydrates Chemical class 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000035784 germination Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 235000015097 nutrients Nutrition 0.000 description 1
- 235000016709 nutrition Nutrition 0.000 description 1
- 230000000449 premovement Effects 0.000 description 1
- 239000002994 raw material Substances 0.000 description 1
- 238000004064 recycling Methods 0.000 description 1
- 235000021067 refined food Nutrition 0.000 description 1
- 235000019698 starch Nutrition 0.000 description 1
- -1 starch Chemical class 0.000 description 1
- 239000008107 starch Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
Abstract
本申请涉及块茎植物分选技术领域，尤其涉及一种块茎类植物分选方法、系统、计算机设备和存储介质。所述方法包括：获取待分选植物在不同角度下的第一采集图像，并对各个第一采集图像进行识别处理，以确定每个第一采集图像中的缺陷分割掩码，根据缺陷分割掩码相应缺陷区域的缺陷情况来确定待分选植物对应的分选类型，对待加工的待分选植物进行缺陷去除处理，将缺陷去除后的待分选植物重新分类至待包装，对于缺陷去除后的待分选植物进行包装处理。通过待分选植物在全方位下的第一采集图像对待分选植物进行分选处理，并自动对分选后需要进行缺陷去除的待分选植物进行缺陷去除，无需人工参与，加快了分选效率，还提高了分选后块茎类植物的利用率。
Description
技术领域
本申请涉及块茎植物分选技术领域，尤其涉及一种块茎类植物分选方法、系统、计算机设备和存储介质。
背景技术
块茎是地下变态茎的一种，能够储存大量的淀粉、糖类等碳水化合物，是能够积累大量养分，可以作为繁殖之用的变态茎。块茎类植物有土豆（马铃薯）、红薯、山药、芋头等植物。
由于块茎类植物具有较高的营养价值，而且是许多加工食品的重要原材料。在采摘、包装、运输、储存过程中，块茎类植物不可避免会出现发芽、病斑、裂痕、腐烂、绿皮等外观缺陷，严重影响了块茎类植物的外观品质与食用安全性。目前，块茎类植物的外观缺陷检测主要采用人工目检方法，该方法检测效率非常低，而且受人的主观性影响大，检测标准难以统一，并且人力成本高，已经越来越无法满足生产需求。
发明内容
为了解决上述技术问题，本申请提供了一种块茎类植物分选方法、系统、计算机设备和存储介质。
第一方面，本申请提供了一种块茎类植物分选方法，包括：
获取待分选植物在不同角度下的第一采集图像，其中，所述待分选植物为任意一种块茎类植物；
对多个所述第一采集图像进行识别处理，确定各个所述第一采集图像中的缺陷分割掩码，其中，所述缺陷分割掩码用于指示所述第一采集图像中的缺陷区域；
根据所述缺陷分割掩码确定所述待分选植物对应的分选类型；
在所述待分选植物对应的分选类型为待加工时，生成缺陷切除信号并发送至切选装置，其中，所述缺陷切除信号用于驱动所述切选装置对所述待分选植物进行缺陷去除处理；
在接收到所述切选装置发送的切除完成信号时，将缺陷去除后的所述待分选植物的分选类型由待加工变更为待包装。
第二方面，本申请提供了一种块茎类植物分选系统，包括：
获取模块，用于获取待分选植物在不同角度下的第一采集图像，其中，所述待分选植物为任意一种块茎类植物；
识别模块，用于对多个所述第一采集图像进行识别处理，确定各个所述第一采集图像中的缺陷分割掩码，其中，所述缺陷分割掩码用于指示所述第一采集图像中的缺陷区域；
分类模块，用于根据所述缺陷分割掩码确定所述待分选植物对应的分选类型；
生成模块，用于在所述待分选植物对应的分选类型为待加工时，生成缺陷切除信号并发送至切选装置，其中，所述缺陷切除信号用于驱动所述切选装置对所述待分选植物进行缺陷去除处理；
所述分类模块还用于在接收到所述切选装置发送的切除完成信号时，将缺陷去除后的所述待分选植物的分选类型由待加工变更为待包装。
第三方面，本申请提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取待分选植物在不同角度下的第一采集图像，其中，所述待分选植物为任意一种块茎类植物；
对多个所述第一采集图像进行识别处理，确定各个所述第一采集图像中的缺陷分割掩码，其中，所述缺陷分割掩码用于指示所述第一采集图像中的缺陷区域；
根据所述缺陷分割掩码确定所述待分选植物对应的分选类型；
在所述待分选植物对应的分选类型为待加工时，生成缺陷切除信号并发送至切选装置，其中，所述缺陷切除信号用于驱动所述切选装置对所述待分选植物进行缺陷去除处理；
在接收到所述切选装置发送的切除完成信号时，将缺陷去除后的所述待分选植物的分选类型由待加工变更为待包装。
第四方面，本申请提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取待分选植物在不同角度下的第一采集图像，其中，所述待分选植物为任意一种块茎类植物；
对多个所述第一采集图像进行识别处理，确定各个所述第一采集图像中的缺陷分割掩码，其中，所述缺陷分割掩码用于指示所述第一采集图像中的缺陷区域；
根据所述缺陷分割掩码确定所述待分选植物对应的分选类型；
在所述待分选植物对应的分选类型为待加工时，生成缺陷切除信号并发送至切选装置，其中，所述缺陷切除信号用于驱动所述切选装置对所述待分选植物进行缺陷去除处理；
在接收到所述切选装置发送的切除完成信号时，将缺陷去除后的所述待分选植物的分选类型由待加工变更为待包装。
基于上述块茎类植物分选方法，获取待分选植物在不同角度下的第一采集图像，即获取块茎类植物全方位的采集图像，并对各个第一采集图像进行识别处理，以确定每个第一采集图像中的缺陷分割掩码，缺陷分割掩码用于指示第一采集图像中待分选植物表面的缺陷区域，根据缺陷分割掩码相应缺陷区域的缺陷情况来确定待分选植物对应的分选类型，分选类型包括待包装和待加工，待包装表示待分选植物的品质为优质，无需进行缺陷去除处理可以直接进行包装处理，待加工表示待分选植物表面存在缺陷，需要进行缺陷去除处理，因此生成用于对待加工的待分选植物进行缺陷去除处理的缺陷切除信号，在接收到切选装置发送的切除完成信号时将缺陷去除后的待分选植物重新分类至待包装，即对于缺陷去除后的待分选植物进行包装处理，以上方法通过待分选植物在全方位下的第一采集图像对待分选植物进行分选处理，并自动对分选后需要进行缺陷去除的待分选植物进行缺陷去除，无需人工参与，加快了分选效率的同时，还提高了分选后块茎类植物的利用率。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为一个实施例中块茎类植物分选方法的应用环境图；
图2为一个实施例中块茎类植物分选方法的流程示意图；
图3为一个实施例中块茎类植物分选方法的分拣示意图；
图4为一个实施例中图像识别模型输出结果的效果示意图；
图5为一个实施例中第二采集图像的效果示意图；
图6为一个实施例中第二采集图像的效果示意图；
图7为一个实施例中块茎类植物分选系统的结构框图；
图8为一个实施例中计算机设备的内部结构图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
图1为一个实施例中块茎类植物分选方法的应用环境图。参照图1，该块茎类植物分选方法应用于块茎类植物分选系统。该块茎类植物分选系统包括分选设备110和服务器120。分选设备110和服务器120通过网络连接。分选设备110具体包括工业相机、传输装置、切选装置和打包装置，工业相机用于采集待分选植物全方位的采集图像并传输至服务器120，以使服务器120对采集图像进行图像识别处理。传输装置用于对待分选植物进行传送处理，将不同分选类型的待分选植物传输至打包装置或切选装置。打包装置用于将接收到的待分选植物进行打包处理，一种是对品质优良待包装的待分选植物进行打包处理用于进行入库，另一种是对品质较差待淘汰的待分选植物进行打包处理用于淘汰。切选装置用于对接收到的待分选植物进行缺陷切割去除操作，并将缺陷去除后的待分选植物传递至打包装置进行打包入库。服务器120可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，图2为一个实施例中一种块茎类植物分选方法的流程示意图，参照图2，提供了一种块茎类植物分选方法。本实施例主要以该方法应用于上述图1中的服务器来举例说明，该块茎类植物分选方法具体包括如下步骤：
步骤S210，获取待分选植物在不同角度下的第一采集图像，其中，所述待分选植物为任意一种块茎类植物。
具体的，待分选植物具体可以为马铃薯（土豆）、芋头、山药、红薯等块茎类植物，通过工业相机采集获取待分选植物在不同角度下的第一采集图像，不同角度具体包括三维空间中的正视角度、后视角度、左视角度、右视角度、俯视角度以及仰视角度，以此获取待分选植物全方位的采集视图，即每个第一采集视图对应一个拍摄角度。
为避免待分选植物在图像采集过程中受到光照以及拍摄角度等影响，导致采集所得的第一采集图像会影响后续图像识别结果，因此在工业相机的周围设有光源，如图3所示，以此确保第一采集图像的清晰度以及后续图像识别结果的可靠性。
步骤S220，对多个所述第一采集图像进行识别处理，确定各个所述第一采集图像中的缺陷分割掩码，其中，所述缺陷分割掩码用于指示所述第一采集图像中的缺陷区域。
具体的，对每个第一采集图像进行图像识别处理，具体可以利用图像识别模型对第一采集图像中的缺陷进行识别，图像识别模型具体可以为SOLOv2模型、Mask R-CNN模型或DeepMask模型等，在本实施例中选用SOLOv2模型对第一采集图像进行识别处理，从而确定第一采集图像中待分选植物表面的缺陷区域，并通过缺陷分割掩码来指出待分选植物表面的缺陷区域，待分选植物表面的缺陷具体可以为发芽、病斑、裂痕、腐烂、绿皮等，不同的缺陷对应的缺陷分割掩码不同。
在对第一采集图像进行图像识别之前，需要经过学习训练得到图像识别模型，即对初始模型进行深度学习训练，获取待分选植物相应的样本图像集合，在本实施例中令待分选植物为马铃薯，则样本图像集合包括多个马铃薯的样本图像，为了增加样本图像集合中的样本数据量，通过对马铃薯采用随机平移、随机翻转、亮度调整、色度调整等方法，以扩增样本图像集合中的样本数据量，从而降低数据量不足导致训练过程中的过拟合问题，提高模型的泛化能力。
利用labelme算法对样本图像中的料盘、马铃薯以及马铃薯表面的缺陷进行标注，并将样本图像集合中的多个样本图像按照比例划分为训练集、验证集和测试集，划分比例可以为7：2：1，即令训练集中的数据量大于验证集和测试集中的数据量，且令验证集汇总的数据量大于测试集中的数据量。利用训练集中的样本图像对初始模型进行迭代训练，得到训练后的候选模型，再将验证集中的样本图像输入至候选模型中，利用候选模型的输出结果进行验证，以验证候选模型输出结果的准确率是否满足预设概率，在满足预设概率的情况下再利用测试集中的样本图像对候选模型进行测试，在测试结果满足预设结果时，则得到上述图像识别模型。
步骤S230，根据所述缺陷分割掩码确定所述待分选植物对应的分选类型。
具体的，缺陷分割掩码可反映待分选植物表面的缺陷情况，即根据待分选植物表面的缺陷情况来判定待分选植物对应的分选类型，分选类型包括待加工、待包装和待淘汰，待包装表示待分选植物不存在缺陷区域可以直接进行打包入库，待加工表示待分选植物表面存在缺陷区域但缺陷情况较轻需要对其进行缺陷切割去除，待淘汰表示待分选植物表面的缺陷情况较为严重需要对其进行淘汰。
步骤S240，在所述待分选植物对应的分选类型为待加工时，生成缺陷切除信号并发送至切选装置，其中，所述缺陷切除信号用于驱动所述切选装置对所述待分选植物进行缺陷去除处理。
具体的，在确定待分选植物的分选类型为待加工时，则先驱动传输装置将待分选植物传输至切选装置处，并控制切选装置对待分选植物表面的缺陷区域进行切割去除操作，即切除待分选植物上的缺陷，确保缺陷切除后的待分选植物可进行回收利用。
步骤S250，在接收到所述切选装置发送的切除完成信号时，将缺陷去除后的所述待分选植物的分选类型由待加工变更为待包装。
具体的，在切选装置对待分选植物上的缺陷切除完成时将反馈切除完成信号至服务器，服务器进而控制传输装置将缺陷切除后的待分选植物传输至打包装置进行打包入库，相当于对缺陷切除后的待分选植物进行回收入库等待被食用。即上述分选方法通过待分选植物在全方位下的第一采集图像对待分选植物进行分选处理，并自动对分选后需要进行缺陷去除的待分选植物进行缺陷去除，无需人工参与，加快了分选效率的同时，还提高了分选后块茎类植物的利用率。
在一个实施例中，所述对多个所述第一采集图像进行识别处理，确定各个所述第一采集图像中的缺陷分割掩码，包括：对多个所述第一采集图像进行识别处理，得到各个所述第一采集图像中的多个第一区域掩码，其中，每个所述第一区域掩码对应不同的实物；在多个所述第一区域掩码中确定所述第一采集图像中的缺陷分割掩码。
具体的，将各个第一采集图像作为输入参数输入至图像识别模型中进行图像识别处理，图4为图像识别模型对第一采集图像进行识别处理后的输出结果，图像识别模型的输出结果包括第一采集图像中的多个第一区域掩码以及各个第一区域掩码相应实物所属类别的置信度，不同的第一区域掩码用于指示第一采集图像中不同的实物，实物具体可以为用于盛放待分选植物的料盘、待分选植物以及待分选植物上的缺陷，第一区域掩码具体可以为第一采集图像中料盘对应的区域掩码、待分选植物对应的区域掩码、待分选植物表面缺陷对应的区域掩码，每个区域掩码用于指示包含相应实物的最小区域，且不同的第一区域掩码对应不同的显示颜色用于进行显示区分，且图4中每个第一区域掩码的左上角标注有相应的置信度，例如td 0.94，表示该第一区域掩码对应的置信度，即表示该第一区域掩码相应实物是土豆的概率为0.94；而hd 0.89，表示该第一区域掩码相应实物是缺陷的概率为0.87。
在多个第一区域掩码中，将位于待分选植物相应第一区域掩码中的各个第一区域掩码作为缺陷分割掩码，即将待分选植物范围内的各个第一区域掩码作为缺陷分割掩码，在多个第一区域掩码中可能不存在缺陷分割掩码，也可能存在一个或多个缺陷分割掩码。
在一个实施例中，所述根据所述缺陷分割掩码确定所述待分选植物对应的分选类型，包括：在所述待分选植物对应多个所述缺陷分割掩码时，按照各个所述缺陷分割掩码确定相应的缺陷面积和缺陷长度；在多个所述缺陷面积中，将数值最大的所述缺陷面积作为目标面积；在多个所述缺陷长度中，将数值最大的所述缺陷长度作为目标长度；在所述目标面积和所述目标长度确定所述待分选植物对应的分选类型。
具体的，基于图像识别模型确定各个第一采集图像中的缺陷分割掩码，统计全部第一采集图像中的缺陷分割掩码，从而得到待分选植物对应的缺陷分割掩码，在各个第一采集图像相应缺陷分割掩码的数量为0时，也就是待分选植物对应的缺陷分割掩码数量为0，可直接确定待分选植物的分选类型为待包装，即判定该待分选植物为优良品质，可直接进行打包入库。
在待分选植物对应多个缺陷分割掩码时，则计算每个缺陷分割掩码对应的缺陷面积以及缺陷长度，在多个缺陷分割掩码相应的缺陷面积和缺陷长度中，选择数值最大的缺陷面积作为目标面积，并选择数值最大的缺陷长度作为目标长度，由于目标面积和目标长度是以像素为单位的，将目标面积和目标长度的单位由像素单位经过标定转换成物理单位后，将物理单位的目标面积和目标长度与预设分选标准进行匹配，确定目标面积和目标长度所在数值区间相应的分选类型作为待分选植物的分选类型，在预设分选标准中，待包装对应的数值区间小于待加工对应的数值区间，待加工对应的数值区间小于待淘汰对应的数值区间。
在一个实施例中，所述在所述待分选植物对应的分选类型为待加工时，生成缺陷切除信号并发送至切选装置，包括：在所述分选类型为待加工时，将所述待分选植物传输至加工料盘上作为待加工植物；获取所述加工料盘在不同角度下的第二采集图像；对各个所述第二采集图像进行识别处理，确定各个所述第二采集图像中的多个第二区域掩码；基于所述多个第二区域掩码确定所述待加工植物的位置信息以及缺陷信息；基于所述待加工植物的位置信息和缺陷信息，生成所述缺陷切除信号并发送至切选装置。
具体的，在确定待分选植物的分选类型为待加工时，则驱动传输装置将待分选植物传输至切选装置处作为待加工植物，切选装置包括加工料盘以及切割装置，加工料盘用于盛放待加工植物，切割装置用于对待加工植物上的缺陷区域进行切割处理。但在切割之前，需要对加工料盘上的待加工植物进行二次图像采集，即得到不同角度的第二采集图像，在本实施例中仅采用俯视角度以及仰视角度的第二采集图像，例如，图5为俯视角度下的第二采集图像，图6为仰视角度下的第二采集图像，同样基于图像识别模型对各个第二采集图像进行识别处理，以得到第二采集图像中的多个第二区域掩码以及各个第二区域掩码相应实物所属类别的置信度，各个第二区域掩码用于指示第二采集图像中不同的实物，利用各个第二区域掩码计算确定待加工植物在加工料盘上的位置信息，并确定待加工植物上的缺陷信息，缺陷信息用于指示缺陷区域在待加工植物上的位置，基于位置信息和缺陷信息生成相应的缺陷切除信号并发送至切选装置，令切割装置按照位置信息和缺陷信息对待加工植物上的缺陷进行精准定位并切除。
切割装置在对待加工植物进行完一次切割操作后，还将循环至上述获取所述加工料盘在不同角度下的第二采集图像以及确定所述待加工植物的位置信息以及缺陷信息的步骤，从而判断待加工植物上的缺陷是否被完全切除，对于缺陷未完全切除的待加工植物继续执行基于所述待加工植物的位置信息和缺陷信息，生成所述缺陷切除信号的步骤，但对于缺陷完全切除后的待加工植物则执行上述步骤S250的步骤，即将该待加工植物的分选类型由待加工变更为待包装，也就是驱动传输装置将该待加工植物传输至打包装置处进行打包入库。
在一个实施例中，所述基于所述多个第二区域掩码确定所述待加工植物的位置信息以及缺陷信息，包括：在多个所述第二区域掩码中确定所述加工料盘对应的料盘掩码、所述待加工植物对应的框选区域掩码以及所述待加工植物上缺陷区域对应的待切区域掩码；基于所述料盘掩码和所述框选区域掩码确定所述待加工植物在所述加工料盘中的位置信息；基于所述料盘掩码、所述框选区域掩码和多个所述待切区域掩码，确定各个所述待切区域掩码相应缺陷区域在所述待加工植物上的缺陷信息。
具体的，根据各个第二区域掩码相应实物所属类别的置信度，确定各个第二区域掩码的实物类别，实物类别可以为加工料盘、待加工植物或待加工植物上的缺陷，即每个第二区域掩码对应一个实物类别，按照实物类别确定加工料盘对应的料盘掩码，以及所述待加工植物对应的候选区域掩码，即将实物类别为加工料盘的第二区域掩码作为料盘掩码，将实物类别为缺陷的第二区域掩码作为待切区域掩码，将实物类别为待加工植物的第二区域掩码作为候选区域掩码，将各个候选区域掩码的面积与预设面积进行比对，剔除掉面积数值小于预设面积的候选区域掩码，仅将面积数值大于或等于预设面积的候选区域掩码作为框选区域掩码，预设面积配置为较小的面积数值，以剔除图像识别模型误以为的待加工植物。
在加工料盘上存在一个待加工植物时，可直接根据料盘掩码和待加工植物对应的框选区域掩码确定该待加工植物在加工料盘上的位置信息；在加工料盘上存在多个待加工植物时，则选择置信度最高的框选区域掩码，即该框选区域掩码为加工料盘中一个待加工植物对应的第二区域掩码，再利用料盘掩码和该框选区域掩码确定该待加工植物在加工料盘上的位置信息，也就是说在加工料盘上存在多个待加工植物时，则需要依次确认各个待加工植物在加工料盘上的位置信息。
在确定待加工植物在加工料盘上的位置信息后，利用该待加工植物对应的待切区域掩码，以及料盘掩码和该待加工植物对应的框选区域掩码，确定各个待切区域掩码相应缺陷区域在待加工植物上的缺陷信息。
在一个实施例中，所述基于所述料盘掩码和所述框选区域掩码确定所述待加工植物在所述加工料盘中的位置信息，包括：对所述料盘掩码进行修正处理，得到修正后的料盒区域掩码；基于所述料盒区域掩码确定所述加工料盘在图像坐标系下的料盘顶点坐标，以及所述加工料盘的长边与图像坐标系横坐标轴之间的第一夹角，其中，所述料盘顶点坐标和所述第一夹角用于构建料盘坐标系；基于所述框选区域掩码确定所述待加工植物在所述图像坐标系下的植物中心坐标和第一植物尺寸；基于所述料盘顶点坐标，将所述植物中心坐标和所述植物尺寸从图像坐标系转换至料盘坐标系，得到料盘坐标系下的第一中心坐标和第二植物尺寸，其中，所述位置信息包括所述待加工植物在所述料盘坐标系下的所述第一中心坐标和所述第二植物尺寸。
具体的，对料盘掩码进行修正处理，包括：按照膨胀比例和腐蚀比例对料盘掩码进行膨胀处理和腐蚀处理，得到相应的膨胀区域和腐蚀区域，膨胀处理用于扩大料盘掩码相应的区域面积，腐蚀处理用于缩小料盘掩码相应的区域面积；确定膨胀区域和腐蚀区域之间的差集区域，即将仅存在于膨胀区域不存在于腐蚀区域的像素点，以及仅存在于腐蚀区域不存在于膨胀区域的像素点集合形成差集区域；再分离出俯视角度下第二采集图像中的色调通道，即确定该第二采集图像中各个像素点的灰度值，并基于第二采集图像中各个像素点的灰度值，对差集区域进行分割处理，以确定差集区域中各个像素点与加工料盘之间的所属关系，将差集区域中灰度值与加工料盘相匹配的像素点分割至加工料盘，从而进一步修正料盘掩码，得到料盒修正掩码；再采用预设尺寸的十字形结构元素对料盒修正掩码作形态学闭运算，即对料盒修正掩码的边界进行细微修正，填充料盒修正掩码处于凹陷的边界区域，从而修正后的料盒区域掩码。
根据料盒区域掩码确定加工料盘在图像坐标系下的料盘顶点坐标，即料盒区域掩码相应区域四个顶点的坐标，再基于各个料盘顶点坐标之间的距离确定加工料盘的长边和宽边，进一步确定加工料盘的长边与图像坐标系横坐标轴之间的第一夹角，即确定加工料盘的长边与图像坐标系X轴之间的第一夹角，第一夹角记为
，将四个料盘顶点坐标中料盒区域掩码相应区域中位于左上角的料盒顶点坐标作为料盒原点坐标，基于料盒原点坐标和第一夹角构建料盘坐标系。
基于框选区域掩码计算待加工植物在图像坐标系下的植物顶点坐标，即框选区域掩码相应区域四个顶点的坐标，再利用四个植物顶点坐标计算中心坐标，即得到植物中心坐标，并根据各个植物顶点坐标之间的距离确定待加工植物的第一长度和第一宽度，即第一植物尺寸包括待加工植物的第一长度和第一宽度。
基于料盒顶点坐标中的料盒原点坐标，将植物中心坐标和植物尺寸从图像坐标系转换至料盘坐标系，转换公式如下：
其中，
为料盘原点坐标，
为图像坐标系下植物中心坐标，
为料盘坐标系下植物中心坐标对应的第一中心坐标，第二植物尺寸包括转换后的第二长度
和第二宽度
。
在一个实施例中，所述基于所述料盘掩码、所述框选区域掩码和多个所述待切区域掩码，确定各个所述待切区域掩码相应缺陷区域在所述待加工植物上的缺陷信息，包括：确定所述框选区域掩码的长边与所述图像坐标系横坐标轴之间的第二夹角；基于所述植物中心坐标和所述第二夹角构建植物坐标系；确定各个所述待切区域掩码在所述图像坐标系下的缺陷中心坐标以及第一缺陷尺寸；基于所述植物中心坐标，将所述缺陷中心坐标和所述第一缺陷尺寸从图像坐标系转换至所述植物坐标系，得到所述待切区域掩码相应缺陷区域在所述植物坐标系下的第二中心坐标和第二缺陷尺寸，其中，所述缺陷信息包括所述第二中心坐标和所述第二缺陷尺寸。
具体的，确定框选区域掩码相应区域的长边与图像坐标系X轴之间的第二夹角，第二夹角记为
，基于植物中心坐标和第二夹角构建植物坐标系，确定各个待切区域掩码在图像坐标系下的缺陷顶点坐标，即待切区域掩码相应缺陷区域四个顶点的坐标，根据各个缺陷顶点坐标之间的距离确定待切区域掩码在图像坐标系下的第一缺陷长度和第二缺陷宽度，即第一缺陷尺寸包括第一缺陷长度和第二缺陷宽度，并根据各个缺陷顶点坐标计算该缺陷区域的中心点坐标，即得到缺陷中心坐标，基于植物中心坐标，将所述缺陷中心坐标和所述缺陷尺寸从图像坐标系转换至所述植物坐标系，转换公式如下：
其中，
为图像坐标系下的缺陷中心坐标，
为图像坐标系下的植物中心坐标，用于作为植物坐标系的原点坐标，
为植物坐标系下缺陷中心坐标转换后的第二中心坐标，第二缺陷尺寸包括转换后的第二缺陷长度
和第二缺陷宽度
。
在得到待加工植物在加工料盘中的位置信息，即得到待加工植物在加工料盘中的第一中心坐标、待加工植物的第二长度和第二宽度，并在得到缺陷区域在待加工植物上的缺陷信息，即得到缺陷区域在待加工植物上的第二中心坐标、第二缺陷长度和第二缺陷宽度后，将像素单位的第一中心坐标、待加工植物的第二长度、待加工植物的第二宽度、第二中心坐标、第二缺陷长度以及第二缺陷宽度，标定转换为物理单位，从而得到物理单位的第一中心坐标、待加工植物的第二长度、待加工植物的第二宽度、第二中心坐标、第二缺陷长度以及第二缺陷宽度，从而按照第一中心坐标、待加工植物的第二长度、待加工植物的第二宽度驱动切选装置精准抓取加工料盘上的待加工植物，并按照第二中心坐标、第二缺陷长度以及第二缺陷宽度精准切除待加工植物上的缺陷区域，从而完成对有缺陷的待分选植物进行缺陷切除操作。
基于上述块茎类植物分选方法能够准确识别待分选植物上的缺陷，并且能够定量给出缺陷面积、最大缺陷长度等信息，从而可以根据块茎类植物相应的分选标准，对待分选植物进行智能分选。并且还能够准确定位待分选植物在加工料盘上的位置和尺寸大小，还可以精准定位缺陷在待分选植物上的位置和尺寸大小，从而可以实现对待分选植物的精准抓取和缺陷区域的切除操作。
图2为一个实施例中块茎类植物分选方法的流程示意图。应该理解的是，虽然图2的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图7所示，提供了一种块茎类植物分选系统，所述块茎类植物分选系统包括服务器，该服务器包括：
获取模块310，用于获取待分选植物在不同角度下的第一采集图像，其中，所述待分选植物为任意一种块茎类植物；
识别模块320，用于对多个所述第一采集图像进行识别处理，确定各个所述第一采集图像中的缺陷分割掩码，其中，所述缺陷分割掩码用于指示所述第一采集图像中的缺陷区域；
分类模块330，用于根据所述缺陷分割掩码确定所述待分选植物对应的分选类型；
生成模块340，用于在所述待分选植物对应的分选类型为待加工时，生成缺陷切除信号并发送至切选装置，其中，所述缺陷切除信号用于驱动所述切选装置对所述待分选植物进行缺陷去除处理；
所述分类模块330还用于在接收到所述切选装置发送的切除完成信号时，将缺陷去除后的所述待分选植物的分选类型由待加工变更为待包装。
在一个实施例中，所述识别模块320具体用于：
对多个所述第一采集图像进行识别处理，得到各个所述第一采集图像中的多个第一区域掩码，其中，每个所述第一区域掩码对应不同的实物；
在多个所述第一区域掩码中确定所述第一采集图像中的缺陷分割掩码。
在一个实施例中，所述分类模块330具体用于：
在所述待分选植物对应多个所述缺陷分割掩码时，按照各个所述缺陷分割掩码确定相应的缺陷面积和缺陷长度；
在多个所述缺陷面积中，将数值最大的所述缺陷面积作为目标面积；
在多个所述缺陷长度中，将数值最大的所述缺陷长度作为目标长度；
在所述目标面积和所述目标长度确定所述待分选植物对应的分选类型。
在一个实施例中，所述生成模块340具体用于：
在所述分选类型为待加工时，将所述待分选植物传输至加工料盘上作为待加工植物；
获取所述加工料盘在不同角度下的第二采集图像；
对各个所述第二采集图像进行识别处理，确定各个所述第二采集图像中的多个第二区域掩码；
基于所述多个第二区域掩码确定所述待加工植物的位置信息以及缺陷信息；
基于所述待加工植物的位置信息和缺陷信息，生成所述缺陷切除信号并发送至切选装置。
在一个实施例中，所述生成模块340具体用于：
在多个所述第二区域掩码中确定所述加工料盘对应的料盘掩码、所述待加工植物对应的框选区域掩码以及所述待加工植物上缺陷区域对应的待切区域掩码；
基于所述料盘掩码和所述框选区域掩码确定所述待加工植物在所述加工料盘中的位置信息；
基于所述料盘掩码、所述框选区域掩码和多个所述待切区域掩码，确定各个所述待切区域掩码相应缺陷区域在所述待加工植物上的缺陷信息。
在一个实施例中，所述生成模块340具体用于：
对所述料盘掩码进行修正处理，得到修正后的料盒区域掩码；
基于所述料盒区域掩码确定所述加工料盘在图像坐标系下的料盘顶点坐标，以及所述加工料盘的长边与图像坐标系横坐标轴之间的第一夹角，其中，所述料盘顶点坐标和所述第一夹角用于构建料盘坐标系；
基于所述框选区域掩码确定所述待加工植物在所述图像坐标系下的植物中心坐标和第一植物尺寸；
基于所述料盘顶点坐标，将所述植物中心坐标和所述植物尺寸从图像坐标系转换至料盘坐标系，得到料盘坐标系下的第一中心坐标和第二植物尺寸，其中，所述位置信息包括所述待加工植物在所述料盘坐标系下的所述第一中心坐标和所述第二植物尺寸。
在一个实施例中，所述生成模块340具体用于：
确定所述框选区域掩码的长边与所述图像坐标系横坐标轴之间的第二夹角；
基于所述植物中心坐标和所述第二夹角构建植物坐标系；
确定各个所述待切区域掩码在所述图像坐标系下的缺陷中心坐标以及第一缺陷尺寸；
基于所述植物中心坐标，将所述缺陷中心坐标和所述第一缺陷尺寸从图像坐标系转换至所述植物坐标系，得到所述待切区域掩码相应缺陷区域在所述植物坐标系下的第二中心坐标和第二缺陷尺寸，其中，所述缺陷信息包括所述第二中心坐标和所述第二缺陷尺寸。
图8示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是图1中的服务器。如图8所示，该计算机设备包括该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、输入系统和显示屏。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现块茎类植物分选方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行块茎类植物分选方法。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，计算机设备的输入系统可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，本申请提供的块茎类植物分选系统可以实现为一种计算机程序的形式，计算机程序可在如图8所示的计算机设备上运行。计算机设备的存储器中可存储组成该块茎类植物分选系统的各个程序模块，比如，图7所示的获取模块310、识别模块320、分类模块330和生成模块340。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的块茎类植物分选方法中的步骤。
图8所示的计算机设备可以通过如图7所示的块茎类植物分选系统中的获取模块310执行获取待分选植物在不同角度下的第一采集图像，其中，所述待分选植物为任意一种块茎类植物。计算机设备可通过识别模块320执行对多个所述第一采集图像进行识别处理，确定各个所述第一采集图像中的缺陷分割掩码，其中，所述缺陷分割掩码用于指示所述第一采集图像中的缺陷区域。计算机设备可通过分类模块330执行根据所述缺陷分割掩码确定所述待分选植物对应的分选类型。计算机设备可通过生成模块340执行在所述待分选植物对应的分选类型为待加工时，生成缺陷切除信号并发送至切选装置，其中，所述缺陷切除信号用于驱动所述切选装置对所述待分选植物进行缺陷去除处理。计算机设备可通过分类模块330执行在接收到所述切选装置发送的切除完成信号时，将缺陷去除后的所述待分选植物的分选类型由待加工变更为待包装。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述任一项实施例所述的方法。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述任一项实施例所述的方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指示相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双倍速率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。
Claims (7)
1.一种块茎类植物分选方法，其特征在于，所述方法包括：
获取待分选植物在不同角度下的第一采集图像，其中，所述待分选植物为任意一种块茎类植物；
对多个所述第一采集图像进行识别处理，确定各个所述第一采集图像中的缺陷分割掩码，其中，所述缺陷分割掩码用于指示所述第一采集图像中的缺陷区域；
根据所述缺陷分割掩码确定所述待分选植物对应的分选类型；
在所述待分选植物对应的分选类型为待加工时，生成缺陷切除信号并发送至切选装置，其中，所述缺陷切除信号用于驱动所述切选装置对所述待分选植物进行缺陷去除处理；
在接收到所述切选装置发送的切除完成信号时，将缺陷去除后的所述待分选植物的分选类型由待加工变更为待包装；
其中，所述在所述待分选植物对应的分选类型为待加工时，生成缺陷切除信号并发送至切选装置，包括：
在所述分选类型为待加工时，将所述待分选植物传输至加工料盘上作为待加工植物；
获取所述加工料盘在不同角度下的第二采集图像；
对各个所述第二采集图像进行识别处理，确定各个所述第二采集图像中的多个第二区域掩码；
基于所述多个第二区域掩码确定所述待加工植物的位置信息以及缺陷信息；
基于所述待加工植物的位置信息和缺陷信息，生成所述缺陷切除信号并发送至切选装置；
其中，所述基于所述多个第二区域掩码确定所述待加工植物的位置信息以及缺陷信息，包括：
在多个所述第二区域掩码中确定所述加工料盘对应的料盘掩码、所述待加工植物对应的框选区域掩码以及所述待加工植物上缺陷区域对应的待切区域掩码；
基于所述料盘掩码和所述框选区域掩码确定所述待加工植物在所述加工料盘中的位置信息；
基于所述料盘掩码、所述框选区域掩码和多个所述待切区域掩码，确定各个所述待切区域掩码相应缺陷区域在所述待加工植物上的缺陷信息；
其中，所述基于所述料盘掩码和所述框选区域掩码确定所述待加工植物在所述加工料盘中的位置信息，包括：
对所述料盘掩码进行修正处理，得到修正后的料盒区域掩码；
基于所述料盒区域掩码确定所述加工料盘在图像坐标系下的料盘顶点坐标，以及所述加工料盘的长边与图像坐标系横坐标轴之间的第一夹角，其中，所述料盘顶点坐标和所述第一夹角用于构建料盘坐标系；
基于所述框选区域掩码确定所述待加工植物在所述图像坐标系下的植物中心坐标和第一植物尺寸；
基于所述料盘顶点坐标，将所述植物中心坐标和所述植物尺寸从图像坐标系转换至料盘坐标系，得到料盘坐标系下的第一中心坐标和第二植物尺寸，其中，所述位置信息包括所述待加工植物在所述料盘坐标系下的所述第一中心坐标和所述第二植物尺寸。
2.根据权利要求1所述的方法，其特征在于，所述对多个所述第一采集图像进行识别处理，确定各个所述第一采集图像中的缺陷分割掩码，包括：
对多个所述第一采集图像进行识别处理，得到各个所述第一采集图像中的多个第一区域掩码，其中，每个所述第一区域掩码对应不同的实物；
在多个所述第一区域掩码中确定所述第一采集图像中的缺陷分割掩码。
3.根据权利要求2所述的方法，其特征在于，所述根据所述缺陷分割掩码确定所述待分选植物对应的分选类型，包括：
在所述待分选植物对应多个所述缺陷分割掩码时，按照各个所述缺陷分割掩码确定相应的缺陷面积和缺陷长度；
在多个所述缺陷面积中，将数值最大的所述缺陷面积作为目标面积；
在多个所述缺陷长度中，将数值最大的所述缺陷长度作为目标长度；
在所述目标面积和所述目标长度确定所述待分选植物对应的分选类型。
4.根据权利要求1所述的方法，其特征在于，所述基于所述料盘掩码、所述框选区域掩码和多个所述待切区域掩码，确定各个所述待切区域掩码相应缺陷区域在所述待加工植物上的缺陷信息，包括：
确定所述框选区域掩码的长边与所述图像坐标系横坐标轴之间的第二夹角；
基于所述植物中心坐标和所述第二夹角构建植物坐标系；
确定各个所述待切区域掩码在所述图像坐标系下的缺陷中心坐标以及第一缺陷尺寸；
基于所述植物中心坐标，将所述缺陷中心坐标和所述第一缺陷尺寸从图像坐标系转换至所述植物坐标系，得到所述待切区域掩码相应缺陷区域在所述植物坐标系下的第二中心坐标和第二缺陷尺寸，其中，所述缺陷信息包括所述第二中心坐标和所述第二缺陷尺寸。
5.一种块茎类植物分选系统，其特征在于，所述系统包括：
获取模块，用于获取待分选植物在不同角度下的第一采集图像，其中，所述待分选植物为任意一种块茎类植物；
识别模块，用于对多个所述第一采集图像进行识别处理，确定各个所述第一采集图像中的缺陷分割掩码，其中，所述缺陷分割掩码用于指示所述第一采集图像中的缺陷区域；
分类模块，用于根据所述缺陷分割掩码确定所述待分选植物对应的分选类型；
生成模块，用于在所述待分选植物对应的分选类型为待加工时，生成缺陷切除信号并发送至切选装置，其中，所述缺陷切除信号用于驱动所述切选装置对所述待分选植物进行缺陷去除处理；
所述分类模块还用于在接收到所述切选装置发送的切除完成信号时，将缺陷去除后的所述待分选植物的分选类型由待加工变更为待包装；
其中，所述生成模块具体用于：
在所述分选类型为待加工时，将所述待分选植物传输至加工料盘上作为待加工植物；
获取所述加工料盘在不同角度下的第二采集图像；
对各个所述第二采集图像进行识别处理，确定各个所述第二采集图像中的多个第二区域掩码；
基于所述多个第二区域掩码确定所述待加工植物的位置信息以及缺陷信息；
基于所述待加工植物的位置信息和缺陷信息，生成所述缺陷切除信号并发送至切选装置；
所述生成模块还用于：
在多个所述第二区域掩码中确定所述加工料盘对应的料盘掩码、所述待加工植物对应的框选区域掩码以及所述待加工植物上缺陷区域对应的待切区域掩码；
基于所述料盘掩码和所述框选区域掩码确定所述待加工植物在所述加工料盘中的位置信息；
基于所述料盘掩码、所述框选区域掩码和多个所述待切区域掩码，确定各个所述待切区域掩码相应缺陷区域在所述待加工植物上的缺陷信息；
所述生成模块还用于：
对所述料盘掩码进行修正处理，得到修正后的料盒区域掩码；
基于所述料盒区域掩码确定所述加工料盘在图像坐标系下的料盘顶点坐标，以及所述加工料盘的长边与图像坐标系横坐标轴之间的第一夹角，其中，所述料盘顶点坐标和所述第一夹角用于构建料盘坐标系；
基于所述框选区域掩码确定所述待加工植物在所述图像坐标系下的植物中心坐标和第一植物尺寸；
基于所述料盘顶点坐标，将所述植物中心坐标和所述植物尺寸从图像坐标系转换至料盘坐标系，得到料盘坐标系下的第一中心坐标和第二植物尺寸，其中，所述位置信息包括所述待加工植物在所述料盘坐标系下的所述第一中心坐标和所述第二植物尺寸。
6.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至4中任一项所述方法的步骤。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210748593.4A CN114820619B (zh) | 2022-06-29 | 2022-06-29 | 块茎类植物分选方法、系统、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210748593.4A CN114820619B (zh) | 2022-06-29 | 2022-06-29 | 块茎类植物分选方法、系统、计算机设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114820619A CN114820619A (zh) | 2022-07-29 |
| CN114820619B true CN114820619B (zh) | 2022-11-15 |
Family
ID=82522440
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210748593.4A Active CN114820619B (zh) | 2022-06-29 | 2022-06-29 | 块茎类植物分选方法、系统、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114820619B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116542984A (zh) * | 2023-07-07 | 2023-08-04 | 浙江省北大信息技术高等研究院 | 五金件缺陷检测方法、装置、计算机设备及存储介质 |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7869969B2 (en) * | 2007-04-26 | 2011-01-11 | Hitachi High-Technologies Corporation | Defect review apparatus and method of reviewing defects |
| JP5365392B2 (ja) * | 2009-07-22 | 2013-12-11 | 富士ゼロックス株式会社 | 画像欠陥診断システム、画像形成装置、およびプログラム |
| AT12076U1 (de) * | 2010-07-27 | 2011-10-15 | Evk Di Kerschhaggl Gmbh | Verfahren, sensoreinheit und maschine zum detektieren von ''zuckerspitzen''-defekten in kartoffeln |
| CN102902271A (zh) * | 2012-10-23 | 2013-01-30 | 上海大学 | 基于双目视觉的机器人目标识别与抓取系统及方法 |
| US9251580B2 (en) * | 2013-08-23 | 2016-02-02 | Cimpress Schweiz Gmbh | Methods and systems for automated selection of regions of an image for secondary finishing and generation of mask image of same |
| CN105300895B (zh) * | 2015-11-05 | 2017-12-26 | 浙江大学 | 一种利用特征点切线夹角预警马铃薯发芽缺陷的方法 |
| US10089750B2 (en) * | 2017-02-02 | 2018-10-02 | Intel Corporation | Method and system of automatic object dimension measurement by using image processing |
| CN108872246A (zh) * | 2018-05-29 | 2018-11-23 | 湖南科创信息技术股份有限公司 | 板面材料全视面缺陷检测系统 |
| CN110163406B (zh) * | 2018-08-27 | 2020-12-04 | 国网江苏省电力有限公司物资分公司 | 人工智能线缆盘装车货位动态分配方法 |
| CN110276386A (zh) * | 2019-06-11 | 2019-09-24 | 济南大学 | 一种基于机器视觉的苹果分级方法及系统 |
| CN111179229B (zh) * | 2019-12-17 | 2023-10-20 | 中信重工机械股份有限公司 | 一种基于深度学习的工业ct缺陷检测方法 |
| CN113706440A (zh) * | 2021-03-12 | 2021-11-26 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、计算机设备及存储介质 |
| CN113409317B (zh) * | 2021-08-19 | 2021-11-30 | 深圳市信润富联数字科技有限公司 | 缺陷检测方法、电子装置、装置及计算机可读存储介质 |
| CN113470024B (zh) * | 2021-09-02 | 2021-12-21 | 深圳市信润富联数字科技有限公司 | 轮毂内部缺陷检测方法、装置、设备、介质及程序产品 |
| CN113516661B (zh) * | 2021-09-15 | 2022-02-08 | 深圳新视智科技术有限公司 | 基于特征融合的缺陷检测方法及装置 |
-
2022
- 2022-06-29 CN CN202210748593.4A patent/CN114820619B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN114820619A (zh) | 2022-07-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111027547A (zh) | 一种针对二维图像中的多尺度多形态目标的自动检测方法 | |
| Yogesh et al. | Computer vision based analysis and detection of defects in fruits causes due to nutrients deficiency | |
| Gatica et al. | Olive fruits recognition using neural networks | |
| CN111612784A (zh) | 一种基于分类优先yolo网络的钢板表面缺陷检测方法 | |
| CN108335300A (zh) | 一种基于cnn的食品高光谱信息分析系统与方法 | |
| CN114820619B (zh) | 块茎类植物分选方法、系统、计算机设备和存储介质 | |
| Thakur et al. | An innovative approach for fruit ripeness classification | |
| Ünal et al. | Classification of hazelnut kernels with deep learning | |
| WO2023084543A1 (en) | System and method for leveraging neural network based hybrid feature extraction model for grain quality analysis | |
| CN114359235A (zh) | 一种基于改进YOLOv5l网络的木材表面缺陷检测方法 | |
| CN114022782B (zh) | 一种基于modis卫星数据的海雾探测方法 | |
| CN111161233A (zh) | 一种用于冲孔皮革缺陷检测方法及系统 | |
| CN112966541B (zh) | 果蔬自动验货方法、系统、电子设备以及计算机可读介质 | |
| CN105354845A (zh) | 一种遥感影像半监督变化检测方法 | |
| CN113808099A (zh) | 一种铝材表面缺陷检测装置与方法 | |
| Raissouli et al. | Date grading using machine learning techniques on a novel dataset | |
| CN114972234B (zh) | 一种食用菌品质监测方法及系统 | |
| Imou et al. | Three-dimensional shape measurement of strawberries by volume intersection method | |
| CN113610831B (zh) | 基于计算机图像技术和迁移学习的木材缺陷检测方法 | |
| CN113591711B (zh) | 一种基于人工智能的粮仓危险源安全监测方法及系统 | |
| CN114821165A (zh) | 一种轨道检测图像采集分析方法 | |
| JP6742037B1 (ja) | 学習モデルの生成方法、学習モデル、検査装置、異常検出方法、及びコンピュータプログラム | |
| Yin et al. | A high-precision jujube disease spot detection based on SSD during the sorting process | |
| Khoje et al. | Application of colour texture moments to detect external skin damages in guavas (Psidium guajava L) | |
| Bonet et al. | Deep Learning Model to Predict the Ripeness of Oil Palm Fruit. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |