CN112883881B - 一种条状农产品无序分拣方法及装置 - Google Patents

一种条状农产品无序分拣方法及装置 Download PDF

Info

Publication number
CN112883881B
CN112883881B CN202110214408.9A CN202110214408A CN112883881B CN 112883881 B CN112883881 B CN 112883881B CN 202110214408 A CN202110214408 A CN 202110214408A CN 112883881 B CN112883881 B CN 112883881B
Authority
CN
China
Prior art keywords
image
target
sorted
agricultural product
agricultural products
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110214408.9A
Other languages
English (en)
Other versions
CN112883881A (zh
Inventor
张俊雄
侯泽禹
张帆
邓学
翟毅豪
陈科涵
李伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Agricultural University
Original Assignee
China Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Agricultural University filed Critical China Agricultural University
Priority to CN202110214408.9A priority Critical patent/CN112883881B/zh
Publication of CN112883881A publication Critical patent/CN112883881A/zh
Application granted granted Critical
Publication of CN112883881B publication Critical patent/CN112883881B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/155—Segmentation; Edge detection involving morphological operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20028—Bilateral filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20152—Watershed segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种条状农产品无序分拣方法及装置，该方法包括：根据待分拣农产品深度图，覆盖待分拣农产品RGB图，得到第一RGB图；对所述第一RGB图进行灰度化处理后，再进行二值化处理，得到灰度二值化图像；根据所述灰度二值化图像，覆盖所述第一RGB图，得到第二RGB图；对所述第二RGB图进行图像处理后，根据预设分割阈值进行分割，得到待分拣的目标农产品掩膜图像；对所述待分拣的目标农产品掩膜图像进行分析，得到目标抓取线，其能够有效实现对于条状农产品的分拣。

Description

一种条状农产品无序分拣方法及装置
技术领域
本发明涉及农产品信息处理技术领域，尤其涉及一种条状农产品无序分拣方法及装置。
背景技术
分拣是物流领域的重要步骤之一，传统的分拣方式多为人工分拣，效率较低。近年来，基于机器视觉的自动分拣技术在工件的自动化生产与快递行业应用越来越广泛，但多数分拣技术仅应用于目标物体与背景差别较为明显的结构环境下，无序分拣仍然是自动化分拣领域中的一大技术难题。
针对无序分拣中的目标识别问题，工业上常采用模板匹配、深度学习等方法。不能完全适用于农产品的分拣，因为对于形态各不相同的农产品，包括同一种类的农产品，很难找到一个适合的模板去进行匹配。而深度学习需要对不同种类的果蔬构建样本量庞大的数据集，以获得识别效果较好的训练模型。
而条状农产品由于形状不一致，容易凌乱堆放，因此如何更好的针对于条状农产品进行有效分拣已经成为业界亟待解决的问题。
发明内容
本发明提供一种条状农产品无序分拣方法及装置，用以解决现有技术中无法对于条状农产品进行有效分拣的问题。
本发明提供一种条状农产品无序分拣方法，包括：
根据待分拣农产品深度图，覆盖待分拣农产品RGB图，得到第一RGB图；
对所述第一RGB图进行灰度化处理后，再进行二值化处理，得到灰度二值化图像；
根据所述灰度二值化图像，覆盖所述第一RGB图，得到第二RGB图；
对所述第二RGB图进行图像处理后，根据预设分割阈值进行分割，得到待分拣的目标农产品掩膜图像；
对所述待分拣的目标农产品掩膜图像进行分析，得到目标抓取线。
根据本发明提供的一种条状农产品无序分拣方法，根据待分拣农产品深度图，覆盖待分拣农产品RGB图，得到第一RGB图的步骤，具体包括：
将待分拣农产品深度图转换至HSV彩色空间，将所述HSV彩色空间中的红色区域像素置为1，将所述HSV彩色空间中除红色外的其它区域像素置为0，得到深度二值化图像；
根据所述深度二值化图像覆盖待分拣农产品RGB图，得到第一RGB图。
根据本发明提供的一种条状农产品无序分拣方法，对所述第一RGB图进行灰度化处理后，再进行二值化处理，得到灰度二值化图像的步骤，具体包括：
对所述第一RGB图进行灰度化处理，得到第一灰度图；
根据预设二值化阈值，对所述第一灰度图进行二值化处理，得到灰度二值化图像。
根据本发明提供的一种条状农产品无序分拣方法，对所述第二RGB图进行图像处理后，根据预设分割阈值进行分割，得到待分拣的目标农产品掩膜图像的步骤，具体包括：
对所述第二RGB图进行双边滤波后，再进行灰度化处理，得到二灰度图；
通过最大类间方差法对所述第二灰度图进行二值化，得到目标二值化图像；
将所述目标二值化图像进行距离变换后，在进行归一化，得到归一化图像；
根据预设分割阈值对所述归一化图像进行阈值分割，得到目标种子点；
通过分水岭算法对所述目标种子点进行分割，得到待分拣的目标农产品掩膜图像。
根据本发明提供的一种条状农产品无序分拣方法，所述对所述待分拣的目标农产品掩膜图像进行分析，得到目标抓取线的步骤，具体包括：
在所述目标农产品掩膜图像中的农产品轮廓像素面积和农产品凸包像素面积处于预设范围的情况下，将所述目标农产品掩膜图像的最小外接矩形的长边中线作为抓取线。
根据本发明提供的一种条状农产品无序分拣方法，所述对所述待分拣的目标农产品掩膜图像进行分析，得到目标抓取线的步骤，具体还包括：
在所述目标农产品掩膜图像中的农产品轮廓像素面积和农产品凸包像素面积超过预设范围的情况下，去除所述目标农产品掩膜图像的最小外接矩形框倾斜角，得到新的外接矩形框；
确定所述新的外接矩形框长边中线与所述目标农产品掩膜图像的交线；
通过透视变换逆运算对所述交线进行还原，得到目标抓线。
本发明还提供一种条状农产品无序分拣装置，包括：
第一处理模块，用于根据待分拣农产品深度图，覆盖待分拣农产品RGB图，得到第一RGB图；
第二处理模块，用于对所述第一RGB图进行灰度化处理后，再进行二值化处理，得到灰度二值化图像；
第三处理模块，用于根据所述灰度二值化图像，覆盖所述第一RGB图，得到第二RGB图；
图像分析模块，用于对所述第二RGB图进行图像处理后，根据预设分割阈值进行分割，得到待分拣的目标农产品掩膜图像；
分拣模块，用于对所述待分拣的目标农产品掩膜图像进行分析，得到目标抓取线。
所述第一处理模块，具体用于：
将待分拣农产品深度图转换至HSV彩色空间，将所述HSV彩色空间中的红色区域像素置为1，将所述HSV彩色空间中除红色外的其它区域像素置为0，得到深度二值化图像；
根据所述深度二值化图像覆盖待分拣农产品RGB图，得到第一RGB图。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述条状农产品无序分拣方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述条状农产品无序分拣方法的步骤。
本发明提供的一种条状农产品无序分拣方法及装置，基于机器视觉，根据待分拣农产品深度图确定待分拣农产品最上层的农产品，根据其进一步覆盖待分拣农产品RGB图，解决了形状不一致凌乱堆放的农产品场景下的农产品识别问题，适应性较强，识别速度较快，从而根据农产品形状特征准确识别抓取的目标农产品，同时基于三维特征投影原理，解决了二维图像及深度图像中抓取线与三维抓取线的映射，从而能够实现机械手臂对于农产品的抓取。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的条状农产品无序分拣方法的流程示意图；
图2为本发明实施例提供的条状农产品自动分拣识别示意图；
图3为本发明实施例提供的条状农产品无序分拣识别流程图；
图4为本发明实施例提供的无序分拣抓取线获取方法流程图；
图5为本发明实施例提供的状农产品自动分拣系统结构示意图；
图6为本发明提供的条状农产品无序分拣装置示意图；
图7为本发明提供的电子设备的实体结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是本发明实施例提供的条状农产品无序分拣方法的流程示意图，如图1所示，包括：
步骤S1，根据待分拣农产品深度图，覆盖待分拣农产品RGB图，得到第一RGB图；
具体的，本发明实施例中所描述的待分拣农产品深度图是指通过深度相机获取的待分拣农产品的深度图，该深度图具有待分拣农产品距离相机的距离信息。
本申请中所描述的待分拣农产品的RGB图是指通过普通相机拍摄的待分拣农产品的图像，并且上述深度图和RGB图是在相机对齐后拍摄的，也就是说本申请中的RGB图和深度图是在同一角度下拍摄的。
因此，本申请中可以根据待分拣农产品深度图来筛选区待分拣农产品RGB图中最上层的农产品图像，覆盖待分拣农产品RGB图，得到第一RGB图。
步骤S2，对所述第一RGB图进行灰度化处理后，再进行二值化处理，得到灰度二值化图像；
本申请中根据第一RGB图中每个通道像素值的均值，对第一RGB图像进行灰度化，再将灰度图进行二值化处理，从而进一步增强图像。
本申请中的二值化处理与根据预设二值化阈值来进行的。
步骤S3，根据所述灰度二值化图像，覆盖所述第一RGB图，得到第二RGB图；
本申请中根据灰度二值化图像，覆盖所述第一RGB图的过程，具体是指，灰度二值化图像中存在像素值为0的部分，则将第一RGB图像中对应像素的像素值置为0，灰度二值化图像中存在像素值为1的部分，则将第一RGB图像中对应像素的像素值保留，最终得到第二RGB图。
步骤S4，对所述第二RGB图进行图像处理后，根据预设分割阈值进行分割，得到待分拣的目标农产品掩膜图像；
具体的，本发明中所描述的预设分割阈值，可以是根据具体的农产品情况进行设定的阈值。
本发明中对于第二RGB图进行图像处理的过程，具体包括；首先对其进行双边滤波，然后进行灰度化处理，再通过最大类间方差法对其进行二值化处理，然后再进行距离变换后，将图像归一化。
本申请中根据预设分割阈值对归一化后的图像进行分割，可以得到目标种子点，再使用分水岭算法进行分割，最终得到待分拣的目标农产品掩膜图像。
步骤S5，对所述待分拣的目标农产品掩膜图像进行分析，得到目标抓取线。
本申请中需要根据目标农产品掩膜图像中的农产品轮廓像素面积和农产品凸包像素面积，来判断如何选取掩膜图像的抓取线。
农产品轮廓像素面积和农产品凸包像素面积可以用于判断目标农产品的弯曲程度，而不同弯曲程度的农产品的抓区线选取也会不同。
本申请基于机器视觉，根据待分拣农产品深度图确定待分拣农产品最上层的农产品，根据其进一步覆盖待分拣农产品RGB图，解决了形状不一致凌乱堆放的农产品场景下的农产品识别问题，适应性较强，识别速度较快，从而根据农产品形状特征准确识别抓取的目标农产品，同时基于三维特征投影原理，解决了二维图像及深度图像中抓取线与三维抓取线的映射，从而能够实现机械手臂对于农产品的抓取。
基于上述任一实施例，根据待分拣农产品深度图，覆盖待分拣农产品RGB图，得到第一RGB图的步骤，具体包括：
将待分拣农产品深度图转换至HSV彩色空间，将所述HSV(Hue,Saturation,Value)彩色空间中的红色区域像素置为1，将所述HSV彩色空间中除红色外的其它区域像素置为0，得到深度二值化图像；
根据所述深度二值化图像覆盖待分拣农产品RGB图，得到第一RGB图。
具体的，本申请实施例中所描述的HSV彩色空间是根据颜色的直观特性创建的一种颜色空间,也称六角锥体模型(Hexcone Model)。
本申请中按照红色区域范围H：0-10、S：43-255、V：46-255，对图片进行阈值分割，将红色区域置为1(白色)，其余区域置为0(黑色)，并通过开运算移除小面积区域，进一步去除噪声，得到深度二值化图像。
本申请中根据所述深度二值化图像覆盖待分拣农产品RGB图，得到第一RGB图的步骤，具体是指，深度二值化图像的像素值为0，则将待分拣农产品RGB图对应像素点的像素值置为0，深度二值化图像的像素值为1，则将待分拣农产品RGB图对应像素点的像素值保留，完成覆盖，得到第一RGB图。
本申请实施例通过深度图转换为HSV空间，利用最上层农产品在HSV彩色空间中会呈现红色的特点，对其进行二值化，从而仅仅保留待分拣农产品RGB图中最上层的农产品图像，也就是目标待分拣农产品部分的图像，有利于后续确认目标。
基于上述任一实施例，对所述第一RGB图进行灰度化处理后，再进行二值化处理，得到灰度二值化图像的步骤，具体包括：
对所述第一RGB图进行灰度化处理，得到第一灰度图；
根据预设二值化阈值，对所述第一灰度图进行二值化处理，得到灰度二值化图像。
本申请中所描述的预设二值化阈值是指根据农产品种类或者根据需求预先设定的阈值。
具体的，本申请中首先对的RGB图像进行通道分离，分别得到R、G、B三通道，获取每个通道像素值的均值，并使用式(1)对RGB图像进行灰度化。
其中，分别为R、G、B通道像素值均值。
本申请实施例中根据预设二值化阈值，对所述第一灰度图进行二值化处理的步骤，具体是指，若第一灰度图的某一点像素值大于预设二值化阈值TA，则置为1，否则置为0，得到灰度二值化图像。
本申请中的灰度二值化图像可以进一步用于对第一RGB图进行覆盖，可以进一步其进行降噪处理，有效筛选出待分拣目标农产品的图像。
基于上述任一实施例，对所述第二RGB图进行图像处理后，根据预设分割阈值进行分割，得到待分拣的目标农产品掩膜图像的步骤，具体包括：
对所述第二RGB图进行双边滤波后，再进行灰度化处理，得到第二灰度图；
通过最大类间方差法对所述第二灰度图进行二值化，得到目标二值化图像；
将所述目标二值化图像进行距离变换后，在进行归一化，得到归一化图像；
根据预设分割阈值对所述归一化图像进行阈值分割，得到目标种子点；
通过分水岭算法对所述目标种子点进行分割，得到待分拣的目标农产品掩膜图像。
具体的，本申请实施例对第二RGB图进行双边滤波，平滑图像并突出边缘，再进行灰度化得到第二灰度图。
本申请实施例使用最大类间方差法对灰度图像进行二值化，得到二值图像，然后进行距离变换后将图像归一化，得到归一化图像。
根据预设分割阈值对所述归一化图像进行阈值分割，取分割结果为种子点为目标种子点，再使用分水岭算法进行分割，最终得到待分拣的目标农产品的掩膜图像。
本申请实施例通过双边滤波、最大类间方差法和归一化等方法可以对第二RGB图进行进一步优化，最后通过分割和分水岭算法，可以最终确定待分拣的目标农产品掩膜图像。
基于上述任一实施例，所述对所述待分拣的目标农产品掩膜图像进行分析，得到目标抓取线的步骤，具体包括：
在所述目标农产品掩膜图像中的农产品轮廓像素面积和农产品凸包像素面积处于预设范围的情况下，将所述目标农产品掩膜图像的最小外接矩形的长边中线作为抓取线。
具体的，获取目标掩膜最小外接矩形，最小外接矩形相对于图像坐标系x轴的旋转角度视为目标农产品的二维位姿。
获取目标掩膜轮廓及其凸包，根据轮廓与其凸包的像素面积大小，判断农产品是否存在较大弯曲，从而判断抓取线获取方式。
若轮廓像素面积与凸包像素面积大小满足预设范围，则认为目标农产品的弯曲程度不大，属于常规条状，此时取目标掩膜最小外接矩形长边中线为抓取线。
基于上述任一实施例，所述对所述待分拣的目标农产品掩膜图像进行分析，得到目标抓取线的步骤，具体还包括：
在所述目标农产品掩膜图像中的农产品轮廓像素面积和农产品凸包像素面积超过预设范围的情况下，去除所述目标农产品掩膜图像的最小外接矩形框倾斜角，得到新的外接矩形框；
确定所述新的外接矩形框长边中线与所述目标农产品掩膜图像的交线；
通过透视变换逆运算对所述交线进行还原，得到目标抓线。
本申请实施例中所描述的在所述目标农产品掩膜图像中的农产品轮廓像素面积和农产品凸包像素面积超过预设范围的情况下，则说明农产品的弯曲程度较大，不属于常规条状，此时目标掩膜最小外接矩形长边中线与农产品横径相差较大，取最小外接矩形长边中线与目标掩膜交线为抓取线。
进一步地，当农产品的弯曲程度较大时，利用透视变换，将目标掩膜最小外接矩形框从图像中提取出来，去除最小外接矩形框倾斜角。首先获取原最小外接矩形框四个顶点的坐标，利用式(2)计算最小外接矩形长边边长S1与短边边长S2，令新矩形框左上角坐标为(0,0)，右上角坐标为(S1,0)，左下角坐标为(0,S2)，右下角坐标为(S1,S2)。利用原矩形框顶点坐标与新矩形框顶点坐标求透视变换矩阵，使用透视变换去除最小外接矩形框倾斜角，去除倾斜角后，新矩形框长边与图像坐标系X轴平行或垂直，图像中仅有一目标掩膜。将新矩形框图像灰度化，遍历新矩形框长边中线像素值，若某点像素值小于预设阈值TC，则为该中线与掩膜交点，连接所有交点，得到交线。再通过透视变换的逆运算，将交线还原至原图像，还原后的交线即为第二种情况对应的抓取线，在两种情况中，均取抓取线中点为抓取位置。
其中，S1、S2分别为原最小外接矩形框长边边长与短边边长，(x0,y0),(x1,y1),(x2,y2)分别为原矩形框左上角、右上角、左下角在像素坐标系下的坐标。
为便于观察，在深度相机获取的RGB图像中显示经过步骤一至十得到的标记，包括掩膜最小外接矩形、掩膜凸包、抓取线及抓取位置。
根据相机的内参矩阵、手眼标定得到的手眼转换矩阵与图像对应的深度信息获取抓取线两端点在机器人基座标系下的三维坐标(Xp1,Yp1,Zp1),(Xp2,Yp2,Zp2)，根据式(3)，获取抓取线在机器人基坐标系下的旋转角度θ，从而规划机械臂的抓取姿态。
通过工控机将机械臂抓取位姿发送至机械臂控制柜，机械臂自动规划抓取路径，当机械臂末端以相应的姿态到达抓取点时，工况机控制柔性末端抓取，完成农产品的分拣。
图2为本发明实施例提供的条状农产品自动分拣识别示意图，如图2所示，包括：右侧目标农产品抓取位置1、右侧目标农产品抓取线2、右侧目标农产品掩膜凸包3、左侧目标农产品掩膜最小外接矩形4、左侧目标农产品抓取位置5和左侧目标农产品抓取线6。
图3为本发明实施例提供的条状农产品无序分拣识别流程图，如图3所示，包括：获取对齐后的深度图与RGB图；高斯滤波，去除噪声；深度图孔洞填充；均值漂移平滑深度图；HSV阈值分割，提取深度图红色区域；二值化，红色区域为白，其他区域为黑；去除小面积区域，提取黑色区域，覆盖RGB图；RGB通道分离；增强颜色特征，灰度化；自定义阈值二值化；提取黑色区域，覆盖RGB图；双边滤波；灰度化，OTSU二值化；距离变换，归一化；阈值分割，确定种子点；分水岭算法分割；面积/长宽比阈值，获取最佳识别目标。
图4为本发明实施例提供的无序分拣抓取线获取方法流程图，如图4所示，获取目标掩膜轮廓及其凸包；判断轮廓像素面积与凸包像素面积是否满足预设范围；当在所述目标农产品掩膜图像中的农产品轮廓像素面积和农产品凸包像素面积处于预设范围的情况下，取目标掩膜最小外接矩形长边中线为抓取线。
在所述目标农产品掩膜图像中的农产品轮廓像素面积和农产品凸包像素面积超过预设范围的情况下；获取原最小外接矩形框顶点坐标，计算长边、短边边长；设置新最小外接矩形框顶点；透视变换，去除矩形框倾斜角；求新矩形框长边中线与掩膜交线；透视变换逆运算，还原交线；取还原后的交线为抓取线。
图5为本发明实施例提供的状农产品自动分拣系统结构示意图，如图5所示，自动分拣系统由工控机11，自由度机械臂12、深度相机13、柔性手爪14以及分拣平台15组成，自由度机械臂12置于其移动底座上，位于分拣平台15右侧，深度相机13固定在自由度机械臂12末端。系统的工作原理是：分拣平台15上放置分拣框，框内装有随机数量、品种，以任意姿态放置的条状农产品；工控机控制机械臂末端移动至图像采集位置，此时深度相机平行于分拣平台基准面，且视野刚好覆盖整个分拣框，但机械臂末端移动至图像采集位置后，工控机发送信号，控制深度相机采集分拣框RGB图像与深度图像；图像保存至工控机后对其进行处理，获得图像坐标系下待分拣农产品的偏向角度与抓取线的位姿；工控机结合相机标定与手眼标定得到的坐标转换矩阵，得到抓取线在机器人基座标系下的位姿，从而通过机械臂控制柜控制机械臂对分拣框内的农产品进行抓取，将农产品有序放置于码垛箱16中，实现条抓农产品的无序分拣。
图6为本发明提供的条状农产品无序分拣装置示意图，如图6所示，包括：
第一处理模块610，用于根据待分拣农产品深度图，覆盖待分拣农产品RGB图，得到第一RGB图；
第二处理模块620，用于对所述第一RGB图进行灰度化处理后，再进行二值化处理，得到灰度二值化图像；
第三处理模块630，用于根据所述灰度二值化图像，覆盖所述第一RGB图，得到第二RGB图；
图像分析模块640，用于对所述第二RGB图进行图像处理后，根据预设分割阈值进行分割，得到待分拣的目标农产品掩膜图像；
分拣模块650用于对所述待分拣的目标农产品掩膜图像进行分析，得到目标抓取线。
本发明实施例基于机器视觉，根据待分拣农产品深度图确定待分拣农产品最上层的农产品，根据其进一步覆盖待分拣农产品RGB图，解决了形状不一致凌乱堆放的农产品场景下的农产品识别问题，适应性较强，识别速度较快，从而根据农产品形状特征准确识别抓取的目标农产品，同时基于三维特征投影原理，解决了二维图像及深度图像中抓取线与三维抓取线的映射，从而能够实现机械手臂对于农产品的抓取。
图7为本发明提供的电子设备的实体结构示意图，如图7所示，该电子设备可以包括：处理器(processor)710、通信接口(Communications Interface)720、存储器(memory)730和通信总线740，其中，处理器710，通信接口720，存储器730通过通信总线740完成相互间的通信。处理器710可以调用存储器730中的逻辑指令，以执行条状农产品无序分拣方法，该方法包括：根据待分拣农产品深度图，覆盖待分拣农产品RGB图，得到第一RGB图；对所述第一RGB图进行灰度化处理后，再进行二值化处理，得到灰度二值化图像；根据所述灰度二值化图像，覆盖所述第一RGB图，得到第二RGB图；对所述第二RGB图进行图像处理后，根据预设分割阈值进行分割，得到待分拣的目标农产品掩膜图像；对所述待分拣的目标农产品掩膜图像进行分析，得到目标抓取线。
此外，上述的存储器730中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的条状农产品无序分拣方法，该方法包括：根据待分拣农产品深度图，覆盖待分拣农产品RGB图，得到第一RGB图；对所述第一RGB图进行灰度化处理后，再进行二值化处理，得到灰度二值化图像；根据所述灰度二值化图像，覆盖所述第一RGB图，得到第二RGB图；对所述第二RGB图进行图像处理后，根据预设分割阈值进行分割，得到待分拣的目标农产品掩膜图像；对所述待分拣的目标农产品掩膜图像进行分析，得到目标抓取线。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的条状农产品无序分拣方法，该方法包括：根据待分拣农产品深度图，覆盖待分拣农产品RGB图，得到第一RGB图；对所述第一RGB图进行灰度化处理后，再进行二值化处理，得到灰度二值化图像；根据所述灰度二值化图像，覆盖所述第一RGB图，得到第二RGB图；对所述第二RGB图进行图像处理后，根据预设分割阈值进行分割，得到待分拣的目标农产品掩膜图像；对所述待分拣的目标农产品掩膜图像进行分析，得到目标抓取线。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (6)

1.一种条状农产品无序分拣方法，其特征在于，包括：
根据待分拣农产品深度图，覆盖待分拣农产品RGB图，得到第一RGB图；
对所述第一RGB图进行灰度化处理后，再进行二值化处理，得到灰度二值化图像；
根据所述灰度二值化图像，覆盖所述第一RGB图，得到第二RGB图；
对所述第二RGB图进行图像处理后，根据预设分割阈值进行分割，得到待分拣的目标农产品掩膜图像；
对所述待分拣的目标农产品掩膜图像进行分析，得到目标抓取线；
其中，根据待分拣农产品深度图，覆盖待分拣农产品RGB图，得到第一RGB图的步骤，具体包括：
将待分拣农产品深度图转换至HSV彩色空间，将所述HSV彩色空间中的红色区域像素置为1，将所述HSV彩色空间中除红色外的其它区域像素置为0，得到深度二值化图像；
根据所述深度二值化图像覆盖待分拣农产品RGB图，得到第一RGB图；
其中，所述对所述待分拣的目标农产品掩膜图像进行分析，得到目标抓取线的步骤，具体包括：
在所述目标农产品掩膜图像中的农产品轮廓像素面积和农产品凸包像素面积处于预设范围的情况下，将所述目标农产品掩膜图像的最小外接矩形的长边中线作为抓取线；
其中，所述对所述待分拣的目标农产品掩膜图像进行分析，得到目标抓取线的步骤，具体还包括：
在所述目标农产品掩膜图像中的农产品轮廓像素面积和农产品凸包像素面积超过预设范围的情况下，去除所述目标农产品掩膜图像的最小外接矩形框倾斜角，得到新的外接矩形框；
确定所述新的外接矩形框长边中线与所述目标农产品掩膜图像的交线；
通过透视变换逆运算对所述交线进行还原，得到目标抓取线。
2.根据权利要求1所述条状农产品无序分拣方法，其特征在于，对所述第一RGB图进行灰度化处理后，再进行二值化处理，得到灰度二值化图像的步骤，具体包括：
对所述第一RGB图进行灰度化处理，得到第一灰度图；
根据预设二值化阈值，对所述第一灰度图进行二值化处理，得到灰度二值化图像。
3.根据权利要求1所述条状农产品无序分拣方法，其特征在于，对所述第二RGB图进行图像处理后，根据预设分割阈值进行分割，得到待分拣的目标农产品掩膜图像的步骤，具体包括：
对所述第二RGB图进行双边滤波后，再进行灰度化处理，得到第二灰度图；
通过最大类间方差法对所述第二灰度图进行二值化，得到目标二值化图像；
将所述目标二值化图像进行距离变换后，在进行归一化，得到归一化图像；
根据预设分割阈值对所述归一化图像进行阈值分割，得到目标种子点；
通过分水岭算法对所述目标种子点进行分割，得到待分拣的目标农产品掩膜图像。
4.一种条状农产品无序分拣装置，其特征在于，包括：
第一处理模块，用于根据待分拣农产品深度图，覆盖待分拣农产品RGB图，得到第一RGB图；
第二处理模块，用于对所述第一RGB图进行灰度化处理后，再进行二值化处理，得到灰度二值化图像；
第三处理模块，用于根据所述灰度二值化图像，覆盖所述第一RGB图，得到第二RGB图；
图像分析模块，用于对所述第二RGB图进行图像处理后，根据预设分割阈值进行分割，得到待分拣的目标农产品掩膜图像；
分拣模块，用于对所述待分拣的目标农产品掩膜图像进行分析，得到目标抓取线；
其中，所述第一处理模块，具体用于：
将待分拣农产品深度图转换至HSV彩色空间，将所述HSV彩色空间中的红色区域像素置为1，将所述HSV彩色空间中除红色外的其它区域像素置为0，得到深度二值化图像；
根据所述深度二值化图像覆盖待分拣农产品RGB图，得到第一RGB图；
其中，所述装置用于：
在所述目标农产品掩膜图像中的农产品轮廓像素面积和农产品凸包像素面积处于预设范围的情况下，将所述目标农产品掩膜图像的最小外接矩形的长边中线作为抓取线；
在所述目标农产品掩膜图像中的农产品轮廓像素面积和农产品凸包像素面积超过预设范围的情况下，去除所述目标农产品掩膜图像的最小外接矩形框倾斜角，得到新的外接矩形框；
确定所述新的外接矩形框长边中线与所述目标农产品掩膜图像的交线；
通过透视变换逆运算对所述交线进行还原，得到目标抓取线。
5.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至3任一项所述条状农产品无序分拣方法的步骤。
6.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至3任一项所述条状农产品无序分拣方法的步骤。
CN202110214408.9A 2021-02-25 2021-02-25 一种条状农产品无序分拣方法及装置 Active CN112883881B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110214408.9A CN112883881B (zh) 2021-02-25 2021-02-25 一种条状农产品无序分拣方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110214408.9A CN112883881B (zh) 2021-02-25 2021-02-25 一种条状农产品无序分拣方法及装置

Publications (2)

Publication Number Publication Date
CN112883881A CN112883881A (zh) 2021-06-01
CN112883881B true CN112883881B (zh) 2023-10-31

Family

ID=76054817

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110214408.9A Active CN112883881B (zh) 2021-02-25 2021-02-25 一种条状农产品无序分拣方法及装置

Country Status (1)

Country Link
CN (1) CN112883881B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113276099B (zh) * 2021-06-07 2022-04-26 中国农业大学 一种全自动肉条分拣机器人系统
CN116175542B (zh) * 2021-11-28 2024-01-26 梅卡曼德（北京）机器人科技有限公司 确定夹具抓取顺序的方法、装置、电子设备和存储介质
CN116197886A (zh) * 2021-11-28 2023-06-02 梅卡曼德（北京）机器人科技有限公司 图像数据处理方法、装置、电子设备和存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104923593A (zh) * 2015-05-20 2015-09-23 南京航空航天大学 一种基于视觉的顶层折弯板材定位方法
CN106887006A (zh) * 2015-12-15 2017-06-23 株式会社理光 堆叠物体的识别方法、设备和机器分拣系统
CN107301634A (zh) * 2017-06-28 2017-10-27 湖南瑞森可机器人科技有限公司 一种机器人自动分拣方法及系统
WO2018076776A1 (zh) * 2016-10-25 2018-05-03 深圳光启合众科技有限公司 机器人、机械臂及其控制方法和装置
CN108109174A (zh) * 2017-12-13 2018-06-01 上海电气集团股份有限公司 一种用于散乱零件随机分拣的机器人单目引导方法和系统
CN109033920A (zh) * 2017-06-08 2018-12-18 株式会社理光 一种可抓取目标的识别方法、装置及计算机可读存储介质
CN109115776A (zh) * 2018-08-27 2019-01-01 江苏大学 一种基于颜色和深度信息的穴盘苗长势无损监测方法和装置
CN110000783A (zh) * 2019-04-04 2019-07-12 上海节卡机器人科技有限公司 机器人的视觉抓取方法和装置
WO2020034872A1 (zh) * 2018-08-17 2020-02-20 深圳蓝胖子机器人有限公司 目标获取方法、设备和计算机可读存储介质
CN111515133A (zh) * 2020-04-30 2020-08-11 上海中通吉网络技术有限公司 快递异形件自动拣选方法、装置、设备和存储介质
CN111931765A (zh) * 2020-07-24 2020-11-13 上海明略人工智能(集团)有限公司 一种食品分拣方法、系统及计算机可读存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104923593A (zh) * 2015-05-20 2015-09-23 南京航空航天大学 一种基于视觉的顶层折弯板材定位方法
CN106887006A (zh) * 2015-12-15 2017-06-23 株式会社理光 堆叠物体的识别方法、设备和机器分拣系统
WO2018076776A1 (zh) * 2016-10-25 2018-05-03 深圳光启合众科技有限公司 机器人、机械臂及其控制方法和装置
CN109033920A (zh) * 2017-06-08 2018-12-18 株式会社理光 一种可抓取目标的识别方法、装置及计算机可读存储介质
CN107301634A (zh) * 2017-06-28 2017-10-27 湖南瑞森可机器人科技有限公司 一种机器人自动分拣方法及系统
CN108109174A (zh) * 2017-12-13 2018-06-01 上海电气集团股份有限公司 一种用于散乱零件随机分拣的机器人单目引导方法和系统
WO2020034872A1 (zh) * 2018-08-17 2020-02-20 深圳蓝胖子机器人有限公司 目标获取方法、设备和计算机可读存储介质
CN109115776A (zh) * 2018-08-27 2019-01-01 江苏大学 一种基于颜色和深度信息的穴盘苗长势无损监测方法和装置
CN110000783A (zh) * 2019-04-04 2019-07-12 上海节卡机器人科技有限公司 机器人的视觉抓取方法和装置
CN111515133A (zh) * 2020-04-30 2020-08-11 上海中通吉网络技术有限公司 快递异形件自动拣选方法、装置、设备和存储介质
CN111931765A (zh) * 2020-07-24 2020-11-13 上海明略人工智能(集团)有限公司 一种食品分拣方法、系统及计算机可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于机器视觉的机械臂智能分拣系统;房国栋，高军伟，朱晨曦，孔德帅;仪表技术与传感器(第12期);第72-81页 *

Also Published As

Publication number Publication date
CN112883881A (zh) 2021-06-01

Similar Documents

Publication Publication Date Title
CN112883881B (zh) 一种条状农产品无序分拣方法及装置
CN107545239B (zh) 一种基于车牌识别与车辆特征匹配的套牌检测方法
CN113658132B (zh) 基于计算机视觉的结构件焊缝检测方法
CN107230202B (zh) 路面病害图像的自动识别方法和系统
CN110648367A (zh) 一种基于多层深度与彩色视觉信息的几何体目标定位方法
CN106709524B (zh) 一种电气工程图中的元件符号检测与识别方法
CN111915704A (zh) 一种基于深度学习的苹果分级识别方法
CN112819094A (zh) 一种基于结构相似度度量的目标检测与识别方法
CN114331986A (zh) 一种基于无人机视觉的坝体裂纹识别与测量方法
CN112132153B (zh) 基于聚类和形态学处理的番茄果实识别方法及系统
CN110032932B (zh) 一种基于视频处理和决策树设定阈值的人体姿态识别方法
CN111382658B (zh) 一种基于图像灰度梯度一致性的自然环境下道路交通标志检测方法
Galsgaard et al. Circular hough transform and local circularity measure for weight estimation of a graph-cut based wood stack measurement
CN109977941A (zh) 车牌识别方法及装置
CN113392819B (zh) 一种批量化学术图像自动分割标注装置和方法
CN113283439B (zh) 基于图像识别的智能计数方法、装置及系统
CN116228757B (zh) 一种基于图像处理算法的深海网箱网衣检测方法
CN112528740A (zh) 一种压板状态识别方法
CN108985294B (zh) 一种轮胎模具图片的定位方法、装置、设备及存储介质
Ishizuka et al. Segmentation of road sign symbols using opponent-color filters
CN115984806A (zh) 道路标线破损动态检测系统
CN113643290B (zh) 一种基于图像处理的吸管计数方法、装置及存储介质
CN111523583B (zh) 一种利用无人机对设备铭牌照片自动识别分类的方法
CN112819823A (zh) 一种面向家具板材的圆孔检测方法、系统及装置
CN107798291B (zh) 一种限速标识识别方法、装置和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant