CN113894058A - 基于深度学习的品质检测与分拣方法、系统及存储介质 - Google Patents

基于深度学习的品质检测与分拣方法、系统及存储介质 Download PDF

Info

Publication number
CN113894058A
CN113894058A CN202111046685.XA CN202111046685A CN113894058A CN 113894058 A CN113894058 A CN 113894058A CN 202111046685 A CN202111046685 A CN 202111046685A CN 113894058 A CN113894058 A CN 113894058A
Authority
CN
China
Prior art keywords
target
sorting
sorted
grabbing
deep learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111046685.XA
Other languages
English (en)
Other versions
CN113894058B (zh
Inventor
郭联金
李会玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dongguan Polytechnic
Original Assignee
Dongguan Polytechnic
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dongguan Polytechnic filed Critical Dongguan Polytechnic
Priority to CN202111046685.XA priority Critical patent/CN113894058B/zh
Publication of CN113894058A publication Critical patent/CN113894058A/zh
Application granted granted Critical
Publication of CN113894058B publication Critical patent/CN113894058B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34—Sorting according to other particular properties
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/36—Sorting apparatus characterised by the means used for distribution
    • B07C5/361—Processing or control devices therefor, e.g. escort memory
    • B07C5/362—Separating or distributor mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种基于深度学习的品质检测与分拣方法、系统及存储介质。其中，基于深度学习的品质检测与分拣方法包括：获取待分拣目标的目标类别、目标图像、当前位置；将目标图像、目标类别输入目标识别模型，得到目标类别对应的待分拣目标的属性特征，属性特征包括品质等级和规格；在当前位置抓取待分拣目标；检测分拣机器人的抓取压力；将抓取压力、目标类别输入神经网络预测模型，得到分拣机器人的控制反馈值；控制反馈值用于表征分拣机器人的抓取压力范围；根据控制反馈值调整抓取压力并根据待分拣目标的属性特征将待分拣目标抓取至对应的分料区。本申请能够识别出目标的品质等级以及规格，并对目标进行分拣，且能够调节手爪抓取目标的压力。

Description

基于深度学习的品质检测与分拣方法、系统及存储介质
技术领域
本申请涉及设备的自动化管理技术，具体涉及一种基于深度学习的品质检测与分拣方法、系统及存储介质。
背景技术
随着劳动成本的增加及当下智能化制造对高效生产的要求，机器人被越来越多地应用到工业分拣中代替人类完成繁琐的工作，对于机器人来说，如何根据环境状况及对象的特性进行智能化的准确、无损抓取和转运是一项重要的能力。
在分拣领域，需要对产品的品质等级以及规格进行分类，并实现稳定的抓取分拣，而当前大批量生产的自动线中，普遍采用工业机器人对多种产品进行批量分拣以提升分拣效率。但是在多个产品中，尤其是易碎产品，如生鲜等，产品的品质以及抓取的力均会导致分拣效果不佳。
发明内容
本申请旨在至少解决现有技术中存在的技术问题之一。为此，本申请提出一种基于深度学习的品质检测与分拣方法，能够提升分拣效果。
根据本申请第一方面实施例的基于深度学习的品质检测与分拣方法，包括以下步骤：
获取目标图像以及待分拣目标的目标类别；
将所述目标图像、所述目标类别输入目标识别模型，得到所述目标类别对应的待分拣目标的属性特征，所述属性特征包括品质等级和规格；
获取所述待分拣目标的当前位置；
控制分拣机器人运动至所述当前位置并抓取所述待分拣目标；
检测所述分拣机器人的抓取压力；
将所述抓取压力、所述目标类别输入神经网络预测模型，得到所述分拣机器人的控制反馈值；其中，所述控制反馈值用于表征所述分拣机器人的抓取压力范围；
根据所述控制反馈值调整所述抓取压力，并根据所述待分拣目标的属性特征将所述待分拣目标抓取至对应的分料区内。
根据本申请第一方面实施例的品质检测与分拣方法，至少具有如下有益效果：通过目标识别模型从在待分拣区域对应的目标图像中识别出待分拣目标的品质等级和规格，从而确定待分拣目标的放置的分料区，分拣识别率更准确。同时，通过神经网络预测模型对分拣机器人抓取压力范围进行预测，确保分拣机器人在抓取过程中对待分拣目标施加的抓取压力不会过大，从而降低抓取过程中待分拣目标的外表面受压破损的概率。因此分别通过目标识别模型、神经网络预测模型从待分拣区域将待分拣目标分拣至对应的分料区，分拣效果更好。
根据本申请的一些实施例，获取所述待分拣目标的目标类别，包括：
获取来自用户的语音指令；
根据所述语音指令解析得到所述待分拣目标的目标类别。
根据本申请的一些实施例，在将所述目标图像、所述目标类别输入目标识别模型之前，还包括：
获取样本集，所述样本集为预设条件下采集得到的若干第一样本图像；
对所述第一样本图像进行实例分割标注；
将标注后的样本集通过图像处理方式进行数据扩充，并将扩充后的所述样本集划分为训练集以及测试集；
将所述训练集输入Mask R-CNN模型中进行训练；
将所述测试集输入至已训练好的Mask R-CNN模型中进行测试并调整至所述 MaskR-CNN模型收敛，得到所述目标识别模型。
根据本申请的一些实施例，所述将标注后的样本集通过图像处理方式进行数据扩充，包括：通过旋转、平移、缩放以及加噪对标注后的样本集进行数据扩充。
根据本申请的一些实施例，所述控制反馈值为电压值，所述根据所述控制反馈值调整所述抓取压力，包括：
根据所述电压值，通过PID算法调整提供给所述分拣机器人的实际电压，其中，所述实际电压小于或等于所述电压值；
通过所述实际电压控制所述分拣机器人的手爪的张角。
根据本申请的一些实施例，在将所述抓取压力、所述分拣目标输入神经网络预测模型之前，还包括：
获取多组分拣样本数据，每一分拣样本数据均包括样本抓取压力、待分拣样本目标的规格参数、手爪的气压、手爪的气流量、抓取反馈压力以及第一电压；
对多组分拣样本数据进行归一化处理；
将多组分拣样本数据输入至BP神经网络模型中进行训练；
调整BP神经网络模型的配置参数重新进行训练，得到训练好的神经网络预测模型。
根据本申请的一些实施例，还包括：在所述获取所述待分拣目标的当前位置之前，还包括：
获取相机的内参数以及外参数；
根据所述内参数以及所述外参数，得到像素坐标系与世界坐标系的转换关系；
所述获取所述待分拣目标的当前位置，包括：
根据所述目标图像、所述像素坐标系，计算得到所述待分拣目标的像素坐标；
根据所述转换关系，计算得到所述像素坐标对应的实际坐标，并将所述实际坐标作为当前位置。
根据本申请的一些实施例，所述获取相机的内参数以及外参数，包括：
根据所述相机的规格参数获得所述内参数；
采集第二样本图像中若干预设标记物对应的多组坐标组，其中，每组坐标组均包括像素坐标以及实际坐标；
通过最小化重投影误差，对若干个所述标记物对应的多组坐标组计算，得到所述外参数。
根据本申请第二方面实施例的基于深度学习的品质检测与分拣系统，包括：
至少一个处理器，以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本申请第一方面实施例所述的品质检测与分拣方法。
根据本申请的第三方面实施例的计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如本申请第一方面实施例所述的品质检测与分拣方法。
本申请的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
下面结合附图和实施例对本申请做进一步的说明，其中：
图1为本申请实施例的基于深度学习的品质检测与分拣方法的步骤流程图；
图2为本申请实施例的基于深度学习的品质检测与分拣方法的目标识别模型创建的步骤流程图；
图3为本申请实施例的基于深度学习的品质检测与分拣方法的神经网络创建的步骤流程图；
图4为本申请实施例的基于深度学习的品质检测与分拣系统的示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能理解为对本申请的限制。
在本申请的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。
在本申请的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
本申请的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本申请中的具体含义。
首先，对本申请实施例中涉及的相关名词术语进行介绍和说明：
Mask R-CNN模型：Mask R-CNN是一个实例分割模型，它能确定图片中各个目标的位置和类别，给出像素级预测。所谓“实例分割”，指的是对场景内的每种兴趣对象进行分割，无论它们是否属于同一类别，比如模型可以从街景视频中识别车辆、人员等单个目标。
BP神经网络模型：BP(Back Propagation)神经网络是1986年由Rumelhart和McCelland 为首的科学家小组提出，是一种按误差逆传播算法训练的多层前馈网络，是目前应用最广泛的神经网络之一。BP神经网络能学习和存贮大量的输入-输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程，它的学习规则是使用最速下降法，通过反向传播来不断调整网络的权值和阈值，使网络的误差平方和最小。BP神经网络模型拓扑结构包括输入层 (input)、隐层(hide layer)和输出层(output layer)。
张正友标定法：又称“张氏标定”，是指张正友教授于1998年提出的单平面棋盘格的摄像机标定方法。张氏标定法已经作为工具箱或封装好的函数被广泛应用。张氏标定的原文为“AFlexible New Technique forCamera Calibration”。张氏标定为相机标定提供了很大便利，并且具有很高的精度。从此标定可以不需要特殊的标定物，只需要一张打印出来的棋盘格。
为了对本申请的技术特征、目的和效果有更加清晰的理解，先对照附图详细说明本申请的具体实施方式。
请参阅图1，本申请提供一种基于深度学习的品质检测与分拣方法，包括以下步骤：
步骤S100，获取目标图像以及待分拣目标的目标类别。
需说明的是，目标图像是待分拣区域的图像，待分拣目标针对的是一次分拣过程中的目标产品。如待分拣区域有苹果、梨子、桃子、猕猴桃，则苹果、梨子、桃子、猕猴桃为待分拣目标列表，对于一次分拣过程而言，可以先分拣苹果，则苹果为待分拣目标，目标类别为苹果，用于区分不同的类型的水果。
步骤S200，将目标图像、目标类别输入目标识别模型，得到目标类别对应的待分拣目标的属性特征，属性特征包括品质等级和规格。
需说明的是，目标识别模型是通过深度学习的神经网络训练得到的。品质等级可以根据待分拣目标的纹理或缺陷进行定义优良中差，规格则对应大小等。采用目标识别模型分拣效果更好。
步骤S300，获取待分拣目标的当前位置。
当前位置可以根据待分拣目标在目标图像找那个的位置计算得到。
步骤S400，控制分拣机器人运动至当前位置并抓取待分拣目标。
步骤S500，检测分拣机器人的抓取压力。
需说明的是，抓取压力为当前时刻的手爪施加给待分拣目标的压力。
步骤S600，将抓取压力、目标类别输入神经网络预测模型，得到分拣机器人的控制反馈值；其中，控制反馈值用于表征分拣机器人的抓取压力范围。
需说明的是，分拣机器人采用手爪进行抓取，而手爪的抓取需要电压或其他驱动方式进行驱动，控制反馈值对应的是驱动所能输出的最大值；控制反馈值与手爪施加的压力有一一对应的关系。
步骤S700，根据控制反馈值调整抓取压力，并根据待分拣目标的属性特征将待分拣目标抓取至对应的分料区内。
需说明的是，抓取压力是逐渐调整的，如通过PID算法调控，当抓取压力大于或等于控制反馈值对应的压力，则不再调整抓取压力；进而能够保证被抓取的待分拣目标表皮不破损；进而提升分拣效果。
因此，通过目标识别模型从在待分拣区域对应的目标图像中识别出待分拣目标的品质等级和规格，从而确定待分拣目标的放置的分料区，分拣识别率更准确。同时，通过神经网络预测模型对分拣机器人抓取压力范围进行预测，确保分拣机器人在抓取过程中对待分拣目标施加的抓取压力不会过大，从而降低抓取过程中待分拣目标的外表面受压破损的概率。因此分别通过目标识别模型、神经网络预测模型从待分拣区域将待分拣目标分拣至对应的分料区，分拣效果更好。
可理解的是，步骤S100中获取待分拣目标的目标类别，包括获取来自用户的语音指令；根据语音指令解析得到待分拣目标的目标类别。通过语音指令输入待分拣目标的目标类别，效率更高。
需说明的是，可以一次性输入多个待分拣目标的目标类别，机器人根据输入的顺序进行分拣。
请参阅图2，在步骤S200之前，还包括：
步骤S810，获取样本集，样本集为预设条件下采集得到的若干第一样本图像。
步骤S820，对第一样本图像进行实例分割标注。
步骤S830，将标注后的样本集通过图像处理方式进行数据扩充，并将扩充后的样本集划分为训练集以及测试集。
具体地，在不同背景、不同光照强度下，从不同角度、位姿拍摄不同规格以及不同品质 (纹理、缺陷等特征)的目标图像，作为第一样本图像；对第一样本图像进行实例分割标注，即对感兴趣区域进行标注，并对标注后的第一样本图像通过小角度旋转、平移、缩放以及加噪等处理方式进行扩充样本量；再对扩充样本量后的所有第一样本图像进行直方图均衡化、锐化操作，提高第一样本图像的对比度，并将第一样本图像的规格统一调整为1024*1024；最后通过随机划分，将第一样本图像划分为训练集以及测试集。
步骤S840，将训练集输入Mask R-CNN模型中进行训练。
步骤S850，将测试集输入至已训练好的Mask R-CNN模型中进行测试并调整至Mask R-CNN模型收敛，得到目标识别模型。
具体地，对输入的训练集中的第一样本图像进行卷积和池化等前向传计算，得到预测值；根据损失函数公式计算预测值与标签值的误差，通过反向传播算法进行网络参数更新，最终获得拟合和检测效果好的目标识别模型。
需说明的是，目标识别模型训练好后，参照步骤S200将实际抓取环境下拍摄的目标图像送入目标识别模型进行检测，能够检测出目标图像中的所有物体，并用不同颜色标注物体的规格和其在目标图像上的位置。此时，通过目标类型进一步确定被分割的物体，从而得到待分拣目标的规格和品质等级。
可理解的是，步骤S830是通过旋转、平移、缩放以及加噪对标注后的样本集进行数据扩充。
需说明的是，旋转、平移、缩放是通过预设的比例进行处理，比例可以根据需要设置较小，从而提升最终的识别效果。
可理解的是，步骤S600包括：根据电压值，通过PID算法调整提供给分拣机器人的实际电压，其中，实际电压小于或等于电压值；通过实际电压控制分拣机器人的手爪的张角。
需说明的是，实际电压用于控制控制气动比例电磁阀，驱动柔性手爪以合适的张角抓取目标。电压值用于确保使抓取压力在合适范围内而不超过上限值。对于柔性手爪而言，其抓取的张角与实际电压存在高度非线性，因此通过神经网络预测模型预测能调整的最大值，能更好的控制抓取的张角，从而提升抓取效果。
请参阅图3，在步骤S600之前还包括以下步骤：
步骤S910，获取多组分拣样本数据，每一分拣样本数据均包括样本抓取压力、待分拣样本目标的规格参数、手爪的气压、手爪的气流量、抓取反馈压力以及第一电压。
需说明的是，手爪为气动的柔性手爪；摩擦力和弹性变形等原因会导致气动手指在气缸充、放气过程中，手爪相对物体相向移动，此时采用相同气压抓取不同形状、大小规格的物品时会产生不同收缩力。因此，还需要将手爪的气压、手爪的气流量作为样本数据之一进行训练。
步骤S920，对多组分拣样本数据进行归一化处理。
步骤S930，将多组分拣样本数据输入至BP神经网络模型中进行训练。
步骤S940，调整BP神经网络模型的配置参数重新进行训练，得到训练好的神经网络预测模型。
具体地，采集抓取压力、待分拣目标的规格、气压、气流量以及抓取反馈压力，并进行归一化处理；将BP神经网络模型的配置参数分别设置为不同层数、节点数、神经元类型进行多次训练。其中，BP神经网络模型为4层结构，第一层为输入层，第2、3层为隐层，第 4层为输出层，神经元个数组合为(4，5，3，1)，将抓取压力、待分拣目标的规格、气压、气流量以及抓取反馈压力输入至BP神经网络模型中进行训练，考察和分析模型的学习率、收敛误差、性能指标，即可得到神经网络预测模型；根据得到的神经网络预测模型，将抓取压力、待分拣目标的目标类型输入至神经网络预测模型，可以获得分拣机器人的控制反馈值，此时根据控制反馈值调整当前抓取压力以抓取待分拣目标，实现调节分拣机器人抓取待分拣目标的抓取压力的效果。
可理解的是，在步骤S300的获取当前位置之前，还包括获取相机的内参数以及外参数，根据内参数以及外参数，得到像素坐标系与世界坐标系的转换关系。
对应的，步骤S300的获取当前位置包括：根据目标图像、像素坐标系，计算得到待分拣目标的像素坐标；根据转换关系，计算得到像素坐标对应的实际坐标，并将实际坐标作为当前位置。
具体地，建立机械手爪的正运动学模型。采用张正友2D棋盘格标定法，将多组分拣目标的在三维空间中的位置中点分别转换至目标图像中对应的像素坐标系中；从而确定像素坐标系与世界坐标系的转换关系。
具体地，检测目标图像的边缘轮廓，得到目标图像的质心点在像素坐标系的坐标位置，再结合分拣机器人的规格参数，即利用检测到的工艺品的口径、关联高度及分拣机器人的抓取中心等参数，以及根据像素坐标系与世界坐标系的对应关系，进一步计算出质心点在空间坐标系的坐标位置，即得到待分拣目标的当前位置，此时能够控制分拣机器人移动到待分拣目标的当前位置，对待分拣目标进行抓取。
可理解的是，获取相机的内参数以及外参数，包括：根据相机的规格参数获得内参数；采集第二样本图像中若干预设标记物对应的多组坐标组，其中，每组坐标组均包括像素坐标以及实际坐标；通过最小化重投影误差，对若干个标记物对应的多组坐标组计算，得到外参数。
需说明的是，同一组的像素坐标以及实际坐标是同一物体在同一位置的二维和三维坐标。
可以理解的是，分拣机器人为设有柔性手爪的分拣装置，能够自适应于抓取的待分拣目标的外形，防止抓取待分拣目标时损伤产品。
请参阅图4，本申请实施例的第二方面，提供了一种基于深度学习的品质检测与分拣系统，该基于深度学习的品质检测与分拣系统可以是任意类型的智能终端，如手机、平板电脑、个人计算机等。
进一步地，基于深度学习的品质检测与分拣系统包括：一个或多个存储器；一个或多个处理器；一个或多个程序，程序被存储在存储器中，处理器执行一个或多个程序实现上述基于深度学习的品质检测与分拣方法。图4中以一个处理器为例。
处理器和存储器可以通过总线或其他方式连接，图4以通过总线连接为例。
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态性计算机可执行程序以及信号，如本申请实施例中的基于深度学习的品质检测与分拣系统对应的程序指令/信号。处理器通过运行存储在存储器中的非暂态软件程序、指令以及信号，从而执行各种功能应用以及数据处理，即实现上述方法实施例的基于深度学习的品质检测与分拣方法。
存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储上述基于深度学习的品质检测与分拣方法的相关数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该基于深度学习的品质检测与分拣系统。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
一个或者多个信号存储在存储器中，当被一个或者多个处理器执行时，执行上述任意方法实施例中的基于深度学习的品质检测与分拣方法。例如，执行以上描述的图1中的方法步骤S100至S700、图2中的方法步骤S810至S850、图3中的方法步骤S910至S930。
本申请实施例的第三方面，还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行，例如，被图4中的一个处理器执行，可使得上述一个或多个处理器执行上述方法实施例中的基于深度学习的品质检测与分拣方法。例如，执行以上描述的图1中的方法步骤S100至S700、图2中的方法步骤S810至S850、图3中的方法步骤S910至S930。
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
通过以上的实施方式的描述，本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读信号、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读信号、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
上面结合附图对本申请实施例作了详细说明，但是本申请不限于上述实施例，在所述技术领域普通技术人员所具备的知识范围内，还可以在不脱离本申请宗旨的前提下作出各种变化。

Claims (10)

1.一种基于深度学习的品质检测与分拣方法，其特征在于，包括：
获取目标图像以及待分拣目标的目标类别；
将所述目标图像、所述目标类别输入目标识别模型，得到所述目标类别对应的待分拣目标的属性特征，所述属性特征包括品质等级和规格；
获取所述待分拣目标的当前位置；
控制分拣机器人运动至所述当前位置并抓取所述待分拣目标；
检测所述分拣机器人的抓取压力；
将所述抓取压力、所述目标类别输入神经网络预测模型，得到所述分拣机器人的控制反馈值；其中，所述控制反馈值用于表征所述分拣机器人的抓取压力范围；
根据所述控制反馈值调整所述抓取压力，并根据所述待分拣目标的属性特征将所述待分拣目标抓取至对应的分料区内。
2.根据权利要求1所述的基于深度学习的品质检测与分拣方法，其特征在于，
所述待分拣目标的目标类别，包括：
获取来自用户的语音指令；
根据所述语音指令解析得到所述待分拣目标的目标类别。
3.根据权利要求1所述的基于深度学习的品质检测与分拣方法，其特征在于，在将所述目标图像、所述目标类别输入目标识别模型之前，还包括：
获取样本集，所述样本集为预设条件下采集得到的若干第一样本图像；
对所述第一样本图像进行实例分割标注；
将标注后的样本集通过图像处理方式进行数据扩充，并将扩充后的所述样本集划分为训练集以及测试集；
将所述训练集输入Mask R-CNN模型中进行训练；
将所述测试集输入至已训练好的Mask R-CNN模型中进行测试并调整至所述Mask R-CNN模型收敛，得到所述目标识别模型。
4.根据权利要求3所述的基于深度学习的品质检测与分拣方法，其特征在于，所述将标注后的样本集通过图像处理方式进行数据扩充，包括：
通过旋转、平移、缩放以及加噪对标注后的样本集进行数据扩充。
5.根据权利要求1所述的基于深度学习的品质检测与分拣方法，其特征在于，所述控制反馈值为电压值，所述根据所述控制反馈值调整所述抓取压力，包括：
根据所述电压值，通过PID算法调整提供给所述分拣机器人的实际电压，其中，所述实际电压小于或等于所述电压值；
通过所述实际电压控制所述分拣机器人的手爪的张角。
6.根据权利要求5所述的基于深度学习的品质检测与分拣方法，其特征在于，在将所述抓取压力、所述分拣目标输入神经网络预测模型之前，还包括：
获取多组分拣样本数据，每一分拣样本数据均包括样本抓取压力、待分拣样本目标的规格参数、手爪的气压、手爪的气流量、抓取反馈压力以及第一电压；
对多组分拣样本数据进行归一化处理；
将多组分拣样本数据输入至BP神经网络模型中进行训练；
调整BP神经网络模型的配置参数重新进行训练，得到训练好的神经网络预测模型。
7.根据权利要求1所述的基于深度学习的品质检测与分拣方法，其特征在于，
在所述获取所述待分拣目标的当前位置之前，还包括：
获取相机的内参数以及外参数；
根据所述内参数以及所述外参数，得到像素坐标系与世界坐标系的转换关系；
所述获取所述待分拣目标的当前位置，包括：
根据所述目标图像、所述像素坐标系，计算得到所述待分拣目标的像素坐标；
根据所述转换关系，计算得到所述像素坐标对应的实际坐标，并将所述实际坐标作为当前位置。
8.根据权利要求7所述的基于深度学习的品质检测与分拣方法，其特征在于，所述获取相机的内参数以及外参数，包括：
根据所述相机的规格参数获得所述内参数；
采集第二样本图像中若干预设标记物对应的多组坐标组，其中，每组坐标组均包括像素坐标以及实际坐标；
通过最小化重投影误差，对若干个所述标记物对应的多组坐标组计算，得到所述外参数。
9.一种基于深度学习的品质检测与分拣系统，其特征在于，包括：
至少一个处理器，以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至8任一项所述的品质检测与分拣方法。
10.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1至8任一项所述的品质检测与分拣方法。
CN202111046685.XA 2021-09-06 2021-09-06 基于深度学习的品质检测与分拣方法、系统及存储介质 Active CN113894058B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111046685.XA CN113894058B (zh) 2021-09-06 2021-09-06 基于深度学习的品质检测与分拣方法、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111046685.XA CN113894058B (zh) 2021-09-06 2021-09-06 基于深度学习的品质检测与分拣方法、系统及存储介质

Publications (2)

Publication Number Publication Date
CN113894058A true CN113894058A (zh) 2022-01-07
CN113894058B CN113894058B (zh) 2024-03-01

Family

ID=79188682

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111046685.XA Active CN113894058B (zh) 2021-09-06 2021-09-06 基于深度学习的品质检测与分拣方法、系统及存储介质

Country Status (1)

Country Link
CN (1) CN113894058B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115907622A (zh) * 2022-11-30 2023-04-04 布瑞克(苏州)农业互联网股份有限公司 一种大宗农产品出入库管理方法和系统
WO2024067006A1 (zh) * 2022-09-30 2024-04-04 北京思灵机器人科技有限责任公司 无序线材分拣方法、装置及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108284075A (zh) * 2017-12-29 2018-07-17 深圳市越疆科技有限公司 一种机器人分拣物品的方法、装置及机器人
CN110302981A (zh) * 2019-06-17 2019-10-08 华侨大学 一种固废分拣在线抓取方法和系统
CN110560373A (zh) * 2019-09-02 2019-12-13 湖南大学 一种多机器人协作分拣运输方法及系统
CN112058679A (zh) * 2020-08-11 2020-12-11 武汉万邦德新科技有限公司 基于阻抗控制的柔软农产品机器人抓取分拣方法及装置
CN112784717A (zh) * 2021-01-13 2021-05-11 中北大学 一种基于深度学习的管件自动分拣方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108284075A (zh) * 2017-12-29 2018-07-17 深圳市越疆科技有限公司 一种机器人分拣物品的方法、装置及机器人
CN110302981A (zh) * 2019-06-17 2019-10-08 华侨大学 一种固废分拣在线抓取方法和系统
CN110560373A (zh) * 2019-09-02 2019-12-13 湖南大学 一种多机器人协作分拣运输方法及系统
CN112058679A (zh) * 2020-08-11 2020-12-11 武汉万邦德新科技有限公司 基于阻抗控制的柔软农产品机器人抓取分拣方法及装置
CN112784717A (zh) * 2021-01-13 2021-05-11 中北大学 一种基于深度学习的管件自动分拣方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
刘凡等: "农业采摘机器人柔性机械手研究" *
周鹏: "基于PLC控制器的气动机械手设计" *
彭艳等: "软体机械手爪在果蔬采摘中的应用研究进展" *
董戈;: "基于深度学习和图像处理的水果收获机器人抓取系统" *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024067006A1 (zh) * 2022-09-30 2024-04-04 北京思灵机器人科技有限责任公司 无序线材分拣方法、装置及系统
CN115907622A (zh) * 2022-11-30 2023-04-04 布瑞克(苏州)农业互联网股份有限公司 一种大宗农产品出入库管理方法和系统
CN115907622B (zh) * 2022-11-30 2023-12-29 布瑞克(苏州)农业互联网股份有限公司 一种大宗农产品出入库管理方法和系统

Also Published As

Publication number Publication date
CN113894058B (zh) 2024-03-01

Similar Documents

Publication Publication Date Title
US11144787B2 (en) Object location method, device and storage medium based on image segmentation
CN109584298B (zh) 面向机器人自主物体拾取任务的在线自学习方法
CN109986560B (zh) 一种面向多目标种类的机械臂自适应抓取方法
CN111259934B (zh) 一种基于深度学习的堆叠物体6d位姿估计方法和装置
CN113894058B (zh) 基于深度学习的品质检测与分拣方法、系统及存储介质
CN108126914B (zh) 一种基于深度学习的料框内散乱多物体机器人分拣方法
CN110238840B (zh) 一种基于视觉的机械臂自主抓取方法
CN110969660B (zh) 一种基于三维立体视觉和点云深度学习的机器人上料系统
CN112164115B (zh) 物体位姿识别的方法、装置及计算机存储介质
CN108748149B (zh) 一种复杂环境下基于深度学习的无标定机械臂抓取方法
CN115816460B (zh) 一种基于深度学习目标检测与图像分割的机械手抓取方法
WO2023124734A1 (zh) 物体抓取点估计、模型训练及数据生成方法、装置及系统
CN113762159B (zh) 一种基于有向箭头模型的目标抓取检测方法及系统
CN111325795B (zh) 一种图像处理方法、装置、存储介质及机器人
US12017368B2 (en) Mix-size depalletizing
CN116228854B (zh) 一种基于深度学习的包裹自动分拣方法
CN114800533B (zh) 一种用于工业机器人的分拣控制方法及系统
CN114998573B (zh) 一种基于rgb-d特征深度融合的抓取位姿检测方法
CN112989881A (zh) 一种无监督可迁移的3d视觉物体抓取方法
CN114049318A (zh) 一种基于多模态融合特征的抓取位姿检测方法
CN113771029A (zh) 一种基于视频增量学习的机器人操作系统及方法
CN114627359A (zh) 一种乱序堆叠工件抓取优先级评估方法
CN111783537A (zh) 一种基于目标检测特征的两阶段快速抓取检测方法
Ogas et al. Object grasping with a robot arm using a convolutional network
CN113505806B (zh) 一种机器人抓取检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant