CN115063670A - 一种自动分拣方法、装置及系统 - Google Patents

一种自动分拣方法、装置及系统 Download PDF

Info

Publication number
CN115063670A
CN115063670A CN202210657146.8A CN202210657146A CN115063670A CN 115063670 A CN115063670 A CN 115063670A CN 202210657146 A CN202210657146 A CN 202210657146A CN 115063670 A CN115063670 A CN 115063670A
Authority
CN
China
Prior art keywords
sorted
point cloud
desktop
articles
color point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210657146.8A
Other languages
English (en)
Inventor
李明洋
许雄
王家鹏
杨帆
朱春晓
云鹏辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jaka Robotics Ltd
Original Assignee
Shanghai Jaka Robotics Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jaka Robotics Ltd filed Critical Shanghai Jaka Robotics Ltd
Priority to CN202210657146.8A priority Critical patent/CN115063670A/zh
Publication of CN115063670A publication Critical patent/CN115063670A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34—Sorting according to other particular properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour

Abstract

本申请提供一种自动分拣方法、装置及系统，首先通过示教得到机器人的所有可执行路径，每一可执行路径用于将某一类型的待分拣物品分拣放置到对应的位置，之后通过深度相机拍摄桌面图像，并判断桌面上是否存在待分拣物品，若不存在则不进行后续步骤，若存在，则继续识别出待分拣物品的类型，根据待分拣物品的类型选择对应的可执行路径，以实现该待分拣物品的自动分拣放置。因此，利用本实施例的方法，机器人在应对多种不同类型的待分拣物品时，能够按照待分拣物品的类型自动分拣放置到对应的位置。

Description

一种自动分拣方法、装置及系统
技术领域
本申请涉及物流分拣机器人技术领域，具体而言，涉及一种自动分拣方法、装置及系统。
背景技术
随着多样化小批量生产的出现，人们提出了柔性制造。现阶段工业机器人为了实现柔性制造、智能制造，人机便捷交互和快速编程成为了人们关注的焦点。传统的机器人组成的生产线是通过手动编程后运行的。一旦任务调整，就需要专业的工程师对程序进行重新调整，维护成本极高。随着技术的发展，出现了拖拽示教。通过拖拽机器人进行编程是一种相对友好的方式，这为不会编程的用户提供了方便的应用接口。但是，现有技术中的机器人，在应对多种不同类型的产品时，不能按产品的类型自动分拣打包。
发明内容
本申请实施例的目的在于提供一种自动分拣方法、装置及系统，用以解决现有技术的机器人在应对多种不同类型的产品时，不能按产品的类型自动分拣打包的问题。
本申请实施例提供的一种自动分拣方法，包括：
根据待分拣放置的n个位置，通过示教得到机器人的n个可执行路径；其中，不同的位置用于放置不同类型的待分拣物品；
利用深度相机拍摄桌面图像，判断桌面上是否存在待分拣物品；
若桌面上存在分拣物品，则继续识别桌面上待分拣物品的类型；
根据待分拣物品的类型，选择对应的可执行路径对待分拣物品进行抓取、移动及放置操作。
上述技术方案中，首先通过示教得到机器人的所有可执行路径，每一可执行路径用于将某一类型的待分拣物品分拣放置到对应的位置，之后通过深度相机拍摄桌面图像，并判断桌面上是否存在待分拣物品，若不存在则不进行后续步骤，若存在，则继续识别出待分拣物品的类型，根据待分拣物品的类型选择对应的可执行路径，以实现该待分拣物品的自动分拣放置。因此，利用本实施例的方法，机器人在应对多种不同类型的待分拣物品时，能够按照待分拣物品的类型自动分拣放置到对应的位置。
在一些可选的实施方式中，利用深度相机拍摄桌面图像，判断桌面上是否存在待分拣物品之前，还包括：
扫描不放置任何物品的桌面的背景彩色点云信息；
分别扫描n种类型的待分拣物品的标准件放置在桌面上的彩色点云信息；
对n种类型的待分拣物品的彩色点云信息，分别与背景彩色点云信息进行点云差计算，得到n种类型的待分拣物品的物体彩色点云模型。
上述技术方案中，在实际进行待分拣物品的自动分拣之前，还建立了所有类型的待分拣物品的物体彩色点云模型的数据库，以便于后续获取到实际待分拣物品的点云信息时，能够根据点云信息查询数据库，并匹配出与待分拣物品的类型对应的物体彩色点云模型，从而判断出待分拣物品的类型。
在一些可选的实施方式中，利用深度相机拍摄桌面图像，判断桌面上是否存在待分拣物品，包括：
获取不放置任何物品的桌面点云的初始深度信息；
获取桌面图像中点云的深度信息；
当深度信息与初始深度信息的差值绝对值大于预设阈值时，判断桌面上存在待分拣物品。
上述技术方案中，由于采用的是深度相机拍摄，获取到桌面或桌面上物品的稠密深度信息，将不放置任何物品的桌面点云的初始深度信息与桌面图像中点云的深度信息做差得到的差值，若差值大于一个极小的预设阈值，则判断桌面上有待分拣物品。并且，由于是稠密深度信息，还能够获取到单一待分拣物品的所处区域。
在一些可选的实施方式中，识别桌面上待分拣物品的类型，包括：
扫描待分拣物品放置在桌面上的彩色点云信息；
对待分拣物品放置在桌面上的彩色点云信息与背景彩色点云信息进行点云差计算，得到待分拣物品的物体彩色点云差；
根据物体彩色点云差匹配出对应的物体彩色点云模型，得到待分拣物品的类型。
上述技术方案中，对待分拣物品放置在桌面上的彩色点云信息与背景彩色点云信息进行点云差计算，得到待分拣物品的物体彩色点云差，并根据该物体彩色点云差查询物体彩色点云模型数据库中对应的物体彩色点云模型，根据该物体彩色点云模型对应的类型，得到待分拣物品的类型。
在一些可选的实施方式中，深度相机设置于桌面的上方；对待分拣物品进行抓取的方法，包括：
获取待分拣物品距离深度相机最近的局部点云的几何特征；
根据局部点云的几何特征，采用主成分分析算法计算局部点云的主轴方向，并得到抓取点和抓取方向；
根据抓取点和抓取方向，实现对待分拣物品的抓取操作。
上述技术方案中，通过对待分拣物品距离深度相机最近的局部点云的几何特征进行抓取规划，采用主成分分析算法计算局部点云的主轴方向以得到抓取点和抓取方向，根据抓取点和抓取方向实现对待分拣物品的抓取操作，该过程无需移动机器人进行手动对齐，大大降低了人工成本，节省人力。
本申请实施例提供的一种自动分拣装置，包括：
示教模块，用于根据待分拣放置的n个位置，通过示教得到机器人的n个可执行路径；其中，不同的位置用于放置不同类型的待分拣物品；
识别模块，用于利用深度相机拍摄桌面图像，判断桌面上是否存在待分拣物品；若桌面上存在分拣物品，则继续识别桌面上待分拣物品的类型；
执行模块，用于根据待分拣物品的类型，选择对应的可执行路径对待分拣物品进行抓取、移动及放置操作。
上述技术方案中，利用示教模块示教得到机器人的所有可执行路径，每一可执行路径用于将某一类型的待分拣物品分拣放置到对应的位置。利用识别模块，通过深度相机拍摄桌面图像，并判断桌面上是否存在待分拣物品，若不存在则不进行后续步骤，若存在，则继续识别出待分拣物品的类型。利用执行模块，根据待分拣物品的类型选择对应的可执行路径，实现该待分拣物品的自动分拣放置。因此，利用本实施例的装置，在应对多种不同类型的待分拣物品时，能够按照待分拣物品的类型自动分拣放置到对应的位置。
在一些可选的实施方式中，还包括：
数据库构建模块，用于扫描不放置任何物品的桌面的背景彩色点云信息；分别扫描n种类型的待分拣物品的标准件放置在桌面上的彩色点云信息；对n种类型的待分拣物品的彩色点云信息，分别与背景彩色点云信息进行点云差计算，得到n种类型的待分拣物品的物体彩色点云模型，并建立物体彩色点云模型与待分拣物品的类型的数据库。
上述技术方案中，通过数据库构建模块，建立了所有类型的待分拣物品的物体彩色点云模型的数据库，以便于后续获取到实际待分拣物品的点云信息时，能够根据点云信息查询数据库，并匹配出与待分拣物品的类型对应的物体彩色点云模型，从而判断出待分拣物品的类型。
在一些可选的实施方式中，识别模块还用于：
获取不放置任何物品的桌面点云的初始深度信息；
获取桌面图像中点云的深度信息；
当深度信息与初始深度信息的差值绝对值大于预设阈值时，判断桌面上存在待分拣物品。
上述技术方案中，识别模块中采用的是深度相机拍摄，获取到桌面或桌面上物品的稠密深度信息，将不放置任何物品的桌面点云的初始深度信息与桌面图像中点云的深度信息做差得到的差值，若差值大于一个极小的预设阈值，则判断桌面上有待分拣物品。并且，由于是稠密深度信息，还能够获取到单一待分拣物品的所处区域。
在一些可选的实施方式中，识别模块还用于：
扫描待分拣物品放置在桌面上的彩色点云信息；
对待分拣物品放置在桌面上的彩色点云信息与背景彩色点云信息进行点云差计算，得到待分拣物品的物体彩色点云差；
根据物体彩色点云差匹配出对应的物体彩色点云模型，得到待分拣物品的类型。
上述技术方案中，利用识别模块，对待分拣物品放置在桌面上的彩色点云信息与背景彩色点云信息进行点云差计算，得到待分拣物品的物体彩色点云差，并根据该物体彩色点云差查询物体彩色点云模型数据库中对应的物体彩色点云模型，根据该物体彩色点云模型对应的类型，得到待分拣物品的类型。
在一些可选的实施方式中，深度相机设置于桌面的上方；执行模块，还用于：
获取待分拣物品距离深度相机最近的局部点云的几何特征；
根据局部点云的几何特征，采用主成分分析算法计算局部点云的主轴方向，并得到抓取点和抓取方向；
根据抓取点和抓取方向，实现对待分拣物品的抓取操作。
上述技术方案中，利用执行模块，通过对待分拣物品距离深度相机最近的局部点云的几何特征进行抓取规划，采用主成分分析算法计算局部点云的主轴方向以得到抓取点和抓取方向，根据抓取点和抓取方向实现对待分拣物品的抓取操作，该过程无需移动机器人进行手动对齐，大大降低了人工成本，节省人力。
本申请实施例提供的一种自动分拣系统，包括：
深度相机，用于拍摄桌面图像；
控制器，用于根据桌面图像，判断桌面上是否存在待分拣物品；若桌面上存在分拣物品，则继续识别桌面上待分拣物品的类型；根据待分拣物品的类型，选择对应的可执行路径控制机械臂对待分拣物品进行抓取、移动及放置操作。
机械臂用于对待分拣物品进行抓取、移动及放置操作。
上述技术方案中，通过深度相机拍摄桌面图像。利用控制器判断桌面上是否存在待分拣物品，若不存在则不进行后续步骤，若存在，则继续识别出待分拣物品的类型，根据待分拣物品的类型选择对应的可执行路径，最后利用机械臂实现该待分拣物品的自动分拣放置。因此，本实施例的自动分拣系统在应对多种不同类型的待分拣物品时，能够按照待分拣物品的类型自动分拣放置到对应的位置。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种自动分拣方法步骤流程图；
图2为本申请实施例提供的一种自动分拣装置的功能模块图；
图3为本申请实施例提供的一种自动分拣系统结构示意图；
图4为本申请实施例提供的自动分拣系统的工作流程示意图。
图标：1-示教模块，2-数据库构建模块，3-识别模块，4-执行模块，5-深度相机，6-控制器，7-机械臂。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
请参照图1，图1为本申请实施例提供的一种自动分拣方法步骤流程图，包括：
步骤S100、根据待分拣放置的n个位置，通过示教得到机器人的n个可执行路径；其中，不同的位置用于放置不同类型的待分拣物品；
其中，利用移动边缘、关键点、深度法线和稠密深度信息等视觉特征技术搭建高鲁棒性的跟踪器，在示教过程中，提取示教轨迹中点云的移动边缘、关键点以及稠密深度信息等信息，规划拾取位姿调整，生成机器人的可执行路径。
步骤S200、利用深度相机拍摄桌面图像，判断桌面上是否存在待分拣物品；若是，则进入步骤S300；
步骤S300、识别桌面上待分拣物品的类型；
步骤S400、根据待分拣物品的类型，选择对应的可执行路径对待分拣物品进行抓取、移动及放置操作。
本申请实施例中，首先通过示教得到机器人的所有可执行路径，每一可执行路径用于将某一类型的待分拣物品分拣放置到对应的位置，之后通过深度相机拍摄桌面图像，并判断桌面上是否存在待分拣物品，若不存在则不进行后续步骤，若存在，则继续识别出待分拣物品的类型，根据待分拣物品的类型选择对应的可执行路径，以实现该待分拣物品的自动分拣放置。因此，利用本实施例的方法，机器人在应对多种不同类型的待分拣物品时，能够按照待分拣物品的类型自动分拣放置到对应的位置。
在一些可选的实施方式中，利用深度相机拍摄桌面图像，判断桌面上是否存在待分拣物品之前，还包括：扫描不放置任何物品的桌面的背景彩色点云信息；分别扫描n种类型的待分拣物品的标准件放置在桌面上的彩色点云信息；对n种类型的待分拣物品的彩色点云信息，分别与背景彩色点云信息进行点云差计算，得到n种类型的待分拣物品的物体彩色点云模型。
本申请实施例中，在实际进行待分拣物品的自动分拣之前，还建立了所有类型的待分拣物品的物体彩色点云模型的数据库，以便于后续获取到实际待分拣物品的点云信息时，能够根据点云信息查询数据库，并匹配出与待分拣物品的类型对应的物体彩色点云模型，从而判断出待分拣物品的类型。
在一些可选的实施方式中，利用深度相机拍摄桌面图像，判断桌面上是否存在待分拣物品，包括：获取不放置任何物品的桌面点云的初始深度信息；获取桌面图像中点云的深度信息；当深度信息与初始深度信息的差值绝对值大于预设阈值时，判断桌面上存在待分拣物品。
本申请实施例中，利用彩色3D点云技术采用深度相机拍摄，获取到桌面或桌面上物品的稠密深度信息，将不放置任何物品的桌面点云的初始深度信息与桌面图像中点云的深度信息做差得到的差值，若差值大于一个极小的预设阈值，则判断桌面上有待分拣物品。并且，由于是稠密深度信息，还能够获取到单一待分拣物品的所处区域。
在一些可选的实施方式中，识别桌面上待分拣物品的类型，包括：扫描待分拣物品放置在桌面上的彩色点云信息；对待分拣物品放置在桌面上的彩色点云信息与背景彩色点云信息进行点云差计算，得到待分拣物品的物体彩色点云差；根据物体彩色点云差匹配出对应的物体彩色点云模型，得到待分拣物品的类型。其中，根据物体彩色点云差匹配出对应的物体彩色点云模型的方法为：采用linemod算法，针对颜色体度信息和法向量特征进行点云匹配。
本申请实施例中，对待分拣物品放置在桌面上的彩色点云信息与背景彩色点云信息进行点云差计算，得到待分拣物品的物体彩色点云差，并根据该物体彩色点云差查询物体彩色点云模型数据库中对应的物体彩色点云模型，根据该物体彩色点云模型对应的类型，得到待分拣物品的类型。
在一些可选的实施方式中，深度相机设置于桌面的上方；对待分拣物品进行抓取的方法，包括：获取待分拣物品距离深度相机最近的局部点云的几何特征；根据局部点云的几何特征，采用主成分分析算法计算局部点云的主轴方向，并得到抓取点和抓取方向；根据抓取点和抓取方向，实现对待分拣物品的抓取操作。
本申请实施例中，通过对待分拣物品距离深度相机最近的局部点云的几何特征进行抓取规划，采用主成分分析算法计算局部点云的主轴方向以得到抓取点和抓取方向，根据抓取点和抓取方向实现对待分拣物品的抓取操作，该过程无需移动机器人进行手动对齐，大大降低了人工成本，节省人力。
请参照图2，图2为本申请实施例提供的一种自动分拣装置的功能模块图，包括示教模块1、识别模块3和执行模块4。
其中，示教模块1，用于根据待分拣放置的n个位置，通过示教得到机器人的n个可执行路径；其中，不同的位置用于放置不同类型的待分拣物品。识别模块3，用于利用深度相机拍摄桌面图像，判断桌面上是否存在待分拣物品；若桌面上存在分拣物品，则继续识别桌面上待分拣物品的类型。执行模块4，用于根据待分拣物品的类型，选择对应的可执行路径对待分拣物品进行抓取、移动及放置操作。
本申请实施例中，利用示教模块1示教得到机器人的所有可执行路径，每一可执行路径用于将某一类型的待分拣物品分拣放置到对应的位置。利用识别模块3，通过深度相机拍摄桌面图像，并判断桌面上是否存在待分拣物品，若不存在则不进行后续步骤，若存在，则继续识别出待分拣物品的类型。利用执行模块4，根据待分拣物品的类型选择对应的可执行路径，实现该待分拣物品的自动分拣放置。因此，利用本实施例的装置，在应对多种不同类型的待分拣物品时，能够按照待分拣物品的类型自动分拣放置到对应的位置。
在一些可选的实施方式中，还包括：数据库构建模块2，用于扫描不放置任何物品的桌面的背景彩色点云信息；分别扫描n种类型的待分拣物品的标准件放置在桌面上的彩色点云信息；对n种类型的待分拣物品的彩色点云信息，分别与背景彩色点云信息进行点云差计算，得到n种类型的待分拣物品的物体彩色点云模型，并建立物体彩色点云模型与待分拣物品的类型的数据库。
本申请实施例中，通过数据库构建模块2，建立了所有类型的待分拣物品的物体彩色点云模型的数据库，以便于后续获取到实际待分拣物品的点云信息时，能够根据点云信息查询数据库，并匹配出与待分拣物品的类型对应的物体彩色点云模型，从而判断出待分拣物品的类型。
在一些可选的实施方式中，识别模块3还用于：获取不放置任何物品的桌面点云的初始深度信息；获取桌面图像中点云的深度信息；当深度信息与初始深度信息的差值绝对值大于预设阈值时，判断桌面上存在待分拣物品。
本申请实施例中，识别模块3中采用的是深度相机拍摄，获取到桌面或桌面上物品的稠密深度信息，将不放置任何物品的桌面点云的初始深度信息与桌面图像中点云的深度信息做差得到的差值，若差值大于一个极小的预设阈值，则判断桌面上有待分拣物品。并且，由于是稠密深度信息，还能够获取到单一待分拣物品的所处区域。
在一些可选的实施方式中，识别模块3还用于：扫描待分拣物品放置在桌面上的彩色点云信息；对待分拣物品放置在桌面上的彩色点云信息与背景彩色点云信息进行点云差计算，得到待分拣物品的物体彩色点云差；根据物体彩色点云差匹配出对应的物体彩色点云模型，得到待分拣物品的类型。
本申请实施例中，利用识别模块3，对待分拣物品放置在桌面上的彩色点云信息与背景彩色点云信息进行点云差计算，得到待分拣物品的物体彩色点云差，并根据该物体彩色点云差查询物体彩色点云模型数据库中对应的物体彩色点云模型，根据该物体彩色点云模型对应的类型，得到待分拣物品的类型。
在一些可选的实施方式中，深度相机设置于桌面的上方；执行模块4，还用于：获取待分拣物品距离深度相机最近的局部点云的几何特征；根据局部点云的几何特征，采用主成分分析算法计算局部点云的主轴方向，并得到抓取点和抓取方向；根据抓取点和抓取方向，实现对待分拣物品的抓取操作。
本申请实施例中，利用执行模块4，通过对待分拣物品距离深度相机最近的局部点云的几何特征进行抓取规划，采用主成分分析算法计算局部点云的主轴方向以得到抓取点和抓取方向，根据抓取点和抓取方向实现对待分拣物品的抓取操作，该过程无需移动机器人进行手动对齐，大大降低了人工成本，节省人力。
请参照图3，图3为本申请实施例提供的一种自动分拣系统结构示意图，包括深度相机5、控制器6和机械臂7。
其中，深度相机5，用于拍摄桌面图像。控制器6，用于根据桌面图像，判断桌面上是否存在待分拣物品；若桌面上存在分拣物品，则继续识别桌面上待分拣物品的类型；根据待分拣物品的类型，选择对应的可执行路径控制机械臂7对待分拣物品进行抓取、移动及放置操作。机械臂7用于对待分拣物品进行抓取、移动及放置操作。
本申请实施例中，通过深度相机5拍摄桌面图像。利用控制器6判断桌面上是否存在待分拣物品，若不存在则不进行后续步骤，若存在，则继续识别出待分拣物品的类型，根据待分拣物品的类型选择对应的可执行路径，最后利用机械臂7实现该待分拣物品的自动分拣放置。因此，本实施例的自动分拣系统在应对多种不同类型的待分拣物品时，能够按照待分拣物品的类型自动分拣放置到对应的位置。
具体的，请参照图4，图4为自动分拣系统的工作流程示意图。
其中，在利用自动分拣系统进行自动分拣之前，需进行步骤一至步骤四的准备工作：
步骤一：实现深度相机5的眼手标定，建立机械臂基座与深度相机5之间的相对姿态，深度相机5安装在示教台面的上端并用支架对其进行固定。
步骤二：对待分练物品的特征进行训练，首先扫描背景彩色点云，随后物品放置到桌面扫描，通过点云差形成的物体彩色点云模型，并直接注册模型到应用特征数据库中。
步骤三：用户开始示教演示。用户可以开始演示想要拾取和放置的过程，包括拾取物品、移动物品和放置物品。在演示过程中，将持续跟踪对象的几何中心位置。在演示过程中需要注意一点，用户移动物品的过程不能太快，否则，深度相机5可能会失去对象的跟踪。
步骤四：提取示教轨迹中点云的移动边缘、关键点以及稠密深度信息等信息，规划拾取位姿调整，生成机械臂的可执行路径。若成功生成机械臂7的可执行路径，则判断示教成功，并进行步骤五；否则判断为示教不成功，继续操作步骤三。
实际进行自动分拣的过程，包括步骤五至步骤七：
步骤五：深度相机5检测并判断桌面上是否有待检测分练的物品，如有进行步骤六。若没有则结束。
步骤六：系统分析待分练的物品，使用特征检测识别模块对待分练物品进行匹配识别，若成功匹配则进行步骤七；若失败进行步骤五。其中，匹配识别是采用linemod算法，针对颜色体度信息和法向量特征进行点云匹配。
步骤七：对匹配成功的物品，系统将对物体距离深度相机5近的那一部分局部点云的几何特征进行抓取规划，最后机械臂7将拾取该物品分练到正确的位置上去。分练结束后进行步骤五，继续检测剩下的待分练物品。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种自动分拣方法，其特征在于，包括：
根据待分拣放置的n个位置，通过示教得到机器人的n个可执行路径；其中，不同的位置用于放置不同类型的待分拣物品；
利用深度相机拍摄桌面图像，判断桌面上是否存在待分拣物品；
若桌面上存在分拣物品，则继续识别桌面上待分拣物品的类型；
根据待分拣物品的类型，选择对应的可执行路径对待分拣物品进行抓取、移动及放置操作。
2.如权利要求1所述的方法，其特征在于，所述利用深度相机拍摄桌面图像，判断桌面上是否存在待分拣物品之前，还包括：
扫描不放置任何物品的桌面的背景彩色点云信息；
分别扫描n种类型的待分拣物品的标准件放置在桌面上的彩色点云信息；
对n种类型的待分拣物品的彩色点云信息，分别与所述背景彩色点云信息进行点云差计算，得到n种类型的待分拣物品的物体彩色点云模型。
3.如权利要求1所述的方法，其特征在于，所述利用深度相机拍摄桌面图像，判断桌面上是否存在待分拣物品，包括：
获取不放置任何物品的桌面点云的初始深度信息；
获取所述桌面图像中点云的深度信息；
当所述深度信息与所述初始深度信息的差值绝对值大于预设阈值时，判断桌面上存在待分拣物品。
4.如权利要求2所述的方法，其特征在于，所述识别桌面上待分拣物品的类型，包括：
扫描待分拣物品放置在桌面上的彩色点云信息；
对所述待分拣物品放置在桌面上的彩色点云信息与所述背景彩色点云信息进行点云差计算，得到所述待分拣物品的物体彩色点云差；
根据所述物体彩色点云差匹配出对应的物体彩色点云模型，得到所述待分拣物品的类型。
5.如权利要求1所述的方法，其特征在于，所述深度相机设置于桌面的上方；对待分拣物品进行抓取的方法，包括：
获取待分拣物品距离深度相机最近的局部点云的几何特征；
根据所述局部点云的几何特征，采用主成分分析算法计算局部点云的主轴方向，并得到抓取点和抓取方向；
根据所述抓取点和抓取方向，实现对待分拣物品的抓取操作。
6.一种自动分拣装置，其特征在于，包括：
示教模块，用于根据待分拣放置的n个位置，通过示教得到机器人的n个可执行路径；其中，不同的位置用于放置不同类型的待分拣物品；
识别模块，用于利用深度相机拍摄桌面图像，判断桌面上是否存在待分拣物品；若桌面上存在分拣物品，则继续识别桌面上待分拣物品的类型；
执行模块，用于根据待分拣物品的类型，选择对应的可执行路径对待分拣物品进行抓取、移动及放置操作。
7.如权利要求6所述的装置，其特征在于，还包括：
数据库构建模块，用于扫描不放置任何物品的桌面的背景彩色点云信息；分别扫描n种类型的待分拣物品的标准件放置在桌面上的彩色点云信息；对n种类型的待分拣物品的彩色点云信息，分别与背景彩色点云信息进行点云差计算，得到n种类型的待分拣物品的物体彩色点云模型，并建立物体彩色点云模型与待分拣物品的类型的数据库。
8.如权利要求7所述的装置，其特征在于，所述识别模块还用于：
扫描待分拣物品放置在桌面上的彩色点云信息；
对所述待分拣物品放置在桌面上的彩色点云信息与所述背景彩色点云信息进行点云差计算，得到所述待分拣物品的物体彩色点云差；
根据所述物体彩色点云差匹配出对应的物体彩色点云模型，得到所述待分拣物品的类型。
9.如权利要求6所述的装置，其特征在于，所述深度相机设置于桌面的上方；所述执行模块，还用于：
获取待分拣物品距离深度相机最近的局部点云的几何特征；
根据所述局部点云的几何特征，采用主成分分析算法计算局部点云的主轴方向，并得到抓取点和抓取方向；
根据所述抓取点和抓取方向，实现对待分拣物品的抓取操作。
10.一种自动分拣系统，其特征在于，包括：
深度相机，用于拍摄桌面图像；
控制器，用于根据桌面图像，判断桌面上是否存在待分拣物品；若桌面上存在分拣物品，则继续识别桌面上待分拣物品的类型；根据待分拣物品的类型，选择对应的可执行路径控制机械臂对待分拣物品进行抓取、移动及放置操作；
所述机械臂用于对待分拣物品进行抓取、移动及放置操作。
CN202210657146.8A 2022-06-10 2022-06-10 一种自动分拣方法、装置及系统 Pending CN115063670A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210657146.8A CN115063670A (zh) 2022-06-10 2022-06-10 一种自动分拣方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210657146.8A CN115063670A (zh) 2022-06-10 2022-06-10 一种自动分拣方法、装置及系统

Publications (1)

Publication Number Publication Date
CN115063670A true CN115063670A (zh) 2022-09-16

Family

ID=83200111

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210657146.8A Pending CN115063670A (zh) 2022-06-10 2022-06-10 一种自动分拣方法、装置及系统

Country Status (1)

Country Link
CN (1) CN115063670A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115321090A (zh) * 2022-10-17 2022-11-11 中国民航大学 机场行李自动接取方法、装置、设备、系统及介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115321090A (zh) * 2022-10-17 2022-11-11 中国民航大学 机场行李自动接取方法、装置、设备、系统及介质
CN115321090B (zh) * 2022-10-17 2023-01-13 中国民航大学 机场行李自动接取方法、装置、设备、系统及介质

Similar Documents

Publication Publication Date Title
US11276194B2 (en) Learning dataset creation method and device
US11317681B2 (en) Automated identification of shoe parts
CN111136656B (zh) 一种用于机器人三维不规则物体自动识别及抓取的方法
CN112297013B (zh) 一种基于数字孪生和深度神经网络的机器人智能抓取方法
CN114029243B (zh) 一种用于分拣机器手的软物抓取识别方法
CN111428731A (zh) 基于机器视觉的多类目标识别定位方法、装置和设备
US20220080581A1 (en) Dual arm robot teaching from dual hand human demonstration
CN115063670A (zh) 一种自动分拣方法、装置及系统
CN115213896A (zh) 基于机械臂的物体抓取方法、系统、设备及存储介质
CN110181518B (zh) 模组的安装方法、存储介质
US11455767B1 (en) Intelligent material completeness detection and configuration method based on digital twin and augmented reality (AR)
CN113927601B (zh) 一种基于视觉识别实现机械臂精准挑拣的方法及系统
JP2022160363A (ja) ロボットシステム、制御方法、画像処理装置、画像処理方法、物品の製造方法、プログラム、及び記録媒体
CN114845844A (zh) 信息处理装置、工件识别装置及工件取出装置
CN112621765B (zh) 一种基于机械手的设备自动组装控制方法及装置
CN110188734A (zh) 焊缝类型的识别方法及装置
CN108985325A (zh) 一种分类方法、装置、设备和系统
JP3101674B2 (ja) Ｃａｄ情報を用いた３次元認識手法及び装置
JP6041710B2 (ja) 画像認識方法
CN113706501B (zh) 一种飞机装配的智能监测方法
JP3855050B2 (ja) 衣類状態推定方法及びプログラム
CN113618737A (zh) 一种用于工业平台的视觉识别系统
US20200202178A1 (en) Automatic visual data generation for object training and evaluation
Funakubo et al. Verification of illumination tolerance for clothes recognition
WO2023054535A1 (ja) 情報処理装置、ロボットコントローラ、ロボット制御システム、及び情報処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Building 6, 646 Jianchuan Road, Minhang District, Shanghai 201100

Applicant after: Jieka Robot Co.,Ltd.

Address before: Building 6, 646 Jianchuan Road, Minhang District, Shanghai 201100

Applicant before: SHANGHAI JAKA ROBOTICS Ltd.