CN107362987A - 一种基于视觉的机器人分拣方法及系统 - Google Patents
一种基于视觉的机器人分拣方法及系统 Download PDFInfo
- Publication number
- CN107362987A CN107362987A CN201710425142.6A CN201710425142A CN107362987A CN 107362987 A CN107362987 A CN 107362987A CN 201710425142 A CN201710425142 A CN 201710425142A CN 107362987 A CN107362987 A CN 107362987A
- Authority
- CN
- China
- Prior art keywords
- model
- target part
- target
- anchor point
- sorting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
- B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
- B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
- B07C5/34—Sorting according to other particular properties
- B07C5/3412—Sorting according to other particular properties according to a code applied to the object which indicates a property of the object, e.g. quality class, contents or incorrect indication
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
- Manipulator (AREA)
Abstract
本发明公开了一种基于视觉的机器人分拣方法及系统，其中所述的方法包括：采用结构光系统获取目标零件的俯视三维模型；将所述目标零件的俯视三维模型与预先构建的基准模型库中的基准零件模型进行匹配，获得所述目标零件的类型以及所述目标零件的俯视三维模型与所述对应的基准零件模型之间的变换矩阵；根据所述变换矩阵和所述基准零件模型，获取所述目标零件的第一位置信息；根据所述目标零件的第一位置信息，获取机器人坐标下的第二位置信息；根据所述第二位置信息，对所述目标零件进行拾取，并结合所述目标零件的类型以实现零件的分拣。本发明解决了现有技术中零件抓取方法存在无法进行识别和分拣的技术问题。
Description
技术领域
本发明涉及工业机械臂分拣技术领域，尤其涉及一种基于视觉的机器人分拣方法及系统。
背景技术
随着人工智能技术的发展，机器人已经代替人力进行作业已经广泛应用于工业环境中，也成为传统制造业向现代化制造业的转型的基本标志和技术。
现有技术中，可以利用机器人或者工业机械臂来抓取物品。
本申请发明人在实现本发明的技术方案时，发现现有技术中至少存在如下问题：
现有技术中利用机器人或者工业机械臂来抓取物品时，对零件类型和摆放姿态有一定的要求，只能对独立的物品或者零件进行拾取，而对于任意摆放或者多个零件混合在一起的零件堆，则无法进行识别和分拣。
可见，现有技术中零件抓取方法存在无法进行识别和分拣的技术问题，因此，如何实现机器人进行识别和分拣，是重要的研究课题。
发明内容
本发明实施例提供一种基于视觉的机器人分拣方法及系统，用以解决现有技术中零件抓取方法存在无法进行识别和分拣的技术问题。
第一方面，本发明公开了一种基于视觉的机器人分拣方法，所述方法包括：
采用结构光系统获取目标零件的俯视三维模型；
将所述目标零件的俯视三维模型与预先构建的基准模型库中的基准零件模型进行匹配，获得所述目标零件的类型以及所述目标零件的俯视三维模型与所述对应的基准零件模型之间的变换矩阵；
根据所述变换矩阵和所述基准零件模型，获取所述目标零件的第一位置信息；
根据所述目标零件的第一位置信息，获取机器人坐标下的第二位置信息；
根据所述第二位置信息，对所述目标零件进行拾取，并结合所述目标零件的类型以实现零件的分拣。
本发明提供的一种基于视觉的机器人分拣方法中，所述采用结构光系统获取目标零件的俯视三维模型，包括：
获取所述结构光系统的相机和投影仪的内外参数；
获取所述投影仪投射到所述目标零件的编码图案；
通过所述相机获取所述编码图案的图像；
对所述图像进行解码，并根据所述内外参数获得深度信息；
对所述深度信息进行俯视角度的重建，获得三维点云，以所述三维点云作为所述目标零件的三维模型。
本发明提供的一种基于视觉的机器人分拣方法中，所述根据所述变换矩阵和所述基准零件模型，获取所述目标零件的第一位置信息，包括：
获取所述基准零件模型的第一定位点的位置信息，所述第一定位点的位置信息包括所述第一定位点的坐标和所述第一定位点的法向量；
根据所述第一定位点的位置信息和所述变换矩阵，获得第二定位点的坐标和第二定位点的法向量，以所述第二定位点的坐标和第二定位点的法向量作为目标零件的所述第一位置信息。
本发明提供的一种基于视觉的机器人分拣方法中，所述根据所述第二位置信息，对所述目标零件进行拾取，包括：
根据所述第二位置信息和机械臂的DH参数，获得机器人末端距离所述目标零件的距离和角度；
根据所述距离和角度，对所述目标零件进行拾取。
本发明提供的一种基于视觉的机器人分拣方法中，所述基准模型库中的基准零件模型可以通过导入零件的CAD文件或者利用所述结构光系统进行整体三维扫描获得。
基于与第一方面同样的发明构思，本发明第二方面提供了一种基于视觉的机器人分拣系统，所述系统包括：
获取模块，用于采用结构光系统获取目标零件的俯视三维模型；
匹配模块，用于将所述目标零件的俯视三维模型与预先构建的基准模型库中的基准零件模型进行匹配，获得所述目标零件的类型以及所述目标零件的俯视三维模型与所述对应的基准零件模型之间的变换矩阵；
第一获得模块，用于根据所述变换矩阵和所述基准零件模型，获得所述目标零件的第一位置信息；
第二获得模块，用于根据所述目标零件的第一位置信息，获得机器人坐标下的第二位置信息；
分拣模块，用于根据所述第二位置信息，对所述目标零件进行拾取，并结合所述目标零件的类型以实现零件的分拣。
本发明提供的一种基于视觉的机器人分拣系统中，所述获取模块还用于：
获取所述结构光系统的相机和投影仪的内外参数；
获取所述投影仪投射到所述目标零件的编码图案；
通过所述相机获取所述编码图案的图像；
对所述图像进行解码，并根据所述内外参数获得深度信息；
对所述深度信息进行俯视角度的重建，获得三维点云，以所述三维点云作为所述目标零件的三维模型。
本发明提供的一种基于视觉的机器人分拣系统中，所述第一获得模块，还用于：
获取所述基准零件模型的第一定位点的位置信息，所述第一定位点的位置信息包括所述第一定位点的坐标和所述第一定位点的法向量；
根据所述第一定位点的位置信息和所述变换矩阵，获得第二定位点的坐标和第二定位点的法向量，以所述第二定位点的坐标和第二定位点的法向量作为目标零件的所述第一位置信息。
本发明提供的一种基于视觉的机器人分拣系统中，所述分拣模块还用于：
根据所述第二位置信息和机械臂的DH参数，获得机器人末端距离所述目标零件的距离和角度；
根据所述距离和角度，对所述目标零件进行拾取。
本发明提供的一种基于视觉的机器人分拣系统中，所述基准模型库中的基准零件模型可以通过导入零件的CAD文件或者利用所述结构光系统进行整体三维扫描获得。
本发明实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：
本申请实施例提供的一种基于视觉的机器人分拣方法，首先采用结构光系统获取目标零件的俯视三维模型；并将所述目标零件的俯视三维模型与预先构建的基准模型库中的基准零件模型进行匹配，获得所述目标零件的类型以及所述目标零件的俯视三维模型与所述对应的基准零件模型之间的变换矩阵；然后根据所述变换矩阵和所述基准零件模型，获得所述目标零件的第一位置信息；并根据所述目标零件的第一位置信息，获得机器人坐标下的第二位置信息；在根据所述第二位置信息，对所述目标零件进行拾取，并结合所述目标零件的类型以实现零件的分拣。
由于首先获取了目标零件的俯视三维模型，并将俯视三维模型与构建的基准零件模型进行匹配，这样可以得到目标零件的类型，然后根据俯视三维模型到基准零件模型的变换矩阵和所述基准零件模型，获得目标零件的第一位置信息，即拾取的位置，再通过坐标转换，获得第二位置信息，从而完成准确拾取和分拣，相对于现有技术中采用二维图像的匹配方法而言，本发明的方法可以实现对任意摆放的多个零件进行类型和位姿识别，从而完成分拣。解决了现有技术中零件抓取方法存在无法进行识别和分拣的技术问题。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中一种基于视觉的机器人分拣方法的流程图；
图2为本发明实施例中获取零件的三维模型的方法流程图；
图3为本发明实施例中基于视觉的机器人分拣设备的结构图；
图4为图3中基于视觉的机器人分拣设备的信号控制示意图；
图5为本发明实施例中一种基于视觉的机器人分拣系统的结构图。
具体实施方式
本发明实施例提供一种基于视觉的机器人分拣方法及系统，用以解决现有技术中零件抓取方法存在无法进行识别和分拣的技术问题。
本申请实施例中的技术方案，总体思路如下：
一种基于视觉的机器人分拣方法，所述方法包括：采用结构光系统获取目标零件的俯视三维模型；将所述目标零件的俯视三维模型与预先构建的基准模型库中的基准零件模型进行匹配，获得所述目标零件的类型以及所述目标零件的俯视三维模型与所述对应的基准零件模型之间的变换矩阵；根据所述变换矩阵和所述基准零件模型，获得所述目标零件的第一位置信息；根据所述目标零件的第一位置信息，获得机器人坐标下的第二位置信息；根据所述第二位置信息，对所述目标零件进行拾取，并结合所述目标零件的类型以实现零件的分拣。
上述方法中，由于首先获取了目标零件的俯视三维模型，并将俯视三维模型与构建的基准零件模型进行匹配，这样可以得到目标零件的类型，然后根据俯视三维模型到基准零件模型的变换矩阵和所述基准零件模型，获得目标零件的第一位置信息，即拾取的位置，再通过坐标转换，获得第二位置信息，从而完成准确拾取和分拣，相对于现有技术中采用二维图像的匹配方法而言，本发明的方法可以实现对任意摆放的多个零件进行类型和位姿识别，从而完成分拣。解决了现有技术中零件抓取方法存在无法进行识别和分拣的技术问题。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
本实施例提供一种基于视觉的机器人分拣方法，所述方法包括：
步骤S101：采用结构光系统获取目标零件的俯视三维模型；
步骤S102：将所述目标零件的俯视三维模型与预先构建的基准模型库中的基准零件模型进行匹配，获得所述目标零件的类型以及所述目标零件的俯视三维模型与所述对应的基准零件模型之间的变换矩阵；
步骤S103：根据所述变换矩阵和所述基准零件模型，获得所述目标零件的第一位置信息；
步骤S104：根据所述目标零件的第一位置信息，获得机器人坐标下的第二位置信息；
步骤S105：根据所述第二位置信息，对所述目标零件进行拾取，并结合所述目标零件的类型以实现零件的分拣。
上述方法中，由于首先获取了目标零件的俯视三维模型，并将俯视三维模型与构建的基准零件模型进行匹配，这样可以得到目标零件的类型，然后根据俯视三维模型到基准零件模型的变换矩阵，获得目标零件的第一位置信息，即拾取的位置，再通过坐标转换，获得第二位置信息，从而完成准确拾取和分拣，相对于现有技术中采用二维图像的匹配方法而言，本发明的方法可以实现对任意摆放的多个零件进行类型和位姿识别，从而完成分拣。解决了现有技术中零件抓取方法存在无法进行识别和分拣的技术问题。
下面，结合图1对本申请提供的基于视觉的机器人分拣方法进行详细介绍：
首先，执行步骤S101，采用结构光系统获取目标零件的俯视三维模型。
其中，所述采用结构光系统获取目标零件的俯视三维模型，具体包括：
获取所述结构光系统的相机和投影仪的内外参数；
获取所述投影仪投射到所述目标零件的编码图案；
通过所述相机获取所述编码图案的图像；
对所述图像进行解码，并根据所述内外参数获得深度信息；
对所述深度信息进行俯视角度的重建，获得三维点云，以所述三维点云作为所述目标零件的三维模型。
在具体的实施过程中，本发明采用结构光系统来进行俯视三维模型的构建，举例来说，可以首先对结构光系统进行离线标定，从而得到相机的内、外参数，优选地，本发明的标定的本技术采用直角点阵标定板，与传统平面棋盘格标定相比可以简化相机的标定步骤，从而不用改变标定板的位姿，一次性标定得到相机内、外参数；具体来说，然后对投影仪标定，投影仪不是成像设备，但可以将其视为逆相机模型，通过投影仪投射正弦相移光栅和格雷码图案，然后利用相机的标定参数(即内、外参数)，建立投影仪(DMD像点)与世界坐标的关系。从而得到投影仪的内、外参数。在标定完成之后，即可对零件或物体进行扫描重建，然后通过投影仪投射编码图案到物体的表面，通过相机获取图像，解码并利用内、外参数得到深度信息，对所述深度信息进行俯视角度的重建，可以获得三维点云，则可以获得俯视三维模型。此外，如果要得到整个物体形貌，则需要对物体的各个视角进行重建，然后利用贴标志点或者特征匹配的方法进行点云的拼接及融合。获取物体或零件的整体三维模型的方法具体参见图2，与获取零件的俯视三维模型的方法类似。
接下来，执行步骤步骤S102：将所述目标零件的俯视三维模型与预先构建的基准模型库中的基准零件模型进行匹配，获得所述目标零件的类型以及所述目标零件的俯视三维模型与所述对应的基准零件模型之间的变换矩阵。
具体地，所述基准模型库中的基准零件模型可以通过导入零件的CAD文件或者利用所述结构光系统进行整体三维扫描获得。
在具体的实施过程中，如果是利用所述结构光系统进行整体三维扫描获得的三维模型，其格式可以是stl、obj、ply等，然后三维模型将导入模型库中，并确定各个零件的抓取点，及其法向量方向。为了获取零件的俯视三维模型，可以将结构光系统装置于零件上方，并投射结构光编码，从得到零件俯视三维模型，一方面可以对零件的俯视角度进行三维重建，另一方面，也能得到零件的深度信息，对最表面的零件进行优先拾取，从上到下依次抓取。
本发明中将所述目标零件的俯视三维模型与预先构建的基准模型库中的基准零件模型进行匹配，与现有技术中基于二维图像上的匹配不同，本实施采用的是基于三维点云和法线的方法。通过三维匹配的方法，可以获得所述目标零件的类型以及所述目标零件的俯视三维模型与所述对应的基准零件模型之间的变换矩阵，表示为[R、T]，包括旋转矩阵(R)和平移矩阵(T)，则可以将实际模型(俯视三维模型)转换到基准模型上去验证定位是否准确，还可以对实际零件进行识别分类。
然后执行步骤S103：根据所述变换矩阵和所述基准零件模型，获得所述目标零件的第一位置信息。
具体地，所述根据所述变换矩阵和所述基准零件模型，获得所述目标零件的第一位置信息，包括：
获取所述基准零件模型的第一定位点的位置信息，所述第一定位点的位置信息包括所述第一定位点的坐标和所述第一定位点的法向量；
根据所述第一定位点的位置信息和所述变换矩阵，获得第二定位点的坐标和第二定位点的法向量，以所述第二定位点的坐标和第二定位点的法向量作为目标零件的所述第一位置信息。
在具体的实施过程中，由于前述步骤中获得了所述目标零件的类型以及所述目标零件的俯视三维模型与所述对应的基准零件模型之间的变换矩阵，则可以根据基准模型上确定的抓取点和法线方向，即第一定位点的坐标和所述第一定位点的法向量，并通过变换矩阵，获得俯视三维模型的抓取点和法线方向，即第二定位点的坐标和第二定位点的法向量，从而获得了第一位置信息。
接下来，执行步骤S104：根据所述目标零件的第一位置信息，获得机器人坐标下的第二位置信息。
在具体的实施过程中，可以通过机器人与俯视三维模型的坐标转换关系进行变换，从而得到目标零件相对于机器人坐标系下的一个点坐标和其法向量，即机器人坐标下的第二位置信息。
最后执行步骤S105：根据所述第二位置信息，对所述目标零件进行拾取，并结合所述目标零件的类型以实现零件的分拣。
具体地，所述根据所述第二位置信息，对所述目标零件进行拾取，包括：
根据所述第二位置信息和机械臂的DH参数，获得机器人末端距离所述目标零件的距离和角度；
根据所述距离和角度，对所述目标零件进行拾取。
在具体的实施过程中，由于获取了目标零件在机器人坐标系下的抓取点坐标和法向量，可以根据机器人机械臂的DH参数，从而获得机器人末端距离目标零件的距离和角度；然后结合前述获得目标零件的类型，从而实现对零件的分拣。
在介绍了本发明实施例提供的一种基于视觉的机器人分拣方法后，下面通过一个具体的示例对上述分拣方法进行详细介绍，本发明的方法可以通过基于视觉的机器人分拣设备来实现，请参见图3，上述分拣设备包括结构光系统1、计算机2和机器人3，其中结构光系统包括相机和投影仪，抓取的对象为箱体中的零件4，上述分拣设备的具体控制过程请参见图4，首先计算机向结构光系统发出控制指令，使结构光系统获取零件的三维信息，然后结构光系统将零件的三维信息发送给计算机，计算机进行进行测量重建，得到三维点云信息，机器人发送机械臂的状态信息到计算机，计算机将根据结构光发送的三维信息和机器人发送的机械臂(机器手)的状态信息，并通过坐标转换获得零件相对于机器人坐标系下抓取点和方向；并根据上述抓取点和方向向机器人发出控制指令，从而让机器人拾取零件。
实施例二
基于与实施例一同样的发明构思，本发明实施例二提供了一种基于视觉的机器人分拣系统，请参见图5，所述系统包括：
获取模,201，用于采用结构光系统获取目标零件的俯视三维模型；
匹配模块202，用于将所述目标零件的俯视三维模型与预先构建的基准模型库中的基准零件模型进行匹配，获得所述目标零件的类型以及所述目标零件的俯视三维模型与所述对应的基准零件模型之间的变换矩阵；
第一获得模块203，用于根据所述变换矩阵和所述基准零件模型，获得所述目标零件的第一位置信息；
第二获得模块204，用于根据所述目标零件的第一位置信息，获得机器人坐标下的第二位置信息；
分拣模块205，用于根据所述第二位置信息，对所述目标零件进行拾取，并结合所述目标零件的类型以实现零件的分拣。
本实施例提供的一种基于视觉的机器人分拣系统中，所述获取模块还用于：
获取所述结构光系统的相机和投影仪的内外参数；
获取所述投影仪投射到所述目标零件的编码图案；
通过所述相机获取所述编码图案的图像；
对所述图像进行解码，并根据所述内外参数获得深度信息；
对所述深度信息进行俯视角度的重建，获得三维点云，以所述三维点云作为所述目标零件的三维模型。
本实施例提供的一种基于视觉的机器人分拣系统中，所述第一获得模块，还用于：
获取所述基准零件模型的第一定位点的位置信息，所述第一定位点的位置信息包括所述第一定位点的坐标和所述第一定位点的法向量；
根据所述第一定位点的位置信息和所述变换矩阵，获得第二定位点的坐标和第二定位点的法向量，以所述第二定位点的坐标和第二定位点的法向量作为目标零件的所述第一位置信息。
本实施例提供的一种基于视觉的机器人分拣系统中，所述分拣模块还用于：
根据所述第二位置信息和机械臂的DH参数，获得机器人末端距离所述目标零件的距离和角度；
根据所述距离和角度，对所述目标零件进行拾取。
本实施例提供的一种基于视觉的机器人分拣系统中，
所述基准模型库中的基准零件模型可以通过导入零件的CAD文件或者利用所述结构光系统进行整体三维扫描获得。
实施例一中的基于视觉的机器人分拣方法的各种变化方式和具体实例同样适用于本实施例二的一种基于视觉的机器人分拣系统，通过前述对一种基于视觉的机器人分拣方法的详细描述，本领域技术人员可以清楚的知道本实施例中的一种基于视觉的机器人分拣系统，所以为了说明书的简洁，在此不再详述。
本发明实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：
本申请实施例提供的一种基于视觉的机器人分拣方法，首先采用结构光系统获取目标零件的俯视三维模型；并将所述目标零件的俯视三维模型与预先构建的基准模型库中的基准零件模型进行匹配，获得所述目标零件的类型以及所述目标零件的俯视三维模型与所述对应的基准零件模型之间的变换矩阵；然后根据所述变换矩阵，获得所述目标零件的第一位置信息；并根据所述目标零件的第一位置信息，获得机器人坐标下的第二位置信息；在根据所述第二位置信息，对所述目标零件进行拾取，并结合所述目标零件的类型以实现零件的分拣。由于首先获取了目标零件的俯视三维模型，并将俯视三维模型与构建的基准零件模型进行匹配，这样可以得到目标零件的类型，然后根据俯视三维模型到基准零件模型的变换矩阵，获得目标零件的第一位置信息，即拾取的位置，再通过坐标转换，获得第二位置信息，从而完成准确拾取和分拣，相对于现有技术中采用二维图像的匹配方法而言，本发明的方法可以实现对任意摆放的多个零件进行类型和位姿识别，从而完成分拣。解决了现有技术中零件抓取方法存在无法进行识别和分拣的技术问题。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样，倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种基于视觉的机器人分拣方法，其特征在于，所述方法包括：
采用结构光系统获取目标零件的俯视三维模型；
将所述目标零件的俯视三维模型与预先构建的基准模型库中的基准零件模型进行匹配，获得所述目标零件的类型以及所述目标零件的俯视三维模型与所述对应的基准零件模型之间的变换矩阵；
根据所述变换矩阵和所述基准零件模型，获取所述目标零件的第一位置信息；
根据所述目标零件的第一位置信息，获取机器人坐标下的第二位置信息；
根据所述第二位置信息，对所述目标零件进行拾取，并结合所述目标零件的类型以实现零件的分拣。
2.如权利要求1所述的方法，其特征在于，所述采用结构光系统获取目标零件的俯视三维模型，包括：
获取所述结构光系统的相机和投影仪的内外参数；
获取所述投影仪投射到所述目标零件的编码图案；
通过所述相机获取所述编码图案的图像；
对所述图像进行解码，并根据所述内外参数获得深度信息；
对所述深度信息进行俯视角度的重建，获得三维点云，以所述三维点云作为所述目标零件的三维模型。
3.如权利要求1所述的方法，其特征在于，所述根据所述变换矩阵和所述基准零件模型，获取所述目标零件的第一位置信息，包括：
获取所述基准零件模型的第一定位点的位置信息，所述第一定位点的位置信息包括所述第一定位点的坐标和所述第一定位点的法向量；
根据所述第一定位点的位置信息和所述变换矩阵，获得第二定位点的坐标和第二定位点的法向量，以所述第二定位点的坐标和第二定位点的法向量作为目标零件的所述第一位置信息。
4.如权利要求1所述的方法，其特征在于，所述根据所述第二位置信息，对所述目标零件进行拾取，包括：
根据所述第二位置信息和机械臂的DH参数，获得机器人末端距离所述目标零件的距离和角度；
根据所述距离和角度，对所述目标零件进行拾取。
5.如权利要求1-4任一项权利要求所述的方法，其特征在于，所述基准模型库中的基准零件模型可以通过导入零件的CAD文件或者利用所述结构光系统进行整体三维扫描获得。
6.一种基于视觉的机器人分拣系统，其特征在于，所述系统包括：
获取模块，用于采用结构光系统获取目标零件的俯视三维模型；
匹配模块，用于将所述目标零件的俯视三维模型与预先构建的基准模型库中的基准零件模型进行匹配，获得所述目标零件的类型以及所述目标零件的俯视三维模型与所述对应的基准零件模型之间的变换矩阵；
第一获得模块，用于根据所述变换矩阵和所述基准零件模型，获得所述目标零件的第一位置信息；
第二获得模块，用于根据所述目标零件的第一位置信息，获得机器人坐标下的第二位置信息；
分拣模块，用于根据所述第二位置信息，对所述目标零件进行拾取，并结合所述目标零件的类型以实现零件的分拣。
7.如权利要求6所述的系统，其特征在于，所述获取模块还用于：
获取所述结构光系统的相机和投影仪的内外参数；
获取所述投影仪投射到所述目标零件的编码图案；
通过所述相机获取所述编码图案的图像；
对所述图像进行解码，并根据所述内外参数获得深度信息；
对所述深度信息进行俯视角度的重建，获得三维点云，以所述三维点云作为所述目标零件的三维模型。
8.如权利要求6所述的系统，其特征在于，所述第一获得模块，还用于：
获取所述基准零件模型的第一定位点的位置信息，所述第一定位点的位置信息包括所述第一定位点的坐标和所述第一定位点的法向量；
根据所述第一定位点的位置信息和所述变换矩阵，获得第二定位点的坐标和第二定位点的法向量，以所述第二定位点的坐标和第二定位点的法向量作为目标零件的所述第一位置信息。
9.如权利要求6所述的系统，其特征在于，所述分拣模块还用于：
根据所述第二位置信息和机械臂的DH参数，获得机器人末端距离所述目标零件的距离和角度；
根据所述距离和角度，对所述目标零件进行拾取。
10.如权利要求6-9任一项权利要求所述的系统，其特征在于，所述基准模型库中的基准零件模型可以通过导入零件的CAD文件或者利用所述结构光系统进行整体三维扫描获得。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710425142.6A CN107362987A (zh) | 2017-06-07 | 2017-06-07 | 一种基于视觉的机器人分拣方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710425142.6A CN107362987A (zh) | 2017-06-07 | 2017-06-07 | 一种基于视觉的机器人分拣方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107362987A true CN107362987A (zh) | 2017-11-21 |
Family
ID=60304812
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710425142.6A Pending CN107362987A (zh) | 2017-06-07 | 2017-06-07 | 一种基于视觉的机器人分拣方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107362987A (zh) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108080289A (zh) * | 2018-01-22 | 2018-05-29 | 广东省智能制造研究所 | 机器人分拣系统、机器人分拣控制方法及装置 |
| CN108284360A (zh) * | 2017-12-30 | 2018-07-17 | 芜湖哈特机器人产业技术研究院有限公司 | 一种打磨工件打磨加工系统 |
| CN109459984A (zh) * | 2018-11-02 | 2019-03-12 | 宁夏巨能机器人股份有限公司 | 一种基于三维点云的定位抓取系统及其使用方法 |
| CN109513629A (zh) * | 2018-11-14 | 2019-03-26 | 深圳蓝胖子机器人有限公司 | 包裹分拣方法、装置和计算机可读存储介质 |
| CN109513630A (zh) * | 2018-11-14 | 2019-03-26 | 深圳蓝胖子机器人有限公司 | 包裹分拣系统及其控制方法、存储介质 |
| CN109967359A (zh) * | 2017-12-28 | 2019-07-05 | 北京京东尚科信息技术有限公司 | 用于拣选物品的方法和装置 |
| CN110626812A (zh) * | 2019-10-16 | 2019-12-31 | 无锡黎曼机器人科技有限公司 | 3d视觉导引纸箱智能拆垛码垛集成系统及拆垛码垛方法 |
| WO2020133407A1 (zh) * | 2018-12-29 | 2020-07-02 | 河南埃尔森智能科技有限公司 | 基于结构光的工业机器人定位方法和装置、控制器、介质 |
| CN111524115A (zh) * | 2020-04-17 | 2020-08-11 | 湖南视比特机器人有限公司 | 钢板切割件的定位方法和分拣系统 |
| CN112344874A (zh) * | 2020-09-06 | 2021-02-09 | 华中农业大学 | 一种基于高精度机械臂结构光成像的作物籽粒三维性状测量方法 |
| WO2021062619A1 (zh) * | 2019-09-30 | 2021-04-08 | 上海成业智能科技股份有限公司 | 集装箱锁销分拣方法、装置、设备及存储介质 |
| CN113223148A (zh) * | 2021-05-07 | 2021-08-06 | 骏日科技(深圳)有限公司 | Vcm骨架的自动摆放方法、装置和计算机设备 |
| CN114367470A (zh) * | 2022-03-22 | 2022-04-19 | 南京南戈特机电科技有限公司 | 基于坐标机器人的自动分拣控制方法及系统 |
| CN114742789A (zh) * | 2022-04-01 | 2022-07-12 | 中国科学院国家空间科学中心 | 一种基于面结构光的通用零件拾取方法、系统及电子设备 |
| EP3889080A4 (en) * | 2018-12-01 | 2022-07-13 | Shanghai Chengye Intelligent Technology Co., Ltd. | MAGNETIC CONTROL INTELLIGENT SORTING DEVICE FOR CONTAINER LOCKING PINS AND METHOD OF CONTROL THEREOF |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004018332A1 (en) * | 2002-08-26 | 2004-03-04 | Abb Ab | Automated production system for object identification, selection and transport |
| CN103252778A (zh) * | 2011-12-23 | 2013-08-21 | 三星电子株式会社 | 用于估计机器人位置的设备及其方法 |
| CN104511905A (zh) * | 2013-09-28 | 2015-04-15 | 沈阳新松机器人自动化股份有限公司 | 一种基于结构光的机器人视觉伺服控制方法 |
| CN106182004A (zh) * | 2016-08-01 | 2016-12-07 | 上海交通大学 | 基于视觉引导的工业机器人自动销孔装配的方法 |
| CN106826815A (zh) * | 2016-12-21 | 2017-06-13 | 江苏物联网研究发展中心 | 基于彩色图像与深度图像的目标物体识别与定位的方法 |
-
2017
- 2017-06-07 CN CN201710425142.6A patent/CN107362987A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004018332A1 (en) * | 2002-08-26 | 2004-03-04 | Abb Ab | Automated production system for object identification, selection and transport |
| CN103252778A (zh) * | 2011-12-23 | 2013-08-21 | 三星电子株式会社 | 用于估计机器人位置的设备及其方法 |
| CN104511905A (zh) * | 2013-09-28 | 2015-04-15 | 沈阳新松机器人自动化股份有限公司 | 一种基于结构光的机器人视觉伺服控制方法 |
| CN106182004A (zh) * | 2016-08-01 | 2016-12-07 | 上海交通大学 | 基于视觉引导的工业机器人自动销孔装配的方法 |
| CN106826815A (zh) * | 2016-12-21 | 2017-06-13 | 江苏物联网研究发展中心 | 基于彩色图像与深度图像的目标物体识别与定位的方法 |
Non-Patent Citations (1)
| Title |
|---|
| 柯科勇: "基于双目视觉的散乱堆放工件拾取系统", 《中国优秀硕士学位论文全文数据库 信息科技辑（月刊）》 * |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109967359A (zh) * | 2017-12-28 | 2019-07-05 | 北京京东尚科信息技术有限公司 | 用于拣选物品的方法和装置 |
| CN108284360A (zh) * | 2017-12-30 | 2018-07-17 | 芜湖哈特机器人产业技术研究院有限公司 | 一种打磨工件打磨加工系统 |
| CN108080289A (zh) * | 2018-01-22 | 2018-05-29 | 广东省智能制造研究所 | 机器人分拣系统、机器人分拣控制方法及装置 |
| CN109459984A (zh) * | 2018-11-02 | 2019-03-12 | 宁夏巨能机器人股份有限公司 | 一种基于三维点云的定位抓取系统及其使用方法 |
| CN109513629A (zh) * | 2018-11-14 | 2019-03-26 | 深圳蓝胖子机器人有限公司 | 包裹分拣方法、装置和计算机可读存储介质 |
| CN109513630A (zh) * | 2018-11-14 | 2019-03-26 | 深圳蓝胖子机器人有限公司 | 包裹分拣系统及其控制方法、存储介质 |
| EP3889080A4 (en) * | 2018-12-01 | 2022-07-13 | Shanghai Chengye Intelligent Technology Co., Ltd. | MAGNETIC CONTROL INTELLIGENT SORTING DEVICE FOR CONTAINER LOCKING PINS AND METHOD OF CONTROL THEREOF |
| WO2020133407A1 (zh) * | 2018-12-29 | 2020-07-02 | 河南埃尔森智能科技有限公司 | 基于结构光的工业机器人定位方法和装置、控制器、介质 |
| WO2021062619A1 (zh) * | 2019-09-30 | 2021-04-08 | 上海成业智能科技股份有限公司 | 集装箱锁销分拣方法、装置、设备及存储介质 |
| CN110626812A (zh) * | 2019-10-16 | 2019-12-31 | 无锡黎曼机器人科技有限公司 | 3d视觉导引纸箱智能拆垛码垛集成系统及拆垛码垛方法 |
| CN111524115A (zh) * | 2020-04-17 | 2020-08-11 | 湖南视比特机器人有限公司 | 钢板切割件的定位方法和分拣系统 |
| CN111524115B (zh) * | 2020-04-17 | 2023-10-13 | 湖南视比特机器人有限公司 | 钢板切割件的定位方法和分拣系统 |
| CN112344874A (zh) * | 2020-09-06 | 2021-02-09 | 华中农业大学 | 一种基于高精度机械臂结构光成像的作物籽粒三维性状测量方法 |
| CN113223148A (zh) * | 2021-05-07 | 2021-08-06 | 骏日科技(深圳)有限公司 | Vcm骨架的自动摆放方法、装置和计算机设备 |
| CN114367470A (zh) * | 2022-03-22 | 2022-04-19 | 南京南戈特机电科技有限公司 | 基于坐标机器人的自动分拣控制方法及系统 |
| CN114367470B (zh) * | 2022-03-22 | 2022-06-21 | 南京南戈特机电科技有限公司 | 基于坐标机器人的自动分拣控制方法及系统 |
| CN114742789A (zh) * | 2022-04-01 | 2022-07-12 | 中国科学院国家空间科学中心 | 一种基于面结构光的通用零件拾取方法、系统及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107362987A (zh) | 一种基于视觉的机器人分拣方法及系统 | |
| CN108555908B (zh) | 一种基于rgbd相机的堆叠工件姿态识别及拾取方法 | |
| CN101496031B (zh) | 使用主要和次要标志的运动捕捉 | |
| JPWO2019189661A1 (ja) | 学習データセット作製方法及び装置 | |
| JP2019056966A (ja) | 情報処理装置、画像認識方法および画像認識プログラム | |
| JP5458885B2 (ja) | 物体検出方法と物体検出装置およびロボットシステム | |
| KR102173039B1 (ko) | 신발 부품의 자동 식별 | |
| CN108401461A (zh) | 三维建图方法、装置、系统、云端平台、电子设备和计算机程序产品 | |
| CN110084243B (zh) | 一种基于二维码和单目相机的档案识别与定位方法 | |
| CN107945267A (zh) | 一种用于人脸三维模型纹理融合的方法和设备 | |
| CN110281231B (zh) | 无人化fdm增材制造的移动机器人三维视觉抓取方法 | |
| CN115345822A (zh) | 一种面向航空复杂零件的面结构光自动化三维检测方法 | |
| CN114952809B (zh) | 工件识别和位姿检测方法、系统及机械臂的抓取控制方法 | |
| EP3257026B1 (en) | Generating three dimensional models | |
| CN108648194A (zh) | 基于cad模型三维目标识别分割和位姿测量方法及装置 | |
| CN109840508A (zh) | 一个基于深度网络架构自动搜索的机器人视觉控制方法，设备及存储介质 | |
| CN110433467A (zh) | 基于双目视觉和蚁群算法的捡乒乓球机器人运行方法及设备 | |
| CN115903541A (zh) | 一种基于孪生场景的视觉算法仿真数据集生成及验证方法 | |
| Yang et al. | A cooperative mobile robot and manipulator system (Co-MRMS) for transport and lay-up of fibre plies in modern composite material manufacture | |
| CN112257536B (zh) | 一种空间与物体三维信息采集匹配设备及方法 | |
| Block et al. | Image-Bot: Generating synthetic object detection datasets for small and medium-sized manufacturing companies | |
| De Roovere et al. | Dataset of industrial metal objects | |
| Park et al. | 3D log recognition and pose estimation for robotic forestry machine | |
| CN205102796U (zh) | 不贴靶点的手持式激光3d扫描仪 | |
| CN109712246B (zh) | 一种基于生成对抗网络技术的增强现实图像上色方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20171121 |