CN109816730A - 工件抓取方法、装置、计算机设备和存储介质 - Google Patents
工件抓取方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN109816730A CN109816730A CN201811563127.9A CN201811563127A CN109816730A CN 109816730 A CN109816730 A CN 109816730A CN 201811563127 A CN201811563127 A CN 201811563127A CN 109816730 A CN109816730 A CN 109816730A
- Authority
- CN
- China
- Prior art keywords
- workpiece
- grabbing workpiece
- grabbing
- point cloud
- crawl
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Manipulator (AREA)
Abstract
本申请涉及一种工件抓取方法、装置、计算机设备和存储介质。所述方法包括：接收被观测场景图像，基于所述图像重建得到被观测场景的三维点云数据；识别所述三维点云数据中的待抓取工件，得到待抓取工件的位姿；基于待抓取工件的位姿计算每种抓取路径抓取时与其它点云的碰撞点数，并选择碰撞点数在设定范围内的抓取路径；控制机器人抓取所述待抓取工件。上述工件抓取方法、装置、计算机设备和存储介质，选择机器人抓取工件时的最优路径，能够有效避免在抓取其中一个物体时，容易与其它物体发生碰撞，损坏待抓取物体的情况，使工件抓取过程更加稳定与安全。
Description
技术领域
本申请涉及机器人应用技术领域，特别是涉及一种工件抓取方法、装置、计算机设备和存储介质。
背景技术
视觉引导机器人抓取技术在工业上的应用越来越广泛，应用场景也在日益丰富，随着技术的发展，机器人将逐渐替代人类来完成一些简单、重复、低智力要求的工作。
目前，视觉引导机器人抓取应用主要集中在基于2D视觉检测的固定平面上的目标物体抓取上，2D视觉检测方法能提供的零件位姿信息有限，通常只能将零件限定在一个固定的测量深度上进行检测，这显然会限制机器人的应用范围。
随着三维扫描技术的提高，三维物体识别算法也得到了迅速的发展，使得识别和定位点云数据或深度图像中的目标物体变得越来越稳定有效。通过三维物体识别算法可以获得目标物体六个维度的位姿信息，将该技术和机器人结合起来，便可实现对散乱堆放的目标物体的抓取。但是，目前需要抓取的物体大部分都是散乱堆放，在抓取其中一个物体时，容易与其它物体发生碰撞，损坏待抓取物体。
发明内容
基于此，有必要针对目前需要抓取的物体大部分都是散乱堆放，在抓取其中一个物体时，容易与其它物体发生碰撞，损坏待抓取物体的技术问题，提供一种工件抓取方法、装置、计算机设备和存储介质。
一种工件抓取方法，所述方法包括：
接收被观测场景图像，基于所述图像重建得到被观测场景的三维点云数据；
识别所述三维点云数据中的待抓取工件，得到待抓取工件的位姿；
基于待抓取工件的位姿计算每种抓取路径抓取时与其它点云的碰撞点数，并选择碰撞点数在设定范围内的抓取路径；
控制机器人抓取所述待抓取工件。
在其中一个实施例中，所述接收被观测场景图像，基于所述图像重建得到被观测场景的三维点云数据之前还包括：
导入待抓取工件的模型，生成模型数据库。
在其中一个实施例中，所述识别所述三维点云数据中的待抓取工件还包括：
基于所述三维点云数据，在所述模型数据库中寻找相同特征，识别所述三维点云数据中的待抓取工件。
在其中一个实施例中，所述接收被观测场景图像，基于所述图像重建得到被观测场景的三维点云数据之后还包括：
对所述三维点云数据进行滤波。
在其中一个实施例中，所述识别所述三维点云数据中的待抓取工件，得到待抓取工件的位姿还包括：
识别所述三维点云数据中的待抓取工件并定位；
对所述待抓取工件的三维点云数据建立位姿假设，并对每个位姿进行评估，得到符合设定条件的待抓取工件的位姿。
在其中一个实施例中，所述基于待抓取工件的位姿计算每种抓取路径抓取时与其它点云的碰撞点数，并选择碰撞点数在设定范围内的抓取路径之前还包括：
计算所述待抓取工件的遮挡面积，若所述遮挡面积小于设定阈值，则对所述待抓取工件进行抓取路径规划。
在其中一个实施例中，所述基于待抓取工件的位姿计算每种抓取路径抓取时与其它点云的碰撞点数，并选择碰撞点数在设定范围内的抓取路径之前还包括：
计算所述待抓取工件的遮挡面积，若所述遮挡面积大于设定阈值，则重新选取待抓取工件。
一种工件抓取装置，所述装置包括：
三维数据重建模块，用于接收被观测场景图像，基于所述图像重建得到被观测场景的三维点云数据；
工件识别模块，用于识别所述三维点云数据中的待抓取工件，得到待抓取工件的位姿；
路径规划模块，用于基于待抓取工件的位姿计算每种抓取路径抓取时与其它点云的碰撞点数，并选择碰撞点数在设定范围内的抓取路径；
抓取控制模块，用于控制机器人抓取所述待抓取工件。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
接收被观测场景图像，基于所述图像重建得到被观测场景的三维点云数据；
识别所述三维点云数据中的待抓取工件，得到待抓取工件的位姿；
基于待抓取工件的位姿计算每种抓取路径抓取时与其它点云的碰撞点数，并选择碰撞点数在设定范围内的抓取路径；
控制机器人抓取所述待抓取工件。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
接收被观测场景图像，基于所述图像重建得到被观测场景的三维点云数据；
识别所述三维点云数据中的待抓取工件，得到待抓取工件的位姿；
基于待抓取工件的位姿计算每种抓取路径抓取时与其它点云的碰撞点数，并选择碰撞点数在设定范围内的抓取路径；
控制机器人抓取所述待抓取工件。
上述工件抓取方法、装置、计算机设备和存储介质，通过基于待抓取工件的位姿计算每种抓取路径抓取时与其它点云的碰撞点数，并选择碰撞点数在设定范围内的抓取路径，控制机器人抓取工件的方法，选择机器人抓取工件时的最优路径，能够有效避免在抓取其中一个物体时，容易与其它物体发生碰撞，损坏待抓取物体的情况，使工件抓取过程更加稳定与安全。
附图说明
图1为本发明一个实施例中工件抓取方法的流程示意图；
图2为本发明一个实施例中工件抓取装置的结构框图；
图3为本发明一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
请参阅图1，图1为本发明一实施例的工件抓取方法流程示意图。
在本实施例中，所述工件抓取方法包括：
步骤100，对三维扫描仪进行标定。
在本实施例中，所述对三维扫描仪进行标定包括把标定板以不同的姿态放置在三维扫描仪的视场不同位置处，并使用三维扫描仪中左右两个相机采集多幅含有标定板的图像对，使用相机内外参标定算法对三维扫描仪中左右两个相机的内外参参数进行标定。
步骤110，标定三维扫描仪与机器人之间的位姿关系。
在本实施例中，所述标定三维扫描仪与机器人之间的位姿关系包括把标定部件安装在机器人抓取部件的末端，并以标定物上的同心圆圆心为坐标原点定义工具坐标系；其次，控制抓取部件携带标定物在三维扫描仪视场范围内分别移动四个位置，机器人在每个位置处触发三维扫描仪拍摄标定物得到左右图像对；最后，使用图像处理算法提取图像对中的标定物，使用手眼关系标定算法计算获得三维扫描仪和机器人之间的位姿关系TS B。可以理解的，所述抓取部件可以为机械臂。
步骤120，导入待抓取工件的模型，生成模型数据库。
在本实施例中，所述导入待抓取工件的模型，生成模型数据库包括导入工件(抓取对象)的CAD模型和夹具的CAD模型，并把导入的工件CAD模型和夹具CAD模型转换为面片模型，对应的面片模型由大小均匀的三角面片表示。可以理解的，为提高识别定位效率，基于所述工件的三角面片模型建立模型数据库。
步骤130，接收被观测场景图像，基于所述图像重建得到被观测场景的三维点云数据。
示例性地，所述接收被观测场景图像包括控制所述三维扫描仪向所述被观测场景投射出一序列条纹图像，其中一幅为全黑图像，一幅为全白图像，其余一部分为格雷码图像，一部分为相移图像。格雷码将视场区域划分成了具有独立编码值的区域，格雷码完成了视场区域的粗略划分，这里的相移图像把各个格雷码区域进行了详细划分，以使重构得到具有更多细节特征的点云数据，同时三维扫描仪中的左右相机分别依次采集一序列二维图像，得到被观测场景图像。
示例性地，所述基于所述图像重建得到被观测场景的三维点云数据包括使用采集得到的被观测场景图像结合所述三维扫描仪中左右两个相机的内外参参数进行三维场景的重构，得到被观测场景的三维点云数据。具体地，所述基于所述图像重建得到被观测场景的三维点云数据包括：
A：使用高斯滤波对采集得到的被观测场景图像进行平滑操作；
B：使用图像序列中的黑白图像对其余图像序列进行归一化操作；
C：对采集得到的格雷码图像序列计算灰度值均值；并使用灰度值均值对图像序列进行二值化操作；根据得到的二值化序列计算格雷码相位值m；
D：根据各像素点处的灰度值和相移次数在各个格雷码周期内计算相移相位值
E：结合计算得到的格雷码相位值和相移相位值根据公式计算得到图像中各像素的全局相位φ；
F：根据左右图像中各个像素的全局相位φ和极线约束在左、右相机图像中逐个搜索确定各个像素的对应点；
G：以左、右图像所有的对应像素对和左、右相机内外参参数为输入结合双目视差原理即可逐个计算出被观测区域各个空间点的三维信息，得到三维点云数据；
H：根据步骤110中获得的三维扫描仪和机器人之间的位置关系把重构得到的所有三维点云数据变换到机器人坐标系下。
步骤140，对所述三维点云数据进行滤波。
示例性地，所述对所述三维点云数据进行滤波包括：
A：使用事先设置的包围盒，滤除待抓取工件以外的无用点云数据；
B：对于待抓取工件的点云数据使用距离统计信息滤除其中的离群点。
步骤150，识别所述三维点云数据中的待抓取工件，得到待抓取工件的位姿。
示例性地，所述识别所述三维点云数据中的待抓取工件，得到待抓取工件的位姿包括基于所述三维点云数据，在所述模型数据库中寻找相同特征，识别所述三维点云数据中的待抓取工件并定位。可以理解的，所述模型数据库即为步骤120中建立的模型数据库。
示例性地，所述识别所述三维点云数据中的待抓取工件，得到待抓取工件的位姿还包括识别所述三维点云数据中的待抓取工件并定位；对每个所述待抓取工件的三维点云数据建立位姿假设，并对每个位姿进行评估，得到符合设定阈值的待抓取工件的位姿。
具体地，所述对所述待抓取工件的三维点云数据建立位姿假设，并对每个位姿进行评估，得到符合设定阈值的待抓取工件的位姿包括根据对所述待抓取工件的三维点云数据建立位姿假设，并按照预设标准对位姿假设的质量进行评估以得到该位姿的得分，并保留其中得分高于预设得分的位姿对应的待抓取工件，选取得分最高的位姿对应的待抓取工件。可以理解的，所述预设标准和预设得分可以由用户进行设定。具体地，所述待抓取工件的位姿得分越高，表示识别定位结果越准确。
步骤160，计算所述待抓取工件的遮挡面积，若所述遮挡面积小于设定阈值，则对所述待抓取工件进行抓取路径规划。
具体地，所述计算所述待抓取工件的遮挡面积包括统计待抓取工件上方点云数量以判断该工件是否适合被抓取。在本实施例中，先在重构得到的场景三维点云数据中去除在待抓取工件一定距离外的点云，其次，统计在待抓取工件周围的点云数量并计算出对应的二维连通面积即遮挡面积，若所述待抓取工件的遮挡面积小于设定阈值，进行下一步的抓取路径规划。可以理解的，计算所述遮挡面积并在所述待抓取工件的遮挡面积小于设定阈值进行路径规划可以避免待抓取工件的遮挡面积过大导致无法抓取。具体地，当所述待抓取工件的遮挡面积大于设定阈值时，则重新选取待抓取工件，并重新执行步骤150和步骤160。
步骤170，基于待抓取工件的位姿计算每种抓取路径抓取时与其它点云的碰撞点数，并选择碰撞点数在设定范围内的抓取路径。
示例性地，所述基于待抓取工件的位姿计算每种抓取路径抓取时与其它点云的碰撞点数，并选择碰撞点数在设定范围内的抓取路径包括：
A：基于选取的所述待抓取工件设置一种或多种抓取方式，并设置夹具倾角阈值θ和碰撞点数阈值n；
B：根据识别定位得到的待抓取工件的位姿，计算该工件对应的所有抓取方式，并计算各个抓取方式夹具的倾角，仅保留倾角小于倾角阈值θ的抓取方式；
C：以重构得到的场景的三维点云数据为输入，逐个对符合倾角要求的抓取方式进行碰撞检测，即在虚拟环境中把夹具放置在抓取位姿处，统计此时在该夹具一定距离范围内的点云数量，并对不同抓取方式进行模拟，得到不同抓取方式对应的碰撞点数，仅保留碰撞点数小于碰撞点数阈值n的抓取方式。
D：对所有满足倾角阈值和碰撞点数阈值条件的抓取方式按倾角升序排列，选取倾角最小的抓取方式，即为最终抓取路径。
可以理解的，倾角和碰撞点数满足预设阈值的抓取路径均可用于抓取所述待抓取工件，而对所有满足倾角阈值和碰撞点数阈值条件的抓取方式按倾角升序排列，选取倾角最小的抓取方式作为最终抓取路径的效果更好，效率更高。
可以理解的，若所述待抓取工件的抓取方式中不存在倾角小于倾角阈值θ且碰撞点数小于碰撞点数阈值n的抓取方式，则重新选取待抓取工件，并重新执行步骤150、步骤160和步骤170。
可以理解的，所述倾角阈值θ和碰撞点数阈值n可以不设定为一个固定值，而设定为预设范围，在进行路径规划时保留倾角和碰撞点数位于所述预设范围内的抓取方式。
可以理解的，所述夹具倾角阈值θ和碰撞点数阈值n可以在其它步骤中进行设置，只需在所述模型数据库建立完成之后，步骤170执行之前设置即可。
步骤180，控制机器人抓取所述待抓取工件。
可以理解的，可以通过TCP/IP通信协议把所述倾角最小的抓取方式传送给所述机器人，并控制所述机器人抓取所述待抓取工件。
示例性地，上述工件抓取方法通过对三维扫描仪进行标定，标定三维扫描仪与机器人之间的位姿关系，导入待抓取工件的模型，生成模型数据库，接收被观测场景图像，基于所述图像重建得到被观测场景的三维点云数据，对所述三维点云数据进行滤波，基于所述模型数据库识别所述三维点云数据中的待抓取工件，得到待抓取工件的位姿，选取位姿得分高于预设得分的待抓取工件计算所述待抓取工件的遮挡面积，若所述遮挡面积小于设定阈值，则计算每种抓取路径抓取时与其它点云的碰撞点数以及夹具倾角，选择倾角小于倾角阈值θ且碰撞点数小于碰撞点数阈值n的抓取方式中倾角最小的抓取方式，控制机器人抓取所述待抓取工件的方法，选择机器人抓取工件时的最优路径，能够有效避免在抓取其中一个物体时，容易与其它物体发生碰撞，损坏待抓取物体的情况，使工件抓取过程更加稳定与安全。
应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图2所示，提供了一种工件抓取装置，包括：三维数据重建模块200、工件识别模块210、路径规划模块220和抓取控制模块230，其中：
三维数据重建模块200，用于接收被观测场景图像，基于所述图像重建得到被观测场景的三维点云数据。
工件识别模块210，用于识别所述三维点云数据中的待抓取工件，得到待抓取工件的位姿。
工件识别模块210，还用于基于所述三维点云数据，在所述模型数据库中寻找相同特征，识别所述三维点云数据中的待抓取工件。
工件识别模块210，还用于识别所述三维点云数据中的待抓取工件并定位；
对所述待抓取工件的三维点云数据建立位姿假设，并对每个位姿进行评估，得到符合设定条件的待抓取工件的位姿。
路径规划模块220，用于基于待抓取工件的位姿计算每种抓取路径抓取时与其它点云的碰撞点数，并选择碰撞点数在设定范围内的抓取路径。
抓取控制模块230，用于控制机器人抓取所述待抓取工件。
关于工件抓取装置的具体限定可以参见上文中对于工件抓取方法的限定，在此不再赘述。上述工件抓取装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图3所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种工件抓取方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图3中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
接收被观测场景图像，基于所述图像重建得到被观测场景的三维点云数据；
识别所述三维点云数据中的待抓取工件，得到待抓取工件的位姿；
基于待抓取工件的位姿计算每种抓取路径抓取时与其它点云的碰撞点数，并选择碰撞点数在设定范围内的抓取路径；
控制机器人抓取所述待抓取工件。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
导入待抓取工件的模型，生成模型数据库。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
基于所述三维点云数据，在所述模型数据库中寻找相同特征，识别所述三维点云数据中的待抓取工件。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
对所述三维点云数据进行滤波。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
识别所述三维点云数据中的待抓取工件并定位；
对所述待抓取工件的三维点云数据建立位姿假设，并对每个位姿进行评估，得到符合设定条件的待抓取工件的位姿。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
计算所述待抓取工件的遮挡面积，若所述遮挡面积小于设定阈值，则对所述待抓取工件进行抓取路径规划。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
计算所述待抓取工件的遮挡面积，若所述遮挡面积大于设定阈值，则重新选取待抓取工件。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
接收被观测场景图像，基于所述图像重建得到被观测场景的三维点云数据；
识别所述三维点云数据中的待抓取工件，得到待抓取工件的位姿；
基于待抓取工件的位姿计算每种抓取路径抓取时与其它点云的碰撞点数，并选择碰撞点数在设定范围内的抓取路径；
控制机器人抓取所述待抓取工件。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
导入待抓取工件的模型，生成模型数据库。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
基于所述三维点云数据，在所述模型数据库中寻找相同特征，识别所述三维点云数据中的待抓取工件。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
对所述三维点云数据进行滤波。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
识别所述三维点云数据中的待抓取工件并定位；
对所述待抓取工件的三维点云数据建立位姿假设，并对每个位姿进行评估，得到符合设定条件的待抓取工件的位姿。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
计算所述待抓取工件的遮挡面积，若所述遮挡面积小于设定阈值，则对所述待抓取工件进行抓取路径规划。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
计算所述待抓取工件的遮挡面积，若所述遮挡面积大于设定阈值，则重新选取待抓取工件。
上述工件抓取方法、装置、计算机设备和存储介质，通过基于待抓取工件的位姿计算每种抓取路径抓取时与其它点云的碰撞点数，并选择碰撞点数在设定范围内的抓取路径，控制机器人抓取工件的方法，选择机器人抓取工件时的最优路径，能够有效避免在抓取其中一个物体时，容易与其它物体发生碰撞，损坏待抓取物体的情况，使工件抓取过程更加稳定与安全。同时通过计算不同抓取方式对应的夹具的倾角，并选取倾角最小的抓取方式控制机器人进行抓取，简化了机器人抓取工件时的轨迹，可以提高抓取效率。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种工件抓取方法，其特征在于，所述方法包括：
接收被观测场景图像，基于所述图像重建得到被观测场景的三维点云数据；
识别所述三维点云数据中的待抓取工件，得到待抓取工件的位姿；
基于待抓取工件的位姿计算每种抓取路径抓取时与其它点云的碰撞点数，并选择碰撞点数在设定范围内的抓取路径；
控制机器人抓取所述待抓取工件。
2.根据权利要求1所述的方法，其特征在于，所述接收被观测场景图像，基于所述图像重建得到被观测场景的三维点云数据之前还包括：
导入待抓取工件的模型，生成模型数据库。
3.根据权利要求2所述的方法，其特征在于，所述识别所述三维点云数据中的待抓取工件还包括：
基于所述三维点云数据，在所述模型数据库中寻找相同特征，识别所述三维点云数据中的待抓取工件。
4.根据权利要求1所述的方法，其特征在于，所述接收被观测场景图像，基于所述图像重建得到被观测场景的三维点云数据之后还包括：
对所述三维点云数据进行滤波。
5.根据权利要求1所述的方法，其特征在于，所述识别所述三维点云数据中的待抓取工件，得到待抓取工件的位姿还包括：
识别所述三维点云数据中的待抓取工件并定位；
对所述待抓取工件的三维点云数据建立位姿假设，并对每个位姿进行评估，得到符合设定条件的待抓取工件的位姿。
6.根据权利要求1所述的方法，其特征在于，所述基于待抓取工件的位姿计算每种抓取路径抓取时与其它点云的碰撞点数，并选择碰撞点数在设定范围内的抓取路径之前还包括：
计算所述待抓取工件的遮挡面积，若所述遮挡面积小于设定阈值，则对所述待抓取工件进行抓取路径规划。
7.根据权利要求1所述的方法，其特征在于，所述基于待抓取工件的位姿计算每种抓取路径抓取时与其它点云的碰撞点数，并选择碰撞点数在设定范围内的抓取路径之前还包括：
计算所述待抓取工件的遮挡面积，若所述遮挡面积大于设定阈值，则重新选取待抓取工件。
8.一种工件抓取装置，其特征在于，所述装置包括：
三维数据重建模块，用于接收被观测场景图像，基于所述图像重建得到被观测场景的三维点云数据；
工件识别模块，用于识别所述三维点云数据中的待抓取工件，得到待抓取工件的位姿；
路径规划模块，用于基于待抓取工件的位姿计算每种抓取路径抓取时与其它点云的碰撞点数，并选择碰撞点数在设定范围内的抓取路径；
抓取控制模块，用于控制机器人抓取所述待抓取工件。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811563127.9A CN109816730B (zh) | 2018-12-20 | 2018-12-20 | 工件抓取方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811563127.9A CN109816730B (zh) | 2018-12-20 | 2018-12-20 | 工件抓取方法、装置、计算机设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109816730A true CN109816730A (zh) | 2019-05-28 |
| CN109816730B CN109816730B (zh) | 2021-08-17 |
Family
ID=66602908
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811563127.9A Active CN109816730B (zh) | 2018-12-20 | 2018-12-20 | 工件抓取方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109816730B (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110712202A (zh) * | 2019-09-24 | 2020-01-21 | 鲁班嫡系机器人（深圳）有限公司 | 异形元器件抓取方法、装置、系统、控制装置及存储介质 |
| CN110980276A (zh) * | 2019-12-30 | 2020-04-10 | 南京埃克里得视觉技术有限公司 | 一种三维视觉配合机器人实施铸件自动下料的方法 |
| CN111504328A (zh) * | 2020-05-22 | 2020-08-07 | 梅卡曼德（北京）机器人科技有限公司 | 机器人运动规划方法、路径规划方法、抓取方法及其装置 |
| CN112060087A (zh) * | 2020-08-28 | 2020-12-11 | 佛山隆深机器人有限公司 | 一种用于机器人抓取场景的点云碰撞检测方法 |
| CN112109086A (zh) * | 2020-09-03 | 2020-12-22 | 清华大学深圳国际研究生院 | 面向工业堆叠零件的抓取方法、终端设备及可读存储介质 |
| CN112464410A (zh) * | 2020-12-02 | 2021-03-09 | 熵智科技(深圳)有限公司 | 一种工件抓取顺序的确定方法、装置、计算机设备及介质 |
| CN113246130A (zh) * | 2021-05-26 | 2021-08-13 | 中国科学院宁波材料技术与工程研究所 | 一种工件抓取和拨动干预方法及系统 |
| CN113284129A (zh) * | 2021-06-11 | 2021-08-20 | 梅卡曼德（北京）机器人科技有限公司 | 基于3d包围盒的压箱检测方法及装置 |
| CN113538459A (zh) * | 2021-07-07 | 2021-10-22 | 重庆大学 | 一种基于落点区域检测的多模式抓取避障检测优化方法 |
| CN114310892A (zh) * | 2021-12-31 | 2022-04-12 | 梅卡曼德（北京）机器人科技有限公司 | 基于点云数据碰撞检测的物体抓取方法、装置和设备 |
| CN114851202A (zh) * | 2022-05-20 | 2022-08-05 | 梅卡曼德（北京）机器人科技有限公司 | 碰撞检测方法、控制方法、抓取系统及计算机存储介质 |
| CN115056215A (zh) * | 2022-05-20 | 2022-09-16 | 梅卡曼德（北京）机器人科技有限公司 | 碰撞检测方法、控制方法、抓取系统及计算机存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106934833A (zh) * | 2017-02-06 | 2017-07-07 | 江苏华航威泰机器人科技有限公司 | 一种散乱堆放物料拾取装置和方法 |
| CN108182689A (zh) * | 2016-12-08 | 2018-06-19 | 中国科学院沈阳自动化研究所 | 应用于机器人搬运打磨领域的板状工件三维识别定位方法 |
| CN108537841A (zh) * | 2017-03-03 | 2018-09-14 | 株式会社理光 | 一种机器人拾取的实现方法、装置及电子设备 |
| CN108830902A (zh) * | 2018-04-19 | 2018-11-16 | 江南大学 | 一种基于点云处理的散乱工件识别与定位方法 |
-
2018
- 2018-12-20 CN CN201811563127.9A patent/CN109816730B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108182689A (zh) * | 2016-12-08 | 2018-06-19 | 中国科学院沈阳自动化研究所 | 应用于机器人搬运打磨领域的板状工件三维识别定位方法 |
| CN106934833A (zh) * | 2017-02-06 | 2017-07-07 | 江苏华航威泰机器人科技有限公司 | 一种散乱堆放物料拾取装置和方法 |
| CN108537841A (zh) * | 2017-03-03 | 2018-09-14 | 株式会社理光 | 一种机器人拾取的实现方法、装置及电子设备 |
| CN108830902A (zh) * | 2018-04-19 | 2018-11-16 | 江南大学 | 一种基于点云处理的散乱工件识别与定位方法 |
Non-Patent Citations (2)
| Title |
|---|
| 刘晓阳: "基于激光点云的散乱工件识别与定位", 《中国优秀硕士学位论文全文数据库中国优秀硕士学位论文全文数据库》 * |
| 杨扬: "基于机器视觉的服务机器人智能抓取研究", 《中国博士学位论文全文数据库信息科技辑》 * |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110712202A (zh) * | 2019-09-24 | 2020-01-21 | 鲁班嫡系机器人（深圳）有限公司 | 异形元器件抓取方法、装置、系统、控制装置及存储介质 |
| CN110980276B (zh) * | 2019-12-30 | 2021-08-17 | 南京埃克里得视觉技术有限公司 | 一种三维视觉配合机器人实施铸件自动下料的方法 |
| CN110980276A (zh) * | 2019-12-30 | 2020-04-10 | 南京埃克里得视觉技术有限公司 | 一种三维视觉配合机器人实施铸件自动下料的方法 |
| CN111504328A (zh) * | 2020-05-22 | 2020-08-07 | 梅卡曼德（北京）机器人科技有限公司 | 机器人运动规划方法、路径规划方法、抓取方法及其装置 |
| CN112060087A (zh) * | 2020-08-28 | 2020-12-11 | 佛山隆深机器人有限公司 | 一种用于机器人抓取场景的点云碰撞检测方法 |
| CN112109086A (zh) * | 2020-09-03 | 2020-12-22 | 清华大学深圳国际研究生院 | 面向工业堆叠零件的抓取方法、终端设备及可读存储介质 |
| CN112109086B (zh) * | 2020-09-03 | 2021-08-10 | 清华大学深圳国际研究生院 | 面向工业堆叠零件的抓取方法、终端设备及可读存储介质 |
| CN112464410A (zh) * | 2020-12-02 | 2021-03-09 | 熵智科技(深圳)有限公司 | 一种工件抓取顺序的确定方法、装置、计算机设备及介质 |
| CN113246130A (zh) * | 2021-05-26 | 2021-08-13 | 中国科学院宁波材料技术与工程研究所 | 一种工件抓取和拨动干预方法及系统 |
| CN113246130B (zh) * | 2021-05-26 | 2022-03-22 | 中国科学院宁波材料技术与工程研究所 | 一种工件抓取和拨动干预方法及系统 |
| CN113284129A (zh) * | 2021-06-11 | 2021-08-20 | 梅卡曼德（北京）机器人科技有限公司 | 基于3d包围盒的压箱检测方法及装置 |
| CN113538459A (zh) * | 2021-07-07 | 2021-10-22 | 重庆大学 | 一种基于落点区域检测的多模式抓取避障检测优化方法 |
| CN113538459B (zh) * | 2021-07-07 | 2023-08-11 | 重庆大学 | 一种基于落点区域检测的多模式抓取避障检测优化方法 |
| CN114310892A (zh) * | 2021-12-31 | 2022-04-12 | 梅卡曼德（北京）机器人科技有限公司 | 基于点云数据碰撞检测的物体抓取方法、装置和设备 |
| CN114310892B (zh) * | 2021-12-31 | 2024-05-03 | 梅卡曼德（北京）机器人科技有限公司 | 基于点云数据碰撞检测的物体抓取方法、装置和设备 |
| CN114851202A (zh) * | 2022-05-20 | 2022-08-05 | 梅卡曼德（北京）机器人科技有限公司 | 碰撞检测方法、控制方法、抓取系统及计算机存储介质 |
| CN115056215A (zh) * | 2022-05-20 | 2022-09-16 | 梅卡曼德（北京）机器人科技有限公司 | 碰撞检测方法、控制方法、抓取系统及计算机存储介质 |
| CN114851202B (zh) * | 2022-05-20 | 2024-05-10 | 梅卡曼德（北京）机器人科技有限公司 | 碰撞检测方法、控制方法、抓取系统及计算机存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109816730B (zh) | 2021-08-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109816730A (zh) | 工件抓取方法、装置、计算机设备和存储介质 | |
| CN111151463B (zh) | 一种基于3d视觉的机械臂分拣抓取系统及方法 | |
| TWI555379B (zh) | 一種全景魚眼相機影像校正、合成與景深重建方法與其系統 | |
| US7440691B2 (en) | 360-° image photographing apparatus | |
| KR102113909B1 (ko) | 3차원 모델링 방법 및 장치 | |
| CN108362223B (zh) | 一种便携式3d扫描仪、扫描系统和扫描方法 | |
| JP2004050390A (ja) | ワーク取出し装置 | |
| CN105217324A (zh) | 一种新型的拆垛方法和系统 | |
| US20150134303A1 (en) | Three-dimensional scanning system and method with hole-filling function for point cloud using contact probe | |
| JP2014013146A5 (zh) | ||
| CN108803591A (zh) | 一种地图生成方法及机器人 | |
| JP2016091053A (ja) | 情報処理装置および容器形状の推定方法、ワークピッキングシステム、プログラム | |
| US20230015214A1 (en) | Planar contour recognition method and apparatus, computer device, and storage medium | |
| CN109903346A (zh) | 相机姿态检测方法、装置、设备及存储介质 | |
| KR101593316B1 (ko) | 스테레오 카메라를 이용한 3차원 모델 재구성 방법 및 장치 | |
| US20190287258A1 (en) | Control Apparatus, Robot System, And Method Of Detecting Object | |
| CN108340405B (zh) | 一种机器人三维扫描系统及方法 | |
| CN107507133B (zh) | 一种基于圆管作业机器人的实时图像拼接方法 | |
| US11138743B2 (en) | Method and apparatus for a synchronous motion of a human body model | |
| CN108028904A (zh) | 移动设备上光场增强现实/虚拟现实的方法和系统 | |
| CN112184793A (zh) | 深度数据的处理方法、装置及可读存储介质 | |
| JP5794427B2 (ja) | マーカ生成装置、マーカ生成検出システム、マーカ生成検出装置、マーカ、マーカ生成方法及びそのプログラム | |
| JP7432793B1 (ja) | 三次元点群に基づくマッピング方法、装置、チップ及びモジュール機器 | |
| CN110750094A (zh) | 确定可移动设备的位姿变化信息的方法、装置和系统 | |
| CN109785444A (zh) | 图像中现实平面的识别方法、装置及移动终端 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20221208 Address after: 311258 No. 1398, Wenbin Road, Wenyan street, Xiaoshan District, Hangzhou, Zhejiang. Patentee after: Hangzhou Xianlin Tianyuan 3D detection technology Co.,Ltd. Address before: 311258 No. 1398, Wenbin Road, Wenyan street, Xiaoshan District, Hangzhou, Zhejiang. Patentee before: SHINING 3D TECH Co.,Ltd. |