CN114310892A - 基于点云数据碰撞检测的物体抓取方法、装置和设备 - Google Patents
基于点云数据碰撞检测的物体抓取方法、装置和设备 Download PDFInfo
- Publication number
- CN114310892A CN114310892A CN202111663742.9A CN202111663742A CN114310892A CN 114310892 A CN114310892 A CN 114310892A CN 202111663742 A CN202111663742 A CN 202111663742A CN 114310892 A CN114310892 A CN 114310892A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- cloud data
- target object
- collision detection
- objects
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 91
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000008569 process Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000012856 packing Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 125000004122 cyclic group Chemical group 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Landscapes
- Manipulator (AREA)
Abstract
本发明提供了一种基于点云数据碰撞检测的物体抓取方法,其特征在于,包括:获取待检测区域中M个第一物体的第一点云数据,其中,所述M个第一物体包括N个第二物体,N、M分别为大于或等于1的整数;从所述N个第二物体中确定出目标物体;从所述第一点云数据中抠除所述目标物体的关联点云数据,来获取第二点云数据;基于所述第二点云数据,对待检测工具的规划移动路径进行碰撞检测,其中,所述规划移动路径包括所述待检测工具从起始规划位置移动,直至与所述目标物体接触的路径。本发明还提供了一种基于点云数据碰撞检测的物体抓取装置、电子设备和存储介质。
Description
技术领域
本发明涉及机器人领域或智能物流领域,更具体地涉及一种基于点云数据碰撞检测的物体抓取方法、装置、电子设备和存储介质。
背景技术
为了令自动化机器按照指令成功完成特定动作,防止在完成动作的运动过程中发生不被期望的碰撞,可以进行碰撞检测。例如利用机械臂搬运物体时,可以通过模拟机械臂和机械臂上安装的夹具的移动过程,来检测是否会发生碰撞。
目前可以根据采集到的图片进行碰撞检测,例如对待检测区域进行拍照,获得一张或多张图片,处理后获得图片上的物体信息,基于物体信息来进行碰撞检测。
上述碰撞检测方式容易受到光照、采集角度、物体堆叠情况等因素的影响,导致碰撞检测结果不准确。并且,由于图片是二维的,缺乏深度信息,如果在待检测区域存在高低不同分布的多个物体,且可能在机械臂或夹具的移动路径上,该情况可能无法检测出碰撞。因此,如何使用一种新的碰撞检测方法,来提高碰撞检测准确率和物体抓取效率,成为当前亟待解决的问题。
发明内容
鉴于上述问题,本发明提供了一种能够基于点云数据进行碰撞检测的物体抓取方法、装置、电子设备和存储介质。
本发明实施例的一个方面提供了一种基于点云数据碰撞检测的物体抓取方法,其特征在于,包括:获取待检测区域中M个第一物体的第一点云数据,其中,所述M个第一物体包括N个第二物体,N、M分别为大于或等于1的整数;从所述N个第二物体中确定出目标物体;从所述第一点云数据中抠除所述目标物体的关联点云数据,来获取第二点云数据;基于所述第二点云数据,对待检测工具的规划移动路径进行碰撞检测,其中,所述规划移动路径包括所述待检测工具从起始规划位置移动,直至与所述目标物体接触的路径。
根据本发明的实施例,所述待检测工具包括夹具,在所述碰撞检测通过的情况下,还包括:控制所述夹具沿所述规划移动路径进行移动,以使所述夹具抓取所述目标物体,其中,所述碰撞检测通过包括所述夹具未与所述第二点云数据发生碰撞的情况。
根据本发明的实施例,在所述碰撞检测未通过的情况下,还包括:令i的初始值为1,循环执行以下操作,其中,i为大于或等于1的整数,i小于或等于N-1:将所述N个第二物体中第i个第二物体确定为目标物体,其中,所述第i个第二物体不包括在所述碰撞检测未通过情况下被确定过的目标物体;从所述第一点云数据中抠除所述第i个第二物体的关联点云数据,来获得第三点云数据;基于所述第三点云数据,对所述待检测工具的规划移动路径进行碰撞检测;在所述碰撞检测未通过的情况下,令i的值加1。
根据本发明的实施例,还包括确定所述目标物体的形状轮廓,其中,所述从所述第一点云数据中抠除所述目标物体的关联点云数据包括:抠除所述形状轮廓内的所有点云数据。
根据本发明的实施例,包括:确定所述目标物体的第一表面,其中,所述第一表面包括所述目标物体与所述待检测工具接触的表面;其中,所述从所述第一点云数据中抠除所述目标物体的关联点云数据包括:从所述第一表面沿第一方向延伸,抠除特定范围内的所有点云数据,其中,所述特定范围为所述第一表面在所述第一方向的投影范围,所述第一方向为目标物体位姿所在坐标系的第一坐标轴的负方向。
本发明实施例的另一方面提供了一种基于点云数据碰撞检测的物体抓取装置,其特征在于,包括:点云获取模块,用于获取待检测区域中M个第一物体的第一点云数据,其中,所述M个第一物体包括N个第二物体,N、M分别为大于或等于1的整数;目标确定模块,用于从所述N个第二物体中确定出目标物体;点云抠除模块,用于从所述第一点云数据中抠除所述目标物体的关联点云数据,来获取第二点云数据;碰撞检测模块,用于基于所述第二点云数据,对待检测工具的规划移动路径进行碰撞检测,其中,所述规划移动路径包括所述待检测工具从起始规划位置移动,直至与所述目标物体接触的路径。
根据本发明的实施例,所述待检测工具包括夹具,在所述碰撞检测通过的情况下,还包括:物体抓取模块,用于控制所述夹具沿所述规划移动路径进行移动,以使所述夹具抓取所述目标物体,其中,所述碰撞检测通过包括所述夹具未与所述第二点云数据发生碰撞的情况。
根据本发明的实施例,在所述碰撞检测未通过的情况下,所述碰撞检测模块还用于:令i的初始值为1,循环执行以下操作,其中,i为大于或等于1的整数,i小于或等于N-1:将所述N个第二物体中第i个第二物体确定为目标物体,其中,所述第i个第二物体不包括在所述碰撞检测未通过情况下被确定过的目标物体;从所述第一点云数据中抠除所述第i个第二物体的关联点云数据,来获得第三点云数据;基于所述第三点云数据,对所述待检测工具的规划移动路径进行碰撞检测;在所述碰撞检测未通过的情况下,令i的值加1。
根据本发明的实施例,还包括第一确定模块,用于确定所述目标物体的形状轮廓,所述点云抠除模块还用于:抠除所述形状轮廓内的所有点云数据。
根据本发明的实施例,还包括:第二确定模块,用于确定所述目标物体的第一表面,其中,所述第一表面包括所述目标物体与所述待检测工具接触的表面;其中,所述点云抠除模块还用于:从所述第一表面沿第一方向延伸,抠除特定范围内的所有点云数据,其中,所述特定范围为所述第一表面在所述第一方向的投影范围,所述第一方向为目标物体位姿所在坐标系的第一坐标轴的负方向。
本发明实施例的另一方面提供了一种电子设备,包括:一个或多个处理器;存储装置,用于存储一个或多个程序,其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得一个或多个处理器执行如上所述的方法。
本发明实施例的另一方面还提供了一种计算机可读存储介质,其上存储有可执行指令,该指令被处理器执行时使处理器执行如上所述的方法。
本发明的实施例在获得待检测区域中M个第一物体的第一点云数据的基础上,抠除目标物体的关联点云数据获取第二点云数据,以根据第二点云数据进行待检测工具的碰撞检测,由于待检测工具与目标物体会发生接触,所以抠除了关联点云数据,若待检测工具仍然会与第二点云数据产生接触,则认为其会发生碰撞。与相关技术中通过采集图片上的物体信息进行碰撞检测的方式相比,可以利用点云数据的更加丰富的信息来提高碰撞检测准确率和物体抓取效率。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过以下参照附图对本发明实施例的描述,本发明的上述内容以及其他目的、特征和优点将更为清楚,在附图中:
图1示意性示出了根据本发明实施例的物体抓取方法的应用场景图;
图2示意性示出了根据本发明实施例的物体抓取方法的流程图;
图3示意性示出了根据本发明实施例的循环碰撞检测的流程图;
图4示意性示出了根据本发明的实施例的目标物体的形状轮廓的示意图;
图5示意性示出了根据本发明的实施例的特定范围的示意图;
图6示意性示出了根据本发明实施例的碰撞检测装置的结构框图;
图7示意性示出了根据本发明的另一实施例的碰撞检测装置的结构框图;
图8示出了根据本发明实施例的计算设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例,然而应当理解,可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本发明,并且能够将本发明的范围完整的传达给本领域的技术人员。
图1示意性示出了根据本发明实施例的物体抓取方法的应用场景图。
如图1所示,该实施例的物体抓取方法的应用场景100可以包括运输车110、待抓取物体120和待检测工具130。待检测工具130可以是夹具,如吸盘、夹爪等。应知的是,待检测工具130还可以连接有机械臂等部件,可以对机械臂和待检测工具130的移动路径进行碰撞检测。
其中,待检测区域140中的M个第一物体可以是该区域中可以获得点云数据的所有物体,例如运输车110、待抓取物体120、未在图1中示出的其他可能出现的物体。N个第二物体可以是若干个待抓取物体120。
图2示意性示出了根据本发明实施例的物体抓取方法的流程图。
如图2所示,该实施例的物体抓取方法包括操作S210~操作S240。
在操作S210,获取待检测区域中M个第一物体的第一点云数据,其中,M个第一物体包括N个第二物体,N、M分别为大于或等于1的整数;
N个第二物体可以是N个待抓取物体,待检测区域可以是点云设备所进行数据采集的区域,M个第一物体可以是待检测区域中的全部物体。点云数据可以通过点云设备通过激光测量原理或摄影测量原理获得。点云设备可以包括激光扫描仪、深度相机或双目相机等设备。
在操作S220,从N个第二物体中确定出目标物体;
可以按照目标检测算法确定目标物体,例如根据第一点云数据中N个第二物体的点云数据,使用深度学习模型判断出可以抓取的物体。或者根据图像识别的方式,对二维的图像进行特征提取,并对图像特征进行计算来确定目标物体。
在操作S230,从第一点云数据中抠除目标物体的关联点云数据,来获取第二点云数据;
关联点云数据可以包括目标物体的点云数据,以及以目标物体的点云数据为基准确定的抠除范围内的点云数据。
在操作S240,基于第二点云数据,对待检测工具的规划移动路径进行碰撞检测,其中,规划移动路径包括待检测工具从起始规划位置移动,直至与目标物体接触的路径。
参照图1,待检测工具130的起始规划位置可以是任意位置,该位置可以认为是规划移动路径的原点。从原点开始移动至与目标物体接触的位置,该过程中移动的路径即为规划移动路径。例如,在确定出目标物体后,可以获得该目标物体的抓取点位姿,当待检测工具130移动至抓取点位姿时,可以认为与目标物体接触。
碰撞检测的过程可以是,首先,在虚拟环境中,对待检测工具的模型进行路径规划,该虚拟环境中包括第二点云数据。然后,控制待检测工具的模型按照规划移动路径在虚拟环境中移动。接着,待检测工具的模型移动至目标物体的抓取点位姿执行抓取动作。在一些实施例中,还可以控制待检测工具的模型按照规划移动路径抓取目标物体至最终位置。
在碰撞检测过程中,计算待检测工具的模型在虚拟环境中是否与第二点云数据产生碰撞。其中,碰撞检测计算可以使用包装盒算法,分别为待检测工具的模型和第二点云数据构建包装盒,并判断两个包装盒在坐标系的三个坐标轴上的投影是否相交(仅为示例)。
本发明的实施例在获得待检测区域中M个第一物体的第一点云数据的基础上,抠除目标物体的关联点云数据获取第二点云数据,以根据第二点云数据进行待检测工具的碰撞检测,由于待检测工具与目标物体会发生接触,所以抠除了关联点云数据,若待检测工具仍然会与第二点云数据产生接触,则认为其会发生碰撞。与相关技术中通过采集图片上的物体信息进行碰撞检测的方式相比,可以利用点云数据的更加丰富的信息来提高碰撞检测效果。
根据本发明的实施例,在碰撞检测通过的情况下,还包括:控制夹具沿规划移动路径进行移动,以使夹具抓取目标物体,其中,碰撞检测通过包括夹具未与第二点云数据发生碰撞的情况。
若夹具在虚拟环境中模拟移动后没有发生碰撞,则可认为夹具按照规划移动路径实际进行抓取操作的成功率较大,因此可以控制夹具抓取目标物体。从而能够避免在实际抓取过程中出现碰撞,减少硬件损坏、规划资源浪费、时间成本提高等问题,可以有效提高规划、抓取、移动等工作效率。
图3示意性示出了根据本发明实施例的循环碰撞检测的流程图。
如图3所示,在操作S240中碰撞检测未通过的情况下,令i的初始值为1,循环执行操作S310~操作S350,直至待检测工具对某个第二物体碰撞检测通过,或每个第二物体皆与待检测工具进行碰撞检测。其中,i为大于或等于1的整数,i小于或等于N-1。
在操作S310,将N个第二物体中第i个第二物体确定为目标物体,其中,第i个第二物体不包括在碰撞检测未通过情况下被确定过的目标物体;
在操作S240中的目标物体碰撞检测未通过的情况下,则可以更换别的第二物体作为新的目标物体,重新进行目标检测。因此,该情况下,操作S310中与操作S240中的目标物体不是同一个第二物体。另外,在循环执行操作S310~操作S350的过程中,若某个第二物体被作为目标物体时,碰撞检测未通过,则该第二物体在本次循环中不再作为目标物体进行第二次碰撞检测。
在操作S320,从第一点云数据中抠除第i个第二物体的关联点云数据,来获得第三点云数据;
第三点云数据与第二点云数据皆是在第一点云数据的基础上获得的,两者的不同在于,在操作S230中所针对的目标物体与操作S320所针对的目标物体不是同一个物体,所以抠除的关联点云数据并不完全相同,或者完全不同。例如,在两个物体相邻的情况下,可能会有部分重复的关联点云数据,在两个物体间隔较远的情况下,关联点云数据可能完全不同。点云数据可以包括采样点的三维坐标、激光反射强度和颜色信息等数据。
在操作S330,基于第三点云数据,对待检测工具的规划移动路径进行碰撞检测;
在操作S340,判断碰撞检测是否通过。若是,则结束。若否,则执行操作S350。
在操作S350,判断i是否小于N-1。若是,则令i的值加1,执行操作S310。若否,则结束。
图4示意性示出了根据本发明的实施例的目标物体的形状轮廓的示意图。
根据本发明的实施例,还包括确定目标物体的形状轮廓,其中,从第一点云数据中抠除目标物体的关联点云数据包括:抠除形状轮廓内的所有点云数据。
如图4所示,目标物体400为长方体,其形状轮廓为黑色实线。目标物体400的形状轮廓可以通过图像目标检测、三维模型匹配、点云数据去噪、拟合计算等方式获取。例如,第一点云数据进行去噪处理后,与目标物体400的CAD模型进行匹配,将符合要求的点云数据确定为目标物体400的数据,并通过转换矩阵计算获得目标物体400的物体位姿。该物体位姿可以包括形状信息(如形状轮廓的信息)和坐标信息。
例如在待检测工具为夹爪的情况下,若目标物体400周围没有其他待抓取物体,夹爪可以通过夹住目标物体400来执行抓取。此时抠除形状轮廓内的所有点云数据,可以基于第二点云数据进行碰撞检测,确定夹爪是否会与其他物体发生接触。
图5示意性示出了根据本发明的实施例的特定范围的示意图。
根据本发明的实施例,确定目标物体的第一表面,其中,第一表面包括目标物体与待检测工具接触的表面;其中,从第一点云数据中抠除目标物体的关联点云数据包括:从第一表面沿第一方向延伸,抠除特定范围内的所有点云数据,其中,特定范围为第一表面在第一方向的投影范围,第一方向为目标物体位姿所在坐标系的第一坐标轴的负方向。
第一坐标轴可以为x轴、y轴和z轴中的任一个,图5中以z轴为第一坐标轴举例。在待检测工具为吸盘的情况下,如图5所示,吸盘可以与目标物体400的第一表面510进行接触,执行抓取操作。图5示出了目标物体400的物体位姿所在坐标系的x轴、y轴和z轴的方向,以及第一表面510在第一方向(A方向)的投影范围520。
参照图5,例如在拆垛的应用场景中,如图1中待抓取物体120相互堆叠,目标物体400可以是图1中最上层的一个物体。可认为在抓取过程中不会与位于目标物体400下方的物体发生碰撞,因此此空间(目标物体所占空间及其下方空间)内包括噪点在内的所有点云均可抠除。
在一些实施例中,还可以根据所述目标物体的形状轮廓,和所述目标物体的点云数据之间的差异,抠除特定范围之外的差异点云数据。例如点云数据大于形状轮廓,则将大于的部分抠除。
在一些实施例中,可以抠除所述第一表面沿第二方向的差异点云数据,其中,所述第二方向为目标物体位姿所在坐标系的第一坐标轴的正方向。
基于上述碰撞检测方法,本发明还提供了一种碰撞检测装置。以下将结合图6和图7对该装置进行详细描述。
图6示意性示出了根据本发明实施例的碰撞检测装置600的结构框图。
如图6所示,该实施例的碰撞检测装置600包括点云获取模块610、目标确定模块620、点云抠除模块630、碰撞检测模块640。
点云获取模块610可以执行操作S210,用于获取待检测区域中M个第一物体的第一点云数据,其中,M个第一物体包括N个第二物体,N、M分别为大于或等于1的整数;
目标确定模块620可以执行操作S220,用于从N个第二物体中确定出目标物体;
点云抠除模块630可以执行操作S230,用于从第一点云数据中抠除目标物体的关联点云数据,来获取第二点云数据;
碰撞检测模块640可以执行操作S240,用于基于第二点云数据,对待检测工具的规划移动路径进行碰撞检测,其中,规划移动路径包括待检测工具从起始规划位置移动,直至与目标物体接触的路径。
碰撞检测模块640还可以在碰撞检测未通过的情况下,循环执行操作S310~操作S350,用于令i的初始值为1,循环执行以下操作,其中,i为大于或等于1的整数,i小于或等于N-1:将N个第二物体中第i个第二物体确定为目标物体,其中,第i个第二物体不包括在碰撞检测未通过情况下被确定过的目标物体;从第一点云数据中抠除第i个第二物体的关联点云数据,来获得第三点云数据;基于第三点云数据,对待检测工具的规划移动路径进行碰撞检测;在碰撞检测未通过的情况下,令i的值加1。
图7示意性示出了根据本发明的另一实施例的碰撞检测装置600的结构框图。
如图7所示,该实施例的碰撞检测装置600除了包括点云获取模块610、目标确定模块620、点云抠除模块630、碰撞检测模块640之外,还可以包括物体抓取模块710、第一确定模块720和第二确定模块730。
在碰撞检测通过的情况下,物体抓取模块710用于在碰撞检测通过的情况下,控制夹具沿规划移动路径进行移动,以使夹具抓取目标物体,其中,碰撞检测通过包括夹具未与第二点云数据发生碰撞的情况。
第一确定模块720用于确定目标物体的形状轮廓,点云抠除模块630还用于:抠除形状轮廓内的所有点云数据。
第二确定模块730用于确定目标物体的第一表面,其中,第一表面包括目标物体与待检测工具接触的表面;其中,点云抠除模块630还用于:从第一表面沿第一方向延伸,抠除特定范围内的所有点云数据,其中,特定范围为第一表面在第一方向的投影范围,所述第一方向为目标物体位姿所在坐标系的第一坐标轴的负方向。
图8示出了根据本发明实施例的计算设备的结构示意图,本发明具体实施例并不对计算设备的具体实现做限定。
如图8所示,该计算设备可以包括:处理器(processor)802、通信接口(Communications Interface)804、存储器(memory)806、、通信总线808以及程序810。
其中:
处理器802、通信接口804、以及存储器806通过通信总线808完成相互间的通信。
通信接口804,用于与其它设备比如客户端或其它服务器等的网元通信。
处理器802,用于执行程序810,具体可以执行上述实施例中的相关步骤。
具体地,程序810可以包括程序代码,该程序代码包括计算机操作指令。
处理器802可能是中央处理器CPU,或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit),或者是被配置成实施本发明实施例的一个或多个集成电路。计算设备包括的一个或多个处理器,可以是同一类型的处理器,如一个或多个CPU;也可以是不同类型的处理器,如一个或多个CPU以及一个或多个ASIC。
存储器806,用于存放程序810。存储器806可能包含高速RAM存储器,也可能还包括非易失性存储器(nonvolatile memory),例如至少一个磁盘存储器。
程序810具体可以用于使得处理器802执行上述任意方法实施例。程序810中各步骤的具体实现可以参见上述实施例中的相应步骤和单元中对应的描述,在此不赘述。所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的设备和模块的具体工作过程,可以参考前述方法实施例中的对应过程描述,在此不再赘述。
本发明还提供了一种计算机可读存储介质,该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的;也可以是单独存在,而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序,当上述一个或者多个程序被执行时,实现根据本发明实施例的方法。
在此提供的算法或显示不与任何特定计算机、虚拟系统或者其它设备固有相关。
各种通用系统也可以与基于在此的示教一起使用。根据上面的描述,构造这类系统所要求的结构是显而易见的。此外,本发明实施例也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本发明并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明实施例的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该发明的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面发明的单个实施例的所有特征。
因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中发明的所有特征以及如此发明的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中发明的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在下面的权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。上述实施例中的步骤,除有特殊说明外,不应理解为对执行顺序的限定。
Claims (12)
1.一种基于点云数据碰撞检测的物体抓取方法,其特征在于,包括:
获取待检测区域中M个第一物体的第一点云数据,其中,所述M个第一物体包括N个第二物体,N、M分别为大于或等于1的整数;
从所述N个第二物体中确定出目标物体;
从所述第一点云数据中抠除所述目标物体的关联点云数据,来获取第二点云数据;
基于所述第二点云数据,对待检测工具的规划移动路径进行碰撞检测,其中,所述规划移动路径包括所述待检测工具从起始规划位置移动,直至与所述目标物体接触的路径。
2.根据权利要求1所述的方法,其特征在于,所述待检测工具包括夹具,在所述碰撞检测通过的情况下,还包括:
控制所述夹具沿所述规划移动路径进行移动,以使所述夹具抓取所述目标物体,其中,所述碰撞检测通过包括所述夹具未与所述第二点云数据发生碰撞的情况。
3.根据权利要求1所述的方法,其特征在于,在所述碰撞检测未通过的情况下,还包括:令i的初始值为1,循环执行以下操作,其中,i为大于或等于1的整数,i小于或等于N-1:
将所述N个第二物体中第i个第二物体确定为目标物体,其中,所述第i个第二物体不包括在所述碰撞检测未通过情况下被确定过的目标物体;
从所述第一点云数据中抠除所述第i个第二物体的关联点云数据,来获得第三点云数据;
基于所述第三点云数据,对所述待检测工具的规划移动路径进行碰撞检测;
在所述碰撞检测未通过的情况下,令i的值加1。
4.根据权利要求1所述的方法,其特征在于,还包括确定所述目标物体的形状轮廓,其中,所述从所述第一点云数据中抠除所述目标物体的关联点云数据包括:
抠除所述形状轮廓内的所有点云数据。
5.根据权利要求1所述的方法,其特征在于,包括:
确定所述目标物体的第一表面,其中,所述第一表面包括所述目标物体与所述待检测工具接触的表面;
其中,所述从所述第一点云数据中抠除所述目标物体的关联点云数据包括:
从所述第一表面沿第一方向延伸,抠除特定范围内的所有点云数据,其中,所述特定范围为所述第一表面在所述第一方向的投影范围,所述第一方向为目标物体位姿所在坐标系的第一坐标轴的负方向。
6.一种基于点云数据碰撞检测的物体抓取装置,其特征在于,包括:
点云获取模块,用于获取待检测区域中M个第一物体的第一点云数据,其中,所述M个第一物体包括N个第二物体,N、M分别为大于或等于1的整数;
目标确定模块,用于从所述N个第二物体中确定出目标物体;
点云抠除模块,用于从所述第一点云数据中抠除所述目标物体的关联点云数据,来获取第二点云数据;
碰撞检测模块,用于基于所述第二点云数据,对待检测工具的规划移动路径进行碰撞检测,其中,所述规划移动路径包括所述待检测工具从起始规划位置移动,直至与所述目标物体接触的路径。
7.根据权利要求6所述的装置,其特征在于,所述待检测工具包括夹具,在所述碰撞检测通过的情况下,还包括:
物体抓取模块,用于控制所述夹具沿所述规划移动路径进行移动,以使所述夹具抓取所述目标物体,其中,所述碰撞检测通过包括所述夹具未与所述第二点云数据发生碰撞的情况。
8.根据权利要求6所述的装置,其特征在于,在所述碰撞检测未通过的情况下,所述碰撞检测模块还用于:令i的初始值为1,循环执行以下操作,其中,i为大于或等于1的整数,i小于或等于N-1:
将所述N个第二物体中第i个第二物体确定为目标物体,其中,所述第i个第二物体不包括在所述碰撞检测未通过情况下被确定过的目标物体;
从所述第一点云数据中抠除所述第i个第二物体的关联点云数据,来获得第三点云数据;
基于所述第三点云数据,对所述待检测工具的规划移动路径进行碰撞检测;
在所述碰撞检测未通过的情况下,令i的值加1。
9.根据权利要求6所述的装置,其特征在于,还包括第一确定模块,用于确定所述目标物体的形状轮廓,所述点云抠除模块还用于:
抠除所述形状轮廓内的所有点云数据。
10.根据权利要求6所述的装置,其特征在于,还包括:
第二确定模块,用于确定所述目标物体的第一表面,其中,所述第一表面包括所述目标物体与所述待检测工具接触的表面;
其中,所述点云抠除模块还用于:
从所述第一表面沿第一方向延伸,抠除特定范围内的所有点云数据,其中,所述特定范围为所述第一表面在所述第一方向的投影范围,所述第一方向为目标物体位姿所在坐标系的第一坐标轴的负方向。
11.一种电子设备,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器执行根据权利要求1~5中任一项所述的方法。
12.一种计算机可读存储介质,其上存储有可执行指令,该指令被处理器执行时使处理器执行根据权利要求1~5中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111663742.9A CN114310892B (zh) | 2021-12-31 | 2021-12-31 | 基于点云数据碰撞检测的物体抓取方法、装置和设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111663742.9A CN114310892B (zh) | 2021-12-31 | 2021-12-31 | 基于点云数据碰撞检测的物体抓取方法、装置和设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114310892A true CN114310892A (zh) | 2022-04-12 |
CN114310892B CN114310892B (zh) | 2024-05-03 |
Family
ID=81021722
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111663742.9A Active CN114310892B (zh) | 2021-12-31 | 2021-12-31 | 基于点云数据碰撞检测的物体抓取方法、装置和设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114310892B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114851202A (zh) * | 2022-05-20 | 2022-08-05 | 梅卡曼德(北京)机器人科技有限公司 | 碰撞检测方法、控制方法、抓取系统及计算机存储介质 |
CN114896798A (zh) * | 2022-05-20 | 2022-08-12 | 梅卡曼德(北京)机器人科技有限公司 | 碰撞检测方法、控制方法、抓取系统及计算机存储介质 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140025203A1 (en) * | 2012-07-20 | 2014-01-23 | Seiko Epson Corporation | Collision detection system, collision detection data generator, and robot |
CN109816730A (zh) * | 2018-12-20 | 2019-05-28 | 先临三维科技股份有限公司 | 工件抓取方法、装置、计算机设备和存储介质 |
CN111504328A (zh) * | 2020-05-22 | 2020-08-07 | 梅卡曼德(北京)机器人科技有限公司 | 机器人运动规划方法、路径规划方法、抓取方法及其装置 |
CN112060087A (zh) * | 2020-08-28 | 2020-12-11 | 佛山隆深机器人有限公司 | 一种用于机器人抓取场景的点云碰撞检测方法 |
CN112192577A (zh) * | 2020-12-03 | 2021-01-08 | 佛山隆深机器人有限公司 | 一种应用于机器人抓取场景的一拍多抓方法 |
CN112464410A (zh) * | 2020-12-02 | 2021-03-09 | 熵智科技(深圳)有限公司 | 一种工件抓取顺序的确定方法、装置、计算机设备及介质 |
CN112509043A (zh) * | 2020-11-30 | 2021-03-16 | 西安中科光电精密工程有限公司 | 一种适用于随机混放纸箱垛的机器人智能拆垛方法 |
CN113232021A (zh) * | 2021-05-19 | 2021-08-10 | 中国科学院自动化研究所苏州研究院 | 一种机械臂抓取路径碰撞检测方法 |
CN113246140A (zh) * | 2021-06-22 | 2021-08-13 | 沈阳风驰软件股份有限公司 | 一种基于相机测量的多模型工件无序抓取方法及装置 |
WO2021226716A1 (en) * | 2020-05-12 | 2021-11-18 | Glove Systems Inc. | System and method for discrete point coordinate and orientation detection in 3d point clouds |
CN113800270A (zh) * | 2021-09-17 | 2021-12-17 | 知行高科(北京)科技有限公司 | 一种用于物流拆垛的机器人控制方法及系统 |
-
2021
- 2021-12-31 CN CN202111663742.9A patent/CN114310892B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140025203A1 (en) * | 2012-07-20 | 2014-01-23 | Seiko Epson Corporation | Collision detection system, collision detection data generator, and robot |
CN109816730A (zh) * | 2018-12-20 | 2019-05-28 | 先临三维科技股份有限公司 | 工件抓取方法、装置、计算机设备和存储介质 |
WO2021226716A1 (en) * | 2020-05-12 | 2021-11-18 | Glove Systems Inc. | System and method for discrete point coordinate and orientation detection in 3d point clouds |
CN111504328A (zh) * | 2020-05-22 | 2020-08-07 | 梅卡曼德(北京)机器人科技有限公司 | 机器人运动规划方法、路径规划方法、抓取方法及其装置 |
CN112060087A (zh) * | 2020-08-28 | 2020-12-11 | 佛山隆深机器人有限公司 | 一种用于机器人抓取场景的点云碰撞检测方法 |
CN112509043A (zh) * | 2020-11-30 | 2021-03-16 | 西安中科光电精密工程有限公司 | 一种适用于随机混放纸箱垛的机器人智能拆垛方法 |
CN112464410A (zh) * | 2020-12-02 | 2021-03-09 | 熵智科技(深圳)有限公司 | 一种工件抓取顺序的确定方法、装置、计算机设备及介质 |
CN112192577A (zh) * | 2020-12-03 | 2021-01-08 | 佛山隆深机器人有限公司 | 一种应用于机器人抓取场景的一拍多抓方法 |
CN113232021A (zh) * | 2021-05-19 | 2021-08-10 | 中国科学院自动化研究所苏州研究院 | 一种机械臂抓取路径碰撞检测方法 |
CN113246140A (zh) * | 2021-06-22 | 2021-08-13 | 沈阳风驰软件股份有限公司 | 一种基于相机测量的多模型工件无序抓取方法及装置 |
CN113800270A (zh) * | 2021-09-17 | 2021-12-17 | 知行高科(北京)科技有限公司 | 一种用于物流拆垛的机器人控制方法及系统 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114851202A (zh) * | 2022-05-20 | 2022-08-05 | 梅卡曼德(北京)机器人科技有限公司 | 碰撞检测方法、控制方法、抓取系统及计算机存储介质 |
CN114896798A (zh) * | 2022-05-20 | 2022-08-12 | 梅卡曼德(北京)机器人科技有限公司 | 碰撞检测方法、控制方法、抓取系统及计算机存储介质 |
CN114851202B (zh) * | 2022-05-20 | 2024-05-10 | 梅卡曼德(北京)机器人科技有限公司 | 碰撞检测方法、控制方法、抓取系统及计算机存储介质 |
CN114896798B (zh) * | 2022-05-20 | 2024-05-24 | 梅卡曼德(北京)机器人科技有限公司 | 碰撞检测方法、控制方法、抓取系统及计算机存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN114310892B (zh) | 2024-05-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112837371B (zh) | 基于3d匹配的物体抓取方法、装置及计算设备 | |
CN108044627B (zh) | 抓取位置的检测方法、装置及机械臂 | |
US9044858B2 (en) | Target object gripping apparatus, method for controlling the same and storage medium | |
CN108537841B (zh) | 一种机器人拾取的实现方法、装置及电子设备 | |
CN114310892B (zh) | 基于点云数据碰撞检测的物体抓取方法、装置和设备 | |
CN112109086B (zh) | 面向工业堆叠零件的抓取方法、终端设备及可读存储介质 | |
JP5088278B2 (ja) | 物体検出方法と物体検出装置およびロボットシステム | |
CN109176521A (zh) | 一种机械臂及其抓取控制方法和系统 | |
CN113610921A (zh) | 混合工件抓取方法、设备及计算机可读存储介质 | |
CN112802105A (zh) | 对象抓取方法及装置 | |
CN113284178B (zh) | 物体码垛方法、装置、计算设备及计算机存储介质 | |
CN112464410B (zh) | 一种工件抓取顺序的确定方法、装置、计算机设备及介质 | |
CN109955244B (zh) | 一种基于视觉伺服的抓取控制方法、装置和机器人 | |
CN111745640B (zh) | 物体检测方法、物体检测装置以及机器人系统 | |
CN112847375B (zh) | 一种工件抓取方法、装置、计算机设备及存储介质 | |
JP6192088B2 (ja) | 物体検出方法および物体検出装置 | |
JP2018169660A (ja) | オブジェクト姿勢検出装置、制御装置、ロボットおよびロボットシステム | |
CN112802107A (zh) | 基于机器人的夹具组的控制方法及装置 | |
JP7264247B2 (ja) | 情報処理装置及び情報処理方法 | |
Wojciechowski et al. | Optical scanner assisted robotic assembly | |
Holz et al. | Fast edge-based detection and localization of transport boxes and pallets in rgb-d images for mobile robot bin picking | |
CN111369611B (zh) | 图像像素深度值优化方法及其装置、设备和存储介质 | |
CN112338922B (zh) | 一种五轴机械臂抓取放置方法及相关装置 | |
CN113269112A (zh) | 一种抓取区域的识别方法、装置、电子设备及存储介质 | |
Dyrstad et al. | Bin picking of reflective steel parts using a dual-resolution convolutional neural network trained in a simulated environment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |