CN106530297A - 基于点云配准的物体抓取区域定位方法 - Google Patents

基于点云配准的物体抓取区域定位方法 Download PDF

Info

Publication number
CN106530297A
CN106530297A CN201610998429.3A CN201610998429A CN106530297A CN 106530297 A CN106530297 A CN 106530297A CN 201610998429 A CN201610998429 A CN 201610998429A CN 106530297 A CN106530297 A CN 106530297A
Authority
CN
China
Prior art keywords
point
point cloud
model
region
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610998429.3A
Other languages
English (en)
Other versions
CN106530297B (zh
Inventor
路通
周逸徉
蔡敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Rui Otto Intelligent Technology Co Ltd
Original Assignee
Beijing Rui Otto Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Rui Otto Intelligent Technology Co Ltd filed Critical Beijing Rui Otto Intelligent Technology Co Ltd
Priority to CN201610998429.3A priority Critical patent/CN106530297B/zh
Publication of CN106530297A publication Critical patent/CN106530297A/zh
Application granted granted Critical
Publication of CN106530297B publication Critical patent/CN106530297B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于点云配准的物体抓取区域定位方法，包括预处理部分和物品抓取定位部分。其中，预处理部分包括三维模型点云库建立和SVM分类器生成。物品抓取定位部分主要包括待抓取物品的原始图像数据采集、基于区域增长的图像分割、待抓取物品区域筛选、点云数据PointCloud生成、点云配准和点云模型Model上标注抓取区域采用转移矩阵Transform进行变换，再通过实感3D摄像头内置参数将变化后的抓取区域反射到2D图像上，完成物品抓取。其中，点云配准时，先采用RANSAC算法进行粗匹配，然后采用ICP算法进行微调。采用上述方法后，能自动检测并定位桌面级物体，定位精度高，且无须借助GPU运算单元，能在秒级内输出结果。

Description

基于点云配准的物体抓取区域定位方法
技术领域
本发明涉及对桌面级物体进行定位抓取的驱动领域，特别是一种基于点云配准的物体抓取区域定位方法。
背景技术
在研究机器人行为认知的过程中，从机器视觉主导驱动机械手做物体抓取是一个新颖的思路。机器人全自动地依靠物体定位识别并实现物体的抓取是个全新的且应用广泛的话题。一个比较鲜明的例子就是，新兴的养老行业需要服务型机器人能完成简单的物体抓取工作，比如端杯水给人进行食用。目前有的一些典型的物体抓取算法一般在工业机器人上比较多，但在实用服务机器人上很少。其中利用视觉方法来做的主要算法还是基于传统的机器学习的方法对特定标注区域进行训练。
在物体定位抓取的这个任务中，难点在于定位到物体位置后，如何将物体的可抓取部位精确给出。因此，本发明提出的这种基于点云的方法，将问题引入3D，通过配准达到抓取定位的效果，在效率和准确度上都有一定的提升。
发明内容
本发明要解决的技术问题是针对上述现有技术的不足，而提供一种基于点云配准的物体抓取区域定位方法，该基于点云配准的物体抓取区域定位方法能自动检测并定位物体，以驱动机械臂进行抓取。
为解决上述技术问题，本发明采用的技术方案是：
一种基于点云配准的物体抓取区域定位方法，包括如下步骤。
步骤1，三维模型点云库建立：使用3D扫描仪对各类物品分别进行点云扫描，然后把点云扫描形成的各类物品的点云模型Model均存于三维模型点云库中，同时对三维模型点云库中的每个点云模型Model均标注抓取区域。
步骤2，SVM分类器生成：利用深度摄像头采集各类物品的2D的色彩图Color和深度图Depth作为训练集，使用HOG特征，运用SVM的分类方法进行训练，生成SVM分类器；其中，HOG特征为二维图像特征，用于检测并识别出待抓取物品的类型。
步骤3，待抓取物品的原始图像数据采集：使用实感3D摄像头采集待抓取物品的原始图像数据，该原始图像数据包括色彩和深度数据信息；色彩和深度数据信息将形成色彩图Color和深度图Depth。
步骤4，基于区域增长的图像分割：利用区域增长的方法对步骤3形成的色彩图Color和深度图Depth进行图像分割，并求出各个分割区域的的凸包，然后对每个凸包标定最小矩形绑定框，形成主区域Main。
步骤5，待抓取物品区域筛选：对步骤4形成的每个主区域Main分别抽取HOG特征，并将抽取的HOG特征分别放入步骤2形成的SVM分类器中进行筛选，识别出待抓取物品类型，剔除非物体区域，剩下的则为待抓取物品区域，也称为为Candidate区域。
步骤6，点云数据PointCloud生成：对步骤5筛选出的每个为Candidate区域，利用步骤3形成的深度图Depth生成点云数据PointCloud。
步骤7，点云配准：将步骤5识别出的待抓取物品类型，导入步骤1中的三维模型点云库中，从而输出与待抓取物品类型相对应的点云模型Model；然后将该输出的点云模型Model与步骤6生成的点云数据PointCloud进行点云配准，输出转移矩阵Transform；点云配准时，先采用RANSAC算法进行粗匹配，然后采用ICP算法进行微调。
步骤8：将步骤1中对应物品点云模型Model上标注的抓取区域采用步骤7输出的转移矩阵Transform进行变换，再通过实感3D摄像头内置参数将变化后的抓取区域反射到2D图像上，待抓取物品的定位完成。
所述步骤4中，利用区域增长方法对步骤3形成的深度图Depth进行图像分割的具体方法为：先将深度图Depth根据像素值进行分割，分割出全黑分割区域BCR和带深度分割区域DCR；然后对带深度分割区域DCR选出K个作为主分割区域MS；其余记为LS集合，该LS集合包括多个次小分块区域seg；对LS集合中的每个点，看是否位于任一个主分割区域MS的凸包内，如果不位于任一个主分割区域MS的凸包内，则不合并该点，如果位于多个主分割区域MS的凸包内，则选择最近的主分割区域MS进行合并。
当LS集合中的点位于多个主分割区域MS的凸包内时，将该点合并至最近主分割区域MS内的具体方法为：首先将主分割区域MS中的每个小分块区域ms计算其凸包，并记作ConvexHullms；然后对于LS集合内的每一个次小分块区域seg进行如下操作：对次分小分块区域seg中每个点p，找出凸包ConvexHullms包含p点且距离p点最近的那个小分块区域ms，然后将点p加入这个最近的小分块区域ms中。
所述步骤7中，采用RANSAC算法进行粗匹配的方法，包括如下步骤。
第一步，参数设置：采用快速点特征直方图FPFH作为特征描述子，并对其中的特征参数进行设置，特征参数包括：点对选取数n、距离阈值threshold、匹配接受度ac和最大迭代次数一max1。
第二步，FPFH特征抽取：将步骤6生成的点云数据PointCloud和本步骤中输出的点云模型Model分别抽取FPFH特征，并分别记作FPFHPC和FPFHM。
第三步，相似度匹配：在点云数据PointCloud和点云模型Model上分别选取n个点，并对这2n个点进行相似度的匹配，其中相似度的匹配是依据该点在第二步抽取的FPFH特征，利用余弦相似度进行匹配，并选出m个匹配成功的点对；其中，m≥3。
第四步，转移矩阵估算：对第三步中选出的m个匹配成功的点对进行转移矩阵估算。
第五步，统计非选中点个数：将点云数据PointCloud中每个非选中点，采用第四步中估算的转移矩阵TransformRANSAC进行Transform变换后，在点云模型Model中查找是否存在一个点j满足距离要求，即满足
Distance(TransformRANSAC×PointCloudi,Modelj)<threshold；
其中，上述Distance(A,B)表示A点到B点之间的欧式距离，也即表示点云模型Model中的查找点到点云数据PointCloud中非选中点之间的距离小于距离阈值threshold；然后统计满足这样要求的非选中点的个数d。
第六步，匹配判定：若第五步中统计的非选中个数d大于匹配接受度ac，则结束算法并输出转移矩阵TransformRANSAC；否则，跳至第三步继续进行迭代；若迭代次数超过最大迭代次数一max1则跳出循环，本次配准失败，机械臂将带动实感3D摄像头旋转一个设定角度后，重复步骤3至步骤7进行配准。
所述步骤7中，采用ICP算法进行微调的步骤为：在粗匹配完成后，先设置欧式距离作为距离衡量函数，接着对误差接受度ε以及最大迭代次数二max2进行设置，然后，采用经典ICP算法进行微调，并输出转移矩阵TransformICP；配准成功，本步骤输出一个最终的转移矩阵Transform，该最终的转移矩阵Transform具体表示为：
Transform＝TransformICP×TransformRANSAC。
所述步骤1中，使用3D扫描仪进行点云扫描的各类物品包括杯子、茶壶、饼干盒、易拉罐和可乐瓶。
所述步骤1中，所述步骤3中的实感3D摄像头为Intel Realsense F200。
本发明采用上述方法后，能自动检测并定位物体，以驱动机械臂进行抓取。通常情况下，工业机器人的机械臂位置基本固定，同时物体所在区域和物体本身的姿态都相对固定。但是家庭服务型机器人需要进行物体发现，也就是说，机器人首先的目标是要进行物体检测，找出图像中物体所在的区域，这个区域在图像中的位置是不固定的，同时物体本身的姿态也是不固定的(比如瓶子倒了，斜了)。因此，在这种情况下，本发明就体现出了较强的优势，利用2D的物体发现来确定物体位置，之后再利用点云配准的方式来确定物体的抓取区域，此过程是不受物体所处位置和姿态的影响的。在不依赖额外的GPU计算单元的情况下，时间效率上也有较大的优势，即便是在较廉价的PC处理器Intel(R)Core(TM)i3-2130CPU@3.40GHz 3.40GHZ上都可保证在1.5秒内输出结果。因此本发明是一种有效的且成本低的物体区域定位的解决方法。
另外，本发明在最终定位效果，准确度以及时间效率上都性能优良，且低价高效，是一项实际可行的物体抓取区域定位的方法。
附图说明
图1显示了本发明基于点云配准的物体抓取区域定位方法的部分流程示意图。
图2显示了本发明点云配准过程的详细流程示意图。
具体实施方式
下面结合附图和具体较佳实施方式对本发明作进一步详细的说明。
如图1所示，一种基于点云配准的物体抓取区域定位方法，包括如下步骤。
步骤1，三维模型点云库建立。
1.首先使用3D扫描仪对各类物品分别进行点云扫描。这里的各类物品主要是日常生活用品，优选包括杯子、茶壶、饼干盒、易拉罐和可乐瓶等。可以根据需要，选择其中的两至多种，但也可以为其他的生活用品。
2.然后把点云扫描形成的各类物品的点云模型Model均存于三维模型点云库中。
3.同时对三维模型点云库中的每个点云模型Model均标注抓取区域。这里抓取区域的标注可以为自动标注，也可以为人工手动标注。
步骤2，SVM分类器生成：利用深度摄像头采集各类物品的2D的色彩图Color和深度图Depth作为训练集，使用HOG特征，运用SVM的分类方法进行训练，生成SVM分类器；其中，HOG特征为二维图像特征，用于检测并识别出待抓取物品的类型。SVM分类器也存储于三维模型点云库中。
上述步骤1和步骤2构成本发明的预处理部分，以下所有步骤为本发明的物品抓取定位部分。
步骤3，待抓取物品的原始图像数据采集：使用实感3D摄像头(如Intel RealsenseF200)采集待抓取物品的原始图像数据。这里的原始图像数据包括色彩和深度数据信息；色彩和深度数据信息将形成色彩图Color和深度图Depth。
步骤4，基于区域增长的图像分割：利用区域增长的方法对步骤3形成的色彩图Color和深度图Depth进行图像分割，并求出各个分割区域的的凸包，然后对每个凸包标定最小矩形绑定框，形成主区域Main。
上述利用区域增长方法对步骤3形成的深度图Depth进行图像分割的具体方法为：先将深度图Depth根据像素值(即距离远近)进行分割，分割出全黑分割区域BCR和带深度分割区域DCR；然后对带深度分割区域DCR选出K个作为主分割区域MS；其余记为LS集合，该LS集合包括多个次小分块区域seg，LS＝(DCR-MS)∪BCR；对LS集合中的每个点，看是否位于任一个主分割区域MS的凸包内，如果不位于任一个主分割区域MS的凸包内，则不合并该点，也即为去除不可靠区域。如果位于多个主分割区域MS的凸包内，则选择最近的主分割区域MS进行合并，也即为小块区域融合。
当LS集合中的点位于多个主分割区域MS的凸包内时，将该点合并至最近主分割区域MS内的具体方法为：首先将主分割区域MS中的每个小分块区域ms计算其凸包，并记作ConvexHullms；然后对于LS集合内的每一个次小分块区域seg进行如下操作：对次小分块区域seg中每个点p，找出凸包ConvexHullms包含p点且距离p点最近的那个小分块区域ms，然后将点p加入这个最近的小分块区域ms中。
步骤5，待抓取物品区域筛选：对步骤4形成的每个主区域Main分别抽取HOG特征，并将抽取的HOG特征分别放入步骤2形成的SVM分类器中进行筛选，识别出待抓取物品类型，剔除非物体区域，剩下的则为待抓取物品区域，也称为为Candidate区域。
步骤6，点云数据PointCloud生成：对步骤5筛选出的每个为Candidate区域，利用步骤3形成的深度图Depth生成点云数据PointCloud，点云数据PointCloud为现有技术。
步骤7，点云配准：将步骤5识别出的待抓取物品类型，导入步骤1中的三维模型点云库中，从而输出与待抓取物品类型相对应的点云模型Model；然后将该输出的点云模型Model与步骤6生成的点云数据PointCloud进行点云配准，输出转移矩阵Transform；点云配准时，先采用RANSAC算法进行粗匹配，然后采用ICP算法进行微调。
采用RANSAC算法进行粗匹配的方法，包括如下步骤。
第一步，参数设置：采用快速点特征直方图FPFH作为特征描述子，并对其中的特征参数进行设置，特征参数包括：点对选取数n、距离阈值threshold、匹配接受度ac和最大迭代次数一max1。
第二步，FPFH特征抽取：将步骤6生成的点云数据PointCloud和本步骤中输出的点云模型Model分别抽取FPFH特征，并分别记作FPFHPC和FPFHM。
第三步，相似度匹配：在点云数据PointCloud和点云模型Model上分别选取n个点，并对这2n个点进行相似度的匹配。
其中，点云数据PointCloud上选取的n个点记作pcrs，点云模型Model上选取的n个点记作mrs。然后在pcrs和mrs上依据第二步抽取的FPFH特征，利用余弦相似度进行匹配，选出匹配成功的点对，并记作相似点对similar-pair,其中相似点对similar-pair所含点对数记作m；当m≥3，也即为相似点对similar-pair中点对数大于等于3时，才进行转移矩阵估算，否则重新选点。
第四步，转移矩阵估算：对第三步中选出的符合要求的相似点对similar-pair进行转移矩阵估算，具体估算方法为现有技术，这里不再赘述，然后获取估算的转移矩阵TransformRANSAC。
第五步，统计非选中点个数：将点云数据PointCloud中每个非选中点(第三步中分别在在点云数据PointCloud和点云模型Model上分别选取n个点，PointCloud上的这n个点就是选中点；非选中点就是指PointCloud上除去这n个点的点集合)，采用第四步中估算的转移矩阵TransformRANSAC进行Transform变换后，在点云模型Model中查找是否存在一个点j满足距离要求，即满足
Distance(TransformRANSAC×PointCloudi,Modelj)<threshold；
其中，上述Distance(A,B)表示A点到B点之间的欧式距离，也即表示点云模型Model中的查找点到点云数据PointCloud中非选中点之间的距离小于距离阈值threshold；然后统计满足这样要求的非选中点的个数d。
第六步，匹配判定：若第五步中统计的非选中个数d大于匹配接受度ac，则结束算法并输出转移矩阵TransformRANSAC；否则，跳至第三步继续进行迭代；若迭代次数超过最大迭代次数一max1则跳出循环，本次配准失败，机械臂将带动实感3D摄像头旋转一个设定角度后，重复步骤3至步骤7进行配准。
采用ICP算法进行微调的步骤为：在粗匹配完成后，先设置欧式距离作为距离衡量函数，接着对误差接受度ε以及最大迭代次数二max2进行设置，然后，采用经典ICP算法进行微调，并输出转移矩阵TransformICP；配准成功，本步骤输出一个最终的转移矩阵Transform，该最终的转移矩阵Transform具体表示为：
Transform＝TransformICP×TransformRANSAC。
步骤8：将步骤1中对应物品点云模型Model上标注的抓取区域采用步骤7输出的转移矩阵Transform进行变换，再通过实感3D摄像头内置参数将变化后的抓取区域反射到2D图像上，待抓取物品的定位完成。
以上详细描述了本发明的优选实施方式，但是，本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种等同变换，这些等同变换均属于本发明的保护范围。

Claims (7)

1.一种基于点云配准的物体抓取区域定位方法，其特征在于：包括如下步骤：
步骤1，三维模型点云库建立：使用3D扫描仪对各类物品分别进行点云扫描，然后把点云扫描形成的各类物品的点云模型Model均存于三维模型点云库中，同时对三维模型点云库中的每个点云模型Model均标注抓取区域；
步骤2，SVM分类器生成：利用深度摄像头采集各类物品的2D的色彩图Color和深度图Depth作为训练集，使用HOG特征，运用SVM的分类方法进行训练，生成SVM分类器；其中，HOG特征为二维图像特征，用于检测并识别出待抓取物品的类型；
步骤3，待抓取物品的原始图像数据采集：使用实感3D摄像头采集待抓取物品的原始图像数据，该原始图像数据包括色彩和深度数据信息；色彩和深度数据信息将形成色彩图Color和深度图Depth；
步骤4，基于区域增长的图像分割：利用区域增长的方法对步骤3形成的色彩图Color和深度图Depth进行图像分割，并求出各个分割区域的的凸包，然后对每个凸包标定最小矩形绑定框，形成主区域Main；
步骤5，待抓取物品区域筛选：对步骤4形成的每个主区域Main分别抽取HOG特征，并将抽取的HOG特征分别放入步骤2形成的SVM分类器中进行筛选，识别出待抓取物品类型，并剔除非物体区域，剩下的则为待抓取物品区域，也称为Candidate区域；
步骤6，点云数据PointCloud生成：对步骤5筛选出的每个为Candidate区域，利用步骤3形成的深度图Depth生成点云数据pointCloud；
步骤7，点云配准：将步骤5识别出的待抓取物品类型，导入步骤1中的三维模型点云库中，从而输出与待抓取物品类型相对应的点云模型Model；然后将该输出的点云模型Model与步骤6生成的点云数据PointCloud进行点云配准，输出转移矩阵Transform；点云配准时，先采用RANSAC算法进行粗匹配，然后采用ICP算法进行微调；
步骤8：将步骤1中对应物品点云模型Model上标注的抓取区域采用步骤7输出的转移矩阵Transform进行变换，再通过实感3D摄像头内置参数将变化后的抓取区域反射到2D图像上，待抓取物品的定位完成。
2.根据权利要求1所述的基于点云配准的物体抓取区域定位方法，其特征在于：所述步骤4中，利用区域增长方法对步骤3形成的深度图Depth进行图像分割的具体方法为：先将深度图Depth根据像素值进行分割，分割出全黑分割区域BCR和带深度分割区域DCR；然后对带深度分割区域DCR选出K个作为主分割区域MS；其余记为LS集合，该LS集合包括多个次小分块区域seg；对LS集合中的每个点，看是否位于任一个主分割区域MS的凸包内，如果不位于任一个主分割区域MS的凸包内，则不合并该点，如果位于多个主分割区域MS的凸包内，则选择最近的主分割区域MS进行合并。
3.根据权利要求2所述的基于点云配准的物体抓取区域定位方法，其特征在于：当LS集合中的点位于多个主分割区域MS的凸包内时，将该点合并至最近主分割区域MS内的具体方法为：首先将主分割区域MS中的每个小分块区域ms计算其凸包，并记作ConvexHullms；然后对于LS集合内的每一个次小分块区域seg进行如下操作：对次小分块区域seg中每个点p，找出凸包ConvexHullms包含p点且距离p点最近的那个小分块区域ms，然后将点p加入这个最近的小分块区域ms中。
4.根据权利要求1所述的基于点云配准的物体抓取区域定位方法，其特征在于：所述步骤7中，采用RANSAC算法进行粗匹配的方法，包括如下步骤：
第一步，参数设置：采用快速点特征直方图FPFH作为特征描述子，并对其中的特征参数进行设置，特征参数包括：点对选取数n、距离阈值threshold、匹配接受度ac和最大迭代次数一max1；
第二步，FPFH特征抽取：将步骤6生成的点云数据PointCloud和本步骤中输出的点云模型Model分别抽取FPFH特征，并分别记作FPFHPC和FPFHM；
第三步，相似度匹配：在点云数据PointCloud和点云模型Model上分别选取n个点，并对这2n个点进行相似度的匹配，其中相似度的匹配是依据该点在第二步抽取的FPFH特征，利用余弦相似度进行匹配，并选出m个匹配成功的点对；其中，m≥3；
第四步，转移矩阵估算：对第三步中选出的m个匹配成功的点对进行转移矩阵估算；
第五步，统计非选中点个数：将点云数据PointCloud中每个非选中点，采用第四步中估算的转移矩阵TransformRANSAC进行Transform变换后，在点云模型Model中查找是否存在一个点j满足距离要求，即满足
Distance(TransformRANSAC×pointCloudi,Modelj)<threshold；
其中，上述Distance(A,B)表示A点到B点之间的欧式距离，也即表示点云模型Model中的查找点到点云数据PointCloud中非选中点之间的距离小于距离阈值threshold；然后统计满足这样要求的非选中点的个数d；
第六步，匹配判定：若第五步中统计的非选中个数d大于匹配接受度ac，则结束算法并输出转移矩阵TransformRANSAC；否则，跳至第三步继续进行迭代；若迭代次数超过最大迭代次数一max1则跳出循环，本次配准失败，机械臂将带动实感3D摄像头旋转一个设定角度后，重复步骤3至步骤7进行配准。
5.根据权利要求1所述的基于点云配准的物体抓取区域定位方法，其特征在于：所述步骤7中，采用ICP算法进行微调的步骤为：在粗匹配完成后，先设置欧式距离作为距离衡量函数，接着对误差接受度ε以及最大迭代次数二max2进行设置，然后，采用经典ICP算法进行微调，并输出转移矩阵TransformICP；配准成功，本步骤输出一个最终的转移矩阵Transform，该最终的转移矩阵Transform具体表示为：
Transform＝TransformICP×TransformRANSAC。
6.根据权利要求1所述的基于点云配准的物体抓取区域定位方法，其特征在于：所述步骤1中，使用3D扫描仪进行点云扫描的各类物品包括杯子、茶壶、饼干盒、易拉罐和可乐瓶。
7.根据权利要求1所述的基于点云配准的物体抓取区域定位方法，其特征在于：所述步骤1中，所述步骤3中的实感3D摄像头为IntelRealsense F200。
CN201610998429.3A 2016-11-11 2016-11-11 基于点云配准的物体抓取区域定位方法 Expired - Fee Related CN106530297B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610998429.3A CN106530297B (zh) 2016-11-11 2016-11-11 基于点云配准的物体抓取区域定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610998429.3A CN106530297B (zh) 2016-11-11 2016-11-11 基于点云配准的物体抓取区域定位方法

Publications (2)

Publication Number Publication Date
CN106530297A true CN106530297A (zh) 2017-03-22
CN106530297B CN106530297B (zh) 2019-06-07

Family

ID=58351558

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610998429.3A Expired - Fee Related CN106530297B (zh) 2016-11-11 2016-11-11 基于点云配准的物体抓取区域定位方法

Country Status (1)

Country Link
CN (1) CN106530297B (zh)

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107133966A (zh) * 2017-03-30 2017-09-05 浙江大学 一种基于采样一致性算法的三维声纳图像背景分割方法
CN107186708A (zh) * 2017-04-25 2017-09-22 江苏安格尔机器人有限公司 基于深度学习图像分割技术的手眼伺服机器人抓取系统及方法
CN107301618A (zh) * 2017-06-21 2017-10-27 华中科技大学 基于gpu并行加速的基础矩阵和单应矩阵估计方法和系统
CN107479501A (zh) * 2017-09-28 2017-12-15 广州智能装备研究院有限公司 基于深度学习的3d零部件吸取方法
CN107633133A (zh) * 2017-09-18 2018-01-26 中建局集团第二建筑有限公司 基于bim+3d扫描技术的抗震支吊架的施工方法
CN107748890A (zh) * 2017-09-11 2018-03-02 汕头大学 一种基于深度图像的视觉抓取方法、装置及其可读存储介质
CN108399639A (zh) * 2018-02-12 2018-08-14 杭州蓝芯科技有限公司 基于深度学习的快速自动抓取与摆放方法
CN108647706A (zh) * 2018-04-24 2018-10-12 广州大学 基于机器视觉的物品识别分类与瑕疵检测方法
CN108836479A (zh) * 2018-05-16 2018-11-20 山东大学 一种医学图像配准方法和手术导航系统
CN109102547A (zh) * 2018-07-20 2018-12-28 上海节卡机器人科技有限公司 基于物体识别深度学习模型的机器人抓取位姿估计方法
CN109176521A (zh) * 2018-09-19 2019-01-11 北京因时机器人科技有限公司 一种机械臂及其抓取控制方法和系统
CN109211210A (zh) * 2018-09-25 2019-01-15 深圳市超准视觉科技有限公司 一种目标物体的识别定位测量方法及装置
CN109297433A (zh) * 2018-11-15 2019-02-01 青岛星晖昌达智能自动化装备有限公司 3d视觉引导拆垛测量系统及其控制方法
CN109345542A (zh) * 2018-09-18 2019-02-15 重庆大学 一种穿戴式视觉注视目标定位装置及方法
CN109333536A (zh) * 2018-10-26 2019-02-15 北京因时机器人科技有限公司 一种机器人及其物体抓取方法和装置
CN109463003A (zh) * 2018-03-05 2019-03-12 香港应用科技研究院有限公司 对象识别
CN109492656A (zh) * 2017-09-11 2019-03-19 百度在线网络技术（北京）有限公司 用于输出信息的方法和装置
CN109559341A (zh) * 2017-09-27 2019-04-02 北京猎户星空科技有限公司 一种机械臂抓取方案的生成方法及装置
CN109579698A (zh) * 2018-12-05 2019-04-05 普达迪泰（天津）智能装备科技有限公司 一种智能货物检测系统及其检测方法
CN110322457A (zh) * 2019-07-09 2019-10-11 中国大恒(集团)有限公司北京图像视觉技术分公司 一种2d与3d视觉结合的拆垛方法
CN110342153A (zh) * 2019-07-29 2019-10-18 齐霄强 一种基于三维点云的垃圾桶识别抓取方法
CN110598771A (zh) * 2019-08-30 2019-12-20 北京影谱科技股份有限公司 一种基于深度语义分割网络的视觉目标识别方法和装置
CN111753858A (zh) * 2019-03-26 2020-10-09 理光软件研究所（北京）有限公司 一种点云匹配方法、装置和重定位系统
CN112329587A (zh) * 2020-10-30 2021-02-05 苏州中科先进技术研究院有限公司 饮料瓶的分类方法、装置及电子设备
CN112835085A (zh) * 2020-07-09 2021-05-25 北京京东乾石科技有限公司 确定车辆位置的方法和装置
US11185978B2 (en) 2019-01-08 2021-11-30 Honda Motor Co., Ltd. Depth perception modeling for grasping objects
CN116188883A (zh) * 2023-04-28 2023-05-30 中国科学技术大学 一种抓握位置分析方法及终端

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100131235A1 (en) * 2008-11-26 2010-05-27 Canon Kabushiki Kaisha Work system and information processing method
CN103302665A (zh) * 2012-03-09 2013-09-18 索尼公司 机器人设备、控制机器人设备的方法以及计算机程序
CN105598965A (zh) * 2015-11-26 2016-05-25 哈尔滨工业大学 基于立体视觉的机器人欠驱动手自主抓取方法
CN106041937A (zh) * 2016-08-16 2016-10-26 河南埃尔森智能科技有限公司 一种基于双目立体视觉的机械手抓取控制系统的控制方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100131235A1 (en) * 2008-11-26 2010-05-27 Canon Kabushiki Kaisha Work system and information processing method
CN103302665A (zh) * 2012-03-09 2013-09-18 索尼公司 机器人设备、控制机器人设备的方法以及计算机程序
CN105598965A (zh) * 2015-11-26 2016-05-25 哈尔滨工业大学 基于立体视觉的机器人欠驱动手自主抓取方法
CN106041937A (zh) * 2016-08-16 2016-10-26 河南埃尔森智能科技有限公司 一种基于双目立体视觉的机械手抓取控制系统的控制方法

Cited By (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107133966A (zh) * 2017-03-30 2017-09-05 浙江大学 一种基于采样一致性算法的三维声纳图像背景分割方法
CN107133966B (zh) * 2017-03-30 2020-04-14 浙江大学 一种基于采样一致性算法的三维声纳图像背景分割方法
CN107186708B (zh) * 2017-04-25 2020-05-12 珠海智卓投资管理有限公司 基于深度学习图像分割技术的手眼伺服机器人抓取系统及方法
CN107186708A (zh) * 2017-04-25 2017-09-22 江苏安格尔机器人有限公司 基于深度学习图像分割技术的手眼伺服机器人抓取系统及方法
CN107301618B (zh) * 2017-06-21 2019-11-22 华中科技大学 基于gpu并行加速的基础矩阵和单应矩阵估计方法和系统
CN107301618A (zh) * 2017-06-21 2017-10-27 华中科技大学 基于gpu并行加速的基础矩阵和单应矩阵估计方法和系统
CN107748890A (zh) * 2017-09-11 2018-03-02 汕头大学 一种基于深度图像的视觉抓取方法、装置及其可读存储介质
CN109492656A (zh) * 2017-09-11 2019-03-19 百度在线网络技术（北京）有限公司 用于输出信息的方法和装置
CN109492656B (zh) * 2017-09-11 2022-04-29 阿波罗智能技术(北京)有限公司 用于输出信息的方法和装置
CN107633133A (zh) * 2017-09-18 2018-01-26 中建局集团第二建筑有限公司 基于bim+3d扫描技术的抗震支吊架的施工方法
CN109559341B (zh) * 2017-09-27 2021-03-26 北京猎户星空科技有限公司 一种机械臂抓取方案的生成方法及装置
CN109559341A (zh) * 2017-09-27 2019-04-02 北京猎户星空科技有限公司 一种机械臂抓取方案的生成方法及装置
CN107479501A (zh) * 2017-09-28 2017-12-15 广州智能装备研究院有限公司 基于深度学习的3d零部件吸取方法
CN108399639A (zh) * 2018-02-12 2018-08-14 杭州蓝芯科技有限公司 基于深度学习的快速自动抓取与摆放方法
CN108399639B (zh) * 2018-02-12 2021-01-26 杭州蓝芯科技有限公司 基于深度学习的快速自动抓取与摆放方法
CN109463003A (zh) * 2018-03-05 2019-03-12 香港应用科技研究院有限公司 对象识别
CN108647706B (zh) * 2018-04-24 2022-03-22 广州大学 基于机器视觉的物品识别分类与瑕疵检测方法
CN108647706A (zh) * 2018-04-24 2018-10-12 广州大学 基于机器视觉的物品识别分类与瑕疵检测方法
CN108836479A (zh) * 2018-05-16 2018-11-20 山东大学 一种医学图像配准方法和手术导航系统
CN109102547A (zh) * 2018-07-20 2018-12-28 上海节卡机器人科技有限公司 基于物体识别深度学习模型的机器人抓取位姿估计方法
CN109345542A (zh) * 2018-09-18 2019-02-15 重庆大学 一种穿戴式视觉注视目标定位装置及方法
CN109176521A (zh) * 2018-09-19 2019-01-11 北京因时机器人科技有限公司 一种机械臂及其抓取控制方法和系统
CN109211210A (zh) * 2018-09-25 2019-01-15 深圳市超准视觉科技有限公司 一种目标物体的识别定位测量方法及装置
CN109333536A (zh) * 2018-10-26 2019-02-15 北京因时机器人科技有限公司 一种机器人及其物体抓取方法和装置
CN109297433A (zh) * 2018-11-15 2019-02-01 青岛星晖昌达智能自动化装备有限公司 3d视觉引导拆垛测量系统及其控制方法
CN109579698A (zh) * 2018-12-05 2019-04-05 普达迪泰（天津）智能装备科技有限公司 一种智能货物检测系统及其检测方法
US11185978B2 (en) 2019-01-08 2021-11-30 Honda Motor Co., Ltd. Depth perception modeling for grasping objects
CN111753858B (zh) * 2019-03-26 2024-07-12 理光软件研究所（北京）有限公司 一种点云匹配方法、装置和重定位系统
CN111753858A (zh) * 2019-03-26 2020-10-09 理光软件研究所（北京）有限公司 一种点云匹配方法、装置和重定位系统
CN110322457A (zh) * 2019-07-09 2019-10-11 中国大恒(集团)有限公司北京图像视觉技术分公司 一种2d与3d视觉结合的拆垛方法
CN110342153B (zh) * 2019-07-29 2022-03-15 齐霄强 一种基于三维点云的垃圾桶识别抓取方法
CN110342153A (zh) * 2019-07-29 2019-10-18 齐霄强 一种基于三维点云的垃圾桶识别抓取方法
CN110598771A (zh) * 2019-08-30 2019-12-20 北京影谱科技股份有限公司 一种基于深度语义分割网络的视觉目标识别方法和装置
CN112835085A (zh) * 2020-07-09 2021-05-25 北京京东乾石科技有限公司 确定车辆位置的方法和装置
CN112835085B (zh) * 2020-07-09 2022-04-12 北京京东乾石科技有限公司 确定车辆位置的方法和装置
CN112329587B (zh) * 2020-10-30 2024-05-24 苏州中科先进技术研究院有限公司 饮料瓶的分类方法、装置及电子设备
CN112329587A (zh) * 2020-10-30 2021-02-05 苏州中科先进技术研究院有限公司 饮料瓶的分类方法、装置及电子设备
CN116188883A (zh) * 2023-04-28 2023-05-30 中国科学技术大学 一种抓握位置分析方法及终端
CN116188883B (zh) * 2023-04-28 2023-08-29 中国科学技术大学 一种抓握位置分析方法及终端

Also Published As

Publication number Publication date
CN106530297B (zh) 2019-06-07

Similar Documents

Publication Publication Date Title
CN106530297A (zh) 基于点云配准的物体抓取区域定位方法
CN106845408B (zh) 一种复杂环境下的街道垃圾识别方法
Barnea et al. Colour-agnostic shape-based 3D fruit detection for crop harvesting robots
Rios-Cabrera et al. Discriminatively trained templates for 3d object detection: A real time scalable approach
JP5464244B2 (ja) 画像処理装置、プログラム及び画像処理システム
CN103824066B (zh) 一种基于视频流的车牌识别方法
Timofte et al. Multi-view traffic sign detection, recognition, and 3D localisation
CN104156693B (zh) 一种基于多模态序列融合的动作识别方法
CN103020945A (zh) 一种多源传感器的遥感图像配准方法
Potapova et al. Learning what matters: combining probabilistic models of 2d and 3d saliency cues
CN105389581B (zh) 一种胚芽米胚芽完整度智能识别系统及其识别方法
CN104102904B (zh) 一种静态手势识别方法
CN104464079A (zh) 基于模板特征点及其拓扑结构的多币种面值识别方法
CN105718552A (zh) 基于服装手绘草图的服装图像检索方法
CN114693661A (zh) 一种基于深度学习的快速分拣方法
KR101260367B1 (ko) 범주 인식에 의한 파지점 생성방법 및 그 방법에 대한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체
CN108073940B (zh) 一种非结构化环境中的3d目标实例物体检测的方法
CN112329587A (zh) 饮料瓶的分类方法、装置及电子设备
Song et al. Visual grasp affordances from appearance-based cues
CN116061187A (zh) 一种复合机器人对货架商品识别、定位和抓取方法
Guo et al. Image classification based on SURF and KNN
Zhang et al. Out-of-region keypoint localization for 6D pose estimation
CN116703895B (zh) 基于生成对抗网络的小样本3d视觉检测方法及其系统
Wang et al. GraspFusionNet: a two-stage multi-parameter grasp detection network based on RGB–XYZ fusion in dense clutter
Viet et al. A robust end-to-end information extraction system for vietnamese identity cards

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190607