CN110363815A - 一种单视角点云下基于实例分割的机器人抓取检测方法 - Google Patents

一种单视角点云下基于实例分割的机器人抓取检测方法 Download PDF

Info

Publication number
CN110363815A
CN110363815A CN201910368494.1A CN201910368494A CN110363815A CN 110363815 A CN110363815 A CN 110363815A CN 201910368494 A CN201910368494 A CN 201910368494A CN 110363815 A CN110363815 A CN 110363815A
Authority
CN
China
Prior art keywords
crawl
point cloud
image
pose
grabs
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910368494.1A
Other languages
English (en)
Inventor
钱堃
段彦卉
夏晶
桂博兴
景星烁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN201910368494.1A priority Critical patent/CN110363815A/zh
Publication of CN110363815A publication Critical patent/CN110363815A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Abstract

本发明公开了一种单视角点云下基于实例分割的机器人抓取检测方法，包括以下步骤：1)获取抓取场景图像和点云；2)利用Mask R‑CNN及彩色图像与有序点云间的映射关系实现物体点云粗分割，再基于离群点滤波提纯目标点云；3)目标点云上均匀随机采样并建立局部标架，根据局部标架和平移搜索获得候选抓取位姿；4)抓取位姿编码，将候选抓取位姿编码成单通道抓取图像；5)构建以单通道抓取图像为输入、以位置敏感的全卷积神经网络为核心的抓取位姿稳定概率预测模型；6)利用仿真软件辅助生成模型训练样本并实现自动标注，从模型预测结果中优选出最终检测结果。本发明针对受限制复杂场景，提供一种RGB‑D传感器单视角下的物体空间抓取位姿学习与检测方法，具备对未知、非规则物体新实例的泛化性能。

Description

一种单视角点云下基于实例分割的机器人抓取检测方法
技术领域
本发明属在线监测和故障诊断技术领域，具体涉及一种基于神经网络权值训练的多信息融合故障诊断方法。
背景技术
稳定抓取物体是机器人操作任务中的关键一环。传统的机器人抓取位姿确定需预先估计物体在场景的位姿并通过计算已知物体CAD模型的力封闭性确定物体上的抓取位置，但精确的物体CAD模型不易获取。目前基于学习的抓取检测成为面临新物体实例抓取需求时的主流解决方案。基于图像的抓取检测方法目前较为成熟，但其结果仅为三自由度的抓取位姿，基于点云的抓取位姿检测因空间几何信息丰富可得到满足大多数抓取要求的六自由度抓取位姿。但基于点云的抓取位姿检测仍面临着困难和挑战：点云数据残缺且有噪声，实际传感器可采集的视角受约束，难以获得完整的物体点云；特定类别实例物体抓取困难，为实现基于点云的特定类别实例物体抓取位姿检测，首先需获得物体点云，但目前已有的三维场景下的实例分割技术少且计算量大耗时长。
传统的点云分割方法基于空间几何关系(见“Aldoma A,Tombari F,Stefano L D,A Global Hypotheses Verification Method for 3D Object Recognition,ECCV2012”)，但分割出的点云不具有类别信息。基于深度学习的复杂场景下点云语义分割方法(见“Qi C R, Su H,Mo K,PointNet:Deep Learning on Point Sets for 3DClassification and Segmentation, CVPR 2017”)能够实现激光扫描下的三维环境中的大型物体点云语义分割。但是由于直接处理三维信息，该方法效率低，模型训练对硬件要求极高，不适用于有时间限制的机器人操作任务。
在空间抓取位姿检测的问题上，最初基于点云的抓取位姿确定基于几何结构，PasA T基于点云实现了高聚集度物体下的六自由度空间抓取检测，该方法主要分为生成候选空间抓取位姿和空间抓取分类两个部分。在生成候选抓取位姿时，Pas A T基于 4000～8000个采样点再加上两自由度(平移和旋转)搜索的方法产生了大量的抓取位姿，导致位姿分类阶段需消耗大量的计算时间。为了得到更好的抓取位姿检测效果，Pas A T 等人将抓取图像由三通道(见“Pas A T,Platt R.Using Geometry to Detect Grasp Poses in 3DPoint Clouds,IROS 2015”)拓展至十五通道(见“Gualtieri M,Pas A T,Saenko K,HighPrecision Grasp Pose Detection in
Dense Clutter,IROS 2016”)，融合了人为的点云法向量特征，但在点云残缺的情况下，残缺处的法向量估计准确度较低，将其作为输入特征会影响抓取位姿分类结果。PasA T等人也尝试将目标识别与空间抓取检测结合(见“Pas A T,Gualtieri M,Saenko K,Grasp Pose Detection in Point Clouds,The International Journal of RoboticsResearch 2017”)，但迫于特定类别实例物体点云分割难度大，其采用的是先抓取检测再通过二维图像目标识别结果确定的物体范围滤除非目标物体上的抓取位姿的方法，这样的检测顺序造成基于目标的空间抓取位姿检测效率低下。
目前针对特定类别实例物体的抓取检测方案尚缺。经专利检索查新，李明洋等人申请了中国发明专利第01810803444号，名称为“基于物体识别深度学习模型的机器人抓取位姿估计方法”，使用二维视觉信息和三维视觉信息融合的方法获取目标物体点云，接着采用将目标物体的点云与模板库中物体点云模板进行配准的方式，来进行目标物体的位姿估计。
近年来，图像实例分割技术日益成熟，诞生了如Mask R-CNN、Deep Lab等优秀的实例分割模型。针对有序点云的特殊性，可将图像实例分割方法迁移至点云分割上实现特定类别点云实例分割。优化抓取检测方法中的学习模型结构可提升检测方法的泛化性能。针对基于学习的方法需要大量样本数据且人工标注代价过大的问题，利用计算机辅助生成样本并自动标注可极大地降低模型训练成本。
综上，针对特定类别实例物体抓取的空间抓取位姿检测问题的解决上依旧存在很多技术难题和挑战。
发明内容
发明目的：为了克服现有技术的不足，本发明提供一种准确高效，能有效提高设备可靠性的基于权值离线训练的多信息融合故障诊断方法。
技术方案：一种单视角点云下基于实例分割的机器人抓取检测方法，包括以下步骤：
步骤1，获取抓取场景图像和点云，图像为彩色图像，点云为有序点云；
步骤2，实例点云分割，利用Mask R-CNN使彩色图像上物体的像素级分割，再通过彩色图像和点云间的映射关系获得目标物体点云集，利用离群点滤波算法，得到排除外点后的目标点云集；
步骤3，获取候选空间抓取位姿，在物体点云集上均匀随机采样，以每个采样点为中心建立其邻域内局部标架，通过局部标架确定物体姿态，再通过平移法搜索候选空间抓取位姿；
步骤4，抓取位姿编码，将候选抓取位姿编码成单通道抓取图像；
步骤5，以单通道抓取图像为输入，构建以位置敏感的全卷积神经网络为核心的抓取位姿稳定概率预测模型，利用经过GraspIt自动标注后的仿真单视角物体点云上生成的单通道抓取图像训练模型；
步骤6，利用位置敏感的全卷积神经网络模型预测单通道抓取图像对应的抓取位姿稳定抓取物体的概率，筛选出稳定抓取物体概率高的抓取位姿作为检测结果。
步骤1所述的场景数据包括：
彩色图像；RGB-D传感器固定单视角下采集的有序点云。
步骤2所述的实例点云分割包括：基于Mask R-CNN的实例点云粗分割算法、基于离群点滤波的实例点云细分割算法。
步骤2所述的映射关系为利用RGB-D传感器彩色图像和点云的映射关系通过目标物体图像像素得到目标物体点云集。
步骤3所述的获取候选空间抓取位姿，其获取过程包括：
(1)以目标点云集中随机均匀采样得到的采样点为中心建立其邻域内局部标架；
(2)以局部标架确定抓取姿态，以平移搜索得到候选空间抓取位姿。
步骤3所述的均匀随机采样，利用同余法生成随机数实现采样点获取。
步骤3所述的局部标架，由采样点的法向量、采样点邻域内第一主方向的单位向量计算得到。
步骤3所述的平移搜索，具体是保持抓取姿态不变，在采样点法向量的相反方向进行等间距平移来进行搜索满足约束条件的抓取位姿。
步骤5所述的单通道抓取图像，是由手爪闭合区域内点云在末端执行器坐标系XOY面上的投影编码而成。
步骤6所述的位置敏感的全卷积神经网络模型，所述模型结构由基础卷积网络、位置敏感的池化层组成。
在模型设计中选用了尺寸为3的小卷积核，可以在保证网络精度的情况下减少模型参数，并采用位置敏感的池化层代替全连接层的结构，减少过拟合的发生可能。
有益效果：本发明的一种单视角点云下基于实例分割的机器人空间位姿检测方法，相比现有技术，具有以下有益效果：
1.本发明通过采用RGB-D传感器单视角点云，可实现针对新实例物体的六自由度抓取位姿检测，简化了机器人抓取系统中传感器的安装难度，也适用于传感器采集视角受限的复杂抓取场景，降低了设备成本，应用场景丰富。
2.本发明对物体六自由度抓取位姿而不是平面抓取位姿进行检测，满足了全空间抓取的复杂机器人操作任务需求，相比平面抓取更具有实用性。
3.本发明在利用位置敏感的全卷积神经网络空间抓取位姿模型筛选稳定抓取位姿时，以单通道抓取图像简化抓取位姿表示，候选位姿生成方法简单有效。同时，借助仿真软件对抓取图像样本对应的抓取位姿稳定性进行自动标注，节省了大量人力，且易于数据集扩充。位置敏感的全卷积神经网络模型体积小，泛化能力强，易移植应用在嵌入式设备。
附图说明
图1为整体结构示意图；
图2为实例点云分割和候选空间抓取位姿生成的算法流程图；
图3为彩色图像与有序点云间的关系；
图4为单通道抓取图像的几何意义示意；
图5为抓取位姿与其对应的抓取图像；
图6为基于全卷积神经网络的抓取位姿评价模型的模型结构。
具体实施方式
下面结合附图对本发明的技术方案作进一步说明。
如图1所示，为本发明的整体结构示意图，本发明所采用实例点云分割技术及空间位姿检测技术包括五个主要步骤，步骤1，获取抓取场景图像和点云，图像为彩色图像，点云为有序点云；步骤2，实例点云分割，利用Mask R-CNN使彩色图像上物体的像素级分割，再通过彩色图像和点云间的映射关系获得目标物体点云集，利用离群点滤波算法，得到纯净的目标点云集；步骤3，获取候选空间抓取位姿，在物体点云集上均匀随机采样，以每个采样点为中心建立其邻域内局部标架，通过局部标架确定物体姿态，再通过平移法搜索候选空间抓取位姿；步骤4，抓取位姿编码，将候选抓取位姿编码成单通道抓取图像；步骤5，以单通道抓取图像为输入，构建以位置敏感的全卷积神经网络为核心的抓取位姿稳定概率预测模型，利用经过GraspIt自动标注后的仿真单视角物体点云上生成的单通道抓取图像训练模型；步骤6，利用位置敏感的全卷积神经网络模型预测单通道抓取图像对应的抓取位姿稳定抓取物体的概率，筛选出稳定抓取物体概率高的抓取位姿作为检测结果。
本发明的实施，需要利用GPU和RGB-D传感器。具体实施实例中采用1080TiGPU 一个、台式机一个、Kinect V1一个。
本发明所提出的方法，具体包括以下步骤：
步骤1，获取抓取场景图像和点云；
利用RGB-D传感器采集抓取场景图像和点云，图像为彩色图像，点云为有序点云。
步骤2：实例点云分割；
利用Mask R-CNN实现彩色图像上物体的像素级分割，再通过彩色图像和点云间的映射关系获得目标物体点云集，并利用离群点滤波算法对目标点云集进行提纯；
如图2所示，步骤2包括3个子步骤，具体实施方法如下：
步骤211：利用Mask R-CNN卷积神经网络模型实现点云的实例粗分割。首先在COCO数据集上预训练过的Mask R-CNN上微调获得可像素级分割的机器人抓取范围内常见物体的模型，再利用训练好的模型分割RGB-D传感器采集的场景彩色图像，获取场景中实例物体像素索引。
步骤212：利用彩色图像和点云间的映射关系获得目标物体点云集。RGB-D传感器采集的原始点云为有序点云，采用链表数据结构存储，且点云是由深度图像和传感器内参根据小孔模型转换得到，当深度图像与彩色图像配准后，点云上的点与彩色图像像素存在映射关系。彩色图像和有序点云的映射关系如图3所示。通过映射关系及步骤211 得到的物体像素索引即可得到目标物体点云集。
步骤213：利用离群点滤波算法实现点云的实例细分割。对存在非物体点的粗分割点云作离群点滤波处理，采用K近邻平均距离的离群点检测和剔除方法，获得纯净的目标物体点云集。
步骤3：获取候选空间抓取位姿；
如图2所示，在物体点云集上均匀随机采样，以每个采样点为中心建立其邻域内局部标架，根据局部标架确定物体姿态，并通过平移法搜索候选空间抓取位姿的最终位置；
步骤3包括3个子步骤，具体实施方法如下：
步骤311：建立采样点邻域内局部框架。以目标点云作为采样区域，利用同余法产生随机数，以此作为点云索引获得采样点集Csample，以每个采样点p∈Csample为中心计算其邻域内的局部标架此处局部标架定义如下：
局部标架的为采样点的法向量，这里用邻域内单位平均法向量表示。局部标架的为采样点邻域内第一主方向(过采样点曲率最大的方向)单位向量 由和根据右手定则确定。其中，点云单位法向量和第一主方向单位向量的估计采用了主成分分析法，且为提高局部标架计算的准确性，对场景点云进行外点滤波等预处理。
步骤312：根据局部标架确定物体姿态。首先根据局部标架F(p)确定末端执行器坐标系主轴方向，末端执行器坐标系的与采样点处局部标架的 反向平行；末端执行器坐标系的与采样点处局部标架同向平行。再根据末端执行器坐标系与局部标架关系确定采样点处对应的抓取姿态，以末端执行器坐标系原点Og与局部标架原点O在方向上相距θl时作为初始抓取位置，用x表示末端执行器坐标系原点 Og与局部标架F(p)原点O的距离，h(x，F(p))为在距离为x时由局部标架F(h)确定姿态的抓取姿态。
步骤313：抓取位姿搜索。首先将手爪从完全张开到完全闭合时扫过的区域视作一个立方体B(h)，保持步骤312得到的抓取姿态不变，通过沿反方向上等单位间隔Δd平移搜索出满足以下两个约束条件的末端执行器坐标系原点距离物体点云表面最近的抓取位姿：约束1：末端执行器模型不可与场景点云发生碰撞；约束2：对于p∈Cobject，存在p在手爪闭合时扫过的闭合区域B(h)内；最终获得空间候选抓取位姿。
步骤4：抓取位姿编码；
将候选抓取位姿用手抓闭合区域内点云在末端执行器坐标系面上XgOgYg的投来表示，称为单通道抓取图像，如图4所示。抓取位姿与其对应的单通道抓取图像如图5所示。
步骤5：以单通道抓取图像为输入，构建以位置敏感的全卷积神经网络为核心的抓取位姿稳定概率预测模型，利用经过GraspIt自动标注后的仿真单视角物体点云上生成的单通道抓取图像训练模型；
步骤5包括3个子步骤，具体实施方法如下：
步骤511：构建位置敏感的全卷积空间抓取位姿模型。其结构如图6所示。该模型主要由基础卷积网络、位置敏感的池化层组成，基础卷积网络用于提取图像特征，位置敏感的池化层起分类器的作用。
步骤512：生成模型训练数据。首先对YCB数据集扩增数据获得128个包含不同投影角度的物体实例三维模型；接着在仿真的物体点云上生成候选抓取位姿并编码成单通道抓取图像，作为用于位置敏感的全卷积神经网络中的训练集。
步骤513：实现数据自动标注。首先搭建GraspIt中的抓取场景，选择夹持器型末端执行器，并导入抓取图像对应的物体模型；接着将末端执行器设置成抓取图像对应的抓取位姿，选择抓取评价函数并记录计算结果，根据计算结果自动标注抓取图像对应的抓取位姿是否可稳定抓取物体。
步骤6：利用位置敏感的全卷积空间抓取位姿模型筛选得到稳定抓取位姿；
利用位置敏感的全卷积神经网络模型预测单通道抓取图像对应的抓取位姿稳定抓取物体的概率，筛选出稳定抓取物体概率高的抓取位姿作为检测结果。
单通道抓取图像经过基础卷积层得到特征图，再由卷积核为k2C个的卷积操作得到位置敏感的分数图，位置敏感的池化层将位置敏感的特征图的在每个通道上平均分成k2块，对每块进行最大池化(max pooing)，然后将对第i类中第j个通道上的第j块(bin) 组合成一个新的分数图(i∈{0，1}，0≤j＜k2)，通过全局平均池化和softmax操作得到分类分数scorecls。
基于全卷积神经网络的抓取位姿评价模型结用来判别输入的单通道抓取图像对应的抓取位姿是否稳定。利用步骤3、4、5、6得到的特定类别实例物体上抓取检测结果。
应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (10)

1.一种单视角点云下基于实例分割的机器人抓取检测方法，其特征在于：包括以下步骤：
步骤1，获取抓取场景图像和点云，图像为彩色图像，点云为有序点云；
步骤2，实例点云分割，利用Mask R-CNN使彩色图像上物体的像素级分割，再通过彩色图像和点云间的映射关系获得目标物体点云集，利用离群点滤波算法，得到排除外点后的目标点云集；
步骤3，获取候选空间抓取位姿，在物体点云集上均匀随机采样，以每个采样点为中心建立其邻域内局部标架，通过局部标架确定物体姿态，再通过平移法搜索候选空间抓取位姿；
步骤4，抓取位姿编码，将候选抓取位姿编码成单通道抓取图像；
步骤5，以单通道抓取图像为输入，构建以位置敏感的全卷积神经网络为核心的抓取位姿稳定概率预测模型，利用经过GraspIt自动标注后的仿真单视角物体点云上生成的单通道抓取图像训练模型；
步骤6，利用位置敏感的全卷积神经网络模型预测单通道抓取图像对应的抓取位姿稳定抓取物体的概率，筛选出稳定抓取物体概率高的抓取位姿作为检测结果。
2.根据权利要求1所述的一种单视角点云下基于实例分割的机器人抓取检测方法，其特征在于：步骤1所述的场景数据包括：
彩色图像；RGB-D传感器固定单视角下采集的有序点云。
3.根据权利要求1所述的一种单视角点云下基于实例分割的机器人抓取检测方法，其特征在于：步骤2所述的实例点云分割包括：基于Mask R-CNN的实例点云粗分割算法、基于离群点滤波的实例点云细分割算法。
4.根据权利要求1所述的一种单视角点云下基于实例分割的机器人抓取检测方法，其特征在于：步骤2所述的映射关系为利用RGB-D传感器彩色图像和点云的映射关系通过目标物体图像像素得到目标物体点云集。
5.根据权利要求1所述的一种单视角点云下基于实例分割的机器人抓取检测方法，其特征在于：步骤3所述的获取候选空间抓取位姿，其获取过程包括：
(1)以目标点云集中随机均匀采样得到的采样点为中心建立其邻域内局部标架；
(2)以局部标架确定抓取姿态，以平移搜索得到候选空间抓取位姿。
6.根据权利要求1一种单视角点云下基于实例分割的机器人抓取检测方法，其特征在于：步骤3所述的均匀随机采样，利用同余法生成随机数实现采样点获取。
7.根据权利要求1或5所述的一种单视角点云下基于实例分割的机器人抓取检测方法，其特征在于：步骤3所述的局部标架，由采样点的法向量、采样点邻域内第一主方向的单位向量计算得到。
8.根据权利要求1所述一种单视角点云下基于实例分割的机器人抓取检测方法，其特征在于：步骤3所述的平移搜索，具体是保持抓取姿态不变，在采样点法向量的相反方向进行等间距平移来进行搜索满足约束条件的抓取位姿。
9.根据权利要求1一种单视角点云下基于实例分割的机器人抓取检测方法，其特征在于：步骤5所述的单通道抓取图像，是由手爪闭合区域内点云在末端执行器坐标系XOY面上的投影编码而成。
10.根据权利要求1一种单视角点云下基于实例分割的机器人抓取检测方法，其特征在于：步骤6所述的位置敏感的全卷积神经网络模型，所述模型结构由基础卷积网络、位置敏感的池化层组成。
CN201910368494.1A 2019-05-05 2019-05-05 一种单视角点云下基于实例分割的机器人抓取检测方法 Pending CN110363815A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910368494.1A CN110363815A (zh) 2019-05-05 2019-05-05 一种单视角点云下基于实例分割的机器人抓取检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910368494.1A CN110363815A (zh) 2019-05-05 2019-05-05 一种单视角点云下基于实例分割的机器人抓取检测方法

Publications (1)

Publication Number Publication Date
CN110363815A true CN110363815A (zh) 2019-10-22

Family

ID=68215207

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910368494.1A Pending CN110363815A (zh) 2019-05-05 2019-05-05 一种单视角点云下基于实例分割的机器人抓取检测方法

Country Status (1)

Country Link
CN (1) CN110363815A (zh)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110969660A (zh) * 2019-12-17 2020-04-07 浙江大学 一种基于三维立体视觉和点云深度学习的机器人上料系统
CN110992372A (zh) * 2019-11-21 2020-04-10 浙江大华技术股份有限公司 物品抓取方法、装置、存储介质及电子装置
CN111652928A (zh) * 2020-05-11 2020-09-11 上海交通大学 三维点云中物体抓取位姿检测方法
CN112164115A (zh) * 2020-09-25 2021-01-01 清华大学深圳国际研究生院 物体位姿识别的方法、装置及计算机存储介质
CN112258567A (zh) * 2020-10-10 2021-01-22 达闼机器人有限公司 物体抓取点的视觉定位方法、装置、存储介质及电子设备
CN112489117A (zh) * 2020-12-07 2021-03-12 东南大学 一种单视角点云下基于域迁移的机器人抓取位姿检测方法
CN112720459A (zh) * 2020-12-02 2021-04-30 达闼机器人有限公司 目标物体抓取方法、装置、存储介质及电子设备
CN112861667A (zh) * 2021-01-26 2021-05-28 北京邮电大学 一种基于多类别目标分割的机器人抓取检测方法
CN113192128A (zh) * 2021-05-21 2021-07-30 华中科技大学 一种结合自监督学习的机械臂抓取规划方法和系统
CN113222940A (zh) * 2021-05-17 2021-08-06 哈尔滨工业大学 一种基于rgb-d图像和cad模型的机器人自动抓取工件方法
CN113673444A (zh) * 2021-08-19 2021-11-19 清华大学 一种基于角点池化的路口多视角目标检测方法及系统
CN113674348A (zh) * 2021-05-28 2021-11-19 中国科学院自动化研究所 物体抓取方法、装置和系统
CN113792843A (zh) * 2021-08-19 2021-12-14 中国人民解放军军事科学院国防科技创新研究院 一种在行为克隆框架下基于群体方向一致性和稳定性的蜂拥涌现控制方法
CN114029941A (zh) * 2021-09-22 2022-02-11 中国科学院自动化研究所 一种机器人抓取方法、装置、电子设备及计算机介质
CN114683251A (zh) * 2022-03-31 2022-07-01 上海节卡机器人科技有限公司 机器人抓取方法、装置、电子设备及可读取存储介质
CN114845844A (zh) * 2019-12-17 2022-08-02 三菱电机株式会社 信息处理装置、工件识别装置及工件取出装置
US20220284591A1 (en) * 2019-07-15 2022-09-08 Mujin, Inc. System and method of object detection based on image data
CN115578460A (zh) * 2022-11-10 2023-01-06 湖南大学 基于多模态特征提取与稠密预测的机器人抓取方法与系统
CN116197886A (zh) * 2021-11-28 2023-06-02 梅卡曼德（北京）机器人科技有限公司 图像数据处理方法、装置、电子设备和存储介质
CN116596996A (zh) * 2023-05-26 2023-08-15 河北农业大学 一种用于苹果果实空间位姿信息的获取方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106737692A (zh) * 2017-02-10 2017-05-31 杭州迦智科技有限公司 一种基于深度投影的机械手爪抓取规划方法及控制装置
CN109255813A (zh) * 2018-09-06 2019-01-22 大连理工大学 一种面向人机协作的手持物体位姿实时检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106737692A (zh) * 2017-02-10 2017-05-31 杭州迦智科技有限公司 一种基于深度投影的机械手爪抓取规划方法及控制装置
CN109255813A (zh) * 2018-09-06 2019-01-22 大连理工大学 一种面向人机协作的手持物体位姿实时检测方法

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220284591A1 (en) * 2019-07-15 2022-09-08 Mujin, Inc. System and method of object detection based on image data
CN110992372B (zh) * 2019-11-21 2023-08-29 浙江大华技术股份有限公司 物品抓取方法、装置、存储介质及电子装置
CN110992372A (zh) * 2019-11-21 2020-04-10 浙江大华技术股份有限公司 物品抓取方法、装置、存储介质及电子装置
CN110969660B (zh) * 2019-12-17 2023-09-22 浙江大学 一种基于三维立体视觉和点云深度学习的机器人上料系统
CN114845844A (zh) * 2019-12-17 2022-08-02 三菱电机株式会社 信息处理装置、工件识别装置及工件取出装置
CN114845844B (zh) * 2019-12-17 2023-05-30 三菱电机株式会社 信息处理装置、工件识别装置及工件取出装置
CN110969660A (zh) * 2019-12-17 2020-04-07 浙江大学 一种基于三维立体视觉和点云深度学习的机器人上料系统
CN111652928B (zh) * 2020-05-11 2023-12-15 上海交通大学 三维点云中物体抓取位姿检测方法
CN111652928A (zh) * 2020-05-11 2020-09-11 上海交通大学 三维点云中物体抓取位姿检测方法
CN112164115A (zh) * 2020-09-25 2021-01-01 清华大学深圳国际研究生院 物体位姿识别的方法、装置及计算机存储介质
CN112164115B (zh) * 2020-09-25 2024-04-02 清华大学深圳国际研究生院 物体位姿识别的方法、装置及计算机存储介质
CN112258567B (zh) * 2020-10-10 2022-10-11 达闼机器人股份有限公司 物体抓取点的视觉定位方法、装置、存储介质及电子设备
CN112258567A (zh) * 2020-10-10 2021-01-22 达闼机器人有限公司 物体抓取点的视觉定位方法、装置、存储介质及电子设备
WO2022073427A1 (zh) * 2020-10-10 2022-04-14 达闼机器人有限公司 物体抓取点的视觉定位方法、装置、存储介质及电子设备
CN112720459A (zh) * 2020-12-02 2021-04-30 达闼机器人有限公司 目标物体抓取方法、装置、存储介质及电子设备
CN112489117A (zh) * 2020-12-07 2021-03-12 东南大学 一种单视角点云下基于域迁移的机器人抓取位姿检测方法
CN112861667A (zh) * 2021-01-26 2021-05-28 北京邮电大学 一种基于多类别目标分割的机器人抓取检测方法
CN113222940A (zh) * 2021-05-17 2021-08-06 哈尔滨工业大学 一种基于rgb-d图像和cad模型的机器人自动抓取工件方法
CN113222940B (zh) * 2021-05-17 2022-07-12 哈尔滨工业大学 一种基于rgb-d图像和cad模型的机器人自动抓取工件方法
CN113192128A (zh) * 2021-05-21 2021-07-30 华中科技大学 一种结合自监督学习的机械臂抓取规划方法和系统
CN113674348A (zh) * 2021-05-28 2021-11-19 中国科学院自动化研究所 物体抓取方法、装置和系统
CN113674348B (zh) * 2021-05-28 2024-03-15 中国科学院自动化研究所 物体抓取方法、装置和系统
CN113792843B (zh) * 2021-08-19 2023-07-25 中国人民解放军军事科学院国防科技创新研究院 一种在行为克隆框架下基于群体方向一致性和稳定性的蜂拥涌现控制方法
CN113792843A (zh) * 2021-08-19 2021-12-14 中国人民解放军军事科学院国防科技创新研究院 一种在行为克隆框架下基于群体方向一致性和稳定性的蜂拥涌现控制方法
CN113673444A (zh) * 2021-08-19 2021-11-19 清华大学 一种基于角点池化的路口多视角目标检测方法及系统
CN114029941A (zh) * 2021-09-22 2022-02-11 中国科学院自动化研究所 一种机器人抓取方法、装置、电子设备及计算机介质
CN116197886A (zh) * 2021-11-28 2023-06-02 梅卡曼德（北京）机器人科技有限公司 图像数据处理方法、装置、电子设备和存储介质
CN114683251A (zh) * 2022-03-31 2022-07-01 上海节卡机器人科技有限公司 机器人抓取方法、装置、电子设备及可读取存储介质
CN115578460A (zh) * 2022-11-10 2023-01-06 湖南大学 基于多模态特征提取与稠密预测的机器人抓取方法与系统
CN115578460B (zh) * 2022-11-10 2023-04-18 湖南大学 基于多模态特征提取与稠密预测的机器人抓取方法与系统
CN116596996A (zh) * 2023-05-26 2023-08-15 河北农业大学 一种用于苹果果实空间位姿信息的获取方法及系统
CN116596996B (zh) * 2023-05-26 2024-01-30 河北农业大学 一种用于苹果果实空间位姿信息的获取方法及系统

Similar Documents

Publication Publication Date Title
CN110363815A (zh) 一种单视角点云下基于实例分割的机器人抓取检测方法
CN106127204B (zh) 一种全卷积神经网络的多方向水表读数区域检测算法
CN109740665A (zh) 基于专家知识约束的遮挡图像船只目标检测方法及系统
CN105844665A (zh) 视频对象追踪方法及装置
CN111027586A (zh) 一种基于新型响应图融合的目标跟踪方法
Yang et al. Visual SLAM based on semantic segmentation and geometric constraints for dynamic indoor environments
Sun et al. Image recognition technology in texture identification of marine sediment sonar image
Wang et al. Accurate real-time ship target detection using Yolov4
Lina et al. Behavior detection method of OpenPose combined with Yolo network
Zhang et al. Residual memory inference network for regression tracking with weighted gradient harmonized loss
Li et al. Insect detection and counting based on YOLOv3 model
CN108108648A (zh) 一种新型的手势识别系统装置及方法
Liu et al. Robust 3-d object recognition via view-specific constraint
Wang et al. CNN based renormalization method for ship detection in VHR remote sensing images
CN110516527A (zh) 一种基于实例分割的视觉slam回环检测改进方法
CN110826575A (zh) 一种基于机器学习的水下目标识别方法
CN115331256A (zh) 一种基于相互监督的人流量统计方法
Li et al. Small target detection algorithm based on YOLOv4
Qiu et al. A sliding window based feature extraction method with its application to 3D grid map fusion
Qian et al. Pixel-Level Domain Adaptation for Real-to-Sim Object Pose Estimation
Wan et al. 3D human action recognition with skeleton orientation vectors and stacked residual Bi-LSTM
Song et al. Fast detection of multi-direction remote sensing ship object based on scale space pyramid
Dai et al. Unattended substation inspection algorithm based on improved YOLOv5
Lv et al. Research on 3D Point Cloud Object Detection Methods Based on Deep Learning
Wang et al. Map matching navigation method based on scene information fusion

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination